CN114180427A

CN114180427A - 机器人及控制机器人乘坐电梯的方法、装置和存储介质

Info

Publication number: CN114180427A
Application number: CN202111435660.9A
Authority: CN
Inventors: 李梦男; 支涛
Original assignee: Beijing Yunji Technology Co Ltd
Current assignee: Beijing Yunji Technology Co Ltd
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2022-03-15
Anticipated expiration: 2041-11-29
Also published as: CN114180427B

Abstract

本发明公开了一种机器人及控制机器人乘坐电梯的方法，装置和存储介质；其中方法包括：在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；根据所述多帧第一图像，确定所述目标人员的光流数据，并根据所述光流数据，确定所述目标人员的移动方向；在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向；上述控制机器人乘梯的方法，在确定目前乘梯人员无出电梯行为后再控制机器人乘梯，如此能够避免机器人在进电梯时影响他人出电梯，从而提高了人员和机器人双方的乘梯效率。

Description

机器人及控制机器人乘坐电梯的方法、装置和存储介质

技术领域

本申请涉及机器人技术领域，尤其涉及一种机器人及控制机器人乘坐电梯的方法、装置和存储介质。

背景技术

目前在酒店，写字楼等楼宇中服务的机器人会涉及到机器人与人共乘电梯的情况。通常来说，机器人乘梯的原则是尽量不影响人员乘梯，即在电梯内存在足够机器人乘梯空间的时候乘坐电梯。

目前机器人判断电梯内剩余空间是否足够自己乘梯的方法，包括：1)通过视觉进行人员数量检测，依据先验知识(如电梯额定乘梯人数)判断本机器人是否还能进入；2)通过激光扫描电梯内的剩余空间，在确定存在足够剩余空间的情况下进入电梯；3)在处理紧急任务时，机器人也可能采取试探性的强行进入电梯，通过激光、深度相机等距离传感器判断乘梯人是否能给自己让出足够的空间的方案。

以上方案均存在的不足为：机器人在电梯门开启后就开启乘梯判断，并在确定可以乘梯时立即进入电梯，如此经常阻碍乘梯人员正常出电梯，故而降低了乘梯效率，并降低了服务质量。

发明内容

本发明提供了一种机器人及控制机器人乘坐电梯的方法、装置和存储介质，以解决或者部分解决目前机器人在乘电梯时，容易阻碍乘梯人员正常出电梯，导致机器人乘梯效率降低，服务质量下降的技术问题。

为解决上述技术问题，根据本发明一个可选的实施例，提供了一种控制机器人乘坐电梯的方法，应用于机器人端，所述方法包括：

在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；

根据所述多帧第一图像，确定所述目标人员的光流数据，并根据所述光流数据，确定所述目标人员的移动方向；

在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向。

可选的，在所述移动方向满足设定条件之后，所述控制机器人进入所述电梯之前，所述方法还包括：

获得第二图像和第三图像；其中，所述第二图像包括所述电梯轿厢的设定区域，所述第三图像包括所述电梯轿厢的底面区域；

根据所述第二图像，确定控制所述机器人进入电梯的第一概率；以及根据所述第三图像，确定控制所述机器人进入电梯的第二概率；

根据所述第一概率和所述第二概率，确定目标概率；

所述控制机器人进入所述电梯，包括：

在所述目标概率大于设定值时，控制所述机器人进入所述电梯。

可选的，所述根据所述第二图像，确定控制所述机器人进入电梯的第一概率，包括：

根据所述第二图像，确定所述第二图像在设定方向上的第一梯度特征；

将所述第一梯度特征输入预先训练的二分类模型，获得所述第一概率。

可选的，所述根据所述第三图像，确定控制所述机器人进入电梯的第二概率，包括：

根据所述第三图像，确定所述电梯轿厢的底面空闲面积；

根据所述底面空闲面积和所述电梯轿厢的底面总面积，确定所述第二概率。

进一步的，所述根据所述第三图像，确定所述电梯轿厢的底面空闲面积，包括：

根据第三图像，确定所述第三图像在设定方向上的第二梯度特征；

根据所述第二梯度特征，确定所述电梯轿厢的底面空闲区域的边界；

根据所述底面空闲区域的边界，确定所述底面空闲面积。

可选的，所述根据所述多帧第一图像，确定所述目标人员的光流数据，包括：

对每一帧第一图像中的目标人员进行边缘提取，获得所述目标人员的边缘像素坐标；

根据所述边缘像素坐标，确定所述目标人员在每一帧第一图像中的质心像素坐标；

根据所述目标人员在每一帧第一图像中的质心像素坐标，以及所述质心像素坐标对应的像素灰度值，确定所述目标人员的光流数据。

根据本发明另一个可选的实施例，提供了一种控制机器人乘坐电梯的装置，应用于机器人端，所述装置包括：

获取模块，用于在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；

第一确定模块，用于根据所述多帧第一图像，确定所述目标人员的光流数据，并根据所述光流数据，确定所述目标人员的移动方向；

控制模块，用于在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向。

可选的，所述获取模块还用于：

所述装置还包括：

第二确定模块，用于根据所述第二图像，确定控制所述机器人进入电梯的第一概率；以及根据所述第三图像，确定控制所述机器人进入电梯的第二概率；根据所述第一概率和所述第二概率，确定目标概率；

所述控制模块用于：

根据本发明另一个可选的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述技术方案中任一项所述方法的步骤。

根据本发明另一个可选的实施例，提供了一种机器人，所述机器人包括相机，处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述机器人执行前述技术方案中的任一项所述方法的步骤。

通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：

本发明提供了一种控制机器人乘坐电梯的方法，通过在检测到电梯开门时，获得多张第一图像进行目标人员的光流计算，通过目标人员的光流数据分析此时电梯轿厢内的乘梯人员的移动方向，在移动方向满足设定条件，即乘梯人员不存在出电梯的行为时，控制本机器人进行乘梯；上述方法通过计算光流进行乘梯人员的运动分析，能够准确的获得目标人员的移动方向或速度方向，从而准确判断此时是否存在出电梯的乘梯人员，并在确定目前乘梯人员无出电梯行为后再控制机器人乘梯，如此能够避免机器人在进电梯时影响他人出电梯，从而提高了人员和机器人双方的乘梯效率，提高了机器人的服务质量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的控制机器人乘坐电梯的方法流程示意图；

图2示出了根据本发明一个实施例的电梯轿厢图像的光流数据示意图；

图3示出了根据本发明一个实施例的确定轿厢底面空闲区域面积的示意图；

图4示出了根据本发明一个实施例的控制机器人乘坐电梯的装置示意图；

图5示出了根据本发明一个实施例的计算机可读存储介质示意图。

具体实施方式

为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。除非另有特别说明，本发明中用到的各种设备等，均可通过市场购买得到或者可通过现有方法制备得到。

为了解决目前机器人在乘电梯时时常阻碍乘梯人员正常出电梯问题，本发明提供了一种控制机器人乘坐电梯的方法，应用于机器人端，其整体思路如下：

在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；根据所述多帧第一图像，确定所述目标人员的光流数据；根据所述光流数据，确定所述目标人员的移动方向；在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向。

上述控制机器人乘梯的方法的原理为：在检测到电梯开门时，通过获得多张图像进行目标人员的光流计算，通过目标人员的光流数据分析此时电梯轿厢内的乘梯人员的移动方向，在移动方向满足设定条件，即乘梯人员不存在出电梯的行为时，控制本机器人进行乘梯；上述方法通过计算光流进行乘梯人员的运动分析，能够准确的获得目标人员的移动方向或速度方向，从而准确判断此时是否存在出电梯的乘梯人员，并在确定目前乘梯人员无出电梯行为后再控制机器人乘梯，如此能够避免机器人在进电梯时影响他人出电梯，从而提高了人员和机器人双方的乘梯效率，提高了机器人的服务质量。

为了更直观的说明上述方案，在接下来的内容中，结合具体实施方式，对上述方案进一步说明：

第一方面，在一个可选的实施例中，将本发明提供的方案应用于某楼宇服务机器人，机器人搭载有单目相机，机器人根据指派的任务开始工作。机器人的乘梯控制方法包括：

S1：在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；

当机器人因为执行任务需要乘梯时，机器人将来到本楼层所在的电梯间呼叫电梯，在电梯到达时，机器人通过距离传感器的距离测量，可以检测电梯门是否开启。在检测到电梯门开启时，开始持续获取多帧第一图像，用于计算光流。可选的，在电梯门开启后，机器人可通过窄带物联网Iot模块控制电梯门一直处于常开状态，直到乘梯任务结束或机器人进入电梯。

由于第一图像需要采集电梯轿厢中的乘梯人员的画面，结合目前服务机器人的高度范围，可在机器人的头部设置平视方向的摄像头，或者设置能够调整拍摄方向的摄像头，如此在电梯开门时，能够完整采集到身处于电梯轿厢内的乘梯人员。

通常情况下，电梯轿厢内的乘梯人员存在相互遮挡的情况，但若有人想要出电梯，最靠近电梯门的一排人员是必然存在移动行为的，因此，本实施例基于此原理，同时为了减小计算量，在计算第一图像中的光流数据时，只需要聚焦在第一排人员或前排即可，后排人员因为遮挡的关系可以忽略。因此，目标人员可以确定为靠近电梯门的第一排的乘梯人员。需要说明的是，第一排并不是绝对的，只要是不被遮挡的乘梯人员，均可以视为目标人员；目标人员可以是一个，也可以是多个，在此不做具体限定。

S2：根据所述多帧第一图像，确定所述目标人员的光流数据，并根据所述光流数据，确定所述目标人员的移动方向；

本步骤是根据多帧第一图像，通过计算光流数据，进行目标人员的运动行为分析。在机器视觉领域，光流(opticalflow)表示在空间坐标系下的运动物体(即目标人员)在相机的观察成像平面上的像素运动的瞬时速度，在计算图像帧的光流时，利用图像序列中的像素在时间域上的变化以及相邻图像帧之间的相关性，确定像素点代表的物体在上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息或速度场。光流法的计算原理可参考现有技术。

如前所述，本实施例提供的方案不考虑电梯轿厢内被遮挡的乘梯人员的情况，可通过乘梯人员检测框的自动识别，针对第一排或前排人员进行光流计算。为了提高计算效率，节省计算资源，本实施例提供的对第一图像中目标人员进行光流计算的方法为：

对每一帧第一图像中的目标人员进行边缘提取，获得所述目标人员的边缘像素坐标；根据所述边缘像素坐标，确定所述目标人员在每一帧第一图像中的质心像素坐标；根据所述目标人员在每一帧第一图像中的质心像素坐标，以及所述质心像素坐标对应的像素灰度值，确定所述目标人员的光流数据。

具体的，对第一图像中的乘梯人员的人像检测框(拍照时可自动生成)区域内的图像，通过常见的边缘识别算法，如Robert，Sobel，Canny等进行边缘提取，从而获得每一目标人员的边缘像素点及其对应的像素坐标，通过边缘像素点拟合每个目标人员的质心坐标，基于多帧第一图像中的质心坐标对应的像素坐标和像素灰度值，根据像素坐标和像素灰度值，计算质心在所述多帧第一图像对应的时间范围的运动轨迹，并根据运动轨迹和时间计算出相应的速度场，从而得到对应的光流数据。

根据光流的定义，光流数据反映的是目标人员的质心的速度场或速度矢量，因此根据速度矢量，可以确定出目标人员的移动方向。

S3：在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向。

具体的，当检测到一个以上的目标人员的移动方向是出电梯方向时，控制本机器人在原地等待，并持续获取第一图像进行光流计算。当检测到没有任何一个目标人员的移动方向为出电梯方向时，控制本机器人进入电梯。

考虑到在图像坐标系下，X轴方向为进出电梯的方向，Y轴方向为进出电梯的垂直方向，因此可以只计算X轴方向的速度分量，即X方向上的光流数据，其计算方式如下：

x_p(t＝τ_p)＝x_p0 (2)

上式中，x_p为质心P的移动轨迹在X方向上的切线，t为时间，u_p(x_p,t)为质心P在t时刻时，X方向上的光流分量；

τ_p为当前时刻；x_p0为当前时刻P点移动轨迹在X方向上的位移值。

图2示出了一种电梯开门时，对身处第一排的乘梯人员检测框内计算的X方向(出电梯方向)上的光流分布。图2中的3个选框代表此时计算了3名目标人员(乘梯人员)的光流数据，图中的颜色表示目标人员的移动速度值和移动方向。其中，左边的一名乘梯人员在X方向具有正向速度(速度值为正)，则说明该乘梯人员正在出电梯，而中间的一名乘梯人员在X方向上的速度接近0，可以认为静止不动，不出也不进；而右边一名乘梯人员在X方向具有反向速度(速度值为负)，说明其正在进入电梯。

由于此时存在一名乘梯人员正在出电梯，此时控制机器人在电梯门外等候，并持续计算乘梯人员目标框内的光流数据，在光流数据显示无人出电梯后，再控制本机器人进入电梯。

可选的，设定条件还可包括：所述移动方向不包括进电梯方向。如此表示在无人进出电梯后，方可控制本机器人进入电梯。

进一步研究发现，背景技术中提到的三种进电梯的现有方案，各自还存在如下的问题：

方案1)：通过视觉检测人数，经常会因为人员遮挡导致检测的人员数量不准确；此外电梯内还存在货物或行李箱等物体，那么仅根据人员数量的乘梯判断方法就会失效，即使在人员数量少于额定乘梯人数的情况下，机器人仍然无法进入电梯；

方案2)：通过激光扫描电梯内面积，存在电梯边界选取不准确导致面积计算不准确，从而错误判断机器人能否乘梯；

方案3)：采用试探性强行进入电梯方式会造成服务体验，质量明显下降。

为了进一步解决上述问题，基于前述方案的发明构思，在另一些可选的实施例中，在所述移动方向满足设定条件之后，所述控制机器人乘坐电梯的方法还包括：

S301：获得第二图像和第三图像；其中，所述第二图像包括所述电梯轿厢的设定区域，所述第三图像包括所述电梯轿厢的底面区域；

具体的，本实施例的方案是在检测出目标人员的移动方向满足设定条件时，达成控制机器人进电梯的前提条件。然后接下来再获取第二图像和第三图像，进一步判断时候控制机器人进入电梯。

需要说明的是，设定区域可以是聚焦在电梯轿厢的中部区域，故而，第二图像可通过机器人端配置的平视摄像头采集；而第三图像是聚焦于轿厢底部的图像，可通过机器人端配置的俯视摄像头配置。若机器人配备了可转动方向的摄像头，则可通过该摄像头分别获取第二图像和第三图像。

S302：根据所述第二图像，确定控制所述机器人进入电梯的第一概率；以及根据所述第三图像，确定控制所述机器人进入电梯的第二概率；

具体的，根据第二图像确定的第一概率，是根据此刻电梯轿厢内的人员情况和货物情况，结合专家经验判断控制机器人进入电梯的概率。

根据第二图像确定第一概率的方案有：

方案一：根据所述第二图像，确定所述第二图像在设定方向上的第一梯度特征；将所述第一梯度特征输入预先训练的二分类模型，获得所述第一概率。

具体的，设定方向可以是图像坐标系下的Y轴方向，或者是在YZ平面上与Y轴方向呈一定角度的方向，可根据实际需求确定。本实施例以Y轴方向为例进行说明。

梯度特征是表征图像在某预设方向上的像素梯度值的数学量。例如，对于本实施例中使用的Y轴方向的梯度特征，表示的是图像在Y轴方向相邻像素点之间的像素值之差，或者是间隔一定像素数量(如10个像素)的像素点之间的像素值之差组成的梯度向量。另外，还可以设置一个像素权重，将上述得到的像素值之差乘以权重得到的值作为梯度特征。

二分类模型用于根据图像的梯度特征，输出机器人进电梯(记为1)的概率P1。二分类模型可以是基于SVM支持向量机或决策树的分类模型。本实施例采用基于SVM的二分类模型，能够精确输出机器人的乘梯概率P1。

在训练二分类模型时，可在电梯外安装摄像头和激光测距仪(或其他种类的测距传感器)，首先通过激光测距仪测量摄像头距电梯的距离，根据距离的变化判断电梯门的开关状态。在电梯门开启时，按照设定采集频率，如1Hz采集电梯开门后的轿厢图像数据并保存在缓存区，在电梯门关闭后，从缓存区中上传设定范围内的多张图像，将其上传至服务器/数据中心。例如，在电梯门开至门关的这一时间段内缓存区共存储了n张图像，则可以将其中的[n-4,n-2]三张图片上传至数据中心。

数据中心在接收到上传图像后，结合人工标注，根据图像中电梯轿厢的人员和物体状况，判断此时机器人是否可进入电梯。若判断机器人可以进入电梯，则提取此次上传到数据中心的图像在设定方向，即Y轴方向上的梯度特征，并图像对应的乘梯结果标注为1；若判断机器人不能进入电梯，则提取此次上传到数据中心的图像在Y轴方向上的梯度特征，并将图像对应的乘梯结果标注为0。通过重复上述过程，收集到大量的图像以及对应的梯度特征和人工标注的乘梯结果，组建训练图像数据集，利用训练图像数据集训练并验证基于SVM的二分类模型。

二分类模型训练完成后存储至机器人的存储器，如此机器人在获得第二图像后，提取第二图像在Y轴方向的梯度特征，将第二图像的梯度特征输入二分类模型，二分类模型运算并输出控制本机器人进行乘梯的概率P1。

上述结合对历史电梯轿厢图像的人工标注机器人是否乘梯的结果，然后提取历史电梯轿厢图像的梯度特征，基于标注结果和梯度特征预先训练SVM二分类模型；然后在当前判断时，以当前的电梯轿厢图像的梯度特征为输入，通过二分类模型输出控制当前机器人进行乘梯的第一概率的方案，与通过人员数量检测判断机器人是否乘梯的相关方案相比，充分结合了专家经验，能够避免因为人员遮挡导致人员数量检测结果不准确的问题，以及只考虑人员数量，没考虑电梯内的货物数量等对机器人乘梯的影响的问题，从而提高机器人乘梯判断的精确度。

根据第二图像确定第一概率的方案还可以是：

方案二：将所述第二图像输入预先训练的神经网络分类模型，获得所述第一概率。

同理，可通过对历史轿厢图像的收集，人工标注此时机器人是否可以乘梯，形成标注图像数据集；然后构建卷积神经网络模型，使用标注图像数据集进行训练和验证，通过不断的调参获得精度达到要求的神经网络分类模型。训练完成后将神经网络分类模型存储至机器人的存储器，在触发机器人的乘梯任务时，以第二图像为输入，输出控制机器人进行乘梯的第一概率。

另一方面，机器人进入电梯需要考虑此时电梯内的剩余空间。传统方案是利用机器人搭载的激光扫描设备进行激光扫描，计算电梯内的空闲面积，但激光扫描的方式存在边界选取不准确，从而导致空闲面积计算不准确的问题。

为了解决激光扫描无法准确确定边界的问题，本实施例采用的方案为：

根据所述第三图像，确定所述电梯轿厢的底面空闲面积；根据所述底面空闲面积和所述电梯轿厢的底面总面积，确定所述第二概率。

具体的，可对图像内的轿厢底面进行边缘识别，获得人脚，物体在轿厢底面的边界，根据边界可以确定出电梯轿厢的底面空闲区域，从而计算出对应的底面空闲面积。轿厢底面总面积是已知数据，可预存至机器人的存储器中。实践表明，相比于激光扫描，基于灰度图像的边缘识别的方法能够更有效的确定空闲区域边界，从而计算得出空闲面积。

本实施例还提供了一种空闲面积的确定方案，具体如下：

根据第三图像，确定所述第三图像在设定方向上的第二梯度特征；根据所述第二梯度特征，确定所述电梯轿厢的底面空闲区域的边界；根据所述底面空闲区域的边界，确定所述底面空闲面积。

与前述方案同理，设定方向可以是Y轴方向，通过提取第三图像在Y轴方向上的梯度特征或梯度值，可以精确识别出电梯门缝边界，轿厢内乘梯人员的脚部边界和轿厢内的物体边界，在获得了精确的物体边界后，可准确计算空闲面积。本实施例提供的方案，如图3所示，尤其能够精确识别出靠近电梯门口，位于电梯门缝与前排人员，物体之间的底面空闲区域面积。这一部分的空闲区域面积为机器人能够乘梯的有效面积，是判断机器人是否乘梯的主要依据。

可选的，基于图像梯度特征的边缘检测算子可以是Sobel、Prewitt、Roberts等常用边缘检测算子。

根据底面空闲面积和底面总面积，确定所述第二概率的一般规律为：底面空闲面积越大，占比越高，第二概率越高，反之第二概率越低。

一种可选的第二概率的确定方法为：

确定底面空闲面积与底面总面积之间的比值；根据所述比值和对应关系，确定第二概率；其中，对应关系为比值与概率的映射。

例如，令底面空闲面积为S1，底面总面积为S2，比值S1/S2的值域为(0,+∞)，将结果进行映射，(1,+∞)映射为0(比值大于1，属于计算错误)，(0，1)映射为(1，0.5)。故而，根据每一个确定S1/S2比值，可以对应出相应的第二概率P2。

S303：根据所述第一概率和所述第二概率，确定目标概率；

具体的，可设置第一概率和第二概率对应的权重，通过权重的加权计算出对应的目标概率，可采用如下两种计算方式：

加权平均：

P＝(a×P1+b×P2)/(a+b) (3)

加权求和：

P＝a×P1+b×P2 (4)

上式中，P为目标概率，P1为第一概率，P2为第二概率；a和b为对应的权重系数，其取值范围为[0,1]。常用取值可以是：a＝b＝0.5。

S304：在所述目标概率大于设定值时，控制所述机器人进入所述电梯。

如前所述，第一概率表示结合专家经验确定的控制机器人进行乘梯的概率，第二概率表示的是根据电梯内的底面空闲面积确定的控制机器人进行乘梯的概率，本实施例结合两方面的乘梯概率，综合确定控制机器人进行乘梯的目标概率或最终概率，再根据目标概率的值判断机器人是否进梯，能够显著提高机器人进梯判断的精度，减少因乘梯误判导致机器人在不适宜进电梯的情况下进行乘梯，导致影响他人的乘梯效率，机器人服务质量下降的几率。

以式(3)为例，设定值可以是0.5，即当目标概率P≥0.5时，控制本机器人进入电梯。

本实施例提供了一种控制机器人乘梯的方法，在根据第一图像的光流计算，判断此时无人出电梯，满足机器人进电梯的前提条件时，进一步获得第二图像和第三图像，通过提取第二图像的梯度特征，输入二分类模型得到控制机器人进行乘梯的第一概率；通过提取第三图像的梯度特征，计算轿厢底面空闲面积，据此计算控制机器人进行乘梯的第二概率，综合考虑第一概率和第二概率，得到控制机器人进行乘梯的目标概率，在目标概率大于设定值时在控制机器人进行乘梯。上述方法结合专家经验，综合考虑电梯轿厢内的人员，货物情况，以及电梯底面的空闲面积情况判断机器人是否乘梯，能够显著提高机器人乘梯的判断精度，避免机器人强行进梯导致的服务质量降低，乘梯效率降低。

第二方面，基于前述实施例相同的发明构思，在另一个可选的实施例中，如图4所示，提供了一种控制机器人乘坐电梯的装置，应用于机器人端，包括：

获取模块410，用于在检测到电梯开门时，获得多帧第一图像；所述第一图像包括位于电梯轿厢内的目标人员的图像；

第一确定模块420，用于根据所述多帧第一图像，确定所述目标人员的光流数据，并根据所述光流数据，确定所述目标人员的移动方向；

控制模块430，用于在所述移动方向满足设定条件时，控制机器人进入所述电梯；其中，所述设定条件包括：所述移动方向不包括出电梯方向。

可选的，所述获取模块410还用于：

所述装置还包括：

所述控制模块430用于：

可选的，所述第二确定模块用于：

根据所述第三图像，确定所述电梯轿厢的底面空闲面积；

进一步的，所述第二确定模块用于：

根据所述底面空闲区域的边界，确定所述底面空闲面积。

可选的，所述第一确定模块420用于：

第三方面，如图5所示，在本发明的又一实施例中提供了一种计算机可读存储介质500，其上存储有计算机程序511，该程序被处理器执行时前述实施例中的所述方法的步骤。

第四方面，在本发明的又一实施例中提供了一种机器人，所述机器人包括相机，处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述机器人执行前述实施例中的任一项所述方法的步骤。

通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：

进一步的，在根据光流数据判断机器人可以乘梯后，进一步获取第二图像和第三图像，通过提取第二图像的梯度特征，输入二分类模型得到控制机器人进行乘梯的第一概率；通过提取第三图像的梯度特征，计算轿厢底面空闲面积，据此计算控制机器人进行乘梯的第二概率，综合考虑第一概率和第二概率，得到控制机器人进行乘梯的目标概率，在目标概率大于设定值时在控制机器人进行乘梯。上述方法结合专家经验，综合考虑电梯轿厢内的人员，货物情况，以及电梯底面的空闲面积情况判断机器人是否乘梯，能够显著提高机器人乘梯的判断精度，避免机器人错误进梯导致的服务质量降低，乘梯效率降低的问题。

尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种控制机器人乘坐电梯的方法，其特征在于，应用于机器人端，所述方法包括：

2.如权利要求1所述的方法，其特征在于，在所述移动方向满足设定条件之后，所述控制机器人进入所述电梯之前，所述方法还包括：

根据所述第一概率和所述第二概率，确定目标概率；

所述控制机器人进入所述电梯，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述第二图像，确定控制所述机器人进入电梯的第一概率，包括：

4.如权利要求2所述的方法，其特征在于，所述根据所述第三图像，确定控制所述机器人进入电梯的第二概率，包括：

根据所述第三图像，确定所述电梯轿厢的底面空闲面积；

5.如权利要求4所述的方法，其特征在于，所述根据所述第三图像，确定所述电梯轿厢的底面空闲面积，包括：

根据所述底面空闲区域的边界，确定所述底面空闲面积。

6.如权利要求1所述的方法，其特征在于，所述根据所述多帧第一图像，确定所述目标人员的光流数据，包括：

7.一种控制机器人乘坐电梯的装置，其特征在于，应用于机器人端，所述装置包括：

8.如权利要求7所述的装置，其特征在于，所述获取模块还用于：

所述装置还包括：

所述控制模块用于：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种机器人，其特征在于，所述机器人包括相机，处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述机器人执行权利要求1-7中任一项所述方法的步骤。