CN112529953B - 电梯的空间状态判断方法、装置及存储介质 - Google Patents

电梯的空间状态判断方法、装置及存储介质 Download PDF

Info

Publication number
CN112529953B
CN112529953B CN202011494700.2A CN202011494700A CN112529953B CN 112529953 B CN112529953 B CN 112529953B CN 202011494700 A CN202011494700 A CN 202011494700A CN 112529953 B CN112529953 B CN 112529953B
Authority
CN
China
Prior art keywords
elevator
image
area
robot
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011494700.2A
Other languages
English (en)
Other versions
CN112529953A (zh
Inventor
刘勇
张涛
黄寅
吴翔
陈俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202011494700.2A priority Critical patent/CN112529953B/zh
Publication of CN112529953A publication Critical patent/CN112529953A/zh
Priority to PCT/CN2021/129663 priority patent/WO2022127451A1/zh
Application granted granted Critical
Publication of CN112529953B publication Critical patent/CN112529953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电梯的空间状态判断方法、装置及存储介质，用于提高乘梯安全性。方法部分包括：判断电梯门是否已打开；当电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图，最后依据所述第一图像和第二图像，判断所述电梯的空间状态。

Description

电梯的空间状态判断方法、装置及存储介质
技术领域
本发明涉及机器人技术领域，尤其涉及一种电梯的空间状态判断方法、装置及存储介质。
背景技术
在智能移动机器人在自主乘坐电梯过程中，需要识别机器人电梯轿门是否有足够空间容纳机器人,发明人意识到，电梯空间是人与机器人交互频繁的区域，如果贸然触发机器人乘坐电梯，有可能影响其他乘客，降低了乘梯安全性。
发明内容
本发明提供一种电梯的空间状态判断方法、装置及存储介质，以提高机器人的乘梯安全性。
第一方面，提供了一种电梯的空间状态判断方法，包括：
判断电梯门是否已打开；
当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
根据所述第一图像和第二图像，判断所述电梯的空间状态。
进一步地，所述根据所述第一图像和第二图像，判断所述电梯的空间状态，包括如下步骤：
将第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行像素级语义分割，以对所述输出图像标记图像标注框；
将所述输出图像中的图像标注框，对应投射到所述第二图像，并将所述第二图像中图像标注框对应的深度像素转换为空间点云；
将所述第二图像中被所述图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；
根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态。
进一步地，所述根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态，包括：
获取所述第一目标俯视图中可行区域的面积，和所述机器人的投影面积；
当所述可行区域的面积大于所述机器人的投影面积，且大于所述机器人的投影面积的预设倍数，则判断所述机器人的停靠区域是否为所述可行区域；
当所述机器人的停靠区域为所述可行区域，则判断所述电梯空间为可进入状态。
进一步地，所述方法还包括如下步骤：
当所述可行区域的面积小于或等于所述机器人的投影面积，则判断电梯空间为不可进入状态；
或者，
当所述可行区域的面积大于所述机器人的投影面积，且小于或等于所述机器人的投影面积的所述预设倍数，则判断所述电梯空间为不可进入状态。
进一步地，所述方法还包括如下步骤；
当所述机器人的停靠区域为非可行区域，判断所述非可行区域的障碍物是否为行人的点云；
当所述非可行区域的障碍物为行人的点云，则判断所述电梯空间为可进入状态；
当所述非可行区域的障碍物为非行人的点云，则判断所述电梯空间为不可进入状态。
进一步地，所述判断电梯门是否已打开，具体包括如下步骤：
将所述输出图像输入到预设图像识别模型中进行图像检测，以标记出两侧电梯门和电梯内部区域；
将所述两侧电梯门和电梯内部区域按照像素位置，对应投射到所述第二图像中，并将所述第二图像中所述两侧电梯门和电梯内部区域对应的深度像素转换为空间点云；
将所述第二图像中所述电梯内部区域及两侧区域的空间点云对应投影在水平面得到第二目标俯视图；
根据所述第二目标俯视图判断所述电梯门是否打开。
进一步地，所述根据所述第二目标俯视图判断所述电梯门是否打开，具体包括如下步骤：
根据所述第二目标俯视图获取电梯宽度和电梯门宽度；
当所述电梯宽度和电梯门宽度之间的差小于预设阈值，则判定所述电梯门为已打开；
当所述电梯宽度和电梯门宽度之间的差大于或等于所述预设阈值，则判定所述电梯门为未打开。
第二方面，提供了一种电梯的空间状态判断装置，包括：
第一判断模块，用于判断电梯门是否已打开；
获取模块，用于当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
第二判断模块，用于根据所述第一图像和第二图像，判断所述电梯的空间状态。
进一步地，所述第二判断模块，具体用于：
将所述第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行语义分割，以对所述输出图像标记图像标注框，所述第一图像为机器人前方对应的RGB图；
将所述输出图像中的图像标注框，对应投射到所述第二图像，并将所述第二图像中所述图像标注框对应的深度像素转换为空间点云，所述第二图像为所述机器人前方对应的深度图；
将所述第二图像中被所述图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；
根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态。
一种电梯的空间状态判断装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述电梯的空间状态判断方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述电梯的空间状态判断方法的步骤。
上述电梯的空间状态判断方法所实现的一个方案中，先判断电梯门是否已打开；当电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图，最后便可根据所述第一图像和第二图像，判断所述电梯的空间状态。由于第一图像和第二图像是是电梯门已打开后，机器人前方区域的深度图和RGB图，可以反映了电梯内部的可行区域和非可行区域，因此，根据第一图像和第二图像可以充分的获知电梯的空间状态，使机器人可以依据电梯的空间状态判断是否可以进入电梯，有效地提高了乘梯安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中电梯的空间状态判断方法的一流程示意图；
图2是图1中步骤S30的一具体流程示意图；
图3是图1中步骤S10的一具体流程示意图；
图4是图3中步骤S14的一具体流程示意图；
图5是图2中步骤S34的一具体流程示意图；
图6是图2中步骤S34的另一具体流程示意图；
图7是本发明实施例中电梯的空间状态判断装置的一结构示意图；
图8是本发明实施例中电梯的空间状态判断装置的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种电梯的空间状态判断方法和对应的电梯的空间状态判断装置，应用于具有移动功能的各种各样的智能机器人中，该智能机器人可以是指应用于展厅、餐厅和办公楼等具有乘梯需求的应用场景中，具体不做限定，另外，在一些应用场景中，该电梯的空间状态判断方法可由机器人执行，或者由外部服务器执行，并将状态判断结果反馈给机器人，使机器人根据空间状态做是否进入电梯的决策，具体本发明实施例不做限定。下面通过具体实施例，对本发明实施例提供的电梯的空间状态判断方法进行描述。
请参阅图1，图1为本发明实施例提供的一种电梯的空间状态判断方法，主要包括如下步骤：
S10：判断电梯门是否打开。
本发明实施例中，会实时依据机器人前面区域对应的图像，去判断前方区域是否为电梯，以及电梯门状态。
S20：当电梯门已打开时，获取第一图像和第二图像，第一图像为机器人前方对应的RGB图，第二图像为机器人前方对应的深度图。
本发明实施例中，需先在机器人上布置RGB图采集器和深度图采集器，用于获取机器人前方区域进行采集，以获取相应的RGB图和深度图。具体地，本发明可以采用RGBD相机作为传感器，以该传感器对机器人前方拍摄的RGB图和深度图分别作为第一图像和第二图像。值得说明的是，由于第一图像和第二图像是是电梯门已打开后，机器人前方区域的深度图和RGB图，可以反映了电梯内部的可行区域和非可行区域。
S30：根据第一图像和第二图像，判断电梯的空间状态。
在得到反映电梯内部情况的第一图像和第二图像之后，便可根据第一图像和第二图像，判断电梯的空间状态，又由于第一图像和第二图像是是电梯门已打开后，机器人前方区域的深度图和RGB图，可以反映了电梯内部的可行区域和非可行区域，因此，根据第一图像和第二图像可以充分的获知电梯的空间状态，使机器人可以依据电梯的空间状态判断是否可以进入电梯，有效地提高了乘梯安全性。
在一实施例中，如图2所示，步骤S30中，也即根据第一图像和第二图像，判断电梯的空间状态，具体包括如下步骤：
S31：将第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行语义分割，以对输出图像标记图像标注框。
S32：将输出图像中的图像标注框，对应投射到第二图像，并将第二图像中图像标注框对应的深度像素转换为空间点云。
在获取到第一图像之后，需对第一图像预处理后的输出图像，其中，作为一个示例，将上述第一图像按预定尺寸下进行采样，再将采样后的输出图像输入到预先训练得到的语义分割模型中，以对输出图像标记图像标注框，其中，该预定尺寸与训练语义分割模型的训练图像的尺寸相关，具体不做限定，只要能使得通过该语义分割模型分割得到的效果较好便行。
需要说明的，该语义分割模型用于对输入的输出图像进行像素级语义分割，以对该输出图像中分割出对象区域，并识别其中的内容，通过该语义分割模型，会将输出图像中每个像素分配到某个检测对象，并对每个检测对象标注上标注框，从而使得输出的输出图像包含有检测对象框起来的图像标注框，可见，在绝大多数场景中，输出图像中的检测对象可行区域，人和其他障碍物，利用图像标注框将上述检测对象框起来。
另外需要说明的是，该语义分割模型可以通过大量训练图像，并对大量训图像进行预处理，例如按照预设尺寸进行采样处理之后，输入深度学习模型训练得到，具体训练过程在此不详细描述。
可以理解的，在对第一图像对应的输出图像进行处理得到图像标注框之后，将上述图像标注框对应投射到第二图像上。也就是，会将机器人前面区域的可行区域，人和其他障碍物的图像标注框对应投射到第二图像。这样，该第二图像也存在了相应的图像标注框，并将经过标注框投射的第二图像中，图像标注框对应的深度像素转换为空间点云。需要说明的是，深度图像的深度像素可以通过坐标转换的方式转为空间点云，第二图像是通过RGBD相机采集的深度图像，因此，经过标注框投射的第二图像中，图像标注框对应的深度像素自然也可以通过坐标转换的方式转换为空间点云。
S33：将第二图像中被图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图。
在将第二图像中图像标注框对应的深度像素转换为空间点云之后，将第二图像中被图像标注框标记的空间点云投影到水平面，以得到被图像标注框标记的空间点云对应的第一目标俯视图。
S34：根据第一目标俯视图中的可行区域和非可行区域，判断电梯的空间状态。
在得到第一目标俯视图之后，由于该第一目标俯视图是电梯口已打开时机器人前方的图像转化得到，通过该第一目标俯视图，便可判断机器人前方，包括电梯口外部区域和电梯内部区域的情况，通过该第一目标俯视图便可清晰的知道哪些区域是可行区域，哪些区域是为非可行区域，从而判断出电梯的空间状态，以便于机器人做是否进入电梯的决策。
可见，本发明实施例提供了一种电梯的空间状态判断方法，判断电梯门是否已打开；当电梯门已打开时，将第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行像素级语义分割，以对输出图像标记图像标注框，第一图像为机器人前方对应的RGB图；将输出图像中的图像标注框，对应投射到第二图像，并将第二图像中图像标注框对应的深度像素转换为空间点云，第二图像为机器人前方对应的深度图；将第二图像中被图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；最后根据第一目标俯视图中的可行区域和非可行区域，判断电梯的空间状态。由于该第一目标俯视图是电梯门已打开后，机器人前方区域的深度图和RGB图所转化生成，该第一目标俯视图反映了电梯内部的可行区域和非可行区域，可以充分的获知电梯的空间状态，使机器人可以依据电梯的空间状态判断是否可以进入电梯，有效地提高了乘梯安全性。
其中，在一实施例中，如图3所示，步骤S10中，也即判断电梯门是否打开，具体包括如下步骤：
S11：将输出图像输入到预设图像识别模型中进行图像检测，以标记出两侧电梯门和电梯内部区域。
如前述，在判断电梯的空间状态之前，需先判断电梯门是否已经处于打开状态，具体地，本发明实施例会不断获取机器人前方拍摄的RGB图和深度图分别作为第一图像和第二图像，在获取到第一图像之后，对第一图像预处理后的输出图像，作为一个示例，将上述第一图像按预定尺寸下进行采样，再将采样后的输出图像输入到预先训练得到的图像识别模型中，以对输出图像进行识别，当机器人面向电梯时，机器人前方区域为电梯，此时获取的第一图像包含电梯区域，通过图像识别模型和第一图像便可识别出两侧电梯门和电梯内部区域。其中，该预定尺寸与训练图像识别模型的训练图像的尺寸相关，具体不做限定，只要能使得通过该图像识别模型进行识别的效果好便行。
需要说明的，该图像识别模型，用于对输入的输出图像进行电梯识别，并对识别出的电梯的两侧电梯门和电梯内部区域进行标记。该图像识别模型可以通过大量包含有电梯，并对电梯的两侧电梯门和电梯内部区域进行标注后的训练图像和深度学习算法训练得到，在此不详细描述。
S12：将两侧电梯门和电梯内部区域按照像素位置，对应投射到第二图像中，并将第二图像中两侧电梯门和电梯内部区域对应的深度像素转换为空间点云。
S13：将第二图像中电梯内部区域及两侧区域的空间点云对应投影在水平面得到第二目标俯视图。
可以理解的，在对第一图像对应的输出图像进行两侧电梯门和电梯内部区域之后，将输出图像上的两侧电梯门和电梯内部区域，对应投射到第二图像，这样，该第二图像也存在了两侧电梯门和电梯内部区域的标记，并将经过区域标记投射的第二图像中，两侧电梯门和电梯内部区域标记对应的深度像素转换为空间点云。同理，深度图像的深度像素可以通过坐标转换的方式转为空间点云，第二图像是通过RGBD相机采集的深度图像，因此，经过区域标记投射的第二图像中两侧电梯门和电梯内部区域对应的深度像素自然也可以通过坐标转换的方式转换为空间点云，将第二图像中电梯内部区域及两侧区域的空间点云对应投影在水平面得到第二目标俯视图。
S14：根据第二目标俯视图判断电梯门是否打开。
在将第二图像中电梯内部区域及两侧区域的空间点云对应投影在水平面得到第二目标俯视图之后，由于该第二目标俯视图便清晰的反应出了电梯内部区域及两侧区域的情况，从而根据第二目标俯视图，便可清晰的获得电梯内部区域及两侧区域的情况，继而判断出电梯门是否打开。
其中，作为一个示例，在一实施例中，如图4所示，步骤S14，也即根据第二目标俯视图判断电梯门是否打开，具体包括如下步骤：
S141：根据第二目标俯视图获取电梯宽度和电梯门宽度。
由于该第二目标俯视图便清晰的反应出了电梯内部区域及两侧区域的情况，包括了电梯内部区域及两侧区域的位置范围关系。本发明实施例中，作为一个示例，以电梯的在第二目标俯视图中的矩形区域为处理对象，以该矩形区域的中心为基准，在水平方向上，向左向右搜索；以向左搜索为例，即依次按位置获取该第二目标俯视图的像素值，若为0，则为空继续搜索，否则认为为障碍物停止该方向上的搜索。这样向左向右搜索的总宽度即为电梯的宽度w。同理，类似该矩形区域的底部为基准，对应电梯门区域，在水平方向上，按照同样的方法左右搜索，便可得到电梯门的宽度d。
S142：判断电梯宽度和电梯门宽度之间的差与预设阈值的关系。
S143：当电梯宽度和电梯门宽度之间的差小于预设阈值，则判定电梯门为已打开。
S144：当电梯宽度和电梯门宽度之间的差大于或等于预设阈值，则判定电梯门为未打开。
需要说明的是，上述预设阈值为根据经验或者机器人二维投影的最小外接圆所确定，在一些应用场景中，只要当电梯宽度和电梯门宽度之间的差小于预设阈值，满足机器人过电梯门便可，具体本发明实施例不做限定。
可见，本发明实施例中，提供了一种具体如何判断电梯门是否打开的方式，提高了方案的可实施性，另外，由于第二目标俯视图清晰的体现了电梯内部区域及两侧区域的情况，依据该通过转化而来的第二目标俯视图去判断电梯门是否打开，具有较高的准确性。
在一实施例中，如图5所示，步骤S34中，也即根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态，具体包括如下步骤：
S341：获取第一目标俯视图中可行区域的面积，和机器人的投影面积。
在获取到第一目标俯图之后，便可获取第一目标俯视图中的可行区域和非可行区域，在本发明实施例，会统计该第一目标俯视图中可行区域的面积。需要说明的是，并将所述机器人的投影之后，统计机器人的投影。
S342：判断可行区域的面积与机器人的投影面积的大小。
S343：当可行区域的面积小于或等于机器人的投影面积，则判断电梯空间为不可进入状态，或者当所述可行区域的面积大于机器人的投影面积，且小于或等于机器人的投影面积的预设倍数，则判断电梯空间为不可进入状态。
S344：当所述可行区域的面积大于所述机器人的投影面积，且大于所述机器人的投影面积的预设倍数，则判断所述机器人的停靠区域是否为所述可行区域。
其中，当所述可行区域的面积大于所述机器人的投影面积且为所述机器人的投影面积的预设倍数以上，才会继续判断所述机器人的停靠区域为所述可行区域，以便继续判定电梯的空间状态。
需要说明的是，该预设倍数为经验值，在一个应用场景中，该预设倍数可以是3倍或者其他倍数，具体本发明不做限定。以3倍为例，当可行区域的面积大于所述机器人的投影面积的预设倍数，则说明可行区域具有足够的空间被机器人，此时，会继续判断所述机器人的停靠区域是否为可行区域。当可行区域的面积小于或等于机器人的投影面积的预设倍数，或者虽然可行区域的面积大于机器人的投影面积但没有3倍以上，则直接判断电梯空间为不进入状态。
S345：当机器人的停靠区域为可行区域，则判断电梯空间为可进入状态。
在判断所述机器人的停靠区域是否为所述可行区域之后，当进一步所述机器人的停靠区域为所述可行区域，说明机器人要停靠的区域在电梯的可行区域内，此时可以判断所述电梯空间为可进入状态，以使机器人可以进入该可行区域内。
可见，在该实施例中，提供了一种根据第一目标俯视图中的可行区域，去判断所述电梯的空间状态的具体方式，依据机器人的投影面积和机器人可行区域的面积判断机器人是否可行，从而判断电梯的空间状态是否可进入，提高了方案的可实施性。
在一实施例中，如图6所示，所述方法还包括如下步骤；
S346：当机器人的停靠区域为非可行区域，则判断非可行区域的障碍物是否为行人的点云，当非可行区域的障碍物为行人的点云，则判断电梯空间为可进入状态。当非可行区域的障碍物为非行人的点云，则判断电梯空间为不可进入状态。
在该实施例中，在判断机器人的停靠区域是否为可行区域之后，若判断机器人的停靠区域不是为可行区域，也即判断机器人的停靠区域为非可行区域，此时，还需进一步判断所述非可行区域的障碍物是否为行人的点云，依据非可行区域的障碍物是否为行人做进一步判断。具体地，当非可行区域的障碍物为行人的点云，则判断电梯空间为可进入状态。当非可行区域的障碍物为非行人的点云，则判断电梯空间为不可进入状态。其中需要说明的是，作为一个示例，可以通过将障碍物点云映射到语义分割的图像结果上，通过语义信息与障碍物点云进行对比来判定该非可行区域的障碍物是否为行人的点云。作为另一些示例，可以通过障碍物的点云数据，通过物体类型识别算法去识别对应的点云数据是否为行人的点云，具体本发明实施例不做限定。也不一一举例。
在该实施例中，判断机器人的停靠区域为非可行区域，此时，还需进一步判断非可行区域的障碍物是否为行人的点云，依据非可行区域的障碍物是否为行人做进一步判断，提高了方案的多样性，另外充分了考虑了电梯内可行区域为行人的情况，考虑了电梯内行人的交互情况，有效地减少机器人进入电梯时对行人造成的干扰，极大地提高了乘梯安全性和效率，也大大的增强了机器人的实用性和行人体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种电梯的空间状态判断装置，该电梯的空间状态判断装置与上述实施例中电梯的空间状态判断方法一一对应。如图7所示，该电梯的空间状态判断装置包括第一判断模块101、获取模块102和第二判断模块103各功能模块详细说明如下：
第一判断模块101，用于判断电梯门是否已打开；
获取模块102，用于当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
第二判断模块103，用于根据所述第一图像和第二图像，判断所述电梯的空间状态。
在一实施例中，第二判断模块103，具体用于：
将所述第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行语义分割，以对所述输出图像标记图像标注框；
将所述输出图像中的图像标注框，对应投射到所述第二图像，并将所述第二图像中所述图像标注框对应的深度像素转换为空间点云；
将所述第二图像中被所述图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；
根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态在一实施例中，所述第二判断模块103，具体用于：
获取所述第一目标俯视图中可行区域的面积，和所述机器人的投影面积；
当所述可行区域的面积大于所述机器人的投影面积，且大于所述机器人的投影面积的预设倍数，则判断所述机器人的停靠区域是否为所述可行区域；
当所述机器人的停靠区域为所述可行区域，则判断所述电梯空间为可进入状态。
在一实施例中，所述第二判断模块103，还用于：
当所述可行区域的面积小于或等于所述机器人的投影面积，则判断电梯空间为不可进入状态；
或者，
当所述可行区域的面积大于所述机器人的投影面积，且小于或等于所述机器人的投影面积的所述预设倍数，则判断所述电梯空间为不可进入状态。
在一实施例中，所述第二判断模块103，还用于：
当所述机器人的停靠区域为非可行区域，判断所述非可行区域的障碍物是否为行人的点云；
当所述非可行区域的障碍物为行人的点云，则判断所述电梯空间为可进入状态；
当所述非可行区域的障碍物为非行人的点云，则判断所述电梯空间为不可进入状态。
在一实施例中，所述第一判断模块101，具体用于：
将所述输出图像输入到预设图像识别模型中进行图像检测，以标记出两侧电梯门和电梯内部区域；
将所述两侧电梯门和电梯内部区域按照像素位置，对应投射到所述第二图像中，并将所述第二图像中所述两侧电梯门和电梯内部区域对应的深度像素转换为空间点云；
将所述第二图像中所述电梯内部区域及两侧区域的空间点云对应投影在水平面得到第二目标俯视图；
根据所述第二目标俯视图判断所述电梯门是否打开。
在一实施例中，所述第一判断模块101，具体用于：
根据所述第二目标俯视图获取电梯宽度和电梯门宽度；
当所述电梯宽度和电梯门宽度之间的差小于预设阈值，则判定所述电梯门为已打开；
当所述电梯宽度和电梯门宽度之间的差大于或等于所述预设阈值，则判定所述电梯门为未打开。
可见，本发明实施例提供了一种电梯的空间状态判断装置，用于判断电梯门是否已打开；当电梯门已打开时，将第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行像素级语义分割，以对输出图像标记图像标注框，第一图像为机器人前方对应的RGB图；将输出图像中的图像标注框，对应投射到第二图像，并将第二图像中图像标注框对应的深度像素转换为空间点云，第二图像为机器人前方对应的深度图；将第二图像中被图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；最后根据第一目标俯视图中的可行区域和非可行区域，判断电梯的空间状态。由于该第一目标俯视图是电梯门已打开后，机器人前方区域的深度图和RGB图所转化生成，该第一目标俯视图反映了电梯内部的可行区域和非可行区域，可以充分的获知电梯的空间状态，使机器人可以依据电梯的空间状态判断是否可以进入电梯，有效地提高了乘梯安全性和效率。
关于电梯的空间状态判断装置的具体限定可以参见上文中对于电梯的空间状态判断方法的限定，在此不再赘述。上述电梯的空间状态判断装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电梯的空间状态判断装置，该电梯的空间状态判断装置可以是服务器，也可以是置入机器人内的控制器，其内部结构图可以如图8所示。该电梯的空间状态判断装置包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电梯的空间状态判断装置的处理器用于提供计算和控制能力。该电梯的空间状态判断装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该计算机程序被处理器执行时以实现一种电梯的空间状态判断方法。
在一个实施例中，提供了一种电梯的空间状态判断装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
判断电梯门是否已打开；
当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
根据所述第一图像和第二图像，判断所述电梯的空间状态。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
判断电梯门是否已打开；
当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
根据所述第一图像和第二图像，判断所述电梯的空间状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种电梯的空间状态判断方法，其特征在于，包括：
当前方区域为电梯，判断电梯门是否已打开；
当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
将所述第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行语义分割，以对所述输出图像标记图像标注框；
将所述输出图像中的图像标注框，对应投射到所述第二图像，并将所述第二图像中所述图像标注框对应的深度像素转换为空间点云；
将所述第二图像中被所述图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；
根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态是否为可进入状态。
2.如权利要求1所述的电梯的空间状态判断方法，其特征在于，所述根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态是否为可进入状态，包括：
获取所述第一目标俯视图中可行区域的面积，和所述机器人的投影面积；
当所述可行区域的面积大于所述机器人的投影面积，且大于所述机器人的投影面积的预设倍数，则判断所述机器人的停靠区域是否为所述可行区域；
当所述机器人的停靠区域为所述可行区域，则判断所述电梯空间为可进入状态。
3.如权利要求2所述的电梯的空间状态判断方法，其特征在于，所述方法还包括：
当所述可行区域的面积小于或等于所述机器人的投影面积，则判断电梯空间为不可进入状态；
或者，
当所述可行区域的面积大于所述机器人的投影面积，且小于或等于所述机器人的投影面积的所述预设倍数，则判断所述电梯空间为不可进入状态。
4.如权利要求2所述的电梯的空间状态判断方法，其特征在于，所述方法还包括；
当所述机器人的停靠区域为非可行区域，则判断所述非可行区域的障碍物是否为行人的点云；
当所述非可行区域的障碍物为行人的点云，则判断所述电梯空间为可进入状态；
当所述非可行区域的障碍物为非行人的点云，则判断所述电梯空间为不可进入状态。
5.如权利要求2-4任一项所述的电梯的空间状态判断方法，其特征在于，所述判断电梯门是否已打开，包括：
将所述机器人前方对应的RGB图像预处理后，输入到预设图像识别模型中进行图像检测，以标记出两侧电梯门和电梯内部区域；
将所述两侧电梯门和电梯内部区域按照像素位置，对应投射到所述机器人前方区域为电梯时所述机器人前方对应的深度图中，并将所述机器人前方区域为电梯时所述机器人前方对应的深度图中，所述两侧电梯门和电梯内部区域对应的深度像素转换为空间点云；
将所述电梯内部区域及两侧电梯门区域的空间点云对应投影在水平面得到第二目标俯视图；
根据所述第二目标俯视图判断所述电梯门是否打开。
6.如权利要求5所述的电梯的空间状态判断方法，其特征在于，所述根据所述第二目标俯视图判断所述电梯门是否打开，包括：
根据所述第二目标俯视图获取电梯宽度和电梯门宽度；
当所述电梯宽度和电梯门宽度之间的差小于预设阈值，则判断所述电梯门为已打开；
当所述电梯宽度和电梯门宽度之间的差大于或等于所述预设阈值，则判断所述电梯门为未打开。
7.一种电梯的空间状态判断装置，其特征在于，包括：
第一判断模块，用于当前方区域为电梯，判断电梯门是否已打开；
获取模块，用于当所述电梯门已打开时，获取第一图像和第二图像，所述第一图像为机器人前方对应的RGB图，所述第二图像为所述机器人前方对应的深度图；
第二判断模块，用于将所述第一图像预处理后的输出图像，输入至预先训练得到的语义分割模型进行语义分割，以对所述输出图像标记图像标注框；
将所述输出图像中的图像标注框，对应投射到所述第二图像，并将所述第二图像中所述图像标注框对应的深度像素转换为空间点云；
将所述第二图像中被所述图像标注框标记的空间点云投影到水平面，以获取第一目标俯视图；
根据所述第一目标俯视图中的可行区域，判断所述电梯的空间状态是否为可进入状态。
8.一种电梯的空间状态判断装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的电梯的空间状态判断方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的电梯的空间状态判断方法的步骤。
CN202011494700.2A 2020-12-17 2020-12-17 电梯的空间状态判断方法、装置及存储介质 Active CN112529953B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011494700.2A CN112529953B (zh) 2020-12-17 2020-12-17 电梯的空间状态判断方法、装置及存储介质
PCT/CN2021/129663 WO2022127451A1 (zh) 2020-12-17 2021-11-10 电梯的空间状态判断方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011494700.2A CN112529953B (zh) 2020-12-17 2020-12-17 电梯的空间状态判断方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112529953A CN112529953A (zh) 2021-03-19
CN112529953B true CN112529953B (zh) 2022-05-03

Family

ID=75000933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011494700.2A Active CN112529953B (zh) 2020-12-17 2020-12-17 电梯的空间状态判断方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN112529953B (zh)
WO (1) WO2022127451A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529953B (zh) * 2020-12-17 2022-05-03 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108840192A (zh) * 2018-08-14 2018-11-20 北京瑞特森传感科技有限公司 一种电梯的监控方法、装置、电子设备及存储介质
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN109508667A (zh) * 2018-11-09 2019-03-22 莱茵德尔菲电梯有限公司 一种电梯视频防夹方法及电梯视频监控装置
CN109552953A (zh) * 2018-11-30 2019-04-02 深圳市普渡科技有限公司 机器人自主进出电梯的系统及方法
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN110276302A (zh) * 2019-06-24 2019-09-24 上海木木机器人技术有限公司 一种机器人搭乘电梯的方法及系统
CN111153300A (zh) * 2019-12-31 2020-05-15 深圳优地科技有限公司 一种机器人乘梯方法、系统、机器人及存储介质
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN112008727A (zh) * 2020-08-31 2020-12-01 北京云迹科技有限公司 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10478973B2 (en) * 2016-02-09 2019-11-19 Cobalt Robotics Inc. Mobile robot security enforcement
BR112019016311B1 (pt) * 2017-03-27 2023-05-09 Inventio Ag Método e dispositivo para monitoramento de uma porta de cabine de elevador e instalação de elevador
CN108876833A (zh) * 2018-03-29 2018-11-23 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN110526058B (zh) * 2018-05-23 2022-06-03 奥的斯电梯公司 电梯门监控系统、电梯系统和电梯门监控方法
CN111382637B (zh) * 2018-12-29 2023-08-08 深圳市优必选科技有限公司 行人检测跟踪方法、装置、终端设备及介质
CN110245567B (zh) * 2019-05-16 2023-04-07 达闼机器人股份有限公司 避障方法、装置、存储介质及电子设备
CN110937480B (zh) * 2019-12-12 2022-01-04 广州赛特智能科技有限公司 一种机器人自主搭乘电梯的方法及系统
CN111039113A (zh) * 2019-12-31 2020-04-21 北京猎户星空科技有限公司 电梯运行状态确定方法、装置、设备和介质
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN111874764B (zh) * 2020-09-28 2021-02-02 上海木承智能医疗科技有限公司 一种机器人的调度方法、服务器和存储介质
CN112529953B (zh) * 2020-12-17 2022-05-03 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN108840192A (zh) * 2018-08-14 2018-11-20 北京瑞特森传感科技有限公司 一种电梯的监控方法、装置、电子设备及存储介质
CN109508667A (zh) * 2018-11-09 2019-03-22 莱茵德尔菲电梯有限公司 一种电梯视频防夹方法及电梯视频监控装置
CN109552953A (zh) * 2018-11-30 2019-04-02 深圳市普渡科技有限公司 机器人自主进出电梯的系统及方法
CN110264572A (zh) * 2019-06-21 2019-09-20 哈尔滨工业大学 一种融合几何特性与力学特性的地形建模方法及系统
CN110276302A (zh) * 2019-06-24 2019-09-24 上海木木机器人技术有限公司 一种机器人搭乘电梯的方法及系统
CN111153300A (zh) * 2019-12-31 2020-05-15 深圳优地科技有限公司 一种机器人乘梯方法、系统、机器人及存储介质
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN112008727A (zh) * 2020-08-31 2020-12-01 北京云迹科技有限公司 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Now I Need Help! Passing Doors and Using Elevators as an Assistance Requiring Robot;Jonathan Liebner等;《International Conference on Social Robotics》;20191231;第527-537页 *
基于视觉引导的机器人乘坐电梯算法研究;李瀚辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315(第3期);第I140-70页 *

Also Published As

Publication number Publication date
WO2022127451A1 (zh) 2022-06-23
CN112529953A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
JP6710426B2 (ja) 障害物検出方法及び装置
JP7414978B2 (ja) 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
CN111325769B (zh) 一种目标对象检测方法及装置
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
EP2713308B1 (en) Method and system for using fingerprints to track moving objects in video
Janahiraman et al. Traffic light detection using tensorflow object detection framework
CN109948707B (zh) 模型训练方法、装置、终端及存储介质
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
US20230196587A1 (en) Method and system for tracking target part, and electronic device
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN115004259B (zh) 对象识别方法、装置、计算机设备和存储介质
CN103810696A (zh) 一种目标对象图像检测方法及装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN112529953B (zh) 电梯的空间状态判断方法、装置及存储介质
CN114022846A (zh) 作业车辆的防碰撞监控方法、装置、设备和介质
CN112289021A (zh) 一种交通信号灯的检测方法、装置及自动驾驶汽车
CN111402185B (zh) 一种图像检测方法及装置
Richter et al. Semantic evidential grid mapping based on stereo vision
CN110569717A (zh) 局部放电检测方法、装置、系统、设备及可读存储介质
CN115147818A (zh) 玩手机行为识别方法及装置
CN115410153A (zh) 一种门开关状态的判定方法、装置、电子终端及存储介质
KR20210083760A (ko) 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법
CN115705702A (zh) 用于检测图像中的对象的方法和设备
CN115311140A (zh) 一种用于机器人地图的电梯自动拼接方法、装置及产品
CN114708528A (zh) 基于巡逻机器人的翻墙行为检测方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant