CN110216661A

CN110216661A - 跌落区域识别的方法及装置

Info

Publication number: CN110216661A
Application number: CN201910357288.0A
Authority: CN
Inventors: 应甫臣; 李梦男
Original assignee: Beijing Yunji Technology Co Ltd
Current assignee: Beijing Yunji Technology Co Ltd
Priority date: 2019-04-29
Filing date: 2019-04-29
Publication date: 2019-09-10
Anticipated expiration: 2039-04-29
Also published as: CN110216661B

Abstract

本申请公开了一种跌落区域识别的方法及装置。该申请的方法包括根据深度摄像头获取机器人前方活动区域对应的深度图像信息，所述活动区域为机器人可检测范围；通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；根据所述三维坐标信息识别活动区域中的跌落区域。本申请解决机器人如何更及时、更准确地识别跌落区域的问题。

Description

跌落区域识别的方法及装置

技术领域

本申请涉及机器人技术领域，具体而言，涉及一种跌落区域识别的方法及装置。

背景技术

随着机器人技术的快速发展，机器人的应用已经越来越广泛，尤其是服务机器人。服务器机器人在为人类的生活服务时，为了防止跌落，需要为其设置防跌落系统。目前服务机器人的防跌落系统主要采用的实现方式是用向下发射红外光或者超声波检测其反射信号，根据反射信号的强弱来判断是否存在跌落区域。但是这种方式需要反复调节阈值来准确判断跌落区域，而且由于噪点的存在还会发生一些误报。另外，由于红外光或者超声波的探测距离有限，因此只适合低速运动的机器人，对于快速运动的机器人，当检测到有跌落区域时有可能也无法有效制动。

发明内容

本申请的主要目的在于提供一种跌落区域识别的方法，以解决机器人如何更及时、更准确地识别跌落区域的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种跌落区域识别的方法。

根据本申请的跌落区域识别的方法包括：

根据深度摄像头获取机器人前方活动区域对应的深度图像信息，所述活动区域为机器人可检测范围；

通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；

根据所述三维坐标信息识别活动区域中的跌落区域。

进一步的，在根据所述三维坐标信息识别活动区域中的跌落区域之前，所述方法还包括：

根据三维坐标信息确定活动区域出现跌落区域。

进一步的，所述根据所述三维坐标信息识别活动区域中的跌落区域包括：

根据三维坐标信息确定当前平面与跌落区域的坐标分界线，所述坐标分界线为区分当前平面与跌落平面的机器人运动方向上的临界线，所述当前平面为机器人所处的平面；

根据所述坐标分界线对应的像素点三维坐标信息识别活动区域中的跌落区域。

进一步的，根据三维坐标信息确定活动区域出现跌落区域包括：

根据所述三维坐标信息确定所述当前平面与跌落平面之间的高度值；

根据所述高度值与预设阈值的比较结果，确定活动区域出现跌落区域。

进一步的，在根据所述三维坐标信息识别活动区域中的跌落区域之后，所述方法还包括：

将坐标分界线对应的像素点三维坐标信息保存，并上传给上层应用；

上层应用根据所述坐标分界线对应的像素点三维坐标信息控制机器人的运行路线。

为了实现上述目的，根据本申请的第二方面，提供了一种跌落区域识别的装置。

根据本申请的跌落区域识别的装置包括：

获取单元，用于根据深度摄像头获取机器人前方活动区域对应的深度图像信息，所述活动区域为机器人可检测范围；

转换单元，用于通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；

识别单元，用于根据所述三维坐标信息识别活动区域中的跌落区域。

进一步的，所述装置还包括：

确定单元，用于在根据所述三维坐标信息识别活动区域中的跌落区域之前，根据三维坐标信息确定活动区域出现跌落区域。

进一步的，所述识别单元包括：

分界线确定模块，用于根据三维坐标信息确定当前平面与跌落区域的坐标分界线，所述坐标分界线为区分当前平面与跌落平面的机器人运动方向上的临界线，所述当前平面为机器人所处的平面；

识别模块，用于根据所述坐标分界线对应的像素点三维坐标信息识别活动区域中的跌落区域。

进一步的，确定单元，包括：

高度确定模块，用于根据所述三维坐标信息确定所述当前平面与跌落平面之间的高度值；

跌落确定模块，用于根据所述高度值与预设阈值的比较结果，确定活动区域出现跌落区域。

进一步的，所述装置还包括：

上传单元，用于在根据所述三维坐标信息识别活动区域中的跌落区域之后，将坐标分界线对应的像素点三维坐标信息保存，并上传给上层应用；

控制单元，用于上层应用根据所述坐标分界线对应的像素点三维坐标信息控制机器人的运行路线。

为了实现上述目的，根据本申请的第三个方面，提供了一种电子设备，其特征在于，包括：

至少一个处理器；

以及与所述处理器连接的至少一个存储器、总线；其中，

所述处理器、存储器通过所述总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以执行第一方面中任一项所述的跌落区域识别的方法。

为了实现上述目的，根据本申请的第四个方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的跌落区域识别的方法。

在本申请实施例中，跌落区域识别的方法和装置能够根据深度摄像头获取机器人前方活动区域对应的深度图像信息；然后通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；最后根据所述三维坐标信息识别活动区域中的跌落区域。由于采用深度摄像头可以扩大检测的范围，在一定程度提高机器人运行速度的情况下，保证其发现跌落区域的制动距离。另外，通过深度摄像头获取的深度图像信息的数据量大，可以有效去除少量的噪点数据，有效的避免误报的发生。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一种实施例的跌落区域识别的方法流程图；

图2是根据本申请另一种实施例的跌落区域识别的方法流程图；

图3是根据本申请一种实施例的跌落区域识别方法中坐标分界线的示意图；

图4是根据本申请一种实施例的跌落区域识别的装置的组成框图；

图5是根据本申请另一种实施例的跌落区域识别的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种跌落区域识别的方法，如图1所示，该方法包括如下的步骤S101至步骤S103：

S101.根据深度摄像头获取机器人前方活动区域对应的深度图像信息。

其中，深度摄像头为RGB-D摄像头，具体的为了增大摄像头探测的范围，则RGB-D摄像头俯视一定的角度安装在机器人的顶部。活动区域为机器人通过深度摄像头可检测到的地面范围。深度图像信息是对应的地面范围的深度图像信息。

另外，由于获取的深度图像信息中有可能有环境的干扰因素，因此需要进行去噪处理，去除噪点，这样可以有效的保证最终跌落区域识别的准确性，防止误报。具体的去除噪点的方式可以为根据聚类算法对深度图像信息中的像素点按照距离进行聚类，然后根据聚类的结果去除噪点。具体的聚类算法可以为欧几里得聚类或者曼哈顿距离度量等其他种类的聚类算法。

S102.通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息。

由于获取到的深度图像信息是基于深度摄像头坐标系的像素点信息，因此需要通过坐标系变换，将基于深度摄像头坐标系的像素点信息转换为基于机器人坐标系的三维坐标信息。对于坐标系变换的方式，本实施例中不加限制，可以为任意一种可以实现坐标系转换的方式。

S103.根据三维坐标信息识别活动区域中的跌落区域。

由于步骤S102中得到的三维坐标信息中包含机器人前方活动区域内的地面图像信息，因此可以根据三维坐标信息的分析确定是活动区域是否有跌落的区域，以及发生跌落的临界线。以使机器人在未到达跌落临界线前及时的制动，防止跌落。

从以上的描述中，可以看出，本申请实施例中跌落区域识别的方法能够根据深度摄像头获取机器人前方活动区域对应的深度图像信息；然后通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；最后根据所述三维坐标信息识别活动区域中的跌落区域。由于采用深度摄像头可以扩大检测的范围，在一定程度提高机器人运行速度的情况下，保证其发现跌落区域的制动距离。另外，通过深度摄像头获取的深度图像信息的数据量大，可以有效去除少量的噪点数据，有效的避免误报的发生。

根据本申请另一实施例，提供了一种跌落区域识别的方法，如图2所示，该方法包括：

S201.根据深度摄像头获取机器人前方活动区域对应的深度图像信息。

本步骤的实现方式与图1中步骤S101的实现方式相同，此处不再赘述。

S202.通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息。

本步骤的实现方式与图1中步骤S102的实现方式相同，此处不再赘述。

S203.根据三维坐标信息确定活动区域出现跌落区域。

由于在实际的应用中，深度摄像头的有可能存在检测的误差，因此需要根据机器人的过坎能力提前设置一个高度的预设阈值。然后，根据预设阈值进行跌落区域的初步判定。具体的判定过程为：1)根据三维坐标信息确定当前平面与跌落平面之间的高度值，当前平面为机器人当前所处的平面；2)将前述高度值与预设阈值进行比较；3)根据比较结果，确定活动区域是否出现跌落区域：若高度值大于预设阈值，则判定活动区域出现跌落区域；若高度值不大于预设阈值，则判定没有出现跌落区域。

S204.根据三维坐标信息识别活动区域中的跌落区域。

具体的根据三维坐标信息识别活动区域中的跌落区域即根据三维坐标信息确定当前平面与跌落区域的坐标分界线，然后根据坐标分界线对应的像素点三维坐标信息识别活动区域中的跌落区域。坐标分界线为区分当前平面与跌落平面的机器人运动方向上的临界线，当前平面为机器人当前所处的平面。

为了更直观的对坐标分界线进行说明，本实施例给出跌落区域识别方法中坐标分界线的示意图，如图3所示：其中A平面为机器人所处的当前平面，B平面为跌落平面，高度Z为当前平面与跌落平面之间的高度值，对应的C为坐标分界线，即区分当前平面与跌落平面的机器人运动方向上的临界线。

S205.将坐标分界线对应的像素点三维坐标信息保存，并上传给上层应用。

上层应用为能够直接控制机器人活动的控制层，在确定坐标分界线后需要将其对应的像素点三维坐标信息发送给上层应用，以使上层应用根据区分当前平面与跌落平面的机器人运动方向上的临界线去控制机器人的运动，防止机器人跌落。

S206.上层应用根据坐标分界线对应的像素点三维坐标信息控制机器人的运行路线。

上层应用根据坐标分界线对应的像素点三维坐标信息，以及机器人当前的位置点确定机器人与坐标分界线之间的距离；然后根据该距离以及机器人当前的运行速度计算机器人开始制动的位置点以及制动的加速度，然后依此来控制机器人的运动，达到防止跌落的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1和图2所述方法的跌落区域识别的装置，如图4所示，该装置包括：

获取单元31，用于根据深度摄像头获取机器人前方活动区域对应的深度图像信息，所述活动区域为机器人可检测范围；

另外，由于获取的深度图像信息中有可能有环境的干扰因素，因此需要进行去噪处理，去除噪点，这样可以有效的保证最终跌落区域识别的准确性，防止误报。具体的去除噪点的方式可以为根据聚类算法对深度图像信息中的像素点按照距离进行聚类，然后根据聚类的结果去除噪点。具体的聚类算法可以为欧几里得聚类或者曼哈顿距离度量等其他种类的聚类算法

转换单元32，用于通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；

识别单元33，用于根据所述三维坐标信息识别活动区域中的跌落区域。

由于转换单元32中得到的三维坐标信息中包含机器人前方活动区域内的地面图像信息，因此可以根据三维坐标信息的分析确定是活动区域是否有跌落的区域，以及发生跌落的临界线。以使机器人在未到达跌落临界线前及时的制动，防止跌落。

从以上的描述中，可以看出，本申请实施例中跌落区域识别的装置能够根据深度摄像头获取机器人前方活动区域对应的深度图像信息；然后通过坐标系变换将深度图像信息转换为基于机器人坐标系的三维坐标信息；最后根据所述三维坐标信息识别活动区域中的跌落区域。由于采用深度摄像头可以扩大检测的范围，在一定程度提高机器人运行速度的情况下，保证其发现跌落区域的制动距离。另外，通过深度摄像头获取的深度图像信息的数据量大，可以有效去除少量的噪点数据，有效的避免误报的发生。

进一步的，如图5所示，所述装置还包括：

确定单元34，用于在根据所述三维坐标信息识别活动区域中的跌落区域之前，根据三维坐标信息确定活动区域出现跌落区域。

进一步的，如图5所示，所述识别单元33包括：

分界线确定模块331，用于根据三维坐标信息确定当前平面与跌落区域的坐标分界线，所述坐标分界线为区分当前平面与跌落平面的机器人运动方向上的临界线，所述当前平面为机器人所处的平面；

识别模块332，用于根据所述坐标分界线对应的像素点三维坐标信息识别活动区域中的跌落区域。

进一步的，如图5所示，确定单元34，包括：

高度确定模块341，用于根据所述三维坐标信息确定所述当前平面与跌落平面之间的高度值；

跌落确定模块342，用于根据所述高度值与预设阈值的比较结果，确定活动区域出现跌落区域。

进一步的，如图5所示，所述装置还包括：

上传单元35，用于在根据所述三维坐标信息识别活动区域中的跌落区域之后，将坐标分界线对应的像素点三维坐标信息保存，并上传给上层应用；

控制单元36，用于上层应用根据所述坐标分界线对应的像素点三维坐标信息控制机器人的运行路线。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种电子设备，该电子设备包括：

至少一个处理器；

以及与所述处理器连接的至少一个存储器、总线；其中，

所述处理器、存储器通过所述总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以执行上述图1或图2中所述的跌落区域识别的方法。

根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图2所述的跌落区域识别的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种跌落区域识别的方法，其特征在于，所述方法包括：

根据所述三维坐标信息识别活动区域中的跌落区域。

2.根据权利要求1所述的跌落区域识别的方法，其特征在于，在根据所述三维坐标信息识别活动区域中的跌落区域之前，所述方法还包括：

根据三维坐标信息确定活动区域出现跌落区域。

3.根据权利要求2所述的跌落区域识别的方法，其特征在于，所述根据所述三维坐标信息识别活动区域中的跌落区域包括：

4.根据权利要求3所述的跌落区域识别的方法，其特征在于，根据三维坐标信息确定活动区域出现跌落区域包括：

5.根据权利要求4中所述的跌落区域识别的方法，其特征在于，在根据所述三维坐标信息识别活动区域中的跌落区域之后，所述方法还包括：

6.一种跌落区域识别的装置，其特征在于，所述装置包括：

7.根据权利要求6所述的跌落区域识别的装置，其特征在于，所述装置还包括：

8.根据权利要求7所述的跌落区域识别的装置，其特征在于，所述识别单元包括：

9.一种电子设备，其特征在于，包括：

至少一个处理器；

以及与所述处理器连接的至少一个存储器、总线；其中，

所述处理器、存储器通过所述总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至权利要求5中任一项所述的跌落区域识别的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求5中任一项所述的跌落区域识别的方法。