CN112907672A - 一种机器人的避让方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种机器人的避让方法、装置、电子设备及存储介质。其中，该方法包括：获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。通过在机器人行走过程中，区分人体和其他障碍物，有效定位人体目标部位的三维位姿，实现实时的三维高精度避让，防止机器人碰撞行人等情况的出现，更好地保障了行人的安全，提升了机器人避让时的针对性。

Description

一种机器人的避让方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及机器人技术，尤其涉及一种机器人的避让方法、装置、电子设备及存储介质。

背景技术

机器人在生活中的应用越来越广泛，例如，可以将机器人应用于餐厅中，使机器人进行送餐或收盘等工作。但餐厅等场所人员众多，机器人在行走时容易与人体发生碰撞，影响工作效率。

现有技术中，机器人依靠激光雷达反馈回的点云信息，确定前方存在障碍物，对遇到的障碍物实现避让。但无法对不同种类的障碍物的进行区分，无法根据不同的障碍物进行针对性避让，容易出现机器人碰撞行人或压脚等情况。

发明内容

本发明实施例提供一种机器人的避让方法、装置、电子设备及存储介质，以实现机器人对人体的高精度避让。

第一方面，本发明实施例提供了一种机器人的避让方法，该方法包括：

获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

第二方面，本发明实施例还提供了一种机器人的避让装置，该装置包括：

图像获取模块，用于获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

图像匹配模块，用于将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

机器人避让模块，用于识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的机器人的避让方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的机器人的避让方法。

本发明实施例通过获取预设范围内的点云图像和人体目标部位的二维位姿图像，得到人体目标部位的三维位姿图像，实现对人体和其他障碍物的区分。根据三维位姿图像，确定人体目标部位的姿态，根据目标部位姿态，实现机器人的避让。解决了现有技术中，根据激光雷达获取点云图像，对机器人前方的所有障碍物采取相同避让措施的问题，有效定位人体目标部位的三维位姿，实现三维的实时高精度避让，防止机器人碰撞行人和压脚等情况的出现，实现了针对人的舒适避让，更好地保障了行人的安全和舒适感，提升了机器人的避让精度。

附图说明

图1是本发明实施例一中的一种机器人的避让方法的流程示意图；

图2是本发明实施例一中的人体二维位姿图像示意图；

图3是本发明实施例二中的一种机器人的避让方法的流程示意图；

图4是本发明实施例三中的一种机器人的避让方法的流程示意图；

图5是本发明实施例四中的一种机器人的避让装置的结构框图；

图6是本发明实施例五中的一种机器人的避让设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种机器人的避让方法的流程示意图，本实施例可适用于机器人在行走时进行主动避让的情况，该方法可以由一种机器人的避让装置来执行。如图1所示，该方法具体包括如下步骤：

步骤110、获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像。

其中，机器人身上可以安装有摄像机或激光雷达等图像采集设备，图像采集设备可以采集预设范围内的环境图像，预设采集范围可以是机器人前进方向的预设距离内的范围，也可以是预设角度范围等。例如，可以将以机器人为中心，以5米为半径的范围作为图像采集设备的预设采集范围。图像采集设备可以采集预设采集范围内的环境图像进行上传，从而得到预设采集范围内的点云图像，以及人体目标部位的二维位姿图像。点云图像可以是深度图像，根据点云图像可以得到障碍物与机器人之间的距离。人体目标部位可以是人体的四肢，例如，可以是人腿、胳膊和躯干等。二维位姿图像可以是表示人体目标部位当前的二维平面姿态，例如，根据人腿的二维位姿图像可以确定人体正处于站立的姿态。通过二维位姿图像，可以区分人体和非人体的障碍物。

本实施例中，可选的，在获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像之前，还包括：将安装于机器人上的双目立体视觉相机的相机坐标系与机器人坐标系进行标定，以确定人体目标部位坐标与机器人坐标之间的坐标关系。

具体的，机器人身上可以安装有双目立体视觉相机，例如，可以将双目立体视觉相机安装于机器人的头部位置，双目立体视觉相机可以是RGBD（RGB-深度）相机。双目立体视觉相机可以获取预设采集范围内的环境图像，从而得到点云图像和二维位姿图像。双目立体视觉相机所采集的图像中的人体和物体是以相机坐标系进行位置确定，为了在后续识别人体目标部位时，确定目标部位坐标与机器人坐标之间的坐标关系，可以在图像采集之前，对相机坐标系与机器人坐标系进行标定。将双目立体视觉相机与机器人进行坐标系的标定，可以标记出相机坐标系和机器人坐标系之间的关系，例如，可以将相机坐标系下的物体放置于机器人坐标系下，得到物体与机器人之间的相对位置。这样设置的有益效果在于，精确标记出相机坐标系和机器人坐标系之间的关系，便于得到人体目标部位坐标和机器人坐标之间的坐标关系，提高对人体目标部位的位置确定精度，进而提高机器人的避让精度。

本实施例中，可选的，获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像，包括：通过安装于机器人上的RGB相机得到预设采集范围内的二维场景图像；根据预设的人体骨架检测算法，识别所述二维场景图像中的人体目标部位的二维位姿图像；通过安装于机器人上的深度相机得到预设采集范围内的点云图像；其中，RGB相机和深度相机来源于双目立体视觉相机。

具体的，机器人身上安装的双目立体视觉相机可以包括RGB（Red-Green-Blue，红绿蓝）相机和深度相机等，RGB相机可以用于得到预设采集范围内的二维场景图像，深度相机用于得到预设采集范围内的点云图像。二维场景图像中可以包括人体和非人体等障碍物，例如，非人体障碍物可以是桌子和椅子等静态障碍物。针对不同的障碍物可以采取不同的避让方式，因此，可以对二维场景图像中的人体和非人体进行识别。本实施例中，可以对人体障碍物进行有针对性的避让。可以是采取人体骨架检测算法进行人体识别，人体骨架检测算法是基于卷积神经网络和监督学习在深度学习开源框架上开发的用于检测人体骨架在二维图像中的位姿的算法，主要检测的特征为人体的一些关键点信息，能够识别出人体骨架，得到人体目标部位基于二维图像的位姿，例如，可以得到人腿的二维位姿。图2为人体二维位姿图像示意图。根据人体骨架检测算法，可以得到预设采集范围内含有人体目标部位的二维位姿图像。将双目立体视觉相机与机器人作标定后，使用双目立体视觉相机的RGB相机，基于预设的人体骨架检测算法，识别得到人体目标部位的二维位姿图像。若识别到二维场景图像中没有人体，则可以根据预设的静态障碍物避让规则进行避让。这样设置的有益效果在于，可以得到点云图像和二维位姿图像，有利于对障碍物进行精确定位和区分，提高机器人避让精度，避免对所有障碍物采取相同的避让措施，实现了针对人的舒适避让，更好地保障了行人的安全和舒适感。

步骤120、将点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像。

其中，在得到点云图像和人体目标部位的二维位姿图像后，将点云图像和二维位姿图像进行匹配，结合得到人体目标部位的三维位姿图像。例如，可以查找二维位姿图像中人体目标部位的坐标，在点云图像中查找对应坐标的位置，将点云图像中该位置处的图像与二维位姿图像中该位置处的图像进行结合，得到三维位姿图像。三维位姿图像既可以表明人体目标部位当前在二维平面上的姿势，又可以表明目标部位与机器人之间的距离。

本实施例中，可选的，将点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像，包括：将人体目标部位的二维位姿图像与点云图像进行重叠；根据重叠后的二维位姿图像和点云图像，生成人体目标部位的三维位姿图像。

具体的，可以不查找二维位姿图像中人体目标部位的坐标位置，预先将RGB相机和深度相机设置为相同的采集范围，在得到点云图像和二维位姿图像后，直接将二维位姿图像与点云图像进行重叠。由于RGB相机识别的是人体目标部位的二维位姿图像，因此，点云图像中重叠有二维位姿图像的位置即为人体目标部位的所在位置。根据重叠位置处的二维位姿图像和点云图像，得到人体目标部位基于三维空间坐标系的位姿，例如，可以确定人体左腿和右腿一前一后处于行走状态，分别得到左腿与右腿与机器人之间的距离。这样设置的有益效果在于，根据点云图像和二维位姿图像得到三维位姿图像，实现对目标部位的位置进行三维实时的高精度确认，提高对人体目标部位的避让针对性。

步骤130、识别三维位姿图像中的目标部位信息，根据目标部位信息和预设的避让算法，进行机器人的避让行走。

其中，在得到人体目标部位的三维位姿图像后，识别得到图像中目标部位的信息，目标部位信息可以是指目标部位的姿态和位置，目标部位姿态可以是目标部位的三维位姿。例如，目标部位为人腿，人腿的三维位姿为两腿处于站立且前后交叉的姿态。预先设置避让算法，避让算法可以在确定目标部位信息的情况下，确定机器人的避让方式。由于预先对机器人坐标和相机坐标进行标定，因此，可以确定机器人与目标部位之间的相对位置，从而确定机器人的避让路径。可以确定机器人的避让方式为在原地停留预设时间段，或绕路行走等。在确定目标部位信息后，基于预设的避让算法，可以得到机器人的避让方式，从而控制机器人根据确定的避让方式进行避让。

本实施例中，识别三维位姿图像中的目标部位信息，根据目标部位信息和预设的避让算法，进行机器人的避让行走，包括：根据预设的三维位姿识别算法，确定三维位姿图像中的目标部位信息；根据目标部位信息和预设的避让算法，确定机器人的避让方式，供机器人根据避让方式进行行走。

具体的，预先设置三维位姿识别算法，用于识别三维位姿图像中目标部位的信息，例如，可以识别目标部位姿态。三维位姿识别算法可以是通过构建神经网络模型进行设置，将生成的三维位姿图像输入至训练好的神经网络模型中，通过特征提取，输出目标部位姿态。预设的避让算法中可以保存有不同的避让方式与目标部位姿态的关联关系，例如，目标部位为人腿，目标部位姿态为两腿弯曲呈蹲下的姿态，则关联的避让方式可以是将目标部位左侧2米处的位置作为避让点进行等待，也可以是机器人从目标部位左侧2米距离处进行绕路行走。机器人在避让点位置或在原地停留的时间可以根据需要进行设置，机器人绕路的避让半径也可以根据需要设置。例如，检测到前方人腿并紧直立，则可以减小避让半径，从人腿左侧1米处绕路行走；若检测到前方人员的两腿分开站立且两腿距离跨度较大，则可以增加避让半径，从人腿左侧3米处行走，避免出现压脚等情况发生。机器人还可以根据避让算法确定新的行驶路径，例如，机器人工作于餐厅中，预先存储餐厅的布局和地图，当机器人在预设行驶路径上行走时，识别出前方存在人腿障碍，则调用预存的餐厅地图，或采用摄像头等设备扫描周围环境，查找一条新路径进行避让行走。若在机器人的运行范围内为多人场景，则可以优先对处于移动状态的行人进行精确避让。即机器人可以先识别行人的运动状态，若行人两腿并立，则可以认为该行人处于静止状态；若行人两腿前后交叉，则可以认为该行人处于运动状态。将检测到的处于移动状态行人的避让半径增大，根据行人运动路径和状态的预测，调整半径系数。这样设置的有益效果在于，可以根据行人的三维位姿图像确定避让方式，对不同状态下的行人进行精确避让，有效定位行人的三维位姿，实现三维实时的高精度避让，防止机器人碰撞行人和压脚等情况的出现，更好地保障了行人的安全，提升了机器人避让时的针对性，以及避让范围的确定精度。

本实施例的技术方案，通过获取预设范围内的点云图像和人体目标部位的二维位姿图像，得到人体目标部位的三维位姿图像，实现对人体和其他障碍物的区分。根据三维位姿图像，确定人体目标部位的姿态，根据目标部位姿态，实现机器人的避让。解决了现有技术中，根据激光雷达获取的点云图像，对机器人前方的所有障碍物采取相同避让措施的问题，有效定位人体目标部位的三维位姿，实现三维的实时高精度避让，防止机器人碰撞行人和压脚等情况的出现，实现了针对人的舒适避让，更好地保障了行人的安全和舒适感，提升了机器人的避让精度。

实施例二

图3为本发明实施例二所提供的一种机器人的避让方法的流程示意图，本实施例以上述实施例为基础进行进一步的优化，该方法可以由一种机器人的避让装置来执行。如图3所示，该方法具体包括如下步骤：

步骤310、通过安装于机器人上的RGB相机得到预设采集范围内的二维场景图像；根据预设的人体骨架检测算法，识别二维场景图像中的人体目标部位的二维位姿图像；通过安装于机器人上的深度相机得到预设采集范围内的点云图像。

其中，机器人身上安装有RGB相机和深度相机等双目立体视觉相机，采用深度相机得到预设采集范围内的点云图像。使用双目立体视觉相机的RGB相机，运行人体骨架检测算法，识别出预设采集范围内的人体骨架，得到人体目标部位基于二维图像的位姿。

本实施例中，可选的，在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，还包括：获取机器人的预设行驶路径，根据行驶路径，对点云图像进行分割，得到目标采集范围内的目标点云图像。

具体的，在多人场景下，虽然不影响算法的计算，但由于场景中人员较多，识别时候的算力会比较紧张，实时性变慢。为了减小处理量，可以在得到点云图像后，对点云图像进行分割，减小图像中的人员数量。

在多人场景下，获取机器人的预设行驶路径，根据行驶路径进行点云图像的分割，例如，可以以行驶路径为中心线，分割得到中心线左右预设距离范围内的图像。以行驶路径为中心线，在中心线左右的预设距离范围即为目标采集范围。分割后获取目标采集范围内的点云图像，为目标点云图像。在点云图像中根据目标采集范围，对点云图像进行点云分割，针对这个范围内的点云数据去和检测得到的二维位姿图像进行匹配，实现减少数据处理量的效果。即在得到目标点云图像后，可以直接将目标点云图像与人体目标部位的二维位姿图像进行匹配。由于点云图像与二维位姿图像的坐标系均为相机坐标系，因此，可以通过坐标位置，在二维位姿图像中查找目标采集范围内的人体目标部位，进而实现人体目标部位的二维位姿与点云进行重叠。这样设置的有益效果在于，通过对点云图像进行分割，有效减少数据处理量，缓解计算力，确保避让的实时性，提高避让效率。

本实施例中，可选的，在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，还包括：根据机器人的预设行驶路径，对预设采集范围内的人体目标部位进行筛选，得到目标采集范围内的人体目标部位的二维位姿图像。

具体的，在得到预设采集范围内的人体目标部位的二维位姿图像后，可以对二维位姿图像进行分割。获取机器人预设的行驶路径，确定以行驶路径为中心线，在中心线左右的预设距离范围，该范围为目标采集范围。根据目标采集范围，对预设采集范围内的人体目标部位进行筛选，淘汰目标采集范围外的人体目标部位，筛选出机器人行驶路径所在的目标采集范围的人体，确定目标采集范围内的人体目标部位的二维位姿图像。这样设置的有益效果在于，减小计算量，缓解在多人场景下的计算能力，提高避让的实时性和效率。

本实施例中，可选的，将点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像，包括：将目标采集范围内的目标点云图像与目标采集范围内的人体目标部位的二维位姿图像进行匹配，得到目标采集范围内的人体目标部位的三维位姿图像。

具体的，可以在点云图像分割后，将目标采集范围内的目标点云图像与预设采集范围内的二维位姿图像进行匹配。根据点云图像的目标采集范围，对二维位姿图像中的人体进行筛选，得到目标采集范围内的人体目标部位的三维位姿图像。也可以对二维位姿图像进行分割，得到目标采集范围内人体目标部位的二维位姿图像。再将目标采集范围内的目标点云图像与目标采集范围内的人体目标部位的二维位姿图像进行匹配，目标点云图像与二维位姿图像大小相同，只需重叠在一起即可，从而得到目标采集范围内的人体目标部位的三维位姿图像。这样设置的有益效果在于，将目标采集范围内的目标电云图像与二维位姿图像进行匹配，避免对目标采集范围外的人体进行识别，实现对避让范围的确定，提高对行驶路径所在范围内人体识别的精确性，有效定位人体的三维位姿，更好地保障了行人的安全，提升了机器人避让的针对性。

步骤320、将点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像。

步骤330、识别三维位姿图像中的目标部位信息，根据目标部位信息和预设的避让算法，进行机器人的避让行走。

本发明实施例通过双目立体视觉相机获取预设范围内的点云图像和人体目标部位的二维位姿图像，得到人体目标部位的三维位姿图像，实现对人体和其他障碍物的区分，提高对人体的识别精度。根据三维位姿图像，确定人体目标部位的姿态，根据目标部位姿态，实现机器人的避让。解决了现有技术中，根据激光雷达获取的点云图像，对机器人前方的所有障碍物采取相同避让措施的问题，有效定位人体目标部位的三维位姿，实现三维的实时高精度避让，防止机器人碰撞行人和压脚等情况的出现，实现了针对人的舒适避让，更好地保障了行人的安全和舒适感，提升了机器人的避让精度。

实施例三

图4为本发明实施例三所提供的一种机器人的避让方法的流程示意图，本实施例以上述实施例为基础进行进一步的优化，该方法可以由一种机器人的避让装置来执行。如图4所示，该方法具体包括如下步骤：

步骤410、判断当前环境的光线强弱是否小于预设的光强阈值；若是，则对机器人采集的环境图像进行预处理，供机器人根据预处理后的环境图像，得到点云图像和二维位姿图像。

其中，在光线环境较弱的场景下，对人体骨架进行检测以及对点云图像进行获取和处理之前，可以采用一些辅助的手段来减轻光线弱带来的问题。可以对输入的光线较暗的环境图像进行预处理，做图像增强，提亮图像中的特征值，扩大像素亮度范围，避免人体目标部位检测的准确率降低。

机器人身上的摄像头等设备采集周围的环境图像，确定当前环境的光线强弱。预先设置一个光强阈值，判断当前环境的光线强弱是否小于预设的光强阈值，若否，则确定不需要对环境图像进行预处理，可以直接进行人体骨架的检测和点云图像的处理。若是，则需要对机器人采集的环境图像进行预处理，例如，可以做图像增强处理。使机器人依据预处理后的环境图像进行人体骨架的检测，并对点云图像进行获取和处理，提高人体检测的精度。

步骤420、获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像。

步骤430、将点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像。

步骤440、识别三维位姿图像中的目标部位信息，根据目标部位信息和预设的避让算法，进行机器人的避让行走。

其中，确定三维位姿图像中人体目标部位的信息，目标部位信息可以包括目标部位的姿态和位置，目标部位的位置可以是指目标部位与机器人之间的距离。根据目标部位信息，确定机器人的避让方式，例如，根据目标部位姿态，确定人体站立在机器人前方的行驶路径上，机器人可以从人体左侧或右侧进行绕行，完成避让行走。

本实施例中，可选的，在识别三维位姿图像中的目标部位信息之后，还包括：根据目标部位信息，判断目标部位是否处于运动状态；若是，则根据预设的运动路径预测算法，预测目标部位在预设时间内的目标运动位置和/或目标运动方向。

具体的，在确定目标部位信息后，可以根据目标部位姿态以及目标部位与机器人的距离，判断目标部位是否处于运动状态。例如，可以将不同的运动状态与目标部位姿态进行关联，以人腿为例，若人腿前后交叉，则认为人腿处于运动状态；若人腿直立并紧，则认为人腿处于静止状态。若确定目标部位没有处于运动状态，则根据目标部位所在的位置，判断机器人继续前进是否会碰撞到目标部位。若不会，则控制机器人正常行走，若会，则根据预设的避让算法，确定机器人的避让方式。若确定目标部位处于运动状态，则根据预设的运动路径预测算法，确定目标部位接下来的运动情况。目标部位接下来的运动情况可以是指目标部位在未来的一段时间后的运动位置和/或运动方向，运动路径预测算法可以是卡尔曼滤波算法，通过卡尔曼滤波算法，可以预测运动状态下的行人，在预设时间段后的目标运动位置和/或目标运动方向，例如，可以确定人腿在下一秒钟的目标运动位置和/或目标运动方向。这样设置的有益效果在于，可以有效预测人体接下来的运动情况，根据人体的运动情况进行有针对性的避让，实现对人体的实时避让，提高机器人的避让精度。

本实施例中，可选的，根据目标部位信息和预设的避让算法，进行机器人的避让行走，包括：根据目标运动位置和/或目标运动方向，以及机器人的预设行驶路径，判断所述机器人是否与人体发生碰撞；若是，则根据预设的避让算法，进行机器人的避让行走。

具体的，根据目标运动位置和/或目标运动方向，以及机器人的行驶路径和行驶速度，可以确定该目标运动位置和/或目标运动方向是否与机器人未来一段时间内将要运行的位置和/或方向相冲突，即确定机器人是否会与人体发生碰撞。可以根据当前机器人和目标人体之间的运行速度关系决定未来一段时间的长度。若确定会发生冲突，则机器人可以根据预设的避让算法进行主动避让，例如，在原地等待预设时长，或检测是否存在其他运动路径，按照其他运行路径行走，或根据避让算法指示的避让点进行避让等。若确定机器人与人体不会发生冲突，则机器人继续按照预设行驶路径进行行走，不需要进行避让。这样设置的有益效果在于，对处于移动状态的行人进行精确避让，防止机器人碰撞行人和压脚等情况的出现，提高了机器人的避让精度。

本实施例中，可以不采用深度相机获取点云信息，例如，可以由激光雷达获取点云信息。可以将RGB相机与机器人作标定后，使用RGB相机采集图像信息识别人体目标部位，将识别到的RGB图像的人体目标部位二维位姿作标定，匹配至激光雷达点云信息中，得到人体目标部位基于激光雷达的深度距离，并将匹配后的深度距离和二维位姿映射到机器人避让算法中，实现机器人实时避让行人，防止碰撞和压脚等问题的出现。

本发明实施例通过对光线较弱的环境图像进行预处理，提高人体骨架的检测精度和点云图像的处理精度。获取预设范围内的点云图像和人体目标部位的二维位姿图像，得到人体目标部位的三维位姿图像，实现对人体和其他障碍物的区分。根据三维位姿图像，确定人体目标部位的姿态，根据目标部位姿态，实现机器人的避让。解决了现有技术中，根据激光雷达获取的点云图像，对机器人前方的所有障碍物采取相同避让措施的问题，有效定位人体目标部位的三维位姿，实现三维的实时高精度避让，防止机器人碰撞行人和压脚等情况的出现，更好地保障了行人的安全，提升了机器人的避让精度。

实施例四

图5为本发明实施例四所提供的一种机器人的避让装置的结构框图，可执行本发明任意实施例所提供的一种机器人的避让方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：

图像获取模块501，用于获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

图像匹配模块502，用于将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

机器人避让模块503，用于识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

可选的，该装置还包括：

坐标系标定模块，用于在获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像之前，将安装于机器人上的双目立体视觉相机的相机坐标系与机器人坐标系进行标定，以确定人体目标部位坐标与机器人坐标之间的坐标关系。

可选的，图像获取模块501，包括：

二维场景图像获取单元，用于通过安装于机器人上的RGB相机得到预设采集范围内的二维场景图像；

二维位姿图像识别单元，用于根据预设的人体骨架检测算法，识别所述二维场景图像中的人体目标部位的二维位姿图像；

点云图像获取单元，用于通过安装于机器人上的深度相机得到预设采集范围内的点云图像；

其中，所述RGB相机和所述深度相机来源于双目立体视觉相机。

可选的，图像匹配模块502，具体用于：

将所述人体目标部位的二维位姿图像与所述点云图像进行重叠；

根据重叠后的二维位姿图像和点云图像，生成人体目标部位的三维位姿图像。

可选的，机器人避让模块503，具体用于：

根据预设的三维位姿识别算法，确定所述三维位姿图像中的目标部位信息；

根据所述目标部位信息和预设的避让算法，确定机器人的避让方式，供所述机器人根据所述避让方式进行行走。

可选的，该装置还包括：

点云分割模块，用于在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，获取所述机器人的预设行驶路径，根据所述行驶路径，对所述点云图像进行分割，得到目标采集范围内的目标点云图像。

可选的，该装置还包括：

二维图像分割模块，用于在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，根据所述机器人的预设行驶路径，对所述预设采集范围内的人体目标部位进行筛选，得到目标采集范围内的人体目标部位的二维位姿图像。

可选的，图像匹配模块502，还具体用于：

将所述目标采集范围内的目标点云图像与目标采集范围内的人体目标部位的二维位姿图像进行匹配，得到目标采集范围内的人体目标部位的三维位姿图像。

可选的，该装置还包括：

运动状态判断模块，用于在识别所述三维位姿图像中的目标部位信息之后，根据所述目标部位信息，判断目标部位是否处于运动状态；

运动情况预测模块，用于若是，则根据预设的运动路径预测算法，预测目标部位在预设时间内的目标运动位置和/或目标运动方向。

可选的，机器人避让模块503，还具体用于：

根据所述目标运动位置和/或目标运动方向，以及机器人的预设行驶路径，判断所述机器人是否与人体发生碰撞；

若是，则根据预设的避让算法，进行机器人的避让行走。

可选的，该装置还包括：

光强判断模块，用于在获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像之前，判断当前环境的光线强弱是否小于预设的光强阈值；

图像预处理模块，用于若是，则对机器人采集的环境图像进行预处理，供机器人根据预处理后的环境图像，得到所述点云图像和二维位姿图像。

本发明实施例通过获取预设范围内的点云图像和人体目标部位的二维位姿图像，得到人体目标部位的三维位姿图像，实现对人体和其他障碍物的区分。根据三维位姿图像，确定人体目标部位的姿态，根据目标部位姿态，实现机器人的避让。解决了现有技术中，根据激光雷达获取的点云图像，对机器人前方的所有障碍物采取相同避让措施的问题，有效定位人体目标部位的三维位姿，实现三维的实时高精度避让，防止机器人碰撞行人和压脚等情况的出现，更好地保障了行人的安全和舒适感，提升了机器人的避让精度。

实施例五

图6是本发明实施例五提供的一种机器人的避让设备的结构示意图。机器人的避让设备是一种电子设备，图6示出了适于用来实现本发明实施方式的示例性电子设备600的框图。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件（包括系统存储器602和处理单元601）的总线603。

总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

电子设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）604和/或高速缓存存储器605。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例中的功能和/或方法。

电子设备600也可以与一个或多个外部设备609（例如键盘、指向设备、显示器610等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口611进行。并且，电子设备600还可以通过网络适配器612与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图6所示，网络适配器612通过总线603与电子设备600的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种机器人的避让方法，包括：

获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种机器人的避让方法，包括：

获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种机器人的避让方法，其特征在于，包括：

获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

2.根据权利要求1所述的方法，其特征在于，获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像，包括：

通过安装于机器人上的RGB相机得到预设采集范围内的二维场景图像；

根据预设的人体骨架检测算法，识别所述二维场景图像中的人体目标部位的二维位姿图像；

通过安装于机器人上的深度相机得到预设采集范围内的点云图像；

其中，所述RGB相机和所述深度相机来源于双目立体视觉相机。

3.根据权利要求1所述的方法，其特征在于，将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像，包括：

将所述人体目标部位的二维位姿图像与所述点云图像进行重叠；

根据重叠后的二维位姿图像和点云图像，生成人体目标部位的三维位姿图像。

4.根据权利要求1所述的方法，其特征在于，识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走，包括：

根据预设的三维位姿识别算法，确定所述三维位姿图像中的目标部位信息；

根据所述目标部位信息和预设的避让算法，确定机器人的避让方式，供所述机器人根据所述避让方式进行行走。

5.根据权利要求1所述的方法，其特征在于，在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，还包括：

获取所述机器人的预设行驶路径，根据所述行驶路径，对所述点云图像进行分割，得到目标采集范围内的目标点云图像。

6.根据权利要求1所述的方法，其特征在于，在将所述点云图像和人体目标部位的二维位姿图像进行匹配之前，还包括：

根据所述机器人的预设行驶路径，对所述预设采集范围内的人体目标部位进行筛选，得到目标采集范围内的人体目标部位的二维位姿图像。

7.根据权利要求5或6所述的方法，其特征在于，将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像，包括：

将所述目标采集范围内的目标点云图像与目标采集范围内的人体目标部位的二维位姿图像进行匹配，得到目标采集范围内的人体目标部位的三维位姿图像。

8.根据权利要求1所述的方法，其特征在于，在识别所述三维位姿图像中的目标部位信息之后，还包括：

根据所述目标部位信息，判断目标部位是否处于运动状态；

若是，则根据预设的运动路径预测算法，预测目标部位在预设时间内的目标运动位置和/或目标运动方向。

9.根据权利要求8所述的方法，其特征在于，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走，包括：

根据所述目标运动位置和/或目标运动方向，以及机器人的预设行驶路径，判断所述机器人是否与人体发生碰撞；

若是，则根据预设的避让算法，进行机器人的避让行走。

10.根据权利要求1所述的方法，其特征在于，在获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像之前，还包括：

判断当前环境的光线强弱是否小于预设的光强阈值；

若是，则对机器人采集的环境图像进行预处理，供机器人根据预处理后的环境图像，得到所述点云图像和二维位姿图像。

11.一种机器人的避让装置，其特征在于，包括：

图像获取模块，用于获取机器人预设采集范围内的点云图像以及人体目标部位的二维位姿图像；

图像匹配模块，用于将所述点云图像和人体目标部位的二维位姿图像进行匹配，得到人体目标部位的三维位姿图像；

机器人避让模块，用于识别所述三维位姿图像中的目标部位信息，根据所述目标部位信息和预设的避让算法，进行机器人的避让行走。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的机器人的避让方法。

13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的机器人的避让方法。

Images