CN115565058A - 机器人、避障方法、装置和存储介质 - Google Patents

Abstract

本申请涉及一种机器人、避障方法、装置和存储介质。该机器人搭载有第一相机、第二相机和雷达，且机器人包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如下步骤：获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；根据第一环境图像和障碍物分布信息，确定机器人的避障方案。本申请通过第一相机、第二相机和雷达的组合，全方位地感知环境中的障碍物分布信息，辅助机器人实现有效避障和安全移动。

Description

机器人、避障方法、装置和存储介质

技术领域

本申请涉及机器人技术领域，特别是涉及一种机器人、避障方法、装置和存储介质。

背景技术

随着机器人技术的快速发展，机器人在工业生产及生活服务中得到了广泛应用。其中，避障功能是机器人智能化的一个重要指标，对于机器人在复杂环境或者未知环境下的导航非常重要。

相关技术中，机器人检测运行过程中的障碍物信息通常会存在检测盲区，不能保证机器人的全方位避障，从而无法保障机器人在移动过程中的安全性。

发明内容

基于此，有必要针对上述技术问题，提供一种搭载有多种传感设备，并通过多种传感设备的结合，弥补单个传感设备的局限性，以实现有效避障的机器人、避障方法、装置和存储介质。

第一方面，本申请提供了一种机器人。该机器人搭载有第一相机、第二相机和雷达，该机器人包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如下步骤：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

第二方面，本申请还提供了一种避障方法。该方法包括：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

第三方面，本申请还提供了一种避障装置。该装置包括：

获取模块，用于获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

确定模块，用于根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

避障规划模块，用于根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第二方面中避障方法的任一步骤。

上述机器人、避障方法、装置和存储介质，机器人搭载有第一相机、第二相机和雷达，且机器人包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现本申请提供的避障方法。在该方法中，通过第一相机采集的第一环境图像，检测和识别机器人周边环境中存在的障碍物。第二相机和雷达的检测范围可能不同，因此，结合第二相机采集的第二环境图像中的障碍物信息和雷达采集的周边环境的障碍物信息，可以全面准确地确定的机器人周边环境的障碍物分布情况。同时，结合第二环境图像和第一点云数据，可以精确地确定环境中各障碍物与机器人之间的距离。如此，通过第一相机、第二相机和雷达的组合方式，对环境中的各种障碍物进行全方位、准确且稳定地检测，并根据障碍物的具体位置和精确距离，确定机器人的避障方案，使得机器人可以在环境中实现安全移动和有效避障。

附图说明

图1为一个实施例中避障方法的应用环境图；

图2为一个实施例中避障方法的流程示意图；

图3为一个实施例中确定避障方案的流程示意图；

图4为另一个实施例中确定避障方案的流程示意图；

图5为一个实施例中机器人上多个传感器的安装方式示意图；

图6为另一个实施例中避障方法的流程示意图；

图7为又一个实施例中避障方法的流程示意图；

图8为一个实施例中避障装置的结构框图；

图9为一个实施例中机器人的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

机器人能够代替人类从事一些服务性和带有危险性的工作，已被应用于娱乐、医疗、救援等多个领域。由于机器人通常工作在未知的动态环境中，其在移动过程中可能会遇到各种各样的障碍物。因此，面对复杂的工作环境，有效避障是机器人导航的基础，能够有效识别，并快速躲避障碍物是机器人完成目标任务的关键。具体地，在环境中移动时，机器人依靠自身搭载的传感设备，时刻感知周围环境中存在的障碍物，并根据处理得到的障碍物信息，确定机器人的避障策略，进而在环境中进行合理地移动与避障。

为了保证机器人在环境中的安全移动和有效避障，机器人的环境感知系统需要具备全面的、准确且稳定的障碍物感知能力。因此，本申请提供了一种机器人、避障方法、装置和存储介质，该机器人同时搭载第一相机、第二相机和雷达，通过多个传感设备的组合，全方位感知环境中的障碍物信息，确保机器人可以在环境中实现安全移动和有效避障。

本申请提供的避障方法，可以应用于搭载有多个传感设备的机器人中。机器人为在实际环境中可以实现自主移动和安全避障的任一智能终端设备。

其中，该机器人的内部结构如图1所示，该内部结构中的传感器用于采集环境信息，环境信息可以包括但不限于图像信息和数据信息；处理器用于根据环境信息创建环境地图，并规划机器人的移动路径等。该内部结构中的存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统、计算机程序和数据库；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该数据库用于存储各传感器之间的标定数据和环境数据等数据。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请提供的避障方法。

下面将通过实施例并结合附图，具体地对本申请实施例的技术方案以及本申请实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请实施例提供的一种避障方法，其执行主体可以为计算机设备，也可以为机器人，还可以为避障装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为处理器的部分或者全部。显然，所描述的实施例是本申请实施例一部分实施例，而不是全部的实施例。

在一个实施例中，提供了一种机器人。该机器人搭载有第一相机、第二相机和雷达；且该机器人包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，如图2所示，处理器执行计算机程序时实现如下步骤：

步骤210：获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据。

其中，第二环境图像中包括机器人周边环境中的深度信息，第一环境图像、第二环境图像和第一点云数据是机器人在同一时刻，同一位姿下获取的。

作为一个示例，第一相机为高分辨率的相机，比如常见的彩色相机或RGB相机，采用第一相机可以拍摄到清晰的环境图像，但该环境图像是二维图像，不包括环境中各障碍物的深度信息。第二相机为深度相机，比如双目立体相机，第二相机可以采集到机器人周边环境中障碍物的深度信息，因此，通过第二相机可以获取一个视野范围中各障碍物的具体位置，以及各障碍物和机器人之间的距离。

在实际应用时，可以在机器人上安装至少一个第一相机和至少一个第二相机。本申请实施例对第一相机和第二相机的安装位置和数目不做限制，可以根据机器人的需要的环境感知范围确定。

另外，激光雷达是通过发射以及接收激光线束的方式来进行工作，主要区分就是在其发射的线束的多少，因此，激光雷达有单线和多线之分，多线又有4线、8线、16线、32线、64线和128线之分，不同的线束采集到的信息不同，对应的工作场景也不同。在该步骤210中，雷达可以为单线激光雷达，也可以为多线激光雷达，本申请实施例对此不做限制。

其中，单线激光雷达与多线激光雷达的区别在于，单线激光雷达的激光源发出的线束是单线，其扫描速度快、分辨率强、可靠性高，相比多线激光雷达，单线激光雷达在角频率及灵敏度上反应更快捷。因此，在测试周围障碍物的距离和精度上都更加精准。但单线激光雷达只能平面式扫描，不能测量物体高度。

因此，基于机器人上搭载的雷达，还可以实现目标障碍物的跟踪。由于激光雷达可以感知环境中障碍物的具体距离，因此，在确定目标障碍物后，可以通过雷达对该障碍物进行连续检测。进一步地，基于雷达的检测频率和障碍物的距离变化情况，预测障碍物在环境中的移动速度和移动方向等，以实现对目标障碍物的跟踪。

步骤220：根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息。

其中，障碍物包括机器人所处环境中的行人、静态建筑物和其他移动物体等。碍物分布信息至少包括：第二相机和雷达的感知范围内，机器人周边环境中各障碍物的具体位置，以及各障碍物和机器人之间的距离。

在一种可能的实现方式中，步骤220的实现过程可以为：根据第二相机和雷达之间的标定关系，将基于第二环境图像获取的障碍物信息转换到雷达坐标系中进行表示。然后，根据第一点云数据，确定雷达感知范围内，机器人周边环境中的障碍物信息。进一步地，根据雷达坐标系下，第二环境图像对应的障碍物信息和第一点云数据对应的障碍物信息，确定机器人周百年环境中的障碍物分布信息。

在另一种可能的实现方式中，步骤220的实现过程可以为：根据第二相机和雷达之间的标定关系，将第一点云数据转换到第二相机坐标系中进行表示。然后，根据第二环境图像，确定第二相机感知范围内，机器人周边环境中的障碍物信息。进一步地，根据第二相机坐标系下，第一点云数据对应的障碍物信息和第二环境图像对应的障碍物信息，确定机器人周百年环境中的障碍物分布信息。

步骤230：根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

其中，避障方案基于机器人周边环境中的障碍物分布情况，确定的机器人可以在环境中安全移动的方案。

在一种可能的实现方式中，步骤230的实现过程可以为：根据第一环境图像检测并识别机器人周边环境中存在的障碍物，进而根据障碍物分布信息，确定第一环境图像中各障碍物在环境中的具体位置，以及各障碍物距离机器人的距离，进而确定机器人能安全绕过各障碍物，不与其发生碰撞的避障方案。

在本申请实施例中，机器人通过第一相机采集的第一环境图像，检测和识别机器人周边环境中存在的障碍物。第二相机和雷达的检测范围可能不同，因此，结合第二相机采集的第二环境图像中的障碍物信息和雷达采集的周边环境的障碍物信息，可以全面准确地确定的机器人周边环境的障碍物分布情况。同时，结合第二环境图像和第一点云数据，可以精确地确定各障碍物与机器人之间的距离。如此，通过第一相机、第二相机和雷达的组合方式，对环境中的各种障碍物进行全方位、准确且稳定地检测，并根据障碍物的具体位置和精确距离，确定机器人的避障方案，使得机器人可以在环境中实现安全移动和有效避障。

接下来，基于上述机器人，对第一相机、第二相机和雷达在机器人上的安装情况进行解释说明。

在一个实施例中，由于机器人在环境中移动时，通常包括前后方向和左右方向两个移动维度，因此，在安装第一相机、第二相机和雷达时，至少在一个移动维度上保证机器人对环境的全面感知。

因此，从安装数目而言，第一相机、第二相机和雷达的数量均为至少两个；从安装位置而言，各第一相机、各第二相机和各雷达在机器人上的安装位置均满足预设的对称规则。其中，预设的对称规则为安装位置在至少一个移动维度上对称。

作为一个示例，可以在机器人的前方和后方均安装第一相机，且前方和后方安装的第一相机位置对称；作为另一个示例，可以在机器人的左右均安装第二相机，且左侧和右侧安装的第二相机位置对称；作为又一个示例，可以在机器人的左前方和右后方安装雷达，且左前方和右后方安装的雷达位置对称。

需要说明的是，在实际安装时，第一相机、第二相机和雷达也可以采用其他的安装方式进行安装，以满足机器人对环境的感知需求。比如，考虑到多数情况下，机器人都在向前移动，因此，可以在前方安装数目多于后方安装数目的第一相机、第二相机和/或雷达，且前后方的安装位置可以对称，也可以不对称，还可以按照传感设备需要的感知范围，将其安装在指定位置。本申请实施例旨在说明传感设备在机器人上可能的安装数目和安装方式，并不在于限制其具体安装数目和安装方式。

在本实施例中，在机器人上安装第一相机、第二相机和雷达时，为了全方位感知机器人周边环境中的障碍物信息，机器人上安装的第一相机、第二相机和雷达的数量均为至少两个，且各第一相机、各第二相机和各雷达在机器人上的安装位置均满足预设的对称规则。如此，通过第一相机、第二相机和雷达的组合，可以实现对机器人周边环境中障碍物的全面感知。

基于上述实施例中说明的安装数目和安装方式，在机器人上安装第一相机、第二相机和雷达时，还需要考虑其各传感设备在机器人上的安装高度。在一些应用场景中，各传感器的安装高度表征：各传感器在机器人所处的安装平面和机器人底部之间的垂直距离。

在一个实施例中，机器人所处的环境中可能存在多种不同类型的障碍物。比如，按障碍物相对于机器人的位置进行区分，主要包括低矮障碍物、悬空障碍物和一般高度障碍物；按障碍物的运动特性进行区分，主要包括动态障碍物和静态障碍物；按障碍物的几何特征进行区分，主要包括点状障碍物、线状障碍物和面状障碍物等；按障碍物的物理特性进行区分，主要包括光学可见的障碍物和光学不可见的障碍(比如，玻璃)。不同的传感设备对不同障碍物的识别效果是不同的，因此，在安装时，应该保证各传感设备在其安装位置上，可以采集到较大视野范围内的环境图像，并可以全面检测障碍物中的障碍物信息。

需要说明的是，在机器人上安装第一相机、第二相机和雷达时，这三种类型的传感设备的安装位置可以相同，以感知同一高度，相同视野范围内的环境信息。另外，这三种类型的传感设备的安装位置也可以不同，以感知不同高度，不同视野范围内的环境信息。因此，就安装位置而言，本申请实施例对第一相机、第二相机和雷达的安装位置相对于机器人底部的距离值范围不做限制，只要安装在机器人上的多个传感设备，可以相辅相成，全方位感知环境中的障碍物信息即可。

在一种可能的实现方式中，第一相机、第二相机和雷达的安装位置相同，均安装在距离机器人底部高度差相同的平面上，但第一相机、第二相机和雷达在该平面上的具体位置点不重叠。

作为一个示例，将第一相机、第二相机和雷达均安装在机器人中心线上，以在此高度上通过各传感设备设定的视角范围采集机器人周边环境的环境图像和障碍物信息。

在另一种可能的实现方式中，第一相机、第二相机和雷达的安装位置不同。具体地，第一相机在机器人上的安装位置为第一位置，第二相机在机器人上的安装位置为第二位置，雷达在机器人上的安装位置为第三位置。其中，第一位置相对机器人底部的距离大于第二位置相对机器人底部的距离，和/或，第二位置相对机器人底部的距离大于第三位置相对机器人底部的距离。

作为一个示例，在一些高人流环境中，期望第一相机可以拍摄到环境中的行人，以便于通过人脸识别技术，确定环境中的行人。因此，为了保证第一相机可以采集的第一环境图像中包含较多的人脸信息，第一相机的安装位置应该位于机器人中心位置以上尽可能高的位置，甚至安装在机器人顶部。第二相机用于采集机器人周边环境中的深度信息，反映环境中行人与机器人之间的距离，因此，在安装时，第二相机可以安装在第一相机下方，机器人中下部位置。雷达则安装在机器人的底部，以在较贴合机器人移动平面的高度上感知环境中的障碍物，实现对低矮障碍物的检测。

需要说明的是，不论第一相机、第二相机和雷达如何安装，都以不影响机器人执行任务为基准。比如，若机器人需要配送东西，则上述三种传感设备不可以设置在相应的配送物品放置处，以免在拿取配送物品的过程中，无法感知环境数据。或者因为传感设备安装在配送物品放置处，导致无法正常拿取配送物品。

在本实施例中，在机器人上安装第一相机、第二相机和雷达时，考虑到环境中可能存在多种不同类型的障碍物，为了全方位地感知机器人周边环境中的障碍物信息，机器人上安装的第一相机、第二相机和雷达的安装位置可以根据实际需要的环境感知范围确定。这三个传感设备的安装位置可以与机器人底部的高度差可以不同，以感知机器人周边环境中不同高度范围的障碍物，以及不同材质的障碍物。如此，通过第一相机、第二相机和雷达的传感设备组合方式，实现对机器人周边环境中障碍物的全面感知。

在机器人上安装多个传感设备后，搭载第一相机、第二相机和雷达的机器人在环境中移动并执行相应的任务时，还需要在移动过程中按照预设的采样频率采集环境图像，以及感知周边环境中的障碍物，进而通过不断地构建局部地图，确定自身在环境中实线安全移动的避障方案。

因此，在一个实施例中，如图3所示，上述步骤220中根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息的实现过程，包括以下步骤：

步骤310：根据第二环境图像，获取机器人周边环境的第二点云数据。

其中，第二环境图像是机器人周边环境中的三维环境信息，具有深度信息。因此，根据第二环境图像，可以获取第二相机视角下采集的第二环境点云数据，点云数据为机器人周边环境中空间点的三维坐标集。

第二环境点云数据为机器人坐标系下，第二环境图像中各像素的x坐标、y坐标和z坐标，z坐标值表征第二相机与环境中各像素点之间的实际距离。

在一种可能的实现方式中，步骤310的实现过程可以为：根据第二环境图像的图像信息和第二相机的内参矩阵，计算出第二环境图像中各像素点在第二相机坐标系下的三维坐标集。进一步地，根据第二相机坐标系下的三维坐标集和第二相机的外参矩阵，计算出第二环境图像中各像素点在机器人坐标系下的三维坐标，即得到第二点云数据。

需要说明的是，在机器人上搭载多个传感设备的情况下，可以根据各传感设备的安装位置，预先将各传感设备的坐标系与机器人坐标系进行标定，以确定各传感设备的外参矩阵。如此，根据传感设备的外参矩阵，可以将各传感设备采集的环境中的空间点坐标转换到机器人坐标系下进行表示。

步骤320：根据第二相机和雷达的标定关系，对第一点云数据和第二点云数据进行和合并处理，得到机器人周边环境中的障碍物分布信息。

其中，第二相机和雷达在标定后，对于第二环境图像中的任一点云点，可以基于该标定关系，将第二相机坐标系下采集的第一点云数据转换到雷达坐标系下进行表示，或者将雷达坐标系下采集的第一环境点云数据转换到第二相机坐标系下进行表示。

需要说明的是，由于雷达安装在机器人底部，且机器人坐标系原点位于机器人底部的中心位置，因此，雷达坐标系与机器人坐标系可以为同一坐标系。

由于雷达基于自身安装位置对应的平面，采集该平面内障碍物的第一点云数据，深度相机基于自身安装位置所对应视角，采集该视角范围内障碍物的第二点云数据，因此，在机器人周边环境中，第一点云数据和第二点云数据可以互相补充，以确定机器人周边环境中更为全面的障碍物分布信息。

在一种可能的实现方式中，步骤320的实现过程可以为：从第一点云数据和第二点云数据中剔除表征机器人移动平面的点云数据，得到表征机器人周边环境中障碍物的点云数据。进一步地，对第一点云数据中表征障碍物的点云数据，以及第二点云数据中表征障碍物的点云数据进行合并处理，得到初始障碍物点云数据。进一步地，对合并得到的初始障碍物点云数据进行去重处理，剔除重叠的点云点，得到表征机器人周边环境中的目标障碍物点云数据。其中，目标障碍物点云数据中各点云点的实际位置信息即为障碍物的具体位置，各点云点的深度信息即为障碍物和机器人之间的距离，如此，根据机器人周边环境中的目标障碍物点云数据即可得到障碍物分布信息。

进一步地，在确定机器人周边环境中的障碍物分布信息后，可以根据障碍物分布信息，规划机器人的安全移动路径。

因此，在一个实施例中，如图4所示，步骤230中根据第一环境图像和障碍物分布信息，确定机器人的避障方案的实现过程包括以下步骤：

步骤410：检测第一环境图像中的目标障碍物。

其中，第一环境图像包括机器人当前位姿下，机器人周边环境中障碍物。第一环境图像用于构建局部地图，机器人基于局部地图生成能保证安全移动的避障方案。

在该步骤中，通过训练好的障碍物识别网络模型，对第一环境图像进行检测和识别，以确定第一环境图像中的障碍物及障碍物类型。障碍物识别网络模型是结合计算机视觉和深度学习，使用标定好的障碍物识别训练样本，对初始障碍物识别网络模型进行训练后得到的。

作为一个示例，当目标障碍物为机器人所处环境中的行人时，可以基于人脸识别技术，对第一环境图像进行人脸识别，得到至少一个人脸掩模。

步骤420：根据第一相机和雷达的标定关系，以及障碍物分布信息，确定第一环境图像中的目标障碍物与机器人之间的距离。

其中，目标障碍物为第一相机的视野范围内，机器人周边环境中的至少一个障碍物，障碍分布信息包括机器人周边环境中各障碍物的分布位置以及各障碍物和机器人之间距离。

由于雷达的扫描范围最大，因此，根据雷达和第二相机采集的点云数据确定的障碍物分布信息更全面。也即是，目标障碍物一定可以被第二相机或者雷达采集到，但第二相机和雷达中还可能包括其他的障碍物信息。

在一种可能的是实现方式中，步骤420的实现过程可以为：对于第一环境中目标障碍物，根据第一相机和雷达的标定关系，从障碍物分布信息中筛选出目标障碍物对应的点云点，进而根据这些点云点的深度信息，确定目标障碍物与机器人之间的距离。

步骤430：根据目标障碍物与机器人之间的距离，确定机器人的避障方案。

其中，避障方案包括至少一个安全移动区域和各安全移动区域对应的避障路径。

进一步地，机器人在确定避障方案后，从各安全移动区域中确定目标安全移动区域，并根据目标安全移动区域对应的避障路径移动。

作为一个示例，机器人从各安全移动区域中确定目标安全移动区域可以基于以下任一方式确定：

(1)根据机器人当前所处位置，预估机器人进入各安全移动区域需要移动的路径，将移动路径最短的安全移动区域确定为目标安全移动区域。如此，机器人可以快速移动至安全移动区域中，避免发生意外碰撞；

(2)根据各安全移动区域对应的避障路径长短，将避障路径最短的安全移动区域确定为目标安全移动区域。如此，机器人可以实现最短的移动时间完成避障；

(3)采用预设的随机算法，从各安全移动区域中任选一个区域，作为目标安全移动区域。

在本实施例中，通过第一环境图像，识别并检测机器人周边环境中存在的目标障碍物。同时，通过合并第二环境图像对应的第二点云数据和雷达采集的第一点云数据，可以获取更为全面的障碍物分布信息。由于障碍物分布信息中包括机器人周边环境中各点云点的深度信息，因此，通过障碍物分布信息，可以确定目标障碍物与机器人之间的精确距离，进而根据环境中目标障碍物的位置和距离，确定机器人的避障方案。

另外，基于上述任一机器人所执行的避障方法步骤，在一个实施例中，本申请还提供了另一种机器人，该机器人搭载有第一相机、第二相机、雷达和激光传感器。

其中，激光传感器安装在机器人上的安装位置为第四位置，第四位置相对机器人底部的距离小于预设值。

作为一个实例，预设值可以为5cm，也可以为其他数值。预设值可以基于激光传感器的投影距离和高度来确定；也可以基于机器人的整体结构来设置，比如，当机器人带有移动底盘时，预设距离不高于移动底盘的高度，避免影响机器人工作；还可以结合机器人的工作场景，确定预设值，本申请实施例对此不做限制。

作为一个示例，第一相机、第二相机、雷达和激光传感器的安装方式如图5所示。从上到下，在机器人中高部安装第一相机，在机器人中部或下部安装第二相机，雷达安装在机器人底部，激光传感器可以略高于雷达。

需要说明的是，图5仅以2个第一相机(前后安装位置对称)、1个第二相机(考虑到多数情况下，机器人都在向前移动。因此，仅在机器人前方安装第二相机)、2个激光雷达(前后安装位置对称)和1个激光传感器(考虑到多数情况下，机器人都在向前移动，因此，仅在机器人前方安装，以投影显示机器人的避障路径)进行示例，旨在示出一种安装方式，并不在于限制其为唯一的安装方式，另外，也不在于限制第一相机、第二相机、雷达和激光传感器的数目。

进一步地，如图6所示，机器人还包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时在实现如下步骤：

步骤610：获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；

其中，第二环境图像中包括机器人周边环境中的深度信息。

步骤620：根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息。

步骤630：根据第一环境图像和障碍物分布信息，确定机器人的避障方案；避障方案包括至少一个安全移动区域和各安全移动区域对应的避障路径。

需要说明的是，机器人通过自身搭载的第一相机、第二相机和雷达的结合，实现上述步骤610-步骤630的实现过程与上述图2所示的实施例类似，具体限定、解释和所能达到的技术效果，可以参照上述实施例，在此不再赘述。

步骤640：通过激光传感器在机器人周边环境中投影目标安全移动区域对应的避障路径；目标安全移动区域是从至少一个安全移动区域中确定的。

也即是，机器人移动时，可以采用激光投影技术在目标安全移动区域内投影机器人的避障路径，以向环境中的行人展示机器人的移动方向。

在本实施例中，通过第一相机采集的第一环境图像、第二相机采集的第二环境图像和雷达采集的环境图像的第一点云数据，确定机器人周边环境中障碍物的具体位置，以及障碍物和机器人之间的距离，进而确定机器人在环境安全移动的避障路径。而且，机器人在目标安全移动区域内移动时，还可以通过自身的激光传感器投影移动时的避障路径，以向环境中的行人展示机器人的移动方向，使得行人根据机器人投影的避障路径进行主动避让，从而保证机器人在高人流环境中安全通行的同时，也实现更好的人机交互。

综合上述各实施例，如图7所示，本申请还提供了另一种避障方法，以图1中所示的机器人为例进行说明。其中，该机器人搭载有第一相机、第二相机、雷达和激光传感器，且机器人包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如下步骤：

步骤710：获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据。

其中，第二环境图像中包括机器人周边环境中的深度信息。

步骤720：根据第二环境图像，获取机器人周边环境的第二点云数据。

步骤730：根据第二相机和雷达的标定关系，对第一点云数据和第二点云数据进行合并处理，得到机器人周边环境中的障碍物分布信息。

步骤740：检测第一环境图像中的目标障碍物。

步骤750：根据第一相机和雷达的标定关系，以及障碍物分布信息，确定第一环境图像中目标障碍物与机器人之间的距离。

步骤760：根据目标障碍物与机器人之间的距离，确定机器人的避障方案；避障方案包括至少一个安全移动区域和各安全移动区域对应的避障路径。

步骤770：从各安全移动区域中确定目标安全移动区域，并根据目标安全移动区域对应的避障路径移动。

步骤780：通过激光传感器在机器人周边环境中投影目标安全移动区域对应的避障路径。

本实施例提供的机器人在实现以上避障方法的步骤时，其实现原理和技术效果可以参见上述任一实施例中机器人处理器所执行的步骤，在此不再赘述。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的避障方法的避障装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个避障装置实施例中的具体限定可以参见上文中对于避障方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种避障装置。该装置800包括：获取模块810、确定模块820和避障规划模块830，其中：

获取模块810，用于获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

确定模块820，用于根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

避障规划模块830，用于根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

在其中一个实施例中，第一相机、第二相机和雷达的数量均为至少两个，且各第一相机、各第二相机和各雷达在机器人上的安装位置均满足预设的对称规则。

在其中一个实施例中，第一相机在机器人上的安装位置为第一位置，第二相机在机器人上的安装位置为第二位置，雷达在机器人上的安装位置为第三位置；

其中，第一位置相对机器人底部的距离大于第二位置相对机器人底部的距离，和/或，第二位置相对机器人底部的距离大于第三位置相对机器人底部的距离。

在其中一个实施例中，确定模块820，包括：

获取单元，用于根据第二环境图像，获取机器人周边环境的第二点云数据；

合并单元，用于根据第二相机和雷达的标定关系，对第一点云数据和第二点云数据进行合并处理，得到机器人周边环境中的障碍物分布信息。

在其中一个实施例中，避障规划模块830，包括：

障碍物检测单元，用于检测第一环境图像中的目标障碍物；

距离确定单元，用于根据第一相机和雷达的标定关系，以及障碍物分布信息，确定第一环境图像中的目标障碍物与机器人之间的距离；

避障规划单元，用于根据目标障碍物与机器人之间的距离，确定机器人的避障方案。

在其中一个实施例中，避障方案包括：至少一个安全移动区域和各安全移动区域对应的避障路径；该装置800还包括：

移动控制模块，用于从各安全移动区域中确定目标安全移动区域，并根据目标安全移动区域对应的避障路径移动。

在其中一个实施例中，避障装置中还包括激光传感器；该装置800还包括：

投影模块，用于通过激光传感器在机器人周边环境中投影目标安全移动区域对应的避障路径。

在其中一个实施例中，激光传感器安装在机器人上的安装位置为第四位置，第四位置相对机器人底部的距离小于预设值。

上述避障装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种机器人，该机器人可以为任一终端设备，其内部结构图可以如图9所示。该机器人包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机器人的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种避障方法。该机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的机器人的限定，具体的机器人可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

本实施例提供的计算机设备在实现以上步骤时，其实现原理和技术效果与上述机器人执行的方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

本实施例提供的计算机可读存储介质在实现以上步骤时，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的机器人周边环境的第二环境图像，以及雷达采集的机器人周边环境的第一点云数据；第二环境图像中包括机器人周边环境中的深度信息；

根据第二环境图像和第一点云数据，确定机器人周边环境中的障碍物分布信息；

根据第一环境图像和障碍物分布信息，确定机器人的避障方案。

本实施例提供的计算机程序产品在实现以上步骤时，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种机器人，所述机器人搭载有第一相机、第二相机和雷达，其特征在于，所述机器人包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

获取所述第一相机采集的所述机器人周边环境的第一环境图像、所述第二相机采集的所述机器人周边环境的第二环境图像，以及所述雷达采集的所述机器人周边环境的第一点云数据；所述第二环境图像中包括所述机器人周边环境中的深度信息；

根据所述第二环境图像和所述第一点云数据，确定所述机器人周边环境中的障碍物分布信息；

根据所述第一环境图像和所述障碍物分布信息，确定所述机器人的避障方案。

2.根据权利要求1所述的机器人，其特征在于，所述第一相机、所述第二相机和所述雷达的数量均为至少两个，且各所述第一相机、各所述第二相机和各所述雷达在所述机器人上的安装位置均满足预设的对称规则。

3.根据权利要求1或2所述的机器人，其特征在于，所述第一相机在所述机器人上的安装位置为第一位置，所述第二相机在所述机器人上的安装位置为第二位置，所述雷达在所述机器人上的安装位置为第三位置；

其中，所述第一位置相对机器人底部的距离大于所述第二位置相对所述机器人底部的距离，和/或，所述第二位置相对所述机器人底部的距离大于所述第三位置相对所述机器人底部的距离。

4.根据权利要求1或2所述的机器人，其特征在于，所述根据所述第二环境图像和所述第一点云数据，确定所述机器人周边环境中的障碍物分布信息，包括：

根据所述第二环境图像，获取所述机器人周边环境的第二点云数据；

根据所述第二相机和所述雷达的标定关系，对所述第一点云数据和所述第二点云数据进行合并处理，得到所述机器人周边环境中的障碍物分布信息。

5.根据权利要求1或2所述的机器人，其特征在于，所述根据所述第一环境图像和所述障碍物分布信息，确定所述机器人的避障方案，包括：

检测所述第一环境图像中的目标障碍物；

根据所述第一相机和所述雷达的标定关系，以及所述障碍物分布信息，确定所述第一环境图像中所述目标障碍物与所述机器人之间的距离；

根据所述目标障碍物与所述机器人之间的距离，确定所述机器人的避障方案。

6.根据权利要求1或2所述的机器人，其特征在于，所述避障方案包括：至少一个安全移动区域和所述安全移动区域对应的避障路径；

所述处理器执行所述计算机可读指令时还实现如下步骤：

从所述安全移动区域中确定目标安全移动区域，并根据所述目标安全移动区域对应的避障路径移动。

7.根据权利要求6所述的机器人，其特征在于，所述机器人中还包括激光传感器；则所述处理器执行所述计算机可读指令时还实现如下步骤：

通过所述激光传感器在所述机器人周边环境中投影所述目标安全移动区域对应的避障路径。

8.根据权利要求7所述的机器人，其特征在于，所述激光传感器安装在所述机器人上的安装位置为第四位置，所述第四位置相对机器人底部的距离小于预设值。

9.一种避障方法，其特征在于，所述方法包括：

获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的所述机器人周边环境的第二环境图像，以及雷达采集的所述机器人周边环境的第一点云数据；所述第二环境图像中包括所述机器人周边环境中的深度信息；

根据所述第二环境图像和所述第一点云数据，确定所述机器人周边环境中的障碍物分布信息；

根据所述第一环境图像和所述障碍物分布信息，确定所述机器人的避障方案。

10.根据权利要求9所述的避障方法，其特征在于，所述根据所述第二环境图像和所述第一点云数据，确定所述机器人周边环境中的障碍物分布信息，包括：

根据所述第二环境图像，获取所述机器人周边环境的第二点云数据；

根据所述第二相机和所述雷达的标定关系，对所述第一点云数据和所述第二点云数据进行合并处理，得到所述机器人周边环境中的障碍物分布信息。

11.根据权利要求10所述的避障方法，其特征在于，所述根据所述第一环境图像和所述障碍物分布信息，确定所述机器人的避障方案，包括：

检测所述第一环境图像中的目标障碍物；

根据所述第一相机和所述雷达的标定关系，以及所述障碍物分布信息，确定所述第一环境图像中所述目标障碍物与所述机器人之间的距离；

根据所述目标障碍物与所述机器人之间的距离，确定所述机器人的避障方案。

12.根据权利要求9所述的避障方法，其特征在于，所述避障方案包括至少一个安全移动区域和各所述安全移动区域对应的避障路径，所述方法还包括：

从各所述安全移动区域中确定目标安全移动区域，并根据所述目标安全移动区域对应的避障路径移动。

13.一种避障装置，其特征在于，所述装置包括：

获取模块，用于获取第一相机采集的机器人周边环境的第一环境图像、第二相机采集的所述机器人周边环境的第二环境图像，以及雷达采集的所述机器人周边环境的第一点云数据；所述第二环境图像中包括所述机器人周边环境中的深度信息；

确定模块，用于根据所述第二环境图像和所述第一点云数据，确定所述机器人周边环境中的障碍物分布信息；

避障规划模块，用于根据所述第一环境图像和所述障碍物分布信息，确定所述机器人的避障方案。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求9-12任一项所述的方法的步骤。

Images