CN116755441A - 移动机器人的避障方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种移动机器人的避障方法、装置、设备及介质，该方法包括：获取深度相机在移动机器人的行进过程中得到的路况信息，路况信息包括RGB图像和原始点云数据；并对原始点云数据中的点进行去噪处理，并将进行处理后得到的图像实例和点云实例进行匹配，以确定是否存在障碍物。由此，可以实现对点云数据的过滤，将噪声点去除，既减少了点云数据处理所占用的计算资源，提高了计算效率，同时也保证了后续障碍物识别结果的准确性。并且通过图像数据与点云数据在进行相应处理后进行比对，可以保证障碍物识别的准确性，保证了避障效果。

Description

移动机器人的避障方法、装置、设备及介质

技术领域

本申请涉及机器人控制技术领域，尤其涉及一种移动机器人的避障方法、装置、设备及介质。

背景技术

在移动机器人控制技术领域中，需要通过传感器感知移动机器人所行驶路径的周围环境，以识别出障碍物进行避障。在目前的技术方案中，常采用深度相机感知环境得到点云数据和图像数据，然而针对点云数据进行处理不仅处理量大，且噪点较多，降低了障碍物识别的准确度和效率。

发明内容

有鉴于此，本申请提供一种移动机器人的避障方法、装置、设备及介质，至少部分解决现有技术中存在的问题。

根据本申请的一个方面，提供了一种移动机器人的避障方法，所述移动机器人设置有深度相机，所述深度相机用以获取所述移动机器人行进方向上的路况信息；

所述方法包括：

获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据；

采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别；

将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；

针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对；根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值；针对所述点集合中的每一个点，搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定；如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成；若搜索得到的点数小于数量阈值，则将该点舍弃；

对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息；

基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息；

将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物；

根据所述障碍物对应的原始点云数据，进行避障控制。

在本申请的一些实施例中，对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息，包括：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

在本申请的一些实施例中，确定各所述平面点云的第二位置信息，包括：

对所述平面点云中的点两两进行连线，得到点与点之间的边；将不与其他边存在交点的边确定为所述平面点云对应的轮廓线，将各所述轮廓线的位置信息作为所述平面点云的第二位置信息。

在本申请的一些实施例中，将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物，包括：

从左至右、从上至下选取所述图像实例与投射后的点云实例逐一进行匹配；

在匹配时，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定所述图像实例与所述平面点云合并覆盖的总面积以及二者之间的重合面积；

将所述重合面积除以所述总面积，得到所述图像实例与所述平面点云之间的重合程度；

将所述重合程度与重合程度阈值进行比对，若所述重合程度大于或等于所述重合程度阈值，则将所述平面点云对应的物体确定为障碍物；

若所述重合程度小于所述重合程度阈值，则将所述图像实例与下一平面点云进行匹配。

在本申请的一些实施例中，所述重合程度阈值与所述图像实例所占面积、所述平面点云所占面积二者中较小面积占较大面积的比例呈负相关。

在本申请的一些实施例中，根据所述障碍物对应的原始点云数据，进行避障控制，包括：

根据所述障碍物对应的原始点云数据中点的位置信息，若所述障碍物位于所述移动机器人的行进路径上，则根据所述原始点云数据中点的位置信息，确定所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点之间的最大距离；

根据所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点之间的最大距离，控制所述移动机器人进行绕行；

若所述障碍物位于所述移动机器人的行进路径之外，则忽略。

根据本申请的一个方面，提供了一种移动机器人的避障装置，所述移动机器人设置有深度相机，所述深度相机用以获取所述移动机器人行进方向上的路况信息；所述避障装置设置于所述移动机器人上，且与所述深度相机通讯连接；

所述避障装置包括：

获取模块，用于获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据；

点云处理模快，用于采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别；将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对；根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值；针对所述点集合中的每一个点，搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定；如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成；若搜索得到的点数小于数量阈值，则将该点舍弃；

图像处理模块，用于对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息；

所述点云处理模块，还用于基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息；

匹配模块，用于将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物；

处理模块，用于根据所述障碍物对应的原始点云数据，进行避障控制。

在本申请的一些实施例中，所述图像处理模块用于：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

根据本申请的一个方面，提供了一种电子设备，包括处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如前述实施例所述方法的步骤。

根据本申请的一个方面，提供了一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如前述实施例所述方法的步骤。

本申请提供的移动机器人的避障方法，通过获取由深度相机在移动机器人的行进过程中得到的路况信息，该路况信息包括RGB图像和原始点云数据，采用预先训练完成的语义分割模型，对原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别，并将原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；接着，针对属于同一点集合中的点，对点集合中的点进行两两配对，得到若干点对，再基于各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值，针对点集合中的每一个点，搜索点集合中位于其邻域范围内的点，邻域的半径根据点集合对应的点云密度和距离最大值进行确定，如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成，若搜索得到的点数小于数量与之，则将该点舍弃，由此，可以实现对点云数据的过滤，将噪声点去除，既减少了点云数据处理所占用的计算资源，提高了计算效率，同时也保证了后续障碍物识别结果的准确性。接着，对RGB图像进行图像处理，确定RGB图像中包含的图像实例及其对应的第一位置信息，基于各点云实例所包含的点的坐标信息，将各点云实例进行坐标转换，以将各点云实例投射至RGB图像的成像平面中以得到对应的平面点云，并确定各平面点云对应的第二位置信息，将各图像实例与平面点云逐一进行匹配，根据图像实例对应的第一位置信息以及平面点云的第二位置信息，确定二者之间的重合程度，若重合程度符合预设条件，将平面点云对应的物体确定为障碍物，再根据障碍物对应的原始点云数据进行避障控制，由此，通过图像数据与点云数据在进行相应处理后进行比对，可以保证障碍物识别的准确性，保证了避障效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为根据本申请的一个实施例的移动机器人的避障装置的框图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

根据本申请的一个实施例，提供了一种移动机器人的避障方法，该移动机器人设置有深度相机，深度相机用以获取移动机器人行进方向上的路况信息。该方法可以应用于设置于移动机器人上的避障装置，该避障装置可以与深度相机通讯连接，例如有线连接或者无线连接。

该避障方法包括以下步骤：

步骤S110，获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据。

其中，深度相机可以在移动机器人的行进过程中实时获取位于行进方向上的路况信息，该路况信息可以包括RGB图像和原始点云数据。当获取路况信息后，深度相机可以将路况信息实时向避障装置进行传输以备后续处理。在另一示例中，由于移动机器人的行驶速度较慢，则可以每隔预定时间间隔获取一次路况信息并传输给避障装置进行避障控制，在保证移动机器人行驶安全的基础上，减少了计算资源的占用。

步骤S120，采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别。

即言，避障装置可以调取预先训练完成的语义分割模型，对原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，进而为每个点分配对应的语义类别，该语义类别可以包括但不限于建筑、货物、人体、机器人中的至少一种。需要说明的，该语义分割模型可以是基于现有的语义分割算法训练得到，对此不作特殊限定。

步骤S130，将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合。

步骤S140，针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对。再根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值。应该理解的，该距离最大值可以用以确定后续搜索时的最大搜索范围。

针对每个点集合中的每一个点，避障装置可以搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定。应该理解的，如果点云密度越大，则搜索时的邻域半径越小，由此，针对不同语义类别的点集合在进行搜索时，可以基于点云密度和距离最大值，调节搜索时的邻域范围，即言邻域的半径小于或等于距离最大值，保证了邻域范围确定的合理性。

如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成。若搜索得到的点数小于数量阈值，则将该点舍弃。

在该实施例中，避障装置可以根据搜索得到的点确定邻域范围内的点数，并将其与数量阈值进行比对，若点数大于或等于数量阈值，则将搜索到的点加入搜索队列，并对搜索队列的点继续进行搜索，且在后续搜索时，如果搜索到的点数大于或等于数量阈值，则将搜索到的点继续加入搜索队列中进行搜索。此时，将在一轮搜索中搜索到的点划分为一个点云实例，再继续对下一个点进行搜索，直至该点集合中的点均被计算完成。另外，若搜索得到的点数小于数量阈值，则可以将该点认为噪声点，将其进行舍弃，达到去噪的目的。重复上述步骤，直至所有点集合中的点都搜索完成，从而可以实现对点云数据的过滤，将噪声点去除，既减少了点云数据处理所占用的计算资源，提高了计算效率，同时也保证了后续障碍物识别结果的准确性

步骤S150，对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息。

在一实施例中，对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息，包括：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

在该实施例中，避障装置可以调取预先训练的目标识别模型，对RGB图像进行目标识别，确定RGB图像中包含的检测目标即对应的检测框，应该理解的，在训练时的训练数据应包含与点云的语义类别对应的物体以使得实际使用过程中目标识别模型能够识别出对应的物体。

当确定RGB图像中包含检测目标后，可以将该检测目标作为图像实例进行存储，并且，可以对检测框内的检测目标进行边缘检测，从而确定更具体的图像实例对应的第一位置信息，应该理解的，该第一位置信息即图像实例对应的轮廓在RGB图像中的位置信息。

步骤S160，基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息。

即言，避障装置可以各点云实例所包含的点对应的坐标信息，将各点云实例进行坐标转换，以将点云实例投射至RGB图像的成像平面中得到对应的平面点云，并确定该平面点云在图像坐标系中的点位位置信息以作为第二位置信息。即第二位置信息为平面点云中的点在图像坐标系中的坐标信息。

步骤S170，将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物。

在该实施例中，避障装置可以将图像实例与平面点云两两进行匹配，在匹配过程中，可以根据图像实例对应的第一位置信息以及平面点云的第二位置信息，确定二者之间的重合程度，当重合程度符合预设条件时，表示该物体确实存在，可以将平面点云对应的物体确定为障碍物。因此，通过图像数据和点云数据进行处理后进行比对，从而映证障碍物是否存在，可以保证障碍物识别的准确性。

步骤S180，根据所述障碍物对应的原始点云数据，进行避障控制。

由此，本申请实施例提供的移动机器人避障方法，可以实现对点云数据的过滤，将噪声点去除，既减少了点云数据处理所占用的计算资源，提高了计算效率，同时也保证了后续障碍物识别结果的准确性。并且，通过图像数据与点云数据在进行相应处理后进行比对，可以保证障碍物识别的准确性，保证了避障效果。

在本申请的一个实施例中，确定各所述平面点云的第二位置信息，包括：

对所述平面点云中的点两两进行连线，得到点与点之间的边；将不与其他边存在交点的边确定为所述平面点云对应的轮廓线，将各所述轮廓线的位置信息作为所述平面点云的第二位置信息。

在该实施例中，基于平面点云中的点两两进行连线，以得到点与点之间的边，此时，避障装置可以计算每一边与其他边形成的交点数量，应该理解的，若边位于点云的边缘处，则其两端应连接点，但是不与其他边存在交点。由此，避障装置可以将不与其他边存在交点的边确定为平面点云对应的轮廓线，并确定各个轮廓线的位置信息作为平面点云对应的第二位置信息。由此，可以提高平面点云轮廓确定的准确性和效率，进而提高了平面点云的位置信息的准确性和确定效率。

在本申请的一个实施例中，将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物，包括：

从左至右、从上至下选取所述图像实例与投射后的点云实例逐一进行匹配；

在匹配时，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定所述图像实例与所述平面点云合并覆盖的总面积以及二者之间的重合面积；

将所述重合面积除以所述总面积，得到所述图像实例与所述平面点云之间的重合程度；

将所述重合程度与重合程度阈值进行比对，若所述重合程度大于或等于所述重合程度阈值，则将所述平面点云对应的物体确定为障碍物；

若所述重合程度小于所述重合程度阈值，则将所述图像实例与下一平面点云进行匹配。

在该实施例中，避障装置可以根据图像实例对应的第一位置信息以及平面点云的第二位置信息，可以分别确定图像实例所覆盖面积的大小、平面点云所覆盖面积的大小、二者之间合并覆盖面积的大小（即取二者覆盖面积的并集）以及二者之间重合面积的大小。

此时将重合面积除以合并覆盖的总面积，可以得到二者之间的重合程度，再将重合程度与重合程度阈值进行比对，若重合程度大于或等于重合程度阈值，则表示二者相匹配，即确实存在对应物体，因此可以将平面点云对应的物体确定为障碍物，反之，则表示二者不是同一物体或者并不存在该物体，可以将图像实例继续与下一平面点云进行匹配。

由此，将图像实例与平面点云两两进行匹配，可以保证匹配的全面性，保证匹配结果的有效性，同时也保证了障碍物识别的准确性。

在一实施例中，所述重合程度阈值与所述图像实例所占面积、所述平面点云所占面积二者中较小面积占较大面积的比例呈负相关。即言，匹配过程中，若二者中较小面积占较大面积的比例越大，为保证匹配结果的准确性，则应该适当调高该重合程度阈值，即若图像实例和平面点云中某一方面积越小，则二者的重合程度应该越高，才更能够表明二者为同一物体的可能性大小。若二者面积接近，则可以适当降低重合程度阈值，由此可以保证比对合理性，进而保证匹配结果的准确性。

在本申请的一个实施例中，根据所述障碍物对应的原始点云数据，进行避障控制，包括：

根据所述障碍物对应的原始点云数据中点的位置信息，若所述障碍物位于所述移动机器人的行进路径上，则根据所述原始点云数据中点的位置信息，确定所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点之间的最大距离；

根据所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点与点之间的最大距离，控制所述移动机器人进行绕行；

若所述障碍物位于所述移动机器人的行进路径之外，则忽略。

基于上述实施例，避障装置可以根据障碍物对应的原始点云数据中的点的位置信息，确定障碍物的位置信息，当障碍物并不处于移动机器人的行驶路径上时，说明不会影响移动机器人的行驶，因此可以忽略。

而当其位于移动机器人的行驶路径上时，则可以确定障碍物在移动机器人行进方向上点与点之间的最大距离以及垂直于行进方向的点与点之间的最大距离，对移动机器人的行驶路径进行修改，以绕过该障碍物，保证了移动机器人移动的安全性。

请参考图1，本申请还提供了一种移动机器人的避障装置，所述移动机器人设置有深度相机，所述深度相机用以获取所述移动机器人行进方向上的路况信息；所述避障装置设置于所述移动机器人上，且与所述深度相机通讯连接；

所述避障装置包括：

获取模块110，用于获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据；

点云处理模快120，用于采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别；将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对；根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值；针对所述点集合中的每一个点，搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定；如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成；若搜索得到的点数小于数量阈值，则将该点舍弃；

图像处理模块130，用于对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息；

所述点云处理模块120，还用于基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息；

匹配模块140，用于将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物；

处理模块150，用于根据所述障碍物对应的原始点云数据，进行避障控制。

在本申请的一个实施例中，所述图像处理模块130用于：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

在本申请的一个实施例中，所述点云处理模块120用于：对所述平面点云中的点两两进行连线，得到点与点之间的边；将不与其他边存在交点的边确定为所述平面点云对应的轮廓线，将各所述轮廓线的位置信息作为所述平面点云的第二位置信息。

在本申请的一个实施例中，匹配模块140用于：

从左至右、从上至下选取所述图像实例与投射后的点云实例逐一进行匹配；

在匹配时，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定所述图像实例与所述平面点云合并覆盖的总面积以及二者之间的重合面积；

将所述重合面积除以所述总面积，得到所述图像实例与所述平面点云之间的重合程度；

将所述重合程度与重合程度阈值进行比对，若所述重合程度大于或等于所述重合程度阈值，则将所述平面点云对应的物体确定为障碍物；

若所述重合程度小于所述重合程度阈值，则将所述图像实例与下一平面点云进行匹配。

在本申请的一个实施例中，所述重合程度阈值与所述图像实例所占面积、所述平面点云所占面积二者中较小面积占较大面积的比例呈负相关。

在本申请的一个实施例中，处理模块150用于：

根据所述障碍物对应的原始点云数据中点的位置信息，若所述障碍物位于所述移动机器人的行进路径上，则根据所述原始点云数据中点的位置信息，确定所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点之间的最大距离；

根据所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点与点之间的最大距离，控制所述移动机器人进行绕行；

若所述障碍物位于所述移动机器人的行进路径之外，则忽略。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

根据本申请的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件（包括储存器和处理器）的总线。

其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器（RAM）和/或高速缓存储存器，还可以进一步包括只读储存器（ROM）。

储存器还可以包括具有一组（至少一个）程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

电子设备也可以与一个或多个外部设备（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种移动机器人的避障方法，其特征在于，所述移动机器人设置有深度相机，所述深度相机用以获取所述移动机器人行进方向上的路况信息；

所述方法包括：

获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据；

采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别；

将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；

针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对；根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值；针对所述点集合中的每一个点，搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定；如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成；若搜索得到的点数小于数量阈值，则将该点舍弃；

对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息；

基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息；

将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物；

根据所述障碍物对应的原始点云数据，进行避障控制。

2.根据权利要求1所述的避障方法，其特征在于，对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息，包括：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

3.根据权利要求2所述的避障方法，其特征在于，确定各所述平面点云的第二位置信息，包括：

对所述平面点云中的点两两进行连线，得到点与点之间的边；将不与其他边存在交点的边确定为所述平面点云对应的轮廓线，将各所述轮廓线的位置信息作为所述平面点云的第二位置信息。

4.根据权利要求3所述的避障方法，其特征在于，将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物，包括：

从左至右、从上至下选取所述图像实例与投射后的点云实例逐一进行匹配；

在匹配时，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定所述图像实例与所述平面点云合并覆盖的总面积以及二者之间的重合面积；

将所述重合面积除以所述总面积，得到所述图像实例与所述平面点云之间的重合程度；

将所述重合程度与重合程度阈值进行比对，若所述重合程度大于或等于所述重合程度阈值，则将所述平面点云对应的物体确定为障碍物；

若所述重合程度小于所述重合程度阈值，则将所述图像实例与下一平面点云进行匹配。

5.根据权利要求4所述的避障方法，其特征在于，所述重合程度阈值与所述图像实例所占面积、所述平面点云所占面积二者中较小面积占较大面积的比例呈负相关。

6.根据权利要求1-4中任一项所述的避障方法，其特征在于，根据所述障碍物对应的原始点云数据，进行避障控制，包括：

根据所述障碍物对应的原始点云数据中点的位置信息，若所述障碍物位于所述移动机器人的行进路径上，则根据所述原始点云数据中点的位置信息，确定所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点之间的最大距离；

根据所述障碍物在所述移动机器人行进方向上点与点之间的最大距离以及垂直于所述行进方向的点与点之间的最大距离，控制所述移动机器人进行绕行；

若所述障碍物位于所述移动机器人的行进路径之外，则忽略。

7.一种移动机器人的避障装置，其特征在于，所述移动机器人设置有深度相机，所述深度相机用以获取所述移动机器人行进方向上的路况信息；所述避障装置设置于所述移动机器人上，且与所述深度相机通讯连接；

所述避障装置包括：

获取模块，用于获取由所述深度相机在所述移动机器人行进过程中得到的路况信息，所述路况信息包括RGB图像和原始点云数据；

点云处理模快，用于采用预先训练完成的语义分割模型，对所述原始点云数据中的每一个点进行语义特征提取，确定每个点对应的语义特征，并根据每个点对应的语义特征，为每个点分配对应的语义类别；将所述原始点云数据中具有相同语义类别的点划分为一个点集合，以得到与不同语义类别相对应的点集合；针对属于同一所述点集合中的点，对所述点集合中的点进行两两配对，得到若干点对；根据各点的坐标信息，计算每一点对中点与点之间的距离并从中确定距离最大值；针对所述点集合中的每一个点，搜索所述点集合中位于其邻域范围内的点，所述邻域的半径为根据所述点集合对应的点云密度和距离最大值进行确定；如果搜索得到的点数大于或等于数量阈值，则将搜索到的点加入搜索队列，对所述搜索队列里的点继续进行搜索，并将搜索到的点划分为一个点云实例，直至所有点集合中的点都搜索完成；若搜索得到的点数小于数量阈值，则将该点舍弃；

图像处理模块，用于对所述RGB图像进行图像处理，确定所述RGB图像中包含的图像实例及其对应的第一位置信息；

所述点云处理模块，还用于基于各所述点云实例所包含的点对应的坐标信息，将各所述点云实例进行坐标转换，以将各所述点云实例投射至所述RGB图像的成像平面中得到对应的平面点云，并确定各所述平面点云的第二位置信息；

匹配模块，用于将各所述图像实例与所述平面点云逐一进行匹配，根据所述图像实例对应的第一位置信息以及所述平面点云的第二位置信息，确定二者之间的重合程度，若所述重合程度符合预设条件，则将所述平面点云对应的物体确定为障碍物；

处理模块，用于根据所述障碍物对应的原始点云数据，进行避障控制。

8.根据权利要求7所述的避障装置，其特征在于，所述图像处理模块用于：

根据预先训练的目标识别模型，对所述RGB图像进行目标识别，确定所述RGB图像中包含的检测目标及其对应的检测框；

将各所述检测目标作为图像实例，并对各所述检测框内的检测目标进行边缘检测，确定所述图像实例对应的第一位置信息。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至6任一项所述方法的步骤。

10.一种非瞬时性计算机可读存储介质，其特征在于，所述非瞬时性计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至6任一项所述方法的步骤。