CN112445208A - 机器人、行驶路径的确定方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种机器人、行驶路径的确定方法、装置、存储介质及电子装置，其中，该机器人包括：目标深度相机，所述目标深度相机安装于机器人的距离地面预定高度h位置处，所述目标深度相机的第一检测接地点与所述机器人的本体重合；其中，所述目标深度相机是通过如下方式选取的：根据r和h确定目标视场角a，其中，r为预设的所述机器人能够检测到的区域的最远接地点与所述第一检测接地点之间的距离；选取视场角大于或等于a的深度相机作为所述目标深度相机。通过本发明，有效解决相关技术中存在的常规的深度相机的安装方式会导致深度相机存在检测盲区等限制问题。

Description

机器人、行驶路径的确定方法、装置及存储介质

技术领域

本发明涉及通信领域，具体而言，涉及一种机器人、行驶路径的确定方法、装置、存储介质及电子装置。

背景技术

避障是机器人自主导航中不可或缺的模块。虽然机器人会在其活动范围内提前通过一种或几种传感器建立地图并标记障碍物，但由于建图本身的精度、场景随时间变化而变化以及动态障碍物的存在，避障问题，尤其是障碍物的感知问题并没有得到很好的解决。

此外，在相关技术中，会利用深度相机进行障碍物的检测，但是常规的深度相机的安装方式会导致深度相机存在检测盲区等限制问题。

针对相关技术中的上述问题目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种机器人、行驶路径的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的常规的深度相机的安装方式会导致深度相机存在检测盲区等限制问题。

根据本发明的一个实施例，提供了一种机器人，包括：目标深度相机，所述目标深度相机安装于机器人的距离地面预定高度h位置处，所述目标深度相机的第一检测接地点与所述机器人的本体重合；其中，所述目标深度相机是通过如下方式选取的：根据r和h确定目标视场角a，其中，r为预设的所述机器人能够检测到的区域的最远接地点与所述第一检测接地点之间的距离；选取视场角大于或等于a的深度相机作为所述目标深度相机。

根据本发明的另一个实施例，提供了一种行驶路径的确定方法，应用于上述所述的机器人中，包括：获取所述目标深度相机拍摄的目标场景的深度图；将所述深度图划分为预定数量的子区域；确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；基于各个所述子区域的类型确定所述机器人的行驶路径。

根据本发明的另一个实施例，还挺了一种行驶路径的确定装置，应用于上述所述的机器人中，包括：获取模块，用于获取所述目标深度相机拍摄的目标场景的深度图；划分模块，用于将所述深度图划分为预定数量的子区域；第一确定模块，用于确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；第二确定模块，用于基于各个所述子区域的类型确定所述机器人的行驶路径。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。

通过本发明，在机器人上安装的目标深度相机是具有特定视场角的深度相机，且在安装该目标深度相机时采用了特定的安装方式，使得目标深度相机能够检测到的最近区域与机器人重合且能够检测到的最远区域能够达到预设的区域，避免了检测盲区，有效解决相关技术中存在的常规的深度相机的安装方式会导致深度相机存在检测盲区等限制问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的机器人的结构框图；

图2是根据本发明实施例的行驶路径的确定方法；

图3是根据本发明实施例的行驶路径的确定装置的结构框图；

图4是根据本发明实施例的电子装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在实际应用中，本发明针对的场景并不仅限于传统工业机器人的工厂场景，还可以应用于更复杂的环境中。其中，更复杂的环境中会包括较难处理的目标障碍物，该较难处理的目标障碍物包括但不限于诸如：场景中散落在地上的小物体，凸起或凹陷的台阶，桌子和椅子腿以及人的脚背等。常用的传感器包括激光雷达、超声波传感器、普通摄像头和深度相机等，机器人则多会配置一种或多种传感器配合使用。

其中，超声波传感器主要用于检测特殊的玻璃、镜面等，但检测距离近，精度和分辨率低，对小物体无法识别，且不同超声波传感器之间容易相互干扰。

普通摄像头理论上可以通过图像帧间进行structure-from-motion的三维场景重建，但复杂度高且不稳定；同时也有越来越多使用深度学习方法的方案，直接从图像中估计障碍物，但这类工作在实际应用中会有诸多难以解决的问题。

深度相机和激光雷达等则可以直接测量出场景中物体的距离，通过对三维世界的观测，直接得到障碍物，从而有效的建立障碍物地图。

本方法主要解决了障碍物检测中的盲区问题。目前机器人的应用中，最常见的传感器即激光雷达，其在360度水平视场角内使用发射激光进行测距，在工作范围内，绝大多数的障碍物对激光的反射被激光雷达观测到，并能计算出mm到cm级别的距离测量值。但由于成本问题，多数用于障碍物检测的激光雷达为单线激光雷达，其水平视场角有360度，但垂直视场角为0，扫面范围仅为一个平面。

硬件属性决定了基于激光雷达的检测障碍物时严重依赖于其安装高度。例如，当其安装高度为10cm时，10cm以下的障碍物无法感知。当安装高度过低时，则可能因为地面是否平整造成障碍物的误检。

此外，对于桌子、椅子等障碍物的桌腿、椅腿，由于其细长的特性，会造成漏检。而地面上的凹陷，例如下楼的台阶，也同样无法感知，会造成机器人的跌落。除了激光雷达外，深度相机也常用于障碍物的检测，它也存在视场角FOV(field of view)和盲区等限制问题，需要结合具体的应用场景，来设计安装方案来确定有效检测范围。

针对上述问题，在本发明实施例中所采用的深度相机俯视安装的方式能够有效避免障碍物检测中的盲区，提升了检测效率。其中，深度相机的垂直方向的视觉决定了检测点与机器人的距离。可以通过调整相机的俯视角，使得最近检测接地点与机器人的本体重合，从而彻底避免了盲区。下面结合实施例对本发明进行说明：

在本发明实施例中，提供了一种机器人，如图1所示，该机器人包括：目标深度相机12，所述目标深度相机12安装于机器人的距离地面预定高度h位置处，所述目标深度相机12的第一检测接地点与所述机器人的本体重合；其中，所述目标深度相机12是通过如下方式选取的：根据r和h确定目标视场角a，其中，r为预设的所述机器人能够检测到的区域的最远接地点与所述第一检测接地点之间的距离；选取视场角大于或等于a的深度相机作为所述目标深度相机12。在本实施例中，目标深度相机的检测区域是一个特定形状的检测区域，其中，该检测区域中包括有距离机器人最近的接地点和最远的接地点，上述的第一检测接地点为距离机器人最近的接地点。在上述实施例中，可以通过选择目标深度相机12的垂直视角范围(a)和安装高度(h)来实现无盲区检测，其中，可以通过选择目标深度相机12的a和h来实现预定距离远的障碍物检测区域。

在上述实施例中，在机器人上安装的目标深度相机是具有特定视场角的深度相机，且在安装该目标深度相机时采用了特定的安装方式，使得目标深度相机能够检测到的最近区域与机器人重合且能够检测到的最远区域能够达到预设的区域，避免了检测盲区，有效解决相关技术中存在的常规的深度相机的安装方式会导致深度相机存在检测盲区等限制问题。

在一个可选的实施例中，上述的a可以是通过如下公式确定的：a＝arctan(r/h)，即障碍物地图的最大范围(r):r＝h×tan(a)。

在一个可选的实施例中，r是通过如下公式确定的：r＝t×v+m，其中，t为所述机器人的响应时间，v为所述机器人的运行速度，m为所述机器人的刹车距离。在本实施例中，可以针对低速机器人的应用场景，通过测算机器人的响应时间与运行速度，以及结合机器人的刹车距离，来设计出所需的最小障碍物地带，从而有助于选型深度相机的垂直FOV。

在一个可选的实施例中，所述目标深度相机的数量为两个或三个以上，其中，两个或三个以上所述目标深度相机安装于所述机器人前方和后方，以使所述机器人获取位于前进方向上的第一预定区域内的图像，以及位于后退方向上的第二预定区域内的图像；或者，两个或三个以上所述目标深度相机环绕安装于所述机器人的四周，以使所述机器人至少获取以所述机器人的中心为圆心，r为半径的圆形区域内的图像。在本实施例中，单个目标深度相机可提供一定范围内的障碍物检测与估计，具体的相机安装则根据机器人行驶的需求设计。例如，当机器人只需要前进和后退时，会更注重于机器人前方和后方的障碍物检测，则在机器人的前向与后向上安装目标深度相机。而对于特定应用场景，例如室外机器人，需要考虑采用安装多个目标深度相机的方法，来实现覆盖360度的检测区域的目的，例如，当机器人能360度自由移动时，需环绕安装多个深度摄像机融合多个障碍物地图。

在本发明实施例中，还提供了一种行驶路径的确定方法，图2是根据本发明实施例的行驶路径的确定方法，其中，该方法可以应用于前述任一项所述的机器人中，该方法包括如下步骤：

S202，获取所述目标深度相机拍摄的目标场景的深度图；

S204，将所述深度图划分为预定数量的子区域；

S206，确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；

S208，基于各个所述子区域的类型确定所述机器人的行驶路径。

其中，执行上述操作的可以是机器人，在上述实施例中，可以将感知的3-D信息分为三类，可通行的平面区域，存在小范围凸起、凹陷障碍物的区域，以及不可测的区域，其中，该不可测的区域对应于上述的其他区域。在本实施例特别设计了这三类信息，因为深度相机存在无法测量的点，以及由于镜面、玻璃存在而产生的错误点，排除这些异常能加强算法的稳定性。

通过上述实施例，可以有效确认各个子区域的类型，进而实现行驶路径的确定。

在一个可选的实施例中，在确认了目标深度相机的具体安装方式后，再从深度图中恢复有效的3-D信息，进而可以基于恢复的3-D信息来确定机器人的行走路径。其中，深度恢复3-D信息，可以通过如下方式实现：

1.首先通过地面法向的默认值，通过平面方程直接选择深度图中的可通行区域

2.将深度图划分成有重叠overlap的矩形区域，通过深度变化确定是否为局部平面

3.通过估算局部平面的法向，来描述这些局部区域，决定是否需要进一步处理

4.平面通过法向与临近平面融合，从而找到区域内的障碍物和凹陷等

下面结合实施例对上述各个操作分别进行描述：

在一个可选的实施例中，在预定数量的所述子区域中，一个或多个所述子区域和与其相邻的子区域部分重叠。在本实施例中，全部的子区域都可以与自身的一个或多个临区有重叠，也可以是部分子区域与自身的一个或多个临区有重叠。从而可以有效避免凹陷或凸起的边缘正好卡在一个子区域的边界处而导致无法准确检测出子区域的类型的问题。

在一个可选的实施例中，将所述深度图划分为预定数量的子区域包括：基于所述机器人的障碍感知精度将所述深度图划分为预定数量的所述子区域。在本实施例中，不同障碍感知精度的机器人所对应的子区域划分方式可以是不同的，其中，对于障碍感知精度更细，即，对障碍更为敏感的机器人而言，需要对深度图划分的更细，而对于障碍感知精度更粗，即，对障碍感知精度不太敏感的机器人而言，可以对深度图划分的比较粗。在本实施例中，划分后的各子区域内的类型是相同的，即使存在被确定为平面区域的子区域内有微小的凹陷或凸起的情况，也可以认为该微小的凹陷或凸起是不被机器人所感知的。

在一个可选的实施例中，确定各个所述子区域的类型包括：对于从所述深度图中划分出的第一子区域，基于所述第一子区域的法向值确定所述第一子区域的类型。在本实施例中，不同类型的区域法向值是不同的，因此，可以基于区域的法向值来确定区域的具体类型。

在一个可选的实施例中，基于所述第一子区域的法向确定所述第一子区域的类型包括：从预定对应关系中确定出与所述第一子区域的法向值对应的子区域的类型，并将确定出的子区域的类型作为所述第一子区域的类型，其中，所述对应关系用于标识子区域的法向与子区域的类型的对应关系。在本实施例中，可以预先配置上述对应关系，例如，平面区域对应的法向值用于指示法向垂直于水平面，凸起或凹陷区域对应的法向值用于指示法向与水平面有一定的夹角。

在一个可选的实施例中，基于所述第一子区域的法向确定所述第一子区域的类型包括：在确定所述第一子区域的法向和第二子区域的法向相同，且所述第一子区域的平面方程与第二子区域的平面方程相同时，将所述第二子区域的类型确定为所述第一子区域的类型。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质，例如ROM/RAM、磁碟、光盘中，包括若干指令用以使得一台终端设备，例如，可以是手机，计算机，服务器，或者网络设备等来执行本发明各个实施例所述的方法。

在本实施例中还提供了一种行驶路径的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的行驶路径的确定装置的结构框图，该装置可以应用于前述所述的机器人中，如图3所示，该装置包括：

获取模块32，用于获取所述目标深度相机拍摄的目标场景的深度图；划分模块34，用于将所述深度图划分为预定数量的子区域；第一确定模块36，用于确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；第二确定模块38，用于基于各个所述子区域的类型确定所述机器人的行驶路径。

在一个可选的实施例中，在预定数量的所述子区域中，一个或多个所述子区域和与其相邻的子区域部分重叠。

在一个可选的实施例中，所述划分模块34用于通过如下方式将所述深度图划分为预定数量的子区域：基于所述机器人的障碍感知精度将所述深度图划分为预定数量的所述子区域。

在一个可选的实施例中，所述第一确定模块36可以通过如下方式确定各个所述子区域的类型：对于从所述深度图中划分出的第一子区域，基于所述第一子区域的法向值确定所述第一子区域的类型。

在一个可选的实施例中，所述第一确定模块36可以通过如下方式基于所述第一子区域的法向确定所述第一子区域的类型：从预定对应关系中确定出与所述第一子区域的法向值对应的子区域的类型，并将确定出的子区域的类型作为所述第一子区域的类型，其中，所述对应关系用于标识子区域的法向与子区域的类型的对应关系。

在一个可选的实施例中，所述第一确定模块36可以通过如下方式基于所述第一子区域的法向确定所述第一子区域的类型：在确定所述第一子区域的法向和第二子区域的法向相同，且所述第一子区域的平面方程与第二子区域的平面方程相同时，将所述第二子区域的类型确定为所述第一子区域的类型。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，如图4所示，该电子装置包括处理器42和存储器44，该存储器44中存储有计算机程序，该处理器42被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备46以及输入输出设备48，其中，该传输设备46和上述处理器42连接，该输入输出设备48和上述处理器42连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种机器人，其特征在于，包括：

目标深度相机，所述目标深度相机安装于机器人的距离地面预定高度h位置处，所述目标深度相机的第一检测接地点与所述机器人的本体重合；

其中，所述目标深度相机是通过如下方式选取的：

根据r和h确定目标视场角a，其中，r为预设的所述机器人能够检测到的区域的最远接地点与所述第一检测接地点之间的距离；

选取视场角大于或等于a的深度相机作为所述目标深度相机。

2.根据权利要求1所述的机器人，其特征在于，a是通过如下公式确定的：

a＝arctan(r/h)。

3.根据权利要求1所述的机器人，其特征在于，r是通过如下公式确定的：

r＝t×v+m，其中，t为所述机器人的响应时间，v为所述机器人的运行速度，m为所述机器人的刹车距离。

4.根据权利要求1所述的机器人，其特征在于，所述目标深度相机的数量为两个或三个以上，其中，

两个或三个以上所述目标深度相机安装于所述机器人前方和后方，以使所述机器人获取位于前进方向上的第一预定区域内的图像，以及位于后退方向上的第二预定区域内的图像；或者，

两个或三个以上所述目标深度相机环绕安装于所述机器人的四周，以使所述机器人至少获取以所述机器人的中心为圆心，r为半径的圆形区域内的图像。

5.一种行驶路径的确定方法，其特征在于，应用于权利要求1至4中任一项所述的机器人中，包括：

获取所述目标深度相机拍摄的目标场景的深度图；

将所述深度图划分为预定数量的子区域；

确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；

基于各个所述子区域的类型确定所述机器人的行驶路径。

6.根据权利要求5所述的方法，其特征在于，在预定数量的所述子区域中，一个或多个所述子区域和与其相邻的子区域部分重叠。

7.根据权利要求5或6所述的方法，其特征在于，将所述深度图划分为预定数量的子区域包括：

基于所述机器人的障碍感知精度将所述深度图划分为预定数量的所述子区域。

8.根据权利要求5所述的方法，其特征在于，确定各个所述子区域的类型包括：

对于从所述深度图中划分出的第一子区域，基于所述第一子区域的法向值确定所述第一子区域的类型。

9.根据权利要求8所述的方法，其特征在于，基于所述第一子区域的法向确定所述第一子区域的类型包括：

从预定对应关系中确定出与所述第一子区域的法向值对应的子区域的类型，并将确定出的子区域的类型作为所述第一子区域的类型，其中，所述对应关系用于标识子区域的法向与子区域的类型的对应关系。

10.根据权利要求8所述的方法，其特征在于，基于所述第一子区域的法向确定所述第一子区域的类型包括：

在确定所述第一子区域的法向和第二子区域的法向相同，且所述第一子区域的平面方程与第二子区域的平面方程相同时，将所述第二子区域的类型确定为所述第一子区域的类型。

11.一种行驶路径的确定装置，其特征在于，应用于权利要求1至4中任一项所述的机器人中，包括：

获取模块，用于获取所述目标深度相机拍摄的目标场景的深度图；

划分模块，用于将所述深度图划分为预定数量的子区域；

第一确定模块，用于确定各个所述子区域的类型，其中，所述类型包括以下之一：平面区域、存在障碍物的障碍区域、除所述平面区域和所述障碍区域之外的其他区域；

第二确定模块，用于基于各个所述子区域的类型确定所述机器人的行驶路径。

12.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求5至10任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求5至10任一项中所述的方法。

Images