CN109461185B - 一种适用于复杂场景的机器人目标主动避障方法 - Google Patents

Abstract

本发明公开了一种适用于复杂场景的机器人目标主动避障方法，该方法由目标检测与分割、目标位置关系估计和路径规划三部分构成。本发明用于弥补现有主动视觉方法在运行效率和适应性上的不足，并且，采用本发明提供的适用于复杂场景的机器人目标主动避障方法，能够自适应规划相机移动路径，无需预先指定相机观测位置，具有更高的执行效率；而且，能够根据目标检测结果直接生成各目标的空间位置关系，为相机观测位置的调整提供较好的初值。

Description

一种适用于复杂场景的机器人目标主动避障方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种适用于复杂场景的机器人目标主动避障方法。

背景技术

目标抓捕是机器人同外界交互的重要方式，通过安装在机械臂末端的操作手爪，机器人可实现对目标的抓捕操作，可用于流水线分拣、家庭服务等领域。为实施目标抓捕，机器人首先应完成目标所处环境的感知，并进行抓捕点检测，进而指导机械臂完成目标抓捕。然而，真实场景下的操作环境较为复杂，尤其存在遮挡的情况，给目标检测以及抓捕过程的实施带来挑战。

为提高遮挡情况下的目标检测效果，传统方法一般采用具有更强表达能力的检测方法，如Faster-RCNN等。但由于遮挡的存在，即使抓捕点能够被正确检测，其留给机器人操作的空间也较为狭窄，因此很难开展进一步的抓捕操作。在传统的目标检测领域，相机通常作为被动传感器，其被置于固定的位置，并获取不同物体的图像，因此需依赖于具有较强表达能力的目标检测算法。而在抓捕检测领域，相机通常置于机械臂末端作为手眼相机，能够通过机器人本身或机械臂的移动灵活地改变观测角度(主动视觉)，从而最大限度的避开遮挡物体，提高物体检测以及抓捕点检测的精度。

现有的主动视觉方法通常将待抓捕物体看作球心，在上半球面上均匀采样，各采样点当作相机移动过程中的观测点。通过在各个观测点分别对目标进行成像，以得到更好的抓捕状态。但该方法存在运算效率低，无法根据目标的遮挡情况自适应地调整观测角度，在某些情况下无法得到最佳观测角度等问题，因此采用一种效率高，能够根据目标状态自适应规划相机移动路径的目标主动避障方法，具有十分重要的意义。

发明内容

本发明的目的在于弥补现有主动视觉方法在运行效率和适应性上的不足，提供了一种适用于复杂场景的机器人目标主动避障方法。

本发明采用如下技术方案来实现的：

一种适用于复杂场景的机器人目标主动避障方法，包括以下步骤：

1)目标检测与分割；

2)目标位置关系估计；

3)路径规划。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

首先采用深度传感器Kinect对目标进行成像，获得光学图像x_v和对应的深度图像x_d；对于光学图像x_v，采用Mask-RCNN算法检测图像中包含的所有物体o_i,i＝1,2,…,N，N表示图像中的物体总数，并采用包围盒对其进行标记，物体o_i对应的包围盒为b_i；同时，对于包围盒b_i中的物体o_i，对其进行分割，得到物体的像素级表示s_i，像素级s_i中的每一个像素均表示该点来自于物体o_i，像素级s_i以外的像素点均来自于背景区域；

对于每一个包围盒b_i内的物体分割s_i，结合深度图像x_d，计算其中每一像素点对应图像位置的深度信息，对所有像素点的深度信息取平均，得到当前物体与相机的相对距离d(o_i)：

其中，|s_i|表示s_i中所包含的像素点数目，k表示s_i中的每一个像素，d(k)表示像素k所对应图像位置下的深度信息。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

根据检测出的物体包围盒及其深度信息，得到当前相机视场内各物体的空间位置分布；以相机的光心作为圆心，光轴方向作为Z轴建立直角坐标系，X轴、Y轴分别与相机成像平面的水平和竖直方向平行；对于物体o_i，其包围盒b_i的尺寸和位置决定了其在XY平面内的坐标，其深度信息d(o_i)决定了其在Z轴上坐标，因此可得o_i在相机坐标系下的三维位置；将世界坐标系定义为与相机坐标系重合，得到各物体在世界坐标系下的位置。

本发明进一步的改进在于，步骤3)的具体实现方法如下：

为了便于描述目标移动过程中相机相对于目标的位置，采用极坐标定义目标坐标系，其中，目标与相机的连线，且指向相机的方向定义为X轴，相机在以目标为球心、半径为R的半球状区域的表面移动，对于表面上的任意一点，其与目标的连线在水平面上的投影与X轴的夹角定义为旋转角，与目标的连线与水平面上投影直线的夹角定义为高低角，如此，旋转角和高低角唯一确定了相机在半球状区域上的位置。

本发明进一步的改进在于，步骤3)的具体实现步骤如下：

3.1)旋转方向选取

在平面内，以目标中心为圆心，以R为半径形成圆形表示，将圆以18o间隔进行20等分，对于每一扇形区域，判断是否有其他目标落入其中，若有目标落入其中，该扇形区域的标识设为1，否则设为0；依次完成20个扇形区域的遍历，形成20维的向量表示；

其中，扇形区域的值为0表明该扇区不存在其他目标物体，若相机从该角度对目标进行成像，则不存在遮挡的情况；向量表示中0值分布越集中的位置，表明该角度下存在遮挡干扰的概率越低；因此，选择向量表示中连续出现0值最多的区域，将该角度作为相机的旋转角度θ；

3.2)移动方向选取

对于目标物体o_k，其余的障碍物表示为o_i,i＝1,2,…,k-1,k+1,…,N；对于每一个障碍物o_i，其最优的相机移动方向定义为：

其中，x_k,y_k表示物体o_k对应包围盒的几何中心坐标，x_i,y_i表示障碍物o_i对应包围盒的几何中心坐标，h_i,w_i表示障碍物o_i对应包围盒的高度和宽度，ε表示一个极小值，定义为0.001，IoU(o_k,o_i)表示o_k与o_i的交并比，|o_k∩o_i|表示o_k与o_i交集的面积，|o_k∪o_i|表示o_k与o_i并集的面积；

将各障碍物确定的移动方向叠加，得到相机的移动方向：

进一步，相机移动位置的高低角由下式计算：

φ＝arctan(v_c)

根据上述结果，相机移动至目标坐标系下旋转角为θ，高低角为φ的位置，并指向目标方向；在此观测位置下对目标重新进行成像，能够避开障碍物的遮挡，进而取得更好的目标成像效果。

本发明具有如下有益的技术效果：

1、能够自适应规划相机移动路径，无需预先指定相机观测位置，具有更高的执行效率；

2、能够根据目标检测结果直接生成各目标的空间位置关系，为相机观测位置的调整提供较好的初值。

附图说明

图1为本发明对目标的检测与分割效果图；

图2为本发明的相机坐标系与目标坐标系示意图；

图3为本发明的相机移动方向示意图；

图4和图5为不同视角相机移动前后的成像对比图。

具体实施方式

以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明提出一种适用于复杂场景的机器人目标主动避障方法，其主要由目标检测与分割、目标位置关系估计和路径规划三部分构成。

该方法具体包括步骤如下：

1)目标检测与分割，如图1所示：

首先采用深度传感器Kinect对目标进行成像，获得光学图像x_v和对应的深度图像x_d；对于光学图像x_v，采用Mask-RCNN^[1]算法检测图像中包含的所有物体o_i,i＝1,2,…,N，N表示图像中的物体总数，并采用包围盒对其进行标记，物体o_i对应的包围盒为b_i；同时，对于包围盒b_i中的物体o_i，对其进行分割，得到物体的像素级表示s_i，像素级s_i中的每一个像素均表示该点来自于物体o_i，像素级s_i以外的像素点均来自于背景区域。

对于每一个包围盒b_i内的物体分割s_i，结合深度图像x_d，计算其中每一像素点对应图像位置的深度信息，对所有像素点的深度信息取平均，得到当前物体与相机的相对距离d(o_i)：

其中，|s_i|表示s_i中所包含的像素点数目，k表示s_i中的每一个像素，d(k)表示像素k所对应图像位置下的深度信息。

[1].K.He,G.Gkioxari,P.Dollar,R.Girshick,"Mask R-CNN",arXiv preprintarXiv:1703.06870v2,2017.

2)目标位置关系估计，如图2所示：

根据检测出的物体包围盒及其深度信息，得到当前相机视场内各物体的空间位置分布；以相机的光心作为圆心，光轴方向作为Z轴建立直角坐标系，X轴、Y轴分别与相机成像平面的水平和竖直方向平行；对于物体o_i，其包围盒b_i的尺寸和位置决定了其在XY平面内的坐标，其深度信息d(o_i)决定了其在Z轴上坐标，因此可得o_i在相机坐标系下的三维位置；将世界坐标系定义为与相机坐标系重合，得到各物体在世界坐标系下的位置。

3)路径规划，如图3至图5所示：

为了便于描述目标移动过程中相机相对于目标的位置，采用极坐标定义目标坐标系，其中，目标与相机的连线，且指向相机的方向定义为X轴，相机在以目标为球心、半径为R的半球状区域的表面移动，对于表面上的任意一点，其与目标的连线在水平面上的投影与X轴的夹角定义为旋转角，与目标的连线与水平面上投影直线的夹角定义为高低角。不难看出，旋转角和高低角唯一确定了相机在半球状区域上的位置，具体定义见附图。

3.1)旋转方向选取

在平面内，以目标中心为圆心，以R为半径形成圆形表示，将圆以18o间隔进行20等分，对于每一扇形区域，判断是否有其他目标落入其中，若有目标落入其中，该扇形区域的标识设为1，否则设为0；依次完成20个扇形区域的遍历，形成20维的向量表示，如：110011000…0011。

扇形区域的值为0表明该扇区不存在其他目标物体，若相机从该角度对目标进行成像，则不存在遮挡的情况；向量表示中0值分布越集中的位置，表明该角度下存在遮挡干扰的概率越低；因此，选择向量表示中连续出现0值最多的区域，将该角度作为相机的旋转角度θ。

3.2)移动方向选取

相机的移动方向选取为除目标物体外障碍物分布密集较低的方向，此时在相机视场下，目标不受障碍物遮挡的概率较大。

对于目标物体o_k，其余的障碍物表示为o_i,i＝1,2,…,k-1,k+1,…,N；对于每一个障碍物o_i，其最优的相机移动方向定义为：

其中，x_k,y_k表示物体o_k对应包围盒的几何中心坐标，x_i,y_i表示障碍物o_i对应包围盒的几何中心坐标，h_i,w_i表示障碍物o_i对应包围盒的高度和宽度，ε表示一个极小值，定义为0.001，IoU(o_k,o_i)表示o_k与o_i的交并比，|o_k∩o_i|表示o_k与o_i交集的面积，|o_k∪o_i|表示o_k与o_i并集的面积。

将各障碍物确定的移动方向叠加，得到相机的移动方向：

进一步，相机移动位置的高低角由下式计算：

φ＝arctan(v_c)

根据上述结果，相机移动至目标坐标系下旋转角为θ，高低角为φ的位置，并指向目标方向。在此观测位置下对目标重新进行成像，可避开障碍物的遮挡，取得更好的目标成像效果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种适用于复杂场景的机器人目标主动避障方法，其特征在于，包括以下步骤：

1)目标检测与分割，具体实现方法如下：

首先采用深度传感器Kinect对目标进行成像，获得光学图像x_v和对应的深度图像x_d；对于光学图像x_v，采用Mask-RCNN算法检测图像中包含的所有物体o_i,i＝1,2,…,N，N表示图像中的物体总数，并采用包围盒对其进行标记，物体o_i对应的包围盒为b_i；同时，对于包围盒b_i中的物体o_i，对其进行分割，得到物体的像素级表示s_i，像素级s_i中的每一个像素点均表示该点来自于物体o_i，像素级s_i以外的像素点均来自于背景区域；

对于每一个包围盒b_i内的物体分割s_i，结合深度图像x_d，计算其中每一像素点对应图像位置的深度信息，对所有像素点的深度信息取平均，得到当前物体与相机的相对距离d(o_i)：

其中，|s_i|表示s_i中所包含的像素点数目，k表示s_i中的每一个像素，d(k)表示像素k所对应图像位置下的深度信息；

2)目标位置关系估计；

3)路径规划。

2.根据权利要求1所述的一种适用于复杂场景的机器人目标主动避障方法，其特征在于，步骤2)的具体实现方法如下：

根据检测出的物体包围盒及其深度信息，得到当前相机视场内各物体的空间位置分布；以相机的光心作为圆心，光轴方向作为Z轴建立直角坐标系，X轴、Y轴分别与相机成像平面的水平和竖直方向平行；对于物体o_i，其包围盒b_i的尺寸和位置决定了其在XY平面内的坐标，其深度信息d(o_i)决定了其在Z轴上坐标，因此可得o_i在相机坐标系下的三维位置；将世界坐标系定义为与相机坐标系重合，得到各物体在世界坐标系下的位置。

3.根据权利要求2所述的一种适用于复杂场景的机器人目标主动避障方法，其特征在于，步骤3)的具体实现方法如下：

为了便于描述目标移动过程中相机相对于目标的位置，采用极坐标定义目标坐标系，其中，目标与相机的连线，且指向相机的方向定义为X轴，相机在以目标为球心、半径为R的半球状区域的表面移动，对于表面上的任意一点，其与目标的连线在水平面上的投影与X轴的夹角定义为旋转角，与目标的连线与水平面上投影直线的夹角定义为高低角，如此，旋转角和高低角唯一确定了相机在半球状区域上的位置。

4.根据权利要求3所述的一种适用于复杂场景的机器人目标主动避障方法，其特征在于，步骤3)的具体实现步骤如下：

3.1)旋转方向选取

在平面内，以目标中心为圆心，以R为半径形成圆形表示，将圆以18°间隔进行20等分，对于每一扇形区域，判断是否有其他目标落入其中，若有目标落入其中，该扇形区域的标识设为1，否则设为0；依次完成20个扇形区域的遍历，形成20维的向量表示；

其中，扇形区域的值为0表明该扇形区域不存在其他目标物体，若相机沿该扇形 区域的角平分线方向对目标进行成像，则不存在遮挡的情况；对于向量表示中0值分布越集中的扇形区域，沿该扇形区域角平分线方向的成像结果中存在遮挡干扰的概率越低；因此，选择向量表示中连续出现0值最多的区域，将该区域的角平分线方向与当前相机观测方向的夹角作为相机的旋转角度θ；

3.2)移动方向距离选取

对于目标物体o_k，其余的障碍物表示为o_i,i＝1,2,…,k-1,k+1,…,N；对于每一个障碍物o_i，其最优的相机移动方向定义为：

其中，x_k,y_k表示物体o_k对应包围盒的几何中心坐标，x_i,y_i表示障碍物o_i对应包围盒的几何中心坐标，h_i,w_i表示障碍物o_i对应包围盒的高度和宽度，ε表示一个极小值，定义为0.001，IoU(o_k,o_i)表示o_k与o_i的交并比，|o_k∩o_i|表示o_k与o_i交集的面积，|o_k∪o_i|表示o_k与o_i并集的面积；

将各障碍物确定的移动方向叠加，得到相机的移动方向：

进一步，相机移动位置的高低角由下式计算：

φ＝arctan(v_c)

根据上述结果，相机移动至目标坐标系下旋转角为θ，高低角为φ的位置，并指向目标方向；在此观测位置下对目标重新进行成像，能够避开障碍物的遮挡，进而取得更好的目标成像效果。

Images