CN106826815A - 基于彩色图像与深度图像的目标物体识别与定位的方法 - Google Patents

Abstract

本发明涉及一种基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：（1）机器人采用远距离HSV颜色识别确认目标区域，根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；（2）机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；（3）由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标。本发明能够快速判断物体类别和确定三维坐标。

Description

基于彩色图像与深度图像的目标物体识别与定位的方法

技术领域

本发明涉及一种目标物体识别与定位的方法，尤其是一种基于彩色图像与深度图像的目标物体识别与定位的方法。

背景技术

随着人们对机器人功能要求的提高，移动机器人具有视觉功能，并和搭载在移动平台上的机械臂一起，“手眼”配合完成工作，已成为当前发展的趋势。而传统的视觉识别定位方法，使用单目或者双目视觉进行定位，容易受到光照变化的影响，且计算量较大。尤其是单目视觉，需要通过对同一物体不同角度拍摄图像比较来实现三维空间坐标的获取，计算较为复杂。因此，使用红外摄像机和接收机来获取物体深度图像，将大大提高效率。

深度摄像机定位目标物体的应用，普遍采用背景相减法或与帧差法等相结合来实现，如进行指定桌面物体的定位，可通过将摄像头固定于桌面上方，发现桌子上出现物体时，通过和原背景图片的对比，进行背景相减，得出目标物体的位置。但该方法适用于摄像头位置固定，机械臂固定的场合，一旦摄像头随着机器人位置进行移动，则将损失很大的定位精度。而当前的应用热点是移动机器人，将摄像机或者机械臂固定位置，也会大大影响机器人的灵活性。而机器人对于目标物体的识别，常用的有SIFT、ORB特征等方法。SIFT特征点检测最为细致，可较好的对目标物体的特征进行描述，但速度较慢，实时性差；而ORB特征检测的速度很快，实时性好，但对特征点的识别准确率低，容易发生误检测，特别是当目标物体周围有其他物体时，对识别的结果影响更大。SURF(Speed-Up Robust Features)算法较SIFT算法实时性得以提高，虽然低于ORB特征点检测的速度，但识别的准确率要优于ORB。然而SURF算法在面对目标物体周围有其他物体遮挡时，不能很好的区分出目标物体，造成特征点误检测。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于彩色图像与深度图像的目标物体识别与定位的方法，在远距离识别时提高机器人寻找目标物体的效率，在满足实时性要求的情况下较高准确率的识别特征点，可以快速判断物体类别，以及快速准确的实现三维坐标的确定。

按照本发明提供的技术方案，所述基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：

(1)机器人和摄像头一起运动，采用远距离HSV颜色识别确认目标区域并获得RGB彩色图像，采用深度摄像头获取深度图像；根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；

(2)机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；

(3)由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标。

进一步的，所述步骤(2)中，当目标物体被障碍物遮挡时，将目标物体的深度特征信息与SURF检测到的RGB特征信息相结合，获得目标物体的RGB-D特征信息，通过kNN(k-Nearest Neighbor)分类算法，和预存目标物体的RGB-D特征信息进行特征匹配。

进一步的，所述步骤(2)中，当特征匹配结构不符合已有物体模型时，机器人重新开始寻找目标区域。

进一步的，所述步骤(3)的具体过程为：将RGB彩色图像进行中值滤波、卡尔曼滤波、图像阈值分割处理后，获取目标物体的平面二维坐标；将深度图像信息与彩色图像信息进行坐标变换与配准，再进行去除噪声与滤波处理后，得出对应的空间三维坐标。

进一步的，所述步骤(3)中，深度图像信息中每一个像素点在摄像机坐标下的空间坐标为：

其中，(δ_x,δ_y)表示深度摄像机的畸变，(p_x,p_y)表示深度图像的中心点，f_x与f_y为比例系数；d为深度摄像机到成像平面的距离。

进一步的，所述深度摄像机和RGB摄像机的坐标变换公式为：

(x_c,y_c,z_c)^T＝R_c-d*(x_d,y_d,z_d)^T+T_c-d；

其中，(x_d,y_d,z_d)^T为深度摄像机坐标下的坐标，(x_c,y_c,z_c)^T为彩色摄像机坐标系下的坐标，R_c-d为RGB摄像机与深度摄像机坐标系的旋转变换矩阵，T_c-d为对应的平移变换矩阵。

进一步的，所述RGB摄像机与机器人本体坐标变换公式为：

(x_r,y_r,z_r)^T＝R_r-c*(x_c,y_c,z_c)^T+T_r-c；

其中，(x_r,y_r,z_r)^T为机器人本体坐标下的坐标，(x_c,y_c,z_c)^T为RGB摄像机坐标系下的坐标，R_r-c为机器人本体与RGB摄像机坐标系的旋转变换矩阵，T_r-c为对应的平移变换矩阵；

经过变换后的坐标即为目标物体的三维坐标。

本发明具有以下有益效果：

(1)使用HSV空间的颜色识别方法，在远距离识别时提高机器人寻找目标物体的效率；使用SURF与深度信息特征检测相结合，即结合彩色图像与深度图像的方式，可在满足实时性要求的情况下较高准确率的识别特征点，并可有效应对障碍物遮挡的情况。RGB-D信息可有效的反映出物体的特征，通过kNN算法与RGB-D中物体模板信息进行匹配，可以快速判断物体类别；

(2)使用单目视觉结合深度视觉对目标物体进行定位，由于深度信息代表了物体的距离信息，因此可以快速准确的实现三维坐标的确定，实时性高。

附图说明

图1为目标物体识别的流程图。

图2为目标物体定位的流程图。

图3为获得的深度图像示意图。

图4为目标物体定位的计算示意图。

图5为摄像头的成像平面示意图。

具体实施方式

下面结合具体附图对本发明作进一步说明。

本发明所述基于彩色图像与深度图像的目标物体识别与定位的方法，包括以下步骤：

(1)移动机器人采用远距离HSV颜色识别，近距离SURF特征点检测，并通过深度图像进行障碍物剥离的方式，进行目标物体识别；

具体地，如图1所示：为解决摄像头位置固定导致工作空间有限的情况，将摄像头和机械臂搭载在移动平台上，随机器人一起运动。当接收到指令进行抓取某个物体时，机器人将通过摄像头在周边环境中进行搜索寻找目标物体，当距离目标物体较远时，此时目标物体的特征点将不够突出，识别准确率较低；而目标物体的颜色将比自身的特征点更容易区分。

因此，在寻找识别目标物体的起始阶段，采用RGB摄像机进行HSV空间颜色识别获得RGB彩色图像，首先缩小目标区域范围，确认目标区域。同时，采用深度摄像机获得目标区域的深度图像，结合深度图像得出距离该目标区域的距离，与已有地图进行匹配，得出目标区域坐标，机器人开始自主导航与路径规划移动到目标区域附近。

当机器人到达目标区域附近时，先通过SURF特征点识别，对该目标区域的物体进行特征点检测，获得目标物体的RGB特征信息；再通过kNN(k-Nearest Neighbor)分类算法，和预存目标物体的RGB特征信息进行特征匹配。针对SURF算法在目标物体被遮挡时发生误检测的问题，再结合该目标物体的深度特征信息，与SURF检测到的RGB特征信息相结合，获得目标物体的RGB-D特征信息，通过kNN(k-Nearest Neighbor)分类算法，和预存目标物体的RGB-D特征信息进行特征匹配。采用RGB信息与深度图像相结合，由于不同物体距离摄像头的位置不同，则深度信息有差别，这种方法既可以实现较快较准确的特征点匹配，又可以根据物体的深度信息，区分障碍物和目标物体。

经过上述特征匹配后，若符合已有物体模型，则对该目标物体进行定位，为实现抓取做准备；若不符合，则机器人将重新开始寻找目标区域。

(2)移动机器人采用彩色图像与深度图像配准方法对目标物体进行定位；

针对单目摄像头需要对目标物体进行多角度拍摄，寻找多幅图像像素间的位置偏差求物体三维坐标的问题，本发明采用RGB彩色图像确定成像平面，结合深度摄像机进行辅助，通过RGB彩色图像与深度图像配准方法来实现目标物体的定位。使用该方法，既可省去对目标物体多次拍摄图像的时间，又可实现在目标物体周围有其他物体时，精确定位目标物体。

具体地，如图2所示：将RGB彩色图像进行中值滤波、卡尔曼滤波、图像阈值分割等处理后，获取目标物体的平面二维坐标。而RGB摄像机和深度摄像机的位置有偏差，所以首先需要将深度图像信息与彩色图像信息进行坐标变换与配准，再进行去除噪声与滤波处理后，得出对应的空间三维坐标。

物体距离深度摄像机的距离不同，颜色深浅不同(如图3所示)。由此可以获取目标物体与摄像头的相对距离，从而结合彩色图像，得出目标物体的三维坐标。因为摄像头与机器人一起移动，所以，首先是机器人移动到可以实现抓取的位置后，机械臂再根据此时目标物体的空间三维坐标，通过坐标转换以及逆运动学计算，获得抓取末端执行器的目标位置，通过机械臂的运动规划，完成抓取动作。

步骤(2)中目标物体的三维坐标的计算过程如下，如图4、图5所示：

(1)首先，根据摄像头采集到的成像平面，得出目标物体的中心点与平面中心的位置关系，根据摄像头的坐标系，可以得出成像平面上目标物体中心的坐标。目标物体与平面中心点的垂直与水平距离分别为a和b。

(2)同时，深度摄像机测出深度摄像机到成像平面的距离d，即可以得出目标物体距离深度摄像机的距离；再通过深度图像信息中的每一个像素点，计算得出该点在深度摄像机坐标下的空间坐标：

其中，(δ_x,δ_y)表示深度摄像机的畸变，(p_x,p_y)表示深度图像的中心点，f_x与f_y为比例系数。

(3)在计算目标物体坐标之前，首先需要进行坐标变换，因为摄像机坐标系与机器人本体坐标系有差别，同时，深度摄像机与RGB摄像机的位置也稍有差别，同样需要进行坐标变换。

a、深度摄像机与RGB摄像机的坐标变换：

(x_c,y_c,z_c)^T＝R_c-d*(x_d,y_d,z_d)^T+T_c-d；

其中，(x_d,y_d,z_d)^T为深度摄像机坐标下的坐标，(x_c,y_c,z_c)^T为彩色摄像机坐标系下的坐标，R_c-d为彩色与深度摄像机坐标系的旋转变换矩阵，T_c-d为对应的平移变换矩阵。

b、RGB摄像机与机器人本体坐标变换：

(x_r,y_r,z_r)^T＝R_r-c*(x_c,y_c,z_c)^T+T_r-c；

其中，(x_r,y_r,z_r)^T为机器人本体坐标下的坐标，(x_c,y_c,z_c)^T为彩色摄像机坐标系下的坐标，R_r-c为机器人本体与彩色摄像机坐标系的旋转变换矩阵，T_r-c为对应的平移变换矩阵。

(4)经过坐标的相应处理后，可以得出目标物体的空间三维坐标。

Claims (7)

1.一种基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是，包括以下步骤：

(1)机器人和摄像头一起运动，采用远距离HSV颜色识别确认目标区域并获得RGB彩色图像，采用深度摄像头获取深度图像；根据RGB彩色图像和深度图像得出距离目标区域的距离，机器人进行导航与路径规划移动至目标区域附近；

(2)机器人到达目标区域附近时，通过SURF特征点检测，获得目标物体的RGB特征信息，将该RGB特征信息与预存的目标物体的RGB特征信息进行特征匹配，若符合已有物体模型，则对该目标物体进行定位；

(3)由RGB彩色图像采集到成像平面，获得目标物体在成像平面中的二维坐标，由深度图像获得目标物体与摄像机的相对距离，从而获得目标物体的三维坐标。

2.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(2)中，当目标物体被障碍物遮挡时，将目标物体的深度特征信息与SURF检测到的RGB特征信息相结合，获得目标物体的RGB-D特征信息，通过kNN(k-NearestNeighbor)分类算法，和预存目标物体的RGB-D特征信息进行特征匹配。

3.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(2)中，当特征匹配结构不符合已有物体模型时，机器人重新开始寻找目标区域。

4.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(3)的具体过程为：将RGB彩色图像进行中值滤波、卡尔曼滤波、图像阈值分割处理后，获取目标物体的平面二维坐标；将深度图像信息与彩色图像信息进行坐标变换与配准，再进行去除噪声与滤波处理后，得出对应的空间三维坐标。

5.如权利要求1所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述步骤(3)中，深度图像信息中每一个像素点在摄像机坐标下的空间坐标为：

$\left\{\begin{array}{c}x=d*(i+{\mathrm{\δ}}_x-p_x)/f_x\\ y=d*(j+{\mathrm{\δ}}_y-p_y)/f_y\\ z=\sqrt{d^2-(x^2+y^2)}\end{array}\right.;$

其中，(δ_x,δ_y)表示深度摄像机的畸变，(p_x,p_y)表示深度图像的中心点，f_x与f_y为比例系数；d为深度摄像机到成像平面的距离。

6.如权利要求5所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述深度摄像机和RGB摄像机的坐标变换公式为：

(x_c,y_c,z_c)^T＝R_c-d*(x_d,y_d,z_d)^T+T_c-d；

其中，(x_d,y_d,z_d)^T为深度摄像机坐标下的坐标，(x_c,y_c,z_c)^T为彩色摄像机坐标系下的坐标，R_c-d为RGB摄像机与深度摄像机坐标系的旋转变换矩阵，T_c-d为对应的平移变换矩阵。

7.如权利要求6所述的基于彩色图像与深度图像的目标物体识别与定位的方法，其特征是：所述RGB摄像机与机器人本体坐标变换公式为：

(x_r,y_r,z_r)^T＝R_r-c*(x_c,y_c,z_c)^T+T_r-c；

其中，(x_r,y_r,z_r)^T为机器人本体坐标下的坐标，(x_c,y_c,z_c)^T为RGB摄像机坐标系下的坐标，R_r-c为机器人本体与RGB摄像机坐标系的旋转变换矩阵，T_r-c为对应的平移变换矩阵；

经过变换后的坐标即为目标物体的三维坐标。