CN110648367A - 一种基于多层深度与彩色视觉信息的几何体目标定位方法 - Google Patents

Abstract

一种基于多层深度与彩色视觉信息的几何体目标定位方法，步骤：校正彩色相机、深度相机的内参、畸变系数并确定深度相机与彩色相机两相机图像的转换矩阵关系；获取目标物体的彩色和深度图像信息；根据颜色的直观图特性在HSV颜色空间中对彩色图像进行预处理，分割出目标物体二值化图像；通过背景相减法消除深度图像的背景，进行多层次阈值二值化操作，通过多层深度图像将物体分割出来；)基于多层次二值化图像进行边缘轮廓检测，通过参数筛选识别目标几何体；通过Hu不变矩计算目标几何体的中心坐标和旋转角度并转换到视觉系统的世界坐标系下。本发明对无纹理几何体的识别效果强，对不同光线环境的抗干扰能力强；识别物体的原理简单，计算量小，能满足实时识别的需要。

Description

一种基于多层深度与彩色视觉信息的几何体目标定位方法

技术领域

本发明涉及一种基于多层深度与彩色视觉信息的几何体目标定位方法，属于计算机视觉技术领域。

背景技术

从一百五十年前第一台工业机器人诞生开始，人们一直致力于使用机器人来代替人类繁重的工作。其中，自主抓取能力一直是检测一个机器人智能化程度高低的关键所在，而机器人视觉则以低成本、高信息量成为机器人获取外界信息的主要途径。

传统的单目视觉或双目视觉定位，受到当前光线影响比较严重，而且计算量比较大。而单目视觉在静止状态下拍摄的物体信息有限，不足以提供充分的目标物体三维坐标信息。因而，采用红外深度相机直接获取深度信息，并与彩色相机结合是一种较为高效的处理手段。

此外，对于无纹理物体，其各面的颜色几乎一样，因而目前主流的基于彩色信息进行特征点匹配的算法如SURF、ORB等效果很差，难以满足识别定位的需求。因而需要结合深度图像进行识别，而由于深度相机的TOF原理限制，与相机光轴夹角较小的平面可能会被反馈出错误的深度信息。为了能够实现稳定的识别，有必要使用深度与彩色视觉识别的方法来准确的对无纹理几何体的准确坐标识别。

发明内容

本发明提出一种几何体目标定位方法，目的是克服现有的匹配算法无法有效识别无纹理特征物体规则几何物体的问题。

为了实现上述的发明目的，本发明采取的技术方案是：

一种基于多层深度与彩色视觉信息的几何体目标定位方法，该方法：首先，校正彩色相机、深度相机的内参、畸变系数并确定深度相机与彩色相机两相机图像的转换矩阵关系；其次，获取目标物体的彩色和深度图像信息；根据颜色的直观图特性在HSV颜色空间中对彩色图像进行预处理，分割出目标物体二值化图像；再次，通过背景相减法消除深度图像的背景，进行多层次阈值二值化操作，通过多层深度图像将物体分割出来；最后，基于多层次二值化图像进行边缘轮廓检测，通过参数筛选识别目标几何体；通过Hu不变矩计算目标几何体的中心坐标和旋转角度并转换到视觉系统的世界坐标系下。具体包括以下步骤：

(1)校正彩色相机、深度相机的内参、畸变系数并确定深度相机与彩色相机两相机图像的转换矩阵关系。从而将两像素坐标系-相机坐标系-世界坐标系建立起相互之间的联系，为后续的定位做好准备。两内参矩阵及变换矩阵通过公式(1)、(2)进行描述：

内参矩阵：

其中，f_x为x轴方向相机焦距；f_y为y轴方向相机焦距；c_x为相机光轴在图像坐标系中沿x轴方向的偏移量；c_y为相机光轴在图像坐标系中沿y轴方向的偏移量。

两相机坐标系变换矩阵：

其中，R为正交旋转矩阵：

其中，r_ij为旋转变量，i为1或2或3，j为1或2或3；T为平移矩阵：T＝[t_x t_y t_z]^T(4)，其中，t_x为相机在x轴方向的平移；t_v为相机在y轴方向的平移；t_z为相机在z轴方向的平移。

(2)相机平行于检测工作台进行布置，工作台桌面距离视觉传感器的距离应该控制在深度视觉测量范围内切确保识别区域不被遮挡；将待检测无纹理几何体目标放置于检测工作台上，水平拍摄物体，识别区域为桌面上可以被深度相机、彩色相机同时获取的部分；通过深度相机获得目标物体的彩色和深度图像信息，并存储起来。

(3)在HSV颜色空间中对彩色图像进行预处理，利用目标物体的颜色特征根据其在饱和度区间和色调区间的阈值来分割图像，并进行开操作、闭操作、高斯滤波等处理，获得二值化目标图像。

(4)通过背景相减法消除深度图像的背景，从而获得物体的深度图像；由于透视问题，较大的深度阈值会将几何体的侧面也错误的包含进来，所以采用多层深度图像进行处理，即每层深度图像基于物块的上平面相对于桌面的高度进行分割及二值化处理，从而获得多幅包含不同高度物块的深度图像。

(5)通过二值化的深度图像，基于Canny算子进行边缘检测从而提取出一系列轮廓，之后通过所在图像层次，轮廓面积、Hu不变矩特征、边长比例等参数对轮廓进行判断，从而获得识别出对应的目标几何体，及几何体的立/卧状态。

(6)在确认目标轮廓后，通过Hu不变矩计算出目标中心的二维坐标，如公式(5)所示：f(x，y)的p+q阶原点矩可以表示为：

其中，m_pq为f(x，y)的p+q阶原点矩；x^p为x的p次方；y^q为y的q次方；f(x，y)为点(x，y)对应的灰度像素值；0阶矩m₀₀代表目标区域的质量，1阶矩m₀₁，m₁₀代表目标区域的质心，因而可以求得目标区域的质心坐标：

读取中心坐标对应的深度值获取目标物体的三维坐标，并提取轮廓中心线求取其水平倾角，通过内外参变换将其转换到世界坐标系下，从而获得目标几何物体在世界坐标系下的位置与姿态。求解方式如下：

规定目标物体在视觉系统的世界坐标系中的三维空间坐标为(X，Y，Z)，在图像坐标系中的图像物理坐标系为(x，y)，图像像素坐标系(u，v)，通过公式(7)计算得到：

其中，d_x表示每个像素在x轴上的物理尺寸，d_y代表每个像素在_y轴上的物理尺寸，因而可以获得从图像物理坐标系转换到图像像素坐标系的坐标系变换的矩阵形式，通过以下公式进行描述：

此外根据相机成像原理可以得到：

其中，f代表摄像机焦距，可以通过摄像机内参获得，基于以上公式可以获得图像像素坐标与视觉系统的世界坐标系坐标转换的矩阵形式：

其中，Z代表目标物体距离相机的距离，可以通过深度相机获得此信息，最终获得目标物体的三维坐标为(X，Y，Z)。之后，提取轮廓中心线求取其水平倾角ω，因为像素坐标系与视觉系统的世界坐标系z轴平行，因此可将此角度直接转换到世界坐标系下，即：

r_x＝θ，r_z＝ω (11)

其中，r_x，r_y，r_z为欧拉角表示方法中坐标系绕x，y，z轴的旋转角度。θ与

因两坐标系的x-y平面平行的原因所以等于0。综上即可获得目标物的三维坐标和姿态信息，可以用于后续的机器人抓取操作。

进一步的，所述步骤(2)中可以通过视觉传感器输出的深度信息值进行进一步校准，尽可能保证传感器光轴垂直于检测工作台。

进一步的，所述步骤(5)中可以通过模板匹配、计算最小外接矩形、计算外接圆、计算角点等方式对目标轮廓进行进一步的区分。对于相对桌面高度较小的物体，若出现深度信息不明显的情况，则通过彩色二值化图像结合深度信息进行物体的判断分类。

进一步的，所述步骤(6)中轮廓中心线可以通过距离变换的方法实现，也可以通过拟合最小外接矩形求中轴线的方法实现。

本发明的有益效果为：本发明对无纹理几何体的识别效果强，对不同光线环境的抗干扰能力强；识别物体的原理简单，计算量小，能满足实时识别的需要。

附图说明

图1是目标识别与定位的流程图。

具体实施方式

下面结合附图和实例对本发明作进一步说明。

本发明是基于基于多层深度与彩色视觉信息的一种几何体目标定位方法，包括以下步骤：

(1)校正彩色相机、深度相机的内参、畸变系数以及深度相机与彩色相机两相机图像的转换矩阵关系。从而将两像素坐标系——相机坐标系——世界坐标系建立起相互之间的联系，为后续的定位做好准备。两内参矩阵及变换矩阵通过式(1)(2)进行描述，

(2)相机平行于检测工作台进行布置，工作台桌面距离视觉传感器的距离应该控制在深度视觉测量范围内切确保识别区域不被遮挡，通过深度与彩色相机同时获得桌面的彩色与深度图像信息并存储起来，用于后续的背景相减法的操作。

(3)将待检测无纹理几何体目标放置于平整的检测工作台上，水平拍摄物体，识别区域不可以超出深度相机、彩色相机的有效识别区域，并开始进行检测，整体流程框图如图1所示。

(4)根据颜色的直观图特性在HSV颜色空间中对彩色图像进行预处理。包括以下子步骤：

(a)图像颜色空间处理，将RGB色彩空间图像转换为HSV色彩空间中，HSV是一种最常见的圆柱坐标表示的颜色模型，它重新映射了RGB模型，从而能够视觉上比RGB模型更具有视觉直观性，有利于消除光照等因素的影响。

(b)图像阈值分割，确定目标物体的颜色在HSV色彩空间中的色调、饱和度、亮度范围，并根据此进行初步的图像分割，对目标物体进行和背景进行二值化处理。

(c)对(b)中获取的二值化图像应用高斯模糊去除噪声，降低伪边缘的识别。

(d)形态学处理，针对(c)中处理后的二值化图像进行开操作、闭操作，即图像的膨胀、腐蚀，用来消除小且无意义的噪点并填补图像中的小空洞。降低后续操作的运算量。

(5)通过背景相减法消除深度图像的背景，并进行二值化等一系列操作，从而通过深度图像将物体分割出来，包括以下步骤：

(a)背景相减法，通过当前深度图像与摆放物块前的空白工作台桌面进行差值，去除背景影响，并消除一部分由深度传感器的误差带来的影响。将深度图像转为CV16UC1灰度图像格式表示，像素值代表深度。

(b)深度图像阈值分割，由于透视问题，较大范围的深度阈值会将几何体的侧面也错误的包含进来，所以采用多层深度图像进行处理，即每层深度图像基于物块的上平面相对于桌面的高度范围进行分割及二值化处理，从而获得多幅包含不同高度物块的深度图像。

(c)对(b)中获取的二值化图像应用高斯模糊去除噪声，降低伪边缘的识别。

(d)形态学处理，针对(c)中处理后的二值化图像进行开操作、闭操作，即图像的膨胀、腐蚀，用来消除小且无意义的噪点并填补图像中的小空洞。降低后续操作的运算量。

(6)通过二值化的深度图像，基于Canny算子进行边缘检测从而提取出一系列轮廓，之后通过所在图像层次，轮廓面积、Hu不变矩特征、边长比例等参数对轮廓进行判断，从而获得识别出对应的目标几何体，及几何体的立/卧状态。

(7)在确认目标轮廓后，通过Hu不变矩计算目标几何体的中心坐标和旋转角度并转换到视觉系统的世界坐标系下。如公式(5)所示：f(x，y)的p+q阶原点矩可以表示为：

其中0阶矩m₀₀代表目标区域的质量，1阶矩m₀₁，m₁₀代表目标区域的质心，因而可以求得目标区域的质心坐标

该坐标是在图像像素坐标系下的，所以需要通过一系列变换将其转为视觉系统的世界坐标系下，求解方式如下：

规定目标物体在视觉系统的世界坐标系中的三维空间坐标为(X，Y，Z)，在图像坐标系中的图像物理坐标系为(x，y)，图像像素坐标系(u，v)，通过公式(7)计算得到：

其中，d_x表示每个像素在x轴上的物理尺寸，d_y代表每个像素在y轴上的物理尺寸，因而可以获得从图像物理坐标系转换到图像像素坐标系的坐标系变换的矩阵形式，通过以下公式进行描述：

此外根据相机成像原理可以得到：

其中f代表摄像机焦距，可以通过摄像机内参获得，基于以上公式可以获得图像像素坐标与视觉系统的世界坐标系坐标转换的矩阵形式：

其中，Z代表目标物体距离相机的距离，可以通过深度相机获得此信息，这样，我们最终获得目标物体的三维坐标为(X，Y，Z)

之后，并提取轮廓中心线求取其水平倾角ω，因为像素坐标系与视觉系统的世界坐标系z轴平行，因此可将此角度直接转换到世界坐标系下，即

r_x＝θ，

r_z＝ω (11)

其中，r_x，r_y，r_z为欧拉角表示方法中坐标系绕x，y，z轴的旋转角度。θ与

因两坐标系的x-y平面平行的原因所以等于0。

如上，即可获得目标物的三维坐标和姿态信息，可以用于后续的机器人抓取操作。将坐标点可视化输出。

Claims (4)

1.一种基于多层深度与彩色视觉信息的几何体目标定位方法，其特征在于，包括以下步骤：

(1)校正彩色相机、深度相机的内参、畸变系数并确定深度相机与彩色相机两相机图像的转换矩阵关系；两内参矩阵及变换矩阵通过公式(1)、(2)进行描述：

内参矩阵：

其中，f_x为x轴方向相机焦距；f_y为y轴方向相机焦距；c_x为相机光轴在图像坐标系中沿x轴方向的偏移量；c_y为相机光轴在图像坐标系中沿y轴方向的偏移量；

两相机坐标系变换矩阵：

其中，R为正交旋转矩阵：

其中，r_ij为旋转变量，i为1或2或3，j为1或2或3；T为平移矩阵：T＝[t_x t_y t_z]^T (4)，其中，t_x为相机在x轴方向的平移；t_y为相机在y轴方向的平移；t_z为相机在z轴方向的平移；

(2)相机平行于检测工作台进行布置，将待检测无纹理几何体目标放置于检测工作台上，水平拍摄物体，通过深度相机获得目标物体的彩色和深度图像信息，并存储起来；

(3)在HSV颜色空间中对彩色图像进行预处理，利用目标物体的颜色特征根据其在饱和度区间和色调区间的阈值来分割图像，并进行后处理，获得二值化目标图像；

(4)通过背景相减法消除深度图像的背景，获得物体的深度图像；采用多层深度图像进行处理，即每层深度图像基于物块的上平面相对于桌面的高度进行分割及二值化处理，获得多幅包含不同高度物块的深度图像；

(5)通过二值化的深度图像，基于Canny算子进行边缘检测从而提取出一系列轮廓，再对轮廓进行判断，通过参数筛选识别目标几何体；

(6)在确认目标轮廓后，通过Hu不变矩计算目标几何体的中心坐标和旋转角度并转换到视觉系统的世界坐标系下；具体为：

通过Hu不变矩计算目标中心的二维坐标，如公式(5)所示：f(x，y)的p+q阶原点矩表示为：

其中，m_pq为f(x，y)的p+q阶原点矩；x^p为x的p次方；y^q为y的q次方；f(x,y)为点(x，y)对应的灰度像素值；0阶矩m₀₀代表目标区域的质量，1阶矩m₀₁，m₁₀代表目标区域的质心，求得目标区域的质心坐标：

读取中心坐标对应的深度值获取目标物体的三维坐标，并提取轮廓中心线求取其水平倾角，通过内外参变换将其转换到世界坐标系下，获得目标几何物体在世界坐标系下的位置与姿态。

2.根据权利要求1所述的一种基于多层深度与彩色视觉信息的几何体目标定位方法，其特征在于，所述的步骤(6)中求解方式如下：

规定目标物体在视觉系统的世界坐标系中的三维空间坐标为(X,Y,Z),在图像坐标系中的图像物理坐标系为(x,y)，图像像素坐标系(u,v)，通过公式(7)计算得到：

其中，d_x表示每个像素在x轴上的物理尺寸，d_y代表每个像素在y轴上的物理尺寸，因而可以获得从图像物理坐标系转换到图像像素坐标系的坐标系变换的矩阵形式，通过以下公式进行描述：

此外根据相机成像原理可以得到：

其中，f代表摄像机焦距，可以通过摄像机内参获得,基于以上公式可以获得图像像素坐标与视觉系统的世界坐标系坐标转换的矩阵形式：

其中，Z代表目标物体距离相机的距离，可以通过深度相机获得此信息，最终获得目标物体的三维坐标为(X,Y,Z)；之后，提取轮廓中心线求取其水平倾角ω，因为像素坐标系与视觉系统的世界坐标系z轴平行，因此可将此角度直接转换到世界坐标系下，即：

其中，r_x，r_y，r_z为欧拉角表示方法中坐标系绕x,y,z轴的旋转角度；θ与因两坐标系的x-y平面平行的原因所以等于0；综上即可获得目标物的三维坐标和姿态信息，可以用于后续的机器人抓取操作。

3.根据权利要求1所述的一种基于多层深度与彩色视觉信息的几何体目标定位方法，其特征在于，所述步骤(2)中可以通过视觉传感器输出的深度信息值进行进一步校准，保证传感器光轴垂直于检测工作台。

4.根据权利要求1或2所述的一种基于多层深度与彩色视觉信息的几何体目标定位方法，其特征在于，所述步骤(6)中轮廓中心线可以通过距离变换的方法实现，也可以通过拟合最小外接矩形求中轴线的方法实现。

Images