CN106897719B - 基于Kinect的典型零部件识别与定位方法 - Google Patents

Abstract

本发明涉及基于Kinect的典型零部件识别与定位方法，首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。本发明不仅能对典型零部件进行识别，还能确定零部件所在的空间位置。

Description

基于Kinect的典型零部件识别与定位方法

技术领域：

本发明涉及一种对典型零部件的识别与定位方法，尤其涉及一种基于Kinect的典型零部件识别与定位方法。

背景技术：

近年来，机器视觉以其非接触式、较宽的光谱响应范围、定位、测量和缺陷检测的优势，在军事、农作物质量检测、人脸识别、指纹识别、发票号码识别、医学图像检测得到了广泛的应用。

在自动化拆卸中，机器视觉是自动获取零部件的特征信息和特征参数的一种较为可行的技术方法。对一些高要求、高负荷的重复性和智能性的工作，比如细微缺陷检测、零部件测量，人眼很难持续、稳定的完成，机器视觉可以高效、高质量的完成检测任务。

在机器视觉中，图像采集设备大多制造工艺复杂，精确度高，价格昂贵。以Bumblebee2为例，该相机价格昂贵、体积大。但是，微软Kinect相机的出现，因其简单、价廉、方便，在三维重构、物体跟踪和姿态识别等领域被广泛应用。

目前Kinect在零部件识别方面尚未有公开发表的文献。基于以上背景，本发明深入研究了基于Kinect的零部件识别与定位方法，拓宽了Kinect的应用领域。

发明内容：

发明目的：

为了解决现有零部件识别中多采用图像识别的方法进行识别，很难直接确定零部件所在的空间位置的问题，本发明提供了一种基于Kinect的典型零部件识别与定位方法，使用Kinect设备能够提供目标的深度图像和彩色图像，在对零部件识别的过程中确定零部件所在的空间位置。

技术方案：

本发明是通过以下技术方案来实现的：

基于Kinect的典型零部件识别与定位方法，其特征在于：首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。

采用Kinect传感器对零部件进行识别与定位，具体步骤为：

(1)对图像进行矫正：Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，彩色图像里的人物偏小，所以利用仿射变换对彩色图像进行矫正，使彩色图像里的目标与深度图像里的目标重合；

(2)零部件的图像识别：利用Kinect提取零部件的彩色图像，对彩色图像利用仿射变换矩阵进行仿射变换，然后将彩色图像转换为灰度图像，利用相关系数法对彩色图像进行模板匹配识别；相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性，其中：

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值；

(3)零部件位姿计算：通过彩色图像提取出典型零部件中心点坐标，图像经过变换，彩色图像与深度图像重合，从深度图像里提取点的深度值，然后利用Kinect SDK工具包将零部件的中心点的二维图像坐标转换为相对于Kinect的三维坐标，从而对零部件定位。

优点及效果：

整个识别过程中的设备，包括Kinect传感器和笔记本电脑，成本低。

整个识别过程都是由设备自动完成，零部件识别与定位快速、精确。

利用Kinect不仅可以对零部件进行识别，还可以确定零部件所在的空间位置。

附图说明：

图1为Kinect图像，其中图1(a)为深度图像，图1(b)为彩色图像。

图2为扫描黑色木板示意图。

图3为Kinect图像示意图，其中图3(a)为深度图像，图3(b)为彩色图像。

图4为仿射变换后对比示意图，其中图4(a)为深度图像，图4(b)为仿射变换后彩色图像。

图5为仿射变换图，其中图5(a)为彩色图像，图5(b)为仿射变换后图像。

图6为灰度图像。

图7为图像匹配示意图，其中图7(a)为搜索图S匹配示意图，图7(b)为模板T匹配示意图。

图8为定位示意图。

具体实施方式：

本发明涉及一种基于Kinect的典型零部件识别与定位方法，是一种方便、有效地零部件识别与定位方法。首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。

采用Kinect传感器对零部件进行识别与定位，具体步骤为：

(1)对图像进行矫正：Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，彩色图像里的人物偏小，所以利用仿射变换对彩色图像进行矫正，使彩色图像里的目标与深度图像里的目标重合；

(2)零部件的图像识别：利用Kinect提取零部件的彩色图像，对彩色图像利用仿射变换矩阵进行仿射变换，然后将彩色图像转换为灰度图像，利用相关系数法对彩色图像进行模板匹配识别；相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性，其中：

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值；

(3)零部件位姿计算：通过彩色图像提取出典型零部件中心点坐标，图像经过变换，彩色图像与深度图像重合，从深度图像里提取点的深度值，然后利用Kinect SDK工具包将零部件的中心点的二维图像坐标转换为相对于Kinect的三维坐标，从而对零部件定位。

下面结合附图和实施例对本发明做进一步的说明：

零部件识别与定位，如图1所示，彩色图像比深度图像包含更多的图像细节，能满足识别一些结构复杂的零部件需求。但是彩色图像里提取的只是图像中的坐标信息，而利用深度图像能提取零部件的三维空间信息，达到对零部件的识别与定位要求。基于以上特性，可以同时利用深度图像与彩色图像对零部件进行识别，并确定零部件所在的三维空间位置，具体步骤如下：

(1)图像矫正，Kinect设备所获取的深度图像与彩色图像里目标的大小不一致，深度图像里的目标偏大，如图1所示。本文提出了基于仿射变换的图像校正方法。通过图像校正，彩色图像与深度图像重合，对重合后的彩色图像进行识别，并实现对零部件的定位。

以一块规则的正方形黑色木板平面作为目标，利用Kinect对其进行扫描，获取深度图像与彩色图像，图2给出了Kinect扫描黑色木板示意图，图3给出了获取的深度图像与彩色图像。

如图3所示，提取深度图像内黑色部分A，B，C三个角的二维坐标(x_a,y_a)，(x_b,y_b)，(x_c,y_c)。提取彩色图像内黑色部分A，B，C三个角的坐标(x'_a,y'_a)，(x'_b,y'_b)，(x'_c,y'_c)，将三对点的坐标代入矩阵(1)中。

联立六个方程解六个未知数，得到一个2x3的仿射变换矩阵R。

其中：

利用仿射变换矩阵R对彩色图像进行仿射变换，图4给出了变换后对比示意图。

如图5所示，校正后彩色图像中A，B，C与深度图像中A，B，C位置重合

(2)零部件的图像识别：图像校正后，彩色图像与深度图像重合，对重合后的彩色图像进行识别，方便了后续处理中零部件的定位。以六角螺母为例，利用Kinect提取零部件的彩色图像，根据仿射变换矩阵对彩色图像进行仿射变换，图5给出仿射变换前后对比图。

如图5所示，仿射变换后，彩色图像中的六角螺母图与深度图像一致。图像完成仿射变换后，将彩色图像转换为灰度图像，如图6所示。

对于图6所示的灰度图像，利用相关系数匹配法进行识别。相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性。图7给出了图像匹配示意图，其中：

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值。

如图7所示，搜索图S是480x640的图像，用m×n的模板图像T来匹配。用这种方法是为了找到一种测度，使模板与在搜索图中查找的图像是否为最佳匹配。相关系数法是一种比较好的方法来表示匹配测度，匹配后，根据相似度的大小来识别图像里的零部件。

(3)零部件位姿计算：典型零部件的位姿是在空间坐标系下的坐标，即世界坐标，而上一节由匹配算法得到的只是在图像中的坐标，难以定位。若想得到典型零部件的空间位姿，可以利用彩色图像与深度图像的对应关系求取，图8给出了零部件定位示意图。

如图8所示，通过彩色图像提取出典型零部件中心点P坐标(u,v)，图像经过变换，彩色图像与深度图像重合，从深度图像里提取P点的深度值D，然后利用Kinect SDK工具包将零部件的中心点P的二维图像坐标转换为相对于Kinect的三维坐标(x_p,y_p,z_p)，从而对零部件起定位的效果。

Claims (1)

1.基于Kinect的典型零部件识别与定位方法，其特征在于：首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位；

采用Kinect传感器对零部件进行识别与定位，具体步骤为：

(1)对图像进行矫正：Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，彩色图像里的人物偏小，所以利用仿射变换对彩色图像进行矫正，使彩色图像里的目标与深度图像里的目标重合；

(2)零部件的图像识别：利用Kinect提取零部件的彩色图像，对彩色图像利用仿射变换矩阵进行仿射变换，然后将彩色图像转换为灰度图像，利用相关系数法对彩色图像进行模板匹配识别；相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性，其中：

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值；

(3)零部件位姿计算：通过彩色图像提取出典型零部件中心点坐标，图像经过变换，彩色图像与深度图像重合，从深度图像里提取点的深度值，然后利用Kinect SDK工具包将零部件的中心点的二维图像坐标转换为相对于Kinect的三维坐标，从而对零部件定位。