CN106813569B - 一种基于线结构光的汽车轮胎三维定位方法 - Google Patents

Abstract

本发明面向工业机器人搬运轮胎应用中的目标定位问题，提出了一种基于线结构光的汽车轮胎三维定位方法：设计了一种十字形图案结构光；利用CCD相机采集有结构光的轮胎图像和无结构光的轮胎图像，进而得到只有结构光的图像；对结构光图像进行滤波，抑制图像中的噪声；对滤波后的图像进行边缘检测，提取结构光边缘；对边缘图像进行多次膨胀、腐蚀操作，平滑轮廓；在膨胀、腐蚀后的图像中提取水平、垂直结构光曲线段；确定胎冠上的结构光曲线段，进而得到胎冠内圆4个点的图像坐标；将4个点的图像坐标转换为三维空间坐标，并利用几何关系计算轮胎中心的三维坐标。本发明可以实现轮胎三维坐标的在线、实时、自动、非接触测量，测量速度快、系统柔性好、精度适中。

Description

一种基于线结构光的汽车轮胎三维定位方法

技术领域

本发明属于计算机视觉领域，具体的说涉及一种基于线结构光的汽车轮胎三维定位方法。

背景技术

随着我国经济建设的快速发展，汽车制造业也上了一个新的台阶，各种高、中、低档汽车的产量不断增加，利用机器人代替人工实现轮胎的自动搬运，不仅节约生产成本，提高生产效率，同时提高安全系数，降低工人劳动强度，成为越来越多公司的理想选择。

为了实现机器人自动搬运轮胎，需要测量轮胎的位置，然后传递给机器人，引导机械手进行抓取。而结构光测量方法因设备简单、实时性强而受到高度重视，尤其在对测量设备的体积、重量、功耗要求严格的应用场合，结构光测量更体现了其优势。

结构光测量方法是一种主动式光学测量技术，其基本原理是通过结构光投射器向被测物体表面投射可控制光点、光条或光面结构，并由图像传感器(例如摄像机)获得图像，然后通过系统几何关系，利用三角原理计算得到物体的三维坐标。根据结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，结构光可分为点结构光、线结构光和面结构光。由于点结构光测量方法需要逐点扫描物体进行测量，随着被测物体的增大，图像摄取和图像处理时间会急剧增加，难以实现实时测量；而面结构光得到三维坐标点数据量很大，计算量也会随之增加，因此，线结构光在工程上的应用更为普遍。

由于生产环境恶劣，受噪声污染严重，且轮胎型号各不相同，一般的测量方法的精度很难达到实际要求。

发明内容

为解决生产环境内噪声污染严重，轮胎型号不尽相同等情况对测量精度的影响，本发明提供一种测量速度快，精度高，鲁棒性强，实时、自动地实现汽车轮胎三维定位方法。

本发明为实现上述目的所采用的技术方案是：一种基于线结构光的汽车轮胎三维定位方法，用于实现轮胎位置的测量，包括以下步骤：

利用CCD相机采集有结构光的轮胎图像和无结构光的轮胎图像，进而得到只有结构光的图像；

对结构光图像进行滤波，抑制图像中的噪声；

对滤波后的图像进行边缘检测，提取结构光边缘；

对边缘图像进行多次膨胀、腐蚀操作，得到平滑轮廓的图像；

在膨胀、腐蚀后的图像中提取水平、垂直结构光曲线段；

确定胎冠上的结构光曲线段，进而得到胎冠内圆4个点的图像坐标；

将4个点的图像坐标转换为三维空间坐标，并利用几何关系计算轮胎中心的三维坐标。

所述结构光是两条相互垂直的线结构光。

所述对结构光图像进行滤波，抑制图像中的噪声，采用高斯滤波方法，具体为：将图像中的每一像素点与高斯内核卷积，将卷积和作为该点的灰度值；对于离散的(2k+1)×(2k+1)维高斯内核矩阵H，其元素计算公式为：

其中，i、j为图像的坐标位置，σ为方差，k为预设常数。

所述对滤波后的图像进行边缘检测，提取结构光边缘，利用canny算子进行结构光边缘提取，包括以下步骤：用一阶偏导的有限差分计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。

所述对边缘图像进行膨胀，用于填补物体中小的空洞和狭窄的缝隙，使物体的尺寸增大，具体为：采用向量加法对两个集合进行合并：

其中，X表示图像，B表示膨胀结构单元，x为X中的元素，b为B中的元素，p为x膨胀后的元素。

所述腐蚀用于简化物体的结构，具体为：对集合元素采用向量减法，将两个集合合并：

其中，X表示图像，B表示腐蚀结构单元，x为X中的元素，b为B中的元素，p为x腐蚀后的元素。

所述膨胀为两次膨胀，所述腐蚀为两次腐蚀。

所述在膨胀、腐蚀后的图像中提取水平、垂直结构光曲线段，具体为：首先确定结构光曲线段的起点，然后判断结构光成像的连续性，确定结构光曲线段的终点。

所述确定结构光曲线段的起点，具体为：

如果图像中(x,y)位置处灰度值满足以下条件：

f(x,y)＝255 (5)

且该位置处截线段长度T满足以下不等式：

T＜TransversalMax (6)

则(x,y)位置即为结构光曲线段的起点；其中，TransversalMax是预设常数；

水平结构光曲线段起点处截线段应满足：

f(x,y')＝255 y'＝j₁,j₁+1,...,j₂且j₂-j₁＝T (7)

垂直结构光曲线段起点处截线段应满足：

f(x',y)＝255 x'＝i₁,i₁+1,...,i₂且i₂-i₁＝T (8)

其中，f(x,y)为图像(x,y)处的灰度值，j₁、j₂为图像纵坐标值，i₁、i₂为图像横坐标值，T为(x,y)处的截线段长度。

所述判断结构光成像的连续性，包括以下步骤：

设A、B两点分别是两条曲线段的终点和起点，坐标分别是(x_A,y_A)、(x_B,y_B)，对于水平结构光曲线段，如果满足以下条件：

|x_A-x_B|＜GapMax (9)

或对于垂直结构光曲线段，如果满足以下条件：

|y_A-y_B|＜GapMax (10)

则两条曲线段是同一条曲线段；式中，GapMax是允许的最大中断间隔。

所述确定胎冠上的结构光曲线段，进而得到胎冠内圆4个点的图像坐标，包括以下步骤：

胎冠上的结构光曲线段长度PointNum满足以下条件：

PointNum＞LineLenMin (11)

式中，LineLenNum是预设常数。

设(x₁,y₁)是胎冠左边水平结构光曲线段的终点坐标，(x₂,y₂)是胎冠右边水平结构光曲线段的起点坐标，(x₃,y₃)是胎冠上边垂直结构光曲线段的终点坐标，(x₄,y₄)是胎冠下边垂直结构光曲线段的起点坐标，则应满足以下条件：

x₁＜W/2-ForbidRafius (12)

x₂＜W/2+ForbidRafius (13)

y₃＜H/2-ForbidRafius (14)

y₄＜H/2+ForbidRafius (15)

式中，W是图像的宽度，H是图像的高度，ForbidRafius是预设常数，(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)即为胎冠内圆4个点的图像坐标。

所述将4个点的图像坐标转换为三维空间坐标，包括以下步骤：

考虑摄像头一阶径向畸变，畸变图像坐标为(x_d,y_d)，理想图像坐标为(x_u,y_u)，则

x_u＝x_d(1+k₁r²) (16)

y_u＝y_d(1+k₁r²) (17)

式中，k₁为径向畸变系数，

三维摄像机坐标(x_c,y_c,z_c)到理想图像坐标(x_u,y_u)的转换为：

式中，f为摄像机的有效焦距，ρ为比例常数；

世界坐标(x_w,y_w,z_w)到摄像机坐标(x_c,y_c,z_c)的转换为：

式中，R是3×3的旋转矩阵，由坐标旋转角α、β、γ决定，T是平移矢量，R和T分别决定了摄像机的方向和位置。

所述利用几何关系计算轮胎中心的三维坐标，具体为：已知胎冠内圆4个点的空间坐标，则水平方向上两点的垂直中分线与垂直方向上两点的垂直中分线的交点即为轮胎中心的三维坐标。

本发明具有以下优点及有益效果：

1.采用结构光测量传感器、CCD相机和PC机实现汽车轮胎的三维定位，具有设备简单、测量精度高、实时性强的特点。

2.虽然结构光测量数据受噪声污染严重，但仍旧能够准确地确定胎冠内圆的4个点坐标，具有良好的抗干扰性能。

3.对汽车轮胎自身的约束小，其半径和花纹可以随意变化。

附图说明

图1为本发明的整体流程图；

图2为汽车车轮定位视觉检测系统示意图；

图3为视觉传感器坐标系示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明的一种基于线结构光的汽车轮胎三维定位方法，如图2所示为汽车车轮定位视觉检测系统示意图，其中两个激光器与摄像机处于同一水平面，并满足摄像机在原点位置，两个激光器分别在x、y轴方向，与摄像机之间的距离都是350mm，轮胎位于与摄像机平面平行且与其距离750mm的位置。利用CCD相机采集有无线结构光的两幅轮胎图像，进而得到只有结构光的图像，并对其进行滤波、边缘检测、形态学膨胀、腐蚀，最后提取水平、垂直结构光曲线段，并确定胎冠上的结构光曲线段，得到胎冠内圆4个点的空间坐标，计算轮胎中心的三维坐标，如图1所示。

1.测量系统的标定

定义图像坐标系为O_u，摄像机坐标系为O_c，建立O_c到O_u之间的变换关系，即摄像机的内参数矩阵；定义世界坐标系为O_w，建立O_w到O_c之间的变换关系，即摄像机的外参数矩阵，这里，世界坐标系O_w、摄像机坐标系O_c重合，如图3所示。这里在摄像机内参数矩阵标定过程中，只考虑摄像机镜头的径向畸变。

2.图像采集

利用CCD相机采集轮胎图像；设计了一种十字形图案结构光，并将其打在轮胎表面，采集有结构光的轮胎图像。

3.图像处理

图像处理的目的是利用十字形图案结构光找到胎冠内圆4个点的图像坐标。

图像处理主要包括如下几个步骤：

1)高斯滤波；

高斯滤波是一种最常用的线性平滑滤波方法，主要用于滤除高斯白噪声。一般来说，对图像进行高斯滤波就是将图像中的每一像素点与高斯内核卷积，将卷积和作为该点的灰度值。对于离散的(2k+1)×(2k+1)维离散的高斯内核矩阵H，其元素计算公式为：

其中，σ为方差，k为常数，可以根据对图像数据进行分析，并通过大量实际情况下的实验进行验证，使得噪声基本被滤除。

2)canny边缘检测；

利用canny算子进行结构光边缘提取，包括以下步骤：用一阶偏导的有限差分计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。这里双阈值可以根据对图像数据进行分析，并通过大量实验进行验证得到。

3)形态学滤波；

对图像进行多次二值膨胀和腐蚀，用来连接临近的物体，填补小空洞，填平窄缝隙，使得物体边缘更平滑。膨胀采用向量加法对两个几何进行合并：

膨胀用来填补物体中小的空洞和狭窄的缝隙，使物体的尺寸增大；腐蚀对集合元素采用向量减法，将两个集合合并：

腐蚀可以用来简化物体的结构。本文选择进行两次膨胀、两次腐蚀，且膨胀、腐蚀的结构单元B均为：

4)提取水平、垂直结构光曲线段；

如果图像中(x,y)位置处灰度值满足以下条件：

f(x,y)＝255 (5)

且该位置处截线段长度T满足以下不等式：

T＜TransversalMax (6)

则(x,y)位置即为结构光曲线段的起点。其中，TransversalMax是常数，可以通过计算图像中结构光的宽度得到；水平结构光曲线段起点处截线段应该满足：

f(x,y')＝255 y'＝j₁,j₁+1,...,j₂且j₂-j₁＝T (7)

垂直结构光曲线段起点处截线段应满足：

f(x',y)＝255 x'＝i₁,i₁+1,...,i₂且i₂-i₁＝T (8)

结构光曲线段上除起点外的其它点的确定方式与起点的确定方式相同。

结构光曲线段允许中断，设A、B两点分别是两条曲线段的终点和起点，坐标分别是(x_A,y_A)、(x_B,y_B)，对于水平结构光曲线段，如果满足以下条件：

|x_A-x_B|＜GapMax (9)

或对于垂直结构光曲线段，如果满足以下条件：

|y_A-y_B|＜GapMax (10)

则两条曲线段是同一条曲线段。式中，GapMax是允许的最大中断间隔，可以根据属于同一段曲线段的两个小曲线段之间的间距确定得到。

5)确定胎冠上的结构光曲线段；

胎冠上的结构光曲线段长度PointNum应该满足以下条件：

PointNum＞LineLenMin (11)

式中，LineLenNum是常数，可以根据对图像数据进行分析，确定胎冠上的结构光曲线段基本应该满足的长度要求而得到。

设(x₁,y₁)是胎冠左边水平结构光曲线段的终点坐标，(x₂,y₂)是胎冠右边水平结构光曲线段的起点坐标，(x₃,y₃)是胎冠上边垂直结构光曲线段的终点坐标，(x₄,y₄)是胎冠下边垂直结构光曲线段的起点坐标，则应满足以下条件：

x₁＜W/2-ForbidRafius (12)

x₂＜W/2+ForbidRafius (13)

y₃＜H/2-ForbidRafius (14)

y₄＜H/2+ForbidRafius (15)

式中，W是图像的宽度，H是图像的高度，ForbidRafius是常数，可以通过分析图像中轮胎的位置信息来确定。注意到(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)即为胎冠内圆4个点的图像坐标。

4.计算轮胎中心三维坐标

根据图像坐标系与摄像机坐标系、世界坐标系之间的变换变换关系，将胎冠内圆4个点的图像坐标转换为空间坐标，那么水平方向上两点的垂直中分线与垂直方向上两点的垂直中分线的交点即为轮胎中心的三维坐标。

Claims (11)

1.一种基于线结构光的汽车轮胎三维定位方法，用于实现轮胎位置的测量，其特征在于，包括以下步骤：

利用CCD相机采集有结构光的轮胎图像和无结构光的轮胎图像，进而得到只有结构光的图像；

对结构光图像进行滤波，抑制图像中的噪声；

对滤波后的图像进行边缘检测，提取结构光边缘；

对边缘图像进行多次膨胀、腐蚀操作，得到平滑轮廓的图像；

在膨胀、腐蚀后的图像中提取水平、垂直结构光曲线段；

确定胎冠上的结构光曲线段，进而得到胎冠内圆4个点的图像坐标，包括以下步骤：

胎冠上的结构光曲线段长度PointNum满足以下条件：

Point Num＞LineLenMin (11)

式中，LineLenNum是预设常数；

设(x₁,y₁)是胎冠左边水平结构光曲线段的终点坐标，(x₂,y₂)是胎冠右边水平结构光曲线段的起点坐标，(x₃,y₃)是胎冠上边垂直结构光曲线段的终点坐标，(x₄,y₄)是胎冠下边垂直结构光曲线段的起点坐标，则应满足以下条件：

x₁＜W/2-ForbidRafius (12)

x₂＜W/2+ForbidRafius (13)

y₃＜H/2-ForbidRafius (14)

y₄＜H/2+ForbidRafius (15)

式中，W是图像的宽度，H是图像的高度，ForbidRafius是预设常数，(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)即为胎冠内圆4个点的图像坐标；

将4个点的图像坐标转换为三维空间坐标，并利用几何关系计算轮胎中心的三维坐标，包括以下步骤：考虑摄像头一阶径向畸变，畸变图像坐标为(x_d,y_d)，理想图像坐标为(x_u,y_u)，则

x_u＝x_d(1+k₁r²) (16)

y_u＝y_d(1+k₁r²) (17)

式中，k₁为径向畸变系数，

三维摄像机坐标(x_c,y_c,z_c)到理想图像坐标(x_u,y_u)的转换为：

式中，f为摄像机的有效焦距，ρ为比例常数；

世界坐标(x_w,y_w,z_w)到摄像机坐标(x_c,y_c,z_c)的转换为：

式中，R是3×3的旋转矩阵，由坐标旋转角α、β、γ决定，T是平移矢量，R和T分别决定了摄像机的方向和位置。

2.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述结构光是两条相互垂直的线结构光。

3.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述对结构光图像进行滤波，抑制图像中的噪声，采用高斯滤波方法，具体为：将图像中的每一像素点与高斯内核卷积，将卷积和作为该点的灰度值；对于离散的(2k+1)×(2k+1)维高斯内核矩阵H，其元素计算公式为：

其中，i、j为图像的坐标位置，σ为方差，k为预设常数。

4.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述对滤波后的图像进行边缘检测，提取结构光边缘，利用canny算子进行结构光边缘提取，包括以下步骤：用一阶偏导的有限差分计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。

5.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述对边缘图像进行膨胀，用于填补物体中小的空洞和狭窄的缝隙，使物体的尺寸增大，具体为：采用向量加法对两个集合进行合并：

其中，X表示图像，B表示膨胀结构单元，x为X中的元素，b为B中的元素，p为x膨胀后的元素

6.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述腐蚀用于简化物体的结构，具体为：对集合元素采用向量减法，将两个集合合并：

其中，X表示图像，B表示腐蚀结构单元，x为X中的元素，b为B中的元素，p为x腐蚀后的元素

7.根据权利要求5或6所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述膨胀为两次膨胀，所述腐蚀为两次腐蚀。

8.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述在膨胀、腐蚀后的图像中提取水平、垂直结构光曲线段，具体为：首先确定结构光曲线段的起点，然后判断结构光成像的连续性，确定结构光曲线段的终点。

9.根据权利要求8所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述确定结构光曲线段的起点，具体为：

如果图像中(x,y)位置处灰度值满足以下条件：

f(x,y)＝255 (5)

且该位置处截线段长度T满足以下不等式：

T＜TransversalMax (6)

则(x,y)位置即为结构光曲线段的起点；其中，TransversalMax是预设常数；

水平结构光曲线段起点处截线段应满足：

f(x,y')＝255 y'＝j₁,j₁+1,...,j₂且j₂-j₁＝T (7)

垂直结构光曲线段起点处截线段应满足：

f(x',y)＝255 x'＝i₁,i₁+1,...,i₂且i₂-i₁＝T (8)

其中，f(x,y)为图像(x,y)处的灰度值，j₁、j₂为图像纵坐标值，i₁、i₂为图像横坐标值，T为(x,y)处的截线段长度。

10.根据权利要求8所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述判断结构光成像的连续性，包括以下步骤：

设A、B两点分别是两条曲线段的终点和起点，坐标分别是(x_A,y_A)、(x_B,y_B)，对于水平结构光曲线段，如果满足以下条件：

|x_A-x_B|＜GapMax (9)

或对于垂直结构光曲线段，如果满足以下条件：

|y_A-y_B|＜GapMax (10)

则两条曲线段是同一条曲线段；式中，GapMax是允许的最大中断间隔。

11.根据权利要求1所述的一种基于线结构光的汽车轮胎三维定位方法，其特征在于，所述利用几何关系计算轮胎中心的三维坐标，具体为：已知胎冠内圆4个点的空间坐标，则水平方向上两点的垂直中分线与垂直方向上两点的垂直中分线的交点即为轮胎中心的三维坐标。