CN102128617B - 基于色标块的视觉实时测量方法 - Google Patents

Abstract

本发明是基于色标块的视觉实时测量方法，步骤S1：在机器人的背部上方设有已知尺寸的色标块；步骤S2：以单摄像机采集色标块的色标图像；步骤S3：跟踪色标块的中心点、长边中点和短边中点确定色标块图像区域；步骤S4：对色标图像按照设定的间隔和方向扫描处理获得具有亚像素精度的边缘点；步骤S5：将亚像素精度的色标块边缘点经最小二乘拟合获得四条边缘直线；步骤S6：求四条边缘直线的交点获得四个顶点的图像坐标；步骤S7：计算色标块新的中心点、新的一条长边中点和新的一条短边中点；步骤S8：利用n点透视算法求取机器人位姿；步骤S9：利用正交迭代算法对机器人位姿进行优化，得到机器人的姿态矩阵正交的位姿。

Description

基于色标块的视觉实时测量方法

技术领域

本发明属于机器人领域中的视觉测量，具体地说是用于机器人位姿测量的方法。

背景技术

目前比较常用的视觉测量方法主要包括双目立体视觉和基于n点透视(Perspective-n-Point，PnP)算法的单目视觉。由于双目立体视觉在每次测量时需要对两幅图像进行处理，并且需要进行特征点匹配，所以其实时性较差。单目视觉每次测量仅对一幅图像进行处理，其实时性比双目立体视觉高(徐德，谭民，李原，机器人视觉测量与控制，国防工业出版社，第130页，第140页，2008)。

在采用尺寸已知的矩形色标块作为机器人的标记，特征点的提取即为矩形色标块顶点的提取。目前比较常用的特征角点提取算法为：哈里斯(Harris)角点检测算法、最小核值相似区(Smallest Univalve SegmentAssimilating Nucleus，SUSAN)角点检测法，高斯差分(Difference-of-Gaussian，DoG)算子检测法等。上述算法在实时性较差，在色标块一个顶点被遮挡时，不能检测出该顶点。采用先求矩形色标块四条边缘直线，然后通过直线求交点获得特征角点的方法，可以有效地解决一个顶点被遮挡时的顶点特征提取问题。虽然目前有很多种边缘提取算法，如罗伯特(Robert)边缘算子、坎尼(Canny)边缘算子、索贝尔(Sobel)边缘算子、克瑞斯(Kirsch)边缘算子和普瑞维特(Prewitt)边缘算子等，然而这些边缘提取算法一般是对整幅图像进行处理，实时性不高(Zhang，Yang；Rockett，P.I.“The Bayesian Operating Point ofthe Canny Edge Detector，”IEEE Transactions on Image Processing，Vol.15，No.11，pp.3409-3416，2006)。在获得边缘点后，利用霍夫(Hough)变换提取直线，其实时性也较差。此外，目前的方法是在像素级精度边缘点的基础上得到的直线，求交点得到的特征点精度不高，影响了基于PnP方法视觉测量的精度，且测量结果中的姿态矩阵也不能保证是正交的。

发明内容

为了解决现有技术中利用交点得到的特征点精度不高，影响了基于PnP方法视觉测量的精度，且测量结果中的姿态矩阵也不能保证是正交的技术问题，本发明的目的在于提供用于机器人位姿高精度实时视觉测量、保证测量结果中的姿态矩阵的正交性的一种基于色标块的实时视觉测量方法。

为实现上述目的，本发明提供基于色标块的实时视觉测量方法解决问题的技术方案包括步骤如下：

步骤S1：在机器人的背部上方设有一个已知尺寸的色标块；

步骤S2：以单摄像机采集色标块的色标图像；

步骤S3：跟踪色标块的三点，所述三点是中心点、一条长边中点和一条短边中点，确定色标块图像区域；

步骤S4：对色标图像按照设定的间隔和方向扫描处理，获得具有亚像素精度的边缘点；

步骤S5：将亚像素精度的色标块边缘点经最小二乘拟合，获得四条边缘直线；

步骤S6：求四条边缘直线的交点，获得四个顶点的图像坐标；

步骤S7：计算色标块新的中心点、新的一条长边中点和新的一条短边中点；

步骤S8：利用n点透视算法，求取机器人位姿；

步骤S9：利用正交迭代算法对机器人位姿进行优化，得到机器人的姿态矩阵正交的位姿，循环测量则返回S3，单次测量则结束。

本发明的有益效果：本发明跟踪色标块三点确定色标块的图像区域，在此区域内按照一定间隔扫描出色标块的四组粗略边缘点，拟合出四条边缘直线，解决了边缘直线提取的实时性问题；本发明经过坐标变换，分别以各条边缘为纵坐标轴，按照边缘的横坐标计算业像素边缘点，从而将二维图像平面内的亚像素边缘点求取转换为在一维空间内的亚像素边缘点求取，既保证了亚像素边缘点的精度，又保证了算法的效率；本发明利用亚像素边缘点拟合出精确的边缘直线，求这些直线的交点得到色标块四个顶点的高精度图像坐标，解决了单摄像机视觉测量精度低的问题，解决了色标块一个角被遮挡时不能测量的问题；利用PnP和OI算法计算机器人的位姿，解决了测量结果中姿态矩阵的正交性问题。

本发明在色标块的一个顶点遮挡时仍然能够精确获得机器人的位姿；本发明能够保证机器人位姿中的姿态矩阵的正交性；本发明实时性好，对于640×480像素的图像，能够实现70次/秒测量；本发明测量精度高，在摄像机距离目标3000mm左右时的测量误差小于10mm。因此，本发明可以大幅度提高视觉测量的可用性。

附图说明

图1为单目视觉测量机器人位姿示意图。

图2A为本发明基于色标块的视觉实时测量方法的流程图。

图2B为本发明获得具有亚像素精度的边缘点的流程图。

图3为按照一定间隔和方向快速扫描边缘点示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参阅图1示出单目视觉测量机器人位姿示意图，利用机器人1、色标块2、摄像机3、网络线4和计算机5，本发明利用粘贴到机器人背部上方的色标块作为机器人的标记，针对色标块提出了一种新的图像处理和特征提取方法，以快速获得矩形色标块四个顶点的高精度图像坐标。

如图2A示出本发明基于色标块的视觉实时测量方法的流程图，其步骤包括如下：

步骤S1：在机器人1的背部上方设有一个已知尺寸的色标块2；

步骤S2：以单摄像机3采集色标块2的色标图像；

步骤S3：跟踪色标块2的三点，所述三点是中心点、一条长边中点和一条短边中点，确定色标块2图像区域；

步骤S4：对色标图像按照设定的间隔和方向扫描处理，获得具有亚像素精度的边缘点；

步骤S5：将亚像素精度的色标块2的边缘点经最小二乘拟合，获得四条边缘直线；

步骤S6：求四条边缘直线的交点，获得四个顶点的图像坐标；

步骤S7：计算色标块2新的中心点、新的一条长边中点和新的一条短边中点；

步骤S8：利用n点透视(Perspective-n-Point，PnP)算法，求取机器人1的位姿；

步骤S9：利用正交迭代(Orthogonal Iteration，OI)算法对机器人1的位姿进行优化，得到机器人1的姿态矩阵正交的位姿，循环测量则返回S3，单次测量则结束。

如图2B示出获得具有亚像素精度边缘点的步骤如下：

步骤S41：在步骤S3确定的色标块图像区域内，按照设定间隔和方向快速扫描边缘点，获得对应于色标块四条边缘的四组边缘点；

步骤S42：针对四组边缘点，利用随机采样一致性(RANdom SAmpleConsensus，RANSAC)方法去除偏差较大的噪声点，获得四组有效边缘点；

步骤S43：针对四组有效边缘点，利用最小二乘拟合出四条边缘直线；

步骤S44：针对四条边缘直线分别进行坐标变换，依次使得各条边缘为纵坐标轴；

步骤S45：分别针对为纵坐标轴的各条边缘上的有效边缘点，求取具有亚像素精度的边缘点。

其中，所述亚像素精度的边缘点采用如下公式求取：

$\mathrm{\μ}=\frac{x_2+x_1+{2x}_0}{4}-\frac{{\mathrm{\σ}}^2\ln (I_0/I_1)}{4(x_1-x_0)}-\frac{{\mathrm{\σ}}^2\ln (I_0/I_2)}{4(x_2-x_0)},$

式中，μ为具有亚像素精度的边缘点，x₀为原边缘上一点的横坐标，x₁为原边缘上外侧距离一个像素点的横坐标，x₂为原边缘上外侧距离两个像素点的横坐标，σ为预先统计获得的摄像机成像的近似高斯分布方差，I₀为对应于x₀的原边缘上一点的像素灰度值，I₁为对应于x₁的原边缘外一点的像素灰度值，I₂为对应于x₂的原边缘外一点的像素灰度值。

其中，所述设定间隔的范围设为10至20像素。本实施例中间隔设置为10个像素。

其中，所述色标块是矩形色标块或是四边形色标块。实施例中色标块2选用了红色，但也可以选择其他颜色。

其中，所述摄像机是彩色摄像机或是黑白摄像机。

请参阅图2A和图3。在图像处理中，首先跟踪色标块2中心点0_mm、一条长边中点P_um和一条短边中点P_vm。

$\left\{\begin{array}{c}{P}_{\mathrm{vm}}=(P_{1m}+P_{2m})/2\\ P_{\mathrm{um}}=(P_{2m}+P_{3m})/2\\ O_{\mathrm{mm}}=(P_{1m}+P_{2m}+P_{3m}+P_{4m})/4\end{array}\right.---\left(1\right)$

其中，P_1m、P_2m、P_3m、P_4m是上一次获得的色标块2的四个特征顶点。

根据上一幅色标图像中中心点O_mm、长边中点P_um和短边中点P_vm的图像坐标，向四周扩展一定区域作为当前色标图像中色标块2所在的图像区域。在图像区域内按照10个像素的间隔，分别按照中心点O_mm到长边中点P_um的方向和中心点O_mm到短边中点P_vm的方向，扫描获得对应于色标块2的四条边缘P_1mP_2m、P_2mP_3m、P_3mP_4m、P_4mP_1m上的四组边缘点{EG_1i，i＝1，2，…，N₁}、{EG_2i，i＝1，2，…，N₂}、{EG_3i，i＝1，2，…，N₃}、{EG_4i，i＝1，2，…，N₄}，其中N₁、N₂、N₃和N₄分别是四组边缘点的个数，经过RANSAC去噪后得到四组有效边缘点{EG_1j，j＝1，2，…，N_s1}、{EG_2j，j＝1，2，…，N_s2}、{EG_3j，j＝1，2，…，N_s3}、{EG_4j，j＝1，2，…，N_s4}，其中N_s1、N_s2、N_s3和N_s4分别是四组有效边缘点的个数，利用有效边缘点拟合出四条边缘直线L₁、L₂、L₃、L₄。

根据每条边缘直线L₁、L₂、L₃、L₄方向，分别对四组有效边缘点{EG_1j，j＝1，2，…，N_s1}、{EG_2j，j＝1，2，…，N_s2}、{EG_3j，j＝1，2，…，N_s3}、{EG_4j，j＝1，2，…，N_s4}进行旋转变换，依次使得各条边缘直线作为变换后的纵轴。根据预先统计获得的摄像机3成像的近似高斯分布，沿横轴即垂直于各条边缘的方向，分别求取具有亚像素精度的边缘点。

以边缘直线L₁和有效边缘点{EG_1j＝(u_1j，v_1j)，j＝1，2，…，N_s1}为例，说明亚像素精度的边缘点的求取。按照直线L₁的方向进行旋转变换，使得直线L₁的方向作为变换后的纵轴。经过变换后，有效边缘点EG_1j的图像坐标(u_1j，v_1j)被变换为(x_1j0，y_1j0)。根据变换后有效边缘点EG_1j的图像坐标(x_1j0，y_1j0)以及外侧图像点的坐标，按照下式计算有效边缘点EG_1j变换后的亚像素精度的图像横坐标：

${\mathrm{\μ}}_{1j}=\frac{x_{1j2}+x_{1j1}+{2x}_{1j0}}{4}-\frac{{\mathrm{\σ}}^2\ln (I_{1j0}/I_{1j1})}{4(x_{1j1}-x_{1j0})}-\frac{{\mathrm{\σ}}^2\ln (I_{1j0}/I_{1j2})}{4(x_{1j2}-x_{1j0})}---\left(2\right)$

其中，μ_1j为变换后有效边缘点EG_1j具有亚像素精度的横坐标，σ为预先统计获得的摄像机3成像的近似高斯分布方差，x_1j0为变换后有效边缘点EG_1j的图像横坐标，x_1j1为EG_1j外侧的距离一个像素点的横坐标，x_1j2为EG_1j外侧距离两个像素点的横坐标，I_1j0为对应于x_1j0的边缘点EG_1j的像素灰度值，I_1j1为对应于x_1j1的EG_1j外侧的距离一个像素点的像素灰度值，I_1j2为对应于x_1j2的EG_1j外侧距离两个像素点的像素灰度值。

边缘点EG_1j具有亚像素精度的图像坐标为(μ_1j，y_1j0)，按照直线L₁的方向进行反向旋转变换，得到EG_1j在原图像中具有亚像素精度的图像坐标，记为EG_a1j＝(u_a1j，v_a1j)。利用具有亚像素精度的边缘点{EG_a1j＝(u_a1j，v_a1j)，j＝1，2，…，N_s1}，经过最小二乘拟合得到精确的边缘直线L_a1。同样地，利用边缘直线L₂、L₃、L₄和有效边缘点{EG_2j，j＝1，2，…，N_s2}、{EG_3j，j＝1，2，…，N_s3}、{EG_4j，j＝1，2，…，N_s4}，可以得到具有亚像素精度的边缘点{EG_a2j＝(u_a2j，v_a2j)，j＝1，2，…，N_s2}、{EG_3j＝(u_a3j，v_a3j)，j＝1，2，…，N_s3}、{EG_4j＝(u_a4j，v_a4j)，j＝1，2，…，N_s4}，经过最小二乘拟合得到精确的边缘直线L_a2、L_a3、L_a4。利用精确的边缘直线L_a1、L_a2、L_a3、L_a4求交点，获得色标块2的四个顶点P_1m、P_2m、P_3m、P_4m的精确图像坐标。由四个顶点P_1m、P_2m、P_3m、P_4m的精确图像坐标，利用PnP算法获得色标块2相对于摄像机3的位姿作为机器人1的位姿的初始值，经过OI优化得到机器人1的位姿。

本发明的视觉测量具体步骤总结如下：

1)跟踪色标块三点，即中心点O_mm、一条长边中点P_um和一条短边中点P_vm，确定色标块图像区域；

2)按照10个像素间隔以O_mm到P_um的方向和O_mm到P_vm方向快速扫描边缘点；

3)利用RANSAC去除噪点，获得四组有效边缘点；

4)利用最小二乘拟合出四条边缘直线；

5)针对四条边缘分别进行坐标变换，依次使得各条边缘为纵坐标轴；

6)针对四条边缘，分别求取具有亚像素精度的边缘点；

7)以亚像素精度的边缘点，利用最小二乘拟合出四条边缘直线；

8)求取四条直线的交点；

9)计算新的色标块中心点O_mm、一条长边中点P_um和一条短边中点P_vm；

10)利用PnP算法求取机器人1位姿；

11)进行OI优化，得到机器人1的姿态矩阵正交的位姿。

本发明在色标块2的一个顶点遮挡时，仍然能够获得精确的色标块2的边缘点，从而获得机器人1的精确位姿。本发明的机器人1位姿经过了OI迭代优化，能够保证机器人1位姿中的姿态矩阵的正交性。本发明以亚像素精度的边缘点计算出色标块2四个顶点的图像坐标，再以PnP算法求取出机器人1位姿作为OI迭代的初始值，该初始值与OI迭代后机器人的精确位姿非常接近，因而OI迭代仅需执行很少的步数就能收敛。本发明图像处理和特征提取算法的计算复杂度低，OI迭代步数少，故本发明具有很好的实时性。本发明以亚像素精度求取边缘点，又经过最小二乘拟合求取边缘直线和OI迭代优化姿态，所以本发明测量精度高。因此，本发明能够可以大幅度提高视觉测量的可用性，能够实现机器人1位姿的高精度实时视觉测量。

在实施例中，矩形色标块2为红色，尺寸为220×160mm；摄像机3采用GC660高速彩色摄像机，采集帧率最高120帧/秒，计算机4采用DellInspiron 545S。

首先，在机器人1前面的桌子上建立世界坐标系，利用公知的方法对摄像机3的内参数和摄像机3相对于世界坐标系的外参数进行了标定。

其次，针对摄像机3与机器人1之间的设定距离范围2800mm至3300mm，通过离线的概率统计方法获得边缘直线的高斯分布像素方差。

当机器人1处于不同位姿时，分别利用本发明方法和传统方法对机器人1的位姿进行了测量。本发明方法按照前述步骤1至步骤11实现测量。传统方法按照Canny方法检测边缘，利用Hough变换提取直线，然后利用前述步骤10和步骤11实现测量。测量结果见表1。由表1可以发现，本发明的测量误差明显小于传统方法，约为传统方法的1/3。利用本发明每秒可测量70次左右，传统方法每秒仅能测量10次左右。

可见，本发明能够实现机器人位姿的高精度实时视觉测量。

表1目标处于不同位置时的测量结果

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。

Claims (6)

1.一种利用色标块的实时视觉测量方法，其特征在于，该方法包括步骤如下：

步骤S1：在机器人的背部上方设有一个已知尺寸的色标块；

步骤S2：以单摄像机采集色标块的色标图像；

步骤S3：跟踪色标块的三点，所述三点是中心点、一条长边中点和一条短边中点，确定色标块图像区域；

步骤S4：对色标图像按照设定的间隔和方向扫描处理，获得具有亚像素精度的边缘点；

步骤S5：将亚像素精度的色标块边缘点经最小二乘拟合，获得四条边缘直线；

步骤S6：求四条边缘直线的交点，获得四个顶点的图像坐标；

步骤S7：计算色标块新的中心点、新的一条长边中点和新的一条短边中点；

步骤S8：通过求得的四个顶点的图像坐标，利用n点透视算法，求取色标块相对于摄像机的位姿作为机器人位姿的初始值；

步骤S9：利用正交迭代算法对机器人位姿进行优化，得到机器人的姿态矩阵正交的位姿，循环测量则返回S3，单次测量则结束。

2.如权利要求1所述利用色标块的实时视觉测量方法，其特征在于，获得具有亚像素精度的边缘点的步骤如下：

步骤S41：在步骤S3确定的色标块图像区域内，按照设定间隔和方向快速扫描边缘点，获得对应于色标块四条边缘的四组边缘点；

步骤S42：针对四组边缘点，利用随机采样一致性方法去除偏差较大的噪声点，获得四组有效边缘点；

步骤S43：针对四组有效边缘点，利用最小二乘拟合出四条边缘直线；

步骤S44：针对四条边缘直线分别进行坐标变换，依次使得各条边缘为纵坐标轴；

步骤S45：分别针对为纵坐标轴的各条边缘上的有效边缘点，求取具有亚像素精度的边缘点。

3.如权利要求2所述利用色标块的实时视觉测量方法，其特征在于，所述亚像素精度的边缘点采用如下公式求取：

$\mathrm{\μ}=\frac{x_2+x_1+2x_0}{4}-\frac{{\mathrm{\σ}}^2\ln (I_0/I_1)}{4(x_1-x_0)}-\frac{{\mathrm{\σ}}^2\ln ({\text{I}}_0/I_2)}{4(x_2-x_0)},$

其中，μ为具有亚像素精度的边缘点，x₀为原边缘上一点的横坐标，x₁为原边缘上外侧距离一个像素点的横坐标，x₂为原边缘上外侧距离两个像素点的横坐标，σ为预先统计获得的摄像机成像的近似高斯分布方差，I₀为对应于x₀的原边缘上一点的像素灰度值，I₁为对应于x₁的原边缘外一点的像素灰度值，I₂为对应于x₂的原边缘外一点的像素灰度值。

4.如权利要求1所述利用色标块的实时视觉测量方法，其特征在于，所述设定间隔范围为10至20像素。

5.如权利要求1所述利用色标块的实时视觉测量方法，其特征在于，所述色标块是四边形色标块。

6.如权利要求1所述利用色标块的实时视觉测量方法，其特征在于，所述摄像机是彩色摄像机或是黑白摄像机。

Images