CN103632384B - 组合式标记点及标记点中心的快速提取方法 - Google Patents

Abstract

本发明组合式标记点及标记点中心的快速提取方法属于计算机视觉测量技术领域，涉及一种适用于复杂曲面的组合式标记点和自动快速准确的标记点提取方法。采用粗提取和精提取两步法对标记点中心坐标进行提取。组合式标记点其形状是将圆型标记点与黑白棋盘格标记组合成组合式标记点，在大圆图形中去掉与大圆图形同心的上部扇形圆和下部扇形圆使圆心部分形成黑白棋盘格交叉角点。本发明的标记点形状克服了在传统标记点提取过程中速度与精度不能兼得的难题，同时所发明的提取方法在标记点产生严重变形的情况下也能保证其精确提取。

Description

组合式标记点及标记点中心的快速提取方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种适用于复杂曲面的组合式标记点和自动快速准确的标记点提取方法。

背景技术

标记点设计及其提取方法在机器视觉中有着十分重要的地位，在很多情况下，标记点是图像采集的主要对象，而标记点提取也是图像处理的主要步骤。随着现代科技的不断发展，机器视觉技术的应用越来越广泛，这使得标记点的设计以及提取方法必须满足更宽泛的需求，在提取速度以及准确性上都提出了比较苛刻的要求。标记点越来越多的布置在一些形状不规格的物体表面，当标记点加工于复杂曲面上时,标记点的形状会产生较大的改变,导致图像提取时不能准确的提取到标记点的中心，即使当标记点加工于平面上时,也会由于平面转动引起标记点的形状改变,无法准确地提取中心，若采用棋盘格标记点则会减小由于标记点形变引起的提取精度低等问题，但是棋盘格角点检测计算繁琐、速度慢，提高速度就必须人工选中角点大致位置缩小检测范围，这就使得算法自动化水平降低、计算时间过长，而不能满足要求。特别在快速标定技术中，要求标记点提取在满足高精度的同时可以自动快速地进行。在目前情况下，合理设计标记点并快速准确的提取标记点是目前的主要难题和研究的主要方向。

郭玉波,姚郁,遆晓光等《基于空间矩的圆标记中心亚像素定位算法》利用边界提取圆心，在平面上斜角度拍摄能够很好的取得圆心，但是在复杂曲面上边界变形不规律不能保正圆心的准确性。张正友等的《AFlexibleNewTechniqueforCameraCalibration》使用棋盘格标定靶标进行标定，很好的保证了精度问题，但是在操作过程中需要人工指定棋盘格交叉点范围，然后进行角点搜索，操作较为复杂，智能化低。

发明内容

本发明要解决的技术难题是克服现有技术的不足，发明了一种组合式标记点及其快速准确的提取方法，采用将圆型与黑白棋盘格标记组合的标记点，在大圆图形中去掉与大圆图形同心的上部扇形圆和下部扇形圆使圆心部分形成黑白棋盘格交叉角点。提取方法采用粗提取和精提取两步法对标记点中心坐标进行提取；这种特殊形式的标记点更适用于快速自动提取，标记点设计兼顾了圆形标记点的快速提取和棋盘格角点的准确性，同时该提取方法当标记点存在变形的情况下依然可以保证提取精度。

本发明采用的技术方案是发明了一种组合式标记点及其快速准确的提取方法，其提取方法是由粗提取和精提取组成的两步式提取方法，其中粗提取可以使用对称性的重心提取法或圆形轮廓的椭圆拟合法，精提取为基于HARRIS的提取法，提取方法中采用的组合式标记点的形状是在大圆图形1中去掉与大圆图形1同心的上部扇形圆2和下部扇形圆3使圆心部分形成黑白棋盘格交叉角点；组合式标志点快速提取的具体步骤如下：

（1）组合标记点中心粗提取

1）应用组合标记点对称性的粗提取方法

应用灰度重心法求取目标标记点的公式如下：

$\stackrel{\‾}{u}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}u\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(u,v)}---\left(1\right)$

$\stackrel{\‾}{v}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}v\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(u,v)}---\left(2\right)$

其中：f(u,v)是坐标为(u,v)的像素点的灰度值，Ω是目标区域集合，是区域中心坐标，即为HARRIS提取中心提供搜索范围的中心；

2）应用组合标记点圆形轮廓的粗提取方法

采用椭圆拟合法，首先通过边缘提取算法对标志图案的边缘进行提取，标志图案的边缘被提取后，按椭圆方程（3）对所得边缘点进行拟合，式3中a，b，c，d，e，f为椭圆参数，(x,y)为提取算法提取的标记点圆形轮廓边缘坐标，椭圆方程F(x,y)其表达如下：

F(x,y)＝ax²+bxy+cy²+dx+ey+f＝0(3)

将椭圆内各点坐标(x_i,y_i)值代入上述方程，则F(x_i,y_i)不等于0时，其值视为点(x_i,y_i)到椭圆的代数距离，因此以各点到椭圆的代数距离和最小为目标函数对椭圆的各系数进行求解，其目标函数为f(x_i,y_i)，则拟合所得的椭圆中心即为标志图案的中心坐标，即认为目标函数f(x_i,y_i)为最小值时的(x_i,y_i)为椭圆的中心；

$f(x_i,y_i)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|F(x_i,y_i)\left|\right|---\left(4\right)$

其中N表示椭圆边缘点的数量，表示所有边缘点的代数距离和。

（2）基于Harris提取方法的组合标记点中心精提取

1）Harris角点像素级角点提取

为了减小Harris角点提取方法的提取时间，将角点的搜索范围规定为粗提取中心坐标的附近区域，Harris角点提取方法主要步骤如下，首先求解粗提取中心坐标的附近区域M矩阵：

$M=\underset{x,y}{\mathrm{\Σ}}w(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]=w(x,y)\⊗\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]---\left(5\right)$

M矩阵近似为Hessian矩阵，Hessian矩阵是一个多元实函数的二阶偏导；求解Harris角点探测器的值R的方法如下：

R＝detM-k(traceM)²(6)

detM为矩阵M的行列式，traceM为矩阵M的迹，k按经验值选，此处取为0.04，即满足R最小的点为Harris提取的像素级角点。

2）HARRIS角点亚像素级角点提取

对于黑白棋盘格图像，角点附近的点分为在黑白分界上的点和不在分界线上的点；由于角点附近点的灰度梯度均垂直于该点和角点的连线，所以有式（5）：

${\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=0---\left(7\right)$

其中，为第i个点的灰度梯度向量，为图像中心指向角点的向量，为图像中心指向角点附近点的向量。式（5）是一个理论公式，在实际情况下，会存在噪声，使得公式不恒等与0，会带入微小误差θ；即：

${\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=\mathrm{\θ}---\left(8\right)$

将角点附近的点带入（6）式计算，并相加得到误差和S

$S=\mathrm{\Σ\θ}={\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})---\left(9\right)$

故求解角点就转化为求解使误差和最小的点的问题，利用HARRIS角点像素级提取得到的角点坐标作为初值，使用迭代算法对该问题进行优化得到其更精确的坐标位置。

本发明的有益效果是利用所发明的标记点形状克服了在传统标记点提取过程中速度与精度不能兼得的难题，同时所发明的提取方法在标记点产生严重变形的情况下也能保证其精确提取。

附图说明

图1为组合式标记点示意图。其中，1-大圆图形，2-上部扇形圆，3-下部扇形圆。

图2为组合式标记点的提取过程流程图。

图3为提取实例图，其中，1-边缘提取点，2-粗提取中心，3-精提取中心。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为组合式标记点示意图，在大圆图形1中去掉与大圆图形1同心的上部扇形圆2和下部扇形圆3使圆心部分形成黑白棋盘格交叉角点。将本组合式标记点布置于物体表面，配置相机及其附属光源等设备，调整焦距视角等使标记点清晰可见，对标记点进行图像采集。

在机器视觉测量中，可以根据实际情况，利用整体标记点图形的对称性，使用灰度重心法进行粗提取，提取标记点的形心；也可以应用组合标记点的圆形轮廓，利用椭圆拟合，提取标记点的圆心。当普通圆标记点布置于复杂曲面上时，标记点会跟随曲面发生形变，拍摄得到的圆形标记点的像已经不再是圆甚至不是椭圆，在图像提取时不能通过这种较大变形的标记点准确的提取出其中心，即使标记点加工于平面，由于平面转动同样会使标记点成像不规律不能准确提取中心。所以在粗提取得到的圆环中心附近利用基于HARRIS提取方法提取黑白棋盘格标记的角点。通过圆环中心粗提取的自动性和快速性迅速定位缩小范围，再利用黑白棋盘格角点不因曲面变形或平面转动而降低提取精度的优点进行精提取，在保证提取精度的同时做到了自动快速提取。

附图2为组合式标记点提取方法流程图，整个提取过程分为组合标记点的中心粗提取和基于HARRIS的中心精提取两个主要步骤，在粗提取阶段可以利用组合标记点对称性的重心提取法进行粗提取也可以利用组合标记点圆形轮廓的椭圆拟合法进行粗提取。提取方法主要步骤为组合标记点中心粗提取和基于HARRIS的中心精提取两个主要步骤。下面是针对组合标记点的具体提取措施：（1）组合标记点中心粗提取

组合标记点中心粗提取可以选用对称性提取方法和应用圆形轮廓的提取方法，本实施例采用圆形轮廓的提取方法进行粗提取。

应用组合标记点圆形轮廓的粗提取方法

采用椭圆拟合法对标志边缘进行提取，如附图3提取实例图中边缘提取点1所示。当标志的边缘被提取后，可按下椭圆的一般式方程对所得边缘点进行拟合，式3中a，b，c，d，e，f为椭圆参数，(x,y)为应用比啊和能源提取算法提取的标记点圆形轮廓边缘坐标，其表达如下：

F(x,y)＝ax²+bxy+cy²+dx+ey+f＝0(1)

将椭圆内各点坐标(x_i,y_i)值代入上述方程，则F(x_i,y_i)可能不等于0，其值可视为点(x_i,y_i)到椭圆的代数距离，因此以各点到椭圆的代数距离和最小为目标函数对椭圆的各系数进行求解，其目标函数如下式所示，则拟合所得的椭圆中心即为标志的中心坐标，即认为目标函数f(x_i,y_i)为最小值时的(x_i,y_i)为椭圆的中心。

$f(x_i,y_i)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|F(x_i,y_i)\left|\right|---\left(2\right)$

根据公式2所求得的粗提取组合标志点中心如附图3提取实例图中粗提取中心2所示，坐标为（56.23，78.71）。

（2）基于Harris提取方法的组合标记点中心精提取

1）Harris角点像素级角点提取

为了减小Harris角点提取方法的提取时间，将角点的搜索范围规定为粗提取中心坐标±3个像素，Harris角点提取方法主要步骤如下，首先求解粗提取中心坐标的附近区域M矩阵：

$M=\underset{x,y}{\mathrm{\Σ}}w(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]=w(x,y)\⊗\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]---\left(3\right)$

M矩阵近似为Hessian矩阵，Hessian矩阵是一个多元实函数的二阶偏导。求解Harris角点探测器的值R的方法如下：

R＝detM-k(traceM)²(4)

det(M)为矩阵M的行列式，trace为矩阵M的迹，k经验值选此处取为0.04，即满足R最小的点为Harris提取的像素级角点。

2）HARRIS角点亚像素级角点提取

利用HARRIS角点像素级提取得到的角点坐标作为初值，使用迭代算法对该问题进行优化，可以得到其更精确的坐标位置。对于黑白棋盘格图像，角点附近的点可以分为在黑白分界上的点和不在分界线上的点。由于角点附近点的灰度梯度均垂直于该点和角点的连线，所以有式：

${\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=0---\left(5\right)$

其中为第i个点的灰度梯度向量，为图像中心指向角点的向量，为图像中心指向角点附近点的向量。式（5）是一个理论公式，在实际情况下会存在噪声使得公式不恒等与0，会带入微小误差θ

${\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=\mathrm{\θ}---\left(6\right)$

将角点附近的点带入（6）式计算，并相加得到误差和S

$S=\mathrm{\Σ\θ}={\▿H}_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})---\left(7\right)$

故求解角点就转化为求解使误差和最小的点的问题，根据以上方法求取的组合标记点中心坐标如附图3提取实例图中精提取中心3所示，坐标值为（56.56,79.26）。

本发明的组合式标记点及其提取方法，将圆形标记点与黑白棋盘格标记进行组合形成对称型标记点，这种标记点相对于传统标记点更适用于快速自动提取，同时在标记点存在变形的情况下依然可以保证提取精度。这种设计兼顾了圆形标记点的快速提取和棋盘格角点的准确性，提取算法适用性强在标记点图像存在形变的情况下也可以快速自动准确的提取标志点。

Claims (1)

1.一种组合式标记点及标记点中心的快速提取方法，其特征是，其提取方法是由粗提取和精提取组成的两步式提取方法，其中粗提取使用对称性的重心提取法或圆形轮廓的椭圆拟合法，精提取为基于HARRIS的提取法，提取方法中采用的组合式标记点的形状是在大圆图形(1)中去掉与大圆图形(1)同心的上部扇形圆(2)和下部扇形圆(3)使圆心部分形成黑白棋盘格交叉角点；组合式标志点快速提取的具体步骤如下：

1)应用组合标记点对称性的粗提取方法

应用灰度重心法求取目标标记点的公式如下：

$\stackrel{\‾}{u}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\Σ}u\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\Σ}f(u,v)}---\left(1\right)$

$\stackrel{\‾}{v}=\frac{\underset{u,v\∈\mathrm{\Ω}}{\Σ}v\×f(u,v)}{\underset{u,v\∈\mathrm{\Ω}}{\Σ}f(u,v)}---\left(2\right)$

其中：f(u,v)是坐标为(u,v)的像素点的灰度值，Ω是目标区域集合，是区域中心坐标，即为HARRIS提取中心提供搜索范围的中心；

2)应用组合标记点圆形轮廓的粗提取方法

采用椭圆拟合法，首先通过边缘提取算法对标志图案的边缘进行提取，标志图案的边缘被提取后，按椭圆方程(3)对所得边缘点进行拟合，式3中a，b，c，d，e，f为椭圆参数，(x,y)为提取算法提取的标记点圆形轮廓边缘坐标，椭圆方程F(x,y)其表达如下：

F(x,y)＝ax²+bxy+cy²+dx+ey+f＝0(3)

将椭圆内各点坐标(x_i,y_i)值代入上述方程，则F(x_i,y_i)不等于0时，其值视为点(x_i,y_i)到椭圆的代数距离，因此以各点到椭圆的代数距离和最小为目标函数对椭圆的各系数进行求解，其目标函数为f(x_i,y_i)，则拟合所得的椭圆中心即为标志图案的中心坐标，即认为目标函数f(x_i,y_i)为最小值时的(x_i,y_i)为椭圆的中心；

$f(x_i,y_i)=min\underset{i=1}{\overset{N}{\Σ}}\left|\right|F(x_i,y_i)\left|\right|---\left(4\right)$

其中N表示椭圆边缘点的数量，表示所有边缘点的代数距离和；

3)基于Harris提取方法的组合标记点中心精提取，

a)Harris角点像素级角点提取

为了减小Harris角点提取方法的提取时间，将角点的搜索范围规定为粗提取中心坐标的附近区域，Harris角点提取方法主要步骤如下，首先求解粗提取中心坐标的附近区域M矩阵：

$M=\underset{x,y}{\Σ}w(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]=w(x,y)\⊗\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]---\left(5\right)$

M矩阵近似为Hessian矩阵，Hessian矩阵是一个多元实函数的二阶偏导；求解Harris角点探测器的值R的方法如下：

R＝detM-k(traceM)²(6)

detM为矩阵M的行列式，traceM为矩阵M的迹，k按经验值选，此处取为0.04，即满足R最小的点为Harris提取的像素级角点；

b)HARRIS角点亚像素级角点提取

对于黑白棋盘格图像，角点附近的点分为在黑白分界上的点和不在分界线上的点；由于角点附近点的灰度梯度均垂直于该点和角点的连线，所以有式(7)：

$\▿H_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=0---\left(7\right)$

其中，为第i个点的灰度梯度向量，为图像中心指向角点的向量，为图像中心指向角点附近点的向量；式(7)是一个理论公式，在实际情况下，会存在噪声，使得公式不恒等与0，会带入微小误差θ；即：

$\▿H_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})=\mathrm{\θ}---\left(8\right)$

将角点附近的点带入(8)式计算，并相加得到误差和S

$S=\mathrm{\Σ}\mathrm{\θ}=\mathrm{\Σ}\▿H_i^T\·(\stackrel{\→}{\mathrm{\α}}-\stackrel{\→}{\mathrm{\β}})---\left(9\right)$

故求解角点就转化为求解使误差和最小的点的问题，利用HARRIS角点像素级提取得到的角点坐标作为初值，使用迭代算法对该问题进行优化得到其更精确的坐标位置。