CN104331900A - Ccd摄像机标定中角点亚像素定位方法 - Google Patents

Abstract

本发明公开了一种CCD摄像机标定中角点亚像素定位方法，其步骤如下：(1)通过SV算子得到像素级的初定位角点坐标；(2)对以初定位角点坐标为中心的5×5窗口内像素灰度值进行双线性插值运算，即在x、y两个方向分别进行一次线性插值，得到插值运算后的细分图像；(3)对各角点邻域插值后的图像求取其质心坐标，再根据插值放大倍数，转换得到亚像素级角点坐标。本发明在保持SV方法原理简单、易于实现、计算量小、抗噪声性能好等优点的基础上大大提高了角点定位精度，可达到亚像素级，为CCD的高精度标定提供了保障。

Description

CCD摄像机标定中角点亚像素定位方法

技术领域

本发明涉及光学三维轮廓测量技术领域，具体地说，涉及一种CCD摄像机标定中角点亚像素定位方法。

背景技术

角点是图像中的强特征点，不同类型的角点有不同的特点，黑白棋盘格模板制作经济简单，其角点作为一类特殊的特征点，已被广泛地应用于摄像机标定中。

近年来，随着国内外许多研究者对亚像素研究工作的开展，许多学者针对Harris方法和SUSAN方法的缺陷进行了改进。运用在SUSAN圆模版内附加两个圆环模板的方法，克服了无法有效检测棋盘格角点时边缘点及内角点的不足，但实时性不佳；结合harris算子和Forstner算子的亚像素角点提取算法，避免了CRF(corner reference function角点响应函数)的计算，最后利用Forstner算子对粗定位后的角点进行亚像素级精确定位，该方法抗噪声性能较强，但对初始值位置精度要求较高。传统的灰度重心法是一种用于对称目标的亚像素定位技术，但其抗噪声性能较差。

发明内容

为了解决CCD摄像机角点标定存在的上述技术问题，本发明提供一种原理简单、易于实现、计算量小、抗噪声性能好的CCD摄像机标定中角点亚像素定位方法。

本发明解决上述技术问题的技术方案包括以下步骤：

(1)通过SV算子得到像素级的初定位角点坐标；

(2)对以初定位角点坐标为中心的5×5窗口内像素灰度值进行双线性插值运算，即在x、y两个方向分别进行一次线性插值，得到插值运算后的细分图像；

(3)对各角点邻域插值后的图像求取其质心坐标，再根据插值放大倍数，转换得到亚像素级角点坐标；

质心坐标计算公式如下：

$\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)},\stackrel{\‾}{y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)};$

其中：为质心坐标，n为图像像素个数，(x_i,y_i)为第i个像素的坐标，p(x_i,y_i)为第i个像素的灰度值。

上述的CCD摄像机标定中角点亚像素定位方法，所述步骤(2)中双线性插值运算具体为：

对x方向进行插值，计算公式如下：

V(i,y)＝V(x,y)+(i-x)[V(x+1,y)-V(x,y)]

V(i,y+1)＝V(x,y+1)+(i-x)[V(x+1,y+1)-V(x,y+1)]

对y方向进行插值求出V(i,j)，计算公式如下：

V(i,j)＝V(i,y)+(j-y)[V(i,y+1)-V(i,y)]

V(i,j)表示原灰度数字图像中每一个像素的二维坐标位置函数f(x,y)的第i行和第j列像素点的灰度值。

所述步骤(3)中插值放大倍数为30。

本发明的技术效果在于：本发明在SV角点定位方法的基础上，结合双线性插值和质心算法进行角点定标，解决了现有亚像素角点检测方法无法同时兼顾检测效率和精度的问题，并在保持SV方法原理简单、易于实现、计算量小、抗噪声性能好等优点的基础上大大提高了角点定位精度，可达到亚像素级，为CCD的高精度标定提供了保障。

附图说明

图1为本发明的棋盘格角点对称示意图。

图2为本发明采集的棋盘格图像。

图3为本发明中预处理后的图像。

图4为本发明中的像素级角点图像。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

参见图1，图1为棋盘格角点对称示意图。棋盘格图像由黑白相间的方格组成，通过观察图1可知：1)关于棋盘格角点中心对称的像素点灰度值较接近；2)关于边界点和非角点中心对称的像素点的灰度值则有较大差异。

对于一幅灰度数字图像，它的每一个像素可以看作是其二维坐标位置的函数f(x,y)，设原图数f(x,y)大小为M×N，插值处理后图像f’(x,y)大小为(M’×N’)，由映射关系知f’(x,y)的第i’行和第j’列像素点的灰度值V’(i’,j’)对应f(x,y)的第i行和第j列像素点的灰度值V(i,j)，其中中当V’_i’,j’取整运算后即可得插值节点的灰度值。

如果一个输出像素被映射到四个输入像素之间，则其灰度值由这四点灰度值插值决定。

首先，对x方向进行插值，计算公式如下：

V(i,y)＝V(x,y)+(i-x)[V(x+1,y)-V(x,y)]   (3)

V(i,y+1)＝V(x,y+1)+(i-x)[V(x+1,y+1)-V(x,y+1)]   (4)

接着对y方向进行插值求出V(i,j)，计算公式如下：

V(i,j)＝V(i,y)+(j-y)[V(i,y+1)-V(i,y)]   (5)

综合公式(3)(4)(5)即可以求出插值节点，依次我们能得到放大后的灰度数字图像f’(x,y)。

为了更好的理解本发明的亚像素定位方法，先介绍SV算子得到像素级的初定位角点坐标，具体计算过程如下。

图1中像素点A与B关于角点O对称，由此引入对称算子(symmetry operator)。对于每个像素I(i,j)，以该像素为中心的窗口记为W，一般取3×3或者5×5的方形，n为窗口W中像素的数目。定义对称算子的响应值为W窗口中关于I(i,j)对称的每一对像素点的灰度差的绝对值的均值，表达式为

$C^S(i,j)=\left|\underset{(i+p,j+p)\∈W}{\mathrm{\Σ}}\right|I(i+p,j+p)-I(i-p,j-q)\left|\right|/n---\left(1\right)$

对于棋盘格角点，对称算子响应值C^s较小；由于边界一边像素灰度值大，另一边像素灰度值小，故在边界点的对称算子响应值C^s较大。C^s反映了以该像素为中心的小窗口像素灰度分布的空间对称性，但在平坦区域像素的C^s值也比较小。故又引入方差算子(variance operator)，主要用于剔除平坦区域的像素点。方差算子的响应值反映了周围像素灰度值变化的剧烈程度，其表达式为

$C^V=\underset{(i,j)\∈W}{\mathrm{\Σ}}{(I(i,j)-\stackrel{\‾}{I})}^2/(n-1)---\left(2\right)$

其中为窗口W中像素的灰度平均值。对于平坦区域的像素，其方差算子的响应值C^v较小；边界点和棋盘格角点的C^v值较大。

对称方差算法首先用对称算子把棋盘格角点和平坦区域像素点识别出来，接着用方差算子剔除平坦区域像素点，即可识别角点。定义SV算子响应值为C^SV＝K×V-S，K为经验常数，一般取0.1～0.5。综上所述，棋盘格角点是S算子响应值较小，V算子响应值较大的点，该算法具有对称性和统计规律，因此具有旋转不变性和较强的抗噪声能力，但识别精度只能到像素级。

质心算法特别适用于对称图像的中心计算，其优点在于充分利用图像中的每一点的灰度值较高的质心坐标计算精度。鉴于棋盘格角点图像形状和灰度分布具有对称性以及灰度对比强烈的特点，本发明的亚像素级角点定位方法步骤如下，

首先，通过SV算子得到像素级的初定位角点坐标；

其次，对以初定位角点坐标为中心的5×5窗口内像素灰度值进行双线性插值运算，即在x,y两个方向分别进行一次线性插值，得到插值运算后的细分图像；

最后，对各角点邻域插值后的图像求取其质心坐标，再根据插值放大倍数，转换得到亚像素级角点坐标。

质心坐标计算公式如下：

$\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)},\stackrel{\‾}{y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)}---\left(6\right)$

其中：为质心坐标，n为图像像素个数，(x_i,y_i)为第i个像素的坐标，p(x_i,y_i)为第i个像素的灰度值。

本发明选用德国AVT PIKE F-032C彩色摄像机进行标定，其分辨率为640(H)×480(V)，镜头焦距f＝12mm；选择3mm厚的PVC塑料板制作标定板，不易变形也不厚重；黑白棋盘格图像由20×20个方格组成，每个方格大小为20mm×20mm，采用雕刻机雕，误差在±0.08mm范围内。

CCD摄像机结构参数的定标采用经典的Tasi两步法。该方法是只考虑径向畸变的典型标定算法，先用径向排列约束得到部分外部参数的精确解，再将其余外部参数与畸变修正参数进行迭代求解，但需对内部参数比例因子和像面中心进行预标定。预标定的具体实现方法：首先通过垂直拍摄一幅同心圆图像求得比例因子；当镜头焦距为12mm和8mm时分别拍摄同一位姿的棋盘格标定板图像，根据变焦距拍摄，视场变化，像面中心不变原理求得图像中心的像素坐标；接着采用Tasi两步法对摄像机其余内外参数进行标定，整个标定过程不需要辅助设备，也不需要精确调整标定板的位姿，只需拍摄一幅同心圆图像和两幅标定板图像，标定过程简单、快捷，特别适用于现场标定。实验计算得到比例因子S_xy＝0.99935，图像中心的像素坐标(Cx,Cy)＝(315,248)。

采用加权中值滤波将偶然因素引起的波动或采集卡不稳定而造成的脉冲干扰消除。经过预处理后的图像，可以消除无用信息、干扰点，缩小计算范围，提高计算速度。图2为镜头焦距f＝12mm时CCD摄像机采集到的标定板图像，图3为对其进行滤波去噪、裁剪等预处理图像。图4为用SV算法提取的特征点图像。

表1 角点的亚像素坐标及其世界坐标

从图4中，可知共检测出16个角点，用Matlab软件编程，分别对这16个角点的5×5邻域内的灰度值进行水平、垂直方向上的一阶线性插值，为了图像不失真，选取放大倍数为30，接着根据质心坐标计算公式求得插值后区域的质心坐标，再缩小相应倍数后转换到图4的坐标系统中，由此可以得到亚像素级角点坐标。选取其中11个点作为标定点，其余5个点用于检验CCD的标定精度。定义图4中左上角第一个角点对应世界坐标系的原点，表1给出了用改进SV算法计算出的亚像素级角点的计算机像素坐标和其对应的三维世界坐标。

应用Tasi两步法，对摄像机的其他参数求解，得到如下参数：

有效焦距：f＝11.49，

畸变系数：k＝-0.0023，

旋转矩阵： $R=\left[\begin{array}{ccc}-0.9890& 0.0366& 0.1434\\ 0.0282& -0.9046& 0.4253\\ 0.1455& 0.4247& 0.8936\end{array}\right],$

平移矩阵： $T=\left[\begin{array}{c}62.4723\\ 70.2179\\ 965.0095\end{array}\right]$

通过评价CCD的标定精度来验证改进方法的角点识别精度，选取图4中其余5个角点作为校验点。把它们的计算机图像坐标(即亚像素级角点坐标)通过标定得到的摄像机内外参数反向求解，得到其对应的三维世界坐标，简称为标定三维坐标。表2和表3分别给出用SV算法和本文提出方法计算得到的5个校验点的标定三维坐标、实际三维坐标及其误差。从表3可以看出，有个别点的误差较大。本方法中CCD摄像机距离参考面约1m左右，可知一个像素的分辨率对应到三维世界坐标系就可达到0.7mm甚至更大，对照下面给出的误差分析计算结果，标定平均误差为0.108mm，可以评价本发明提出的亚像素角点定位方法能够实现高精度的CCD摄像机定标。

误差分析计算结果如下：

x坐标、y坐标的平均误差：

$\mathrm{xerror}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|x_{\mathrm{wi}}-x_{\mathrm{wi}}^{\′}|=0.124\mathrm{mm},\mathrm{yerror}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|y_{\mathrm{wi}}-y_{\mathrm{wi}}^{\′}|=0.092\mathrm{mm},$

总的平均误差： $\mathrm{maenerror}=\frac{1}{2}(\mathrm{xerror}+\mathrm{yerror})=0.108\mathrm{mm},$

x坐标、y坐标的标准差分别为：

${\mathrm{\σ}}_x=\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_{\mathrm{wi}}-x_{\mathrm{wi}}^{\′})}^2}{n}}=0.166\mathrm{mm},{\mathrm{\σ}}_y=\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_{\mathrm{wi}}-y_{\mathrm{wi}}^{\′})}^2}{n}}=0.126\mathrm{mm}$

表2 应用SV方法计算的标定坐标及真实坐标

表3 应用改进SV方法计算的标定坐标及真实坐标

本发明针对现有亚像素角点检测方法无法同时兼顾检测效率和精度的问题，在SV角点定位方法的基础上，结合双线性插值和质心算法，提出了基于改进SV方法的亚像素棋盘格角点定位方法。在保持SV方法原理简单、易于实现、计算量小、抗噪声性能好等优点的基础上大大提高了角点定位精度，可达到亚像素级，为CCD的高精度标定提供了保障。通过CCD摄像机标定实例，经过误差分析得出CCD摄像机标定平均误差为0.108mm，改进算法比原算法具有更高的角点定位质量，验证了发明所提方法的正确性及有效性。

Claims (3)

1.一种CCD摄像机标定中角点亚像素定位方法，其特征在于，其步骤如下：

(1)通过SV算子得到像素级的初定位角点坐标；

(2)对以初定位角点坐标为中心的5×5窗口内像素灰度值进行双线性插值运算，即在x、y两个方向分别进行一次线性插值，得到插值运算后的细分图像；

(3)对各角点邻域插值后的图像求取其质心坐标，再根据插值放大倍数，转换得到亚像素级角点坐标；

质心坐标计算公式如下：

$\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)},\stackrel{\‾}{y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_{i}p(x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p(x_i,y_i)};$

其中：为质心坐标，n为图像像素个数，(x_i,y_i)为第i个像素的坐标，p(x_i,y_i)为第i个像素的灰度值。

2.如权利要求1所述的CCD摄像机标定中角点亚像素定位方法，其特征在于，所述步骤(2)中双线性插值运算具体为：

对x方向进行插值，计算公式如下：

V(i,y)＝V(x,y)+(i-x)[V(x+1,y)-V(x,y)]

V(i,y+1)＝V(x,y+1)+(i-x)[V(x+1,y+1)-V(x,y+1)]

对y方向进行插值求出V(i,j)，计算公式如下：

V(i,j)＝V(i,y)+(j-y)[V(i,y+1)-V(i,y)]

V(i,j)表示原灰度数字图像中每一个像素的二维坐标位置函数f(x,y)的第i行和第j列像素点的灰度值。

3.如权利要求1所述的CCD摄像机标定中角点亚像素定位方法，其特征在于，所述步骤(3)中插值放大倍数为30。