CN103258328B - 一种宽视场镜头的畸变中心定位方法 - Google Patents

Abstract

本发明公开了一种宽视场镜头的畸变中心定位方法，首先采用摄像机对棋盘格靶标进行成像，拍摄得到畸变的棋盘格靶标图像，并获取靶标图像中的特征点；然后提取特征点中的可用特征点，针对每个可用特征点，以距离该可用特征点最近的四个特征点建立四边形，计算四边形的几何中心与该可用特征点的坐标偏移量；再利用所有可用特征点的坐标偏移量构建样本曲面，求解得到样本曲面的最小值点的位置，即为畸变中心的坐标值。本发明的靶标形式可多样化，操作简易，算法简单，能为畸变校正提供有效的畸变中心。

Description

一种宽视场镜头的畸变中心定位方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种宽视场镜头的畸变中心定位方法。

背景技术

随着计算科学的发展，计算机视觉不再局限于理论研究，而是逐渐步入工程应用，这其中需要处理光学成像、图像质量、环境照明、电路噪声等基本问题。实际镜头并不满足理想的针孔成像，在物空间向像平面的投影过程中，往往存在非线性畸变，尤其对于宽视场镜头，畸变就更加严重。因此，必须对宽视场镜头进行畸变校正，其中最重要的一步就是准确定位镜头的畸变中心。

畸变的表现方式有两种，径向畸变和切向畸变，在大多数工程应用中往往忽略切向畸变。对于只考虑径向畸变的情况，以图像处理手段定位畸变中心的方法主要分为三类：

（1）靶标定标法，主要是通过拍摄多张不同空间位置的靶标图像，提取靶标上的特征点在图像上的像素坐标，再结合靶标上特征点的真实物理位置关系，利用优化迭代的方式计算摄像机的内参数矩阵和外参数矩阵，其中内参数矩阵主要包括摄像机的物理参数，如畸变中心、焦距等，外参数矩阵则纪录了靶标与摄像机的空间位置关系，该方法适用于量测的畸变校正场合，它的灵活性受到设备的限制，并且标定精度跟设备的质量关系较大。

（2）投影变换法，主要是基于投影变换理论中空间直线的投影仍为一条直线的原理，设计靶标使特征点位于多条直线上，提取畸变图像上的靶标特征点，利用直线约束的投影数学模型，优化计算畸变校正模型的参数，畸变中心是优化参数之一，该方法没有计算摄像机的所有内外参数，所以只能应用于非量测畸变校正，它的操作简单但计算复杂度偏高，人们也提出了多种快速优化方法。

（3）畸变对称法，主要利用镜头畸变的对称性以及畸变中心处畸变最小的原理，如利用对称排列的小圆为特征点的靶标，计算畸变图像中圆投影的面积，该面积在畸变中心处最大，并且投影面积的大小以畸变中心为中心服从高斯曲面分布，该方法不考虑摄像机的内外参数，直接优化畸变中心，操作简单。

发明内容

本发明的目的是提供一种宽视场镜头畸变中心的定位方法，在不标定摄像机内外参数的前提下，利用一张靶标图像快速定位镜头的畸变中心，为后续畸变校正提供准确的参考中心。

本发明的意义是：畸变中心是摄像机的不同视场处的畸变量大小的参考中心，距离畸变中心越远的视场处，它的畸变量就越大。在畸变校正过程中，如果畸变中心定位错误，后续无论采用什么优化方法都不可能正确地复原图像，对于量测系统这将导致系统产生较大的量测误差。因此，畸变中心的定位是畸变校正中最重要的一步，在畸变校正之前，对畸变中心进行定位是必须的。

本发明的实验靶标选择通用的棋盘格，以黑白格子的特征点作为特征点，特征点以等距网格状排列，调整摄像机的姿态使其光轴与平面靶标垂直。根据投影变换理论可知，若摄像机的镜头不存在畸变，那么特征点在靶标图像上依然以等距网格状排列，某一特征点是它邻域内上、下、左、右方向上的四个相邻特征点构成的四边形的几何中心。若摄像机的镜头存在畸变，那么某一特征点不再是它邻域内上、下、左、右方向上的四个相邻特征点构成的四边形的几何中心，而是与该几何中心存在一定的偏差量，并且偏差量与特征点的畸变大小有关。根据镜头畸变的对称性以及畸变中心处畸变最小的原理，提取靶标图像上的特征点坐标并计算偏差量，通过曲面插值便能够快速定位镜头的畸变中心。

本发明提出的一种宽视场镜头畸变中心的定位方法，忽略摄像机镜头的切向畸变，平面靶标的特征点以等距网格状排列，如以黑白格子特征点为特征点的棋盘格，同理只要满足特征点以等距网格状排列的靶标皆适用于本发明的畸变中心定位方法。

一种宽视场镜头的畸变中心定位方法，包括以下步骤：

1、采用摄像机对棋盘格靶标进行成像，拍摄得到畸变的棋盘格靶标图像，并获取靶标图像中的特征点：

首先需调整摄像机的姿态使其镜头的光轴与棋盘格靶标平面垂直，棋盘格靶标由黑白相间的矩形格子拼接而成。

实验靶标选择通用的棋盘格，特征点即是黑白格子的特征点，摄像机拍摄得到畸变的靶标图像后，利用改进的Harris算法（Z.Zhang.Aflexiblenewtechniqueforcameracalibration.IEEETransactionsonPatternAnalysisandMachineIntelligence,22(11):1330-1334,2000）提取特征点，坐标精度达到亚像素级。

2、在所有特征点中，提取可用特征点：

提取可用特征点的方法为：

a）以特征点c_i,j为中心建立半径r为圆形邻域；

b）构建两条经特征点c_i,j且相互垂直的划分线段将圆形邻域等分为四个扇形区，且划分线段与棋盘格靶标中的矩形格子斜交；

c）调整半径r，直至每个扇形区内仅有一个特征点时，该特征点c_i,j为可用特征点。

提取可用特征点的详细实施过程如下：

记当前特征点为c_i,j，定义以它为中心，半径为r的圆形邻域为Ω，并将圆形邻域Ω分为四个等分区域，并分别记为Ω₁、Ω₂、Ω₃和Ω₄。选取较小的半径值r，分别检测Ω的四个区域内是否有其它特征点存在，并根据如下法则判断是否保留当前特征点c_i,j：

(a)区域Ω₁、Ω₂、Ω₃、Ω₄内都没有特征点存在，则增加半径r继续搜索；

(b)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的各区域内有且仅有一个特征点，则增加半径r继续搜索；

(c)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的某一区域存在多于一个特征点，则删除当前特征点c_i,j；

(d)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，但其中某一区域内存在多于一个特征点，则减小半径r继续搜索；

(e)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，且各个区域内都有且仅有一个特征点，则保留当前特征点c_i,j，该特征点c_i,j即为可用特征点。

根据上述的判断是否保留当前特征点c_i,j的法则，可提取出靶标图像中的可用特征点，并记为可用特征点集S。

3、针对每个可用特征点，以距离该可用特征点最近的四个特征点建立四边形，计算四边形的几何中心与该可用特征点的坐标偏移量，根据可用特征点集S，计算估计畸变中心的偏移量样本集D：

取可用特征点集S中某可用特征点c_i,j，且它的圆形邻域Ω内必有四个特征点，分别属于区域Ω₁，即特征点c_i,j的上方相邻特征点，记为c_i-1,j；属于区域Ω₂，即特征点c_i,j的右方相邻特征点，记为c_i,j+1；属于区域Ω₃，即特征点c_i,j的下方相邻特征点，记为c_i+1,j；属于区域Ω₄，即特征点c_i,j的左方相邻特征点，记为c_i,j-1。

设可用特征点c_i,j的坐标值为(x_i,y_j)，同理可知它四个方向的相邻特征点c_i-1,j、c_i,j+1、c_i+1,j、c_i,j-1的坐标值分别为(x_i-1,y_1j)、(x_2i,y_j+1)、(x_i+1,y_3j)、(x_4i,y_j-1)，可计算由该四个特征点组成的四边形的几何中心c'_i,j的坐标值为(x'_i,y'_j)，且满足：

$\left\{\begin{array}{c}{x^{\′}}_i=\frac{x_{i-1}+x_{2i}+x_{i+1}+x_{4i}}{4}\\ {y^{\′}}_j=\frac{y_{1j}+y_{j+1}+y_{3j}+y_{j-1}}{4}\end{array}\right.$

宽视场镜头的畸变导致几何中心c'_i,j与可用特征点c_i,j存在坐标偏移量d_i,j，它的物理意义是两点间的几何距离，表示为：

$d_{i,j}=\sqrt{{(x_i-{x^{\′}}_i)}^2+{(y_j-{y^{\′}}_j)}^2}$

可用特征点集S中每一个可用特征点c_i,j，都能够根据所述的方法求出相应的坐标偏移量d_i,j，并组成偏移量样本集D，最后利用它来估计宽视场镜头的畸变中心。

4、利用所有可用特征点的坐标偏移量构建样本曲面，求解得到样本曲面的最小值点的位置，即为畸变中心的坐标值；即利用偏移量样本集D估计宽视场镜头的畸变中心：

已知靶标图像的可用特征点集S中特征点个数为N，那么与之一一对应的偏移量样本集D中偏移量的个数也为N，记某个可用特征点c_i,j的偏移量为d_i,j，并建立三维坐标系O-XYZ，XY轴对应可用特征点c_i,j的坐标值(x_i,y_j)，Z轴对应坐标偏移量d_i,j的大小，因此利用偏移量样本集D中的N个偏移量，可构建样本曲面d_i,j＝g(x_i,y_j)。

利用双立方插值算法对样本曲面d_i,j＝g(x_i,y_j)做更精细地插值处理，插值曲面的表达式为：

$p(x,y)=\underset{k=0}{\overset{3}{\mathrm{\Σ}}}\underset{l=0}{\overset{3}{\mathrm{\Σ}}}{a}_{\mathrm{kl}}{x}^k{y}^l$

其中：x,y分别表示样本曲面d_i,j＝g(x_i,y_j)中某样本点的X,Y轴坐标值，k,l分别是x,y的指数，a_kl则是插值系数，它表示x,y的指数分别取k,l时，多项式p(x,y)中的x^ky^l项系数为a_kl。16个插值系数a_kl的计算依赖于样本曲面d_i,j＝g(x_i,y_j)的局部数据值，取插值点附近的16个样本数据点，可计算该插值点局部曲面的最佳插值系数a_kl，依此，逐步完成对样本曲面d_i,j＝g(x_i,y_j)的双立方插值。

样本曲面d_i,j＝g(x_i,y_j)经双立方插值后得到样本的插值曲面f(x,y)，它本质上是样本曲面的高分辨重建曲面，且必定通过样本曲面中的所有样本数据点，较真实地保留了样本曲面的数据。因此，搜索插值曲面f(x,y)的极小值点的坐标(x₀,y₀)，它便是宽视场镜头的畸变中心的最佳估计值。

本技术方案中畸变中心定位方法的主要思路是：

1）实验靶标选择通用的棋盘格，首先固定住棋盘格靶标，然后调整摄像机的姿态使其镜头的光轴与棋盘格靶标垂直，此时在空间位置关系中，棋盘格靶标所在的物方平面与摄像机的像方平面平行。根据投影变换理论可知，如果摄像机的镜头没有畸变且满足理想针孔成像，那么物方棋盘格靶标在像平面上所成的像，与棋盘格靶标本身的仿射关系只有缩放，不存在旋转和平移等。

因此，假设摄像机的镜头没有畸变时，棋盘格靶标图像真实地反映了靶标本身的特征，黑白格子的特征点在图像中以等距网格状排列，即相邻特征点间的像素距离相等。在实际应用中，尤其是宽视场镜头的摄像机必然存在较大畸变，而当镜头的光轴与棋盘格靶标垂直时，拍摄得到的棋盘格靶标图像将完全体现畸变对成像的影响，且仅体现畸变对成像的影响。

2）在畸变的棋盘格靶标图像中，黑白格子的特征点在图像中不再以等距网格状排列，它完全是由宽视场镜头的畸变所导致的。记棋盘格靶标上某一特征点C_i,j，其邻域内距离最近的四个特征点C_i-1,j、C_i+1,j、C_i,j-1、C_i,j+1分别是其上方、下方、左方、右方的相邻特征点，且以这四个特征点为顶点的四边形S_i,j的几何中心O_i,j正好与特征点C_i,j重合。

在畸变的棋盘格靶标图像中，所述的特征点C_i,j与它的四个相邻特征点C_i-1,j、C_i+1,j、C_i,j-1、C_i,j+1投影在图像上表现为点c_i,j、c_i-1,j、c_i+1,j、c_i,j-1、c_i,j+1，以特征点c_i-1,j、c_i+1,j、c_i,j-1、c_i,j+1为顶点的四边形s_i,j的几何中心o_i,j不再与特征点c_i,j重合，而存在偏移量d_i,j。

偏移量d_i,j与宽视场镜头的畸变有关，忽略镜头的切向畸变，当镜头的畸变为零时，偏移量d_i,j也为零，当镜头的畸变增加时，偏移量d_i,j也相应增加。根据宽视场镜头的畸变特性，在畸变中心处，畸变量最小，随着视场的增大，畸变量也相应增大，因此，偏移量d_i,j在畸变中心处，其达到极小值，且随着视场增大，d_i,j的值也相应增大。

3）根据偏移量d_i,j在畸变中心处取极小值，且随着视场增大，其值逐渐增大的特点，对图像中的多个偏移量d_i,j进行曲面插值，便可求解出曲面的极小值点位置，即畸变中心的坐标。

畸变中心的坐标是利用靶标图像上的特征点通过计算得到的，它描述的是通过宽视场镜头成像，表现在图像上的畸变中心。然而，因为靶标图像的拍摄条件是：摄像机镜头的光轴与靶标垂直，此时的物像关系只存在缩放变换，只要保持摄像机的镜头与成像器件的相对位置不发生变化，所述的畸变中心的坐标即是代表了宽视场镜头的畸变中心。

本发明的有益效果：本发明的宽视场镜头的畸变中心定位方法，实验靶标的选择多样化，只要满足特征点以等距网格排列的靶标都可适应；根据畸变的特性，所述的偏移量样本曲面必定有且仅有一个极小值点，即畸变中心处，极小值点的计算不需要复杂的优化迭代，它的定位精度仅与特征点提取有关；本发明操作简单，计算复杂度低，实现容易。

附图说明

图1为本发明的宽视场镜头的畸变中心定位方法的流程图；

图2为本发明中畸变的棋盘格靶标的仿真图像；

图3为本发明的Harris特征点提取算法的仿真结果；

图4为本发明的判断是否保留当前特征点的法则说明图；

图5为本发明中可用特征点集的仿真结果；

图6为本发明的偏移量样本集构成的样本曲面的仿真结果；

图7为本发明的偏移量样本曲面的双立方插值曲面的仿真结果。

具体实施方式

为了更好地理解本发明的实现过程，下面结合附图详细阐述本发明的宽视场镜头的畸变中心定位方法，其原理流程图如图1所示，求取宽视场镜头的畸变中心的具体步骤如下：

步骤1：固定棋盘格靶标，调整摄像机的姿态使其镜头的光轴与靶标平面垂直，得到畸变的棋盘格靶标图像，仿真结果参见图2。

步骤2：利用改进的Harris算法（Z.Zhang.Aflexiblenewtechniqueforcameracalibration.IEEETransactionsonPatternAnalysisandMachineIntelligence,22(11):1330-1334,2000）提取棋盘格靶标图像中的特征点，定位精度达到亚像素水平，特征点定位的仿真结果参见图3。

步骤3：遍历步骤2中提取的所有特征点，并计算两个特征点间的最短距离，记为r_min。参见图4，令当前特征点为c_i,j，定义以它为中心，半径为r的圆形邻域为Ω，并将圆形邻域Ω分为四个区域：左上45°与右上45°之间的90°区域，记为Ω₁；右上45°与右下45°之间的90°区域，记为Ω₂；右下45°与左下45°之间的90°区域，记为Ω₃；左下45°与左上45°之间的90°区域，记为Ω₄。选取初始半径值r为r_min，分别检测Ω的四个区域内是否有其它特征点存在，并根据如下法则判断是否保留当前特征点c_i,j：

(a)区域Ω₁、Ω₂、Ω₃、Ω₄内都没有特征点存在，则增加半径r继续搜索；

(b)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的各区域内有且仅有一个特征点，则增加半径r继续搜索；

(c)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的某一区域存在多于一个特征点，则删除当前特征点c_i,j；

(d)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，但其中某一区域内存在多于一个特征点，则减小半径r继续搜索；

(e)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，且各个区域内都有且仅有一个特征点，则保留当前特征点c_i,j，保留的特征点c_i,j即为可用特征点。

根据上述判断是否保留当前特征点c_i,j的法则，提取出靶标图像中的所有可用特征点，仿真结果参见图5，并记为可用特征点集S。

步骤4：参见图4，取可用特征点集S中某可用特征点c_i,j，它的圆形邻域Ω内的四个相邻特征点，分别属于区域Ω₁，记为c_i-1,j，即特征点c_i,j的上方相邻特征点；属于区域Ω₂，记为c_i,j+1，即特征点c_i,j的右方相邻特征点；属于区域Ω₃，记为c_i+1,j，即特征点c_i,j的下方相邻特征点；属于区域Ω₄，记为c_i,j-1，即特征点c_i,j的左方相邻特征点。

设可用特征点c_i,j的坐标值为(x_i,y_j)，它的四个相邻特征点c_i-1,j、c_i,j+1、c_i+1,j、c_i,j-1的坐标值分别为(x_i-1,y_1j)、(x_2i,y_j+1)、(x_i+1,y_3j)、(x_4i,y_j-1)，计算由这四个特征点组成的四边形的几何中心c'_i,j的坐标(x'_i,y'_j)：

$\left\{\begin{array}{c}{x^{\′}}_i=\frac{x_{i-1}+x_{2i}+x_{i+1}+x_{4i}}{4}\\ {y^{\′}}_j=\frac{y_{1j}+y_{j+1}+y_{3j}+y_{j-1}}{4}\end{array}\right.$

然后计算偏移量d_i,j：

$d_{i,j}=\sqrt{{(x_i-{x^{\′}}_i)}^2+{(y_j-{y^{\′}}_j)}^2}$

可用特征点集S中每一个可用特征点c_i,j，都能够根据上述的方法求出相应的偏移量d_i,j，并组成偏移量样本集D。

步骤5：记靶标图像的可用特征点集S中可用特征点个数为N，那么偏移量样本集D中偏移量的个数也为N，令某个可用特征点c_i,j的偏移量为d_i,j，并建立三维坐标系O-XYZ，XY轴对应可用特征点c_i,j的坐标值(x_i,y_j)，Z轴对应偏移量d_i,j的大小，因此利用偏移量样本集D中的N个偏移量，可构建样本曲面d_i,j＝g(x_i,y_j)，仿真结果参见图6。

对样本曲面d_i,j＝g(x_i,y_j)做双立方插值得到样本的插值曲面f(x,y)，仿真结果参见图7。它的物理意义是样本曲面的高分辨重建曲面，且必定通过样本曲面中的所有样本数据点，较真实地保留了样本曲面的数据。因此，搜索插值曲面f(x,y)的极小值点，得到其坐标值为(350.7,350.7)，它便是宽视场镜头的畸变中心的最佳估计值，其与仿真实验的理论值(350,350)的误差只有亚像素水平，能为后续畸变校正处理提供有效的畸变中心。

Claims (5)

1.一种宽视场镜头的畸变中心定位方法，其特征在于，包括以下步骤：

1)采用摄像机对棋盘格靶标进行成像，拍摄得到畸变的棋盘格靶标图像，并获取靶标图像中的特征点；

2)提取特征点中的可用特征点，针对每个可用特征点，以距离该可用特征点最近的四个特征点建立四边形，计算四边形的几何中心与该可用特征点的坐标偏移量；

提取可用特征点的详细实施过程如下：

记当前特征点为c_i,j，定义以它为中心，半径为r的圆形邻域为Ω，并将圆形邻域Ω分为四个等分区域，并分别记为Ω₁、Ω₂、Ω₃和Ω₄，选取较小的半径值r，分别检测Ω的四个区域内是否有其它特征点存在，并根据如下法则判断是否保留当前特征点c_i,j：

(a)区域Ω₁、Ω₂、Ω₃、Ω₄内都没有特征点存在，则增加半径r继续搜索；

(b)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的各区域内有且仅有一个特征点，则增加半径r继续搜索；

(c)区域Ω₁、Ω₂、Ω₃、Ω₄内有一个或多个区域内不存在特征点，余下区域的某一区域存在多于一个特征点，则删除当前特征点c_i,j；

(d)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，但其中某一区域内存在多于一个特征点，则减小半径r继续搜索；

(e)区域Ω₁、Ω₂、Ω₃、Ω₄内各个区域都存在特征点，且各个区域内都有且仅有一个特征点，则保留当前特征点c_i,j，该特征点c_i,j即为可用特征点；

3)利用所有可用特征点的坐标偏移量构建样本曲面，求解得到样本曲面的最小值点的位置，即为畸变中心的坐标值。

2.如权利要求1所述的宽视场镜头的畸变中心定位方法，其特征在于，在步骤1)中，预先调整摄像机的姿态使其镜头的光轴与棋盘格靶标平面垂直，且所述的棋盘格靶标由黑白相间的矩形格子拼接而成。

3.如权利要求2所述的宽视场镜头的畸变中心定位方法，其特征在于，在步骤1)中，利用Harris算法提取靶标图像上的特征点。

4.如权利要求3所述的宽视场镜头的畸变中心定位方法，其特征在于，令可用特征点的坐标为(x_i,y_j)，距离该可用特征点最近的四个特征点的坐标为(x_i-1,y_1j)、(x_2i,y_j+1)、(x_i+1,y_3j)、(x_4i,y_j-1)，这四个特征点建立的四边形的几何中心的坐标为(x'_i,y'_j)，其中：

$\left\{\begin{array}{c}{x^{\′}}_i=\frac{x_{i-1}+x_{2i}+x_{i+1}+x_{4i}}{4}\\ {y^{\′}}_j=\frac{y_{1j}+y_{j+1}+y_{3j}+y_{j-1}}{4}\end{array}\right.$

则该可用特征点和几何中心之间的坐标偏移量d_i,j为：

$d_{i,j}=\sqrt{{(x_i-{x^{\′}}_i)}^2+{(y_j-{y^{\′}}_j)}^2}.$

5.如权利要求4所述的宽视场镜头的畸变中心定位方法，其特征在于，在步骤3)中，采用双立方曲面插值求解所述的样本曲面，得到样本曲面的最小值点的位置。