CN102663763B - 一种面向大视场高精度视觉测量的摄像机标定方法 - Google Patents

Abstract

本发明提供一种面向大视场高精度视觉测量的摄像机标定方法，属于测量、测试领域。本发明采用亮度自适应的单个红外LED作为目标靶点，将该靶点固定在三维数控机械装置上，并控制其移动至预先设定的空间位置。在三维空间构成一个虚拟立体靶标。每次靶点到达设定的空间位置时，摄像机对靶点进行图像采集。通过自由移动摄像机在多个方位对虚拟立体靶标进行拍摄，使得多个虚拟立体靶标分布于整个摄像机的标定空间。摄像机在每个方位对虚拟立体靶标的拍摄都计算出一组摄像机的内、外参数，以作为后续优化的初值。最后基于多方位拍摄的虚拟立体靶标进行标定参数的整体优化。本发明可以有效提高大视场摄像机的标定精度。

Description

一种面向大视场高精度视觉测量的摄像机标定方法

技术领域

本发明属于测量、测试领域，涉及摄像机标定技术，具体涉及一种面向大视场高精度视觉测量的摄像机标定方法。

背景技术

近年来基于机器视觉的测量系统已越来越多地应用于航空、汽车等工业领域的加工、装配以及质检等环节，其核心测量部件摄像机的标定精度直接影响着该类测量系统的测量精度。摄像机标定的过程就是根据若干三维空间点(靶点)及其在成像平面上对应的二维图像点来确定摄像机成像模型中的各参数的过程。其中摄像机的参数包括内参数和外参数。内参数是摄像机的固有参数，不会因为摄像机拍摄方位的变化而改变。外参数包括摄像机在世界坐标系中的旋转矩阵R以及平移向量t，外参数会随着摄像机的拍摄方位的改变而变化。

高精度的摄像机标定一般需要在摄像机前放置一个标定参照物又称靶标，靶标上具有多个已知其精确三维坐标的靶点，通过建立靶标上各靶点空间坐标与相应图像坐标间的关系，来计算摄像机模型中的内部参数和外部参数。目前已有的标定方法大多对小测量范围(2米以内)适用，而在航空部件装配位姿检测等应用中，测量范围需达到2～15米甚至更大。要通过视觉测量方法实现这样大范围内的零部件位置与姿态的跟踪、检测，需要以红外LED等主动发光目标作为工作靶点，以获得高质量的光斑图像，基于这些靶点图像和标定出的系统参数解算靶点的三维坐标，进而获得作为工作靶点载体的零部件的空间位置姿态信息。为了保证大视场视觉测量系统精度，参与系统标定的靶点需要与系统测量时使用的工作靶点相一致，并且由标定靶点分布构成的标定空间应与测量空间基本一致。

目前应用较多的标定靶标可以分为三维靶标和二维靶标。然而不论是二维还是三维靶标，要制作能够基本覆盖大视场测量空间的大型高精度实物靶标都十分困难，特别是对于以红外LED等主动发光的电子元件为靶点的情况，涉及靶点之间精确几何定位和距离摄像机远近不同的大量靶点同时自适应亮度控制两方面的难题，制作大型实物靶标几乎是不可能的。为了克服实物靶标制作困难的问题，可以在三坐标测量机测头处固定一个靶点，利用三坐标测量机的高精度位移，在空间中构造出一个虚拟的三维靶标，通过虚拟三维靶标及其对应的二维图像进行摄像机标定。该方法一定程度上解决了实物靶标加工难度大的问题，但是对于大视场的摄像机标定，三坐标测量机的量程相对较小，靶点的移动范围(即虚拟立体靶标的大小)仍无法覆盖整个测量空间，从而严重影响标定精度(见本说明书“有益效果”中的对比说明)。

发明内容

技术问题：本发明旨在克服已有技术的不足之处，提出一种面向大视场高精度视觉测量的摄像机标定方法，解决大尺寸的高精度实物靶标无法制作，而小尺寸靶标(包括虚拟立体靶标)无法覆盖整个测量空间，导致标定结果不能真实反应整个大视场范围内的摄像机成像模型，因而标定精度较低的问题。

技术方案：

一种面向大视场高精度视觉测量的摄像机标定方法，其特征在于包括如下步骤：

步骤一：初始化标定过程

在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED靶点，在三维数控移动装置的行程内确定n个靶点预设位置，要求n≥6；在摄像机标定空间内确定m个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间，赋予当前拍摄方位标志j＝1，取三维数控移动装置的坐标系为世界坐标系；

步骤二：把摄像机放置于第j个拍摄方位，置靶点当前预设位置标志i＝1

步骤三：在第j个方位下拍摄虚拟立体靶标

测量机精确移动靶点至第i个预设位置P_i，并由摄像机对P_i位置处的靶点进行图像采集，记此时的靶点图像坐标为p_ij，然后判断在第j个拍摄方位下是否已遍历了全部n个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i增加1，即i←i+1，重复本步骤过程，直到遍历全部n个预设靶点位置，由此在三维空间构成一个虚拟立体靶标，并获得虚拟立体靶标每一个靶点位置在第j个拍摄方位下的图像；

步骤四：由第j个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数

根据线性摄像机模型有：

$\mathrm{\λ}\left[\begin{array}{c}{u}_{\mathrm{ij}}\\ v_{\mathrm{ij}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_j& t_j\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=M_j{\tilde{P}}_i---\left(1\right)$

其中[u_ij，v_ij，1]^T是空间靶点P_i在第j个摄像机方位下根据线性成像模型可以得到的像素单位的无畸变图像坐标p_ij的齐次形式，为点P_i的世界坐标的齐次形式，R_j和t_j分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，α_x和α_y分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u₀，v₀)是摄像机主点的图像坐标，M_j为第j个摄像机方位下的投影矩阵，λ为一常系数；记

$A=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]$

称矩阵A为摄像机的内参数矩阵，R_j和t_j为第j个摄像机方位下的摄像机外参数；

将(1)式整理可得如下两个线性方程：

X_im₁₁+Y_im₁₂+Z_im₁₃+m₁₄-u_ijX_im₃₁-u_ijY_im₃₂-u_ijZ_im₃₃-u_ijm₃₄＝0

(2)

X_im₂₁+Y_im₂₂+Z_im₂₃+m₂₄-v_ijX_im₃₁-v_ijY_im₃₂-v_ijZ_im₃₃-v_ijm₃₄＝0

其中m_pq(p＝1，2，3；q＝1，2，3，4)是矩阵M_j的第p行q列元素。根据虚拟立体靶标中的n个靶点由(2)式形成2n个关于m_pq(p＝1，2，3；q＝1，2，3，4)的线性方程，由于是齐次方程，因此令m₃₄＝1；又因为虚拟立体靶标中的靶点个数n≥6，因此，可以根据2n个方程通过最小二乘法求解出投影矩阵M_j；对矩阵M_j进行RQ分解，求出摄像机在线性模型下的内参数矩阵A，和第j个摄像机方位下摄像机的外参数R_j和t_j，作为下面非线性优化的初始值；

由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化。根据成像几何关系，有

$\left\{\begin{array}{c}{u}_{\mathrm{ij}}=u_0+{\mathrm{\α}}_x\·x_{\mathrm{ij}}\\ v_{\mathrm{ij}}=v_0+{\mathrm{\α}}_y\·y_{\mathrm{ij}}\end{array}\right.---\left(3\right)$

其中(x_ij，y_ij)是空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的无畸变的投影点坐标。摄像机成像系统的畸变模型取为：

$\left\{\begin{array}{c}{x}_{\mathrm{dij}}=x_{\mathrm{ij}}+k_1{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+p_1({3x}_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2)+2p_2{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+s_1{r}_{\mathrm{ij}}^2\\ y_{\mathrm{dij}}=y_{\mathrm{ij}}+k_1{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+2p_1{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+p_2(x_{\mathrm{ij}}^2+3y_{\mathrm{ij}}^2)+s_2{r}_{\mathrm{ij}}^2\end{array}\right.---\left(4\right)$

其中(x_dij，y_dij)为空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的带畸变的投影点坐标；k₁、k₂、p₁、p₂、s₁、s₂分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与α_x、α_y、u₀、v₀一起构成非线性模型的摄像机内部参数；

由于不同摄像机方位下解算出的内参数会有所不同，因此记第j个摄像机方位下计算出的摄像机内参数矩阵为A_j，畸变参数分别为k_1j ，k_2j，p_1j，p_2j ，s_1j ，s_2j，建立以虚拟立体靶标上各靶点P_i重投影误差的平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_i(A_j,k_{1j},k_{2j},p_{1j},p_{2j},s_{1j},s_{2j},R_j,t_j)---\left(5\right)$

式中dis_i(A_j，k_1j，k_2j，p_1j，p_2j，s_1j，s_2j，R_j，t_j)表示空间点P_i(i＝1，2，…，n)根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在归一化图像平面上的实际图像点之间的距离的平方；采用非线性优化算法获得式(5)中的优化变量A_j，k_1j，k_2j，p_1j，p_2j，s_1j，s_2j，R_j，t_j的最优解，迭代中A_j，R_j，t_j的初值由线性模型下的标定结果得到，畸变参数k_1j，k_2j，p_1j，p_2j，s_1j，s_2j的初始值均设为0；

步骤五：判断摄像机的拍摄方位j是否已经等于m，如果是则进入步骤六，否则，将当前拍摄方位标志j增加1，即j←j+1，重复步骤二至步骤五的过程，直到摄像机完成m个拍摄方位下的虚拟立体靶标的拍摄

步骤六：基于多方位虚拟立体靶标进行标定参数优化

根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R_j、t_j，得到各次拍摄的虚拟立体靶标在摄像机坐标系下的方位参数作为进一步优化的初值，其中 建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{j=1}^m{\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_{\mathrm{ij}}(A,k_1,k_2,p_1,p_2,s_1,s_2,{\hat{R}}_j,{\hat{t}}_j)---\left(3\right)$

其中表示靶点P_i在第j个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在相应的归一化图像平面上的实际图像点之间的距离的平方；选取一个摄像机方位下由步骤四所获得的内参数矩阵和畸变系数为初值，通过非线性优化算法获得摄像机的最终标定结果。

本发明采用亮度自适应的单个红外LED作为目标靶点，将该靶点固定在可以沿X、Y、Z三个相互垂直的方向精确移动的三维数控机械装置上，并控制该机械装置依次精确移动至预先设定的空间位置，从而利用数控机械装置的精确位移，在三维空间构成一个虚拟立体靶标。每次靶点到达设定的空间位置时，摄像机对靶点进行图像采集。针对虚拟立体靶标在大视场摄像机标定中只能覆盖一小部分标定空间的问题，通过自由移动摄像机在多个方位对虚拟立体靶标进行拍摄，使得多个虚拟立体靶标分布于整个摄像机的标定空间。摄像机在每个方位对虚拟立体靶标的拍摄都计算出一组摄像机的内、外参数，以作为后续优化的初值。最后基于多方位拍摄的虚拟立体靶标进行标定参数的整体优化。本发明方法较好地解决了大视场视觉测量中大尺寸靶标加工困难，而用小尺寸靶标的标定精度难以保证的问题，可以有效提高大视场摄像机的标定精度。

本发明与现有技术相比，具有如下优点：

1.采用与大视场视觉测量的工作靶点一致的亮度可控的红外LED作为标定靶点，使得系统标定过程与测量过程具有良好的一致性，能够更好地保证系统的测量精度。

2.可以根据摄像机视场的大小，灵活布置虚拟立体靶标在摄像机视场中的方位，靶点间无遮挡，且各方位拍摄的虚拟立体靶标分布于整个测量范围内，较好地解决了大视场视觉测量中大尺寸靶标加工困难、而用小尺寸靶标获得的标定结果精度难以保证的问题。

附图说明

图1是本发明一种面向大视场高精度视觉测量的摄像机标定方法流程图；

图2是摄像机从不同方位对虚拟立体靶标进行拍摄示意图；

图3是多个方位拍摄的虚拟立体靶标分布于摄像机的整个标定空间的示意图；

图4是实施例的三个对比实验中摄像机采集的虚拟立体靶标图像，其中图4a是采用本发明方法在18个方位拍摄虚拟立体靶标得到的其中9个虚拟立体靶标图像合成到一张图像中的效果，图4b是将虚拟立体靶标置于标定空间内，在一个摄像机方位下拍摄虚拟立体靶标得到的图像，图4c是在近距离单个方位拍摄虚拟立体靶标，使单个虚拟立体靶标能够基本覆盖整个成像平面所得到的虚拟立体靶标图像；

图5是三组标定实验结果参数；

图6是基于标定结果的虚拟立体检验靶标的三维重建误差(单位：毫米)。

具体实施方式

在三维数控移动装置上固定一个红外LED靶点，三维数控移动装置可以是三坐标测量机，或者三坐标铣床。设定三维数控移动装置的坐标系为世界坐标系。将摄像机根据测量空间大小固定于第j(j＝1，2，…，m)个拍摄方位，三维数控移动装置按照事先设定的点位移动，靶点每移动到一个预定位置P_i(i＝1，2，…，n)，摄像机采集一幅靶点图像，由此在三维数控移动装置的移动空间中形成一个虚拟的立体靶标以及虚拟立体靶标在第j个拍摄方位下的二维图像(如图2所示)。图2中符号T表示靶点经过三维数控移动装置的多个预设位置构成的虚拟立体靶标，符号P_i表示第i个预设靶点位置，O_w-X_wY_wZ_w代表世界坐标系，π_j表示第j个拍摄方位的摄像机成像平面，R_j、t_j分别表示第j个拍摄方位下摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。根据每个靶点在世界坐标系下的三维坐标P_i(i＝1，2，…，n)与其在第j个拍摄方位下的图像点的二维坐标p_ij(i＝1，2，…，n)，计算出一组摄像机参数，包括内参数A_j、k_1j、k_2j、p_1j、p_2j、s_1j、s_2j和外参数R_j、t_j。改变摄像机的方位，重复拍摄虚拟立体靶标过程，使虚拟的三维靶标经过m个摄像机方位的拍摄分布于整个摄像机的标定空间。将虚拟立体靶标分别转换到各次拍摄时的摄像机坐标系下，则所有虚拟立体靶标组成一个分布于整个标定空间的大型三维靶标(如图3所示)。图3中，符号T_j分别表示第j个拍摄方位下拍摄的虚拟立体靶标，O_c-X_cY_cZ_c表示摄像机坐标系，表示第j个方位拍摄的虚拟立体靶标相对于摄像机坐标系的旋转矩阵和平移向量。以摄像机内参数和摄像机在各个方位下拍摄的虚拟立体靶标在摄像机坐标系下的位置及姿态参数为优化变量，以单个拍摄方位下获得的摄像机内、外参数为初值，建立以所有三维靶点位置重投影误差平方和为最小的目标函数，采用非线性优化方法求解摄像机标定参数的最优解。

下面结合附图和实施例对本发明作进一步详细说明。本发明涉及的一种面向大视场高精度视觉测量的摄像机标定方法，包含以下步骤：

步骤一：初始化标定过程

在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED靶点。在三维数控移动装置的行程内确定n个靶点预设位置，要求n≥6。在摄像机标定空间内确定m个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间。赋予当前拍摄方位标志j＝1。取三维数控移动装置的坐标系为世界坐标系。

步骤二：把摄像机放置于第j个拍摄方位，置靶点当前预设位置标志i＝1。

步骤三：在第j个方位下拍摄虚拟立体靶标

测量机精确移动靶点至第i个预设位置P_i，并由摄像机对P_i位置处的靶点进行图像采集，记此时的靶点图像坐标为p_ij，然后判断在第j个拍摄方位下是否已遍历了全部n个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i增加1，即i←i+1，重复本步骤过程，直到遍历全部n个预设靶点位置，由此在三维空间构成一个虚拟立体靶标(如图2所示)，并获得虚拟立体靶标每一个靶点位置在第j个拍摄方位下的图像。

步骤四：由第j个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数根据线性摄像机模型有：

$\mathrm{\λ}\left[\begin{array}{c}{u}_{\mathrm{ij}}\\ v_{\mathrm{ij}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_j& t_j\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=M_j{\tilde{P}}_i---\left(4\right)$

其中[u_ij，v_ij，1]^T是空间靶点P_i在第j个摄像机方位下根据线性成像模型可以得到的像素单位的无畸变图像坐标p_ij的齐次形式，为点P_i的世界坐标的齐次形式，R_j和t_j分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，α_x和α_y分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u₀，v₀)是摄像机主点的图像坐标，M_j为第j个摄像机方位下的投影矩阵，λ为一常系数。记

$A=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]$

称矩阵A为摄像机的内参数矩阵，R_j和t_j为第j个摄像机方位下的摄像机外参数。

将(1)式整理可得如下两个线性方程：

X_im₁₁+Y_im₁₂+Z_im₁₃+m₁₄-u_ijX_im₃₁-u_ijY_im₃₂-u_ijZ_im₃₃-u_ijm₃₄＝0

(5)

X_im₂₁+Y_im₂₂+Z_im₂₃+m₂₄-v_ijX_im₃₁-v_ijY_im₃₂-v_ijZ_im₃₃-v_ijm₃₄＝0

其中m_pq(p＝1，2，3；q＝1，2，3，4)是矩阵M_j的第p行q列元素。根据虚拟立体靶标中的n个靶点由(2)式形成2n个关于m_pq(p＝1，2，3；q＝1，2，3，4)的线性方程，由于是齐次方程，因此令m₃₄＝1。又因为虚拟立体靶标中的靶点个数n≥6，因此，可以根据2n个方程通过最小二乘法求解出投影矩阵M_j。对矩阵M_j进行RQ分解，求出摄像机在线性模型下的内参数矩阵A，和第j个摄像机方位下摄像机的外参数R_j和t_j，作为下面非线性优化的初始值。

由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化。根据成像几何关系，有

$\left\{\begin{array}{c}{u}_{\mathrm{ij}}=u_0+{\mathrm{\α}}_x\·x_{\mathrm{ij}}\\ v_{\mathrm{ij}}=v_0+{\mathrm{\α}}_y\·y_{\mathrm{ij}}\end{array}\right.---\left(3\right)$

其中(x_ij，y_ij)是空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的无畸变的投影点坐标。摄像机成像系统的畸变模型取为：

$\left\{\begin{array}{c}{x}_{\mathrm{dij}}=x_{\mathrm{ij}}+k_1{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+p_1({3x}_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2)+2p_2{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+s_1{r}_{\mathrm{ij}}^2\\ y_{\mathrm{dij}}=y_{\mathrm{ij}}+k_1{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+2p_1{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+p_2(x_{\mathrm{ij}}^2+3y_{\mathrm{ij}}^2)+s_2{r}_{\mathrm{ij}}^2\end{array}\right.---\left(4\right)$

其中(x_dij，y_dij)为空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的带畸变的投影点坐标；k₁、k₂、p₁、p₂、s₁、s₂分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与α_x、α_y、u₀、v₀一起构成非线性模型的摄像机内部参数。

由于不同摄像机方位下解算出的内参数会有所不同，因此记第j个摄像机方位下计算出的摄像机内参数矩阵为A_j，畸变参数分别为k_1j，k_2j，p_1j，p_2j，s_1j，s_2j。建立以虚拟立体靶标上各靶点P_i重投影误差的平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_i(A_j,k_{1j},k_{2j},p_{1j},p_{2j},s_{1j},s_{2j},R_j,t_j)---\left(5\right)$

式中dis_i(A_j，k_1j，k_2j，p_1j，p_2j，s_1j，s_2j，R_j，t_j)表示空间点P_i(i＝1，2，…，n)根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在归一化图像平面上的实际图像点之间的距离的平方。实施例中采用Levenberg-Marquardt迭代算法获得式(5)中的优化变量A_j，k_1j，k_2j，p_1j，p_2j，s_1j，s_2j，R_j，t_j的最优解，迭代中A_j，R_j，t_j的初值由线性模型下的标定结果得到，畸变参数k_1j，k_2j，p_1j，p_2j，s_1j，s_2j的初始值均设为0。

步骤五：判断摄像机的拍摄方位j是否已经等于m，如果是则进入步骤六，否则，将当前拍摄方位标志j增加1，即j←j+1，重复步骤二至步骤五的过程，直到摄像机完成m个拍摄方位下的虚拟立体靶标的拍摄(如图3所示)。

步骤六：基于多方位虚拟立体靶标进行标定参数优化

根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R_j、t_j，得到各次拍摄的虚拟立体靶标在摄像机坐标系下的方位参数作为进一步优化的初值，其中 建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{j=1}^m{\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_{\mathrm{ij}}(A,k_1,k_2,p_1,p_2,s_1,s_2,{\hat{R}}_j,{\hat{t}}_j)---\left(6\right)$

其中表示靶点P_i在第j个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在相应的归一化图像平面上的实际图像点之间的距离的平方。实施例中选取虚拟立体靶标的图像点相对集中于CCD靶面中间区域的一个摄像机方位下(不妨记其方位标志为ζ)由步骤四所获得的线性内参数矩阵A_ζ作为内参数矩阵A的初值，选取虚拟立体靶标的图像点相对靠近CCD靶面边缘区域的一个摄像机方位下(不妨记其方位序号为η)由步骤四所获得的畸变系数k_1η，k_2η，p_1η，p_2η，s_1η，s_2η为畸变参数k₁，k₂，p₁，p₂，s₁，s₂的初值，并采用Levenberg-Marquardt迭代算法获得式(6)中的所有优化变量A，k₁，k₂，p₁，p₂，s₁，s₂以及(j＝1，2，…，m)的最优解，这里m表示摄像机拍摄方位的总数。由此获得的A，k₁，k₂，p₁，p₂，s₁，s₂即为摄像机的最终标定结果。

下面结合一个实施例的对比实验进一步说明本方法的有益效果。实施例设计为在距离摄像机6000～9000mm的视场空间内，对Basler A102f CCD数码摄像机进行标定。摄像机的像元物理尺寸为0.00645×0.00645mm²，图像分辨率为1392×1040pixel²，镜头标称焦距为12.5mm。本实施例中的三维数控移动装置采用意大利DEA公司生产的GAMMA1103型三坐标测量机。

虚拟立体靶标按照X方向点间距100mm、Y方向点间距100mm、Z方向点间距300mm分布，共7×7×5＝245个靶点。为了对比标定效果，实验分为三组：实验一采用本发明的完整方法对摄像机进行标定，标定过程中摄像机在18个摄像机方位进行拍摄，虚拟立体靶标大致沿摄像机Z_c轴方向分为前后两个排面，每个排面有9个虚拟立体靶标，该实验中18个虚拟立体靶标基本分布于整个标定空间，图像覆盖整个成像平面(如图4a所示)。图4a是18个虚拟立体靶标中距离摄像机较近的一个排面的9个虚拟立体靶标图像合成到一张图像中的效果。实验二在一个摄像机方位下拍摄虚拟立体靶标，虚拟立体靶标位于标定空间内，虚拟立体靶标的图像仅覆盖成像平面的部分区域(如附图4b所示)。由于仅一个拍摄方位，实验二直接采用步骤四的单虚拟立体靶标方法进行摄像机标定。实验三采用单一摄像机方位在近距离拍摄虚拟立体靶标，采用步骤四的方法对摄像机进行标定，由于拍摄距离近，该实验的单个虚拟三维靶标也基本覆盖整个成像平面(如附图4c所示)。

三组实验的标定结果如图5所示。分别利用获得的三组标定参数，对由同一三坐标测量机构建的一个虚拟立体检验靶标采用求解PNP问题的方法[Horn，B.K.P.，H.M.Hilden and S.Negahdaripour，Closed-form solution of absolute orientation using orthonormalmatrices.Journal of the Optical Society of America A，1988.5(7)：1127-1135.]根据拍摄的虚拟立体检验靶标图像进行虚拟立体检验靶标中的空间点的三维重建。虚拟立体检验靶标的靶点，由三坐标测量机的行程空间中随机选取的100个空间点组成，这些点未参与摄像机的标定，且各检验靶点在测量机坐标系中的坐标已知。最终计算出分别在三组标定参数下，虚拟立体检验靶标中的各空间点在世界坐标系下的重建误差，统计结果如图6所示。从图6的三维重建误差结果可见，本发明方法更为准确地反应了整个测量空间的摄像机模型，因此经本发明方法标定的系统进行大视场三维测量的误差明显小于其他两种方法的测量误差。

以上所述仅为本发明的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (1)

1.一种面向大视场高精度视觉测量的摄像机标定方法，其特征在于包括如下步骤：

步骤一：初始化标定过程

在三维数控移动装置上固定好一个亮度可以自适应控制的红外LED靶点，在三维数控移动装置的行程内确定n个靶点预设位置，要求n≥6；在摄像机标定空间内确定m个摄像机拍摄方位，要求各个拍摄方位下的虚拟立体靶标累积分布于摄像机坐标系下的整个标定空间，赋予当前拍摄方位标志j=1，取三维数控移动装置的坐标系为世界坐标系；

步骤二：把摄像机放置于第j个拍摄方位，置靶点当前预设位置标志i=1

步骤三：在第j个方位下拍摄虚拟立体靶标

测量机精确移动靶点至第i个预设位置P_i，并由摄像机对P_i位置处的靶点进行图像采集，记此时的靶点图像坐标为p_ij，然后判断在第j个拍摄方位下是否已遍历了全部n个预设靶点位置，如果是则进入步骤四，否则，将靶点的当前预设位置标志i增加1，即i←i+1，重复本步骤过程，直到遍历全部n个预设靶点位置，由此在三维空间构成一个虚拟立体靶标，并获得虚拟立体靶标每一个靶点位置在第j个拍摄方位下的图像；

步骤四：由第j个摄像机方位下拍摄的虚拟立体靶标求解摄像机内、外参数

根据线性摄像机模型有：

$\mathrm{\λ}\left[\begin{array}{c}{u}_{\mathrm{ij}}\\ v_{\mathrm{ij}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_j& t_j\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=M_j{\tilde{P}}_i---\left(1\right)$

其中[u_ij,v_ij,1]^T是空间靶点P_i在第j个摄像机方位下根据线性成像模型可以得到的像素单位的无畸变图像坐标p_ij的齐次形式，为点P_i的世界坐标的齐次形式，R_j和t_j分别表示世界坐标系到摄像机坐标系的旋转矩阵与平移向量，α_x和α_y分别表示摄像机在图像中两个坐标轴方向的等效焦距，(u₀,v₀)是摄像机主点的图像坐标，M_j为第j个摄像机方位下的投影矩阵，λ为一常系数；记

$A=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]$

称矩阵A为摄像机的内参数矩阵，R_j和t_j为第j个摄像机方位下的摄像机外参数；

将（1）式整理可得如下两个线性方程：

X_im₁₁+Y_im₁₂+Z_im₁₃+m₁₄-u_ijX_im₃₁-u_ijY_im₃₂-u_ijZ_im₃₃-u_ijm₃₄＝0   （2）

X_im₂₁+Y_im₂₂+Z_im₂₃+m₂₄-v_ijX_im₃₁-v_ijY_im₃₂-v_ijZ_im₃₃-v_ijm₃₄＝0

其中m_pq是矩阵M_j的第p行q列元素，其中p=1,2,3；q=1,2,3,4；根据虚拟立体靶标中的n个靶点由（2）式形成2n个关于m_pq的线性方程，其中p=1,2,3；q=1,2,3,4，由于是齐次方程，因此令m₃₄=1；又因为虚拟立体靶标中的靶点个数n≥6，因此，可以根据2n个方程通过最小二乘法求解出投影矩阵M_j；对矩阵M_j进行RQ分解，求出摄像机在线性模型下的内参数矩阵A，和第j个摄像机方位下摄像机的外参数R_j和t_j，作为下面非线性优化的初始值；

由于摄像机系统还可能存在非线性畸变，因此考虑非线性畸变对标定参数做进一步优化；根据成像几何关系，有

$\left\{\begin{array}{c}{u}_{\mathrm{ij}}=u_0+{\mathrm{\α}}_x\·x_{\mathrm{ij}}\\ v_{\mathrm{ij}}=v_0+{\mathrm{\α}}_y\·y_{\mathrm{ij}}\end{array}\right.---\left(3\right)$

其中(x_ij,y_ij)是空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的无畸变的投影点坐标；摄像机成像系统的畸变模型取为：

$\left\{\begin{array}{c}{x}_{\mathrm{dij}}=x_{\mathrm{ij}}+k_1{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{x}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+p_1(3x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2)+2p_2{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+s_1{r}_{\mathrm{ij}}^2\\ y_{\mathrm{dij}}=y_{\mathrm{ij}}+k_1{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^2+k_2{y}_{\mathrm{ij}}{r}_{\mathrm{ij}}^4+2p_1{x}_{\mathrm{ij}}{y}_{\mathrm{ij}}+p_2(x_{\mathrm{ij}}^2+3y_{\mathrm{ij}}^2)s_2{r}_{\mathrm{ij}}^2\end{array}\right.---\left(4\right)$

其中(x_dij,y_dij)为空间点P_i在第j个拍摄方位下的归一化图像坐标系下长度单位的带畸变的投影点坐标；k₁、k₂、p₁、p₂、s₁、s₂分别是一阶和二阶的径向、切向及薄棱镜畸变参数，它们与α_x、α_y、u₀、v₀一起构成非线性模型的摄像机内部参数；

由于不同摄像机方位下解算出的内参数会有所不同，因此记第j个摄像机方位下计算出的摄像机内参数矩阵为A_j，畸变参数分别为k_1j,k_2j,p_1j,p_2j,s_1j,s_2j，建立以虚拟立体靶标上各靶点P_i重投影误差的平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_i(A_j,k_{1j},k_{2j},p_{1j},p_{2j},s_{1j},s_{2j},R_j,t_j)---\left(5\right)$

式中dis_i(A_j,k_1j,k_2j,p_1j,p_2j,s_1j,s_2j,R_j,t_j)表示空间点P_i根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在归一化图像平面上的实际图像点之间的距离的平方，其中i=1,2,…,n；采用非线性优化算法获得式（5）中的优化变量A_j,k_1j,k_2j,p_1j,p_2j,s_1j,s_2j,R_j,t_j的最优解，迭代中A_j,R_j,t_j的初值由线性模型下的标定结果得到，畸变参数k_1j,k_2j,p_1j,p_2j,s_1j,s_2j的初始值均设为0；

步骤五：判断摄像机的拍摄方位j是否已经等于m，如果是则进入步骤六，否则，将当前拍摄方位标志j增加1，即j←j+1，重复步骤二至步骤五的过程，直到摄像机完成m个拍摄方位下的虚拟立体靶标的拍摄

步骤六：基于多方位虚拟立体靶标进行标定参数优化

根据摄像机在世界坐标系下相对于虚拟立体靶标的各方位参数R_j、t_j，得到各次拍摄的虚拟立体靶标在摄像机坐标系下的方位参数作为进一步优化的初值，其中建立以各方位下拍摄的虚拟立体靶标中的每个靶点的重投影误差平方和为最小的目标函数，其表达式为

$\min {\mathrm{\Σ}}_{j=1}^m{\mathrm{\Σ}}_{i=1}^n{\mathrm{dis}}_{\mathrm{ij}}(A,k_1,k_2,p_1,p_2,s_1,s_2,{\hat{R}}_j,{\hat{t}}_j)---\left(3\right)$

其中表示靶点P_i在第j个拍摄方位下根据非线性摄像机模型重投影到归一化图像平面上的带畸变的图像点与P_i在相应的归一化图像平面上的实际图像点之间的距离的平方；选取一个摄像机方位下由步骤四所获得的内参数矩阵和畸变系数为初值，通过非线性优化算法获得摄像机的最终标定结果。