CN102663767A - 视觉测量系统的相机参数标定优化方法 - Google Patents

Abstract

本发明提供一种视觉测量系统的相机参数标定优化方法，所述方法包括：(1)提取标定靶上一点在像面上的投影点的圆心作为像面坐标；(2)根据所述像面坐标，计算视觉测量系统的相机的内部参数和外部参数的初值；(3)将标定靶物面坐标作为常量，对相机畸变系数、相机的内部参数和外部参数进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1；(4)将优化后的相机畸变系数、相机的内部参数和外部参数作为常量，将标定靶物面坐标作为变量，对标定靶物面坐标进行优化，计算重投影误差之和C2；(5)选定循环条件，循环条件不成立则返回到步骤(3)；(6)分别使重投影误差之和C1以及C2最小，得到优化后的相机内部参数和外部参数以及物面坐标。

Description

视觉测量系统的相机参数标定优化方法

技术领域

本发明属于视觉测量领域，涉及一种视觉测量系统的相机标定方法，尤其适用于标定靶制作精度不高的相机标定系统。

背景技术

视觉测量具有非接触、测量速度快、方便灵活等优点，在虚拟现实、工业检测等领域有着重要的意义和广阔的应用前景。在视觉测量系统中，相机采集图像并计算被测物的三维信息这一过程是其最重要的测量目的，而相机的焦距、光心等内部参数以及旋转矩阵、平移矩阵等外部参数对于物体三维坐标的解算起到了至关重要的作用，所以准确计算以上参数是三维测量的必要前提。

从视觉测量模型可知，相机的标定是指相机的内部参数的标定和外部参数的标定。有多种相机标定方法。大体来讲，相机标定方法可以分为以下三类：传统标定方法、自标定方法和基于主动视觉的标定方法。现在基于传统标定方法所做的改善和创新较多，主要原因是其精度高，典型代表性的方法有直接线性变换法(DLT法)、非线性优化法、两步法(例如，径向排列约束(RAC)法)、张正友二维平面标定法以及双平面法等。

直接线性变换法(DLT法)需要精度很高的三维标靶，而这对于标定靶的加工精度有很高的要求；两步法(例如径向排列约束(RAC)法)、张正友二维平面标定法均需要对标定参数进行非线性优化，其中涉及大量的非线性计算和优化算法的选择，很可能出现优化过程不收敛或计算量大等不利因素。

发明内容

本发明基于传统标定方法，在优化算法中加入对于物面坐标(标定靶)的优化，以得到精确标定的内部参数和外部参数并提高程序的运行效率，一方面说明了标定靶的加工精度对于相机标定结果的重要影响，另一方面也说明了脱离标定靶精度而进行相机标定是实际可行的。

本发明提供一种针对物面坐标优化的标定方法，具有程序运行效率高、标定精度较高的优点。

本发明提供一种基于圆形标定靶的标定方法，在优化参数中引入对于物面坐标的优化。该理论基于传统的标定方法，并参考MATLAB标定工具箱中优化参数步骤，首先应用形态学处理和椭圆拟合的方法精确提取圆心作为像面坐标，其次，采用现有的二维平面标定方法计算内外参数的初值，最后，在优化算法中除标定工具箱的优化步骤以外，另加入对于物面坐标(标定靶)的优化得到精确的内外参数。

根据本发明的一方面，提供一种视觉测量系统的相机参数标定优化方法，所述方法包括以下步骤：(1)提取标定靶上一点在像面上的投影点的圆心，作为标定靶上一点在像面上的投影点的像面坐标；(2)根据所述像面坐标，采用二维平面标定方法计算视觉测量系统的相机的内部参数和外部参数的初值；(3)将标定靶物面坐标作为常量，对相机畸变系数、相机的内部参数和外部参数进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1；(4)将优化后的相机畸变系数、相机的内部参数和外部参数作为常量，将标定靶物面坐标作为变量，对标定靶物面坐标进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C2；(5)选定循环条件，循环条件为相机的焦距以及相机的主点的变化速率是否均小于预定阈值，如果循环条件不成立则返回到步骤(3)，直到循环条件成立为止；(6)分别使重投影误差之和C1以及C2最小，得到优化后的相机内部参数和外部参数以及优化后的物面坐标。

相机的内部参数可包括相机的焦距、相机的主点以及像素在图像坐标系的x轴方向上的物理尺寸和像素在图像坐标系的y轴方向上的物理尺寸，相机的外部参数可包括由相机坐标系转换到世界坐标系的旋转矩阵和平移向量。

步骤(2)可包括：根据标定靶上所述一点在世界坐标系下的坐标与所述一点在像面上的投影点的像面坐标之间的关系，来计算视觉测量系统的相机的内部参数和外部参数的初值。

在步骤(1)中，可采用椭圆拟合的方法提取圆心。

所述重投影误差指的是根据物面坐标、相机的内部参数和外部参数所计算出的标定靶上的特征点在像面上的图像坐标值与相机采集到的标定靶上的特征点在像面上的图像坐标值之差。

在步骤(6)中，可采用优化公式(J^TJ+μI)h_lm＝-J^Tf′来优化物面坐标，其中，J为像面坐标对物面坐标的偏导数形成的雅克比矩阵，f为像面实际坐标与重投影坐标的差值，称为残差，h_lm为每次迭代变量的变化值，μ为衰减参数，I表示单位矩阵。通过循环控制，当使得残差f′的平方和最小时，优化结束，得到的物面坐标为优化后的物面坐标。

在步骤(6)中，可采用最小二乘原理分别使重投影误差之和C1以及C2最小。

相机畸变系数可包括相机径向畸变系数和相机切向畸变系数。

根据本发明的视觉测量系统的参数标定优化方法与现有技术相比，加速了优化迭代的收敛速度，提高了程序运行效率，并获得较高测量精度，可用于单目或双目视觉测量系统的高精度标定。

附图说明

通过结合附图，从下面的实施例的描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：

图1示出视觉测量系统的三个坐标系之间的关系的示意图；

图2是根据本发明的视觉测量系统的参数标定优化方法的流程图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

首先，定义视觉测量系统的三个坐标系的概念。三个坐标系是世界坐标系、相机坐标系和图像坐标系。图1示出视觉测量系统的三个坐标系之间的关系(几何成像关系)的示意图。

世界坐标系是描述视觉测量系统的相机的位置的基准坐标系，如图1中的X_w、Y_w、Z_w轴坐标系。相机坐标系是指以相机光心O为原点的坐标系；在图1中，由点O与X_c、Y_c、Z_c轴组成的直角坐标系形成相机坐标系。图像坐标系是指相机的像面下的坐标系，相机的光轴与图像平面的交点O1为图像坐标系的原点；在图1中，由点O₁与X、Y、Z_c轴组成的直角坐标系形成图像坐标系。相机坐标系的X_c轴、Y_c轴分别与图像坐标系的X轴、Y轴平行。OO₁为相机的焦距。

相机线性模型也称针孔模型，即，空间内任何一点P在像面上的投影位置P₁为相机光心O与P点的连线OP与像面的交点。因此，有如下关系：

$x=\frac{f{X}_c}{Z_c}$ $y=\frac{f{Y}_c}{Z_c}---\left(1\right)$

其中，(x，y)为P₁点的图像坐标，(X_c，Y_c，Z_c)为空间内的一点P在相机坐标系下的坐标，f为相机焦距。

采用透视投影关系表示为：

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]---\left(2\right)$

根据投影关系，能够得到以世界坐标系表示的P点坐标与P点在像面上的投影点P₁在图像坐标系下的坐标(u，v)的关系，如下面的等式(3)所示：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(3\right)$

其中，dx表示每个像素在图像坐标系的x轴方向上的物理尺寸，dy表示每个像素在图像坐标系的y轴方向上的物理尺寸，经过矩阵运算进而得到以下结果：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\left[=\right]\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2{X}_w={\mathrm{MX}}_w---\left(4\right)$

其中，f_x＝f/dx，f_y＝f/dy；矩阵M为3×4矩阵，为投影矩阵，矩阵M₁中包含了f_x，f_y，u₀，v₀(其中，相机的光轴与像面的交点的坐标为(u₀，v₀)，该交点称为相机的主点)，只与相机的内部结构有关；因此，相机的焦距f、相机的主点(u₀，v₀)以及像素在图像坐标系的x轴方向上的物理尺寸dx和像素在图像坐标系的y轴方向上的物理尺寸dy称为相机的内部参数；矩阵M₂表示由相机坐标系到世界坐标系的转换关系，包含了旋转矩阵R和平移向量t，称为相机的外部参数。

因此，可根据标定靶上一点(一个特征点)在世界坐标系下的坐标与所述一点在像面上的投影点的像面坐标之间的关系，来计算视觉测量系统的相机的内部参数和外部参数的初值。

如上所述根据传统标定方法(例如，张正友二维平面标定法)计算出相机的内部参数和外部参数的初值后，选用优化算法对精度较差的初值进行优化处理，所以优化目标函数是必不可少的。

目标函数是优化参数的依据，目标函数通常是特定观察值与测量值之间的差值，测量值中包含需要优化的变量，而这个差值是根据优化迭代次数的增加而不断减小，直到这个差值减小到最小为止，优化过程结束。目标函数可根据优化参数的实际情况而确定。

MATLAB标定工具箱中的目标函数没有考虑物面坐标(标定靶坐标)的加工精度的影响，所以在本发明中加入对于物面坐标的优化过程，具体步骤如下：

(1)首先将标定靶物面坐标X_ij作为常量，对相机畸变系数、相机的内部参数和外部参数进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1， $C1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\stackrel{\‾}{m}(k_1,k_2,p_1,p_2,A,R_i,T_i,X_{\mathrm{ij}})\left|\right|;$ 其中，n为标定靶上的特征点的数量，m_ij为相机采集的像面坐标，k1、k2为相机径向畸变系数；p1、p2为相机切向畸变系数，A为相机内部参数矩阵(包含相机焦距、相机主点等参数)，R_i和T_i分别是由相机坐标系到世界坐标系的旋转矩阵和平移向量。相机畸变系数可包括相机径向畸变系数和相机切向畸变系数。

(2)然后将优化后的相机畸变系数、相机的内部参数和外部参数作为常量，将标定靶物面坐标X_ij作为变量，对标定靶物面坐标进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C2， $C2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\stackrel{\‾}{m}(k_1,k_2,p_1,p_2,A,R_i,T_i,X_{\mathrm{ij}})\left|\right|;$

(3)选定循环条件，循环条件为相机的焦距、相机的主点两个参数变化的速率(即Δf/f_new以及Δc/c_new)是否均小于预定阈值，其中，Δf是焦距的变化量，Δc是主点的变化量，f_new和c_new为优化一次后的新值，如果循环条件不成立则返回到步骤(1)，再次进行优化，直到循环条件成立为止。

步骤(1)和(2)的等式中的黑体(粗体)为常量，X_ij是标定靶物面坐标，C1是MATLAB标定工具箱中的重投影误差，用于计算优化的畸变系数、相机的内部参数和外部参数。C2是改进的目标函数所产生的重投影误差值，用于优化计算物面坐标。根据循环条件，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1以及C2，并根据最小二乘原理分别使重投影误差之和C1以及C2最小，得到的一系列参数即为优化后的标定参数以及物面优化后的坐标。

这里，重投影误差是在像面上的误差，是根据物面坐标、相机的内部参数和外部参数所计算出的标定靶上的特征点的在像面上的图像坐标值与相机采集到的标定靶上的特征点的在像面上的图像坐标值之差。改进的目标函数就是在原先的优化目标函数C1之后，新加入的针对物面坐标优化的目标函数C2。

物面坐标的优化采用Levenberg-Marquardt优化算法(简称LM算法)，其优化条件相对宽松。根据优化原理，计算像面坐标对物面坐标的偏导数，形成雅克比矩阵，然后计算物面坐标的增量值，具体如下所示：

$\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1n}\\ x_{21}& x_{22}& ...& x_{2n}\\ 1& 1& ...& 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{cccc}{X}_{11}& X_{12}& ...& X_{1n}\\ X_{21}& X_{22}& ...& X_{2n}\\ 0& 0& ...& 0\\ 1& 1& ...& 1\end{array}\right]---\left(5\right)$

等式(5)表示物面坐标与像面坐标的关系，则雅克比矩阵J为下式：

$J=\frac{{\∂x}_{\mathrm{ij}}}{{\∂X}_{\mathrm{ij}}}=\left[\begin{array}{cccccccc}{m}_{11}& 0& 0& 0& m_{12}& 0& 0& 0\\ 0& m_{11}& 0& 0& 0& m_{12}& 0& 0\\ 0& 0& ...& 0& 0& 0& ...& 0\\ 0& 0& 0& m_{11}& 0& 0& 0& m_{12}\\ m_{21}& 0& 0& 0& m_{22}& 0& 0& 0\\ 0& m_{21}& 0& 0& 0& m_{22}& 0& 0\\ 0& 0& ...& 0& 0& 0& ...& 0\\ 0& 0& 0& m_{21}& 0& 0& 0& m_{22}\end{array}\right]---\left(6\right)$

雅克比矩阵J的维度为(2n×2n)，n为标定靶上的特征点的数量。

LM优化算法基本公式为：

(J^TJ+μI)h_lm＝-J^Tf′   (7)

J为像面坐标x_ij对所有物面坐标X_ij的偏导数所组成的矩阵，称之为雅克比矩阵；f′为像面实际坐标与重投影坐标的差值，称为残差；h_1m为每次迭代变量的变化值；μ为衰减参数，衰减参数影响优化的下降方向以及参数的变化值h_lm，I表示单位矩阵。其它标定参数值的确定可参考MATLAB标定工具箱，通过循环控制，当残差f′的平方和最小时，优化结束。此时的X_ii即为优化后的物面坐标值。

根据参数优化的目标函数C1：

$C1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left|\right|m_{\mathrm{ij}}-\stackrel{\‾}{m}(k_1,k_2,p_1,p_2,A,R_i,T_i,X_{\mathrm{ij}})\left|\right|$

当优化各自的参数时，为像面坐标对各自变量的偏导数所形成的雅克比矩阵，当物面坐标Xij经过优化更精确后，一方面，重投影误差C1会变得很小，优化的目标函数就会更快减小，提高了优化收敛速度，提高了程序运行效率；另一方面，由重投影所计算出来各自变量的雅克比矩阵就会更加准确，把这些变量带入公式(7)，各自的变化值h_lm就会更加接近真值，因此得到更加精确的相机的内部参数和外部参数。

下面描述根据本发明的视觉测量系统的参数标定优化方法。图2是根据本发明的视觉测量系统的参数标定优化方法的流程图。

参照图2，在步骤201，提取标定靶上一点在像面上的投影点的圆心，作为标定靶上一点在像面上的投影点的像面坐标。优选地，可采用椭圆拟合的方法提取圆心。

在步骤202，根据所述像面坐标，采用二维平面标定方法计算视觉测量系统的相机的内部参数和外部参数的初值。可根据标定靶上一点在世界坐标系下的坐标与所述一点在像面上的投影点的像面坐标之间的关系，来计算视觉测量系统的相机的内部参数和外部参数的初值。

在步骤203，将标定靶物面坐标作为常量，对相机畸变系数、相机的内部参数和外部参数进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1；

在步骤204，将优化后的相机畸变系数、相机的内部参数和外部参数作为常量，将标定靶物面坐标作为变量，对标定靶物面坐标进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C2；

在步骤205，选定循环条件，循环条件为相机的焦距、相机的主点两个参数的变化速率是否均小于预定阈值，如果循环条件不成立则返回到步骤203，直到循环条件成立为止；

在步骤206，分别使重投影误差之和C1以及C2最小，得到优化后的相机标定参数(相机的内部参数和外部参数)以及优化后的物面坐标。

根据本发明的视觉测量系统的参数标定优化方法与现有技术相比，加速了优化迭代的收敛速度，提高了程序运行效率，并获得较高测量精度，可用于单目或双目视觉测量系统的高精度标定。

虽然本发明是参照其示例性的实施例被具体描述和显示的，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。

Claims (8)

1.一种视觉测量系统的相机参数标定优化方法，包括以下步骤：

(1)提取标定靶上一点在像面上的投影点的圆心，作为所述标定靶上一点在像面上的投影点的像面坐标；

(2)根据所述像面坐标，采用二维平面标定方法计算视觉测量系统的相机的内部参数和外部参数的初值；

(3)将标定靶物面坐标作为常量，对相机畸变系数、相机的内部参数和外部参数进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C1；

(4)将优化后的相机畸变系数、相机的内部参数和外部参数作为常量，将标定靶物面坐标作为变量，对标定靶物面坐标进行优化，计算标定靶上的不同方向上的所有特征点在像面上的重投影误差之和C2；

(5)选定循环条件，循环条件为相机的焦距以及相机的主点的变化速率是否均小于预定阈值，如果循环条件不成立则返回到步骤(3)，直到循环条件成立为止；

(6)分别使重投影误差之和C1以及C2最小，得到优化后的相机内部参数和外部参数以及优化后的物面坐标。

2.根据权利要求1所述的相机参数标定优化方法，其中，相机的内部参数包括相机的焦距、相机的主点以及像素在图像坐标系的x轴方向上的物理尺寸和像素在图像坐标系的y轴方向上的物理尺寸，

相机的外部参数包括由相机坐标系转换到世界坐标系的旋转矩阵和平移向量。

3.根据权利要求2所述的相机参数标定优化方法，其中，步骤(2)包括：根据标定靶上所述一点在世界坐标系下的坐标与所述一点在像面上的投影点的像面坐标之间的关系，来计算视觉测量系统的相机的内部参数和外部参数的初值。

4.根据权利要求1所述的相机参数标定优化方法，其中，在步骤(1)中，采用椭圆拟合的方法提取圆心。

5.根据权利要求1所述的相机参数标定优化方法，其中，所述重投影误差指的是根据物面坐标、相机的内部参数和外部参数所计算出的标定靶上的特征点在像面上的图像坐标值与相机采集到的标定靶上的特征点在像面上的图像坐标值之差。

6.根据权利要求1所述的相机参数标定优化方法，其中，在步骤(6)中，采用优化公式(J^TJ+μI)h_lm＝-J^Tf′来优化物面坐标，

其中，J为像面坐标对物面坐标的偏导数形成的雅克比矩阵，f为像面实际坐标与重投影坐标的差值，称为残差，h_lm为每次迭代变量的变化值，μ为衰减参数，I表示单位矩阵，

通过循环控制，当使得残差f′的平方和最小时，优化结束，得到的物面坐标为优化后的物面坐标。

7.根据权利要求1所述的相机参数标定优化方法，其中，在步骤(6)中，采用最小二乘原理分别使重投影误差之和C1以及C2最小。

8.根据权利要求1所述的相机参数标定优化方法，其中，相机畸变系数包括相机径向畸变系数和相机切向畸变系数。

Images