CN104156974A - 基于多重约束的摄像机畸变标定方法 - Google Patents

Abstract

本发明基于多重约束的摄像机畸变标定方法属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内参数现场标定过程中的畸变校正。该标定方法利用直线的射影不变性，即保直线性和平行直线对应的投影线段交于消隐点，以及纯平移两视图几何中的固有特性，即极线约束和基本矩阵的反对称特性，使摄像机参数的优化更为合理；利用了主动视觉标定过程中，控制摄像机于不同姿态下靶标处于视场中的不同位置，最终使靶标等效覆盖了整个视场；根据一个大型靶标进行畸变系数的综合求解，避免了测量系统的冗杂。本发明可以消除畸变对基本矩阵的估算和摄像机参数标定的影响，能够很好地应用于大型锻件尺寸测量系统中摄像机现场标定。

Description

基于多重约束的摄像机畸变标定方法

技术领域

本发明属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内参数现场标定过程中的畸变校正。

背景技术

计算机视觉处理的基本任务之一是根据二维图像信息恢复物体的三维几何信息。目前计算机视觉领域中的大部分算法是基于理想的针孔成像模型建立的，然而光学镜头畸变的存在使得实际成像模型与理想针孔模型并不一致。在进行摄像机标定的过程中，由于无法从硬件上着手将畸变完全消除，必须通过合适的畸变模型进行相应的补偿。通常把利用求取的畸变系数将图像“去畸变”的过程称为畸变校正，畸变校正的准确与否将直接影响内参数的标定从而对计算机视觉测量的精度产生显著影响，因而找到一种准确的畸变校正方法对于摄像机标定以至计算机视觉处理领域都具有重大意义。

目前现有的畸变系数求取方法主要有：①将包含畸变系数在内的所有摄像机参数同时进行优化迭代求解，该方法由于没有给定良好的优化初值，容易不收敛；②首先利用一定的方法求解出其他参数，然后给定畸变系数的初始值，结合已求得的其他参数进行全局优化进行求解，该方法由于初始值较为合理，因而容易收敛到较好的解，但是该方法计算量较大；③基于交比不变特性的畸变求取方法，该方法虽然实现起来较为容易，但是有时不能提供足够的约束，以至于容易得到错误的解。

通过采用基于纯平移两视图几何的畸变校正方法，将畸变系数进行单独求解，在求取尺度因子和摄像机间外部参数之前即可利用畸变系数进行特征点的畸变校正，进而获得更佳的参数估计值。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，针对在锻造现场，传统的标定过程中对畸变系数的求取方法存在不易收敛、计算量较大，甚至不能提供足够约束以至于求解不准确等问题，发明一种基于纯平移两视图几何的畸变校正方法，将畸变系数进行单独求解，在求取尺度因子和摄像机间外部参数之前即可利用畸变系数进行特征点的畸变校正，从而得到更优参数估计值；根据本发明将所有获取的图像进行特征点的畸变校正可以消除畸变对基本矩阵的估算和摄像机参数标定的影响，适于大型锻件尺寸测量系统中摄像机现场标定。

本发明采取的技术方案是一种基于多重约束的摄像机畸变标定方法，其特征在于，同时利用直线的射影不变性，即保直线性和平行直线对应的投影线段交于消隐点，以及纯平移两视图几何中的固有特性，即极线约束和基本矩阵的反对称特性，使摄像机参数的优化更为合理。本发明巧妙地利用了主动视觉标定过程中，控制摄像机于不同姿态下靶标处于视场中的不同位置，最终使靶标等效覆盖了整个视场；由于其做法相当于是根据一个大型靶标进行畸变系数的综合求解而非针对每个小型靶标进行单独求解，避免了测量系统的冗杂；

具体步骤如下：

步骤1：搭建摄像机标定系统，进行四组正交运动的拍摄；

将摄像机安装在由两根平移导轨和两根旋转导轨组成的四维电控平台上，四维电控平台(2)安装在平台(1)的台面上，控制四维电控平台(2)带动摄像机做四组平面内的正交运动，且不同正交运动之间，摄像机需改变姿态，即有一定的俯仰角度或扫视角度，角度间差值不应小于5度。每组正交运动下，摄像机进行两次纯平移运动，具有3个位置点，在每个位置上拍摄一张靶标的图像；

步骤2：建立畸变求解目标函数；

采用的优化目标函数由下述约束构成：

(1)基于直线的射影变换不变性，又称同素性；对于每组运动条件下的每张图片来说，同一光条上的特征点(u_i,v_i)共线；

对同一光条上特征点的坐标进行一元线性回归，然后求取残差平方和，使残差平方和最小；

$S_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-{\tilde{v}}_i)}^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\tilde{a}-\tilde{b}{u}_i)}^2---\left(1\right)$

其中， ${\tilde{v}}_i={\tilde{v}}_i{|}_{u=u_i}=\tilde{a}+\tilde{b}{u}_i,$ 称为u_i处的残差；

(2)对于每组正交运动，纯平移运动前、后拍摄的两张图像上对应像点的连线交于一点；

由于畸变等因素的影响，对应像点连线并非交于一点；将对应像点的连线按照斜率大小排序，为避免交点求取的系数矩阵呈现病态，按照一大一小的组合方式求取连线间的交点，假定有h个交点，求取交点之间的距离平方和，使距离平方和最小；

$S_2=\underset{i=1}{\overset{C_h^2}{\mathrm{\Σ}}}({(A-B)}_1^2+{(A-B)}_2^2)---\left(2\right)$

其中，为从h个交点中选取两个点的组合数目，A、B为所选取的两个交点的像素坐标；

(3)对于每组正交运动，纯平移运动前、后拍摄的两张图像上满足对极线约束，即每张图像上特征点应在其相应的极线上；

求取匹配点m、m'到对应极线l_m′、l_m的距离平方和，使距离平方和最小；

$S_3=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(d^2(m,l_{m^{\′}})+d^2(m^{\′},l_m))=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{{\left(m^T{F}^T{m}^{\′}\right)}^2}{{\left(F^T{m}^{\′}\right)}_1^2+{\left(F^T{m}^{\′}\right)}_2^2}+\frac{{\left(m^{\′T}\mathrm{Fm}\right)}^2}{{\left(\mathrm{Fm}\right)}_1^2+{\left(\mathrm{Fm}\right)}_2^2})---\left(3\right)$

其中，F为基本矩阵；

在每次迭代求解畸变系数的过程中都对基本矩阵F进行重新估计，这样的处理可以减小单次优化参数的维度，优化效果较好；

(4)对于每组正交运动，纯平移运动前、后拍摄的两张图像间的基本矩阵F为反对称矩阵；

F具有两个自由度，用一个3参数的反对称矩阵来表示虽然过参数化，但不会影响计算结果；

$F=\left[\begin{array}{ccc}0& f_{12}& f_{13}\\ -f_{12}& 0& f_{23}\\ -f_{13}& -f_{23}& 0\end{array}\right]---\left(4\right)$

利用基本矩阵F为反对称矩阵的性质可构建如下约束：

$S_4=f_{11}^2+f_{22}^2+f_{33}^2+{(f_{12}+f_{21})}^2+{(f_{13}+f_{31})}^2+{(f_{23}+f_{32})}^2---\left(5\right)$

步骤3：利用Levenberg-Marquardt优化算法求解摄像机畸变；

综合上述约束优化，可建立如下优化目标函数来获取畸变系数：

min(S₁+S₂+S₃+S₄) (6)

利用该优化目标函数进行畸变系数k₁、p₁和p₂的估计，求出畸变系数后可将实际拍摄得到的特征点坐标校正为符合线性模型的理想特征点坐标。

本发明的有益效果是利用直线的射影不变形和纯平移两视图几何中的固有特性，使摄像机畸变的求解约束方程更为合理；同时巧妙地利用了主动视觉的整个过程，最终使靶标等效覆盖了整个视场，避免了测量系统的冗余。

附图说明

图1光学畸变误差示意图。其中：O_CX_CY_CZ_C为摄像机坐标系，O_WX_WY_WZ_W为世界坐标系，oxy为物点坐标系，O_C为光心，P为物点，p与p′分别称为物点P的理想成像点与实际成像点。

图2标定装置示意图。其中：1-隔震平台，2-四维电控平台，

3-摄像机，4-光整的平板或墙面，5-靶标图案。

具体实施方式

下面结合附图和技术方案进一步详细说明本发明的具体实施方式；

在附图1中，O_CX_CY_CZ_C为摄像机坐标系，O_WX_WY_WZ_W为世界坐标系，oxy为物点坐标系，O_C为光心，P为物点。摄像机镜头畸变使光线发生细微偏移而产生像差，称为光学畸变误差，致使物点P的像点位置由线性模型描述的物点P的理想成像点p偏移至实际成像点p′，如图1所示。图像像素坐标分别为(u,v)和(u′,v′)，它们之间存在如下关系：

$\left\{\begin{array}{c}u=u^{\′}+{\mathrm{\δ}}_u\\ v=v^{\′}+{\mathrm{\δ}}_v\end{array}\right.---\left(7\right)$

其中，(u′,v′)为实际的像点坐标，(u,v)为相应的理想像点坐标；δ_u、δ_v为非线性畸变值，即像点实际位置与理想位置的偏差值；

主要的光学畸变误差分为径向畸变、离心畸变和薄棱镜畸变，三种畸变均会引起像点位置的径向偏差，而且后两种畸变同时会引起像点的切向偏差。根据具体情况选取合适的畸变模型，综合分析，考虑一阶径向畸变和二阶离心畸变的非线性摄像机模型可以更好地描述本发明中采用的成像系统；

径向畸变模型如下：

$\left\{\begin{array}{c}{\mathrm{\δ}}_{u,R}=k_1{\tilde{u}}_d{r}_d^2+O\left[{({\tilde{u}}_d,{\tilde{v}}_d)}^5\right]\\ {\mathrm{\δ}}_{v,R}=k_1{\tilde{v}}_d{r}_d^2+O\left[{({\tilde{u}}_d,{\tilde{v}}_d)}^5\right]\end{array}\right.---\left(8\right)$

离心畸变模型如下：

$\left\{\begin{array}{c}{\mathrm{\δ}}_{u,D}=2p_1{\tilde{u}}_d{\tilde{v}}_d+p_2(r_d^2+2{\tilde{u}}_d^2)+O\left[{({\tilde{u}}_d,{\tilde{v}}_d)}^4\right]\\ {\mathrm{\δ}}_{v,D}=p_1(r_d^2+2{\tilde{v}}_d^2)+2p_2{\tilde{u}}_d{\tilde{v}}_d+O\left[{({\tilde{u}}_d,{\tilde{v}}_d)}^4\right]\end{array}\right.---\left(9\right)$

其中，δ_u,R、δ_v,R为非线性径向畸变值，即像点实际位置与理想位置的偏差值；δ_u,D、δ_v,D为非线性离心畸变值，即像点实际位置与理想位置的偏差值； ${\tilde{u}}_d=u^{\′}-u_0,$ ${\tilde{v}}_d=v^{\′}-v_0,$ $r_d=\sqrt{{\tilde{u}}_d^2+{\tilde{v}}_d^2};$ (u′,v′)为实际的像点坐标，(u,v)为相应的理想像点坐标；k₁、k₂、k₃为径向畸变系数；p₁、p₂为离心畸变系数；利用适当的畸变模型可以坐标校正为相应的理想像点坐标(u,v)。这些畸变系数与尺度因子f_x和f_y、主点坐标(u₀,v₀)共同组成了摄像机的内部参数；

本实验采用的数码摄像机采用韩国Vieworks公司的VA-29MC-M5A0黑白CCD摄像机，有效像素为6576×4384，像素大小为5.5μm，全分辨率时帧频可达5帧/秒；镜头型号为AF-SNikkor24-70mmf/2.8G。摄像机(3)安装在由两根平移导轨和两根旋转导轨组成的四维电控平台(2)上，经双频激光干涉仪测得两根平移导轨之间的夹角为89°58′2″，光线投影在光整的平板(4)上，平板上有靶标图案(5)，见附图2。

步骤1：搭建摄像机标定系统，进行四组正交运动的拍摄；

将四维电控平台(2)安装在平台(1)的台面上，控制四维电控平台(2)带动摄像机做四组平面内的正交运动，且不同正交运动之间，摄像机需改变姿态，即有一定的俯仰角度或扫视角度，角度间差值不应小于5度；每组正交运动下，摄像机进行两次纯平移运动，具有3个位置点，在每个位置上拍摄一张靶标的图像；

步骤2：建立畸变求解目标函数；

采用的优化目标函数由下述约束构成：

(1)基于直线的射影变换不变性(又称同素性)有，对于每组运动条件下的每张图片来说，同一光条上的特征点(u_i,v_i)共线；

对同一光条上特征点的坐标进行一元线性回归，然后求取残差平方和，使残差平方和最小；

$S_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-{\tilde{v}}_i)}^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\tilde{a}-\tilde{b}{u}_i)}^2---\left(10\right)$

其中， ${\tilde{v}}_i={\tilde{v}}_i{|}_{u=u_i}=\tilde{a}+\tilde{b}{u}_i,$ 称为u_i处的残差；

(2)对于每组正交运动，纯平移运动前、后拍摄的两张图像上对应像点的连线交于一点；

由于畸变等因素的影响，对应像点连线并非交于一点；将对应像点的连线按照斜率大小排序，为避免交点求取的系数矩阵呈现病态，按照一大一小的组合方式求取连线间的交点，假定有h个交点，求取交点之间的距离平方和，使距离平方和最小；

$S_2=\underset{i=1}{\overset{C_h^2}{\mathrm{\Σ}}}({(A-B)}_1^2+{(A-B)}_2^2)---\left(2\right)$

其中，为从h个交点中选取两个点的组合数目，A、B为所选取的两个交点的像素坐标；

(3)对于每组正交运动，纯平移运动前、后拍摄的两张图像上满足对极线约束，即每张图像上特征点应在其相应的极线上；

求取匹配点m、m'到对应极线l_m′、l_m的距离平方和，使距离平方和最小；

$S_3=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(d^2(m,l_{m^{\′}})+d^2{(m}^{\′},l_m))=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{{\left(m^T{F}^T{m}^{\′}\right)}^2}{{\left(F^T{m}^{\′}\right)}_1^2+{\left(F^T{m}^{\′}\right)}_2^2}+\frac{{\left(m^{\′T}\mathrm{Fm}\right)}^2}{{\left(\mathrm{Fm}\right)}_1^2+{\left(\mathrm{Fm}\right)}_2^2})---\left(12\right)$

其中，F为基本矩阵；

在每次迭代求解畸变系数的过程中都对基本矩阵F进行重新估计，这样的处理可以减小单次优化参数的维度，优化效果较好；

(4)对于每组正交运动，纯平移运动前、后拍摄的两张图像间的基本矩阵F为反对称矩阵；

F具有两个自由度，用一个3参数的反对称矩阵来表示虽然过参数化，但不会影响计算结果；

$F=\left[\begin{array}{ccc}0& f_{12}& f_{13}\\ -f_{12}& 0& f_{23}\\ -f_{13}& -f_{23}& 0\end{array}\right]---\left(4\right)$

利用基本矩阵F为反对称矩阵的性质可构建如下约束：

$S_4=f_{11}^2+f_{22}^2+f_{33}^2+{(f_{12}+f_{21})}^2+{(f_{13}+f_{31})}^2+{(f_{23}+f_{32})}^2---\left(5\right)$

步骤3：利用Levenberg-Marquardt优化算法求解摄像机畸变；

综合上述约束优化，可建立如下优化目标函数来获取畸变系数：

min(S₁+S₂+S₃+S₄) (15)

利用该优化目标函数进行畸变系数k₁、p₁和p₂的估计，求出畸变系数后可将实际拍摄得到的特征点坐标校正为符合线性模型的理想特征点坐标。至此，完成了基于多重约束的摄像机畸变校正；

利用四维电控平台控制摄像机做四组正交运动，每组正交运动由两个纯平移运动组成，在平移运动前后各拍摄一张靶标图像，共拍摄12张图像，利用这些图像及本发明中的方法进行畸变校正，可求取畸变系数；

摄像机畸变系数为：

k₁＝-1.7117×10^-10，p₁＝-4.7972×10^-8，p₂＝4.7087×10^-7

根据本发明将所有获取的图像进行特征点的畸变校正可以消除畸变对基本矩阵的估算和摄像机参数标定的影响，能够很好地应用于大型锻件尺寸测量系统中摄像机现场标定。

Claims (1)

1.一种基于多重约束的摄像机畸变标定方法，其特征在于，利用直线的射影不变性，即保直线性和平行直线对应的投影线段交于消隐点，以及纯平移两视图几何中的固有特性，即极线约束和基本矩阵的反对称特性，使摄像机参数的优化更为合理；利用了主动视觉标定过程中，控制摄像机于不同姿态下靶标处于视场中的不同位置，最终使靶标等效覆盖了整个视场；根据一个大型靶标进行畸变系数的综合求解，而非针对每个小型靶标进行单独求解，避免了测量系统的冗杂；具体步骤如下：

步骤1：搭建摄像机标定系统，进行四组正交运动的拍摄；

将摄像机(3)安装在由两根平移导轨和两根旋转导轨组成的四维电控平台(2)上，四维电控平台(2)安装在平台(1)的台面上，控制四维电控平台带动摄像机做四组平面内的正交运动，且不同正交运动之间，摄像机需改变姿态，即有一定的俯仰角度或扫视角度，角度间差值不应小于5度。每组正交运动下，摄像机进行两次纯平移运动，具有3个位置点，在每个位置上拍摄一张靶标的图像；

步骤2：建立畸变求解目标函数；

采用的优化目标函数由下述约束构成：

(1)基于直线的射影变换不变性，又称同素性；对于每组运动条件下的每张图片来说，同一光条上的特征点(u_i,v_i)共线；

对同一光条上特征点的坐标进行一元线性回归，然后求取残差平方和，使残差平方和最小；

$S_1=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-{\tilde{v}}_i)}^2=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\tilde{a}-\tilde{b}{u}_i)}^2---\left(1\right)$

其中， ${\tilde{v}}_i={\tilde{v}}_i{|}_{u=u_i}=\tilde{a}+\tilde{b}{u}_i,$ 称为u_i处的残差；

(2)对于每组正交运动，纯平移运动前、后拍摄的两张图像上对应像点的连线交于一点；

由于畸变等因素的影响，对应像点连线并非交于一点；将对应像点的连线按照斜率大小排序，为避免交点求取的系数矩阵呈现病态，按照一大一小的组合方式求取连线间的交点，假定有h个交点，求取交点之间的距离平方和，使距离平方和最小；

$S_2=\underset{i=1}{\overset{C_h^2}{\mathrm{\Σ}}}({(A-B)}_1^2+{(A-B)}_2^2)---\left(2\right)$

其中，为从h个交点中选取两个点的组合数目，A、B为所选取的两个交点的像素坐标；

(3)对于每组正交运动，纯平移运动前、后拍摄的两张图像上满足对极线约束，即每张图像上特征点应在其相应的极线上；

求取匹配点m、m'到对应极线l_m′、l_m的距离平方和，使距离平方和最小；

$S_3=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(d^2(m,l_{m^{\′}})+d^2(m^{\′},l_m))=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{{\left(m^T{F}^T{m}^{\′}\right)}^2}{{\left(F^T{m}^{\′}\right)}_1^2+{\left(F^T{m}^{\′}\right)}_2^2}+\frac{{\left(m^{\′T}\mathrm{Fm}\right)}^2}{{\left(\mathrm{Fm}\right)}_1^2+{\left(\mathrm{Fm}\right)}_2^2})---\left(3\right)$

其中，F为基本矩阵；

在每次迭代求解畸变系数的过程中都对基本矩阵F进行重新估计，这样的处理可以减小单次优化参数的维度，优化效果较好；

(4)对于每组正交运动，纯平移运动前、后拍摄的两张图像间的基本矩阵F为反对称矩阵；

F具有两个自由度，用一个3参数的反对称矩阵来表示虽然过参数化，但不会影响计算结果；

$F=\left[\begin{array}{ccc}0& f_{12}& f_{13}\\ -f_{12}& 0& f_{23}\\ -f_{13}& -f_{23}& 0\end{array}\right]---\left(4\right)$

利用基本矩阵F为反对称矩阵的性质可构建如下约束：

$S_4=f_{11}^2+f_{22}^2+f_{33}^2+{(f_{12}+f_{21})}^2+{(f_{13}+f_{31})}^2+{(f_{23}+f_{32})}^2---\left(5\right)$

步骤3：利用Levenberg-Marquardt优化算法求解摄像机畸变；

综合上述约束优化，可建立如下优化目标函数来获取畸变系数：

min(S₁+S₂+S₃+S₄)   (6)

利用该优化目标函数进行畸变系数k₁、p₁和p₂的估计，求出畸变系数后可将实际拍摄得到的特征点坐标校正为符合线性模型的理想特征点坐标。