CN104268876B - 基于分块的摄像机标定方法 - Google Patents

Abstract

本发明基于分块的摄像机标定方法属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内、外参数的现场标定方法。标定方法首先利用变焦的方法计算出摄像机主点坐标，在不同焦距下拍摄标定模板的7幅图像，通过缩比不变性求得摄像机主点坐标，而后将大视场划分成n×n个子空间，分别对每个区域进行标定；在测量所需的焦距下拍摄标定模不同方位的图像，然后对模板图像进行直线提取；利用所得直线求取对应正交消隐点，即可求得摄像机内参数；最后，再标定双目视觉测量系统的外参数。本发明解决了摄像机图像不同区域标定与校正参数不一致的难题，有效提高了标定的精度，特别适用于锻造现场的准确标定。

Description

基于分块的摄像机标定方法

技术领域

本发明属于图像处理和计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中摄像机内、外参数的现场标定方法。

背景技术

计算机视觉处理的基本任务之一是根据二维图像信息恢复物体的三维几何信息。要实现利用图像点求取相应的空间物体表面点的任务，需要确定摄像机参数，即对摄像机进行标定。摄像机标定过程是建立摄像机所拍摄场景中物体上特征点的图像坐标与物体上特征点世界坐标的关系。测量系统中需标定的摄像机参数分为摄像机的畸变等内参数和被测平面相对于摄像机坐标系的外参数，其中内参数包括摄像机的主点坐标以及尺度因子，外参数包括两摄像机间的旋转矩阵和平移矢量。标定时，由场景中已知特征点的图像坐标和世界坐标即可求解摄像机的内外参数。摄像机标定是构建测量系统地一项关键技术，标定结果对系统的测量准确度及效果有至关重要的作用。

摄像机的标定方法较多，Tsai提出的基于径向约束的两步法及张正友提出的基于棋盘格靶标标定方法均可以获得较高的精度。但是对于大视场下的摄像机标定而言，由于传统标定方法所占有视场较小，导致特征点提取误差大，通过标定获得的摄像机内参数存在误差，并对外参数的标定精度产生影响。在实际的成像系统中，由于系统复杂非线性的影响，在视场的不同区域，畸变参数并不一致，用单一的一组内外参数表示被测平面相对于摄像机的姿态进行平面图像测量，获得的测量结果精度较差。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，针对在锻造现场传动标定方法精度较差的问题，发明一种基于分块的摄像机标定方法。根据实际成像系统非线性畸变的特点，将整个视场划分为n×n个子空间，该方法首先求取主点坐标，利用分块的思想将视场划分成n×n个子空间，而后分别对n×n个子空间进行标定：利用标定模板特征点计算图像的正交消隐点，并计算相机的尺度因子，最后，以基本矩阵和本质矩阵分别得出n×n个子空间的参数。在每个子空间上利用基于主动视觉系统的摄像机标定方法分别进行其余内参数和外参数的标定，能较好地补偿实际成像系统中存在的误差，并取得较高的图像测量精度。所以，这种标定方法有效提高了标定的精度。

本发明采用的技术方案是一种基于分块的摄像机标定方法，其特征是，标定方法首先利用变焦的方法计算出摄像机主点坐标，在不同焦距下拍摄标定模板的7幅图像，通过缩比不变性求得摄像机主点坐标，而后将大视场划分成n×n个子空间，分别对每个区域进行标定，具体标定方法如下：在测量所需的焦距下拍摄标定模不同方位的图像，然后对模板图像进行直线提取；利用所得直线求取对应正交消隐点，即可求得摄像机内参数；最后，同时标定双目视觉测量系统的外参数，具体步骤如下：

步骤1：求取摄像机主点坐标

摄像机标定实际上是要求出内参数矩阵K，两摄像机间的旋转矩阵R和平移矢量t。通用的摄像机模型可表示为：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系下的齐次坐标，(x,y,1)^T为空间点在图像坐标系下的对应像点坐标，f_x，f_y为摄像机尺度因子，(u₀,v₀)为像机的主点坐标，z为比例因子。

(1)采集变焦距图像

在待测目标的同一侧布置两台摄像机构成双目视觉测量系统，按照摄像的位置关系，分别为左摄像机2a和右摄像机2b；标定左摄像机2a时，调整标定模板的位置，保证标定模板在不同拍摄焦距时，均在摄像机视场内，在最大焦距下，对摄像机合焦。标定模板静止，逐渐减小摄像机焦距，在不同焦距下拍摄7幅模板图像。使用同样的方法采集右摄像机2b的7张图像。

(2)计算摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，因此在不同焦距拍摄的图像中，特征点连线的交点即为主点。计算摄像机主点坐标，利用拍摄的七张图片，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成m条直线，第i条直线的拟合方程为：

l_i:a_iu+b_iv+c_i＝0,(i＝1,2...n) (2)

以到像点连线距离平方和最小为目标函数S，其中，

计算主点坐标(u₀,v₀)，分别求出左、右摄像机的主点坐标(u_l0,v_l0)和(u_r0,v_r0)；其中a_i,b_i,c_i为拟合直线所得参数，(u,v)为拟合所需点的像素坐标。

步骤2：大视场子空间划分

将双目测量系统中的左、右摄像机合理放置，调整摄像机的视场，使左、右摄像机视场重叠，并根据测量距离选择合适的焦距，进行合焦操作。按照分块的思想，将大视场划分成n×n个等分，得到n×n个子空间，按照行列子空间分别编号为S_pq,(p＝1,2...n,q＝1,2...n)，其中，p为子空间所在的行，q为子空间所在的列。

步骤3：单个子空间标定

根据变焦距计算的主点坐标，分别在各个子空间标定出尺度因子和摄像机的外部参数。

(1)求取摄像机尺度因子

利用已经得出的主点坐标，基于正交消隐点计算摄像机的尺度因子f_x和f_y，以左像机为例，说明标定的具体过程：

(a)图像采集，分别在每个子空间S_pq,(p＝1,2...n,q＝1,2...n)区域内，拍摄标定模板在不同位姿下的图像10张，作为求取摄像机尺度因子的图像。

(b)根据拍摄得到标定模板的不同方位的图像，分别求出左摄像机的10组正交消隐点对P_j(u_Pj,v_Pj),Q_j(u_Qj,v_Qj),j＝1,2…10；

(c)将10组正交消隐点对分别代入非线性方程：

其中，(u_Pi,v_Pi)、(u_Qi,v_Qi)分别为第j幅图像的正交消隐点对，联立方程组，利用非线性最小二乘方法迭代求解非线性方程组获得尺度因子，即f_y,f_x；其中，(u_l0,v_l0)为左摄像机的主点坐标，f_y,f_x为摄像机等效焦距，由此可得左摄像机内参数矩阵K_L：

采用相同的步骤(a)、(b)和(c)可得到右摄像机的尺度因子，由步骤1中的主点坐标构成右摄像机的内参数矩阵K_R。

(2)求取摄像机的外参数

利用基本矩阵求取摄像机的外参数，首先在子空间区域摆放两次标定模板，并拍摄图像，摄像机间外部参数的标定的具体步骤如下：

(a)求取基本矩阵f，根据拍摄的两张图像，提取对应像点坐标，利用对应像点的齐次坐标获得线性方程：

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0 (6)

其中，(u,v),(u′,v′)分别为左右摄像机图像中对应的像点坐标，为9维列向量，f_i'j'为f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T基本矩阵f的第i’行、第j’列上的元素。提取所采集的两幅图像中n(n≥8)组对应点构成对应点矩阵A：

其中，(u_i,v_i),(u_i′,v_i′)为两幅图像中对应点坐标。利用Af＝0，即可求得基本矩阵f；

(b)根据左右摄像机的内参数矩阵K_L,K_R，由下述公式(8)即可得到本质矩阵E；

E＝K_R ^TFK_L (8)

(c)本质矩阵由双目立体视觉的内外参数决定，对公式(8)中得到的本质矩阵E进行奇异值分解：

E＝Udiag(σ₁,σ₂,σ₃)V^T (9)

其中，σ₁,σ₂,σ₃为特征值且σ₁≤σ₂≤σ₃；从本质矩阵算出摄像机间的外部参数其中，为单位平移矢量，z为相差的比例因子，t为平移矢量；

外部参数具有下述4种组合：

[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃] (10)

其中，U和V为分解出的矩阵，u₃为U的第3列向量，对以上4种参数组合进行判断，方法如下：

由于重建点应在两台摄像机前方，因此将世界坐标系分别与左、右摄像机坐标系重合，重建出的点应取三维坐标中Z向分量均应为正值的组合；由上述参数组合的形式判断，计算出旋转矩阵R和单位平移矢量

(d)计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄并重建出三维长度l，则摄像机的比例因子根据确定平移矢量t；就得到左右摄像机的外参数；通过上述步骤计算出双目视觉测量系统的内外参数，完成单个子空间的标定过程；

步骤4：大视场整体标定

按照步骤3中的标定方法，分别对n×n个子空间进行标定，确定每个分块子空间的内外参数，将所得的内外参数对应其所在子空间进行记录；在双目视觉测量的后续工作中，根据拍摄特征所在大视场中子空间的位置对内外参数进行调用。

本发明的有益效果是利用分块的思想对大视场进行划分，并分别对大视场的子空间进行内外参数的标定，代替传统大视场中单一的摄像机内外参数，解决了摄像机图像不同区域标定与校正参数不一致的难题，有效提高了标定的精度。本发明是一种简单易实现的标定方法，特别适用于锻造现场的准确标定。

附图说明

附图为双目测量系统标定装置示意图。其中：1-隔震平台，2a-左摄像机，2b-右摄像机，3-靶标图案，4-光整的平板或墙面。

具体实施方式

下面结合附图和技术方案进一步详细说明本发明的具体实施方式。

在待测目标的同一侧布置两台摄像机，分别为左、右摄像机2a、2b，构成双目视觉测量系统。左、右摄像机安装在隔震平台1上，见附图。在测量范围为5m×5m的实验现场进行标定，标定模板到摄像机的距离为4m。具体步骤如下：

步骤1：求取摄像机主点坐标

(1)采集变焦距图像

标定左摄像机2a时，调整标定模板的位置，保证标定模板在不同拍摄焦距时，均在摄像机视场内，在最大焦距下，对摄像机合焦。标定模板静止，逐渐减小左摄像机2a焦距，调整左摄像机2a的变焦环，分别在摄像机焦距为24μm、26μm、28μm、30μm、32μm、35μm、40μm下拍摄七幅图像，使用同样的方法采集右摄像机2b的七张图像。

(2)分别计算左、右摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，因此在不同焦距拍摄的图像中，特征点连线的交点即为主点。计算左摄像机主点坐标，在拍摄的七张图片中，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成48条直线，得到第i条直线的拟合方程为如公式(2)。以到像点连线距离平方和最小为目标函数S，如公式(3)，求出左摄像机的主点坐标(u_l0,v_l0)，用相同的方法可以求出右摄像机的主点坐标(u_r0,v_r0)。

步骤2：大视场子空间划分

将双目测量系统中的左、右摄像机合理放置，调整摄像机的视场，使左、右摄像机视场重叠，并根据测量距离选择合适的焦距，进行合焦操作。按照分块的思想，将大视场划分成3×3个等分，得到3×3个子空间，按照行列子空间分别编号为S_ij,(i＝1,2,3；j＝1,2,3)，其中，i为子空间所在的行,j为子空间所在的列，如附图所示。附图中本实施例采用的是靶标图案3和光整的平板4。

步骤3：单个子空间标定

(1)求取摄像机尺度因子

调整摄像机视场，使左右摄像机有足够的公共视场区以放置标定模板，在后续标定中，摄像机固定。分别在每个子空间S_ij,(i＝1,2,3；j＝1,2,3)区域内，采集求取正交消隐点的图像，将摄像机的焦距调整为拍摄焦距35μm，拍摄标定模板10张图像，图像中标定模板有较大的位姿调整，同时在不同方位的10张图像中尽量使标定模板布满整个公共视场。

根据上述步骤获得的求取正交消隐点标定模板的10幅图像，求出图像的正交消隐点，计算摄像机的尺度因子f_x和f_y，具体过程如下：

根据拍摄得到标定模板的10个不同方位的图像，分别求出左摄像机的10组正交消隐点对P_i(u_Pi,v_Pi),Q_i(u_Qi,v_Qi),i＝1,2,3,...,10；

将10组正交消隐点对分别代入线性方程(4)其中，联立方程求解出未知参数x，y，z，再由前面的公式(5)利用非线性最小二乘方法迭代求解非线性方程组(2)获得尺度因子，即f_y,f_x。由此可得左摄像1机内参数矩阵K_L：

其中，(u₀,v₀)为左侧摄像机的主点坐标，f_y,f_x为摄像机等效焦距。采用相同的步骤可得到右摄像机的尺度因子，由步骤1中的主点坐标构成右摄像机的内参数矩阵K_R。

(2)求取摄像机的外参数

在两台摄像机的公共视场区摆放两次标定模板，并拍摄图像，进行摄像机间外部参数的标定；具体如下：

求取基本矩阵F，在根据对应像点的齐次坐标和线性方程(6)的基础上，取拍摄的两幅图像的若干对应点构成对应点矩阵A，即公式(7)，采用归一化算法，可获取基本矩阵F；根据得出的左右摄像机的内参数矩阵K_L,K_R，由E＝K_R ^TFK_L，得出本质矩阵E；对本质矩阵E进行奇异值分解如方程(9)所示。从本质矩阵E算出摄像机间的外部参数其中z为相差的比例因子，t为平移矢量，则外部参数具有公式(10)中所述4种可能组合，由于重建点应在两台摄像机前方，因此将世界坐标系分别与左、右摄像机坐标系重合，重建出的点应取三维坐标中Z向分量均应为正值的组合。由上述参数组合的形式判断，可计算出旋转矩阵R和单位平移矢量

计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄并重建出三维长度l，则摄像机的比例因子根据确定平移矢量t，得到左右摄像机的外参数。

步骤4：大视场整体标定

按照步骤3中的标定方法，分别对n×n个子空间进行标定，确定每个分块子空间的内外参数，将所得的内外参数对应其所在子空间进行记录。在双目视觉测量的后续工作中，根据拍摄特征所在大视场中子空间的位置对内外参数进行调用。

本发明采用分块的方法，将整个视场划分成若干个子空间，并利用基于主动视觉的标定方法，有效提高了标定的精度，从而实现锻造现场双目视觉测量系统摄像机的精确标定。

Claims (1)

1.一种基于分块的摄像机标定方法，其特征是，标定方法首先利用变焦的方法计算出摄像机主点坐标，在不同焦距下拍摄标定模板的7幅图像，通过缩比不变性求得摄像机主点坐标，而后将大视场划分成n×n个子空间，分别对每个区域进行标定；在测量所需的焦距下拍摄标定模板不同方位的图像，然后对模板图像进行直线提取；利用所得直线求取对应正交消隐点，即可求得摄像机内参数；最后，再标定双目视觉测量系统的外参数，标定方法的具体步骤如下：

步骤1：求取摄像机主点坐标

摄像机标定实际上是要求出内参数矩阵K，两摄像机间的旋转矩阵R和平移矢量t；通用的摄像机模型可表示为：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系下的齐次坐标，(x,y,1)^T为空间点在图像坐标系下的对应像点坐标，f_x，f_y为摄像机尺度因子，(u₀,v₀)为像机的主点坐标，z为比例因子；

(1)采集变焦距图像

在待测目标的同一侧布置两台摄像机构成双目视觉测量系统，按照摄像的位置关系，分别为左摄像机(2a)和右摄像机(2b)；标定左摄像机(2a)时，调整标定模板的位置，保证标定模板在不同拍摄焦距时，均在摄像机视场内，在最大焦距下，对摄像机合焦；标定模板静止，逐渐减小摄像机焦距，在不同焦距下拍摄7幅模板图像；使用同样的方法采集右摄像机(2b)的7张图像；

(2)分别计算左、右摄像机主点坐标

改变焦距时，摄像机视场呈现比例扩缩现象，因此在不同焦距拍摄的图像中，特征点连线的交点即为主点；计算摄像机主点坐标，利用拍摄的七张图片，将不同图像上标定模板相同特征点对应的7个像点采用线性回归的方法拟合成m条直线，第i条直线的拟合方程为：

l_i:a_iu+b_iv+c_i＝0,i＝1,2…m (2)

以到像点连线距离平方和最小为目标函数S，其中，

$S=\underset{i=1}{\overset{m}{\Σ}}\frac{{(a_i{u}_0+b_i{v}_0+c_i)}^2}{{a_i}^2+{b_i}^2}---\left(3\right)$

计算主点坐标(u₀,v₀)，分别求出左、右摄像机的主点坐标(u_l0,v_l0)和(u_r0,v_r0)；其中a_i,b_i,c_i为拟合直线所得参数，(u,v)为拟合所需点的像素坐标；

步骤2：大视场子空间划分

将双目测量系统中的左、右摄像机合理放置，调整摄像机的视场，使左、右摄像机视场重叠，并根据测量距离选择合适的焦距，进行合焦操作；按照分块的思想，将大视场划分成n×n个等分，得到n×n个子空间，按照行列子空间分别编号为S_pq,p＝1,2…n,q＝1,2…n，

其中，p为子空间所在的行，q为子空间所在的列；

步骤3：单个子空间标定

根据变焦距计算的主点坐标，分别在各个子空间标定出尺度因子和摄像机的外部参数；

(1)求取摄像机尺度因子

利用已经得出的主点坐标，基于正交消隐点计算摄像机的尺度因子f_x和f_y，左像机标定的具体过程：

(a)图像采集，分别在每个子空间S_pq,p＝1,2…n,q＝1,2…n区域内，拍摄标定模板在不同位姿下的图像10张，作为求取摄像机尺度因子的图像；

(b)根据拍摄得到标定模板的不同方位的图像，分别求出左摄像机的10组正交消隐点对P_j(u_Pj,v_Pj),Q_j(u_Qj,v_Qj),j＝1,2…10；

(c)将10组正交消隐点对分别代入非线性方程：

$\frac{1}{f_x^2}(u_{Pj}-u_{l0})(u_{Qj}-u_{l0})+\frac{1}{{f_y}^2}(v_{Pj}-v_{l0})(v_{Qj}-v_{l0})+1=0,j=1,2...10---\left(4\right)$

其中，(u_Pj,v_Pj)、(u_Qj,v_Qj)分别为第j幅图像的正交消隐点对，联立方程组，利用非线性最小二乘方法迭代求解非线性方程组获得尺度因子，即f_y,f_x；其中，(u_l0,v_l0)为左摄像机的主点坐标，f_y,f_x为摄像机等效焦距，由此可得左摄像机内参数矩阵K_L：

$K_L=\left[\begin{array}{ccc}{f}_x& 0& u_{l0}\\ 0& f_y& v_{l0}\\ 0& 0& 1\end{array}\right]---\left(5\right)$

采用相同的步骤(a)、(b)和(c)可得到右摄像机的尺度因子，由步骤1中的主点坐标构成右摄像机的内参数矩阵K_R；

(2)求取摄像机的外参数

利用基本矩阵求取摄像机的外参数，首先在子空间区域摆放两次标定模板，并拍摄图像，摄像机间外部参数的标定的具体步骤如下：

(a)求取基本矩阵f，根据拍摄的两张图像，提取对应像点坐标，利用对应像点的齐次坐标获得线性方程：

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0 (6)

其中，(u,v),(u′,v′)分别为左右摄像机图像中对应的像点坐标，f为9维列向量，f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T；提取所采集的两幅图像中d≥8组对应点构成对应点矩阵A：

$A=\left[\begin{array}{ccccccccc}{u}_1{u}_1^{\′}& v_1{u}_1^{\′}& u_1^{\′}& u_1{v}_1^{\′}& v_1{v}_1^{\′}& v_1^{\′}& u_1& v_1& 1\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .& .\\ u_d{u}_d^{\′}& v_n{u}_d^{\′}& u_d^{\′}& u_d{v}_d^{\′}& v_d{v}_d^{\′}& v_d^{\′}& u_d& v_d& 1\end{array}\right]---\left(7\right)$

其中，(u,v),(u′,v′)为两幅图像中对应点坐标；利用Af＝0，即可求得基本矩阵f；

(b)根据左、右摄像机的内参数矩阵K_L,K_R，由公式(8)即可得到本质矩阵E；

E＝K_R ^TfK_L (8)

(c)本质矩阵由双目立体视觉的内外参数决定，对公式(8)中得到的本质矩阵E进行奇异值分解：

E＝Udiag(σ₁,σ₂,σ₃)V^T (9)

其中，σ₁,σ₂,σ₃为特征值且σ₁≤σ₂≤σ₃；从本质矩阵算出摄像机间的外部参数其中，z为相差的比例因子，t为平移矢量；

外部参数具有下述4种组合：

[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃] (10)

其中，U和V为分解出的矩阵，u₃为U的第3列向量，对以上4种参数组合进行判断，方法如下：

由于重建点应在两台摄像机前方，因此将世界坐标系分别与左、右摄像机坐标系重合，重建出的点应取三维坐标中Z向分量均应为正值的组合；由上述参数组合的形式判断，计算出旋转矩阵R和单位平移矢量

(d)计算摄像机的比例因子，采用长度为L的高精度标尺作为长度基准，使用上述双目测量系统对其进行拍摄并重建出三维长度l，则摄像机的比例因子根据确定平移矢量t，就得到左右摄像机的外参数；

通过上述步骤3计算出双目视觉测量系统的内外参数，完成对单个子空间的标定过程；

步骤4：大视场整体标定

按照步骤3中的标定方法，分别对n×n个子空间进行标定，确定每个分块子空间的内外参数，将所得的内外参数对应其所在子空间进行记录；在双目视觉测量的后续工作中，根据拍摄特征所在大视场中子空间的位置对内外参数进行调用。