CN113450416B - 一种应用于三目相机立体标定的tcsc方法 - Google Patents

Abstract

本发明属于计算机视觉领域，涉及一种TCSC三目相机立体标定方法。该方法通过三个相机分别在不同角度同时拍摄处于公共视场中的标定板，移动标定板进行多次拍摄，获得多组标定样本。根据各个相机拍摄到的图像分别对三个相机进行单目标定，获得相机的内参信息以及各个相机对应于标定物之间的位置关系(外参信息)。再利用标定点位置匹配，获得双相机坐标系的位置关系，对图像进行立体空间矫正。最后结合各相机的内外参数及棋盘格角点在三个相机图像中的位置对应关系，获得图像间像素点位置关系模型，完成三目相机的立体标定。该发明所提出的TCSC三目相机立体标定方法，可用于三维空间视频检测、3D‑PIV成像及三维重建等领域的研究。

Description

一种应用于三目相机立体标定的TCSC方法

技术领域

本发明涉及一种应用于计算机视觉领域的一种立体标定方法，更具体的来说，本发明涉及一种应用于视频测量、3D-PIV和三维重建等领域中的一种三目相机立体标定方法(Three Cameras Stereo Calibration，简称TCSC)。

背景技术

相机标定属于计算机视觉中关键一步，在其中发挥着不可或缺的作用，无论是三维重建还是视频测量等领域都离不开相机标定。根据使用相机的数量，相机标定分为单目相机标定、双目相机标定和多目相机标定。在历经前人的反复研究和多次改进，单目相机标定和双目相机标定技术已较为成熟，可广泛应用于机器视觉等领域。但是如今，单目相机标定和双目相机标定已逐渐跟不上时代的脚步，随着工业科技不断创新和提高，单目和双目相机的标定出现一定的局限性，拍摄视野较小，测量范围有限，已无法满足工业测量等技术的基本要求。多目相机测量范围扩大，标定精度效果较之以往有了一定的进展，因此受到越来越多人们的重视。然而现在虽有大量的学者对其进行了研究，并且也取得了一定的成果，但是立体标定的精度还有待提高，标定的方法也不能够完全满足多相机立体标定的需求。为了解决相机立体标定的难题，本发明专利在双目相机标定的基础上，根据三个相机的位置关系及其内参信息，提出TCSC三目相机立体标定方法。

发明内容

本发明设计了一种TCSC三目相机立体标定方法，该方法能够应用于计算机视觉中的三维重建、3D-PIV以及视频测量等多个领域中，较之传统相机标定方法有着测量范围广，标定精度高等优势。

所述的TCSC三目相机立体标定方法的硬件系统，如图1所示，包括：

用于图像采集的相机，图像分辨率为m×n，相机个数为3个；

用于相机拍摄的棋盘格标定板；

用于数据图像处理的计算机；

本发明设计了一种应用于计算机视觉领域的TCSC三目相机立体标定方法，该算法流程图如图2所示，其特征是，包含步骤如下：

步骤1：完成对三个相机的单目标定，获得各个相机的内外参数信息。

以相机1为例，利用相机1所拍摄到的标定板图像，在计算机中进行图像处理，获取棋盘格标定图像的角点信息，并对得到的所有角点进行排序和编号，如图3所示。根据公式(1)中标定角点的世界坐标系(X_w，Y_w，Z_w)和像素坐标系(u₁，v₁)之间的关系，结合多张图像即可计算出相机1的内参矩阵M₁和相对于世界坐标的外参信息(旋转矩阵R₁和平移向量T₁)。

式中，Z_c是相机的主轴，d_x和d_y是图像中每个像素在u轴和v轴上的物理尺寸，f是焦距，u₀和v₀是标定板图像坐标系中的原点，而内参矩阵

利用上述方法，对相机2和相机3分别进行单目标定，得到相机2的内参矩阵M₂、旋转矩阵R₂和平移向量T₂，相机3的内参矩阵M₃、旋转矩阵R₃和平移向量T₃；且完成对三个相机的标定后，可获得空间中有效视野范围内任一点在三幅图像中的像素点坐标。

步骤2：根据棋盘格角点的位置匹配，进行双目相机标定。在双目相机标定过程中，摄像机内参矩阵的求解过程与单目相机标定时所用方法相同。双目相机外参标定时，利用各个相机相对于世界坐标的旋转矩阵和平移向量，将相机2和相机3分别与相机1进行标定计算，以得到相机2与相机1、相机3与相机1的相机坐标系之间的位置关系矩阵，即双相机的旋转矩阵和平移向量。

先对相机1和相机2进行双目标定，假设空间中某一点为p，已知其世界坐标为p_w，p点在相机1和相机2坐标系下的坐标为：

p₁＝R₁·p_w+T₁ 公式(2)

p₂＝R₂·p_w+T₂ 公式(3)

且两个相机坐标p₁和p₂的关系为：

p₁＝R′₁₂·p₂+T′₁₂ 公式(4)

式中，R′₁₂和T′₁₂分别是相机1和相机2之间的旋转矩阵和平移向量。

根据公式(4)即可以推导出相机2和相机1之间的位置关系(旋转矩阵R′₁₂和平移向量T′₁₂)：

同理，相机3和相机1之间的位置关系(旋转矩阵R′₁₃和平移向量T′₁₃)也可求出：

步骤3：利用步骤2中获得的两相机间的旋转矩阵和平移向量，对相机图像进行立体校正，改善因相机摆放位置差异而导致的两图像行对不齐的问题，以达到两个图像同行共面的目的，降低下一步立体匹配计算的复杂程度。

(1)以相机1和相机2获得的两张图像为例，首先将旋转矩阵R′₁₂分解为r₁和r₂，分别作用于两个相机坐标系，实现两个相机图像共面，但此时图像行不对准。r₁和r₂的分解公式如下：

建立行对准换行矩阵R_rcct，实现相机图像行对准。设：

R_rect＝[e₁ e₂ e₃]^T 公式(11)

其中，

e₁＝T′₁₂/||T′₁₂|| 公式(12)

T′₁₂＝[(T′₁₂)_x (T′₁₂)_y (T′₁₂)_z]^T 公式(13)

e₃＝e₁×e₂ 公式(15)

式中，e₁为与平移向量T′₁₂同方向上的极点，(T′₁₂)_x、(T′₁₂)_y和(T′₁₂)_z分别为x，y，z方向上的平移向量；e₂为与图像平面同方向的向量；e₃为垂直于e₁和e₂所在平面的向量。

则两相机图像的行对准转换矩阵R′₁和R′₂分别为：

R′₁＝R_rect·r₁ 公式(16)

R′₂＝R_rect·r₂ 公式(17)

(2)同理，对相机1和相机3的图像进行立体校正，利用分解公式(7)和(8)所得到的旋转矩阵R′₁₃和平移向量T′₁₃，并建立行对准转换矩阵，实现两相机图像共面行对准。

步骤4：将步骤3中得到的R′₁、R′₂和R′₃代入步骤1中的公式(1)中，对图像进行立体校正，进而获得棋盘格角点在三个相机图像中对应位置匹配关系。

步骤5：利用步骤4得到的棋盘格角点在三个相机图像中的位置对应关系，求解图像间像素点位置关系模型。以相机1的图像作为参照，分别求解相机2图像与相机1图像、相机3图像与相机1图像的像素点位置关系模型。

(1)以相机1和相机2拍摄的图像为例，计算两组图像的基础矩阵F₁₂。通过对各个相机的图像标定点进行排序和编号，得到两组图像中棋盘格角点的匹配点列表，该列表经过数据处理可计算出两组图像的基础矩阵F₁₂，基础矩阵是双目相机图像中点到直线上的一种映射，也是图像中任意两点之间的一种约束关系，这种约束关系为：

其中，(u₁，v₁)和(u₂，v₂)分别是棋盘格上同一角点在两张图像中的对应像素点坐标。

(2)获取相机1和相机2拍摄到的两图像的极线，通过极线约束和顺序一致性约束条件实现棋盘格角点的对应匹配。相机1和相机2的图像极线图如图4所示，两图像对应的像素点(u₁，v₁)和(u₂，v₂)分别对应的极线l₁和l₂方程为：

联立公式(18)、(19)和(20)，可得两图像对应的像素点(u₁，v₁)与(u₂，v₂)的关系模型：

(3)同理，设棋盘格角点x在相机3中对应的像素为(u₃，v₃)，计算出相机3和相机1图像间的基础矩阵F₁₃后，则有两图像对应的像素点(u₁，v₁)与(u₃，v₃)的关系模型：

式中，l₃为像素点(u₃，v₃)对应的极线。

步骤6：三相机有效视野范围确定；考虑到有效的空间位置应该均在三台相机的视野范围内，则有效空间视野范围内的世界坐标点(X_w，Y_w，Z_w)需满足以下方程：

式中，(m₁，n₁)，(m₂，n₂)，(m₃，n₃)分别表示相机1、2和3所拍摄到的图像尺寸。

步骤7：若相机的拍摄区域完全包含空间目标区域，则利用公式(1)即可确定三相机拍摄到图像中的目标区域；若图像的拍摄区域小于空间目标，或包含部分空间目标，则利用公式(23)确定三相机的有效视野范围。

本发明的有益效果是可以得到各个相机的内参信息，相机之间的位置关系矩阵以及世界坐标系与三个相机坐标系之间的位置关系，实现空间中一点映射到三相机上的对应点位置匹配，提高相机标定的精度，为进一步实现视觉测量、3D-PIV成像及三维重建奠定基础。

附图说明

图1：TCSC三目相机立体标定系统结构图；

图2：TCSC三目相机立体标定方法流程图；

图3：棋盘格角点排序编号图；

图4：相机1和相机2拍摄图像的极线图。

具体实施方式

本发明所设计的TCSC三目相机立体标定方法，所阐述的相机立体标定系统结构如图1所示，完成三相机立体标定所用的样本。三个相机在不同位置对处于公共视场中的棋盘格标定板进行多组同步拍摄，获取标定样本。利用数字图像处理技术确定三维空间中各标定点在三个相机图像中的对应匹配位置，获得三相机之间的位置关系矩阵，完成三目相机的立体标定。TCSC标定方法的流程图如图2所示，其特征是，包括下列步骤：

步骤1：完成对三个相机的单目标定，获得各个相机的内外参数信息。

以相机1为例，利用相机1所拍摄到的标定板图像，在计算机中进行图像处理，获取棋盘格标定图像的角点信息，并对得到的所有角点进行排序和编号，如图3所示。根据公式(1)中标定角点的世界坐标系(X_w，Y_w，Z_w)和像素坐标系(u₁，v₁)之间的关系，结合多张图像即可计算出相机1的内参矩阵M₁和相对于世界坐标的外参信息(旋转矩阵R₁和平移向量T₁)。

式中，Z_c是相机的主轴，d_x和d_y是图像中每个像素在u轴和v轴上的物理尺寸，f是焦距，u₀和v₀是标定板图像坐标系中的原点，而内参矩阵

利用上述方法，对相机2和相机3分别进行单目标定，得到相机2的内参矩阵M₂、旋转矩阵R₂和平移向量T₂，相机3的内参矩阵M₃、旋转矩阵R₃和平移向量T₃；且完成对三个相机的标定后，可获得空间中有效视野范围内任一点在三幅图像中的像素点坐标。

步骤2：根据棋盘格角点的位置匹配，进行双目相机标定。在双目相机标定过程中，摄像机内参矩阵的求解过程与单目相机标定时所用方法相同。双目相机外参标定时，利用各个相机相对于世界坐标的旋转矩阵和平移向量，将相机2和相机3分别与相机1进行标定计算，以得到相机2与相机1、相机3与相机1的相机坐标系之间的位置关系矩阵，即双相机的旋转矩阵和平移向量。

先对相机1和相机2进行双目标定，假设空间中某一点为p，已知其世界坐标为p_w，p点在相机1和相机2坐标系下的坐标为：

p₁＝R₁·p_w+T₁ 公式(2)

p₂＝R₂·p_w+T₂ 公式(3)

且两个相机坐标p₁和p₂的关系为：

p₁＝R′₁₂·p₂+T′₁₂ 公式(4)

式中，R′₁₂和T′₁₂分别是相机1和相机2之间的旋转矩阵和平移向量。

根据公式(4)即可以推导出相机2和相机1之间的位置关系(旋转矩阵R′₁₂和平移向量T′₁₂)：

同理，相机3和相机1之间的位置关系(旋转矩阵R′₁₃和平移向量T′₁₃)也可求出：

步骤3：利用步骤2中获得的两相机间的旋转矩阵和平移向量，对相机图像进行立体校正，改善因相机摆放位置差异而导致的两图像行对不齐的问题，以达到两个图像同行共面的目的，降低下一步立体匹配计算的复杂程度。

(1)以相机1和相机2获得的两张图像为例，首先将旋转矩阵R′₁₂分解为r₁和r₂，分别作用于两个相机坐标系，实现两个相机图像共面，但此时图像行不对准。r₁和r₂的分解公式如下：

建立行对准换行矩阵R_rect，实现相机图像行对准。设：

R_rect＝[e₁ e₂ e₃]^T 公式(11)

其中，

e₁＝T′₁₂/||T′₁₂|| 公式(12)

T′₁₂＝[(T′₁₂)_x (T′₁₂)_y (T′₁₂)_z]^T 公式(13)

e₃＝e₁×e₂ 公式(15)

式中，e₁为与平移向量T′₁₂同方向上的极点，(T′₁₂)_x、(T′₁₂)_y和(T′₁₂)_z分别为x，y，z方向上的平移向量；e₂为与图像平面同方向的向量；e₃为垂直于e₁和e₂所在平面的向量。

则两相机图像的行对准转换矩阵R′₁和R′₂分别为：

R′₁＝R_rect·r₁ 公式(16)

R′₂＝R_rect·r₂ 公式(17)

(2)同理，对相机1和相机3的图像进行立体校正，利用分解公式(7)和(8)所得到的旋转矩阵R′₁₃和平移向量T′₁₃，并建立行对准转换矩阵，实现两相机图像共面行对准。

步骤4：将步骤3中得到的R′₁、R′₂和R′₃代入步骤1中的公式(1)中，对图像进行立体校正，进而获得棋盘格角点在三个相机图像中对应位置匹配关系。

步骤5：利用步骤4得到的棋盘格角点在三个相机图像中的位置对应关系，求解图像间像素点位置关系模型。以相机1的图像作为参照，分别求解相机2图像与相机1图像、相机3图像与相机1图像的像素点位置关系模型。

(1)以相机1和相机2拍摄的图像为例，计算两组图像的基础矩阵F₁₂。通过对各个相机的图像标定点进行排序和编号，得到两组图像中棋盘格角点的匹配点列表，该列表经过数据处理可计算出两组图像的基础矩阵F₁₂，基础矩阵是双目相机图像中点到直线上的一种映射，也是图像中任意两点之间的一种约束关系，这种约束关系为：

其中，(u₁，v₁)和(u₂，v₂)分别是棋盘格上同一角点在两张图像中的对应像素点坐标。

(2)获取相机1和相机2拍摄到的两图像的极线，通过极线约束和顺序一致性约束条件实现棋盘格角点的对应匹配。相机1和相机2的图像极线图如图4所示，两图像对应的像素点(u₁，v₁)和(u₂，v₂)分别对应的极线l₁和l₂方程为：

联立公式(18)、(19)和(20)，可得两图像对应的像素点(u₁，v₁)与(u₂，v₂)的关系模型：

(3)同理，设棋盘格角点x在相机3中对应的像素为(u₃，v₃)，计算出相机3和相机1图像间的基础矩阵F₁₃后，则有两图像对应的像素点(u₁，v₁)与(u₃，v₃)的关系模型：

式中，l₃为像素点(u₃，v₃)对应的极线。

步骤6：三相机有效视野范围确定；考虑到有效的空间位置应该均在三台相机的视野范围内，则有效空间视野范围内的世界坐标点(X_w，Y_w，Z_w)需满足以下方程：

式中，(m₁，n₁)，(m₂，n₂)，(m₃，n₃)分别表示相机1、2和3所拍摄到的图像尺寸。

步骤7：若相机的拍摄区域完全包含空间目标区域，则利用公式(1)即可确定三相机拍摄到图像中的目标区域；若图像的拍摄区域小于空间目标，或包含部分空间目标，则利用公式(23)确定三相机的有效视野范围。

本发明TCSC三目相机立体标定方法的实现，获得了三相机之间的位置关系矩阵，并通过数字图像处理技术得到三维空间中各标定点在三个相机图像中的对应匹配位置，对于三维空间视频检测、3D-PIV成像及三维重建等领域的研究有着重要的意义。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.本发明涉及一种三相机立体标定方法，其特征在于，包含步骤如下：

步骤1：完成对三个相机的单目标定，获得各个相机的内外参数信息；

以相机1为例，利用相机1所拍摄到的标定板图像，在计算机中进行图像处理，获取棋盘格标定图像的角点信息，并对得到的所有角点进行排序和编号，根据公式(1)中标定角点的世界坐标系(X_w，Y_w，Z_w)和像素坐标系(u₁，v₁)之间的关系，结合多张图像即可计算出相机1的内参矩阵M₁和相对于世界坐标的外参信息，旋转矩阵R₁和平移向量T₁；

式中，Z_c是相机的主轴，d_x和d_y是图像中每个像素在u轴和v轴上的物理尺寸，f是焦距，u₀和v₀是标定板图像坐标系中的原点，而内参矩阵

利用上述方法，对相机2和相机3分别进行单目标定，得到相机2的内参矩阵M₂、旋转矩阵R₂和平移向量T₂，相机3的内参矩阵M₃、旋转矩阵R₃和平移向量T₃；且完成对三个相机的标定后，可获得空间中有效视野范围内任一点在三幅图像中的像素点坐标；

步骤2：根据棋盘格角点的位置匹配，进行双目相机标定；在双目相机标定过程中，摄像机内参矩阵的求解过程与单目相机标定时所用方法相同；双目相机外参标定时，利用各个相机相对于世界坐标的旋转矩阵和平移向量，将相机2和相机3分别与相机1进行标定计算，以得到相机2与相机1、相机3与相机1的相机坐标系之间的位置关系矩阵，即双相机的旋转矩阵和平移向量；

先对相机1和相机2进行双目标定；假设空间中某一点为p，已知其世界坐标为p_w，p点在相机1和相机2坐标系下的坐标为：

p₁＝R₁·p_w+T₁ 公式(2)

p₂＝R₂·p_w+T₂ 公式(3)

且两个相机坐标p₁和p₂的关系为：

p₁＝R′₁₂·p₂+T′₁₂ 公式(4)

式中，R′₁₂和T′₁₂分别是相机1和相机2之间的旋转矩阵和平移向量；

根据公式(4)即可以推导出相机2和相机1之间的位置关系(旋转矩阵R′₁₂和平移向量T′₁₂)：

同理，相机3和相机1之间的位置关系(旋转矩阵R′₁₃和平移向量T′₁₃)也可求出：

步骤3：利用步骤2中获得的两相机间的旋转矩阵和平移向量，对相机图像进行立体校正，改善因相机摆放位置差异而导致的两图像行对不齐的问题，以达到两个图像同行共面的目的，降低下一步立体匹配计算的复杂程度；

以相机1和相机2获得的两张图像为例，首先将旋转矩阵R′₁₂分解为r₁和r₂，分别作用于两个相机坐标系，实现两个相机图像共面，但此时图像行不对准；r₁和r₂的分解公式如下：

建立行对准换行矩阵R_rect，实现相机图像行对准；设：

R_rect＝[e₁ e₂ e₃]^T 公式(11)

其中，

e₁＝T′₁₂/||T′₁₂|| 公式(12)

T′₁₂＝[(T′₁₂)_x (T′₁₂)_y (T′₁₂)_z]^T 公式(13)

e₃＝e₁×e₂ 公式(15)

式中，e₁为与平移向量T′₁₂同方向上的极点，(T′₁₂)_x、(T′₁₂)_y和(T′₁₂)_z分别为x，y，z方向上的平移向量；e₂为与图像平面同方向的向量；e₃为垂直于e₁和e₂所在平面的向量；

则两相机图像的行对准转换矩阵R′₁和R′₂分别为：

R′₁＝R_rect·r₁ 公式(16)

R′₂＝R_rect·r₂ 公式(17)

同理，对相机1和相机3的图像进行立体校正，利用分解公式(7)和(8)所得到的旋转矩阵R′₁₃和平移向量T′₁₃，并建立行对准转换矩阵，实现两相机图像共面行对准；

步骤4：将步骤3中得到的R′₁、R′₂和R′₃代入步骤1中的公式(1)中，对图像进行立体校正，进而获得棋盘格角点在三个相机图像中对应位置匹配关系；

步骤5：利用步骤4得到的棋盘格角点在三个相机图像中的位置对应关系，求解图像间像素点位置关系模型；以相机1的图像作为参照，分别求解相机2图像与相机1图像、相机3图像与相机1图像的像素点位置关系模型；

(1)以相机1和相机2拍摄的图像为例，计算两组图像的基础矩阵F₁₂；通过对各个相机的图像标定点进行排序和编号，得到两组图像中棋盘格角点的匹配点列表，该列表经过数据处理可计算出两组图像的基础矩阵F₁₂，基础矩阵是双目相机图像中点到直线上的一种映射，也是图像中任意两点之间的一种约束关系，这种约束关系为：

其中，(u₁，v₁)和(u₂，v₂)分别是棋盘格上同一角点在两张图像中的对应像素点坐标；

(2)获取相机1和相机2拍摄到的两图像的极线，通过极线约束和顺序一致性约束条件实现棋盘格角点的对应匹配；两图像对应的像素点(u₁，v₁)和(u₂，v₂)分别对应的极线l₁和l₂方程为：

联立公式(18)、(19)和(20)，可得两图像对应的像素点(u₁，v₁)与(u₂，v₂)的关系模型：

(3)同理，设棋盘格角点x在相机3中对应的像素为(u₃，v₃)，计算出相机3和相机1图像间的基础矩阵F₁₃后，则有两图像对应的像素点(u₁，v₁)与(u₃，v₃)的关系模型：

式中，l₃为像素点(u₃，v₃)对应的极线；

步骤6：三相机有效视野范围确定；考虑到有效的空间位置应该均在三台相机的视野范围内，则有效空间视野范围内的世界坐标点(X_w，Y_w，Z_w)需满足以下方程：

式中，(m₁，n₁)，(m₂，n₂)，(m₃，n₃)分别表示相机1、2和3所拍摄到的图像尺寸；

步骤7：若相机的拍摄区域完全包含空间目标区域，则利用公式(1)即可确定三相机拍摄到图像中的目标区域；若图像的拍摄区域小于空间目标，或包含部分空间目标，则利用公式(23)确定三相机的有效视野范围。