CN109949374A - 一种基于镜像的反向相机标定系统和方法 - Google Patents

Abstract

本发明公开了一种基于镜像的反向相机标定系统和方法，其中该反向相机标定系统包括标定板、平面镜、第一相机、第二相机和计算机，其中所述计算机分别连接所述第一相机和所述第二相机，所述第一相机和所述第二相机的拍摄方向相反，所述标定板设置在所述第一相机的拍摄范围内，所述平面镜设置在所述第二相机的拍摄范围内，且所述标定板在所述平面镜中的像也在所述第二相机的拍摄范围内。本发明提出的基于镜像的反向相机标定系统和方法，适用于拍摄视野无共同部分的两台相机的标定，且操作简单。

Description

一种基于镜像的反向相机标定系统和方法

技术领域

本发明涉及相机标定领域，尤其涉及一种基于镜像的反向相机标定系统。

背景技术

在机器视觉领域，想要得到真实空间物体某点的三维坐标(单位为米)和其在照片上的二维像素坐标(单位为像素)的对应关系，必须建立相机成像的几何模型，此几何模型称为相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程即称为相机标定(Cameracalibration)。

相机参数分别内参和外参，内参是相机内部的参数，在相机出厂之后是固定的，不会在使用过程中发生变化；它描述的是一点的相机坐标到像素坐标的转换关系。相机内参的标定方法很多也很成熟，例如可以采用张正友标定法对相机内参进行标定。相机外参是描述一点的世界坐标到相机坐标的转换，它会随世界坐标选取的不同而发生变化；在张正友标定法中，以标定板的位置为世界坐标系，因此它会随着标定板位姿的变化而变化。而两个相机的标定除了想知道相机的内参和外参之外，最重要的是想知道两个相机之间的位姿关系；因此两台相机的外参应是对同一世界坐标系，这样它们的外参才能通过世界坐标系关联起来。

现有的两个摄像机的标定方法中，多数是对两个朝向相同的相机进行标定；方法是让两个相机同时对一个标定板进行拍摄，通过Matlab中的标定工具箱或OpenCV中标定程序(均采用张正友标定法)对两台相机的内外参进行标定，可得到两个相机对同一世界坐标系的外参，之后对相机的外参进行转换即可得出两台相机间的位置关系。然而在实际工程应用中，有很多特殊的情况。针对两个朝向反向的相机，标定它们的位置关系是不易的，因为它们无法同时拍到同一标定板；一般的标定方法是在这两个相机前分别放置一个标定板，每台相机对于各自的标定板标定外参，然后再标定两张标定板之间的位置关系；这样做操作复杂，尤其两张标定板之间的位置关系不易标定。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于镜像的反向相机标定系统和方法，适用于拍摄视野无共同部分的两台相机的标定，且操作简单。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于镜像的反向相机标定系统，包括标定板、平面镜、第一相机、第二相机和计算机，其中所述计算机分别连接所述第一相机和所述第二相机，所述第一相机和所述第二相机的拍摄方向相反，所述标定板设置在所述第一相机的拍摄范围内，所述平面镜设置在所述第二相机的拍摄范围内，且所述标定板在所述平面镜中的像也在所述第二相机的拍摄范围内。

优选地，所述标定板可移动地设置在所述第一相机的拍摄范围内，所述平面镜可调整角度地设置在所述第二相机的拍摄范围内。

本发明还公开了一种基于镜像的反向相机标定方法，包括以下步骤：

S1：搭建如权利要求1或2所述的反向相机标定系统；

S2：调整所述标定板的位置以标定所述第一相机的内参；

S3：固定所述标定板的位置以使得所述第一相机能够拍摄到完整的所述标定板且所述第二相机能够拍摄所述标定板在所述平面镜中完整的像；

S4：标定所述第一相机相对所述标定板的外参；

S5：调整所述平面镜的角度多次以标定所述第二相机的内参和所述第二相机的相对所述标定板在所述平面镜中的像的外参；

S6：根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参计算得到所述第二相机相对所述标定板的外参；

S7：根据步骤S4标定的所述第一相机相对所述标定板的外参和步骤S6得到的所述第二相机相对所述标定板的外参，得到所述第一相机和所述第二相机的位姿关系。

优选地，步骤S5中调整所述平面镜的角度的次数为2～6次。

优选地，步骤S5中每次调整所述平面镜的角度时均需满足所述标定板在所述平面镜中的像完全在所述第二相机的拍摄范围内。

优选地，步骤S6具体包括：

S61：建立所述第二相机的相对所述标定板在所述平面镜中的像的外参与所述第二相机相对所述标定板的外参之间的关系式：

其中，所述第二相机相对所述标定板在所述平面镜中的像的外参包括所述第二相机的光心在所述平面镜中的像C'和所述第二相机的旋转矩阵在所述平面镜中的像R'＝{r′₁,r′₂,r′₃}；所述第二相机相对所述标定板的外参包括所述第二相机的光心C和所述第二相机的旋转矩阵R＝{r₁,r₂,r₃}，I是3×3的单位矩阵，s_k＝C^Tr_k，k＝{1,2,3}；

S62：建立所述第二相机的旋转矩阵的约束关系式：

|r₁|＝|r₂|＝|r₃|＝1

S63：将步骤S61的关系式和步骤S62的约束关系式进行结合，以根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参计算得到所述第二相机相对所述标定板的外参。

优选地，步骤S63中具体包括：将步骤S61的关系式和步骤S62的约束关系式进行结合，以根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参使用最小二乘法拟合计算得到所述第二相机相对所述标定板的外参。

与现有技术相比，本发明的有益效果在于：本发明公开的基于镜像的反向相机标定系统和方法，采用镜像的原理，在第一相机前放置标定板，第二相机前放置平面镜，第二相机通过平面镜中标定板的像进行标定外参，再通过预定的转换方式得到真实标定板的外参，从而不用标定板和镜子之间的位姿，操作简单；也即通过上述基于镜像的反向相机标定系统和方法，实现了对两台反向相机的标定，使得两台相机标定不再只限定于视野内必须有重叠的部分；而且在实施过程中，只需转动平面镜的角度即可得到两个相机的真实外参，操作简单。

附图说明

图1是本发明优选实施例的基于镜像的反向相机标定系统的示意图；

图2是第二相机的真实姿态及其在平面镜中的像的示意图；

图3是第二相机的旋转矩阵与及其在平面镜中的像的示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

在相机标定的过程中，会涉及到像素坐标系、相机坐标系、图像坐标系和世界坐标系的转换，以下作简单介绍：(1)世界坐标系：(x_w,y_w,z_w)是一个三维直角坐标系，为了描述目标物在真实世界的位置而被引入；单位为m。(2)相机坐标系：(x_c,y_c,z_c)也是一个三维直角坐标系，原点位于镜头光心处，为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环；单位为m。(3)图像坐标系：(x,y)为了描述成像过程中物体从相机坐标系到图像坐标系的投影投射关系而引入，以便接下来转换到像素坐标系下的坐标；单位为m。(4)像素坐标系：(u,v)为了描述物体成像后的像点在数字图像(照片)上的坐标而引入，是我们真正从照片上得到的坐标系；单位为个(像素数目)。

如图1所示，本发明优选实施例的基于镜像的反向相机标定系统包括标定板10、平面镜20、第一相机30、第二相机40和计算机(图中未示)，其中计算机分别连接第一相机30和第二相机40以接收第一相机30和第二相机40拍摄的照片并进一步进行标定，第一相机30和第二相机40的拍摄方向相反，标定板10设置在第一相机30的拍摄范围内，平面镜20设置在第二相机40的拍摄范围内，且标定板10在平面镜20中的像也在第二相机40的拍摄范围内。其中，标定板10是可移动地设置在第一相机30的拍摄范围内，平面镜20是可调整角度地设置在第二相机40的拍摄范围内。

本发明另一优选实施例公开了一种基于镜像的反向相机标定方法，包括以下步骤：

S1：搭建如图1所示的反向相机标定系统；

S2：调整标定板10的位置以标定第一相机30的内参；

具体地，标定第一相机30的内参采用张正友标定法。

S3：固定标定板10的位置以使得第一相机30能够拍摄到完整的标定板10且第二相机40能够拍摄标定板10在平面镜20中完整的像；

S4：标定第一相机30相对标定板10的外参；

具体地，标定第一相机30相对标定板10的外参采用张正友标定法来进行标定。

S5：调整平面镜20的角度多次以标定第二相机30的内参和第二相机40的相对标定板10在平面镜20中的像的外参；

其中调整平面镜20的角度的次数至少2次，以2～6次为宜；且每次调整平面镜20的角度后仍能够满足第二相机能够完整地拍摄到标定板10在平面镜20中的像。

具体地，标定第二相机30的内参和第二相机40的相对标定板10在平面镜20中的像的外参均采用张正友标定法，也即通过调用Matlab或OpenCV中的标定工具(其原理均采用张正友标定法)，拍摄几张标定板不同角度的照片即可得到相机的内参和相对标定板的外参。要得到这两个参数，即相机拍摄平面镜角度改变5～6次的镜中的标定板的像，调用Matlab标定工具箱，即可得到第二相机内参和第二相机相对于标定板在平面镜中的像的外参。

S6：根据步骤S5标定的第二相机40的相对标定板10在平面镜20中的像的外参计算得到第二相机30相对标定板10的外参；

如图2所示，是第二相机的真实姿态及其在平面镜中的像的示意图，其中C为第二相机的光心，C'为第二相机的光心在平面镜中的像，M为真实标定板，M'为标定板在平面镜中的像，n为平面镜的法向量。

如图3所示，是第二相机的旋转矩的阵的3个向量位姿r₁,r₂,r₃与及其在平面镜中的像r′₁,r′₂,r′₃的示意图。

其中，第二相机40的相对标定板10在平面镜20中的像的外参包括第二相机的光心在平面镜中的像C'和第二相机的旋转矩阵在平面镜中的像R'＝{r′₁,r′₂,r′₃}；第二相机30相对标定板10的外参包括第二相机的光心C和第二相机的旋转矩阵R＝{r₁,r₂,r₃}。

结合图2和图3，第二相机相对标定板的外参的旋转矩阵R＝{r₁,r₂,r₃}及其在平面镜中的像有如图2所示的关系，r₁,r₂,r₃和r′₁,r′₂,r′₃镜像对称，可知对于k＝{1,2,3}：

CC'⊥(r_k+r′_k) (1)

式(1)可以写成：

(C'^T-C^T)(r′_k+r_k)＝0 (2)

展开得到：

C'^Tr′_k+C'^Tr_k-C^Tr′_k-C^Tr_k＝0 (3)

其中，C和r_k是未知，公式(3)为非线性方程。

进一步，定义C^Tr_k＝s_k，引入三个未知量s_k，其中k＝{1,2,3}，使得约束变为线性约束，公式(3)可以改写为：

AX＝B (4)

其中：

X＝[C,r₁,r₂,r₃,s₁,s₂,s₃]^T (6)

B＝-[C'^Tr′₁,C'^Tr′₂,C'^Tr′₃]^T (7)

其中，I是3×3的单位矩阵。

对于m个平面镜的角度，可得出A是3m×15的矩阵，B是3m×1的矩阵。中有15个未知量。将AX＝B展开后，即得到式(3)。因此每一张照片(也即步骤S5中标定第二相机的相对标定板在平面镜中的像的外参时第二相机拍摄的标定板在平面镜中的像的照片)提供3个约束，且因为R是旋转矩阵，因此r_k有如下的约束关系式：

|r₁|＝|r₂|＝|r₃|＝1 (8)

因此，每张照片可提供9个约束，当m≥2时，即可得到相机对于真实标定板的位姿。其中，较多的照片可以减小误差，得到更为精确的值；在本实施例中，可以选取5、6张照片，使用最小二乘法拟合得到更为精确的值。

综上，也即综合上述式(4)、(8)和(9)，即可以根据第二相机的相对标定板在平面镜中的像的外参计算得到第二相机相对真实的标定板的外参。

S7：根据步骤S4标定的第一相机30相对标定板10的外参和步骤S6得到的第二相机40相对标定板10的外参，最终得到第一相机30和第二相机40的位姿关系。

本发明优选实施例公开的基于镜像的反向相机标定系统和方法，实现针对两个没有重叠视野的相机的标定，对于其中一个看不到标定板的相机，采用先对于镜像标定外参，再通过预定的转换方式得到真实标定板的外参；也即通过上述基于镜像的反向相机标定系统和方法，实现了对两台反向相机的标定，使得两台相机标定不再只限定于视野内必须有重叠的部分；而且在实施过程中，只需转动平面镜的角度即可得到两个相机的真实外参，操作简单。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于镜像的反向相机标定系统，其特征在于，包括标定板、平面镜、第一相机、第二相机和计算机，其中所述计算机分别连接所述第一相机和所述第二相机，所述第一相机和所述第二相机的拍摄方向相反，所述标定板设置在所述第一相机的拍摄范围内，所述平面镜设置在所述第二相机的拍摄范围内，且所述标定板在所述平面镜中的像也在所述第二相机的拍摄范围内。

2.根据权利要求1所述的反向相机标定系统，其特征在于，所述标定板可移动地设置在所述第一相机的拍摄范围内，所述平面镜可调整角度地设置在所述第二相机的拍摄范围内。

3.一种基于镜像的反向相机标定方法，其特征在于，包括以下步骤：

S1：搭建如权利要求1或2所述的反向相机标定系统；

S2：调整所述标定板的位置以标定所述第一相机的内参；

S3：固定所述标定板的位置以使得所述第一相机能够拍摄到完整的所述标定板且所述第二相机能够拍摄所述标定板在所述平面镜中完整的像；

S4：标定所述第一相机相对所述标定板的外参；

S5：调整所述平面镜的角度多次以标定所述第二相机的内参和所述第二相机的相对所述标定板在所述平面镜中的像的外参；

S6：根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参计算得到所述第二相机相对所述标定板的外参；

S7：根据步骤S4标定的所述第一相机相对所述标定板的外参和步骤S6得到的所述第二相机相对所述标定板的外参，得到所述第一相机和所述第二相机的位姿关系。

4.根据权利要求3所述的反向相机标定方法，其特征在于，步骤S5中调整所述平面镜的角度的次数为2～6次。

5.根据权利要求3所述的反向相机标定方法，其特征在于，步骤S5中每次调整所述平面镜的角度时均需满足所述标定板在所述平面镜中的像完全在所述第二相机的拍摄范围内。

6.根据权利要求3所述的反向相机标定方法，其特征在于，步骤S6具体包括：

S61：建立所述第二相机的相对所述标定板在所述平面镜中的像的外参与所述第二相机相对所述标定板的外参之间的关系式：

其中，所述第二相机相对所述标定板在所述平面镜中的像的外参包括所述第二相机的光心在所述平面镜中的像C'和所述第二相机的旋转矩阵在所述平面镜中的像R'＝{r₁',r₂',r₃'}；所述第二相机相对所述标定板的外参包括所述第二相机的光心C和所述第二相机的旋转矩阵R＝{r₁,r₂,r₃}，I是3×3的单位矩阵，s_k＝C^Tr_k，k＝{1,2,3}；

S62：建立所述第二相机的旋转矩阵的约束关系式：

|r₁|＝|r₂|＝|r₃|＝1

S63：将步骤S61的关系式和步骤S62的约束关系式进行结合，以根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参计算得到所述第二相机相对所述标定板的外参。

7.根据权利要求6所述的反向相机标定方法，其特征在于，步骤S63中具体包括：将步骤S61的关系式和步骤S62的约束关系式进行结合，以根据步骤S5标定的所述第二相机的相对所述标定板在所述平面镜中的像的外参使用最小二乘法拟合计算得到所述第二相机相对所述标定板的外参。