CN106803273A - 一种全景摄像机标定方法 - Google Patents

Abstract

本发明提出了一种全景摄像机标定方法，首先在同一电子显示屏上制作两个标定板，通过设计不同的标定图形或不同尺寸的棋盘格来区分左右标定板；然后基于标定板建立一个标定参考坐标系，分别计算左右像机坐标系与标定参考坐标系之间的相对位置姿态转移关系；获取同一标定参考坐标系下，“背对式”双目摄像机进行标定的相对关系矩阵；摄取多组图像，以重投影像点与实际像点误差最小作为目标函数，进行迭代优化，实现精确标定。本发明方法可推广到多个像机，用于背靠背双目像机、环形布置多像机等应用场景的标定。

Description

一种全景摄像机标定方法

技术领域

本发明属于摄像测量技术领域，涉及摄像机标定方法，特指一种全景摄像机标定方法。

背景技术

在摄像测量中，为了从图像中定量提取和测量空间物体的几何信息或运动信息，必须建立空间物点和图像中像点位置的相互对应关系，这种对应关系由摄像系统成像模型及摄像机参数决定，但摄像机的光心、光轴、焦距等并非物理实体，通常利用实验和数学模型分析确定参数，这一过程被称为摄像测量系统标定。摄像测量中像机标定的任务主要包括内参数、外参数和像差系数的确定，在计算机视觉研究中多用像机采集标定参照物的图像，再通过分析图像来求解像机参数。研究者们提出了多种多样的像机标定方法。这些方法大致可分为三类：传统标定方法、基于主动视觉的标定方法和自标定方法。

传统像机标定方法有直接非线性优化法，基于控制点的三维坐标与其对应图像点之间的非线性关系，通过对某些代价函数最小化直接搜索像机参数。该算法的优点是获得参数精度高，可求取各类像差，但参数个数太多、计算量大，算法稳定性差。直接线性变换解法，由Abdel和Karara提出采用线性解法得到一组中间参数，然后分解得到最终参数，该方法通过线性变换直接求解，简单快速，但未对镜头像差修正，精度较差。以Tsai和Weng提出和改进的“两步法”标定，对大部分标定参数采用线性求解，少部分参数采用非线性优化或迭代求解，该方法具有简单方便、精度较高的特点，同时考虑了像差，算法稳定。

基于主动视觉的标定方法需要控制相机做某些可控运动，如绕光心旋转或纯平移等，利用这种运动的特殊性计算像机参数，多用于机器人视觉标定。

像机自标定方法与三维结构重建联系紧密，Faugeras等首先提出了像机自标定的思想，描述多次成像之间约束关系的Kruppa方程，但直接求解方程非常复杂。研究者又提出了分层逐步标定的思想，首先对图像序列做摄影重建，再进行仿射标定和欧氏标定，以QR分解法、模约束法等为代表，主要用于序列图像三维重建标定方法中。

基于空间坐标精确已知的控制点标定像机的方法是经典的像机标定方法。这类标定方法需要构造若干控制点，然后用待标定像机采集这些控制点的图像并提取各控制点的像点，再根据控制点的空间坐标和对应像点的图像坐标计算像机的参数。现有的大多数双目摄像机标定方法都是基于这种经典标定方法，同时依赖两个相机之间存在的公共视场区域，当双目像机间不存在共同视场或视场交叉范围较小时，则无法求取双目摄像机的外部参数。

发明内容

针对现有技术存在的缺陷，本发明提供一种全景摄像机标定方法。本发明其创新性在于克服公共视场限制，通过对左右标定板的设计，求取全景像机坐标系下像点与参考坐标系下物点的对应关系，自动提取特征角点，优化目标函数，得到稳定的参数。本发明方法可推广到多个像机，用于背靠背双目像机、环形布置多像机等应用场景的标定。

本发明的技术方案是，

一种全景摄像机标定方法，包括以下步骤：

S1：设置左、右两块标定板M1和M2，两标定板位于同一电子显示屏上，两标定板的棋盘格上每个格子的长度相同均为1。

S2：建立一个标定参考坐标系W，全景相机的两个具有广角镜头的左侧摄像机和右侧摄像机分别对左、右标定板M1和M2拍摄，以左、右标定板M1和M2作为标定参照物，左、右标定板M1和M2的棋盘格上的网格角点为控制点；C1为左侧摄像机的像机坐标系，C2为右侧摄像机的像机坐标系，在标定参考坐标系W下，分别建立像机坐标系C1、C2与图像坐标系下像点的中心透视投影成像关系。

S3：对左、右标定板M1和M2上的控制点作投影变换得到像点，将投影变换得到的像点与图像检测的实际像点(x,y)作差，得到图像的残差，利用最小二乘法求解残差最小值，作为目标函数最优解，并通过极大似然估计计算映射矩阵H；其中，目标函数如下：

其中：(x_i,y_i)是第i个控制点的实际像点坐标，第i个控制点通过投影变换得到的像点坐标。

S4：利用求解得到的映射矩阵H作为已知量，分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的外参矩阵即其旋转矩阵R1和平移矩阵T1和右侧摄像机定标的外参矩阵即其旋转矩阵R2平移矩阵T2。

S5：根据全景摄像机其两像机坐标系C1、C2对应的几何关系，获取同一标定参考坐标系下两像机坐标系标定的相对关系中的旋转矩阵R和平移矩阵T：

S6：以步骤S5得到的旋转矩阵R和平移矩阵T为初始值，将全景相机拍摄的多组图像代入映射矩阵，进行迭代优化，提高标定精度。

在步骤S1中，通过设计不同的标定图形或尺寸大小来区分左、右标定板M1和M2，如在两标定板上的棋盘格中添加不同颜色或不同形状的标记块。对于非彩色相机，可以设置不同尺寸的左、右标定板来予以区分两标定板，比如左标定板的尺寸大小设置为7*9(即7行9列)，右标定板尺寸设置为5*7(即5行7列)。

在步骤S2中，任取空间一点为坐标原点，根据右手定则建立一个标定参考坐标系W。由于左、右标定板M1和M2的棋盘格上各格子的长宽度均为1，因此左、右标定板M1和M2上的控制点在标定参考坐标系W中的三维坐标已知。

全景相机中的两个摄像镜头是相同且对称设置的，像机坐标系C1、C2与图像坐标系下像点的中心透视投影成像关系是相同的。以全景相机中的一个摄像镜头为例，依据中心透视投影模型的基本关系，建立像机坐标系与图像坐标系之间的关系，方法如下：

设C-X_cY_cZ_c为像机坐标系C1或C2，为图像物理坐标系，S为像平面，点O为像平面和光轴的交点，称为图像主点。

图像坐标系为I-xy，其是以图像左上角点I为原点，以像素为坐标单位的直角坐标系。图像坐标系下的坐标为图像像素坐标。

点P为物点，点p为其对应的像点。设点P在空间内物点坐标为P(X,Y,Z)，点P在像机坐标系C-X_cY_cZ_c下坐标为P(X_c,Y_c,Z_c)，像点p的图像物理坐标为像点p对应的图像像素坐标为建立像机坐标系C-X_cY_cZ_c与图像坐标系的关系，得到像点p的图像像素坐标与物点P在像机坐标系C-X_cY_cZ_c下坐标(X_c,Y_c,Z_c)的关系式为：

其中，图像主点即光轴与像平面交点O的图像坐标为(C_x,C_y)，d_x、d_y分别为摄像机的单个像元在与方向上的物理尺寸，定义焦距f与像元的横纵尺寸d_x、d_y之比分别为等效焦距(F_x,F_y)。

根据中心透视投影模型线性关系，定义一个3×4阶矩阵M来描述空间点到图像点的中心透视投影关系，M由摄像机的内参数矩阵和外参数矩阵组成，称为投影矩阵。外参数矩阵即旋转矩阵和平移矩阵。可描述为：

其中：r₀至r₈都是旋转矩阵R中的元素值。

对于平面场景成像，平面内所有点由Z恒为零(平面场景成像，不涉及到第三维Z方向，因此平面内所有点的Z方向上坐标值为0)，则投影矩阵M可简化为映射矩阵H，有：

在S3中，已知左、右标定板上各控制点的坐标和摄像机的内参数矩阵，要确定外参数矩阵，即只需得到投影模型中的映射矩阵H，则可求出摄像机的各参数。通过极大似然估计计算映射矩阵H，由于像差、图像噪声、像点提取误差等问题的存在，实际上图像点与实际点并不严格满足映射矩阵的对应变换关系，因此对对控制点进行重投影得到像点，通过极大似然估计的方法求取投影变换得到的像点与实际像点(x,y)之间的残差，根据H的估计值最小化目标函数，得到映射矩阵H。极大似然估计过程就是使根据H的估计值对控制点重投影得到的像点与实际像点之间的残差最小化过程，目标函数如(5)式所示。

其中：(x_i,y_i)是第i个控制点的实际像点坐标，第i个控制点通过投影变换得到的像点坐标。

在S4中，利用求解得到的映射矩阵H作为已知量，分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的外参矩阵即其旋转矩阵R1和平移矩阵T1R1、T1和右侧摄像机定标的外参矩阵即其旋转矩阵R1和平移矩阵T1R2、T2，方法如下；

记映射矩阵H的列向量h₁、h₂、h₃，组成旋转矩阵R的各列向量记作Cr₁、Cr₂，则映射矩阵表达式有：

其中K为左/右侧摄像机的内参数矩阵，T为平移矩阵，Z_c为比例系数。

根据旋转矩阵R的正交性，有：

Cr₁ ^TCr₂＝0,Cr₁ ^TCr₁＝Cr₂ ^TCr₂＝1 (7)

联立式子(6)和式子(7)可得：

利用式(8)分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的旋转矩阵R1和平移矩阵T1和右侧摄像机定标的旋转矩阵R2和平移矩阵T2。

本发明提出了一种新的全景摄像机标定方法，能够克服公共视场限制，通过对左右标定板的设计，求取全景像机坐标系下像点与参考坐标系下物点的对应关系，自动提取特征角点，优化目标函数，得到精确稳定的参数。

附图说明

图1标定方法流程框图

图2不同颜色和尺寸的标定板模板

图3基准坐标系与像机坐标系示意图

图4像机坐标系与图像坐标系的关系示意图

图5图像自动标定结果

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

摄像机的成像过程可以看作是三维现实世界到二维图像的一个映射，图像上坐标点与世界坐标点之间的变换关系可以用一个摄像机内部参数矩阵和外部参数矩阵表示，摄像机标定就是通过求取上述参数矩阵，以便建立摄像机的成像模型。本发明提出了一种新的全景摄像机标定方法，能够克服公共视场限制，求取全景像机坐标系下像点与标定参考坐标系下物点的对应关系，得到精确稳定的参数。首先在同一电子显示屏上制作两个标定板，通过设计不同的标定图形或不同尺寸的棋盘格来区分左右标定板；然后基于标定板建立一个标定参考坐标系，分别计算左右像机坐标系与标定参考坐标系之间的相对位置姿态转移关系；获取同一标定参考坐标系下，“背对式”双目摄像机进行标定的相对关系矩阵；摄取多组图像，以重投影像点与实际像点误差最小作为目标函数，进行迭代优化，实现精确标定。

如图1所示用全景摄像机的两个具有鱼眼镜头的左侧摄像机和右侧摄像机分别对左右标定板进行图像采集，并在同一标定参考坐标系下建立各像机坐标系、图像物理坐标系、图像像素坐标系。依据中心透视投影模型，利用Harris角点检测提取标定板图像特征点，通过映射矩阵分别求取两像机的外部参数矩阵R1、T1、R2、T2；然后根据“背对式”摄像机两坐标系对应的几何关系，得到同一标定参考坐标系下两像机坐标系标定的相对关系中的旋转矩阵R和平移矩阵T；拍摄多组图像，以求得的R、T为初值，进行迭代优化，实现参数精确标定。

首先制作两个标定板，通过设计不同的标定图形或尺寸大小来区分左右标定板M1和M2，如在左、右标定板的棋盘格中添加不同颜色或不同形状的标记块。对于非彩色相机，可以设置左右标定板不同尺寸来区分，比如左标定板的尺寸大小设置为7*9(即7行9列)，右标定板尺寸设置为5*7(即5行7列)。两标定板位于同一电子显示屏上，两标定板其棋盘格上每个格子长度为1，如图2所示。左、右标定板M1和M2的棋盘格上的网格角点为控制点，棋盘格上各格子的长宽度均为1，因此左、右标定板M1和M2上的控制点在标定参考坐标系W中的三维坐标已知。

在摄像测量常用坐标系中，像机坐标系与世界坐标系之间的相对位置关系可以分解为绕坐标原点进行了一次旋转和一次平移。设空间内存在一点P，在世界坐标系下的坐标表示为P(X,Y,Z)，对应在像机坐标系下的坐标为P(X_c,Y_c,Z_c)，则可以用旋转矩阵R和平移矩阵T来描述两坐标系下点的关系如下：

如图3所示，选定任一点作为坐标原点，根据右手定则建立一个标定参考坐标系W。全景相机的两个具有广角镜头的左侧摄像机和右侧摄像机分别对左右标定板M1和M2拍摄。以左右标定板M1和M2作为标定参照物，左、右标定板M1和M2的棋盘格上的网格角点为控制点。两标定板其棋盘格上每个格子长度为1，因此左、右标定板M1和M2上的控制点在标定参考坐标系W中的三维坐标已知。

C1为左侧摄像机的像机坐标系，C2为右侧摄像机的像机坐标系。在像机坐标系和标定参考坐标系之间的相对位置可以分解为绕坐标原点进行了一次旋转和一次平移，则左标定板M1上的所有控制点在标定参考坐标系W和像机坐标系C1的关系用R1，T1描述，右标定板M2上的所有控制点在标定参考坐标系W和像机坐标系C2的关系用R2，T2描述。在标定参考坐标系W下，分别建立像机坐标系C1、C2与图像坐标系下像点的中心透视投影成像关系。

全景相机中左侧摄像机和右侧摄像机是相同且对称的，以全景相机中的一个摄像机为例，依据中心透视投影模型的基本关系，建立像机坐标系与图像坐标系之间的关系，如图4所示。其中C-X_cY_cZ_c为像机坐标系C1或C2，为图像物理坐标系，S为像平面，点O为像平面和光轴的交点，称为图像主点。图像像素坐标系为I-xy，其是以图像左上角点I为原点，以像素为坐标单位的直角坐标系。

如图3所示，像机坐标系C-X_cY_cZ_c是以摄像头轴线所对方向为Z_c轴，根据右手定则将标定参考坐标系W进行旋转到对应位置，确定X_c轴和Y_c轴。图像物理坐标系是以点O为原点的直角坐标系，其坐标轴方向与图像的宽高方向一致。

点P为物点，点p为其对应的像点；设点P在空间内物点坐标为P(X,Y,Z)，点P在像机坐标系C-X_cY_cZ_c下坐标为P(X_c,Y_c,Z_c)，像点p的图像物理坐标为像点p对应的图像像素坐标为建立像机坐标系C-X_cY_cZ_c与图像坐标系的关系，得到像点p的图像像素坐标与物点P在像机坐标系C-X_cY_cZ_c下坐标(X_c,Y_c,Z_c)的关系式为：

其中，图像主点即光轴与像平面交点O的图像坐标为(C_x,C_y)，d_x、d_y分别为摄像机的单个像元在与方向上的物理尺寸，定义焦距f与像元的横纵尺寸d_x、d_y之比分别为等效焦距(F_x,F_y)。

中心透视投影模型线性关系是用来描述空间任一点坐标经透视投影成像后，映射到图像上点坐标的对应关系。这一关系可由内、外参数矩阵进行数学表达，M定义为内外参数矩阵组成的投影矩阵，用来描述两点之间的关系。

根据中心透视投影模型线性关系，定义一个3×4阶矩阵M来描述空间点到图像点的中心透视投影关系，M由摄像机的内参数矩阵和外参数矩阵组成，称为投影矩阵。可描述为：

其中：r₀至r₈都是旋转矩阵中的元素值。

对于平面场景成像，平面内所有点由Z恒为零，则投影矩阵M可简化为映射矩阵H，有：

已知左右标定板上各控制点的坐标和相机的内参数矩阵，要确定外参数矩阵，即只需得到投影模型中的映射矩阵H，则可求出摄像机的各参数。通过极大似然估计计算映射矩阵H，由于像差、图像噪声、像点提取误差等问题的存在，实际上图像点与实际点并不严格满足映射矩阵的对应变换关系，因此对控制点进行重投影得到像点，通过极大似然估计的方法求取像点与实际点(x,y)之间的残差，根据H的估计值最小化目标函数(5)，得到映射矩阵H。

利用最小二乘法求解残差最小值，作为目标函数最优解，并通过极大似然估计得到映射矩阵H。极大似然估计过程就是使根据H的估计值对控制点重投影得到的像点与实际像点之间的残差最小化过程，目标函数如(5)式所示。

记映射矩阵H的列向量h₁、h₂、h₃，组成旋转矩阵R的各列向量记作Cr₁、Cr₂，则映射矩阵表达式有：

其中K为摄像机的内参数矩阵，T为平移向量，Z_c为比例系数。

根据旋转矩阵R的正交性，有：

Cr₁ ^TCr₂＝0,Cr₁ ^TCr₁＝Cr₂ ^TCr₂＝1 (7)

联立式子(6)和式子(7)可得：

至此，以上步骤得到了对摄像机线性参数的求解表达式，利用式(8)分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的外参矩阵即其旋转矩阵R1和平移矩阵T1和右侧摄像机定标的外参矩阵即其旋转矩阵R2平移矩阵T2。

根据“背对式”(即全景摄相机中的两个摄像镜头是相同且对称设置)摄像机两坐标系对应的几何关系，相对于同一标定参考坐标系W而言，两像机坐标系之间的转移关系为矩阵R、T关系式如下：

最后根据求得的外参矩阵R、T作为初始值，使左右侧摄像机的光轴与标定平面大致平行，并位于左右标定板的两个棋盘中间，上下平移、绕镜头光轴旋转或左右翻转像机，拍摄多对图像，将拍摄的多组图像代入映射矩阵(6)，进行迭代优化，提高标定精度。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (5)

1.一种全景摄像机标定方法，其特征在于，包括以下步骤：

S1：设置左、右两块标定板M1和M2，两标定板位于同一电子显示屏上，两标定板的棋盘格上每个格子的长度相同均为1；

S2：建立一个标定参考坐标系W，全景相机的两个具有广角镜头的左侧摄像机和右侧摄像机分别对左、右标定板M1和M2拍摄，以左、右标定板M1和M2作为标定参照物，左、右标定板M1和M2的棋盘格上的网格角点为控制点；C1为左侧摄像机的像机坐标系，C2为右侧摄像机的像机坐标系，在标定参考坐标系W下，分别建立像机坐标系C1、C2与图像坐标系下像点的中心透视投影成像关系；

S3：对左、右标定板M1和M2上的控制点作投影变换得到像点，将投影变换得到的像点与图像检测的实际像点(x,y)作差，得到图像的残差，利用最小二乘法求解残差最小值，作为目标函数最优解，并通过极大似然估计计算映射矩阵H；其中，目标函数如下：

其中：(x_i,y_i)是第i个控制点的实际像点坐标，第i个控制点通过投影变换得到的像点坐标；

S4：利用求解得到的映射矩阵H作为已知量，分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的外参矩阵和右侧摄像机定标的外参矩阵；

S5：根据全景摄像机其两像机坐标系C1、C2对应的几何关系，获取同一标定参考坐标系下两像机坐标系标定的相对关系中的旋转矩阵R和平移矩阵T；

S6：以步骤S5得到的旋转矩阵R和平移矩阵T为初始值，将全景相机拍摄的多组图像代入映射矩阵，进行迭代优化，提高标定精度。

2.根据权利要求1所述的全景摄像机标定方法，其特征在于，在S1中，通过设计不同的标定图形或尺寸大小来区分左、右标定板M1和M2。

3.根据权利要求1所述的全景摄像机标定方法，其特征在于，在S2中，标定参考坐标系W是任取空间一点为坐标原点，然后根据右手定则建立的坐标系。

4.根据权利要求1所述的全景摄像机标定方法，其特征在于，在S2中，像机坐标系C1、C2与图像坐标系下像点的中心透视投影成像关系是相同的，建立像机坐标系C1或C2与图像坐标系下像点的中心透视投影成像关系的方法如下：

设C-X_cY_cZ_c为像机坐标系C1或C2，为图像物理坐标系，S为像平面，点O为像平面和光轴的交点，称为图像主点；图像坐标系为I-xy，其是以图像左上角点I为原点，以像素为坐标单位的直角坐标系；

点P为物点，点p为其对应的像点；设点P在空间内物点坐标为P(X,Y,Z)，点P在像机坐标系C-X_cY_cZ_c下坐标为P(X_c,Y_c,Z_c)，像点p的图像物理坐标为像点p对应的图像像素坐标为建立像机坐标系C-X_cY_cZ_c与图像坐标系的关系，得到像点p的图像像素坐标 与物点P在像机坐标系C-X_cY_cZ_c下坐标(X_c,Y_c,Z_c)的关系式为：

其中，图像主点即光轴与像平面交点O的图像坐标为(C_x,C_y)，d_x、d_y分别为摄像机的单个像元在与方向上的物理尺寸，定义焦距f与像元的横纵尺寸d_x、d_y之比分别为等效焦距(F_x,F_y)；

根据中心透视投影模型线性关系，定义一个3×4阶矩阵M来描述空间点到像点的中心透视投影关系，M由摄像机的内参数矩阵和外参数矩阵组成，称为投影矩阵，可描述为：

其中：r₀至r₈都是旋转矩阵R中的元素值；

对于平面场景成像，平面内所有点由Z恒为零，则投影矩阵M可简化为映射矩阵H，有：

5.根据权利要求4所述的全景摄像机标定方法，其特征在于，在S4的方法为：

记映射矩阵H的列向量为h₁、h₂、h₃，组成旋转矩阵R的各列向量记作Cr₁、Cr₂，则映射矩阵表达式有：

其中K为左/右侧摄像机的内参数矩阵，T为平移矩阵，Z_c为比例系数；

根据旋转矩阵R的正交性，有：

Cr₁ ^TCr₂＝0,Cr₁ ^TCr₁＝Cr₂ ^TCr₂＝1 (7)

联立式子(6)和式子(7)可得：

利用式(8)分别对左侧摄像机和右侧摄像机求解线性参数，得到左侧摄像机定标的旋转矩阵R1和平移矩阵T1和右侧摄像机定标的旋转矩阵R2和平移矩阵T2。