CN102013099A - 车载摄像机外参数交互式标定方法 - Google Patents

Abstract

本发明公开了一种车载摄像机外参数交互式标定方法，目的是在事先取得摄像机内参数的条件下，通过合理构造标定场景以及简单人机交互实现高精度摄像机外参数标定。技术方案是：先得到摄像机内参数；接着在平坦地面上构建拥有三条标定直线的标定场景；然后构建辅助坐标系，通过人机交互定位地面三条标定线在摄像机图像中的图形和位置，并求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系；最后利用标定线坐标及其对应关系求取摄像机外参数。采用本发明可以同时求出所有摄像机外参数，参数求解完备；采用本发明可克服摄像机镜头畸变对外参数标定的影响，保证标定过程的可靠性；本发明标定场景构造简单，实现方便、可操作性强。

Description

车载摄像机外参数交互式标定方法

所属技术领域

本发明涉及计算机视觉系统中的摄像机标定方法，特别涉及一种车载摄像机外参数交互式标定方法。

背景技术

近年来，基于计算机视觉的汽车主动安全产品的研究日益广泛，相关实用化的产品日渐丰富。如车道偏离提醒系统（LDWS），车辆前撞预警系统（FCWS）和倒车后视辅助系统等。在计算机视觉系统中，摄像机的安装与标定是一个关键性的环节，直接决定了视觉系统的功能实现与性能指标。

摄像机标定是确定摄像机内部几何和光学参数以及摄像机坐标系相对于世界坐标系的三维位置和姿态的过程，是确定二维图像与三维场景相对关系的关键。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，对摄像机标定的研究来说，当前的研究工作主要集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。

摄像机标定一般分为内参数标定和外参数标定，内参数与摄像机本身相关，而外参数由安装位置决定。整个标定过程涉及三个坐标系（世界坐标系、摄像机坐标系、图像坐标系）和两套参数（摄像机内参数、摄像机外参数）。如附图1所示，以车载前视应用为例，

图1a为世界坐标系：O_W-X_WY_WZ_W

在车载前视应用中，世界坐标系也就是车体固连坐标系，以后轮中心到地面的垂足为坐标系原点（O_W），向前为坐标系Y_W轴方向，向右为坐标系X_W轴方向，向上为坐标系Z_W轴方向（右手坐标系），以米为单位。

图1b为摄像机坐标系：O_C-X_CY_CZ_C

摄像机坐标系是与摄像机固连的坐标系，以摄像机光心为坐标原点（O_C），图像横向像素坐标增大的方向为X_C轴方向，图像纵向像素增大的方向为Y_C轴方向，Z_C轴与X_CY_C共同构成右手坐标系，以米为单位。

图1c为图像坐标系：O_I-UV

图像坐标系的原点在像素坐标最小的点O_I上，横向像素增大的方向定义为U轴方向，纵向像素增大的方向定义为V轴方向，以像素为单位。

三个坐标系通过两套参数联系起来：世界坐标系到摄像机坐标系的变换通过外参数得到，摄像机坐标系到图像坐标系的变换通过内参数确定。

世界坐标系到摄像机坐标系的变换：

                                                      公式一

       式中，（X_W，Y_W，Z_W）是一个点的世界坐标；（X_C，Y_C，Z_C）是该点对应的摄像机坐标系坐标；R为旋转矩阵；（X₀，Y₀，Z₀）是摄像机坐标原点在世界坐标系中的坐标。R通过三次旋转得到，分别对应偏航(q₁)、俯仰(q₂)和滚动(q₃)三个角度，这里的角度以逆时针为正。“

”表示矩阵乘法运算，

     公式二

公式一、二中的q₁,q₂,q₃,X₀,Y₀,Z₀为外参数。

摄像机坐标系到图像坐标系的变换（考虑摄像机镜头畸变）：

       

   公式三

式中，（X_C，Y_C，Z_C）是一个点的摄像机坐标系坐标，（U，V）是（X_C，Y_C，Z_C）这个点对应的图像坐标系坐标。公式三中的k₁,k₂,k₃,p₁,p₂,f_x,f_y,c_x,c_y为内参数。其中，k₁,k₂,k₃为径向畸变系数，p₁,p₂为切向畸变系数，f_x,f_y为以像素为单位的焦距，c_x,c_y为图像基准点坐标。

在视觉产品的设计和匹配过程中，摄像机内参数可以与摄像机一同发布，而摄像机外参数与最终安装姿态相关，往往需要现场标定。对车载计算机视觉系统来说，传统的标定方法往往涉及复杂的成像原理和离线交互过程，不利于产业工人和技术维护人员的掌握，不适合工业装配和维护现场；而简化的标定方法往往面临参数求解不完备和精度受限的问题。

西安交通大学的李青于2003年提出了一种车载摄像机外部参数三线标定方法（专利申请号：200310105844）。该方法使用车前三条平行线实现摄像机外参数标定，其步骤如附图2所示：

第一步，构建标定场景

在平坦地面上构建拥有三条互相平行的直线的标定场景，使载有摄像机汽车的纵轴平行于这些直线，测得三条互相平行的直线与车体纵轴的距离；

第二步，确定车载摄像机外部参数

包括摄像机相对车体的侧倾角、俯仰角、方向角、摄像机在车体中离地面的高度和摄像机距车中心的距离这5个外部参数；

第三步，建立以像素为单位的摄像机外部参数表达式

在假设地面平坦的条件下，根据小孔成像模型，三条平行线在图像平面上依旧为直线且具有相同的消失点和不同的斜率，而摄像机的外部参数与消失点和斜率有着内在的联系，经过数学推导和坐标变换，建立以像素为单位的摄像机外部参数表达式；

第四步，参数标定

采用南加利福尼亚大学开发的标定工具箱（Jean-Yves Bouguet. Matlab camera calibration toolbox. http://www.vision.caltech.edu/bougetj/calib_doc/index.html）标定摄像机的内部参数；

摄像机的外部参数标定：利用第三步得到的摄像机外部参数表达式和第一步测得的地面三条平行线距车纵轴的距离，求得第二步确定的5个摄像机外参数；

至此完成摄像机标定过程。

由于该发明第一步中标定场景的设计仅使用了三条平行线，缺少纵向信息，以至最终不能对摄像机光心相对车体坐标系的纵向位移（对应公式一中的Y₀）进行标定，参数求解不完备；在汽车主动安全应用中，纵向位移对估计车体位置非常关键，直接影响系统的安全性；实际应用中需要额外测量这个参数，这里会引入测量误差，精度受限。另外，由于第三步中仅使用了小孔成像模型，没有考虑摄像机镜头畸变，这使得该方法只用适用于畸变较小的摄像机（也有误差），对大视角摄像机无法使用。这些因素，使得该方法的应用受到限制。

面对计算机视觉类汽车主动安全产品对摄像机标定技术的迫切需求，以及摄像机标定技术的发展现状，急需一种能适用于工业装配和维护现场的车载摄像机标定方法。而到目前为止，这个问题始终没有得到有效的解决。

发明内容

本发明要解决的技术问题是：提出一种车载摄像机外参数交互式标定方法，针对工业装配和维护现场，在事先取得摄像机内参数的条件下，通过合理构造标定场景以及简单人机交互实现高精度摄像机外参数标定。

本发明的技术方案是：

第一步，获取摄像机内参数

由摄像机供应商提供或通过标定得到摄像机内参数。如果标定，使用南加利福尼亚大学开发的标定工具箱（Jean-Yves Bouguet. Matlab camera calibration toolbox. http://www.vision.caltech.edu/bougetj/calib_doc/index.html）进行标定；

第二步，构建标定场景

在平坦地面上构建拥有三条直线的标定场景，三条直线称为标定线，是在世界坐标系中的直线，使得标定线中的两条直线与载有摄像机汽车的纵轴平行，第三条直线与前两条直线垂直相交，并且保证三条标定线与两个交点在摄像机图像中可见；

第三步，构建辅助坐标系，通过人机交互定位地面三条标定线在摄像机图像中的图形和位置，并求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系；

步骤1，构建辅助坐标系

为了通过人机交互来定位地面的三条标定线，构建一个二维的辅助坐标系，O’_C-X’_CY’_C坐标系。其坐标原点O’_C在摄像机坐标系O_C-X_CY_CZ_C的（0，0，1）点，X’_C轴与X_C轴平行，Y’_C轴与Y_C轴平行，坐标定义为：

                                                                公式四

式中，（X_C，Y_C，Z_C）是一个点的摄像机坐标系坐标，（X’_C，Y’_C）是点（X_C，Y_C，Z_C）对应的O’_C-X’_CY’_C坐标系坐标。

根据透视变换的性质可以知道：一般的地面上的直线，在O’_C-X’_CY’_C坐标系中也是直线（广角摄像机也一样）。可以根据摄像机内参数以及公式三得到O’_C-X’_CY’_C坐标系中直线在摄像机图像中的对应图形（不一定是直线）。

步骤2，创建标定图形

在辅助坐标系中创建标定图形，用以定位地面三条标定线在摄像机图像中的形状和位置。根据透视变换的性质和辅助坐标系的定义可知：标定图形在辅助坐标系中也是三条直线。所以，在辅助坐标系中将标定图形创建为两条竖线与一条横线，利用第一步中的摄像机内参数以及公式三求取辅助坐标系中标定图形在摄像机图像中对应的形状和位置（一般求法：在O’_C-X’_CY’_C坐标系中直线上等间距的选取采样点，将这些点的坐标通过公式三投影到O_I-UV图像坐标系中，连接投影后的采样点，就得到了对应的图形），将标定图形叠加显示在摄像机图像上。

步骤3，通过人机交互定位标定图形

根据摄像机图像中的标定图形与标定线的相对关系，调整辅助坐标系O’_C-X’_CY’_C中标定图形的三条直线的参数，使得摄像机图像中的标定图形与标定线重合。调整的操作可以通过图像处理算法（如曲线检测定位算法）自动实现，也可以通过人机交互实现，结果具有客观性、唯一性。自动实现效率较高，但是对标定场景与图像质量的要求更高；而交互实现虽然效率略低，但是可以适应多变的场景。在实际实现中，可以根据客观条件择优选择。

步骤4，求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系

由于步骤3中摄像机图像中的标定图形与标定线已经重合，所以标定线在辅助坐标系下的坐标等于标定图形在辅助坐标系下的坐标。

量测得到世界坐标系中三条标定线的两个交点的坐标：A点（X1，Ｙ）和B点（X2，Ｙ），其中X1、X2是两条平行线在世界坐标系中的X_W轴坐标，Y是垂直线在世界坐标系中的Y_W轴坐标；利用辅助坐标系中标定图形的三条直线的参数以及通用的直线求交点算法计算得到辅助坐标系中标定图形的三条直线的三个交点的坐标：a点（ｘ１，ｙ１）、b点（ｘ２，ｙ２）和c点（Ｘｖ，Ｙｖ）；其中A点与a点对应，B点与b点对应，c点为地面两平行线在辅助坐标系中的交点（即平行线消失点）。

第四步，利用第三步得到的标定线坐标及其对应关系求取摄像机外参数

需要用到三组对应点，对应第三步步骤4中的A-a点，B-b点和c点，保证其中一个点对应世界坐标系Y_W轴方向的消失点（这里为c点），另外两个点在Y_W轴拥有相同的坐标（这里为A-a点，B-b点）。

公式一可以写成：

                                                              公式五

       式中，a1,a2,a3,a4,b1,b2,b3,b4,c1,c2,c3,c4作为推导的中间变量，公式八、十二给出了这些中间变量与摄像机外参数（q₁,q₂,q₃,X₀,Y₀,Z₀）的关系。将A-a点，B-b点和c点的世界坐标系坐标和辅助坐标系坐标带入公式五化简得到六个方程：

       

                                   公式六

式中，（Ｘ１，Ｙ）是A点的世界坐标系坐标，（Ｘ２，Ｙ）是B点的世界坐标系坐标，（ｘ１，ｙ１）是a点的辅助坐标系坐标，（ｘ２，ｙ２）是b点的辅助坐标系坐标，    （Ｘｖ，Ｙｖ）是c点的辅助坐标系坐标。

首先，求解偏航(q₁)、俯仰(q₂)和滚动(q₃)三个角度参数，化简公式六可以得到：

                                 公式七

由公式一、二、五可得：

公式八

将公式八带入公式七，化简得到：

       公式九

求解公式九，得到

                                                 公式十

式中，Pa、Pb利用公式七求得，Pd利用公式七、九求得，（Ｘｖ，Ｙｖ）对应消失点c点的辅助坐标系坐标。根据偏航(q₁)、俯仰(q₂)和滚动(q₃)三个角度各自的取值范围求取q1,q2,q3 的角度值（依次求取q3、q2、q1），进而由公式八得到R矩阵，同时求得a1,a2,a3,b1,b2,b3,c1,c2,c3。

由公式六可得：

       公式十一

由公式一、公式五可得：

                                                      公式十二

至此，所有参数求解完毕，外参数q₁,q₂,q₃,X₀,Y₀,Z₀标定完毕。其中，（q₁,q₂,q₃）是偏航(q₁)、俯仰(q₂)和滚动(q₃)三个角度；（X₀，Y₀，Z₀）是摄像机坐标原点在世界坐标系中的坐标，Z₀为离地的高度、X₀为距车中心的横向距离、Y₀为纵向位移。

采用本发明可以达到以下技术效果：

1.        由于在标定场景设计中包含了纵向和横向的信息，使得本方法可以同时求出所有摄像机外参数，参数求解完备；

2.        通过引入辅助坐标系有效克服了摄像机畸变对外参数标定的影响，保证了交互过程的可靠性，可以适应广角摄像机（含鱼眼摄像机）的标定；

3.        标定场景构造简单，仅用三条直线实现外参数标定（本质上是三点标定法），实现方便、可操作性强；

4.        支持人机交互实现，且交互过程简单、快捷，对操作人员的要求低，因此可以适应多变的场景，提高了标定的稳定性；

5.        标定仅需单一场景的单一图像，所以支持在线实现，无需离线采集处理，提高了标定的效率；

6.        利用直线交点来定位点的坐标，提高了点的定位精度和稳定性，保证了标定效果。

附图说明

图1坐标系图示：其中，图1a为世界坐标系图示，图1b为摄像机坐标系图示，图1c为图像坐标系图示；

图2西安交通大学三线标定法的流程图；

图3本发明交互式标定法的流程图；

图4本发明第二步构建的标定场景示意图：图4a是世界坐标系中标定线与车体的相对位置示意图，图4b是摄像机图像中标定线的图像示意；

图5本发明第三步中标定线与标定图形的相对关系示意图：图5a是世界坐标系中的标定线及其交点的示意图，图5b是辅助坐标系中标定图形及其交点的示意图，图5c是图像坐标系中标定图形及其交点的示意图；

图6是人机交互实际效果图。

具体实施方式

附图3是本发明的流程图。

本发明具体流程为：

第一步，获取摄像机内参数

第二步，构建标定场景

如附图4a所示，在平坦地面上贴出三条直线段，其中两条与车体纵轴平行，另一条垂直于车体纵轴，保证三条标定线及其交点在摄像机图像中均可见，如附图4b所示；

第三步，构建辅助坐标系，通过人机交互定位地面三条标定线在摄像机图像中的图形和位置，并求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系

步骤1，构建辅助坐标系

为了通过人机交互来定位地面的三条标定线，构建一个二维辅助坐标系，O’_C-X’_CY’_C坐标系，如附图5b所示；

步骤2，创建标定图形

在辅助坐标系中将标定图形创建为两条竖线与一条横线，利用第一步中的摄像机内参数以及公式三得到辅助坐标系中标定图形在摄像机图像中对应的形状和位置，将标定图形叠加显示在图像上。对照附图6，图像中的三个白色线段就是贴在地面上的标定线，图像中的黑白虚线就是标定图形。

步骤3，通过人机交互定位标定图形

标定人员观察摄像机图像中的标定图形与标定线之间的关系，通过调整辅助坐标系O’_C-X’_CY’_C（虚拟的辅助坐标系）中三条直线的参数，使得摄像机图像中的标定图形与标定线重合。对照附图6，图中的标定图形与标定线已经重合，实现了图形定位。

步骤4，求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系

由于步骤3中摄像机图像中的标定图形与标定线已经重合，所以标定线在辅助坐标系下的坐标等于标定图形在辅助坐标系下的坐标。通过测量、计算得到标定线在世界坐标系中的两个交点的坐标，以及标定图形在辅助坐标系中三个交点的坐标（含消失点）：对照附图5a，量测得到世界坐标系中三条标定线的两个交点的坐标：A点（X1，Ｙ）和B点（X2，Ｙ）；对照附图5b，利用辅助坐标系中标定图形的三条直线的参数以及通用的直线求交点算法计算得到辅助坐标系中标定图形的三条直线的三个交点的坐标：a点（ｘ１，ｙ１）、b点（ｘ２，ｙ２）和c点（Ｘｖ，Ｙｖ）；其中A点与a点对应，B点与b点对应，c点为地面两平行线在辅助坐标系中的交点（即平行线消失点）。图5c是图像坐标系中标定图形及其交点的示意图，其中Ia点与a点对应，Ib点与b点对应，Ic点与c点对应。

第四步，利用第三步得到的标定线坐标及其对应关系求取摄像机外参数

利用公式十、十一、十二求取所有摄像机外参数，标定完毕。

该方法在工程实践中得到了充分的测试。这里以车载后视应用为例说明。车载后视摄像机在倒车辅助系统中发挥着重要的作用，其外参数标定过程可以使用本发明高效实现。

       车载后视摄像机具有许多的特点：视野广阔，一般使用鱼眼摄像机，横向视野在130度左右，摄像机畸变明显；偏航角与滚动角的期望值为零，在安装中需要克服，其取值范围在0附近；俯仰角较大，需要保证像机正视地面区域，其取值范围在（-90，-180）区间内，一般在-120度左右。

为了验证标定结果，利用标定得到的摄像机参数进行三维重建（还原标定点的世界坐标）。多次实验统计得到标定点的相对误差平均值在1%以内，完全可以适应车载主动安全产品的需求。

标定过程中误差的可能来源有：

1、标定场景构建误差：如地面不平坦，标定线不直，车身与标定线相对位置不准确等；

2、人机交互误差：交互得到的标定图形与摄像机图像中的标定线不重合；

3、内参数标定误差。

理论和实践证明，车载摄像机外参数交互式标定方法，可以使得没有计算机视觉专业知识的汽车装配工人通过简单的交互过程完成高效的车载摄像机标定。整个标定过程简单、快速，不需要过多的视觉成像知识，对技术维护人员的要求降到最低。

Claims (3)

1.一种车载摄像机外参数交互式标定方法，其特征在于包括以下步骤：

第一步，由摄像机供应商提供或通过标定得到摄像机内参数k₁,k₂,k₃,p₁,p₂,f_x,f_y,c_x,c_y，其中，k₁,k₂,k₃为径向畸变系数，p₁,p₂为切向畸变系数，f_x,f_y为以像素为单位的焦距，c_x,c_y为图像基准点坐标；

第二步，在平坦地面上构建拥有三条直线的标定场景，这三条直线称为标定线，是在世界坐标系中的直线，使得标定线中的两条直线与载有摄像机汽车的纵轴平行，第三条直线与前两条直线垂直相交，并且保证三条标定线与两个交点在摄像机图像中可见；

第三步，构建辅助坐标系，通过人机交互定位地面三条标定线在摄像机图像中的图形和位置，并求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系，方法是：

步骤1，构建辅助坐标系

构建二维坐标系O’_C-X’_CY’_C作为辅助坐标系，其坐标原点O’_C在摄像机坐标系O_C-X_CY_CZ_C的（0，0，1）点，X’_C轴与X_C轴平行，Y’_C轴与Y_C轴平行，坐标定义为：

                            公式四

式中，（X_C，Y_C，Z_C）是一个点的摄像机坐标系坐标，（X’_C，Y’_C）是点（X_C，Y_C，Z_C）对应的O’_C-X’_CY’_C坐标系坐标；

步骤2，创建标定图形

在辅助坐标系中创建标定图形，该标定图形为两条竖线与一条横线，利用第一步中的摄像机内参数以及公式三求取辅助坐标系中标定图形在摄像机图像中对应的形状和位置，将标定图形叠加显示在摄像机图像上；

    

  公式三

式中，（X_C，Y_C，Z_C）是一个点的摄像机坐标系坐标，（U，V）是（X_C，Y_C，Z_C）这个点对应的O_I-UV图像坐标系的坐标，O_I-UV图像坐标系的原点在像素坐标最小的点O_I上，横向像素增大的方向定义为U轴方向，纵向像素增大的方向定义为V轴方向，以像素为单位；

步骤3，通过人机交互定位标定图形

根据摄像机图像中的标定图形与标定线的相对关系，采用图像处理算法或通过人机交互的方法，调整辅助坐标系O’_C-X’_CY’_C中标定图形的三条直线的参数，使得摄像机图像中的标定图形与标定线重合；

步骤4，求取标定线在世界坐标系与辅助坐标系中的坐标及其对应关系

由于步骤3中摄像机图像中的标定图形与标定线已经重合，所以标定线在辅助坐标系下的坐标等于标定图形在辅助坐标系下的坐标。

2.量测得到世界坐标系中三条标定线的两个交点的坐标：A点（Ｘ１，Ｙ）和B点（Ｘ２，Ｙ），其中X1、X2是两条平行线在世界坐标系中的X_W轴坐标，Y是垂直线在世界坐标系中的Y_W轴坐标；利用辅助坐标系中标定图形的三条直线的参数以及通用的直线求交点算法计算得到辅助坐标系中标定图形的三条直线的三个交点的坐标：a点（ｘ１，ｙ１）、b点（ｘ２，ｙ２）和c点（Ｘｖ，Ｙｖ）；其中A点与a点对应，B点与b点对应，c点为地面两平行线在辅助坐标系中的交点即平行线消失点；

第四步，利用第三步得到的标定线坐标及其对应关系求取摄像机外参数

                        公式十

式中，，根据偏航q₁、俯仰q₂和滚动q₃三个角度各自的取值范围求取q1,q2,q3 的角度值，进而由公式八得到R矩阵；

公式八

式中，a1,a2,a3,b1,b2,b3,c1,c2,c3是辅助变量，将其带入公式十一；

   公式十一

式中，a4,b4,c4是辅助变量，最终带入公式十二求得摄像机坐标原点在世界坐标系中的坐标（X₀，Y₀，Z₀），Z₀为离地的高度、X₀为距车中心的横向距离、Y₀为纵向位移；

                           公式十二

式中，“”表示矩阵乘法运算，外参数q₁,q₂,q₃,X₀,Y₀,Z₀标定完毕。

3.2.如权利要求1所述的车载摄像机外参数交互式标定方法，其特征在于所述求取辅助坐标系中标定图形在摄像机图像中对应的形状和位置的方法是：在O’_C-X’_CY’_C坐标系中直线上等间距的选取采样点，将这些点的坐标通过公式三投影到O_I-UV图像坐标系中，连接投影后的采样点，得到对应的图形。

Images