CN101763640A - 车载多目摄像机环视系统的在线标定处理方法 - Google Patents

Abstract

本发明是为了解决车载环视系统中存在的车辆姿态变化导致俯视图拼接准确性问题而提出的车载多目摄像机环视系统的在线标定处理方法。由重叠区域决定部分，特征量计算部分，车辆姿态计算部分和结果输出部分这四个部分构成在线标定系统。把各种姿态的摄像头视点变换以及拼接处理的结果制作一种查找表，这种查找表包含车辆姿态数据以及对应的各台相机的原始图像位置结果，加权参数等，这样可以在得到车辆姿态数据之后同时进行视点变换和图像拼接处理。

Description

车载多目摄像机环视系统的在线标定处理方法

技术领域

本发明涉及车载多目摄像机环视系统，尤其是一种车载多目摄像机环视系统的在线标定处理方法。

背景技术

当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。

上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。

车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。

目前车载环境感知系统使用的传感器主要有：1)单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2)激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3)声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。

比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量(比如倒车用)，而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像头是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。

为了让驾驶员更准确的了解车辆周边的障碍物等危险信息，系统通过视角的变换处理将原有的具有一定俯角的图像变换为垂直朝下的虚拟摄像机图像。

倒车摄像机多用于比较复杂的倒车环境，但一台摄像头的视野有限，在车辆前方侧方障碍物较多的情况下，通常采用多台摄像机构成车辆环视系统，为驾驶员提供车辆360度完整的环境感知信息。

车辆环视系统主要是通过安装在车辆前后左右的多台摄像头拍摄的图像，经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图，并通过合成算法拼接为一张完整俯视图。

本专利所述车载多目摄像机环视系统是指车载环境感知的多目立体摄像机系统。

(1)与本发明相关的现有技术一：视点变换

现有技术一(国际公开专利W000-07373，日本专利JP3625059，JPT2002-067158，日本专利申请JPA特開P2002-166802A，P2008-48317A等)。

车辆环视系统的基础技术在于摄像头的视角变换技术。如图1所示，车载摄像头位置处在以地面为中心的三维坐标系X-Y-γ的(0，0，H)点，光轴方向同Y轴夹角为τ(摄像头的俯角)，摄像头三维坐标系为X”-Y”-γ”。摄像头内的二维投影坐标系为α-β，焦距为f。

根据投影变换的法则，所有位于地面(Z轴坐标为0)的点(x，y)投影到摄像头平面的位置(α，β)可以通过以下公式推定。

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}H\×a/(-\mathrm{\β}\cos \mathrm{\τ}+f\sin \mathrm{\τ})\\ H\×(\mathrm{\β}\sin \mathrm{\τ}+f\cos \mathrm{\τ})/(-\mathrm{\β}\cos \mathrm{\τ}+f\sin \mathrm{\τ})\end{array}\right]...\left(1\right)$

一般的视点变换通常把处于摄像头的中心位置的地面参照点作为中心，高度为H’焦距为f’的光轴垂直向下的虚拟相机(参照图4)。由于光轴垂直向下，可以通过平行投影的法则，推导出地面点(x，y)投影到摄像头平面的位置(α’，β’)。

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{H^{\′}}{f^{\′}}\left[\begin{array}{c}{\mathrm{\α}}^{\′}\\ {\mathrm{\β}}^{\′}\end{array}\right]...\left(2\right)$

所以综合(1)(2)之后，我们就可以得到视点变换的公式为：

$\left[\begin{array}{c}{\mathrm{\α}}^{\′}\\ {\mathrm{\β}}^{\′}\end{array}\right]=\frac{f^{\′}}{H^{\′}}\left[\begin{array}{c}H\×a/(-\mathrm{\β}\cos \mathrm{\τ}+f\sin \mathrm{\τ})\\ H\×(\mathrm{\β}\sin \mathrm{\τ}+f\cos \mathrm{\τ})/(-\mathrm{\β}\cos \mathrm{\τ}+f\sin \mathrm{\τ})\end{array}\right]...\left(3\right)$

视点变换后的示意图如图4所示。

专利文献1：日本专利JP3625059；专利文献2：日本专利JPT2002-067158。

(2)与本发明相关的现有技术二：环视图像合成

同上所述，安装在车辆前后左右的摄像头经过视点变换之后，分别形成多张虚拟垂直拍摄的俯视图像。在初始标定处理过程中，各台相机相对于车辆坐标系的位置可以求出。根据摄像头的相对位置数据，可以将这些俯视图像进行合成处理，拼接成一幅车辆环视的全景图。在各台虚拟相机的高度及焦距相同的情况下，这些俯视图像的尺寸比例相同，可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图，即可得到最后的结果图。专利文献3：日本专利JPA2002-067158；专利文献4：日本专利JPA2008-34966。

(3)与本发明相关的现有技术三：对应车辆姿态变化的解决办法

现有技术二中虽然可以生成多视点的车辆环绕俯视图，但由于各台相机的相对位置关系是在初期标定处理中计算出来的，尤其是车辆姿态(俯角和水平偏角)在车辆经久变化，以及载人载物的重量分布出现变化时这些相对位置的信息会出现一定变化，这些变化会影响环视图的拼接质量。

现有技术三(日本专利JPA-2003274394，JPA-2008034966)提出通过安装在后视摄像头内部的可视激光发生器，发出激光束照射路面，同时后视摄像头根据激光点的路面位置来计算车辆的三维姿态变化，来调整拼图的处理参数。JPA-2008034966进一步通过图像处理的方式判断激光点是否照射到平坦的路面上，保证测量参数的准确性。专利文献5：日本专利JPA-2003274394；专利文献6：日本专利JPA-2008034966。

(4)现有技术的缺点

现有技术一以及现有技术二可以通过多视点的视点变换图像进行拼接，得到环绕俯视图，但由于车辆姿态(车辆相对路面的俯角，水平偏角等)的实时变化，无法保证拼接的准确性。大部分现有技术往往采用固定姿态参数，即在各台摄像头大的初期标定处理之后，系统生成图像视点变化用查找表(Look-uptable：LUT)，将拼接后的环视图的每一个像素对应的各台相机的原始图上的位置记录下来。在拼接处理中直接调用原始图像数据进行合成，满足高速处理的需求。但车辆姿态(俯角和水平偏角)在车辆经久变化，以及载人载物的重量分布出现变化时这些相对位置的信息会出现一定变化，这些变化会影响环视图的拼接质量。

现有技术三虽然可以通过外设激光发生器实时判断车辆姿态变化，但遇到路面积水，刹车灯点亮等情况下，无法正确判断投射激光点的位置。同时后视摄像头内安装激光发射器会导致系统成本增加，复杂性和出现故障可能性都会增大。

发明内容

本发明是为了解决车载环视系统中存在的车辆姿态变化导致俯视图拼接准确性问题而提出的一种车载多目摄像机环视系统的在线标定处理方法，更准确的完成了环视系统的在线标定及拼接。

按照本发明提供的技术方案，所述车载多目摄像机环视系统中查表进行环视拼接的方法如下：

对多目摄像头得到的原始图像通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括：所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。

所述车载多目摄像机环视系统的在线标定处理方法如下：

(1)对车载多目摄像头得到的原始图像的重叠区域，分别进行视点变换；

(2)对所述各个摄像头视点变换后的重叠区域进行特征量计算；

(3)分别将所述重叠区域的两组图像的特征量进行相减，沿着摄像头的射线方向的特征量不参与相减；若特征量相减后不为零，则断定车辆姿态发生变化，按照车辆俯角和水平偏角可能的变化范围，重新进行视点变换以及特征量计算，直到全部重叠区域的特征量相减的差的绝对值小于预先设定的阈值，从而得到车辆的俯角和水平偏角；

(4)通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括：所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。

每一组摄像头采集的新图像到来之后都要进行步骤1-4，所述一组图像是指多目摄像头同时采集到的多幅图像。

所述特征量可以是边缘、特征点、特征颜色中的一种或几种的组合。

本发明的优点是：本发明解决了车辆姿态变化时对环视图的影响，可以高速准确的检测到车辆的姿态变化，同时本发明不需要利用激光发生器等外部设备，直接利用原始图像，降低成本。

附图说明

图1是车载摄像头的投影坐标系。

图2是视点变换示意图。

图3是在线标定系统结构图。

图4是重叠区域示意图。

具体实施方式

本发明提出车载环视处理用在线标定系统的概念。如图3所示，该系统由重叠区域决定部分，特征量计算部分，车辆姿态计算部分和结果输出部分这四个部分构成在线标定系统。重叠区域可以事先得到。除了重叠区域决定部分以外，其他三个部分都是在线处理，即每一组新图像到来之后都要进行在线标定处理。一组图像是指多目摄像头同时采集到的多幅图像，如同一时间，每个摄像头得到的一帧图像。

一、重叠区域决定部分

车载环视处理系统是由多台广角摄像头构成，每台摄像头覆盖一定区间，图像经过视点变换生成俯视图，并进行拼接得到车辆环视图。如图9所示，相邻摄像头通常都要有一部分区域相互重叠，根据镜头及摄像头设置的高低，这些重叠区域大小略有变化。

各台摄像头在初期标定处理中已经确定了相对车辆坐标系的位置关系，并生成图像视点变化用查找表(Look-up table：LUT)如下表所示，记录着拼接后的环视图的每一个像素对应的相机编号，每台摄像头的原始图上的位置，以及对应的加权参数。从这个查找表中可以确定各个相机相互重叠的区域。这些区域在车辆姿态没有特别大的变化时基本保持不变。重叠区域如图4所示。

表1.环视拼接用查找表

二、特征量计算部分

每一组新图像采集进来之后，各台摄像头根据查询表进行视点变换处理，并分别得到重叠区域的图像。如图4所示，重叠区域00是由前方摄像头和左侧摄像头的重叠部分构成，01是由前方同右侧，02是后方同右侧，03是后方与左侧构成。在这些重叠区域的图像中进行特征量计算，特征量可以是边缘，特征点或特征颜色等，计算处理可以是空间卷积，Harr-like特征提取等。

三、车辆姿态计算部分

我们用车辆俯角和水平偏角表示车辆姿态。如果车辆姿态保持初期标定时的姿态，那么每个重叠区域的两组图像的特征量计算结果就会完全相同，特征量进行相减后可以完全消除。对于高于路面的物体，由于视点变换时会产生变形(沿摄像头的射线方向倾倒)，在重叠区域内的两组图像中的特征量不会相同，我们可以事先把沿着摄像头的射线方向的特征量不做考虑。

如果重叠区域的两组图像进行相减后不能消除，可以断定车辆姿态已经发生变化。按照车辆俯角和水平偏角可能的变化范围，利用穷举法或其他高速参数确定法，重新进行视点变换以及特征量计算，达到全部重叠区域的特征量相减结果接近于零，从而得到车辆姿态。实际操作时是使相减结果的差的绝对值小于预先设定的阈值，这个阈值根据实际情况设为接近零的数值。为了提高计算速度，可以事先把各种姿态的摄像头视点变换后的重叠部分制成查找表LUT。

四、结果输出部分

得到上述车辆姿态以后，根据事先做好的查找表重新生成环视图并输出结果。这种查找表可以是以下包含车辆姿态的查找表。所述表包括环视图输出结果坐标，车辆姿态的俯角和水平偏角，对应摄像机的编号，每台摄像机的原始图像的坐标以及对应的加权参数。车辆姿态的俯角和水平偏角变化范围和变化间隔取决于实际车辆动态性能以及查找表可使用存储器空间大小。

表2.含有车辆姿态的环视拼接用查找表

以下为一个具体实施例。如图4所示，车辆前后左右共有4台相机进行环视处理。各台相机3维空间位置角度以及相对于车辆坐标系的相对位置和偏角可以事先通过离线标定处理得到。离线标定处理的具体实施例可参考上述专利文献1到6。

根据公式(1)到公式(3)分别得到各台相机视点变换后的虚拟垂直拍摄的俯视图像像素位置(α_i’，β_i’)对应的原始图像像素位置(α_i，β_i)，这里i表示相机编号。根据离线标定得到的各台相机相对于车辆坐标系的相对位置和偏角可以得到环视结果图的像素位置(x_new，y_new)对应于各台相机视点变换后的虚拟垂直拍摄的俯视图像像素位置(α_i’，β_i’)，从而得到原始图像像素位置(α_i，β_i)。制作的查找表如表2所述包含车辆姿态数据以及对应的各台相机的原始图像位置结果。

在线标定处理时，例如通过穷举法，在俯角和水平偏角的变化范围内对每一台重叠区域按照查找表的结果分别生成重叠区域图像，寻找可以达到全部重叠区域的特征量相减结果接近于零的车辆姿态数据。

得到姿态数据之后，可以通过参照表直接计算环视图的输出结果。如表2例示，环视图坐标(x_new，y_new)的(0，0)对应俯角0.0，水平偏角0.0的1号相机原始坐标为(3.42，198.23)，加权参数为0.82；2号相机原始坐标为(98.34，1.23)，加权参数为0.18。结果的环视图(0，0)的亮度值可以按以下方法进行计算。

1、通过线性或非线性插值法计算1号相机(3.42，198.23)点的图像输出值I1。2、通过线性或非线性插值法计算2号相机(98.34，1.23)点的图像输出值I2。3、结果(0，0)的亮度值I为I1和I2的加权平均。I＝0.82xI1+0.18xI2.环视图的全部像素按照以上办法计算。

综上，本发明在车载环视系统中采用在线标定的方法达到对应车辆姿态变化的目的。在线标定通过相邻摄像头的重叠区域，生成视点变换图像并计算重叠区域的特征量。按照车辆俯角和水平偏角可能的变化范围，利用穷举法或其他高速参数确定法，重新进行视点变换以及特征量计算，达到全部重叠区域的特征量相减结果接近于零，从而得到车辆姿态。为了提高计算速度，可以事先把各种姿态的摄像头视点变换以及拼接处理的结果制作一种查找表，这种查找表包含车辆姿态数据以及对应的各台相机的原始图像位置结果，加权参数等，这样可以在得到姿态数据之后同时进行视点变换和图像拼接处理。

Claims (4)

1.一种车载多目摄像机环视系统中查表进行环视拼接的方法，其特征是：

对多目摄像头得到的原始图像通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括：所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。

2.一种车载多目摄像机环视系统的在线标定处理方法，其特征是：

(1)对车载多目摄像头得到的原始图像的重叠区域，分别进行视点变换；

(2)对所述各个摄像头视点变换后的重叠区域进行特征量计算；

(3)分别将所述重叠区域的两组图像的特征量进行相减，沿着摄像头的射线方向的特征量不参与相减；若特征量相减后不为零，则断定车辆姿态发生变化，按照车辆俯角和水平偏角可能的变化范围，重新进行视点变换以及特征量计算，直到全部重叠区域的特征量相减的差的绝对值小于预先设定的阈值，从而得到车辆的俯角和水平偏角；

(4)通过查表进行视点变换及图像拼接，得到车辆环视图；所述视点变换及拼接时对于所述环视图各个像素的输出值通过查表确定，所述表包括：所述环视图的二维坐标、车辆俯角、车辆水平偏角、摄像头编号、所述原始图像坐标、摄像头的加权参数，一组特定环视图二维坐标、车辆俯角、车辆水平偏角和摄像头编号对应唯一一组该编号摄像头的原始图像坐标、该编号摄像头的加权参数。

3.如权利要求2所述的车载多目摄像机环视系统的在线标定处理方法，其特征是每一组摄像头采集的新图像到来之后都要进行步骤1-4，所述一组图像是指多目摄像头同时采集到的多幅图像。

4.如权利要求2所述的车载多目摄像机环视系统的在线标定处理方法，其特征是所述特征量可以是边缘、特征点、特征颜色中的一种或几种的组合。

Images