CN103136720A - 车载360度全景拼接方法 - Google Patents

Abstract

本发明公开了一种车载360度全景拼接方法，包括：采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；确定图片坐标系与摄像机坐标系的映射关系；确定摄像机坐标系到地面坐标系下的单应矩阵；生成图片坐标系到地面坐标系的映射查找表；将摄像机获取的地面图片根据映射查找表拼接得到最终的俯瞰图。本发明针对车载环境四个视场下图像的复杂性，提出采用映射关系建立原视场图到俯瞰图的映射查找表，相对于特征点匹配，该方法只取决于坐标关系，而坐标在摄像头固定时就相对固定，所以相对于匹配，这种方法更具有可靠性；采用直接映射原图到摄像机坐标系下，省略了摄像机坐标系到世界坐标系的映射，减少误差，准确性更高。

Description

车载360度全景拼接方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种车载360度全景拼接方法。

背景技术

车载360度环视拼接系统是辅助车载主动安全的子系统之一，它是车载环视物体识别和测距、三维行车环境重建的基础，也是增加用户，尤其是新驾驶员驾车可靠性的安全辅助系统之一。同时给现有车载系统加入智能化元素，增加驾车体验感。它是在倒车雷达、自动泊车系统等主动安全系统的基础之上增强实用性和直观性而获得的设计。其算法实现的核心在于俯瞰图的拼接和融合，算法主要分成两部分：第一部分，鱼眼摄像头的矫正，映射关系的确定；第二部分，四个或者多个方向视场下图片的拼接和融合。

现有技术中，申请号为201110199571.9的专利申请主要采用shif特征点匹配和最优拼接线的RANSAC匹配确定拼接结果，该方案的缺点在于shif特征点的提取，在实时性很强，并且环境复杂的车载环视系统中很难精确确定特征点，另外四个视场下相交区域并不能保证有足够的特征点以供匹配，所以往往这种方案达不到实时性和准确性的要求；申请号为201110234021.6的专利申请主要匹配两幅图的Harris角点达到拼接，这种寻找角点的方案虽然简单，但是可靠性比较低，对噪声比较敏感，鲁棒性差；申请号为201010561115.X的专利申请采用对降采样图像粗略计算转移矢量获得拼接效果，转移矢量并不能很好表达所有鱼眼摄像头的映射关系，对于车载环视系统，达不到可用的拼接效果。

因此，针对上述技术问题，有必要提供一种车载360度全景拼接方法，以克服上述缺陷。

发明内容

有鉴于此，本发明提供了一种误差小、准确性高的车载360度全景拼接方法，具有实时性和鲁棒性。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种车载360度全景拼接方法，所述方法包括：

S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；

S2、确定图片坐标系与摄像机坐标系的映射关系；

S3、确定摄像机坐标系到地面坐标系下的单应矩阵；

S4、生成图片坐标系到地面坐标系的映射查找表；

S5、将摄像机获取的地面图片根据映射查找表拼接得到最终的俯瞰图。

作为本发明的进一步改进，所述步骤S1中的双曲面模型为关于Z轴对称的双曲面模型。

作为本发明的进一步改进，所述步骤S1中双曲面模型采用泰勒展开式 $z=f\left(\mathrm{\ρ}\right)=a_0+a_1\mathrm{\ρ}+a_2{\mathrm{\ρ}}^2+a_3{\mathrm{\ρ}}^3+\·\·\·$ 拟合， $a_1=0;\mathrm{\ρ}=\sqrt{u^2+v^2},$ u和u是图片坐标系下点(u,v)，鱼眼摄像机模型参数为关于泰勒展开式的系数。

作为本发明的进一步改进，所述步骤S2中图片坐标系与摄像机坐标系的映射关系采用向量成比例的关系进行建立。

作为本发明的进一步改进，所述步骤S3具体包括：

预先规定各个视场图片的显示范围，对于各个摄像头视场下指定右上角预定的起始点位置；

确定各个起始点在最终俯瞰图中的对应位置点；

分别在不同的视场中以各个摄像头为右上顶点摆放棋盘格；

将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。

作为本发明的进一步改进，所述摄像头包括前、后、左、右四个摄像头。

作为本发明的进一步改进，所述步骤S4具体包括：

将各个场景分别以各个摄像头为右上角起点的场景映射到俯瞰图上，微调顶点位置，各个视场图片通过映射拼接到俯瞰图上；

根据预先确定的显示范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终各个视场下图片到最终俯瞰图的映射关系。

本发明的有益效果是：

针对车载环境四个视场下图像的复杂性，提出采用映射关系建立原视场图到俯瞰图的映射查找表，相对于特征点匹配，该方法只取决于坐标关系，而坐标在摄像头固定时就相对固定，所以相对于匹配，这种方法更具有可靠性；

采用直接映射原图到摄像机坐标系下，省略了摄像机坐标系到世界坐标系的映射，减少误差，准确性更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明车载360度全景拼接方法的流程示意图；

图2为双曲面模型的原理示意图；

图3为本发明车载360度全景拼接方法中步骤S3和S4的具体流程示意图；

图4为本发明一具体实施方式中四个棋盘格摆放示意图；

图5为本发明一实施方式中采用车载360度全景拼接方法得到的室内拼接效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明车载360度全景拼接方法包括以下步骤：

S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；

S2、确定图片坐标系与摄像机坐标系的映射关系；

S3、确定摄像机坐标系到地面坐标系下的单应矩阵；

S4、生成图片坐标系到地面坐标系的映射查找表；

S5、将摄像机获取的地面图片根据映射查找表拼接得到最终的俯瞰图。

结合图1、图3所示，本发明中的具体步骤为：

S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数。

参图2所示，本实施方式中采用关于Z轴对称的双曲面模型来拟合鱼眼摄像头的透镜系统，图2中弧线表示双曲面一支的剖面图，双曲面的拟合采用泰勒展开式来拟合，表示为：

$z=f\left(\mathrm{\ρ}\right)=a_0+a_1\mathrm{\ρ}+a_2{\mathrm{\ρ}}^2+a_3{\mathrm{\ρ}}^3+\·\·\·,$

其中双曲面对称时

u和u是图片坐标系下点(u，v)，因此鱼眼摄像机模型参数就是泰勒展开式的系数，这部分属于摄像头特性的描述，故可以认为泰勒式系数是摄像头内参的一种表示，内参可以通过标定摄像头来求取。

S2、确定图片坐标系与摄像机坐标系的映射关系

根据图2可以得到：摄像头坐标系下的向量

与向量成比例关系，而

向量的结束点在双曲面上，因此向量

与向量

满足：

$\stackrel{\→}{\mathrm{OA}}-\left[\begin{array}{ccc}u& v& f\left(\mathrm{\ρ}\right)\end{array}\right]-\mathrm{\δ}\stackrel{\→}{\mathrm{OB}}-\mathrm{\δ}\left[\begin{array}{ccc}{X}_C& Y_C& Z_C\end{array}\right]$ 且δ＜1，

根据上述对应关系可以建立图片坐标系与摄像机坐标系的映射关系。

S3、确定摄像机坐标系到地面坐标系下的单应矩阵。

在步骤S1基础之上确定摄像机坐标系到地面坐标系(世界坐标系)下的单应矩阵，首先需要预先规定各个视场图的显示范围，对于各摄像头视场下指定右上角预定的起始点位置，前、后、左、右摄像头分别记为Front_SP、Rear_SP、Left_SP、Right_SP；

然后确定四个起始点在最终俯瞰图中的对应位置点，位置点与位置点以棋盘格边长为一个单位计数，并确保四个起始点能分别在相应视野中；

然后，分别在不同的视场中（这里是前、后、左、右）以Front_SP、Rear_SP、Left_SP、Right_SP为右上顶点摆放棋盘格，最后通过步骤S1的方式，将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。

S4、生成图片坐标系到地面坐标系的映射查找表。

结合步骤S1、步骤S2、步骤S3建立起图片坐标系下点对地面坐标系下俯瞰图上点的对应关系，将四个场景以Front_SP、Rear_SP、Left_SP、Right_SP为右上角起点的场景映射到俯瞰图上，微调四个顶点位置，四个视场图片通过映射拼接到俯瞰图上；

然后根据预先确定的视野范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终四个视场下图片到最终俯瞰图的映射关系。

S5、将摄像机获取的地面图片根据映射查找表拼接得到最终的俯瞰图。

本发明一优选实施方式中最终俯瞰图视野范围的确定方案具体为：

1、确定世界坐标系：X轴平行于车宽方向，Y轴平行于车长方向，Z轴平行于车高方向，以棋盘格边长为一个最小单位，原点位置固定在车体右上角位置，在X轴方向上远离车体10～20个棋盘格边长，Y轴方向远离车体10～20个棋盘格边长。

2、确定四个视场的右上起点Front_SP、Rear_SP、Left_SP、Right_SP：这四个起点也是四个视场下棋盘格的右上起第一个内格点，综合调整四个视场下的这四个起点，使得Front_SP、Rear_SP、Left_SP、Right_SP这四个点在世界坐标系下的距离能用棋盘格边长来整点表示，这样做是为了提高拼接的准确性，这里的尺度就是以棋盘格边长为一个单位。

3、安放棋盘格：四个视场下，四个棋盘格摆放示意图如图4。

4、采用标定鱼眼摄像头相似的方式，得到四个视场棋盘格点对摄像机坐标系下垂直于光轴的平面的映射关系，将四个视场下的图片按照映射关系映射到俯瞰图上，微调四个起始点，得到拼接的俯瞰图。

5、根据视野范围的要求，在俯瞰图上划定区域大小并生成遮罩模板，遮罩边界反向计算确定最终俯瞰图边界。

本发明是为车载环视拼接而设计的算法，具有实时性和鲁棒性，图5所示为采用本发明车载360度全景拼接方法在室内拼接试验结果，其误差小，准确性高。相对于现有技术主要在以下几个方面优点：

1、避免使用特征提取方案，规避不确定性，本发明取代角点匹配、拼接线寻优等匹配手段，使用位置映射，坐标变换的方式建立起设定的世界坐标系下点与原图像坐标系下点的映射关系，最后在俯瞰图上得到精确地位置匹配。对于位置映射，只要摄像头内参和外参固定，就不会受到环境的影响，因此算法具有更高的可靠性；

2、相对于一般的方案分矫正和映射两步，本算法根据世界坐标系地面与摄像机坐标系关系，将俯瞰图放到垂直于光轴的摄像机坐标系下与原图像坐标系建立映射，从而一步完成映射，这样做可以减少在计算时浮点位截断和矫正误差带来的干扰，进一步提高拼接的准确性；

3、本方案采用泰勒拟合对称的鱼眼摄像头镜头，具有通用性，不需要针对不同摄像头采用不同模型，试验证明这种拟合在180度以下的广角对称镜头的摄像头下拟合效果良好；

4、为了增强实时性，算法采用了查找表方式生成映射关系，运算只需查表，加快了算法的速度，对嵌入式系统具有更好的可移植性。

由以上实施方式可以看出，本发明车载360度全景拼接方法针对车载环境四个视场下图像的复杂性，提出采用映射关系建立原视场图到俯瞰图的映射查找表，相对于特征点匹配，该方法只取决于坐标关系，而坐标在摄像头固定时就相对固定，所以相对于匹配，这种方法更具有可靠性；另外，采用直接映射原图到摄像机坐标系下，省略了摄像机坐标系到世界坐标系的映射，减少误差，准确性更高。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种车载360度全景拼接方法，其特征在于，所述方法包括：

S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；

S2、确定图片坐标系与摄像机坐标系的映射关系；

S3、确定摄像机坐标系到地面坐标系下的单应矩阵；

S4、生成图片坐标系到地面坐标系的映射查找表；

S5、将摄像机获取的地面图片根据映射查找表拼接得到最终的俯瞰图。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的双曲面模型为关于Z轴对称的双曲面模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1中双曲面模型采用泰勒展开式 $z=f\left(\mathrm{\ρ}\right)=a_0+a_1\mathrm{\ρ}+a_2{\mathrm{\ρ}}^2+a_3{\mathrm{\ρ}}^3+\·\·\·$ 拟合，

u和u是图片坐标系下点(u，v)，鱼眼摄像机模型参数为关于泰勒展开式的系数。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2中图片坐标系与摄像机坐标系的映射关系采用向量成比例的关系进行建立。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：

预先规定各个视场图片的显示范围，对于各个摄像头视场下指定右上角预定的起始点位置；

确定各个起始点在最终俯瞰图中的对应位置点；

分别在不同的视场中以各个摄像头为右上顶点摆放棋盘格；

将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。

6.根据权利要求5所述的方法，其特征在于，所述摄像头包括前、后、左、右四个摄像头。

7.根据权利要求5所述的方法，其特征在于，所述步骤S4具体包括：

将各个场景分别以各个摄像头为右上角起点的场景映射到俯瞰图上，微调顶点位置，各个视场图片通过映射拼接到俯瞰图上；

根据预先确定的显示范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终各个视场下图片到最终俯瞰图的映射关系。

Images