CN103617606B - 用于辅助驾驶的车辆多视角全景生成方法 - Google Patents

Abstract

本发明公开了一种用于辅助驾驶的车辆多视角全景生成方法，包括：在车辆的四周安装若干广角摄像头并采集图像；标定广角摄像头的内部参数，并对图像进行畸变校正得到畸变校正图；标定广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；对3D模型进行多视角观测并生成对应的查找表；利用得到的查找表生成最终多视角全景图像。本发明通过将近区图像和远区图像分别投影到3D模型的不同平面或曲面并进行无缝拼接，有效避免了距车身较远非地面物体存在明显拉伸的问题。

Description

用于辅助驾驶的车辆多视角全景生成方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种用于辅助驾驶的车辆多视角全景生成方法。

背景技术

随着经济的飞速发展和社会的不断进步，汽车已逐步取代其他交通工具，成为现代社会最为重要的出行工具。然而，由于车辆行驶过程中驾驶员的观测范围有限，存在诸多“盲点”，因此，不经意间就可能导致刮蹭、甚至碾压等悲剧的发生。

目前，为了使驾驶员能够实时监测车辆周围情况，许多厂商在车辆的前后左右分别安装一个广角摄像头用以采集图像，通过摄像头内外参标定及透视变换等步骤，最终在车内的视频显示装置中实时显示合成的俯视鸟瞰图像，为驾驶员提供车辆四周的信息，提高驾驶的安全性，如申请号为201210042180.0的中国专利申请及申请号为201310035543.2的中国专利申请等。

然而，由于透视变换为两个平面间的变换，而上述方法利用透视变换实现原始畸变校正图到俯视鸟瞰图的变换，因此在俯视鸟瞰图中无法保留场景中视平线以上的信息。此外，当俯视鸟瞰图视野范围较大时，会将非地面物体(如附近行人、树木等)投影到地面上，从而引起俯视鸟瞰图中图像有明显的拉伸现象，不利于驾驶员直观快速地理解周围场景，因此，安全隐患依然存在。

因此，针对上述技术问题，有必要提供一种用于辅助驾驶的车辆多视角全景生成方法以克服上述缺陷。

发明内容

有鉴于此，本发明针对现有技术无法保留距离车身较远处的场景信息及非地面物体存在明显拉伸的问题，提出了一种用于辅助驾驶的车辆多视角全景生成方法。该方法不仅能够保留车身四周几乎所有的场景信息，有效避免了距车身非地面物体存在明显拉伸的问题，而且将对当前行驶环境的任意视角观测结果以一种符合人类视觉习惯的方式实时地展现出来，大幅提高了车辆在行驶时的主动安全性。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种用于辅助驾驶的车辆多视角全景生成方法，所述方法包括：

S1、在车辆的四周安装若干广角摄像头并采集图像，所述广角摄像头覆盖车辆周围360°的视场区域；

S2、标定广角摄像头的内部参数，并对广角摄像头采集到的图像进行畸变校正，得到畸变校正图；

S3、标定各个广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；

S4、确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；

S5、建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；

S6、对3D模型进行多视角观测并生成对应的查找表；

S7、利用得到的查找表生成最终多视角全景图像。

作为本发明的进一步改进，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。

作为本发明的进一步改进，所述步骤S3中地面投影图采用逆向投影的方法得到。

作为本发明的进一步改进，所述步骤S3具体为：

S31、利用广角摄像头的外部参数逆向计算地面投影图中各点在畸变校正图中的浮点坐标；

S32、利用广角摄像头的内部参数逆向计算地面投影图中各点在对应原始图像中的浮点坐标；

S33、对步骤S32中求得的浮点坐标的四邻像素进行双线性插值后的结果作为地面投影图中该像素点的颜色值。

作为本发明的进一步改进，所述步骤S5具体为：

S51、利用摄像头标定的方法分别对两相邻摄像头间的外部参数矩阵进行标定；

S52、利用步骤S51中得到的外部参数矩阵对畸变校正图进行拼接，并进行柱面或球面投影变换，得到场景的柱面或球面全景图；

S53、建立3D模型并确定近区图像与远区图像的拼接边界，将汽车模型置于该模型的底面中心，利用俯视鸟瞰图即近区图像对模型底面进行贴图；

S54、利用摄像头外部参数矩阵及内部参数反向计算拼接边界上各像素点在柱面或球面全景图中的位置，并利用该位置上侧的柱面或球面全景图即远区图像对模型侧面进行贴图。

作为本发明的进一步改进，所述3D模型为平底球模型、碗状模型、或鸟巢状模型。

作为本发明的进一步改进，所述步骤S6包括确定新观测视角图像的坐标(u，v)与3D模型上各点在世界坐标系中的坐标(X_WY_wZ_w)间的对应关系，该对应关系为：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_n}\left(\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right),$

其中，t＝(t_xt_yt_z)^T为新观测位置相对与原俯视鸟瞰图观测位置的平移向量，分别为世界坐标系到摄像机坐标变换是绕x轴、y轴及z轴的旋转角，α_x，α_y为尺度因子，(u₀，v₀)为新视角图像中心像素坐标，旋转矩阵R定义为：

本发明的方法通过将近区图像和远区图像分别投影到3D模型的不同平面或曲面，并进行无缝拼接，具有以下有益效果：

1、保留了视平线以上的场景信息，为驾驶员提供了更为广阔的视野范围；

2、解决了现有技术中远区场景“拉伸”严重、不利于驾驶员直观理解车身周围环境的问题；

3、多视角全景畸变小，为后续场景中行人识别、车辆识别提供了可操作平台。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明车辆多视角全景生成方法的具体流程图；

图2为本发明一实施方式中摄像头的安装位置及视野覆盖范围示意图；

图3为本发明一实施方式中反射折射摄像头成像模型示意图；

图4为本发明一实施方式中逆向投影示意图；

图5为本发明另一实施方式中平底球模型多视角观测示意图；

图6为本发明另一实施方式中平底球模型后上视角观测结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明的一种用于辅助驾驶的车辆多视角全景生成方法，具体包括：

S1、在车辆的四周安装若干广角摄像头并采集图像，所述广角摄像头覆盖车辆周围360°的视场区域；

S2、标定广角摄像头的内部参数，并对广角摄像头采集到的图像进行畸变校正，得到畸变校正图；

S3、标定各个广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；

S4、确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；

S5、建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；

S6、对3D模型进行多视角观测并生成对应的查找表；

S7、利用得到的查找表生成最终多视角全景图像。

其中，步骤S3中的透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

本发明通过查表实现多视角全景图的生成，运算量小且可在DSP(数字信号处理器)端实时运行。

以下结合具体实施方式对本发明作进一步说明。

1、摄像头安装位置及视野覆盖范围说明：

广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。四个摄像头的安装位置如图2所示，具体为：

前摄像头11，安装于车辆排气扇上方且位于车辆宽度中心位置，前摄像头11的拍摄角度为斜向下向车身外场景；

右摄像头12，安装于右后视镜的下方，右摄像头12的拍摄角度为斜向下向车身外；

左摄像头13，安装于左后视镜的下方，左摄像头13的拍摄角度为斜向下向车身外；

后摄像头14，安装于车牌上方且位于车辆宽度的中心位置，后摄像头14的拍摄角度为斜向下向车身外场景。

由于所采用的摄像头均为视野大于180°的广角摄像头，因此，上述安装方法可以确保摄像头采集到的场景能够有效覆盖车身周围360°的视场区域，为后续的全景拼接提供了保障。当然，在其他实施方式中摄像头数量及安装位置也可以改变，只要满足摄像头覆盖车身周围360°的视场区域即可。

2、摄像头参数标定：

以反射折射摄像头为例，图像坐标系与传感器平面及成像平面的关系如图3所示。图3(a)为反射折射摄像头成像模型，为场景内点的齐次坐标，为世界坐标系与摄像机坐标系间的透视变换矩阵；图3(b)为对应传感器平面u″＝(u″，v″)，单位为毫米；图3(c)为成像平面u′＝(u′，v′)，单位为像素。

传感器平面u″与成像平面u′间满足仿射变换，即u″＝Au′+t,其中 通过霍夫椭圆检测及霍夫圆检测后将椭圆中心与圆中心对齐，则可用尺度因子α替代上式中的旋转矩阵A及平移向量t。此外，由于当前摄像头制作工艺可以将误差控制在微米级，因此可认为鱼眼镜头是严格中心对称的。为了不失一般性，令f(u"，v")＝α₀+α₁ρ"+α₂ρ"²+…+a_Nρ"^N表示鱼眼镜头畸变模型，其中表示传感器平面内点(u"，v")到传感器中心轴的距离，则根据直线Op与直线OX共线有：

$\begin{array}{c}\mathrm{\λ}\·\begin{array}{}\end{array}\left(\begin{array}{c}{u}^{\′\′}\\ v^{\′\′}\\ w^{\′\′}\end{array}\right)=\mathrm{\λ}\·g\left(u^{\′\′}\right)=\mathrm{\λ}\·g(A{u}^{\′}+t)=\mathrm{\λ}\·g(\mathrm{\α}\·u^{\′})=\mathrm{\λ}\·\mathrm{\α}\·\left(\begin{array}{c}{u}^{\′}\\ v^{\′}\\ {\mathrm{\α}}_0+{\mathrm{\α}}_1{\mathrm{\ρ}}^{\′}+\·\·\·+{\mathrm{\α}}_N{\mathrm{\ρ}}^{\′N}\end{array}\right)\\ =P\·X,\mathrm{\λ},\mathrm{\α}>0\end{array},$

其中，λ为尺度因子，表示成像平面内点(u′，v′)到传感器中心轴的距离。利用摄像头标定的方法，即可解出内部参数α，α₀，α₁…α_N及外部参数矩阵P，类似的，可以求得成像平面对鱼眼镜头曲面的逆变换参数b₀，b₁…b_N。

3、俯视鸟瞰图生成及图像融合：

根据求出的摄像头内部参数及外部参数矩阵P即可分别求出前后左右四幅原始畸变图像在地面上的投影图像。在此过程中，若采用正向投影的方法，即直接利用外部参数矩阵P及内部参数α₀，α₁…α_N计算原始畸变图像内各点在地面投影图中的对应位置，则地面投影图视野范围有限且像素颜色值缺失现象严重。因此，为了避免上述情况的发生，本发明采用逆向投影的方法进行计算。

逆向投影包括三步操作：

S31、利用广角摄像头的外部参数逆向计算地面投影图中各点在畸变校正图中的浮点坐标；

S32、利用广角摄像头的内部参数逆向计算地面投影图中各点在对应原始图像中的浮点坐标；

S33、对步骤S32中求得的浮点坐标的四邻像素进行双线性插值后的结果作为地面投影图中该像素点的颜色值。

具体地，如图4所示，包括：

采用逆向投影的方法利用P^-1反求地面投影图内点A在畸变校正图中对应点B的浮点坐标；

利用摄像头内部参数b₀,b₁…b_N逆向计算该点在原始图像中对应点C的浮点坐标；

采用双线性插值的方法对点C的四邻像素C_UL、C_UR、C_DL、C_DR的颜色值进行融合，将融合结果作为地面投影图内点A的颜色值。

得到四幅原始畸变图像的地面投影图之后，确定四幅图像间的融合边界位置及融合区域角度，即可得到俯视鸟瞰图。

4、3D模型的建立及贴图：

传统方法将上述融合后的俯视鸟瞰图作为最终的全景拼接结果。然而，由于标定时需满足世界坐标系内所有点在同一平面内的约束条件，因此，通过外部参数矩阵得到的俯视鸟瞰图中不可能包含视平线以上的场景信息。此外，由于很难保证车身四周几米范围内均为平坦地面，所以当俯视鸟瞰视野范围扩大时，不可避免的会产生物体被“拉伸”的现象。

针对近区图像通常为地面，远区图像通常包含直立物体的特点，发明了一种将近区图像和远区图像分别投影到不同平面或曲面，并对其进行无缝拼接的方法，该方法可有效保留场景中视平线以上的信息，为车辆的安全行驶提供有力保障。该方法的具体步骤如下：

(1)利用摄像头标定的方法分别对两相邻摄像头间的外部参数矩阵P₁₂，P₂₃，P₃₄，P₁₄进行标定；

(2)利用(1)中得到的4组外部参数矩阵对四幅畸变校正图进行拼接，并进行柱面或球面投影变换，得到场景的柱面或球面全景图；

(3)建立3D模型并确定模型底面与模型侧面的拼接边界(以平底球模型为例，可将底平面边界作为模型底面与模型侧面的拼接边界)，将汽车模型置于该模型的底面中心，并利用俯视鸟瞰图即近区图像对模型地面进行贴图；

(4)利用摄像头外部参数矩阵P^-1及内部参数b₀，b₁…b_N反向计算拼接边界上各像素点在柱面或球面全景图中的位置，并利用该位置上侧的柱面或球面全景图即远区图像对模型侧面进行贴图。

通过上述将图像分别投影到不同平面或曲面的方法，即可得到车身四周场景的无缝全景拼接结果，有效避免了距车身较远非地面物体存在明显拉伸的问题。

其中，上文所述3D模型的参数可调节。

进一步地，分区投影方法不局限平底球模型，还可为碗状模型、鸟巢状模型等任意具有较为理想多视角观测结果的模型。

5、3D模型的多视角观测：

得到上述3D模型后，通过设定虚拟新观测位置相对与原俯视鸟瞰图观测位置的平移向量t＝(t_xt_yt_z)^T及其对应摄像机坐标系分别绕x轴、y轴及z轴的旋转角则原3D模型上各点与新观测视角图像的坐标(u，v)间满足如下关系：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_n}\left(\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right),$

其中，(X_wY_wZ_w)为3D模型上各点在世界坐标系中的坐标，(X_nY_nZ_n)为对3D模型上各点进行透视变换后的坐标，α_x，α_y为尺度因子，(u₀，v₀)为新视角图像中心像素坐标，旋转矩阵R定义为：

参图5所示为平底球模型的多视角观测结果，图5中底平面与球面上的四条线分别代表地面投影图及原始畸变图间的拼接边界。

得到上述多视角观测结果后，即可生成多视角全景查找表，全景查找表仅需在初始化进行一次生成，之后将作为常量保存，在车辆行驶过程中，通过简单的查表操作即可实时获得车辆的多视角全景图，参图6所示图像即为实验车辆后上视角观测效果图。

现有技术通过将四幅原始畸变图像变换到同一平面生成车辆的俯视鸟瞰图，然而由于其视野范围有限，因此仅在倒车、泊车时得到应用，并未实质性提高驾驶的安全性。

与现有技术相比，本发明的方法通过将近区图像和远区图像分别投影到3D模型的不同平面或曲面，并进行无缝拼接，具有以下有益效果：

1、保留了视平线以上的场景信息，为驾驶员提供了更为广阔的视野范围；

2、解决了现有技术中远区场景“拉伸”严重、不利于驾驶员直观理解车身周围环境的问题；

3、多视角全景畸变小，为后续场景中行人识别、车辆识别提供了可操作平台。

此外，多视角观测技术与3D模型的结合使算法可生成车辆行驶过程中任意观测视角的全景图，将全景拼接技术的应用范围由倒车、泊车扩展到辅助安全驾驶领域。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种用于辅助驾驶的车辆多视角全景生成方法，其特征在于，所述方法包括：

S1、在车辆的四周安装若干广角摄像头并采集图像，所述广角摄像头覆盖车辆周围360°的视场区域；

S2、标定广角摄像头的内部参数，并对广角摄像头采集到的图像进行畸变校正，得到畸变校正图；

S3、标定各个广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；

S4、确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；

S5、建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；

S6、对3D模型进行多视角观测并生成对应的查找表；

S7、利用得到的查找表生成最终多视角全景图像；

其中所述步骤S5具体为：S51、利用摄像头标定的方法分别对两相邻摄像头间的外部参数矩阵进行标定；

S52、利用步骤S51中得到的外部参数矩阵对畸变校正图进行拼接，并进行柱面或球面投影变换，得到场景的柱面或球面全景图；

S53、建立3D模型并确定近区图像与远区图像的拼接边界，将汽车模型置于该模型的底面中心，利用俯视鸟瞰图即近区图像对模型底面进行贴图；

S54、利用摄像头外部参数矩阵及内部参数反向计算拼接边界上各像素点在柱面或球面全景图中的位置，并利用该位置上侧的柱面或球面全景图即远区图像对模型侧面进行贴图。

2.根据权利要求1所述的方法，其特征在于，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中地面投影图采用逆向投影的方法得到。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3具体为：

S31、利用广角摄像头的外部参数逆向计算地面投影图中各点在畸变校正图中的浮点坐标；

S32、利用广角摄像头的内部参数逆向计算地面投影图中各点在对应原始图像中的浮点坐标；

S33、对步骤S32中求得的浮点坐标的四邻像素进行双线性插值后的结果作为地面投影图中该像素点的颜色值。

5.根据权利要求1所述的方法，其特征在于，所述3D模型为平底球模型、碗状模型、或鸟巢状模型。

6.根据权利要求1所述的方法，其特征在于，所述步骤S6包括确定新观测视角图像的坐标(u，v)与3D模型上各点在世界坐标系中的坐标(X_w Y_w Z_w)间的对应关系，该对应关系为：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z_n}\left(\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right),$

其中，t＝(t_x t_y t_z)^T为新观测位置相对与原俯视鸟瞰图观测位置的平移向量，θ，φ分别为世界坐标系到摄像机坐标变换是绕x轴、y轴及z轴的旋转角，α_x，α_y为尺度因子，(u₀，v₀)为新视角图像中心像素坐标，旋转矩阵R定义为：