CN103802725B

CN103802725B - 一种新的车载驾驶辅助图像生成方法

Info

Publication number: CN103802725B
Application number: CN201210436918.1A
Authority: CN
Inventors: 董延超; 马薇
Original assignee: Wuxi Wissen Intelligent Sensing Technology Co Ltd
Current assignee: Wuxi Wisdom Sensor Technology Co Ltd
Priority date: 2012-11-06
Filing date: 2012-11-06
Publication date: 2016-03-09
Anticipated expiration: 2032-11-06
Also published as: CN103802725A

Abstract

本发明是为了解决车载环视系统中近景，远景及立体物在虚拟相机图像上不能达到成像效果均具有透视效果真实性的问题。本发明提出使用球形虚拟投影面来建立实际相机与虚拟相机的映射关系。针对不同的车辆行驶状态本发明提出几种虚拟相机放置方式。这些虚拟相机放置方式可以减轻驾驶员在观看实际相机图像时需要进行坐标转换的负担，也为驾驶员提供更加容易识别的车辆周边环境图像。为了提高处理速度本发明提出“正向映射表”：首先建立从实际相机图像映射到球形虚拟投影面的映射表，再根据虚拟相机的在位置将上述映射表再次映射到虚拟相机图像平面上从而得到从真实相机图像向虚拟相机图像映射的“正向映射表”。

Description

一种新的车载驾驶辅助图像生成方法

技术领域

本发明涉及车载多目摄像机环视系统，尤其涉及车载环视系统虚拟相机图像的计算方法。

背景技术

当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。

上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。

车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。

目前车载环境感知系统使用的传感器主要有：1）单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2）激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3）声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。

比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量（比如倒车用），而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。

当前车载图像驾驶辅助系统给驾驶员提供的辅助图像有两种方式：（一），将实际摄像机采集到的图像直接显示给驾驶员；（二），利用某种视点变换将实际采集到的图像变换处理后显示给驾驶员。从驾驶员的角度看，理想的车载图像驾驶辅助系统应该准确的提供车辆与周边环境的位置关系，包括1），车辆与近景的位置关系；2），车辆与远景的位置关系；3）车辆与立体物的位置关系。由于相机在车体上的安装位置和角度总是存在误差，所以方式（一）直接把实际采集到的图像显示出来不能通过图像准确判断车辆与环境的位置关系，而且驾驶员可能要进行坐标转换才可以理解图像与车辆的位置关系。因此利用方式（二）通过视点变换对图像进行处理之后再显示出来是多数图像驾驶辅助系统的选择。

如上所述图像驾驶辅助系统是要向驾驶员提供车辆与周边环境的位置关系，近年来利用装配在车体上的多台相机通过相机标定技术与视点变换技术可以将多台相机的图像内容融合到一幅图像之中，如果这几台装配在车体上的相机的视角可以覆盖车体周围360度，则通过视点变换融合生成的图像也可以是对车体及其周边做俯瞰形式的360度无死角监控图像。

（1）与本发明相关的现有技术一：视点变换技术

现有技术一：国际公开专利WO00-07373

图1所示为视点变换的概念及其关键要素：1）实际相机，2）虚拟相机，3）虚拟投影面。其中实际相机和虚拟相机的内部参数和外部参数以及虚拟投影面的几何形状与姿态都是已经确定的。现有技术一可以利用装配在车体前后左右的多台相机的内部参数与外部参数对各台相机所摄取的图像做单一视点变换使其变换成为以车体为参照中心的俯瞰图，然后再对上述这些生成的俯瞰图进行拼接处理而生成一幅由多台相机图像无缝拼接得到的完整360度俯瞰图。其中图2所示为俯瞰虚拟相机及其可视范围的概念图。

（2）与本发明相关的现有技术二：虚拟相机与虚拟投影面

现有技术二：国际公开专利WO00-07373，日本专利JP2004-32464，日本专利JP2008-83786，日本专利JP2008-141643，日本专利JP2008-148113，日本专利JP2008-148112，日本专利JP2008-149879，日本专利JP2008-149878，日本专利JP2008-85446。

如上所述理想的车载图像驾驶辅助系统应该向驾驶员提供准确而是易于识别的车辆与周边环境的位置关系，包括1），车辆与近景的位置关系；2），车辆与远景的位置关系；3）车辆与立体物的位置关系。现有技术二就是涉及如何将以上几种位置关系信息都准确的通过图像的方式呈现给驾驶员。对于近景这些技术一般将虚拟投影面假设为位于车轮下的与车体平行的平面，然后通过这个虚拟投影面建立实际相机的成像面与虚拟相机的成像面映射关系。而为了将远景或者立体障碍物与车辆的位置关系也准确的呈现给驾驶员现有技术二提出了各种各样的虚拟投影面。

为了将远景或者立体障碍物与车辆的位置关系也准确的呈现给驾驶员国际公开专利WO00-07373提出如图3所示的几种虚拟投影面。图3（a）为长方体投影面，其假设为：底面为近景投影面，4个竖面为远景和立体物投影面。图3（b）为圆筒投影面，其假设为：底面为近景投影面，竖直圆柱面为远景和立体物投影面。图3（c）为碗形投影面，其假设为：其将近景远景和立体物全部投影于碗面。图3（d）为多平面投影面，其假设为：底面为近景投影面，两个竖面为远景和立体障碍物投影面。

日本专利JP2004-32464采用以与水平路面成一定倾角的平面作为虚拟投影面，以扩大可视范围。日本专利JP2008-83786以折面（两个平面）作为虚拟投影面，从而实现远景与近景的共同显示。日本专利JP2008-141643把虚拟投影面设计成平滑衔接的折面。日本专利JP2008-148113以折面（两个平面）作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的折面角度。日本专利JP2008-148112以折面（两个平面）作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的转折位置。日本专利JP2008-149879以折面（两个平面）作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的可是区域大小。日本专利JP2008-149878以折面（两个平面）作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的转折方向。日本专利JP2008-85446把虚拟相机的成像面设计成折面，以同时摄取近景与远景。

（3）现有技术三：查表技术

现有技术三：国际公开专利WO00-07373

为了提高运行速度现有技术会在系统启动时利用视点变换技术建立一组从虚拟相机图像像素坐标到各台实际相机图像像素坐标的映射关系表。在本发明中把这种从虚拟相机图像像素坐标到实际相机图像像素坐标的映射关系表叫做“逆向映射表”。当一台相机采集到一帧图像之后，处理器扫描虚拟相机图像像素坐标然后通过查“逆向映射表”确定其对应的实际相机图像像素坐标，之后依据查表结果就可将虚拟相机图像像素值用实际相机图像像素值填充。

（4）现有技术的缺点：

利用上述现有技术所介绍的虚拟投影面和俯瞰视角的虚拟相机所生成的近景远景及立体物合成图具有明显的透视效果不真实性（如图4所示）。这种透视效果不真实性会给驾驶员判断周围环境造成很大的困惑，影响其驾驶安全性。

上述现有技术中的虚拟投影面的形状与位置很大程度上依赖于虚拟相机的摆放位置。因此对于不同的虚拟相机摆放位置需要选用不同的虚拟投影面以最大程度的满足近景远景及立体物透视效果真实性的要求。

“逆向映射表”法是在一台相机取得一帧图像之后通过逐点扫描方式用实际相机图像像素值填充虚拟相机图像像素值。这种方式的时间成本为：实际相机采集图像时间+查映射表填充像素值时间+输出显示时间。其缺点为：1）时间成本中的实际相机采集图像时间完全浪费，2）映射表的大小与扫描时间由虚拟相机图像尺寸大小决定，当虚拟相机图像尺寸较大时其所对应的映射表也要变大扫描时间就会变长。

发明内容

针对以上现有技术的缺点本发明提出用圆球形虚拟投影面来建立虚拟相机与实际相机的映射关系（这种球形虚拟投影面不依赖于虚拟相机的方位），并建立从各台实际相机图像像素标到虚拟相机图像像素坐标的“正向映射表”。基于球形虚拟投影面在保证近景远景及立体物在虚拟相机所生成的图像上具有透视效果真实性的前提下本发明针对不同的驾驶状态也提出了几种新的虚拟相机放置方式。

本发明是为完成下列目的：1）使近景，远景及立体物在虚拟相机所生成的图像上具有透视效果真实性，2）在不同的驾驶状态下为驾驶员提供更加直观更加容易识别的视图，3）使本图像驾驶辅助系统在嵌入式系统中能够实时运行，4）使本图像驾驶辅助系统在嵌入式系统中能够规范以及节约内存的使用，5）使本图像驾驶辅助系统在嵌入式系统上运行提供并行处理的的可能性。

附图说明

图1：视点变换示意图

图2：俯瞰虚拟相机及其可以范围

图3：现有技术虚拟投影面

图4：现有技术近景，远景及立体物在虚拟相机上的成像

图5：本发明球形虚拟投影面以及其与车辆的位置关系

图6：相机成像原理

图7：实际相机的像素映射到虚拟投影面

图8：虚拟投影面映射到虚拟相机成像面

图9：前视广角虚拟相机的放置方式

图10：前方潜望相机

图11：倒车虚拟相机

图12：左转弯虚拟相机

图13：右转弯虚拟相机

图14：后方潜望相机

具体实施方式

下面结合附图和实施例对本发明作进一步说明。为了使近景远景在虚拟相机所生成的图像上具有透视效果真实性本发明提出使用球形虚拟投影面建立实际相机与虚拟相机之间的映射关系。与以往技术不同本发明提出将车辆及其装配在车体上的实际相机放置于虚拟球形投影面的球心附近而且球形虚拟投影面的半径应当大于车身，如图5所示。

下面阐述利用球形虚拟投影面进行投影的实施方法。本发明的权利要求包括但不限于以下实施方法。

相机的成像过程如图6所示：被摄3D物体通过几何光学投射在相机的成像面生成一张2D照片。所以成像过程是一个从3D到2D的几何光学变换过程。在这个过程中距离信息被丢掉了。假设3D物体上一点P在实际相机坐标系中的坐标为（X_cP,Y_cP,Z_cP），其在实际相机成像面上的投影点p的图像坐标为（u_cp,v_cp），则普通相机从3D到2D的投影变换过程为（对于鱼眼广角镜头其光学几何投影过程与上述普通相机类似，但其成像过程依赖于具体的鱼眼广角相机的模型与参数）：

上述从3D到2D的投影也可以理解为从相机坐标原点Oc出发经过点P的射线与相机成像面的相交与点p。所以射线与射线是同一条射线。

因此当建立一个虚拟相机并且要把实际相机成像面的图像转变到虚拟相机的成像面上时只能选择一个合适的虚拟投影面使得虚拟相机所成的图像看起来尽量符合实际的透视效果。但是在缺少距离信息的情况下虚拟相机的成像总会具有误差。

本发明提出使用如图5所示的球形虚拟投影面来建立实际相机与虚拟相机的几何光学联系。这种几何联系在数学上可以从两个方向实现：正向映射方式和逆向映射方式。为了节约处理器的时间成本与存储空间成本本发明提出使用正向映射方式：先把实际相机的像素位置映射到虚拟投影面上，再从虚拟投影面映射到虚拟相机的像素位置上（反之则成为“反向映射方式”）。因此在生成虚拟相机的图像之前需要将实际相机的图像投射到虚拟投影面上。

如图7所示，首先从实际相机的光学原点出发将成像面上的每个像素位置映射到球形虚拟投影面上。假设实际相机坐标系相对于车辆坐标系的姿态为：R_cv，T_cv则实际相机坐标系中的一点（X_cP,Y_cP,Z_cP）转换成车辆坐标系中的坐标（X_vP,Y_vP,Z_vP）的公式为：

将实际相机坐标系中的射线按照上述坐标转换公式变换到车辆坐标系。假设球形虚拟投影面中心点在车辆坐标系中的位置为Os半径为r，则通过射线与虚拟球形投影面的交点Ps可以用射线球面相交公式求得。

对每台实际相机的每个像素利用上述方法求得其与虚拟球形投影面的交点。这个映射结束之后球形虚拟投影面上将会有许多网点，这些网点就是从实际相机原点出发经过实际相机成像面上每个像素位置的射线与球形虚拟投影面的交点。在各个坐标系都固定的前提下这些网点的坐标值是固定的。因此只需在初始化的时候为每台实际相机计算其相应的网点然后将其存储成为LUT(lookuptable)。假设初始化时为前后左右每台相机按照上述方法各建立的LUT为：sphere_LUT_front（前相机LUT）,sphere_LUT_right（右相机LUT）,sphere_LUT_back（后相机LUT）,sphere_LUT_left（左相机LUT）。所生成的LUT为3维表，其记录个数N为实际相机图像的大小，即N=src_Imag_Width*src_Image_Height，所以此LUT的大小不依赖于虚拟相机的规格。LUT的格式为：

0	x_sphere	y_sphere	z_sphere
				1	.	.	.
2	.	.	.
				index	.	.	.

LUT的每一行代表一个网点的坐标，其由三个元素组成其分别是网点在车辆坐标系中的x-,y-z-坐标值。LUT的index对应实际相机原始图像像素的index。假设要查取前实际相机第i个像素在虚拟球形投影面上的投影坐标值则其方式为：

基于上述球形虚拟投影面可以将虚拟相机放置于理想的位置。为了使虚拟相机的图像与车体的位置关系联系起来需要依据车体的尺寸与方位放置虚拟相机。为了满足不同驾驶环境的需要本发明提出几种虚拟相机的放置方式。

下面阐述几种虚拟相机放置的实施，本发明的权利要求包括但不限于以下几种实施方式。

1）前视广角虚拟相机放置方式：如图9所示。由于实际相机的放置位置和角度的不精确性或者局限性使得实际相机所摄取的图像不利于驾驶员方便的识别前方障碍物，如果采用鱼眼广角镜头，则从所摄取的图像难以判断图像上的内容与车体的位置关系（如图9（b）所示）。以上缺点会给驾驶员识别车辆前方环境带来困惑。为了解决上述问题本发明提出如下一种前虚拟相机放置方式：虚拟相机位置依据车辆坐标系精确的放置于车辆前部某处，虚拟相机光轴线与车轴线一致（具体放置位置与角度的数值可以根据实验效果确定），虚拟相机可以选择鱼眼广角镜头。用上述球形虚拟投影面来建立实际相机与虚拟相机的映射关系，可得虚拟相机的图像如图9（c）所示。比较图9（b）和图9（c），则依据本发明所提出的虚拟相机放置方式与上述球形虚拟投影面映射方法所生成虚拟相机图像具有视角广，视觉方向与车体方向一致，近景远景及立体障碍物都容易识别等优势。

2）前方潜望方式：如图10所示。当前方实际相机为鱼眼广角相机时其可以将车辆前方水平左向和前方水平右向的景物摄入图像中。这些景物由于位于相机的大视角上所以其成像于图像的边缘部分。这些边缘附近的图像由于扭曲变形大使得驾驶员难以识别其中的景物（如图10（b）所示）。前方潜望方式依据车辆在坐标系中的位置在车辆头部放置两个非广角普通虚拟相机，一个相机光轴朝车辆左向，一个相机光轴方向朝车辆右向（如图10（a）所示）（具体放置位置与角度的数值可以根据实验效果确定）。用上述球形虚拟投影面来建立实际相机与虚拟相机的映射关系，可得前方虚拟潜望相机的图像如图10（c）所示。这种前方虚拟潜望相机的图像在车辆头部进入T型路口时可以为驾驶员提供容易识别的横向道路左右两个方向的交通状况。

3）后相机倒车方式：如图11所示。安装在车辆尾部的倒车相机（如图11（a）实际相机所示）所摄取的图像如图11（b）所示。由于驾驶员的座位朝向是大致平行于车轴线沿轴线向前的，即驾驶员所习惯的自己与车辆的位置关系是自己的前方即是车辆的前方，自己的左方即是车辆的左方，自己的右方即是车辆的右方，自己的后方即是车辆的后方。这种习惯有助于驾驶员对车辆姿态的把握。由于后实际相机的位置只能位于车尾，光轴方向逆车轴正方向指向车辆尾部的后下方。因此如果把图11（b）所示的后实际相机所摄取图像直接呈现给驾驶员观看，则驾驶员观看图11（b）所示图像的直观感受是自己处于后实际相机的位置以后实际相机的光轴方向去观看车辆与后部环境的关系。这种直观感受与上述驾驶员与车辆的实际位置关系正好相逆。这种相逆的位置感受会给驾驶员带来困惑，尤其在选择转向的时候，驾驶员要变换这种相逆的位置关系才能选择正确的转向方向。为了解决上述这种观看后实际相机时驾驶员与车辆位置相逆的感觉困惑，本发明提出建立一台与驾驶员视觉方向一致的虚拟相机，将其放置于车辆尾部后上方的虚空中。当驾驶员观看用一台与自己视觉方向一直的虚拟相机摄取的图像时（如图11（c）所示），他就不再需要做坐标转换而是直接就可以根据图像方便的判断车辆与后部环境的关系，从而更加容易进行正确的倒车转向操作。

4）后方潜望方式：如图14所示。当后方实际相机为鱼眼广角相机时其可以将车辆后方水平左向和后方水平右向的景物摄入图像中。这些景物由于位于相机的大视角上所以其成像于图像的边缘部分。这些边缘附近的图像由于扭曲变形大使驾驶员难以识别其中的景物（如图14（b）所示）。后方潜望方式依据车辆在坐标系中的位置在车辆尾部放置两个非广角普通虚拟相机，一个相机光轴方向朝车辆左向，一个相机光轴方向朝车辆右向（如图14（a）所示）。用上述球形虚拟投影面来建立实际相机与虚拟相机的映射关系，可得后方虚拟潜望相机的图像如图14（c）所示。这种后方虚拟潜望相机的图像在车辆尾部进入T型路口时可以为驾驶员提供容易识别的横向道路左右两个方向的交通状况。

5）左转弯方式：如图12所示。当驾驶员进行左转弯时其需要观看车辆的左侧有无障碍物，其中包括近景障碍物和远景障碍物。由装配在车体上的左侧实际相机所摄取的图像如图12（b）所示。驾驶员观看左实际相机图像时要调整所见图像坐标系到自身驾驶的车体坐标系中才能正确判断所见障碍物在车体周边的位置。为解决上述问题本发明提出如图12（a）所示左转弯虚拟相机放置方式：虚拟相机向左侧离开车体，光轴方向为左侧车体下部及路面，可以选择鱼眼广角镜头或者普通镜头。通过这种方式放置虚拟相机并用上述球形虚拟投影面建立实际相机与虚拟相机的映射关系，则可得到左转弯虚拟相机所摄取的图像如图12（c）所示：所见车体的轴线方向与实际车体的轴线方向一致，驾驶员无需再进行坐标转换即可容易判断障碍物与车体的位置关系。这种方式减轻了驾驶员的思维负担，降低了驾驶员的误判率。

6）右转弯方式：如图13所示。当驾驶员进行右转弯时其需要观看车辆的右侧有无障碍物，其中包括近景障碍物和远景障碍物。由装配在车体上的右侧实际相机所摄取的图像如图13（b）所示。驾驶员观看右实际相机图像时要调整所见图像坐标系到自身驾驶的车体坐标系中才能正确判断所见障碍物在车体周边的位置。为解决上述问题本发明提出如图13（a）所示右转弯虚拟相机放置方式：虚拟相机向右侧离开车体，光轴方向为右侧车体下部及路面，可以选择鱼眼广角镜头或者普通镜头。通过这种方式放置虚拟相机并用上述球形虚拟投影面建立实际相机与虚拟相机的映射关系，则可得到右转弯虚拟相机所摄取的图像如图13（c）所示：所见车体的轴线方向与实际车体的轴线方向一致，驾驶员无需再进行坐标转换即可容易判断障碍物与车体的位置关系。这种方式减轻了驾驶员的思维负担，降低了驾驶员的误判率。

下面阐述生成虚拟相机图像的实施方法。本发明的权利要求包括但不限于以下实施方法。

虚拟相机图像有两种生成方式：一）3Dgraphicalengine支持方式，二）普通方式。

一）3Dgraphicalengine支持方式的实现方法：

利用LUT所生成的球形网点坐标值生成三角网格面triangle_strip，由于LUT所生成的球形网点与实际相机图像的像素是一一对应的，因此可以将实际相机的图像作为纹理texture映射到三角网格面上。这样就可以建立起一个有纹理的球形面。然后依据上述虚拟相机方位设置方式设置虚拟相机的位置，视角及内部参数，3Dgraphicalengine会自动为虚拟相机生成视图。利用这种方式处理器只需要将获取的新的一帧的图像的指针和虚拟视点视角信息传递给3Dgraphicalengine，处理器不需要涉及到虚拟图像的生成，虚拟图像的生成由3Dgraphicalengine（利用并行处理的方式）负责完成。

二）普通方式：

对于同一个被摄对象当相机的位置改变时其所生成的图像也将改变。本发明提出利用初始化时计算出的sphere_LUT网点作为虚拟被摄对象，为了生成不同视点视角的图像只需依据上述虚拟相机放置方式建立相应的虚拟相机。虚拟相机的原点O_vc与每个sphere_LUT网点P_s构成一根射线，此射线与虚拟相机的成像面的交点即是P_s在虚拟相机上的成像位置。其计算过程为：

假设车辆坐标系在虚拟相机中的姿态为R_vvc,T_vvc，那么P_s在车辆坐标系的坐标（X_vPs，Y_vPs，Z_vPs），则其在虚拟相机坐标系中的坐标（X_vcPs，Y_vcPs，Z_vcPs）为：

求得P_s在虚拟相机坐标系中的坐标值之后基于虚拟相机的模型和参数即可将P_s投影到虚拟相机的成像平面上。其映射过程如图8所示。

上述虚拟相机的模型和参数可以根据实际需要任意选取，其成像过程依据所选相机模型的不同而不同。例如如果选择鱼眼镜头虚拟相机则其成像过程为鱼眼镜头成像过程，如果选择普通镜头虚拟相机则其成像过程为普通相机成像过程。

利用上述从实际相机图像向球形虚拟投影面映射的方法可以为各台相机生成LUT：sphere_LUT_front（前相机LUT）,sphere_LUT_right（右相机LUT）,sphere_LUT_back（后相机LUT）,sphere_LUT_left（左相机LUT）。利用从球形虚拟投影面向虚拟相机映射的方法可以求得LUT网点在虚拟相机成像面上的像素位置。这两个映射过程结合起来就可以得到从实际相机图像向虚拟相机图像映射的关系表：virtualcamera_LUT_front（前相机LUT）,virtualcamera_LUT_right（右相机LUT）,virtualcamera_LUT_back（后相机LUT）,virtualcamera_LUT_left（左相机LUT）。

0	u_virtual	v_virtual
			1	.	.
2	.	.
			index	.	.

为了满足利用上述方法生成的虚拟相机图像具有保形的特性，本发明提出下列两个条件：1）应当将球形虚拟投影面的半径设置成尽量大，2）应当将实际相机和虚拟相机放置于球心附近。球形半径越大所生成的虚拟相机的图像的保形特性越好。但是球形半径越大前后左右4台相机在球形面上的投影的重叠区域越大。在实际实现时可将球形半径r与车体长度关联V_length：

其中d为关联系数，其数值可根据实验效果选定。

Claims

1.一种车载驾驶辅助图像生成方法，其特征在于，所述方法包括：

使用球形面作为虚拟投影面来建立实际相机和虚拟相机之间的映射关系；

实际相机和虚拟相机位于球形虚拟投影面的球心附近，所述球形虚拟投影面的半径r应当尽量大，其大小可依据车身长度V_length的大小确定；

基于实际相机与球形虚拟投影面的位置关系建立从实际相机图像像素映射到球形虚拟投影面的映射表sphere_LUT；

根据所述映射表sphere_LUT而建立的虚拟相机的内外参数再次映射到虚拟相机的图像平面上，建立从所述映射表sphere_LUT到虚拟相机图像坐标的映射表virtualcamera_LUT。

2.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述映射表sphere_LUT为三维表，其表的索引为实际相机的图像像素索引；所述映射表sphere_LUT只需计算一次，以为后续虚拟相机图像的生成做准备。

3.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将前视虚拟相机放置于车辆头部，虚拟相机光轴方向沿车体轴向向前。

4.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将前方潜望虚拟相机放置于车辆头部，分别朝向前方左向和前方右向。

5.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将倒车虚拟相机放置于车尾后方，倒车虚拟相机光轴方向沿车轴方向向下。

6.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将后方潜望虚拟相机放置于车辆尾部，分别朝向后方左向和后方右向。

7.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将右转弯虚拟相机放置于车辆右侧上方，右转弯虚拟相机光轴方向沿车轴方向向下。

8.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述方法包括：根据车体在坐标系中的位置和方向将左转弯虚拟相机放置于车辆左侧上方，左转弯虚拟相机光轴方向沿车轴方向向下。

9.根据权利要求1所述的车载驾驶辅助图像生成方法，其特征在于，所述映射表virtualcamera_LUT为二维表，其表的索引为实际相机的图像像素索引；通过所述映射表virtualcamera_LUT即可将实际相机图像映射到虚拟相机图像上。