CN102164274A - 一种视场可变的车载虚拟全景系统 - Google Patents

Abstract

本发明提出了一种视场可变的车载虚拟全景系统，这套系统主要包括分布式安装的专用摄像头(A1)-(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)。本发明通过中央处理部件(C)将分布式安装的专用摄像头(A1)-(An)采集的视频图像以地平面为基准进行无缝拼接，得到单一的能够覆盖车身周围所有盲区的实时全景视频。本发明包含视频采集部件(B)，可以灵活的输入4～8路视频图像。本发明的中央处理部件包含投影变换单元(C1)，图像合成单元(C2)，二次投影和处理单元(C3)，在图像合成的过程中用了二次投影变换，得到的全景俯视图可以改变显示效果，不同的显示效果具有不同的畸变程度和视场范围。

Description

一种视场可变的车载虚拟全景系统

技术领域

本发明涉及提供驾驶辅助图像信息的电子系统。

背景技术

驾驶车辆时由于视觉盲区的存在，司机不能够完全真实准确了解车体和周围环境的位置距离关系，往往因此导致一些事故。在矿业开采等领域，所使用的大型工程机械，大型运载车辆的长宽都在在数米到十米左右，甚至于数十米，驾驶操控人员的视野更加有限，因此在矿区、开采场等环境，由于驾驶操作人员视觉盲区导致的事故更加频繁。

解决这类问题从根本上就是通过某种方式的传感器信号，来弥补视觉上产生的盲区。现有的解决方案有使用多普勒雷达，超声波，射频信号发生和检测模块等方案，这些方案通过对船体车身周边安装传感器来检测各个方向的障碍物并以某种图形的显示方式来提醒驾驶操作人员，但是现有方案都存在精确度和直观性的问题，其探测结果往往不能作为驾驶操作人员准确判断周边环境的依据，缺乏有效性。

在专利申请号200410089462.1中提出了一种机动车周边状况动态监视的装置，在专利申请号200610113157.0中提出了一种全景可视驾驶辅助设备，在专利申请200810236552.7中提出了一种用于车辆辅助驾驶的360度环形视频合成方法。在这几个设备中，都没有二次投影和处理单元(C2)，不能对合成后的图像进行显示效果和模式的转换，因此，只能提供单一的俯视全景图像效果，这种单一的俯视全景图像效果并不能保证足够的可视距离。按照专利所描述，都只能看到车身周围360度范围内数米的范围。同时，上述几个专利都没有专用的视频采集部件(B)，其所述的发明中都是固定的摄像头数量，不能针对车辆的差异进行摄像头数量的增减，缺乏足够的适用性和灵活性。

现有技术中的全景图效果大多是固定角度和视距，有些虽然提供有鱼目效果，但其畸变程度及视距、角度都是固定的不能调节，驾驶人员经常难以适应。本发明的二次投影和处理单元(C2)在得到车身周围全景俯视图像的基础上，进行二次投影和处理，从而使得平面的全景俯视图像转换为鱼目效果的全景俯视图像，从而增加了视距和视场，更有效改善视觉盲区的困扰。驾驶人员可以根据个人适应性，选择最优的全景俯视图像效果，从而获得最佳的可靠性和有效性。

在本发明中，加入了视频采集部件(B)。不同于前述几个专利固定的4路视频采集与合成的功能。本视频采集部件能够支持4～8路视频的输入，自动识别摄像头的安装数量和配置，并且根据中央处理部件(C)的合成效果自动配置和采集相应摄像头的视频数据，实现了针对不同种类的车辆的自适应，可能灵活的增加和减少摄像头数量，从而获得最优的全景视频覆盖效果。

针对上述问题，本发明提出了一种视场可变的车载虚拟全景系统，具备如下特点：

1.基于视频合成的方式，提供给使用者真实的实时图像，而不是简单的信号方式，使用者可以真实观察周边环境。

2.图像通过合成之后得到全景合成图像，而不是简单的图像矩阵，直观性好。设备对合成后的全景俯视图像进行二次投影和处理，从而提供给驾驶人员多种显示效果的图像，这些图像效果根据不同的模型二次投影生成，具备不同的视场视距和畸变程度，畸变程度越大，可以看到的视场范围和视距就越大，对车辆驾驶安全的提前预警作用就越强。驾驶操作人员可以根据自己的适应性选择最大视场范围的显示效果。

3.设备提供的是俯视效果的视频图像，使用者不仅可以观察到周边环境信息，图像还能准确提供相关车辆设备跟环境的准确位置关系。

4.系统包含视频采集部件(B)，可以灵活的增加和减少摄像头数量，从而达到对不同车型的良好适应性。

发明内容

本发明主要包含以下内容：

1.一种视场可变的车载虚拟全景系统，它包含分布式安装的专用摄像头(A1)-(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)。其中，这套系统的核心部分是中央处理部件(C)，包括投影变换单元(C1)，图像合成单元(C2)，二次投影和处理单元(C3)，输入控制单元(C4)，数据存储器(C5)。如图1：系统结构框图所示。

2.所述的专用摄像头(A)为视角120°以上的广角镜头，为了获得最优的经济性和最好的盲区覆盖特性，在小型车辆车身周围安装4个摄像头，在大型工程设备和载重车辆车身周围安装6个摄像头，针对外形和结构特殊的设备与车辆，例如多节的拖挂车辆和带铰接的车辆，在车身周围安装8个摄像头。

3.所述的中央处理部件(C)提供给车辆驾驶操作人员无缝拼接的全景俯视合成图像，并提供至少包括鱼目效果的全景俯视图像(如图3：鱼目效果的全景俯视图所示)，无几何失真的近景俯视图像(如图4：无失真的近景俯视图所示)，前视图像，后视图像四种基本显示效果，还提供基本显示效果叠加并排显示的组合显示模式。驾驶操作人员可以根据现场实际环境，和个人对不同效果模式图像的适应程度，通过显示与控制部件(D)选择切换到不同的显示效果和模式。

4.所述鱼目效果的全景俯视图像具有鱼目畸变效果，超过180度的视场角度，较远的视距。无几何失真的近景俯视图像没有畸变和几何失真，等效的俯视视场角度小于180度，只能看到车辆周边几米到十几米范围内的景物。通过二次投影与处理单元(C3)，鱼目效果的全景俯视图像也可以对畸变的程度进行调整，改变鱼目效果全景俯视图像的等效俯视角度，以达到在最大视场范围下最理想的观看效果。

5.所述投影变换单元(C1)，将多个摄像头采集到的摄像头在同一个坐标系下进行投影变换，得到的多个摄像头视频数据在尺度上是一致的，图像合成单元(C2)再根据摄像头的位置关系进行全景图像的合成，合成过程中，多个摄像头视频的位置对应关系由存储在数据存储器(C5)中的定位数据确定。

6.所述图像合成单元(C2)，在图像合成的过程中根据存储在数据存储器(C5)中的位置关系自动分析各分视频的拼接接缝关系，并对交叉部分的图像进行融合处理，得到无缝的连续的单幅全景俯视图像。

7.所述图像合成单元(C2)合成的全景俯视图像并非最终显示的全景俯视图像，所得图像数据经过二次投影和处理单元(C3)处理之后，再进行显示。二次投影和处理单元(C3)对图像合成单元(C2)合成的全景图像进行二次投影，主要包括逆向生成鱼目效果，裁剪显示范围，缩放显示尺寸，与原始视频进行叠加和组合显示。

8.所述的显示与控制部件(D)能够支持键盘，红外，触摸屏，汽车的控制信号等多种控制输入，实现灵活的视频效果切换控制。

附图说明：

图1：系统结构框图

图2：安装位置图

图3：鱼目效果的全景俯视图

图4：无失真效果的近景俯视图

具体实施方式

本发明解决上述问题的方案是，通过在船体，车体或者设备上安装多个摄像头，这些摄像头拍摄的范围能够完全覆盖设备周围的环境，通过对这些摄像头所拍的视频进行合成，得到映射到地平面的俯视全景视频图像，并且对地面范围无盲区，然后通过相应的投影模型，将这个视频投影映射到显示屏范围内，并将车身图像叠加到图像中央相对应的位置，通过使用不同的投影模型，最后提供给驾驶控制人员俯视的鱼目效果全景，俯视的无失真近景，以及各方向的图像，驾驶控制人员可以根据自己的适应性和习惯，以及实际使用环境的要求，来选择符合自己需求的视图模式。

1.由安装于车身周围的数个专用摄像头(A)对车身周围的环境实时拍摄，并将实时视频图像传输到视频采集部件(B)，。专用摄像头(A)镜头为120度及以上的广角镜头，在水平和垂直两个方向的视场都有90度以上，专用摄像头(A)安装在车身周围接近顶部的位置朝向斜下方45度左右安装，专用摄像头(A)的视角越大，安装的角度越灵活。在车身环境允许的条件下尽可能分布均匀，对于矿山自卸车等车辆，侧面的专用摄像头(A)可以安装在车头，后部的专用摄像头(A)可安装在车斗下部车轴上。通过对摄像头倾斜角度的调整，保证覆盖车身周围所有区域，如图2：安装位置图所示。

2.视频采集部件(B)采用一个高性能的DSP处理器或者高性能的FPGA或者专用集成电路芯片实现，视频采集部件内部具备多个视频采集单元，能够支持4～8路，甚至更多路视频的采集工作。视频采集部件(B)受中央处理部件(C)中输入控制单元(C4)控制，输入控制单元(C4)在初始化过程中会读取数据存储器(C5)中的数据，数据存储器(C5)中存储不同摄像头数量和视频合成模式下需要的配置文件以及数据。视频采集部件(B)启动之后，按照输入控制单元(C4)的配置，获取相应摄像头的视频数据，并传给中央处理部件(C)。视频采集部件(B)具有大容量的数据存储器，各个摄像头的视频采集到视频采集部件(B)之后，首先按照每一路摄像头的视频时序进行帧缓存，摄像头与摄像头之间的数据是不同步的，每一个摄像头都对应2～3个视频缓冲区，视频采集部件(B)产生一个固定的合成图像帧频率，这个合成图像帧频率根据中央处理部件的处理速度而定，其值在15～30之间。视频采集部件(B)以这个频率对各个摄像头的视频数据进行同步，其处理办法是，在合成图像帧频率一个周期内采集到的各个摄像头视频数据，取每个摄像头对应时间上最新的视频缓冲区，再将这若干个摄像头的视频缓冲区数据进行拷贝，组成一个N(由输入控制单元(C4)中配置的摄像头数量决定)倍大小的图像数据，再将这个N倍大小的图像数据传给中央处理部件(C)进行处理。

3.中央处理部件(C)使用高性能DSP处理器或者高性能FPGA或者专用集成电路芯片，高速DDR内存和大容量的存储芯片，能够满足高分辨率图像运算的需求。其中DSP处理器不低于600Mhz主频，内存不低于64MB。

4.投影变换单元(C1)对同步后的视频进行匹配和投影变换，其中进行的运算主要有两步，桶型失真校正和投影变换。为了修正广角镜头的桶形畸变，本文采用基于多项式的修正方法，该方法首先用模板对广角镜头进行标定，然后用四次多项式拟合桶形畸变规律，最后根据拟合多项式对变形图像进行恢复，从而实现桶形失真的校正。具体流程为：

模板制作，本文采用等间距同心圆的非标准模板。

畸变规律的多项式拟合，将模板与实际图像对准后，捕获一幅图像，根据捕获的图像，求出各个圆环半径r_m为：r_m＝(r₁，r₂，...，r_n)。接近图像中心最小圆环畸变很小，这里认为没有畸变，则各个圆环在非畸变图像上的理想位置r_t为：r_t＝(r₁，3r₂，...，(2n-1)r_n)。不同采样半径圆环上的压缩比为各个圆环半径的测量值比理论值，即s_r＝(r_m/r_t)，因此不同采样半径位置压缩比为：

$s_r=(s_{r1},s_{r2},...,s_{\mathrm{rm}})=(\frac{r_1}{r_1},\frac{r_2}{3r_1},...,\frac{r_n}{(2n-1)r_1}).$

畸变规律的四次多项式拟合，以采样半径为横轴，压缩比为纵轴构成坐标系。在该坐标系下，桶形畸变规律曲线s_r＝f(r)必然经过点(((r₁，s_r1)，(r₂，s_r2)，...，(r_n，s_rn))。综合考虑系统处理能力以及拟合效果，我们优选采用四次多项式S_r(r)＝ar⁴+br³+cr²+dr+e来拟合桶形畸变规律。

变形图像恢复。以图像中心为原点，以过原点的水平直线为x轴，垂直直线为y轴，建立图像坐标系。设原点为(m₀，n₀)，图像上任意点(m，n)与x正方向的夹角为α，令y＝m-m₀，x＝n-n₀，则α＝tan^-1(y/x)。设图像上任意点(m，n)的理想位置为(M，N)，则有

如果y≥0，有：

$\left\{\begin{array}{c}M=\mathrm{ceil}[m_0-(r/S_{\mathrm{rk}})\sin \mathrm{\α}]\\ N=\mathrm{ceil}[n_0+(r/S_{\mathrm{rk}})\cos \mathrm{\α}]\end{array}\right.$

如果y＜0，有：

$\left\{\begin{array}{c}M=\mathrm{ceil}[m_0+(r/S_{\mathrm{rk}})\sin \mathrm{\α}]\\ N=\mathrm{ceil}[n_0-(r/S_{\mathrm{rk}})\cos \mathrm{\α}]\end{array}\right.$

通过上述变换公式，即得到桶型失真校正后的图像。这个图像作为输入，再进行下一步的投影处理。

投影处理则是找到各路图像跟俯视全景图的映射关系，各个摄像头因为安装位置，高度，角度的差异，都会有不同的视角和投影坐标。投影变换将各路源图中的任意四边形投影到全景俯视图像中对应的区域内，使用任意四边形的变形方法，其算法为：假设在任意源视频中存在4个点，他们在对应的俯视全景图像中对应也存在4个点，源四边形M四顶点坐标：(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，(x₄，y₄)，目的四边形N四顶点坐标：(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)；从四边形M中的点(x，y)到四边形N中的点(u，v)的变换公式为：

$\left\{\begin{array}{c}u=\frac{A*x+B*y+C}{G*x+H*y+1}\\ v=\frac{D*x+E*y+F}{G*x+H*y+1}\end{array}\right.\→\left\{\begin{array}{c}A*x+B*y+C-\mathrm{ux}*G-\mathrm{uy}*H=u\\ D*x+E*y+F-\mathrm{vx}*G-\mathrm{vy}*G=v\end{array}\right.$

将四边形各顶点坐标代入上式中得到8元线性方程组：

$\left\{\begin{array}{c}A*x_1+B*y_1+C-u_1{x}_1*G-u_1{y}_1*H=u_1\\ D*x_1+E*y_1+F-v_1{x}_1*G-v_1{y}_1*G=v_1\\ A*x_2+B*y_2+C-u_2{x}_2*G-u_2{y}_2*H=u_2\\ D*x_2+E*y_2+F-v_2{x}_2*G-v_2{y}_2*G=v_2\\ A*x_3+B*y_3+C-u_3{x}_3*G-u_3{y}_3*H=u_3\\ D*x_3+E*y_3+F-v_3{x}_3*G-v_3{y}_3*G=v_3\\ A*x_4+B*y_4+C-u_4{x}_4*G-u_4{y}_4*H=u_4\\ D*x_4+E*y_4+F-v_4{x}_4*G-v_4{y}_4*G=v_4\end{array}\right.$

通过该方程组的增广矩阵使用高斯消元法即可解出8个参数A-H。得到投影变换的转化公式，而投影变换的定位点坐标，由事先进行图像匹配或者人工定点的方法获得。。

5.图像合成单元(C2)将投影变换单元(C1)处理后的多路图像合成为一个全景俯视图像。合成后的图像以地平面为坐标系。投影变换单元(C1)处理后的图像实际上已经与地平面匹配了，但是各个图像之间还有交叉的部分的，图像合成单元(C2)根据存储在数据存储器中(C5)中的合成参数，确定每一个摄像头图像投影到全景俯视图像中负责覆盖的区域，在两个摄像头覆盖区域的交界线部分，由于不同的摄像头安装的位置和角度的差异，因此，摄像头和摄像头之间的图像在交界线处会存在一定的差异，为了得到更好的图像效果，图像合成单元(C2)在交界线出进行图像融合处理，图像融合的宽度根据希望得到的图像的锐度和平滑度来确定，一般设置为8～20个像素即可，融合的方法采用线性算法，确定融合区域每个像素点的α值，通过α值确定的比例将相邻两个摄像头投影后的图像对应像素点图像的值进行叠加，从而得到没有明显分界线平滑过度的俯视全景图像。

6.经过图像合成单元(C2)的处理后，已经得到以地平面为坐标的全景俯视图像，但是这个图像在可视效果上并不是最理想的，而且图像效果单一，为了得到更适合观察的图像，对图像进行二次投影处理，这个处理由二次投影和处理单元(C3)完成。主要进行的处理操作有，图像的桶型失真畸变，图像的缩放，图像组合。

二次投影和处理单元(C3)进行桶型失真畸变是投影变换单元(C1)桶型失真校正的逆操作，本文采取了与桶型失真校正相同的模型来进行桶型失真畸变。

根据桶形畸变的特有规律，本文采用等间距同心圆的非标准模板。

畸变规律的多项式拟合：

变换参数设定，各个圆环在非畸变图像上的实际值r_t为：r_t＝(r₁，r₂，...，r_n)＝(r₁，3r₁，...，(2n-1)r₁)；根据参数设置，求出各个圆环半径的缩放比s_r为：s_r＝(s_r1，s_r2，...，s_rm)。各个圆环半径的畸变值r_m＝(r_t/s_r)，因此各个圆环半径的畸变值为：

$r_m=(r_1,r_2,...,r_m)=(\frac{r_1}{s_{r1}},\frac{3r_1}{s_{r2}},...,\frac{(2n-1)r_1}{s_{\mathrm{rn}}})$

畸变规律的四次多项式拟合：以采样半径为横轴，缩放上比为纵轴构成坐标系。在该坐标系下，桶形畸变规律曲线s_r＝f(r)必然经过点((r₁，s_r1)，(r₂，s_r2)，...，(r_n，s_rn))，综合考虑系统处理能力以及拟合效果，我们优选采用四次多项式S_r(r)＝ar⁴+br³+cr²+dr+e来拟合桶形畸变规律。

图像变形：以图像中心为原点，以过原点的水平直线为x轴，垂直直线为y轴，建立图像坐标系。设原点为(m₀，n₀)，图像上任意点(m，n)与x正方向的夹角为α，令y＝m-m₀，x＝n-n₀，则α＝tan^-1(y/x)。设图像上任意点(m，n)的畸变位置为(M，N)，则有

如果y≥0，有：

$\left\{\begin{array}{c}M=\mathrm{ceil}[m_0-(r/S_{\mathrm{rk}})\sin \mathrm{\α}]\\ N=\mathrm{ceil}[n_0+(r/S_{\mathrm{rk}})\cos \mathrm{\α}]\end{array}\right.$

如果y＜0，有：

$\left\{\begin{array}{c}M=\mathrm{ceil}[m_0+(r/S_{\mathrm{rk}})\sin \mathrm{\α}]\\ N=\mathrm{ceil}[n_0-(r/S_{\mathrm{rk}})\cos \mathrm{\α}]\end{array}\right.$

在本申请中，使用的桶型失真模板的参数主要有几个途径获得，一是测量现有主流的鱼眼镜头的桶型失真参数，二是通过图像处理软件测试若干种多项式产生的桶型失真效果，进行肉眼观察的比较，获得理想的桶形失真效果图，再由桶形失真效果图测量得到同心圆各个圆环半径的畸变值r_m＝(r₁，r₂，…，r_m)，并使用四次多项式来拟合桶型畸变的规律，并通过测量主流的鱼眼镜头的失真参数确定了本申请中所使用的畸变模型S_r(r)＝ar⁴+br³+cr²+dr+e中参数a，b，c，d，e的值。这些参数值是固定的，只能描述一种桶型失真畸变程度的效果。

为了获得可以连续变换的桶型失真畸变效果，将a，b，c，d 4个参数按比例进行变化，即修改桶型失真畸变模型为S_r(r)＝akr⁴+bkr³+ckr²+dkr+e通过增加畸变参数变化因子K，同时调整桶型失真畸变模型中的4个非常数项系数，即可实现畸变程度连续变化的不同畸变程度的鱼目效果的全景俯视图像。当K持续减小接近或者为0的时候，二次投影得到的图像即为无失真的近景俯视图像。

畸变参数变化因子K越大，则畸变的程度越大，所得到的全景俯视图像收缩程度越严重，图像直观观看效果越接近球形，等效的俯视视角也越大。K逐渐减小，则图像畸变的程度也逐渐越小，全景俯视图像收缩程度随K值减小也逐渐减小，等效的俯视视角也逐渐减小。当K接近0的时候，得到的图像基本上没有明显的畸变效果。当K处于一个比较合适的中间值时，可以获得一个比较理想的鱼目效果全景俯视图像。在本申请的实验数据中，当设置K在0.8～1.2范围内变化时，得到了比较理想的鱼目效果俯视图像，这个图像的等效俯视角度约为180度，在俯视图像中，地平线收缩到图像范围内，且畸变程度也比较均匀，观看效果比较理想。驾驶员可以通过输入设备对畸变参数变化因子进行调整，以得到最适合自己的观看习惯的鱼目效果全景俯视图像。

鱼目效果的全景俯视图与无几何失真的全景俯视图效果请见图3，图4.

7.二次投影和处理单元(C3)完成图像的二次投影之后，还进行图像的缩放和组合操作。为了获得最佳的观看效果和最有效的观察角度。本申请的系统除了提供全屏显示的全景俯视图像之外，还支持对显示屏进行分割，叠加显示多个视频，例如将显示屏分割为两个部分，左侧显示全景俯视图像，右侧显示后视摄像头的原始视频，从而让驾驶操作人员既可以有效观察车辆周边360度范围内的所有区域，又能对某些特定区域进行放大，仔细观察，确保没有任何遗漏的安全隐患。二次投影和处理单元(C3)对全景俯视图像和原始视频分别进行一定比例的缩放，再组合到同一个视频显示缓冲区中，输出显示。同时，二次投影和处理单元(C3)也负责完成其他一些字符消息和图像信息的叠加，将车辆上由其他传感器获取的信息以文字或者符号的方式叠加到视频图像上，提示驾驶操作人员安全操作。

8.通过显示与控制部件(D)中的控制接口，驾驶操作人员能够对图形显示的效果和模式进行切换，在显示和人机界面中，会提供一个配置界面给使用者对显示效果和模式进行切换，显示与控制部件(D)包含输入设备接口(D2)，可以支持键盘，触摸屏的多种控制信号输入，也能接入汽车总线和传感器发出的控制信号，输入设备接口与上述信号通过有线或者无线的方式连接，实现全方位的操作控制。

Claims (9)

1.一种视场可变的车载虚拟全景系统，包含分布式安装的专用摄像头(A1)-(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)；其中，中央处理部件(C)，包括，投影变换单元(C1)，图像合成单元(C2)，二次投影和处理单元(C3)，输入控制单元(C4)，数据存储器(C5)。

2.根据权利要求1所述的车载虚拟全景系统，专用摄像头(A1)-(An)从多个角度拍摄车身周边的视频，由视频采集部件(B)采集之后传给中央处理部件(C)，投影变换单元(C1)将多个摄像头采集到的图像在同一个坐标系下进行投影变换，图像合成单元(C2)进行全景图像的合成，二次投影和处理单元(C3)对图像合成单元(C2)合成的全景图像进行二次投影，得到视场和视距可变的全景俯视图像，并通过显示与控制部件(D)进行显示；其中视场范围和视距的调整是由二次投影的畸变参数决定的，畸变参数越大，全景图像的视场角度越大，可视距离也越大。

3.根据权利要求1或2所述的车载虚拟全景系统，其特征在于：中央处理部件(C)提供给车辆驾驶操作人员无缝拼接的全景俯视合成图像，并提供至少包括鱼目效果的全景俯视图像、无几何失真的近景俯视图像两种基本显示效果，还提供基本显示效果跟各摄像头原始图像叠加并排显示的组合显示模式。

4.根据权利要求3所述的车载虚拟全景系统，其特征在于：所述鱼目效果的全景俯视图像具有鱼目畸变效果，超过180度的等效俯视视场角度，比无几何失真的近景俯视图更远的视距；无几何失真的近景俯视图像没有畸变和几何失真，等效的俯视视场角度小于180度，只能看到车辆周边十米范围内的景物；二次投影与处理单元(C3)能够对鱼目效果的全景俯视图像的畸变程度进行调整，改变鱼目效果全景俯视图像的等效俯视视场角度，从而达到超过180度的视场角度。

5.根据权利要求1或3所述的车载虚拟全景系统，其特征在于：二次投影和处理单元(C3)对图像合成单元(C2)合成的全景图像二次投影进行桶型失真畸变，畸变模型选用高次多项式拟合，并在拟合的高次多项式中引入畸变参数变化因子，通过调整畸变参数变化因子，实现畸变程度连续变化的鱼目效果的全景俯视图。

6.根据权利要求5所述的车载虚拟全景系统，其特征在于：使用4次多项式进行畸变拟合，公式则为S_r(r)＝akr⁴+bkr³+ckr²+dkr+e；其中k为畸变参数变化因子，调整k值，即可实现畸变程度连续变化的不同畸变程度的鱼目效果的全景俯视图像；当k值为0的时候，二次投影得到的图像即为无失真的近景俯视图像。

7.根据权利要求1或3所述的车载虚拟全景系统，其特征在于：视频采集部件(B)能够支持4～8路视频的采集工作；视频采集部件(B)受中央处理部件(C)中输入控制单元(C4)的控制，能够根据系统的实际使用环境和配置的不同，自适应地获取当前安装的摄像头数量，并对各路视频进行相应处理，灵活的实现4～8路视频的输入，从而能够适应不同车型覆盖盲区对摄像头数量的不同要求。

8.根据权利要求1或3所述的车载虚拟全景系统，其特征在于：图像合成单元(C2)，在图像合成的过程中根据各摄像头的位置关系自动分析各路视频的拼接接缝关系，并对交叉部分的图像进行融合处理，得到无缝的连续的单幅全景俯视图像。

9.根据权利要求1或3所述的车载虚拟全景系统，其特征在于：显示与控制部件(D)还包括输入设备接口(D2)，能够支持键盘，触摸屏，汽车的控制信号等多种控制输入，以有线或者无线方式连接，实现灵活的人机交互控制。

Images