CN101487895B - 显示鸟瞰车辆图像的倒车雷达系统 - Google Patents

Abstract

本发明公开了一种显示鸟瞰车辆图像的倒车雷达系统，显示鸟瞰车辆图像的倒车雷达系统包括多个鱼眼镜头、行车计算机以及屏幕，鱼眼镜头设置于车辆四周以拍摄车辆四周的景物图像；行车计算机读取这些景物图像并执行内部的多个图像处理手段将景物图像合成为鸟瞰车辆图像，其包括通过变形图像校正手段将放射状扭曲的景物图像校正为正常景物图像；通过平面转移手段将校正后的景物图像旋转为投影景物图像；以及通过图像合成手段依据投影景物图像所属拍摄镜头的位置进行取像，并产生所述鸟瞰车辆图像。

Description

显示鸟瞰车辆图像的倒车雷达系统

技术领域

本发明公开了一种倒车雷达系统，尤其涉及一种显示鸟瞰车辆图像的倒车雷达系统。

背景技术

汽车行驶时，常因驾驶者不小心、视线死角或外在环境的变化造成非预期的事件发生。随着电子信息技术的发展，许多研究人员正通过行车计算机的强大运算力结合取像技术研发停车辅助系统，能事先警示意外的发生，有效地在行车过程中辅助驾驶者。停车辅助系统(如常见的倒车雷达系统)多以超音波传感器感测与后方障碍物距离，再以声响大小或频率区分障碍物远近。随着图像传感器普及化。部分倒车雷达系统还拍摄实际景物图像，供驾驶者直觉感受车辆与四周障碍物的空间关系。驾车技巧较生疏的驾驶者通过此类停车辅助系统辅助驾驶者进行倒车动作，可避免擦撞车辆四周障碍物，让车辆免于碰撞损坏。

但是，目前提供车辆后方拍摄图像的倒车雷达系统仍存在使用缺陷。图1A为倒车示意图，而图1B为公知技术的倒车雷达系统拍摄图像示意图。请合并参考图1A及图1B，举例来说，驾驶者要将车辆110停泊在墙壁120前方停车线前。当车辆110开始倒车时，倒车雷达系统拍摄后方景物，并将拍摄的图像显示于倒车雷达系统的屏幕。然而车辆110后方的障碍物140却因为拍摄死角的问题无法显示于拍摄的图像，例如图1A中的障碍物140即无法被显示于如图1B的图像，驾驶者凭借拍摄的图像作为倒车辅助时，车辆即可能与障碍物140碰撞而损及车体。一些具拍摄显像功能的倒车雷达系统拍摄多角度、位置的景物图像，以切换数个不同拍摄角度、位置的景物图像辅助驾驶者进行倒车，然而多景物图像的切换反而让驾驶者疲于观看，造成驾驶者无法专注行车。

发明内容

本发明的目的在于提供一种显示鸟瞰车辆图像的倒车雷达系统，借助设置在车辆四周的鱼眼镜头拍摄车辆四周景物，并通过图像处理方法将多张扭曲的拍摄图像还原为正常图像，并组合为单张鸟瞰车辆图像而显示于倒车雷达系统的屏幕，供驾驶者易于判断车辆与四周障碍物的距离，来解决上述公知技术中倒车雷达系统切换拍摄的多景物图像造成驾驶者分心等问题。

为了实现上述目的，本发明提供了一种显示鸟瞰车辆图像的倒车雷达系统包括多台鱼眼镜头、一台行车计算机以及一台屏幕：鱼眼镜头分散设置于车辆四周并拍摄多张景物图像；行车计算机读取这些景物图像，并执行内部的多个图像处理手段，将这些景物图像合成为单张鸟瞰车辆图像，并在车辆倒车时，将此鸟瞰车辆图像显示于屏幕。其中，上述的图像处理手段包括有：

变形图像校正手段：读取放射状扭曲的景物图像，并依据这些景物图像中心处的多个像素计算景物图像的中心形变率，进而修正这些景物图像。

平面转移手段：根据这些鱼眼镜头设置位置设定景物图像的旋转量，并依据此旋转量转置校正后的景物图像，以产生投影景物图像。

图像合成手段：依据这些投影景物图像所属的鱼眼镜头设置位置，取出这些投影景物图像的信任区域而合成为鸟瞰车辆图像。

依照本发明的较佳实施例所述的倒车雷达系统，其中鱼眼镜头分散设置于车辆，其包括前、后保险杆，以及左、右后视镜。

依照本发明的较佳实施例所述的倒车雷达系统，其中变形图像校正手段包括以下步骤：首先，读取放射状扭曲的景物图像。之后，依据所拍摄的多张景物图像中心处的多个中心像素，套用平面校正函数来计算拍摄的多个景物图像的中心形变率。然后，以这些景物影的中心像素为基准，依据前述计算的中心形变率修正这些景物图像中所有像素的位置，以还原这些景物图像为正常未扭曲的图像。

其中，平面校正函数以下列数学式表示：

P-E＝(Q-E)/L(r_d，k)；

在此算式中，P为校正前景物图像的中心像素位置；Q为校正后景物图像的中心像素位置；E为景物图像中心点；r_d为Q到E的距离；k为形变常数；以及L(r_d，k)为景物图像的形变程度函数。另外，所述景物图像的形变程度函数可表为：

$L(r_d,k)=1+k_1*r_d^2+k_2*r_d^4+...+k_p*r_d^{2p};$ 其中，k₁、k₂、及k_p为形变常数。

依照本发明的较佳实施例所述的倒车雷达系统，其中平面转移手段包括以下步骤：首先，读取修正后的景物图像。接着，根据鱼眼镜头设置位置决定修正后的景物图像的旋转量。然后，根据此旋转量，转置这些景物图像，以产生多张投影景物图像。另外，平面转移手段还包括为拍摄的景物图像设置特征点，并以此特征点为基准，转置这些景物图像为投影景物图像。

依照本发明的较佳实施例所述的倒车雷达系统，其中图像合成手段包括以下步骤：首先，依据这些投影景物图像所属的鱼眼镜头设置位置，取出投影景物图像的信任区域。接着，分析这些投影景物图像中信任区域内的多个特征点。然后，找出与邻接的投影景物图像相似的特征点。最后，依据这些特征点的位置，将这些投影景物图像贴合为车辆鸟瞰图。

由上所述，本发明的倒车雷达系统利用多个鱼眼镜头来拍摄多张实景图像，并将扭曲的图像还原为正常图像，之后再将校正后的景物图像转置为俯瞰角度的投影景物图像，并借助图像合成手段，以邻接两张投影景物图像中相似的特征点位置为基准，将这些投影景物图像贴合为车辆鸟瞰图，并显示于倒车雷达系统的屏幕上，让驾驶者易于判断车辆四周与障碍物的距离关系。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1A为倒车示意图；

图1B为公知技术的倒车雷达系统所拍摄的景物图像；

图2A为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统的鱼眼镜头装设位置及拍摄范围示意图；

图2B为本发明较佳实施例的倒车雷达系统的鸟瞰示意图；

图3A为本发明较佳实施例的变形图像校正手段的方法流程图；

图3B为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统所拍摄的景物图像；

图3C为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统的变形图像校正手段原理说明示意图；

图3D为图3B校正后的景物图像；

图4A为本发明较佳实施例的平面转移手段的方法流程图；

图4B为本发明较佳实施例的平面转移手段原理说明示意图；

图5A为本发明较佳实施例的图像合成手段的方法流程图；

图5B为本发明较佳实施例的通过图像合成手段所合成的鸟瞰车辆图像示意图。

其中，附图标记：

110   车辆

110a  行车计算机

110b  屏幕

112、114、116、118    鱼眼镜头

112a、114a、116a、118a    拍摄区域

112d、114d、116d、118d  投影景物图像

120  墙壁

130  停车挡板

140  障碍物

曲线线段

直线线段

114b  摄得的景物图像

114c  相比于地表的景物图像

114d  投影景物图像

511~519  特征点

具体实施方式

图2A为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统的鱼眼镜头装设位置及拍摄范围示意图，图2B为本发明较佳实施例的倒车雷达系统的鸟瞰示意图。请参考图2B，请合并参考图2A及图2B，在本实施例中，鱼眼镜头分散设置于车辆，例如，将鱼眼镜头设置于前保险杆、后保险杆、左后视镜、及右后视镜各设置一颗鱼眼镜头112、114、116、118。利用鱼眼镜头的广角特性，拍摄车辆四周的景物图像，例如对拍摄区域112a、114a、116a、118a通过鱼眼镜头112、114、116、118进行拍摄。之后，利用拍摄的数张景物图像产生鸟瞰车辆图像，并将此鸟瞰车辆图像显现于屏幕中。驾驶人在倒车时，通过此鸟瞰车辆图像可快速判断车辆与四周障碍物距离。所述显示鸟瞰车辆图像的倒车雷达系统(以下简称为倒车系统)包括多个鱼眼镜头112、114、116、118、一台行车计算机110a以及屏幕110b。当这些鱼眼镜头112、114、116、118拍摄景物图像后，行车计算机110a读取这些景物图像，并执行内部的多个图像处理手段将多张景物图像合成为单张鸟瞰车辆图像，这些图像处理手段包括变形图像校正手段、平面转移手段以及图像合成手段：

一、变形图像校正手段：倒车系统读取鱼眼镜头拍摄的放射状扭曲的景物图像，并依据这些景物图像中心处的多个像素，计算景物图像的中心形变率，进而修正这些景物图像。

二、平面转移手段：根据这些鱼眼镜头设置位置，设定拍摄的景物图像的旋转量，并依据此旋转量，转置这些景物图像为投影景物图像。

三、图像合成手段：依据这些投影景物图像所属的鱼眼镜头设置位置，取出这些投影景物图像的信任区域，而合成为鸟瞰车辆图像。

在接续段落分段叙述图像处理手段的细部流程。图3A为本发明较佳实施例的变形图像校正手段的方法流程图。请参考图3A，变形图像校正手段包括以下步骤：首先，读取放射状扭曲的数张景物图像(步骤S310)。接着，依据这些景物图像中心处的多个中心像素，套用一个平面校正函数来计算这些景物图像的中心形变率(步骤S320)。然后，以这些景物影的中心像素为基准，依据计算的中心形变率，修正这些景物图像中的所有像素位置，以还原这些景物图像为正常未扭曲的图像(步骤S330)。

图3B为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统所拍摄的景物图像。请参考图3B，鱼眼镜头所拍摄的景物图像的特性为中心区域的像素间隔较大，而距离拍摄图像的中心点越远，像素间距越小。整体图像观感就如同由图像中心点，放射状的向图像周围扭曲，中心区域所包含较少像素(图像信息也少)而图像边缘处所包含的像素较多(包含较多图像信息)。在本实施例中，倒车系统加载景物图像后，采用平面校正函数来计算景物图像的中心变形率。平面校正函数为：P-E＝(Q-E)/L(r_d，k)，其中：

P为校正前的中心像素位置；Q为校正后的多个中心像素位置；E为景物图像中心点；r_d为Q到E的距离；k为形变常数；以及L(r_d，k)为景物图像的形变程度函数。在本实施例中，变形程度函数为：

$L(r_d,k)=1+k_1*r_d^2+k_2*r_d^4+...+k_p*r_d^{2p},$ 其中k₁、k₂、及k_p为形变常数。

此形变程度函数可仿真目前大部分鱼眼镜头的变形，在本实施例中以形变程度函数的二次函数作为形变程度函数 $L(r_d,k)=1+k_1*r_d^2,$ 亦即表示图像中有两个维度的变形。

一般来说，形变常数通常在倒车系统出厂前即加以设定，其可以例如为鱼眼镜头镜片的曲率半径等参数。通过上述平面校正函数，倒车系统可计算出加载的景物图像中各点像素与景物图像的中心像素的距离。

图3C为本发明较佳实施例的显示鸟瞰车辆图像的倒车雷达系统的变形图像校正手段原理说明示意图。请合并参考图3B及图3C，假设存在等距线段

以鱼眼镜头拍摄得到如图3B的图像，图像中的这些线段则扭曲为不等常的曲线线段。经由上述的变形图像校正手段可产生如同将不等距的曲线线段(

)投影为等距的直线线段(

)的效果。景物图像中所有像素，即是依据前述原理，将扭曲变形的像素重新计算与景物图像的中心像素的距离，而修正所有像素的位置，进而还原景物图像为正常未扭曲的图3D的校正后的景物图像。

图4A为本发明较佳实施例的平面转移手段的方法流程图。请参考图4A，首先，读取修正后的景物图像(步骤S410)；根据鱼眼镜头设置位置决定修正后的多张景物图像的旋转量(步骤S420)；以及根据此旋转量，转置这些景物图像以产生数张投影景物图像。在一些实施例中，还在这些景物图像设置特征点，并以这些特征点为基准转置景物图像为投影景物图像。

图4B为本发明较佳实施例的平面转移手段原理说明示意图。请参考图4B，鱼眼镜头所拍摄得的景物图像114b在校正为不扭曲的正常图像后，尚需转置图像角度使其切合于鸟瞰车辆的角度。在本实施例中，例如通过平面转换矩阵(P1anar homo-graphy matrix)将于某一位置的鱼眼镜头拍摄到的平面景物图像114b，参考相机坐标系统相对于世界坐标的位移量转置为相比于地表的景物图像114c，之后再依拍摄该景物图像的鱼眼镜头的摆设位置，乘上一转移矩阵转换为在另一位置所看到的投影景物图像114d。

举例来说，H_3x4为前述景物图像的矩阵，K_3x3为相机内部参数，T_3x1及R_3x3为相机坐标系统相对于世界坐标(Ow，Xw，Yw，Zw)的位移量及旋转量(亦即上述根据鱼眼镜头设置位置设定的旋转量)，而[x，y，z，l]、「u，v，l」则分别为景物图像114c在世界坐标的立体坐标点以及投射到图像平面的2维度点坐标。所述的投影景物图像可表示为一个「u，v，l」矩阵，此矩阵的计算关系式其可表如下：

$\left[\begin{array}{c}u\\ v\\ l\end{array}\right]\≅H_{3x4}\left[\begin{array}{c}x\\ y\\ z\\ l\end{array}\right]=K_{3x3}\left[R_{3X3}\right|T_{3X1}]\left[\begin{array}{c}x\\ y\\ z\\ l\end{array}\right]$

根据上述计算式，请再次参考图4B，相比于地表的景物图像114c中的黑点称之为黑色特征点。由于黑色特征点以地面为共平面，因此可以下式的平面方程式表示这些黑色特征点群之间的关系：

$\left[\begin{array}{ccc}a& b& c\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=1$

经过上述的数学算式运算后，我们可以得到一个3×3的矩阵。之后，将相比于地表的景物图像114c将相机镜头拍摄的图像平面与虚拟的鸟瞰镜头拍摄的成像相互关连：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ l\end{array}\right]\≅M_{3x3}\left[\begin{array}{c}u\\ v\\ l\end{array}\right]$

其中：

$M_{3x3}=K_{3x3}^{\′}{R}_{3x3}^{\′}{K}_{3x3}^{-1}+K_{3x3}^{\′}{T}_{3x1}^{\′}{\left[\begin{array}{ccc}a& b& c\end{array}\right]}^T{K}_{3x3}^{-1}$

若我们知道M_3x3矩阵，则任何时间点拍摄得到的地面图像便可以转换为一鸟瞰角度的成像(overhead view image)。

当取得投影景物图像后，倒车系统的行车计算机110a接续执行图像合成手段，以将位于车辆不同位置所拍摄的景物图像合成为单一张鸟瞰车辆图像。图5A为本发明较佳实施例的图像合成手段的方法流程图。请参考图5A，首先，依据这些投影景物图像所属的鱼眼镜头的设置位置，各自取出投影景物图像的信任区域(步骤S510)。

接着，分析投影景物图像中信任区域内的多个特征点(步骤S520)。然后，找出与邻接的投影景物图像中相似的特征点(步骤S530)。最后，依据特征点位置将投影景物图像贴合为车辆鸟瞰图(步骤S540)。图5B为本发明较佳实施例的通过图像合成手段所合成的鸟瞰车辆图像示意图。请合并参考图2B及图5B，鱼眼镜头112、114、116、118拍摄的景物图像通过倒车系统的行车计算机执行上述的变形图像校正手段及平面转移手段，产生投影景物图像112d、114d、116d、118d。之后，找出邻接的投影景物图像中相似的特征点，例如拍摄的障碍物或路面的交通标语等对象，界定出投影景物图像中的选取范围，并将各个投影景物图像的选取部分贴到对应区域，如投影景物图像112d贴于图式的车辆左侧区块，以形成鸟瞰车辆图像。举例来说，投影景物图像112d具有特征点511、512及513且投影景物图像114d也具有相同的特征点511、512及513，则进一步以此特征点511、512及513接合投影景物图像112d与投影景物图像114d；其它投影景物图像，如投影景物图像116d及投影景物图像118d，也通过相同方式接合，如通过特征点514、515接合投影景物图像112d及投影景物图像118d、通过特征点516、517接合投影景物图像114d及投影景物图像116d、以及通过特征点518、519接合投影景物图像116d及投影景物图像118d。之后再将各个投影景物图像贴入图式中的相应部分而形成鸟瞰车辆图像。当形成鸟瞰车辆图像后，进一步将此鸟瞰车辆图像显示于屏幕。借以让驾驶者便于观察到车辆与四周物体的距离，避免倒车时车辆碰撞到障碍物或人员，造成车辆或人员的损伤。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种显示鸟瞰车辆图像的倒车雷达系统，用以拍摄车辆四周实景并产生鸟瞰车辆图像而显示于屏幕，以用于辅助驾驶者倒车，其特征在于，该显示鸟瞰车辆图像的倒车雷达系统包括：

数个鱼眼镜头，分散设置于该车辆四周拍摄景物图像；

一行车计算机，该行车计算机读取该些景物图像，该行车计算机读取放射状扭曲的该些景物图像，依据该景物图像中心处的数个中心像素套用一平面校正函数计算该景物图像的中心形变率，以该景物图像的中心像素为基准，依据该中心形变率修正该景物图像中所有像素的位置，以还原该景物图像为正常未扭曲的图像；该行车计算机根据该鱼眼镜头设置位置设定一旋转量，并依据该旋转量，转置该景物图像为投影景物图像；该行车计算机依据该投影景物图像所属的该鱼眼镜头设置位置，取该投影景物图像的信任区域而合成为该鸟瞰车辆图像；以及

一屏幕，当该车辆倒车时，显示该鸟瞰车辆图像于该屏幕；

该平面校正函数为：

P-E＝(Q-E)/L(r_d，k)；其中：

P为校正前的该中心像素位置；

Q为校正后的该中心像素位置；

E为景物图像中心点；

r_d为Q到E的距离；

k为形变常数；以及

L(r_d，k)为景物图像的形变程度函数；

该形变程度函数为：

其中，k₁、k₂、及k_p为形变常数。

2.根据权利要求1所述的倒车雷达系统，其特征在于，该鱼眼镜头分散设置于该车辆，其设置位置包括：前保险杆、后保险杆、左后视镜及右后视镜。

3.根据权利要求1所述的倒车雷达系统，其特征在于，该行车计算机转置该景物图像为该投影景物图像借助以下计算式完成： 

其中

M_3x3为该投影景物图像；

K’_3x3为相机内部参数矩阵；

R’_3x3为相机坐标系统相对于世界坐标的旋转量；

T’_3x1为相机坐标系统相对于世界坐标的位移量；以及

[a b c]^T为相比于地表的景物图像中数个特征点的关系矩阵。

4.根据权利要求1所述的倒车雷达系统，其特征在于，该行车计算机还依据该投影景物图像所属的该鱼眼镜头的设置位置，各自取出该投影景物图像的一信任区域；

分析该投影景物图像中该信任区域内的数个特征点；

找出与邻接的该投影景物图像中相似的该特征点；以及

依据该特征点的位置将该投影景物图像贴合为该车辆鸟瞰图。 

Images