CN1953553A - 驾驶辅助系统 - Google Patents

Abstract

本发明提供一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，该驾驶辅助系统具备一种机构，该机构在合成两个鸟瞰图图像重合的各重叠部时，对重叠部设定交替地配置两个区域的边界线，通过在重叠部中的由边界线划分的一方的区域内采用一方的鸟瞰图图像，在由边界线划分的另一方的区域采用另一方的鸟瞰图图像，由此合成重叠部。

Description

驾驶辅助系统

技术领域

本发明涉及一种驾驶辅助系统。

背景技术

对于汽车等驾驶员而言，在后退时由于产生死角从而难以确认后方。因此，已经开发了一种装备有监视容易成为驾驶员的死角的车辆后方的车载照相机，并将其摄像图像显示在汽车导航系统等画面上的系统。

然而，为了显示出较广的范围在采用广角透镜的情况下，影像中就会产生透镜失真。并且，越离开照相机就越比一般的透镜显示得小，由此难以根据摄像图像来掌握车辆后方的距离或空间。

因此，进行了以下的研究，即不仅显示照相机的影像，还利用图像处理技术来使人们观察到优质的影像。研究的其一在于，对所摄影的图像进行坐标变换，并以生成从地面上方眺望的鸟瞰图图像的方式进行显示。通过显示来自上方的鸟瞰图，由此驾驶员容易掌握车辆后方的距离或空间。

并且，作为用于停车的驾驶辅助装置，开发了一种对由多个照相机获得的影像根据几何变换而变换成全景鸟瞰图图像并使之显示在监视器上的装置(参照特开平11-78692号公报)。在该装置中，由于可以将车辆四周的场景作为由上空观察到的影像对驾驶员进行提示，因此具有能使车辆的周边以360度且没有死角的方式覆盖的优点。

然而，在鸟瞰图图像中，如图1所示，具有高度的物体200按照沿着连结照相机1与物体200的延长线上其像产生变形的方式被投影在地面上。如图2所示，在车辆100的前后左右分别安装照相机1F、1B、1L、1R时，如果在从车辆的左后端向左斜后方存在具有高度的物体200，则由左侧照相机1L产生的物体投影图像为200L，而由后方照相机1B产生的物体投影图像为200B。

设定两个物体投影图像200L、200B，存在于根据左侧照相机1L的摄影图像所得到的鸟瞰图像与根据后方照相机1B的摄影图像所得到的鸟瞰图图像重合的重叠部中。并且，如图3所示，在由从车辆的左后端向左斜后方延伸的边界线D将该重叠部划分为左侧照相机区域SL和后方照相机区域SB的情况下，则左侧照相机区域SL中存在由后方照相机1B产生的物体投影图像200B，后方照相机区域SB中存在由左侧照相机1L产生的物体投影图像200L。

在合成该重叠部时，如果按照对于左侧照相机区域SL仅采用根据左侧照相机1L的摄像图像所得到的鸟瞰图图像，对于后方照相机区域SB仅采用根据后方照相机1B的摄像图像所得到的鸟瞰图图像的方式进行合成，则可产生合成后所得到的全景鸟瞰图图像中两个物体投影图像200L、200B消失的问题。

因此，为了解决该问题，在合成上述重叠部时，考虑将两个鸟瞰图图像平均化。然而，如果这样进行则在合成后所得到的全景鸟瞰图图像中存在两个物体投影图像200L、200B，因此物体200表现为双像。另外，由于将两个物体投影图像200L、200B与背景图像平均化，而基于物体200与背景的颜色就使得物体投影图像200L、200B非常难以观察到。

另外，开发了如下方法，即在合成从后方照相机1B所得到的鸟瞰图图像和从两侧照相机1L、1R所得到的鸟瞰图图像时，不仅在其重叠部中按照仅采用从两侧照相机1L、1R所得到的鸟瞰图图像的方式生成两侧照相机优先的合成鸟瞰图图像，并且在其重叠部中按照仅采用从后方照相机1B所得到的鸟瞰图图像的方式生成后方照相机优先的合成鸟瞰图图像，由此将这两种合成鸟瞰图图像左右并列显示(参照特许第3372944号公报)

然而，在该方法中，驾驶员必须比较两个鸟瞰图图像来掌握车辆周边的状态，相反地，驾驶者的负担增加很有可能损害安全性。

专利文献1：特开平11-78692号公报

专利文献2：特许第3372944号公报

发明内容

本发明的目的在于，提供一种可以消除具有高度的物体在合成鸟瞰图图像上消失这样的问题并且可以容易识别该物体的驾驶辅助系统。

本发明的第一驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备一种机构，该机构在合成两个鸟瞰图图像重合的各重叠部时，对重叠部设定交替地配置两个区域的边界线，通过在重叠部中的由边界线划分的一方的区域内采用一方的鸟瞰图图像，在由边界线划分的另一方的区域采用另一方的鸟瞰图图像，由此合成重叠部。

本发明的第二驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备一种机构，该机构在合成两个鸟瞰图图像重合的各重叠部时，对重叠部设定梳齿状边界线，通过在重叠部中由梳齿状边界线所划分的一方区域内采用一方的鸟瞰图图像，在由梳齿状边界线所划分的另一方的区域采用另一方的鸟瞰图图像，由此合成重叠部。

本发明的第三驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备：第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；和控制机构，其交替地切换第一合成鸟瞰图图像生成机构与第二合成鸟瞰图图像生成机构，由此使第一合成鸟瞰图图像与第二合成鸟瞰图图像交替地显示在显示器上。

本发明的第四驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备：第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；第一控制机构，其在由判别机构判别为至少一个重叠部中存在具有高度的物体时，通过交替切换第一合成鸟瞰图图像生成机构和第二合成鸟瞰图图像生成机构，而使第一合成鸟瞰图图像与第二合成鸟瞰图图像交替地显示在显示器上；和第二控制机构，其在由判别机构判别为所有重叠部中皆不存在具有高度的物体时，通过第一合成鸟瞰图图像生成机构及第二合成鸟瞰图图像生成机构中的预先设定的一方的合成鸟瞰图图像生成机构来生成合成鸟瞰图图像，并使之显示在显示器上。

本发明的第五驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备：第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；选择机构，其根据车辆的行驶状况，选择第一合成鸟瞰图图像生成机构及第二合成鸟瞰图图像生成机构中的一方；和控制机构，其通过由选择机构选择的合成鸟瞰图图像生成机构生成合成鸟瞰图图像并使之显示在显示器上。

本发明的第六驾驶辅助系统，是将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上的驾驶辅助系统，其特征在于，具备：优先鸟瞰图图像决定机构，其在两个鸟瞰图图像重合的重叠部中，将两个鸟瞰图图像中的具有高度的物体呈现得更大的一方的鸟瞰图图像作为优先鸟瞰图图像；合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，通过仅采用由优先鸟瞰图图像决定机构决定的优先鸟瞰图图像，来生成合成鸟瞰图图像；和使由合成鸟瞰图图像生成机构生成的合成鸟瞰图图像显示在显示器上的机构。

上述第六驾驶辅助系统中的优先鸟瞰图图像决定机构，例如具备：在两个鸟瞰图图像重合的重叠部中，求取一方的鸟瞰图图像与另一方的鸟瞰图图像的差分，由此将差分量比规定量大的区域决定为差分区域的机构；和计算上述两个鸟瞰图图像的差分区域内边缘强度的积分值，由此将边缘强度的积分值较大一方的鸟瞰图图像决定为优先鸟瞰图图像的机构。

上述第一～第六驾驶辅助系统，优选具备：判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体像的标志的机构。

上述第一～第六驾驶辅助系统，优选具备：判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

附图说明

图1是表示在鸟瞰图图像中将具有高度的物体200按照沿着连结照相机1与物体200的延长线上其像变形的方式投影在地面上的示意图。

图2是表示在从车辆的左后端向左斜后方存在具有高度的物体200时，由左侧照相机1L产生的物体投影图像200L与由后方照相机1B产生的物体投影图像200B的示意图。

图3是表示在左侧照相机区域SL中存在由后方照相机1B产生的物体投影图像200B，及在后方照相机区域SB中存在由左侧照相机1L产生的物体投影图像200L的示意图。

图4是表示在车辆100的后部所设置的照相机1的示意图。

图5是表示照相机坐标系XYZ、照相机1的成像面S的坐标系X_buY_bu、和包括2维地面坐标系X_w、Z_w的世界坐标系X_w、Y_w、Z_w之间的关系的示意图。

图6是表示照相机1F、1B、1L、1R的配置例的俯视图。

图7是图6的侧视图。

图8是表示根据由各照相机1F、1B、1L、1R摄像的图像所得到的鸟瞰图图像10F、10B、10L、10R的示意图。

图9是表示以相对于图8的后方照相机1B的鸟瞰图图像10B为基准，通过对其它3幅鸟瞰图图像10F、10L、10R进行旋转和平行移动，并变换成后方照相机1B的鸟瞰图图像坐标，从而合成4幅鸟瞰图图像10F、10B、10L、10R的示意图。

图10是表示在鸟瞰图图像10B与鸟瞰图图像10L的重叠部中实施例1所采用的梳齿状边界线D’_BL的一例的示意图。

图11是表示合成后的重叠部的图像例的示意图。

图12是表示在鸟瞰图图像10B与鸟瞰图图像10L的重叠部中实施例1所采用的梳齿状边界线D’_BL的其它例的示意图。

图13是表示设置在汽车中的驾驶辅助系统的电气结构的框图。

图14是表示基于图像处理单元2的处理步骤的流程图。

图15是表示基于图像处理单元2的处理步骤的流程图。

图16是表示基于图像处理单元2的处理步骤的流程图。

图17是表示基于图像处理单元2的处理步骤的流程图。

图18是表示图17的步骤S44的处理的详细步骤的流程图。

图19a是表示灰白图像(grayscale picture)40L、40B的一例的示意图。

图19b是表示灰白图像40L、40B的差分区域的示意图。

图19c是表示灰白图像40L的差分区域内的边缘部与灰白图像40B的差分区域内的边缘部的示意图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

(A)实施例1

(1)关于鸟瞰图图像的生成方法的说明

首先，对根据由1台摄像机摄像的摄像图像来生成鸟瞰图图像的方法进行说明。

如图4所示，在车辆100的后部沿后方斜下方配置照相机1。水平面与照相机1的光轴形成的角具有两种角度即图4中由α表示的角度与由β表示的角度。一般而言，α被称为俯视角或者俯角。在本说明书中，将角度β设定为照相机1相对水平面的倾斜角θ。

图5表示照相机坐标系XYZ、照相机1的成像面S的坐标系X_buY_bu、和包括2维地面坐标系X_wZ_w的世界坐标系X_wY_wZ_w的关系。

在照相机坐标系XYZ中，以照相机的光学中心为原点O，令光轴方向为Z轴、与Z轴正交且与地面平行的方向为X轴、与Z轴以及X轴正交的方向为Y轴。在成像面S的坐标系X_buY_bu中，以成像面S的中心为原点，令成像面S的横向为X_bu轴，成像面的纵向为Y_bu。

在世界坐标系X_wY_wZ_w中，以通过照相机坐标系XYZ的原点O的垂直线与地面的交点为原点O_w，令与地面垂直的方向为Y_w轴，与照相机坐标系XYZ的X轴平行的方向为X_w轴，与X_w轴以及Y_w轴正交的方向为Z_w轴。

世界坐标系X_w、Y_w、Z_w与照相机坐标系XYZ之间的平行移动量为[0，h，0]，绕X轴的旋转量为θ。

因此，照相机坐标系XYZ的坐标(x，y，z)与世界坐标系X_w、Y_w、Z_w的坐标(x_w、y_w、z_w)之间的变换式，由下式(1)表示。

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\{\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+\left[\begin{array}{c}0\\ h\\ 0\end{array}\right]\}\·\·\·\left(1\right)$

并且，在将照相机1的焦距设为f的情况下，成像面S的坐标系X_buY_bu的坐标(x_bu，y_bu)与照相机坐标系XYZ的坐标(x，y，z)之间的变换式由下式(2)表示。

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}f\frac{x}{z}\\ f\frac{y}{z}\end{array}\right]\·\·\·\left(2\right)$

根据上述式(1)、(2)，得到成像面S的坐标系X_buY_bu的坐标(x_bu，y_bu)与二维地面坐标系X_wZ_w的坐标(x_w，z_w)之间的变换式(3)。

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{fx}}_w}{h\sin \mathrm{\θ}+z_w\cos \mathrm{\θ}}\\ \frac{(h\cos \mathrm{\θ}-z_w\sin \mathrm{\θ})f}{h\sin \mathrm{\θ}+z_w\cos \mathrm{\θ}}\end{array}\right]\·\·\·\left(3\right)$

另外，从二维地面坐标系X_wZ_w向虚拟照相机的鸟瞰图坐标系X_auY_au的投影通过平行投影来进行。在将照相机1的焦距设为f、虚拟照相机的高度位置设为H的情况下，二维地面坐标系X_wZ_w的坐标(x_w，Z_w)与鸟瞰图坐标系X_auY_au的坐标(x_au，y_au)之间的变换式就由下式(4)表示。虚拟照相机的高度位置H是预先设定的。

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\frac{f}{H}\left[\begin{array}{c}{x}_w\\ z_w\end{array}\right]\·\·\·\left(4\right)$

由上述式(4)得到下式(5)。

$\left[\begin{array}{c}{x}_w\\ z_w\end{array}\right]=\frac{H}{f}\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]...\left(5\right)$

若将所得到的式(5)代入上述式(3)，则得到式(6)。

$\left[\begin{array}{c}{x}_{\mathrm{bu}}\\ y_{\mathrm{bu}}\end{array}\right]=\left[\begin{array}{c}\frac{{\mathrm{fHx}}_{\mathrm{au}}}{\mathrm{fh}\sin \mathrm{\θ}+{\mathrm{Hy}}_{\mathrm{au}}\cos \mathrm{\θ}}\\ \frac{f(\mathrm{fh}\cos \mathrm{\θ}-{\mathrm{Hy}}_{\mathrm{au}}\sin \mathrm{\θ})}{\mathrm{fh}\sin \mathrm{\θ}+H{y}_{\mathrm{au}}\cos \mathrm{\θ}}\end{array}\right]\·\·\·\left(6\right)$

根据上述式(6)，得到用于将输入图像I的坐标(X_bu，y_bu)变换成鸟瞰图坐标系X_auY_au的坐标(X_au，y_au)的式(7)。

$\left[\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right]=\left[\begin{array}{c}\frac{x_{\mathrm{bu}}(\mathrm{fh}\sin \mathrm{\θ}+H{y}_{\mathrm{au}}\cos \mathrm{\θ})}{\mathrm{fH}}\\ \frac{\mathrm{fh}(f\cos \mathrm{\θ}-y_{\mathrm{bu}}\sin \mathrm{\θ})}{H(f\sin \mathrm{\θ}+y_{\mathrm{bu}}\cos \mathrm{\θ})}\end{array}\right]\·\·\·\left(7\right)$

采用上述式(7)就将输入图像I变换成鸟瞰图图像。

(2)关于全景鸟瞰图图像的生成方法的基本考虑方法的说明

图6、图7表示设置在车辆上的照相机。

在车辆的前部、后部、左侧部及右侧部分别设置有照相机(摄像装置)1F、1B、1L、1R。照相机1F沿前方斜下方配置，照相机1B沿后方斜下方被配置，照相机1L沿左方斜下方配置，照相机1F沿右方斜下方配置。

如图8所示，根据由各照相机1F、1B、1L、1R摄像的图像来生成鸟瞰图图像10F、10B、10L、10R。接着，如图9所示，对由各照相机1F、1B、1L、1R分别生成的鸟瞰图图像10F、10B、10L、10R，以相对于后方照相机1B的鸟瞰图图像10B为基准，将其它3个鸟瞰图图像10F、10L、10R旋转和平行移动，从而变换成后方照相机1B的鸟瞰图图像坐标。这种情况下，如图9所示，可产生两个鸟瞰图图像重叠的部分。在该重叠部，如何对两鸟瞰图图像进行合成是本实施例1的特征。

在鸟瞰图图像10F与鸟瞰图图像10L的重叠部20_FL中，将连结左上顶点与右下顶点的线设为一般边界线D_FL。在鸟瞰图图像10F与鸟瞰图图像10R的重叠部20_FR中，将连结右上顶点与左下顶点的线设为一般边界线D_FR。鸟瞰图图像10B与鸟瞰图图像10L的重叠部20_BL中，将连结右上顶点与左下顶点的线设为一般边界线D_BL。在鸟瞰图图像10B与鸟瞰图图像10R的重叠部20_BR中，将连结左上顶点与右下顶点的线设为一般边界线D_BR。还有，实际上由于重叠部并非矩形，因此通常使重叠部划分为二份的适当的边界线成为一般边界线。

以往，在两个鸟瞰图图像重叠的重叠部中，在由一般边界线划分的一方的区域内采用一方的鸟瞰图图像；在另一方的区域内采用另一方的鸟瞰图图像。具体而言，例如在鸟瞰图图像10B与鸟瞰图图像10L的重叠部20_BL中，在一般边界线D_BL的上侧区域内采用鸟瞰图图像10L；在一般边界线D_BL的下侧区域内采用鸟瞰图图像10B。因此，存在着具有高度的物体在合成鸟瞰图图像上消失的问题。

在本实施例1中，在各重叠部中，在由一般边界线划分的两个区域的各个区域内设有使两个不同的区域以狭缝状交替出现的梳齿状边界线。由此，在由梳齿状边界线划分的一方区域内采用一方的鸟瞰图图像，在另一方区域内采用另一方的鸟瞰图图像。

例如，如图10所示，在鸟瞰图图像10B与鸟瞰图图像10L的重叠部20_BL中，采用梳齿沿一般边界线D_BL的方向并列而且梳齿与监视器画面的垂直方向平行的梳齿状边界线D’_BL。由此，在该重叠部20_BL内的梳齿状边界线D’_BL的上侧区域SL内采用鸟瞰图图像10L；在梳齿状边界线D’_BL的下侧区域SB内采用鸟瞰图图像10B。

在采用这样的合成方法的情况下，例如图2所示，在从车辆的左后端向左斜后方存在具有高度的物体200时，如图11所示那样该物体200就出现在合成后的全景鸟瞰图图像上。在图11中，D’_BL表示梳齿状边界线，200L表示根据左侧照相机1L的摄像图像所得到的物体200的鸟瞰图图像，200B表示根据后方照相机1B的摄像图像所得到的物体200的鸟瞰图图像。由图11可知，具有高度的物体200的投影图像没有消失，并且物体像与背景没有平均化，因此可以明确地识别物体200。另外，根据左侧照相机1L的摄像图像所得到的物体像与根据后方照相机1B的摄像图像所得到的物体像交替地出现，就容易将这两个物体像识别作1个物体像。

还有，如图12所示，作为梳齿状边界线，也可以采用梳齿沿一般边界线D_BL的方向并列而且梳齿与监视器画面的水平方向平行的梳齿状的边界线。另外，也可以采用相对于一般边界线梳齿正交那样的梳齿状的边界线。进一步，也可以采用相对一般边界线梳齿平行那样的梳齿状的边界线。

还有，梳齿状边界线中的梳齿的长度与间隔优选按照监视器的清晰度或双像难以映出的方式进行调整。

(3)关于全景鸟瞰图图像的生成方法的具体方法说明

另外，根据上述式(7)，可以预先求出与输入图像I(对照相机的摄像图像进行透镜失真校正后的图像)的各像素的坐标对应的鸟瞰图图像上的坐标。

并且，与各照相机1F、1B、1L、1R对应的鸟瞰图图像上的坐标向全景鸟瞰图图像上的坐标的变换，可通过规定的旋转与规定的平行移动来进行。也就是，将各照相机的摄像图像失真校正后的输入图像I变换成鸟瞰图图像，由此用于将所得到的鸟瞰图图像变换成全景鸟瞰图图像的变换参数全部是固定值。因此，可以预先求出与由各照相机1F、1B、1L、1R得到的输入图像I(由透镜失真校正所得到的图像)的各像素的坐标对应的全景鸟瞰图图像上的坐标。

另外，在全景鸟瞰图图像中，还预先知道两个鸟瞰图图像重叠的区域以及在各重叠部中由上述梳齿状边界线划分的区域，因此还可以预先求出在全景鸟瞰图图像上各重叠部内的各坐标中采用两个鸟瞰图图像中的哪一副。

因此，在本实施例中，可预先准备坐标逆变换表格，该坐标逆变换表格表示对全景鸟瞰图图像上的各坐标的每一个，将由各照相机1F、1B、1L、1R得到的输入图像I(通过透镜失真校正所得到的图像)的各像素的图像中的哪个像素的图像进行分配。在坐标逆变换表格中，存储用于对全景鸟瞰图图像上的各坐标的每一个指定应填入该坐标的图像的数据。用于指定应分配给全景鸟瞰图图像上的各坐标的图像的数据，由用于指定照相机的数据和用于指定由该照相机得到的输入图像I(由透镜失真校正所得到的图像)的像素位置的数据(坐标数据)构成。作为输入图像I，考虑到透镜失真，由此也可以直接采用由各照相机1F、1B、1L、1R摄像的图像。

(4)驾驶辅助系统结构的说明

图13表示设置在汽车中的驾驶辅助系统的电气结构。驾驶辅助系统具备：4台照相机1L、1R、1F、1B；用于根据由照相机1L、1R、1F、1B摄像的图像来生成全景鸟瞰图图像的图像处理单元2；和显示由图像处理单元2生成的全景鸟瞰图图像的监视器(显示器)3。图像处理单元2，具备存储上述坐标逆变换表格的存储器。

作为照相机1L、1R、1F、1B例如采用CCD照相机。图像处理单元2例如由微机构成。作为监视器3例如采用汽车导航系统的监视器。

图像处理单元2，使用由照相机1L、1R、1F、1B摄像的图像和坐标逆变换表格来生成全景鸟瞰图图像。由图像处理单元2生成的全景鸟瞰图图像显示在监视器3上。

图14表示基于图像处理单元2的处理步骤。

首先，读入各照相机1F、1B、1L、1R的摄像图像(步骤S1)。接着对所读入的各摄像图像进行透镜失真校正(步骤S2)。以下，将通过透镜失真校正得到的图像称作输入图像I。

接着，使用根据各照相机1F、1B、1L、1R的摄像图像所得到的输入图像I与坐标逆变换表格来生成全景鸟瞰图图像(步骤S3)。使所得到的全景鸟瞰图图像显示在监视器3上(步骤S4)。然后返回步骤S1。

(B)实施例2

实施例2中，驾驶辅助系统的电气结构也与实施例1相同。实施例2与实施例1中，图像处理单元2的处理内容不同。

在实施例2中，将两侧照相机优先的全景鸟瞰图图像与前后照相机优先的全景鸟瞰图图像交替地显示在监视器上。所谓两侧照相机优先的全景鸟瞰图图像，是指在如图9所示的全景鸟瞰图坐标系中，在两个鸟瞰图图像重合的各重叠部通过仅采用根据左右照相机的摄像图像所得到的鸟瞰图图像而得到的全景鸟瞰图图像。具体而言，是指在图9的重叠部20_FL及20_BL中通过仅采用由左侧照相机1L得到的鸟瞰图图像10L、在图9的重叠部20_FR及20_BR中通过仅采用由右侧照相机1R得到的鸟瞰图图像10R来得到的全景鸟瞰图图像。

所谓前后照相机优先的全景鸟瞰图图像，是指在如图9所示的全景鸟瞰图坐标系中，在两个鸟瞰图图像重合的各重叠部中通过仅采用由前后照相机的摄像图像得到的鸟瞰图图像来得到的全景鸟瞰图图像。具体而言，是指在图9的重叠部20_FL及20_FR中通过仅采用由前方照相机1F所得到的鸟瞰图图像10F、在图9的重叠部20_BL及20_BR中通过仅采用由后方照相机1B所得到的鸟瞰图图像10B来得到的全景鸟瞰图图像。

图像处理单元2具备：作为坐标逆变换表格的第一坐标逆变换表格和第二坐标逆变换表格，所述第一坐标逆变换表格用于生成两侧照相机优先的全景鸟瞰图图像，所述第二坐标逆变换表格用于生成前后照相机优先的全景鸟瞰图图像。

图15表示基于图像处理单元2的处理步骤。

首先，将标记F复位(F＝0)(步骤S11)。读入各照相机1F、1B、1L、1R的摄像图像(步骤S12)。接着，对所读入的各摄像图像进行透镜失真校正(步骤S13)。以下，将通过透镜失真校正所得到的图像称作输入图像I。

接着，对标记F是否被设置进行判别(步骤S14)。在标记F被复位的情况下(F＝0)，设置标记F(F＝1)之后(步骤S15)，使用输入图像I与第一坐标逆变换表格来生成两侧照相机优先的全景鸟瞰图图像(步骤S16)。使所得到的两侧照相机优先的全景鸟瞰图图像显示在监视器3上(步骤S17)。然后返回步骤S12。

在上述步骤S14中，在标记F被设置的情况下(F＝1)，将标记F复位(F＝0)之后(步骤S18)，使用输入图像I与第二坐标逆变换表格来生成前后照相机优先的全景鸟瞰图图像(步骤S19)。使所得到的前后照相机优先的全景鸟瞰图图像显示在监视器3上(步骤S20)。然后返回步骤S12。

在上述实施例2中，使两侧照相机优先的全景鸟瞰图图像与前后照相机优先的全景鸟瞰图图像交替地显示在监视器上，因此，例如如图2所示那样，在从车辆的左后端向左斜后方存在具有高度的物体200时，该具有高度的物体200的投影图像不仅没有消失并且被显示出。另外，由于在两侧照相机优先的合成鸟瞰图图像和前后照相机优先的合成鸟瞰图图像中，该具有高度的物体200的投影图像其朝向是不同的，因此在切换那些图像的时刻就能看见物体200的投影图像是变动的。因此，驾驶员就容易识别该物体200。

在图15中，假定为摄像图像的读入间隔较长的情况，但在摄像图像的读入间隔例如为每1帧那样短的情况下，也可以按每隔数帧(例如每隔15帧)更换显示两侧照相机优先的全景鸟瞰图图像和前后照相机优先的全景鸟瞰图图像。

作为坐标逆变换表格，设置有用于生成两侧照相机优先的全景鸟瞰图图像的第一坐标逆变表格、和用于生成前后照相机优先的全景鸟瞰图图像的第二坐标逆变换表格，但代替这两个坐标逆变换表格也可以采用一个坐标逆变换表格。这种情况下，例如，只要是对由左侧照相机1L所得到的鸟瞰图图像10L与由后方照相机1B所得到的鸟瞰图图像10B的重叠部内的各坐标，预先存储表示双方鸟瞰图图像10L、10B对应的像素位置的数据(指定照相机的数据及坐标数据)，就在生成两侧照相机优先的全景鸟瞰图图像时采用表示鸟瞰图图像10L对应的像素位置的数据，在生成前后照相机优先的全景鸟瞰图图像时采用表示鸟瞰图图像10B对应的像素位置的数据即可。

然而，如图2所示，在车辆的前后左右分别安装照相机1F、1B、1L、1R时，如果从车辆的左后端向左斜后方存在具有高度的物体200，则由左侧照相机1L产生的物体投影图像就成为200L，由后方照相机1B产生的物体投影图像就成为200B。

因此，在如图9所示的全景鸟瞰图图像坐标系中，在根据左侧照相机1L的摄像图像所得到的鸟瞰图像与根据后方照相机1B的摄像图像所得到的鸟瞰图图像之间的重合部存在两个物体投影图像200L、200B时，那些投影图像200L、200B就出现在不同的位置。因此，如果在该重叠部求取两个鸟瞰图图像的差分，则两个物体投影图像200L、200B就作为差分值被检测出。

在两个鸟瞰图图像重合的重叠部中，在将各鸟瞰图图像变换成灰白图像之后，若求取两个灰白图像的差分，则在存在具有高度的物体(障碍物)时，就提取差分值的绝对值在规定阈值以上的差分区域。因此，根据在每个重叠部是否提取了差分区域就可以判定每个重叠部是否存在具有高度的障碍物。

因此，在如图9所示的全景鸟瞰图图像坐标系中，判别鸟瞰图图像重合的每个重叠部中是否存在具有高度的物体(障碍物)，在至少一个重叠部中存在障碍物时，交替地生成两侧照相机优先的全景鸟瞰图图像与前后照相机优先的全景鸟瞰图图像并使之交替地显示；在任何一个重叠部都不存在障碍物时，生成两侧照相机优先的全景鸟瞰图图像以及前后照相机优先的全景鸟瞰图图像中的预先确定的一方的全景鸟瞰图图像并使之显示。

还有，在至少一个重叠部中存在障碍物时，也可以仅对存在障碍物的重叠部，交替地生成两侧照相机优先的鸟瞰图图像与前后照相机优先的鸟瞰图图像并使之交替地显示，而对其它重叠部生成相同种类的鸟瞰图图像并使之显示。

(C)实施例3

在上述实施例2中，使两侧照相机优先的全景鸟瞰图图像与前后照相机优先的全景鸟瞰图图像交替地显示在监视器上，但也可以依据车辆的移动状态来对两侧照相机优先的全景鸟瞰图图像与前后照相机优先的全景鸟瞰图图像进行切换。

例如，如图2所示，在从车辆的左后端向左斜后方存在具有高度的物体200的情况下，如果车辆一直向后方行驶，则该物体200就会从后方照相机1B的摄像区域漏掉。因此，这样的情况下，生成两侧照相机优先的全景鸟瞰图图像并使之显示。另一方面，如图2所示，在从车辆的左后端向左斜后方存在具有高度的物体200的情况下，在车辆一边向左斜后方拐弯一边后退时，该物体200就会从左侧照相机1L的摄像区域漏掉。因此，这种情况下，生成前后照相机优先的全景鸟瞰图图像并使之显示。

在实施例3中，驾驶辅助系统的电气结构与实施例1相同。还有，车辆的移动状态例如基于车辆齿轮传感器、驾驶杆的操作方向、车速脉冲等来判别。

图像处理单元2，具备作为坐标逆变换表格的第一坐标逆变换表和第二坐标逆变换表格，所述第一坐标逆变换表格用于生成两侧照相机优先的全景鸟瞰图图像，所述第二坐标逆变表格用于生成前后照相机优先的全景鸟瞰图图像。

图16表示基于图像处理单元2的处理步骤。

首先，读入各照相机1F、1B、1L、1R的摄像图像(步骤S31)。接着对读入的各摄像图像进行透镜失真校正(步骤S32)。以下，将通过透镜失真校正所得到的图像称作输入图像I。

接着，判别车辆的移动状态(步骤S33)。具体而言，对车辆是一直向前方或者后方行驶的第一移动状态、车辆是一边向斜前方拐弯一边前进或者车辆一边向斜后方拐弯一边后退的第二移动状态进行判别。

当判别为车辆的移动状态是第一移动状态时，使用输入图像I与第一坐标逆变换表格来生成两侧照相机优先的全景鸟瞰图图像(步骤S34)。使所得到的两侧照相机优先的全景鸟瞰图图像显示在监视器3上(步骤S35)。然后返回步骤S31。

在上述步骤S33中，当判别为车辆的移动状态是第二移动状态时，使用输入图像I与第二坐标逆变换表格来生成前后照相机优先的全景鸟瞰图图像(步骤S36)。使所得到的前后照相机优先的全景鸟瞰图图像显示在监视器3上(步骤S37)。然后返回步骤S31。

在实施例3中，也可以如实施例2所说明那样，代替第一坐标逆变表格与第二坐标逆变表格的两个坐标逆变换表格而采用一个坐标逆变换表格。

(D)实施例4

在实施例4中，在如图9所示的全景鸟瞰图图像坐标系中，对两个鸟瞰图图像重合的各重叠部的每一个判别在哪个鸟瞰图图像中障碍物(具有高度的物体)呈现得更大，由此在合成该重叠部时，仅采用障碍物呈现得更大的一方的鸟瞰图图像。

在实施例4中，驾驶辅助系统的电气结构与实施例1相同。图像处理单元2具备坐标逆变换表格。作为坐标逆变换表格准备有一个逆变换表格。其中，对于两个鸟瞰图图像重合的重叠部内的各坐标，存储有表示该两个鸟瞰图图像对应的像素位置的两种数据。

例如，对于由左侧照相机1L所得到的鸟瞰图图像10L与由后方照相机1B所得到的鸟瞰图图像10B之间的重叠部内的各坐标，存储有表示双方鸟瞰图图像10L、10B对应的像素位置的数据。在该重叠部中，在两个鸟瞰图图像10L、10B中的例如鸟瞰图图像10L一方障碍物呈现得更大时，选择表示该鸟瞰图图像10L对应的像素位置的数据。

图17表示基于图像处理单元2的处理步骤。

首先，读入各照相机1F、1B、1L、1R的摄像图像(步骤S41)。接着对读入的各摄像图像进行透镜失真校正(步骤S42)。以下，将通过透镜失真校正所得到的图像称作输入图像I。

接着，使用输入图像I与坐标逆变换表格，对各照相机1F、1B、1L、1R的每一个，生成在全景鸟瞰图图像坐标上两个鸟瞰图图像重叠的部分中的鸟瞰图图像(步骤S43)。

基于由步骤S43得到的鸟瞰图图像，对两个鸟瞰图图像重合的各重叠部的每一个判定优先两个鸟瞰图图像中的哪一个(步骤S44)。也就是，对各重叠部的每一个决定优先鸟瞰图图像。关于该处理的详细情况将后述。

接着，使用步骤S44的决定结果与输入图像I及坐标逆变换表格，生成仅采用各重叠部中由步骤44判定为优先的鸟瞰图图像的全景鸟瞰图图像(步骤S45)。使所得到的全景鸟瞰图图像显示在监视器3上(步骤S46)。然后返回步骤S41。

图18表示上述步骤S44的处理的详细步骤。

在此，以由左侧照相机1L所得到的鸟瞰图图像10L与由后方照相机1B所得到的鸟瞰图图像10B之间的重叠部为例进行说明。重叠部的鸟瞰图图像中的由左侧照相机1L所得到的图像用30L表示，由后方照相机1B所得到的图像用30B表示。

将重叠部的鸟瞰图图像30L、30B分别变换成灰白图像40L、40B(步骤S51)。图19a表示灰白图像40L、40B的一例。

求出两个灰白图像40L、40B的差分区域(步骤S52)。具体而言，求取两个灰白图像40L、40B的差分，由此将差分值的绝对值在规定阈值以上的区域设为差分区域。在灰白图像40L、40B为图19a时，差分区域就如图19b所示。

对每个灰白图像40L、40B，在步骤S52求出的差分区域内进行边缘提取处理(步骤S53)。也就是，针对每个灰白图像40L、40B，对差分区域内的各像素计算出边缘强度。接着，针对每个灰白图像40L、40B计算差分区域内的边缘强度的总和(步骤S54)。并且，将边缘强度的总和较大的一方的鸟瞰图图像决定为优先鸟瞰图图像(步骤S55)。还有，代替边缘强度的总和(积分值)，也可以使用检测出的边缘数量或由边缘部包围的区域的面积。

在灰白图像40L、40B为图19a时，灰白图像40L中的差分区域内的边缘部就如图19c的左图那样，灰白图像40B中的差分区域内的边缘部就如图19c的右图那样。灰白图像40L中的差分区域内的边缘部的区域比灰白图像40B中的差分区域内的边缘部的区域大，因此由左侧照相机1L所得到的鸟瞰图图像就成为优先鸟瞰图图像。

(E)实施例5

如上述，根据在两个鸟瞰图图像重合的每个重叠部是否提取有差分区域，就可以判定在该重叠部中是否存在具有高度的物体(障碍物)。

在上述实施例1、2、3、4中，对各重叠部是否存在障碍物进行判别，由此在判别为至少一个重叠部中存在障碍物时，优选在所显示的全景鸟瞰图图像上显示用于明示障碍物的标志或者发出警告声。作为用于明示障碍物的标志例如采用包围障碍物像的标志。

Claims (19)

1、一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，

该驾驶辅助系统具备一种机构，该机构在合成两个鸟瞰图图像重合的各重叠部时，对重叠部设定交替地配置两个区域的边界线，通过在重叠部中的由边界线划分的一方的区域内采用一方的鸟瞰图图像，在由边界线划分的另一方的区域采用另一方的鸟瞰图图像，由此合成重叠部。

2、根据权利要求1所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体像的标志的机构。

3、根据权利要求1所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

4、一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，

该驾驶辅助系统具备一种机构，该机构在合成两个鸟瞰图图像重合的各重叠部时，对重叠部设定梳齿状边界线，通过在重叠部中由梳齿状边界线所划分的一方区域内采用一方的鸟瞰图图像，在由梳齿状边界线所划分的另一方的区域采用另一方的鸟瞰图图像，由此合成重叠部。

5.根据权利要求4所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体像的标志的机构。

6.根据权利要求4所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

7.一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，该驾驶辅助系统具备：

第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；

第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；和

控制机构，其交替地切换第一合成鸟瞰图图像生成机构与第二合成鸟瞰图图像生成机构，由此使第一合成鸟瞰图图像与第二合成鸟瞰图图像交替地显示在显示器上。

8.根据权利要求7所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体的像的标志的机构。

9.根据权利要求7所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

10.一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，该驾驶辅助系统具备：

第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；

第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；

第一控制机构，其在由判别机构判别为至少一个重叠部中存在具有高度的物体时，通过交替地切换第一合成鸟瞰图图像生成机构和第二合成鸟瞰图图像生成机构，而使第一合成鸟瞰图图像与第二合成鸟瞰图图像交替地显示在显示器上；和

第二控制机构，其在由判别机构判别为所有重叠部中皆不存在具有高度的物体时，通过第一合成鸟瞰图图像生成机构及第二合成鸟瞰图图像生成机构中的预先设定的一方的合成鸟瞰图图像生成机构来生成合成鸟瞰图图像，并使之显示在显示器上。

11.根据权利要求10所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体的像的标志的机构。

12.根据权利要求10所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

13.一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，该驾驶辅助系统具备：

第一合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的一方的鸟瞰图图像而得到的第一合成鸟瞰图图像；

第二合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，生成通过仅采用预先设定的另一方的鸟瞰图图像而得到的第二合成鸟瞰图图像；

选择机构，其根据车辆的行驶状况，选择第一合成鸟瞰图图像生成机构及第二合成鸟瞰图图像生成机构中的一方；和

控制机构，其通过由选择机构选择的合成鸟瞰图图像生成机构生成合成鸟瞰图图像并使之显示在显示器上。

14.根据权利要求13所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体的像的标志的机构。

15.根据权利要求13所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

16.一种驾驶辅助系统，将由搭载在车辆上且对车辆周边进行摄像的多个摄像装置所摄像的图像分别变换成鸟瞰图图像，并对所得到的各鸟瞰图图像进行合成来生成合成鸟瞰图图像，而使所生成的合成鸟瞰图图像显示在显示器上，该驾驶辅助系统具备：

优先鸟瞰图图像决定机构，其在两个鸟瞰图图像重合的重叠部中，将两个鸟瞰图图像中的具有高度的物体呈现得更大的一方的鸟瞰图图像作为优先鸟瞰图图像；

合成鸟瞰图图像生成机构，其在对各鸟瞰图图像进行合成时，在两个鸟瞰图图像重合的各重叠部中，通过仅采用由优先鸟瞰图图像决定机构决定的优先鸟瞰图图像，来生成合成鸟瞰图图像；和

使由合成鸟瞰图图像生成机构生成的合成鸟瞰图图像显示在显示器上的机构。

17.根据权利要求16所述的驾驶辅助系统，其特征在于，

优先鸟瞰图图像决定机构，具备：

在两个鸟瞰图图像重合的重叠部中，求取一方的鸟瞰图图像与另一方的鸟瞰图图像的差分，由此将差分量比规定量大的区域决定为差分区域的机构；和

计算上述两个鸟瞰图图像的差分区域内边缘强度的积分值，由此将边缘强度的积分值较大一方的鸟瞰图图像决定为优先鸟瞰图图像的机构。

18.根据权利要求16所述的驾驶辅助系统，其特征在于，具备

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时，在合成鸟瞰图图像中显示用于明示上述具有高度的物体的像的标志的机构。

19.根据权利要求16所述的驾驶辅助系统，其特征在于，具备：

判别机构，其在两个鸟瞰图图像重合的各重叠部中，通过比较两个鸟瞰图图像从而判别是否存在具有高度的物体；和

在通过判别机构判别为至少一个重叠部中存在具有高度的物体时发出警告声的机构。

Images