CN103051867A

CN103051867A - 图像生成器

Info

Publication number: CN103051867A
Application number: CN2012103857718A
Authority: CN
Inventors: 山本欣司; 渡边一矢
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2011-10-13
Filing date: 2012-10-12
Publication date: 2013-04-17
Anticipated expiration: 2032-10-12
Also published as: EP2631696A2; JP2013090005A; EP2631696B1; JP5870608B2; CN103051867B; EP2631696A3

Abstract

提供一种生成使俯视图像中的三维物体容易识别的监视器显示图像的图像生成器。所述图像生成器包括：俯视图像生成部，用于通过以车辆上方的虚拟视角对由用于捕获所述车辆的周边区域的图像的车载摄像机所捕获的图像进行投影变换来生成俯视图像；三维物体检测部，用于识别存在于所述周边区域的三维物体并输出表示所述三维物体的属性的三维物体属性信息；以及图像合成部，用于基于所述三维物体属性信息，通过将表示所述三维物体的接地位置的接地平面标记与所述俯视图像中所述接地位置处的部分进行图像合成来生成用于车辆驾驶辅助的监视器显示图像。

Description

图像生成器

技术领域

本发明涉及一种用于输出作为监视器显示图像的俯视图像的图像生成器，通过采用车辆上方的虚拟视角，对由用于捕获车辆的周边区域的图像的车载摄像机所捕获的图像进行投影变换来生成该俯视图像。

背景技术

在传统的俯视图像生成器中，是利用将由车载摄像机捕获到的图像投射到与路面平行的投影面上的图像变换原理，也就是说，是利用垂直地位于车辆上方的虚拟视角的投影变换生成从车辆正上方看的俯视图像。通过在监视器上显示俯视图像，司机可以鸟瞰的方式掌握车辆周围的路面状态。然而，在通过这样的投影变换获得的俯视图像中，直立在路面上的三维物体在摄像机的图像捕捉方向上被拉长，因此，对司机来说很难从俯视图像中掌握实际的三维物体形状。此外，当基于多个车载摄像机捕获到的图像生成覆盖车辆的整个周边的俯视图像时，通常已经在相邻的捕获到的图像的公共区域(即重叠区域)进行了图像合成。在这样的俯视图像的情况下，重叠区域的各初始捕获到的图像的图像捕获方向在很大程度上不同，并且存在于重叠区域的三维物体在两个方向上被拉长。因此，三维物体在变形的形状中显示为两个三维物体图像，并且很难识别该三维物体(特别是三维物体的直立位置)，从而使车辆和三维物体之间的距离感变得模糊。

为了解决这样的问题，例如，日本未经审查的专利申请公开第2010-251939号(参见[0008]-[0056]段，图7和图10)提供了一种车辆周边图像显示系统，包括：摄像机，用于捕获车辆周边的图像；障碍物检测装置，用于检测车辆周边的障碍物；存储部，用于预先存储对应于该障碍物的替代图像；以及图像处理部，用于基于由摄像机捕获到的图像来生成虚拟视角的车辆周边的俯视图像，其中，当障碍物检测装置检测到障碍物(三维物体)时，图像处理部识别该障碍物，选择对应于所识别的障碍物的替代图像，从存储部中读取所选的替代图像，根据所述虚拟视角调整所选的替代图像的方向和倾斜度，并将调整后的图像叠加在俯视图像上。在该系统中，图像处理部将由图像装置捕获到的图像转换成从车辆上方或从车辆侧面看的俯视图像，以及基于来自障碍物检测装置的信息，图像处理部从存储部中选择与存在于车辆周边的障碍物的尺寸和移动一致的替代图像，并将所选的图像叠加在同一俯视图像上。

然而，在显示人形的替代图像而不是示出实际障碍物的障碍物图像的情况下，如果该形状在替代图像和实际障碍物之间有很大程度不同，那么对司机来说很难将替代图像识别为用肉眼实际确认的障碍物，从而阻碍了快速的障碍物识别。

如上所述，需要一种用于生成使俯视图像中的三维物体(特别是三维物体的直立位置)容易识别的监视器显示图像的图像生成器。

发明内容

在本发明的一个方案中，根据一个或多个实施例的图像生成器包括：俯视图像生成部，用于通过采用车辆上方的虚拟视角对由用于捕获所述车辆的周边区域的图像的车载摄像机所捕获的图像进行投影变换来生成俯视图像；三维物体检测部，用于识别存在于所述周边区域的三维物体并输出表示所述三维物体的属性的三维物体属性信息；以及图像合成部，用于基于所述三维物体属性信息，通过将表示所述三维物体的接地位置的接地平面标记与所述俯视图像中所述接地位置处的部分进行图像合成来生成用于车辆驾驶辅助的监视器显示图像。

这里，三维物体的属性是指存在于车载摄像机的视野中的三维物体的位置、姿态、尺寸、类型、颜色等，并且表示该属性的三维物体的属性值包含在三维物体属性信息中。

根据该配置，生成俯视图像作为监视器显示图像，俯视图像中在接地位置处额外地绘制有接地平面标记作为三维物体的直立位置，因此，即使三维物体被示出为具有在图像捕获方向上拉长的变形形状，司机也可以通过接地平面标记而清楚地掌握三维物体的接地位置。特别地，即使三维物体存在于相邻的捕获到的图像的叠加区域且因此将三维物体显示为变形的三维物体图像，也可带有接地平面标记地示出在三维物体图像中作为公共区域的三维物体的接地平面。因此，即使在这样的情况下，司机也可以通过监视器显示图像掌握三维物体的直立位置。

作为接地平面标记的具体形状，在本发明的一个优选实施例中，所述接地平面标记呈扁平的形状，优选地呈椭圆的形状，并且确定所述接地平面标记的倾斜姿态，以使得从所述车辆到所述三维物体的方向线与所述椭圆的长轴正交。通过使所述接地平面标记呈扁平形状，以及通过将所述三维物体的所述接地位置的布置姿态设定为正交于从所述车辆(例如，车辆中心或车载摄像机中心)到所述三维物体的方向线，司机可基于接地平面标记的倾斜姿态来掌握三维物体相对于车辆所存在的方向。此外，当接地平面标记呈椭圆形状时，外形具有平滑边缘且因此在图像合成之后获得的边缘是平滑且容易看到的。

俯视图像中三维物体的接地平面尺寸变化取决于三维物体到车辆的距离或三维物体的类型。因此，在本发明的一个优选实施例中，根据三维物体属性信息来确定接地平面标记的尺寸是很方便的。在本发明的另一个优选实施例中，基于包含在三维物体属性信息中的三维物体的宽度，将接地平面标记的尺寸设定为大于俯视图像中的三维物体的宽度是很方便的。采用这样的配置可减少不便，例如，与三维物体的接地平面尺寸相比接地平面标记太小因此难以使接地平面与三维物体的接地平面标记相关的不便，以及与三维物体的接地平面尺寸相比接地平面标记太大因此接地平面标记使得难以看到三维物体的不便。

作为将接地平面标记与俯视图像中三维物体的接地位置进行图像合成的优选实施例，可提及以下两个实施例。

在一个实施例中，在由图像合成部进行的图像合成中，从包含俯视图像的基本图像层生成仅包含三维物体的三维物体图像层，接地平面标记被放置在基本图像层和三维物体图像层之间且同时位于俯视图像中三维物体的接地位置处。换言之，由于接地平面标记被粘贴为俯视图像中三维物体的背景，因此，三维物体被赋予了深度感，从而使三维物体和接地平面标记更明显易见。此外，由于三维物体未被接地平面标记隐藏，因此，司机可直观地了解接地平面标记示出了三维物体的接地平面。

在另一个实施例中，在由图像合成部进行的图像合成中，接地平面标记被叠加在俯视图像中三维物体的接地位置上。在该实施例中，接地平面标记被简单地粘贴在俯视图像中三维物体的接地位置处，因此，可采用简单的图像处理来实现图像合成。在这样的情况下，通过使接地平面标记具有数十个百分比的透明度，可以很方便地使三维物体的基本区域在一定程度上是可见的。

如果需要每次绘制接地平面标记，那么会给预处理时间带来负担。因此，优选地，俯视图像生成部包括：接地平面标记存储部，用于存储多个所述接地平面标记；以及接地平面标记输出部，用于基于所述三维物体属性信息从所述接地平面标记存储部中提取适合的接地平面标记，并将所选的接地平面标记发送到所述图像合成部。特别地，在接地平面标记的倾斜姿态或尺寸随着三维物体的位置而改变的情况下，在接地平面标记存储部中存储所有可能使用的接地平面标记是很方便的，从而使合成处理变得简单。

当识别到三维物体时，对于司机来说很重要的是了解自身车辆离接地位置(三维物体的直立位置)有多远。因此，在一个优选实施例中，将从所述三维物体的所述接地位置到所述车辆的距离的指示添加到所述接地平面标记的附近。采用该配置，司机可以在监视器显示屏幕上一目了然地检查所需的三维物体的信息。

附图说明

图1是说明用于在俯视图像中的三维物体的接地位置布置接地平面标记的本发明的基本概念的示意图。

图2是说明在三维物体区域中带有接地平面标记的俯视图像的图像合成的示意图。

图3是根据本发明的图像生成器所应用的车辆周边监视系统的功能方框图。

图4是形成车辆周边监视系统的图像处理模块的功能方框图。

图5是示出显示俯视图像的程序的流程图。

图6是示出带有接地平面标记的俯视图像的生成和显示的示意图。

图7是示出根据另一个实施例的带有接地平面标记的俯视图像的生成和显示的示意图。

图8是根据另一个实施例的图像生成器所应用的车辆周边监视系统的功能方框图。

附图标记说明

1：摄像机

21：监视器

30：三维物体识别模块(三维物体检测部)

50：图像处理模块

53：图像生成部

54：三维物体检测部

55：图像合成部

60：正常图像生成部

61：俯视图像生成部

62：映射表

63：三维物体剪辑部

64：接地平面标记输出部

64a：接地平面中心计算部

64b：接地平面尺寸计算部

64c：接地平面倾斜计算部

64d：接地平面标记存储部

具体实施方式

将参照附图对此处公开的第一实施例进行说明。

在前述说明中已经描述了本发明的原理、优选实施例和操作模式。然而，不应该将用于保护目的的本发明解释为仅限于公开的特定实施例。此外，将此处描述的实施例视为说明性的而非限制性的。在不脱离本发明的精神的情况下，可由其他人进行变化和改变，以及等价使用。因此，本发明明确的目的在于，将落入如权利要求中所限定的本发明的精神和范围内的所有这些变化、改变和等价物包含于此。

在描述特定实施例之前，将参照图1的示意图对本发明的基本概念进行描述。为了捕获车辆的整个周边的图像，将摄像机1a-1d安装在车辆的前侧、左侧、右侧和后侧上。为了在监视器上显示俯视图像作为车辆周边监视屏幕，首先，通过摄像机捕获自身车辆的周边区域的图像(#1)。这里，捕获到的图像还用在作为车辆周围障碍物的三维物体的检测处理中。为了检测三维物体，可使用一般的图像识别处理，并且可替代地，可使用利用超声波、激光雷达方法或红外方法的三维物体检测，或者可将这样的处理和这样的检测结合使用。在该特定的实例中，待处理的三维物体为布置在车辆的左前侧上的圆柱形物体。该圆柱形物体出现在前侧捕获到的图像和左侧捕获到的图像这两者中。

由于三维物体的图像识别算法是众所周知的，因此，这里将省略详细的说明，但是可通过以下方法来识别三维物体：例如，通过利用运动矢量法或差分法确定该物体是动态物体还是静态物体；通过尺寸测量或边缘检测来指定形状；以及基于颜色信息识别物体的类型(#2)。此外，基于通过利用超声波、激光雷达等感测三维物体后得到的感测信息，可利用捕获到的图像通过图像识别来更详细地识别三维物体。通过所述图像识别，生成包含三维物体的属性值的三维物体属性信息，例如，存在于车载摄像机的视野中的三维物体的位置、姿态、尺寸、类型和颜色(#3)。

另一方面，利用每个捕获到的图像进行投影面与路面平行的投影变换，也就是说，利用一映射进行投影变换，所述映射中预先设定有将虚拟视角设定在车辆正上方的视角变换(#4)。通过结合以公共区域彼此重叠的方式对通过该投影变换获得的俯视图像进行的图像分割，可获得从车辆正上方看到的车辆周边的俯视图像(#5)。在该俯视图像中，绘制边界线以用于将俯视图像分成前方图像区域、右侧图像区域、左侧图像区域和后方图像区域。

接着，基于三维物体属性信息，从俯视图像中剪辑检测到的三维物体在俯视图像中的三维物体区域(#6)。此外，在这样的情况下，从接地平面标记存储部中提取示出三维物体的接地平面的接地平面标记，其中该标记适用于基于三维物体属性信息检测到的三维物体。可替代地，可以每次都创建接地平面标记(#7)。

如图2所示，对于从其中剪辑出三维物体区域的俯视图像、剪辑出的三维物体区域、以及提取出的接地平面标记这所有来进行图像合成，层的合成顺序为：从其中剪辑出三维物体区域的俯视图像(最后的层)、接地平面标记(背衬层)、以及剪辑出的三维物体区域(前层)(#8)。采用该图像合成，三维物体绝对不会被接地平面标记隐藏，并且更显而易见的是，接地平面标记示出了三维物体的接地平面。当然，可将接地平面标记直接叠加在包含三维物体区域的俯视图像上来代替这样的图像合成。

将由所述图像合成生成的图像作为监视器显示图像传送到监视器，并与根据需要选择的一个或多个捕获到的图像一起显示在监视器屏幕上(#9)。

需要注意的是，如图2所示，当相邻的捕获到的图像的重叠区域被叠加并混合(融合)时，在每个图像捕获方向上将出现拉长的两个三维物体图像。然而，根据如图所示的图像合成，利用接地平面标记清楚地示出了作为公共区域的接地平面，因此，即使当三维物体被显示为两个变形的三维物体图像时，司机也可以通过监视器屏幕很容易地掌握到三维物体的距离。

在下文中，将参照附图对实施例进行描述。图3是示出形成根据实施例的图像生成器所应用的车辆周边监视系统的控制系统的功能方框图。

具有安装在车辆上的车辆周边监视系统的车辆设置有四个车载摄像机1，具体地为，前摄像机1a、后摄像机1d、左侧摄像机1b和右侧摄像机1c。从由车载摄像机1捕获到的图像中创建全方位的俯视图像。在以下说明中，在适当的时候，可将车载摄像机1a、1b、1c和1d统称为“摄像机1”。当运行车辆周边监视控制时，在监视器上显示由摄像机1捕获到的图像或者利用捕获到的图像生成的俯视图像。摄像机1是用于以间隔连续地捕获车辆周边的图像、对捕获到的图像进行数字转换并实时输出数字转换后的图像的数码摄像机。摄像机1设置有广角镜头或鱼眼镜头。

如图3所示，形成车辆周边监视系统的核心部件的ECU(电子控制单元)20包括：传感器输入接口23或通信接口70，用于将来自一组车辆状态检测传感器的信号原样或在对它们进行评估后传送到ECU 20内部；用于处理输入信息的微处理器；DSP(数字信号处理器)等。

连接至传感器输入接口23的一组车辆状态检测传感器配置为检测驱动操作或车辆运行的条件。虽然未示出，但是一组车辆状态检测传感器包括：转向传感器，用于检测转向操作方向(转向方向)并测量操作量(转向量)；档位传感器，用于检测换挡杆的档位；加速器传感器，用于测量加速踏板的操作量；制动传感器，用于检测制动踏板的操作量；以及距离传感器，用于检测自身车辆的行驶距离。

此外，针对用作输入/输出接口的通信接口70，可采用车载LAN(局域网)作为数据传输线，而诸如监视器21、触控面板21T、动力转向单元PS、传动机构T以及制动装置SK等控制单元以可传输数据的方式连接至该车载LAN。此外，还设置有扬声器22作为用于输出音频信息的装置。

此外，ECU 20包括由硬件和/或软件形成的各种功能部件，且与实施例有关的功能部件主要包括：图像处理模块50、显示控制部71以及音频处理模块72。在图像处理模块50中生成的监视器显示图像被转换成显示控制部71中的视频信号并被发送到监视器21。用扬声器22来播放在音频处理模块72中生成的音频指南、紧急警报声等。

图4示出ECU 20的图像处理模块50的功能方框图。图像处理模块50具有通过来自由用于捕获自身车辆周围图像的摄像机1捕获到的图像的投影变换而生成图像(例如俯视图像)的功能。

图像处理模块50包括捕获图像存储器51、预处理部52、图像生成部53、三维物体检测部54、图像合成部55以及帧存储器56。将由摄像机1捕获到的图像加载到捕获图像存储器51中，接着，预处理部52调整由摄像机1分别捕获到的图像之间的亮度平衡、颜色平衡等。三维物体检测部54配置为通过利用众所周知的物体图像识别算法来检测捕获到的图像中包含的三维物体。将检测到的三维物体的三维物体属性信息(例如三维物体的位置、尺寸、颜色和姿态)发送到图像生成部53。

图像生成部53包括正常图像生成部60、俯视图像生成部61、映射表62、三维物体剪辑部63以及接地平面标记输出部64。

正常图像生成部60配置为将捕获到的图像调整为具有适合的图像质量以便作为车辆周边图像直接显示在监视器上。显示在监视器上的车辆周边图像可以是由司机从通过前摄像机1a、左侧摄像机1b、右侧摄像机1c和后摄像机1d捕获到的图像中选择的单个图像，或者可以是多个捕获到的图像的合成。

俯视图像生成部61具有通过以车辆上方的虚拟视角对加载到捕获图像存储器51的单个或多个捕获到的图像进行投影变换而生成俯视图像的功能，具体地，是通过利用了映射表62的映射变换而生成该俯视图像。在映射表62中，以可选择的方式预先存储此处使用的用于投影变换的各种映射。存储在映射表62中的每个映射可以各种形式形成，并且在该实施例中，是形成为包括捕获到的图像的像素数据和投影变换图像(通常为所述俯视图像)的像素数据之间的对应关系的映射。特别地，单个帧的捕获到的图像的每个像素都已被描述成俯视图像中的目标像素坐标，并将适合的映射应用至每个车载摄像机。俯视图像生成部61具有基于外部命令或内部命令从映射表62中选择适合的映射的功能。

在本实施例中，如图2所示，为了不使接地平面标记隐藏由三维物体检测部54检测到的三维物体所存在的俯视图像中的三维物体图像区域，应用了合成技术，其中进行合成以使得将接地平面标记布置在三维物体图像区域的后面。因此，在三维物体检测部54检测到三维物体时，基于从三维物体检测部54发送的三维物体属性信息，三维物体剪辑部63从俯视图像中剪辑出三维物体图像区域。剪辑的三维物体图像和俯视图像被传送到图像合成部55。

接地平面标记输出部64具有这样的功能：在三维物体检测部54检测到三维物体时，基于从三维物体检测部54发送的三维物体属性信息，将适用于示出三维物体的接地位置的接地平面标记输出到图像合成部55。为了这个目的，接地平面标记输出部64包括：接地平面中心计算部64a、接地平面尺寸计算部64b、接地平面倾斜计算部64c和接地平面标记存储部64d。在该实施例中，由接地平面输出部64输出的接地平面标记是呈椭圆的形状。优选地，椭圆的长轴和短轴的比例大约为2.5比1，但该比例变化取决于分配在监视器上的俯视图像的显示区域的形状。

接地平面中心计算部64a配置为基于包含在三维物体属性信息中的三维物体的位置来计算俯视图像中的三维物体的接地平面中心位置。接地平面尺寸计算部64b配置为基于从包含在三维物体属性信息中的从自身车辆中看到的三维物体的宽度来计算接地平面标记的尺寸，以使得接地平面标记的长轴大于俯视图像中的这一宽度。接地平面倾斜计算部64c配置为计算接地平面标记的倾斜角度(姿态)，在该倾斜角度上接地平面标记的长轴正交于由接地平面中心计算部64a计算的三维物体的接地平面中心位置和车辆中心的连线。接地平面标记存储部64d配置为存储具有可以分别由接地平面尺寸计算部64b和接地平面倾斜计算部64c计算的尺寸和姿态的接地平面标记的图像数据。接地平面标记存储部64d可存储多个接地平面标记。接地平面标记输出部64配置为从接地平面标记存储部64d中提取适合的接地平面标记(图像数据)，并将提取的接地平面标记与通过接地平面中心计算部64a计算的接地平面中心位置的数据一起输出到图像合成部55。

需要注意的是，接地平面标记存储部64d可以仅存储基本图像(从该基本图像可生成期望的接地平面标记)来代替预先存储所有可能使用的接地平面标记(图像数据)。可替代地，可以仅存储接地平面标记(图像数据)的生成算法，从而可以每次创建具有分别由接地平面尺寸计算部64b和接地平面倾斜计算部64c计算的尺寸和姿态的接地平面标记。此外，当不希望改变接地平面标记的尺寸时，可以省略接地平面尺寸计算部64b。可替代地，可增加用任意所选的颜色为接地平面标记着色的功能。

图像合成部55配置为当三维物体检测部54未检测到三维物体时，在俯视图像生成部61中生成的车辆的全方位俯视图像的中心处叠加自身车辆的图例或照片。

当三维物体检测部54检测到三维物体时，图像合成部55接收从三维物体剪辑部63发送的俯视图像和从该俯视图像中剪辑的三维物体图像，以及从接地平面标记输出部64发送的接地平面标记和接地平面标记的布置数据(接地平面中心位置的数据)。图像合成部55配置为进行层合成，其中剪辑出三维物体区域的俯视图像被放置于最后的层上，接地平面标记被放置于背衬层上并且剪辑出的三维物体区域被放置于前层上，由此以生成这样的俯视图像，在该俯视图像中呈椭圆形状的接地平面标记被添加到三维物体的接地平面。

在这两种情况下，生成的俯视图像被放入预定的模板中，并作为用于车辆驾驶辅助的监视器显示图像被传送到帧存储器56。传送到帧存储器56的监视器显示图像通过显示控制部71显示在监视器21上。

接着，将参照图5的流程图对利用合并有如上所述配置的图像生成器的车辆周边监视系统显示俯视图像的流程进行描述。

当显示俯视图像的程序开始以用于监视车辆周边的目的时，首先，读取根据司机的喜好手动设定或默认设定的俯视图像的显示模式(#01)。这里，俯视图像的显示模式是指定义在生成车辆周围的俯视图像时使用的捕获到的图像和虚拟视点的位置的条目，以及定义生成的俯视图像在监视器屏幕上的布局的条目。针对要使用的车载摄像机1的每个捕获到的图像，都设定用于根据读取到的俯视图像的显示模式而在俯视图像生成部61中使用的投影变换的映射(#02)。通过四个车载摄像机1来捕获图像(#03)。利用每个设定的映射，从每个捕获到的图像中生成俯视图像片段(#04)。将生成的俯视图像片段合成并生成车辆周围的全方位俯视图像(#05)。

检查从三维物体检测部54中是否输出了三维物体属性信息(#06)。当未输出三维物体属性信息时(#06的“否”分支)，需要说明的是，所有捕获到的图像不包含需要注意的三维物体。将预先设定的车辆的俯视图像(照片、图例、符号等)布置在步骤#05生成的俯视图像中自身车辆的位置处，并生成将要在监视器上显示的俯视图像(监视器显示图像)(#20)。在监视器21上显示生成的监视器显示图像(#21)。除非有指令来结束显示俯视图像的程序，否则程序返回到步骤#01(#22的“否”分支)并重复该程序。

当在步骤#06中的检查显示三维物体属性信息被输出时(#06的“是”分支)，读取三维物体属性信息中包含的与识别到的三维物体有关的数据(例如位置、类型、姿态、尺寸等)(#07)。基于读取的与三维物体的位置有关的数据，在俯视图像中确定三维物体的图像区域(#08)。

基于三维物体属性信息，三维物体剪辑部63从俯视图像中剪辑出三维物体图像区域(#09)，并且接地平面标记输出部64输出适合于相关的三维物体的接地平面标记(#10)。采用该配置，在图像合成部55中生成了这样的俯视图像，其中呈椭圆形状的接地平面标记被添加到三维物体的接地平面(#11)。如图6所示，生成带有接地平面标记的俯视图像作为监视器显示图像(#20)，并将生成的监视器显示图像显示在监视器21上(#21)。在图6示出的监视器屏幕中，将带有接地平面标记的俯视图像与其中捕获到所述三维物体(这里指行人)的前置摄像机捕获到的图像并排布置。

(1)在如上所述的实施例中，将通过利用车辆上方的视角和与路面平行的投影面进行的投影变换而从捕获到的图像中获得的图像用作俯视图像。然而，实施例不限于通过这样的投影变换获得的俯视图像。例如，可利用凹曲面或弯曲面作为投影面来获得俯视图像。

(2)在如上所述的实施例中，如图2和图6所示，用接地平面标记作为三维物体的背景的这样的方式，将接地平面标记叠加在俯视图像中。为了简化该合成，如图7所示，可使用简单地将接地平面标记叠加在俯视图像中的三维物体的接地位置处的图像合成。

(3)由于三维物体属性信息包含检测到的三维物体的位置，因此可获得距自身车辆的距离(优选地为最小距离)。可替代地，可从捕获到的图像中获得其距离。无论如何，获得检测到的三维物体和车辆之间的距离，因此，该距离可包含在监视器显示图像中以作为从三维物体的接地位置到车辆的距离。例如，如图7所示，当在接地平面标记附近显示该距离时，司机可知道到三维物体的准确距离。

(4)在如上所述的实施例中，三维物体检测部54配置为通过利用图像识别技术从捕获到的图像中检测三维物体来生成三维物体属性信息，从而合并到图像处理模块50。作为替代，可独立于图像处理模块50来设置三维物体检测部。例如，如图8所示，可使用通过车载通信路径连接至图像处理模块50的三维物体识别模块30。三维物体识别模块30具有用于评估来自多个超声波传感器3的检测信号以感测三维物体的三维物体感测部31，以及用于识别包含在由摄像机1捕获到的图像中的三维物体的三维物体识别部32。超声波传感器3设置在车辆的前部、后部、左部和右部的各部中的两端位置及中间位置，并且通过物体所反射的波可感测到存在于车辆周边附近的物体(障碍物)。通过在每个超声波传感器3中处理反射波的返回时间和振幅，可估计从车辆到物体的距离和物体的尺寸，更进一步，通过随着时间的推移来处理所有超声波传感器3的检测结果，可估计物体的移动或者在横向方向上的外形。在这样的情况下，令人满意的是，设置在图像处理模块50中的三维物体检测部54仅具有接收从三维物体识别模块30发送的三维物体属性信息的功能。需要注意的是，可使用激光雷达或红外线来代替超声波传感器3。此外，可采用这样的配置：其中三维物体检测部54基于来自图像处理模块50的三维物体位置信息通过图像识别技术来检测三维物体。

实施例可适用于利用俯视图像来监视车辆的周边的任何系统。

Claims

1.一种图像生成器，包括：

俯视图像生成部，用于通过以车辆上方的虚拟视角对由用于捕获所述车辆的周边区域的图像的车载摄像机所捕获的图像进行投影变换来生成俯视图像；

三维物体检测部，用于识别存在于所述周边区域的三维物体并输出表示所述三维物体的属性的三维物体属性信息；以及

图像合成部，用于基于所述三维物体属性信息，通过将表示所述三维物体的接地位置的接地平面标记与所述俯视图像中所述接地位置处的部分进行图像合成来生成用于车辆驾驶辅助的监视器显示图像。

2.根据权利要求1所述的图像生成器，其中所述接地平面标记呈扁平形状，并且确定所述接地平面标记的倾斜姿态以使得从所述车辆到所述三维物体的方向的线正交于所述接地平面标记的长轴。

3.根据权利要求1或2所述的图像生成器，其中所述接地平面标记呈椭圆的形状。

4.根据权利要求1到3中任一项所述的图像生成器，其中根据所述三维物体属性信息来确定所述接地平面标记的尺寸。

5.根据权利要求1到4中任一项所述的图像生成器，其中基于包含在所述三维物体属性信息中的所述三维物体的宽度，在所述俯视图像中将所述接地平面标记的尺寸设定为大于所述三维物体的宽度。

6.根据权利要求1到5中任一项所述的图像生成器，其中在由所述图像合成部进行的所述图像合成中，从包含所述俯视图像的基本图像层中生成仅包含所述三维物体的三维物体图像层，所述接地平面标记被放置在所述基本图像层和所述三维物体图像层之间且同时位于所述俯视图像中所述三维物体的所述接地位置处。

7.根据权利要求1到5中任一项所述的图像生成器，其中在由所述图像合成部进行的所述图像合成中，所述接地平面标记被叠加在所述俯视图像中所述三维物体的所述接地位置上。

8.根据权利要求1所述的图像生成器，其中所述俯视图像生成部包括：

接地平面标记存储部，用于存储多个所述接地平面标记；以及

接地平面标记输出部，用于基于所述三维物体属性信息从所述接地平面标记存储部中提取适合的接地平面标记，并将所选的接地平面标记发送到所述图像合成部。

9.根据权利要求1到8中任一项所述的权利要求，其中将从所述三维物体的所述接地位置到所述车辆的距离的指示添加到所述接地平面标记的附近。