CN103299617B

CN103299617B - 图像生成装置

Info

Publication number: CN103299617B
Application number: CN201180064774.5A
Authority: CN
Inventors: 山本欣司; 武田圣子; 久保山刚
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2011-01-11
Filing date: 2011-11-22
Publication date: 2016-07-06
Anticipated expiration: 2031-11-22
Also published as: CN103299617A; JP2012147149A; WO2012096058A1

Abstract

一种图像生成装置，从车载摄像头的拍摄图像生成能够以良好的距离感识别路面上存在的立体物体的俯瞰图像，其中具有：周围俯瞰图像生成部，其利用第一投影变换从拍摄图像生成周围俯瞰图像；立体物体检测部，其检测车载摄像头的视场内存在的立体物体，并输出包括该立体物体的位置的立体物体信息；立体物体提取部，其基于立体物体信息，从拍摄图像提取具有立体物体的图像区域即立体物体图像；立体物体俯瞰图像生成部，其利用使周围俯瞰图像中的立体物体的变形降低的第二投影变换，从立体物体图像生成立体物体俯瞰图像；图像合成部，其基于立体物体信息，在周围俯瞰图像上图像合成立体物体俯瞰图像。

Description

图像生成装置

技术领域

本发明涉及一种图像生成装置，其将拍摄车辆自身周围区域的车载摄像头所获取的拍摄图像进行投影变换，生成从摄像头观察点上方的上方假想观察点观察的俯瞰图像，将其作为显示图像。

背景技术

在现有的俯瞰图像生成装置中，通过将车载摄像头所获取的拍摄图像投影到与路面平行的投影面，即，通过使假想观察点位于铅垂上方的投影变换，生成从正上方观察的俯瞰图像。因此，通过使该俯瞰图像显示在监视器上，来帮助驾驶员掌握车辆周围的路面状况。然而，存在如下问题，即，在利用这种投影变换获得的俯瞰图像中，与车载摄像头的附近区域相比，远方区域的图像的变形变大，对驾驶员来说，难以掌握距离感。

为了解决这种问题，例如，在专利文献1中记载的图像处理装置中具有：获取部，获取车载摄像头所拍摄的拍摄图像（摄像头图像）；第一图像变换部，将所述拍摄图像投影在平面上，来将其变换为平面投影图像；第二图像变换部，将所述摄像头图像投影在曲面上，来将其变换为曲面投影图像（例如，圆筒面投影图像）。所述第一图像变换部将在所述拍摄图像内中具有规定宽度的第一图像区域变换为所述平面投影图像，所述第二图像变换部将在所述拍摄图像内的所述第一图像区域的宽度方向外侧的区域即第二图像区域（圆筒面投影区域）变换为所述曲面投影图像。因此，通过将由该装置变换后的图像发送给显示部，来显示将具有与驾驶员实际肉眼观察的图像相近的平面投影图像和视场广的曲面投影图像合成的图像。因此，能够抑制驾驶员的视觉辨认性（visibility）的降低。然而，在该专利文献1的装置中，虽然易于观察到路面上描画的道路分界线或路肩等的显示图像，但是位于路面上的向上方延伸的立体物体（不仅包括人或车，还包括工程用三角锥等的路上障碍物）成为在拍摄方向逐渐延伸的变形的形状体。

另外，在专利文献2记载的图像生成装置中，作为假想投影面设定假想立体投影面，该假想立体投影面具有设定在路面上的近景用屏幕和与该近景用屏幕的远离实际摄像头的一侧连接并且具有规定的向上倾斜角度的远景用屏幕，在比投影在实际拍摄面上的图像而获取摄像头映射数据的实际摄像头高的位置上，设定假想摄像头。并且，在由实际摄像头获取的单独的摄像头映射数据的各像素位置与假想摄像头的通过假想立体投影面而形成的假想拍摄面上的各像素位置之间进行坐标变换，通过坐标变换，向假想摄像头的假想拍摄面上转移摄像头拍摄图像的各像素，在监视器上显示从假想摄像头观察假想立体投影面时投影在假想拍摄面上的图像。由此，监视器图像成为将易于识别距离感的近景俯瞰图像和远的物体看起来小且近的物体看起来大的易于识别远近感的中景至远景的透视（perspective）图像合成后的图像。然而，即使在该装置中，在位于路面上的立体物体的拍摄图像变换至与路面平行的假想投影面上时，成为长的逐渐延伸的形状，不能够避免立体物体的视觉辨认性降低的情况。

另外，在专利文献3的车辆周围监视系统中，在基于多个车载摄像头所拍摄的原图像制作的俯瞰显示图像的显示过程中，在障碍物检测装置检测到多个车载摄像头重复拍摄的重复区域内存在的障碍物时，使将要显示在显示装置上的图像从俯瞰显示图像切换为拍摄重复区域的多个车载摄像头的原图像。该结构的目的在于，在检测障碍物时，通过原图像直观且瞬间确定障碍物的种类等，但是不能够满足通过俯瞰图像良好地肉眼确认障碍物的愿望。

现有技术文献

专利文献

专利文献1：JP特开2008-181330号公报（段落号[0010-0016]，图5）

专利文献2：JP特开2008-83786号公报（段落号[0007-0012]，图1、图2）

专利文献3：JP特开2007-235529号公报（段落号[0007-0008]，图11）

发明内容

发明要解决的问题

鉴于上述情况，本发明的目的在于，从车载摄像头的拍摄图像生成能够以良好的距离感识别存在于路面上的立体物体的俯瞰图像。

用于解决问题的手段

本发明的图像生成装置，作为显示图像输出以上方假想观察点对拍摄车辆的周围区域的车载摄像头所获取的拍摄图像进行投影变换而生成的俯瞰图像，其特征在于，具有：周围俯瞰图像生成部，其利用第一投影变换从所述拍摄图像生成周围俯瞰图像；立体物体检测部，其检测所述车载摄像头的视场内存在的立体物体，并输出包括该立体物体的位置的立体物体信息；立体物体提取部，其基于所述立体物体信息，从所述拍摄图像提取具有所述立体物体的图像区域即立体物体图像；立体物体俯瞰图像生成部，其利用是所述周围俯瞰图像中的所述立体物体的变形降低的第二投影变换，从所述立体物体图像生成立体物体俯瞰图像；图像合成部，其基于所述立体物体信息，在所述周围俯瞰图像上图像合成所述立体物体俯瞰图像。

根据该结构，在利用第一投影变换将车载摄像头的拍摄图像变换为从上方假想观察点观察的周围俯瞰图像时，在检测出视场内存在立体物体时，利用与第一投影变换不同的第二投影变换根据从该拍摄图像提取的立体物体图像生成立体物体俯瞰图像，并将该立体物体俯瞰图像与周围俯瞰图像合成。第二投影变换与在生成周围俯瞰图像中使用的第一投影变换相比，具有能够降低该周围俯瞰图像中的立体物体的变形的参数。因此，合成后的周围俯瞰图像中的立体物体不成为现有的细长且逐渐延伸的形状，成为更易于肉眼确认的自然的形状。因此，驾驶员能够以良好的距离感从该周围俯瞰图像识别路面上存在的立体物体。

从如上述说明中可知，第一投影变换是从拍摄观察点将从上方假想观察点观察的俯瞰图像即从上观察的拍摄图像投影在与路面平行的投影面上的投影变换，因此配置在路面上的立体物体的投影图像产生逐渐延伸的变形。因此，第二投影变换优选该投影面不与路面平行，而尽量相对于路面倾斜的。因此，在本发明的优选的一个实施方式中，所述第二投影变换采用从拍摄观察点向与路面垂直的投影面投影所述拍摄图像的投影变换。

为了设定使拍摄图像中包括的路面上的立体物体在其俯瞰图像中变形尽量小的投影变换参数，在投影变换中使用的投影面上，形状和该投影面与立体物体之间的位置关系为重要因素。因此，本在发明的优选的实施方式中，基于拍摄空間中的立体物体包括的位置、立体物体的形状等的立体物体信息，设定作为投影面的形状和/或投影面与被投影的立体物体之间的相对位置的所述第二投影变换的变换参数。投影面的形状优选在上述的专利文献1、2中记载的弯曲面或弯折面。此时，尤其优选将立体物体和路面的边界区域作为边界，将其前方侧作为与路面平行的投影面部，将其后方侧作为垂直面或接近垂直面的倾斜面。由此，能够去除在俯瞰图像中立体物体的顶部逐渐延伸的肉眼确认上的缺陷。

因为在通过不同的投影变换即利用不同的投影面生成的周围俯瞰图像和立体物体俯瞰图像中，立体物体的坐标位置不同，因此即使在周围俯瞰图像上合成立体物体俯瞰图像，也在图像合成后的周围俯瞰图像中残留有原来的周围俯瞰图像中具有的立体物体。尤其在周围俯瞰图像由多个的拍摄方向不同的车载摄像头的拍摄图像组合成的情况下，立体物体在周围俯瞰图像上和立体物体俯瞰图像上的位置明显不一致。因此，在本发明的优选的实施方式中，具有进行抑制处理的立体物体抑制部，使得所述周围俯瞰图像中的所述立体物体图像的区域不醒目。这样的抑制处理，能够利用晕影处理、低色度化处理、与周围像素群的合成处理等。

另外，使在周围俯瞰图像上合成的立体物体俯瞰图像醒目，对于能够更明确地肉眼确认车辆周围的立体物体有效。因此，在本发明的优选的实施方式中，对所述立体物体俯瞰图像进行色彩修正处理，来突出显示所述立体物体俯瞰图像。例如，是优选使立体物体的颜色高色度化的实施方式。

在周围俯瞰图像是将多个的拍摄方向不同的车载摄像头的拍摄图像组成的情况下，有时在2个拍摄图像中具有立体物体。在这种情况下，能够从各拍摄图像提取立体物体，因此优选仅将其中一个作为更适合的立体物体而选择。为了达到这样的目的，在为了拍摄车辆整个周围设置多个所述车载摄像头的实施方式的一个优选实施方式中，在所述立体物体包含在2个以上的摄像头的拍摄图像中时，提取具有面积更小的立体物体区域的立体物体图像。其理由为根据实验结果立体物体区域的面积越小，俯瞰图像中的立体物体的变形尤其是倾斜越小。

附图说明

图1是示意性说明在本发明的图像生成装置中使用的通过不同的投影变换方式从车载摄像头的拍摄图像分别生成周围俯瞰图和立体物体俯瞰图并将它们合成的基本的图像处理过程的示意图。

图2是图示在周围俯瞰图像上合成立体物体俯瞰图像而生成最终的显示用俯瞰图像的过程的示意图。

图3是组装有本发明的图像生成装置的车辆周围监视系统的功能框图。

图4是构成车辆周围监视系统的图像处理模块的功能框图。

图5是图示利用从各种投影变换方式选择出的投影变换方式来生成立体物体俯瞰图像的过程的示意图。

图6是表示俯瞰图像显示过程的流程图。

具体实施方式

首先说明在本发明的图像生成装置中使用的通过不同的投影变换方式从车载摄像头的拍摄图像分别生成周围俯瞰图和立体物体俯瞰图并将它们合成的基本的图像处理过程。图1是示意性地图示利用两个不同的投影变换方式生成俯瞰图像的基本构想图，在此为了简单说明，所以图示了仅利用作为车载摄像头的后方摄像头所拍摄的拍摄图像来生成俯瞰图像的情况。

为了在监视器上显示作为车辆周围监视画面的俯瞰图像，首先通过车载摄像头获取车辆自身的行进方向上的周围区域的拍摄图像（＃1）。同时，对车辆周围的立体物体进行检测处理，当在车载摄像头的拍摄视场内检测出立体物体时，生成记录该立体物体的位置、姿势、大小等的数据的立体物体信息（＃101）。利用后方摄像头的拍摄图像，进行将投影面作为与路面平行的面的第一投影变换，即进行在正上方设定假想观察点的观察点变换（＃2）。通过该第一投影变换处理，得到拍摄图像的从正上方俯瞰的俯瞰图像即周围俯瞰图像。一旦生成立体物体信息，则在该周围俯瞰图像中也应该有立体物体。因此，利用立体物体信息中的位置信息或边缘检测处理等推算该立体物体区域，对立体物体区域实施抑制处理，从而不使该立体物体区域相对于周围部突出，来得到立体物体抑制周围俯瞰图像（＃3）。此外，在这样生成的周围俯瞰图像中，在摄像头的跟前存在立体物体时，产生立体物体的顶部附近逐渐延伸这样的变形。作为该抑制处理进行晕影、与周围像素合成（α合成等）、低色度化等的图像处理。

另外，若生成立体物体信息，则利用来自立体物体信息的位置信息、边缘检测处理等从拍摄图像中提取立体物体区域（＃102）。针对提取得到的立体物体图像，至少进行第二投影变换，来得到立体物体俯瞰图像（＃103），其中所述第二投影变换是利用具有在远方侧相对于路面接近铅垂的倾斜角的投影面的投影变换。在图1的例子中，利用从路面沿着铅垂方向向上弯曲的弯曲面。在利用这样的投影面的第二投影变换中，不利用从上方观察路面的假想观察点而利用从大致水平方向观察路面的假想观察点，俯瞰立体物体的顶部附近。因此，避免在上述的第一投影变换中产生的立体物体的顶部附近逐渐延伸的缺陷。

在步骤＃3中，在立体物体抑制周围俯瞰图像上的立体物体所存在的位置，从上方重合立体物体俯瞰图像，使它们合成（＃4）。将合成的最终的俯瞰图像作为监视器显示用俯瞰图像发送至监视器。

在图1的基本构想图中，仅利用来自后方摄像头的唯一的拍摄图像，生成作为监视器显示目的的最终的俯瞰图像，但是希望得到以车辆自身为中心的四周的周围状况，尤其希望得到能够掌握路面状况的整个周围的俯瞰图像。图2是示出根据来自后方摄像头1a、左、右侧方摄像头1b、1c、前方摄像头1d的4个周围拍摄图像制作整个周围的俯瞰图像的处理过程的基本构想图。

在图2中例示了为了对倒退纵列停车进行辅助而在监视器上显示的整个周围的俯瞰图像的生成手順。此外，在该例子中，在后方摄像头1a的拍摄图像中，作为应该注意的立体物体存在三角锥。后方摄像头1a拍摄的后方拍摄图像被投影变换成车辆正上方观察的整个周围的俯瞰图像的后方区域图像。同样，左侧方摄像头1b拍摄的左方拍摄图像、右侧方摄像头1c拍摄的右方拍摄图像、前方摄像头1d拍摄的前方拍摄图像分别被投影变换成整个周围的俯瞰图像的左区域图像、右区域图像、前方区域图像。在此，利用映射表（mappingtable）63进行投影变换。由于各自的映射数据值不同，所以分别设定有相应的映射关系。不过，各映射关系被作成为能够具有将与路面平行的面作为投影面的投影变换，该投影变换相当于本发明的第一投影变换。

在4个车载摄像头中的后方摄像头1a拍摄的后方拍摄图像中包括立体物体（三角锥），通过安装在该车辆上的立体物体检测功能来检测该立体物体的存在，并输出立体物体信息。因此，基于该立体物体信息，从后方拍摄图像提取具有立体物体的区域，来作为立体物体图像。对提取的立体物体图像进行将摄像头侧相对于路面实质平行而远方侧相对于路面大致铅垂（垂直）的弯曲面或弯折面（包括球面或圆筒面）作为投影面的投影变换，来生成立体物体俯瞰图像。该投影变换相当于本发明的第二投影变换。在此，该投影变换也使用映射表63。在该第二投影变换中，能够根据检测出的立体物体的位置、姿势、大小，求出易于观察立体物体的投影变换方式，因此优选事先准备多个映射表，来选择最佳的投影变换来用于第二投影变换。此时，不仅选择三维形状不同的投影面，还恰当地选择投影面和立体物体位置关系，由此得到更易于观察立体物体的俯瞰图像。

另外，在用于与生成的立体物体俯瞰图像合成的整个周围的俯瞰图像的后方区域的图像（后方侧俯瞰图像部分）中，预先基于立体物体信息推算出的立体物体区域被进行抑制处理。在包含被抑制处理的立体物体区域的后方俯瞰图像部分上合成立体物体俯瞰图像，输出作为整个周围的俯瞰图像而合成的后方俯瞰图像部分。包括该后方俯瞰图像部分在内，还合成左俯瞰图像部分、右俯瞰图像部分、前方俯瞰图像部分，最终生成用于监视器显示的整个周围的俯瞰图像。当然，可以在事先生成的整个周围的俯瞰图像的规定区域进行立体物体俯瞰图像的合成。

以下，基于附图说明本发明的实施方式。在本实施方式中，如图2例示那样，为了构建车辆周围监视系统，在车辆上组装图像生成装置，该图像生成装置根据来自4个车载摄像头即后方摄像头1a、左侧方摄像头1b、右侧方摄像头1c、前方摄像头1d的拍摄图像和立体物体检测信息制作整个周围的俯瞰图像。在以下的说明中，有时适当地将这些车载摄像头1a、1b、1c、1d简单地总称为摄像头1。在进行车辆周围监视时，摄像头1拍摄的拍摄图像或利用该拍摄图像生成的俯瞰图像显示在监视器上。

摄像头1是数字摄像头，其利用CCD（chargecoupleddevice）或CIS（CMOSimagesensor）等的摄像元件，按照时序拍摄每秒15～30帧的二维图像，并进行数字变换，实时输出其拍摄图像。摄像头1具有广角镜头。尤其，在本实施方式中，以在水平方向确保140～190°的视角且相对于光轴具有约30度左右的俯角的方式设置在车辆上。

在车辆内部设置有成为车辆周围监视系统的核心的ECU20。如图3所示，该ECU20具有通信接口70、直接将来自身辆状态检测传感器群的输入信号传输至ECU20的内部或者进行评价后传输至ECU20的内部的传感器输入接口23等，并且具有对输入信息进行处理的微处理器、DSP（digitalsignalprocessor）。

与传感器输入接口23连接的车辆状态检测传感器群用于检测驾驶操作、车辆行驶的状态。虽然未图示，但是在车辆状态检测传感器群中包括对转向操作方向（操舵方向）和操作量（操舵量）进行测量的转向传感器、对变速杆的变速位置进行判断的变速位置传感器、对油门踏板的操作量进行测量的油门传感器、对制动器踏板的操作量进行检测的制动器传感器、对车辆自身的行驶距离进行检测的距离传感器等。

另外，用作输入输出接口的通信接口70采用车载LAN作为数据传送线，以能够传送数据的方式与监视器21、触摸面板21T、动力转向单元PS、变速机构T、制动器装置BK等的控制单元连接。另外，还具有扬声器22来作为音频信息的输出设备。

另外，ECU20具有由硬件或软件或者这双方构成的各种功能部，但是在本发明中，作为有关的功能部，列举了作为本发明的立体物体检测部的立体物体检测模块30、图像处理模块50、显示控制部71、音频处理模块72。图像处理模块50所生成的监视器显示图像被显示控制部71变换为视频信号并发送至监视器21。音频处理模块72所生成的引导音频或紧急时刻的警告音等通过扬声器22发出。

立体物体检测模块30包括对来自多个超音波传感器3的检测信号进行评价并进行立体物体检测的超音波评价部31、利用来自车载摄像头1的拍摄图像进行立体物体检测的图像识别部32。超音波传感器3配置在车辆的前部、后部、左部，右部的各部分中的两端处和中央处，利用位于车辆周围附近的物体（障碍物）的反射波检测该物体。不仅能够通过处理各超音波传感器3中的反射波的返回时间和振幅来推定从车辆至物体的距离和物体的大小，而且还能够通过按照时间顺序对所有的超音波传感器3的检测结果进行处理，推定物体的动作和横向的外形形状。对于图像识别部32，其自身安装有公知的物体识别算法，根据输入的拍摄图像尤其是按时间顺序连续的拍摄图像，检测车辆周围的立体物体。

为了检测立体物体，具有超音波评价部31和图像识别部32中的某一个即可，但是同时具有能够优良地对立体物体的形态进行检测的图像识别部32和能够优良地算出距离立体物体的距离即立体物体的位置的超音波评价部31，通过双发的协同作业，能够进行更准确的立体物体检测。由此，立体物体检测模块30能够输出记录有检测出的立体物体的位置、姿势、大小、色调等的立体物体信息。因此，具有超音波评价部31和图像识别部32中的某一个或将它们组合都能够发挥本发明的立体物体检测部的功能，另外还存在利用激光雷达的其他立体物体检测装置。

图4示出了ECU20的图像处理模块50的功能框图。图像处理模块50具有如下功能，即生成利用投影变换从对车辆自身周围进行拍摄的摄像头1所获取的拍摄图像形成的俯瞰图像等的图像。

图像处理模块50包括拍摄图像存储器51、前处理部52、图像生成部60、立体物体信息获取部53、图像合成部55、帧存储器56。通过摄像头1获取的拍摄图像被加载在拍摄图像存储器51中，前处理部52调整分别被摄像头1获取的拍摄图像间的辉度平衡和色彩平衡等。立体物体信息获取部53接收从立体物体检测模块30输出的立体物体信息，并读取记录在该立体物体信息中的立体物体的位置、姿势、大小、色调等。

图像生成部60包括通常图像生成部61、投影变换选择部62、映射表63、周围俯瞰图像生成部64、立体物体俯瞰图像生成部65、立体物体提取部66、立体物体抑制部67。为了将拍摄图像直接作为车辆周围图像显示在监视器上，通常图像生成部61对画质进行适当调整。显示在监视器上的车辆周围图像可以是由驾驶员从后方摄像头1a、左、右侧方摄像头1b、1c、前方摄像头1d所拍摄的拍摄图像选择出的1个拍摄图像，也可以是多个拍摄图像的组合。

周围俯瞰图像生成部64利用加载在拍摄图像存储器51中的拍摄图像进行第一投影变换，来生成周围俯瞰图像。作为该第一投影变换，在此默认设定为以位于车辆的上方的点为假想观察点以及以与路面一致的面或平行的面作为投影面的投影变换，但是能够按照驾驶员的嗜好或者驾驶状况进行变更。

立体物体俯瞰图像生成部65不直接利用加载在拍摄图像存储器51中的拍摄图像，而利用通过提取拍摄图像中立体物体的图像区域而得到的立体物体图像来进行第二投影变换，由此生成立体物体俯瞰图像。立体物体提取部66基于立体物体信息获取部53从立体物体信息读取的位置数据等从拍摄图像提取立体物体图像。因此，立体物体提取部66具有如下功能，即，将立体物体的位置数据变换为拍摄图像坐标系的位置坐标，推算具有立体物体的大致区域，检测在该推算出的区域中利用边缘检测滤光器等推定出的立体物体的边界线。立体物体提取部66将被该边界线包围的区域或者从该边界线扩展规定长度的量的区域作为立体物体图像来提取，并将其发送给立体物体俯瞰图像生成部65。另外，作为立体物体俯瞰图像生成部65所执行的第二投影变换，准备了多种的投影变换。投影变换选择部62基于该立体物体在摄像头1的相对位置、姿势、大小等选择立体物体俯瞰图像生成部65所执行的投影变换。

此外，在本实施方式中，通过利用映射表的映射变换进行周围俯瞰图像生成部64以及立体物体俯瞰图像生成部65中的投影变换，因此以能够选择的方式预先存储用于在此使用的投影变换的各种映射表。在此将由这样的以能够选择的方式存储的多个的映射表形成的集合体以及个别的映射表称为映射表63，在图4中示意性地图示了映射表。构成映射表63的各映射表（以下简称为映射）能够以各种形式构成，在此，构成为记录了拍摄图像的像素数据与投影变换图像（通常为俯瞰图像）的像素数据的对应关系的映射，在1帧的拍摄图像的各像素中记录有俯瞰图像中的目的像素坐标。因此，在每种车载摄像头上使用不同的映射。

投影变换选择部62，针对立体物体俯瞰图像生成部65，选择如下的投影变换，该投影变换基于从立体物体信息读取的数据，推定投影变换后的立体物体的形状，能够尽量与周围俯瞰图像协调并且降低逐渐延伸等变形。另外，立体物体俯瞰图像生成部65按照需要进行色度增加等的色彩修正处理或轮廓突出显示处理，来突出显示表示立体物体的图像区域。

图5中示意性地示出了通过投影变换选择部62选择适于立体物体俯瞰图像生成部65的映射并生成最终的俯瞰图像的情况。

立体物体信息一旦被输出，则一方面，基于记录在立体物体信息中的立体物体的数据（位置、姿势、形状等），从拍摄图像提取立体物体图像。另外，另一方面，将这样的立体物体的数据作为输入参数进行规则运算处理，来决定用于指示种类最恰当的投影变换的映射选择指令。基于该映射选择指令，向立体物体俯瞰图像生成部65设定适用映射。即，基于立体物体的数据，设定表示对投影变换进行规定的投影面形状和该投影面与立体物体（准确的说是作为投影变换原图像的立体物体图像）之间的相对位置的变换参数。

在此，如图5示意性示出的那样，以映射的方式准备投影面形状与立体物体的相对位置不同的多个的投影变换，来作为降低立体物体的变形的投影变换。作为投影面形状，列举有圆柱状弯曲面、由中间弯折的平面形成的弯折面、球面状弯曲面等。当然，能够利用与路面垂直的垂直平面或相对于路面倾斜的平面作为投影面。另外，各个投影面配置在相对立体物体不同的位置，由此能够实现不同的投影变换。作为优选配置，立体物体在投影面的从路面立起的倾斜面区域或弯曲面区域进行投影，由此，能够在整个立体物体的投影图像上，抑制在与路面平行的投影面上产生的逐渐延伸的变形。由此，优选配置为立体物体的路面侧端部的投影位置与投影面的从路面立起的区域位置一致。此时，立体物体的路面侧端部的位置能够通过边缘检测处理来检测，因此可以利用其位置与投影面的从路面立起的位置一致的投影面，生成立体物体的俯瞰图像。

准备的投影变换的种类越多，其选择规则越复杂。因此，此时，可以构筑将记录在立体物体信息中的立体物体的数据（位置、姿势、形状等）作为输入参数且将映射选择指令作为输出参数的神经网络（neuralnetwork），将其组装在投影变换选择部62中。在选择了适于立体物体图像的投影变换所使用的映射时，利用该映射，从立体物体图像生成立体物体俯瞰图像。

立体物体抑制部67对周围俯瞰图像生成部64所生成的周围俯瞰图像中的立体物体图像的区域进行抑制处理，以使该区域不那么醒目，因此具备合成功能。该合成功能的典型的处理是，利用立体物体图像的区域的周围区域例如右侧区域和左侧区域的像素值置换立体物体图像的区域的像素值。另外，在使用多个摄像头的情况下，将利用没有拍摄到立体物体的那侧的摄像头所拍摄的路面投影图像的处理，例如以该路面投影图像的像素值置换立体物体图像的区域的像素值的处理作为合成处理很有效。当然，可以采用其他处理。另外，可以利用晕影处理或降低色度处理代替与周围像素的合成功能。

图像合成部55按照需要在立体物体抑制部67实施立体物体的抑制处理后的周围俯瞰图像的该立体物体的区域，重合并合成立体物体俯瞰图像生成部65生成的立体物体俯瞰图像。合成的最终的周围俯瞰图像作为俯瞰显示图像被传送至帧存储器56，并通过显示控制部71显示在监视器21上。

接着，利用图6的流程图说明组装有上述构成的图像生成装置的车辆周围监视系统的俯瞰图像显示的流程。

当该车辆周围监视目的的俯瞰图像显示过程开始时，首先，读取根据驾驶员的希望手动设定或者默认设定的俯瞰图像的显示类别（＃01）。此处的俯瞰图像的显示类别是指，规定在生成周围俯瞰图像时使用的拍摄图像、假想观察点位置、生成的俯瞰显示图像的监视器画面上的布局等。按照利用的车载摄像头1的各个拍摄图像，设定按照读取的俯瞰图像的显示类别在周围俯瞰图像生成部64中使用的用于第一投影变换的映射（＃02）。获取车载摄像头1的拍摄图像（＃03）。利用设定的各映射，从各拍摄图像生成俯瞰图像部分（＃04）。将生成的俯瞰图像部分组合，并且在车辆自身位置配置预先设定的车辆的俯瞰图形图像（可以为插图或符号），来生成周围俯瞰图像（＃05）。

判断是否从立体物体检测模块30输出了立体物体信息（＃06）。在没有输出立体物体信息的情况下（＃06，“否”的分支），就当作在任何拍摄图像中都不存在应该关注的立体物体，直接利用步骤＃05生成的周围俯瞰图像来生成俯瞰显示图像（＃14）。将生成的俯瞰显示图像显示在监视器21上（＃15），只要没有终止该俯瞰图像显示过程的指令（＃16，“否”的分支），就再次返回步骤＃01，反复进行该过程。

在步骤＃06的判断中，在输出了立体物体信息的情况下（＃06，“是”的分支），就当作在拍摄图像中存在应该关注的立体物体，首先，从立体物体信息中读取被检测的立体物体的位置、姿势、大小等的数据（＃07）。基于读取的与立体物体相关的数据，推算拍摄图像中的该立体物体的图像区域（＃08），然后提取立体物体图像，暂时存储在存储器中（＃09）。另外，对周围俯瞰图像的立体物体的图像区域，利用其周围区域的像素值进行合成处理，由此进行使立体物体的存在感消失或者变弱的立体物体抑制处理（＃10）。

在周围俯瞰图像中，虽然依存于相对路面的立体物体的高度或相对摄像头1的距离，但是向上方延伸的立体物体的上端被逐渐延伸而显示。为了降低从这样的上方的假想观察点观察的俯瞰图像中的立体物体的变形，仅对从拍摄图像提取的立体物体图像进行另外的投影变换即第二投影变换，来生成投影变换图像。因此，首先，根据图5所示的各种形态基于立体物体信息选择设定用于第二投影变换的最佳的映射（＃11）。接着，立体物体俯瞰图像生成部65利用设定的映射对立体物体图像进行投影变换，来生成与周围俯瞰图像相比降低了变形的立体物体俯瞰图像（＃12）。此时，可以按照需要，进行使立体物体俯瞰图像中的立体物体区域的色度提高的色彩修正处理或突出轮廓等的形状明确化处理。另外，立体物体俯瞰图像与周围俯瞰图像中的立体物体的图像区域重合合成（＃13）。这样生成的最终的周围俯瞰图像被作为俯瞰显示图像（＃14）而生成，并显示在监视器21上（＃15）。

〔其他实施方式〕

(1)在上述的实施方式中，列举了应该关注的1个立体物体存在于从4个摄像头1获取的拍摄图像中的1个拍摄图像上的例子，但是也考虑在相邻的摄像头视场的边界区域中，应该关注的1个立体物体存在于多个拍摄图像上的情况。因此，在为了拍摄车辆整个周围而设置多个车载摄像头的实施方式中，在立体物体被包含在2个以上的摄像头的拍摄图像中的情况下，优选为生成立体物体俯瞰图像而提取具有更小面积的立体物体区域的立体物体图像。

(2)可以将2个不同的立体物体作为应该关注的立体物体。另外，此时，可以根据立体物体而使用不同的投影变换来生成立体物体俯瞰图像，并与周围俯瞰图像进行合成。

(3)在上述的实施方式中，作为立体物体检测方法提出了利用超音波的立体物体检测和通过图像识别进行立体物体检测的一种或它们的组合的方法，但是，当然，此外的立体物体检测方法，例如，利用激光雷达法和红外线法的情况也包括在本发明的范围内。

产业上的可利用性

本发明能够用于利用俯瞰图像进行车辆周围的监视的所有的系统中。

附图标记说明

30：立体物体检测模块

21：监视器

50：图像处理模块

53：立体物体信息获取部

55：图像合成部

60：图像生成部

61：通常图像生成部

62：投影变换选择部

63：映射表

64：周围俯瞰图像生成部

65：立体物体俯瞰图像生成部

66：立体物体提取部

67：立体物体抑制部

71：显示控制部

Claims

1.一种图像生成装置，作为显示图像输出以上方假想观察点对拍摄车辆的周围区域的车载摄像头所获取的拍摄图像进行投影变换而生成的俯瞰图像，其特征在于，

具有：

周围俯瞰图像生成部，其利用第一投影变换从所述拍摄图像生成周围俯瞰图像；

立体物体检测部，其检测所述车载摄像头的视场内存在的立体物体，并输出包括该立体物体的位置的立体物体信息；

立体物体提取部，其基于所述立体物体信息，从所述拍摄图像提取具有所述立体物体的图像区域即立体物体图像；

立体物体俯瞰图像生成部，其利用使所述周围俯瞰图像中的所述立体物体的变形降低的第二投影变换，从所述立体物体图像生成立体物体俯瞰图像；

图像合成部，其基于所述立体物体信息，在所述周围俯瞰图像上图像合成所述立体物体俯瞰图像，

基于所述立体物体信息设定所述第二投影变换的变换参数，所述第二投影变换的变换参数为投影面的形状和/或投影面与被投影的立体物体之间的相对位置；

为了拍摄整个车辆周围设置有多个所述车载摄像头，在相邻的摄像头视场的边界区域中，在所述立体物体包含在2个以上的摄像头的所述边界区域的拍摄图像中时，提取具有面积更小的立体物体区域的立体物体图像。

2.根据权利要求1所述的图像生成装置，其特征在于，所述第二投影变换是从拍摄观察点向与路面垂直的投影面投影所述拍摄图像的投影变换。

3.根据权利要求1或2所述的图像生成装置，其特征在于，具有进行抑制处理的立体物体抑制部，使得所述周围俯瞰图像中的所述立体物体图像的区域不醒目。

4.根据权利要求1或2所述的图像生成装置，其特征在于，对所述立体物体俯瞰图像进行色彩修正处理，来突出显示所述立体物体俯瞰图像。

5.根据权利要求3所述的图像生成装置，其特征在于，对所述立体物体俯瞰图像进行色彩修正处理，来突出显示所述立体物体俯瞰图像。