CN103609100B - 图像生成装置 - Google Patents

图像生成装置 Download PDF

Info

Publication number
CN103609100B
CN103609100B CN201280028252.4A CN201280028252A CN103609100B CN 103609100 B CN103609100 B CN 103609100B CN 201280028252 A CN201280028252 A CN 201280028252A CN 103609100 B CN103609100 B CN 103609100B
Authority
CN
China
Prior art keywords
image
stereoscopic article
information
replacement
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280028252.4A
Other languages
English (en)
Other versions
CN103609100A (zh
Inventor
山本欣司
渡边矢
渡边一矢
武田圣子
三浦健次
门胁淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011129323A external-priority patent/JP5516998B2/ja
Priority claimed from JP2011129322A external-priority patent/JP5516997B2/ja
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN103609100A publication Critical patent/CN103609100A/zh
Application granted granted Critical
Publication of CN103609100B publication Critical patent/CN103609100B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

用于提高识别的立体物和合成在该立体物的拍摄图像即立体物图像的区域中的代替图像的视觉辨认性的图像生成装置，识别在车辆的周边区域中存在的立体物，来输出用于表示该立体物的属性的立体物属性信息；基于包含在立体物属性信息中的位置信息，决定立体物在拍摄图像中的图像区域即立体物图像区域，并包含在立体物属性信息中。输出用基于颜色信息的颜色进行着色的立体物的代替图像，以及基于类别信息和姿势信息特定的立体物的特定的朝向姿势的所述立体物的代替图像中的至少一种；具有在立体物图像区域的位置上生成合成有代替图像输出部所输出的代替图像的带有代替图像的俯瞰图像的图像合成部。

Description

图像生成装置
技术领域
本发明涉及一种图像生成装置，其将俯瞰图像作为显示图像输出，该俯瞰图像是以上方假想观察点对用于拍摄车辆的周边区域的车载摄像头所获取的拍摄图像进行投影转换（投影变换）而生成的。
背景技术
在以往的俯瞰图像生成装置中，通过将车载摄像头所获取的拍摄图像投影到与路面平行的投影面上，即通过使假想观察点位于铅垂上方的投影转换，生成从正上方观察的俯瞰图像。因此，通过使该俯瞰图像显示在监视器上，来帮助驾驶员掌握车辆周边的路面状况。然而，存在如下问题，即，在利用这种投影转换来获得的俯瞰图像中，与车载摄像头的附近区域相比，远方区域的图像的变形变大，对驾驶员来说，难以掌握距离感。尤其，配置于路面上的向上方延伸的立体物（不仅是人、车，还有工程用三角锥等路上障碍物）成为在拍摄方向上被拉长变形的形状体，导致难以观察。
为了解决这样的问题，例如专利文献1所记载的车辆周围图像显示系统包括：摄像头，其用于摄像车辆周围；障碍物检测单元，其用于检测车辆自身周围的障碍物；存储部，其预先存储与障碍物相对应的代替图像；图像处理部，其基于摄像头所获取的图像，生成从车辆自身周围的假想观察点观察的俯瞰图像。在障碍物检测单元检测到障碍物的情况下，图像处理部确定障碍物，从所述存储部中选择读取与所确定的障碍物相对应的代替图像，将所选择的代替图像的朝向和倾斜度变更为与观察点相适合，然后将其重叠在所述俯瞰图像上。在该系统中，图像处理部将摄像单元所拍摄的图像转换为从车辆上部或者车辆侧面观察的俯瞰图像，基于来自障碍物检测单元的信息，从存储部中选定与车辆周围的立体障碍物的大小、动作相匹配的代替图像，并将其覆盖显示在该俯瞰图像上。
但是，在显示代替图像来代替用于反映实际的立体障碍物的障碍物图像的情况下，有时驾驶员难以鉴别代替图像和实际的立体障碍物。例如，在检测到的立体障碍物为人且显示出用插图或照片表现的人物形象的情况下，若显示画面小，则不仅难以判断显示画面上的人物形象和用后视镜或肉眼确认的实际的人是否为相同，而且若显示画面小，则可能连是否是人的情况都无法确认。另外，尤其，若实际能够确认的人处于面向后方的姿势，而代替图像是面向前方的姿势的人，则难以进行鉴别。另外，在检测到的立体障碍物为汽车的情况下，若实际能够确认的汽车是朝向后方的姿势的小型货车，而代替图像是朝向前方的姿势的轿车，则更难以进行鉴别。
现有技术文献
专利文献
专利文献1：日本特开2010‐251939号公报（第0008段～第0056段、图7、图10）
发明内容
发明所要解决的问题
根据上述实际情况，希望能够提高识别出的立体物和代替图像的视觉辨认性的技术，该代替图像是指，合成在该立体物的拍摄图像即立体物图像的区域中的代替图像。
用于解决问题的手段
本发明的图像生成装置，将俯瞰图像作为显示图像输出，该俯瞰图像，是以上方假想观察点对用于拍摄车辆的周边区域的车载摄像头所获取的拍摄图像进行投影转换来生成的，该图像生成装置具有：立体物识别部，其识别在所述周边区域存在的立体物，输出用于表示该立体物的属性的立体物属性信息；立体物图像区域决定部，其基于包含在所述立体物属性信息中的位置信息，决定所述立体物在所述拍摄图像中的图像区域即立体物图像区域；代替图像输出部，其输出第一代替图像和第二代替图像中的至少一种，所述第一代替图像是用基于包含在所述立体物属性信息中的颜色信息的颜色进行着色的所述立体物的代替图像，所述第二代替图像是基于包含在所述立体物属性信息中的类别信息和姿势信息而确定了立体物的确定的朝向姿势的所述立体物的代替图像；图像合成部，其生成带有代替图像的俯瞰图像，该带有代替图像的俯瞰图像，是在所述立体物图像区域的位置上生成合成由所述代替图像输出部输出的代替图像而成的。
本发明的结构基于如下的事实，即，通过在代替图像上赋予与实际的立体物的颜色相对应的颜色，来改进实际的立体物和显示画面上的代替图像之间的确定，从而提高实际的立体物和代替图像的视觉辨认性。
根据上述本发明的结构，包含在拍摄图像中的识别立体物，成为明确表示该立体物的特征、尤其该特征的颜色的代替图像的形式，并包含在该俯瞰图像中。因此，驾驶员能够根据该带有代替图像的俯瞰图像容易地确认位于车辆周边的立体物。
作为输出着色的代替图像的方法，有这样的方法：事先将无色的代替图像或者带有特定颜色的代替图像按类别和形状等来以数据库的形式存储，基于实际的立体物的颜色信息，在将类别或形状等作为检索条件来提取的代替图像上进行着色或者涂抹来输出；事先将用各种颜色进行了着色的代替图像以数据库的形式存储，通过在类别或形状等上加上颜色信息的检索条件来提取并输出带颜色的代替图像。在考虑到立体物为人的情况下其衣服的颜色为多种情况时，前面的方法与后面的方法相比，能够减少存储在数据库中的代替图像的容量，因此优选采用前面的方法。因此，在本发明的优选的一个实施方式中，所述代替图像输出部包括：代替图像数据库，其用于存储基于颜色信息的所述立体物的代替图像；代替图像提取部，其基于包含在所述立体物属性信息中的立体物类别信息，从该代替图像数据库中提取所述立体物的代替图像；代替图像着色部，其用基于包含在所述立体物属性信息中的颜色信息的颜色，对该代替图像提取部所提取的代替图像进行着色。
在识别立体物具有多个颜色的情况下，优选尽量用多个颜色进行着色，因此在本发明的优选的一个实施方式中，所述代替图像着色部基于所述颜色信息决定具有所述立体物的特征的多个颜色，并用多个颜色涂抹所述代替图像。作为用多个颜色涂抹代替图像的方法，例如提出了如下方法，即，计算出拍摄图像中的立体物高度的下半部分的平均色和上半部分的平均色，用该各平均色分别涂抹代替图像的下半部分和上半部分。另外，在考虑到代替图像中的涂抹面积小的情况时，通过提高该平均色的色度来用显眼（鲜明）的颜色进行涂抹也是有效的。
在代替图像着色部基于颜色信息对代替图像进行着色时，在考虑到视觉辨认性时，与单纯地利用拍摄图像的颜色相比，更优选实施更高色度的颜色、容易与周围的颜色进行区别的颜色、该立体物所具有的典型色（例如若为邮政信箱则为红色），若为移动物体则为能够知道移动方向的渐变色等进行强调的颜色。因此，在本发明的优选的一个实施方式中，具有颜色强调指示部，该颜色强调指示部，基于所述立体物属性信息来输出颜色强调指示，该颜色强调指示用于指示对由所述代替图像着色部对所述代替图像进行着色的颜色进行强调。
能够利用使观察点向上方移动的投影转换来从拍摄图像中生成俯瞰拍摄图像，但是若初始的拍摄图像为拍摄了车辆的前后左右的周围的多个拍摄图像，则能够生成俯瞰以车辆为中心的车辆周围区域的俯瞰拍摄图像。而且，若在该俯瞰拍摄图像上合成代替图像，则还能够抑制因代替图像进行投影转换而变形从而难以观察的情况。因此，在本发明的优选的一个实施方式中，具有俯瞰拍摄图像生成部，该俯瞰拍摄图像生成部，使用投影转换，从覆盖所述车辆的周围的拍摄方向各不相同的多个拍摄图像中生成车辆周围的俯瞰拍摄图像；所述图像合成部，对所述俯瞰拍摄图像的所述立体物图像区域赋予所述代替图像。
另外，在对拍摄方向不同的多个拍摄图像进行处理的该俯瞰拍摄图像生成部中，附加以与拍摄图像不同的观察点进行投影转换的功能，因此，在制作出的带代替图像的俯瞰拍摄图像中，能够使俯瞰拍摄图像和代替图像之间的与观察点有关的不协调感以及投影转换变形的不协调感得到改善，即，变得协调。
通过按照时序评价立体物的识别来得到立体物的移动方向。因此，在本发明的一个实施方式中，与所述代替图像一起赋予用于表示所述立体物的移动方向的图像。作为用于表示这样的立体物的移动方向的图像的一个具体例，用于表示所述移动方向的图像能够为与所述立体物的移动相对应的所述代替图像的余像。另外，作为另外的一个例子，还提出了用于表示所述移动方向的图像能够为箭头的情况。
另外，所述代替图像输出部还能够包括：代替图像数据库，其用于存储基于类别信息和姿势信息的所述立体物的代替图像；代替图像提取部，其将包含在所述立体物属性信息中的类别信息以及姿势信息作为检索条件，从该代替图像数据库中提取所述代替图像。通过这些构件，代替图像提取部能够基于立体物属性信息从代替图像数据库中提取立体物的代替图像。
另外，所述立体物识别部优选具有用于检测人的脸部的脸部检测部，在所述立体物识别部中，具有用于检测人的脸部的脸部检测部，基于所述脸部检测部的检测结果，在类别信息中设定表示所识别的立体物为人物的信息，并且，在所述姿势信息中设定朝向前方的姿势、朝向后方的姿势、朝向侧方的姿势中的某一种。通过这些构件，在包括脸部的情况下，能够确定该立体物为人，而且还能够根据该脸部的朝向来推断人物的姿势、朝向侧方的姿势、朝向前方的姿势。
另外，在所述立体物识别部中，基于通过车与车之间的通信而得到的车与车之间通信信息，在类别信息中设定表示所识别的立体物为汽车的信息，并且，在所述姿势信息中设定朝向前方的姿势、朝向后方的姿势、朝向侧方的姿势中的某一种。通过这些构件，能够容易地设定立体物（汽车）的朝向姿势、车种、车的颜色。
另外，还具有俯瞰拍摄图像生成部，该俯瞰拍摄图像生成部，使用投影转换，从覆盖所述车辆的周围的拍摄方向各不相同的多个拍摄图像中生成车辆周围的俯瞰拍摄图像；所述图像合成部，对所述俯瞰拍摄图像的所述立体物图像区域赋予所述代替图像。在此，在利用上方观察点进行投影转换处理而得到的周边俯瞰图像中，在摄像头的跟前存在立体物的情况下，会产生立体物的顶部附近拉长这样的变形。因此，如本结构那样，通过赋予代替图像，能够将立体物修正为容易进行视觉辨认。
附图说明
图1是用于说明用代替图像置换立体物图像且在代替图像上实施着色的本发明的第一实施方式的基本构想的示意图。
图2是在图1的基础上增加了对代替图像也进行投影转换的情况的示意图。
图3是示出在利用了前后左右4个拍摄图像的俯瞰图像上应用本发明的第一实施方式的代替图像的例子的示意图。
图4是应用本发明的第一实施方式的图像生成装置的车辆周边监视系统的功能框图。
图5是构成第一实施方式的车辆周边监视系统的图像处理模块的功能框图。
图6是示出将用代替图像置换第一实施方式的立体物图像而得到的俯瞰图像显示控制的流程的流程图。
图7是用于说明显示将用代替图像置换第一实施方式的立体物图像而得到的俯瞰图像的过程的示意图。
图8是用于说明用代替图像置换立体物图像且在代替图像上实施着色的本发明的第二实施方式的基本构想的示意图。
图9是在图8的基础上增加了对代替图像也进行投影转换的情况的示意图。
图10是示出在利用了前后左右的4个拍摄图像的俯瞰图像上应用本发明的第二实施方式的代替图像的例子的示意图。
图11是应用本发明的第二实施方式的图像生成装置的车辆周边监视系统的功能框图。
图12是构成第二实施方式的车辆周边监视系统的图像处理模块的功能框图。
图13是示出控制显示将用代替图像置换第二实施方式的立体物图像而得到的俯瞰图像的流程的流程图。
图14是用于说明显示用代替图像置换第二实施方式的立体物图像而得到的俯瞰图像的过程的示意图。
图15是用于说明其它实施方式的、显示用附加了用于表示立体物的移动方向的余像的代替图像置换立体物图像而得到的俯瞰图像的过程的示意图。
图16是用于说明其它实施方式的、显示用附加了用于表示立体物的移动方向的箭头的代替图像置换立体物图像而得到的俯瞰图像的过程的示意图。
具体实施方式
1.第一实施方式
首先，利用图1的示意图，说明本发明的第一实施方式的俯瞰图像生成过程的基本构想，在该俯瞰图像生成过程中，在车载摄像头的拍摄图像中包含已识别出的立体物的情况下，制作用代替图像置换该立体物图像而得到的俯瞰图像。在此，为了使说明变得简单，仅示出了利用作为车载摄像头的后方摄像头所拍摄的拍摄图像而生成的俯瞰图像，但是通常根据来自前后摄像头和左右侧方摄像头的拍摄图像来生成以车辆为中心的车辆周围俯瞰图像。
为了将作为车辆周边监视画面的俯瞰图像显示在监视器上，首先，通过车载摄像头获取在车辆自身的行进方向上的周边区域的拍摄图像（＃1）。在此，获取的拍摄图像还被用于成为车辆周边的障碍物的立体物的检测处理中。在检测立体物时，利用通常的图像识别处理，但是能够辅助性地使用超声波、激光雷达法、红外线法进行立体物检测（＃2）。立体物的识别算法是广为人知的，因此在此不进行详细叙述，但是能够利用移动矢量法或差分法来判断是运动物体还是静止物体，通过检测大小、边缘来确定形状，根据颜色信息来确定类别等，从而识别立体物。另外，如在图1中采用的方法那样，也可以在由超声波或激光雷达检测出立体物之后，基于该检测信息，在使用了拍摄图像的图像识别中更详细地识别立体物。通过图像识别，生成立体物属性信息（＃3），该立体物属性信息包括存在于车载摄像头的摄像视场内的立体物的位置、姿势、大小、类别、颜色等的立体物属性值。而且，根据包含在立体物属性信息中的位置信息，决定立体物在拍摄图像中的图像区域即立体物图像区域（＃4）。
另一方面，根据由后方摄像头拍摄而得的拍摄图像，在此，将投影面作为与路面平行的面来进行投影转换，即，在正上方设定假想观察点来进行视点转换（＃5）。通过该第一投影转换处理，得到拍摄图像的从正上方俯瞰的俯瞰图像即车辆周边的俯瞰图像。此外，不仅能够在拍摄图像中决定立体物图像区域，在该俯瞰图像中也能够根据包含在立体物属性信息中的位置信息来决定立体物图像区域。
在使用上方观察点进行投影转换处理来得到的周边俯瞰图像中，在摄像头的跟前存在立体物的情况下，立体物的顶部附近会产生被拉长这样的变形。因此，如下面说明那样，通过用于置换为代替图像置换的覆盖处理或者用于从上方重合的重叠处理等合成处理，将立体物图像区域修正为能够容易地视觉辨认立体物。
首先，为了生成用于对立体物图像区域进行分配的代替图像，从代替图像数据库中提取成为该基本（基础）的代替图像（＃6）。在该代替图像数据库中，登记有可能存在于车辆周边且能够通过该系统识别的类别的立体物，并且能够将包含在立体物属性信息中的类别信息、运动物体／静止物体信息、大小信息等作为检索条件来提取该立体物。
基于包含在立体物属性信息中的颜色信息，对从代替图像数据库中提取的代替图像进行着色（＃7）。能够用各种方式对该代替图像进行着色。例如，
（1）直接应用拍摄图像中的立体物所示的颜色。
（2）在具有确定的立体物的特征的颜色的情况下，应用该颜色。若为邮政信箱，则为单一的红色，若为树木，则为单一的绿色，若为人，则为上半身部和下半身部的两种颜色。
（3）若为运动物体，则用与动作方向相对应的渐变色（gradation）来进行着色。
（4）在包括多个颜色的情况下，用单一的平均色进行着色。
（5）将立体物在从路面的高度方向或者横向上进行分割，用各区域的平均色或者代表色分割代替图像，并分成相对应的颜色来进行着色。
对进行了着色的代替图像与周边俯瞰图像中的立体物图像区域进行对位，从而合成俯瞰图像（＃8）。此外，在合成时，为了使立体物图像区域和代替图像的尺寸相符，按照需要来进行代替图像的扩缩（放大缩小）处理。而且，为了使代替图像和合成之前的俯瞰图像之间的边界不明显，对边界周边区域进行晕影、与周边像素混合（α混合等）、低色度化等抑制处理。
通过合成处理而编入了代替图像的最终的俯瞰图像被发送至监视器，并且以车辆周边监视的目的而显示在监视器上（＃9）。
图2也是与图1同样地用于说明发明的基本构想的示意图，但是与图1的基本构想不同的不同点在于，对代替图像也实施视点转换处理，然后将其合成在俯瞰图像上。登记在代替图像数据库中的代替图像也是从规定的观察点制作的立体物图像，但是，有时因俯瞰图像中的应该合成的图像位置不同，而可能产生不能忽视的不协调感。为了避免该问题，对代替图像进行如下的视点转换处理（＃7a），在该处理中，使根据应该合成的图像位置、立体物的类别等来决定的上述不协调感消失。
也可以采用如下的结构来代替上述的通过视点转换来避免不协调感的方法，即，在对俯瞰图像进行视点转换之前的拍摄图像上合成着色代替图像，对合成的拍摄图像进行视点转换，从而生成包括着色代替图像的俯瞰图像并将其送至监视器。
在图1和图2的基本构想图中，仅使用来自后方摄像头的拍摄图像，来生成监视器显示目的的最终的俯瞰图像，但是为了良好地掌握以车辆自身为中心的四周的周边状況，尤其路面状況，整个周围俯瞰图像更为有效。图3是示出根据来自后方摄像头1a、左侧方摄像头1b、右侧方摄像头1c、前方摄像头1d的4个拍摄图像，制作整个周围俯瞰图像的处理过程的基本构想图，其中，所述整个周围俯瞰图像包括被包含在拍摄图像中的立体物的着色代替图像。
在图3中，例示了为了辅助倒退纵向停车而在监视器上显示整个周围俯瞰图像的生成步骤。此外，在该例子中，假设在后方摄像头1a的拍摄图像中，存在三角锥来作为应该注意的立体物。对后方摄像头1a所拍摄的后方拍摄图像进行投影转换，使之成为从车辆正上方观察的整个周围俯瞰图像的后方区域图像。同样，分别对左侧方摄像头1b所拍摄的左方拍摄图像、右侧方摄像头1c所拍摄的右方拍摄图像、前方摄像头1d所拍摄的前方拍摄图像进行投影转换，使它们成为整个周围俯瞰图像的左方区域图像、右方区域图像、前方区域图像。在此，使用映射表进行投影转换。由于各自的映射数据值不同，因此分别设定有适当的映射。但是，以能够将与路面平行的面作为投影面来进行投影转换的方式制作这些映射。
在4个车载摄像头中，来自后方摄像头1a的后方拍摄图像中包括立体物（该例中为三角锥），通过安装在该车辆上的立体物检测功能来检测该立体物的存在，并且通过图像识别，从拍摄了包括该立体物的周边区域的拍摄图像中进行识别。包括与识别出的立体物相关的位置信息、类别信息、颜色信息等的立体物属性信息，以能够与来自后方摄像头1a的拍摄图像（后方拍摄图像）连接（link）的方式被输出。因此，基于包含在立体物属性信息中的位置信息，将后方区域图像中的存在立体物的区域决定为立体物图像区域。
而且，将包含在立体物属性信息中的类别信息和尺寸信息等作为检索条件，来提取包含在后方区域图像中的立体物（三角锥和汽车的一部分）的代替图像。基于包含在立体物属性信息中的颜色信息，对提取的代替图像进行着色。此时，颜色信息由于基于拍摄图像中的识别的立体物图像的像素值，因此受到环境光等影响。根据立体物不同，有时用原来的自然颜色进行着色比较好，但是通常用强调的颜色进行着色能够得到更良好的视觉辨认性。在该例子中，即使三角锥的颜色信息为黄色系的暗的颜色，也通过用高色度的黄色进行着色来提高三角锥的视觉辨认性。进行了着色的三角锥以及汽车的一部分即着色代替图像被合成在后方侧俯瞰图像中。此时，也可以使用生成了后方侧俯瞰图像的视点转换映射表，或者使用更容易观察着色代替图像（三角锥和汽车的一部分）的最佳的视点转换映射表，来将着色代替图像转换为俯瞰图像以后再进行合成。
另外，优选在用于与所输出的着色代替图像进行合成的整个周围俯瞰图像的后方区域的图像（后方侧俯瞰图像部分）中，对之前决定的立体物图像区域实施抑制处理。包括含有这样生成的着色代替图像的后方俯瞰图像部分，还合成有左方俯瞰图像部分、右方俯瞰图像部分、前方俯瞰图像部分，最终生成用于在监视器上显示的整个周围俯瞰图像。当然，也可以先生成整个周围俯瞰图像，然后对已经生成的整个周围俯瞰图像合成着色代替图像。
以下，基于附图，对于本发明的第一实施方式进行说明。在本实施方式中，如图3例示那样，为了构建车辆周边监视系统，在车辆上组装有图像生成装置，该图像生成装置根据来自4个车载摄像头即后方摄像头1a、前方摄像头1d、左侧方摄像头1b、右侧方摄像头1c的拍摄图像和立体物检测信息来制作整个周围俯瞰图像。在下面的说明中，有时适当地将这些车载摄像头1a、1b、1c、1d简单地总称为摄像头1。在进行车辆周边监视时，在监视器上显示摄像头1所拍摄的拍摄图像或使用该拍摄图像生成的俯瞰图像。
摄像头1是数字摄像头，其使用CCD（charge coupled device：电荷耦合元件）或CIS（CMOS image sensor：互补金属氧化物图像传感器）等摄像元件，按照时序拍摄每秒15～30帧的二维图像，并进行数字转换，实时输出其拍摄图像。摄像头1具有广角镜头。尤其，在本实施方式中，以在水平方向上确保140～190°的视角且相对于光轴具有大约30度左右的俯角的方式设置在车辆上。
在车辆内部设置有形成车辆周边监视系统的核心的ECU20。如图4所示，该ECU20具有将来车辆自身状态检测传感器组的输入信号直接或者进行评价后传送至ECU20的内部的传感器输入接口23、通信接口70等，并且具有对输入信息进行处理的微处理器、DSP（digital signal processor：数字信号处理器）。
与传感器输入接口23相连接的车辆状态检测传感器组用于检测驾驶操作和车辆行驶的状态。虽然未图示，但是在车辆状态检测传感器组中包括对转向操作方向（操舵方向）和操作量（操舵量）进行测量的转向传感器、对变速杆的变速位置进行判断的变速位置传感器、对油门踏板的操作量进行测量的油门传感器、对制动踏板的操作量进行检测的制动器传感器、对车辆自身的行驶距离进行检测的距离传感器等。
另外，用作输入输出接口的通信接口70采用车载LAN（局域网）作为数据传输线，以能够传输数据的方式与监视器21、触摸面板21T、动力转向单元PS、变速机构T、制动装置BK等控制单元连接。另外，还具有扬声器22来作为音频信息的输出设备。
另外，ECU20具有由硬件或软件或者这两者构成的各种功能部，但是在本发明中，作为尤其相关的功能部，列举了用于识别车辆周边的立体物的立体物识别模块30、图像处理模块50、显示控制部71、音频处理模块72。图像处理模块50所生成的监视器显示图像被显示控制部71转换为视频信号并发送至监视器21。音频处理模块72所生成的引导音频或紧急时刻的警告音等通过扬声器22发出。
立体物识别模块30包括：立体物检测部31，其对来自多个超声波传感器3的检测信号进行评价而进行立体物检测；立体物识别部32，其使用来自车载摄像头1的拍摄图像进行立体物的识别。超声波传感器3配置在车辆的前部、后部、左侧部，右侧部这些各部分中的两端处和中央处，能够利用位于车辆周边附近的物体（障碍物）的反射波来检测该物体。不仅能够通过处理各超声波传感器3中的反射波的返回时间和振幅，来推断从车辆至物体的距离和物体的大小，而且还能够通过按时序对所有的超声波传感器3的检测结果进行处理，来推断物体的移动和横向的外形形状。就立体物识别部32而言，其本身安装有公知的物体识别算法，根据输入的拍摄图像、尤其是按时序连续的拍摄图像，来识别车辆周边的立体物。为了检测立体物，可以具有立体物检测部31和立体物识别部32中的某一个，但是同时具有能够优良地对立体物的形态进行检测的立体物识别部32和能够优良地计算距立体物的距离即立体物的位置的立体物检测部31并使它们协同作业，能够进行更准确的立体物的识别。由此，立体物识别模块30输出记录有所识别的立体物的位置、姿势、大小、色调等的立体物属性信息。作为立体物检测部31，还能够应用使用了激光雷达的其它立体物检测装置。
图5示出了ECU20的图像处理模块50的功能框图。图像处理模块50具有生成俯瞰图像等图像的功能，所述俯瞰图像是对用于拍摄车辆自身周边的摄像头1所获取的拍摄图像进行投影转换而成的。
图像处理模块50包括拍摄图像存储器51、前处理部52、图像生成部53、立体物属性信息获取部54、图像合成部55、帧存储器56。摄像头1所获取的拍摄图像被加载在拍摄图像存储器51中而被展开，前处理部52用于调整分别被摄像头1获取的拍摄图像之间的辉度平衡、颜色平衡等。立体物属性信息获取部54接收从立体物识别模块30输出的立体物属性信息，并读取在该立体物属性信息中记录的立体物的位置、大小、颜色、姿势等各种属性信息（数据）。
图像生成部53包括俯瞰图像生成部60、代替图像输出部80，通常图像生成部66，立体物图像区域决定部67。为了将拍摄图像直接作为车辆周边图像显示在监视器上，通常图像生成部66对画质进行适当调整。作为显示在监视器上的车辆周边图像，可以是由驾驶员从后方摄像头1a、左侧方摄像头1b、右侧方摄像头1c、前方摄像头1d所拍摄的拍摄图像中选择出的1个拍摄图像，也可以是多个拍摄图像的组合。立体物图像区域决定部67根据从立体物属性信息获取部54获取的立体物属性信息所含已经识别出的立体物的位置信息，来决定该立体物在拍摄图像中的图像区域。此时，能够决定拍摄图像或俯瞰拍摄图像或者这两者的立体物图像区域。
俯瞰图像生成部60具有俯瞰拍摄图像生成部63，该俯瞰拍摄图像生成部63，通过视点转换处理根据加载（展开）在拍摄图像存储器51中的一张或者多张拍摄图像生成俯瞰图像，而且在该实施方式中，俯瞰图像生成部60还具有俯瞰代替图像生成部64，该俯瞰代替图像生成部64，通过视点转换处理根据后面详细说明的代替图像生成俯瞰图像。此外，在该实施方式中，通过使用了映射表（mapping table）的投影转换，来进行俯瞰拍摄图像生成部63以及俯瞰代替图像生成部64中的投影转换，因此以能够选择的方式预先存储有用于在此使用的投影转换的各种映射表。在此，将由这样的以能够选择的方式存储的多个映射表形成的集合体以及逐个（单个）的映射表称为映射表62。构成映射表62的各映射表（下面，仅称为映射（map））能够以各种形式构成，在此，构成为记录了拍摄图像的像素数据与投影转换图像（通常为俯瞰拍摄图像）的像素数据之间的对应关系的映射，以及记录了代替图像的像素数据和投影转换图像的像素数据之间的对应关系的映射。尤其，在1帧的拍摄图像的各像素中记录有俯瞰拍摄图像中的目的像素坐标，在每种车载摄像头上适用不同的映射。投影转换选择部61基于从立体物属性信息中读取的属性，选择尽量与俯瞰拍摄图像协调（适合）的俯瞰代替图像生成部64的投影转换。
在俯瞰代替图像生成部64上也设定有多种投影转换。投影转换选择部61基于代替物（立体物）的类别、合成目的地的拍摄图像（俯瞰拍摄图像）的投影转换的种类（观察点位置），选择在俯瞰代替图像生成部64中执行的投影转换。此外，俯瞰代替图像生成部64还包括将输入的代替图像直接直通输出的功能。
代替图像输出部80包括代替图像提取部83、代替图像数据库82、代替图像着色部81、颜色强调指示部84。在代替图像数据库82中，针对可能被立体物识别部32识别出的立体物的各种形态，例如若是人，则针对孩子、大人、女性、男性，进而针对其朝向和姿势等，登记并存储有按每种类别预先制作出的图形（照片、插图等）图像来作为代替图像，并且能够通过检索条件来选择所述代替图像。代替图像提取部83基于包含在立体物属性信息中的立体物类别信息等，来从代替图像数据库中提取立体物识别部32所识别出的立体物的代替图像。而且，代替图像着色部81基于包含在立体物属性信息中的颜色信息对提取的代替图像进行着色。着色的方法可以根据代替图像而采用适当的方法，但是，若（识别出的对象）是人，则也可以向分为上半身部分和下半身部分来设定的涂抹区域赋予恰当的颜色，或者将整体涂抹为恰当色。另外，也可以预先赋予恰当色。在此，恰当色指，使驾驶员观察用该颜色进行了着色的代替图像而容易想象出实际的立体物的颜色。若是三角锥，则为预先赋予的橙色或黄色；若是人物，则为从拍摄图像中得到的上衣的颜色或裙子的颜色。由于在液晶面板等显示画面上显示的代替图像变小，因此颜色强调指示部84向代替图像着色部81发送用于将对代替图像进行着色的颜色强调的颜色强调指示，以便容易视觉辨认该颜色。优选根据立体物的种类和立体物相对于车辆行驶的危险度（能够根据与车辆之间的距离等来判断），来进行该颜色强调指示，因此基于立体物属性信息进行即可。
图像合成部55使俯瞰代替图像生成部64所生成的俯瞰代替图像重合在俯瞰拍摄图像的立体物图像区域上，从而进行合成。作为合成方法，并不限定于覆盖，还能够采用透明的重合等。带有合成的带有代替图像的俯瞰图像，作为显示图像而被传送至帧存储器56，并经由显示控制部71显示在作为显示画面的监视器21的画面上。
接着，使用图6的流程图和图7的说明图，对于组装有如上述那样构成的图像生成装置的车辆周边监视系统的俯瞰图像显示的流程进行说明。
当该车辆周边监视目的的俯瞰图像显示过程开始时，首先，读取根据驾驶员的希望而手动设定或者默认设定的俯瞰图像的显示类别（＃01）。此处的俯瞰图像的显示类别，用于规定在生成车辆周边的俯瞰图像时使用的拍摄图像、假想观察点位置、生成的俯瞰图像在监视器画面上的布局等。针对所使用的车载摄像头1的每个拍摄图像，设定按照读取的俯瞰图像的显示类别而在俯瞰拍摄图像生成部63中使用的投影转换所需的映射（＃02）。获取4台车载摄像头1的拍摄图像（＃03）。使用设定的各映射，从各拍摄图像生成俯瞰图像部分（＃04）。将生成的俯瞰图像部分组合，并且在车辆自身位置上配置预先设定的车辆的俯瞰图形图像（可以为插图或符号），从而生成显示用的俯瞰图像（＃05）。
判断是否从立体物识别模块30输出了立体物属性信息（＃06）。在未输出立体物属性信息的情况下（＃06，“否”的分支），视为在哪个拍摄图像中都不存在应该注意的立体物，直接使用在步骤＃05中生成的周边俯瞰拍摄图像来生成俯瞰显示图像（＃14）。将生成的俯瞰显示图像显示在监视器21上（＃15），只要没有结束该俯瞰图像显示过程的指令（＃16，“否”的分支），就再次返回步骤＃01来反复进行该过程。
在步骤＃06的判断中，在输出了立体物属性信息的情况下（＃06，“是”的分支），视为在拍摄图像中存在应该注意的立体物，首先，读取包含在立体物属性信息中的已识别出的立体物的位置、类别、颜色、姿势、大小等数据（＃07）。基于读取的与立体物的位置相关的数据，决定该立体物在拍摄图像中的图像区域（＃08）。
就合成在决定的立体物图像区域中的该立体物的代替图像而言，将包含在立体物属性信息中的类别、大小、姿势等信息作为检索条件，来提取代替图像并将其加载（展开）在存储器中（＃09）。接着，代替图像着色部81基于包含在立体物属性信息中的颜色信息对加载在存储器中的代替图像涂抹颜色（＃10）。包含在立体物属性信息中的颜色信息，基于包含在拍摄图像中的立体物的像素值，因此根据照明条件等不同，可能无法检测到具有本来的立体物的特征的颜色。在该着色处理中，在判断为产生了这样的事情的情况下，强调对代替图像进行着色的颜色。另外，也可以对代替图像实施如强调代替图像的轮廓等的形状明确化处理。
针对进行了着色的代替图像，基于对拍摄图像实施的投影转换的种类（观察点位置）和被代替图像代替的立体物的类别、姿势等，选择最佳的投影转换，并将该映射数据设定在俯瞰代替图像生成部64中（＃11），从而对代替图像进行投影转换（＃12）。当然，也可以设定直通（through）用映射数据，至少生成未实施投影转换的代替图像。接着，俯瞰代替图像重合在俯瞰拍摄图像的立体物图像区域中，从而进行合成（＃13）。这样生成的最终的车辆周边的俯瞰图像作为俯瞰显示图像（＃14），并显示在监视器21中（＃15）。
2.第二实施方式
接着，对于第二实施方式进行说明。使用图8的示意图，对于第二实施方式的俯瞰图像生成过程的基本构想进行说明。在此，为了使说明变得简单，示出了仅使用作为车载摄像头的后方摄像头所拍摄的拍摄图像而生成的俯瞰图像，但是通常，根据来自前后的摄像头和左右的侧方摄像头的拍摄图像来生成以车辆为中心的车辆周围俯瞰图像。
为了将作为车辆周边监视画面的俯瞰图像显示在监视器上，首先，通过车载摄像头获取在车辆自身的行进方向上的周边区域的拍摄图像（＃1）。在此，获取的拍摄图像还被用于成为车辆周边的障碍物的立体物的检测处理中。在检测立体物时，使用通常的图像识别处理，但是辅助性地通过使用超声波、激光雷达法、红外线法来进行立体物检测。立体物的识别算法是广为人知的，因此在此不进行详细叙述，但是可以使用移动矢量法或差分法来判断是运动物体还是静止物体，通过检测大小、边缘来确定形状，根据颜色信息来确定类别等，从而识别立体物。另外，如在图8中采用那样，也可以在由超声波或激光雷达检测出立体物之后，基于该检测信息，在使用了拍摄图像的图像识别中更详细地识别立体物。而且，虽然对象物被限定，但是在立体物为能够与外部进行通信的车辆的情况下，能够使用车与车之间通信来决定已识别出的立体物（汽车）的朝向姿势、车种、车的颜色。另外，在立体物为持有手机（移动电话）的人物的情况下，还能够根据手机的发出电波来判断识别的立体物为人物的情况。而且，还能够根据脸部检测算法来决定立体物为人物的情况以及该人物的朝向姿势（＃2）。通过任一方法以及它们的组合，生成包括存在于车载摄像头的摄像视场内的立体物的位置、类别、姿势、大小、颜色等立体物属性值的立体物属性信息（＃3）。而且，根据包含在立体物属性信息中的位置信息，决定立体物在拍摄图像中的图像区域即立体物图像区域（＃4）。
另一方面，根据由后方摄像头拍摄而得的拍摄图像，在此，进行将投影面作为与路面平行的面的投影转换，即在正上方设定假想观察点的视点转换（＃5）。通过该第一投影转换处理，得到从拍摄图像的正上方俯瞰的俯瞰图像即车辆周边的俯瞰图像。此外，就立体物图像区域而言，不仅能够在拍摄图像中决定，还能够在该俯瞰图像中也根据包含在立体物属性信息中的位置信息来决定。
在使用上方观察点进行投影转换处理来得到的周边俯瞰图像中，在摄像头的跟前存在立体物的情况下，产生立体物的顶部附近拉长这样的变形。因此，如下面说明那样，通过进行被代替图像置换的覆盖处理或者从上方重合的重叠处理等合成处理，将立体物图像区域修正为能够容易地视觉辨认立体物。
首先，从代替图像数据库提取要向立体物图像区域分配的代替图像（＃6）。在该代替图像数据库中，登记有可能存在于车辆周边且能够通过该系统识别出的类别的立体物，并且能够将包含在立体物属性信息中的类别信息、姿势信息、颜色信息、大小信息、运动物体／静止物体信息等作为检索条件来提取该立体物。因此，为了提取恰当的代替图像，将类别信息和姿势信息作为检索条件来访问代替图像数据库。此外，此时，就作为检索条件的姿势信息而言，根据得到的姿势信息，被置换为成为处理对象的拍摄图像中的立体物的朝向姿势，例如朝向前方的姿势、朝向侧方的姿势、朝向后方的姿势。通过使识别的立体物与类别和姿势实质上一致，使提取的代替图像与周边俯瞰图像中的立体物图像区域对位，从而合成俯瞰图像（＃8）。此外，在合成时，为了使立体物图像区域和代替图像的尺寸一致，按照需要来进行代替图像的扩缩处理。而且，为了使代替图像和合成之前的俯瞰图像之间的边界变得不明显，对边界周边区域进行晕影、与周边像素混合（α混合等）、低色度化等抑制处理。通过合成处理而编入了代替图像的最终的俯瞰图像被发送至监视器，并且以车辆周边监视的目的而显示在监视器上（＃9）。
图9也是与图8同样地用于说明发明的基本构想的示意图，但是与图8的基本构想不同的不同点在于，对代替图像也实施视点转换处理后，将其合成在俯瞰图像上。登记在代替图像数据库中的代替图像也是从规定的观察点制作的立体物图像，但是根据俯瞰图像中的应该合成的图像位置不同可能产生不能忽视的不协调感。为了避免该问题，对代替图像进行视点转换处理（＃5a），使根据应该合成的图像位置和立体物的类别等而决定的上述不协调感消失。
也可以采用如下的结构来代替通过这样的视点转换的避免不协调感的方法，即，在进行视点转换来变为俯瞰图像之前的拍摄图像上合成着色代替图像，对合成的拍摄图像进行视点转换，从而生成包括着色代替图像的俯瞰图像并将其发送至监视器。
此外，虽然是可选择的（option）处理，但是在立体物属性信息中包含颜色信息，在该颜色信息中的颜色和提取的代替图像的颜色不同的情况下，或者在提取的代替图像为无色的情况下，也可以用颜色信息中的颜色对提取的代替图像进行着色处理（＃7）。
在图8和图9的基本构想图中，仅使用来自后方摄像头的拍摄图像，来生成监视器显示目的的最终的俯瞰图像，但是为了良好地掌握以车辆自身为中心的四周的周边状況，尤其路面状況，使用整个周围俯瞰图像更有效。图10是示出根据来自后方摄像头1a、左侧方摄像头1b、右侧方摄像头1c、前方摄像头1d的4个拍摄图像，制作整个周围俯瞰图像的处理过程的基本构想图，其中，所述整个周围俯瞰图像包括包含在拍摄图像中的立体物的着色代替图像。
在图10中例示了为了辅助倒退纵向停车而在监视器上显示的整个周围俯瞰图像的生成步骤。此外，在该例子中，假设在后方摄像头1a的拍摄图像中，作为应该注意的立体物而存在三角锥。对后方摄像头1a所拍摄的后方拍摄图像进行投影转换，使之转换为从车辆正上方观察的整个周围俯瞰图像的后方区域图像。同样，分别对左侧方摄像头1b所拍摄的左方拍摄图像、右侧方摄像头1c所拍摄的右方拍摄图像、前方摄像头1d所拍摄的前方拍摄图像进行投影转换，使它们作为整个周围俯瞰图像的左方区域图像、右方区域图像、前方区域图像。在此，使用映射表进行投影转换。由于各自的映射数据值不同，因此分别设定有适当的映射。但是，这些各映射以能够将与路面平行的面作为投影面来进行投影转换的方式制作。
在4个车载摄像头中的来自后方摄像头1a的后方拍摄图像中包括立体物（该例中为三角锥），通过安装在该车辆上的立体物检测功能来检测该立体物的存在，并且通过图像识别从拍摄了包括该立体物的周边区域的拍摄图像中进行识别该立体物的存在。而且，在立体物为汽车的情况下，能够通过车与车之间通信来获取车种和朝向姿势信息。包括与识别的立体物相关的位置信息、类别信息、姿势（朝向）信息、颜色信息等的立体物属性信息，以能够与来自后方摄像头1a的拍摄图像（后方拍摄图像）连接的方式被输出。因此，基于包含在立体物属性信息中的位置信息，将后方区域图像中的存在立体物的区域决定为立体物图像区域。
而且，将包含在立体物属性信息中的类别信息和姿势信息等作为检索条件，来提取包含在后方区域图像中的立体物（三角锥和汽车的一部分）的代替图像。提取的代替图像合成在后方侧俯瞰图像上。此时，也可以使用生成了后方侧俯瞰图像的视点转换映射表或者更容易观察的着色代替图像（三角锥和汽车的一部分）的最佳的视点转换映射表，来将着色代替图像转换为俯瞰图像以后再进行合成。
另外，优选在用于与输出的着色代替图像合成的整个周围俯瞰图像的后方区域的图像（后方侧俯瞰图像部分）中，对之前决定的立体物图像区域进行抑制处理。包括含有这样生成的代替图像的后方俯瞰图像部分在内，还合成有左方俯瞰图像部分、右方俯瞰图像部分、前方俯瞰图像部分，最终生成用于在监视器上显示的整个周围俯瞰图像。
下面，基于附图，对于本发明的第二实施方式进行说明。在本实施方式中，如图10例示那样，为了构建车辆周边监视系统，在车辆上组装图像生成装置，该图像生成装置根据来自4个车载摄像头即后方摄像头1a、前方摄像头1d、左侧方摄像头1b、右侧方摄像头1c的拍摄图像和立体物检测信息制作整个周围俯瞰图像。在下面的说明中，有时适当地将这些车载摄像头1a、1b、1c、1d简单地总称为摄像头1。在进行车辆周边监视时，摄像头1所拍摄的拍摄图像或使用该拍摄图像生成的俯瞰图像显示在监视器上。
摄像头1是数字摄像头，其使用CCD（charge coupled device：电荷耦合元件）或CIS（CMOS image sensor：互补金属氧化物图像传感器）等摄像元件，按照时序拍摄每秒15～30帧的二维图像，并进行数字转换，实时输出其拍摄图像。摄像头1具有广角镜头。尤其，在本实施方式中，以在水平方向上确保140～190°的视角且相对于光轴具有大约30度左右的俯角的方式设置在车辆上。
在车辆内部设置有形成车辆周边监视系统的核心的车辆周边监视控制器20。如图11所示，该车辆周边监视控制器20具有用作车载LAN（局域网）接口的通信接口70，并且具有用于处理输入信息的微处理器和DSP（digital signal processor：数字信号处理器）。
通信接口70采用车载LAN作为数据传输线，以能够传输数据的方式与传感器输入单元25、外部通信部24、监视器21、触摸面板21T、动力转向单元PS、变速机构T、制动装置BK等控制单元相连接，其中，所述传感器输入单元25将来车辆自身状态检测传感器组的输入信号直接或者进行评价后传送至车辆周边监视控制器20的内部。另外，还具有扬声器22来作为音频信息的输出设备。
与传感器输入单元25相连接的各种传感器组用于检测驾驶操作和车辆行驶的状态等。虽然未图示，但是在传感器组中包括对转向操作方向（操舵方向）和操作量（操舵量）进行测量的转向传感器、对变速杆的变速位置进行判断的变速位置传感器、对油门踏板的操作量进行测量的油门传感器、对制动踏板的操作量进行检测的制动器传感器、对车辆自身的行驶距离进行检测的距离传感器等。
外部通信部24接收外部的通信设备所发出的电波，在外部通信部24和外部的通信设备之间传输信息或仅由外部通信部24接收信号等，使接收的通信信息在车载LAN上流动。与本发明尤其相关的通信信息是通过车与车之间通信得到的与周边车辆（识别立体物）的车种、姿势（朝向）相关的信息、用于通过旁听（监听）手机的电波来确定识别立体物为人物的情况的信息等。
车辆周边监视控制器20具有由硬件或软件或者这两者构成的各种功能部，但是在本发明中，作为尤其相关的功能部，列举了用于识别车辆周边的立体物的立体物识别模块30、图像处理模块50、显示控制部71、音频处理模块72。图像处理模块50所生成的监视器显示图像被显示控制部71转换为视频信号并发送至监视器21。音频处理模块72所生成的引导音频或紧急时刻的警告音等通过扬声器22发出。
立体物识别模块30包括：立体物检测部31，其对来自多个超声波传感器3的检测信号进行评价来进行立体物检测；立体物识别部32，其使用来自车载摄像头1的拍摄图像进行立体物的识别；脸部检测部33；通信信息处理部34。
超声波传感器3配置在车辆的前部、后部、左侧部，右侧部这些各部分中的两端处和中央处，能够通过位于车辆周边附近的物体（障碍物）的反射波来检测该物体。不仅能够通过处理各超声波传感器3中的反射波的返回时间和振幅，来推断从车辆至物体的距离和物体的大小，而且还能够通过按时序对所有的超声波传感器3的检测结果进行处理，来推断物体的移动和横向的外形形状。就立体物识别部32而言，其本身安装有公知的物体识别算法，根据输入的拍摄图像，尤其是按时序连续的拍摄图像，来识别车辆周边的立体物。为了检测立体物，可以具有立体物检测部31和立体物识别部32中的某一个，但是同时具有能够优良地对立体物的形态进行检测的立体物识别部32和能够优良地计算距立体物的距离即立体物的位置的立体物检测部31并使它们协同作业，能够进行更准确的立体物的识别。由此，立体物识别模块30输出记录有所识别的立体物的位置、姿势、大小、色调等的立体物属性信息。作为立体物检测部31，还能够应用使用了激光雷达的其它立体物检测装置。
脸部检测部33使用公知的脸部检测算法判断在识别出的立体物的立体物区域中是否包含脸部。在包含脸部的情况下，确定该立体物为人物，而且根据该脸部的朝向来推断人物的姿势、朝向侧方的姿势、朝向前方的姿势。另外，在由其它功能部推断出立体物为人物的情况下，在该立体物中没有检测到脸部的情况下，推断该人物处于朝向后方的姿势。
通信信息处理部34接收通过由外部通信部24进行的车与车之间通信所得到的周边车辆的位置、姿势（朝向）、车种、车的颜色等其它车辆信息，当推断出推断立体物为其它车辆时，将推断立体物作为汽车，获取其姿势（朝向）、车种、车的颜色等信息。
立体物识别模块30将由内置的上述功能部得到的类别、姿势、颜色等立体物的属性信息集中起来生成立体物属性信息，并将其输出至图像处理模块。
图12示出了车辆周边监视控制器20的图像处理模块50的功能框图。图像处理模块50具有生成俯瞰图像等图像的功能，所述俯瞰图像是对用于拍摄车辆自身周边的摄像头1所获取的拍摄图像进行投影转换而成的。
图像处理模块50包括拍摄图像存储器51、前处理部52、图像生成部53、立体物属性信息获取部54、图像合成部55、帧存储器56。摄像头1所获取的拍摄图像被加载（展开）在拍摄图像存储器51中，前处理部52用于调整分别被摄像头1获取的拍摄图像之间的辉度平衡和颜色平衡等。立体物属性信息获取部54接收立体物识别模块30所输出的立体物属性信息，并读取在该立体物属性信息中记录的立体物的位置、大小、颜色、姿势等各种属性信息（数据）。
图像生成部53包括俯瞰图像生成部60、代替图像输出部80，通常图像生成部66，立体物图像区域决定部67。为了将拍摄图像直接作为车辆周边图像显示在监视器上，通常图像生成部66对画质进行适当调整。作为显示在监视器上的车辆周边图像，可以是由驾驶员从后方摄像头1a、左侧方摄像头1b、右侧方摄像头1c、前方摄像头1d所拍摄的拍摄图像中选择出的1个拍摄图像，也可以是多个拍摄图像的组合。立体物图像区域决定部67根据从立体物属性信息获取部54获取的包含在立体物属性信息中的已识别出的立体物的位置信息，来决定该立体物在拍摄图像中的图像区域。此时，能够决定拍摄图像或俯瞰拍摄图像或者这两者的立体物图像区域。
俯瞰图像生成部60具有俯瞰拍摄图像生成部63，该俯瞰拍摄图像生成部63，通过视点转换处理从加载在拍摄图像存储器51中的一张或者多张拍摄图像生成俯瞰图像，而且在该实施方式中，俯瞰图像生成部60还具有俯瞰代替图像生成部64，该俯瞰代替图像生成部64，通过视点转换处理，从后面详细说明的代替图像生成俯瞰图像。此外，在该实施方式中，俯瞰拍摄图像生成部63以及俯瞰代替图像生成部64中的投影转换，是通过使用映射表（mapping table）来进行投影转换而实现的，因此，以能够选择的方式预先存储有用于在此使用的投影转换的各种映射表。在此，将由这样的以能够选择的方式存储的多个映射表形成的集合体以及逐个（单个）的映射表称为映射表62。构成映射表62的各映射表（下面，仅称为映射（map））能够以各种形式构成，在此，构成为记录了拍摄图像的像素数据与投影转换图像（通常为俯瞰拍摄图像）的像素数据之间的对应关系的映射，以及记录了代替图像的像素数据和投影转换图像的像素数据之间的对应关系的映射。尤其，在1帧的拍摄图像的各像素中记录有俯瞰拍摄图像中的目的像素坐标，在每种车载摄像头上适用不同的映射。投影转换选择部61基于从立体物属性信息中读取的属性，选择尽量与俯瞰拍摄图像协调（适合）的俯瞰代替图像生成部64的投影转换。
在俯瞰代替图像生成部64上也设定有多种投影转换。投影转换选择部61基于代替物（立体物）的类别、合成目的地的拍摄图像（俯瞰拍摄图像）的投影转换的种类（观察点位置），选择在俯瞰代替图像生成部64中执行的投影转换。此外，俯瞰代替图像生成部64还包括将输入的代替图像直接直通输出的功能。
代替图像输出部80包括检索条件设定部85、代替图像数据库82、代替图像提取部83、代替图像着色部81。在代替图像数据库82中，登记并存储有针对可能被立体物识别部32识别的立体物的类别（人物、汽车等）和立体物的姿势（朝前、朝旁、朝后等）等预先制作的图形（照片、插图等）图像来作为代替图像，并且能够通过检索条件来选择所述代替图像。检索条件设定部85基于通过立体物属性信息获取部54从立体物属性信息中读取的立体物的位置、大小、颜色、姿势等各种属性信息（数据），设定用于从代替图像数据库82提取适合的代替图像的检索条件。代替图像提取部83基于通过检索条件设定部85设定的检索条件，来从提取代替图像数据库中进行提取。代替图像着色部81基于包含在立体物属性信息中的颜色信息，对提取的代替图像进行着色。着色的方法，可以根据代替图像采用适当的方法，但是，若（对象物）是人，则也可以向分为上半身部分和下半身部分来设定的涂抹区域赋予恰当的颜色，或者将整体涂抹为恰当色。另外，也可以预先对代替图像赋予恰当色。在此，恰当色指，驾驶员观察用该颜色进行了着色的代替图像而容易想象出实际的立体物的颜色。若是三角锥，则为预先赋予的橙色或黄色，若是人物，则为从拍摄图像中得到的上衣的颜色或裙子的颜色、若是汽车，则为从拍摄图像和立体物属性信息中得到的车的颜色。
图像合成部55使俯瞰代替图像生成部64所生成的俯瞰代替图像重合在俯瞰拍摄图像的立体物图像区域上，从而进行合成。作为合成方法，并不限定于覆盖，能够采用透明的重合等。带有合成的代替图像的俯瞰图像，作为显示图像而被传送至帧存储器56，并经由显示控制部71显示在作为显示画面的监视器21的画面上。
接着，使用图13的流程图和图14的说明图，对于组装有如上述那样构成的图像生成装置的车辆周边监视系统的俯瞰图像显示的过程进行说明。
当该车辆周边监视目的的俯瞰图像显示过程开始时，首先，读取根据驾驶员的希望而手动设定或者默认设定的俯瞰图像的显示类别（＃01）。此处的俯瞰图像的显示类别，用于规定在生成车辆周边的俯瞰图像时使用的拍摄图像、假想观察点位置、生成的俯瞰图像在监视器画面上的布局等。针对使用的车载摄像头1的每个拍摄图像，设定按照读取的俯瞰图像的显示类别而在俯瞰拍摄图像生成部63中使用的投影转换所需的映射（＃02）。获取4台车载摄像头1的拍摄图像（＃03）。使用设定的各映射，从各拍摄图像生成俯瞰图像部分（＃04）。将生成的俯瞰图像部分组合，并且在车辆自身位置上配置预先设定的车辆的俯瞰图形图像（可以为插图或符号），从而生成显示用的俯瞰图像（＃05）。
与执行上面的过程平行地，还执行立体物属性信息制作过程。首先，判断是否由立体物识别模块30在拍摄区域中识别了立体物（＃20）。在识别了立体物的情况下（＃20，“是”的分支），推算该立体物的位置（＃21）。然后，进行立体物的类别、姿势检测处理（＃22）。在该类别、姿势检测处理中例如存在脸部检测处理和车与车之间通信处理。在脸部检测处理中，对拍摄图像中的识别的立体物的区域进行脸部检测，若检测到脸部，则确定该立体物为人，而且还能够根据该脸部的朝向推断人物的朝前或者朝旁等姿势。在车与车之间通信处理中，若与立体物实现车与车之间通信，则确定该立体物为汽车，而且还能够得到该车辆位置或车辆的朝向、车种（车辆形式）等汽车属性值。在该类别、姿势检测处理中，在不能确定立体物的类别等的情况下，视为该立体物的类别不定、姿势不定。基于类别、姿势检测处理的结果，制作立体物属性信息（＃23）。在未识别立体物的情况（＃20，“否”的分支）下，当然不制作立体物属性信息，但是无论怎样，在该阶段都输出有无属性信息通知（＃24）。
在此，当返回俯瞰图像显示过程时，根据上述的有无属性信息通知，判断是否输出了立体物属性信息（＃06）。在未输出立体物属性信息的情况（＃06，“否”的分支）下，视为在哪个拍摄图像中都不存在应该注意的立体物，直接使用在步骤＃05中生成的俯瞰拍摄图像来生成俯瞰显示图像（＃15）。将生成的俯瞰显示图像显示在监视器21上（＃16），只要没有结束该俯瞰图像显示过程的指令（＃17“否”的分支），就再次返回步骤＃01来反复该过程。
在步骤＃06中判断为用立体物识别模块30制作了立体物属性信息的情况（＃06，“是”的分支）下，视为在拍摄图像中存在应该注意的立体物，获取立体物属性信息，读取包含在立体物属性信息中的与识别的立体物相关的位置、类别、姿势、颜色、大小等数据（＃07）。基于读取的与立体物的位置相关的数据，决定该立体物在俯瞰拍摄图像中的图像区域（＃08）。
接着，基于读取的立体物的属性信息，设定用于提取适当的代替图像的检索条件（＃09）。使用该检索条件从代替图像数据库82中提取代替图像，并将其加载在存储器中（＃10）。根据需要，对提取的代替图像进行图像加工（＃11）。图像加工包括使提取的代替图像的大小与立体物图像区域的大小一致的扩缩处理，和基于包含在立体物属性信息中的颜色信息来对代替图像的预先决定的着色区域进行着色的着色处理等。此外，包含在立体物属性信息中的颜色信息基于包含在拍摄图像中的立体物的像素值，因此，根据照明条件等不同，可能存在无法检测到具有本来的立体物的特征的颜色。在该着色处理中，在判断为产生了这样的事情的情况下，强调对代替图像进行着色的颜色。另外，也可以对代替图像实施如强调代替图像的轮廓等的形状明确化处理。
进行了着色的代替图像，基于对拍摄图像实施的投影转换的种类（观察点位置）和被代替图像代替的立体物的类别、姿势等，选择最佳的投影转换，并将该映射数据设定在俯瞰代替图像生成部64中（＃12），从而对代替图像进行投影转换（＃13）。当然，也可以设定直通用映射数据，至少生成不实施投影转换的代替图像。接着，俯瞰代替图像重合在俯瞰拍摄图像的立体物图像区域中，从而进行合成（＃14）。这样生成的最终的车辆周边的俯瞰图像，作为图14所示那样的俯瞰显示图像（＃15），并显示在监视器21中（＃16）。最后，判断该过程的结束，例如判断是否输入了使该后方监视过程中止的指令（＃17），只要继续进行该后方监视（＃17，“否”的分支），就返回步骤＃01来反复上述过程。
3.其它实施方式
（1）在上述的实施方式中，举出了在4个摄像头1所获取的拍摄图像中的一个拍摄图像中存在应该注意的一个立体物的例子，但是也能够考虑到，在相邻的摄像头视场的边界区域中，应该注意的一个立体物存在于多个拍摄图像中的情况。因此，在为了拍摄车辆整个周围而设置多个车载摄像头的实施方式中，在立体物包含在两个以上的摄像头的拍摄图像中的情况下，优选为了生成立体物俯瞰图像而提取具有面积更大的立体物区域的立体物图像。
（2）也可以在摄像俯瞰图像中合成多个立体物即多个代替图像，来作为应该注意的立体物。
（3）在上述的第一实施方式中，仅将立体物图像置换为着色代替图像，但是在评价了立体物的移动方向的情况下，优选以还能够视觉辨认该立体物的移动方向的方式显示着色代替图像。因此，如图15所示那样，也可以采用附加了用于示出立体物的移动方向的余像的代替图像。另外，如图16所示那样，也可以采用附加了用于示出立体物的移动方向的箭头的代替图像。
（4）在上述的第一实施方式中，作为立体物检测方法，提示了使用了超声波的立体物检测和通过图像识别进行的立体物检测的某一种或者它们的组合，但是当然除了这些之外的立体物检测方法，例如，使用激光雷达法或红外线法的情况也属于本发明的范围内。
（5）在上述的第二实施方式中，作为俯瞰显示图像，采用了使用了来自4个拍摄图像的正上方观察点的俯瞰图像。也可以将对一个拍摄图像进行视点转换来得到的俯瞰图像作为俯瞰显示图像来代替上述图像。
产业上的可使用性
本发明能够用于使用俯瞰图像来监视车辆周边的所有系统中。
附图标记的说明
21：监视器
24：外部通信部（车与车之间通信部）
30：立体物检测模块
31：立体物检测部
32：立体物识别部
33：脸部检测部
34：通信信息处理部
50：图像处理模块
53：图像生成部
54：立体物属性信息获取部
55：图像合成部
60：俯瞰图像生成部
61：通常图像生成部
62：映射表
63：俯瞰拍摄图像生成部
64：俯瞰代替图像生成部
65：立体物俯瞰图像生成部
67：立体物图像区域决定部
80：代替图像输出部
81：代替图像着色部
82：代替图像数据库
83：代替图像提取部
84：颜色强调指示部
85：检索条件设定部

Claims (12)

1.一种图像生成装置，将俯瞰图像作为显示图像输出，该俯瞰图像，是以上方假想观察点对用于拍摄车辆的周边区域的至少一个车载摄像头所获取的拍摄图像进行投影转换来生成的，该图像生成装置的特征在于，
具有：
立体物识别部，其识别在所述周边区域存在的立体物，输出用于表示该立体物的属性的立体物属性信息；
立体物图像区域决定部，其基于包含在所述立体物属性信息中的位置信息，决定所述立体物在所述拍摄图像中的图像区域即立体物图像区域；
代替图像输出部，其输出第一代替图像和第二代替图像中的至少一种，所述第一代替图像是用基于包含在所述立体物属性信息中的颜色信息的颜色进行着色的所述立体物的代替图像，所述第二代替图像是基于包含在所述立体物属性信息中的类别信息和姿势信息而确定了立体物的确定的朝向姿势的所述立体物的代替图像；
图像合成部，其生成带有代替图像的俯瞰图像，该带有代替图像的俯瞰图像，是在所述立体物图像区域的位置上生成合成由所述代替图像输出部输出的代替图像而成的；
当所述代替图像输出部输出用基于所述颜色信息的颜色进行着色的所述立体物的代替图像时，所述代替图像输出部将所述立体物在从路面的高度方向或者横向上进行分割，用各区域的平均色或者代表色分割代替图像，并分成相对应的颜色来进行着色，或者
当所述代替图像输出部输出基于所述类别信息和所述姿势信息而确定了立体物的确定的朝向姿势的所述立体物的代替图像时，在所述立体物包含在两个以上的所述车载摄像头的拍摄图像中的情况下，所述立体物识别部提取具有面积更大的立体物区域的立体物图像。
2.根据权利要求1所述的图像生成装置，其特征在于，
所述代替图像输出部包括：
代替图像数据库，其用于存储基于颜色信息的所述立体物的代替图像；
代替图像提取部，其基于包含在所述立体物属性信息中的立体物类别信息，从该代替图像数据库中提取所述立体物的代替图像；
代替图像着色部，其用基于包含在所述立体物属性信息中的颜色信息的颜色，对该代替图像提取部所提取的代替图像进行着色。
3.根据权利要求2所述的图像生成装置，其特征在于，
所述代替图像着色部，基于所述颜色信息来决定具有所述立体物的特征的多个颜色，并用多个颜色涂抹所述代替图像。
4.根据权利要求2所述的图像生成装置，其特征在于，
还具有颜色强调指示部，
该颜色强调指示部，基于所述立体物属性信息来输出颜色强调指示，该颜色强调指示用于指示对由所述代替图像着色部对所述代替图像进行着色的颜色进行强调。
5.根据权利要求3所述的图像生成装置，其特征在于，
还具有颜色强调指示部，
该颜色强调指示部，基于所述立体物属性信息来输出颜色强调指示，该颜色强调指示用于指示对由所述代替图像着色部对所述代替图像进行着色的颜色进行强调。
6.根据权利要求1至5中任一项所述的图像生成装置，其特征在于，
与所述代替图像一起赋予用于表示所述立体物的移动方向的图像。
7.根据权利要求6所述的图像生成装置，其特征在于，
用于表示所述移动方向的图像，是与所述立体物的移动相对应的所述代替图像的余像。
8.根据权利要求6所述的图像生成装置，其特征在于，
用于表示所述移动方向的图像为箭头。
9.根据权利要求1所述的图像生成装置，其特征在于，
所述代替图像输出部包括：
代替图像数据库，其用于存储基于类别信息和姿势信息的所述立体物的代替图像；
代替图像提取部，其将包含在所述立体物属性信息中的类别信息以及姿势信息作为检索条件，从该代替图像数据库中提取所述代替图像。
10.根据权利要求1所述的图像生成装置，其特征在于，
在所述立体物识别部中，具有用于检测人的脸部的脸部检测部，基于所述脸部检测部的检测结果，在类别信息中设定表示所识别的立体物为人物的信息，并且，在所述姿势信息中设定朝向前方的姿势、朝向后方的姿势、朝向侧方的姿势中的某一种。
11.根据权利要求1所述的图像生成装置，其特征在于，
在所述立体物识别部中，基于通过车与车之间的通信而得到的车与车之间通信信息，在类别信息中设定表示所识别的立体物为汽车的信息，并且，在所述姿势信息中设定朝向前方的姿势、朝向后方的姿势、朝向侧方的姿势中的某一种。
12.根据权利要求1所述的图像生成装置，其特征在于，
还具有俯瞰拍摄图像生成部，
该俯瞰拍摄图像生成部，使用投影转换，从覆盖所述车辆的周围的拍摄方向各不相同的多个拍摄图像中生成车辆周围的俯瞰拍摄图像，
所述图像合成部，对所述俯瞰拍摄图像的所述立体物图像区域赋予所述代替图像。
CN201280028252.4A 2011-06-09 2012-05-23 图像生成装置 Expired - Fee Related CN103609100B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-129323 2011-06-09
JP2011129323A JP5516998B2 (ja) 2011-06-09 2011-06-09 画像生成装置
JP2011129322A JP5516997B2 (ja) 2011-06-09 2011-06-09 画像生成装置
JP2011-129322 2011-06-09
PCT/JP2012/063188 WO2012169355A1 (ja) 2011-06-09 2012-05-23 画像生成装置

Publications (2)

Publication Number Publication Date
CN103609100A CN103609100A (zh) 2014-02-26
CN103609100B true CN103609100B (zh) 2017-09-29

Family

ID=47295923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280028252.4A Expired - Fee Related CN103609100B (zh) 2011-06-09 2012-05-23 图像生成装置

Country Status (4)

Country Link
US (1) US9672432B2 (zh)
EP (1) EP2720458A4 (zh)
CN (1) CN103609100B (zh)
WO (1) WO2012169355A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
WO2014017104A1 (ja) * 2012-07-27 2014-01-30 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3010761B1 (en) 2013-06-21 2019-07-24 Magna Electronics Inc. Vehicle vision system
JP6208260B2 (ja) 2013-12-26 2017-10-04 株式会社日立製作所 物体認識装置
JP6307895B2 (ja) 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
EP3154024B1 (en) * 2014-06-03 2023-08-09 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
CN106462961B (zh) * 2014-06-03 2021-04-09 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
KR101603609B1 (ko) * 2014-07-15 2016-03-28 현대모비스 주식회사 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
US10097772B2 (en) * 2014-10-31 2018-10-09 Mitsubishi Electric Corporation Image processing device and image processing method
CN107004362B (zh) * 2014-11-26 2018-11-23 三菱电机株式会社 驾驶辅助装置及驾驶辅助方法
KR101629577B1 (ko) * 2014-12-10 2016-06-13 현대오트론 주식회사 카메라를 이용한 모니터링 방법 및 장치
JP6292320B2 (ja) * 2014-12-25 2018-03-14 株式会社Ｊｖｃケンウッド 表示システム
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US9922220B2 (en) * 2015-06-11 2018-03-20 Digimarc Corporation Image block selection for efficient time-limited decoding
US10593007B1 (en) * 2015-06-11 2020-03-17 Digimarc Corporation Methods and arrangements for configuring industrial inspection systems
US9959765B2 (en) * 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
US10410513B2 (en) * 2015-07-20 2019-09-10 Dura Operating, Llc Fusion of non-vehicle-to-vehicle communication equipped vehicles with unknown vulnerable road user
JP6444835B2 (ja) 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP6759899B2 (ja) * 2016-09-08 2020-09-23 アイシン精機株式会社 車両用画像処理装置
CN108422932B (zh) * 2017-02-15 2021-06-01 奥迪股份公司 驾驶辅助系统、方法和车辆
US10740972B2 (en) * 2017-04-28 2020-08-11 Harman International Industries, Incorporated System and method for presentation and control of augmented vehicle surround views
FR3067999B1 (fr) * 2017-06-23 2019-08-02 Renault S.A.S. Procede d'aide a la conduite d'un vehicule automobile
JP2019012915A (ja) 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
US20190108578A1 (en) 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10284789B2 (en) * 2017-09-15 2019-05-07 Sony Corporation Dynamic generation of image of a scene based on removal of undesired object present in the scene
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) * 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
JP6809495B2 (ja) * 2018-03-05 2021-01-06 株式会社デンソー 画像作成装置
DE102018205965A1 (de) * 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Kennzeichnen einer Person
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
JP7115300B2 (ja) 2018-12-26 2022-08-09 株式会社デンソー 画像生成装置及び画像表示システム
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11662196B2 (en) 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
EP3809313A1 (en) * 2019-10-16 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. A vehicle parking finder support system, method and computer program product for determining if a vehicle is at a reference parking location
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
CN115205311B (zh) * 2022-07-15 2024-04-05 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
WO2009151053A1 (ja) * 2008-06-10 2009-12-17 日産自動車株式会社 駐車支援装置及び駐車支援方法
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996017324A1 (fr) * 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
CN1181357C (zh) * 2000-01-13 2004-12-22 同致电子企业股份有限公司 具有多路显示功能的倒车雷达装置
EP1291668B1 (en) 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP3606853B2 (ja) * 2001-09-07 2005-01-05 松下電器産業株式会社 車両周囲状況表示装置
JP4161769B2 (ja) * 2003-03-31 2008-10-08 カシオ計算機株式会社 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP4432801B2 (ja) * 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2008182312A (ja) * 2007-01-23 2008-08-07 Xanavi Informatics Corp 撮像画像表示装置
JP4939968B2 (ja) 2007-02-15 2012-05-30 株式会社日立製作所 監視画像処理方法、監視システム及び監視画像処理プログラム
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
WO2009014156A1 (en) * 2007-07-20 2009-01-29 Fujifilm Corporation Image processing apparatus, image processing method and program
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP4930441B2 (ja) * 2008-04-09 2012-05-16 トヨタ自動車株式会社 運転支援装置
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
US20100201508A1 (en) * 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
JP5165631B2 (ja) 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
US8547215B2 (en) * 2010-11-24 2013-10-01 Denso Corporation Information presentation apparatus and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978695A (zh) * 2008-05-14 2011-02-16 爱信精机株式会社 周边监视装置
WO2009151053A1 (ja) * 2008-06-10 2009-12-17 日産自動車株式会社 駐車支援装置及び駐車支援方法
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法

Also Published As

Publication number Publication date
EP2720458A4 (en) 2015-02-25
CN103609100A (zh) 2014-02-26
WO2012169355A1 (ja) 2012-12-13
EP2720458A1 (en) 2014-04-16
US9672432B2 (en) 2017-06-06
US20140063197A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
CN103609100B (zh) 图像生成装置
CN103299617B (zh) 图像生成装置
JP7081835B2 (ja) 車両制御のためのリアルタイムｈｄｒビデオ
EP2739050B1 (en) Vehicle surroundings monitoring system
CN103988499B (zh) 车辆周边监视装置
CN101489117B (zh) 图像显示装置和方法
JP5516998B2 (ja) 画像生成装置
CN108027238A (zh) 成像装置
CN107850668A (zh) 测距模块、测距系统和控制测距模块的方法
CN107615749A (zh) 信号处理装置和成像装置
WO2005084027A1 (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
CN103609101A (zh) 车辆周边监视装置
JP5870608B2 (ja) 画像生成装置
CN108621943A (zh) 用于在车辆电子显示器上动态显示图像的系统和方法
US20110157184A1 (en) Image data visualization
KR20090031997A (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP5516997B2 (ja) 画像生成装置
JP2011251681A (ja) 映像表示装置及び映像表示方法
WO2021060120A1 (ja) 撮像装置
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
JP2010283718A (ja) 車両周辺画像提供装置
JP2013100057A (ja) 運転支援装置
JP2017022492A (ja) 画像処理装置およびこれを備えた交通管理システム、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929

Termination date: 20210523