CN103733613A - 车辆周边监视系统 - Google Patents
车辆周边监视系统 Download PDFInfo
- Publication number
- CN103733613A CN103733613A CN201280037054.4A CN201280037054A CN103733613A CN 103733613 A CN103733613 A CN 103733613A CN 201280037054 A CN201280037054 A CN 201280037054A CN 103733613 A CN103733613 A CN 103733613A
- Authority
- CN
- China
- Prior art keywords
- eye view
- view image
- border
- fusion
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 24
- 240000004050 Pentaglottis sempervirens Species 0.000 abstract 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 abstract 8
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 3
- 102100037060 Forkhead box protein D3 Human genes 0.000 description 2
- 101001029308 Homo sapiens Forkhead box protein D3 Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种车辆周边监视系统，该车辆周边监视系统针对在利用多个拍摄图像生成的俯瞰图像的重复区域出现的物体，使驾驶人员容易理解拍摄该物体的拍摄方向。通过将利用局部重复地拍摄的多个拍摄图像来生成的俯瞰图像区段以使相互之间的重复区域重叠的方式进行合并来生成显示用俯瞰图像。在显示显示用俯瞰图像时，将在俯瞰图像的重复区域赋予了边界指标的带有边界的俯瞰图像显示在显示部上之后，再显示利用将俯瞰图像的重复区域以预先设定的融合关系进行融合得到的融合重复图像来生成的融合俯瞰图像。
Description
技术领域
本发明涉及一种车辆周边监视系统，该车辆周边监视系统，以使车辆周边的景色在车辆周围方向上局部重复的方式拍摄得到拍摄图像，利用该拍摄图像来生成俯瞰图像区段（segment），并在显示部上显示显示用俯瞰图像，该显示用俯瞰图像是组合该俯瞰图像区段而使该俯瞰图像区段相互之间的重复区域相重叠而生成的。
背景技术
在以往的生成俯瞰图像的车辆周边监视系统中，一般地，将由车载摄像头拍摄得到的图像投影到与路面平行的投影面上。即，通过进行使假想视点位于铅直上方的投射转换来生成从正上方观察的俯瞰图像。通过将该俯瞰图像显示在显示器上，能够使驾驶人员良好地监视车辆周边的路面状况，特别地能够良好地监视路面上存在的障碍物。然而，因为该车载摄像头利用广角镜头，所以在通过投射转换得到的俯瞰图像上，与摄像头的附近区域相比在远方区域图像的失真变得更大，从而存在驾驶人员难以掌握障碍物的方向这样的问题。
例如，配置在路面上并向上方延伸的立体物（人、车以及施工用三角锥等的路上立体物）会成为在各摄像头的拍摄方向上被拉长变形（被拉长失真）的形状体。特别地，在合成利用各拍摄图像生成的俯瞰图像区段时，若仅单纯地融合（合成）相互之间的重复区域，则立体物的映像在各自的拍摄方向上被拉长而形成两个立体物，从而变得更加难以辨认。
为了缓解上述问题，在专利文献1所述的车辆周边监视装置中，利用摄像区域重复的多个摄像单元，对自身车辆的周围的映像进行摄像。通过将摄像得到的多个摄像图像进行转换来生成多个俯瞰图像，并计算所述多个俯瞰图像之间的差分。由此，在所述重复区域上确定图像一致的一致区域和图像不一致的不一致区域。通过用多种方法合成所述一致区域和所述不一致区域，来生成输出图像并显示给驾驶人员。通过用不同的多种方法合成该一致区域和不一致区域来生成输出图像，由此试图解决在重复区域难以辨认图像的问题。然而，在这样生成的俯瞰图像上，由于不知道重复区域和非重复区域之间的边界，因而难以判断位于重复区域的物体的映像是由哪个摄像头拍摄得到的。其结果，存在难以掌握在重复区域出现的物体（障碍物）的位置这样的问题。
在专利文献2中，记载了具有以下两个功能的车辆周围监视装置，这些功能是指：在合成由相邻的摄像头拍摄得到的两个拍摄图像时产生的接缝部分，描画接缝覆盖图案（在图中用粗直线表示）的功能；针对两个拍摄图像的重复区域的像素，交替选择相互对应的像素来生成平均图像的功能。
进而，在该专利文献2中，还记载有在由超声波型的障碍物检测传感器在该接缝部分检测出障碍物的情况下通过使该接缝覆盖图案闪烁来促使驾驶人员注意的功能。即，由于将接缝部分作为拍摄图像上的死角来掩盖了该接缝部分，因而不显示接缝部分的俯瞰图像。因此，在未安装有障碍物检测传感器的情况下，驾驶人员不能在显示画面上以视觉辨认在接缝部分存在的障碍物。另外，即使安装有障碍物检测传感器，也由于仅使接缝覆盖图案闪烁，因而驾驶人员难以在显示画面上视觉辨认在接缝部分存在的障碍物。
现有技术文献
专利文献
专利文献1：日本特开2007-27948号公报（段落编号0011-0057、图8）
专利文献2：日本特开2003-169323号公报（段落编号0026-0052、图5、图6）
发明内容
发明要解决的问题
车辆周边的俯瞰图像是通过对摄像图像进行从上方视点观察的视点转换处理来形成俯瞰图像区段之后再合成这些俯瞰图像区段来得到的。若进行视点转换处理，则对路面等的位于同一拍摄平面上的物体进行同样的转换，能够获得没有不协调感的图像，但是对于具有从该拍摄平面竖起的高度的物体，则会进行与对位于拍摄平面上的物体进行的转换不同的转换。因此，在显示出表示各俯瞰图像区段的边界的边界指标的情况下，边界指标使边界上的物体的外形急剧变化而产生不协调感。特别地，在物体为细长立体物的情况下，还会导致该物体在边界附近完全消失。另外，在融合（合成）了重复区域的情况下，可改善那样的立体物的消失程度，但物体的投影像在各拍摄方向上延伸而导致出现重影，仍然导致产生不协调感。另外，在应融合的重复区域的数据量较大的情况下，该融合处理的运算负荷变大而处理时间变长。
鉴于上述实际情况，要求如下的车辆周边监视系统，即，通过显示如全景图像那样的具有连续性的俯瞰图像，不仅使驾驶人员容易监视车辆周边，还能够容易识别出在根据多个拍摄图像而生成的俯瞰图像区段的重复区域中出现的物体。
用于解决问题的手段
本发明的车辆周边监视系统的特征在于，具有：俯瞰图像生成部，其根据以在车辆周围方向上局部重复的方式拍摄得到的多个拍摄图像，来生成俯瞰图像区段；边界指标赋予部，其对所述俯瞰图像区段的重复区域赋予边界指标，该边界指标表示相邻的所述俯瞰图像区段的边界区域；融合部，其以预先设定的融合关系，在所述多个俯瞰图像区段中对相互重复的重复区域进行融合，从而生成融合重复图像；显示用俯瞰图像生成部，其生成具有所述边界指标的带有边界的俯瞰图像及具有所述融合重复图像的融合俯瞰图像，来作为显示用俯瞰图像；显示部，其显示所述显示用俯瞰图像；显示图像决定部，其使所述显示部在显示了所述带有边界的俯瞰图像之后显示所述融合俯瞰图像。
在该结构中，对于在显示部上显示的显示用俯瞰图像，准备了带有边界的俯瞰图像和融合俯瞰图像这两种图像。带有边界的俯瞰图像中包含表示各拍摄图像的边界区域的边界指标。优选地将使俯瞰图像上的各拍摄图像的分布清楚的如区划线那样的结构，作为该边界指标。也可以取代该边界指标，而融合俯瞰图像将利用各拍摄图像生成的俯瞰图像区段通过融合其重复区域来进行合成，因而是如全景图像那样的连续连接的图像。进而，在显示了带有边界的俯瞰图像之后显示融合俯瞰图像，因而驾驶人员能够通过最初的边界指标来理解拍摄方向的边界。在该状态下通过从带有边界的俯瞰图像切换显示融合俯瞰图像，驾驶人员能够通过如全景图像那样的具有连续性的融合俯瞰图像来容易监视车辆周边。而且，由于还记忆着俯瞰图像上的拍摄方向的边界，因而还能够容易理解在重复区域出现的物体的拍摄方向。
在本发明的优选的实施方式之一中，通过直接使用一个俯瞰图像区段的重复区域来生成所述带有边界的俯瞰图像，将所述带有边界的俯瞰图像上的所述重复区域置换为由所述融合部生成的融合重复图像，从而生成所述融合俯瞰图像。
在该结构中，首先显示能够通过简单的视点转换处理和合成来生成的带有边界的俯瞰图像，因而在这期间内能够生成用于融合重复图像的映射表。因此，在每当起动系统时生成在进行俯瞰图像转换及融合处理时使用的转换表的情况下，对于起动时的进行融合处理时的运算，产生时间余量，因而具有不需要增加成本的高速的运算单元或大容量的ROM（只读存储器）的优点。
另外，在能够以足够的速度执行融合处理运算的情况下，重要的不是在生成了融合重复图像的同时取代带有边界的俯瞰图像而显示融合俯瞰图像来作为显示用俯瞰图像，而重要的是要确保将带有边界的俯瞰图像显示给驾驶人员的适当时间。为此，优选地，使所述显示图像决定部在从显示作为所述显示用俯瞰图像的所述带有边界的俯瞰图像开始经过了之前设定的时间之后，显示所述融合俯瞰图像作为显示用俯瞰图像。
为了不产生不协调感而顺畅地进行从带有边界的俯瞰图像的显示向融合俯瞰图像的显示进行切换，从而来作为所述显示用俯瞰图像的处理，提出的优选的一个方式是，从正在显示带有边界的俯瞰图像的状态开始从车辆附近开始以同心圆状依次切换为所述融合重复图像。由于获取车辆周边的拍摄图像的车载摄像头一般安装在车辆的周围缘端，因而在如用摄像头扫描自身车辆周边那样将带有边界的俯瞰图像的重复区域从车辆附近开始以同心圆状切换融合重复图像时，可实现视觉上顺畅的图像切换。
另一方式是从正在显示带有边界的俯瞰图像的状态开始切换为融合俯瞰图像时从边界指标的区域开始依次切换为融合重复图像的方式。随着从带有边界的俯瞰图像向融合俯瞰图像移行而使边界指标闪烁，但在该方式中，从该边界指标的图像区域开始进行图像切换之后融合重复图像不断地扩展，因而具有使驾驶人员容易意识到要留下记忆的边界指标的位置这样的优点。
在从正在显示带有边界的俯瞰图像的状态开始向融合重复图像切换时，要给驾驶人员留下记忆的是，在最终显示的融合俯瞰图像上的用此前显示的边界指标表示的带有边界的俯瞰图像的区划。因此，在从作为所述显示用俯瞰图像的所述带有边界的俯瞰图像的显示向所述融合俯瞰图像的显示进行切换过程中，强调显示所述边界指标的方法很有意义。
另外，由于在融合俯瞰图像上也以某种显示方式暗示边界的存在，因而在从所述带有边界的俯瞰图像切换的所述融合俯瞰图像上，也可以赋予与所述显示用俯瞰图像的边界指标的显示方式不同的显示方式的边界指标。优选半透明性、点线、仅表示边界线的一部分的部分线等，作为在带有边界的俯瞰图像上赋予的显示方式的边界指标（边界线）。进而，也可以利用合并了半透明性、点线、仅表示边界线的一部分的部分线的显示方式。
还提出了如下的结构作为用于迅速地生成所述带有边界的俯瞰图像的优选的实施方式，该结构是指，在生成所述多个俯瞰图像区段相互重复的重复区域时，不进行融合处理等的运算处理，而是按照原样利用某一个俯瞰图像区段的对应区域或者使各自的俯瞰图像区段相互一起分担该重复区域，由此不对重复区域进行融合处理的结构。
进而，在采用在所述车辆周边监视系统起动之后显示所述带有边界的俯瞰图像这样的结构时，因为最初看到所述带有边界的俯瞰图像，所以即使画面切换为融合重复图像，俯瞰图像上的拍摄方向的边界还留在记忆里，因此这很方便。
附图说明
图1是图解生成显示用俯瞰图像的过程的示意图，该显示用俯瞰图像，是通过对俯瞰图像区段（segment）进行合成从而使俯瞰图像区段相互之间的重复区域重叠，该俯瞰图像区段是根据车辆周边区域的拍摄图像而生成的。
图2是示出了隔着时间差（一定时间）而显示带有边界的俯瞰图像和融合俯瞰图像来作为显示用俯瞰的情况的示意图。
图3是图解了整个周围俯瞰图像的生成顺序的示意图，该整个周围俯瞰图像是安装了本发明的车辆周边监视系统的一个例子的车辆在进行纵向停车时显示在显示器上的图像。
图4是车辆周边监视系统的功能框图。
图5是根据拍摄图像生成包含俯瞰图像的各种显示画面的图像处理模块的功能框图。
图6是示出了车辆周边监视系统的显示俯瞰图像的流程的流程图。
图7是示出了作为边界指标的边界线的其他实施方式的说明图。
图8是示出了作为边界指标的边界线的其他实施方式的说明图。
图9是示出了作为边界指标的边界线的其他实施方式的说明图。
具体实施方式
在说明本发明的车辆周边监视系统的具体实施方式之前，先说明其基本原理。图1示意性示出了生成显示用俯瞰图像的过程，针对根据多个拍摄图像而生成的俯瞰图像区段，以使这些俯瞰图像区段相互之间的重复区域重叠的方式进行合成，从而生成显示用俯瞰图像，所述多个拍摄图像是以使车辆周边景色在车辆周围方向上局部重复的方式拍摄车辆周边景色而得到的。最终显示在显示部（显示器）上的显示用俯瞰图像的形态，包括带有边界的俯瞰图像和融合俯瞰图像这两种。
此外，一般至少利用前后左右的四个摄像头，以将车辆全周的周边区域包含在显示用俯瞰图像中。通过将根据利用各摄像头所获取的四个拍摄图像而生成的俯瞰图像区段进行合并，来生成整个周围俯瞰图像，将其作为显示用俯瞰图像的基本俯瞰图像。在图1中，为了避免附图的复杂化，简化成主要利用由前方摄像头（在此称为第一摄像头）和左侧方摄像头（在此称为第二摄像头）拍摄得到的第一拍摄图像和第二拍摄图像来生成显示用俯瞰图像的过程。根据该图1和其说明，能够容易地推定出以车辆为中心的整个周围俯瞰图像的生成过程。
为了生成显示用俯瞰图像，首先利用车载摄像头拍摄车辆周边。在图1中利用将车辆前方作为拍摄区域的第一摄像头和将车辆左侧方作为拍摄区域的第二摄像头来拍摄车辆周边（#01）。根据由第一摄像头所获取的第一拍摄图像和第二摄像头所获取的第二拍摄图像，来进行将投影面设定为与路面平行的面的投射转换处理，即，进行在正上方设定假想视点的视点转换（#02）。通过该投射转换处理，能够根据各拍摄图像来得到第一俯瞰图像区段和第二俯瞰图像区段，这些俯瞰图像区段是从其拍摄区域的车辆正上方观察的俯瞰图像（#03）。
将第一摄像头和第二摄像头设定为具有相互重复的拍摄区域（重复拍摄区域）。其结果，第一拍摄图像和第二拍摄图像中包含重复区域，第一俯瞰图像区段和第二俯瞰图像区段中也包含重复区域。为了得到第一摄像头和第二摄像头的车辆周围的俯瞰图像，将第一俯瞰图像区段和第二俯瞰图像区段以使相互之间的重复区域重叠的方式进行合成。此外，就该合成处理而言，在生成带有边界的俯瞰图像的情况和生成融合俯瞰图像的情况下存在差异。
在用于生成带有边界的俯瞰图像的一个方法中，直接应用第一拍摄图像和第二拍摄图像中的某一个拍摄图像的重复区域。在另一个方法中，将作为重复区域的等分线的边界线作为边界，对第一拍摄图像侧的区域应用第一拍摄图像的重复区域，对第二拍摄图像侧的区域应用第二拍摄图像的重复区域。即，此时不进行融合（blend，合成）处理，而仅通过图像剪切及粘贴等来生成重复区域。任何方法都只是图像移动，因而能够高速进行处理。在合成俯瞰图像区段得到的合成图像上进一步添附车辆插图图像和边界指标。
车辆插图图像是基于从上方拍摄车辆得到的照片或插图来预先作成准备的。边界指标是在显示用俯瞰图像上的重复区域表示的第一俯瞰图像区段和第二俯瞰图像区段之间的边界区域，例如，能够采用使重复区域二等分的边界线的方式。通过在俯瞰图像区段的合成图像上进一步表示车辆插图图像和边界指标，来生成带有边界的俯瞰图像（#04）。最初将该带有边界的俯瞰图像显示在显示器上，作为显示用俯瞰图像的初始图像（#05）。
在生成融合俯瞰图像作为显示用俯瞰图像的情况下，以规定的融合比例融合（合成）第一俯瞰图像区段和第二俯瞰图像区段的相互之间的重复区域（#11）。在各重复区域，如果将离拍摄中心线越近的像素看做要生成清楚的拍摄影像的重要的像素，则优选使位于离第一摄像头的拍摄中心线近且离第二摄像头的拍摄中心线远的位置的像素，较大（更多）地承继第一俯瞰图像区段的像素的特征。相反地，优选使位于离第二摄像头的拍摄中心线近且离第一摄像头的拍摄中心线远的位置的像素，较大（更多）地承继第二俯瞰图像区段的像素的特征。然而，为了得到视觉辨认性更高的重复区域的图像，还需要对第一俯瞰图像区段和第二俯瞰图像区段的像素成分进行平均化的区域。
为了实现该技术，在此，利用如用下面的计算式表示的融合函数B，来导出第一俯瞰图像区段和第二俯瞰图像区段的融合比例α。
α＝B（L），
在0＜L≤a的定义域（domain），B是以平均变化率或恒定变化率λ1增加的函数，
在b＜L≤最大值的定义域，B是以平均变化率或恒定变化率λ3增加的函数，
在a＜L≤b的定义域，B是以比λ1及λ3更小的变化率λ2增加的函数，或是恒定的函数，
在此，L是与各摄像头的视场界限线或各拍摄中心线相距的距离，或者是围绕视场界限线交点的角度，在该说明书中将它们统称为“拍摄偏差”。例如，若将重复区域看做平面直角坐标，用与第一视场界限线相距的距离p1和与第二视场界限线相距的距离p2来表示关注像素时，能够L表示为L＝p1/p2。另外，若用极坐标表示重复区域，关注像素的偏角为θ时，L表示为L＝θ。
以通过函数导出的融合比例，来融合第一俯瞰图像区段和第二俯瞰图像区段之间的重复区域。利用融合得到的重复区域、第一俯瞰图像区段和第二俯瞰图像区段来生成融合俯瞰图像（#12）。就融合俯瞰图像而言，通过在带有边界的俯瞰图像上将其重复区域置换成融合得到的重复区域来将该融合俯瞰图像显示在显示器上（#13）。
即，如图2所示，在本发明的车辆周边监视系统中，最初显示带有边界的俯瞰图像，之后显示融合俯瞰图像，来作为显示在显示器上的显示用俯瞰图像。
下面，基于附图说明本发明的具体的实施方式。图3是图解说明整个周围俯瞰图像的生成顺序的示意图，该整个周围俯瞰图像是安装了本发明的车辆周边监视系统的一个例子的车辆在通过后退纵向停车时为了监视周边而显示在显示器上的图像。图4是将车辆周边监视控制器20作为核心要素的车辆周边监视系统的功能框图。图5是为了监视周边而利用拍摄图像生成包含俯瞰图像的各种显示画面的图像处理模块的功能框图。
在本实施方式的车辆周边监视系统中，利用由四个车载摄像头1即前方摄像头（第一摄像头）11、左侧方摄像头（第二摄像头）12、右侧方摄像头（第三摄像头）13及后方摄像头（第四摄像头）14拍摄得到的拍摄图像来作成覆盖车辆的整个周围的显示用俯瞰图像，并将其显示在显示器21上。在下面的说明中，适宜地将这些车载摄像头11、12、13、14简单地统称为摄像头1。生成带有边界的俯瞰图像和融合俯瞰图像作为显示用俯瞰图像，在利用该整个周围俯瞰图像开始监视车辆周边时，首先将带有边界的俯瞰图像显示在显示器上，并在数秒后显示融合俯瞰图像来取代带有边界的俯瞰图像。
摄像头1是数码摄像头，利用CCD（charge coupled device：电荷耦合器件）或CIS（CMOS image sensor：互补金属氧化物半导体型影像传感器）等的拍摄元件，来以时间序列拍摄每秒15～30帧的二维图像，并进行数码转换来实时输出拍摄图像。摄像头1具有广角镜头，以在水平方向上确保将近180°的视场角而且在光轴上形成约30度左右的俯角的方式，将该摄像头1设置在车辆上。
在俯瞰图像的生成过程中，将前方摄像头11拍摄得到的前方拍摄图像（第一拍摄图像）投射转换成从车辆正上方观察的整个周围俯瞰图像的前方区域图像（第一俯瞰图像区段）。同样地，将左侧方摄像头12拍摄得到的左拍摄图像（第二拍摄图像）、右侧方摄像头13拍摄得到的右拍摄图像（第三拍摄图像）及后方摄像头14拍摄得到的后方拍摄图像（第四拍摄图像），分别投射转换成整个周围俯瞰图像的左区域图像（第二俯瞰图像区段）、右区域图像（第三俯瞰图像区段）及后方区域图像（第四俯瞰图像区段）。在此，利用映射表（mapping table）来进行投射转换。这些各映射表是以将与路面平行的面作为投影面进行投射转换的方式作成的。
带有边界的俯瞰图像是按照如下方法生成的，即，通过将第一俯瞰图像区段至第四俯瞰图像区段的这些俯瞰图像区段以使其重复区域重叠的方式进行合成，并且对其重复区域赋予用于明确示出所对应的两个摄像头1的拍摄视场的边界的边界指标，由此生成该带有边界的俯瞰图像。在此，边界指标是倾斜地二等分重复区域的边界线。因此，四个各俯瞰图像区段的形状为等腰梯形。
就融合俯瞰图像而言，在从第一俯瞰图像区段至第四俯瞰图像区段的这些俯瞰图像区段以使其重复区域重叠的方式进行合成这样的角度，与带有边界的俯瞰图像相同。重复区域是将与产生该重复区域的各俯瞰图像区段相对应的像素以规定的融合比例融合而生成的，在这点上融合俯瞰图像与带有边界的俯瞰图像不同。在本实施方式中，能够利用基于上述的融合函数α＝B（L）作成的融合表来读取各像素的融合比例α。该融合表是将被融合的像素的拍摄偏差L作为输入参数来输出融合比例α的表结构体。
若考虑将用矩形表示的重复区域的最接近车辆的角落作为原点的平面直角坐标或极坐标，则拍摄偏差L能够用x坐标值和y坐标值的组合或偏角来表示。此时的该融合函数的基本特征是：在划分为第一定义域、第二定义域和第三定义域这三个定义域的情况下，在第一定义域和第三定义域单调增加，在第二定义域是几乎为50％的恒定值。50％的融合比例是一个俯瞰图像区段的像素和另一个俯瞰图像区段的像素被平均化的情况。
在车辆内部设有作为车辆周边监视系统的核心的车辆周边监视控制器20。该车辆周边监视控制器20具有微处理器和DSP（digital signal processor：数字信号处理器）。车辆周边监视控制器20具有作为输入输出接口的通信接口70。通信接口70采用作为数据传送线路的车载LAN（local area network：局域网），该车载LAN上以能够传送数据的方式连接有作为各种信息的显示部的显示器21、作为输入设备的触摸面板21T、将来自车辆状态检测传感器组的信号输入按照原样或进行评价后转送至其他控制器的传感器控制器23。进而，在该车载LAN上连接有动力转向单元PS、变速机构T、制动装置BK等的作为控制器的单元。
与传感器控制器23连接的车辆状态检测传感器组对驾驶操作及车辆行驶的状态进行检测。虽未图示，车辆状态检测传感器组包括对转向操作方向（操舵方向）和操作量（操舵量）进行计测的转向传感器、对变速杆的挡位进行判别的挡位传感器、对油门踏板的操作量进行计测的油门传感器、对制动踏板的操作量进行检测的制动传感器、对自身车辆的行驶距离进行检测的距离传感器等。
除此之外，车辆周边监视控制器20包括以硬件或软件或这两者的方式构建的各种功能部，分别是对车辆周边的立体物进行识别的立体物识别模块30、图像处理模块50、显示控制部71及语音处理模块72。显示控制部71将由图像处理模块50生成的显示器显示图像转换为视频信号后传送至显示器21。扬声器22发出由语音处理模块72生成的语音引导以及紧急时的警告声等。
立体物识别模块30包括通过对来自多个超声波传感器3的检测信号进行评价来进行立体物检测的立体物检测部31和利用来自车载摄像头1的拍摄图像来进行立体物识别的立体物识别部32。超声波传感器3配置在车辆的前部、后部、左侧部及右侧部各自的两端部位和中央部位，能够利用在存在于车辆周边附近的物体（障碍物）上反射来的反射波来检测该物体。不仅能够通过对各超声波传感器3的反射波的返回时间及振幅进行处理来推定从车辆到物体的距离及物体的大小，还能够通过随着时间推移而对所有的超声波传感器3的检测结果进行处理，来推定物体的移动及横向的外形形状。
立体物识别部32上安装有公知的物体识别算法，利用输入来的（接收到的）拍摄图像，特别根据随着时间推移而连续的拍摄图像，来识别车辆周边的立体物。也可以利用立体物检测部31和立体物识别部32中的某一个结构，来检测立体物。但是，通过利用检测立体物的形态时优选的立体物识别部32和计算与立体物之间的距离即立体物的位置时优选的立体物检测部31这双方来协同作业，能够更准确地识别立体物。立体物识别模块30输出记述有所识别出的立体物的位置、姿势、大小、颜色等的立体物属性信息。也能够使用利用了激光雷达那样的其他立体物检测装置，作为立体物检测部31。
图5示出了车辆周边监视控制器20的图像处理模块50的功能框图。图像处理模块50具有如下功能，即，通过对拍摄自身车辆周边的摄像头1所获取的拍摄图像进行处理，来生成用于显示在显示器21上的显示用图像。
图像处理模块50包括拍摄图像存储器51、前处理部52、图像生成部53、帧存储器54、显示图像决定部55及立体物信息获取部56。摄像头1所获取的拍摄图像在拍摄图像存储器51中展开，前处理部52对由摄像头1逐个获取的拍摄图像之间的亮度平衡及颜色平衡等进行调整。显示图像决定部55决定将图像生成部53所生成的显示图像显示在显示器21上的时刻。立体物信息获取部56接收由立体物识别模块30输出的立体物信息，并读取记述在该立体物信息中的立体物的位置、大小、颜色、姿势等的各种属性信息（数据）。
图像生成部53具有通常图像生成部40和显示用俯瞰图像生成部6。通常图像生成部40调整拍摄图像的画质，将花质调整为适于在监视器（显示器）上原样显示该拍摄图像来作为车辆周边图像。可以由驾驶人员从前方摄像头11、左侧方摄像头12、右侧方摄像头13及后方摄像头14拍摄得到的拍摄图像中选择一个拍摄图像，也可以合并多个拍摄图像，来作为显示在显示器上的车辆周边图像。
显示用俯瞰图像生成部6包括俯瞰图像生成部61、俯瞰映射表62、带有边界的俯瞰图像生成部63及融合俯瞰图像生成部64。利用多个拍摄图像分别生成俯瞰图像区段，并将该俯瞰图像区段以使相互之间的重复区域重叠的方式进行合并来生成显示用俯瞰图像。生成带有边界的俯瞰图像及融合俯瞰图像来作为显示用俯瞰图像，其中，带有边界的俯瞰图像是指，在重复区域赋予了表示所对应的摄像头视场的边界区域（拍摄图像的边界区域）的边界指标的俯瞰图像，融合俯瞰图像是指在重复区域以预先设定的融合关系融合了两个俯瞰图像区段的相对应的区域的俯瞰图像。
俯瞰图像生成部61通过对展开在拍摄图像存储器51中的拍摄图像进行视点转换（投射转换）处理来生成以车辆为中心的车辆周边的俯瞰图像。在本实施方式中，俯瞰图像生成部61通过对各摄像头1拍摄得到的拍摄图像进行利用保存在俯瞰映射表62中的投射转换表的映射转换来生成俯瞰图像区段，在此，以能够选择的方式预先保存有在这里使用的用于投射转换的各种映射表。将由这样的以能够选择的方式保存的多个映射表构成的集合体以及个别映射表，在此称为俯瞰映射表62。
构成俯瞰映射表62的转换图（转换影射图）中记述有拍摄图像的像素数据和俯瞰拍摄图像的像素数据之间的对应关系。针对1帧拍摄图像的各像素，记述有俯瞰拍摄图像上的转换目标像素坐标，针对每个车载摄像头都使用不同的图（转换影射图）。利用前方摄像头11拍摄得到的第一拍摄图像生成第一俯瞰图像区段，利用左侧方摄像头12拍摄得到的第二拍摄图像生成第二俯瞰图像区段，利用右侧方摄像头13拍摄得到的第三拍摄图像生成第三俯瞰图像区段，利用后方摄像头14拍摄得到的第四拍摄图像生成第四俯瞰图像区段。此外，在采用选择性地生成从不同的多个视点观察的俯瞰图像的结构的情况下，以能够选择的方式构建不同的转换图。
在通过合并第一俯瞰图像区段至第四俯瞰图像区段来生成以车辆为中心的车辆整个周围的俯瞰图像时，在相邻的俯瞰图像区段之间产生四个重复区域。带有边界的俯瞰图像生成部63和融合俯瞰图像生成部64的不同点在于生成该重复区域的图像的方法。
带有边界的俯瞰图像生成部63在该重复区域上描画表示重复的拍摄图像的边界区域的边界指标。例如，重复的拍摄图像的边界区域是划分双方的拍摄视场的区域，因而能够将第一俯瞰图像区段和第二俯瞰区段之间的重复区域的中心线看做该矩形的重复区域的对角线（将车辆的左前角落部作为一端的对角线）。因此，在此将在该重复区域的对角线上描画的特定颜色的粗线作为边界指标。当然，除了粗线以外，也可以利用点线，还也将形状形成为扇形。特定颜色优选黑色，但在背景为黑系颜色的情况下优选利用白色等容易识别的颜色。边界指标的类型及颜色可以自动选择，也可以由用户选择。为了实现该目的，带有边界的俯瞰图像生成部63包括在重复区域上赋予表示边界区域的边界指标的边界指标赋予部66和保存有那样的边界指标的图像项目（Image item）的边界指标保存部67。
融合俯瞰图像生成部64，针对该重复区域应用利用两个俯瞰图像区段的重复部分来融合的融合图像（α结合图像（Alpha Blending Image））。为了实现该目的，融合俯瞰图像生成部64包括：融合部68，其通过将俯瞰图像区段的重复区域以预先设定的融合关系进行融合来生成融合重复图像；融合表69，其设定有表化（用表的形式表现）的该融合关系。融合（α合成）处理本身是公知的，但就本发明中使用的融合处理而言，鉴于将拍摄图像进行视点转换生成俯瞰图像这样的特殊条件，使用对于那样的俯瞰图像的重复区域优选的如下的融合关系。
该融合关系的要领是：将位于与产生重复区域的两个摄像头中的一个摄像头的拍摄中心线极为接近的位置的像素，侧重考虑为基于该一个摄像头生成的俯瞰图像区段的像素；将位于与另一个摄像头的拍摄中心线极为接近的位置的像素，侧重考虑为基于该另一个摄像头生成的俯瞰图像区段的像素。进而，重要的是这以外的像素采用这双方的俯瞰图像区段的平均。
将该融合关系用一般的融合函数B表示时，成为
α＝B（L）。
在此，α是一个俯瞰图像区段和另一个俯瞰图像区段的融合比例，L是拍摄偏差。
而且，该融合函数在以下的三个定义域中相互不同。
（1）在0＜L≤a的定义域，B以平均变化率或恒定变化率λ1增加。
（2）在b＜L≤最大值的定义域，B以平均变化率或恒定变化率λ3增加。
（3）在a＜L≤b的定义域，B以小于λ1及λ3的变化率λ2增加或者B为恒定。
将由带有边界的俯瞰图像生成部63生成的带有边界的俯瞰图像及由融合俯瞰图像生成部64生成的融合俯瞰图像转送至帧存储器54。带有边界的俯瞰图像仅通过简单的图像粘贴来生成，因而与融合俯瞰图像相比可在非常短的时间内生成。进而，带有边界的俯瞰图像发挥通过该边界指标可使驾驶人员掌握车辆中心的车辆周围俯瞰图像上的各摄像头的拍摄视场的作用。因此，重要的是将带有边界的俯瞰图像在融合俯瞰图像之前（数秒左右）显示在显示器21上。该处理还具有能够在显示带有边界的俯瞰图像的期间内生成融合俯瞰图像这样的作用。显示图像决定部55将转送至帧存储器54的带有边界的俯瞰图像和融合俯瞰图像在适当的时刻作为显示用俯瞰图像发送给显示控制部71并显示在显示器21上。
接着，利用图6的流程图，说明如上述那样构成的车辆周边监视系统显示俯瞰图像的流程。
若为了监视车辆周边而开始俯瞰图像显示程序，首先读取由驾驶人员按照希望手动设定的显示种类或默认设定的俯瞰图像的显示种类（#21）。这时的俯瞰图像的显示种类是指，规定了生成车辆周边的俯瞰图像时使用的拍摄图像及假想视点位置以及所生成的俯瞰图像的显示器画面上的布局等的显示种类。根据所读入的俯瞰图像的显示种类来将由俯瞰图像生成部61使用的用于进行投射转换的图设定到俯瞰映射表62中（#22）。在此，获取4台车载摄像头1拍摄得到的拍摄图像（#23）。利用所设定的各图来使用各拍摄图像生成俯瞰图像区段（#24）。接着，对带有边界的俯瞰图像生成部63发出利用所生成的第一俯瞰图像区段至第四俯瞰图像区段来生成带有边界的俯瞰图像的生成处理要求（#25），基于图1的基本原理来执行带有边界的俯瞰图像生成处理（#30）。同时，对融合俯瞰图像生成部64发出利用所生成的第一俯瞰图像区段至第四俯瞰图像区段的这些俯瞰图像区段来生成融合俯瞰图像的生成处理要求（#26），基于图1的基本原理来执行融合俯瞰图像生成处理（#40）。
判断带有边界的俯瞰图像的生成是否结束（#51）。根据由带有边界的俯瞰图像生成部63发出的生成结束通知来进行该判断。若带有边界的俯瞰图像的生成结束（#51：“是”分支），则开始计时（#52），并将带有边界的俯瞰图像显示在显示器上（#53）。接着，检查计时器是否到达了设定时间（数秒）（#54），并继续显示带有边界的俯瞰图像，直至设定时间到达为止（#54：“否”分支）。若计时器到达设定时间（#54：“是”分支），则接着判断融合俯瞰图像的生成是否结束（#55）。根据由融合俯瞰图像生成部64发出的生成结束通知来进行该判断。若融合俯瞰图像的生成结束（#55：“是”分支），则首先使带有边界的俯瞰图像的边界指标（边界粗线）闪烁规定时间，由此向驾驶人员通知从带有边界的俯瞰图像向融合俯瞰图像变更显示（#56）。
此外，也可以从最初就以使边界指标闪烁的方式显示带有边界的俯瞰图像，而不在向融合俯瞰图像变更显示之前使边界指标闪烁。接着，代替带有边界的俯瞰图像，而将融合俯瞰图像显示在显示器21上（#57）。只要未接收到该俯瞰图像显示程序的结束指令（#58：“否”分支），就再次返回步骤#21来反复执行该程序。
此外，在上述程序中，以每当获取新的拍摄图像时进行生成并显示带有边界的俯瞰图像的控制流程进行了说明，但一般仅在起动该程序时或以规定的时间间隔进行生成并显示带有边界的俯瞰图像的生成的处理。更具体地，将由司机打开（ON）开关（车辆周边监视系统的起动开关等）、进行了倒车换挡（向后退挡进行变速操作）或车速作为触发，起动了该车辆周边监视系统之后，生成并显示带有边界的俯瞰图像。而且，车辆周边监视系统与显示带有边界的俯瞰图像的过程并行地生成融合俯瞰图像，并在规定时间之后显示融合俯瞰图像。这样构成的情况的一个优点是，能够在起动之后立即显示带有边界的俯瞰图像，而不会给驾驶人员带来不协调感。
[其他实施方式]
（1）在上述实施方式中，如图2所示，最初显示的带有边界的俯瞰图像，之后被切换为没有边界指标（边界线）的融合俯瞰图像。但也可以取代该方式，而在融合俯瞰图像上也以某种显示方式暗示边界指标（边界线）的存在。即，在上述实施方式中，也可以对在带有边界的俯瞰图像上描画的作为边界指标的粗实线，采用如图7至图9示出那样以各种显示方式。
在图7中，边界线为半透明。例如通过实现50％透明化，能够视觉辨认边界线并且能够视觉辨认边界区域的融合图像。另外，在图8中，仅显示了边界线的一部分，而消除了其他一部分。在该例子中，仅显示了边界线的外端部分。换句话说，也可以说成融合俯瞰图像上的边界指标（边界线）的长度变得短于带有边界的俯瞰图像上的边界指标（边界线）的长度。在该情况下，优选地即使只显示一部分边界线，也通过强调显示处理来使视觉辨认变得容易。进而，在图9中，部分地描画了边界线。在此描画为点线，但显然也可以利用不等间距的点线，而不是等间距的点线。此外，在图8及图9中，也可以使其边界线半透明化。
通过这样构成，能够在融合俯瞰图像上以视觉辨认边界线并且能够以视觉辨认边界区域的融合图像。即，能够向用户传达如下信息：在融合俯瞰图像中，存在边界线的区域的附近（区域），是由多个摄像头拍摄得到的图像融合而成的部位。
进而，虽未图示，但也可以以在融合俯瞰图像上能够视觉辨认边界线并且能够视觉辨认边界区域的融合图像的方式，使用能够暗示边界存在的细线。特别地，此时在最初显示的带有边界的俯瞰图像上用粗线描画边界指标（边界线），并在此后切换的融合俯瞰图像上用细线描画边界指标（边界线）的方式，对于视觉辨认边界线并且视觉辨认边界区域的融合图像尤为有效。
另外，也能够在图7至图9中示出的边界指标（边界线）的显示方式中,组合上述的用细线描画边界指标（边界线）的方式。例如，可以将在图7至图9中示出的边界指标（边界线）的各显示方式和上述的用细线描画边界指标（边界线）的显示方式全部组合，也可以将在图7至图9中示出的边界指标（边界线）的各显示方式分别与上述的用细线描画边界指标（边界线）的显示方式组合。
（2）在上述实施方式中，与立体物识别模块30的立体物的检测无关地，进行了带有边界的俯瞰图像及融合俯瞰图像的显示。也可以取代该方式，而在由立体物信息处理部56获取立体物信息的情况下，根据该立体物的位置，变更由融合部68使用的融合函数，也可以变更生成立体物的位置俯瞰图像时的视点位置。
（3）在上述实施方式中，为了容易理解，说明了显示用俯瞰图像的生成过程，将显示用俯瞰图像生成部6的结构按照功能实施了功能块化，但该功能块仅用于说明目的，本发明并不限定这样的功能块布局。例如，也可以根据拍摄图像利用复合的转换表来直接生成带有边界的俯瞰图像和融合俯瞰图像。只要能够实现所记载的功能，该功能块就能够采用各种方式。
产业上的可利用性
本发明能够用于使用俯瞰图像来监视车辆周边的所有的系统中。
附图标记的说明
21 显示器（显示部）
50 图像处理模块
53 图像生成部
55 显示图像决定部
6 显示用俯瞰图像生成部
61 俯瞰图像生成部
62 俯瞰映射表
63 带有边界的俯瞰图像生成部
64 融合俯瞰图像生成部
66 边界指标赋予部
67 边界指标保存部
68 融合部
69 融合表
71 显示控制部
Claims (14)
1.一种车辆周边监视系统，其特征在于，具有：
俯瞰图像生成部，其根据以在车辆周围方向上局部重复的方式拍摄得到的多个拍摄图像，来生成俯瞰图像区段；
边界指标赋予部，其对所述俯瞰图像区段的重复区域赋予边界指标，该边界指标表示相邻的所述俯瞰图像区段的边界区域；
融合部，其以预先设定的融合关系，在所述多个俯瞰图像区段中对相互重复的重复区域进行融合，从而生成融合重复图像；
显示用俯瞰图像生成部，其生成具有所述边界指标的带有边界的俯瞰图像及具有所述融合重复图像的融合俯瞰图像，来作为显示用俯瞰图像；
显示部，其显示所述显示用俯瞰图像；
显示图像决定部，其使所述显示部在显示了所述带有边界的俯瞰图像之后显示所述融合俯瞰图像。
2.如权利要求1所述的车辆周边监视系统，其特征在于，
通过直接使用一个俯瞰图像区段的重复区域来生成所述带有边界的俯瞰图像，将所述带有边界的俯瞰图像上的所述重复区域置换为由所述融合部生成的融合重复图像，从而生成所述融合俯瞰图像。
3.如权利要求1所述的车辆周边监视系统，其特征在于，
所述显示图像决定部，在使所述显示部显示了所述带有边界的俯瞰图像之后经过了预先设定的时间之后显示所述融合俯瞰图像。
4.如权利要求1至3中任一项所述的车辆周边监视系统，其特征在于，
在从显示作为所述显示用俯瞰图像的所述带有边界的俯瞰图像的显示状态向显示所述融合俯瞰图像的显示状态切换的过程中，从车辆附近开始以同心圆状依次切换为所述融合重复图像。
5.如权利要求1至3中任一项所述的车辆周边监视系统，其特征在于，
在从显示作为所述显示用俯瞰图像的所述带有边界的俯瞰图像的显示状态向显示所述融合俯瞰图像的显示状态切换的过程中，从所述边界指标区域开始依次切换为所述融合重复图像。
6.如权利要求1至5中任一项所述的车辆周边监视系统，其特征在于，
在从显示作为所述显示用俯瞰图像的所述带有边界的俯瞰图像的显示状态向显示所述融合俯瞰图像的显示状态切换的过程中，强调显示所述边界指标。
7.如权利要求1至6中任一项所述的车辆周边监视系统，其特征在于，
在所述带有边界的俯瞰图像上，对所述多个俯瞰图像区段相互重复的重复区域不进行融合处理。
8.如权利要求1至7中任一项所述的车辆周边监视系统，其特征在于，
所述带有边界的俯瞰图像，在所述车辆周边监视系统起动之后被显示。
9.如权利要求1至8中任一项所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上赋予边界指标。
10.如权利要求9所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上赋予的边界指标为半透明的。
11.如权利要求9或10所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上赋予的边界指标，比在所述显示用俯瞰图像上赋予的边界指标短。
12.如权利要求9至11中任一项所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上赋予的边界指标为点线。
13.如权利要求9至12中任一项所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上赋予的边界指标，比在所述显示用俯瞰图像上赋予的边界指标细。
14.如权利要求1至8中任一项所述的车辆周边监视系统，其特征在于，
在所述融合俯瞰图像上，赋予与所述显示用俯瞰图像的边界指标的显示方式不同的显示方式的边界指标。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-163482 | 2011-07-26 | ||
| JP2011163482A JP5483120B2 (ja) | 2011-07-26 | 2011-07-26 | 車両周辺監視システム |
| PCT/JP2012/067837 WO2013015130A1 (ja) | 2011-07-26 | 2012-07-12 | 車両周辺監視システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103733613A true CN103733613A (zh) | 2014-04-16 |
Family
ID=47600982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280037054.4A Pending CN103733613A (zh) | 2011-07-26 | 2012-07-12 | 车辆周边监视系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9050931B2 (zh) |
| EP (1) | EP2739050B1 (zh) |
| JP (1) | JP5483120B2 (zh) |
| CN (1) | CN103733613A (zh) |
| WO (1) | WO2013015130A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107548501A (zh) * | 2015-04-24 | 2018-01-05 | 克诺尔商用车制动系统有限公司 | 用于驾驶员辅助系统的图像合成装置 |
| CN107852483A (zh) * | 2015-08-04 | 2018-03-27 | 株式会社电装 | 向驾驶员提示辅助图像的装置及其方法 |
| US20190114741A1 (en) | 2017-10-18 | 2019-04-18 | Canon Kabushiki Kaisha | Information processing device, system, information processing method, and storage medium |
| CN113198179A (zh) * | 2021-05-10 | 2021-08-03 | 网易（杭州）网络有限公司 | 虚拟对象的转向控制方法及装置、存储介质、电子设备 |
| CN113678433A (zh) * | 2019-04-18 | 2021-11-19 | 三菱电机株式会社 | 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013086249A2 (en) | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
| JP6084434B2 (ja) | 2012-10-31 | 2017-02-22 | クラリオン株式会社 | 画像処理システム及び画像処理方法 |
| WO2014156220A1 (ja) * | 2013-03-28 | 2014-10-02 | アイシン精機株式会社 | 周辺監視装置、及びプログラム |
| US9767561B2 (en) * | 2013-11-18 | 2017-09-19 | Texas Instruments Incorporated | Method and apparatus for a optimal seam for surround view synthesis |
| JP6232994B2 (ja) | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP6165085B2 (ja) * | 2014-03-07 | 2017-07-19 | 日立建機株式会社 | 作業機械の周辺監視装置 |
| US9598012B2 (en) * | 2014-03-11 | 2017-03-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Surroundings monitoring system for a vehicle |
| JP6330383B2 (ja) * | 2014-03-12 | 2018-05-30 | 株式会社デンソー | 合成画像生成装置、および合成画像生成プログラム |
| FR3018940B1 (fr) * | 2014-03-24 | 2018-03-09 | Survision | Systeme de classification automatique de vehicules automobiles |
| JP6371553B2 (ja) * | 2014-03-27 | 2018-08-08 | クラリオン株式会社 | 映像表示装置および映像表示システム |
| JP6262068B2 (ja) * | 2014-04-25 | 2018-01-17 | 日立建機株式会社 | 車体近傍障害物報知システム |
| DE102014107235A1 (de) * | 2014-05-22 | 2015-11-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm |
| US10097772B2 (en) * | 2014-10-31 | 2018-10-09 | Mitsubishi Electric Corporation | Image processing device and image processing method |
| EP3076363B1 (en) * | 2015-03-30 | 2019-09-25 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer and a method for synthesizing an image |
| DE102015104937A1 (de) * | 2015-03-31 | 2016-10-06 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Beurteilen einer Zugehörigkeit eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sowie Fahrerassistenzsystem |
| US10157452B1 (en) * | 2015-09-28 | 2018-12-18 | Amazon Technologies, Inc. | Image processing system for image rectification |
| US10417743B2 (en) * | 2015-11-06 | 2019-09-17 | Mitsubishi Electric Corporation | Image processing device, image processing method and computer readable medium |
| CN105894448B (zh) * | 2015-11-06 | 2019-08-20 | 法法汽车(中国)有限公司 | 蒙板矩阵的生成方法、泊车图像的合成方法及装置 |
| JP6398957B2 (ja) * | 2015-12-02 | 2018-10-03 | 株式会社デンソー | 車両制御装置 |
| JP6512145B2 (ja) * | 2016-03-22 | 2019-05-15 | 株式会社デンソー | 画像処理装置、画像処理方法、及びプログラム |
| CN106204687B (zh) * | 2016-07-20 | 2017-09-12 | 广州小鹏汽车科技有限公司 | 一种基于贝塞尔曲线的倒车雷达图实现方法 |
| WO2018037789A1 (ja) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| DE102016220308A1 (de) * | 2016-10-18 | 2018-04-19 | Continental Automotive Gmbh | System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten |
| FR3061098A1 (fr) * | 2016-12-23 | 2018-06-29 | Jean Claude Galland | Procede et dispositif de vision continue du conducteur d'un vehicule automobile par succession d'images |
| CN106791325B (zh) * | 2017-01-06 | 2022-08-23 | 上海寅家电子科技股份有限公司 | 全景环视系统的色差测光区自动识别系统及自动识别方法 |
| KR102551099B1 (ko) | 2017-01-13 | 2023-07-05 | 엘지이노텍 주식회사 | 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량 |
| US10366541B2 (en) | 2017-07-21 | 2019-07-30 | Ford Global Technologies, Llc | Vehicle backup safety mapping |
| JP7039879B2 (ja) * | 2017-08-03 | 2022-03-23 | 株式会社アイシン | 表示制御装置 |
| US10373000B2 (en) * | 2017-08-15 | 2019-08-06 | GM Global Technology Operations LLC | Method of classifying a condition of a road surface |
| JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
| CN111263951A (zh) | 2017-10-26 | 2020-06-09 | 哈曼国际工业有限公司 | 用于对全景视图中的重叠区进行快速图像融合的方法和系统 |
| JP7135378B2 (ja) * | 2018-03-29 | 2022-09-13 | 株式会社アイシン | 周辺監視装置 |
| JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
| DE102018212049A1 (de) * | 2018-07-19 | 2020-01-23 | Conti Temic Microelectronic Gmbh | Verfahren zur dreidimensionalen bildlichen Rekonstruktion eines Fahrzeugs |
| JP7263731B2 (ja) * | 2018-10-26 | 2023-04-25 | 株式会社デンソー | 画像処理装置 |
| JP2020135206A (ja) * | 2019-02-15 | 2020-08-31 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、車載用カメラシステム及び画像処理方法 |
| WO2021048584A1 (ja) * | 2019-09-12 | 2021-03-18 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
| JP7065068B2 (ja) * | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | 車両周囲監視装置、車両、車両周囲監視方法およびプログラム |
| KR102281609B1 (ko) * | 2020-01-16 | 2021-07-29 | 현대모비스 주식회사 | 어라운드뷰 합성 시스템 및 방법 |
| JP7055158B2 (ja) * | 2020-02-13 | 2022-04-15 | 株式会社クボタ | 作業車 |
| US12071126B2 (en) * | 2021-09-27 | 2024-08-27 | Ford Global Technologies, Llc | Vehicle object tracking |
| JP7366982B2 (ja) * | 2021-11-24 | 2023-10-23 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
| US20230360279A1 (en) * | 2022-05-09 | 2023-11-09 | Volvo Car Corporation | Generation of bird's-eye-view images and segmentation maps |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1412047A (zh) * | 2001-10-15 | 2003-04-23 | 松下电器产业株式会社 | 车辆周围监视装置及其调整方法 |
| CN1953553A (zh) * | 2005-10-17 | 2007-04-25 | 三洋电机株式会社 | 驾驶辅助系统 |
| CN101102482A (zh) * | 2006-07-06 | 2008-01-09 | 日产自动车株式会社 | 车辆图像显示系统以及图像显示方法 |
| EP2174834A2 (en) * | 2008-10-09 | 2010-04-14 | Sanyo Electric Co., Ltd. | Maneuvering assisting apparatus |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
| JP3819284B2 (ja) * | 2001-11-29 | 2006-09-06 | クラリオン株式会社 | 車両周囲監視装置 |
| JP4830380B2 (ja) | 2005-07-13 | 2011-12-07 | 日産自動車株式会社 | 車両周辺監視装置及び車両周辺監視方法 |
| JP4883977B2 (ja) * | 2005-10-05 | 2012-02-22 | アルパイン株式会社 | 車両用画像表示装置 |
| US20090128630A1 (en) | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| US7728879B2 (en) * | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
| JP5120880B2 (ja) * | 2007-10-15 | 2013-01-16 | アルパイン株式会社 | 画像処理装置及び画像処理方法 |
| JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
| JP5068779B2 (ja) | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
| TWI417639B (zh) | 2009-12-30 | 2013-12-01 | Ind Tech Res Inst | 全周鳥瞰影像無縫接合方法與系統 |
| JP5853457B2 (ja) * | 2011-07-20 | 2016-02-09 | アイシン精機株式会社 | 車両周辺監視システム |
-
2011
- 2011-07-26 JP JP2011163482A patent/JP5483120B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-12 WO PCT/JP2012/067837 patent/WO2013015130A1/ja active Application Filing
- 2012-07-12 EP EP12817899.3A patent/EP2739050B1/en not_active Not-in-force
- 2012-07-12 US US14/131,475 patent/US9050931B2/en not_active Expired - Fee Related
- 2012-07-12 CN CN201280037054.4A patent/CN103733613A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1412047A (zh) * | 2001-10-15 | 2003-04-23 | 松下电器产业株式会社 | 车辆周围监视装置及其调整方法 |
| CN1953553A (zh) * | 2005-10-17 | 2007-04-25 | 三洋电机株式会社 | 驾驶辅助系统 |
| CN101102482A (zh) * | 2006-07-06 | 2008-01-09 | 日产自动车株式会社 | 车辆图像显示系统以及图像显示方法 |
| EP2174834A2 (en) * | 2008-10-09 | 2010-04-14 | Sanyo Electric Co., Ltd. | Maneuvering assisting apparatus |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107548501A (zh) * | 2015-04-24 | 2018-01-05 | 克诺尔商用车制动系统有限公司 | 用于驾驶员辅助系统的图像合成装置 |
| CN107548501B (zh) * | 2015-04-24 | 2021-09-21 | 克诺尔商用车制动系统有限公司 | 用于驾驶员辅助系统的图像合成装置 |
| CN107852483A (zh) * | 2015-08-04 | 2018-03-27 | 株式会社电装 | 向驾驶员提示辅助图像的装置及其方法 |
| CN107852483B (zh) * | 2015-08-04 | 2020-02-07 | 株式会社电装 | 向驾驶员提示辅助图像的装置及其方法 |
| US20190114741A1 (en) | 2017-10-18 | 2019-04-18 | Canon Kabushiki Kaisha | Information processing device, system, information processing method, and storage medium |
| CN109688348A (zh) * | 2017-10-18 | 2019-04-26 | 佳能株式会社 | 信息处理装置、信息处理系统、信息处理方法和存储介质 |
| US11069029B2 (en) | 2017-10-18 | 2021-07-20 | Canon Kabushiki Kaisha | Information processing device, system, information processing method, and storage medium |
| CN109688348B (zh) * | 2017-10-18 | 2021-11-16 | 佳能株式会社 | 信息处理装置、信息处理方法和存储介质 |
| CN113678433A (zh) * | 2019-04-18 | 2021-11-19 | 三菱电机株式会社 | 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法 |
| CN113678433B (zh) * | 2019-04-18 | 2024-05-03 | 三菱电机株式会社 | 车辆周边图像生成装置、车辆周边显示系统及车辆周边显示方法 |
| CN113198179A (zh) * | 2021-05-10 | 2021-08-03 | 网易（杭州）网络有限公司 | 虚拟对象的转向控制方法及装置、存储介质、电子设备 |
| CN113198179B (zh) * | 2021-05-10 | 2024-06-04 | 网易（杭州）网络有限公司 | 虚拟对象的转向控制方法及装置、存储介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2739050A4 (en) | 2014-11-12 |
| JP2013030833A (ja) | 2013-02-07 |
| EP2739050B1 (en) | 2017-03-08 |
| JP5483120B2 (ja) | 2014-05-07 |
| US9050931B2 (en) | 2015-06-09 |
| EP2739050A1 (en) | 2014-06-04 |
| US20140152827A1 (en) | 2014-06-05 |
| WO2013015130A1 (ja) | 2013-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103733613A (zh) | 车辆周边监视系统 | |
| US9672432B2 (en) | Image generation device | |
| CN103299617B (zh) | 图像生成装置 | |
| JP6014442B2 (ja) | 画像生成装置、画像表示システム、および、画像生成方法 | |
| JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
| JP6522630B2 (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
| JP5516998B2 (ja) | 画像生成装置 | |
| US20140118551A1 (en) | Vehicle surrounding-area monitoring apparatus | |
| CN103988499A (zh) | 车辆周边监视装置 | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| JP5870608B2 (ja) | 画像生成装置 | |
| JP5959264B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
| JP5516997B2 (ja) | 画像生成装置 | |
| JP2005242606A (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
| US20110157184A1 (en) | Image data visualization | |
| JP5853457B2 (ja) | 車両周辺監視システム | |
| JP2013005232A (ja) | 車両周辺監視装置 | |
| CN108290499B (zh) | 带有自适应周围环境图像数据处理功能的驾驶员辅助系统 | |
| JP5618139B2 (ja) | 駐車支援装置 | |
| JP2011028634A (ja) | 車両用画像表示装置 | |
| TW201529381A (zh) | 行車影像輔助系統 | |
| JP2005123914A (ja) | 情報表示装置および情報表示方法 | |
| JP2015182670A (ja) | 運転支援装置 | |
| JP6172059B2 (ja) | 車両用表示制御装置 | |
| JP6773189B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140416 |