CN107077715B - 车辆周边图像显示装置、车辆周边图像显示方法 - Google Patents

车辆周边图像显示装置、车辆周边图像显示方法 Download PDF

Info

Publication number
CN107077715B
CN107077715B CN201580059716.1A CN201580059716A CN107077715B CN 107077715 B CN107077715 B CN 107077715B CN 201580059716 A CN201580059716 A CN 201580059716A CN 107077715 B CN107077715 B CN 107077715B
Authority
CN
China
Prior art keywords
image
captured
vehicle
foreign object
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580059716.1A
Other languages
English (en)
Other versions
CN107077715A (zh
Inventor
楠见洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107077715A publication Critical patent/CN107077715A/zh
Application granted granted Critical
Publication of CN107077715B publication Critical patent/CN107077715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及车辆周边图像显示装置、车辆周边图像显示方法，车辆周边图像显示装置通过对由车载相机获得的拍摄图像进行视线转换来生成拍摄俯瞰图像。另外，获取关于车辆的移动量的移动信息，并从车辆到达当前的位置之前生成的拍摄俯瞰图像中截取作为拍摄车辆的死角区域而成的部分的图像的历史图像，并与拍摄俯瞰图像一起显示在显示画面上。而且，车辆周边图像显示装置从拍摄俯瞰图像中的作为历史图像截取的部分对附着于车载相机的异物进行检测，在检测到该异物的情况下，在去除了该异物下状态下截取历史图像。

Description

车辆周边图像显示装置、车辆周边图像显示方法
技术领域
本发明涉及将使用车载相机拍摄车辆的周边区域而成的图像显示在显示画面上的技术。
背景技术
已知一种对利用搭载于车辆的前后左右的车载相机获得的拍摄图像实施视线转换为宛如从上方观察车辆的图像的处理并显示所获得的图像(俯瞰图像或鸟瞰图：bird’seye view)的技术。车辆的驾驶员若能够确认俯瞰图像则能够包括距离感在内容易掌握周围存在的障碍物与本车辆的位置关系、描绘在路面的标示等与本车辆的位置关系。
另外，还提出了尽管不在车辆的左右搭载车载相机，但显示车辆的前后左右方向的周边区域的俯瞰图像的技术。在该技术中，针对车辆的左右方向的周边区域，无法利用车载相机直接拍摄图像，但利用如下原理根据搭载于车辆的前后的车载相机的图像生成左右方向的俯瞰图像。
首先，在由车辆的前方的车载相机获得的拍摄图像不仅拍到车辆的正面的区域，还拍到在其两侧斜前方的区域。而且，该斜前方的区域因车辆前进而终成为车辆的左右方向的区域。因此，若存储俯瞰图像并根据车辆的移动量从已存储的俯瞰图像中截取与车辆的左右方向的区域对应的图像来显示，则能够将车辆的左右方向也包括在内地显示周边区域的俯瞰图像。
当然，上述内容在车辆后退的情况下也同样完全适用。因此，在车辆后退时也能够显示车辆的前后左右方向的俯瞰图像。需要说明的是，显示在车辆的左右方向的俯瞰图像实际上是稍前拍摄的过去的俯瞰图像。因此，从过去的俯瞰图像截取并显示在车辆的左右方向的图像被称为“历史图像”。
在这样的显示历史图像的技术中，若水滴、泥等异物附着于车载相机的透镜、覆盖该透镜的罩等，则不仅拍摄图像，历史图像有时也拍入异物。因此，在通过排列多个历史图像来显示俯瞰图像的情况下，横跨多个历史图像而拍入异物，从而无法适当地显示车辆的周边区域。因此，在专利文献1中，提出了一种检测拍入至拍摄图像的异物并将检测到的异物从历史图像去除的技术。
专利文献1：国际公开第2009/057410号
然而，在上述技术中，检测附着于车载相机的异物需要从拍摄图像的图像区域整体检测异物，因此存在处理负担变大的问题。
发明内容
本发明是鉴于现有技术中存在的上述课题而完成的，其目的在于在使用历史图像显示车辆周边的俯瞰图像的技术上提供减少与异物的检测相关的处理负担并且截取去除异物的历史图像的车辆周边图像显示装置和车辆周边图像显示方法。
为了解决上述课题，本发明的车辆周边图像显示装置以及车辆周边图像显示方法通过对由车载相机获得的拍摄图像进行视线转换来生成拍摄俯瞰图像。而且，获取关于车辆的移动量的移动信息，从车辆到达当前的位置之前生成的拍摄俯瞰图像中截取作为拍摄车辆的死角区域而成的部分的图像的历史图像，与拍摄俯瞰图像一起显示在显示画面上。另外，从拍摄俯瞰图像中的作为历史图像而截取的部分对附着于车载相机的异物进行检测，并在检测到该异物的情况下，在去除了该异物的状态下截取历史图像。
根据上述车辆周边图像显示装置以及车辆周边图像显示方法，并不是从拍摄俯瞰图像的图像区域整体检测异物，而是限定于作为历史图像而截取的部分来检测异物，若检测到异物，则去除该异物并截取历史图像。因此，能够减少与异物的检测相关的处理负担，并且能够截取去除了异物的历史图像。
附图说明
图1是表示搭载了本发明的第一实施例、第二实施例所涉及的车辆周边图像显示装置(图像显示装置100)的车辆1的说明图。
图2是表示图像显示装置100的内部结构的概要的说明图。
图3中的(a)、(b)是表示拍摄车辆1的前方的区域而获得的拍摄图像的说明图。
图4中的(a)、(b)是关于将拍摄图像转换为俯瞰图像的原理的说明图。
图5是关于使用历史图像显示车辆1的周边的俯瞰图像的原理的说明图。
图6是关于使用历史图像显示车辆1的周边的俯瞰图像的技术容易受到附着于车载相机10F、10R的异物的影响的理由的说明图。
图7是第一实施例所涉及的俯瞰图像显示处理的前半部分的流程图。
图8是第一实施例所涉及的俯瞰图像显示处理的后半部分的流程图。
图9是第一实施例所涉及的俯瞰图像显示处理中的异物去除处理的流程图。
图10中的(a)、(b)是示意性地示出在俯瞰图像显示处理中的异物搜索处理中搜索异物的样子的说明图。
图11是第一实施例所涉及的俯瞰图像显示处理中的异物搜索处理的流程图。
图12中的(a)、(b)是示意性地示出在第一实施例所涉及的俯瞰图像显示处理中的异物去除处理中从历史图像去除异物的样子的说明图。
图13是表示在第一实施例所涉及的俯瞰图像显示处理中的异物去除处理中从拍摄俯瞰图像去除异物的样子的说明图。
图14是示意性地示出在第二实施例所涉及的俯瞰图像显示处理中的异物去除处理中从历史图像去除异物的样子的说明图。
图15是第二实施例所涉及的俯瞰图像显示处理中的异物去除处理的流程图。
图16是表示在第二实施例所涉及的俯瞰图像显示处理中的异物去除处理中从拍摄俯瞰图像去除异物的样子的说明图。
具体实施方式
[第一实施例]
下面，对上述的本申请发明的第一实施例所涉及的车辆周边图像显示装置和车辆周边图像显示方法进行说明。
[A.车辆周边图像显示装置的结构]
图1中示出了搭载有车辆周边图像显示装置的车辆1。需要说明的是，在本实施例中，图像显示装置100与本发明中的“车辆周边图像显示装置”对应。如图1所示，车辆1具备搭载于车辆1的前方的车载相机10F、搭载于车辆1的后方的车载相机10R、搭载于车厢内的显示画面11、以及图像显示装置100等。需要说明的是，在本实施例中，对在车辆1的前方以及后方分别搭载有车载相机10F、10R的情况进行说明，但对于搭载了车载相机10F或车载相机10R任一方的车辆1也能够应用本申请发明。图像显示装置100若接受到由车载相机10F、10R拍摄的车辆1的周边的图像，则在将该图像转换为像从车辆1的上方拍摄那样的俯瞰图像之后，将获得的图像显示在显示画面11。
另外，在车辆1搭载有检测方向盘2的转向操纵角的转向操纵角传感器12、检测车速的车速传感器13、以及检测未图示的变速器的档位的换档位置传感器14等。转向操纵角传感器12、车速传感器13以及换档位置传感器14的输出被输入至图像显示装置100，图像显示装置100根据上述输出获取车辆1的移动信息(行驶速度以及移动方向等)。而且，图像显示装置100根据车辆1的移动信息和由车载相机10F、10R获得的俯瞰图像来生成成为车载相机10F、10R的死角的区域(车辆1的左右方向的区域)的俯瞰图像，并显示在显示画面11。
图2中示出了本实施例的图像显示装置100的概要内部结构。如图所示，本实施例的图像显示装置100具备拍摄图像获取部101、拍摄俯瞰图像生成部102、图像显示部103、移动信息获取部104、异物检测部105、异物去除部106、拍摄俯瞰图像存储部107以及历史图像截取部108。需要说明的是，这8个“部”是着眼于图像显示装置100将车辆1的周边的图像显示在显示画面11的功能并方便地对图像显示装置100的内部进行分类的抽象概念，并不表示图像显示装置100物理地划分为8个部分。因此，这些“部”也能够作为由CPU执行的计算机程序来实现，也能够作为包括LSI、存储器在内的电子电路来实现，而且，也能够通过将它们组合来实现。
拍摄图像获取部101与车载相机10F以及车载相机10R连接，从车载相机10F按照一定周期(约30Hz)获取从斜上方拍摄车辆1的前方的区域而成的拍摄图像。另外，从车载相机10R按照一定周期(约30Hz)获取从斜上方拍摄车辆1的后方的区域而成的拍摄图像。然后，将获取到的拍摄图像输出至拍摄俯瞰图像生成部102。需要说明的是，在本实施例中，拍摄图像获取部101与本发明中的“拍摄图像获取部”对应。
拍摄俯瞰图像生成部102从拍摄图像获取部101接受利用车载相机10F、10R拍摄而获得的拍摄图像来生成俯瞰图像。即，通过车载相机10F获得的拍摄图像是从斜上方拍摄车辆1的前方的区域的图像，但通过对该图像实施后述的视线转换来生成像从车辆1的上方拍摄那样的俯瞰图像。同样，由车载相机10R拍摄的拍摄图像是从斜上方拍摄车辆1的后方的区域而成的图像，但将该图像转换为像从车辆1的上方拍摄那样的俯瞰图像。对由车载相机10F、10R拍摄的拍摄图像实施视线转换来生成俯瞰图像的方法，在下文中描述。在本实施例中，拍摄俯瞰图像生成部102与本发明中的“拍摄俯瞰图像生成部”对应。
需要说明的是，如后所述，在本实施例的图像显示装置100中，不仅对于车辆1的前后方向的区域，对于车辆1的左右方向的区域也能够生成俯瞰图像并显示在显示画面11。这里，显示在车辆1的前后方向的俯瞰图像是对利用车载相机10F、10R拍摄的当前的图像进行视线转换而成的图像。与此相对，显示在车辆1的左右方向的俯瞰图像是根据车辆1的移动信息将在车辆1的前后方向显示的过去的俯瞰图像合成的图像。因此，下面，为了与在车辆1的左右方向显示的合成的俯瞰图像区分而将显示在车辆1的前后方向的俯瞰图像称为“拍摄俯瞰图像”。另外，在仅称为“俯瞰图像”时，是指从车辆1的上方观察的图像，因此，拍摄俯瞰图像和在车辆1的左右方向显示的合成的俯瞰图像(后述的历史图像)均相当于“俯瞰图像”。拍摄俯瞰图像生成部102将生成的拍摄俯瞰图像输出至拍摄俯瞰图像存储部107和图像显示部103。
图像显示部103若从拍摄俯瞰图像生成部102接受到车辆1的前后的拍摄俯瞰图像，则通过将该拍摄俯瞰图像配置于在显示画面11上存在于车辆1的前方以及后方的拍摄区域来显示车辆1的周边区域的俯瞰图像。在本实施例中，图像显示部103与本发明中的“拍摄俯瞰图像显示部”对应。需要说明的是，对于在车辆1的左右方向存在的死角区域，图像显示部103也能够通过后述的方法来显示俯瞰图像。
拍摄俯瞰图像存储部107对从拍摄俯瞰图像生成部102供给的拍摄俯瞰图像进行存储。在本实施例中，拍摄俯瞰图像存储部107与本发明中的“拍摄俯瞰图像存储部”对应。移动信息获取部104与转向操纵角传感器12、车速传感器13、换档位置传感器14连接。移动信息获取部104根据这些传感器的输出获取车辆1的移动信息。这里，车辆1的移动信息是指车辆1在前进、后退还是停车之类的信息、车辆1在笔直地前进、右转弯还是左转弯、转弯的情况下与转弯的大小有关的信息、以及与车辆1的行驶速度有关的信息等。在本实施例中，移动信息获取部104与本发明中的“移动信息获取部”对应。
历史图像截取部108根据来自移动信息获取部104的移动信息，从存储在拍摄俯瞰图像存储部107的拍摄俯瞰图像中截取与车辆1的左右的死角区域对应的部分的图像(历史图像)。即，当前的死角区域在过去也曾是拍摄区域，因而存储在拍摄俯瞰图像存储部107的拍摄俯瞰图像中包括与当前的死角区域对应的图像。因此，根据车辆1的移动信息对与死角区域对应的图像是拍摄俯瞰图像中的哪部分进行确定，并将该部分的图像截取为历史图像。然后，将截取的历史图像输出至图像显示部103。
图像显示部103若从历史图像截取部108接受到车辆1的左右的历史图像，则通过将该历史图像配置于在显示画面11上对应的位置来显示车辆1的死角区域的俯瞰图像。结果，能够将关于遍及车辆1的整周的周边区域的俯瞰图像与从拍摄俯瞰图像生成部102接受到的拍摄俯瞰图像合在一起显示在显示画面11。需要说明的是，在本实施例中，图像显示部103也与本发明中的“历史图像显示部”对应。
异物检测部105通过对存储在拍摄俯瞰图像存储部107的拍摄俯瞰图像的图像区域进行搜索，对附着于车载相机10F、10R并拍入至拍摄图像的泥、水滴等异物进行检测。这里，若异物拍入至拍摄图像，则在拍摄俯瞰图像也拍入有异物，进而，在显示于显示画面11的历史图像(俯瞰图像)也拍入有异物。因此，异物检测部105对拍入至拍摄图像的异物进行检测。需要说明的是，也可以通过代替拍摄俯瞰图像而对由拍摄图像获取部101获取的拍摄图像的图像区域进行搜索来检测异物。异物去除部106从历史图像截取部108暂时接受显示前的历史图像，从该历史图像去除异物并输送至历史图像截取部108(截取去除了异物的历史图像)。这样一来，即便异物附着于车载相机10F、10R而导致在拍摄图像拍入有异物，也能够将去除了异物的历史图像(俯瞰图像)显示在显示画面11。如上所述，在本实施例中，异物检测部105、异物去除部106以及历史图像截取部108协作，若未检测到异物则将历史图像保持原状截取，若检测到异物则截取去除了异物的历史图像。因此，异物检测部105、异物去除部106以及历史图像截取部108与本发明中的“历史图像截取部”对应。
上述的本实施例的图像显示装置100具有为了显示车辆1的死角区域的俯瞰图像而使用历史图像，同时不易受到异物拍入至拍摄图像(进而是历史图像)的影响的较大优点。下面，对其理由与本实施例的图像显示装置100显示车辆1的周边的俯瞰图像的方法进行说明，但作为它们的准备，对通过视线转换生成拍摄俯瞰图像的方法与使用历史图像显示俯瞰图像的方法的概要进行说明。
[B.使用历史图像显示车辆的周边的俯瞰图像的原理]
作为一个例子，考虑多个标记等间隔且以格子状描绘在利用车辆1的车载相机10F(或车载相机10R)拍摄的地面的情况。图3中的(a)中示出了从车辆1的上方观察等间隔且以格子状描绘在车辆1的前方的地面的多个圆圈标记的状态。在图中，从车载相机10F起沿倾斜方向延伸的2条点划线表示车载相机10F的拍摄区域与死角区域的边界。另外，圆圈标记用粗实线显示的情况表示该标记位于车载相机10F的拍摄区域内，圆圈标记用细虚线显示的情况表示该标记位于车载相机10F的死角区域内。车载相机10F(或车载相机10R)从斜上方拍摄这样的地面。
图3中的(b)中示出了利用车载相机10F获得的拍摄图像。拍摄图像中拍到了在车载相机10F的拍摄范围内存在的地面的标记。例如，拍摄图像上的标记a拍到了图3中的(a)的地面上的标记A，拍摄图像上的标记b拍到了地面上的标记B。同样，拍摄图像上的标记c和标记d拍到了地面上的标记C和标记D。这样，车载相机10F的拍摄范围内的地面上的坐标与拍摄图像上的坐标之间存在一对一的对应关系。因此，只要利用该对应关系，就能够将图3中的(b)所例示的拍摄图像转换为像图3中的(a)所例示的那样像从车辆1的上方俯视地面那样的图像(俯瞰图像)。这是对车载相机10F(或车载相机10R)的拍摄图像进行视线转换来生成俯瞰图像时的想法。
通过进行这样的视线转换，图4中的(a)所示的拍摄图像转换为图4中的(b)所示的俯瞰图像。这样获得的俯瞰图像是越远位置处左右方向越宽的图像。这是因为车载相机10F(或车载相机10R)的拍摄范围向左右两侧扩大(参照图3中的(a))。在图4中的(b)中，将俯瞰图像中向左侧扩大的区域显示为区域L，将向右侧扩大的区域显示为区域R。
在图4中的(b)所示的状态下，区域L和区域R均位于车载相机10F的拍摄区域内。然而，若车辆1前进，则区域L成为车辆1的左方的死角区域，区域R成为车辆1的右方的死角区域。因此，存储对车载相机10F的拍摄图像进行视线转换而获得的俯瞰图像(拍摄俯瞰图像)，随着车辆1的移动，从过去的拍摄俯瞰图像中截取与当前的死角区域对应的部分的图像(历史图像)来显示即可。
图5中示出了随着车辆1的移动在死角区域显示历史图像的样子。例如，假设在时刻Ta，在车辆1的前方以及后方显示拍摄俯瞰图像，但在车辆1的左右尚未显示历史图像。另外，该拍摄俯瞰图像不仅为了显示车辆1的拍摄区域的俯瞰图像而使用，还为了之后显示死角区域的俯瞰图像而进行存储。
接下来，若在时刻Tb通过车载相机10F、10R拍摄新的图像，则根据该拍摄图像生成新的拍摄俯瞰图像，并显示在车辆1的前方以及后方。另外，在图中，在时刻Ta存储的拍摄俯瞰图像标注斜线显示。需要说明的是，在图5中，为了表示在不同时刻获得的拍摄俯瞰图像的重叠，过去获得的拍摄俯瞰图像(标注斜线显示的图像)相对于车辆1的行进方向而向右侧稍微错开位置来显示。如图所示，在时刻Ta获得的拍摄俯瞰图像的一部分与在时刻Tb新获得的拍摄俯瞰图像重叠，但也存在未重叠的部分。该未重叠的部分相当于在时刻Tb进入车载相机10F的死角区域的部分(本次新成为死角区域的部分)。因此在时刻Tb，从时刻Ta的拍摄俯瞰图像中，将与时刻Tb的拍摄俯瞰图像未重叠的部分的图像截取为历史图像，并显示在车辆1的左右的死角区域。另外，对于时刻Tb的拍摄俯瞰图像也为了随后截取历史图像而进行存储。需要说明的是，车载相机10F、10R按照约30Hz的周期拍摄图像，因此从时刻Ta至时刻Tb为止，车辆1移动的距离较短，但为了避免图示繁琐，在图5中，车辆1的移动距离显示得比实际长。因此，实际上，时刻Ta的拍摄俯瞰图像的大部分与时刻Tb的拍摄俯瞰图像重叠，截取为历史图像的部分是小于图示的图像。
而且，若在时刻Tc通过车载相机10F、10R拍摄到新的图像，则根据该拍摄图像生成的拍摄俯瞰图像显示在车辆1的前方以及后方。另外，如图5所示，在时刻Tc，储存有时刻Ta以及时刻Tb的两个拍摄俯瞰图像。在时刻Tb已经显示在死角区域的历史图像随着时刻Tb至时刻Tc间的车辆1的移动，将显示位置向与车辆1的行进方向相反的方向移动(转移)。例如，如图所示，在车辆1前进的情况下，显示位置向车辆1的后方转移。另外，对于随着车辆1的移动而新成为死角区域的部分，从拍摄俯瞰图像将相应部分截取为历史图像。这里，存在时刻Ta及时刻Tb的多个拍摄俯瞰图像，但在任意一个中均包括成为死角区域的部分，因而从新的时刻Tb的拍摄俯瞰图像截取历史图像。然后，将该历史图像显示在与新的死角区域对应的位置。另外，对于时刻Tc的拍摄俯瞰图像也为了截取历史图像而存储。
之后，时刻Td、时刻Te也同样，每当车载相机10F、10R拍摄新的图像时，显示拍摄俯瞰图像以及历史图像。即，对于车辆1的前后的拍摄区域，显示对拍摄图像进行视线转换而获得的拍摄俯瞰图像。而且，对于死角区域，转移已经显示的历史图像来显示，并且截取与新的死角区域对应的历史图像来显示。这样一来，能够显示车辆1的周边的遍及整周的俯瞰图像。
可是，这样使用历史图像来显示俯瞰图像的技术存在如下问题。即，存在如下弱点：若异物附着于车载相机10F(或车载相机10R)而导致在拍摄图像拍入有异物，则显示的俯瞰图像的画质劣化。使用图6对该理由进行说明。例如，假设在时刻Ta异物附着于车载相机10F(或车载相机10R)而导致在拍摄图像拍入有异物。若在拍摄图像拍入有异物，则在对该拍摄图像进行视线转换而成的拍摄俯瞰图像也拍入有异物。图中用涂满的圆形表示在时刻Ta的拍摄俯瞰图像的情况表示在拍摄俯瞰图像拍入有异物。在该例中，在拍摄俯瞰图像的图像区域中的在时刻Tb截取为历史图像的区域拍入有异物。因此，在时刻Tb，在截取的历史图像也显示有异物，即便在之后的时刻，只要该历史图像转移并显示，就保持显示有异物的状态。
另外，若异物一旦附着于车载相机10F(或车载相机10R)，则通常暂时会保持附着有异物的状态，在这种情况下，在之后生成的拍摄俯瞰图像也拍入有异物。例如，在图中，在时刻Tb～Td生成的拍摄俯瞰图像也拍入有异物。因此，在时刻Tc～Te新截取的历史图像也显示有异物，因而如图所示，异物相连地显示。结果，被异物遮挡而未显示车辆1的周边状况的范围扩大。因此，为了避免这种情况，在本实施例的图像显示装置100中，按照如下方法来显示车辆1的周边的俯瞰图像。
[C.第一实施例的俯瞰图像显示处理]
图7以及图8中示出了上述的第一实施例所涉及的图像显示装置100以及图像显示方法所执行的俯瞰图像显示处理的流程图。该处理由图像显示装置100执行。如图所示，若第一实施例所涉及的图像显示装置100开始俯瞰图像显示处理，则首先从车载相机10F以及车载相机10R获取车辆1的前方以及后方的拍摄图像(S101)。接着，获取车辆1的移动信息(S102)。这里，车辆1的移动信息是指从转向操纵角传感器12、车速传感器13、换档位置传感器14等获取到的信息。
接下来，图像显示装置100通过对从车载相机10F、10R获得的拍摄图像进行视线转换，生成针对车辆1的前方以及后方的拍摄区域的拍摄俯瞰图像(S103)。然后，在显示画面11上与车载相机10F以及车载相机10R的拍摄区域对应的帧存储器写入前方以及后方的拍摄俯瞰图像(S104)。这里，帧存储器是指为了在显示画面11显示图像而使用的存储区域。显示在显示画面11的图像一旦在帧存储器上生成之后，作为映像信号输出，由此显示在显示画面11。帧存储器上的一个个地址(例如24位的地址区域)与显示画面11上的一个个像素对应。在S104中，在显示画面11上与车载相机10F的拍摄区域对应的帧存储器的各地址写入前方的拍摄俯瞰图像，并在与车载相机10R的拍摄区域对应的帧存储器的各地址写入后方的拍摄俯瞰图像。
接着，将获得的拍摄俯瞰图像存储在存储器(S105)。每当车载相机10F、10R拍摄图像时，拍摄俯瞰图像生成并存储，因此在S105中，以能够在多个拍摄俯瞰图像间识别存储(或生成)图像的时机的前后关系的状态(例如与时间戳一起)存储在存储器。
若这样将历史俯瞰图像存储在存储器(S105)，则进行异物搜索处理(S106)。在异物搜索处理中，通过对存储在存储器的拍摄俯瞰图像的图像区域进行搜索而对附着于车载相机10F(或车载相机10R)并拍入至拍摄图像的异物进行检测。需要说明的是，对于异物搜索处理，在下文中详细地进行说明。
接着，对车辆1是否处于前进中进行判断(图8的S107)。车辆1是否处于前进中能够根据在S102中获取到的移动信息进行判断。结果，在车辆1处于前进中的情况下(S107：是)，从显示在车辆1的前方的过去的拍摄俯瞰图像中选择最新的(前一个)拍摄俯瞰图像。即，该最新的拍摄俯瞰图像是到前一刻为止拍摄拍摄区域而成的图像，因此是拍到本次新成为车辆1的死角区域的部分的拍摄俯瞰图像。需要说明的是，有时在过去的拍摄俯瞰图像中，即便不是最新的拍摄俯瞰图像，也存在拍到新成为死角区域的部分的拍摄图像，但为了显示与当前的车辆1的周边状况更接近的俯瞰图像(历史图像)，选择最新的拍摄俯瞰图像。另一方面，在车辆1处于后退中的情况下(S107：否)，从显示在车辆1的后方的过去的拍摄俯瞰图像中，选择拍到本次新成为死角区域的部分的过去的(最新的)拍摄俯瞰图像(S109)。
接着，截取在S108或S109中选择的拍摄俯瞰图像的图像区域中的与本次新成为死角区域的部分对应的图像区域(历史图像)(S110)。车辆1的移动信息在S102中已经获取，因此能够根据该移动信息决定过去的(最新的)拍摄俯瞰图像的图像区域中的与本次新成为死角区域的部分对应的图像区域(历史图像)。该截取到的历史图像作为实施异物的去除的对象而暂时存储在存储器。然后，对该历史图像进行去除异物的异物去除处理(S111)。即，若在S106的异物搜索处理中检测到异物，则进行从在S110中截取到的历史图像去除异物的处理。当然，若在S106的异物搜索处理中未检测到异物，则不进行从在S110的处理中截取到的历史图像去除异物的处理。需要说明的是，对于异物去除处理(S111)，在下文中与异物搜索处理(S106)一起详细地进行说明。
接着，在将与本次新成为死角区域的部分对应的历史图像(若检测到异物，则为去除了异物的历史图像)写入至帧存储器之前，将已经写入的过去的历史图像移动(转移)至与车辆1的移动量对应的地址(S112)。即，与已经写入的过去的历史图像对应的死角区域根据车辆1的移动量向车辆1的前方或后方移动。因此，使已经写入的过去的历史图像与车辆1的移动量对应地转移。需要说明的是，删除因车辆1移动而不再与车辆1的死角区域对应的历史图像，即删除因转移而从与帧存储器上的死角区域对应的地址偏离的历史图像。若这样转移过去的历史图像，则与帧存储器上的死角区域对应的地址的一部分空置，处于未存储历史图像的状态。该空置的帧存储器上的地址是与新的死角区域对应的地址。因此，在该地址写入在S110中截取到的新的历史图像(S113)。另外，对于拍摄区域，车辆1的前方以及后方的拍摄俯瞰图像在图8的S104中已经写入至帧存储器，因而在死角区域中转移过去的历史图像并且写入新的历史图像，由此在帧存储器上完成显示在显示画面11的图像。因此，图像显示装置100将帧存储器上的图像输出至显示画面11(S114)。结果，在显示画面11显示有像从上方观察车辆1的周边那样的俯瞰图像。
若像以上那样将帧存储器上的图像显示在显示画面11(S114)，则对是否结束关于车辆1的周边区域的俯瞰图像的显示进行判断(S115)。结果，在尚未结束显示的情况下(S115：否)，返回处理的开端，再次获取由车载相机10F、10R获得的拍摄图像(图7的S101)之后，执行上述连续的一系列的处理。与此相对，在判断为结束显示的情况下(S115：是)，结束第一实施例所涉及的图像显示装置100以及图像显示方法所执行的俯瞰图像显示处理。
图9中示出了俯瞰图像显示处理中的异物搜索处理的流程图。如上使用图7所述，异物搜索处理(S106)是存储拍摄俯瞰图像之后进行的处理。在异物搜索处理中，通过对存储的拍摄俯瞰图像的图像区域进行搜索来进行对附着于车载相机10F(或车载相机10R)并拍入至拍摄图像的异物进行检测的处理。
若开始异物搜索处理，则首先对开始异物的搜索的条件(搜索开始条件)是否成立进行判断。例如，如图所示，对车辆1是否处于行驶中进行判断(S201)，若车辆1处于行驶中(S201：是)，则对从前次搜索异物起是否经过了规定时间(例如1分钟)进行判断(S202)。结果，若从前次搜索异物起经过了规定时间(S202：是)，则视为搜索开始条件成立，开始之后的搜索异物的处理。这里，驾驶员观察显示于显示画面11的俯瞰图像认为是为了对车辆1行驶中在周边是否存在障碍物进行确认。在这点上，若如上所述构成为在车辆1处于行驶中的情况下开始异物的搜索，则能够在驾驶员观察俯瞰图像的可能性低的时机(车辆1处于停止中)不进行异物的搜索，由此减少处理负担，并且在驾驶员观察俯瞰图像的可能性高的时机(车辆1处于行驶中)对拍入俯瞰图像(历史图像)的异物进行检测。需要说明的是，鉴于这点，在车辆1开始行驶的情况下或在进行了用于使车辆1的行驶开始的操作(例如，加速操作、解除手刹的操作、将变速器的档位切换为行驶挡的操作等)的情况下(在对于车辆1的驾驶员操作的变化量为规定量以上的情况下)，可以开始异物的搜索。
另外，驾驶员观察显示在显示画面11的俯瞰图像认为是为了确认存在于车辆1的周边的障碍物进入视野并与该障碍物形成的距离。而且，在像这样障碍物进入视野的情况下，驾驶员可以考虑降低车辆1的行驶速度即减速。因此，在车辆1的行驶速度在规定速度以下的情况下、在车辆1的行驶速度成为规定速度以下的情况下、在车辆1的行驶速度的降低量在规定量以上的情况下、在进行了用于降低车辆1的行驶速度的操作(例如，加速操作等)的情况下(在对于车辆1的驾驶员操作的变化量在规定量以上的情况下)，可以开始异物的搜索。在这种情况下，也能够在驾驶员观察俯瞰图像的可能性低的时机(这里为车辆1处于高速行驶中、匀速行驶中)不进行异物的搜索，由此减少处理负担，并且在驾驶员观察俯瞰图像的可能性高的时机(这里为车辆1处于低速行驶中、降低行驶速度的情况)对拍入俯瞰图像(历史图像)的异物进行检测。
另外，驾驶员观察显示在显示画面11的俯瞰图像认为是为了使车辆1后退来进行停车。因此，在车辆1后退的情况下、在进行了用于使车辆1后退的操作(例如，加速操作、将变速器的档位切换至后退用的档的操作等)的情况下(在对于车辆1的驾驶员操作的变化量成为规定量以上的情况下)，可以开始异物的搜索。在这种情况下，也能够在驾驶员观察俯瞰图像的可能性低的时机(这里为前进中)不进行异物的搜索，由此减少处理负担，并且在驾驶员观察俯瞰图像的可能性高的时机(这里为后退中、开始后退的情况下)对拍入俯瞰图像(历史图像)的异物进行检测。
在上述那样的开始异物的搜索的条件(搜索开始条件)成立的情况下(在图9中，S201：是，S202：是)，进行搜索拍入拍摄俯瞰图像的异物的处理。在本实施例中，并不是以拍摄俯瞰图像的全部的图像区域为对象来搜索异物，而是限定于拍摄俯瞰图像的图像区域中的作为历史图像使用(截取)的图像区域来搜索异物。下面，将拍摄俯瞰图像的图像区域中的作为历史图像使用(截取)的图像区域即成为异物的搜索对象的图像区域称为“搜索图像区域”。
在搜索异物的处理中，首先，决定搜索图像区域(S203)。搜索图像区域是如上所述作为历史图像使用(截取)的图像区域，因此与从拍摄俯瞰图像截取历史图像时(图8的S110)同样，根据在S102中获得的移动信息来决定与本次成为新的死角区域的部分对应的图像区域，并将该图像区域作为搜索图像区域(S203)。例如，在图10中的(a)所示的例子中，由于车辆1前进，所以将前方的拍摄俯瞰图像中的斜线部分决定为搜索图像区域。
若决定了搜索图像区域(S203)，则搜索该搜索图像区域，并在规定期间上对颜色信息(RGB值、亮度值等)的变化量少的区域(像素)进行检测(S204)。即，尽管车辆1前进或后退导致周边状况变化，但在存在颜色信息的变化量较少的区域的情况下，能够判断为该区域是拍入有异物的区域(以下称为“异物图像区域”)。本实施例中，将这样的检测异物图像区域的情况表述为“检测异物”。
对于异物图像区域的检测而言，如图10中的(b)所示，例如将从最新的拍摄俯瞰图像向过去回溯的多个拍摄俯瞰图像从存储在存储器的拍摄俯瞰图像中读出。然后，判断在读出的多个拍摄俯瞰图像间，是否存在在搜索图像区域内变化量较少的区域(异物图像区域)进行。这里，在车辆1的行驶速度较小的情况下，短时间内车辆1的周边状况的变化容易变小，因而对搜索图像区域的颜色信息的变化量而言，即便不是异物图像区域也容易变小。因此，在车辆1的行驶速度较小的情况下，若以短时间量的拍摄俯瞰图像为对象来搜索异物，则存在尽管未拍入异物但也检测到异物的可能性。与此相对，在车辆1的行驶速度较大的情况下，即便在短时间内车辆1的周边状况的变化也容易变大，因而对搜索图像区域的颜色信息的变化量而言，若非异物图像区域则容易变大。因此，在车辆1的行驶速度较大的情况下，即便以短时间量的拍摄俯瞰图像为对象来搜索异物，误检测出异物的可能性也较小。因此，在车辆的行驶速度在规定速度以上(例如5km/h以上)的情况下，设为异物搜索的对象(回溯读出)的拍摄俯瞰图像的数量可以根据车辆1的行驶速度决定(可以为在与车辆的行驶速度相应的时间上获取的数量)。这样一来，能够抑制异物的误检测，并且能够减少与异物检测相关的处理负担。
需要说明的是，在上述的例子中，将搜索图像区域中颜色信息的变化量较少的区域作为异物图像区域，但也可以通过公知的边缘检测处理等对拍入至搜索图像区域的物体进行检测，并在多个拍摄俯瞰图像间该物体的移动量(所谓的移动向量)在规定量以下的情况下，将拍入有该物体的区域作为异物图像区域。另外，在上述的例子中，搜索拍摄俯瞰图像的搜索图像区域来检测异物图像区域(异物)，但也可以将与拍摄图像的历史图像对应的区域决定为搜索图像区域，并搜索拍摄图像的搜索图像区域来检测异物图像区域(异物)。
这样对搜索图像区域内的异物图像区域(异物)进行了搜索的结果(S204)是，在检测到异物图像区域(异物)的情况下(S205：是)，在将该异物图像区域存储在存储器之后(S206)，结束图9所示的异物搜索处理，并返回至图7以及图8所示的俯瞰图像显示处理。与此相对，在未检测到异物图像区域的情况下(S205：否)，直接结束图9所示的异物搜索处理，并返回至图7以及图8所示的俯瞰图像显示处理。需要说明的是，存储在存储器的异物图像区域在下次搜索异物图像区域(异物)时删除。
如上所述，在本实施例的图像显示装置100以及图像显示方法中，并不是以拍摄俯瞰图像或拍摄图像的全部的图像区域为对象来搜索异物，而是限定于作为历史图像使用的图像区域来搜索异物。因此，不仅能够从容易受到异物的拍入带来的影响的历史图像去除异物，还能够减少与该异物的检测相关的处理负担。
图11中示出了俯瞰图像显示处理中的异物去除处理的流程图。如上使用图8所述，异物去除处理(S111)是在图8的S110中截取历史图像之后进行的处理，是从该历史图像去除异物的处理。
若开始异物去除处理，则首先对是否存储有异物图像区域进行判断(S301)。即，通过如上使用图9所述的异物搜索处理来检测异物图像区域(异物)，对该异物图像区域是否存储于存储器进行判断。结果，在未存储有异物图像区域的情况下(在未检测到异物的情况下)(S301：否)，在图8的S110中截取到的历史图像未拍入异物，因而直接结束图11所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。而且，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在图8的S110中截取到的历史图像保持原状显示。
与此相对，在存储有异物图像区域的情况下(在检测到异物的情况下)(图11的S301：是)，在图8的S110中截取到的历史图像拍入有异物，因而从该历史图像去除异物。这里，在按照流程图对去除异物的处理的详细内容进行说明之前，使用图12对去除异物的处理的概要进行说明。需要说明的是，在下面的说明中，假设车辆1前进。
如图12中的(a)所示，搜索图像区域是作为历史图像截取的图像区域，因而在搜索图像区域中检测到异物图像区域(图中为涂满的圆形)的情况下，在历史图像也拍入有异物。若将拍入有该异物的历史图像保持原状地显示在显示画面11，则在该历史图像转移并显示的期间处于异物也显示的状态。另外，在之后截取的历史图像也拍入有异物，因而如图所示，异物相连地显示。结果，被异物遮挡而未显示车辆1的周边状况的范围扩大。因此，在搜索图像区域检测到异物图像区域的情况下(在截取到的历史图像拍入有异物的情况下)，将拍入有异物的历史图像替换为其他历史图像，由此从截取到的历史图像去除异物。在本实施例中，如图12中的(b)所示，截取到的历史图像(拍入有异物的历史图像)不显示(图中为虚线×标记)，读出比截取到该历史图像的拍摄俯瞰图像前一个(过去)存储的拍摄俯瞰图像。然后，从该前一个存储的拍摄俯瞰图像，将拍到与历史图像(拍入有异物的历史图像)相同的死角区域的图像区域(下面称为“代替图像区域”)截取为新的历史图像来显示(图中为实线箭头)。即，若车辆在移动，则在本次的拍摄俯瞰图像中拍入搜索图像区域的死角区域在过去的拍摄俯瞰图像中也拍入其他图像区域(代替图像区域)，因而将该图像区域作为新的历史图像。由此，能够从历史图像去除异物。需要说明的是，如图中交叉影线所示，拍摄俯瞰图像保持原状地显示在拍摄区域。
根据上述情况，返回图11所示的异物去除处理的流程图的说明。在S301的判断处理中，在判断为存储有异物图像区域的情况下(检测到异物的情况下)(S301：是)，首先，读出比本次截取到的历史图像(拍入有异物的历史图像)前一个存储的拍摄俯瞰图像(S302)。然后，对在该拍摄俯瞰图像是否存在代替图像区域进行判断(S303)。如上使用图12中的(b)所述，代替图像区域是指拍到与本次截取到的历史图像(拍入有异物的历史图像)相同的死角区域的图像区域。S303的判断处理的结果是，在前一个存储的拍摄俯瞰图像不存在代替图像区域的情况下(S303：否)，直接结束图11所示的异物去除处理，返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在S110中截取到的历史图像保持原状(保持不去除异物的状态)显示。
另一方面，在前一个拍摄俯瞰图像存在代替图像区域的情况下(S303：是)，首先，搜索该代替图像区域(S304)并对是否未拍入异物进行判断(S305)。即，在本实施例中，如上使用图12中的(b)所述，在将代替图像区域作为新的历史图像截取并显示时，存在在代替图像区域也拍入有异物的可能性。因此，与对搜索图像区域进行搜索的情况同样(参照图10)，对于代替图像区域也搜索异物(异物图像区域)。结果，若在代替图像区域未拍入异物(S305：否)，则截取该代替图像区域并作为新的历史图像存储在存储器(在去除异物的状态下截取历史图像)(S309)。然后，图像显示装置100结束图11所示的异物去除处理，返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此显示截取了代替图像区域的新的历史图像。这样一来，能够显示车辆1的死角区域中的被异物遮挡而未显示的部分，能够使俯瞰图像的画质提高。
与此相对，在代替图像区域也拍入有异物的情况下(S305：是)，将代替图像区域的异物图像区域存储在存储器(S306)。然后，对代替图像区域的异物图像区域的大小(像素数)与已经截取的历史图像(这里为搜索图像区域)的异物图像区域的大小(像素数)进行比较(S307)，若代替图像区域的异物图像区域较小(S307：是)，则截取该代替图像区域并作为新的历史图像存储在存储器(S308)。即，对拍入至已经截取的历史图像的异物的大小与拍入至想要新截取的历史图像的异物的大小进行比较，若拍入至想要新截取的历史图像的异物较小，则重新截取历史图像。在代替图像区域的异物图像区域的大小即拍入至想要新截取的历史图像的异物的大小在拍入至已经截取的历史图像的异物的大小以上的情况下，不截取代替图像区域(不重新截取历史图像)。
这样一来，若进行了S307或S308的处理，则重复S302之后的处理，由此将拍摄俯瞰图像一个个地向过去回溯并读出(S302)，对在该拍摄俯瞰图像是否存在代替图像区域进行判断(S303)，在存在该代替图像区域的情况下(S303：是)，对在代替图像区域是否拍入有异物进行判断(S304、S305)。然后，在代替图像区域未拍入异物的情况下(S305：否)，截取该代替图像区域并作为新的历史图像(在去除了异物的状态下截取历史图像)。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此显示未拍入异物的历史图像(去除了异物的历史图像)。这样一来，能够向过去回溯并找到车辆1的死角区域中被异物遮挡而无法显示的部分的图像。结果，能够提高显示车辆1的死角区域中被异物遮挡而未显示的部分的概率，能够使俯瞰图像的画质提高。
与此相对，在代替图像区域拍入有异物的情况下(S305：是)，对拍入至代替图像区域(想要新截取的历史图像)的异物的大小与拍入至已经截取的历史图像的异物的大小进行比较，若拍入至代替图像区域(想要新截取的历史图像)的异物较小(S307：是)，则重新截取历史图像(S308)。即，即便向过去回溯并读出拍摄俯瞰图像，在代替图像区域拍入有异物的情况下，也将拍入的异物最小的代替图像区域截取为新的历史图像。而且，若一直无法找到未拍入异物的代替图像区域，且在过去的拍摄俯瞰图像不再存在代替图像区域(S303：否)，则图像显示装置100结束图11所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在当前时刻显示存储在存储器的历史图像。即，显示拍入的异物最小的历史图像。这样一来，即便无法完全消除车辆1的死角区域中被异物遮挡而未显示的部分，也能够缩小该区域，能够使俯瞰图像的画质提高。
需要说明的是，在搜索图像区域拍入有异物的情况下，如图12中的(b)所示，在显示在拍摄区域的拍摄俯瞰图像(图中为利用交叉影线表示的拍摄俯瞰图像)也拍入有异物。因此，如图13所示，在搜索图像区域拍入有异物的情况下，也可以进行将显示在拍摄区域的拍摄俯瞰图像的搜索图像区域替换为过去的拍摄俯瞰图像的代替图像区域的处理。这样一来，能够显示车辆1的拍摄区域中被异物遮挡而未显示的部分，能够使俯瞰图像的画质提高。
[第二实施例]
接下来，对第二实施例所涉及的图像显示装置100以及图像显示方法所执行的俯瞰图像显示处理进行说明。图14中示出了第二实施例的异物去除处理的概要。在图14中，假设车辆1前进。在第二实施例中，若在搜索图像区域中检测到异物图像区域(在截取到的历史图像拍入有异物的情况下)，则利用与第一实施例不同的方法去除异物。在第二实施例中，如图14所示，截取到的历史图像(拍入有异物的历史图像)中未拍入异物的图像区域(异物图像区域以外的图像区域)保持原状显示(图中为实线箭头)。另外，拍入有异物的图像区域(异物图像区域)替换为替代的图像(图中为虚线箭头)。即，读出比截取了历史图像(拍入有异物的历史图像)的拍摄俯瞰图像前一个(过去)存储的拍摄俯瞰图像。然后，从该前一个存储的拍摄俯瞰图像读出拍到与历史图像的异物图像区域对应的死角区域的图像区域即历史图像中拍到被异物遮挡而未显示的死角区域的图像区域(下面称为“局部图像区域”)并进行合成。由此，能够从历史图像去除异物。需要说明的是，如图中交叉影线所示，在拍摄区域中，拍摄俯瞰图像保持原状显示。
图15中示出了第二实施例所涉及的俯瞰图像显示处理中的异物去除处理的流程图。第二实施例所涉及的异物去除处理也是在图8所示的俯瞰图像显示处理中的S110中截取历史图像之后进行的处理。
若图像显示装置100开始第二实施例所涉及的异物去除处理，则首先对是否存储有异物图像区域进行判断(S401)。即，对在如上使用图9所述的异物搜索处理中检测异物图像区域(异物)，且该异物图像区域是否存储于存储器进行判断。结果，在未存储有异物图像区域的情况下(在未检测到异物的情况下)(S401：否)，由于在图8的S110中截取到的历史图像未拍入异物，因此直接结束图15所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。而且，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在S110中截取到的历史图像保持原状显示。
与此相对，在存储有异物图像区域的情况下(在检测到异物的情况下)(图15的S401：是)，在图8的S110中截取到的历史图像拍入有异物，因此进行从该历史图像去除异物的处理。在该处理中，首先读出比本次截取到的历史图像(拍入有异物的历史图像)前一个存储的拍摄俯瞰图像(S402)。然后，对在该拍摄俯瞰图像是否存在局部图像区域进行判断(S403)。如上使用图14所述，局部图像区域是指拍到与本次截取到的历史图像(拍入有异物的历史图像)的异物图像区域对应的死角区域的图像区域，换言之，是指在本次截取到的历史图像(拍入有异物的历史图像)中拍到被异物遮挡而未显示的死角区域的图像区域。S403的判断处理的结果是，在前一个存储的拍摄俯瞰图像不存在局部图像区域的情况下(S403：否)，直接结束图15所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在S110中截取到的历史图像保持原状(保持不去除异物的状态)显示。
另一方面，在前一个拍摄俯瞰图像存在局部图像区域的情况下(S403：是)，首先搜索该局部图像区域(S404)并对是否未拍入异物进行判断(S405)。即，在本实施例中，如上使用图14所述，在截取局部图像区域并与历史图像合成来显示时，存在在局部图像区域也拍入有异物的可能性。因此，与对搜索图像区域进行搜索的情况同样(参照图10)，对于局部图像区域也搜索异物(异物图像区域)。结果，若在局部图像区域未拍入异物(S405：否)，则截取该局部图像区域。然后，将截取的局部图像区域合成(替换)至在图8的S110中截取的历史图像的异物图像区域，并存储在存储器(在去除了异物的状态下截取历史图像)。然后，结束图15所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此显示将截取的局部图像区域合成而成的历史图像。这样一来，能够对车辆1的死角区域中未被异物遮挡的区域显示最新的图像(在图8的S110的处理截取的历史图像)，并且显示被异物遮挡而未显示的部分(局部图像区域的图像)。结果，能够使俯瞰图像的画质提高。
与此相对，在局部图像区域也拍入有异物的情况下(S405：是)，将局部图像区域的异物图像区域存储在存储器(S406)。然后，对局部图像区域的异物图像区域的大小(像素数)与历史图像的异物图像区域的大小(像素数)进行比较(S407)，若局部图像区域的异物图像区域较小(S407：是)，则截取该局部图像区域并合成至历史图像的异物图像区域，存储在存储器(S408)。即，对拍入至历史图像的异物的大小与拍入至想要新截取的局部图像区域的异物的大小进行比较，若拍入至想要新截取的局部图像区域的异物较小，则截取该局部图像区域并合成至历史图像的异物图像区域。想要新截取的局部图像区域的异物图像区域的大小、即拍入至想要新截取的局部图像区域的异物的大小在拍入至历史图像的异物的大小以上的情况下，不将局部图像区域合成至历史图像。
这样一来，若进行了S407或S408的处理，则重复S402之后的处理，由此将拍摄俯瞰图像一个个地向过去回溯并读出(S402)，对在该拍摄俯瞰图像是否存在局部图像区域进行判断(S403)，在存在该局部图像区域的情况下(S403：是)，对在局部图像区域是否拍入有异物进行判断(S404、S405)。而且，在局部图像区域未拍入异物的情况下(S405：否)，截取该局部图像区域并合成至历史图像的异物图像区域(在去除了异物的状态下截取历史图像)。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此显示将未拍入异物的局部图像区域合成而成的历史图像(去除了异物的历史图像)。这样一来，能够向过去回溯并找到车辆1的死角区域中被异物遮挡而无法显示的部分的图像。结果，能够提高显示车辆1的死角区域中被异物遮挡而未显示的部分的概率，能够使俯瞰图像的画质提高。
与此相对，在局部图像区域拍入有异物的情况下(S405：是)，对拍入至局部图像区域的异物的大小与拍入至历史图像的异物的大小(在已经将前次截取的局部图像区域合成的情况下为拍入至合成之后的历史图像的异物的大小)进行比较，若拍入至局部图像区域(想要新截取的局部图像区域)的异物较小(S407：是)，则截取该局部图像区域并合成至历史图像的异物图像区域(S408)。即，即使向过去回溯并读出拍摄俯瞰图像，在代替图像区域也拍入有异物的情况下，将拍入的异物最小的局部图像区域合成至历史图像的异物图像区域。
而且，若一直无法找到未拍入异物的局部图像区域，且在过去的拍摄俯瞰图像不再存在局部图像区域(S403：否)，则结束图15所示的异物去除处理，并返回至图8所示的俯瞰图像显示处理。该情况下，在图8所示的俯瞰图像显示处理中，进行与异物去除处理连续的S112～S114的处理，由此在当前时刻显示存储在存储器的历史图像。即，显示将拍入的异物最小的局部图像区域合成而成的历史图像。这样一来，即便无法完全消除车辆1的死角区域中被异物遮挡而未显示的部分，也能够缩小该区域，能够使俯瞰图像的画质提高。
需要说明的是，在搜索图像区域拍入有异物的情况下，如图14所示，在显示在拍摄区域的拍摄俯瞰图像(图中为利用交叉影线表示的拍摄俯瞰图像)也拍入有异物。因此，如图16所示，在搜索图像区域拍入有异物的情况下，也可以将显示在拍摄区域的拍摄俯瞰图像的异物图像区域替换为过去的拍摄俯瞰图像的局部图像区域。这样一来，能够抑制在显示于拍摄区域的拍摄俯瞰图像拍入有异物。这样一来，能够显示车辆1的拍摄区域中被异物遮挡而未显示的部分，能够使俯瞰图像的画质提高。另外，在上述的第二实施例所涉及的俯瞰图像显示处理的异物去除处理中，通过在历史图像的异物图像区域合成过去的拍摄俯瞰图像的局部图像区域并进行显示来去除异物，但并不局限于此，也可以通过将异物图像区域的图像(颜色信息)替换为预先决定为历史图像的异物图像区域的图像(颜色信息)、与异物图像区域的周边区域同样的图像(颜色信息)来去除异物。这样一来，能够减少与异物的去除相关的处理负担，并且能够抑制异物显眼显示。
以上，对第一实施例以及第二实施例所涉及的图像显示装置100(车辆周边图像显示装置)以及图像显示方法(车辆周边图像显示方法)进行了说明，但本发明并不局限于上述实施例，在不脱离其主旨的范围内能够以各种方式实施。
附图标记说明：
1…车辆；2…方向盘；10F、10R…车载相机；11…显示画面；12…转向操纵角传感器；13…车速传感器；14…换档位置传感器；100…图像显示装置(车辆周边图像显示装置)；101…拍摄图像获取部；102…拍摄俯瞰图像生成部；103…图像显示部；104…移动信息获取部；105…异物检测部；106…异物去除部；107…拍摄俯瞰图像存储部；108…历史图像截取部。

Claims (5)

1.一种车辆周边图像显示装置，其将使用车载相机(10F、10R)拍摄车辆(1)的周边区域而成的图像显示在显示画面(11)上，
所述车辆周边图像显示装置(100)的特征在于，具备：
拍摄图像获取部(101)，其从所述车载相机获取拍摄图像；
拍摄俯瞰图像生成部(102)，其通过对所述拍摄图像实施视线转换来生成拍摄俯瞰图像，所述视线转换将拍至所述车载相机的所述周边区域转换为从所述车辆的上方拍摄的图像；
拍摄俯瞰图像显示部(103)，其将所述拍摄俯瞰图像显示在所述显示画面上与所述车载相机拍摄的所述周边区域对应的位置；
移动信息获取部(104)，其获取关于所述车辆的移动量的移动信息；
历史图像截取部(108)，其针对所述车辆的周边区域中成为所述车载相机的死角区域，根据所述移动信息从在所述车辆到达当前的位置之前生成且拍摄所述死角区域而成的所述拍摄俯瞰图像中截取作为与所述死角区域对应的部分的图像的历史图像；以及
历史图像显示部(103)，其将所述历史图像显示在所述显示画面上与所述死角区域对应的位置，
所述历史图像截取部是，从所述拍摄俯瞰图像中的作为所述历史图像而截取的部分对附着于所述车载相机的异物的有无进行检测，并在检测到所述异物的情况下，针对检测到所述异物的部分，从在截取所述历史图像的拍摄俯瞰图像之前生成的拍摄俯瞰图像截取图像，由此截取去除了所述异物的所述历史图像的单元。
2.根据权利要求1所述的车辆周边图像显示装置，其特征在于，
所述历史图像截取部根据所述移动信息对所述车辆是否处于行驶中进行判断，并在所述车辆处于行驶中的情况下，对该车辆的行驶中生成的多个拍摄俯瞰图像中的未变化的部分进行检测，由此对所述异物进行检测。
3.根据权利要求2所述的车辆周边图像显示装置，其特征在于，
所述历史图像截取部是根据所述移动信息对所述车辆的行驶速度进行检测，并根据在与所述车辆的行驶速度相应的时间上生成的多个所述拍摄俯瞰图像对所述异物进行检测的部。
4.一种车辆周边图像显示装置，其将使用车载相机(10F、10R)拍摄车辆(1)的周边区域而成的图像显示在显示画面(11)上，
所述车辆周边图像显示装置(100)的特征在于，具备：
拍摄图像获取部(101)，其从所述车载相机获取拍摄图像；
拍摄俯瞰图像生成部(102)，其通过对所述拍摄图像实施视线转换来生成拍摄俯瞰图像，所述视线转换将拍至所述车载相机的所述周边区域转换为从所述车辆的上方拍摄的图像；
拍摄俯瞰图像显示部(103)，其将所述拍摄俯瞰图像显示在所述显示画面上与所述车载相机拍摄的所述周边区域对应的位置；
移动信息获取部(104)，其获取关于所述车辆的移动量的移动信息；
历史图像截取部(108)，其针对所述车辆的周边区域中成为所述车载相机的死角区域，根据所述移动信息从在所述车辆到达当前的位置之前生成且拍摄所述死角区域而成的所述拍摄俯瞰图像中截取作为与所述死角区域对应的部分的图像的历史图像；以及
历史图像显示部(103)，其将所述历史图像显示在所述显示画面上与所述死角区域对应的位置，
所述历史图像截取部是，从所述拍摄俯瞰图像中的作为所述历史图像而截取的部分对附着于所述车载相机的异物的有无进行检测，并在检测到所述异物的情况下，根据检测到所述异物的部分的周边的图像来截取去除了所述异物的所述历史图像的单元。
5.一种车辆周边图像显示方法，其将使用车载相机拍摄车辆的周边区域而成的图像显示在显示画面上，
所述车辆周边图像显示方法(S100)的特征在于，具备：
拍摄图像获取工序(S101)，从所述车载相机获取拍摄图像；
拍摄俯瞰图像生成工序(S103)，通过对所述拍摄图像实施视线转换来生成拍摄俯瞰图像，所述视线转换将拍至所述车载相机的所述周边区域转换为从所述车辆的上方拍摄的图像；
拍摄俯瞰图像显示工序(S114)，将所述拍摄俯瞰图像显示在所述显示画面上与所述车载相机拍摄的所述周边区域对应的位置；
移动信息获取工序(S102)，获取关于所述车辆的移动量的移动信息；
历史图像截取工序(S110)，针对所述车辆的周边区域中成为所述车载相机的死角区域，根据所述移动信息从在所述车辆到达当前的位置之前生成且拍摄该死角区域而成的所述拍摄俯瞰图像中截取作为与所述死角区域对应的部分的图像的历史图像；以及
历史图像显示工序(S114)，将所述历史图像显示在所述显示画面上与所述死角区域对应的位置，
所述历史图像截取工序是，从所述拍摄俯瞰图像中的作为所述历史图像而截取的部分对附着于所述车载相机的异物的有无进行检测，并在检测到所述异物的情况下，针对检测到所述异物的部分，从在截取所述历史图像的拍摄俯瞰图像之前生成的拍摄俯瞰图像截取图像，由此截取去除了所述异物的所述历史图像的工序。
CN201580059716.1A 2014-11-04 2015-10-23 车辆周边图像显示装置、车辆周边图像显示方法 Active CN107077715B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014223966A JP6327115B2 (ja) 2014-11-04 2014-11-04 車両周辺画像表示装置、車両周辺画像表示方法
JP2014-223966 2014-11-04
PCT/JP2015/080010 WO2016072300A1 (ja) 2014-11-04 2015-10-23 車両周辺画像表示装置、車両周辺画像表示方法

Publications (2)

Publication Number Publication Date
CN107077715A CN107077715A (zh) 2017-08-18
CN107077715B true CN107077715B (zh) 2021-01-08

Family

ID=55909026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580059716.1A Active CN107077715B (zh) 2014-11-04 2015-10-23 车辆周边图像显示装置、车辆周边图像显示方法

Country Status (4)

Country Link
EP (1) EP3217352B1 (zh)
JP (1) JP6327115B2 (zh)
CN (1) CN107077715B (zh)
WO (1) WO2016072300A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935107B (zh) * 2017-12-18 2023-07-14 姜鹏飞 一种提升交通通视范围的方法及装置
US20200184321A1 (en) * 2018-12-11 2020-06-11 Fotonation Limited Multi-processor neural network processing apparatus
CN112622761B (zh) * 2019-09-24 2022-07-29 博泰车联网科技(上海)股份有限公司 一种倒车显示方法、装置及计算机存储介质
WO2023192753A1 (en) * 2022-04-01 2023-10-05 Nvidia Corporation Under vehicle reconstruction for vehicle environment visualization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622156A (zh) * 2007-08-10 2010-01-06 丰田自动车株式会社 周边监视装置
US20100215218A1 (en) * 2007-10-30 2010-08-26 Katsuhiko Takahashi Road marking image processing device, road marking image processing method, and program
CN102448773A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备和图像显示系统
CN103366155A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 通畅路径检测中的时间相干性
WO2014006793A1 (ja) * 2012-07-04 2014-01-09 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301517A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 画像処理装置および画像処理方法
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法
JP5126549B2 (ja) * 2009-07-21 2013-01-23 アイシン精機株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5790335B2 (ja) * 2011-09-01 2015-10-07 株式会社デンソー 車両周辺画像表示制御装置
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622156A (zh) * 2007-08-10 2010-01-06 丰田自动车株式会社 周边监视装置
US20100215218A1 (en) * 2007-10-30 2010-08-26 Katsuhiko Takahashi Road marking image processing device, road marking image processing method, and program
CN102448773A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备和图像显示系统
CN103366155A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 通畅路径检测中的时间相干性
WO2014006793A1 (ja) * 2012-07-04 2014-01-09 株式会社デンソー 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车辆超车视觉辅助导航系统研究;王伟莉 等;《中国图像图形学报》;20080430;第13卷(第4期);第709-715页 *

Also Published As

Publication number Publication date
CN107077715A (zh) 2017-08-18
JP2016091250A (ja) 2016-05-23
JP6327115B2 (ja) 2018-05-23
WO2016072300A1 (ja) 2016-05-12
EP3217352A4 (en) 2017-11-15
EP3217352B1 (en) 2018-12-12
EP3217352A1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US8441536B2 (en) Vehicle periphery displaying apparatus
US20160009225A1 (en) Periphery surveillance apparatus and program
US20200082185A1 (en) Periphery monitoring device
CN107077715B (zh) 车辆周边图像显示装置、车辆周边图像显示方法
CN108886602B (zh) 信息处理装置
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
US10896542B2 (en) Moving body image generation recording display device and program product
WO2014084251A1 (ja) 車載画像処理装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
US20170297491A1 (en) Image generation device and image generation method
CN104756486A (zh) 车载图像生成装置
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2015171106A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7271908B2 (ja) 周辺監視装置
JP3988551B2 (ja) 車両周囲監視装置
US20220408062A1 (en) Display control apparatus, display control method, and program
JP7315303B2 (ja) 画像処理装置
JP4799236B2 (ja) 車載表示システム
JP4598011B2 (ja) 車両用表示装置
JP6519409B2 (ja) 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant