CN108293106B - 显示控制装置以及显示控制方法 - Google Patents

显示控制装置以及显示控制方法 Download PDF

Info

Publication number
CN108293106B
CN108293106B CN201680068413.0A CN201680068413A CN108293106B CN 108293106 B CN108293106 B CN 108293106B CN 201680068413 A CN201680068413 A CN 201680068413A CN 108293106 B CN108293106 B CN 108293106B
Authority
CN
China
Prior art keywords
image
overhead
captured
display
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680068413.0A
Other languages
English (en)
Other versions
CN108293106A (zh
Inventor
重村宗作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN108293106A publication Critical patent/CN108293106A/zh
Application granted granted Critical
Publication of CN108293106B publication Critical patent/CN108293106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

图像处理部创建除去俯瞰图像，该除去俯瞰图像是拍摄图像的俯瞰图像即拍摄俯瞰图像，且是除去了映现在拍摄图像上的照射光的俯瞰图像。创建除去俯瞰图像作为表示映现了照射光的拍摄俯瞰图像与差分用图像的差分的俯瞰图像，该差分图像是表示本车辆的照射光所引起的拍摄俯瞰图像的像素值的变化的图像。图像处理部创建除去履历图像，该除去履历图像是基于本车辆的移动量来使除去俯瞰图像错开位置而合成的俯瞰图像。图像处理部创建合成了除去履历图像和最新的拍摄俯瞰图像的俯瞰图像亦即除去显示图像，并使显示部显示除去显示图像。

Description

显示控制装置以及显示控制方法
技术领域
本发明涉及显示控制装置以及显示控制方法。
背景技术
近年来，已知一种利用搭载在车辆上的车载相机反复拍摄车辆的周边中的规定范围，并将拍摄图像变换为从车辆的上方俯视的视点的俯瞰图像，且使车辆内的显示部显示俯瞰图像的技术。
在这种技术中，已知有通过将合成了最新的拍摄图像的俯瞰图像和过去的拍摄图像的俯瞰图像的图像显示于显示部来扩大车辆的周边的图像显示范围的履历图像合成技术。例如在专利文献1中公开了在该履历图像合成技术中抑制显示部的图像中的本车辆的影子随着车辆的移动而放大的技术。
在专利文献1所记载的技术中，车载相机是拍摄车辆的后方的后置相机，将实时区域和履历区域设置于存储部(规定的存储区域)。实时A区域是用于保存将车辆的后方在前后方向上分割后的距车辆更远的规定范围的图像的区域。实时B区域是用于保存距离车辆更近的规定范围的图像的区域。履历C区域是用于保存车载相机的拍摄范围外的俯瞰图像的区域。
履历B区域是用于保存与实时B区域相同的范围的俯瞰图像的区域。在实时B区域中有影子的情况下，以在履历B区域内的俯瞰图像反映当前的车辆周边的配置的方式在履历B区域内构成俯瞰图像。具体而言，基于车辆的移动量，使用实时A区域内所保存的俯瞰图像来在履历B区域内构成俯瞰图像。并且，基于车辆的移动量，使用履历B区域内所保存的俯瞰图像来在履历C区域内构成俯瞰图像。
这样，在实时B区域中有影子的情况下，使用基于没有影子的可能性较高的实时A区域的俯瞰图像所构成的履历B区域的俯瞰图像来进行履历图像合成。由此，在专利文献1所记载的技术中抑制在显示图像中，随着车辆的移动而本车辆的影子放大。
专利文献1:日本特开2013－246493号公报
在履历图像合成技术中，前述的放大的问题并不限于车辆的影子，对于车辆的照射光，也会引起。作为车辆的照射光，列举前照灯的照射光、尾灯的照射光等。
这样的照射光与影子相比波及到更远方。因此，例如在前述的专利文献1所记载的那样的结构中，车辆的照射光不仅映现在实时B区域的俯瞰图像上也有可能映现在实时A区域的俯瞰图像上。此时，即使使用基于实时A区域的俯瞰图像所构成的履历B区域的俯瞰图像来进行履历图像合成，在显示图像中，随着车辆的移动而车辆的照射光也放大了。
发明内容
本公开的目的在于在履历图像合成技术中抑制显示部的图像上车辆的照射光的放大。
本公开的技术的一个形态是将车辆的周边中的规定范围的拍摄图像显示于搭载在车辆的显示部的显示控制装置，具备获取部、第一图像创建部、第二图像创建部、计算部、除去履历创建部、除去显示创建部和除去显示处理部。获取部从搭载在车辆上的车载相机反复获取拍摄图像。第一图像创建部依次创建拍摄图像的俯瞰图像亦即拍摄俯瞰图像。第二图像创建部依次创建除去俯瞰图像，该除去俯瞰图像是拍摄图像的俯瞰图像，且是除去了映现在拍摄图像上的车辆的照射光的俯瞰图像。计算部计算车辆的移动量。除去履历创建部创建除去履历图像，该除去履历图像是基于移动量来使由第二图像创建部依次创建的除去俯瞰图像错开位置而合成的俯瞰图像。除去显示创建部创建合成了除去履历图像和最新的拍摄俯瞰图像的俯瞰图像亦即除去显示图像。除去显示处理部使显示部显示除去显示图像。第二图像创建部创建如下那样的俯瞰图像中的至少一方作为除去俯瞰图像。具体而言，创建对表示映现了照射光的拍摄图像与第一差分用图像的差分的图像进行俯瞰变换所得的俯瞰图像，该第一差分用图像是表示照射光所引起的拍摄图像的像素值的变化的图像。另外，创建表示映现了照射光的拍摄俯瞰图像与第二差分用图像的差分的俯瞰图像，第二差分用图像是表示照射光所引起的拍摄俯瞰图像的像素值的变化的图像。第二图像创建部创建这样的俯瞰图像中的至少一方作为除去俯瞰图像。
另外，本公开的技术的其它形态是显示控制装置中的显示控制方法，该显示控制装置将车辆的周边中的规定范围的拍摄图像显示于车辆内的显示部，包括获取工序、第一图像创建工序、第二图像创建工序、计算工序、除去履历创建工序、除去显示创建工序和除去显示处理工序。获取工序从搭载在车辆上的车载相机反复获取拍摄图像。第一图像创建工序依次创建拍摄图像的俯瞰图像亦即拍摄俯瞰图像。第二图像创建工序依次创建除去俯瞰图像，该除去俯瞰图像是拍摄图像的俯瞰图像，且是除去了映现在拍摄图像上的车辆的照射光的俯瞰图像。计算工序计算车辆的移动量。除去履历创建工序创建除去履历图像，该除去履历图像是基于移动量来使通过第二图像创建工序依次创建的除去俯瞰图像错开位置而合成的俯瞰图像。除去显示创建工序创建合成了除去履历图像和最新的拍摄俯瞰图像的俯瞰图像亦即除去显示图像。除去显示处理工序使显示部显示除去显示图像。第二图像创建工序创建如下那样的俯瞰图像中的至少一方作为除去俯瞰图像。具体而言，创建对表示映现了照射光的拍摄图像与第一差分用图像的差分的图像进行俯瞰变换所得的俯瞰图像，其中，该第一差分用图像是表示照射光所引起的拍摄图像的像素值的变化的图像。另外，创建表示映现了照射光的拍摄俯瞰图像与第二差分用图像的差分的俯瞰图像，其中，该第二差分用图像是表示照射光所引起的拍摄俯瞰图像的像素值的变化的图像。第二图像创建工序创建这样的俯瞰图像中的至少一方作为除去俯瞰图像。
根据这样的结构，能够抑制显示部的图像上车辆的照射光放大。即，假设在创建基于车辆的移动量来使映现了车辆的照射光的拍摄俯瞰图像错开位置而合成的俯瞰图像的情况下，该俯瞰图像中的车辆的照射光随着车辆的移动而放大。因此，若在那样的俯瞰图像上合成最新的拍摄俯瞰图像并显示于显示部，则在显示图像中，随着车辆的移动而车辆的照射光放大了。
与此相对，在本公开的技术中，创建基于车辆的移动量来使除去了车辆的照射光的除去俯瞰图像错开位置而合成的除去履历图像，并使用除去履历图像来创建除去显示图像。根据这样的结构，能够抑制在显示部的图像上车辆的照射光放大。
此外，本项目栏以及权利要求所记载的括弧内的符号表示与作为本公开的技术的一个形态而后述的实施方式中所记载的具体的手段的对应关系。因而，并不是限定本公开的技术范围。
附图说明
图1是表示显示控制系统的结构的一个例子的框图。
图2是表示通过差分处理所创建的显示于显示部的俯瞰图像的一个例子的图。
图3是显示控制处理的流程图。
图4是显示控制中的差分处理的流程图。
图5是显示控制中的屏蔽处理的流程图。
图6是表示用于从前置相机的拍摄图像的俯瞰图像减去前照灯的光的影响的差分用图像的一个例子的图。
图7是表示用于从后置相机的拍摄图像的俯瞰图像检测尾灯的光的影子响的差分用图像的一个例子的图。
图8是说明履历图像的图。
图9是表示以被拖动的方式扩大的前照灯的光出现的俯瞰图像的一个例子的图。
图10是表示通过屏蔽处理所创建的显示于显示部的俯瞰图像的一个例子的图。
具体实施方式
以下，参照附图，对用于实施本公开的技术的一个形态的方式进行说明。
[1.结构]
如图1所示，本实施方式所涉及的显示控制系统1搭载在车辆上，具备拍摄部10、移动信息输出部20、存储部30、显示部40以及图像处理部50。以下，将搭载显示控制系统1的车辆称为“本车辆”。
拍摄部10具备前置相机110以及后置相机120。
前置相机110是搭载在本车辆的前部(例如挡风玻璃内侧的上部中央)的车载相机。前置相机110对本车辆周边的车辆前方的规定范围进行拍摄。
后置相机120是搭载在本车辆的后部(例如本车辆的后端中的车宽度方向的中央)的车载相机。后置相机120对本车辆周边的车辆后方的规定范围进行拍摄。
前置相机110以及后置相机120按照规定的周期(例如30帧/秒)反复进行拍摄，并向图像处理部50输出拍摄图像。
移动信息输出部20是构成为将由搭载在本车辆上的传感器类所检测出的移动信息向图像处理部50输出的装置。在本实施方式中，移动信息是计算本车辆的移动量所需的信息。此处所说的移动量是指规定的期间中的本车辆的位置以及方向的变化。移动信息包括车轮的脉冲计数器、转向角或者横摆率的信息、变速档的信息等。
存储部30是构成为能够将图像等信息存储于规定区域的装置(存储器)。
显示部40是构成为能够显示图像的装置(显示器)。显示部40设置于本车辆的乘员(例如驾驶员)能够视觉确认显示的图像的位置。显示部40具备用于直接触摸画面来进行操作的触摸面板。
图像处理部50具备由CPU510、ROM520、RAM530等构成的微型计算机。图像处理部50由CPU510按照ROM520中所记录的程序，执行包括图像处理的显示控制处理等(后述的显示控制处理)。
[2.处理]
以下，对图像处理部50执行的显示控制处理进行说明。
首先，对显示控制处理的概要进行说明。显示控制处理是用于将以本车辆为中心的俯瞰图像显示于显示部40的处理。具体而言，显示控制处理是用于将表示除了作为拍摄部10的拍摄范围的本车辆的前方以及后方之外还包括拍摄部10的拍摄范围外的本车辆的左右的侧方的本车辆的整个周围的俯瞰图像显示于显示部40的处理。此处所说的俯瞰图像是从本车辆的上方向正下方或者斜下方俯视的视点的图像。使用履历图像来构成显示于显示部40的俯瞰图像亦即显示俯瞰图像中拍摄部10的拍摄范围外的部分的履历部分。如图2的显示俯瞰图像所示，履历部分60位于表示本车辆的图标61的左右的侧方。此外，在图2中，为了便于说明，用点线示出履历部分60，但该点线实际上未被显示于显示部40。此处所说的履历图像是基于本车辆的移动量来使基于拍摄图像依次创建的俯瞰图像错开位置而合成的俯瞰图像。
这样创建的履历图像若例如使用映现了本车辆的照射光的俯瞰图像来创建，则实际不存在的照射光出现在履历部分60。结果在显示俯瞰图像中，伴随着本车辆的移动，照射光的部分以被拖动的方式放大。因此，在本实施方式所涉及的显示控制处理中，执行用于使得照射光等不出现在履历部分60的图像处理。具体而言，在显示控制处理中，选择性地执行差分处理以及屏蔽处理中的一方。
在差分处理中，从映现了照射光的拍摄图像的俯瞰图像仅减去照射光的影响，创建除去了照射光的俯瞰图像。而且，在本处理中，基于创建的俯瞰图像来创建履历图像。由此，在本处理中，使得照射光不会出现在履历部分。
另一方面，在屏蔽处理中，基于映现了照射光的拍摄图像的俯瞰图像来创建履历图像。而且，在本处理中，屏蔽创建的履历图像中的显示有照射光的区域。由此，在本处理中，使得照射光不会出现在履历部分。
[2.1.显示控制处理]
以下，使用图3～图5对显示控制处理的详细进行说明。如上述那样，显示控制处理是由显示控制系统1具备的图像处理部50(CPU510)按照规定的程序所执行的处理。另外，在本车辆的点火开关接通的期间中，通过使本车辆的前照灯以及尾灯中的至少一方点亮来开始显示控制处理。此外，在以下的说明中，将拍摄图像的俯瞰图像称为“拍摄俯瞰图像”。
图像处理部50判定是否存在差分用图像(步骤S11)。此处所说的差分用图像是差分处理所使用的图像、且是表示本车辆的照射光所引起的拍摄俯瞰图像的像素值的变化的图像。换言之，差分用图像是表示本车辆的照射光的有无所引起的拍摄俯瞰图像的像素值的差分的图像。
具体而言，差分用图像是如下那样的图像。即使拍摄对象是同一图像，映现照射光的部分的像素值根据照射光的有无而变化。此处所说的像素值是构成图像的每个像素的值，在本实施方式中为亮度值。因此，在仅照射光的有无不同的两个图像中，通过从构成映现照射光的图像的各像素的值(像素值)减去构成没有映现照射光的图像的各像素的值来获得仅照射光的影响出现的图像。该图像为差分用图像。由此，在本实施方式所涉及的显示控制处理中，通过从照射光映现的图像减去差分用图像，能够生成就像没有映现照射光的图像。
在本实施方式中，如图2所示，作为映现在前置相机110的照射光，假设前照灯的光70。另外，在本实施方式中，作为映现在后置相机120的照射光，假设尾灯的光71。因此，在本实施方式中，预先准备例如图6所示那样的差分用图像80、和图7所示那样的差分用图像81。具体而言，图6所示的差分用图像80是用于从前置相机110的拍摄俯瞰图像减去前照灯的光70的影响的图像。差分用图像80具有前照灯的光70出现的部分(表现照射光的部分)80a。另外，图7所示的差分用图像81是用于从后置相机120的拍摄俯瞰图像减去尾灯的光71的影响的图像。差分用图像81具有尾灯的光71出现的部分(表现照射光的部分)81a。
两种差分用图像80、81被预先存储至设置在存储部30中的规定存储区域亦即差分区域310。此外，差分区域310中所存储的两种差分用图像80、81能够由销售店(汽车经销商)、工厂等进行更新。
图像处理部50在差分区域310中存储有上述两种差分用图像80、81这两方的情况下判定为存在差分用图像。另一方面，图像处理部50在没有存储两种差分用图像80、81中的至少一方的情况下，判定为不存在差分用图像。作为判定为不存在差分用图像80、81的情况下的一个例子，列举在交换存储部30时(存储器交换时)，交换为没有存储两种差分用图像80、81的新的存储部的情况等。图像处理部50判定为存在差分用图像的情况下(步骤S11：是)，移至步骤S12的处理。另一方面，图像处理部50判定为不存在差分用图像的情况下(步骤S11：否)，移至步骤S16的处理。
图像处理部50判定选择差分处理以及屏蔽处理中的哪个处理(步骤S12)。在本实施方式中，用户能够选择差分处理或者屏蔽处理。具体而言，用户通过操作显示部40的触摸面板(用户界面)能够进行选择。因而，图像处理部50基于用户的操作状况(选择结果)来进行步骤S12的判定处理。图像处理部50判定为选择差分处理的情况下(步骤S12：差分处理)，移至步骤S13的处理。另一方面，图像处理部50判定为选择屏蔽处理的情况下(步骤S12：屏蔽处理)，移至步骤S16的处理。
图像处理部50判定用户是否进行了变更映现了照射光的图像与两种差分用图像80、81各个的差分量的操作(步骤S13)。进行变更差分量的操作例如是如下那样的情况。在计算映现了照射光的图像与两种差分用图像80、81各个的差分时，不一定总是减去适当的量的像素值。具体而言，在使用差分用图像80、81来计算差分的情况下，根据本车辆周边的明亮度，存在从映现照射光的图像减去像素值的量较多(过度减去)，减去像素值的量较少(减去不足)的情况。在这样的情况下，将像素值并不适当的图像(有不协调感的图像)显示于显示部40。步骤S13以及后述的步骤S14的处理是用于观察到这样的有不协调感的图像的用户变更差分量的处理(差分量调整处理)。在本实施方式所涉及的显示控制处理中，通过用户操作显示部40的触摸面板(用户界面)，能够变更差分量。因而，图像处理部50基于用户的操作状况(变更结果)来进行步骤S13的判定处理。
此外，通过后述的差分处理(图4所示的步骤S30的处理)进行向显示部40显示图像。因此，如后述那样，通常在按照规定周期反复执行的步骤S12～S17的处理中，假设在第一次的步骤S13的处理中没有判定为进行了变更差分量的操作。
图像处理部50判定为进行了变更差分量的操作的情况下(步骤S13：是)，移至步骤S14的处理。另一方面，图像处理部50判定为没有进行变更差分量的操作的情况下(步骤S13：否)，跳过步骤S14的处理，移至步骤S15的处理。
图像处理部50变更映现照射光的图像与两种差分用图像80、81各个的差分量(步骤S14)。具体而言，图像处理部50分别变更两种差分用图像80、81的像素值。在两种差分用图像80、81中，照射光出现的部分80a、81a的像素值大于0，除此以外的部分的像素值为0。因而，图像处理部50分别变更两种差分用图像80、81的像素值的倍率(变更为0.9倍、1.1倍等)，实质上仅变更映现了照射光的部分的像素值。由此，在本实施方式所涉及的显示控制处理中，通过使用像素值被变更的两种差分用图像80、81来变更映现照射光的图像与两种差分用图像80、81各个的差分量。
图像处理部50执行差分处理(图4所示的处理)(步骤S15)。差分处理的详细后述。
图像处理部50执行步骤S15的处理后移至步骤S17的处理。
另外，图像处理部50执行屏蔽处理(图5所示的处理)(步骤S16)。在前述的步骤S11的判定处理中进行了否定判定的情况下、在前述的步骤S12的判定处理中判定为屏蔽处理的情况下执行本处理。屏蔽处理的详细后述。图像处理部50执行步骤S16的处理后移至步骤S17的处理。
图像处理部50判定显示控制处理的结束条件是否成立(步骤S17)。图像处理部50在本车辆的点火开关断开的情况下、前照灯以及尾灯的两方熄灭的情况下判定为结束条件成立。
图像处理部50判定为结束条件成立的情况下(步骤S17：是)，结束显示控制处理。另一方面，图像处理部50判定为结束条件不成立的情况下(步骤S17：否)，返回前述的步骤S12的判定，再次执行步骤S12以下的处理。
[2.2.差分处理]
接下来，使用图4对在上述的步骤S15中所执行的差分处理进行说明。
图像处理部50从前置相机110以及后置相机120的各个获取最新的拍摄图像(步骤S21)。
图像处理部50从移动信息输出部20获取移动信息(步骤S22)。
图像处理部50针对步骤S21的处理中所获取到的最新的拍摄图像实施公知的图像变换(俯瞰变换)，创建分别与前置相机110以及后置相机120对应的拍摄俯瞰图像(步骤S23)。此时，图像处理部50从创建的拍摄俯瞰图像截取显示俯瞰图像的创建所需的部分，并将截取出的图像存储至设置在存储部30的规定存储区域亦即实时区域320。此外，以下，将前置相机110的拍摄俯瞰图像称为“前方拍摄俯瞰图像”，将后置相机120的拍摄俯瞰图像称为“后方拍摄俯瞰图像”。
图像处理部50基于步骤S22的处理中所获取到的移动信息来计算本车辆的移动量(步骤S24)。此处所说的本车辆的移动量是指从前次的拍摄图像的获取时间到本次的拍摄图像的获取时间为止的期间(拍摄图像的获取间隔)中的本车辆的位置以及方向的变化。
图像处理部50基于步骤S24的处理中所计算出的本车辆的移动量来使履历区域330中所存储的履历图像移动(步骤S25)。
此处所说的履历区域330是被设置在存储部30中的规定存储区域，存储履历图像。如图8所示，履历区域330被设计为能够存储比不仅包括本车辆的前方以及后方还包括本车辆的左右侧方的范围亦即车辆周边范围62大一圈的范围。在图8中，为了便于说明，示出表示本车辆的图标61，但在本实施方式所涉及的显示控制处理中，实际在履历区域330中没有存储图标61。另外，图像处理部50在步骤S25的处理中以将本车辆设为基准的位置变化的方式使履历图像65移动。此外，通过在后述的步骤S28的处理中存储至履历区域330来生成履历图像65。因此，在第一次的步骤S25的处理中，不存在移动的对象。
图像处理部50创建除去俯瞰图像(步骤S26)。此处所说的除去俯瞰图像是除去了映现在拍摄俯瞰图像的照射光的俯瞰图像。通过计算映现了照射光的拍摄俯瞰图像与两种差分用图像80、81各个的差分来创建除去俯瞰图像。换言之，除去俯瞰图像被创建为表示映现了照射光的拍摄俯瞰图像与两种差分用图像80、81各个的差分的图像。此外，在前述的步骤S14的处理中，在两种差分用图像80、81的像素值被变更的情况下(差分量被变更的情况下)，使用变更后的差分用图像80、81来计算差分。在本实施方式的显示控制处理中，如下那样创建除去俯瞰图像。具体而言，图像处理部50创建从前方拍摄俯瞰图像除去了映现在前置相机110的拍摄图像的前照灯的光70的前方除去俯瞰图像。另外，图像处理部50创建从后方拍摄俯瞰图像除去了映现在后置相机120的拍摄图像上的尾灯的光71的后方除去俯瞰图像。
在本实施方式所涉及的显示控制处理中，照射光是否映现在前方拍摄俯瞰图像以及后方拍摄俯瞰图像上的判定基于前照灯以及尾灯的开关的接通/断开来进行。具体而言，在前照灯的开关接通的情况下，判定为前照灯的光70映现在前方拍摄俯瞰图像上。另一方面，在前照灯的开关断开的情况下，判定为前照灯的光70没有映现在前方拍摄俯瞰图像上。照射光是否映现在后方拍摄俯瞰图像上的判定也是同样的。具体而言，在尾灯的开关接通的情况下，判定为尾灯的光71映现在后方拍摄俯瞰图像。另一方面，在尾灯的开关断开的情况下，判定为尾灯的光71没有映现在后方拍摄俯瞰图像上。
在本实施方式所涉及的显示控制处理中，针对前方拍摄俯瞰图像以及后方拍摄俯瞰图像中被判定为映现了照射光的图像，创建除去俯瞰图像。另一方面，针对被判定为没有映现照射光的图像，不创建除去俯瞰图像。
图像处理部50从步骤S26的处理中所创建的最新的除去俯瞰图像截取显示俯瞰图像的创建所需的部分(步骤S27)。另外，图像处理部50针对前方拍摄俯瞰图像以及后方拍摄俯瞰图像中在步骤S26的处理中没有创建除去俯瞰图像的图像，从其最新的拍摄俯瞰图像截取显示俯瞰图像的创建所需的部分。
图像处理部50将步骤S27的处理中所截取出的图像存储至履历区域330(步骤S28)。此时图像处理部50在履历区域330中没有存储履历图像65的状态(例如第一次的处理)下，将截取出的图像作为履历图像65而存储至履历区域330。另一方面，如图8所示，图像处理部50在履历区域330中存储履历图像65的状态(例如第第二次以后的处理)下，针对履历区域330中所存储的履历图像65，覆盖重写截取出的最新的图像63、64。由此，图像处理部50将履历图像65和截取出的最新的图像63，64合成，更新履历图像65。截取出的最新的图像63被存储至履历区域330中相当于当前的本车辆的前方的位置。另外，截取出的最新的图像64被存储至履历区域330中相当于当前的本车辆的后方的位置。
这样，在本实施方式所涉及的差分处理中，执行基于本车辆的移动量来使履历图像65移动的处理、以及将从除去俯瞰图像截取出的图像覆盖到移动后的履历图像65的处理。在本实施方式所涉及的差分处理中，通过反复执行这些处理，在履历区域330中创建除去履历图像作为履历图像65。具体而言，在履历区域330中创建基于本车辆的移动量使依次创建的除去俯瞰图像错开位置而合成的俯瞰图像亦即除去履历图像，作为履历图像65。
如前述那样，也存在截取出的最新的图像63、64(两个图像)中的一方是没有映现照射光的拍摄俯瞰图像的情况。在本实施方式中，不光仅使用除去俯瞰图像所创建的履历图像65，使用除去俯瞰图像以及没有映现照射光的拍摄俯瞰图像这两方所创建的履历图像65也称为除去履历图像。此外，除去履历图像与以映现了照射光的拍摄俯瞰图像为基础而创建的履历图像65相比较，成为减少照射光的影响的图像。
图像处理部50创建合成了除去履历图像和最新的拍摄俯瞰图像的俯瞰图像亦即除去显示图像作为显示俯瞰图像(步骤S29)。此时，图像处理部50从履历区域330中所存储的除去履历图像截取车辆周边范围62所包含的部分。图像处理部50将截取出的图像存储至被设置在存储部30中的规定存储区域亦即显示区域340。图像处理部50将从实时区域320读出的分别与前置相机110以及后置相机120对应的最新的拍摄俯瞰图像存储至显示区域340，覆盖到从除去履历图像截取出的图像。图像处理部50将表示本车辆的图标61存储至显示区域340，并覆盖到除去履历图像和最新的拍摄俯瞰图像的合成图像。在本实施方式所涉及的显示控制处理中，通过这样的图像合成处理来创建图2所示那样的除去显示图像。
图像处理部50将显示区域340中所存储的除去显示图像显示于显示部40(步骤S30)。图像处理部50执行步骤S30的处理后结束差分处理。
[2.3.屏蔽处理]
接下来，使用图5的流程图对上述的步骤S16中所执行的屏蔽处理进行说明。
此外，由于屏蔽处理中的步骤S41～S45的处理与前述的差分处理的步骤S21～S25的处理相同，所以省略其说明。
图像处理部50从步骤S43的处理中所创建的最新的前方拍摄俯瞰图像以及后方拍摄俯瞰图像各个截取显示俯瞰图像的创建所需的部分(步骤S46)。
图像处理部50将截取出的图像存储至履历区域330(步骤S47)。此时图像处理部50在履历区域330中存储有履历图像65的状态下，针对履历区域330中所存储的作为履历图像65的拍摄履历图像，覆盖最新的拍摄俯瞰图像。由此，将拍摄履历图像和最新的拍摄俯瞰图像合成，更新拍摄履历图像。
此处所说的拍摄履历图像是基于本车辆的移动量来使步骤S43的处理中依次创建的拍摄俯瞰图像错开位置而合成的俯瞰图像。拍摄履历图像是在履历区域330内作为履历图像65而被创建的。照射光映现在合成的前方拍摄俯瞰图像以及后方拍摄俯瞰图像中的至少一方。因此，在拍摄履历图像中，伴随着本车辆的移动，照射光以被拖动的方式放大。因此，在本实施方式所涉及的显示控制处理中，拍摄履历图像通过与步骤S47的处理中最新的拍摄俯瞰图像合成而被更新。
图像处理部50从履历区域330中所存储的拍摄履历图像截取车辆周边范围62所包含的部分，并将截取出的图像显示于显示区域340(步骤S48)。
图像处理部50检测图9所示的拍摄履历图像的拍摄履历部分66中照射光所占的区域(以下称为“光区域”。)，并存储检测出的时刻的光区域(步骤S49)。
此处所说的拍摄履历部分66是使用显示区域340中所存储的拍摄履历图像中的过去的拍摄俯瞰图像而构成的部分。换言之，拍摄履历部分66是拍摄履历图像中的、与最新的拍摄俯瞰图像合成前的拍摄履历图像出现的部分。换句话说，在图像处理部50中，通过步骤S49的处理，针对以被拖动的方式放大的照射光映现的部分进行光区域的检测。换言之，在步骤S49的处理中，针对映现在过去的拍摄俯瞰图像上的照射光出现的部分进行光区域的检测。此外，拍摄履历部分66如后述那样相当于显示俯瞰图像的履历部分。
在本实施方式所涉及的显示控制处理中，如下那样进行光区域的检测。具体而言，图像处理部50针对拍摄履历部分66的一部分，基于色相和亮度来进行区域分割。图像处理部50提取分割的多个区域中色相的差为规定值以下、且亮度的差为规定值以上的相互邻接的两个区域。图像处理部50将提取出的两个区域中的亮度高的区域设为光区域，将亮度低的区域设为非光区域。图像处理部50将从颜色信息的空间中的该光区域向非光区域的向量确定为光源的颜色信息。图像处理部50针对拍摄履历部分66的全部区域，基于色相和亮度来进行区域分割。图像处理部50在相互邻接的区域间的色相的差在规定范围内与光源的色相一致的情况下，将邻接的区域中的亮度高的区域确定为是光区域。
例如在前照灯点亮的状态下本车辆笔直地前进的状况下，如图9所示，以被拖动的方式放大的照射光出现在拍摄履历图像。具体而言，拍摄履历部分66中的、与表示本车辆的图标61的左右侧部邻接的位置出现以被拖动的方式放大的前照灯的光72。在本实施方式所涉及的显示控制处理中，通过执行步骤S49的处理来检测前照灯的光72。
在本实施方式所涉及的显示控制处理中，履历区域330中所存储的拍摄履历图像随着本车辆的移动而被放大的结果是以拍摄履历部分66被过去的拍摄履历图像完全填充为条件，只执行一次步骤S49的处理。此外，拍摄履历部分66(显示俯瞰图像的履历部分)是否被过去的拍摄履历图像(过去的俯瞰图像)完全填充的判定例如可以基于显示控制处理开始后的本车辆的移动量来进行。
图像处理部50创建将拍摄履历部分66中包含步骤S49的处理中所存储的光区域的规定区域屏蔽的俯瞰图像亦即屏蔽显示图像作为显示俯瞰图像(步骤S50)。此时，图像处理部50通过显示于显示部40且在用户视觉确认时明白有意除去的颜色(黑色等)填充包括光区域的规定区域来屏蔽规定区域。
如前述那样，在本实施方式所涉及的显示控制处理中，只执行一次步骤S49的处理，存储执行时的光区域。因而，图像处理部50在每次执行步骤S50的处理时反复参照步骤S49的处理中所存储的光区域。图像处理部50以包括参照的光区域的方式按照预先决定的条件来决定屏蔽区域(被屏蔽的区域)。图像处理部50屏蔽决定的区域。此处所说的条件是以包含光区域的最小限度的区域为基准，将放大为规定的大小的长方形的区域设为屏蔽区域等的条件。换句话说，是针对光区域唯一地决定屏蔽区域的条件。因此，在后述的步骤S51的处理中将屏蔽显示图像显示在显示部40上时，屏蔽区域被固定在显示部40的画面上(不随着本车辆的移动而变化)。这样在显示部40的画面上固定屏蔽区域的理由是为了避免因周期性地执行步骤S50的处理而在显示部40的画面上屏蔽区域频繁地变化。此外，在本实施方式所涉及的显示控制处理中，在被屏蔽的拍摄履历图像上覆盖表示本车辆的图标61。另外，在本实施方式所涉及的显示控制处理中，直至在步骤S49的处理中存储光区域为止不屏蔽拍摄履历图像。
在本实施方式所涉及的显示控制处理中，比包括照射光的最小限度的区域稍大地设定屏蔽区域。这样设定屏蔽区域的理由是因为本车辆向左右(横方向)拐弯移动的情况下，出现在拍摄履历部分66的照射光出现于与本车辆仅在前后(纵向)上移动的情况不同的位置。
例如在本车辆笔直地前进的状况下，如图10所示，将与本车辆的左右侧部邻接的两个长方形的区域屏蔽，形成屏蔽区域90。具体而言，通过将区域的纵向(长边方向)的长度LR与本车辆的前后的长度LV相同的区域屏蔽来形成屏蔽区域90。屏蔽区域90的横方向的长度WR(左右的宽度)被设定得比图9所示的前照灯的光72的左右的宽度WL大。
图像处理部50将步骤S50的处理中所创建的屏蔽显示图像显示于显示部40(步骤S51)。图像处理部50执行步骤S51的处理后结束屏蔽处理。
[3.效果]
根据以上详述的本实施方式，获得以下的效果。
(3a)在本实施方式中，图像处理部50创建除去了本车辆的照射光的俯瞰图像亦即除去俯瞰图像。具体而言，图像处理部50计算映现了照射光的拍摄俯瞰图像与两种差分用图像80、81的差分，并创建除去俯瞰图像作为表示该差分的图像。图像处理部50使用以依次创建的除去俯瞰图像为基础所创建的除去履历图像来创建显示于显示部40的除去显示图像作为显示俯瞰图像。这样，图像处理部50代替以映现了照射光的拍摄俯瞰图像为基础所创建的履历图像65而使用以除去了照射光的除去俯瞰图像为基础所创建的除去履历图像来生成显示于显示部40的显示俯瞰图像。图像处理部将创建的屏蔽显示图像显示于显示部40。因此，在本实施方式所涉及的显示控制装置中，能够抑制车辆的照射光在显示部40的图像上放大。
(3b)在本实施方式中，图像处理部50基于用户的操作来变更拍摄俯瞰图像与两种差分用图像80、81的差分量。由此，在本实施方式所涉及的显示控制装置中，在计算差分时，在从照射光映现的图像过度减去像素值，或减去不足的情况下，能够将差分量调整为适当的量。
(3c)在本实施方式中，图像处理部50在显示控制中执行屏蔽处理来代替差分处理。在屏蔽处理中，图像处理部50以依次创建的拍摄俯瞰图像为基础来创建拍摄履历图像。图像处理部50在合成了拍摄履历图像和最新的拍摄俯瞰图像的俯瞰图像中，针对合成前的拍摄履历图像出现的拍摄履历部分66进行光区域的检测。图像处理部50通过将包括检测出的光区域的规定区域屏蔽来创建除去了照射光的俯瞰图像亦即屏蔽显示图像作为显示俯瞰图像。图像处理部50将创建的屏蔽显示图像显示于显示部40。由此，在本实施方式所涉及的显示控制装置中，能够抑制伴随着本车辆的移动而以被拖动的方式放大的照射光显示于显示部40上的图像。
另外，在屏蔽处理中，不论本车辆周边的明亮度等如何，一律用黑色等(明白有意除去的颜色)填充包括光区域的规定区域。因此，不需要在差分处理中进行的那样的用户调整差分量。
此外，在本实施方式中，显示部40相当于显示装置，图像处理部50相当于显示控制装置，前置相机110以及后置相机120相当于车载相机。另外，前照灯的光70以及尾灯的光71相当于车辆的照射光，以被拖动的方式放大的前照灯的光72相当于除去对象，两种差分用图像80、81相当于第二差分用图像。另外，步骤S14的处理相当于实现差分变更部的处理。另外，步骤S21以及S41的处理相当于实现获取部的处理，步骤S23以及S43的处理相当于实现第一图像创建部的处理。另外，步骤S24以及S44的处理相当于实现计算部的处理，步骤S26的处理相当于实现第二图像创建部的处理。另外，步骤S25、S27以及S28的处理相当于实现除去履历创建部的处理，步骤S29的处理相当于实现除去显示创建部的处理，步骤S30的处理相当于实现除去显示处理部的处理。另外，步骤S45、S46以及S47的处理相当于实现拍摄履历创建部的处理，步骤S50的处理相当于实现屏蔽显示创建部的处理，步骤S51的处理相当于实现屏蔽显示处理部的处理。
[4.其它实施方式]
以上，对用于实施本公开的技术的一个形态的方式进行了说明，但本公开的技术并不限于前述的实施方式。本公开的技术如以下那样能够进行各种变形来实施。
(4a)在上述实施方式中，示出图像处理部50在对拍摄图像实施俯瞰变换后，计算拍摄俯瞰图像与两种差分用图像80、81的差分的例子。然而，计算差分的时机并不限于此。例如图像处理部50可以在实施俯瞰变换前计算差分。具体而言，图像处理部50可以计算照射光映现的拍摄图像与表示照射光所引起的拍摄图像的像素值的变化的图像亦即差分用图像的差分。换言之，图像处理部50可以计算照射光映现的拍摄图像与表示照射光的有无所引起的拍摄图像的像素值的差分的图像亦即差分用图像的差分。该情况下，可以创建除去俯瞰图像，作为对表示映现了照射光的拍摄图像与差分用图像的差分的图像进行俯瞰变换所得的图像。
(4b)在上述实施方式中，示出图像处理部50在计算与照射光映现的拍摄图像的差分时，使用预先存储在存储部30中的两种差分用图像80、81的例子。然而，使用的差分用图像并不限于此。例如图像处理部50可以在本车辆的驾驶时生成差分用图像，并使用生成的差分用图像。该情况下，图像处理部50将除了照射光的有无之外拍摄对象几乎相同的两个拍摄图像(例如前照灯等要点亮之前以及刚点亮之后的拍摄图像)，或者表示那些的俯瞰图像的差分的图像用作差分用图像。
(4c)在上述实施方式中，作为车辆的照射光而例示前照灯的光70以及尾灯的光71。然而，车辆的照射光并不限于此。照射光也可以是刹车灯的光等。
(4d)在上述实施方式中，示出在显示控制的屏蔽处理中，比包括照射光的最小限度的区域大地设定屏蔽区域90的例子。然而，屏蔽区域并不限于此。例如屏蔽区域可以被设定为仅包含照射光的区域。
(4e)在上述实施方式中，示出图像处理部50仅检测一次光区域并存储，以包括存储的光区域的方式将按照规定的条件所决定的区域屏蔽来创建屏蔽显示图像的例子。然而，屏蔽显示图像的创建方法并不限于此。
例如图像处理部50在最新的拍摄俯瞰图像中检测光区域，并将包括检测出的光区域的区域屏蔽。而且，图像处理部50使用所屏蔽的最新的拍摄俯瞰图像来创建履历图像，将最新的拍摄俯瞰图像覆盖至从创建的履历图像截取出的车辆周边范围62所包含的部分。图像处理部50可以利用这样的方法创建屏蔽显示图像。换句话说，在图像处理部50中，可以创建将光区域置换为屏蔽区域的显示俯瞰图像。
另外，显示控制处理的开始最初，在显示于显示部40的显示俯瞰图像的履历部分中，针对每个伴随着本车辆的移动而出现的过去的拍摄俯瞰图像检测光区域，屏蔽包含光区域的区域。而且，在显示控制处理中，在显示部40的图像上，若显示俯瞰图像的履历部分被过去的拍摄俯瞰图像完全填充，则可以维持该时刻的屏蔽区域。换句话说，在上述实施方式中，直至拍摄履历图像的拍摄履历部分66被过去的拍摄履历图像完全填充为止，不显示屏蔽的显示俯瞰图像。然而，在前述的显示控制处理中，即使在被拍摄履历图像完全填充前，也可以显示屏蔽的显示俯瞰图像。
另外，图像处理部50可以不检测光区域(无论显示俯瞰图像的履历部分中的照射光如何出现)，而通过将预先决定的区域屏蔽来创建屏蔽显示图像。
(4f)在上述实施方式中，作为通过屏蔽而除去的除去对象，例示出本车辆的照射光，但除去对象并不限于此。例如除去对象也可以是本车辆的影子。
(4g)在上述实施方式中，示出图像处理部50选择差分处理以及屏蔽处理中的任意一方来执行的例子。然而，执行的处理并不限于此。例如图像处理部50可以仅执行差分处理以及屏蔽处理中的任意一方。
(4h)在上述实施方式中，图像处理部50在步骤S11的处理中限于存储两种差分用图像80、81这两方的情况，判定为存在差分用图像的例子。然而，判定基准并不限于此。例如，图像处理部50除了储存两种差分用图像80、81这两方的情况之外也在仅存储两种差分用图像80、81中的任意一方的情况下，可以判定为存在差分用图像。该情况下，图像处理部50可以执行用于减去前照灯的光70以及尾灯的光71中被判定为存在对应的差分用图像的灯的影响的差分处理。
(4i)在上述实施方式中，示出在本车辆上搭载前置相机110以及后置相机120的例子。然而，相机的搭载状况并不限于此。例如可以是在本车辆上仅搭载前置相机110以及后置相机120中的任意一方的结构。
另外，可以是在本车辆中除了前置相机110以及后置相机120之外也在本车辆的左右侧部各设置一台相机，合计搭载4台相机的结构。在这种结构中，例如在4台相机全部没有异常的情况下，可以不进行履历图像合成。另外，在4台相机的任意一台产生图像固定等异常的情况下，可以为了填补产生异常的相机的拍摄图像的俯瞰图像而进行履历图像合成。
(4j)在上述实施方式中，作为显示装置而例示出被设置在本车辆内的显示器即显示部40。然而，显示装置并不限于此。作为显示装置的其它例子，列举HUD(仰视显示器)等。
(4k)在上述实施方式中，图像处理部50执行的处理的一部分或者全部并不限于由程序等软件来实现的结构。例如也可以是由一个或多个IC等硬件来实现的结构。
(4l)上述实施方式中的一个构成要素所具有的功能也可以分散成多个构成要素。另外，上述实施方式中的多个构成要素所具有的功能也可以统一为一个构成要素。另外，上述实施方式的构成的一部分也可以省略。另外，上述实施方式的构成的至少一部分也可以对于其它上述实施方式的构成增加或者替换。需要说明的是，包含于仅由权利要求书所记载的词句特定的技术思想的所有方式为本公开的实施方式。
(4m)本公开的技术除了前述的图像处理部50之外还能够以如下那样的各种方式提供。具体而言，是以该图像处理部50为构成要素的系统、用于使计算机作为该图像处理部50发挥功能的程序、记录该程序的半导体存储器等记录介质、通过差分或者屏蔽来除去映现在拍摄图像或者拍摄俯瞰图像上的照射光的方法等。
符号说明
1…显示控制系统，10…拍摄部，20…移动信息输出部，30…存储部，40…显示部，50…图像处理部，62…车辆周边范围，80、81…差分用图像，90…屏蔽区域，110…前置相机，120…后置相机，310…差分区域，320…实时区域，330…履历区域，340…显示区域。

Claims (5)

1.一种显示控制装置，是将车辆的周边中的规定范围的拍摄图像显示于搭载在上述车辆的显示部的显示控制装置，其中，具备：
图像处理部，判断基于上述拍摄图像的图像的选择；
获取部，从搭载在上述车辆上的车载相机反复获取上述拍摄图像；
第一图像创建部，依次创建上述拍摄图像的俯瞰图像亦即拍摄俯瞰图像；
第二图像创建部，依次创建除去俯瞰图像，上述除去俯瞰图像是上述拍摄图像的俯瞰图像，且是除去了映现在上述拍摄图像上的上述车辆的照射光的俯瞰图像；
计算部，计算上述车辆的移动量；
除去履历创建部，创建除去履历图像，上述除去履历图像是基于上述移动量来使由上述第二图像创建部依次创建的上述除去俯瞰图像错开位置而合成的俯瞰图像；
除去显示创建部，在上述图像处理部判断为除去显示图像的创建时，创建合成了上述除去履历图像和最新的上述拍摄俯瞰图像的俯瞰图像作为该除去显示图像；以及
除去显示处理部，使上述显示部显示上述除去显示图像，
上述第二图像创建部创建对表示映现了上述照射光的上述拍摄图像与第一差分用图像的差分的图像进行俯瞰变换所得的俯瞰图像、以及表示映现了上述照射光的上述拍摄俯瞰图像与第二差分用图像的差分的俯瞰图像中至少一方，作为上述除去俯瞰图像，其中，上述第一差分用图像是表示上述照射光所引起的上述拍摄图像的像素值的变化的图像，上述第二差分用图像是表示上述照射光所引起的上述拍摄俯瞰图像的像素值的变化的图像，
上述显示控制装置还具备：
拍摄履历创建部，创建拍摄履历图像，上述拍摄履历图像是基于上述移动量来使由上述第一图像创建部依次创建的上述拍摄俯瞰图像错开位置而合成的俯瞰图像；
屏蔽显示创建部，在上述图像处理部判断为屏蔽显示图像的创建时，创建如下俯瞰图像作为该屏蔽显示图像，该俯瞰图像是在合成了上述拍摄履历图像和最新的上述拍摄俯瞰图像的俯瞰图像中包括合成前的上述拍摄履历图像出现的拍摄履历部分的规定的除去对象的区域被以规定颜色填充从而被屏蔽的俯瞰图像；以及
屏蔽显示处理部，使上述显示部显示上述屏蔽显示图像。
2.根据权利要求1所述的显示控制装置，其中，
上述屏蔽显示图像的屏蔽区域在上述显示部的画面中被固定。
3.根据权利要求1或2所述的显示控制装置，其中，
还具备差分变更部，该差分变更部基于用户的操作来变更上述拍摄图像与上述第一差分用图像的差分量、以及上述拍摄俯瞰图像与上述第二差分用图像的差分量中的至少一方。
4.根据权利要求1或2所述的显示控制装置，其中，
在上述车辆上搭载前置相机和后置相机作为上述车载相机，上述前置相机拍摄上述车辆的周边中的上述车辆的前方的规定范围，上述后置相机拍摄上述车辆的周边中的上述车辆的后方的规定范围，
上述第二图像创建部创建前方除去俯瞰图像和后方除去俯瞰图像，上述前方除去俯瞰图像是上述前置相机的拍摄图像亦即前方拍摄图像的俯瞰图像，且是除去了映现在上述前方拍摄图像上的上述照射光的俯瞰图像，上述后方除去俯瞰图像是上述后置相机的拍摄图像亦即后方拍摄图像的俯瞰图像，且是除去了映现在上述后方拍摄图像上的上述照射光的俯瞰图像。
5.一种显示控制方法，是显示控制装置中的显示控制方法，该显示控制装置将车辆的周边中的规定范围的拍摄图像显示于搭载在上述车辆上的显示部，上述显示控制方法包括：
图像处理工序，判断基于上述拍摄图像的图像的选择；
获取工序，从搭载在上述车辆上的车载相机反复获取上述拍摄图像；
第一图像创建工序，依次创建上述拍摄图像的俯瞰图像亦即拍摄俯瞰图像；
第二图像创建工序，依次创建除去俯瞰图像，上述除去俯瞰图像是上述拍摄图像的俯瞰图像，且是除去了映现在上述拍摄图像上的上述车辆的照射光的俯瞰图像；
计算工序，计算上述车辆的移动量；
除去履历创建工序，创建除去履历图像，上述除去履历图像是基于上述移动量来使通过上述第二图像创建工序依次创建的上述除去俯瞰图像错开位置而合成的俯瞰图像；
除去显示创建工序，在上述图像处理工序中判断为除去显示图像的创建时，创建合成了上述除去履历图像和最新的上述拍摄俯瞰图像的俯瞰图像作为该除去显示图像；以及
除去显示处理工序，使上述显示部显示上述除去显示图像，
上述第二图像创建工序创建对表示映现了上述照射光的上述拍摄图像与第一差分用图像的差分的图像进行俯瞰变换所得的俯瞰图像、以及表示映现了上述照射光的上述拍摄俯瞰图像与第二差分用图像的差分的俯瞰图像中的至少一方作为上述除去俯瞰图像，上述第一差分用图像是表示上述照射光所引起的上述拍摄图像的像素值的变化的图像，上述第二差分用图像是表示上述照射光所引起的上述拍摄俯瞰图像的像素值的变化的图像，
上述显示控制方法还包括：
拍摄履历创建工序，创建拍摄履历图像，上述拍摄履历图像是基于上述移动量来使通过上述第一图像创建工序依次创建的上述拍摄俯瞰图像错开位置而合成的俯瞰图像；
屏蔽显示创建工序，在上述图像处理工序中判断为屏蔽显示图像的创建时，创建如下俯瞰图像作为该屏蔽显示图像，该俯瞰图像是在合成了上述拍摄履历图像和最新的上述拍摄俯瞰图像的俯瞰图像中包括合成前的上述拍摄履历图像出现的拍摄履历部分的规定的除去对象的区域被以规定颜色填充从而被屏蔽的俯瞰图像；以及
屏蔽显示处理工序，使上述显示部显示上述屏蔽显示图像。
CN201680068413.0A 2015-11-25 2016-11-17 显示控制装置以及显示控制方法 Active CN108293106B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015229910A JP6477444B2 (ja) 2015-11-25 2015-11-25 表示制御装置及び表示制御プログラム
JP2015-229910 2015-11-25
PCT/JP2016/084019 WO2017090499A1 (ja) 2015-11-25 2016-11-17 表示制御装置及び表示制御方法

Publications (2)

Publication Number Publication Date
CN108293106A CN108293106A (zh) 2018-07-17
CN108293106B true CN108293106B (zh) 2020-08-18

Family

ID=58764002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068413.0A Active CN108293106B (zh) 2015-11-25 2016-11-17 显示控制装置以及显示控制方法

Country Status (5)

Country Link
US (1) US10887529B2 (zh)
JP (1) JP6477444B2 (zh)
CN (1) CN108293106B (zh)
DE (1) DE112016005392B4 (zh)
WO (1) WO2017090499A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11070707B1 (en) * 2020-01-06 2021-07-20 GM Global Technology Operations LLC System and method to remove a vehicle shadow from a video feed
GB2609615A (en) * 2021-08-03 2023-02-15 Continental Automotive Gmbh Vehicle surround view system and method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2005153728A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置
DE202006013714U1 (de) * 2006-09-07 2007-01-25 Sebler, Christian Rundumsichtkamera
JP2007243463A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN101081608A (zh) * 2006-05-31 2007-12-05 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
WO2009104675A1 (ja) * 2008-02-20 2009-08-27 クラリオン株式会社 車両周辺画像表示システム
WO2010004763A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 三次元形状計測装置、集積回路、および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP5126549B2 (ja) * 2009-07-21 2013-01-23 アイシン精機株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5437855B2 (ja) * 2010-03-02 2014-03-12 パナソニック株式会社 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP5962927B2 (ja) * 2011-09-30 2016-08-03 パナソニックＩｐマネジメント株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP5846485B2 (ja) * 2011-11-30 2016-01-20 株式会社リコー 付着物検出装置及び付着物検出方法
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
KR101327032B1 (ko) * 2012-06-12 2013-11-20 현대자동차주식회사 카메라 영상의 반사광 제거 장치 및 방법
JP2014032174A (ja) * 2012-07-13 2014-02-20 Ricoh Co Ltd 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2005153728A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車両周辺監視装置
JP2007243463A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN101081608A (zh) * 2006-05-31 2007-12-05 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
DE202006013714U1 (de) * 2006-09-07 2007-01-25 Sebler, Christian Rundumsichtkamera
WO2009104675A1 (ja) * 2008-02-20 2009-08-27 クラリオン株式会社 車両周辺画像表示システム
WO2010004763A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 三次元形状計測装置、集積回路、および方法

Also Published As

Publication number Publication date
DE112016005392T5 (de) 2018-08-09
DE112016005392B4 (de) 2024-03-28
WO2017090499A1 (ja) 2017-06-01
JP2017098785A (ja) 2017-06-01
CN108293106A (zh) 2018-07-17
US10887529B2 (en) 2021-01-05
US20180376079A1 (en) 2018-12-27
JP6477444B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
CN108293106B (zh) 显示控制装置以及显示控制方法
JP4232794B2 (ja) 運転支援方法及び運転支援装置
JP5615862B2 (ja) 車両周囲監視装置
JP5035284B2 (ja) 車両周辺表示装置
KR102151654B1 (ko) 화상 표시 장치
US11420559B2 (en) Apparatus and method for generating a composite image from images showing adjacent or overlapping regions external to a vehicle
US20200082185A1 (en) Periphery monitoring device
KR102158898B1 (ko) 미러 대체 장치 및 차량
JP4701279B2 (ja) 視覚支援装置
JP2005350010A (ja) ステレオ式車外監視装置
JP4927647B2 (ja) 車両周辺監視装置
CN103702865A (zh) 车辆配光控制装置和车辆配光控制方法
JP5464741B2 (ja) 画像合成装置、及び、画像合成方法
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP5005960B2 (ja) 車両周囲状況確認装置
JP2007028540A (ja) 車両外状況提示システム及び車両外状況提示方法
JP2005286656A (ja) 撮像装置、車両、および運転支援方法
JP5716944B2 (ja) 車載カメラ装置
JP2006287513A (ja) 車両外状況提示システム
JP2008146404A (ja) 車載用画像認識装置
JP5413843B2 (ja) 画像処理装置、及び、画像処理方法
JP2020120316A (ja) 車両周辺モニタ装置
WO2019194218A1 (ja) 進行方向表示装置
EP3396620B1 (en) Display control device and display control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant