CN108431866B - 显示控制装置以及显示控制方法 - Google Patents

显示控制装置以及显示控制方法 Download PDF

Info

Publication number
CN108431866B
CN108431866B CN201680076182.8A CN201680076182A CN108431866B CN 108431866 B CN108431866 B CN 108431866B CN 201680076182 A CN201680076182 A CN 201680076182A CN 108431866 B CN108431866 B CN 108431866B
Authority
CN
China
Prior art keywords
bird
eye view
shadow
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680076182.8A
Other languages
English (en)
Other versions
CN108431866A (zh
Inventor
小原贤治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN108431866A publication Critical patent/CN108431866A/zh
Application granted granted Critical
Publication of CN108431866B publication Critical patent/CN108431866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

在显示控制装置(9)中,本车影子判定部(33)判定在拍摄鸟瞰图像中是否有本车辆的影子。在通过该判定而在拍摄鸟瞰图像中有本车辆的影子的情况下,图像修正部(35)使用没有本车辆的影子的第一鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。另一方面,在拍摄鸟瞰图像中没有本车辆的影子的情况下,图像修正部(35)使用没有本车辆的影子的第二鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。由此,在实际上有结构物等的影子的情况下,能够显示有结构物等的影子的显示鸟瞰图像,所以能够降低显示鸟瞰图像的不协调感。

Description

显示控制装置以及显示控制方法
关联申请的相互参照
本申请主张于2015年12月25日申请的日本申请编号2015-253859号的优先权,并在此引用其全部内容。
技术领域
本公开涉及将车辆的周围的图像显示于显示装置的显示控制装置以及显示控制方法。
背景技术
以往,已知有利用安装于车辆(即,本车辆)的相机反复拍摄本车辆的周围,将该拍摄图像鸟瞰转换为从本车辆的上方俯视的视点的图像(即,鸟瞰图像),并使该鸟瞰转换后的鸟瞰图像显示于车厢内的显示装置的技术。
在该技术中,在不能够利用相机全部拍摄本车辆的周围的情况下,将在当前时刻由相机拍摄到的图像(即,实时图像)与在过去由相机拍摄到的图像(即,历史记录图像)组合,创建作为鸟瞰图像的合成图像,并将该合成图像显示于显示装置。
然而,在上述的技术中,在实时图像中存在本车辆的影子的情况下,随着本车辆的移动而该影子作为余像显示于历史记录图像,所以在合成图像中显示与实际相比扩大了的影子的图像。
因此,近年,如专利文献1所公开的那样,提出了根据实时图像的影子的有无来分开使用实时图像和历史记录图像,由此降低本车辆的影子扩大的可能性的技术。
专利文献1:日本特开2013-246493号公报
然而,在上述的专利文献1的技术中,能够抑制本车辆的影子扩大,但由于抑制影子本身的显示反而产生不协调感。
换句话说,在现有技术中,不对本车辆的影子和其以外的建筑物等结构物、树木等那样的不移动的物体(例如,固定的物体)的影子进行区别,而抑制全部的影子的显示,所以有在通常认为有结构物等物体的影子的位置不显示其影子的情况。因此,有在显示于显示装置的图像有不协调感的情况。
发明内容
本公开是鉴于这样的问题而完成的,其目的在于提供能够降低显示于显示装置的图像的不协调感的技术。
在本公开的第一方式中,是拍摄本车辆的周边的规定的拍摄区域并显示于本车辆内的显示装置(7)的显示控制装置(9),其具备拍摄图像获取部(21)、鸟瞰转换部(23)、移动量计算部(25)、历史记录图像创建部(27)、显示图像创建部(29)以及显示处理部(31)。另外,历史记录图像创建部具备本车影子判定部(33)和图像修正部(35)。
拍摄图像获取部从搭载于本车辆的相机反复获取拍摄图像。
鸟瞰转换部对拍摄图像获取部反复获取到的拍摄图像实施鸟瞰转换,依次创建拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像。
移动量计算部基于从本车辆输入的表示本车辆的举动的车辆举动信息,计算本车辆的移动量。
历史记录图像创建部基于本车辆的移动量使通过鸟瞰转换部依次创建的拍摄鸟瞰图像的至少一部分亦即捕获部分产生位置偏移并进行合成来创建历史记录鸟瞰图像。
显示图像创建部创建将最新的拍摄鸟瞰图像与历史记录鸟瞰图像合成后的鸟瞰图像亦即显示鸟瞰图像。
显示处理部使显示鸟瞰图像显示于显示装置。
本车影子判定部判定在拍摄鸟瞰图像中是否有本车辆的影子。
图像修正部在拍摄鸟瞰图像中有本车辆的影子的情况下,使用拍摄鸟瞰图像中的没有本车辆的影子的区域的第一鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。另外,在拍摄鸟瞰图像中没有本车辆的影子的情况下,使用拍摄鸟瞰图像中的至少一部分的第二鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
根据该构成,判定在拍摄鸟瞰图像中是否有本车辆的影子,在拍摄鸟瞰图像中有本车辆的影子的情况下,使用拍摄鸟瞰图像中的没有本车辆的影子的区域的第一鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
因此,在拍摄鸟瞰图像中有本车辆的影子的情况下,能够防止包含该本车辆的影子的拍摄鸟瞰图像被合成于历史记录鸟瞰图像。由此,能够抑制在历史记录鸟瞰图像中本车辆的影子扩大,所以能够降低显示鸟瞰图像的不协调感。
另一方面,在拍摄鸟瞰图像中没有本车辆的影子的情况下,能够使用拍摄鸟瞰图像中的至少一部分的第二鸟瞰图像、例如与第一鸟瞰图像不同的区域的图像作为捕获部分,来创建历史记录鸟瞰图像。
因此,在拍摄鸟瞰图像中没有本车辆的影子的情况下,例如能够将包含本车辆的影子以外的结构物等那样的不移动的物体的影子的拍摄鸟瞰图像或者没有影子的拍摄鸟瞰图像与历史记录鸟瞰图像合成来创建显示鸟瞰图像。由此,例如在实际上有结构物等的影子的情况下,能够显示有结构物等的影子的显示鸟瞰图像,所以能够降低显示鸟瞰图像的不协调感。
像这样,在本公开中,在拍摄鸟瞰图像中有本车辆的影子的情况下或者有结构物等的影子的情况下,能够根据各个情况来创建接近实际的印象的显示鸟瞰图像,所以有能够较大地降低显示鸟瞰图像中的不协调感这样的效果。
此外,该发明内容以及权利要求书所记载的括号内的附图标记示出与作为一个方式而后述的实施方式所记载的具体单元的对应关系,并不对本发明的技术范围进行限定。
附图说明
通过参照附图及下述的详细的记述,本公开的上述目的以及其它的目的、特征、优点变得更加明确。该附图是,
图1的(a)是表示包含实施方式的显示控制装置的显示控制系统的功能框图,图1的(b)是表示图像处理部的硬件的框图,
图2是表示显示于显示装置的显示鸟瞰图像所对应的存储区域的说明图,
图3是表示在实施方式的显示控制装置实施的显示控制处理的流程图,
图4是表示显示鸟瞰图像中的本车辆的影子的状态的说明图,
图5是表示历史记录鸟瞰图像的更新的方法的说明图,
图6是表示显示鸟瞰图像的构成的说明图,
图7的(a)、(b)是表示在车辆后退的情况下,显示鸟瞰图像中影子的变化的说明图,
图8的(a)、(b)是表示在车辆前进的情况下,显示鸟瞰图像中影子的变化的说明图。
具体实施方式
以下基于附图对本实施方式进行说明。
[1.实施方式]
首先,对本实施方式的显示控制装置的系统构成进行说明。
如图1的(a)所示,本实施方式中的显示控制系统1是显示车辆的周边的图像的系统,具备搭载于车辆的前方相机3、后方相机5、显示装置7以及显示控制装置9。以下,将安装了显示控制系统1的车辆称为“本车辆”。
前方相机3是固定并安装在本车辆的前端附近的相机。该前方相机3反复拍摄本车辆的周围,具体而言,反复拍摄本车辆的前方的规定的拍摄范围,将拍摄的结果得到的拍摄图像的数据输出给显示控制装置9。
同样地,后方相机5是固定并安装在本车辆的后端附近的相机。该后方相机5反复拍摄本车辆的周围,具体而言,反复拍摄本车辆的后方的规定的拍摄范围,将拍摄的结果得到的拍摄图像的数据输出给显示控制装置9。
这里,对具备前方相机3以及后方相机5的例子进行说明,但本实施方式也能够应用于仅具备前方相机3或者后方相机5中的一方的例子。
此外,在本实施方式中,前方相机3以及后方相机5以恒定时间间隔(例如,1/30秒周期)对拍摄范围进行拍摄。另外,如后述那样,通过显示控制装置9将输出到显示控制装置9的拍摄图像的数据转换为鸟瞰图像。
显示装置7是能够显示各种图像的显示器,设在车内的驾驶员等能够视觉确认所显示的图像的位置。在本实施方式中,如后述那样,在显示装置7显示有从显示控制装置9输入的鸟瞰图像且表示本车辆的周边、详细而言也包含前后的相机3、5的拍摄范围外的范围的鸟瞰图像。此外,显示于该显示装置7的鸟瞰图像是显示鸟瞰图像。
显示控制装置9是具备输入信号处理部11、图像处理部13、存储部15、输出信号处理部17的电子控制装置。
输入信号处理部11是用于将从前后的相机3、5输入的拍摄图像输出给图像处理部13的接口。
如图1的(b)所示,图像处理部13具备以公知的CPU(Central Processing Unit:中央处理器)13A、ROM(Read Only Memory:只读存储器)13B以及RAM(Random Access Memory:随机存取存储器)13C等作为构成要素的微型计算机。
此外,通过由CPU13A执行储存于非瞬态有形记录介质(non-transitory computerreadable recording medium)的程序来实现图像处理部13的各种功能。在该例子中,ROM13B相对于储存程序的非瞬态有形记录介质。记录介质除了ROM13B以外,例如还包含DVD-ROM(Digital Versatile Disk Read Only Memory:数字多用盘只读存储器)、CD-ROM(Compact Disc Read Only Memory:光盘只读存储器)、硬盘等计算机能够读取的电子介质。另外,通过程序的执行,执行与程序对应的方法。此外,构成图像处理部13的微型计算机的数目既可以是一个也可以是多个。
图像处理部13通过由CPU13A根据记录于ROM13B的程序执行处理,来作为拍摄图像获取部21、鸟瞰转换部23、移动量计算部25、历史记录图像创建部27、显示图像创建部29、显示处理部31发挥作用。此外,历史记录图像创建部27也作为本车影子判定部33以及图像修正部35发挥作用。
拍摄图像获取部21从前后的相机3、5经由输入信号处理部11反复获取拍摄图像。
鸟瞰转换部23通过对拍摄图像获取部21反复获取到的拍摄图像实施公知的鸟瞰转换,将该拍摄图像依次转换为从本车辆的上方向正下或者斜下俯视的视点的鸟瞰图像。换句话说,鸟瞰转换部23依次创建拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像。
移动量计算部25基于从本车辆输入的包含档位的信息、车速的信息、转向角或者横摆率的信息等的车辆举动信息,来计算本车辆的移动量。
历史记录图像创建部27通过基于本车辆的移动量对作为通过鸟瞰转换部23依次创建的拍摄鸟瞰图像的一部分的捕获部分进行位置偏移并进行合成,创建使拍摄位置不同的拍摄鸟瞰图像相接的历史记录鸟瞰图像。
本车影子判定部33判定在拍摄鸟瞰图像中是否有影子,在有影子的情况下,判定该影子是否是本车辆的影子。
如后面详述的那样,图像修正部35在创建历史记录鸟瞰图像时,在拍摄鸟瞰图像中有本车辆的影子的情况下,使用拍摄鸟瞰图像中的没有本车辆的影子的区域的第一鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
另一方面,在拍摄鸟瞰图像中没有本车辆的影子的情况或者该影子是本车辆以外的结构物等的影子的情况下,如后述那样,使用拍摄鸟瞰图像中的与第一鸟瞰图像不同的第二鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
此外,拍摄鸟瞰图像示出本车辆的周围的本车辆的前方以及后方的规定的范围的最新的状况。与此相对,历史记录鸟瞰图像虽然不是最新的状况,但例如能够如本车辆的侧方等那样示出在拍摄鸟瞰图像中未被覆盖的本车辆的周围的状况。
上述的拍摄鸟瞰图像、历史记录鸟瞰图像存储于存储部15。
这里,如图2所示,在存储部15预先确保有实时区域41、历史记录区域43、输出区域45,作为用于存储各种鸟瞰图像的存储区域。此外,作为存储部15,例如能够采用EEPROM等。另外,该存储部15也可以构成为图像处理部13所安装的微型计算机的存储装置的一部分。
这些区域41~45在存储部15中作为分开的独立的区域来确保,但在图2中,为了容易理解而使这些区域41~43能够存储的鸟瞰图像的尺寸、也就是以本车辆为基准的鸟瞰图像的位置重合来进行示出。
实时区域41是用于存储通过鸟瞰转换部23创建的最新的拍摄鸟瞰图像的区域。
该实时区域41与本车辆的前方和后方对应地设定于双方。其中,在图2的上方示出存储根据由前方相机3拍摄的拍摄图像得到的拍摄鸟瞰图像的前方用的实时区域41F。另外,在图2的下方示出存储根据由后方相机5拍摄的拍摄图像得到的拍摄鸟瞰图像的后方用的实时区域41R。
历史记录区域43是用于存储通过历史记录图像创建部27创建的历史记录鸟瞰图像的区域。历史记录区域43能够存储的历史记录鸟瞰图像的尺寸、也就是通过历史记录鸟瞰图像能够示出的以本车辆为中心的范围设定为包含本车辆的整个周的范围且包含本车辆的前后左右方向的范围。
此外,历史记录区域43中的前方用的实时区域41F与后方用的实时区域41R之间所示出的区域是存储本车辆的侧方的鸟瞰图像的侧方用的历史记录区域43a。
输出区域45是用于存储将历史记录鸟瞰图像和拍摄鸟瞰图像合成后的鸟瞰图像亦即后述的显示鸟瞰图像的区域。此外,在本实施方式中,为了使说明变得简单,设为历史记录区域43存储与输出区域45相同的范围的鸟瞰图像。
因此,在显示装置7,如图2所示那样显示存储于输出区域45的显示鸟瞰图像。此外,在显示鸟瞰图像的中心即本车辆的位置显示有本车辆的俯视图形亦即本车图像J。
在本实施方式中,如上述那样,虽然通过将作为拍摄鸟瞰图像的一部分的捕获部分合成来创建历史记录鸟瞰图像,但拍摄鸟瞰图像中的捕获部分的位置并不固定。
即,如图2所示,在没有本车辆的影子的情况下,历史记录鸟瞰图像的创建所使用的捕获部分设定为在本车辆的前方或者后方的拍摄鸟瞰图像中包含本车辆侧的边缘部的部分。即,捕获部分设定为前方或者后方的拍摄鸟瞰图像中的邻接部分,详细而言,设定为图2的影线所示的前邻接部分41Fb或者后邻接部分41Ra。此外,该前邻接部分41Fb或者后邻接部分41Ra所存储的图像是第二鸟瞰图像。
另一方面,在有本车辆的影子的情况下,由于该影子形成为从本车辆延伸,所以历史记录鸟瞰图像的创建所使用的捕获部分为了不包含该影子而设定为在本车辆的前方或者后方的拍摄鸟瞰图像中远离本车辆的部分。即,捕获部分设定为前方或者后方的拍摄鸟瞰图像中的远方部分,详细而言设定为前远方部分41Fa或者后远方部分41Rb。此外,该前远方部分41Fa或者后远方部分41Rb所存储的图像是第一鸟瞰图像。
上述捕获部分与设定的位置无关而为恒定的形状。换句话说,形状被固定。换句话说,捕获部分是沿本车辆的左右方向延伸的长方形。详细而言,前邻接部分41Fb、后邻接部分41Ra、前远方部分41Fa、后远方部分41Rb是沿本车辆的左右方向延伸的相同的形状的长方形。
显示图像创建部29创建将最新的拍摄鸟瞰图像与历史记录鸟瞰图像合成后的鸟瞰图像亦即显示鸟瞰图像。通过显示图像创建部29创建的显示鸟瞰图像存储于存储部15的输出区域45。
显示处理部31经由输出信号处理部17使存储于存储部15的输出区域45的显示鸟瞰图像显示于显示装置7。
以上是图像处理部13具有的功能。图像处理部13通过执行后述的显示控制处理来发挥这些功能。
输出信号处理部17是用于将通过图像处理部13的显示图像创建部29创建的显示鸟瞰图像输出给显示装置7的接口。接下来,使用图3的流程图对图像处理部13执行的显示控制处理进行说明。
本显示控制处理在本车辆的点火开关接通的时刻开始。
这里,例举使本车辆倒退的情况(即,后退)进行说明,但使本车辆前进的情况下的处理除了移动方向相反之外,是基本相同的处理。此外,在图3中将步骤记为S。
首先,在本车辆的档位为倒档(即,后退位置)的情况下,在步骤100中,拍摄图像获取部21从前后的相机3、5分别获取一张最新的拍摄图像。
接着在步骤110中,鸟瞰转换部23对在步骤100获取的最新的两拍摄图像实施公知的鸟瞰转换,创建前方以及后方的拍摄鸟瞰图像。
接着在步骤120中,本车影子判定部33判定在作为行进方向的后方的拍摄鸟瞰图像、即由后邻接部分41Ra以及后远方部分41Rb构成的后方用的实时区域41R所对应的后方的拍摄鸟瞰图像中是否有影子。这里,若进行肯定判断则进入步骤130,另一方面,若进行否定判断则进入步骤150。
这里,利用公知的方法判定在后方的拍摄鸟瞰图像中是否存在影子即可。作为该公知的方法,例如能够列举日本特开2010-237979号公报所记载的影子检测技术。
此外,这里,仅对作为行进方向的后方的拍摄鸟瞰图像进行影子的判定是因为本车辆的影子积蓄于历史记录鸟瞰图像的是作为行进方向的后方的拍摄鸟瞰图像。换句话说,这是因为不作为行进方向的前方的拍摄鸟瞰图像不积蓄于历史记录鸟瞰图像,所以直接进行显示即可。
在步骤130中,本车影子判定部33判定在拍摄鸟瞰图像中存在的影子是否是本车辆的影子。详细而言,判定在后邻接部分41Ra的区域所对应的部分的拍摄鸟瞰图像中是否有本车辆的影子。这里,若进行肯定判断则进入步骤140,另一方面,若进行否定判断则进入步骤150。
这里,能够根据该影子是否从本车辆延伸来判定是否是本车辆的影子。例如如图4所示,在右斜前方有光源(例如,太阳)的情况下,在本车辆的左后方形成影子。该影子一定从本车辆延伸,所以在影子从本车辆的后端延伸的情况下,能够判定为该影子从本车辆延伸。
在实际的判定中,作为本车辆的后端,在后邻接部分41Ra的图4中的上端(即,前端)中设定本车辆的宽度的范围内,在影子从该前端的范围内延伸的情况下,设为该影子从本车辆延伸。
此外,能够根据是否该范围内的与前端邻接的一列或者多列的像素中宽度方向的规定个像素是表示影子的值来判定影子“从后邻接部分41Ra的前端的上述范围内延伸”。
在步骤140中,由于在与后邻接部分41Ra的区域对应的部分的拍摄鸟瞰图像中有本车辆的影子,所以历史记录图像创建部27采用没有本车辆的影子的后远方部分41Rb所对应的部分的拍摄鸟瞰图像(即,第一鸟瞰图像)作为历史记录鸟瞰图像的创建所使用的捕获部分,并存储于历史记录区域43。
另一方面,在步骤150中,由于在后方的拍摄鸟瞰图像中没有影子或者在与后邻接部分41Ra的区域对应的部分的拍摄鸟瞰图像中没有本车辆的影子,所以历史记录图像创建部27采用接近本车辆并且没有本车辆的影子的后邻接部分41Ra的区域所对应的部分的拍摄鸟瞰图像(即,第二鸟瞰图像)作为历史记录鸟瞰图像的创建所使用的捕获部分,并存储于历史记录区域43。
这样,捕获部分在拍摄鸟瞰图像中有本车辆的影子的情况下和没有本车辆的影子的情况下设定为不同的位置。
另外,如后述那样,在本车辆的档位为倒档的期间反复执行步骤100~步骤190的处理。
此外,在历史记录区域43未存储历史记录鸟瞰图像的状态下,例如在第一周期的处理中,步骤140或者步骤150的处理成为将捕获部分作为历史记录鸟瞰图像进行存储的处理。另一方面,在历史记录区域43存储了历史记录鸟瞰图像的状态下,例如在第二周期以后的处理中,如图5所示,成为通过在历史记录区域43中将最新的捕获部分覆盖于历史记录鸟瞰图像,来更新历史记录鸟瞰图像的处理。
另外,在本实施方式中,执行步骤100~步骤190的处理的周期与本车辆的移动量联动。具体而言,每当本车辆的轮胎旋转拍摄鸟瞰图像中的捕获部分的纵向宽度、即本车辆的沿着上下方向的方向的宽度(例如,五个像素)的量,则进行一个周期的处理。因此,在历史记录区域43中过去以及最新的捕获部分没有缝隙地排列,在历史记录鸟瞰图像不会产生空白,即不会产生未存储捕获部分的部分。
在步骤160中,图像处理部13的显示图像创建部29在输出区域45,将实时区域41所存储的最新的拍摄鸟瞰图像与历史记录区域43所存储的历史记录鸟瞰图像合成,创建合成后的鸟瞰图像亦即显示鸟瞰图像。
具体而言,如图6所示,图像处理部13首先将历史记录区域43所存储的历史记录鸟瞰图像存储于输出区域45。其后,图像处理部13将实时区域41所存储的最新的拍摄鸟瞰图像存储于输出区域45,由此在历史记录鸟瞰图像上覆盖最新的拍摄鸟瞰图像。此外,在本实施方式中,进一步重叠本车图像J、包含引导线的其它图像并存储。
接着在步骤170中,显示处理部31经由输出信号处理部17使存储于输出区域45的显示鸟瞰图像显示于显示装置7。
接着在步骤180中,移动量计算部25基于从本车辆输入的车辆举动信息,计算本车辆的移动量、即位置以及方向的变化。例如,基于档位的信息、车速的信息、转向角或者横摆率的信息等车辆举动信息,计算本车辆的移动量。这里所说的移动量表示从上一次的拍摄图像的获取时刻到这次的拍摄图像的获取时刻为止的期间的本车辆的移动量,也就是拍摄图像的获取间隔的移动量。
接着在步骤190中,基于本车辆的移动量,在历史记录区域43内使历史记录鸟瞰图像移动。
这里,图像处理部13基于本车辆的移动量,使存储于历史记录区域43的历史记录鸟瞰图像的以本车辆为基准的位置以与当前的本车辆的位置对应的方式变化。由此,在图3的处理的开始最初不存在的拍摄范围外的图像增加。另外,例如,在本车辆的移动包含旋转的情况下,与本车辆的旋转量对应地使历史记录鸟瞰图像旋转。
图像处理部13若执行步骤190的处理则返回到上述的步骤100,反复步骤110以后的处理。
此外,在历史记录区域43未积蓄足够的图像数据作为显示于显示装置7的显示鸟瞰图像的图像数据的阶段,在显示装置7不显示显示鸟瞰图像。
接下来,对通过上述的显示控制处理显示于显示装置7的显示画面的图像进行说明。
<后退的情况>
如图7的(a)、(b)所示,考虑在本车辆的右斜前方有光源时进行后退的情况。
此时,例如,如图7的(a)所示,例举在本车辆的前方的拍摄鸟瞰图像中有结构物的影子,在本车辆的后方的拍摄鸟瞰图像中有本车辆的影子的情况。
在图7的(a)所示那样的情况下,在显示于显示装置7的显示鸟瞰图像中,在本车辆(即,本车图像J)的前方显示有前方的相机3的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有结构物的影子,但直接进行显示。
另一方面,在本车辆的后方显示有后方的相机5的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有本车辆的影子,但直接进行显示。
接下来,在本车辆后退的情况下,显示图7的(b)所示那样的显示鸟瞰图像。
换句话说,在本车辆的前方显示有前方的相机3的最新的拍摄鸟瞰图像,但结构物的影子随着本车辆的移动,而显示在远离本车辆的位置。
另一方面,在本车辆的后方显示有后方的相机5的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有本车辆的影子,但直接进行显示。
此时,通过上述的显示控制处理,在历史记录区域43不存储包含本车辆的影子的后邻接部分41Ra的图像数据,所以在显示鸟瞰图像中,在本车图像J的侧方不显示本车辆的影子的一部分(例如,影子的左端)。
<前进的情况>
如图8的(a)、(b)所示,考虑在本车辆的右斜前方有光源时前进的情况。
此时,例如,如图8的(a)所示,例举在本车辆的前方的拍摄鸟瞰图像中有结构物的影子,在本车辆的后方的拍摄鸟瞰图像中有本车辆的影子的情况。
在图8的(a)所示那样的情况下,在显示于显示装置7的显示鸟瞰图像中,在本车辆的前方显示有前方的相机3的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有结构物的影子,但直接进行显示。
另一方面,在本车辆的后方显示有后方的相机5的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有本车辆的影子,但直接进行显示。接下来,在本车辆前进的情况下,显示图8的(b)所示那样的显示鸟瞰图像。
换句话说,在本车辆的前方显示有前方的相机3的最新的拍摄鸟瞰图像,但结构物的影子随着本车辆的移动而接近本车辆。详细而言,结构物的影子例如与路面上的文字、图案等相同,所以直接显示前方的相机3的最新的拍摄鸟瞰图像。
另外,在本车辆的侧方的区域显示有使过去的拍摄鸟瞰图像移动后的历史记录鸟瞰图像,但在该历史记录鸟瞰图像与路面的图案等相同地包含有结构物的影子。换句话说,结构物的影子在显示鸟瞰图像中,随着本车辆的移动,而显示在与该移动量对应的位置。
另一方面,在本车辆的后方显示有后方的相机5的最新的拍摄鸟瞰图像。在该最新的拍摄鸟瞰图像中虽然有本车辆的影子,但直接进行显示。
根据以上详述的实施方式,能够得到以下的效果。
(1a)在本实施方式中,判定在拍摄鸟瞰图像中是否有本车辆的影子,在拍摄鸟瞰图像中有本车辆的影子的情况下,使用远离本车辆并且没有本车辆的影子的区域的第一鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
因此,能够防止在拍摄鸟瞰图像中有本车辆的影子的情况下,包含该本车辆的影子的拍摄鸟瞰图像合成于历史记录鸟瞰图像。由此,能够抑制在历史记录鸟瞰图像中本车辆的影子扩大,所以能够降低显示鸟瞰图像的不协调感。
另一方面,在拍摄鸟瞰图像中没有本车辆的影子的情况下,能够使用接近本车辆并且没有本车辆的影子的区域的第二鸟瞰图像作为捕获部分,来创建历史记录鸟瞰图像。
因此,在拍摄鸟瞰图像中没有本车辆的影子的情况下,例如能够将包含本车辆的影子以外的结构物的影子的拍摄鸟瞰图像或者没有影子的拍摄鸟瞰图像与历史记录鸟瞰图像合成来创建显示鸟瞰图像。由此,例如在实际上有结构物等的影子的情况下,能够显示有结构物等的影子的显示鸟瞰图像,所以能够降低显示鸟瞰图像的不协调感。
这样,在本实施方式中,在拍摄鸟瞰图像中有本车辆的影子的情况下或者有结构物等的影子的情况下,能够根据各个情况来创建接近实际的印象的显示鸟瞰图像,所以有能够较大地降低显示鸟瞰图像中的不协调感这样的效果。
(1b)在本实施方式中,判定在拍摄鸟瞰图像中是否有影子,在有影子的情况下,判定该影子是否是本车辆的影子,所以能够容易地检测本车辆的影子。
(1c)在本实施方式中,将从本车辆延伸的影子判定为本车辆的影子,所以能够精度良好地检测本车辆的影子。
(1d)在本实施方式中,将处于远离本车辆的位置的影子判定为本车辆以外的结构物等的影子,所以能够精度良好地检测本车辆以外的建筑物等结构物、树木等那样的不移动的物体的影子。
(1e)在本实施方式中,将拍摄鸟瞰图像划分为接近本车辆的邻接部分和与邻接部分相比远离本车辆的远方部分。另外,将邻接部分的图像设为第二鸟瞰图像,并将远方部分的图像设为第一鸟瞰图像。
因此,通过在有本车辆的影子的情况下使用第一鸟瞰图像,在没有本车辆的影子的情况下使用第二鸟瞰图像,来创建历史记录鸟瞰图像,能够创建不协调感较少的显示鸟瞰图像。
[1-5.权利要求书与实施方式的关系]
本实施方式中的显示装置7、显示控制装置9、相机3、5、拍摄图像获取部21、鸟瞰转换部23、移动量计算部25、历史记录图像创建部27、显示图像创建部29、显示处理部31、本车影子判定部33以及图像修正部35分别相当于本发明中的显示装置、显示控制装置、相机、拍摄图像获取部、鸟瞰转换部、移动量计算部、历史记录图像创建部、显示图像创建部、显示处理部、本车影子判定部以及图像修正部的一个例子。
[2.其它的实施方式]
以上,对本发明的实施方式进行了说明,但本发明并不限定于上述实施方式,只要属于本发明的技术范围则能够采用各种方式。
(2a)例如,在上述实施方式中,对使用前后的相机创建显示鸟瞰图像的例子进行了叙述,但本发明当然也能够应用于仅使用前方相机或者后方相机中的一方相机的实施方式。
(2b)另外,在本车影子判定部33中,也可以在从本车辆延伸的影子在规定期间连续地显示于拍摄鸟瞰图像的情况下,将该影子判定为本车辆的影子。由此,本车辆的影子的检测精度提高。
(2c)并且,也可以使上述实施方式中的一个构成要素具有的功能分散为多个构成要素,或者使多个构成要素具有的功能集中为一个构成要素。另外,也可以省略上述实施方式的构成的一部分。另外,也可以将上述实施方式的构成的至少一部分附加给或者置换为其它的上述实施方式的构成。此外,仅根据权利要求书所记载的语句确定的技术思想所包含的所有的方式是本发明的实施方式。
(2d)另外,除了上述的显示控制装置之外,也能够以将该显示控制装置作为构成要素的系统、用于使计算机作为该显示控制装置发挥作用的程序、记录有该程序的半导体存储器等非瞬态有形记录介质、进行车辆控制的方法等各种方式来实现本发明。
另外,也可以通过一个或者多个IC等以硬件的方式构成显示控制装置执行的功能的一部分或者全部。
本公开依据实施例进行了记述,但应该理解本公开并不限定于该实施例、结构。本公开也包含各种变形例、同等范围内的变形。除此之外,各种组合、方式、包含其中的一个要素、一个以上或者一个以下的其它的组合、方式也在本公开的范畴、思想范围内。
附图标记说明:7…显示装置,9…显示控制装置,3…前方相机,5…后方相机,13…图像处理部,15…存储部,21…拍摄图像获取部,23…鸟瞰转换部,25…移动量计算部,27…历史记录图像创建部,29…显示图像创建部,31…显示处理部,33…本车影子判定部,35…图像修正部。

Claims (8)

1.一种显示控制装置,拍摄本车辆的周边的规定的拍摄区域并显示于所述本车辆内的显示装置(7),所述显示控制装置(9)具备:
拍摄图像获取部(21),其从搭载于所述本车辆的相机(3、5 )反复获取拍摄图像;
鸟瞰转换部(23),其对所述拍摄图像获取部反复获取到的所述拍摄图像实施鸟瞰转换,依次创建所述拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像;
移动量计算部(25),其基于从所述本车辆输入的表示本车辆的举动的车辆举动信息,计算所述本车辆的移动量;
历史记录图像创建部(27),其基于所述本车辆的所述移动量使通过所述鸟瞰转换部依次创建的所述拍摄鸟瞰图像中的至少一部分亦即捕获部分产生位置偏移并进行合成来创建历史记录鸟瞰图像;
显示图像创建部(29),其创建将最新的所述拍摄鸟瞰图像与所述历史记录鸟瞰图像合成后的鸟瞰图像亦即显示鸟瞰图像;以及
显示处理部(31),其使所述显示鸟瞰图像显示于所述显示装置,
所述历史记录图像创建部(27)具备:
本车影子判定部(33),其判定在所述拍摄鸟瞰图像中是否有影子,并且在判定为在所述拍摄鸟瞰图像中有影子的情况下,判定该影子是否是所述本车辆的影子;以及
图像修正部(35),其在所述拍摄鸟瞰图像中有影子且所述影子是所述本车辆的影子的情况下,使用所述拍摄鸟瞰图像中的没有所述本车辆的影子的区域的第一鸟瞰图像作为所述捕获部分,来创建所述历史记录鸟瞰图像,在所述拍摄鸟瞰图像中没有影子或者虽然在所述拍摄鸟瞰图像中有影子但该影子不是本车辆的影子的情况下,使用所述拍摄鸟瞰图像中的与所述第一鸟瞰图像不同的区域的第二鸟瞰图像作为所述捕获部分,来创建所述历史记录鸟瞰图像。
2.根据权利要求1所述的显示控制装置,其中,
所述本车影子判定部(33)将从所述本车辆延伸的影子判定为所述本车辆的影子。
3.根据权利要求2所述的显示控制装置,其中,
所述本车影子判定部(33)在从所述本车辆延伸的影子在规定期间连续地显示于所述拍摄鸟瞰图像的情况下,将所述影子判定为所述本车辆的影子。
4.根据权利要求1~3中任意一项所述的显示控制装置,其中,
所述本车影子判定部(33)将在所述拍摄鸟瞰图像中处于远离所述本车辆的位置的影子判定为所述本车辆以外的物体的影子。
5.根据权利要求1~3中任意一项所述的显示控制装置,其中,
所述历史记录图像创建部(27)将所述拍摄鸟瞰图像划分为接近所述本车辆的邻接部分和与该邻接部分相比远离所述本车辆的远方部分,将所述邻接部分的图像作为所述第二鸟瞰图像,将所述远方部分的图像作为所述第一鸟瞰图像。
6.一种显示控制方法,拍摄本车辆的周边的规定的拍摄区域并显示于所述本车辆内的显示装置,所述显示控制方法具有:
拍摄图像获取步骤,从搭载于所述本车辆的相机反复获取拍摄图像;
鸟瞰转换步骤,对在所述拍摄图像获取步骤中反复获取到的所述拍摄图像实施鸟瞰转换,依次创建所述拍摄图像的鸟瞰图像亦即拍摄鸟瞰图像;
移动量计算步骤,基于从所述本车辆输入的表示本车辆的举动的车辆举动信息,计算所述本车辆的移动量;
历史记录图像创建步骤,基于所述本车辆的所述移动量使在所述鸟瞰转换步骤中依次创建的所述拍摄鸟瞰图像中的至少一部分亦即捕获部分产生位置偏移并进行合成来创建历史记录鸟瞰图像;
显示图像创建步骤,创建将最新的所述拍摄鸟瞰图像与所述历史记录鸟瞰图像合成后的鸟瞰图像亦即显示鸟瞰图像;以及
显示处理步骤,使所述显示鸟瞰图像显示于所述显示装置,
所述历史记录图像创建步骤具有:
本车影子判定步骤,判定在所述拍摄鸟瞰图像中是否有影子,并且在判定为在所述拍摄鸟瞰图像中有影子的情况下,判定该影子是否是所述本车辆的影子;以及
图像修正步骤,在所述拍摄鸟瞰图像中有影子且所述影子是所述本车辆的影子的情况下,使用所述拍摄鸟瞰图像中的没有所述本车辆的影子的区域的第一鸟瞰图像作为所述捕获部分,来创建所述历史记录鸟瞰图像,在所述拍摄鸟瞰图像中没有影子或者虽然在所述拍摄鸟瞰图像中有影子但该影子不是本车辆的影子的情况下,使用所述拍摄鸟瞰图像中的与所述第一鸟瞰图像不同的区域的第二鸟瞰图像作为所述捕获部分,来创建所述历史记录鸟瞰图像。
7.根据权利要求6所述的显示控制方法,其中,
所述本车影子判定步骤将在所述拍摄鸟瞰图像中处于远离所述本车辆的位置的影子判定为所述本车辆以外的物体的影子。
8.根据权利要求6或者7所述的显示控制方法,其中,
所述历史记录图像创建步骤将所述拍摄鸟瞰图像划分为接近所述本车辆的邻接部分和与该邻接部分相比远离所述本车辆的远方部分,将所述邻接部分的图像作为所述第二鸟瞰图像,将所述远方部分的图像作为所述第一鸟瞰图像。
CN201680076182.8A 2015-12-25 2016-12-22 显示控制装置以及显示控制方法 Active CN108431866B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-253859 2015-12-25
JP2015253859A JP2017117315A (ja) 2015-12-25 2015-12-25 表示制御装置
PCT/JP2016/088490 WO2017111084A1 (ja) 2015-12-25 2016-12-22 表示制御装置及び表示制御方法

Publications (2)

Publication Number Publication Date
CN108431866A CN108431866A (zh) 2018-08-21
CN108431866B true CN108431866B (zh) 2021-10-29

Family

ID=59090475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076182.8A Active CN108431866B (zh) 2015-12-25 2016-12-22 显示控制装置以及显示控制方法

Country Status (4)

Country Link
EP (1) EP3396620B1 (zh)
JP (1) JP2017117315A (zh)
CN (1) CN108431866B (zh)
WO (1) WO2017111084A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118202382A (zh) * 2021-08-27 2024-06-14 深圳市大疆创新科技有限公司 图像处理方法、图像处理装置、拍摄设备和可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030256B (zh) * 2006-02-28 2010-05-12 东软集团股份有限公司 车辆图像分割方法和装置
JP4625418B2 (ja) * 2006-03-29 2011-02-02 株式会社デンソーアイティーラボラトリ 自影判定方法
JP4930046B2 (ja) * 2006-12-26 2012-05-09 日産自動車株式会社 路面判別方法および路面判別装置
JP2011250376A (ja) * 2010-05-31 2011-12-08 Clarion Co Ltd 車両周辺映像表示装置
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5994437B2 (ja) * 2012-07-04 2016-09-21 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
KR20150092561A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 차량용 제어 장치 및 차량

Also Published As

Publication number Publication date
JP2017117315A (ja) 2017-06-29
EP3396620A4 (en) 2018-12-19
EP3396620B1 (en) 2020-08-19
CN108431866A (zh) 2018-08-21
WO2017111084A1 (ja) 2017-06-29
EP3396620A1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6003226B2 (ja) 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
CN108886602B (zh) 信息处理装置
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2018142884A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2009188635A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP4674814B2 (ja) 車両用画像表示装置および画像合成方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
CN108431866B (zh) 显示控制装置以及显示控制方法
JP2018074411A (ja) 物体検出装置及び物体検出方法
US20200267353A1 (en) Display processing device
US10873725B2 (en) Display control device
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
US11173785B2 (en) Operator assistance vision system
JP5395373B2 (ja) 周辺監視装置
JP2019133445A (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
US10926700B2 (en) Image processing device
JP5874411B2 (ja) 車両周辺監視装置
JP4598011B2 (ja) 車両用表示装置
US10986286B2 (en) Image creation device
JP6519409B2 (ja) 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム
WO2016147846A1 (ja) 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
WO2018143285A1 (ja) 画像表示装置
CN107925744B (zh) 显示控制装置、显示控制方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant