CN104335241B - 车辆周围图像显示控制装置、显示方法及图像处理方法 - Google Patents
车辆周围图像显示控制装置、显示方法及图像处理方法 Download PDFInfo
- Publication number
- CN104335241B CN104335241B CN201380026870.XA CN201380026870A CN104335241B CN 104335241 B CN104335241 B CN 104335241B CN 201380026870 A CN201380026870 A CN 201380026870A CN 104335241 B CN104335241 B CN 104335241B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- eye view
- resume
- regions
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000033228 biological regulation Effects 0.000 claims description 23
- 238000010276 construction Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010348 incorporation Methods 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 5
- 238000000151 deposition Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 59
- 238000003786 synthesis reaction Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 20
- 102000000584 Calmodulin Human genes 0.000 description 11
- 108010041952 Calmodulin Proteins 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000001144 postural effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000005138 cryopreservation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
车辆周围图像显示控制装置具备:车辆周围图像取得装置(110);俯瞰图像制作装置(115);分割保存装置(120),保存A俯瞰图像及B俯瞰图像;影子判定装置(125);车辆运动量计算装置(135、155);第1履历图像构成装置(140),在B俯瞰图像中没有影子的情况下,使用B俯瞰图像将C俯瞰图像更新,并且使用A俯瞰图将履历B俯瞰图像像更新;第2履历图像构成装置(160),在B俯瞰图像中有影子的情况下,使用履历B俯瞰图像将C俯瞰图像更新,并且使用A俯瞰图像将履历B俯瞰图像更新;以及显示控制装置(130、150)。
Description
相关申请的相互参照
本公开基于2012年5月23日提出申请的日本专利申请2012-117762号主张优先权,这里引用其全部内容。
技术领域
本发明涉及将最新的摄影图像的俯瞰图像与过去的摄影图像的俯瞰图像合成后的俯瞰图像进行显示的车辆周围图像显示控制装置、显示方法以及图像处理方法。
背景技术
以往,已知有用安装在车辆上的摄像机将车辆的周围反复摄影、将摄影图像俯瞰变换为从车辆的上方往下看的视点的图像、使该俯瞰变换后的俯瞰图像显示到图像显示装置上的技术。
在这样的技术中,已知有通过将合成了最新的摄影图像的俯瞰图像和过去的摄影图像的俯瞰图像的合成俯瞰图像显示到图像显示装置上、将车辆的周围的图像显示范围扩大的技术(称作履历合成技术)(参照专利文献1)。
例如,在摄像机是将车辆的后方摄影的后置摄像机的情况下,如图5所示,在存储器上设置用来将车辆的除了后方以外的周围的俯瞰图像保存的履历区域91、和用来将车辆的后方的俯瞰图像保存的实时区域92。并且,将最新的摄影图像的俯瞰图像盖写到存储器上的实时区域92中,使履历区域91及实时区域92的合成俯瞰图像显示到图像显示装置上,利用车辆信息(转向角、车速等)计算车辆的运动,在履历区域91及实时区域92中使图像移动,以做出与计算出的车辆的运动相反的运动。
通过重复这样的处理,例如在车辆后退时显示在图像显示装置上的图像以图6A~图6F的顺序,随着车辆的后退,处于实时区域92中的图像依次移动到履历区域91中。因而,包含在履历区域91中的俯瞰图像的范围依次扩大,车辆的周围的显示范围扩大。
但是,在上述那样的技术中,如图7A~图7F所例示那样,有在摄像机的摄影图像中有自身车辆的影子的情况下,随着自身车辆的移动,该影子持续移动到履历区域91中。因而,在显示于图像显示装置上的合成俯瞰图像中,影子的图像扩大,成为车辆的周围看不清楚的合成俯瞰图像。
先行技术文献
专利文献
专利文献1:特开2002-373327号公报(对应于美国公开公报20030165255)
专利文献2:特开2010-237976号公报
非专利文献
非专利文献1:西本至孝、泉隆,“有关基于影子提取的车辆检测”,电气学会ITS研究会,ITS-06-14,7~12页,2006年6月
发明内容
本公开的目的是提供一种车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的命令构成的非临时性有形计算机读取媒体、将车辆的周围的图像顶视变换而显示的图像处理方法。在车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的命令构成的非临时性有形计算机读取媒体、将车辆的周围的图像顶视变换而显示的图像处理方法中,利用将合成了最新的摄影图像的俯瞰图像和过去的摄影图像的俯瞰图像的合成俯瞰图像显示到图像显示装置上的履历合成技术,降低随着车辆的移动而在合成俯瞰图像中自身车辆的影子扩大的可能性。
在本公开的第一技术方案中,车辆周围图像显示控制装置具备:取得装置,从搭载在车辆上的车载摄像机反复取得上述车辆的周围的摄影图像;俯瞰变换装置,对摄影图像依次实施俯瞰变换,制作俯瞰图像;分割保存装置,通过将上述俯瞰图像在上述车辆的前后方向上分割,制作距上述车辆更远者的规定的A范围的A俯瞰图像、和距上述车辆更近者的规定的B范围的B俯瞰图像,将A俯瞰图像保存至存储器的实A区域,将B俯瞰图像保存存储器的实B区域;影子判定装置,判定在保存在上述实B区域的一部分或全部中的B俯瞰图像中是否有影子;运动计算装置,基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;第1履历图像构成装置,在上述影子判定装置判定为在B俯瞰图像中没有影子的情况下,基于上述车辆的上述运动量,使用保存在上述实B区域中的B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使用来保存作为上述车载摄像机的摄影范围外的C范围的俯瞰图像的存储器的履历C区域的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使用来保存与上述实B区域相同范围的俯瞰图像的存储器的履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;第2履历图像构成装置,在上述影子判定装置判定为在B俯瞰图像中有影子的情况下,基于上述车辆的上述运动量,使用保存在上述履历B区域内的履历B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使存储器的履历C区域内的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使上述履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;显示控制装置,使图像显示装置显示上述实A区域内的A俯瞰图像、上述履历C区域内的C俯瞰图像、以及上述实B区域内的B俯瞰图像或上述履历B区域内的履历B俯瞰图像。
在上述装置中,能够根据影子的有无来选择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此,在有影子的情况下,使用基于实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的B俯瞰图像进行履历合成,所以履历C区域内的C俯瞰图像的摄影时期变得比较新。
作为代案,也可以是,在上述影子判定装置判定为在B俯瞰图像中没有影子的情况下,第1履历图像构成装置基于上述车辆的上述运动量,将实A区域、实B区域、履历C区域依次更新,以使俯瞰图像在将作为A俯瞰图像的显示范围的A范围、作为B俯瞰图像的显示范围的B范围及作为C俯瞰图像的显示范围的C范围接合的结合范围中移动,与此同时,将履历B区域及上述实A区域依次更新,以使俯瞰图像在将作为履历B俯瞰图像的显示范围的B范围和作为A俯瞰图像的显示范围的A范围接合的结合范围中移动。此外,也可以是,在上述影子判定装置判定为在B俯瞰图像中有影子的情况下,第1履历图像构成装置基于上述车辆的上述运动量,将实A区域、履历B区域、履历C区域依次更新,以使俯瞰图像在将作为A俯瞰图像的显示范围的A范围、作为履历B俯瞰图像的显示范围的B范围及作为C俯瞰图像的显示范围的C范围接合的结合范围中移动。
在本公开的第二技术方案中,车辆周围图像显示方法具备:从搭载在车辆上的车载摄像机反复取得上述车辆的周围的摄影图像;对摄影图像依次实施俯瞰变换,制作俯瞰图像;通过将上述俯瞰图像在上述车辆的前后方向上分割,制作距上述车辆更远者的规定的A范围的A俯瞰图像、和距上述车辆更近者的规定的B范围的B俯瞰图像,将A俯瞰图像向存储器的实A区域保存,将B俯瞰图像向存储器的实B区域保存;判定在保存在上述实B区域的一部分或全部中的俯瞰图像中是否有影子;基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;在B俯瞰图像中没有影子的情况下,基于上述车辆的上述运动量,使用保存在上述实B区域中的B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使用来保存作为上述车载摄像机的摄影范围外的C范围的俯瞰图像的存储器的履历C区域的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使用来保存与上述实B区域相同范围的俯瞰图像的存储器的履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;在B俯瞰图像中有影子的情况下,基于上述车辆的上述运动量,使用保存在上述履历B区域内的履历B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使存储器的履历C区域内的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使上述履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;使图像显示装置显示上述实A区域内的A俯瞰图像、上述履历C区域内的C俯瞰图像、以及上述实B区域内的B俯瞰图像或上述履历B区域内的履历B俯瞰图像。
在上述方法中,能够根据影子的有无来选择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此,在有影子的情况下,使用基于实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的B俯瞰图像进行履历合成,所以履历C区域内的C俯瞰图像的摄影时期变得比较新。
在本公开的第三技术方案中,非临时性有形计算机读取媒体具备由计算机实施的命令,该命令包括控制车辆周围图像的显示的计算机实施方法,所述命令具备:从搭载在车辆上的车载摄像机反复取得上述车辆的周围的摄影图像;对摄影图像依次实施俯瞰变换,制作俯瞰图像;通过将上述俯瞰图像在上述车辆的前后方向上分割,制作距上述车辆更远者的规定的A范围的A俯瞰图像、和距上述车辆更近者的规定的B范围的B俯瞰图像,将A俯瞰图像向存储器的实A区域保存,将B俯瞰图像向存储器的实B区域保存;判定在保存在上述实B区域的一部分或全部中的俯瞰图像中是否有影子;基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;在B俯瞰图像中没有影子的情况下,基于上述车辆的上述运动量,使用保存在上述实B区域中的B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使用来保存作为上述车载摄像机的摄影范围外的C范围的俯瞰图像的存储器的履历C区域的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使用来保存与上述实B区域相同范围的俯瞰图像的存储器的履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;在B俯瞰图像中有影子的情况下,基于上述车辆的上述运动量,使用保存在上述履历B区域内的履历B俯瞰图像在上述履历C区域内构成C俯瞰图像,以使存储器的履历C区域内的C俯瞰图像反映上述车辆的当前的周围的配置,并且基于上述车辆的上述运动量,使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像,以使上述履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置;使图像显示装置显示上述实A区域内的A俯瞰图像、上述履历C区域内的C俯瞰图像、以及上述实B区域内的B俯瞰图像或上述履历B区域内的履历B俯瞰图像。
在上述的非临时性有形计算机读取媒体中,能够根据影子的有无来选择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此,在有影子的情况下,使用基于实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的B俯瞰图像进行履历合成,所以履历C区域内的C俯瞰图像的摄影时期变得比较新。
在本公开的第四技术方案中,从搭载在车辆上的车载摄像机连续地取得上述车辆的周围的图像、将该图像进行顶视变换、向搭载在上述车辆上的图像显示装置显示的图像处理方法,将上述顶视变换后的图像2分割;判定在分割后的上述图像中的、距上述车辆较近图像的近距离图像中是否包含上述车辆的影子;在上述近距离图像中包含有上述车辆的影子的情况下,用在规定时间前摄影的距上述车辆较远图像的远距离图像的履历图像将当前的上述近距离图像替换。
上述图像处理方法在包含有上述车辆的影子的情况下,作为履历合成的原图像而使用远距离图像的履历图像。由此,能够降低通过履历合成而自身车辆的影子扩大的可能性。
在本公开的第五技术方案中,从搭载在车辆上的车载摄像机取得上述车辆的周围的图像,将该图像进行顶视变换而保存到存储器中,向图像显示装置显示的车辆周围图像显示控制装置,具备:取得装置,反复取得上述车辆的周围的摄影图像;顶视变换装置,将摄影图像依次进行顶视变换,制作一系列的顶视图像群;分割保存装置,在将制作出的一系列的顶视图像群中的最新的顶视图像向上述存储器保存时,通过将上述顶视图像在上述车辆的前后方向上分割,将距上述车辆更远的远距离顶视图像向实A区域保存,将距上述车辆更近的近距离顶视图像向实B区域保存;影子判定装置,判定在保存在上述实B区域中的最新的上述近距离顶视图像中是否拍摄有上述车辆的影子;运动计算机构,基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;第1履历图像构成装置,在上述存储器内设定保存处于上述车载摄像机的摄影范围外且与上述车辆的周围配置对应的履历图像的履历C区域、和保存与上述实B区域相同范围的近距离顶视图像的履历B区域,在由上述影子判定机构判定为没有影子的情况下,基于上述车辆的上述运动量,用保存在上述实B区域内的上述近距离顶视图像将上述履历C区域盖写(覆盖),并且用保存在上述实A区域内的上述远距离顶视图像将上述履历B区域盖写(覆盖);第2履历图像构成装置,在由上述影子判定机构判定为有影子的情况下,基于上述车辆的上述运动量,用保存在上述履历B区域内的上述近距离顶视图像将上述履历C区域盖写(覆盖),并且用保存在上述实A区域内的上述远距离顶视图像将上述履历B区域盖写(覆盖);显示控制机构,使上述图像显示装置显示上述实A区域内的上述远距离顶视图像、上述履历C区域内的上述履历图像、以及上述实B区域内或上述履历B区域内的上述近距离顶视图像。
在上述装置中,能够根据影子的有无来选择是使用实B区域的近距离顶视图像还是使用履历B区域的上述近距离顶视图像作为履历合成(是指构成履历C区域内的履历图像)的原图像。由此,在有影子的情况下,使用基于实A区域的远距离顶视图像(没有影子的可能性较高的图像)构成的履历B区域的上述近距离顶视图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的上述近距离顶视图像进行履历合成,所以履历C区域内的履历图像的摄影时期变得比较新。
在本公开的第六技术方案中,车辆周围图像显示控制装置具备:取得装置,从搭载在车辆中的车载摄像机反复取得上述车辆的周围的摄影图像;俯瞰变换装置,对摄影图像依次实施俯瞰变换,制作俯瞰图像;运动计算装置,基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;存储器,具有存储上述车辆的周围的规定的B范围的B俯瞰图像的实B区域、存储比上述B范围更远离上述车辆的规定的A范围的A俯瞰图像的实A区域、基于上述运动计算装置计算出的上述车辆的运动量使上述实A区域存储的上述A俯瞰图像移动与上述车辆的相对位置而作为履历B俯瞰图像存储的履历B区域、和基于上述运动计算装置计算出的上述车辆的运动量使上述履历B区域存储的上述履历B俯瞰图像或上述实B区域存储的上述B俯瞰图像移动与上述车辆的相对位置而作为C俯瞰图像存储的履历C区域;分割保存装置,通过将上述俯瞰图像在上述车辆的前后方向上分割,制作上述A俯瞰图像和上述B俯瞰图像,将上述A俯瞰图像向上述实A区域保存,将上述B俯瞰图像向上述实B区域保存;影子判定装置,判定在保存在上述实B区域的一部分或全部中的B俯瞰图像中是否有影子;第1履历图像构成装置,在上述影子判定装置判定为在B俯瞰图像中没有影子的情况下,使用保存在上述实B区域中的B俯瞰图像在上述履历C区域内构成上述C俯瞰图像;第2履历图像构成装置,在上述影子判定装置判定为在B俯瞰图像中有影子的情况下,使用保存在上述履历B区域内的履历B俯瞰图像在上述履历C区域内构成上述C俯瞰图像;显示控制装置,使图像显示装置显示上述实A区域内的上述A俯瞰图像、上述履历C区域内的上述C俯瞰图像、以及上述实B区域内的上述B俯瞰图像或上述履历B区域内的上述履历B俯瞰图像。
在上述装置中,能够根据影子的有无来选择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此,在有影子的情况下,使用基于实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的B俯瞰图像进行履历合成,所以履历C区域内的C俯瞰图像的摄影时期变得比较新。
在上述装置中,能够根据影子的有无来选择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此,在有影子的情况下,使用基于实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成,所以能够降低在履历C区域内自身车辆的影子扩大的可能性。此外,在没有影子的情况下,使用实B区域的B俯瞰图像进行履历合成,所以履历C区域内的C俯瞰图像的摄影时期变得比较新。
附图说明
关于本公开的上述目的及其他目的、特征及优点,一边参照附图一边通过下述详细的记述会变得更明确。
图1是表示有关实施方式的车辆周围图像显示系统的结构的图。
图2是表示存储器中的实A区域、实B区域、履历C区域、履历B区域的图。
图3是控制装置执行的处理的流程图。
图4A是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图4B是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图4C是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图4D是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图4E是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图4F是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图5是作为以往技术表示存储器中的履历区域和实时区域的图。
图6A是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图6B是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图6C是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图6D是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图6E是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图6F是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。
图7A是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图7B是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图7C是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图7D是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图7E是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
图7F是作为以往技术表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像的图。
具体实施方式
以下,对本发明的一实施方式进行说明。在图1中表示有关本实施方式的车辆周围图像显示系统的结构。该车辆周围图像显示系统搭载在车辆中,具备车载摄像机1、控制装置2(相当于车辆周围图像显示控制装置的一例)、以及图像显示装置3。
车载摄像机1固定搭载在车辆的后端附近,将车辆的周围、具体而言对车辆的后方的规定范围进行反复(例如以1/30秒周期)摄影,将摄影的结果得到的摄影图像的数据向控制装置2依次输出。
控制装置2被从车载摄像机1反复输入上述摄影图像,并且被从自身车辆反复输入档位范围(shift range)的信息、车速的信息及转向角(或偏航角速度(yaw rate))的信息。
并且,控制装置2通过执行预先决定的处理,作为俯瞰变换部21、图像合成部22、车辆运动计算部23、影子判断部24发挥功能。
俯瞰变换部21通过对从车载摄像机1输入的摄影图像实施周知的俯瞰变换,将该摄影图像变换为从自身车辆的上方(向正下方或斜下方)往下看的视点的俯瞰图像。
图像合成部22如后述那样,将最新的摄影图像的俯瞰图像与过去的摄影图像的俯瞰图像合成,将合成的结果得到的合成俯瞰图像向图像显示装置3输出。
车辆运动计算部23基于从自身车辆输入的档位范围的信息、车速的信息及转向角(或偏航角速度)的信息,计算遵循周知的阿克曼模型(Ackerman model)的自身车辆的运动(移动量及姿势变化量)。影子判断部24判定在最新的摄影图像的俯瞰图像中是否存在影子。
另外,作为这样的结构的控制装置2,也可以使用周知的微型计算机。
图像显示装置3是将从控制装置2输入的合成俯瞰图像显示的装置,配置在车内的驾驶员能够看到显示的合成俯瞰图像那样的位置。
以下,对这样的结构的车辆周围图像显示系统的动作进行说明。在搭载在控制装置2中的可写入的存储器(例如RAM)中,如图2所示,预先确保了实A区域51a、实B区域51b、履历C区域52及履历B区域53。
实A区域51a及实B区域51b是用来将自身车辆的周围中的自身车辆的后方的俯瞰图像保存的区域,如后述那样,保存将最新的摄影图像俯瞰变换后的俯瞰图像。
此外,实A区域51a是用来保存将车辆的后方在车辆的前后方向上2分割后的、距车辆更远者的规定的范围的俯瞰图像的区域。此外,实B区域51b是用来保存同样2分割后的、距车辆更近者的规定的范围的俯瞰图像的区域。
履历C区域52是用来保存自身车辆的周围中的自身车辆的后方以外(即,车载摄像机1的摄影范围外)的俯瞰图像的区域,如后述那样,保存将过去的摄影图像俯瞰变换后的俯瞰图像。
履历B区域53是用来保存车辆的周围中的与上述实B区域51b相同范围的俯瞰图像的区域。但是,如后述那样,与实B区域51b不同,不是保存最新的摄影图像,而保存将过去的摄影图像俯瞰变换后的俯瞰图像。
控制装置2使用这样的实A区域51a、实B区域51b、履历C区域52、履历B区域53,执行在图3中用流程图表示的处理。控制装置2通过执行该图3的处理,作为上述俯瞰变换部21、图像合成部22、车辆运动计算部23、影子判断部24发挥功能。
关于该图3的处理,沿着1个事例进行说明。另外,在该事例中,假设在车载摄像机1的摄影图像中没有拍摄有自身车辆的影子以外的影子。
首先,在控制装置2开始图3的处理时,实A区域51a、实B区域51b、履历C区域52、履历B区域53的各自的区域内为完全不包含俯瞰图像的数据的空的状态,换言之,为仅包含表示空的数据的状态。
控制装置2首先在步骤105中,基于输入的最新的档位范围信息,判定自身车辆的档位位置是否是倒车(后退位置),如果不是倒车,则再次执行步骤105的判定。
假设驾驶员在要将车辆停车到停车场的停车位(图4A~图4F的P2)时,将档位范围放入R(倒车)。于是,控制装置2在步骤105中判定档位位置是倒车,向步骤110前进。
在步骤110中,从车载摄像机1受理并取得1张最新的摄影图像的输入。接着,在步骤115中,对在之前的步骤110中取得的最新的摄影图像实施周知的俯瞰变换。通过该俯瞰变换,将摄影图像变换为从自身车辆的上方(向正下方或斜下方)往下看的视点的俯瞰图像。
另外,在该俯瞰变换时,如周知那样,假定摄影图像中的物体存在于高度零的位置(即路面)。在俯瞰变换中使用的变换式被预先记录在控制装置2的存储器(例如ROM)中。控制装置2通过执行该步骤115的处理,作为俯瞰变换部21发挥功能。
接着,在步骤120中,将在之前的步骤115中制作出的俯瞰图像向存储器中的实A区域51a及实B区域51b保存。
具体而言,将该俯瞰图像在车辆的前后方向2分割后的、距车辆较远者的规定的范围的图像向实A区域51a保存,将该俯瞰图像同样2分割后的、距车辆较近者的规定的范围的图像向实B区域51b保存。
接着,在步骤125中,判定在之前的步骤115中制作出的俯瞰图像中的保存在实B区域51b内的俯瞰图像中是否存在影子。
在该俯瞰图像中是否存在影子,只要用周知的方法(例如,专利文献2、非专利文献1中记载的方法)判定就可以。例如可以使用专利文献2中记载的影检测技术进行判定。
具体而言,对于实B区域51b内的俯瞰图像的一部分区域,基于色相和亮度进行区域分割,在分割后的多个区域中,提取色相的差是规定的阈值以下且亮度的差为规定值异常的两个区域。
并且,将提取出的两个中的亮度较高的区域作为非阴影区域,将亮度较低的区域作为阴影区域。并且,将颜色信息的空间(参照专利文献2的图14(b))中的从该阴影区域向非阴影区域的矢量确定为光源的颜色信息。
并且,对实B区域51b内的俯瞰图像的全区域,基于色相和亮度进行区域分割,在相邻的区域间的色相的差与光源的色相在规定的范围内一致的情况下,将这些相邻的区域中的亮度较低的区域确定为影子。控制装置2通过执行该步骤125的处理,作为影子判断部24发挥功能。
在本事例中,假设在开始图3的处理的时点,如图4A所示,在自身车辆的后方(行进方向)的、与实B区域51b对应的范围内存在自身车辆的影子。在此情况下,在步骤125中判定为有影子,向步骤145前进。
在步骤145中,判定在履历B区域53中俯瞰图像的数据是否是规定量以上。例如也可以是,当俯瞰图像的数据将履历B区域53的全部充满时,判定为在履历B区域53中俯瞰图像的数据是规定量以上,在其以外的情况下判定为在履历B区域53中俯瞰图像的数据不到规定量。
在本事例中,由于图3的处理刚开始,所以在履历B区域53中完全没有俯瞰图像的数据,所以判定为不到规定量,向步骤130前进。
在步骤130中,以图2的左侧所示那样的配置,将实A区域51a、实B区域51b及履历C区域52的图像接合而合成,将合成后的合成俯瞰图像保存至控制装置2中的规定的输出用存储器。
另外,也可以在合成俯瞰图像中如图2所示那样叠加表示自身车辆的形状的图像54。此时,也可以将车辆形状图像54透过性地叠加,以便在合成俯瞰图像与车辆形状图像54重叠的部分处能够辨识合成俯瞰图像和车辆形状图像54的两者。
控制装置2通过执行该步骤130的处理,作为图像合成部22发挥功能。保存在该输出用存储器中的合成俯瞰图像被从控制装置2向图像显示装置3输入,结果,图像显示装置3将该合成俯瞰图像对驾驶员显示。
接着,在步骤135中,基于从自身车辆输入的各种车辆举动信息,即档位范围的信息、车速的信息及转向角(或偏航角速度)的最新的信息(追加使用过去的信息),计算遵循周知的阿克曼模型(Ackerman model)的自身车辆的运动量(移动矢量及姿势变化角度)。另外,这里所述的运动量,是表示从前次的摄影图像的取得定时到此次的摄影图像的取得定时的期间中的车辆的运动(即,摄影图像的取得间隔中的运动量)的运动量。控制装置2通过执行该步骤135的处理,作为车辆运动计算部23发挥功能。
接着,在步骤140中,基于在之前的步骤135中计算出的自身车辆的运动量,计算表示自身车辆的周围(假定固定在路面上)相对地相对于自身车辆怎样地移动的相对移动量。
具体而言,计算与在之前的步骤135中计算出的自身车辆的运动量相反的运动。例如,当自身车辆的移动矢量是(α,β)、姿势变化角度是θ时,作为周围相对于自身车辆的相对移动量,假设移动矢量是(-α,-β)、姿势变化角度是-θ。
并且,在将实A区域51a、实B区域51b及履历C区域52c以图2的左侧那样的配置接合的结合区域内,按照如上述那样计算出的周围的相对移动量,使保存在该结合区域内的全部的俯瞰图像移动,以使该结合区域内的俯瞰图像反映车辆的当前的周围的配置。
由此,对应于该相对移动量,在实B区域51b和履历C区域52的边界,俯瞰图像的一部分从实B区域51b移动到履历C区域52,或从履历C区域52移动到实B区域51b。在本事例中,由于自身车辆后退,所以为前者。此外,处于实B区域51b中的自身车辆的影子的图像移动到履历C区域52中。
与此同时,在步骤140中,在将实A区域51a及履历B区域53以图2的右侧那样的配置接合的区域内(注意履历C区域52没有被接合),按照如上述那样计算出的周围的相对移动量,使俯瞰图像移动。因而,随着车辆的后退,在图3的处理的开始最初为空的履历C区域52内俯瞰图像增加。
由此,对应于该相对移动量,在实A区域51a与履历B区域53的边界,俯瞰图像的一部分从实A区域51a向履历B区域53、或从履历B区域53向实A区域51a移动。在本事例中,由于自身车辆后退,所以为前者。因而,随着车辆的后退,在图3的处理的开始最初为空的履历B区域53内俯瞰图像增加。
在步骤140之后,处理回到步骤105。然后,车辆继续后退,假设自身车辆的影子持续处于最新的摄影图像内(与实B区域51b对应的位置内)。在此情况下,在履历B区域53中的俯瞰图像的数据不到规定量的期间中,控制装置2在步骤105中判定档位位置是倒车,在步骤125中判定为有影子,在步骤145中判定为在履历B区域53内俯瞰图像的数据不到规定量。
因而,控制装置2将步骤105、110、115、120、125、145、130、135、140以该顺序反复执行。各步骤的处理内容与已经说明的同样。
结果,如图4A、图4B、图4C所示,匹配于车辆的后退(既可以是直行后退,也可以是拐弯后退),实B区域51b内的俯瞰图像逐渐被储存到履历C区域52内。在此期间中,如已经说明那样,在步骤130中,将接合了实A区域51a、实B区域51b及履历C区域52内的俯瞰图像的合成俯瞰图像(及车辆的图像54)持续显示到图像显示装置3上。
此外,在此期间中,由于在实B区域51b中的俯瞰图像中持续存在自身车辆的影子,所以在履历C区域52中持续被储存有影子的俯瞰图像。因而,如图4A、图4B、图4C那样,实际不存在的影子在履历C区域52内作为图像扩大。
此外,通过如上述那样控制装置2将步骤105、110、115、120、125、145、130、135、140以该顺序反复执行,匹配于车辆的后退(既可以是直行后退,也可以是拐弯后退),实A区域51a内的俯瞰图像逐渐被储存到履历B区域53内。但是,在此期间中,履历B区域53不被用于图像显示装置3的显示。
实A区域51a与实B区域51b相比,保存距车辆的后端更远的后方位置(例如,从自身车辆后端离开3米以上的后方)的俯瞰图像。因而,在实A区域51a中的俯瞰图像中拍摄有自身车辆的影子的可能性比较低。在本事例中,假设在实A区域51a中的俯瞰图像中没有拍摄有自身车辆的影子。因而,在从实A区域51a移动而储存到履历B区域53中的俯瞰图像中也没有拍摄有自身车辆的影子。
然后,假设在自身车辆的影子持续处于最新的摄影图像内(与实B区域51b对应的位置内)的状态下自身车辆继续后退,结果履历B区域53中的俯瞰图像的数据成为规定量以上。
在此情况下,控制装置2在步骤105中判定档位位置是倒车,在步骤125中判定为有影子,向步骤145前进,而在步骤145中,判定为在履历B区域53内俯瞰图像的数据是规定量以上,所以向步骤150前进。
在步骤150中,以图2的右侧所示那样的配置,将实A区域51a、履历B区域53及履历C区域52的图像接合而合成,将合成后的合成俯瞰图像向控制装置2中的规定的输出用存储器保存。
步骤150的处理与步骤130不同的是代替实B区域51b(有影子)而使用履历B区域53(没有影子)这一点。另外,在合成俯瞰图像中,也可以与步骤130同样叠加表示自身车辆的形状的图像54。
通过这样代替实B区域51b(有影子)而使用履历B区域53(没有影子)显示,如图4D所示,在自身车辆的后方,在俯瞰图像中到此为止一直有的影子消失。但是,关于已经移动到履历C区域52中的影子继续显示。
控制装置2通过执行该步骤150的处理,作为图像合成部22发挥功能。将保存在该输出用存储器中的合成俯瞰图像从控制装置2向图像显示装置3输入,结果,图像显示装置3将该合成俯瞰图像对驾驶员显示。
接着,在步骤155中,通过与步骤130相同的方法,计算遵循周知的阿克曼模型(Ackerman model)的自身车辆的运动量(移动矢量及姿势变化角度)。控制装置2通过执行该步骤155的处理,作为车辆运动计算部23发挥功能。
接着,在步骤160中,基于在之前的步骤155中计算出的自身车辆的运动量,用与步骤140同样的方法计算表示自身车辆的周围(假定固定在路面上)相对地相对于自身车辆怎样移动的相对移动量。
并且,在将实A区域51a、履历B区域53及履历C区域52c以图2的右侧那样的配置接合的结合区域内,按照如上述那样计算出的周围的相对移动量,使保存在该结合区域的全部的俯瞰图像移动,以使该结合区域内的俯瞰图像反映车辆的当前的周围的配置。
由此,对应于该相对移动量,在实A区域51a与履历B区域53的边界,俯瞰图像的一部分从实A区域51a移动到履历B区域53,或从履历B区域53移动到实A区域51a。在本事例中,由于自身车辆后退,所以为前者。因而,随着车辆的后退,在图3的处理的开始最初为空的履历B区域53内俯瞰图像增加。
由此,对应于该相对移动量,在履历B区域53与履历C区域52的边界,俯瞰图像的一部分从履历B区域53移动到履历C区域52,或从履历C区域52移动到履历B区域53。在本事例中,由于自身车辆后退,所以为前者。此时,由于在实B区域51b中没有自身车辆的影子,所以自身车辆的影子的图像也不会移动到履历C区域52。
在步骤160后,处理回到步骤105。然后,车辆继续后退,假设自身车辆的影子持续处于最新的摄影图像内(与实B区域51b对应的位置内)。在此情况下,控制装置2在步骤105中判定档位位置是倒车,在步骤125中判定为有影子,在步骤145中判定在履历B区域53内俯瞰图像的数据是规定量以上。
因而,控制装置2将步骤105、110、115、120、125、145、150、155、160以该顺序反复执行。各步骤的处理内容与已经说明的同样。
结果,如图4D、图4E、图4F所示,匹配于车辆的后退(既可以是直行后退也可以是拐弯后退),实A区域51a内的俯瞰图像逐渐被储存到履历B区域53内,并且履历B区域53内的俯瞰图像逐渐被储存到履历C区域52内。
在此期间,如已经说明那样,在步骤150中,将接合了实A区域51a、履历B区域53及履历C区域52内的俯瞰图像的合成俯瞰图像(及车辆的图像54)在图像显示装置3上持续显示。
此外,在此期间,由于在履历B区域53中的俯瞰图像中不存在自身车辆的影子,所以在履历C区域52中持续储存没有影子的俯瞰图像。因而,如图4D、图4E、图4F那样,尽管已经移动的影子残留在履历C区域52中而移动,但能够防止实际上不存在的影子在履历C区域52内作为图像进一步扩大。
然后,假设因车辆的朝向变化等的理由,自身车辆的影子从实B区域51b中的俯瞰图像消失。在此情况下,控制装置2在步骤125中判定为在之前的步骤115中制作出的俯瞰图像中不存在影子,向步骤130前进。但是,步骤130、135、140的处理内容是已经说明那样的。但是,此次由于在实B区域51b内的俯瞰图像中不存在自身车辆的影子,所以在步骤140中,影子的图像不从实B区域51b移动到履历C区域52。
然后,在自身车辆的影子没有进入到实B区域51b中的俯瞰图像中的原状下车辆后退的期间,控制装置2在步骤125中判定为没有影子,所以重复步骤105、110、120、125、130、135、140的处理。在此情况下,也由于在实B区域51b内的俯瞰图像中没有影子,所以影子的图像不会从实B区域51b移动到履历C区域52。
这样,在实B区域51b内的俯瞰图像中没有影子的情况下,通过不是将履历B区域53、而是将实B区域51b内的俯瞰图像在显示中使用,从而使用最新的摄影图像使显示的范围扩大。
另外,在上述事例中,在图3的处理开始的时点,自身车辆的影子已经进入到摄影图像中。但是,也可以想到在图3的处理开始的时点自身车辆的影子没有进入到摄影图像中、之后因车辆的朝向变化等的理由而自身车辆的影子出现在摄影图像内的事例。
在这样的情况下,在自身车辆的影子没有进入到实B区域51b中的俯瞰图像中、车辆后退的期间,控制装置2在步骤125中判定为没有影子,所以重复步骤105、110、120、125、130、135、140的处理。在此情况下,由于在实B区域51b内的俯瞰图像中没有影子,所以影子的图像不会从实B区域51b移动到履历C区域52。此外,在此情况下,在步骤140中,随着车辆的后退移动,俯瞰图像被从实A区域51a逐渐储存到履历B区域53中。
然后,在履历B区域53中俯瞰图像的数据被储存规定量以上,再然后,假设因车辆的朝向变化等的理由而自身车辆的影子出现在实B区域51b中的俯瞰图像内。在此情况下,控制装置2在步骤125中判定为有影子,在步骤145中判定为在履历B区域53内俯瞰图像的数据是规定量以上,向步骤150前进,将步骤150、155、160的处理与已经说明的同样地执行。
但是,在本事例中,由于影子的图像完全没有移动到履历C区域52,所以在将实A区域51a、履历B区域53、履历C区域52内的俯瞰图像接合的合成图像中完全没有影子。
并且,然后即使在摄影图像中(具体而言,在与实B区域51b对应的范围的摄影图像中)有影子,控制装置2然后通过将步骤105、110、115、120、125、145、150、155、160以该顺序反复执行,从而不使用实B区域51b内的最新的摄影图像而使用履历B区域53内的摄影图像,所以在将实A区域51a、履历B区域53、履历C区域52内的俯瞰图像接合的合成图像中也完全没有影子。
另外,在本实施方式中,在步骤125中,判定在之前的步骤115中制作出的实B区域51b内的俯瞰图像中是否存在影子。但是,对于该影子是自身车辆的影子还是其他物体的影子没有判定。
因而,作为临时例,在尽管自身车辆的影子不在俯瞰图像中、但其他物体的影子处于最新的实B区域51b内的俯瞰图像内的情况下,控制装置2也进行与自身车辆的影子处于最新的实B区域51b内的俯瞰图像的情况相同的动作。
即,如果在步骤125中判定为有影子、在履历B区域53中储存有规定量以上的俯瞰图像的数据,则通过代替实B区域51b而使用履历B区域53,从而进行以图2的右侧的配置组合的合成俯瞰图像的显示,匹配于车辆的移动,使该合成俯瞰图像在实A区域51a、履历B区域53、履历C区域52内移动。
即使这样,由于只是显示的俯瞰图像的一部分从实B区域51b内的最新的俯瞰图像替换为履历B区域53内的稍旧的俯瞰图像,所以也不会发生大的问题。此外,即使是将不是影子误判定为影子的情况,也同样不会发生大的问题。
如以上说明,在本实施方式中,通过执行步骤150~160,当自身车辆的影子被车载摄像机1摄影时,也能够抑制由图像显示装置3显示的合成俯瞰图像的品质的下降。
具体而言,设置履历B区域53,使用保存在实A区域51a内的俯瞰图像在履历B区域53内构成俯瞰图像,以使该履历B区域53内的俯瞰图像反映车辆的当前的周围的配置。
并且,判定在保存在包括实B区域51b的一部分或全部的规定的区域中的俯瞰图像内是否有影子,在没有影子的情况下使用保存在实B区域51b内的俯瞰图像在履历C区域52内构成俯瞰图像,在有影子的情况下使用保存在履历B区域53内的俯瞰图像在履历C区域52内构成俯瞰图像,以使履历C区域52内的俯瞰图像反映车辆的当前的周围的配置。
这样,能够根据影子的有无来选择是使用实B区域51b的俯瞰图像还是使用履历B区域53的俯瞰图像作为履历合成(这里,是指构成履历C区域52内的俯瞰图像)的原图像。
由此,在有影子的情况下,使用基于实A区域51a的俯瞰图像(没有影子的可能性较高的图像)构成的履历B区域53的俯瞰图像进行履历合成,所以能够降低在履历C区域52内自身车辆的影子扩大的可能性。
此外,在没有影子的情况下,使用实B区域51b的俯瞰图像进行履历合成,所以履历C区域52内的俯瞰图像的摄影时期变得比较新。
另外,在本实施方式中,即使是在步骤125中判定为有影子的情况,在步骤145中判定为在履历B区域53中没有规定量以上数据的情况下,在步骤150~160中也不将履历B区域53用于显示及向履历C区域52的俯瞰图像移动,而在步骤130~140中将实B区域51b用于显示及向履历C区域52的俯瞰图像移动。
这样做是因为,即使在实B区域51b的俯瞰图像中有影子,如果在履历B区域53中没有储存充分的量的俯瞰图像的阶段中将履历B区域53用于显示,则在有图像显示装置3显示的合成俯瞰图像中出现空白,进而该空白移动到履历C区域52中。
另外,在上述实施方式中,控制装置2通过执行步骤110作为取得装置的一例发挥功能,通过执行步骤115作为俯瞰变换装置的一例发挥功能,通过执行步骤120作为分割保存装置的一例发挥功能,通过执行步骤125作为影子判定装置的一例发挥功能,通过执行步骤135、155作为运动计算装置的一例发挥功能,通过执行步骤130、150作为显示控制装置的一例发挥功能,通过执行步骤130作为第1显示控制装置的一例发挥功能,通过执行步骤140作为第1履历图像构成装置的一例发挥功能,通过执行步骤150作为第2显示控制装置的一例发挥功能,通过执行步骤160作为第2履历图像构成装置的一例发挥功能,通过执行步骤145作为数据量判定装置的一例发挥功能。
(其他实施方式)
以上,对本发明的实施方式进行了说明,但本发明的范围并不仅限定于上述实施方式,包含能够实现本发明的各发明特定事项的功能的各种形态。例如,也容许以下这样的形态。
(1)在步骤145中,也可以替换为车辆是否后退移动了规定距离以上(或是否后退移动了规定时间以上)的判定。这是基于如果车辆后退了充分的距离则在履历B区域53中包含相当于充分的量的俯瞰变换的数据的考虑的动作。
(2)在上述实施方式的步骤125中,不判断是否是自身车辆的影子,只要在实B区域51b中有影子,即使它是自身车辆以外的物体的影子,也只要处于实B区域51b内就判定为有影子。
但是,也可以并不一定这样,也可以仅在实B区域51b内有影子、该影子是自身车辆的影子的情况下判定为有影子,在其以外的情况下判定为没有影子。
(3)此外,在上述实施方式中,作为判定是否有影子的范围,仅将实B区域51b全部的内部的俯瞰图像作为对象,但也可以仅将实A区域51a的全部及实B区域51b的总和的区域内的俯瞰图像作为对象。或者,也可以仅将实A区域51a的一部分及实B区域51b的一部分的总和的区域内的俯瞰图像作为对象。或者,也可以将车载摄像机1的摄影图像全体作为对象。
即,只要判定在保存在包括实B区域51b的一部分的规定的区域中的俯瞰图像中是否有影子就可以。这是因为,如果这样,则通过在至少实B区域51b的该一部分中有影子的情况下执行步骤150~160,能够减少影子被显示的量。此外,假如有在判定对象中的实B区域51b中没有影子、在其他部分中有影子的情况下也执行步骤150~160的情况,但在此情况下也只是显示的图像不为最新,所以没有大的问题。
(4)在上述各实施方式中,车载摄像机1将车辆的后方的规定范围反复摄影,但车载摄像机1也可以将车辆的前方的规定范围反复摄影。在此情况下,在上述说明书中,将车辆的前后替换。
(5)此外,在上述实施方式中,在步骤140中,基于车辆的运动量使俯瞰图像在将实A区域51a、实B区域51b及履历C区域52c接合的结合区域内移动,与此同时,使俯瞰图像在将履历B区域53及实A区域51a接合的结合区域内移动。
这样,则履历C区域52内的各位置的俯瞰图像成为其位置从车载摄像机1的摄影范围脱离之前(从实B区域51b脱离之前)的俯瞰图像。但是,也可以并不一定这样。
例如,履历C区域52内的各位置的俯瞰图像也可以为比其位置从车载摄像机1的摄影范围脱离之前更靠前的俯瞰图像。
即,在步骤140中,履历C区域52只要基于车辆的运动量使用保存在实B区域51b内的俯瞰图像构成、以使履历C区域52内的俯瞰图像反映车辆的当前的周围的配置就足够。
(6)此外,在上述实施方式中,在步骤160中,基于车辆的运动量,使俯瞰图像在将实A区域51a、履历B区域53及履历C区域52c接合的结合区域内移动。
这样,则履历C区域52内的各位置的俯瞰图像成为其位置从履历B区域53脱离之前的俯瞰图像。但是,也可以并不一定这样。
例如,履历C区域52内的各位置的俯瞰图像也可以为比其位置从履历B区域53脱离之前更靠前的俯瞰图像。
即,在步骤160中,履历C区域52只要基于车辆的运动量使用保存在实B区域53内的俯瞰图像构成、以使履历C区域52内的俯瞰图像反映车辆的当前的周围的配置就足够。
(7)此外,在上述实施方式中,在步骤140中,基于车辆的运动量,使俯瞰图像在将实A区域51a及履历B区域53接合的结合区域内移动。
此外,在步骤160中,基于车辆的运动量,使俯瞰图像在将实A区域51a、履历B区域53及履历C区域52c接合的结合区域内移动。
这样,履历B区域53内的各位置的俯瞰图像成为其位置从实A区域51a脱离之前的俯瞰图像。但是,也可以并不一定这样。例如,履历B区域53内的各位置的俯瞰图像也可以为比其位置从实A区域51a脱离之前更靠前的俯瞰图像。
即,履历B区域53内的俯瞰图像只要基于车辆的运动量使用保存在实A区域51a内的俯瞰图像构成、以使履历B区域53内的俯瞰图像反映车辆的当前的周围的配置就足够。
(8)此外,在上述实施方式中,通过设置履历B区域53,能够得到下述(a)、(b)两个效果。(a)由于使用履历B区域53显示,所以在自身车辆的移动时影子跟在自身车辆的后方的可能性被降低。(b)由于使图像从履历B区域53移动到履历C区域52,所以自身车辆的影子在履历C区域52中扩大的可能性被降低。
但是,(a)的效果不是必须的。即,在图3的处理中,在步骤150中,与步骤130同样,也可以将实A区域51a、实B区域51b及履历C区域52内的俯瞰图像的合成图像保存到输出用存储器中。
将本公开依据实施例进行了说明,但应理解的是本公开并不限定于该实施例及构造。本公开还包含各种各样的变形例及等价范围内的变形。除此以外,各种各样的组合或形态、还有在它们中仅包含一个要素、其以上或以下的其他组合或形态也包含在本公开的范畴或思想范围中。
Claims (8)
1.一种车辆周围图像显示控制装置,具备:
取得装置(110),从搭载在车辆上的车载摄像机(1)反复取得上述车辆的周围的摄影图像;
俯瞰变换装置(115),对摄影图像依次实施俯瞰变换,制作俯瞰图像;
分割保存装置(120),通过将上述俯瞰图像在上述车辆的前后方向上分割,制作距上述车辆更远的规定的A范围的A俯瞰图像、和距上述车辆更近的规定的B范围的B俯瞰图像,将A俯瞰图像保存至存储器的实A区域(51a),将B俯瞰图像保存至存储器的实B区域(51b);
影子判定装置(125),判定在保存在上述实B区域(51b)的一部分或全部中的B俯瞰图像中是否有影子;
运动计算装置(135、155),基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;
第1履历图像构成装置(140),在上述影子判定装置(125)判定为在B俯瞰图像中没有影子的情况下,基于上述车辆的上述运动量,使用保存在上述实B区域(51b)中的B俯瞰图像在履历C区域(52)内构成C俯瞰图像,以使用来保存作为上述车载摄像机(1)的摄影范围外的C范围的俯瞰图像的存储器的上述履历C区域(52)的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在履历B区域(53)内构成履历B俯瞰图像,以使用来保存与上述实B区域(51b)相同范围的俯瞰图像的存储器的上述履历B区域(53)内的履历B俯瞰图像反映上述车辆的当前的周围的配置;
第2履历图像构成装置(160),在上述影子判定装置(125)判定为在B俯瞰图像中有影子的情况下,基于上述车辆的上述运动量,使用保存在上述履历B区域(53)内的履历B俯瞰图像在履历C区域(52)内构成C俯瞰图像,以使存储器的上述履历C区域(52)内的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在上述履历B区域(53)内构成履历B俯瞰图像,以使上述履历B区域(53)内的履历B俯瞰图像反映上述车辆的当前的周围的配置;以及
显示控制装置(130、150),使图像显示装置(3)显示上述实A区域(51a)内的A俯瞰图像、上述履历C区域(52)内的C俯瞰图像、以及上述实B区域(51b)内的B俯瞰图像或上述履历B区域(53)内的履历B俯瞰图像。
2.如权利要求1所述的车辆周围图像显示控制装置,还具有:
第1显示控制装置(130),在上述影子判定装置(125)判定为在B俯瞰图像中没有影子的情况下,使上述图像显示装置(3)显示上述实A区域(51a)内的A俯瞰图像、上述实B区域(51b)内的B俯瞰图像及上述履历C区域(52)内的C俯瞰图像;以及
第2显示控制装置(150),在上述影子判定装置(125)判定为在B俯瞰图像中有影子的情况下,使上述图像显示装置(3)显示上述实A区域(51a)内的A俯瞰图像、上述履历B区域(53)内的履历B俯瞰图像及上述履历C区域(52)内的C俯瞰图像。
3.如权利要求1所述的车辆周围图像显示控制装置,
还具备:数据量判定装置(145),判定在上述履历B区域(53)中履历B俯瞰图像的数据是否有规定量以上;
在上述影子判定装置(125)判定为在B俯瞰图像中没有影子的情况下,或者在上述影子判定装置(125)判定为在B俯瞰图像中有影子、并且上述数据量判定装置(145)判定为履历B俯瞰图像的数据没有规定量以上的情况下,上述第1履历图像构成装置(140)基于上述车辆的上述运动量,使用保存在上述实B区域(51b)内的B俯瞰图像在上述履历C区域(52)内构成C俯瞰图像,以使上述履历C区域(52)内的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在上述履历B区域(53)内构成履历B俯瞰图像,以使上述履历B区域(53)内的B俯瞰图像反映上述车辆的当前的周围的配置;
在上述影子判定装置(125)判定为在B俯瞰图像中有影子、并且上述数据量判定装置(145)判定为履历B俯瞰图像的数据有规定量以上的情况下,上述第2履历图像构成装置(160)基于上述车辆的上述运动量,使用保存在上述履历B区域(53)内的履历B俯瞰图像在上述履历C区域(52)内构成C俯瞰图像,以使上述履历C区域(52)内的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在上述履历B区域(53)内构成履历B俯瞰图像,以使上述履历B区域(53)内的履历B俯瞰图像反映上述车辆的当前的周围的配置。
4.如权利要求1~3中任一项所述的车辆周围图像显示控制装置,
在上述影子判定装置(125)判定为在B俯瞰图像中没有影子的情况下,第1履历图像构成装置(140)基于上述车辆的上述运动量,将实A区域(51a)、实B区域(51b)、履历C区域(52)依次更新,以使俯瞰图像在将作为A俯瞰图像的显示范围的A范围、作为B俯瞰图像的显示范围的B范围及作为C俯瞰图像的显示范围的C范围接合而成的结合范围中移动,并且,将履历B区域(53)及上述实A区域(51a)依次更新,以使俯瞰图像在将作为履历B俯瞰图像的显示范围的B范围和作为A俯瞰图像的显示范围的A范围接合而成的结合范围中移动;
在上述影子判定装置(125)判定为在B俯瞰图像中有影子的情况下,第2履历图像构成装置(160)基于上述车辆的上述运动量,将实A区域(51a)、履历B区域(53)、履历C区域(52)依次更新,以使俯瞰图像在将作为A俯瞰图像的显示范围的A范围、作为履历B俯瞰图像的显示范围的B范围及作为C俯瞰图像的显示范围的C范围接合而成的结合范围中移动。
5.一种车辆周围图像显示方法,具备:
从搭载在车辆上的车载摄像机(1)反复取得上述车辆的周围的摄影图像;
对摄影图像依次实施俯瞰变换,制作俯瞰图像;
通过将上述俯瞰图像在上述车辆的前后方向上分割,制作距上述车辆更远的规定的A范围的A俯瞰图像、和距上述车辆更近的规定的B范围的B俯瞰图像,将A俯瞰图像保存至存储器的实A区域(51a),将B俯瞰图像保存至存储器的实B区域(51b);
判定在保存在上述实B区域(51b)的一部分或全部中的俯瞰图像中是否有影子;
基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;
在B俯瞰图像中没有影子的情况下,基于上述车辆的上述运动量,使用保存在上述实B区域(51b)中的B俯瞰图像在履历C区域(52)内构成C俯瞰图像,以使用来保存作为上述车载摄像机(1)的摄影范围外的C范围的俯瞰图像的存储器的上述履历C区域(52)的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在履历B区域(53)内构成履历B俯瞰图像,以使用来保存与上述实B区域(51b)相同范围的俯瞰图像的存储器的上述履历B区域(53)内的履历B俯瞰图像反映上述车辆的当前的周围的配置;
在B俯瞰图像中有影子的情况下,基于上述车辆的上述运动量,使用保存在上述履历B区域(53)内的履历B俯瞰图像在履历C区域(52)内构成C俯瞰图像,以使存储器的上述履历C区域(52)内的C俯瞰图像反映上述车辆的当前的周围的配置,并且,基于上述车辆的上述运动量,使用保存在上述实A区域(51a)内的A俯瞰图像在上述履历B区域(53)内构成履历B俯瞰图像,以使上述履历B区域(53)内的履历B俯瞰图像反映上述车辆的当前的周围的配置;
使图像显示装置(3)显示上述实A区域(51a)内的A俯瞰图像、上述履历C区域(52)内的C俯瞰图像、以及上述实B区域(51b)内的B俯瞰图像或上述履历B区域(53)内的履历B俯瞰图像。
6.一种图像处理方法,从搭载在车辆上的车载摄像机(1)连续地取得上述车辆的周围的图像,将该图像进行顶视变换,并向搭载在上述车辆上的图像显示装置(3)显示,
将上述顶视变换后的图像2分割;
判定在分割后的上述图像中的、距上述车辆较近的近距离图像中是否包含上述车辆的影子;
在上述近距离图像中包含有上述车辆的影子的情况下,用在规定时间前摄影的距上述车辆较远的远距离图像的履历图像将当前的上述近距离图像替换。
7.一种车辆周围图像显示控制装置,从搭载在车辆上的车载摄像机(1)取得上述车辆的周围的图像,将该图像进行顶视变换而保存到存储器中,并向图像显示装置(3)显示,该车辆周围图像显示控制装置具备:
取得装置(110),反复取得上述车辆的周围的摄影图像;
顶视变换装置(115),将摄影图像依次进行顶视变换,制作一系列的顶视图像群;
分割保存装置(120),在将制作出的一系列的顶视图像群中的最新的顶视图像向上述存储器保存时,通过将上述顶视图像在上述车辆的前后方向上分割,将距上述车辆更远的远距离顶视图像保存至实A区域(51a),将距上述车辆更近的近距离顶视图像保存至实B区域(51b);
影子判定装置(125),判定在保存在上述实B区域(51b)中的最新的上述近距离顶视图像中是否拍摄有上述车辆的影子;
运动计算机构(135、155),基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;
第1履历图像构成装置(140),在上述存储器内设定履历C区域(52)和履历B区域(53),该履历C区域(52)保存处于上述车载摄像机(1)的摄影范围外且与上述车辆的周围配置对应的履历图像,该履历B区域(53)保存与上述实B区域(51b)相同范围的近距离顶视图像,在由上述影子判定机构(125)判定为没有影子的情况下,基于上述车辆的上述运动量,用保存在上述实B区域(51b)内的上述近距离顶视图像将上述履历C区域(52)盖写,并且,用保存在上述实A区域(51a)内的上述远距离顶视图像将上述履历B区域(53)盖写;
第2履历图像构成装置(160),在由上述影子判定机构(125)判定为有影子的情况下,基于上述车辆的上述运动量,用保存在上述履历B区域(53)内的上述近距离顶视图像将上述履历C区域(52)盖写,并且,用保存在上述实A区域内的上述远距离顶视图像将上述履历B区域(53)盖写;
显示控制机构(130、150),使上述图像显示装置(3)显示上述实A区域(51a)内的上述远距离顶视图像、上述履历C区域(52)内的上述履历图像、以及上述实B区域(51b)内或上述履历B区域(53)内的上述近距离顶视图像。
8.一种车辆周围图像显示控制装置,具备:
取得装置(110),从搭载在车辆中的车载摄像机(1)反复取得上述车辆的周围的摄影图像;
俯瞰变换装置(115),对摄影图像依次实施俯瞰变换,制作俯瞰图像;
运动计算装置(135、155),基于从上述车辆输入的车辆举动信息,计算上述车辆的运动量;
存储器,具有存储上述车辆的周围的规定的B范围的B俯瞰图像的实B区域、存储比上述B范围更远离上述车辆的规定的A范围的A俯瞰图像的实A区域、基于上述运动计算装置(135、155)计算出的上述车辆的运动量使上述实A区域存储的上述A俯瞰图像移动与上述车辆的相对位置而作为履历B俯瞰图像存储的履历B区域、和基于上述运动计算装置(135、155)计算出的上述车辆的运动量使上述履历B区域存储的上述履历B俯瞰图像或上述实B区域存储的上述B俯瞰图像移动与上述车辆的相对位置而作为C俯瞰图像存储的履历C区域;
分割保存装置(120),通过将上述俯瞰图像在上述车辆的前后方向上分割,制作上述A俯瞰图像和上述B俯瞰图像,将上述A俯瞰图像保存至上述实A区域(51a),将上述B俯瞰图像保存至上述实B区域(51b);
影子判定装置(125),判定在保存在上述实B区域(51b)的一部分或全部中的B俯瞰图像中是否有影子;
第1履历图像构成装置(140),在上述影子判定装置(125)判定为在B俯瞰图像中没有影子的情况下,使用保存在上述实B区域(51b)中的B俯瞰图像在上述履历C区域(52)内构成上述C俯瞰图像;
第2履历图像构成装置(160),在上述影子判定装置(125)判定为在B俯瞰图像中有影子的情况下,使用保存在上述履历B区域(53)内的履历B俯瞰图像在上述履历C区域(52)内构成上述C俯瞰图像;
显示控制装置(130、150),使图像显示装置(3)显示上述实A区域(51a)内的上述A俯瞰图像、上述履历C区域(52)内的上述C俯瞰图像、以及上述实B区域(51b)内的上述B俯瞰图像或上述履历B区域(53)内的上述履历B俯瞰图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-117762 | 2012-05-23 | ||
JP2012117762A JP6003226B2 (ja) | 2012-05-23 | 2012-05-23 | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
PCT/JP2013/001489 WO2013175684A1 (ja) | 2012-05-23 | 2013-03-08 | 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104335241A CN104335241A (zh) | 2015-02-04 |
CN104335241B true CN104335241B (zh) | 2017-04-12 |
Family
ID=49623400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380026870.XA Expired - Fee Related CN104335241B (zh) | 2012-05-23 | 2013-03-08 | 车辆周围图像显示控制装置、显示方法及图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150070394A1 (zh) |
EP (1) | EP2854098B1 (zh) |
JP (1) | JP6003226B2 (zh) |
CN (1) | CN104335241B (zh) |
WO (1) | WO2013175684A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5994437B2 (ja) * | 2012-07-04 | 2016-09-21 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
JP6327115B2 (ja) * | 2014-11-04 | 2018-05-23 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
KR102426631B1 (ko) * | 2015-03-16 | 2022-07-28 | 현대두산인프라코어 주식회사 | 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 |
JP6464846B2 (ja) | 2015-03-17 | 2019-02-06 | 株式会社デンソー | 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム |
JP6464952B2 (ja) | 2015-08-04 | 2019-02-06 | 株式会社デンソー | 表示制御装置、表示制御プログラム及び表示制御方法 |
JP6910629B2 (ja) * | 2015-08-12 | 2021-07-28 | 有限会社ヴェルク・ジャパン | 歴史画像と現在画像の合成及び音声ガイドの表現方法。 |
JP6519409B2 (ja) * | 2015-08-27 | 2019-05-29 | 株式会社デンソー | 車両周辺画像表示制御装置及び車両周辺画像表示制御プログラム |
JP6493143B2 (ja) * | 2015-10-15 | 2019-04-03 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
JP6477444B2 (ja) | 2015-11-25 | 2019-03-06 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
JP2017117315A (ja) * | 2015-12-25 | 2017-06-29 | 株式会社デンソー | 表示制御装置 |
JP6565693B2 (ja) * | 2016-01-12 | 2019-08-28 | 株式会社デンソー | 車載カメラのレンズ異常検出装置 |
CN105774657B (zh) * | 2016-04-14 | 2020-03-17 | 广州市晶华精密光学股份有限公司 | 一种单摄像头全景倒车影像系统 |
CN105763854B (zh) * | 2016-04-18 | 2019-01-08 | 扬州航盛科技有限公司 | 一种基于单目摄像头的全景成像系统及其成像方法 |
JP6572862B2 (ja) * | 2016-10-14 | 2019-09-11 | 株式会社デンソー | 表示制御装置 |
US10325163B2 (en) * | 2016-11-22 | 2019-06-18 | Ford Global Technologies, Llc | Vehicle vision |
JP6720931B2 (ja) * | 2017-07-14 | 2020-07-08 | 株式会社デンソー | 車両周囲認識装置 |
US10579067B2 (en) * | 2017-07-20 | 2020-03-03 | Huawei Technologies Co., Ltd. | Method and system for vehicle localization |
KR102051211B1 (ko) * | 2018-03-29 | 2019-12-02 | 주식회사평화발레오 | 펄크럼 링 센터링 기능을 구비한 클러치 어셈블리 |
GB2573792B (en) * | 2018-05-17 | 2022-11-09 | Denso Corp | Surround monitoring system for vehicles |
DE102021212154A1 (de) | 2021-10-27 | 2023-04-27 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Generieren einer Darstellung eines verdeckten Bereiches einer Umgebung einer mobilen Plattform |
DE102022206328B3 (de) | 2022-04-19 | 2023-02-09 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein Kamerasystem sowie Kamerasystem |
WO2023202844A1 (de) | 2022-04-19 | 2023-10-26 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein kamerasystem sowie kamerasystem |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
CN101595368A (zh) * | 2007-01-29 | 2009-12-02 | 株式会社东芝 | 汽车导航装置 |
CN101978694A (zh) * | 2008-03-19 | 2011-02-16 | 三洋电机株式会社 | 图像处理装置和方法、驾驶支持系统、车辆 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300337B2 (ja) * | 2000-04-28 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
EP1150252B1 (en) * | 2000-04-28 | 2018-08-15 | Panasonic Intellectual Property Management Co., Ltd. | Synthesis of image from a plurality of camera views |
JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
JP4321543B2 (ja) * | 2006-04-12 | 2009-08-26 | トヨタ自動車株式会社 | 車両周辺監視装置 |
JP2007300559A (ja) * | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | 車両周辺画像提供装置及び車両周辺画像における影補正方法 |
JP4770755B2 (ja) * | 2007-02-26 | 2011-09-14 | 株式会社デンソー | 道路標示認識装置 |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
WO2009057410A1 (ja) * | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP2010237976A (ja) | 2009-03-31 | 2010-10-21 | Kyushu Institute Of Technology | 光源情報取得装置、陰影検出装置、陰影除去装置、それらの方法、及びプログラム |
JP5872764B2 (ja) * | 2010-12-06 | 2016-03-01 | 富士通テン株式会社 | 画像表示システム |
-
2012
- 2012-05-23 JP JP2012117762A patent/JP6003226B2/ja active Active
-
2013
- 2013-03-08 WO PCT/JP2013/001489 patent/WO2013175684A1/ja active Application Filing
- 2013-03-08 EP EP13793824.7A patent/EP2854098B1/en not_active Not-in-force
- 2013-03-08 CN CN201380026870.XA patent/CN104335241B/zh not_active Expired - Fee Related
- 2013-03-08 US US14/395,514 patent/US20150070394A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
CN101595368A (zh) * | 2007-01-29 | 2009-12-02 | 株式会社东芝 | 汽车导航装置 |
CN101978694A (zh) * | 2008-03-19 | 2011-02-16 | 三洋电机株式会社 | 图像处理装置和方法、驾驶支持系统、车辆 |
Also Published As
Publication number | Publication date |
---|---|
US20150070394A1 (en) | 2015-03-12 |
JP6003226B2 (ja) | 2016-10-05 |
EP2854098B1 (en) | 2018-09-19 |
WO2013175684A1 (ja) | 2013-11-28 |
EP2854098A1 (en) | 2015-04-01 |
CN104335241A (zh) | 2015-02-04 |
JP2013246493A (ja) | 2013-12-09 |
EP2854098A4 (en) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104335241B (zh) | 车辆周围图像显示控制装置、显示方法及图像处理方法 | |
CN107845128B (zh) | 一种多尺度细节融合的多曝光高动态图像重建方法 | |
JP7158404B2 (ja) | 後期再投影パワーを最適化するためのレイヤサブ領域に対する再投影処理の選択的適用 | |
US20080129539A1 (en) | Vehicle surrounding monitoring system and vehicle surrounding monitoring method | |
CN111667399A (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
CN106027851A (zh) | 基于图像梯度的图像滤波 | |
CN105282421B (zh) | 一种去雾图像获取方法、装置及终端 | |
CN106257540A (zh) | 提供虚拟光的方法及其处理系统 | |
CN108257161A (zh) | 基于多相机的车辆环境三维重构和运动估计系统及方法 | |
CN103544681B (zh) | 非均一运动模糊图像的恢复方法 | |
DE112018000858T5 (de) | Vorrichtung und Verfahren zur Anzeige von Informationen | |
WO2019092445A1 (en) | Image replacement system | |
CN110728639A (zh) | 图片修复方法及系统 | |
CN108463998A (zh) | 驾驶辅助装置以及驾驶辅助方法 | |
CN114041175A (zh) | 一种用于使用真实感合成数据估计头部姿势和视线的神经网络 | |
CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
JP2010113424A (ja) | 画像合成装置及び画像合成方法 | |
CN106063258B (zh) | 车辆周边图像显示装置、车辆周边图像显示方法 | |
CN106774910A (zh) | 基于虚拟现实的街景实现方法和装置 | |
CN113129240A (zh) | 一种工业包装字符的去运动模糊方法 | |
CN110930343A (zh) | 基于sr-mdcnn的遥感图像融合方法 | |
CN116805388A (zh) | 一种基于多尺度策略的图像融合方法 | |
CN108025674A (zh) | 用于示出车辆的车辆环境的方法和设备 | |
CN116485652A (zh) | 遥感影像车辆目标检测的超分辨率重建方法 | |
CN107113402B (zh) | 图像处理系统以及图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170412 |