CN105282499A - 周边监视装置及程序 - Google Patents

周边监视装置及程序 Download PDF

Info

Publication number
CN105282499A
CN105282499A CN201510408282.3A CN201510408282A CN105282499A CN 105282499 A CN105282499 A CN 105282499A CN 201510408282 A CN201510408282 A CN 201510408282A CN 105282499 A CN105282499 A CN 105282499A
Authority
CN
China
Prior art keywords
image
past
vehicle
image data
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510408282.3A
Other languages
English (en)
Other versions
CN105282499B (zh
Inventor
渡边一矢
丸冈哲也
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105282499A publication Critical patent/CN105282499A/zh
Application granted granted Critical
Publication of CN105282499B publication Critical patent/CN105282499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

提供周边监视装置及程序，改善通过设置于车辆的摄像头拍摄得到的拍摄图像数据的显示方法，以利用者易识别的显示方式提供拍摄图像数据。周边监视装置具有环形缓冲区(存储部)，存储从拍摄包括车辆的行进方向的路面及从该路面起上方的区域的区域的拍摄部输出的拍摄图像数据；显示装置(显示部)，选择性地显示基于存储的拍摄图像数据中与当前车辆的底盘下区域对应的拍摄图像数据的过去图像与基于由拍摄部拍摄并输出的新的拍摄图像数据的当前图像中的任一者；及显示处理部(控制部)，在显示部显示当前图像的过程中许可显示过去图像的许可条件成立时切换至过去图像，在显示过去图像的过程中恢复至当前图像的恢复条件成立时切换至当前图像。

Description

周边监视装置及程序
技术领域
本发明的实施方式涉及周边监视装置及程序。
背景技术
以往，作为支援车辆停车的技术，提出有通过设置于车辆的摄像头来拍摄车辆的周边环境，并显示拍摄结果即拍摄图像数据，从而对驾驶员进行驾驶支援的技术。
专利文献1：日本特许第4815993号说明书
专利文献2：日本特许第5133340号说明书
但是，如现有技术所示，在对通过设置于车辆的摄像头而拍摄到的拍摄图像数据进行显示的情况下，有时会酌情切换显示图像，但期望是所显示的显示画面不会给利用者带来不协调感的显示方式。
发明内容
例如，本发明的实施方式的周边监视装置具有存储部，存储从拍摄部输出的拍摄图像数据，所述拍摄部拍摄包括车辆的行进方向的路面以及从该路面起上方的区域在内的区域；显示部，选择性地显示过去图像与当前图像中的任一者，所述过去图像基于所述存储部存储的拍摄图像数据中的与当前车辆的底盘下区域对应的拍摄图像数据，所述当前图像基于由所述拍摄部拍摄并输出的新的拍摄图像数据；以及控制部，在所述显示部显示所述当前图像的过程中，用于许可显示所述过去图像的许可条件成立的情况下，所述控制部将所述当前图像切换至所述过去图像，在所述显示部显示所述过去图像的显示过程中，用于使所述过去图像恢复至所述当前图像的恢复条件成立的情况下，所述控制部将所述过去图像切换至所述当前图像。由此，在显示包括底盘下区域的过去图像的情况下，以即使显示过去图像对驾驶的影响也小的方式，在许可条件成立的情况下，将正在显示的当前图像切换成过去图像。同样的，在显示过去图像的过程中恢复条件成立的情况下，切换至当前图像。即，即使将显示画面从当前图像切换至过去图像或者从过去图像切换至当前图像，因为显示了通过许可条件或恢复条件确定的图像，即适合当前条件的画面，所以能够起到避免当前正在显示的画面给利用者带来不协调感的效果。
此外，例如，在上述周边监视装置中，所述控制部在所述恢复条件成立的情况下，无论利用者是否进行操作要求显示所述过去图像，都切换至所述当前图像。因此，例如，控制部在判断出应该恢复至当前图像的情况下，迅速地切换至当前图像，起到能够对利用者提示当前车辆周围的状况的效果。
此外，例如，在上述周边监视装置中，所述控制部在所述过去图像的显示过程中车辆速度超过规定速度的情况下视为所述恢复条件成立，切换至所述当前图像。因此，例如，在由于车辆开始行驶从而需要注意当前车辆周围的状况变化的情况下，迅速地切换至当前图像，能够起到迅速地对利用者提示当前车辆周围的状况的效果。
此外，例如，在上述周边监视装置中，所述控制部在显示所述过去图像的情况下，基于从所述拍摄部输出的新的所述拍摄图像数据以及所述存储部存储的所述拍摄图像数据来推测当前车辆位置，将示出该车辆位置的图像与所述过去图像重叠显示；另一方面，在所述车辆位置的推测精度为规定值以下的情况下视为所述恢复条件成立，切换至所述当前图像。因此，例如，通过将推测出的当前车辆位置重叠于过去图像，把握利用者的视野之外的底盘下的状况变得容易，并且把握该底盘下及当前车辆的位置变得容易。相反的，在当前车辆位置的推测精度降低的情况下，有把握底盘下与当前车辆的位置变得困难、会给利用者带来不协调感的担心。因此，在推测精度降低的情况下，通过迅速切换至当前图像，能够起到抑制给利用者带来不协调感，并且迅速地对利用者提示当前车辆周围的状况的效果。
此外，例如，在上述周边监视装置中，所述控制部使用第一显示方式显示所述当前图像，使用与第一显示方式不同的第二显示方式显示所述过去图像。因此，例如，起到识别正在显示的图像是当前图像还是过去图像变得容易的效果。
此外，例如，在上述周边监视装置中，无论所述当前图像与所述过去图像的切换控制如何，所述显示部都将当前侧方图像与所述当前图像或所述过去图像一起显示，所述当前侧方图像基于从分别拍摄车辆的车宽方向左右的侧方区域的侧方拍摄部输出的侧方拍摄图像数据。因此，例如，通过显示当前侧方图像，即使在当前图像或过去图像的显示过程中时也能够向利用者提供车辆侧方的实时的状况变化。其结果是，起到能够迅速地向利用者提供车辆侧方的状况(物体的存在或接近)的效果。
此外，例如，在上述周边监视装置中，所述控制部显示视点及视角大致相同的图像作为所述当前图像与所述过去图像。因此，例如，因为能够将作为当前图像拍摄的拍摄图像数据直接用作过去图像，所以起到能够简易地进行图像显示处理的效果。此外，当前图像的内容与过去图像的内容的关联变得容易，起到能够有助于利用者提高对当前图像与过去图像的把握的效果。
附图说明
图1是示出搭载实施方式的周边监视装置的车辆的车室的一部分在透视状态下的一个例子的立体图。
图2是示出搭载实施方式的周边监视装置的车辆的一个例子的俯视图(俯瞰图)。
图3是示出包括实施方式的周边监视装置的周边监视系统的一个例子的框图。
图4是示出在实施方式的周边监视装置的周边监视ECU(electroniccontrolunit：电子控制单元))内实现的周边监视部的结构的框图。
图5是示出搭载实施方式的周边监视装置的车辆的拍摄部的拍摄区域的图。
图6是示出实施方式的周边监视装置的光流计算部计算出的光流的概念的图。
图7是示出实施方式的周边监视装置的环形缓冲区的结构的图。
图8是示出实施方式的周边监视装置的显示处理部显示处理的包括当前图像的画面例的图。
图9是示出实施方式的周边监视装置的显示处理部显示处理的包括过去图像(底盘下图像)的画面例的图。
图10是说明实施方式的周边监视装置的图像选择部选择的拍摄图像数据的图。
图11是示出实施方式的周边监视装置的周边监视部中的拍摄图像数据的保存处理顺序的流程图。
图12是示出实施方式的周边监视装置的周边监视部中的显示处理顺序的流程图。
图13是示出实施方式的周边监视装置的周边监视部中的过去图像的显示处理顺序的流程图。
图14是示出表示在实施方式的周边监视装置中从当前图像切换至过去图像时显示的消息的一个例子的画面例的图。
图15是示出表示在实施方式的周边监视装置中从过去图像切换至当前图像时显示的消息的一个例子的画面例的图。
图16是示出表示在实施方式的周边监视装置中无法从当前图像切换至过去图像时显示的消息的一个例子的画面例的图。
图17是示出由实施方式的周边监视装置的显示处理部显示处理的包括当前画面的画面变形例的图。
图18是示出由实施方式的周边监视装置的显示处理部显示处理的包括过去图像(底盘下图像)的画面的变形例的图。
其中，附图标记说明如下：
1车辆
16拍摄部
100周边监视系统
400周边监视部
401获取部
402角度计算部
403保存处理部
404环形缓冲区
405接收部
406显示处理部
411旋转控制部
412俯视图像生成部
413光流计算部
414位置推测部
415保存部
421图像选择部
422输出部
801当前图像
802、803当前侧方图像
804显示区域
805图标
808过去图像
具体实施方式
在后述的实施方式中，例如，车辆1既可以是将内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(马达，未图示)作为驱动源的汽车(电动汽车、燃料电池汽车)。此外，也可以是将内燃机与电动机双方作为驱动源的汽车(混合动力汽车)。此外，车辆1既能够搭载各种变速装置，又能够搭载驱动内燃机或电动机所需要的各种装置(系统、零件等)。此外，能够对车辆1中涉及车轮3的驱动的装置的方式或数量、布局等进行各种设定。
如图1所示，实施方式的车体2构成了乘坐者(未图示)乘坐的车室2a。在车室2a内，在面临作为乘坐者的驾驶员的座位2b的状态下设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。例如，在本实施方式中，转向部4是从仪表盘(仪表面板)突出的方向盘，加速操作部5是位于驾驶员脚下的加速踏板。此外，制动操作部6是位于驾驶员脚下的制动踏板，变速操作部7是从中央控制台突出的变速杆。但是，并不限定于上述这些。
此外，车室2a内设置有显示装置8(显示输出部)、声音输出装置9(声音输出部)。例如，显示装置8是LCD(liquidcrystaldisplay：液晶显示器)、OELD(organicelectroluminescentdisplay：有机电致发光显示器)等。声音输出装置9例如是扬声器。此外，例如在本实施方式中，显示装置8被透明的操作输入部10(例如，触摸面板等)覆盖。乘坐者等能够通过操作输入部10来视觉识别在显示装置8的显示画面上显示的影像(图像)。此外，乘坐者等通过在与显示于显示装置8的显示画面的影像(图像)对应的位置上使用手指等触摸、按压或移动操作输入部10来进行操作，能够执行操作输入(指示输入)。此外，例如，在本实施方式中，显示装置8、声音输出装置9、操作输入部10等设置于监视器装置11，所述监视器装置11位于仪表盘的车宽方向(左右方向)的中央部。监控装置11能够具有开关、刻度盘、操纵杆、按钮等操作输入部(未图示)。此外，能够将声音输出装置(未图示)设置在与监视器装置11不同的车室2a内的其他位置，能够从监视器装置11的声音输出装置9与其他的声音输出装置输出声音。此外，例如，在本实施方式中虽然将监视器装置11兼用作导航系统、音频系统，但是也可以将周边监视装置用的监视器装置与这些系统分开设置。
此外，如图1、图2所示，例如，在本实施方式中车辆1是四轮车(四轮汽车)，具有左右两个前轮3F与左右两个后轮3R。而且，例如，前轮3F的轮胎角响应于转向部4(方向盘)的操作而进行变化(变向)。例如，转向系统12(参照图3)是电动动力转向系统或SBW(steerbywire：线控转向)系统等。如图3所示，转向系统12通过致动器12a向转向部4附加扭矩(辅助扭矩)补充转向力，使前轮3F转向。
此外，例如，在本实施方式中，如图2所示，在车辆1(车体2)设置有多个(例如，本实施方式中是四个)拍摄部16(16a至16d)。例如，拍摄部16是内置有CCD(chargecoupleddevice：电荷耦合器件)或CIS(CMOSimagesensor：互补金属氧化物半导体图像传感器)等的成像元件的数字摄像头。拍摄部16能够以规定的帧频输出拍摄图像数据(动画数据、帧数据)。拍摄部16分别具有广角镜头，例如能够在水平方向上拍摄(摄像)140°至220°的范围(视场角)。此外，将拍摄部16的光轴设定为朝向下方(例如，垂直方向或斜下方)。因此，拍摄部16能够拍摄车体2周边的外部环境，所述车体2周边的外部环境包括车辆1能够移动的路面以及从该路面起上方的区域。
例如，在本实施方式中，作为第一拍摄部发挥作用的拍摄部16a位于车体2的前侧(车辆前后方向的前方侧)的端部2c(俯视时的端部)，设置于前格栅等。作为第二拍摄部发挥作用的拍摄部16b位于车体2的左侧(车宽方向的左侧)的端部2d，设置在左侧的后视镜2g(突出部)。此外，作为第一拍摄部发挥作用的拍摄部16c位于车体2的后侧(车辆前后方向的后方侧)的端部2e，设置在后行李箱的门2h的下方的壁部。作为第二拍摄部发挥作用的拍摄部16d位于车体2的右侧(车宽方向的右侧)的端部2f，设置在右侧的后视镜2g(突出部)。并且，本实施方式不限制摄像头的车载方法，只要以能够获取前方的拍摄图像数据、左右侧方的拍摄图像数据以及后方的拍摄图像数据的方式进行设置即可。
周边监视ECU14(参照图3)基于在多个拍摄部16取得的拍摄图像数据执行计算处理或图像处理，能够在显示装置8显示已执行了该图像处理的拍摄图像数据。并且，在后面叙述，例如将对车辆前方进行拍摄(摄像)的拍摄部16a拍摄的拍摄图像数据，直接作为表示当前车辆周围的状况的当前图像来利用。而且，通过预先存储该拍摄图像数据，从而将用于当前图像的拍摄图像数据直接作为表示过去的车辆周围的状况的拍摄图像数据来利用，显示过去图像。在后面叙述，例如，过去图像是表示当前车辆的位置上的底盘下区域的图像。
此外，例如，在本实施方式中，如图3所示，在周边监视系统(周边监视装置)100中，除了周边监视ECU14(electroniccontrolunit：电子控制单元)、监视器装置11等之外、制动系统18、转向角传感器19(角度传感器)、加速传感器20、位移传感器21、车轮速传感器22、加速度传感器26等，通过车内网络23(电气通信线路)电连接。例如，车内网络23以作为CAN(controllerareanetwork：控制器局域网络)的方式构成。周边监视ECU14通过车内网络23发送控制信号，能够控制制动系统18等。此外，周边监视ECU14通过车内网络23，能够接收扭矩传感器12b、制动传感器18b、转向角传感器19、加速传感器20、位移传感器21、车轮速传感器22、加速度传感器26等的检测结果。此外，周边监视ECU14能够接收操作输入部10等的指示信号(控制信号、操作信号、输入信号、数据)。
在本实施方式中，在车辆1设置有两个加速度传感器26(26a、26b)。并且，本实施方式将车辆1确定为搭载ESC(electronicstabilitycontrol：电子稳定控制系统)的车辆。而且，使用搭载ESC(electronicstabilitycontrol)的车辆通常搭载的加速度传感器26(26a、26b)。并且，本实施方式并不限制加速度传感器，只要是能够检测出车辆1的左右方向的加速度的传感器即可。在本实施方式中，导出前后方向的加速度以及左右方向的加速度。
例如，周边监视ECU14具有CPU14a(centralprocessingunit：中央处理单元)、ROM14b(readonlymemory：只读型存储器)、RAM14c(randomaccessmemory：随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(solidstatedrive：固态驱动器、闪存)等。例如，CPU14a执行与在显示装置8显示的图像关联的图像处理、车辆1的移动路径的计算、判断是否有与物体的干涉等的各种计算处理。CPU14a读出在ROM14b等的非易失性的存储装置存储的(安装的)程序，按照该程序执行计算处理。
RAM14c暂时地存储在CPU14a的计算中使用的各种数据。此外，显示控制部14d在周边监视ECU14的计算处理当中，主要执行使用在拍摄部16取得的拍摄图像数据的图像处理、或在显示装置8显示的拍摄图像数据的图像处理(例如合成等)等。此外，声音控制部14e在周边监视ECU14的计算处理当中，主要执行在声音输出装置9输出的声音数据的处理。此外，SSD14f是能够擦写的非易失性的存储部，即使在断开了周边监视ECU14的电源的情况下也能够存储数据。并且，CPU14a、ROM14b、RAM14c等能够集成在同一封装体内。此外，周边监视ECU14也可以是替代CPU14a而使用DSP(digitalsignalprocessor：数字信号处理器)等的其他逻辑运算处理器或逻辑电路的结构。此外，也可以代替SSD14f而设置HDD(harddiskdrive：硬盘驱动器)，也可以将SSD14f或HDD与周边监视ECU14分开设置。
图4是示出在本实施方式的周边监视ECU14内实现的周边监视部400的结构的框图。作为图3的周边监视ECU14而构成的CPU14a通过执行在ROM14b(计算机能够读取的存储介质)内存储的软件，来实现如图4所示的获取部401、角度计算部402、保存处理部403、接收部405、显示处理部406。并且，也可以通过计算机能够读取的其他的存储介质来提供软件(程序)。此外，周边监视部400在RAM14c上实现环形缓冲区404。
图5是示出本实施方式的车辆1的拍摄部16a的拍摄区域的图。如图5所示，拍摄部16a拍摄车辆1的行进方向的路面与从该路面起上方(重力方向的相反方向)的区域，即至少包括地平线的区域。但是，车辆1的前轮3F附近的路面501未包括在拍摄部16a当前拍摄的拍摄区域502内。此外，由于车辆1的保险杠的配置等的影响(车辆1的结构上)，很难将前轮3F附近的底盘下区域也包括在拍摄区域内。
因此，驾驶员(利用者)即使视觉识别了当前拍摄的拍摄图像数据，还是很难确认车辆1的前轮3F附近是否存在障碍物。因此，在本实施方式中，根据驾驶员的要求，作为控制部发挥作用的周边监视部400能够显示拍摄部16a过去拍摄的拍摄图像数据。换言之，过去拍摄的拍摄图像数据，是指在与车辆1的当前位置相比后方的位置拍摄的拍摄图像数据，例如在图5的例子中能够确定为与车辆1的当前位置的底盘下区域对应的拍摄图像数据。
例如，可以考虑周边监视部400将拍摄拍摄区域503得到的拍摄图像数据作为拍摄部16a在车辆1的后方的位置(到达当前车辆1的位置之前的位置)拍摄的拍摄图像数据提示给驾驶员。因为拍摄区域503包括路面501，所以驾驶员能够确认前轮3F附近的路面501。由此，因为驾驶员能够在确认了路面501的状况的情况下驾驶，所以能够减轻驾驶的负担。接着，回到图4，说明周边监视部400的结构。
获取部401从车辆1具有的各种传感器等获取各种各样的信息。本实施方式的获取部401获取拍摄图像数据，所述拍摄图像数据从设置在车辆1的拍摄该车辆1的周边的拍摄部16a至16d输出；以及加速度数据，所述加速度数据从设置在该车辆1的加速度传感器26a、26b输出。获取部401将获取的信息输出至角度计算部402及保存处理部403。
此外，获取部401将拍摄的时刻与检测出加速度的时刻大致一致的拍摄图像数据与加速度数据关联起来。
角度计算部402基于加速度传感器26a、26b获取的加速度数据，计算出车辆1的倾斜角(俯仰角及侧倾角)。并且，俯仰角是指表示绕车辆1的左右轴旋转的倾斜度的角度，侧倾角是表示绕车辆1的前后轴旋转的倾斜度的角度。
此外，角度计算部402将从加速度数据计算出的俯仰角及侧倾角，与和该加速度数据关联的拍摄图像数据关联起来。由此，能够识别拍摄拍摄图像数据时的车辆1的俯仰角及侧倾角。
保存处理部403具有旋转控制部411、俯视图像生成部412、光流计算部413、位置推测部414与保存部415，生成用于在显示装置8显示的辅助图像数据，将所述辅助图像数据与拍摄部16拍摄(摄像)获得的拍摄图像数据一起保存。
旋转控制部411对由拍摄部16a拍摄的呈现出车辆1的前方(行进方向)周边的拍摄图像数据，进行旋转修正。
本实施方式的旋转控制部411将与拍摄部16a用于拍摄的镜头的中心对应的拍摄图像数据的显示区域内的位置坐标作为原点，根据与该拍摄图像数据关联的侧倾角进行旋转修正。并且，旋转修正的对象并不限于通过拍摄部16a拍摄的拍摄图像数据，例如，也可以是通过拍摄部16c拍摄的呈现出车辆1的后方周边的拍摄图像数据。
俯视图像生成部412基于旋转控制后的拍摄图像数据，生成俯视图像数据，所述俯视图像数据是从上方俯视车辆1的行进方向的地面以及该车辆1周边的地面的图像数据。并且，对于从拍摄图像数据生成俯视图像数据的方法，使用任意的方法都可以，例如也可以使用映射表来变换。
每次获取到拍摄图像数据就生成俯视图像数据。换言之，俯视图像生成部412在基于通过旋转控制部411旋转控制的第一拍摄图像数据生成第一俯视图像数据后，基于对该第一拍摄图像数据进行拍摄(摄像)以后车辆1移动后通过拍摄部16拍摄并且通过旋转控制部411旋转控制而得到的第二拍摄图像数据，生成第二俯视图像数据。
光流计算部413基于通过俯视图像生成部412计算出的俯视图像数据来计算出光流。光流是将在俯视图像数据中出现的物体的运动用矢量来表示的信息。通过计算出光流，能够推测车辆1的移动量。
本实施方式的光流计算部413通过比较由俯视图像生成部412生成的俯视图像数据与前一次更新时使用的俯视图像数据，计算出光流。
但是，若使用俯视图像数据整体进行比较则处理负担变大。因此，本实施方式的光流计算部413被设定为在通过俯视图像生成部412生成的俯视图像数据内的预定的区域进行比较。
具体来说，本实施方式的光流计算部413分别从前一次更新时使用的第一俯视图像及在第一俯视图像数据之后生成的第二俯视图像数据中剪切出预定的区域，计算出光流。此外，也可以仅使用预定的区域创建俯视图。
图6是示出通过光流计算部413计算出的光流的概念的图。将图6(A)作为从前一次更新时使用的第一俯视图像数据中在预定范围内剪切出的图像数据，将图6(B)作为本次从通过俯视图像生出部412生成的第二俯视图像数据中在预定的范围内剪切出的图像数据。
而且，光流计算部413计算出在图6(A)表示的图像数据与在图6(B)表示的图像数据之间的光流，所述光流使用向量表示所显示的物体(的特征点)的迁移。图6(C)示出了计算出的光流的例子。在图6(C)所示的例子中，示出了在图6(A)内示出的特征点(使用“x”表示)移动至在图6(B)内示出的特征点(使用“x”表示)的向量的长度。
而且，位置推测部414根据通过光流计算部413计算出的光流的平均值来算出车辆1的移动量，从而推测车辆1当前位置。此外，也可以根据检测出的各光流直接计算出移动量。
在本实施方式中，使用光流推测车辆1当前位置。这在想要把握车辆1的前轮3F附近等的车辆1的底盘下的状况的情况下，越野行驶的情况下较多。可以认为在越野行驶的过程中，由于崎岖的路面等的影响发生车辆3的空转等的情况。在该情况下，若基于车轮3的转速推测车辆1的移动量则产生误差的可能性很大。因此，在本实施方式中，基于光流来推测车辆1的移动量及位置。在车轮3没有打滑的情况下，也可以根据车轮3的旋转与转向角计算出移动量与方向，推测出当前位置。
保存部415在从前一次保存后开始的车辆1的移动量在规定的距离以上，以及车辆1的移动角在规定的角度以上中的任一条件满足的情况下，将由旋转控制部411旋转控制后的拍摄图像数据与车辆1的位置信息一起保存在环形缓冲区404。本实施方式并不限制规定的距离，例如可以认为是0.3m、0.5m等。例如可以认为规定的角度是2deg(度)等。
环形缓冲区404将从拍摄部16a输出的当前拍摄图像数据与拍摄时的信息关联起来保存。图7是示出环形缓冲区404的结构的图。如图7所示，环形缓冲区404将拍摄图像数据、拍摄该拍摄图像数据时的车辆1的倾斜度(前进方向)以及车辆1的位置信息关联起来存储。
如图7所示，环形缓冲区404是在逻辑上被配置成环状的缓冲区。而且，在环形缓冲区404中，根据保存部415的保存要求，使用该保存要求的拍摄图像数据等覆盖保存最早更新的区域。
接收部405接收操作输入部10等的指示信号(控制信号)。本实施方式的接收部405根据这些指示信号接收切换操作，即接收将当前拍摄部16a拍摄的拍摄图像数据(当前图像)以及在环形缓冲区404保存的过去的拍摄图像数据(换言之显示车辆1的底盘下；过去图像)中的哪一个显示在显示装置8上的切换操作。并且，在后面叙述，周边监视ECU14在判断出许可从当前图像切换至过去图像的许可条件不成立的情况下，例如进行操作输入部10等的操作，即使出现过去图像的显示要求也不从当前图像切换至过去图像。另一方面，周边监视ECU14在判断出使过去图像恢复成当前图像的恢复条件成立的情况下，例如即使进行操作输入部10等的操作，要求继续显示过去图像，也会从过去图像切换至当前图像。即，周边监视ECU14在恢复条件成立的情况下，无论利用者是否进行操作要求显示过去图像，都强制显示当前图像(强制恢复至当前图像)。
显示处理部406具有图像选择部421与输出部422，根据接收部405接收的操作，进行对显示装置8的显示处理。
图8是示出通过显示处理部406显示处理的当前图像的显示(当前图像模式)的画面例的图。如图8所示，在当前图像模式的画面例中，除了显示基于拍摄部16a当前拍摄的拍摄图像数据的当前图像801，还显示表示车辆1侧方的当前状态的图像。该车辆1侧方的图像是当前侧方图像802，所述当前侧方图像802基于包括拍摄部16d当前拍摄的车辆1右侧的前轮3F周边在内的侧方拍摄图像数据；以及当前侧方图像803，所述当前侧方图像803基于包括拍摄部16b当前拍摄的车辆1左侧的前轮3F周边在内的侧方拍摄图像数据。此外，显示区域804将车辆1的俯仰角及侧倾角作为能够识别的信息来显示。即，使用表示车辆1的图标805的倾斜度表示侧倾角，另一方面使用通过该图标805的中心线与水平线之间的距离来表示俯仰角。虽然在本实施方式中使用这样的显示方式，将所述侧倾角及俯仰角以能够识别的方式来显示，但是并不限于这样的显示方式，也可以是其他的显示方式。例如，也可以使用显示装置8以外的显示装置来显示显示区域804。该情况下，因为在显示装置8能够利用的显示区域增加，所以例如能够放大当前图像801(后述的过去图像808)的显示区域。在该情况下，能够向利用者(驾驶员)提供更多的车辆周边信息。此外，也可以根据利用者(驾驶员)的选择操作使以这样的方式显示显示区域804的显示模式与不显示显示区域804的非显示模式变成可选选项。
此外，在当前图像801上显示有车轮轨迹806、807(行驶预定轨迹)，所述车轮轨迹806、807显示与从转向角传感器19获取的转向角相应的前轮3F的行进方向。由此，驾驶员能够在确认车辆1的行进方向之后来驾驶。
但是，在如图8所示的画面例中，很难确认车辆1的底盘下附近的状况。因此，在本实施方式的周边监视部400的显示处理部406上，能够将显示装置8的显示图像切换至车辆1的底盘下附近的显示。具体而言，如图9所示，代替当前图像801显示过去图像808(过去图像模式)。过去图像808显示拍摄部16a过去拍摄(摄像)获得的拍摄图像数据，在本实施方式的情况下，过去图像808是在车辆1当前位置，表示该车辆1的底盘下的位置的图像。即，因为车辆1的移动(行驶)，进入利用者(驾驶员)的视觉死角的底盘下区域的图像。此外，显示处理部406将作为过去图像808的过去拍摄(摄像)获得的当前图像801用的拍摄图像数据，以未进行加工(区域的合成或旋转、缩小等)的状态来显示。即，将当前图像801与过去图像808作为视点及视角大致相同的图像来显示。这样，通过将作为当前图像801拍摄(摄像)获得的拍摄图像数据照原样作为过去图像808来利用，能够简易地进行图像显示处理。此外，当前图像801的内容与过去图像802的内容的关联变得容易，能够有助于利用者提高对当前图像801与过去图像808的把握。
回到图4，说明显示处理部406的结构。图像选择部421在通过接收部405接收到向过去图像808即底盘下显示进行了切换的情况下，从环形缓冲区404存储的拍摄图像数据中选择要显示的拍摄图像数据。
本实施方式的图像选择部421为了显示过去图像808，从环形缓冲区404选择拍摄部16a过去拍摄的并且包括与当前车辆1对应的路面的拍摄图像数据。即，若在拍摄的路面显示包括被认为是(对应)作为当前车辆的位置的路面的拍摄图像数据，则能够实现车辆1的底盘下显示(过去图像808的显示)。
图10是说明本实施方式的图像选择部421选择的拍摄图像数据的图。在如图10所示的例子中，车辆1按照位置1001、位置1002、位置1003、位置1004的顺序移动，当前车辆1存在于位置1004上。而且，在位置100接收到来自驾驶员的切换至底盘下显示的切换要求。
该情况下，本实施方式的图像选择部421将当前车辆1的后轮3R间的中心1061作为基准，从存储在环形缓冲区404的拍摄图像数据中选择显示的拍摄图像数据。在本实施方式中，图像选择部421选择满足拍摄(摄像)时的拍摄部16a的位置在中心1061附近或者在中心1061后方，与当前车辆1的行进方向相比，拍摄时(摄像时)的车辆1的倾斜度(行进方向)在规定的角度内的这样的条件的拍摄图像数据。作为满足这样的条件的位置，图像选择部421选择在位置1002拍摄的拍摄图像数据。在位置1002拍摄的拍摄图像数据的拍摄区域1051还包括当前车辆1的前轮3F附近的路面。即，成为表示车辆1的底盘下区域的过去图像808。并且，在显示过去图像808的情况下，虽然也可以仅代替当前图像801仅显示过去图像808，但是如图9所示，也可以在过去图像808上重叠显示表示当前车辆1的位置的轮廓线809。如此，通过显示处理部406在过去图像808上重叠显示表示当前车辆1的位置的轮廓线，驾驶员能够容易地识别当前车辆1的前轮3F附近的路面状况。
通过算出车辆1的移动量，能够决定过去图像808中当前车辆1的位置，即轮廓线809的重叠位置，所述车辆1的移动量是从对与过去图像808对应的拍摄图像数据进行拍摄(摄像)起直到对与当前图像801对应的拍摄图像数据进行拍摄(摄像)为止车辆1的移动量。例如，作为能够确定车辆1的规定部位的识别信息的轮廓线809，能够包括车体轮廓线809a，表示车辆1的外形；车轮轮廓线809b，表示车辆1的前轮3F的外形；以及车轴轮廓线809c，表示连接左右的前轮3F的车轴的位置。
能够将表示前轮3F外形的车轮轮廓线809b确定为基于通过转向角传感器19检测出来的当前转向角的轮廓线。由此，驾驶员通过视觉识别车轮轮廓线809b，能够识别车辆当前轮胎的方向与位置。在过去图像808中，因为将车体轮廓线809a与车轮轮廓线809b以及车轴轮廓线809c等重叠显示，所以驾驶员能够识别包括路面、车辆1的前轮3F或车轴附近的底盘下的路面状况。由此，周边监视部400能够对驾驶员提供用于进行避开前轮3F附近的障碍物等的驾驶的环境。如此，本实施方式能够减轻驾驶负担以及提高驾驶时的便利性。
并且，在过去图像808上重叠的信息并不限制为能够确定车辆1的规定部位的识别信息(例如车体轮廓线809a、车轮轮廓线809b、车轴轮廓线809c)。本实施方式的显示处理部406也可以根据驾驶员的要求，针对过去图像808来显示基于车辆1的当前转向角的行进方向的轨迹(行驶预定轨迹、车轮轨迹806、807)等。
并且，本实施方式不限制拍摄图像数据的选择方法为在图10中说明的方法，也可以使用其他的方法。例如，图像选择部421也可以在车辆1的倾斜度(行进方向)在从当前车辆1的行进方向起的规定的角度内的情况下，从存储在环形缓冲区404内的拍摄图像数据中选择最早的拍摄图像数据。该情况下也能够通过计算出车辆1的移动量，在基于选择出的拍摄图像数据的过去图像808上的合适的位置上重叠轮廓线809。
输出部422在接收了底盘下显示的选择的情况下，将通过图像选择部421选择的拍摄图像数据输出至显示装置8。由此，输出部422能够从在环形缓冲区404存储的拍摄图像数据中，将通过拍摄部16a过去拍摄的并且包括当前车辆1所位于的区域(底盘下区域)的拍摄图像数据作为过去图像808输出至显示装置8。进而，如图9所示，输出部422将右侧前轮3F周边的当前侧方图像802、车辆1的左侧前轮3F周边的当前侧方图像803以及将俯仰角及侧倾角以能够识别的方式显示的显示区域804输出至显示装置8。
在如图9所示的例子中，即使在显示有过去图像808的情况下，当前侧方图像802、803也显示出当前车辆1的状况。即，照原样的状态显示有拍摄部16b、16d当前进行拍摄(摄像)的表示当前车辆1的侧方状况的图像。即，无论当前图像801与过去图像808的切换控制如何，都显示当前侧方图像802、803，所述当前侧方图像802、803基于从对车辆1的车宽方向的侧方区域分别进行拍摄(摄像)的拍摄部16b、16d(侧方拍摄部)输出的侧方拍摄图像数据。其结果是，即使正在显示过去图像808，所述过去图像808有显示与当前周围状况不同的状况的可能性，例如，即使在步行者或障碍物从车辆1的侧方接近的情况下，也能够实时地迅速地使利用者(驾驶员)识别该接近情况。并且，在显示有过去图像808的情况下显示以能够识别当前车辆1的侧倾角及俯仰角的方式显示的图标805。因此，一方面通过显示过去图像808，另一方面通过当前侧方图像802、当前侧方图像803、图标805等显示当前车辆1的周围情况，能够容易地把握当前车辆周围的状况。
并且，如前述所示，将当前侧方图像802、803的拍摄区域(摄像区域)设定为包括车辆1的前轮3F。即，即使在过去图像808的显示过程中也能在画面上确认车辆1的前轮3F的状态。进而，在过去图像808中，车轮轮廓线809b以与在当前侧方图像802、803中显示的前轮3F对应的方式重叠显示。其结果是，能够将自身车辆(车辆1)的前轮3F的位置作为基准使利用者(驾驶员)容易把握当前图像801及过去图像808的显示内容。
并且，在图9的情况下显示有与过去图像808重叠的车轮轮廓线809b的车轮的方向与当前侧方图像802、803的车轮的方向(当前实际的前轮3F的方向)对应的例子。在另实施方式中，也可以将与过去图像808重叠的车轮轮廓线809b的车轮的方向固定(例如直线前进状态)，显示过去图像808上的车轮轮廓线809b的位置与当前侧方图像802、803上的车轮的位置的对应关系。在该情况下，因为重叠显示的车轮轮廓线809b，能够有助于将图像处理简化，减轻显示处理的负担。
如前述所示，显示处理部406作为对当前图像801与过去图像808进行显示切换的控制部发挥作用。而且，显示处理部406在利用者要求在显示当前图像801的过程中切换至过去图像808的情况下(在出现通过操作输入部10等的要求操作的情况下)，具有用于判断是否许可画面的切换的许可条件。此外，显示处理部406在过去图像808的显示过程中，无论利用者是否进行操作要求显示过去图像808，都具有恢复至当前图像801的恢复条件。
例如，许可条件是通过车辆状态规定的条件与在利用者(驾驶员)的切换要求规定的条件双方均满足的情况下，可视为该许可条件成立。例如，作为用于显示过去图像808的车辆状态，存在有车辆停止状态(车速等于0Km/h)。因为过去图像808是拍摄部16a在比较近的过去拍摄的图像，所以该画面内容与当前图像801类似。但是，因为是过去的图像，所以有时会显示与车辆1的当前周围状况不同的图像。当前图像801及过去图像808一起拍摄包括车辆1的行进方向的路面与从该路面起上方的区域。其结果是，有时会出现存在于当前图像801上的物体(例如，步行者或障碍物)在过去图像808上不存在的情况。特别是在拍摄过去图像808后车辆1移动的情况下，与车辆1停止的情况相比周围的物体的存在状态发生变化的可能性增加。例如，在利用者(驾驶员)将过去图像808误认为当前图像801的情况下，因为实际上存在的物体在过去图像808中不存在，所以有物体的存在识别出现延迟的可能性。在这样的情况下，若车辆1处于停止状态，则因为即使在物体的存在识别出现延迟的情况下也至少能够避免车辆1接近物体，所以能够抑制因物体的存在识别的延迟导致发生不便。因此，显示处理部406在能够基于车轮速传感器22的检测结果确认车辆1处于停止状态的状态下，在利用者通过操作输入部10要求显示过去图像808的情况下，从当前图像801切换至过去图像808。换言之，周边监视ECU14在通过车辆状态规定的条件成立的状态下，在切换要求操作下规定的条件成立的情况下(满足多个条件的情况下)，判断出用于图像切换的许可条件成立，使显示处理部406执行从当前图像801切换至过去图像808的切换处理。
并且，在上述的例子中，将通过车辆状态规定的条件作为“车辆停止状态”进行说明。例如，在另一实施方式中，若处于能够充分地识别物体的存在(识别当前周围状况)的车速(例如，3Km/h以下)，则即使车速在低速的情况下，也可以视为通过车辆状态规定的条件成立，使许可条件成立。此外，必须在环形缓冲区404蓄积有过去图像808的情况下(环形缓冲区404有效时)，才能够显示过去图像808。因此，作为通过车辆状态规定的条件，也可以添加“环形缓冲区404有效”这样的条件。此外，利用者(驾驶员)的切换要求操作，除了通过操作输入部10来操作，也可以通过例如与操作输入部10分离设置的图像切换开关的操作、智能手机或遥控器的操作等执行切换要求操作。例如，在像车速在规定速度以下(例如车速等于0Km/h)、环形缓冲区404有效这样的通过车辆状态规定的条件成立的情况下，在通过根据操作输入部10或其他的开关操作的切换要求操作规定的条件成立的情况下，周边监视ECU14也可以判断出许可条件成立，使显示处理部406执行从当前图像801切换至过去图像808的切换处理。
此外，在另一实施方式中，像车速在规定速度以下(例如车速等于0Km/h)、环形缓冲区404有效这样的通过车辆状态规定的条件成立的情况下，周边监视ECU14也可以将与图像切换对应的操作输入部10或者其他的开关(按键开关、翘板开关等)激活(有效化)。即，周边监视ECU14在通过车辆状态规定的条件不成立的情况下，将在显示装置8上用于图像切换的操作输入部10去激活(无效化)。例如，将在显示装置8上用于图像切换的操作输入部10显示为半透明，或者不显示与切换对应的操作输入部10本身。此外，在与切换对应的开关是按键开关或翘板开关等的机械式开关的情况下，因为不接收输入并且显示不可进行操作输入，所以也可以关掉开关的照明，或使开关的照明闪烁等。另一方面，在通过车辆状态规定的条件成立的情况下，周边监视ECU14能够将与切换对应的操作输入部10或其他的开关激活，接收切换要求操作。在该状态下，在执行了切换要求操作，通过该切换要求操作规定的条件成立的情况下，周边监视ECU14判断出许可条件成立，使显示处理部406执行从当前图像801切换至过去图像808的切换处理。如此，根据通过车辆状态规定的条件是否成立来决定是否激活操作输入部10，从而能够使利用者判断在切换要求操作之前是否能够切换图像。其结果是，无论是否操作都不会给利用者带来画面不切换这样的不协调感。
另一方面，例如，作为恢复条件，有通过车辆状态规定的条件或通过利用者(驾驶员)的切换要求操作规定的条件。但是，恢复条件的情况是以在多个恢复条件中任一个成立的情况下，从过去图像808恢复至当前图像801的方式构成的。
例如，在显示过去图像808的过程中车辆1的速度超过规定速度的情况下，显示处理部406仅凭该事实就视为恢复条件成立，从而切换至当前图像801。并且，例如能够将规定速度设定成3Km/h等。例如，该情况下，即使是在停车中的车辆1由于来自路面的振动或路面的凹凸的影响稍微移动产生了速度的情况下，也能够防止因过敏而执行了画面切换。如此，在车辆1开始行驶(移动)，需要进一步注意当前车辆1的周围状况的变化的情况下，迅速地切换至当前图像801。其结果是，能够迅速地对利用者提示当前车辆周围的状况。
此外，如图9所示，在显示作为过去图像808的底盘下图像的情况下，通过重叠轮廓线809，能够更容易地把握与利用者的视野之外的底盘下的状况相应的当前车辆1的位置。如前所述的轮廓线809基于当前图像801与过去图像808的比较，具体而言是基于特征点的移动方式计算出的移动量来决定该重叠位置。因此，在当前图像801与过去图像808之间，无法准确地把握特征点的移动方式的情况下，轮廓线809的配置精度(车辆1的位置的推测精度)降低。即，过去图像808的显示价值降低。例如，在获取与过去图像808对应的拍摄图像数据后，有时会出现车辆1的前轮3F开上路面的凸部发生倾斜，拍摄部16a朝向上方的情况。在该情况下，有时候会出当前最新的拍摄图像数据中不包括过去图像808所包括的特征点的情况。在该情况下，车辆1的移动量的计算变得不准确。其结果是，无法高精度地重叠配置轮廓线809。如此，在车辆位置的推测精度在规定值以下的情况下，显示处理部406视为恢复条件成立，将显示装置8的显示从过去图像808切换至当前图像801。例如，能够将车辆位置的推测精度在规定值以下的情况确定为用于计算出车辆1的移动量的特征点的不一致超过所有特征点的30％的情况等。如此，在车辆1的位置的推测精度(轮廓线809的重叠精度)降低的情况下，通过迅速地切换至当前图像801，能够抑制给利用者带来不协调感(显示显示价值下降的图像)，迅速地通知利用者当前车辆1的周围状况。并且，如上述所示，被视为恢复条件成立的条件既可以是在被判断为推测精度低下(无法推测)的情况下，也可以是在车辆1的倾斜变化在规定阈值以上(例如，5度或10度)的情况下视为恢复条件成立。能够通过预先的试验等来设定该倾斜变化。也可以基于角度计算部402计算出的角度或图标805的显示角度来检测该倾斜变化。
如此，在恢复条件成立的情况下，通过无论利用者是否进行操作要求显示过去图像808，都强制从过去图像808恢复至当前图像801，能够提供使利用者(驾驶员)迅速地把握车辆1的周围状况的故障安全效果。
本实施方式的显示处理部406以利用者(驾驶员)能够容易地理解正在显示当前图像801还是正在显示过去图像808的方式，来切换显示方式。例如，使用第一显示方式来显示当前图像801，使用与第一显示方式不同的第二显示方式来显示过去图像808。具体而言，显示当前图像801时的第一显示方式能够将显示装置8的显示区域的背景以彩色来显示，显示过去图像808时的第二显示方式能够将显示装置8的显示区域的背景以黑白来显示。图8的情况是将除了当前图像801、当前侧方图像802、803以及显示区域804以外的部分即背景区域810以彩色(附图上以空白来表现)。另一方面，图9的情况是将除了过去图像808、当前侧方图像802、803以及显示区域804以外的部分即背景区域810以黑白(附图上以阴影线来表现)。此外，如图8所示，本实施方式的情况是在当前图像801的显示过程中，将该当前图像801的周围背景(框架部分)810a突出显示(高亮显示，在附图上以粗线来表示)。另一方面，在过去图像808的显示过程中，对该过去图像808的周围背景(框架部分)810a，以不执行突出显示(高亮显示)的方式来显示(在附图上以细线来表示)。如此，在显示当前图像801与过去图像808时，分别通过不同的显示方式，能够使利用者(驾驶员)更容易直观地识别出正在显示哪一个画面。并且，上述的第一显示方式与第二显示方式是一个例子，只要利用者(驾驶员)能够容易地判断出正在显示当前图像801还是正在显示过去图像808，就能够通过选择恰当的显示方式来获得同样的效果。此外，也可以采用上述的根据背景区域810来区别与根据周围背景(框架部分)810a来区别的双方的方式，即使仅采用任一方也能够获得同样的效果。
接着，说明本实施方式的周边监视部400中的拍摄图像数据的保存处理。图11是示出本实施方式的周边监视部400中的保存处理顺序的流程图。
首先，拍摄部16拍摄车辆1的周边环境(S1101)。特别是拍摄部16a拍摄在车辆1的行进方向中，包括路面与地平线的区域(包括从路面开始上方的区域)。
接着，获取部401从拍摄部16获取拍摄图像数据，从加速度传感器26获取加速度数据(S1102)。
然后，角度计算部402根据加速度数据计算出车辆1的侧倾角及俯仰角(S1103)。
然后，旋转控制部411针对拍摄图像数据，进行按照侧倾角的旋转控制(S1104)。
接着，俯视图像生成部412根据旋转控制后的拍摄图像数据生成俯视图像数据，所述俯视图像数据以俯瞰的方式示出在车辆1的行进方向并且在该车辆1的周边存在的规定的区域(S1105)。
然后，光流计算部413基于生成的俯视图像数据计算出光流(S1106)。
接着，位置推测部414基于计算出的光流计算出车辆1的移动量，并且推测出车辆1的当前位置(S1107)。
接着，保存部415根据上次保存的位置来判断规定的距离(例如0.3m或0.5m)及规定的角度(例如2deg)中的一项以上是否发生了变化(S1108)。在判断出规定的距离及规定的角度中任一项都未发生变化的情况下(S1108的否)，结束处理。并且，在本实施方式中，虽然说明了在规定的距离及规定的角度中的任一项发生了一个单位以上的变化的情况下进行保存的例子，但是并不限于这样的保存方法，也可以每隔规定时间进行保存等。
另一方面，在保存部415根据上次保存的位置判断出规定的距离(例如0.3m或0.5m)及规定的角度中的一项以上发生了变化的情况下(S1108的是)，保存部415使用旋转处理后的当前拍摄图像数据覆盖保存环形缓冲区404的最早更新的区域并保存(S1109)。此时，保存部415将该拍摄图像数据的拍摄时的倾斜度(行进方向)及位置信息关联起来保存。
接着，保存部415将在环形缓冲区404存储的拍摄图像数据的拍摄时的位置信息更新成将当前位置作为基准(原点)的位置信息(S1110)。通过该更新，能够使环形缓冲区404以不会溢出的方式持续地保存位置信息。
然后，本实施方式的周边监视部400能够将环形缓冲区404存储的拍摄图像数据作为底盘下显示时的图像数据(过去图像808)来提供。
接着，说明本实施方式的周边监视部400中的显示处理。图12是示出本实施方式的周边监视部400中的切换当前图像801及过去图像808的显示处理的顺序的流程图。
首先，周边监视部400的显示处理部406通过接收部405等，判断是否接收了车辆1的周边监视显示要求操作(S1201)。在未接收周边监视显示要求操作的情况下(S1201的否)，显示处理部406在显示装置8通常显示例如执行导航画面或音频画面等的显示(S1202),暂时结束该流程。
在S1201中，显示处理部406在接收了周边监视显示要求操作的情况下(S1201的是)，显示处理部406确认是否正在显示当前图像801(S1203)。在正在显示当前图像801的情况下(S1203的是)，显示处理部406判断是否经由接收部405接收到过去图像显示要求操作(S1204)。在S1204中，显示处理部406接收了过去图像显示要求操作的情况下(S1204的是)，在用于显示过去图像808的许可条件成立的情况下(S1205的是)，执行过去图像808的显示处理(S1206)。
图13是示出S1206中的过去图像808的显示处理的详细内容的流程图。在切换至过去图像808变成许可状态的情况下，例如，在车辆1处于停止状态，出现通过接收部405要求显示过去图像808的情况下，显示处理部406在正在显示的当前图像801的显示画面上插入意味着切换至过去图像808的消息，并且通过显示装置8显示(S1301)。例如，如图14所示，显示处理部406在当前图像801上显示“！即将切换至过去图像。请注意。”、“显示过去图像的过程中背景将变成黑白”等的切换消息。并且，在图14的例子中，虽然将当前图像801显示成半透明(在图中以虚线来表现)，但是也可以不显示当前图像801，仅显示切换消息。此外，也可以以使切换键消息闪烁等方式来突出显示。此外，也可以显示切换消息，并且通过声音输出装置9输出同样内容的语音消息。如此，通过提供切换消息，能够引起利用者(驾驶员)的注意。也可以在显示数秒、例如两秒后关闭上述的切换消息。此外，也可以通过利用者(驾驶员)的操作使切换消息消失。该情况下，因为要求利用者进行删除消息的操作，所以能够使利用者可靠地识别画面的切换。
在提供该切换信息的过程中或者在提供该切换消息之前，图像选择部421基于车辆1的当前位置，从存储在环形缓冲区404中的拍摄图像数据中选择作为过去图像808显示的拍摄图像数据(S1302)。接着，显示处理部406在选择的拍摄图像数据(过去图像808)上重叠表示当前车辆1的位置的符号(轮廓线809)(S1303)。该情况下，也可以使车轮轮廓线809b的方向发生变化，所属车轮轮廓线809b基于从转向角传感器19提供的当前车轮3F的方向(转向角)。而且，输出部422将显示装置8的显示内容从当前图像801切换至重叠有符号(轮廓线809)的过去图像808(底盘下图像)，并且将背景画面(背景区域810)切换至规定的画面，例如黑白画面(S1304)。并且，即使显示处理部406在切换至过去图像808的情况下，包括当前侧方图像802、803以及图标805的显示区域804显示与在显示有当前图像801的情况下相同的图像(显示当前周围状况以及车辆1的状况的图像)。由此，利用者(驾驶员)能够识别当前车辆周围(侧方状况)并且容易地获取底盘下的信息。
回到图12，若过去图像808的显示已经结束，则显示处理部406判断恢复当前图像801的恢复条件是否成立(S1207)。如前述所示，在车辆1的速度在规定的速度以上、无法充分推测车辆1的位置等情况下的任一恢复条件成立的情况下(S1207的是)，显示处理部406显示表示意味着恢复至当前图像801的切换消息(S1208)，并且显示当前图像801(S1209)。图15是示出意味着恢复至当前图像801的切换消息的一个例子，将“！已恢复至当前图像”等的切换消息在半透明的当前图像801(图中以虚线来表现)上重叠显示。在该情况下，也可以显示切换消息，并且通过声音输出装置9输出同样内容的语音消息。此外，在其他的例子中，也可以在切换显示当前图像801之前，仅显示切换消息。也可以在显示数秒、例如两秒后关闭上述的切换消息。此外，也可以根据利用者(驾驶员)的操作关闭切换消息。在该情况下，因为要求利用者进行关闭消息的操作，所以能够使利用者可靠地识别画面的切换。
输出部422在输出了当前图像801之后，在车辆1发生了移动的情况下，输出部422在车辆1移动的同时，基于从转向角传感器19提供的检测信息使前轮3F的推测车轮轨迹806、807发生变化(动画显示)。由此，驾驶员能够识别当前车辆1的位置以及识别从当前开始的行驶方向。
在S1207中，在恢复至当前图像801的恢复条件不成立的情况下(S1207的否)，显示处理部406维持显示过去图像808，暂时结束该流程，为下一次的切换时机做准备。
在S1205中，在切换至过去图像808的切换许可条件不成立的情况下(S1205的否)，显示处理部406在当前图像801上重叠显示表示过去图像808的显示许可条件不成立的不成立消息(S1210)，维持显示当前图像801，暂时结束该流程。图16是不成立消息的显示例。例如，将“！因为车辆尚未停止，所以无法显示过去图像。”等的消息在半透明的当前图像801(图中以虚线来表现)上重叠显示。在该情况下，也可以显示不成立消息，并且通过声音输出装置9输出同样内容的语音消息。也可以在显示数秒、例如两秒后关闭该情况下的不成立消息。此外，也可以通过利用者(驾驶员)的操作来关闭不成立消息。在该情况下，因为要求利用者进行关闭消息的操作，所以能够使利用者可靠地识别出未显示过去图像808。
在S1204中，显示处理部406判断出未接收过去图像808的显示要求操作的情况下(S1204的否)，显示处理部406维持显示当前图像801，暂时结束该流程。
此外，在S1203中，在未显示当前图像801的情况下(S1203的否)，即，在正在显示过去图像808的情况下，转移至S1207，执行S1207以后的处理。并且，在S1203中作为未显示当前图像801的情况，除了正在显示过去图像808的情况以外，还有正在执行通常显示(正在显示导航当前图像画面或音频画面)的情况，该情况也转移至S1207。显示处理部406在S1207的处理中，能够具有当前图像恢复条件，并且具有当前图像显示条件。例如，也可以在执行通常显示的过程中接收到周边监视显示要求操作的情况下，许可显示当前图像801。并且，作为正在执行通常显示时切换至当前图像801的条件，也可以包括在要求切换时车辆1在规定速度以下或者正处于停止状态。
如此，根据本实施方式，在从当前图像801切换至过去图像808的情况下，反之在从过去图像808切换至当前图像801的情况下，分别设置不同的条件，仅在规定的条件成立的情况下进行显示切换。其结果是，能够分别在恰当的环境(车辆1的状态)下显示当前图像801及过去图像808，能够向利用者(驾驶员)提供所述当前图像801及过去图像808。特别是，在从过去图像808切换至当前图像801的情况下，通过在恢复条件成立的情况下，无论利用者(驾驶员)是否操作都强制恢复至当前图像801，能够将表示当前车辆1的周围的当前图像801显示在显示装置8上，使利用者(驾驶员)恰当地利用所述当前图像801。即，能够同时实现提高车辆1的周围状况的把握性与提高显示图像的处理性。此外，即使将显示画面从当前图像801切换至过去图像808或者从过去图像808切换至当前图像801，因为显示了通过许可条件或恢复条件确定的图像，即适合当前条件的画面，所以能够避免当前显示的画面给利用者带来不协调感。
在本实施方式中，通过进行上述的拍摄图像数据的显示处理，能够将在当前车辆1的位置的死角区域(例如底盘下区域)在显示装置8上显示。由此，因为驾驶员能够把握周边的状况，所以能够减轻驾驶负担。
在本实施方式中，显示对包括路面与地平线的区域进行拍摄(摄像)获得的所谓倾斜视点的拍摄图像数据。在该情况下，因为通过与显示俯视图像数据的情况进行对比，能够把握在具有凹凸的路面行驶时、即在所谓越野行驶时的路面状况，所以能够减轻驾驶负担。
在本实施方式中，根据计算出的光流来推测车辆1的位置。由此，在越野等的行驶时，即使车轮3发生空转也能够以良好的精度来推测车辆1的位置。
在上述的实施方式中，输出部422输出的底盘下显示用的拍摄图像数据若包括与当前车辆1的位置对应的路面，则不限制进行拍摄的车辆1的位置，可以是在任意位置拍摄的拍摄图像数据。此外，在底盘下显示中，仅使用在任意的(一个)位置拍摄的拍摄图像数据，而不使用将在多个位置拍摄的多个图像数据合成的拍摄图像数据。例如，将拍摄部16a拍摄的拍摄图像数据维持原样不进行加工，作为当前图像801来显示。同样，将拍摄部16a拍摄的拍摄图像数据维持原样不进行加工，存储在环形缓冲区404作为过去图像808来利用。由此，能够减轻图像处理负担。
在本实施方式中，虽然说明了在环形缓冲区404中存储多个拍摄图像数据，从多个拍摄图像数据中选择进行显示的拍摄图像数据的例子，但是也可以仅显示前一次拍摄的拍摄图像数据。在该情况下，因为仅存储一个拍摄图像数据即可，所以能够削减存储容量。
图17是示出通过周边监视装置的显示处理部406显示处理的包括当前图像801的画面的变形例的图。同样的，图18是示出通过周边监视装置的显示处理部406显示处理的包括过去图像808的画面的变形例的图。图17与图8对应，图18与图9对应，虽然实质上的显示内容相同，但是当前图像801、过去图像808、当前侧方图像802、803的显示区域的大小不同。并且，因为仅图17与图8及图18与图9的显示区域的大小不同，但显示内容相同，所以在图17与图8及图18与图9中，分别标注相同的附图标记，省略对其的说明。
如图17、图18所示，通过缩短当前侧方图像802、803的显示区域的纵向的长度，扩大了当前图像801、过去图像808的显示区域的横向的长度。其结果是，能够使当前图像801及过去图像808的视觉识别性提高。并且，如图8、图9所示，在扩大了当前侧方图像802、803的显示区域的情况下，能够使侧方的视觉识别性提高。
在上述的实施方式中，说明了周边监视部400基于光流推测车辆1的位置的例子。但是，不限制于根据光流推测位置的情况，例如也可以使用检测车轮3的转速来推测移动量的传感器，或者也可以使用GPS等检测出车辆1的位置及移动量。在该情况下也能够获得与本实施方式相同的效果。
此外，在图8、图9等中，虽然示出了车辆1正处于越野行驶(停车)的情况，但是本实施方式也可以适用于处于道路行驶(停车)的情况，能够获得同样的效果。
在上述的实施方式中，表示前方区域的显示区域(参照图8、9)都呈现出在上部中央将短边置于下侧的大致梯形形状(梯形形状、大致梯形显示区域、梯形显示区域)。如此，通过显示将短边置于下侧的形状，能够以看起来像具有纵深感的起立画面的方式来显示前方显示区域。其结果是，能够进行实际上接近利用者(驾驶员、乘坐者)视觉识别出的周围状况的显示。此外，使侧方显示区域(在各实施方式中大致长方形的显示区域)与前方显示区域的形状不同，所述侧方显示区域显示对车宽方向的左侧及右侧进行拍摄(摄像)获得的图像。其结果是，能够强调用于显示在相同画面上显示的侧方区域的区域与用于显示前方区域的区域具有不同的视点(前方区域是起立画面，侧方区域是俯视画面)，因此能够有助于提高利用者的视觉识别性。
并且，在实施方式中，侧方显示区域不包括从路面起的上空的区域。并且，大致梯形显示区域既可以指各边由直线构成的梯形显示区域，也可以指所述大致梯形显示区域的任一边由曲线构成。例如，表示图8中的当前图像801的区域的长边侧也可以通过向区域外侧凸出的曲线来构成。同样的，短边侧也可以通过向区域外侧凸出的曲线来构成。此外，显示当前图像801的区域的侧边(斜边)也可以通过向外侧凸出的曲线来构成。相反的也可以通过向区域内侧凸出的曲线来构成。例如，通过长边侧向区域外侧凸出的曲线以及短边侧向区域内侧凸出的曲线构成的扇形形状也包括在本实施方式的大致梯形形状中。此外，也可以在大致梯形形状的一部分采用前述这样的曲线，或者也可以在多个部分采用前述这样的曲线。通过将构成大致梯形形状的边确定为曲线，能够使显示区域的形状具有各种各样的设计性。此外，能够进一步提高与侧方显示区域的大致长方形的显示区域的识别性。
在上述的实施方式的周边监视部400上，在接收了底盘下显示的选择的情况下，仅显示从车辆1的过去的某个位置起由拍摄部16a拍摄的的拍摄图像数据。即，例如，在上述的实施方式中，说明了不进行当前拍摄图像数据与过去的拍摄图像数据这样的时间序列不同的多个拍摄图像数据的合成的例子。因为像这样不进行时间序列不同的多个图像数据的合成，所以能够减轻处理负担。
如上述所示，例如，在本实施方式的周边监视装置中，显示处理部406(控制部)在显示当前图像801的情况下，将与当前侧方图像802、803包括的车轮图像对应的车轮3的车轮轨迹806、807(行驶预定轨迹)显示在当前图像801上，在显示过去图像808的情况下，将与当前侧方图像802、803包括的车轮图像对应的车轮位置显示在过去图像808上。例如，根据该结构，能够将自身车辆的车轮位置作为基准，使利用者更加容易地把握当前图像808及过去图像808的显示内容。
如上述所示，例如，在本实施方式的周边监视装置中，周边监视ECU14(控制部)在车辆车速在规定速度以下的情况下，视为用于许可使从当前图像801切换至过去图像808的许可条件成立的其中一个许可条件成立。根据这样的结构，车辆在超过规定速度行驶的情况下，能够抑制切换至过去图像808。
如上述所示，例如，在本实施方式的周边监视装置中，周边监视ECU14(控制部)在通过车辆状态规定的条件与通过切换要求操作规定的条件成立的情况下，视为许可从当前图像801向过去图像808切换的许可条件成立；另一方面，将通过车辆状态规定的条件已经成立作为条件，将为了使通过切换要求操作规定的条件成立而操作的操作输入部10(操作部)激活(有效化)。如此，根据通过车辆状态规定的条件是否成立来决定是否激活操作输入部10，从而能够使利用者判断在切换要求操作之前是否能够切换图像。其结果是，无论是否操作都不会给利用者带来画面不切换这样的不协调感。
例如，本发明的实施方式的另一周边监视装置具有存储部，存储从拍摄部输出的拍摄图像数据，所述拍摄部拍摄包括车辆行进方向的路面以及从该路面起上方的区域在内的区域；显示部，选择性地显示过去图像与当前图像中的任一者，所述过去图像基于所述存储部存储的拍摄图像数据中的与当前车辆的底盘下区域对应的拍摄图像数据，所述当前图像基于由所述拍摄部拍摄并输出的新的拍摄图像数据；以及控制部，在显示所述当前图像的情况下使用第一显示方式来显示，在显示所述过去图像的情况下使用第二显示方式来显示，所述第二显示方式是使用与所述当前图像大致相同的视点及视角，与所述第一显示方式不同的方式。因此，例如，起到识别正在显示的图像是当前图像还是过去图像变得容易的效果。此外，因为能够将作为当前图像拍摄的拍摄图像数据直接作为过去图像来利用，所以起到能够简易地进行图像显示处理的效果。此外，能够使利用者容易地将当前图像的内容与过去图像的内容进行关联，起到能够有助于利用者提高对当前图像与过去图像的把握的效果。
虽然已经说明了本发明的实施方式及变形例，但是这些实施方式及变形例是作为例子提出的，其意图不在于限定发明的范围。这些新颖的实施方式能够以其他的各种各样的方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换以及变更。这些实施方式或其变形包括在发明的范围或主旨内，并且包括在如权利要求书记载的发明及与其等同的范围内。

Claims (7)

1.一种周边监视装置，其特征在于，具有：
存储部，存储从拍摄部输出的拍摄图像数据，所述拍摄部拍摄包括车辆的行进方向的路面以及从该路面起上方的区域在内的区域；
显示部，选择性地显示过去图像与当前图像中的任一者，所述过去图像基于所述存储部存储的拍摄图像数据中的与当前车辆的底盘下区域对应的拍摄图像数据，所述当前图像基于由所述拍摄部拍摄并输出的新的拍摄图像数据；以及
控制部，在所述显示部显示所述当前图像的过程中，用于许可显示所述过去图像的许可条件成立的情况下，所述控制部将所述当前图像切换至所述过去图像，在所述显示部显示所述过去图像的显示过程中，用于使所述过去图像恢复至所述当前图像的恢复条件成立的情况下，所述控制部将所述过去图像切换至所述当前图像。
2.如权利要求1所述的周边监视装置，其特征在于，
在所述恢复条件成立的情况下，无论利用者是否进行操作要求显示所述过去图像，所述控制部都切换至所述当前图像。
3.如权利要求1或2所述的周边监视装置，其特征在于，
在所述过去图像的显示过程中车辆速度超过规定速度的情况下，所述控制部视为所述恢复条件成立，切换至所述当前图像。
4.如权利要求1或2所述的周边监视装置，其特征在于，
所述控制部在显示所述过去图像的情况下，基于从所述拍摄部输出的新的所述拍摄图像数据以及由所述存储部存储的所述拍摄图像数据来推测当前车辆位置，并将示出该车辆位置的图像与所述过去图像重叠显示；而在所述车辆位置的推测精度为规定值以下的情况下，所述控制部视为所述恢复条件成立，切换至所述当前图像。
5.如权利要求1至4中任一项所述的周边监视装置，其特征在于，
所述控制部使用第一显示方式显示所述当前图像，使用与第一显示方式不同的第二显示方式显示所述过去图像。
6.如权利要求1至5中任一项所述的周边监视装置，其特征在于，
无论所述当前图像与所述过去图像的切换控制如何，所述显示部都将当前侧方图像与所述当前图像或所述过去图像一起显示，所述当前侧方图像基于从侧方拍摄部输出的侧方拍摄图像数据，所述侧方拍摄部对车辆的车宽方向左右的侧方区域分别进行拍摄。
7.如权利要求1至6中任一项所述的周边监视装置，其特征在于，
所述控制部显示视点及视角大致相同的图像作为所述当前图像与所述过去图像。
CN201510408282.3A 2014-07-14 2015-07-13 周边监视装置及程序 Active CN105282499B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-144422 2014-07-14
JP2014144422A JP6340969B2 (ja) 2014-07-14 2014-07-14 周辺監視装置、及びプログラム

Publications (2)

Publication Number Publication Date
CN105282499A true CN105282499A (zh) 2016-01-27
CN105282499B CN105282499B (zh) 2019-07-09

Family

ID=53969086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510408282.3A Active CN105282499B (zh) 2014-07-14 2015-07-13 周边监视装置及程序

Country Status (4)

Country Link
US (1) US9902323B2 (zh)
EP (1) EP2974909B1 (zh)
JP (1) JP6340969B2 (zh)
CN (1) CN105282499B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107878327A (zh) * 2016-09-29 2018-04-06 爱信精机株式会社 周边监视装置
CN109314767A (zh) * 2016-06-29 2019-02-05 爱信精机株式会社 周边监控装置
CN109643439A (zh) * 2016-09-30 2019-04-16 爱信精机株式会社 周边监视装置
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置
CN110386067A (zh) * 2018-04-23 2019-10-29 夏普株式会社 车辆周边显示装置
CN110997409A (zh) * 2017-07-07 2020-04-10 爱信精机株式会社 周边监控装置
CN111038387A (zh) * 2018-10-15 2020-04-21 三菱重工业株式会社 车辆用图像处理装置及图像处理方法、程序和存储介质
CN111497745A (zh) * 2019-01-23 2020-08-07 本田技研工业株式会社 显示系统、行驶控制装置、显示控制方法以及存储介质
CN111788088A (zh) * 2018-02-27 2020-10-16 三菱电机株式会社 车辆用显示控制装置和显示控制方法
CN112622761A (zh) * 2019-09-24 2021-04-09 上海博泰悦臻电子设备制造有限公司 一种倒车显示方法、装置及计算机存储介质
CN113246857A (zh) * 2020-02-13 2021-08-13 丰田自动车株式会社 车辆周边监视装置
CN114355952A (zh) * 2022-03-17 2022-04-15 北京理工大学 一种无人车可通行性评估方法及系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
CN107251120B (zh) * 2015-01-09 2020-06-19 金泰克斯公司 具有单摄像头停车辅助的可训练收发器
WO2017077463A1 (en) 2015-11-02 2017-05-11 Telefonaktiebolaget Lm Ericsson (Publ) Adapting d2d operation on non-serving carrier frequency
DE102016201932A1 (de) * 2016-02-09 2017-08-10 Conti Temic Microelectronic Gmbh Verfahren zur Assistenz für einen Parkvorgang und Parkassistenzvorrichtung
WO2017169752A1 (ja) * 2016-03-29 2017-10-05 京セラ株式会社 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法
KR101861523B1 (ko) * 2016-06-17 2018-07-05 주식회사 와이즈오토모티브 차량 운전 보조 장치 및 방법
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
JP6729077B2 (ja) 2016-06-30 2020-07-22 アイシン精機株式会社 車両周辺監視装置
JP2018001901A (ja) 2016-06-30 2018-01-11 アイシン精機株式会社 走行支援装置
JP2018020724A (ja) * 2016-08-05 2018-02-08 アイシン精機株式会社 周辺監視装置
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
KR20180069380A (ko) * 2016-12-15 2018-06-25 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
JP6729409B2 (ja) * 2017-01-16 2020-07-22 アイシン精機株式会社 周辺監視装置
US10671873B2 (en) * 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
JP6825500B2 (ja) * 2017-06-30 2021-02-03 株式会社Ｊｖｃケンウッド ドライブレコーダ運用システム、ドライブレコーダ、運用方法および運用プログラム
JP6972938B2 (ja) 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
CN109934076A (zh) * 2017-12-19 2019-06-25 广州汽车集团股份有限公司 视觉盲区的场景图像的生成方法、装置、系统及终端设备
JP7217090B2 (ja) * 2018-03-16 2023-02-02 株式会社デンソーテン 情報提供装置及び情報提供方法
JP7039133B2 (ja) * 2018-04-17 2022-03-22 マレリ株式会社 画像表示装置
JP2019207618A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
JP2019207617A (ja) * 2018-05-30 2019-12-05 日本電気株式会社 情報処理システム
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
JP7213565B2 (ja) * 2021-02-16 2023-01-27 株式会社ユピテル 装置及びプログラム
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置
JP2023023873A (ja) * 2021-08-06 2023-02-16 トヨタ自動車株式会社 車両周辺監視装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004142595A (ja) * 2002-10-24 2004-05-20 Nippon Seiki Co Ltd 路面表示方法およびその装置
JP2006327498A (ja) * 2005-05-27 2006-12-07 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
CN103197825A (zh) * 2011-11-09 2013-07-10 索尼公司 图像处理装置、显示控制方法和程序
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
WO2014051125A1 (ja) * 2012-09-28 2014-04-03 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796417B2 (ja) * 2001-06-27 2006-07-12 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4561470B2 (ja) * 2005-05-19 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援装置
JP4815993B2 (ja) 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
WO2008143079A1 (ja) 2007-05-22 2008-11-27 Autonetworks Technologies, Ltd. 自動車用の映像切替モジュールおよび自動車用撮影装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004142595A (ja) * 2002-10-24 2004-05-20 Nippon Seiki Co Ltd 路面表示方法およびその装置
JP2006327498A (ja) * 2005-05-27 2006-12-07 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
CN103197825A (zh) * 2011-11-09 2013-07-10 索尼公司 图像处理装置、显示控制方法和程序
WO2014051125A1 (ja) * 2012-09-28 2014-04-03 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10855954B2 (en) 2016-06-29 2020-12-01 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
CN109314767A (zh) * 2016-06-29 2019-02-05 爱信精机株式会社 周边监控装置
CN107878327A (zh) * 2016-09-29 2018-04-06 爱信精机株式会社 周边监视装置
CN109643439A (zh) * 2016-09-30 2019-04-16 爱信精机株式会社 周边监视装置
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置
CN109643439B (zh) * 2016-09-30 2023-08-08 株式会社爱信 周边监视装置
US10857944B2 (en) 2016-09-30 2020-12-08 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus
CN110997409A (zh) * 2017-07-07 2020-04-10 爱信精机株式会社 周边监控装置
CN111788088A (zh) * 2018-02-27 2020-10-16 三菱电机株式会社 车辆用显示控制装置和显示控制方法
CN110386067A (zh) * 2018-04-23 2019-10-29 夏普株式会社 车辆周边显示装置
CN111038387A (zh) * 2018-10-15 2020-04-21 三菱重工业株式会社 车辆用图像处理装置及图像处理方法、程序和存储介质
CN111497745A (zh) * 2019-01-23 2020-08-07 本田技研工业株式会社 显示系统、行驶控制装置、显示控制方法以及存储介质
CN111497745B (zh) * 2019-01-23 2023-11-07 本田技研工业株式会社 显示系统、行驶控制装置、显示控制方法以及存储介质
CN112622761A (zh) * 2019-09-24 2021-04-09 上海博泰悦臻电子设备制造有限公司 一种倒车显示方法、装置及计算机存储介质
CN113246857A (zh) * 2020-02-13 2021-08-13 丰田自动车株式会社 车辆周边监视装置
CN113246857B (zh) * 2020-02-13 2023-12-15 丰田自动车株式会社 车辆周边监视装置
CN114355952A (zh) * 2022-03-17 2022-04-15 北京理工大学 一种无人车可通行性评估方法及系统

Also Published As

Publication number Publication date
CN105282499B (zh) 2019-07-09
JP2016021653A (ja) 2016-02-04
US9902323B2 (en) 2018-02-27
US20160009225A1 (en) 2016-01-14
EP2974909A1 (en) 2016-01-20
JP6340969B2 (ja) 2018-06-13
EP2974909B1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
CN105282499A (zh) 周边监视装置及程序
US10363872B2 (en) Periphery monitoring device
CN105009574A (zh) 周边监视装置及程序
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
CN105539287B (zh) 周边监视装置
CN103596812B (zh) 停车辅助装置
US10732760B2 (en) Vehicle and method for controlling the vehicle
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
US10855954B2 (en) Periphery monitoring device
CN105644438A (zh) 车辆周边监视装置
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
WO2018150642A1 (ja) 周辺監視装置
JP7148064B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
CN112124092B (zh) 驻车辅助系统
US20210107511A1 (en) Parking assist apparatus
JP6720729B2 (ja) 表示制御装置
CN106476803B (zh) 车辆及其控制方法
JP2019156295A (ja) 走行制御装置、車両および走行制御方法
JP2020121638A (ja) 表示制御装置
US11830409B2 (en) Peripheral image display device
US20230311658A1 (en) Control device and moving object
JP2020120337A (ja) 表示制御装置
JP2021009642A (ja) 運転情報制御装置および運転情報制御システム
JP2021047612A (ja) 表示システム、車両及び携帯装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant