CN107431787A - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN107431787A
CN107431787A CN201680019578.9A CN201680019578A CN107431787A CN 107431787 A CN107431787 A CN 107431787A CN 201680019578 A CN201680019578 A CN 201680019578A CN 107431787 A CN107431787 A CN 107431787A
Authority
CN
China
Prior art keywords
vehicle
image
underbody
information
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019578.9A
Other languages
English (en)
Other versions
CN107431787B (zh
Inventor
久保田尚孝
渡边矢
渡边一矢
山本欣司
中所孝之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN107431787A publication Critical patent/CN107431787A/zh
Application granted granted Critical
Publication of CN107431787B publication Critical patent/CN107431787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

由于仅显示后轮的后方的区域而对驾驶员的辅助不充分。周边监控装置例如包括第一存储部，其存储具有多个车轮的车辆的行进方向的路面信息；控制部，其根据所述路面信息，生成与包含所有车轮的至少一部分的区域的车辆的车底下区域相关的车底下信息；非易失性的第二存储部，其在车辆的驱动结束时，存储车底下信息；以及显示部，其在车辆的驱动开始时显示车底下信息，其中，控制部使显示部至少显示按车辆行进方向与包含从前轮的后端部的区域至后轮的前端部的区域的车辆的车底下区域相关的车底下信息、以及与包含所有车轮的接地区域的车辆的车底下区域相关的车底下信息中的任一方。

Description

周边监控装置
技术领域
本发明涉及周边监控装置。
背景技术
以往有如下的公知技术：将汽车等车辆的车底下的一部分、例如后轮后方的区域的图像作为车底下信息显示于显示装置，来辅助驾驶。
在先技术文献
专利文献
专利文献1：日本专利第3797343号公报
专利文献2：日本专利第4724522号公报
专利文献3：日本专利第5067632号公报
发明内容
发明所要解决的问题
然而，在以往的技术中，仅表示后轮的后方区域的图像，因此仍存在对驾驶员提供的辅助并不充分的问题。
用于解决问题的方法
本发明实施方式的周边监控装置，例如，包括：第一存储部，其存储具有多个车轮的车辆的行进方向的路面信息；控制部，其根据路面信息，生成与包含所有车轮的至少一部分的区域的车辆的车底下区域相关的车底下信息；非易失性的第二存储部，其在车辆的驱动结束时，存储车底下信息；以及显示部，其在车辆的驱动开始时，显示车底下信息。
如上所述，周边监控装置显示包含车辆的所有车轮的区域的车底下信息。由此，周边监控装置能够向驾驶员提供所有车轮的附近的车底下信息。而且，在驱动结束时，周边监控装置将车底下信息存储在非易失性的第二存储部中。因此，在驱动开始后，周边监控装置几乎无需进行图像处理等信息处理而能够迅速提供车底下信息。
此外，在上述周边监控装置中，例如也可以是，控制部在车辆的驱动开始后，使显示部显示将车底下信息与当前周围信息合成而得到的合成信息，该当前周围信息对应于车辆的当前的周围的信息。由此，周边监控装置能够提供在驱动开始后提供当前信息时无法获取的车底下信息，而且对于车辆的周围的信息，能够提供当前的状况。
此外，在上述周边监控装置中，例如也可以是，控制部使显示部以不同的形式显示车底下信息和当前周围信息。由此，周边监控装置能够使驾驶员了解到车底下信息和当前周围信息是分别基于不同状况的。
此外，在上述周边监控装置中，例如也可以是，路面信息是路面的拍摄图像，当前的周围的信息是拍摄当前的车辆的周围而得到的拍摄图像，控制部使显示部将从黑白图像、灰色图像和棕黑色图像的图像形式中选择出的一种图像形式的车底下信息的图像与彩色图像形式的当前周围信息的图像合成显示。这样，周边监控装置以颜色不同的图像形式显示车底下信息的图像和当前周围信息的图像，因此容易使驾驶员了解到两个图像是基于不同的状况的。
此外，在上述周边监控装置中，例如也可以是，第二存储部存储与在车辆的驱动结束之前的车辆的周围的信息对应的先前周围信息，控制部使显示部将路面信息与先前周围信息合成显示。由此，周边监控装置通过从第二存储部获取车底下信息和先前周围信息，而不是在驱动开始后才获取周围的信息，能够向驾驶员迅速地提供周围信息。
此外，在上述周边监控装置中，例如也可以是，控制部使显示部显示按车辆的行进方向与包含从前轮的后端部的区域至后轮的前端部的区域的车辆的车底下区域相关的车底下信息。由此，周边监控装置能够向驾驶员提供包含从前轮的后端部至后轮的前端部的区域的车底下信息。
此外，在上述周边监控装置中，例如也可以是，控制部使显示部显示与包含所有车轮的接地区域的车辆的车底下区域相关的车底下信息。由此，周边监控装置能够向驾驶员提供包含所有车轮的接地区域的车底下信息。
附图说明
图1是搭载有实施方式的周边监控装置的车辆的一个示例的立体图，其中以透视状态表示车室的一部分。
图2是表示搭载有实施方式的周边监控装置的车辆的一个示例的俯视图(鸟瞰图)。
图3是表示包含实施方式的周边监控装置的周边监控系统的一个示例的框图。
图4是表示周边监控部的结构的框图，该周边监控部实现于实施方式的周边监控装置的周边监控ECU内。
图5是表示实施方式的车辆的拍摄部的拍摄区域的侧视图。
图6是按时刻表示搭载有实施方式的周边监控装置的车辆的拍摄部的拍摄区域的俯视图。
图7是表示实施方式的周边监控装置的光流计算部所计算的光流的概念的图。
图8是表示实施方式的周边监控装置的循环缓存的结构的图。
图9是表示实施方式的周边监控装置使显示装置显示的图像的一个示例的图。
图10是表示实施方式的周边监控装置使显示装置显示的图像的另一示例的图。
图11是表示在实施方式的周边监控装置中的生成处理的步骤的流程图。
图12是表示在实施方式的周边监控装置中的图像显示处理的步骤的流程图。
图13是表示实施方式的周边监控装置使显示装置显示的车底下图像的另一示例的图。
图14是表示实施方式的周边监控装置使显示装置显示的车底下图像的另一示例的图。
具体实施方式
在下述实施方式中，具有多个车轮(例如四轮)的车辆1例如可以是以内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达，未图示)作为驱动源的汽车(电动汽车、燃料电池汽车等)。此外还可以是以上述双方作为驱动源的汽车(混合动力汽车)。此外，车辆1可以搭载各种变速装置，并且可以搭载用于驱动内燃机或电动机所需的各种装置(系统、部件等)。此外，对于车辆1中与车轮3的驱动有关的装置的方式、数量、布局等可以进行各种设定。
如图1所示，实施方式的车身2构成供乘客(未图示)乘坐的车室2a。在车室2a内，以面向作为乘客的驾驶员的座椅2b的状态，设置有转向操作部4、加速操作部5、制动操作部6、变速操作部7等。在本实施方式中，转向操作部4例如是从仪表板(instrument panel)突出的方向盘，加速操作部5例如是位于驾驶员脚下的油门踏板。另外，制动操作部6例如是位于驾驶员脚下的制动踏板，变速操作部7例如是从中央控制台突出的变速杆。不过，不限于这些。
此外，在车室2a内设置有显示装置8(显示输出部)和声音输出装置9(声音输出部)。显示装置8例如是LCD(liquid crystal display，液晶显示器)或OELD(organicelectroluminescent display，有机电致发光显示器)等。声音输出装置9例如是扬声器。此外，在本实施方式中，例如，显示装置8由透明的操作输入部10(例如，触控面板等)覆盖。乘客等能够透过操作输入部10视觉确认在显示装置8的显示画面中显示的影像(图像)。此外，乘客通过在与显示装置8的显示画面中显示的影像(图像)对应的位置用手指等对操作输入部10进行触碰、按压或移动等操作，能够执行操作输入(指示输入)。此外，在本实施方式中，例如，显示装置8、声音输出装置9、操作输入部10等均设置在位于仪表板的车宽方向(左右方向)上中央部的监控装置11中。监控装置11可以具有开关、旋钮、控制杆、按钮等操作输入部(未图示)。此外，也可以在监控装置11以外的、车室2a内的其它位置设置声音输出装置(未图示)，并可以从监控装置11的声音输出装置9和其它声音输出装置输出声音。另外，在本实施方式中，例如，监控装置11兼用于导航系统或音响系统，但也可以设置与这些系统分开的周边监控装置用监控装置。
此外，如图1、图2所示，在本实施方式中，例如，车辆1是四轮车(四轮汽车)，具备左右两个前轮3F和左右两个后轮3R。并且，例如前轮3F的轮胎角度与转向操作部4(方向盘)的操作对应地产生变化(转向)。转向系统12(参照图3)例如是电动助力转向系统或SBW(steerby wire，线控转向)系统等。如图3所示，转向系统12通过致动器12a对转向操作部4施加转矩来补充转向力，来使车轮3转向。
此外，在本实施方式中，如图2所示，例如在车辆1(车身2)上设置有多个(在本实施方式中，例如四个)拍摄部16(16a～16d)。拍摄部16例如是内置有CCD(charge coupleddevice，电荷耦合器件)或CIS(CMOS image sensor，CMOS图像传感器)等拍摄元件的数字摄像头。拍摄部16能够以规定的帧率输出拍摄图像数据(动态图像数据、帧数据)。拍摄部16分别具有广角透镜，在水平方向上能够拍摄(摄像)例如140°～220°的范围(视角)。此外，拍摄部16的光轴被设定为朝向下方(例如，铅垂方向或斜下方)。因此，拍摄部16能够拍摄包含车辆1可移动的路面和该路面的上方区域在内的车身2周边的外部环境。
在本实施方式中，例如，拍摄部16a位于车身2的前侧(车辆前后方向的前方侧)的端部2c(俯视时的端部)，设置于前格栅等。拍摄部16b位于车身2的左侧(车宽方向的左侧)的端部2d，设置于左侧的车门后视镜2g(突出部)。此外，作为第一拍摄部发挥功能的拍摄部16c位于车身2的后侧(车辆前后方向的后方侧)的端部2e，设置在后备箱门2h的下方的壁部。拍摄部16d位于车身2的右侧(车宽方向的右侧)的端部2f，设置在右侧的车门后视镜2g(突出部)。此外，本实施方式并不限定摄像头的搭载方式，只要设置成能够获取相对于车辆的前方向的拍摄图像数据、左右侧方向的拍摄图像数据、以及后方向的拍摄图数据即可。
周边监控ECU14(参照图3)能够基于通过多个拍摄部16获得的拍摄图像数据执行运算处理和图像处理，并将该图像处理后的摄像图像数据显示在显示装置8中。此外，如后所述，例如将用于拍摄(摄像)车辆前方的拍摄部16a所拍摄的拍摄图像数据，直接作为表示当前的车辆周围的情况的当前图像而利用。并且，通过存储该拍摄图像数据，将作为当前图像利用了的拍摄图像数据，直接用作表示先前的车辆的车底下和周围的情况的拍摄图像数据，来表示先前的图像。
此外，在本实施方式中，例如如图3所示，在周边监控系统(周边监控装置)100中，除了周边监控ECU14(electronic control unit，电子控制单元)、监控装置11等以外，还有制动系统18、转向角传感器19(角度传感器)、油门传感器20、档位传感器21、车轮速度传感器22、加速度传感器26等经由车内网络23(电子通信线路)电连接。车内网络23例如构成为CAN(controller area network，控制器局域网)。周边监控ECU14通过车内网络23发送控制信号，由此能够控制制动系统18等。此外，周边监控ECU14能够经由车内网络23接收转矩传感器12b、制动传感器18b、转向角传感器19、油门传感器20、档位传感器21、车轮速度传感器22、加速度传感器26等的检测结果。此外，周边监控ECU14能够接收操作输入部10等的指示信号(控制信号、操作信号、输入信号、数据)。
在本实施方式中，车辆1设置有两个加速度传感器26(26a、26b)。此外，在本实施方式中，车辆1是搭载有ESC(electronic stability control，电子稳定控制系统)的车辆。并且采用搭载有ESC的车辆以往所搭载的加速度传感器26(26a、26b)。此外，本实施方式并不限定加速度传感器，只要是能够检测车辆1的左右方向上的加速度的传感器即可。在本实施方式中，导出前后方向上的加速度以及左右方向上的加速度。
周边监控ECU14例如具有CPU14a(central processing unit，中央处理单元)、ROM14b(read only memory，只读存储器)、RAM14c(random access memory，随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(solid state drive，固态硬盘；快闪存储器)等。CPU14a例如执行与在显示装置8上显示的图像相关的图像处理、车辆1的移动路径的运算、是否与物体发生干扰的判断等各种运算处理。CPU14a读取在ROM14b等非易失性存储装置中存储(安装)的程序，并根据该程序执行运算处理。RAM14c是第一存储部的一个示例。SSD14f是非易失性的第二存储部的一个示例。
RAM14c临时存储CPU14a中的运算所使用的各种数据。此外，显示控制部14d在周边监控ECU14的运算处理中，主要执行使用拍摄部16所获得的拍摄图像数据进行的图像处理、以及在显示装置8上显示的拍摄图像数据的图像处理(例如合成等)。此外，声音控制部14e在周边监控ECU14的运算处理中，主要执行由声音输出装置9输出的声音数据的处理。此外，SSD14f是可改写的非易失性存储部，即使在周边监控ECU14的电源断开的情况下也能够存储数据。另外，CPU14a、ROM14b、RAM14c等可以集成在同一封装体内。此外，周边监控ECU14也可以使用DSP(digital signal processor，数字信号处理器)等其它逻辑运算处理器或逻辑电路等来取代CPU14a。此外，作为非易失性的第二存储部，可以设置HDD(hard diskdrive，硬盘驱动器)来取代SSD14f，SSD14f或HDD也可以与周边监控ECU14分开设置。
图4是表示周边监控部400的结构的框图，该周边监控部400实现于本实施方式的周边监控ECU14内。作为图3的周边监控ECU14而被构成的CPU14a执行在ROM14b(计算机可读取的记录介质)内存储的软件，从而实现图4所示的获取部401、角度计算部402、保存处理部403、接收部405和显示处理部406。另外，软件(程序)可以通过计算机可读取的其它记录介质来提供。此外，周边监控部400在RAM14c上实现循环缓存404。
图5是表示本实施方式的车辆1的拍摄部16a的拍摄区域的侧视图。图6是按时刻表示搭载有本实施方式的周边监控系统100的车辆1的拍摄部16的拍摄区域的俯视图。其中，图6的时刻t＝4表示车辆1停车的状态。因此，图6的时刻t＝4的状态可以说是停车的车辆1的先前的状态，也可以说是从停车状态起步的当前的车辆1的状态。此外，图6的时刻t＝0～3是向前方行进的车辆1即将停车的状态。
如图5和图6所示，拍摄部16a拍摄车辆1的行进方向的路面、以及该路面的上方(重力方向的相反方向)的、至少包含地平线的区域。然而，正在停车或停止的车辆1的车轮3附近的路面501未包含在拍摄部16a当前拍摄的拍摄区域502e中。而且，由于车辆1的保险杠的配置等的影响(即，由于车辆1的构造的原因)，难以将车轮3F附近的车底下包含在拍摄区域中。
因此，驾驶员(使用者)即使在停车的车辆1中视觉确认当前拍摄的拍摄图像数据，也很难确认车辆1的前轮3F附近是否存在障碍物560(参照图9)等。因此，在本实施方式中，作为控制部发挥功能的周边监控部400能够显示由拍摄部16a先前拍摄的拍摄图像数据生成的图像。先前拍摄的拍摄图像数据，换言之，意味着在比车辆1的当前位置处于后方的位置拍摄到的拍摄图像数据，例如，在图5和图6的示例中，可以说是与车辆1的当前位置(例如停车位置)的车底下区域或车底下区域的一部分对应的拍摄图像数据。车底下区域是指车辆1的铅垂下方的区域，换言之，是将车辆1投影到路面所得到的区域。因此，车辆1在向前方行进的情况下，拍摄部16a拍摄包含路面的区域所生成的先前的拍摄图像数据是车辆行进方向的路面的信息即路面信息以及路面的拍摄图像的一个示例。
例如，周边监控部400可以向驾驶员提示时刻t＝2的拍摄区域502c的图像，作为在即将停车的向前方行进的车辆1的后方的位置(达到t＝4时车辆1的停车位置之前的位置)由拍摄部16a拍摄的拍摄图像数据的图像。拍摄区域502c包含路面501c，因此驾驶员能够确认前轮3F附近的路面501c。周边监控部400可以向驾驶员提示时刻t＝0的拍摄区域502a的图像，作为在向前方行进的车辆1的更为后方的位置由拍摄部16a拍摄的拍摄图像数据的图像。拍摄区域502a包含路面501a，因此驾驶员能够确认后轮3R附近的路面501a。周边监控部400可以向驾驶员提示时刻t＝1的拍摄区域502b的图像，作为在向前方行进的车辆1的后方的位置由拍摄部16a拍摄的拍摄图像数据的图像。拍摄区域502b包含路面501b，因此驾驶员能够确认前轮3F与后轮3R之间的路面501b。周边监控部400可以向驾驶员提示时刻t＝3的拍摄区域502b的图像，作为在向前方行进的车辆1的后方的位置由拍摄部16a拍摄的拍摄图像数据的图像。拍摄区域502b包含路面501d，因此驾驶员能够确认前轮3F的前方的路面501d。
此外，周边监控部400也可以对于左右侧方的周边图像，也由在即将停车的向前方行进的车辆1的先前的拍摄图像数据生成图像，并提供给驾驶员。周边监控部400可以向驾驶员提示在时刻t＝0、1、2、3、4的各时刻拍摄的拍摄区域504a、504b、504c、504d、504e的图像，作为在向前方行进的车辆1的后方的位置(达到车辆1的停车位置之前的位置)由拍摄部16d拍摄的右方周边的拍摄图像数据的图像。拍摄区域504a至504e包含拍摄部16d无法一次拍摄的区域，因此周边监控部400能够向驾驶员提供较宽区域的周边图像。同样，周边监控部400可以向驾驶员提示在时刻t＝0、1、2、3、4的各时刻拍摄的拍摄区域506a、506b、506c、506d、506e的图像，作为左方周边的拍摄图像数据的图像。然而，如果需要降低处理负荷，则可以仅显示拍摄区域504e的图像。
此外，周边监控部400也可以对于后方的周边图像，也由在即将停车的向前方行进的车辆1的先前的拍摄图像数据生成图像，并提供给驾驶员。周边监控部400可以向驾驶员提示在时刻t＝0、1、2、3、4的各时刻拍摄的拍摄区域506a、506b、506c、506d、506e的图像，作为在向前方行进的车辆1的后方的位置(达到车辆1的停车位置之前的位置)由拍摄部16c拍摄的车辆1的后方周边的拍摄图像数据的图像。拍摄区域506a至506e包含拍摄部16d无法一次拍摄的区域，因此周边监控部400能够向驾驶员提供较宽区域的拍摄图像数据的图像。由此，驾驶员能够在确认路面501和周边的情况后进行驾驶，能够容易识别障碍物560等，因此，驾驶员的负担得到减轻。
接下来，返回图4，说明周边监控部400的结构。获取部401从车辆1所具备的各种传感器等获取各种信息。本实施方式的获取部401获取从设置于车辆1的用于拍摄该车辆1的周边的拍摄部16a～16d输出的拍摄图像数据、以及从设置于该车辆1的加速度传感器26a、26b输出的加速度数据。获取部401将获取的信息输出到角度计算部402和保存处理部403。
此外，获取部401使拍摄的时刻和检测加速度的时刻大致一致的拍摄图数据与加速度数据相关联。
角度计算部402基于加速度传感器26a、26b所获取的加速度数据，计算车辆1的倾斜角度(俯仰角和侧倾角)。其中，俯仰角是表示车辆1绕左右轴的倾斜度的角度，侧倾角是表示车辆1绕前后轴的倾斜度的角度。
此外，角度计算部402使根据加速度数据计算出的俯仰角和侧倾角，与关联于该加速度数据的拍摄图像数据相关联。由此能够确认在拍摄到拍摄图像数据时的车辆1的俯仰角和侧倾角。
保存处理部403包括旋转控制部411、图像生成部412、光流计算部413、位置推测部414和保存部415，生成用于显示在显示装置8的图像数据，并将其与拍摄部16所拍摄(摄像)的拍摄图像数据一起保存。
旋转控制部411对由拍摄部16a所拍摄的、拍摄到车辆1的前方(行进方向)周边的拍摄图像数据进行旋转校正。
本实施方式的旋转控制部411以拍摄图像数据的显示区域内的、与拍摄部16a中用于拍摄的镜头的中心对应的位置坐标为原点，根据与该拍摄图像数据相关联的俯仰角进行旋转校正。其中，旋转校正的对象不限于拍摄部16a所拍摄的拍摄图像数据，例如也可以是拍摄部16c所拍摄的、拍摄到车辆1的后方周边的拍摄图像数据。
图像生成部412基于拍摄图像数据，生成从上方俯瞰车辆1的行进方向的、该车辆1周边的地面来获得的车底下图像等的鸟瞰图图像数据。另外，图像生成部412可以使用旋转校正后的拍摄图像数据来生成鸟瞰图图像数据。从拍摄图像数据生成俯瞰图图像数据的方法可以采用任意的方法，例如可以使用映射表来转换。此外，图像生成部412也可以根据鸟瞰图图像数据一并生成车底下图像的俯视图像数据。
鸟瞰图图像数据可以每当获取拍摄图像数据时生成。换言之，图像生成部412在基于通过旋转控制部411进行了旋转校正的第一拍摄图像数据生成第一鸟瞰图图像数据以后，基于在拍摄(摄像)该第一拍摄图像数据后车辆1移动之后由拍摄部16拍摄且由旋转控制部411进行了旋转控制的第二拍摄图像数据，生成第二鸟瞰图图像数据。
光流计算部413基于图像生成部412所计算出的鸟瞰图图像数据来计算光流。光流是以矢量表示被拍摄在鸟瞰图图像数据中的物体的移动的信息。通过计算光流，能够推测出车辆1的移动量。
本实施方式的光流计算部413通过比较图像生成部412所生成的鸟瞰图图像数据和上次更新时所使用的鸟瞰图图像数据，来计算光流。此外，也可以比较来自拍摄部16的图像数据或其一部分来计算光流。
然而，如果对整个鸟瞰图图数据进行比较则处理负担太大，于是，本实施方式的光流计算部413对于图像生成部412所生成的鸟瞰图图像数据内的预定的区域进行比较。
具体而言，本实施方式的光流计算部413从上次更新时使用的第一鸟瞰图图像数据和在第一鸟瞰图图像数据之后生成的第二鸟瞰图图像数据，分别截取预定的区域来计算光流。此外，也可以仅对预定区域生成鸟瞰图。
图7是表示由光流计算部413计算的光流的概念的图。图7的(A)设为从上次更新时使用的第一鸟瞰图图像数据中截取出的预定范围的图像数据，图7的(B)设为从本次在图像生成部412生成的第二鸟瞰图图像数据中截取出的预定范围的图像数据。
然后，光流计算部413在图7的(A)所示的图像数据和图7的(B)所示的图像数据之间，计算以矢量表示所显示物体(的特征点)的转移的光流。图7的(C)表示计算出的光流的一个示例。在图7的(C)所示的示例中，表示图7的(A)内显示的特征点(用“×”表示)移动到图7的(B)内显示的特征点(用“×”表示)时的矢量的长度。
然后，位置推测部414根据光流计算部413所计算出的光流的平均值，计算车辆1的移动量，从而推测车辆1的当前位置。此外，也可以根据检测出的各光流直接计算移动量。
此外，在本实施方式中，利用光流来推测车辆1的当前位置。这是因为，想要把握车辆1的前轮3F附近等车辆1的车底下状况的情况，多是进行越野行驶的情况。在越野行驶中，由于受到不平路面等的影响，车轮3会发生空转等。在这种情况下，如果基于车轮3的转数来推测车辆1的移动量，则产生误差的可能性很大。所以，在本实施方式中基于光流来推测车辆1的移动量和位置。在车轮3没有产生打滑的情况下，可以根据车轮3的旋转和转向角来计算移动量和方向，从而推测当前位置。
在满足了上次保存后车辆1的移动量达到阈值距离以上的条件时，保存部415将由旋转控制部411进行校正后的拍摄图像数据与车辆1的位置信息一起保存在循环缓存404中。本实施方式并不限定阈值距离，例如可以是0.3m、0.5m等。
循环缓存404使拍摄部16输出的当前的拍摄图像数据与拍摄时的信息相关联并将其存储。图8是表示循环缓存404的结构的图。如图8所示，循环缓存404使拍摄图像数据与该拍摄图像数据的拍摄时的车辆1的倾斜度(行进方向)及车辆1的位置信息相关联，分别对每个拍摄部16a至16d，存储拍摄图像数据。
如图8所示，循环缓存404是逻辑上配置成环状的缓存。在循环缓存404中，根据保存部415的保存请求，对最早更新的区域，用该请求保存的拍摄图像数据等进行覆盖并保存。
返回图4，接收部405接收操作输入部10等的指示信号(控制信号)。指示信号的一个示例为，与后述的先前图像的显示与当前图像的显示之间的切换指示相关的信号。
显示处理部406包括图像选择部421和输出部422，根据接收部405所接收的操作，进行对显示装置8的显示处理。
在接收部405未接收到显示当前图像时，图像选择部421选择SSD14f中存储的先前图像作为显示的图像。在接收部405接收到显示当前图像时，图像选择部421选择SSD14f中存储的车底下图像、以及由当前拍摄中的拍摄图像数据生成的当前图像作为显示的图像。
输出部422使显示装置8显示由图像选择部421所选择出的先前图像或当前图像。
图9是表示实施方式的周边监控系统100使显示装置8显示的图像的一个示例的图。另外，在图9中，对车底下图像520附加了点影线(dot hatching)。如图9所示，例如，在车辆1的驱动状态变成“ON(开)”时，周边监控部400使显示装置8显示车底下图像520、以及合成先前的周围图像522、524、526、528所得到的先前图像500，提供给驾驶员。车底下图像520是车底下信息的一个示例。车底下图像520是在停车的车辆1下方的路面501中车底下区域530的图像。先前的周围图像522、524、526、528是与在车辆1的驱动状态变成“OFF(关)”之前的车辆1的周围的信息对应的图像。先前的周围图像522、524、526、528是先前周围信息的一个示例。在图9所示的示例中，车底下图像520是包含停车中的当前的多个车轮3的全部区域的车底下的图像。车轮3的全部区域是指，例如将全部的车轮3投影到路面501所得到的区域。在图9所示的示例中，周边监控部400显示基于鸟瞰图的车底下图像520，但也可以显示基于俯视图等其它制图法的车底下图像520。
驱动状态为“ON”是车辆1的驱动开始的情况的一个示例，驱动状态变成“ON”是指，例如能够将电源提供给车辆1的各种仪表、灯、空调和汽车导航系统等全部电子设备的状态即是将点火开关等开关设定成“ON”的状态。另外，驱动状态变成“ON”也可以是指，例如内燃机(例如引擎)或电动机(例如马达)等使车辆1移动的驱动源变成“ON”的状态。
驱动状态为“OFF”是车辆1的驱动结束的情况的一个示例。驱动状态变成“OFF”是指，例如开始向车辆1的各种仪表、灯、空调和汽车导航系统等全部电子设备的供电停止的状态即是将点火开关等开关设定成“OFF”的状态。另外，驱动状态变成“OFF”也可以是指，例如内燃机(例如引擎)或电动机(例如马达)等使车辆1移动的驱动源变成“OFF”的状态。
例如，在周边监控部400中，图像生成部412基于车辆1的位置信息，将在不同时刻拍摄到的多个拍摄区域502a～502d的拍摄图像数据的图像进行合成，从而生成包含车辆1的整个车底下区域的一张车底下图像520。另外，周边监控部400也可以基于车辆1的位置信息并基于从转向角传感器19获取的转向角的数据等来生成车底下图像520。这里，图像生成部412也可以将表示车轮3的位置的车轮图像513重合在车底下图像520的区域内的当前的该车轮3的位置上。在图9所示的示例中，车轮图像513F对应于前轮3F的图像，而车轮图像513R对应于后轮3R的图像。也可以使车轮图像513F基于通过转向角传感器19获取的信息向左或右倾斜。
图像生成部412根据拍摄区域502e的拍摄图像数据，生成前方区域532的周围图像522。图像生成部412基于车辆1的位置信息，将拍摄区域504a至504e的拍摄图像数据进行合成，生成右方区域536的周围图像526。图像生成部412基于车辆1的位置信息，将拍摄区域506a至506e的拍摄图像数据进行合成，生成左方区域534的周围图像524。图像生成部412基于车辆1的位置信息，将拍摄区域508a至508e的拍摄图像数据进行合成，生成后方区域538的周围图像528。图像生成部412将车底下图像520和前后左右的周围图像522、528、524、526进行合成，生成先前图像500。其中，先前的周围图像522、528、524、526的区域大小ARa例如是实际的车辆1的周围50cm。图像生成部412也可以在车底下图像520和先前图像500的生成条件中，追加车辆1的速度小于阈值、例如时速小于数km的条件。由此，图像生成部412可以省略在车辆1即将停车时以外的不必要的图像生成处理。
在周边监控部400中，保存部415将图像生成部412所生成的车底下图像520和先前图像500存储在RAM14c中。在车辆1的驱动状态变成OFF时，保存部415将存储在RAM14c中的车底下图像520和先前图像500存储在SSD14f中。保存部415将车底下图像520和先前图像500存储在SSD14f之后，可以消除拍摄图像数据。由此，周边监控部400能够降低车底下图像的生成等所需要的存储容量。
图10是表示实施方式的周边监控系统100使显示装置8显示的图像的另一示例的图。在车辆1的驱动状态变成“ON“后，周边监控部400可以将车底下图像550与拍摄部16当前拍摄的周围的拍摄图像数据所对应的当前的周围图像552、554、556、558进行合成得到的图像作为当前图像540，使显示装置8将其显示。拍摄部16当前拍摄的周围的拍摄图像数据是车辆1的当前的周围的信息的一个示例。当前的周围图像552、554、556、558是当前周围信息的一个示例。当前图像540是合成信息的一个示例。另外，在图10所示的例子中，周边监控部400显示的是基于俯视图的车底下图像550，但也可以显示基于鸟瞰图等其它制图法的车底下图像。车底下图像550和车轮图像514是将上述的车底下图像520和车轮图像513分别转换为俯视图所得到的图像。
在图10所示的当前图像540的示例中，图像生成部412根据拍摄部16a当前拍摄的周围的拍摄图像数据，生成前方区域的周围图像552。图像生成部412根据拍摄部16d、16b当前拍摄的周围的拍摄图像数据，生成左右的侧方区域的周围图像554、556。图像生成部412根据拍摄部16c当前拍摄的周围的拍摄图像数据，生成后方区域的周围图像558。图像生成部412将车底下图像550与周围图像552、554、556、558进行合成，来生成当前图像540。其中，周围图像552、554、556、558的区域大小ARb例如是车辆1的周围2m。
在图10所示的当前图像540中，周边监控部400可以使显示装置8以不同的形式显示作为先前的图像的车底下图像550和作为当前的图像的周围图像552、554、556、558。例如，周边监控部400通过改变要显示的图像的颜色，来使形式不同。在这种情况下，周边监控部400利用从黑白图像、灰色图像、以及棕黑色图像中选择出的一种图像形式来显示车底下图像550，并且以彩色图像(例如，保持拍摄到的颜色的彩色图像)的形式来显示当前的周围图像552、554、556、558。
此外，周边监控部400也可以使显示先前图像500时与显示图像540时的显示形式不同。例如，如上所述，周边监控部400可以在显示先前图像500时显示鸟瞰图的图像，而在显示当前图像540时以俯视图显示。此外，作为另一示例，周边监控部400可以改变用于显示图像的颜色。例如，周边监控部400可以将先前图像500以从黑白图像、灰色图像、以及棕黑色图像中选择出的一种图像形式进行显示。
对本实施方式的周边监控部400中的先前图像500的生成处理进行说明。图11是表示实施方式的周边监控系统100中的生成处理的步骤的流程图。
如图11所示，在先前图像500的生成处理中，保存部415将拍摄部16的拍摄图像数据保存在循环缓存404中(S1010)。
接着，保存部415判断车辆1的速度是否小于阈值速度(S1020)。换言之，在S1020的处理中，保存部415判断车辆1是否即将停车。保存部415如果判断为车辆1的速度不小于阈值速度、即，判断为还不是即将停车(S1020：“否”)，则判断车辆1是否从上次保存拍摄图像数据的位置移动了阈值距离以上(S1030)。阈值距离的一个示例是，至少为拍摄部16的拍摄区域在行进方向上的长度以上。保存部415例如可以通过将根据光流计算部413所计算的光流而推测出的移动量与阈值距离进行比较，来执行S1030的判断。
保存部415成为待机状态直到判断为车辆1移动了阈值距离以上为止(S1030：“否”)。如果判断为车辆1移动了阈值距离以上(S1030：“是”)，则保存部415再次回到步骤S1010并保存新的拍摄图像数据。此时，由于阈值距离是拍摄部16的拍摄区域在行进方向上的长度以上，所以保存部415能够保存在行进方向上其部分区域彼此重叠的多个拍摄图像数据。在对循环缓存404的全部容量已经保存有拍摄图像数据的情况下，保存部415消除最早的拍摄图像数据而保存新的拍摄图像数据。另外，保存部415可以除了阈值距离以外还考虑车辆1的转向角与预定的阈值角度(例如，2deg)的比较结果，来保存新的拍摄图像数据。之后，保存部415反复进行步骤S1010，直到判断为速度小于阈值速度为止。
如果保存部415判断为车辆1的速度小于阈值速度、即，判断为即将停车(S1020：“是”)，则图像生成部412获取保存于循环缓存404的多个拍摄图像数据(S1040)。
接着，图像生成部412将拍摄部16a所拍摄的不同时刻的多个路面501的拍摄图像数据转换为鸟瞰图后，对该多个图像进行合成来生成车底下图像520(S1050)。接着，图像生成部412生成将拍摄部16a～16d所拍摄的拍摄图像数据合成的图像，作为先前的周围图像522、528、524、526(S1060)。图像生成部412通过对车底下图像520与先前的周围图像522、528、524、526进行合成，生成如图9所示的先前图像500(S1070)。保存部415将车底下图像520和先前图像500保存在易失性的RAM14c(S1080)中。
接着，保存部415判断驱动状态是否为“OFF”(S1090)。如果判断为不是“OFF”(S1090:“否”)，则保存部415与S1030同样地判断车辆1是否从上次保存拍摄图像数据的位置移动了阈值距离以上(S1095)。如果判断为车辆1移动了阈值距离以上(S1095“是”)，则保存部415反复进行步骤S1010以后的处理。另一方面，在判断为车辆1没有移动阈值距离以上(S1095“否”)，则保存部415反复进行步骤S1090的处理。如果判断为驱动状态是“OFF”(S1090:“是”)，则保存部415获取在RAM14c中保存的车底下图像520和先前图像500，将该车底下图像520和先前图像500保存在非易失性的SSD14f中(S1100)。
接着，对在本实施方式的周边监控部400中的对包含车底下图像520、550的图像的显示处理进行说明。图12是表示在本实施方式的周边监控系统100中的图像显示处理的步骤的流程图。
如图12所示，在图像的显示处理中，图像选择部421判断驱动状态是否为“ON”(S2000)。如果判断为驱动状态是“ON”(S2000“是”)，则图像选择部421判断接收部405是否接收到显示当前图像(S2010)。如果判断为接收部405没有接收到显示当前图像(S2010“否”)，则图像选择部421获取在SSD14f中保存的先前图像500，将其输出到输出部422(S2020)。输出部422将获取的先前图像500显示在显示装置8上(S2030)，并结束显示处理。
另一方面，如果判断为接收部405接收到显示当前图像(S2010：“是”)，则图像选择部421为了选择并显示当前图像540，使图像生成部412获取当前的拍摄图像数据(S2040)。图像生成部412根据获取拍摄图像数据，生成当前的周围图像552、554、556、558(S2050)。图像生成部412获取在SSD14f中保存的车底下图像520(S2060)，对车底下图像520与当前的周围图像552、554、556、558进行合成，生成如图9所示的当前图像540，将其输出到输出部422(S2070)。此时，图像生成部412可以使包含于当前图像540的作为先前的图像的车底下图像550的图像形式与周围图像552、554、556、558的图像形式不同。输出部422将获取的当前图像540显示在显示装置8上(S2030)，并结束显示处理。
如上所述，周边监控系统100显示包含车辆1的所有车轮3的至少一部分的区域的车底下图像520、550。由此，周边监控系统100能够向驾驶员提供较宽区域的车底下图像520、550。特别是，通过将所有车轮3的全部区域包含在车底下图像520、550中，周边监控系统100能够向驾驶员提供车轮3附近的挡轮块、挡板、路面的凹坑等的位置。
在周边监控系统100中，在驱动状态变成“OFF”时，将车底下图像520存储在SSD14f中。由此，在驱动状态变成“ON”时，周边监控系统100能够从SSD14f获取车底下图像520，迅速地提供包含车底下图像520、550的图像。
周边监控系统100能够向驾驶员提供包含作为先前的图像的车底下图像550以及作为当前的图像的周围图像552、554、556、558在内的当前图像540。由此，周边监控系统100实现了在提供时无法拍摄的车底下图像550的提供，并且关于周围图像552、554、556、558，能够提供最新的状况。
在周边监控系统100中，在显示作为先前的图像的车底下图像550和作为当前的图像的周围图像552、554、556、558混合存在的当前图像540时，以与周围图像552、554、556、558不同的图像形式显示车底下图像550，因此能够容易使驾驶员了解到车底下图像550为先前的状态。
在周边监控系统100中，生成包含在驱动状态变成“OFF”之前的车底下图像520和周围图像522、524、526、528的先前图像500，并在驱动状态变成“OFF”时存储在SSD14f中。由此，在周边监控系统100中，在驱动状态变成“ON”后，无需获取当前的周围的信息，而能够迅速地提供包含车底下图像520的先前图像500。
在周边监控系统100中，根据在车辆1停车之前的拍摄图像数据来生成车底下图像520、550。由此，周边监控系统100无需另外设置仅用于拍摄车底下图像520、550的拍摄部，因而能够使结构简化。
以下说明对上述的实施方式进行局部的变更的变形示例。
在上述的周边监控系统100中，周边监控部400将车辆1车底下的大致全部区域的图像作为车底下图像520、550，但车底下图像不限于此。周边监控部400也可以根据作为路面信息的拍摄图像数据，生成在驱动状态变成“ON”的状态下的、与包含多个车轮3中的所有车轮3的至少一部分的区域的车辆1的车底下区域相关的车底下图像。例如，周边监控部400可以使显示装置8显示按车辆1的行进方向与包含从前轮3F后端部的区域至后轮3R前端部的区域的车辆1的车底下区域相关的车底下图像620作为车底下信息。如图13所示，在这种情况下也能够向驾驶员提供前轮的车轮图像513F的后端部与后轮的车轮图像513R的前端部之间的区域的车底下图像620。此外，周边监控部400也可以将包含所有车轮3的接地区域的与车辆1的车底下区域相关的车底下图像620作为车底下信息显示在显示装置8。如图14所示，在这种情况下，作为车底下信息，也能够向驾驶员提供作为所有车轮3的接地区域而包含车轮图像513的前后方向的中央部区域在内的车底下图像621。
上述的周边监控系统100根据由拍摄部16所拍摄的拍摄图像数据，生成包含车底下图像520、550等的先前图像500和当前图像540，但是也可以基于拍摄部16以外的传感器等所生成的路面信息和周边的信息，来生成的先前图像500和当前图像540。传感器的一个示例是声纳或雷达等。可以基于这些传感器所生成的路面信息来生成车底下图像和周围图像并进行显示。在这种情况下，周边监控系统100例如可以将挡轮块、挡板、路面的凹坑等路面上的凹凸，以线图、多边形图像和三维地图图像中的任一种显示，来提供车底下图像520、550等。生成路面信息和周围信息的装置的其它示例，可以是周边的V2X(Vehicle to X，车联网技术)等的可通信模块。进而，还可以通过选自拍摄部16、雷达、声纳及通信模块中的多个装置来生成路面信息和周围信息。在这种情况下，例如，周边监控系统100可以通过雷达等来检测包含在根据拍摄部16所拍摄的拍摄图像数据生成的车底下图像520、550等中的障碍物560，并强调显示该障碍物560的图像。此外，在多个传感器生成路面信息和周围信息的情况下，可以将视点转换到车辆1的侧方所得到的车底下图像、或者将行进方向的周围图像扩大所得到的图像等，与先前图像500可切换地进行显示。
对于上述的周边监控系统100，提出了将根据拍摄图像数据生成的车底下图像520和先前图像500进行保存的示例，但也可以将车底下图像520和先前图像500转换为边缘化或二值化的线图或编解码数据流等并进行保存。由此，周边监控系统100能够降低与车底下图像520和先前图像500对应的信息的保存容量。
对于上述的周边监控系统100，作为当前图像540的显示形式提出了将作为先前的图像的车底下图像550转换为黑白图像等而以不同于当前的周围图像552、554、556、558的显示形式进行显示的示例，但也可以采用其它显示形式来显示车底下图像550。例如，可以采用线图、透明图像、半透明图像以及计算机图像信息等显示形式来显示车底下图像550。
周边监控系统100可以以车辆1车锁被打开为条件，对智能手机或平板电脑终端等便携式高性能终端，提供车底下图像520或包含车底下图像520的先前图像500。此外，周边监控系统100也可以预先(例如，在将车底下图像520和先前图像500保存在SSD14f时)对便携式终端提供车底下图像520和先前图像500。
对于上述的周边监控系统100，举出了能够根据驾驶员的指示，切换地显示包含车底下图像520和先前的周围图像522、524、526、528的先前图像500、以及包含车底下图像550和当前的周围图像552、554、556、558的当前图像540的示例，但也可以构成为仅显示其中一方。
上述的周边监控系统100可以在保存车底下图像550的同时，还保存停车开始时刻或驱动状态变成“OFF”的时刻。在这种情况下，如果从上次的驱动状态经过了较长时间(例如，几年)，则周边监视系统100即使在驱动状态变成“ON”时，也省略先前图像500和当前图像540的显示处理。如果从上次的驱动状态仅经过了较短时间，则周边监控系统100可以获取驱动状态变成“ON”时的亮度信息并显示更新了亮度信息的先前图像500，也可以显示包含车底下图像550和当前的周围图像552、554、556、558的当前图像540。
上述的周边监控系统100根据在不同时刻拍摄的多个拍摄图像数据生成包含车辆1的整个车底下区域的一张车底下图像，但是如果拍摄部16的拍摄区域较大，则也可以根据一个拍摄图像数据生成一张车底下图像。
对于上述的周边监控系统100，举出了在车辆1的速度变得小于阈值时生成车底下图像520和先前图像500的示例，但也可以在驱动状态变成“OFF”之后，生成车底下图像520和先前图像500。
以上说明了本发明的实施方式和变形例，但上述实施方式和变形例仅是作为示例提出的，其目的不在于限定本发明的范围。上述新颖的实施方式能够以其它各种方式来实施，在不脱离发明主旨的范围内，能够进行各种省略、置换、变更。这些实施方式和其变形例均包含于发明的范围和主旨，并且包含于权利要求中记载的发明和其等同范围内。

Claims (7)

1.一种周边监控装置，其特征在于，包括：
第一存储部，其存储具有多个车轮的车辆的行进方向的路面信息；
控制部，其根据所述路面信息，生成与包含所有所述车轮的至少一部分的区域的所述车辆的车底下区域相关的车底下信息；
非易失性的第二存储部，其在所述车辆的驱动结束时，存储所述车底下信息；以及
显示部，其在所述车辆的驱动开始时，显示所述车底下信息。
2.根据权利要求1所述的周边监控装置，其特征在于，
所述控制部在所述车辆的驱动开始后，使所述显示部显示将所述车底下信息与当前周围信息合成而得到的合成信息，该当前周围信息对应于所述车辆的当前的周围的信息。
3.根据权利要求2所述的周边监控装置，其特征在于，
所述控制部使所述显示部以不同的形式显示所述车底下信息和所述当前周围信息。
4.根据权利要求1至3中任一项所述的周边监控装置，其特征在于，
所述路面信息是路面的拍摄图像，
当前的周围的信息是拍摄当前的所述车辆的周围而得到的拍摄图像，
所述控制部使所述显示部将从黑白图像、灰色图像和棕黑色图像的图像形式中选择出的一种图像形式的所述车底下信息的图像与彩色图像形式的所述当前周围信息的图像合成显示。
5.根据权利要求1至4中任一项所述的周边监控装置，其特征在于，
所述第二存储部存储与在所述车辆的驱动结束之前的所述车辆的周围的信息对应的先前周围信息，
所述控制部使所述显示部将所述路面信息与所述先前周围信息合成显示。
6.根据权利要求1至5中任一项所述的周边监控装置，其特征在于，
所述控制部使所述显示部显示按所述车辆的行进方向与包含从前轮的后端部的区域至后轮的前端部的区域的所述车辆的车底下区域相关的所述车底下信息。
7.根据权利要求1至6中任一项所述的周边监控装置，其特征在于，
所述控制部使所述显示部显示与包含所有所述车轮的接地区域的所述车辆的车底下区域相关的所述车底下信息。
CN201680019578.9A 2015-04-02 2016-03-29 周边监控装置 Active CN107431787B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-076236 2015-04-02
JP2015076236A JP6609970B2 (ja) 2015-04-02 2015-04-02 周辺監視装置
PCT/JP2016/060196 WO2016158984A1 (ja) 2015-04-02 2016-03-29 周辺監視装置

Publications (2)

Publication Number Publication Date
CN107431787A true CN107431787A (zh) 2017-12-01
CN107431787B CN107431787B (zh) 2020-06-26

Family

ID=57004349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019578.9A Active CN107431787B (zh) 2015-04-02 2016-03-29 周边监控装置

Country Status (5)

Country Link
US (1) US10363872B2 (zh)
EP (1) EP3280137B1 (zh)
JP (1) JP6609970B2 (zh)
CN (1) CN107431787B (zh)
WO (1) WO2016158984A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222521A (zh) * 2018-11-23 2020-06-02 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
CN112124201A (zh) * 2020-10-10 2020-12-25 深圳道可视科技有限公司 一种画面盲区可见的全景泊车系统及其方法
CN113246857A (zh) * 2020-02-13 2021-08-13 丰田自动车株式会社 车辆周边监视装置
CN113642494A (zh) * 2021-08-20 2021-11-12 浙江吉利控股集团有限公司 停车位置信息处理的方法、装置、设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
JP7259914B2 (ja) * 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
JP7009785B2 (ja) 2017-06-02 2022-01-26 株式会社アイシン 周辺監視装置
JP6740991B2 (ja) * 2017-11-10 2020-08-19 株式会社デンソー 表示処理装置
WO2019216393A1 (ja) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 路面状態推定方法、路面状態推定装置および路面状態推定システム
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
KR102639078B1 (ko) * 2018-08-07 2024-02-22 현대자동차주식회사 노면상으로 정보를 표시하는 자동차 및 그 제어 방법
JP2020085848A (ja) * 2018-11-30 2020-06-04 株式会社デンソーテン スリップ判定装置
DE102019203522A1 (de) * 2019-03-15 2020-09-17 Robert Bosch Gmbh Verfahren zur Überwachung eines Lenksystems
CN109866780B (zh) * 2019-04-02 2020-09-22 合肥工业大学 一种汽车初始安全自检系统的自检方法
JP7424582B2 (ja) * 2020-06-03 2024-01-30 株式会社ニフコ 車載機器用ブラケット
JP2022014975A (ja) 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置
JP7491194B2 (ja) 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
US11999342B2 (en) 2021-05-26 2024-06-04 Panasonic Automotive Systems Co., Ltd. Display control device, parking assist apparatus and display control method
JP2023023873A (ja) * 2021-08-06 2023-02-16 トヨタ自動車株式会社 車両周辺監視装置
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
US11989926B1 (en) * 2022-12-05 2024-05-21 Gm Global Technology Oeprations Llc Method to monitor wheel health and alignment using camera system for proactive vehicle maintenance
JP2024124080A (ja) * 2023-03-02 2024-09-12 キヤノン株式会社 撮像システム、車両、撮像システムの制御方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580373B1 (en) * 1998-11-30 2003-06-17 Tuner Corporation Car-mounted image record system
CN103129482A (zh) * 2011-11-21 2013-06-05 索尼公司 成像系统和成像装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04224433A (ja) * 1990-12-25 1992-08-13 Nissan Shatai Co Ltd 車両用防犯監視装置
US6131965A (en) * 1995-09-27 2000-10-17 Trammell, Jr.; Earl M. Child-key-guard unit
JPH09175272A (ja) * 1995-12-28 1997-07-08 Ichikoh Ind Ltd 車両用監視カメラ
US6847394B1 (en) * 1999-05-14 2005-01-25 Snap-On Incorporated Video inspection device
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
US7102665B1 (en) * 2002-12-10 2006-09-05 The United States Of America As Represented By The Secretary Of The Navy Vehicle underbody imaging system
JP3797343B2 (ja) 2003-05-12 2006-07-19 株式会社デンソー 車両周辺表示装置
WO2005031263A1 (ja) * 2003-09-30 2005-04-07 Kabushiki Kaisha Kenwood 案内経路探索装置および案内経路の検索方法
JP2005138720A (ja) * 2003-11-07 2005-06-02 Denso Corp 障害物検出装置、障害物検出プログラム、及び記憶媒体
GB0327339D0 (en) * 2003-11-25 2003-12-31 Fortkey Ltd Inspection apparatus and method
US7474205B2 (en) * 2004-03-24 2009-01-06 Richard Steven Trela Stand-off vehicle under-carriage inspection and detection system for deterring vehicle bombers from a safe stand-off distance
JP4722433B2 (ja) * 2004-08-25 2011-07-13 アルパイン株式会社 車載用ナビゲーション装置
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
US20070040911A1 (en) * 2005-01-31 2007-02-22 Riley Larry E Under vehicle inspection system
EP1854297B1 (en) * 2005-02-23 2017-10-18 Gatekeeper, Inc. Entry control point device, system and method
CA2599856A1 (en) * 2005-02-24 2006-09-08 Perceptics, Llc Apparatus and method for capturing and displaying images of the undercarriage of vehicles
US20080100741A1 (en) * 2005-03-17 2008-05-01 Yuka Fujita Image Processing Device
JP4556742B2 (ja) * 2005-03-30 2010-10-06 株式会社デンソー 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP4853135B2 (ja) * 2006-06-27 2012-01-11 株式会社デンソー 車両周辺表示装置
SG139579A1 (en) * 2006-07-20 2008-02-29 Cyclect Electrical Engineering A foreign object detection system
JP5105880B2 (ja) * 2007-01-10 2012-12-26 アルパイン株式会社 車両状況監視装置及び画像処理装置
DE102008038642A1 (de) * 2007-08-16 2009-02-19 Continental Teves Ag & Co. Ohg System und Verfahren zum Stabilisieren eines Kraftfahrzeugs
DE102008038615A1 (de) * 2007-09-18 2009-03-19 Continental Teves Ag & Co. Ohg Sensoreinrichtung und Verfahren zum Erfassen der Bewegung eines Fahrzeugs
US8054182B2 (en) * 2008-04-16 2011-11-08 The Johns Hopkins University Remotely directed vehicle inspection method and apparatus
JP5067632B2 (ja) 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
US8700329B2 (en) * 2009-05-29 2014-04-15 Mitsubishi Electric Corporation Navigation apparatus
EP2486595B1 (en) * 2009-10-09 2019-10-23 Semiconductor Energy Laboratory Co. Ltd. Semiconductor device
TWI409718B (zh) * 2009-12-04 2013-09-21 Huper Lab Co Ltd 移動中車輛之車牌定位方法
SG191807A1 (en) * 2011-01-04 2013-08-30 Ppg Ind Ohio Inc Web-based color selection system
US9244133B2 (en) * 2011-01-13 2016-01-26 Icove And Associates, Llc Handheld devices and structures to detect sticky devices having magnets
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
US20130093583A1 (en) * 2011-10-14 2013-04-18 Alan D. Shapiro Automotive panel warning and protection system
US8874367B2 (en) * 2011-10-14 2014-10-28 Equilateral Technologies, Inc. Method for estimating and displaying range of a vehicle
US9415754B2 (en) * 2012-12-05 2016-08-16 Florida Institute For Human And Machine Cognition, Inc. User display providing obstacle avoidance
EP2963922B1 (en) * 2013-02-28 2019-02-27 Aisin Seiki Kabushiki Kaisha Program and device for controlling vehicle
US9956913B2 (en) 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
KR101526424B1 (ko) * 2013-12-18 2015-06-05 현대자동차 주식회사 차량용 헤드 업 디스플레이 검사장치 및 그 방법
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580373B1 (en) * 1998-11-30 2003-06-17 Tuner Corporation Car-mounted image record system
CN103129482A (zh) * 2011-11-21 2013-06-05 索尼公司 成像系统和成像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222521A (zh) * 2018-11-23 2020-06-02 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
CN111222521B (zh) * 2018-11-23 2023-12-22 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
CN113246857A (zh) * 2020-02-13 2021-08-13 丰田自动车株式会社 车辆周边监视装置
US11823463B2 (en) 2020-02-13 2023-11-21 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitoring device
CN113246857B (zh) * 2020-02-13 2023-12-15 丰田自动车株式会社 车辆周边监视装置
CN112124201A (zh) * 2020-10-10 2020-12-25 深圳道可视科技有限公司 一种画面盲区可见的全景泊车系统及其方法
CN113642494A (zh) * 2021-08-20 2021-11-12 浙江吉利控股集团有限公司 停车位置信息处理的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2016158984A1 (ja) 2016-10-06
US10363872B2 (en) 2019-07-30
EP3280137A4 (en) 2018-04-04
CN107431787B (zh) 2020-06-26
US20180111553A1 (en) 2018-04-26
JP6609970B2 (ja) 2019-11-27
EP3280137A1 (en) 2018-02-07
JP2016197785A (ja) 2016-11-24
EP3280137B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
CN107431787A (zh) 周边监控装置
CN105009574B (zh) 周边监视装置及周边监视方法、记录介质
CN105075247B (zh) 车辆的控制装置及存储介质
CN105644438B (zh) 车辆周边监视装置
US10909750B2 (en) Periphery monitoring device
JP6126199B2 (ja) ジェスチャーに基づく自動車の制御
US20150353010A1 (en) Around view provision apparatus and vehicle including the same
CN107415959A (zh) 车辆控制系统、车辆控制方法和车辆控制程序
CN107200018A (zh) 驾驶辅助装置及其控制方法
CN106794862A (zh) 车辆控制装置
CN112541386A (zh) 用于眼睛的位置识别的图像处理
JP2018133712A (ja) 周辺監視装置
JP2008236403A (ja) 車両用運転支援装置
CN113596705B (zh) 一种发声装置的控制方法、发声系统以及车辆
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
CN109691089A (zh) 显示控制装置
CN108725311A (zh) 用于将船引导到拖车上的系统和方法
CN107554423A (zh) 车辆周边监视装置
CN114506278B (zh) 用于车载娱乐的全景虚拟环境
US20210263513A1 (en) Environment monitoring system and method for a towed recreational vehicle
US20230290154A1 (en) Control device, control method, and computer-readable recording medium
JP2014103433A (ja) 車両用画像表示装置
US20230176396A1 (en) Control device, control method, and recording medium
US20230177790A1 (en) Control device, control method, and recording medium
US20230158957A1 (en) Control device, control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant