CN104773113A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN104773113A
CN104773113A CN201510011547.6A CN201510011547A CN104773113A CN 104773113 A CN104773113 A CN 104773113A CN 201510011547 A CN201510011547 A CN 201510011547A CN 104773113 A CN104773113 A CN 104773113A
Authority
CN
China
Prior art keywords
designator
vehicle
viewing area
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510011547.6A
Other languages
English (en)
Other versions
CN104773113B (zh
Inventor
渡边一矢
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN104773113A publication Critical patent/CN104773113A/zh
Application granted granted Critical
Publication of CN104773113B publication Critical patent/CN104773113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

一种周边监视装置(100)，包括：获取部(502)，用于获取由第一图像捕获部(16a，16c)输出的第一捕获图像数据以及由第二图像捕获部(16b，16d)输出的第二捕获图像数据；以及输出部(512)，用于在第一显示区域(FV)和第二显示区域(SVL，SVR)中的至少一个区域中叠加显示指示符(Pa，Qa)，在指示符的叠加区域被包括在第一显示区域和第二显示区域中的另一区域中的情况下，所述输出部以与在所述第一显示区域和所述第二显示区域中所述一个区域中显示的指示符的显示方式相对应的显示方式在所述第一显示区域和所述第二显示区域中所述另一区域中叠加显示所述指示符。

Description

周边监视装置
技术领域
本公开内容大致涉及一种周边监视装置。
背景技术
通常，存在辅助泊车的技术，其中安装在车辆上的多个照相机抓取或捕获图像数据作为车辆周边的环境，并且捕获的图像数据被提供给车辆的驾驶员。提出了一种已知技术，用于在小面积内辅助车辆驾驶和/或在停泊/停止车辆期间辅助车辆驾驶。根据用于辅助车辆驾驶的该已知技术，将前/后方向标记和/或左/右方向标记以叠加或重叠方式显示在在前述泊车辅助期间显示的图像上。在该图像中，上述标记显示在与车辆相距相应的预定距离使得驾驶员能够参阅或看见标记的位置。因此，有利于驾驶员识别出自己的车辆和自己的车辆周围的环境之间的位置关系(JP2003-259356A，下文将称为专利文献1)。
然而，在显示多个照相机捕获的图像的情况下，以及在所捕获区域的一部分以在各个图像之间重复的方式被包括在各图像中的情况下，由于多个照相机的位置不同，这些图像看起来的样子和/或这些图像给人的印象可能彼此不同。因此，即使在多个图像中显示相同的物体(例如，物体、前/后方向标记、左/右方向标记)，驾驶员也可能难以理解多个图像之间的关系。在这种情况下，即使使用多个图像显示车辆周围的情形，这些图像也难以被充分利用。在一些情况下，多个图像可能引起混淆。
因而，需要一种周边监视装置，其能够在显示多个照相机捕获的图像的情况下便于理解所显示的图像之间的关系。
发明内容
根据本公开内容的一个方案，一种周边监视装置，包括：获取部，用于获取由第一图像捕获部输出的第一捕获图像数据以及由第二图像捕获部输出的第二捕获图像数据，所述第一图像捕获部设置在车辆处并捕获车辆行驶方向上的图像，所述第二图像捕获部设置在所述车辆处并捕获车辆宽度方向上的图像，所述车辆的行驶方向对应于第一图像捕获区域，所述车辆的宽度方向对应于第二图像捕获区域；以及输出部，用于在第一显示区域和第二显示区域中的至少一个中叠加显示指示符，所述指示符指示相对于所述车辆的预定区域，所述第一显示区域显示基于所述第一捕获图像数据的图像，所述第二显示区域显示基于所述第二捕获图像数据的图像，所述指示符叠加显示的区域对应于所述指示符的叠加区域；在所述指示符的叠加区域被包括在所述第一显示区域和所述第二显示区域中的另一区域中时，所述输出部以与在所述第一显示区域和所述第二显示区域中所述一个区域中显示的指示符的显示方式相对应的显示方式在所述第一显示区域和所述第二显示区域中所述另一区域中叠加显示所述指示符。
根据上述配置，例如，在多个显示区域之一中并且也在多个显示区域的另一显示区域中叠加显示相同指示符的情况下，以彼此对应的方式显示指示符(即，叠加显示在多个显示区域之一中的指示符以及叠加显示在多个显示区域中另一显示区域中的指示符)。因此，从视觉上容易识别出所显示的图像之间的相关性。
根据该公开内容的另一方案，在以彼此对应的显示方式在所述第一显示区域并在所述第二显示区域中指示所述指示符的情况下，所述输出部以彼此相同的显示颜色在所述第一显示区域并在所述第二显示区域中显示所述指示符。
根据上述配置，例如，可以容易地从视觉上识别出在多个显示区域中之一显示的指示符与在多个显示区域中另一区域中显示的指示符相同。
根据本公开内容的另一方案，所述指示符包括第一指示符和第二指示符，所述输出部在所述第一显示区域中显示所述第一指示符并在所述第二显示区域中显示所述第二指示符，所述第一指示符对应于所述第一显示区域，所述第二指示符对应于所述第二显示区域，所述第一指示符和所述第二指示符以彼此不同的显示方式被显示。
根据上述配置，即使是在相同的显示区域中显示所述第一指示符和第二指示符的情况下，容易从视觉上将所述第一指示符和所述第二指示符彼此区别开来。
根据本公开内容的另一方案，所述输出部显示参考线作为所述指示符，所述参考线平行于穿过所述车辆的中心的虚拟线并且在所述第一显示区域和所述第二显示区域中的至少一个中指示相对于所述车辆向外离开预定距离的位置。
根据上述配置，当车辆被驾驶时，容易从视觉上识别出车辆和车辆周围的物体之间的距离感知。
根据本公开内容的另一方案，所述输出部沿着所述参考线对所述参考线应用强调处理以强调所述参考线。
根据上述配置，增强了图像捕获区域中的物体以及用作指示符的参考线之间的区别性。结果是，容易从视觉上识别出图像之间的相关性。
根据本公开内容的另一方案，所述参考线包括车辆侧和远端侧，与所述车辆侧相比所述远端侧被放置为与所述车辆相距更远，并且所述输出部对所述参考线的车辆侧和远端侧的至少一侧应用阴影作为所述强调处理。
根据上述配置，通过应用简单的图像处理增强了图像捕获区域中的物体与参考线之间的区别性。
根据本公开内容的另一方案，所述输出部在所述第一显示区域和所述第二显示区域中的至少一个区域中叠加显示路线指示符，所述路线指示符指示所述车辆的估计行驶方向。
根据上述配置，连同第一指示符或第二指示符一起显示路线指示符，因而车辆的行驶方向以及第一指示符或第二指示符之间的关系容易被领会。
附图说明
本公开内容的前述和其他特征和特点将通过以下参照附图考察的描述变得清晰，在附图中：
图1是示出安装有根据在此公开的实施例的周边监视装置的车辆的透视图，其中，车厢的一部分是穿透车辆看到的；
图2是示出安装有根据该实施例的周边监视装置的车辆的示例的平面图(俯视图)；
图3是示出根据该实施例的周边监视装置的系统配置的示例的框图；
图4A是说明根据该实施例的周边监视装置的图像捕获部捕获的图像捕获区域、叠加显示在显示区域中的参考线以及车辆之间的关系的图，其中所述图像捕获区域对应于车辆横向侧；
图4B是说明根据该实施例的周边监视装置的图像捕获部捕获的图像捕获区域、叠加显示在显示区域中的参考线以及车辆之间的关系的图，其中所述图像捕获区域对应于车辆前侧；
图5是示出通过根据该实施例的周边监视装置在显示设备上显示的周边图像的示例的图；
图6是示出通过根据该实施例的周边监视装置对其应用强调处理的基准线(指示符)的示例的图；
图7是示出在根据该实施例的周边监视装置的周边监视ECU内实现的周边监视部的配置的框图；以及
图8是示出根据该实施例的周边监视装置处的显示处理过程的流程图。
具体实施方式
将描述这里所公开的实施例。采用在下文中描述的实施例的配置以及该配置导致的操作和结果(优点和效果)作为示例。还可以通过除了在以下实施例中公开的配置之外的配置来实现本公开内容。此外，在除了以下实施例中公开的配置之外的其他配置中也可以获得在基本配置中可以获得的各种优点和效果(包括衍生的优点和效果)。
在本实施例中，车辆1例如可以对应于驱动源是内燃机(引擎)的机动车(内燃机引擎车辆)。车辆1例如可以对应于驱动源是电动机(马达)的机动车(例如、电动车、燃料电池供电的车辆)。车辆1可以对应于驱动源是内燃机和电动机两者的机动车(混合型车辆)。此外，车辆1可以安装有各种变速装置，即变速机构。车辆1可以安装致动内燃机引擎和/或电动机所需要的各种装置(例如，系统、部件和组件)。此外，与车辆1的车轮3的驱动相关的装置的类型、数量、布局等可以以各种方式指定。
如图1所示，车体2包括车厢2a，乘座人员位于车厢2a内。例如，在车厢2a内设置有面向对应于乘座人员的驾驶员的座位2b的转向部4、加速操作部5、刹车操作部6、换档操作部7。在本实施例中，作为示例，转向部4对应于转向轮，转向轮布置为从车辆1的仪表板(仪器面板)突出，加速操作部5对应于位于驾驶员的脚附近的加速踏板，刹车操作部6对应于位于驾驶员的脚附近的刹车踏板，换档操作部7对应于布置为从中央控制台突出的变速杆。然而，转向部4、加速操作部5、刹车操作部6、换档操作部7不限于此。
此外，在车厢2a内设置有显示设备8(显示输出部)和音频输出设备9(音频输出部)。显示设备8例如对应于液晶显示器(LCD)和有机电致发光显示器(OLED)。音频输出设备9例如对应于扬声器。此外，作为该实施例中的示例，显示设备8覆盖有透明的操作输入部10(例如，触摸板)。乘座人员等可以在视觉上识别经由操作输入部10在显示设备8的显示屏幕上显示的投影图像(图像)。此外，乘座人员等可以通过操作(例如，即用他/她的手指等在对应于显示在显示设备8的显示屏幕上的投影图像(图像)的位置通过触摸、按压和/或移动操作输入部10)执行操作输入(指令输入)。此外，作为该实施例的示例，显示设备8、音频输出设备9、操作输入部10等设置在监视设备11处，监视设备11在车辆宽度方向上(左/右方向)上位于仪表板的中心部。监视设备11可以包括对应于例如开关、刻度盘、操纵杆或按钮的操作输入部。此外，音频输出设备可以设置在车厢2a内除了监视设备11之外的位置处。此外，可以从监视设备11的音频输出设备9以及从其他音频输出设备输出例如声音或语音之类的音频。此外，在本实施例中，作为示例，监视设备11还用作导航系统和/或音频系统，然而，可以将用于周边监视装置的监视设备与导航系统和/或音频系统分开设置。此外，本实施例可以以如下方式被配置：除了音频输出设备9之外，诸如蜂鸣器之类的音频输出部也可以输出告警声音等。
如图1和图2所示，作为该实施例的示例，车辆1对应于四轮车辆(四轮机动车)并且包括分别设置在左侧和右侧的两个前轮3F和分别设置在左侧和右侧的两个后轮3R。例如，每个前轮3F的轮胎角响应于转向部4的操作(即转向操作)而变化。转向系统12例如对应于电动转向系统或线控转向(SBW)系统。转向系统12通过致动器12a将转矩(辅助转矩)施加至转向部4以补充转向力并对前轮3F进行转向。在另一实施例中，转向系统12可以以前轮和后轮彼此独立转向的方式或者前轮和后轮彼此联动转向的方式配置。在这种情况下，转向系统通过前轮转向系统12和后轮转向系统13配置。后转向系统13通过致动器13a将转矩(辅助转矩)施加至转向部4。例如，将两个前轮3F转向为基本上彼此平行并且彼此同步(即，相同相位、相同转动方向和相同旋转方向)，并且两个后轮3R转向为基本上彼此平行并且彼此同步。可以以各种方式指定驱动轮。
此外，作为本实施例的示例，如图2所示，车辆1(车体2)包括多个图像捕获部16(例如，在该实施例中是四个图像捕获部16a、16b、16c和16d)。每个图像捕获部16是其中有包括成像元件或图像抓取设备(例如电荷耦合器件(CCD)和/或CMOS图像传感器(CIS)之类)的数码相机。图像捕获部16能够以预定帧速输出图像数据(移动图像数据、帧数据)。每个图像捕获部16包括广角镜头并且能够捕获或抓取范围是在水平方向上从140度到220度的区域的图像(视角)。此外，每个图像捕获部16的光轴被设定为朝下方向(例如，竖直方向或倾斜朝下方向)。因此，图像捕获部16捕获车体2周围的外部环境的图像，该外部环境包括车辆1可以在其上移动的路面。
作为该实施例的示例，图像获取部16a布置在车体2前侧(在车辆前/后方向上的向前侧)的端部2c(当从平面图中看时的端部)处，并且例如设置在前保险杠处。图像获取部16b布置在车体2左侧(在车辆宽度方向上的左侧)的端部2d处，并且设置在左侧的门镜2g(突出部)处。图像获取部16c布置在车体2后侧(车辆前/后方向上的向后侧)的端部2e处，并且设置在后备箱的门2h下方的壁部。图像获取部16d布置在车体2右侧(车辆宽度方向上的右侧)的端部2f处，并且设置在右侧的门镜2g(突出部)处。因此，例如，在图像捕获部16a处捕获的前侧图像、在图像捕获部16b处捕获的左侧图像以及在图像捕获部16d处捕获的右侧图像可以同时显示在显示设备8处。类似地，在图像捕获部16c处捕获的后侧图像、在图像捕获部16b处捕获的左侧图像以及在图像捕获部16d处捕获的右侧图像可以同时显示在显示设备8处。在显示后侧图像的情况下，可以省略左侧图像和右侧图像的显示。
如图3所示，作为该实施例的示例，除了周边监视ECU 14(电控制单元)和监视设备11之外，在周边监视系统(周边监视装置)100处，例如，刹车系统18、转向角传感器19(角度传感器)、加速器传感器20、换档传感器21、车轮速度传感器22、加速度传感器26等经由车内网络(电通信线)彼此电连接。车内网络23例如被配置为控域网(CAN)。周边监视ECU 14可以通过经由车内网络23传输控制信号而控制刹车系统18等。此外，周边监视ECU 14可以经由车内网络23接收转矩传感器12b、刹车传感器18b、转向角传感器19(例如用于前轮3F)、加速器传感器20、换档传感器21、车轮速度传感器22、加速传感器26等的检测结果。此外，周边监视ECU 14可以经由车内网络23接收例如操作输入部10的指令信号(控制信号、操作信号、输入信号、数据)。
在本实施例中，车辆1包括两个加速度传感器26(加速度传感器26a、26b)。在本实施例中，车辆1安装有电子稳定控制(ESC)。因而，使用通常设置在安装了ESC的车辆上的加速度传感器26(加速度传感器26a、26b)。在本实施例中，加速度传感器不限于特定类型，而是可以应用任意类型的加速度传感器，只要加速度传感器被配置为检测车辆1在车辆1左/右方向上的加速度即可。在本实施例中，获得在车辆前/后方向上的车辆1的加速度和左/右方向上的车辆1的加速度。
例如，周边监视ECU 14包括CPU 14a(中央处理单元)、ROM 14b(只读存储器)、RAM 14c(随机存取存储器)、显示控制部14d、音频控制部14e以及SSD 14f(固态驱动闪存存储器)。例如，CPU 14a可以执行与在显示设备8处显示的图像相关的图像处理以及各种计算处理，这些计算处理包括计算车辆1的移动路径以及确定车辆1与物体之间存在还是不存在干扰。CPU 14a读取在诸如ROM 14b之类的非易失性存储设备中存储(安装)的程序并根据该程序执行计算处理。
RAM 14c临时存储在CPU 14a处执行的计算中用到的数据。此外，在周边监视ECU 14处执行的计算处理中，显示控制部14d主要执行例如使用在图像获取部16获取的图像数据的图像处理，以及待在显示设备8处显示的图像数据的图像处理(例如，图像融合或图像合成)。此外，在周边监视ECU14处执行的计算处理中，音频控制部14e主要执行待在音频输出设备9处输出的音频数据的处理。SSD 14f是可重写非易失性存储部，因而即使是在周边监视ECU 14的电源断开的情况下也能存储数据。CPU 14a、ROM 14b、RAM 14c等可以集成为封装。此外，周边监视ECU 14可以包括其中使用包括数字信号处理器(DSP)的其他逻辑操作处理器、逻辑电路等来代替CPU14a的配置。此外，周边监视ECU 14可以设置有硬盘驱动器(HDD)来代替SSD 14f。SSD 14f和/或HDD可以与周边监视ECU 14分开设置。
在图4A和图4B中示出了图像捕获区域A、B，图像捕获区域A、B的图像由周边监视系统(周边监视装置)100的图像获取部16捕获或抓取。在本实施例中，周边监视系统100在显示设备8处显示基于第二捕获图像数据的图像，第二捕获图像数据是通过捕获图像捕获区域A的图像获取的。当周边监视系统100显示基于第二捕获图像数据的图像时，周边监视系统100在图像上叠加显示指示相对于车辆1的预定区域的指示符。以类似的方式，周边监视系统100在显示设备8处显示基于第一捕获图像数据的图像，第一捕获图像数据是通过捕获图像捕获区域B的图像获取的。当周边监视系统100显示基于第一捕获图像数据的图像时，周边监视系统100在图像上叠加显示指示相对于车辆1的预定区域的指示符。因此，图4A和图4B各指示在显示设备8处叠加显示的指示符与车辆1之间的关系。
图4A示出了布置在车辆1左侧的门镜2g处的图像捕获部16b(即，第二图像捕获部)的图像捕获区域A(即，图4A中相对于一点划线位于左侧、用箭头A指示的第二图像捕获区域)。在车体2的车辆宽度的左侧方向上图像捕获部16b的光轴被设定为朝向路面的状态下，在相对于车辆的左侧，图像捕获部16b获取或捕获周边图像，即车辆1周边的图像(第二捕获图像数据)。如上所述，图像捕获部16b设置有广角镜片，因而例如在相对于光轴的左侧和右侧每一侧处在其间各包括100度的视角(即，总共是200度的视角)。也就是说，车体2左侧的端部2d(例如，门表面)被包括在图像捕获部16b的图像捕获范围内。然后，作为叠加在通过捕获图像捕获区域A(第二图像捕获区域)的图像而获得的周边图像(第二捕获图像数据)上的指示符(即，第二指示符)，在相对于车辆1向外间隔开(在车辆宽度方向上)预定距离的位置指示参考线Pa，并且该参考线Pa基本上与穿过车辆前/后方向上车辆1的中心的虚拟线GL平行。参考线Pa指示从车体2的端部2d到参考线Pa的距离参考。例如，参考线Pa被显示在与虚拟线GL离开(车辆宽度+0.7＝Wa)/2m的位置处。距离Wa作为预定距离。也就是说，参考线Pa指示与车体2左侧的端部2d相距0.35m的位置。因此，在示出图像捕获区域A的周边图像中示出物体(例如，另一车辆、人或墙面)的情况下，驾驶员(用户、乘座人员)可以通过参考该参考线Pa容易地估计从该物体到车体2的端部2d的距离。此外，驾驶员能够通过移动(操作)车辆2使得该物体不会超过参考线Pa而朝向车体2靠近来至少防止车体2与物体(障碍物)接触。
如图4A所示，除了参考线Pa之外，可以在通过捕获图像捕获区域A(第二图像捕获区域)的图像而获取的周边图像(第二捕获图像数据)中显示辅助线Pb和车辆宽度线Pc，作为与参考线Pa平行的指示符。辅助线Pb可以在与虚拟线GL离开例如(车辆宽度+2.0＝Wb)/2m的位置处指示。车辆宽度线Pc可以在与虚拟线GL离开例如(车辆宽度+0.2＝Wc)/2m的位置处显示。通过如上所示的多个指示符的指示，能够进一步增强相对于车体2的左侧处的距离感知。在指示多个指示符的情况下，可能可取的是，清楚地显示主指示符(例如，参考线Pa)，使得主指示符容易与其他辅助指示符(例如，辅助线Pb和车辆宽度线Pc)区别开来。例如，可能可取的是，参考线Pa包括黑体或粗线的线类型，而辅助线Pb和车辆宽度线Pc每一个均可以包括细线或窄线或虚线的线类型。
类似于上述图像捕获部16b，在车体2的车辆宽度方向上的右侧方向上图像捕获部16d的光轴被设定为朝向路面的状态下，布置在车体2右侧的门镜2g处的图像捕获部16d对相对于车辆右侧的周边图像成像或捕获周边图像(第二捕获图像数据)，这对应于图像捕获区域A(第二图像捕获区域)。周边监视系统100在通过捕获图像捕获区域A的图像获取的周边图像上叠加显示参考线Pa(在需要的时候还显示辅助线Pb和/或车辆宽度线Pc)，从而能够获得与在相对于车体2的左侧获得的效果和优点类似的效果和优点。在驾驶员侧(例如，右侧)可以减少指示符的数量，因为在驾驶员侧驾驶员能够更容易地从视觉上确认车辆1周围的环境。例如，可以仅叠加显示参考线Pa。此外，指示车轮基线的标记LH(例如，参考线Pa上的突出或投影标记)可以添加到参考线Pa上。在这种情况下，驾驶员能够更精确地感知显示屏幕上他/她自己的车辆的长度。
图4B示出了布置在车体2前保险杠的大致中心处的图像捕获部16a(即，第一图像捕获部)的图像捕获区域B(即，在图4B中相对于点划线的车辆前侧、通过箭头B指示的第一图像捕获区域)。在其光轴被设定为在稍微向下方向上朝向相对于车体2的前侧的状态下，图像捕获部16a捕获相对于车辆前侧的周边图像(第一捕获图像数据)。如上所述，图像捕获部16a设置有广角透镜，因而例如在相对于光轴的左侧和右侧每一侧处在其间各包括100度的视角(即，总共是200度的视角)。也就是说，车体2前侧的端部2c(例如，前保险杠)被包括在图像捕获部16a的图像捕获范围内。然后，作为在通过捕获图像捕获区域B(第一图像捕获区域)的图像获得的周边图像(第一捕获图像数据)上叠加的指示符(即，第一指示符)，在相对于车辆1向外离开(在车辆前方)预定距离的位置处指示参考线Qa，参考线Qa与穿过车辆宽度方向上车辆1的中心的虚拟线GW大致平行。参考线Qa指示从车体2的端部2c到参考线Qa的距离参考。例如，参考线Qa显示在与前保险杠的最突出部(例如，中心)相距La＝0.5m的位置处。距离La作为预定距离。因此，在例如在示出图像捕获区域B的周边图像中示出物体(例如，墙面)的情况下，驾驶员(用户、乘座人员)能够通过参考参考线Qa容易地估计从物体到车体2的端部2c的距离。此外，驾驶员能够通过移动(操作)车辆2使得物体不会超过参考线Qa而朝向车体2靠近来至少防止车体2与物体(障碍物)接触。
如图4B所示，除了参考线Qa之外，可以在通过捕获图像捕获区域B(第一图像捕获区域)的图像获取的周边图像(第一捕获图像数据)中显示辅助线Qb、Qc、Qd以用作与参考线Qa平行的指示符。辅助线Qb可以在与前保险杠的最突出部相距例如Lb＝1.0m的位置处指示。辅助线Qc可以在与前保险杠的最突出部相距例如Lc＝2.0m的位置处指示。辅助线Qd可以在与前保险杠的最突出部相距例如Ld＝2.7m的位置处指示。通过如上所示的多个指示符的指示，能够进一步增强相对于车体2的前侧的距离感知。在指示多个指示符的情况下，可能可取的是，清楚地显示主指示符(例如，参考线Qa)，使得主指示符容易与其他辅助指示符(例如，辅助线Qb、Qc、Qd)区别开来。参考线Qa可以包括黑体或粗线的线类型，而辅助线Qb、Qc、Qd每一个均可以包括细线或窄线或虚线的线类型。
类似于图像捕获部16a，在光轴被设定为在稍微向下的方向上朝向相对于车体2后侧的状态下，设置在后备箱的门2h下方的壁部的图像捕获部16c(参见图1和图2)捕获或抓取相对于车辆后侧的周边图像，这对应于图像捕获区域B。周边监视系统100在通过捕获图像捕获区域B的图像获得的周边图像上叠加显示参考线Qa(需要时还显示辅助线Qb、Qc、Qd)，从而获得与在相对于车体2的前侧获得的效果和优点类似的效果和优点。
如图4A和图4B所示，对应于图像捕获区域之一(例如，图像捕获区域A)的周边图像中显示的指示符(例如，参考线Pa)的叠加区域可以被包括在对应于另一图像捕获区域(例如，图像捕获区域B)的周边图像中。指示符的叠加区域对应于叠加显示指示符的区域。也就是说，包括在相对于车辆横向侧的周边图像中的参考线Pa还可以出现在相对于车辆前侧的周边图像中。类似地，包括在相对于车辆前侧的周边图像中的参考线Qa还可以出现在相对于车辆横向侧的周边图像中。同时，当显示前侧的周边图像时，考虑到如果以前侧的周边图像以及左侧和右侧的周边图像彼此并排排列的方式在显示屏幕上也显示左侧和右侧的周边图像，则可以更容易领会车辆周围的整个情形。另一方面，在每个周边图像中共同显示上述指示符(例如，参考线Pa、Qa和/或辅助线Pb、Qb)的情况下，显示可能更复杂。因此，驾驶员(例如，用户，乘座人员)可能难以领会指示符(参考线等)所指示的内容。因此，需要进行考虑，使得在周边图像中共同或关联地显示的指示符之间的对应关系能够领会起来没有困难。
在图4A和图4B每一个中，为了说明简单和便利起见，在从顶部看去的车辆1的视图中示出图像捕获区域A、B、参考线Pa、参考线Qa等。在这种情况下，参考线Pa、参考线Qa等每一个用平行于通过穿过车辆1中心的虚拟线(直线)的直线来表示，因此共同或关联显示在周边图像中的指示符之间的对应性能够被相对容易地领会。然而，如上所述，使用包括宽视角的广角镜片来获得车辆1的周边图像。在这种情况下，所显示的周边图像是弯曲的或失真的图像，因而，分别用作指示符的参考线Pa和参考线Qa也相应地被弯曲。结果是，驾驶员(例如，用户，乘座人员)可能难以领会以共同或关联方式显示在多个周边图像中的指示符之间的对应性。
当显示周边图像时，本实施例的周边监视系统100的周边监视ECU 14在第二显示区域和第一显示区域中的至少一个区域中叠加显示用于指示相对于车辆1的预定区域的指示符，其中第二显示区域显示对应于图像捕获区域A(第二图像捕获区域)的图像，第一显示区域显示对应于图像捕获区域B(第一图像捕获区域)的图像。在指示符的叠加区域被包括在另一显示区域中的情况下，换句话说，在指示符也显示在另一显示区域中的情况下，周边监视ECU 14以与在该一个显示区域中指示符的显示方式对应的显示方式在该另一显示区域中叠加显示指示符。例如，假设参考线Pa被显示为左侧(对应于图像获取部16b的图像捕获区域A)的周边图像的显示区域中的指示符，并且参考线Pa在前侧(对应于图像获取部16a的图像捕获区域B)的周边图像显示区域中也显示为指示符。在这种情况下，如果显示在对应于图像捕获区域A的周边图像的参考线Pa的显示方式例如是蓝色显示方式，则显示在对应于图像捕获区域B的周边图像中的参考线Pa的显示方式也是蓝色显示方式。类似地，假设在前侧(对应于图像获取部16a的图像捕获区域B)的周边图像的显示区域中参考线Qa显示为指示符，并且在右侧和左侧(对应于图像捕获区域A)的周边图像的显示区域中参考线Qa也显示为指示符。在这种情况下，如果显示在对应于图像捕获区域B的周边图像中的参考线Qa的显示方式例如是红色显示方式，则显示在对应于图像捕获区域A的周边图像中的参考线Qa的显示方式也是红色显示方式。
图5中示出显示设备8上显示的周边图像的示例。在图5示出的示例中，在图5的中心上部，图像捕获区域B中由图像捕获部16a捕获的周边图像显示在前显示区域FV中。前显示区域FV被形成为梯形，并且以梯形的较短边位于下侧的方式布置。因为前显示区域FV是以梯形的较短边布置在下侧的方式布置的，因而，前显示区域FV被显示为看起来像具有深度感的立式屏幕。结果是，以类似于用户(例如，驾驶员和乘座人员)视觉上感受到的实际环境情况的方式显示周边图像。此外，在图像捕获区域A中由图像捕获部16b捕获的左侧周边图像显示在左侧显示区域SVL中。左侧显示区域SVL被形成为基本上是矩形形状并且被布置为相对于前显示区域FV靠左。类似地，在图像捕获区域A中由图像捕获部16d捕获的右侧周边图像在右侧显示区域SVR中显示。右侧显示区域SVR形成为基本上是矩形形状并且布置为相对于前显示区域FV靠右。
如图5所示，相对于车辆1的各横向侧的周边图像被显示在左侧显示区域SVL和右侧显示区域SVR中。除此之外，在左侧显示区域SVL和右侧显示区域SVR每一个中，用于指示参考线Pa与车辆1的对应侧表面离开预定距离的参考线Pa以参考线Pa叠加在周边图像上的方式显示。另一方面，在左侧显示区域SVL中显示的参考线Pa的一部分显示在前显示区域FV的左端部。类似地，显示在右侧显示区域SVR中的参考线Pa的一部分显示在前显示区域FV的右端部。也就是说，在左侧显示区域SVL中的指示符的叠加区域和在右侧显示区域SVR中的指示符的叠加区域被包括在前显示区域FV中。在这种情况下，周边监视ECU 14以相同的显示方式(即例如以基本上相同的显示颜色)显示分别显示在左侧显示区域SVL、右侧显示区域SVR和前显示区域FV中的参考线Pa。在这种情况下，以不可能与左侧显示区域SVL、右侧显示区域SVR以及前显示区域FV中的内容或元素融合的颜色(例如，不可能与路面的颜色融合的颜色)来显示参考线Pa。例如，参考线Pa可以显示为“蓝色”。
类似地，如图5所示，相对于车辆1的前侧的周边图像显示在前显示区域FV中。除此之外，用于指示参考线Qa与车辆1的前保险杠离开预定距离的参考线Qa以参考线Qa叠加在周边图像上的方式显示在前显示区域FV中。另一方面，显示在前显示区域FV中的参考线Qa的一部分显示在左侧显示区域SVL和右侧显示区域SVR每一个区域中的前端部(在图5中的上侧)。也就是说，在前显示区域FV中指示符的叠加区域被包括在左侧显示区域SVL和右侧显示区域SVR每一个中。在这样一种情况下，周边监视ECU 14以相同的方式(即例如以基本上相同的显示颜色)显示被分别显示在左侧显示区域SVL、右侧显示区域SVR和前显示区域FV中的参考线Qa。在这种情况下，以不可能与左侧显示区域SVL、右侧显示区域SVR以及前显示区域FV中的内容或元素融合的颜色(例如，不可能与路面的颜色融合的颜色)来显示参考线Qa。因为参考线Pa也叠加显示在前显示区域FV、左侧显示区域SVL和右侧显示区域SVR每一个中，因而可取的是，以与参考线Pa的显示方式不同的显示方式来显示参考线Qa，使得参考线Pa和参考线Qa不会彼此混淆。例如，参考线Qa可以显示为“红色”。
如上所述，图像捕获部16a、16b和16d中的每一个均包括广角镜片，因而捕获的图像有可能在图像端部发生失真。例如，在左侧显示区域SVL和右侧显示区域SVR中，每个参考线Pa基本上都是直的。然而在前显示区域FV中每个参考线Pa被示出为弯曲的。在前显示区域FV中，每个参考线Qa被弯曲成朝向后侧内凹的内凹形状。然而，在左侧显示区域SVL和右侧显示区域SVR每一个中，参考线Qa以朝向前侧的凸出的形状弯曲。因此，虽然在前显示区域FV、左侧显示区域SVL和右侧显示区域SVR中显示了对应于相同指示符的参考线Pa(参考线Qa)，但是参考线Pa(参考线Qa)看起来像是包括彼此不同形状和不同含义的指示符。结果是，用户(例如驾驶员和乘座人员)可能由此混淆。
本实施例的周边监视ECU 14以彼此对应的方式(例如以相同的颜色)显示在左侧显示区域SVL和右侧显示区域SVR显示的参考线Pa(参考线Qa)以及在前显示区域FV中显示的参考线Pa(参考线Qa)。因此，用户(例如，驾驶员和乘座人员)能够直观地识别出显示在不同显示区域中的指示符包括相同的含义，即，例如，每个参考线Pa都处于与车辆侧相距0.35m的位置处。此外，根据本实施例，参考线Pa和参考线Qa以彼此不同的显示方式显示。因此，用户(例如，驾驶员和乘座人员)能够直观地识别出参考线Pa和参考线Qa包括彼此不同的含义。
如上所述，根据本实施例，即使是在多个显示区域中显示指示符并且指示符看起来彼此不相关的情况下，如果以彼此对应的显示方式来显示相同的指示符，则用户(例如，驾驶员和乘座人员)能够容易地识别出指示符之间存在的相关性。结果是，提供了驾驶辅助，以便于快速识别以多个显示图像的形式提供的车辆1周围的环境情况，从而便于车辆的顺畅驾驶。
在图5示出的示例中，周边监视ECU 14基于转向角度传感器19的输出数据获得转向部4(转向轮)的操作状态，估计前轮3F的方向或取向，然后在前显示区域FV中叠加显示车辆1的路线指示符R。路线指示符R指示车辆1的估计行驶方向。因为路线指示符R被显示在前显示区域FV中，因而车辆1将要移动的方向与参考线Pa和参考线Qa之间的关系容易被领会。结果是，有效地利用了参考线Pa和参考线Qa，因此能够提供驾驶辅助以便于顺畅驾驶而例如避免障碍物。可以对叠加显示在前显示区域FV上的路线指示符R(轮胎轨迹)应用解析处理(使得远端侧较窄的绘图处理)。在这种情况下，参考线Pa和路线指示符R容易彼此区别开来，从而容易强调参考线Pa是显示在路面上的线。结果是，容易识别出叠加在形成为梯形的前显示区域FV中的参考线Pa以及叠加在左侧显示区域SVL和右侧显示区域SVR每一个中的参考线Pa是相同的线(参考线)。
此外，在图5中，在前显示区域FV下方提供了角度仪(测角仪)指示区域30，在角度仪指示区域30处指示符号32，符号32表示从后部看去的车辆1的状态。在角度仪指示区域30处指示的符号32的姿势对应于车辆1的滚动角和/或俯仰角。结果是，便于客观领会车辆1的倾斜状态。
例如，显示在前显示区域FV、左侧显示区域SVL和右侧显示区域SVR中的周边图像包括各种情况下的路面。因而，在参考线Pa、辅助线Pb、参考线Qa、辅助线Qb等叠加显示为指示符的情况下，即使是用于显示指示符的显示颜色提供的用于将指示符与路面区分开来的能力较高的情况，即，即使是显示颜色与路面的颜色相差非常大的情况下，也可能无法获得充分的识别。例如，当指示参考线Pa(参考线Qa)时，本实施例的周边监视ECU 14可以沿着参考线Pa(参考线Qa)应用强调处理。作为强调处理的示例，可以如图6所示在参考线Pa和/或参考线Qa的车辆侧提供阴影BL的方式来向参考线Pa和/或参考线Qa的侧部应用阴影BL。应用到指示符上的阴影BL有助于强化指示符的识别作用。类似地，可以向图5中所示的路线指示符R添加阴影BL以增强路线指示符R的识别作用。例如，可以以将强调方式提供到参考线Pa(参考线Qa)的侧部(离开车辆的远端侧)的方式来沿着参考线应用强调处理，只要能够强调参考线Pa(参考线Qa)即可。因此，可以对线的车辆侧和线的远端侧中的任意一侧应用强调处理，或者可替代地，可以向线的车辆侧和线的远端侧这二者均应用强调处理。
强调处理不限于应用阴影BL。例如，参考线Pa和/或参考线Qa可以以闪烁状态显示，或者可以将3D处理应用于参考线Pa和/或参考线Qa。此外，这些强调处理可以与阴影BL结合起来使用。
图7中示出了在根据本实施例的周边监视装置的周边监视ECU 14中实现的周边监视部500的配置框图。被配置为如图3中示出的周边监视ECU 14的CPU 14a执行存储在ROM 14b中的软件，并且在图7中示出的周边监视部500内的每个配置均得以实现。
在被配置为图3中示出的周边监视ECU 14的CPU 14a执行存储在ROM14b中的软件的情况下，在图7中示出的周边监视部500中的每个配置得以实现。
周边监视部500执行存储在ROM 14b(计算机可读记录介质)中的软件，并且相应地，周边监视部500实现获取部502、角度计算部504、指示符获取部506、转向角获取部508、图像合成部510以及输出部512。可以经由除了ROM 14b之外的计算机可读记录介质来提供软件(程序)。
在车辆1的点火开关、电力开关和/或显示启动开关处于打开状态的情况下，即车辆1处于车辆1能够被驾驶的状态的情况下，或在用户做出显示请求的情况下，本实施例的周边显示部500辅助驾驶员驾驶车辆1。为了辅助驾驶员，周边监视部500基于从图像捕获部16输入的捕获图像数据以及从加速度传感器26、转向角传感器19等获得的数据来显示图像数据(通过该图像数据能够识别车辆1周围的环境情形)和与图像数据相关的补充信息。
获取部502获取从设置在车辆1上并捕获或抓取车辆1周边的图像的图像捕获部16a、16b、16c和16d输出的捕获图像数据。获取部502将获取的捕获图像数据输出到图像合成部510。
角度计算部504以预定周期基于加速度传感器26a、26b获取的加速度数据计算车辆1的倾斜角度(俯仰角和滚动角)。俯仰角对应于用于指示车辆1围绕车辆1的左右轴(即横向轴)的车辆1的倾斜或倾侧的角度。当车辆1处于水平面(地面、路面)时俯仰角是零(0)度。滚动角对应于指示围绕车辆1的前后轴的车辆1的倾斜或倾侧的角度。当车辆1处于水平面(地面、路面)时滚动角是0度。可以使用已知的用于计算倾斜角的方法，因此省略其说明。可以以除了通过使用加速度传感器26计算倾斜角的上述方法之外的方法获取倾斜角。例如，可以使用倾斜角度传感器。角度计算部504将计算出的倾斜角度输出到图像合成部510。
指示符获取部506从存储于ROM 14b或SSD 14f中的多个指示符数据(例如，参考线Pa的数据、辅助线Pb的数据、参考线Qa的数据、辅助线Qb的数据、路线指示符R的数据)中选择并然后获得待显示的指示符。然后，指示符获取部506将获取的指示符数据输出到图像合成部510。
转向角获取部508以预定周期获取从转向角传感器19输出的转向角数据，然后转向角获取部508将获取的转向角数据输出到图像合成部150。
图像合成部510执行将由指示符获取部506提供的指示符数据叠加在由获取部502提供的捕获图像数据上的图像合成处理。这时，在前显示区域FV中，用于前方显示的参考线Qa的数据、参考线Pa的数据等如图5所示被叠加。类似地，用于侧方显示的用于参考线Qa的数据、用于参考线Pa的数据等如图5所示叠加在左侧显示区域SVL和右侧显示区域SVR上。此外，图像合成部510将通过指示符获取部506提供的用于路线指示符R的数据叠加在前显示区域FV中。因为车辆1的行驶方向取决于前轮3F的转向角方向而变化，因而图像合成部510基于由转向角获取部508提供的转向角来修改用于路线指示符R的数据，然后在前显示区域FV中叠加修改后的数据。此外，图像合成部510基于由指示符获取部506提供的倾斜角来确定在角度仪指示区域30中指示的符号32的姿势。
在完成待显示在前显示区域FV、左侧显示区域SVL、右侧显示区域SVR和角度仪指示区域30中的数据的数据合成之后，图像合成部510以预定周期将合成后的数据输出到输出部512。输出部512在显示设备8处将接收到的合成数据(即在图像合成处理之后的数据)显示为各种驾驶辅助信息。
图8中示出了在图像合成部510处的显示处理的过程的流程图。图像合成部510以预定周期获取来自获取部502的捕获图像数据(步骤S100)。此外，图像合成部510获取来自转向角获取部508的转向角(步骤S102)，并基于获取的转向角计算每个前轮3F的当前轮胎角度。随后，图像合成部510经由指示符获取部506获取待叠加在获取的捕获图像数据上的指示符数据(步骤S104)。
图像合成部510在主图像上叠加用于参考线Qa的数据、用于参考线Pa的数据以及用于路线指示符R的数据作为指示符(步骤S106)。主图像对应于由图像捕获部16a捕获并且待显示在前显示区域FV中的前方图像。此外，图像合成部510将用于参考线Pa的数据和用于参考线Qa的数据叠加在子图像上作为指示符(步骤S108)。子图像对应于由图像捕获部16b和16d捕获并且待分别显示在左侧显示区域SVL和右侧显示区域SVR中的左侧图像和右侧图像中的每一个。然后，图像合成部510将每个经叠加的图像提供到输出部512，输出部512如图5所示在显示设备8上显示车辆1周围的环境图像，即输出部512输出合成的图像(步骤S110)。
如上所述，本实施例的周边监视系统100显示由图像捕获部16捕获的多个方向的周边图像以及与周边图像相关的指示符。除此之外，本实施例的周边监视系统100以便于理解指示符之间的相关性或关系的方式来显示在图像中显示的指示符。结果是，视觉上容易识别出所显示的图像之间的相关性。
在前述实施例中，以向前移动模式为例进行说明。在先前移动模式中，周边监视部500在显示设备8上显示前显示区域FV以及左侧显示区域SVL和右侧显示区域SVR。作为另一实施例，例如，在基于来自换档传感器21的检测到的信息确认车辆1将要向后移动的情况下，周边监视部500可以在由图像捕获部16c捕获而不是由图像捕获部16a捕获的后部图像上叠加指示符，并且可以在前显示区域FV上显示后部图像。此外，在本实施例的车辆1向后移动的情况下，在向后移动期间可以基于转向角传感器19将后轮3R的路线指示符R叠加在后部图像上。在如上所述在向后移动模式下显示周边图像和指示符的情况下，可以以便于理解指示符之间的关联性的方式来显示指示符。结果是，从视觉上容易识别出所显示的图像之间的相关性。
此外，在本实施例的实例中，使用用于指示与车辆侧表面相距的距离的参考线Pa以及用于指示与车辆的前表面相距的距离的参考线Qa作为指示符。然而，例如，指示符可以是符号或标记，或者用于显示对应性的区域的指示，只要该符号、标记或指示能够便于识别周边图像中车辆1的位置即可。而且，在该情况下，当在前显示区域FV以及在左侧显示区域SVL和右侧显示区域SVR中叠加显示了相同的指示符时，以彼此对应的方式显示指示符。结果是，获得了类似的效果和优点，即，从视觉上容易识别所显示图像之间的相关性。
此外，在本实施例中，除了如图4A、4B所示的参考线Pa和参考线Qa之外还可以显示辅助线Pb和/或辅助线Qb。在这种情况下，参考线Pa和参考线Qa以容易区分开来的颜色显示，或者将强调处理应用于参考线Pa和参考线Qa，而辅助线Pb和/或辅助线Qb以通常方式显示，即以辅助或支持方式显示。例如，可以通过白线显示辅助线Pb和/或辅助线Qb。在另一实施例中，可以根据用户选择来切换指示符，使得指示符容易区别开来或容易识别。例如，在对于特定的感兴趣的指示符期望在车辆宽度方向上有更多限额的情况下，可以以彩色方式或者以强调方式显示辅助线Pb，而例如可以通过白线指示参考线Pa。类似地，在前显示区域FV中显示的参考线Qa可以以便于识别或区分辅助线Qb等的方式被显示。因此，由于用户能够选择对于用户而言容易区别的指示符，因而可以取决于用户的驾驶技术来显示指示符。结果是，增强了驾驶辅助的效果。

Claims (7)

1.一种周边监视装置(100)，包括：
获取部(502)，用于获取由第一图像捕获部(16a，16c)输出的第一捕获图像数据以及由第二图像捕获部(16b，16d)输出的第二捕获图像数据，所述第一图像捕获部(16a，16c)设置在车辆(1)处并捕获车辆(1)的行驶方向上的图像，并且所述第二图像捕获部(16b，16d)设置在所述车辆(1)处并捕获车辆(1)的宽度方向上的图像，所述车辆(1)的行驶方向对应于第一图像捕获区域(B)，所述车辆(1)的宽度方向对应于第二图像捕获区域(A)；以及
输出部(512)，用于在第一显示区域(FV)和第二显示区域(SVL，SVR)中至少一个区域中叠加显示指示符(Pa，Qa)，所述指示符(Pa，Qa)指示相对于所述车辆(1)的预定区域，所述第一显示区域(FV)显示基于所述第一捕获图像数据的图像，所述第二显示区域(SVL，SVR)显示基于所述第二捕获图像数据的图像，所述指示符(Pa，Qa)被叠加显示的区域对应于所述指示符(Pa，Qa)的叠加区域；
在所述指示符(Pa，Qa)的叠加区域被包括在所述第一显示区域(FV)和所述第二显示区域(SVL，SVR)中另一区域中时，所述输出部(512)以与在所述第一显示区域(FV)和所述第二显示区域(SVL，SVR)中所述一个区域中显示的指示符(Pa，Qa)的显示方式相对应的显示方式在所述第一显示区域(FV)和所述第二显示区域(SVL，SVR)中所述另一区域中叠加显示所述指示符(Pa，Qa)。
2.根据权利要求1所述的周边监视装置(100)，其中，
在以彼此对应的显示方式在所述第一显示区域(FV)并在所述第二显示区域(SVL，SVR)中指示所述指示符(Pa，Qa)的情况下，所述输出部(512)以彼此相同的显示颜色在所述第一显示区域(FV)并在所述第二显示区域(SVL，SVR)中显示所述指示符(Pa，Qa)。
3.根据权利要求1或2所述的周边监视装置(100)，其中，所述指示符(Pa，Qa)包括第一指示符(Qa)和第二指示符(Pa)，所述输出部(512)在所述第一显示区域(FV)中显示所述第一指示符(Qa)并在所述第二显示区域(SVL，SVR)中显示所述第二指示符(Pa)，所述第一指示符(Qa)对应于所述第一显示区域(FV)，所述第二指示符(Pa)对应于所述第二显示区域(SVL，SVR)，所述第一指示符(Qa)和所述第二指示符(Pa)以彼此不同的显示方式被显示。
4.根据权利要求1到3中任一项所述的周边监视装置(100)，其中，所述输出部(512)显示参考线(Pa，Qa)作为所述指示符(Pa，Qa)，所述参考线(Pa，Qa)平行于穿过所述车辆(1)的中心的虚拟线(GL，GW)并且在所述第一显示区域(FV)和所述第二显示区域(SVL，SVR)中的至少一个区域中指示相对于所述车辆(1)向外间隔开预定距离(Wa，La)的位置。
5.根据权利要求4所述的周边监视装置(100)，其中，所述输出部(512)沿着所述参考线(Pa，Qa)对所述参考线(Pa，Qa)应用强调处理以强调所述参考线(Pa，Qa)。
6.根据权利要求5所述的周边监视装置(100)，其中，所述参考线(Pa，Qa)包括车辆侧和远端侧，与所述车辆侧相比，所述远端侧被置为与所述车辆(1)相距更远，并且所述输出部(512)对所述参考线(Pa，Qa)的车辆侧和远端侧的至少一侧应用阴影(BL)作为所述强调处理。
7.根据权利要求1到6中任一项所述的周边监视装置(100)，其中，所述输出部(512)在所述第一显示区域(FV)和所述第二显示区域(SVL，SVR)中的至少一个区域中叠加显示路线指示符(R)，所述路线指示符(R)指示所述车辆(1)的估计行驶方向。
CN201510011547.6A 2014-01-10 2015-01-09 周边监视装置 Active CN104773113B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014003795A JP6281289B2 (ja) 2014-01-10 2014-01-10 周辺監視装置、及びプログラム
JP2014-003795 2014-01-10

Publications (2)

Publication Number Publication Date
CN104773113A true CN104773113A (zh) 2015-07-15
CN104773113B CN104773113B (zh) 2019-11-26

Family

ID=52146062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510011547.6A Active CN104773113B (zh) 2014-01-10 2015-01-09 周边监视装置

Country Status (4)

Country Link
US (1) US10315569B2 (zh)
EP (1) EP2910423B1 (zh)
JP (1) JP6281289B2 (zh)
CN (1) CN104773113B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300322A (zh) * 2018-10-31 2019-02-01 百度在线网络技术（北京）有限公司 引导线绘制方法、装置、设备和介质
CN109455140A (zh) * 2017-09-06 2019-03-12 丰田自动车株式会社 图像显示装置
CN109747539A (zh) * 2017-11-08 2019-05-14 丰田自动车株式会社 电子镜设备
CN110281921A (zh) * 2018-03-14 2019-09-27 奥迪股份公司 机动车的用于显示增强现实的驾驶员辅助系统以及方法
CN110997408A (zh) * 2017-08-02 2020-04-10 市光工业株式会社 电动收藏式车辆用周边视觉确认装置
CN111216632A (zh) * 2018-11-26 2020-06-02 本田技研工业株式会社 影像显示装置及其控制方法、存储介质
CN113119865A (zh) * 2021-04-15 2021-07-16 常州斯伯银车辆科技有限公司 电子后视镜的监测方法、装置、车载设备以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447060B2 (ja) * 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
JP6838340B2 (ja) 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
KR20200042549A (ko) * 2018-10-15 2020-04-24 현대자동차주식회사 차량 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008992A1 (en) * 2000-01-14 2001-07-19 Yazaki Corporation, Tokyo, Japan Periphery monitoring device for motor vehicle and recording medium containing program for determining danger of collision for motor vehicle
JP2003199093A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Ind Co Ltd 運転支援装置及び画像出力装置並びにカメラ付きロッド
CN1461561A (zh) * 2001-04-24 2003-12-10 松下电器产业株式会社 用于车载摄像机的图像显示方法和装置
US20100265048A1 (en) * 2007-09-11 2010-10-21 Yuesheng Lu Imaging System for Vehicle
US20110025489A1 (en) * 2009-08-03 2011-02-03 Kenichi Shimoda Vehicle-Surrounding Image Display Apparatus And Vehicle-Surrounding Image Display Method
CN102428700A (zh) * 2009-05-20 2012-04-25 爱信精机株式会社 监视装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP3807330B2 (ja) 2002-03-05 2006-08-09 日産自動車株式会社 車両周辺監視装置
JP3928660B2 (ja) 2006-03-23 2007-06-13 日産自動車株式会社 車両周辺監視装置
JP2008114691A (ja) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
JP4623396B2 (ja) * 2008-05-08 2011-02-02 アイシン精機株式会社 車両周辺表示装置
FR2979300B1 (fr) * 2011-08-31 2013-08-30 Peugeot Citroen Automobiles Sa Dispositif pour estimer une trajectoire future d'un vehicule et associer a des parties qu'elle comprend des aspects differents selon leurs positions par rapport a un obstacle, pour un systeme d'aide a la conduite

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008992A1 (en) * 2000-01-14 2001-07-19 Yazaki Corporation, Tokyo, Japan Periphery monitoring device for motor vehicle and recording medium containing program for determining danger of collision for motor vehicle
CN1461561A (zh) * 2001-04-24 2003-12-10 松下电器产业株式会社 用于车载摄像机的图像显示方法和装置
JP2003199093A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Ind Co Ltd 運転支援装置及び画像出力装置並びにカメラ付きロッド
US20100265048A1 (en) * 2007-09-11 2010-10-21 Yuesheng Lu Imaging System for Vehicle
CN102428700A (zh) * 2009-05-20 2012-04-25 爱信精机株式会社 监视装置
US20110025489A1 (en) * 2009-08-03 2011-02-03 Kenichi Shimoda Vehicle-Surrounding Image Display Apparatus And Vehicle-Surrounding Image Display Method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110997408A (zh) * 2017-08-02 2020-04-10 市光工业株式会社 电动收藏式车辆用周边视觉确认装置
CN109455140A (zh) * 2017-09-06 2019-03-12 丰田自动车株式会社 图像显示装置
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
CN109747539A (zh) * 2017-11-08 2019-05-14 丰田自动车株式会社 电子镜设备
CN110281921A (zh) * 2018-03-14 2019-09-27 奥迪股份公司 机动车的用于显示增强现实的驾驶员辅助系统以及方法
CN109300322A (zh) * 2018-10-31 2019-02-01 百度在线网络技术（北京）有限公司 引导线绘制方法、装置、设备和介质
CN111216632A (zh) * 2018-11-26 2020-06-02 本田技研工业株式会社 影像显示装置及其控制方法、存储介质
CN113119865A (zh) * 2021-04-15 2021-07-16 常州斯伯银车辆科技有限公司 电子后视镜的监测方法、装置、车载设备以及存储介质

Also Published As

Publication number Publication date
JP2015133603A (ja) 2015-07-23
JP6281289B2 (ja) 2018-02-21
US20150197197A1 (en) 2015-07-16
EP2910423A3 (en) 2015-10-07
CN104773113B (zh) 2019-11-26
US10315569B2 (en) 2019-06-11
EP2910423B1 (en) 2017-05-03
EP2910423A2 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104773113A (zh) 周边监视装置
JP6806156B2 (ja) 周辺監視装置
JP6724425B2 (ja) 駐車支援装置
EP2902271B1 (en) Parking assistance device, and parking assistance method and program
EP2990265A1 (en) Vehicle control apparatus
CN104015659A (zh) 停车支援装置、停车支援方法
KR20100120695A (ko) 차량주변표시장치
JP7222216B2 (ja) 運転支援装置
US11787335B2 (en) Periphery monitoring device
JP2020043400A (ja) 周辺監視装置
CN105416282A (zh) 停车辅助装置
WO2018150642A1 (ja) 周辺監視装置
CN109017762A (zh) 驾驶辅助装置
CN110997409B (zh) 周边监控装置
JP5548069B2 (ja) 画像処理装置、及び、画像処理方法
CN109691089A (zh) 显示控制装置
JP2004147083A (ja) 運転支援装置
CN109314770B (zh) 周边监控装置
JP6656359B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
CN110546047A (zh) 停车辅助装置
JP7367375B2 (ja) 特定領域検知装置
US20150002657A1 (en) Method and apparatus for using vehicle cameras to capture and share digital media
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP6953915B2 (ja) 周辺監視装置
JP2012061989A (ja) 画像処理装置、及び、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant