CN108216033B - 车辆外围监视装置 - Google Patents

车辆外围监视装置 Download PDF

Info

Publication number
CN108216033B
CN108216033B CN201711340834.7A CN201711340834A CN108216033B CN 108216033 B CN108216033 B CN 108216033B CN 201711340834 A CN201711340834 A CN 201711340834A CN 108216033 B CN108216033 B CN 108216033B
Authority
CN
China
Prior art keywords
display image
vehicle
state
host vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711340834.7A
Other languages
English (en)
Other versions
CN108216033A (zh
Inventor
前岛康平
坂口敦俊
依藤大和
高桥将宽
畠山友希子
清幸荣
佐藤智之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN108216033A publication Critical patent/CN108216033A/zh
Application granted granted Critical
Publication of CN108216033B publication Critical patent/CN108216033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Abstract

一种车辆外围监视装置，包括摄像装置、电子控制单元以及显示单元，其中，显示单元被配置成对显示图像进行显示。电子控制单元被配置成基于来自摄像装置的图像信息来生成外部环境的显示图像，以使得显示图像包括来自第一预定视点的第一显示图像，其中，从第一预定视点从上方倾斜地看到宿主车辆的右侧表面和左侧表面中的一个以及宿主车辆的后部或前部。电子控制单元被配置成在宿主车辆的预定的第一行驶状态、宿主车辆的任一侧的区域的预定外围状态以及转向信号杆被操作的状态中的至少任一种状态下生成和输出包括第一显示图像的显示图像。

Description

车辆外围监视装置
技术领域
本公开内容涉及车辆外围监视装置。
背景技术
已知基于来自对车辆外围的外部环境成像的摄像装置的图像信息来生成车辆外围的外部环境的合成图像并且将所生成的合成图像输出至显示单元的技术(例如，参考公开号为2012-217000(JP 2012-217000A)的日本未审查专利申请)。
发明内容
然而，在这样的相关技术中，未在适当的场合输出使乘员更容易地识别宿主车辆的任一侧的区域的显示图像，因此，存在改进驾驶辅助的空间。例如，基本上从上方看宿主车辆的俯瞰图像有助于乘员识别整个车辆外围。然而，当乘员识别车辆外围中的局部范围、例如宿主车辆的任一侧的区域时，俯瞰图像的实用性略微降低。取决于乘员，存在识别宿主车辆的任一侧的区域比识别整个车辆外围更有用的场合(需要在左转或右转期间检查碰撞事故的可能性的所谓的车辆侧面检查的场合)。
本公开内容提供了一种车辆外围监视装置，该车辆外围监视装置能够在适当的场合输出使乘员更容易地识别宿主车辆的任一侧的区域的显示图像。
本公开内容的一方面涉及车辆外围监视装置。该车辆外围监视装置包括：摄像装置，被配置成对车辆外围的外部环境成像；电子控制单元，被配置成基于来自摄像装置的图像信息生成外部环境的显示图像；以及显示设备，被配置成显示该显示图像。电子控制单元被配置成生成显示图像，以使得显示图像包括来自第一预定视点的第一显示图像，其中，从第一预定视点从上方倾斜地看到宿主车辆的右侧表面和左侧表面中的一个以及宿主车辆的后部或前部。电子控制单元被配置成在宿主车辆的预定的第一行驶状态、宿主车辆的任一侧的区域的预定外围状态以及操作转向信号杆的状态中的至少任一种状态下生成和输出包括第一显示图像的显示图像。
根据本公开内容的该方面，生成包括来自第一预定视点的针对外部环境的第一显示图像的显示图像，并且所生成的包括第一显示图像的显示图像被输出至显示单元，其中，从第一预定视点从上方倾斜地看到宿主车辆的右侧表面和左侧表面中的一个以及宿主车辆的后部或前部。由于第一预定视点是从上方倾斜地看到宿主车辆的右侧表面和左侧表面中的一个以及宿主车辆的后部或前部的视点，因此乘员更容易识别在宿主车辆侧面的宿主车辆的右侧表面和左侧表面中的一个的区域。此外，在宿主车辆的预定的第一行驶状态、宿主车辆的任一侧的区域的预定外围状态以及转向信号杆的操作状态中的至少任一种状态下，输出包括第一显示图像的显示图像，并且因此在乘员识别宿主车辆的任一侧的区域会有益的场合(例如，在左转或右转期间需要检查碰撞事故的可能性的场合)下，能够输出包括第一显示图像的显示图像。以这种方式，可以在适当的场合下输出使乘员更容易地识别宿主车辆的任一侧的区域的显示图像。
在本公开内容的该方面中，电子控制单元可以被配置成在第一行驶状态下生成和输出包括第一显示图像的显示图像。第一行驶状态可以包括从中间位置起的转向角度的大小等于或大于预定角度的转向状态。
根据本公开内容的该方面，当宿主车辆处于转向状态或转向前状态时，可以输出包括第一显示图像的显示图像。当车辆处于转向状态或转向前状态时，乘员识别宿主车辆的任一侧区域会是有益的，并且因此可以实现适当的驾驶辅助。即，“转向前状态”是停止状态，以及是从中间位置起的转向角度的大小明显大于0的状态。“转向前状态”是由于车辆在转向期间暂时停止或者在车辆未被驾驶的情况下的转向而发生的。
在本公开内容的该方面中，第一行驶状态还可以包括车速等于或小于预定车速的车速状态。
根据本公开内容的该方面，在车速等于或小于预定车速的车速状态下可以输出包括第一显示图像的显示图像。在许多情况下，乘员识别宿主车辆的任一侧的区域会有益的场合是车辆处于停止状态下的转向前状态下，或车辆处于较低速的转向状态下，并且因此可以在适当的场合输出显示图像。
在本公开内容的该方面中，车辆外围监视装置还可以包括车速传感器，被配置成输出表示车速的车速信息。电子控制单元可以被配置成基于车速信息确定车速是否等于或小于预定车速。
在本公开内容的该方面中，车辆外围监视装置还可以包括换挡位置传感器，被配置成输出表示换挡位置的换挡位置信息。第一行驶状态还可以包括换挡位置处于前向行驶档位的状态。电子控制单元可以被配置成生成和输出包括来自第一预定视点的第一显示图像的显示图像，其中，从第一预定视点从上方倾斜地看到宿主车辆的右侧表面和左侧表面中内轮侧的侧表面以及宿主车辆的后部。
根据本公开内容的该方面，当车辆处于前向行驶状态的转向状态下时，或者处于停止状态的转向前状态并且同时换挡位置处于前向行驶档位的状态下时，内轮侧的安全检查将变得容易。
在本公开内容的该方面中，第一行驶状态还可以包括宿主车辆接近或到达预定左转点或预定右转点处的状态。
根据本公开内容的该方面，可以在预定左转点或右转点处输出包括第一显示图像的显示图像。当宿主车辆处于转向状态或者右转点或左转点处的转向前状态时，乘员识别宿主车辆的任一侧的区域会是有益的，并且因此可以实现适当的驾驶辅助。
在本公开内容的该方面中，车辆外围监视装置还可以包括距离测量传感器，被配置成检测在宿主车辆的任一侧的区域中存在的障碍物。预定外围状态可以包括由距离测量传感器检测到障碍物的状态。电子控制单元可以被配置成在预定外围状态和第一行驶状态下生成和输出包括第一显示图像的显示图像。
根据本公开内容的该方面，当车辆处于转向状态或转向前状态并且检测到宿主车辆的任一侧的区域中的障碍物时，乘员识别宿主车辆的任一侧的区域会是有益的，并且因此可以实现适当的驾驶辅助。
在本公开内容的该方面中，电子控制单元可以被配置成生成显示图像，以使得显示图像还包括来自第二预定视点的第二显示图像，其中，从第二预定视点以左右对称的方式从后方并且从上方倾斜地看到宿主车辆。电子控制单元可以被配置成在包括直行状态的预定第二行驶状态下生成和输出包括第二显示图像的显示图像。
根据本公开内容的该方面，在包括直行状态的预定第二行驶状态下，可以输出使乘员更容易地识别整个车辆外围的包括第二显示图像的显示图像。
根据本公开内容的该方面，可以得到在适当场合下输出使乘员更容易地识别宿主车辆的任一侧的区域的显示图像的车辆外围监视装置。
附图说明
下面将参照附图描述本发明的示例性实施方式的特征、优点以及技术和工业意义，其中，在附图中相同的附图标记指示相同的元素，并且在附图中：
图1是示出根据实施方式的车辆外围监视装置的配置的示例的图；
图2是示出摄像装置的成像范围的示例的图；
图3是示出控制设备的功能的示例的功能框图；
图4A是示出用于左转的显示图像的示例的图；
图4B是示出用于右转的显示图像的示例的图；
图4C是示出用于直行的显示图像的示例的图；
图5是示意性示出由控制设备执行的处理的示例的流程图；以及
图6是示意性示出由控制设备执行的处理的另一示例的流程图。
具体实施方式
在下文中，将参照附图详细描述实施方式。
图1是示出根据实施方式的车辆外围监视装置1的配置的示例的图。
车辆外围监视装置1安装在车辆上。车辆外围监视装置1包括控制设备40和车载电子设备组8。在下文中，安装有车辆外围监视装置1的车辆被称为“宿主车辆”。
控制设备40由计算机构成。例如，控制设备40是电子控制单元(ECU)。图1是示出控制设备40的硬件配置的示例的图。图1示意性示出了与控制设备40的硬件配置有关的车载电子设备组8。
控制设备40包括通过总线19连接的中央处理单元(CPU)11、随机存取存储器(RAM)12、只读存储器(ROM)13、辅助存储设备14、通信接口17以及连接至通信接口17的有线发送和接收单元25。
有线发送和接收单元25包括通过使用车辆网络例如控制器局域网络(CAN)或局域互连网络(LIN)执行通信的发送和接收单元。车载电子设备组8通过有线发送和接收单元25连接至控制设备40。除了有线发送和接收单元25以外，控制设备40还可以包括连接至通信接口17的无线发送和接收单元(未示出)。在这种情况下，无线发送和接收单元可以包括近场通信(NFC)单元、蓝牙(注册商标)通信单元、无线-保真(Wi-Fi)发送和接收单元、红外发送和接收单元等。
车载电子设备组8包括转向传感器80、全球定位系统(GPS)接收器81、车速传感器82、显示器83(显示单元的示例)、操作开关84、转向信号杆开关85、距离测量传感器86、导航设备87、换挡位置传感器88以及摄像装置90。
转向传感器80输出表示方向盘的转向角度的转向角度信息。转向角度信息包括表示转向方向(向右或向左)的信息和表示从中间位置起的转向角度的大小的信息。
GPS接收器81基于来自GPS卫星的波来测量宿主车辆的位置。
车速传感器82输出表示车速的车速信息。
显示器83例如是触摸面板类型的液晶显示器。显示器83布置在宿主车辆的乘员可以在视觉上识别该显示器的位置。显示器83固定在宿主车辆内部，但是可以是可带入宿主车辆内的便携式终端。在这种情况下，便携式终端与控制设备40之间的通信通过无线发送和接收单元(例如，蓝牙通信单元)来执行。
操作开关84用于打开或关闭稍后将描述的输出车辆侧面检查画面的功能，并且布置在车厢内部。
转向信号杆开关85输出表示转向信号杆(未示出)的状态的信息(在下文中，称为“转向信号杆信息”)。例如，在操作转向信号杆的状态(转向信号杆的操作状态)下，转向信号杆开关85输出开(ON)信号作为转向信号杆信息。例如，ON信号的类型包括当转向信号杆被向上操作时的第一ON信号和当转向信号杆被向下操作时的第二ON信号。
距离测量传感器86设置在宿主车辆的左侧部分和右侧部分的每个部分上。距离测量传感器86在宿主车辆的任一侧的区域中发射超声波，并且基于超声波的反射波检测障碍物。在距离测量传感器86检测到障碍物的情况下，距离测量传感器86输出表示检测到障碍物的信息(下文中，称为“障碍物检测信息”)。距离测量传感器86可以由乘员打开或关闭。
导航设备87基于来自GPS接收器81的宿主车辆的位置信息和预先存储的地图信息，来检测宿主车辆接近或到达右转点或左转点处。例如，在设置了引导路线的情况下，当宿主车辆的位置距引导路线上的右转点或左转点(预定右转点或预定左转点的示例)的距离等于或小于预定距离D0时，导航设备87输出表示宿主车辆接近或到达右转点或左转点的事件的信息(下文中，称为“右转点或左转点到达触发”)。例如，预定距离D0是用于检测宿主车辆接近或到达右转点或左转点的事件的阈值，是根据来自GPS接收器81的宿主车辆的位置信息的精度等适应性调整的适应值，以及例如是10m。
此外，导航设备87基于来自GPS接收器81的宿主车辆的位置信息和由乘员预先设置的右转点或左转点(预定右转点或预定左转点的示例)，检测宿主车辆接近或到达由乘员设置的右转点或左转点处。当宿主车辆的位置距由乘员预先设置的右转点或左转点的距离等于或小于预定距离D0时，导航系统87输出表示宿主车辆接近或到达相应的右转点或左转点的事件的信息(下文中，无区别地称为“右转点或左转点到达触发”)。下文中，导航系统87的输出右转点或左转点到达触发的功能被称为“点到达触发输出功能”。
换挡位置传感器88输出表示换挡位置的信息(下文中，称为“换挡位置信息”)。
摄像装置90例如包括成像设备比如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)，并且摄像装置90是用于对车辆外围成像的成像装置。摄像装置90包括分别对宿主车辆的前方、后方、左方以及右方的部分成像的摄像装置90a、摄像装置90b、摄像装置90c、摄像装置90d。
例如，摄像装置90a设置在宿主车辆的前护栅的中心部分处，并且对宿主车辆的前方的部分成像。例如，摄像装置90b设置在宿主车辆的后窗上端的中心部分处，并且对宿主车辆的后方的部分成像。例如，摄像装置90c设置在宿主车辆的左后视镜的较低部分处，并对宿主车辆的左侧的区域成像。例如，摄像装置90d设置在宿主车辆的右后视镜的较低部分处，并对宿主车辆的右侧的区域成像。
摄像装置90a至摄像装置90d中的每个摄像装置向控制设备40提供所捕获的图像。摄像装置90a至摄像装置90d协作以便在宿主车辆的全部方向上对车辆外围的外部环境成像。这里，将通过使用图2来描述摄像装置90的成像范围的示例。
图2是示出摄像装置90的成像范围的示例的图。
在图2中，摄像装置90b、摄像装置90d隐藏在宿主车辆后面，因此不可见。
如图2所示，摄像装置90a至摄像装置90d分别具有可以对邻近宿主车辆的前方、后方、左方和右方的部分的路面部分A1a至A1d成像的成像范围。因此，摄像装置90a至摄像装置90d可以对驾驶员不能在视觉上识别的车辆外围的状态成像。
此外，路面部分A1围绕宿主车辆，其中，在路面部分A1中路面部分A1a至A1d交叠。即，摄像装置90具有可以对360°地围绕宿主车辆的路面部分A1成像的成像范围。
图3是示出控制设备40的功能的示例的功能框图。
控制设备40基于从摄像装置90a至摄像装置90d接收的捕获图像生成合成图像，并且基于所生成的合成图像来生成要在显示器83(参考图1)上显示的显示图像(下面描述的用于左转的显示图像等)。作为基于来自多个摄像装置的捕获图像来生成合成图像的方法，例如，可以使用JP 2012-217000 A中所公开的方法。控制设备40将对应于所生成的显示图像的图像信号提供至显示器83，以便在在显示器83上显示该显示图像。
控制设备40包括第一立体图像生成单元41、第二立体图像生成单元42以及显示控制器44。第一立体图像生成单元41、第二立体图像生成单元42以及显示控制器44由执行存储设备(例如，ROM 103)中的一个或更多个程序的CPU 11来实现。
第一立体图像生成单元41生成用于左转的显示图像。用于左转的显示图像包括来自左转视点(第一预定视点的示例)的车辆外围的外部环境的图像(下面描述的用于左转的立体图像部分50)(第一显示图像的示例)，其中，从左转视点从上方倾斜地看到宿主车辆的左侧表面和后部。左转视点是看到宿主车辆的左后轮(左转期间内轮侧的后轮)的视点。
图4A是示出用于左转的显示图像的示例的图。
在图4A所示的示例中，用于左转的显示图像包括用于左转的立体图像部分50(第一显示图像的示例)和顶视图图像部分51。
用于左转的立体图像部分50包括车辆外围图像部分500和宿主车辆显示510。车辆外围图像部分500是表示车辆外围的外部环境的图像部分，并且基于来自摄像装置90a至摄像装置90d的图像生成。车辆外围图像部分500可以基于来自摄像装置90a至摄像装置90d的图像来生成(参考图4A)，或者可以基于来自摄像装置90a至摄像装置90d之中的摄像装置90a、摄像装置90b、摄像装置90c的图像来生成。例如，车辆外围图像部分500可以通过将立体图像的视点设置为左转视点来生成，立体图像是通过合成来自摄像装置90a至摄像装置90d的图像获得的。以这种方式，乘员可以具体地识别宿主车辆的左侧的区域的状态(在左转期间发生碰撞事故的可能性等)。
宿主车辆显示510是预先准备的图像(作为非实际图像的图像)，并且立体地表示从左转视点看的宿主车辆。因此，乘员(特别地，驾驶员)可以从用于左转的立体图像部分50直观地识别宿主车辆与车辆外围存在的物体之间的位置关系。宿主车辆显示510可以被显示成使得看穿前护板的右部并且越过前护板的右部看到车辆外围图像部分500的一部分。在这种情况下，乘员在左转期间更容易识别前护板的右部与外围之间的位置关系，并且这样的功能有助于车辆在狭窄的道路上“通过”。此外，用于左转的立体图像部分50还可以包括表示宿主车辆的左后轮的预测轨迹的显示511和表示前护板的右部的预测轨迹的显示512。在这种情况下，乘员更容易识别车辆外围与各部分之间的预测关系。
顶视图图像部分51是基本上从上方看宿主车辆的图像(俯瞰图像)。在图4A所示的示例中，尽管未给出附图标记，但是顶视图图像部分51类似地包括车辆外围图像部分、宿主车辆显示、表示宿主车辆的左后轮的预测轨迹的显示以及表示前护板的右部的预测轨迹的显示。用于左转的显示图像同时包括具有不同视点的用于左转的立体图像部分50和顶视图图像部分51，从而在多个视图中更容易地识别车辆外围的外部环境。
第一立体图像生成单元41还生成用于右转的显示图像。用于右转的显示图像包括来自右转视点(第一预定视点的示例)的车辆外围的外部环境的图像(下面描述的用于右转的立体图像部分60)(第一显示图像的示例)，其中，从右转视点从上方倾斜地看到宿主车辆的右侧表面和后部。右转视点是看到宿主车辆的右后轮(右转期间内轮侧的后轮)的视点。
图4B是示出用于右转的显示图像的示例的图。
在图4B所示的示例中，用于右转的显示图像包括用于右转的立体图像部分60(第一显示图像的示例)和顶视图图像部分61。
用于右转的立体图像部分60包括车辆外围图像部分600和宿主车辆显示610(与宿主车辆有关的图像部分的示例)。车辆外围图像部分600是表示车辆外围的外部环境的图像部分，并且基于来自摄像装置90a至摄像装置90d的图像生成。车辆外围图像部分600可以基于来自摄像装置90a至摄像装置90d的图像来生成(参考图4B)，或者可以基于来自摄像装置90a至摄像装置90d之中的摄像装置90a、摄像装置90b、摄像装置90d的图像来生成。例如，车辆外围图像部分600可以通过将立体图像的视点设置为右转视点来生成，立体图像是通过合成来自摄像装置90a至摄像装置90d的图像获得的。以这种方式，驾驶者可以具体地识别宿主车辆右侧的区域的状态(在右转等期间发生碰撞事故的可能性等)。
宿主车辆显示610是预先准备的图像(作为非实际图像的图像)，并且立体地表示从右转视点看的宿主车辆。因此，乘员(特别地，驾驶员)可以从用于右转的立体图像部分60直观地识别宿主车辆与车辆外围存在的物体之间的位置关系。宿主车辆显示610可以被显示成使得看穿前护板的左部并且越过前护板的左部看到车辆外围图像部分600的一部分。在这种情况下，乘员在右转期间更容易识别前护板的左部与外围之间的关系。此外，用于右转的立体图像部分60还可以包括表示宿主车辆的右后轮的预测轨迹的显示611和表示前护板的左部的预测轨迹的显示612。在这种情况下，乘员更容易识别车辆外围与各部分之间的预测关系。
顶视图图像部分61是基本上从上方看宿主车辆的图像。在图4B所示的示例中，尽管未给出附图标记，但是顶视图图像部分61类似地包括车辆外围图像部分、宿主车辆显示、表示宿主车辆的右后轮的预测轨迹的显示以及表示前护板的左部的预测轨迹的显示。用于右转的显示图像同时包括具有不同视点的用于右转的立体图像部分60和顶视图图像部分61，从而在多个视图中更容易地识别车辆外围的外部环境。
第二立体图像生成单元42生成用于直行的显示图像。用于直行的显示图像包括来自直行视点(第二预定视点的示例)的车辆外围的外部环境的图像(下面描述的用于直行的立体图像部分70)(第二显示图像的示例)，其中，从直行视点以左右对称的方式从后方并且从上方倾斜地看到宿主车辆。术语“左右对称”是指直行视点的视线方向与宿主车辆的前后轴线重合的状态。
图4C是示出用于直行的显示图像的示例的图。
在图4C所示的示例中，用于直行的显示图像包括用于直行的立体图像部分70(第二显示图像的示例)和顶视图图像部分71。
用于直行的立体图像部分70包括车辆外围图像部分700和宿主车辆显示710。车辆外围图像部分700是表示车辆外围的外部环境的图像部分，并且基于来自摄像装置90a至摄像装置90d之中的摄像装置90a、摄像装置90c、摄像装置90d的图像来生成。例如，车辆外围图像部分700可以通过将立体图像的视点设置为直行视点来生成，立体图像是通过合成来自摄像装置90a、90c、90d的图像来获得的。以这种方式，驾驶者可以同等地识别宿主车辆的左方的部分和右方的部分的状态。
宿主车辆显示710是预先准备的图像(作为非实际图像的图像)，并且立体地表示从直行视点看的宿主车辆。因此，乘员(特别地，驾驶员)可以从用于直行的立体图像部分70直观地识别宿主车辆与车辆外围存在的物体之间的位置关系。
顶视图图像部分71是基本上从上方看宿主车辆的图像。在图4C所示的示例中，尽管未给出附图标记，但是顶视图图像部分71类似地包括车辆外围图像部分和宿主车辆显示。用于直行的显示图像同时包括具有不同视点的用于直行的立体图像部分70和顶视图图像部分71，从而在多个视图中更容易地识别车辆外围的外部环境。
在图4A至4C所示的示例中，用于左转的显示图像、用于右转的显示图像以及用于直行的显示图像分别包括顶视图图像部分51、顶视图图像部分61、顶视图图像部分71，但是可以不设置顶视图图像部分51、顶视图图像部分61、顶视图图像部分71。
在实施方式中，作为示例，显示控制器44在预定行驶状态(预定第一行驶状态的示例)下输出用于左转的显示图像或用于右转的显示图像，其中，在预定行驶状态下，假定驾驶员对宿主车辆的任一侧的区域的安全检查的使用性较高。这里，术语“行驶状态”是不仅包括车辆正在行驶的状态而且包括车辆停止的状态的概念。此外，“行驶状态”包括与“曲线处”有关的状态和与下面描述的右转点或左转点与宿主车辆的位置之间的关系有关的状态。可以基于转向传感器80、车速传感器82、GPS接收器81等确定行驶状态。
在实施方式中，作为示例，预定行驶状态包括右转或左转状态以及转向前状态，并且更具体地，包括从中间位置起的转向角度的大小等于或大于预定角度S1的转向状态。此外，在实施方式中，作为示例，预定行驶状态包括从中间位置起的转向角度的大小等于或大于预定角度S1的转向状态和其他行驶状态(例如，参考下面描述的条件1等)的组合
这里，术语“转向”不仅包括曲率半径恒定的转向，而且包括曲率半径变化的转向。此外，右转或左转伴随着转向。“转向前状态”是指停止状态，以及当车辆从停止状态开始行驶时车辆转向的状态。即，“转向前状态”是在停止状态下从中间位置起的转向角度的大小明显大于0的状态。“转向前状态”由于车辆在转向期间暂时停止或在车辆未被驾驶的情况下的转向而发生。预定角度S1是用于检测需要进行车辆侧检查等的转向状态或转向前状态的阈值，并且例如是约160度至200度。
在实施方式中，作为示例，在行驶状态是右转状态或右转前状态的情况下，显示控制器44将用于右转的显示图像输出至显示器83；在行驶状态是左转状态或左转前状态的情况下，显示控制器44将用于左转的显示图像输出至显示器83；以及在行驶状态是直行(预定第二行驶状态的示例)的情况下，显示控制器44将用于直行的显示图像输出至显示器83。在这种情况下，当方向盘从中间位置起的旋转方向为右方向时，显示控制器44确定行驶状态为右转状态或右转前状态，并且当方向盘从中间位置起的旋转方向为左方向时，确定行驶状态为左转状态或左转前状态。
利用根据实施方式的车辆外围监视装置1，在右转状态或右转前状态下，用于右转的显示图像被输出至显示器83，并且因此，乘员可以通过查看用于右转的显示图像来检查内轮侧的安全。即，乘员能够根据用于右转的显示图像更容易地确定在右转期间发生碰撞事故的可能性，并且能够从车辆外围监视装置1接收有用的驾驶辅助。
类似地，在左转状态或左转前状态下，用于左转的显示图像被输出至显示器83，并且因此，乘员可以通过查看用于左转的显示图像来检查内轮侧的安全。即，乘员能够根据用于左转的显示图像更容易地确定在左转期间发生碰撞事故的可能性，并且能够从车辆外围监视装置1接收有用的驾驶辅助。
下面，将参照图5和图5之后的附图来描述控制设备40的操作示例。
图5是示意性地示出由控制设备40执行的处理的示例的流程图。当点火开关被打开、换挡位置处于前向行驶档位(D档等)以及输出车辆侧面检查画面的功能被打开时，针对每个预定周期执行图5所示的处理。
在步骤S500中，显示控制器44确定当前画面模式是否是直行画面模式。在图5中，假定作为画面模式，存在直行画面模式和车辆侧面检查画面模式两种模式，并且初始模式是直行画面模式。在当前画面模式是直行画面模式的情况下，处理进行至步骤S502，并且在当前画面模式不是直行画面模式的情况下(即当前模式是车辆侧面检查画面模式)，处理进行至步骤S508。
在步骤S502中，显示控制器44基于来自车速传感器82的车速信息确定车速是否等于或小于预定车速V1。预定车速V1是低速时用于检测转向状态或转向前状态的阈值，是通过试验等适应性调整的适应值。例如，预定车速V1是约10km/h至15km/h。在确定结果为“是”的情况下，处理进行至步骤S504，并且在确定结果为“否”的情况下，处理进行至步骤S514。
在步骤S504中，显示控制器44基于来自转向传感器80的转向角度信息，确定从中间位置起的转向角度的大小是否等于或大于预定角度S1(例如，180度)。在确定结果为“是”的情况下，处理进行至步骤S506，并且在确定结果为“否”的情况下，处理进行至步骤S514。
在步骤S506中，显示控制器44将画面模式设置(切换)为车辆侧面检查画面模式。
在步骤S508中，显示控制器44基于来自车速传感器82的车速信息确定车速是否等于或大于预定车速V2。预定车速V2是用于检测转向后状态的阈值，并且是通过试验等适应性调整的适应值。例如，预定车速V2等于或大于预定车速V1，并且为约10km/h至15km/h。在确定结果为“是”的情况下，处理进行至步骤S512，并且在确定结果为“否”的情况下，处理进行至步骤S510。
在步骤S510中，显示控制器44基于来自转向传感器80的转向角度信息，确定从中间位置起的转向角度的大小是否等于或小于预定角度S2。例如，预定角度S2是用于检测直行状态的阈值，等于或小于预定角度S1，为约70度至110度。在确定结果为“是”的情况下，处理进行至步骤S512，并且在确定结果为“否”的情况下，处理进行至步骤S514。
在步骤S512中，显示控制器44将画面模式设置(切换)为直行画面模式。
在步骤S514中，显示控制器44确定当前画面模式是否是直行画面模式。在当前画面模式是直行画面模式的情况下，处理进行至步骤S516，并且在当前画面模式不是直行画面模式的情况下(即，当前画面模式为车辆侧面检查画面模式)，处理进行至步骤S518。
在步骤S516中，第二立体图像生成单元42生成用于直行的显示图像。显示控制器44将与由第二立体图像生成单元42生成的用于直行的显示图像相对应的图像信号提供至显示器83，并且因此显示器83上显示用于直行的显示图像。
在步骤S518中，显示控制器44基于来自转向传感器80的转向角度信息确定转向角度信息是否表示右转。在转向角度信息表示右转的情况下，处理进行至步骤S520，并且在转向角度信息未表示右转的情况下(即，转向角度信息表示左转)，处理进行至步骤S522。
在步骤S520中，第一立体图像生成单元41生成用于右转的显示图像。显示控制器44将与由第一立体图像生成单元41生成的用于右转的显示图像相对应的图像信号提供至显示器83，并且因此，在显示器83上显示用于右转的显示图像。
在步骤S522中，第一立体图像生成单元41生成用于左转的显示图像。显示控制器44将与由第一立体图像生成单元41生成的用于左转的显示图像相对应的图像信号提供至显示器83，并且因此，在显示器83上显示用于左转的显示图像。
根据图5所示的处理，为了将画面模式切换至车辆侧面检查画面模式，确定与行驶状态有关的下面的三个条件(条件1至条件3)。
条件1：车速等于或小于预定车速V1
条件2：转向角度的大小等于或大于预定角度S1
条件3：换挡位置处于前向行驶档位
根据图5所示的处理，在直行画面模式下，在行驶状态是换挡位置处于前向行驶档位、车速等于或小于预定车速V1并且转向角度的大小等于或大于预定角度S1的情况下(三个条件的组合，预定第一行驶状态的示例)，画面模式被切换至车辆侧面检查画面模式。以这种方式，可以在驾驶员对宿主车辆的任一侧的区域的安全检查的使用性较高的场合下生成并且输出用于右转的显示图像或用于左转的显示图像。
在图5所示的处理中，未使用转向信号杆信息、来自距离测量传感器86的障碍物检测信息以及来自导航设备87的右转点或左转点到达触发。因此，在使用图5所示的处理的配置中，可以不提供转向信号杆信息向控制设备40的输入、距离测量传感器86、导航设备87的输出点到达触发的功能。
此外，当输出车辆侧面检查画面的功能被打开时执行图5所示的处理，但是本公开内容不限于此。即使当输出车辆侧面检查画面的功能被关闭时，也可以在后台执行从步骤S500至步骤S522的处理。然而，由于在后台执行该处理，因此，不输出显示图像(用于右转的显示图像、用于左转的显示图像等)。在这种情况下，当输出车辆侧面检查画面的功能被打开时，输出导航图像的状态可以立即被切换成输出用于右转的显示图像、用于左转的显示图像等的状态，从而可以使开始驾驶辅助的定时提前。
图6是示意性示出由控制设备40执行的处理的另一示例的流程图，并且示出了图5的可替选示例。当点火开关被打开、换挡位置处于前向行驶档位(D档等)、距离测量传感器86打开并且输出车辆侧面检查画面的功能被打开时，针对每个预定周期执行图6所示的处理。
图6所示的处理与图5所示的处理的不同之处在于在步骤S506之前增加了步骤S600至S604。在下文中，将描述不同点。
在步骤600中，显示控制器44基于来自转向信号杆开关85的转向信号杆信息确定转向信号杆开关85是否被操作(操作状态)。在确定结果为“是”的情况下，处理进行至步骤S602，并且在确定结果为“否”的情况下，处理进行至步骤S514。
在步骤S602中，显示控制器44确定从导航设备87接收到右转点或左转点到达触发之后的行驶距离是否在预定距离D1内。预定距离D1对应于从接收到右转点或左转点到达触发的时刻至车辆开始右转或左转的时刻的行驶距离，并且是根据来自GPS接收器81的宿主车辆的位置信息的准确性等适应性调整的适应值。在确定结果为“是”的情况下，处理进行至步骤S604，并且在确定结果为“否”的情况下，处理进行至步骤S514。在未从导航设备87接收到右转点或左转点到达触发的情况下，确定结果为“否”，并且处理进行至步骤S514。然而，在修改示例中，由于可以在不执行导航设备87的引导时输出用于右转的显示图像或用于左转的显示图像，所以在未从导航设备87接收到右转点或左转点到达触发的情况下，处理可以进行至步骤S604。
在步骤S604中，显示控制器44基于来自距离测量传感器86的障碍物检测信息确定在宿主车辆的内轮侧的区域中是否存在障碍物。例如，在左转的情况下，内轮侧是左侧，并且显示控制器44基于存在或不存在来自左距离测量传感器86的障碍物检测信息，确定在宿主车辆的内轮侧区域中是否存在障碍物。在确定结果为“是”的情况下，处理进行至步骤S506，并且在确定结果为“否”的情况下，处理进行至步骤S514。
根据图6所示的处理，为了将画面模式切换至车辆侧面检查画面模式，除了与行驶状态有关的条件1至3以外，确定下面的与行驶状态有关的条件4。
条件4：宿主车辆接近或到达与右转点或左转点到达触发有关的右转点或左转点(从导航设备87接收到右转点或左转点到达触发之后的行驶距离在预定距离D1内)
即，根据图6所示的处理，在直行画面模式中，在换挡位置处于前向行驶档位、车速等于或小于预定车速V1、转向角度的大小等于或大于预定角度S1并且从导航设备87接收到右转点或左转点到达触发之后的行驶距离在预定距离D1内的情况下(四个条件的组合，预定第一行驶状态的示例)，画面模式被切换至车辆侧面检查画面模式。这样的状态很可能是伴随右转或左转或者转向前状态的转向状态，并且可以是驾驶员对宿主车辆的任一侧的区域的安全检查的使用性高的场合。
根据图6所示的处理，除了上面描述的四个条件(条件1至4)以外，确定下面的条件5。
条件5：检测到转向信号杆的操作状态
转向信号杆的操作状态很可能是转向状态或转向前状态(例如，在路口等待右转或左转)，并且可以是驾驶员对宿主车辆的任一侧的区域的安全检查的使用性较高的场合。因此，根据图6所示的处理，通过确定条件4和条件5，可以准确地检测伴随右转或左转或者转向前状态的转向状态，并且在伴随右转或左转或者转向前状态的转向状态下，可以生成和输出用于右转的显示图像或者用于左转的显示图像。
根据图6所示的处理，除了上面描述的五个条件(条件1至5)以外，确定下面的与宿主车辆的外围状态有关的条件6。
条件6：宿主车辆的内轮侧的区域中存在障碍物(预定外围状态的示例)
宿主车辆的内轮侧的区域中存在障碍物的状态可以是驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合。因此，根据图6所示的处理，在伴随右转或左转状态或者转向前状态的转向状态中，在宿主车辆的任一侧区域中存在会被驾驶员识别的障碍物的情况下，可以生成和输出用于右转的显示图像或用于左转的显示图像。
在图6所示的处理中，在条件1至条件6全部被满足的情况下，画面模式切换至车辆侧面检查画面模式，但是本公开内容不限于此。例如，可以省略条件5和/或条件6。此外，在条件1至条件4中，可以仅使用条件1至条件4的一些组合，并且可以单独使用条件1、条件2以及条件4。例如，由于与条件1有关的状态(车速等于或小于预定车速V1的状态)处于低车速，所以与条件1有关的状态可以是驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合。此外，条件1至条件4的一些组合的示例包括：条件1、条件2以及条件3的组合；条件2和条件3的组合；条件2、条件3以及条件4的组合；以及条件3和条件4的组合。
关于条件3，在图5所示的处理中(同样适用于图6)，在宿主车辆处于前向行驶状态或者处于停止状态而同时换挡位置处于前向行驶档位的情况下，输出显示图像(用于右转的显示图像、用于左转的显示图像等)，但是本公开内容不限于此。例如，在宿主车辆处于后向行驶状态或者处于停止状态而同时换挡位置处于后向行驶档位(即，R档)的情况下，可以输出用于右转的显示图像或用于左转的显示图像。例如，可以执行图5所示的处理，而不管换挡位置的档位(即，可以省略条件3)。在修改示例中，作为另一修改示例，在图5所示的处理中，在换挡位置处于后向行驶档位的情况下，代替上面描述的用于右转的显示图像、用于左转的显示图像和用于直行的显示图像，可以生成和输出用于右转的其他显示图像、用于左转的其他显示图像和用于直行的其他显示图像。在这种情况下，用于右转的其他显示图像包括用于右转的其他立体图像部分(第一显示图像的示例)；用于左转的其他显示图像包括用于左转的其他立体图像部分(第一显示图像的示例)；以及用于直行的其他显示图像包括用于直行的其他立体图像部分(第二显示图像的示例)。在这种情况下，用于右转的其他立体图像部分的视点相对于用于右转的立体图像部分60在前后方向和右左方向上反转；用于左转的其他立体图像部分的视点相对于用于左转的立体图像部分50在前后方向和右左方向上反转；以及用于直行的其他立体图像部分的视点相对于用于直行的立体图像部分70在前后方向上反转。例如，用于左转的其他立体图像部分的视点是从上方倾斜看到宿主车辆的右侧表面和前部的视点(第一预定视点的示例)。用于右转的其他立体图像部分的视点是从上方倾斜看到宿主车辆的左侧表面和前部的视点(第一预定视点的示例)。以这种方式，在伴随停车等的左转状态或者左转前状态下，乘员可以通过查看用于左转的其他立体图像部分来检查外轮侧的安全。此外，在伴随停车等的右转状态或者右转前状态下，乘员可以通过查看用于右转的其他立体图像部分来检查外轮侧的安全。在换挡位置处于后向行驶档位的情况下，用于左转的其他立体图像部分等可以与投射有宿主车辆的后方的部分的车辆后侧图像一起输出。
在实施方式中，第一立体图像生成单元41、第二立体图像生成单元42以及显示控制器44是“电子控制单元”的示例。
上面描述了实施方式，但是本公开内容不限于特定的实施方式，并且在本公开内容的范围内可以进行各种修改和变型。此外，可以组合上面描述的实施方式的全部或者多个组成元件。
例如，在上面描述的实施方式中，在行驶状态是右转状态、右转前状态、左转状态以及左转前状态中任一种状态的情况下，生成和输出用于转向的显示图像(用于右转的显示图像或用于左转的显示图像)，但是本公开内容不限于此。例如，在行驶状态是右转状态或右转前状态的情况下，生成和输出用于右转的显示图像，但是在行驶状态是左转状态或左转前状态的情况下，可以不生成和输出用于左转的显示图像。例如，在车辆在右车道上行驶的国家中，这样的配置是优选的。相反地，在行驶状态是左转状态或左转前状态的情况下，生成和输出用于左转的显示图像，但是在行驶状态是右转状态或右转前状态的情况下，可以不生成和输出用于右转的显示图像。在车辆在左车道上行驶的国家中，这样的配置是优选的。
在上面描述的实施方式中，在预定行驶状态下，生成和输出用于右转的显示图像或用于左转的显示图像，但是本公开内容不限于此。代替预定行驶状态，在宿主车辆的任一侧区域的预定外围状态下，可以生成和输出用于右转的显示图像或用于左转的显示图像。预定外围状态包括宿主车辆的内轮侧的区域中存在障碍物的状态，即，由距离测量传感器86检测到障碍物的状态。如关于条件6所描述的，这样的状态可以是驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合。在这种情况下，在用于左转的显示图像和用于右转的显示图像之中，可以生成和输出与障碍物存在的方向有关的立体图像。例如，在由左距离测量传感器86检测到障碍物的情况下，可以生成和输出用于左转的显示图像。即使在修改示例中，在驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合下，可以生成和输出用于右转的显示图像或用于左转的显示图像。即，可以在适当的场合下输出使乘员更容易识别宿主车辆的任一侧区域的显示图像。
在上面描述的实施方式中，在预定行驶状态下，生成和输出用于右转的显示图像或用于左转的显示图像，但是本公开内容不限于此。代替预定行驶状态，在转向信号杆的操作状态下，可以生成和输出用于右转的显示图像或用于左转的显示图像。如关于条件5所描述的，这样的状态可以是驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合。在修改示例中，即使当车辆不处于从中间位置起的转向角度的大小等于或大于预定角度S1的转向状态下时，在转向信号杆的操作状态下，也可以生成和输出用于右转的显示图像或用于左转的显示图像。例如，在“车道改变前状态”的情况下，车辆不处于从中间位置起的转向角度的大小等于或大于预定角度S1的转向状态下，但是“车道改变前状态”可以是驾驶员对宿主车辆的任一侧区域的安全检查的使用性较高的场合。例如，在转向信号杆的操作状态指示车道改变为左车道的可能性的情况下，可以生成和输出用于左转的显示图像。因此，乘员可以在车道改变前更容易地识别宿主车辆在改变目的地的车道侧的一侧的区域的状态。
在上面描述的实施方式中，通过使用超声波(距离测量传感器86)检测障碍物，但是本公开内容不限于此。例如，可以通过使用毫米波或激光检测障碍物。可以通过对摄像装置90的图像进行图像识别处理来检测障碍物。
在上面描述的实施方式中，左转视点和右转视点中的每个视点是恒定的，但是本公开内容不限于此。例如，左转视点和右转视点中的每个视点可以根据从中间位置起的转向角度的大小来变化。例如，左转视点可以是可变的，以使得当从中间位置起的向左方向的转向角度的大小增加时视点向左移动。
在上面描述的实施方式中，设置了第二立体图像生成单元42，但是可以不设置第二立体图像生成单元42。在这种情况下，不存在直行画面模式，并且在图5所示的处理中，可以使用显示导航图像的模式来代替直行画面模式。

Claims (8)

1.一种车辆外围监视装置，其特征在于，包括：
摄像装置，被配置成对车辆外围的外部环境成像；
电子控制单元，被配置成接收来自导航装置的信息并且基于来自所述摄像装置的图像信息来生成所述外部环境的显示图像；以及
显示单元，被配置成显示所述显示图像，
其中，所述电子控制单元被配置成
生成所述显示图像，以使得所述显示图像包括来自第一预定视点的第一显示图像，其中，从所述第一预定视点从上方倾斜地看到宿主车辆的右侧表面和左侧表面中的一个以及所述宿主车辆的后部或前部，
其特征在于，所述电子控制单元被配置为在所述宿主车辆的预定的第一行驶状态下，生成和输出包括所述第一显示图像的所述显示图像，在所述预定的第一行驶状态中，在从所述导航装置接收到右转点或左转点到达触发之后的行驶距离在预定距离内，
其中，所述右转点或左转点到达触发是所述宿主车辆接近或到达对应的右转点或左转点的事件。
2.根据权利要求1所述的车辆外围监视装置，其特征在于，所述电子控制单元还被配置为在所述宿主车辆的任一侧的区域的预定外围状态以及操作转向信号杆的状态中的至少任意一个状态下，生成和输出包括所述第一显示图像的所述显示图像。
3.根据权利要求1所述的车辆外围监视装置，其中，所述第一行驶状态还包括从中间位置起的转向角度的大小等于或大于预定角度的转向状态。
4.根据权利要求3所述的车辆外围监视装置，其特征在于，所述第一行驶状态还包括车速等于或小于预定车速的车速状态。
5.根据权利要求4所述的车辆外围监视装置，其特征在于，还包括车速传感器，所述车速传感器被配置成输出表示车速的车速信息，
其中，所述电子控制单元被配置成基于所述车速信息判定所述车速是否等于或小于所述预定车速。
6.根据权利要求3至5中的任意一项所述的车辆外围监视装置，其特征在于，还包括换挡位置传感器，所述换挡位置传感器被配置成输出表示换挡位置的换挡位置信息，其中：
所述第一行驶状态还包括所述换挡位置处于前向行驶档位的状态；以及
所述电子控制单元被配置成生成和输出包括来自所述第一预定视点的所述第一显示图像的所述显示图像，其中，从所述第一预定视点从上方倾斜地看到所述宿主车辆的右侧表面和左侧表面中的内轮侧的侧表面以及所述宿主车辆的后部。
7.根据权利要求2所述的车辆外围监视装置，其特征在于，还包括距离测量传感器，所述距离测量传感器被配置成检测在所述宿主车辆的任一侧的区域中存在的障碍物，其中：
所述预定外围状态包括由所述距离测量传感器检测到所述障碍物的状态；以及
所述电子控制单元被配置成在所述预定外围状态和所述第一行驶状态下生成和输出包括所述第一显示图像的所述显示图像。
8.根据权利要求1至5中的任意一项所述的车辆外围监视装置，其特征在于，所述电子控制单元被配置成
生成所述显示图像，以使得所述显示图像还包括来自第二预定视点的第二显示图像，其中，从所述第二预定视点以左右对称的方式从后方并且从上方倾斜地看到所述宿主车辆，以及
在包括直行状态的预定第二行驶状态下生成和输出包括所述第二显示图像的所述显示图像。
CN201711340834.7A 2016-12-21 2017-12-14 车辆外围监视装置 Active CN108216033B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-248377 2016-12-21
JP2016248377A JP6639379B2 (ja) 2016-12-21 2016-12-21 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN108216033A CN108216033A (zh) 2018-06-29
CN108216033B true CN108216033B (zh) 2021-04-13

Family

ID=60673273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711340834.7A Active CN108216033B (zh) 2016-12-21 2017-12-14 车辆外围监视装置

Country Status (4)

Country Link
US (1) US10882450B2 (zh)
EP (1) EP3340616B1 (zh)
JP (1) JP6639379B2 (zh)
CN (1) CN108216033B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6727393B2 (ja) * 2017-02-20 2020-07-22 三菱電機株式会社 走行計画修正装置および走行計画修正方法
JP6753363B2 (ja) * 2017-06-20 2020-09-09 トヨタ自動車株式会社 運転支援装置
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
WO2020174614A1 (ja) * 2019-02-27 2020-09-03 本田技研工業株式会社 操舵操作子
CN112215917A (zh) * 2019-07-09 2021-01-12 杭州海康威视数字技术股份有限公司 车载全景图生成方法、装置及系统
JP2021014245A (ja) * 2019-07-16 2021-02-12 アイシン精機株式会社 車両周辺表示装置
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置
JP2021017099A (ja) * 2019-07-18 2021-02-15 株式会社東海理化電機製作所 表示制御システム、表示制御装置およびコンピュータプログラム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448773A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备和图像显示系统
CN102474597A (zh) * 2009-08-03 2012-05-23 爱信精机株式会社 车辆周围图像生成装置
CN103043035A (zh) * 2011-10-14 2013-04-17 株式会社电装 用于摄像头镜头的摄像头清洗设备
CN105644438A (zh) * 2014-11-28 2016-06-08 爱信精机株式会社 车辆周边监视装置
CN106032106A (zh) * 2015-03-13 2016-10-19 厦门歌乐电子企业有限公司 一种控制车门开启的车载装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
JP3803021B2 (ja) 2000-10-02 2006-08-02 松下電器産業株式会社 運転支援装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2003175843A (ja) * 2001-12-13 2003-06-24 Nissan Motor Co Ltd 舵角比可変装置
JP4707109B2 (ja) * 2006-03-02 2011-06-22 アルパイン株式会社 複数カメラ撮影画像処理方法及び装置
JP4858236B2 (ja) 2007-03-02 2012-01-18 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4716139B2 (ja) * 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
JP5397373B2 (ja) 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
JP5743652B2 (ja) 2011-03-31 2015-07-01 富士通テン株式会社 画像表示システム、画像生成装置及び画像生成方法
JP5938222B2 (ja) * 2012-02-07 2016-06-22 日立建機株式会社 運搬車両の周囲監視装置
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP6231345B2 (ja) 2013-10-18 2017-11-15 クラリオン株式会社 車両用発進支援装置
JP6020507B2 (ja) 2014-04-14 2016-11-02 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448773A (zh) * 2009-05-29 2012-05-09 富士通天株式会社 图像生成设备和图像显示系统
CN102474597A (zh) * 2009-08-03 2012-05-23 爱信精机株式会社 车辆周围图像生成装置
CN103043035A (zh) * 2011-10-14 2013-04-17 株式会社电装 用于摄像头镜头的摄像头清洗设备
CN105644438A (zh) * 2014-11-28 2016-06-08 爱信精机株式会社 车辆周边监视装置
CN106032106A (zh) * 2015-03-13 2016-10-19 厦门歌乐电子企业有限公司 一种控制车门开启的车载装置

Also Published As

Publication number Publication date
US20180170259A1 (en) 2018-06-21
US10882450B2 (en) 2021-01-05
JP2018101957A (ja) 2018-06-28
EP3340616B1 (en) 2019-07-24
JP6639379B2 (ja) 2020-02-05
CN108216033A (zh) 2018-06-29
EP3340616A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
CN108216033B (zh) 车辆外围监视装置
CN110831819B (zh) 泊车辅助方法以及泊车辅助装置
EP3361721B1 (en) Display assistance device and display assistance method
US9905024B2 (en) Object recognition device, vehicle having the same and method of controlling the same
JP5172314B2 (ja) ステレオカメラ装置
US9896098B2 (en) Vehicle travel control device
JPWO2009072366A1 (ja) 車両情報表示装置
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
CN109562757B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
CN110730735B (zh) 泊车辅助方法及泊车辅助装置
WO2019008762A1 (ja) 駐車支援方法及び駐車支援装置
CN112977428B (zh) 驻车辅助系统
WO2016072053A1 (ja) 車載周辺物体報知システム、物体報知システム、及び報知制御装置
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP6363393B2 (ja) 車両周辺監視装置
JP4872517B2 (ja) 障害物認識装置
WO2016088151A1 (ja) 車載用表示装置、車両及び表示方法
US11794809B1 (en) Vehicle and trailer wheel path collision detection and alert
JP2006035995A (ja) 車両用表示装置
JP2009149306A (ja) 車両用表示装置
JP2019010909A (ja) 駐車支援方法及び駐車支援装置
WO2014090957A1 (en) Method for switching a camera system to a supporting mode, camera system and motor vehicle
US20220237923A1 (en) Object detection device, object detection method, and storage medium
CN115402298A (zh) 泊车辅助系统和泊车辅助方法
JP2018107567A (ja) 運転支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant