CN115699129A - 图像处理装置 - Google Patents
图像处理装置 Download PDFInfo
- Publication number
- CN115699129A CN115699129A CN202180041052.1A CN202180041052A CN115699129A CN 115699129 A CN115699129 A CN 115699129A CN 202180041052 A CN202180041052 A CN 202180041052A CN 115699129 A CN115699129 A CN 115699129A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- condition
- display
- emergency vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4044—Direction of movement, e.g. backwards
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明涉及图像处理装置。图像处理装置(3)具备信息获取单元、条件判断单元、以及图像变更单元。信息获取单元获取表示紧急车辆的位置的信息。条件判断单元判断(a)紧急车辆正在接近车辆这一第一条件、以及(b)从紧急车辆至车辆的距离、或者紧急车辆到达至车辆为止的预测时间为阈值以下这一第二条件是否成立。在车辆进行自动驾驶时,判断为第一条件以及第二条件成立的情况下,图像变更单元变更图像。变更后的图像是俯瞰图像。
Description
相关申请的交叉引用
本国际申请主张基于2020年6月11日向日本专利厅申请的日本专利申请第2020-101593号的优先权,将日本专利申请第2020-101593号的全部内容通过参照引用至本国际申请。
技术领域
本公开涉及图像处理装置。
背景技术
在车辆进行自动驾驶时,存在紧急车辆接近该车辆的情况。在专利文献1中公开了一种车辆控制装置,其在继续自动驾驶的状态下执行避开紧急车辆的控制。
专利文献1:日本特开2019-156144号公报
发明者的详细研究的结果是发现了以下的课题。在紧急车辆已接近车辆时,根据车辆的周围的状况,需要从自动驾驶移至手动驾驶,通过车辆的乘坐者的驾驶操作避开紧急车辆。然而,存在进行自动驾驶的车辆的乘坐者未注意到紧急车辆的接近的情况。
发明内容
在本公开的一个方面,优选提供一种能够向车辆的乘坐者通知紧急车辆的接近的图像处理装置。
本公开的一个方面是构成为在车辆所具备的显示装置显示图像的图像处理装置。图像处理装置具备:信息获取单元,构成为获取表示紧急车辆的位置的信息;条件判断单元,构成为基于上述信息获取单元获取的上述信息,判断(a)上述紧急车辆正在接近上述车辆这样的第一条件、以及(b)从上述紧急车辆至上述车辆的距离、或者上述紧急车辆到达至上述车辆为止的预测时间为预先设定的阈值以下这样的第二条件是否成立;以及图像变更单元,在上述车辆进行自动驾驶时,上述条件判断单元判断为上述第一条件以及上述第二条件成立的情况下,变更上述图像。由上述图像变更单元变更后的上述图像是从比上述车辆靠后方的视点俯瞰上述车辆的周边的其他车辆以及上述车辆的俯瞰图像。
作为本公开的一个方面的图像处理装置能够向车辆的乘坐者通知紧急车辆的接近。
附图说明
图1是表示车载系统的结构的框图。
图2是表示图像处理装置的功能结构的框图。
图3是表示车载系统所执行的处理的流程图。
图4是表示车载系统所执行的处理的流程图。
图5A、图5B、以及图5C分别是表示通常图像的说明图。
图6A、图6B、以及图6C分别是表示接近通知的显示方式的说明图。
图7A是表示紧急车辆的位置的说明图,图7B是表示变更后图像的说明图。
图8A、图8B、以及图8C分别是表示包含预定行驶轨迹的变更后图像的说明图。
图9是表示对手动驾驶的准备要求的显示方式的说明图。
图10A、图10B、以及图10C分别是表示车辆控制内容通知的显示方式的说明图。
图11是表示车辆停车,紧急车辆通过的情况下的手动驾驶要求、自动驾驶提议、以及驾驶辅助提议的显示方式的说明图。
图12是表示车辆不停车而紧急车辆通过的情况下的自动驾驶继续进行通知、以及解除通知的显示方式的说明图。
图13是表示在紧急车辆通过前移至手动驾驶的情况下的手动驾驶要求的显示方式的说明图。
图14是表示显示范围包含紧急车辆的位置的变更后图像的说明图。
具体实施方式
参照附图,对本公开的例示性的实施方式进行说明。
<第一实施方式>
1.车载系统1的结构
基于图1以及图2,对车载系统1的结构进行说明。车载系统1搭载于车辆2。
如图1所示,车载系统1具备图像处理装置3、自动驾驶系统5、定位器ECU7、行驶控制ECU9、周边监视传感器11、仪表显示器15、CID(Center Information Display:中央信息显示器)17、HUD19、以及通信模块21。车载系统1的各结构通过通信总线29连接为能够相互通信。
图像处理装置3具备具有CPU31、和例如RAM或者ROM等半导体存储器(以下,记为存储器33)的微型计算机。
通过CPU31执行储存于非过渡实体记录介质的程序来实现图像处理装置3的各功能。在本例子中,存储器33相当于储存了程序的非过渡实体记录介质。另外,通过执行该程序,从而执行与程序对应的方法。此外,图像处理装置3既可以具备一个微型计算机,也可以具备多个微型计算机。
如图2所示,图像处理装置3具备信息获取单元35、条件判断单元36、图像变更单元37、通知单元38、以及要求显示单元39。图像处理装置3所具备的各结构的功能后述。
自动驾驶系统5具备自动驾驶ECU41和驾驶辅助ECU43。自动驾驶ECU41是实现自动驾驶功能的车载ECU。所谓自动驾驶是代替车辆2的乘坐者而自动地进行驾驶操作的功能。自动驾驶ECU41例如能够进行等级3以上的自动驾驶。所谓自动驾驶的等级是美国汽车工程师学会规定的自动驾驶等级。
自动驾驶ECU41从定位器ECU7获取定位器信息以及地图信息。关于定位器信息以及地图信息后述。另外,自动驾驶ECU41从周边监视传感器11获取检测信息。关于检测信息后述。
自动驾驶ECU41基于定位器信息、地图信息、以及检测信息识别车辆2的行驶环境。作为行驶环境,例如可举出存在于车辆2的周边的物标的位置以及速度等。作为物标,例如可举出车辆2的周边的其他车辆63、行人、自行车、动物、固定物、车道分界线等。另外,作为行驶环境,例如可举出车辆2所行驶的车道的位置以及形状等。
自动驾驶ECU41基于识别出的行驶环境生成车辆2的预定行驶线。自动驾驶ECU41在与行驶控制ECU9协作的同时执行车辆2的加减速控制以及转向操纵控制等,以使车辆2沿着生成的预定行驶线行驶。
驾驶辅助ECU43是实现对车辆2的乘坐者的驾驶操作进行辅助的驾驶辅助操作的车载ECU。驾驶辅助ECU43例如能够进行等级2左右的高级驾驶辅助或者部分的自动行驶控制。
定位器ECU7包含GNSS(Global Navigation Satellite System:全球导航卫星系统)接收器以及惯性传感器等。定位器ECU7将通过GNSS接收器接收的测位信号、惯性传感器的测量结果、以及输出至通信总线29的车速信息等组合,依次测定车辆2的位置以及行进方向等。定位器ECU7将定位器信息依次输出至通信总线29。定位器信息是表示车辆2的位置以及行进方向等信息。
定位器ECU7还具备地图数据库51。地图数据库51是以大容量的存储介质为主体的结构。在存储介质中储存有大量的地图数据。作为地图数据,存在三维地图数据以及二维地图数据。三维地图数据是所谓的高精度地图数据。三维地图数据包含高级驾驶辅助以及自动驾驶所需的信息。三维地图数据包含道路的三维形状信息、各车道的详细信息等。
定位器ECU7从地图数据库51读出车辆2的当前位置周边的地图数据。定位器ECU7将定位器信息与地图信息一起提供至驾驶辅助ECU43以及自动驾驶ECU41等。地图信息是包含从地图数据库51读出的地图数据的信息。
此外,车载系统1也可以代替定位器ECU7,而从智能手机等用户终端或者导航装置等获取定位器信息以及地图信息,并将获取的定位器信息以及地图信息提供至驾驶辅助ECU43以及自动驾驶ECU41等。
行驶控制ECU9是包含微型控制器作为主体的电子控制装置。行驶控制ECU9基于车轮速度传感器的检测信号生成车速信息。车轮速度传感器设置于车辆2的各轮的轮毂部分。车速信息是表示车辆2的当前的行驶速度的信息。行驶控制ECU9将车速信息依次输出至通信总线29。
行驶控制ECU9至少具有制动控制ECU以及驱动控制ECU的功能。行驶控制ECU9基于根据车辆2的乘坐者的驾驶操作的操作指令、来自驾驶辅助ECU43的控制指令、以及来自自动驾驶ECU41的控制指令的任意一个,来持续实施使车辆2的各轮产生的制动力的控制、和车辆2的动力源的输出控制。
周边监视传感器11是监视车辆2的周边环境的自主传感器。周边监视传感器11能够检测存在于车辆2的周边的物标。周边监视传感器11将检测信息经由通信总线29提供至驾驶辅助ECU43以及自动驾驶ECU41等。检测信息是表示检测到的物标的位置以及速度等信息。
周边监视传感器11例如包含相机单元53以及毫米波雷达55等。相机单元53既可以是包含单眼相机的结构,也可以是包含复眼相机的结构。相机单元53例如能够拍摄车辆2的前方范围、侧方范围、以及后方范围等。检测信息例如包含相机单元53拍摄车辆2的周围而产生的拍摄数据、以及拍摄数据的解析结果的至少一方。
毫米波雷达55朝向车辆2的周围照射毫米波或者准毫米波。毫米波雷达55接收被物标反射的反射波。检测信息例如包含毫米波雷达55的检测结果。周边监视传感器11也可以还具备激光雷达以及声呐等。
仪表显示器15以及CID17分别例如是以液晶显示器或者OLED(Organic LightEmitting Diode:有机发光二极管)显示器等为主体的结构。仪表显示器15以及CID17基于从图像处理装置3获取的控制信号以及影像数据,使各种图像显示于显示画面。
仪表显示器15例如设置于车辆2的驾驶席的正面。CID17例如设置于车辆2的中央仪表群的上方。CID17具有触摸面板的功能。CID17例如检测车辆2的乘坐者等对显示画面的触摸操作以及滑动操作等。
HUD19基于从图像处理装置3获取的控制信号以及影像数据,将成像于车辆2的乘坐者的前方的图像的光投影至挡风玻璃。由挡风玻璃反射至车辆2的车厢内侧的图像的光被车辆2的乘坐者感知。这样,HUD19在比挡风玻璃靠前方的空间中显示虚像。车辆2的乘坐者将由HUD19显示的虚像与车辆2的前景重叠地视觉确认。
此外,仪表显示器15、CID17、以及HUD19与车辆2所具备的显示装置对应。
通信模块21能够在与位于车辆2的外部的通信对象之间进行无线通信。作为通信对象,例如可举出后述的紧急车辆73、管理中心等。
2.车载系统1所执行的处理
基于图3~图13,对车载系统1所执行的处理进行说明。车载系统1在进行等级3以上的自动驾驶时执行该处理。在进行等级3以上的自动驾驶时,车辆2的乘坐者也可以不监视车辆2的周边。
图像处理装置3在仪表显示器15显示通常图像61,直到在后述的步骤5中显示变更后图像71为止。作为通常图像61,例如存在图5A所示的通常图像61A、图5B所示的通常图像61B、以及图5C所示的通常图像61C。
通常图像61A是包含以推荐车辆2的乘坐者放松为主旨的显示的图像。通常图像61B是俯瞰图像。所谓俯瞰图像是从比车辆2靠后方的视点俯瞰车辆2的周边的其他车辆63、车辆2、车道分界线等的图像。通常图像61B是基于使用周边监视传感器11获取的信息合成出的合成图像。通常图像61B根据使用周边监视传感器11检测到的车辆2的周围的状况而被更新。
通常图像61C是如导航装置的显示那样表示车辆2的位置的图像。通常图像61C是包含表示车辆2的周围的地图的图像。通常图像61C例如是表示车辆2的行驶路线65、和行驶路线65上的车辆2的位置67的图像。通常图像61A、通常图像61B、以及通常图像61C分别显示车辆2的速度。
在图3的步骤1中,首先,图像处理装置3的信息获取单元35使用通信模块21,从通信对象获取表示紧急车辆73的位置的信息(以下,记为紧急车辆信息)。通信对象例如是紧急车辆73、管理中心等。紧急车辆信息例如也可以是除了紧急车辆73的位置以外还表示紧急车辆73的速度、紧急车辆73的行进方向、紧急车辆73的预定行驶轨迹等的信息。
接下来,图像处理装置3的条件判断单元36基于获取的紧急车辆信息,判断是否检测到紧急车辆73。在判断为检测到紧急车辆73的情况下,本处理进入步骤2。在判断为未检测到紧急车辆73的情况下,本处理返回至步骤1之前。
在步骤2中,条件判断单元36基于在上述步骤1中获取的紧急车辆信息,判断紧急车辆73是否正在接近车辆2。所谓正在接近意味着车辆2与紧急车辆73的距离随着时间的经过而变短。
在判断为紧急车辆73正在接近车辆2的情况下,本处理进入步骤3。在判断为紧急车辆73并未接近车辆2的情况下,本处理返回步骤1之前。此外,紧急车辆73正在接近车辆2对应于第一条件成立。
在步骤3中,图像处理装置3的通知单元38向车辆2的乘坐者通知紧急车辆73的接近。例如,如图6A所示,在仪表显示器15显示有通常图像61A的情况下,通知单元38最初将接近通知69较大地显示于通常图像61A的中央。接下来,通知单元38将接近通知69较小地显示于通常图像61A的角落。接近通知69是表示紧急车辆73正在接近车辆2的通知。
即使在如图6B所示,在仪表显示器15显示有通常图像61B的情况、以及在如图6C所示,在仪表显示器15显示有通常图像61C的情况下,也相同地,通知单元38最初将接近通知69较大地显示于通常图像61的中央,接下来,较小地显示于通常图像61的角落。此外,通知单元38也可以通过声音、振动、LED的发光等来通知紧急车辆73的接近。在通常图像61C所显示的地图的范围内存在紧急车辆73的情况下,如图6C所示,通知单元38在通常图像61C上显示紧急车辆73。
在步骤4中,首先,信息获取单元35与上述步骤1相同地,获取紧急车辆信息。接下来,条件判断单元36基于获取的紧急车辆信息,判断从紧急车辆73至车辆2的距离是否为预先设定的阈值以下。在判断为从紧急车辆73至车辆2的距离为阈值以下的情况下,本处理进入步骤5。在判断为从紧急车辆73至车辆2的距离超过阈值的情况下,本处理返回步骤4之前。此外,从紧急车辆73至车辆2的距离为阈值以下对应于第二条件成立。
在步骤5中,图像处理装置3的图像变更单元37将显示于仪表显示器15的图像从通常图像61变更为图7B所示的变更后图像71。变更后图像71是俯瞰图像。变更后图像71是基于使用周边监视传感器11获取的信息合成出的合成图像。
变更后图像71中的显示范围与通常图像61B中的显示范围相比,向紧急车辆73的位置的方向扩张。在图7B所示的变更后图像71的情况下,如图7A所示,紧急车辆73的位置以车辆2为基准是左后方。因此,变更后图像71中的显示范围与通常图像61B中的显示范围相比向左后方扩张。
此外,变更后图像71中的显示范围也可以与通常图像61B中的显示范围相比,进行移动。例如,变更后图像71与通常图像61B相比,如相机视点移动后的图像那样显示。
在图7A、图7B所示的事例的情况下,紧急车辆73行驶于路边75。变更后图像71中的显示范围与通常图像61B中的显示范围相比,向路边75的方向扩张,并包含路边75。变更后图像71包含接近通知69,直到在后述的步骤8中消除接近通知69为止。
在步骤6中,条件判断单元36判断是否能够基于紧急车辆信息识别紧急车辆73所行驶的车道。在判断为能够识别紧急车辆73所行驶的车道的情况下,本处理进入步骤7。在判断为不能识别紧急车辆73所行驶的车道的情况下,本处理进入步骤8。
在步骤7中,如图8A、图8B、或者图8C所示,图像变更单元37在变更后图像71上显示预定行驶轨迹77。预定行驶轨迹77表示紧急车辆73之后行驶的位置。
图8A所示的预定行驶轨迹77是将紧急车辆73所行驶的路边75涂满后的轨迹。在紧急车辆73行驶于任一车道的情况下,预定行驶轨迹77是将紧急车辆73所行驶的车道涂满后的轨迹。图8B所示的预定行驶轨迹77由直线构成。图8B所示的预定行驶轨迹77由箭头构成。图8C所示的预定行驶轨迹77表示紧急车辆73正在跨车道行驶。图8C所示的预定行驶轨迹77由直线构成。
在步骤8中,如图9所示,图像处理装置3的要求显示单元39将对手动驾驶的准备要求79显示于仪表显示器15。对手动驾驶的准备要求79与变更后图像71重叠地显示。对手动驾驶的准备要求79是以对车辆2的乘坐者要求准备手动驾驶为主旨的显示。所谓准备手动驾驶,是监视车辆2的周边、以及握住车辆2的方向盘。要求显示单元39也可以通过声音、振动、LED的发光等来对车辆2的乘坐者要求准备手动驾驶。
要求显示单元39最初将对手动驾驶的准备要求79较大地显示于仪表显示器15的中央。之后,当车载系统1检测到车辆2的乘坐者已握住方向盘时,要求显示单元39将对手动驾驶的准备要求79较小地显示于仪表显示器15的角落。
在步骤9中,自动驾驶ECU41判断是否能够进行车辆控制。所谓车辆控制是自动驾驶ECU41为了避开紧急车辆73并确保紧急车辆73的通路而进行的控制。作为车辆控制,可举出减速、慢行、停车、在车道中靠近一端、移动至其它的车道或者路边等。在判断为能够进行任一车辆控制的情况下,本处理进入步骤10。在判断为不能进行任何车辆控制的情况下,本处理进入步骤12。
在步骤10中,自动驾驶ECU41从可执行的车辆控制中决定执行的车辆控制。图像处理装置3的通知单元38从自动驾驶ECU41获取表示执行的车辆控制的信息。如图10A、图10B、或者图10C所示,通知单元38将车辆控制内容通知81显示于仪表显示器15。车辆控制内容通知81与变更后图像71重叠地显示。车辆控制内容通知81表示自动驾驶ECU41此后执行的车辆控制。在图10A所示的事例的情况下,车辆控制为减速。在图10B所示的事例的情况下,车辆控制为停车。在图10C所示的事例的情况下,车辆控制为向右侧靠近。
在步骤11中,自动驾驶ECU41进行在上述步骤10中决定的车辆控制。步骤11后,本处理进入步骤13。
在步骤12中,如图13所示,要求显示单元39将手动驾驶要求83显示于仪表显示器15。所谓手动驾驶要求83是向车辆2的乘坐者要求从自动驾驶向手动驾驶的切换的显示。此时,要求显示单元39消除除了车速和手动驾驶要求83以外的显示。当消除显示时,显示于仪表显示器15的信息的量减少。其结果是,车辆2的乘坐者与仪表显示器15相比更关注车辆2的周围。
之后,在车辆2的状态切换至手动驾驶的状态,紧急车辆73通过了车辆2的旁边时,如图13所示,要求显示单元39消除手动驾驶要求83。在消除手动驾驶要求83后,仪表显示器15的显示是手动驾驶时的通常的显示。步骤12后,本处理进入步骤18。
在图4的步骤13中,首先,信息获取单元35使用通信模块21从通信对象获取紧急车辆信息。接下来,条件判断单元36基于获取的紧急车辆信息判断紧急车辆73是否已经通过车辆2的旁边。在判断为紧急车辆73已经通过车辆2的旁边的情况下,本处理进入步骤14。在判断为紧急车辆73还未通过车辆2的旁边的情况下,本处理返回步骤13之前。
在步骤14中,通知单元38将通过通知显示于仪表显示器15。所谓通过通知是表示紧急车辆73已经通过车辆2的旁边的通知。另外,通知单元38消除此前显示的接近通知69。
在步骤15中,条件判断单元36判断是否通过在上述步骤11中进行的车辆控制而车辆2已停止。在判断为车辆2已停止的情况下,本处理进入步骤16。在判断为车辆2未停止的情况下,本处理进入步骤24。
在步骤16中,如图11所示,要求显示单元39将手动驾驶要求83显示于仪表显示器15。手动驾驶要求83与变更后图像71重叠地显示。另外,要求显示单元39消除不需要的显示。作为不需要的显示,例如存在对手动驾驶的准备要求79。此外,车辆2的乘坐者根据手动驾驶要求83而从自动驾驶切换至手动驾驶。
在步骤17中,基于车辆2的乘坐者的驾驶操作,行驶控制ECU9使车辆2发动。
在步骤18中,自动驾驶ECU41判断驾驶状况是否已稳定。所谓驾驶状况稳定意味着紧急车辆73已经通过车辆2的旁边,而车辆2的周边的车辆已经处于可行驶的状态。在判断为驾驶状况已稳定的情况下,本处理进入步骤19。在判断为驾驶状况未稳定的情况下,本处理返回步骤18之前。
在步骤19中,自动驾驶ECU41判断乘坐者是否不需要监视车辆2的周边。例如,在车辆2位于能够进行等级3以上的自动驾驶的区域的情况下,乘坐者不需要监视车辆2的周边。作为能够进行等级3以上的自动驾驶的区域,例如可举出汽车专用道路、交通阻塞中等。在判断为不需要监视车辆2的周边的情况下,本处理进入步骤20。在判断为需要监视车辆2的周边的情况下,本处理进入步骤21。
在步骤20中,如图11所示,通知单元38将自动驾驶提议85显示于仪表显示器15。自动驾驶提议85是向车辆2的乘坐者提议开始自动驾驶的通知。另外,自动驾驶提议85向车辆2的乘坐者通知不需要监视车辆2的周边、以及不需要握住车辆2的方向盘。
在步骤21中,驾驶辅助ECU43判断是否能够进行驾驶辅助。在判断为能够进行驾驶辅助的情况下,本处理进入步骤22。在判断为不能进行驾驶辅助的情况下,本处理进入步骤23。
在步骤22中,如图11所示,通知单元38将驾驶辅助提议87显示于仪表显示器15。驾驶辅助提议87与变更后图像71重叠地显示。驾驶辅助提议87是向车辆2的乘坐者提议开始驾驶辅助的通知。
在步骤23中,车载系统1继续手动驾驶的状态。
在步骤24中,自动驾驶ECU41继续自动驾驶。如图12所示,通知单元38将自动驾驶继续进行通知89显示于仪表显示器15。自动驾驶继续进行通知89与变更后图像71重叠地显示。自动驾驶继续进行通知89表示继续进行自动驾驶。要求显示单元39将对手动驾驶的准备要求79继续显示于仪表显示器15。
在步骤25中,自动驾驶ECU41判断驾驶状况是否已稳定。在判断为驾驶状况已稳定的情况下,本处理进入步骤26。在判断为驾驶状况仍未稳定的情况下,本处理返回步骤25之前。
在步骤26中,如图12所示,要求显示单元39将解除通知91显示于仪表显示器15。解除通知91与变更后图像71重叠地显示。解除通知91向车辆2的乘坐者通知不需要监视车辆2的周边、以及不需要握住车辆2的方向盘。在显示了解除通知91时,要求显示单元39消除对手动驾驶的准备要求79。
3.图像处理装置3起到的效果
(1A)图像处理装置3获取紧急车辆信息。图像处理装置3基于紧急车辆信息判断(a)紧急车辆73正在接近车辆2这样的第一条件、以及(b)从紧急车辆73至车辆2的距离为预先设定的阈值以下这样的第二条件是否成立。在车辆2进行自动驾驶时,判断为第一条件以及第二条件成立的情况下,图像处理装置3将显示于仪表显示器15的图像从通常图像61变更为变更后图像71。变更后图像71是俯瞰图像。
通过显示于仪表显示器15的图像从通常图像61变更为变更后图像71,从而车辆2的乘坐者能够了解紧急车辆73正在接近车辆2,且从紧急车辆73至车辆2的距离为阈值以下。
(1B)变更后图像71表示预定行驶轨迹77。车辆2的乘坐者能够通过观察预定行驶轨迹77,来了解紧急车辆73之后行驶的位置。
(1C)在车辆2进行自动驾驶时,判断为第一条件以及第二条件成立的情况下,图像处理装置3将对手动驾驶的准备要求79显示于仪表显示器15。车辆2的乘坐者能够通过观察对手动驾驶的准备要求79,来准备从自动驾驶向手动驾驶的切换。
(1D)通常图像61B是俯瞰图像。变更后图像71中的显示范围与通常图像61B中的显示范围相比,向紧急车辆73的位置的方向扩张。车辆2的乘坐者能够通过变更后图像71中的显示范围与通常图像61B中的显示范围的比较,来了解紧急车辆73的位置的方向。
<其它的实施方式>
以上,对本公开的实施方式进行了说明,但本公开不限定于上述的实施方式,能够进行各种变形并实施。
(1)例如,如图14所示,变更后图像71中的显示范围包含紧急车辆73的位置。在该情况下,车辆2的乘坐者能够通过观察变更后图像71,来进一步详细地了解紧急车辆73的位置。
(2)上述步骤4中的判断也可以是紧急车辆73到达至车辆2为止的预测时间(以下,记为到达预测时间)是否为预先设定的阈值以下这样的判断。在判断为到达预测时间为阈值以下的情况下,本处理进入步骤5。在判断为到达预测时间超过阈值的情况下,本处理返回步骤4之前。到达预测时间例如能够根据紧急车辆73相对于车辆2的位置的相对位置的变化等来计算。
(3)显示通常图像61以及变更后图像71的显示装置也可以是仪表显示器15以外的显示装置。作为仪表显示器15以外的显示装置,可举出CID17、HUD19等。
(4)在上述步骤8中将对手动驾驶的准备要求79显示于仪表显示器15的必要条件也可以是在上述步骤1、2中做出肯定判断、以及从紧急车辆73至车辆2的距离为特定阈值以下。特定阈值与在上述步骤4中使用的阈值既可以相同,也可以不同。
(5)本公开所记载的图像处理装置3以及其方法也可以由通过构成被编程为执行通过计算机程序具体化的一个或多个功能的处理器以及存储器而提供的专用计算机来实现。或者,本公开所记载的图像处理装置3以及其方法也可以由通过利用一个以上的专用硬件逻辑电路构成处理器而提供的专用计算机来实现。或者,本公开所记载的图像处理装置3以及其方法也可以通过一个以上的专用计算机来实现,该一个以上的专用计算机由被编程为执行一个或多个功能的处理器及存储器、和由一个以上的硬件逻辑电路构成的处理器的组合而构成。另外,计算机程序也可以作为由计算机执行的指令存储于计算机可读取的非过渡有形记录介质。在实现图像处理装置3所包含的各部的功能的方法中,未必需要包含软件,也可以使用一个或者多个硬件来实现其全部功能。
(6)可以通过多个构成要素实现上述实施方式中的一个构成要素所具有的多个功能、或者通过多个构成要素实现一个构成要素所具有的一个功能。另外,也可以通过一个构成要素实现多个构成要素所具有的多个功能、或者通过一个构成要素实现由多个构成要素实现的一个功能。另外,也可以省略上述实施方式的结构的一部分。另外,也可以对其它上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。
(7)除上述的图像处理装置3外,也能够以将该图像处理装置3作为构成要素的系统、用于使计算机作为该图像处理装置3发挥功能的程序、记录了该程序的半导体存储器等非过渡实体记录介质、显示控制方法等各种方式来实现本公开。
Claims (6)
1.一种图像处理装置,构成为在车辆(2)所具备的显示装置(15)显示图像(61、61A、61B、61C、71),上述图像处理装置(3)具备:
信息获取单元(35),构成为获取表示紧急车辆(73)的位置的信息;
条件判断单元(36),构成为基于上述信息获取单元获取的上述信息,判断第一条件以及第二条件是否成立,上述第一条件是上述紧急车辆正在接近上述车辆这样的条件,上述第二条件是从上述紧急车辆至上述车辆的距离、或者上述紧急车辆到达至上述车辆为止的预测时间为预先设定的阈值以下这样的条件;以及
图像变更单元(37),在上述车辆进行自动驾驶时,上述条件判断单元判断为上述第一条件以及上述第二条件成立的情况下,变更上述图像,
由上述图像变更单元变更后的上述图像(71)是从比上述车辆靠后方的视点俯瞰上述车辆的周边的其他车辆(63)以及上述车辆的俯瞰图像。
2.根据权利要求1所述的图像处理装置,其中,
由上述图像变更单元变更后的上述俯瞰图像表示上述紧急车辆的预定行驶轨迹(77)。
3.根据权利要求1或2所述的图像处理装置,其中,还具备:
要求显示单元(39),在上述车辆进行自动驾驶时,上述条件判断单元判断为上述第一条件以及上述第二条件成立的情况下,在上述显示装置显示以要求准备手动驾驶为主旨的显示(79)。
4.根据权利要求1~3中任一项所述的图像处理装置,其中,
由上述图像变更单元变更后的上述俯瞰图像中的显示范围包含上述紧急车辆的位置。
5.根据权利要求1~4中任一项所述的图像处理装置,其中,
由上述图像变更单元变更之前的上述图像(61B)是上述俯瞰图像,
由上述图像变更单元变更后的上述俯瞰图像中的显示范围与由上述图像变更单元变更之前的上述俯瞰图像中的显示范围相比,向上述紧急车辆的位置的方向扩张。
6.根据权利要求1~5中任一项所述的图像处理装置,其中,
构成为在上述显示装置显示包含表示上述车辆的周围的地图的图像,
构成为在上述紧急车辆的位置在上述地图的范围内的情况下,在包含上述地图的图像上显示上述紧急车辆。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-101593 | 2020-06-11 | ||
JP2020101593A JP7306333B2 (ja) | 2020-06-11 | 2020-06-11 | 画像処理装置 |
PCT/JP2021/022161 WO2021251468A1 (ja) | 2020-06-11 | 2021-06-10 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115699129A true CN115699129A (zh) | 2023-02-03 |
Family
ID=78846100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180041052.1A Pending CN115699129A (zh) | 2020-06-11 | 2021-06-10 | 图像处理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230168104A1 (zh) |
JP (2) | JP7306333B2 (zh) |
CN (1) | CN115699129A (zh) |
DE (1) | DE112021003220T5 (zh) |
WO (1) | WO2021251468A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022206236A1 (de) | 2022-06-22 | 2023-12-28 | Psa Automobiles Sa | Manuelle Fahrzeugführung in einer Umgebung für vollautomatisierte Fahrzeuge |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1148886A (ja) * | 1997-08-06 | 1999-02-23 | Fujitsu Ten Ltd | 車載用緊急車両告知システム |
JP2013250854A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Motors Corp | 緊急車両通知装置 |
JP2015010887A (ja) * | 2013-06-27 | 2015-01-19 | 株式会社デンソー | 車両用情報提供装置 |
JP2018013386A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
JP2019156144A (ja) | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7304693B2 (ja) | 2018-12-19 | 2023-07-07 | 東京エレクトロン株式会社 | レジスト組成物およびレジストパターン形成方法 |
-
2020
- 2020-06-11 JP JP2020101593A patent/JP7306333B2/ja active Active
-
2021
- 2021-06-10 WO PCT/JP2021/022161 patent/WO2021251468A1/ja active Application Filing
- 2021-06-10 CN CN202180041052.1A patent/CN115699129A/zh active Pending
- 2021-06-10 DE DE112021003220.8T patent/DE112021003220T5/de active Pending
-
2022
- 2022-11-28 US US17/994,828 patent/US20230168104A1/en active Pending
-
2023
- 2023-06-20 JP JP2023100954A patent/JP2023112053A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230168104A1 (en) | 2023-06-01 |
WO2021251468A1 (ja) | 2021-12-16 |
DE112021003220T5 (de) | 2023-04-27 |
JP2023112053A (ja) | 2023-08-10 |
JP2021196744A (ja) | 2021-12-27 |
JP7306333B2 (ja) | 2023-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110281930B (zh) | 车辆控制装置、车辆、车辆控制方法以及存储介质 | |
CN107415830B (zh) | 车辆控制系统、车辆控制方法和车辆控制程序 | |
CN108140312B (zh) | 停车辅助方法及停车辅助装置 | |
US10691123B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20160304126A1 (en) | Vehicle control device | |
US20190138002A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20230191987A1 (en) | Notification device | |
CN112622908B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US20200310431A1 (en) | Control apparatus, control method and storage medium | |
JP7156988B2 (ja) | 走行制御装置、走行制御方法、およびプログラム | |
EP3133454B1 (en) | Method and apparatus for controlling a vehicle having automated driving control capabilities | |
CN111434551B (zh) | 行驶控制装置、行驶控制方法以及存储程序的存储介质 | |
US20200339194A1 (en) | Vehicle control apparatus, vehicle, and control method | |
JPWO2019106788A1 (ja) | 車両制御装置、車両、及び車両制御方法 | |
JP2023112053A (ja) | 画像処理装置 | |
CN111661051B (zh) | 车辆控制装置 | |
US20230373309A1 (en) | Display control device | |
US11610488B2 (en) | Notification device and vehicle control device | |
JP6962996B2 (ja) | 走行支援システムおよびその制御方法 | |
JP2020199809A (ja) | 車両制御装置、車両、車両制御装置の動作方法およびプログラム | |
JP2022031101A (ja) | 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法 | |
JP2021143908A (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
CN113386751B (zh) | 控制装置以及车辆 | |
JP7467521B2 (ja) | 制御装置 | |
WO2022030372A1 (ja) | 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |