CN117068192A - 消息通知装置以及消息通知方法 - Google Patents

消息通知装置以及消息通知方法 Download PDF

Info

Publication number
CN117068192A
CN117068192A CN202310534053.0A CN202310534053A CN117068192A CN 117068192 A CN117068192 A CN 117068192A CN 202310534053 A CN202310534053 A CN 202310534053A CN 117068192 A CN117068192 A CN 117068192A
Authority
CN
China
Prior art keywords
vehicle
driver
change
message
message notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310534053.0A
Other languages
English (en)
Inventor
藤木拓也
青木健一郎
黑田龙介
尾崎修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN117068192A publication Critical patent/CN117068192A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

提供即使在以自动驾驶模式控制行驶的车辆中也能够对驾驶员适当地通知消息的消息通知装置以及消息通知方法。消息通知装置当在不需要驾驶员的驾驶操作的自动驾驶模式下控制车辆的行驶、且驾驶员的视线方向未朝向与驾驶操作有关的方向时，在检测到驾驶员将注意力投向前方的程度的车辆的周边环境的变化、检测到驾驶员能够体感的程度的车辆的行为变更、或者检测到驾驶员对搭载于车辆的前方的车载设备的操作的情况下，在配置于驾驶员就坐的驾驶席的前方的显示部中显示应该让驾驶员知道的消息。

Description

消息通知装置以及消息通知方法
技术领域
本公开涉及对车辆的驾驶员通知消息的消息通知装置。
背景技术
搭载于车辆的消息通知装置对车辆的驾驶员通知各种各样的消息。在专利文献1中记载了一种抬头显示装置，其基于车辆的驾驶员的属性信息，按驾驶员来决定显示内容或者显示位置，对配置在驾驶员的前方的被投影部件投射影像光来显示虚像。
现有技术文献
专利文献1：日本特开2019－059245号公报
发明内容
发明要解决的技术问题
以不需要驾驶员的驾驶操作的自动驾驶模式、特别是驾驶员没有周边监视义务的自动驾驶等级3来行驶的车辆的驾驶员不是必须注视车辆的前方。因此，即使在配置于驾驶员的前方的显示器中显示了消息，驾驶员也不一定能够适当地识别该消息。
本公开的目的在于提供一种即使在自动驾驶模式下控制行驶的车辆中也能够对驾驶员适当地通知消息的消息通知装置。
用于解决问题的技术方案
本公开涉及的消息通知装置具备：视线检测部，其检测车辆的驾驶员的视线方向；和通知部，其当在不需要所述驾驶员的驾驶操作的自动驾驶模式下控制车辆的行驶、且驾驶员的视线方向未朝向与驾驶操作有关的方向时，在检测到驾驶员将注意力投向前方的程度的车辆的周边环境的变化、检测到驾驶员能够体感的程度的车辆的行为变更、或者检测到驾驶员对搭载于驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于驾驶席的前方的显示部中显示应该让驾驶员知道的消息。
本公开的消息通知装置优选还具备确定部，该确定部根据车辆的车室内的环境的变化、或者驾驶员未将注意力投向前方的程度的车辆的周边环境的变化，确定应该让驾驶员知道的消息。
在本公开涉及的消息通知装置中，优选通知部在检测到周边环境的变化、车辆的行为变更或者驾驶员的操作之后的预定时间以内进一步检测为驾驶员的视线方向朝向与驾驶操作有关的方向的情况下，在显示部中显示消息。
在本公开的消息通知装置中，优选周边环境的变化包括车辆周边的照度的变化、车辆周边的气压的变化以及从车辆到在车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
在本公开的消息通知装置中，优选车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及车辆的停车或者减速中的至少一个。
在本公开的消息通知装置中，优选车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
本公开的消息通知方法包括：当在不需要车辆的驾驶员的驾驶操作的自动驾驶模式下控制车辆的行驶、且驾驶员的视线方向未朝向与驾驶操作有关的方向时，在检测到驾驶员将注意力投向前方的程度的车辆的周边环境的变化、检测到驾驶员能够体感的程度的车辆的行为变更、或者检测到驾驶员对搭载于驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于驾驶席的前方的显示部中显示应该让驾驶员知道的消息。
本公开的消息通知方法优选还包括：根据车辆的车室内的环境的变化、或者驾驶员未将注意力投向前方的程度的所述车辆的周边环境的变化，确定应该让驾驶员知道的消息。
本公开的消息通知方法优选在显示中，在检测到周边环境的变化、车辆的行为变更或者驾驶员的操作之后的预定时间以内进一步检测为驾驶员的视线方向朝向与驾驶操作有关的方向的情况下，在显示部中显示消息。
在本公开的消息通知方法中，优选周边环境的变化包括车辆周边的照度的变化、车辆周边的气压的变化以及从车辆到在车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
在本公开的消息通知方法中，优选车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及车辆的停车或者减速中的至少一个。
在本公开的消息通知方法中，优选车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
本公开的消息通知用计算机程序使搭载于车辆的计算机执行：当在不需要车辆的驾驶员的驾驶操作的自动驾驶模式下控制车辆的行驶、且驾驶员的视线方向未朝向与驾驶操作有关的方向时，在检测到驾驶员将注意力投向前方的程度的车辆的周边环境的变化、检测到驾驶员能够体感的程度的车辆的行为变更、或者检测到驾驶员对搭载于驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于驾驶席的前方的显示部中显示应该让驾驶员知道的消息。
本公开的消息通知用计算机程序优选进一步使计算机执行：根据车辆的车室内的环境的变化、或者驾驶员未将注意力投向前方的程度的车辆的周边环境的变化，确定应该让驾驶员知道的消息。
在本公开的消息通知用计算机程序中，优选在显示中，在检测到周边环境的变化、车辆的行为变更或者驾驶员的操作之后的预定时间以内进一步检测为驾驶员的视线方向朝向与驾驶操作有关的方向的情况下，使显示部显示消息。
在本公开的消息通知用计算机程序中，优选周边环境的变化包括车辆周边的照度的变化、车辆周边的气压的变化以及从车辆到在车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
在本公开的消息通知用计算机程序中，优选所述车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及车辆的停车或者减速中的至少一个。
在本公开的消息通知用计算机程序中，优选车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
根据本公开涉及的消息通知装置，即使在以自动驾驶模式控制行驶的车辆中，也能够对驾驶员适当地通知消息。
附图说明
图1是安装有消息通知装置的车辆的概略构成图。
图2是ECU的硬件示意图。
图3是ECU具有的处理器的功能框图。
图4是消息通知处理的流程图。
标号说明
1车辆
8ECU
831视线检测部
837通知部
具体实施方式
以下，参照附图对在自动驾驶模式下控制行驶的车辆中也能够对驾驶员适当地通知消息的消息通知装置进行详细的说明。消息通知装置判定是否正在不需要驾驶员的驾驶操作的自动驾驶模式下控制车辆的行驶。另外，消息通知装置判定驾驶员的视线方向是否正朝向与驾驶操作有关的方向。在自动驾驶模式下控制车辆的行驶、且驾驶员的视线方向未朝向与驾驶操作有关的方向时，消息通知装置进一步判定是否检测到驾驶员将注意力投向前方的程度的车辆的周边环境的变化、是否检测到驾驶员能够体感的程度的车辆的行为变更、或者是否检测到驾驶员对搭载于车辆的前方的车载设备的操作。并且，消息通知装置在检测到周边环境的变化、检测到车辆的行为变更或者检测到驾驶员的操作的情况下，在配置于驾驶员就坐的驾驶席的前方的显示部中显示应该让驾驶员知道的消息。
图1是安装有消息通知装置的车辆的概略构成图。
车辆1具有周边摄像头2、驾驶员监视摄像头3、GNSS(Global NavigationSatellite System，全球导航卫星系统)接收机4、储存装置5、车载设备6、仪表显示器7以及ECU8。ECU8是消息通知装置的一个例子。周边摄像头2、驾驶员监视摄像头3、GNSS接收机4、储存装置5、车载设备6、仪表显示器7与ECU8经由遵循了控制器局域网络这样的标准的车内网络以能够通信的方式相连接。
周边摄像头2是用于生成周边图像的周边拍摄部的一个例子，所述周边图像表示车辆的周边环境。周边摄像头2具有由CCD或者C-MOS等的对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上成像成为拍摄对象的区域的像的成像光学系统。周边摄像头2例如以朝向前方的方式配置在车室内的前方上部，每隔预定的拍摄周期(例如1/30秒～1/10秒)而经由前挡风玻璃对车辆1周边的状况进行拍摄，输出表示了周边的状况的周边图像。
驾驶员监视摄像头3是用于生成驾驶员图像的驾驶员拍摄部的一个例子，所述驾驶员图像表示车辆的驾驶员的头部的状况。驾驶员监视摄像头3由CCD或者C-MOS等的对红外光具有灵敏度的光电变换元件的阵列构成的二维检测器、和在该二维检测器上成像成为拍摄对象的区域的像的成像光学系统。另外，驾驶员监视摄像头3具有发出红外光的光源。驾驶员监视摄像头3例如以朝向就坐于驾驶员座椅的驾驶员的面部的方式安装在车室内的前方。驾驶员监视摄像头3每隔预定的拍摄周期(例如1/30秒～1/10秒)而对驾驶员照射红外光，输出映现了驾驶员的面部的图像。
GNSS接收机4按预定周期而接收来自GNSS卫星的GNSS信号，基于所接收到的GNSS信号来对车辆1的自身位置进行测位。GNSS接收机4按预定周期而经由车内网络向ECU8等输出测位信号，所述测位信号表示基于GNSS信号的车辆1的自身位置的测位结果。
储存装置5是存储装置的一个例子，例如具有硬盘装置或者非易失性的半导体存储器。储存装置5存储地图信息，所述地图信息包括包含于预定范围的地点之间的路径。
车载设备6是搭载在车辆1中的驾驶席的前方的设备。车载设备6具有通信接口、触摸面板显示器、存储了地图信息的存储器以及处理器，是具有导航功能的信息处理装置。车载设备6根据基于从GNSS接收机4取得的测位信号确定的车辆1的自车位置，搜索到达由对触摸面板显示器的操作指定的目的地的路径，将所搜索到的路径显示于触摸面板显示器。
车载设备6为配置在驾驶席前方的受理驾驶员的操作的设备即可，也可以是具有导航功能以外的功能的设备、例如音响设备、空调设备等。
仪表显示器7是显示部的一个例子，例如具有液晶显示器。仪表显示器7配置在车辆1中的驾驶席的前方，按照经由车内网络而从ECU8接受到的信号，显示应该让驾驶员知道的消息。
ECU8是具有通信接口、存储器以及处理器的ECU(Electronic Control Unit，电子控制单元)。ECU8根据从周边摄像头2接收的周边图像，检测车辆1周边的物体，对车辆1的发动机或者马达、制动器、转向装置这样的行驶机构(未图示)输出控制信号，执行车辆1的自动驾驶控制，以使得距所检测到的物体保持预定距离。另外，ECU8根据经由通信接口而从驾驶员监视摄像头3接收的驾驶员图像，检测驾驶员的视线方向。另外，ECU8检测周边环境的变化，检测车辆1的行为变更，检测驾驶员对车载设备6的操作。并且，ECU8在仪表显示器7中显示应该让驾驶员知道的消息。
图2是ECU8的硬件示意图。ECU8具备通信接口81、存储器82以及处理器83。
通信接口81是通信部的一个例子，具有用于向车内网络连接ECU8的通信接口电路。通信接口81将所接收到的数据提供至处理器83。另外，通信接口81将从处理器83提供的数据输出至外部。
存储器82是存储部的一个例子，具有易失性的半导体存储器和非易失性的半导体存储器。存储器82保存在处理器83的处理中使用的各种数据、例如用于规定作为从周边图像中检测物体的识别器进行动作的神经网络的参数组、用于通过与驾驶员图像进行匹配来检测驾驶员的视线方向的表示了瞳孔和光源的角膜反射像的模板、用于判定周边环境的变化是否为驾驶员将注意力投向前方的变化的基准、用于判定驾驶员是否能够体感车辆的行为变更的基准等。另外，存储器82保存各种应用程序、例如执行消息通知处理的消息通知程序等。
处理器83是控制部的一个例子，具有一个以上的处理器及其外围电路。处理器83也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。
图3是ECU8具有的处理器83的功能框图。
ECU8的处理器83作为功能块而具有视线检测部831、周边检测部832、行驶控制部833、行为检测部834、操作检测部835、确定部836以及通知部837。处理器83具有的这些各部是通过在处理器83上执行的程序而安装的功能模块。实现处理器83的各部的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的计算机能够读取的可移动性的记录介质的形式来提供。或者，处理器83具有的这些各部也可以作为独立的集成电路、微处理器或者固件来安装于ECU8。
视线检测部831从经由通信接口81从驾驶员监视摄像头3接收的驾驶员图像中检测驾驶员的视线方向。视线检测部831例如通过在表示了瞳孔和光源的角膜反射像的模板与驾驶员图像之间进行模板匹配来检测瞳孔和光源的角膜反射像，基于它们的位置关系来检测视线方向。视线方向由车辆1的行进方向与驾驶员的视线之间的水平方向和上下方向上的角度来表示。
周边检测部832检测车辆1的周边环境的变化。
周边检测部832检测从车辆1到在车辆的前方行驶的先行车辆为止的间隔来作为车辆1的周边环境。在该情况下，周边检测部832为了检测物体而对预先进行了学习的第1识别器输入周边图像，由此取得周边图像所包含的其他车辆的位置。第1识别器例如能够设为具有从输入侧朝向输出侧串联连接的多个卷积层的卷积神经网络(CNN)。通过将包含其他车辆的周边图像作为教师数据输入到CNN来预先进行学习，从而CNN作为确定其他车辆的位置的第1识别器进行动作。
周边检测部832通过将周边图像中的其他车辆的宽度与预先存储于存储器82的标准的车辆的宽度进行比较，从而检测从车辆1到其他车辆为止的车间距离。
另外，周边检测部832检测车辆1的周边的照度来作为车辆1的周边环境。在该情况下，周边检测部832通过对预先进行了学习以使得执行语义分割的第2识别器输入周边图像，将周边图像所包含的多个像素分类为表示与像素对应的物体的多个类中的任一类。第2识别器能够设为具有从多个输入侧朝向输出侧串联连接的多个卷积层、且没有全连接层的CNN。通过将对各像素赋予了向车辆、道路、空着这样的类的分类的周边图像作为教师数据输入到CNN来预先进行学习，从而CNN作为执行语义分割的第2识别器进行动作。
周边检测部832使用被分类为道路的像素的亮度和周边图像的拍摄中的光圈值以及曝光时间，推定车辆1周边的照度。
此外，周边检测部832也可以使用如下识别器来作为第1识别器和第2识别器，该识别器执行周边图像的各像素的类分类，并且，执行与对该像素分类的类对应的各个物体的识别。
另外，周边检测部832基于从搭载于车辆1、并与车内网络连接的气压传感器(未图示)取得的气压信息，检测车辆1周边的气压来作为车辆1的周边环境。
行驶控制部833在不需要驾驶员的驾驶操作的自动驾驶模式下对车辆1的行驶进行控制。行驶控制部833制作到通过周边检测部832从周边图像中检测到的物体为止的距离被保持为预定以上的行驶轨迹，对车辆1的行驶机构(未图示)输出控制信号，以使得车辆1按照行驶轨迹来行驶。行驶机构例如包括对车辆1供给动力的发动机或者马达、使车辆1的行驶速度减少的制动器以及对车辆1进行转向的转向机构。
行为检测部834检测车辆1的行为变更。
行为检测部834检测搭载于车辆1并与车内网络连接的雨刷(未图示)的动作的开始或者停止这样的行为变更来作为车辆1的行为变更。行为检测部834为了检测雨刷的行为变更，取得对雨刷指示行为的雨刷行为信号。根据驾驶员的雨刷开关的操作或者搭载于车辆1的雨滴传感器(未图示)输出的雨滴信号来对雨刷发送雨刷行为信号。
另外，行为检测部834检测搭载于车辆1并与车内网络连接的前照灯(未图示)的点亮或者熄灭这样的行为变更来作为车辆1的行为变更。行为检测部834为了检测前照灯的行为变更，取得对前照灯指示行为的前照灯行为信号。根据驾驶员的前照灯开关的操作或者搭载于车辆1的照度传感器(未图示)输出的照度信号来对前照灯发送前照灯行为信号。
另外，行为检测部834检测车辆1的停车或者减速这样的行为来作为车辆1的行为。行为检测部834为了检测车辆1的停车或者减速，从搭载于车辆1并与车内网络连接的车速传感器(未图示)取得表示车辆1的车速的车速信号。车辆1的车速是根据驾驶员的制动踏板的操作或者行驶控制部833向行驶机构输出的控制信号来进行变更的。
操作检测部835检测驾驶员对于车载设备6的操作。操作检测部835通过经由车内网络接收车载设备6根据对车载设备6的触摸面板显示器的触摸这样的驾驶员的操作而发送的车载装置操作信号，从而检测驾驶员对于车载设备6的操作。另外，操作检测部835也可以通过从配置为拍摄车载设备6的车室内摄像头(未图示)输出的车室内图像检测车载设备6与驾驶员的手的重合，从而检测驾驶员对于车载设备6的操作。在该情况下，车载设备6也可以不与车内网络连接。
确定部836根据车辆1的车室内的环境的变化、或者驾驶员未将注意力投向前方的程度的车辆1的周边环境的变化，确定应该让驾驶员知道的消息。
确定部836从设置在车辆1的车室内并与车内网络连接的车室内温湿度传感器(未图示)接收表示车室内的温度和湿度的温湿度信号。并且，确定部836在车室内的环境的变化与存储于存储器82的车室内环境变化模式对应的情况下，确定与该车室内环境变化模式相关联的消息(例如“请擦掉前玻璃的内雾”等)。
另外，确定部836从经由设置于道路的信标或者FM多重广播来取得交通信息的交通信息接收机(未图示)取得表示行驶路径中的当前位置前方的交通状况的交通信息。并且，确定部836在前方的交通状况的变化与存储于存储器82的交通状况变化模式对应的情况下，确定与该交通状况变化模式相关联的消息(例如“前方产生了拥堵”等)。前方的交通状况的变化是驾驶员无法直接察觉到的，因此，属于驾驶员未将注意力投向前方的周边环境的变化。
另外，确定部836在由从GNSS接收机4取得的测位信号表示的车辆1的当前位置接近到距自动驾驶的结束地点为预定距离以内的情况下，确定与向自动驾驶的结束地点的接近相关联的消息(例如“即将在前方结束自动驾驶”等)。由于驾驶员无法直接察觉自动驾驶的结束地点，因此，向自动驾驶的结束地点的接近属于驾驶员未将注意力投向前方的周边环境的变化。
通知部837在满足了全部的以下条件的情况下，在仪表显示器7中显示由确定部836确定的应该让驾驶员知道的消息。
(条件1)在自动驾驶模式下控制车辆1的行驶
通知部837通过对行驶控制部833进行询问，判定是否正在自动驾驶模式下控制车辆1的行驶。
(条件2)驾驶员的视线方向未朝向与驾驶操作有关的方向(视线离开(eyes off))
与驾驶操作有关的方向是指设想在驾驶员进行驾驶操作的情况下会使视线投向的方向。与驾驶操作有关的方向例如是相对于车辆1的行进方向为上下±15度、左右±45度的范围的方向，从就坐于驾驶席的驾驶员来看属于前方。通知部837从视线检测部831取得驾驶员的视线方向，判定是否处于视线离开状态。
(条件3)满足以下的条件3－1～3－3中的至少一个
(条件3－1)检测到驾驶员将注意力投向前方的程度的周边环境的变化
存储器82按周边环境的类别来存储变化阈值，所述变化阈值用于判定是否为驾驶员将注意力投向前方的程度。通知部837以时间序列的方式从周边检测部832取得照度、气压、到先行车辆为止的间隔这样的值来作为周边环境。并且，在过去值与当前值之差比变化阈值大的情况下，检测出驾驶员将注意力投向前方的程度的周边环境的变化。过去值可以为时间序列中的最近的过去的时间点的值，也可以为包含最近的过去的时间点的过去的预定期间的值的代表值(例如算术平均)。
(条件3－2)检测到驾驶员能够体感的程度的车辆1的行为变更
存储器82存储驾驶员能够体感的车辆1的行为变更的模式。通知部837从行为检测部834取得车辆1的行为变更的信息。并且，在所取得的信息表示的行为变更属于存储于存储器82的行为变更的模式中的任一个的情况下，检测出驾驶员能够体感的程度的车辆1的行为变更。
(条件3－3)检测到驾驶员对车载设备6的操作
通知部837取得操作检测部835检测的驾驶员对车载设备6的操作。
这样，由确定部836确定的、通知部837显示于仪表显示器7的消息不与在上述的条件3－1～3－3下检测的事件直接相关。确定部836能够与通知部837的这些事件的检测独立地确定消息。
也可以为通知部837在上述的条件3的基础上满足了以下的条件4的情况下，在仪表显示器7中显示消息。
(条件4)在满足了条件3之后的预定时间以内检测为驾驶员的视线方向朝向与驾驶操作有关的方向
图4是消息通知处理的流程图。ECU8在车辆1行驶的期间，以预定的时间间隔(例如1/10秒间隔)反复执行消息通知处理。
首先，ECU8的确定部836确定应该让驾驶员知道的消息(步骤S1)。
接着，ECU8的通知部837判定是否正在自动驾驶模式下控制车辆1的行驶(步骤S2)。在判定为未在自动驾驶模式下控制车辆1的行驶的情况下(步骤S2：否)，ECU8结束消息通知处理。
在判定为在自动驾驶模式下控制车辆1的行驶的情况下(步骤S2：是)，通知部837判定驾驶员是否处于视线离开状态(步骤S3)。在判定为驾驶员不处于视线离开状态的情况下(步骤S3：否)，ECU8结束消息通知处理。
在判定为驾驶员处于视线离开状态的情况下(步骤S3：是)，通知部837判定是否检测到驾驶员将注意力投向前方的程度的周边环境的变化(步骤S4)。在未检测到驾驶员将注意力投向前方的程度的周边环境的变化的情况下(步骤S4：否)，ECU8结束消息通知处理。
另外，在判定为驾驶员处于视线离开状态的情况下(步骤S3：是)，通知部837判定是否检测到驾驶员能够体感的程度的车辆1的行为变更(步骤S5)。在未检测到驾驶员能够体感的程度的车辆1的行为变更的情况下(步骤S5：否)，ECU8结束消息通知处理。
另外，在判定为驾驶员处于视线离开状态的情况下(步骤S3：是)，通知部837判定是否检测到驾驶员对车载设备6的操作(步骤S6)。在未检测到驾驶员对车载设备6的操作的情况下(步骤S6：否)，ECU8结束消息通知处理。
在检测到驾驶员将注意力投向前方的程度的周边环境的变化(步骤S4：是)、检测到驾驶员能够体感的程度的车辆1的行为变更(步骤S5：是)、或者检测到驾驶员对车载设备6的操作的情况下(步骤S6：是)，通知部837在仪表显示器7中显示应该让驾驶员知道的消息(步骤S7)，结束消息通知处理。
通过这样执行消息通知处理，ECU8在自动驾驶模式下控制行驶的车辆中也能够对驾驶员适当地通知消息。
此外，在消息通知处理中，不需要首先执行由确定部836进行的消息的确定(步骤S1)，在消息的显示(步骤S7)之前执行即可。
另外，也可以在消息通知处理中，在判定为驾驶员不处于视线离开状态的情况下(步骤S2：否)，ECU8转移至步骤S6，通知部837在仪表显示器7中显示应该让驾驶员知道的消息。
另外，也可以是车载设备6具有显示器，通知部837在消息通知处理的步骤S7中，使车载设备6具有的显示器显示应该让驾驶员知道的消息。即，检测驾驶员的操作的车载设备和显示应该让驾驶员知道的消息的显示部也可以不是分体的。
希望理解到：本领域技术人员能够不脱离本公开的精神和范围地对其加以各种变更、置换以及修正。

Claims (18)

1.一种消息通知装置，具备：
视线检测部，其检测车辆的驾驶员的视线方向；和
通知部，其当在不需要所述驾驶员的驾驶操作的自动驾驶模式下控制所述车辆的行驶、且所述驾驶员的视线方向未朝向与所述驾驶操作有关的方向时，在检测到所述驾驶员将注意力投向前方的程度的所述车辆的周边环境的变化、检测到所述驾驶员能够体感的程度的所述车辆的行为变更、或者检测到所述驾驶员对搭载于所述驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于所述驾驶席的前方的显示部中显示应该让所述驾驶员知道的消息。
2.根据权利要求1所述的消息通知装置，
还具备确定部，所述确定部根据所述车辆的车室内的环境的变化、或者所述驾驶员未将注意力投向前方的程度的所述车辆的周边环境的变化，确定应该让所述驾驶员知道的消息。
3.根据权利要求1所述的消息通知装置，
所述通知部在检测到所述周边环境的变化、所述车辆的行为变更或者所述驾驶员的操作之后的预定时间以内进一步检测为所述驾驶员的视线方向朝向与所述驾驶操作有关的方向的情况下，在所述显示部中显示所述消息。
4.根据权利要求1所述的消息通知装置，
所述周边环境的变化包括所述车辆周边的照度的变化、所述车辆周边的气压的变化以及从所述车辆到在所述车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
5.根据权利要求1所述的消息通知装置，
所述车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及所述车辆的停车或者减速中的至少一个。
6.根据权利要求1所述的消息通知装置，
所述车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
7.一种消息通知方法，包括：
当在不需要车辆的驾驶员的驾驶操作的自动驾驶模式下控制所述车辆的行驶、且所述驾驶员的视线方向未朝向与所述驾驶操作有关的方向时，在检测到所述驾驶员将注意力投向前方的程度的所述车辆的周边环境的变化、检测到所述驾驶员能够体感的程度的所述车辆的行为变更、或者检测到所述驾驶员对搭载于所述驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于所述驾驶席的前方的显示部中显示应该让所述驾驶员知道的消息。
8.根据权利要求7所述的消息通知方法，还包括：
根据所述车辆的车室内的环境的变化、或者所述驾驶员未将注意力投向前方的程度的所述车辆的周边环境的变化，确定应该让所述驾驶员知道的消息。
9.根据权利要求7所述的消息通知方法，
在所述显示中，在检测到所述周边环境的变化、所述车辆的行为变更或者所述驾驶员的操作之后的预定时间以内进一步检测为所述驾驶员的视线方向朝向与所述驾驶操作有关的方向的情况下，在所述显示部中显示所述消息。
10.根据权利要求7所述的消息通知方法，
所述周边环境的变化包括所述车辆周边的照度的变化、所述车辆周边的气压的变化以及从所述车辆到在所述车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
11.根据权利要求7所述的消息通知方法，
所述车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及所述车辆的停车或者减速中的至少一个。
12.根据权利要求7所述的消息通知方法，
所述车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
13.一种消息通知用计算机程序，使搭载于车辆的计算机执行：
当在不需要所述车辆的驾驶员的驾驶操作的自动驾驶模式下控制所述车辆的行驶、且所述驾驶员的视线方向未朝向与所述驾驶操作有关的方向时，在检测到所述驾驶员将注意力投向前方的程度的所述车辆的周边环境的变化、检测到所述驾驶员能够体感的程度的所述车辆的行为变更、或者检测到所述驾驶员对搭载于所述驾驶员就坐的驾驶席的前方的车载设备的操作的情况下，在配置于所述驾驶席的前方的显示部中显示应该让所述驾驶员知道的消息。
14.根据权利要求13所述的消息通知用计算机程序，使所述计算机进一步执行：
根据所述车辆的车室内的环境的变化、或者所述驾驶员未将注意力投向前方的程度的所述车辆的周边环境的变化，确定应该让所述驾驶员知道的消息。
15.根据权利要求13所述的消息通知用计算机程序，
在所述显示中，在检测到所述周边环境的变化、所述车辆的行为变更或者所述驾驶员的操作之后的预定时间以内进一步检测为所述驾驶员的视线方向朝向与所述驾驶操作有关的方向的情况下，使所述显示部显示所述消息。
16.根据权利要求13所述的消息通知用计算机程序，
所述周边环境的变化包括所述车辆周边的照度的变化、所述车辆周边的气压的变化以及从所述车辆到在所述车辆的前方行驶的先行车辆为止的间隔的变化中的至少一个。
17.根据权利要求13所述的消息通知用计算机程序，
所述车辆的行为变更包括雨刷的动作的开始或者停止、前照灯的点亮或者熄灭、以及所述车辆的停车或者减速中的至少一个。
18.根据权利要求13所述的消息通知用计算机程序，
所述车载设备的操作包括车辆导航装置、音响设备以及空调设备中的至少一个的操作。
CN202310534053.0A 2022-05-17 2023-05-12 消息通知装置以及消息通知方法 Pending CN117068192A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022081098A JP2023169776A (ja) 2022-05-17 2022-05-17 メッセージ通知装置、メッセージ通知方法およびメッセージ通知用コンピュータプログラム
JP2022-081098 2022-05-17

Publications (1)

Publication Number Publication Date
CN117068192A true CN117068192A (zh) 2023-11-17

Family

ID=86226855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310534053.0A Pending CN117068192A (zh) 2022-05-17 2023-05-12 消息通知装置以及消息通知方法

Country Status (4)

Country Link
US (1) US20230373509A1 (zh)
EP (1) EP4279316A1 (zh)
JP (1) JP2023169776A (zh)
CN (1) CN117068192A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102068700B1 (ko) * 2013-07-02 2020-01-21 현대모비스 주식회사 차량용 네비게이션의 디스플레이 모드 자동 전환 장치 및 방법
JP2019059245A (ja) 2016-02-05 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
WO2017138702A1 (ko) * 2016-02-12 2017-08-17 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Also Published As

Publication number Publication date
EP4279316A1 (en) 2023-11-22
US20230373509A1 (en) 2023-11-23
JP2023169776A (ja) 2023-11-30

Similar Documents

Publication Publication Date Title
JP5022609B2 (ja) 撮像環境認識装置
US10220778B2 (en) Vehicle-mounted alert system and alert control device
JP2008197863A (ja) 車載用走行環境認識装置
US11367417B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
KR20170076695A (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
US20210341737A1 (en) Display control device, display control method, and non-transitory tangible computer-readable medium therefor
CN113353095B (zh) 车辆控制装置
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
US20210291736A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
CN117068192A (zh) 消息通知装置以及消息通知方法
CN115867454A (zh) 车辆用显示控制装置、车辆用显示控制系统、以及车辆用显示控制方法
CN113753057A (zh) 状态判定装置及状态判定方法
JP2020201647A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JPH10129375A (ja) 車載用前方車両認識装置
US20240132075A1 (en) Vehicle control device, storage medium storing computer program for controlling vehicle and method for controlling vehicle
US11842661B2 (en) Control method and information display system
US20230182764A1 (en) Vehicle display control device, vehicle display control system, and vehicle display control method
US20220306144A1 (en) Travel controller, method for travel control, and non-transitory computer-readable medium containing computer program for travel control
US20220063657A1 (en) Travel controller and method for travel control
JP2009146141A (ja) 走行支援装置
JP2024029612A (ja) 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム
CN117622183A (zh) 通知装置和通知方法
CN117622206A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
JP2023137772A (ja) 表示制御装置、及び表示制御プログラム
JP2022166700A (ja) 車両用表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination