CN112823383A - 信息提供装置及信息提供方法 - Google Patents

信息提供装置及信息提供方法 Download PDF

Info

Publication number
CN112823383A
CN112823383A CN201880098534.9A CN201880098534A CN112823383A CN 112823383 A CN112823383 A CN 112823383A CN 201880098534 A CN201880098534 A CN 201880098534A CN 112823383 A CN112823383 A CN 112823383A
Authority
CN
China
Prior art keywords
degree
information
passenger
vehicle
confusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880098534.9A
Other languages
English (en)
Inventor
武井匠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN112823383A publication Critical patent/CN112823383A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)

Abstract

混乱度判定部(4)使用乘客状态获取部(3)所获取到的乘客状态信息来判定乘客的混乱度。识别度判定部(5)使用本车状况获取部(2)所获取到的周边状况信息和控制信息、以及乘客状态获取部(3)所获取到的乘客状态信息来判定乘客对于车辆的周边状况和自动控制的识别度。信息生成部(6)使用本车状况获取部(2)所获取到的周边状况信息和控制信息、混乱度判定部(4)所判定出的混乱度以及识别度判定部(5)所判定出的识别度来生成提供给乘客的信息。

Description

信息提供装置及信息提供方法
技术领域
本发明涉及将与车辆的控制有关的信息提供给乘客的信息提供装置及信息提供方法。
背景技术
以往已知一种信息提供装置,在通过车辆的自动控制而在本车辆中产生了紧急动作的情况下,使乘客容易地掌握紧急动作的产生原因。
例如,专利文献1所记载的车辆用显示装置根据本车辆的周围状况来判定是否执行本车辆的自动控制,在判定为执行自动控制的情况下,基于周围状况生成表示包含自动控制的产生原因在内的周围状况的图像,并在设置于本车辆内的图像显示单元中显示所生成的图像。
现有技术文献
专利文献
专利文献1:日本专利特开2017-187839号公报
发明内容
发明所要解决的技术问题
专利文献1所记载的车辆用显示装置那样的现有的信息提供装置仅基于本车辆产生了紧急动作的情况来显示图像。因此,对于乘客已预先预想到该紧急动作的情况以及已识别出该紧急动作的产生原因的情况等不需要的场景和不需要的内容也显示图像,会给乘客带来厌烦。此外,在产生紧急动作以外的动作的情况下并不显示图像,因此,会给无法识别该动作的产生原因的乘客带来不安感。由此,现有的信息提供装置存在无法提供恰如其分的信息的问题。
本发明是为了解决上述问题而完成的,其目的在于提供恰如其分的信息。
解决技术问题所采用的技术方案
本发明所涉及的信息提供装置包括:本车状况获取部,该本车状况获取部获取表示车辆的周边状况的信息和与车辆的自动控制有关的信息;乘客状态获取部,该乘客状态获取部获取表示车辆的乘客的状态的信息;混乱度判定部,该混乱度判定部使用乘客状态获取部获取到的信息来判定乘客的混乱度;识别度判定部,该识别度判定部使用本车状况获取部和乘客状态获取部获取到的信息来判定乘客对于车辆的周边状况和自动控制的识别度;以及信息生成部,该信息生成部使用本车状况获取部获取到的信息、混乱度判定部判定出的混乱度以及识别度判定部判定出的识别度来生成提供给乘客的信息。
发明效果
根据本发明,除了表示车辆的周边状况的信息和与车辆的自动控制有关的信息以外,还基于表示车辆的乘客的状态的信息,来生成提供给乘客的信息,因此能提供恰如其分的信息。
附图说明
图1是示出实施方式1所涉及的信息提供装置的结构例的框图。
图2是示出实施方式1所涉及的信息提供装置所具有的信息生成表的一个示例的图。
图3是示出实施方式1所涉及的信息提供装置的动作例的流程图。
图4的图4A、图4B和图4C是示出实施方式1所涉及的信息提供装置1的信息提供例的图。
图5是示出实施方式1所涉及的信息提供装置的硬件结构例的图。
具体实施方式
以下,为了对本发明进行更加详细的说明,根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是示出实施方式1所涉及的信息提供装置1的结构例的框图。信息提供装置1搭载于车辆。此外,信息提供装置1与搭载于相同车辆的车辆控制装置10、输入装置11和输出装置12相连接。
车辆控制装置10与毫米波雷达、LIDAR(Light Detection And Ranging:光探测和测距)或角落传感器等各种车外传感器、以及V2X(Vehicle to Everything:车对外界)通信机或GNSS(Global Navigation Satellite System:全球导航卫星系统)接收机等各种通信机相连接,一边监视周边状况一边实现车辆的自动控制(包含驾驶辅助)。此外,车辆控制装置10可以一边在与具备光信标的路边设备、或搭载于其它车辆等的外部装置等之间收发信息,一边实现车辆的自动控制(包含驾驶辅助)。
该车辆控制装置10输出加速、制动和转向等表示车辆的自动控制的内容的信息(以下称为“控制信息”)。另外,控制信息可以不仅包含与当前工作中的控制有关的信息,还包含与此后将要工作的预定的控制有关的信息。此外,车辆控制装置10输出成为车辆的自动控制进行工作的原因的表示车辆的周边状况的信息(以下称为“周边状况信息”)。
输入装置11是用于接受搭乘于车辆的乘客所进行的输入的麦克风、遥控器或触摸传感器等、以及用于监视乘客的状态的摄像头、红外线传感器或生物传感器等。输入装置11输出使用麦克风、遥控器、触摸传感器、摄像头、红外线传感器或生物传感器等而检测到的表示乘客的状态的信息(以下,乘客状态信息)。乘客状态信息包含乘客的表情、视线、举动、声音、心跳数、脑波及出汗量中的至少一个。此外,输入装置11可以使用乘客的脸图像或声音等来对个人进行识别,并生成每个乘客的乘车次数或乘车时间等表示每个乘客对于车辆的自动控制的经验值的信息,并包含在乘客状态信息中。另外,乘客状态信息并不限于上述示例,只要是表示乘客的状态的信息,则可以是任意信息。
输出装置12是扬声器等声音输出装置、使用了液晶或有机EL(ElectroLuminescence:电致发光)的显示装置、或内置致动器从而能进行振动的方向盘或座椅等。
信息提供装置1包括本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5、信息生成部6和信息生成表7。信息提供装置1提供信息的对象不仅仅是驾驶员,也能将多个乘客全部设为对象,但这里为了简化说明,设为乘客为一人来进行说明。
本车状况获取部2从车辆控制装置10获取表示本车辆的控制内容的控制信息以及成为控制原因的周边状态信息,并输出到乘客状态获取部3和信息生成部6。
乘客状态获取部3从输入装置11获取乘客状态信息并从本车状况获取部2获取控制信息和周边状况信息,并且将获取到的信息输出到识别度判定部5或混乱度判定部4。具体而言,乘客状态获取部3从本车状况获取部2获取控制信息,并基于该控制信息来检测车辆的自动控制是否工作。然后,在检测到车辆的自动控制工作了的情况下,为了了解包含工作时的前后固定时间(例如,1分钟期间)的乘客的状态变化,乘客状态获取部3将该规定时间内的乘客状态信息的时间序列数据输出到混乱度判定部4和识别度判定部5。此外,在检测到车辆的自动控制工作了的情况下,为了了解包含工作时的前后固定时间(例如,1分钟期间)的本车辆及其周边状况的状态变化,乘客状态获取部3将该规定时间内的控制信息和周边状况信息的时间序列数据输出到识别度判定部5。
混乱度判定部4从乘客状态获取部3获取乘客状态信息,并基于乘客的状态来判定乘客的混乱度。例如,混乱度判定部4基于乘客瞬时发出的声音的音量,以如下方式判定混乱度:若声压小于60dB则混乱度为“低”,若声压为60dB以上且小于70dB则混乱度为“中”,若声压为70dB以上则混乱度为“高”。另外,混乱度判定部4可以不仅使用声音的音量来判定,还利用韵律信息或语言信息来判定。此外,混乱度判定部4可以使用DNN(Deep NeuralNetwork:深度神经网络)法等一般的方法,将声音、摄像头图像和心跳等多个信息整合起来进行判定。此外,混乱度判定部4也可以使用DNN法等一般的方法,根据声音以外的信息即乘客的表情、视线、举动、心跳数、脑波和出汗量中的至少1个单独进行判定。此外,在乘客对于车辆的自动控制的经验值较高的情况下,考虑到乘客对于车辆的自动控制的理解度较高,混乱度判定部4可以使混乱度降低。此外,在乘客对于车辆的自动控制的经验度较低的情况下,考虑到乘客对于车辆的自动控制的理解度较低,混乱度判定部4可以使混乱度上升。之后,混乱度判定部4将判定出的混乱度输出到信息生成部6。
识别度判定部5从乘客状态获取部3获取周边状况信息、控制信息和乘客状态信息。然后,识别度判定部5使用获取到的上述信息,基于乘客的状态,来判定乘客对于车辆的周边状况及车辆的自动控制的识别度。例如,识别度判定部5使用摄像头图像等来检测乘客的眼睑的打开状态,基于眼睑的打开状态来判定是否是清醒状态,并基于乘客的清醒状态、脸方向和视线方向等判定乘客对车辆周边的确认状况等。然后,识别度判定部5以如下方式判定识别度:若乘客处于睡眠中等非清醒状态则识别度为“低”,若处于虽然为清醒状态但正在操作智能手机那样无法对车外的状况进行视觉确认的状态则识别度为“中”,若处于能对车外的状况进行视觉确认的状态则识别度为“高”。另外,与混乱度判定部4同样地,识别度判定部5可以使用DNN法等一般的方法,将多个信息整合起来进行判定。之后,识别度判定部5将判定出的识别度输出到信息生成部6。
信息生成部6从本车状况获取部2获取周边状况信息和控制信息,从混乱度判定部4获取混乱度,并从识别度判定部5获取识别度。然后,信息生成部6参照信息生成表7,基于周边状况信息和控制信息、混乱度以及识别度,来生成提供给乘客的信息。信息生成部6的信息生成方法在后文中阐述。
信息生成表7例如是如下表格:对于控制内容,根据混乱度和识别度对提供给乘客的信息的信息量进行了规定。图2是示出实施方式1所涉及的信息提供装置1所具有的信息生成表7的一个示例的图。图2的示例中,对于控制内容“自动转向”,乘客的混乱度越高,则提供的信息量越是增加。此外,对于控制内容“自动转向”,乘客的识别度越低,则提供的信息量越是增加。另外,相对于混乱度的高低与识别度的高度的组合的信息量的种类并不限于图2的示例。例如,可以由信息生成表7规定总计9种信息量,即:相对于混乱度“低”识别度为“低”、“中”和“高”的3种信息量,相对于混乱度“中”识别度为“低”、“中”和“高”的3种信息量,以及相对于混乱度“高”识别度为“低”、“中”和“高”的3种信息量。此外,图2的示例中,混乱度和识别度按“低”、“中”和“高”3个阶段来表现,但并不限于该3个阶段。混乱度和识别度例如也可以用“1”到“100”的数值来表现,该情况下能对提供给乘客的信息进行更为精细的控制。
此外,图2中,作为提供给乘客的信息的信息量,例示出仅警告、警告和控制内容、以及警告、控制内容和控制原因这3种,但信息量并不限于此。警告、控制内容和控制原因的信息提供通过声音、语音或显示等来进行。图2中,例示出控制内容为“自动转向”的情况,但控制内容并不限于此,也可以是“自动制动”和“十字路口左右转”等。此外,图2中,不论混乱度和识别度的值如何都向乘客提供信息,然而,例如在混乱度“低”和识别度“高”的情况下可以不提供信息。由此,信息生成部6可以构成为在混乱度在预先确定的值以上、且识别度小于预先确定的值的情况下提供信息,而在混乱度小于上述预先确定的值、且识别度在上述预先确定的值以上的情况下不提供信息。
接着,对实施方式1所涉及的信息提供装置1的动作进行说明。
图3是示出实施方式1所涉及的信息提供装置1的动作例的流程图。信息提供装置1例如在车辆的发动机工作的期间重复图3的流程图所示的动作。
图4A、图4B和图4C是示出实施方式1所涉及的信息提供装置1的信息提供例的图。这里,如图4A所示,举出作为输出装置12的一种的显示装置设置于车辆的仪表盘的情况为例。此外,设为该仪表盘也设置有作为输出装置12的一种的扬声器(未图示)。
此外,以下,假设车辆控制装置10在车辆前方检测到障碍物,并使自动转向工作以避开该障碍物的情况。该情况下,车辆控制装置10向本车状况获取部2输出将控制内容设为“自动转向”的控制信息、以及将控制原因设为“检测到前方的障碍物”的周边状况信息。
步骤ST1中,本车状况获取部2从车辆控制装置10获取上述周边状况信息和控制信息,乘客状态获取部3从输入装置11获取乘客状态信息。
步骤ST2中,乘客状态获取部3基于从本车状况获取部2获取到的控制信息,检测车辆的自动控制是否工作。乘客状态获取部3在检测到车辆的自动控制工作了的情况下(步骤ST2“是”),将包含工作时的前后固定时间内的乘客状态信息输出到混乱度判定部4和识别度判定部5,在除此以外的情况下(步骤ST2“否”),处理返回步骤ST1。
步骤ST3中,混乱度判定部4基于从乘客状态获取部3获取到的乘客状态信息,判定包含工作时的前后固定时间内的乘客的混乱度。例如,如图4A所示,在乘客的“怎么回事!?”之类的惊讶的声音的音量为70dB的情况下,混乱度判定部4判定为混乱度“高”。
步骤ST4中,识别度判定部5基于从乘客状态获取部3获取到的周边状况信息、控制信息和乘客状态信息,判定包含工作时的前后固定时间内的、乘客对于车辆的周边状况和车辆的自动控制的识别度。例如,在乘客处于清醒状态、能一定程度掌握本车辆的控制状态但并未将视线朝向窗外、无法完全识别车外的状况的情况下,识别度判定部5判定为识别度“中”。
步骤ST5中,信息生成部6参照信息生成表7,生成与车辆的自动控制的内容、步骤ST3中判定出的混乱度和步骤ST4中判定出的识别度相对应的信息。例如,在控制内容为“自动转向”、混乱度为“高”、识别度为“中”的情况下,信息生成部6基于图2那样的信息生成表7,将提供给乘客的信息的信息量决定为警告、控制内容和控制原因。然后,信息生成部6生成用于将自动控制工作了的情况通知给乘客的“哔哔哔”等的警告音或警告画面。此外,信息生成部6生成用于将控制内容即“自动转向”通知给乘客的声音和显示画面中的至少一方。此外,信息生成部6生成用于将控制原因即“检测到前方的障碍物”通知给乘客的声音和显示画面中的至少一方。
在步骤ST6中,信息生成部6将步骤ST5中生成的信息输出到输出装置12。在混乱度“高”且识别度“低”的情况下,输出装置12将信息生成部6所生成的警告、控制内容和控制原因的信息提供给乘客。例如,首先,信息生成部6如图4B所示,使作为输出装置12的一种的扬声器输出“哔哔哔”这样的警告音。同时,信息生成部6使作为输出装置12的一种的显示装置显示包含警告图标和“自动转向”的文本在内的警告画面。接着,信息生成部6如图4C所示,使作为输出装置12的一种的扬声器输出表示控制内容即“自动转向”和控制原因即“检测到前方的障碍物”的“在前方检测到障碍物,因此利用自动转向避开。”这样的声音。同时,信息生成部6使作为输出装置12的一种的显示装置显示表示控制内容即“自动转向”和控制原因即“检测到前方的障碍物”的画面。
另外,例如,在混乱度“低”且识别度“高”的情况下,考虑为乘客理解自动转向为什么工作。因此,信息生成部6可以仅生成图4B那样的警告音或警告显示的信息,以将自动转向工作了的情况通知给乘客。
此外,图4A、图4B和图4C中,信息提供装置1利用扬声器和显示装置向乘客发出警告,但也可以使内置在方向盘或座椅等中的致动器振动来向乘客发出警告。
最后,对信息提供装置1的硬件结构进行说明。
图5是示出实施方式1所涉及的信息提供装置1的硬件结构例的图。总线100连接有CPU(Central Processing Unit:中央处理单元)101、ROM(Read Only Memory:只读存储器)102、RAM(Random Access Memory:随机存取存储器)103、HDD(Hard Disk Drive:硬盘驱动器)104、车辆控制装置10、输入装置11及输出装置12。信息提供装置1中的本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5和信息生成部6的功能由执行ROM 102或HDD 104中所存储的程序的CPU 101来实现。CPU 101可以利用多核心等并行地执行多个处理。RAM 103是在CPU 101执行程序时使用的存储器。HDD 104是外部存储装置的一个示例,存储有信息生成表7。另外,外部存储装置是HDD104以外也无妨,可以是CD(CompactDisc:光盘)或DVD(Digital Versatile Disc:数字通用盘)等磁盘、或采用了USB(Universal Serial Bus:通用串行总线)存储器或SD卡等闪存的存储器等。
本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5和信息生成部6的功能由软件、固件或软件和固件的组合来实现。软件或固件表述为程序,并存储于ROM102或HDD 104。CPU 101读取并执行ROM 102或HDD 104中所存储的程序,由此来实现各部分的功能。即,信息提供装置1具备用于存储程序的ROM 102或HDD 104,该程序在由CPU 101执行时最终执行图3的流程图所示的步骤。此外,该程序也可以称为是使计算机执行本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5和信息生成部6的步骤或方法的程序。
如上所述,实施方式1所涉及的信息提供装置1包括本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5和信息生成部6。本车状况获取部2获取表示车辆的周边状况的信息和与车辆的自动控制有关的信息。乘客状态获取部3获取表示车辆的乘客的状态的信息。混乱度判定部4使用乘客状态获取部3所获取到的信息来判定乘客的混乱度。识别度判定部5使用本车状况获取部2和乘客状态获取部3所获取到的信息来判定乘客对于车辆的周边状况和自动控制的识别度。信息生成部6使用本车状况获取部2所获取到的信息、混乱度判定部4所判定出的混乱度以及识别度判定部5所判定出的识别度来生成提供给乘客的信息。根据该结构,信息提供装置1能基于伴随车辆的自动控制的乘客的混乱度、以及乘客对于其前后的车辆的周边状况和自动控制的识别度,来变更所提供的信息。因此,对于并不怎么了解车辆控制装置10所进行的自动驾驶或驾驶辅助的控制内容而感到不安的乘客,能提供充分的信息并能提供安心感。此外,对于理解了车辆控制装置10所进行的自动驾驶或驾驶辅助的控制内容的乘客,能降低不需要的信息提供,能抑制厌烦感。因此,信息提供装置1能提供恰如其分的信息。
此外,混乱度判定部4判定出的混乱度越高,或识别度判定部5判定出的识别度越低,则实施方式1的信息生成部6越使提供给乘客的信息量增加。由此,信息提供装置1能根据乘客对车辆控制装置10所进行的自动驾驶或驾驶辅助的控制内容的理解度来使提供的信息量增减,因此能提供恰如其分的信息。
另外,上述内容中,混乱度判定部4基于包含车辆的自动控制工作时的前后固定时间内的乘客状态信息来判定乘客的混乱度,但也可以使用对于乘客的过去的混乱度的判定历史,来推定当前的自动控制工作时的混乱度。例如,在本次的自动转向对于乘客而言为第3次工作时,过去2次自动转向工作时的混乱度均为“高”的情况下,不论本次的乘客状态如何,混乱度判定部4均将工作时的混乱度推定为“高”。由此,信息提供装置1能比乘客实际发生混乱更早地立刻提供恰当的信息,因此能防止乘客混乱本身的发生。
此外,上述内容中,信息生成部6简单地根据识别度的高低来生成所提供的信息,但也可以基于乘客对周围状况和自动控制具体识别到何种程度,来生成所提供的信息。例如,假设如下情况:车辆控制装置10在车辆前方检测到障碍物,并使自动转向工作以避开该障碍物。该情况下,识别度判定部5基于乘客的视线信息等,判定乘客是否将视线朝向车外来对车辆前方的障碍物进行视觉确认。在识别度判定部5判定为乘客对车辆前方的障碍物进行视觉确认的情况下,信息生成部6判断为乘客能识别控制内容即“自动转向”以及控制原因即“检测到前方的障碍物”,不生成与自动转向有关的信息。另一方面,在识别度判定部5判定为乘客未注意到车辆前方的障碍物的情况下,信息生成部6判断为乘客未能识别控制内容即“自动转向”以及控制原因即“检测到前方的障碍物”,生成与自动转向有关的信息。由此,识别度判定部5判定车辆的周边状况和自动控制中由乘客所识别出的事项,信息生成部6生成由识别度判定部5判定为乘客已识别出的事项以外的与车辆的周边状况和自动控制有关的信息,由此能提供更恰如其分的恰当的信息。
另外,信息生成部6也可以使用本车状况获取部2获取到的周边状况信息和控制信息、混乱度判定部4判定出的混乱度以及识别度判定部5所获取到的识别度来生成提供给乘客的信息,并且在提供给乘客后,在混乱度判定部4重新判定出的混乱度并未下降预先确定的值以上的情况下,使提供给乘客的信息量增加。这里,预先确定的值例如设为与混乱度1阶段相当。信息生成部6将根据混乱度“中”和识别度“高”来提供的信息量决定为警告和控制内容,并使用输出装置12来提供信息,之后,若混乱度未从“中”下降到“低”,则即使混乱度为“中”,也对警告和控制内容追加控制原因并再次进行信息提供。由此,信息提供装置1能在所提供的信息量不足的场景下使信息量增加,能提供更恰如其分的恰当的信息。
此外,在乘客的混乱度因与其他乘客的对话而变高的情况下,信息生成部6也可以不变更提供给该乘客的信息,而保持混乱度变高前的信息不变。该情况下,乘客状态获取部3基于来自输入装置11的声音,在多个乘客交替发话的情况下,判定为该多个乘客正在对话。或者,乘客状态获取部3可以基于来自输入装置11的摄像头图像和声音,在多个乘客彼此看着对方并发话的情况下,判定为该多个乘客正在对话。并且,乘客状态获取部3基于乘客的声音,来判定乘客是否在说与车辆的周边状况和自动控制无关的内容。然后,信息生成部6在信息提供对象的乘客的混乱度变高的情况、且由乘客状态获取部3判定为多个乘客正在说与车辆的周边状况和自动控制无关的内容的情况下,判定为信息提供对象的乘客的混乱度因与其他乘客的对话而变高,不变更提供给该乘客的信息。另一方面,信息生成部6在信息提供对象的乘客的混乱度变高的情况、且该乘客并未发话或由乘客状态获取部3判定为多个乘客正在说与车辆的周边状况和自动控制有关的内容的情况下,判定为信息提供对象的乘客的混乱度因车辆的自动控制而变高,根据混乱度和识别度来变更提供给该乘客的信息。由此,信息提供装置1能防止对与自动控制无关的混乱提供不需要的信息,能防止给乘客带来厌烦。
此外,上述内容中,设为提供信息的对象为乘客一人来对信息提供装置1进行了说明,但也可以将搭乘于车辆的多个乘客全部设为对象。该情况下,例如,信息提供装置1基于各乘客的混乱度和识别度来选择所提供的信息量最多的乘客,基于该乘客的混乱度和识别度来生成信息,并使用设置于车辆的1个输出装置12来向全部乘客提供该信息。或者,信息提供装置1可以根据各乘客的混乱度和识别度单独生成信息,并使用设置于各座位的输出装置12来单独提供信息。
此外,上述内容中,说明了信息提供装置1、车辆控制装置10、输入装置11和输出装置12搭载于车辆的示例,但并不限于该结构。例如,信息提供装置1可以作为车外的服务器装置来构成,该服务器装置可以通过与搭载于车辆的车辆控制装置10、输入装置11和输出装置12进行无线通信来提供信息。此外,信息提供装置1的本车状况获取部2、乘客状态获取部3、混乱度判定部4、识别度判定部5、信息生成部6和信息生成表7也可以分散在服务器装置、智能手机等移动终端和车载设备中。
此外,上述内容中,以信息提供装置1适用于四轮汽车的情况为例进行了说明,但也可以适用于二轮车、船舶、飞机以及个人移动性等乘客所搭乘的移动体。
此外,本发明可以在该发明的范围内对各实施方式的任意结构要素进行变形、或在各实施方式中省略任意的结构要素。
工业上的实用性
本发明所涉及的信息提供装置将乘客的状态考虑在内来提供信息,因此,适用于进行自动驾驶或驾驶辅助的车辆等的信息提供装置。
标号说明
1 信息提供装置
2 本车状况获取部
3 乘客状态获取部
4 混乱度判定部
5 识别度判定部
6 信息生成部
7 信息生成表
10 车辆控制装置
11 输入装置
12 输出装置
100 总线
101 CPU
102 ROM
103 RAM
104 HDD。

Claims (9)

1.一种信息提供装置,其特征在于,包括:
本车状况获取部,该本车状况获取部获取表示车辆的周边状况的信息和与所述车辆的自动控制有关的信息;
乘客状态获取部,该乘客状态获取部获取表示所述车辆的乘客的状态的信息;
混乱度判定部,该混乱度判定部使用所述乘客状态获取部获取到的信息来判定所述乘客的混乱度;
识别度判定部,该识别度判定部使用所述本车状况获取部和所述乘客状态获取部获取到的信息来判定所述乘客对于所述车辆的周边状况和自动控制的识别度;以及
信息生成部,该信息生成部使用所述本车状况获取部获取到的信息、所述混乱度判定部判定出的混乱度以及所述识别度判定部判定出的识别度来生成提供给所述乘客的信息。
2.如权利要求1所述的信息提供装置,其特征在于,
所述信息生成部根据所述混乱度判定部判定出的混乱度或所述识别度判定部判定出的识别度,来使提供给所述乘客的信息量增减。
3.如权利要求2所述的信息提供装置,其特征在于,
所述混乱度判定部判定出的混乱度越高,或所述识别度判定部判定出的识别度越低,则所述信息生成部越使提供给所述乘客的信息量增加。
4.如权利要求1所述的信息提供装置,其特征在于,
所述混乱度判定部使用所述乘客状态获取部获取到的所述乘客的表情、视线、举动、声音、心跳数、出汗量和乘车次数中的至少1个信息来判定所述乘客的混乱度。
5.如权利要求1所述的信息提供装置,其特征在于,
所述混乱度判定部使用针对所述乘客的过去的混乱度的判定历史来推定当前的混乱度。
6.如权利要求1所述的信息提供装置,其特征在于,
所述识别度判定部判定所述车辆的周边状况和自动控制中的由所述乘客识别出的事项,
所述信息生成部生成由所述识别度判定部判定为所述乘客已识别出的事项以外的与所述车辆的周边状况和自动控制有关的信息。
7.如权利要求1所述的信息提供装置,其特征在于,
所述信息生成部使用所述本车状况获取部获取到的信息、所述混乱度判定部判定出的混乱度以及所述识别度判定部判定出的识别度来生成提供给所述乘客的信息,并且在提供给所述乘客后,在所述混乱度判定部重新判定出的混乱度并未下降预先确定的值以上的情况下,使提供给所述乘客的信息量增加。
8.如权利要求1所述的信息提供装置,其特征在于,
在所述乘客的混乱度因与其他乘客的对话而变高的情况下,所述信息生成部不变更提供给所述乘客的信息。
9.一种信息提供方法,其特征在于,
本车状况获取部获取表示车辆的周边状况的信息和与所述车辆的自动控制有关的信息,
乘客状态获取部获取表示所述车辆的乘客的状态的信息,
混乱度判定部使用所述乘客状态获取部获取到的信息来判定所述乘客的混乱度,
识别度判定部使用所述本车状况获取部和所述乘客状态获取部获取到的信息来判定所述乘客对于所述车辆的周边状况和自动控制的识别度,
信息生成部使用所述本车状况获取部获取到的信息、所述混乱度判定部判定出的混乱度以及所述识别度判定部判定出的识别度来生成提供给所述乘客的信息。
CN201880098534.9A 2018-10-16 2018-10-16 信息提供装置及信息提供方法 Withdrawn CN112823383A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/038502 WO2020079755A1 (ja) 2018-10-16 2018-10-16 情報提供装置及び情報提供方法

Publications (1)

Publication Number Publication Date
CN112823383A true CN112823383A (zh) 2021-05-18

Family

ID=70283827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098534.9A Withdrawn CN112823383A (zh) 2018-10-16 2018-10-16 信息提供装置及信息提供方法

Country Status (5)

Country Link
US (1) US20220032942A1 (zh)
JP (1) JPWO2020079755A1 (zh)
CN (1) CN112823383A (zh)
DE (1) DE112018008075T5 (zh)
WO (1) WO2020079755A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741485A (zh) * 2021-06-23 2021-12-03 阿波罗智联(北京)科技有限公司 车路协同自动驾驶的控制方法、装置、电子设备及车辆
KR20230000626A (ko) * 2021-06-25 2023-01-03 현대자동차주식회사 스티어링 휠의 경고 진동 생성 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006042903A (ja) * 2004-07-30 2006-02-16 Mazda Motor Corp 車両用運転支援装置
JP4803490B2 (ja) * 2006-08-30 2011-10-26 株式会社エクォス・リサーチ 運転者状態推定装置及び運転支援装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6747019B2 (ja) 2016-04-01 2020-08-26 日産自動車株式会社 車両用表示方法及び車両用表示装置
JP6465131B2 (ja) * 2017-03-14 2019-02-06 オムロン株式会社 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP6822325B2 (ja) * 2017-06-21 2021-01-27 日本電気株式会社 操縦支援装置、操縦支援方法、プログラム
KR102677702B1 (ko) * 2018-09-11 2024-06-25 현대자동차주식회사 차량 및 그 제어방법

Also Published As

Publication number Publication date
US20220032942A1 (en) 2022-02-03
DE112018008075T5 (de) 2021-07-08
WO2020079755A1 (ja) 2020-04-23
JPWO2020079755A1 (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
US10745032B2 (en) ADAS systems using haptic stimuli produced by wearable devices
US9007198B2 (en) Adaptive Actuator interface for active driver warning
US10752172B2 (en) System and method to control a vehicle interface for human perception optimization
US20180319408A1 (en) Method for operating a vehicle
CN108140294B (zh) 车辆内部触觉输出
CN110869262B (zh) 用于为车辆的至少一名乘员生成视觉信息的方法、移动用户设备、计算单元
JP6386618B2 (ja) ジェスチャ用のインテリジェントなチュートリアル
CN109472253B (zh) 行车安全智能提醒方法、装置、智能方向盘和智能手环
US9984298B2 (en) Method for outputting a drowsiness warning and control unit
US11532053B1 (en) Method and system for detecting use of vehicle safety systems
WO2018089091A1 (en) System and method of depth sensor activation
CN112601933A (zh) 为车辆乘员提供对语音播报的交互式反馈
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
CN112823383A (zh) 信息提供装置及信息提供方法
CN112991684A (zh) 一种驾驶预警的方法及装置
JP2010205123A (ja) 運転支援方法、運転支援装置及び運転支援用プログラム
US20180162391A1 (en) Vehicle control method and vehicle control apparatus for preventing retaliatory driving
CN110072726B (zh) 自主车辆计算机
US20180068502A1 (en) Method and device for providing an item of information regarding a passenger protection system of a vehicle using a mobile user terminal
US11912267B2 (en) Collision avoidance system for vehicle interactions
EP3606018B1 (en) Mobile apparatus, information processing method, mobile device program
US11167693B2 (en) Vehicle attention system and method
CN114390254B (zh) 一种后排驾驶舱监控方法、装置及车辆
CN205417607U (zh) 车载显示系统及汽车
JP2020125089A (ja) 車両制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210518