CN103454930B - 减少驾驶员口语对话期间的分心 - Google Patents

减少驾驶员口语对话期间的分心 Download PDF

Info

Publication number
CN103454930B
CN103454930B CN201310205477.9A CN201310205477A CN103454930B CN 103454930 B CN103454930 B CN 103454930B CN 201310205477 A CN201310205477 A CN 201310205477A CN 103454930 B CN103454930 B CN 103454930B
Authority
CN
China
Prior art keywords
workload
dialogue
user
dialog
conversation activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310205477.9A
Other languages
English (en)
Other versions
CN103454930A (zh
Inventor
E.茨尔克尔-汉科克
O.尖霍尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103454930A publication Critical patent/CN103454930A/zh
Application granted granted Critical
Publication of CN103454930B publication Critical patent/CN103454930B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00Responses or measures related to driver conditions
    • B60Y2302/09Reducing the workload of driver

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Atmospheric Sciences (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及减少驾驶员口语对话期间的分心,具体提供了用于减少与车辆中的自动对话系统的对话相关的使用者分心和无情形意识的方法和系统。在对话方针学习时间,驾驶员分心作为评估对话质量的惩罚分配器的输入被引入,并且对话行为被扩展到包括减少关于对话的驾驶员工作量的对话和对话行为给出型式。所述自动对话系统方针通过优化所述惩罚在学习程序期间发展,使得所述自动对话工作量响应于驾驶员的工作量或预期工作量的增加而减少。本发明还提供了对常规车辆中的实际工作量以及自主车辆中的预期工作量作出响应的方法和系统。

Description

减少驾驶员口语对话期间的分心
相关申请的交叉引用
本申请要求标题为“减少驾驶员口语对话期间的分心”的2012年5月29日提交的美国临时专利申请No.61/652600的权益,该临时专利申请的内容在此通过引用并入本申请中并且在此依照37 CFR 1.78(a)(4)和(5)(i)要求该临时专利申请的优先权。
背景技术
机动车的驾驶员可能在某些状况下分心,其特征通常在于精神工作量增加。在能够自主操作的车辆中发生名义驾驶员可能失去情形意识的相关情况,这在需要驾驶员响应的某些预期工作量状况下可能是不安全的。自动口语和多模式对话系统在机动车中变得愈发常见并且可以是减少驾驶员的潜在分心和/或情形意识降低的因素。
因此,期望具有用于减少驾驶员分心和/减少驾驶员无情形意识同时在口语对话中应用自动对话系统的方法。这些目标是通过本发明来实现的。
发明内容
本发明的实施方式提供了用于以下述方式减少与自动对话相关的使用者分心的系统和方法:通过监测使用者工作量、通过提供扩展的系统对话行为来补偿分心以及通过修改评估对话性能的回报以便优化降低与自动对话相关的使用者分心的自动对话响应性。
以类似方式,本发明的额外实施方式提供了用于降低自主车辆或类似系统中与自动对话相关的使用者无情形意识的系统和方法。根据本发明的实施方式,术语“无情形意识”意味着对自主机动车正在操作的全部情形至少部分无意识。驾驶员可能具有一些情形意识,但是潜在地缺少有情形意识的驾驶员预计具有的完全意识。有情形意识的驾驶员具有涉及当必要时承担控制车辆的驾驶任务的充分认知能力。具有减少的情形意识的驾驶员缺少在需要时负责控制车辆的信息。
本发明的实施方式可有益地应用在很宽范围的情形中,在这些情形中人类使用者参与自动对话同时操作或者指导设备或系统的操作。在某些情形中,人类使用者可能面对高工作量负担并且可能分心而无暇顾及所述设备或系统的操作。在使用者指导或监督设备或系统的操作的情形中,使用者可能具有重的预期工作量并且变得对当前情况以及可能影响使用者正指导的操作的因素无意识。
方案1. 一种用于减少与跟自动对话系统的交互作用相关的使用者分心的方法,所述方法包括:
通过处理器接收使用者工作量参数;
响应于所述使用者工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的对话改型来改进的常规对话行为。
方案2. 如方案1所述的方法,其中所述减少工作量的对话行为包括从下述各项组成的集合中选出的行为:
对话暂停;
建议对话暂停;
对话终止;
建议对话终止。
方案3. 如方案2所述的方法,进一步包括根据使用者参与程度来排列暂停操作选项和终止操作选项的范围。
方案4. 如方案1所述的方法,其中所述减少工作量的对话改型包括从下述各项组成的集合中选出的对话改型:
切换到声音模式;
将复合提示分解成项;
改变到是/否提示;以及
加速对话。
方案5. 如方案4所述的方法,其中所述加速对话行为响应于预测的工作量增加而进行。
方案6. 如方案1所述的方法,进一步包括:
检测用于多个对话的使用者分心水平;
响应于所述检测使用者分心水平来计算惩罚值以便根据至少所述多个对话中的一个对话的使用者分心水平来评估对话质量;
将所述惩罚值存储在包括多个对话的数据库中;以及
根据所述数据库计算用于自动对话系统的控制器的对话方针。
方案7. 如方案1所述的方法,其中所述使用者工作量参数包括所述车辆前面的危险的危险警报,并且其中所述工作量减少行为或者所述工作量减少对话改型中的至少一个包括立即中止对话。
方案8. 如方案7所述的方法,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
方案9. 一种用于减少与自动对话系统相关的使用者无情形意识的方法,所述方法包括:
通过处理器接收使用者预期工作量参数;
响应于所述使用者预期工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的改型来改进的常规对话行为。
方案10. 如方案9所述的方法,其中所述减少工作量的对话行为包括从下述各项组成的集合中选出的行为:
对话暂停;
建议对话暂停;
对话终止;
建议对话终止。
方案11. 如方案10所述的方法,进一步包括根据使用者参与程度来排列暂停操作选项和终止操作选项的范围。
方案12. 如方案7所述的方法,其中所述减少工作量的对话改型包括从下述各项组成的集合中选出的对话改型:
切换到声音模式;
将复合提示分解成项;
改变到是/否提示;以及
加速对话。
方案13. 如方案12所述的方法,其中所述加速对话行为响应于预测的预期工作量增加而进行。
方案14. 如方案9所述的方法,进一步包括:
检测用于存储在数据库中的多个对话的驾驶员无情形意识水平;
响应于所述检测使用者无情形意识水平来计算惩罚值以便根据至少使用者情形意识来评估对话质量;以及
根据所述数据库计算用于自动对话系统的控制器的对话方针。
方案15. 一种用于减少与跟自动对话的交互作用相关的使用者分心的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
工作量估计单元,其能够:
接收指示使用者工作量的工作量参数;以及
计算工作量估计值;以及
将所述工作量估计值输入到所述对话控制单元中。
方案16. 如方案15所述的对话系统,其中所述工作量参数包括所述车辆前面的危险的危险警报,并且其中所述工作量估计值包括所述危险警报。
方案17. 如方案16所述的对话系统,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
方案18. 一种用于减少与跟自动对话的交互作用相关的使用者无情形意识的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
预期工作量估计单元,其能够:
接收指示预期使用者工作量的预期工作量参数;以及
计算预期工作量估计值;以及
将所述预期工作量估计值输入到所述对话控制单元中。
方案19. 如方案18所述的对话系统,其中所述预期工作量参数包括所述车辆前面的危险的危险警报,并且其中所述预期工作量估计值包括所述危险警报。
方案20. 如方案19所述的对话系统,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
为了清楚地说明,本申请详细描述了本发明的某些实施方式,所述实施方式可用于使用者作为机动车驾驶员的非限制性示例。使用者指导或监督设备或系统的操作的使用者的情形同样在此通过名义上是自主机动车的驾驶员的使用者的非限制性示例来示出。然而,应当理解的是,本发明的实施方式也可广泛地应用于其他和更通常的情形。在另一非限制性示例中,操作工业处理系统和/或指导工业处理系统的操作的使用者也可受益于本发明的实施方式。
附图说明
通过结合附图阅读下面的详细描述可以最好地理解所公开的主题,附图中:
图1示出了根据本发明的某些实施方式的用于减少驾驶员分心和无情形意识的操作规则。
图2A概念地示出了根据本发明的某些实施方式的系统,所述系统用于实时减少使用者的分心。
图2B概念地示出了根据本发明的某些实施方式的系统,所述系统用于实时减少使用者无情形意识。
图3A概念地示出了根据本发明的某些实施方式的系统,所述系统用于减少使用者分心的离线方针学习。
图3B概念地示出了根据本发明的某些实施方式的系统,所述系统用于减少使用者无情形意识的离线方针学习。
图4A是根据本发明的某些实施方式的方法的流程图,所述方法用于实时减少使用者的分心。
图4B是根据本发明的某些实施方式的方法的流程图,所述方法用于实时减少使用者无情形意识。
图5是根据本发明的特定实施方式的方法的流程图,所述方法用于实时减少驾驶员分心。
为了简要和清楚地说明起见,附图标记可以在各个附图中被重复用来指示对应或类似元件。
具体实施方式
分心和无情形意识
为了安全并且有效地操纵机动车,驾驶员必须从许多不同的源连续接收感官输入,并且恰当地并以适时的方式响应于那些输入。存在与使用者参与自动对话相关的累积工作量的要素,并且这种因素在本发明中被解决。
如果管理输入和响应的认知工作量超过一定水平,那么驾驶员可能从驾驶任务分心,并且具有潜在地严重后果。然而,是自主车辆的名义“驾驶员”的人并不具有相同的正在履行的责任。术语“自主车辆”在此指代具有一个或多个自动系统以便在没有直接驾驶员参与的情况下执行一个或多个常见驾驶任务的车辆。用于自主车辆的系统的示例包括但不限于:用于飞机或船舶的自动领航系统;以及用于汽车和卡车的巡航控制系统和自动车道对中系统。虽然这些系统可减轻领航员或驾驶员的相当大的工作量,但是它们不一定都能够操纵可能发生的所有情况。因此,指定为名义“领航员”或“驾驶员”的受过训练的人类操作者指导或监督自主车辆的操作,并且将能够在自动系统不能完全操纵的情况出现的情形下接管部分或完全控制。在巡航控制系统的非限制性示例中,如果交通状况突然变化,驾驶员可能必须通过施加制动来进行干涉。
自主车辆的驾驶员可以被免除很大一部分驾驶工作量,但是仍必须随时保持对当前情况的警觉,并且必须保持准备在必要时进行干涉。因此,代替工作量本身,自主车辆的驾驶员具有预期工作量。预期工作量可能在某些方面类似于由实际驾驶员操纵的实际工作量,并且在某些情形中甚至可能超过实际驾驶的工作量-例如在需要突然干涉的情况下。根据本发明的某些实施方式,如果驾驶员无情形意识并且预期工作量超过一定水平,那么存在潜在的严重后果。
因此,根据本发明的某些实施方式,与常规车辆驾驶员的工作量增加可导致驾驶员分心的状况等同,如果驾驶员无情形意识,则自主车辆驾驶员的预期工作量的增加可导致潜在危险状况。
图1概念地示出了根据本发明的某些实施方式的兴趣规则。规则组100应用于常规车辆的驾驶员,并且规则组130应用于自主车辆的驾驶员。基本规则151是关于测量的。在规则101中测量了常规车辆驾驶员的与驾驶相关的工作量,并且在规则131中测量了与驾驶自主车辆相关的预期工作量。辅助规则153涉及自动对话的控制。在规则103中可以控制与常规车辆中自动对话相关的工作量,并且在规则133中可以控制与自主车辆中自动对话相关的工作量。优化规则155提供了调节规则153的控制的自由。规则105提供保持组合驾驶工作量101和自动对话工作量103低于分心阈值110的自由。根据本发明的实施方式,分心阈值110是概念阈值而非操作阈值。在该实施方式中,所述系统基于在学习阶段实现的以前的经验(如下面将要论述的)而不是直接测量分心程度来降低分心。
在低于阈值110的区域107中驾驶员没有分心,然而在高于阈值110的区域109中驾驶员分心。同样,规则135提供保持组合驾驶预期工作量131和自动对话工作量133低于无情形意识阈值140的自由。在低于阈值140的区域137中驾驶员有情形意识,然而在高于阈值140的区域139中驾驶员无情形意识。
减少分心和无情形意识
根据本发明的某些实施方式,离线学习程序被用于使用示例对话的训练数据库来发展自动对话系统的新对话方针。通过学习程序发展新对话方针,所述学习程序对形成经验性地产生分心/无情形意识的对话给予惩罚。(在这些实施方式中,术语“惩罚”指示负面回报。)随后,在对话时间情况中,如果所述对话类似于训练程序中看见的超过阈值的对话示例,则新对话方针减少工作量/预期工作量。
以这种方式,本发明的实施方式可优化自动对话来降低分心/无情形意识的水平。
因此,根据本发明的实施方式提供了一种用于减少与和自动对话系统的交互作用相关的使用者分心的方法,所述方法包括:
通过处理器接收使用者工作量参数;
响应于所述使用者工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与和所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的对话改型来改进的常规对话行为。
此外,根据本发明的另一实施方式,提供了一种用于减少与自动对话系统相关的使用者无情形意识的方法,所述方法包括:
通过处理器接收使用者预期工作量参数;
响应于所述使用者预期工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与和所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的改型来改进的常规对话行为。
另外,根据本发明的又一实施方式,提供了一种用于减少与和自动对话的交互作用相关的使用者分心的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
工作量估计单元,其能够:
接收指示使用者工作量的工作量参数;以及
计算工作量估计值;以及
将所述工作量估计值输入到所述对话控制单元中。
此外,根据本发明的再一个实施方式,提供了一种用于减少与和自动对话的交互作用相关的使用者无情形意识的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
预期工作量估计单元,其能够:
接收指示预期使用者工作量的预期工作量参数;以及
计算预期工作量估计值;以及
将所述预期工作量估计值输入到所述对话控制单元中。
图2A概念地示出了根据本发明的某些实施方式的系统,所述系统用于实时减少常规机动车驾驶员的分心。输入步骤201接收讲话音频和/或多模式输入到讲话和多模式理解单元203,所述单元203输出处理的使用者对话行为205到对话控制单元207中。作为响应,对话控制单元207输出系统对话行为209到讲话和多模式生成单元211中,以便生成讲话音频和/或多模式输出213。在这些实施方式中,一个或多个工作量参数221被输入到工作量估计单元223中,所述单元223输出工作量测量225到对话控制单元207中。响应于工作量的对话方针235可用于对话控制单元207,以便以适当的工作量降低系统对话行为209来响应高工作量情况。工作量估计可以根据下述因素预备-包括但不限于:诸如转向、制动和安全系统的车辆参数;诸如道路弯曲和交通量的道路状况;诸如下雨和有雾的天气状况;以及诸如眼、头和手运动的驾驶员特征。
根据本发明的某些实施方式,可以从下述因素获得工作量估计-包括但不限于:
车辆参数,例如:
转向,
制动,
安全系统,
道路状况,例如
道路弯曲或
交通量
天气状况,例如
大雨或
有雾
时间
驾驶员特征,例如下述器官的运动
头,和
手。
在本发明的另一个实施方式中,可以根据使用者模型来估计工作量。关于工作量估计的这些不同实施方式可以组合在一起或者独立使用。
本发明的进一步实施方式提供了将来工作量的估计,该估计可用于调节对话方针来减少将来的驾驶员分心。在这些实施方式中,工作量可以根据下述因素预测-包括但不限于:
道路状况
天气状况,以及
时间。
根据这些实施方式,如下面描述的,为了预备响应于工作量的对话方针235,驾驶员分心输入231被用作学习程序中的惩罚233。学习程序的输出用于形成对话方针235。对话方针235因此在学习程序(图2A中概念地示出为对话方针235的离线形成阶段236)与交互对话系统(图2A中概念地示出为对话方针235的对话时间应用237)之间进行桥接。
图2B概念地示出了根据本发明的某些实施方式的系统,所述系统用于减少自主机动车驾驶员对话时的无情形意识。如前所述,输入步骤201接收讲话音频和/或输入到讲话和多模式理解单元203,所述单元203输出处理的使用者对话行为205到对话控制单元207中。作为响应,对话控制单元207输出系统对话行为209到讲话和多模式生成单元211中,以便生成讲话音频和/或多模式输出213。在这些实施方式中,一个或多个预期工作量参数251被输入到预期工作量估计单元253中,所述单元253输出预期工作量测量255到对话控制单元207中。响应于预期工作量的对话方针285可用于对话控制单元207,以便以适当的工作量降低系统对话行为209来响应高的预期工作量情况。
预期工作量是驾驶员需要接管车辆时将承受的认知工作量。如果驾驶员参与自主对话,那么这可能影响情形意识-尤其是在高预期工作量的环境中。根据本发明的某些实施方式,预期工作量估计可以从下述因素获得-包括但不限于:
车辆参数,例如:
转向,
制动,
安全系统
道路状况,例如
道路弯曲或
交通量
天气状况,例如
大雨或
有雾
时间。
根据这些实施方式,预期工作量的预测可用于调节对话方针来增加将来的情形意识,并且预期工作量可根据下述因素预测-包括但不限于:
道路状况
天气状况,以及
时间。
根据这些实施方式,如下面描述的,为了预备响应于预期工作量的对话方针285,驾驶员无情形意识输入281被用作学习程序中的惩罚283。学习程序的输出用于形成对话方针285。对话方针285因此在学习程序(图2B中概念地示出为对话方针235的离线形成阶段286)与交互对话系统(图2B中概念地示出为对话方针285的对话时间应用287)之间进行桥接。
图3A概念地示出了根据本发明的某些实施方式的系统,所述系统用于减少驾驶员分心的离线方针学习。使用者对话行为301被输入到使用者模型303,所述使用者模型303的输出是一组信条305,所述信条305用作到响应于工作量的对话方针235的输入,所述对话方针235是通过离线方针学习程序307形成的。通过该程序发展的新方针因此对所述信条敏感。如还在图2A中示出的,方针235用于管理对话控制单元207,以便响应于所述信条以及工作量估计225来输出系统对话行为209。
方针学习程序307从具有回报/惩罚331输入的交互作用记录309接收输入,以便引导学习程序形成满足减少驾驶员分心的期望目标的方针。到回报/惩罚331的输入包括根据驾驶员分心评估321的惩罚。驾驶员分心评估321可以从驾驶员分心的主观感受来获得。因为学习程序离线进行,所以可以在车辆或车辆模拟器中驾驶时间完成之后获得驾驶员评估,在所述车辆或车辆模拟器中获得记录在交互作用记录309中的对话。根据本发明的各种实施方式,用于方针学习的离线程序在实验室中进行,对于所述离线程序回报也是离线分配的。在其他实施方式中,方针学习以下述方式进行:在车辆本身中,或者在车辆之外的服务器中-例如在排定时间,或者在自动测量回报的情况下在对话记录中记录了足够的对话之后。
除了来自驾驶员的直接反馈,可以使用驾驶员交互作用的视觉检测和/或性能指标-例如给定与引导车辆的测量车间距离的制动响应时间以及驾驶员头和眼运动的观察。驾驶员反馈通常限于离线有效性,但是自主评估可以在驾驶时间期间实时完成。除了涉及分心惩罚的驾驶员分心评估321,可以使用其他对话指标323-它们中的某些可涉及回报。
以类似方式,图3B概念地示出了根据本发明的某些实施方式的系统,所述系统用于减少自主车辆驾驶员无情形意识的离线方针学习。使用者对话行为301被输入到使用者模型303,所述使用者模型303的输出是一组信条305,所述信条305用作到响应于预期工作量的对话方针285的输入,所述对话方针285是通过离线方针学习程序307形成的。如还在图2B中示出的,方针285用于管理对话控制单元207,以便响应于预期工作量估计255来输出系统对话行为209。也以类似方式,回报/惩罚343从驾驶员无情形意识评估331接收输入。
根据本发明的某些实施方式,驾驶员情形意识的对话时间测量允许方针学习,并且驾驶员情形意识可以下述方式获得-包括但不限于:
作为来自驾驶员的反馈;
通过驾驶员交互作用的视觉检测;以及
通过测量驾驶员眼和头的运动,例如
驾驶员的眼关注道路意味着高的驾驶员情形意识;但是
驾驶员的眼关注道路之外的其他位置意味着低的驾驶员情形意识。
自主车辆中的驾驶模式
具有两种用于操作自主车辆的模式:自主模式,其中一个或多个自主系统控制相应的车辆操作功能;以及驾驶员控制模式,其中驾驶员承担车辆的控制。自主控制可以是车辆操作功能的部分控制,所述自主控制的非限制性示例是车辆中的自动巡航控制。根据本发明的某些实施方式,自主车辆中的自动对话系统应当能够操纵这两种模式之间的切换。根据本发明的实施方式,这是通过在两种适当的对话方针之间切换来完成的;在这种实施方式中,学习阶段方针参数是独立发展的,并且在对话时间选定与驾驶模式一致的适当方针。在本发明的另一个实施方式中,具有支持两种模式的组合对话方针,并且在对话时间所述模式与工作量估计和预期工作量估计以及与驾驶员分心的惩罚和驾驶员无情形意识的惩罚一起输入给所述方针。
方法
图4A是根据本发明的某些实施方式的方法的流程图,所述方法用于减少驾驶员在对话期间的分心。
在步骤401,接收驾驶员工作量参数403。随后,在步骤405,根据响应于工作量的对话方针235执行系统对话回合407。根据这些实施方式,系统对话回合407包括减少工作量的对话行为409和/或具有减少工作量的修改411的常规系统对话回合。
以类似方式,图4B是根据本发明的其他实施方式的方法的流程图,所述方法用于减少自主车辆中的驾驶员在对话期间的无情形意识。
在步骤421,接收驾驶员预期工作量参数423。随后,在步骤425,根据响应于预期工作量的对话方针285执行系统对话回合427。根据这些实施方式,系统对话回合427包括减少预期工作量的对话行为429和/或具有减少预期工作量的修改431的常规系统对话回合。
根据上面的实施方式,减少工作量和减少预期工作量的对话回合可具有下述特征-包括但不限于:暂停或建议暂停(见下面);对话的终止以及建议终止对话。减少工作量和减少预期工作量的修改可具有下述特征-包括但不限于:将对话回合分解成更简单的句子;顺序地而非一起给出备选方案;以及以回答“是-否”的响应来构建问题;讲话模式比触觉和视觉模式更优选(见下面)。
本发明的某些实施方式提供了根据使用者参与程度按如下方式排列暂停操作和终止操作的范围(它们可被系统选定):
在具有或不具有提示的情况下暂停,直到工作量减少:
在暂停之前提示使用者并且给使用者有限的时间来取消暂停;
建议暂停作为使用者的选择;
根据使用者的请求暂停;
暂停直到给出其他指示;以及
终止对话
在终止之前提示使用者并且给使用者有限的时间来取消终止;
建议终止与使用者的对话
在使用者请求时终止。
根据本发明的相关实施方式,暂停对话与终止对话之间的差异在于:暂停的对话可以在对话暂停点之后晚些时候被恢复,然而终止的对话已停止并且可能不会恢复(但是可以再次启动)。术语“中止”在此指代已通过暂停或终止而中断的对话。中止的对话是否可在随后恢复取决于所述对话是暂停还是终止,但是在对话暂停或终止的情形中,所述对话在中止起作用的时间被中断。
图5是根据本发明的特定实施方式的方法的流程图。在步骤501,接收到危险警报503。危险警报503可以是通过各种当前已知的方法发送的信号-包括但不限于:通过车载雷达系统检测到前方危险;以及来自导航系统的基于供应到所述导航系统的道路状况信息的危险通知。在相关实施方式中,危险警报包括在所述车辆前面的另一车辆的制动状况的警报。在步骤505,响应于危险警报503,对话通过立即对话中止行为507来立即中止。
图5所示的方法也可认为是图4A所示方法的特殊情形,其中使用者工作量参数403包括已经检测到危险的危险警报503,并且系统对话回合407包括立即对话中止行为507。在这种情形中,立即对话中止行为507包括在减少工作量的对话行为409中或者包括在减少工作量的对话修改411中。在相关实施方式中,工作量估计223(图2A)包括危险警报503。在另一相关实施方式中,工作量估计223包括立即对话中止行为507。
图5所示的方法可另外认为是图4B所示方法的特殊情形,其中使用者预期工作量参数423包括已经检测到危险的危险警报503,并且系统对话回合427包括立即对话中止行为507。在这种情形中,立即对话中止行为507包括在减少预期工作量的对话行为429中或者包括在减少预期工作量的对话修改431中。在相关实施方式中,预期工作量估计253(图2B)包括危险警报503。在另一相关实施方式中,预期工作量估计253包括立即对话中止行为507。
根据本发明的实施方式,对话可以通过下述步骤中一个或多个来简化:
将信息的复合请求分解成独立的单个信息项的请求;
在连续句子而非总共在单个句子中独立给出备选方案;以及
给出低水平或者是/否回答形式的问题。
根据本发明的其他实施方式,即将增加的工作量的预测可触发对话的加速。例如,如果驾驶员接近交通拥堵的区域或者其他异常驾驶状况,那么自动对话系统可接收工作量将很快增加的预测,并且可以决定加速正在进行的对话以便所述对话将在工作量增加之前完成。对话可以通过下面步骤中的一个或多个来加速:
通过将信息聚集在几个提示中来减少提示的次数;
视觉地而非听觉地给出信息;以及
使用隐含的确认而非明确的确认。例如,如果驾驶员请求关于附近中国餐馆的信息,那么对话系统可以隐含的确认来应答-例如“你想寻找什么价位的中国餐馆”,而不是首先明确的确认询问请求是关于中国餐馆的。
计算机产品
根据上面方法实施方式的计算机产品包括一组可执行命令以便在计算机上执行上面方法中的一个或两个,其中所述可执行命令包含在实体计算机可读非临时性数据存储介质内-包括但不限于:诸如磁介质或光学介质的计算机介质;计算机存储器;半导体存储装置;闪存存储装置;数据存储装置和硬件部件;以及远程计算机或通讯网络的实体非临时性存储装置;使得当执行计算机产品的可执行命令时,所述计算机产品使计算机执行上面方法中的一个或两个。
在这些实施方式中,“计算机”是用于执行一组可执行命令以执行本发明的方法的任何数据处理装置-包括但不限于:个人电脑;工作站;服务器;网间连接装置;路由器;多路调节器;多路解调器;调制器;解调器;开口;网络;处理器;控制器;数字设备,平板电脑;移动装置,移动电话;能够执行所述命令的任何其他装置。
虽然在此已示出和描述了本发明的某些特征,但是所属领域技术人员将会想到许多变型、替换、改变和等同体。因此,应当理解的是,所附权利要求应覆盖落入本发明的真实精神内的所有这些改型和变化。

Claims (18)

1.一种用于减少与跟自动对话系统的交互作用相关的使用者分心的方法,所述方法包括:
通过处理器接收使用者工作量参数;
响应于所述使用者工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的对话改型来改进的常规对话行为;
检测用于多个对话的使用者分心水平;
响应于所述检测使用者分心水平来计算惩罚值以便根据至少所述多个对话中的一个对话的使用者分心水平来评估对话质量;
将所述惩罚值存储在包括多个对话的数据库中;以及
根据所述数据库计算用于自动对话系统的控制器的对话方针。
2.如权利要求1所述的方法,其中所述减少工作量的对话行为包括从下述各项组成的集合中选出的行为:
对话暂停;
建议对话暂停;
对话终止;
建议对话终止。
3.如权利要求2所述的方法,进一步包括根据使用者参与程度来排列暂停操作选项和终止操作选项的范围。
4.如权利要求1所述的方法,其中所述减少工作量的对话改型包括从下述各项组成的集合中选出的对话改型:
切换到声音模式;
将复合提示分解成项;
改变到是/否提示;以及
加速对话。
5.如权利要求4所述的方法,其中所述加速对话行为响应于预测的工作量增加而进行。
6.如权利要求1所述的方法,其中所述使用者工作量参数包括车辆前面的危险的危险警报,并且其中所述工作量减少行为或者所述工作量减少对话改型中的至少一个包括立即中止对话。
7.如权利要求6所述的方法,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
8.一种用于减少与自动对话系统相关的使用者无情形意识的方法,所述方法包括:
通过处理器接收使用者预期工作量参数;
响应于所述使用者预期工作量参数来控制所述自动对话系统以便执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的改型来改进的常规对话行为;
检测用于存储在数据库中的多个对话的使用者无情形意识水平;
响应于所述检测使用者无情形意识水平来计算惩罚值以便根据至少使用者情形意识来评估对话质量;以及
根据所述数据库计算用于自动对话系统的控制器的对话方针。
9.如权利要求8所述的方法,其中所述减少工作量的对话行为包括从下述各项组成的集合中选出的行为:
对话暂停;
建议对话暂停;
对话终止;
建议对话终止。
10.如权利要求9所述的方法,进一步包括根据使用者参与程度来排列暂停操作选项和终止操作选项的范围。
11.如权利要求6所述的方法,其中所述减少工作量的对话改型包括从下述各项组成的集合中选出的对话改型:
切换到声音模式;
将复合提示分解成项;
改变到是/否提示;以及
加速对话。
12.如权利要求11所述的方法,其中所述加速对话行为响应于预测的预期工作量增加而进行。
13.一种用于减少与跟自动对话的交互作用相关的使用者分心的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
工作量估计单元,其能够:
接收指示使用者工作量的工作量参数
计算工作量估计值;
将所述工作量估计值输入到所述对话控制单元中;
执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的对话改型来改进的常规对话行为;
检测用于多个对话的使用者分心水平;
响应于所述检测使用者分心水平来计算惩罚值以便根据至少所述多个对话中的一个对话的使用者分心水平来评估对话质量;
将所述惩罚值存储在包括多个对话的数据库中;以及
根据所述数据库计算用于自动对话系统的控制器的对话方针。
14.如权利要求13所述的对话系统,其中所述工作量参数包括车辆前面的危险的危险警报,并且其中所述工作量估计值包括所述危险警报。
15.如权利要求14所述的对话系统,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
16.一种用于减少与跟自动对话的交互作用相关的使用者无情形意识的对话系统,所述系统包括:
对话控制单元;
含有对话方针的存储装置;
预期工作量估计单元,其能够:
接收指示预期使用者工作量的预期工作量参数;
计算预期工作量估计值;
将所述预期工作量估计值输入到所述对话控制单元中;
执行系统对话回合,所述系统对话回合减少与跟所述自动对话系统的交互作用相关的使用者工作量,其中所述系统对话回合包括从下述各项组成的集合中选出的对话行为:
减少工作量的对话行为;以及
通过减少工作量的对话改型来改进的常规对话行为;
检测用于存储在数据库中的多个对话的使用者无情形意识水平;
响应于所述检测使用者无情形意识水平来计算惩罚值以便根据至少使用者情形意识来评估对话质量;以及
根据所述数据库计算用于对话控制单元的对话方针。
17.如权利要求16所述的对话系统,其中所述预期工作量参数包括车辆前面的危险的危险警报,并且其中所述预期工作量估计值包括所述危险警报。
18.如权利要求17所述的对话系统,其中所述危险警报包括在所述车辆前面的另一车辆的制动状况的警报。
CN201310205477.9A 2012-05-29 2013-05-29 减少驾驶员口语对话期间的分心 Expired - Fee Related CN103454930B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261652600P 2012-05-29 2012-05-29
US61/652,600 2012-05-29
US61/652600 2012-05-29
US13/893,433 US9251704B2 (en) 2012-05-29 2013-05-14 Reducing driver distraction in spoken dialogue
US13/893433 2013-05-14
US13/893,433 2013-05-14

Publications (2)

Publication Number Publication Date
CN103454930A CN103454930A (zh) 2013-12-18
CN103454930B true CN103454930B (zh) 2016-08-10

Family

ID=49669534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310205477.9A Expired - Fee Related CN103454930B (zh) 2012-05-29 2013-05-29 减少驾驶员口语对话期间的分心

Country Status (2)

Country Link
US (2) US9251704B2 (zh)
CN (1) CN103454930B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418674B2 (en) * 2012-01-17 2016-08-16 GM Global Technology Operations LLC Method and system for using vehicle sound information to enhance audio prompting
JP6515764B2 (ja) 2015-09-28 2019-05-22 株式会社デンソー 対話装置及び対話方法
US20170221480A1 (en) * 2016-01-29 2017-08-03 GM Global Technology Operations LLC Speech recognition systems and methods for automated driving
US20170287476A1 (en) * 2016-03-31 2017-10-05 GM Global Technology Operations LLC Vehicle aware speech recognition systems and methods
JP2019535089A (ja) 2016-08-19 2019-12-05 マサチューセッツ インスティテュート オブ テクノロジー 視覚配分管理を提供するシステムおよび方法
EP3500466A2 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for using an attention buffer to improve resource allocation management
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
US10832148B2 (en) * 2016-12-07 2020-11-10 International Business Machines Corporation Cognitive dialog system for driving safety
GB2558671B (en) * 2017-01-17 2020-02-19 Jaguar Land Rover Ltd Communication control apparatus and method
CN112041910B (zh) * 2018-03-30 2023-08-18 索尼半导体解决方案公司 信息处理装置、移动设备、方法和程序
US11427216B2 (en) 2019-06-06 2022-08-30 GM Global Technology Operations LLC User activity-based customization of vehicle prompts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598018B1 (en) * 1999-12-15 2003-07-22 Matsushita Electric Industrial Co., Ltd. Method for natural dialog interface to car devices
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102047304A (zh) * 2008-08-05 2011-05-04 松下电器产业株式会社 驾驶注意力程度判定装置、方法以及程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365769B1 (en) * 2000-07-06 2008-04-29 Donald Mager Activating a vehicle's own brake lights and/or brakes when brake lights are sensed in front of the vehicle, including responsively to the proximity of, and/or rate of closure with, a forward vehicle
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
DE10342541A1 (de) 2003-09-15 2005-05-12 Daimler Chrysler Ag Arbeitsbelastungsabhängige Dialogführung
US8583439B1 (en) * 2004-01-12 2013-11-12 Verizon Services Corp. Enhanced interface for use with speech recognition
US7349782B2 (en) * 2004-02-29 2008-03-25 International Business Machines Corporation Driver safety manager
DE102004048013A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
DE102004051963A1 (de) * 2004-10-25 2006-05-04 Robert Bosch Gmbh Verfahren zur Fahrerunterstützung
US7831433B1 (en) * 2005-02-03 2010-11-09 Hrl Laboratories, Llc System and method for using context in navigation dialog
US7652583B2 (en) * 2007-03-20 2010-01-26 Deere & Company Method and system for maintaining operator alertness
US8022831B1 (en) * 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
US8260482B1 (en) * 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
DE102010049086A1 (de) * 2010-10-21 2012-04-26 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zum Beurteilen der Fahreraufmerksamkeit
US8902054B2 (en) * 2011-02-10 2014-12-02 Sitting Man, Llc Methods, systems, and computer program products for managing operation of a portable electronic device
US20130131907A1 (en) * 2011-11-17 2013-05-23 GM Global Technology Operations LLC System and method for managing misuse of autonomous driving
US20130325482A1 (en) 2012-05-29 2013-12-05 GM Global Technology Operations LLC Estimating congnitive-load in human-machine interaction
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US9530409B2 (en) * 2013-01-23 2016-12-27 Blackberry Limited Event-triggered hands-free multitasking for media playback
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598018B1 (en) * 1999-12-15 2003-07-22 Matsushita Electric Industrial Co., Ltd. Method for natural dialog interface to car devices
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN102047304A (zh) * 2008-08-05 2011-05-04 松下电器产业株式会社 驾驶注意力程度判定装置、方法以及程序
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序

Also Published As

Publication number Publication date
US9251704B2 (en) 2016-02-02
US20130321171A1 (en) 2013-12-05
US20160171888A1 (en) 2016-06-16
CN103454930A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN103454930B (zh) 减少驾驶员口语对话期间的分心
EP3675121B1 (en) Computer-implemented interaction with a user
Robinson et al. Operating platoons on public motorways: An introduction to the sartre platooning programme
Althoff et al. Model-based probabilistic collision detection in autonomous driving
CN109032116A (zh) 车辆故障处理方法、装置、设备及存储介质
CN112180921B (zh) 自动驾驶算法训练系统及方法
Albaba et al. Driver modeling through deep reinforcement learning and behavioral game theory
KR20140100629A (ko) 운전자 집중도 분석 장치 및 방법
WO2008053488A8 (en) Proactive system and method for monitoring and guidance of call center agent during the course of a call
Okamura et al. Empirical evaluations of framework for adaptive trust calibration in human-AI cooperation
CN111376253A (zh) 一种机器人路线规划方法、装置、机器人及安全管理
US20200365140A1 (en) Detection of anomalies in the interior of an autonomous vehicle
Hough et al. Investigating fluidity for human-robot interaction with real-time, real-world grounding strategies
Sabaliauskaite et al. Integrated safety and cybersecurity risk analysis of cooperative intelligent transport systems
Zhang et al. Human-machine interaction for autonomous vehicles: A review
Garikapati et al. Dynamic Control Limits Application Strategy For Safety-Critical Autonomy Features
Calvert et al. Considering knowledge gaps for automated driving in conventional traffic
CN112319505A (zh) 自动驾驶换道判断方法、装置、设备及存储介质
WO2023015900A1 (zh) 异常驾驶行为检测方法、装置、电子设备和存储介质
Abou Saleh et al. Modelling of robot attention demand in human-robot interaction using finite fuzzy state automata
CN109866781A (zh) 自动驾驶系统显示控制方法、装置、系统及可读存储介质
CN108733962A (zh) 一种无人车的拟人驾驶员控制模型的建立方法和系统
Heckmann et al. " Gap after the next two vehicles": A Spatio-temporally Situated Dialog for a Cooperative Driving Assistant
CN114466729A (zh) 用于远程控制机器人的方法
CN110610296A (zh) 任务分配方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20180529