CN114348000A - 驾驶员注意力管理系统和方法 - Google Patents
驾驶员注意力管理系统和方法 Download PDFInfo
- Publication number
- CN114348000A CN114348000A CN202210138613.6A CN202210138613A CN114348000A CN 114348000 A CN114348000 A CN 114348000A CN 202210138613 A CN202210138613 A CN 202210138613A CN 114348000 A CN114348000 A CN 114348000A
- Authority
- CN
- China
- Prior art keywords
- driver
- attention
- level
- discrete
- wake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 70
- 230000007474 system interaction Effects 0.000 claims abstract description 58
- 230000001815 facial effect Effects 0.000 claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 52
- 238000007726 management method Methods 0.000 claims description 50
- 230000000007 visual effect Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 8
- 230000002618 waking effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
提供了一种驾驶员注意力管理系统和方法。驾驶员注意力管理系统可以包括驾驶员监控模块、人机交互界面和注意力管理模块。驾驶员监控模块可以被配置成用于获取驾驶员的面部特征信息。人机交互界面可操作以用于提供系统交互激励。注意力管理模块可以被配置成用于基于面部特征信息、系统交互激励以及驾驶员针对系统交互激励的响应确定驾驶员的注意力等级。
Description
技术领域
本公开涉及智能驾驶领域,尤其涉及一种驾驶员注意力管理系统和方法。
背景技术
当前的高级驾驶员辅助系统(ADAS:Advanced Driver Assistance System)具有越来越强的能力。ADAS的设计致力于完全接管驾驶控制,但目前仍然无法完全承担驾驶控制的职责,在极端情况下仍需要驾驶员接管。取决于不同的驾驶场景,此类系统会在完全控制车辆与完全交出控制之间切换。这对于驾驶员在紧急情况下的体验与安全都是很难接受的,因为驾驶员的注意力可能已经从车辆控制完全转移。因此,从注意力管理的角度看,需要在ADAS主控的情况下保持相当程度的驾驶员注意力水平。在需要驾驶员接管的情况下通过辅助信息或提示来降低对驾驶员注意力的要求。
发明内容
本公开提供一种驾驶员注意力管理系统和方法,使得当车辆处于自主驾驶模式时也能保持驾驶员的注意力处于合理水平。
根据本公开的一个方面,驾驶员注意力管理系统可以包括驾驶员监控模块、人机交互界面和注意力管理模块。驾驶员监控模块可以被配置成用于获取驾驶员的面部特征信息。人机交互界面可操作以用于提供系统交互激励。注意力管理模块可以被配置成用于基于面部特征信息、系统交互激励以及驾驶员针对系统交互激励的响应确定驾驶员的注意力等级。
在一个可选实施例中,注意力管理模块可以包括离散时间序列生成部、相关度确定部和响应速度确定部。离散时间序列生成部可以被配置成用于分别生成面部特征信息、系统交互激励以及响应的离散时间序列。相关度确定部可以被配置成用于基于面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员的响应与系统交互激励的相关度。响应速度确定部可以被配置成用于基于面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员的响应相对于系统交互激励的响应速度。注意力等级确定部可以被配置成用于基于相关度以及响应速度确定驾驶员的注意力等级。
在一个可选实施例中,注意力管理模块可以还包括注意力保持部,被配置成用于基于由注意力等级确定部确定的注意力等级执行相应的唤醒动作。
在一个可选实施例中,注意力等级可以包括注意力水平递增的第一等级、第二等级和第三等级。第一等级可以对应于第一唤醒动作,第二等级可以对应于第二唤醒动作,并且第三等级可以对应于第三唤醒动作。
在一个可选实施例中,第一唤醒动作可以包括控制本车辆发出第一警报。
在一个可选实施例中,第二唤醒动作可以包括:致使人机交互界面发出视觉提示,视觉提示用于促使驾驶员针对视觉提示执行对应操作;以及响应于判断驾驶员针对视觉提示未执行对应操作,控制本车辆发出第二警报。
在一个可选实施例中,第三唤醒动作可以包括致使人机交互界面显示推送信息。
在一个可选实施例中,注意力管理模块可以进一步被配置成用于在本车辆处于自主驾驶状态时,确定驾驶员的注意力等级。
根据本公开的另一方面,驾驶员注意力管理方法可以包括:获取驾驶员的面部特征信息;以及基于面部特征信息、由人机交互界面提供的系统交互激励以及驾驶员针对系统交互激励的响应确定驾驶员的注意力等级。
在一个可选实施例中,确定驾驶员的注意力等级可以包括:分别生成面部特征信息、系统交互激励以及响应的离散时间序列;基于面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员的响应与系统交互激励的相关度;基于面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员的响应相对于系统交互激励的响应速度;以及基于相关度以及响应速度确定驾驶员的注意力等级。
在一个可选实施例中,可以还包括基于由注意力等级确定部确定的注意力等级执行相应的唤醒动作。
在一个可选实施例中,注意力等级可以包括注意力水平递增的第一等级、第二等级和第三等级。第一等级可以对应于第一唤醒动作,第二等级可以对应于第二唤醒动作,并且第三等级可以对应于第三唤醒动作。
在一个可选实施例中,第一唤醒动作可以包括控制本车辆发出第一警报。
在一个可选实施例中,第二唤醒动作可以包括:致使人机交互界面发出视觉提示,视觉提示用于促使驾驶员针对视觉提示执行对应操作;以及响应于判断驾驶员针对视觉提示未执行对应操作,控制本车辆发出第二警报。
在一个可选实施例中,第三唤醒动作可以包括致使人机交互界面显示推送信息。
在一个可选实施例中,可以在本车辆处于自主驾驶状态时,确定驾驶员的注意力等级。
根据本公开的又一方面,非瞬态计算机可读存储介质可以包括存储在其上的指令,指令在由处理器执行时,致使处理器执行上文所述的驾驶员注意力管理方法。
附图说明
附图一般通过示例的方式而不是限制的方式来图示在本文档中所讨论的各实施例。
图1图示出根据实施例的示例驾驶员注意力管理系统100的框图。
图2图示出根据实施例的示例注意力管理模块14的框图。
图3是根据本实施例的示例驾驶员注意力管理系统100所实现的驾驶员注意力转变过程的示意图。
图4是根据实施例的示例驾驶员注意力管理方法400的示意图。
图5是根据实施例的驾驶员注意力模型的示意图。
具体实施方式
在以下描述中,陈述了众多特定细节。然而,应当理解,可在没有这些特定细节的情况下实践本发明的实施例。在其他实例中,未详细示出公知的电路、结构和技术,以免使对本描述的理解模糊。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性,但是每个实施例不一定都包括该特定的特征、结构或特性。此外,此类短语不一定是指同一个实施例。此外,当结合实施例描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
如本文中所使用,术语模块可以包括封装功能硬件单元,该封装功能硬件单元被设计成用于与其他部件、可由控制器(例如,执行软件或固件的处理器)执行的一组指令、被配置成用于执行特定功能的处理电路、以及与更大的系统对接的自含式硬件或软件组件一起使用。例如,模块可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电路、数字逻辑电路、模拟电路、分立的电路、门、以及其他类型的硬件的组合或其组合。在其他实施例中,模块可以包括存储器,该存储器存储可由控制器执行以实现该模块的特征的指令。
目前,车辆中安装的ADAS(高级驾驶辅助系统)已经能够实现部分场景下的自主驾驶。ADAS例如包含自动巡航、自动制动、车道偏离预警、盲区监测和自动泊车辅助等功能,能为驾驶员提供诸多辅助功能。在众多驾驶场景(诸如高速公路自动巡航、自动跟车)下,可以接管对车辆的驾驶控制。然而,目前的ADAS或者类似的驾驶辅助系统只能在有限的情况下接管对车辆的控制。在其他情况下仍然需要切换到以手动驾驶为主的驾驶模式。然而,存在驾驶员因车辆驾驶被接管而完全分散注意力的担忧。若在该状态下将车辆控制交还给驾驶员,驾驶员可能来不及应对眼前的驾驶场景,从而导致事故发生率的上升。为此,本公开旨在缓解驾驶控制转移时产生的注意力落差,使驾驶员在自主驾驶的状态下保持所需程度的注意力水平,以便能在需要时顺利接管对车辆的控制。
图1图示出根据实施例的示例驾驶员注意力管理系统100的框图。驾驶员注意力管理系统100设置在本车辆1中,包括驾驶员监控模块12、注意力管理模块14和人机交互界面16。
驾驶员监控模块12获取驾驶员的面部特征信息。驾驶员监控模块12的一个示例是DMS(驾驶员监测系统)相机,其通常安装在驾驶员面部的前侧,例如中控台或仪表盘上。DMS相机通过对眼睛和面部的变化检测来获取驾驶员的面部特征信息。面部特征信息包括但不限于眼睑状态、点头动作、眼动、嘴部动作。基于这些面部特征信息可以初步生成姿态识别结果,诸如疲劳(打哈欠、闭眼)、打电话、分神驾驶(左顾右盼、低头)、抽烟、脱离驾驶视线等。
人机交互界面16用于显示信息,并可被控制以提供系统交互激励。人机交互界面16可以是中控台、仪表盘或者单独设置的显示器等。系统交互激励指示驾驶员执行相应的操作作为响应。系统交互激励的示例包括但不限于:显示推送信息(诸如消息、服务、提示框、按钮对话框等)、语音消息(诸如警报、要求驾驶员执行特定操作的语音提示灯)。系统交互激励以及驾驶员针对该系统交互激励所作的响应可以被分别采集。
注意力管理模块14基于来自驾驶员监控模块12的面部特征信息、由人机交互界面16提供的系统交互激励以及驾驶员针对系统交互激励做出的响应确定该驾驶员的注意力等级。
图2图示出根据实施例的示例注意力管理模块14的框图。在本实施例中,注意力管理模块14包括离散时间序列生成部141、相关度确定部142、响应速度确定部143、注意力等级确定部144和注意力保持部145。
离散时间序列生成部141分别生成面部特征信息、系统交互激励以及驾驶员针对系统交互激励做出的响应的离散时间序列。
相关度确定部142基于由离散时间序列生成部141生成的面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员响应与系统交互激励的相关度。系统交互激励可以根据各种交互功能的不同介入程度被赋予相应的计算赋值来形成上述系统交互激励的离散序列。驾驶员响应也根据驾驶员反应动作的形式与显著度被赋予计算赋值来形成驾驶员响应的离散时间序列。被计算赋值的驾驶员响应例如包括:驾驶操作反馈,人机接口操作反馈、姿体动作变化、视线变化等。驾驶员响应中的一部分可以从响应的离散时间序列获得,诸如姿体动作变化和视线变化。在获得系统交互激励的离散序列和驾驶员响应的离散序列后,可以通过下式(1)计算相关度。
其中,y(n)为截取的一段激励序列,长度为N,x(t)为连续响应序列。
响应速度确定部143基于由离散时间序列生成部141生成的面部特征信息的离散时间序列、系统交互激励的离散时间序列以及响应的离散时间序列来确定驾驶员响应相对于系统交互激励的响应速度。作为一个示例,可以计算相关度的峰值与系统交互激励序列的时间差。时间差越小,则响应速度越快。
注意力等级确定部144基于相关度确定部142确定的相关度和响应速度确定部143确定的响应速度来确定驾驶员的注意力等级。在本实施例中,注意力等级确定部144可以对相关度和响应速度进行加权求和来计算注意力评分,并基于注意力评分确定驾驶员的注意力等级。
注意力保持部145基于由注意力等级确定部144确定的注意力等级执行相应的唤醒动作,以便提供驾驶员的注意力等级并保持在一定水平。注意力等级可以按照注意力水平来区分。根据不同水平的注意力等级,可以选择相应强度的唤醒动作。唤醒动作包括各种能够引起驾驶员注意的手段,例如可以采用语音、振动、视觉提醒等方式。对于最低的注意力等级,可以采用最强的唤醒动作。相反,当注意力等级较高时,可以采用更温和的唤醒动作。当注意力等级上升到设计最高等级时,执行唤醒动作的目的在于维持驾驶员处于该注意力等级。
在一个示例实施例中,注意力等级例如可以被分为三个等级。第一等级的注意力最弱。此时驾驶员可能处于瞌睡状态,对于人机交互界面16提供的系统交互激励无法做出响应,或者响应很慢,导致驾驶员响应与系统交互激励的相关度以及驾驶员响应相对于系统交互激励的响应速度均较低。此时,驾驶员的注意力可能已经完全从车辆驾驶转移,需要尽快将驾驶员的一部分注意力吸引到车辆驾驶上。
由于处于第一注意力等级的驾驶员可能已经不再关注人机交互界面16,因此注意力保持部145可以执行强度最高的第一唤醒动作。作为第一唤醒动作的一个示例,例如可以致使本车辆1直接发出强警报(本文中也称为第一警报)。强警报例如可以经由车载扬声器发出,也可以通过驾驶座振动或其他方式来实现,目的在于使驾驶员的注意力重新回到人机交互界面16。在一些实施例中,扬声器发出的警报可以含有语音指示以促使驾驶员观察人机交互界面16。
当驾驶员的注意力回到人机交互界面16后,注意力等级确定部144实时确定的注意力等级可以上升到高于第一等级的第二等级或者更高的第三等级。当驾驶员注意力等级处于第二等级时,注意力保持部145可以执行第二唤醒动作。由于此时驾驶员的注意力等级高于第一等级,因此第二唤醒动作的强度可以低于第一唤醒动作。作为一个示例,人机交互界面16此时可以发出视觉提示作为系统交互激励。视觉提示包括但不限于颜色变换、闪烁等。在人机交互界面16采用多层显示器的情况下,视觉提示可以是图像在不同深度的显示层之间的来回跳动。如果驾驶员对于该视觉提示的响应(例如眼动)良好,则计算出的驾驶员响应与系统交互激励的相关度较高,响应速度也较快,可以确定该驾驶员的注意力等级为注意力最高的第三等级。
此时,注意力保持部145可以执行第三唤醒动作来维持驾驶员的注意力等级。例如,注意力保持部145可以致使人机交互界面16推送信息来保持驾驶员的注意力。推送的信息可以不是与驾驶、安全相关的信息,例如可以是娱乐信息。推送的信息本身也可以作为系统交互激励。驾驶员的眼睑状态、眼动等可以作为相应的响应。因此,在推送信息的状态下也能继续监测驾驶员的注意力等级。
然而,当驾驶员的注意力回到人机交互界面16后,驾驶员可能仍然没有达到足够的注意力等级。例如,驾驶员可能处于分心状态,仅仅是面部朝向了人机交互界面16,并没有实质性关注人机交互界面16的内容,因而对于人机交互界面16提供的视觉提示没有响应。此时,作为第二唤醒动作的延续,注意力保持部145例如可以致使本车辆1发出警报(本文中也称为第二警报),直到驾驶员针对视觉提示做出了相应的响应。由于该场景驾驶员的注意力等级高于第一等级,因此第二警报的强度可以弱于上文描述的第一警报。
图3是根据本实施例的示例驾驶员注意力管理系统100所实现的驾驶员注意力转变过程的示意图。
如上所述,当驾驶员的注意力处于最低的第一等级时,其注意力已经脱离人机交互界面16。因此通过强度较高的第一唤醒动作(例如第一警报)使驾驶员重新关注人机交互界面16。在驾驶员的视线重新回到人机交互界面16后,可以利用第二唤醒动作(例如视觉提示和第二警报)来进一步提高驾驶员的注意力等级。当驾驶员的注意力等级提高到第三等级后,可以利用第三唤醒动作(例如推送信息)来使驾驶员的注意力保持在第三等级。由此,当出现需要切换为手动驾驶的情况时,不会对驾驶员增加过多的注意力负担,使得驾驶员能快速适应对车辆的控制。
图4是根据实施例的示例驾驶员注意力管理方法400的示意图。当车辆处于自主驾驶状态下时,执行该方法400。
如图4所示,在步骤401中,利用驾驶员监控模块12(例如DMS)实时获取驾驶员的面部特征信息,并将其发送到注意力管理模块14。面部特征信息例如是眼睑状态、点头动作、眼动、嘴部动作等。
在步骤402中,注意力管理模块14基于来自驾驶员监控模块12的面部特征信息、由人机交互界面16提供的系统交互激励以及驾驶员针对系统交互激励做出的响应确定该驾驶员的注意力等级。
根据注意力管理模块14确定的注意力等级,可以采用执行相应的唤醒动作。
例如,若在步骤402中确定驾驶员的注意力等级为最低的第一等级,则在步骤403中,注意力保持部145可以执行强度最高的第一唤醒动作。例如,注意力保持部145可以致使本车辆1直接发出强警报。然后,驾驶员监控模块12继续驾驶员的面部特征信息,注意力管理模块14继续确定驾驶员的注意力等级。
若在步骤402中确定驾驶员的注意力等级为高于第一等级的第二等级,则注意力保持部145可以执行强度低于第一唤醒动作的第二唤醒动作。例如,注意力保持部145可以在步骤404中致使人机交互界面16发出视觉提示。视觉提示例如是呈现颜色变换、闪烁等。若驾驶员对于该视觉提示没有做出响应,诸如响应的眼动(步骤406中为否),则注意力保持部145可以在步骤407中致使本车辆1发出第二警报。与第一警报相比,第二警报的强度可以稍弱,因为驾驶员的注意力等级高于第一等级。若驾驶员对于步骤404中由人机交互界面16发出的视觉提示响应良好(步骤406中为是),则回到步骤401。此时,通过步骤401和步骤402可以确定驾驶员的注意力等级处于更高的第三等级,然后进入步骤405。
在步骤405中,由于驾驶员处于最高的第三等级,能够随时接手对本车辆1的控制,因此注意力保持部145可以通过执行第三唤醒动作405来维持该驾驶员的注意力等级。例如,注意力保持部145可以致使人机交互界面16推送信息来保持驾驶员的注意力。推送的信息可以不是与驾驶、安全相关的信息,例如可以是娱乐信息。之后,过程回到步骤401。
应理解,上文描述的实施例中将驾驶员注意力等级分为三个等级并采用三种唤醒动作仅仅为一个示例。可以根据需要进行进一步细分或者仅分为两个等级。唤醒动作也不限于上文描述的示例,可以采用其他能引起驾驶员注意的方式。此外,注意力等级与唤醒动作也可以不是一一对应的关系。例如,多个注意力等级可以对应于同一种唤醒动作。只要能通过唤醒动作提高驾驶员的注意力等级并保持在一定水平,注意力等级与唤醒动作的对应关系可以任意设计。
图5是根据实施例的驾驶员注意力模型的示意图。如图5中的(a)部分所示,对于传统的ADAS,在通过ADAS进行自主驾驶时,机器控制承担控制车辆所需的全部控制等级,包括驾驶和安全两方面。此时,驾驶员对于车辆驾驶的注意力非常有限,即使将对诸如娱乐信息之类的注意力(图中的“其它”)考虑在内,所占的比重也很小。一旦需要切换到手动驾驶,如(b)所示,机器控制将仅承担车辆安全的职责,对车辆的控制将交还给驾驶员。通过比较(a)和(b)两部分左侧的矩形段可知,此时,对驾驶员的注意力要求会显著提升。在一些实施例中,在人工主控车辆时,机器控制可以提供一定的操控辅助(如(d)部分右侧的“驾驶”所示)以减轻驾驶员的注意力负担,如(d)部分所示。此时,驾驶员用于操控本车辆1的注意力((d)部分左侧)与自主模式((c)部分左侧)相比没有显著增加,只需要将对于诸如娱乐信息的注意力(如(c)部分左侧的“其它”所示)转移到对车辆的驾驶上即可。
相比之下,若采用本公开的基于注意力管理的控制,则即便在自主驾驶时,也能通过上文描述的方法将驾驶员的注意力保持在一定水平,如(c)部分的虚线框所示。而且,通过利用娱乐信息之类的推送信息维持驾驶员注意力,不会使驾驶员觉得过于沉闷或者疲倦。当需要切换到手动驾驶时,驾驶员能够迅速将注意力切换到车辆驾驶,且不会有过多注意力负担的增加,如(d)部分所示。
至少一个实施例的一个或多个方面可由存储在机器可读介质上的表示处理器中的各种逻辑的表示性指令来实现,该表示性指令在由机器读取时使得该机器制造用于执行本文中所描述的技术的逻辑。
此类机器可读存储介质可以包括但不限于通过机器或设备制造或形成的物品的非暂态的有形安排,其包括存储介质,诸如:硬盘;任何其他类型的盘,包括软盘、光盘、只读光盘存储器(CD-ROM)、可读写光盘存储器(CD-RW)以及磁光盘;半导体器件,诸如只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)之类的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM);相变存储器(PCM);磁卡或光卡;或适于存储电子指令的任何其他类型的介质。
以上详细描述了本发明的优选实施方式。但应当理解为本发明在不脱离其广义精神和范围的情况下可以采用各种实施方式及变形。本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本领域技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应属于由本发明的权利要求书所确定的保护范围内。
Claims (17)
1.一种驾驶员注意力管理系统,包括:
驾驶员监控模块,被配置成用于获取驾驶员的面部特征信息;
人机交互界面,可操作以用于提供系统交互激励;以及
注意力管理模块,被配置成用于基于所述面部特征信息、所述系统交互激励以及所述驾驶员针对所述系统交互激励的响应确定所述驾驶员的注意力等级。
2.如权利要求1所述的驾驶员注意力管理系统,其特征在于,所述注意力管理模块包括:
离散时间序列生成部,被配置成用于分别生成所述面部特征信息、所述系统交互激励以及所述响应的离散时间序列;
相关度确定部,被配置成用于基于所述面部特征信息的离散时间序列、所述系统交互激励的离散时间序列以及所述响应的离散时间序列来确定所述驾驶员的响应与所述系统交互激励的相关度;
响应速度确定部,被配置成用于基于所述面部特征信息的离散时间序列、所述系统交互激励的离散时间序列以及所述响应的离散时间序列来确定所述驾驶员的响应相对于所述系统交互激励的响应速度;以及
注意力等级确定部,被配置成用于基于所述相关度以及所述响应速度确定所述驾驶员的注意力等级。
3.如权利要求1所述的驾驶员注意力管理系统,其特征在于,所述注意力管理模块还包括:
注意力保持部,被配置成用于基于由所述注意力等级确定部确定的注意力等级执行相应的唤醒动作。
4.如权利要求3所述的驾驶员注意力管理系统,其特征在于,所述注意力等级包括注意力水平递增的第一等级、第二等级和第三等级,
所述第一等级对应于第一唤醒动作,
所述第二等级对应于第二唤醒动作,并且
所述第三等级对应于第三唤醒动作。
5.如权利要求4所述的驾驶员注意力管理系统,其特征在于,所述第一唤醒动作包括控制本车辆发出第一警报。
6.如权利要求4所述的驾驶员注意力管理系统,其特征在于,所述第二唤醒动作包括:
致使所述人机交互界面发出视觉提示,所述视觉提示用于促使所述驾驶员针对所述视觉提示执行对应操作;以及
响应于判断所述驾驶员针对所述视觉提示未执行所述对应操作,控制本车辆发出第二警报。
7.如权利要求4所述的驾驶员注意力管理系统,其特征在于,所述第三唤醒动作包括致使所述人机交互界面显示推送信息。
8.如权利要求1至7中任一项所述的驾驶员注意力管理系统,其特征在于,
所述注意力管理模块进一步被配置成用于在本车辆处于自主驾驶状态时,确定所述驾驶员的注意力等级。
9.一种驾驶员注意力管理方法,包括:
获取驾驶员的面部特征信息;以及
基于所述面部特征信息、由人机交互界面提供的系统交互激励以及所述驾驶员针对所述系统交互激励的响应确定所述驾驶员的注意力等级。
10.如权利要求9所述的驾驶员注意力管理方法,其特征在于,确定所述驾驶员的注意力等级包括:
分别生成所述面部特征信息、所述系统交互激励以及所述响应的离散时间序列;
基于所述面部特征信息的离散时间序列、所述系统交互激励的离散时间序列以及所述响应的离散时间序列来确定所述驾驶员的响应与所述系统交互激励的相关度;
基于所述面部特征信息的离散时间序列、所述系统交互激励的离散时间序列以及所述响应的离散时间序列来确定所述驾驶员的响应相对于所述系统交互激励的响应速度以及
基于所述相关度以及所述响应速度确定所述驾驶员的注意力等级。
11.如权利要求9所述的驾驶员注意力管理方法,还包括:
基于由所述注意力等级确定部确定的注意力等级执行相应的唤醒动作。
12.如权利要求11所述的驾驶员注意力管理方法,其特征在于,所述注意力等级包括注意力水平递增的第一等级、第二等级和第三等级,
所述第一等级对应于第一唤醒动作,
所述第二等级对应于第二唤醒动作,并且
所述第三等级对应于第三唤醒动作。
13.如权利要求12所述的驾驶员注意力管理方法,其特征在于,所述第一唤醒动作包括控制本车辆发出第一警报。
14.如权利要求12所述的驾驶员注意力管理方法,其特征在于,所述第二唤醒动作包括:
致使所述人机交互界面发出视觉提示,所述视觉提示用于促使所述驾驶员针对所述视觉提示执行对应操作;以及
响应于判断所述驾驶员针对所述视觉提示未执行所述对应操作,控制本车辆发出第二警报。
15.如权利要求12所述的驾驶员注意力管理方法,其特征在于,所述第三唤醒动作包括致使所述人机交互界面显示推送信息。
16.如权利要求9至15中任一项所述的驾驶员注意力管理方法,其特征在于,
在本车辆处于自主驾驶状态时,确定所述驾驶员的注意力等级。
17.一种非瞬态计算机可读存储介质,包括存储在其上的指令,所述指令在由处理器执行时,致使所述处理器执行如权利要求9-16中任一项所述的驾驶员注意力管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210138613.6A CN114348000A (zh) | 2022-02-15 | 2022-02-15 | 驾驶员注意力管理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210138613.6A CN114348000A (zh) | 2022-02-15 | 2022-02-15 | 驾驶员注意力管理系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114348000A true CN114348000A (zh) | 2022-04-15 |
Family
ID=81093585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210138613.6A Pending CN114348000A (zh) | 2022-02-15 | 2022-02-15 | 驾驶员注意力管理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114348000A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011081570A (ja) * | 2009-10-06 | 2011-04-21 | Toyota Motor Corp | ドライバー状態推定装置及びドライバー状態推定方法 |
CN103425239A (zh) * | 2012-05-21 | 2013-12-04 | 刘鸿达 | 以脸部表情为输入的控制系统 |
US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
WO2017029444A1 (fr) * | 2015-08-18 | 2017-02-23 | Renault S.A.S | Procédé de détermination d'un niveau d'attention d'un conducteur d'un véhicule automobile et méthode de stimulation de l'attention d'un conducteur d'un véhicule automobile |
JP2019053655A (ja) * | 2017-09-19 | 2019-04-04 | トヨタ自動車株式会社 | 自動運転システム |
CN110428838A (zh) * | 2019-08-01 | 2019-11-08 | 大众问问(北京)信息科技有限公司 | 一种语音信息识别方法、装置及设备 |
CN111145750A (zh) * | 2019-12-31 | 2020-05-12 | 威马智慧出行科技(上海)有限公司 | 车载智能语音设备的控制方法及装置 |
CN111737670A (zh) * | 2019-03-25 | 2020-10-02 | 广州汽车集团股份有限公司 | 多模态数据协同人机交互的方法、系统及车载多媒体装置 |
US10967871B1 (en) * | 2020-03-27 | 2021-04-06 | Harman International Industries, Incorporated | Automatically estimating skill levels and confidence levels of drivers |
-
2022
- 2022-02-15 CN CN202210138613.6A patent/CN114348000A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011081570A (ja) * | 2009-10-06 | 2011-04-21 | Toyota Motor Corp | ドライバー状態推定装置及びドライバー状態推定方法 |
CN103425239A (zh) * | 2012-05-21 | 2013-12-04 | 刘鸿达 | 以脸部表情为输入的控制系统 |
US20160267335A1 (en) * | 2015-03-13 | 2016-09-15 | Harman International Industries, Incorporated | Driver distraction detection system |
CN105966405A (zh) * | 2015-03-13 | 2016-09-28 | 哈曼国际工业有限公司 | 驾驶员分心检测系统 |
WO2017029444A1 (fr) * | 2015-08-18 | 2017-02-23 | Renault S.A.S | Procédé de détermination d'un niveau d'attention d'un conducteur d'un véhicule automobile et méthode de stimulation de l'attention d'un conducteur d'un véhicule automobile |
JP2019053655A (ja) * | 2017-09-19 | 2019-04-04 | トヨタ自動車株式会社 | 自動運転システム |
CN111737670A (zh) * | 2019-03-25 | 2020-10-02 | 广州汽车集团股份有限公司 | 多模态数据协同人机交互的方法、系统及车载多媒体装置 |
CN110428838A (zh) * | 2019-08-01 | 2019-11-08 | 大众问问(北京)信息科技有限公司 | 一种语音信息识别方法、装置及设备 |
CN111145750A (zh) * | 2019-12-31 | 2020-05-12 | 威马智慧出行科技(上海)有限公司 | 车载智能语音设备的控制方法及装置 |
US10967871B1 (en) * | 2020-03-27 | 2021-04-06 | Harman International Industries, Incorporated | Automatically estimating skill levels and confidence levels of drivers |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6508095B2 (ja) | 車両の自動運転制御システム | |
CN111163968B (zh) | 交通工具中的显示系统 | |
US20160358604A1 (en) | Method for recognizing a voice context for a voice control function, method for ascertaining a voice control signal for a voice control function, and apparatus for executing the method | |
JP6565408B2 (ja) | 車両制御装置及び車両制御方法 | |
US10338583B2 (en) | Driving assistance device | |
US20220340166A1 (en) | Presentation control device, presentation control program, and driving control device | |
CN107031651B (zh) | 驾驶辅助装置 | |
JP4941752B2 (ja) | 運転支援装置および方法、並びに、プログラム | |
US20120212353A1 (en) | System and Method for Responding to Driver Behavior | |
WO2019073708A1 (ja) | 車両用運転支援装置 | |
US10752172B2 (en) | System and method to control a vehicle interface for human perception optimization | |
US20180257565A1 (en) | Drive assist apparatus | |
CN109472253B (zh) | 行车安全智能提醒方法、装置、智能方向盘和智能手环 | |
CN106965813B (zh) | 驾驶辅助装置 | |
CN107010077B (zh) | 用于将信息传输给机动车的驾驶员的方法和适应性的驾驶员协助系统 | |
JP2019048524A (ja) | 車両の前照灯の制御装置 | |
JP2018008575A (ja) | 車両制御装置 | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
CN114348000A (zh) | 驾驶员注意力管理系统和方法 | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
WO2020079755A1 (ja) | 情報提供装置及び情報提供方法 | |
CN107031506B (zh) | 驾驶辅助装置 | |
JP5664202B2 (ja) | 運転支援装置 | |
JP7393739B2 (ja) | ドライバ状態推定装置 | |
JP7095337B2 (ja) | 表示制御装置および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |