CN110386146B - 用于处理驾驶员注意力数据的方法和系统 - Google Patents

用于处理驾驶员注意力数据的方法和系统 Download PDF

Info

Publication number
CN110386146B
CN110386146B CN201910261602.5A CN201910261602A CN110386146B CN 110386146 B CN110386146 B CN 110386146B CN 201910261602 A CN201910261602 A CN 201910261602A CN 110386146 B CN110386146 B CN 110386146B
Authority
CN
China
Prior art keywords
data
gaze
location
vehicle
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910261602.5A
Other languages
English (en)
Other versions
CN110386146A (zh
Inventor
U·P·穆达里格
D·K·格林姆
W·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110386146A publication Critical patent/CN110386146A/zh
Application granted granted Critical
Publication of CN110386146B publication Critical patent/CN110386146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于处理注意力数据的方法和系统。在一个实施例中，方法包括：由处理器接收与车辆的外部环境的至少一个对象相关联的对象数据；接收从所述车辆的规划路线确定的将做的行为数据；接收从所述车辆的乘员感测到的注视数据；由所述处理器处理所述对象数据、所述将做的行为数据和所述注视数据以确定与所述车辆的乘员的注意力相关联的注意力评分；以及由所述处理器选择性地产生信号，以进行通知所述乘员和基于所述注意力评分控制所述车辆中的至少一项。

Description

用于处理驾驶员注意力数据的方法和系统
引言
技术领域总体涉及用于处理与车辆驾驶员相关联的注意力数据的方法和系统，并且更具体地涉及用于使用车辆感知数据和行为规划数据来处理注意力数据的方法和系统。
注视检测系统通常包括一个或多个摄像机，所述摄像机指向个体的眼睛并且跟踪个体的眼睛的位置和注视的方向。车辆系统使用注视检测系统来检测驾驶员的注视方向。然后，驾驶员的注视方向用于检测驾驶员对其前方道路的注意力，或者驾驶员对车辆内部特征的总体注意力。
例如，一些车辆系统使用驾驶员的注视方向来确定驾驶员是否疏忽道路并且向驾驶员产生警告信号。在另一示例中，一些车辆系统确定驾驶员正在特定的车辆控制旋钮或开关的方向上看，并且可以基于该确定来控制该特定元件(例如，将其打开，等)。在每个示例中，车辆系统大体确定驾驶员正在看的位置，而不进行驾驶员正在看什么(即，什么吸引驾驶员的注意力)的确定。在诸如城市驾驶情况的某些驾驶情况下，驾驶员的注意力将基于当前驾驶情况。例如，如果车辆在停止标志处停止，则驾驶员可以向左看，然后向右看。在另一示例中，如果车辆将要转弯，则驾驶员的注意力将在将要转弯的方向上。
因此，期望提供基于驾驶情况检测驾驶员的注意力的改进的方法和系统。此外，期望提供利用从检测到的驾驶员对特定点或对象的注意力确定的信息的方法和系统。此外，结合附图以及前述技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其它期望特征和特性将变得显而易见。
发明内容
提供了用于处理注意力数据的方法和系统。在一个实施例中，方法包括：由处理器接收与车辆的外部环境的至少一个对象相关联的对象数据；接收从所述车辆的规划路线确定的将做的行为数据；接收从所述车辆的乘员感测到的注视数据；由所述处理器处理所述对象数据、所述将做的行为数据和所述注视数据以确定与所述车辆的乘员的注意力相关联的注意力评分；以及由所述处理器选择性地产生信号，以进行通知所述乘员和基于所述注意力评分控制所述车辆中的至少一项。
在各种实施例中，该处理包括根据对象数据计算对象位置，根据注视数据计算注视位置，根据将做的行为数据计算将做的行为位置，以及基于注视位置、对象位置和将做的行为位置计算注意力评分。
在各种实施例中，计算注意力评分包括计算对象位置和注视位置之间的匹配水平。在各种实施例中，计算注意力评分还包括将加权因子应用于匹配水平。在各种实施例中，基于匹配的持续时间来计算匹配水平。在各种实施例中，基于匹配的广度来计算匹配水平。在各种实施例中，基于环境情况动态地确定加权因子。
在各种实施例中，基于驾驶场景动态地确定加权因子。在各种实施例中，计算注意力评分包括计算将做的行为位置和注视位置之间的匹配水平。在各种实施例中，计算注意力评分还包括将加权因子应用于匹配水平。
在各种实施例中，基于匹配的持续时间来计算匹配水平。在各种实施例中，基于匹配的广度来计算匹配水平。
在各种实施例中，该方法还包括基于注视位置和注意力分散区域之间的匹配来确定注意力分散水平，并且其中还基于注意力分散水平来确定注意力评分。
在各种实施例中，该方法还包括将加权因子应用于注意力分散水平，并且其中注意力评分还基于加权的注意力分散水平。在各种实施例中，基于环境情况动态地确定加权因子。在各种实施例中，基于驾驶场景动态地确定加权因子。
在各种实施例中，该方法进一步包括从处于同一位置的其他车辆的乘员接收注视数据；基于来自其他车辆的乘员的注视数据确定一般注视方向。处理对象数据、将做的行为数据和注视数据以确定注意力评分还包括：处理对象数据、将做的行为数据、来自乘员的注视数据和一般注视方向以确定与车辆乘员的注意力相关联的注意力评分。
在另一实施例中，一种处理注意力数据的系统包括：第一非瞬态模块，其由处理器处理与车辆的外部环境的至少一个对象相关联的对象数据以确定对象位置；第二非瞬态模块，其由处理器处理从所述车辆的规划路线确定的将做的行为数据以确定将做的行为位置；第三非瞬态模块，其由处理器处理从所述车辆的乘员感测到的注视数据以确定注视位置；第四非瞬态模块，其由处理器处理对象位置、将做的行为位置和注视位置以确定与所述车辆的乘员的注意力相关联的注意力评分；以及第五非瞬态模块，其由处理器选择性地产生信号，以进行通知所述乘员和基于所述注意力评分控制所述车辆中的至少一项。
在各种实施例中，第四非瞬态模块基于对象位置和注视位置之间的匹配水平以及将做的行为位置和注视位置之间的匹配水平来计算注意力评分。在各种实施例中，第四非瞬态模块基于应用于对象位置和注视位置之间的匹配水平的加权因子以及应用于将做的行为位置和注视位置之间的匹配水平的加权因子来计算注意力评分。
附图说明
以下将结合以下附图描述示例性实施例，其中相同的数字表示相同的元件，并且其中：
图1是根据各种实施例包括车辆的驾驶员注意力检测系统的车辆的功能框图；
图2是示出根据各种实施例的驾驶员注意力检测系统的功能模块的功能框图；以及
图3是根据各种实施例与车辆相关联的车辆区域的图示；
图4是根据各种实施例将做的行为和相关联的将做的行为的位置的图示；以及
图5是示出根据各种实施例可由图1的驾驶员注意力系统执行的驾驶员注意力检测方法的流程图。
具体实施方式
以下的详细描述本质上仅仅是示例性的，并不旨在限制其应用和使用。此外，不希望受到在前面的技术领域、背景技术、发明内容或下面的详细描述中呈现的任何明确表述或暗示的理论的限制。应当理解，在所有附图中，相应的附图标记表示相同或相应的零件和特征。如本文中所使用，术语模块是指单独地或以任何方式组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或成组)和存储器、组合逻辑电路和/或提供所述功能的其它合适的组件。
尽管本文所示的附图描绘了具有某些元件的布置的实例，但在实际实施例中可存在额外的插入元件、装置、特征或部件。
现在参见图1，功能框图示出了根据各种实施例包括驾驶员注意力检测系统12的车辆10的部分。可以理解，车辆10可以是任何车辆类型，包括但不限于汽车、飞行器、航天器、船只、运动型多用途车辆或任何其他类型的车辆10。在各种实施例中，车辆10例如是由电子控制系统以某些方式自动控制的自主车辆。在示例性实施例中，车辆10是所谓的三级或二级自动化系统，其包括少于完全自动化并且包括部分驾驶员的参与。出于示例性目的，将在检测驾驶员的注意力的上下文中讨论本公开。如可以理解的，注意力检测系统12可以被实施用于车辆10的其他乘员而不限于驾驶员。
在各种实施例中，驾驶员注意力检测系统12包括驾驶员监控系统14、感知系统16、行为规划系统20、注意力确定系统22和车辆/通知系统24。可以理解，在各种实施例中，驾驶员监控系统14、感知系统16、行为规划系统20、注意力确定系统22和车辆/通知系统24可以实现为分开的系统(如图所示)、单个系统、或任何系统的组合。
驾驶员监控系统14确定关于驾驶员正在注视的方向的信息。例如，驾驶员监控系统14包括一个或多个传感器装置25，该传感器装置感测驾驶员的活动并且基于该活动产生传感器信号；数据处理模块26，其接收并处理传感器信号以便确定指示注视方向的注视数据。在各种实施例中，传感器装置25包括设置在车辆10内并指向驾驶员的头部、面部和/或上身的一个或多个摄像机。摄像机捕捉驾驶员的图像并基于此生成图像数据。数据处理模块26接收图像数据、使用一种或多种图像处理技术处理图像数据、并且确定驾驶员的注视和/或头部方向。
感知系统16确定车辆10的环境中的对象的活动。在各种实施例中，感知系统16包括一个或多个传感器装置28，其感测车辆10周围的环境的活动并基于此产生传感器信号；以及数据处理模块30，其接收并处理传感器信号以确定环境中的对象的活动。在各种实施例中，传感器装置28包括一个或多个摄像机、激光雷达、雷达和/或其它感测装置，其布置在车辆10的外部周围并且朝向车辆10周围的环境。传感器装置28捕捉关于环境的信息并基于此产生传感器数据。数据处理模块30接收传感器数据并使用一种或多种机器学习技术处理该传感器数据，确定对象及其在环境中的轨迹。
行为规划系统20确定车辆10将做的行为。将做的行为可以是，例如但不限于，车道改变、车道合并、右转、左转、曲线等。在各种实施例中，行为规划系统20包括一个或多个传感器装置32、映射数据存储34和数据处理模块36。映射数据存储34存储环境的映射。传感器装置32包括全球定位卫星装置、摄像机、激光雷达、雷达或提供车辆10相对于环境的位置信息的任何其它装置。传感器装置32产生传感器信号。数据处理模块36接收信号并基于规划路线(例如，与所定义的映射相关联的位置A与位置B之间的路线或路线段)和沿着规划路线的当前位置来确定将做的行为。可以理解，行为规划系统20可以基于各种方法确定当前位置、规划路线和将做的行为，并且不限于任何一个实施例。
注意力确定系统22从驾驶员监控系统14、感知系统16和行为规划系统20接收分别指示所确定的注视方向、所跟踪的环境中对象的活动和将做的行为的数据。注意力确定系统22包括数据处理模块38，数据处理模块38基于接收到的数据确定驾驶员的注意力。例如，如将结合图2-5更详细讨论的，注意力确定系统22基于注视方向与跟踪的对象活动的比较以及注视方向与将做的行为的比较来确定注意力。注意力确定系统22基于所确定的驾驶员的注意力选择性地产生一个或多个信号。
在各种实施例中，注意力确定系统22还，例如经由通信系统，从其他车辆(未示出)的驾驶员监控系统14或中央处理系统(未示出)接收数据。在这样的实施例中，当处于与车辆相同的位置时，来自该车辆的数据通常指示其他驾驶员的注视。在这样的实施例中，注意力确定系统22还基于从所接收的数据确定的其他驾驶员的一般注视方向来确定驾驶员的注意力。
车辆/通知系统24接收这些信号并且基于这些信号选择性地控制车辆10和/或通知驾驶员。在各种实施例中，车辆/通知系统24包括控制模块40、一个或多个通知装置42(例如，视觉、听觉、触觉等)、以及用于控制一个或多个车辆部件(未示出)的一个或多个致动器44。控制模块40接收信号并基于此控制通知装置42和/或致动器44。
现在参见图2并继续参见图1，数据流程图更详细地示出了根据各种实施例的注意力确定系统22。可以理解，注意力确定系统22的各种实施例可以包括任何数量的子模块。图2所示的子模块可以被组合和/或进一步划分以类似地确定车辆10的乘员的注意力。对注意力确定系统22的输入可以从车辆10的其他系统14-20接收和/或由系统22的其他子模块(未示出)确定。在各种实施例中，注意力确定系统22包括车辆区域数据存储50、注视位置确定模块52、行为位置确定模块54、对象位置确定模块55、注意力评分模块56和车辆控制/通知模块58。
车辆区域数据存储50存储定义与车辆10相关联的各种区域的数据。例如，如图3所示，车辆10周围的区域R1-Rn可以由与驾驶员(或其他乘员)和/或车辆10相关联的原点O和参考矢量Vr、以及相对于参考矢量Vr的第一方位角和第二方位角来限定。
可以理解，在各种实施例中，可以定义任意数量的区域R1-Rn、这些区域可以具有不同的尺寸、和/或任意数量的区域可以重叠。在另一示例中，可以在车辆10内限定内部区域(未示出)。可以理解，在各种实施例中，可以定义任意数量的内部区域、这些内部区域可以具有不同的尺寸、并且任意区域可以重叠。在各种实施例中，存储在车辆区域数据存储50中的数据可以是预定义的和/或随时间学习的。
返回参见图2并继续参见图1和图3，车辆区域数据存储50存储区域R1-Rn与一个或多个行为的关联。例如，区域R2、R3可以与右转弯行为相关联，区域R5、R6可以与左转弯行为相关联，区域R1、R2、R3可以与左车道改变行为相关联等。
在各种实施例中，车辆区域数据存储50存储区域R1-Rn与一个或多个注意力分散的关联。例如，内部区域(未示出)可以与注意力分散相关联。在各种实施例中，注意力分散可以基于将做的行为。
注视位置确定模块52接收来自驾驶员监控系统14的注视数据60和来自其他车辆的驾驶员监控系统14的注视数据61作为输入。注视位置确定模块52基于注视数据60确定驾驶员正在注视的大约位置，并基于注视数据61确定驾驶员在处于相同位置时观看的大体方向。例如，如果必要的话，注视位置确定模块52将注视数据60、61转换为用于限定区域R1-Rn的坐标系(例如，以驾驶员/车辆作为原点并且方位角来自参考矢量)。然后，注视确定模块将转换的注视数据60、61分别设置到注视位置62和一般注视位置63。
对象位置确定模块55从感知系统16接收在环境中检测到的对象的对象数据64作为输入。对象位置确定模块55基于对象数据64确定对象的大约位置。例如，对象位置确定模块根据对象数据64确定对象方位角，并将对象的位置映射到区域R1-Rn中的一个或多个区域。然后选择映射区域和/或对象方位角作为对象位置66。
行为位置确定模块54从行为规划系统20接收将做的行为数据68作为输入。行为位置确定模块54确定驾驶员应当看向以准备所提供的将做的行为的大约位置70。例如，在各种实施例中，行为位置确定模块54基于将做的行为的特性来确定位置70。
在一个实施例中，如图4所示，将做的行为包括包含曲线的前向路径。该曲线设置在车辆10位于原点(0，0)的局部坐标框架中。可以基于当前车辆速度来确定推荐的前视距离(例如，10秒)，并且可以通过在曲线上定位推荐的前视点来确定所需的偏置角度(通过选择最接近的通信点或通过线性插值)。
在所提供的示例中，推荐的前视距离是120.0米，并且在前视点处选择位置(10，120)。通过求解三角形，可以选择4.7度的偏置角作为将做的行为位置70，以确保将到来的曲线的适当的前视行为。可以理解，在各种实施例中可以针对各种将做的行为动态地确定行为位置70，因为行为位置确定模块54的功能不限于该示例性实施例。
返回参见图2，在另一示例中，行为位置确定模块54从与将做的行为相关联的定义区域(R1-Rn)中选择将做的行为位置70。换句话说，不是动态地确定行为位置，而是从预定义的位置选择给定行为的行为位置。在各种实施例中，将做的行为可以分成纬度行为和经度行为，并且不同的区域可以与不同的纬度行为和经度行为相关联。然后将所选区域设置为将做的行为位置70。
注意力评分模块56接收注视位置62、一般注视位置63、对象位置66和将做的行为位置70作为输入。注意力评分模块56基于接收到的数据计算驾驶员的注意力评分。例如，注意力评分模块通过将注视位置与对象位置匹配、将注视位置与将做的行为位置匹配、以及将注视位置60与一般注视位置63匹配来计算注意力评分。
例如，在各种实施例中，注意力评分模块56基于一个或多个数据相关方法(例如，Pearsons等)计算注视位置62和对象位置66之间的匹配水平。在各种实施例中，注意力评分模块56为发现在车辆10的定义区域内的每个对象计算个体匹配水平。
然后，注意力评分模块56基于一个或多个数据相关方法(例如，Pearsons等)计算注视位置62和一般注视方向63之间的匹配水平。
在各种实施例中，可以在定义的时间段(例如，在前五秒或其它时间值)上计算每个匹配水平。在各种实施例中，可以基于匹配的持续时间和/或匹配的广度来计算每个匹配水平。这样做是为了确保驾驶员有时间查看和识别与该区域相关联的场景。
然后，注意力评分模块56确定要应用于所确定的匹配水平的加权因子。在各种实施例中，基于对象的类型、行为的类型等预定义加权因子。在各种其他实施例中，注意力评分模块56基于环境情况(例如，夜间、白天、下雨、降雪等)、所确定的驾驶场景(例如，城市驾驶、乡村驾驶、公路驾驶等)和/或其他因素来动态地确定每个匹配水平的加权因子。
在各种实施例中，当注意力评分模块56为每个找到的对象和/或将做的行为(例如，纬度行为和经度行为)计算个体匹配水平时，注意力评分模块56还可以基于个体匹配水平的总和来计算所有对象的总匹配水平，和/或将做的行为的总匹配水平。在这样的实施例中，注意力评分模块56确定总匹配水平的单独加权因子。
一旦确定了加权因子，则注意力评分模块基于以下关系计算注意力评分(AS)72：
Figure BDA0002015464510000091
其中xi表示对象、将做的行为和一般注视方向的匹配水平(个体或全部)；wi表示加权因子。
在各种实施例中，注意力评分模块56还确定驾驶员的注意力分散水平，并在注意力评分72的计算中使用注意力分散水平。例如，注意力评分模块56通过将注视位置62与定义为注意力分散区域的某些区域R1-Rn相匹配来计算注意力分散水平。如上所述，这些区域可以是车辆10内的区域、车辆10外的区域和将到的路径外的区域(例如，车辆的最左边、最右边、后边等)。在各种实施例中，可以在定义的时间段(例如，在前五秒或其他时间值)上计算注意力分散水平。在各种实施例中，可以基于匹配的持续时间和/或匹配的广度来计算每个匹配水平。
在这样的实施例中，注意力评分模块56然后确定要应用于注意力分散水平的加权因子。加权因子可以类似地预定义或动态地确定，如上所述。然后，注意力评分模块56基于以下关系计算注意力评分(AS)72：
Figure BDA0002015464510000101
其中xi表示注意力匹配水平；wi和wj表示加权因子；dj表示注意力分散匹配水平。
车辆控制/通知模块58接收注意力评分72作为输入。车辆控制/通知模块基于注意力评分72的值来选择性地产生一个或多个控制信号76控制车辆10。例如，当注意力评分72大于阈值(例如，90或一些其他值)时，车辆控制/通知模块58生成控制信号76，以自主或半自主的方式控制车辆10，使得可以减轻驾驶员注意力不足的任何影响。
在各种实施例中，车辆控制/通知模块58基于注意力评分72的值来选择性地生成一个或多个通知信号74。例如，当注意力评分72大于阈值(例如，70或一些其他值)时，车辆控制/通知模块58生成通知信号74。通知信号74使车辆/通知系统24的一个或多个通知装置通知驾驶员要注意。在各种实施例中，通知信号74可启用文本消息、视觉符号或光、触觉反馈和/或音频信号。
现在参见图5，并且继续参见图1和图2，流程图示出了根据不同的实施例可以由驾驶员注意力检测系统12的子模块执行的驾驶员注意力检测方法。根据本公开可以理解，该方法内的操作顺序不限于如图4所示的顺序来执行，而是可以根据应用并根据本公开以一种或多种不同的顺序执行。如可以进一步理解的，可以在不改变该方法的精神的情况下增加或减少该方法的一个或多个步骤。
在一个示例中，方法100可以在105开始。在110接收注视数据60、61，对象数据64和将做的行为数据68一段时间。例如，如上所述，在120确定注视位置62和一般注视位置63。例如，如上所述，在130确定对象位置66。例如，如上所述，在140确定行为位置70。然后，在150基于例如如上所述的所计算的注视位置62、一般注视位置63、对象位置66和行为位置70之间的匹配水平以及所确定的加权因子来确定注意力评分72。可选地，在150基于例如如上所述的注意力分散的匹配水平来进一步计算注意力评分72。
此后，在160-200评估计算的注意力评分72，确定是否产生通知信号74和/或控制信号76。例如，如果在160注意力评分大于第一阈值，则在170生成通知信号。如果在180注意力评分大于第二阈值，则在190产生控制信号。此后，该方法可以在200结束。
虽然在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。而是，前面的详细描述将向本领域技术人员提供用于实现一个或多个示例性实施例的方便的路线图。应当理解，在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (9)

1.一种处理注意力数据的方法，包括：
由处理器接收与车辆的外部环境的至少一个对象相关联的对象数据；
接收从所述车辆的规划路线确定的将做的行为数据；
接收从所述车辆的乘员感测到的注视数据；
由所述处理器处理所述对象数据、所述将做的行为数据和所述注视数据以确定与所述车辆的所述乘员的注意力相关联的注意力评分；以及
由所述处理器选择性地产生信号以进行通知所述乘员和基于所述注意力评分控制所述车辆中的至少一项，
从处于相同位置的其他车辆的乘员接收注视数据；基于来自其他车辆的所述乘员的所述注视数据确定一般注视方向；并且其中所述处理所述对象数据、所述将做的行为数据和所述注视数据以确定所述注意力评分进一步包括：处理所述对象数据、所述将做的行为数据、来自所述乘员的所述注视数据和所述一般注视方向，以确定与所述车辆的所述乘员的注意力相关联的所述注意力评分。
2.根据权利要求1所述的方法，其中，所述处理包括：根据所述对象数据计算对象位置；根据所述注视数据计算注视位置；根据所述将做的行为数据计算将做的行为位置；以及基于所述注视位置、所述对象位置和所述将做的行为位置计算所述注意力评分。
3.根据权利要求2所述的方法，其中，所述计算所述注意力评分包括计算所述对象位置和所述注视位置之间的匹配水平。
4.根据权利要求3所述的方法，其中，所述计算所述注意力评分还包括将加权因子应用于所述匹配水平。
5.根据权利要求3所述的方法，其中，所述计算所述匹配水平是基于匹配持续时间和匹配广度中的至少一项。
6.根据权利要求2所述的方法，其中，所述计算所述注意力评分包括计算所述将做的行为位置和所述注视位置之间的匹配水平。
7.根据权利要求2所述的方法，进一步包括基于所述注视位置与注意力分散区域之间的匹配来确定注意力分散水平，并且其中所述注意力评分进一步基于所述注意力分散水平来确定。
8.根据权利要求7所述的方法，进一步包括将加权因子应用于所述注意力分散水平，并且其中所述注意力评分进一步基于所述加权的注意力分散水平，并且其中所述加权因子是基于环境情况和驾驶场景中的至少一个来动态地确定。
9.一种处理注意力数据的系统，包括：
第一非瞬态模块，其由处理器处理与车辆的外部环境的至少一个对象相关联的对象数据以确定对象位置；
第二非瞬态模块，其由处理器处理从所述车辆的规划路线确定的将做的行为数据以确定将做的行为位置；
第三非瞬态模块，其由处理器处理从所述车辆的乘员感测到的注视数据以确定注视位置；
第四非瞬态模块，其由处理器处理所述对象位置、所述将做的行为位置和所述注视位置以确定与所述车辆的所述乘员的注意力相关联的注意力评分；以及
第五非瞬态模块，其由处理器选择性地产生信号，以进行通知所述乘员和基于所述注意力评分控制所述车辆中的至少一项，
其中，从处于相同位置的其他车辆的乘员接收注视数据；基于来自其他车辆的所述乘员的所述注视数据确定一般注视方向；并且其中所述处理所述对象数据、所述将做的行为数据和所述注视数据以确定所述注意力评分进一步包括：处理所述对象数据、所述将做的行为数据、来自所述乘员的所述注视数据和所述一般注视方向，以确定与所述车辆的所述乘员的注意力相关联的所述注意力评分。
CN201910261602.5A 2018-04-17 2019-04-02 用于处理驾驶员注意力数据的方法和系统 Active CN110386146B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/954,855 US10528832B2 (en) 2018-04-17 2018-04-17 Methods and systems for processing driver attention data
US15/954855 2018-04-17

Publications (2)

Publication Number Publication Date
CN110386146A CN110386146A (zh) 2019-10-29
CN110386146B true CN110386146B (zh) 2022-09-20

Family

ID=68052965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910261602.5A Active CN110386146B (zh) 2018-04-17 2019-04-02 用于处理驾驶员注意力数据的方法和系统

Country Status (3)

Country Link
US (1) US10528832B2 (zh)
CN (1) CN110386146B (zh)
DE (1) DE102019109375A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646498B1 (en) * 2012-10-31 2017-05-09 Pulse Live, LLC Systems and methods for live and replay utilization and tracking of vehicular movement and response
GB2577270B (en) * 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
US10807605B2 (en) * 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
DE102020003018A1 (de) 2020-05-19 2021-11-25 Daimler Ag Verfahren zur Ermittlung einer Reaktionsfähigkeit
SE2030301A1 (en) * 2020-09-30 2022-03-31 Chadalavada Ravi Teja Method and system for driving skill feedback
CN113548057B (zh) * 2021-08-02 2023-02-10 四川科泰智能电子有限公司 一种基于驾驶痕迹的安全驾驶辅助方法及系统
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode
CN115131968B (zh) * 2022-06-28 2023-07-11 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668675A (en) * 1995-01-18 1997-09-16 Fredricks; Ronald J. Opto-electronic aid for alignment of exterior vehicle mirrors to minimize blind spot effects
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN101889299A (zh) * 2007-12-05 2010-11-17 博世株式会社 车辆信息显示系统
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN103217169A (zh) * 2012-01-24 2013-07-24 通用汽车环球科技运作有限责任公司 全挡风玻璃显示器上的最佳注视位置
CN104057956A (zh) * 2013-02-06 2014-09-24 通用汽车环球科技运作有限责任公司 自主式车辆的显示系统和方法
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
CN105966405A (zh) * 2015-03-13 2016-09-28 哈曼国际工业有限公司 驾驶员分心检测系统
CN105989749A (zh) * 2015-03-20 2016-10-05 哈曼国际工业有限公司 用于优先化驾驶员警报的系统和方法
US9558414B1 (en) * 2014-07-28 2017-01-31 GM Global Technology Operations LLC Method for calculating a response time
CN106945669A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 在交通十字路口处确定驾驶员意图以避免汽车碰撞
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284361A1 (en) * 2008-05-19 2009-11-19 John Boddie Driver scoring system with lane changing detection and warning system
JP5396873B2 (ja) * 2009-01-20 2014-01-22 株式会社豊田中央研究所 ドライバ操作予測装置及びプログラム
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
EP2892036B1 (en) * 2014-01-06 2017-12-06 Harman International Industries, Incorporated Alert generation correlating between head mounted imaging data and external device
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US20180082203A1 (en) * 2016-09-21 2018-03-22 International Business Machines Corporation Detection of operator likelihood of deviation from planned route
CN106778538A (zh) * 2016-11-28 2017-05-31 上海工程技术大学 基于层次分析法的智能驾驶行为评判方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668675A (en) * 1995-01-18 1997-09-16 Fredricks; Ronald J. Opto-electronic aid for alignment of exterior vehicle mirrors to minimize blind spot effects
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN101889299A (zh) * 2007-12-05 2010-11-17 博世株式会社 车辆信息显示系统
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性系统
CN103217169A (zh) * 2012-01-24 2013-07-24 通用汽车环球科技运作有限责任公司 全挡风玻璃显示器上的最佳注视位置
CN104057956A (zh) * 2013-02-06 2014-09-24 通用汽车环球科技运作有限责任公司 自主式车辆的显示系统和方法
CN104794855A (zh) * 2014-01-22 2015-07-22 径卫视觉科技（上海）有限公司 驾驶员注意力综合评估装置
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9558414B1 (en) * 2014-07-28 2017-01-31 GM Global Technology Operations LLC Method for calculating a response time
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
CN105966405A (zh) * 2015-03-13 2016-09-28 哈曼国际工业有限公司 驾驶员分心检测系统
CN105989749A (zh) * 2015-03-20 2016-10-05 哈曼国际工业有限公司 用于优先化驾驶员警报的系统和方法
CN106945669A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 在交通十字路口处确定驾驶员意图以避免汽车碰撞

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
虚拟环境的用户意图捕获;程成等;《中国图象图形学报》;20150216(第02期);全文 *
高鲁棒性驾驶员疲劳检测方法研究;杨倩;<中国优秀硕士学位论文全文数据库工程科技Ⅱ辑>;20180315;全文 *

Also Published As

Publication number Publication date
DE102019109375A1 (de) 2019-10-17
US10528832B2 (en) 2020-01-07
CN110386146A (zh) 2019-10-29
US20190318180A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
CN110386146B (zh) 用于处理驾驶员注意力数据的方法和系统
EP3608635A1 (en) Positioning system
US10133273B2 (en) Location specific assistance for autonomous vehicle control system
US20210078575A1 (en) Vehicle control device
US10814788B2 (en) Recognized-region estimation device, recognized-region estimation method, and recognized-region estimation program
US10272946B2 (en) Method and system of assisting a driver of a vehicle
US10457327B2 (en) Method and system of assisting a driver of a vehicle
US20150235538A1 (en) Methods and systems for processing attention data from a vehicle
US20160090084A1 (en) Method and system of assisting a driver of a vehicle
JP6941178B2 (ja) 自動運転制御装置及び方法
US11195027B2 (en) Automated crowd sourcing of road environment information
US11562576B2 (en) Dynamic adjustment of augmented reality image
JP2020086545A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11904856B2 (en) Detection of a rearward approaching emergency vehicle
US11845429B2 (en) Localizing and updating a map using interpolated lane edge data
US10118642B2 (en) Method and system of assisting a driver of a vehicle
CN113771845B (zh) 预测车辆轨迹的方法、装置、车辆和存储介质
CN117355448A (zh) 用于辅助自动驾驶车辆或车辆驾驶员的设备和方法
US20230365133A1 (en) Lane keeping based on lane position unawareness
US11364900B2 (en) Lane change assistance system
JP7202982B2 (ja) 運転支援方法及び運転支援装置
US9994254B2 (en) Method and system of assisting a driver of a vehicle
CN110113789B (zh) 车辆传感器之间的动态带宽调节的方法和系统
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
JP6569356B2 (ja) 情報呈示装置及び情報呈示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant