CN101278324A - 自适应驾驶员工作负荷估计器 - Google Patents

自适应驾驶员工作负荷估计器 Download PDF

Info

Publication number
CN101278324A
CN101278324A CNA2006800366011A CN200680036601A CN101278324A CN 101278324 A CN101278324 A CN 101278324A CN A2006800366011 A CNA2006800366011 A CN A2006800366011A CN 200680036601 A CN200680036601 A CN 200680036601A CN 101278324 A CN101278324 A CN 101278324A
Authority
CN
China
Prior art keywords
driver
sensor input
data
workload
subjective evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800366011A
Other languages
English (en)
Other versions
CN101278324B (zh
Inventor
J·张
Y·张
Y·奥维奇科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN101278324A publication Critical patent/CN101278324A/zh
Application granted granted Critical
Publication of CN101278324B publication Critical patent/CN101278324B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • B60W2050/0029Mathematical model of the driver

Abstract

提供了一种用于驾驶员工作负荷估计的方法。驾驶员工作负荷的主观评估是从车辆驾驶员接收的。响应于接收主观评估从一个或多个传感器收集传感器输入数据流。基于传感器输入数据流和主观评估把机器学习算法应用到驾驶员工作负荷估计模型。该应用的结果是更新的驾驶员工作负荷估计模型。

Description

自适应驾驶员工作负荷估计器
技术领域
本公开通常涉及驾驶员工作负荷估计并且特别地涉及自适应驾驶员工作负荷估计器。
背景技术
驾驶员工作负荷估计器(Driver Workload Estimator DWE)是指通过监视驾驶员、车辆和驾驶环境对驾驶员的工作负荷指数(index)进行实时连续估计。DWE在自然驾驶条件下以对驾驶员非常不显眼的方式连续地实时进行工作负荷评估。在一些情况中,当驾驶员工作负荷信息可得到时,可以增强许多车内功能性,例如:给驾驶员呈现信息、主动安全驾驶员辅助以及车辆底盘控制。
有三种主要类型的驾驶员工作负荷:视觉的、体力的和认知的。当驾驶员受到手动驾驶任务的压力时,或者当驾驶时驾驶员在脑力上参与次要任务时,诸如进行蜂窝电话通话,他或她的认知工作负荷变高。检测危险和处理所引发问题的能力就被削弱。在这三种主要类型的工作负荷中认知工作负荷是最难测量的;它主要是驾驶员内在的,并且只能够被部分观察到。
人们认为一长串参数能够反映驾驶员工作负荷。该参数包括的项诸如:车道位置偏离、车道脱离持续时间、速度偏差、驾驶姿势(steeringhold)、制动压力、车间时距、驾驶员眼睛凝视注视(fixation)持续时间、眼睛凝视位置变化、心跳间隔变化等。虽然一些参数比其他参数更能反映驾驶员的认知内在状态,但是没有一个参数能单独作为可靠的指标。研究表明参数的融合比单个参数倾向于提供更好的整体表现。目前,没有执行这种融合以提供驾驶员工作负荷估计的驾驶员工作负荷系统。
目前的DWE是使用人工工作负荷分析和建模过程建立的,其中只选择显示高驾驶员工作负荷相关的参数并人工对其建模。这些DWE可能遗漏了不遵循设计方法所假设的单峰高斯分布的有希望的候选参数。在单峰假设下与工作负荷水平显示低相关的参数不一定是不好的工作负荷指标。
此外,当前的“手工(handcrafted)”DWE模型往往比较简单,诸如线性回归模型。它们的参数覆盖通常有限,诸如基于二进制启发式的工作负荷估计器。模型完善度的这一低水平可能是由于繁重的人工工作负荷分析和建模方法的缘故造成的。随着车内传感器数量和能力的增加,有希望的参数列表增长,这些DWE不一定能够在结构上适应。为了把这些变化考虑进去,当前的DWE中的估计算法可能需要被重新设计。此外,目前的DWE往往是静态的,因为它们的估计算法是基于一组可用模型数据被“粘结巩固的(cemented)”。它们并没被调整并适应于单独的驾驶员工作负荷特性。
发明内容
根据本发明的一个方面,提供了一种用于自适应驾驶员工作负荷估计的方法。驾驶员工作负荷的主观评估是从车辆驾驶员接收的。响应于接收主观评估从一个或多个传感器收集传感器输入数据流。基于传感器输入数据流和主观评估把机器学习算法应用到驾驶员工作负荷估计模型。该应用的结果是更新的驾驶员工作负荷估计模型。
在另一方面,提供一种用于自适应驾驶员工作负荷估计的系统。该系统包括输入设备和与输入设备通信的微处理器。微处理器包括指令以以便于经由输入设备从车辆驾驶员接收驾驶员工作负荷的主观评估。响应于接收主观评估从一个或多个传感器收集传感器输入数据流。基于传感器输入数据流和主观评估将机器学习算法应用到驾驶员工作负荷估计模型。该应用的结果是更新的驾驶员工作负荷估计模型。
在又一方面,一种用于提供自适应驾驶员工作负荷估计的计算机程序产品包括可由处理电路读取的存储介质,该存储介质存储有通过处理电路执行的用于执行一种方法的指令。该方法包括从车辆驾驶员接收驾驶员工作负荷的主观评估。响应于接收主观评估从一个或多个传感器收集传感器输入数据流。基于传感器输入数据流和主观评估将机器学习算法应用到驾驶员工作负荷估计模型。该应用的结果是更新的驾驶员工作负荷估计模型。
附图说明
参考示范性附图,其中相似的元件在几个附图中进行相似的编号:
图1是在高和低的工作负荷下驾驶员眼睛注视持续时间的示范性概率分布函数;
图2是示范性DWE系统的一般体系结构的框图;
图3是示范性的基于学习的DWE系统的框图;
图4是可由本发明的示范性实施例使用的学习算法的示例适应;
图5是可由本发明的示范性实施例使用的用于执行自适应驾驶员工作负荷估计的过程流;
图6是用于DWE的示范性决策树;
图7是从本发明示范性实施例中的具有数据高速缓存的信号处理功能模块304输出的示范性参数或属性的列表;
图8示出了用于信号处理和产生参数矢量的示范性时间窗;
图9示出了划分驾驶员前视野(front view)的示范性区域;
图10列出了本发明示范性实施例中的学习的DWE的正确预测率;以及
图11列出了在本发明示范性实施例中从学习的DWE决策树提取的规则。
具体实施方式
这里公开的是一种自适应驾驶员工作负荷估计的方法。简言之,该方法利用关于驾驶员的观察、车辆数据和环境数据,以估计安排给驾驶员的工作负荷。通过评估驾驶员数据、车辆数据和环境数据对驾驶员的边际效应(marginal effect)来开发驾驶员工作负荷的条件的且可适应的模型。本发明的示范性实施例提供了使用机器学习技术捕获最优传感器输入相互关系的DWE,该DWE随时间适应于单个驾驶员的认知行为,并且在包含其他传感器数据用于增强的性能上提供了灵活性。
DWE目前主要用于通过基于驾驶员工作负荷水平的信息允许驾驶员信息呈现管理来增强车内信息系统(In-vehicle information systemIVIS)。此外,DWE可以提供输入到车辆处理和驾驶员辅助系统质量增强。如上所讨论的,目前的DWE可能忽略不遵循单峰高斯分布的有希望的候选参数。在单峰假设下显示与工作负荷水平低相关的参数不一定是不好的工作负荷指标。下面使用驾驶员眼睛注视持续时间参数来说明这个概念,其中已经为工作负荷估计对该参数进行了广泛研究。如本领域中所知的,在工作负荷水平和驾驶员眼睛注视持续时间之间的关系上研究显示了相互矛盾的结果。一些研究显示出正相关而其他研究则显示出负相关。作为逻辑结果,驾驶员眼睛注视持续时间并不是良好的工作负荷指标。
然而,从高驾驶员工作负荷下相反的驾驶员眼睛注视持续时间变化趋势可以看出,在高工作负荷下注视持续时间(tfd)的概率分布函数(pdf)(p(tfd/hWL))可能是多峰的,如图1所示。进行一种简单的机器学习技术:标准贝叶斯分析,以导出给定高工作负荷的注视持续时间的概率,从而使用注视持续时间作为有效的工作负荷指标。贝叶斯分析使用条件pdf,p(tfd|hWL)和p(tfd|lWL),以及先验概率(p(hWL)和p(tfd|lWL)),如下所示:
p ( hWL | t fd ) = p ( t fd | hWL ) p ( hWL ) p ( t fd | hWL ) p ( hWL ) + p ( t fd | lWL ) p ( lWL ) .
图2是示范性DWE系统的一般体系结构的框图。位于车辆204上的传感器206收集信息以估计驾驶员工作负荷。数据可以包括车辆数据、驾驶员数据和环境数据。任何可用数据都可以被使用,包括但不限于与下列相关的数据:反映驾驶员202的驾驶表现的车辆操纵(例如方向盘角度的标准偏差)、驾驶员202的公然行为(例如眼睛移动和心跳)、以及其他因素,诸如车辆速度、车辆加速度、方向盘角度、车道宽度、车道位置和外面的空气温度。信号处理功能模块208包括操控原始传感输入的硬件和/或软件并且产生诸如标准偏差的参数。DWE模块210取得操控的数据并且实时产生认知工作负荷指数212。
DWE模块210包括产生工作负荷指数212的应用代码(由应用代码执行的逻辑在这里也称为DWE模型)。在本发明的示范性实施例中,DWE模块210和信号处理功能模块208位于包含在车辆204中的微处理器上。微处理器可以专用于执行DWE功能,或者可选地,微处理器可以包括应用代码,用于随同DWE模块202和信号处理功能模块208执行功能一起执行其他车辆功能。此外,用于中间应用结果以及应用输入和输出的存储空间可以位于微处理器上或者位于微处理器可以访问的外部存储设备上。
车辆数据指的是内部产生的从位于车辆204内的传感器206接收的数据。车辆数据可以包括诸如车辆速度、巡航控制状态、方向灯状态、牵引控制状态(traction control status TCS)、防抱死制动系统(antilock braking system ABS)、车辆稳定系统数据、动力系数据、方向盘角度、制动器踏板位置、油门踏板位置数据和车道位置之类的信息。动力系数据可以包括诸如每分钟旋转数(Revolution per minuteRPM)、火花数据和燃料数据。环境数据从传感器206接收并且指的是外部灯传感器/车头灯状态数据、雨刷状态、除霜器状态、外部空气温度(outside air temperature OAT)、全球定位系统(global positioningsystem GPS)数据、一天的时间、增强的数字地图和车道宽度。
关于驾驶员的观察或驾驶员数据可以包括量度驾驶员特性(诸如但不限于凝视位置、心跳和瞳孔直径)的传感器数据。驾驶员数据还包括关于驾驶员202正执行的当前任务的数据。当前任务数据可以包括诸如无线电信息(例如操控正发生?)和电话信息(例如电话正被使用?)的数据。其他输入数据还可以包括来自物体检测和警告和/或车道感测应用或传感器的信息。示例包括前碰撞警告(forward collisionwarning FCW)数据、侧物体检测(side object detection SOD)数据、车道脱离警告(lane departure warning LDW)数据和后碰撞警告(rearcollision warning RCW)数据。其他输入可以包括信息娱乐和电信息业务系统状态;语音接口状态和诊断数据;以及自适应巡航控制(adaptive cruise control ACC)系统数据。
到DWE模块210的具体输入可以在实施方式之间变化,依赖于在特定车辆中可得到的输入数据以及特定实施方式的要求。可以使用网络获得数据,并且该网络可以是车辆内部的,或者该网络可以提供对车辆外部的信息的访问。通过接口(例如无线网络)可以感测、测量或输入的任何信息可以用作输入。环境数据可以扩展到包括诸如车辆位置数据之类的信息;外部车辆位置数据;目前和预测的交通信息;以及目前和预测的天气信息。工作负荷指数212可以在周期的基础上更新并且可以被表示为反映相对工作负荷水平的数值(例如1-10,0%-100%,1-3等)。反映在工作负荷指数212中的工作负荷估计可以相对于起动状态,诸如在正常速度下的无障碍驾驶或者当车辆不动时的驾驶员工作负荷。在替代实施例中,除了数值之外的数据也可以被包括在工作负荷指数212中。
图3是示范性的基于学习的DWE系统的框图。与图2示出的DWE系统相比,图3中示出的自适应DWE系统包括两个额外的功能模块。这两个模块是驾驶员工作负荷评估反馈模块302和机器学习算法模块306。此外,图3中示出的自适应DWE系统包括具有数据高速缓存的信号处理功能模块304。驾驶员工作负荷评估反馈模块302给驾驶员提供了输入他/她的工作负荷水平主观评估的机制,使得DWE模型可以被调整到适应特定的驾驶员。机器学习算法模块306基于主观驾驶员反馈和传感器输入有效地更新DWE模块210。
图4是可以由本发明示范性实施例使用的示例适应算法。在块402,驾驶员202、环境和车辆204的特征由具有数据高速缓存的信号处理功能模块304从传感器206收集。在块404,经由驾驶员工作负荷评估反馈模块302收集驾驶员202的工作负荷水平(例如1,2,…10,或低、中、高)的主观评估。这可以称为收集标记。在块406,使用在机器学习算法模块306中实现的机器学习技术(例如判别分析、决策树、人工神经网络、隐性马尔可夫模型、贝叶斯网络、贝叶斯信念网络、基于案例的推理(case based reasoning CBR)、遗传算法、支持向量机等)进行工作负荷估计适应,以更新DWE的从特征到标记的映射(通过更新DWE模型在DWE模块中执行)。块408包含决策树学习工作负荷估计器适应的示例。给定新实例(即特征和标记对),更新每个节点处实例在属性上的分布统计。此外,更新每个节点处属性的选择和分支值。
本发明的示范性实施例包括基于机器学习的DWE。机器学习算法306基于经由驾驶员工作负荷评估反馈模块302来自驾驶员202的主观反馈来更新由DWE模型210实施的DWE模型。机器学习算法模块306支持DWE的“自适应性”,因为从特征到标记或从输入参数到工作负荷指数212的映射高度适应于传感器输入的变化。可以建立能够适应于各种传感器组的基于机器学习的DWE,用以取代为了在各车辆平台上找出(roll out)一个工作负荷估计器而在传感器组中寻找最小公分母,这减小了参数覆盖、估计器精良度(sophistication)和预测有效性。可预见随着感测技术的快速发展,车辆上可用的传感器列表将快速扩展;并且基于机器学习的DWE由于其输入的适应性的缘故而可以容易地从这种前景获益。
此外,本发明的示范性实施例提供了DWE模块到单个驾驶员的认知特性的适应性。在驾驶时,驾驶员202通过输入机制(例如按钮或话音用户接口)输入工作负荷水平(例如1,2,…,10或低、中、高)的主观评估。这个动作触发了(通过具有数据高速缓存的信号处理功能模块304)对输入传感器数据的加窗流的收集以及(通过驾驶员工作负荷评估反馈模块302)对主观工作负荷水平的收集。在本发明的示范性实施例中,数据窗从0.5秒变化到30秒。具有数据高速缓存的信号处理功能模块304保留加窗数据的运行(running)高速缓存。一旦收集了输入数据流,机器学习算法模块306更新DWE模块210。在决策树估计器中,算法的更新会包括实例在每个节点处的属性上的分布统计,以及每个节点处的属性的选择和分支值。
驾驶员输入机制可以用本领域中任何已知的方式(包括但不限于按钮、触摸屏、话音用户接口以及其组合)来实现。驾驶员输入机制可以是驾驶员202直接发起的,或者可以被驾驶员工作负荷评估反馈模块302提示。对于新驾驶员202而言,驾驶员发起的机制可能被更频繁地执行,但是随着DWE模块210适应于驾驶员202,就可能被较少执行。
在本发明的示范性实施例中,经由训练过程产生基线DWE(在适应之前)。首先,在主体(subject)或驾驶员202在预先设计的实验中驾驶车辆204的同时,从主体或驾驶员202收集数据。该数据不仅包括感测输入,还包括主体工作负荷等级(rating)和/或主体的次要任务表现。后者用作训练标记。其次,从数据学习模型。该模型可以是决策树、人工神经网络(Artificial belief Network ANN)、贝叶斯网络、隐性马尔可夫模型(Hidden Markov Model HMM)、贝叶斯信念网络、一组规则或判别函数,它们中的每一个基本上是从输入信息到输出(在本情况中是工作负荷指数)的映射。得到的DWE模型210然后被给予作为基线驾驶员工作负荷估计器额DWE模块210。然后,在使用模型基于输入数据预测工作负荷之前执行交叉验证测试。为了进行交叉验证,将训练数据集划分为子集或份(fold)。所有的份(除了一份之外)都被用于训练,而没有被考虑的那份被用于评估学习的模型的性能。这个过程循环通过每一份,并且在没有被考虑的那份上的平均性能被用作该算法的性能量度。交叉验证过程涉及十份(十个子集),称为十倍交叉验证(ten-fold cross validation)。
图5是本发明的示范性实施例可以使用来执行自适应驾驶员工作负荷估计的过程流。在块502,确定是否已经从车辆204的驾驶员202接收主观评估。如果还没有经由驾驶员工作负荷评估反馈模块302从驾驶员202接收到主观评估,则执行块510并且接收来自一个或多个传感器206的输入数据。接着,在块512,DWE模块210基于传感器输入数据更新工作负荷指数212。处理然后循环返回到块502。
可选地,如果在块502确定已经经由驾驶员工作负荷评估反馈模块302从车辆204的驾驶员202接收到主观评估,则处理继续到块504。在块504,收集传感器输入数据流。处理继续到块506和508,在那里,使用机器学习算法模块306中的机器学习算法来更新DWE模块210中的DWE模型,机器学习算法模块306使用诸如参考图4所描述那样一个过程。处理然后继续到块510,其中接收来自一个或多个传感器206的输入数据。接着,在块512,DWE模块210基于传感器输入数据更新工作负荷指数212。处理然后循环返回到块502。可以在接近实时的基础上执行开始于块502的循环,以不断地评估和更新工作负荷指数212。
图6是本发明的示范性实施例可以使用的示范性DWE决策树的图示。决策树是分层结构,其中每个节点对应于属性。如果属性是分类的,则从节点分支的每个弧代表该属性的一个可能值。如果属性是数值的,则每个弧代表该属性的区间。树的叶子指定了由从根到那个叶子的路径所描述的记录的分类信息的期望值。通过从根行进到叶子,可以容易地将决策树转换成一组如果-那么规则。这个转换是吸引人的,因为规则更直观且很简洁而便于存储。决策树学习的目标是决定哪个属性和什么值应该是在决策树的每个节点中分支的划分点(splitting point)。决策树学习是研究最广泛的归纳推理的方法之一,并且是一种成熟的技术。
例如,此处描述的基于学习的DWE设计方法可以通过设计使用决策树学习的DWE来应用,不过也可以使用许多其他的机器学习技术。感测信息可以包括车辆速度、车道位置、转向角、车辆速度、主体的瞳孔直径以及主体的眼睛凝视位置。具有数据高速缓存的信号处理功能模块304可以被用于操控原始的感测信息并且产生参数或属性的矢量。参数的一个示范性列表在图7中列出,在固定大小的时间窗上,诸如图8中示出的那些。在图7中,区域指的是如图9所示的驾驶员前视野的八个区域。
在以上示例中,学习的DWE能够检测驾驶员是否正关注主要任务:驾驶,或者参与次要任务(诸如空间成像或言语任务)。在驾驶员相关的测试中,一个驾驶员的部分数据用于训练,而其他部分用于测试。对于研究过的十二个主体的其中之一,正确检测率高达93.4%。平均正确预测率超过85%,如图10所示。图10示出了在具有半秒时间窗的驾驶员无关情况中利用十倍交叉验证获得的学习的DWE的正确预测率。在驾驶员无关测试中(DWE被在一些驾驶员上训练而被在其他驾驶员上测试),正确预测率超过81%。从这样学习到的决策树中转换来的规则在图11中给出。图11包含在用于本发明的示范性实施例的驾驶员无关情况中从学习的DWE决策树中提取的规则。“F”之后的编号指的是表7中列出的参数(属性)的索引。考虑到对于低档车辆可能不能获得凝视数据,DWE决策树就被在减去凝视数据的数据上训练。在驾驶员相关的情况中,正确预测率稍微降低而到了81%。
在所实施的实验中,使用了一般的机器学习包。通常,定制的算法比通用算法具有更好的性能。在本发明的替代示范性实施例中,通过对DWE展开定制的机器学习算法可以改进性能。
通过兼顾驾驶员适应性以及模型灵活性,本发明的示范性实施例解决了现有DWE技术的局限性。可适应的DWE集中于能适应单独驾驶员的机器学习技术并且会导致高度的可重用性、参数覆盖和估计性能。
本发明的示范性实施例可以用于实现具有高度有效性的工作负荷估计/预测。此外,本发明的示范性实施例能够适应于具有不同传感器可用性的车辆并且容易适应未来的传感器。
如上所述,本发明的实施例可以体现为计算机实施的过程的形式以及用于实践这些过程的装置的形式。本发明的实施例还可以体现为包含指令的计算机程序代码的形式,所述指令包含在实体介质中,诸如软盘、CD-ROM、硬盘或任何其他计算机可读存储介质,其中当计算机程序代码被装入计算机并由计算机执行时,计算机变为用于实践本发明的装置。本发明的实施例还可以体现为计算机程序代码的形式,该计算机程序代码例如或者存储在存储介质中、装入计算机和/或被计算机执行,或者通过光纤或经由电磁辐射在某种传输介质上传输,诸如在电线或电缆上,其中当计算机程序代码被装入计算机并由计算机执行时,计算机变为用于实践本发明的装置。当在通用微处理器上实现时,计算机程序代码段配置微处理器以产生特定的逻辑电路。
虽然已经参考示范性实施例描述了本发明,本领域技术人员应理解在不脱离本发明的范围的前提下可以做出各种变化并对其元件进行等同物替换。此外,在不脱离本发明的实质范围的前提下,可以做出许多修改以将特定的情况或材料适应于本发明的教导。因此,意图是本发明并不限于公开为用于实施本发明的最佳模式的特定实施例,而是本发明将包括所有落入随附权利要求书的范围内的实施例。此外,术语第一、第二等的使用并不表示任何顺序或重要性,而是使用术语第一、第二等来区分一个元件与另一个元件。

Claims (19)

1.一种用于自适应驾驶员工作负荷估计的方法,该方法包括:
从车辆驾驶员接收驾驶员工作负荷的主观评估;
响应于接收主观评估从一个或多个传感器收集传感器输入数据流;以及
基于传感器输入数据流和主观评估把机器学习算法应用到驾驶员工作负荷估计模型;该应用的结果是更新的驾驶员工作负荷估计模型。
2.权利要求1的方法,还包括:
接收传感器输入数据;以及
响应于传感器输入数据和更新的驾驶员工作负荷估计模型来更新工作负荷指数。
3.权利要求2的方法,其中传感器输入数据是在基本实时的基础上周期性地接收的。
4.权利要求1的方法,其中主观评估的产生是由车辆驾驶员发起的。
5.权利要求1的方法,其中主观评估的产生是由位于车辆上的逻辑发起的。
6.权利要求1的方法,其中传感器输入数据包括车辆数据、驾驶员数据和环境数据的一个或多个。
7.权利要求1的方法,其中机器学习算法是由决策树实现的。
8.权利要求1的方法,其中机器学习算法包括判别分析、决策树、人工神经网络、隐性马尔可夫模型、贝叶斯网络、贝叶斯信念网络、基于案例的推理(CBR)、遗传算法和支持向量机的一个或多个。
9.一种用于自适应驾驶员工作负荷估计的系统,该系统包括:
输入设备;以及
与输入设备通信的微处理器,该微处理器包括指令以便于:
经由输入设备从车辆驾驶员接收驾驶员工作负荷的主观评估;
响应于接收主观评估从一个或多个传感器收集传感器输入数据流;以及
基于传感器输入数据流和主观评估将机器学习算法应用到驾驶员工作负荷估计模型,该应用的结果是更新的驾驶员工作负荷估计模型。
10.权利要求9的系统,还包括:
接收传感器输入数据;以及
响应于传感器输入数据和更新的驾驶员工作负荷估计模型来更新工作负荷指数。
11.权利要求10的系统,其中传感器输入数据是在基本实时的基础上周期性地接收的。
12.权利要求9的系统,其中主观评估的产生是由车辆驾驶员发起的。
13.权利要求9的系统,其中主观评估的产生是由位于车辆上的逻辑发起的。
14.权利要求9的系统,其中传感器输入数据包括车辆数据、驾驶员数据和环境数据的一个或多个。
15.权利要求9的系统,其中机器学习算法是由决策树实现的。
16.权利要求9的系统,其中机器学习算法包括判别分析、决策树、人工神经网络、隐性马尔可夫模型、贝叶斯网络、贝叶斯信念网络、基于案例的推理(CBR)、遗传算法和支持向量机的一个或多个。
17.一种用于自适应驾驶员工作负荷估计的计算机程序产品,该计算机程序产品包括:
可由处理电路读取的存储介质,该存储介质存储有通过处理电路执行的用于执行一种方法的指令,该方法包括:
从车辆驾驶员接收驾驶员工作负荷的主观评估;
响应于接收主观评估从一个或多个传感器收集传感器输入数据流;以及
基于传感器输入数据流和主观评估将机器学习算法应用到驾驶员工作负荷估计模型,该应用的结果是更新的驾驶员工作负荷估计模型。
18.权利要求17的计算机程序产品,其中该方法还包括:
接收传感器输入数据;以及
响应于传感器输入数据和更新的驾驶员工作负荷估计模型更新工作负荷指数。
19.权利要求17的计算机程序产品,其中传感器输入数据是在基本实时的基础上周期性地接收的。
CN2006800366011A 2005-08-02 2006-07-19 自适应驾驶员工作负荷估计器 Expired - Fee Related CN101278324B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/195,469 2005-08-02
US11/195,469 US7394393B2 (en) 2005-08-02 2005-08-02 Adaptive driver workload estimator
PCT/US2006/027999 WO2007018991A2 (en) 2005-08-02 2006-07-19 Adaptive driver workload estimator

Publications (2)

Publication Number Publication Date
CN101278324A true CN101278324A (zh) 2008-10-01
CN101278324B CN101278324B (zh) 2012-02-22

Family

ID=37727824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800366011A Expired - Fee Related CN101278324B (zh) 2005-08-02 2006-07-19 自适应驾驶员工作负荷估计器

Country Status (3)

Country Link
US (1) US7394393B2 (zh)
CN (1) CN101278324B (zh)
WO (1) WO2007018991A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046996A (zh) * 2014-04-30 2015-11-11 福特全球技术公司 用于预测的驾驶需求建模的方法和设备
CN105094498A (zh) * 2014-05-07 2015-11-25 福特全球技术公司 车载式微互动
CN105579320A (zh) * 2013-09-05 2016-05-11 李斯特内燃机及测试设备公司 一种用于优化驾驶员辅助系统的方法和设备
CN106415525A (zh) * 2014-04-30 2017-02-15 惠普发展公司,有限责任合伙企业 确定有效负荷估计
CN108628432A (zh) * 2017-03-22 2018-10-09 中国航天员科研训练中心 一种基于资源占用与时间分布的工作负荷评估方法与系统
CN110869936A (zh) * 2017-06-06 2020-03-06 智加科技公司 用于自动驾驶车辆中的分布式学习与适应的方法和系统
CN111344641A (zh) * 2017-11-08 2020-06-26 大陆-特韦斯股份有限公司 用于一机动车辆的控制装置和用于运行该控制装置的方法
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle
US11790551B2 (en) 2017-06-06 2023-10-17 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070046737A (ko) * 2005-10-31 2007-05-03 소니 가부시끼 가이샤 학습 장치 및 방법
US7599861B2 (en) 2006-03-02 2009-10-06 Convergys Customer Management Group, Inc. System and method for closed loop decisionmaking in an automated care system
US7428449B2 (en) * 2006-03-14 2008-09-23 Temic Automotive Of North America, Inc. System and method for determining a workload level of a driver
US7809663B1 (en) 2006-05-22 2010-10-05 Convergys Cmg Utah, Inc. System and method for supporting the utilization of machine language
US8379830B1 (en) 2006-05-22 2013-02-19 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US7844663B2 (en) * 2006-07-10 2010-11-30 International Business Machines Corporation Methods, systems, and computer program products for gathering information and statistics from a community of nodes in a network
BRPI0916722A2 (pt) * 2008-07-31 2019-09-24 Choicepoint Services Inc sistema de fornecimento de dados de desempenho de direção e método de obtenção de dados de desempenho de direção
US11482058B2 (en) 2008-09-09 2022-10-25 United Parcel Service Of America, Inc. Systems and methods for utilizing telematics data to improve fleet management operations
US8416067B2 (en) 2008-09-09 2013-04-09 United Parcel Service Of America, Inc. Systems and methods for utilizing telematics data to improve fleet management operations
US20130066213A1 (en) * 2010-05-20 2013-03-14 Iain Tristan Wellington Eye monitor
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
US9946334B2 (en) 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
US9953468B2 (en) 2011-03-31 2018-04-24 United Parcel Service Of America, Inc. Segmenting operational data
US9208626B2 (en) 2011-03-31 2015-12-08 United Parcel Service Of America, Inc. Systems and methods for segmenting operational data
GB2500581B (en) * 2012-03-23 2014-08-20 Jaguar Land Rover Ltd Method and system for controlling the output of information to a driver based on an estimated driver workload
FR2989181B1 (fr) 2012-04-04 2015-03-27 Eurocopter France Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote
GB201211633D0 (en) * 2012-06-29 2012-08-15 Tomtom Bv Methods and systems generating driver workload data
CN104756173B (zh) * 2012-09-17 2018-02-06 沃尔沃拉斯特瓦格纳公司 用于将基于背景的指导消息提供给汽车驾驶员的方法
JP2016503741A (ja) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車用の入力装置
US20140236389A1 (en) * 2013-02-18 2014-08-21 Ebay Inc. System and method of dynamically modifying a user interface based on safety level
US9235801B2 (en) * 2013-03-15 2016-01-12 Citrix Systems, Inc. Managing computer server capacity
US10454783B2 (en) 2014-02-05 2019-10-22 Apple Inc. Accessory management system using environment model
US10177933B2 (en) 2014-02-05 2019-01-08 Apple Inc. Controller networks for an accessory management system
US9805521B1 (en) 2013-12-03 2017-10-31 United Parcel Service Of America, Inc. Systems and methods for assessing turns made by a vehicle
CN108259159B (zh) 2014-02-05 2021-02-05 苹果公司 用于在控制器和附件之间进行配对的方法和系统
EP3149548B1 (en) * 2014-05-30 2021-06-23 Apple Inc. Controller networks for an accessory management system
US20150356802A1 (en) * 2014-06-10 2015-12-10 Center For Integrated Smart Sensors Foundation Low Power Door-Lock Apparatus Based On Battery Using Face Recognition
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
US10206170B2 (en) 2015-02-05 2019-02-12 Apple Inc. Dynamic connection path detection and selection for wireless controllers and accessories
US20160334221A1 (en) 2015-05-11 2016-11-17 United Parcel Service Of America, Inc. Determining street segment headings
US10431215B2 (en) * 2015-12-06 2019-10-01 Voicebox Technologies Corporation System and method of conversational adjustment based on user's cognitive state and/or situational state
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
US10963741B2 (en) 2016-06-07 2021-03-30 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
JP6759743B2 (ja) * 2016-06-17 2020-09-23 アイシン精機株式会社 視認方向推定装置
JP7139331B2 (ja) 2016-08-19 2022-09-20 マサチューセッツ インスティテュート オブ テクノロジー 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
WO2018035531A1 (en) 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
CN108021396B (zh) * 2016-11-04 2022-07-15 罗伯特·博世有限公司 适用于Windows操作系统的传感器驱动方法和驱动系统
WO2018111062A1 (es) * 2016-12-15 2018-06-21 Kitazawa Molina Elvia Isabel Método para caracterización de ambiente de trabajo en conducción de vehículos mediante medición de vibración propiciadora de fatiga
US11798297B2 (en) 2017-03-21 2023-10-24 Toyota Motor Europe Nv/Sa Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
US10496508B2 (en) 2017-06-02 2019-12-03 Apple Inc. Accessory communication control
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
US10595073B2 (en) 2018-06-03 2020-03-17 Apple Inc. Techniques for authorizing controller devices
US11805009B2 (en) 2018-06-03 2023-10-31 Apple Inc. Configuring accessory network connections
GB2590877B (en) * 2018-11-13 2021-12-29 Jaguar Land Rover Ltd A controller for a vehicle
GB2578910B (en) * 2018-11-13 2021-05-12 Jaguar Land Rover Ltd A controller for a vehicle
US11488399B2 (en) * 2018-12-19 2022-11-01 Magna Electronics Inc. Vehicle driver monitoring system for determining driver workload
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
CN111407292A (zh) * 2020-03-30 2020-07-14 西北工业大学 基于眼动和多参生理数据信息的飞行员工作负荷评估方法
DE102023004039A1 (de) 2023-10-07 2023-12-14 Mercedes-Benz Group AG Verfahren zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212473B1 (en) * 1999-09-20 2001-04-03 Ford Global Technologies, Inc. Vehicle navigation system having inferred user preferences
US8086672B2 (en) 2000-06-17 2011-12-27 Microsoft Corporation When-free messaging
US6925425B2 (en) * 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US6879969B2 (en) 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
GB0203035D0 (en) * 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
BR0307760A (pt) 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
US6998972B2 (en) * 2002-10-31 2006-02-14 General Motors Corporation Driving workload estimation
WO2004108466A1 (en) 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP2005107743A (ja) * 2003-09-29 2005-04-21 Nec Corp 学習システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105579320A (zh) * 2013-09-05 2016-05-11 李斯特内燃机及测试设备公司 一种用于优化驾驶员辅助系统的方法和设备
CN105046996B (zh) * 2014-04-30 2019-12-03 福特全球技术公司 用于预测的驾驶需求建模的方法和设备
CN106415525A (zh) * 2014-04-30 2017-02-15 惠普发展公司,有限责任合伙企业 确定有效负荷估计
CN106415525B (zh) * 2014-04-30 2019-04-02 惠普发展公司,有限责任合伙企业 确定有效负荷估计
CN105046996A (zh) * 2014-04-30 2015-11-11 福特全球技术公司 用于预测的驾驶需求建模的方法和设备
CN105094498A (zh) * 2014-05-07 2015-11-25 福特全球技术公司 车载式微互动
CN108628432A (zh) * 2017-03-22 2018-10-09 中国航天员科研训练中心 一种基于资源占用与时间分布的工作负荷评估方法与系统
CN108628432B (zh) * 2017-03-22 2021-05-25 中国航天员科研训练中心 一种基于资源占用与时间分布的工作负荷评估方法与系统
CN110869936A (zh) * 2017-06-06 2020-03-06 智加科技公司 用于自动驾驶车辆中的分布式学习与适应的方法和系统
US11790551B2 (en) 2017-06-06 2023-10-17 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
CN111344641A (zh) * 2017-11-08 2020-06-26 大陆-特韦斯股份有限公司 用于一机动车辆的控制装置和用于运行该控制装置的方法
CN111344641B (zh) * 2017-11-08 2023-05-05 大陆-特韦斯股份有限公司 用于一机动车辆的控制装置和用于运行该控制装置的方法
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle

Also Published As

Publication number Publication date
WO2007018991A2 (en) 2007-02-15
CN101278324B (zh) 2012-02-22
US7394393B2 (en) 2008-07-01
US20070063854A1 (en) 2007-03-22
WO2007018991A3 (en) 2007-11-15

Similar Documents

Publication Publication Date Title
CN101278324B (zh) 自适应驾驶员工作负荷估计器
US11375338B2 (en) Method for smartphone-based accident detection
US11021166B2 (en) Systems and methods for driver scoring with machine learning
Mantouka et al. Identifying driving safety profiles from smartphone data using unsupervised learning
CN109885040B (zh) 一种人机共驾中的车辆驾驶控制权分配系统
US11267482B2 (en) Mitigating risk behaviors
Khodairy et al. Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks
US10635104B2 (en) Intelligent transitioning between autonomous and manual driving modes of a vehicle
CN105564436A (zh) 一种高级驾驶辅助系统
CN110505837A (zh) 信息处理设备、信息处理方法和程序
US10990837B1 (en) Systems and methods for utilizing machine learning and feature selection to classify driving behavior
CN110462670A (zh) 信息处理装置、信息处理系统、信息处理方法以及程序
US20230134342A1 (en) System and/or method for vehicle trip classification
Karaduman et al. Smart driving in smart city
CN108898795B (zh) 一种基于移动设备的行人状态实时分析方法及系统
Abdelrahman et al. Driver behavior classification in crash and near-crash events using 100-CAR naturalistic data set
Chu et al. A review of driving style recognition methods from short-term and long-term perspectives
CN103231710B (zh) 基于驾驶员工作负担调度驾驶员接口任务的系统和方法
Priyadharshini et al. A comprehensive review of various data collection approaches, features, and algorithms used for the classification of driving style
Lee et al. A Privacy-Preserving Learning Method for Analyzing HEV Driver’s Driving Behaviors
Karaduman et al. Classification of road curves and corresponding driving profile via smartphone trip data
CN113256845B (zh) 一种数据采集方法、装置、存储介质及系统
US20230177121A1 (en) System and/or method for personalized driver classifications
Marrone Adapting Regenerative Braking Strength to Driver Preference
Bengtsson Detection and prediction of lane-changes: A study to infer driver intent using support vector machine

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120222

Termination date: 20200719

CF01 Termination of patent right due to non-payment of annual fee