CN110371132B - 驾驶员接管评估方法及装置 - Google Patents
驾驶员接管评估方法及装置 Download PDFInfo
- Publication number
- CN110371132B CN110371132B CN201910528694.9A CN201910528694A CN110371132B CN 110371132 B CN110371132 B CN 110371132B CN 201910528694 A CN201910528694 A CN 201910528694A CN 110371132 B CN110371132 B CN 110371132B
- Authority
- CN
- China
- Prior art keywords
- driver
- data
- characteristic value
- vehicle
- takeover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Abstract
本申请公开了一种驾驶员接管评估方法及装置,涉及通信技术领域,用于根据驾驶员的接管能力评估值以及接管难度对驾驶员进行接管提醒,以提高接管提醒的准确性。该方法包括:获取第一数据、第二数据、第三数据、第四数据和第五数据后,根据第一数据和第一预设算法确定第一特征值,根据第二数据和第二预设算法确定第二特征值,根据第三数据和第三预设算法确定第三特征值,根据第四数据和第四预设算法确定第四特征值,然后根据第一特征值、第二特征值、第三特征值和四特征值,确定驾驶员接管能力评估值。根据第五数据和第五预设算法确定第五特征值,如果驾驶员接管能力评估值和第五特征值满足第一预设条件,则驾驶员的接管能力不足。
Description
技术领域
本申请涉及车辆自动驾驶领域,尤其涉及一种驾驶员接管评估方法及装置。
背景技术
自动驾驶技术是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动安全地操作机动车辆的技术。根据美国汽车工程师协会(society of automotive engineers,SAE)的分类标准,自动驾驶技术分为:无自动化(L0)、驾驶支援(L1)、部分自动化(L2)、有条件自动化(L3)、高度自动化(L4)和完全自动化(L5)。目前,自动驾驶技术主要处于L0-L4等级,尚未达到L5等级,在利用现有的L0-L4等级的自动驾驶技术进行自动驾驶时,驾驶员可能随时会被要求接管车辆。因此在自动驾驶过程中,对驾驶员的接管能力进行实时评估,并根据驾驶员的接管能力对驾驶员进行提醒,是现阶段提高自动驾驶的安全性的一种必要手段。
在现有技术中,常用的驾驶员接管能力评估方法是通过传感器监测施加在方向盘上的力的大小,或者是通过摄像头监测驾驶员的视线是否为直视前方,来对驾驶员的接管能力进行评估。但是,传感器所监测到的力可能为放置在方向盘上的其他重物施加给方向盘的压力,摄像头监测到的驾驶员视线也并不能准确反映驾驶员的状态,因此驾驶员接管能力评估的准确性较低。
发明内容
本申请提供一种驾驶员接管评估方法及装置,以提高驾驶员接管能力评估的准确性,从而提高自动驾驶的安全性。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种驾驶员接管评估方法,该方法应用于具有自动驾驶功能的装置中,如车辆,车辆中的芯片系统,以及处理器上运行的操作系统和驱动,该方法包括:获取第一数据、第二数据、第三数据、第四数据和第五数据,其中,第一数据包括驾驶员的行为以及行为的持续时间,第二数据包括驾驶员的视线停留区域以及视线停留时间,第三数据为驾驶员的异常驾驶状态数据,第四数据为驾驶员的用户画像数据,第五数据为接管难度影响因素数据。根据第一数据以及第一预设算法确定用于表示驾驶员的分心行为持久性的第一特征值,根据第二数据以及第二预设算法确定用于表示驾驶员的视线偏离持久性的第二特征值,根据第三数据以及第三预设算法确定用于表示驾驶员的异常驾驶状态的第三特征值,根据第四数据以及第四预设算法确定用于表示驾驶员的用户画像的第四特征值。然后根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。再根据第五数据以及第五预设算法确定用于表示接管难度的第五特征值。如果驾驶员接管能力评估值以及第五特征值满足第一预设条件,则提示驾驶员接管能力不足。
采用上述驾驶员接管评估方法,通过第一数据、第二数据、第三数据、第四数据来确定驾驶员的接管能力评估值,并根据驾驶员的接管能力评估值和第五特征值对驾驶员进行接管提醒,考虑因素较为全面,可以提高驾驶员的接管能力评估的准确性以及接管提醒的准确性,使驾驶员集中注意力,以提高其接管能力,从而提高自动驾驶的安全性。
在一种可能的设计中,在根据第五数据以及第五预设算法确定用于表示接管难度的第五特征值之后,驾驶员接管评估装置还可以执行如下步骤:获取第六数据,其中,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后的车辆行驶加速度、车辆转向加速度。根据第六数据,确定接管效果,其中,接管效果包括有效接管、困难接管、严重困难接管。根据接管效果确定用于确定第六预设算法的第一参数和第二参数,第一参数和第二参数与接管效果存在对应关系。根据第六数据以及第六预设算法确定用于表示接管效果反馈的第六特征值。如果驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件,则驾驶员接管能力不足。
采用上述驾驶员接管评估方法,在进行接管提醒时,考虑到了接管效果反馈,根据上一次的接管效果反馈,优化驾驶员接管能力评估过程,从而进一步提高接管提醒的准确性,使驾驶员集中注意力,以提高其接管能力,从而提高自动驾驶的安全性。
在一种可能的设计中,根据第六数据,确定接管效果,包括:若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度超过第一预设阈值,则确定接管效果为严重困难接管;若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度未超过第一预设阈值,则判断驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性是否均超过第二预设阈值;若驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性均超过第二预设阈值,则接管效果为有效接管;若驾驶员接管车辆前后的车辆速度波动性,或车辆行驶方向波动性均超过第二预设阈值,则接管效果为困难接管。
第二方面,本申请提供一种驾驶员接管评估装置,该装置可以为车辆,也可以是能够支持车辆实现自动驾驶功能的装置,其可以和车辆匹配使用,例如可以是车辆中的装置(比如是车辆中的芯片系统,或者车辆的计算机系统上运行的操作系统和/或驱动等)。该装置包括获取模块、处理模块、提醒模块,这些模块可以执行上述第一方面任一种设计示例中的驾驶员接管评估装置执行的相应功能,具体的:
获取模块,用于获取第一数据、第二数据、第三数据、第四数据和第五数据,其中,第一数据包括驾驶员的行为以及行为的持续时间,第二数据包括驾驶员的视线停留区域以及视线停留时间,第三数据为驾驶员的异常驾驶状态数据,第四数据为驾驶员的用户画像数据,第五数据为接管难度影响因素数据。
处理模块,用于根据第一数据以及第一预设算法确定用于表示驾驶员的分心行为持久性的第一特征值,根据第二数据以及第二预设算法确定用于表示驾驶员的视线偏离持久性的第二特征值,根据第三数据以及第三预设算法确定用于表示驾驶员的异常驾驶状态的第三特征值,根据第四数据以及第四预设算法确定用于表示驾驶员的用户画像的第四特征值。然后根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。再根据第五数据以及第五预设算法确定用于表示接管难度的第五特征值。
提醒模块,用于在驾驶员接管能力评估值以及第五特征值满足第一预设条件时,提示驾驶员接管能力不足。
在一种可能的设计中,获取模块,还用于获取第六数据,其中,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后的车辆行驶加速度、车辆转向加速度。
处理模块,还用于根据第六数据,确定接管效果,其中,接管效果包括有效接管、困难接管、严重困难接管。根据接管效果确定用于确定第六预设算法的第一参数和第二参数,第一参数和第二参数与接管效果存在对应关系。根据第六数据以及第六预设算法确定用于表示接管效果反馈的第六特征值。
提醒模块,还用于在驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件时,提示驾驶员接管能力不足。
在一种可能的设计中,处理模块。还用于根据第六数据,确定接管效果,包括:若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度超过第一预设阈值,则确定接管效果为严重困难接管;若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度未超过第一预设阈值,则判断驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性是否均超过第二预设阈值;若驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性均超过第二预设阈值,则接管效果为有效接管;若驾驶员接管车辆前后的车辆速度波动性,或车辆行驶方向波动性均超过第二预设阈值,则接管效果为困难接管。
在第一方面和第二方面的一种可能的设计中,驾驶员的行为包括正常、打电话、玩手机、饮食、操作控制系统或与乘客交谈。
在第一方面和第二方面的一种可能的设计中,驾驶员的视线停留区域为前挡风玻璃的左半边下部分、前挡风玻璃的左半边上部分、前挡风玻璃的右半边部分、方向盘、左后视镜、右后视镜、左车窗、右车窗、控制系统屏幕或副驾驶座椅。
在第一方面和第二方面的一种可能的设计中,驾驶员的异常驾驶状态数据包括实时疲劳程度、预设时间段内的平均疲劳程度、驾驶员的面部表情中的至少一个参数,其中,驾驶员的面部表情为正常、开心、悲伤或生气。
在第一方面和第二方面的一种可能的设计中,第三预设算法为其中,m3为第三特征值,i表示第三数据中的参数的个数,fC,n(cn)为第三预设函数,rc,n为与cn相对应的预设权重,cn表示第三数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。
在第一方面和第二方面的一种可能的设计中,驾驶员的用户画像数据包括驾驶员的驾驶风格、驾驶员的驾龄、驾驶员的驾驶频率、驾驶员的事故率以及驾驶员当前的身体状况中的至少一个参数。
在第一方面和第二方面的一种可能的设计中,第四预设算法为其中,m4为第四特征值,i表示第四数据中的参数的个数,fD,n(dn)为第四预设函数,dn表示第四数据中的第n个参数,rd,n为与dn相对应的预设权重,n的取值范围为大于等于1小于等于i的整数。
在第一方面和第二方面的一种可能的设计中,驾驶员接管能力评估算法为F=k1*m1+k2*m2+k3*m3+k4*m4,其中,F为驾驶员的接管能力评估值,k1为第一特征值的预设权重,k2为第二特征值的预设权重,k3为第三特征值的预设权重,k4为第四特征值的预设权重,m1为第一特征值,m2为第二特征值,m3为第三特征值,m4为第四特征值。
在第一方面和第二方面的一种可能的设计中,接管难度影响因素数据包括当前驾驶过程中的车辆处于自动驾驶模式的时长、驾驶员人工驾驶时长、当前时间、当前天气、当前道路是否为熟悉路线、当前道路类别以及当前车速中的至少一个参数。
在第一方面和第二方面的一种可能的设计中,第五预设算法为其中,L为第五特征值,i表示第五数据中的参数的个数,re,n为与en相对应的预设权重,fE,n(en)为第五预设函数,en表示第五数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。
在第一方面和第二方面的一种可能的设计中,第一预设条件为1-F<L,其中,F为驾驶员接管能力评估值,L为第五特征值。
在第一方面和第二方面的一种可能的设计中,第六预设算法为Q=Qold+ratiof*[(1-sf)*F-L];其中,Q为第六特征值,Qold为历史第六特征值,ratiof为第一参数,sf为第二参数,F为驾驶员接管能力评估值,L为第五特征值。
在第一方面和第二方面的一种可能的设计中,第二预设条件为1-F<L+Q,F为驾驶员接管能力评估值,L为第五特征值,Q为第六特征值。
第三方面,本申请实施例提供一种驾驶员接管评估装置,该装置具有实现上述第一方面中任一项的驾驶员接管评估方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,提供一种驾驶员接管评估装置,包括:处理器和存储器;该存储器用于存储计算机执行指令,当该驾驶员接管评估装置运行时,该处理器执行该存储器存储的该计算机执行指令,以使该驾驶员接管评估装置执行如上述第一方面中任一项的驾驶员接管评估方法。
第五方面,提供一种驾驶员接管评估装置,包括:处理器;处理器用于与存储器耦合,并读取存储器中的指令之后,根据指令执行如上述第一方面中任一项的驾驶员接管评估方法。
第六方面,本申请实施例中还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行第一方面的方法。
第七方面,本申请实施例中还提供一种计算机程序产品,包括指令,当其在计算机上运行时,使得计算机执行第一方面的方法。
第八方面,本申请实施例提供了一种驾驶员接管评估装置,该装置可以为芯片系统,该芯片系统包括处理器,还可以包括存储器,用于实现上述方法的功能。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
第九方面,提供一种驾驶员接管评估装置,该装置可以为电路系统,电路系统包括处理电路,处理电路被配置为执行如上述第一方面中任一项的驾驶员接管评估方法。
第十方面,本申请实施例提供了一种系统,系统包括第二至第五方面、第八、第九方面中任一方面的装置和/或第六方面中的可读存储介质和/或第七方面中的计算机程序产品。
附图说明
图1为本申请实施例提供的一种自动驾驶车辆的结构示意图一;
图2为本申请实施例提供的一种自动驾驶车辆的结构示意图二;
图3为本申请实施例提供的一种计算机系统的结构示意图;
图4为本申请实施例提供的一种芯片系统的结构示意图;
图5为本申请实施例提供的一种云侧指令自动驾驶车辆的应用示意图一;
图6为本申请实施例提供的一种云侧指令自动驾驶车辆的应用示意图二;
图7为本申请实施例提供的一种计算机程序产品的结构示意图;
图8为本申请实施例提供的驾驶员接管评估方法的流程示意图一;
图9为本申请实施例提供的驾驶员接管评估方法的流程示意图二;
图10为本申请实施例提供的接管效果反馈的流程示意图;
图11为本申请实施例提供的驾驶员接管评估装置的结构示意图一;
图12为本申请实施例提供的驾驶员接管评估装置的结构示意图二。
具体实施方式
为了便于理解,对本申请实施例中涉及到的相关术语进行说明,如下所示:
驾驶员接管:车辆处于自动驾驶状态时,驾驶员主动结束车辆的自动驾驶并接管车辆,或者车辆当前的自动驾驶能力不足,驾驶员被动结束车辆的自动驾驶,由驾驶员接管车辆。
深度学习(deep learning,DL):深度学习或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(artifitialneural network,ANN),在计算系统中实现人工智能。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力,可以实现端到端的监督学习和非监督学习。此外,深度学习也可参与构建强化学习系统(reinforcement learning system,RLS),形成深度强化学习。深度学习所使用的阶层具有多种形态,其阶层的复杂度被通称为“深度”,深度学习使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习”,学习的常见方法为梯度下降算法及其变体,一些统计学习理论被用于学习过程的优化。在应用方面,深度学习被用于对复杂结构和大样本的高维数据进行学习,按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等,且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。
强化学习(reinforcement learning):强化学习是智能体agent以“试错”的方式进行学习,通过与环境进行交互获得的奖赏reward指导行为action,目标是使agent获得最大的reward,强化学习不同于连接主义学习中的监督学习,主要表现在强化信号上,强化学习中由环境提供的强化信号是对产生action的好坏作一种评价(通常为标量信号),而不是告诉强化学习系统如何去产生正确的action。由于外部环境提供的信息很少,RLS必须靠自身的经历进行学习。通过这种方式,RLS在行动-评价的环境中获得知识,改进action以适应环境强化学习,又称再励学习、评价学习,是一种重要的机器学习方法,在智能控制机器人及分析预测等领域有许多应用。
本申请提供的驾驶员接管评估方法应用在具有自动驾驶功能的车辆上,或者应用于控制自动驾驶功能的其他设备(比如云端服务器)中。车辆或者其他设备(比如云端服务器)可以通过其包含的组件(包括硬件和软件)实施本申请实施例提供的驾驶员接管评估方法,获取驾驶员的接管能力评估值以及接管难度,并根据驾驶员的接管能力评估值和接管难度确定是否对驾驶员进行接管提醒。
图1是本申请实施例提供的车辆100的功能框图。在一个实施例中,车辆100处于完全或部分的自动驾驶模式时,可以在控制自身的同时,获取车辆、驾驶员及其周边环境的状态信息,确定驾驶员的接管能力以及接管难度,进而根据驾驶员当前的能力是否足够其接管车辆,对驾驶员进行接管提醒。
车辆100可包括各种子系统,例如行进系统110、传感器系统120、控制系统130、一个或多个外围设备140以及电源150、计算机系统160和用户接口170。可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线互连。
行进系统110可包括为车辆100提供动力运动的组件。在一个实施例中,行进系统110可包括引擎111、传动装置112、能量源113和车轮114。引擎111可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎111将能量源113转换成机械能量。
能量源113的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源113也可以为车辆100的其他系统提供能量。
传动装置112可以将来自引擎111的机械动力传送到车轮114。传动装置112可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置112还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮114的一个或多个轴。
传感器系统120可包括感测关于车辆100周边的环境的信息的若干个传感器。例如,传感器系统120可包括定位系统121(定位系统可以是全球定位系统(globalpositioning system,GPS),也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)122、雷达123、激光测距仪124以及相机125。传感器系统120还可包括被监视车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆100自动驾驶的安全操作的关键功能。
定位系统121可用于估计车辆100的地理位置。IMU 122用于基于惯性加速度来感测车辆100的位置和朝向变化。在一个实施例中,IMU 122可以是加速度计和陀螺仪的组合。
雷达123可利用无线电信号来感测车辆100的周边环境内的物体。在一些实施例中,除了感测物体以外,雷达123还可用于感测物体的速度和/或前进方向。
激光测距仪124可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中,激光测距仪124可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
相机125可用于捕捉车辆100的周边环境的多个图像,以及车辆驾驶舱内的多个图像。相机125可以是静态相机或视频相机。
控制系统130可控制车辆100及其组件的操作。控制系统130可包括各种元件,其中包括转向系统131、油门132、制动单元133、计算机视觉系统134、路线控制系统135以及障碍规避系统136。
转向系统131可操作来调整车辆100的前进方向。例如在一个实施例中可以为方向盘系统。
油门132用于控制引擎111的操作速度并进而控制车辆100的速度。
制动单元133用于控制车辆100减速。制动单元133可使用摩擦力来减慢车轮114。在其他实施例中,制动单元133可将车轮114的动能转换为电流。制动单元133也可采取其他形式来减慢车轮114转速从而控制车辆100的速度。
计算机视觉系统134可以操作来处理和分析由相机125捕捉的图像以便识别车辆100周边环境中的物体和/或特征以及车辆驾驶舱内的驾驶员的肢体特征和面部特征。所述物体和/或特征可包括交通信号、道路状况和障碍物,所述驾驶员的肢体特征和面部特征包括驾驶员的行为、视线、表情等。计算机视觉系统134可使用物体识别算法、运动中恢复结构(structure from motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统134可以用于为环境绘制地图、跟踪物体、估计物体的速度、确定驾驶员行为、人脸识别等等。
路线控制系统135用于确定车辆100的行驶路线。在一些实施例中,路线控制系统135可结合来自传感器、定位系统121和一个或多个预定地图的数据以为车辆100确定行驶路线。
障碍规避系统136用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。
当然,在一个实例中,控制系统130可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆100通过外围设备140与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备140可包括无线通信系统141、车载电脑142、麦克风143和/或扬声器144。
在一些实施例中,外围设备140提供车辆100的用户与用户接口170交互的手段。例如,车载电脑142可向车辆100的用户提供信息。用户接口170还可操作车载电脑142来接收用户的输入。车载电脑142可以通过触摸屏进行操作。在其他情况中,外围设备140可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风143可从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器144可向车辆100的用户输出音频。
无线通信系统141可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统141可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统141可利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信系统141可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统141可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备。
电源150可向车辆100的各种组件提供电力。在一个实施例中,电源150可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源,从而为车辆100的各种组件提供电力。在一些实施例中,电源150和能量源113可一起实现,例如一些全电动车中那样。
车辆100的部分或所有功能受计算机系统160控制。计算机系统160可包括至少一个处理器161,处理器161执行存储在例如数据存储装置162这样的非暂态计算机可读介质中的指令1621。计算机系统160还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器161可以是任何常规的处理器,诸如商业可获得的中央处理单元(centralprocessing unit,CPU)。替选地,该处理器可以是诸如专用集成电路(applicationspecific integrated circuit,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同物理外壳中的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机系统、或存储器实际上可以包括可以存储在相同的物理外壳内的多个处理器、计算机系统、或存储器,或者包括可以不存储在相同的物理外壳内的多个处理器、计算机系统、或存储器。例如,存储器可以是硬盘驱动器,或位于不同于物理外壳内的其它存储介质。因此,对处理器或计算机系统的引用将被理解为包括对可以并行操作的处理器或计算机系统或存储器的集合的引用,或者可以不并行操作的处理器或计算机系统或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,数据存储装置162可包含指令1621(例如,程序逻辑),指令1621可被处理器161执行来执行车辆100的各种功能,包括以上描述的那些功能。数据存储装置162也可包含额外的指令,包括向行进系统110、传感器系统120、控制系统130和外围设备140中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令1621以外,数据存储装置162还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统160使用。
比如,在本申请实施例中,数据存储装置162从传感器系统120或车辆100的其他组件获取环境信息以及驾驶员信息,环境信息例如可以为车辆当前所处的道路类别、当前天气、当前时间等。比如,车辆通过机器学习算法计算当前所处环境的道路类别等。驾驶员信息例如可以为驾驶员的驾驶经历、驾驶员的疲劳状态、驾驶员当前的身体状况等。比如,车辆通过人脸识别算法确定驾驶员身份,并根据驾驶员身份从交通联网中心获取驾驶员的驾驶经历,或者通过人脸检测算法确定驾驶员的疲劳状态等。数据存储装置162还可以存储该车辆自身的状态信息,以及与该车辆有交互的其他车辆或设备的状态信息。状态信息包括但不限于车辆的速度、加速度、航向角等。比如,车辆基于雷达123的测速、测距功能,得到车辆自身的速度、其他车辆的速度等。如此,处理器161可从数据存储装置162获取这些信息,并基于车辆所处环境的环境信息、车辆自身的状态信息、其他车辆的状态信息,以及预设算法,得到驾驶员的接管能力和接管难度,且在驾驶员的接管能力不足时,对驾驶员进行接管提醒,以提醒驾驶员集中注意力或提高其接管能力。
用户接口170,用于向车辆100的用户提供信息或从其接收信息。可选地,用户接口170可包括与在外围设备140的集合内的一个或多个输入/输出设备与用户进行交互和信息交换的接口,其中,外围设备140的集合内的一个或多个输入/输出设备可以为例如无线通信系统141、车载电脑142、麦克风143和扬声器144中的一个或多个。
计算机系统160可基于从各种子系统(例如,行进系统110、传感器系统120和控制系统130)以及从用户接口170接收的输入来控制车辆100的功能。例如,计算机系统160可利用来自控制系统130的输入,以便控制转向系统131,从而规避由传感器系统120和障碍规避系统136检测到的障碍物。在一些实施例中,计算机系统160可操作来对车辆100及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆100分开安装或关联。例如,数据存储装置162可以部分或完全地与车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本申请实施例的限制。
在道路行进的自动驾驶车辆,如上面的车辆100,可以识别其自身状态、周围环境以及驾驶员的状态,以确定是否对驾驶员进行接管提醒。所述自身状态可以是其当前速度等,所述周围环境可以是道路类别、天气等,所述驾驶员的状态可以是驾驶员的疲劳状态、面部表情、驾驶风格等。在一些示例中,可以独立地考虑每个自动驾驶的车辆自身的特点,驾驶员的特征,并且基于车辆和驾驶员的各自的特性,来确定驾驶员的接管能力和接管难度,在驾驶员的接管能力不足时对驾驶员进行接管提醒。
可选地,自动驾驶车辆100或者与自动驾驶车辆100相关联的计算设备(如图1的计算机系统160、计算机视觉系统134、数据存储装置162)可以基于所识别的驾驶员的特征、周围环境的状态(例如,道路类别、天气、当前时间等等)和车辆的状态来预测驾驶员的接管能力和接管难度。可选地,接管难度依赖于车辆的状态,驾驶员的特征,因此,还可以将所识别的所有车辆的状态和驾驶员的特征全部一起考虑来预测接管难度以及驾驶员的接管能力。车辆100能够基于预测的所述接管难度以及驾驶员的接管能力来确定是否进行接管提醒。在这个过程中,也可以考虑其它因素来确定是否进行接管提醒,诸如,车辆100上次被人工接管后的接管效果等等。
除了提供调整自动驾驶车辆的速度的指令之外,计算设备还可以提供修改车辆100的转向角的指令,以使得自动驾驶车辆遵循给定的轨迹和/或维持与自动驾驶车辆附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本申请实施例不做特别的限定。
在本申请的另一些实施例中,自动驾驶车辆还可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
参见图2,示例性的,车辆中可以包括以下模块:
环境感知模块201,用于获取路侧传感器与车载传感器识别的车辆、行人、路面、路面物体的信息。路侧传感器与车载传感器可以是摄像头、超声波雷达、激光雷达、毫米波雷达等,环境感知模块获取到的数据可以是原始采集的视频流、雷达的点云数据或者是经过分析的结构化的人、车、物的位置、速度、转向角度、尺寸大小数据,对于原始的视频流数据、雷达的点云数据,环境感知模块可以将这些数据处理成可识别的结构化的人、车、物的位置、速度、转向角度、尺寸大小等数据,并向规则控制模块202传递这些数据,以生成驾驶策略。
规则控制模块202:用于根据车辆自身状态信息(比如速度、位置等),与车辆有交互的目标物体(比如其他车辆)的状态信息,驾驶员的状态信息(比如驾驶员的驾驶经历、驾驶员的疲劳程度等)和环境信息(比如路面条件、天气条件等)输出驾驶策略,以及该驾驶策略对应的动作指令,该动作指令用于指示车辆控制模块对车辆进行自动驾驶控制。
车辆控制模块203:用于从规则控制模块202接收动作指令,以控制车辆完成自动驾驶的操作,并对驾驶员进行接管提醒。
车载通信模块204(图2中未示出):用于自车和其他车或设备之间的信息交互。
存储组件205(图2中未示出),用于存储上述各个模块的可执行代码。运行这些可执行代码可实现本申请实施例的部分或全部方法流程。
在本申请实施例的一种可能的实现方式中,如图3所示,图1所示的计算机系统160包括处理器301,处理器301和系统总线302耦合。处理器301可以是一个或者多个处理器,其中每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)303,显示适配器303可以驱动显示器324,显示器324和系统总线302耦合。系统总线302通过总线桥304和输入输出(I/O)总线(BUS)305耦合。I/O接口306和I/O总线305耦合。I/O接口306和多种I/O设备进行通信,比如输入设备307(如:键盘,鼠标,触摸屏等),多媒体盘(media tray)308,(例如,CD-ROM,多媒体接口等)。收发器309(可以发送和/或接收无线电通信信号),摄像头310(可以捕捉静态和动态数字视频图像)和外部通用串行总线(universal serial bus,USB)接口311。其中,可选地,和I/O接口306相连接的接口可以是USB接口。
其中,处理器301可以是任何传统处理器,包括精简指令集计算(reducedinstruction set computer,RISC)处理器、复杂指令集计算(complex instruction setcomputer,CISC)处理器或上述的组合。可选地,处理器可以是诸如专用集成电路(ASIC)的专用装置。可选地,处理器301可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。
可选地,在本文所述的各种实施例中,计算机系统160可位于远离自动驾驶车辆的地方,并且可与自动驾驶车辆100无线通信。在其它方面,本文所述的一些过程可设置在自动驾驶车辆内的处理器上执行,其它一些过程由远程处理器执行,包括采取执行单个操纵所需的动作。
计算机系统160可以通过网络接口312和软件部署服务器(deploying server)313通信。网络接口312是硬件网络接口,比如,网卡。网络(network)314可以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(virtual private network,VPN)。可选地,网络314还可以为无线网络,比如WiFi网络,蜂窝网络等。
硬盘驱动器接口315和系统总线302耦合。硬盘驱动器接口315和硬盘驱动器316相连接。系统内存317和系统总线302耦合。运行在系统内存317的数据可以包括计算机系统160的操作系统(operating system,OS)318和应用程序319。
操作系统包括但不限于Shell320和内核(kernel)321。Shell 320是介于使用者和操作系统的内核(kernel)间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互:等待使用者的输入,向操作系统解释使用者的输入,并且处理各种各样的操作系统的输出结果。
内核321由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互,操作系统内核通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等等功能。
应用程序319包括控制汽车自动驾驶相关的程序,比如,管理自动驾驶的车辆和路上障碍物交互的程序,控制自动驾驶车辆路线或者速度的程序,控制自动驾驶车辆和路上其他自动驾驶车辆交互的程序。应用程序319也存在于deploying server 313的系统上。在一个实施例中,在需要执行应用程序319时,计算机系统160可以从deploying server 313下载应用程序319。
又比如,应用程序319可以是控制车辆根据上述环境信息、状态信息,以及传统的基于规则的驾驶策略计算最终驾驶策略的应用程序。其中,环境信息为车辆当前所处环境的信息(绿化带、车道、交通信号灯等),状态信息为与车辆有交互的目标对象的信息(速度、加速度等)。计算机系统160的处理器301调用该应用程序319,得到最终的驾驶策略。
传感器322和计算机系统160关联。传感器322用于探测计算机系统160周围的环境。举例来说,传感器322可以探测动物,汽车,障碍物和人行横道等。进一步传感器还可以探测上述动物,汽车,障碍物和人行横道等物体周围的环境。比如:动物周围的环境,例如,动物周围出现的其他动物,天气条件,周围环境的光亮度等。可选地,如果计算机系统160位于自动驾驶的车辆上,传感器可以是摄像头,红外线感应器,化学检测器,麦克风等。
在本申请的另一些实施例中,本申请实施例的驾驶员接管评估方法还可以由芯片系统执行。参见图4,是本申请实施例提供的一种芯片系统的结构图。
神经网络处理器(neural processing unit,NPU)40作为协处理器挂载到主CPU(Host CPU)上,由Host CPU为NPU分配任务。NPU的核心部分为运算电路403。示例性的,通过控制器404控制运算电路403,从而运算电路403可提取存储器中的矩阵数据并进行乘法运算。
在一些实现中,运算电路403内部包括多个处理单元(process engine,PE)。在一些实现中,运算电路403是二维脉动阵列。运算电路403还可以是一维脉动阵列,或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路403是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路403从权重存储器402中获取权重矩阵B相应的数据,并缓存在运算电路403中每一个PE上。运算电路403从输入存储器401中取输入矩阵A相应的数据,并根据输入矩阵A和权重矩阵B进行矩阵运算,得到矩阵运算的部分结果或最终结果可保存在累加器(accumulator)408中。
又比如,运算电路403可用于实现特征提取模型(如卷积神经网络模型),并将图像数据输入卷积神经网络模型,通过该模型的运算,得到图像的特征。进而,将图像特征输出到分类器,由分类器输出图像中物体的分类概率。
统一存储器406用于存放输入数据以及输出数据。外部存储器中的权重数据直接通过存储单元访问控制器(direct memory access controller,DMAC)405被送往到权重存储器402中。外部存储器中的输入数据可通过DMAC被搬运到统一存储器406中,或者被搬运到输入存储器401中。
总线接口单元(bus interface unit,BIU)410,用于AXI总线与DMAC和取指存储器(instruction fetch buffer)409的交互。还用于取指存储器409从外部存储器获取指令,还用于存储单元访问控制器405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器(DDR)中的输入数据搬运到统一存储器406,或将权重数据搬运到权重存储器402中,或将输入数据搬运到输入存储器401中。
向量计算单元407可包括多个运算处理单元。用于在需要的情况下,可以对运算电路403的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/FC层网络计算,如池化(pooling),批归一化(batchnormalization),局部响应归一化(local response normalization)等。
在一些实现种,向量计算单元407将经处理的输出向量存储到统一存储器506。例如,向量计算单元407可以将非线性函数应用到运算电路403的输出,例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元407生成归一化的值、合并值,或二者均有。在一些实现中,处理过的输出向量还能够用作运算电路403的激活输入,例如用于在神经网络中的后续层中的使用。
控制器404连接取指存储器(instruction fetch buffer)409,控制器404使用的指令可存储在取指存储器409中。
作为一种可能的实现方式,统一存储器406,输入存储器401,权重存储器402以及取指存储器409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
结合图1至图3,主CPU和NPU共同配合,可实现图1中车辆100所需功能的相应算法,也可实现图2所示车辆所需功能的相应算法,也可以实现图3所示计算机系统160所需功能的相应算法。
在本申请的另一些实施例中,计算机系统160还可以从其它计算机系统接收信息或转移信息到其它计算机系统。或者,从车辆100的传感器系统120收集的传感器数据可以被转移到另一个计算机,由另一计算机对此数据进行处理。如图5所示,来自计算机系统160的数据可以经由网络被传送到云侧的计算机系统510用于进一步的处理。网络以及中间节点可以包括各种配置和协议,包括因特网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司的专有通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合。这种通信可以由能够传送数据到其它计算机和从其它计算机传送数据的任何设备执行,诸如调制解调器和无线接口。
在一个示例中,另一计算机系统510(位于服务器)可以包括具有多个计算机的服务器,例如负载均衡服务器群。为了从计算机系统160接收、处理并传送数据,另一计算机系统510与网络的不同节点交换信息。该服务器520可以具有类似于计算机系统160的配置,并具有处理器530、存储器540、指令550、和数据560。
在一个示例中,服务器520的数据560可以包括提供天气相关的信息。例如,服务器520可以接收、监视、存储、更新、以及传送与天气相关的各种信息。该信息可以包括例如以报告形式、雷达信息形式、预报形式等的降水、云、和/或温度信息和/或湿度信息。
参见图6,为自主驾驶车辆和云服务中心(云服务器)交互的示例。云服务中心可以经诸如无线通信网络的网络611,从其环境600内的自动驾驶车辆613、612接收信息(诸如车辆传感器收集到的数据或者其它信息)。
云服务中心620根据接收到的数据,运行其存储的根据驾驶员接管能力和接管难度对驾驶员进行接管提醒的相关的程序,对自动驾驶车辆613、612中接管能力不足的驾驶员进行接管提醒。根据驾驶员接管能力和接管难度对驾驶员进行接管提醒的相关的程序可以为:确定驾驶员的接管能力的程序,或者确定接管难度的程序,或者确定是否对驾驶员进行接管提醒的程序。
示例性的,云服务中心620通过网络611可将地图的部分提供给车辆613、612。在其它示例中,可以在不同位置之间划分操作。例如,多个云服务中心可以接收、证实、组合和/或发送信息报告。在一些示例中还可以在车辆之间发送信息报告和/传感器数据。其它配置也是可能的。
在一些示例中,云服务中心620向自动驾驶车辆发送指示对驾驶员进行/不进行接管提醒的响应。例如,云服务中心620基于收集到的传感器数据和驾驶员信息,确定驾驶员的接管能力以及接管难度,基于驾驶员的接管能力和接管难度,确定驾驶员的接管能力不足,指示车辆对驾驶员进行接管提醒。云服务中心620观察其操作环境600内的视频流或者车辆613、612的状态的变化,例如速度的变化,并且确认人工接管的接管效果,以便在下次接管前,根据接管效果对本次接管结束后的驾驶员的接管能力进行评估,更准确地指示车辆对驾驶员进行接管提醒。
在一些实施例中,所公开的方法可以实施为以机器可读格式,被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图7示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图,示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中,示例计算机程序产品700是使用信号承载介质701来提供的。信号承载介质701可以包括一个或多个程序指令702,其当被一个或多个处理器运行时可以提供以上针对图1至图6描述的全部功能或者部分功能,或者可以提供后续实施例中描述的全部或部分功能。例如,参考图8中所示的实施例,S801至S804中的一个或多个特征可以由与信号承载介质701相关联的一个或多个指令来承担。此外,图7中的程序指令702也描述示例指令。
在一些示例中,信号承载介质701可以包含计算机可读介质703,诸如但不限于,硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等等。在一些实施方式中,信号承载介质601可以包含计算机可记录介质704,诸如但不限于,存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中,信号承载介质701可以包含通信介质705,诸如但不限于,数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此,例如,信号承载介质701可以由无线形式的通信介质705(例如,遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令702可以是,例如,计算机可执行指令或者逻辑实施指令。在一些示例中,诸如针对图1至图6描述的计算设备可以被配置为,响应于通过计算机可读介质703、和/或计算机可记录介质704、和/或通信介质705中的一个或多个传达到计算设备的程序指令702,提供各种操作、功能、或者动作。应该理解,这里描述的布置仅仅是用于示例的目的。因而,本领域技术人员将理解,其它布置和其它元素(例如,机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用,并且一些元素可以根据所期望的结果而一并省略。另外,所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。
本申请实施例提供一种驾驶员接管评估方法,该方法可应用于图1至图6所示的装置中,如图8所示,该方法包括如下步骤:
S801、获取第一数据、第二数据、第三数据、第四数据和第五数据。
驾驶员在进入车辆之后,车辆终端通过人脸识别、声纹识别、手机蓝牙钥匙、用户注册或登录等方法识别用户身份,从而获取第一数据、第二数据、第三数据、第四数据和第五数据。
如表1所示,第一数据包括驾驶员的行为以及行为的持续时间,驾驶员的行为可以为正常、打电话、玩手机、饮食、操作控制系统与乘客交谈等。车辆终端通过驾驶员座舱的监控摄像头实时采集驾驶员的视频,利用深度学习的算法确定当前时刻驾驶员的行为以及到当前时刻为止该行为的持续时间,即驾驶员的行为以及行为的持续时间。需要说明的是,驾驶员的行为还可以为唱歌、睡眠或化妆等影响驾驶员注意力的行为,并不局限于本实施例中所提及的打电话、玩手机等行为。
表1
如表2所示,第二数据包括驾驶员的视线停留区域以及视线停留时间,驾驶员的视线停留区域可以为前挡风玻璃的左半边下部分、前挡风玻璃的左半边上部分、前挡风玻璃的右半边部分、方向盘、左后视镜、右后视镜、左车窗、右车窗、控制单元VCU屏幕或副驾驶座椅。需要说明的是,驾驶员视线停留区域的划分方式还可以为除本实施例之外的其他合理的划分方式,具体的驾驶员视线停留区域的划分可以根据车辆终端以及驾驶员的实际情况确定。
表2
如表3所示,第三数据为驾驶员的异常驾驶状态数据,驾驶员的异常驾驶状态数据包括实时疲劳程度、预设时间段内的平均疲劳程度、驾驶员的面部表情中的至少一个参数,其中驾驶员的面部表情可以为正常、开心、悲伤或生气等,即驾驶员的面部表情表示驾驶员的情绪,当驾驶员的情绪异常时,驾驶员的状态异常。车辆终端通过检测驾驶员面部的摄像头获取驾驶员的面部图像,利用人脸检测算法截取人脸框,获取驾驶员的面部特征,例如眼睛的开闭频率、哈欠频率等,结合深度学习算法以及驾驶员或车辆的驾驶时长确定驾驶员的疲劳程度、驾驶员预设时长内的平均疲劳程度,以及驾驶员的面部表情。
表3
如表4所示,第四数据为驾驶员的用户画像数据,驾驶员的用户画像数据包括驾驶员的驾驶风格、驾驶员的驾龄、驾驶员的驾驶频率、驾驶员的事故率以及驾驶员当前的身体状况中的至少一个参数,其中,驾驶员的风格可以有多种,本实施例以驾驶员的风格为稳健或冒险进行说明。车辆终端利用控制器局域网络(Controller Area Network,CAN)总线获取一段时间内的控制系统的方向盘转角、角速度、油门力度、刹车力度、实时速度等驾驶行为信息,对获取到的驾驶行为信息进行分析,以确定驾驶员的驾驶风格。车辆终端周期性的获取驾驶员的驾龄、驾驶员的驾驶频率、驾驶员的事故率以及驾驶员当前的身体状况,其中,驾驶员的驾龄、驾驶员的驾驶频率以及驾驶员的事故率是通过交通联网中心、车辆保险等途径获取,驾驶员当前的身体状况可以通过医疗卫生联网等方式获取。需要说明的是,驾驶员的用户画像数据并不局限于本申请实施例中所提到的数据,还可以包括驾驶员的性别、驾驶员的驾车总公里数等。
表4
表5
如表5所示,第五数据为接管难度影响因素数据,接管难度影响因素数据包括当前驾驶过程中的车辆处于自动驾驶模式的时长、驾驶员人工驾驶时长、当前时间、当前天气、当前道路是否为熟悉路线、当前道路类别以及当前车速中的至少一个参数。其中当前天气为正常、阴天、小雨/小雪、大雨/大雪或大雾等,当前天气可以通过硬盘录像机(digitalvideo recorder,DVR)摄像头识别、先进驾驶辅助系统(advanced driver assistancesystem,ADAS)摄像头识别、天气应用(application,APP)获取等方法获取。当前道路类别为高速路、城市主路或城市支路等,当前道路类别通过自动驾驶模块(感知模块中的摄像头识别、高精度地图模块)获取当前道路类别。需要说明的是,影响接管难度的因素还可以包括当前道路上的其他车辆数目、当前道路是否为事故多发地段等,而不仅仅局限于本实施例中给出的当前天气、当前时间等因素。
S802、根据第一数据以及第一预设算法确定第一特征值。
示例性的,在第一预设算法中,驾驶员的行为a1的取值为0-5的整数,0、1、2、3、4、5所代表的驾驶员的行为分别为正常、打电话、玩手机、饮食、操作控制系统、与乘客交谈。第一预设函数fA(a1)是定义域能够满足a1的取值,且值域为[0,1]的分段函数,例如线性函数、logit函数、复合指数函数等。具体的,第一预设函数可以根据驾驶员的行为对其接管能力的影响程度,通过实验方式确定。在第一预设函数的值域[0,1]内,驾驶员的行为的持续时间越久,则m1的值越接近于1,反之则越接近于0。
S803、根据第二数据以及第二预设算法确定第二特征值。
示例性的,在第二预设算法中,驾驶员的视线停留区域b1的取值为0-9的整数,0、1、2、3、4、5、6、7、8、9所对应的驾驶员的视线停留区域分别为前挡风玻璃的左半边下部分、前挡风玻璃的左半边上部分、前挡风玻璃的右半边部分、方向盘、左后视镜、右后视镜、左车窗、右车窗、控制系统屏幕、副驾驶座椅。第二预设函数fB(b1)是定义域能够满足b1的取值,且值域为[0,1]的分段函数,例如线性函数、logit函数、复合指数函数等。具体的,第二预设函数可以根据驾驶员的视线停留区域对其接管能力的影响程度,通过实验方式确定。在第一预设函数的值域[0,1]内,驾驶员的视线停留时间越长,则m2的值越接近于1,反之则越接近于0。
S804、根据第三数据以及第三预设算法确定第三特征值。
第三预设算法为其中,m3为第三特征值,用来表示驾驶员的异常驾驶状态,i表示第三数据中的参数的个数,fC,n(cn)为第三预设函数,rc,n为与cn对应的预设权重,rc,n根据cn对驾驶员的接管能力的影响程度确定,cn表示第三数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。
示例性的,以第三数据,即驾驶员的异常驾驶状态数据包括实时疲劳程度c1、预设时间段内的平均疲劳程度c2和驾驶员的面部表情c3共三个参数为例。在第三预设算法中,i=3,实时疲劳程度c1的取值范围为[0,1],0表示清醒,1表示严重疲劳,预设时间段内的平均疲劳程度c2的取值范围为[0,1],0表示清醒,1表示严重疲劳,驾驶员的面部表情c3的取值为0-3的整数,0、1、2、3所对应的驾驶员的面部表情分别为正常、开心、悲伤、生气。第三预设函数fC,n(cn)为输入向量C即cn的归一化函数,其定义域可以满足cn的取值,值域为[0,1]。具体的,对于输入向量C中的c1和c2,第三预设函数可以为fC,n=cn,对于输入向量C中的c3,第三预设函数可以根据驾驶员的面部表情对其接管能力的影响程度,通过实验方式确定。在第三预设函数的值域[0,1]内,驾驶员的疲劳程度、驾驶员的预设时间段内的平均疲劳程度越大或驾驶员的表情出现较大的变化(即驾驶员情绪较为激动或烦躁),则m3的值越接近于1,反之则越接近于0。
S805、根据第四数据以及第四预设算法确定第四特征值。
第四预设算法为其中,m4为第四特征值,用来表示驾驶员的用户画像,i表示第四数据中的参数的个数,fD,n(dn)为第四预设函数,dn表示第四数据中的第n个参数,rd,n为与dn相对应的预设权重,rd,n根据dn对驾驶员的接管能力的影响程度确定,n的取值范围为大于等于1小于等于i的整数。
示例性的,以驾驶员的用户画像数据包括驾驶员的驾驶风格d1、驾驶员的驾龄d2(单位为年)、驾驶员的驾驶频率d3(单位为公里/日)、驾驶员的事故率d4(单位为次/万公里)以及驾驶员当前的身体状况d5中的所有参数为例。在第四预设算法中,i=5,驾驶员的驾驶风格d1的取值范围为[0,1],0表示驾驶员的驾驶风格为极稳健,1表示驾驶员的驾驶风格为极冒险,驾驶员当前的身体状况d5的取值范围为0和1,0表示驾驶员当前的身体状况正常,1表示驾驶员当前的身体状况不正常。第四预设函数fD,n(dn)为输入向量D即dn的归一化函数,其定义域可以满足dn的取值,值域为[0,1]。具体的,对于输入向量D中的驾驶员的驾驶风格d1和驾驶员当前的身体状况d5,第四预设函数可以根据d1和d5对驾驶员接管能力的影响程度确定。对于输入向量D中的驾驶员的驾龄d2、驾驶员的驾驶频率d3、驾驶员的事故率d4,通过复合指数函数(n=2,3,4)确定,其中,Pd,n可以为系数函数等,根据dn对接管能力影响程度,通过实验的方式确定。在第四预设函数的值域[0,1]内,驾驶员的驾驶风格越冒险、驾驶员的驾龄越小、驾驶员的驾驶频率越低、驾驶员的事故率越高或驾驶员当前的身体状况越差,m4的值越接近于1,反之则越接近于0。
S806、根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。
示例性的,由处理器执行S806。
根据第一特征值、第二特征值、第三特征值、第四特征值以及驾驶员接管能力评估算法F=k1*m1+k2*m2+k3*m3+k4*m4,确定所述驾驶员接管能力评估值。
其中,F为所述驾驶员接管能力评估值,m1为所述第一特征值,k1为所述第一特征值的预设权重,m2为所述第二特征值,k2为所述第二特征值的预设权重,m3为所述第三特征值,k3为所述第三特征值的预设权重,m4为所述第四特征值,k4为所述第四特征值的预设权重。驾驶员的接管能力越低,则F的值越大。
综上,本申请可以根据多方面的因素,包括驾驶员的行为以及行为的持续时间、驾驶员的视线停留区域以及视线停留时间、驾驶员的异常驾驶状态数据和驾驶员的用户画像数据,来确定驾驶员的接管能力评估值,以提高对驾驶员接管能力评估的准确性。
S807、根据第五数据以及第五预设算法确定第五特征值。
第五预设算法为其中,L为第五特征值,用于表示接管难度,i表示第五数据中的参数的个数,re,n为与en相对应的预设权重,re,n根据en对接管难度的影响程度确定,fE,n(en)为第五预设函数,en表示第五数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。
示例性的,以接管难度影响因素数据包括当前驾驶过程中的车辆处于自动驾驶模式的时长e1(单位为s)、驾驶员人工驾驶时长e2(单位为h)、当前时间e3(单位为h,24小时制)、当前天气e4、当前道路是否为熟悉路线e5、当前道路类别e6以及当前车速e7(单位为公里/小时)中的所有参数为例。在第五预设算法中,i=7,当前时间e3的取值范围为[0,24),当前天气e4的取值范围为0-4的整数,0、1、2、3、4所对应的当前天气分别为阴天、小雨/小雪、大雨/大雪、大雾,当前道路是否为熟悉路线e5的取值为0和1,0表示当前道路为熟悉路线,1表示当前道路为不熟悉路线,当前道路类别e6的取值为0-2的整数,0表示当前道路为高速路,1表示当前道路为城市主路,2表示当前道路为城市支路。第五预设函数fE,n(en)为输入向量E即en的归一化函数,其定义域可以满足en的取值,值域为[0,1]。具体的,第五预设函数可以通过复合指数函数确定,其中,Pe,n为复合指数函数的常熟项,根据en对接管能力影响程度,通过实验的方式确定。在第五预设函数的值域[0,1]内,L的值越接近于1,则表示当前的接管难度越大。
S808、如果驾驶员接管能力评估值以及第五特征值满足第一预设条件,则驾驶员接管能力不足。
若驾驶员接管能力评估值F与第五特征L满足第一预设条件1-F<L,则认为驾驶员的接管能力不足,对驾驶员进行接管提醒。
示例性的,上述步骤S801-S808,可以由图1所示的计算机系统160中的处理器161、图3所示的处理器301、图4中的神经网络处理器40或图5中的处理器530执行。
通过上述过程,本申请在驾驶员接管能力不足时,对驾驶员进行接管提醒,使得驾驶员集中注意力,以提高驾驶员当前的接管能力,从而提高自动驾驶的安全性。
本申请的实施例提供了一种驾驶员接管评估方法,获取第一数据、第二数据、第三数据、第四数据和第五数据后,根据第一数据和第一预设算法确定第一特征值、根据第二数据和第二预设算法确定第二特征值,根据第三数据和第三预设算法确定第三特征值,根据第四数据和第四预设算法确定第四特征值。进而根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。再根据第五数据和第五预设算法确定第五特征值,如果驾驶员接管能力评估值和第五特征值满足第一预设条件,则驾驶员的接管能力不足。本申请通过第一数据、第二数据、第三数据、第四数据来确定驾驶员的接管能力评估值,并根据驾驶员的接管能力评估值和第五特征值对驾驶员进行接管提醒,考虑因素较为全面,可以提高驾驶员的接管能力评估的准确性以及接管提醒的准确性,使驾驶员集中注意力,以提高其接管能力,从而提高自动驾驶的安全性。
本申请实施例还提供了另一种驾驶员接管评估方法,在图8所示的步骤S807之后,还包括步骤S901-S904该方法可应用于图1至图6所示的装置中,参见图9,该方法包括如下步骤:
S901、获取第六数据。
如表6所示,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后的车辆行驶加速度、车辆转向加速度。
表6
示例性的,在驾驶员接管车辆前后的第一预设时间段内,对车辆速度进行抽样处理,得到n个速度样本,对这n个速度样本进行方差分析(analysis of variance,ANOVA),得到驾驶员接管车辆前后的车辆速度波动性。在驾驶员接管车辆前后的第一预设时间段内,对车辆方向盘的角速度进行抽样处理,得到m个角速度样本,对这m个角速度样本进行ANOVA,得到驾驶员接管车辆前后的车辆行驶方向波动性。在驾驶员接管车辆后的第二预设时间段内,获取车辆的行驶加速度,以及车辆转向加速度。
在另一种可能的实现方式中,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后是否存在急刹车现象、驾驶员接管车辆之后是否存在急转向或急变道现象。
S902、根据第六数据,确定接管效果。
可选的,在一种可能的实现方式中,若驾驶员接管车辆后的车辆行驶加速度超过第一预设阈值(即驾驶员接管车辆后存在急刹车现象),或驾驶员接管车辆后的车辆转向加速度超过第二预设阈值(即驾驶员接管车辆后存在急转向或急变道现象),则确定接管效果为严重困难接管。若驾驶员接管车辆后的车辆行驶加速度未超过第一预设阈值且驾驶员接管车辆后的车辆转向加速度未超过第二预设阈值,则继续判断驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性是否均超过第三预设阈值,若是,则接管效果为有效接管,反之,则接管效果为困难接管。
示例性的,第一预设阈值为p,第二预设阈值为q,第三预设阈值为w,驾驶员接管车辆前后的车辆速度波动性为f1,驾驶员接管车辆前后的车辆行驶方向波动性为f2,驾驶员接管车辆后的车辆行驶加速度为f3,驾驶员接管车辆后的车辆转向加速度为f4。若f3>=p或f4>=q,则接管效果为严重困难接管,若f3<p,f4<q且f1>w,f2>w,则接管效果为有效接管,反之,若f3<p,f4<q且f1<=w或f2<=w,则接管效果为困难接管。
在另一种可能的实现方式中,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后是否存在急刹车现象、驾驶员接管车辆之后是否存在急转向或急变道现象。若驾驶员接管车辆后存在急刹车现象,或驾驶员接管车辆之后存在急转向或急变道现象,则接管效果为严重困难接管。若驾驶员接管车辆后不存在急刹车现象,且驾驶员接管车辆之后不存在急转向或急变道现象,则判断驾驶员接管车辆前后的车辆速度波动性以及车辆行驶方向波动性均超过第三预设阈值,若是,则接管效果为有效接管,若否,则接管效果为困难接管。
示例性的,第六数据包括驾驶员接管车辆前后的车辆速度波动性f1、车辆行驶方向波动性f2以及驾驶员接管车辆后是否存在急刹车现象f5、驾驶员接管车辆之后是否存在急转向或急变道现象f6。若驾驶员接管车辆后存在急刹车现象f5=1,或驾驶员接管车辆之后存在急转向或急变道现象f6=1,则接管效果为严重困难接管。若驾驶员接管车辆后不存在急刹车现象f5=0,且驾驶员接管车辆之后不存在急转向或急变道现象f6=0,则判断驾驶员接管车辆前后的车辆速度波动性f1以及车辆行驶方向波动性f2均超过第三预设阈值w(w可以设置为0.1),若是,则接管效果为有效接管,若否,则接管效果为困难接管。
S903、根据接管效果确定第一参数和第二参数。
S904、根据第六数据以及第六预设算法确定第六特征值。
步骤S903中的第一参数和第二参数与接管效果存在对应关系,且第一参数和第二参数用于确定第六预设算法。
第六预设算法为Q=Qold+ratiof*[(1-sf)*F-L],其中,Q为即第六特征值,用于表示接管效果反馈,Qold为历史第六特征值,ratiof为第一参数,sf为第二参数,F为驾驶员接管能力评估值,L为第五特征值。
示例性的,若接管效果为严重困难接管,则第一参数为0.2,第二参数为0.25;若接管效果为困难接管,则第一参数为0.1,第二参数为0.2;若接管效果为有效接管,则第一参数为0.01,第二参数为0.05。
需要说明的是,第一参数与第二参数的取值可以根据实际情况确定,并不局限于本申请中所给出的数值。
S905、若驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件,则提示驾驶员接管能力不足。
若驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件1-F<L+Q,F为驾驶员接管能力评估值,L为第五特征值,Q为第六特征值,以使得驾驶员集中注意力,提高其当前的接管能力,从而提高自动驾驶的安全性。
根据本次驾驶员接管的接管效果反馈,可以对驾驶员接管能力评估的过程进行优化,以在下一次自动驾驶过程中提高对驾驶员的接管能力进行评估的准确性,提高接管提醒的准确性,从而达到提高自动驾驶的安全性的目的。
其中,当本次接管效果为严重困难接管或困难接管时,若在本次人工接管车辆之前已对驾驶员进行了接管提醒,则本次驾驶员接管能力评估值较为准确,在下一次进行驾驶员接管能力进行评估时,无须对驾驶员接管能力评估过程进行优化;若在本次人工接管之前未对驾驶员进行接管提醒,则本次驾驶员接管能力评估值的准确性低,在下一次对驾驶员接管能力进行评估时,需要对评估过程进行优化。当本次接管效果为有效接管时,若在本次人工接管车辆前对驾驶员进行了接管提醒,则本次驾驶员接管能力评估值的准确性较差,在下一次对驾驶员的接管能力进行评估时,需要对驾驶员接管能力评估过程进行优化;若在本次人工接管前未对驾驶员进行接管提醒,则本次驾驶员接管能力评估值的准确性较高,在下一次对驾驶员的接管能力进行评估时,不需要对驾驶员接管能力评估的过程进行优化。
示例性的,本实施例可以利用强化学习的算法进行接管效果反馈,如图10所示,将每次驾驶员的接管能力评估值作为强化学习算法的奖赏reward(强化信号),将接管提醒作为行动action,驾驶员的接管能力评估作为状态state。
示例性的,上述步骤S901-S905,可以由图1所示的计算机系统160中的处理器161、图3所示的处理器301、图4中的神经网络处理器40或图5中的处理器530执行。
本申请的实施例提供了一种驾驶员接管评估方法,获取第一数据、第二数据、第三数据、第四数据和第五数据,根据第一数据和第一预设算法确定第一特征值、根据第二数据和第二预设算法确定第二特征值,根据第三数据和第三预设算法确定第三特征值,根据第四数据和第四预设算法确定第四特征值。进而根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。再根据第五数据和第五预设算法确定第五特征值后,获取第六数据,根据第六数据确定第一参数和第二参数,从而确定第六预设算法,根据第六数据和第六预设算法,确定第六特征值,若驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件,则提示驾驶员接管能力不足。本申请在根据第六数据确定第六预设算法,确定第六特征值即接管效果反馈后,根据接管效果反馈优化驾驶员接管能力评估过程,并结合驾驶员的接管能力评估值以及接管难度对驾驶员进行接管提醒,进一步提高驾驶员接管能力评估的准确性,接管提醒的准确性,使驾驶员集中注意力,以提高其接管能力,从而提高自动驾驶的安全性。
本申请实施例可以根据上述方法示例对驾驶员接管评估装置进行功能模块的划分,在采用对应各个功能划分各个功能模块的情况下,图11示出上述实施例中所涉及的驾驶员接管评估装置的一种可能的结构示意图。如图11所示,驾驶员接管评估装置11包括获取模块1101、处理模块1102、提醒模块1103。当然,驾驶员接管评估装置11还可以包括其他模块,或者驾驶驾驶员接管评估装置可以包括更少的模块。
获取模块1101,用于获取第一数据、第二数据、第三数据、第四数据和第五数据,其中,第一数据包括驾驶员的行为以及行为的持续时间,第二数据包括驾驶员的视线停留区域以及视线停留时间,第三数据为驾驶员的异常驾驶状态数据,第四数据为驾驶员的用户画像数据,第五数据为接管难度影响因素数据。
其中,接管难度影响因素数据包括当前驾驶过程中的车辆处于自动驾驶模式的时长、驾驶员人工驾驶时长、当前时间、当前天气、当前道路是否为熟悉路线、当前道路类别以及当前车速中的至少一个参数。驾驶员的行为包括正常、打电话、玩手机、饮食、操作控制系统或与乘客交谈。驾驶员的视线停留区域为前挡风玻璃的左半边下部分、前挡风玻璃的左半边上部分、前挡风玻璃的右半边部分、方向盘、左后视镜、右后视镜、左车窗、右车窗、控制系统屏幕或副驾驶座椅。驾驶员的异常驾驶状态数据包括实时疲劳程度、预设时间段内的平均疲劳程度、驾驶员的面部表情中的至少一个参数,其中,驾驶员的面部表情为正常、开心、悲伤或生气。驾驶员的用户画像数据包括驾驶员的驾驶风格、驾驶员的驾龄、驾驶员的驾驶频率、驾驶员的事故率以及驾驶员当前的身体状况中的至少一个参数。
处理模块1102,用于根据第一数据以及第一预设算法确定用于表示驾驶员的分心行为持久性的第一特征值,根据第二数据以及第二预设算法确定用于表示驾驶员的视线偏离持久性的第二特征值,根据第三数据以及第三预设算法确定用于表示驾驶员的异常驾驶状态的第三特征值,根据第四数据以及第四预设算法确定用于表示驾驶员的用户画像的第四特征值。然后根据第一特征值、第二特征值、第三特征值、第四特征值,确定驾驶员接管能力评估值。再根据第五数据以及第五预设算法确定用于表示接管难度的第五特征值。
其中,第一预设算法为其中,m1为第一特征值,fA(a1)为第一预设函数,a1表示驾驶员的行为,a2表示行为的持续时间。第二预设算法为其中,m2为第二特征值,fB(b1)为第二预设函数,b1表示驾驶员的视线停留区域,b2表示视线停留时间。第三预设算法为其中,m3为第三特征值,i表示第三数据中的参数的个数,fC,n(cn)为第三预设函数,rc,n为与cn相对应的预设权重,cn表示第三数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。第四预设算法为其中,m4为第四特征值,i表示第四数据中的参数的个数,fD,n(dn)为第四预设函数,dn表示第四数据中的第n个参数,rd,n为与dn相对应的预设权重,n的取值范围为大于等于1小于等于i的整数。驾驶员接管能力评估算法为F=k1*m1+k2*m2+k3*m3+k4*m4,其中,F为驾驶员的接管能力评估值,k1为第一特征值的预设权重,k2为第二特征值的预设权重,k3为第三特征值的预设权重,k4为第四特征值的预设权重,m1为第一特征值,m2为第二特征值,m3为第三特征值,m4为第四特征值。第五预设算法为其中,L为第五特征值,i表示第五数据中的参数的个数,re,n为与en相对应的预设权重,fE,n(en)为第五预设函数,en表示第五数据中的第n个参数,n的取值范围为大于等于1小于等于i的整数。
提醒模块1103,用于在驾驶员接管能力评估值以及第五特征值满足第一预设条件时,提示驾驶员接管能力不足。
其中,第一预设条件为1-F<L,其中,F为驾驶员接管能力评估值,L为第五特征值。
在一种可能的设计中,获取模块1101,还用于获取第六数据,其中,第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后的车辆行驶加速度、车辆转向加速度。
处理模块1102,还用于根据第六数据,确定接管效果,其中,接管效果包括有效接管、困难接管、严重困难接管。根据接管效果确定用于确定第六预设算法的第一参数和第二参数,第一参数和第二参数与接管效果存在对应关系。根据第六数据以及第六预设算法确定用于表示接管效果反馈的第六特征值。
其中,第六预设算法为Q=Qold+ratiof*[(1-sf)*F-L];其中,Q为第六特征值,Qold为历史第六特征值,ratiof为第一参数,sf为第二参数,F为驾驶员接管能力评估值,L为第五特征值。
提醒模块1103,还用于在驾驶员接管能力评估值、第五特征值与第六特征值满足第二预设条件时,提示驾驶员接管能力不足。
其中,第二预设条件为1-F<L+Q,F为驾驶员接管能力评估值,L为第五特征值,Q为第六特征值。
在一种可能的设计中,处理模块1102,还用于根据第六数据,确定接管效果,包括:若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度超过第一预设阈值,则确定接管效果为严重困难接管;若驾驶员接管车辆后的车辆行驶加速度,或车辆转向加速度未超过第一预设阈值,则判断驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性是否均超过第二预设阈值;若驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性均超过第二预设阈值,则接管效果为有效接管;若驾驶员接管车辆前后的车辆速度波动性,或车辆行驶方向波动性均超过第二预设阈值,则接管效果为困难接管。
参见图12,本申请还提供一种驾驶员接管评估装置12,包括处理器1201以及存储器1202。
处理器1201与存储器1202相连接(如通过总线1204相互连接)。
可选的,驾驶员接管评估装置12还可包括收发器1203,收发器1203连接处理器1201和存储器1202,收发器用于接收/发送数据。
处理器1201,可以执行图8、图9所对应的任意一个实施方案及其各种可行的实施方式的操作。比如,用于执行获取模块1101、处理模块1102、提醒模块1103的操作,和/或本申请实施例中所描述的其他操作。
关于处理器、存储器、总线和收发器的具体介绍,可参见上文,这里不再赘述。
本申请还提供一种驾驶员接管评估装置,包括非易失性存储介质,以及中央处理器,非易失性存储介质存储有可执行程序,中央处理器与非易失性存储介质连接,并执行可执行程序以实现本申请实施例如图8或图9所示的驾驶员接管评估方法。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括一个或多个程序代码,该一个或多个程序包括指令,当处理器在执行该程序代码时,该驾驶员接管评估装置执行如图8或图9所示的驾驶员接管评估方法。
在本申请的另一实施例中,还提供一种计算机程序产品,该计算机程序产品包括计算机执行指令,该计算机执行指令存储在计算机可读存储介质中。驾驶员接管评估装置的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令,至少一个处理器执行该计算机执行指令使得驾驶员接管评估装置实施执行图8或图9所示的驾驶员接管评估方法中相应步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,可以全部或部分的通过软件,硬件,固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式出现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL0))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,DVD)或者半导体介质(例如固态硬盘solid state disk,SSD)等。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (21)
1.一种驾驶员接管评估方法,其特征在于,所述方法包括:
获取第一数据、第二数据、第三数据、第四数据和第五数据;其中,所述第一数据包括驾驶员的行为以及行为的持续时间,所述第二数据包括驾驶员的视线停留区域以及视线停留时间,所述第三数据为驾驶员的异常驾驶状态数据,所述第四数据为驾驶员的用户画像数据,所述第五数据为接管难度影响因素数据;
根据所述第一数据以及第一预设算法确定第一特征值,所述第一特征值用于表示驾驶员的分心行为持久性;
根据所述第二数据以及第二预设算法确定第二特征值,所述第二特征值用于表示驾驶员的视线偏离持久性;
根据所述第三数据以及第三预设算法确定第三特征值,所述第三特征值用于表示驾驶员的异常驾驶状态;
根据所述第四数据以及第四预设算法确定第四特征值,所述第四特征值用于表示驾驶员的用户画像;
根据所述第一特征值、所述第二特征值、所述第三特征值、所述第四特征值确定驾驶员接管能力评估值;
根据所述第五数据以及第五预设算法确定第五特征值,所述第五特征值用于表示接管难度;
如果所述驾驶员接管能力评估值以及所述第五特征值满足第一预设条件,则驾驶员接管能力不足。
2.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述根据所述第一特征值、所述第二特征值、所述第三特征值、所述第四特征值确定驾驶员接管能力评估值,包括:
根据所述第一特征值、所述第二特征值、所述第三特征值、所述第四特征值以及F=k1*m1+k2*m2+k3*m3+k4*m4,确定所述驾驶员接管能力评估值;
其中,F为所述驾驶员接管能力评估值,m1为所述第一特征值,k1为所述第一特征值的预设权重,m2为所述第二特征值,k2为所述第二特征值的预设权重,m3为所述第三特征值,k3为所述第三特征值的预设权重,m4为所述第四特征值,k4为所述第四特征值的预设权重。
3.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述接管难度影响因素数据包括当前驾驶过程中的车辆处于自动驾驶模式的时长、驾驶员人工驾驶时长、当前时间、当前天气、当前道路是否为熟悉路线、当前道路类别以及当前车速中的至少一个参数。
5.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述第一预设条件为1-F<L,其中,F为所述驾驶员接管能力评估值,L为所述第五特征值。
6.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述驾驶员的行为包括正常、打电话、玩手机、饮食、操作控制系统或与乘客交谈。
8.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述驾驶员的视线停留区域为前挡风玻璃的左半边下部分、前挡风玻璃的左半边上部分、前挡风玻璃的右半边部分、方向盘、左后视镜、右后视镜、左车窗、右车窗、控制系统屏幕或副驾驶座椅。
10.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述驾驶员的异常驾驶状态数据包括实时疲劳程度、预设时间段内的平均疲劳程度、驾驶员的面部表情中的至少一个参数;
其中,所述驾驶员的面部表情为正常、开心、悲伤或生气。
12.根据权利要求1所述的驾驶员接管评估方法,其特征在于,所述驾驶员的用户画像数据包括驾驶员的驾驶风格、驾驶员的驾龄、驾驶员的驾驶频率、驾驶员的事故率以及驾驶员当前的身体状况中的至少一个参数。
14.根据权利要求1-13任一项所述的驾驶员接管评估方法,其特征在于,所述方法还包括:
获取第六数据,所述第六数据包括驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性以及驾驶员接管车辆后的车辆行驶加速度、车辆转向加速度;
根据所述第六数据,确定接管效果,所述接管效果包括有效接管、困难接管、严重困难接管;
根据所述接管效果确定第一参数和第二参数,所述第一参数和第二参数与所述接管效果存在对应关系;所述第一参数和第二参数用于确定第六预设算法;
根据所述第六数据以及所述第六预设算法确定第六特征值,所述第六特征值用于表示接管效果反馈;
若所述驾驶员接管能力评估值、所述第五特征值与所述第六特征值满足第二预设条件,则提示驾驶员接管能力不足。
15.根据权利要求14所述的驾驶员接管评估方法,其特征在于,所述根据所述第六数据,确定接管效果,具体包括:
若所述驾驶员接管车辆后的车辆行驶加速度,或所述车辆转向加速度超过第一预设阈值,则确定所述接管效果为严重困难接管;
若所述驾驶员接管车辆后的车辆行驶加速度,或所述车辆转向加速度未超过第一预设阈值,则判断驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性是否均超过第二预设阈值;
若所述驾驶员接管车辆前后的车辆速度波动性、车辆行驶方向波动性均超过所述第二预设阈值,则所述接管效果为有效接管;
若所述驾驶员接管车辆前后的车辆速度波动性,或车辆行驶方向波动性均超过所述第二预设阈值,则所述接管效果为困难接管。
16.根据权利要求14所述的驾驶员接管评估方法,其特征在于,所述第六预设算法为Q=Qold+ratiof*[(1-sf)*F-L];
其中,Q为所述第六特征值,Qold为历史第六特征值,ratiof为第一参数,sf为第二参数,F为驾驶员接管能力评估值,L为第五特征值。
17.根据权利要求14所述的驾驶员接管评估方法,其特征在于,所述第二预设条件为1-F<L+Q,F为所述驾驶员接管能力评估值,L为所述第五特征值,Q为所述第六特征值。
18.一种驾驶员接管评估装置,其特征在于,所述装置包括处理器和存储器;
所述存储器用于存储计算机执行指令,当所述装置运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述装置执行如权利要求1-17任一项所述的驾驶员接管评估方法。
19.一种计算机可读存储介质,其特征在于,包括程序和指令,当所述程序或指令在计算机上运行时,如权利要求1-17任一项所述的驾驶员接管评估方法被实现。
20.一种芯片系统,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1-17任一项所述的驾驶员接管评估方法。
21.一种电路系统,其特征在于,所述电路系统包括处理电路,所述处理电路配置为执行如权利要求1-17任一项所述的驾驶员接管评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910528694.9A CN110371132B (zh) | 2019-06-18 | 2019-06-18 | 驾驶员接管评估方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910528694.9A CN110371132B (zh) | 2019-06-18 | 2019-06-18 | 驾驶员接管评估方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110371132A CN110371132A (zh) | 2019-10-25 |
CN110371132B true CN110371132B (zh) | 2021-02-09 |
Family
ID=68249201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910528694.9A Active CN110371132B (zh) | 2019-06-18 | 2019-06-18 | 驾驶员接管评估方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110371132B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4129791A4 (en) * | 2020-04-10 | 2023-07-19 | Huawei Technologies Co., Ltd. | METHOD AND DEVICE FOR PREDICTING MANUAL TAKEOVER DURING AUTOMATIC DRIVING AND SYSTEM |
KR20210128531A (ko) * | 2020-04-16 | 2021-10-27 | 현대모비스 주식회사 | 자율주행 모드에서의 조향 제어 장치 및 방법 |
CN113753035A (zh) * | 2020-06-02 | 2021-12-07 | 奥迪股份公司 | 驾驶辅助系统、包括其的车辆、驾驶辅助方法和介质 |
CN112141125A (zh) * | 2020-10-28 | 2020-12-29 | 安徽江淮汽车集团股份有限公司 | 自动驾驶的智能分级交互方法、装置、设备及存储介质 |
CN112729862B (zh) * | 2020-12-11 | 2023-07-25 | 国汽(北京)智能网联汽车研究院有限公司 | 无人驾驶的驾驶行为安全评估方法、装置及电子设备 |
CN112693469A (zh) * | 2021-01-05 | 2021-04-23 | 中国汽车技术研究中心有限公司 | 驾驶员接管车辆的测试方法、装置、电子设备及介质 |
WO2022252118A1 (zh) * | 2021-06-01 | 2022-12-08 | 华为技术有限公司 | 一种头部姿态测量方法及装置 |
CN113415292A (zh) * | 2021-06-28 | 2021-09-21 | 华东交通大学 | 一种驾驶接管能力评估方法及电子装置 |
CN114241639A (zh) * | 2021-12-22 | 2022-03-25 | 北京罗克维尔斯科技有限公司 | 蓝牙钥匙的测试方法、装置、机器人、设备和介质 |
CN114261403B (zh) * | 2022-03-03 | 2022-06-17 | 宁波均联智行科技股份有限公司 | 退出自动驾驶时的方向盘信息预警方法及系统 |
CN117445805B (zh) * | 2023-12-22 | 2024-02-23 | 吉林大学 | 面向公交车司乘冲突的人员预警和行车控制方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107635844A (zh) * | 2015-06-11 | 2018-01-26 | 松下知识产权经营株式会社 | 车辆控制装置、车辆控制方法和车辆控制程序 |
CN108290580A (zh) * | 2015-12-08 | 2018-07-17 | 罗伯特·博世有限公司 | 用于运行车辆的方法 |
CN109117869A (zh) * | 2018-07-20 | 2019-01-01 | 汉纳森(厦门)数据股份有限公司 | 用户画像方法、介质及系统 |
CN109849935A (zh) * | 2019-02-20 | 2019-06-07 | 百度在线网络技术(北京)有限公司 | 一种安全控制方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10948911B2 (en) * | 2017-10-31 | 2021-03-16 | Denso International America, Inc. | Co-pilot |
-
2019
- 2019-06-18 CN CN201910528694.9A patent/CN110371132B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107635844A (zh) * | 2015-06-11 | 2018-01-26 | 松下知识产权经营株式会社 | 车辆控制装置、车辆控制方法和车辆控制程序 |
CN108290580A (zh) * | 2015-12-08 | 2018-07-17 | 罗伯特·博世有限公司 | 用于运行车辆的方法 |
CN109117869A (zh) * | 2018-07-20 | 2019-01-01 | 汉纳森(厦门)数据股份有限公司 | 用户画像方法、介质及系统 |
CN109849935A (zh) * | 2019-02-20 | 2019-06-07 | 百度在线网络技术(北京)有限公司 | 一种安全控制方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110371132A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110371132B (zh) | 驾驶员接管评估方法及装置 | |
CN109901574B (zh) | 自动驾驶方法及装置 | |
CN113879295B (zh) | 轨迹预测方法及装置 | |
CN112519575B (zh) | 调整油门踏板特性的方法和装置 | |
CN112703506B (zh) | 车道线检测方法及装置 | |
WO2021102955A1 (zh) | 车辆的路径规划方法以及车辆的路径规划装置 | |
EP4184476A1 (en) | Method and device for controlling switching of vehicle driving mode | |
WO2021000800A1 (zh) | 道路可行驶区域推理方法及装置 | |
CN110532846B (zh) | 自动换道方法、装置及存储介质 | |
CN113835421B (zh) | 训练驾驶行为决策模型的方法及装置 | |
CN110758241B (zh) | 乘员保护方法及装置 | |
CN113498529B (zh) | 一种目标跟踪方法及其装置 | |
US20230399023A1 (en) | Vehicle Driving Intention Prediction Method, Apparatus, and Terminal, and Storage Medium | |
WO2022017307A1 (zh) | 自动驾驶场景生成方法、装置及系统 | |
CN113167038B (zh) | 一种车辆通过道闸横杆的方法及装置 | |
CN114440908A (zh) | 一种规划车辆驾驶路径的方法、装置、智能车以及存储介质 | |
CN115039095A (zh) | 目标跟踪方法以及目标跟踪装置 | |
CN113859265B (zh) | 一种驾驶过程中的提醒方法及设备 | |
WO2022061702A1 (zh) | 驾驶提醒的方法、装置及系统 | |
CN113552869A (zh) | 优化决策规控的方法、控制车辆行驶的方法和相关装置 | |
CN114556251B (zh) | 用于确定车辆可通行空间的方法和装置 | |
WO2022001432A1 (zh) | 推理车道的方法、训练车道推理模型的方法及装置 | |
WO2022061725A1 (zh) | 交通元素的观测方法和装置 | |
WO2022041820A1 (zh) | 换道轨迹的规划方法及装置 | |
CA3202420A1 (en) | Emergency heating system for electric vehicle (ev) running out of power |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |