CN117246352A - 接管提醒方法、装置和车辆 - Google Patents
接管提醒方法、装置和车辆 Download PDFInfo
- Publication number
- CN117246352A CN117246352A CN202311349573.0A CN202311349573A CN117246352A CN 117246352 A CN117246352 A CN 117246352A CN 202311349573 A CN202311349573 A CN 202311349573A CN 117246352 A CN117246352 A CN 117246352A
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- reminding
- determining
- sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000014509 gene expression Effects 0.000 claims description 77
- 230000006399 behavior Effects 0.000 claims description 73
- 210000000697 sensory organ Anatomy 0.000 claims description 40
- 230000001953 sensory effect Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 23
- 238000000605 extraction Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种接管提醒方法、装置和车辆,属于车辆技术领域。通过本申请提供的技术方案,在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方法,按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现有效的接管提醒,驾驶员能够及时接管车辆,提高车辆行驶时的安全性。
Description
技术领域
本申请涉及车辆技术领域,并且更具体地,涉及车辆技术领域中一种接管提醒方法、装置和车辆。
背景技术
随着车辆技术的发展,车辆提供的功能越来越丰富。比如,自动驾驶功能就是一种深受用户喜爱的功能。
相关技术中,车辆的自动驾驶功能无法适用于全部驾驶场景,部分驾驶场景仍然需要人工接管车辆,从而保证车辆行驶的安全性。如何提醒驾驶员对车辆进行人工接管是研究的热点。
发明内容
本申请实施例提供了一种接管提醒方法、装置和车辆,能够在自动驾驶过程中提醒驾驶员对车辆进行人工接管,技术方案如下:
一方面,提供了一种接管提醒方法,所述方法包括:
在车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员数据,所述驾驶员数据用于表示所述驾驶员在所述车辆内的状态;
在所述车辆需要人工接管的情况下,基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官;
确定所述驾驶员当前未被占用的感官对应的目标提醒方式;
按照所述目标提醒方式提醒所述驾驶员接管所述车辆。
在一种可能的实施方式中,所述驾驶员数据包括姿态、表情以及视线方向,所述在车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员数据包括:
在所述车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员图像;
对所述驾驶员图像进行识别,得到所述驾驶员的姿态、表情以及视线方向。
在一种可能的实施方式中,所述对所述驾驶员图像进行识别,得到所述驾驶员的姿态、表情以及视线方向包括:
对所述驾驶员图像进行目标检测,得到所述驾驶员图像中的所述驾驶员所在的目标区域;
对所述目标区域进行姿态识别,得到所述驾驶员的姿态;
对所述目标区域进行表情识别和视线检测,得到所述驾驶员的表情以及视线方向。
在一种可能的实施方式中,所述基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官包括:
基于所述驾驶员数据,确定所述驾驶员当前被占用的感官;
基于所述驾驶员当前被占用的感官,从多个候选感官中确定所述驾驶员当前未被占用的感官,所述候选感官为所述驾驶员能够被占用的感官。
在一种可能的实施方式中,所述驾驶员数据包括姿态、表情以及视线方向,所述基于所述驾驶员数据,确定所述驾驶员当前被占用的感官包括:
基于所述驾驶员的姿态、表情以及视线方向,确定所述驾驶员当前的行为;
将所述驾驶员当前的行为对应的感官确定为所述驾驶员当前被占用的感官。
在一种可能的实施方式中,所述基于所述驾驶员的姿态、表情以及视线方向,确定所述驾驶员当前的行为包括:
对所述驾驶员的姿态、表情以及视线方向进行特征提取,得到所述驾驶员的行为特征;
对所述行为特征进行全连接和归一化,得到多个候选行为分别对应的概率;
将所述多个候选行为中对应得概率最高的候选行为,确定为所述驾驶员当前的行为。
在一种可能的实施方式中,所述确定所述驾驶员当前未被占用的感官对应的目标提醒方式包括下述任一项:
在所述驾驶员当前未被占用的感官为视觉的情况下,将所述目标提醒方式确定为显示提醒;
在所述驾驶员当前未被占用的感官为听觉的情况下,将所述目标提醒方式确定为音频提醒;
在所述驾驶员当前未被占用的感官为触觉的情况下,将所述目标提醒方式确定为震动提醒。
在一种可能的实施方式中,所述按照所述目标提醒方式提醒所述驾驶员接管所述车辆包括下述任一项:
在所述目标提醒方式为显示提醒的情况下,控制所述车辆的仪表盘、抬头显示器或中控屏显示接管提醒,所述接管提醒用于提醒所述驾驶员接管所述车辆;
在所述目标提醒方式为音频提醒的情况下,控制所述车辆的音频播放设备播放所述接管提醒;
在所述目标提醒方式为震动提醒的情况下,控制所述车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒所述驾驶员接管所述车辆。
在一种可能的实施方式中,所述方法还包括:
在所述驾驶员不存在当前未被占用的感官的情况下,按照第一预设提醒方式提醒所述驾驶员接管所述车辆,所述第一预设提醒方式包括显示提醒、音频提醒以及震动提醒中的至少一项,所述第一预设提醒方式是基于多个候选提醒方式的优先级确定的,所述多个候选提醒方式的优先级是基于所述驾驶员的用户数据确定的。
在一种可能的实施方式中,所述多个候选提醒方式的优先级的确定方法包括:
获取所述驾驶员的用户数据;
基于所述驾驶员的用户数据,确定所述驾驶员对各个所述候选提醒方式的偏好值;
基于各个所述候选提醒方式的偏好值,确定所述多个候选提醒方式的优先级。
在一种可能的实施方式中,所述第一预设提醒方式的确定方法包括下述任一项:
获取所述驾驶员的车辆设置;基于所述车辆设置,确定所述第一预设提醒方式;
获取多个候选提醒方式的优先级,所述多个候选提醒方式包括显示提醒、音频提醒以及震动提醒;基于所述多个候选提醒方式的优先级,从所述多个候选提醒方式中确定所述第一预设提醒方式。
在一种可能的实施方式中,所述按照所述目标提醒方式提醒所述驾驶员接管所述车辆之后,所述方法还包括:
在预设时长之后未对所述车辆进行人工接管的情况下,按照第二预设提醒方式提醒所述驾驶员接管所述车辆,所述第二预设提醒方式包括显示提醒、音频提醒以及震动提醒。
一方面,提供了一种接管提醒装置,所述装置包括:
驾驶员数据获取模块,用于在车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员数据,所述驾驶员数据用于表示所述驾驶员在所述车辆内的状态;
感官确定模块,用于在所述车辆需要人工接管的情况下,基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官;
目标提醒方式确定模块,用于确定所述驾驶员当前未被占用的感官对应的目标提醒方式;
提醒模块,用于按照所述目标提醒方式提醒所述驾驶员接管所述车辆。
在一种可能的实施方式中,所述驾驶员数据包括姿态、表情以及视线方向,所述驾驶员数据获取模块,用于在所述车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员图像;对所述驾驶员图像进行识别,得到所述驾驶员的姿态、表情以及视线方向。
在一种可能的实施方式中,所述驾驶员数据获取模块,用于对所述驾驶员图像进行目标检测,得到所述驾驶员图像中的所述驾驶员所在的目标区域;对所述目标区域进行姿态识别,得到所述驾驶员的姿态;对所述目标区域进行表情识别和视线检测,得到所述驾驶员的表情以及视线方向。
在一种可能的实施方式中,所述感官确定模块,用于基于所述驾驶员数据,确定所述驾驶员当前被占用的感官;基于所述驾驶员当前被占用的感官,从多个候选感官中确定所述驾驶员当前未被占用的感官,所述候选感官为所述驾驶员能够被占用的感官。
在一种可能的实施方式中,所述驾驶员数据包括姿态、表情以及视线方向,所述感官确定模块,用于基于所述驾驶员的姿态、表情以及视线方向,确定所述驾驶员当前的行为;将所述驾驶员当前的行为对应的感官确定为所述驾驶员当前被占用的感官。
在一种可能的实施方式中,所述感官确定模块,用于对所述驾驶员的姿态、表情以及视线方向进行特征提取,得到所述驾驶员的行为特征;对所述行为特征进行全连接和归一化,得到多个候选行为分别对应的概率;将所述多个候选行为中对应的概率最高的候选行为,确定为所述驾驶员当前的行为。
在一种可能的实施方式中,所述目标提醒方式确定模块,用于执行下述任一项:
在所述驾驶员当前未被占用的感官为视觉的情况下,将所述目标提醒方式确定为显示提醒;
在所述驾驶员当前未被占用的感官为听觉的情况下,将所述目标提醒方式确定为音频提醒;
在所述驾驶员当前未被占用的感官为触觉的情况下,将所述目标提醒方式确定为震动提醒。
在一种可能的实施方式中,所述提醒模块,用于执行下述任一项:
在所述目标提醒方式为显示提醒的情况下,控制所述车辆的仪表盘、抬头显示器或中控屏显示接管提醒,所述接管提醒用于提醒所述驾驶员接管所述车辆;
在所述目标提醒方式为音频提醒的情况下,控制所述车辆的音频播放设备播放所述接管提醒;
在所述目标提醒方式为震动提醒的情况下,控制所述车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒所述驾驶员接管所述车辆。
在一种可能的实施方式中,所述提醒模块还用于在所述驾驶员不存在当前未被占用的感官的情况下,按照第一预设提醒方式提醒所述驾驶员接管所述车辆,所述第一预设提醒方式包括显示提醒、音频提醒以及震动提醒中的至少一项,所述第一预设提醒方式是基于多个候选提醒方式的优先级确定的,所述多个候选提醒方式的优先级是基于所述驾驶员的用户数据确定的。
在一种可能的实施方式中,所述多个候选提醒方式的优先级的确定方法包括:
获取所述驾驶员的用户数据;
基于所述驾驶员的用户数据,确定所述驾驶员对各个所述候选提醒方式的偏好值;
基于各个所述候选提醒方式的偏好值,确定所述多个候选提醒方式的优先级。
在一种可能的实施方式中,所述第一预设提醒方式的确定方法包括下述任一项:
获取所述驾驶员的车辆设置;基于所述车辆设置,确定所述第一预设提醒方式;
获取多个候选提醒方式的优先级,所述多个候选提醒方式包括显示提醒、音频提醒以及震动提醒;基于所述多个候选提醒方式的优先级,从所述多个候选提醒方式中确定所述第一预设提醒方式。
在一种可能的实施方式中,所述提醒模块还用于在预设时长之后未对所述车辆进行人工接管的情况下,按照第二预设提醒方式提醒所述驾驶员接管所述车辆,所述第二预设提醒方式包括显示提醒、音频提醒以及震动提醒。
一方面,提供了一种车辆,所述车辆包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述接管提醒方法所执行的操作。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现所述接管提醒方法所执行的操作。
通过本申请提供的技术方案,在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方法,按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现有效的接管提醒,驾驶员能够及时接管车辆,提高车辆行驶时的安全性。
附图说明
图1是本申请实施例提供的一种接管提醒方法的实施环境的示意图;
图2是本申请实施例提供的一种接管提醒方法的流程图;
图3是本申请实施例提供的另一种接管提醒方法的流程图;
图4是本申请实施例提供的一种接管提醒装置的结构示意图;
图5是本申请实施例提供的一种车辆的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B:文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或隐含指明所反映的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。
自动驾驶:自动驾驶是一种利用先进的传感器和计算技术,使汽车能够在没有人类干预的情况下实现自主导航和操作的技术。自动驾驶的实现依赖于多个关键技术。感知技术是其中之一,它使用各类传感器(如激光雷达、摄像头和雷达)来获取车辆周围环境的信息。决策技术则利用感知数据进行环境分析和路径规划,以做出合适的驾驶决策。控制技术负责控制车辆的加速、制动和转向等操作。这些技术相互协作,使车辆能够感知周围环境、作出决策并安全地行驶。
注意力模态:用于描述消耗注意力的感官。
下面对本申请实施例的实施环境进行介绍,参见图1,本申请实施例提供的接管提醒方法的实施环境包括车载终端101以及自动驾驶系统102。
车载终端101为设置在车辆上的终端,用于采集车辆的状态数据以及控制车辆的各个组件。车载终端101与自动驾驶系统102通讯相连,车载终端101能够与自动驾驶系统102之间进行数据交互。
自动驾驶系统102与车辆的多个传感器相连,能够通过多个传感器获取自动驾驶所需的数据并基于获取到的数据来控制车辆进行自动驾驶。
在介绍完本申请实施例的实施环境之后,下面对本申请实施例提供的技术方案的应用场景进行介绍。本申请实施例提供的技术方案能够应用在各类具有自动驾驶功能的车辆中,比如,本申请实施例提供的技术方案能够应用在具有自动驾驶功能的电动车辆中,也能够应用在具有自动驾驶功能的混动车辆中,本申请实施例对此不作限定。
采用本申请实施例提供的技术方案的情况下,在车辆采用自动驾驶模式行驶的过程中,车载终端获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态,也即是,在车辆采用自动驾驶模式行驶的过程中,车载终端持续获取车辆内驾驶员的驾驶员数据。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官,也即是确定驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方式。按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现基于驾驶员感官的接管提醒,提高接管提醒的效果。
需要说明的是,上述是以本申请实施例提供的技术方案应用在电动车辆为例进行说明的,在本申请实施例提供的技术方案应用在其他类型的车辆的情况下,实现过程与上述描述属于同一发明构思,在此不再赘述。
在介绍完本申请实施例的实施环境和应用场景之后,下面对本申请实施例提供的技术方案进行介绍,参见图2,以执行主体为车载终端为例,方法包括下述步骤。
201、在车辆采用自动驾驶模式行驶的过程中,车载终端获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。
其中,车辆为具有自动驾驶功能的电动车辆或者具有自动驾驶功能的混动车辆,本申请实施例对此不作限定。车辆采用自动驾驶模式行驶也就表示车辆的自动驾驶功能开启,车辆的行驶由自动驾驶功能接管,驾驶员无需进行操作。驾驶员数据用于表示该驾驶员在该车辆内的状态,也即是能够表示驾驶员在该车辆内的情况。在本申请实施例中,该驾驶员数据用于确定驾驶员的感官的被占用情况。
202、在该车辆需要人工接管的情况下,车载终端基于该驾驶员数据,确定该驾驶员当前未被占用的感官。
其中,车辆需要人工接管也就表示自动驾驶功能即将终止或者自动驾驶功能无法适用于下一个驾驶场景,需要驾驶员介入来操作车辆,以保证车辆行驶的安全。感官用于描述消耗注意力的感官,相应地,被占用的感官是指正在消耗注意力的感官,感官包括视觉、听觉以及触觉等。
203、车载终端确定该驾驶员当前未被占用的感官对应的目标提醒方式。
其中,不同提醒方式对应于车辆内不同的组件,提醒方式包括显示提醒、音频提醒以及震动提醒等,相应的,目标提醒方式是显示提醒、音频提醒以及震动提醒中与该驾驶员当前未被占用的感官对应的提醒方式。
204、车载终端按照该目标提醒方式提醒该驾驶员接管该车辆。
通过本申请提供的技术方案,在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方法,按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现有效的接管提醒,驾驶员能够及时接管车辆,提高车辆行驶时的安全性。
需要说明的是,上述步骤201-204是对本申请实施例提供的接管提醒方法的简单说明,下面将结合一些例子,对本申请实施例提供的接管提醒方法进行更加详细的说明,参见图3,以执行主体为车载终端为例,方法包括下述步骤。
301、在车辆采用自动驾驶模式行驶的过程中,车载终端获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。
其中,车辆为具有自动驾驶功能的电动车辆或者具有自动驾驶功能的混动车辆,本申请实施例对此不作限定。车辆采用自动驾驶模式行驶也就表示车辆的自动驾驶功能开启,车辆的行驶由自动驾驶功能接管,驾驶员无需进行操作。驾驶员数据用于表示该驾驶员在该车辆内的状态,也即是能够表示驾驶员在该车辆内的情况。在本申请实施例中,该驾驶员数据用于确定驾驶员的感官的被占用情况。在一些实施例中,感官也被称为注意力模态。
在一种可能的实施方式中,该驾驶员数据包括姿态、表情以及视线方向,在该车辆采用自动驾驶模式行驶的过程中,车载终端获取该车辆内驾驶员的驾驶员图像。车载终端对该驾驶员图像进行识别,得到该驾驶员的姿态、表情以及视线方向。
其中,姿态是身体呈现的样子,视线方向是眼睛注视的方向。驾驶员图像能够反映驾驶员在该车辆内的状态,该驾驶员图像是在该车辆采用自动驾驶模式行驶的过程中实时获取的。
在这种实施方式下,在车辆采用自动驾驶模式行驶的过程中,获取该驾驶员的驾驶员图像,对该驾驶员图像进行识别,得到该驾驶员的姿态、表情以及视线方向,也即是得到该驾驶员的驾驶员数据。
举例来说,在车辆采用自动驾驶模式行驶的过程中,车载终端通过图像采集设备获取车辆内驾驶员的驾驶员图像。车载终端对该驾驶员图像进行目标检测,得到该驾驶员图像中的该驾驶员所在的目标区域。车载终端对该目标区域进行姿态识别,得到该驾驶员的姿态。车载终端对该目标区域进行表情识别和视线检测,得到该驾驶员的表情以及视线方向。其中,该图像采集设备安装在正对该车辆的驾驶位的位置上,在一些实施例中,该图像采集设备为驾驶员监测摄像头。
比如,在车辆采用自动驾驶模式行驶的过程中,车载终端通过驾驶员监测摄像头实时获取车辆内驾驶员的驾驶员图像。车载终端将该驾驶员图像输入目标检测模型,由该目标检测模型输出该驾驶员图像中的该驾驶员所在的目标区域。车载终端将该目标区域输入姿态识别模型,由该姿态识别模型输出该驾驶员的姿态。车载终端将该目标区域输入表情识别模型和视线检测模型,由该表情识别模型和该视线检测模型输出该驾驶员的表情以及视线方向。
为了对上述描述进行更加清楚地说明,下面将分为几个部分对上述描述进行说明。
第一部分、车载终端将该驾驶员图像输入目标检测模型,由该目标检测模型输出该驾驶员图像中的该驾驶员所在的目标区域。
其中,该目标检测模型是基于多个样本驾驶员图像以及各个样本驾驶员图像中的标注区域训练得到的,该标注区域为样本驾驶员图像中样本驾驶员所在的区域,该目标检测模型具有从驾驶员图像中分割出目标区域的能力。
在一种可能的实施方式中,车载终端将该驾驶员图像输入该目标检测模型,通过该目标检测模型对该驾驶员图像进行特征提取,得到该驾驶员图像的图像特征。车载终端通过该目标检测模型,对该图像特征中的多个区域特征进行映射,得到各个区域特征对应区域中存在驾驶员的概率,该多个区域属于该驾驶员图像。车载终端将该多个区域中存在驾驶员的概率符合预设概率条件的区域进行拼接,得到该驾驶员图像中的该驾驶员所在的目标区域。
在这种实施方式下,利用目标检测模型对驾驶员图像进行特征提取,得到该驾驶员图像的图像特征,对该图像特征中多个区域特征进行映射,得到各个区域特征对应区域中存在驾驶员的概率,从而得到该驾驶员图像中驾驶员所在的区域,充分利用了驾驶员图像记录的信息,准确性较高。
举例来说,车载终端将该驾驶员图像输入该目标检测模型,通过该目标检测模型对该驾驶员图像进行至少一次全连接或进行至少一次卷积,或基于注意力机制对该驾驶员图像进行编码,得到该驾驶员图像的图像特征。车载终端将该图像特征划分为多个区域特征,一个区域特征对应于该驾驶员图像中的一个区域。车载终端通过该目标检测模型,对各个区域特征进行全连接和归一化,得到各个区域特征对应区域中存在驾驶员的概率。车载终端将该多个区域中存在驾驶员的概率大于或等于预设概率阈值的区域进行拼接,得到该驾驶员图像中的该驾驶员所在的目标区域。该预设概率阈值由技术人员根据实际情况进行设置,本申请实施例对此不作限定。
第二部分、车载终端将该目标区域输入姿态识别模型,由该姿态识别模型输出该驾驶员的姿态。
在一种可能的实施方式中,车载终端将该目标区域输入姿态识别模型,通过该姿态识别模型对该目标区域进行人体关键点识别,得到该目标区域内的多个人体关键点。车载终端通过该姿态识别模型,基于该多个人体关键点的位置,输出该驾驶员的姿态。
其中,人体关键点是指在进行姿态识别需要用到的骨骼点。该姿态识别模型是基于多个样本区域以及各个样本区域中的标注人体关键点训练得到的,具有识别区域中的人体关键点并根据识别出的人体关键点的位置来确定姿态的能力。
在这种实施方式下,利用姿态识别模型来识别目标区域内的多个人体关键点,利用多个人体关键点的位置,得到驾驶员的姿态,姿态的准确性较高。
举例来说,车载终端将该目标区域输入姿态识别模型,通过该姿态识别模型,对该目标区域进行多次卷积,得到该目标区域的区域特征。车载终端通过该姿态识别模型,对该目标区域的区域特征进行至少一次全连接或卷积,得到该目标区域内多个人体关键点的坐标。车载终端通过该姿态识别模型,基于该多个人体关键点的坐标,生成姿态图,该姿态图包括该多个人体关键点以及该多个人体关键点之间的连线。车载终端通过该姿态识别模型,对该姿态图进行识别,输出该驾驶员的姿态,也即是对该姿态图进行分类,以得到该驾驶员的姿态。
在一种可能的实施方式中,车载终端将该目标区域输入姿态识别模型,通过该姿态识别模型对该目标区域进行特征提取,得到该目标区域的区域特征。车载终端通过该姿态识别模型,对该目标区域的区域特征进行映射,得到该驾驶员的姿态。
在这种实施方式下,直接对目标区域进行特征提取,得到该目标区域的区域特征。基于该区域特征对该目标区域进行分类,得到该驾驶员的姿态,姿态识别的效率较高。
举例来说,车载终端将该目标区域输入姿态识别模型,通过该姿态识别模型对该目标区域进行至少一次全连接或进行至少一次卷积,或基于注意力机制对该目标区域进行编码,得到该目标区域的区域特征。车载终端通过该姿态识别模型,对该目标区域的区域特征进行全连接和归一化,得到该目标区域对应于多个候选姿态的概率。车载终端将该多个候选姿态中概率最高的候选姿态,确定为该驾驶员的姿态。
第三部分、车载终端将该目标区域输入表情识别模型,由该表情识别模型输出该驾驶员的表情。
其中,该表情识别模型是基于多个样本区域以及各个样本区域中的标注表情训练得到的,具有识别区域中的表情的能力。
在一种可能的实施方式中,车载终端将该目标区域输入表情识别模型,通过该表情识别模型对该目标区域进行面部关键点识别,得到该目标区域内的多个面部关键点。车载终端通过该表情识别模型,基于该多个面部关键点的位置,输出该驾驶员的表情。
在这种实施方式下,利用表情识别模型来识别目标区域内的多个面部关键点,利用多个面部关键点的位置,得到驾驶员的表情,表情的准确性较高。
举例来说,车载终端将该目标区域输入表情识别模型,通过该表情识别模型,对该目标区域进行多次卷积,得到该目标区域的区域特征。车载终端通过该表情识别模型,对该目标区域的区域特征进行至少一次全连接或卷积,得到该目标区域内多个面部关键点的坐标。车载终端通过该表情识别模型,基于该多个面部关键点的坐标,生成表情图,该表情图包括该多个面部关键点以及该多个面部关键点之间的连线。车载终端通过该表情识别模型,对该表情图进行识别,输出该驾驶员的表情,也即是对该表情图进行分类,以得到该驾驶员的表情。
在一种可能的实施方式中,车载终端将该目标区域输入表情识别模型,通过该表情识别模型对该目标区域进行特征提取,得到该目标区域的区域特征。车载终端通过该表情识别模型,对该目标区域的区域特征进行映射,得到该驾驶员的表情。
在这种实施方式下,直接对目标区域进行特征提取,得到该目标区域的区域特征。基于该区域特征对该目标区域进行分类,得到该驾驶员的表情,表情识别的效率较高。
举例来说,车载终端将该目标区域输入表情识别模型,通过该表情识别模型对该目标区域进行至少一次全连接或进行至少一次卷积,或基于注意力机制对该目标区域进行编码,得到该目标区域的区域特征。车载终端通过该表情识别模型,对该目标区域的区域特征进行全连接和归一化,得到该目标区域对应于多个候选表情的概率。车载终端将该多个候选表情中概率最高的候选表情,确定为该驾驶员的表情。
第四部分、车载终端将该目标区域输入视线检测模型,由该视线检测模型输出该驾驶员的视线方向。
其中,该视线检测模型是基于多个样本区域以及各个样本区域中的标注视线方向训练得到的,具有识别区域中的视线方向的能力。
在一种可能的实施方式中,车载终端将该目标区域输入视线检测模型,通过该视线检测模型对该目标区域进行特征提取,得到该目标区域的区域特征。车载终端通过该视线检测模型,对该目标区域的区域特征进行映射,得到该驾驶员的视线方向。
在这种实施方式下,直接对目标区域进行特征提取,得到该目标区域的区域特征。基于该区域特征对该目标区域进行分类,得到该驾驶员的视线方向,视线检测的效率较高。
举例来说,车载终端将该目标区域输入视线检测模型,通过该视线检测模型对该目标区域进行至少一次全连接或进行至少一次卷积,或基于注意力机制对该目标区域进行编码,得到该目标区域的区域特征。车载终端通过该视线检测模型,对该目标区域的区域特征进行全连接和归一化,得到该目标区域对应于多个候选视线方向的概率。车载终端将该多个候选视线方向中概率最高的候选视线方向,确定为该驾驶员的视线方向。
在一些实施例中,除了利用驾驶员图像中的目标区域来确定驾驶员的视线方向之外,车载终端还能够利用眼动追踪仪来确定驾驶员的视线方向,利用眼动追踪仪确定出的视线方向的准确性较高。其中,该眼动追踪仪安装在该车辆中正对驾驶位的位置。
除了上述实施方式之外,本申请实施例还提供了上述步骤301的另一种实施方式。
在一种可能的实施方式中,该驾驶员数据包括驾驶员当前的行为,在该车辆采用自动驾驶模式行驶的过程中,车载终端获取该车辆内驾驶员的驾驶员视频。车载终端对该驾驶员视频进行行为识别,得到该驾驶员在该车辆内的驾驶员当前的行为。
其中,驾驶员视频包括多个连续的驾驶员图像。驾驶员在该车辆内的驾驶员当前的行为属于多个候选行为,该多个候选行为均为技术人员预先定义好的驾驶员当前的行为,比如,多个候选行为包括打电话、看视频以及看风景等。
在这种实施方式下,在车辆采用自动驾驶模式行驶的过程中,获取该驾驶员的驾驶员视频,对该驾驶员视频进行行为识别,得到该驾驶员的驾驶员当前的行为,也即是得到该驾驶员的驾驶数据。
举例来说,在车辆采用自动驾驶模式行驶的过程中,车载终端通过图像采集设备获取车辆内驾驶员的驾驶员视频。车载终端对该驾驶员视频进行特征提取,得到该驾驶员视频的视频特征。车载终端基于该视频特征对该驾驶员视频进行分类,得到该驾驶员的驾驶员当前的行为。
比如,在车辆采用自动驾驶模式行驶的过程中,车载终端通过驾驶员监测摄像头实时获取车辆内驾驶员的驾驶员视频。车载终端对该驾驶员视频中的多个视频帧进行特征提取,得到各个视频帧的视频帧特征,一个视频帧为一个驾驶员图像。车载终端将该多个视频帧的视频帧特征进行融合,得到该驾驶员视频的视频特征。车载终端对该视频特征进行全连接和归一化,得到该驾驶员视频对应于多个候选行为的概率。车载终端将该多个候选行为中概率最高的候选行为,确定为该驾驶员的驾驶员当前的行为。
302、在该车辆需要人工接管的情况下,车载终端基于该驾驶员数据,确定该驾驶员当前未被占用的感官。
其中,车辆需要人工接管也就表示自动驾驶功能即将终止或者自动驾驶功能无法适用于下一个驾驶场景,需要驾驶员介入来操作车辆,以保证车辆行驶的安全。感官用于描述消耗注意力的感官,相应地,被占用的感官是指正在消耗注意力的感官,感官包括视觉、听觉以及触觉等。驾驶员执行一种驾驶员行为,可能会占用一种或多种感官,比如,驾驶员在打电话时,听觉和触觉会被占用;驾驶员在看风景时,视觉会被占用。在一些实施例中,该车辆需要人工接管的信号是由该车辆的自动驾驶系统发送给车载终端的,在接收到该信号的情况下,车载终端确定该车辆需要人工接管。
在一种可能的实施方式中,车载终端基于该驾驶员数据,确定该驾驶员当前被占用的感官。车载终端基于该驾驶员当前被占用的感官,从多个候选感官中确定该驾驶员当前未被占用的感官,该候选感官为该驾驶员能够被占用的感官。
其中,多个候选感官由技术人员或用户根据实际情况进行设置和调整,本申请实施例对此不做限定。
在这种实施方式下,利用驾驶员数据来确定驾驶员当前被占用的感官,再从多个候选感官中筛选出未被占用的感官,确定未被占用的感官的准确性较高。
为了对上述实施方式进行更加清楚地说明,下面将分为几个部分对上述实施方式进行说明。
第一部分、车载终端基于该驾驶员数据,确定该驾驶员当前被占用的感官。
在一种可能的实施方式中,该驾驶员数据包括姿态、表情以及视线方向,车载终端基于该驾驶员的姿态、表情以及视线方向,确定该驾驶员当前的行为。车载终端将该驾驶员当前的行为对应的感官确定为该驾驶员当前被占用的感官。
其中,行为与感官的对应关系由技术人员根据实际情况进行设置,比如,打电话对应于听觉和触觉,看风景对应于视觉等,本申请实施例对此不做限定。
在这种实施方式下,利用驾驶员的姿态、表情以及视线方向来确定驾驶员当前的行为,行为的准确性较高,从而确定出的当前被占用的感官的准确性较高。
举例来说,车载终端对该驾驶员的姿态、表情以及视线方向进行特征提取,得到该驾驶员的行为特征。车载终端对该行为特征进行全连接和归一化,得到多个候选行为分别对应的概率。车载终端将该多个候选行为中对应的概率最高的候选行为,确定为该驾驶员当前的行为。车载终端将该驾驶员当前的行为对应的感官确定为该驾驶员当前被占用的感官。
比如,车载终端将该驾驶员的姿态、表情以及视线方向拼接为状态矩阵。车载终端将该状态矩阵输入行为识别模型,通过该行为识别模型对该状态矩阵进行至少一次全连接或至少一次卷积,得到该驾驶员的行为特征。车载终端对该行为特征进行全连接和归一化,得到多个候选行为分别对应的概率。车载终端将该多个候选行为中对应的概率最高的候选行为,确定为该驾驶员当前的行为。车载终端将该驾驶员当前的行为对应的感官确定为该驾驶员当前被占用的感官。
在一种可能的实施方式中,该驾驶员数据包括驾驶员当前的行为,车载终端将该驾驶员当前的行为对应的感官确定为该驾驶员当前被占用的感官。
在这种实施方式下,直接根据驾驶员当前的行为来确定驾驶员当前被占用的感官,效率较高。
第二部分、车载终端基于该驾驶员当前被占用的感官,从多个候选感官中确定该驾驶员当前未被占用的感官。
在一种可能的实施方式中,车载终端将该多个候选感官中除该驾驶员当前被占用的感官之外的候选感官,确定为该驾驶员当前未被占用的感官。
举例来说,多个候选感官包括视觉、听觉以及触觉,在驾驶员当前被占用的感官为听觉的情况下,视觉和触觉也就被确定为该驾驶员当前未被占用的感官。
可选的,在步骤303之后,车载终端既可以执行下述步骤303和304,也可以执行下述步骤306,本申请实施例对此不作限定。
303、车载终端确定该驾驶员当前未被占用的感官对应的目标提醒方式。
其中,不同提醒方式对应于车辆内不同的组件,提醒方式包括显示提醒、音频提醒以及震动提醒等,相应的,目标提醒方式是显示提醒、音频提醒以及震动提醒中与该驾驶员当前未被占用的感官对应的提醒方式,目标提醒方式可以包括上述一种提醒方式,也可以包括上述多种提醒方式,本申请实施例对此不做限定。
在一种可能的实施方式中,在该驾驶员当前未被占用的感官为视觉的情况下,车载终端将该目标提醒方式确定为显示提醒。
其中,显示提醒是指以显示的形式来进行提醒。
在这种实施方式下,在该驾驶员当前未被占用的感官为视觉的情况下,也就表示该驾驶员的视觉处于空闲状态,将目标提醒方式确定为显示提醒也就利用了处于空闲状态的感官,提高提醒的效果。
在一种可能的实施方式中,在该驾驶员当前未被占用的感官为听觉的情况下,车载终端将该目标提醒方式确定为音频提醒。
其中,音频提醒是指以音频的形式来进行提醒。
在这种实施方式下,在该驾驶员当前未被占用的感官为听觉的情况下,也就表示该驾驶员的听觉处于空闲状态,将目标提醒方式确定为显示提醒也就利用了处于空闲状态的感官,提高提醒的效果。
在一种可能的实施方式中,在该驾驶员当前未被占用的感官为触觉的情况下,车载终端将该目标提醒方式确定为震动提醒。
其中,震动提醒是指以震动的形式来进行提醒,震动对应于触觉。
在这种实施方式下,在该驾驶员当前未被占用的感官为触觉的情况下,也就表示该驾驶员的触觉处于空闲状态,将目标提醒方式确定为震动提醒也就利用了处于空闲状态的感官,提高提醒的效果。
需要说明的是,上述是以车载终端执行上述步骤301-303为例进行说明的,在其他可能的实施方式中,也可以由服务器来执行上述步骤301-303,也即是车载终端将驾驶员数据上传至服务器,由服务器来确定目标提醒方式并将目标提醒方式发送给车载终端,本申请实施例对于方案的执行主体不作限定。
304、车载终端按照该目标提醒方式提醒该驾驶员接管该车辆。
在一种可能的实施方式中,在该目标提醒方式为显示提醒的情况下,车载终端控制该车辆的仪表盘、抬头显示器或中控屏显示接管提醒,该接管提醒用于提醒该驾驶员接管该车辆。
其中,接管提醒为文本或者图像,本申请实施例对此不作限定。在一些实施例中,车载终端控制该车辆的仪表盘、抬头显示器或中控屏对该接管提醒进行突出显示,比如以大字号或图像来显示该接管提醒,或者以醒目的颜色来显示该接管提醒等。
在这种实施方式下,在仪表盘、抬头显示器或中控屏上显示接管提醒,便于驾驶员及时看到接管提醒,从而接管车辆,人机交互的效率较高。
为了对上述实施方式进行更加清楚地说明,下面将通过几个例子对上述实施方式进行说明。
例1、在该目标提醒方式为显示提醒的情况下,车载终端确定该驾驶员的视线方向。车载终端基于该驾驶员的视线方向,从仪表盘、抬头显示器以及中控屏中确定目标显示设备,该目标显示设备为该视线方向指向的显示设备或与该视线方向距离最短的显示设备,其中,仪表盘、抬头显示器和中控屏均为显示设备。车载终端控制该目标显示设备显示该接管提醒。
例2、在该目标提醒方式为显示提醒的情况下,车载终端确定该驾驶员的视点。车载终端基于该驾驶员的视点,从仪表盘、抬头显示器以及中控屏中确定目标显示设备,该目标显示设备为该视点所在的显示设备或与该视点距离最短的显示设备,其中,仪表盘、抬头显示器和中控屏均为显示设备。车载终端控制该目标显示设备显示该接管提醒。
例3、在该目标提醒方式为显示提醒的情况下,车载终端从仪表盘、抬头显示器以及中控屏中确定目标显示设备,该目标显示设备为该驾驶员查看频率最高的显示设备。车载终端控制该目标显示设备显示该接管提醒。
在一种可能的实施方式中,在该目标提醒方式为音频提醒的情况下,车载终端控制该车辆的音频播放设备播放该接管提醒。
在这种实施方式下,控制音频播放设备播放接管提醒,便于驾驶员及时听到接管提醒,从而接管车辆,人机交互的效率较高。
举例来说,在该目标提醒方式为音频提醒的情况下,车载终端控制目标音频播放设备以预设音量播放该接管提醒,该目标音频播放设备为该车辆的驾驶位对应的音频播放设备,比如为驾驶位的头枕上的音频播放设备,或者为驾驶位旁边的音频播放设备,本申请实施例对此不做限定。该预设音量由技术人员或驾驶员根据实际情况进行设置,本申请实施例对此不作限定。
在一种可能的实施方式中,在该目标提醒方式为震动提醒的情况下,车载终端控制该车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒该驾驶员接管该车辆。
在这种实施方式下,控制该车辆的方向盘、安全带和座椅中的至少一项进行震动,便于驾驶员及时感受到接管提醒,从而接管车辆,人机交互的效率较高。
需要说明的是,上述几种实施方式是分别以目标提醒方式为显示提醒、音频提醒和震动提醒为例进行说明的,在其他可能的实施方式中,目标提醒方式还可以包括显示提醒、音频提醒和震动提醒中的至少两项,按照目标提醒方式来提醒该驾驶员接管该车辆的方式与上述描述属于同一发明构思,在此不再赘述。
可选地,在步骤304之后,车载终端还能够执行下述步骤305。
305、在预设时长之后未对该车辆进行人工接管的情况下,车载终端按照第二预设提醒方式提醒该驾驶员接管该车辆,该第二预设提醒方式包括显示提醒、音频提醒以及震动提醒。
其中,该预设时长由技术人员根据实际情况进行设置,本申请实施例对此不作限定。未对该车辆进行人工接管也即是未检测到驾驶员对该车辆的操作,比如,在未检测到该驾驶员对该车辆的方向盘的转动操作、驾驶员对车辆的动力踏板(油门/电门)的踩下操作以及驾驶员对制动踏板的踩下操作中的任一项的情况下,表示该驾驶员未对该车辆进行人工接管。
在一种可能的实施方式中,在预设时长之后未对该车辆进行人工接管的情况下,车载终端控制该车辆的仪表盘、抬头显示器或中控屏显示接管提醒、控制该车辆的音频播放设备播放该接管提醒以及控制该车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒该驾驶员接管该车辆。
在这种实施方式下,采用显示提醒、音频提醒以及震动提醒来提醒该驾驶员接管该车辆,提高该驾驶员接收到提醒的概率,有助于驾驶员及时接管该车辆,保证车辆行驶时的安全性。
在一些实施例中,车载终端控制该车辆的仪表盘、抬头显示器或中控屏显示接管提醒、控制该车辆的音频播放设备播放该接管提醒以及控制该车辆的方向盘、安全带和座椅中的至少一项进行震动的过程中,随着时间的推移,车载终端能够提高该音频播放设备播放该接管提醒的音量以及该车辆的方向盘、安全带和座椅中的至少一项进行震动时的幅度。
在一些实施例中,在预设时长之后未对该车辆进行人工接管的情况下,车载终端还能够控制该车辆以预设频率和预设幅度进行加速和减速,以提醒该驾驶员接管该车辆。
其中,该预设频率和该预设幅度由技术人员根据实际情况进行设置,本申请实施例对此不作限定。另外,在车载终端控制该车辆以预设频率和预设幅度进行加速和减速的过程中,车辆的自动驾驶系统介入对该车辆的横向控制和纵向控制,以保证该车辆不会与其他车辆或障碍物发生碰撞。
306、在该驾驶员不存在当前未被占用的感官的情况下,车载终端按照第一预设提醒方式提醒该驾驶员接管该车辆,该第一预设提醒方式包括显示提醒、音频提醒以及震动提醒中的至少一项。
其中,该第一预设提醒方式是基于多个候选提醒方式的优先级确定的,该多个候选提醒方式的优先级是基于该驾驶员的用户数据确定的。
为了对上述步骤306进行更加清楚的说明,下面对确定多个候选提醒方式的优先级的方法进行说明。
在一种可能的实施方式中,车载终端获取该驾驶员的用户数据。车载终端基于该驾驶员的用户数据,确定该驾驶员对各个候选提醒方式的偏好值。车载终端基于各个候选提醒方式的偏好值,确定该多个候选提醒方式的优先级。
其中,用户数据包括驾驶员的操作数据、设置数据以及驾驶数据等。偏好值用于反映驾驶员对各个候选提醒方式的偏好程度,一个候选提醒方式的偏好值越高,则表明该驾驶员对该候选提醒方式的偏好程度越高;一个候选提醒方式的偏好值越低,则表明该驾驶员对该候选提醒方式的偏好程度越低。候选提醒方式的优先级用于表示候选提醒方式被选用的优先程度。
在这种实施方式下,利用驾驶员的用户数据来确定驾驶员对各个候选提醒方式的偏好值,基于各个候选提醒方式的偏好值来确定候选提醒方式的优先级,优先级的准确性更高。
举例来说,车载终端获取该驾驶员的用户数据。车载终端对该驾驶员的用户数据进行特征提取,得到该驾驶员的用户特征。车载终端将该驾驶员的用户特征与该多个候选提提醒方式的语义特征进行比较,得到该驾驶员的用户特征与各个候选提提醒方式的语义特征的相似度。车载终端将该相似度确定为该驾驶员对各个候选提醒方式的偏好值。车载终端对各个候选提醒方式的偏好值进行优先级映射,得到各个候选提醒方式的优先级。
为了对上述举例描述的技术方案进行更加清楚的说明,下面对车载终端对各个候选提醒方式的偏好值进行优先级映射,得到各个候选提醒方式的优先级的方法进行说明。
在一种可能的实施方式中,车载终端基于多个候选提醒方式的偏好值确定偏好值范围,该偏好值范围的最小值为该多个候选提醒方式的偏好值中的最小值,该偏好值范围的最大值为该多个候选提醒方式的偏好值中的最大值。车载终端按照优先级的数量,将该偏好值范围平均划分为多个区间,多个区间的数量与优先级的数量相同。车载终端根据各个候选提醒方式的偏好值所属的区间,确定各个候选提醒方式的优先级。
下面对确定该第一预设提醒方式的方法进行说明。
在一种可能的实施方式中,车载终端获取该驾驶员的车辆设置。车载终端基于该车辆设置,确定该第一预设提醒方式。
其中,该车辆设置为该驾驶员在该车载终端上进行的设置,车辆设置能够反映该驾驶员的偏好,利用车辆设置确定出的第一预设提醒方式与该驾驶员的适配程度较高。
举例来说,车载终端获取该驾驶员的车辆设置,该车辆设置为与提醒相关的车辆设置。车载终端对该车辆设置进行提醒方式识别,得到该第一预设提醒方式。
比如,车载终端获取该驾驶员与提醒相关的车辆设置。车载终端对该车辆设置进行分类,得到该车辆设置对应的提醒类型,该提醒类型包括显示提醒、音频提醒以及震动提醒。车载终端将该提醒类型对应的提醒方式确定为该第一预设提醒方式。
在一种可能的实施方式中,车载终端获取多个候选提醒方式的优先级,该多个候选提醒方式包括显示提醒、音频提醒以及震动提醒。车载终端基于该多个候选提醒方式的优先级,从该多个候选提醒方式中确定该第一预设提醒方式。
其中,候选提醒方式的优先级由技术人员或用户根据实际情况或需求进行设置,比如,设置优先级为震动提醒>音频提醒>显示提醒,本申请实施例对此不做限定。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
通过本申请提供的技术方案,在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方法,按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现有效的接管提醒,驾驶员能够及时接管车辆,提高车辆行驶时的安全性。
也即是,本申请提供的技术方案监测驾驶员开启自动驾驶功能时的行为,分析其感官的占用情况下,当需要人工接管的场景出现时,使用驾驶员未被占用的感官进行提醒,从而降低接管提醒被忽略的可能,同时也避免了过度提醒。
图4是本申请实施例提供的一种接管提醒装置的结构示意图,参见图4,装置包括:驾驶员数据获取模块401、感官确定模块402、目标提醒方式确定模块403以及提醒模块404。
驾驶员数据获取模块401,用于在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。
感官确定模块402,用于在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。
目标提醒方式确定模块403,用于确定该驾驶员当前未被占用的感官对应的目标提醒方式。
提醒模块404,用于按照该目标提醒方式提醒该驾驶员接管该车辆。
在一种可能的实施方式中,该驾驶员数据包括姿态、表情以及视线方向,该驾驶员数据获取模块401,用于在该车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员图像。对该驾驶员图像进行识别,得到该驾驶员的姿态、表情以及视线方向。
在一种可能的实施方式中,该驾驶员数据获取模块401,用于对该驾驶员图像进行目标检测,得到该驾驶员图像中的该驾驶员所在的目标区域。对该目标区域进行姿态识别,得到该驾驶员的姿态。对该目标区域进行表情识别和视线检测,得到该驾驶员的表情以及视线方向。
在一种可能的实施方式中,该感官确定模块402,用于基于该驾驶员数据,确定该驾驶员当前被占用的感官。基于该驾驶员当前被占用的感官,从多个候选感官中确定该驾驶员当前未被占用的感官,该候选感官为该驾驶员能够被占用的感官。
在一种可能的实施方式中,该驾驶员数据包括姿态、表情以及视线方向,该感官确定模块402,用于基于该驾驶员的姿态、表情以及视线方向,确定该驾驶员当前的行为。将该驾驶员当前的行为对应的感官确定为该驾驶员当前被占用的感官。
在一种可能的实施方式中,该感官确定模块402,用于对该驾驶员的姿态、表情以及视线方向进行特征提取,得到该驾驶员的行为特征。对该行为特征进行全连接和归一化,得到多个候选行为分别对应的概率。将该多个候选行为中对应的概率最高的候选行为,确定为该驾驶员当前的行为。
在一种可能的实施方式中,该目标提醒方式确定模块403,用于执行下述任一项:
在该驾驶员当前未被占用的感官为视觉的情况下,将该目标提醒方式确定为显示提醒。
在该驾驶员当前未被占用的感官为听觉的情况下,将该目标提醒方式确定为音频提醒。
在该驾驶员当前未被占用的感官为触觉的情况下,将该目标提醒方式确定为震动提醒。
在一种可能的实施方式中,该提醒模块404,用于执行下述任一项:
在该目标提醒方式为显示提醒的情况下,控制该车辆的仪表盘、抬头显示器或中控屏显示接管提醒,该接管提醒用于提醒该驾驶员接管该车辆。
在该目标提醒方式为音频提醒的情况下,控制该车辆的音频播放设备播放该接管提醒。
在该目标提醒方式为震动提醒的情况下,控制该车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒该驾驶员接管该车辆。
在一种可能的实施方式中,该提醒模块404还用于在该驾驶员不存在当前未被占用的感官的情况下,按照第一预设提醒方式提醒该驾驶员接管该车辆,该第一预设提醒方式包括显示提醒、音频提醒以及震动提醒中的至少一项。
在一种可能的实施方式中,该第一预设提醒方式的确定方法包括下述任一项:
获取该驾驶员的车辆设置。基于该车辆设置,确定该第一预设提醒方式。
获取多个候选提醒方式的优先级,该多个候选提醒方式包括显示提醒、音频提醒以及震动提醒。基于该多个候选提醒方式的优先级,从该多个候选提醒方式中确定该第一预设提醒方式。
在一种可能的实施方式中,该提醒模块404还用于在预设时长之后未对该车辆进行人工接管的情况下,按照第二预设提醒方式提醒该驾驶员接管该车辆,该第二预设提醒方式包括显示提醒、音频提醒以及震动提醒。
需要说明的是:上述实施例提供的接管提醒装置在进行接管提醒时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的接管提醒装置与接管提醒方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
通过本申请提供的技术方案,在车辆采用自动驾驶模式行驶的过程中,获取该车辆内驾驶员的驾驶员数据,该驾驶员数据用于表示该驾驶员在该车辆内的状态。在该车辆需要人工接管的情况下,基于该驾驶员数据,确定该驾驶员当前未被占用的感官。确定该驾驶员当前未被占用的感官对应的目标提醒方法,按照该目标提醒方式提醒该驾驶员接管该车辆,从而实现有效的接管提醒,驾驶员能够及时接管车辆,提高车辆行驶时的安全性。
本申请实施例还提供了一种车辆,图5是本申请实施例提供的一种车辆的结构示意图。
通常,车辆500包括有:一个或多个处理器501和一个或多个存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、5核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器501所执行以实现本申请中方法实施例提供的接管提醒方法。
本领域技术人员可以理解,图5中示出的结构并不构成对车辆500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
另外,本申请的实施例提供的装置具体可以是芯片、组件或模块,该芯片可包括相连的处理器和存储器;其中,存储器用于存储指令,当处理器调用并执行指令时,可以使芯片执行上述实施例提供的一种接管提醒的方法。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序代码,当该计算机程序代码在计算机上运行时,使得计算机执行上述相关方法步骤实现上述实施例提供的一种接管提醒的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例提供的一种接管提醒的方法。
其中,本实施例提供的装置、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其他的形式。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种接管提醒方法,其特征在于,所述方法包括:
在车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员数据,所述驾驶员数据用于表示所述驾驶员在所述车辆内的状态;
在所述车辆需要人工接管的情况下,基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官;
确定所述驾驶员当前未被占用的感官对应的目标提醒方式;
按照所述目标提醒方式提醒所述驾驶员接管所述车辆。
2.根据权利要求1所述的方法,其特征在于,所述基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官包括:
基于所述驾驶员数据,确定所述驾驶员当前被占用的感官;
基于所述驾驶员当前被占用的感官,从多个候选感官中确定所述驾驶员当前未被占用的感官,所述候选感官为所述驾驶员能够被占用的感官。
3.根据权利要求2所述的方法,其特征在于,所述驾驶员数据包括姿态、表情以及视线方向,所述基于所述驾驶员数据,确定所述驾驶员当前被占用的感官包括:
基于所述驾驶员的姿态、表情以及视线方向,确定所述驾驶员当前的行为;
将所述驾驶员当前的行为对应的感官确定为所述驾驶员当前被占用的感官。
4.根据权利要求3所述的方法,其特征在于,所述基于所述驾驶员的姿态、表情以及视线方向,确定所述驾驶员当前的行为包括:
对所述驾驶员的姿态、表情以及视线方向进行特征提取,得到所述驾驶员的行为特征;
对所述行为特征进行全连接和归一化,得到多个候选行为分别对应的概率;
将所述多个候选行为中对应得概率最高的候选行为,确定为所述驾驶员当前的行为。
5.根据权利要求1所述的方法,其特征在于,所述确定所述驾驶员当前未被占用的感官对应的目标提醒方式包括下述任一项:
在所述驾驶员当前未被占用的感官为视觉的情况下,将所述目标提醒方式确定为显示提醒;
在所述驾驶员当前未被占用的感官为听觉的情况下,将所述目标提醒方式确定为音频提醒;
在所述驾驶员当前未被占用的感官为触觉的情况下,将所述目标提醒方式确定为震动提醒。
6.根据权利要求1所述的方法,其特征在于,所述按照所述目标提醒方式提醒所述驾驶员接管所述车辆包括下述任一项:
在所述目标提醒方式为显示提醒的情况下,控制所述车辆的仪表盘、抬头显示器或中控屏显示接管提醒,所述接管提醒用于提醒所述驾驶员接管所述车辆;
在所述目标提醒方式为音频提醒的情况下,控制所述车辆的音频播放设备播放所述接管提醒;
在所述目标提醒方式为震动提醒的情况下,控制所述车辆的方向盘、安全带和座椅中的至少一项进行震动,以提醒所述驾驶员接管所述车辆。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述驾驶员不存在当前未被占用的感官的情况下,按照第一预设提醒方式提醒所述驾驶员接管所述车辆,所述第一预设提醒方式包括显示提醒、音频提醒以及震动提醒中的至少一项,所述第一预设提醒方式是基于多个候选提醒方式的优先级确定的,所述多个候选提醒方式的优先级是基于所述驾驶员的用户数据确定的。
8.根据权利要求7所述的方法,其特征在于,所述多个候选提醒方式的优先级的确定方法包括:
获取所述驾驶员的用户数据;
基于所述驾驶员的用户数据,确定所述驾驶员对各个所述候选提醒方式的偏好值;
基于各个所述候选提醒方式的偏好值,确定所述多个候选提醒方式的优先级。
9.一种接管提醒装置,其特征在于,所述装置包括:
驾驶员数据获取模块,用于在车辆采用自动驾驶模式行驶的过程中,获取所述车辆内驾驶员的驾驶员数据,所述驾驶员数据用于表示所述驾驶员在所述车辆内的状态;
感官确定模块,用于在所述车辆需要人工接管的情况下,基于所述驾驶员数据,确定所述驾驶员当前未被占用的感官;
目标提醒方式确定模块,用于确定所述驾驶员当前未被占用的感官对应的目标提醒方式;
提醒模块,用于按照所述目标提醒方式提醒所述驾驶员接管所述车辆。
10.一种车辆,其特征在于,所述车辆包括:
存储器,用于存储可执行程序代码;
处理器,用于从所述存储器中调用并运行所述可执行程序代码,使得所述车辆执行如权利要求1至8中任意一项所述的接管提醒方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311349573.0A CN117246352A (zh) | 2023-10-18 | 2023-10-18 | 接管提醒方法、装置和车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311349573.0A CN117246352A (zh) | 2023-10-18 | 2023-10-18 | 接管提醒方法、装置和车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117246352A true CN117246352A (zh) | 2023-12-19 |
Family
ID=89126324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311349573.0A Pending CN117246352A (zh) | 2023-10-18 | 2023-10-18 | 接管提醒方法、装置和车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117246352A (zh) |
-
2023
- 2023-10-18 CN CN202311349573.0A patent/CN117246352A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6883766B2 (ja) | 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム | |
US9501693B2 (en) | Real-time multiclass driver action recognition using random forests | |
US20200057487A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
US9613459B2 (en) | System and method for in-vehicle interaction | |
US20220189307A1 (en) | Presentation of dynamic threat information based on threat and trajectory prediction | |
CN110395260B (zh) | 车辆、安全驾驶方法和装置 | |
CN103732480A (zh) | 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备 | |
WO2016170764A1 (ja) | 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム | |
EP4047561A1 (en) | Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle | |
CN112689587B (zh) | 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法 | |
US20210380143A1 (en) | Handover assistant for machine to driver transitions | |
US9035780B2 (en) | Apparatus for preventing passive task-related fatigue of driver and method thereof | |
WO2021017341A1 (zh) | 识别智能行驶设备的行驶状态的方法及装置、设备 | |
EP4042322A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
CN113811851A (zh) | 用户界面耦合 | |
CN111137212A (zh) | 后视镜装置及车辆 | |
CN113232668B (zh) | 一种驾驶辅助方法、系统、介质及终端 | |
CN114842433A (zh) | 基于显著性的图像中对象的呈现 | |
CN117246352A (zh) | 接管提醒方法、装置和车辆 | |
CN116204253A (zh) | 一种语音助手显示方法及相关装置 | |
CN112951216A (zh) | 一种车载语音处理方法及车载信息娱乐系统 | |
CN117962742B (zh) | 车辆组件的控制方法、装置和车辆 | |
CN118519530A (zh) | 基于车载屏幕的控件控制方法以及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |