CN113222295A - 一种面向l3级自动驾驶汽车控制权切换状态下的接管时间预测方法 - Google Patents

Abstract

本发明属于汽车智能化技术领域，尤其为一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，包括以下步骤：步骤一：采集驾驶员上半身，足部图像；步骤二：获取关键帧，计算接管时间，制作数据集；步骤三：训练神经网络并更新权重；步骤四：实时采集图像，预测接管时间。本发明设计开发的自动驾驶汽车驾驶权切换时接管时间预测方法，以驾驶员数据和场景数据为基础，构建深度学习回归模型，并通过采集的大量数据形成数据集，对模型进行充分训练，从而能够根据驾驶员状态和行车环境实时预测接管时间，为驾驶权迅速、安全地切换提供了依据，提高了接管绩效。

Description

一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预 测方法

技术领域

本发明涉及汽车智能化技术领域，具体为一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法。

背景技术

根据最新的2021年SAE J3016评级，L3级别的自动驾驶汽车在某些场景下仍然需要驾驶员接受系统发出的干预请求，接管驾驶权。

研究发现，在车辆执行自动驾驶的过程中，自动驾驶级别越高，驾驶人集中在环境监视和系统操作上的注意力就越少，接管驾驶的能力也越差，因此，实时评估驾驶员的接管时间，对于实现汽车控制权安全、平稳、迅速地切换具有极其重要的意义。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，为实现汽车控制权安全、平稳、迅速地切换提供了具体可行的依据。

(二)技术方案。

本发明为了实现上述目的具体采用以下技术方案：

一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，包括以下步骤：

步骤一：采集驾驶员上半身，足部图像：布置两个摄像头，分别用于采集驾驶员上半身、足部图像，模拟自动驾驶过程，司机执行不同的次任务，系统随机发送语音接管请求，司机终止次任务，开始接管驾驶权，直至接管完成，由摄像头记录下每一个接管事件；

步骤二：获取关键帧，计算接管时间，制作数据集：在每一个接管事件中，获取两个关键帧，其一是接管请求发出前一帧F₁，具体为上半身对应帧 F_1e，足部帧F_1f，对应的时刻记为t₁，其二是完成控制接管动作的第一帧F₂，具体为视线正视前方且双手放在方向盘上的第一帧F_2e、脚放在制动踏板上的第一帧F_2f，对应的时刻分别记为t_2e和t_2f，由F₁、F₂两帧时间差计算反应时间，将上半身图像F_1e、足部图像F_1f分别存放，命名规则为“编号+反应时间”，构建上半身反应时间数据集、足部反应时间数据集，通过添加高斯噪声扩充数据集样本数量；

在每一个接管事件中，接管动作全部完成后，驾驶员踩下制动踏板，情境意识恢复,记录踩下制动踏板的时刻t₃，这也是整个接管过程的结束时刻，情境意识恢复时间为该结束时刻和全部反应动作完成时刻的时间差，把每个接管事件的次任务复杂度c、次任务持续时间l、驾驶员年龄a、驾龄h、接管情景复杂度f指标及情境意识恢复时间T_r对应保存，得到情境意识恢复时间数据集；

步骤三：训练神经网络并更新权重：利用上半身数据集、足部数据集分别训练神经网络，将batch size设置为32，采用均方损失函数和Adam优化器，学习率为0.001，更新各层网络权重；

步骤四：实时采集图像，预测接管时间：实时采集图像，分别送入两个预测模型，得到两个接管时间T_e、T_f取其最大值作为接管反应动作时间T₁，同时，由状态监测模块结合第一摄像头的图像分析出接管事件中的次任务类型及次任务持续时间，并结合模拟器输出的接管情景复杂度和提前输入的驾驶员年龄及驾龄由线性回归模型预测出情境意识恢复时间T_r，最后，真正的接管时间：

TOT＝T₁+T_r。

进一步的，所述步骤一中，模拟自动驾驶过程是通过选取50名司机进行自驾模拟，每次实验时长一小时，在实验时间里，司机执行7种不同的次任务，系统随机发送语音接管请求，司机终止次任务，开始接管驾驶权，直至接管完成，由摄像头记录下每一个接管事件。

进一步的，所述步骤二中，F₁和F₂分别对应了接管动作的开始和结束，由两帧时间差计算反应时间，反应时间为：

T_e＝t_2e-t₁

T_f＝t_2f-t₁

其中，T_e、T_f分别对应了面部和手部、足部在F_1e、F_1f状态下完成接管动作所需要的时间；

情境意识恢复时间为接管过程的结束时刻(接管动作全部完成后，驾驶员踩下制动踏板)和全部反应动作完成时刻的时间差，即为：

T_r＝t₃-max{t_2e′t_2f}

采用如下方法确定次任务复杂度c：对于给定的7种次任务，邀请10位驾驶员对其分别打分，打分区间为0-1，分数越高，代表该任务越复杂，最后，对每一类任务的10个分数取平均值作为该任务的复杂度，次任务持续时间l 和接管情景复杂度f可分别由图像数据和模拟器数据得出，把每个接管事件的以上指标及情境意识恢复时间T_r，对应保存，得到情境意识恢复时间数据集。

进一步的，所述步骤三中，均方损失函数表达式：

其中，y_i为真实值，

为预测值，采用Adam优化器，学习率为0.001，更新各层网络权重。

进一步的，所述步骤三中，训练并更新各层网络权重时，将情境意识恢复时间数据集里每个特征先做标准化：设该特征在整个数据集上的均值为μ，标准差为σ，那么，将该特征的每个值先减去μ再除以σ得到标准化后的每个特征值，利用这些特征值训练线性回归模型：

T_r＝w₁c+w₂l+w₃a+w₄h+w₅f+b

其中，c为次任务复杂度、l为次任务持续时间、a为驾驶员年龄、h为驾龄、f为接管情景复杂度，b为偏差，采用均方损失函数，不断迭代优化该损失函数至最小值，更新各权重。

本发明的目的是设计开发了一种面向L3级自动驾驶汽车在控制权切换时的接管时间评估方法。在座舱内布置2个摄像头，分别采集驾驶员的上半身、脚部图像，设计自动驾驶接管任务，利用接管过程的驾驶员上半身、脚状态图像及从中提取的特征数据构建接管动作时间数据集和情境意识恢复时间数据集，在此基础上，利用深度学习回归方法构建接管时间深度学习网络模型并进行训练，进而通过实时采集驾驶员图像数据，输入构建好的模型预测得到接管时间。

(三)有益效果

与现有技术相比，本发明提供了一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，具备以下有益效果：

本发明，通过设计开发的自动驾驶汽车驾驶权切换时接管时间预测方法，以驾驶员数据和场景数据为基础，构建深度学习回归模型，并通过采集的大量数据形成数据集，对模型进行充分训练，从而能够根据驾驶员状态和行车环境实时预测接管时间，为驾驶权迅速、安全地切换提供了依据，提高了接管绩效。

附图说明

图1为本发明接管时间预测方法流程图；

图2为本发明两个摄像头的布置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1-2所示，本发明一个实施例提出的一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，包括以下步骤：

步骤一：采集驾驶员上半身，足部图像；

如图2所示，利用驾驶模拟器搭建行车场景，布置第一摄像头110和第二摄像头120两个摄像头，分别用于采集驾驶员上半身、足部图像；第一摄像头110设置在模拟器显示屏上方附近，用于采集驾驶员上半身图像(主要是面部、手部和方向盘信息)，第二摄像头120设置在制动踏板后方，用于采集驾驶员足部图像；调整好两个摄像头角度，满足车内图像采集要求。

选取50名司机，模拟自动驾驶过程，每次实验时长一小时，在实验时间里，司机执行不同的次任务时(左手打电话，右手打电话，左手发消息，右手发消息，喝水，向后探头，操作娱乐设备)，由系统随机发送语音接管请求，司机终止次任务，开始接管驾驶权，当驾驶员视线正视前方且双手放在方向盘上、脚接触制动踏板时，上半身和脚部的接管动作完成，此后当驾驶员第一次踩下制动踏板时，驾驶员情境意识恢复，此时驾驶员具备决策的能力，接管过程结束。使用两个摄像头分别采集驾驶员上半身、足部视频；记录下每个接管事件对应的驾驶员年龄、驾龄、次任务类型、执行该次任务的时间，以及当前场景的复杂度。

步骤二：获取关键帧，计算接管时间，制作数据集；

每一个接管事件中，获取两个关键帧，其一是接管请求发出前一帧图像 F₁，具体为上半身图像F_1e，足部图像F_1f，对应的时刻记为t₁，其二是完成控制权接管的第一帧F₂，具体表现为，视线正视前方且手放在方向盘上对应帧 F_2e、，脚放在踏板上对应帧F_2f，对应的时刻分别为t_2e和t_2f，F₁和F₂分别对应了接管动作的开始和结束，由两帧时间差计算反应时间。反应时间为：

T_e＝t_2e-t₁

T_f＝t_2f-t₁

T_e、T_f分别对应了面部和手部、足部在F_1e、F_1f状态下完成接管动作所需要的时间。将上半身图像F_1e、足部图像F_1f分别存放，命名规则为“编号+反应时间”，构建上半身反应时间数据集、足部反应时间数据集，通过添加高斯噪声扩充数据集样本数量。

在每一个接管事件中，驾驶员完成接管动作后，需要一段时间才能恢复情境意识，从而具备决策能力。记录下情境意识恢复时踩下制动踏板的时刻 t₃，这也是整个接管过程的结束时刻，情境意识恢复时间为该结束时刻和全部接管动作完成时刻的时间差，即为：

T_r＝t₃-max{t_2e′t_2f}

情境意识恢复时长与次任务复杂度c、次任务持续时间l、驾驶员年龄a、驾龄h、接管情景复杂度f(车及行人的数量)有关。采用如下方法确定次任务复杂度c：对于给定的7种次任务，邀请10位驾驶员对其分别打分，打分区间为0-1，分数越高，代表该任务越复杂，最后，对每一类任务的10个分数取平均值作为该任务的复杂度。次任务持续时间l和接管情景复杂度f可分别由图像数据和模拟器数据得出。把每个接管事件的以上指标及情境意识恢复时间T_r对应保存，得到情境意识恢复时间数据集。

步骤三：训练神经网络并更新权重；

将Resnet50网络全连接部分的最后一层的输出设置为1，利用上半身反应时间数据集、足部数据集分别训练神经网络，batch size设置为32，采用均方损失函数，表达式为：

其中，y_i为真实值，

为预测值，采用Adam优化器，学习率为0.001，更新各层网络权重。

将情境意识恢复时间数据集里每个特征先做标准化：设该特征在整个数据集上的均值为μ，标准差为σ，那么，将该特征的每个值先减去μ再除以σ得到标准化后的每个特征值，利用这些特征值训练线性回归模型：

T_r＝w₁c+w₂l+w₃a+w₄h+w₅f+b

其中，c为次任务复杂度、l为次任务持续时间、a为驾驶员年龄、h为驾龄、f为接管情景复杂度，b为偏差，采用均方损失函数，不断迭代优化该损失函数至最小值，更新各权重。

步骤四：实时采集图像，预测接管时间；

实时采集图像，预测接管时间：实时采集图像，分别送入两个预测模型，得到两个接管时间T_e、T_f取其最大值作为接管反应动作时间T₁，同时，由状态监测模块结合第一摄像头的图像分析出接管事件中的次任务类型及次任务持续时间，并结合模拟器输出的接管情景复杂度和提前输入的驾驶员年龄及驾龄由线性回归模型预测出情境意识恢复时间T_r，最后，真正的接管时间：

TOT＝T₁+T_r。

本实施例是在座舱内布置2个摄像头，分别采集驾驶员的上半身、脚部图像，设计自动驾驶接管任务，利用接管过程的驾驶员上半身、脚状态图像及从中提取的特征数据构建接管动作时间数据集和情境意识恢复时间数据集，在此基础上，利用深度学习回归方法构建接管时间深度学习网络模型并进行训练，进而通过实时采集驾驶员图像数据，输入构建好的模型预测得到接管时间。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，其特征在于：包括以下步骤：

步骤一：采集驾驶员上半身，足部图像：布置两个摄像头，分别用于采集驾驶员上半身、足部图像，模拟自动驾驶过程，司机执行不同的次任务,系统随机发送语音接管请求，司机终止次任务，开始接管驾驶权，直至接管完成，由摄像头记录下每一个接管事件；

步骤二：获取关键帧，计算接管时间，制作数据集：在每一个接管事件中，获取两个关键帧，其一是接管请求发出前一帧F₁，具体为上半身对应帧F_1e，足部帧F_1f，对应的时刻记为t₁，其二是完成控制接管动作的第一帧F₂，具体为视线正视前方且双手放在方向盘上的第一帧F_2e、脚放在制动踏板上的第一帧F_2f，对应的时刻分别记为t_2e和t_2f，由F₁、F₂两帧时间差计算反应时间，将上半身图像F_1e、足部图像F_1f分别存放，命名规则为“编号+反应时间”，构建上半身反应时间数据集、足部反应时间数据集，通过添加高斯噪声扩充数据集样本数量；

在每一个接管事件中，接管动作全部完成后，驾驶员踩下制动踏板，情境意识恢复,记录踩下制动踏板的时刻t₃，这也是整个接管过程的结束时刻，情境意识恢复时间为该结束时刻和全部反应动作完成时刻的时间差，把每个接管事件的次任务复杂度c、次任务持续时间l、驾驶员年龄a、驾龄h、接管情景复杂度f指标及情境意识恢复时间T_r对应保存，得到情境意识恢复时间数据集；

步骤三：训练神经网络并更新权重：利用上半身数据集、足部数据集分别训练神经网络，将batch size设置为32，采用均方损失函数和Adam优化器，学习率为0.001，更新各层网络权重；

步骤四：实时采集图像，预测接管时间：实时采集图像，分别送入两个预测模型，得到两个接管时间T_e、T_f取其最大值作为接管反应动作时间T₁，同时，由状态监测模块结合第一摄像头的图像分析出接管事件中的次任务类型及次任务持续时间，并结合模拟器输出的接管情景复杂度和提前输入的驾驶员年龄及驾龄由线性回归模型预测出情境意识恢复时间T_r，最后，真正的接管时间：

TOT＝T₁+T_r。

2.根据权利要求1所述的一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，其特征在于：所述步骤一中，模拟自动驾驶过程是通过选取50名司机进行自驾模拟，每次实验时长一小时，在实验时间里，司机执行7种不同的次任务，系统随机发送语音接管请求，司机终止次任务，开始接管驾驶权，直至接管完成，由摄像头记录下每一个接管事件。

3.根据权利要求1所述的一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，其特征在于：所述步骤二中，F₁和F₂分别对应了接管动作的开始和结束，由两帧时间差计算反应时间，反应时间为：

T_e＝t_2e-t₁

T_f＝t_2f-t₁

其中，T_e、T_f分别对应了面部和手部、足部在F_1e、F_1f状态下完成接管动作所需要的时间；

情境意识恢复时间为接管过程的结束时刻(接管动作全部完成后，驾驶员踩下制动踏板)和全部反应动作完成时刻的时间差，即为：

T_r＝t₃-max{t_2e′t_2f}

采用如下方法确定次任务复杂度c：对于给定的7种次任务，邀请10位驾驶员对其分别打分，打分区间为0-1，分数越高，代表该任务越复杂，最后，对每一类任务的10个分数取平均值作为该任务的复杂度，次任务持续时间l和接管情景复杂度f可分别由图像数据和模拟器数据得出，把每个接管事件的以上指标及情境意识恢复时间T_r，对应保存，得到情境意识恢复时间数据集。

4.根据权利要求1所述的一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，其特征在于：所述步骤三中，均方损失函数表达式：

其中，y_i为真实值，

为预测值，采用Adam优化器，学习率为0.001，更新各层网络权重。

5.根据权利要求1所述的一种面向L3级自动驾驶汽车控制权切换状态下的接管时间预测方法，其特征在于：所述步骤三中，训练并更新各层网络权重时，将情境意识恢复时间数据集里每个特征先做标准化：设该特征在整个数据集上的均值为μ，标准差为σ，那么，将该特征的每个值先减去μ再除以σ得到标准化后的每个特征值，利用这些特征值训练线性回归模型：

T_r＝w₁c+w₂l+w₃a+w₄h+w₅f+b

其中，c为次任务复杂度、l为次任务持续时间、a为驾驶员年龄、h为驾龄、f为接管情景复杂度，b为偏差，采用均方损失函数，不断迭代优化该损失函数至最小值，更新各权重。

Images