CN117831006A - 驾驶行为检测网络训练、驾驶行为检测方法、装置及设备 - Google Patents

Abstract

本申请公开了驾驶行为检测网络训练、驾驶行为检测方法、装置及设备，该方法包括：将多个样本驾驶行为图像分别输入预设驾驶行为检测网络，得到每个样本驾驶行为图像对应的疲劳行为预测信息、中间层分心特征和分心行为预测信息；基于多个样本驾驶行为图像对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；基于每个样本驾驶行为图像对应的疲劳行为检测损失、分心行为检测损失和分心样本三元组的分心特征损失，训练预设驾驶行为检测网络。利用本方案可以在提高网络对相似分心行为区分能力的基础上，实现驾驶行为检测的低时延与高准确率。

Description

驾驶行为检测网络训练、驾驶行为检测方法、装置及设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种驾驶行为检测网络训练、驾驶行为检测方法、装置及设备。

背景技术

随着汽车行业的快速发展，安全驾驶辅助功能越来越受到关注，疲劳和分心驾驶行为是影响事故发生的重要因素。在此背景下，驾驶员疲劳和分心驾驶行为识别方法层出不穷。疲劳和分心判断是驾驶员监测系统中重要部分，其具体要求能够实时准确地识别出图像中驾驶员是否疲劳驾驶或存在影响驾驶的危险行为。

现有的驾驶行为检测方法中存在以下不足：1)依赖多个模型且标注成本高，现有技术中的检测方法需要依次经过人脸检测、关键点检测、交互物检测等多个模型，由关键点检测结果获得疲劳相关的行为检测信息，由交互物检测结果获得分心相关的行为检测信息，然而，多个模型在车机端串行计算难以达到检测闭眼的低时延要求，并且在训练数据准备阶段，需要人工打标面部多个关键点和交互物体框，标注成本较高；2)分心行为中的相似动作难以区分，现有技术中用于驾驶行为检测的图像细粒度分类模型通常更加关注和动作相联系的手部特征，比如，打电话动作和挠耳朵动作具有相同的手部特征，挠耳朵动作可能被误判为打电话。因此，需要提供一种更加高效的驾驶行为检测方法。

发明内容

本申请提供了一种驾驶行为检测网络训练、驾驶行为检测方法、装置、设备及存储介质，可以在提高网络对不同分心行为类别间相似分心行为的区分能力的基础上，实现驾驶行为检测的低时延与高准确率，本申请技术方案如下：

一方面，提供了一种驾驶行为检测网络训练方法，所述方法包括：

获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

另一方面，提供了一种驾驶行为检测方法，所述方法包括：

获取目标驾驶员对应的连续帧驾驶行为图像；

将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的分心行为预测信息和所述每帧驾驶行为图像对应的疲劳行为预测信息；

基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

其中，所述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练方法训练后得到的。

另一方面，提供了一种病理驾驶行为检测网络训练装置，所述装置包括：

样本图像获取模块，用于获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

疲劳行为检测模块，用于将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

分心行为检测模块，用于将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

分心样本三元组确定模块，用于基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

分心特征损失确定模块，用于基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

网络训练模块，用于基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

另一方面，提供了一种驾驶行为检测装置，所述装置包括：

图像获取模块，用于获取目标驾驶员对应的连续帧驾驶行为图像；

驾驶行为检测模块，用于将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的疲劳行为预测信息和所述每帧驾驶行为图像对应的分心行为预测信息；

分心行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

疲劳行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

其中，所述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练装置训练后得到的。

另一方面，提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的驾驶行为检测网络训练方法或驾驶行为检测方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的驾驶行为检测网络训练方法或驾驶行为检测方法。

本申请提供的驾驶行为检测网络训练、驾驶行为检测方法、装置、设备及存储介质，具有如下技术效果：

利用本申请提供的技术方案，仅需要对多个样本驾驶行为图像分别进行分心行为和疲劳行为的预标注，降低训练数据的标注成本，接着将多个样本驾驶行为图像中每个样本驾驶行为图像分别输入预设驾驶行为检测网络进行驾驶行为检测，得到每个样本驾驶行为图像对应的中间层分心特征、分心行为预测信息和疲劳行为预测信息，并基于多个样本驾驶行为图像各自对应的分心行为预测信息，对多个样本驾驶行为图像进行针对分心行为的误识别样本筛选，以筛选出网络难以识别的分心行为类别间差异较小的目标误识别样本，及其正负样本，生成分心样本三元组，然后确定分心样本三元组对应的分心特征损失，最终基于分心特征损失、每个样本驾驶行为图像对应的分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及每个样本驾驶行为图像对应的疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络，通过三元组特征损失和行为类别损失，训练驾驶行为检测网络，可以在提高网络对不同分心行为类别间相似分心行为的区分能力的基础上，实现驾驶行为检测的低时延与高准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种驾驶行为检测网络训练方法的流程示意图；

图2是本申请实施例提供的一种获取多个样本驾驶行为图像和多个样本驾驶行为图像各自对应的驾驶行为标注信息的流程示意图；

图3是本申请实施例提供的一种预设驾驶行为检测网络的结构示意图；

图4是本申请实施例提供的另一种驾驶行为检测网络训练方法的流程示意图；

图5是本申请实施例提供的一种基于多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组的流程示意图；

图6是本申请实施例提供的一种驾驶员疲劳和分心检测网络的训练方法的流程示意图；

图7是本申请实施例提供的一种驾驶行为检测方法的流程示意图；

图8是本申请实施例提供的一种驾驶员疲劳和分心检测方法的流程示意图

图9是本申请实施例提供的一种驾驶行为检测网络训练装置的组成框图；

图10是本申请实施例提供的一种驾驶行为检测装置的组成框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本申请实施例提供的一种驾驶行为检测网络训练方法，图1为本申请实施例提供的一种驾驶行为检测网络训练方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，上述方法可以包括：

S101，获取多个样本驾驶行为图像和多个样本驾驶行为图像各自对应的驾驶行为标注信息，驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息。

在本说明书实施例中，多个样本驾驶行为图像可以为用于对驾驶行为检测网络进行驾驶行为检测训练的样本图像。在一个具体的实施例中，样本驾驶行为图像可以为驾驶员所在区域的图像，可以理解的是，驾驶员所在区域应包括驾驶员的头部、颈部、上半躯干及两臂等部位。

在本说明书实施例中，每个样本驾驶行为图像对应的驾驶行为标注信息可以表征对每个样本驾驶行为图像进行驾驶行为分类后得到的驾驶行为真实类别。在一些可选的实施例中，驾驶行为标注信息的表现形式可以为驾驶行为标注标签，驾驶行为标注标签可以包含有多种预设驾驶行为标签中的至少一种预设驾驶行为标签，具体的，多种预设驾驶行为标签可以结合实际应用中的驾驶行为分类需求进行预先设置；在另一些可选的实施例中，驾驶行为标注信息的表现形式还可以为驾驶行为标注向量，驾驶行为标注向量可以表征对应样本驾驶行为图像分别属于多种预设驾驶行为标签的标注概率，驾驶行为标注向量中的多维元素与多种预设驾驶行为标签一一对应，多维元素中的每一维元素分别表示对应样本驾驶行为图像属于对应预设驾驶行为标签的标注概率。

在一个具体的实施例中，驾驶行为标注信息可以包括分心行为标注信息和疲劳行为标注信息，具体的，每个样本驾驶行为图像对应的分心行为标注信息可以表征对每个样本驾驶行为图像进行分心行为分类后得到的分心行为标注类别，每个样本驾驶行为图像对应的疲劳行为标注信息可以表征对每个样本驾驶行为图像进行疲劳行为分类后得到的疲劳行为标注类别；相应的，上述多种预设驾驶行为标签可以包括：多种预设分心行为标签、多种预设疲劳行为标签和“正常驾驶行为”标签，示意性的，多种预设分心行为标签可以包括但不限于：“打电话”标签、“抽烟”标签、“喝水”标签等，多种预设疲劳行为标签可以包括但不限于：“闭眼”标签、“打哈欠”标签等。

在本说明书实施例中，如图2所示，上述获取多个样本驾驶行为图像和多个样本驾驶行为图像各自对应的驾驶行为标注信息可以包括：

S201，获取多个初始驾驶行为图像和多个初始驾驶行为图像各自对应的人脸检测结果。

在本说明书实施例中，初始驾驶行为图像可以为对应图像内容包含有驾驶员所在区域的样本原始图像，在一个具体的实施例中，多个初始驾驶行为图像可以为基于经设置在车舱内的摄像设备采集到的包含有驾驶员所在区域的样本原始图像，可选的实施例中，这里的摄像设备可以为DMS(Driver Monitor System，驾驶员监控系统)摄像头。

在一个具体的实施例中，每个初始驾驶行为图像对应的人脸检测结果可以为每个初始驾驶行为图像中与驾驶员脸部关联的检测信息。具体的，每个初始驾驶行为图像对应的人脸检测结果可以包括但不限于：驾驶员人脸位置信息、人脸关键点信息和头部姿态信息。

在一个具体的实施例中，驾驶员人脸位置信息可以为初始驾驶行为图像中驾驶员人脸检测框的位置信息。

在一个具体的实施例中，人脸关键点信息可以为初始驾驶行为图像中驾驶员人脸的特征点的位置信息。可选的，这里的人脸关键点信息可以包括：68个人脸关键点的位置信息，示意性的，人脸关键点信息可以包括：眼部关键点信息和嘴部关键点信息。

在一个具体的实施例中，头部姿态信息可以为初始驾驶行为图像中驾驶员的头部偏转角度。具体的，头部偏转角度可以包括：摇头角度、点头角度和摆头角度。

可以理解的是，在利用车舱内的摄像设备采集样本原始图像时，通常采集的样本原始图像包括驾驶员所在区域和其他区域，其他区域可能影响后续驾驶行为检测的准确性。因此，当获取到样本原始图像后，需要对该样本原始图像进行人脸检测处理，以提取需要进行驾驶行为检测的驾驶员所在区域的图像。在一个具体的实施例中，每个初始驾驶行为图像对应的人脸检测结果可以通过如下方式得到：

1)对每个初始驾驶行为图像进行人脸检测处理，得到每个初始驾驶行为图像对应的驾驶员人脸位置信息。

具体的，可以采用人脸检测网络对每个初始驾驶行为图像进行人脸检测处理，得到每个初始驾驶行为图像对应的初始人脸检测框，在初始人脸检测框包含有至少一个人脸检测框的情况下，将至少一个人脸检测框中检测框置信度满足预设置信阈值且面积最大的人脸检测框作为驾驶员人脸检测框，从而得到驾驶员人脸位置信息。

可选的，这里的人脸检测网络可以为现有技术中任意具有人脸检测能力的人工智能网络，本申请对此不进行特别的限定。

2)基于每个初始驾驶行为图像对应的驾驶员人脸位置信息，对每个初始驾驶行为图像进行人脸关键点检测，得到每个初始驾驶行为图像对应的人脸关键点信息。

具体的，可以将每个初始驾驶行为图像对应的驾驶员人脸位置信息输入人脸关键点检测网络进行人脸关键点检测，得到每个初始驾驶行为图像对应的人脸关键点信息。

可选的，这里的人脸关键点检测网络可以为现有技术中任意具有人脸关键点检测能力的人工智能网络，本申请对此不进行特别的限定。示意性的，这里的人脸关键点检测网络可以包括：InsightFace等。

3)基于每个初始驾驶行为图像对应的人脸关键点信息，对每个初始驾驶行为图像进行头部姿态分析，得到每个初始驾驶行为图像对应的头部姿态信息。

4)将每个初始驾驶行为图像对应的驾驶员人脸位置信息、人脸关键点信息和头部姿态信息，作为每个初始驾驶行为图像对应的人脸检测结果。

S202，根据每个初始驾驶行为图像对应的人脸检测结果，对每个初始驾驶行为图像进行疲劳行为标注，得到每个初始驾驶行为图像对应的初始疲劳标注信息。

具体的，根据每个初始驾驶行为图像对应人脸检测结果中的人脸关键点信息，计算每个初始驾驶行为图像中驾驶员的上下眼睑距离和上下嘴唇距离，并将上下眼睑距离和上下嘴唇距离，输入疲劳行为预标注网络进行疲劳行为标注，得到初始疲劳标注信息。

在一个具体的实施例中，根据上下眼睑距离和上下嘴唇距离，进行疲劳行为标注，得到初始疲劳标注信息可以包括：在上下眼睑距离小于预设眼睑距离阈值的情况下，将“闭眼”标签作为初始疲劳标注信息；在上下嘴唇距离大于预设嘴唇距离阈值的情况下，将“打哈欠”标签作为初始疲劳标注信息。

S203，基于多个初始驾驶行为图像各自对应的人脸检测结果，对多个初始驾驶行为图像分别进行驾驶员人脸对齐处理，得到多个样本人脸对齐图像。

具体的，根据每个初始驾驶行为图像对应人脸检测结果中的驾驶员人脸位置信息、人脸关键点信息和头部姿态信息，对每个初始驾驶行为图像进行驾驶员人脸对齐处理，得到每个初始驾驶行为图像对应的样本人脸对齐图像。

示意性的，驾驶员人脸对齐处理的对齐中心为驾驶员人脸框中心，外扩尺寸为2倍的人脸框的长边大小，旋转角度为两个瞳孔所在直线与水平方向夹角，缩放尺寸为224×224。

S204，对多个样本人脸对齐图像分别进行分心行为标注，得到多个样本人脸对齐图像对应的分心行为标注信息。

具体的，对每个样本人脸对齐图像进行针对分心行为的人工标注，即从多个预设分心行为标签中确定每个样本人脸对齐图像对应的预设分心行为标签，并根据每个样本人脸对齐图像对应的预设分心行为标签，生成每个样本人脸对齐图像对应的分心行为标注信息。

S205，对多个样本人脸对齐图像对应的初始疲劳标注信息进行数据清洗，得到多个样本人脸对齐图像对应的疲劳行为标注信息。

具体的，对预标注的初始疲劳标注信息(例如，“闭眼”标签和“打哈欠”标签)进行人工数据清洗，示意性的，可以对包含有大角度人脸的样本人脸对齐图像进行标签清洗，即将包含有大角度人脸(例如，向下看”和大角度侧脸)的样本人脸对齐图像对应的“闭眼”标签值和“打哈气”标签值标注为0。

相关现有技术中通常仅通过眼睛关键点坐标判断是否闭眼，首先需要对驾驶员正常驾驶状态时的上下眼睑之间的正常距离进行计算，当上下眼睑闭合超过70％或80％的正常距离时判断为闭眼状态，然而当眼睛向下看时，上下眼睑距离同样满足判断闭眼的条件，单独依靠关键点模型无法有效判断闭眼，因此本申请的技术方案在进行训练数据标注时，在预标注网络进行“闭眼”标签标注的基础上，进行人工数据清洗，挑选出向下看时被误预标注为闭眼的样本人脸对齐图像，且过滤头部姿态大角度偏转的样本人脸对齐图像，能有效判断驾驶过程中驾驶员眼睛是否闭合，保证“闭眼”标签标注的准确性，从而提升标注数据的准确性。

S206，将多个样本人脸对齐图像，作为多个样本驾驶行为图像。

S207，基于每个样本人脸对齐图像对应的分心行为标注信息和每个样本人脸对齐图像对应的疲劳行为标注信息，得到每个样本驾驶行为图像对应的驾驶行为标注信息。

由以上实施例可见，在进行训练数据标注时，在预标注网络进行“闭眼”标签标注的基础上，进行人工数据清洗，挑选出向下看时被误预标注为闭眼的样本人脸对齐图像，且过滤头部姿态大角度偏转的样本人脸对齐图像，能有效判断驾驶过程中驾驶员眼睛是否闭合，保证“闭眼”标签标注的准确性，提升标注数据的准确性，进而提升网络后续训练效果。

S102，将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到每个样本驾驶行为图像对应的疲劳行为预测信息。

在本说明书实施例中，每个样本驾驶行为图像对应的疲劳行为预测信息可以表征基于预设疲劳行为检测分支对每个样本驾驶行为图像进行疲劳行为分类后得到的疲劳行为预测类别。在一些可选的实施例中，疲劳行为预测信息的表现形式可以为疲劳行为预测标签，疲劳行为预测标签可以包含有多种预设疲劳行为标签中的至少一种预设疲劳行为标签；在另一些可选的实施例中，疲劳行为预测信息的表现形式还可以为疲劳行为预测向量，疲劳行为预测向量可以表征对应样本驾驶行为图像分别属于多种预设疲劳行为标签的预测概率，疲劳行为预测向量中的多维元素与多种预设疲劳行为标签一一对应，多维元素中的每一维元素分别表示对应样本驾驶行为图像属于对应预设疲劳行为标签的预测概率。

S103，将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到每个样本驾驶行为图像对应的中间层分心特征和每个样本驾驶行为图像对应的分心行为预测信息。

在本说明书实施例中，每个样本驾驶行为图像对应的分心行为预测信息可以表征基于预设分心行为检测分支对每个样本驾驶行为图像进行分心行为分类后得到的分心行为预测类别。在一些可选的实施例中，分心行为预测信息的表现形式可以为分心行为预测标签，分心行为预测标签可以包含有多种预设分心行为标签中的至少一种预设分心行为标签；在另一些可选的实施例中，分心行为预测信息的表现形式还可以为分心行为预测向量，分心行为预测向量可以表征对应样本驾驶行为图像分别属于多种预设分心行为标签的预测概率，分心行为预测向量中的多维元素与多种预设分心行为标签一一对应，多维元素中的每一维元素分别表示对应样本驾驶行为图像属于对应预设分心行为标签的预测概率。

在本说明书实施例中，每个样本驾驶行为图像对应的中间层分心特征可以为基于预设分心行为检测分支的中间层结构进行特征提取后得到的特征信息。在一些可选的实施例中，中间层分心特征的表现形式可以为特征向量，示意性的，这里特征向量的长度可以为128维。

在本说明书实施例中，预设驾驶行为检测网络可以为多任务的驾驶行为检测网络，考虑到常规的驾驶行为分类模型较难关注多个局部特征，因此将预设驾驶行为检测网络的分类输出模块解耦为预设疲劳行为检测分支和预设分心行为检测分支，具体的，预设驾驶行为检测网络可以包括：预设图像特征提取模块、预设疲劳行为检测分支和预设分心行为检测分支，其中，预设疲劳行为检测分支和预设分心行为检测分支可以共用预设图像特征提取模块。

具体的，预设图像特征提取模块可以用于对自身的输入信息进行图像特征提取，预设图像特征提取模块可以为现有技术中任意具有图像特征提取能力的人工智能网络，本申请对此不进行特别的限定。示意性的，这里的预设图像特征提取模块的模块结构可以采用GhostNet、MobileNet等结构。

具体的，预设疲劳行为检测分支可以用于对自身的输入信息进行疲劳行为检测，预设疲劳行为检测分支可以包括：预设疲劳特征提取模块和预设疲劳行为分类模块，预设疲劳特征提取模块可以用于对自身的输入信息进行疲劳特征提取，预设疲劳行为分类模块可以用于对自身的输入信息进行疲劳行为分类，可选的实施例中，预设疲劳特征提取模块可以包括：卷积层和激活函数层、预设疲劳行为分类模块的结构可以包括：全连接层，示意性的，这里的卷积层可以为1×1卷积层，激活函数层可以为ReLU层。

具体的，预设分心行为检测分支可以用于对自身的输入信息进行分心行为检测，预设分心行为检测分支可以包括：预设分心特征提取模块和预设分心行为分类模块，预设分心特征提取模块可以用于对自身的输入信息进行分心特征提取，预设分心行为分类模块可以用于对自身的输入信息进行分心行为分类，可选的实施例中，预设分心特征提取模块可以包括：卷积层和激活函数层、预设分心行为分类模块的结构可以包括：全连接层，示意性的，这里的卷积层可以为1×1卷积层，激活函数层可以为ReLU层。

在一个可选的实施例中，预设驾驶行为检测网络还可以包括有：预设全局池化模块，预设图像特征提取模块通过预设全局池化模块分别与预设疲劳行为检测分支和预设分心行为检测分支进行连接。

在一个具体的实施例中，如图4所示，上述预设驾驶行为检测网络还可以包括：预设图像特征提取模块，在上述获取多个样本驾驶行为图像和多个样本驾驶行为图像各自对应的驾驶行为标注信息之后，上述方法还可以包括：

S107，将每个样本驾驶行为图像分别输入预设图像特征提取模块进行图像特征提取，得到每个样本驾驶行为图像对应的初始图像特征；

上述将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到每个样本驾驶行为图像对应的疲劳行为预测信息可以包括：

S1021，将每个样本驾驶行为图像对应的初始图像特征分别输入预设疲劳行为检测分支进行疲劳行为检测，得到每个样本驾驶行为图像对应的疲劳行为预测信息；

上述预设分心行为检测分支可以包括：预设分心特征提取模块和预设分心行为分类模块，上述将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到每个样本驾驶行为图像对应的中间层分心特征和每个样本驾驶行为图像对应的分心行为预测信息可以包括：

S1031，将每个样本驾驶行为图像对应的初始图像特征输入预设分心特征提取模块进行分心特征提取，得到每个样本驾驶行为图像对应的中间层分心特征；

S1032，将每个样本驾驶行为图像对应的中间层分心特征输入预设分心行为分类模块进行分心行为检测，得到每个样本驾驶行为图像对应的分心行为预测信息。

由以上实施例可见，利用本申请提供的预设驾驶行为检测网络对驾驶员所在区域的图像进行疲劳和分心行为检测，通过分支解耦的模型结构分别对图像特征进行疲劳行为类别的判断以及分心行为类别的判断，可以避免多个网络模型对计算资源的占用，降低网络模型应用环境的性能要求。

S104，基于多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像。

在实际应用中，考虑到分心行为中的打电话、抽烟、喝水等动作多与手部特征相联系，当样本数量不足或样本类型不全面时，网络模型可能更加关注和动作相联系的手部特征，比如，打电话动作和挠耳朵动作具有相同的手部特征，挠耳朵动作可能被误判为打电话。现有技术在网络训练时往往只考虑分心行为预测标签和分心行为标注标签(即分心行为真实标签)的之间的损失距离，没有关注相似分心行为类别之间的差异，因此，增强驾驶行为检测模型对相似分心行为类别间的区分能力，本申请在网络训练过程中基于多个样本驾驶行为图像各自对应的分心行为预测信息，动态挖掘对分心行为存在误判的目标误识别样本对应分心样本三元组，从而得到分心样本三元组对应的分心特征损失用于网络训练，以增强驾驶行为检测模型对相似分心行为类别间的区分能力。

本说明书实施例中，分心样本三元组可以包括：目标误识别样本、目标误识别样本对应的目标正样本和目标误识别样本对应的目标负样本。

在一个具体的实施例中，如图5所示，上述基于多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组可以包括：

S501，将多个样本驾驶行为图像中对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像，作为目标误识别样本。

S502，将多个样本驾驶行为图像中对应分心行为预测信息包含有目标预测类别的样本驾驶行为图像，作为目标误识别样本对应的初始正样本，目标预测类别为目标误识别样本对应的至少两种分心行为预测类别中任一种分心行为预测类别。

S503，将多个样本驾驶行为图像中对应分心行为预测信息未包含有目标预测类别的样本驾驶行为图像，作为目标误识别样本对应的初始负样本。

具体的，可以将多个样本驾驶行为图像中包含有至少两种分心行为预测标签的样本驾驶行为图像，作为目标误识别样本；将包含有该至少两种分心行为预测标签中任一种分心行为预测标签的样本驾驶行为图像，作为目标误识别样本对应的初始正样本；将未包含有该至少两种分心行为预测标签的样本驾驶行为图像，作为目标误识别样本对应的初始负样本。

S504，基于目标误识别样本对应的中间层分心特征和初始正样本对应的中间层分心特征，对目标误识别样本和初始正样本进行特征相似分析，确定初始正样本中的目标正样本。

S505，基于目标误识别样本对应的中间层分心特征和初始负样本对应的中间层分心特征，对目标误识别样本和初始负样本进行特征差异分析，确定初始负样本中的目标负样本。

在一个具体的实施例中，上述基于目标误识别样本对应的中间层分心特征和初始正样本对应的中间层分心特征，对目标误识别样本和初始正样本进行特征相似分析，确定初始正样本中的目标正样本可以包括：

1)对目标误识别样本对应的中间层分心特征和初始正样本对应的中间层分心特征进行特征相似分析，得到初始正样本对应的特征相似指标；

2)将对应特征相似指标最小的初始正样本作为目标正样本。

在一个具体的实施例中，上述基于目标误识别样本对应的中间层分心特征和初始负样本对应的中间层分心特征，对目标误识别样本和初始负样本进行特征差异分析，确定初始负样本中的目标负样本可以包括：

1)对目标误识别样本对应的中间层分心特征和初始负样本对应的中间层分心特征进行特征相似分析，得到初始负样本对应的特征相似指标；

2)将对应特征相似指标最大的初始负样本作为目标负样本。

具体的，初始正样本对应的特征相似指标可以表征初始正样本与目标误识别样本之间的分心特征相似程度，初始负样本对应的特征相似指标可以表征初始负样本与目标误识别样本之间的分心特征相似程度；可选的实施例中，特征相似指标可以包括：特征距离信息，一般的，特征距离信息越小，表示特征越相似(即特征相似指标最大)，相应的，将对应特征相似指标最小的初始正样本作为目标正样本可以包括：将对应特征距离信息最大的初始正样本作为目标正样本，将对应特征相似指标最大的初始负样本作为目标负样本可以包括：将对应特征距离信息最小的初始负样本作为目标负样本，示意性的，这里的特征距离信息可以采用L2距离或余弦距离。

S506，基于目标误识别样本、目标正样本和目标负样本，确定分心样本三元组。

可选的，可以将多个样本驾驶行为图像分为多个批次的训练样本，从而动态每个批次的训练样本中的目标误识别样本和分心样本三元组，从而得到每个批次的分心特征损失。

由以上实施例可见，在训练过程中基于当前网络输出的分心行为预测信息动态挖掘目标误识别样本和分心样本三元组，可以根据网络当前的分心行为检测能力筛选出有针对性的误识别样本，从而有效提升网络对分心行为类别间相似动作的区分能力，减少对相似分心行为的误报。

S105，基于分心样本三元组对应的中间层分心特征，确定分心特征损失。

在本说明书实施例中，分心特征损失可以表征目标正样本与目标负样本之间的分心特征差异。

在一个具体的实施例中，上述基于分心样本三元组对应的中间层分心特征，确定分心特征损失可以包括：

S1051，确定目标误识别样本对应的中间层分心特征和目标正样本对应的中间层分心特征之间的正样本距离信息。

具体的，正样本距离信息可以表征目标误识别样本与目标正样本之间的分心特征差异。

S1052，确定目标误识别样本对应的中间层分心特征和目标负样本对应的中间层分心特征之间的负样本距离信息。

具体的，负样本距离信息可以表征目标误识别样本与目标负样本之间的分心特征差异。

S1053，基于正样本距离信息与负样本距离信息，对目标正样本与目标负样本进行特征对比，得到分心特征损失。

在一个具体的实施例中，分心特征损失可以表示为如下公式：

L_{Triplet_D＝}max(D(a_i,p_i)-D(a_i,n_i)+margin,0)

其中，a_i表示多个样本驾驶行为图像中第i个目标误识别样本的中间层分心特征，p_i表示第i个目标误识别样本对应的目标正样本的中间层分心特征，n_i表示第i个目标误识别样本对应的目标负样本的中间层分心特征，D表示特征距离，margin为分心特征损失调节参数。

可选的，分心特征损失调节参数可以结合实际应用中的相似分心行为类别间的区分精度需求进行预先设置。

可以理解的是，当第i个目标误识别样本不存在符合条件的目标正样本和/或目标负样本的情况下，第i个目标误识别样本对应的分心特征损失为0。

示意性的，以多种预设分心行为标签包含有“打电话”标签、“抽烟”标签、“喝水”标签为例，目标误识别样本A对应的分心行为预测标签包括：“打电话”标签和“抽烟”标签，则对应分心行为预测标签为“打电话”标签或“抽烟”标签的样本驾驶行为图像可以作为目标误识别样本A对应的初始正样本，对应分心行为预测标签仅为“喝水”标签的样本驾驶行为图像可以作为目标误识别样本A对应的初始负样本，再从初始正样本中筛选出与目标误识别样本A之间特征距离最大的作为目标正样本，以及从初始负样本中筛选出与目标误识别样本A之间特征距离最小的作为目标负样本，并通过上述分心特征损失计算公式，得到目标误识别样本A对应的分心特征损失。

由以上实施例可见，在训练过程中根据网络当前的分心行为检测能力筛选出有针对性的误识别样本和分心样本三元组，并基于分心样本三元组对应的中间层分心特征，确定分心特征损失用于后续的网络训练，可以有效提升网络对分心行为类别间相似动作的区分能力，减少对相似分心行为的误报。

S106，基于分心特征损失、分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络。

在本说明书实施例中，驾驶行为检测网络可以为对预设驾驶行为检测网络进行驾驶行为检测训练后得到的，驾驶行为检测网络具备与预设驾驶行为检测网络相应的网络结构，如图3所示，驾驶行为检测网络可以包括：图像特征提取模块、疲劳行为检测分支和分心行为检测分支，疲劳行为检测分支和分心行为检测分支可以共用图像特征提取模块，疲劳行为检测分支可以包括：疲劳特征提取模块和疲劳行为分类模块，分心行为检测分支可以包括：分心特征提取模块和分心行为分类模块。

在一个具体的实施例中，分心行为检测损失可以表征分心行为标注信息与分心行为预测信息之间的分类差异，可选的，分心行为标注信息可以包括：分心行为标注标签，分心行为预测信息可以包括：分心行为预测标签，分心行为检测损失可以包括：分心行为标注标签与分心行为预测标签之间的分类差异。

在一个具体的实施例中，疲劳行为检测损失可以表征疲劳行为标注信息与疲劳行为预测信息之间的分类差异，可选的，疲劳行为标注信息可以包括：疲劳行为标注标签，疲劳行为预测信息可以包括：疲劳行为预测标签，疲劳行为检测损失可以包括：疲劳行为标注标签与疲劳行为预测标签之间的分类差异。

在一个具体的实施例中，在上述基于分心特征损失、分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络之前，上述方法还可以包括：

1)基于分心行为标注信息与分心行为预测信息，确定分心行为检测损失。

在一个具体的实施例中，基于分心行为标注信息与分心行为预测信息，确定分心行为检测损失可以包括：基于预设分心分类损失函数，确定分心行为标注信息与分心行为预测信息间的分心行为检测损失。

在一个具体的实施例中，预设分心分类损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等。

示意性的，预设分心分类损失函数可以表示为如下公式：

L_{BCE_D}＝-ω_d[p_dy_i,d·logσ(x_i,d)+(1-y_i,d)·log(1-σ(x_i,d))]

其中，p_d表示多种预设分心行为标签中第d种分心行为标签对应的正样本权重，用于在第d种分心行为标签对应的正负样本不平衡时，调节第d种分心行为标签的正样本召回率，y_i,d为多个样本驾驶行为图像中第i个样本驾驶行为图像的第d种分心行为标签的真实结果，x_i,d表示第i个样本驾驶行为图像的第d种分心行为标签的预测结果，σ表示Sigmoid函数，ω_d表示第d种分心行为标签对应的类别权重，用于在不同预设分心行为标签的样本不平衡时，调节第d种分心行为标签的样本召回率，可选的，ω_d可以为1。

2)基于疲劳行为标注信息与疲劳行为预测信息，确定疲劳行为检测损失。

在一个具体的实施例中，基于疲劳行为标注信息与疲劳行为预测信息，确定疲劳行为检测损失可以包括：基于预设疲劳分类损失函数，确定疲劳行为标注信息与疲劳行为预测信息间的疲劳行为检测损失。

在一个具体的实施例中，预设疲劳分类损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等。

示意性的，预设疲劳分类损失函数可以表示为如下公式：

L_{BCE_F}＝-ω_f[p_fy_i,f·logσ(x_i,f)+(1-y_i,f)·log(1-σ(x_i,f))]

其中，p_f表示多种预设疲劳行为标签中第f种疲劳行为标签对应的正样本权重，用于在第f种疲劳行为标签对应的正负样本不平衡时，调节第f种疲劳行为标签的正样本召回率，y_i,f为多个样本驾驶行为图像中第i个样本驾驶行为图像的第f种疲劳行为标签的真实结果，x_i,f表示第i个样本驾驶行为图像的第f种疲劳行为标签的预测结果，σ表示Sigmoid函数，ω_f表示第f种疲劳行为标签对应的类别权重，用于在不同预设疲劳行为标签的样本不平衡时，调节第f种疲劳行为标签的样本召回率，可选的，ω_f可以为1。

在一个具体的实施例中，上述基于分心特征损失、分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络可以包括：

S1061，对分心行为检测损失、分心行为检测损失和疲劳行为检测损失进行融合处理，得到目标损失信息。

在本说明书实施例中，目标损失信息可以为对分心行为检测损失、分心行为检测损失和疲劳行为检测损失进行融合处理后得到的总训练损失。

在一个具体的实施例中，可以对分心行为检测损失、分心行为检测损失和疲劳行为检测损失进行加权处理，得到目标损失信息。

S1062，基于目标损失信息，训练预设驾驶行为检测网络，得到驾驶行为检测网络。

在一个可选的实施例中，基于目标损失信息，训练预设驾驶行为检测网络，得到驾驶行为检测网络可以包括：

S1，基于目标损失信息，更新预设驾驶行为检测网络的网络参数。

具体的，基于目标损失信息，更新预设驾驶行为检测网络的网络参数可以包括：基于目标损失信息，更新预设图像特征提取模块的网络参数、预设疲劳行为检测分支的网络参数和预设分心行为检测分支的网络参数。

S2，基于更新后的预设驾驶行为检测网络，重复步骤S102、S103、S104、S105、S1061和S1的驾驶行为检测训练迭代操作，至达到检测收敛条件；将达到检测收敛条件的情况下得到的预设驾驶行为检测网络，作为驾驶行为检测网络。

在一个可选的实施例中，上述达到检测收敛条件可以为训练迭代操作的次数达到预设训练次数。可选的，达到检测收敛条件也可以为目标损失信息小于指定阈值。本说明书实施例中，预设训练次数和指定阈值可以结合实际应用中对网络的训练速度和精准度预先设置。

由以上实施例可见，对分心行为检测损失、分心行为检测损失和疲劳行为检测损失进行融合处理，得到目标损失信息，并基于目标损失信息对预设驾驶行为检测网络进行驾驶行为检测训练，可以在提升驾驶行为检测网络的驾驶行为多分类能力的同时，增强对相似驾驶行为类别间差异的区分能力。

参见图6，图6是本申请实施例提供的一种驾驶员疲劳和分心检测网络的训练方法的流程示意图。具体的，该方法可以包括：

S601，采集驾驶员疲劳和分心的样本图像，采集的样本图像包含驾驶员闭眼、打哈欠、打电话、抽烟、喝水、以及正常驾驶行为。

S602，利用现有的人脸和关键点检测模型对样本图像进行人脸和关键点检测，获取驾驶员人脸和关键点坐标，根据眼部和嘴部关键点对样本图像进行初步筛选和疲劳行为标签的预标注，生成闭眼、打哈欠属性标签。

S603，根据人脸检测结果，对样本图像进行驾驶员人脸对齐处理，得到驾驶员人脸对齐后的样本图像。

S604，对对齐后的样本图像进行分心行为标签的人工标注，划分打电话、抽烟、喝水类型，并对步骤S602中预标注的闭眼、打哈欠标签进行二次过滤，挑选出向下看时被预标注成闭眼的样本图像以及头部姿态偏转过大的样本图像，即将向下看样本图像和大角度样本图像的闭眼标签值标注为0。将标注好的样本图像划分训练集和测试集。

S605，构建多任务的疲劳和分心检测网络，将网络的分类层拆分为包含有疲劳检测分支和分心行为检测分支的双分支结构，疲劳行为检测分支输出闭眼和打哈欠的疲劳行为检测结果，分心行为检测分支输出打电话、抽烟、喝水的分心行为检测结果，并结合疲劳行为检测分支的分类损失、分心行为检测分支的分类损失和分心行为检测分支的三元组损失进行网络训练，得到网络权重。

S606，将训练及测试完成的疲劳和分心检测网络上线应用。

由以上说明书实施例中可见，利用本说明书实施例提供的技术方案，在进行训练数据标注时，在预标注网络进行“闭眼”标签标注的基础上，进行人工数据清洗，挑选出向下看时被误预标注为闭眼的样本人脸对齐图像，且过滤头部姿态大角度偏转的样本人脸对齐图像，能有效判断驾驶过程中驾驶员眼睛是否闭合，保证“闭眼”标签标注的准确性，提升标注数据的准确性，此外，仅需要对多个样本驾驶行为图像分别进行分心行为和疲劳行为的预标注，降低训练数据的标注成本，接着将多个样本驾驶行为图像中每个样本驾驶行为图像分别输入预设驾驶行为检测网络进行驾驶行为检测，得到每个样本驾驶行为图像对应的中间层分心特征、分心行为预测信息和疲劳行为预测信息，通过分支解耦的模型结构分别对图像特征进行疲劳行为类别的判断以及分心行为类别的判断，可以避免多个网络模型对计算资源的占用，降低网络模型应用环境的性能要求；并基于多个样本驾驶行为图像各自对应的分心行为预测信息，对多个样本驾驶行为图像进行针对分心行为的误识别样本筛选，以筛选出网络难以识别的分心行为类别间差异较小的目标误识别样本，及其正负样本，生成分心样本三元组，然后确定分心样本三元组对应的分心特征损失，最终基于分心特征损失、每个样本驾驶行为图像对应的分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及每个样本驾驶行为图像对应的疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络，通过三元组特征损失和行为类别损失，训练驾驶行为检测网络，可以在提高网络对不同分心行为类别间相似分心行为的区分能力的基础上，实现驾驶行为检测的低时延与高准确率。

本申请实施例还提供了一种驾驶行为检测方法，如图7所示，该驾驶行为检测方法可以包括：

S701，获取目标驾驶员对应的连续帧驾驶行为图像。

在本说明书实施例中，连续帧驾驶行为图像可以为用于对目标驾驶员进行驾驶行为检测的图像。在一个具体的实施例中，连续帧驾驶行为图像可以为目标驾驶员所在区域的图像，可以理解的是，目标驾驶员所在区域应包括目标驾驶员的头部、颈部、上半躯干及两臂等部位。

在一个具体的实施例中，上述获取目标驾驶员对应的连续帧驾驶行为图像可以包括：

S7011，获取连续帧采集图像。

在本说明书实施例中，连续帧驾驶行为图像可以为基于经设置在车舱内的摄像设备采集到的包含有目标驾驶员所在区域的原始图像，可选的实施例中，这里的摄像设备可以为DMS(Driver Monitor System，驾驶员监控系统)摄像头。

S7012，对连续帧采集图像中每帧采集图像分别进行针对目标驾驶员的人脸检测处理，得到每帧采集图像对应的人脸检测结果。

在一个具体的实施例中，每帧采集图像对应的人脸检测结果可以为每帧采集图像中与目标驾驶员脸部关联的检测信息。具体的，每帧采集图像对应的人脸检测结果可以包括但不限于：目标驾驶员的人脸位置信息、人脸关键点信息和头部姿态信息。

在一个具体的实施例中，驾驶员人脸位置信息可以为每帧采集图像中目标驾驶员的人脸检测框的位置信息。

在一个具体的实施例中，人脸关键点信息可以为每帧采集图像中目标驾驶员的人脸特征点的位置信息。可选的，这里的人脸关键点信息可以包括：5个人脸关键点的位置信息。

在一个具体的实施例中，头部姿态信息可以为每帧采集图像中目标驾驶员的头部偏转角度。具体的，头部偏转角度可以包括：摇头角度、点头角度和摆头角度。

在一个具体的实施例中，每帧采集图像对应的人脸检测结果可以通过如下方式得到：

1)对每帧采集图像进行人脸检测处理，得到每帧采集图像对应的驾驶员人脸位置信息。

具体的，可以采用人脸检测网络对每帧采集图像进行人脸检测处理，得到每帧采集图像对应的初始人脸检测框，在初始人脸检测框包含有至少一个人脸检测框的情况下，将至少一个人脸检测框中检测框置信度满足预设置信阈值且面积最大的人脸检测框作为目标驾驶员的人脸检测框，从而得到目标驾驶员的人脸位置信息。

2)基于每帧采集图像中目标驾驶员的人脸位置信息，对每帧采集图像进行人脸关键点检测，得到每帧采集图像中目标驾驶员的人脸关键点信息。

具体的，可以将每帧采集图像中目标驾驶员的人脸位置信息输入人脸关键点检测网络进行人脸关键点检测，得到每帧采集图像中目标驾驶员的人脸关键点信息。

可选的，这里的人脸关键点检测网络可以为现有技术中任意具有人脸关键点检测能力的人工智能网络，本申请对此不进行特别的限定。示意性的，这里的人脸关键点检测网络可以包括：Yolov5Face等轻量级网络。

3)基于每帧采集图像中目标驾驶员的人脸关键点信息，进行头部姿态分析，得到每帧采集图像中目标驾驶员的头部姿态信息。

4)将每帧采集图像中目标驾驶员的人脸位置信息、人脸关键点信息和头部姿态信息，作为每帧采集图像对应的人脸检测结果。

S7013，基于人脸检测结果，对连续帧采集图像分别进行驾驶员人脸对齐处理，得到连续帧采集图像对应的连续帧驾驶行为图像。

具体的，根据每帧采集图像对应人脸检测结果中目标驾驶员的人脸位置信息、人脸关键点信息和头部姿态信息，对每帧采集图像进行驾驶员人脸对齐处理，得到每帧采集图像对应的每帧驾驶行为图像。

示意性的，人脸对齐处理的对齐中心为驾驶员人脸框中心，外扩尺寸为2倍的人脸框的长边大小，旋转角度为两个瞳孔所在直线与水平方向夹角，缩放尺寸为224×224。

由以上实施例可见，对连续帧采集图像中每帧采集图像分别进行针对目标驾驶员的人脸检测处理，得到每帧采集图像对应的人脸检测结果，并基于人脸检测结果，对连续帧采集图像分别进行驾驶员人脸对齐处理，得到连续帧采集图像对应的连续帧驾驶行为图像，从而提升后续驾驶行为检测的准确性。

S702，将连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到每帧驾驶行为图像对应的疲劳行为预测信息和每帧驾驶行为图像对应的分心行为预测信息；其中，上述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练方法训练后得到的。

在本说明书实施例中，这里的驾驶行为检测网络可以包括：图像特征提取模块、疲劳行为检测分支和分心行为检测分支，疲劳行为检测分支和分心行为检测分支可以共用图像特征提取模块，疲劳行为检测分支可以包括：疲劳特征提取模块和疲劳行为分类模块，分心行为检测分支可以包括：分心特征提取模块和分心行为分类模块。

在本说明书实施例中，每帧驾驶行为图像对应的疲劳行为预测信息可以表征基于驾驶行为检测网络对每帧驾驶行为图像进行疲劳行为分类后得到的疲劳行为预测类别。在一些可选的实施例中，疲劳行为预测信息的表现形式可以为疲劳行为预测标签；在另一些可选的实施例中，疲劳行为预测信息的表现形式还可以为疲劳行为预测向量。

在本说明书实施例中，每帧驾驶行为图像对应的分心行为预测信息可以表征基于驾驶行为检测网络对每帧驾驶行为图像进行分心行为分类后得到的分心行为预测类别。在一些可选的实施例中，分心行为预测信息的表现形式可以为分心行为预测标签；在另一些可选的实施例中，分心行为预测信息的表现形式还可以为分心行为预测向量。

在一个具体的实施例中，上述人脸检测结果可以包括：头部姿态信息，上述将连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到每帧驾驶行为图像对应的疲劳行为预测信息可以包括：

S7031，将连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到每帧驾驶行为图像对应的初始疲劳预测信息。

具体的，这里的初始疲劳预测信息可以表征驾驶行为检测网络直接输出的每帧驾驶行为图像对应的疲劳行为预测类别。

S7032，基于每帧驾驶行为图像对应的头部姿态信息，对初始疲劳预测信息进行校正处理，得到每帧驾驶行为图像对应的疲劳行为预测信息。

具体的，可以基于头部姿态信息，对包含有大角度人脸的驾驶行为图像进行标签校正，示意性的，可以将包含有大角度人脸(例如，向下看”和大角度侧脸)的驾驶行为图像对应的“闭眼”标签和“打哈气”标签设置为0。

由以上实施例可见，基于头部姿态信息，对包含有大角度人脸的驾驶行为图像进行标签校正，可以提升每帧驾驶行为图像对应的疲劳行为预测信息的准确性。

S703，基于连续帧驾驶行为图像各自对应的分心行为预测信息，对目标驾驶员进行分心行为分析，生成目标驾驶员对应的分心行为检测结果。

S704，基于连续帧驾驶行为图像各自对应的疲劳行为预测信息，对目标驾驶员进行疲劳行为分析，生成目标驾驶员对应的疲劳行为检测结果。

在本说明书实施例中，可以综合驾驶行为检测网络对连续多帧驾驶行为图像的输出结果进行时序逻辑判断，依次累计连续多帧驾驶行为图像对应的疲劳行为次数和分心行为次数，当累计次数占比超过预设值时，输出对应疲劳行为检测结果或分心行为检测结果；当时间窗口内判断为异常行为(即存在疲劳行为或分心行为)的帧数没有达到数量要求时，系统不进行任何提醒，能够进一步过滤驾驶行为检测网络对相似异常行为的误报情况，提高驾驶员行为检测的准确率。

在一个具体的实施例中，对连续多帧驾驶行为图像的输出结果进行时序逻辑判断可以表示为如下公式：

其中，P_m[k]表示连续k帧驾驶行为图像内第m种预设驾驶行为类别(预设疲劳行为类别或预设分心行为类别)的检测结果，n表示时间窗口内统计帧数，对于不同预设驾驶行为类别，n对应的统计时间长度不同，y_m[i]＝1表示第i帧驾驶行为图像的第m种预设驾驶行为类别的预测标签值为1，即第i帧驾驶行为图像中存在第m种预设驾驶行为类别对应的异常驾驶行为(疲劳或分心行为)；当P_m[k]大于预设占比阈值时表示检测结果为连续k帧驾驶行为图像中存在第m种预设驾驶行为类别对应的异常驾驶行为(疲劳或分心行为)。

参见图8，图8是本申请实施例提供的一种驾驶员疲劳和分心检测方法的流程示意图，具体的，该方法可以包括：

S801，通过驾驶员监测系统中的图像采集模块(DMS相机)采集驾驶员所在区域的连续帧图像数据。

S802，将连续帧图像数据输入驾驶员监测系统中的人脸检测模块，获得每帧图像数据中驾驶员人脸区域坐标和人脸关键点坐标，并利用人脸区域坐标和人脸关键点坐标对每帧图像数据中的驾驶员人脸进行人脸对齐。

S803，将人脸对齐后的每帧图像数据输入驾驶员监测系统中的多任务疲劳和分心检测模块，得到疲劳相关的闭眼和打哈欠等行为的单帧检测结果，以及分心行为相关的打电话、抽烟、喝水等行为的单帧检测结果。

S804，将模型输出的单帧检测结果输入驾驶员监测系统中的疲劳和分心时序逻辑模块，依次累计连续多帧的闭眼、打哈欠、打电话、抽烟、喝水次数，当累计次数占比超过预设占比值时，判定存在对应疲劳或分心结果。

由以上实施例可见，基于如上述的驾驶行为检测网络训练方法训练后得到的驾驶行为检测模型进行驾驶行为检测，并综合驾驶行为检测网络对连续多帧驾驶行为图像的输出结果进行时序逻辑判断，能够进一步过滤驾驶行为检测网络对相似异常驾驶行为的误报情况，可以实现驾驶行为检测的低时延的同时，提高驾驶员行为检测的准确率。

本申请实施例提供了一种驾驶行为检测网络训练装置，如图9所示，该驾驶行为检测网络训练装置可以包括：

样本图像获取模块910，用于获取多个样本驾驶行为图像和多个样本驾驶行为图像各自对应的驾驶行为标注信息，驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

疲劳行为检测模块920，用于将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到每个样本驾驶行为图像对应的疲劳行为预测信息；

分心行为检测模块930，用于将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到每个样本驾驶行为图像对应的中间层分心特征和每个样本驾驶行为图像对应的分心行为预测信息；

分心样本三元组确定模块940，用于基于多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

分心特征损失确定模块950，用于基于分心样本三元组对应的中间层分心特征，确定分心特征损失；

网络训练模块960，用于基于分心特征损失、分心行为标注信息与分心行为预测信息之间的分心行为检测损失以及疲劳行为标注信息与疲劳行为预测信息之间的疲劳行为检测损失，训练预设驾驶行为检测网络，得到驾驶行为检测网络。

在本说明书实施例中，上述样本图像获取模块910可以包括：

初始驾驶行为图像获取单元，用于获取多个初始驾驶行为图像和多个初始驾驶行为图像各自对应的人脸检测结果；

疲劳行为标注单元，用于根据每个初始驾驶行为图像对应的人脸检测结果，对每个初始驾驶行为图像进行疲劳行为标注，得到每个初始驾驶行为图像对应的初始疲劳标注信息；

样本人脸对齐单元，用于基于多个初始驾驶行为图像各自对应的人脸检测结果，对多个初始驾驶行为图像分别进行驾驶员人脸对齐处理，得到多个样本人脸对齐图像；

分心行为标注单元，用于对多个样本人脸对齐图像分别进行分心行为标注，得到多个样本人脸对齐图像对应的分心行为标注信息；

数据清洗单元，用于对多个样本人脸对齐图像对应的初始疲劳标注信息进行数据清洗，得到多个样本人脸对齐图像对应的疲劳行为标注信息；

样本驾驶行为图像单元，用于将多个样本人脸对齐图像，作为多个样本驾驶行为图像；

驾驶行为标注信息单元，用于基于每个样本人脸对齐图像对应的分心行为标注信息和每个样本人脸对齐图像对应的疲劳行为标注信息，得到每个样本驾驶行为图像对应的驾驶行为标注信息。

在一个具体的实施例中，上述预设驾驶行为检测网络还可以包括：预设图像特征提取模块，上述装置还可以包括：

图像特征提取模块，用于将每个样本驾驶行为图像分别输入预设图像特征提取模块进行图像特征提取，得到每个样本驾驶行为图像对应的初始图像特征；

上述疲劳行为检测模块920可以包括：

疲劳行为预测信息单元，用于将每个样本驾驶行为图像对应的初始图像特征分别输入预设疲劳行为检测分支进行疲劳行为检测，得到每个样本驾驶行为图像对应的疲劳行为预测信息；

上述预设分心行为检测分支可以包括：预设分心特征提取模块和预设分心行为分类模块，上述分心行为检测模块930可以包括：

中间层分心特征单元，用于将每个样本驾驶行为图像对应的初始图像特征输入预设分心特征提取模块进行分心特征提取，得到每个样本驾驶行为图像对应的中间层分心特征；

分心行为预测信息单元，用于将每个样本驾驶行为图像对应的中间层分心特征输入预设分心行为分类模块进行分心行为检测，得到每个样本驾驶行为图像对应的分心行为预测信息。

在一个具体的实施例中，上述分心样本三元组确定模块940可以包括：

目标误识别样本确定单元，用于将多个样本驾驶行为图像中对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像，作为目标误识别样本；

初始正样本确定单元，用于将多个样本驾驶行为图像中对应分心行为预测信息包含有目标预测类别的样本驾驶行为图像，作为目标误识别样本对应的初始正样本，目标预测类别为目标误识别样本对应的至少两种分心行为预测类别中任一种分心行为预测类别；

初始负样本确定单元，用于将多个样本驾驶行为图像中对应分心行为预测信息未包含有目标预测类别的样本驾驶行为图像，作为目标误识别样本对应的初始负样本；

目标正样本确定单元，用于基于目标误识别样本对应的中间层分心特征和初始正样本对应的中间层分心特征，对目标误识别样本和初始正样本进行特征相似分析，确定初始正样本中的目标正样本；

目标负样本确定单元，用于基于目标误识别样本对应的中间层分心特征和初始负样本对应的中间层分心特征，对目标误识别样本和初始负样本进行特征差异分析，确定初始负样本中的目标负样本；

分心样本三元组确定单元，用于基于目标误识别样本、目标正样本和目标负样本，确定分心样本三元组。

在一个具体的实施例中，上述分心特征损失确定模块950可以包括：

正样本距离信息确定单元，用于确定目标误识别样本对应的中间层分心特征和目标正样本对应的中间层分心特征之间的正样本距离信息；

负样本距离信息确定单元，用于确定目标误识别样本对应的中间层分心特征和目标负样本对应的中间层分心特征之间的负样本距离信息；

分心特征损失单元，用于基于正样本距离信息与负样本距离信息，对目标正样本与目标负样本进行特征对比，得到分心特征损失。

在一个具体的实施例中，上述网络训练模块960可以包括：

损失融合单元，用于对分心行为检测损失、分心行为检测损失和疲劳行为检测损失进行融合处理，得到目标损失信息；

网络训练单元，用于基于目标损失信息，训练预设驾驶行为检测网络，得到驾驶行为检测网络。

需要说明的是，装置实施例中的装置与方法实施例基于同样的发明构思。

本申请实施例还提供了一种驾驶行为检测装置，如图10所示，该驾驶行为检测装置可以包括：

图像获取模块1010，用于获取目标驾驶员对应的连续帧驾驶行为图像；

驾驶行为检测模块1020，用于将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的疲劳行为预测信息和所述每帧驾驶行为图像对应的分心行为预测信息；

分心行为分析模块1030，用于基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

疲劳行为分析模块1040，用于基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

其中，上述驾驶行为检测网络是基于如上述的驾驶行为检测网络训练装置训练后得到的。

在一个具体的实施例中，上述图像获取模块1010可以包括：

连续帧采集图像获取单元，用于获取连续帧采集图像；

人脸检测单元，用于对所述连续帧采集图像中每帧采集图像分别进行针对所述目标驾驶员的人脸检测处理，得到所述每帧采集图像对应的人脸检测结果；

人脸对齐处理单元，用于基于所述人脸检测结果，对所述连续帧采集图像分别进行驾驶员人脸对齐处理，得到所述连续帧采集图像对应的连续帧驾驶行为图像。

在一个具体的实施例中，上述人脸检测结果可以包括：头部姿态信息，上述驾驶行为检测模块1020可以包括：

初始疲劳预测信息单元，用于将连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到每帧驾驶行为图像对应的初始疲劳预测信息；

校正处理单元，用于基于每帧驾驶行为图像对应的头部姿态信息，对初始疲劳预测信息进行校正处理，得到每帧驾驶行为图像对应的疲劳行为预测信息。

需要说明的是，所述装置实施例中的装置与方法实施例基于同样的发明构思。

本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的驾驶行为检测网络训练方法或驾驶行为检测方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据上述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在车载终端或者类似的运算装置中执行，即上述计算机设备可以包括车载终端或者类似的运算装置。

本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于电子设备之中以保存用于实现至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的驾驶行为检测网络训练方法或驾驶行为检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种驾驶行为检测网络训练方法，其特征在于，所述方法包括：

获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

2.根据权利要求1所述的方法，其特征在于，所述预设驾驶行为检测网络还包括：预设图像特征提取模块，在所述获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息之后，所述方法还包括：

将所述每个样本驾驶行为图像分别输入所述预设图像特征提取模块进行图像特征提取，得到所述每个样本驾驶行为图像对应的初始图像特征；

所述预设分心行为检测分支包括：预设分心特征提取模块和预设分心行为分类模块，所述将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息包括：

将所述每个样本驾驶行为图像对应的初始图像特征输入所述预设分心特征提取模块进行分心特征提取，得到所述每个样本驾驶行为图像对应的中间层分心特征；

将所述每个样本驾驶行为图像对应的中间层分心特征输入所述预设分心行为分类模块进行分心行为检测，得到所述每个样本驾驶行为图像对应的分心行为预测信息。

3.根据权利要求1所述的方法，其特征在于，所述基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组包括：

将所述多个样本驾驶行为图像中对应分心行为预测信息包含有所述至少两种分心行为预测类别的样本驾驶行为图像，作为所述目标误识别样本；

将所述多个样本驾驶行为图像中对应分心行为预测信息包含有目标预测类别的样本驾驶行为图像，作为所述目标误识别样本对应的初始正样本，所述目标预测类别为所述目标误识别样本对应的至少两种分心行为预测类别中任一种分心行为预测类别；

将所述多个样本驾驶行为图像中对应分心行为预测信息未包含有所述目标预测类别的样本驾驶行为图像，作为所述目标误识别样本对应的初始负样本；

基于所述目标误识别样本对应的中间层分心特征和所述初始正样本对应的中间层分心特征，对所述目标误识别样本和所述初始正样本进行特征相似分析，确定所述初始正样本中的目标正样本；

基于所述目标误识别样本对应的中间层分心特征和所述初始负样本对应的中间层分心特征，对所述目标误识别样本和所述初始负样本进行特征差异分析，确定所述初始负样本中的目标负样本；

基于所述目标误识别样本、所述目标正样本和所述目标负样本，确定所述分心样本三元组。

4.根据权利要求3所述的方法，其特征在于，所述基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失包括：

确定所述目标误识别样本对应的中间层分心特征和所述目标正样本对应的中间层分心特征之间的正样本距离信息；

确定所述目标误识别样本对应的中间层分心特征和所述目标负样本对应的中间层分心特征之间的负样本距离信息；

基于所述正样本距离信息与所述负样本距离信息，对所述目标正样本与所述目标负样本进行特征对比，得到所述分心特征损失。

5.根据权利要求1所述的方法，其特征在于，所述基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络包括：

对所述分心行为检测损失、所述分心行为检测损失和所述疲劳行为检测损失进行融合处理，得到目标损失信息；

基于所述目标损失信息，训练所述预设驾驶行为检测网络，得到所述驾驶行为检测网络。

6.根据权利要求1至5任一所述的方法，其特征在于，所述获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息包括：

获取多个初始驾驶行为图像和所述多个初始驾驶行为图像各自对应的人脸检测结果；

根据每个初始驾驶行为图像对应的人脸检测结果，对所述每个初始驾驶行为图像进行疲劳行为标注，得到所述每个初始驾驶行为图像对应的初始疲劳标注信息；

基于所述多个初始驾驶行为图像各自对应的人脸检测结果，对所述多个初始驾驶行为图像分别进行驾驶员人脸对齐处理，得到多个样本人脸对齐图像；

对所述多个样本人脸对齐图像分别进行分心行为标注，得到所述多个样本人脸对齐图像对应的分心行为标注信息；

对所述多个样本人脸对齐图像对应的初始疲劳标注信息进行数据清洗，得到所述多个样本人脸对齐图像对应的疲劳行为标注信息；

将所述多个样本人脸对齐图像，作为所述多个样本驾驶行为图像；

基于每个样本人脸对齐图像对应的分心行为标注信息和所述每个样本人脸对齐图像对应的疲劳行为标注信息，得到所述每个样本驾驶行为图像对应的驾驶行为标注信息。

7.一种驾驶行为检测方法，其特征在于，所述方法包括：

获取目标驾驶员对应的连续帧驾驶行为图像；

将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的疲劳行为预测信息和所述每帧驾驶行为图像对应的分心行为预测信息；

基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

其中，所述驾驶行为检测网络是基于权利要求1至6任一所述的驾驶行为检测网络训练方法训练后得到的。

8.根据权利要求7所述的方法，其特征在于，所述获取目标驾驶员对应的连续帧驾驶行为图像包括：

获取连续帧采集图像；

对所述连续帧采集图像中每帧采集图像分别进行针对所述目标驾驶员的人脸检测处理，得到所述每帧采集图像对应的人脸检测结果；

基于所述人脸检测结果，对所述连续帧采集图像分别进行驾驶员人脸对齐处理，得到所述连续帧采集图像对应的连续帧驾驶行为图像。

9.根据权利要求8所述的方法，其特征在于，所述人脸检测结果包括：头部姿态信息，所述将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的疲劳行为预测信息包括：

将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的初始疲劳预测信息；

基于所述每帧驾驶行为图像对应的头部姿态信息，对所述初始疲劳预测信息进行校正处理，得到所述每帧驾驶行为图像对应的疲劳行为预测信息。

10.一种驾驶行为检测网络训练装置，其特征在于，所述装置包括：

样本图像获取模块，用于获取多个样本驾驶行为图像和所述多个样本驾驶行为图像各自对应的驾驶行为标注信息，所述驾驶行为标注信息包括分心行为标注信息和疲劳行为标注信息；

疲劳行为检测模块，用于将每个样本驾驶行为图像分别输入预设驾驶行为检测网络中的预设疲劳行为检测分支进行疲劳行为检测，得到所述每个样本驾驶行为图像对应的疲劳行为预测信息；

分心行为检测模块，用于将所述每个样本驾驶行为图像分别输入所述预设驾驶行为检测网络中的预设分心行为检测分支进行分心行为检测，得到所述每个样本驾驶行为图像对应的中间层分心特征和所述每个样本驾驶行为图像对应的分心行为预测信息；

分心样本三元组确定模块，用于基于所述多个样本驾驶行为图像各自对应的分心行为预测信息，确定目标误识别样本对应的分心样本三元组，所述目标误识别样本为对应分心行为预测信息包含有至少两种分心行为预测类别的样本驾驶行为图像；

分心特征损失确定模块，用于基于所述分心样本三元组对应的中间层分心特征，确定分心特征损失；

网络训练模块，用于基于所述分心特征损失、所述分心行为标注信息与所述分心行为预测信息之间的分心行为检测损失以及所述疲劳行为标注信息与所述疲劳行为预测信息之间的疲劳行为检测损失，训练所述预设驾驶行为检测网络，得到驾驶行为检测网络。

11.一种驾驶行为检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标驾驶员对应的连续帧驾驶行为图像；

驾驶行为检测模块，用于将所述连续帧驾驶行为图像中每帧驾驶行为图像分别输入驾驶行为检测网络进行驾驶行为检测，得到所述每帧驾驶行为图像对应的分心行为预测信息和所述每帧驾驶行为图像对应的疲劳行为预测信息；

分心行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的分心行为预测信息，对所述目标驾驶员进行分心行为分析，生成所述目标驾驶员对应的分心行为检测结果；

疲劳行为分析模块，用于基于所述连续帧驾驶行为图像各自对应的疲劳行为预测信息，对所述目标驾驶员进行疲劳行为分析，生成所述目标驾驶员对应的疲劳行为检测结果；

其中，所述驾驶行为检测网络是基于权利要求9所述的驾驶行为检测网络训练装置训练后得到的。

12.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至6任一所述的驾驶行为检测网络训练方法或如权利要求7至9任一所述的驾驶行为检测方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至6任一所述的驾驶行为检测网络训练方法或如权利要求7至9任一所述的驾驶行为检测方法。