CN115909291A - 基于车辆数据的驾驶员驾驶状态监测系统及其方法 - Google Patents

Abstract

本申请公开了一种基于车辆数据的驾驶员驾驶状态监测系统及其方法。其首先获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，然后，将所述多个时间点的车辆行驶状态数据通过第一卷积神经网络得到的状态特征图和所述多个时间点的驾驶员行为数据通过第二卷积神经网络得到的行为特征图融合以得到人车交互特征图，接着，将所述预定时间段的车辆行驶监控视频通过第三卷积神经网络得到的车辆行驶特征图与所述人车交互特征图再融合得到的内外视角数据特征协同的分类特征图通过分类器以得到用于车辆的驾驶员是否发生疲劳驾驶的分类结果。这样，就可以对驾驶员是否疲劳进行监测，从而保证安全驾驶。

Description

基于车辆数据的驾驶员驾驶状态监测系统及其方法

技术领域

本申请涉及智能驾驶技术领域，且更为具体地，涉及一种基于车辆数据的驾驶员驾驶状态监测系统及其方法。

背景技术

汽车的出现极大地便利了人们的出行，在交通运输中，它的作用更是无可替代，然而汽车的普及也不可避免地造成道路事故频频发生。我国是世界上道路交通事故最多的国家之一。

作为直接操纵车辆的人以及参与道路交通的重要人员，汽车驾驶员的驾驶行为是影响交通安全的关键。调查结果表明，疲劳驾驶是目前造成交通事故的最主要原因之一。因此，如果能以特定的手段对驾驶员的驾驶状态进行监测，以在检测到驾驶员发生疲劳驾驶时产生及时的预警提示，能在源头避免车辆事故的发生。

现有一些用于驾驶员疲劳检测的方案，例如，基于驾驶员的驾驶车辆的时间来判断驾驶员是否疲劳驾驶，但这种简单的阈值判断方案在真实驾驶场景中的应用效果不佳，其原因为驾驶员疲劳驾驶有时候与驾驶的时间无关，例如，驾驶员晚上睡眠质量较差，虽然刚开始驾驶车辆，但此时也应判定驾驶员在疲劳驾驶。

因此，期待一种优化的驾驶员驾驶状态监测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于车辆数据的驾驶员驾驶状态监测系统及其方法。其首先获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，然后，将所述多个时间点的车辆行驶状态数据通过第一卷积神经网络得到的状态特征图和所述多个时间点的驾驶员行为数据通过第二卷积神经网络得到的行为特征图融合以得到人车交互特征图，接着，将所述预定时间段的车辆行驶监控视频通过第三卷积神经网络得到的车辆行驶特征图与所述人车交互特征图再融合得到的内外视角数据特征协同的分类特征图通过分类器以得到用于车辆的驾驶员是否发生疲劳驾驶的分类结果。这样，就可以对驾驶员是否疲劳进行监测，从而保证安全驾驶。

根据本申请的一个方面，提供了基于车辆数据的驾驶员驾驶状态监测系统，其包括：

监测数据采集单元，用于获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

车辆行驶状态数据编码单元，用于将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；

驾驶员行为数据编码单元，用于将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；

交互融合单元，用于融合所述状态特征图和所述行为特征图以得到人车交互特征图；

车辆监控视频编码单元，用于将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；

再融合单元，用于融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及

状态监测结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

根据本申请的另一方面，提供了一种基于车辆数据的驾驶员驾驶状态监测方法，其包括：

获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；

将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；

融合所述状态特征图和所述行为特征图以得到人车交互特征图；

将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；

融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

与现有技术相比，本申请提供的一种基于车辆数据的驾驶员驾驶状态监测系统及其方法。其首先获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，然后，将所述多个时间点的车辆行驶状态数据通过第一卷积神经网络得到的状态特征图和所述多个时间点的驾驶员行为数据通过第二卷积神经网络得到的行为特征图融合以得到人车交互特征图，接着，将所述预定时间段的车辆行驶监控视频通过第三卷积神经网络得到的车辆行驶特征图与所述人车交互特征图再融合得到的内外视角数据特征协同的分类特征图通过分类器以得到用于车辆的驾驶员是否发生疲劳驾驶的分类结果。这样，就可以对驾驶员是否疲劳进行监测，从而保证安全驾驶。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统的应用场景图。

图2图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统的框图示意图。

图3图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统中所述训练模块的框图示意图。

图4图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统中所述训练车辆行驶状态数据编码单元的框图示意图。

图5图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统中所述训练驾驶员行为数据编码单元的框图示意图。

图6图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统中所述训练监控视频编码单元的框图示意图。

图7图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测方法的流程图。

图8图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

针对上述技术问题，本申请的技术构思为通过车辆行驶监控数据和人车交互数据来构建驾驶员状态监测方案。应可以理解，车辆行驶监控数据为外部数据，也就是，从外部视角来看车辆行驶状态，而人车交互数据则为内部数据，也就是，从内部视角来看驾驶员的驾驶状态。因此，在本申请的技术构思中，从内外视角数据协同的角度来构建驾驶员状态监测，以通过更多维度的且更为丰富的数据来提升驾驶员疲劳驾驶检测的精准度。

相应地，在本申请的技术方案中，首先获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合。在一个具体的示例中，可通过部署于道路旁的摄像头来采集车辆行驶监控视频，而所述车辆行驶状态数据和驾驶员行为数据可通过现有的部署于车辆内的传感器来进行监测。

在得到上述数据后，接着将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图。也就是，将所述多个时间点的车辆行驶状态数据进行结构化处理以得到状态输入矩阵，其中，所述状态输入矩阵中各个行向量为各个车辆行驶状态数据中各项参数的时间序列。为了挖掘该车辆在同一时间点的不同车辆行驶状态数据之间的关联、不同时间点的不同车辆行驶状态数据之间的关联，以及，同一车辆行驶状态数据在时间维度上的关联，进一步地以所述第一卷积神经网络作为特征提取器对所述状态输入矩阵进行显示空间编码以得到所述状态特征图。

针对所述多个时间点的驾驶员行为数据，以类似于所述多个时间点的车辆行驶状态数据的编码方式来进行编码以提取该车辆在同一时间点的不同驾驶员行为数据之间的关联、不同时间点的不同驾驶员行为数据之间的关联，以及，同一驾驶员行为数据在时间维度上的关联。也就是，将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图。这样，融合所述状态特征图和所述行为特征图以得到人车交互特征图。在本申请一个具体的示例中，以按位置点乘的方式来融合所述状态特征图和所述行为特征图。

进一步地，在本申请的技术方案中，将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图。也就是，在本申请的技术方案中，以三维卷积神经网络作为特征提取器来对所述预定时间段的车辆行驶监控视频进行编码以提取车辆行驶变化特征。在具体数据处理过程中，为了降低数据处理量，先对所述车辆行驶监控视频进行采样，例如，以预定采样频率从所述车辆行驶监控视频中提取多个关键帧作为所述三维卷积神经网络的输入。

接着，在融合所述人车交互特征图和所述车辆行驶特征图以得到内外视角数据特征协同的分类特征图后，将所述分类特征图通过分类器就可以得到用于车辆的驾驶员是否发生疲劳驾驶的分类结果。

特别地，在本申请的技术方案中，为了增强所述人车交互特征图和所述车辆行驶特征图之间的特征分布的相对于分类标签值的关联性以提高分类特征图的分类效果，引入标签值散射响应差分的损失函数，表示为：

标签值散射响应因数：

j为所述分类器的标签值，f₁和f₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂的特征值，且p₁和p₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂在标签下的概率值。

由于在分类过程中，特征分布具有相对于标签值的位置敏感性，因此基于特征值位置相对于标签概率的散射响应来将特征分布在基于特征和标签值的分类问题的解空间内堆叠为深度结构，可以以类响应角形式提升分类解对模型特征提取的可解释性，从而提升所述人车交互特征图和所述车辆行驶特征图在相同的分类器标签值下的特征分布关联性。

基于此，本申请提供了一种基于车辆数据的驾驶员驾驶状态监测系统，其包括：监测数据采集单元，用于获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；车辆行驶状态数据编码单元，用于将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；驾驶员行为数据编码单元，用于将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；交互融合单元，用于融合所述状态特征图和所述行为特征图以得到人车交互特征图；车辆监控视频编码单元，用于将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；再融合单元，用于融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及，状态监测结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

图1图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统的应用场景图。如图1所示，在该应用场景中，通过部署于车辆内的传感器(例如，如图1中所示意的C1)采集车辆行驶状态数据和驾驶员行为数据，以及通过部署于道路旁的摄像头(例如，如图1中所示意的C2)采集车辆行驶监控视频.然后，将获取的车辆行驶监控视频、车辆行驶状态数据和驾驶员行为数据输入至部署有基于车辆数据的驾驶员驾驶状态监测算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述基于车辆数据的驾驶员驾驶状态监测算法对车辆行驶监控视频、车辆行驶状态数据和驾驶员行为数据进行处理以生成用于表示车辆的驾驶员是否发生疲劳驾驶的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统的框图示意图。如图2所示，根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100，包括：监测数据采集单元110，用于获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；车辆行驶状态数据编码单元120，用于将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；驾驶员行为数据编码单元130，用于将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；交互融合单元140，用于融合所述状态特征图和所述行为特征图以得到人车交互特征图；车辆监控视频编码单元150，用于将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；再融合单元160，用于融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及，状态监测结果生成单元170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

具体地，在本申请实施例中，所述监测数据采集单元110，用于获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合。车辆行驶监控数据为外部数据，也就是，从外部视角来看车辆行驶状态，所述预定时间段的车辆行驶监控视频可以通过部署于道路旁的摄像头进行采集；而驾驶员行为数据为内部数据，也就是，从内部视角来看驾驶员的驾驶状态，其包括方向盘转角、是否踩踏板和是否踩离合；车辆行驶状态数据也是内部数据，其包括行驶速度、加速度和车身横摆角，其中，所述车辆行驶状态数据和驾驶员行为数据可通过现有的部署于车辆内的传感器来进行监测。因此，在本申请中，从内外视角数据协同的角度来构建驾驶员状态监测，从而通过更多维度的且更为丰富的数据来提升驾驶员疲劳驾驶检测的精准度。

具体地，在本申请实施例中，所述车辆行驶状态数据编码单元120，用于将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图。也就是，将所述多个时间点的车辆行驶状态数据进行结构化处理以得到状态输入矩阵，其中，所述状态输入矩阵中各个行向量为各个车辆行驶状态数据中各项参数的时间序列。为了挖掘该车辆在同一时间点的不同车辆行驶状态数据之间的关联、不同时间点的不同车辆行驶状态数据之间的关联，以及，同一车辆行驶状态数据在时间维度上的关联，进一步地以所述第一卷积神经网络作为特征提取器对所述状态输入矩阵进行显示空间编码以得到所述状态特征图。

具体地，在本申请实施例中，所述驾驶员行为数据编码单元130，用于将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图。针对所述多个时间点的驾驶员行为数据，以类似于所述多个时间点的车辆行驶状态数据的编码方式来进行编码以提取该车辆在同一时间点的不同驾驶员行为数据之间的关联、不同时间点的不同驾驶员行为数据之间的关联，以及，同一驾驶员行为数据在时间维度上的关联。也就是，将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图。

具体地，在本申请实施例中，所述交互融合单元140，用于融合所述状态特征图和所述行为特征图以得到人车交互特征图。在本申请一个具体的示例中，以按位置点乘的方式来融合所述状态特征图和所述行为特征图。

具体地，在本申请实施例中，所述车辆监控视频编码单元150，用于将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图。也就是，在本申请的技术方案中，以三维卷积神经网络作为特征提取器来对所述预定时间段的车辆行驶监控视频进行编码以提取车辆行驶变化特征。在具体数据处理过程中，为了降低数据处理量，先对所述车辆行驶监控视频进行采样，例如，以预定采样频率从所述车辆行驶监控视频中提取多个关键帧作为所述三维卷积神经网络的输入。

具体地，在本申请实施例中，所述再融合单元160，用于融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图。融合所述人车交互特征图和所述车辆行驶特征图可以得到内外视角数据特征协同的分类特征图，使得可以结合车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据对车辆的驾驶员是否发生疲劳驾驶进行判断。

具体地，在本申请实施例中，所述状态监测结果生成单元170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。在融合所述人车交互特征图和所述车辆行驶特征图以得到内外视角数据特征协同的分类特征图后，将所述分类特征图通过分类器就可以得到用于表示车辆的驾驶员是否发生疲劳驾驶的分类结果。

在一个具体示例中，如图3所示，所述基于车辆数据的驾驶员驾驶状态监测系统100，还包括用于对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练的训练模块200。对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练以更新所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络的参数，最终使所述基于车辆数据的驾驶员驾驶状态监测系统100可以更精准的判断车辆的驾驶员是否发生疲劳驾驶。

更具体地，在本申请实施例中，所述训练模块200包括训练数据采集单元210，所述训练数据采集单元210，用于获取训练数据，所述训练数据包括预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合。如前述，以预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据作为训练用的训练数据，可以对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练。

更具体地，在本申请实施例中，所述训练模块200包括训练车辆行驶状态数据编码单元220，所述训练车辆行驶状态数据编码单元220，用于将所述训练数据中所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过作为特征提取器的第一卷积神经网络以得到训练状态特征图。也就是，将所述训练数据中所述多个时间点的车辆行驶状态数据进行结构化处理以得到状态输入矩阵，其中，所述状态输入矩阵中各个行向量为各个车辆行驶状态数据中各项参数的时间序列。为了挖掘该车辆在同一时间点的不同车辆行驶状态数据之间的关联、不同时间点的不同车辆行驶状态数据之间的关联，以及，同一车辆行驶状态数据在时间维度上的关联，进一步地以所述第一卷积神经网络作为特征提取器对所述状态输入矩阵进行显示空间编码以得到所述训练状态特征图。

在一个具体示例中，如图4所示，所述训练车辆行驶状态数据编码单元220包括：第一矩阵构造子单元221，用于将所述训练数据中所述多个时间点的车辆行驶状态数据按照所述时间维度分别排列为行向量以得到多个状态行向量；以及，将所述多个状态行向量按照所述状态数据样本维度排列为所述状态输入矩阵；第一卷积编码子单元222，用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述训练状态特征图，其中，所述第一卷积神经网络的第一层的输入为所述状态输入矩阵。

更具体地，在本申请实施例中，所述训练模块200包括训练驾驶员行为数据编码单元230，所述训练驾驶员行为数据编码单元230，用于将所述训练数据中所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过作为特征提取器的第二卷积神经网络以得到训练行为特征图。针对所述训练数据中所述多个时间点的驾驶员行为数据，以类似于将所述训练数据中所述多个时间点的车辆行驶状态数据的编码方式来进行编码以提取该车辆在同一时间点的不同驾驶员行为数据之间的关联、不同时间点的不同驾驶员行为数据之间的关联，以及，同一驾驶员行为数据在时间维度上的关联。

在一个具体示例中，如图5所示，所述训练驾驶员行为数据编码单元230包括：第二矩阵构造子单元231，用于将所述训练数据中所述多个时间点的驾驶员行为数据按照所述时间维度分别排列为行向量以得到多个行为行向量；以及，将所述多个行为行向量按照所述状态数据样本维度排列为所述行为输入矩阵；第二卷积编码子单元232，用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述训练行为特征图，其中，所述第二卷积神经网络的第一层的输入为所述行为输入矩阵。

更具体地，在本申请实施例中，所述训练模块200包括训练交互融合单元240，所述训练交互融合单元240，用于融合所述训练状态特征图和所述训练行为特征图以得到训练人车交互特征图。

在一个具体示例中，所述训练交互融合单元240，进一步用于：以如下公式融合所述训练状态特征图和所述训练行为特征图以得到所述训练人车交互特征图；其中，所述公式为：

F_c＝F₁⊙F₂

其中，F₁表示所述训练状态特征图，F₂表示所述训练行为特征图，F_c表示所述训练人车交互特征图，⊙表示按位置点乘。

更具体地，在本申请实施例中，所述训练模块200包括训练监控视频编码单元250，所述训练监控视频编码单元250，用于将所述训练数据中的预定时间段的车辆行驶监控视频通过使用三维卷积核的第三卷积神经网络以得到训练车辆行驶特征图。也就是，以三维卷积神经网络作为特征提取器来对所述训练数据中的预定时间段的车辆行驶监控视频进行编码以提取车辆行驶变化特征。在具体数据处理过程中，为了降低数据处理量，先对所述训练数据中的预定时间段的车辆行驶监控视频进行采样，例如，以预定采样频率从所述训练数据中的预定时间段的车辆行驶监控视频中提取多个关键帧作为所述三维卷积神经网络的输入。

在一个具体示例中，如图6所示，所述训练监控视频编码单元250包括：采样子单元251，用于从所述训练数据中的预定时间段的车辆行驶监控视频提取多个图像关键帧，并将所述多个图像关键帧按时间维度进行排列以得到三维输入张量；第三卷积编码子单元252，用于通过所述使用三维卷积核的第三卷积神经网络在层的正向传递中对输入数据分别进行基于所述三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述第三卷积神经网络的最后一层的输出为所述训练车辆行驶特征图，其中，所述第三卷积神经网络的第一层的输入为所述三维输入张量。

更具体地，在本申请实施例中，所述训练模块200包括训练再融合单元260，所述训练再融合单元260，用于融合所述训练人车交互特征图和所述训练车辆行驶特征图以得到训练分类特征图。

更具体地，在本申请实施例中，所述训练模块200包括分类损失单元270，所述分类损失单元270，用于将所述训练分类特征图通过分类器以得到分类损失函数值。

在一个具体示例中，所述分类损失单元270，进一步用于：所述分类器以如下公式对所述训练分类特征图进行处理以生成分类结果，其中，所述公式为：

softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，

其中Project(F)表示将所述训练分类特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

更具体地，在本申请实施例中，所述训练模块200包括标签值散射响应差分损失单元280，所述标签值散射响应差分损失单元280，用于计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的标签值散射响应差分的损失函数值，所述标签值散射响应差分的损失函数值与所述分类器的标签值、所述人车交互特征图和所述车辆行驶特征图的特征值、所述人车交互特征图和所述车辆行驶特征图在标签下的概率值有关。

在一个具体示例中，所述标签值散射响应差分损失单元280，进一步用于：以如下公式计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的所述标签值散射响应差分的损失函数值；其中，所述公式为：

其中，F₁为所述人车交互特征图，F₂为所述车辆行驶特征图，j为所述分类器的标签值，f₁和f₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂的特征值，且p₁和p₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂在标签下的概率值。

更具体地，在本申请实施例中，所述训练模块200包括训练单元290，所述训练单元290，用于以所述分类损失函数值和所述标签值散射响应差分的损失函数值的加权和作为损失函数值对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练。即，基于所述分类损失函数值和所述标签值散射响应差分的损失函数值的加权和作为损失函数值更新所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络的参数。通过上述方式训练，使所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络的参数得以更新。

综上，基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100被阐明，其首先获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，然后，将所述多个时间点的车辆行驶状态数据通过第一卷积神经网络得到的状态特征图和所述多个时间点的驾驶员行为数据通过第二卷积神经网络得到的行为特征图融合以得到人车交互特征图，接着，将所述预定时间段的车辆行驶监控视频通过第三卷积神经网络得到的车辆行驶特征图与所述人车交互特征图再融合得到的内外视角数据特征协同的分类特征图通过分类器以得到用于车辆的驾驶员是否发生疲劳驾驶的分类结果。这样，就可以对驾驶员是否疲劳进行监测，从而保证安全驾驶。

如上所述，根据本申请实施例的所述基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100可以实现在各种终端设备中，例如具有基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测算法的服务器等。在一个示例中，基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测系统100同样可以是该终端设备的众多硬件模块之一。

示例性方法

图7图示了根据本申请实施例的基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测方法的流程图。如图7所示，根据本申请实施例的基于本申请实施例的基于车辆数据的驾驶员驾驶状态监测方法，其包括：S110，获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；S120，将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；S130，将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；S140，融合所述状态特征图和所述行为特征图以得到人车交互特征图；S150，将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；S160，融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及，S170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

图8图示了根据本申请实施例的基于车辆数据的驾驶员驾驶状态监测方法的系统架构的示意图。如图8所示，在所述基于车辆数据的驾驶员驾驶状态监测方法的系统架构中，首先，获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；接着，将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；然后，将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；接着，融合所述状态特征图和所述行为特征图以得到人车交互特征图；然后，将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；接着，融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述基于车辆数据的驾驶员驾驶状态监测方法，进一步包括：对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练；其中，所述对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练的过程，包括：获取训练数据，所述训练数据包括预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；将所述训练数据中所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过作为特征提取器的第一卷积神经网络以得到训练状态特征图；将所述训练数据中所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过作为特征提取器的第二卷积神经网络以得到训练行为特征图；融合所述训练状态特征图和所述训练行为特征图以得到训练人车交互特征图；将所述训练数据中的预定时间段的车辆行驶监控视频通过使用三维卷积核的第三卷积神经网络以得到训练车辆行驶特征图；融合所述训练人车交互特征图和所述训练车辆行驶特征图以得到训练分类特征图；将所述训练分类特征图通过分类器以得到分类损失函数值；计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的标签值散射响应差分的损失函数值，所述标签值散射响应差分的损失函数值与所述分类器的标签值、所述人车交互特征图和所述车辆行驶特征图的特征值、所述人车交互特征图和所述车辆行驶特征图在标签下的概率值有关；以及，以所述分类损失函数值和所述标签值散射响应差分的损失函数值的加权和作为损失函数值对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述将所述训练数据中所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过作为特征提取器的第一卷积神经网络以得到训练状态特征图，包括：将所述训练数据中所述多个时间点的车辆行驶状态数据按照所述时间维度分别排列为行向量以得到多个状态行向量；将所述多个状态行向量按照所述状态数据样本维度排列为所述状态输入矩阵；以及，使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述训练状态特征图，其中，所述第一卷积神经网络的第一层的输入为所述状态输入矩阵。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述将所述训练数据中所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过作为特征提取器的第二卷积神经网络以得到训练行为特征图，包括：将所述训练数据中所述多个时间点的驾驶员行为数据按照所述时间维度分别排列为行向量以得到多个行为行向量；将所述多个行为行向量按照所述状态数据样本维度排列为所述行为输入矩阵；以及，使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述训练行为特征图，其中，所述第二卷积神经网络的第一层的输入为所述行为输入矩阵。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述融合所述训练状态特征图和所述训练行为特征图以得到训练人车交互特征图，进一步包括：使用如下公式融合所述训练状态特征图和所述训练行为特征图以得到所述训练人车交互特征图；其中，所述公式为：

F_c＝F₁⊙F₂

其中，F₁表示所述训练状态特征图，F₂表示所述训练行为特征图，F_c表示所述训练人车交互特征图，⊙表示按位置点乘。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述将所述训练数据中的预定时间段的车辆行驶监控视频通过使用三维卷积核的第三卷积神经网络以得到训练车辆行驶特征图，包括：从所述训练数据中的预定时间段的车辆行驶监控视频提取多个图像关键帧，并将所述多个图像关键帧按时间维度进行排列以得到三维输入张量；通过所述使用三维卷积核的第三卷积神经网络在层的正向传递中对输入数据分别进行基于所述三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述第三卷积神经网络的最后一层的输出为所述训练车辆行驶特征图，其中，所述第三卷积神经网络的第一层的输入为所述三维输入张量。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述将所述训练分类特征图通过分类器以得到分类损失函数值，进一步包括：将所述分类器以如下公式对所述训练分类特征图进行处理以生成分类结果，其中，所述公式为：

softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，

其中Project(F)表示将所述训练分类特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

在一个具体示例中，在上述基于车辆数据的驾驶员驾驶状态监测方法中，所述计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的标签值散射响应差分的损失函数值，所述标签值散射响应差分的损失函数值与所述分类器的标签值、所述人车交互特征图和所述车辆行驶特征图的特征值、所述人车交互特征图和所述车辆行驶特征图在标签下的概率值有关，进一步包括：使用如下公式计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的所述标签值散射响应差分的损失函数值；其中，所述公式为：

其中，F₁为所述人车交互特征图，F₂为所述车辆行驶特征图，j为所述分类器的标签值，f₁和f₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂的特征值，且p₁和p₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂在标签下的概率值。

这里，本领域技术人员可以理解，上述基于车辆数据的驾驶员驾驶状态监测方法中的各个步骤的具体操作已经在上面参考图1到图6的基于车辆数据的驾驶员驾驶状态监测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

Claims (10)

1.一种基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，包括：

监测数据采集单元，用于获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

车辆行驶状态数据编码单元，用于将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；

驾驶员行为数据编码单元，用于将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；

交互融合单元，用于融合所述状态特征图和所述行为特征图以得到人车交互特征图；

车辆监控视频编码单元，用于将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；

再融合单元，用于融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及

状态监测结果生成单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

2.根据权利要求1所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，进一步包括：用于对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练的训练模块；

其中，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

训练车辆行驶状态数据编码单元，用于将所述训练数据中所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过作为特征提取器的第一卷积神经网络以得到训练状态特征图；

训练驾驶员行为数据编码单元，用于将所述训练数据中所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过作为特征提取器的第二卷积神经网络以得到训练行为特征图；

训练交互融合单元，用于融合所述训练状态特征图和所述训练行为特征图以得到训练人车交互特征图；

训练监控视频编码单元，用于将所述训练数据中的预定时间段的车辆行驶监控视频通过使用三维卷积核的第三卷积神经网络以得到训练车辆行驶特征图；

训练再融合单元，用于融合所述训练人车交互特征图和所述训练车辆行驶特征图以得到训练分类特征图；

分类损失单元，用于将所述训练分类特征图通过分类器以得到分类损失函数值；

标签值散射响应差分损失单元，用于计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的标签值散射响应差分的损失函数值，所述标签值散射响应差分的损失函数值与所述分类器的标签值、所述人车交互特征图和所述车辆行驶特征图的特征值、所述人车交互特征图和所述车辆行驶特征图在标签下的概率值有关；以及

训练单元，用于以所述分类损失函数值和所述标签值散射响应差分的损失函数值的加权和作为损失函数值对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练。

3.根据权利要求2所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述训练车辆行驶状态数据编码单元，包括：

第一矩阵构造子单元，用于将所述训练数据中所述多个时间点的车辆行驶状态数据按照所述时间维度分别排列为行向量以得到多个状态行向量；以及，将所述多个状态行向量按照所述状态数据样本维度排列为所述状态输入矩阵；

第一卷积编码子单元，用于使用所述第一卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第一卷积神经网络的最后一层生成所述训练状态特征图，其中，所述第一卷积神经网络的第一层的输入为所述状态输入矩阵。

4.根据权利要求3所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述训练驾驶员行为数据编码单元，包括：

第二矩阵构造子单元，用于将所述训练数据中所述多个时间点的驾驶员行为数据按照所述时间维度分别排列为行向量以得到多个行为行向量；以及，将所述多个行为行向量按照所述状态数据样本维度排列为所述行为输入矩阵；

第二卷积编码子单元，用于使用所述第二卷积神经网络的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层生成所述训练行为特征图，其中，所述第二卷积神经网络的第一层的输入为所述行为输入矩阵。

5.根据权利要求4所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述训练交互融合单元，进一步用于：以如下公式融合所述训练状态特征图和所述训练行为特征图以得到所述训练人车交互特征图；

其中，所述公式为：

F_c＝F₁⊙F₂

其中，F₁表示所述训练状态特征图，F₂表示所述训练行为特征图，F_c表示所述训练人车交互特征图，⊙表示按位置点乘。

6.根据权利要求5所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述训练监控视频编码单元，包括：

采样子单元，用于从所述训练数据中的预定时间段的车辆行驶监控视频提取多个图像关键帧，并将所述多个图像关键帧按时间维度进行排列以得到三维输入张量；

第三卷积编码子单元，用于通过所述使用三维卷积核的第三卷积神经网络在层的正向传递中对输入数据分别进行基于所述三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述第三卷积神经网络的最后一层的输出为所述训练车辆行驶特征图，其中，所述第三卷积神经网络的第一层的输入为所述三维输入张量。

7.根据权利要求6所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述分类损失单元，进一步用于：

所述分类器以如下公式对所述训练分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(W_n,B_n):…:(W₁,B₁)|Project(F)}，其中Project(F)表示将所述训练分类特征图投影为向量，W₁至W_n为各层全连接层的权重矩阵，B₁至B_n表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

8.根据权利要求7所述的基于车辆数据的驾驶员驾驶状态监测系统，其特征在于，所述标签值散射响应差分损失单元，进一步用于：

以如下公式计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的所述标签值散射响应差分的损失函数值；

其中，所述公式为：

其中，F₁为所述人车交互特征图，F₂为所述车辆行驶特征图，j为所述分类器的标签值，f₁和f₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂的特征值，且p₁和p₂分别为所述人车交互特征图F₁和所述车辆行驶特征图F₂在标签下的概率值。

9.一种基于车辆数据的驾驶员驾驶状态监测方法，其特征在于，包括：

获取预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

将所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过经训练完成的作为特征提取器的第一卷积神经网络以得到状态特征图；

将所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过经训练完成的作为特征提取器的第二卷积神经网络以得到行为特征图；

融合所述状态特征图和所述行为特征图以得到人车交互特征图；

将所述预定时间段的车辆行驶监控视频通过经训练完成的使用三维卷积核的第三卷积神经网络以得到车辆行驶特征图；

融合所述人车交互特征图和所述车辆行驶特征图以得到分类特征图；以及

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示车辆的驾驶员是否发生疲劳驾驶。

10.根据权利要求9所述的基于车辆数据的驾驶员驾驶状态监测方法，其特征在于，所述基于车辆数据的驾驶员驾驶状态监测方法，进一步包括：对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练；

其中，所述对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练的过程，包括：

获取训练数据，所述训练数据包括预定时间段的车辆行驶监控视频、所述预定时间段内多个时间点的车辆行驶状态数据和驾驶员行为数据，其中，所述车辆行驶状态数据包括行驶速度、加速度和车身横摆角，所述驾驶员行为数据包括方向盘转角、是否踩踏板和是否踩离合；

将所述训练数据中所述多个时间点的车辆行驶状态数据按照时间维度和状态数据样本维度排列为状态输入矩阵后通过作为特征提取器的第一卷积神经网络以得到训练状态特征图；

将所述训练数据中所述多个时间点的驾驶员行为数据按照时间维度和行为数据样本维度排列为行为输入矩阵后通过作为特征提取器的第二卷积神经网络以得到训练行为特征图；

融合所述训练状态特征图和所述训练行为特征图以得到训练人车交互特征图；

将所述训练数据中的预定时间段的车辆行驶监控视频通过使用三维卷积核的第三卷积神经网络以得到训练车辆行驶特征图；

融合所述训练人车交互特征图和所述训练车辆行驶特征图以得到训练分类特征图；

将所述训练分类特征图通过分类器以得到分类损失函数值；

计算所述训练人车交互特征图和所述训练车辆行驶特征图之间的标签值散射响应差分的损失函数值，所述标签值散射响应差分的损失函数值与所述分类器的标签值、所述人车交互特征图和所述车辆行驶特征图的特征值、所述人车交互特征图和所述车辆行驶特征图在标签下的概率值有关；

以所述分类损失函数值和所述标签值散射响应差分的损失函数值的加权和作为损失函数值对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络进行训练。

Images