CN115861983A - 用于机械设备的智能化管理系统及其方法 - Google Patents

Abstract

本申请涉及智能管理领域，其具体地公开了一种用于机械设备的智能化管理系统及其方法，其通过采用基于机器视觉的人工智能监控技术，以提取出驾驶员面部监控视频中的各个监控关键帧的基于长短距离依赖关联的多尺度动态隐含关联特征分布信息，并以此来进行驾驶员分心驾驶程度的分类判断。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

Description

用于机械设备的智能化管理系统及其方法

技术领域

本申请涉及智能管理领域，且更为具体地，涉及一种用于机械设备的智能化管理系统及其方法。

背景技术

分心驾驶是道路交通事故和死亡的主要原因，分心驾驶使驾驶员的个人注意力从主要驾驶任务转移开到别的行为活动中，例如视线偏离路面、接打电话、玩手机、找东西、抽烟、回头聊天等行为。所有分心均会危及驾驶员、乘客和旁人安全并增加车辆碰撞的机会。

分心类型包括视觉分心，此时驾驶员会将其眼睛从道路移开；行为分心，此时驾驶员会将其手从方向盘移开；认知分心，此时驾驶员会将其注意力从驾驶移开。现有的方案对于分心的严重程度分类是结合异常体态类型、异常操作及时长进行分级预警，如：轻度分心、中度分心、高度分心等。但是，在实际监测过程中发现这种对于分心的严重程度进行分级预警的方案会造成对于驾驶员的分心状态的误判，这是由于很多驾驶员的行为习惯不同，且难以对其异常体态类型和操作进行是被判断，进而不能够及时预警提示驾驶员，导致事故的发生。

因此，期望一种优化的用于机械设备的智能化管理系统，其能够对于驾驶员的分心状态进行精准地评估判断，以在检测到异常时控制发出预警提示，确保行驶安全。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于机械设备的智能化管理系统及其方法，其通过采用基于机器视觉的人工智能监控技术，以提取出驾驶员面部监控视频中的各个监控关键帧的基于长短距离依赖关联的多尺度动态隐含关联特征分布信息，并以此来进行驾驶员分心驾驶程度的分类判断。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

根据本申请的一个方面，提供了一种用于机械设备的智能化管理系统，其包括：

面部监控单元，用于获取由部署于车内的摄像头采集的驾驶员面部监控视频；

采样单元，用于从所述驾驶员面部监控视频提取多个面部监控关键帧；

面部特征提取单元，用于将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；

第一面部变化特征提取单元，用于将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；

第二面部变化特征提取单元，用于将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；

特征融合单元，用于融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及

管理结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

在上述用于机械设备的智能化管理系统中，所述采样单元，进一步用于：以预定采样频率对所述驾驶员面部监控视频进行采样处理以得到所述多个面部监控关键帧。

在上述用于机械设备的智能化管理系统中，所述面部特征提取单元，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述多个面部监控特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述多个面部监控关键帧。

在上述用于机械设备的智能化管理系统中，所述第二面部变化特征提取单元，包括：上下文语义编码子单元，用于将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量；级联子单元，用于将所述多个上下文语义面部监控特征向量进行级联以得到所述第二尺度面部监控上下文语义特征向量。

在上述用于机械设备的智能化管理系统中，所述上下文语义编码子单元，包括：查询向量构造二级子单元，用于将所述多个面部监控特征向量进行一维排列以得到全局面部监控特征向量；自注意二级子单元，用于计算所述全局面部监控特征向量与所述多个面部监控特征向量中各个面部监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化二级子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算二级子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；注意力施加二级子单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个面部监控特征向量中各个面部监控特征向量进行加权以得到所述多个上下文语义面部监控特征向量。

在上述用于机械设备的智能化管理系统中，所述特征融合单元，进一步用于将所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量进行级联以得到所述分类特征向量。

在上述用于机械设备的智能化管理系统中，所述管理结果生成单元，包括：全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

在上述用于机械设备的智能化管理系统中，还包括用于对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据回去单元，用于获取训练数据，所述训练数据包括驾驶员面部训练监控视频，以及，所述分心驾驶的程度标签的真实值；训练采样单元，用于从所述驾驶员训练面部监控视频提取多个训练面部监控关键帧；训练面部特征提取单元，用于将所述多个训练面部监控关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练面部监控特征向量；第一训练面部变化特征提取单元，用于将所述多个训练面部监控特征向量通过所述双向长短期记忆神经网络模型以得到第一训练尺度面部监控上下文语义特征向量；第二训练面部变化特征提取单元，用于将所述多个训练面部监控特征向量通过所述基于转换器的上下文编码器以得到第二训练尺度面部监控上下文语义特征向量；训练特征融合单元，用于融合所述第一尺度训练面部监控上下文语义特征向量和所述第二尺度训练面部监控上下文语义特征向量以得到训练分类特征向量；分类损失单元，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值。

在上述用于机械设备的智能化管理系统中，在所述训练的每一轮迭代中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值；

其中，所述公式为：

V是所述分类特征向量，M是所述分类器对所述分类特征向量的权重矩阵，

和/>

分别表示张量乘法和张量加法，d(·,·)表示向量之间的距离，‖·‖₂表示向量的二范数，且α和β是权重超参数。

根据本申请的另一方面，提供了一种用于机械设备的智能化管理方法，其包括：

获取由部署于车内的摄像头采集的驾驶员面部监控视频；

从所述驾驶员面部监控视频提取多个面部监控关键帧；

将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；

将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；

将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；

融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及

将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于机械设备的智能化管理方法。

与现有技术相比，本申请提供的一种用于机械设备的智能化管理系统及其方法，其通过采用基于机器视觉的人工智能监控技术，以提取出驾驶员面部监控视频中的各个监控关键帧的基于长短距离依赖关联的多尺度动态隐含关联特征分布信息，并以此来进行驾驶员分心驾驶程度的分类判断。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的用于机械设备的智能化管理系统的框图；

图2为根据本申请实施例的用于机械设备的智能化管理系统的框图；

图3为根据本申请实施例的用于机械设备的智能化管理系统的系统架构图；

图4为根据本申请实施例的用于机械设备的智能化管理系统中卷积神经网络编码的流程图；

图5为根据本申请实施例的用于机械设备的智能化管理系统中第二面部变化特征提取单元的框图；

图6为根据本申请实施例的用于机械设备的智能化管理系统中上下文语义编码子单元的框图；

图7为根据本申请实施例的用于机械设备的智能化管理系统中训练模块的系统架构图；

图8为根据本申请实施例的用于机械设备的智能化管理方法的流程图；

图9为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前背景技术所言，现有的方案对于分心的严重程度分类是结合异常体态类型、异常操作及时长进行分级预警，如：轻度分心、中度分心、高度分心等。但是，在实际监测过程中发现这种对于分心的严重程度进行分级预警的方案会造成对于驾驶员的分心状态的误判，这是由于很多驾驶员的行为习惯不同，且难以对其异常体态类型和操作进行是被判断，进而不能够及时预警提示驾驶员，导致事故的发生。因此，期望一种优化的用于机械设备的智能化管理系统，其能够对于驾驶员的分心状态进行精准地评估判断，以在检测到异常时控制发出预警提示，确保行驶安全。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为驾驶员的分心状态监测提供了新的解决思路和方案。

具体地，在本申请的技术方案中，期望通过在车辆内前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头采集驾驶人员的面部细节特征，并通过算法智能分析、识别是否存在视线偏离路面、接打电话、玩手机、找东西、抽烟、回头聊天等行为，以此进行驾驶员的分心状态的评估判断。具体地，采用基于机器视觉的人工智能监控技术，以提取出驾驶员面部监控视频中的各个监控关键帧的基于长短距离依赖关联的多尺度动态隐含关联特征分布信息，并以此来进行驾驶员分心驾驶程度的分类判断。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

具体地，在本申请的技术方案中，首先，通过部署于车内的摄像头采集的驾驶员面部监控视频。接着，考虑到在所述驾驶员面部监控视频中，驾驶员的面部状态变化特征可以通过所述驾驶员面部监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示驾驶人员的面部状态变化情况。但是，考虑到所述驾驶员面部监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述驾驶员面部监控视频进行关键帧采样，以从所述驾驶员面部监控视频提取多个面部监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

然后，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述多个面部监控关键帧的特征提取，以分别提取出所述多个面部监控关键帧中各个面部监控关键帧的关于驾驶员面部状态的局部隐含特征分布信息，从而得到多个面部监控特征向量。

进一步地，应可以理解，考虑到对于所述各个面部监控关键帧的图像特征来说，所述各个面部监控关键帧的图像特征间在时间维度上具有着隐藏关联性的特征分布信息。也就是说，所述各个面部监控关键帧中关于所述驾驶员面部的状态特征在时序上具有着隐藏的动态变化特征分布信息，为了能够对于所述驾驶员的分心驾驶程度进行精准评估判断，需要对于所述各个面部监控关键帧的图像特征进行关联性的隐含特征提取。因此，在本申请的技术方案中，将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量。应可以理解，所述双向长短期记忆神经网络模型(LSTM，Long Short-Term Memory)通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向LSTM与后向LSTM组合而成，前向LSTM可以学习到当前关键帧前面局部区域的关于驾驶员面部状态变化特征的关联性特征分布信息，而后向LSTM可以学习到当前关键帧后续局部区域的关于驾驶员面部状态变化特征的关联性特征分布信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第一尺度面部监控上下文语义特征向量学习到了所述各个关键帧前后局部区域的关于驾驶员面部状态变化特征的中短距离依赖的隐含关联性特征分布信息。

接着，考虑到在对于所述驾驶员的分析驾驶程度进行监控时，不仅需要对于其面部状态特征进行中短距离的依赖关联，还需要基于全局性的面部状态特征进行进一步地准确判断。因此，在本申请的技术方案中，进一步将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个面部监控特征向量中各个面部监控特征向量进行基于全局的上下文语义编码以得到以所述多个面部监控特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述第二尺度面部监控上下文语义特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的编码器可以捕捉到所述各个关键帧的关于驾驶员面部状态变化特征在时间维度上整体的基于长距离依赖的全局性关联特征分布信息。

然后，融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量，进一步再将所述分类特征向量通过分类器中，以综合所述驾驶员面部状态特征基于长短距离依赖关联的动态变化特征来进行分类处理，从而得到用于表示分心驾驶的程度标签的分类结果。这样，能够对于驾驶员的分析状态进行实时地监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。特别地，在本申请实施例中，当系统检测到异常时，系统自动预警提示(通过手机扬声器、车辆原车音箱、附加扬声器等方式播放)驾驶员，同时向用户相关管理人员推送相关异常信息，用户相关管理人员可远程查看各摄像头及相关硬件、传感器反馈的信息，并可通过语音、视频对讲功能与驾驶员对话。

特别地，在本申请的技术方案中，将所述多个面部监控特征向量分别通过双向长短期记忆神经网络模型和基于转换器的上下文编码器得到所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量，以使得所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量分别表达了不同尺度下的面部监控特征关联。因此，为了充分使用上述信息来提高分类准确性，优选地通过直接级联所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量来得到所述分类特征向量，但是，这会使得所述分类特征向量的整体分布具有较强的离散性，使得分类器的训练困难，尤其是分类器的标签值的收敛困难。

因此，优选地使用软标签学习来代替常用的硬标签学习，具体地，在所述训练的每一轮迭代中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值；

其中，所述公式为：

V是所述分类特征向量，M是所述分类器对所述分类特征向量的权重矩阵，

和/>

分别表示张量乘法和张量加法，d(·,·)表示向量之间的距离，‖·‖₂表示向量的二范数，且α和β是权重超参数。

这里，所述基于跨分类器软相似性的自由标签优化因数通过在以硬标签值计算特征向量的分类概率之前来对所述分类特征向量和分类器对于其的权重矩阵进行双向聚簇，来通过所述分类特征向量与所述权重矩阵的跨分类器的软相似性模拟基于分类器权重矩阵的伪类别，从而以软相似性学习来避免了硬标签学习带来的分类量化损失，实现了更关注于分类器的内在权重结构的自由标签优化，从而优化了分类器的标签值的训练，提升了分类器的训练速度，进而提高了分类的准确性。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

基于此，本申请提出了一种用于机械设备的智能化管理系统，其包括：面部监控单元，用于获取由部署于车内的摄像头采集的驾驶员面部监控视频；采样单元，用于从所述驾驶员面部监控视频提取多个面部监控关键帧；面部特征提取单元，用于将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；第一面部变化特征提取单元，用于将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；第二面部变化特征提取单元，用于将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；特征融合单元，用于融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及，管理结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1为根据本申请实施例的用于机械设备的智能化管理系统的框图。如图1所示，根据本申请实施例的用于机械设备的智能化管理系统300包括推断模块，其中，所述推断模块包括：面部监控单元310；采样单元320；面部特征提取单元330；第一面部变化特征提取单元340；第二面部变化特征提取单元350；特征融合单元360；以及，管理结果生成单元370。

其中，所述面部监控单元310，用于获取由部署于车内的摄像头采集的驾驶员面部监控视频；所述采样单元320，用于从所述驾驶员面部监控视频提取多个面部监控关键帧；所述面部特征提取单元330，用于将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；所述第一面部变化特征提取单元340，用于将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；所述第二面部变化特征提取单元350，用于将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；所述特征融合单元360，用于融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及，所述管理结果生成单元370，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

图3为根据本申请实施例的用于机械设备的智能化管理系统的系统架构图。如图3所示，在所述用于机械设备的智能化管理系统300的系统架构中，在推断过程中，首先通过所述面部监控单元310获取由部署于车内的摄像头采集的驾驶员面部监控视频；所述采样单元320从所述面部监控单元310获取的驾驶员面部监控视频提取多个面部监控关键帧；接着，所述面部特征提取单元330将所述采样单元320得到的多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；然后，所述第一面部变化特征提取单元340将所述面部特征提取单元330得到的多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；所述第二面部变化特征提取单元350将所述面部特征提取单元330得到的多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；所述特征融合单元360融合所述第一面部变化特征提取单元340得到的第一尺度面部监控上下文语义特征向量和所述第二面部变化特征提取单元350得到的第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及，所述管理结果生成单元370将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述面部监控单元310，用于获取由部署于车内的摄像头采集的驾驶员面部监控视频。在本申请的技术方案中，可通过在车辆内前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头采集驾驶人员的面部细节特征，并通过算法智能分析、识别是否存在视线偏离路面、接打电话、玩手机、找东西、抽烟、回头聊天等行为，以此进行驾驶员的分心状态的评估判断。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述采样单元320，用于从所述驾驶员面部监控视频提取多个面部监控关键帧。考虑到在所述驾驶员面部监控视频中，驾驶员的面部状态变化特征可以通过所述驾驶员面部监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示驾驶人员的面部状态变化情况。但是，考虑到所述驾驶员面部监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述驾驶员面部监控视频进行关键帧采样，以从所述驾驶员面部监控视频提取多个面部监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述面部特征提取单元330，用于将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量。应可以理解，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述多个面部监控关键帧的特征提取，以分别提取出所述多个面部监控关键帧中各个面部监控关键帧的关于驾驶员面部状态的局部隐含特征分布信息，从而得到多个面部监控特征向量。在一个具体示例中，所述卷积神经网络包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述卷积神经网络的编码过程中，所述卷积神经网络的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理，其中，卷积神经网络的第一层的输入数据为所述多个面部监控关键帧，这里，所述卷积神经网络的各层都可以输出特征图。

图4为根据本申请实施例的用于机械设备的智能化管理系统中卷积神经网络编码的流程图。如图4所示，在所述卷积神经网络编码过程中，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述多个面部监控特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述多个面部监控关键帧。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述第一面部变化特征提取单元340，用于将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量。应可以理解，考虑到对于所述各个面部监控关键帧的图像特征来说，所述各个面部监控关键帧的图像特征间在时间维度上具有着隐藏关联性的特征分布信息。也就是说，所述各个面部监控关键帧中关于所述驾驶员面部的状态特征在时序上具有着隐藏的动态变化特征分布信息，为了能够对于所述驾驶员的分心驾驶程度进行精准评估判断，需要对于所述各个面部监控关键帧的图像特征进行关联性的隐含特征提取。因此，在本申请的技术方案中，将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量。应可以理解，所述双向长短期记忆神经网络模型(LSTM，Long Short-Term Memory)通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向LSTM与后向LSTM组合而成，前向LSTM可以学习到当前关键帧前面局部区域的关于驾驶员面部状态变化特征的关联性特征分布信息，而后向LSTM可以学习到当前关键帧后续局部区域的关于驾驶员面部状态变化特征的关联性特征分布信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第一尺度面部监控上下文语义特征向量学习到了所述各个关键帧前后局部区域的关于驾驶员面部状态变化特征的中短距离依赖的隐含关联性特征分布信息。更具体地，所述将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量，包括：将所述多个面部监控特征向量通过所述双向长短期记忆神经网络模型以得到多个上下文面部监控特征向量；以及，将所述多个上下文面部监控特征向量进行级联以得到所述第一尺度面部监控上下文语义特征向量。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述第二面部变化特征提取单元350，用于将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量。考虑到在对于所述驾驶员的分析驾驶程度进行监控时，不仅需要对于其面部状态特征进行中短距离的依赖关联，还需要基于全局性的面部状态特征进行进一步地准确判断。因此，在本申请的技术方案中，进一步将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量。也就是，基于transformer思想，利用转换器能够捕捉长距离上下文依赖的特性，对所述多个面部监控特征向量中各个面部监控特征向量进行基于全局的上下文语义编码以得到以所述多个面部监控特征向量的整体语义关联为上下文背景的上下文语义关联特征表示，即，所述第二尺度面部监控上下文语义特征向量。应可以理解，在本申请的技术方案中，通过所述基于转换器的编码器可以捕捉到所述各个关键帧的关于驾驶员面部状态变化特征在时间维度上整体的基于长距离依赖的全局性关联特征分布信息。

图5为根据本申请实施例的用于机械设备的智能化管理系统中第二面部变化特征提取单元的框图。如图5所示，所述第二面部变化特征提取单元350，包括：上下文语义编码子单元351，用于将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量；级联子单元352，用于将所述多个上下文语义面部监控特征向量进行级联以得到所述第二尺度面部监控上下文语义特征向量。其中，所述将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量，包括：将所述多个面部监控特征向量进行一维排列以得到全局面部监控特征向量，再计算所述全局面部监控特征向量与所述多个面部监控特征向量中各个面部监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵，再分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；接着，将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值，进而，分别以所述多个概率值中各个概率值作为权重对所述多个面部监控特征向量中各个面部监控特征向量进行加权以得到所述多个上下文语义面部监控特征向量；以及，所述将所述多个上下文语义面部监控特征向量进行级联以得到所述第二尺度面部监控上下文语义特征向量，在一个具示例中，以如下公式来融合所述多个上下文语义面部监控特征向量以得到第二尺度面部监控上下文语义特征向量；其中，所述公式为：V_c＝Concat[V₁，V₂，...V_n]，其中V₁，V₂，...V_n表示所述多个上下文语义面部监控特征向量，Concat[·,·]表示级联函数，V_c表示所述第二尺度面部监控上下文语义特征向量。

图6为根据本申请实施例的用于机械设备的智能化管理系统中上下文语义编码子单元的框图。如图6所示，所述上下文语义编码子单元351，包括：查询向量构造二级子单元3511，用于将所述多个面部监控特征向量进行一维排列以得到全局面部监控特征向量；自注意二级子单元3512，用于计算所述全局面部监控特征向量与所述多个面部监控特征向量中各个面部监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化二级子单元3513，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；关注度计算二级子单元3514，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；注意力施加二级子单元3515，用于分别以所述多个概率值中各个概率值作为权重对所述多个面部监控特征向量中各个面部监控特征向量进行加权以得到所述多个上下文语义面部监控特征向量。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述特征融合单元360，用于融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量。在本申请的技术方案中，融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量，包括：将所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量进行级联以得到所述分类特征向量。在本申请的一个具体示例中，以如下公式来融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量进行级联以得到所述分类特征向量；其中，所述公式为：V_c＝Concat[V₁，V₂]，其中，V₁表示所述第一尺度面部监控上下文语义特征向量，V₂表示所述第二尺度面部监控上下文语义特征向量，Concat[·,·]表示级联函数，V_c表示所述分类特征向量。

具体地，在所述用于机械设备的智能化管理系统300的运行过程中，所述管理结果生成单元370，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。也就是，将所述分类特征向量通过分类器中，以综合所述驾驶员面部状态特征基于长短距离依赖关联的动态变化特征来进行分类处理，从而得到用于表示分心驾驶的程度标签的分类结果。这样，能够对于驾驶员的分析状态进行实时地监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。特别地，在本申请实施例中，当系统检测到异常时，系统自动预警提示(通过手机扬声器、车辆原车音箱、附加扬声器等方式播放)驾驶员，同时向用户相关管理人员推送相关异常信息，用户相关管理人员可远程查看各摄像头及相关硬件、传感器反馈的信息，并可通过语音、视频对讲功能与驾驶员对话。具体地，所述分类器包括多个全连接层和与所述多个全连接层最后一个全连接层级联的Softmax层。在一个具体的示例中，使用所述分类器的多个全连接层对所述分类特征向量进行多次全连接编码以得到编码分类特征向量；进而，将所述编码分类特征向量输入所述分类器的Softmax层，即，使用所述Softmax分类函数对所述编码分类特征向量进行分类处理以得到用于表示分心驾驶的程度的分类结果。更具体地，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

应可以理解，在利用上述神经网络模型进行推断之前，需要对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。也就是说，在本申请的用于机械设备的智能化管理系统中，还包括训练模块，用于对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练。

图2为根据本申请实施例的用于机械设备的智能化管理系统的框图。如图2所示，根据本申请实施例的用于机械设备的智能化管理系统300，还包括训练模块400，所述训练模块包括：训练数据回去单元410；训练采样单元420；训练面部特征提取单元430；第一训练面部变化特征提取单元440；第二训练面部变化特征提取单元450；训练特征融合单元460；分类损失单元470；以及，训练单元480。

其中，所述训练数据回去单元410，用于获取训练数据，所述训练数据包括驾驶员面部训练监控视频，以及，所述分心驾驶的程度标签的真实值；所述训练采样单元420，用于从所述驾驶员训练面部监控视频提取多个训练面部监控关键帧；所述训练面部特征提取单元430，用于将所述多个训练面部监控关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练面部监控特征向量；所述第一训练面部变化特征提取单元440，用于将所述多个训练面部监控特征向量通过所述双向长短期记忆神经网络模型以得到第一训练尺度面部监控上下文语义特征向量；所述第二训练面部变化特征提取单元450，用于将所述多个训练面部监控特征向量通过所述基于转换器的上下文编码器以得到第二训练尺度面部监控上下文语义特征向量；所述训练特征融合单元460，用于融合所述第一尺度训练面部监控上下文语义特征向量和所述第二尺度训练面部监控上下文语义特征向量以得到训练分类特征向量；所述分类损失单元470，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；所述训练单元480，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加权迭代。

图7为根据本申请实施例的用于机械设备的智能化管理系统中训练模块的系统架构图。如图7所示，在所述用于机械设备的智能化管理系统300的系统架构中，在训练过程中，首先通过所述训练数据回去单元410获取训练数据，所述训练数据包括驾驶员面部训练监控视频，以及，所述分心驾驶的程度标签的真实值；所述训练采样单元420从所述训练数据回去单元410获取的驾驶员训练面部监控视频提取多个训练面部监控关键帧；接着，所述训练面部特征提取单元430将所述训练采样单元420获得的多个训练面部监控关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练面部监控特征向量；然后，所述第一训练面部变化特征提取单元440将所述训练面部特征提取单元430得到的多个训练面部监控特征向量通过所述双向长短期记忆神经网络模型以得到第一训练尺度面部监控上下文语义特征向量；所述第二训练面部变化特征提取单元450将所述训练面部特征提取单元430得到的多个训练面部监控特征向量通过所述基于转换器的上下文编码器以得到第二训练尺度面部监控上下文语义特征向量；然后，所述训练特征融合单元460融合所述第一训练面部变化特征提取单元440得到的第一尺度训练面部监控上下文语义特征向量和所述第二训练面部变化特征提取单元450得到的第二尺度训练面部监控上下文语义特征向量以得到训练分类特征向量；所述分类损失单元470将所述训练特征融合单元460得到的训练分类特征向量通过所述分类器以得到分类损失函数值；进而，所述训练单元480基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加权迭代。

特别地，在本申请的技术方案中，将所述多个面部监控特征向量分别通过双向长短期记忆神经网络模型和基于转换器的上下文编码器得到所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量，以使得所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量分别表达了不同尺度下的面部监控特征关联。因此，为了充分使用上述信息来提高分类准确性，优选地通过直接级联所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量来得到所述分类特征向量，但是，这会使得所述分类特征向量的整体分布具有较强的离散性，使得分类器的训练困难，尤其是分类器的标签值的收敛困难。因此，优选地使用软标签学习来代替常用的硬标签学习，具体地，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值；

其中，所述公式为：

V是所述分类特征向量，M是所述分类器对所述分类特征向量的权重矩阵，

和/>

分别表示张量乘法和张量加法，d(·,·)表示向量之间的距离，‖·‖₂表示向量的二范数，且α和β是权重超参数，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。

这里，所述基于跨分类器软相似性的自由标签优化因数通过在以硬标签值计算特征向量的分类概率之前来对所述分类特征向量和分类器对于其的权重矩阵进行双向聚簇，来通过所述分类特征向量与所述权重矩阵的跨分类器的软相似性模拟基于分类器权重矩阵的伪类别，从而以软相似性学习来避免了硬标签学习带来的分类量化损失，实现了更关注于分类器的内在权重结构的自由标签优化，从而优化了分类器的标签值的训练，提升了分类器的训练速度，进而提高了分类的准确性。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

综上，根据本申请实施例的六氟丁二烯的酸度测定系统300被阐明，其通过采用基于深度学习的人工智能技术，对待测六氟丁二烯样品的离子色谱图分析来提取氟离子、氯离子、溴离子的色谱特征，并将各个离子的色谱特征沿通道维度进行聚合后，利用注意力机制来进行特征分布校正以消除三者之间的相互影响带来的干扰，继而提高解码精度。这样，能够得到更为精准的所述待测样品中氟离子、氯离子、溴离子的浓度之和，以此来准确地对于所述待测六氟丁二烯样品的酸性杂质含量进行测定，进而提高六氟丁二烯在干蚀刻对芯片的良品率

如上所述，根据本申请实施例的用于机械设备的智能化管理系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的用于机械设备的智能化管理系统00可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于机械设备的智能化管理系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于机械设备的智能化管理系统300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该用于机械设备的智能化管理系统300与该终端设备也可以是分立的设备，并且该用于机械设备的智能化管理系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图8为根据本申请实施例的用于机械设备的智能化管理方法的流程图。如图8所示，根据本申请实施例的用于机械设备的智能化管理方法，包括步骤：S110，获取由部署于车内的摄像头采集的驾驶员面部监控视频；S120，从所述驾驶员面部监控视频提取多个面部监控关键帧；S130，将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；S140，将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；S150，将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；S160，融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及，S170，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

在一个示例中，在上述用于机械设备的智能化管理方法中，所述步骤S120，包括：以预定采样频率对所述驾驶员面部监控视频进行采样处理以得到所述多个面部监控关键帧。

在一个示例中，在上述用于机械设备的智能化管理方法中，所述步骤S130，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述多个面部监控特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述多个面部监控关键帧。

在一个示例中，在上述用于机械设备的智能化管理方法中，所述步骤S150，包括：将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量；将所述多个上下文语义面部监控特征向量进行级联以得到所述第二尺度面部监控上下文语义特征向量。其中，所述将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量，包括：将所述多个面部监控特征向量进行一维排列以得到全局面部监控特征向量；计算所述全局面部监控特征向量与所述多个面部监控特征向量中各个面部监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；分别以所述多个概率值中各个概率值作为权重对所述多个面部监控特征向量中各个面部监控特征向量进行加权以得到所述多个上下文语义面部监控特征向量。

在一个示例中，在上述用于机械设备的智能化管理方法中，所述步骤S160，包括：将所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量进行级联以得到所述分类特征向量。

在一个示例中，在上述用于机械设备的智能化管理方法中，所述步骤S170，包括：使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的用于机械设备的智能化管理方法被阐明，其通过采用基于机器视觉的人工智能监控技术，以提取出驾驶员面部监控视频中的各个监控关键帧的基于长短距离依赖关联的多尺度动态隐含关联特征分布信息，并以此来进行驾驶员分心驾驶程度的分类判断。这样，能够精准地对于驾驶员的分析状态进行实时监测评估，以在检测到异常时控制系统发出预警提示信息，确保行驶的安全性。

示例性实施例

车辆、机械设备、设备的管理一直以来都是企业、事业、个体组织等群体的管理难点，在对车辆进行管理时，大部分管理都存在不明确、不精准、不统一、不科学的漏洞，例如车辆外出的行程、位置不明确，外出用车的费用报销不精准，没有统一的费用报销标准，从而给车辆管理带来困难，针对以上这些问题我公司发明了本车辆智能化管理系统，该车辆管理系统可应用于政府部门、行政部门、企业、事业、个体组织、个人等所有涉及到车辆、机械设备、设备的群体或个体，支持汽车(例如小轿车、越野车、SUV、跑车、货车、客车、半挂牵引车等所有商用及私家车辆)、摩托车、自行车、电动自行车、电动摩托车、专项作业车(例如洒水车、吸污车、水泥搅拌车、起重车等)、机械设备(例如拖拉机、播种机、收割机、矿山机、起重机械、装卸机械、工矿车辆、叉车、装载机、挖掘机、塔吊、石油钻采等所有机械设备)、飞行器(例如飞机、滑翔机等)等所有交通工具、机械及机械设备。以上所描述的所有类型车辆、机械及设备以下统一简称为：“车辆”。涵盖的车辆、机械设备、设备用途类型包括但不仅限于：公车、公务用车、私有车辆、运营车辆(出租车、网约车、公共汽车、大巴车、长短途客运车等所有运营车辆)、作业车辆(洒水车、雾炮车、清洁车等所有作业车辆)等所有用途类型的车辆、交通工具及设备。

一、注册管理员账号，选择用户类型(例如，个人用户或者组织、机构、政府、行政等用户类型)，填写相关基本信息，并上传相关证照照片，例如身份证照片(并通过人脸识别认证)、上传营业执照等。

二、公司成员注册账号，可通过手机号、第三方软件账号关联(例如微信、QQ、钉钉等)、邮箱号注册，注册后上传身份证照片(司机还需上传驾驶证照片)、人脸识别认证，通过搜索要加入的名称或通过扫描分享的二维码、点击分享的邀请链接、输入邀请码等形式申请加入个人用户或者组织、机构、政府、行政等用户，待管理员或具有相关权限的账号审核通过后即加入成功。

三、外出用车时，用车人通过手机APP提交外出用车申请，选择用车类型(公车申用、私车公用等)，申请时需填选用车起点、外出目的地、用车类型(普通用车、多次用车、计划用车等，普通用车为：仅限本次申请用车；多次用车：申请的时间段内根据申请的路线可多次往返用车，无需重复申请，但每次用车结束都生成用车报告并推送至指定人员；计划用车：申请的固定时间段及申请的路线来用车时，无需重复申请，但每次用车结束都生成用车报告并推送至指定人员，例如每周一或每月1日11：00—12：00从A地到B地等)、途径地、外出类型(单程或往返)、外出时间、交车时间、车号等信息，第一次需要上传车辆行驶证，填写车辆品牌、型号、车型等信息，以作系统计算油耗及费用所需)。

四、通过手机APP获取手机GPS定位、北斗卫星定位、移动网络数据定位、WiFi定位等技术获取外出车辆实时位置、行驶路径、行驶轨迹、行驶里程、时间等信息。也可通过车辆前装的设备(厂家生产安装)或后装(出厂或销售后安装)的设备(所述车辆前装的设备和后装的设备包括但不仅限于：行车电脑、车载电脑、ECU、CAN总线、OBD相关设备、TCU终端、DMS驾驶员行为监测设备、ADAS高级驾驶辅助设备、BSD盲区监测设备、AVM 360°环视设备、红外摄像头、红外传感器、视频采集设备、音频采集设备、人脸识别设备、电子油浮、超声波油量监测设备、压力油量监测设备等所有涉及到的传感器或设备)获取车辆实时位置、能耗(包括油耗、耗电量、耗气量等所有能源消耗量)、当前能源量(油量、电量、气量等所有能源量)、驾驶员行为状态、驾驶员驾驶状态、车辆环境状态、车辆行驶状态、行驶路径、行驶轨迹、行驶里程、时间等所有相关信息。注：手机APP与车辆前装的设备(厂家生产安装)或后装(出厂或销售后安装)的设备可同时使用，也可单独利用手机APP实现。

五、实际能耗计算。系统支持多种能耗计算方式，例如：

1、通过直接获取车辆前装的设备(厂家生产安装)或后装(出厂或销售后安装)的设备(行车电脑、车载电脑、ECU、OBD相关设备、CAN总线等)直接采集实际能耗量。

2、通过采集车辆前装的设备(厂家生产安装)或后装(出厂或销售后安装)设备(行车电脑、车载电脑、ECU、OBD相关设备、CAN总线等)的当前油量、节气门开度、喷油量、发动机转速等车辆动态及静态的基本车辆信息，再经系统计算得出实际能耗量

3、通过利用自建车辆信息数据库或者对接第三方接口按车型(品牌、型号等)调取工信部油耗或第三方油耗数据，再通过计算公式(例如通过车速、车辆类型、车辆排量、风阻、温度、季节、推重比等参数来得出能耗计算公式)或计算模型等算法来计算实际能耗量。

六、利用系统获取或计算出的能耗值及自建或对接第三方今日油价、今日气价、充电价格等数据，在根据地图行驶轨迹距离系统自动计算出外出车辆的实际能源消耗费用。

七、驾驶辅助。本软件系统通过车辆前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头、红外线摄像机、红外线传感器、毫米波雷达、激光雷达、GPS及北斗卫星定位等硬件设备及软件算法来实现前车碰撞预警、车距过近预警、车道偏离预警、行人碰撞预警、违章预警(包括闯红灯、超速等违章行为；通过摄像头自动识别道路标识、红路灯、限速标志、当前行车状态等判断是否违章)、360度高清环影系统、夜视系统等功能系统，并可在手机端、电脑端、平板电脑等所有可应用的电子设备端远程管理、提醒预警、语音视频对讲、操作控制等功能。

八、驾驶员行为检测。

1、疲劳驾驶检测预警：本软件系统通过车辆前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头采集驾驶人员脸部、体态、眼部等细节，结合眼球追踪系统通过算法智能分析、识别是否存在疲劳驾驶，并结合车速、连续驾驶时长、驾驶时间段等维度，定义出疲劳监测等级报警策略，如：轻度疲劳、中度疲劳、高度疲劳等，各维度参数均可灵活定义，便于在不同场景下应用。当系统检测到异常时，系统自动预警提示(通过手机扬声器、车辆原车音箱、附加扬声器等方式播放)驾驶员，同时向用户相关管理人员推送相关异常信息，用户相关管理人员可远程查看各摄像头及相关硬件、传感器反馈的信息，并可通过语音、视频对讲功能与驾驶员对话。

2、分心及危险驾驶检测预警：本软件系统通过车辆前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头采集驾驶人员脸部、体态、眼部等细节，结合眼球追踪系统通过算法智能分析、识别是否存在视线偏离路面、接打电话、玩手机、找东西、抽烟、回头聊天等行为，并结合异常体态类型及时长自动分级预警，如：轻度分心、中度分心、高度分心等，各维度参数均可灵活定义，便于在不同场景下应用。当系统检测到异常时，系统自动预警提示(通过手机扬声器、车辆原车音箱、附加扬声器等方式播放)驾驶员，同时向用户相关管理人员推送相关异常信息，用户相关管理人员可远程查看各摄像头及相关硬件、传感器反馈的信息，并可通过语音、视频对讲功能与驾驶员对话。

3、识别异常预警：当摄像头或其它识别设备被遮挡或司机佩戴具有红外阻断功能的墨镜时，导致系统无法识别相应数据时，系统自动预警。

4、驾驶员离岗、换人检测预警：基于人脸识别技术，读取摄像头采集的实时图像，判断图像内是否包含人脸信息、人脸信息是否完整、人脸信息是否与许可的人脸信息一致，从而确定驾驶员的离岗、在岗、私自换人、面部遮挡等情况，当系统监测到异常时，自动预警同时推送相关预警信息，并可在系统确认车辆在安全的状态下(例如车辆静止、空挡、在非行驶道路路面等)，实时自动断油熄火或由相关管理人员远程控制断油、熄火等操作。

5、安全带检测预警：基于计算机视觉原理，使用深度学习技术，提取驾驶员躯干部分的图像区域，分析人体关键点和安全带位置，通过安全带与身体的相对位置判断是否正常佩戴安全带。还可通过系统获取车辆行车电脑、车载电脑、ECU、CAN总线等相关安全带数据来判断是否正常佩戴安全带。当行车过程中检测到驾驶员或乘客未系安全带的情况，会触发系统预警，同时推送相关预警信息。

九、盲区及活体检测。本软件系统通过获取车辆前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头、红外摄像头、红外传感器、毫米波雷达、激光雷达等硬件设备捕捉盲区内画面，应用测距计算出盲区的风险范围，并结合活体检测、物体识别等技术对获取图像进行处理分析，若在风险区域内检测到物体、活体，则向驾驶员发起智能语音预警(通过手机扬声器、车辆原车音箱、附加扬声器等方式播放)，例如：“右前方侦测到行人，请注意驾驶；左侧检测到车辆，请注意驾驶”等预警提醒，同时在车辆显示屏或附加终端显示器等显示中显示实时周围环境及侦测到的数据模型。当系统检测到活体和物体时，且检测到驾驶员未采取制动措施，系统主动发送主动刹车指令，车辆自动启动主动紧急制动来刹停车辆，防止碰撞。

十、酒精检测。车辆内部驾驶位安装酒精测试仪(吹气式酒精检测仪、实时空气酒精检测仪等设备)，测试仪与本系统及车辆或设备启动系统相连接，在每次车辆或设备启动前或更换驾驶员或操作员时(通过人脸识别驾驶员或操作员)，需经驾驶员或操作员通过本酒精测试仪测量酒精含量，驾驶员或操作员未执行酒精检测或系统检测到酒精时，车辆及设备处于锁定启动状态，无法启动，当系统检测到酒精时，会触发系统预警，同时推送相关预警信息。

十一、车辆异常诊断。本系统通过获取车辆数据、信息等内容(通过车辆前装设备或后装设备获取，例如obd设备、车载电脑、行车电脑等相关设备)，在经过本系统诊断功能(由厂家、第三方提供诊断数据或自建诊断数据库等方式)来诊断车辆是否存在异常、故障(包括但不仅限于：胎压、发动机状态、底盘状态、传动系统状态、刹车系统状态、转向系统状态等所有车辆诊断功能)等车辆不良状态。车辆每次启动时自动运行全车诊断并实时监控车辆状态，诊断异常时，通过原有的车辆终端显示屏或附加终端设备显示屏显示异常，并声音提醒，同时推送异常信息至手机(APP、小程序等)、电脑、平板电脑等电子设备。

十二、行车记录。系统通过采集获取车辆前装(厂家生产安装)或后装(出厂或销售后安装)的摄像头等设备的视频、音频数据实时保存到云空间(也可保存到车辆前装或后装设备的本地存储空间，通过互联网实时查看或回放)，再通过本系统(手机APP、小程序、电脑端等)实时查看或回放。

十三、车辆紧急救援系统(SOS)。

1、紧急救援(SOS)按键。本系统通过车辆自带的sos按键或附加安装的紧急救援按键来触发紧急救援系统，当人员按压(或按住按键2秒)车辆自带的sos按键或附加安装的紧急救援按键后，本紧急救援系统触发，触发后系统自动发出求救信号(内容包括车辆实时定位位置、车牌号、车型等信息)，主动呼叫应急部门，车内人员可以通过应急麦克风与之进行沟通交流。同时推送异常信息至手机(APP、小程序等)、电脑、平板电脑等电子设备。紧急救援系统触发后，系统同时将紧急救援信息推送至与之绑定的手机(APP、小程序等)、电脑、平板电脑等电子设备，并可远程查看车辆所有摄像头画面和声音、车辆的实时定位位置、语音对话等功能。

2、自动触发紧急救援系统。当系统检测车辆出现剧烈震动、强烈撞击等严重事故时，系统自动触发紧急救援系统，触发后系统自动发出求救信号(内容包括车辆实时定位位置、车牌号、车型等信息)，主动呼叫应急部门，车内人员可以通过应急麦克风与之进行沟通交流。同时推送异常信息至手机(APP、小程序等)、电脑、平板电脑等电子设备。紧急救援系统触发后，系统同时将紧急救援信息推送至与之绑定的手机(APP、小程序等)、电脑、平板电脑等电子设备，并可远程查看车辆所有摄像头画面和声音、车辆的实时定位位置、语音对话等功能。

十四、车辆及设备测重。本软件系统支持接入车辆及设备自带测重设备或附加测重设备，实现对所有车辆、设备、机械设备等所有车辆及设备的载重进行智能动态监控及管理。本软件可7*24小时监控载重重量情况，并根据用户所设定的满载值自动判别空载、半载、满载、超载等状态，当出现超载时(系统可自定义设置状态，并根据状态自定义选择是否属于异常状态及是否触发声光报警，例如半载时车辆移动属于异常状态，则系统判定为此异常状态时触发声光报警等)，系统可自动声光报警(可触发车辆、设备、机械设备上安装的声光报警设备和触发具有控制室内安装的声光报警设备等，来提醒载重异常)，同时支持推送异常信息至手机(APP、小程序等)、电脑、平板电脑等电子设备。系统获取的所有载重数据均可生成各种图表，并可自动生成报表(报表内容及生成频次均可根据用户需求自定义设置)发送至指定人员的手机(APP、小程序等)、电脑、平板电脑等电子设备或指定邮箱。

十五、车辆损耗及保险费计算。系统支持多种车辆损耗及保险费计算方式，例如：

1、通过自建或者对接第三方接口按车型(品牌、型号等)系统直接获取外出车辆的平均每公里车损及保险费用，费用包括但不限于：日常保养费、维修费、折旧费、保险费等。在每次用车后，系统根据实际里程*每公里车损及保险费用计算出本次用车的车辆损耗费。

2、通过用户自行在软件系统中填写每辆车的日常保养费、维修费、折旧费、保险费等费用，再经软件系统计算并换算为平均每公里费用，在每次用车后，系统根据实际里程*每公里车损及保险费用计算出本次用车的车辆损耗及保险费。

3、通过自建或者对接第三方接口按车型(品牌、型号等)系统直接获取车辆的日常保养费、维修费、折旧费、保养周期、配件更换周期、保险费、保险周期等，在通过采集车辆自有终端设备(行车电脑、车载电脑、ECU、CAN总线等)或附加终端设备的车辆总行驶里程、上次车辆保养时间、车辆总使用时间等相关信息，系统自动记录并计算出下次保养时间、保养费用、预计下次配件更换时间、配件更换费用、折旧费(根据车辆总使用时间、车辆总里程数、折旧系数等数据计算折旧费)等信息，当保养时间、配件更换时间、保险到期时间等快到期时，系统自动推送相关消息提醒，在保养、更换、购买后系统自动统计费用。日常保养费、维修费、折旧费、保养周期、配件更换周期、车辆总行驶里程、上次车辆保养时间、车辆总使用时间、保险费、保险周期等数据均可由用户自行填写。

十六、通过自建或者对接第三方电子地图及导航系统(例如百度、高德等)接口，获取地图功能、违章拍照点、车流量数据、车辆实时位置、行驶方向、当前车速等信息，同时记录车辆外出实际行驶轨迹、实际行驶里程、急加速、急减速、急转弯、超速等信息。

十七、根据用车申请填写的起点、目的地通过电子地图导航规划的路线设定为外出正常路线，电子地图导航规划多条路线时，任意一条路线均可设定为外出正常路线，当获取到实际行驶位置超出外出正常路线时，系统判定为违规状态。当公车未提交审批申请或申请被拒绝时，系统检测到车辆启动、移动、驾驶等行为时，系统判定为违规状态。

十八、预出车。当用车人急需要用车时，在提交用车申请后或经一级或多级审批后，可通过预出车功能提前用车(系统支持用户自定义设置)。

十九、轨迹偏离。系统可通过多种方式判定轨迹偏离，例如：

1、里程判定。

①获取百度地图规划路线(一般为三条)的轨迹、时间、里程，并保存。

②获取实际行驶轨迹、时间、里程。

③以百度规划路线最远里程为依据，与实际行驶里程对比，实际里程小于百度规划路线最远里程时，判定为正常状态，以绿色界面显示，并在到达目的地时展示并保存规划路线一、规划路线二、规划路线三、实际行驶轨迹(规划路线与实际行驶路线用不同颜色展示并说明)。

④当实际里程大于百度规划路线最远里程时，用户可在系统中设置相应的容错值，根据所设容错值判定是否违规，判定为违规状态时，用红色界面显示，并显示超出里程数、超出费用等信息，同时展示规划路线一、规划路线二、规划路线三、实际行驶轨迹(规划路线与实际行驶路线用不同颜色展示并说明)。

2、时间判定

①获取百度地图规划路线(一般为三条)的轨迹、时间、里程，并保存。

②获取实际行驶轨迹、时间、里程。

③以百度规划路线最长时间为依据，与实际行驶时间(包括车辆熄火状态，停滞时间)对比，实际时间小于百度规划路线最长时间时，判定为正常状态，以绿色界面显示，并在到达目的地时展示并保存规划路线一、规划路线二、规划路线实际行驶轨迹(规划路线与实际行驶路线用不同颜色展示并说明)。

④当实际时间大于百度规划路线最长时间时，用户可在系统中设置相应的容错值，根据所设容错值判定是否违规，判定为违规状态时，用红色界面显示，并显示超出时常、车辆停滞时间、车辆停滞位置、超出里程数、超出费用等信息，同时展示规划路线一、规划路线二、规划路线三、实际行驶轨迹(规划路线与实际行驶路线用不同颜色展示并说明)。

⑤规划路径判定。当系统识别到外出车辆实时位置偏离系统规划的路径一段距离时(用户可根据情况自定义设置可偏离的距离)，系统判定为异常状态。

二十、行径点增加、更改、取消。

1、车辆在外出用车状态时，司机或申请人等可对行径点进行增加、更改、取消等操作，当增加、更改行径点时，系统自动提交增加、更改行径点的审批申请，如申请通过，则在生成用车报告时用黄字标注新增外出地点，如申请未通过，系统则自动判定为违规状态。当取消行径点时，系统自动将取消信息推送至管理员或用户指定人员。

2、车辆在外出用车状态且系统判定出现偏离规划路径时，系统语音提示是否追加新外出行径点，当没有成功追加或无响应，系统自动判定为违规状态。

二十一、系统判定违规状态的，系统可通过APP推送消息、发送短信、拨打语音电话语音提示等方式(用户可在后台自行设置)向系统设定的管理员或用户设置的指定人员推送预警消息，且在管理端APP可查看车辆位置、车速、轨迹等信息，在外出完毕交车时，生成的报告将用红字标注违规行为，并对该司机进行一次违规行为记录，此不良记录在本系统数据库中随身份证号绑定，无特殊权限无法修改；系统判定临时增加外出行径点的，系统可通过APP推送消息、发送短信提示等方式(用户可在后台自行设置)向系统设定的管理负责人推送预警消息，且在管理端APP可查看车辆位置、车速、轨迹等信息，同时系统自动生成增加新外出地点的申请，如申请通过，则在生成用车报告时用黄字标注新增外出地点，如申请未通过，系统则自动判定为违规状态。

二十二、系统可设定电子围栏，通过电子地图圈画区域或手动输入区域设定允许活动范围或禁止活动范围，当获取到车辆位置与所设区域不一致时系统判定为违规状态。

二十三、实时轨迹及车辆位置监控。车辆属于公司所有的且安装有车辆自有终端设备或附加终端设备的，管理员账号或被分配相关权限的账号可通过手机APP或电脑实时查看车辆位置及轨迹；车辆属于私有的(私车公用)或公车未安装车辆自有终端设备或附加终端设备的，管理员或被分配相关权限的账号可通过手机APP或电脑可查看在外出用车期间(已提交用车申请)的车辆实时位置及轨迹。

二十四、用车结束后，生成行驶轨迹图，且根据所记录的实际里程数及能源消耗费、每公里车损费等经过系统分析计算生成本次用车费用明细单。

二十五、外出车辆费用明细单。每次外出用车完成后，系统会生成本次外出车辆的详细明细单，内容包括日期、时间、行驶轨迹图、本次里程、能源消耗量、本次能源消耗费用、车损费用、总计费用等内容，当本次外出用有违规状态时，用不同颜色展示。管理员可根据需求增加或减少明细单内容。明细单可导出、保存、打印。

二十六、智能排班调度。系统支持车辆的自动排班、自动调度功能，用户只需设置用车日期和时间，系统自动根据用户需求生成车辆排班表。在排班及调度时，系统将用车次数、里程平均到每辆车，避免冗余车辆长时间停放导致损坏，避免用车集中在某一辆或几辆中增加汽车损耗。

二十七、自定义审批。系统支持出车、用车、违规申诉、排班、调度、加油、维修、保养、保险、年检、购车、车辆处置等申请，用户也可根据情况自定义新增、设置、修改各审批流程。

二十八、车辆违章查询、监控。系统通过对接交管部门或第三方平台获取车辆的违章信息，当出现违章时，系统自动调取违章时间段的驾驶人信息，记录并统计违章类型、违章处罚、违章次数等信息。

二十九、车辆定点机构。商家、店铺(加油站、充电站、加气站、维修保养店、4S店、保险公司、洗车店、车辆用品等与车辆相关的商家、店铺、平台等)通过入驻本系统或经技术接口对接商家、店铺平台，实现全面的车辆生态服务。当用户有需求时，可以直接在系统中看到各店铺、机构的相关价格，选择相应机构或商家后，系统将自动提交相关申请，无需再单独提交，待申请通过后在出车时，导航自动指引司机至指定服务机构或店铺。系统提供的商家、店铺、平台等都可通过本系统直接支付，支付费用自动记录、统计到费用报表中，并且每笔消费商家自动开具发票，并将发票自动保存到本系统的用户发票管理中心，当人员提交报销申请时，系统自动关联消费订单及发票信息，一键提报费用报销申请。使用户管理人员精准监控、管理每笔车辆开销的费用，使用户车辆使用人更加方便快捷的完成车辆费用的提报。

三十、自动分析生成报表系统。系统可按日、次、月份、季度、年份根据外出用车情况自动生成报告、报表，推送至相关人员(用户可自定义设置推送人员)或发送至指定的电子邮箱或导出数据、打印等。

三十一、系统支持企业车辆数据分析。例如外出用车的费用增长率、外出用车次数、外出用车总里程数、外出用车频次最高的地点等信息。

三十二、驾驶员综合情况评估数据库。驾驶员第一次注册时上传身份证照片及做人脸识别，总平台根据每个驾驶员绑定的唯一身份证进行识别驾驶员依据，并按绑定的身份证记录该驾驶员的各项驾驶情况，后经系统计算评分，形成驾驶员综合素质评分体系，评分包括外出期间的交通规则遵守情况、驾驶平稳度(根据电子地图数据及车辆终端设备是否有急加速、急减速急转弯等判别)、外出违规驾驶等数据。

三十三、系统预警。上述所有预警、违规状态等异常状态，所有预警均可根据用户需求自行设置预警规则，例如各类预警可设置为通过手机短信、自动语音电话、软件内部推送等方式将预警信息推送至用户相关管理人员或用户指定人员，使管理人员实时了解驾驶员或操作员的状态情况，并可通过语音、视频对讲功能与驾驶员对话。所有硬件所采集的信息(摄像头采集的视频、麦克风采集的音频、雷达检测到的模拟图像、系统分析的状态信息等内容)均可通过APP、小程序、电脑端软件程序实时查看或回看。

三十四、数据看板。本软件系统经过数据分析、统计、整理等通过看板形式实时监控各车辆位置、轨迹、状态、车辆监控画面等信息(展示信息可根据用户需求自行自定义设置)，并可直接在看板中操作和使用各功能(例如语音对讲、视频对讲、回放行车记录仪画面、查看每辆车的当前能源量、车辆启停等功能)。系统支持外接(支持有线、无线、网络远程传输等)各种类型显示器，包括触摸屏、显示器、LED屏、电视、投影等。

三十五、本文所述所有硬件设备均支持拆卸预警、提醒等功能，当系统检测到设备被拆除时，均判定为违规状态，并通过本文所述的违规状态预警、提醒、推送等方式自动执行。

三十六、隐私安全。

1、后台管理权限。后台可设多级管理权限，可根据企业单位所设架构实行分级管理，每级可根据岗位职责开放相应的设置、查看、修改等权限，既方便管理，又保护了隐私安全。

2、私车公用时，只有在外出用车期间(已提交用车申请)时系统才做用户数据收集，其他时间不收集任何个人信息。

三十七、本系统为纪检监察、财政、审计等部门预留了数据共享接口，使相关部门更好的实行管理、监督、检查等工作。

三十八、本软件系统为SaaS化软件系统，功能可根据需要自定义分配到每个组织或个人，也可根据用户情况私有化部署及定制开发等需求。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的用于机械设备的智能化管理系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如面部监控特征向量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括解码值等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的用于机械设备的智能化管理方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的用于机械设备的智能化管理方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种用于机械设备的智能化管理系统，其特征在于，包括：

面部监控单元，用于获取由部署于车内的摄像头采集的驾驶员面部监控视频；

采样单元，用于从所述驾驶员面部监控视频提取多个面部监控关键帧；

面部特征提取单元，用于将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；

第一面部变化特征提取单元，用于将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；

第二面部变化特征提取单元，用于将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；

特征融合单元，用于融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及

管理结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

2.根据权利要求1所述的用于机械设备的智能化管理系统，其特征在于，所述采样单元，进一步用于：以预定采样频率对所述驾驶员面部监控视频进行采样处理以得到所述多个面部监控关键帧。

3.根据权利要求2所述的用于机械设备的智能化管理系统，其特征在于，所述面部特征提取单元，进一步用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述多个面部监控特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述多个面部监控关键帧。

4.根据权利要求3所述的用于机械设备的智能化管理系统，其特征在于，所述第二面部变化特征提取单元，包括：

上下文语义编码子单元，用于将所述多个面部监控特征向量通过所述基于转换器的上下文编码器以得到多个上下文语义面部监控特征向量；

级联子单元，用于将所述多个上下文语义面部监控特征向量进行级联以得到所述第二尺度面部监控上下文语义特征向量。

5.根据权利要求4所述的用于机械设备的智能化管理系统，其特征在于，所述上下文语义编码子单元，包括：

查询向量构造二级子单元，用于将所述多个面部监控特征向量进行一维排列以得到全局面部监控特征向量；

自注意二级子单元，用于计算所述全局面部监控特征向量与所述多个面部监控特征向量中各个面部监控特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵；

标准化二级子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；

关注度计算二级子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；

注意力施加二级子单元，用于分别以所述多个概率值中各个概率值作为权重对所述多个面部监控特征向量中各个面部监控特征向量进行加权以得到所述多个上下文语义面部监控特征向量。

6.根据权利要求5所述的用于机械设备的智能化管理系统，其特征在于，所述特征融合单元，进一步用于将所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量进行级联以得到所述分类特征向量。

7.根据权利要求6所述的用于机械设备的智能化管理系统，其特征在于，所述管理结果生成单元，包括：

全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类结果生成子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

8.根据权利要求7所述的用于机械设备的智能化管理系统，其特征在于，还包括用于对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练的训练模块；

其中，所述训练模块，包括：

训练数据回去单元，用于获取训练数据，所述训练数据包括驾驶员面部训练监控视频，以及，所述分心驾驶的程度标签的真实值；

训练采样单元，用于从所述驾驶员训练面部监控视频提取多个训练面部监控关键帧；

训练面部特征提取单元，用于将所述多个训练面部监控关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练面部监控特征向量；

第一训练面部变化特征提取单元，用于将所述多个训练面部监控特征向量通过所述双向长短期记忆神经网络模型以得到第一训练尺度面部监控上下文语义特征向量；

第二训练面部变化特征提取单元，用于将所述多个训练面部监控特征向量通过所述基于转换器的上下文编码器以得到第二训练尺度面部监控上下文语义特征向量；

训练特征融合单元，用于融合所述第一尺度训练面部监控上下文语义特征向量和所述第二尺度训练面部监控上下文语义特征向量以得到训练分类特征向量；

分类损失单元，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；

训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述双向长短期记忆神经网络模型、所述基于转换器的上下文编码器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值。

9.根据权利要求8所述的用于机械设备的智能化管理系统，其特征在于，在所述训练的每一轮迭代中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数来作为所述分类器的标签值；

其中，所述公式为：

/>

V是所述分类特征向量，M是所述分类器对所述分类特征向量的权重矩阵，

和/>

分别表示张量乘法和张量加法，d(·,·)表示向量之间的距离，‖·‖₂表示向量的二范数，且α和β是权重超参数。

10.一种用于机械设备的智能化管理方法，其特征在于，包括：

获取由部署于车内的摄像头采集的驾驶员面部监控视频；

从所述驾驶员面部监控视频提取多个面部监控关键帧；

将所述多个面部监控关键帧分别通过作为过滤器的卷积神经网络模型以得到多个面部监控特征向量；

将所述多个面部监控特征向量通过双向长短期记忆神经网络模型以得到第一尺度面部监控上下文语义特征向量；

将所述多个面部监控特征向量通过基于转换器的上下文编码器以得到第二尺度面部监控上下文语义特征向量；

融合所述第一尺度面部监控上下文语义特征向量和所述第二尺度面部监控上下文语义特征向量以得到分类特征向量；以及

将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示分心驾驶的程度标签。

Images