CN112052829B - 一种基于深度学习的飞行员行为监控方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的飞行员行为监控方法，包括：获取包含驾驶员在内的驾驶室图像；将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述监控模型包括输入层、残差模块以及预测部分，其中：所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果。发明方法提出了新的激活函数和残差模块，使得网络的性能得到有效提升。

Description

一种基于深度学习的飞行员行为监控方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度学习的飞行员行为监控方法。

背景技术

随着航空工业的快速发展，飞机的生产量和保有量都得到极大增长，越来越多的人选择飞机作为长距离出行的交通工具。虽然飞机是当前安全系数最高的出行方式，但是飞机一旦发生事故，乘客基本无法逃生，同时还会造成大量的经济损失。目前人们已经在提升飞机安全性上付出了巨大努力，但仍存在极大的安全事故隐患。根据已知事实，引起飞机事故的原因主要包括飞行员失误、机械故障、天气问题、人为破坏行为以及其他形式的人为失误。随着飞机性能越来越可以被信赖，由飞行员失误造成的坠机事故比例逐渐上升，现在已经占到大约50％。可见，最大限度地减少飞行员失误可以有效降低飞机失事的可能。而飞行员疲劳驾驶、单手操控等违规行为是造成飞行员失误的重要原因，这些违规行为造成的危害是巨大的，因此，对于能够自动检测飞行员的违规行为的系统有着强烈的需求。

目前，国内外对于飞行员的违规行为的研究非常少，对于汽车驾驶员违规行为的研究要稍微多一些。《计算机科学》2016年第43卷第6期《基于计算机视觉的驾驶员低头行为检测》中对行驶过程中驾驶员的低头行为进行检测，该方法使用主动型状模型(ActiveShapeModel,ASM)算法得到脸部特征点,在此基础上通过脸部特征点的位置信息计算出头部姿势描述信息,最后通过SVM将上述信息分类进而得出头部姿势,其可用于判断驾驶员是否在驾驶过程中低头看手机行为,该方法能够有效检测出驾驶员在驾驶过程中低头使用手机的行为.实验结果表明,该方法的平均检出率在94％以上。

《计算机仿真》2015年32卷11期《交通驾驶员疲劳驾驶行为优化图像识别》对驾驶员疲劳驾驶的行为进行检测，首先采用AdaBoost算法对驾驶员脸部进行检测,详细分析整个检测过程。其次求出驾驶员脸部区域图垂直方向的梯度矩阵,并对梯度矩阵进行水平投影,通过驾驶员脸部的结构特征获取眼睛在图像中的相对位置,依据距离对眼睛开闭进行确定。然后根据PERCLOS(单位时间内眼睛闭合时间所占的百分率)测量原理求出驾驶员眼睛各个状态的参数,最后通过各指标和既定阈值的关系来判断驾驶员是否处于疲劳驾驶状态。

以上两种均是采用传统目标检测算法对驾驶员的违规行为进行检测。传统的目标检测方法首先要进行极其复杂的特征提取工作，而且根据研究对象的不同，要获取不同的特征，鲁棒性不够强。该方法对图像预处理的专业性有极高的要求，而且需要大量的时间成本。但是其检测精度并不高，在实际应用中误测和漏测都较多，而且检测速度也不快，完全达不到实时检测的要求。

近年来，深度学习由于其强大的学习能力在计算机视觉领域取得了巨大的发展。作为计算机视觉的一个重要分支，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。相比传统方法，基于深度学习的目标检测算法实现了检测精度和检测速率的全面提升。本发明提出将基于深度学习的目标检测算法应用于飞行员行为监控，目的是在保证检测精度的前提下，实时监控飞行员的行为，从而能够及时检测到飞行员的一些不安全行为，以预防由飞行员的不安全行为导致的飞行事故。

发明内容

本发明的目的是提供一种基于深度学习的飞行员行为监控方法，通过实时采集驾驶室图像，经过训练好的模型进行不安全行为检测，并将检测结果及时反馈，以预防由飞行员的不安全行为导致的飞行事故。

为了实现上述任务，本发明采用以下技术方案：

一种基于深度学习的飞行员行为监控方法，包括：

获取包含驾驶员在内的驾驶室图像；

将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述监控模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果。

进一步地，所述残差模块串行设置多个，前一个残差模块的处理结果作为下一个残差模块的输入；

每一个残差模块均包括依次连接的第一1*1卷积层、分通道卷积层、第二1*1卷积层、相加层，其中：

所述第一1*1卷积层对输入该残差模块的特征图进行升维，并在升维后进行激活处理；所述分通道卷积层用于对进行激活处理后的特征图分类，将特征图分为多组，并对每一组作卷积处理；所述第二1*1卷积层对经分通道卷积层处理后的特征进行卷积处理，压缩通道，使其与输入有相同的通道数，最后通过所述相加层将第二1*1卷积层输出的特征图与输入到该残差模块的特征图进行连接，得到经该残差模块处理后的特征图。

进一步地，所述输入层包括16个通道的3*3卷积层，每个卷积层后均设置有第一激活函数；

所述残差模块串行设置15个，其中前7个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第一激活函数；后8个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第二激活函数。

进一步地，所述第一激活函数为RELU激活函数，第二激活函数表示为：

其中，x表示激活函数的输入。

进一步地，所述预测部分包括依次连接的池化层、第三1*1卷积层、第四1*1卷积层，其中：

所述池化层用于将输入预测部分的特征图进行池化处理，第三1*1卷积层用于将池化处理后特征图进行升维，并进行特征抽取；第四1*1卷积层用于对的特征进行分类，输出检测结果；

所述第三1*1卷积层、第四1*1卷积层之后均设置有第二激活函数。

进一步地，所述卷积神经网络模型在进行训练时，首先模拟驾驶舱内环境并进行拍摄，以采集各种飞行员违规行为的图像；对于数量较少的类别，采用图像增强的方式进行数据样本扩充，在每一类图像中，选取训练集、验证集和测试集；

对采集的所有图像添加标签，人工框出飞行员违规的行为并进行标记；

训练过程中，采用均方差作为损失函数，并选用Adam优化方法作为梯度下降方式；采用单个模型统一处理的方法，把多个特性的检测作为一个多分类任务。

一种基于深度学习的飞行员行为监控装置，包括：

采集模块，用于获取包含驾驶员在内的驾驶室图像；

检测模块，用于将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述监控模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果。

一种终端设备，包括处理器、存储器以及存储在所述存储器中的计算机程序，计算机程序被处理器执行时，实现所述基于深度学习的飞行员行为监控方法的步骤。

一种计算机可读存储介质，所述存储介质中存储有计算机程序，计算机程序被处理器执行时，实现所述基于深度学习的飞行员行为监控方法的步骤。

与现有技术相比：

本发明提出的一种基于深度学习的飞行员行为监控方法，实现了对飞行员违规行为的实时检测，能够及时检测到飞行员的一些不安全行为，从而提醒程序员及时修正，在一定程度上可以避免由于飞行员违规行为导致的失误，达到预防重大飞行事故的目的。本发明采用的基于深度学习的目标检测算法，直接通过卷积神经网络提取特征，不用针对每种对象都人工提取一次特征，大大简化了提取特征的工作，具有很好的鲁棒性和通用性。只要构建好网络，使用人操作非常便捷，节省大量的时间成本。而且本发明方法的检测精度相比传统算法得到大大提升，达到96％，在1070Ti的GPU上的检测速度能够达到95FPS，完全能够实现实时检测。

附图说明

图1为本发明方法的整体流程示意图；

图2为残差模块的结构示意图。

具体实施方式

本发明提出的一种基于深度学习的飞行员行为监控方法，主要包含三个部分：卷积神经网络模型构建、样本数据集建立、模型的训练和预测。

1.卷积神经网络模型构建

卷积神经网络模型的构建是实现基于深度学习的飞行员行为检测算法的核心内容。一个完备的卷积神经网络能够有效地提取图像特征。由于机载硬件条件的限制，要求模型参数量能满足在一个较小的内存空间内使用、模型计算量的减少不会过多影响识别率以及模型本身有很好的平移不变性。

基于以上考虑，本发明设计的网络在不损失网络模型性能的前提下，大幅缩减了计算量与参数量。本发明提出的监控方法，包括以下步骤：

S1，获取包含驾驶员在内的驾驶室图像；

S2，将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述监控模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果。

在本发明的网络结构中：

其中，输入层为16个通道的3*3卷积层，该卷层之后设置第一激活函数。该部分的作用主要用于输入样本数据，得到初步的特征图。现有的网络模型倾向于使用32个3*3卷积来构建最初的滤波器组，具有很高的计算复杂性，本发明为缩减计算量，将滤波器的个数从32降到16。

残差网络很好的解决了网络深度带来的训练困难的问题，使信息更容易在各层之间流动，包括在前向传播时提供特征重用，在反向传播时缓解梯度信号消失，它的网络性能远超传统网络模型。残差块的作用就是让网络的学习目标变为“残差”：

f(x)＝H(x)-x

其中，x表示残差模块的输入，H(x)为残差模块的输出，f(x)为残差学习对象；

学习“残差”明显比学习原来的对象要容易，但是残差模块的计算复杂度依然很高，不能满足本发明需要。因此本发明设计了一种带有分组卷积结构的残差模块，如图2所示：

每一个残差模块均包括依次连接的第一1*1卷积层、分通道卷积层、第二1*1卷积层、相加层，其中：

所述第一1*1卷积层对输入该残差模块的特征图进行1×1卷积升维，并在升维后进行激活处理，减少升维对特征的破坏；所述分通道卷积层用于对进行激活处理后的特征图分类，将N×H×W×C(长*宽*高*特征图的通道数)特征图分为C组，并对每一组作k*k卷积处理；计算量为H*W*k²M(k表示卷积核大小，M卷积核通道数),是普通卷积计算量的1/N，通过忽略通道纬度的卷积显著降低计算量；所述第二1*1卷积层对经分通道卷积层处理后的特征进行1×1卷积处理，压缩通道，使其与输入有相同的通道数，最后通过所述相加层将第二1*1卷积层输出的特征图与输入到该残差模块的特征图进行连接，得到经该残差模块处理后的特征图。

本发明中的残差模块将标准卷积分成了两个操作，第一次分组进行卷积，每个卷积核只关注单个通道的信息，而通过1×1卷积，每个卷积核可以联合多个通道的信息。该方法可以得到与标准卷积同样的尺寸，计算量却得到显著降低。另外在每个卷积层后面加一个BN层，可以起到加快训练速度，提高网络泛化能力的作用。

另外本发明也对激活函数进行了重新设计，为了能在简化网络模型上应用性能更好非线性激活函数，降低它的计算开销，本发明提出的第一种激活函数为：

但该激活函数还是不能解决会让神经元“坏死”和没有负值的问题。因此本发明为避免在参数值很小时不能够学习的情况，增加对负值的处理，最终提出如下的激活函数作：

上述激活函数的效果优于ReLU，而且相比传统的非线性激活函数计算简单高效，同时减少了激活函数对特征的破坏。随着网络的加深，特征图的分辨率逐渐减小，在上面应用非线性激活的成本逐渐降低，因此本发明将该激活函数作为第二激活函数使用在网络靠后的部分上，靠前的部分仍使用ReLU激活函数，这样既兼顾了网络靠前部分计算量大的问题，又使得网络整体性能得到有效提升。

本发明中，为了更好地获取特征，残差模块串行设置15个，特征图依次经过每个残差模块处理，即前一个残差模块的处理结果作为下一个残差模块的输入；其中前7个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第一激活函数；后8个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第二激活函数。

预测部分在整个网络的最靠后部分。所述预测部分包括依次连接的池化层、第三1*1卷积层、第四1*1卷积层，其中：

所述池化层用于将输入预测部分的特征图进行池化处理，第三1*1卷积层用于将池化处理后特征图进行升维，并进行特征抽取；第四1*1卷积层用于对的特征进行分类，输出检测结果；所述第三1*1卷积层、第四1*1卷积层之后均设置有第二激活函数。通过这一次改进，再一次节省了大量的计算，但是几乎没有损失精度。

2.样本数据集建立

模拟驾驶舱内环境进行拍摄，采集各种飞行员违规行为的图片以构建样本数据集；对于数量较少的类，适当采用图像增强的方式对样本数据进行扩充。在每一类图像中，选出80％作为训练集，10％作为验证集，10％作为测试集。

得到足量图像后，需要对这些图像上标签，本发明使用labellmg工具，针对每张图像，人工框出飞行员违规行为。比如针对飞行员低头玩手机的图像，框住飞行员手持手机的位置，并对该位置处作标记。

3.模型的训练：

对飞行员违规行为的检测可以看作是多标签分类问题，即一个样本(行为)对应多个特性(是否疲劳驾驶，是否系安全带等违规行为)，处理这种问题通常采用两种办法：单个模型处理和多个模型并发处理。考虑到多个模型并发处理，对计算机硬件要求太高，本发明采用单个模型统一处理的方法，把多个特性的检测作为一个多分类任务。该方法只需要训练一次模型，实现简单，能够减少大量时间成本。

另外本发明用均方差作为损失函数，并选用Adam优化方法作为梯度下降方式。

本发明首先将ImageNet数据集输入到构建的网络进行预训练，以抽取图像的通用特征；然后将本发明建立好的样本数据集输入到经过预训练后的网络模型训练迭代数万次，即可得到最终的网络模型。

当需要飞行员行为监控时，通过摄像头实时获取当前图像，输入到已经训练好的模型中，模型会评估该图像里有没有样本图像中的飞行员违规行为，并且会用边界框框中和告知其违规类型。

本发明针对目前没有实际应用的飞行员行为监控系统，提出一种基于深度学习的飞行员行为监控方法，采用目前检测精度最高，检测速度最快的深度学习方法取代基于手工特征的传统方法作为本发明的检测算法。首先建立一个模拟场景的飞行员违规行为数据集，输入到构建好的经过预训练的卷积神经网络模型中训练迭代，在实际应用中直接将监控视频输入到最终模型中，在GPU上实现对飞行员行为的实时检测。

以上实施例仅用于说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于深度学习的飞行员行为监控方法，其特征在于，包括：

获取包含驾驶员在内的驾驶室图像；

将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述卷积神经网络模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果；

所述残差模块串行设置多个，前一个残差模块的处理结果作为下一个残差模块的输入；

每一个残差模块均包括依次连接的第一1*1卷积层、分通道卷积层、第二1*1卷积层、相加层，其中：

所述第一1*1卷积层对输入该残差模块的特征图进行升维，并在升维后进行激活处理；所述分通道卷积层用于对进行激活处理后的特征图分类，将特征图分为多组，并对每一组作卷积处理；所述第二1*1卷积层对经分通道卷积层处理后的特征进行卷积处理，压缩通道，使其与输入有相同的通道数，最后通过所述相加层将第二1*1卷积层输出的特征图与输入到该残差模块的特征图进行连接，得到经该残差模块处理后的特征图；

所述输入层包括16个通道的3*3卷积层，每个卷积层后均设置有第一激活函数；

所述残差模块串行设置15个，其中前7个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第一激活函数；后8个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第二激活函数；

所述预测部分包括依次连接的池化层、第三1*1卷积层、第四1*1卷积层，其中：

所述池化层用于将输入预测部分的特征图进行池化处理，第三1*1卷积层用于将池化处理后特征图进行升维，并进行特征抽取；第四1*1卷积层用于对的特征进行分类，输出检测结果；

所述第三1*1卷积层、第四1*1卷积层之后均设置有第二激活函数。

2.根据权利要求1所述的基于深度学习的飞行员行为监控方法，其特征在于，所述第一激活函数为RELU激活函数，第二激活函数表示为：

其中，x表示激活函数的输入。

3.根据权利要求1所述的基于深度学习的飞行员行为监控方法，其特征在于，所述卷积神经网络模型在进行训练时，首先模拟驾驶舱内环境并进行拍摄，以采集各种飞行员违规行为的图像；对于数量较少的类别，采用图像增强的方式进行数据样本扩充，在每一类图像中，选取训练集、验证集和测试集；

对采集的所有图像添加标签，人工框出飞行员违规的行为并进行标记；

训练过程中，采用均方差作为损失函数，并选用Adam优化方法作为梯度下降方式；采用单个模型统一处理的方法，把多个特性的检测作为一个多分类任务。

4.一种基于深度学习的飞行员行为监控装置，其特征在于，包括：

采集模块，用于获取包含驾驶员在内的驾驶室图像；

检测模块，用于将所述驾驶室图像输入到训练好的卷积神经网络模型中，得到驾驶员行为的检测结果；所述卷积神经网络模型包括输入层、残差模块以及预测部分，其中：

所述输入层用于对驾驶室图像进行预处理，得到第一特征图；所述残差模块用于对所述第一特征图依次进行升维、特征图分组、通道压缩并相加操作，输出第二特征图；所述预测部分用于对所述第二特征图依次进行映射及特征抽取、特征池化、特征分类，最终输出检测结果；

所述残差模块串行设置多个，前一个残差模块的处理结果作为下一个残差模块的输入；

每一个残差模块均包括依次连接的第一1*1卷积层、分通道卷积层、第二1*1卷积层、相加层，其中：

所述第一1*1卷积层对输入该残差模块的特征图进行升维，并在升维后进行激活处理；所述分通道卷积层用于对进行激活处理后的特征图分类，将特征图分为多组，并对每一组作卷积处理；所述第二1*1卷积层对经分通道卷积层处理后的特征进行卷积处理，压缩通道，使其与输入有相同的通道数，最后通过所述相加层将第二1*1卷积层输出的特征图与输入到该残差模块的特征图进行连接，得到经该残差模块处理后的特征图；

所述输入层包括16个通道的3*3卷积层，每个卷积层后均设置有第一激活函数；

所述残差模块串行设置15个，其中前7个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第一激活函数；后8个残差模块中的第一1*1卷积层、第二1*1卷积层之后分别设置第二激活函数；

所述预测部分包括依次连接的池化层、第三1*1卷积层、第四1*1卷积层，其中：

所述池化层用于将输入预测部分的特征图进行池化处理，第三1*1卷积层用于将池化处理后特征图进行升维，并进行特征抽取；第四1*1卷积层用于对的特征进行分类，输出检测结果；

所述第三1*1卷积层、第四1*1卷积层之后均设置有第二激活函数。

5.一种终端设备，包括处理器、存储器以及存储在所述存储器中的计算机程序，其特征在于，计算机程序被处理器执行时，实现根据权利要求1-3中任一权利要求所述方法的步骤。

6.一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现根据权利要求1-3中任一权利要求所述方法的步骤。

Images