CN112949391A - 一种基于深度学习谐波信号分析的智能安检方法 - Google Patents

一种基于深度学习谐波信号分析的智能安检方法 Download PDF

Info

Publication number
CN112949391A
CN112949391A CN202110118186.0A CN202110118186A CN112949391A CN 112949391 A CN112949391 A CN 112949391A CN 202110118186 A CN202110118186 A CN 202110118186A CN 112949391 A CN112949391 A CN 112949391A
Authority
CN
China
Prior art keywords
data
layer
input
model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110118186.0A
Other languages
English (en)
Inventor
陈石
岳克强
李文钧
李宇航
王超
张汝林
沈皓哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110118186.0A priority Critical patent/CN112949391A/zh
Publication of CN112949391A publication Critical patent/CN112949391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习谐波信号分析的智能安检方法，包括：针对不同场景设置探测器阵列，采集待测者所携带物品的波段信息，得到一组数据结果；分别让待测者携带不同类别的违禁品和非违禁品，每隔一定的时间间隔就记录下每个探测器测得的谐波数值，得到一组数据，直到检测结束为止；将两组数据打上报警和不报警两种标签，并用增强方法对数据进行处理；构建一维卷积神经网络，训练得到一个分类模型；构建长短期记忆网络，训练得到一个分类模型；利用模型融合的方法综合使用两种分类模型，得到准确率更高的分类模型并保存；检测时，探测器测出波段信息并传入分类模型，如果输出结果显示为未携带违禁品则可顺利通过，否则会触发警报。

Description

一种基于深度学习谐波信号分析的智能安检方法
技术领域
本发明涉及智能安防领域，尤其是涉及一种能应用于安检仪器的基于深度学习谐波信号分析的方法。
背景技术
安检设备是用于判断人员是否携带违禁物品的装置，常用于公司、政府保密会议、大型考试等重要场合。针对这类场合的违禁物品主要包括手机、摄像头、窃听器、录音笔等电子设备，安检设备一般通过非线性节点探测器来检测这些物品。目前比较主流的方法仍是以机理模型为基础，根据波段的物理特征建立识别模型。实现原理是通过探测器的发射端向待测者发出S波段的高频基波，由接收端捕获人体区域所产生的不同种类谐波，运用模糊识别算法对谐波信号进行分析和处理后，给出基波发射前后的谐波变化规律，从而识别出带有非线性结的电子设备。
然而使用这种方法的安检仪器在实际使用中仍存在一些有待改进的不合理因素。首先，基于机理模型的方法需对谐波本身有深入了解，而谐波产生和变化的机理具有非常高的复杂性，据此设计一种可靠且适用于不同场景的模型非常困难；其次，由于对电器内部天生的敏感，探测器可能会对探测物体内部的晶体二极管产生误报；同时，这类安检仪器在每一次识别过程中都需要对测得的数据进行大量的处理计算，能耗很大且不利于延长使用寿命；另外，这种安检仪器容易受到干扰波段的影响，导致识别准确率降低，稳定性较差。
发明内容
为解决现有技术的不足，实现快速、准确地探测违禁物品的目的，本发明采用如下的技术方案：
一种基于深度学习谐波信号分析的智能安检方法，包括如下步骤：
S1，设置探测器阵列，采集待测者所携带物品的波段信息，所述探测器，其原理是运用电子元件晶体管产生的谐波再辐射特性，非线性结与线性结在收到基波辐射时产生不同种类的谐波信号；具体来说，检测仪器通过设置在其上的探测器发射端向目标区域或目标物体发出S波段的高频基波，由探测器接收端捕获携带物品产生的谐波信号，每隔一段时间输出反映信号特征的指标数值，得到一个完整的数据结果；
S2，记录待测者携带违禁品时，测得的指标数值，得到一组违禁品数据；
S3，记录待测者携带不非违禁品，测得的指标数值，得到一组非违禁品数据；
S4，将违禁品和非违禁品数据打上独热编码形式的标签，分别代表报警和不报警，并用数据增强方法对数据进行处理；
S5，构建一维卷积神经网络，并将处理后的数据作为输入，用深度学习的方法提取特征，训练得到一个分类模型；
S6，构建长短期记忆网络，并将处理后的数据作为输入，训练得到一个分类模型；
S7，利用模型融合的方法综合使用两种分类模型，得到准确率更高的融合分类模型并保存；
S8，当待测者出现时，采用探测器阵列测出反馈信号并传入融合分类模型，得到的输出结果为未携带违禁品时，顺利通过，否则触发警报。
进一步的，所述步骤S4中的数据增强方法包括数据补充和数据打乱，所述数据补充是设定一个标准行数，对少于该行数的用0补齐，对超过该行数的则去掉多余的行，实现标准化，由于每次测试过程中待测者的行进速度或用检测器进行检测的时长都有差别，使得测得的数据长度各不相同，因此需要对数据长度进行统一；所述数据打乱，由于每个探测器测得的数据是相对独立的，因此需采用random函数随机打乱每列数据，用于扩充训练样本，从而增强训练后模型的分类精度，增强训练后模型的鲁棒性。
进一步的，对处理后的数据进行数据集划分，对于一维卷积神经网络，采用留出验证，从处理以后的数据中随机划分测试集，并将随机种子random_state设为固定值，用于保持各部分数据稳定不变，便于调参和模型测试，再将剩余数据分为验证集、训练集，验证集用于对参数进行更有效的微调；对于长短期记忆网络，采用K折验证，所述K折验证是将处理后的数据划分为大小相同的K个分区，对于每个分区i，在剩余的K-1个分区上训练模型，然后在分区i上评估模型，最终分数等于K个分数的平均值，因为在长短期记忆网络的训练过程中发现，对于不同的数据集划分情况，模型性能的变化很大，因此考虑采用K折验证的划分方法，增强训练的有效性。
所述步骤S5的一维卷积神经网络，采用的卷积核均为一维，对于一个卷积层，需要学习的参数个数为(a*b+l)*n，其中a是卷积核大小，b是输入通道数，1是偏置参数，n是卷积个数，对于一个全连接层，学习的参数个数为m*n’+n”，其中m是输入神经元个数，n’是输出神经元个数，n”是偏置参数个数。
进一步的，所述步骤S5的一维卷积神经网络，釆用局部连接和权值共享的连接方式，减少很多了需要训练的权值数量，使模型的复杂度降低，可以有效缩短识别判断时间并减少能耗，包括输入层、卷积层、下釆样层、全连接层和输出层，输入层是将被处理的数据传到卷积网络的第一层，卷积层执行卷积运算，对数据进行特征提取，在一个卷积层，上一层特征图被一个可学习的卷积核做卷积运算，然后通过一个激活函数，得到下一层的输出特征图，下釆样层使用一个位置的相邻输岀的总体统计特征，来代替网络在该位置的输出，卷积层将多维向量平铺成一维向量，输入到全连接层，全连接层每个输出神经元都和输入节点相连接，对输入特征进行组合运算，然后选择激活函数，最终得到预测结果。
所述下采样层包括最大池化和平均池化，最大池化和平均池化分别计算相邻矩形区域内的最大值和平均值，在减少各个特征维度、去除冗余的同时保留大部分重要信息。
所述一维卷积神经网络，输入数据为探测器阵列的指标数值，每经过两轮相同的卷积层Conv1D后进行一次最大池化操作Maxpooling，目的是减少参数个数，加速训练。
进一步的，所述步骤S6的长短期记忆网络，包括长短期记忆单元和全连接层，每个长短期记忆单元包括三个门结构：
第一个门是忘记门，决定上一时刻的单元状态Ct-1有多少保存到当前时刻的单元状态Ct；来自上一时刻的隐藏状态ht-1和当前时刻的输入xt被连接成一个新的特征向量，在与权重参数Wf相乘后输入至sigmoid激活函数，sigmoid是值域为(0,1)的饱和的且可导的函数，因而可以用作门控单元的激活函数，其输出向量ft中的每个元素值域都是(0,1)；向量ft作为决策向量，通过与Ct-1进行元素乘法操作：Ct-1×ft来确定上一时刻的单元状态Ct-1有多少被添加至单元状态Ct；ft的具体计算方法为：
ft＝σ(Wf·[ht-1,xt]+bf)
其中Wf和bf分别为忘记门中sigmoid激活函数对应的权重参数和偏置项；
第二个门是输入门，决定当前时刻单元的输入xt有多少保存到当前时刻的单元状态Ct；用于控制信息传输的通断理想状态下是使用值域为{0,1}的阶跃函数，函数值0和1分别表示信息的通和断，但阶跃函数不可导，故不能用于反向传播来更新单元的参数，状态和输出的求值使用值域为[-1,1]的tanh函数，相当于将函数输出的均值调整为0，便于后续激活函数的处理，而且使用tanh激活函数可以一定程度上缓解梯度消失问题，tanh激活函数决定当前时刻的候选信息
Figure BDA0002921084570000031
决策向量It通过与候选信息
Figure BDA0002921084570000032
进行元素乘法操作：
Figure BDA0002921084570000033
以此确定
Figure BDA0002921084570000034
有多少被添加至单元状态Ct；It和Ct-1的计算分别如下：
It＝σ(WI·[ht-1,xt]+bI)
Figure BDA0002921084570000035
其中WI和Wc分别为输入门中sigmoid和tanh对应的权重参数，bI和bc为对应的偏置项，当前时刻的单元状态Ct的计算方法如下：
Figure BDA0002921084570000041
最后一个门是输出门，决定当前时刻的单元状态Ct有多少被输入至单元的隐藏状态ht；单元状态Ct的决策向量Ot和单元的隐藏状态ht的计算分别如下：
ot＝σ(W0·[ht-1,xt]+b0)
ht＝tanh(Ct)×ot
其中W0和b0分别为输出门中sigmoid激活函数对应的权重参数和偏置项。
长短期记忆网络规避了标准循环神经网络中梯度爆炸和梯度消失的问题，学习速度更快，非常适合处理前后相关的数据。
进一步的，为了防止训练中出现过拟合现象，加入inverted dropout层随机丢弃部分特征，并结合正则化处理方法来限制模型的复杂度，使得模型在复杂度和性能上达到平衡，所述inverted dropout，在进行反向传播时，根据设定的保留概率使一部分神经元节点随机失活，同时节点的输出需要除以保留概率，达到缩放修正的目的；
所述正则化处理采用L2正则化，作为损失函数的惩罚项，惩罚是指对损失函数中的部分参数进行限制，使其权重只能取较小的值，从而限制一维卷积神经网络的复杂度，使权重值的分布更加规则，L2正则化的模型叫做Ridge回归，L2正则化的表达式如下：
Figure BDA0002921084570000042
Figure BDA0002921084570000043
其中，
Figure BDA0002921084570000044
为L2正则化项，Xw表示预测值向量，y表示真实标签值向量，L2正则化是指权值向量W中各个元素的平方和然后再求平方根，相比于L1正则化，L2正则化具有处处可导、便于优化的特性，经试验更适合应用于本一维卷积神经网络。
进一步的，激活函数使用relu函数，表达式为：
Figure BDA0002921084570000045
所述relu函数是非线性激活函数，如果不用激活函数进行激活，每一层的输出都是上层输入的线性函数，激活函数给神经元引入非线性因素，使神经网络可以任意逼近任何非线性函数，同时relu函数也避免了梯度消失的问题，大大加快了收敛速度和计算速度。
进一步的，所述全连接层使用Sigmod激活函数：
Figure BDA0002921084570000051
其中，z表示神经元输出，将其作为激活函数的自变量，来计算概率，由于值域在0和1之间且对称性良好，因此非常适合用于二分类，且输出结果正好表示分类的概率。
进一步的，选用交叉熵Binary_crossentropy作为损失函数loss，Binary_crossentropy的计算公式为：
Figure BDA0002921084570000052
其中yi表示实际概率，
Figure BDA0002921084570000053
表示预测概率，整体用来度量概率的差值，适配sigmoid函数使用。
优化方式在Adam算法的基础上采用指数下降的学习率衰减策略，使得学习率随着训练步数逐渐减小，具体公式为：
Figure BDA0002921084570000054
Figure BDA0002921084570000055
其中，α为学习率，α0为初始学习率，decay_rate为衰减因子，decay_steps为当前训练步数，glogbal_steps为全局训练步数，N为整个训练集样本个数，m为一个批处理中的样本个数。使用Adam优化算法来最小化损失函数与随机梯度下降算法相比有许多优势，随机梯度下降算法更新所有的权重时学习率恒定不变，而Adam优化算法通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率，且具有很高的计算效率和较低的内存需求，理想的学习率在模型训练前期应尽量加快特征学习过程，而在后期应减缓学习过程，以免因调整过大而错过最佳拟合点，即学习率应在训练过程中递减。经测试直接使用Adam算法最小化损失函数的波动仍较大，为了进一步优化模型，在Adam算法的基础上采用指数下降的学习率衰减策略。
进一步的，所述步骤S7的融合分类模型，使用bagging和stacking方法，将一维卷积神经网络和长短期记忆网络的预测结果，进行新一轮的分类判断，并在测试集上进行测试。融合后的模型在训练集的准确率为98％，在测试集的准确率达到92％，可以较好地实现准确率和时效性的平衡。
本发明的优势和有益效果在于：
1.本发明采用基于深度学习的分类方法，利用所设计的卷积网络自动提取数据的特征，避免用各种手工算法来提取所测得的信号特征，通用性、普适性更强，准确性更高。
2.本发明中事先训练好的分类模型已经预先载入安检仪器，只需把测得的实时数据输入就可得出分类结果，不用像传统方法那样每一次识别都进行一轮完整的数据处理分析过程，减小能耗又延长了机器使用寿命。
3.本发明避免了探测器由于对电器内部天生的敏感而对晶体二极管产生误报的情况，也避免了干扰波段的影响，环境适应性更强。
4.本发明利用模型融合的方法综合两种模型的优势，进一步提升了分类准确性。
附图说明
图1是本发明的方法流程图。
图2是本发明中一维卷积模型的结构图。
图3是本发明中长短期记忆模型的基本单元结构图。
图4是本发明中一维卷积模型训练的loss曲线图。
图5是本发明中长短期记忆模型训练的loss曲线图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
设计一种新的可用于快速处理探测器所测得的数据并进行特征提取的深度学习方法，使用数据驱动的方法，利用深度学习算法对能反映是否携带电子产品的主要特征数据进行拟合，从而进行判断，让应用此法的安检设备可以快速准确地对通过者是否携带违禁物品进行判断，并在检测到违禁物品时触发报警装置。
如图1所示，一种基于深度学习谐波信号处理的安检方法，其包括以下步骤：
1、针对不同的应用场景，在合适的位置设置探测器阵列，包含一定数量的探测器，用于采集待测者所携带物品的波段信息，得到一组数据结果；
2、分别让待测者携带不同类别的违禁品，记录下各个探测器测得的指标数值，得到一组数据，直到检测结束为止；
3、分别让待测者携带不同类别的非违禁品，同样记录下每个探测器测得的指标数值；
4、将两组数据打上两种不同的标签，分别代表报警和不报警，并用打乱、补充等增强方法对数据进行处理；
5、设计并构建改进的一维卷积神经网络，并将数据输入网络，用深度学习的方法提取特征，训练得到一个分类模型；
6、设计并构建一个改进的长短期记忆网络，并将数据输入，也训练得到一个分类模型；
7、利用模型融合的方法综合使用两种分类模型，得到一种准确率更高的分类模型并保存；
8、实际使用中，当待测者出现时，就立刻用探测器测出反馈信号并传入分类模型，如果输出结果显示为未携带违禁品则可顺利通过，否则会触发警报；
在本实施例中，关于数据集的组成，针对不同的应用场景，违禁品的种类也不同。以会议安检、考场安检等常见情形为例，违禁品主要包括手机、照相机、录音笔等电子设备。为了训练高效的分类模型，提高检测准确性，需要尽可能采集完备的正负样本。让测试者携带各种不同品牌、型号的电子设备，且每次检测时可适当放置在不同位置。每隔一定的时间记录下每个探测器测得的指标数值，得到一组完整数据。其他情形下可以选用不同的物品来获得对应的数据集。
在本实施例中，关于数据预处理和增强，由于每次测试过程中待测者的行进速度或用检测器进行检测的时长都有差别，因此得到的数据长度也各不相同。数据增强的具体操作是设定一个标准行数，对少于该行数的用0补齐，对超过该行数的则去掉多余的行，实现标准化。同时，由于每个探测器测得的数据是相对独立的，因此可以使用random函数随机打乱每列数据，扩充训练样本，增强训练后模型的分类精度。
在本实施例中，数据集划分使用两种不同的方法。在一维卷积模型中，使用留出验证。具体做法是使用keras库中的train_test_split函数，随机划分30％的数据为测试集，并且把随机种子random_state设定为固定值，用来保持各部分数据稳定不变，便于调参和模型测试。再将剩余数据中的25％划分为验证集，75％为训练集，验证集用来对参数进行更有效的微调。在长短期记忆模型中，使用K折验证。K折验证将数据划分为大小相同的K个分区。对于每个分区i，在剩余的(K-1)个分区上训练模型，然后在分区i上评估模型。最终分数等于K个分数的平均值。在长短期记忆网络的训练过程中发现，对于不同的数据集划分情况，模型性能的变化很大，因此考虑采用K折验证的划分方法，增强训练的有效性。
在本实施例中，设计构建的第一个模型是一维卷积模型。一维卷积神经网络接收一维或者二维的输入数据，一维卷积常用于序列模型，通常一维数据为时间或频谱釆样，本例中的数据就适合用一维卷积网络处理。本例提出的模型用到的卷积核均为一维，对于一个卷积层，如果输入通道数为b，卷积核大小为a，卷积个数为n，则需要学习的参数个数为(a*b+l)*n,其中1代表一个偏置参数；对于一个全连接层，如果输入神经元个数为m,输出神经元个数为n，则学习的参数个数为m*n+n，其中+n代表学习n个偏置参数。
该网络的本质是一个多层感知器，和全连接神经网络相比，釆用局部连接和权值共享的连接方式，减少很多了需要训练的权值数量，使模型的复杂度降低，可以有效缩短识别判断时间并减少能耗。具体来说，该卷积神经网络的结构包括输入层、卷积层、下釆样层(池化层)、全连接层和输出层。输入层是把数据传到卷积网络的第一层，本示例中传入的是探测器的指标数值。卷积层执行卷积运算，功能是对输入数据进行特征提取。在一个卷积层，上一层特征图被一个可学习的卷积核做卷积运算，然后通过一个激活函数，得到下一层的输出特征图。下釆样层使用某一位置的相邻输岀的总体统计特征来代替网络在该位置的输出，常用的有最大池化和平均池化，最大池化和平均池化分别计算相邻矩形区域内的最大值和平均值，在减少各个特征维度、去除冗余的同时保留大部分重要信息。为了防止训练中出现过拟合现象，在模型中加入dropout层随机丢弃某些特征，并结合使用L1、L2等正则化处理方法来限制模型的复杂度，使得模型在复杂度和性能上达到平衡。
Dropout是神经网络最有效常用的正则化方法之一。对某一层使用dropout，就是在训练过程中随机将该层的一些输出特征舍弃(设置为0)。dropout的比率表示被设为0的特征所占的比例，本例中设置在0.2-0.4之间且各层的值不一定相同，主要是由训练效果决定。
L1正则化和L2正则化可以看做是损失函数的惩罚项。惩罚是指对损失函数中的某些参数做一些限制，使其权重只能取较小的值，从而限制模型的复杂度，使权重值的分布更加规则。L1正则化的模型建叫做Lasso回归，L2正则化的模型叫做Ridge回归。
L1正则化的表达式为：
Figure BDA0002921084570000081
Figure BDA0002921084570000082
其中α||ω||1为L1正则化项，L1正则化是指权值向量W中各个元素的绝对值之和；
L2正则化的表达式如下：
Figure BDA0002921084570000083
Figure BDA0002921084570000084
其中
Figure BDA0002921084570000085
为L2正则化项，L2正则化是指权值向量W中各个元素的平方和然后再求平方根。
相比于L1正则化,L2正则化具有处处可导、便于优化的特性，经试验更适合应用于本例设计的模型。另外，inverted dropout正则化方法是dropout的改进版本，通过修改神经网络本身来实现的，即在进行反向传播时，根据设定的保留概率使一部分神经元节点随机失活，同时节点的输出需要除以保留概率达到缩放修正的目的。故本例综合使用上述几种方法来达到防止过拟合的目的。
卷积层获取足够的特征后，会把多维向量平铺成一维向量，输入到全连接层，该层每个输出神经元都和输入节点相连接，全连接层对输入特征进行组合运算，然后选择激活函数，最终得到预测结果。
本例所设计的一维卷积网络具体结构如图2所示，输入数据为探测器阵列的指标数值，每经过两轮相同的卷积层Conv1D后进行一次最大池化操作Maxpooling，目的是减少参数个数，加速训练。
卷积层中的激活函数使用relu函数，表达式为：
Figure BDA0002921084570000091
它是一种非线性激活函数，如果不用激活函数进行激活，每一层的输出都是上层输入的线性函数，激活函数给神经元引入非线性因素，使神经网络可以任意逼近任何非线性函数。同时relu函数也避免了梯度消失的问题，大大加快了收敛速度和计算速度。
卷积过程中过滤器filter的个数由16逐渐增加至128，从而提取到更全面的特征；卷积核大小kernel size设置为2，卷积步长strides设置为1，填充方式padding设置为same和valid相结合，尽可能遍历整个数组；每次池化过后再添加dropout层，随机删除一批参数，避免过拟合。
几轮卷积结束之后进行一次全局池化再将数据展平传入全连接层Dense并使用Sigmod激活函数进行处理。
Sigmoid函数表达式为
Figure BDA0002921084570000092
由于值域在0和1之间且对称性良好，因此非常适合用于二分类，且输出结果正好表示分类的概率。
根据本例中二分类的需求选用交叉熵binary_crossentropy作为损失函数loss，优化方式则使用Adam算法。
Binary_crossentropy的计算公式为：
Figure BDA0002921084570000093
其中yi表示实际概率，
Figure BDA0002921084570000094
表示预测概率，整体用来度量概率的差值，适配sigmoid函数使用。
使用Adam优化算法来最小化损失函数和随机梯度下降算法相比有许多优势。随机梯度下降算法更新所有的权重时学习率恒定不变，而Adam优化算法通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率，且具有很高的计算效率和较低的内存需求。理想的学习率在模型训练前期应尽量加快特征学习过程，而在后期应减缓学习过程，以免因调整过大而错过最佳拟合点，即学习率应在训练过程中递减。经测试直接使用Adam算法最小化损失函数的波动仍较大，为了进一步优化模型，因此本文在Adam优化算法的基础上采用指数下降的学习率衰减策略，使得学习率随着训练步数逐渐减小。具体公式为：
Figure BDA0002921084570000101
Figure BDA0002921084570000102
其中，α为学习率，α0为初始学习率，decay_rate为衰减因子，decay_steps为当前训练步数，N为整个训练集样本个数，m为一个批处理中的样本个数。
在一维卷积网络训练时，batch_size设置为32，epoch数设为600，训练的loss曲线如图4所示，训练结束时在训练集的loss值约0.2，测试集loss值约0.35，训练集准确率为95％，测试集准确率为84％。
在本实施例中，设计构建的第二个模型是长短期记忆模型。其基本单元结构如图3所示。
长短期记忆网络的每个单元使用三个门结构，用来决定应该忘记哪些来自前一时刻的信息，以及当前时刻中的哪些信息应该被添加到输出(即单元的隐藏状态ht)中，用于控制信息传输的通断理想状态下是使用值域为{0,1}的阶跃函数，函数值0和1分别表示信息的通和断。但阶跃函数不可导，故不能用于反向传播来更新单元的参数。sigmoid是值域为(0,1)的饱和的且可导的函数，因而可以用作门控单元的激活函数。状态和输出的求值使用值域为[-1,1]的tanh函数，相当于将函数输出的均值调整为0，便于后续激活函数的处理。而且使用tanh激活函数可以一定程度上缓解梯度消失问题。长短期记忆网络的具体工作机制如下：
第一个门是“忘记门”，它决定了上一时刻的单元状态Ct-1有多少保存到当前时刻的单元状态Ct。来自上一时刻的隐藏状态ht-1和当前时刻的输入xt被连接成一个新的特征向量，在与权重参数Wf相乘后输入至sigmoid激活函数，其输出向量ft中的每个元素值域都是(0,1)。向量ft作为决策向量，通过与Ct-1进行元素乘法操作:Ct-1×ft来确定上一时刻的单元状态Ct-1有多少被添加至单元状态Ct。例如，ft中的元素0表示Ct-1中对应的信息被完全遗忘，元素1表示对应的信息完全通过并输入至输入门。ft的具体计算方法为：
ft＝σ(Wf·[ht-1,xt]+bf)
其中Wf和bf分别为忘记门中sigmoid激活函数对应的权重参数和偏置项。
第二个门是“输入门”，它决定了当前时刻单元的输入xt有多少保存到当前时刻的单元状态Ct。tanh激活函数决定了当前时刻的候选信息
Figure BDA0002921084570000111
决策向量It通过与候选信息
Figure BDA0002921084570000112
进行元素乘法操作：
Figure BDA0002921084570000113
以此确定
Figure BDA0002921084570000114
有多少被添加至单元状态Ct。It和Ct-1的计算分别如下:
It＝σ(WI·[ht-1,xt]+bI)
Figure BDA0002921084570000115
其中WI和Wc分别为输入门中sigmoid和tanh对应的权重参数,bI和bc为对应的偏置项.当前时刻的单元状态Ct的计算方法如下：
Figure BDA0002921084570000116
最后一个门是输出门，它决定了当前时刻的单元状态Ct有多少被输入至单元的隐藏状态ht。单元状态Ct的决策向量Ot和单元的隐藏状态ht的计算分别如下:
ot＝σ(W0·[ht-1,xt]+b0)
ht＝tanh(Ct)×ot
其中W0和b0分别为输出门中sigmoid激活函数对应的权重参数和偏置项。
在本实施例中，长短期记忆网络的数据输入为探测器测得的指标数值数组，共设置5个长短期记忆单元，隐藏神经元个数分别设为256、128、128、64、16，各层之间有选择性地添加dropout层和L2正则化以防止过拟合，激活函数选用relu。数据经过长短期记忆单元之后进入全连接层，用于二分类的激活函数同样选择sigmoid，损失函数和优化算法和上述一维卷积模型中相同。训练过程中batch_size设置为32，epochs为500。训练的loss曲线如图5所示，训练集准确率为92％，测试集准确率为83％。
在本实施例中，为了进一步提升模型的准确性，在上述两个模型的基础上使用模型融合，主要是使用bagging和stacking方法。Bagging的方法在长短期记忆模型中对数据集的K折划分就已体现，即使用随机选择的不同数据子集训练基础模型，并取综合结果。Stacking方法训练多种不同类型的基础模型，也对数据集做K折划分，用它们的预测结果再训练一个新的模型，作为最终分类模型。具体到本算法中则是用一维卷积模型和长短期记忆模型的预测结果进行新一轮的分类判断，并在测试集上进行测试。融合后的模型在训练集的准确率为98％，在测试集的准确率达到92％，可以较好地实现准确率和时效性的平衡，在各种安检设备上的应用前景非常广阔。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于深度学习谐波信号分析的智能安检方法，其特征在于包括如下步骤：
S1，设置探测器阵列，采集目标的波段信息，所述探测器发射端发出高频基波，由探测器接收端捕获目标产生的谐波信号，输出反映信号特征的指标数值，得到一个完整的数据结果；
S2，记录目标是违禁品时，测得的指标数值，得到一组违禁品数据；
S3，记录目标是非违禁品时，测得的指标数值，得到一组非违禁品数据；
S4，将违禁品和非违禁品数据打标签，分别代表报警和不报警，并用数据增强方法对数据进行处理；
S5，构建一维卷积神经网络，并将处理后的数据作为输入，用深度学习的方法提取特征，训练得到一个分类模型；
S6，构建长短期记忆网络，并将处理后的数据作为输入，训练得到一个分类模型；
S7，利用模型融合的方法综合使用两种分类模型，得到融合分类模型并保存；
S8，当待测的目标出现时，采用探测器阵列测出反馈信号并传入融合分类模型，得到的输出结果为非违禁品时，顺利通过，否则触发警报。
2.如权利要求1所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于所述步骤S4中的数据增强方法包括数据补充和数据打乱，所述数据补充是设定一个标准行数，对少于该行数的用0补齐，对超过该行数的则去掉多余的行，实现标准化；所述数据打乱，采用random函数随机打乱每列数据，用于扩充训练样本。
3.如权利要求1所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于对处理后的数据进行数据集划分，对于一维卷积神经网络，采用留出验证，从处理以后的数据中随机划分测试集，并将随机种子random_state设为固定值，再将剩余数据分为验证集、训练集，验证集用于参数微调；对于长短期记忆网络，采用K折验证，所述K折验证是将处理后的数据划分为大小相同的K个分区，对于每个分区i，在剩余的K-1个分区上训练模型，然后在分区i上评估模型，最终分数等于K个分数的平均值。
4.如权利要求1所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于所述步骤S5的一维卷积神经网络，釆用局部连接和权值共享的连接方式，包括输入层、卷积层、下釆样层、全连接层和输出层，输入层是将被处理的数据传到卷积网络的第一层，卷积层执行卷积运算，对数据进行特征提取，在一个卷积层，上一层特征图被一个可学习的卷积核做卷积运算，然后通过一个激活函数，得到下一层的输出特征图，下釆样层使用一个位置的相邻输岀的总体统计特征，来代替网络在该位置的输出，卷积层将多维向量平铺成一维向量，输入到全连接层，全连接层每个输出神经元都和输入节点相连接，对输入特征进行组合运算，然后选择激活函数，最终得到预测结果。
5.如权利要求1所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于所述步骤S6的长短期记忆网络，包括长短期记忆单元和全连接层，每个长短期记忆单元包括三个门结构：
第一个门是忘记门，决定上一时刻的单元状态Ct-1有多少保存到当前时刻的单元状态Ct；来自上一时刻的隐藏状态ht-1和当前时刻的输入xt被连接成一个新的特征向量，在与权重参数Wf相乘后输入至sigmoid激活函数，其输出向量ft中的每个元素值域都是(0,1)；向量ft作为决策向量，通过与Ct-1进行元素乘法操作：Ct-1×ft来确定上一时刻的单元状态Ct-1有多少被添加至单元状态Ct；ft的具体计算方法为：
ft＝σ(Wf·[ht-1,xt]+bf)
其中Wf和bf分别为忘记门中sigmoid激活函数对应的权重参数和偏置项；
第二个门是输入门，决定当前时刻单元的输入xt有多少保存到当前时刻的单元状态Ct；状态和输出的求值使用值域为[-1,1]的tanh函数，tanh激活函数决定当前时刻的候选信息
Figure FDA0002921084560000021
决策向量It通过与候选信息
Figure FDA0002921084560000022
进行元素乘法操作：
Figure FDA0002921084560000023
以此确定
Figure FDA0002921084560000024
有多少被添加至单元状态Ct；It和Ct-1的计算分别如下：
It＝σ(WI·[ht-1,xt]+bI)
Figure FDA0002921084560000025
其中WI和Wc分别为输入门中sigmoid和tanh对应的权重参数，bI和bc为对应的偏置项，当前时刻的单元状态Ct的计算方法如下：
Figure FDA0002921084560000026
最后一个门是输出门，决定当前时刻的单元状态Ct有多少被输入至单元的隐藏状态ht；单元状态Ct的决策向量Ot和单元的隐藏状态ht的计算分别如下：
ot＝σ(W0·[ht-1,xt]+b0)
ht＝tanh(Ct)×ot
其中W0和b0分别为输出门中sigmoid激活函数对应的权重参数和偏置项。
6.如权利要求4或5所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于加入inverted dropout层随机丢弃部分特征，并结合正则化处理方法来限制模型的复杂度，所述inverted dropout，在进行反向传播时，根据设定的保留概率使一部分神经元节点随机失活，同时节点的输出需要除以保留概率，达到缩放修正的目的；
所述正则化处理采用L2正则化，作为损失函数的惩罚项，惩罚是指对损失函数中的部分参数进行限制，使其权重只能取较小的值，从而限制一维卷积神经网络的复杂度，L2正则化的模型叫做Ridge回归，L2正则化的表达式如下：
Figure FDA0002921084560000031
Figure FDA0002921084560000032
其中，
Figure FDA0002921084560000033
为L2正则化项，Xw表示预测值向量，y表示真实标签值向量，L2正则化是指权值向量W中各个元素的平方和然后再求平方根。
7.如权利要求4或5所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于激活函数使用relu函数，表达式为：
Figure FDA0002921084560000034
所述relu函数是非线性激活函数。
8.如权利要求4或5所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于所述全连接层使用Sigmod激活函数：
Figure FDA0002921084560000035
其中，z表示神经元输出，将其作为激活函数的自变量，来计算概率，由于值域在0和1之间且对称性良好，因此非常适合用于二分类，且输出结果正好表示分类的概率。
9.如权利要求4或5所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于选用交叉熵Binary_crossentropy作为损失函数loss，Binary_crossentropy的计算公式为：
Figure FDA0002921084560000036
其中yi表示实际概率，
Figure FDA0002921084560000037
表示预测概率；
优化方式在Adam算法的基础上采用指数下降的学习率衰减策略，具体公式为：
Figure FDA0002921084560000041
Figure FDA0002921084560000042
其中，α为学习率，α0为初始学习率，decay_rate为衰减因子，decay_steps为当前训练步数，glogbal_steps为全局训练步数，N为整个训练集样本个数，m为一个批处理中的样本个数。
10.如权利要求1所述的一种基于深度学习谐波信号分析的智能安检方法，其特征在于所述步骤S7的融合分类模型，使用bagging和stacking方法，将一维卷积神经网络和长短期记忆网络的预测结果，进行新一轮的分类判断，并在测试集上进行测试。
CN202110118186.0A 2021-01-28 2021-01-28 一种基于深度学习谐波信号分析的智能安检方法 Pending CN112949391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118186.0A CN112949391A (zh) 2021-01-28 2021-01-28 一种基于深度学习谐波信号分析的智能安检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118186.0A CN112949391A (zh) 2021-01-28 2021-01-28 一种基于深度学习谐波信号分析的智能安检方法

Publications (1)

Publication Number Publication Date
CN112949391A true CN112949391A (zh) 2021-06-11

Family

ID=76238605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118186.0A Pending CN112949391A (zh) 2021-01-28 2021-01-28 一种基于深度学习谐波信号分析的智能安检方法

Country Status (1)

Country Link
CN (1) CN112949391A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662550A (zh) * 2022-05-24 2022-06-24 安徽启新明智科技有限公司 基于金属探测门的神经网络训练数据获取方法及存储介质
CN114881156A (zh) * 2022-05-12 2022-08-09 电子科技大学 一种w型地磁阵列的多传感器融合决策车辆检测方法
CN116596061A (zh) * 2023-05-16 2023-08-15 北京航空航天大学 一种基于迁移学习的功率放大器谐波预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881156A (zh) * 2022-05-12 2022-08-09 电子科技大学 一种w型地磁阵列的多传感器融合决策车辆检测方法
CN114881156B (zh) * 2022-05-12 2023-05-23 电子科技大学 一种w型地磁阵列的多传感器融合决策车辆检测方法
CN114662550A (zh) * 2022-05-24 2022-06-24 安徽启新明智科技有限公司 基于金属探测门的神经网络训练数据获取方法及存储介质
CN116596061A (zh) * 2023-05-16 2023-08-15 北京航空航天大学 一种基于迁移学习的功率放大器谐波预测方法
CN116596061B (zh) * 2023-05-16 2023-12-12 北京航空航天大学 一种基于迁移学习的功率放大器谐波预测方法

Similar Documents

Publication Publication Date Title
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN112949391A (zh) 一种基于深度学习谐波信号分析的智能安检方法
CN112784881B (zh) 网络异常流量检测方法、模型及系统
CN105224872B (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN113392931B (zh) 基于自监督学习及多任务学习的高光谱开放集分类方法
Tomani et al. Towards trustworthy predictions from deep neural networks with fast adversarial calibration
Wang et al. Fire detection in infrared video surveillance based on convolutional neural network and SVM
Kasfi et al. Convolutional neural network for time series cattle behaviour classification
Shang et al. A hybrid method for traffic incident detection using random forest-recursive feature elimination and long short-term memory network with Bayesian optimization algorithm
CN112001433A (zh) 一种航迹关联方法、系统、设备及可读取存储介质
CN115580445A (zh) 一种未知攻击入侵检测方法、装置和计算机可读存储介质
Reis et al. Detection of forest fire using deep convolutional neural networks with transfer learning approach
Xiao et al. Multi-label classification for power quality disturbances by integrated deep learning
CN112288700A (zh) 一种铁轨缺陷检测方法
CN113988263A (zh) 工业物联网边缘设备中基于知识蒸馏的空时预测方法
CN113343801B (zh) 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN110717374A (zh) 一种基于改进的多层感知机的高光谱遥感影像分类方法
Zhang et al. Pulsar candidate recognition with deep learning
Yang et al. A structure optimization algorithm of neural networks for large-scale data sets
CN117131436A (zh) 面向开放环境的辐射源个体识别方法
Raja et al. Internet of things enabled automated air pollution monitoring using oppositional swallow swarm optimisation with deep learning model
Masilamani et al. Art classification with pytorch using transfer learning
Bi et al. Apple grading method based on ordered partition neural network
Wei et al. Accretionary learning with deep neural networks
Kang et al. CST-YOLO: A Novel Method for Blood Cell Detection Based on Improved YOLOv7 and CNN-Swin Transformer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination