CN115953592A - 一种基于变分自编码器vae的太赫兹安检图像识别方法 - Google Patents

一种基于变分自编码器vae的太赫兹安检图像识别方法 Download PDF

Info

Publication number
CN115953592A
CN115953592A CN202310008133.2A CN202310008133A CN115953592A CN 115953592 A CN115953592 A CN 115953592A CN 202310008133 A CN202310008133 A CN 202310008133A CN 115953592 A CN115953592 A CN 115953592A
Authority
CN
China
Prior art keywords
encoder
security inspection
inspection image
variational self
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310008133.2A
Other languages
English (en)
Inventor
柏业超
查新宇
王琼
唐岚
张兴敢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310008133.2A priority Critical patent/CN115953592A/zh
Publication of CN115953592A publication Critical patent/CN115953592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于变分自编码器VAE的太赫兹安检图像识别方法，包括将采集的太赫兹安检图像数据输入至变分自编码器中，进行数据的重构；采用DenseNet‑201作为骨干网络，后接双注意力模块(Dual‑Attention)和度量学习模块(Center Loss)，双注意力模块负责引导骨干识别网络关注有用信息和减少不重要信息的权重，以达到改善网络识别性能的作用，度量学习模块通过增加类间距离和减少类内距离解决图像数据之间的特征相似度较高问题，从而提高聚类和泛化、识别性能，并且优化了骨干网络的损失函数；实现太赫兹安检图像数据的增强，降低过度拟合的风险，增强网络的泛化能力，进一步提高网络的识别精度和可靠性。

Description

一种基于变分自编码器VAE的太赫兹安检图像识别方法
技术领域
本发明涉及计算机视觉中的目标识别技术领域，具体为一种基于变分自编码器VAE的太赫兹安检图像识别方法。
背景技术
太赫兹技术突破了常见可见光和红外光属性的限制，拓展了人类的可视范围，这也让我们越来越关注太赫兹成像技术，并将其应用于安检、快递等领域。在使用太赫兹图像时，目标识别是最重要的步骤。
目前，有各种图像异常识别算法。Girs-hick提出了R-CNN算法，该算法详尽地选择了可能出现标记项目的所有区域，并提取了区域的特征进行识别。何凯明等人提出了SPP-NET网络结构，该结构使用空间金字塔池层，通过使用空间关系来提取特征图像中每个区域的特征。Ross的团队提出了快速R-CNN网络，该网络在R-CNN模型的基础上简化了算法，并加快了算法训练和测试的速度。在特征图的操作过程中可以获得独立的特征候选框。许多其他主流识别方法是通过改进卷积神经网络实现的。在实际应用方面，这些现有算法在自己训练的数据集上的性能非常好，但应用到其他数据集时，性能会降低。此外，他们不能很好地识别未经训练的数据，泛化能力较差。
基于对太赫兹安检图像的进一步分析发现，如果是直接对已有图像进行训练的话，既要依赖于大量的训练数据，而且即使我们的数据集很大，考虑到太赫兹图像分辨率低的特点，训练出来的模型的识别效果可能也不会很理想；另一方面，因为训练样本图像不可能覆盖所有种类的危险品样式，日常生活中危险品的样式不可预知，如果是直接用传统图像分类或者图像检测的方法去训练网络模型，由于神经网络的强泛化能力，导致异常位置能够被重建，从而无法识别出危险品，这样训练的结果不是很好，因此亟需一种基于变分自编码器VAE的太赫兹安检图像识别方法来解决上述问题。
发明内容
本发明提供一种基于变分自编码器VAE的太赫兹安检图像识别方法，能更好地识别和检测出安检图像，提高检测的有效性。
为实现上述目的，本发明提供如下技术方案：一种基于变分自编码器VAE的太赫兹安检图像识别方法，包括如下步骤：
S1、将采集的太赫兹安检图像数据输入至变分自编码器中，进行数据的重构；
S2、采用DenseNet-201作为骨干网络，并向该骨干网络中添加双注意力模块和度量学习模块，优化了骨干网络的损失函数；
S3、通过优化后的骨干网络提取数据中图像特征并进行图像的分类识别。
优选的，在步骤S1中，变分自编码器包含编码器和解码器，图像数据输入至编码器中编码为隐空间的概率分布，解码器将该隐变量还原，从而完成数据的重构，其中：
编码公式为：
Figure BDA0004036402610000021
解码公式为：
Figure BDA0004036402610000022
其中，x为原始信号，z为经编码器编码后的隐变量信号，x1为解码器重构的信号。
优选的，隐变量的条件分布服从多元正态分布，通过编码器生成正态分布参数方差向量σ2和均值向量μ，在隐空间中运用重参数采样得到z，z＝μ+σ·ε,ε～N(0,1)。
优选的，在步骤S2中，双注意力模块包括通道注意力模块和空间注意力模块，将卷积层输出的结果作为输入特征图，其中：
在通道注意力模块中，通过全局平均池化层GAP对图像特征图进行压缩，而后进行三个3×3的卷积运算，通道大小也随之减小至1，生成QC、KC、VC三个向量，在通道中的权重向量α计算公式为：
Figure BDA0004036402610000031
通过通道权重向量公式：
Figure BDA0004036402610000032
获得特征SO1-2，然后对X正则化和掩码；
在空间注意力模块中，将通道注意力模块的输出经过三个3×3的卷积运算，通道的大小减少至1，得到三个向量：QC、KC、VC，经过解码处理的特征图为：
Figure BDA0004036402610000033
优选的，在步骤S2中，通过度量学习模块对数据设置了三个类别，并对每个类都设定一个类中心，而后计算每个输入的安检图像和对应的类中心的欧氏距离，度量学习模块损失函数的计算公式为：
Figure BDA0004036402610000034
其中，N为训练批次；xi是此批次中第i个样本的特征向量，属于第k类，k＝1,2,3；ck为第k类的中心特征向量；其中，每次迭代都会对批次中样本对应的类别中心ck进行更新。
优选的，在步骤S3中，优化了骨干网络的损失函数，具体为：
Figure BDA0004036402610000035
其中，M为训练数据的类别数目，W是最后一个全连接层的权重集合，b为对应的偏置值，λ为Center Loss的权重值。
与现有技术相比，本发明的有益效果：本发明中采用变分自编码器(VAE)模型实现数据的增强与重构，而后，采用DenseNet-201作为骨干网络，并往网络中添加双注意力模块(Dual-Attention)和度量学习模块(Center Loss)，其中，双注意力模块引导骨干识别网络关注有用信息和减少不重要信息的权重，以达到改善网络识别性能的作用，度量学习模块通过增加类间距离和减少类内距离解决图像数据之间的特征相似度较高问题，从而提高聚类和泛化、识别性能，并且优化了骨干网络的损失函数，实现太赫兹安检图像数据的增强，降低过度拟合的风险，增强网络的泛化能力，进一步提高网络的识别精度和可靠性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明基于变分自编码器VAE的太赫兹安检图像识别的流程图；
图2是本发明VAE模型的原理简图；
图3是本发明双注意力模块Dual-Attention结构图；
图4是本发明嵌入Center Loss度量学习模块后的损失函数示意图；
图5是本发明嵌入双注意力模块Dual-Attention前后的训练损失曲线对比图；
图6是本发明嵌入Center Loss度量学习模块前后的聚类对比图；
图7是本发明与现有算法识别准确度的对比图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，一种基于变分自编码器VAE的太赫兹安检图像识别方法，包括变分自编码器(VAE)、DenseNet-201骨干网络、双注意力模块(Dual-Attention)、度量学习模块(Center Loss)；采用平衡损失函数；其中，数据集使用实际采集的太赫兹安检图像数据集，进行模型的训练、测试和评估，在一具体实施例中，数据集是实际采集的尺寸为400×800的太赫兹安检图像。考虑到数据量大，为了实验方便，随机选择5380张图像作为实验数据集，包括安全、正常和危险三类。数据集通过算法被随机分为训练集和测试集，分别占70％和30％，训练集和测试集中都包含以上这三类；
具体步骤如下：
将采集的太赫兹安检图像数据输入至变分自编码器中，进行数据的重构；
其中，变分自编码器包含编码器和解码器，图像数据输入至编码器中编码为隐空间的概率分布，解码器将该隐变量还原，从而完成数据的重构，其中：
编码公式为：
Figure BDA0004036402610000051
解码公式为：
Figure BDA0004036402610000052
其中，x为原始信号，z为经编码器编码后的隐变量信号，x1为解码器重构的信号。
参考图2所示，隐变量的条件分布服从多元正态分布，通过编码器生成正态分布参数方差向量σ2和均值向量μ，在隐空间中运用重参数采样得到z，z＝μ+σ·ε,ε～N(0,1)；
而后通过优化损失函数
Figure BDA0004036402610000053
可以得到最优的编码器和解码器网络参数，进而利用变分参数采样并重构信号；
在具体实施例中，将原始的太赫兹安检图像数据作为变分自编码器VAE模型的输入，训练次数设置为10，重构的图像尺寸设置为同原图像保持一致；
选择DenseNet-201网络作为图像识别的骨干网络，后接双注意力模块(Dual-Attention)、度量学习模块(Center Loss)；DenseNet-201骨干网络负责提取图像特征并进行图像的分类识别，形成最终的图像识别准确率。
在具体实施例中，网络的训练参数设如下：初始学习率设置为0.001，权重衰减值设置为0.001，训练批量大小设置为64，训练轮数设置为110；
对骨干网络进行改进优化处理：
将双注意力模块Dual-Attention嵌入DenseNet-201骨干网络，双注意力模块(Dual-Attention)负责引导骨干识别网络关注有用信息和减少不重要信息的权重，以达到改善网络识别性能的作用；其包含了通道注意力模块与空间注意力模块两部分，参考图3所示，将卷积层输出的结果作为输入特征图，其中：
在通道注意力模块中，通过全局平均池化层GAP对图像特征图进行压缩，而后进行三个3×3的卷积运算，通道大小也随之减小至1，生成QC、KC、VC三个向量，在通道中的权重向量α计算公式为：
Figure BDA0004036402610000063
通过通道权重向量公式：
Figure BDA0004036402610000061
获得特征SO1-2，然后对X正则化和掩码；
在空间注意力模块中，将通道注意力模块的输出经过三个3×3的卷积运算，通道的大小减少至1，得到三个向量：QC、KC、VC，经过解码处理的特征图为：
Figure BDA0004036402610000062
其中，将经过双注意力模块Dual-Attention处理的特征和经过DenseNet-201骨干网络提取特征进行融合。
将Center Loss度量学习模块嵌入DenseNet-201骨干网络中，度量学习模块(Center Loss)通过增加类间距离和减少类内距离解决图像数据之间的特征相似度较高问题，从而提高聚类和泛化、识别性能，并且优化了骨干网络的损失函数，其中：
对数据集设置了三个类别，并对每个类都设定一个类中心，而后计算每个输入的安检图像和对应的类中心的欧氏距离，度量学习模块损失函数的计算公式为：
Figure BDA0004036402610000071
其中，N为训练批次；xi是此批次中第i个样本的特征向量，属于第k类，k＝1,2,3；ck为第k类的中心特征向量；其中，每次迭代都会对批次中样本对应的类别中心ck进行更新。
参考图4所示，优化了骨干网络的损失函数将这两个损失函数进行加权计算，具体为：
Figure BDA0004036402610000072
其中，M为训练数据的类别数目，W是最后一个全连接层的权重集合，b为对应的偏置值，λ为Center Loss的权重值。
在具体实施例中，将λ设置为0.001，将网络中的偏置b初始化为常量0，用标准初始化方法初始化权值W和每个类对应的特征中心。
参考图5-图7所示，在DenseNet-201网络骨干网络的基础上进行了对比实验，分别选取了太赫兹安检图像、VAE重构后的图像进行实验对比，并将嵌入双注意力模块Dual-Attention和Center Loss度量学习模块前后也进行了实验对比。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：包括如下步骤：
S1、将采集的太赫兹安检图像数据输入至变分自编码器中，进行数据的重构；
S2、采用DenseNet-201作为骨干网络，并向该骨干网络中添加双注意力模块和度量学习模块，优化了骨干网络的损失函数；
S3、通过优化后的骨干网络提取数据中图像特征并进行图像的分类识别。
2.根据权利要求1所述的一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：在步骤S1中，变分自编码器包含编码器和解码器，图像数据输入至编码器中编码为隐空间的概率分布，解码器将该隐变量还原，从而完成数据的重构，其中：
编码公式为：
Figure FDA0004036402600000011
解码公式为：
Figure FDA0004036402600000012
其中，x为原始信号，z为经编码器编码后的隐变量信号，x1为解码器重构的信号。
3.根据权利要求2所述的一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：隐变量的条件分布服从多元正态分布，通过编码器生成正态分布参数方差向量σ2和均值向量μ，在隐空间中运用重参数采样得到z，z＝μ+σ·ε,ε～N(0,1)。
4.根据权利要求1所述的一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：在步骤S2中，双注意力模块包括通道注意力模块和空间注意力模块，将卷积层输出的结果作为输入特征图，其中：
在通道注意力模块中，通过全局平均池化层GAP对图像特征图进行压缩，而后进行三个3×3的卷积运算，通道大小也随之减小至1，生成QC、KC、VC三个向量，在通道中的权重向量α计算公式为：
Figure FDA0004036402600000021
通过通道权重向量公式：
Figure FDA0004036402600000022
获得特征SO1-2，然后对X正则化和掩码；
在空间注意力模块中，将通道注意力模块的输出经过三个3×3的卷积运算，通道的大小减少至1，得到三个向量：QC、KC、VC，经过解码处理的特征图为：
Figure FDA0004036402600000023
5.根据权利要求4所述的一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：在步骤S2中，通过度量学习模块对数据设置了三个类别，并对每个类都设定一个类中心，而后计算每个输入的安检图像和对应的类中心的欧氏距离，度量学习模块损失函数的计算公式为：
Figure FDA0004036402600000024
其中，N为训练批次；xi是此批次中第i个样本的特征向量，属于第k类，k＝1,2,3；ck为第k类的中心特征向量；其中，每次迭代都会对批次中样本对应的类别中心ck进行更新。
6.根据权利要求5所述的一种基于变分自编码器VAE的太赫兹安检图像识别方法，其特征在于：在步骤S3中，优化了骨干网络的损失函数，具体为：
Figure FDA0004036402600000025
其中，M为训练数据的类别数目，W是最后一个全连接层的权重集合，b为对应的偏置值，λ为Center Loss的权重值。
CN202310008133.2A 2023-01-04 2023-01-04 一种基于变分自编码器vae的太赫兹安检图像识别方法 Pending CN115953592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310008133.2A CN115953592A (zh) 2023-01-04 2023-01-04 一种基于变分自编码器vae的太赫兹安检图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310008133.2A CN115953592A (zh) 2023-01-04 2023-01-04 一种基于变分自编码器vae的太赫兹安检图像识别方法

Publications (1)

Publication Number Publication Date
CN115953592A true CN115953592A (zh) 2023-04-11

Family

ID=87296586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310008133.2A Pending CN115953592A (zh) 2023-01-04 2023-01-04 一种基于变分自编码器vae的太赫兹安检图像识别方法

Country Status (1)

Country Link
CN (1) CN115953592A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383771A (zh) * 2023-06-06 2023-07-04 云南电网有限责任公司信息中心 基于变分自编码模型的网络异常入侵检测方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383771A (zh) * 2023-06-06 2023-07-04 云南电网有限责任公司信息中心 基于变分自编码模型的网络异常入侵检测方法和系统
CN116383771B (zh) * 2023-06-06 2023-10-27 云南电网有限责任公司信息中心 基于变分自编码模型的网络异常入侵检测方法和系统

Similar Documents

Publication Publication Date Title
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN112101426B (zh) 基于自编码器的无监督学习图像异常检测方法
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN109190566B (zh) 一种融合局部编码与cnn模型手指静脉识别方法
CN113469236B (zh) 一种自我标签学习的深度聚类图像识别系统及方法
CN110008948B (zh) 基于变分自编码网络的高光谱图像目标检测方法
Hou et al. Convolutional auto-encoder based deep feature learning for finger-vein verification
Mostofa et al. Deep gan-based cross-spectral cross-resolution iris recognition
CN109255381A (zh) 一种基于二阶vlad稀疏自适应深度网络的图像分类方法
CN112418041A (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN112766223B (zh) 基于样本挖掘与背景重构的高光谱图像目标检测方法
CN115953592A (zh) 一种基于变分自编码器vae的太赫兹安检图像识别方法
CN112131975A (zh) 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN111178427B (zh) 一种基于Sliced-Wasserstein距离的深度自编码进行图像降维并嵌入聚类的方法
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
Liu et al. MMRAN: A novel model for finger vein recognition based on a residual attention mechanism: MMRAN: A novel finger vein recognition model
CN114764939A (zh) 一种基于身份-属性解耦合成的异质人脸识别方法及系统
CN113869234B (zh) 人脸表情识别方法、装置、设备及存储介质
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN117333497A (zh) 一种基于掩码监督策略的高效建模的三维医学影像分割方法
CN112329716A (zh) 一种基于步态特征的行人年龄段识别方法
CN116704585A (zh) 一种基于质量感知的人脸识别方法
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
CN113343861B (zh) 一种基于神经网络模型的遥感图像水体区域提取方法
CN114882007A (zh) 一种基于记忆网络的图像异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination