CN115422968A - 基于多通道卷积神经网络的红外目标识别方法 - Google Patents

基于多通道卷积神经网络的红外目标识别方法 Download PDF

Info

Publication number
CN115422968A
CN115422968A CN202210960295.1A CN202210960295A CN115422968A CN 115422968 A CN115422968 A CN 115422968A CN 202210960295 A CN202210960295 A CN 202210960295A CN 115422968 A CN115422968 A CN 115422968A
Authority
CN
China
Prior art keywords
target
neural network
radiation intensity
infrared
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210960295.1A
Other languages
English (en)
Inventor
饶鹏
张晟豪
张�浩
陈忻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technical Physics of CAS
Original Assignee
Shanghai Institute of Technical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technical Physics of CAS filed Critical Shanghai Institute of Technical Physics of CAS
Priority to CN202210960295.1A priority Critical patent/CN115422968A/zh
Publication of CN115422968A publication Critical patent/CN115422968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明公开了红外信号处理技术领域的一种基于多通道卷积神经网络的红外目标识别方法，包括如下步骤：S1:获取目标多波段红外辐射强度序列；S2:对目标多波段红外辐射强度序列进行预处理；S3：构造多通道卷积神经网络识别模型；S4：依据损失函数，对多通道卷积神经网络模型进行训练；S5:将预处理后的目标多波段红外辐射强度序列输入到训练后的通道卷积神经网络识别模型中，获取目标识别结果。本发明利用多层卷积网络捕捉目标序列中富含关键信息的特征，并通过多通道的设计对应处理多波段数据，提高了识别性能，使得待识别目标在出现噪声干扰、数据缺失、波段不匹配等情况时，仍然能够稳定识别目标。

Description

基于多通道卷积神经网络的红外目标识别方法
技术领域
本发明属于红外信号处理技术领域，具体是基于多通道卷积神经网络的红外目标识别方法。
背景技术
空间红外目标识别是红外监视系统的关键技术，其分类精度直接决定了任务的成败。多波段探测系统是空间目标识别信息来源的主要方式，具有频谱拓展和抗干扰能力强的特点。受探测器性能的限制，远距离的目标在探测器成像平面上以小点的形式出现，无法获取目标的外形和基本结构等重要信息，能够利用的信息十分有限。因此，大部分红外点目标识别的研究主要基于目标的辐射强度序列展开。
目前已有的红外目标识别方法可分为手工设计和深度学习两大方向。基于手工设计的方法侧重于特征提取过程，特征提取的精度直接决定分类结果。然而，基于手工设计的识别方法强烈依赖设计者的专业知识和数据的分布特征，很难充分挖掘红外目标数据的内在关联。基于深度学习的方法主要是考虑各类目标的辐射信息变化，将辐射信息输入到训练好的深度神经网络，进而实现各目标的分类识别，为空间物体分类提供了一个端到端的解决方案。然而，这些方法只聚焦于灰度图像或单波段信号，因此一些重要的特征信息丢失了。与单波段识别相比，多波段信号能够反映不同波段的辐射特性，在某些波段保持较高的信噪比，受目标速度、姿态等变化的影响较小。卷积神经网络(convolutional neuralnetwork,CNN)作为一种深度神经网络，已经成功地应用于目标检测、图像识别、和时间序列预测等领域。在典型的CNN中，提取的信息以同等重要性向后流动,同时只进行卷积可能会丢失CNN底层的一些重要信息，限制了其对多个特征提取的性能。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于多通道卷积神经网络的红外目标识别方法，该网络能针对不同波段红外信号自适应的学习适合目标分类的特征，实现差分信息互补，可用于识别空间环境中的具有多波段红外辐射强度序列的目标。
为了实现上述目的，本发明的技术方案如下：一种基于多通道卷积神经网络的红外目标识别方法，包括如下步骤：
S1:获取目标多波段红外辐射强度序列；
S2:对目标多波段红外辐射强度序列进行预处理；
S3：构造多通道卷积神经网络识别模型；
S4：依据损失函数，对多通道卷积神经网络模型进行训练；
S5:将预处理后的目标多波段红外辐射强度序列输入到训练后的通道卷积神经网络识别模型中，获取目标识别结果
采用上述方案后实现了以下有益效果：
进一步，S1中，目标的多波段红外辐射强度序列是通过目标红外仿真系统进行仿真得到。
进一步，S2中，包括如下步骤：S21:将目标多波段红外辐射强度序列进行归一化；S22：将归一化的目标多波段红外辐射强度序列分成N个单波段红外辐射强度序列，其中N为波段数量。
进一步，S3中，多通道卷积神经网络模型包括M个通道，每个通道都包含输入模块和三层卷积模块，M个通道通过融合模块连接，最后通过分类模块输出结果,M为通道数量。
进一步，输入模块将归一化处理后的单个波段辐射强度序列作为输入，每个波段对应一个通道。
进一步，卷积模块，包括卷积层和池化层，对输入模块的输入特征进行卷积操作和最大池化操作，其中，最后一层卷积模块中未设置池化层。
进一步，融合模块，包括如下融合步骤：
S01：通过一维卷积将每个通道内的所有特征向量融合成一个特征；
S02:将M个通道的特征向量拼接在一起；
计算过程如下：
Fm＝Conv1([f1；f2；…；fT])，m∈[1，M]
Figure BDA0003792790580000021
其中，f表示每个通道卷积模块输出的特征向量，T为特征向量个数，Conv1表示卷积核大小为1的卷积操作，F表示融合模块输出的特征。
进一步，分类模块，包括Flatten层、全连接层和Softmax分类层。
进一步，S4中，损失函数为交叉熵函数，定义为：
Figure BDA0003792790580000031
其中，其中n表示输入样本的大小，j表示类别数量，y表示预测类别，
Figure BDA0003792790580000032
对应实际类别，采用Adam算法反向更新参数。
进一步，S5中，输入为预处理后的目标多波段红外辐射强度序列，输出为其类别及概率，即所述目标的识别结果。
与现有技术相比，本发明的有益效果是
1.在多通道卷积神经网络分类模型中，在每个通道中学习单个波段的特征，然后在融合过程中将所有通道的信息作为特征表示。这种设计迎合了对多波段红外数据处理的需要，同时提高了识别方法对数据缺失、波段不匹配的容忍度。
2.在多通道融合过程中，通过卷积核为1*1的卷积最大程度的保持了原有波段的底层特征，使分类模型能有效区分不同波段特征的不同模式，提高了对多波段辐射数据的分类性能和处理效率。
3.本发明以红外目标的多波段辐射强度序列作为输入，不需要复杂的特征提取过程，且无需人工干预和相关领域知识，泛化能力强.
附图说明
图1为本发明提供的一种红外目标识别方法的流程示意图；
图2为本方明构造的多通道卷积神经网络分类模型示意图；
图3为本方明的一个实施例中六种目标结构示意图；
图4为本方明的一个实施例中六类目标在单波段下的辐射强度序列示例；
图5为本方明的一个实施例中六类目标识别结果的混淆矩阵。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供一种基于多通道卷积神经网络的红外目标识别方法，基本如附图1所示，包括如下步骤，
S1，获取目标多波段红外辐射强度序列；
其中，目标的多波段红外辐射强度序列是通过目标红外仿真系统进行仿真得到。
本实施例中，从空间红外目标的物理特性出发，考虑了六种典型空间目标的微动特性和红外辐射特性，利用目标红外仿真系统，进行红外辐射强度序列模拟。其中六种目标分别是：O1：平底锥、O2：柱底锥、O3：球底锥、O4：球体、O5：圆柱和O6：等曲率弧形碎片。图3所示为各目标的形状示意图。表1为不同目标具体仿真参数。一系列的红外辐射强度序列是通过表1所列的物理属性和动态状态的分布中随机抽样产生的。
表1 不同目标的仿真参数设置
Figure BDA0003792790580000041
本实施例中，通过目标红外仿真系统获取了6000组观测时长为20s的红外辐射强度序列，包括O1到O6各1000组。随机选取4200组序列作为训练集，800组目标作为验证集，剩下1000组作为测试集。探测器波段设置为三个，分别是3～5μm，5～8μm，8～12μm；采样频率为25Hz。需要注意的是，在真实的探测过程中，红外传感器的灵敏度、响应速率等都会有轻微的变化，物体表面的温度变化也并不是完全不一致的。因此，在红外辐射强度序列模拟中，为了提高真实性，我们假定这些因素都用高斯加性白噪声模型来描述。信噪比定义为信号功率与噪声功率的比值，计算公式为:
SNR＝10log10(Ps/Pn)。
S2，对所述目标多波段红外辐射强度序列进行预处理；
其中，所述S2包括；
S21：将所述目标多波段红外辐射强度序列进行归一化；
S22：将所述归一化的目标多波段红外辐射强度序列分成N个单波段红外辐射强度序列，其中N为波段数量。在实施例中，采用最大最小归一化，将原始数据线性化的方法转换到[0,1]的范围。因为目标辐射强度的大小不是固定的，对于识别而言，只有信号序列的波形才有相对意义。因此我们需要将数据进行归一化，这样识别方法就有了尺度不变性。此外，在本实施例中，波段数量N＝3。图4展示了六类目标在单波段5～8μm下的辐射强度序列，分别是原始数据、加噪数据和归一化数据。
S3，构造多通道卷积神经网络识别模型；
其中，所述网络模型包括M个通道，每个通道都包含输入模块和三层卷积模块，M个通道通过融合模块连接，最后通过分类模块输出结果。本实施例中，每个波段对应一个通道。
在实施例中，所述的输入模块将所述目标归一化处理后的3个单波段辐射强度序列作为3个通道的输入。依次连接卷积模块、融合模块和分类模块，分类模块，包括Flatten层、全连接层和Softmax分类层，卷积模块，包括卷积层和池化层，对输入模块的输入特征进行卷积操作和最大池化操作，其中，最后一层卷积模块中未设置池化层。整个多通道卷积神经网络结构如图2所示。在融合模块中，通过一维卷积将每个通道内的所有特征向量融合成一个，然后将3个通道的特征向量拼接在一起，计算过程如下：
Fm＝Conv1([f1；f2；…；fT])，m∈[1，M]
Figure BDA0003792790580000051
其中，f表示每个通道卷积模块输出的特征向量，T为特征向量个数，Conv1表示卷积核大小为1的卷积操作，F表示融合模块输出的特征。
本实施例中，整个多通道卷积神经网络的参数设置如表2所示。
表2 网络参数设置
Figure BDA0003792790580000052
Figure BDA0003792790580000061
S4，依据损失函数，对所述多通道卷积神经网络模型进行训练；
在实施例中，训练样本来自于步骤1到步骤2中获取的4200组训练集和800组验证集，采用学习速率为0.001的Adam优化器，并使用交叉验证来获得模型的最优参数，本实施例中，损失函数为交叉熵函数，定义为：
Figure BDA0003792790580000062
其中，其中n表示输入样本的大小，j表示类别数量，y表示预测类别，
Figure BDA0003792790580000063
对应实际类别，采用Adam算法反向更新参数。整个分类模型的总参数量约为25万个，相对于其它复杂的深度神经网络，该网络仍然是轻量级的。
S5，将所述预处理后的目标多波段红外辐射强度序列输入到所述训练后的模型中，获取所述目标识别结果。
在实施例中，测试样本来自于步骤1到步骤2中获取的800组不同类别的测试集，设置了5dB、10dB、15dB、20dB、30dB和原始数据五种噪声水平。目标识别结果如表3所示。图5为根据20dB测试集的识别结果绘制的混淆矩阵，各类目标的召回率分别是0.521、0.177、1.0、0.364、0.753和1.0，平均召回率是0.6358。可以看出，该方法在信噪比为20dB的情况下，识别的精确率可以达到85％。
表3 识别结果
Figure BDA0003792790580000064
Figure BDA0003792790580000071
在实施例中，为了验证本方法对数据缺失、波段不匹配时的鲁棒性，以30dB测试集为基础，重新进行了处理。数据缺失是指在实际应用场景中由于器件的不稳定性而导致序列中某些序列点的极端异常值。本实施例主要考虑了成像焦平面上光敏阵列中可能出现的不良元素引起的辐射强度序列值的异常大小。波段不匹配指的是多个红外传感器返回的数据存在一定的延迟。虽然有许多预处理算法可用于对齐不同的波段数据，但它们总是会增加时间成本或人为地引入噪声。在实施例中，将辐射强度序列长度的一定比例(定义为数据缺失率)的时间序列点随机设置为0或1，以模拟缺失序列值；将样本一个波段的时间序列点向后延迟一定比例(定义为波段匹配率)。并以其它方法作为对比。数据缺失时分类精确率如表4所示。波段不匹配时分类精确率如表5所示。最高精确率用粗体表示。可以看出，本发明提出的方法在出现数据缺失、波段不匹配等情况时，仍然能够稳定识别目标。
表4 数据缺失时分类精确率
Figure BDA0003792790580000072
表5 波段不匹配时分类精确率
Figure BDA0003792790580000073
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种基于多通道卷积神经网络的红外目标识别方法，其特征在于：包括如下步骤：
S1:获取目标多波段红外辐射强度序列；
S2:对目标多波段红外辐射强度序列进行预处理；
S3：构造多通道卷积神经网络识别模型；
S4：依据损失函数，对多通道卷积神经网络模型进行训练；
S5:将预处理后的目标多波段红外辐射强度序列输入到训练后的通道卷积神经网络识别模型中，获取目标识别结果。
2.根据权利要求1所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：S1中，目标的多波段红外辐射强度序列是通过目标红外仿真系统进行仿真得到。
3.根据权利要求1所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：S2中，包括如下步骤：
S21:将目标多波段红外辐射强度序列进行归一化；
S22：将归一化的目标多波段红外辐射强度序列分成N个单波段红外辐射强度序列，其中N为波段数量。
4.根据权利要求1所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：S3中，多通道卷积神经网络模型包括M个通道，每个通道都包含输入模块和三层卷积模块，M个通道通过融合模块连接，最后通过分类模块输出结果,M为通道数量。
5.根据权利要求4所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：输入模块将归一化处理后的单个波段辐射强度序列作为输入，每个波段对应一个通道。
6.根据权利要求4所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：卷积模块，包括卷积层和池化层，对输入模块的输入特征进行卷积操作和最大池化操作，其中，最后一层卷积模块中未设置池化层。
7.根据权利要求4所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：融合模块，包括如下融合步骤：
S01：通过一维卷积将每个通道内的所有特征向量融合成一个特征；
S02:将M个通道的特征向量拼接在一起；
计算过程如下：
Fm＝Conv1([f1；f2；…；fT])，m∈[1，M]
Figure FDA0003792790570000021
其中，f表示每个通道卷积模块输出的特征向量，T为特征向量个数，Conv1表示卷积核大小为1的卷积操作，F表示融合模块输出的特征。
8.根据权利要求4所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：分类模块，包括Flatten层、全连接层和Softmax分类层。
9.根据权利要求1所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于，S4中，损失函数为交叉熵函数，定义为：
Figure FDA0003792790570000022
其中，其中n表示输入样本的大小，j表示类别数量，y表示预测类别，
Figure FDA0003792790570000023
对应实际类别，采用Adam算法反向更新参数。
10.根据权利要求9所述的基于多通道卷积神经网络的红外目标识别方法，其特征在于：S5中，输入为预处理后的目标多波段红外辐射强度序列，输出为其类别及概率，即所述目标的识别结果。
CN202210960295.1A 2022-08-11 2022-08-11 基于多通道卷积神经网络的红外目标识别方法 Pending CN115422968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210960295.1A CN115422968A (zh) 2022-08-11 2022-08-11 基于多通道卷积神经网络的红外目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210960295.1A CN115422968A (zh) 2022-08-11 2022-08-11 基于多通道卷积神经网络的红外目标识别方法

Publications (1)

Publication Number Publication Date
CN115422968A true CN115422968A (zh) 2022-12-02

Family

ID=84198211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210960295.1A Pending CN115422968A (zh) 2022-08-11 2022-08-11 基于多通道卷积神经网络的红外目标识别方法

Country Status (1)

Country Link
CN (1) CN115422968A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089821A (zh) * 2023-02-23 2023-05-09 中国人民解放军63921部队 一种基于卷积神经网络的深空探测器状态监视识别的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089821A (zh) * 2023-02-23 2023-05-09 中国人民解放军63921部队 一种基于卷积神经网络的深空探测器状态监视识别的方法
CN116089821B (zh) * 2023-02-23 2023-08-15 中国人民解放军63921部队 一种基于卷积神经网络的深空探测器状态监视识别的方法

Similar Documents

Publication Publication Date Title
CN110263705B (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测系统
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Khan et al. Fruits diseases classification: exploiting a hierarchical framework for deep features fusion and selection
CN109828251B (zh) 基于特征金字塔轻量卷积神经网络的雷达目标识别方法
CN110532932B (zh) 一种多分量雷达信号脉内调制方式识别方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
Zhao et al. SEV‐Net: Residual network embedded with attention mechanism for plant disease severity detection
CN113486851A (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
CN111126361A (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN113673346A (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN115422968A (zh) 基于多通道卷积神经网络的红外目标识别方法
CN111652039A (zh) 基于残差网络和特征融合模块的高光谱遥感地物分类方法
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
Feng et al. Hyperspectral band selection based on ternary weight convolutional neural network
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Fang et al. Differentiated attention guided network over hierarchical and aggregated features for intelligent uav surveillance
CN114463651A (zh) 基于超轻量级高效卷积神经网络的农作物病虫害识别方法
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN113111706A (zh) 一种面向方位角连续缺失的sar目标特征解缠与识别方法
CN110414338B (zh) 基于稀疏注意力网络的行人再辨识方法
CN110908365A (zh) 一种无人机传感器故障诊断方法、系统及可读存储介质
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
CN116704241A (zh) 一种全通道3d卷积神经网络高光谱遥感图像分类方法
CN116433528A (zh) 一种目标区域检出的图像细节增强显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination