CN115438708A - 一种基于卷积神经网络和多模态融合的分类识别方法 - Google Patents

一种基于卷积神经网络和多模态融合的分类识别方法 Download PDF

Info

Publication number
CN115438708A
CN115438708A CN202210565919.XA CN202210565919A CN115438708A CN 115438708 A CN115438708 A CN 115438708A CN 202210565919 A CN202210565919 A CN 202210565919A CN 115438708 A CN115438708 A CN 115438708A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
target
classification
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210565919.XA
Other languages
English (en)
Inventor
张锐
金钰
蒋长帅
赵永亮
赵艳丽
王向阳
贾会梅
王璞
贺帅磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Costar Group Co Ltd
Original Assignee
Henan Costar Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Costar Group Co Ltd filed Critical Henan Costar Group Co Ltd
Priority to CN202210565919.XA priority Critical patent/CN115438708A/zh
Publication of CN115438708A publication Critical patent/CN115438708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络和多模态融合的分类识别方法。其实现方案是:(1)对目标原始回波进行处理得到包含目标在内的距离‑多普勒‑幅值数据;(2)获取目标周围的4×16大小的距离‑多普勒像,并将不同模态多普勒数据串联融合,分别形成一维、二维数据集;(3)构建基于卷积神经网络的多模态融合模型,使用一维、二维卷积神经网络进行分类识别;(4)通过前向传播和后向传播训练、测试网络,并使用梯度下降算法优化网络模型;(5)将两种模块得到的分类结果,通过自然贝叶斯算法进行决策级融合,得到目标分类识别综合结果。本发明利提高了目标分类识别的准确率,减少人工参与,可用于城市环境下的低慢小雷达目标的分类识别。

Description

一种基于卷积神经网络和多模态融合的分类识别方法
技术领域
本发明属于雷达目标识别技术领域,特别涉及一种基于卷积神经网络和多模 态融合的分类识别方法。
背景技术
雷达目标分类识别是指从雷达接收到的目标反射回波信号中提取具有稳定 而有意义、并且鲁棒的目标特征,来对目标类型做出判断给出结果的一种技术。 由于现代军事战争环境的复杂,敌对目标和任务的多元化,如何在恶劣的环境中 及时发现、检测和对目标进行有效识别,是战争制胜的关键所在。雷达设备作为 一种重要的远距离探测传感器,无论是在军事上还是在民用上,都发挥着重要价 值和具有广泛的需求,而目标分类识别技术也已经成为雷达系统中必不可少的功 能,发挥着巨大的作用。
传统雷达目标分类识别流程复杂,需要人工先提取目标特征,利用现有的机 器学习方法中的分类算法对特征进行分类识别,耗时长且不准确。近年来深度学 习在智能信号处理领域得到了越来越广泛的研究与应用,其中卷积神经网络是目 标识别领域中一种高效的特征提取网络结构,具有良好的迁移性,能够提取目标 的深层次特征,更好的表现目标的本质信息。
深度学习中的多模态融合技术是模型在完成分析和识别任务时处理不同形 式数据的过程,多模态信息的融合可以为模型决策提供更准确更丰富的信息,从 而提高了总体决策结果的准确性。多模态信息融合识别也是雷达目标分类识别发 展的重要趋势,在处理数据冗余且信息不完备的感知数据时,多模态信息融合为 我们提供了新的思路。通过建立、处理和关联来自多种模态信息的模型,构建多 模态融合识别处理框架,实现多元信息的高效融合是今后智能化雷达目标分类识 别的重要目标。因此,研究一种基于卷积神经网络和多模态融合的分类识别方法, 探讨如何结合目标数据的多模态信息,利用卷积神经网络和自然贝叶斯算法进行 决策融合,提高目标分类识别的准确率,提升目标分类识别整体性能成为了现有 技术领域的一个攻关课题。
发明内容
本发明的目的在于针对现有技术的不足,提出一种基于卷积神经网络和多模 态融合的分类识别方法,融合数据的多种模态信息,利用卷积网络自动提取目标 特征,减少人工带来的不准确性和盲目性,提高目标分类识别整体性能。
为实现上述目的,本发明采用的技术方案是:一种基于卷积神经网络和多模 态融合的分类识别方法,包括以下步骤:
(1)对雷达目标原始回波信号的获取及处理;
(2)目标多普勒数据融合和目标距离-多普勒像的获取;
(3)构建基于卷积神经网络的多模态融合模型,其中目标多普勒数据使用一维 卷积神经网络,距离-多普勒像使用二维卷积神经网络;
(4)对网络模型进行训练和测试,得到稳定的模型和目标类别结果;
(5)将两种分类识别模块得到的分类结果,通过自然贝叶斯算法进行决策级融合,得到目标最终分类识别的综合结果。
进一步的,所述步骤(1)中所述的雷达接收到的目标原始回波信号描述为:
Figure BDA0003653432540000021
其中sr(t)为接收信号,a是接收信号的幅度,f0是发射信号的载频,fD是多普勒 频移,
Figure BDA0003653432540000022
是由于目标运动引起的接收信号的相移,通过与下式发射信号混频:
st(t)=acos(2πf0t)
经过同步检波器和低通滤波器,形成一个复多普勒信号如下:
Figure BDA0003653432540000023
将其按照模值排列、I路排列和Q路排列重新对数据进行计算,可以得到目 标回波的每一帧距离-多普勒-幅值数据;截取每帧目标所在前后4个距离单元和 左右16个多普勒通道的数据构成数据集。
所述步骤(2)中所描述目标多普勒数据融合是将每个距离单元内的不同模 态多普勒数据直接串联成一条数据,融合成目标一维数据,结果如下:
f(x)=concat[dis1,dis2,dis3,...,dish]
其中,dish是指第n个距离单元所有一维多普勒通道数据,经过concat串联 函数实现不同模态的数据融合;
串联的目标一维多普勒数据构成输入一维卷积神经网络的数据集,截取后目 标4×16维度的距离-多普勒像构成输入二维卷积神经网络的数据集。
所述步骤(3)中描述构建基于卷积神经网络的多模态融合模型,具体过程 如下:所述的一维卷积神经网络和二维卷积神经网络的结构,包含输入层、卷积 层、池化层、全连接层和输出层;卷积层通过卷积核的滑动提取局部特征,为提 高模型的非线性表达能力,对卷积层输出的局部特征,通过激活函数进行处理, 利用池化层来降低特征维度和增大感受野范围,最后通过全连接层实现特征融合, 输出目标类别概率;
(3a)卷积层表示为:输入网络的数据尺寸为m×m,设置卷积层包括K个 卷积核,卷积核大小为F×F,填充大小
Figure BDA0003653432540000031
步幅表示为S,则卷积后输 出的尺寸为
Figure BDA0003653432540000032
对于离散的序列,卷积过程表示为:
Figure BDA0003653432540000033
对于二维图像,卷积过程表示为:
Figure BDA0003653432540000034
其中x表示输入序列,h表示卷积核,k,j表示数据数据的长度,*表示卷积操作;
(3b)激活函数采用非线性的σ=ReLu()函数,输出表示为:
σ(G(m,n))=σ(x[m,n]*h[m,n])=max(0,x[m,n]*h[m,n])
(3c)池化层表示为:对输入张量的各个子矩阵进行压缩,设置池化区尺寸 k×k,池化标准为最大池化;输入是m×m维,则输出表示为
Figure BDA0003653432540000035
(3d)全连接层表示为:输入的每个神经元与下一层神经元全连接,输出的 神经元代表每个类别的概率;设置全连接层激活函数和全连接各层神经元个数 L,激活函数通常使用σ=Sigmoid()函数,则连接层输出为:
H=σ(G(m,n))
其中Sigmoid函数为:
Figure BDA0003653432540000036
所述步骤(4)中基于卷积神经网络的目标分类识别训练和测试,具体包括 如下步骤:
(4a)训练构建好的卷积神经网络,包含前向传播过程和后向传播过程;
前向传播过程:在前向传播过程中卷积神经网络每层参数和本层数据进行卷 积运算再加上偏置,逐步向前传递,最终获得整个网络的处理结果;
后向传播过程:输入数据经过前向传播后通过损失函数计算出与真实标签之 间的差异,称为残差,残差通过梯度下降进行反向传播,根据链式求导法则,逐 层更新卷积神经网络各层的可训练的权值和偏置,其中学习速率用于控制残差反 向传播的强度;
(4b)根据损失函数不断迭代更新网络参数,最终得到训练好的网络模型;
卷积神经网络训练的目标是最小化损失函数,常用的损失函数为交叉熵损失 函数:
Figure RE-GDA0003929405160000041
其中yi表示样本xi的真实标签,hθ(xi)表示样本取正类的概率;
卷积神经网络训练采用梯度下降算法进行迭代,梯度向量公式如下:
Figure RE-GDA0003929405160000042
直到损失函数收敛到足够小的值或者训练次数达到最大迭代次数,训练结束, 得到可用于目标分类识别的卷积神经网络模型;
(4c)保存训练好的网络模型参数,输入测试数据得到目标分类识别结果;
将卷积神经网络的模型参数保存为PB方式时,首先会指定保存的会话和特 定的标记,再通过Tensorflow深度学习框架的Saver类中的build方法进行保存, load方法进行恢复;其中variables文件夹里保存了卷积神经网络模型的所有变量 和名称;savedmodel.pb文件保存了卷积神经网络模型的结构等信息;调用保存 的卷积神经网络模型,对测试数据进行处理,得到目标分类识别的结果。
所述步骤(5)中的自然贝叶斯融合算法,假设有n个分类器是相互独立的, 将每个分类器应用在训练集上,得到一个c×c维度的混淆矩阵CMj
Figure BDA0003653432540000043
其中,下标c表示样本总类别个数,
Figure BDA0003653432540000051
表示第j个分类器Dj将训练样本中wk类样本分成ws类的个数,CMj中第s列的和
Figure BDA0003653432540000052
为分类器Dj将样本分类成类别ws的总数;有CMj便可得概率矩阵LMj,其中元素
Figure BDA0003653432540000053
表示Dj分类器 下第wk类样本分成ws类的概率;即
Figure BDA0003653432540000054
因 为分类器间的相互独立性,得到真实类别wk的概率:
Figure BDA0003653432540000055
最终通过真实类别概率取大来确定样本类别的归属。
本发明提出的一种基于卷积神经网络和多模态融合的分类识别方法,与现有 的技术相比具有如下优点:
(1)基于卷积神经网络的分类识别方法具有多层次特征表达能力和非线性 数据拟合能力,相较于其他的目标识别方法具有提取特征更深,识别能力更强的 优势,且减少人工参与所带来的盲目性和不确定性,提高分类识别准确率。
(2)利用多模态融合识别策略,结合目标一维多普勒数据和目标距离-多普 勒二维像,将不同维度的雷达特征数据进行整合,允许网络在不同的表示子空间 里提取到相互关联的特征信息,提升分类识别的精细度。
(3)将不同模态下的分类识别结果采用自然贝叶斯融合算法进行决策级的 融合,通过对个各个分类器进行合理的评估和权值分配,得到比单一分类器更好 的识别效果。
本发明充分利用目标数据的多模态信息,结合卷积神经网络自动的提取特征, 并进一步对识别结果进行决策融合,可用于对城市环境的低慢小雷达目标进行分 类识别。
附图说明
图1是本发明实施流程图;
图2是本发明无人机和汽车多模态数据输入形式;
图3为本发明一维卷积神经网络结构示意图;
图4为本发明二维卷积神经网络结构示意图;
图5为本发明一维和二维卷积神经网络识别精度和损失值随迭代次数的变化 曲线;
图6为本发明多模态融合分类识别综合结果。
具体实施方式
下面结合附图和具体实施例对本发明技术方案进行清楚、完整地描述。
参照图1-6,本发明的一种基于卷积神经网络和多模态融合的分类识别方法, 包括以下步骤:
(1)对雷达目标原始回波信号的获取及处理;
雷达目标回波数据进行脉冲压缩、动目标检测之后得到距离-多普勒二维数据。
(1a)脉冲压缩处理指将发射的宽脉冲信号压缩成窄脉冲信号,本质就是实 现信号的匹配滤波。匹配滤波器是指输出信噪比最大准则下的最佳线性滤波器。 假设线性滤波器的输入端加入信号与噪声的混合波形为:
Figure BDA0003653432540000061
x(t)=s(t)+n(t)
假定噪声为白噪声,其均值为0,功率谱密度为:Pn(w)=n0/2,信号的频 谱函数为S(w),匹配滤波器的传输特性H(w)。则由输出信噪比最大准则条件下 可推出最佳线性滤波器的传输特性为:
Figure BDA0003653432540000062
其中:k为幅度归一化常数,S*(W)为信号S(w)的复共轭。
匹配滤波器的输出为:
Figure BDA0003653432540000063
(频域)
Figure BDA0003653432540000064
(时域)
其脉压结果输出具有sinc函数的包络,表现为
Figure BDA0003653432540000065
点处取得最大值,出现一个脉冲,即达到时域脉冲压缩的目的。
(1b)对信号进行动目标检测,其中动目标检测系统是由一组相邻且部分重 叠的滤波器组,覆盖整个多普勒频率范围窄带多普勒滤波器组构成。N个相邻的 多普勒滤波器组的实现是由N个输出的横向滤波器(N个脉冲和N-1根延迟线), 经过各脉冲不同的加权并求和后形成的。
每个脉冲响应的频率响应函数为:
Figure BDA0003653432540000071
实际上,当滤波器组个数为2的整次幂时,可以用快速傅里叶变换算法来完成动目标检测滤波器。
(1c)获得雷达目标距离-多普勒二维数据
多普勒雷达利用多普勒效应来测量目标的径向速度,多普勒频移通过正交相 位检波器提取,接收信号描述为:
Figure BDA0003653432540000072
其中sr(t)为接收信号,a是接收信号的幅度,f0是发射信号的载频,fD是多普勒 频移,
Figure BDA0003653432540000073
是由于目标运动引起的接收信号的相移,通过与下式发射信 号混频:
st(t)=acos(2πf0t)
经过同步检波器和低通滤波器,形成一个复多普勒信号如下:
Figure BDA0003653432540000074
将其按照模值排列、I路排列和Q路排列重新对数据进行计算,可得到目标 回波的每一帧距离-多普勒-幅值数据。截取每帧目标所在前后4个距离单元和左 右16个多普勒通道的数据构成数据集。
(2)目标多普勒数据融合和目标距离-多普勒像的获取;
目标多普勒数据融合是将每个距离单元内的不同模态多普勒数据直接串联 成一条数据,融合成目标一维数据,如下:
f(x)=concat[dis1,dis2,dis3,...,dish]
其中,dish是指第n个距离单元所有一维多普勒通道数据,经过concat串联 函数实现不同模态的数据融合。
串联的目标一维多普勒数据构成输入一维卷积神经网络的数据集,截取后目 标4×16维度的距离-多普勒像构成输入二维卷积神经网络的数据集。
参照图2,为车和无人机的一维融合多普勒数据和二维距离-多普勒像数据。
(3)构建基于卷积神经网络的多模态融合模型,其中目标多普勒数据使用 一维卷积神经网络,距离-多普勒像使用二维卷积神经网络;
参照图3和图4,本发明的一维和二维卷积神经网络的示意图,包含输入层, 卷积层和池化层,全连接层和输出层。卷积层通过卷积核的滑动提取局部特征, 为提高模型的非线性表达能力,对卷积层输出的局部特征,通过激活函数进行处 理,利用池化层来降低特征维度和增大感受野范围,最后通过全连接层实现特征 融合,输出目标类别概率。
(3a)卷积层表示为:输入网络的数据尺寸为m×m,设置卷积层包括K个 卷积核,卷积核大小为F×F,填充大小
Figure BDA0003653432540000081
步幅表示为S,则卷积后输 出的尺寸为
Figure BDA0003653432540000082
对于离散的序列,卷积过程表示为:
Figure BDA0003653432540000083
对于二维图像,卷积过程表示为:
Figure BDA0003653432540000084
其中x表示输入序列,h表示卷积核,k,j表示数据数据的长度,*表示卷积操作。
(3b)激活函数采用非线性的σ=ReLu()函数,输出表示为:
σ(G(m,n))=σ(x[m,n]*h[m,n])=max(0,x[m,n]*h[m,n])
(3c)池化层表示为:对输入张量的各个子矩阵进行压缩,设置池化区尺寸 k×k,池化标准为最大池化。输入是m×m维,则输出表示为
Figure BDA0003653432540000085
(3d)全连接层表示为:输入的每个神经元与下一层神经元全连接,输出的 神经元代表每个类别的概率。设置全连接层激活函数和全连接各层神经元个数 L,激活函数通常使用σ=Sigmoid()函数,则连接层输出为:
H=σ(G(m,n))
其中Sigmoid函数为:
Figure BDA0003653432540000086
(4)对网络模型进行训练和测试,得到稳定的模型和目标类别结果;
具体包括如下步骤:
(4a)训练构建好的卷积神经网络,包含前向传播过程和后向传播过程;
前向传播过程:在前向传播过程中卷积神经网络每层参数和本层数据进行卷 积运算再加上偏置,逐步向前传递,最终获得整个网络的处理结果。
后向传播过程:输入数据经过前向传播后通过损失函数计算出与真实标签之 间的差异,称为残差,残差通过梯度下降进行反向传播,根据链式求导法则,逐 层更新卷积神经网络各层的可训练参权值和偏置,其中学习速率用于控制残差反 向传播的强度。
(4b)根据损失函数不断迭代更新网络参数,最终得到训练好的网络模型;
卷积神经网络训练的目标是最小化损失函数,常用的损失函数为交叉熵损失 函数:
Figure RE-GDA0003929405160000091
其中yi表示样本xi的真实标签,hθ(xi)表示样本取正类的概率。
卷积神经网络训练采用梯度下降算法进行迭代,梯度向量公式如下:
Figure RE-GDA0003929405160000092
直到损失函数收敛到足够小的值或者训练达到最大迭代次数,训练结束,得 到可用于目标识别的卷积神经网络模型。
(4c)保存训练好的网络模型参数,输入测试数据得到目标分类识别结果。
本发明将卷积神经网络的模型参数保存为PB方式时,首先会指定保存的会 话和特定的标记,再通过Tensorflow深度学习框架的Saver类中的build方法进 行保存,load方法进行恢复。其中variables文件夹里保存了卷积神经网络模型的 所有变量和名称;savedmodel.pb文件保存了卷积神经网络模型的结构等信息。 调用保存的卷积神经网络模型,对测试数据进行处理,得到目标分类识别的结果。
(5)将两种分类识别模块得到的分类结果,通过自然贝叶斯算法进行决策 级融合,得到目标最终分类识别的综合结果。
决策层融合是先进行识别,再对各个决策结果进行并联,得到融合判决结果。 融合方法采用自然贝叶斯算法,因为该方法需要的先验信息较少,同时又考虑了 不同分类器分类性能之间的差异,是一种性能稳定的融合方法。假设有n个分类 器是相互独立的,将每个分类器应用在训练集上,得到一个c×c维度的混淆矩 阵CMj
Figure BDA0003653432540000101
其中,下标c表示样本总类别个数,
Figure BDA0003653432540000102
表示第j个分类器Dj将训练样本中wk类样本分成ws类的个数,CMj中第s列的和
Figure BDA0003653432540000103
为分类器Dj将样本分类成类别ws的总数。有CMj便可得概率矩阵LMj,其中元素
Figure BDA0003653432540000104
表示Dj分类器 下第wk类样本分成ws类的概率。即
Figure BDA0003653432540000105
因 为分类器间的相互独立性,得到真实类别wk的概率:
Figure BDA0003653432540000106
最终通过真实类别概率取大来确定样本类别的归属。
本发明的效果可以通过实验进一步说明:
1.实验条件
本发明依托在试验场录制的实测雷达数据,真实可靠有价值。本发明专利的 硬件平台:Intel Core i7CPU,内存8GB,软件平台为:Windows 10操作系统和 PyCharm编辑器(python3.8)。
2.实验结果说明
参照图5,为本发明设计的一维和二维卷积神经网络识别精度和损失值随迭 代次数的变化曲线,其中由一维卷积神经网络训练过程可以看出,训练集和测试 集在迭代过程中有一定误差,测试集的损失值随着迭代次数在后期有一定的震荡; 相比之下,二维卷积神经网络的训练训练集和测试集表现的良好,但是分类识别 准确率有所下降。
参照图6,将雷达目标多模态数据分别输入不同维度的卷积神经网络中得到 分类识别的结果,最终在决策级上利用自然贝叶斯算法进行融合,分类识别的准 确率有所提高。
以上描述仅是本发明的一个具体实例,并不构成对本发明的任何限制。显然 对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本 发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于 本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,包括以下步骤:
(1)对雷达目标原始回波信号的获取及处理;
(2)目标多普勒数据融合和目标距离-多普勒像的获取;
(3)构建基于卷积神经网络的多模态融合模型,其中目标多普勒数据使用一维卷积神经网络,距离-多普勒像使用二维卷积神经网络;
(4)对网络模型进行训练和测试,得到稳定的模型和目标类别结果;
(5)将两种分类识别模块得到的分类结果,通过自然贝叶斯算法进行决策级融合,得到目标最终分类识别的综合结果。
2.根据权利要求1所述的一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,所述步骤(1)中所述的雷达接收到的目标原始回波信号描述为:
Figure FDA0003653432530000011
其中sr(t)为接收信号,a是接收信号的幅度,f0是发射信号的载频,fD是多普勒频移,
Figure FDA0003653432530000012
是由于目标运动引起的接收信号的相移,通过与下式发射信号混频:
st(t)=acos(2πf0t)
经过同步检波器和低通滤波器,形成一个复多普勒信号如下:
Figure FDA0003653432530000013
将其按照模值排列、I路排列和Q路排列重新对数据进行计算,可以得到目标回波的每一帧距离-多普勒-幅值数据;截取每帧目标所在前后4个距离单元和左右16个多普勒通道的数据构成数据集。
3.根据权利要求2所述的一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,所述步骤(2)中所描述目标多普勒数据融合是将每个距离单元内的不同模态多普勒数据直接串联成一条数据,融合成目标一维数据,结果如下:
f(x)=concat[dis1,dis2,dis3,…,disn]
其中,disn是指第n个距离单元所有一维多普勒通道数据,经过concat串联函数实现不同模态的数据融合;
串联的目标一维多普勒数据构成输入一维卷积神经网络的数据集,截取后目标4×16维度的距离-多普勒像构成输入二维卷积神经网络的数据集。
4.根据权利要求3所述的一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,所述步骤(3)中描述构建基于卷积神经网络的多模态融合模型,具体过程如下:所述的一维卷积神经网络和二维卷积神经网络的结构,包含输入层、卷积层、池化层、全连接层和输出层;卷积层通过卷积核的滑动提取局部特征,为提高模型的非线性表达能力,对卷积层输出的局部特征,通过激活函数进行处理,利用池化层来降低特征维度和增大感受野范围,最后通过全连接层实现特征融合,输出目标类别概率;
(3a)卷积层表示为:输入网络的数据尺寸为m×m,设置卷积层包括K个卷积核,卷积核大小为F×F,填充大小
Figure FDA0003653432530000021
步幅表示为S,则卷积后输出的尺寸为
Figure FDA0003653432530000022
对于离散的序列,卷积过程表示为:
Figure FDA0003653432530000023
对于二维图像,卷积过程表示为:
Figure FDA0003653432530000024
其中x表示输入序列,h表示卷积核,k,j表示数据数据的长度,*表示卷积操作;
(3b)激活函数采用非线性的σ=ReLu()函数,输出表示为:
σ(G(m,n))=σ(x[m,n]*h[m,n])=max(0,x[m,n]*h[m,n])
(3c)池化层表示为:对输入张量的各个子矩阵进行压缩,设置池化区尺寸k×k,池化标准为最大池化;输入是m×m维,则输出表示为
Figure FDA0003653432530000025
(3d)全连接层表示为:输入的每个神经元与下一层神经元全连接,输出的神经元代表每个类别的概率;设置全连接层激活函数和全连接各层神经元个数L,激活函数通常使用σ=Sigmoid()函数,则连接层输出为:
H=σ(G(m,n))
其中Sigmoid函数为:
Figure FDA0003653432530000026
Figure FDA0003653432530000031
5.根据权利要求4所述的一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,所述步骤(4)中基于卷积神经网络的目标分类识别训练和测试,具体包括如下步骤:
(4a)训练构建好的卷积神经网络,包含前向传播过程和后向传播过程;
前向传播过程:在前向传播过程中卷积神经网络每层参数和本层数据进行卷积运算再加上偏置,逐步向前传递,最终获得整个网络的处理结果;
后向传播过程:输入数据经过前向传播后通过损失函数计算出与真实标签之间的差异,称为残差,残差通过梯度下降进行反向传播,根据链式求导法则,逐层更新卷积神经网络各层的可训练的权值和偏置,其中学习速率用于控制残差反向传播的强度;
(4b)根据损失函数不断迭代更新网络参数,最终得到训练好的网络模型;
卷积神经网络训练的目标是最小化损失函数,常用的损失函数为交叉熵损失函数:
Figure RE-RE-FDA0003929405150000032
其中yi表示样本xi的真实标签,hθ(xi)表示样本取正类的概率;
卷积神经网络训练采用梯度下降算法进行迭代,梯度向量公式如下:
Figure RE-RE-FDA0003929405150000033
直到损失函数收敛到足够小的值或者训练次数达到最大迭代次数,训练结束,得到可用于目标分类识别的卷积神经网络模型;
(4c)保存训练好的网络模型参数,输入测试数据得到目标分类识别结果;
将卷积神经网络的模型参数保存为PB方式时,首先会指定保存的会话和特定的标记,再通过Tensorflow深度学习框架的Saver类中的build方法进行保存,load方法进行恢复;其中variables文件夹里保存了卷积神经网络模型的所有变量和名称;saved model.pb文件保存了卷积神经网络模型的结构等信息;调用保存的卷积神经网络模型,对测试数据进行处理,得到目标分类识别的结果。
6.根据权利要求5所述的一种基于卷积神经网络和多模态融合的分类识别方法,其特征在于,所述步骤(5)中的自然贝叶斯融合算法,假设有n个分类器是相互独立的,将每个分类器应用在训练集上,得到一个c×c维度的混淆矩阵CMj
Figure FDA0003653432530000041
其中,下标c表示样本总类别个数,
Figure FDA0003653432530000042
表示第j个分类器Dj将训练样本中wk类样本分成ws类的个数,CMj中第s列的和
Figure FDA0003653432530000043
为分类器Dj将样本分类成类别ws的总数;有CMj便可得概率矩阵LMj,其中元素
Figure FDA0003653432530000044
表示Dj分类器下第wk类样本分成ws类的概率;即
Figure FDA0003653432530000045
因为分类器间的相互独立性,得到真实类别wk的概率:
Figure FDA0003653432530000046
最终通过真实类别概率取大来确定样本类别的归属。
CN202210565919.XA 2022-05-20 2022-05-20 一种基于卷积神经网络和多模态融合的分类识别方法 Pending CN115438708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565919.XA CN115438708A (zh) 2022-05-20 2022-05-20 一种基于卷积神经网络和多模态融合的分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565919.XA CN115438708A (zh) 2022-05-20 2022-05-20 一种基于卷积神经网络和多模态融合的分类识别方法

Publications (1)

Publication Number Publication Date
CN115438708A true CN115438708A (zh) 2022-12-06

Family

ID=84241381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565919.XA Pending CN115438708A (zh) 2022-05-20 2022-05-20 一种基于卷积神经网络和多模态融合的分类识别方法

Country Status (1)

Country Link
CN (1) CN115438708A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205522A (zh) * 2023-01-31 2023-06-02 中国测绘科学研究院 一种多维cnn耦合的滑坡易发性评价方法及系统
CN117237777A (zh) * 2023-11-13 2023-12-15 四川观想科技股份有限公司 一种基于多模态融合的船舶目标识别方法
CN117556208A (zh) * 2023-11-20 2024-02-13 中国地质大学(武汉) 多模态数据的智能卷积通用网络预测方法、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205522A (zh) * 2023-01-31 2023-06-02 中国测绘科学研究院 一种多维cnn耦合的滑坡易发性评价方法及系统
CN116205522B (zh) * 2023-01-31 2023-10-20 中国测绘科学研究院 一种多维cnn耦合的滑坡易发性评价方法及系统
CN117237777A (zh) * 2023-11-13 2023-12-15 四川观想科技股份有限公司 一种基于多模态融合的船舶目标识别方法
CN117237777B (zh) * 2023-11-13 2024-02-27 四川观想科技股份有限公司 一种基于多模态融合的船舶目标识别方法
CN117556208A (zh) * 2023-11-20 2024-02-13 中国地质大学(武汉) 多模态数据的智能卷积通用网络预测方法、设备及介质
CN117556208B (zh) * 2023-11-20 2024-05-14 中国地质大学(武汉) 多模态数据的智能卷积通用网络预测方法、设备及介质

Similar Documents

Publication Publication Date Title
CN110363151B (zh) 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN115438708A (zh) 一种基于卷积神经网络和多模态融合的分类识别方法
CN111220958A (zh) 基于一维卷积神经网络的雷达目标多普勒像分类识别方法
CN111160176B (zh) 基于融合特征的一维卷积神经网络地面雷达目标分类方法
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN111783558A (zh) 一种卫星导航干扰信号类型智能识别方法及系统
CN110532932B (zh) 一种多分量雷达信号脉内调制方式识别方法
CN111880157B (zh) 一种雷达图像中目标的检测方法及系统
CN111736125B (zh) 基于注意力机制和双向堆叠循环神经网络的雷达目标识别方法
CN109711314B (zh) 基于特征融合与sae的雷达辐射源信号分类方法
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
CN109766936A (zh) 基于信息传递和注意力机制的图像变化检测方法
CN111050315B (zh) 一种基于多核双路网络的无线发射机识别方法
CN112986950A (zh) 基于深度学习的单脉冲激光雷达回波特征提取方法
CN112684427A (zh) 基于串行二次强化训练的雷达目标识别方法
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN117233706B (zh) 一种基于多层通道注意力机制的雷达有源干扰识别方法
CN111711585B (zh) 一种基于深度学习的实时信号序列检测方法
CN116894223A (zh) 一种基于自适应对消与ResNet神经网络的机载水下异常检测方法
Ruan et al. Automatic recognition of radar signal types based on CNN-LSTM
CN115600101B (zh) 一种基于先验知识的无人机信号智能检测方法及装置
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN114966587A (zh) 基于卷积神经网络融合特征的雷达目标识别方法及系统
CN113361639A (zh) 一种基于深度学习的辐射源信号多模型综合分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination