CN113095417B - 基于融合图卷积和卷积神经网络的sar目标识别方法 - Google Patents

基于融合图卷积和卷积神经网络的sar目标识别方法 Download PDF

Info

Publication number
CN113095417B
CN113095417B CN202110408681.5A CN202110408681A CN113095417B CN 113095417 B CN113095417 B CN 113095417B CN 202110408681 A CN202110408681 A CN 202110408681A CN 113095417 B CN113095417 B CN 113095417B
Authority
CN
China
Prior art keywords
target
network
graph
sar
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110408681.5A
Other languages
English (en)
Other versions
CN113095417A (zh
Inventor
杜兰
李晨
李毅
宋佳伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110408681.5A priority Critical patent/CN113095417B/zh
Publication of CN113095417A publication Critical patent/CN113095417A/zh
Application granted granted Critical
Publication of CN113095417B publication Critical patent/CN113095417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于融合图卷积和卷积神经网络的SAR目标识别方法，解决了现有技术对SAR目标信息挖掘不充分的技术问题。实现包括：目标参数提取；构建图模型；提取目标的空间结构特征和视觉特征；训练样本特征融合并得到预测结果；构造损失函数进行目标识别网络优化；测试样本特征提取与特征融合；测试样本分类，得到SAR目标识别结果。本发明用CNN强大的特征提取能力的优势从SAR图像幅度中提取视觉特征，设计图卷积网络挖掘SAR目标的电磁散射信息提取空间结构特征，将视觉和空间结构特征融合后对SAR目标信息挖掘更加充分，包含的信息更加丰富，实现简单，提升了SAR目标识别性能。应用于SAR目标识别。

Description

基于融合图卷积和卷积神经网络的SAR目标识别方法
技术领域
本发明属于通信技术领域，更进一步涉及雷达自动目标识别技术，具体是一种基于融合图卷积网络和卷积神经网络的SAR(Synthetic Aperture Radar)目标识别方法。本发明可以用于对复杂背景下SAR目标进行识别分类。
背景技术
合成孔径雷达SAR具有全天候、全天时、分辨率高以及穿透力强等特点，成为目前对地观测和军事侦察的重要手段，合成孔径雷达SAR图像自动目标识别受到越来越广泛的关注。传统的SAR目标识别方法分为两类，一类是主要是基于图像处理、统计等方法手工设计特征并设计分类器用于目标识别，典型的SAR图像目标识别特征有原始图像、Gabor纹理特征、阴影形状特征等，分类器通常采用支持向量机SVM、稀疏表示分类器等，另一类方法是基于散射中心模型匹配的方法，主要思想是将未知目标的散射中心特征与目标模型库中的特征进行匹配识别，这种方法一般需要进行对SAR目标进行参数化建模，识别性能对模型依赖性强，而实际场景中难以建立合适完备的模型库。随着深度学习的发展，基于深度学习的SAR目标识别方法越来越受到关注，大致可以分为两类，一类是典型的特征提取+分类器两阶段训练过程，通常采用无监督模型如AE、RBM等方法先进行特征提取再用SVM分类器，另一类是更常用的特征提取与分类器联合训练的端到端的过程，以CNN为代表，目前在SAR目标识别方面取得了非常好的性能。但是这些方法一般只利用到SAR目标的图像域幅度信息，而对目标的电磁散射信息没有充分利用。通常做法是将幅度信息作为CNN网络的输入来进行学习，只提取到了SAR目标的视觉信息，而电磁散射信息作为SAR目标的重要组成部分之一，反映了目标的真实物理结构，属性散射中心(ASC)作为目前对SAR目标建模充分模型，自从九十年代被提出来后受到了广泛关注，但是现有利用ASC进行识别的方法一般是基于模板匹配等方法，而目前并没有基于深度学习的对SAR目标ASC进行学习的方法，
西安电子科技大学在其申请的专利文献“基于CNN的SAR目标识别方法”(专利申请号CN201510165886.X，公开号CN104732243B)中提出了一种基于CNN的SAR目标识别方法。该方法的实现过程是：对训练样本中每个SAR图像的待识别目标区域进行多次的随机平移，每次平移产生一个与原始训练样本类别相同的训练样本作为扩充后的训练样本；构建由两层卷积层和两层全连接层构成的卷积神经网络；将扩充后的训练样本输入到CNN网络模型中进行训练，得到训练好的CNN网络模型；对测试样本中每个SAR图像的待识别目标区域进行多次随机平移，每次平移后产生一个新的测试样本图像；将扩充后的测试样本输入到训练好的CNN网络模型中得到特征向量，再将特征向量输入到一个softmax分类器进行分类得到识别结果。该方法利用了数据扩充方式来减轻SAR目标少样本带来的过拟合问题，且构建了合适的CNN模型对SAR图像提取丰富的视觉特征，得到较好的识别结果。但是该方法仍然存在的不足是，针对SAR目标而言仅仅将SAR图像的幅度信息作为CNN模型的输入，并没有考虑SAR目标的相位信息以及SAR目标的电磁散射结构等重要物理信息，对SAR目标的物理特性挖掘不足，使得模型学习到的特征不够充分，不能很全面的反映SAR目标的结构特点，限制了模型的识别性能。
Baiyuan Ding,Gongjian Wen,Xiaohong Huang等在论文“Target Recognitionin Synthetic Aperture Radar Images via Matching of Attributed ScatteringCenters”中提出了一种基于ASC的模板匹配方法用于SAR目标识别。该方法的实现过程是：对SAR目标训练样本和测试样本进行ASC参数估计；设计了一种基于统计的距离度量策略来计算不同ASC之间的距离；采用匈牙利匹配算法来对训练和测试ASC集合构建一对一的对应关系；计算两个ASC集合之间的全局相似性和局部相似性；采用D-S证据理论对全局相似性和局部相似性进行融合，根据最大置信度准则得到测试样本的识别结果。该方法的不足之处是，需要建立模板集并对测试集的ASC与模板集的ASC进行匹配，依赖模板集的建立以及复杂的匹配算法，而实际中对于非合作目标难以建立合适的模板库。
现有的SAR目标识别方法对于SAR目标的内在信息挖掘不足，采用CNN方法虽然对目标的特征提取能力很强，但是只利用了SAR目标的幅度信息，缺乏对SAR目标电磁散射信息的利用；采用模板匹配方法利用了SAR目标的电磁散射信息，但是对模板库过度依赖，且缺乏对SAR目标幅度信息的利用。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出一种识别性能更高的基于融合图卷积网络和卷积神经网络的SAR目标识别方法。
本发明是一种基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，对SAR目标提取属性散射中心参数并构建图模型，采用图卷积网络提取空间结构特征，并与SAR图像通过卷积神经网络提取的视觉特征进行融合，实现SAR目标识别，包括有如下步骤：
(1)目标参数提取：获取SAR目标数据将其分为训练样本和测试样本，分别进行反映目标电磁散射特性的属性散射中心的7个参数提取，包括幅度、频率依赖因子、距离维坐标x、方位维坐标y、长度L、方位角φ以及方位依赖因子7个参数；
(2)构建图模型：分别用训练样本和测试样本提取的属性散射中心构建反映目标空间结构的图模型：
(2a)根据SAR目标训练样本的属性散射中心参数将属性散射中心建模为节点，并通过距离度量确定节点之间的连接，得到训练样本对应的图模型；
(2b)根据SAR目标测试样本的属性散射中心参数将属性散射中心建模为节点，并通过距离度量确定节点之间的连接，得到测试样本对应的图模型；
(3)提取目标的空间结构特征：采用图卷积网络对训练样本对应的图模型提取目标的空间结构特征；
(4)提取目标的视觉特征：采用卷积神经网络对训练样本提取目标的视觉特征；
(5)训练样本特征融合并得到预测结果：将训练样本的视觉特征与空间结构按特征拼接方式进行特征融合，融合后特征经过一个全连接层后进行softmax操作得到目标训练样本的预测结果，由图卷积网络和卷积神经网络以及全连接层构成目标识别网络；
(6)构造损失函数进行目标识别网络优化：将目标训练样本预测结果与真实标签构造交叉熵损失函数，采用随机梯度下降算法对交叉熵损失函数进行优化求解，得到训练好的目标识别网络；
(7)测试样本特征提取与特征融合：采用训练好的目标识别网络中的图卷积网络对测试样本的图模型提取空间结构特征，采用训练好的目标识别网络中的卷积神经网络对测试样本提取视觉特征，并将提取的两种特征按照特征拼接方式进行融合，得到测试样本的融合特征；
(8)测试样本分类，得到SAR目标识别结果：将测试样本的融合特征经过训练好的目标识别网络中的全连接层后接softmax操作得到测试样本的网络输出概率，概率最大的类别即为SAR目标测试样本的识别结果。
本发明解决了现有技术对SAR目标信息挖掘不充分的技术问题。
本发明与现有的技术相比具有以下优点：
提取的目标特征更丰富，识别率高：由于本发明同时采用了SAR目标幅度信息以及电磁散射信息，并在特征层将两者学到的特征进行融合，克服了现有技术只用SAR目标幅度信息以及只用电磁散射信息等方法对SAR目标信息挖掘的不足，使得本发明具有特征更丰富，识别率高的优点。
减少对训练模板库的依赖：由于本发明对ASC参数构建图关系并采用图卷积网络提取SAR目标的结构特征，同时结构特征与图像特征融合后映射到标签实现了端到端的学习，克服了现有技术基于ASC的模板匹配方法对模板库的依赖。
附图说明
图1是本发明的流程框图；
图2是本发明的原理框架图；
图3是本发明仿真使用的数据图，其中图3(a)表示BMP2装甲车实测图像，图3(b)表示BTR70装甲车实测图像，图3(c)表示T72坦克实测图像。
具体实施方式
下面结合附图对本发明详细描述。
实施例1
现有技术中采用CNN方法只利用了SAR目标的幅度信息，缺乏对SAR目标电磁散射信息的利用；采用模板匹配方法利用了SAR目标的电磁散射信息，但是对模板库过度依赖，且缺乏对SAR目标幅度信息的利用。总体来说，现有技术对SAR目标本身信息挖掘不够充分，本发明针对此现状展开了探索与研究，提出一种基于融合图卷积网络和卷积神经网络的SAR(Synthetic Aperture Radar)目标识别方法。
本发明是一种基于融合图卷积网络和卷积神经网络的SAR目标识别方法，参见图1，本发明对SAR目标提取属性散射中心参数并构建图模型，采用图卷积网络提取空间结构特征，并与SAR图像通过卷积神经网络提取的视觉特征进行融合，实现SAR目标识别，包括有如下步骤：
(1)目标参数提取：首先获取SAR目标数据将其分为训练样本和测试样本，分别进行反映目标电磁散射特性的属性散射中心的7个参数提取，包括幅度、频率依赖因子、距离维坐标x、方位维坐标y、长度L、方位角φ以及方位依赖因子7个参数。属性散射中心模型用一组参数描述每个散射中心的位置、形状、方向以及幅度等物理与几何属性，因此属性散射中心模型能够更精确地描述目标的电磁特征，有利于提高SAR目标识别性能。
(2)构建图模型：分别用训练样本和测试样本提取的属性散射中心构建反映目标空间结构的图模型。
根据SAR目标训练样本的属性散射中心参数将属性散射中心建模为节点，并通过距离度量确定节点之间的连接，得到训练样本对应的图模型；根据SAR目标测试样本的属性散射中心参数将属性散射中心建模为节点，并通过距离度量确定节点之间的连接，得到测试样本对应的图模型。
本发明通过属性散射中心参数提取从每幅SAR图像中提取出相关目标的物理特征，每个属性散射中心可以通过属性散射模型中的7个参数来进行表示，这样就将每幅SAR图像转化为一组离散的参数。但是直接对一组离散的参数提取特征很难，本发明考虑将每个属性散射中心看做节点，属性散射中心的七个参数作为节点特征，这样就将一组离散的参数表示为图模型。图模型中节点之间的连接即属性散射中心的连接可以一定程度上反映出SAR目标本身的空间物理结构，节点的特征可以反映出SAR目标的物理特征。本发明分别用训练样本和测试样本提取的属性散射中心构建图模型来反映SAR目标的空间结构，从而更加充分的挖掘目标的电磁散射特性。
(3)提取目标的空间结构特征：采用图卷积网络对训练样本对应的图模型提取目标的空间结构特征，图模型中包含有目标的空间结构特性，由于图卷积网络本身能够对图模型数据直接进行学习，而且图卷积网络可以同时对图模型的节点特征以及节点之间的连接进行学习，本发明采用图卷积网络进行学习能够更好的挖掘图模型中的信息，提取得到目标的空间结构特征。
(4)提取目标的视觉特征：由于卷积神经网络对于图像数据具有强大的特征提取能力，本发明采用卷积神经网络可以对训练样本提取目标的视觉特征，可以很好的对SAR目标的幅度信息进行特征提取。
(5)训练样本特征融合并得到预测结果：将训练样本的视觉特征与空间结构按特征拼接方式进行特征融合，融合后特征经过一个全连接层后进行softmax操作得到目标训练样本的预测结果，由图卷积网络和卷积神经网络以及全连接层构成目标识别网络。
卷积神经网络可以很好的对SAR图像的幅度信息充分利用，提取的视觉特征能够很好的反映SAR图像的全局信息；图卷积网络针对SAR图像提取的图模型进行学习，提取的空间结构特征能够很好的反映SAR目标的物理结构信息。两个信息本身存在一定的互补之处，本发明将其按照特征拼接方式进行融合，融合后的特征能够同时包含了SAR图像的幅度信息和物理结构信息，特征更加更加丰富，通过融合方式对SAR图像本身进行了更加充分的信息挖掘。融合后的特征通过一个全连接层后将其映射到分类标签，由于softmax能够将实数域向量转化为和为1的概率向量，通过softmax后的网络输出预测结果即为样本分类到所有类别的概率。
(6)构造损失函数进行目标识别网络优化：将目标训练样本预测结果与真实标签构造交叉熵损失函数，采用随机梯度下降算法对交叉熵损失函数进行优化求解，得到训练好的目标识别网络。
对于训练数据而言能够获取得到目标的真实标签，期望通过目标识别网络得到的目标训练样本的预测结果能够拟合目标的真实标签，本发明构造了交叉熵损失函数来衡量训练样本的预测结果与真实标签之间的差距，通过最小化交叉熵损失函数使得网络能够提取得到对分类有帮助的特征。
(7)测试样本特征提取与特征融合：采用训练好的目标识别网络中的图卷积网络对测试样本的图模型提取空间结构特征，采用训练好的目标识别网络中的卷积神经网络对测试样本提取视觉特征，并将提取的两种特征按照特征拼接方式进行融合，得到测试样本的融合特征。
(8)测试样本分类，得到SAR目标识别结果：将测试样本的融合特征经过训练好的目标识别网络中的全连接层后接softmax操作得到测试样本的网络输出概率，概率最大的类别即为SAR目标测试样本的识别结果。
现有的SAR目标识别方法对于SAR目标的内在信息挖掘不足，采用CNN方法虽然对目标的特征提取能力很强，但是只利用了SAR目标的幅度信息，缺乏对SAR目标电磁散射信息的利用；采用模板匹配方法利用了SAR目标的电磁散射信息，但是对模板库过度依赖，且缺乏对SAR目标幅度信息的利用。针对这一问题，本发明提出了基于融合图卷积网络和卷积神经网络的SAR目标识别方法，充分利用CNN强大的特征提取能力的优势从SAR图像幅度中提取视觉特征，同时设计图卷积网络对SAR目标的电磁散射信息进行挖掘来提取空间结构特征，将视觉特征和空间结构特征进行融合后的融合特征对SAR目标的信息挖掘更加充分，融合特征包含的信息更加丰富，更具表征能力，从而能很好的提升目标识别性能。
本发明给出了一个基于融合图卷积网络和卷积神经网络的SAR目标识别的完整技术方案，对SAR目标提取属性散射中心参数并构建图模型，采用图卷积网络提取空间结构特征，并与SAR目标通过卷积神经网络提取的视觉特征进行融合，融合后特征对SAR目标的信息挖掘更加充分，能很好的提升目标识别性能。本发明结合目前深度网络的优势，建立合适的模型同时对SAR目标的幅度信息以及电磁散射信息进行学习，分别提取对应的视觉特征和物理特征并进行融合，实现端到端的SAR目标识别。
实施例2
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1，本发明步骤(2)中所述构建图模型，分别用训练样本和测试样本提取的属性散射中心构建反映目标空间结构的图模型。通过属性散射中心参数提取从每幅SAR图像中提取出相关目标的物理特征，每个属性散射中心可以通过属性散射模型中的7个参数来进行表示，这样就将每幅SAR图像转化为一组离散的参数。但是直接对一组离散的参数提取特征很难，本发明考虑将每个属性散射中心看做节点，属性散射中心的七个参数作为节点特征，这样就将一组离散的参数表示为图模型。图模型中节点之间的连接即属性散射中心的连接可以一定程度上反映出SAR目标本身的空间物理结构，节点的特征可以反映出SAR目标的物理特征。本发明分别用训练样本和测试样本提取的属性散射中心构建图模型来反映SAR目标的空间结构，从而更加充分的挖掘目标的电磁散射特性。对训练样本和测试样本均进行图模型构建，具体包括有如下步骤：
(2a)根据SAR目标样本的属性散射中心参数中长度L是否大于0对属性散射中心进行划分，将L＝0分为局部式属性散射中心，将L>0分为分布式属性散射中心。
由于局部式属性散射中心和分布式属性散射中心的特性不同，先按照长度L是否大于0对属性散射中心进行划分，将L＝0分为局部式属性散射中心，将L>0分为分布式属性散射中心。
(2b)将每个局部式属性散射中心建模为1个节点，节点特征为提取的属性散射中心的7个参数。
由于局部式属性散射中心长度为0，因此对于局部式属性散射中心将其建模为一个节点，节点特征为提取的属性散射中心的7个参数，注意对于属性散射中心的复幅度A需要对其进行取模值操作将其转化为实数域。
(2c)将每个分布式属性散射中心按照中心和左右两端方式建模为3个节点，中心节点特征为其对应的属性散射中心的7个参数，两端节点除坐标外其他特征与中心节点特征相同，左右两端节点的坐标根据下面公式得到；
其中，(x,y)分别表示中心节点的距离维和方位维坐标，(xleft,yleft)分别表示左节点的距离维和方位维坐标，(xright,yright)分别表示右节点的距离维和方位维坐标，L表示属性散射中心的长度，φ表示属性散射中心的方位角，sin()表示正弦函数运算，cos()表示余弦函数运算。
由于分布式属性散射中心长度L>0，因此对于分布式属性散射中心将其建模为由中心和左右两端组成的3个节点，这3个节点可以反映出分布式属性散射中心的物理结构，节点特征为提取的属性散射中心的7个参数，其中中心节点特征为其对应的属性散射中心的7个参数，两端节点除坐标外其他特征与中心节点特征相同，坐标位置可以根据几何关系计算得到。
(2d)按照下式计算任意两个属性散射中心P,Q的中心节点之间的欧氏距离：
其中，dis(P,Q)表示任意两个属性散射中心P,Q的中心节点之间的欧氏距离，(xP,yP)表示属性散射中心P的中心节点坐标，(xQ,yQ)表示属性散射中心Q的中心节点坐标。
通过距离度量的方式可以计算出任意两个属性散射中心的中心节点之间的欧式距离，不同属性散射中心之间的距离可以在一定程度上反映出目标内部的空间结构关系。
(2e)通过距离判断中心节点之间是否存在边连接：设定阈值τ，判断距离dis(P,Q)是否小于τ，如果是，则两个属性散射中心的中心节点之间存在边连接，否则不存在边连接。
阈值τ的设置对于结果的影响比较关键，太大的话则节点连接过于紧密，这种情形下难以体现不同类别SAR目标之间的结构区别，太小的话则连接过于稀疏，同样又难以体现出SAR目标的结构信息，因此阈值τ应当选取一个适中的值，具体实验中可以根据数据具体设置。
(2f)中心和左右两端节点之间进行边连接：将所有分布式属性散射中心的中心和左右两端节点进行边连接。
为了保证分布式散射中心本身的结构特性，因此将其建模成的三个节点不能断开，必须进行连接，因此将分布式属性散射中心的中心和左右两端节点进行边连接。
实施例3
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-2，采用图卷积网络对训练样本对应的图模型提取目标的空间结构特征，图模型中包含有目标的空间结构特性，由于图卷积网络本身能够对图模型数据直接进行学习，本发明将图模型输入搭建好的图卷积网络从而提取目标的空间结构特征，具体包括有如下步骤：
(3a)图模型节点特征学习：通过第一个图卷积网络对图模型中每个节点进行特征学习，公式表示如下：
Z＝GCNembed(R,H)
＝σ(RHWembed)
其中，Z表示学习到的节点特征矩阵，GCNembed表示学习特征的图卷积网络，R表示图模型的二值邻接矩阵，邻接矩阵中的Rm,n值为1则表示图模型中节点m,n之间存在边连接，Rm,n值为0则表示图模型中节点m,n之间不存在边连接，H表示图模型中节点的特征矩阵，σ表示激活函数，Wembed表示第一个图卷积网络的权重矩阵。
(3b)图模型簇分配矩阵学习：通过第二个图卷积网络为每个节点学习出所属各个簇的概率分布，公式表示如下：
S＝softmax(GCNpool(R,H))
＝softmax(σ(RHWpool))
其中，S表示图卷积网络学习到的簇分配矩阵，簇分配矩阵中的Sm,n表示将第m个节点分配为第n个节点的概率，GCNpool表示学习簇分配矩阵的图卷积网络；针对任意一个向量V，经过softmax操作的输出的第k个元素值为softmax(V)k，J表示向量V的长度；Wpool表示第二个图卷积网络的权重。
(3c)对图模型进行图坍缩：有了Z和S之后，对图模型进行图坍缩，公式表示如下：
Z1＝STZ
R1＝STRS
其中，Z1表示坍缩后图模型中节点的特征矩阵，S表示簇分配矩阵，ST表示簇分配矩阵S的转置，R1表示坍缩后图模型的邻接矩阵。通过图坍缩之后的图模型节点个数会有所减少，能够将原始图模型中具有很强关联的节点聚合到一个节点，从而学习到原始图模型中的结构关系。
(3d)坍缩后图模型特征学习：对坍缩后的图采用第三个图卷积进行特征学习，公式表示如下：
Z2＝GCNembed1(R1,Z1)
＝σ(R1Z1Wembed1)
其中，Z2表示坍缩后图模型学习到的节点特征，GCNembed1表示对坍缩后图模型进行特征学习的图卷积网络；Wembed1表示第三个图卷积网络的权重矩阵。
(3e)得到样本的空间结构特征：对坍缩后图模型学习到的节点特征取均值得到样本的空间结构特征，公式表示如下：
floc＝mean(Z2)
其中，floc表示样本的空间结构特征，mean()表示沿特征维取均值操作，得到的空间结构特征充分挖掘了SAR目标的物理信息，能够更好的反映SAR目标电磁散射特性。
实施例4
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-3，
步骤(5)中所述的训练样本特征融合，是对训练样本的视觉特征和空间结构特征按照下式进行融合：
ffus＝concat(fvis,floc)
其中，ffus表示融合后的特征，concat表示拼接操作，fvis表示视觉特征，floc表示空间结构特征。
卷积神经网络可以很好的对SAR图像的幅度信息充分利用，提取的视觉特征能够很好的反映SAR图像的全局信息；图卷积网络针对SAR图像提取的图模型进行学习，提取的空间结构特征能够很好的反映SAR目标的物理结构信息。两个信息本身存在一定的互补之处，将其按照特征拼接方式进行融合，融合后的特征能够同时包含了SAR图像的幅度信息和物理结构信息，特征更加更加丰富，通过融合方式对SAR图像本身进行了更加充分的信息挖掘。
实施例5
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-4，
步骤(5)中所述得到预测结果，是融合特征经过一个全连接层后进行softmax操作得到网络输出预测结果，用公式表示如下：
其中，表示第i个训练样本的网络输出预测结果，W表示全连接层的权重，WT表示W的转置，b表示全连接层的偏置。
融合后的特征能同时反映SAR图像的幅度信息和物理结构信息，将其通过全连接层映射到标签，softmax能够将实数域向量转化为和为1的概率向量，因此通过softmax后的网络输出预测结果即为样本分类到所有类别的概率。
实施例6
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-5，
步骤(6)中所述的构造损失函数进行目标识别网络优化，其中交叉熵损失函数用公式表示如下：
其中，LCE表示交叉熵损失，N表示训练样本总数，yi表示第i个训练样本的真实标签，log()表示以自然常数为底的对数操作，表示第i个训练样本的目标识别网络输出预测结果。
通过随机梯度下降算法可以对目标识别网络进行优化，考虑到实际硬件存储和计算效率问题，实际中一般采用mini-batch随机梯度下降算法进行优化。
下面给出更加详细的例子，对本发明进一步说明。
实施例7
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-6，参照图(2)，SAR目标识别包括如下步骤：
(1)获取SAR目标数据将其分为训练样本和测试样本，分别进行属性散射中心参数提取：
(1a)建立属性散射中心模型：
根据雷达目标特性，利用各单个散射中心的响应之和可以近似出在高频区域对目标后向散射的分布情况:
其中f表示频率，φ表示方位角，目标的属性散射中心数目表示为K，属性散射中心参数集表示为对于单个属性散射中心，采用属性散射中心模型描述目标的后向散射特性如下：
其中c表示电磁波传播速度，c＝3×108m/s，φ表示方位角，fc表示雷达中心频率，Ai表示第i个属性散射中心的复幅度，j表示虚数单位，αi表示第i个属性散射中心的频率依赖因子，一般αi∈{-1,-0.5,0,0.5,1}，xi和yi分别表示第i个属性散射中心沿距离维和方位维的坐标，方位属性参数则表征散射中心对方位角的依赖关系。对于局部式散射中心Li＝0，/>γi为方位依赖因子；对于分布式散射中心Li为散射中心长度，/>为其倾斜角，γi＝0。属性散射中心模型用一组参数描述每个散射中心的位置、形状、方向以及幅度等物理与几何属性，因此属性散射中心模型能够更精确地描述目标的电磁特征，有利于提高基于SAR图像的目标识别性能。
(1b)属性散射中心参数估计：
属性散射中心提取本质上是一个从目标回波数据中估计各个散射中心参数的过程，即电磁逆散射问题。属性散射中心参数估计不仅是高维问题，而且还是非线性和非凸问题。属性散射中心参数的精确估计对于后续的特征提取非常关键。本发明采用了杨栋文等人发表的论文“Efficient Attributed Scatter Center Extraction Based on Image-Domain Sparse Representation”中的方法对SAR目标的属性散射中心进行参数估计，首先将SAR测量值转换为图像域中的稀疏表示，然后采用牛顿正交匹配追踪算法估计属性散射中心参数。该方法具有提取精度高，计算速度快的优点。
(2)构建图模型：参照图(2)，图(2)中根据提取从SAR目标中得到的ASC参数可以将属性散射中心建模为节点，同时采用距离度量确定边连接来确定节点之间的连接，进而反映SAR目标内部空间结构关系。
(2a)根据SAR目标样本的属性散射中心参数中长度L是否大于0将属性散射中心分为局部式属性散射中心(L＝0)和分布式属性散射中心(L>0)。
由于局部式属性散射中心和分布式属性散射中心的特性不同，因此先按照长度L是否大于0将属性散射中心分为局部式属性散射中心(L＝0)和分布式属性散射中心(L>0)。
(2b)将每个局部式属性散射中心建模为1个节点，节点特征为提取的属性散射中心的7个参数。
由于局部式属性散射中心长度为0，因此对于局部式属性散射中心将其建模为一个节点，节点特征为提取的属性散射中心的7个参数，注意对于属性散射中心的复幅度A需要对其进行取模值操作将其转化为实数域。
(2c)将每个分布式属性散射中心按照中心和左右两端方式建模为3个节点，中心节点特征为其对应的属性散射中心的7个参数，两端节点除坐标外其他特征与中心节点特征相同，左右两端节点的坐标根据下面公式得到；
其中，(x,y)分别表示中心节点的距离维和方位维坐标，(xleft,yleft)分别表示左节点的距离维和方位维坐标，(xright,yright)分别表示右节点的距离维和方位维坐标，L表示属性散射中心的长度，φ表示属性散射中心的方位角，sin()表示正弦函数运算，cos()表示余弦函数运算。
由于分布式属性散射中心长度L>0，因此对于分布式属性散射中心将其建模为由中心和左右两端组成的3个节点，这3个节点可以反映出分布式属性散射中心的物理结构，节点特征为提取的属性散射中心的7个参数，其中中心节点特征为其对应的属性散射中心的7个参数，两端节点除坐标外其他特征与中心节点特征相同，坐标位置可以根据几何关系计算得到。
(2d)按照下式计算任意两个属性散射中心P,Q的中心节点之间的欧氏距离：
其中，dis(P,Q)表示任意两个属性散射中心P,Q的中心节点之间的欧氏距离，(xP,yP)表示属性散射中心P的中心节点坐标，(xQ,yQ)表示属性散射中心Q的中心节点坐标。
通过距离度量的方式可以计算出任意两个属性散射中心的中心节点之间的欧式距离，不同属性散射中心之间的距离可以在一定程度上反映出目标内部的空间结构关系。
(2e)通过距离判断中心节点之间是否存在边连接：设定阈值τ，判断距离dis(P,Q)是否小于τ，如果是，则两个属性散射中心的中心节点之间存在边连接，否则不存在边连接。
阈值τ的设置对于结果的影响比较关键，太大的话则节点连接过于紧密，这种情形下难以体现不同类别SAR目标之间的结构区别，太小的话则连接连接过于稀疏，同样又难以体现出SAR目标的结构信息，因此阈值τ应当选取一个适中的值，本例中设置τ＝2，在实际操作中可以根据具体情况设置。
(2f)中心和左右两端节点之间进行边连接：将所有分布式属性散射中心的中心和左右两端节点进行边连接。
为了保证分布式散射中心本身的结构特性，因此将其建模成的三个节点不能断开，必须进行连接，因此将分布式属性散射中心的中心和左右两端节点进行边连接。
(3)提取目标的空间结构特征：
(3a)图模型节点特征学习：通过第一个图卷积网络对图模型中每个节点进行特征学习，公式表示如下：
Z＝GCNembed(R,H)
＝σ(RHWembed)
本例中σ采用Relu激活函数，Wembed权重矩阵的大小设置为60×128，参数采用随机初始化，在实际情况中可以根据具体情况设置。
(3b)图模型簇分配矩阵学习：通过第二个图卷积网络为每个节点学习出所属各个簇的概率分布，公式表示如下：
S＝softmax(GCNpool(R,H))
＝softmax(σ(RHWpool))
本例中Wembed权重矩阵的大小设置为60×20，参数采用随机初始化，实际操作中可以根据数据进行设置。
(3c)对图模型进行图坍缩：有了Z和S之后，对图模型进行图坍缩，公式表示如下：
Z1＝STZ
R1＝STRS
本例中坍缩后图模型中节点的特征矩阵Z1大小为20×128，坍缩后图模型的邻接矩阵R1大小为20×20，具体实验中Z1和R1维度由S、Z、R维度确定。
(3d)坍缩后图模型特征学习：对坍缩后的图采用第三个图卷积进行特征学习，公式表示如下：
Z2＝GCNembed1(R1,Z1)
＝σ(R1Z1Wembed1)
本例中Wembed权重矩阵的大小设置为128×512，参数采用随机初始化，实际操作中可以根据数据进行设置。
(3e)得到样本的空间结构特征：对坍缩后图模型学习到的节点特征取均值得到样本的空间结构特征，公式表示如下：
floc＝mean(Z2)
本例中floc为512维特征向量，维度大小由Wembed权重矩阵的第二维决定。
(4)提取目标的视觉特征(4a)搭建卷积神经网络：由于卷积神经网络对于图像数据具有强大的特征提取能力，本发明采用卷积神经网络对训练样本提取目标的视觉特征。现有的VGG16网络在光学图像取得了很好的性能，本发明用于对SAR目标提取视觉特征的卷积神经网络采用了基础的VGG16网络并对其进行了改进，原始的VGG网络包含了13个卷积层，13个Relu层，5个pooling层和两个全连接层。考虑到SAR目标数据量太少，本发明对原始的VGG16网络进行了裁剪，减少了卷积层的数目，同时考虑到全连接层的参数量过多，本发明将全连接层替换为全局平均池化层，从而更好的对目标的全局视觉特征进行特征提取。参照图(2)，图(2)上面支路采用了改进的VGG16网络，具体而言，改进的VGG16网络总共包含了8个卷积层，8个Relu层和5个pooling层和1个全局平均池化层，具体结构为：第一个卷积层→第一个Relu层→第一个pooling层→第二个卷积层→第二个Relu层→第二个pooling层→第三个卷积层→第三个Relu层→第四个卷积层→第四个Relu层→第三个pooling层→第五个卷积层→第五个Relu层→第六个卷积层→第六个Relu层→第四个pooling层→第七个卷积层→第七个Relu层→第八个卷积层→第八个Relu层→第五个pooling层→全局平均池化层。所有卷积核的尺寸均为3×3，卷积核步长均为1，8个卷积层中卷积核的数量分别为64、64、128、128、256、256、512、512；所有pooling层的窗长大小均为2×2，步长均为1，实际操作中可以根据具体情况进行设置。
(4b)卷积神经网络参数初始化：卷积神经网络的参数采用随机初始化。
(4c)提取视觉特征：将训练样本输入搭建好的卷积神经网络进行前向传播，经过全局平均池化后的输出结果即为训练样本的视觉特征。
(5)训练样本特征融合并得到预测结果：
对训练样本的视觉特征和空间结构特征按照下式进行融合：
ffus＝concat(fvis,floc)
融合后的特征通过一个全连接层后将其映射到分类标签，映射后结果通过softmax操作得到网络输出预测结果，用公式表示如下：
本例中融合方式为拼接操作，全连接层权重矩阵W维度为1024×3，偏置向量b维度为3，输出结果维度为3，全连接层权重矩阵W维度由视觉特征和空间结构特征决定。
(6)构造损失函数进行目标识别网络优化：对于训练数据而言能够获取得到目标的真实标签，期望通过目标识别网络得到的目标训练样本的预测结果能够拟合目标的真实标签，本发明构造了交叉熵损失函数，用公式表示如下：
其中，LCE表示交叉熵损失，N表示训练样本总数，yi表示第i个训练样本的真实标签，log()表示以自然常数为底的对数操作，表示第i个训练样本的目标识别网络输出预测结果。
本实例中采用mini-batch随机梯度下降算法对目标识别网络进行优化，每次进行梯度更新的batch大小设置为64，即每64个样本对目标识别网络进行一次参数更新，迭代的次数epoch选取为500次，初始学习率设置为0.001并采用学习率衰减方式每100个epoch衰减0.5，实际操作一般batch大小设置不能太大，初始学习率一般在0.001-0.01之间。
(7)测试样本特征提取与特征融合：采用训练好的目标识别网络中的图卷积网络对测试样本的图模型提取空间结构特征，采用训练好的目标识别网络中的卷积神经网络对测试样本提取视觉特征，并将提取的两种特征按照特征拼接方式进行融合，得到测试样本的融合特征。
(8)测试样本分类，得到SAR目标识别结果：将测试样本的融合特征经过训练好的目标识别网络中的全连接层后接softmax操作得到测试样本的网络输出概率，概率最大的类别即为SAR目标测试样本的识别结果。
本发明解决了现有技术对SAR目标信息挖掘不充分的技术问题。实现步骤：目标参数提取；构建图模型；提取目标的空间结构特征；提取目标的视觉特征；训练样本特征融合并得到预测结果；构造损失函数进行目标识别网络优化；测试样本特征提取与特征融合；测试样本分类，得到SAR目标识别结果。
以下结合仿真实验，对本发明的技术效果作以说明。
实施例8
基于融合图卷积网络和卷积神经网络的SAR目标识别方法同实施例1-7，
仿真条件和内容：
本实验所用数据为美国高等研究规划局(DARPA)和空军实验室(AFRL)联合发布的运动和静止目标获取与识别(MSTAR)计划录取的地面静止目标(包括地面军用战车和民用车辆)的实测SAR图像数据。MSTAR数据集分辨率为0.3m×0.3m，包括许多不同方位角和俯仰角下的地面军事车辆目标的SAR图像。实验中使用其中的三类军事地面目标，分别是装甲车BTR70、步兵战车BMP2以及主战坦克T72，其中BMP2有三种变体，分别为BMP2-9563、BMP2-9566和BMP2-C21，T72也有三种变体，分别为T72-132，T72-812和T72-S7。在实验中，通常采用俯仰角为17度的数据作为训练数据，而采用俯仰角为15度的数据作为测试数据，训练数据不包含变体，测试数据包含全部三种变体。训练样本共有698幅SAR图像，测试样本共有1365幅SAR图像。
硬件平台为：处理器Intel Xeon(R)CPU E5-2620 V3，显卡GeForce GTX TITAN X/PCIe/SSE2。操作系统为Ubuntu16.04。仿真实验软件平台为Pytorch，Python3.5。
仿真结果分析
参照图3，图3是本发明仿真使用数据图，其中，图3(a)是从运动与静止目标的获取与识别MSTAR数据集中，随机选取的一幅BMP2装甲车实测数据图像，图3(b)是从运动与静止目标的获取与识别MSTAR数据集中，随机选取的一幅BTR70装甲车实测数据图像，图3(c)是从运动与静止目标的获取与识别MSTAR数据集中，随机选取的一幅T72主战坦克实测数据图像。
本发明方法和四种现有技术方法对运动与静止目标的获取与识别实测MSTAR数据集进行目标型号识别，得到各种方法对测试样本的识别结果。图3(a)、(b)、(c)为MSTAR数据集中的示例。四种现有技术分别是基于线性支持向量机分类器的目标识别方法、基于自编码器的目标识别方法、基于卷积神经网络的目标识别方法、基于模板匹配的目标识别方法。
为了评价本发明方法与四种现有技术方法，按照下式，分别计算仿真实验的每种方法的测试样本的识别率：
其中，Accuracy表示测试样本的识别率，M表示对MSTAR测试样本分类正确的样本个数，N表示MSTAR测试样本的总个数，识别率Accuracy值越大，说明识别性能越好。
将本发明仿真实验采用的四种方法的识别结果分别计算识别率后，将计算结果列入表1中。
表1中的SVM表示采用现有技术的基于线性支持向量机分类器的目标识别方法。表1中的AE表示采用现有技术的基于自编码器的目标识别方法。表1中的CNN表示采用现有技术的基于卷积神经网络的目标识别方法。表1中的TM表示采用现有技术的基于模板匹配的目标识别方法。
表1不同识别方法对应的MSTAR测试样本识别率对比表
实验方法 本发明方法 SVM AE CNN TM
识别率 98.10％ 84.91％ 86.81％ 96.56％ 93.11％
由表1可以看出，对于本发明仿真实验所用的运动与静止目标的获取与识别MSTAR数据，本发明提出的基于融合图卷积网络和卷积神经网络的SAR目标识别方法的识别率可以达到98.10％，相比于现有技术方法,本发明方法具有最高的识别率。其中，直接采用SVM分类器的方法识别率最低，主要原因是缺乏对图像的特征提取；深度学习方法中的AE方法为采用AE先无监督方式提取特征，再通过SVM分类器进行分类，其相比直接采用SVM分类识别率更高；深度学习方法中的CNN通过端到端的方式进行学习，相比AE识别率明显提升，能够更好的提取到SAE目标的特征；采用模板匹配的方法相比SVM和AE识别率更高，但是相比CNN而言识别率要低一些；本发明方法综合利用电磁散射信息和幅度信息，将CNN网络和GCN网络进行融合，能够挖掘到更丰富的目标信息，因此识别率最高。
本发明的基于融合图卷积和卷积神经网络的SAR目标识别方法，解决了现有技术对SAR目标信息挖掘不充分的技术问题。实现包括：目标参数提取；构建图模型；提取目标的空间结构特征和视觉特征；训练样本特征融合并得到预测结果；构造损失函数进行目标识别网络优化；测试样本特征提取与特征融合；测试样本分类，得到SAR目标识别结果。本发明用CNN强大的特征提取能力的优势从SAR图像幅度中提取视觉特征，设计图卷积网络挖掘SAR目标的电磁散射信息进行提取空间结构特征，将视觉和空间结构特征融合后对SAR目标的信息挖掘更加充分，包含的信息更加丰富，实现简单，很好的提升SAR目标识别性能。应用于SAR目标识别。

Claims (6)

1.一种基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，对SAR目标提取属性散射中心参数并构建图模型，采用图卷积网络提取空间结构特征，并与SAR图像通过卷积神经网络提取的视觉特征进行融合，实现SAR目标识别，包括有如下步骤：
(1)目标参数提取：获取SAR目标数据将其分为训练样本和测试样本，分别进行反映目标电磁散射特性的属性散射中心的7个参数提取，包括幅度、频率依赖因子、距离维坐标x、方位维坐标y、长度L、方位角φ以及方位依赖因子7个参数；
(2)构建图模型：分别用训练样本和测试样本提取的属性散射中心构建反映目标空间结构的图模型，根据SAR目标训练样本和测试样本的属性散射中心参数将属性散射中心建模为节点，并通过距离度量确定节点之间的连接，分别得到训练样本和测试样本对应的图模型；
(3)提取目标的空间结构特征：采用图卷积网络对训练样本对应的图模型提取目标的空间结构特征；
(4)提取目标的视觉特征：采用卷积神经网络对训练样本提取目标的视觉特征；
(5)训练样本特征融合并得到预测结果：将训练样本的视觉特征与空间结构按特征拼接方式进行特征融合，融合后特征经过一个全连接层后进行softmax操作得到目标训练样本的预测结果，由图卷积网络和卷积神经网络以及全连接层构成目标识别网络；
(6)构造损失函数进行目标识别网络优化：将目标训练样本预测结果与真实标签构造交叉熵损失函数，采用随机梯度下降算法对交叉熵损失函数进行优化求解，得到训练好的目标识别网络；
(7)测试样本特征提取与特征融合：采用训练好的目标识别网络中的图卷积网络对测试样本的图模型提取空间结构特征，采用训练好的目标识别网络中的卷积神经网络对测试样本提取视觉特征，并将提取的两种特征按照特征拼接方式进行融合，得到测试样本的融合特征；
(8)测试样本分类，得到SAR目标识别结果：将测试样本的融合特征经过训练好的目标识别网络中的全连接层后接softmax操作得到测试样本的网络输出概率，概率最大的类别即为SAR目标测试样本的识别结果。
2.根据权利要求1所述的基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，步骤(2)中所述构建图模型，对训练样本和测试样本均进行图模型构建，包括有如下步骤：
2.1根据SAR目标样本的属性散射中心参数中长度L是否大于0对属性散射中心进行划分，将L＝0分为局部式属性散射中心，将L>0分为分布式属性散射中心；
2.2将每个局部式属性散射中心建模为1个节点，节点特征为提取的属性散射中心的7个参数；
2.3将每个分布式属性散射中心按照中心和左右两端方式建模为3个节点，中心节点特征为其对应的属性散射中心的7个参数，两端节点除坐标外其他特征与中心节点特征相同，左右两端节点的坐标根据下面公式得到；
其中，(x,y)分别表示中心节点的距离维和方位维坐标，(xleft,yleft)分别表示左节点的距离维和方位维坐标，(xright,yright)分别表示右节点的距离维和方位维坐标，L表示属性散射中心的长度，表示属性散射中心的方位角，sin()表示正弦函数运算，cos()表示余弦函数运算；
2.4按照下式计算任意两个属性散射中心P,Q的中心节点之间的欧氏距离：
其中，dis(P,Q)表示任意两个属性散射中心P,Q的中心节点之间的欧氏距离，(xP,yP)表示属性散射中心P的中心节点坐标，(xQ,yQ)表示属性散射中心Q的中心节点坐标；
2.5通过距离判断中心节点之间是否存在边连接：设定阈值τ，判断距离dis(P,Q)是否小于τ，如果是，则两个属性散射中心的中心节点之间存在边连接，否则不存在边连接；
2.6中心和左右两端节点之间进行边连接：将所有分布式属性散射中心的中心和左右两端节点进行边连接。
3.根据权利要求1所述的基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，步骤(3)中所述提取目标的空间结构特征，包括有如下步骤：
3.1图模型节点特征学习：通过第一个图卷积网络对图模型中每个节点进行特征学习，公式表示如下：
Z＝GCNembed(R,H)
其中，Z表示学习到的节点特征，GCNembed表示学习特征的图卷积网络，R表示图模型的二值邻接矩阵，邻接矩阵中的Rm,n值为1则表示图模型中节点m,n之间存在边连接，Rm,n值为0则表示图模型中节点m,n之间不存在边连接，H表示图模型中节点的特征；
3.2图模型簇分配矩阵学习：通过第二个图卷积网络为每个节点学习出所属各个簇的概率分布，公式表示如下：
S＝softmax(GCNpool(R,H))
其中，S表示图卷积网络学习到的簇分配矩阵，簇分配矩阵中的Sm,n表示将第m个节点分配为第n个节点的概率，GCNpool表示学习簇分配矩阵的图卷积网络；针对任意一个向量V，经过softmax操作的输出的第k个元素值为softmax(V)k，J表示向量V的长度；
3.3对图模型进行图坍缩：有了Z和S之后，对图模型进行图坍缩，公式表示如下：
Z1＝STZ
R1＝STRS
其中，Z1表示坍缩后图模型中节点的特征，S表示簇分配矩阵，ST表示簇分配矩阵S的转置，R1表示坍缩后图模型的邻接矩阵；
3.4坍缩后图模型特征学习：对坍缩后的图采用第三个图卷积进行特征学习，公式表示如下：
Z2＝GCNembed1(R1,Z1)
其中，Z2表示坍缩后图模型学习到的节点特征，GCNembed1表示对坍缩后图模型进行特征学习的图卷积网络；
3.5得到样本的空间结构特征：对坍缩后图模型学习到的节点特征取均值得到样本的空间结构特征，公式表示如下：
floc＝mean(Z2)
其中，floc表示样本的空间结构特征，mean()表示沿特征维取均值操作。
4.根据权利要求1所述的基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，步骤(5)中所述的训练样本特征融合，是对训练样本的视觉特征和空间结构特征按照下式进行融合：
ffus＝concat(fvis,floc)
其中，ffus表示融合后的特征，concat表示拼接操作，fvis表示视觉特征，floc表示空间结构特征。
5.根据权利要求1所述的基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，步骤(5)中所述得到预测结果，是融合特征经过一个全连接层后进行softmax操作得到网络输出预测结果，用公式表示如下：
其中，表示第i个训练样本的网络输出预测结果，W表示全连接层的权重，WT表示W的转置，b表示全连接层的偏置。
6.根据权利要求1所述的基于融合图卷积网络和卷积神经网络的SAR目标识别方法，其特征在于，步骤(6)中所述的构造损失函数进行目标识别网络优化，其中交叉熵损失函数用公式表示如下：
其中，LCE表示交叉熵损失，N表示训练样本总数，yi表示第i个训练样本的真实标签，log()表示以自然常数为底的对数操作，表示第i个训练样本的目标识别网络输出预测结果。
CN202110408681.5A 2021-04-16 2021-04-16 基于融合图卷积和卷积神经网络的sar目标识别方法 Active CN113095417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110408681.5A CN113095417B (zh) 2021-04-16 2021-04-16 基于融合图卷积和卷积神经网络的sar目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110408681.5A CN113095417B (zh) 2021-04-16 2021-04-16 基于融合图卷积和卷积神经网络的sar目标识别方法

Publications (2)

Publication Number Publication Date
CN113095417A CN113095417A (zh) 2021-07-09
CN113095417B true CN113095417B (zh) 2023-07-28

Family

ID=76677934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110408681.5A Active CN113095417B (zh) 2021-04-16 2021-04-16 基于融合图卷积和卷积神经网络的sar目标识别方法

Country Status (1)

Country Link
CN (1) CN113095417B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114386694B (zh) * 2022-01-11 2024-02-23 平安科技（深圳）有限公司 基于对比学习的药物分子性质预测方法、装置及设备
CN116400317B (zh) * 2023-06-08 2023-08-18 中国人民解放军战略支援部队航天工程大学 基于图卷积的散射拓扑特征构建与空间目标识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280460A (zh) * 2017-12-04 2018-07-13 西安电子科技大学 基于改进卷积神经网络的sar车辆目标识别方法
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280460A (zh) * 2017-12-04 2018-07-13 西安电子科技大学 基于改进卷积神经网络的sar车辆目标识别方法
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的高分辨距离像目标识别;杨予昊;孙晶明;虞盛康;彭雄伟;;现代雷达(第12期);全文 *

Also Published As

Publication number Publication date
CN113095417A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Cui et al. Image data augmentation for SAR sensor via generative adversarial nets
CN111160311B (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
Chen et al. Target classification using the deep convolutional networks for SAR images
CN110781830B (zh) 基于空-时联合卷积的sar序列图像分类方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
US10976429B1 (en) System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks
CN113240047B (zh) 基于部件解析多尺度卷积神经网络的sar目标识别方法
CN113095417B (zh) 基于融合图卷积和卷积神经网络的sar目标识别方法
Zhang et al. A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data
CN111583276B (zh) 基于cgan的空间目标isar图像部件分割方法
Fu et al. Aircraft recognition in SAR images based on scattering structure feature and template matching
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
Aljabri et al. Extracting feature fusion and co-saliency clusters using transfer learning techniques for improving remote sensing scene classification
CN116363526B (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
CN116597300A (zh) 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN116403120A (zh) 一种基于优化ssd算法的遥感图像目标检测方法及系统
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
CN113239895A (zh) 基于注意力机制的胶囊网络的sar图像变化检测方法
Sunil et al. Identifying oil pads in high spatial resolution aerial images using faster R-CNN
Luo et al. Line-based classification of terrestrial laser scanning data using conditional random field
Yang et al. AAE-Dpeak-SC: A novel unsupervised clustering method for space target ISAR images based on adversarial autoencoder and density peak-spectral clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant