CN113378472A - 一种基于生成对抗网络的混合边界电磁逆散射成像方法 - Google Patents

一种基于生成对抗网络的混合边界电磁逆散射成像方法 Download PDF

Info

Publication number
CN113378472A
CN113378472A CN202110696117.8A CN202110696117A CN113378472A CN 113378472 A CN113378472 A CN 113378472A CN 202110696117 A CN202110696117 A CN 202110696117A CN 113378472 A CN113378472 A CN 113378472A
Authority
CN
China
Prior art keywords
generator
discriminator
scatterer
matrix
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110696117.8A
Other languages
English (en)
Other versions
CN113378472B (zh
Inventor
宋仁成
黄优优
成娟
李畅
刘羽
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110696117.8A priority Critical patent/CN113378472B/zh
Publication of CN113378472A publication Critical patent/CN113378472A/zh
Application granted granted Critical
Publication of CN113378472B publication Critical patent/CN113378472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/10Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本发明公开了一种基于生成对抗网络的混合边界电磁逆散射成像方法,其步骤包括:1数据准备阶段,根据测量到的散射场,使用T‑矩阵方法进行统一建模,利用反向传播法BP快速生成低分辨率的散射体图像;2网络结构搭建阶段,采用生成对抗网络架构,同时在生成器中添加注意力机制模块;3设计损失函数,建立生成对抗网络的优化目标;4通过训练生成对抗网络,进行混合边界T‑矩阵系数的重建。本发明将生成对抗网络结合T‑矩阵方法应用到混合边界电磁逆散射成像中,在生成器中添加注意力机制模块,同时针对PEC和介电散射体T‑矩阵系数不平衡问题提出了一种数据平衡策略,从而实现快速高精度的混合边界电磁逆散射成像。

Description

一种基于生成对抗网络的混合边界电磁逆散射成像方法
技术领域
本发明属于电磁逆散射成像的技术领域,尤其涉及一种使用深度学习结合T-矩阵方法进行混合边界电磁逆散射成像方法。
背景技术
电磁逆散射由测量的散射场结合反演算法来确定散射体的位置、形状和物理参数等信息。通常电磁逆散射是一个高度非线性且不适定的问题。经过多年的发展,研究人员提出了各种电磁逆散射重建算法,其中定量方法因为可以获得散射体的全部信息,是目前电磁逆散射研究的主流方向。
定量逆散射方法一般定义一个包含正则化项的非线性目标函数,再采用整体或局部线性化近似,对目标参数进行迭代优化求解。典型的定量方法逆散射包括变形波恩迭代方法(DBIM)、对比源反演(CSI)、子空间优化(SOM)和T-矩阵法等。传统的非线性定量电磁逆散射方法通常具有计算复杂度高,成像质量不稳定等瓶颈问题。
逆散射方法的建模一般需要假设单一且已知的散射体类型,比如绝缘体或导体。但这在地下埋藏物检测等复杂应用中通常无法预先确定,因为感兴趣区域内可能同时存在不同类型的散射体。虽然现有的基于T-矩阵的非线性迭代电磁逆散射方法,可无需先验信息地重建多种散射体的几何和电磁参数,并区分其物理性质,但此方法的计算复杂度高,求解速度较慢。
近年来,深度神经网络技术由于其强大的映射能力以及快速的计算速度,已被广泛应用于模式识别、分类和回归等人工智能领域问题。受其启发,最近研究人员将卷积神经网络技术(CNN)应用于求解电磁逆散射问题。比如说,Li等人通过类比传统非线性迭代方法与CNN的联系,提出了基于复卷积神经网络的‘DeepNIS’算法。Wei等人提出了一种快速构造目标参数近似图像的DCS算法,再利用简化的U-net将其与目标参数的准确图像进行映射。上述论文中的测试结果表明,深度逆散射方法的成像质量和速度超越了传统的非线性迭代方法,但这些方法都只能重建单一类型的散射体,目前的深度逆散射方法都需要事先知道散射体的边界类型,因此限制了它们的应用。
发明内容
本发明为了克服现有技术的不足之处,提出一种基于生成对抗网络的混合边界电磁逆散射成像方法,以期能使用T-矩阵方法对具有混合边界类型的散射体进行统一建模,利用目标散射体的零阶T-矩阵系数构造生成对抗网络输入输出图像,最终实现混合边界类型散射体的快速定量成像。
本发明为解决技术问题采用如下技术方案:
本发明一种基于生成对抗网络的混合边界电磁逆散射成像方法的特点在于,包括以下步骤:
步骤一、数据处理;
步骤1.1、定义M×M的网格,在所述网格中设置有不同物理性质的混合边界散射体,并采用T-矩阵法计算所述网格内的散射场;所述混合边界散射体包括:完美电导体和介电散射体;
步骤1.2、使用T-矩阵方法对所述混合边界散射体进行统一建模,得到完美电导体和介电散射体分别对应的真实的T-矩阵系数;
步骤1.3、根据所述散射场,利用反向传播法生成低分辨率混合边界散射体图像集合{xi|i=1,2,…,N};xi表示第i张低分辨率的输入图像,N表示一个批量中的图片数量;
步骤1.4、对标签图像中完美电导体所对应的真实的T-矩阵系数进行缩放,使得与介电散射体所对应的真实的T-矩阵系数处在同一个数量级上;
步骤二、生成对抗网络的结构搭建;
步骤2.1、构建空间注意力模块AG;
所述空间注意力模块AG包括两个支路,一个为线性变换Wg支路,另一个为线性变换Wx支路;两个支路的输出通过加法器依次与ReLU激活函数、线性变换ψ模块、Sigmoid激活函数相连;且所述Sigmoid激活函数的输出通过乘法器与空间注意力模块AG的输入相连,所述线性变换Wg、Wx和ψ均是对输入张量按通道进行卷积核为q×q×q的卷积计算;
步骤2.2、构建生成器Gθ
设置所述生成器Gθ的结构是由解码部分、编码部分和空间注意力模块AG构成;
所述编码部分是以一个卷积模块和一个最大池化层为一组而构成的a组结构,所述卷积模块是由一对卷积核大小为n×n的卷积层、批标准化层和ReLU激活函数组成;
所述解码部分是以一个卷积核大小为p×p的反卷积层和一个所述卷积模块而构成的a组结构;
步骤2.3、搭建生成器Gθ
步骤2.3.1、定义变量b,并初始化b=1;
步骤2.3.2、将所述生成器Gθ的第b个卷积模块的输出与所述空间注意力模块AG相连,并将所述空间注意力模块AG的输出与第a-b+1个反卷积层的输出串联,所述第a-b+1个反卷积层的输出与第2a+2-b个卷积模块的输入相连,其中,b∈[1,a];
步骤2.3.3、将b+1赋值给b,并判断b>a是否成立,若成立,则执行步骤2.3.4;否则,返回步骤2.3.2;
步骤2.3.4、在所述生成器Gθ的第2a+1个卷积模块后添加一个卷积核大小为q×q的卷积层;
步骤2.3.5、将所述低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}输入所述生成器Gθ中,从而输出近似真实的重建图像集合{Gθ(xi)|i=1,2,…,N};
步骤2.4、搭建判别器Dφ
所述判别器Dφ采用卷积神经网络,且所述判别器Dφ由c个卷积层依次串联而成,以所述低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}作为一个条件,并与重建图像集合{Gθ(xi)|i=1,2,…,N}配对或者与真实的目标图像集合{yi|i=1,2,…,N}配对后输入所述判别器Dφ中,输出特征判别矩阵,其中,yi表示目标图像集合{yi|i=1,2,…,N}中对应的第i张目标图像;所述特征判别矩阵中的每一个判别值表示所述判别器Dφ对重建图像集合{Gθ(xi)|i=1,2,…,N}或者真实的目标图像集合{yi|i=1,2,…,N}的特征级别的判断结果;
步骤三、设计损失函数,建立生成对抗网络的优化目标;
步骤3.1、利用式(1)设计生成器Gθ的目标损失函数LG
LG=αL1+LA (1)
式(1)中,L1表示1范数损失,并通过式(2)得到;LA表示生成器Gθ和判别器Dφ之间的对抗损失,并通过式(3)得到;α是超参数,用来平衡1范数损失和对抗损失的影响;
Figure BDA0003128459220000031
Figure BDA0003128459220000032
式(2)中,||·||1表示1范数;
步骤3.2、利用式(4)设计判别器Dφ的目标函数LD
Figure BDA0003128459220000041
式(4)中,对于第i张真实的目标图像yi,期望所述判别器Dφ对其输出特征级别的判断为1,对于生成器Gθ生成的重建图像Gθ(xi),期望所述判别器Dφ对其输出特征级别的判断为0;
步骤3.3、使用ADAM优化器对所述目标损失函数LG和LD进行最小化求解,并在反向传播过程中,所述判别器Dφ和生成器Gθ进行交替对抗训练,并不断优化生成器Gθ和判别器Dφ的参数,其中,目标损失函数LG的优化参数为生成器Gθ的未知参数θ,优化目标损失函数LG时,固定判别器Dφ的未知参数φ;目标函数LD的优化参数为判别器Dφ的未知参数φ,优化目标函数LD时,固定生成器Gθ的未知参数θ;从而得到最优生成器
Figure BDA0003128459220000042
用于对低分辨率混合边界散射体图像进行高质量重建。
与已有技术相比,本发明有益效果体现在:
1、本发明首次使用深度学习方法来解决混合边界逆散射成像问题,所提方法使用T-矩阵系数代替相对介电常数来建立网络映射,使用统一的T-矩阵模型进行建模来获得具有不同物理边界的散射体,而无需事先知道散射体的类型,从而提升了方法的普适性和有效性。
2.本发明采用生成对抗框架来解决了混合边界逆散射问题,判别器通过与生成器交替对抗训练来指导生成器更好的学习目标散射体的特征,同时在生成器中添加注意力机制,将网络学习的注意力集中到目标散射体上并抑制背景区域,从而提高了重建图像的准确性。本发明利用目标散射体的零阶T-矩阵系数构造生成对抗网络输入输出图像,从而节省了计算时间和计算成本;本发明所提出的方法可以实现快速高质量的成像。
3、本发明通过在生成的训练数据集中将PEC散射体真实的T-矩阵系数进行一定程度的缩放来平衡数据,以解决PEC和介质散射体的T-矩阵系数不平衡问题,使得网络可以更好的同时重建两种类型的散射体,从而进一步拓展了使用深度学习方法处理混合边界问题的应用范围。
附图说明
图1为本发明方法的流程图;
图2为生成对抗网络生成器结构图;
图3为生成对抗网络判别器结构图;
图4为MNIST手写数字数据集重建结果展示图;
图5为添加10%高斯白噪声的“Austria”数据集重建结果展示图;
图6为频率为不同频率下的实验数据重建结果展示图。
具体实施方式
本实施例中,一种基于生成对抗网络的混合边界电磁逆散射成像方法,如图1所示,首先利用反向传播法从测量到的散射场中构造低分辨率的输入图像,然后通过生成器从低分辨率图像到目标图像的映射以生成接近真实目标图像的重建图像。在BP方法中我们只需要让T-矩阵的截断系数MT=0来获得初始图像并将其作为网络的输入,将BP生成的低分辨率图像作为判别器的一个条件与重建图像或者真实的目标图像配对输入判别器中,判别器用来指导生成器生成更加接近于真实值的目标图像,生成器和判别器以一种对抗的方式交替训练。同时针对完美PEC和介质散射体的T-矩阵系数不平衡的问题进行数据平衡,使得网络可以同时重建两种类型的散射体,具体的说,包括以下步骤:
步骤一、数据处理;
步骤1.1、在一个二维横向磁场中,假设频率为300MHZ,定义一个感兴趣区域为4.0米×4.0米,被离散为M×M=24×24的网格,并在网格中设置有不同物理性质的混合边界散射体。采用16个平面波入射,32个接收天线均匀分布在半径为5.0米的圆上。为了避免逆问题中“inverse crime”现象的发生,对于每次入射,在64×64的网格上采用T-矩阵法计算网格内的散射场;混合边界散射体包括:完美电导体和介电散射体;
步骤1.2、使用T-矩阵方法对混合边界散射体进行统一建模,得到完美电导体和介电散射体分别对应的真实的T-矩阵系数;使用T-矩阵系数而不是相对介电常数值来建立网络映射,无需事先知道散射体的类型;
步骤1.3、根据散射场,利用反向传播法生成低分辨率混合边界散射体图像集合{xi|i=1,2,…,N},采用添加了随机圆形的MNIST手写数字作为训练集,每个散射体假设均匀且无损耗,散射体有两种类型即PEC和介电散射体,其中一种对应于手写数字,另一种对应于随机圆,在这里我们随机生成散射体的类型,介电散射体的相对介电常数为1.1-2.5之间随机分布,背景为自由空间。关于散射类型的分布会有四种不同的情况,即手写数字和随机圆都是PEC,都是介电散射体,或者一个是介电散射体另一个是PEC;BP方法中T-矩阵的截断系数MT=0,从而节省了计算时间和成本;
其中训练集散射场不含噪声,测试集散射场添加了10%的高斯白噪声,因为真实的散射场中大部分都含有噪声,此时在测试集散射场中添加噪声目的是为了模拟真实的散射现象。从添加随机圆形的MNIST训练集随机选择9000张作为训练集,另1000张作为验证集,最后从添加随机圆形的MNIST测试集中随机选择2500张用作测试。同时为了验证模型泛化能力,又分别生成了添加10%噪声并且介电常数为1.5的“Austria”以及采用“FoamMetExt”配置频率分别为3GHz、4GHz、5GHz和6GHz的实验数据;
步骤1.4、对标签图像中完美电导体所对应的真实的T-矩阵系数进行缩放,以平衡数据而不改变输入图像,使得与介电散射体所对应的真实的T-矩阵系数处在同一个数量级上;根据训练数据集中介电散射体和PEC散射体各自的T-矩阵系数分布,我们将PEC散射体中真实的T-矩阵系数除以系数C,以保持与介电散射体真实的T-矩阵系数在同一量级上,从而使网络可以同时重建两种类型的散射体,本实例中,C取8。
步骤二、生成对抗网络的结构搭建;
步骤2.1、构建空间注意力模块AG;
空间注意力模块AG包括两个支路,一个为线性变换Wg支路,另一个为线性变换Wx支路;两个支路的输出通过加法器依次与ReLU激活函数、线性变换ψ模块、Sigmoid激活函数相连;且Sigmoid激活函数的输出通过乘法器与空间注意力模块AG的输入相连,线性变换Wg、Wx和ψ均是对输入张量按通道进行卷积核为q×q×q的卷积计算,本实例中,q=1。AG模块生成门控信号,通过学习来关注目标结构的一个子集,以控制不同空间位置处输出特征的重要性。
步骤2.2、构建生成器Gθ
设置生成器的结构是由解码部分、编码部分和空间注意力模块AG构成;生成器Gθ的网络结构如图2所示,生成器Gθ采用AttentionU-net网络,在原始U-net网络基础上添加注意门模块AG,使得从编码器中提取的部分先经过AG模块之后再进行解码。从粗糙尺度提取的信息在AG模块中消除跳过连接中的不相关响应和噪声响应,同时AG模块在前向、后向传播时过滤神经元激活,使得源自背景区域的梯度在反向传播时被降权。这样经过AG模块后得到的注意力系数倾向于在目标组织区域获得更大的值,而在背景区域获得更小的值,从而提高重建图像的准确性。
编码部分是以一个卷积模块和一个最大池化层为一组而构成的a组结构,卷积模块是由一对卷积核大小为n×n的卷积层、批标准化层和ReLU激活函数组成,本示例中,n=3,经过卷积层后特征图尺寸不变;
解码部分是以一个卷积核大小为p×p的反卷积层和一个卷积模块而构成的a组结构,本实例中,p=2,a=3,经过反卷积层后特征图尺寸变为反卷积层输入尺寸的2倍;
步骤2.3、搭建生成器Gθ
步骤2.3.1、定义变量b,并初始化b=1;
步骤2.3.2、将生成器Gθ的第b个卷积模块的输出与空间注意力模块AG相连,并将空间注意力模块AG的输出与第a-b+1个反卷积层的输出串联,第a-b+1个反卷积层的输出与第2a+2-b个卷积模块的输入相连,其中,b∈[1,a];
步骤2.3.3、将b+1赋值给b,并判断b>a是否成立,若成立,则执行步骤2.3.4;否则,返回步骤2.3.2;
步骤2.3.4、在生成器Gθ的第2a+1个卷积模块后添加一个卷积核大小为q×q的卷积层;
步骤2.3.5、将低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}输入生成器Gθ中,从而输出近似真实的重建图像集合{Gθ(xi)|i=1,2,…,N};
步骤2.4、搭建判别器Dφ
判别器我们采用类似于pix2pix中所采用的判别器架构,判别器Dφ的网络结构如图3所示,判别器Dφ采用卷积神经网络,判别器由c个卷积层依次串联而成,本实例中,c=5,其中卷积核大小均为4。以低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}作为一个条件,并与重建图像集合{Gθ(xi)|i=1,2,…,N}配对或者与真实的目标图像集合{yi|i=1,2,…,N}配对后输入判别器Dφ中,输出特征判别矩阵,而不是标量值,从而使训练的模型更能关注图像细节,其中,特征判别矩阵中的每一个判别值表示判别器Dφ对重建图像集合{Gθ(xi)|i=1,2,…,N}或者真实的目标图像集合{yi|i=1,2,…,N}的特征级别的判断结果;判别器从特征级别出发对重建图像的真假做出判断,使网络能够学习到更加细节的特征,提高重建图像的质量。
步骤三、设计损失函数,建立生成对抗网络的优化目标;
生成对抗网络包括生成器Gθ和判别器网络Dφ,需要分别给这两个网络建立损失函数,这两个网络在损失函数反向传播过程中交替对抗训练不断优化。判别器通过与生成器交替对抗训练来指导生成器更好的学习目标散射体的特征。
步骤3.1、利用式(1)设计生成器Gθ的目标损失函数LG
LG=αL1+LA (1)
式(1)中,L1表示1范数损失,并通过式(2)得到,LA表示生成器Gθ和判别器Dφ之间的对抗损失,并通过式(3)得到;对抗损失为生成器和判别器之间对抗训练所需要的损失函数,判别器通过与生成器的交替对抗训练来指导生成器生成更加接近真实目标图像的重建图像;α是超参数,用来平衡1范数损失和对抗损失的影响;
Figure BDA0003128459220000081
Figure BDA0003128459220000082
式(2)和式(3)中,N表示一个批量中的图片数量,xi表示低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}中第i张低分辨率的输入图像,yi表示目标图像集合{yi|i=1,2,…,N}中对应的第i张目标图像;||·||1表示1范数;
步骤3.2、利用式(4)设计判别器Dφ的目标函数LD
Figure BDA0003128459220000083
式(4)中,对于第i张真实的目标图像yi,期望判别器Dφ对其输出特征级别的判断为1,对于生成器Gθ生成的重建图像Gθ(xi),期望判别器Dφ对其输出特征级别的判断为0;步骤三中本发明使用最小二乘形式的损失函数替代了原始GAN中的对数损失,目的是避免在生成对抗网络训练过程中经常发生的梯度弥散现象,使得模型可以更好的收敛;
步骤3.3、使用ADAM优化器对目标损失函数LG和LD进行最小化求解,并在反向传播过程中,判别器Dφ和生成器Gθ进行交替对抗训练,并不断优化生成器Gθ和判别器Dφ的参数,其中,目标损失函数LG的优化参数为生成器Gθ的未知参数θ,优化目标损失函数LG时,固定判别器Dφ的未知参数φ;目标函数LD的优化参数为判别器Dφ的未知参数φ,优化目标函数LD时,固定生成器Gθ的未知参数θ;使网络输出的重建图像与真实图像之间的差异不断减少,从而得到最优生成器Gθ *,用于对低分辨率混合边界散射体图像进行混合边界散射体的重建。输入测试集中BP快速生成的低分辨率混合边界散射体图像,加载训练好的最优模型进行混合边界散射体T-矩阵系数的重建;生成对抗网络在测试时只用到生成器,判别器只在训练集中用到,在测试时不参与。
本发明使用结构相似性(SSIM)和均方根误差(RMSE)作为评价指标,进行了数据集内和跨数据集测试。我们将参考轮廓分为两部分,分别去定义PEC和介电散射体的相对误差,以评估算法的重建精度。本发明所提方法与传统的子空间优化法(subspaceoptimization method,SOM)进行比较,同时为了验证所添加注意力机制和进行数据平衡的作用,我们在实验数据上与未添加注意力机制以及未进行数据平衡的方法进行对比。为了便于比较,结果展示中将使用SOM重建图像的方法记为SOM,将未添加注意力机制的方法记为‘GAN’,将未进行数据平衡的生成对抗网络重建方法记为‘Att-GAN-wb’。在MNIST手写数字数据集内的重建结果如图4所示。Test#1表示手写数字和随机圆都是PEC;Test#2中手写数字表示PEC而随机圆表示介电散射体;Test#3中手写数字和随机圆分别表示介电散射体和PEC;Test#4中两者都是介电散射体;同时本发明还进行了跨数据集测试,在“Austria”数据集和实验数据上的重建结果分别如图5和图6所示,在图5中,Test#5表示上方的两个圆和中间的圆环都是PEC;Test#2中上方的两个圆表示PEC而中间的圆环表示介电散射体;Test#3中上方的两个圆和中间的圆环分别表示介电散射体和PEC;图6中(a)-(d)分别表示3GHz,4GHz,5GHz和6GHz下的重建结果,其中大圆表示介电散射体而小圆表示PEC;虚线表示真实图像的位置。
由上述重建结果可知,本发明在手写数字数据集上进行了训练和测试,并直接在“Austria”和实验数据上进行测试,结果表明所提方法可以快速高精度的重建混合边界类型的散射体图像,同时上述结果也证明了所训练的模型具有较好的泛化能力。

Claims (1)

1.一种基于生成对抗网络的混合边界电磁逆散射成像方法,其特征在于,包括以下步骤:
步骤一、数据处理;
步骤1.1、定义M×M的网格,在所述网格中设置有不同物理性质的混合边界散射体,并采用T-矩阵法计算所述网格内的散射场;所述混合边界散射体包括:完美电导体和介电散射体;
步骤1.2、使用T-矩阵方法对所述混合边界散射体进行统一建模,得到完美电导体和介电散射体分别对应的真实的T-矩阵系数;
步骤1.3、根据所述散射场,利用反向传播法生成低分辨率混合边界散射体图像集合{xi|i=1,2,…,N};xi表示第i张低分辨率的输入图像,N表示一个批量中的图片数量;
步骤1.4、对标签图像中完美电导体所对应的真实的T-矩阵系数进行缩放,使得与介电散射体所对应的真实的T-矩阵系数处在同一个数量级上;
步骤二、生成对抗网络的结构搭建;
步骤2.1、构建空间注意力模块AG;
所述空间注意力模块AG包括两个支路,一个为线性变换Wg支路,另一个为线性变换Wx支路;两个支路的输出通过加法器依次与ReLU激活函数、线性变换ψ模块、Sigmoid激活函数相连;且所述Sigmoid激活函数的输出通过乘法器与空间注意力模块AG的输入相连,所述线性变换Wg、Wx和ψ均是对输入张量按通道进行卷积核为q×q×q的卷积计算;
步骤2.2、构建生成器Gθ
设置所述生成器Gθ的结构是由解码部分、编码部分和空间注意力模块AG构成;
所述编码部分是以一个卷积模块和一个最大池化层为一组而构成的a组结构,所述卷积模块是由一对卷积核大小为n×n的卷积层、批标准化层和ReLU激活函数组成;
所述解码部分是以一个卷积核大小为p×p的反卷积层和一个所述卷积模块而构成的a组结构;
步骤2.3、搭建生成器Gθ
步骤2.3.1、定义变量b,并初始化b=1;
步骤2.3.2、将所述生成器Gθ的第b个卷积模块的输出与所述空间注意力模块AG相连,并将所述空间注意力模块AG的输出与第a-b+1个反卷积层的输出串联,所述第a-b+1个反卷积层的输出与第2a+2-b个卷积模块的输入相连,其中,b∈[1,a];
步骤2.3.3、将b+1赋值给b,并判断b>a是否成立,若成立,则执行步骤2.3.4;否则,返回步骤2.3.2;
步骤2.3.4、在所述生成器Gθ的第2a+1个卷积模块后添加一个卷积核大小为q×q的卷积层;
步骤2.3.5、将所述低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}输入所述生成器Gθ中,从而输出近似真实的重建图像集合{Gθ(xi)|i=1,2,…,N};
步骤2.4、搭建判别器Dφ
所述判别器Dφ采用卷积神经网络,且所述判别器Dφ由c个卷积层依次串联而成,以所述低分辨率混合边界散射体图像集合{xi|i=1,2,…,N}作为一个条件,并与重建图像集合{Gθ(xi)|i=1,2,…,N}配对或者与真实的目标图像集合{yi|i=1,2,…,N}配对后输入所述判别器Dφ中,输出特征判别矩阵,其中,yi表示目标图像集合{yi|i=1,2,…,N}中对应的第i张目标图像;所述特征判别矩阵中的每一个判别值表示所述判别器Dφ对重建图像集合{Gθ(xi)|i=1,2,…,N}或者真实的目标图像集合{yi|i=1,2,…,N}的特征级别的判断结果;
步骤三、设计损失函数,建立生成对抗网络的优化目标;
步骤3.1、利用式(1)设计生成器Gθ的目标损失函数LG
LG=αL1+LA (1)
式(1)中,L1表示1范数损失,并通过式(2)得到;LA表示生成器Gθ和判别器Dφ之间的对抗损失,并通过式(3)得到;α是超参数,用来平衡1范数损失和对抗损失的影响;
Figure FDA0003128459210000021
Figure FDA0003128459210000022
式(2)中,||·||1表示1范数;
步骤3.2、利用式(4)设计判别器Dφ的目标函数LD
Figure FDA0003128459210000031
式(4)中,对于第i张真实的目标图像yi,期望所述判别器Dφ对其输出特征级别的判断为1,对于生成器Gθ生成的重建图像Gθ(xi),期望所述判别器Dφ对其输出特征级别的判断为0;
步骤3.3、使用ADAM优化器对所述目标损失函数LG和LD进行最小化求解,并在反向传播过程中,所述判别器Dφ和生成器Gθ进行交替对抗训练,并不断优化生成器Gθ和判别器Dφ的参数,其中,目标损失函数LG的优化参数为生成器Gθ的未知参数θ,优化目标损失函数LG时,固定判别器Dφ的未知参数φ;目标函数LD的优化参数为判别器Dφ的未知参数φ,优化目标函数LD时,固定生成器Gθ的未知参数θ;从而得到最优生成器
Figure FDA0003128459210000032
用于对低分辨率混合边界散射体图像进行高质量重建。
CN202110696117.8A 2021-06-23 2021-06-23 一种基于生成对抗网络的混合边界电磁逆散射成像方法 Active CN113378472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110696117.8A CN113378472B (zh) 2021-06-23 2021-06-23 一种基于生成对抗网络的混合边界电磁逆散射成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110696117.8A CN113378472B (zh) 2021-06-23 2021-06-23 一种基于生成对抗网络的混合边界电磁逆散射成像方法

Publications (2)

Publication Number Publication Date
CN113378472A true CN113378472A (zh) 2021-09-10
CN113378472B CN113378472B (zh) 2022-09-13

Family

ID=77578479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110696117.8A Active CN113378472B (zh) 2021-06-23 2021-06-23 一种基于生成对抗网络的混合边界电磁逆散射成像方法

Country Status (1)

Country Link
CN (1) CN113378472B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626987A (zh) * 2022-03-25 2022-06-14 合肥工业大学 一种基于物理的深度展开网络的电磁逆散射成像方法
CN115018943A (zh) * 2022-05-31 2022-09-06 合肥工业大学 一种基于无训练的深度级联网络的电磁逆散射成像方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059580A1 (en) * 2001-01-28 2002-08-01 The State Of Israel, Atomic Energy Commission, Soreq Nuclear Research Center Method and apparatus for imaging absorbing objects in a scattering medium
US20040085536A1 (en) * 2002-11-01 2004-05-06 Schotland John Carl Tomography system and method using nonlinear reconstruction of scattered radiation
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111507047A (zh) * 2020-04-17 2020-08-07 电子科技大学 一种基于SP-CUnet的逆散射成像方法
CN111609787A (zh) * 2020-05-28 2020-09-01 杭州电子科技大学 基于神经网络解决电磁逆散射问题的两步无相位成像法
CN111610374A (zh) * 2020-05-28 2020-09-01 杭州电子科技大学 一种基于卷积神经网络的散射场相位恢复方法
CN111999731A (zh) * 2020-08-26 2020-11-27 合肥工业大学 一种基于感知生成对抗网络的电磁逆散射成像方法
US20210003699A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for sar image data enhancement, and storage medium
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002059580A1 (en) * 2001-01-28 2002-08-01 The State Of Israel, Atomic Energy Commission, Soreq Nuclear Research Center Method and apparatus for imaging absorbing objects in a scattering medium
US20040085536A1 (en) * 2002-11-01 2004-05-06 Schotland John Carl Tomography system and method using nonlinear reconstruction of scattered radiation
US20210003699A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for sar image data enhancement, and storage medium
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN111077523A (zh) * 2019-12-13 2020-04-28 南京航空航天大学 一种基于生成对抗网络的逆合成孔径雷达成像方法
CN111507047A (zh) * 2020-04-17 2020-08-07 电子科技大学 一种基于SP-CUnet的逆散射成像方法
CN111609787A (zh) * 2020-05-28 2020-09-01 杭州电子科技大学 基于神经网络解决电磁逆散射问题的两步无相位成像法
CN111610374A (zh) * 2020-05-28 2020-09-01 杭州电子科技大学 一种基于卷积神经网络的散射场相位恢复方法
CN111999731A (zh) * 2020-08-26 2020-11-27 合肥工业大学 一种基于感知生成对抗网络的电磁逆散射成像方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
I.T. REKANOS: "Neural-network-based inverse-scattering technique for online microwave medical imaging", 《IEEE TRANSACTIONS ON MAGNETICS》 *
ZHENCHAO MA 等: "Learning-Based Fast Electromagnetic Scattering Solver Through Generative Adversarial Network", 《IEEE TRANSACTIONS ON ANTENNAS AND PROPAGATION》 *
李亚丹: "基于物理模型驱动深度网络的电磁场逆散射成像", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *
花少炎 等: "基于压缩感知的超声逆散射成像研究", 《北京生物医学工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626987A (zh) * 2022-03-25 2022-06-14 合肥工业大学 一种基于物理的深度展开网络的电磁逆散射成像方法
CN114626987B (zh) * 2022-03-25 2024-02-20 合肥工业大学 一种基于物理的深度展开网络的电磁逆散射成像方法
CN115018943A (zh) * 2022-05-31 2022-09-06 合肥工业大学 一种基于无训练的深度级联网络的电磁逆散射成像方法
CN115018943B (zh) * 2022-05-31 2024-02-20 合肥工业大学 一种基于无训练的深度级联网络的电磁逆散射成像方法

Also Published As

Publication number Publication date
CN113378472B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN110335261B (zh) 一种基于时空循环注意力机制的ct淋巴结检测系统
Sherry et al. Learning the sampling pattern for MRI
Sun et al. Regularized fourier ptychography using an online plug-and-play algorithm
CN113378472B (zh) 一种基于生成对抗网络的混合边界电磁逆散射成像方法
CN111999731B (zh) 一种基于感知生成对抗网络的电磁逆散射成像方法
CN110263801B (zh) 图像处理模型生成方法及装置、电子设备
CN114581550B (zh) 基于跨域网络的磁共振成像降采样和重建方法
Song et al. Inversion of rough surface parameters from SAR images using simulation-trained convolutional neural networks
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN115018943B (zh) 一种基于无训练的深度级联网络的电磁逆散射成像方法
Simsek Machine learning exercises on 1-D electromagnetic inversion
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
Pichel et al. A new approach for sparse matrix classification based on deep learning techniques
Zuluaga et al. Blind microscopy image denoising with a deep residual and multiscale encoder/decoder network
CN114820849A (zh) 基于深度学习的磁共振cest图像重建方法、装置及设备
Samsi et al. Colorization of H&E stained tissue using Deep Learning
CN116482618B (zh) 基于多损失特征自校准网络的雷达有源干扰识别方法
Lin et al. Generative adversarial image super‐resolution network for multiple degradations
CN116843544A (zh) 一种高超声速流场导入卷积神经网络进行超分辨率重建的方法、系统及设备
CN111461303A (zh) 基于生成对抗神经网络的数字岩心重构方法及系统
Schreck et al. Neural network processing of holographic images
Miao et al. Neural-network-encoded variational quantum algorithms
Radl et al. Analyzing the internals of neural radiance fields
Ekmekci et al. Quantifying Generative Model Uncertainty in Posterior Sampling Methods for Computational Imaging
Li et al. A novel level set method with improved fuzzy c-means based on genetic algorithm for image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant