CN112132012A - 基于生成对抗网络的高分辨率sar船舶图像生成方法 - Google Patents

基于生成对抗网络的高分辨率sar船舶图像生成方法 Download PDF

Info

Publication number
CN112132012A
CN112132012A CN202011001607.3A CN202011001607A CN112132012A CN 112132012 A CN112132012 A CN 112132012A CN 202011001607 A CN202011001607 A CN 202011001607A CN 112132012 A CN112132012 A CN 112132012A
Authority
CN
China
Prior art keywords
image
layer
scale
countermeasure network
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011001607.3A
Other languages
English (en)
Other versions
CN112132012B (zh
Inventor
许璐
邹丽川
张红
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011001607.3A priority Critical patent/CN112132012B/zh
Publication of CN112132012A publication Critical patent/CN112132012A/zh
Application granted granted Critical
Publication of CN112132012B publication Critical patent/CN112132012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour

Abstract

本公开涉及基于生成对抗网络的高分辨率SAR图像生成方法。在该方法中首先建立多尺度SAR船舶图像数据集,将真实图像大小为256×256的切片经过下采样层采样至不同分辨率,搭建生成对抗网络的网络结构;然后以SAR船舶图像的训练集作为输入,多次迭代训练模型,并对目标函数进行优化,在测试集上进行SAR船舶图像的测试,得到收敛的生成对抗网络;最后将噪声和船舶类别向量作为生成器的输入,输入到收敛的生成对抗网络中,得到对应的高分辨率SAR船舶图像。该方法在生成器中增加局部响应归一化层,稳定网络训练过程,并且增加多尺度损失项,将不同尺度生成图像输入至判别器,计算不同尺度损失最终在全局进行相加,提高了不同尺度生成SAR图像的质量。

Description

基于生成对抗网络的高分辨率SAR船舶图像生成方法
技术领域
本发明属于高分辨率SAR图像生成技术领域,具体涉及一种基于生成对抗网络的高分辨率SAR船舶图像生成方法。
背景技术
高分辨率SAR图像具有丰富纹理特征信息以及不受云雨影响的特点,被广泛应用于遥感目标识别领域,尤其是云雨情况极端条件下的海洋目标识别,如舰船识别等。近期,深度学习目标检测算法得到广泛应用,彻底影响了SAR图像处理领域,如SAR舰船识别领域,但这主要归功于大规模不同尺度带注释的训练数据集。然而,获取大量不同尺度人工标注的SAR图像是一件昂贵且耗时的任务。SAR图像模拟仿真是解决高分辨率SAR数据不足的主要手段,而传统的基于物理仿真模型的方法,如Kirchhoff物理光学方法、几何光学逼近、积分方程方法或Phong模型等方法计算过程复杂,消耗计算内存巨大,成本花费高。在这种情况下,基于生成对抗网络(GAN)的图像生成算法可以生成逼真且多模式的样本图像,同时具有低损耗,端到端的优势,但是尚存在以下不足:只能生成低分辨率SAR目标,不能生成多种尺度SAR图像;生成过程中梯度更新不稳定,往往会出现训练崩塌的现象;对于生成的SAR样本只是从视觉上进行定性评估,未能在其他场景评估生成SAR样本潜力。
原始辅助生成对抗网络(ACGAN)在生成高分辨率图像时,由于网络梯度更新不稳定导致出现训练崩塌的现象。其中判别器训练过度时,生成器往往会出现梯度消失的现象,导致生成器损失难以下降。而当判别器训练不足时,生成器会出现梯度更新不稳定。因此原始ACGAN难以训练,往往需要不断调整参数寻求最优解。同时,原始ACGAN生成过程中,未对中间生成不同尺度的图像增加约束,导致难以生成不同尺度的图像。如要生成多种尺度图像,则需更改网络结构重新训练,极大增加计算资源损耗。
发明内容
提供了本公开以解决现有技术中存在的上述问题。
一种基于生成对抗网络的高分辨率SAR船舶图像生成方法,包括以下步骤:
S1、建立多尺度SAR船舶图像数据集,将真实图像大小为256×256的切片经过下采样层采样至不同分辨率;
S2、搭建生成对抗网络的网络结构;包括以下子步骤:
S2.1、生成器结构包括上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
S2.2、判别器网络结构包括两层卷积层、两层泄露修正线性单元激活函数层;
S3、以SAR船舶图像的训练集作为输入,多次迭代训练模型,并对目标函数进行优化;
S4、在测试集上进行SAR船舶图像的测试,得到收敛的生成对抗网络;
S5、将噪声和船舶类别向量作为生成器的输入,输入到收敛的生成对抗网络中,得到对应的高分辨率SAR船舶图像。
进一步地,所述多尺度图像输出层利用1×1大小卷积对不同大小特征图进行通道压缩至3通道特征图,生成对应尺度图像,并将上述3通道输出图输入至对应结构层级判别器,经过训练五次判别器再训练一次生成器,得到收敛的生成对抗网络。
进一步地,生成器对输入数据生成图像的处理方法具体为:
A1、产生一个509维的随机向量,并将其与SAR船舶图像的类别向量进行拼接;
A2、将拼接后的数据依次通过上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
A3、多尺度图像输出层利用1×1大小卷积对不同大小特征图进行通道压缩至3通道特征图,生成对应的多尺度fake图像。
进一步地,判别器对输入图像处理的方法具体为:
B1、将fake图像和预处理后的SAR船舶图像经过第一卷积层、第一泄露修正线性单元激活函数层、第二卷积层、第二泄露修正线性单元激活函数层、输出层;
B2、将输出层的输出作为判别器的判别输出。
进一步地,生成对抗网络的每一尺度的目标函数包含两部分,判断真假概率LS、判断图像类别概率LC
Figure BDA0002694514330000031
LC=E[log P(C=c|Xreal)]+E[log P(C=c|Xfake)] (2)
其中判别器的优化目标为最大化LS+LC,生成器的优化目标为最大化LS-LC,其中E(‖D(XS|S=real)-D(XS|S=fake)‖)为Wasserstein损失,
Figure BDA0002694514330000032
为梯度惩罚项,λ为10。
进一步地,生成器的最终损失函数为:
LS_totall=LS_4*4+LS_8*8+LS_16*16+LS_32*32+LS_64*64+LS_128*128+LS_256*256 (3)
LC_totall=LC_4*4+LC_8*8+LC_16*16+LC_32*32+LC_64*64+LC_128*128+LC_256*256 (4)
式中,LS_4*4、LC_4*4为4×4尺度的目标函数,LS_8*8、LC_8*8为8×8尺度的目标函数,LS_16*16、LC_16*16为16×16尺度的目标函数,LS_32*32、LC_32*32为32×32尺度的目标函数,LS_64*64、LC_64*64为64×64尺度的目标函数,LS_128*128、LC_128*128为128×128尺度的目标函数,LS_256*256、LC_256*256为256×256尺度的目标函数,判别器的优化目标为最大化LS_totall+LC_totall,生成器的优化目标为最大化LS_totall-LC_totall
进一步地,所述多次迭代训练模型的方法为:
将SAR船舶图像输入到生成对抗网络中,交替训练判别器和生成器,直到达到收敛状态。
本发明的有益效果为:
(1)在生成器中增加局部响应归一化层,稳定网络训练过程。
(2)增加多尺度损失项,即将不同尺度生成图像输入至判别器,计算不同尺度损失最终在全局进行相加,提高不同尺度生成图像质量。
附图说明
图1示出了根据本公开实施例的基于生成对抗网络的高分辨率SAR船舶图像生成方法的流程图;
图2示出了根据本公开实施例的生成对抗网络构建结构图;
图3示出了根据本公开实施例的使用Resnet18去评估生成船舶质量的具体过程图;
图4示出了根据本公开实施例的使用生成的船舶图像用于训练Yolov3网络去评估生成船舶质量的具体过程图;
图5示出了根据本公开实施例的制作高分辨率SAR船舶切片过程图;
图6示出了根据本公开实施例的生成的SAR船舶金字塔;
图7示出了根据本公开实施例的生成的32×32至256×256船舶图像;
图8示出了根据本公开实施例的与ACGAN生成图像结果对比;
图9示出了根据本公开实施例的生成的SAR船舶样本在ResNet18中置信度;
图10示出了根据本公开实施例的标注生成的SAR船舶图像矩形框;
图11示出了根据本公开实施例的船舶切片检测结果;
图12示出了根据本公开实施例的图像A船舶检测结果;
图13示出了根据本公开实施例的图像B船舶检测结果;
图14示出了根据本公开实施例的图像C船舶检测结果。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案,下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述,但不作为对本公开的限定。本文中所描述的各个步骤,如果彼此之间没有前后关系的必要性,则本文中作为示例对其进行描述的次序不应视为限制,本领域技术人员应知道可以对其进行顺序调整,只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,基于生成对抗网络的高分辨率SAR船舶图像生成方法,包括以下步骤:
S1、建立多尺度SAR船舶图像数据集,将真实图像大小为256×256的切片经过下采样层采样至不同分辨率;
S2、搭建生成对抗网络的网络结构;包括以下子步骤:
S2.1、生成器结构包括上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
S2.2、判别器网络结构包括两层卷积层、两层泄露修正线性单元激活函数层;
S3、以SAR船舶图像的训练集作为输入,多次迭代训练模型,并对目标函数进行优化;
S4、在测试集上进行SAR船舶图像的测试,得到收敛的生成对抗网络;
S5、将噪声(Latent Vector)和类别向量(Class Vector)作为生成器的输入,输入到收敛的生成对抗网络中,得到对应的高分辨率SAR船舶图像。
上述步骤S4中的生成对抗网络如图2所示,包括相互连接的生成器(Generator)和判别器(Discriminator),生成器包括一个上采样层(Upsample),两个卷积层(Conv),两个尺度局部响应归一化层(LRN)和两个泄露修正线性单元(LeakyReLU)激活函数,判别器包括两个卷积层(Conv),两个泄露修正线性单元(LeakyReLU)激活函数,
生成器对输入数据生成图像的处理方法具体为:
A1、产生一个509维的随机向量(Latent Vector),并将其与SAR船舶图像的类别向量(Class Vector)进行拼接;
A2、将拼接后的数据依次通过上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
A3、多尺度图像输出层利用1×1大小卷积对不同大小特征图进行通道压缩至3通道特征图,生成对应的多尺度fake图像。
进一步地,判别器对输入图像处理的方法具体为:
B1、将fake图像和预处理后的SAR船舶真实图像(Real images)经过第一卷积层、第一泄露修正线性单元激活函数层、第二卷积层、第二泄露修正线性单元激活函数层、输出层;
B2、将输出层(Linear Softmax)的输出作为判别器的判别输出。
在上述构建生成对抗网络中,生成对抗网络的每一尺度的目标函数包含两部分,判断真假概率LS、判断图像类别概率LC
Figure BDA0002694514330000061
LC=E[log P(C=c|Xreal)]+E[log P(C=c|Xfake)] (2)
其中判别器的优化目标为最大化LS+LC,生成器的优化目标为最大化LS-LC,其中E(‖D(XS|S=real)-D(XS|S=fake)‖)为Wasserstein损失,
Figure BDA0002694514330000062
为梯度惩罚项,λ为10。
进一步地,生成器的最终损失函数为:
LS_totall=LS_4*4+LS_8*8+LS_16*16+LS_32*32+LS_64*64+LS_128*128+LS_256*256 (3)
LC_totall=LC_4*4+LC_8*8+LC_16*16+LC_32*32+LC_64*64+LC_128*128+LC_256*256 (4)
式中,LS_4*4、LC_4*4为4×4尺度的目标函数,LS_8*8、LC_8*8为8×8尺度的目标函数,LS_16*16、LC_16*16为16×16尺度的目标函数,LS_32*32、LC_32*32为32×32尺度的目标函数,LS_64*64、LC_64*64为64×64尺度的目标函数,LS_128*128、LC_128*128为128×128尺度的目标函数,LS_256*256、LC_256*256为256×256尺度的目标函数,判别器的优化目标为最大化LS_totall+LC_totall,生成器的优化目标为最大化LS_totall-LC_totall
进一步地,所述多次迭代训练模型的方法为:
将SAR船舶图像输入到生成对抗网络中,交替训练判别器和生成器,直到达到收敛状态。
本发明为使网络训练过程更加稳定,反之出现梯度消失等情况,采用Wasserstein距离以及梯度惩罚项,同时在生成器中增加局部响应归一化层,稳定网络训练过程。为实时生成不同尺度图像,适应生成多尺度SAR遥感图像任务,增加多尺度损失项,即将不同尺度生成图像输入至判别器,计算不同尺度损失最终在全局进行相加,提高不同尺度生成图像质量。
本发明采用SSIM值、Resnet18分类网络置信度、Yolov3船舶检测率作为生成船舶图像定量评价指标:
(1)使用SSIM值评估生成船舶质量
图像结构相似性是用来衡量图像相似度的一种指标,结构相似性理论认为图像是高度结构化,在像素之间有较强关联关系,这种关联关系是图像结构的重要信息。结构相似性指标将结构信息定义为亮度、对比度,反映场景中物体结构的属性,其中用均值代表图像亮度的估计,标准差作为对比度估计,协方差作为结构相似程度估计。计算公式为式(5)
Figure BDA0002694514330000071
公式(5)中μx为x的平均值,μy为y的平均值,
Figure BDA0002694514330000072
为x的方差,
Figure BDA0002694514330000073
为y的方差,σxy为x和y的协方差,c1与c2是常数。最终结构相似性指标范围从0到1,越靠近1图像越相似,当两张图像一样时,图像结构相似性指标为1。
(2)使用ResNet18评估生成船舶质量
选择Resnet18去评估生成船舶质量,具体过程如图3所示。Resnet18的训练集与测试集如表1所示。其中采用3中不同类型256×256真实SAR船舶训练Resnet18,并在测试集上进行测试。随后,利用逐步Wasserstein距离改进ACGAN(Progressive Wasserstein ACGAN,PW-ACGAN)生成的256×256船舶作为该Resnet18的输入,将其输出的置信度作为衡量生成船舶质量的指标。如果生成船舶在Resnet18网络上所获置信度越高,则说明生成船舶质量也越高,与真实船舶图像越相似。
表1.Resnet18的训练集与测试集
船舶类型 ResNet18-训练集 ResNet18-测试集
货船 279 63
集装箱船 211 51
油轮 185 46
总计 675 160
(3)使用生成船舶样本训练的Yolov3网络用于船舶检测
使用生成的船舶图像用于训练Yolov3网络去评估生成船舶质量。首先利用矩形框对生成256×256的船舶进行标注,将其用于训练Yolov3网络。然后将1m分辨率的高分三号卫星图像作为船舶检测数据。根据Yolov3船舶检测精确度作为评估生成船舶质量的指标。船舶检测率越高,则生成船舶质量与实用性更高。训练Yolov3网络去评估生成船舶质量的具体过程如图4所示。
实验所采用的数据为3m分辨率的高分三号卫星遥感数据。获取遥感数据后,为了减少由于海浪以及其他因素造成的误差,对其进行辐射校正与归一化处理,将图像的后向散射系数归一化到正常范围。然后利用”Imagelabel”工具将原始数据进行切片,切片包含货船、集装箱船以及油轮三种类别。制作高分辨率SAR船舶切片过程如图5所示。图像的大小为256×256。最终生成的切片数量如表2所示。
表2.高分三号高分辨率船舶切片
船舶类型 货船 集装箱船 油轮 总计
数量 342 262 231 835
本发明在生成器中输入512维向量,前3维为类别向量,后509维为随机向量。在生成器与判别器不断对抗训练过程中,使用分步训练方法,在生成器中依次输出4×4、8×8、16×16至256×256的SAR船舶图像。在判别器中输入生成图像与真实图像,最终输出图像真假概率以及类别概率。利用Wasserstein距离损失以及梯度惩罚进行反向传播训练。经过不断对抗博弈训练得到图6展示模型生成多尺度图像金字塔效果。并且图7展示了32×32至256×256大小生成船舶切片。
从图6中,在视觉定性角度,本发明的模型具有生成多尺度高分辨率SAR样本能力,能够从4×4图像最终生成256×256高分辨SAR船舶图像。图7展示从32×32至256×256生成SAR船舶图像。可以定性分析出,本发明在生成从32×32至256×256船舶图像过程中,图像清晰度逐渐增强,即分辨率逐渐提高,船体轮廓及纹理更加逼真,说明随着网络模型层数不断加深,生成器拟合真实SAR船舶图像在高维空间数据分布能力加强。
利用SSIM评价图像相似度时,评价分数越接近于1,则生成图像与真实图像相似度越高,反之当评价分数接近于0时,则判定为完全不相似。图8展示了原始ACGAN网络与本发明的网络生成样本与真实船舶数据对比图,并利用SSIM进行定量结果如表3。
表3.图像SSIM相似度评定
ACGAN结构相似度值 PW-ACGAN结构相似度值
第一组 0.6609 0.5744
第二组 0.0323 0.5869
第三组 0.6489 0.9572
平均 0.4474 0.7062
在视觉效果中,原始ACGAN网络模型生成船舶存在一定模糊,纹理特征与边缘特征模糊,并且图8第二排第三张生成船舶具有一定弯曲。表3中,ACGAN模型中第二张生成船舶SSIM值为0.0323,接近于0,与真实图像不相似。以及第一张图,船舶出现截断情况。说明ACGAN利用JS散度难以使生成器拟合真实SAR船舶数据分布。而本发明生成与原始图像相似度为0.9572图像,且生成图像的SSIM平均值明显高于原始ACGAN模型,说明基于本发明的模型能够生成高质量的SAR船舶图像。
本发明还利用训练精度达到95%的ResNet18计算生成船舶置信度,并将该置信度作为定量评价指标。在生成每类船舶中随机挑选货船798张,集装箱船492张,油轮816张进行分类,最后计算每类船舶置信度平均值。图9显示了部分生成船舶置信度。表4为每类生成船舶样本的平均置信度。
表4.生成的船舶样本Resnet18平均置信度结果
船舶类别 数量 ResNet18平均置信度
货船 798 0.932
集装箱船 492 0.882
油轮 816 0.923
总计 2106 0.912
在图9与表4中,生成3种不同类型船舶中,货船ResNet18平均置信度为0.932,集装箱船ResNet18平均置信度为0.882,油轮ResNet18平均置信度为0.923。说明生成三种船舶样本具有高质量仿真能力。
本发明还利用生成船舶训练Yolov3船舶检测,首先随机选取生成4952张船舶样本,并勾选包含船舶矩形框,如图10所示。
在图10所示,生成船舶已被完全框住,符合构成Yolov3训练集要求。我们将所生成样本进行划分,训练集占65%,验证集占15%,测试集占20%。如表5所示。
表5.生成船舶构建检测数据集情况
Figure BDA0002694514330000091
Figure BDA0002694514330000101
使用该数据集用于Yolov3网络的训练,并利用1m分辨率的高分三号卫星数据进行检测。根据检测精度定量评价生成船舶样本质量。船舶检测结果从图11至图14。表6为统计检测结果。
表6.统计检测结果
Figure BDA0002694514330000102
根据图11所示,测试4张608×608切片数据,该四张切片中船舶均被检测出来。尤其对于第三张切片中船舶被检测,说明生成船舶样本已具备多种模式特点,使得Yolov3网络能够检测出复杂成像的船舶。随后利用A、B、C三幅SAR图像进行检测,从表6及图12、图13、图14分析出。用生成船舶样本训练的Yolov3网络能达到90%以上船舶检测率,图A检测率高达95.7%,但是图B虚警率为42.8%原因是由于生成船舶为256×256大小,而B图的船大小均为608左右导致Yolov3使用256滑窗时会将一艘大船裁剪重复检测,导致一艘船上检测出此结果。但是根据三幅图准确率均高达90%以上,说明了本发明生成的SAR船舶样本具有高质量、多模式特点,并且可应用于多场景的SAR船舶检测。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。虽然以上结合附图描述了本发明的具体实施方式,但是本领域普通技术人员应当理解,这些仅是举例说明,可以对这些实施方式做出多种变形或修改,而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (7)

1.一种基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,包括以下步骤:
S1、建立多尺度SAR船舶图像数据集,将真实图像大小为256×256的切片经过下采样层采样至不同分辨率;
S2、搭建生成对抗网络的网络结构;包括以下子步骤:
S2.1、生成器结构包括上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
S2.2、判别器网络结构包括两层卷积层、两层泄露修正线性单元激活函数层;
S3、以SAR船舶图像的训练集作为输入,多次迭代训练模型,并对目标函数进行优化;
S4、在测试集上进行SAR船舶图像的测试,得到收敛的生成对抗网络;
S5、将噪声和船舶类别向量作为生成器的输入,输入到收敛的生成对抗网络中,得到对应的高分辨率SAR船舶图像。
2.根据权利要求1所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,所述多尺度图像输出层利用1×1大小卷积对不同大小特征图进行通道压缩至3通道特征图,生成对应尺度图像,并将上述3通道输出图输入至对应结构层级判别器,经过训练五次判别器后再训练一次生成器,得到收敛的生成对抗网络。
3.根据权利要求2所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,生成器对输入数据生成图像的处理方法具体为:
A1、产生一个509维的随机向量,并将其与SAR船舶图像的类别向量进行拼接;
A2、将拼接后的数据依次通过上采样层、第一卷积层、第一局部响应归一化层、第一泄露修正线性单元激活函数层、第二卷积层、第二局部响应归一化层、第二泄露修正线性单元激活函数层、多尺度图像输出层;
A3、多尺度图像输出层利用1×1大小卷积对不同大小特征图进行通道压缩至3通道特征图,生成对应的多尺度fake图像。
4.根据权利要求3所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,判别器对输入图像处理的方法具体为:
B1、将fake图像和预处理后的SAR船舶图像经过第一卷积层、第一泄露修正线性单元激活函数层、第二卷积层、第二泄露修正线性单元激活函数层、输出层;
B2、将输出层的输出作为判别器的判别输出。
5.根据权利要求1所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,生成对抗网络的每一尺度的目标函数包含两部分,判断真假概率LS、判断图像类别概率LC
Figure FDA0002694514320000021
LC=E[logP(C=c|Xreal)]+E[logP(C=c|Xfake)] (2)
其中判别器的优化目标为最大化LS+LC,生成器的优化目标为最大化LS-LC,其中E(‖D(XS|S=real)-D(XS|S=fake)‖)为Wasserstein损失,
Figure FDA0002694514320000022
为梯度惩罚项,λ为10。
6.根据权利要求5所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,所述生成器的最终损失函数为:
LS_totall=LS_4*4+LS_8*8+LS_16*16+LS_32*32+LS_64*64+LS_128*128+LS_256*256 (3)
LC_totall=LC_4*4+LC_8*8+LC_16*16+LC_32*32+LC_64*64+LC_128*128+LC_256*256 (4)
式中,LS_4*4、LC_4*4为4×4尺度的目标函数,LS_8*8、LC_8*8为8×8尺度的目标函数,LS_16*16、LC_16*16为16×16尺度的目标函数,LS_32*32、LC_32*32为32×32尺度的目标函数,LS_64*64、LC_64*64为64×64尺度的目标函数,LS_128*128、LC_128*128为128×128尺度的目标函数,LS_256*256、LC_256*256为256×256尺度的目标函数,判别器的优化目标为最大化LS_totall+LC_totall,生成器的优化目标为最大化LS_totall-LC_totall
7.根据权利要求1所述的基于生成对抗网络的高分辨率SAR船舶图像生成方法,其特征在于,所述多次迭代训练模型的方法为:
将SAR船舶图像输入到生成对抗网络中,交替训练判别器和生成器,直到达到收敛状态。
CN202011001607.3A 2020-09-22 2020-09-22 基于生成对抗网络的高分辨率sar船舶图像生成方法 Active CN112132012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011001607.3A CN112132012B (zh) 2020-09-22 2020-09-22 基于生成对抗网络的高分辨率sar船舶图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011001607.3A CN112132012B (zh) 2020-09-22 2020-09-22 基于生成对抗网络的高分辨率sar船舶图像生成方法

Publications (2)

Publication Number Publication Date
CN112132012A true CN112132012A (zh) 2020-12-25
CN112132012B CN112132012B (zh) 2022-04-26

Family

ID=73842141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011001607.3A Active CN112132012B (zh) 2020-09-22 2020-09-22 基于生成对抗网络的高分辨率sar船舶图像生成方法

Country Status (1)

Country Link
CN (1) CN112132012B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560795A (zh) * 2020-12-30 2021-03-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112766381A (zh) * 2021-01-22 2021-05-07 西安电子科技大学 有限样本下属性引导的sar图像生成方法
CN113052273A (zh) * 2021-06-01 2021-06-29 之江实验室 基于像素组合约束和采样校正的gan图像生成方法
CN113421212A (zh) * 2021-06-23 2021-09-21 华侨大学 一种医学影像的增强方法、装置、设备和介质
CN115345238A (zh) * 2022-08-17 2022-11-15 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置
CN115995032A (zh) * 2023-03-23 2023-04-21 中国船舶集团有限公司第七一九研究所 一种多模态特征融合的舰船智能识别方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110197514A (zh) * 2019-06-13 2019-09-03 南京农业大学 一种基于生成式对抗网络的蘑菇表型图像生成方法
CN111027439A (zh) * 2019-12-03 2020-04-17 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法
CN111563841A (zh) * 2019-11-13 2020-08-21 南京信息工程大学 一种基于生成对抗网络的高分辨率图像生成方法
US20200285959A1 (en) * 2018-09-30 2020-09-10 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US20200285959A1 (en) * 2018-09-30 2020-09-10 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110197514A (zh) * 2019-06-13 2019-09-03 南京农业大学 一种基于生成式对抗网络的蘑菇表型图像生成方法
CN111563841A (zh) * 2019-11-13 2020-08-21 南京信息工程大学 一种基于生成对抗网络的高分辨率图像生成方法
CN111027439A (zh) * 2019-12-03 2020-04-17 西北工业大学 基于辅助分类生成对抗网络的sar目标识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560795A (zh) * 2020-12-30 2021-03-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112766381A (zh) * 2021-01-22 2021-05-07 西安电子科技大学 有限样本下属性引导的sar图像生成方法
CN112766381B (zh) * 2021-01-22 2023-01-24 西安电子科技大学 有限样本下属性引导的sar图像生成方法
CN113052273A (zh) * 2021-06-01 2021-06-29 之江实验室 基于像素组合约束和采样校正的gan图像生成方法
CN113421212A (zh) * 2021-06-23 2021-09-21 华侨大学 一种医学影像的增强方法、装置、设备和介质
CN113421212B (zh) * 2021-06-23 2023-06-02 华侨大学 一种医学影像的增强方法、装置、设备和介质
CN115345238A (zh) * 2022-08-17 2022-11-15 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置
CN115345238B (zh) * 2022-08-17 2023-04-07 中国人民解放军61741部队 一种海水透明度融合数据的生成方法及生成装置
CN115995032A (zh) * 2023-03-23 2023-04-21 中国船舶集团有限公司第七一九研究所 一种多模态特征融合的舰船智能识别方法和系统

Also Published As

Publication number Publication date
CN112132012B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN112132012B (zh) 基于生成对抗网络的高分辨率sar船舶图像生成方法
Shi et al. Automatic salt-body classification using a deep convolutional neural network
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111339858B (zh) 一种基于神经网络的油气管道标志物识别方法
CN110781924B (zh) 一种基于全卷积神经网络的侧扫声纳图像特征提取方法
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
Li et al. No-reference image quality assessment using statistical characterization in the shearlet domain
CN112699717A (zh) 基于gan网络的sar图像生成方法及生成装置
CN113283419B (zh) 基于注意力的卷积神经网络指针式仪表图像读数识别方法
CN108399430B (zh) 一种基于超像素和随机森林的sar图像舰船目标检测方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN113592786B (zh) 一种基于深度学习的海洋中尺度涡检测方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN112598657B (zh) 缺陷检测方法、装置、模型构造方法和计算机设备
CN108154153B (zh) 场景分析方法和系统、电子设备
NO20150725A1 (en) Method for processing and image
CN115661622A (zh) 一种基于图像增强和改进YOLOv5的陨石坑检测方法
CN112784777B (zh) 基于对抗学习的无监督高光谱图像变化检测方法
CN114359709A (zh) 一种针对遥感图像的目标检测方法及装置
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN112415514A (zh) 一种目标sar图像生成方法及装置
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant