CN112396110B - 一种基于生成对抗级联网络增广图像的方法 - Google Patents

一种基于生成对抗级联网络增广图像的方法 Download PDF

Info

Publication number
CN112396110B
CN112396110B CN202011307427.8A CN202011307427A CN112396110B CN 112396110 B CN112396110 B CN 112396110B CN 202011307427 A CN202011307427 A CN 202011307427A CN 112396110 B CN112396110 B CN 112396110B
Authority
CN
China
Prior art keywords
image
real
class
level
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011307427.8A
Other languages
English (en)
Other versions
CN112396110A (zh
Inventor
袁杰
程裕家
金志斌
周雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202011307427.8A priority Critical patent/CN112396110B/zh
Publication of CN112396110A publication Critical patent/CN112396110A/zh
Priority to PCT/CN2021/110525 priority patent/WO2022105308A1/zh
Application granted granted Critical
Publication of CN112396110B publication Critical patent/CN112396110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗级联网络增广图像的方法。包括：从原始图像Iori圈定感兴趣区域并裁剪，获得裁剪后的图像Icut；对Icut通过预处理获得增广后的数据集Scut；利用数据集Scut进行Ⅰ级生成对抗网络的训练；加载训练好的Ⅰ级生成器，输入随机噪声推理出图像，并对生成的图像通过上采样处理后，制作成新的数据集SⅠ；利用数据集SⅠ与Icut作为Ⅱ级生成对抗网络的训练数据集，进行Ⅱ级生成对抗网络的训练；加载训练好的Ⅱ级生成器，将数据集SⅠ输入Ⅱ级生成器，推理出所需的增广图像Ides。本发明在对图像增广时，解决了Ⅰ级生成对抗网络中生成图像差异性小和分辨率低的问题，在增广图像的同时提高了网络的泛化性能。

Description

一种基于生成对抗级联网络增广图像的方法
技术领域
本发明涉及超声图像分析领域，尤其涉及一种基于生成对抗级联网络增广图像的方法。
背景技术
在深度学习的图像研究中，通常都依赖于大规模的数据集以避免过拟合问题的发生。当图像数据量严重不足时，通常采用传统图像增广方式进行图像增广，例如多次裁剪、添加高斯噪声、灰度均衡等。
这些传统图像增广方法在对现有数据集实现扩充的同时也给网络的训练带来了过拟合的风险。原因是通过这些传统的图像增广方法得到的图像与原始图像相关性极高，而且单级生成对抗网络生成的图像也存在一定的相似性且分辨率较低，这些方法并不能明显提高数据集样本的多样性。随着增广数据量的增加，数据集中雷同的数据项越来越多，最终导致网络过拟合，泛化性能差。
在深度学习领域中常常存在着图像数据量不足，或者图像种类不够丰富等情况，使用良好的图像增广方法往往能起到事半功倍甚至是决定性的作用；但与此同时，单一的图像增广方式也有可能会导致网络的过拟合，致使网络的泛化性能差；除此之外，单级生成对抗网络生成的图像存在图像之间相似度较高且分辨率低等问题。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于生成对抗级联网络增广图像的方法。
为了解决上述技术问题，本发明公开了一种基于生成对抗级联网络增广图像的方法，包括如下步骤：
步骤1，从原始图像Iori圈定感兴趣区域并裁剪，获得裁剪后的图像Icut；
步骤2，对裁剪的图像Icut进行预处理以增广图像，获得增广后的数据集Scut；
步骤3，利用所述增广后的数据集Scut进行Ⅰ级生成对抗网络的训练，并验证测试，保存训练好的Ⅰ级判别器和Ⅰ级生成器；
步骤4，加载所述训练好的Ⅰ级生成器，通过输入随机噪声推理出图像，对推理出的图像运用上采样的方法进行后处理，制作成尺寸为W*L的图像并添加至新的数据集SⅠ中；
步骤5，将步骤4制作的新的数据集SⅠ与所述裁剪后的图像Icut共同作为Ⅱ级生成对抗网络的训练集，进行Ⅱ级生成对抗网络训练，并验证测试，保存训练好的Ⅱ级判别器和Ⅱ级生成器；
步骤6，加载所述训练好的Ⅱ级生成器，输入经步骤4处理后的数据集SⅠ，推理出增广图像Ides，所述增广图像Ides的尺寸为W*L；将具有一定先验信息的图像数据集SⅠ作为Ⅱ级生成器的输入，获得的增广图像Ides相对于传统增广方式获得的图像更具有多样性。
进一步地，在一种实现方式中，所述步骤1包括：从所述原始图像Iori中选择包含目标区域的图像子块并进行裁剪，获得裁剪后的图像Icut，所述裁剪后的图像Icut的尺寸为W*L，所述包含目标区域的图像子块即原始图像的感兴趣区域。
进一步地，在一种实现方式中，所述步骤2包括：所述预处理指对所述裁剪后的图像Icut进行多抽样以增广图像，获得增广后的数据集Scut；对图像进行多抽样起到图像增广的作用，增加了数据集图像数量，降低后续Ⅰ级生成对抗网络的训练难度。
进一步地，在一种实现方式中，所述步骤3包括：
步骤3-1，所述Ⅰ级生成对抗网络中所述Ⅰ级生成器后串接Ⅰ级判别器，输入随机噪声，经由Ⅰ级生成器后，生成Ⅰ级生成图像；
步骤3-2，训练Ⅰ级判别器，将通过所述步骤2获得的数据集Scut添加到真实图像数据集SⅠ,real，将所述真实图像数据集SⅠ,real输入到Ⅰ级生成对抗网络中，和所述Ⅰ级生成图像一起作为Ⅰ级判别器的输入图像；将所述真实图像数据集SⅠ,real中图像的标签设置为真，所述Ⅰ级生成图像的标签设置为假；Ⅰ级判别器的训练由两部分组成，第一部分是所述真实图像数据集SⅠ,real中的图像判别为真，第二部分是所述Ⅰ级生成图像判别为假，在这两个过程中，将Ⅰ级判别器输出的损失函数值回传至Ⅰ级判别器，Ⅰ级生成器的网络参数不参与更新，只更新所述Ⅰ级判别器的网络参数；
步骤3-3，训练Ⅰ级生成器，将Ⅰ级生成图像输入到Ⅰ级判别器中，将所述Ⅰ级生成图像的标签设置为真；Ⅰ级生成器训练时，Ⅰ级判别器固定，将Ⅰ级生成器输出的损失函数值回传至Ⅰ级生成器，只更新所述Ⅰ级生成器的网络参数而保持Ⅰ级判别器的网络参数不变；
步骤3-4，由训练好的Ⅰ级生成器的网络参数和Ⅰ级判别器的网络参数生成训练好的Ⅰ级判别器和Ⅰ级生成器。
进一步地，在一种实现方式中，所述步骤4包括：
步骤4-1，将随机噪声输入步骤3所述Ⅰ级生成器，进行推理获得I级生成图像；
步骤4-2，利用上采样的方法将步骤4-1中获得的I级生成图像还原成步骤1裁剪后的图像尺寸W*L；所述上采样为基于插值的上采样；
步骤4-3，对插值后的图像用归一化、直方图均衡的方法和增加对比度进行处理，将处理后的图像添加至新的数据集SⅠ中。
进一步地，在一种实现方式中，所述步骤5包括：
步骤5-1，将步骤4制作的新的数据集SⅠ，输入Ⅱ级生成对抗网络的Ⅱ级生成器，经由Ⅱ级生成器后，生成Ⅱ级生成图像；
步骤5-2，训练Ⅱ级判别器，将步骤1裁剪后的图像Icut添加到真实图像数据集SⅡ,real，将所述真实图像数据集SⅡ,real输入到Ⅱ级生成对抗网络中，和所述Ⅱ级生成图像一起作为Ⅱ级判别器的输入图像；将所述真实图像数据集SⅡ,real中图像的标签设置为真，所述Ⅱ级生成图像的标签设置为假；Ⅱ级判别器的训练由两部分组成，第一部分是所述真实图像数据集SⅡ,real中的图像判别为真，第二部分是所述Ⅱ级生成图像判别为假，在这两个过程中，将Ⅱ级判别器输出的损失函数值回传至Ⅱ级判别器，Ⅱ级生成器的网络参数不参与更新，只更新所述Ⅱ级判别器的网络参数；
步骤5-3，训练Ⅱ级生成器，将Ⅱ级生成图像输入到Ⅱ级判别器中，将所述Ⅱ级生成图像的标签设置为真；Ⅱ级生成器训练时，Ⅱ级判别器固定，将Ⅱ级生成器输出的损失函数值回传至Ⅱ级生成器，只更新所述Ⅱ级生成器的网络参数而保持Ⅱ级判别器的网络参数不变；
步骤5-4，由训练好的Ⅱ级生成器的网络参数和Ⅱ级判别器的网络参数生成训练好的Ⅱ级判别器和Ⅱ级生成器。
进一步地，在一种实现方式中，所述步骤3-2和步骤3-3中Ⅰ级判别器输出的损失函数值均包括Ⅰ级判别器的损失函数值和Ⅰ级生成器的损失函数值；所述Ⅰ级判别器的损失函数值包括对所述真实图像数据集SⅠ,real中图像的误差计算结果和对Ⅰ级生成图像的误差计算结果之和，计算公式如下：
lossreal＝criterion(realout，reallabel)
lossfake＝criterion(fakeout，fakelabel)
lossd＝lossreal+lossfake
其中，lossreal为I级判别器对真实图像数据集SI，real中图像得出的损失函数值，lossfake为I级判别器对I级生成图像得出的损失函数值，reallabel为真实图像数据集SI，real中图像的标签，该标签此时为1，realout为真实图像数据集SI，real中具体图像；fakeout为I级生成图像的具体图像，fakelabel为I级生成图像的标签，该标签此时为0，lossd是经由I级生成图像和真实图像数据集SI，real中图像的结果汇总之后所得到的I级判别器的整体损失函数，criterion代表损失函数的计算方法；
所述I级生成器的损失函数值是由真实图像数据集SI，real中图像的标签和I级生成图像相结合计算获得，计算公式如下：
lossg＝criterion(output，fack_label)
其中，lossg是I级生成器的损失函数，output代表I级生成图像，fack_label代表真实图像数据集SI，real中图像的标签，该标签此时为0。
进一步地，在一种实现方式中，所述步骤3中，I级生成器和I级判别器均选用Adam优化器进行网络参数更新。
进一步地，在一种实现方式中，所述步骤5-2和步骤5-3中II级判别器输出的损失函数值均包含II级判别器的损失函数值和II级生成器的损失函数值；所述II级判别器的损失函数值包括对真实图像数据集SII，real中图像的误差计算结果和对II级生成图像的误差计算结果之和，计算公式如下：
lossII，real＝criterion(realII，out，realII，label)
lossII，fake＝criterion(fakeII，out，fakeII，label)
lossII，d＝lossII，real+lossII，fake
其中，lossII，real为II级判别器对真实图像数据集SII，real中图像得出的损失函数值，lossII，fake为II级判别器对II级生成图像得出的损失函数值，realII，label为真实图像数据集SII，real中图像的标签，该标签此时为1，realII，out为真实图像数据集SII，real中具体图像；fakeII，out为II级生成图像的具体图像，fakeII，label为II级生成图像的标签，该标签此时为0，lossII，d是经由II级生成图像和真实图像数据集SII，real中图像的结果汇总之后所得到的II级判别器的整体损失函数，criterion代表损失函数的计算方法；
所述II级生成器的损失函数是由真实图像数据集SII，real中图像的标签和II级生成图像相结合计算获得，计算公式如下：
lossII，g＝criterion(outputII，fack_labelII)
其中，lossII，g是II级生成器的损失函数，outputII代表II级生成图像，fack_labelII代表真实图像数据集SII，real中图像的标签，该标签此时为0。
进一步地，在一种实现方式中，所述步骤5中，II级生成器和II级判别器均选用Adam优化器进行网络参数更新。
有益效果：本发明中，利用两级生成对抗网络级联生成增广图像，将I级生成对抗网络生成的图像经过后处理，输入到II级生成对抗网络，即利用II级生成对抗网络将生成对抗网络中常以随机噪声作为输入改为将具有一定先验信息的图像作为输入，生成具有明显差异性和高分辨率的新图像，提高了图像增广的差异性和分辨率；相对于现有技术，本发明解决了仅利用现有图像样本进行深度学习研究的训练数据量不足的问题，并且避免了局限于传统增广方式而造成的网络过拟合问题；同时，解决了单级生成对抗网络生成的图像之间相似度较高且分辨率低等问题，提高了网络的泛化性能。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种基于生成对抗级联网络增广图像的方法中Ⅰ级生成对抗网络的工作流程示意图；
图2是本发明实施例部分提供的一种基于生成对抗级联网络增广图像的方法中Ⅱ级生成对抗网络的工作流程示意图；
图3是本发明实施例部分提供的一种基于生成对抗级联网络增广图像的方法中Ⅰ级生成对抗网络的Ⅰ级生成器(G)和Ⅰ级判别器(D)的神经网络架构示意图；
图4是本发明实施例部分提供的一种基于生成对抗级联网络增广图像的方法中Ⅱ级生成对抗网络的Ⅱ级生成器(G)和Ⅱ级判别器(D)的神经网络架构示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种基于生成对抗级联网络增广图像的方法，本方法应用于关节炎超声图像的增广研究，由于该病的患病人群较少，可供研究的样本不足，进而导致超声图像的相关研究迟缓。
本实施例所述的一种基于生成对抗级联网络增广图像的方法，包括如下步骤：
步骤1，从原始图像Iori圈定感兴趣区域并裁剪，获得裁剪后的图像Icut；本实施例中，可以采用Matlab软件圈定原始图像感兴趣区域并进行确定尺寸裁剪，从而获得裁剪后的图像Icut。
步骤2，对裁剪的图像Icut进行预处理增广图像，获得增广后的数据集Scut；本实施例中，所述预处理指图像抽样。
步骤3，利用所述增广后的数据集Scut进行Ⅰ级生成对抗网络的训练，并验证测试，保存训练好的Ⅰ级判别器和Ⅰ级生成器。本实施例中，所述生成对抗网络(GenerativeAdversarial Networks,GAN)为通过生成器(G)和判别器(D)形成的网络；所述生成对抗级联网络是将两个生成对抗网络(Ⅰ级生成对抗网络和Ⅱ级生成对抗网络)经过级联形成的组合网络。
步骤4，加载所述训练好的Ⅰ级生成器，通过输入随机噪声推理出图像，对推理出的图像运用上采样的方法进行后处理，制作成尺寸为W*L的图像并添加至新的数据集SⅠ中。本实施例中，数据集SⅠ中包含720幅图像。
步骤5，将步骤4制作的新的数据集SⅠ与步骤1裁剪后的图像Icut共同作为Ⅱ级生成对抗网络的训练集，进行Ⅱ级生成对抗网络训练，并验证测试，保存训练好的Ⅱ级判别器和Ⅱ级生成器。本步骤中，所述的Ⅱ级生成对抗网络的训练集指步骤1中裁剪后的图像Icut和步骤4中制作的新的数据集SⅠ共同获得的数据集。
步骤6，加载所述训练好的Ⅱ级生成器，输入经步骤4处理后的数据集SⅠ，推理出增广图像Ides，所述增广图像Ides的尺寸为W*L。本步骤中，所述的Ⅱ级生成器指步骤5中保存的生成器。
本实施例所述的一种基于生成对抗级联网络增广图像的方法中，所述步骤1包括：从所述原始图像Iori中选择包含目标区域的图像子块并进行裁剪，获得裁剪后的图像Icut，所述裁剪后的图像Icut的尺寸为W*L，所述包含目标区域的图像子块即原始图像的感兴趣区域。
具体的，本步骤中，后续的处理都针对这个感兴趣区域以减少处理时间、提高精度。本实施例中，使用的原始图像Iori是由医学超声成像设备采集得到的关节炎患病部位图像，共有720幅，图像的成像深度根据采集设备的不同而有所区别。所述原始图像的分辨率为1024*768，单位为像素，为了剔除所述原始图像的无效区域，减少生成对抗网络的计算量和计算时间，利用Matlab软件对原始图像中包含目标区域为滑膜所在位置的图像子块进行裁剪，裁剪后的图像Icut的尺寸为512*128，将裁剪后的图像Icut作为训练样本，共有720幅。
本实施例中，所述步骤2包括：对裁剪的图像Icut进行多抽样以增广图像，获得增广后的数据集Scut；
具体的，本实施例中，对裁剪得到的512*128的图像分别按照宽度方向8抽样和高度方向2抽样的方法抽样成大小为64*64的图像。本实施例中，通过多抽样的方式，使图像样本数量增广为原来的16倍。
本实施例中，所述步骤3包括：
步骤3-1，所述Ⅰ级生成对抗网络中所述Ⅰ级生成器后串接Ⅰ级判别器，输入随机噪声，经由Ⅰ级生成器后，生成Ⅰ级生成图像；
步骤3-2，训练I级判别器，将通过所述步骤2获得的数据集Scut添加到真实图像数据集SI，real，将所述真实图像数据集SI，real输入到I级生成对抗网络中，和所述I级生成图像一起作为I级判别器的输入图像；将所述真实图像数据集SI，real中图像的标签设置为真，所述I级生成图像的标签设置为假；I级判别器的训练由两部分组成，第一部分是所述真实图像数据集SI，real中的图像判别为真，第二部分是所述I级生成图像判别为假，在这两个过程中，将I级判别器输出的损失函数值回传至I级判别器，I级生成器的网络参数不参与更新，只更新所述I级判别器的网络参数；
步骤3-3，训练I级生成器，将I级生成图像输入到I级判别器中，将所述I级生成图像的标签设置为真；I级生成器训练时，I级判别器固定，将I级生成器输出的损失函数值回传至I级生成器，只更新所述I级生成器的网络参数而保持I级判别器的网络参数不变；
本实施例中，步骤3-2和步骤3-3中I级判别器输出的损失函数值均包含I级判别器的损失函数值和I级生成器的损失函数值；I级判别器的损失函数包括两个部分，为对真实图像的误差计算结果和对生成图像的误差计算结果之和。其中，在Pytorch下，损失函数的计算方法为BCEloss：
lossreal＝criterion(realout，reallabel)
lossfake＝criterion(fakeout，fakelabel)
lossd＝lossreal+lossfake
其中，lossreal为I级判别器对真实图像数据集SI，real中图像得出的损失函数值，lossfake为I级判别器对I级生成图像得出的损失函数值，reallabel为真实图像数据集SI，real中图像的标签，该标签此时为1，realout为真实图像数据集SI，real中图像的具体图像；fakeout为I级生成图像的具体图像，fakelabel为I级生成图像的标签，该标签此时为0，lossd是经由I级生成图像和真实图像数据集SI，real中图像的结果汇总之后所得到的I级判别器的整体损失函数，criterion代表损失函数的计算方法，本质上是一种仿函数，本实施例中使用的计算方法是BCEloss。
I级生成器的损失函数则是以真实图像数据集SI，real中图像的标签和I级生成图像相结合，以BCEloss来计算损失函数，本实施例中，真实图像的标签即在I级生成对抗网络中记为0：
lossg＝criterion(output，fack_label)
其中，lossg是I级生成器的损失函数，output代表I级生成图像，fack_label代表真实图像数据集SI，real中图像的标签，该标签此时为0，criterion代表损失函数的计算方法，本质上是一种仿函数，本实施例中使用的计算方法是BCEloss。
此外，由于卷积神经网络的需要，I级生成器和I级判别器均需要选择合适的优化算法，保证I级生成器的损失函数和I级判别器的损失函数在极大值收敛的同时，防止损失函数值的发散。具体的实现上，I级生成器和I级判别器选用了Adam优化器进行网络参数更新。本实施例中，每轮训练送入I级生成对抗网络中的训练样本的数量batch_size＝32，训练迭代次数epoch＝200，学习速率lr＝0.0002，输入I级生成器的随机噪声的维度z_dimension＝100。
步骤3-4，由训练好的I级生成器的网络参数和I级判别器的网络参数生成训练好的I级判别器和I级生成器。
本实施例中，所述步骤3中利用步骤2中增广后的数据集Scut作为训练样本，通过I级生成对抗网络进行训练。其中，I级生成对抗网络的基本流程图如图1所示，I级生成器(G)和I级判别器(D)的神经网络架构如图3所示。运用所述I级生成器和I级判别器的神经网络架构，通过训练所有样本得到一组训练后的I级判别器和I级生成器，其中I级判别器的网络参数如表1所示，I级生成器的网络参数如表2所示。
表1 I级判别器的网络参数
网络层类型 网络输出尺寸
卷积层Conv2d-1 [32，64，32，32]
卷积层Conv2d-2 [32，128，16，16]
卷积层Conv2d-3 [32，256，8，8]
卷积层Conv2d-4 [32，512，4，4]
Linear-5 [32，1]
表2 I级生成器的网络参数
网络层类型 网络输出尺寸
逆卷积层ConvTranspose2d-1 [32，512，4，4]
逆卷积层ConvTranspose2d-2 [32，256，8，8]
逆卷积层ConvTranspose2d-3 [32，128，16，16]
逆卷积层ConvTranspose2d-4 [32，64，32，32]
逆卷积层ConvTranspose2d-5 [32，3，64，64]
本实施例所述的一种基于生成对抗级联网络增广图像的方法中，所述步骤4包括：
步骤4-1，将随机噪声输入步骤3所述训练后的I级生成器，进行推理获得I级生成图像；
步骤4-2，利用上采样的方法将步骤4-1中获得的I级生成图像还原成步骤1裁剪后的图像尺寸W*L；所述上采样为基于插值的上采样；
本实施例中，I级生成器生成图像尺寸为64*64，利用Matlab的interp2函数在图像长度方向和高度方向分别做8倍以及2倍插值，将图像还原为512*128的尺寸。
步骤4-3，对插值后的图像用归一化、直方图均衡的方法和增加对比度进行处理，将处理后的图像添加至新的数据集SI中。
本实施例中，将插值后的大小为512*128的图像利用Matlab做归一化、直方图均衡处理，增加图像的对比度，提升图像质量。
本实施例所述的一种基于生成对抗级联网络增广图像的方法中，所述步骤5包括：
步骤5-1，将步骤4制作的新的数据集SI，输入II级生成对抗网络的II级生成器，经由II级生成器后，生成II级生成图像；
步骤5-2，训练II级判别器，将步骤1裁剪后的图像Icut添加到真实图像数据集SII，real，将所述真实图像数据集SII，real输入到II级生成对抗网络中，和所述II级生成图像一起作为II级判别器的输入图像；将所述真实图像数据集SII，real中图像的标签设置为真，所述II级生成图像的标签设置为假；II级判别器的训练由两部分组成，第一部分是所述真实图像数据集SII，real中的图像判别为真，第二部分是所述II级生成图像判别为假，在这两个过程中，将II级判别器输出的损失函数值回传至II级判别器，II级生成器的网络参数不参与更新，只更新所述II级判别器的网络参数；
步骤5-3，训练II级生成器，将II级生成图像输入到II级判别器中，将所述II级生成图像的标签设置为真；II级生成器训练时，II级判别器固定，将II级生成器输出的损失函数值回传至II级生成器，只更新所述II级生成器的网络参数而保持II级判别器的网络参数不变；
本实施例中，步骤5-2和步骤5-3中II级判别器输出的损失函数值均包含II级判别器的损失函数值和II级生成器的损失函数值；所述II级判别器的损失函数包括两个部分，为对真实图像的误差计算结果和对生成图像的误差计算结果之和。其中，在Pytorch下，损失函数的计算方法为BCEloss：
lossII，real＝criterion(realII，out，realII，label)
lossII，fake＝criterion(fakeII，out，fakeII，label)
lossII，d＝lossII，real+lossII，fake
其中，lossII，real为II级判别器对真实图像数据集SII，real中图像得出的损失函数值，lossII，fake为II级判别器对II级生成图像得出的损失函数值，realII，label为真实图像数据集SII，real中图像的标签，该标签此时为1，realII，out为真实图像数据集SII，real中图像的具体图像；fakeII，out为II级生成图像的具体图像，fakeII，label为II级生成图像的标签，该标签此时为0，lossII，d是经由II级生成图像和真实图像数据集SII，real中图像的结果汇总之后所得到的II级判别器的整体损失函数，criterion代表损失函数的计算方法，本质上是一种仿函数，本实施例中使用的计算方法是BCEloss。
II级生成器的损失函数则是以真实图像数据集SII，real中图像的标签和II级生成图像相结合，以BCEloss来计算损失函数，本实施例中，真实图像的标签即在II级生成对抗网络中记为0：
lossII，g＝criterion(outputII，fack_labelII)
其中，lossII，g是II级生成器的损失函数，outputII代表II级生成图像，fack_labelII代表真实图像数据集SII，real中图像的标签，该标签此时为0，criterion代表损失函数的计算方法，本质上是一种仿函数，本实施例中使用的计算方法是BCEloss。
此外，由于卷积神经网络的需要，II级生成器和II级判别器均需要选择合适的优化算法，保证II级生成器的损失函数和II级判别器的损失函数在极大值收敛的同时，防止损失函数值的发散。具体的实现上，II级生成器和II级判别器选用了Adam优化器进行网络参数更新。本实施例中，每轮训练送入II级生成对抗网络中的训练样本的数量batch_size＝16，训练迭代次数epoch＝200，学习速率lr＝0.0003。
步骤5-4，由训练好的II级生成器的网络参数和II级判别器的网络参数生成训练好的II级判别器和II级生成器。
本实施例中，将步骤4生成并处理后的512*128的图像作为II级生成对抗网络的II级生成器的输入，将其与步骤1裁剪后的512*128的图像共同作为II级生成对抗网络的II级判别器的输入，进行II级生成对抗网络的对抗训练，其中，II级生成对抗网络的基本流程图如图2所示，II级生成器(G)和II级判别器(D)的神经网络架构如图4所示。运用所述II级生成器和II级判别器的神经网络架构，通过训练所有样本得到一组训练后的II级判别器和II级生成器，其中II级判别器的网络参数如表3所示，II级生成器的网络参数如表4所示。
表3 II级判别器网络参数
网络层类型 网络输出尺寸
卷积层Conv2d-1 [16，32，64，256]
池化层AvgPool2d-2 [16，32，32，128]
卷积层Conv2d-3 [16，64，32，128]
池化层AvgPool2d-4 [16，64，16，64]
卷积层Conv2d-5 [16，128，16，64]
池化层AvgPool2d-6 [16，128，8，32]
卷积层Conv2d-7 [16，256，8，32]
池化层AvgPool2d-8 [16，256，4，16]
Linear-9 [16，1]
表4 Ⅱ级生成器网络参数
网络层类型 网络输出尺寸
卷积层Conv2d-1 [16，200，128，512]
卷积层Conv2d-2 [16，100，128，512]
卷积层Conv2d-3 [16，50，128，512]
卷积层Conv2d-4 [16，25，128，512]
卷积层Conv2d-5 [16，3，128，512]
本实施例所述的一种基于生成对抗级联网络增广图像的方法中，所述步骤6中将步骤4制作的新的数据集SⅠ，输入步骤5训练后的Ⅱ级生成器，从而进行推理，得到512*128的高分辨率图像，达到数据增广的目的。
本发明中，将Ⅰ级生成对抗网络生成的图像经过后处理，输入到Ⅱ级生成对抗网络，生成具有明显差异性和高分辨率的新图像，提高了图像增广的差异性和分辨率，相对于现有技术，本发明解决了仅利用现有图像样本进行深度学习研究的训练数据量不足的问题，并且避免了局限于传统增广方式而造成的网络过拟合问题；同时，解决了Ⅰ级生成对抗网络生成的图像之间相似度较高且分辨率低等问题，提高了网络的泛化性能。
本发明提出了一种基于生成对抗级联网络增广图像的方法，应当指出，所需的超声设备种类不对本专利构成限制；所采集的超声图像规模、尺寸和分辨率不对本专利构成限制；所采集的图像内容不对本专利构成限制。应当指出，对于本技术领域的普通人员来说，在不脱离发明原理的前提下还可以做出若干改进和润饰，这些也应视为本发明的保护范围。另外，本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种基于生成对抗级联网络增广图像的方法，其特征在于，包括如下步骤：
步骤1，从原始图像Iori圈定感兴趣区域并裁剪，获得裁剪后的图像Icut，所述裁剪后的图像Icut的尺寸为W*L；
步骤2，对裁剪的图像Icut进行预处理以增广图像，获得增广后的数据集Scut；
步骤3，利用所述增广后的数据集Scut进行Ⅰ级生成对抗网络的训练，并验证测试，保存训练好的Ⅰ级判别器和Ⅰ级生成器；
步骤4，加载所述训练好的Ⅰ级生成器，通过输入随机噪声推理出图像，对推理出的图像运用上采样的方法进行后处理，制作成尺寸为W*L的图像并添加至新的数据集SⅠ中；
步骤5，将新的数据集SⅠ与所述裁剪后的图像Icut共同作为Ⅱ级生成对抗网络的训练集，进行Ⅱ级生成对抗网络训练，并验证测试，保存训练好的Ⅱ级判别器和Ⅱ级生成器；
步骤6，加载所述训练好的Ⅱ级生成器，输入经步骤4处理后的数据集SⅠ，推理出增广图像Ides，所述增广图像Ides的尺寸为W*L；
所述步骤2中，所述预处理指对所述裁剪后的图像Icut进行多抽样以增广图像，获得增广后的数据集Scut；
所述步骤4包括：
步骤4-1，将随机噪声输入步骤3所述训练好的Ⅰ级生成器，进行推理获得I级生成图像；
步骤4-2，利用上采样的方法将步骤4-1中获得的I级生成图像还原成步骤1裁剪后的图像尺寸W*L；所述上采样为基于插值的上采样；
步骤4-3，对插值后的图像用归一化、直方图均衡的方法和增加对比度进行处理，将处理后的图像添加至新的数据集SⅠ中。
2.根据权利要求1所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤1包括：从所述原始图像Iori中选择包含目标区域的图像子块并进行裁剪，获得裁剪后的图像Icut，所述裁剪后的图像Icut的尺寸为W*L，所述包含目标区域的图像子块即原始图像的感兴趣区域。
3.根据权利要求1所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤3包括：
步骤3-1，所述Ⅰ级生成对抗网络中所述Ⅰ级生成器后串接Ⅰ级判别器，输入随机噪声，经由Ⅰ级生成器后，生成Ⅰ级生成图像；
步骤3-2，训练Ⅰ级判别器，将通过所述步骤2获得的数据集Scut添加到真实图像数据集SⅠ,real，将所述真实图像数据集SⅠ,real输入到Ⅰ级生成对抗网络中，和所述Ⅰ级生成图像一起作为Ⅰ级判别器的输入图像；将所述真实图像数据集SⅠ,real中图像的标签设置为真，所述Ⅰ级生成图像的标签设置为假；Ⅰ级判别器的训练由两部分组成，第一部分是所述真实图像数据集SⅠ,real中的图像判别为真，第二部分是所述Ⅰ级生成图像判别为假，在这两个过程中，将Ⅰ级判别器输出的损失函数值回传至Ⅰ级判别器，Ⅰ级生成器的网络参数不参与更新，只更新所述Ⅰ级判别器的网络参数；
步骤3-3，训练Ⅰ级生成器，将Ⅰ级生成图像输入到Ⅰ级判别器中，将所述Ⅰ级生成图像的标签设置为真；Ⅰ级生成器训练时，Ⅰ级判别器固定，将Ⅰ级生成器输出的损失函数值回传至Ⅰ级生成器，只更新所述Ⅰ级生成器的网络参数而保持Ⅰ级判别器的网络参数不变；
步骤3-4，由训练好的Ⅰ级生成器的网络参数和Ⅰ级判别器的网络参数生成训练好的Ⅰ级判别器和Ⅰ级生成器。
4.根据权利要求1所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤5包括：
步骤5-1，将步骤4制作的新的数据集SⅠ，输入Ⅱ级生成对抗网络的Ⅱ级生成器，经由Ⅱ级生成器后，生成Ⅱ级生成图像；
步骤5-2，训练Ⅱ级判别器，将步骤1裁剪后的图像Icut添加到真实图像数据集SⅡ,real，将所述真实图像数据集SⅡ,real输入到Ⅱ级生成对抗网络中，和所述Ⅱ级生成图像一起作为Ⅱ级判别器的输入图像；将所述真实图像数据集SⅡ,real中图像的标签设置为真，所述Ⅱ级生成图像的标签设置为假；Ⅱ级判别器的训练由两部分组成，第一部分是所述真实图像数据集SⅡ,real中的图像判别为真，第二部分是所述Ⅱ级生成图像判别为假，在这两个过程中，将Ⅱ级判别器输出的损失函数值回传至Ⅱ级判别器，Ⅱ级生成器的网络参数不参与更新，只更新所述Ⅱ级判别器的网络参数；
步骤5-3，训练Ⅱ级生成器，将Ⅱ级生成图像输入到Ⅱ级判别器中，将所述Ⅱ级生成图像的标签设置为真；Ⅱ级生成器训练时，Ⅱ级判别器固定，将Ⅱ级生成器输出的损失函数值回传至Ⅱ级生成器，只更新所述Ⅱ级生成器的网络参数而保持Ⅱ级判别器的网络参数不变；
步骤5-4，由训练好的Ⅱ级生成器的网络参数和Ⅱ级判别器的网络参数生成训练好的Ⅱ级判别器和Ⅱ级生成器。
5.根据权利要求3所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤3-2和步骤3-3中Ⅰ级判别器输出的损失函数值均包括Ⅰ级判别器的损失函数值和Ⅰ级生成器的损失函数值；所述Ⅰ级判别器的损失函数值包括对所述真实图像数据集SⅠ,real中图像的误差计算结果和对Ⅰ级生成图像的误差计算结果之和，计算公式如下：
lossreal＝criterion(realout,reallable)
lossfake＝criterion(fakeout,fakelabel)
lossd＝lossreal+lossfake
其中，lossreal为Ⅰ级判别器对真实图像数据集SⅠ,real中图像得出的损失函数值，lossfake为Ⅰ级判别器对Ⅰ级生成图像得出的损失函数值，reallabel为真实图像数据集SⅠ,real中图像的标签，该标签此时为1，realout为真实图像数据集SⅠ,real中具体图像；fakeout为Ⅰ级生成图像的具体图像，fakelabel为Ⅰ级生成图像的标签，该标签此时为0，lossd是经由Ⅰ级生成图像和真实图像数据集SⅠ,real中图像的结果汇总之后所得到的Ⅰ级判别器的整体损失函数，criterion代表损失函数的计算方法；
所述Ⅰ级生成器的损失函数值是由真实图像数据集SⅠ,real中图像的标签和Ⅰ级生成图像相结合计算获得，计算公式如下：
lossg＝criterion(output,fack_label)
其中，lossg是Ⅰ级生成器的损失函数，output代表Ⅰ级生成图像，fack_label代表真实图像数据集SI,real中图像的标签，该标签此时为0。
6.根据权利要求5所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤3中，Ⅰ级生成器和Ⅰ级判别器均选用Adam优化器进行网络参数更新。
7.根据权利要求4所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤5-2和步骤5-3中Ⅱ级判别器输出的损失函数值均包含Ⅱ级判别器的损失函数值和Ⅱ级生成器的损失函数值；所述Ⅱ级判别器的损失函数值包括对真实图像数据集SⅡ,real中图像的误差计算结果和对Ⅱ级生成图像的误差计算结果之和，计算公式如下：
lossⅡ,real＝criterion(realⅡ,out,realⅡ,label)
lossⅡ,fake＝criterion(fakeⅡ,out,fakeⅡ,label)
lossⅡ,d＝lossⅡ,greal+lossⅡ,fake
其中，lossⅡ,real为Ⅱ级判别器对真实图像数据集SⅡ,real中图像得出的损失函数值，lossⅡ,fake为Ⅱ级判别器对Ⅱ级生成图像得出的损失函数值，realⅡ,label为真实图像数据集SⅡ,real中图像的标签，该标签此时为1，realⅡ,out为真实图像数据集SⅡ,real中具体图像；fakeⅡ,out为Ⅱ级生成图像的具体图像，fakeⅡ,label为Ⅱ级生成图像的标签，该标签此时为0，lossⅡ,d是经由Ⅱ级生成图像和真实图像数据集SⅡ,real中图像的结果汇总之后所得到的Ⅱ级判别器的整体损失函数，criterion代表损失函数的计算方法；
所述Ⅱ级生成器的损失函数是由真实图像数据集SⅡ,real中图像的标签和Ⅱ级生成图像相结合计算获得，计算公式如下：
lossⅡ,g＝criterion(outputⅡ,fack_labelⅡ)
其中，lossⅡ,g是Ⅱ级生成器的损失函数，outputⅡ代表Ⅱ级生成图像，fack_labelⅡ代表真实图像数据集SⅡ,real中图像的标签，该标签此时为0。
8.根据权利要求7所述的一种基于生成对抗级联网络增广图像的方法，其特征在于，所述步骤5中，Ⅱ级生成器和Ⅱ级判别器均选用Adam优化器进行网络参数更新。
CN202011307427.8A 2020-11-20 2020-11-20 一种基于生成对抗级联网络增广图像的方法 Active CN112396110B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011307427.8A CN112396110B (zh) 2020-11-20 2020-11-20 一种基于生成对抗级联网络增广图像的方法
PCT/CN2021/110525 WO2022105308A1 (zh) 2020-11-20 2021-08-04 一种基于生成对抗级联网络增广图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011307427.8A CN112396110B (zh) 2020-11-20 2020-11-20 一种基于生成对抗级联网络增广图像的方法

Publications (2)

Publication Number Publication Date
CN112396110A CN112396110A (zh) 2021-02-23
CN112396110B true CN112396110B (zh) 2024-02-02

Family

ID=74606700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011307427.8A Active CN112396110B (zh) 2020-11-20 2020-11-20 一种基于生成对抗级联网络增广图像的方法

Country Status (2)

Country Link
CN (1) CN112396110B (zh)
WO (1) WO2022105308A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396110B (zh) * 2020-11-20 2024-02-02 南京大学 一种基于生成对抗级联网络增广图像的方法
CN113702439A (zh) * 2021-08-20 2021-11-26 浙江科技学院 一种基于迭代生成稀疏主成分模型的红外无损检测方法
CN114494081B (zh) * 2022-04-01 2022-07-05 武汉大学 一种无人机遥感测绘图像增强方法
CN114863225B (zh) * 2022-07-06 2022-10-04 腾讯科技（深圳）有限公司 图像处理模型训练方法、生成方法、装置、设备及介质
CN115661134B (zh) * 2022-12-08 2023-03-21 浙江霖研精密科技有限公司 基于生成对抗网络的缺陷样本生成系统、方法和存储介质
CN115661001B (zh) * 2022-12-14 2023-04-07 临沂大学 基于生成对抗网络的单通道煤岩图像增强方法
CN115797163B (zh) * 2023-02-13 2023-04-28 中国人民解放军火箭军工程大学 一种基于遥感影像的目标数据跨域反演增广方法
CN116012258B (zh) * 2023-02-14 2023-10-13 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116310348B (zh) * 2023-05-18 2023-08-22 安徽农业大学 一种基于cgan的语义分割数据集增广的方法
CN117094986B (zh) * 2023-10-13 2024-04-05 中山大学深圳研究院 基于小样本的自适应缺陷检测方法及终端设备
CN117409008B (zh) * 2023-12-15 2024-03-22 华东交通大学 一种设备图像生成方法
CN118101274B (zh) * 2024-02-27 2024-08-27 中国铁道科学研究院集团有限公司 网络入侵检测模型的构建方法、装置、设备及介质
CN118505838B (zh) * 2024-05-24 2024-10-18 空间计算(北京)智能科技有限公司 一种基于ai深度学习的图像生成方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN111028146A (zh) * 2019-11-06 2020-04-17 武汉理工大学 基于双判别器的生成对抗网络的图像超分辨率方法
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970829B2 (en) * 2017-08-24 2021-04-06 Siemens Healthcare Gmbh Synthesizing and segmenting cross-domain medical images
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
CN111563841B (zh) * 2019-11-13 2023-07-25 南京信息工程大学 一种基于生成对抗网络的高分辨率图像生成方法
CN111008940B (zh) * 2019-11-27 2023-06-27 北京科技大学 一种图像增强方法及装置
CN112396110B (zh) * 2020-11-20 2024-02-02 南京大学 一种基于生成对抗级联网络增广图像的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020172838A1 (zh) * 2019-02-26 2020-09-03 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN111028146A (zh) * 2019-11-06 2020-04-17 武汉理工大学 基于双判别器的生成对抗网络的图像超分辨率方法
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111539467A (zh) * 2020-04-17 2020-08-14 北京工业大学 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
An image augmentation approach using two-stage generative adversarial network for nuclei image segmentation;Pandey Siddharth 等;《Biomedical Signal Processing and Control》;第57卷;1-10 *
Biomedical data augmentation using generative adversarial neural networks;Calimeri F 等;《International conference on artificial neural networks》;626-634 *
Deep leaf‐bootstrapping generative adversarial network for structural image data augmentation;Gao Yuqing 等;《Computer‐Aided Civil and Infrastructure Engineering》;第34卷(第09期);755-773 *
Diagnosis of metacarpophalangeal synovitis with musculoskeletal ultrasound images;Cheng Yujia 等;《Ultrasound in Medicine & Biology》;第48卷(第03期);488-496 *
Stackgan: Text to photo-realistic image synthesis with stacked generative adversarial networks;Zhang H 等;《Proceedings of the IEEE international conference on computer vision》;5907-5915 *
关节滑膜炎肌骨超声图像智能诊断研究;周雪;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑) 》(第05期);E060-29 *
面向小样本及数据不平衡问题的超声图像自动分类;易心一;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》(第04期);E060-18 *

Also Published As

Publication number Publication date
WO2022105308A1 (zh) 2022-05-27
CN112396110A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112396110B (zh) 一种基于生成对抗级联网络增广图像的方法
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN112200750B (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111325236B (zh) 一种基于卷积神经网络的超声图像分类方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN106228512A (zh) 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN112487914B (zh) 一种基于深度卷积生成对抗网络的ecg降噪方法
CN111861906B (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN106709877A (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN113923104A (zh) 基于小波神经网络的网络故障诊断方法、设备及存储介质
CN111899168A (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN117743768B (zh) 基于去噪生成对抗网络和扩散模型的信号去噪方法及系统
CN112381845B (zh) 岩心图像生成方法、模型训练方法及装置
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN115984117A (zh) 基于通道注意力的变分自编码图像超分辨率方法及系统
Ayyoubzadeh et al. High frequency detail accentuation in CNN image restoration
CN106803237A (zh) 一种基于极限学习机的改进自适应加权平均图像去噪方法
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN116091315A (zh) 一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant