CN115100044B - 基于三生成器生成对抗网络的内窥镜超分辨方法、系统 - Google Patents

基于三生成器生成对抗网络的内窥镜超分辨方法、系统 Download PDF

Info

Publication number
CN115100044B
CN115100044B CN202211034081.8A CN202211034081A CN115100044B CN 115100044 B CN115100044 B CN 115100044B CN 202211034081 A CN202211034081 A CN 202211034081A CN 115100044 B CN115100044 B CN 115100044B
Authority
CN
China
Prior art keywords
image
generator
super
discriminator
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211034081.8A
Other languages
English (en)
Other versions
CN115100044A (zh
Inventor
韩军伟
王怡
徐晨初
韩龙飞
张鼎文
张贺晔
屈亚威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202211034081.8A priority Critical patent/CN115100044B/zh
Publication of CN115100044A publication Critical patent/CN115100044A/zh
Application granted granted Critical
Publication of CN115100044B publication Critical patent/CN115100044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及图像超分辨率重建技术领域，公开了一种基于三生成器生成对抗网络的内窥镜超分辨方法、系统，通过全局图像生成器生成全局超分辨图像，通过局部图像生成器生成得到局部超分辨图像，并将全局超分辨率图像和局部超分辨率图像进行整合，得到一个细节良好的高分辨率图像，不仅将低分辨率转换为较高分辨率的图像，还解决了细节变得平滑不清晰的问题，使得关注的细节更加清晰。

Description

基于三生成器生成对抗网络的内窥镜超分辨方法、系统
技术领域
本发明涉及图像超分辨率重建技术领域，具体涉及一种基于三生成器生成对抗网络的内窥镜超分辨方法、系统。
背景技术
图像超分辨率重建研究的是从低分辨率（LR）图像中生成视觉效果更好的超分辨率（SR）图像。它广泛应用于医疗图像、军事、游戏等领域，为人们提供便捷自动化的工具，提升图像的质量和利用价值。
目前图像超分辨率重建方法主要分为以下三类。
基于插值的超分辨率重建：图像插值是利用已知相邻像素的灰度值来生成未知像素的灰度值，从而重新生成具有更高分辨率的原始图像。超分辨图像重建的方法有很多，基于插值的超分辨重建方法与其他方法相比在效率上有明显的优势。常用的插值方法有三种，一种是最近邻插值，该方法需要根据其最近点的灰度值确定插补点，因此与插值法相比计算简单、计算速度快。第二种是双线性插值，其主要思想是分别在水平和垂直上进行插值，该方法可以很好地克服最近邻插值引起的图像边缘锯齿效应，并可以对重构图像的边缘进行一定的平滑处理。第三种是三线性插值，这个方法比较复杂，其主要思想是利用插值点周围上下左右四个境内共有16个像素分别三次插值，复杂度较高，但它能很好地消除边缘的锯齿效应和块效应，插值后的图像视觉效果会明显好于其他两种方法。
基于重建的超分辨率重建：主要的思想是重建高分辨率图像的线性约束，包括运动估计和图像的先验信息提取两个关键技术，涉及的算法主要包括以下三大类。第一类是最大后验概率算法，它是将基于概率论的知识应用于超分辨率图像重建问题后发现的。第二类是凸集投影法，该方法通过迭代的方式来求解已经得到的一系列约束凸集的交集，从而得出高分辨率图。第三类方法是最大似然估计、凸集投影的混合方法，该方法将最大后验概率算法与一些基于统计理论、集合概念理论的前向观测模型相结合。
基于学习的超分辨率重建：在深度学习中，提出了一种计算机自动学习模式特征的方法，并将特征学习融入到模型构建过程中，以减少人为设计特征所造成的不完善性。然而，在学习过程中，图像从低分辨率向高分辨率的扩展容易引入模糊或噪声；图像插补模型的不合适导致局部过于锐化或过于平滑，一些深层网络中的密集网络不能使程序高效运行，在超分辨率图像的重建过程中精确度下降。
发明内容
为解决上述技术问题，本发明提供一种基于三生成器生成对抗网络的内窥镜超分辨方法、系统。
为解决上述技术问题，本发明采用如下技术方案：
一种基于三生成器生成对抗网络的内窥镜超分辨方法，包括以下步骤：
步骤一：获取待处理的低分辨图像，并进行预处理；
步骤二：预处理后的低分辨率图像X，通过生成对抗网络中的初层生成器G1生成初层超分辨率图像；若生成对抗网络处于训练阶段，则进行步骤三，否则进入步骤四和步骤六；
步骤三：构建初层判别器D1，并通过初层判别器D1判断初层生成器G1生成的初层超分辨率图像是否为真实的高分辨率图像；根据初层判别器D1得到的结果进行反向传播，优化初层生成器G1，并重新执行步骤二；
步骤四：将步骤二得到的初层超分辨率图像，输入生成对抗网络中的全局图像生成器G2，得到全局超分辨图像；若生成对抗网络处于训练阶段，则进行步骤五，否则进入步骤八；
步骤五：构建全局判别器D2，并通过全局判别器D2判断全局图像生成器G2生成的全局超分辨率图像是否为真实的高分辨率图像；根据全局判别器D2得到的结果进行反向传播，优化全局图像生成器G2，并重新执行步骤四；
步骤六：将步骤二得到的初层超分辨图像，输入生成对抗网络中的局部图像生成器G3，得到局部超分辨图像，若生成对抗网络处于训练阶段，则进行步骤七，否则进入步骤八；
步骤七：构建局部判别器D3，并通过局部判别器D3判断局部判别器G3生成的局部超分辨率图像是否为真实的高分辨率图像；根据局部判别器D3得到的结果进行反向传播，优化局部图像生成器G3，并重新执行步骤六；
步骤八：将步骤四得到的全局超分辨率图像和步骤六得到的局部超分辨率图像进行整合，得到最终的高分辨率图像Y。
具体地，当初层生成器G1和初层判别器D1未完成训练时，持续进行训练，不将图像输入至全局图像生成器G2和局部图像生成器G3中；当初层生成器G1训练完成后，再将得到的初层超分辨图像分别输入到全局图像生成器G2和局部图像生成器G3中进行训练。
具体地，步骤二中初层生成器G1以及步骤四中全局图像生成器G2的损失定义
Figure DEST_PATH_IMAGE001
为：
Figure 175420DEST_PATH_IMAGE002
其中，Ez表示噪声z的期望，
Figure DEST_PATH_IMAGE003
为判别器对相应生成器所生成的图像的判别结果。
具体地，步骤三中的初层判别器D1和步骤五中的全局判别器D2的损失
Figure 653806DEST_PATH_IMAGE004
为：
Figure DEST_PATH_IMAGE005
Figure 234960DEST_PATH_IMAGE006
表示x服从真实分布的期望，
Figure DEST_PATH_IMAGE007
表示x服从真实分布，D(x)表示相应的判别器的判别结果，G(z)表示相应的生成器生成的图像，D(G(z))表示判别器对相应生成器所生成的图像的判别结果。
具体地，步骤六中局部图像生成器G3的损失
Figure 507809DEST_PATH_IMAGE008
为：
Figure DEST_PATH_IMAGE009
其中，
Figure 174414DEST_PATH_IMAGE010
为经局部判别器判别为1的图像，
Figure DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 456491DEST_PATH_IMAGE012
为判别为1的图像的期望，
Figure DEST_PATH_IMAGE013
为判别为0的图像的期望。
另外，
Figure 892151DEST_PATH_IMAGE014
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
具体地，步骤七中局部判别器D3的损失
Figure DEST_PATH_IMAGE015
为：
Figure 536235DEST_PATH_IMAGE016
其中，
Figure 283611DEST_PATH_IMAGE010
为经局部判别器判别为1的图像，
Figure 369379DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 128387DEST_PATH_IMAGE012
为判别为1的图像的期望，
Figure DEST_PATH_IMAGE017
为判别为0的图像的期望。
另外，
Figure 336515DEST_PATH_IMAGE014
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
一种基于三生成器生成对抗网络的内窥镜超分辨系统，包括：
生成器模块，用于将低分辨率图像转化为高分辨率图像，包括用于生成初层超分辨率图像的初层生成器、用于生成全局超分辨率图像的全局图像生成器、用于生成局部超分辨率图像的局部图像生成器；
判别器模块，用于判断生成器模块所生成的高分辨率图像是否为真实的高分辨率图像，包括用于判断初层超分辨率图像是否为真实高分辨率图像的初层判别器、用于判断全局超分辨率图像是否为真实高分辨率图像的全局判别器、用于判断局部超分辨率图像是否为真实高分辨率图像的局部判别器；
后处理模块，用于将全局生成器和局部生成器所生成的高分辨率图像合成最终的高分辨率图像。
本发明中的系统与方法相对应，针对方法提出的优化方案同样适用于系统。
与现有技术相比，本发明的有益技术效果是：
本发明通过全局图像生成器生成全局超分辨图像，通过局部图像生成器生成得到局部超分辨图像，并将全局超分辨率图像和局部超分辨率图像进行整合，得到一个细节良好的高分辨率图像，不仅将低分辨率转换为较高分辨率的图像，还解决了细节变得平滑不清晰的问题，使得关注的细节更加清晰。
附图说明
图1为本发明内窥镜超分辨方法的整体流程图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示，一种基于三生成器生成对抗网络的内窥镜超分辨方法，包括以下步骤：
步骤一：获取待处理的低分辨图像，并进行预处理。
步骤二：预处理后的低分辨率图像，通过生成对抗网络中的初层生成器G1生成初层超分辨率图像；若生成对抗网络处于训练阶段，则进行步骤三，否则进入步骤四和步骤六。
步骤二中的初层生成器使用基本GAN的生成器结构，初层生成器G1的损失定义
Figure 180974DEST_PATH_IMAGE018
为：
Figure DEST_PATH_IMAGE019
其中，Ez表示噪声z的期望，
Figure 539274DEST_PATH_IMAGE020
表示初层生成器生成的初层超分辨率图像,
Figure DEST_PATH_IMAGE021
为初层判别器对初层生成器所生成的初层超分辨率图像的判别结果。
步骤三：构建初层判别器D1，并通过初层判别器D1判断初层生成器G1生成的初层超分辨率图像是否为真实的高分辨率图像；根据初层判别器D1得到的结果进行反向传播，优化初层生成器G1，并重新执行步骤二。
步骤三中的初层判别器使用基本GAN的判别器结构，初层判别器D1的损失
Figure 949527DEST_PATH_IMAGE022
为：
Figure 594135DEST_PATH_IMAGE023
Figure 925890DEST_PATH_IMAGE006
表示x服从真实分布的期望，
Figure 681356DEST_PATH_IMAGE007
表示x服从真实分布，
Figure 149378DEST_PATH_IMAGE024
表示初层判别器的判别结果，
Figure 964887DEST_PATH_IMAGE025
表示初层生成器生成的初层超分辨率图像，
Figure 64166DEST_PATH_IMAGE026
表示初层判别器对初层生成器生成的初层超分辨率图像的判别结果。
步骤四：将步骤二得到的初层超分辨率图像，输入生成对抗网络中的全局图像生成器G2，得到全局超分辨图像；若生成对抗网络处于训练阶段，则进行步骤五，否则进入步骤八。
步骤四中的全局图像生成器使用基本GAN的生成器结构，全局图像生成器G2的损失定义
Figure 92165DEST_PATH_IMAGE027
为：
Figure 680273DEST_PATH_IMAGE028
其中，Ez表示噪声z的期望，
Figure 666683DEST_PATH_IMAGE029
为全局判别器对全局图像生成器所生成的全局超分辨率图像的判别结果。
步骤五：构建全局判别器D2，并通过全局判别器D2判断全局图像生成器G2生成的全局超分辨率图像是否为真实的高分辨率图像；根据全局判别器D2得到的结果进行反向传播，优化全局图像生成器G2，并重新执行步骤四。
步骤五中全局判别器使用基本GAN的判别器结构，全局判别器D2的损失
Figure 238610DEST_PATH_IMAGE030
为：
Figure 335879DEST_PATH_IMAGE031
Figure 778493DEST_PATH_IMAGE006
表示噪声z的期望，
Figure 139067DEST_PATH_IMAGE032
表示x服从真实分布，
Figure 57344DEST_PATH_IMAGE033
表示全局判别器的判别结果，
Figure 568091DEST_PATH_IMAGE034
表示全局图像生成器生成的全局超分辨率图像，
Figure 521004DEST_PATH_IMAGE035
表示全局判别器对全局图像生成器所生成的全局超分辨率图像的判别结果。
步骤六：将步骤二得到的初层超分辨图像，输入生成对抗网络中的局部图像生成器G3，得到局部超分辨图像，若生成对抗网络处于训练阶段，则进行步骤七，否则进入步骤八。
步骤六中局部图像生成器使用ESRGAN的生成器结构，局部图像生成器G3的损失
Figure 724583DEST_PATH_IMAGE036
为：
Figure 598998DEST_PATH_IMAGE037
其中，
Figure 179015DEST_PATH_IMAGE010
为局部经判别器判别为1的图像，
Figure 720855DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 95336DEST_PATH_IMAGE038
为判别为1的图像的期望，
Figure 722626DEST_PATH_IMAGE017
为判别为0的图像的期望。
另外，
Figure 837825DEST_PATH_IMAGE014
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
步骤七：构建局部判别器D3，并通过局部判别器D3判断局部判别器G3生成的局部超分辨率图像是否为真实的高分辨率图像；根据局部判别器D3得到的结果进行反向传播，优化局部图像生成器G3，并重新执行步骤六。
步骤七中局部判别器使用ESRGAN的判别器结构，步骤七中局部判别器D3的损失
Figure 499751DEST_PATH_IMAGE039
为：
Figure 576291DEST_PATH_IMAGE016
其中，
Figure 566244DEST_PATH_IMAGE010
为经局部判别器判别为1的图像，
Figure 550380DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 738916DEST_PATH_IMAGE012
为判别为1的图像的期望，
Figure 579833DEST_PATH_IMAGE040
为判别为0的图像的期望。
另外，
Figure 57082DEST_PATH_IMAGE014
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
步骤八：将步骤四得到的全局超分辨率图像和步骤六得到的局部超分辨率图像进行整合，并得到一个细节良好的高分辨率图像Y。
具体地，当初层生成器G1和初层判别器D1未训练好时，持续进行训练，不将图像输入至全局图像生成器G2和局部图像生成器G3中；当初层生成器G1训练完成后，再将得到的初层超分辨图像分别输入到全局图像生成器G2和局部图像生成器G3中进行训练。
一种基于三生成器生成对抗网络的内窥镜超分辨系统，包括：
生成器模块，用于将低分辨率图像转化为高分辨率图像，包括用于生成初层超分辨率图像的初层生成器、用于生成全局超分辨率图像的全局图像生成器、用于生成局部超分辨率图像的局部图像生成器；
判别器模块，用于判断生成器模块所生成的高分辨率图像是否为真实的高分辨率图像，包括用于判断初层超分辨率图像是否为真实高分辨率图像的初层判别器、用于判断全局超分辨率图像是否为真实高分辨率图像的全局判别器、用于判断局部超分辨率图像是否为真实高分辨率图像的局部判别器；
后处理模块，用于将全局生成器和局部生成器所生成的高分辨率图像合成最终的高分辨率图像。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于三生成器生成对抗网络的内窥镜超分辨方法，包括以下步骤：
步骤一：获取待处理的低分辨图像，并进行预处理；
步骤二：预处理后的低分辨率图像X，通过生成对抗网络中的初层生成器G1生成初层超分辨率图像；若生成对抗网络处于训练阶段，则进行步骤三，否则进入步骤四和步骤六；
步骤三：构建初层判别器D1，并通过初层判别器D1判断初层生成器G1生成的初层超分辨率图像是否为真实的高分辨率图像；根据初层判别器D1得到的结果进行反向传播，优化初层生成器G1，并重新执行步骤二；
步骤四：将步骤二得到的初层超分辨率图像，输入生成对抗网络中的全局图像生成器G2，得到全局超分辨图像；若生成对抗网络处于训练阶段，则进行步骤五，否则进入步骤八；
步骤五：构建全局判别器D2，并通过全局判别器D2判断全局图像生成器G2生成的全局超分辨率图像是否为真实的高分辨率图像；根据全局判别器D2得到的结果进行反向传播，优化全局图像生成器G2，并重新执行步骤四；
步骤六：将步骤二得到的初层超分辨图像，输入生成对抗网络中的局部图像生成器G3，得到局部超分辨图像，若生成对抗网络处于训练阶段，则进行步骤七，否则进入步骤八；
步骤七：构建局部判别器D3，并通过局部判别器D3判断局部图像生成 器G3生成的局部超分辨率图像是否为真实的高分辨率图像；根据局部判别器D3得到的结果进行反向传播，优化局部图像生成器G3，并重新执行步骤六；
步骤八：将步骤四得到的全局超分辨率图像和步骤六得到的局部超分辨率图像进行整合，得到最终的高分辨率图像Y；
步骤二中初层生成器G1以及步骤四中全局图像生成器G2的损失定义
Figure 303206DEST_PATH_IMAGE001
为：
Figure 416656DEST_PATH_IMAGE002
其中，Ez表示噪声z的期望，
Figure 341887DEST_PATH_IMAGE003
为判别器对相应生成器所生成的图像的判别结果；
步骤三中的初层判别器D1和步骤五中的全局判别器D2的损失
Figure 362932DEST_PATH_IMAGE004
为：
Figure 424429DEST_PATH_IMAGE005
Figure 708780DEST_PATH_IMAGE006
表示x服从真实分布的期望，
Figure 121307DEST_PATH_IMAGE007
表示x服从真实分布，D(x)表示相应的判别器的判别结果，G(z)表示相应的生成器生成的图像，D(G(z))表示判别器对相应生成器所生成的图像的判别结果。
2.根据权利要求1所述的基于三生成器生成对抗网络的内窥镜超分辨方法，其特征在于，当初层生成器G1和初层判别器D1未完成训练时，持续进行训练，不将图像输入至全局图像生成器G2和局部图像生成器G3中；当初层生成器G1训练完成后，再将得到的初层超分辨图像分别输入到全局图像生成器G2和局部图像生成器G3中进行训练。
3.根据权利要求1所述的基于三生成器生成对抗网络的内窥镜超分辨方法，其特征在于，步骤六中局部图像生成器G3的损失
Figure 149306DEST_PATH_IMAGE008
为：
Figure 330888DEST_PATH_IMAGE009
其中，
Figure 84343DEST_PATH_IMAGE010
为经局部判别器判别为1的图像，
Figure 984166DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 550276DEST_PATH_IMAGE012
为判别为1的图像的期望，
Figure 851945DEST_PATH_IMAGE013
为判别为0的图像的期望；
另外，
Figure 212519DEST_PATH_IMAGE014
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
4.根据权利要求1所述的基于三生成器生成对抗网络的内窥镜超分辨方法，其特征在于，步骤七中局部判别器D3的损失
Figure 661955DEST_PATH_IMAGE015
为：
Figure 31756DEST_PATH_IMAGE016
其中，
Figure 922352DEST_PATH_IMAGE010
为经局部判别器判别为1的图像，
Figure 719406DEST_PATH_IMAGE011
为经局部判别器判别为0的图像，
Figure 328242DEST_PATH_IMAGE012
为判别为1的图像的期望，
Figure 501735DEST_PATH_IMAGE013
为判别为0的图像的期望；
另外，
Figure 574733DEST_PATH_IMAGE017
，其中C(·)表示为局部判别器的输出，σ(·)为sigmoid激活函数，E(·)表示求期望。
5.一种基于三生成器生成对抗网络的内窥镜超分辨系统，其特征在于，包括：
生成器模块，用于将低分辨率图像转化为高分辨率图像，包括用于生成初层超分辨率图像的初层生成器、用于生成全局超分辨率图像的全局图像生成器、用于生成局部超分辨率图像的局部图像生成器；
判别器模块，用于判断生成器模块所生成的高分辨率图像是否为真实的高分辨率图像，包括用于判断初层超分辨率图像是否为真实高分辨率图像的初层判别器、用于判断全局超分辨率图像是否为真实高分辨率图像的全局判别器、用于判断局部超分辨率图像是否为真实高分辨率图像的局部判别器；
后处理模块，用于将全局生成器和局部生成器所生成的高分辨率图像合成最终的高分辨率图像；
初层生成器G1以及全局图像生成器G2的损失定义
Figure 542689DEST_PATH_IMAGE018
为：
Figure 638821DEST_PATH_IMAGE002
其中，Ez表示噪声z的期望，
Figure 350425DEST_PATH_IMAGE003
为判别器对相应生成器所生成的图像的判别结果；
初层判别器D1和全局判别器D2的损失
Figure 215613DEST_PATH_IMAGE004
为：
Figure 354470DEST_PATH_IMAGE019
Figure 215DEST_PATH_IMAGE006
表示x服从真实分布的期望，
Figure 249931DEST_PATH_IMAGE020
表示x服从真实分布，D(x)表示相应的判别器的判别结果，G(z)表示相应的生成器生成的图像，D(G(z))表示判别器对相应生成器所生成的图像的判别结果。
CN202211034081.8A 2022-08-26 2022-08-26 基于三生成器生成对抗网络的内窥镜超分辨方法、系统 Active CN115100044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211034081.8A CN115100044B (zh) 2022-08-26 2022-08-26 基于三生成器生成对抗网络的内窥镜超分辨方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211034081.8A CN115100044B (zh) 2022-08-26 2022-08-26 基于三生成器生成对抗网络的内窥镜超分辨方法、系统

Publications (2)

Publication Number Publication Date
CN115100044A CN115100044A (zh) 2022-09-23
CN115100044B true CN115100044B (zh) 2022-12-27

Family

ID=83300542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211034081.8A Active CN115100044B (zh) 2022-08-26 2022-08-26 基于三生成器生成对抗网络的内窥镜超分辨方法、系统

Country Status (1)

Country Link
CN (1) CN115100044B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620090A (zh) * 2022-11-07 2023-01-17 中电科新型智慧城市研究院有限公司 模型训练方法、低照度目标重识别方法和装置、终端设备
CN118379195B (zh) * 2024-06-20 2024-09-13 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于生成先验的大尺度电子显微镜超分辨率方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN112288632A (zh) * 2020-10-29 2021-01-29 福州大学 基于精简esrgan的单图像超分辨率方法及系统
CN113129214A (zh) * 2021-04-21 2021-07-16 北京工业大学 一种基于生成对抗网络的超分辨率重建方法
CN114897677A (zh) * 2022-03-28 2022-08-12 北京航空航天大学 一种基于约束重构的无监督遥感图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403735B2 (en) * 2018-01-25 2022-08-02 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443867A (zh) * 2019-08-01 2019-11-12 太原科技大学 基于生成对抗网络的ct图像超分辨率重构方法
CN112288632A (zh) * 2020-10-29 2021-01-29 福州大学 基于精简esrgan的单图像超分辨率方法及系统
CN113129214A (zh) * 2021-04-21 2021-07-16 北京工业大学 一种基于生成对抗网络的超分辨率重建方法
CN114897677A (zh) * 2022-03-28 2022-08-12 北京航空航天大学 一种基于约束重构的无监督遥感图像超分辨率重建方法

Also Published As

Publication number Publication date
CN115100044A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN115100044B (zh) 基于三生成器生成对抗网络的内窥镜超分辨方法、系统
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN112465955B (zh) 一种动态人体三维重建和视角合成方法
CN110544297B (zh) 一种单幅图像的三维模型重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN115880158B (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN112734887B (zh) 基于深度学习的人脸混合-变形生成方法和装置
CN116682120A (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN109658347A (zh) 一种同时生成多种图片风格的数据增强方法
CN111489305B (zh) 基于强化学习的图像增强方法
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN110570355B (zh) 多尺度自动聚焦超分辨率处理系统和方法
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
Zong et al. Single image super-resolution based on self-attention
CN114298979B (zh) 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN113129347B (zh) 一种自监督单视图三维发丝模型重建方法及系统
CN114758021A (zh) 基于生成对抗网络的地表图像生成方法及系统
CN117422927B (zh) 一种乳腺超声图像分类方法、系统、电子设备及介质
CN115100312B (zh) 一种图像动漫化的方法和装置
CN116824086B (zh) 一种三维运动目标重建方法及系统
CN118470254B (zh) 一种基于自适应模板的三维网格重建方法
Wanjun et al. A review of research on super-resolution image reconstruction based on deep learning
CN113112585A (zh) 一种从单幅图像中重建高质量目标三维形状的方法
Bhattacharya et al. A Convolutional Neural Network with Two-Channel Input for Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant