CN110570355B - 多尺度自动聚焦超分辨率处理系统和方法 - Google Patents

多尺度自动聚焦超分辨率处理系统和方法 Download PDF

Info

Publication number
CN110570355B
CN110570355B CN201910864551.5A CN201910864551A CN110570355B CN 110570355 B CN110570355 B CN 110570355B CN 201910864551 A CN201910864551 A CN 201910864551A CN 110570355 B CN110570355 B CN 110570355B
Authority
CN
China
Prior art keywords
super
resolution
image
level
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910864551.5A
Other languages
English (en)
Other versions
CN110570355A (zh
Inventor
杨光
牛张明
陆纬
江荧辉
李劳
王承嘉
叶旭囧
董豪
朱锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.
Hangzhou hailui Boyan Technology Co.,Ltd.
Original Assignee
Digong Hangzhou Science And Technology Industry Co ltd
Hangzhou Hailui Boyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digong Hangzhou Science And Technology Industry Co ltd, Hangzhou Hailui Boyan Technology Co ltd filed Critical Digong Hangzhou Science And Technology Industry Co ltd
Priority to CN201910864551.5A priority Critical patent/CN110570355B/zh
Publication of CN110570355A publication Critical patent/CN110570355A/zh
Application granted granted Critical
Publication of CN110570355B publication Critical patent/CN110570355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多尺度自动聚焦超分辨率处理系统，包括：感兴趣的区域ROI检测神经网络，用于接收低分辨率图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像，其中超分辨率图像生成器G首先从ROI区域图像的低分辨率图像估计出第一级超分辨率图像，超分辨率图像生成器G再从第一级超分辨率图像估计出第二级超分辨率图像；以及预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。

Description

多尺度自动聚焦超分辨率处理系统和方法
技术领域
本发明涉及图像处理领域，更具体而言，本发明涉及多尺度自动聚焦超分辨率处理系统和方法。
背景技术
超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。对医学图像进行超分辨率重建，可以在不增加高分辨率成像技术成本的基础上，降低对成像环境的要求，通过复原出的清晰医学影像，实现对病变细胞的精准探测，有助于医生对患者病情做出更好的诊断。
超分辨率生成对抗网络(GAN)是一项开创性的工作，能够在单一图像超分辨率(Single image super-resolution,SISR)中生成逼真的纹理。然而，医学图像的SISR仍然是一个非常具有挑战性的问题。现有基于生成对抗模型的超分辨率算法有两大缺点：(1)模型稳定性差，训练过程缓慢且不稳定；(2)超分辨率结果往往包含过多伪影、假影和噪声。
发明内容
本发明提出一种多尺度自动聚焦超分辨率处理系统和方法。构建多尺度金字塔结构，以Wasserstein GAN(WGAN)替代传统GAN模型实现超分辨率的同时，自动化聚焦临床上所关心的组织结构和病变，极大地稳定了深度学习网络的训练，提高了GAN模型的效率和准确性，可以成功应用于更广泛的临床应用。
根据本发明的一个实施例，提供一种多尺度自动聚焦超分辨率处理系统，包括：
感兴趣的区域ROI检测神经网络，用于接收低分辨率图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像，其中超分辨率图像生成器G首先从ROI区域图像的低分辨率图像估计出第一级超分辨率图像，超分辨率图像生成器G再从第一级超分辨率图像估计出第二级超分辨率图像；以及
预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像。
在本发明的一个实施例中，所述超分辨率图像生成器G使用超分辨率残差网络，且包括：残差神经网络、第一级超分辨率生成单元以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。
在本发明的一个实施例中，所述超分辨率图像生成器G包括第一级残差神经网络、第一级超分辨率生成单元、第二级残差神经网络以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过第一级残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级残差神经网络和第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。
在本发明的一个实施例中，所述第一级超分辨率图像是2倍超分辨率图像，所述第二级超分辨率图像是4倍超分辨率图像，所述超分辨率图像生成器G的训练描述为：
Figure BDA0002200874680000021
其中Ihr真实有效的高分辨率图像，IlR是感兴趣的区域的低分辨率图像，Idr是Ihr的2倍下采样版本，
Figure BDA0002200874680000022
是第一级超分辨率生成单元的损失函数，
Figure BDA0002200874680000023
是第二级超分辨率生成单元的损失函数。
在本发明的一个实施例中，第一级超分辨率生成单元的损失函数和第二级超分辨率生成单元的损失函数选自均方误差(MSE)
Figure BDA0002200874680000024
基于VGG的感知度量
Figure BDA0002200874680000025
交叉熵损失函数或他们的组合。
根据本发明的另一个实施例，提供一种多尺度自动聚焦超分辨率处理方法，包括：
接收低分辨率图像；
利用最大池化残差块和输入尺度自由残差神经网络对接收低分辨率图像进行处理，确定ROI区域图像；
通过第一级超分辨率生成单元对ROI区域图像的低分辨率图像进行第一级超分辨率处理，得到第一级超分辨率图像；
通过第二级超分辨率生成单元对第一级超分辨率图像进行第二级超分辨率处理，得到第二级超分辨率图像；以及
通过预训练的视觉几何组VGG和图像鉴别器D，根据真实有效的高分辨率图像找出超分辨率图像。
在本发明的另一个实施例中，所述第一级超分辨率处理的放大倍数与第二级超分辨率处理的放大倍数相同或不同。
在本发明的另一个实施例中，所述第一级超分辨率生成单元和第二级超分辨率生成单元通过求解以下公式成超分辨率图像：
Figure BDA0002200874680000031
其中Ihr真实有效的高分辨率图像，IlR是感兴趣的区域的低分辨率图像，
Figure BDA0002200874680000032
是预定义的损失函数。
在本发明的另一个实施例中，所述损失函数选自均方误差(MSE)
Figure BDA0002200874680000033
基于VGG的感知度量
Figure BDA0002200874680000034
交叉熵损失函数或他们的组合。
在本发明的另一个实施例中，所述第一级超分辨率图像是2倍超分辨率图像，所述第二级超分辨率图像是4倍超分辨率图像。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的自动聚焦超分辨率处理系统100的结构示意图。
图2示出根据本发明的一个实施例的ROI检测神经网络110的示意图。
图3示出根据本发明的一个实施例的超分辨率图像生成器300的示意图。
图4示出根据本发明的另一个实施例的超分辨率图像生成器400的示意图。
图5示出根据本发明的一个实施例的预训练的VGG130和鉴别器D140的示意图。
图6示出根据本发明的一个实施例的多尺度自动聚焦超分辨率处理方法的流程图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
本发明的实施例通过多尺度金字塔结构进行超级分辨率图像处理，比如从4倍低分辨率图片先生成2倍低分辨率图片，最后生成高分辨率图片(而不是直接从4倍低分辨率图片直接生成高分辨率图片)，这样极大的稳定了深度学习网络的训练。通过生成对抗模型进行超级分辨率的同时，自动化聚焦临床上所关心的组织结构和病变，排除其他组织结构对网络模型的干扰，极大的提高生成对抗模型的效率和准确度。
图1示出根据本发明的一个实施例的自动聚焦超分辨率处理系统100的结构示意图。
图像超分辨率(SR)提供了一种替代且相对便宜的解决方案，用于在空间分辨率增强而非硬件改进方面改善医学图像的感知质量。在本发明的实施例中，对原始心脏图像进行超分处理是基于生成对抗网络GAN的，原始GAN模型不是很稳定，本发明提出基于WGAN(Wasserstein GAN)增加梯度惩罚GP(Gradient Penalty)。为了使本发明的超分模型会自动专注在感兴趣区域的超分上，在本发明的方案中加入感兴趣的区域ROI检测。因此可将本发明所使用的超分辨率处理可以被称为聚焦ROI的超分辨率处理。感兴趣的区域ROI可以是但不限于病变区域。
该自动聚焦超分辨率处理系统100包括ROI检测神经网络110、超分辨率图像生成器G120、预训练的VGG(visual geometry group视觉几何组)130以及HR/SR图像鉴别器D140。在应用生成对抗网络GAN之前,ROI检测神经网络110旨在从全尺寸LR图像和HR图像中检测感兴趣区域ROI。
具体而言，将全尺寸LR图像或HR图像输入到ROI检测神经网络110。ROI检测神经网络110采用最大池化残差块和输入尺度自由残差神经网络。图2示出根据本发明的一个实施例的ROI检测神经网络110的示意图。在两个残余块之后添加最大池化层，其包括四个卷积和批量归一化层之间的两个跳过连接。这有助于加快训练过程，并降低ROI检测任务的内存成本。ROI检测神经网络110的输出为感兴趣的区域，如图中方块所示。通过使用ROI检测神经网络110，低分辨率图像分布PLR和高分辨率图像分布PHR在较低维空间中缩小为Plr和Phr。由于在临床研究中，只有这些ROI感兴趣，尺寸减小保留了原始全尺寸图像中的大部分有意义的信息。因此，Plr和Phr近似等于原始分布PLR和PHR。这有利于生成超分辨率模型的三个方面的培训：(1)它显着降低了GAN对超分辨率SR任务的培训成本，大大减少了需要培训的参数；(2)通过从Plr到Psr的更简单的替换从PLR到PSR的变换估计，它导致具有更好感知质量的SR图像；(3)被排除的区域不会进入训练过程，并且将合成较少的伪像。
生成对抗网络GAN包括超分辨率图像生成器G120和HR/SR图像鉴别器D140。超分辨率图像生成器G120接收感兴趣的区域的图像。图3示出根据本发明的一个实施例的超分辨率图像生成器300的示意图。超分辨率图像生成器300旨在从感兴趣的区域的低分辨率图像ILR估计出尽可能逼真的SR图像ISR。如图3所示，超分辨率图像生成器300使用SR残差网络(SRResNet)作为生成器G，包括残差神经网络310、第一级超分辨率生成单元320、第二级超分辨率生成单元330。
SRResNet通过求解以下公式生成超分辨率SR图像：
Figure BDA0002200874680000061
其中
Figure BDA0002200874680000062
可以是任何预定义的损失函数，如均方误差(MSE)
Figure BDA0002200874680000063
和基于VGG的感知度量
Figure BDA0002200874680000064
由于原始SRResNet直接生成高分辨率HR图像，所以所有的损耗函数都是使用单尺度SR图像构建的。因此，高放大因子(如X4放大)SR任务的优化过程很难稳定。因此，本发明提出一个多尺度GAN来将这个难题分解成一系列更简单的子问题。如图3所示，超分辨率图像生成的过程是多级多尺度的。假设期望从低分辨率图像(LR)生成4倍的高分辨率图像(HR)，首先通过第一级超分辨率生成单元320进行两倍的超分辨率处理，然后再通过第二级超分辨率生成单元330对所得图像进行两倍的超分辨率处理，最后得到4倍的超分辨率图像。然而，本领域的技术人员应该理解，第一级超分辨率生成单元320和第二级超分辨率生成单元330可以使用其他的放大倍率，并且第一级超分辨率生成单元320和第二级超分辨率生成单元330可以使用相同或不同的放大倍率。
图4示出根据本发明的另一个实施例的超分辨率图像生成器400的示意图。超分辨率图像生成器400为多尺度GAN，可以生成多尺度的SR图像，而高维图像是基于低维图像得到的。超分辨率图像生成器400包括第一级残差神经网络410、第一级超分辨率生成单元420、第二级残差神经网络430以及第二级超分辨率生成单元440。第一级残差神经网络410和第一级超分辨率生成单元420分别与第二级残差神经网络430和第二级超分辨率生成单元440相同。例如，对于4倍SR任务，2倍和4倍SR图像都是使用相同的神经网络依次生成的。由于4倍输出的图像质量是基于2倍输出的性能，因此训练可以描述为:
Figure BDA0002200874680000065
其中Idr是Ihr的2倍下采样版本。
在本发明的具体实施例中，可以设定：
Figure BDA0002200874680000071
并且
Figure BDA0002200874680000072
从而避免在早期阶段引入非逼真的纹理。除了GAN的对抗性损失之外，我们的生成器的整体损失函数可以表示为：
Figure BDA0002200874680000073
预训练的VGG 130可以是预训练的19层VGG。鉴别器D140旨在从真实有效的高分辨率图像IHR中将超分辨率图像找出来。图5示出根据本发明的一个实施例的预训练的VGG130和鉴别器D140的示意图。
鉴别器D140、预训练的VGG 130与超分辨率图像生成器同时训练以生成感知上逼真的图像特征。训练过程中可以使用交叉熵作为损失函数，来指示训练的进程。相对均方误差MSE损失函数而言，交叉熵损失函数曲线整体呈单调性，损失越大，梯度越大，因此便于梯度下降反向传播，利于优化。
图6示出根据本发明的一个实施例的多尺度自动聚焦超分辨率处理方法的流程图。
首先，在步骤610，接收低分辨率图像。
在步骤620，利用最大池化残差块和输入尺度自由残差神经网络对接收低分辨率图像进行处理，确定ROI区域图像。在本发明的实施例中，可通过ROI检测神经网络进行ROI区域图像的监测，为了简化本说明书的描述，此处不再详细描述具体的确定过程。
在步骤630，从ROI区域图像的低分辨率图像估计出第一级超分辨率图像。
在步骤640，从第一级超分辨率图像估计出第二级超分辨率图像。在本发明的实施例中，可通过超分辨率图像生成器G的多级超分辨率图像生成单元完成。
在步骤650，通过预训练的视觉几何组VGG和图像鉴别器D，根据真实有效的高分辨率图像找出超分辨率图像。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (8)

1.一种多尺度自动聚焦超分辨率处理系统，包括：
感兴趣的区域ROI检测神经网络，用于接收低分辨率图像，利用最大池化残差块和输入尺度自由残差神经网络进行处理，输出ROI区域图像；
超分辨率图像生成器G，用于接收ROI区域图像，从ROI区域图像的低分辨率图像估计出超分辨率图像，其中超分辨率图像生成器G首先从ROI区域图像的低分辨率图像估计出第一级超分辨率图像，超分辨率图像生成器G再从第一级超分辨率图像估计出第二级超分辨率图像，其中所述超分辨率图像生成器G的训练描述为：
Figure FDA0002532324230000011
其中Ihr真实有效的高分辨率图像，IlR是感兴趣的区域的低分辨率图像，Idr是Ihr的2倍下采样版本，
Figure FDA0002532324230000012
是第一级超分辨率生成单元的损失函数，
Figure FDA0002532324230000013
是第二级超分辨率生成单元的损失函数，其中
Figure FDA0002532324230000014
并且
Figure FDA0002532324230000015
以避免在早期阶段引入非逼真的纹理，
Figure FDA0002532324230000016
为均方误差、
Figure FDA0002532324230000017
为基于VGG的感知度量；以及
预训练的视觉几何组VGG和图像鉴别器D，用于根据真实有效的高分辨率图像找出超分辨率图像，
预训练的视觉几何组VGG和图像鉴别器D与超分辨率图像生成器G同时训练以生成感知上逼真的图像特征。
2.如权利要求1所述的多尺度自动聚焦超分辨率处理系统，其特征在于，所述超分辨率图像生成器G使用超分辨率残差网络，且包括：残差神经网络、第一级超分辨率生成单元以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。
3.如权利要求1所述的多尺度自动聚焦超分辨率处理系统，其特征在于，所述超分辨率图像生成器G包括第一级残差神经网络、第一级超分辨率生成单元、第二级残差神经网络以及第二级超分辨率生成单元，ROI区域图像的低分辨率图像经过第一级残差神经网络和第一级超分辨率生成单元处理之后形成第一级超分辨率图像，第二级残差神经网络和第二级超分辨率生成单元从第一级超分辨率图像估计出第二级超分辨率图像。
4.如权利要求3所述的多尺度自动聚焦超分辨率处理系统，其特征在于，所述第一级超分辨率图像是2倍超分辨率图像，所述第二级超分辨率图像是4倍超分辨率图像。
5.一种多尺度自动聚焦超分辨率处理方法，包括：
接收低分辨率图像；
利用最大池化残差块和输入尺度自由残差神经网络对接收低分辨率图像进行处理，确定ROI区域图像；
通过第一级超分辨率生成单元对ROI区域图像的低分辨率图像进行第一级超分辨率处理，得到第一级超分辨率图像；
通过第二级超分辨率生成单元对第一级超分辨率图像进行第二级超分辨率处理，得到第二级超分辨率图像，其中第一级超分辨率生成单元和第二级超分辨率生成单元的训练描述为：
Figure FDA0002532324230000021
其中Ihr真实有效的高分辨率图像，IlR是感兴趣的区域的低分辨率图像，Idr是Ihr的2倍下采样版本，
Figure FDA0002532324230000022
是第一级超分辨率生成单元的损失函数，
Figure FDA0002532324230000023
是第二级超分辨率生成单元的损失函数，其中
Figure FDA0002532324230000024
并且
Figure FDA0002532324230000025
以避免在早期阶段引入非逼真的纹理，
Figure FDA0002532324230000026
为均方误差、
Figure FDA0002532324230000027
为基于VGG的感知度量；以及
通过预训练的视觉几何组VGG和图像鉴别器D，根据真实有效的高分辨率图像找出超分辨率图像，
预训练的视觉几何组VGG和图像鉴别器D与超分辨率图像生成器G同时训练以生成感知上逼真的图像特征。
6.如权利要求5所述的多尺度自动聚焦超分辨率处理方法，其特征在于，所述第一级超分辨率处理的放大倍数与第二级超分辨率处理的放大倍数相同或不同。
7.如权利要求5所述的多尺度自动聚焦超分辨率处理方法，其特征在于，所述第一级超分辨率生成单元和第二级超分辨率生成单元通过求解以下公式成超分辨率图像：
Figure FDA0002532324230000031
其中Ihr真实有效的高分辨率图像，IlR是感兴趣的区域的低分辨率图像，
Figure FDA0002532324230000032
是预定义的损失函数。
8.如权利要求5所述的多尺度自动聚焦超分辨率处理方法，其特征在于，所述第一级超分辨率图像是2倍超分辨率图像，所述第二级超分辨率图像是4倍超分辨率图像。
CN201910864551.5A 2019-09-12 2019-09-12 多尺度自动聚焦超分辨率处理系统和方法 Active CN110570355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864551.5A CN110570355B (zh) 2019-09-12 2019-09-12 多尺度自动聚焦超分辨率处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864551.5A CN110570355B (zh) 2019-09-12 2019-09-12 多尺度自动聚焦超分辨率处理系统和方法

Publications (2)

Publication Number Publication Date
CN110570355A CN110570355A (zh) 2019-12-13
CN110570355B true CN110570355B (zh) 2020-09-01

Family

ID=68779538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864551.5A Active CN110570355B (zh) 2019-09-12 2019-09-12 多尺度自动聚焦超分辨率处理系统和方法

Country Status (1)

Country Link
CN (1) CN110570355B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861654B2 (en) * 2020-03-25 2024-01-02 Optimizely North America Inc. System and method for predicting customer behavior

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
CN109345455A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 图像鉴别方法、鉴别器和计算机可读存储介质
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
CN106951867B (zh) * 2017-03-22 2019-08-23 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107977932B (zh) * 2017-12-28 2021-04-23 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108229381B (zh) * 2017-12-29 2021-01-08 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
CN109685737A (zh) * 2018-12-24 2019-04-26 华南农业大学 一种图像去雾方法
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质
CN109345455A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 图像鉴别方法、鉴别器和计算机可读存储介质
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法

Also Published As

Publication number Publication date
CN110570355A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN108416752B (zh) 一种基于生成式对抗网络进行图像去运动模糊的方法
CN111445390B (zh) 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN112465701B (zh) 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN111178499B (zh) 一种基于生成对抗网络改进的医学图像超分辨率方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
Lee et al. Three dimensional blind image deconvolution for fluorescence microscopy using generative adversarial networks
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN110570355B (zh) 多尺度自动聚焦超分辨率处理系统和方法
Do et al. 7T MRI super-resolution with Generative Adversarial Network
Szczotka et al. Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy
CN115880158B (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN112184549A (zh) 基于时空变换技术的超分辨图像重建方法
CN116563110A (zh) 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法
Zhang et al. Pgnn: Physics-guided neural network for fourier ptychographic microscopy
Zhang et al. Multi-scale network with the deeper and wider residual block for MRI motion artifact correction
Tian et al. Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN
CN112950473B (zh) 一种mr图像超分辨方法
CN115100044A (zh) 基于三生成器生成对抗网络的内窥镜超分辨方法、系统
CN111311531B (zh) 图像增强方法、装置、控制台设备及医学成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yang Guang

Inventor after: Niu Zhangming

Inventor after: Lu Wei

Inventor after: Jiang Yinghui

Inventor after: Li Lao

Inventor after: Wang Chengjia

Inventor after: Ye Xujiong

Inventor after: Dong Hao

Inventor after: Zhu Jin

Inventor before: Yang Guang

Inventor before: Niu Zhangming

Inventor before: Lu Wei

Inventor before: Jiang Yinghui

Inventor before: Li Lao

Inventor before: Wang Chengjia

Inventor before: Ye Xujiong

Inventor before: Dong Hao

Inventor before: Zhu Jin

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20200721

Address after: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant after: Hangzhou hailui Boyan Technology Co.,Ltd.

Applicant after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Address before: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Applicant before: Hangzhou hailui Boyan Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant