CN113012045A - 一种用于合成医学图像的生成对抗网络 - Google Patents
一种用于合成医学图像的生成对抗网络 Download PDFInfo
- Publication number
- CN113012045A CN113012045A CN202110203141.3A CN202110203141A CN113012045A CN 113012045 A CN113012045 A CN 113012045A CN 202110203141 A CN202110203141 A CN 202110203141A CN 113012045 A CN113012045 A CN 113012045A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- resolution
- level
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000007704 transition Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 230000004913 activation Effects 0.000 description 12
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 10
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于合成医学图像的生成对抗网络。生成器的拓扑结构为：具有8个层级，层级的等级为该层级学习的图像的分辨率的以2为底的对数；低等级层级学习的图像的分辨率加倍平滑过渡到高等级层级学习的图像的分辨率；卷积块的特征图为带有自注意力的特征图。判别器的拓扑结构与生成器相反，高等级层级学习的图像的分辨率折半平滑过渡到低等级层级学习的图像的分辨率；判别器的最低等级层级还包括批标准差；生成器和判别器使用WGAN‑GP的损失函数；使用标准正态分布初始化权重，在运行阶段放缩权重。相对于LapGAN和StackGAN等生成大分辨率的GAN网络，本发明训练过程中的大部分迭代都在低分辨率下完成，在保证合成图片质量的前提下大大加快了生成速度。
Description
技术领域
本发明涉及计算机视觉的医学图像领域，特别是一种用于合成医学图像的生成对抗网络。
背景技术
随着计算能力的提高和各行业数据量的剧增，人工智能取得了快速发展。2014年Hinton的博士生lan Goodfellow提出了GAN网络(Generative Adversarial Networks生成对抗网络)，随后对于GAN的改进型在学术界研究的如火如荼，至今仍有很大的发展空间。
随着对GAN的不断研究，各个领域尝试将GAN和领域内的工作结合。自2017年起，GAN在医学图像领域的应用大幅上升，其中图像合成，去噪，重建，分割，检测和分类已成为GAN在医学图像领域的主要方向。监督深度学习是目前许多计算机视觉和医学图像分析任务中最先进的技术，但监督深度学习的主要限制因素是它依赖于大量带标签的训练数据。这在医学领域显得更加重要，因为医学图像的标注需要医学专家标注，医学图像的获取要获得专家的同意。另一方面，出于对病人隐私的保护，使得医学领域方面的公开的高质量数据集十分稀少，限制了深度学习在医学领域的发展。
随着SRGAN、BIGGAN等生成超分辨率的GAN网络问世，许多人尝试用GAN生成医学图像来填充数据集。SRGAN、BIGGAN虽然大大提高了生成图片的质量，但是只是对于自然图片效果较好，且对于医学图片质量的评判标准与自然图片的评判标准并不相同，对于医学图像效果仍然不尽人意，因此合成医学高分辨率图像仍然是一个亟待解决的难题。
发明内容
本发明的目的是提供一种用于合成医学图像的生成对抗网络。
实现本发明目的的技术方案是：
一种用于合成医学图像的生成对抗网络，包括生成器和判别器；
所述生成器的拓扑结构为：具有8个层级，层级的等级为该层级学习的图像的分辨率的以2为底的对数；低等级层级学习的图像的分辨率加倍平滑过渡到高等级层级学习的图像的分辨率；其中，等级为2的层级，每个卷积块包括一个隐藏层、三个卷积层和三个激活层，第一个卷积层卷积核大小为4*4，第二个、第三个卷积层卷积核大小均为3*3，每个激活层均使用LeakyRelu函数；等级为3到8的层级，每个卷积块包括一个上采样层、三个卷积层和三个激活层，每个卷积层卷积核大小均为3*3，每个激活层均使用LeakyRelu函数；等级为9的层级，每个卷积块包括一个上采样层、四个卷积层和四个激活层，第一个、第二个和第三个卷积层卷积核大小均为3*3，第四个卷积层卷积核大小为1*1，第一个、第二个和第三个激活层均为LeakyRelu层，第四个激活层使用Linear激活函数；所述卷积块，其特征图为带有自注意力的特征图，在每个卷积层之后使用像素归一化；
所述判别器的拓扑结构与生成器相反；其中，上采样层替换为下采样层，高等级层级学习的图像的分辨率折半平滑过渡到低等级层级学习的图像的分辨率；所述判别器的最低等级层级还包括批标准差；
所述生成器和判别器使用WGAN-GP的损失函数；使用标准正态分布初始化权重，在运行阶段放缩权重。
进一步的技术方案，所述上采样层，采用近邻插值方法。
进一步的技术方案，所述下采样层，使用平均池化的方法。
与现有技术相比，本发明的有益效果在于：
1、本发明所提供的一种用于合成医学图像的生成对抗网络，在训练初始有一个低像素的低空间分辨率的生成器和判别器，随着训练的改善，逐渐向生成器和判别器网络中添加层，进而增加生成图片的空间分辨率，相对于LapGAN和StackGAN等生成大分辨率的GAN网络，本发明训练过程中的大部分迭代都在低分辨率下完成，在保证合成图片质量的前提下大大加快了生成速度。
2、本发明使用了卷积加上采样代替反卷积网络，解决了让生成模式遭受棋盘效应的问题。使用带有自注意力的特征图代替传统的卷积特征图，避免了由于卷积网络的局部感受野的限制导致生成大范围相关区域会使得生成图片不真实的问题。生成器中移除了tanh函数，激活函数全部使用Leaky ReLU。在判别器的末端使用批标准差(Minibatchstandard deviation)，提升样本的多样性来缓解模式崩塌(Mode collapse)问题。使用平滑过渡技术来稳定训练，避免在网络层数变化时花费额外的时间从动荡状态收敛回稳定状态，大大提高了训练效率，使模型鲁棒性更强。移除批归一化使用逐像素归一化来避免梯度爆炸，同时使用一个基于He’s init的动态初始化方法来平衡学习率，可以使随机初始化的参数不会大幅度地改变输入信号的强度。
附图说明
图1为生成器的拓扑结构图。
图2为判别器的拓扑结构图。
图3为平滑过渡技术流程图。
图4为过程化的训练方式的流程图。
图5为具体实施例最终生成的合成MRI(磁共振成像)图像。
具体实施方式
以下结合附图对本发明进一步说明。
一种用于合成医学图像的生成对抗网络，按以下方式构建：
设计不同层级(level)的生成器和判别器，构建渐进型网络。生成器和判别器分别具有8个层级，每个层级学习不同分辨率(pix)的图像，在由一个层级向另一个层级转换的过程中使用平滑过渡技术。如在某个训练阶段，真实的样本为：X＝Xa pixels*(1-α)+X2a pixels*α，a为当前层数的像素。以生成器为例，层级等级为当前层级所学习的分辨率的以二为底的对数(level＝log2(pix))，层级为2(level＝2)的卷积块包含三个卷积层和三个激活层，该层学习的是4*4分辨率的图像，第一个卷积层使用4*4的卷积核代替全连接层，第二、三个卷积层卷积核大小为3*3，激活层均使用LeakyRelu函数。层级3到8的卷积块中每个卷积块包括一个上采样层，三个卷积层和三个激活层，卷积核尺寸均为3*3，激活层均为LeakyRelu层，上采样采用近邻插值的方法。层级9的卷积块包含一个上采样层，四个卷积层和四个激活层，第一、二、三卷积层均使用大小为3*3的卷积核，第四卷积层卷积核大小为1*1，第一、二、三激活层使用LeakyRelu激活函数，第四激活层使用Linear激活函数。通过这些不同层级的卷积块拼接成更高级的网络，层级由低到高，每个卷积块的特征图数量分别为512,512,512,256,128,64,32,16。如图1所示。
判别器的拓扑结构与生成器相反，在层与层之间改变分辨率时使用下采样。如图2所示。
使用标准正态分布来初始化权重，然后在运行阶段放缩权重，公式为：
用带有自注意力的特征图去代替传统的卷积特征图，将卷积的图片特征映射成三份(copy)，分别经过1*1的卷积，将第一份的输出转置，并与第二份的输出相乘，再经过softmax归一化得到一个带注意力的特征图(attention map)，再将的到的特征图和第三份输出逐像素点相乘，最终得到自适应注意力的特征图，公式为：
Si,j＝f(xi)Tg(xj)；
h(xi)＝Whxi；
yi＝γOi+xi，yi为最终的到的带自适应注意力的特征图。
为了避免生成器梯度爆炸，使用像素归一化，在每个卷积层之后将每个像素中的特征向量标准化为生成器中的单位长度，公式为：
N为特征图的数量，ax,y和bx,y分别是原始图和归一化后的特征向量。
在判别器的末端加入minibatch standard deviation(批标准差)提升样本的多样性。计算方法如下：
1)计算N个特征图的标准差得到特征图fmap1：[1,H,W,fmaps]；
2)对fmap1求均值，得到M1:[1,1,1,1]；
3)复制扩张M2得到N个特征图fmap2：[N,H,W,1]；
4)将fmap2拼接到每个样本的特征图中。
将sliced Wasserstein distance(WGAN-GP)作为结构的损失函数。其中，
判别器的损失函数，公式为：
生成器的损失函数，公式为：
上述生成对抗网络中，使用卷积加上采样的方式替代了生成图像中更加常用的反卷积，目的是避免当卷积核大小不能被步长整除的时候出现棋盘效应(checkboard)，特别是当逐渐加深网络的层数，而不是固定网络结构，所以使用卷积加上采样生成的图片效果会更好。
下采样使用平均池化的方法，即对邻域内特征点只求平均，公式为：
αi∈{0，1}，
上采样采用近邻插值方法。
通过使用标准正态分布来初始化权重进而平衡学习率，确保每层网络初始化的参数不会大幅度的改变输入信号的强度，公式为：
对生成对抗网络进行训练时，首先获取高分辨率的医学图像数据集。例如，提取其中的PD图像(帕金森病患者的脑部MRI图像)，对于不符合分辨率的图像采用三次插值法进行上采样，之后将所有图片存为npy格式。
将PD图像和高斯噪声作为构建的渐进型网络的输入，并利用损失函数对模型进行训练，得到不同分辨率的合成图像，并使用PSNR(Peak Signal to Noise Ratio峰值信噪比)作为合成图像质量的评判标准。
训练时，交替训练判别器和生成器，保证生成器和判别器的训练参数数量一直基本相同。
具体实施例：
步骤1：下载医学图像数据集，根据标签文档提取出PD图像共1556张。对于不符合分辨率的图像采用三次插值法进行上采样，之后将1556张图像存为npy格式。
步骤2：构造渐进型网络，最初只能学习低分辨率的图片生成，随着训练的进行，不断地加深网络的层数，进而去学习更高分辨率的图片生成，最终不断更新GANs从而能学到512*512分辨率医学图像的生成。
在实验的卷积过程中，使用卷积加上采样取代了生成图像中更加常用的反卷积，使用卷积加上采样的目的是避免当卷积核大小不能被步长整除的时候出现棋盘效应(checkboard)，特别是当我们逐渐加深网络的层数，而不是固定网络结构，所以使用卷积加上采样生成的图片效果会更好。
设计不同层级(level)的生成器和判别器，生成器和判别器分别具有8个层级，每个层级学习不同分辨率(pix)的图像。以生成器为例，层级等级为当前层级所学习的分辨率的以二为底的对数(level＝log2(pix))，层级为2(level＝2)的卷积块包含三个卷积层和三个激活层，该层学习的是4*4分辨率的图像，第一个卷积层使用4*4的卷积核代替全连接层，第二、三个卷积层卷积核大小为3*3，激活层均使用LeakyRelu函数。层级3到8的卷积块中每个卷积块包括一个上采样层，三个卷积层和三个激活层，卷积核尺寸均为3*3，激活层均为LeakyRelu层，上采样采用近邻插值的方法。层级9的卷积块包含一个上采样层，四个卷积层和四个激活层，第一、二、三卷积层均使用大小为3*3的卷积核，第四卷积层卷积核大小为1*1，第一、二、三激活层使用LeakyRelu激活函数，第四激活层使用Linear激活函数。通过这些不同层级的卷积块拼接成更高级的网络，层级由低到高，每个卷积块的特征图数量分别为512,512,512,256,128,64,32,16，最终得到的生成器的拓扑结构如图1所示。
在由一个层级向另一个层级转换的过程中，如从16*16的输出变为32*32的输出的过程中，使用平滑过渡技术来稳定训练，避免因为网络层数的突变，使得GANs需要花费额外的时间从动荡状态收敛回平稳状态。当把生成器和判别器的分辨率加倍时，会平滑地增强新的层。以16*16像素的图片转换到32*32像素的图片为例，在转换过程中，把在更高分辨率上操作的层视为一个残缺块，权重α从0到1线性增长。当α为0的时候，相当于图3中(a)，当α为1的时候，相当于图3中(c)。所以在转换过程中，生成样本的像素，是从16*16到32*32转换的。同理，对真实样本也做了类似的平滑过渡，在这个阶段的某个训练batch，真实的样本为：
X＝X16pixel*(1-α)+X32pixel*α
图3中的2*和0.5*指利用最近邻卷积核平均池化分别对图片分辨率加倍和折半。toRGB表示将一个层中的特征向量投射到RGB颜色空间中，fromRGB则表示将RGB颜色空间中的信息转换成特征向量，这两个过程都是利用1*1的卷积。当训练判别器时，插入下采样后的真实图片去匹配网络中的当前分辨率。在分辨率转换过程中，会在两张真实图片的分辨率之间插值，类似于将两个分辨率结合到一起用生成器输出。
对于判别器，其拓扑结构与生成器相反，在每层改变分辨率时使用下采样，下采样通过使用平均池化的方法，即对领域内特征点只求平均，公式为：
αi∈{0，1}，
使用标准正态分布来初始化权重进而平衡学习率，然后在运行阶段放缩权重，确保每层网络初始化的参数不会大幅度的改变输入信号的强度，公式为：
用带有自注意力的特征图去代替传统的卷积特征图，将卷积的图片特征映射成三份(copy)，分别经过1*1的卷积，将第一份的输出转置，并与第二份的输出相乘，再经过softmax归一化得到一个带注意力的特征图(attention map)，再将的到的特征图和第三份输出逐像素点相乘，最终得到自适应注意力的特征图，公式为：
f(x)＝Wfx.g(x)＝Wgx,f,g表示两个提取图像特征空间的公式；
Si,j＝f(xi)Tg(xj)；
h(xi)＝Whxi；
yi＝γOi+xi，yi为最终的到的带自适应注意力的特征图。
移除了批归一化层，用像素归一化约束由于生成器和判别器不健康的竞争造成的信号范围越界的问题，可以避免生成器梯度爆炸的问题，像素归一化的公式为：
其中N为特征图的数量，ax,y和bx,y分别是原始图和归一化后的特征向量。
为了让生成器得到更多样化梯度方向，把衡量多样性的度量加到判别器中去影响判别器的判别，因此在判别器的末端加入minibatch standard deviation，将判别器的尾端的特征图作为输入x，然后根据特征图求出对应每个位置的minibatch的标准差，然后对标准差reduce_mean求均值，最后拼接x和求得的均值，计算方法如下：
1)计算N个特征图的标准差得到特征图fmap1：[1,H,W,fmaps]；
2)对fmap1求均值，得到M1:[1,1,1,1]；
3)复制扩张M2得到N个特征图fmap2：[N,H,W,1]；
4)将fmap2拼接到每个样本的特征图中。
最终构造的渐进型网络训练过程如图4所示。
步骤3：使用sliced Wasserstein distance作为损失函数，具体的判别器的损失函数为：
生成器的损失函数为：
步骤4：将步骤1中预处理好的npy格式的样本和高斯噪声作为输入，交替训练判别器和生成器，保证判别器和生成器的训练参数一直基本相同。其中各类参数设置情况为：batchsize随着分辨率由低到高分别为64,64,32,16,8,4,2,1；epoch随着分辨率由低到高分别为60,60,60,60,60,90,120,150；初始学习率为1×10-3，优化器使用Adam，β1＝0.9，β2＝0.99,epsilon＝1×10-8；在ubuntu系统下的tensorflow框架和Tesla P10016G GPU平台上训练模型，通过调整参数使得损失函数达到最小，得到最优模型。使用PSNR作为合成图像质量的评判标准，PSNR的公式为：
最终生成的合成MRI图像如图5所示，PSNR为32.65。
Claims (3)
1.一种用于合成医学图像的生成对抗网络，其特征在于，
包括生成器和判别器；
所述生成器的拓扑结构为：具有8个层级，层级的等级为该层级学习的图像的分辨率的以2为底的对数；低等级层级学习的图像的分辨率加倍平滑过渡到高等级层级学习的图像的分辨率；其中，等级为2的层级，每个卷积块包括一个隐藏层、三个卷积层和三个激活层，第一个卷积层卷积核大小为4*4，第二个、第三个卷积层卷积核大小均为3*3，每个激活层均使用LeakyRelu函数；等级为3到8的层级，每个卷积块包括一个上采样层、三个卷积层和三个激活层，每个卷积层卷积核大小均为3*3，每个激活层均使用LeakyRelu函数；等级为9的层级，每个卷积块包括一个上采样层、四个卷积层和四个激活层，第一个、第二个和第三个卷积层卷积核大小均为3*3，第四个卷积层卷积核大小为1*1，第一个、第二个和第三个激活层均为LeakyRelu层，第四个激活层使用Linear激活函数；所述卷积块，其特征图为带有自注意力的特征图，在每个卷积层之后使用像素归一化；
所述判别器的拓扑结构与生成器相反；其中，上采样层替换为下采样层，高等级层级学习的图像的分辨率折半平滑过渡到低等级层级学习的图像的分辨率；所述判别器的最低等级层级还包括批标准差；
所述生成器和判别器使用WGAN-GP的损失函数；使用标准正态分布初始化权重，在运行阶段放缩权重。
2.如权利要求1所述的一种基于生成对抗网络的合成医学图像的模型，其特征在于，所述上采样层，采用近邻插值方法。
3.如权利要求1所述的一种基于生成对抗网络的合成医学图像的模型，其特征在于，所述下采样层，使用平均池化的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203141.3A CN113012045B (zh) | 2021-02-23 | 2021-02-23 | 一种用于合成医学图像的生成对抗网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203141.3A CN113012045B (zh) | 2021-02-23 | 2021-02-23 | 一种用于合成医学图像的生成对抗网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012045A true CN113012045A (zh) | 2021-06-22 |
| CN113012045B CN113012045B (zh) | 2022-07-15 |
Family
ID=76408247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110203141.3A Active CN113012045B (zh) | 2021-02-23 | 2021-02-23 | 一种用于合成医学图像的生成对抗网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012045B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024815A (ja) * | 2000-06-13 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN109816593A (zh) * | 2019-01-18 | 2019-05-28 | 大连海事大学 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110569905A (zh) * | 2019-09-10 | 2019-12-13 | 江苏鸿信系统集成有限公司 | 基于生成对抗网络和注意力网络的细粒度图像分类方法 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
| KR20200084434A (ko) * | 2018-12-26 | 2020-07-13 | 포항공과대학교 산학협력단 | 초해상도 영상 복원을 위한 기계 학습 방법 |
| US20200364624A1 (en) * | 2019-05-16 | 2020-11-19 | Retrace Labs | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources |
-
2021
- 2021-02-23 CN CN202110203141.3A patent/CN113012045B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024815A (ja) * | 2000-06-13 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| KR20200084434A (ko) * | 2018-12-26 | 2020-07-13 | 포항공과대학교 산학협력단 | 초해상도 영상 복원을 위한 기계 학습 방법 |
| CN109816593A (zh) * | 2019-01-18 | 2019-05-28 | 大连海事大学 | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| US20200364624A1 (en) * | 2019-05-16 | 2020-11-19 | Retrace Labs | Privacy Preserving Artificial Intelligence System For Dental Data From Disparate Sources |
| CN110569905A (zh) * | 2019-09-10 | 2019-12-13 | 江苏鸿信系统集成有限公司 | 基于生成对抗网络和注意力网络的细粒度图像分类方法 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAIXIE等: "AMD-GAN: Attention encoder and multi-branch structure based generative adversarial networks for fundus disease detection from scanning laser ophthalmoscopy images", 《NEURAL NETWORKS》 * |
| 田伟倩: "基于卷积神经网络的医学图像分割算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012045B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| Yang et al. | DRFN: Deep recurrent fusion network for single-image super-resolution with large factors | |
| Huang et al. | Wavelet-srnet: A wavelet-based cnn for multi-scale face super resolution | |
| Yang et al. | Exploiting self-similarities for single frame super-resolution | |
| Yan et al. | Single image superresolution based on gradient profile sharpness | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN115797176A (zh) | 一种图像超分辨率重建方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Zeng et al. | Self-attention learning network for face super-resolution | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network | |
| Du | Single image super-resolution using global enhanced upscale network | |
| CN113012045B (zh) | 一种用于合成医学图像的生成对抗网络 | |
| Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution | |
| Wei et al. | Fast image super-resolution algorithm based on multi-resolution dictionary learning and sparse representation | |
| Zhang et al. | A wavelet-based asymmetric convolution network for single image super-resolution | |
| Cai et al. | Spherical pseudo-cylindrical representation for omnidirectional image super-resolution | |
| Du et al. | Mixed high-order non-local attention network for single image super-resolution | |
| Lu et al. | Context-aware single image super-resolution using sparse representation and cross-scale similarity | |
| CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |