CN113421212B - 一种医学影像的增强方法、装置、设备和介质 - Google Patents
一种医学影像的增强方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113421212B CN113421212B CN202110696972.9A CN202110696972A CN113421212B CN 113421212 B CN113421212 B CN 113421212B CN 202110696972 A CN202110696972 A CN 202110696972A CN 113421212 B CN113421212 B CN 113421212B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- discriminator
- image
- acgan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000003416 augmentation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种医学影像增强方法、装置、设备和介质，方法包括：获取待处理医学影像的输入特征图作为数据集，并构建ACGAN改进模型，使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K‑Lipschitz条件，在损失函数加入梯度惩罚项；ACGAN改进模型经训练后，输入数据集通过生成器输出合成图像后并加入数据集中进行数据增强，得到增强后数据集；将判别器作为样本特征提取器，对增强后数据集进行特征提取，得到样本特征图，再与输入特征图进行融合，生成待处理医学影像的增强图像，从而解决了医学影像由于过度曝光或曝光不足带来的图像的细节模糊的问题。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种医学影像的增强方法、装置、设备和介质。
背景技术
医学影像作为一种辅助医生诊断的技术，但不同的影像设备拍摄出的图像质量参差不齐。部分影像清晰度较低，从图像上看，某些部位组织处于连通状态的，这些都为图像的诊断造成极大的困难。且基层医生经手的病例数有限，缺乏培训，很难有较高的诊断水平。因此，近年来关于医学影像诊断的计算机辅助诊断算法研究一直在进行。
图像增强技术是研究计算机辅助诊断算法的关键技术之一，该技术用于改善和提升原图像质量，甚至揭示原图像中隐藏的信息，使之更适于人类视觉系统的观测或后续其他功能模块的处理，图像增强技术在高清电视、监控设备、卫星图像和医学影像等领域有重要的应用价值。
如图2所示，ACGAN是GAN(Generative AdversarialNetwork，生成对抗网络)的一种变体，能够利用辅助分类标签生成更高质量的样本，并将判别器与分类器结合，使改进的判别器不仅可以识别数据真假，还可以区分数据的不同类别。其具有如下特点：使用一维卷积层对维度进行缩减，每个一维卷积层后采用ReLU作为激活函数，在输出层采用tanh激活函数，能使模型更快地进行学习；判别器网络基本与生成器网络对称，在对标签进行分类的功能上，使用Softmax激活函数进行分类。
ACGAN框架能够有效针对医学影像的数据集进行图像质量增强，实现数据平衡，进而有效提高计算机的自动诊断的准确性。ACGAN的损失函数包含两个部分，分别如下所示：
式1中：Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；
由于判别器应尽可能区分生成数据和真实数据并有效地对数据进行分类，因此判别器能被训练的最大值为Ls+Lc；同时希望生成器生成的数据被判别器识别为真实数据且被有效分类，因此生成器能被训练的最大值为Lc-Ls。但在训练的过程中，判别器与分类器很难训练到一个平衡状态，而且训练过程中的稳定性也不佳。
发明内容
本发明要解决的技术问题，在于提供一种医学影像的增强方法、装置、设备和介质，以解决医学影像由于过度曝光或曝光不足带来的图像的细节模糊，提高图像增强质量，从而提高计算机的自动诊断的准确性。
第一方面，本发明提供了一种医学影像增强方法，包括下述步骤：
S1、获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，并构建ACGAN改进模型；所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数，/>
其中x～Pdata，/>
ε～U[0，1]/>
为生成样本，U为均匀分布；/>
为采样分布；
S2、将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型；
S3、将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述输入特征图进行特征提取，得到样本特征图；
S4、将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。。
第二方面，本发明提供了一种医学影像增强装置，包括：
图像准备模块，用于获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，
ACGAN改进模型构建模块，用于构建ACGAN改进模型，且构建所得的所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数，/>
其中x～Pdata，/>
ε～U[0，1]/>
为生成样本，U为均匀分布；/>
为采样分布；
模型训练模块，用于将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型；
样本特征图模块，用于将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述输入特征图进行特征提取，得到样本特征图；
增强图像生成模块，用于将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明通过对现有的ACGAN模型进行重新构建，使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，并在损失函数加入梯度惩罚项Lgp，得到ACGAN改进模型；能将判别器与分类器训练到一个较佳平衡状态，且提高网络训练过程的稳定性。且ACGAN改进模型提取特征信息时，是将医学影像输入辅助分类器生成对抗网络中提取特征信息，得到样本特征图，将样本特征图与输入特征图进行融合，达到对特征信息的有效提取和增强。从而解决医学影像由于过度曝光或曝光不足带来的图像的细节模糊，有可能影响后续计算机对输入特征图的诊断工作问题，对医学影像进行预处理，这样一方面可以提高图像增强质量，另一方面可以提高计算机的自动诊断的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为现有的ACGAN框架的原理框图；
图2为本发明实施例一中方法中的流程图；
图3为本发明实施例的技术路线图；
图4为本发明实施例二中装置的结构示意图；
图5为本发明实施例三中电子设备的结构示意图；
图6为本发明实施例四中介质的结构示意图。
具体实施方式
本申请实施例通过提供一种医学影像的增强方法、装置、设备和介质，以解决医学影像由于过度曝光或曝光不足带来的图像的细节模糊，提高图像增强质量，从而提高计算机的自动诊断的准确性。
本申请实施例中的技术方案，总体思路如下：由于现有的ACGAN模型在训练的过程中，判别器与分类器很难训练到一个平衡状态，而且训练过程中的稳定性也不佳，因此，本发明通过对现有的ACGAN模型进行重新构建，使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，并在损失函数加入梯度惩罚项Lgp，得到ACGAN改进模型；由训练好的ACGAN改进模型对数据集进行训练，通过生成器输出合成图像，将合成图像加入数据集中对数据进行增强，得到增强数据集，从而能将判别器与分类器训练到一个较佳平衡状态，且提高网络训练过程的稳定性。且ACGAN改进模型提取特征信息时，是将医学影像输入辅助分类器生成对抗网络中提取特征信息，得到样本特征图，将样本特征图与输入特征图进行融合，达到对特征信息的有效提取和增强。从而解决医学影像由于过度曝光或曝光不足带来的图像的细节模糊，提高了图像增强质量，从而提高计算机的自动诊断的准确性。
实施例一
本实施例提供一种医学影像的增强方法，如图1所示，包括；
S1、获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，并构建ACGAN改进模型。
如图2所示，ACGAN框架能够利用辅助分类标签生成更高质量的样本，并将判别器与分类器结合，使改进的判别器不仅可以识别数据真假，还可以区分数据的不同类别。本发明的ACGAN改进模型是在ACGAN框架基础上中使用Wasserstein距离计生成数据和真实数据的差别，构建改进ACGAN。使用一种梯度惩罚(gradient penalty，GP)来代替权值裁剪实现K-Lipschitz条件，提高网络训练过程的稳定性。K-Lipschitz条件是要求判别器的梯度不超过K，梯度惩罚即为设置一个额外的损失项来实现梯度与K之间的联系。梯度惩罚项Lgp定义为：
所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数，/>
其中x～Pdata，/>
ε～U[0，1]/>
为生成样本，U为均匀分布；/>
为采样分布。
另外，所述ACGAN改进模型的优化器使用RMSProp方法进行优化，能够有效改善训练不稳定问题。
S2、将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型，最佳模型即利用深度学习框架训练网络，将训练完成后的最佳权值保存下来得到的。其训练过程如下：
首先生成器接收一组带标签的随机噪声作为输入，输出一组同真实样本相同大小的伪样本，输入判别器中。同时，抽取部分带标签的样本输入判别器中，判别器接收真实样本和伪样本，输出样本的真假性以及类别概率，并根据损失函数计算判别器网络损失值，使用RMSProp优化器更新网络参数。
训练判别器后，组合结构开始训练，在这一阶段，保持判别器网络权重不变，同样基于损失函数计算生成器网络损失值，采用RMSprop优化器更新网络参数。在每一次更新生成器网络参数之前，先执行判别器网络参数的更新以提高训练速度。
在训练完组合结构后，即一个epoch结束，训练过程重新开始。通过足够多次数的迭代训练，整个模型在判别器和生成器损失函数的损失值上达到纳什均衡。
S3、将数据集输入训练好的ACGAN改进模型中，通过生成器输出合成图像，将合成图像加入所述数据集中进行数据增强，得到增强后数据集；
S4、将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述增强后数据集进行特征提取，得到样本特征图；
如图3所示，训练完的ACGAN改进模型中的生成器和判别器均学习到各类样本特征分类。判别器作为样本特征提取器来提取样本的特征。判别器可作为独立分类器使用，用来对测试样本分类，亦可作为样本特征提取器来提取样本的特征。当判别器作为特征提取器时，将所有样本输入到判别器中，抽取判别器的中间层数据作为原始样本的另一种表达，即样本的特征。
S5、将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。
由于相对于样本特征图而言，输入特征图为高分辨率的特征图，保留输入特征图相当于保留了待处理图像中的高分辨率特征信息，能够提升图像增强质量。过程如图3所示，根据所述样本特征图，对所述样本图像进行超分辨率处理，即分别对样本特征图进行上采样和卷积操作，同样对输入特征图进行上采样和卷积操作，然后将两个处理支路的处理结果融合(或叠加)，得到高分辨率的融合特征图，然后对融合特征图进行降噪处理，即对样本特征图或融合输入特征图的样本特征图进行卷积操作，获得降噪后的图像，即可生成待处理医学影像的图像增强。这种在样本特征图上融合了输入特征图，相当于保留输入特征图的高分辨率特征信息，高分辨率的特征信息中有大量的细节信息，可以显著提升图像增强质量。
其中，作为本实施例的一种更优或更为具体的实现方式：
所述步骤S1获取待处理图像的输入特征图后，还对所述输入特征图进行增广处理，包括旋转、平移、缩放、亮度变换中的一种或多种方法得到新样本图像，将新样本图像加入到数据集中，将数据集处理成相同尺寸的图像并进行分类，再转化为h5格式文件；其中数据集随机选取部分图像将放入另一文件中，并将格式转化为h5格式文件作为所述训练集。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
如图4所示，在本实施例中提供了一种一种医学影像增强装置，包括：
图像准备模块，用于获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，
ACGAN改进模型构建模块，用于构建ACGAN改进模型，且构建所得的所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失,Lc为记录数据分类的损失,D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数，/>
其中x～Pdata，/>
ε～U[0，1]/>
为生成样本，U为均匀分布；/>
为采样分布；
模型训练模块，用于将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型；
数据集增强模块，用于将数据集输入训练好的ACGAN改进模型中，通过生成器输出合成图像，将合成图像加入所述数据集中进行数据增强，得到增强后数据集；
样本特征图模块，用于将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述增强后数据集进行特征提取，得到样本特征图；
增强图像生成模块，用于将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。
其中，作为本实施例的一种更优或更为具体的实现方式：
所述图像准备模块在获取待处理图像的输入特征图后，还对所述输入特征图进行增广处理，包括旋转、平移、缩放、亮度变换中的一种或多种方法得到新样本图像，将新样本图像加入到数据集中，将数据集处理成相同尺寸的图像并进行分类，再转化为h5格式文件；其中数据集随机选取部分图像将放入另一文件中，并将格式转化为h5格式文件作为所述训练集。
所述ACGAN改进模型的优化器使用RMSProp方法进行优化。
所述最佳模型为权值最佳的模型；所述样本特征图为所述判别器的中间层数据作为原始样本的另一种表达。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，如图5所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，如图6所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本发明通过对现有的ACGAN模型进行重新构建，使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，并在损失函数加入梯度惩罚项Lgp，得到ACGAN改进模型；能将判别器与分类器训练到一个较佳平衡状态，且提高网络训练过程的稳定性。且ACGAN改进模型提取特征信息时，是将医学影像输入辅助分类器生成对抗网络中提取特征信息，得到样本特征图，将样本特征图与输入特征图进行融合，达到对特征信息的有效提取和增强。从而解决医学影像由于过度曝光或曝光不足带来的图像的细节模糊，提高了图像增强质量，从而提高计算机的自动诊断的准确性。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (10)
1.一种医学影像增强方法，其特征在于：包括下述步骤：
S1、获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，并构建ACGAN改进模型；所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数,/>
其中x～Pdata,/>
ε～U[0，1]，/>
为生成样本，U为均匀分布；/>
为采样分布；
S2、将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型；最佳模型即利用深度学习框架训练网络，将训练完成后的最佳权值保存下来得到的，其训练过程如下：
首先生成器接收一组带标签的随机噪声作为输入，输出一组同真实样本相同大小的伪样本，输入判别器中，同时，抽取部分带标签的样本输入判别器中，判别器接收真实样本和伪样本，输出样本的真假性以及类别概率，并根据损失函数计算判别器网络损失值，使用RMSProp优化器更新网络参数；
训练判别器后，组合结构开始训练，在这一阶段，保持判别器网络权重不变，同样基于损失函数计算生成器网络损失值，采用RMSprop优化器更新网络参数，在每一次更新生成器网络参数之前，先执行判别器网络参数的更新以提高训练速度；
在训练完组合结构后，即一个epoch结束，训练过程重新开始，通过足够多次数的迭代训练，整个模型在判别器和生成器损失函数的损失值上达到纳什均衡；
S3、将数据集输入训练好的ACGAN改进模型中，通过生成器输出合成图像，将合成图像加入所述数据集中进行数据增强，得到增强后数据集；
S4、将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述增强后数据集进行特征提取，得到样本特征图；
S5、将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。
2.根据权利要求1所述的一种医学影像增强方法，其特征在于：所述步骤S1获取待处理图像的输入特征图后，还对所述输入特征图进行增广处理，包括旋转、平移、缩放、亮度变换中的一种或多种方法得到新样本图像，将新样本图像加入到数据集中，将数据集处理成相同尺寸的图像并进行分类，再转化为h5格式文件；其中数据集随机选取部分图像将放入另一文件中，并将格式转化为h5格式文件作为所述训练集。
3.根据权利要求1所述的一种医学影像增强方法，其特征在于：所述ACGAN改进模型的优化器使用RMSProp方法进行优化。
4.根据权利要求1所述的一种医学影像增强方法，其特征在于：所述步骤S2中的最佳模型为权值最佳的模型；所述步骤S4中，所述样本特征图为所述判别器的中间层数据作为原始样本的另一种表达。
5.一种医学影像增强装置，其特征在于：包括：
图像准备模块，用于获取待处理医学影像的输入特征图作为数据集，将数据集随机选取部分图像作为训练集，
ACGAN改进模型构建模块，用于构建ACGAN改进模型，且构建所得的所述ACGAN改进模型使用Wasserstein距离计算生成数据和真实数据的差别进行真假判别，并使用梯度惩罚来代替权值裁剪实现K-Lipschitz条件，在损失函数加入梯度惩罚项Lgp，使整体训练的损失函数为：
公式2中，Ls为记录数据真假判断的损失，Lc为记录数据分类的损失，D代表判别器，G代表生成器，Pdata代表真实分布，Pz代表随机分布；
表示判别器对真实数据的预测与真实数据之间的差距，/>
表示判别器对生成数据的预测与真实数据之间的差距，/>
表示判别器对真实数据的分类结果与真实数据的类别之间的差距，/>
表示判别器对生成数据的分类结果与生成数据的类别之间的差距；/>
为梯度惩罚项Lgp，/>
表示梯度；||·||2为2范数；λ为惩罚系数,/>
其中x～Pdata,/>
ε～U[0，1]，/>
为生成样本，U为均匀分布；/>
为采样分布；
模型训练模块，用于将所述训练集输入到所述ACGAN改进模型进行训练，保存最佳模型；最佳模型即利用深度学习框架训练网络，将训练完成后的最佳权值保存下来得到的，其训练过程如下：
首先生成器接收一组带标签的随机噪声作为输入，输出一组同真实样本相同大小的伪样本，输入判别器中，同时，抽取部分带标签的样本输入判别器中，判别器接收真实样本和伪样本，输出样本的真假性以及类别概率，并根据损失函数计算判别器网络损失值，使用RMSProp优化器更新网络参数；
训练判别器后，组合结构开始训练，在这一阶段，保持判别器网络权重不变，同样基于损失函数计算生成器网络损失值，采用RMSprop优化器更新网络参数，在每一次更新生成器网络参数之前，先执行判别器网络参数的更新以提高训练速度；
在训练完组合结构后，即一个epoch结束，训练过程重新开始，通过足够多次数的迭代训练，整个模型在判别器和生成器损失函数的损失值上达到纳什均衡；
数据集增强模块，用于将数据集输入训练好的ACGAN改进模型中，通过生成器输出合成图像，将合成图像加入所述数据集中进行数据增强，得到增强后数据集；
样本特征图模块，用于将所述ACGAN改进模型中的判别器作为样本特征提取器，对所述增强后数据集进行特征提取，得到样本特征图；
增强图像生成模块，用于将所述样本特征图与所述输入特征图进行融合，生成所述待处理医学影像的增强图像。
6.根据权利要求5所述的一种医学影像增强装置，其特征在于：所述图像准备模块在获取待处理图像的输入特征图后，还对所述输入特征图进行增广处理，包括旋转、平移、缩放、亮度变换中的一种或多种方法得到新样本图像，将新样本图像加入到数据集中，将数据集处理成相同尺寸的图像并进行分类，再转化为h5格式文件；其中数据集随机选取部分图像将放入另一文件中，并将格式转化为h5格式文件作为所述训练集。
7.根据权利要求5所述的一种医学影像增强装置，其特征在于：所述ACGAN改进模型的优化器使用RMSProp方法进行优化。
8.根据权利要求5所述的一种医学影像增强装置，其特征在于：所述最佳模型为权值最佳的模型；所述样本特征图为所述判别器的中间层数据作为原始样本的另一种表达。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110696972.9A CN113421212B (zh) | 2021-06-23 | 2021-06-23 | 一种医学影像的增强方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110696972.9A CN113421212B (zh) | 2021-06-23 | 2021-06-23 | 一种医学影像的增强方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421212A CN113421212A (zh) | 2021-09-21 |
| CN113421212B true CN113421212B (zh) | 2023-06-02 |
Family
ID=77716257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110696972.9A Active CN113421212B (zh) | 2021-06-23 | 2021-06-23 | 一种医学影像的增强方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421212B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953022B (zh) * | 2024-03-27 | 2024-07-05 | 杭州邦杰星医疗科技有限公司 | 基于cuda卷积算法的医学影像配准处理系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
| CN112132012A (zh) * | 2020-09-22 | 2020-12-25 | 中国科学院空天信息创新研究院 | 基于生成对抗网络的高分辨率sar船舶图像生成方法 |
| CN112818995A (zh) * | 2021-01-27 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
| CN112990432A (zh) * | 2021-03-04 | 2021-06-18 | 北京金山云网络技术有限公司 | 目标识别模型训练方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10592779B2 (en) * | 2017-12-21 | 2020-03-17 | International Business Machines Corporation | Generative adversarial network medical image generation for training of a classifier |
| US10937540B2 (en) * | 2017-12-21 | 2021-03-02 | International Business Machines Coporation | Medical image classification based on a generative adversarial network trained discriminator |
-
2021
- 2021-06-23 CN CN202110696972.9A patent/CN113421212B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021102644A1 (zh) * | 2019-11-25 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 图像增强方法、装置及终端设备 |
| CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
| CN112132012A (zh) * | 2020-09-22 | 2020-12-25 | 中国科学院空天信息创新研究院 | 基于生成对抗网络的高分辨率sar船舶图像生成方法 |
| CN112818995A (zh) * | 2021-01-27 | 2021-05-18 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| CN112990432A (zh) * | 2021-03-04 | 2021-06-18 | 北京金山云网络技术有限公司 | 目标识别模型训练方法、装置及电子设备 |
Non-Patent Citations (5)
| Title |
|---|
| Effective Lipschitz constraint enforcement for Wasserstein GAN training;Shaobo Cui,Yong Jiang;2017 2nd IEEE International Conference on Computational Intelligence and Applications (ICCIA);全文 * |
| 基于GAN的图像数据增强方法研究;贾宇峰;《中国优秀硕士学位论文 全文数据库 信息科技辑》;全文 * |
| 基于生成对抗网络的图像数据增强方法研究;詹鹏杰;《中国优秀硕 士学位论文全文数据库 信息科技辑》;全文 * |
| 基于生成式对抗网络的数据增强技术研究;华迪;《中国优秀硕士学 位论文全文数据库 信息科技辑》;全文 * |
| 生成对抗网络在医学图像处理中的应用;李祥霞,谢娴,李彬 等;计算机工程与应用;第57卷(第18期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421212A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pan et al. | Physics-based generative adversarial models for image restoration and beyond | |
| Li et al. | Single image dehazing via conditional generative adversarial network | |
| Zhou et al. | Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110263756A (zh) | 一种基于联合多任务学习的人脸超分辨率重建系统 | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| CN108629753A (zh) | 一种基于循环神经网络的人脸图像恢复方法及装置 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN111681188B (zh) | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 | |
| CN113205509B (zh) | 一种基于位置卷积注意力网络的血管斑块ct影像分割方法 | |
| CN111428758A (zh) | 一种改进的基于无监督表征学习的遥感图像场景分类方法 | |
| CN111489304A (zh) | 一种基于注意机制的图像去模糊方法 | |
| CN114581434A (zh) | 基于深度学习分割模型的病理图像处理方法、电子设备 | |
| CN113421212B (zh) | 一种医学影像的增强方法、装置、设备和介质 | |
| Chen et al. | Sjdl-vehicle: Semi-supervised joint defogging learning for foggy vehicle re-identification | |
| CN116258632A (zh) | 一种基于文本辅助的文本图像超分辨率重建方法 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| CN113947512B (zh) | 一种大容量可控无载体图像隐写方法 | |
| CN114882220B (zh) | 基于域自适应先验知识引导gan的图像生成方法及系统 | |
| CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 | |
| Ullah et al. | Multi-modal Medical Image Fusion Technique to Improve Glioma Classification Accuracy | |
| CN113936165B (zh) | Ct图像的处理方法、终端及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zheng Lixin Inventor after: Guo Zhengzheng Inventor after: Su Qiuling Inventor after: Yan Tan Inventor before: Zheng Lixin Inventor before: Guo Zhengzheng Inventor before: Yan Tan Inventor before: Su Qiuling |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |