CN117173464A - 一种基于gan的非平衡医学图像分类方法、系统及电子设备 - Google Patents
一种基于gan的非平衡医学图像分类方法、系统及电子设备 Download PDFInfo
- Publication number
- CN117173464A CN117173464A CN202311112350.2A CN202311112350A CN117173464A CN 117173464 A CN117173464 A CN 117173464A CN 202311112350 A CN202311112350 A CN 202311112350A CN 117173464 A CN117173464 A CN 117173464A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- samples
- training
- gan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 77
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000011056 performance test Methods 0.000 claims description 6
- 238000013450 outlier detection Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 5
- 230000003321 amplification Effects 0.000 abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 23
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 23
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于GAN的非平衡医学图像分类方法、系统及电子设备，所述方法包括：首先，提出了一种基于局部异常因子LOF的类内稀疏样本检测方法，用于查询类内难以被学习的样本。接着，使用仿射变换对稀疏样本进行样本扩增，以增强样本数据和特征的多样性。然后，我们再将稠密样本和增强后的稀疏样本结合共同训练LEGAN，可以使其有效关注稀疏区域的样本分布。本发明解决了传统机器学习算法无法有效分类非平衡数据的问题，通过设计基于LEGAN的数据扩增方案，不仅可以生成高质量和多样性的类内样本，还能有效提升传统分类模型的鲁棒性和分类性能。
Description
技术领域
本发明涉及计算机应用领域，更具体地，涉及一种基于GAN的非平衡医学图像分类方法、系统及电子设备。
背景技术
近年来，将深度学习学习技术应用于生物医学图像处理中已取得突飞猛进的发展。而其中用于图像分类的卷积神经网络模型(CNN)更是受到了广泛的研究与应用。CNN及其衍生的体系结构往往需要大量的有标签数据来进行模型的训练，而标签数据获取非常耗时费力且易产生误差。在真实世界的医学影像图像中，标签数据的获取严重依赖于医生的主观经验、专业水平，也易受到影像质量影响。因此有标签影像数据获取更难，极易造成数据稀少、注释稀缺和类别严重不平衡等问题。
非平衡数据是导致深度学习模型性能降低的主要原因之一。由于传统CNN模型及其衍生结构是基于平衡数据而设计的，在面临非平衡数据时往往会将决策边界偏向于少数类，从而使得少数类的分类效果较差。因此，基于数据平衡假设而提出的机器学习算法与实际应用中数据非平衡的情况相矛盾，使得深度学习模型有学习多数类而忽略少数类的倾向，最终导致算法的性能显著下降。基于此，由小规模数据集和有限的带标签样本引起的非平衡数据问题是医学图像分类的主要挑战。
图像增强技术可以用来扩充非平衡数据集中的少数类样本，是解决样本不足问题常见的方法。传统的图像增强方法有很多，例如，可以通过提高图像的质量，校正图像的亮度或者对比度，或是通过旋转、剪裁、缩放、变形等几何变换方式对数据进行扩充。但在医学图像中，调整亮度或进行剪裁和形变会改变原始数据的信息，从而导致扩充后的数据失真。因此它们所产生的影响作用是非常局限的。另一类经典的过采样方案是基于SMOTE模型的样本合成方法。SMOTE模型是一种基于线性插值的过采样方法，通过在样本点间的线段上随机采样一点生成新样本。但是，当在决策边界附近生成新样本时，可能会导致分类边界变得更加模糊。此外，当需要生成较多的样本时，新样本可能会被重复生成，并且所生成的数据的质量也很难令人满意。
生成对抗网络(Generative Adversarial Networks，GANs)因具有非常出色数据合成的能力而一直受到学术界的广泛关注，并已被广泛应用于工业、医学和安全等领域中。在医学影像领域中，通过使用GAN来从有限的图像中学习底层真实分布，然后基于学习到的数据分布生成更多样性的医疗影像数据。基于此，GAN样本生成可以有效地缓解因数据样本稀缺而对医学数据分析造成的影响。
然而，在使用GAN方法生成样本解决非平衡数据分类的问题中，不仅需要考虑类间非平衡，还需要考虑类内非平衡。值得注意的是，在医学数据中，尽管多个样本属于同一类别，但是他们之间通常存在着多样性。例如，医学中的皮肤病检测数据，其中共有七大类数据，但是每一类皮肤病数据中的数据类型又表现出不同的特征。当使用GAN学习此类数据的分布，很难学习到类内的少数类样本分布。此外，将仅学习到类内多数类样本分布的GAN模型用于数据扩充时会增大类内的数据偏差。虽然基于GAN的类间样本扩增方案已被广泛研究，但极少有人考虑到类内数据的非平衡问题。
在当前的研究中，大多数研究者更热衷于直接使用GAN扩充图像，然后将扩增后的数据集用于模型的训练。然而，正如上述所说，在非平衡数据分类中，类间的非平衡性并不是导致分类器性能下降的唯一因素。有效的样本扩充机制应该是：使用合成数据覆盖原始的少数类样本分布中未充分表示的部分。也就是说，生成数据的重点应该是解决类内样本中稀疏未充分表示的部分。基于此，在本发明中，提出了一种改进的GAN模型(LEGAN)，在平衡类间样本的同时更加注重类内样本的多样性。
发明内容
为了解决上述的技术问题，本发明提出了一种基于局部异常因子(LOF)和信息熵的GAN模型结构，即LEGAN。LEGAN模型更注重于解决因为类内非平衡而导致的类内模式崩塌问题。本发明综合了两种策略来生成更多样性的类内样本，从而缓解模式崩塌。首先，提出一种基于局部异常因子(LOF)的GAN模型训练机制。LOF用于检测类内非平衡的稀疏和稠密样本点，并对于稀疏样本点进行仿射变换，以增强样本数据和特征的多样性。然后，再将稠密样本和增强后的稀疏样本共同训练LEGAN，可以使其有效关注稀疏区域的样本分布。其次，还提出一种基于信息熵的去中心约束项。该方法使用信息熵衡量生成样本的多样性，并将结果反馈到生成器中，以激励生成器朝着更优的方向进化。
根据本发明的第一方面，提供了一种基于GAN的非平衡医学图像分类方法，包括：
步骤S1，采集医疗领域中的图像数据构建非平衡的数据集；
步骤S2，将采集到的数据集划分为训练样本集和测试样本集；
步骤S3,构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重；
步骤S4，构建LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本；
步骤S5，使用数据增强方案增强类内的稀疏样本；
步骤S6，混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
步骤S7，构建LEGAN模型，使用新的训练数据集训练LEGAN模型；
步骤S8，使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，使得原始训练集达到平衡状态；
步骤S9，构建Resnet18模型，使用步骤S8获得的平衡数据集训练所述Resnet18模型；
步骤S10，输入测试数据，对训练完成的Resnet18模型进行性能测试。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，步骤S3中构建的初始的GAN模型选择SNGAN模型；所述构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重还包括：
先使用完整的数据对SNGAN模型进行预训练，获得最优的初始权重，然后训练每一类样本，最后再进行权重迁移。
可选的，所述SNGAN模型目标函数设定为：
其中，生成器的输入为随机噪声z，遵循高斯分布pz(z)；生成器的输出数据为伪样本G(z)，判别器以伪样本G(z)和真实样本x作为输入，输出结果为判别概率D(G(z))和D(x)，x是来自于训练样本集中的数据，z是从高斯分布中随机采样获得的噪声样本。
可选的，步骤S4中使用局部异常因子进行类内稀疏样本的检测；所述构建LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本还包括：
在进行稀疏点检测前，先训练完成一个自编码器模型，并将使用编码器提取原始图像的高维隐空间特征，将提取到的高维隐空间特征作为LOF算法的输入。
可选的，所述步骤S5中选用翻转和旋转的方式来扩增类内的稀疏样本。
可选的，步骤S7中使用重构损失和信息熵损失来改进原始的SNGAN模型；所述使用新的训练数据集训练LEGAN模型包括：
训练分类器C来分别类内的稠密样本和稀疏样本；
计算训练批次中稠密样本和稀疏样本的数量nd和ns；
将信息熵的得分作为附加限制项反馈给生成器；
使用L1损失来度量生成样本和原始样本的重构差异。
可选的，步骤S8中小样本的生成数据量依据数据量最大的一类数据为标准来获得的。
可选的，步骤S9中所构建的卷积神经网络模型为具有预训练权重的分类模型。
根据本发明的第二方面，提供了一种基于GAN的非平衡医学图像分类系统，包括：
数据获取模块，用于采集医疗领域中的图像数据构建非平衡的数据集；将采集到的数据集划分为训练样本集和测试样本集；
第一构建模块,用于构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重；
第二构建模块，用于构建离群点检测LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本；使用数据增强方案增强类内的稀疏样本；混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
第三构建模块，用于构建LEGAN模型，使用新的训练数据集训练LEGAN模型；使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，将原始训练集达到平衡状态；
第四构建模块,用于构建卷积神经网络模型，使用获得的平衡数据集训练所述卷积神经网络模型；输入测试数据，对训练完成的卷积神经网络模型进行性能测试。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机程序时实现上述所述的一种基于GAN的非平衡医学图像分类方法的步骤。
本发明的技术效果和优点：
本发明提出使用基于LEGAN的数据增强方案，不仅可以有效生成高质量和多样性的医学图像，并且可以有效提升非平衡医学图像的分类性能。
本发明提出基于LOF的稀疏样本点检测方法，将类内样本分为密集样本和稀疏样本。在GAN模型训练前，对稀疏样本进行仿射变换以增强其多样性，从而使得在训练过程中更好的捕获稀疏样本点的分布。解决了传统GAN模型无法有效关注类内稀疏样本生成的问题。
并且本发明提出基于信息熵的去中心化约束项，能够提升类内样本的多样性。通过引入信息熵来衡量GAN模型在训练时生成样本的多样性，并将测量的结果反馈给生成器，以约束生成器朝着更优的方向进化。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
图1为本发明实施例提供的一种基于GAN的非平衡医学图像分类方法流程图；
图2为本发明实施例提供的LEGAN数据增强流程图；
图3为本发明实施例提供的SNGAN模型结构图；
图4为本发明实施例提供的基于LOF的稀疏样本检测与仿射变换示意图；
图5为本发明实施例提供的k-distance和reach-distance的计算过程示意图；
图6为本发明提供的基于信息熵的EGAN模型结构图；
图7为本发明提供的Resnet18模型结构图；
图8为本发明实施例提供了一种电子设备的实体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了基于GAN的非平衡医学图像分类方法，图1和图2实例示出的一种基于GAN的非平衡医学图像分类方法的流程图，参照图1和图2所示，该方法包括如下步骤：
步骤S1，非平衡数据采集：通过采集医疗领域中的图像数据构建非平衡的数据集；
在本实施例中，所使用的数据集为3个公开的轻量级医学图像数据，BloodMNIST、OrgancMNIST和PathMNIST。3个数据集来源于MedMNIST V2，这是一个类似于MNIST数据集的标准化生物医学数据集。3个数据集中的所有图像都被预处理为28*28尺寸。PathMNIST是预测结直肠癌癌症组织学切片存活率的数据集，包含9类数据。OrganCMNIST是一个对身体器官进行分类的数据集，包含11类数据。BloodMNIST是基于个体正常细胞的数据集，共分为8类。
步骤S2，将采集到的数据集划分为训练样本集和测试样本集；
需要进行说明的是，训练样本集用于LEGAN模型和分类器Resnet18模型的训练，测试样本集用于最终Resnet18分类模型的测试；
步骤S3,构建初始SNGAN模型，使用训练集预训练构建完成的SNGAN模型，获得初始权重。
考虑到所采集到的数据中包含小样本数据，无法有效支撑后续LEGAN模型训练，因此先使用完整的数据对SNGAN进行预训练，以获得最优的初始权重，然后再将权重迁移到后续的LEGAN模型上。
进一步的，步骤S3中构建的初始的SNGAN模型结构如图3所示。SNGAN模型中生成器的输入为随机噪声z，遵循高斯分布pz(z)。生成器的输出数据为生成样本G(z)。判别器以生成样本G(z)和真实样本x作为输入，输出结果为判别概率D(G(z))和D(x)。传统的对抗生成网络存在一个问题：如果判别器D太过于强大，生成器G则会出现梯度消失的现象，并使得损失函数无法收敛；如果生成器G训练太好则判别器D出现梯度爆炸的现象。基于此，在SNGAN中使用Wasserstein距离作为度量生成数据与原始数据的代价，将训练样本与生成样本形成联合分布后对期望值取下限进行优化，其目标函数设定为：
其中x是来自于训练样本集中的数据；z是从高斯分布中随机采样获得的噪声样本。为了防止出现梯度爆炸和梯度消失的现象，通过额外设置一个梯度惩罚项迫使判别器D满足损1-Lipschitz函数的连续性约束条件，从而增强梯度的可控性。梯度惩罚公式如下：
其中GP是梯度惩罚项，是/>的分布，/>是判别器的梯度，/>表示沿着真实数据分布Pr和生成数据分布Pg之间的直线进行采样。ε为来自实域的随机参数，其值为0～1。基于此，SNGAN的损失函数可以定义如下：
其中λ是梯度惩罚系数。此外，SNGAN通过将权重矩阵W进行归一的方式，将梯度控制在小于或等于1的范围内。权重矩阵归一化可以表示如下：
通过将W权重矩阵归一为谱范数恒等于1的式子，可以控制梯度恒小于等于1，从而进一步改善GAN训练不稳定和模式崩塌问题。
步骤S4，构建LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本；
进一步的，步骤S4中使用局部异常因子(LOF)进行类内稀疏样本的检测。LOF是基于密度的离群点检测方法，可以较好检测出类内的稀疏样本点。此外，为了增强类内稀疏样本的多样性，使用仿射变换进行稀疏样本的增强，从而使得GAN能更好的关注该类样本的生成。在进行稀疏点检测前，先训练完成一个自编码器模型，并将使用编码器En提取原始图像的高维隐空间特征。将提取到的隐空间特征作为LOF算法的输入，具体的算法设计如下；
计算k-距离：给定数据对象p和任意正整数k，计算p的k近邻集合。由p的k个数据对象组成的集合表示为Nk(p)。距离p第k个最近的数据对象记为qk，则p的k-距离则为p到q的距离，记为Distk(p)。对于任意q∈Nk(p)，则有Dist(p,q)≤Distk(p)成立。图4(a)中给出了k＝6时的k-距离计算示意图。
可达距离：给定数据对象p和q，则p相对于q的可达距离表示如下：
Distr(p,q)＝max{Dist(p,q),Distk(q)}
图4(b)中显示了q1和q2两个数据对象的可达距离计算示意图。由图中可知p离q1的距离较远，因此可达距离为实际距离Dist(p,q1)。p离q2的距离较近，即Dist(p,q2)<Dist6(q2)，所以p，q2的可达距离为Dist6(q2)。
局部可达密度：数据对象p的局部可达密度可以被定义为：p的k个最近邻点Nk(p)的平均可达距离的倒数。P的局部可达密度Lrdk(p)使用等式可以表示为：
通过局部密可达密度公式可以看出，p相对于k个最近邻的可达距离的均值越小，则局部密度越大。
局部异常因子：数据对象p的局部异常因子表示为：
由公式可知，LOFp表示p的所有k近邻的局部可达密度与p的可达密度的比值的均值。因此，LOFp越接近于1，说明对象p与其k近邻的局部密度越接近，p的异常程度越小。LOFp小于1时，表示对象p处于一个高度密集的区域。相反，LOFp越大，则表示p是稀疏点的可能性越大。基于此，本发明的关注点在于筛选出具有较大LOF的点，也就是类内样本中的稀疏点。
步骤S5，使用传统的数据增强方案增强类内的稀疏样本；
进一步的，步骤S5中选用翻转和旋转(旋转90°、180°和270°)两种传统的数据增强方法来扩增由S4步骤中检测出的类内的稀疏样本。图5形象的表示了步骤4和步骤5中类内稀疏样本检测和增强的过程。稀疏样本的检测过程在步骤4中详细的给出，可概括为：使用编码器提取每一类训练数据的高维隐层特征，然后使用LOF算法基于提取的高维隐层特征将类内样本再划分为稠密样本和稀疏样本。因为，检测稀疏样本的目的是为了扩增其样本数量，以减小其和稠密样本的分布差异，从而更好的训练后续的LEGAN模型，因此我们使用仿射变换的方法来扩增稀疏样本。具体的，在本发明中，我们使用1次翻转和3次旋转(旋转90°、180°和270°)来扩增类内稀疏样本，从而实现类内稀疏样本的增强。
步骤S6，混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
步骤S7，构建LEGAN模型，使用新的训练集训练LEGAN模型；
进一步的，步骤S7中在SNGAN的基础上构建了LEGAN模型。LEGAN模型的结构设计如图6所示。LEGAN是本发明中提出的新模型，是对SNGAN的进一步改进。在原有的SNGAN的损失函数上，设计了一种新的附加约束项来提升类内样本的多样性。该约束项通过计算LEGAN所生成的样本的信息熵为约束度量。根据信息熵的含义可知，信息熵跟事件发生的概率相关，当某一事件发生的概率越大时信息熵越小。基于此，希望类内数据的生成不总发生在一种数据模式上，而是生成不同的数据模式。反映在类内数据生成上是不希望某一类数据的生成的概率极大，而另一类数据的生成概率极小，应该使得生成数据的信息熵最大化。具体的，在LEGAN模型训练过程中，生成器生成的样本应该同时包含稠密区域的样本和稀疏区域的样本。因此，采用信息熵来衡量这两类样本的生成情况。
首先，训练一个分类器C来分别，类内的稠密样本和稀疏样本。由于稠密样本和稀疏样本有清晰的分类边界，因此训练完成的分类器可以很好的识别这两类样本。在本发明中使用Resnet18作为分类模型，Resnet18的模型结构如图7所示，使用交叉熵损失作为Resnet18的目标函数，其等式如下：
其中yik和pik分别表示第i个样本属于第k类的真实标签和预测概率。
在LEGAN训练的过程中，使用训练完成分类器来分类稠密样本xd和稀疏样本xs。然后计算一个训练批次中稠密样本和稀疏样本的数量nd和ns。那么，由此可得一个批次中稠密样本和稀疏样本的生成概率：
最终，有两类样本的生成概率可以得出一个batch中样本的信息熵。信息熵测量的函数表达式如下所示：
由信息熵的公式可以看出，当只生成稠密区域的样本时信息熵Le为0。随着更多样化的稀疏区域的样本生成，信息熵也会逐渐增大。基于此，以将信息熵的得分作为附加限制项反馈给生成器，迫使生成器生成更多样化的数据。
此外，为了生成更高质量的样本数据，本发明还添加了重构损失。重构损失的设计使用L1损失。具体来说，使用L1损失来度量生成样本和原始样本的重构差异。重构损失的设计如下所示：
其中x和x′分别表示原始数据和生成数据。最终EGAN中生成器的损失定义如下：
LG＝Lg-λ1Le+λ2Lh
其中Lg表示原始SNGAN生成器的损失，λ1和λ2分别表示Le和Lh的权重。
步骤S8，使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，使得原始训练集达到平衡状态。
需要进行说明的是，步骤S8中小样本的生成数据量是依据多类数据中数据量最大的一类数据来获得的，最终使得原始非平衡数据达到平衡状态。
步骤S9，构建Resnet18模型，使用S8获得的平衡数据集训练该模型；
需要进行说明的是，ResNet18具体的模型结构如图7所示，步骤S9中所构建的Resnet18模型是具有预训练权重的分类模型，使用该模型进行训练步骤S8中获得平衡数据，进而可以增强模型的鲁棒性，以提升最终的分类效果。ResNet18的主要特点是引入了残差块(Residual Block)的概念，用于解决深度卷积神经网络中梯度消失和梯度爆炸问题。在残差块中，跳跃连接(Shortcut Connection)可以将输入直接连接到输出，使得网络可以学习到残差信息，从而更好地进行特征提取和处理。
步骤S10，输入测试数据，对训练完成的Resnet18模型进行性能测试。
综上，本发明实施例提出使用基于LEGAN的数据增强方案，不仅可以有效生成高质量和多样性的医学图像，并且可以有效提升非平衡医学图像的分类性能。
根据实施例的第二方面，本发明实施例还提供一种基于GAN的非平衡医学图像分类系统，包括：
数据获取模块，用于采集医疗领域中的图像数据构建非平衡的数据集；将采集到的数据集划分为训练样本集和测试样本集；
第一构建模块,用于构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重；
第二构建模块，用于构建离群点检测LOF模型，并使用LOF分离每一类数据中的稠密区域和稀疏区域样本；使用数据增强方案增强类内的稀疏样本；混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
第三构建模块，用于构建LEGAN模型，使用新的训练数据集训练LEGAN模型；使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，将原始训练集达到平衡状态；
第四构建模块,用于构建卷积神经网络模型，使用获得的平衡数据集训练所述卷积神经网络模型；输入测试数据，对训练完成的卷积神经网络模型进行性能测试。
可以理解的是，本发明提供的一种基于GAN的非平衡医学图像分类系统与前述各实施例提供的一种基于GAN的非平衡医学图像分类方法相对应，一种基于GAN的非平衡医学图像分类系统的相关技术特征可参考一种基于GAN的非平衡医学图像分类方法的相关技术特征，在此不再赘述。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述所述的一种基于GAN的非平衡医学图像分类方法的步骤。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于GAN的非平衡医学图像分类方法，其特征在于，所述方法包括以下步骤：
步骤S1，采集医疗领域中的图像数据构建非平衡的数据集；
步骤S2，将采集到的数据集划分为训练样本集和测试样本集；
步骤S3,构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重；
步骤S4，构建离群点检测LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本；
步骤S5，使用数据增强方案增强类内的稀疏样本；
步骤S6，混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
步骤S7，构建LEGAN模型，使用新的训练数据集训练LEGAN模型；
步骤S8，使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，将原始训练集达到平衡状态；
步骤S9，构建Resnet18模型，使用获得的平衡数据集训练所述Resnet18模型；
步骤S10，输入测试数据，对训练完成的Resnet18模型进行性能测试。
2.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，步骤S3中构建的初始的GAN模型选择SNGAN模型；所述构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重还包括：
先使用完整的数据对SNGAN模型进行预训练，获得最优的初始权重，然后训练每一类样本，最后再进行权重迁移。
3.根据权利要求2所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，所述SNGAN模型目标函数设定为：
其中，生成器的输入为随机噪声z，遵循高斯分布pz(z)；生成器的输出数据为伪样本G(z)，判别器以伪样本G(z)和真实样本x作为输入，输出结果为判别概率D(G(z))和D(x)，x是来自于训练样本集中的数据，z是从高斯分布中随机采样获得的噪声样本。
4.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，步骤S4中使用局部异常因子进行类内稀疏样本的检测；所述构建LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本还包括：
在进行稀疏点检测前，先训练完成一个自编码器模型，并将使用编码器提取原始图像的高维隐空间特征，将提取到的高维隐空间特征作为LOF算法的输入。
5.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，所述步骤S5中选用翻转和旋转的方式来扩增类内的稀疏样本。
6.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，步骤S7中使用重构损失和信息熵损失来改进原始的SNGAN模型；所述使用新的训练数据集训练LEGAN模型包括：
训练分类器C来分别类内的稠密样本和稀疏样本；
计算训练批次中稠密样本和稀疏样本的数量nd和ns；
将信息熵的得分作为附加限制项反馈给生成器；
使用L1损失来度量生成样本和原始样本的重构差异。
7.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，步骤S8中小样本的生成数据量依据数据量最大的一类数据为标准来获得的。
8.根据权利要求1所述的一种基于GAN的非平衡医学图像分类方法，其特征在于，步骤S9中所构建的卷积神经网络模型为具有预训练权重的分类模型。
9.一种基于GAN的非平衡医学图像分类系统，其特征在于，包括：
数据获取模块，用于采集医疗领域中的图像数据构建非平衡的数据集；将采集到的数据集划分为训练样本集和测试样本集；
第一构建模块,用于构建初始GAN模型，使用训练集预训练构建完成的GAN模型，获得初始权重；
第二构建模块，用于构建离群点检测LOF模型，并使用LOF算法分离每一类数据中的稠密区域和稀疏区域样本；使用数据增强方案增强类内的稀疏样本；混合增强后的稀疏样本和原始的稠密样本，构建新的训练数据集；
第三构建模块，用于构建LEGAN模型，使用新的训练数据集训练LEGAN模型；使用训练完成的LEGAN模型生成非平衡数据中的小样本数据，将原始训练集达到平衡状态；
第四构建模块,用于构建Resnet18模型，使用获得的平衡数据集训练所述Resnet18模型；并输入测试数据，对训练完成的Resnet18模型进行性能测试。
10.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8任一项所述的一种基于GAN的非平衡医学图像分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311112350.2A CN117173464A (zh) | 2023-08-29 | 2023-08-29 | 一种基于gan的非平衡医学图像分类方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311112350.2A CN117173464A (zh) | 2023-08-29 | 2023-08-29 | 一种基于gan的非平衡医学图像分类方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173464A true CN117173464A (zh) | 2023-12-05 |
Family
ID=88946252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311112350.2A Pending CN117173464A (zh) | 2023-08-29 | 2023-08-29 | 一种基于gan的非平衡医学图像分类方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173464A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893450A (zh) * | 2024-03-15 | 2024-04-16 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
-
2023
- 2023-08-29 CN CN202311112350.2A patent/CN117173464A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893450A (zh) * | 2024-03-15 | 2024-04-16 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
| CN117893450B (zh) * | 2024-03-15 | 2024-05-24 | 西南石油大学 | 一种数字病理图像增强的方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063724B (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN113705526B (zh) | 一种高光谱遥感影像分类方法 | |
| CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| Liu et al. | Detection of multiclass objects in optical remote sensing images | |
| CN112990097B (zh) | 一种基于对抗消除的人脸表情识别方法 | |
| WO2018200072A1 (en) | Cyclic generative adversarial network for unsupervised cross-domain image generation | |
| CN108614992A (zh) | 一种高光谱遥感图像的分类方法、设备及存储设备 | |
| CN109993236A (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
| CN109598711B (zh) | 一种基于特征挖掘和神经网络的热图像缺陷提取方法 | |
| CN111882509A (zh) | 一种基于生成对抗网络的医学图像数据生成与检测方法 | |
| CN111861924B (zh) | 一种基于进化gan的心脏磁共振图像数据增强方法 | |
| CN117173464A (zh) | 一种基于gan的非平衡医学图像分类方法、系统及电子设备 | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| Li et al. | Dictionary optimization and constraint neighbor embedding-based dictionary mapping for superdimension reconstruction of porous media | |
| Zhang et al. | Exposing unseen GAN-generated image using unsupervised domain adaptation | |
| Zhuang et al. | A handwritten Chinese character recognition based on convolutional neural network and median filtering | |
| Pradhyumna | A survey of modern deep learning based generative adversarial networks (gans) | |
| CN111860664A (zh) | 超声平面波复合成像方法、装置及存储介质 | |
| Shiri et al. | Convolutional fully-connected capsule network (CFC-CapsNet) | |
| Li et al. | Analysis–synthesis learning with shared features: Algorithms for histology image classification | |
| CN111371611A (zh) | 一种基于深度学习的加权网络社区发现方法及装置 | |
| CN114241564A (zh) | 一种基于类间差异强化网络的人脸表情识别方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |