CN117437514B - 一种基于CycleGan的阴道镜图像模态转换方法 - Google Patents
一种基于CycleGan的阴道镜图像模态转换方法 Download PDFInfo
- Publication number
- CN117437514B CN117437514B CN202311782626.8A CN202311782626A CN117437514B CN 117437514 B CN117437514 B CN 117437514B CN 202311782626 A CN202311782626 A CN 202311782626A CN 117437514 B CN117437514 B CN 117437514B
- Authority
- CN
- China
- Prior art keywords
- image
- colposcopic
- cyclegan
- generator
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 description 7
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CycleGan的阴道镜图像模态转换方法，该方法包括以下步骤：将阴道镜白光/荧光图像从含其他各种图像的混合数据集使用预训练的VGG网络筛选出来从而得到输入图像；将输入图像经过标准化、归一化，以消除数据中的噪声和离群值；分别定义CycleGan的生成器、鉴别器以及损失函数；将经过预处理的源图像数据输入循环生成对抗网络进行训练；通过训练好的网络得到与源图像位于同一坐标系下的目标域合成图像数据；本发明可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种基于CycleGan的阴道镜图像模态转换方法。
背景技术
在临床诊断中，单一模态的图像可能无法全面准确地反映病变的特征，通常需要不同模态的医学图像相互佐证进行判断，而不同模态的图像采集在时间序列不同，不能够直接用来临床诊断，一般需要经过配准或融合后图像才能帮助医生做出更准确的临床诊断。
目前，对于相关跨模态医学图像配准、融合等问题，由于不同模态的图像或数据在采集过程中时间序列不一致导致不同模态的数据同步困难，找到它们之间的特征对应关系也会更加困难，因此这需要更复杂的方法和技术来实现；不同模态的图像或数据需要不同的处理方法和算法，实现跨模态配准可能需要更复杂的计算和更高的计算资源，使得时间和成本增加。本发明通过CycleGan网络可以得到与源图像位于同一坐标系下的目标域合成图像数据，可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。
发明内容
本发明的目的在于提供一种基于CycleGan的阴道镜图像模态转换方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于CycleGan的阴道镜图像模态转换方法，该方法包括以下步骤：
（1） 使用预训练的VGG16网络从混合数据集筛选出阴道镜白光/荧光图像；
（2） 将输入的阴道镜白光/荧光图像经过标准化、归一化的数据处理操作，以消除数据中的噪声和离群值；
（3） 分别定义CycleGan的生成器、鉴别器以及损失函数；
（4） 将经过预处理的源图像数据输入构建的CycleGan进行训练；
其中，CycleGan训练细节为：CycleGan的损失函数有对抗损失、循环一致性损失；
对抗损失如公式（1）、公式（2）所示：
；
其中，G为第一生成器，F为第二生成器，表示鉴别Y空间样本的第二鉴别器，/>表示鉴别X空间样本的第一鉴别器，X表示阴道镜白光空间，Y表示阴道镜荧光空间，x表示第一生成器G从阴道镜白光空间X中取的样本，y表示阴道镜荧光空间Y中取的样本，/>是指在阴道镜荧光空间中取的样本，/>是指从阴道镜白光空间中取的样本，/>表示第一生成器G生成的Y空间图片，F(y)表示第二生成器F生成的X空间图片，/>表示第二鉴别器/>判断y是否是阴道镜荧光空间Y中取的样本的概率，/>表示第一鉴别器/>判断x是否是阴道镜白光空间X中取的样本的概率，而/>是第二鉴别器/>判断第一生成器G生成的图片是否是阴道镜荧光空间Y中取的样本的概率，/>是第一鉴别器/>判断第二生成器F生成的图片是否是阴道镜白光空间X中取的样本的概率；
循环一致性损失如公式（3）所示：
；
其中，F为第二生成器，是指从阴道镜白光空间中取的样本，/>表示第二生成器F将第一生成器G通过阴道镜白光图像x合成的阴道镜荧光图像/>重建的阴道镜白光图像，/>表示第一生成器G将第二生成器F通过阴道镜荧光图像y合成的阴道镜白光图像/>重建的阴道镜荧光图像；/>表示通过最小化L1范数重建图像与源图像的差异，从而强制第一生成器G和第二生成器F学习到相互逆的映射关系，并保持图像转换的一致性；
（5）通过训练好的网络得到与源图像位于同一坐标系下的目标域图像数据。
优选的，此外步骤（4）中的训练细节中引入了感知损失和辅助分类损失，感知损失函数通过获取第三卷积层到第五卷积层高维度和低维度特征之间的联系从而保留原始图像的结构信息；辅助分类损失确保生成的图像与目标域的语义一致，并提高模型的类别区分能力；其中引入感知损失和辅助分类损失通过额外的约束能够有效的提高模型的训练效率与合成图像的质量；
感知损失具体如公式（4）所示：
；
其中，表示使用预训练的VGG16网络获取阴道镜白光图像x的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取阴道镜荧光图像y的某一卷积层的特征图，
表示表示使用预训练的VGG16网络获取重建的阴道镜白光图像的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取重建的阴道镜荧光图像的某一卷积层的特征图，/>、/>、表示通过最小化L2范数的平方帮助生成器学习到更高层次的特征，从而生成更逼真和真实的图像，帮助生成器保持图像的细节和结构特征，避免生成的图像过于模糊或失真；
辅助分类损失具体如公式（5）所示：
；
其中，表示鉴别器/>判断y是否是Y空间中取的样本，/>代表y的标签，通过预测概率/>与真实标签/>进行比较，计算出预测与真实标签之间的差异，当/>=1时，表示样本属于正类，此时的计算公式为/>，当=0时，表示样本属于负类，此时的计算公式为/>；训练时能够强化鉴别器对真实样本的鉴别能力，在对抗训练学习的过程中促使生成器生成更加真实的图像；
CycleGan的总损失具体如公式（6）所示：
；
其中公式（6）中，λ，分别表示循环一致性损失权重和感知损失权重分别为15、0.2。
优选的，所述步骤（1）中数据集筛选具体过程为：从获得的原始混合各种图像的数据集，分别选取一张阴道镜白光图像、荧光图像作为模板，通过Pytorch调用预训练的VGG16网络提取图像的特征并计算与模板的风格损失来筛选图像，将筛选出的图像统一大小到1024*1024并保存。
优选的，步骤（2）中数据处理具体过程为：将读入的图像数据的尺寸调整为256×256的图像，经过平滑滤波，然后再将裁剪的图像进行归一化，使归一化后的图像在[-1，1]范围内，将预处理后的图像数据作为输入，在输入时，将图像放大1.3倍后中心裁剪为256×256以去除图像上的日期干扰。
优选的，步骤（3）中CycleGan的生成器主要包括编码器、转换器和解码器；编码器：输入层卷积核大小为7，后接二个卷积核大小为3步长为2的下采样层，将图像压缩成256个64×64的特征图；转换器：经过重新组合输入图像的特征图，将输入图像位于源域的特征转换为目标域中的特征向量，转换器采用的是9层Resnet结构，每个Resnet结构是由两个卷积层构成的神经网络层组成的，在图像转换时能够很好的保留原始图像的特征信息；解码器：解码器采用二个反卷积层，从特征向量中还原出特征，最后将这些特征转换得到一张图像，便可得到尺寸为[256，256，3]的图像。
优选的，步骤（3）中CycleGan的鉴别器在PatchGan网络的基础上添加了一个辅助分类器，PatchGan是一种基于卷积神经网络的判别模型，其网络结构完全由卷积层组成，没有全连接层；PatchGan将输入映射为一个N×N的矩阵，矩阵中的每个元素代表原图中每个矩阵块为真样本的概率，在减小计算量的同时能更好地捕捉图像的局部特征；辅助分类器是一个二分类输出的卷积层，能够提高鉴别器模型的类别区分能力。
优选的，所述步骤（4）中CycleGan训练细节中，改进网络训练参数：学习率设置为0.0002，一共训练100个epoch，50个epoch后学习率线性衰减至0；原网络训练参数：学习率设置为0.0002，一共训练300个epoch，100个epoch后学习率线性衰减至0。
优选的，步骤（5）中获取目标域图像为：将源图像经过相同的预处理方法输入训练好的网络得到与源图像位于同一坐标系下的目标域图像，然后将目标域图像经过逆归一化后保存。
本发明的有益效果：
本发明中CycleGan训练细节的对抗损失：训练对抗损失达到纳什平衡CycleGan可以实现无监督的图像转换，使得源域图像可以通过生成器转换为目标域图像，而不需要对图像进行配对的标注，这种对抗训练方式能够在没有配对数据的情况下学习到两个域之间的映射关系；循环一致性损失：使得第一生成器G和第二生成器F学习到相互逆的映射关系，并保持图像转换内容结构的一致性；感知损失：通过预训练的VGG16网络提取图像的高级特征，帮助生成器学习到更高层次的特征，从而生成更逼真和真实的图像，帮助生成器保持图像的细节和结构特征，避免生成的图像过于模糊或失真；辅助分类损失：训练时能够强化鉴别器对真实样本的鉴别能力，在对抗训练学习的过程中促使生成器生成更加真实的图像。
本发明通过CycleGan网络可以得到与源图像位于同一坐标系下的目标域合成图像数据，可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。
附图说明
图1是本发明的第一生成器和第二生成器共用的网络结构图；
图2是本发明的鉴别器网络结构图；
图3为实施例中方法流程示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-图3，一种基于CycleGan的阴道镜图像模态转换方法，包括如下步骤：
数据集筛选：从获得的原始混合各种图像的数据集，分别选取一张阴道镜白光图像、荧光图像作为模板，通过Pytorch调用预训练的VGG16网络提取图像的特征并计算与模板的风格损失来筛选图像，将筛选出的图像统一大小到1024*1024并保存。
数据预处理：将读入的图像数据的尺寸调整为256×256的图像，经过平滑滤波，然后再将裁剪的图像进行归一化，使归一化后的图像在[-1，1]范围内，将预处理后的图像数据作为输入，在输入时，采用随机读取的方式。
构建CycleGan网络：分别定义CycleGan中的生成器、鉴别器以及损失函数，CycleGan网络是一个端到端的模型；具体来说，CycleGan的生成器部分在训练阶段通过学习数据集的映射关系来生成含有特征信息的图像，网络结构如图1；CycleGan的生成器主要包括编码器、转换器和解码器，编码器：输入层卷积核大小为7，后接二个卷积核大小为3步长为2的下采样层，将图像压缩成256个64×64的特征向量；转换器：经过重新组合输入图像的特征向量，将输入图像位于源域的特征转换为目标域中的特征向量，转换器采用的是9层Resnet结构，每个Resnet结构是由两个卷积层构成的神经网络层组成的，在图像转换时能够很好的保留原始图像的特征信息；解码器：解码器采用二个反卷积层，从特征向量中还原出低级特征，最后将这些低级特征转换得到一张图像，便可得到尺寸为[256，256，3]的图像；鉴别器具体结构：鉴别器使用的PatchGan网络，PatchGan是一种基于卷积神经网络（CNN）的判别模型，其网络结构完全由卷积层组成，没有全连接层。它将输入映射为一个N×N的矩阵，矩阵中的每个元素代表原图中每个矩阵块为真样本的概率，在减小计算量的同时能更好地捕捉图像的局部特征。
训练构建的网络： CycleGan的损失函数有对抗损失和循环一致性损失；
其中，CycleGan训练细节为：CycleGan的损失函数有对抗损失、循环一致性损失；
对抗损失如公式（1）、公式（2）所示：
；
其中，G为第一生成器，F为第二生成器，表示鉴别Y空间样本的第二鉴别器，/>表示鉴别X空间样本的第一鉴别器，X表示阴道镜白光空间，Y表示阴道镜荧光空间，x表示第一生成器G从阴道镜白光空间X中取的样本，y表示阴道镜荧光空间Y中取的样本，/>是指在阴道镜荧光空间中取的样本，/>是指从阴道镜白光空间中取的样本，/>表示第一生成器G生成的Y空间图片，F(y)表示第二生成器F生成的X空间图片，/>表示第二鉴别器/>判断y是否是阴道镜荧光空间Y中取的样本的概率，/>表示第一鉴别器/>判断x是否是阴道镜白光空间X中取的样本的概率，而/>是第二鉴别器/>判断第一生成器G生成的图片是否是阴道镜荧光空间Y中取的样本的概率，/>是第一鉴别器/>判断第二生成器F生成的图片是否是阴道镜白光空间X中取的样本的概率；
循环一致性损失如公式（3）所示：
；
其中，F为第二生成器，是指从阴道镜白光空间中取的样本，/>表示第二生成器F将第一生成器G通过阴道镜白光图像x合成的阴道镜荧光图像/>重建的阴道镜白光图像，/>表示第一生成器G将第二生成器F通过阴道镜荧光图像y合成的阴道镜白光图像/>重建的阴道镜荧光图像；/>表示通过最小化L1范数重建图像与源图像的差异，从而强制第一生成器G和第二生成器F学习到相互逆的映射关系，并保持图像转换的一致性；
此外引入了感知损失和辅助分类损失，感知损失函数通过获取第三卷积层到第五卷积层高维度和低维度特征之间的联系从而保留原始图像的结构信息；辅助分类损失确保生成的图像与目标域的语义一致，并提高模型的类别区分能力；其中引入感知损失和辅助分类损失通过额外的约束能够有效的提高模型的训练效率与合成图像的质量；表现在较少的训练时间能达到较好的效果；
感知损失具体如公式（4）所示：
；
其中，表示使用预训练的VGG16网络获取阴道镜白光图像x的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取阴道镜荧光图像y的某一卷积层的特征图，
表示表示使用预训练的VGG16网络获取重建的阴道镜白光图像的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取重建的阴道镜荧光图像的某一卷积层的特征图，/>、/>、表示通过最小化L2范数的平方帮助生成器学习到更高层次的特征，从而生成更逼真和真实的图像，帮助生成器保持图像的细节和结构特征，避免生成的图像过于模糊或失真；
辅助分类损失具体如公式（5）所示：
；
其中，表示鉴别器/>判断y是否是Y空间中取的样本，/>代表y的标签，通过预测概率/>与真实标签/>进行比较，计算出预测与真实标签之间的差异，当/>=1时，表示样本属于正类，此时的计算公式为/>，当=0时，表示样本属于负类，此时的计算公式为/>；训练时能够强化鉴别器对真实样本的鉴别能力，在对抗训练学习的过程中促使生成器生成更加真实的图像；
CycleGan的总损失具体如公式（6）所示：
；
其中公式（6）中，λ，分别表示循环一致性损失权重和感知损失权重分别为15、0.2；
（5）通过训练好的网络得到与源图像位于同一坐标系下的目标域图像数据。
优选的，训练构建的网络中CycleGan训练细节为：改进网络训练参数：学习率设置为0.0002，一共训练100个epoch，50个epoch后学习率线性衰减至0；原网络训练参数：学习率设置为0.0002，一共训练300个epoch，100个epoch后学习率线性衰减至0。
获取目标域图像并保存：将不经过裁剪的1024*1024源图像经过相同的预处理方法输入训练好的网络得到与源图像位于同一坐标系下的目标域图像，然后将目标域图像经过逆归一化后保存。
本发明中CycleGan训练细节的对抗损失：训练对抗损失达到纳什平衡CycleGan可以实现无监督的图像转换，使得源域图像可以通过生成器转换为目标域图像，而不需要对图像进行配对的标注，这种对抗训练方式能够在没有配对数据的情况下学习到两个域之间的映射关系；循环一致性损失：使得第一生成器G和第二生成器F学习到相互逆的映射关系，并保持图像转换内容结构的一致性；感知损失：通过预训练的VGG16网络提取图像的高级特征，帮助生成器学习到更高层次的特征，从而生成更逼真和真实的图像，帮助生成器保持图像的细节和结构特征，避免生成的图像过于模糊或失真；辅助分类损失：训练时能够强化鉴别器对真实样本的鉴别能力，在对抗训练学习的过程中促使生成器生成更加真实的图像。
本发明通过CycleGan网络可以得到与源图像位于同一坐标系下的目标域合成图像数据，可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。
在不出现冲突的前提下，本领域技术人员可以将上述附加技术特征自由组合以及叠加使用。
以上所述仅为本发明的优先实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。
Claims (7)
1.一种基于CycleGan的阴道镜图像模态转换方法，其特征在于：该方法包括以下步骤：
(1)使用预训练的VGG16网络从混合数据集筛选出阴道镜白光/荧光图像；
(2)将输入的阴道镜白光/荧光图像经过标准化、归一化的数据处理操作，以消除数据中的噪声和离群值；
(3)分别定义CycleGan的生成器、鉴别器以及损失函数；
(4)将经过预处理的源图像数据输入构建的CycleGan进行训练；
其中，CycleGan训练细节为：CycleGan的损失函数有对抗损失、循环一致性损失；
对抗损失如公式(1)、公式(2)所示：
其中，G为第一生成器，F为第二生成器，Dy表示鉴别Y空间样本的第二鉴别器，Dx表示鉴别X空间样本的第一鉴别器，X表示阴道镜白光空间，Y表示阴道镜荧光空间，x表示第一生成器G从阴道镜白光空间X中取的样本，y表示阴道镜荧光空间Y中取的样本，是指在阴道镜荧光空间中取的样本，/>是指从阴道镜白光空间中取的样本，G(x)表示第一生成器G生成的Y空间图片，F(y)表示第二生成器F生成的X空间图片，Dy(y)表示第二鉴别器Dy判断y是否是阴道镜荧光空间Y中取的样本的概率，Dx(x)表示第一鉴别器Dx判断x是否是阴道镜白光空间X中取的样本的概率，而Dy(G(x))是第二鉴别器Dy判断第一生成器G生成的图片是否是阴道镜荧光空间Y中取的样本的概率，Dx(F(y))是第一鉴别器Dx判断第二生成器F生成的图片是否是阴道镜白光空间X中取的样本的概率；
循环一致性损失如公式(3)所示：
其中，F为第二生成器，是指从阴道镜白光空间中取的样本，F(G(x))表示第二生成器F将第一生成器G通过阴道镜白光图像x合成的阴道镜荧光图像G(x)重建的阴道镜白光图像，G(F(y))表示第一生成器G将第二生成器F通过阴道镜荧光图像y合成的阴道镜白光图像F(y)重建的阴道镜荧光图像；
(5)通过训练好的网络得到与源图像位于同一坐标系下的目标域图像数据，此外步骤(4)中的训练细节中引入了感知损失和辅助分类损失，感知损失函数通过获取第三卷积层到第五卷积层高维度和低维度特征之间的联系从而保留原始图像的结构信息；辅助分类损失确保生成的图像与目标域的语义一致，并提高模型的类别区分能力；其中引入感知损失和辅助分类损失通过额外的约束能够有效的提高模型的训练效率与合成图像的质量；
感知损失具体如公式(4)所示：
其中，表示使用预训练的VGG16网络获取阴道镜白光图像x的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取阴道镜荧光图像y的某一卷积层的特征图，表示使用预训练的VGG16网络获取重建的阴道镜白光图像的某一卷积层的特征图，/>表示使用预训练的VGG16网络获取重建的阴道镜荧光图像的某一卷积层的特征图；辅助分类损失具体如公式(5)所示：
ζcls(Dy，Y)＝-(labely*log(Dy(y)′)+(1-labely)*log(1-Dy(y)′)) (5)；
其中，Dy(y)′表示鉴别器Dy判断y是否是Y空间中取的样本，labely代表y的标签，ζcls(Dy，Y)通过预测概率Dy(y)′与真实标签labely进行比较，计算出预测与真实标签之间的差异，当labely＝1时，表示样本属于正类，此时的计算公式为-(labely*log(Dy(y)′))，当labely＝0时，表示样本属于负类，此时的计算公式为(1-labely)*log(1-Dy(y)′)；
CycleGan的总损失具体如公式(6)所示：
ζGAN(G，F，Dx，Dy)＝ζGAN(G，Dy，X，Y)+ζGAN(F，Dx，F，X)+λ*ζcycle(G，F)+α*ζper(G，F)+ζcls(Dy，Y) (6)；
其中公式(6)中，λ，α分别表示循环一致性损失权重和感知损失权重分别为15、0.2。
2.根据权利要求1所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：所述步骤(1)中数据集筛选具体过程为：从获得的原始混合各种图像的数据集，分别选取一张阴道镜白光图像、荧光图像作为模板，通过Pytorch调用预训练的VGG16网络提取图像的特征并计算与模板的风格损失来筛选图像，将筛选出的图像统一大小到1024＊1024并保存。
3.根据权利要求2所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：步骤(2)中数据处理具体过程为：将读入的图像数据的尺寸调整为256×256的图像，经过平滑滤波，然后再将裁剪的图像进行归一化，使归一化后的图像在[-1，1]范围内，将预处理后的图像数据作为输入，在输入时，将图像放大1.3倍后中心裁剪为256×256以去除图像上的日期干扰。
4.根据权利要求3所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：步骤(3)中CycleGan的生成器主要包括编码器、转换器和解码器；
编码器：输入层卷积核大小为7，后接二个卷积核大小为3步长为2的下采样层，将图像压缩成256个64×64的特征图；
转换器：经过重新组合输入图像的特征图，将输入图像位于源域的特征转换为目标域中的特征向量，转换器采用的是9层Resnet结构，每个Resnet结构是由两个卷积层构成的神经网络层组成的，在图像转换时能够保留原始图像的特征信息；
解码器：解码器采用二个反卷积层，从特征向量中还原出特征，最后将这些特征转换得到一张图像，便可得到尺寸为[256，256，3]的图像。
5.根据权利要求4所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：步骤(3)中CycleGan的鉴别器在PatchGan网络的基础上添加了一个辅助分类器，PatchGan是一种基于卷积神经网络的判别模型，其网络结构完全由卷积层组成，没有全连接层；PatchGan将输入映射为一个N×N的矩阵，矩阵中的每个元素代表原图中每个矩阵块为真样本的概率。
6.根据权利要求5所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：所述步骤(4)中CycleGan训练细节中，改进网络训练参数：学习率设置为0.0002，一共训练100个epoch，50个epoch后学习率线性衰减至0；原网络训练参数：学习率设置为0.0002，一共训练300个epoch，100个epoch后学习率线性衰减至0。
7.根据权利要求6所述基于CycleGan的阴道镜图像模态转换方法，其特征在于：步骤(5)中获取目标域图像为：将源图像经过相同的预处理方法输入训练好的网络得到与源图像位于同一坐标系下的目标域图像，然后将目标域图像经过逆归一化后保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311782626.8A CN117437514B (zh) | 2023-12-22 | 2023-12-22 | 一种基于CycleGan的阴道镜图像模态转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311782626.8A CN117437514B (zh) | 2023-12-22 | 2023-12-22 | 一种基于CycleGan的阴道镜图像模态转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437514A CN117437514A (zh) | 2024-01-23 |
| CN117437514B true CN117437514B (zh) | 2024-04-05 |
Family
ID=89555767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311782626.8A Active CN117437514B (zh) | 2023-12-22 | 2023-12-22 | 一种基于CycleGan的阴道镜图像模态转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437514B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109977955A (zh) * | 2019-04-03 | 2019-07-05 | 南昌航空大学 | 一种基于深度学习的宫颈癌前病变识别的方法 |
| CN110600047A (zh) * | 2019-09-17 | 2019-12-20 | 南京邮电大学 | 基于Perceptual STARGAN的多对多说话人转换方法 |
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| CN115546198A (zh) * | 2022-11-08 | 2022-12-30 | 长春理工大学 | 一种基于循环生成对抗网络的近红外图像彩色化方法 |
| CN115587924A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 |
| CN115731178A (zh) * | 2022-11-21 | 2023-03-03 | 华东师范大学 | 一种跨模态的无监督域自适应医学图像分割方法 |
| CN116630463A (zh) * | 2023-07-21 | 2023-08-22 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多任务学习的增强ct图像生成方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220414838A1 (en) * | 2021-06-25 | 2022-12-29 | Nanjing University Of Posts And Telecommunications | Image dehazing method and system based on cyclegan |
-
2023
- 2023-12-22 CN CN202311782626.8A patent/CN117437514B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109977955A (zh) * | 2019-04-03 | 2019-07-05 | 南昌航空大学 | 一种基于深度学习的宫颈癌前病变识别的方法 |
| CN110600047A (zh) * | 2019-09-17 | 2019-12-20 | 南京邮电大学 | 基于Perceptual STARGAN的多对多说话人转换方法 |
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| CN115587924A (zh) * | 2022-10-08 | 2023-01-10 | 华东师范大学 | 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 |
| CN115546198A (zh) * | 2022-11-08 | 2022-12-30 | 长春理工大学 | 一种基于循环生成对抗网络的近红外图像彩色化方法 |
| CN115731178A (zh) * | 2022-11-21 | 2023-03-03 | 华东师范大学 | 一种跨模态的无监督域自适应医学图像分割方法 |
| CN116630463A (zh) * | 2023-07-21 | 2023-08-22 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多任务学习的增强ct图像生成方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| Diagnosis of cervical precancerous lesions based on multimodal feature changes;Jun Liu etal.;Computers in Biology and Medicine;20210105;1-8 * |
| Unpaired Low-Dose CT Denoising Network Based on Cycle-Consistent Generative Adversarial Network with Prior Image Information;Chao Tang etal.;Research Article;20191207;1-12 * |
| 基于神经网络的图像风格迁移研究进展;廉露等;计算机工程与应用;20231218;1-19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437514A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537784B (zh) | 一种基于深度学习的ct图肺结节检测方法 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN111524106B (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| JP2021529051A (ja) | ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN112233017B (zh) | 一种基于生成对抗网络的病态人脸数据增强方法 | |
| CN112150564B (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| CN113902702A (zh) | 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
| CN117726872A (zh) | 基于多视图多任务特征学习的肺部ct图像分类方法 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN117523350A (zh) | 基于多模态特征的口腔影像识别方法、系统及电子设备 | |
| CN112927171A (zh) | 一种基于生成对抗网络的单幅图像去模糊方法 | |
| CN117253034A (zh) | 一种基于差异化上下文的图像语义分割方法及系统 | |
| CN117437514B (zh) | 一种基于CycleGan的阴道镜图像模态转换方法 | |
| CN117217997A (zh) | 一种基于上下文感知边缘增强的遥感图像超分辨率方法 | |
| Xiao et al. | A feature extraction method for lung nodules based on a multichannel principal component analysis network (PCANet) | |
| CN114463320B (zh) | 一种磁共振成像脑胶质瘤idh基因预测方法及系统 | |
| CN117079313A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Lan et al. | Unpaired stain style transfer using invertible neural networks based on channel attention and long-range residual | |
| CN114519678A (zh) | 一种扫描透射图像恢复方法、装置及存储介质 | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |