CN113012086B - 一种跨模态图像的合成方法 - Google Patents
一种跨模态图像的合成方法 Download PDFInfo
- Publication number
- CN113012086B CN113012086B CN202110301849.2A CN202110301849A CN113012086B CN 113012086 B CN113012086 B CN 113012086B CN 202110301849 A CN202110301849 A CN 202110301849A CN 113012086 B CN113012086 B CN 113012086B
- Authority
- CN
- China
- Prior art keywords
- image data
- data
- modal
- net
- gan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004445 quantitative analysis Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种跨模态图像的合成方法，包括：S1：接收不同模态的数据集，对各数据集中的图像数据进行预处理；S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U‑Net网络中形成Du‑Net生成器；S3：将训练集中的第一模态图像数据、第二模态图像数据输入到Du‑Net生成器中，得到第二合成模态图像数据；S4：将第二合成模态图像数据和第二模态图像数据输入到GAN判别器，生成跨模态图像合成模型；S5：将第一模态图像数据、第二模态图像数据输入到跨模态图像合成模型中，输出第二合成模态图像数据。本发明通过以GAN结构改进的Du‑Net生成器，有效提升伪模态图像的可信度，尤其是减小了伪模态图像与真实模态图像之间的平均绝对误差。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种跨模态图像的合成方法。
背景技术
医学影像的发展一直致力于为医护人员提供精准和全面的诊断信息。病患身体因疾病导致的形态或功能异常表现在各个方面，本申请发明人发现，目前的单一模态成像设备获取的信息往往无法全面反映疾病的复杂特征，因此多模态融合及综合辅助诊断已成为医学成像技术发展的重要趋势。
不同模态图像有其各自的优缺点和适用范围，临床诊断中常用的医学模态包括但不局限于计算机断层扫描、磁共振成像、正电子发射型计算机断层扫描以及包括超声成像在内的各类声学、光学成像模态。
本申请发明人发现，若是将已有的医学图像通过跨模态合成，得到不同模态图像，从而实现多模态融合及综合辅助诊断，将帮助医护人员更好地获得多模态图像信息从而提高诊断效果和效率。
发明内容
本申请实施例通过提供一种跨模态图像的合成方法，解决了现有技术中单个医学影像诊断效果以及效率低下的问题，通过合成不同模态的医学影像来提高医护人员的诊断效果和效率。
本申请实施例提供了一种跨模态图像的合成方法，包括步骤：
S1：接收不同模态的数据集，对各所述数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集；
S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器；
S3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据；
S4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述 GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型；
S5：将所述测试集中的所述第一模态图像数据、第二模态图像数据输入到所述跨模态图像合成模型中，直接输出与所述第二模态图像数据一致的第二合成模态图像数据。
进一步地，所述步骤S1中，对各所述数据集中的若干图像数据进行预处理的方法包括：
S11：对数据集中的若干图像数据进行归一化处理；
S12：利用OpenCV对图像数据进行识别生成Mask图，通过图像数据与Mask 图进行与运算，裁剪去除图像数据中像素值为0的边框；
S13：利用N3偏置场校正算法对各模态图像数据进行强度均匀校正。
进一步地，所述步骤S2中的Du-Net生成器包括Du-Net编码器、Du-Net 解码器，所述第一模态图像数据依次经过所述Du-Net编码器和所述Du-Net解码器后，实现特征数据的提取，后通过相应层级的特征数据的维度相加，实现所述第二合成模态图像数据的融合。
进一步地，所述Du-Net编码器包括5个下采样层，各所述下采样层包含两个3*3的第一卷积层，各所述第一卷积层中包含一个空洞卷积，通过所述空洞卷积实现线性修正单元组成的激活函数ReLU和批量归一化处理的运算，提取所述第一模态图像数据的第一特征数据。
进一步地，所述Du-Net解码器包括5个上采样层，各所述上采样层包含两个3*3卷积运算层和LeakyReLU激活函数，通过反卷积运算处理，提取所述第一模态图像数据的第二特征数据。
进一步地，将所述第一特征数据和所述第二特征数据按照采样层级配对方法进行维度相加，实现所述第二合成模态图像数据的融合。
进一步地，所述步骤S3中的GAN判别器包括5个第三卷积层；
通过所述第三卷积层接收第二合成模态图像数据和第二模态图像数据后，先批量归一化处理，然后利用判别损失函数对所述第二合成模态图像数据进行分类，当与第二模态图像数据一致时，输出第二合成模态图像数据，否则返回GAN生成器重新合成后，再进行判别。
进一步地，所述步骤S2中，所述GAN神经网络利用随机梯度下降算法SGD 和学习率衰减优化梯度下降过程训练GAN神经网络。
进一步地，所述步骤S4中，迭代训练所述GAN神经网络时，以上次迭代保存的模型权重作为参考依据，训练并验证当前模型权重，以便生成适配的所述跨模态图像合成模型。
进一步地，所述步骤S5之后还包括，利用轴向、冠状和矢状面视图的差分图，对第二合成模态图像数据与第二模态图像数据进行比较分析，再利用平均绝对损失和峰值信噪比，实现第二合成模态图像数据与第二模态图像数据的定量分析。
本申请实施例中提供的跨模态图像的合成方法，至少具有如下技术效果：
本发明通过以GAN结构改进的Du-Net生成器，有效提升伪模态图像的可信度，尤其是减小了伪模态图像与真实模态图像之间的平均绝对误差。
附图说明
图1为本申请实施例跨模态图像的合成方法的流程图；
图2为本申请实施例整体GAN结构的网络图；
图3为本申请实施例Du-Net生成器的的合成方法模型图；
图4为本申请实施例GAN结构中的卷积神经网络判别器模型图；
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参考附图1-4所示，本申请实施例提供了一种跨模态图像的合成方法，该方法包括如下步骤。
步骤S1：接收不同模态的数据集，对各数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集。
在本步骤中，各数据集由同一模态的图像数据组成，以临床常用医学影像为例，模态数据集可以但不局限于A超数据集、B超数据集、M超数据集、X 线数据集、CT成像数据集、MRI成像数据集、核素放射成像数据集。医护人员根据需求选取至少两种模态数据集。各模态数据集由若干同一模态的医学图像数据组成。
在步骤S1中，还包括对获取的至少两种模态数据集中的图像数据分别进行预处理。常见的图像预处理过程有：数字化、几何变换、归一化、平滑、复原和增强等步骤，通过该一系列操作步骤，对后续输入的图像进行特征抽取、分割和匹配前所进行的处理，以消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
本实施例中的步骤S1中，对各数据集中的若干图像数据进行预处理的方法包括步骤S11-S13。
步骤S11：对数据集中的若干图像数据进行归一化处理。
图像的归一化处理使图像的某些特征在给定变换下具有不变性质的一种图像标准形式。图像的某些性质，例如物体的面积和周长，本来对于坐标旋转来说就具有不变的性质。在一般情况下，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，从而可以被选作测量图像的依据。例如对于光照不可控的遥感图片，灰度直方图的归一化对于图像分析是十分必要的。灰度归一化、几何归一化和变换归一化是获取图像不变性质的三种归一化方法。因此可以理解为，图像归一化处理利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，进而通过一系列变换将待处理的原始图像数据转换成相应的唯一标准形式，该标准形式的图像数据可以理解为对平移、旋转、缩放等仿射变换具有不变特性。
步骤S12：利用OpenCV对图像数据进行识别生成Mask图，通过图像数据与Mask图进行与运算，裁剪去除图像数据中像素值为0的边框。
本步骤中基于步骤S11中已进行归一化处理的图像数据，各图像数据中在后续进一步处理运算时，为提高运算效率，减少不必要的运算过程，本实施例中采用Mask(掩膜)技术对没有像素值的边框进行裁剪。
步骤S13：利用N3偏置场校正算法对各模态图像数据进行强度均匀校正。进一步说明，比如，若其中一种模态数据集中的图像数据的强度不均匀，那么需要对该强度不均匀的图像数据利用N3偏置场校正算法进行校正。
诸如MRI扫描仪，扫描仪本身以及许多未知问题等因素可导致输出的MR 图像出现亮度差异。换句话说，强度值(从黑色到白色)可以在同一组织内变化，这被称为偏置场。这是一种低频平滑的不良信号，会破坏MR图像。偏置场导致MRI机器的磁场中的不均匀性。如果未校正偏置字段将导致所有成像处理算法(例如，分段(例如，Freesurfer)和分类)输出不正确的结果。因此需要在预处理步骤中来校正偏置场的影响，以减少后续处理时的数据误差，提高医学诊断的准确性。
图像校正步骤，针对由于灰度不均衡而产生的伪影，采用N3 Correction 算法对图像进行校正，即通过一个预设的概率模型对图像的偏移场进行估测，根据预测得到的偏移场对图像的伪影进行修正。当然，在一些预处理操作中，还可以进行图像降噪处理，采用Non-local mean denoising算法对图像降噪处理，Non-local mean denoising算法将原始图像中每一像素的灰度值替换为以该像素为中心的一定区域内所有像素灰度的加权平均值，以此实现对图像噪声的抑制，所选区域内各像素的权重由该像素与中心像素间的相似程度决定，相似度越高，权重越大。
步骤S2:基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器。
GAN神经网络又被称为对抗神经网络，包括生成器Generator Network、判别器Discriminator Network，GAN的核心逻辑就是生成器和判别器相互对抗、相互博弈。生成器Generator Network的任务是生成看起来自然真实和原始数据相似的实例。判别器Discriminator Network的任务是判断给定的实例看起来是自然真实的还是人为伪造的。进一步地，在步骤S1中输出至少两种模态的训练集，各训练集内包含若干图像数据，比如，CT成像训练集中的若干 CT图，MRI成像训练集中的若干MR图。本实施例中将CT图处理为与MR图相似的图像。生成器Generator Network试图欺骗判别器Discriminator Network，判别器则努力不被生成器欺骗。模型经过交替优化训练，两种模型都能得到提升，最终得到效果提升到很高很好的生成模型，理论上，这生成模型所生成的产品能达到真假难分的地步。在训练过程中，生成网络G的目标是生成尽可能多的真实图像来欺骗网络D，而D的目标是试图将G生成的假图像与真实图像区分开来。这样，G和D构成一个动态的“博弈过程”，最终的均衡点为纳什均衡点。
通常GAN神经网络通过一些运算达到生成或判别效果，比如，激活函数：使用tanhbegin将输入规范化为(-1,1)，最后一级激活函数(异常)；Loss 函数：使用wassertein GAN的loss函数；数据集标签：如果有标签数据，尝试使用标签。可以使用倒装标签，并使用标签平滑，单侧标签平滑或双侧标签平滑；批处理：使用小型批处理范数，也可以使用实例范数或权重范数；激活函数：避免使用RELU和池化层来降低稀疏梯度的可能性，可以使用leakrelu；优化器：尽可能选择Adam，学习速率尽可能小；正则化：在D的网络层中加入高斯噪声相当于一种正则化。本实施例区别于现有的GAN神经网络，以现有GAN 神经网络的核心逻辑作为处理框架。
进一步地，本实施例创新设计Du-Net网络，Du-Net网络的结构可以理解为将空洞卷积(dilated convolution)嵌入到U-Net网络中，得到的Du-NET网络为GAN生成器原始下采样的卷积操作换成空洞卷积。
步骤S3：S3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据。
进一步地，本步骤中的Du-Net生成器包括Du-Net编码器、Du-Net解码器，第一模态图像数据依次经过Du-Net编码器和Du-Net解码器后，实现特征数据的提取，后通过相应层级的特征数据的维度相加，实现第二合成模态图像数据的融合。
进一步地，Du-Net编码器包括5个下采样层，各下采样层包含两个3*3 的第一卷积层，各第一卷积层中包含一个空洞卷积，通过空洞卷积实现线性修正单元组成的激活函数ReLU和批量归一化处理的运算，提取第一模态图像数据的第一特征数据。
本实施例中采用的ReLU为修正线性单元(Rectified linear unit)，是神经网络中最常用的激活函数。其保留了step函数的生物学启发(只有输入超出阈值时神经元才激活)，不过当输入为正的时候，导数不为零，从而允许基于梯度的学习。使用ReLU函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。
批量归一化处理中的归一化就是将数据的输入值减去其均值然后除以数据的标准差，在训练学习过程中可以理解为逐层特征提取的过程，每一层的输出其实都可以理解为经过特征提取后的数据。因此批量归一化方法的“归一化”所做的其实就是在网络的每一层都进行数据归一化处理，但每一层对所有数据都进行归一化处理的计算开销太大，因此就使用最小批量梯度下降一样，批量归一化中的“批量”其实是采样一小批数据，然后对该批数据在网络各层的输出进行归一化处理。
本实施例中的Du-Net解码器包括5个上采样层，各上采样层包含两个3*3 卷积运算层和LeakyReLU激活函数，通过反卷积运算处理，提取第一模态图像数据的第二特征数据。
本实施例中所使用的LeakyReLU激活函数解决了神经元“死亡”问题， LeakyReLU激活函数与ReLU激活函数很相似，仅在输入小于0的部分有差别， ReLU输入小于0的部分值都为0，而LeakyReLU输入小于0的部分，值为负，且有微小的梯度。使用LeakyReLU的好处就是：在反向传播过程中，对于 LeakyReLU激活函数输入小于零的部分，也可以计算得到梯度(而不是像ReLU 一样值为0)，这样就避免了上述梯度方向锯齿问题。
本步骤中，将第一特征数据和第二特征数据按照采样层级配对方法进行维度相加，实现第二合成模态图像数据的融合。进一步地，本实施例中采用多层特征融合，即为Du-Net编码器中的一个下采样层提取的特征数据与Du-Net解码器中的一个上采样层中提取的特征数据进行融合，从而通过维度相加实现第二合成模态图像数据的融合。
步骤S2中，GAN神经网络利用随机梯度下降算法SGD和学习率衰减优化梯度下降过程训练GAN神经网络。
在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。而在求解机器学习参数的优化算法中，使用较多的就是基于梯度下降的优化算法(Gradient Descent,GD)。随机梯度下降(SGD)为梯度下降算法中的一种，是一种简单但非常有效的方法，多用用于支持向量机、逻辑回归等凸损失函数下的线性分类器的学习。SGD既可以用于分类计算，也可以用于回归计算。
模型训练学习中，以监督式学习通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数(cost来估计模型的参数。学习率(learningrate)，在迭代过程中会控制模型的学习进度。在梯度下降法中，给定统一的学习率，整个优化过程中都以确定的步长进行更新，在迭代优化的前期中，学习率较大，则前进的步长就会较长，便能以较快的速度进行梯度下降，而在迭代优化的后期，逐步减小学习率的值，减小步长，这样将有助于算法的收敛，更容易接近最优解。在模型优化中，常用到的几种学习率衰减方法有：分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减。
步骤S4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型。
进一步地，本实施例中的GAN判别器包括5个第三卷积层。进一步地，5 个卷积层分别适配于Du-Net编码器的5个下采样层和Du-Net解码器的5个上采样层。本实施例中通过第三卷积层接收第二合成模态图像数据和第二模态图像数据后，先批量归一化处理，然后利用判别损失函数 对第二合成模态图像数据进行分类，当与第二模态图像数据一致时，输出第二合成模态图像数据，否则返回GAN生成器重新合成后，再进行判别。
在步骤S4中，迭代训练GAN神经网络时，以上次迭代保存的模型权重作为参考依据，训练并验证当前模型权重，以便生成适配的跨模态图像合成模型。
步骤S5：将测试集中的第一模态图像数据、第二模态图像数据输入到跨模态图像合成模型中，直接输出与第二模态图像数据一致的第二合成模态图像数据。
本实施例中的步骤S5之后，还包括利用轴向、冠状和矢状面视图的差分图，对第二合成模态图像数据与第二模态图像数据进行比较分析，再利用平均绝对损失和峰值信噪比，实现第二合成模态图像数据与第二模态图像数据的定量分析。
进一步地，在实际医学影像应用中，通过构建端到端的GAN神经网络，在不断学习训练后，能够完成MR图像合成CT图像的生成。进一步地，首先对MR 图像和CT图像的数据集进行预处理；完成模型的基本结构搭建，利用空洞卷积和U-Net结合构建DU-Net生成器，合成伪CT图像，再构建卷积神经网络判别器对真实CT图像和伪CT图像进行判别；其中，将预处理后的数据包括训练集和测试集，通过训练集训练模型，通过测试集测试生成的跨模态图像合成模型。
将真实的MR图像和真实CT图像输入到改进的GAN生成器中合成CT图像，合成CT图像和真实MR图像一并输入到卷积神经网络的判别器中进行分类，判断出是真实的还是合成的。其中，合成的CT图像和真实的CT图像同时输入到卷积神经网络的判别器中，由于该判别器有5个卷积层，且每个卷积层后面有批量归一化和ReLU作为激活函数，对输入进来的数据进行分类，分出是真实的还是合成的。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种跨模态图像的合成方法，其特征在于，包括步骤：
S1：接收不同模态的数据集，对各所述数据集中的图像数据进行预处理，分别输出第一模态图像数据、第二模态图像数据的训练集和测试集；
S2：基于GAN神经网络中的GAN生成器和GAN判别器，将空洞卷积网络嵌入到U-Net网络中形成Du-Net生成器；
S3：将所述训练集中的所述第一模态图像数据、所述第二模态图像数据输入到Du-Net生成器中，提取并融合所述第一模态图像数据在GAN结构上下采样层中的特征数据，得到第二合成模态图像数据，所述Du-Net生成器包括Du-Net编码器、Du-Net解码器，所述第一模态图像数据依次经过所述Du-Net编码器和所述Du-Net解码器后，实现特征数据的提取；所述Du-Net编码器包括5个下采样层，各所述下采样层包含两个3*3的第一卷积层，各所述第一卷积层中包含一个空洞卷积，通过所述空洞卷积实现线性修正单元组成的激活函数ReLU和批量归一化处理的运算，提取所述第一模态图像数据的第一特征数据；所述Du-Net解码器包括5个上采样层，各所述上采样层包含两个3*3卷积运算层和LeakyReLU激活函数，通过反卷积运算处理，提取所述第一模态图像数据的第二特征数据；所述第一特征数据和所述第二特征数据按照采样层级配对方法进行维度相加，实现所述第二合成模态图像数据的融合；所述GAN判别器包括5个第三卷积层；通过所述第三卷积层接收第二合成模态图像数据和第二模态图像数据后，先批量归一化处理，然后利用判别损失函数 对所述第二合成模态图像数据进行分类，当与第二模态图像数据一致时，输出第二合成模态图像数据，否则返回GAN生成器重新合成后，再进行判别；
S4：将所述第二合成模态图像数据和所述第二模态图像数据输入到所述GAN判别器，经过多次判别迭代训练，生成跨模态图像合成模型；
S5：将所述测试集中的所述第一模态图像数据、第二模态图像数据输入到所述跨模态图像合成模型中，直接输出与所述第二模态图像数据一致的第二合成模态图像数据。
2.如权利要求1所述的跨模态图像的合成方法，其特征在于，所述步骤S1中，对各所述数据集中的若干图像数据进行预处理的方法包括：
S11：对数据集中的若干图像数据进行归一化处理；
S12：利用OpenCV对图像数据进行识别生成Mask图，通过图像数据与Mask图进行与运算，裁剪去除图像数据中像素值为0的边框；
S13：利用N3偏置场校正算法对各模态图像数据进行强度均匀校正。
3.如权利要求1所述的跨模态图像的合成方法，其特征在于，所述步骤S2中，所述GAN神经网络利用随机梯度下降算法SGD和学习率衰减优化梯度下降过程训练GAN神经网络。
4.如权利要求3所述的跨模态图像的合成方法，其特征在于，所述步骤S4中，迭代训练所述GAN神经网络时，以上次迭代保存的模型权重作为参考依据，训练并验证当前模型权重，以便生成适配的所述跨模态图像合成模型。
5.如权利要求1所述的跨模态图像的合成方法，其特征在于，所述步骤S5之后还包括，利用轴向、冠状和矢状面视图的差分图，对第二合成模态图像数据与第二模态图像数据进行比较分析，再利用平均绝对损失和峰值信噪比，实现第二合成模态图像数据与第二模态图像数据的定量分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301849.2A CN113012086B (zh) | 2021-03-22 | 2021-03-22 | 一种跨模态图像的合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301849.2A CN113012086B (zh) | 2021-03-22 | 2021-03-22 | 一种跨模态图像的合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012086A CN113012086A (zh) | 2021-06-22 |
| CN113012086B true CN113012086B (zh) | 2024-04-16 |
Family
ID=76404163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110301849.2A Active CN113012086B (zh) | 2021-03-22 | 2021-03-22 | 一种跨模态图像的合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012086B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| CN116152235A (zh) * | 2023-04-18 | 2023-05-23 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像跨模态合成方法 |
| CN116824150A (zh) * | 2023-04-24 | 2023-09-29 | 苏州梅曼智能科技有限公司 | 一种基于生成对抗模型的工业图像特征的提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110827232A (zh) * | 2019-11-14 | 2020-02-21 | 四川大学 | 基于形态特征gan的跨模态mri合成方法 |
| CN110866888A (zh) * | 2019-11-14 | 2020-03-06 | 四川大学 | 基于潜在信息表征gan的多模态mri合成方法 |
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
-
2021
- 2021-03-22 CN CN202110301849.2A patent/CN113012086B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110827232A (zh) * | 2019-11-14 | 2020-02-21 | 四川大学 | 基于形态特征gan的跨模态mri合成方法 |
| CN110866888A (zh) * | 2019-11-14 | 2020-03-06 | 四川大学 | 基于潜在信息表征gan的多模态mri合成方法 |
| CN111862174A (zh) * | 2020-07-08 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
Non-Patent Citations (1)
| Title |
|---|
| 刘尚争 ; 刘斌 ; .生成对抗网络图像类别标签跨模态识别系统设计.现代电子技术.2020,(第08期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012086A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012086B (zh) | 一种跨模态图像的合成方法 | |
| CN107767378B (zh) | 基于深度神经网络的gbm多模态磁共振图像分割方法 | |
| Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
| CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
| Budai et al. | Robust vessel segmentation in fundus images | |
| CN107644420B (zh) | 基于中心线提取的血管图像分割方法、核磁共振成像系统 | |
| US9480439B2 (en) | Segmentation and fracture detection in CT images | |
| CN108985345B (zh) | 一种基于肺部医学图像融合分类的检测装置 | |
| CN113826143A (zh) | 特征点检测 | |
| Tan et al. | DeepBranch: Deep neural networks for branch point detection in biomedical images | |
| Naresh et al. | Early detection of lung cancer using neural network techniques | |
| Tavakoli et al. | Automated microaneurysms detection in retinal images using radon transform and supervised learning: application to mass screening of diabetic retinopathy | |
| Caseneuve et al. | Chest X-ray image preprocessing for disease classification | |
| Archa et al. | Segmentation of brain tumor in MRI images using CNN with edge detection | |
| Gao et al. | An effective retinal blood vessel segmentation by using automatic random walks based on centerline extraction | |
| Javidi et al. | Retinal image assessment using bi-level adaptive morphological component analysis | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| Katiyar et al. | A Comparative study of Lung Cancer Detection and Classification approaches in CT images | |
| Kwon et al. | PGGAN-based anomaly classification on chest x-ray using weighted multi-scale similarity | |
| Peng et al. | Blood vessels segmentation by using cdnet | |
| CN116840931A (zh) | 一种基于高光谱成像技术的输液软袋灯检方法 | |
| Gunjan et al. | An effective user interface image processing model for classification of Brain MRI to provide prolific healthcare | |
| Gupta et al. | Detection and Staging of Lung Cancer from CT scan Images by Deep Learning | |
| Jiang et al. | A fully-convolutional framework for semantic segmentation | |
| CN117649400B (zh) | 一种异常检测框架下的影像组学分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |