CN110580695A - 一种多模态三维医学影像融合方法、系统及电子设备 - Google Patents

一种多模态三维医学影像融合方法、系统及电子设备 Download PDF

Info

Publication number
CN110580695A
CN110580695A CN201910727072.9A CN201910727072A CN110580695A CN 110580695 A CN110580695 A CN 110580695A CN 201910727072 A CN201910727072 A CN 201910727072A CN 110580695 A CN110580695 A CN 110580695A
Authority
CN
China
Prior art keywords
image
generator
classifier
mri
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910727072.9A
Other languages
English (en)
Other versions
CN110580695B (zh
Inventor
王书强
王鸿飞
陈卓
余雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201910727072.9A priority Critical patent/CN110580695B/zh
Priority to PCT/CN2019/125430 priority patent/WO2021022752A1/zh
Publication of CN110580695A publication Critical patent/CN110580695A/zh
Application granted granted Critical
Publication of CN110580695B publication Critical patent/CN110580695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本申请涉及一种多模态三维医学影像融合方法、系统及电子设备。包括：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练；将待检测者的MRI影像输入训练好的多任务生成对抗网络，生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。本申请解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。

Description

一种多模态三维医学影像融合方法、系统及电子设备
技术领域
本申请属于医学影像处理技术领域，特别涉及一种多模态三维医学影像融合方法、系统及电子设备。
背景技术
与MRI(Magnetic Resonance Imaging，磁共振成像)、CT(Computed Tomography，电子计算机断层扫描)等影像不同，PET(Positron Emission Computed Tomography，正电子发射型计算机断层显像)是一种对人体代谢过程进行体内观察的功能性成像技术，已逐渐广泛用于临床诊断和早期干预。具体而言，PET系统可以检测从放射性示踪剂间接发射的伽马射线，首先将示踪剂通过生物活性分子注入人体，然后利用计算机分析技术构建人体内示踪剂浓度的三维PET影像。PET的采集过程对人体健康造成不可避免的潜在威胁，调查显示，一次脑部PET扫描可以使患癌风险增加0.04％。虽然这个数字很小，但是在治疗过程中的反复扫描可以使患癌风险成倍增加。由于结构性影像MRI和功能性影像PET具有互补性，因此融合两种模态的影像数据可以获取更多用于分类诊断的关键特征，多模态融合的方法是当前提升辅助诊断模型性能的有效方法之一。但由于PET数据采集昂贵，样本量不够充足，很难获取足够的数据量训练模型。
生成式对抗网络最早由LanGoodfellow等人于2014年提出，继而引领了GAN改进和应用研究的热潮。2016年，Salimans等人对GAN训练和应用过程中出现的问题进行了理论分析和解释，并给出了经验性的解决方案(Improved-GAN)。Odena等人对GAN网络进行改进并应用于半监督学习中，利用无标签的数据和对抗训练策略提升分类器性能。当GAN用于图像生成时，通常面临生成图像语义难以控制和无法保证图像多样性的问题。为此，Mehdi等人设计了基于条件控制的生成式对抗网络(conditional-GAN，cGAN)，可以将数据标签或多模态属性作为条件变量，用于指导图像的生成。伯克利AI实验室学者Phillip等人在cGAN的基础上，将图像的不同风格作为约束条件，通过对抗训练策略优化生成器网络实现了由图像到图像的风格迁移。但是，基于cGAN的图像风格迁移网络受到任务要求的限制，输入图像和输出图像必须是成对的且内容一致。Zhu等人将两个cGAN组合设计了循环式生成对抗网络CycleGAN，并增加了损失函数的惩罚相，提升了图像风格迁移的效果且不再受内容一致性的限制。
Wang等人借鉴cGAN的基本框架并采用U-Net结构作为生成器网络，实现了由低计量造影剂采集的PET生成高质量PET影像。并提出了一种递进式的生成网络架构，逐级提高合成影像的质量，这项研究对于降低PET成像成本和对人体的潜在辐射威胁具有重要意义。Nie等人融合cGAN网络和FCN实现了脑部MRI到CT影像的合成。针对腹腔部位医学影像空间复杂度高、合成误差大等问题，Hiasa等人设计了基于CycleGAN的跨模态影像合成方法，实现了由MRI到CT的迁移，降低了合成影像与真实影像之间的误差。最近，Pan等人设计了基于3D-CycleGAN的MRI-PET合成模型，实现了由MRI到PET的精准合成。并利用合成的PET和MRI进行特征融合用于AD(Alzheimer，阿尔兹海默症)和MCI(mild cognition impairment，轻度认知功能损害)诊断。
然而，现有的生成对抗模型通常由分类网络和判别网络组成，在处理分类问题时判别网络同时兼顾样本真伪判别和模式分类的任务。这样会造成样本生成和模式分类收敛点的冲突问题，换言之，传统的生成模型无法用于处理多任务问题。同时，现有的基于条件生成对抗网络的跨模态影像合成方法是以给定模态的影像作为条件约束信息，而没有考虑样本的标签信息。另外，现有的跨模态影像合成和分类诊断研究是对两个任务设计独立的模型并分别训练，没有考虑二者在优化过程中的关联性。
发明内容
本申请提供了一种多模态三维医学影像融合方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种多模态三维医学影像融合方法，包括以下步骤：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述对多任务生成对抗网络进行训练具体包括：
步骤b1：构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E(x,y,z)～p(x,y,z)[logD(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本； 表示判别器识别出有分类器输出数据空间中的伪样本对；表示判别器将自生成器的伪样本标签对识别出来，其中G(x,z)表示生成器产生的数据分布；
步骤b2：对分类器引入监督学习下的交叉熵损失Kc＝E(x,y,z)～p(x,y,z)[-logpc(x,y,z)]，将分类器的样本分布pc(x,y,z)的收敛点限定在p(x,y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
步骤b3：引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A,B)＝G(A,B)·I(A，B)
上述公式中，I(A，B)和G(A，B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
本申请实施例采取的技术方案还包括：在所述步骤b中，所述根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练还包括：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x，y，z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；在所述步骤c中，所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
本申请实施例采取的另一技术方案为：一种多模态三维医学影像融合系统，包括：
模型构建模块：用于构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述模型训练模块包括：
损失函数构建单元：用于构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
上述公式中，(C,G,D)分别表示分类器、判别器和生成器，(x,y,z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0，1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E(x，y，z)～p(x，y，z)[logD(x，y，z)]表示判别器将来自于真实数据分布中的样本判定为真实样本； 表示判别器识别出有分类器输出数据空间中的伪样本对；表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x，z)表示条件生成网络合成的PET模态影像。
分类器优化单元：用于对分类器引入监督学习下的交叉熵损失Kc＝E(x，y，z)～p(x，y，z)[-logpc(x，y，z)]，将分类器的样本分布pc(x，y，z)的收敛点限定在p(x，y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
生成器优化单元：用于引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A，B)＝G(A，B)·I(A，B)
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
本申请实施例采取的技术方案还包括：所述模型训练模块对多任务生成对抗网络进行训练具体为：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x,y,z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
本申请实施例采取的技术方案还包括：所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
本申请实施例采取的技术方案还包括：所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的多模态三维医学影像融合方法的以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的多模态三维医学影像融合方法、系统及电子设备提出了一种多任务生成对抗模型，根据受试者病灶部位的MRI影像合成得到其在PET影像中的模式图像，并融合真实的MRI影像与合成的PET影像后获取更多用于分类诊断的关键特征，根据关键特征对疾病类型进行分类。相对于现有技术，本申请至少具有以下有益效果：
1、通过设置单独的判别器，其唯一作用是识别数据分布的真伪，解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。
2、可实现跨模态影像合成模型和多模态融合分类模型的一步式协同训练，可以实现更优的训练效果。训练好的生成模型学习到MRI与PET成像的关联特征，可由待检测者的MRI合成其相应的PET，分类模型融合MRI与合成PET的特征信息进行疾病类型的分类诊断，避免了PET采集高昂成本和辐射暴露风险的同时，有效融合了功能性成像特征，可以实现更高的分类精度。
3、本申请考虑了MRI、PET和诊断标签三种属性的联合分布，模型可以提取到多模态成像和分类诊断之间更丰富的关联特征信息，提升图像生成误差和分类诊断性能。通过大量病例的累积训练，逐步提高预测模型的准确率和鲁棒性。
4、本发明所提出的多任务生成对抗网络也可用于其他协同优化的应用场景。
附图说明
图1是本申请实施例的多模态三维医学影像融合方法的流程图；
图2是多任务生成对抗网络总体框架图；
图3是生成器的网络结构示意图；
图4是分类器的网络结构示意图；
图5是多任务生成对抗网络的应用流程图；
图6是本申请实施例的多模态三维医学影像融合系统的结构示意图；
图7是本申请实施例提供的多模态三维医学影像融合方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对多模态影像在临床诊断中的互补性和PET采集过程中的高成本及辐射暴露风险，本申请实施例的多模态三维医学影像融合方法提出了一种多任务生成对抗模型(Multi-Task GAN，MT-GAN)，根据受试者病灶部位的MRI影像预测出其在PET成像中的模式图像，在数据驱动模式下，实现跨模态影像合成网络和多模态融合分类网络的对抗协同训练，优化后的系统成功地学习到了MRI成像、PET成像和疾病诊断之间的潜在关联特征，解决了传统生成对抗模型中生成网络和判别网络收敛点的冲突问题。本申请在无需待检测者进行PET采集的情况下融合了多源医学影像特征，可以更加精准地辅助医生进行临床诊断。为了清楚说明本申请的具体实施方案，以下实施例基于MRI和PET影像的阿尔茨海默症为例进行阐释，但本申请的应用范围并不仅限于病种阿尔茨海默症和MRI-PET影像，也可以广泛应用于其他疾病的CT-PET、MRI-CT等其他模态影像。
请参阅图1，是本申请实施例的多模态三维医学影像融合方法的流程图。本申请实施例的多模态三维医学影像融合方法包括以下步骤：
步骤100：采集受试者的MRI影像和PET影像，并对采集的MRI影像和PET影像进行预处理，得到用于训练模型的数据集；
步骤100中，采集MRI影像和PET影像具体为：分别选择阿尔茨海默症(AD)待检测者、轻度认知障碍(MCI)待检测者和正常老年人(Normal)各300位作为受试者，采集其脑部的MRI影像和PET影像作为原始数据集，并在每位受试者的临床观察和诊断中，由专业医师给出诊断信息，将诊断信息作为每位受试者的诊断标签信息。
原始数据集预处理具体为：采用FSL、SPM等技术对采集的脑部MRI和PET进行冗余组织剔除和图像校正处理，并利用FSL脑图像处理工具对MRI和PET影像进行线性配准操作，使MRI和PET影像在诊断意义上的解剖点达到空间位置的一致。
步骤200：构建多任务生成对抗网络；
步骤200中，多任务生成对抗网络框架如图2所示。多任务生成对抗网络需要考虑每个待检测者的MRI影像、PET影像和诊断标签信息三种属性，其包括分类器C、生成器G和判别器D，生成器G用于通过真实的MRI影像合成对应的PET影像；判别器D用于判定数据模式分布是来自于真实数据还是伪样本分布；分类器C用于将MRI影像和合成的PET影像进行融合后输出待检测者的疾病分类预测标签。将MRI影像、PET影像和诊断标签信息分别标记为(x,y,z)，则在多任务生成对抗网络中共包含真实数据分布ptrue(x，y,z)、生成器的样本分布pG(x,yg,z)和分类器的样本分布pc(x，y，zl)三种数据分布。生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，实现pG(x，yg,z)＝ptrue(x,y,z)的条件特征映射；分类器则以MRI影像和PET影像的联合分布作为输入，预测其标签类型，实现pc(x,y,zl)＝ptrue(x,y,z)的条件特征映射；判别器则根据输入的样本分布(x,y,z)判定其是否来自于真实数据分布，实质是一个二分类问题。
本申请实施例中，生成器的网络结构如图3所示。生成器采用U-Net网络结构，U-Net模型基于跳跃式连接的全卷积网络而设计，其主要思路是设计网络结构对称的编码器和解码器，使其具有相同数量和大小的特征图，并通过跳跃式连接将编码器和解码器的对应特征图相结合，可以最大限度保留降采样过程中的特征信息，从而提高特征表达的效率。MRI影像和PET影像来自于同一样本，它们之间共享大量的初级特征信息，因此U-net模型很适合用于两种模态影像之间的复杂特征映射。
基于上述U-Net网络结构，生成器通过真实的MRI影像样本合成对应的PET影像的方式具体为：
(1)通过编码器提取MRI影像的特征信息；以样本128×128×128大小的MRI影像作为输入，经过64个2×2×2大小卷积核的特征提取运算，在三个维度上滑动步长为2，输出64个大小为64×64×64的特征图。然后利用128个2×2×2大小的卷积核对其进行卷积运算，产生128个32×32×32大小的特征图。以此类推，依次经过编码器6层卷积的特征提取运算，输出1024个特征图。
(2)解码器对编码器输出的特征图进行重构；首先，对编码器输出的1024个特征图进行反卷积运算，产生512个2×2×2的特征图，并与编码器对应位置相同大小的特征图进行拼接。依次经过6层反卷积运算和拼接操作，最终输出128×128×128大小的目标重构图像，即为合成的PET影像。
为了降低模型的运算复杂度、提高网络的协同训练效率，本申请实施例中的分类器选择了一种相对简单的多模态融合分类网络，其结构如图4所示。分类器对多模态影像数据的处理流程为：
(1)采用特征提取网络提取MRI影像的特征信息；首先利用2×2×2大小卷积核的两个卷积层提取影像的初级特征产生32个特征图，再利用一层窗口大小为2×2×2的池化层对特征图进行降维。随后采用3×3×3大小的卷积核提取高级特征，第三和第四个卷积层分别采用64个卷积核，提取到的特征池化降维，之后采用128个卷积核进行更高维特征提取。
(2)采用同样结构的特征提取网络对PET影像进行卷积运算，产生128个特征值。
(3)将从MRI影像和PET影像提取到的特征值进行拼接，组成256个特征值，由包含54个节点的全连接层对两种模态的特征信息进行融合和高维抽象。
(4)将整合后的融合特征信息经过Softmax函数运算得到对应的标签预测类型(即预测影像数据对应疾病等级的概率)。
步骤300：根据受试者的MRI影像、PET影像和诊断标签信息对多任务生成对抗网络进行训练；
步骤300中，多任务生成对抗网络的训练过程包括以下步骤：
步骤301：构建模型的对抗损失函数；
在模型的实际应用过程中，需对每个待检测者的MRI数据进行采集，因此生成器和分类器的预测过程分别为如下条件分布：
pg(x,yg)＝p(y|x)p(x) (1)
pc(x,y,z)＝p[z|(x,y)]p(x,y) (2)
训练过程的对抗损失可以用改进的极大极小代价函数进行表示：
公式(3)中，α∈(0,1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，即在对抗训练任务中的相对重要性。E(x,y,z)～p(x,y,z)[logD(x,y,z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；表示判别器识别出有分类器输出数据空间中的伪样本对；表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x,z)表示条件生成网络合成的PET模态影像。由此构建了多任务生成对抗网络的对抗损失函数。
步骤302：引入分类器监督损失；由一般对抗生成网络的优化原理可知，模型当且仅当p(x,y,z)＝(1-α)pg(x,yg,z)+αpc(x，y，z)时达到纳什均衡。对抗博弈的均衡表明，当生成器G和分类器C中的其中一个达到最优时，另一个也趋近于最优。但事实上，模型的全局最优应当满足生成器G和分类器C产生的样本分布与真实数据分布相同，即p(x,y,z)＝pg(x,y,z)＝pc(x，y,z)。但上述损失函数的解是p(x,y,z)＝(1-α)pg(x,y,z)+αpc(x,y,z)的子集，无法保证p(x,y,z)＝pg(x,y,z)＝pc(x,y,z)。因此，本申请通过在训练中对分类器引入监督学习下的交叉熵损失Kc＝E(x，y，z)～p(x，y,z)[-logpc(x,y，z)]，从而将pc(x,y,z)的收敛点限定在p(x，y)附近，继而保证损失函数的解是全局最优解。
步骤303：引入生成器监督损失；
在生成器训练中，从损失函数设计上除了需要生成样本让判别器难以识别，还要保证生成样本与目标图像尽可能相似。本申请利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A，B)＝G(A，B)·I(A,B) (4)
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
综上所述，本申请所提出的多任务生成对抗网络的目标函数为：
步骤304：将900个受试者的数据集划分训练集和测试集，通过训练集对多任务生成对抗网络进行训练，并通过测试集对多任务生成对抗网络的性能进行测试；
步骤304中，训练集中的样本数据为700个，测试集中样本数据为200个。模型的训练过程具体为：在数据驱动模式下，随着生成器G的逐渐优化，判别器D需更新网络参数以识别出生成器G产生的伪数据分布；随着判别器D的优化激励分类器C优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器D判定为伪数据，继而反向作用于生成器G的训练。通过如此对多任务生成对抗网络进行迭代训练，使得生成器G和分类器C在对抗训练中达到最优，且在三者的对抗博弈过程中，使得分类器和生成器取得比单独训练更好的性能。
步骤400：将待检测者的MRI影像输入训练好的多任务生成对抗网络，多任务生成对抗网络输出待检测者的疾病分类预测标签；
步骤400中，通过对抗训练后，生成器G学习到了MRI影像与PET影像之间的潜在关联特征，可以更加准确地由输入的MRI影像合成得到相应的PET影像。分类器的参数也实现最优化，可以从输入的MRI影像和PET影像提取关键特征信息并基于该特征预测对应的疾病分类预测标签。
具体请一并参阅图5，多任务生成对抗网络的应用流程具体包括以下步骤：
步骤401：采集待检测者的MRI影像；
步骤402：将MRI影像输入训练好的生成器中进行合成，生成器根据MRI影像合成对应的PET影像；
步骤403：将MRI影像与合成的PET影像输入到训练好的分类器中，分类器输出待检测者的疾病分类预测标签。
请参阅图6，是本申请实施例的多模态三维医学影像融合系统的结构示意图。本申请实施例的多模态三维医学影像融合系统包括数据采集模块、模型构建模块、模型训练模块和模型应用模块。
数据采集模块：用于采集受试者的MRI影像和PET影像，并对采集的MRI影像和PET影像进行预处理，得到用于训练模型的数据集；其中，采集MRI影像和PET影像具体为：分别选择阿尔茨海默症(AD)待检测者、轻度认知障碍(MCI)待检测者和正常老年人(Normal)各300位作为受试者，采集其脑部的MRI影像和PET影像作为原始数据集，并在每位受试者的临床观察和诊断中，由专业医师给出诊断信息，将诊断信息作为每位受试者的诊断标签信息。
MRI影像和PET影像预处理具体为：采用FSL、SPM等技术对采集的脑部MRI和PET进行冗余组织剔除和图像校正处理，并利用FSL脑图像处理工具对MRI和PET影像进行线性配准操作，使MRI和PET影像在诊断意义上的解剖点达到空间位置的一致。
模型构建模块：用于构建多任务生成对抗网络；其中，多任务生成对抗网络包括分类器C、生成器G和判别器D，生成器G用于通过真实的MRI影像合成对应的PET影像；判别器D用于判定数据模式分布是来自于真实数据还是伪样本分布；分类器C用于将MRI影像和合成的PET影像进行融合后输出待检测者的疾病分类预测标签。将MRI影像、PET影像和诊断标签信息分别标记为(x,y,z)，则在多任务生成对抗网络中共包含真实数据分布ptrue(x,y,z)、生成器的样本分布pG(x,yg,z)和分类器的样本分布pc(x,y，zl)三种数据分布。生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，实现pG(x,yg，z)＝ptrue(x，y，z)的条件特征映射；分类器则以MRI影像和PET影像的联合分布作为输入，预测其标签类型，实现pc(x,y,zl)＝ptrue(x，y，z)的条件特征映射；判别器则根据输入的样本分布(x，y,z)判定其是否来自于真实数据分布，实质是一个二分类问题。
本申请实施例中，生成器采用U-Net网络结构，U-Net模型基于跳跃式连接的全卷积网络而设计，其主要思路是设计网络结构对称的编码器和解码器，使其具有相同数量和大小的特征图，并通过跳跃式连接将编码器和解码器的对应特征图相结合，可以最大限度保留降采样过程中的特征信息，从而提高特征表达的效率。MRI影像和PET影像来自于同一样本，它们之间共享大量的初级特征信息，因此U-net模型很适合用于两种模态影像之间的复杂特征映射。
基于上述U-Net网络结构，生成器通过真实的MRI影像样本合成对应的PET影像的方式具体为：
(1)通过编码器提取MRI影像的特征信息；以样本128×128×128大小的MRI影像作为输入，经过64个2×2×2大小卷积核的特征提取运算，在三个维度上滑动步长为2，输出64个大小为64×64×64的特征图。然后利用128个2×2×2大小的卷积核对其进行卷积运算，产生128个32×32×32大小的特征图。以此类推，依次经过编码器6层卷积的特征提取运算，输出1024个特征图。
(2)解码器对编码器输出的特征图进行重构；首先，对编码器输出的1024个特征图进行反卷积运算，产生512个2×2×2的特征图，并与编码器对应位置相同大小的特征图进行拼接。依次经过6层反卷积运算和拼接操作，最终输出128×128×128大小的目标重构图像，即为合成的PET影像。
为了降低模型的运算复杂度、提高网络的协同训练效率，本申请实施例中的分类器选择了一种相对简单的多模态融合分类网络，分类器对多模态影像数据的处理流程为：
(1)提取MRI影像的特征信息；首先利用2×2×2大小卷积核的两个卷积层提取影像的初级特征产生32个特征图，再利用一层窗口大小为2×2×2的池化层对特征图进行降维。随后采用3×3×3大小的卷积核提取高级特征，第三和第四个卷积层分别采用64个卷积核，提取到的特征池化降维，之后采用128个卷积核进行更高维特征提取。
(2)采用同样结构的特征提取网络对PET影像进行卷积运算，产生128个特征值。
(3)将从MRI影像和PET影像提取到的特征值进行拼接，组成256个特征值，由包含54个节点的全连接层对两种模态的特征信息进行融合和高维抽象。
(4)将整合后的融合特征信息经过Softmax函数运算得到对应的标签预测类型(即预测影像数据对应疾病等级的概率)。
模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对多任务生成对抗网络进行训练；模型训练模块包括：
损失函数构建单元：用于构建模型的对抗损失函数；在模型的实际应用过程中，需对每个待检测者的MRI数据进行采集，因此生成器和分类器的预测过程分别为如下条件分布：
pg(x,yg)＝p(y|x)p(x)(1)
pc(x，y，z)＝p[z|(x，y)]p(x,y)(2)
训练过程的对抗损失可以用改进的极大极小代价函数进行表示：
公式(3)中，α∈(0，1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，即在对抗训练任务中的相对重要性。E(x，y,z)～p(x，y，z)[logD(x，y，z)]表示判别器将来自于真实数据分布中的样本判定为真实样本；表示判别器识别出有分类器输出数据空间中的伪样本对； 由此构建了多任务生成对抗网络的对抗损失函数。
分类器优化单元：用于引入分类器监督损失；由一般对抗生成网络的优化原理可知，模型当且仅当p(x，y，z)＝(1-α)pg(x,yg,z)+αpc(x,y,z)时达到纳什均衡。对抗博弈的均衡表明，当生成器G和分类器C中的其中一个达到最优时，另一个也趋近于最优。但事实上，模型的全局最优应当满足生成器G和分类器C产生的样本分布与真实数据分布相同，即p(x,y,z)＝pg(x,y,z)＝pc(x,y,z)。但上述损失函数的解是p(x,y,z)＝(1-α)pg(x,y,z)+αpc(x,y,z)的子集，无法保证p(x，y，z)＝pg(x,y,z)＝pc(x,y,z)。因此，本申请通过在训练中对分类器引入监督学习下的交叉熵损失Kc＝E(x,y,z)～p(x,y,z)[-logpc(x，y，z)]，从而将pc(x，y，z)的收敛点限定在p(x，y)附近，继而保证损失函数的解是全局最优解。
生成器优化单元：用于引入生成器监督损失；在生成器训练中，从损失函数设计上除了需要生成样本让判别器难以识别，还要保证生成样本与目标图像尽可能相似。本申请利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A，B)＝G(A，B)·I(A，B) (4)
上述公式中，I(A,B)和G(A,B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
综上所述，本申请所提出的多任务生成对抗网络的目标函数为：
模型训练单元：用于将900个受试者的数据集划分训练集和测试集，通过训练集对多任务生成对抗网络进行训练，并通过测试集对多任务生成对抗网络的性能进行测试；其中，训练集中的样本数据为700个，测试集中样本数据为200个。模型的训练过程具体为：在数据驱动模式下，随着生成器G的逐渐优化，判别器D需更新网络参数以识别出生成器G产生的伪数据分布；随着判别器D的优化激励分类器C优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器D判定为伪数据，继而反向作用于生成器G的训练。通过如此对多任务生成对抗网络进行迭代训练，使得生成器G和分类器C在对抗训练中达到最优，且在三者的对抗博弈过程中，使得分类器和生成器取得比单独训练更好的性能。
模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，多任务生成对抗网络输出待检测者的疾病分类预测标签；通过对抗训练后，生成器G学习到了MRI影像与PET影像之间的潜在关联特征，可以更加准确地由输入的MRI影像合成得到相应的PET影像。分类器的参数也实现最优化，可以从输入的MRI影像和PET影像提取关键特征信息并基于该特征预测对应的疾病分类预测标签。
具体的，多任务生成对抗网络的应用过程具体为：采集待检测者的MRI影像，将MRI影像输入训练好的生成器中进行合成，生成器根据MRI影像合成对应的PET影像；将MRI影像与合成的PET影像输入到训练好的分类器中，分类器输出待检测者的疾病分类预测标签。
图7是本申请实施例提供的多模态三维医学影像融合方法的硬件设备结构示意图。如图7所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。
处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
本申请实施例的多模态三维医学影像融合方法、系统及电子设备提出了一种多任务生成对抗模型，根据受试者病灶部位的MRI影像合成得到其在PET影像中的模式图像，并融合真实的MRI影像与合成的PET影像后获取更多用于分类诊断的关键特征，根据关键特征对疾病类型进行分类。相对于现有技术，本申请至少具有以下有益效果：
1、通过设置单独的判别器，其唯一作用是识别数据分布的真伪，解决了传统生成对抗网络在兼顾生成器和分类器性能时可能出现的损失函数收敛点的冲突问题，可以使生成器和分类器同时达到最优。
2、可实现跨模态影像合成模型和多模态融合分类模型的一步式协同训练，可以实现更优的训练效果。训练好的生成模型学习到MRI与PET成像的关联特征，可由待检测者的MRI合成其相应的PET，分类模型融合MRI与合成PET的特征信息进行疾病类型的分类诊断，避免了PET采集高昂成本和辐射暴露风险的同时，有效融合了功能性成像特征，可以实现更高的分类精度。
3、本申请考虑了MRI、PET和诊断标签三种属性的联合分布，模型可以提取到多模态成像和分类诊断之间更丰富的关联特征信息，提升图像生成误差和分类诊断性能。通过大量病例的累积训练，逐步提高预测模型的准确率和鲁棒性。
4、本发明所提出的多任务生成对抗网络也可用于其他协同优化的应用场景。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种多模态三维医学影像融合方法，其特征在于，包括以下步骤：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
2.根据权利要求1所述的多模态三维医学影像融合方法，其特征在于，在所述步骤b中，所述对多任务生成对抗网络进行训练具体包括：
步骤b1：构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
上述公式中，(C，G，D)分别表示分类器、判别器和生成器，(x，y，z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0，1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E(x，y，z)～p(x，y，z)[log D(x，y，z)]表示判别器将来自于真实数据分布中的样本判定为真实样本； 表示判别器识别出有分类器输出数据空间中的伪样本对；表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x，z)表示条件生成网络合成的PET模态影像；
步骤b2：对分类器引入监督学习下的交叉熵损失Kc＝E(x，y，z)～p(x，y，z)[-log pc(x，y，z)]，将分类器的样本分布pc(x，y，z)的收敛点限定在p(x，y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
步骤b3：引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A，B)＝G(A，B)·I(A，B)
上述公式中，I(A，B)和G(A，B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
3.根据权利要求2所述的多模态三维医学影像融合方法，其特征在于，在所述步骤b中，所述根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练还包括：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x，y，z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
4.根据权利要求1至3任一项所述的多模态三维医学影像融合方法，其特征在于，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；在所述步骤c中，所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
5.根据权利要求4所述的多模态三维医学影像融合方法，其特征在于，在所述步骤c中，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
6.一种多模态三维医学影像融合系统，其特征在于，包括：
模型构建模块：用于构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
模型训练模块：用于根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
模型应用模块：用于将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
7.根据权利要求6所述的多模态三维医学影像融合系统，其特征在于，所述模型训练模块包括：
损失函数构建单元：用于构建所述多任务生成对抗网络的对抗损失函数；训练过程的对抗损失用改进的极大极小代价函数进行表示：
上述公式中，(C，G，D)分别表示分类器、判别器和生成器，(x，y，z)分别表示MRI影像、PET影像和诊断标签信息；α∈(0，1)是一个常量，用于控制分类器和生成器损失在训练过程中所占比重，E(x，y，z)～p(x，y，z)[log D(x，y，z)]表示判别器将来自于真实数据分布中的样本判定为真实样本； 表示判别器识别出有分类器输出数据空间中的伪样本对；表示判别器将自生成器的伪样本标签对识别出来，其中x表示受试样本的MRI模态影像，z表示样本标签，G(x，z)表示条件生成网络合成的PET模态影像；
分类器优化单元：用于对分类器引入监督学习下的交叉熵损失Kc＝E(x，y，z)～p(x，y，z)[-logpc(x，y，z)]，将分类器的样本分布pc(x，y，z)的收敛点限定在p(x，y)附近，使模型的全局最优满足生成器G和分类器C产生的样本分布与真实数据分布相同；
生成器优化单元：用于引入生成器监督损失，利用目标图像与生成图像之间的梯度互信息作为相似性度量：
Kg＝NI(A，B)＝G(A，B)·I(A，B)
上述公式中，I(A，B)和G(A，B)分别表示生成图像与目标图像之间的梯度信息和梯度差值。
8.根据权利要求7所述的多模态三维医学影像融合系统，其特征在于，所述模型训练模块对多任务生成对抗网络进行训练具体为：所述生成器以MRI影像作为条件约束，将与目标图像同样维度的随机噪声输入映射为PET影像，所述判别器判定输入的样本分布(x，y，z)来自于真实数据分布还是伪数据分布，所述分类器以MRI影像和PET影像的联合分布作为输入，并预测其标签类型；在数据驱动模式下，随着生成器的逐渐优化，判别器更新网络参数以识别出生成器产生的伪数据分布；随着判别器的优化激励分类器优化使其预测的疾病分类预测标签趋向于真实数据而不会被判别器判定为伪数据，继而反向作用于生成器的训练；通过迭代对抗训练，使得所述生成器学习到MRI影像与PET影像之间的潜在关联特征，从而由输入的MRI影像合成得到相应的PET影像，并使得所述分类器从输入的MRI影像和PET影像提取关键特征信息并预测对应的疾病分类预测标签。
9.根据权利要求6至8任一项所述的多模态三维医学影像融合系统，其特征在于，所述生成器采用U-Net网络结构，其包括网络结构对称的编码器和解码器；所述生成器根据MRI影像合成对应的PET影像具体包括：通过编码器多层卷积的特征提取运算，输出MRI影像的特征图；所述解码器对编码器输出的特征图进行多层反卷积运算，并将产生的特征图与编码器对应位置相同大小的特征图进行多次拼接操作，最终输出目标重构图像，即为合成的PET影像。
10.根据权利要求9所述的多模态三维医学影像融合系统，其特征在于，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签具体包括：采用特征提取网络提取MRI影像的特征值，并对合成的PET影像进行卷积运算，提取PET影像的特征值；将所述MRI影像和PET影像的特征值进行拼接，组成拼接后的特征值，由全连接层对拼接后的特征值进行融合和高维抽象；将融合后的特征信息经过Softmax函数运算得到对应的疾病分类预测标签。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至5任一项所述的多模态三维医学影像融合方法的以下操作：
步骤a：构建多任务生成对抗网络，所述多任务生成对抗网络包括生成器、判别器和分类器；
步骤b：根据受试者的MRI影像、PET影像和诊断标签信息对所述多任务生成对抗网络进行训练，使所述多任务生成对抗网络自动学习MRI影像和PET影像之间的关联特征；
步骤c：将待检测者的MRI影像输入训练好的多任务生成对抗网络，所述生成器根据MRI影像合成对应的PET影像，并将待检测者的MRI影像与合成的PET影像输入分类器，所述分类器将待检测者的MRI影像与合成的PET影像进入融合后输出待检测者的疾病分类预测标签。
CN201910727072.9A 2019-08-07 2019-08-07 一种多模态三维医学影像融合方法、系统及电子设备 Active CN110580695B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910727072.9A CN110580695B (zh) 2019-08-07 2019-08-07 一种多模态三维医学影像融合方法、系统及电子设备
PCT/CN2019/125430 WO2021022752A1 (zh) 2019-08-07 2019-12-14 一种多模态三维医学影像融合方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910727072.9A CN110580695B (zh) 2019-08-07 2019-08-07 一种多模态三维医学影像融合方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110580695A true CN110580695A (zh) 2019-12-17
CN110580695B CN110580695B (zh) 2022-06-21

Family

ID=68810603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910727072.9A Active CN110580695B (zh) 2019-08-07 2019-08-07 一种多模态三维医学影像融合方法、系统及电子设备

Country Status (2)

Country Link
CN (1) CN110580695B (zh)
WO (1) WO2021022752A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090764A (zh) * 2019-12-20 2020-05-01 中南大学 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN111353499A (zh) * 2020-02-24 2020-06-30 上海交通大学 多模态医学图像分割方法、系统、存储介质及电子设备
CN111383217A (zh) * 2020-03-11 2020-07-07 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111783796A (zh) * 2020-06-19 2020-10-16 哈尔滨工业大学 一种基于深度特征融合的pet/ct影像识别系统
CN112052874A (zh) * 2020-07-31 2020-12-08 山东大学 一种基于生成对抗网络的生理数据分类方法及系统
CN112085687A (zh) * 2020-09-10 2020-12-15 浙江大学 一种基于细节增强的t1到stir影像转换的方法
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112508175A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
CN112508775A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112633378A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种多模态影像胎儿胼胝体智能检测方法及系统
CN112700859A (zh) * 2020-12-15 2021-04-23 贵州小宝健康科技有限公司 一种基于医学影像的医疗诊断辅助方法及系统
CN112699809A (zh) * 2020-12-31 2021-04-23 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN112801297A (zh) * 2021-01-20 2021-05-14 哈尔滨工业大学 一种基于条件变分自编码器的机器学习模型对抗性样本生成方法
CN113192605A (zh) * 2021-04-13 2021-07-30 复旦大学附属中山医院 医学影像的分类方法、医学影像的检索方法和装置
CN113205567A (zh) * 2021-04-25 2021-08-03 复旦大学 基于深度学习的mri影像合成ct影像的方法
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
WO2021179189A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
WO2021203796A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
CN113516615A (zh) * 2020-11-24 2021-10-19 阿里巴巴集团控股有限公司 一种样本生成方法、系统、设备及存储介质
CN113705662A (zh) * 2021-08-26 2021-11-26 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
JPWO2021245733A1 (zh) * 2020-06-01 2021-12-09
WO2022120731A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN116309591A (zh) * 2023-05-19 2023-06-23 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置
CN116433795A (zh) * 2023-06-14 2023-07-14 之江实验室 基于对抗生成网络的多模态影像生成方法和装置
CN117115045A (zh) * 2023-10-24 2023-11-24 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117315425A (zh) * 2023-10-12 2023-12-29 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN111815030B (zh) * 2020-06-11 2024-02-06 浙江工商大学 一种基于少量问卷调查数据的多目标特征预测方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052930A (zh) * 2021-03-12 2021-06-29 北京医准智能科技有限公司 一种胸部dr双能量数字减影图像生成方法
CN112966112B (zh) * 2021-03-25 2023-08-08 支付宝(杭州)信息技术有限公司 基于对抗学习的文本分类模型训练和文本分类方法及装置
CN113326731B (zh) * 2021-04-22 2024-04-19 南京大学 一种基于动量网络指导的跨域行人重识别方法
CN113095038B (zh) * 2021-05-08 2024-04-16 杭州王道控股有限公司 基于多任务辨别器生成对抗网络的字体生成方法及装置
CN113496482B (zh) * 2021-05-21 2022-10-04 郑州大学 一种毒驾试纸图像分割模型、定位分割方法及便携式装置
CN113223068B (zh) * 2021-05-31 2024-02-02 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统
CN113470777B (zh) * 2021-06-04 2024-04-09 江苏大学 一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质
CN113538533B (zh) * 2021-06-22 2023-04-18 南方医科大学 一种脊柱配准方法、装置、设备及计算机存储介质
CN113488183B (zh) * 2021-06-30 2023-10-31 吾征智能技术(北京)有限公司 一种发热疾病多模态特征融合认知系统、设备、存储介质
CN114036356A (zh) * 2021-10-13 2022-02-11 中国科学院信息工程研究所 一种基于对抗生成网络流量增强的不均衡流量分类方法和系统
CN114387481B (zh) * 2021-12-30 2024-03-29 天翼物联科技有限公司 基于多源对抗策略的医学影像交叉模态合成系统及方法
CN114332577A (zh) * 2021-12-31 2022-04-12 福州大学 结合深度学习与影像组学的结直肠癌图像分类方法及系统
CN114332287B (zh) * 2022-03-11 2022-07-15 之江实验室 基于transformer特征共享的PET图像重建方法、装置、设备及介质
CN114974518A (zh) * 2022-04-15 2022-08-30 浙江大学 多模态数据融合的肺结节影像识别方法及装置
CN114926702B (zh) * 2022-04-16 2024-03-19 西北工业大学深圳研究院 一种基于深度注意力度量的小样本图像分类方法
CN114779661B (zh) * 2022-04-22 2023-03-24 北京科技大学 基于多分类生成对抗模仿学习算法的化学合成机器人系统
CN114972878A (zh) * 2022-06-14 2022-08-30 云南大学 攻击无依赖的可迁移对抗样本检测方法
CN114821206B (zh) * 2022-06-30 2022-09-13 山东建筑大学 基于对抗互补特征的多模态图像融合分类方法与系统
CN115272261B (zh) * 2022-08-05 2023-04-21 广州大学 一种基于深度学习的多模态医学图像融合方法
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115984622B (zh) * 2023-01-10 2023-12-29 深圳大学 基于多模态和多示例学习分类方法、预测方法及相关装置
CN115859175B (zh) * 2023-02-16 2023-05-23 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于跨模态生成式学习的液压减震器设备异常检测方法
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN117174240B (zh) * 2023-10-26 2024-02-09 中国科学技术大学 一种基于大模型领域迁移的医疗影像报告生成方法
CN117201693B (zh) * 2023-11-01 2024-01-16 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质
CN117315376B (zh) * 2023-11-28 2024-02-13 聊城莱柯智能机器人有限公司 基于机器学习的机械零件工业质检方法
CN117408330B (zh) * 2023-12-14 2024-03-15 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN109035356A (zh) * 2018-07-05 2018-12-18 四川大学 一种基于pet图形成像的系统及方法
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备
WO2019069867A1 (ja) * 2017-10-03 2019-04-11 株式会社根本杏林堂 血管抽出装置および血管抽出方法
CN109961491A (zh) * 2019-04-12 2019-07-02 上海联影医疗科技有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265578A1 (en) * 2017-09-08 2020-08-20 The General Hospital Corporation System and method for utilizing general-purpose graphics processing units (gpgpu) architecture for medical image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
WO2019069867A1 (ja) * 2017-10-03 2019-04-11 株式会社根本杏林堂 血管抽出装置および血管抽出方法
CN108198179A (zh) * 2018-01-03 2018-06-22 华南理工大学 一种生成对抗网络改进的ct医学图像肺结节检测方法
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN109035356A (zh) * 2018-07-05 2018-12-18 四川大学 一种基于pet图形成像的系统及方法
CN109523584A (zh) * 2018-10-26 2019-03-26 上海联影医疗科技有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备
CN109961491A (zh) * 2019-04-12 2019-07-02 上海联影医疗科技有限公司 多模态图像截断补偿方法、装置、计算机设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGSHENG PAN 等: "Synthesizing Missing PET from MRI with Cycle-consistent Generative Adversarial Networks for Alzheimer’s Disease Diagnosis", 《MED IMAGE COMPUT COMPUT ASSIST INTERV》 *
YUNHAO GE 等: "Unpaired Mr to CT Synthesis with Explicit Structural Constrained Adversarial Learning", 《2019 IEEE 16TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2019)》 *
周沛 等: "跨模态医学图像预测综述", 《电子学报》 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090764A (zh) * 2019-12-20 2020-05-01 中南大学 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN111353499A (zh) * 2020-02-24 2020-06-30 上海交通大学 多模态医学图像分割方法、系统、存储介质及电子设备
CN111353499B (zh) * 2020-02-24 2022-08-19 上海交通大学 多模态医学图像分割方法、系统、存储介质及电子设备
CN111383217A (zh) * 2020-03-11 2020-07-07 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
WO2021179189A1 (zh) * 2020-03-11 2021-09-16 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
CN111383217B (zh) * 2020-03-11 2023-08-29 深圳先进技术研究院 大脑成瘾性状评估的可视化方法、装置及介质
WO2021203796A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
JPWO2021245733A1 (zh) * 2020-06-01 2021-12-09
JP7457292B2 (ja) 2020-06-01 2024-03-28 日本電気株式会社 脳画像解析装置、制御方法、及びプログラム
WO2021248749A1 (zh) * 2020-06-10 2021-12-16 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
US20220148301A1 (en) * 2020-06-10 2022-05-12 West China Hospital Of Sichuan University An Auxiliary Diagnostic Model and an Image Processing Method for Detecting Acute Ischemic Stroke
CN111739635A (zh) * 2020-06-10 2020-10-02 四川大学华西医院 一种用于急性缺血性卒中的诊断辅助模型及图像处理方法
CN111815030B (zh) * 2020-06-11 2024-02-06 浙江工商大学 一种基于少量问卷调查数据的多目标特征预测方法
CN111783796A (zh) * 2020-06-19 2020-10-16 哈尔滨工业大学 一种基于深度特征融合的pet/ct影像识别系统
CN112052874B (zh) * 2020-07-31 2023-11-17 山东大学 一种基于生成对抗网络的生理数据分类方法及系统
CN112052874A (zh) * 2020-07-31 2020-12-08 山东大学 一种基于生成对抗网络的生理数据分类方法及系统
CN112085687A (zh) * 2020-09-10 2020-12-15 浙江大学 一种基于细节增强的t1到stir影像转换的方法
CN112085687B (zh) * 2020-09-10 2023-12-01 浙江大学 一种基于细节增强的t1到stir影像转换的方法
CN113516615A (zh) * 2020-11-24 2021-10-19 阿里巴巴集团控股有限公司 一种样本生成方法、系统、设备及存储介质
CN113516615B (zh) * 2020-11-24 2024-03-01 阿里巴巴集团控股有限公司 一种样本生成方法、系统、设备及存储介质
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112353381B (zh) * 2020-11-24 2022-06-28 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
US11915401B2 (en) 2020-12-09 2024-02-27 Shenzhen Institutes Of Advanced Technology Apriori guidance network for multitask medical image synthesis
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
CN112508775A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112508175A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统
WO2022120731A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112700859A (zh) * 2020-12-15 2021-04-23 贵州小宝健康科技有限公司 一种基于医学影像的医疗诊断辅助方法及系统
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN112633378A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种多模态影像胎儿胼胝体智能检测方法及系统
CN112699809A (zh) * 2020-12-31 2021-04-23 深圳数联天下智能科技有限公司 痘痘类别识别方法、装置、计算机设备及存储介质
CN112801297A (zh) * 2021-01-20 2021-05-14 哈尔滨工业大学 一种基于条件变分自编码器的机器学习模型对抗性样本生成方法
CN113192605A (zh) * 2021-04-13 2021-07-30 复旦大学附属中山医院 医学影像的分类方法、医学影像的检索方法和装置
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
CN113205567A (zh) * 2021-04-25 2021-08-03 复旦大学 基于深度学习的mri影像合成ct影像的方法
CN113705662A (zh) * 2021-08-26 2021-11-26 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN115588504A (zh) * 2022-10-28 2023-01-10 大连大学附属中山医院 一种基于分子影像成像技术的监测管理系统
CN116309591A (zh) * 2023-05-19 2023-06-23 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置
CN116309591B (zh) * 2023-05-19 2023-08-25 杭州健培科技有限公司 一种医学影像3d关键点检测方法、模型训练方法及装置
CN116433795A (zh) * 2023-06-14 2023-07-14 之江实验室 基于对抗生成网络的多模态影像生成方法和装置
CN116433795B (zh) * 2023-06-14 2023-08-29 之江实验室 基于对抗生成网络的多模态影像生成方法和装置
CN117315425A (zh) * 2023-10-12 2023-12-29 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN117315425B (zh) * 2023-10-12 2024-03-26 无锡市第五人民医院 一种多模态磁共振影像的融合方法及系统
CN117115045B (zh) * 2023-10-24 2024-01-09 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法
CN117115045A (zh) * 2023-10-24 2023-11-24 吉林大学 基于互联网生成式人工智能提升医学影像数据质量的方法

Also Published As

Publication number Publication date
WO2021022752A1 (zh) 2021-02-11
CN110580695B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN110580695B (zh) 一种多模态三维医学影像融合方法、系统及电子设备
Chen et al. Self-supervised learning for medical image analysis using image context restoration
Li et al. Deep learning attention mechanism in medical image analysis: Basics and beyonds
Tong et al. 3D deeply-supervised U-net based whole heart segmentation
Patel et al. Image level training and prediction: intracranial hemorrhage identification in 3D non-contrast CT
Li et al. When medical images meet generative adversarial network: recent development and research opportunities
Du et al. Cardiac-DeepIED: Automatic pixel-level deep segmentation for cardiac bi-ventricle using improved end-to-end encoder-decoder network
Iqbal et al. Generative adversarial networks and its applications in the biomedical image segmentation: a comprehensive survey
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
RU2667879C1 (ru) Обработка и анализ данных на изображениях компьютерной томографии
Yang et al. Synthesizing multi-contrast MR images via novel 3D conditional Variational auto-encoding GAN
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN110246109A (zh) 融合ct影像和个性化信息的分析系统、方法、装置及介质
Al Khalil et al. On the usability of synthetic data for improving the robustness of deep learning-based segmentation of cardiac magnetic resonance images
Zhan et al. LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis
US20220405933A1 (en) Systems, methods, and apparatuses for implementing annotation-efficient deep learning models utilizing sparsely-annotated or annotation-free training
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
Asif et al. StoneNet: An Efficient Lightweight Model Based on Depthwise Separable Convolutions for Kidney Stone Detection from CT Images
Cai et al. Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis
Asma-Ull et al. Data efficient segmentation of various 3d medical images using guided generative adversarial networks
Yu et al. Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net
Toikkanen et al. ReSGAN: Intracranial hemorrhage segmentation with residuals of synthetic brain CT scans
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant