CN111612762B - Mri脑肿瘤图像生成方法及系统 - Google Patents

Mri脑肿瘤图像生成方法及系统 Download PDF

Info

Publication number
CN111612762B
CN111612762B CN202010430630.8A CN202010430630A CN111612762B CN 111612762 B CN111612762 B CN 111612762B CN 202010430630 A CN202010430630 A CN 202010430630A CN 111612762 B CN111612762 B CN 111612762B
Authority
CN
China
Prior art keywords
image
brain tumor
mri
probability
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010430630.8A
Other languages
English (en)
Other versions
CN111612762A (zh
Inventor
耿道颖
于泽宽
李郁欣
尹波
张军
吴昊
耿岩
胡斌
杨丽琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuying Shanghai Medical Technology Co ltd
Original Assignee
Fuying Shanghai Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuying Shanghai Medical Technology Co ltd filed Critical Fuying Shanghai Medical Technology Co ltd
Priority to CN202010430630.8A priority Critical patent/CN111612762B/zh
Publication of CN111612762A publication Critical patent/CN111612762A/zh
Application granted granted Critical
Publication of CN111612762B publication Critical patent/CN111612762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种MRI脑肿瘤图像生成方法及系统，包括：步骤1：构建图像融合对抗生成的GAN网络；步骤2：构建重建图像内容的泊松方程插入算法；步骤3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松方程编辑MRI融合效果叠加得到最终的图像扩增结果。本发明进行现有样本的数据扩增，增强训练模型的精度和泛化性，为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确的依据。

Description

MRI脑肿瘤图像生成方法及系统
技术领域
本发明涉及医学图像处理技术领域，具体地，涉及一种MRI脑肿瘤图像生成方法及系统。尤其地，涉及一种融合对抗生成网络及泊松方程编辑的MRI脑肿瘤图像生成方法。
背景技术
核磁共振成像(Magnetic Resonance Imaging,MRI)具有非侵入性，能在病人不接受高电离辐射的情况下提供形状、大小及位置等信息，且具有良好的软组织对比度，在脑肿瘤的诊断、治疗和手术引导中越来越受到人们的关注。但是高质量、金标准标注、大样本数量的医学影像较少是医学影像辅助诊断研究中面临的重要问题之一。随着深度学习等算法的兴起，基于临床知识规则驱动的专家系统逐渐被基于数据驱动的智能诊断算法取代，因此高质量的医学影像数据是辅助诊断系统性能优异的前提与重要保障。如何基于现有临床规则，根据分类诊断标签，影像组学标签编辑出对应合适的生成模板(mask)，生成临床医生需求的接近真实临床影像数据分布的生成样本是本项目研究的难点与重点。由于脑肿瘤形状复杂，大小和位置具有随机性，类型差异大等因素，导致目前还没有一种分割算法能够满足临床的需要，实时性也无法达到要求，不同专家手动分割脑肿瘤图像的结果也有很大差异，而且人工成本较高。因此，研究精确度高及鲁棒性强的脑肿瘤分割方法是十分有必要的。
深度学习算法已经在医学图像分析的诸多领域得到广泛应用，例如：通过使用长期短期记忆递归神经单元(Long Short-Term Memory units，LSTM)的方法提取大脑结构的全局上下文信息潜在特征，并通过3D Hilbert空间填充曲线进行脑胶质瘤区域分割，实现了肿瘤整体、肿瘤增强和坏死核心的平均Dice分别0.77、0.62和0.64；将带有预定义高斯差分滤波器的卷积层和体素局部邻域信息用于构建新的CNN框架，结合了4种成像模式(T1前对比，T1后对比，T2和FLAIR)，实现了肿瘤整体、肿瘤增强和坏死核心的平均Dice分别为0.89、0.80和0.76；通过结合CRF的双重CNN来完成脑胶质瘤分割，该方法可以自动适应数据中存在的类别不平衡问题。通过具有正则化自动编码器的CNN网络用于脑胶质瘤MRI分割，BraTs2018测试集上取得肿瘤整体、肿瘤增强和坏死核心的平均Dice分别为0.88、0.77和0.81。
当前基于深度学习的分割方法是通过大量数据对模型进行训练，但目前三维数据量有限，导致分割准确率低而不能应用于实际临床医学中。如何通过构建高质量的虚拟样本来做有效的数据扩增(data augmentation),来扩增训练数据样本分布空间，提高辅助诊断系统的正确率、灵敏度及算法的鲁棒性是一个待解决的关键科学问题。因此本发明的发明人提供了一种基于对抗生成网络和泊松方采用泊松方程插入的方法，构建性能稳定的多MRI脑瘤影像的模拟生成算法，实现基于GAN和泊松方程编辑的图像扩增。
专利文献CN109087318A(申请号：201810835922.2)公开了一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法，所述方法包括：101、对获取的多模态MRI脑肿瘤图像数据进行预处理；102、将经过预处理的多模态MRI脑肿瘤图像数据输入训练好的U-net网络模型中；103、获取U-net网络模型输出的多模态MRI脑肿瘤图像分割数据；其中，所述U-net网络模型输出的多模态MRI脑肿瘤图像分割数据能够保留图像边缘信息，以生成完整的分割图像特征图。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种MRI脑肿瘤图像生成方法及系统。
本发明采用使用编辑不同肿瘤区域、水肿区域、坏死区域不同的大小、尺寸、融合4个模态的影像特征进行目标图像的生成，采用泊松方程插入的方法，根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容。
构建优化函数的目标函数：当训练GAN时，鉴别器想要目标函数最大化，也就是使鉴别器判断真实样本为“真”，判断合成样本为“假”的概率最大化；相反，生成器希望最小化目标函数，这是为了降低鉴别器对数据来源判断正确的概率。在训练过程中先固定生成器，更新鉴别器的网络权重，交替迭代，双方都极力优化各自网络，使生成器生成接近真实样本的数据，使得判别模型无法判断结果，达到真假难辨的目的。
为了解决最小化问题，利用有限差分离散化的图像像素网络对其进行离散化，并采用雅克比矩阵方法(Jacobi method)或高斯-赛德儿(Gauss-Seidel iteration)迭代法进行连续迭代。根据Dirichlet边界条件，引入导引场，通过计算定义域内的散度算子，得到泊松的唯一解。
基于现有临床规则，根据分类诊断标签，影像组学标签编辑出对应合适的生成模板，构建出临床医生需求的接近真实临床影像数据分布的生成样本，再通过构建高质量的虚拟样本来做有效的数据扩增,从而扩增训练数据样本分布空间，提高辅助诊断系统的正确率、灵敏度及算法的鲁棒性，提供快速、可靠的脑肿瘤分割结果，从而为脑肿瘤的诊断、治疗和手术引导提供准确的依据。
根据本发明提供的多模态MRI脑肿瘤图像生成的分割方法，包括：
步骤1：构建图像融合对抗生成的GAN网络；
步骤2：构建重建图像内容的泊松方程插入算法；
步骤3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松方程编辑MRI融合效果叠加得到最终的图像扩增结果。
优选的，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D；
所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分布或随机分布或均匀分布；
所述判别模型D是一个二分类器，计算样本来自训练数据的概率。
优选的，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近实际数据分布；
构建优化函数的目标函数：
Figure BDA0002500451100000031
Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴别器认为x是真实样本的概率，1-D(G(Z))是鉴别器认为合成样本为假的概率；
Figure BDA0002500451100000032
表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似然估计；EZ表示对Z样本的最大似然估计。
优选的，所述步骤3包括：
根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像覆盖的区域内的像素值f：
Figure BDA0002500451100000041
Figure BDA0002500451100000042
其中，Ω为合并后目标图像覆盖的区域，
Figure BDA0002500451100000043
为Ω封闭子集边界；合并后图像在Ω内的像素值为f，在Ω外的像素值为ft，
Figure BDA0002500451100000047
表示图像对图像进行灰度值的梯度计算；v表示导引场
Figure BDA0002500451100000048
插值的结果由原图像引导；
泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的显著特征，使用如下方程得到向量v(x)：
Figure BDA0002500451100000049
其中
Figure BDA00025004511000000410
分别为原域图像的导引场及目标域图像的导引场。
优选的，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解，
Figure BDA0002500451100000044
是散度算子；
Figure BDA00025004511000000411
其中，
Figure BDA0002500451100000045
是梯度算子。
根据本发明提供的多模态MRI脑肿瘤图像生成的分割系统，包括：
模块M1：构建图像融合对抗生成的GAN网络；
模块M2：构建重建图像内容的泊松方程插入算法；
模块M3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松方程编辑MRI融合效果叠加得到最终的图像扩增结果。
优选的，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D；
所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分布或随机分布或均匀分布；
所述判别模型D是一个二分类器，计算样本来自训练数据的概率。
优选的，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近实际数据分布；
构建优化函数的目标函数：
Figure BDA0002500451100000046
Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴别器认为x是真实样本的概率，1-D(G(Z))是鉴别器认为合成样本为假的概率；
Figure BDA0002500451100000051
表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似然估计；EZ表示对Z样本的最大似然估计。
优选的，所述模块M3包括：
根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像覆盖的区域内的像素值f：
Figure BDA0002500451100000052
Figure BDA0002500451100000053
其中，Ω为合并后目标图像覆盖的区域，
Figure BDA0002500451100000054
为Ω封闭子集边界；合并后图像在Ω内的像素值为f，在Ω外的像素值为ft，
Figure BDA0002500451100000057
表示图像对图像进行灰度值的梯度计算；v表示导引场
Figure BDA0002500451100000058
插值的结果由原图像引导；
泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的显著特征，使用如下方程得到向量v(x)：
Figure BDA0002500451100000059
其中
Figure BDA00025004511000000510
分别为原域图像的导引场及目标域图像的导引场。
优选的，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解，
Figure BDA0002500451100000055
是散度算子；
Figure BDA00025004511000000511
其中，
Figure BDA0002500451100000056
是梯度算子。
与现有技术相比，本发明具有如下的有益效果：
1、本发明将医学图像和深度学习算法结合起来，完成多模态MRI脑肿瘤图像的生成，这种全自动的脑肿瘤图像生成方法将帮助医生和科研工作者用于进行现有样本的数据扩增，增强训练模型的精度和泛化性，为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确的依据。
2、本发明与GAN网络等传统经典的图像生成方法相比较，其优势主要体现在加入泊松方程编辑的图像生成算法，将GAN网络与泊松编辑融合应用于图像生成，使融合的图像尽可能平滑，看上去没有明显梯度变化差异较大的边界，最终形成无缝拼接的效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的融合GAN网络和泊松方程编辑的图像生成算法流程图；
图2为本发明的对抗生成网络方法示意图；
图3为本发明的泊松方程编辑原理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明将医学图像和深度学习算法结合起来，完成多模态MRI脑肿瘤图像的生成。这种全自动的脑肿瘤图像生成方法将帮助医生和科研工作者生成研究对象感兴趣的研究样本，用于进行现有样本的数据扩增，增强训练模型的精度和泛化性。本发明提出了一种融合对抗生成网络图像和泊松方程编辑的图像生成方法，可以通过编辑不同脑组织结构的模板(Mask,M)以及插入不同的病灶模板(Template,T)，提供快速、可靠的脑肿瘤影像生成结果，从而为脑肿瘤的诊断、治疗和医生模拟读片训练提供准确的依据。
为了实现上述目的，本发明采用如下的技术方案：
构建用于图像融合对抗生成的GAN网络；构建用于重建图像内容的泊松方程插入算法；
其中，构建用于图像融合对抗生成的GAN网络包括：使用编辑不同肿瘤区域、水肿区域、坏死区域不同的大小、尺寸、融合4个模态的影像特征进行目标图像的生成。在训练GAN时，鉴别器想要目标函数最大化，生成器希望最小化目标函数，这是为了降低鉴别器对数据来源判断正确的概率。在训练过程中先固定生成器，更新鉴别器的网络权重，交替迭代，双方都极力优化各自网络，使生成器生成接近真实样本的数据。
其中构建用于重建图像内容的泊松方程插入算法包括：根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容。
所述方法还包括：通过求解如下方程的最小化问题得到重建图像f，并利用有限差分离散化的图像像素网络对其进行离散化，采用雅克比矩阵方法(Jacobi method)或高斯-赛德儿(Gauss-Seidel iteration)迭代法进行连续迭代。根据Dirichlet边界条件，得到泊松的唯一解。
使用混合梯度来结合原图像和目标图像的显著特征,得到向量v(x)。
所述方法还包括：基于融合GAN和泊松编辑的图像扩增。
下面结合附图与实例对本发明作进一步说明：
(1)如图1所示，本发明专利一共分为四步，包括基于GAN的图像生成以及泊松方程插入，最后融合GAN算法以及泊松方程的编辑进行图像扩增，增加精确的图像样本；
(2)如图2所示，本发明专利包括基于GAN的图像生成，基于泊松方程的病灶插入，最终生成的合成图像可以用于MRI脑肿瘤影像的分类及分割任务中。其中对抗生成网络GAN的网络结构包括生成模型G和判别模型D。生成模型G捕获样本数据分布并生成类似于真实训练数据的样本，其中噪声Z服从某个分布(例如高斯分布，随机分布，均匀分布等)；判别模型D是一个二分类器，用于估计样本来自训练数据(非生成数据)的概率。
通过优化目标函数，可以调整概率生成模型的参数，使得生成的概率分布尽可能接近实际数据分布，但是这里的分布参数不再与传统概率统计相同，这些参数保存在一个黑盒中。优化函数的目标函数：
Figure BDA0002500451100000071
Pdata(x)为训练数据集，x表示数据中的样本；PZ(Z)为某概率分布函数。D(x)表示鉴别器认为x是真实样本的概率。1-D(G(Z))是鉴别器认为合成样本为假的概率。
在本发明专利中，输入对抗生成网络的图像可以仅包含多个病灶区域的Mask图像多通道融合图像，也可以包含融合Mask图像及现有的健康人多模态MRI影像，配对的MRI影像为包含不同病灶的脑肿瘤影像。
(3)如图3所示，泊松方程插入(Poisson image editing)是一种图像平滑插入的方法，泊松图像编辑的核心思想是根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容。图像融合的要求是使合并融合的图像尽可能平滑，看上去没有明显梯度变化差异较大的边界，最终形成无缝拼接的效果。生成拼接痕迹不明显、没有鬼影、伪影和黑边产生。因为融合后的图像应当尽可能平滑，所以Ω内的梯度应该尽可能小，为了获得理想的融合结果，可以通过求解如下方程的最小化问题得到合并后图像在目标图像覆盖的区域内的像素值f：
Figure BDA0002500451100000081
Figure BDA0002500451100000082
其中，定义D为融合的图像，Ω为合并后目标图像覆盖的区域，定义Ω为D的封闭子集边界
Figure BDA0002500451100000083
设合并后图像在Ω内的像素值为f，在Ω外的像素值为ft。
为了解决该最小化问题，利用有限差分离散化的图像像素网络对其进行离散化，并采用雅克比矩阵方法(Jacobi method)或高斯-赛德儿(Gauss-Seidel iteration)迭代法进行连续迭代，采用雅克比矩阵方法进行最小化求解。根据Dirichlet边界条件，得到泊松的唯一解。
Figure BDA0002500451100000084
是散度算子。
Figure BDA0002500451100000086
其中，
Figure BDA0002500451100000085
是梯度算子，v是导引场即
Figure BDA0002500451100000087
在MLI算法中设置为
Figure BDA0002500451100000088
插值的结果由原图像引导。
公式(4)描述的泊松图像编辑运行引导场为不保守场，可以使用混合梯度来结合原图像和目标图像的显著特征。使用如下方程得到向量v(x)：
Figure BDA0002500451100000089
其中
Figure BDA00025004511000000810
(x)分别为原域图像的导引场及目标域图像的导引场。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种MRI脑肿瘤图像生成方法，其特征在于，包括：
步骤1：构建图像融合对抗生成的GAN网络；
步骤2：构建重建图像内容的泊松方程插入算法；
步骤3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松方程编辑MRI融合效果叠加得到最终的图像扩增结果。
2.根据权利要求1所述的MRI脑肿瘤图像生成方法，其特征在于，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D；
所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分布或随机分布或均匀分布；
所述判别模型D是一个二分类器，计算样本来自训练数据的概率。
3.根据权利要求2所述的MRI脑肿瘤图像生成方法，其特征在于，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近实际数据分布；
构建优化函数的目标函数：
Figure FDA0002500451090000011
Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴别器认为x是真实样本的概率，1-D(G(Z))是鉴别器认为合成样本为假的概率；
Figure FDA0002500451090000014
表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似然估计；EZ表示对Z样本的最大似然估计。
4.根据权利要求1所述的MRI脑肿瘤图像生成方法，其特征在于，所述步骤3包括：
根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像覆盖的区域内的像素值f：
Figure FDA0002500451090000012
Figure FDA0002500451090000013
其中，Ω为合并后目标图像覆盖的区域，
Figure FDA0002500451090000015
为Ω封闭子集边界；合并后图像在Ω内的像素值为f，在Ω外的像素值为ft，
Figure FDA0002500451090000024
表示图像对图像进行灰度值的梯度计算；v表示导引场
Figure FDA0002500451090000025
插值的结果由原图像引导；
泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的显著特征，使用如下方程得到向量v(x)：
Figure FDA0002500451090000021
其中
Figure FDA0002500451090000026
分别为原域图像的导引场及目标域图像的导引场。
5.根据权利要求4所述的MRI脑肿瘤图像生成方法，其特征在于，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解，
Figure FDA0002500451090000027
是散度算子；
Figure FDA0002500451090000022
其中，
Figure FDA0002500451090000028
是梯度算子。
6.一种MRI脑肿瘤图像生成系统，其特征在于，包括：
模块M1：构建图像融合对抗生成的GAN网络；
模块M2：构建重建图像内容的泊松方程插入算法；
模块M3：根据所述图像融合对抗生成的GAN网络和重建图像内容的泊松方程插入算法对输入的3D核磁共振图像进行图像融合生成，将基于GAN网络的MRI图像生成、基于泊松方程编辑MRI融合效果叠加得到最终的图像扩增结果。
7.根据权利要求6所述的MRI脑肿瘤图像生成系统，其特征在于，所述多图像融合对抗生成的GAN网络包括生成模型G和判别模型D；
所述生成模型G捕获样本数据分布并生成训练数据的样本，其中噪声Z服从高斯分布或随机分布或均匀分布；
所述判别模型D是一个二分类器，计算样本来自训练数据的概率。
8.根据权利要求7所述的MRI脑肿瘤图像生成系统，其特征在于，通过优化目标函数，调整概率生成模型的参数，使得生成的概率分布接近实际数据分布；
构建优化函数的目标函数：
Figure FDA0002500451090000023
Pdata(x)为训练数据集，x表示数据中的样本，PZ(Z)为某概率分布函数，D(x)表示鉴别器认为x是真实样本的概率，1-D(G(Z))是鉴别器认为合成样本为假的概率；
Figure FDA0002500451090000029
表示最大化鉴别器的期望，最小化生成器的期望；Ex表示对x样本的最大似然估计；EZ表示对Z样本的最大似然估计。
9.根据权利要求6所述的MRI脑肿瘤图像生成系统，其特征在于，所述模块M3包括：
根据原域图像(fs)的梯度信息及目标域图像(ft)的边界信息，通过插值的方法重建出合成区域内的图像内容，通过求解如下方程的最小化问题得到合并后图像在目标图像覆盖的区域内的像素值f：
Figure FDA0002500451090000031
Figure FDA0002500451090000032
其中，Ω为合并后目标图像覆盖的区域，
Figure FDA0002500451090000035
为Ω封闭子集边界；合并后图像在Ω内的像素值为f，在Ω外的像素值为ft，
Figure FDA0002500451090000036
表示图像对图像进行灰度值的梯度计算；v表示导引场
Figure FDA0002500451090000037
插值的结果由原图像引导；
泊松图像编辑运行引导场为不保守场，使用混合梯度来结合原图像和目标图像的显著特征，使用如下方程得到向量v(x)：
Figure FDA0002500451090000033
其中
Figure FDA0002500451090000038
分别为原域图像的导引场及目标域图像的导引场。
10.根据权利要求9所述的MRI脑肿瘤图像生成系统，其特征在于，利用有限差分离散化的图像像素网络进行离散化，采用雅克比矩阵方法进行最小化求解，根据Dirichlet边界条件，得到泊松的唯一解，
Figure FDA0002500451090000039
是散度算子；
Figure FDA0002500451090000034
其中，
Figure FDA00025004510900000310
是梯度算子。
CN202010430630.8A 2020-05-20 2020-05-20 Mri脑肿瘤图像生成方法及系统 Active CN111612762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430630.8A CN111612762B (zh) 2020-05-20 2020-05-20 Mri脑肿瘤图像生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430630.8A CN111612762B (zh) 2020-05-20 2020-05-20 Mri脑肿瘤图像生成方法及系统

Publications (2)

Publication Number Publication Date
CN111612762A CN111612762A (zh) 2020-09-01
CN111612762B true CN111612762B (zh) 2023-04-07

Family

ID=72196296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430630.8A Active CN111612762B (zh) 2020-05-20 2020-05-20 Mri脑肿瘤图像生成方法及系统

Country Status (1)

Country Link
CN (1) CN111612762B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508835B (zh) * 2020-12-10 2024-04-26 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
EP3576020A1 (en) * 2018-05-30 2019-12-04 Siemens Healthcare GmbH Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
EP3576020A1 (en) * 2018-05-30 2019-12-04 Siemens Healthcare GmbH Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进的全卷积神经网络的脑肿瘤图像分割;邢波涛等;《信号处理》;20180825(第08期);全文 *

Also Published As

Publication number Publication date
CN111612762A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
Bi et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
US20230267611A1 (en) Optimization of a deep learning model for performing a medical imaging analysis task
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
Cao et al. Multi-task neural networks for joint hippocampus segmentation and clinical score regression
WO2018119766A1 (zh) 多模态图像处理系统及方法
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
Dong et al. Multi-view secondary input collaborative deep learning for lung nodule 3D segmentation
Yamanakkanavar et al. A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI
CN111260705A (zh) 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
EP4030385A1 (en) Devices and process for synthesizing images from a source nature to a target nature
Tiago et al. A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN
Li et al. Large-kernel attention for 3D medical image segmentation
Banerjee et al. A semi-automated approach to improve the efficiency of medical imaging segmentation for haptic rendering
CN111612762B (zh) Mri脑肿瘤图像生成方法及系统
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
Mortazi et al. Weakly supervised segmentation by a deep geodesic prior
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Zhou et al. Learning stochastic object models from medical imaging measurements using Progressively-Growing AmbientGANs
Mani Deep learning models for semantic multi-modal medical image segmentation
Zhou et al. Learning stochastic object models from medical imaging measurements by use of advanced ambientgans
Judice et al. A Novel assessment of various bio-imaging methods for lung tumor detection and treatment by using 4-D and 2-D CT images
Li et al. Design of an incremental music Teaching and assisted therapy system based on artificial intelligence attention mechanism
Bai et al. Progressive medical image annotation with convolutional neural network-based interactive segmentation method
CN114066798B (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210225

Address after: 200131 building C, No. 888, Huanhu West 2nd Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai

Applicant after: Fuying (Shanghai) Medical Technology Co.,Ltd.

Address before: 200040 No. 12 middle Urumqi Road, Shanghai, Jingan District

Applicant before: HUASHAN HOSPITAL, FUDAN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant