CN111598864A - 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 - Google Patents
一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 Download PDFInfo
- Publication number
- CN111598864A CN111598864A CN202010405639.3A CN202010405639A CN111598864A CN 111598864 A CN111598864 A CN 111598864A CN 202010405639 A CN202010405639 A CN 202010405639A CN 111598864 A CN111598864 A CN 111598864A
- Authority
- CN
- China
- Prior art keywords
- contribution
- fusion
- image
- mri
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 206010073071 hepatocellular carcinoma Diseases 0.000 title claims abstract description 49
- 231100000844 hepatocellular carcinoma Toxicity 0.000 title claims abstract description 46
- 230000004069 differentiation Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 20
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 206010016654 Fibrosis Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000007882 cirrhosis Effects 0.000 description 2
- 208000019425 cirrhosis of liver Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000002597 diffusion-weighted imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000019522 cellular metabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,首先,建立有效高维多模态影像数据的关联表示,即选择一种合适的特征提取方式对多模态MRI影像进行特征提取,同时,利用多模态MRI影像贡献度自适应加权机制,对九个模态的MRI影像进行任务贡献度学习,然后将任务贡献度学习所得的参数结果与多模态融合MRI数据经过特征提取器所得的特征进行特征层融合,最后,在网络顶端添加分类器,使用结合了贡献度的多模态MRI影像特征进行HCC分化程度的分级任务,以实现更为精准的预测。比起传统影像学诊断方法,本发明排除了主观因素的影响并同时考虑到了各个多模态MRI序列的诊断能力和贡献,从而使得到的结果更加准确和鲁棒。
Description
技术领域
本发明涉及医学图像技术领域,具体涉及一种基于多模态核磁影像分类贡献度自适应加权融合的肝细胞癌分化程度无创评估方法。
背景技术
肝细胞癌(Hepatocellular Cancer,HCC)是最常见的肝脏原发恶性肿瘤及全球第三大致死性癌症,它是一种由与正常肝细胞特征相似的细胞组成的上皮性肿瘤。肝硬化是HCC最重要的临床危险因素,大约有80%的肝硬化患者最终转化为肝细胞癌。
而目前国内外诊断HCC分化程度的金标准是的基于穿刺病理活检,这种方式对人体有损伤,且极具风险性,并且存在有创性、针道转移、取样误差等诸多缺陷。而在传统影像学方法中,包括超声、CT、磁共振成像等多种影像技术均已用于肝细胞癌分级的研究中,但常规的影像技术存在以下问题:
1)由于肝细胞癌分化时各种征象产生的变化非常复杂,而传统影像学方法多为定性的诊断,受影像科医生主观经验影响大,缺乏更为准确的量化评估;
2)不同模态的影像通常会反映出的不同的病理特征,其中蕴含着不同的诊断信息与对应种类的病灶区域的征象,因此不同模态的影像往往对最后分类任务的贡献程度不同,而传统影像学方法多从单一模态影像技术的角度进行研究,无法做到多维度的全面评估和不同模态的影像贡献度的充分利用。
本方法所采用的医学影像是核磁共振成像(MRI),相比于CT、超声等医学成像方式,MRI影像检查有一个突出特点:有着多样的成像序列,这些成像序列能够采集到各具特点的MRI图像,不仅可以反映人体解剖形态,还能够反映人体血流和细胞代谢等生理功能信息。MRI具有良好的软组织分辨力,对比分辨率高,它可以清楚地分辨各类软组织结构,并准确区分脑灰质和白质。另外MRI还具有多个方位任意切层的能力(包括横轴位、冠状位、矢状位及任意斜位)。多平面多参数成像可清楚地显示病变所在的位置、区域以及和周围组织器官之间的关系,对许多病变的定性、定位和诊断有着其独特的优越性。最重要的是MRI对人体辐射损害的特性避免了其他影像学检查如X射线对人体的损害。MRI是多参数成像,根据成像参数的不同可以分为:T1加权成像(T1WI)、T2加权成像(T2WI)、T1加权同反相位成像、弥散加权成像(DWI)、灌注加权成像(PWI)等,每种参数设置都反应不同模态的医学图像,同一部位可以获得多种参数下的图像,不同参数的图像可以反映组织器官的不同特点,比如:T1WI有利于获取组织解剖结构,而T2WI可以显示组织的水分布,对出血较敏感,在确定病变范围上有重要的作用;DWI能够检测活体组织内的水分子扩散运动;磁共振动态对比增强成像(DCE-MRI)技术利用高空间分辨率、高时间分辨率及动态连续的成像方法可获取注入对比剂前后的图像,可以同时反映病灶的形态学和血流灌注信息。对于肝脏疾病的检查,通常使用T1WI、T2WI扫描和动态对比增强扫描(DCE-MRI),其中动态增强扫描技术是肝脏特别是肝癌检查最为常规方法,为HCC的无创评估提供了可能。
深度学习(Deep learning)是机器学习中一种基于数据进行表征学习的算法。随着计算机能力的不断提高和算法的不断改进,深度学习特别是深度卷积神经网络(Convolutional neural network,CNN)已经迅速发展成为医学图像分析的研究热点。CNN的卷积结构能够自动学习医学图像数据的局部特征,还可以通过不同卷积核来提取多层次特征,其中底层特征包含更多图像的细节,而高层特征则降低了对基层特征的敏感性且包含更高级的语义信息。减少了噪音的影响,有助于提高图像分类或者分割的准确性。基于卷积神经网络的医学辅助诊断系统已成为智能医疗的主要发展方向。假定基于多模态医疗影像数据结合深度学习技术能通过人类样本学习出揭示反映HCC分化程度的影像特性和诊断模式,以临床经验作为经验知识,采取多模态MRI影像数据的贡献度自适应融合机制,实现融合数据学习与经验知识结合的HCC分化程度估测,进而解决针对多模态MRI影像的HCC分级问题。
发明内容
本发明的目的在于提供一种基于多模态MRI影像分类贡献度自适应加权融合的肝细胞癌分化程度评估方法,用深度学习方法对多模态影像数据建模,并将不同模态的MRI影像对最后分类结果的贡献度与其经过特征提取器所得的特征进行融合,并为结合了贡献度的多模态特征添加分类器,以实现HCC分化程度的分级。
为了实现上述目的,本发明采用以下技术方案:首先,建立有效高维多模态影像数据的关联表示,即选择一种合适的特征提取方式对多模态MRI影像进行特征提取,同时,利用多模态MRI影像贡献度自适应加权机制,对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI影像进行任务贡献度学习,然后将任务贡献度学习所得的参数结果与多模态融合MRI数据经过特征提取器所得的特征进行特征层融合,最后,在网络顶端添加分类器,使用结合了贡献度的多模态MRI影像特征进行HCC分化程度的分级任务,以实现更为精准的预测。
一种基于多模态MRI影像分类贡献度自适应加权融合的肝细胞癌分化程度评估方法,包括以下步骤:
步骤1,利用卷积神经网络对多模态肝细胞癌分化程度医疗影像进行特征提取,并得到基于多模态MRI影像融合数据的特征F;
步骤1.1,采集T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列,并在对九种肝细胞癌分化程度医疗影像序列处理后进行拼接,得到多模态肝细胞癌分化程度医疗影像,其中包括由2D MRI影像拼接而成的3D张量和由3D MRI影像拼接而成的4D张量;
步骤1.2,利用卷积神经网络对融合好的多模态肝细胞癌分化程度医疗影像进行特征提取,并得到基于多模态融合影像的特征F,其中F∈RH×W×C,H、W、C分别代表特征的宽、高和通道数;
步骤2,针对拼接好的3D和4D张量,即多模态融合数据,使用两种重新设计多模态贡献度学习及加权模块分别进行贡献度的学习和特征加权,具体包括如下步骤:
步骤2.1,将两种重新设计的多模态贡献度学习及加权模块与特征提取模块进行并联,保证特征提取和贡献度学习结果的融合;
步骤2.2,首先利用全局平均池化将多通道多模态融合影像特征处理成一个一维张量,再使用全连接层,引入一个参数W和非线性ReLU激活函数,用于学习不同模态对最后分类任务的贡献度;
步骤3,针对上述步骤得到的多模态MRI肝细胞癌分化程度影像针对HCC分化程度分级任务的贡献度和多模态MRI影像融合数据的特征F,引入Reweight模块为每一个对应模态的特征赋予权值,以调整其特征对最后分类结果的影响。
步骤4,采用优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合训练;
步骤5,联合训练完成后,即可用来对HCC分化程度进行准确预测,得到基于融合分类贡献度多模态MRI影像特征,直接添加浅层分类器进行HCC的分化程度判别。
步骤1.1中,由于不同序列的层厚和分辨率不完全相同,因此对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列进行数据的归一化、标准化和预处理,归一化处理后9种模态3D和4D影像序列大小分别为H×W×C和H×W×C×B,H、W、C、B分别为图像的长宽通道数和序列数,便得到了2D和3D两种融合方式的多模态医疗影像。
步骤1.2中所进行的特征提取操作采用的卷积神经网络模块为ResNet18中的一个ResBlock,其由一个1×1、3×3、1×1构成的瓶颈层和一个Batch Normalization操作组成,其中ResBlock不仅可以有效地提取特征,而且可以减少反向传播中的梯度弥散问题,而BN的加入则可以加快训练速度并提升网络的泛化能力。
步骤2和3所采用的用于学习不同模态贡献度的网络由全局平均池化、一层非线性(二层针对4D输入)全连接层,和Reweight操作构成,首先将步骤1中所提取的特征通过全局平均池化按照通道维压缩成一维特征,通过引入的非线性函数学习一维特征中所蕴含的不同模态的贡献值,Reweight操作则是将学到的贡献值与之前提取特征的对应的通道进行加权,使得贡献度和对应模态所得的特征足以完美融合。
步骤4中所述的优化算法采用一阶矩估计的指数衰减率α1=0.9,二阶矩估计的指数衰减率α2=0.999,初始学习率e=0.09的自适应矩阵估计,优化目标是调整网络中的可训练参数使损失函数最小化。
步骤4中采用的训练方法为特征提取模块和贡献度学习模块的联合训练,其中,训练数据为肝细胞癌分化程度分级数据,其中训练样本100例,验证样本50例,训练标签为经过有经验的放射科医生标注和放射科主任医生验证;损失函数为交叉熵损失函数。
有益效果
本发明通过对不同模态的医疗影像采用贡献度学习的方式,获取不同模态的MRI影像对于最后HCC分化程度分级任务的贡献度,不仅为提供不同模态对HCC分化程度识别能力。结合了模态贡献度的深度学习,可以得到精准HCC分化程度分级的预测结果。本发明比起传统影像学诊断方法,则排除了主观因素的影响并同时考虑到了各个多模态MRI序列的诊断能力和贡献,从而使得到的结果更加准确和鲁棒。
附图说明
图1为本发明的2D&3D多模态MRI影像融合方法框图;
图2为本发明的总体模块及方法框图;
图3为本发明的2D多模态影像贡献度自适应融合特征提取模块;
图4为本发明的3D多模态影像贡献度自适应融合特征提取模块;
具体实施方式
以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明所述方法的流程图如图2所示,具体包括以下步骤:
步骤1,对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI影像进行融合,融合方式如图1,具体包括如下步骤:
步骤1.1,针对9种模态的MRI数据,从各个序列中挑选一张肿瘤ROI区域最大的影像,并在对9种医疗影像序列处理后进行拼接,得到2D多模态MRI融合数据;由于不同检查采用的设备可能有所区别,因此首先需要将三种模态的影像序列的大小进行归一化处理,此处采用传统的插值法,归一化处理后进行数据融合所得的序列大小为H×W×C(H、W、C分别为图像的长、宽、通道数)。
步骤1.2,针对9种模态的MRI数据,从各个序列中挑选5张连续的肿瘤ROI区域最大的影像并拼接成3D数据块,并在对9种医疗影像序列的3D数据块处理后进行拼接,得到4D多模态MRI融合数据,归一化处理后进行数据融合所得的序列大小为H×W×C×B(H、W、C、B分别为图像的长、宽、通道数、序列数)。
本发明针对3D和4D的影像融合数据,分别采用图3和图4中的2D和3D多模态影像贡献度自适应融合特征提取模块进行特征提取和模态贡献度计算及融合,在特征提取和贡献融合之后,在网络顶层添加类别分类器,使用结合了各个模态贡献值的多模态影像特征,完成HCC分化程度的判别。网络实现中,所有卷积核使用从截断的均值为0、标准差为0.01的正态分布中输出的随机值进行初始化;使用整流器线性单元(Rectified linear unit,ReLU)作为卷积层和贡献度学习的全连接层的激活函数;对全连接层使用比例为0.5的Dropout方法防止网络过拟合;
步骤2,3中利用2D和3D多模态影像贡献度自适应融合特征提取模块分别提取3D和4D的影像融合数据的特征。
对于2D多模态影像贡献度自适应融合特征提取模块,如图3,设输入3D影像融合数据经过ResBlock的特征提取之后所得的特征为F,其中F∈RH×W×C,H、W、C分别代表特征的宽、高和通道数;
首先,将F输入到全局平均池化层中,得到特征F1,
F1--GAP(F)
其中F1∈R1×1×C,是一个一维张量,用于表示每个通道维的贡献值。紧接着引入非线性和参数W用于学习贡献值,通过线性计算外接非线性操作线性整流函数(RectifiedLinear Unit)为各个模态生成权重,其中W显式地建模各模态间的相关性,输出F2的大小为1×1×C。
F2=δ(Fl×W+b)
最后是Reweight操作,将学得的参数与特征提取所得特征相结合。
其中F3为大小为H×W×C,并作为模块的输出,整个模块会重复该过程三次。
对于3D多模态影像贡献度自适应融合特征提取模块,如图4,设输入4D影像融合数据经过ResBlock的特征提取之后所得的特征为F,其中F∈RH×W×C×B,H、W、C、B分别代表特征的宽、高和通道数和模态数;
首先,需要融合所有分支的模态的信息,因此先进行简单的像素级相加融合:
得到的F1的大小为H×W×C,之后使用全局平均池化,对F1进行处理。
紧接着引入非线性,外接非线性操作线性整流函数(Rectified Linear Unit)为各个模态生成权重;
F3=δ(F2×W+b)
最后使用一个channel-wise的softmax操作为F中的B个模态的特征分别赋予权值。最后将融合了各个模态贡献值的特征采用逐元素加的方式融合在一起,作为模块的输出。
步骤4,采用主流的优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合训练;
网络联合训练具体采用交替训练的方法,即保持一个网络的参数不变,只训练另一个网络,再反之;训练数据为150例HCC患者的磁共振影像及病理数据,即每例样本均包含步骤1.1中所述的9种模态的医疗影像序列采样和融合所得的3D和4D多模态融合影像数据,其中150例样本划分为用于对网络进行训练的训练样本100例,以及用于验证网络训练效果的验证样本50例;损失函数采用交叉熵损失;优化算法采用一阶矩估计的指数衰减率α1=0.9,二阶矩估计的指数衰减率α2=0.999,初始学习率e=0.09的自适应矩阵估计(adaptive moment estimation,Adam),优化目标是调整网络中的可训练参数使损失函数最小化。
步骤5,训练完成后,即可用于HCC分化程度的分级。
使用50例验证样本验证网络的性能,并重复10次实验,计算10次实验结果的均值和标准差,实验结果如表所示:
Method 1为仅采用步骤2,3,4的网络对150例患者的多模态影像数据进行训练及验证的结果,分别在准确率,敏感度,精确度和F1值上的表现;
至此,本发明的具体实施过程就描述完毕。
Claims (6)
1.一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:包括以下步骤,
步骤1,利用卷积神经网络对多模态肝细胞癌分化程度医疗影像进行特征提取,并得到基于多模态MRI影像融合数据的特征F;
步骤1.1,采集T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列,并在对九种肝细胞癌分化程度医疗影像序列处理后进行拼接,得到多模态肝细胞癌分化程度医疗影像,其中包括由2D MRI影像拼接而成的3D张量和由3D MRI影像拼接而成的4D张量;
步骤1.2,利用卷积神经网络对融合好的多模态肝细胞癌分化程度医疗影像进行特征提取,并得到基于多模态融合影像的特征F,其中F∈RH×W×C,H、W、C分别代表特征的宽、高和通道数;
步骤2,针对拼接好的3D和4D张量,即多模态融合数据,使用两种重新设计多模态贡献度学习及加权模块分别进行贡献度的学习和特征加权,具体包括如下步骤:
步骤2.1,将两种重新设计的多模态贡献度学习及加权模块与特征提取模块进行并联,保证特征提取和贡献度学习结果的融合;
步骤2.2,首先利用全局平均池化将多通道多模态融合影像特征处理成一个一维张量,再使用全连接层,引入一个参数W和非线性ReLU激活函数,用于学习不同模态对最后分类任务的贡献度;
步骤3,针对上述步骤得到的多模态MRI肝细胞癌分化程度影像针对HCC分化程度分级任务的贡献度和多模态MRI影像融合数据的特征F,引入Reweight模块为每一个对应模态的特征赋予权值,以调整其特征对最后分类结果的影响;
步骤4,采用优化算法对步骤1、2所涉及的卷积神经网络和深层神经网络进行联合训练;
步骤5,联合训练完成后,即可用来对HCC分化程度进行准确预测,得到基于融合分类贡献度多模态MRI影像特征,直接添加浅层分类器进行HCC的分化程度判别。
2.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:步骤1.1中,由于不同序列的层厚和分辨率不完全相同,因此对T1WI/IN、T1WI/OUT、T2WI和DCE-MRI序列中包含的Plain Scan、EAP、LAP、PVP、DP3、DP5共九个模态的MRI医疗影像序列进行数据的归一化、标准化和预处理,归一化处理后9种模态3D和4D影像序列大小分别为H×W×C和H×W×C×B,H、W、C、B分别为图像的长宽通道数和序列数,便得到了2D和3D两种融合方式的多模态医疗影像。
3.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:步骤1.2中所进行的特征提取操作采用的卷积神经网络模块为ResNet18中的一个ResBlock,其由一个1×1、3×3、1×1构成的瓶颈层和一个Batch Normalization操作组成。
4.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:步骤2和3所采用的用于学习不同模态贡献度的网络由全局平均池化、一层非线性全连接层,和Reweight操作构成,首先将步骤1中所提取的特征通过全局平均池化按照通道维压缩成一维特征,通过引入的非线性函数学习一维特征中所蕴含的不同模态的贡献值,Reweight操作则是将学到的贡献值与之前提取特征的对应的通道进行加权,使得贡献度和对应模态所得的特征融合。
5.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:步骤4中所述的优化算法采用一阶矩估计的指数衰减率α1=0.9,二阶矩估计的指数衰减率α2=0.999,初始学习率e=0.09的自适应矩阵估计。
6.根据权利要求1所述的一种基于多模态影像贡献度融合的肝细胞癌分化评估方法,其特征在于:步骤4中采用的训练方法为特征提取模块和贡献度学习模块的联合训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010405639.3A CN111598864B (zh) | 2020-05-14 | 2020-05-14 | 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010405639.3A CN111598864B (zh) | 2020-05-14 | 2020-05-14 | 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111598864A true CN111598864A (zh) | 2020-08-28 |
CN111598864B CN111598864B (zh) | 2023-07-25 |
Family
ID=72192221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010405639.3A Active CN111598864B (zh) | 2020-05-14 | 2020-05-14 | 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111598864B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344951A (zh) * | 2021-05-21 | 2021-09-03 | 北京工业大学 | 一种边界感知双重注意力引导的肝段分割方法 |
CN113902724A (zh) * | 2021-10-18 | 2022-01-07 | 广州医科大学附属肿瘤医院 | 瘤细胞图像的分类方法及装置、设备、存储介质 |
CN114119546A (zh) * | 2021-11-25 | 2022-03-01 | 推想医疗科技股份有限公司 | 检测mri影像的方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090082637A1 (en) * | 2007-09-21 | 2009-03-26 | Michael Galperin | Multi-modality fusion classifier with integrated non-imaging factors |
CN105492919A (zh) * | 2013-07-30 | 2016-04-13 | 皇家飞利浦有限公司 | 组合式mri pet成像 |
CN109214433A (zh) * | 2018-08-20 | 2019-01-15 | 福建师范大学 | 一种卷积神经网络区分肝癌分化等级的方法 |
CN109528196A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法 |
CN109717870A (zh) * | 2018-12-25 | 2019-05-07 | 深圳市第二人民医院 | 3.0t场强下自体软骨细胞移植病人的多模态磁共振成像方法 |
CN109949268A (zh) * | 2019-01-24 | 2019-06-28 | 郑州大学第一附属医院 | 一种基于机器学习的肝细胞癌分化水平分级方法 |
CN110135058A (zh) * | 2019-05-14 | 2019-08-16 | 北京工业大学 | 基于多模态特征子集选择性集成建模的磨机负荷参数预测方法 |
-
2020
- 2020-05-14 CN CN202010405639.3A patent/CN111598864B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090082637A1 (en) * | 2007-09-21 | 2009-03-26 | Michael Galperin | Multi-modality fusion classifier with integrated non-imaging factors |
CN105492919A (zh) * | 2013-07-30 | 2016-04-13 | 皇家飞利浦有限公司 | 组合式mri pet成像 |
CN109214433A (zh) * | 2018-08-20 | 2019-01-15 | 福建师范大学 | 一种卷积神经网络区分肝癌分化等级的方法 |
CN109528196A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于多模态影像及经验知识的肝静脉压力梯度无创性评估方法 |
CN109717870A (zh) * | 2018-12-25 | 2019-05-07 | 深圳市第二人民医院 | 3.0t场强下自体软骨细胞移植病人的多模态磁共振成像方法 |
CN109949268A (zh) * | 2019-01-24 | 2019-06-28 | 郑州大学第一附属医院 | 一种基于机器学习的肝细胞癌分化水平分级方法 |
CN110135058A (zh) * | 2019-05-14 | 2019-08-16 | 北京工业大学 | 基于多模态特征子集选择性集成建模的磨机负荷参数预测方法 |
Non-Patent Citations (2)
Title |
---|
PROF S, L SATARKAR 等: "Fuzzy Expert System for the Risk Identification of the Hepatocellular Carcinoma", INTERNATIONAL CONFERENCE ON RECENT ADVANCES AND INNOVATIONS IN ENGINEERING (ICRAIE-2014) * |
成东亮 等: "MRI在评估肝细胞癌分化程度中的研究进展", 磁共振成像 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344951A (zh) * | 2021-05-21 | 2021-09-03 | 北京工业大学 | 一种边界感知双重注意力引导的肝段分割方法 |
CN113344951B (zh) * | 2021-05-21 | 2024-05-28 | 北京工业大学 | 一种边界感知双重注意力引导的肝段分割方法 |
CN113902724A (zh) * | 2021-10-18 | 2022-01-07 | 广州医科大学附属肿瘤医院 | 瘤细胞图像的分类方法及装置、设备、存储介质 |
CN114119546A (zh) * | 2021-11-25 | 2022-03-01 | 推想医疗科技股份有限公司 | 检测mri影像的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111598864B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11967072B2 (en) | Three-dimensional object segmentation of medical images localized with object detection | |
Chen et al. | Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet | |
Ikedo et al. | Development of a fully automatic scheme for detection of masses in whole breast ultrasound images | |
WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
Zhang et al. | Effective staging of fibrosis by the selected texture features of liver: Which one is better, CT or MR imaging? | |
CN111598864B (zh) | 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 | |
CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
Yao et al. | Advances on pancreas segmentation: a review | |
CN114202524A (zh) | 多模态医学图像的性能评价方法与系统 | |
Lustermans et al. | Optimized automated cardiac MR scar quantification with GAN‐based data augmentation | |
Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
US20090069665A1 (en) | Automatic Lesion Correlation in Multiple MR Modalities | |
Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
WO2020056196A1 (en) | Fully automated personalized body composition profile | |
CN111582215A (zh) | 一种胆胰系统正常解剖结构的扫查识别系统和方法 | |
US20230162353A1 (en) | Multistream fusion encoder for prostate lesion segmentation and classification | |
Shi et al. | Metabolic anomaly appearance aware U-Net for automatic lymphoma segmentation in whole-body PET/CT scans | |
Yu et al. | Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net | |
Mani | Deep learning models for semantic multi-modal medical image segmentation | |
Abd Hamid et al. | Incorporating attention mechanism in enhancing classification of alzheimer’s disease | |
Li et al. | Morphology-guided prostate mri segmentation with multi-slice association | |
Ravi et al. | MDNN: Predictive Modeling of Breast Cancer Subtypes Using Modified Deep Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |