CN116823848A - 基于图像融合技术的多模态脑肿瘤分割方法 - Google Patents
基于图像融合技术的多模态脑肿瘤分割方法 Download PDFInfo
- Publication number
- CN116823848A CN116823848A CN202310239610.6A CN202310239610A CN116823848A CN 116823848 A CN116823848 A CN 116823848A CN 202310239610 A CN202310239610 A CN 202310239610A CN 116823848 A CN116823848 A CN 116823848A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- deep neural
- mri
- brain tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 56
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000005516 engineering process Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000001575 pathological effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 7
- 210000004556 brain Anatomy 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 36
- 238000013170 computed tomography imaging Methods 0.000 description 23
- 238000011176 pooling Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于图像融合技术的多模态脑肿瘤分割方法,该方法包括以下步骤:S1、获取经病理鉴定后的包含CT图像和MRI图像的脑肿瘤病例;S2、对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对;S3、根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练;S4、利用训练完成的深度神经网络模型对脑肿瘤图像进行分割,得到分割结果。本发明可以利用人工智能方法结合CT图像和MRI图像来实现对多模态脑部医学影像的特征提取,从而可以实现对脑部肿瘤的精准分割,降低医生处理和分析数据的工作量。
Description
技术领域
本发明涉及医学图像分割领域,具体来说,涉及基于图像融合技术的多模态脑肿瘤分割方法。
背景技术
脑肿瘤是颅内最常见的原发性恶性肿瘤,致死、致残率极高,是目前脑肿瘤治疗的难点,已成为我国严重的社会发展和公共卫生问题,其防治工作具有重要的临床意义和社会价值。随着人工智能技术的发展,应用人工智能技术加强对脑肿瘤的精准诊断及疗效评估是解决医疗资源分布不均、多学科诊疗模式未能普及、并实现脑肿瘤个体化、精准化诊疗的关键方法。然而,由于医学影像的多模态和数据集稀疏性,导致了脑肿瘤难以从医学影像中被精准分割出来。
不同模态的数据被映射到不同的语义空间以医学影像的形式展示给医生。然而,不同语义空间的信息会使得人工智能方法在分析时产生错误的决策结果。现有脑肿瘤分割的人工智能方法大多直接将数据输入模型,没有考虑到多模态数据之间的语义冲突,进而使得脑肿瘤的精准分割难以实现。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出基于图像融合技术的多模态脑肿瘤分割方法,以克服现有相关技术所存在的上述技术问题。
为此,本发明采用的具体技术方案如下:
基于图像融合技术的多模态脑肿瘤分割方法,该方法包括以下步骤:
S1、获取经病理鉴定后的包含CT图像和MRI图像的脑肿瘤病例;
S2、对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对;
S3、根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练;
S4、利用训练完成的深度神经网络模型对脑肿瘤图像进行分割,得到分割结果。
进一步的,所述脑肿瘤病例包含至少一组CT图像和MRI图像,且所述CT图像包括平扫、增强扫描及造影扫描,所述MRI图像包括T1、T2及Flair。
进一步的,所述对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对包括以下步骤:
S21、将图像采样至固定,并使用灰色图像覆盖图像中的部分区域;
S22、利用随机概率来选择是否对覆盖后的图像进行翻转;
S23、将图像的图像风格转换为灰度图;
S24、对转换后的灰度图进行归一化处理,使得图像的像素值满足预设范围值,并将归一化处理后的图像转换为张量。
进一步的,所述根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练包括以下步骤:
S31、根据随机划分原则将处理后的CT和MRI数据对按照随机比例划分为训练集、验证集及测试集;
S32、根据多模态数据特性构建深度神经网络,并初始化深度神经网络,定义损失函数,设定优化算法;
S33、基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛,得到训练后的深度神经网络模型;
S34、利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务。
进一步的,所述根据多模态数据特性构建深度神经网络包括以下步骤:
构建配准网络,配准网络由第一编码器和第一解码器组成,配准网络的输入为预处理后的CT和MRI数据对Xcm,输出为完成配准的CT和MRI数据对Xdcm;
构建融合网络,融合网络由第二编码器和第二解码器组成,融合网络的输入为完成配准的CT和MRI数据对Xdcm,输出为CT和MRI融合后的图像Xf;
构建分割网络,分割网络由第三编码器和第三解码器组成,分割网络的输入为CT和MRI融合后的图像Xf,输出为脑肿瘤的分割结果Xs;
构建深度神经网络,整合配准网络、融合网络和分割网络形成端到端的深度神经网络。
进一步的,所述初始化深度神经网络,定义损失函数,设定优化算法包括以下步骤:
采用均值为0、方差为1的正态分布随机初始化深度神经网络中的参数;
定义损失函数来衡量真实结果和输出结果之间的差异;
通过对损失函数求最优解,使用Adam优化算法对深度神经网络中的参数进行更新直至深度神经网络收敛;
将预处理后的CT和MRI数据对和真实分割标签输入到深度神经网络。
进一步的,所述基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛包括以下步骤:
通过前向传播算法提取预处理后的CT和MRI数据对的特征,实现图像的配准与融合,得到脑肿瘤的分割结果;
利用损失函数求解深度神经网络的分割结果和真实分割标签之间的差异,并将该差异具体量化为损失值;
结合基于链式求导法则的反向传播算法和Adam优化算法来对深度神经网络中的权重参数进行梯度更新;
使用权重参数更新过的深度神经网络重复迭代训练,直至深度神经网络收敛;
在权重参数更新的过程中,记录损失值得到变化曲线,并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络。
进一步的,所述利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务包括以下步骤:
将测试集输入训练完成的深度神经网络模型,对网络性能进行测试;
使用Django将训练完成的深度神经网络的部署为云服务;
基于html在移动设备上构建用户交互界面;
构建一个可访问的应用程序编程接口,使得移动设备可以通过交互界面对云服务进行访问。
进一步的,服务端和移动设备之间传输的信息基于HTTP协议,且HTTP的一个请求包括标题和POST。
本发明的有益效果为:通过提出一种基于图像融合技术的多模态脑肿瘤分割方法,可以利用人工智能方法结合CT图像和MRI图像来实现对多模态脑部医学影像的特征提取,从而可以实现对脑部肿瘤的精准分割,降低医生处理和分析数据的工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于图像融合技术的多模态脑肿瘤分割方法得流程图;
图2是根据本发明实施例的基于图像融合技术的多模态脑肿瘤分割方法中基于图像融合技术的多模态脑肿瘤分割模型图。
具体实施方式
为进一步说明各实施例,本发明提供有附图,这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理,配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点,图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例,提供了基于图像融合技术的多模态脑肿瘤分割方法。
现结合附图和具体实施方式对本发明进一步说明,如图1-图2所示,根据本发明实施例的基于图像融合技术的多模态脑肿瘤分割方法,该方法包括以下步骤:
S1、获取经病理鉴定后的包含CT图像和MRI图像的脑肿瘤病例。
其中,每个脑肿瘤病例包含至少一组CT(Computed Tomography,即电子计算机断层扫描)图像和MRI(Magnetic Resonance Imaging,即磁共振成像)图像,且所述CT图像包括但不限于平扫、增强扫描及造影扫描等,所述MRI图像包括但不限于T1(T1表示纵向弛豫时间)、T2(T2表示横向弛豫时间)及Flair(Flair表示磁共振液体衰减反转恢复序列)等。
S2、对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对。
其中,所述对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对包括以下步骤:
S21、将图像采样至固定,并使用灰色图像覆盖图像(随机生成的全灰色图像)中的部分区域,其中此处的部分区域是在多模态医学图像中随机选定的;
S22、利用随机概率来选择是否对覆盖后的图像进行翻转。
具体的,设定阈值为0.5,每次输入时随机生成一个0-1之间的浮点数,大于0.5则翻转图像,反之则不翻转。
S23、将图像的图像风格转换为灰度图,即通过将图像像素值映射到0-255实现;
S24、对转换后的灰度图进行归一化处理,使得图像的像素值满足预设范围值(即像素值大小缩放到0-255之间),并将归一化处理后的图像转换为张量。
S3、根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练。
其中,所述根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练包括以下步骤:
S31、根据随机划分原则将处理后的CT和MRI数据对按照随机比例划分为训练集、验证集及测试集;
S32、根据多模态数据特性构建深度神经网络,并初始化深度神经网络,定义损失函数,设定优化算法。
具体的,所述根据多模态数据特性构建深度神经网络包括以下步骤:
构建配准网络,配准网络由第一编码器和第一解码器组成,第一编码器和第二解码器均包括N个卷积层,N个池化层和N个反卷积层。所述的卷积层用于特征提取,所述的池化层用于特征降维。配准网络的输入为预处理后的CT和MRI数据对Xcm,输出为完成配准的CT和MRI数据对Xdcm,其中,MRI为固定图像,CT为移动图像;
构建融合网络,融合网络由第二编码器和第二解码器组成,第二编码器和第二解码器均包括N个卷积层,N个池化层和N个反卷积层。所述的卷积层用于特征提取,所述的池化层用于特征降维。融合网络的输入为完成配准的CT和MRI数据对Xdcm,输出为CT和MRI融合后的图像Xf;
构建分割网络,分割网络由第三编码器和第三解码器组成,第三编码器和第三解码器均包括N个卷积层,N个池化层和N个反卷积层。其中,在进行特征提取的过程中不同大小的卷积核被使用。所述的卷积层用于特征提取,所述的池化层用于特征降维。此外,在解码器中,特征融合模块被用来融合不同卷积核提取到的特征。分割网络的输入为CT和MRI融合后的图像Xf,输出为脑肿瘤的分割结果Xs;
构建深度神经网络,整合配准网络、融合网络和分割网络形成端到端的深度神经网络。
具体的,所述初始化深度神经网络,定义损失函数,设定优化算法包括以下步骤:
采用均值为0、方差为1的正态分布随机初始化深度神经网络中的参数;
定义损失函数来衡量真实结果和输出结果之间的差异;
通过对损失函数求最优解,使用Adam优化算法对深度神经网络中的参数进行更新直至深度神经网络收敛;
将预处理后的CT和MRI数据对和真实分割标签输入到深度神经网络。
其中,损失函数被定义为:
Ltotal=α*LMSE+β*LSSIM+γ*LBCE
其中,LMSE为配准网络的损失函数,LSSIM是融合网络的损失函数,LBCE是分割网络的损失函数。α,β和γ分别是不同损失函数的权重。
其中,Ii是原始图像对,Oi是配准图像对,Fi是融合结果,Pi是预测的分割结果,Ti是真实标签。
S33、基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛,得到训练后的深度神经网络模型。
具体的,所述基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛包括以下步骤:
通过前向传播算法提取预处理后的CT和MRI数据对的特征,实现图像的配准与融合,得到脑肿瘤的分割结果;
利用损失函数求解深度神经网络的分割结果和真实分割标签之间的差异,并将该差异具体量化为损失值;
结合基于链式求导法则的反向传播算法和Adam优化算法来对深度神经网络中的权重参数进行梯度更新;
使用权重参数更新过的深度神经网络重复迭代训练,直至深度神经网络收敛;
在权重参数更新的过程中,记录损失值得到变化曲线,并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络。
S34、利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务。
具体的,所述利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务包括以下步骤:
将测试集输入训练完成的深度神经网络模型,对网络性能进行测试;
使用Django(Eython Web框架,Django是一个开放源代码的Web应用框架,由Python写成)将训练完成的深度神经网络的部署为云服务;
基于html(HyperText Mark-up Language,超文本标记语言)在移动设备上构建用户交互界面;
构建一个可访问的应用程序编程接口,使得移动设备可以通过交互界面对云服务进行访问。服务端和移动设备之间传输的信息基于HTTP(Hyper Text Transfer Protocol,超文本传输协议)协议,且HTTP的一个请求包括标题和POST。
S4、利用训练完成的深度神经网络模型对脑肿瘤图像进行分割,得到分割结果。
综上所述,借助于本发明的上述技术方案,通过提出一种基于图像融合技术的多模态脑肿瘤分割方法,可以利用人工智能方法结合CT图像和MRI图像来实现对多模态脑部医学影像的特征提取,从而可以实现对脑部肿瘤的精准分割,降低医生处理和分析数据的工作量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,该方法包括以下步骤:
S1、获取经病理鉴定后的包含CT图像和MRI图像的脑肿瘤病例;
S2、对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对;
S3、根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练;
S4、利用训练完成的深度神经网络模型对脑肿瘤图像进行分割,得到分割结果。
2.根据权利要求1所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述脑肿瘤病例包含至少一组CT图像和MRI图像,且所述CT图像包括平扫、增强扫描及造影扫描,所述MRI图像包括T1、T2及Flair。
3.根据权利要求1所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述对获取的CT图像和MRI图像进行预处理,得到处理后的CT和MRI数据对包括以下步骤:
S21、将CT图像和MRI图像的分辨率采样至固定大小,并使用灰色图像覆盖图像中的部分区域;
S22、利用随机概率来选择是否对覆盖后的图像进行翻转;
S23、将图像的图像风格转换为灰度图;
S24、对转换后的灰度图进行归一化处理,使得图像的像素值满足预设范围值,并将归一化处理后的图像转换为张量。
4.根据权利要求1所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述根据多模态数据特性构建深度神经网络,并利用处理后的CT和MRI数据对深度神经网络进行训练包括以下步骤:
S31、根据随机划分原则将处理后的CT和MRI数据对按照随机比例划分为训练集、验证集及测试集;
S32、根据多模态数据特性构建深度神经网络,并初始化深度神经网络,定义损失函数,设定优化算法;
S33、基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛,得到训练后的深度神经网络模型;
S34、利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务。
5.根据权利要求4所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述根据多模态数据特性构建深度神经网络包括以下步骤:
构建配准网络,配准网络由第一编码器和第一解码器组成,配准网络的输入为预处理后的CT和MRI数据对Xcm,输出为完成配准的CT和MRI数据对Xdcm;
构建融合网络,融合网络由第二编码器和第二解码器组成,融合网络的输入为完成配准的CT和MRI数据对Xdcm,输出为CT和MRI融合后的图像Xf;
构建分割网络,分割网络由第三编码器和第三解码器组成,分割网络的输入为CT和MRI融合后的图像Xf,输出为脑肿瘤的分割结果Xs;
构建深度神经网络,整合配准网络、融合网络和分割网络形成端到端的深度神经网络。
6.根据权利要求4所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述初始化深度神经网络,定义损失函数,设定优化算法包括以下步骤:
采用均值为0、方差为1的正态分布随机初始化深度神经网络中的参数;
定义损失函数来衡量真实结果和输出结果之间的差异;
通过对损失函数求最优解,使用Adam优化算法对深度神经网络中的参数进行更新直至深度神经网络收敛;
将预处理后的CT和MRI数据对和真实分割标签输入到深度神经网络。
7.根据权利要求4所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述基于训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛包括以下步骤:
通过前向传播算法提取预处理后的CT和MRI数据对的特征,实现图像的配准与融合,得到脑肿瘤的分割结果;
利用损失函数求解深度神经网络的分割结果和真实分割标签之间的差异,并将该差异具体量化为损失值;
结合基于链式求导法则的反向传播算法和Adam优化算法来对深度神经网络中的权重参数进行梯度更新;
使用权重参数更新过的深度神经网络重复迭代训练,直至深度神经网络收敛;
在权重参数更新的过程中,记录损失值得到变化曲线,并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络。
8.根据权利要求4所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,所述利用测试集中的数据测试训练后的深度神经网络模型,并进行部署服务包括以下步骤:
将测试集输入训练完成的深度神经网络模型,对网络性能进行测试;
使用Django将训练完成的深度神经网络的部署为云服务;
基于html在移动设备上构建用户交互界面;
构建一个可访问的应用程序编程接口,使得移动设备可以通过交互界面对云服务进行访问。
9.根据权利要求8所述的基于图像融合技术的多模态脑肿瘤分割方法,其特征在于,服务端和移动设备之间传输的信息基于HTTP协议,且HTTP的一个请求包括标题和POST。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310239610.6A CN116823848A (zh) | 2023-03-14 | 2023-03-14 | 基于图像融合技术的多模态脑肿瘤分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310239610.6A CN116823848A (zh) | 2023-03-14 | 2023-03-14 | 基于图像融合技术的多模态脑肿瘤分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116823848A true CN116823848A (zh) | 2023-09-29 |
Family
ID=88121103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310239610.6A Pending CN116823848A (zh) | 2023-03-14 | 2023-03-14 | 基于图像融合技术的多模态脑肿瘤分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116823848A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118691934A (zh) * | 2024-08-26 | 2024-09-24 | 海创未来(杭州)医疗科技有限公司 | 基于mri多参数图像自适应融合的危及器官勾画方法 |
CN118691934B (zh) * | 2024-08-26 | 2024-11-05 | 海创未来(杭州)医疗科技有限公司 | 基于mri多参数图像自适应融合的危及器官勾画方法 |
-
2023
- 2023-03-14 CN CN202310239610.6A patent/CN116823848A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118691934A (zh) * | 2024-08-26 | 2024-09-24 | 海创未来(杭州)医疗科技有限公司 | 基于mri多参数图像自适应融合的危及器官勾画方法 |
CN118691934B (zh) * | 2024-08-26 | 2024-11-05 | 海创未来(杭州)医疗科技有限公司 | 基于mri多参数图像自适应融合的危及器官勾画方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
WO2021017372A1 (zh) | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 | |
Gros et al. | SoftSeg: Advantages of soft versus binary training for image segmentation | |
CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
Khagi et al. | Pixel‐Label‐Based Segmentation of Cross‐Sectional Brain MRI Using Simplified SegNet Architecture‐Based CNN | |
Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
CN116097302A (zh) | 用于病灶检测的利用联合训练的连接式机器学习模型 | |
CN110276741B (zh) | 结节检测及其模型训练的方法和装置以及电子设备 | |
Shen et al. | Breast mass detection from the digitized X-ray mammograms based on the combination of deep active learning and self-paced learning | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
US11430123B2 (en) | Sampling latent variables to generate multiple segmentations of an image | |
Yang et al. | Dltta: Dynamic learning rate for test-time adaptation on cross-domain medical images | |
CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
Proietto Salanitri et al. | Hierarchical 3d feature learning forpancreas segmentation | |
Sun et al. | FDRN: a fast deformable registration network for medical images | |
US20230386032A1 (en) | Lesion Detection and Segmentation | |
Tummala et al. | Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network | |
CN115601299A (zh) | 基于图像的肝硬化状态智能评估系统及其方法 | |
CN114972211A (zh) | 图像分割模型的训练方法、分割方法、装置、设备和介质 | |
Wu et al. | Semiautomatic segmentation of glioma on mobile devices | |
Wighton et al. | Conditional random fields and supervised learning in automated skin lesion diagnosis | |
CN115860087A (zh) | 一种模型训练方法、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |