CN116258671B - 一种基于mr图像智能勾画方法、系统、设备及存储介质 - Google Patents

一种基于mr图像智能勾画方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116258671B
CN116258671B CN202211674850.0A CN202211674850A CN116258671B CN 116258671 B CN116258671 B CN 116258671B CN 202211674850 A CN202211674850 A CN 202211674850A CN 116258671 B CN116258671 B CN 116258671B
Authority
CN
China
Prior art keywords
image
segmentation
organ
images
organs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211674850.0A
Other languages
English (en)
Other versions
CN116258671A (zh
Inventor
刘懿梅
彭应林
陈美宁
陈利
邓小武
祁振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Manteia Data Technology Co ltd In Xiamen Area Of Fujian Pilot Free Trade Zone
Original Assignee
Sun Yat Sen University Cancer Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University Cancer Center filed Critical Sun Yat Sen University Cancer Center
Priority to CN202211674850.0A priority Critical patent/CN116258671B/zh
Publication of CN116258671A publication Critical patent/CN116258671A/zh
Application granted granted Critical
Publication of CN116258671B publication Critical patent/CN116258671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于MR图像智能勾画方法、系统、设备及存储介质,包括:获取初始MR图像和初始CT图像,并分别进行划分,对应得到多组第一MRI图像和第一CT图像;并同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;依次对第一图像分类,并对应使用不同的分割方式,对应得到全部靶区和危及器官的第一分割结果;确定肿瘤分割的目标区域,并其对应的第一MRI图像、第一CT图像和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果。本发明能够对基于MR图像进行多器官同时快速自动精细分割。

Description

一种基于MR图像智能勾画方法、系统、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于MR图像智能勾画方法、系统、设备及存储介质。
背景技术
由于放疗疗程较长,在治疗过程中患者常因放射反应导致消瘦,致使体位固定不可靠,或因肿瘤退缩而导致靶区位置、形状发生改变,这时如仍坚持原放疗方案,无疑会遗漏肿瘤靶区或加重正常组织损伤。如能开展自适应放疗(Adaptive Radiotherapy,ART),借助图像引导及时发现诸如器官运动、摆位误差、肿瘤收缩等变化情况,进而在线调整治疗条件使照射野始终能紧紧“追随”靶区,则能达成真正意义上的精准治疗。
头颈部肿瘤(Head Neck Cancer,HNC)在疾病的早期就会发生临近组织浸润,由于肿瘤侵犯区域图像灰度、结构均较为复杂、与正常组织和器官界限不明显。目前,临床上肿瘤靶区(Gross Tumor Volume,GTV)需由经验丰富的医生手工勾画确定,或者,引入CNN对脑肿瘤进行分割,且取得了较好的结果[1-2]。Wang等[2]将CNN应用于HNC肿瘤分割,Li等[3]在最新发表的研究中采用类似U-Net结构的CNN网络,在动态增强磁共振成像(DynamicContrast-Enhanced MRI,DCE-MRI)上实现了鼻咽癌肿瘤的自动分割。
但是,现有人工勾画方法不仅效率低,而且由于观察者之间存在着主观差异,不同勾画者之间差异性较大且耗时费力,导致人工勾画的靶区一致性较差,无法满足在线计划调整的时间需求;而现有人工智能方法[3]利用CNN网络处理器官分割,所使用的DCE-MRI采集过程较为复杂且价格昂贵,在临床上应用并不广泛;并且,上述研究均是在CT图像进行自动分割,还没有在MR图像上进行研究。因此,放疗MR图像中肿瘤靶区的自动分割仍然是当前HNC放疗诊断和治疗中面临的一大难题。
参考文献:
[1]Chen H,Chen M,Lu W,Zhao B,Jiang S,Zhou L,Kim N,Spangler A,RahimiA,Zhen X,Gu X.Deep-learning based surface region selection for deepinspiration breath hold(DIBH)monitoring in left breast cancerradiotherapy.Phys Med Biol.2018 Dec;63(24):245013.
[2]Wang Y,Zu C,Hu G,Luo Y,Ma Z,He K,Wu X,Zhou J.Automatic TumorSegmentation with Deep Convolutional Neural Networks for RadiotherapyApplications.Neural Process Lett.2018 Feb;48(3):1323-1334.
[3]Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks forBiomedical Image Segmentation.in Medical Image Computing and Computer-Assisted Intervention(MICCAI).2015,Springer,LNCS.234-241.
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于MR图像智能勾画方法、系统、设备及存储介质,旨在提高自动分割MR图像的精度。
第一方面,本发明提供了一种基于MR图像智能勾画方法,所述方法包括:
获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像;
将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;
依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;
根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果;
根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
本发明将多组第一MRI图像和第一CT图像作为第一神经网络模型的输入,输出对应多组器官预测概率图,并将器官预测概率图作为MR图像肿瘤分割的先验,通过计算预测概率图中危及器官的肿瘤的中心位置坐标,并将对应危及器官图像的分割结果作为第二神经网络模型的进一步约束,让影响第二神经网络模型对MR图像的肿瘤分割的因素局限在待分割目标的局部区域,减少其他区域对对MR图像的肿瘤分割带来的影响,能够降低基于MR图像的肿瘤分割问题的解空间,进而提升整个模型的训练效率和基于MR图像的肿瘤分割的精确度;并且,根据危及器官的体积、周围组织的对比度,将第一图像进行分类,对不同类型的第一图像采取不同的分割方式,对应得到基于MR图像的全部靶区和危及器官的第一分割结果。
进一步,所述获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像,包括:
根据头颈CT扫描得到CT图像,按照阈值划分所述CT图像中的头颈区域和空气,得到第一CT图像;
根据MR加速器获得头颈的MRI图像,并按照区域划分器官,分为:中枢区域器官、食道区域器官、口咽区域器官和视觉区域器官,得到四种区域器官对应的图像为第一MRI图像。
本发明将CT图像也作为影响MR图像分割的因素,通过阈值分割对CT图像进行分割,能够去除所有序列图像中的大部分背景区域,从而能够减少背景区域对后续基于CT图像的肿瘤分割的影响,从而提高整个基于CT图像的肿瘤分割算法的精确度;将MRI图像按照器官划分为主要的四个区域器官,这是由于同一个区域器官具有相关性,可以方便同时对同一种区域器官进行处理,也便于在第一神经网络模型中提取MRI图像的特征。
进一步,将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图,具体为:
在所述第一神经网络模型内设置第一MRI神经网络和第一CT神经网络;
将各区域器官对应的第二MRI图像作为所述第一MRI神经网络的输入,将第二CT图像作为所述第一CT神经网络的输入,并将各区域器官对应的第一MRI神经网络的特征层和第一CT神经网络的特征层进行两两融合,对应输出各区域器官的融合特征;
对所述融合特征进行编码和解码操作,对应输出各区域器官对应的器官预测概率图为第一器官预测概率图。
本发明采用对不同的区域器官的图像分别使用MRI神经网络进行处理,能够保证同一网络结构得出的特征数据尺寸大小相同,提取的特征数据结构相同;对第一MRI神经网络和第一CT神经网络的特征层进行融合,再对融合特征进行编码和解码操作,能够让各区域器官的MRI图像与CT图像进行交互,能够减少只由MRI图像进行肿瘤分割带来的偏差,能够提高基于MR图像对肿瘤分割的精确度。
进一步,所述根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果,包括:
根据危及器官的体积、周围组织的对比度,将第一图像划分为第一分割图像和第二分割图像;
判断第一图像是否为第一分割图像,若第一图像为第一分割图像,则根据对应的第一器官预测概率图,采用二值图进行分割,得到第一分割结果;
若第一图像为第二分割图像,则基于对应的第一器官预测概率图的先验注意力机制约束的分割模型进行分割,得到第一分割结果;
依次对各第一图像进行分割后,对应得到全部靶区和危及器官的第一分割结果。
本发明采用根据器官的体积、周围组织的对比,对第一图像进行划分,对不同类型的第一图像进行不同的处理,能够针对性的对不同器官进行不同类型不同程度的分割,从而提高基于MR图像的肿瘤分割算法的精确度,并且,提高肿瘤分割的效率。
进一步,还包括:
对第一MRI图像进行预处理,具体为:依次对第一MRI图像中的区域器官的进行强度归一化零均值和单位方差处理;
对第一CT图像进行降采样处理,具体为:对所述第一CT图像的像素尺寸归一化,并进行人体有效区域裁剪,以得到与第一MRI图像预处理后的相同的尺寸。
本发明采用针对MR图像和CT图像进行不同的预处理方式,对MR图像进行归一化,能够减少数据数值处理范围,对CT图像进行降采样,能够得到符合显示区域的CT图像,便于后续使用第二神经网络模型对基于MR图像进行肿瘤分割。
再进一步,所述依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像,包括:
根据第一器官预测概率图,以危及器官的器官预测概率图峰值为中心,以危及器官的平均直径的整数倍为边长,在对应的第一MRI图像、第一CT图像和对应的第一器官预测概率图中分别进行框选。
再进一步,所述根据临床先验知识,确定肿瘤分割的目标区域,具体为:
根据肿瘤侵犯的临床先验知识,确定第一图像中下颌骨最下沿至眼球以下的区域作为肿瘤分割的目标区域。
第二方面,本发明还提供一种基于MR图像智能勾画系统,包括:
获取数据模块,用于获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像;
器官概率预测模块,用于将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;
中心位置计算模块,用于依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;
第一分割模块,用于根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果;
第二分割模块,用于根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
本发明将多组第一MRI图像和第一CT图像作为第一神经网络模型的输入,输出对应多组器官预测概率图,并将器官预测概率图作为MR图像肿瘤分割的先验,通过计算预测概率图中危及器官的肿瘤的中心位置坐标,并将对应危及器官图像的分割结果作为第二神经网络模型的进一步约束,让影响第二神经网络模型对MR图像的肿瘤分割的因素局限在待分割目标的局部区域,减少其他区域对对MR图像的肿瘤分割带来的影响,能够降低基于MR图像的肿瘤分割问题的解空间,进而提升整个模型的训练效率和基于MR图像的肿瘤分割的精确度;并且,根据危及器官的体积、周围组织的对比度,将第一图像进行分类,对不同类型的第一图像采取不同的分割方式,对应得到基于MR图像的全部靶区和危及器官的第一分割结果。
第三方面,本发明还提供一种计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如第一方面所述的基于MR图像智能勾画的方法。
第四方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面所述的基于MR图像智能勾画的方法。
附图说明
图1是本发明实施例提供的基于MR图像智能勾画的流程示意图;
图2是本发明提供了基于MR图像智能勾画的先验注意力机制约束的分割模型的核心模块的示意图;
图3是本发明实施例提供的基于MR图像智能勾画的多层次迭代分割的神经网络模型的示意图;
图4是本发明实施例提供的一种基于MR图像智能勾画系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,是本发明实施例提供的基于MR图像智能勾画的流程示意图,包括步骤S11~S15,具体为:
S11、获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像。
具体地,所根据头颈CT扫描得到CT图像,按照阈值划分所述CT图像中的头颈区域和空气,得到第一CT图像;根据MR加速器获得头颈的MRI图像,并按照区域划分器官,分为:中枢区域器官、食道区域器官、口咽区域器官和视觉区域器官,得到四种区域器官对应的图像为第一MRI图像。
值得注意的是,阈值划分是采用CT值的阈值进行自动区别头颈区域和空气,根据预设的阈值,可自动将大于阈值的区域划分为头颈区域,其余部分划分为空气区域,能够去除所有序列图像中的大部分背景区域,并将所有待分割的正常器官逐级分组;此外,由于头颈器官结构位置相对固定,可将NHC治疗中需要评估的21种的32个器官根据其所在区域划分为四组:中枢区域器官、食道区域器官、口咽区域器官和视觉区域器官;其中口咽区域器官包括内耳区域。
优选地,将阈值设置为-350HU。
其中,还包括对第一MRI图像进行预处理,具体为:依次对第一MRI图像中的区域器官的进行强度归一化零均值和单位方差处理;对第一CT图像进行降采样处理,具体为:对所述第一CT图像的像素尺寸归一化,并进行人体有效区域裁剪,以得到与第一MRI图像预处理后的相同的尺寸。
本发明采用降采样对第一CT图像数据进行处理,能够得到符合显示区域的大小的图像,最终使得到的第二CT图像数据和第二MRI图像数据的分辨率最后保持一致;此外,还能能降低特征的维度并保留有效信息,一定程度上避免过拟合。
优选地,对第一CT图像数据进行降采样的采样层为pooling的相关技术来实现的。
优选地,对第一图像数据中的第一MRI图像数据进行归一化,可以表示为:
I1=INORM(v)-Imin, (1)
其中,参数v为第一MRI图像数据的体素,INORM(v)和Imin分别是第一MRI图像数据归一化后的值和对应归一化的最小取值。
优选地,图像归一化可以表示为:
其中,I2(v)、μ和σ分别为第一MRI图像数据、对应第一MRI图像数据的所有体素的均值和标准差。
步骤S12、将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图。
具体地,所述将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图(Probability Map,PM),具体为:在所述第一神经网络模型内设置第一MRI神经网络和第一CT神经网络;将各区域器官对应的第二MRI图像作为所述第一MRI神经网络的输入,将第二CT图像作为所述第一CT神经网络的输入,并将各区域器官对应的第一MRI神经网络的特征层和第一CT神经网络的特征层进行两两融合,对应输出各区域器官的融合特征;对所述融合特征进行编码和解码操作,对应输出各区域器官对应的器官预测概率图为第一器官预测概率图。
优选地,第一MRI神经网络和第一CT神经网络为结构相同且独立的网络。
优选地,第一MRI神经网络或者第一CT神经网络为2D多核卷积U-Net分割模型(Organs Segmentation Model,O-Seg)。
优选地,对所述融合特征进行编码和解码操作的编码器为步长为2,卷积核为2X2的卷积层对图像特征进行下采样,并通过3X3的卷积层对图像进行特征提取,在每个卷积层和激活函数间引入批归一化操作(Batch Normalization,BN),在各卷积层后引入压缩和激励(Squeeze and Excitation,SE)层,应用于分割任务。把发明在第一神经网络模型中引入BN操作,能够有效防止对MR图像处理时的梯度爆炸或弥散的出现和减少对网络参数初始化的强烈依赖,并能够允许在训练中使用更大的学习率从而加速网络对MR图像分割的收敛速度。
优选地,激活函数为ReLU函数(Linear Rectification Function)。
值得注意的是,每组区域器官的第一MRI图像数据单独作为一个第一MRI神经网络的输入,第一CT神经网络使用单独的一个第一CT神经网络。示例性地,第一MRI神经网络和第一CT神经网络可以同时为结构相同但是独立的O-Seg网络。
步骤S13、依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像。
具体地,根据第一器官预测概率图,以危及器官的器官预测概率图峰值为中心,以危及器官的平均直径的整数倍为边长,在对应的第一MRI图像、第一CT图像和对应的第一器官预测概率图中分别进行框选。
优选地,选取每次都选取对应危及器官的平均直径的三倍为边长。
步骤S14、根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果。
具体地,根据危及器官的体积、周围组织的对比度,将第一图像划分为第一分割图像和第二分割图像;判断第一图像是否为第一分割图像,若第一图像为第一分割图像,则根据对应的第一器官预测概率图,采用二值图进行分割,得到第一分割结果;第一图像为第二分割图像,则基于对应的第一器官预测概率图的先验注意力机制约束的分割模型进行分割,得到第一分割结果;依次对各第一图像进行分割后,对应得到全部靶区和危及器官的第一分割结果。
值得说明的是,由于传统的肿瘤分割神经网络的编码和解码过程是基于多核卷积U-Net建立的,该模型可以得到每一组危及器官的粗分割结果及对应的每组区域器官的预测概率图。但是,对于微小器官,其分割结果较为粗糙。因此,本发明针对每一分组中的微小器官部分,提出一种先验注意力(Prior Attention,PA)约束的3D Res-U-Net网络模型(Prior Attention Residual U-Net,PARU-Net)。将原始U-Net的双卷积模块,替换为PAR(Prior Attention Residual)模块。这里的“先验”Prior即为O_Seg预测的对应器官的预测概率图;其中,器官的预测概率图是Softmax激活函数对应通道的输出。器官预测概率图可以为基于MR图像的肿瘤分割模型提供空间上的约束,将基于MR图像的肿瘤分割模型的注意力集中在包含待分割目标的局部区域,而不是整幅图像,从而降低基于MR图像的肿瘤分割模型分割问题的解空间,提升基于MR图像的肿瘤分割模型的训练效率和分割的准确度。为避免先验信息可能存在错误,同时将第二个卷积层的输出通过Sigmod函数激活,并将其与先验信息相加以对先验信息进行补偿,从而提升基于MR图像的肿瘤分割模型的稳健性。
因此,第一分割图像和第二分割图像分别用于不同分割靶区和危及器官难度的第一图像,若根据危及器官的体积、周围组织的对比度,判断第一图像中的危及器官是否能够被二值图轻易分割出全部靶区和危及器官,第一图像中的危及器官能够被二值图轻易分割出全部靶区和危及器官,则直接使用二值图进行分割,采用2D网络进行处理;否则,采用基于对应的第一器官预测概率图的先验注意力(PA)机制约束的分割模型进行分割,其中,在口咽区域和视觉区域包含的微小体积器官就可以使用此分割方式,以实现复杂场景下的分割靶区和危及器官。
此外,本发明对较易分割的器官,拟采用2D网络;而对微小器官,则采用3D网络进行精分割,在保证分割效率的同时,又充分应用了MRI和sCT影像的三维空间信息,这对开发满足临床应用时间和精度双重要求的自动分割产品至关重要。预调试基于MR图像的肿瘤分割模型完成头颈部肿瘤靶区与全部危及器官分割耗时在120秒以内,可以满足HNC治疗,尤其是未来开展在线自适应治疗的需求。
示例性地,本发明提供了先验注意力机制约束的分割模型的网络结构示意图,参见图2,是本发明提供了基于MR图像智能勾画的先验注意力机制约束的分割模型的核心模块的示意图。
具体地,针对多器官中可能存在的体积悬殊及不同器官分割难易程度不同的问题,对损失函数进行改进,可以表达为:
Lossseg=αLossDice+(1-α)LossFocal, (3)
其中,为体积相似性指数损失函数,LossFocal=-∑iGi(1-Pi)γlog(Pi)为焦点损失函数(Focal Loss),Pi和Gi分别为第i个器官的预测结果和准确勾画结果(Ground Truth),ωi为不同待分割目标的体积权重因子,对应地,体积越大的器官其体积权重因子设置得越小,其中,体积权重因子可以根据分割目标的平均体积进行计算,α和γ分别为可调节的损失函数权重因子和可调节的焦点损失函数影响因子。
步骤S15、根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
优选地,第二神经网络模型为基于多核卷积U-Net结构的肿瘤分割模型。
值得说明的是,在基于MR图像进行肿瘤分割过程中,将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,其中,输出是对初始MR图像的肿瘤勾画图像和生成的sCT(Synthetic CT,sCT)图像的肿瘤勾画结果;其中,sCT图像是根据选择配对MR和CT图像,经过第二神经网络模型,就可以输出对应的sCT图像,并且输出的sCT图像有肿瘤勾画结果。可为基于MR图像的肿瘤分割提供更多的解剖信息参考,能够减少误差,提高基于MR图像的肿瘤分割的准确性。
另外,步骤S11~S15均为训练时的基于MR图像智能勾画的流程,在测试阶段时,只需获取初始MR图像,并对MR图像进行预处理,将对应预处理后的MR图像作为第一神经网络模型的输入,并在后续第二神经网络的输入时,也无需对应的CT图像进行参与。
示例性地,本发明还提供了基于MR图像智能勾画的完整的神经网络模型,参见图3,是本发明实施例提供的基于MR图像智能勾画的多层次迭代分割的神经网络模型的示意图,图中,第一神经网络模型为2D多核卷积U-Net分割模型,基于对应的第一器官预测概率图的先验注意力机制约束的分割模型为3DResU-Net网络模型,第二神经网络模型为基于多核卷积U-Net分割模型。
本发明还提供一种基于MR图像智能勾画系统,参见图4,是本发明实施例提供的一种基于MR图像智能勾画系统的结构示意图,包括:获取数据模块41、器官概率预测模块42、中心位置计算模块43、第一分割模块44、第二分割模块45。
获取数据模块41,用于获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像;
器官概率预测模块42,用于将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;
中心位置计算模块43,用于依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;
第一分割模块44,用于根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果;
第二分割模块45,用于根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
本发明将多组第一MRI图像和第一CT图像作为第一神经网络模型的输入,输出对应多组器官预测概率图,并将器官预测概率图作为MR图像肿瘤分割的先验,通过计算预测概率图中危及器官的肿瘤的中心位置坐标,并将对应危及器官图像的分割结果作为第二神经网络模型的进一步约束,让影响第二神经网络模型对MR图像的肿瘤分割的因素局限在待分割目标的局部区域,减少其他区域对对MR图像的肿瘤分割带来的影响,能够降低基于MR图像的肿瘤分割问题的解空间,进而提升整个模型的训练效率和基于MR图像的肿瘤分割的精确度;并且,根据危及器官的体积、周围组织的对比度,将第一图像进行分类,对不同类型的第一图像采取不同的分割方式,对应得到基于MR图像的全部靶区和危及器官的第一分割结果。
本发明实施例还提供一种计算机设备,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如所述基于MR图像智能勾画的方法。
本发明实施例还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如所述基于MR图像智能勾画的方法。
本领域内的技术人员应明白,本申请的实施例还可提供包括计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于MR图像智能勾画方法,其特征在于,所述方法包括:
获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像;
将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;
依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;
根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果;
根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
2.如权利要求1所述的基于MR图像智能勾画方法,其特征在于,所述获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像,包括:
根据头颈CT扫描得到CT图像,按照阈值划分所述CT图像中的头颈区域和空气,得到第一CT图像;
根据MR加速器获得头颈的MRI图像,并按照区域划分器官,分为:中枢区域器官、食道区域器官、口咽区域器官和视觉区域器官,得到四种区域器官对应的图像为第一MRI图像。
3.如权利要求1所述的基于MR图像智能勾画方法,其特征在于,所述将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图,具体为:
在所述第一神经网络模型内设置第一MRI神经网络和第一CT神经网络;
将各区域器官对应的第二MRI图像作为所述第一MRI神经网络的输入,将第二CT图像作为所述第一CT神经网络的输入,并将各区域器官对应的第一MRI神经网络的特征层和第一CT神经网络的特征层进行两两融合,对应输出各区域器官的融合特征;
对所述融合特征进行编码和解码操作,对应输出各区域器官对应的器官预测概率图为第一器官预测概率图。
4.如权利要求1所述的基于MR图像智能勾画方法,其特征在于,所述根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果,包括:
根据危及器官的体积、周围组织的对比度,将第一图像划分为第一分割图像和第二分割图像;
判断第一图像是否为第一分割图像,若第一图像为第一分割图像,则根据对应的第一器官预测概率图,采用二值图进行分割,得到第一分割结果;
若第一图像为第二分割图像,则基于对应的第一器官预测概率图的先验注意力机制约束的分割模型进行分割,得到第一分割结果;
依次对各第一图像进行分割后,对应得到全部靶区和危及器官的第一分割结果。
5.如权利要求2所述的基于MR图像智能勾画方法,其特征在于,还包括:
对第一MRI图像进行预处理,具体为:依次对第一MRI图像中的区域器官的进行强度归一化零均值和单位方差处理;
对第一CT图像进行降采样处理,具体为:对所述第一CT图像的像素尺寸归一化,并进行人体有效区域裁剪,以得到与第一MRI图像预处理后的相同的尺寸。
6.如权利要求1所述的基于MR图像智能勾画方法,其特征在于,所述依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像,包括:
根据第一器官预测概率图,以危及器官的器官预测概率图峰值为中心,以危及器官的平均直径的整数倍为边长,在对应的第一MRI图像、第一CT图像和对应的第一器官预测概率图中分别进行框选。
7.如权利要求1所述的基于MR图像智能勾画方法,其特征在于,所述根据临床先验知识,确定肿瘤分割的目标区域,具体为:
根据肿瘤侵犯的临床先验知识,确定第一图像中下颌骨最下沿至眼球以下的区域作为肿瘤分割的目标区域。
8.一种基于MR图像智能勾画系统,其特征在于,包括:
获取数据模块,用于获取初始MR图像和初始CT图像,并分别按照区域和阈值进行划分,对应得到多组第一MRI图像和第一CT图像;
器官概率预测模块,用于将所述多组第一MRI图像和所述第一CT图像同时作为第一神经网络模型的输入,对应输出多组第一器官预测概率图;
中心位置计算模块,用于依次计算第一器官预测概率图中危及区域器官的中心位置坐标,对应得到危及器官所在的第一图像;
第一分割模块,用于根据危及器官的体积和与周围组织的对比度,依次对第一图像分类,并对应使用不同的分割方式进行第一分割,对应得到全部靶区和危及器官的第一分割结果;
第二分割模块,用于根据临床先验知识,确定肿瘤分割的目标区域,并将所述目标区域对应的第一MRI图像、所述第一CT图像、所述多组第一器官预测概率图和各危及器官对应的第一分割结果作为第二神经网络模型的输入,输出对肿瘤的第二分割结果,以实现基于MR图像的肿瘤分割。
9.一种计算机设备,其特征在于,包括有依次通信连接的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发信息,所述处理器用于读取所述计算机程序,执行如权利要求1~7中任意一项所述的基于MR图像智能勾画的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7中任意一项所述的基于MR图像智能勾画的方法。
CN202211674850.0A 2022-12-26 2022-12-26 一种基于mr图像智能勾画方法、系统、设备及存储介质 Active CN116258671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211674850.0A CN116258671B (zh) 2022-12-26 2022-12-26 一种基于mr图像智能勾画方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211674850.0A CN116258671B (zh) 2022-12-26 2022-12-26 一种基于mr图像智能勾画方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116258671A CN116258671A (zh) 2023-06-13
CN116258671B true CN116258671B (zh) 2023-08-29

Family

ID=86685404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211674850.0A Active CN116258671B (zh) 2022-12-26 2022-12-26 一种基于mr图像智能勾画方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116258671B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011245B (zh) * 2023-07-11 2024-03-26 北京医智影科技有限公司 融合mr信息指导ct的直肠癌肿瘤区自动勾画方法及装置
CN118691934A (zh) * 2024-08-26 2024-09-24 海创未来(杭州)医疗科技有限公司 基于mri多参数图像自适应融合的危及器官勾画方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN109360208A (zh) * 2018-09-27 2019-02-19 华南理工大学 一种基于单程多任务卷积神经网络的医学图像分割方法
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN112184720A (zh) * 2020-08-27 2021-01-05 首都医科大学附属北京同仁医院 一种ct图像的内直肌和视神经分割方法及系统
CN113516659A (zh) * 2021-09-15 2021-10-19 浙江大学 一种基于深度学习的医学影像自动分割方法
CN113935951A (zh) * 2021-09-13 2022-01-14 南京邮电大学 一种三通道级联SEU-Nets肝肿瘤分割方法
CN115063435A (zh) * 2022-05-26 2022-09-16 复旦大学附属中山医院 基于多尺度类间的肿瘤及周围器官的分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108492297A (zh) * 2017-12-25 2018-09-04 重庆理工大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN110310287A (zh) * 2018-03-22 2019-10-08 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN109360208A (zh) * 2018-09-27 2019-02-19 华南理工大学 一种基于单程多任务卷积神经网络的医学图像分割方法
CN110705555A (zh) * 2019-09-17 2020-01-17 中山大学 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN112184720A (zh) * 2020-08-27 2021-01-05 首都医科大学附属北京同仁医院 一种ct图像的内直肌和视神经分割方法及系统
CN113935951A (zh) * 2021-09-13 2022-01-14 南京邮电大学 一种三通道级联SEU-Nets肝肿瘤分割方法
CN113516659A (zh) * 2021-09-15 2021-10-19 浙江大学 一种基于深度学习的医学影像自动分割方法
CN115063435A (zh) * 2022-05-26 2022-09-16 复旦大学附属中山医院 基于多尺度类间的肿瘤及周围器官的分割方法

Also Published As

Publication number Publication date
CN116258671A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US11344273B2 (en) Methods and systems for extracting blood vessel
US10769791B2 (en) Systems and methods for cross-modality image segmentation
US11508059B2 (en) Methods and systems for detecting a centerline of a vessel
CN116258671B (zh) 一种基于mr图像智能勾画方法、系统、设备及存储介质
US20210106299A1 (en) Method and system for extracting lower limb vasculature
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
US9659364B2 (en) Probabilistic refinement of model-based segmentation
CN109410188B (zh) 用于对医学图像进行分割的系统和方法
Kuang et al. Segmenting hemorrhagic and ischemic infarct simultaneously from follow-up non-contrast CT images in patients with acute ischemic stroke
CN111105424A (zh) 淋巴结自动勾画方法及装置
CN107545584A (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
WO2014144019A1 (en) Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning
US20220301224A1 (en) Systems and methods for image segmentation
EP3155589A1 (en) Optimization of parameters for segmenting an image
CN118247284B (zh) 图像处理模型的训练方法、图像处理方法
CN113129327B (zh) 一种基于神经网络模型生成内大体靶区的方法和系统
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
US20080285822A1 (en) Automated Stool Removal Method For Medical Imaging
CN112712507B (zh) 一种确定冠状动脉的钙化区域的方法及装置
CN113570625B (zh) 图像分割方法、图像分割模型及其训练方法
Prasanna et al. Deep learning models for predicting the position of the head on an X-ray image for Cephalometric analysis
Miandoab et al. Extraction of respiratory signal based on image clustering and intensity parameters at radiotherapy with external beam: A comparative study
Kala et al. Brain Magnetic Resonance Image Inpainting via Deep Edge Region-based Generative Adversarial Network
KR20230172937A (ko) 의료영상의 영역분할방법 및 그 장치
Yu et al. A 3D semi-automated co-segmentation method for improved tumor target delineation in 3D PET/CT imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231208

Address after: 361000 room 11, unit 431, floor 4, building C, Xiamen international shipping center, No. 93, Xiangyu Road, Xiamen area, China (Fujian) pilot Free Trade Zone, Xiamen, Fujian

Patentee after: Manteia Data Technology Co.,Ltd. in Xiamen area of Fujian pilot Free Trade Zone

Address before: No. 651, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong 510060

Patentee before: SUN YAT SEN University CANCER CENTER (SUN YAT SEN University AFFILIATED TO CANCER CENTER SUN YAT SEN UNIVERSITY CANCER INSTITUTE)

TR01 Transfer of patent right