CN114155215A - 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统 - Google Patents

一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统 Download PDF

Info

Publication number
CN114155215A
CN114155215A CN202111417098.7A CN202111417098A CN114155215A CN 114155215 A CN114155215 A CN 114155215A CN 202111417098 A CN202111417098 A CN 202111417098A CN 114155215 A CN114155215 A CN 114155215A
Authority
CN
China
Prior art keywords
image
tumor
tumor segmentation
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111417098.7A
Other languages
English (en)
Other versions
CN114155215B (zh
Inventor
邓一术
李超峰
经秉中
李彬
陈浩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University Cancer Center
Original Assignee
Sun Yat Sen University Cancer Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University Cancer Center filed Critical Sun Yat Sen University Cancer Center
Priority to CN202111417098.7A priority Critical patent/CN114155215B/zh
Publication of CN114155215A publication Critical patent/CN114155215A/zh
Application granted granted Critical
Publication of CN114155215B publication Critical patent/CN114155215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统,包括:接收第一用户上传的第一图像;其中,第一图像包括MR平扫序列图像或MR增强序列图像;对第一图像进行预处理,得到第一图像对应的第二图像;将第二图像输入至肿瘤分割模型,以使肿瘤分割模型对第二图像进行区域划分,输出第二图像对应的肿瘤分割图;其中,肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得。本发明采用适用于MR平扫序列和MR增强序列的肿瘤分割模型,实现对MR图像的鼻咽癌识别及肿瘤分割,并通过分割错漏的数据对模型进行优化,提升图像的分割效果。

Description

一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统
技术领域
本发明涉及医疗图像处理领域,尤其涉及一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统。
背景技术
鼻咽癌是一种起源于鼻咽部上皮细胞的恶性肿瘤,具有巨大的侵袭和转移潜能。由于鼻咽癌的解剖位置不明显,且症状非特异性,大多数患者诊断为晚期疾病。另一方面,复杂的颅底解剖结构增加了鼻咽癌分割的难度,从而降低了疾病分期的准确性和放疗的符合性。磁共振成像(Magnetic Resonance imaging,MRI)由于其对软组织的分辨率、对骨髓浸润的检测灵敏度和多参数成像等优点,是鼻咽癌患者鉴别、分期、疗效评估和治疗后随访的首选成像方式。MRI在鉴别内镜检查无法观察到的隐匿性鼻咽癌方面显示出很大的优势,目前,MRI已成为疑似或确诊鼻咽癌患者的常规检查手段,凸显其在鼻咽癌筛查和治疗过程中的重要作用。
近十年来,人工智能(AI)得到了迅速的发展,而且在医学图像中正常解剖结构或病变的识别和自动分割方面都表现出了良好的性能。然而,无论是在放射治疗期间的成像研究还是在肿瘤总体积(GTV)的描绘研究中,对感兴趣区域(region of interest,ROI)或肿瘤的分割都需要医生大量的操作,因此需要可以对肿瘤进行自动分割,进而查看患有癌症的概率和病变区域的辅助工具,在减轻医生工作量的同时,提高肿瘤分割效率。然而近年来,虽然有学者把深度学习应用在基于MR图像的鼻咽癌筛查或者鼻咽癌靶区勾画等方向,但是这些方法功能单一以及适用序列范围少。
发明内容
本发明提供了一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统,以解决现有的鼻咽癌识别及肿瘤分割方法及系统功能单一,只能对鼻咽癌MR影像进行肿瘤分割,并未对进行鼻咽癌识别和肿瘤分割的三维深度学习模型进行优化,进一步提升模型性能,而且无法同时适用于MR平扫序列图像与MR增强序列图像的技术问题。
为了解决上述技术问题,本发明实施例提供了一种基于MR图像的鼻咽癌识别及肿瘤分割方法,包括:
接收第一用户上传的第一图像;其中,所述第一图像包括MR平扫序列图像或MR增强序列图像;
对所述第一图像进行预处理,得到所述第一图像对应的第二图像;
将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图;
其中,所述肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得。
进一步地,在所述输出所述第二图像对应的肿瘤分割图之后,还包括:
接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见;
若审核意见为区域划分错误,则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中;
若审核意见为未进行区域划分,则将所述第二图像上传至所述肿瘤分割模型的数据库中;
根据所述数据库中的数据,优化所述肿瘤分割模型。
进一步地,所述对所述第一图像进行预处理,得到所述第一图像的第二图像,具体为:
对所述第一图像进行影像数据清洗、数据归一化、平扫与增强影像配准的预处理,得到所述第一图像对应的第二图像。
进一步地,所述将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图,具体为:
将所述第二图像输入至肿瘤分割模型;其中,所述肿瘤分割模型包含编码器与解码器;
通过所述编码器对所述第二图像执行若干次卷积,识别并提取所述第二图像中与鼻咽癌相关的影像特征,并对所述影像特征进行抽象处理,输出所述第二图像的鼻咽癌概率;
将所述编码器的每一次卷积的结果与对应的所述解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入,逐步重构所述第二图像的肿瘤区域,并对所述解码器的最后一次卷积的结果进行上采样操作,得到并输出所述第二图像对应的肿瘤分割图。
进一步地,所述所述肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得,具体为:
接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
对所述多个第一鼻咽良恶性MR影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到所述多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个所述第一训练数据输入所述三维卷积神经网络模型,得到多个所述第一训练数据对应的肿瘤分割图;
计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据所述偏差值更新所述三维卷积神经网络模型的参数,进而得到所述肿瘤分割模型。
进一步地,在所述得到所述肿瘤分割模型之后,还包括对所述肿瘤分割模型进行性能评估,具体为:
根据模型评估指标,比较训练集与验证集的学习曲线,评估所述肿瘤分割模型的鲁棒性;
根据模型评估指标,比较测试集与验证集的识别和分割性能,评估所述肿瘤分割模型的泛化能力;
其中,评估指标包括AUC、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
为了解决相同的技术问题,本发明还提供了一种基于MR图像的鼻咽癌识别及肿瘤分割系统,包括:肿瘤分割模块和模型训练模块;
其中,所述肿瘤分割模块,用于对接收第一用户上传的第一图像,对所述第一图像进行预处理,得到所述第一图像对应的第二图像,并将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图;
所述模型训练模块,用于根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型进行训练,以获得肿瘤分割模型。
进一步地,本发明提供的一种基于MR图像的鼻咽癌识别及肿瘤分割系统,还包括:模型优化模块;
所述模型优化模块,用于接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见;若审核意见为区域划分错误,则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中;若审核意见为未进行区域划分,则将所述第二图像上传至所述肿瘤分割模型的数据库中;然后根据所述数据库中的数据,优化所述肿瘤分割模型。
进一步地,所述肿瘤分割模块,还包括:第一数据上传单元、第一数据处理单元、识别提取单元和肿瘤分割单元;
其中,所述第一数据上传单元,用于接收第一用户上传的第一图像;其中,所述第一图像包括MR平扫序列图像或MR增强序列图像;
所述第一数据处理单元,用于对所述第一图像进行预处理,得到所述第一图像对应的第二图像;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述识别提取单元,用于将所述第二图像输入至肿瘤分割模型,通过编码器对所述第二图像执行若干次卷积,识别并提取所述第二图像中与鼻咽癌相关的影像特征,并对所述影像特征进行抽象处理,输出所述第二图像的鼻咽癌概率;
所述肿瘤分割单元,用于将所述编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入,逐步重构所述第二图像的肿瘤区域,并对所述解码器的最后一次卷积的结果进行上采样操作,得到并输出所述第二图像对应的肿瘤分割图。
进一步地,所述模型训练模块,还包括:第二数据上传单元、第二数据处理单元、初始模型构建单元和模型性能评估单元;
其中,所述第二数据上传单元,用于接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
所述第二数据处理单元,用于对所述多个第一鼻咽良恶性MR影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到所述多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述初始模型构建单元,用于构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个所述第一训练数据输入所述三维卷积神经网络模型,得到多个所述第一训练数据对应的肿瘤分割图,并计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据所述偏差值更新所述三维卷积神经网络模型的参数,进而得到所述肿瘤分割模型;
所述模型性能评估单元,用于比较训练集和验证集的学习曲线,评估所述肿瘤分割模型的鲁棒性,并比较测试集与验证集的识别和分割性能,评估所述肿瘤分割模型的泛化能力;其中,评估指标包括AUC、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
相比于现有技术,本发明实施例具有如下有益效果:
本发明提出一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统,利用多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对构建的三维卷积神经网络模型训练获得肿瘤分割模型,并通过肿瘤分割模型实现对MR图像的肿瘤分割。在适用图像范围方面,本模型能够适用MR平扫序列和MR增强序列,且每个序列都获得出色且稳定的分割性能。
进一步地,通过肿瘤分割模型识别并提取MR图像中与鼻咽癌相关的影像特征,以实现对图像的鼻咽癌识别,并通过分割错漏的数据对模型进行优化,进一步巩固模型的鲁棒性、加强模型的泛化能力,从而提升图像的分割效果,其中可以根据模型评估指标评估所述肿瘤分割模型的鲁棒性和泛化能力。
附图说明
图1:为本发明一实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割方法的流程示意图;
图2:为本发明一实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割方法的肿瘤分割模型在不同时期的分割效果图;
图3:为本发明一实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割系统的结构示意图;
图4:为本发明一实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割系统的模型分割模块的结构示意图;
图5:为本发明一实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割系统的肿瘤训练模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
请参照图1,为本发明实施例提供的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,包括:
S101:接收第一用户上传的第一图像;其中,第一图像包括MR平扫序列图像或MR增强序列图像,第一用户可以是临床医生,也可以是患者。
S102:对第一图像进行预处理,得到第一图像对应的第二图像。
在本实施例中,进一步地,所述对第一图像进行预处理,得到第一图像的第二图像,具体为:
对第一图像进行影像数据清洗、数据归一化、平扫与增强影像配准的预处理,得到第一图像对应的第二图像。
需要说明的是,通过对第一图像进行预处理,使得第一图像转换为可用于输入模型的第一图像对应的第二图像。
S103:将第二图像输入至肿瘤分割模型,以使肿瘤分割模型对第二图像进行区域划分,输出第二图像对应的肿瘤分割图。
在本实施例中,进一步地,所述将第二图像输入至肿瘤分割模型,以使肿瘤分割模型对第二图像进行区域划分,输出第二图像对应的肿瘤分割图,具体为:
将第二图像输入至肿瘤分割模型;其中,肿瘤分割模型包含编码器与解码器;
通过编码器对第二图像执行若干次卷积,识别并提取第二图像中与鼻咽癌相关的影像特征,并对影像特征进行抽象处理,输出第二图像的鼻咽癌概率;
将编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为解码器的下一次卷积的输入,逐步重构第二图像的肿瘤区域,并对解码器的最后一次卷积的结果进行上采样操作,得到并输出第二图像对应的肿瘤分割图。
需要说明的是,编码器和解码器的每一次卷积都依靠一个卷积组实现,每个卷积组都包含卷积层、BN层和激活函数层,而且随着编码器的逐次卷积,卷积组识别并提取的影像特征就越抽象,越抽象的影像特征越能表征输入的第二图像。通过对第二图像中与鼻咽癌相关的影像特征的识别并提取,并对提取到的影像特征进行抽象处理,输出第二图像的鼻咽癌概率,实现鼻咽癌的识别;并通过肿瘤分割模型逐步重构第二图像的肿瘤区域,进而得到并输出第二图像对应的肿瘤分割图。在本实施例中,当输出的鼻咽癌概率大于0.5时,则认为第二图像中对应区域患有鼻咽癌,否则认为不患鼻咽癌,然后结合肿瘤分割模型进行逐步重构,进而得到第二图像对应的肿瘤分割图。
其中,肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得。
在本实施例中,进一步地,所述肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得,具体为:
接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
对多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个第一训练数据输入所述三维卷积神经网络模型,得到多个第一训练数据对应的肿瘤分割图;
计算多个第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据偏差值更新三维卷积神经网络模型的参数,进而得到肿瘤分割模型。
需要说明的是,多个带有肿瘤标记的第二鼻咽良恶性MR影像数据是由经验丰富的医生负责勾画和专家负责审核得到的,而且在得到肿瘤分割模型之后,根据肿瘤分割模型的性能选择合适的超参数。
在本实施例中,进一步地,在得到肿瘤分割模型之后,还包括对肿瘤分割模型进行性能评估,具体为:
根据模型评估指标,比较训练集与验证集的学习曲线,评估肿瘤分割模型的鲁棒性;
根据模型评估指标,比较测试集与验证集的识别和分割性能,评估肿瘤分割模型的泛化能力;
其中,评估指标包括AUC、特异度(specificity)、灵敏度(sensitivity)、阳性预测值(Positive Predictive Value,PPV)、阴性预测值(Negative Predictive Value,NPV)、dice相似系数(Dice Similarity Coefficient,DSC)和表面平均距离(Average SurfaceDistance,ASD),利用训练集、验证集、测试集来训练模型、评估和选择模型、测试模型的鲁棒性和泛化能力,该方法在T1平扫序列(T1WI)、T2平扫序列(T2WI)及T1增强序列(T1WIC)上实现的性能详见表1。
表1在测试集中,模型的鼻咽癌识别性能
Figure BDA0003372995280000091
Figure BDA0003372995280000101
表1表达的是在测试集中,肿瘤分割模型的鼻咽癌识别性能;其中,各个评估指标的数值越接近100%,性能越好。
表2在测试集中,模型的肿瘤分割性能
Statistics DSC ASD(mm)
T1WIC Median 0.768 1.533
T1WI Median 0.760 1.532
T2WI Median 0.753 1.647
表2表达的是在测试集中,肿瘤分割模型的肿瘤分割性能;其中,DSC表示肿瘤分割模型输出的肿瘤分割图与对应的实际肿瘤区域的重合度,数值越大越好,大于等于0.7表明性能好,ASD表示肿瘤分割模型输出的肿瘤分割图与对应的实际肿瘤区域的表面平均距离,数值越小越好,小于等于2表明性能好。
需要说明的是,分别对于增强序列(T1WIC)、平扫序列(T1WI、T2WI)的MR图像,肿瘤模型在不同T时期的分割效果,请参照图2。
进一步地,在输出第二图像对应的肿瘤分割图之后,还包括:
接收并响应专家对第二图像对应的肿瘤分割图的审核意见;
若审核意见为区域划分错误,则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中;
若审核意见为未进行区域划分,则将第二图像上传至肿瘤分割模型的数据库中;
根据数据库中的数据,优化肿瘤分割模型。
需要说明的是,若审核意见为区域划分错误,则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中,以及若审核意见为未进行区域划分,则将第二图像上传至肿瘤分割模型的数据库中,都是在患者同意的前提下执行的。
请参照图3,为了解决相同的技术问题,本发明还提供了一种基于MR图像的鼻咽癌识别及肿瘤分割系统,包括:肿瘤分割模块和模型训练模块;
其中,所述肿瘤分割模块,用于对接收第一用户上传的第一图像,对第一图像进行预处理,得到第一图像对应的第二图像,并将第二图像输入至肿瘤分割模型,以使肿瘤分割模型对第二图像进行区域划分,输出第二图像对应的肿瘤分割图;
所述模型训练模块,用于根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型进行训练,以获得肿瘤分割模型。
进一步地,请参照图3,本发明提供的一种基于MR图像的鼻咽癌识别及肿瘤分割系统,还包括:模型优化模块;
所述模型优化模块,用于接收并响应专家对第二图像对应的肿瘤分割图的审核意见;若审核意见为区域划分错误,则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中;若审核意见为未进行区域划分,则将第二图像上传至肿瘤分割模型的数据库中;然后根据数据库中的数据,优化肿瘤分割模型。
进一步地,请参照图4,所述肿瘤分割模块,还包括:第一数据上传单元、第一数据处理单元、识别提取单元和肿瘤分割单元;
其中,所述第一数据上传单元,用于接收第一用户上传的第一图像;其中,所述第一图像包括MR平扫序列图像或MR增强序列图像;
所述第一数据处理单元,用于对第一图像进行预处理,得到第一图像对应的第二图像;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述识别提取单元,用于将第二图像输入至肿瘤分割模型,通过编码器对第二图像执行若干次卷积,识别并提取第二图像中与鼻咽癌相关的影像特征,并对影像特征进行抽象处理,输出第二图像的鼻咽癌概率;
所述肿瘤分割单元,用于将编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为解码器的下一次卷积的输入,逐步重构第二图像的肿瘤区域,并对解码器的最后一次卷积的结果进行上采样操作,得到并输出第二图像对应的肿瘤分割图。
进一步地,请参照图5,所述模型训练模块,还包括:第二数据上传单元、第二数据处理单元、初始模型构建单元和模型性能评估单元;
其中,所述第二数据上传单元,用于接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
所述第二数据处理单元,用于对多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述初始模型构建单元,用于构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个第一训练数据输入三维卷积神经网络模型,得到多个第一训练数据对应的肿瘤分割图,并计算多个第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据偏差值更新三维卷积神经网络模型的参数,进而得到肿瘤分割模型;
所述模型性能评估单元,用于比较训练集和验证集的学习曲线,评估肿瘤分割模型的鲁棒性,并比较测试集与验证集的识别和分割性能,评估肿瘤分割模型的泛化能力;其中,评估指标包括AUC、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
相比于现有技术,本发明实施例具有如下有益效果:
本发明提出一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统,利用多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对构建的三维卷积神经网络模型训练获得肿瘤分割模型,并通过肿瘤分割模型实现对MR图像的肿瘤分割。在适用图像范围方面,本模型能够适用MR平扫序列和MR增强序列,且每个序列都获得出色且稳定的分割性能。
进一步地,通过肿瘤分割模型识别并提取MR图像中与鼻咽癌相关的影像特征,以实现对图像的鼻咽癌识别,并通过分割错漏的数据对模型进行优化,进一步巩固模型的鲁棒性、加强模型的泛化能力,从而提升图像的分割效果,其中可以根据模型评估指标评估所述肿瘤分割模型的鲁棒性和泛化能力。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,包括:
接收第一用户上传的第一图像;其中,所述第一图像包括MR平扫序列图像或MR增强序列图像;
对所述第一图像进行预处理,得到所述第一图像对应的第二图像;
将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图;
其中,所述肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得。
2.如权利要求1所述的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,在所述输出所述第二图像对应的肿瘤分割图之后,还包括:
接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见;
若审核意见为区域划分错误,则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中;
若审核意见为未进行区域划分,则将所述第二图像上传至所述肿瘤分割模型的数据库中;
根据所述数据库中的数据,优化所述肿瘤分割模型。
3.如权利要求1所述的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,所述对所述第一图像进行预处理,得到所述第一图像的第二图像,具体为:
对所述第一图像进行影像数据清洗、数据归一化、平扫与增强影像配准的预处理,得到所述第一图像对应的第二图像。
4.如权利要求1所述的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,所述将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图,具体为:
将所述第二图像输入至肿瘤分割模型;其中,所述肿瘤分割模型包含编码器与解码器;
通过所述编码器对所述第二图像执行若干次卷积,识别并提取所述第二图像中与鼻咽癌相关的影像特征,并对所述影像特征进行抽象处理,输出所述第二图像的鼻咽癌概率;
将所述编码器的每一次卷积的结果与对应的所述解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入,逐步重构所述第二图像的肿瘤区域,并对所述解码器的最后一次卷积的结果进行上采样操作,得到并输出所述第二图像对应的肿瘤分割图。
5.如权利要求1所述的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,所述所述肿瘤分割模型是根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型训练而获得,具体为:
接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
对所述多个第一鼻咽良恶性MR影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到所述多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个所述第一训练数据输入所述三维卷积神经网络模型,得到多个所述第一训练数据对应的肿瘤分割图;
计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据所述偏差值更新所述三维卷积神经网络模型的参数,进而得到所述肿瘤分割模型。
6.如权利要求1所述的一种基于MR图像的鼻咽癌识别及肿瘤分割方法,其特征在于,在所述得到所述肿瘤分割模型之后,还包括对所述肿瘤分割模型进行性能评估,具体为:
根据模型评估指标,比较训练集与验证集的学习曲线,评估所述肿瘤分割模型的鲁棒性;
根据模型评估指标,比较测试集与验证集的识别和分割性能,评估所述肿瘤分割模型的泛化能力;
其中,评估指标包括AUC、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
7.一种基于MR图像的鼻咽癌识别及肿瘤分割系统,其特征在于,包括:肿瘤分割模块和模型训练模块;
其中,所述肿瘤分割模块,用于对接收第一用户上传的第一图像,对所述第一图像进行预处理,得到所述第一图像对应的第二图像,并将所述第二图像输入至肿瘤分割模型,以使所述肿瘤分割模型对所述第二图像进行区域划分,输出所述第二图像对应的肿瘤分割图;
所述模型训练模块,用于根据多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据,对三维卷积神经网络模型进行训练,以获得肿瘤分割模型。
8.如权利要求7所述的一种基于MR图像的鼻咽癌识别及肿瘤分割系统,其特征在于,还包括:模型优化模块;
所述模型优化模块,用于接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见;若审核意见为区域划分错误,则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中;若审核意见为未进行区域划分,则将所述第二图像上传至所述肿瘤分割模型的数据库中;然后根据所述数据库中的数据,优化所述肿瘤分割模型。
9.如权利要求7所述的一种基于MR图像的鼻咽癌识别及肿瘤分割系统,其特征在于,所述肿瘤分割模块,还包括:第一数据上传单元、第一数据处理单元、识别提取单元和肿瘤分割单元;
其中,所述第一数据上传单元,用于接收第一用户上传的第一图像;其中,所述第一图像包括MR平扫序列图像或MR增强序列图像;
所述第一数据处理单元,用于对所述第一图像进行预处理,得到所述第一图像对应的第二图像;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述识别提取单元,用于将所述第二图像输入至肿瘤分割模型,通过编码器对所述第二图像执行若干次卷积,识别并提取所述第二图像中与鼻咽癌相关的影像特征,并对所述影像特征进行抽象处理,输出所述第二图像的鼻咽癌概率;
所述肿瘤分割单元,用于将所述编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入,逐步重构所述第二图像的肿瘤区域,并对所述解码器的最后一次卷积的结果进行上采样操作,得到并输出所述第二图像对应的肿瘤分割图。
10.如权利要求7所述的一种基于MR图像的鼻咽癌识别及肿瘤分割系统,其特征在于,所述模型训练模块,还包括:第二数据上传单元、第二数据处理单元、初始模型构建单元和模型性能评估单元;
其中,所述第二数据上传单元,用于接收第二用户上传的多个第一鼻咽良恶性MR影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据;
所述第二数据处理单元,用于对所述多个第一鼻咽良恶性MR影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据进行预处理,得到所述多个第一鼻咽良恶性MR影像数据对应的多个第一训练数据,以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性MR影像数据对应的多个第二训练数据;其中,所述预处理包括影像数据清洗,数据归一化,平扫与增强影像配准的操作;
所述初始模型构建单元,用于构建适用于MR平扫序列与MR增强序列的三维卷积神经网络模型,将多个所述第一训练数据输入所述三维卷积神经网络模型,得到多个所述第一训练数据对应的肿瘤分割图,并计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值,根据所述偏差值更新所述三维卷积神经网络模型的参数,进而得到所述肿瘤分割模型;
所述模型性能评估单元,用于比较训练集和验证集的学习曲线,评估所述肿瘤分割模型的鲁棒性,并比较测试集与验证集的识别和分割性能,评估所述肿瘤分割模型的泛化能力;其中,评估指标包括AUC、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
CN202111417098.7A 2021-11-24 2021-11-24 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统 Active CN114155215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111417098.7A CN114155215B (zh) 2021-11-24 2021-11-24 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111417098.7A CN114155215B (zh) 2021-11-24 2021-11-24 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统

Publications (2)

Publication Number Publication Date
CN114155215A true CN114155215A (zh) 2022-03-08
CN114155215B CN114155215B (zh) 2023-11-10

Family

ID=80457805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111417098.7A Active CN114155215B (zh) 2021-11-24 2021-11-24 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统

Country Status (1)

Country Link
CN (1) CN114155215B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108888294A (zh) * 2018-03-30 2018-11-27 杭州依图医疗技术有限公司 一种检测颈部透明带宽度的方法及装置
CN108961274A (zh) * 2018-07-05 2018-12-07 四川大学 一种mri图像中自动头颈肿瘤分割方法
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109350089A (zh) * 2018-10-25 2019-02-19 杭州医学院 一种基于ct图像的甲状腺区域自动分割方法
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
US20200202532A1 (en) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Brain tumor image segmentation method, device and storage medium
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及系统
CN112862785A (zh) * 2021-02-10 2021-05-28 昆明同心医联科技有限公司 Cta影像数据识别方法、装置及存储介质
CN112966687A (zh) * 2021-02-01 2021-06-15 深圳市优必选科技股份有限公司 图像分割模型训练方法、装置及通信设备
CN113496237A (zh) * 2020-03-20 2021-10-12 商汤集团有限公司 域适应神经网络训练和交通环境图像处理方法及装置
US20210334979A1 (en) * 2020-11-30 2021-10-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and Apparatus of Segmenting Image, Electronic Device and Storage Medium

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108888294A (zh) * 2018-03-30 2018-11-27 杭州依图医疗技术有限公司 一种检测颈部透明带宽度的方法及装置
CN108961274A (zh) * 2018-07-05 2018-12-07 四川大学 一种mri图像中自动头颈肿瘤分割方法
CN109063710A (zh) * 2018-08-09 2018-12-21 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109350089A (zh) * 2018-10-25 2019-02-19 杭州医学院 一种基于ct图像的甲状腺区域自动分割方法
US20200202532A1 (en) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Brain tumor image segmentation method, device and storage medium
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN113496237A (zh) * 2020-03-20 2021-10-12 商汤集团有限公司 域适应神经网络训练和交通环境图像处理方法及装置
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
US20210334979A1 (en) * 2020-11-30 2021-10-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and Apparatus of Segmenting Image, Electronic Device and Storage Medium
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及系统
CN112966687A (zh) * 2021-02-01 2021-06-15 深圳市优必选科技股份有限公司 图像分割模型训练方法、装置及通信设备
CN112862785A (zh) * 2021-02-10 2021-05-28 昆明同心医联科技有限公司 Cta影像数据识别方法、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PIOTR SWIERCZYNSKI等: "A level-set approach to joint image segmentation and registration with application to CT lung imaging", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》, vol. 65, pages 58 - 68, XP085365856, DOI: 10.1016/j.compmedimag.2017.06.003 *
VIJAY BADRINARAYANAN等: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 39, no. 12, pages 2481 - 2495, XP055942927, DOI: 10.1109/TPAMI.2016.2644615 *
李小虎等: "肾脏CT容积纹理分析及机器学习相结合的影像组学评价肾透明细胞癌病理分级的价值初探", 《中华放射学杂志》, vol. 52, no. 5, pages 344 - 348 *
杨丹等: "多尺度卷积核U-Net模型的视网膜血管分割方法", 《东北大学学报(自然科学版)》, vol. 42, no. 1, pages 7 - 14 *

Also Published As

Publication number Publication date
CN114155215B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN107748900B (zh) 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质
CN109166105B (zh) 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统
CN113208640B (zh) 一种基于乳腺专用pet影像组学预测腋窝淋巴结转移的方法
WO2015106374A1 (zh) 一种基于脑部核磁共振图像的多维度纹理提取方法
CN112365464A (zh) 一种基于gan的医学图像病变区域弱监督定位方法
Dutande et al. Deep residual separable convolutional neural network for lung tumor segmentation
Kwon et al. Ultrasonographic thyroid nodule classification using a deep convolutional neural network with surgical pathology
CN114974575A (zh) 基于多特征融合的乳腺癌新辅助化疗疗效预测装置
CN116703901B (zh) 肺部医学ct影像分割及分类装置及设备
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
CN113345576A (zh) 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法
CN113011257A (zh) 一种乳腺癌免疫组化人工智能判读方法
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN115205306A (zh) 一种基于图卷积的医疗图像分割方法
CN113889261B (zh) 基于病理特征辅助的pet/ct自动肺癌诊断分类模型训练方法
Li et al. Breast MRI segmentation and Ki-67 high-and low-expression prediction algorithm based on deep learning
CN116504399A (zh) 一种基于纵向DCE-MRI的乳腺癌新辅助化疗pCR预测方法
CN115797308A (zh) 一种基于dce-mri的乳腺肿瘤分割方法
CN114155215B (zh) 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统
Li et al. A dual attention-guided 3D convolution network for automatic segmentation of prostate and tumor
CN109978846B (zh) 一种基于体局部方向三值模式的肺结节纹理特征提取系统及方法
CN115239688B (zh) 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统
CN116369981B (zh) 基于超声造影的保乳切缘状态预测方法、系统、设备及介质
Hwang et al. RBCA-Net: Reverse boundary channel attention network for kidney tumor segmentation in CT images
Zhang et al. Pneumothorax segmentation of chest X-rays using improved UNet++

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220308

Assignee: SHENZHEN ANNET INNOVATION SYSTEM Co.,Ltd.

Assignor: Cancer center of Sun Yat sen University|Institute of oncology, Sun Yat sen University)

Contract record no.: X2024980003030

Denomination of invention: A Method and System for Nasopharyngeal Cancer Recognition and Tumor Segmentation Based on MR Images

Granted publication date: 20231110

License type: Common License

Record date: 20240319

EE01 Entry into force of recordation of patent licensing contract