CN113177981B - 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 - Google Patents
双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 Download PDFInfo
- Publication number
- CN113177981B CN113177981B CN202110473766.1A CN202110473766A CN113177981B CN 113177981 B CN113177981 B CN 113177981B CN 202110473766 A CN202110473766 A CN 202110473766A CN 113177981 B CN113177981 B CN 113177981B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- slice
- craniopharyngioma
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 91
- 208000009798 Craniopharyngioma Diseases 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 55
- 230000003902 lesion Effects 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 206010028980 Neoplasm Diseases 0.000 claims description 5
- 230000009545 invasion Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 208000035269 cancer or benign tumor Diseases 0.000 claims 1
- 238000002203 pretreatment Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 210000005013 brain tissue Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000007455 central nervous system cancer Diseases 0.000 description 1
- 208000025997 central nervous system neoplasm Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000955 neuroendocrine Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001817 pituitary effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于医学影像处理技术领域,具体涉及一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,旨在解决人工无法通过无创的方式对路颅咽管瘤的侵袭性进行准确分类以及对病灶区域准确分割的问题。本发明包括:图像获取模块,配置为获取颅咽管瘤MR图像;阈值分割模块,配置为对图像进行背景去除,并调整为设定尺寸大小,将尺寸调整后的图像作为第一图像;病灶分割模块,配置为得到第一图像各切片中像素点是否属于病灶区域的预测值及病灶区域分割结果,并提取各切片的2D特征;分类模块,配置为提取第一图像的3D特征,并获取颅咽管瘤MR图像对应的分类结果。本发明实现以无创方式对颅咽管瘤进行病灶区域的准确分割和侵袭性分类。
Description
技术领域
本发明属于医学影像处理技术领域,具体涉及一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统、方法、设备。
背景技术
颅咽管瘤是一种罕见的中枢神经系统肿瘤,通常病发于鞍区。虽然颅咽管瘤是一种良性肿瘤,但其生物学行为有侵袭性,通过侵袭视交叉、垂体和下丘脑等重要脑组织结构造成神经内分泌功能障碍,因此,主要的医疗方案为手术切除肿瘤区域。
颅咽管瘤在不同患者的MR图像中可能呈现出从低信号到高信号的各种信号,使得某些患者的病灶区域与脑组织边缘模糊,不易区分。与此同时,颅咽管瘤的评估多依赖于术中病理结果,医生无法利用MR图像预判颅咽管瘤的侵袭性,无法提前制定个性化医疗方案,因而设计无创的方法判断颅咽管瘤是否侵袭脑组织并分割出病灶区域是亟待解决的关键问题。
现阶段,对于颅咽管瘤侵袭性判断的相关研究较少,但在医学影像领域,一般分为放射组学特征法和深度学习方法。放射组学通过从医学影像中提取大量人工制定的图像特征来评估肿瘤的异质性,而深度学习方法通过构造并训练端到端的网络进行分类。相较于放射组学特征极度依赖人工制定的特征提取方法,深度学习方法能够提取图像中的高维语义特征,同时实现多任务学习。针对上述问题,本发明提出了一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统。
发明内容
为了解决现有技术中的上述问题,即为了解决人工无法通过无创的方式对路颅咽管瘤的侵袭性进行准确分类以及对病灶区域准确分割的问题,本发明提出了一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,该系统包括:图像获取模块、阈值分割模块、病灶分割模块、分类模块;
所述图像获取模块,配置为获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
所述阈值分割模块,配置为通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
所述病灶分割模块,配置为将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;还配置为结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述分类模块,配置为基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;还配置为将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
在一些优选的实施方式中,所述多任务双通路模型包括U型网络、2D特征提取网络、3D特征提取网络、决策网络;
所述2D特征提取网络与所述U型网络的最后一个2D残差模块下采样层连接,还包括依次连接的卷积层、2D残差模块下采样层、全局平均池化层、全连接层,用于结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述3D特征提取网络基于ResNet3D网络构建,用于提取预处理图像的3D特征。
在一些优选的实施方式中,所述预处理图像各切片在进行病灶区域分割和2D特征提取时,主干网络共享权重;所述主干网络包括U型网络、2D特征提取网络。
在一些优选的实施方式中,所述多任务双通路模型,其训练方法为:
A10,获取颅咽管瘤MR图像及其对应的分类结果真值标签、标注的病灶区域;
A20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小;
A30,对尺寸调整后的输入图像进行预处理,得到预处理图像;
A40,将所述预处理图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述预处理图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
A50,基于所述预测值,对所述预处理图像进行加权求和处理,并提取加权求和后的预处理图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
A60,计算病灶区域分割结果、标注的病灶区域之间的损失值,作为第一损失值;计算所述输入图像对应的分类结果、分类结果真值标签之间的损失值,作为第二损失值;将第一损失值、第二损失值求和,作为总损失,并结合该总损失更新多任务双通路模型的模型参数;
A70,循环执行步骤A10-A60,直至得到训练好的多任务双通路模型。
在一些优选的实施方式中,所述预处理为:依次对尺寸调整后的输入图像进行灰度校正、随机旋转、随机裁剪、随机缩放处理。
在一些优选的实施方式中,所述总损失,其计算方法为:
lossjoint=losscls+lossseg
其中,lossjoint表示总损失,losscls表示加权交叉熵损失函数,用于计算第一损失值,yi表示第i张颅咽管瘤MR图像对应的分类结果真值标签,pi表示决策网络预测第i张颅咽管瘤MR图像的分类结果为侵袭周周脑组织的概率,N表示批次训练的颅咽管瘤MR图像数量,lossseg表示Dice loss损失函数,用于计算第二损失值,label表示标注的病灶区域,predict表示多任务双通路模型U型网络预测的病灶区域分割结果,TP表示某个像素标注是病灶区域,预测的病灶区域分割结果也是病灶区域的数量,FP表示某个像素标注不是病灶区域,预测的病灶区域分割结果是病灶区域的数量,FN表示某个像素标注是病灶区域,但预测的病灶区域分割结果不是病灶区域的数量。
本发明的第二方面,提出了一种双通路颅咽管瘤侵袭性分类及其病灶区域分割方法,该方法包括:
S10,获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
S20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
S30,将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
S40,基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
本发明的第三方面,提出了一种设备,至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
本发明的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
本发明的有益效果:
本发明实现了以无创方式对颅咽管瘤进行病灶区域的准确分割和侵袭性分类。
1)在训练阶段:基于迁移学习方法进行训练,加速网络收敛,提高了训练速度;同时利用多任务学习联合训练策略,深度挖掘和利用图像信息,减少系统过拟合;
2)在判断颅咽管瘤是否侵袭周围脑组织和病灶区域分割阶段:本发明利用两通道多任务深度学习网络,融合2D和3D特征。鉴于颅咽管瘤在脑部位置相对固定,因此引入位置编码,同时利用有监督的注意力机制,提高模型对肿瘤区域特征的提取,进而实现了以无创方式对颅咽管瘤进行病灶区域的准确分割和侵袭性分类。经过实验证明,本发明的分类和病灶区域分割的准确率有很大的临床应用潜力。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统的框架示意图;
图2为本发明一种实施例的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法的流程示意图;
图3是本发明一种实施例的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统的简略框架示意图;
图4是本发明一种实施例的颅咽管瘤MR图像预处理的流程示意图;
图5是本发明一种实施例的多任务双通路模型的框架示意图;
图6是本发明一种实施例的颅咽管瘤病灶区域分割的结果示意图;
图7是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,如图1所示,该系统包括以下模块:图像获取模块100、阈值分割模块200、病灶分割模块300、分类模块400;
所述图像获取模块100,配置为获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
所述阈值分割模块200,配置为通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
所述病灶分割模块300,配置为将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;还配置为结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述分类模块400,配置为基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;还配置为将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
为了更清晰地对本发明双通路颅咽管瘤侵袭性分类及其病灶区域分割系统进行说明,下面对本发明系统一种实施例中各模块进行展开详述。
在下述实施例中,先对多任务双通路模型的训练过程进行详述,再对双通路颅咽管瘤侵袭性分类及其病灶区域分割系统的各模块进行详述。
1、多任务双通路模型的训练过程
A10,获取颅咽管瘤MR图像及其对应的分类结果真值标签、标注的病灶区域;
在本实施例中,先获取训练样本图像,即颅咽管瘤MR图像,医生根据术后病理切片结果,利用ITK-SNAP软件标注病灶区域,以及标注颅咽管瘤是否侵袭周围脑组织,作为分类结果真值标签。
A20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小;
在本实施例中,利用阈值分割法,切除MR图像中大部分的背景,并将三维图像重新调整为设定尺寸大小。本发明中设定尺寸优选设置为128x128x32。即读入三维MR图像,以[0,0,0]处像素值作为基准,计算每个像素值与其差值,取差值大于300的最小立方体,然后再调整图像尺寸。
A30,对尺寸调整后的输入图像进行预处理,得到预处理图像;
在本实施例中,利用图像灰度校正算法(Contrast Adjustment)调整图像对比度,不仅可以模拟医生诊断时调窗的过程,而且可以作为数据扩增的一种方式;灰度校正后,利用随机旋转(Rotation)、随机裁剪(Shearing)、随机缩放(Zoom)对尺寸调整(Cropping)后的输入图像进行处理,具体如图4所示。
A40,将所述预处理图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述预处理图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
在本实施例中,多任务双通路模型包括U型网络、2D特征提取网络、3D特征提取网络、决策网络;如图5所示。
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块(2D Res-block)、2D残差模块下采样层、上采样层;获取所述预处理图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;所述预处理图像各切片中像素点是否属于病灶区域的预测值构成注意力机制的权重,辅助3D特征提取网络更加关注病灶区域及病灶周围区域;
所述2D特征提取网络与所述U型网络的最后一个2D残差模块下采样层连接,还包括依次连接的卷积层(conv)、2D残差模块下采样层(2D Res-block with down-sample)、全局平均池化层(GAP)、全连接层(FC),用于结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述3D特征提取网络基于ResNet3D网络构建,用于提取预处理图像的3D特征;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
在本发明中,将所述预处理图像(32x128 x128大小)分割成N张(优选为32,即图5中的32slices,1x128 x128大小)切片,分别输入多任务双通路模型的U型网络中,得到预处理图像各切片中像素点是否属于病灶区域的预测值,构成注意力机制的权重(Attention)及各切片对应的病灶区域分割(Segmentation result),如图6所示。
2D特征提取网络基于U型网络的最后一个2D残差模块下采样层(2D Res-blockwith down-sample)处理的中间变量,结合各切片中像素点的位置以及各像素点与切片中心点的距离,分别进行卷积、残差下采样、全局平均池化、全连接处理,提取预处理图像各切片的2D特征(16_d,即16维)。
其中,预处理图像各切片在进行病灶区域分割和2D特征提取时,主干网络共享权重;所述主干网络包括U型网络、2D特征提取网络,如图5所示。
A50,基于所述预测值,对所述预处理图像进行加权求和处理,并提取加权求和后的预处理图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
在本实施例中,基于U型网络输出的预处理图像各切片中像素点是否属于病灶区域的预测值,构成注意力机制的权重,将该权重与预处理图像进行加权求和处理,即预处理图像×(1+Attention),并对输入3D特征提取网络,提取预处理图像的3D特征(512_d,512维)。
将预处理图像对应的2D特征和3D特征进行融合,并通过决策网络,得到输入图像对应的分类结果,即MR图像中颅咽管瘤是否侵袭周围脑组织。
A60,计算病灶区域分割结果、标注的病灶区域之间的损失值,作为第一损失值;计算所述输入图像对应的分类结果、分类结果真值标签之间的损失值,作为第二损失值;将第一损失值、第二损失值求和,作为总损失,并结合该总损失更新多任务双通路模型的模型参数;
在本实施例中,计算病灶区域分割结果、标注的病灶区域之间的损失值,作为第一损失值;计算所述输入图像对应的分类结果、分类结果真值标签之间的损失值,作为第二损失值;将第一损失值、第二损失值求和,作为总损失,具体如公式(1)(2)(3)所示:
lossjoint=losscls+lossseg (1)
其中,lossjoint表示总损失,losscls表示加权交叉熵损失函数,用于计算第一损失值,yi表示第i张颅咽管瘤MR图像对应的分类结果真值标签,如果是侵袭周围脑组织,则为1,未侵袭则为0,pi表示决策网络预测第i张颅咽管瘤MR图像的分类结果为侵袭周周脑组织的概率,N表示批次训练的颅咽管瘤MR图像数量,lossseg表示Dice loss损失函数,用于计算第二损失值,label表示标注的病灶区域,predict表示多任务双通路模型U型网络预测的病灶区域分割结果,TP表示某个像素标注是病灶区域,预测的病灶区域分割结果也是病灶区域的数量,即有多少个像素点被标记是病灶区域,同时网络的预测也是属于病灶区域,FP表示某个像素标注不是病灶区域,预测的病灶区域分割结果是病灶区域的数量,FN表示某个像素标注是病灶区域,但预测的病灶区域分割结果不是病灶区域的数量。
基于计算的总损失值,利用梯度下降算法,微调多任务双通路模型的模型参数。
A70,循环执行步骤A10-A60,直至得到训练好的多任务双通路模型。
在本实施例中,循环执行步骤A10-A60,直至得到达到设定的训练次数或者模型达到设定的模型精度阈值,输出训练好得多任务双通路模型。
2、双通路颅咽管瘤侵袭性分类及其病灶区域分割系统
所述图像获取模块100,配置为获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
在本实施例中,获取颅咽管瘤MR图像,作为输入图像,用于病灶区域分割和分类。
所述阈值分割模块200,配置为通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
在本实施例中,利用阈值分割法,切除MR图像中大部分的背景,并将三维图像重新调整为设定尺寸大小。本发明中优选设置为128x128x32。即读入三维MR图像,以[0,0,0]处像素值作为基准,计算每个像素值与其差值,取差值大于300的最小立方体,然后再调整图像尺寸。
所述病灶分割模块300,配置为将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;还配置为结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
在本实施例中,将所述预处理图像(32x128 x128大小)分割成N张(优选为32,即图5中的32slices,1x128x128大小)切片,分别输入多任务双通路模型的U型网络中,得到预处理图像各切片中像素点是否属于病灶区域的预测值(Attention),构成注意力机制的权重及病灶区域分割结果(Segmentation result),病灶区域的分割结果如图6所示。
2D特征提取网络基于U型网络的最后一个2D残差模块下采样层(2D Res-blockwith down-sample)处理的中间变量,结合各切片中像素点的位置以及各像素点与切片中心点的距离,分别进行卷积、残差下采样、全局平均池化、全连接处理,提取预处理图像各切片的2D特征(16_d,即16维)。
所述分类模块400,配置为基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;还配置为将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果。
在本实施例中,基于U型网络输出的预处理图像各切片中像素点是否属于病灶区域的预测值,构成注意力机制的权重,进行连接,得到各预处理图像对应的权重,将该权重与预处理图像进行加权求和处理,并对输入3D特征提取网络,提取预处理图像的3D特征(512_d,512维)。
将预处理图像对应的2D特征和3D特征进行融合,并通过分类网络,得到输入图像对应的分类结果,即MR图像中颅咽管瘤是否侵袭周围脑组织。
本发明第二实施例的一种双通路颅咽管瘤侵袭性分类及其病灶区域分割方法,如图2所示,包括:
S10,获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
S20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
S30,将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
S40,基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的方法的具体的工作过程及有关说明,可以参考前述系统实施例中的对应过程,在此不再赘述。
本发明第三实施例的一种设备,至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求上述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求上述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
下面参考图7,其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图7示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统包括中央处理单元(CPU,Central Processing Unit)701,其可以根据存储在只读存储器(ROM,Read Only Memory)702中的程序或者从存储部分708加载到随机访问存储器(RAM,Random Access Memory)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O,Input/Output)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid Crystal Display)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN(局域网,Local AreaNetwork)卡、调制解调器等的网络接口卡的通讯部分709。通讯部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通讯部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU701执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,该系统包括图像获取模块、阈值分割模块、病灶分割模块、分类模块;
所述图像获取模块,配置为获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
所述阈值分割模块,配置为通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
所述病灶分割模块,配置为将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;还配置为结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述分类模块,配置为基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;还配置为将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
2.根据权利要求1所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,所述多任务双通路模型包括U型网络、2D特征提取网络、3D特征提取网络、决策网络;
所述2D特征提取网络与所述U型网络的最后一个2D残差模块下采样层连接,还包括依次连接的卷积层、2D残差模块下采样层、全局平均池化层、全连接层,用于结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
所述3D特征提取网络基于ResNet3D网络构建,用于提取预处理图像的3D特征。
3.根据权利要求2所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,所述预处理图像各切片在进行病灶区域分割和2D特征提取时,主干网络共享权重;所述主干网络包括U型网络、2D特征提取网络。
4.根据权利要求3所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,所述多任务双通路模型,其训练方法为:
A10,获取颅咽管瘤MR图像及其对应的分类结果真值标签、标注的病灶区域;
A20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小;
A30,对尺寸调整后的输入图像进行预处理,得到预处理图像;
A40,将所述预处理图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述预处理图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
A50,基于所述预测值,对所述预处理图像进行加权求和处理,并提取加权求和后的预处理图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
A60,计算病灶区域分割结果、标注的病灶区域之间的损失值,作为第一损失值;计算所述输入图像对应的分类结果、分类结果真值标签之间的损失值,作为第二损失值;将第一损失值、第二损失值求和,作为总损失,并结合该总损失更新多任务双通路模型的模型参数;
A70,循环执行步骤A10-A60,直至得到训练好的多任务双通路模型。
5.根据权利要求4所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,所述预处理为:依次对尺寸调整后的输入图像进行灰度校正、随机旋转、随机裁剪、随机缩放处理。
6.根据权利要求4所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割系统,其特征在于,所述总损失,其计算方法为:
lossjoint=IOSScls+IOSSseg
其中,lossjoint表示总损失,losscls表示加权交叉熵损失函数,用于计算第一损失值,yi表示第i张颅咽管瘤MR图像对应的分类结果真值标签,pi表示决策网络预测第i张颅咽管瘤MR图像的分类结果为侵袭周周脑组织的概率,N表示批次训练的颅咽管瘤MR图像数量,lossseg表示Dice loss损失函数,用于计算第二损失值,label表示标注的病灶区域,predict表示多任务双通路模型U型网络预测的病灶区域分割结果,TP表示某个像素标注是病灶区域,预测的病灶区域分割结果也是病灶区域的数量,FP表示某个像素标注不是病灶区域,预测的病灶区域分割结果是病灶区域的数量,FN表示某个像素标注是病灶区域,但预测的病灶区域分割结果不是病灶区域的数量。
7.一种双通路颅咽管瘤侵袭性分类及其病灶区域分割方法,其特征在于,该方法包括:
S10,获取待分类和病灶区域分割的颅咽管瘤MR图像,作为输入图像;
S20,通过阈值分割法对所述输入图像进行背景去除,并将背景去除后的输入图像调整为设定尺寸大小,将尺寸调整后的输入图像作为第一图像;
S30,将所述第一图像分割成N张切片,并分别输入多任务双通路模型的U型网络中,得到所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;并结合各切片中像素点的位置以及各像素点与切片中心点的距离,提取各切片对应的2D特征;
S40,基于所述预测值,对所述第一图像进行加权求和处理,并提取加权求和后的第一图像的3D特征;将提取的2D特征和3D特征进行融合,并通过决策网络获取所述输入图像对应的分类结果;
所述U型网络为基于残差网络构建的UNet网络,包括卷积层、2D残差模块、2D残差模块下采样层、上采样层;所述U型网络用于获取所述第一图像各切片中像素点是否属于病灶区域的预测值及各切片对应的病灶区域分割结果;
所述决策网络基于全连接层构建,用于获取所述输入图像对应的分类结果。
8.一种设备,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求7所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求7所述的双通路颅咽管瘤侵袭性分类及其病灶区域分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110473766.1A CN113177981B (zh) | 2021-04-29 | 2021-04-29 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110473766.1A CN113177981B (zh) | 2021-04-29 | 2021-04-29 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177981A CN113177981A (zh) | 2021-07-27 |
CN113177981B true CN113177981B (zh) | 2022-10-14 |
Family
ID=76925293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110473766.1A Active CN113177981B (zh) | 2021-04-29 | 2021-04-29 | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177981B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113768460B (zh) * | 2021-09-10 | 2023-11-14 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析系统、方法以及电子设备 |
CN117637185B (zh) * | 2024-01-25 | 2024-04-23 | 首都医科大学宣武医院 | 一种基于影像的颅咽管瘤治疗辅助决策方法、系统及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492286A (zh) * | 2018-03-13 | 2018-09-04 | 成都大学 | 一种基于双通路u型卷积神经网络的医学图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170504B2 (en) * | 2019-05-02 | 2021-11-09 | Keyamed Na, Inc. | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network |
-
2021
- 2021-04-29 CN CN202110473766.1A patent/CN113177981B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492286A (zh) * | 2018-03-13 | 2018-09-04 | 成都大学 | 一种基于双通路u型卷积神经网络的医学图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
CN110151181A (zh) * | 2019-04-16 | 2019-08-23 | 杭州电子科技大学 | 基于递归残差u型网络的快速磁共振成像方法 |
Non-Patent Citations (1)
Title |
---|
A multi-task two-path deep learning system for predicting the invasiveness of craniopharyngioma;Lin Zhu 等;《Computer Methods and Programs in Biomedicine》;20220430;第216卷;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113177981A (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113177981B (zh) | 双通路颅咽管瘤侵袭性分类及其病灶区域分割系统 | |
CN112651979B (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
CN113436166A (zh) | 基于磁共振血管造影数据的颅内动脉瘤检测方法及系统 | |
JP2005296605A (ja) | 放射線写真画像を診断関連領域と診断非関連領域とにセグメント化する方法 | |
US20200167911A1 (en) | Medical image data | |
CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
CN116797554A (zh) | 图像处理方法以及装置 | |
CN116312986A (zh) | 三维医学影像标注方法、装置、电子设备及可读存储介质 | |
CN113469963B (zh) | 肺动脉图像分割方法及装置 | |
CN110766682A (zh) | 肺结核定位筛查装置及计算机设备 | |
CN113140291B (zh) | 图像分割方法、装置、模型训练方法及电子设备 | |
CN116091469B (zh) | 骨折检测方法、装置、电子设备及介质 | |
CN115359257B (zh) | 基于深度学习的脊椎图像分割方法及手术导航定位系统 | |
CN115375706A (zh) | 图像分割模型训练方法、装置、设备及存储介质 | |
CN116091518A (zh) | 基于动态对比增强磁共振影像的乳腺病灶分割方法及装置 | |
CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN115330696A (zh) | 一种支架的检测方法、装置、设备及存储介质 | |
CN114419375A (zh) | 图像分类方法、训练方法、装置、电子设备以及存储介质 | |
FR3110764A1 (fr) | Méthode de prédiction de la récidive d’une lésion par analyse d’images | |
CN115690498B (zh) | 椎体骨密度确认方法、装置、电子设备及存储介质 | |
CN115564788B (zh) | 基于先验信息的肺气管分割模型训练、分割方法和装置 | |
CN117036372B (zh) | 一种鲁棒性激光散斑图像血管分割系统及分割方法 | |
Linda et al. | Hierarchical approach to detect fractures in CT DICOM images | |
CN115690143B (zh) | 图像分割方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |