CN111798462B - 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 - Google Patents

一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 Download PDF

Info

Publication number
CN111798462B
CN111798462B CN202010618225.9A CN202010618225A CN111798462B CN 111798462 B CN111798462 B CN 111798462B CN 202010618225 A CN202010618225 A CN 202010618225A CN 111798462 B CN111798462 B CN 111798462B
Authority
CN
China
Prior art keywords
convolution
segmentation
target area
training
nasopharyngeal carcinoma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010618225.9A
Other languages
English (en)
Other versions
CN111798462A (zh
Inventor
王国泰
梅昊陈
雷文辉
张少霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010618225.9A priority Critical patent/CN111798462B/zh
Publication of CN111798462A publication Critical patent/CN111798462A/zh
Application granted granted Critical
Publication of CN111798462B publication Critical patent/CN111798462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CT图像的鼻咽癌放疗靶区自动勾画方法,属于医学图像分割技术领域,特别是针对于三维医学图像分割中鼻咽癌目标靶区的卷积神经网络自动分割方法。针对基于深度学习的医学图像分割方法存在的问题,提出了一种基于2.5维卷积神经网络与注意力机制相结合的多尺度集成模型。使其对目标靶区进行分割时,对大间距图像有更强的特征学习能力,在分割过程中更加关注目标分割区域从而获更好的分割效果,并通过集成多个尺度下的模型提高分割精度,并根据模型集成结果提供分割结果不确定性评估,以更好辅助医生决策。

Description

一种基于CT图像的鼻咽癌放疗靶区自动勾画方法
技术领域
本发明属于医学图像分割技术领域,特别是针对于三维医学图像分割中鼻咽癌目标靶区的卷积神经网络自动分割方法。
背景技术
鼻咽癌是指发生在鼻咽腔壁上的恶性肿瘤,其发生率在耳,鼻,喉的恶性肿瘤中最高。鼻咽癌经常出现在中国南部,东南亚,中东和北非。鼻咽癌的发现和治疗时间越早,治疗的成功率就越高,放射治疗是鼻咽癌最常用的治疗方法。在进行放疗,需要在医学图像中勾画出目标靶区以避免放疗损伤人体的健康区域。目前,勾画任务通常是由经验丰富的放射科医生通过逐个二维切片来手动勾画完成的,这不仅繁琐而且费时费力。
医学图像中肿瘤放疗靶区的自动分割是一个充满挑战的课题。由于不同软组织之间对比度低、边界模糊、图像存在采样伪影、局部体效应等因素使医学图像中存在许多不确定干扰,所以医学图像分割具有很强的针对性,使得医学图像分割至今都没有统一的标准和普遍适用的规则。
医学图像分割经历了一个由传统的区域增长、边界检测算法发展到活动轮廓模型算法和基于学习的方法等算法的过程。由于医学图像的特殊性,上述算法进行医学图像分割时容易出现欠分割和过分割。近几年来,深度学习技术特别是深度卷积神经网络已经迅速发展成为医学图像分割的重要方法,它能够从医学图像大数据中自动提取有效的特征,通过大量的学习,可以得到较好的分割结果。
对目前已有的深度学习分割模型进行考察发现,尽管这些基于深度学习的自动分割模型在医学图像中对正常器官的分割可以达到较高水平,但对于鼻咽癌的靶区进行准确的自动分割仍然是一项艰巨的任务,目前仍然存在很多困难。这里主要存在着三个问题:第一个问题是目前大多数基于深度学习的鼻咽癌靶区自动分割方法都是在单模态医学图像(如CT图像)上实现的,这意味着在CT图像中鼻咽癌靶区区域与周围的软组织对比度较低。第二,鼻咽癌靶区区域的边界是难以识别的,这导致了即使对于人类专家也很难获得准确的轮廓。而这会导致训练出现偏差。第三,鼻咽癌病变区域在整个头部和颈部CT图像中仅占据很小的区域,这在分割目标和背景之间造成了很大的不平衡。另外,在临床上采取的图像通常有着较高的切片内分辨率和较低的切片间分辨率,这导致相邻切片中目标区域会出现较的大形状变化。这也给分割任务带来了很大的困难。现有的绝大多数形状建模方法都专注于解决上述一个或者两个问题,而同时有效地处理这三个问题具有十分重要的意义。
发明内容
本发明的目的在于克服现有的头颈部鼻咽癌放疗靶区分割算法的不足,针对基于深度学习的医学图像分割方法存在的问题,提出了一种基于2.5维卷积神经网络与注意力机制相结合的多尺度集成模型。使其对目标靶区进行分割时,对大间距图像有更强的特征学习能力,在分割过程中更加关注目标分割区域从而获更好的分割效果,并通过集成多个尺度下的模型提高分割精度,并根据模型集成结果提供分割结果不确定性评估,以更好辅助医生决策。
本发明采用一种新的一种基于2.5维卷积神经网络与注意力机制相结合的多尺度采样集成模型来解决鼻咽癌目标靶区分割中存在的上述难点。具体是通过以下技术方案实现的:首先将原始CT图像通过裁剪变成三种不同尺度的用于输入网络的图片。其次将标准三维卷积与二维卷积结合使用,构建出一个2.5维卷积神经网络作为基础框架。针对需要分割的目标区域,使用两种不同的注意力机制使其相结合来对目标区域重点进行特征学习。最后,将转化裁剪后的图像输入网络中,通过优化器来训练网络优化损失函数。训练完成后,通过对多个模型的集成,在新的测试图像上得到最终的分割结果和相应的分割不确定性信息。
本发明技术方案为一种基于CT图像的鼻咽癌放疗靶区自动勾画方法,其特征在于,该方法采用训练好的2.5维注意力卷积神经网络对输入CT图像进行鼻咽癌放疗靶区的自动勾画;
所述2.5维注意力卷积神经网络由依次级联的编码器、底层卷积模块、解码器结构;
所述编码器由K个依次级联的卷积模块组成,其中相邻的两个卷积模块通过下采样实现分辨率的依次降低,除第一个卷积模块外,每个卷积模块之前都设有一个投影-激发单元;各卷积模块包括两个非线性卷积层,每个非线性卷积层包括:一个线性卷积层、一个批处理归一化层、一个泄漏线性整流单元,其中前L个卷积模块中的卷积核尺寸为1×3×3,其余卷积模块中的卷积核尺寸为3×3×3;
所述底层卷积模块之前还设置有空间注意力单元和投影-激发单元,编码器的输出依次经过空间注意力单元、投影-激发单元后输入底层卷积模块,底层卷积模块依次包括卷积核尺寸为3×3×3的线性卷积层、批处理归一化、泄漏线性整流单元,底层卷积模块通过上采样与解码器连接;
所述解码器也由K个依次级联的卷积模块组成,其中相邻的两个卷积模块通过上采样实现分辨率的依次升高,每个卷积模块之前还设置有空间注意力单元和投影-激发单元,各卷积模块的输入首先依次经过空间注意力单元、投影-激发单元后再输入本卷积模块,各卷积模块包括两个非线性卷积层,每个非线性卷积层包括:一个线性卷积层、一个批处理归一化层、一个泄漏线性整流单元,其中后L个卷积模块中的卷积核尺寸为1×3×3,其余卷积模块中的卷积核尺寸为3×3×3;
同时在网络当中还使用了跳跃连接来提升网络的表现,具体方法为:将解码器中卷积模块的上采样结果与编码器中具有相同分辨率的卷积子模块的输出特征图在通道方向进行拼接,作为解码器中下一个子模块的输入;
解码器的输出通过一个卷积层和的softmax函数输出分割结果,分割结果为图像各像素点为鼻咽癌放疗靶区的概率,称为概率图;
所述空间注意力单元由卷积核大小为1×3×3的两个卷积层组成;第一个卷积层将特征图的通道数减少到一半,然后接着一个ReLU激活函数;第二个卷积层将通道数进一步减少为1,然后通过Sigmoid型激活函数生成空间注意力图;空间注意图是注意力系数αi∈[0,1]的单通道特征图,它表示每个空间位置的相对重要性;然后,将空间注意图与输入特征图相乘得到输出结果以此实现对目标区域进行重点特征学习;此外,注意力单元中使用了残差连接,以此实现更好的特征融合。
所述投影-激发单元由两部分组成,分别为投影和激发;投影是对每个维度使用平均池化操作,以此保留更多的空间信息;激发是对不同通道的投影之间的相互依赖性进行学习;因此,投影-激发单元能够组合空间和通道上下文信息以进行重新校准。对于投影,令xc表示输入特征图X的第c个通道,而
Figure BDA0002562163740000031
分别表示每个维度的平均池化操作的输出;详细定义如下所示:
Figure BDA0002562163740000032
Figure BDA0002562163740000033
Figure BDA0002562163740000034
然后将
Figure BDA0002562163740000035
中的每一个扩展为输入特征图X的原始形状,即H×W×D×C,H、W、D、C分别表示输入特征图的高度,宽度,长度和通道数;然后将这些扩展的张量相加以获得Z作为激发操作Fex的输入;激发操作的详细定义如下:
Figure BDA0002562163740000041
其中F1和F2分别表示卷积层,
Figure BDA0002562163740000042
Figure BDA0002562163740000043
分别表示ReLU函数和Sigmoid激活函数;F1将通道数减少到C/d,d的值设置为2;然后F2将通道数恢复为其原始数目;投影-激发单元的最终输出
Figure BDA0002562163740000044
是通过X和Z逐元素进行相乘得到的,详细定义如下所示:
Figure BDA0002562163740000045
进一步的,所述2.5维注意力卷积神经网络的训练方法为:
步骤1:建立训练图像数据集;
事先通过对临床数据的收集,将大量病人的三维头颈部CT图像中的鼻咽癌靶区由医院的临床专家手工分割出来作为金标准,建立训练数据集;
步骤2:对图像数据按照局部、中等和全局三种尺度进行采样,获得三种不同尺度下的鼻咽癌分割训练图像;局部采样是在x,y方向上使用基于头部区域的粗糙边界框裁剪图像,在z方向上仅对头部区域进行采样;中等尺度采样是在z方向上从包括头部和颈部在内的区域进行采样;全局采样是对整个图像区域进行采样;
步骤3:采用步骤2得到的训练图像对2.5维注意力卷积神经网络进行训练,直到训练结束。
进一步的,所述2.5维注意力卷积神经网络训练时对局部、中等和全局三种尺度的训练图像分开训练;针对每种尺度的训练图像在训练过程中调整训练的侧重点,每种尺度都得到M个训练结果,最终得到N=3M个分割模型;实际分割时,对N个模型的输出概率图取平均,得到的平均概率图进行argmax运算以获得初始分割结果;取最大的连通区域进行边界识别,得到最终分割结果。
进一步的,计算最终分割结果的不确定性,计算方法为:
步骤a:设
Figure BDA0002562163740000046
表示第i个像素的预测标签,预测标签表示是鼻咽癌放疗靶区或不是鼻咽癌放疗靶区,根据该像素点为鼻咽癌放疗靶区的概率和设定的概率阈值确定;通过N个分割模型的预测,获得一系列
Figure BDA0002562163740000047
的值;令
Figure BDA0002562163740000048
表示
Figure BDA0002562163740000049
中第n个值的频率,根据熵信息定义像素级不确定性H:
Figure BDA00025621637400000410
对于来自不同模型的N个预测样本,令V={v1,v2,v3,…,vn}表示对应预测结果中鼻咽癌放疗靶区体积的集合,其中vi是第i个模型获得的预测鼻咽癌放疗靶区体积;使用体积变化系数VVC来估计结构方面的不确定性,其定义如下:
Figure BDA0002562163740000051
其中,σv和μv分别表示V的标准偏差和平均值。
与现有技术相比,本发明具有以下优点:
(1)能够较好的分割有较高的切片内分辨率和较低的切片间分辨率的CT图像。
(2)对鼻咽癌病变区域这类小目标区域,通过空间注意力单元和投影-激发单元结合对目标区域进行重点特征学习,实现了更鲁棒的分割结果。
(3)利用不同尺度下的特征进行分割,并将其结果进行融合,可实现更鲁棒的分割结果,并根据模型集成结果提供分割结果不确定性评估,以更好辅助医生决策。
附图说明
图1本发明中采用局部、中等和全局三种尺度进行采样的采样结果示意图。
图2本发明的分割结果对比图;图中,(a)为本发明的2.5维网络分割结果;(b)为3DUnet的分割结果;(c)为3D Vnet的分割结果。
图3本发明的加权组合分割结果与其对应不确定性估计图;其中(a)为发明得到的分割结果;(b)为本发明计算出的不确定性估计;
图4本发明的流程图
图5本发明提出的2.5维卷积神经网络结构图。
具体实施方式
结合本发明的内容,提供以下在头颈部CT图像目标靶区分割中实施例,本实施例在CPU为Intel(R)Core(TM)i7-6850K 3.60GHz GPU为Nvidia GTX1080Ti内存为24.0GB的计算机中实现,编程语言为Python。
1、建立如图5所示的2.5维卷积神经网络,
由于CT图像中通常有较高的切片内分辨率和较低的切片间分辨率,为保持卷积神经网络在不同方向上具有相近的物理感受野,本方法将3×3×3卷积与1×3×3卷积结合起来,以此设计2.5维卷积神经网络。整个网络由编码器-解码器的结构组成,编码器由K个卷积模块组成,其中相邻的两个卷积模块通过下采样实现分辨率的依次降低。解码器也由K个卷积模块组成,其中相邻的两个卷积模块通过上采样实现分辨率的依次升高,编码器和解码器之间有一个底层卷积模块。在编码器的前L个卷积模块和解码器中与之具有同样分辨率的后L个卷积模块使用2维卷积(1×3×3),而在其他卷积模块中使用3维卷积(3×3×3)。每个卷积块包含两个卷积层,然后是批处理归一化(BN)和泄漏线性整流单元(leakyReLU)。除第一个卷积模块外,每个卷积模块之前都有一个投影-激发(PE)单元。在底层卷积模块和解码器的每一个卷积模块中,使用空间注意力单元,放置在该模块中的PE单元之前,以此来捕获较小鼻咽癌靶区区域的空间信息。同时在网络当中还使用了跳跃连接来提升网络的表现,具体来说将解码器中卷积模块的上采样结果与编码器中具有相同分辨率的卷积子模块的输出特征图在通道方向上进行拼接,作为解码器中下一个子模块的输入。
解码器的输出通过一个卷积层和的softmax函数来提供预测的分割概率图。
2、空间注意力单元和投影-激发(PE)单元分别采用如下技术方案;
空间注意力单元:由卷积核大小为1×3×3的两个卷积层组成。第一个卷积层将特征图的通道数减少到一半,然后接着一个ReLU激活函数。第二个卷积层将通道数进一步减少为1,然后通过Sigmoid型激活函数生成空间注意力图。空间注意图是注意力系数αi∈[0,1]的单通道特征图,它表示每个空间位置的相对重要性。然后,将空间注意图与输入特征图相乘得到输出结果以此实现对目标区域进行重点特征学习。此外,注意力单元中使用了残差连接,以此实现更好的特征融合。
投影-激发单元:“Project&Excite”(PE)单元由两部分组成,包括投影和激发操作。投影对每个维度使用平均池化操作,以此保留更多的空间信息。激发学习不同通道的投影之间的相互依赖性。因此,PE单元能够组合空间和通道上下文信息以进行重新校准。对于投影,令xc表示输入特征图X的第c个通道,而
Figure BDA0002562163740000061
分别表示每个维度的平均池化操作的输出。详细定义如下所示:
Figure BDA0002562163740000062
Figure BDA0002562163740000063
Figure BDA0002562163740000064
然后将
Figure BDA0002562163740000065
中的每一个扩展为输入特征图X的原始形状,即H×W×D×C。然后将这些扩展的张量相加以获得Z作为激发操作Fex的输入。激发操作的详细定义如下:
Figure BDA0002562163740000071
其中F1和F2分别表示卷积层,
Figure BDA0002562163740000072
Figure BDA0002562163740000073
分别表示ReLU函数和Sigmoid激活函数。F1将通道数减少到C/d。然后F2将通道数恢复为其原始数目。PE模块的最终输出X是通过X和Z逐元素进行相乘得到的,它们表示Fex的输出。详细定义如下所示:
Figure BDA0002562163740000074
3、多尺度采样方法为如下技术方案;
在训练过程中,通过局部、中等和全局三种尺度的裁剪,以获得用于卷积神经网络训练的不同尺度的图片,实现多尺度采样,如图1所示。局部采样中,在x,y方向上使用基于头部区域的粗糙边界框裁剪图像,在z方向上仅对头部区域进行采样。中等尺度采样策略在z方向上从包括头部和颈部在内的更大一些的区域进行采样。对于全局采样策略,从整个图像区域中进行采样。在训练过程中,我们使用这三种采样策略分别训练得到三个分割模型。由于采用了不同的采样策略,因此这些模型能够利用不同尺度下的特征进行分割,并将它们的结果融合起来,以此实现更鲁棒的分割结果。
4、模型集成与不确定性估计的方法为如下技术方案;
为获得更加鲁棒的结果并同时得到分割结果的不确定性,本发明中对使用不同采样策略的分割模型进行了组合。由于不同分割模型在采用不同采样策略所侧重学习的特征会有所差异,因此本发明针对不同采样策略的多个模型预测结果使用加权平均得到最终结果。具体而言,对于每种采样策略,分别训练M个模型,共获得N=3M个分割模型。然后,对N个模型的输出概率图取平均,得到的平均概率图进行argmax运算以获得初始分割结果。最后,取最大的连通区域进行后处理,以得到最终的分割结果,从而减少假阳性区域。
从N个模型的预测结果中,本发明提出的计算分割结果的不确定性的方法如下:
假设
Figure BDA0002562163740000075
表示第i个像素的预测标签。通过多个模型预测,可以获得一系列
Figure BDA0002562163740000076
Figure BDA0002562163740000077
的值。令
Figure BDA0002562163740000078
表示
Figure BDA0002562163740000079
中第n个值的频率。根据熵信息可以近似定义像素级不确定性:
Figure BDA00025621637400000710
对于来自不同模型的n个预测样本,令V={v1,v2,v3,…,vn}表示这几个预测结果的体积的集合,其中vi是第i个模型获得的体积。假设σv和μv分别表示V的标准偏差和平均值。本发明使用体积变化系数(VVC)来估计结构方面的不确定性,其定义如下:
Figure BDA0002562163740000081
图3展示了一例病人经模型组合后得到的最终分割结果与对应不确定性估计图。
本实施例的实施流程如图4所示。
1、首先对原始头颈部CT图像进行多尺度裁剪,通过裁剪得到三种不同尺度的图片作为神经网络的输入以此来实现多尺度下的采样。
2、利用Pytorch(一个机器学习库)搭建2.5维卷积神经网络以及相应的注意力单元和投影-激发单元,使用上述三种裁剪策略得到的图像分别对网络进行训练,训练过程使用Adam优化器反向优化网络参数。对训练集数据循环训练,直至网络收敛。对于每种采样策略,训练2个模型,最后获得6个分割模型。
3、对于整个预测过程,使用上述6个训练模型分别对输入图像进行预测得到结果,再通过本发明提出的模型集成与不确定性估计方法,最终可以计算得到预测结果和与之对应的不确定性分布图。
如图2是上述方法对一个病人头颈部CT图像采用分离卷积网络与难区域加权得到的分割结果与其他方法的对比图,图中黄色曲线代表目标靶区的金标准。其中(a)是使用本发明提出方法得到的分割结果,对于头颈部目标靶区本发明中方法可以较准确的勾画出边界。(b)与(c)分别是使用3D Unet和3D Vnet网络训练然后分割得到的分割结果,可以看到本发明提出方法不仅在目标靶区的边界分割上更加精确,同时也产生了更少的假阳性区域。

Claims (2)

1.一种基于CT图像的鼻咽癌放疗靶区自动勾画方法,其特征在于,该方法采用训练好的2.5维注意力卷积神经网络对输入CT图像进行鼻咽癌放疗靶区的自动勾画;
所述2.5维注意力卷积神经网络由依次级联的编码器、底层卷积模块、解码器结构;
所述编码器由K个依次级联的卷积模块组成,其中相邻的两个卷积模块通过下采样实现分辨率的依次降低,除第一个卷积模块外,每个卷积模块之前都设有一个投影-激发单元;各卷积模块包括两个非线性卷积层,每个非线性卷积层包括:一个线性卷积层、一个批处理归一化层、一个泄漏线性整流单元,其中前L个卷积模块中的卷积核尺寸为1×3×3,其余卷积模块中的卷积核尺寸为3×3×3;
所述底层卷积模块之前还设置有空间注意力单元和投影-激发单元,编码器的输出依次经过空间注意力单元、投影-激发单元后输入底层卷积模块,底层卷积模块依次包括卷积核尺寸为3×3×3的线性卷积层、批处理归一化、泄漏线性整流单元,底层卷积模块通过上采样与解码器连接;
所述解码器也由K个依次级联的卷积模块组成,其中相邻的两个卷积模块通过上采样实现分辨率的依次升高,每个卷积模块之前还设置有空间注意力单元和投影-激发单元,各卷积模块的输入首先依次经过空间注意力单元、投影-激发单元后再输入本卷积模块,各卷积模块包括两个非线性卷积层,每个非线性卷积层包括:一个线性卷积层、一个批处理归一化层、一个泄漏线性整流单元,其中后L个卷积模块中的卷积核尺寸为1×3×3,其余卷积模块中的卷积核尺寸为3×3×3;
同时在网络当中还使用了跳跃连接来提升网络的表现,具体方法为:将解码器中卷积模块的上采样结果与编码器中具有相同分辨率的卷积子模块的输出特征图在通道方向进行拼接,作为解码器中下一个子模块的输入;
解码器的输出通过一个卷积层和的softmax函数输出分割结果,分割结果为图像各像素点为鼻咽癌放疗靶区的概率,称为概率图;
所述空间注意力单元由卷积核大小为1×3×3的两个卷积层组成;第一个卷积层将特征图的通道数减少到一半,然后接着一个ReLU激活函数;第二个卷积层将通道数进一步减少为1,然后通过Sigmoid型激活函数生成空间注意力图;然后,将空间注意图与输入特征图相乘得到输出结果以此实现对目标区域进行重点特征学习;
所述投影-激发单元由两部分组成,分别为投影和激发;投影是对每个维度使用平均池化操作,以此保留更多的空间信息;激发是对不同通道的投影之间的相互依赖性进行学习;对于投影,令xc表示输入特征图X的第c个通道,c=1,2,…,C,而
Figure FDA0003702659110000021
分别表示每个维度的平均池化操作的输出;详细定义如下所示:
Figure FDA0003702659110000022
Figure FDA0003702659110000023
Figure FDA0003702659110000024
然后将
Figure FDA0003702659110000025
中的每一个扩展为输入特征图X的原始形状,即H×W×D×C,H、W、D、C分别表示输入特征图的高度,宽度,长度和通道数;然后将这些扩展的张量相加以获得Z作为激发操作Fex的输入;激发操作的详细定义如下:
Figure FDA0003702659110000026
其中F1和F2分别表示卷积层,
Figure FDA0003702659110000027
Figure FDA00037026591100000210
分别表示ReLU函数和Sigmoid激活函数;F1将通道数减少到C/d,d的值设置为2;然后F2将通道数恢复为其原始数目;投影-激发单元的最终输出
Figure FDA0003702659110000028
是通过X和Z逐元素进行相乘得到的,详细定义如下所示:
Figure FDA0003702659110000029
所述2.5维注意力卷积神经网络的训练方法为:
步骤1:建立训练图像数据集;
事先通过对临床数据的收集,将大量病人的三维头颈部CT图像中的鼻咽癌靶区由医院的临床专家手工分割出来作为金标准,建立训练数据集;
步骤2:对图像数据按照局部、中等和全局三种尺度进行采样,获得三种不同尺度下的鼻咽癌分割训练图像;局部采样是在x,y方向上使用基于头部区域的粗糙边界框裁剪图像,在z方向上仅对头部区域进行采样;中等尺度采样是在z方向上从包括头部和颈部在内的区域进行采样;全局采样是对整个图像区域进行采样;
步骤3:采用步骤2得到的训练图像对2.5维注意力卷积神经网络进行训练,直到训练结束;
所述2.5维注意力卷积神经网络训练时对局部、中等和全局三种尺度的训练图像分开训练;针对每种尺度的训练图像在训练过程中调整训练的侧重点,每种尺度都得到M个训练结果,最终得到N=3M个分割模型;实际分割时,对N个模型的输出概率图取平均,得到的平均概率图进行argmax运算以获得初始分割结果;取最大的连通区域进行边界识别,得到最终分割结果。
2.如权利要求1所述的一种基于CT图像的鼻咽癌放疗靶区自动勾画方法,其特征在于,计算最终分割结果的不确定性,计算方法为:
步骤a:设
Figure FDA0003702659110000031
表示第i个像素的预测标签,预测标签表示是鼻咽癌放疗靶区或不是鼻咽癌放疗靶区,根据该像素点为鼻咽癌放疗靶区的概率和设定的概率阈值确定;通过N个分割模型的预测,获得一系列
Figure FDA0003702659110000032
的值;令
Figure FDA0003702659110000033
表示
Figure FDA0003702659110000034
中第n个值的频率,根据熵信息定义像素级不确定性H:
Figure FDA0003702659110000035
对于来自不同模型的N个预测样本,令V=*v1,v2,v3,…,vn+表示对应预测结果中鼻咽癌放疗靶区体积的集合,其中vi是第i个模型获得的预测鼻咽癌放疗靶区体积;使用体积变化系数VVC来估计结构方面的不确定性,其定义如下:
Figure FDA0003702659110000036
其中,σv和μv分别表示V的标准偏差和平均值。
CN202010618225.9A 2020-06-30 2020-06-30 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 Active CN111798462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010618225.9A CN111798462B (zh) 2020-06-30 2020-06-30 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010618225.9A CN111798462B (zh) 2020-06-30 2020-06-30 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法

Publications (2)

Publication Number Publication Date
CN111798462A CN111798462A (zh) 2020-10-20
CN111798462B true CN111798462B (zh) 2022-10-14

Family

ID=72810849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010618225.9A Active CN111798462B (zh) 2020-06-30 2020-06-30 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法

Country Status (1)

Country Link
CN (1) CN111798462B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258526B (zh) * 2020-10-30 2023-06-27 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112488996A (zh) * 2020-11-18 2021-03-12 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN112634308B (zh) * 2020-12-25 2023-07-25 南方医科大学 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN112784897B (zh) 2021-01-20 2024-03-26 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113129310B (zh) * 2021-03-04 2023-03-31 同济大学 一种基于注意力路由的医学图像分割系统
CN112802484B (zh) * 2021-04-12 2021-06-18 四川大学 一种混合音频下的大熊猫声音事件检测方法及系统
CN113205523A (zh) * 2021-04-29 2021-08-03 浙江大学 多尺度表征优化的医学影像分割识别系统、终端及存储介质
WO2023280221A1 (en) * 2021-07-07 2023-01-12 Versitech Limited Multi-scale 3d convolutional classification model for cross-sectional volumetric image recognition
CN113592794B (zh) * 2021-07-16 2024-02-13 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113362350B (zh) * 2021-07-26 2024-04-02 海南大学 癌症病历图像的分割方法、装置、终端设备和存储介质
CN114022491B (zh) * 2021-10-27 2022-05-10 安徽医科大学 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法
CN114419000B (zh) * 2022-01-20 2022-09-23 哈尔滨工业大学 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统
CN115018809B (zh) * 2022-06-28 2024-09-10 华中科技大学 Ct图像的靶区分割识别方法及系统
CN116188509A (zh) * 2023-04-23 2023-05-30 电子科技大学 一种高效率三维图像分割方法
CN116630324B (zh) * 2023-07-25 2023-10-13 吉林大学 一种基于深度学习的mri图像自动评估腺样体肥大的方法
CN117152442B (zh) * 2023-10-27 2024-02-02 吉林大学 影像靶区自动勾画方法、装置、电子设备和可读存储介质
CN117197472B (zh) * 2023-11-07 2024-03-08 四川农业大学 基于鼻出血内窥镜影像的高效师生半监督分割方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN108257134B (zh) * 2017-12-21 2022-08-23 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN109389584A (zh) * 2018-09-17 2019-02-26 成都信息工程大学 基于cnn的多尺度鼻咽肿瘤分割方法
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法

Also Published As

Publication number Publication date
CN111798462A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN111105424A (zh) 淋巴结自动勾画方法及装置
US20230005140A1 (en) Automated detection of tumors based on image processing
CN110120048B (zh) 结合改进U-Net和CMF的三维脑肿瘤图像分割方法
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
JP2023550844A (ja) 深層形状学習に基づく肝臓ct自動分割方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN113706486B (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN118351300A (zh) 基于U-Net模型的危机器官自动勾画方法及系统
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN111798463B (zh) 一种头颈部ct图像中多器官自动分割方法
CN117474933A (zh) 一种基于空洞卷积注意力机制的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant