CN113593672B

CN113593672B - 一种放疗靶区智能勾画方法

Info

Publication number: CN113593672B
Application number: CN202110443721.XA
Authority: CN
Inventors: 梁伟; 吴及; 鹿晓亮; 贺志阳; 石佳玲; 丁小凤; 刘招弟; 吴昕悦
Original assignee: First Affiliated Hospital of Anhui Medical University
Current assignee: First Affiliated Hospital of Anhui Medical University
Priority date: 2021-04-23
Filing date: 2021-04-23
Publication date: 2022-11-01
Anticipated expiration: 2041-04-23
Also published as: CN113593672A

Abstract

本发明公开一种放疗靶区智能勾画方法，包括以下步骤：S1、利用稳健残差学习和挤压激励摸块得到了特征表示，并将它们合并到U‑Net结构中，作为医学图像分割的主干；S2、通过形状感知加权策略来调整模型的关注度，以突出前景面积较小的切片；S3、通过递归精化方法来精化预测，以适应更多的边界细节用于肿瘤临床靶区的勾画。本发明基于深度学习、形状感知加权策略和递归求精策略，得到一种端到端的三维卷积深度学习框架RS‑CTVNet，用于全自动全卷肿瘤临床靶区勾。

Description

一种放疗靶区智能勾画方法

技术领域

本发明涉及放射治疗技术领域，具体的是一种放疗靶区智能勾画方法。

背景技术

放射治疗(RT)作为癌症的一种主要的非手术治疗方式，利用剂量梯度以促进肿瘤靶点的剂量递增，同时可以保护危险器官。一般情况下，放疗科医生需要在CT模拟图像上准确描绘肿瘤临床靶区(CTV)，从而获得治疗优势并降低正常组织受到照射的风险。一方面，这是一项劳动密集型和耗时的任务，会花费医生很多时间与精力。另一方面，由于每位医生之间存在不同的经验和偏好，CTV 的描绘存在很大的差异。

自动进行CTV勾画既可以缩短时间又能够提高等高线的质量。现有的放射治疗(RT)自动分割算法主要使用基于图谱的方法，这些方法需要复杂的图谱创建，并且不能充分考虑患者之间的解剖差异。最近，深卷积神经网络(CNNs) 已经成为医学图像分割，特别是器官分割的一种很有前途的选择。此外，研究者们开始深入研究RT领域。首先，采用基于深度学习的方法对危险器官(OAR) 进行分割，与普通器官分割方法相似。其次，几项研究使用深度学习技术评估了大体肿瘤体积(GTV)的描绘，并观察到了改进。然而，基于深度学习的CTV 描述的研究还有待于深入研究。已经提出了一些关于CTV描绘的尝试。然而，它们都是直接将深度学习分割算法应用到CTV任务中，没有考虑到CTV边界不清、组织界面不清晰等独特的特点，基于深度学习的CTV自动勾画还没有得到充分的探索。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种放疗靶区智能勾画方法，基于深度学习、形状感知加权策略和递归求精策略，得到一种端到端的三维卷积深度学习框架RS-CTVNet，用于全自动全卷肿瘤临床靶区勾画。

本发明的目的可以通过以下技术方案实现：

一种放疗靶区智能勾画方法，包括以下步骤：

S1、利用稳健残差学习和挤压激励摸块得到了特征表示，并将它们合并到 U-Net结构中，作为医学图像分割的主干；

S2、通过形状感知加权策略来调整模型的关注度，以突出前景面积较小的切片；

S3、通过递归精化方法来精化预测，以适应更多的边界细节用于肿瘤临床靶区的勾画。

进一步优选地，步骤S1具体为：在二维SE基础上，进行扩展以获得三维 SE对应部分，通过选择性地强调信息特征和抑制不太有用的特征，来自适应地重新校准通道特征响应，在稳健残差学习和3D-SE块的基础上，进一步将其融入改进的3D U-Net体系结构中作为主干CTVNet。

进一步优选地，形状感知加权策略自适应地调整模型对每个断层片的关注度，采用乘法策略，在经过一段时间的训练后引入形状感知因子，设x_i为患者第i个输入断层切片，y_i为相应标注，N表示断层切片的数量，设A(fg)表示前景的面积，A(bg)表示背景的面积，得到形状感知因子[α₁,...,α_N]＝fnorm{[β₁，...，β_N]}，其中fnorm表示对所有断层切片的归一化操作，并且βi＝1/(Ai(fg)/Ai(bg)；

对于没有轮廓的切片，β_i可能是inf，然后将β_i赋值为0，在得到3DCTV 勾画的权重分数[α₁,...,α_N]后，可以计算出新的损失；

对于断层切片使用二元交叉熵损失，用li表示，那么损失就可以表示为再加权损失，即Lfinal＝αili(x_i，y_i)。

进一步优选地，步骤S3采用采用递归精化来提高预测边际的质量，解决CTV的边际模糊不清、难以勾画的问题，当模型检测到粗差时，引入更多的监督信息来迭代精化预测，在一次示教迭代中，该模型选择原始输入图像作为监督，然后将上一次迭代的预测结果和原始输入图像作为新一轮迭代的输入；

递归精化方法具体为：设x表示输入，y表示预测，f表示每个步骤的相同骨干网络，预测模型为：y_k+1＝f(x⊕y_k)，k＝0,...,K-1，其中K代表迭代的总次数， y₀＝0用于初始化模型，⊕表示通道级联，在每次迭代中使用相同的主干f。对于第k次迭代，使用x和y_k的串联作为输入。

本发明的有益效果：

本发明提出了一种端到端的三维卷积深度学习框架RS-CTVNet，用于全自动全卷CTV勾画。具体地说，将稳健的残差学习和3D-SE块合并到改进的U-Net 结构中，作为更好的特征表示的主干。提出了一种新的形状感知重加权策略来调整模型的关注度，以突出前景面积较小的切片。提出了一种新的递归细化策略来细化预测，以适应更多的边界细节以供CTV描述。针对宫颈癌(CC)数据集和多中心评估的广泛实验结果证实了该方法的有效性。据所知，这项工作是将深度学习应用于CTV自动标注CC的为数不多的尝试之一。此外，的RS-CTVNet 能够接收全容积CT图像作为输入，并在一次拍摄中生成每个患者的CTV轮廓。这一发现表明，深度学习可以为描述CTV提供一个灵活而有效的框架，并可能对CC的放射治疗产生积极的影响。未来，随着更多的训练数据和改进的注释， CTV勾画质量的进一步提高是可能的，使这种方法更接近于在实际临床实践中的应用。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明端到端三维卷积深度学习框架RS-CTVNet的结构示意图；

图2是本发明实施例中示例CT显示了RS-CTVNet所描绘的等高线与地面实况的一致性程度；

图3是本发明实施例中两名患者CTVNet、S-CTVNet和RS-CTVNet的勾画结果；

图4是本发明实施例中RS-CTVNet和三位放射肿瘤学家获得的结果DSC 值和ASD(Mm)值。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，一种端到端的三维卷积深度学习框架RS-CTVNet，其中R表示递归求精，S表示形状加权，CTVNet表示用于CTV描述的深度学习方法。它由三个主要部分组成。1)利用稳健残差学习和SE块得到了更好的特征表示。将它们合并到一个改进的U-Net结构中，作为医学图像分割的主干。2)提出了一种新的形状感知加权策略来调整模型的关注度，以突出前景面积较小的切片。3) 提出了一种新的递归精化方法来精化预测，以适应更多的边界细节用于CTV的勾画。其中3D分段表示主干。

1、主干

在二维SE(squeeze-and-excitation，2D-SE)基础上，进行扩展以获得三维 SE(3D-SE)对应部分，通过选择性地强调信息特征和抑制不太有用的特征，来自适应地重新校准通道特征响应。在稳健残差学习和3D-SE块的基础上，进一步将其融入改进的3D U-Net体系结构中作为主干(CTVNet)，以获得更好的特征表示。捕捉到更精细的结构信息，以便进行精确的定位。来解决患者之间在CTV 体积形状上的实质性不一致的问题。

2、形状感知加权

形状感知加权策略核心就是自适应地调整模型对每个断层片的关注度。这样就强调了CTV勾画的完整性，避免了前景区域较小的断层片被忽略。通过引入先验形状信息，的方法可以调整模型对每个断层片的关注度。具体地说，采用简单的乘法策略，在经过一段时间的训练后引入形状感知因子，如图1(A)所示。设x_i为患者第i个输入断层切片(三维整体)，y_i为相应标注。N表示断层切片的数量。设A(fg)表示前景的面积，A(bg)表示背景的面积。得到了形状因子 [α₁,...,α_N]＝fnorm{[β₁,...β_N]}，其中fnorm表示对所有断层切片的归一化操作，并且β_i＝1/(A_i(fg)/A_i(bg)。对于没有轮廓的切片，β_i可能是inf，然后将βi赋值为0。在得到的3DCTV勾画的权重分数[α₁,...,α_N]后，可以计算出新的损失。对于每一个断层切片，使用二元交叉熵损失，用li表示。那么损失就可以表示为再加权损失，即Lfinal＝αili(x_i，y_i)。在该方法的第一步，训练没有形状识别的骨干网络，第二步，开始加入形状感知加权策略来重新训练的网络。

3、递归精化

采用递归精化来提高预测边际的质量。解决CTV的边际模糊不清、难以勾画的问题。当模型检测到粗差时，希望能够引入更多的监督信息来迭代精化预测。在一次示教迭代中，该模型选择原始输入图像作为监督，然后将上一次迭代的预测结果和原始输入图像作为新一轮迭代的输入。需要注意的是，3DCNN 网络需要处理大量的参数，这对图形处理器(Graphics Processing Unit，GPU)的处理能力提出了挑战。基于在提供性能改进和满足GPU内存限制之间的权衡，开发了一种新的递归精化策略，该策略引入了监督信息，并进一步使用相同的模型来精化每一步的预测。由于采用了相同的模型，使得模型的参数个数和复杂度保持不变。这个精化传递途径如图1(B)所示。设x表示输入，y表示预测， f表示每个步骤的相同骨干网络。具体地说，认为预测模型是： y_k+1＝f(x⊕y_k),k＝0,...,K-1,其中K代表迭代的总次数。y₀＝0用于初始化模型，⊕表示通道级联。在每次迭代中使用相同的主干f。对于第k次迭代，使用x和y_k的串联作为输入。因此，网络可以从不同规模的错误中学习，反复适应更多的边际细节。

结果与检测

1、实施细节

在实验中使用了PyTorch。由于GPU内存有限，将批处理大小设置为1。所有实验均在NVIDIA TITAN 1080Ti GPU上进行。根据经验将学习率设置为 0.0001，并使用Adam优化器进行优化。Adam优化器中的贝塔值分别设置为0.9 和0.999。对于数据增强，选择了弹性变形和仿射变换。实验中最大历期设置为 25000。从历期10000开始使用形状感知加权策略。在训练过程中，将递归精化策略的K值限制为5。采用5倍交叉验证来评估的算法。重复实验5次，得到最终性能的平均值。

2、RS-CTVNet与基线的比较

由于目前还没有基于深度学习的子宫颈癌(Cervical Cancer，CC)CTV勾画算法，所以选择了以下基线，分别是：(1)3D U-net[5]:广泛应用的医学图像分割模型；(2)DDCNN[17]:扩展卷积神经网络的模型，用于直肠癌CTV的分段。(3) VNet[16]:三维全卷积神经网络在直肠癌CTV勾画中的应用。首先在宫颈癌的 CT数据集上重新实现了这些方法。然后在提出的骨干网(CTVNet)、S-CTVNet 和RS-CTVNet的基础上进行了实验。S-CTVNet指的是具有形状感知加权策略的主干。RS-CTVNet指的是具有形状感知加权策略和递归精化策略的主干。结果如表1所示。

表1：RS-CTVNet和基线模型的性能

3、用于CTV自动勾画的RS-CTV网的性能

在本节中，进一步介绍了所提出的RS-CTVNet结合残差学习、SE块、形状感知因子和递归优化策略生成的CTV的主要结果。性能总结如表2所示。将 RS-CTVNet生成的勾画结果显示在图2中。患者按DSC值降序排列，(A)0.918， (B)0.859，(C)0.798，(D)0.697。每一行表示一个病人，每一列表示一个随机切片。从上到下的一行代表了四个不同的病人，有三个切片样本。

在图3中，展示了CTVNet、S-CTVNet和RS-CTVNet的勾画结果。从左到右，预测结果逐渐接近基础事实。从CTVNet、S-CTVNet到RS-CTVNet，第一行的DSC值分别增加了2.1％和1.2％，第二行的DSC值分别增加了8％和1.85％。事实上，与主干相比，形状感知加权策略使DSC值平均增加了2.6％。递归精化策略进一步使DSC值平均提高了1.3％(如表1所示)。

还进行了亚组分析。总结和比较了手术后辅助性RT亚组和手术初期RT亚组的性能，如表2所示。在DSC和ASD方面，手术初期RT亚组优于术后辅助性RT组，差异有统计学意义(P<0.05)。

表2 RS-CTVNet性能及亚组分析。P值采用Mann-Whitney U检验计算。

4、与放射肿瘤学家的比较

与三位具有不同CTV勾画经验(R1：15年；R2：10年；R3：5年)的资深放射肿瘤学家一起测试的方法。如图4所示，采用类似的分级方法来评估轮廓精度。表3显示了由专家评估的RS-CTVNet生成的等高线的体积修正幅度的结果。还计算了DSC与所需修复量的相关性(R＝0.42，P<0.05)。

表3:体积修正的程度。采用Kruskal-Wallis分析法计算不同子组间的P值。采用Spearman相关系数计算修正程度与中值DSC的相关性。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种放疗靶区智能勾画方法，其特征在于，包括以下步骤：

S1、利用稳健残差学习和挤压激励摸块得到了特征表示，并将它们合并到U-Net结构中，作为医学图像分割的主干；

S3、通过递归精化方法来精化预测，以适应更多的边界细节用于肿瘤临床靶区的勾画；

所述形状感知加权策略自适应地调整模型对每个断层片的关注度，采用乘法策略，在经过一段时间的训练后引入权重分数，设x i为患者第i个输入断层切片，y i为相应标注，N表示断层切片的数量，设A(fg)表示前景的面积，A(bg)表示背景的面积，得到权重分数[α1,...,αN]＝fnorm{[β1,...，βN]}，其中fnorm表示对所有断层切片的归一化操作，并且βi＝1/(Ai(fg)/Ai(bg))；

对于没有轮廓的切片，对其βi赋值为0，在得到3DCTV勾画的权重分数[α1,...,αN]后，采用二元交叉熵损失计算出新的损失；

基于二元交叉熵损失计算，则第i层切片的二元交叉熵损失表示为li，那么第i层切片总的损失表示为Lfinal＝αili(x i，y i)。

2.根据权利要求1所述的一种放疗靶区智能勾画方法，其特征在于，所述步骤S1具体为：在二维SE基础上，进行扩展以获得三维SE对应部分，基于二元交叉熵损失计算选择性地强调信息特征并抑制不太有用的特征，来自适应地重新校准通道特征响应，在稳健残差学习和3D-SE块的基础上，进一步将其融入改进的3DU-Net体系结构中作为主干CTVNet。

3.根据权利要求1所述的一种放疗靶区智能勾画方法，其特征在于，所述步骤S3采用递归精化，当模型检测到粗差时，引入更多的监督信息来迭代精化预测，在一次示教迭代中，该模型选择原始输入图像作为监督，然后将上一次迭代的预测结果和原始输入图像作为新一轮迭代的输入；

递归精化方法具体为：设x表示输入，y表示预测，f表示每个步骤的相同骨干网络，预测模型为：y k+1＝f(x⊕y k)，k＝0,...,K-1，其中K代表迭代的总次数，y 0＝0用于初始化模型，⊕表示通道级联，在每次迭代中使用相同的主干f；对于第k次迭代，使用x和y k的串联作为输入。