CN116115915B - 基于多级模态交叉融合网络的剂量验证方法 - Google Patents

Abstract

本申请涉及一种基于多级模态交叉融合网络的剂量验证方法，包括如下步骤：分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，获得各个层级的特征图；将每个层级的第一特征图和第二特征图进行特征交叉融合，获得各个层级的交叉特征图；从最深层级依次到最浅层级，将多层级的交叉特征图进行逐层级的特征融合，最浅层级的融合结果为剂量预测结果。本申请的技术方案分别提取不同模态的影像所特有的多尺度特征，然后在多个特征层级实现不同模态之间的特征融合操作，最后将多尺度特征进行逐层级的特征融合；通过上述操作，本方案能够将不同模态的信息进行更有效的融合，从而获得更精准的剂量验证结果。

Description

基于多级模态交叉融合网络的剂量验证方法

技术领域

本申请涉及剂量验证技术领域，具体涉及一种基于多级模态交叉融合网络的剂量验证方法。

背景技术

由于放射治疗计划的制定直接影响放疗的最终效果，剂量验证是放疗质量保证的重要组成部分。目的是避免靶区的错误照射造成的欠剂量或剂量不均匀，保护正常组织所受剂量在耐受范围内。传统的剂量质控是使用剂量仪硬件在放疗直线加速器上执行治疗计划获得验证剂量分布(以下简称EDose)并分析该剂量分布是否符合临床治疗要求来实现的。这种方法工作量大、对放疗直线加速器占用率非常高高，测量的结果会受到硬件摆放的影响，占用患者治疗时间的同时还无法避免精度丢失的问题。首先难以保证膜体定位的条件与患者定位条件一模一样，其次参考点的选取和测量精度对验证结果有直接影响。放疗中心因工作量大、工作流程繁琐、人员配备不足，不得已放弃了针对每个患者进行剂量验证这一重要步骤，对患者的治疗效果造成了严重影响。

相关技术中，基于患者CT(Computed Tomography，计算机断层扫描)和放疗计划设计后生成的RTDose影像，利用以深度神经网络为代表的深度学习方法，可以在摆脱硬件束缚的条件下获得像素级的验证剂量分布(EDose)结果。然而，现有基于深度学习的方法仅简单地将CT和RTDose影像在图像层级进行融合，再利用U-Net等“编码器-解码器”模型进行验证剂量的预测。然而，上述方法无法充分有效地利用CT和RTDose影像不同模态的特性，难以获得精准的验证剂量分布结果。

发明内容

为至少在一定程度上克服相关技术中存在的无法充分有效地利用不同影像的不同模态的特性，难以获得精准的验证剂量分布结果的问题，本申请提供一种基于多级模态交叉融合网络的剂量验证方法。

根据本申请实施例的第一方面，提供一种基于多级模态交叉融合网络的剂量验证方法，包括如下步骤：

分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，获得各个层级的特征图；每个层级的所述特征图均包括：第一模态对应的第一特征图和第二模态对应的第二特征图；

将每个层级的第一特征图和第二特征图进行特征交叉融合，获得各个层级的交叉特征图；

从最深层级依次到最浅层级，将多层级的交叉特征图进行逐层级的特征融合，最浅层级的融合结果为剂量预测结果。

进一步地，所述第一模态和所述第二模态分别为：CT模态和RTDose模态。

进一步地，分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，包括如下步骤：

使用两个编码子网络分别第一模态和第二模态特有的多尺度特征，获得第一特征图

和第二特征图/>

其中，i表示特征图对应的层级，i＝1，2暬，…，n。

进一步地，将每个层级的第一特征图和第二特征图进行特征交叉融合，包括如下步骤：

将第一特征图和第二特征图沿着特征通道维度进行特征级联，获得级联特征图；

通过卷积层对级联特征图进行特征变换，获得融合特征；

将融合特征通过不同的卷积层分别转换为第一模态对应的第一分支特征和第二模态对应的第二分支特征；

将第一特征图与第二分支特征相加获得第一交叉特征图，将第二特征图与第一分支特征相加获得第二交叉特征图；

基于每个层级的第一交叉特征图和第二交叉特征图，获得该层级最终的交叉特征图。

进一步地，所述将第一特征图和第二特征图沿着特征通道维度进行特征级联，具体包括：

通过卷积层对级联特征图进行特征变换，具体包括：

进一步地，每个层级的第一交叉特征图为：

其中，/>

为第二分支特征；

每个层级的第二交叉特征图为：

其中，/>

为第一分支特征；

每个层级最终的交叉特征图为：

进一步地，将多层级的交叉特征图进行逐层级的特征融合，包括如下步骤：

将第一交叉特征图和第二交叉特征图沿着通道维度进行融合：

将融合后的结果通过卷积提取特征：

将提取特征后的结果进行逐层级的特征融合。

进一步地，所述将提取特征后的结果进行逐层级的特征融合：

将第i层级的交叉特征图与第i+1层级的上采样特征图进行融合，获得第i层级的融合结果；其中，i＝1，2，…，n，第1层级为最浅层级，第n层级为最深层级；

逐层级进行融合，将第1层级的融合结果为剂量预测结果。

进一步地，第i层级的融合结果为：

根据本申请实施例的第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一种实施例所述方法的操作步骤。

本申请的实施例提供的技术方案具备以下有益效果：

本申请的技术方案分别提取不同模态的影像所特有的多尺度特征，然后在多个特征层级实现不同模态之间的特征融合操作，最后将多尺度特征进行逐层级的特征融合；通过上述操作，本方案能够将不同模态的信息进行更有效的融合，从而获得更精准的剂量验证结果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本发明实施例示出的一种基于U-Net的剂量验证模型示意图。

图2是本发明实施例示出的一种基于多级模态交叉融合网络的剂量验证方法的流程图。

图3是本发明实施例示出的一种基于多级模态交叉融合网络的剂量验证模型示意图。

图4是本发明实施例示出的一种特征交叉融合模块的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法的例子。

对于基于深度神经网络(DNN，Deep Neural Networks)的剂量验证方法，为了获得准确的像素级剂量验证结果，需要鲁棒的全局语义信息和丰富的局部空间细节。当前的DNN通过堆叠连续的卷积层和池化层以获得粗糙的特征表示。然而，经过多个池化操作，特征空间分辨率大大降低，较深层次的特征局部空间细节严重丢失。相反，若采用较少的池化层，浅层次中特征的空间分辨率更大，编码了丰富的局部空间细节。然而，缺乏语义和辨别线索使得浅层次的特征无法有效地建模长距离信息。由于局部空间细节和全局语义信息对于准确的剂量验证性能至关重要，因此需要较浅层特征和较深层特征的均衡融合。

当前方法采用以U-Net为代表的编码器-解码器网络来组合多尺度特征。具体来说，为了融合CT和RTDose影像，现有方法将CT和RTDose影像采用沿通道维度拼接的方式进行图像层级的多模态融合，作为后续U-Net结构的输入。

如图1所示，U-Net包含相互对称的编码器和解码器。其中，编码器使用连续卷积和池化层提取多级特征，然后解码器从最深层开始融合操作。下层的相邻特征通过残差连接合并，接着放大深层特征图的空间分辨率以匹配浅层特征图的分辨率。通道维度上的特征拼接用于融合两个不同级别的两个特征图，然后是另一个用于进一步的特征提取的卷积层。利用相似的特征融合方法，将融合后的特征进一步与下层特征相结合，以这种方式重复该融合操作，直到最浅层，最终融合的特征具有与输入图像相同的空间分辨率。这样，编码器中的多尺度特征经过解码器的多个融合操作得到了有效地融合。

在解码器的最浅层，最终的融合后特征的空间分辨率和原始输入相同。利用该融合后特征，便可以得到剂量验证结果的预测。该模型在训练阶段，采用L1损失函数作用于预测结果和真值之间。

通过以上分析可知，为了获得较为精准的剂量验证结果，现有技术方案虽然是基于CT和RTDose，但是仅简单地将CT和RTDose影像在图像层级进行融合，再利用U-Net等“编码器-解码器”模型进行验证剂量的预测。然而由于CT和RTDose之间存在明显的模态差异，现有技术方案无法充分有效地利用CT和RTDose影像不同模态的特性，难以获得精准的验证剂量分布结果。

为了充分利用两种不同模态之间的相互作用，本申请提出一种基于多级模态交叉融合网络的验证剂量预测方法。

图2是根据一示例性实施例示出的一种基于多级模态交叉融合网络的剂量验证方法的流程图。该方法可以包括如下步骤：

步骤S1、分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，获得各个层级的特征图；每个层级的所述特征图均包括：第一模态对应的第一特征图和第二模态对应的第二特征图；

步骤S2、将每个层级的第一特征图和第二特征图进行特征交叉融合，获得各个层级的交叉特征图；

步骤S3、从最深层级依次到最浅层级，将多层级的交叉特征图进行逐层级的特征融合，最浅层级的融合结果为剂量预测结果。

本申请的技术方案分别提取不同模态的影像所特有的多尺度特征，然后在多个特征层级实现不同模态之间的特征融合操作，最后将多尺度特征进行逐层级的特征融合；通过上述操作，本方案能够将不同模态的信息进行更有效的融合，从而获得更精准的剂量验证结果。

应当理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作进一步详细描述。

如图3所示，本申请实施例提出了一种基于多级模态交叉融合网络的剂量验证模型。在一些实施例中，步骤S1所述的第一模态和第二模态分别为：CT模态和RTDose模态。具体来说，为了充分利用两种不同模态之间的相互作用，本方案使用两个不同的编码子网络来提取CT和RTDose模态特有的多尺度特征，并利用特征交叉融合模块实现CT和RTDose模态之间的特征融合操作；之后，再利用共享解码子网络，对CT和RTDose编码子网络生成的多尺度特征进行逐层级的特征融合。

下面结合具体的应用场景，对本申请方案的各个具体步骤进行拓展说明。

步骤S1：针对CT和RTDose两种不同的模态，使用两个编码子网络分别提取不同模态特有的多尺度特征。

在实际应用中，步骤S1具体包括如下步骤：使用两个编码子网络分别第一模态和第二模态特有的多尺度特征，获得第一特征图

和第二特征图/>

其中，i表示特征图对应的层级，i＝1，2暬，…，n。

步骤S2：将每个层级的第一特征图和第二特征图进行特征交叉融合。具体地，利用特征交叉融合模块实现CT和RTDose模态之间的特征融合操作。

步骤S2具体包括如下步骤：将第一特征图和第二特征图沿着特征通道维度进行特征级联，获得级联特征图；S201、通过卷积层对级联特征图进行特征变换，获得融合特征；S202、将融合特征通过不同的卷积层分别转换为第一模态对应的第一分支特征和第二模态对应的第二分支特征；S203、将第一特征图与第二分支特征相加获得第一交叉特征图，将第二特征图与第一分支特征相加获得第二交叉特征图；S204、基于每个层级的第一交叉特征图和第二交叉特征图，获得该层级最终的交叉特征图。

如图3所示，针对CT和RTDose的两个编码子网络分别包含多个层级的卷积模块，两者之间结构相同，但权重参数不相同，分别学习专属于CT和RTDose的模态特征。

对于编码子网络，为了在第i层中组合CT和RTDose图像的特征

本申请的实施例采用如图4所示的特征交叉融合模块。在实际应用中，步骤S2具体包括以下四个步骤。

首先，该特征交叉融合模块通过沿着特征通道维度的简单特征级联，使两种模态的特征相互作用。该操作可表述为：

随后，使用另一个卷积核为3×3的卷积层进行进一步的特征变换，获得融合特征：

然后，为了生成与CT和RTDose模态相对应的特定模态特征，需要遵循不同的处理流程。具体地，分别采用权重参数不同的卷积层(均为3×3卷积核)，将特征

分别变换得到CT和RTDose模态对应的特征，分别生成/>

和/>

最后将生成的特征

和/>

与原始特征进行交叉相加：/>

生成的特征/>

和/>

是CT和RTDose模态的最终转换特征。

步骤S3：利用单个共享解码子网络，CT和RTDose编码子网络生成的多尺度特征以分层方式进一步融合。

在实际应用中，与常规的U-Net网络相似，共享解码子网络由多次融合操作组成，这些操作用于逐步融合编码子网络生成的多尺度特征。不同的是，在本申请提出的多尺度门控模态融合网络中，每个融合模块都需要融合CT分支和RTDose分支的特征。为此，对于第i层的融合模块，首先将CT分支的特征图

以及RTDose分支的特征图/>

沿着通道维度融合，然后进行另一卷积以进一步提取特征。然后遵循U-Net中的类似的融合方式，将获得的特征/>

与来自较深层F_i+1的上采样特征图融合，在第i层中生成最终融合特征F_i。整个操作可以表述为：

步骤S4：重复上述融合操作直到最浅层，其中生成的特征F₁具有与输入图像相同的空间分辨率，用于产生最终的剂量预测。

本申请的技术方案，一方面使用两个不同的编码子网络来提取CT和RTDose模态特有的多尺度特征，并利用特征交叉融合模块实现CT和RTDose模态之间的特征融合操作；另一方面利用共享解码子网络，对CT和RTDose编码子网络生成的多尺度特征进行逐层级的特征融合，从而利用融合后特征获得更精准的验证剂量预测结果。

现有技术方案基于CT和RTDose的剂量验证方法，将CT和RTDose通过通道拼接的图像融合方式，输入至编码器-解码器网络，难以有效利用CT和RTDose不同模态的特性。

为了解决现有技术方案的问题，针对CT和RTDose模态两种不同的模态，本发明采用两个编码子网络分别提取不同模态特有的多尺度特征，并利用特征交叉融合模块在多个特征层级实现CT和RTDose模态之间的特征融合操作；之后，再利用共享解码子网络，对上述两个编码子网络生成的多尺度特征进行逐层级的特征融合。通过上述操作，CT和RTDose的不同模态的信息获得更有效的融合，从而获得更精准的剂量验证结果。

在一个实施例中，本申请还提供一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库可以用于存储训练数据、剂量验证模型。该计算机设备的网络接口用于接入网络，从而与外部的终端进行通信连接。该计算机程序被处理器执行时以实现一种基于多级模态交叉融合网络的剂量验证方法。

在一个实施例中，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一种实施例所述的基于多级模态交叉融合网络的剂量验证方法。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于多级模态交叉融合网络的剂量验证方法，其特征在于，包括如下步骤：

分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，获得各个层级的特征图；每个层级的所述特征图均包括：第一模态对应的第一特征图和第二模态对应的第二特征图；

将每个层级的第一特征图和第二特征图进行特征交叉融合，获得各个层级的交叉特征图；

从最深层级依次到最浅层级，将多层级的交叉特征图进行逐层级的特征融合，最浅层级的融合结果为剂量预测结果；

所述第一模态和所述第二模态分别为：CT模态和RTDose模态；

分别对第一模态的影像文件和第二模态的影像文件进行多层级的特征提取，包括如下步骤：

使用两个编码子网络分别提取第一模态和第二模态的多层级特征，获得第一特征图f_i ^CT和第二特征图

其中，i表示特征图对应的层级，i＝1,2,…,n；

将每个层级的第一特征图和第二特征图进行特征交叉融合，包括如下步骤：

将第一特征图和第二特征图沿着特征通道维度进行特征级联，获得级联特征图；

通过卷积层对级联特征图进行特征变换，获得融合特征；

将融合特征通过不同的卷积层分别转换为第一模态对应的第一分支特征和第二模态对应的第二分支特征；

将第一特征图与第二分支特征相加获得第一交叉特征图，将第二特征图与第一分支特征相加获得第二交叉特征图；

基于每个层级的第一交叉特征图和第二交叉特征图，获得该层级最终的交叉特征图；

将提取特征后的结果进行逐层级的特征融合：

将第i层级的交叉特征图与第i+1层级的上采样特征图进行融合，获得第i层级的融合结果；其中，i＝1,2,…,n，第1层级为最浅层级，第n层级为最深层级；

逐层级进行融合，将第1层级的融合结果为剂量预测结果。

2.根据权利要求1所述的方法，其特征在于，所述将第一特征图和第二特征图沿着特征通道维度进行特征级联，具体包括：

通过卷积层对级联特征图进行特征变换，具体包括：

3.根据权利要求2所述的方法，其特征在于，每个层级的第一交叉特征图为：

其中，/>

为第二分支特征；

每个层级的第二交叉特征图为：

其中，/>

为第一分支特征；

每个层级最终的交叉特征图为：

4.根据权利要求3所述的方法，其特征在于，将多层级的交叉特征图进行逐层级的特征融合，包括如下步骤：

将第一交叉特征图和第二交叉特征图沿着通道维度进行融合：

将融合后的结果通过卷积提取特征：

将提取特征后的结果进行逐层级的特征融合。

5.根据权利要求4所述的方法，其特征在于，第i层级的融合结果为：

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的操作步骤。

Images