CN115908286A

CN115908286A - 一种多域肺结节检测方法、装置、设备及可读存储介质

Info

Publication number: CN115908286A
Application number: CN202211380838.9A
Authority: CN
Inventors: 徐瑞; 罗勇; 杜博
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2022-11-04
Filing date: 2022-11-04
Publication date: 2023-04-04

Abstract

本申请涉及一种多域肺结节检测方法、装置、设备及可读存储介质，包括切分子模块对3D特征图进行轴向、冠向和矢向切分得到每个方向的多个切片组；投影子模块对每个切片组进行非线性投影得到每个切片组的拼接调节值；领域感知子模块对每个切片组进行处理后得到每个切片组的领域感知权重值，将领域感知权重值和拼接调节值组合后得到每个切片组的响应向量；拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，将同一方向上的目标切片组进行拼接得到每个方向的目标拼接图，基于三向交叉注意力机制将所有方向的目标拼接图融合后得到融合特征图，检测头对融合特征图进行肺结节检测识别，提高了多中心肺结节检测的精准度和鲁棒性。

Description

一种多域肺结节检测方法、装置、设备及可读存储介质

技术领域

本申请涉及医学影像病灶检测技术领域，特别涉及一种多域肺结节检测方法、装置、设备及可读存储介质。

背景技术

随着深度学习的快速发展以及国内多中心医疗大数据平台的发展，人工智能技术在医学影像病灶检测领域得到了广泛的应用，可以在影像学图像数据逐年增加的情况下，帮助临床医生减少阅片时间，提高诊断准确性。相比于采用形态学运算、低级描述符运算等传统方法进行特征提取而存在的依赖人工设计、泛化性及鲁棒性较差的问题，深度学习作为一种多层神经网络算法，能够在层与层中进行调整，自动提取多级底层特征，并将其转化为更复杂的抽象特征来完成学习任务，特别是在医学领域，深度学习在影像学分析中具有极大的优势，其效果极大超出传统方法，算法诊断准确率非常高。

在众多医学影像病灶智能检测场景之中，肺结节检测无疑是需求最大、含金量最高的场景任务。其中，在影像学检查中，胸肺CT的检查量是最大的，其他影像学检查与其不在同一个量级上，而且肺结节尤其是微小肺结节不容易辨别，是医生最需要辅助的场景。此外，由于早期肺癌往往缺乏明显的临床症状，多数病人发现时已是中晚期，且5年存活率仅为16％-18％，但是若能在疾病的早期阶段确诊，将可使得5年生存率大幅提升。由此可见，肺结节的及时诊断能够实现肺癌的早期筛查。

现阶段肺结节智能检测技术发展已取得较大突破，但仍然存在以下挑战：医学多中心临床验证对肺结节检测算法鲁棒性要求很高，但是当前的肺结节检测算法的鲁棒性较差；且不同医疗中心数据之间存在着很大的领域差异，即不同医疗中心收集的CT图像数据的差异形成了不同领域，如CT设备、医生标注习惯以及数据集中结节良恶性分布和放射剂量等的不同所造成的领域差异等，以致肺结节检测的精准度较低。

发明内容

本申请提供一种多域肺结节检测方法、装置、设备及可读存储介质，以解决相关技术中存在的多中心肺结节检测算法鲁棒性差和精准度低的问题。

第一方面，提供了一种多域肺结节检测方法，包括以下步骤：

将待检测CT图输入至预设的肺结节检测模型，所述肺结节检测模型包括骨干网络、领域自适应模块和检测头，所述领域自适应模块包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块；

骨干网络对待检测CT图进行特征提取，得到3D特征图；

切分子模块对3D特征图分别沿轴向、冠向和矢向进行切分，得到每个方向对应的多个切片组；

投影子模块分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值；

领域感知子模块对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，并将每个切片组对应的领域感知权重值和拼接调节值进行组合，得到每个切片组对应的响应向量；

拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，基于三向交叉注意力机制将所有方向的目标拼接图进行融合得到融合特征图；

检测头对融合特征图进行检测识别，以输出待检测CT图对应的肺结节检测结果。

一些实施例中，所述投影子模块分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值，包括：

将每个切片组分别投影至N个切片分组适配器上，其中，N为正整数；

根据第一计算公式分别对每个切片分组适配器上的切片组进行3D全局池化和全连接处理，以得到每个切片组对应的N个初始调节值；

根据第二计算公式对每个切片组对应的N个初始调节值进行拼接，得到每个切片组在对应方向上的拼接调节值；

所述第一计算公式为：

式中，

表示

方向上的第i个切片组在第j个切片分组适配器上对应的初始调节值，

表示轴向、冠向和矢向中的其中一个方向，

表示

方向上的第i个切片组，F_SE表示挤压和激励函数，F_avg表示3D全局池化操作，

和

表示全连接层，δ表示ReLU激活函数；

所述第二计算公式为：

式中，

表示

方向上的第i个切片组对应的拼接调节值。

一些实施例中，所述领域感知子模块对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，包括：

通过第三计算公式对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值；

所述第三计算公式为：

式中，

表示

方向上的第i个切片组对应的领域感知权重值，

表示轴向、冠向和矢向中的其中一个方向，F_DA表示领域感知函数，

表示

方向上的第i个切片组，softmax表示归一化指数函数，

表示全连接层，F_avg表示3D全局池化操作。

一些实施例中，所述拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，包括：

根据第四计算公式并通过响应向量对切片组的通道响应进行调节，得到调节后的目标切片组；

所述第四计算公式为：

式中，

表示

方向上的第i个切片组对应的目标切片组，

表示轴向、冠向和矢向中的其中一个方向，

表示

方向上的第i个切片组，F_scale表示逐通道的乘法，

表示

方向上的第i个切片组对应的响应向量，σ表示sigmoid激活函数。

一些实施例中，所述将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，包括：

通过第五计算公式将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图；

所述第五计算公式为：

式中，

表示

方向上的目标拼接图，G表示

方向上共有G个目标切片组。

一些实施例中，所述基于三向交叉注意力机制将所有方向的目标拼接图进行融合得到融合特征图，包括：

通过第六计算公式将所有方向的目标拼接图进行融合得到融合特征图；

所述第六计算公式为：

式中，

表示融合特征图，

表示轴向上的目标拼接图，

表示冠向上的目标拼接图，

表示矢向上的目标拼接图，W_CA、W_θ、W_φ和W_g均表示卷积层，softmax表示归一化指数函数。

一些实施例中，所述待检测3D特征图包括深度、高度、宽度和通道数量四个维度的信息。

第二方面，提供了一种多域肺结节检测装置，包括：图像输入单元和肺结节检测模型，所述肺结节检测模型包括骨干网络、领域自适应模块和检测头，所述领域自适应模块包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块；

图像输入单元用于将待检测CT图输入至肺结节检测模型；

骨干网络用于对待检测CT图进行特征提取，得到3D特征图；

投影子模块用于分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值；

领域感知子模块用于对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，并将每个切片组对应的领域感知权重值和拼接调节值进行组合，得到每个切片组对应的响应向量；

拼接融合子模块用于通过响应向量对切片组的通道响应进行调节得到目标切片组，将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，将所有方向的目标拼接图进行融合得到融合特征图；

检测头用于对融合特征图进行检测识别，以输出待检测CT图对应的肺结节检测结果。

第三方面，提供了一种多域肺结节检测设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的多域肺结节检测方法。

第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的多域肺结节检测方法。

本申请提供了一种多域肺结节检测方法、装置、设备及可读存储介质，包括将待检测CT图输入至预设的肺结节检测模型，所述肺结节检测模型包括骨干网络、领域自适应模块和检测头，所述领域自适应模块包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块；骨干网络对待检测CT图进行特征提取，得到3D特征图；切分子模块对3D特征图分别沿轴向、冠向和矢向进行切分，得到每个方向对应的多个切片组；投影子模块分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值；领域感知子模块对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，并将每个切片组对应的领域感知权重值和拼接调节值进行组合，得到每个切片组对应的响应向量；拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，基于三向交叉注意力机制将所有方向的目标拼接图进行融合得到融合特征图；检测头对融合特征图进行检测识别，以输出待检测CT图对应的肺结节检测结果。本申请通过在肺结节检测模型中引入领域自适应模块来增强网络的泛化性能，可以自适应地针对不同医学中心的领域差异进行充分的特征提取，即能够充分利用不同医学中心的CT影像和多个医学中心的共享知识，进而提高多中心肺结节检测的精准度和鲁棒性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种多域肺结节检测方法的流程示意图；

图2为本申请实施例提供的肺结节检测模型的结构示意图；

图3为本申请实施例提供的多域肺结节检测的具体流程示意图；

图4为本申请实施例提供的一种多域肺结节检测设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种多域肺结节检测方法、装置、设备及可读存储介质，其能解决相关技术中存在的多中心肺结节检测算法鲁棒性差和精准度低的问题。

图1是本申请实施例提供的一种多域肺结节检测方法，包括以下步骤：

步骤S10：将待检测CT图输入至预设的肺结节检测模型，所述肺结节检测模型包括骨干网络、领域自适应模块和检测头，所述领域自适应模块包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块；

示范性的，传统深度学习肺结节检测网络通常由骨干网络和检测头组成，其中，骨干网络用于3D CT图像的特征提取，检测头用于对骨干网络提取出的3D特征图进行肺结节的检测。应当理解的是，本实施例中的待检测CT图将从多中心肺结节数据集中获取，而多中心肺结节数据集中的CT图像之间存在领域差异。但是，由于现有骨干网络是在多个中心的医学图像上直接进行训练，以致出现了选择性学习行为，即网络只对多医学中心数据中的“主导”数据部分进行了有效的学习，而忽略了其余部分数据带来的领域知识(即数据存在差异的部分)，从而导致模型表现出在单个中心/领域上性能的不一致性或性能下降。因此，采用传统深度学习肺结节检测网络无法实现对待检测CT图的精准肺结节检测。

而本实施例则是在骨干网络的残差层中引入领域自适应模块，其可充分利用不同医学中心的CT影像和多个医学中心的共享知识，使得最终网络对多医学中心肺结节检测具有更好的精度和鲁棒性，避免在单个中心/领域上性能的不一致性或性能下降。具体的，参见图2所示，本实施例所构建的肺结节检测模型主要由骨干网络层、领域自适应模块和检测头组成。其中，骨干网络由3D神经网络层和3D神经网络层构造的残差层组成，当3D CT图像输入骨干网络，经过每一层的特征提取都将得到一个3D特征图；领域自适应模块是一个即插即用模块，适用于多种肺结节检测算法，主要包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块，其可以自适应地针对不同医学中心数据进行充分的特征提取，输出在原有3D特征图基础上调制后的3D特征图；检测头由分类层和回归层组成，对领域自适应模块输出的调制后的3D特征图进行肺结节的检测。

步骤S20：骨干网络对待检测CT图进行特征提取，得到3D特征图；其中，所述待检测3D特征图包括深度、高度、宽度和通道数量四个维度的信息；

示范性的，在本实施例中，骨干网络由3D神经网络层和3D神经网络层构造的残差层组成，当待检测的3D CT图像输入骨干网络后，经过每一层的特征提取都将得到一个3D特征图，且该3D特征图X的维度是C×D×H×W。其中，C、D、H和W分别表示特征图X的通道数量、深度、高度和宽度。

步骤S30：切分子模块对3D特征图分别沿轴向、冠向和矢向进行切分，得到每个方向对应的多个切片组；

示范性的，在本实施例中，切分子模块将输入的3D特征图X沿轴向、冠向和矢向分为G组，以获得每个方向的切片组：X_a(i)、X_c(i)和X_s(i)，a、c和s分别表示轴向、冠向和矢向，i＝1,…,G，用于标识第i个切片组；其中，X_a(i)、X_c(i)和X_s(i)的维度也是深度、高度、宽度和通道数量，即X_a(i)的维度为C×D′×H×W，D′＝D/H，X_c(i)的维度为C×D×H′×W，H′＝H/G，X_s(i)的维度为C×D×H×W′，W′＝W/G。需要说明的是，G为预设的取值，可根据实际需求确定，在此不做限定，比如G的取值可以为4。

步骤S40：投影子模块分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值；

示范性的，在本实施例中，投影子模块即为通用适配器，其主要由多个切片分组适配器构成，能够从轴向、冠向和矢向按组捕捉被所有医学中心数据覆盖的领域的特征子空间，即将每组切片

非线性地投影到数据驱动的N个切片分组适配器(即领域特征子空间)上，以获得三个方向上每一组切片N个投影对应的拼接调节值

其中，

表示轴向、冠向或矢向，N为预设的取值，可根据实际需求确定，在此不做限定，比如N的取值可以为3。

进一步的，所述投影子模块分别对每个切片组进行非线性投影，得到每个切片组对应的拼接调节值，包括：

所述第一计算公式为：

式中，

表示

表示轴向、冠向和矢向中的其中一个方向，

表示

和

表示全连接层，δ表示ReLU激活函数；

所述第二计算公式为：

式中，

表示

方向上的第i个切片组对应的拼接调节值。

示范性的，在本实施例中，每组切片

在通用适配器中第j个切片分组适配器上的输出

可通过如下公式得到：

其中，

表示

表示轴向、冠向和矢向中的其中一个方向，

表示

方向上的第i个切片组，F_SE表示挤压和激励函数(即Squeeze-and-Excitation)，F_avg表示3D全局池化操作，

是

的全连接层，

是

的全连接层，r表示通道尺寸降低因子，δ表示ReLU激活函数。由于有N个切片分组适配器，因此每组切片

在其对应方向上将输出N个初始调节值

对每组切片

在其对应方向上的N个初始调节值进行拼接，即可得到每组切片

在其对应方向上的拼接调节值。其中，每组切片

在其对应方向上的拼接调节值

的通用表达式可通过如下公式得到：

式中，

表示

方向上的第i个切片组对应的拼接调节值。可以理解的是，拼接调节值

对应的维度是C×N。

步骤S50：领域感知子模块对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，并将每个切片组对应的领域感知权重值和拼接调节值进行组合，得到每个切片组对应的响应向量；

示范性的，在本实施例中，每个方向上每组切片N个投影对应的拼接

将被输入至对应方向上的领域感知子模块，领域感知子模块通过领域分配机制为每组切片生成对应的领域感知权重

且针对任一切片组而言，需将该切片组对应方向上的切片分组适配器输出的投影(即

)和领域感知权重

组合在一起，进而得到该切片组的领域适应后的响应向量

其中，DA(Domain Attentive/Attention)表示领域感知或领域注意力，用于表明

是针对领域的权重。

进一步的，所述领域感知子模块对每个切片组进行全局池化、全连接和归一化处理后得到每个切片组对应的领域感知权重值，包括：

所述第三计算公式为：

式中，

表示

方向上的第i个切片组对应的领域感知权重值，

表示

方向上的第i个切片组，softmax表示归一化指数函数，

表示全连接层，F_avg表示3D全局池化操作。

示范性的，在本实施例中，切片组

在

方向上的领域感知权重

可通过如下公式得到：

其中，

表示

方向上的第i个切片组对应的领域感知权重值，F_DA表示领域感知函数，softmax表示归一化指数函数，

表示维度为N×C的全连接层。然后该领域感知权重值

被用来组合相应方向上通用适配器第i个切片组的输出(即

)，进而得到了这个切片组的领域适应后的响应向量：

式中，

表示

方向上的第i个切片组对应的响应向量。

步骤S60：拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，基于三向交叉注意力机制将所有方向的目标拼接图进行融合得到融合特征图；

示范性的，在本实施例中，每组切片的响应向量

被用来调节该切片组

的通道响应，以得到该切片组对应的调制后的目标切片组，随后将同一方向上调制后的目标切片组拼接在一起，即可获得三个方向上的目标拼接图

和

再将三个方向上的目标拼接图

和

通过三向交叉注意力机制进行融合，从而获得与3D特征图对应的调制后的融合特征图

由此可见，本实施例的领域自适应模块通过领域分配机制从三个方向上按组软分配特征图经过通用适配器的投影，进一步实现领域的自动推理，并通过三向交叉注意力机制来融合三个方向上的结果特征图，其考虑了多中心医学影像数据领域差异大这一困难情况，以供检测头实现对多中心肺结节进行鲁棒且精准的检测。

进一步的，所述拼接融合子模块通过响应向量对切片组的通道响应进行调节得到目标切片组，包括：

所述第四计算公式为：

式中，

表示

方向上的第i个切片组对应的目标切片组，

表示轴向、冠向和矢向中的其中一个方向，

表示

方向上的第i个切片组，F_scale表示逐通道的乘法，

表示

所述将同一方向上的目标切片组进行拼接得到每个方向对应的目标拼接图，包括：

所述第五计算公式为：

式中，

表示

方向上的目标拼接图，G表示

方向上共有G个目标切片组。

示范性的，在本实施例中，响应向量

被应用到对应切片组，以调节对应切片组的通道响应，进而计算得到每个切片组对应方向上调节后的目标切片组

和

其中，

表示

方向上的第i个切片组对应的目标切片组，

表示

方向上的第i个切片组，F_scale(即channel-wise)表示逐通道的乘法，即每个权重是直接乘到每个通道的一整个D×H×W上的，σ表示sigmoid激活函数。

然后将同个方向上所有调节后的目标切片组拼接起来，以获得对应方向上的目标拼接图

和

可以理解的是，

的维度也是C×D×H×W。

进一步的，所述基于三向交叉注意力机制将所有方向的目标拼接图进行融合得到融合特征图，包括：

所述第六计算公式为：

式中，

表示融合特征图，

表示轴向上的目标拼接图，

表示冠向上的目标拼接图，

示范性的，在本实施例中，通过三向交叉注意力机制来融合三个方向上的结果特征图，进而得到与输入至领域自适应模块的3D特征图对应的调制后的融合特征图

从而可使用该调制后的融合特征图实现领域补偿。其中，调制后的融合特征图

的计算公式为：

式中，W_CA、W_θ、W_φ和W_g均是1×1×1卷积层。需要说明的是，为了进一步降低计算量，可将W_θ、W_φ和W_g的通道数设置为

的一半，W_CA随后恢复为原通道数量以实现矩阵相加。在W_φ和W_g之后还可加入最大池化层，以进一步降低计算量。

步骤S70：检测头对融合特征图进行检测识别，以输出待检测CT图对应的肺结节检测结果。

示范性的，在本实施例中，检测头对领域自适应模块输出的调制后的3D融合特征图上每个体素点预先放置的锚(anchor)进行分类和回归，并输出肺结节的分类概率和边界框(region proposal)；且该两阶段的检测头还会使用第一阶段输出的肺结节边界框对领域自适应模块提取的3D融合特征图进行裁剪，再对裁剪出的感兴趣区域(region ofinterest)进一步分类和回归，输出最终的肺结节分类概率和边界框。

由此可见，本实施例在肺结节检测网络中引入多中心切片分组的领域自适应模块，以增强网络的泛化性能。其中，多个医学中心数据覆盖的领域特征子空间被领域自适应模块的通用适配器从轴向、冠向和矢向捕获，然后通过领域分配机制从三个方向上按组软分配通用适配器输出投影的结合，这两个步骤都是数据驱动的，不需要领域的先验信息，能够实现自动推理；再通过三向交叉注意力机制融合三个方向上的结果特征图，从而能实现对多医学中心肺结节进行鲁棒且精准的检测。综上，本申请可使得肺结节检测模型能够充分利用不同医学中心的CT影像和多个医学中心的共享知识，使得模型对多医学中心肺结节检测具有更好的精度和鲁棒性。

以下结合图3对本实施例的具体实现过程进行阐释。

步骤N10：获取预处理后的CT图像，并通过肺结节检测模型的骨干网络获得3D特征图。

本实施例为了保证肺结节检测精度，防止不必要的干扰，将对数据集中的CT图像进行预处理：将原始CT数据转化为描述辐射密度的标准定量值HU(Hounsfield Unit)值，然后对数据进行开窗和归一化操作；且为了提高检测精度和减少计算量，一些原始CT数据还可以采取重采样操作(即将CT图像的体素间距转化为1×1×1mm)和肺部mask(即掩膜)提取操作，通过上述操作后得到预处理后的CT图像(即归一化后的CT图像)。

应当理解的是，在训练阶段预处理CT图像时，因为显存的限制，使用整张CT图像作为输入进行模型训练是不可行的，所以将归一化后的CT图像根据每个结节剪切大小为1×128×128×128的patch块作为训练模型输入，且如果裁剪的patch超过了CT图像的范围，超过的部分采用170的padding(即填充)值补全。而在测试阶段预处理CT图像时，为了避免CT图像出现奇数尺寸，可采用170的padding值补全图像作为测试阶段的输入。

因此，具体实施时，可以在流程开始时首先判断是否为训练阶段，如果是，则根据归一化后的CT图像中的每个结节将归一化后的CT图像剪切为1×128×128×128大小的patch块(即图像块)作为模型输入，且数据增广可根据模型训练需求设置旋转、翻转和放缩；如果不是，则直接使用归一化后的CT图像作为模型输入。其中，模型训练时，batch size(即批量大小)一般为8或16，而模型测试时，batch size一般为1。

步骤N20：获得每个方向的切片组，即将3D特征图沿轴向、冠向和矢向分为G组，进而获得每个方向的切片组

步骤N30：获得三个方向上每组切片在多个领域上的通用表示，即将每组切片

通过通用适配器非线性地投影到N个领域特征子空间上，获得三个方向上每一组切片N个投影对应的拼接调节值

步骤N40：获得领域感知权重，即将每组切片

输入对应的该方向上的领域感知子模块，以生成对应的领域感知权重

步骤N50：获得每组切片的响应向量，即对每组切片N个投影对应的拼接调节值

分别施加领域感知权重

获得每组切片对应的领域适应后的响应向量

步骤N60：获得每组切片对应的调制后的目标切片组，即通过每组切片的响应向量

调节对应切片组

的通道响应，得到切片组

对应的目标切片组

步骤N70：获得三个方向上的目标拼接图，即将同一方向上调制后的目标切片组拼接在一起，获得三个方向上的目标拼接图

和

步骤N80：获得融合特征图，即通过交叉注意力机制融合三个方向上的目标拼接图

和

获得融合特征图

步骤N90：将融合特征图

继续输入肺结节检测模型中，判断是否遇到领域自适应模块，若遇到，则返回，继续执行步骤N20至步骤N80，直到跟踪结束，否则将融合特征图

继续输入肺结节检测模型中的检测头，直至获得肺结节检测结果。

本申请实施例还提供了一种多域肺结节检测装置，包括：图像输入单元和肺结节检测模型，所述肺结节检测模型包括骨干网络、领域自适应模块和检测头，所述领域自适应模块包括切分子模块、投影子模块、领域感知子模块和拼接融合子模块；

图像输入单元用于将待检测CT图输入至肺结节检测模型；

骨干网络用于对待检测CT图进行特征提取，得到3D特征图；

进一步的，所述投影子模块具体用于：

所述第一计算公式为：

式中，

表示

表示轴向、冠向和矢向中的其中一个方向，

表示

和

表示全连接层，δ表示ReLU激活函数；

所述第二计算公式为：

式中，

表示

方向上的第i个切片组对应的拼接调节值。

进一步的，所述领域感知子模块具体用于：

所述第三计算公式为：

式中，

表示

方向上的第i个切片组对应的领域感知权重值，

表示

方向上的第i个切片组，softmax表示归一化指数函数，

表示全连接层，F_avg表示3D全局池化操作。

进一步的，所述拼接融合子模块具体用于：

所述第四计算公式为：

式中，

表示

方向上的第i个切片组对应的目标切片组，

表示轴向、冠向和矢向中的其中一个方向，

表示

方向上的第i个切片组，F_scale表示逐通道的乘法，

表示

进一步的，所述拼接融合子模块具体还用于：

所述第五计算公式为：

式中，

表示

方向上的目标拼接图，G表示

方向上共有G个目标切片组。

进一步的，所述拼接融合子模块具体还用于：

所述第六计算公式为：

式中，

表示融合特征图，

表示轴向上的目标拼接图，

表示冠向上的目标拼接图，

进一步的，所述待检测3D特征图包括深度、高度、宽度和通道数量四个维度的信息。

需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述多域肺结节检测方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的多域肺结节检测设备上运行。

本申请实施例还提供了一种多域肺结节检测设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的多域肺结节检测方法的全部步骤或部分步骤。

其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(SmartMedia Card，SMC)、安全数字(Secure digital，SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的多域肺结节检测方法的全部步骤或部分步骤。

本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory，ROM)、随机存取存储器(Random Accessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。