CN115131386A - 胸腔病灶影像的轮廓提取及检测方法与系统 - Google Patents

Abstract

本发明公开了一种胸腔病灶影像的轮廓提取及检测的方法。包括：将输入的胸腔病灶图片进行分块，将块展平为一维向量并加入位置编码得到块嵌入，将块嵌入输入Transformer编码器提取图像特征，获得块特征编码，分别使用线性解码器和Transformer解码器将块特征编码序列解码为胸腔病灶轮廓特征图，通过连接的方式将线性解码器和Transformer解码器所得到的两种胸腔病灶轮廓特征图进行融合，并进行插值上采样得到胸腔病灶轮廓图。本发明还公开了胸腔病灶影像的轮廓提取及检测系统。本发明采用基于Transformer的方式，Transformer的注意力机制能够对长期依赖进行建模，有效地捕获全局特征，从而提高的准确率，且本发明没有借助额外的输入数据，计算速度快、模型复杂度较低。

Description

胸腔病灶影像的轮廓提取及检测方法与系统

技术领域

本发明涉及计算机视觉、图像处理，具体涉及一种胸腔病灶影像的轮廓提取及检测方法与系统。

背景技术

胸腔是人体的一个重要组成部分，其由膈肌与膈排成，上界为膈肌上口，与颈部相接。胸腔下界以膈与腹部隔开。胸腔内有正中间的纵隔和上下两边的肺及其胸膜腔。肾管的一部分，是由肩胛骨，腰椎和肋巴骨排成的内腔，上端跟颈相接，下边有横膈膜和腹部分隔。心，肺等人体器官都在胸腔内。胸腔里边有多种多样关键的人体器官，包含两边的肺泡，关键坐落于左边的心脏，也有食道支气管等关键的人体器官，胸腔在医药学上十分关键，由于心脏和肺脏的病症非常容易造成生命威胁。

胸腔病灶轮廓的提取是医学影像研究领域的一个重要方向，其目的是将医学影像中胸腔的轮廓提取出来，以方便医生观察病人的身体健康状况。但是现有的技术通常让医生通过肉眼判断医学图像上的病灶，这有时候会导致检测不准确。因此提供一种胸腔病灶的检测方法，高效而准确地辅助医生进行诊断，有着迫切的需求。

随着深度学习技术的发展，胸腔病灶轮廓提取和检测技术的研究已经有了很大的进步和突破，也有许多使用卷积神经网络的模型取得了一定的效果。但是，由于卷积神经网络无法很好地提取全局的特征，简单的卷积神经网络并不能很好地达到胸腔病灶轮廓提取和检测的目的。

目前的现有技术之一，是专利“基于Flow-XDoG算子的腹部MRI图像轮廓提取方法”中的基于梯度算子的方法，该方法通过图像的垂直和水平查分逼近梯度算子，利用梯度算子提取图像中对象与背景间的交界线。该方案的缺点是梯度算子的方法对图像中的噪音比较敏感，在滤波处理去除噪声后会导致图像边缘的模糊，丢除了边缘信息。

目前的现有技术之二，是论文“Binary handwriting image enhancement bydirectional field-guided morphology”中的基于方向形态学的方法，该方法在二值化的边缘图像的基础上进行滚动盘账操作，通过定义方向目标函数确定结构元素的移动方向，从而获得目标的轮廓信息。该方法的缺点是其依赖于前期图像边缘提取的结果，易受噪声的影响，在边缘不连续的情况下容易陷入局部的轮廓提取。

目前的现有技术之三，是论文“Fully convolutional networks for semanticsegmentation”中的基于全卷积神经网络的方法，该方法使用卷积神经网络，例如resnet、DeepLab等提取图像中的特征，随后采用反卷积的方式进行上采样生成胸腔轮廓图，整个训练过程采用交叉熵损失函数进行监督。该方法的缺点是完全使用卷积神经网络受感受野的限制，单层的卷积无法捕获远距离的特征，因此最终获得的胸腔轮廓图精度不高。

发明内容

本发明的目的是克服现有方法的不足，提出了胸腔病灶影像的轮廓提取及检测方法与系统。本发明解决的主要问题，一是现有基于梯度算子的方法，对图像中的噪音敏感问题。二是方向形态学的方法，依赖前期图像边缘提取结果，在边缘不连续的情况易陷入局部轮廓提取。三是基于全卷积神经网络的方法，卷积神经网络受制于感受野，使得人体解析图像精度不高。

为了解决上述问题，本发明提出了一种胸腔病灶影像的轮廓提取及检测方法，所述方法包括：

输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸；

将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入；

将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码，Transformer编码器包含L层，记输入序列为z₀，输出为包含丰富上下文语义信息的块特征编码序列z_L；

分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图；

采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同。

优选地，所述输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸，具体为：

输入胸腔病灶图片和轮廓图片，胸腔病灶图片来源于真实的医疗场景，轮廓图片则是由人工标注所形成的，为了使训练所得的模型更具鲁棒性，对所述图片进行随机旋转、水平镜像、随机裁剪的数据增强，最后将所有的图片放缩到统一的尺寸。

优选地，所述将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入，具体为：

记输入的图片大小为H×W×C，H、W和C分别指图片的通道数、宽度和高度，输入图片分割为N块，每块的大小为P×P，即N＝HW/P²，每块的通道数与图片相同都是C，将每个块展平为一维向量就得到了N个维度为D的向量，D＝P²C；

为了捕获图像中的位置信息，将N×D的块表示与维度为N×D的位置嵌入相加获得块嵌入，位置嵌入是可以学习的。

优选地，所述将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码，Transformer编码器包含L层，记输入序列为z₀，输出为包含丰富上下文语义信息块特征编码序列z_L，具体为：

一个Transformer层包含一个多头注意力层(MSA)和一个分两层的全连接层(MLP)组成，每个块之前应用层正则化(LN)并且添加残差连接，记i∈{1,...,L}，其计算方式如下：

a_i-1＝MSA(LN(z_i-1))+z_i-1

z_i＝MLP(LN(a_i-1))+a_i-1

Transformer中的自注意力机制有利于捕获图像的全局上下文信息，记Q，K和V表示查询，键和值的变换矩阵，自注意力的计算方式如下：

优选地，所述分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图，具体为：

线性编码器使用一个简单的线性层对块编码序列进行解码，最终的线性层输出为2D的胸腔病灶轮廓特征；

Transformer解码器的输入为块编码序列和相应的查询，块编码序列和查询首先计算交叉注意力：

X_l＝softmax(Q_lK_l)V_l+X_l-1

其中，l是层数的下标，X_l是第l层的查询特征，Q_l是第l层输入的查询，V_l和K_l是第l层输入的图像特征通过两个不同的线性变换函数f_V和f_K所变换得到的矩阵，随后交叉注意力的结果将会进行归一化化操作，并通过一个自注意力层，自注意力层所计算出的结果将会在归一化之后通过前馈层输出最终的查询特征。

相应地，本发明还提供了一种胸腔病灶影像的轮廓提取及检测系统，包括：

图像预处理单元，用于输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸；

块嵌入单元，用于将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入；

块特征编码单元，用于将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码；

解码单元，用于分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图；

轮廓图获取单元，用于采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同。

实施本发明，具有如下有益效果：

本发明没有借助任何额外的输入数据，相比与其他方法，具有计算速度快，模型复杂度低等优点；本发明仅使用了Transformer网络，充分地发挥了注意力机制捕获全局特征的能力，最大限度地提升了轮廓图的准确率；本发明中各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的轮廓图更加符合人的预期。

附图说明

图1是本发明实施例的胸腔病灶影像的轮廓提取及检测方法的总体流程图；

图2是本发明实施例的Transformer解码器流程图；

图3是本发明实施例的胸腔病灶影像的轮廓提取及检测系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的胸腔病灶影像的轮廓提取及检测方法的总体流程图，如图1所示，该方法包括：

S1，输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸；

S2，将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入；

S3，将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码；

S4，分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图；

S5，采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同；

S6，使用所述胸腔病灶轮廓图与输入的轮廓图计算损失函数，并利用梯度下降法重复训练所述Transformer神经网络至损失函数收敛。

步骤S1，具体如下：

S1-1，输入胸腔病灶图片和轮廓图片，胸腔病灶图片来源于真实的医疗场景，轮廓图片则是由人工标注所形成的，为了使训练所得的模型更具鲁棒性，对所述图片进行随机旋转、水平镜像、随机裁剪的数据增强，最后将所有的图片放缩到统一的尺寸。

步骤S2，具体如下：

S2-1，记输入的图片大小为H×W×C，H、W和C分别指图片的通道数、宽度和高度，输入图片分割为N块，每块的大小为P×P，即N＝HW/P²，每块的通道数与图片相同都是C，将每个块展平为一维向量就得到了N个维度为D的向量，D＝P²C；

S2-2，为了捕获图像中的位置信息，将N×D的块表示与维度为N×D的位置嵌入相加获得块嵌入，位置嵌入是可以学习的。

步骤S3，具体如下：

S3-1，一个Transformer层包含一个多头注意力层(MSA)和一个分两层的全连接层(MLP)组成，每个块之前应用层正则化(LN)并且添加残差连接，记i∈{1,...,L}，其计算方式如下：

a_i-1＝MSA(LN(z_i-1))+z_i-1

z_i＝MLP(LN(a_i-1))+a_i-1。

S3-2，Transformer中的自注意力机制有利于捕获图像的全局上下文信息，记Q，K和V表示查询，键和值的变换矩阵，自注意力的计算方式如下：

步骤S4，如图2所示，具体如下：

S4-1，线性编码器使用一个简单的线性层对块编码序列进行解码，最终的线性层输出为2D的胸腔病灶轮廓特征；

S4-2，Transformer解码器的输入为块编码序列和相应的查询，块编码序列和查询首先计算交叉注意力：

X_l＝softmax(Q_lK_l)V_l+X_l-1

其中，l是层数的下标，X_l是第l层的查询特征，Q_l是第l层输入的查询，V_l和K_l是第l层输入的图像特征通过两个不同的线性变换函数f_V和f_K所变换得到的矩阵，随后交叉注意力的结果将会进行归一化化操作，并通过一个自注意力层，自注意力层所计算出的结果将会在归一化之后通过前馈层输出最终的查询特征。

步骤S5，具体如下：

S5-1，采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同。

步骤S6，具体如下：

S6-1，使用交叉熵作为损失函数，其计算方式如下：

其中，M表示类别数，y_c是二值向量，仅有0和1两种取值，若该类别和样本的类别相同就取1，否则就取0。p_c则表示预测样本属于类别c的概率。

相应地，本发明还提供了胸腔病灶影像的轮廓提取及检测系统，如图3所示，包括：

图像预处理单元1，用于输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸。

具体地，输入胸腔病灶图片和轮廓图片，胸腔病灶图片来源于真实的医疗场景，轮廓图片则是由人工标注所形成的，为了使训练所得的模型更具鲁棒性，对所述图片进行随机旋转、水平镜像、随机裁剪的数据增强，最后将所有的图片放缩到统一的尺寸。

块嵌入单元2，用于将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入。

具体地，记输入的图片大小为H×W×C，H、W和C分别指图片的通道数，宽度和高度，输入图片分割为N个块，每个块的大小为P×P，即N＝HW/P²，每块的通道数与图片相同都是C，将每个块展平为一维向量就得到了N个维度为D的向量，D＝P²C；

为了捕获图像中的位置信息，将N×D的块表示与维度为N×D的位置嵌入相加获得块嵌入，位置嵌入是可以学习的。

块特征编码单元3，用于将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码，Transformer编码器包含L层，记输入序列为z₀，输出为包含丰富上下文语义信息的块特征编码序列z_L。

具体地，一个Transformer层包含一个多头注意力层(MSA)和一个分两层的全连接层(MLP)组成，每个块之前应用层正则化(LN)并且添加残差连接，记i∈{1,...,L}，其计算方式如下：

a_i-1＝MSA(LN(z_i-1))+z_i-1

z_i＝MLP(LN(a_i-1))+a_i-1

Transformer中的自注意力机制有利于捕获图像的全局上下文信息，记Q，K和V表示查询，键和值的变换矩阵，自注意力的计算方式如下：

解码单元4，用于分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图。

具体地，线性编码器使用一个简单的线性层对块编码序列进行解码，最终的线性层输出为2D的胸腔病灶轮廓特征；

Transformer解码器的输入为块编码序列和相应的查询，块编码序列和查询首先计算交叉注意力：

X_l＝softmax(Q_lK_l)V_l+X_l-1

其中，l是层数的下标，X_l是第l层的查询特征，Q_l是第l层输入的查询，V_l和K_l是第l层输入的图像特征通过两个不同的线性变换函数f_V和f_K所变换得到的矩阵，随后交叉注意力的结果将会进行归一化化操作，并通过一个自注意力层，自注意力层所计算出的结果将会在归一化之后通过前馈层输出最终的查询特征；

轮廓图获取单元5，用于采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同。

因此，本发明通过胸腔病灶影像的轮廓提取及检测方法，本发明没有借助任何额外的输入数据，相比与其他方法，具有计算速度快，模型复杂度低等优点；本发明仅使用了Transformer网络，充分地发挥了注意力机制捕获全局特征的能力，最大限度地提升了轮廓图的准确率；本发明中各部分之间的输入输出互相联系，进行不同特征的提取和整合，提高了效率，使生成的轮廓图更加符合人的预期。

以上对本发明实施例所提供的胸腔病灶影像的轮廓提取及检测方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述方法包括：

输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸；

将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入；

将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码，Transformer编码器包含L层，记输入序列为z₀，输出为包含丰富上下文语义信息的块特征编码序列z_L；

分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图；

采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同；

使用所述胸腔病灶轮廓图与输入的轮廓图计算损失函数，并利用梯度下降法重复训练所述Transformer神经网络至损失函数收敛。

2.如权利要求1所述的胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述输入胸腔病灶图片和轮廓图片，对所输入的图片进行数据增强，并将其处理成统一的尺寸，具体为：

输入胸腔病灶图片和轮廓图片，胸腔病灶图片来源于真实的医疗场景，轮廓图片则是由人工标注所形成的，为了使训练所得的模型更具鲁棒性，对所述图片进行随机旋转、水平镜像、随机裁剪的数据增强，最后将所有的图片放缩到统一的尺寸。

3.如权利要求1所述的胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入，具体为：

记输入的图片大小为H×W×C，H、W和C分别指图片的通道数、宽度和高度，输入图片分割为N块，每块的大小为P×P，即N＝HW/P²，每块的通道数与图片相同都是C，将每个块展平为一维向量就得到了N个维度为D的向量，D＝P²C；

为了捕获图像中的位置信息，将N×D的块表示与维度为N×D的位置嵌入相加获得块嵌入，位置嵌入是可以学习的。

4.如权利要求1所述的胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码，Transformer编码器包含L层，记输入序列为z₀，输出为包含丰富上下文语义信息的块特征编码序列z_L，具体为：

一个Transformer层包含一个多头注意力层(MSA)和一个分两层的全连接层(MLP)组成，每个块之前应用层正则化(LN)并且添加残差连接，记i∈{1,...,L}，其计算方式如下：

a_i-1＝MSA(LN(z_i-1))+z_i-1

z_i＝MLP(LN(a_i-1))+a_i-1

Transformer中的自注意力机制有利于捕获图像的全局上下文信息，记Q，K和V表示查询，键和值的变换矩阵，自注意力的计算方式如下：

5.如权利要求1所述的胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图，具体为：

线性编码器使用一个简单的线性层对块编码序列进行解码，最终的线性层输出为2D的胸腔病灶轮廓特征；

Transformer解码器的输入为块编码序列和相应的查询，块编码序列和查询首先计算交叉注意力：

X_l＝softmax(Q_lK_l)V_l+X_l-1

其中，l是层数的下标，X_l是第l层的查询特征，Q_l是第l层输入的查询，V_l和K_l是第l层输入的图像特征通过两个不同的线性变换函数f_V和f_K所变换得到的矩阵，随后交叉注意力的结果将会进行归一化化操作，并通过一个自注意力层，自注意力层所计算出的结果将会在归一化之后通过前馈层输出最终的查询特征。

6.如权利要求1所述的胸腔病灶影像的轮廓提取及检测方法，其特征在于，所述使用所述胸腔病灶轮廓图与输入的轮廓图计算损失函数，并利用梯度下降法重复训练所述Transformer神经网络至损失函数收敛，具体为：

使用交叉熵作为损失函数，其计算方式如下：

其中，M表示类别数，y_c是二值向量，仅有0和1两种取值，若该类别和样本的类别相同就取1，否则就取0，p_c则表示预测样本属于类别c的概率。

7.一种胸腔病灶影像的轮廓提取及检测系统，其特征在于，所述系统包括：

图像预处理单元，用于对输入的人体图片人体解析图片进行数据增强，并处理成统一尺寸；

块嵌入单元，用于将所述输入的胸腔病灶图片进行分块，将每个块展平为一维向量，为一维向量加入位置编码得到块嵌入；

块特征编码单元，用于将所述块嵌入输入到Transformer编码器中提取图像特征，获得块特征编码；

解码单元，用于分别使用线性解码器和Transformer解码器将所述块特征编码序列z_L解码为胸腔病灶轮廓特征图；

轮廓图获取单元，用于采用连接的方式将所述通过线性解码器所得的胸腔病灶轮廓特征图和所述通过Transformer编码器获得的胸腔病灶轮廓特征图进行融合，并使用插值上采样获得胸腔病灶轮廓图，胸腔病灶轮廓图与原来输入的胸腔病灶图像大小相同。

8.如权利要求7所述的胸腔病灶影像的轮廓提取及检测系统，其特征在于，所述图像预处理单元，需要输入胸腔病灶图片和轮廓图片，胸腔病灶图片来源于真实的医疗场景，轮廓图片则是由人工标注所形成的，为了使训练所得的模型更具鲁棒性，对所述图片进行随机旋转、水平镜像、随机裁剪的数据增强，最后将所有的图片放缩到统一的尺寸。

9.如权利要求7所述的胸腔病灶影像的轮廓提取及检测系统，其特征在于，所述块嵌入单元，需要记输入的图片大小为H×W×C，H、W和C分别指图片的通道数、宽度和高度，输入图片分割为N块，每块的大小为P×P，即N＝HW/P²，每块的通道数与图片相同都是C，将每个块展平为一维向量就得到了N个维度为D的向量，D＝P²C；

为了捕获图像中的位置信息，将N×D的块表示与维度为N×D的位置嵌入相加获得块嵌入，位置嵌入是可以学习的。

10.如权利要求7所述的胸腔病灶影像的轮廓提取及检测系统，其特征在于，所述块特征编码单元，需要一个Transformer层包含一个多头注意力层(MSA)和一个分两层的全连接层(MLP)组成，每个块之前应用层正则化(LN)并且添加残差连接，记i∈{1,...,L}，其计算方式如下：

a_i-1＝MSA(LN(z_i-1))+z_i-1

z_i＝MLP(LN(a_i-1))+a_i-1

Transformer中的自注意力机制有利于捕获图像的全局上下文信息，记Q，K和V表示查询，键和值的变换矩阵，自注意力的计算方式如下：

11.如权利要求7所述的胸腔病灶影像的轮廓提取及检测系统，其特征在于，所述解码单元，需要线性编码器使用一个简单的线性层对块编码序列进行解码，最终的线性层输出为2D的胸腔病灶轮廓特征；

Transformer解码器的输入为块编码序列和相应的查询，块编码序列和查询首先计算交叉注意力：

X_l＝softmax(Q_lK_l)V_l+X_l-1

其中，l是层数的下标，X_l是第l层的查询特征，Q_l是第l层输入的查询，V_l和K_l是第l层输入的图像特征通过两个不同的线性变换函数f_V和f_K所变换得到的矩阵，随后交叉注意力的结果将会进行归一化化操作，并通过一个自注意力层，自注意力层所计算出的结果将会在归一化之后通过前馈层输出最终的查询特征。

Images