CN114187296A - 胶囊内窥镜图像病灶分割方法、服务器及系统 - Google Patents

Abstract

本申请实施例适用于医疗技术领域，提供了一种胶囊内窥镜图像病灶分割方法、服务器及系统，所述系统包括前端设备和后端服务器，所述后端服务器中部署有已训练好的病灶分割模型；其中：前端设备用于向后端服务器上传胶囊内窥镜图像；后端服务器用于采用病灶分割模型对胶囊内窥镜图像进行病灶分割；所述病灶分割模型包括编码器和解码器，所述解码器用于在编码器对胶囊内窥镜图像进行下采样后，采用依次连接的多个解码器块对下采样的特征图进行上采样，得到胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个解码器块中最后两个解码器块的输出特征进行融合后得到的图像。采用上述系统对胶囊内窥镜图像进行病灶分割，可以提高分割的精确度。

Description

胶囊内窥镜图像病灶分割方法、服务器及系统

技术领域

本申请实施例属于医疗技术领域，特别是涉及一种胶囊内窥镜图像病灶分割方法、服务器及系统。

背景技术

胶囊内窥镜(capsule endoscopy)是一种做成胶囊形状的内窥镜，它是用来检查人体消化道的医疗仪器。胶囊内窥镜能进入人体，可以帮助医生对病人消化道各部位的疾病进行诊断。

通常，在使用胶囊内窥镜对消化道疾病进行全方位检测时，从病人吞入胶囊内窥镜到将其排出体外至少需要8个小时。在此期间，将会产生5-7万张胶囊内窥镜图像。即使是经验丰富的专业医生也需要花费数个小时来对这些图像进行处理，长时间高强度的工作以及图像中病灶尺寸小、病灶特征不明显等都容易导致误诊和漏诊，致使患者错失早期治疗的最佳时间。

目前，使用基于Unet神经网络的病灶分割方法可以帮助医生从胶囊内窥镜图像中检测出病灶。但是，使用该方法分割出的病灶轮廓较为圆滑，细节不清楚，精确度较低，与真实的病灶轮廓存在较大的差距。

发明内容

有鉴于此，本申请实施例提供了一种胶囊内窥镜图像病灶分割方法、服务器及系统，用以提高病灶分割的精确度。

本申请实施例的第一方面提供了一种胶囊内窥镜图像病灶分割系统，包括前端设备和后端服务器，所述后端服务器中部署有已训练好的病灶分割模型；其中：

所述前端设备，用于向所述后端服务器上传胶囊内窥镜图像；

所述后端服务器，用于采用所述病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶图像通过所述前端设备进行显示；

其中，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；所述解码器用于在所述编码器对所述胶囊内窥镜图像进行下采样后，采用依次连接的多个所述解码器块对下采样的特征图进行上采样，得到所述胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

在本申请实施例的一种可能的实现方式中，依次连接的多个所述解码器块包括依次连接的第一解码器块、第二解码器块、第三解码器块和第四解码器块，所述特征图像是对所述第三解码器块的输出特征和所述第四解码器的输出特征进行融合后得到的图像。

在本申请实施例的一种可能的实现方式中，所述解码器还用于：

对所述第三解码器块的输出特征的尺寸进行调整，调整后的所述第三解码器块的输出特征的尺寸与所述第四解码器的输出特征的尺寸相同；

对所述第四解码器的输出特征进行升维，升维后的所述第四解码器的输出特征的通道数与所述第三解码器块的输出特征的通道数相等。

在本申请实施例的一种可能的实现方式中，所述编码器还用于：

对自然数据集进行预训练，获得预训练权重，所述预训练权重用于在执行所述病灶分割模型的训练任务时被加载作为相应的训练权重，所述自然数据集的数据量大于预设数据量。

在本申请实施例的一种可能的实现方式中，所述编码器为基于具有残差结构的网络模型建立的编码器。

在本申请实施例的一种可能的实现方式中，所述具有残差结构的网络模型为ResNeSt网络模型。

在本申请实施例的一种可能的实现方式中，所述编码器包括多个可变形卷积模块，所述编码器还用于：

采用多个所述可变形卷积模块计算对所述胶囊内窥镜图像进行下采样得到的特征图中每个像素点的偏移量，根据所述偏移量对所述胶囊内窥镜图像的原始卷积窗口进行平移，针对平移后的卷积窗口输出新的特征图。

在本申请实施例的一种可能的实现方式中，所述编码器具体用于：

对平移后的所述卷积窗口中的各个像素点进行插值，得到各个所述像素点的像素坐标，根据各个所述像素点的像素坐标进行卷积计算，输出新的特征图。

在本申请实施例的一种可能的实现方式中，所述病灶分割模型还包括空洞卷积金字塔并联模块，所述空洞卷积金字塔并联模块包括多个不同扩展率的空洞卷积，所述空洞卷积金字塔并联模块用于采用多个不同扩展率的所述空洞卷积对下采样得到的特征图进行空洞卷积操作，以获取所述胶囊内窥镜图像的多感受野的信息。

在本申请实施例的一种可能的实现方式中，所述空洞卷积金字塔并联模块还用于：

对下采样得到的特征图进行全局平均池化，并对全局平均池化后的所述特征图进行插值，以将所述特征图恢复至原始大小。

在本申请实施例的一种可能的实现方式中，所述空洞卷积金字塔并联模块还用于：

对空洞卷积操作和全局平均池化后得到的特征图进行特征拼接，获得拼接特征图，并对所述拼接特征图进行降维，以将降维后的所述拼接特征图的通道数恢复至与下采样得到的特征图的通道数相等。

在本申请实施例的一种可能的实现方式中，所述病灶分割模型还包括自注意力模块，所述自注意力模块用于对所述解码器输出的所述特征图像进行低秩重构，以获取所述特征图像中病灶区域的特征信息。

在本申请实施例的一种可能的实现方式中，所述病灶分割模型还包括期望最大化注意力模块，所述期望最大化注意力模块用于采用期望最大化注意力算法从所述特征图像中迭代出紧凑的基，并在所述基上运行注意力机制，以重建所述特征图像。

在本申请实施例的一种可能的实现方式中，所述后端服务器中配置有至少两种损失函数，所述后端服务器还用于：

在执行所述病灶分割模型的训练任务时，采用所述至少两种损失函数计算模型预测值与真实值之间的差值，直到所述差值小于预设值，完成对所述病灶分割模型的训练。

在本申请实施例的一种可能的实现方式中，所述后端服务器具体用于：

在执行所述病灶分割模型的训练任务时，调整所述至少两种损失函数的权重比例，以平衡训练过程中正样本与负样本的数据量，所述正样本为所述胶囊内窥镜图像中的病灶区域，所述负样本为所述胶囊内窥镜图像中的非病灶区域。

在本申请实施例的一种可能的实现方式中，所述至少两种损失函数包括交叉熵损失函数和Dice损失函数。

本申请实施例的第二方面提供了一种胶囊内窥镜图像病灶分割方法，应用于后端服务器，所述方法包括：

接收前端设备上传的胶囊内窥镜图像；

采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；

将所述病灶图像发送至所述前端设备进行显示；

其中，所述采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，包括：

调用所述编码器对所述胶囊内窥镜图像进行下采样，获得下采样的特征图；

调用所述解码器中依次连接的多个所述解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像；

根据所述特征图像进行病灶分割，得到分割后的所述病灶图像。

本申请实施例的第三方面提供了一种胶囊内窥镜图像病灶分割装置，应用于后端服务器，所述装置包括：

接收模块，用于接收前端设备上传的胶囊内窥镜图像；

分割模块，用于采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；

发送模块，用于将所述病灶图像发送至所述前端设备进行显示；

其中，所述分割模块具体用于：调用所述编码器对所述胶囊内窥镜图像进行下采样，获得下采样的特征图；调用所述解码器中依次连接的多个所述解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像；根据所述特征图像进行病灶分割，得到分割后的所述病灶图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

本申请实施例的第四方面提供了一种服务器，所述服务器为上述第一方面任一项所述的后端服务器，所述服务器包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面所述的胶囊内窥镜图像病灶分割方法。

本申请实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第二方面所述的胶囊内窥镜图像病灶分割方法。

本申请实施例的第六方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第二方面所述的胶囊内窥镜图像病灶分割方法。

与现有技术相比，本申请实施例包括以下优点：

本申请实施例，通过在后端服务器中部署已训练好的病灶分割模型，从而可以在后端服务器接收到前端设备上传的胶囊内窥镜图像后，采用该病灶分割模型对胶囊内窥镜图像进行病灶分割，分割后的病灶图像可以通过前端设备进行显示。本申请实施例中的病灶分割模型包括有编码器和解码器，该解码器包括依次连接的多个解码器块，从而可以在编码器对胶囊内窥镜图像进行下采样后，采用依次连接的多个解码器块对下采样的特征图进行上采样，并通过对多个解码器块中最后两个解码器块的输出特征进行融合得到胶囊内窥镜图像的特征图像，使得解码器输出的特征图像包含有了多个解码器块的输出特征，极大地提高了病灶分割模型的输出性能，有助于获得精确度较高的病灶分割图像。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种胶囊内窥镜图像病灶分割系统的示意图；

图2是本申请实施例提供的一种解码器的示意图；

图3是本申请实施例提供的一种可变形卷积模块的示意图；

图4是本申请实施例提供的一种空洞卷积金字塔并联模块的示意图；

图5是本申请实施例提供的一种胶囊内窥镜图像病灶分割方法的示意图；

图6是本申请实施例提供的一种胶囊内窥镜图像病灶分割方法中步骤S502的一种实现方式示意图；

图7是本申请实施例提供的一种胶囊内窥镜图像病灶分割装置的示意图；

图8是本申请实施例提供的一种服务器的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

下面通过具体实施例来说明本申请的技术方案。

参照图1，示出了本申请实施例提供的一种胶囊内窥镜图像病灶分割系统的示意图，该系统可以包括前端设备和后端服务器。

在本申请实施例中，在执行病灶分割任务时，前端设备可以向后端服务器上传胶囊内窥镜图像，这些胶囊内窥镜图像可以是在使用胶囊内窥镜对病人消化道进行检查的过程中拍摄的图像。后端服务器在接收到前端设备上传的胶囊内窥镜图像后，可以采用已训练好的病灶分割模型对胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像。后端服务器可以将分割后的病灶图像返回至前端设备，并通过前端设备进行显示，以协助医生进行疾病诊断。

在本申请实施例的一种可能的实现方式中，前端设备中可以安装有浏览器，该浏览器可以是任意类型的浏览器，如微软浏览器(Internet Explorer，IE)、谷歌浏览器(Chrome)、火狐浏览器(Firefox)，等等。本申请实施例对浏览器的类型不作限定。前端设备可以通过浏览器与后端服务器建立通信，实现胶囊内窥镜图像的上传以及分割后的病灶图像的接收等操作。

在具体实现中，前端设备中的浏览器可以通过数据接口与后端服务器建立通信连接。一般地，浏览器可以使用restful接口与后端服务器通信。当前端设备接收到胶囊内窥镜图像后，可以通过浏览器将其上传至后端服务器，由后端服务器来对胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像。

如图1所示，后端服务器中可以部署有已训练好的病灶分割模型，该病灶分割模型可以是在对数据集进行训练、学习的基础上得到的。后端服务器可以采用该病灶分割模型对胶囊内窥镜图像进行处理，从而快速地分割出病灶图像。

在本申请实施例的一种可能的实现方式中，上述病灶分割模型可以是以Unet神经网络作为基础框架，对Unet神经网络进行改进后得到的一种模型。

原始的Unet神经网络包括有编码器(Encoder)和解码器(Decoder)。因此，本申请实施例中的病灶分割模型也包括有编码器和解码器。其中，编码器可以用于对胶囊内窥镜图像进行下采样，解码器可以用于对下采样得到的特征图进行上采样。下采样和上采样的次数可以包括多次，这取决于编码器和解码器中各自所包含的编码器块(Encoder-block)以及解码器块(Decoder-block)的个数。

示例性地，若编码器中包含4个编码器块，即第一编码器块(Encoder-block-1)、第二编码器块(Encoder-block-2)、第三编码器块(Encoder-block-3)和第四编码器块(Encoder-block-4)；解码器中包含4个解码器块，即第一解码器块(Decoder-block-1)、第二解码器块(Decoder-block-2)、第三解码器块(Decoder-block-3)和第四解码器块(Decoder-block-4)，则后端服务器在采用病灶分割模型进行病灶分割时，可以首先调用4个编码器块对胶囊内窥镜图像进行4次下采样，输出下采样的特征图。上述下采样的特征图将作为解码器的输入数据，由4个解码器块对其进行4此上采样，输出胶囊内窥镜的特征图像。该特征图像可以是胶囊内窥镜图像中包含有病灶区域特征信息的图像，后端服务器可以根据输出的特征图像进行病灶分割，得到精确度较高的病灶图像。

需要说明的是，编码器中的各个编码器块在胶囊内窥镜图像进行下采样时，前一个编码器块的输出数据(特征)将作为后一个编码器块的输入数据。相应地，解码器中的各个解码器块在下采样的特征图进行上采样时，前一个解码器块的输出数据(特征)将作为后一个解码器块的输入数据。

例如，第一编码器块的输入数据是胶囊内窥镜图像，第一编码器块下采样后输出的特征将作为第二编码器块的输入数据，第二编码器块下采样后输出的特征将作为第三编码器块的输入数据，而第三编码器块下采样后输出的特征将作为第四编码器块的输入数据，第四编码器块将输出下采样的特征图。该下采样的特征图将作为解码器中第一解码器块的输入数据，由第一解码器块进行上采样。第一解码器块上采样后输出的数据(特征)将作为第二解码器块的输入数据，第二解码器块上采样后输出的数据(特征)将作为第三解码器块的输入数据，第三解码器块上采样后输出的数据(特征)将作为第四解码器块的输入数据。

本申请实施例中的病灶分割模型对原始的Unet神经网络的输出特征进行了融合处理，使得解码器输出的上述特征图像可以是对多个解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

示例性地，解码器中包含第一解码器块、第二解码器块、第三解码器块和第四解码器块共4个解码器块，这4个解码器块可以是依次连接的。相应地，在对下采样输出的特征图进行上采样时，即是按照第一解码器块、第二解码器块、第三解码器块和第四解码器块的顺序来进行的。这样，第三解码器块和第四解码器块就是解码器中最后的两个解码器块。解码器最终输出的特征图像也就是对第三解码器块的输出特征和第四解码器块的输出特征进行融合后得到的图像。

由于在原始的Unet神经网络中，其解码器部分包含有4个解码器块，每个解码器块由两次卷积+上采样组成；并且，编码器与解码器之间具有skip-connection结构，每个解码器块的第一个卷积的输入是编码器与解码器中对应尺度的特征信息的拼接，拼接方式为concat模式，因此，为了使输出特征的通道数总和不变，解码器块的每次上采样操作会将通道数减半。同时，每一个解码器块的第一次卷积的输出也会将通道数减半。

在本申请实施例中以Unet神经网络为基础架构的病灶分割模型中，为了保证解码器中最后两个解码器块，即第三解码器块和第四解码器块的通道特征比重为1比1，可以首先对第四解码器块的输出特征进行升维。如图2所示，是本申请实施例提供的一种解码器输出特征图像的示意图；可以采用图2中1*1的卷积核对第四解码器块的输出特征进行升维，使得升维后的第四解码器的输出特征的通道数与第三解码器块的输出特征的通道数相等。示例性地，在升维前，第四解码器块的输出特征为W*H*64，其中W是输出特征的宽度、H是输出特征的高度、64是通道数。升维后的输出特征为W*H*128，与第三解码器块的输出特征的通道数(128)相同。

另一方面，第三解码器块的输出特征的尺寸与第四解码器块的输出特征的尺寸可能并不相同。该尺寸也即是上述示例中W和H的数值。因此，如图2所示，在对输出特征进行融合前，还可以对第三解码器块的输出特征的尺寸进行调整，使得调整后的第三解码器块的输出特征的尺寸与第四解码器的输出特征的尺寸相同。

相较于原始的Unet神经网络的单特征输出，本申请实施例通过对解码器中最后两个解码器块的输出特征按照1比1的方式进行融合，使得最终输出的特征图像同时包含了多个解码器块的输出特征，极大地提高了病灶分割模型的分割性能。经过实际试验，后端服务器应用本申请实施例提供的病灶分割模型所输出的特征图像中，像素精度提高了6.81％，交并比(Intersection of Union，IOU)提高了3.28％，为后续任务提供了更佳的模型结构。

在本申请实施例的一种可能的实现方式中，病灶分割模型中的编码器可以是基于具有残差结构的网络模型建立的编码器。示例性地，该具有残差结构的网络模型可以为ResNeSt网络模型。

原始的Unet神经网络中，编码器部分的结构十分简单，其包含有4个编码器块，每个编码器块由传统的CBR(Conv+BN+ReLu)模块组成，包括两次卷积加一次池化操作。对于较为复杂的数据样本，若使用CBR模块进行特征，容易出现特征提取不充分的问题，导致后续分割效果较差。本申请实施例在对原始的Unet神经网络进行改进时，可以将具有残差结构的网络模型，如ResNeSt网络模型与Unet神经网络结合，用于替换编码器中传统的CBR模块，得到改进后的编码器。这样，可以凭借ResNeSt网络的残差结构，使用更深的卷积结构，对模型的性能提升十分有效。

在本申请实施例中，由于针对病灶的分割任务相对复杂，而胶囊内窥镜图像数据并不容易获取，对于病灶区域的标注也较为繁琐，使得可用于模型训练的数据量相对较少，因此，可以使用迁移学习的方法，使用改进后的编码器对大规模的自然数据集进行预训练，使其中的ResNeSt网络提前大规模地学习抽象知识映射能力，从而将模型在数据容易获得的领域中学习到的知识和规则迁移到小数据集的医疗任务中。

在具体实现中，上述自然数据集可以是数据量大于预设数据量的数据集，例如，可以是ImageNet数据集。编码器在对ImageNet数据集进行预训练时，可以获得相应的预训练权重。当执行病灶分割模型的训练任务时，可以直接加载上述预训练权重作为本次训练的权重进行模型的训练。

通常，在原始的Unet神经网络中，由于卷积核的尺寸是规则的，其所对应的感受野的形状和采样范围也是规则不变的。但是，在胶囊内窥镜图像等医疗领域的图像中，病灶区域并不规则，而是多样性的。如果直接使用原始的Unet神经网络中规则矩形下的视角是很难感知目标的形态变化的，采用编码器提取出的特征较为局部，效果不好。

在本申请实施例的一种可能的实现方式中，针对胶囊内窥镜图像中病灶区域形状不规则的问题，可以通过引入可变形卷积模块，对编码器中的特征提取网络进行重构。这样，在使用可变形卷积模块后，每个采样点增加了一个偏移量(offset)，使得所采样的范围更能覆盖不同形状的目标，适应目标本身的形状尺寸。

在本申请实施例中，编码器可以采用多个可变形卷积模块计算对胶囊内窥镜图像进行下采样得到的特征图中每个像素点的偏移量。如果卷积核的大小为N，该卷积核中就有N*N个像素点，每个像素点都有x方向和y方向上的偏移，则该像素点的偏移量的大小可以表示为2*N*N。然后，编码器可以根据上述偏移量对胶囊内窥镜图像的原始卷积窗口进行平移，针对平移后的卷积窗口输出新的特征图。

在具体实现中，编码器可以对平移后的卷积窗口中的各个像素点进行插值，得到各个像素点的像素坐标，然后根据各个像素点的像素坐标进行卷积计算，输出新的特征图。

以使用可变形卷积模块对编码器中的残差网络(ResNeSt网络)进行重构为例，如图3所示，是本申请实施例提供的一种可变形卷积模块的示意图，ResNeSt将输入的特征图通道维数分为k组，每一组称为一个基数组，可以对于每一个基数组的r个小组进行重构。如图3所示，重构的第一步是在每个小组添加Conv3*3卷积层，主要用来计算特征图中每个位置的偏移量。由于Conv3*3卷积核的大小是3，那么偏移量大小则为18。重构的第二步是修改可变形卷积层(DeformConv)，利用Conv3*3卷积核得到的偏移量计算出平移后的卷积窗口，再使用双线性插值操作取得卷积窗口每个点的像素坐标，最后卷积计算的过程和常规卷积是一样的，输出新的特征图进行融合再输入到ResNeSt网络的注意力(SplitAttention)模块中。这样，可以保证编码器在提取胶囊内窥镜图像的特征信息时，能够覆盖不同形状的病灶区域。

通常，不同的胶囊内窥镜图像中病灶区域的面积大小也是不等的。为了解决数据集中各胶囊内窥镜图像病灶区域面积不一、尺度差异较大的问题，本申请实施例在病灶分割模型中加入了空洞卷积金字塔并联模块，用于对编码器所提取的特征进行重构，增强模型多尺度分割的性能。

空洞卷积可以扩大感受野，通过设置不同的扩展率可以捕获不同的尺度信息。但是，每一个空洞卷积只有一个扩展率，即使将模型中的卷积重构成空洞卷积所捕获的信息仍然只是单尺度下的信息。针对此问题，本申请实施例将多个空洞卷积设计成金字塔并联的结构，对编码器的最后一个编码器块的输出特征进行重构。通过引入多个不同扩展率的空洞卷积，就可以提取多尺度的信息，从而解决胶囊内窥镜图像中病灶区域面积不一的问题，增强模型多尺度分割的性能。

如图4所示，是本申请实施例提供的一种空洞卷积金字塔并联模块的示意图。图4中的空洞卷积金字塔并联模块包括多个空洞卷积，即一个1*1的卷积，以及三个3*3的卷积。其中，三个3*3的卷积的扩展率不同，分别是6、12和18。空洞卷积金字塔并联模块可以对编码器最后一个编码器块的输出特征，也就是下采样的特征图进行重构。通过采用上述多个不同扩展率的空洞卷积对下采样得到的特征图进行空洞卷积操作，可以获取到胶囊内窥镜图像的多感受野的信息。

在本申请实施例的一种可能的实现方式中，如图4所示，为了捕获全局上下文信息，融入图像级特征，空洞卷积金字塔并联模块还可以对下采样得到的特征图进行全局平均池化(Image Pooling)。全局平均池化后的特征图可以通过插值的方式恢复至该特征图的原始大小。

需要说明的是，空洞卷积金字塔并联模块对下采样得到的特征图进行空洞卷积操作以及全局平均池化处理可以是同时进行的。

如图4所示，空洞卷积金字塔并联模块还可以对空洞卷积操作以及全局平均池化处理后得到的各个的特征图进行特征拼接，获得拼接特征图，并对拼接特征图进行降维，以将降维后的拼接特征图的通道数恢复至与下采样得到的特征图的通道数相等。

在具体实现中，对各个特征图进行特征拼接可以按照concat模式来进行。然后，空洞卷积金字塔并联模块可以后接一个1*1的卷积，用于对拼接特征图进行降维。以图4中的空洞卷积金字塔并联模块为例，对拼接特征图进行降维时应当将其通道数降至1/5，以恢复至原始通道数。可以看出，重构后的病灶分割模型可以通过多个不同扩展率的空洞卷积并联提取多尺度的信息，从而获得了更加丰富和更全局的特征信息，增强了模型多尺度分割的性能。

在本申请实施例的一种可能的实现方式中，还可以在病灶分割模型中引入自注意力模块，用于对解码器输出的特征图像进行低秩重构，使得输出的特征图像更加关注图像中的重点信息，从而获取特征图像中病灶区域的特征信息，减少杂余像素信息的影响。

在引入自注意力模块的基础上，本申请实施例还可以在病灶分割模型中引入期望最大化注意力(Expectation-Maximization Attention，EMA)模块对复杂度进行优化，降低计算过程的复杂度。

期望最大化注意力，摒弃了在全图上计算注意力图的流程，转而通过期望最大化(EM)算法迭代出一组紧凑的基，并在这组基上运行注意力机制，从而大大降低了计算复杂度。其中，期望最大化注意力模块在应用期望最大化算法时，E步用于更新注意力图，M步用于更新这组基，E、M交替执行，收敛之后用来重建特征图像。

在构建本申请实施例的病灶分割模型时，可以将期望最大化注意力模块嵌入原始的Unet神经网络的分割头中来实现。由于原始的Unet神经网络的分割头结构比较简单，仅仅是将模型输出的特征图通过两个卷积层，生成目标类别个数的通道数。本申请实施例通过将把期望最大化注意力这一机制嵌入到Unet神经网络的分割头中，可以在胶囊内窥镜图像数据集上取得较高的分割精度。

在本申请实施例中，在对病灶分割模型进行训练时，可以通过损失函数来计算模型预测值与真实值之间的差值。

在对本申请实施例的病灶分割模型进行训练时，正样本为胶囊内窥镜图像中的病灶区域，负样本为胶囊内窥镜图像中的非病灶区域。一般地，一张胶囊内窥镜图像中病灶区域占图像整体的比例较小，而非病灶区域的比例则较大，这就导致正负样本不均衡。为了解决在模型训练过程中数据集中正负样本不均衡的问题，本申请实施例可以在后端服务器中配置至少两种损失函数，从而在执行病灶分割模型的训练任务时，通过采用至少两种损失函数来计算模型预测值与真实值之间的差值，直到差值小于预设值，可以认为完成了对该病灶分割模型的训练。

在本申请实施例中，配置于后端服务器中的至少两种损失函数可以包括交叉熵损失函数和Dice损失函数。即，在交叉熵损失函数的基础上，结合Dice损失函数进行缓解模型训练中正负样本不均衡带来的问题。通过在执行病灶分割模型的训练任务时，调整上述至少两种损失函数的权重比例，可以平衡训练过程中正样本与负样本的数据量。

在语义分割中，若X是真实的图像，Y是预测的图像。则|X∩Y|表示X和Y之间的交集，计算损失值时是将X和Y之间的对应元素相乘再逐元素相加的过程。

Dice损失函数可以定义如下：

其中，|X|和|Y|分别表示图像中像素的个数。此外，因为分母中存在重复计算X和Y之间的共同元素，所述分子中需要乘2。

从上述公式的定义中可以看出，Dice损失函数的优点是将一个类别的所有像素作为整体进行计算，而且在计算交集时，能够忽略背景像素的信息，从而解决正负样本不均衡的问题。但是，在将Dice损失函数应用在胶囊内窥镜图像的病灶检测、分割时，当正样本为小目标(即病灶区域在图像中占比较小)时，Dice损失函数会产生严重的震荡。这是因为在只有前景(病灶区域)和背景(非病灶区域)的前提下，小目标中的部分像素一旦预测错误，就会导致损失值大幅度变动，从而使得梯度变化剧烈，整体训练不稳定。

本申请实施例结合以上Dice损失函数的优缺点分析，针对数据集中正负样本不均衡的问题，在交叉熵损失函数的基础上，融合Dice损失函数，通过同时调节二者的权重比例，可以尽最大效果发挥两个损失函数的优势，提升模型的性能。

参照图5，示出了本申请实施例提供的一种胶囊内窥镜图像病灶分割方法的示意图，具体可以包括如下步骤：

S501、接收前端设备上传的胶囊内窥镜图像。

S502、采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像。

S503、将所述病灶图像发送至所述前端设备进行显示。

本方法可以应用于后端服务器，该后端服务器可以是前述系统实施例中的后端服务器。

在本申请实施例中，上述病灶分割模型可以是前述系统实施例中所介绍的病灶分割模型，包括有编码器和解码器，该解码器包括依次连接的多个解码器块。后端服务器在接收到前端设备上传的胶囊内窥镜图像后，可以采用该病灶分割模型对胶囊内窥镜图像进行病灶分割，得到分割后的精确度较高的病灶图像，上述病灶图像可以通过前端设备进行显示。

在本申请实施例的一种可能的实现方式中，如图6所示，采用已训练好的病灶分割模型对胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像具体可以包括如下子步骤：

S5021、调用编码器对胶囊内窥镜图像进行下采样，获得下采样的特征图。

S5022、调用所述解码器中依次连接的多个解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

S5023、根据所述特征图像进行病灶分割，得到分割后的所述病灶图像。

在本申请实施例中，基于前述介绍的病灶分割模型，后端服务器在采用该病灶分割模型进行病灶分割时，可以首先调用编码器对胶囊内窥镜图像进行下采样，获得下采样的特征图。下采样的特征图可以作为解码器的输入数据，被传输至解码器进行处理。解码器在对下采样的特征图进行处理时，可以使用依次连接的多个解码器块对其进行上采样，并通过将多个解码器块中最后两个解码器块的输出特征进行融合，得到胶囊内窥镜图像的特征图像。后端服务器可以根据该特征图像，分割出精确度较高的病灶图像。

由于本实施例中介绍的胶囊内窥镜图像病灶分割方法是基于前述系统实施例介绍的病灶分割模型来实现病灶分割的，对于病灶分割模型，本实施例介绍得较为简单，可以参阅前述系统实施例中的介绍，在此不再赘述。

参照图7，示出了本申请实施例提供的一种胶囊内窥镜图像病灶分割装置的示意图，具体可以包括接收模块701、分割模块702和发送模块703，其中：

接收模块701，用于接收前端设备上传的胶囊内窥镜图像；

分割模块702，用于采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；

发送模块703，用于将所述病灶图像发送至所述前端设备进行显示；

其中，所述分割模块具体用于：调用所述编码器对所述胶囊内窥镜图像进行下采样，获得下采样的特征图；调用所述解码器中依次连接的多个所述解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像；根据所述特征图像进行病灶分割，得到分割后的所述病灶图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

在本申请实施例中，依次连接的多个所述解码器块包括依次连接的第一解码器块、第二解码器块、第三解码器块和第四解码器块，所述特征图像是对所述第三解码器块的输出特征和所述第四解码器的输出特征进行融合后得到的图像。

在本申请实施例中，所述解码器还用于：对所述第三解码器块的输出特征的尺寸进行调整，调整后的所述第三解码器块的输出特征的尺寸与所述第四解码器的输出特征的尺寸相同；对所述第四解码器的输出特征进行升维，升维后的所述第四解码器的输出特征的通道数与所述第三解码器块的输出特征的通道数相等。

在本申请实施例中，所述编码器还用于：对自然数据集进行预训练，获得预训练权重，所述预训练权重用于在执行所述病灶分割模型的训练任务时被加载作为相应的训练权重，所述自然数据集的数据量大于预设数据量。

在本申请实施例中，所述编码器为基于具有残差结构的网络模型建立的编码器。所述具有残差结构的网络模型可以为ResNeSt网络模型。

在本申请实施例中，所述编码器包括多个可变形卷积模块，所述编码器还用于：采用多个所述可变形卷积模块计算对所述胶囊内窥镜图像进行下采样得到的特征图中每个像素点的偏移量，根据所述偏移量对所述胶囊内窥镜图像的原始卷积窗口进行平移，针对平移后的卷积窗口输出新的特征图。

在本申请实施例中，所述编码器具体用于：对平移后的所述卷积窗口中的各个像素点进行插值，得到各个所述像素点的像素坐标，根据各个所述像素点的像素坐标进行卷积计算，输出新的特征图。

在本申请实施例中，所述装置还包括空洞卷积金字塔并联模块，所述空洞卷积金字塔并联模块包括多个不同扩展率的空洞卷积，所述空洞卷积金字塔并联模块用于采用多个不同扩展率的所述空洞卷积对下采样得到的特征图进行空洞卷积操作，以获取所述胶囊内窥镜图像的多感受野的信息。

在本申请实施例中，所述空洞卷积金字塔并联模块还用于：对下采样得到的特征图进行全局平均池化，并对全局平均池化后的所述特征图进行插值，以将所述特征图恢复至原始大小。

在本申请实施例中，所述空洞卷积金字塔并联模块还用于：对空洞卷积操作和全局平均池化后得到的特征图进行特征拼接，获得拼接特征图，并对所述拼接特征图进行降维，以将降维后的所述拼接特征图的通道数恢复至与下采样得到的特征图的通道数相等。

在本申请实施例中，所述装置还包括自注意力模块，所述自注意力模块用于对所述解码器输出的所述特征图像进行低秩重构，以获取所述特征图像中病灶区域的特征信息。

在本申请实施例中，所述装置还包括期望最大化注意力模块，所述期望最大化注意力模块用于采用期望最大化注意力算法从所述特征图像中迭代出紧凑的基，并在所述基上运行注意力机制，以重建所述特征图像。

在本申请实施例中，所述装置中配置有至少两种损失函数，所述分割模块702还用于：在执行所述病灶分割模型的训练任务时，采用所述至少两种损失函数计算模型预测值与真实值之间的差值，直到所述差值小于预设值，完成对所述病灶分割模型的训练。

在本申请实施例中，所述分割模块702具体用于：在执行所述病灶分割模型的训练任务时，调整所述至少两种损失函数的权重比例，以平衡训练过程中正样本与负样本的数据量，所述正样本为所述胶囊内窥镜图像中的病灶区域，所述负样本为所述胶囊内窥镜图像中的非病灶区域。

在本申请实施例中，所述至少两种损失函数包括交叉熵损失函数和Dice损失函数。

对于装置实施例而言，由于其与方法实施例、系统实施例基本相似，所以描述得比较简单，相关之处参见方法实施例、系统实施例部分的说明即可。

参照图8，示出了本申请实施例提供的一种服务器的示意图。如图8所示，本实施例的服务器800包括：处理器810、存储器820以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序821。所述处理器810执行所述计算机程序821时实现上述胶囊内窥镜图像病灶分割方法各个实施例中的步骤，例如图5所示的步骤S501至S503。或者，所述处理器810执行所述计算机程序821时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至703的功能。

示例性的，所述计算机程序821可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序821在所述服务器800中的执行过程。例如，所述计算机程序821可以被分割成接收模块、分割模块和发送模块，各模块具体功能如下：

接收模块，用于接收前端设备上传的胶囊内窥镜图像；

分割模块，用于采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；

发送模块，用于将所述病灶图像发送至所述前端设备进行显示；

其中，所述分割模块具体用于：调用所述编码器对所述胶囊内窥镜图像进行下采样，获得下采样的特征图；调用所述解码器中依次连接的多个所述解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像；根据所述特征图像进行病灶分割，得到分割后的所述病灶图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

所述服务器800可以是前述系统实施例中的后端服务器，该服务器可以是桌上型计算机、云端服务器等计算设备。所述服务器800可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是服务器800的一种示例，并不构成对服务器800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器800还可以包括输入输出设备、网络接入设备、总线等。

所述处理器810可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器820可以是所述服务器800的内部存储单元，例如服务器800的硬盘或内存。所述存储器820也可以是所述服务器800的外部存储设备，例如所述服务器800上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等等。进一步地，所述存储器820还可以既包括所述服务器800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序821以及所述服务器800所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还公开了一种服务器，该服务器可以为上述系统实施例中所介绍的后端服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述各个实施例所述的胶囊内窥镜图像病灶分割方法。

本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述各个实施例所述的胶囊内窥镜图像病灶分割方法。

本申请实施例还公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述各个实施例所述的胶囊内窥镜图像病灶分割方法。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

1.一种胶囊内窥镜图像病灶分割系统，其特征在于，包括前端设备和后端服务器，所述后端服务器中部署有已训练好的病灶分割模型；其中：

所述前端设备，用于向所述后端服务器上传胶囊内窥镜图像；

所述后端服务器，用于采用所述病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶图像通过所述前端设备进行显示；

其中，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；所述解码器用于在所述编码器对所述胶囊内窥镜图像进行下采样后，采用依次连接的多个所述解码器块对下采样的特征图进行上采样，得到所述胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像。

2.根据权利要求1所述的系统，其特征在于，依次连接的多个所述解码器块包括依次连接的第一解码器块、第二解码器块、第三解码器块和第四解码器块，所述特征图像是对所述第三解码器块的输出特征和所述第四解码器的输出特征进行融合后得到的图像。

3.根据权利要求2所述的系统，其特征在于，所述解码器还用于：

对所述第三解码器块的输出特征的尺寸进行调整，调整后的所述第三解码器块的输出特征的尺寸与所述第四解码器的输出特征的尺寸相同；

对所述第四解码器的输出特征进行升维，升维后的所述第四解码器的输出特征的通道数与所述第三解码器块的输出特征的通道数相等。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述编码器还用于：

对自然数据集进行预训练，获得预训练权重，所述预训练权重用于在执行所述病灶分割模型的训练任务时被加载作为相应的训练权重，所述自然数据集的数据量大于预设数据量。

5.根据权利要求4所述的系统，其特征在于，所述编码器为基于具有残差结构的网络模型建立的编码器。

6.根据权利要求5所述的系统，其特征在于，所述具有残差结构的网络模型为ResNeSt网络模型。

7.根据权利要求1-3或5-6任一项所述的系统，其特征在于，所述编码器包括多个可变形卷积模块，所述编码器还用于：

采用多个所述可变形卷积模块计算对所述胶囊内窥镜图像进行下采样得到的特征图中每个像素点的偏移量，根据所述偏移量对所述胶囊内窥镜图像的原始卷积窗口进行平移，针对平移后的卷积窗口输出新的特征图。

8.根据权利要求7所述的系统，其特征在于，所述编码器具体用于：

对平移后的所述卷积窗口中的各个像素点进行插值，得到各个所述像素点的像素坐标，根据各个所述像素点的像素坐标进行卷积计算，输出新的特征图。

9.根据权利要求1-3或5-6或8任一项所述的系统，其特征在于，所述病灶分割模型还包括空洞卷积金字塔并联模块，所述空洞卷积金字塔并联模块包括多个不同扩展率的空洞卷积，所述空洞卷积金字塔并联模块用于采用多个不同扩展率的所述空洞卷积对下采样得到的特征图进行空洞卷积操作，以获取所述胶囊内窥镜图像的多感受野的信息。

10.根据权利要求9所述的系统，其特征在于，所述空洞卷积金字塔并联模块还用于：

对下采样得到的特征图进行全局平均池化，并对全局平均池化后的所述特征图进行插值，以将所述特征图恢复至原始大小。

11.根据权利要求10所述的系统，其特征在于，所述空洞卷积金字塔并联模块还用于：

对空洞卷积操作和全局平均池化后得到的特征图进行特征拼接，获得拼接特征图，并对所述拼接特征图进行降维，以将降维后的所述拼接特征图的通道数恢复至与下采样得到的特征图的通道数相等。

12.根据权利要求1-3或5-6或8或10-11任一项所述的系统，其特征在于，所述病灶分割模型还包括自注意力模块，所述自注意力模块用于对所述解码器输出的所述特征图像进行低秩重构，以获取所述特征图像中病灶区域的特征信息。

13.根据权利要求12所述的系统，其特征在于，所述病灶分割模型还包括期望最大化注意力模块，所述期望最大化注意力模块用于采用期望最大化注意力算法从所述特征图像中迭代出紧凑的基，并在所述基上运行注意力机制，以重建所述特征图像。

14.根据权利要求1-3或5-6或8或10-11或13任一项所述的系统，其特征在于，所述后端服务器中配置有至少两种损失函数，所述后端服务器还用于：

在执行所述病灶分割模型的训练任务时，采用所述至少两种损失函数计算模型预测值与真实值之间的差值，直到所述差值小于预设值，完成对所述病灶分割模型的训练。

15.根据权利要求14所述的系统，其特征在于，所述后端服务器具体用于：

在执行所述病灶分割模型的训练任务时，调整所述至少两种损失函数的权重比例，以平衡训练过程中正样本与负样本的数据量，所述正样本为所述胶囊内窥镜图像中的病灶区域，所述负样本为所述胶囊内窥镜图像中的非病灶区域。

16.根据权利要求15所述的系统，其特征在于，所述至少两种损失函数包括交叉熵损失函数和Dice损失函数。

17.一种胶囊内窥镜图像病灶分割方法，其特征在于，应用于后端服务器，所述方法包括：

接收前端设备上传的胶囊内窥镜图像；

采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，所述病灶分割模型包括编码器和解码器，所述解码器包括依次连接的多个解码器块；

将所述病灶图像发送至所述前端设备进行显示；

其中，所述采用已训练好的病灶分割模型对所述胶囊内窥镜图像进行病灶分割，得到分割后的病灶图像，包括：

调用所述编码器对所述胶囊内窥镜图像进行下采样，获得下采样的特征图；

调用所述解码器中依次连接的多个所述解码器块对下采样的所述特征图进行上采样，得到所述胶囊内窥镜图像的特征图像，所述特征图像是对依次连接的多个所述解码器块中最后两个解码器块的输出特征进行融合后得到的图像；

根据所述特征图像进行病灶分割，得到分割后的所述病灶图像。

18.一种服务器，其特征在于，所述服务器为如权利要求1-16任一项所述的后端服务器，所述服务器包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求17所述的胶囊内窥镜图像病灶分割方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求17所述的胶囊内窥镜图像病灶分割方法。

20.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求17所述的胶囊内窥镜图像病灶分割方法。

Images