CN112613517A - 内窥镜仪器分割方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开内窥镜仪器分割方法、装置、计算机设备及存储介质，方法包括：将内窥镜样本图像X输入第一网络，获得第一网络的初步全局特征图F₁，将多个注意力特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；将所述待处理特征图输入至第二网络，获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。本发明仅需少量标注数据，提高了提取边缘特征的能力，实现精准分割的目的。

Description

内窥镜仪器分割方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及内窥镜仪器分割方法、装置、计算机设备及存储介质。

背景技术

在诸多癌症中，大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一。调查结果进一步表明，结直肠炎症、血管病变、息肉等大肠疾病是大肠癌早期的常见病症。因此，上述疾病的早期筛查对大肠癌的预防至关重要。在临床工作中，由于微创手术具有创伤小、疼痛轻、恢复速度快的优点，被广泛应用于肠胃疾病的筛查治疗。

微创手术依赖于内窥镜仪器的辅助，有利于医生直观地观察病灶的形态特征，被认为是大肠疾病筛查的金标准。大量临床观察发现，受拍摄角度、内窥镜医师经验和复杂的人体组织影响，内窥镜仪器容易遮挡病变区域，造成疾病的误诊漏诊等情况。采用内窥镜仪器分割技术将仪器分割可为研究人员提供必要的区域信息，以便后续疾病诊断、数据分析等工作的开展。比如，将分割出的仪器移除并结合图像修复技术将相应区域重塑，进而辅助临床医师进行数据分析工作。未来还可应用于手术机器人的信息反馈系统，进行仪器的追踪和姿态估计等。因此，确定仪器位置并分割具有重要的临床意义。

目前针对大肠内窥镜仪器分割的研究很少，现有的医学图像分割技术大多在自然场景的分割方法的基础上进行改进。例如，Long等人提出可适应任意尺寸输入的全卷积神经网络(Fully Convolutional Networks,FCN)，在网络中设计反卷积操作，基于像素级的分类实现对图像的分割。Ronneberger等人从encoder-decoder框架入手，通过跳跃连接的方式将原始图像和上采样的特征图拼接，并将拼接后的特征图作为下一个上采样的特征，提出了适用于医学图像分割的U-Net网络。Xue等人将生成对抗网络(GenerativeAdversarial Networks,GAN)引入医学图像分割领域，首先利用生成器生成分割图，再应用判别器判断分割标签的真伪，通过迭代优化实现精准的分割任务。但这些深度学习网络依赖大量的有标注数据，不适用于标注困难的医学图像。

近几年，有研究学者提出将图像分割技术应用于手术机器人的实时仪器追踪定位系统，比如，Shvets等人将LinkNet和TernausNet模型分别修改为LinkNet-34和TernausNet-16用于仪器分割，其中TernausNet-16的的准确率更高。Islam等人提出了一种多分辨率特征融合模块的实时仪器分割模型，将主分支给出的两张高分辨率和低分辨率特征图进行融合。实验表明，该多分辨率方法的性能优于PSPNet和ICNet等通用语义分割模型。但这些仪器分割技术应用场景更偏向于手术机器人对仪器的智能定位，大肠疾病筛查并未涉及，且不能解决标注样本数据不足的问题。鉴于此，基于半监督学习的网络模型(如Mean-teachers算法)受到越来越多的欢迎，可有效地应对数据样本不足的问题且力争获得较好的分割性能。但由于此类模型对数据加噪，图像信息容易遭到破坏，不利于医学图像中目标区域精细的边缘特征提取。

发明内容

本发明的目的是提供内窥镜仪器分割方法、装置、计算机设备及存储介质，旨在解决现有分割方法要求高、准确性有待提高的问题。

第一方面，本发明实施例提供一种内窥镜仪器分割方法，其中，包括：

将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；

利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

第二方面，本发明实施例提供一种内窥镜仪器分割装置，其中，包括：

第一网络单元，用于将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

中间处理单元，用于将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

第二网络单元，用于将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；

优化识别单元，用于利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如第一方面所述的内窥镜仪器分割方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的内窥镜仪器分割方法。

本发明实施例提供了内窥镜仪器分割方法、装置、计算机设备及存储介质，方法包括：将内窥镜样本图像X输入第一网络，获得第一网络的初步全局特征图F₁，将多个注意力特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；将所述待处理特征图输入至第二网络，获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。本发明联合大量未标记数据和少量已标记数据充分训练网络模型，并采用注意力机制提高网络提取目标区域边缘特征的能力，实现内窥镜仪器精准分割的目的。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的内窥镜仪器分割方法的流程示意图；

图2为本发明实施例提供的内窥镜仪器分割方法的网络框架图；

图3为本发明实施例提供的内窥镜仪器分割方法中平行部分解码器的网络框架图；

图4为本发明实施例提供的内窥镜仪器分割方法中注意力模块的网络框架图；

图5为本发明实施例提供的内窥镜仪器分割装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的一种内窥镜仪器分割方法的流程示意图，如图所示，其包括步骤S101～S104：

S101、将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

S102、将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

S103、将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型最终输出结果；

S104、利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

从背景技术的分析可知，基于半监督学习的图像分割方法更适用于本发明的应用场景，但其仍存在着以下问题：内窥镜仪器结构复杂多变，特别是与组织背景相近的仪器分割困难，以往纯粹为解决数据量缺失的半监督方法并不适用于内窥镜仪器图像处理。另一方面，分割性能较好的经典网络依赖于大量有标注数据，这对数据标注困难的医学图像同样不适用。鉴于此，本发明实施例提供的一种基于半监督学习的内窥镜仪器分割方法，联合少量标记数据和大量未标记数据充分训练网络，并结合多级监督思想和多级特征融合注意力机制实现仪器精细的特征提取，实现对多种形态大小和颜色的仪器精准定位与分割。

本发明实施例中的内窥镜仪器分割是将内窥镜图像中的仪器分割出来，即对仪器的形状结构细致的勾勒。本发明实施例的目的是将仪器分割，方便后续对图像进行处理，如：1)将详细标记出的仪器移除并将图像被移除的位置通过图像复原手段将图像复原，进而可观察到被仪器遮挡的部位是否含有疾病的癌变区域，进一步全面筛查疾病，避免造成漏诊。2)也可应用于手术机器人对仪器的追踪定位，将仪器分割后实时追踪定位仪器，方便操作医师通过远程仪器操作进行手术。

在一实施例中，所述步骤S101包括步骤S201～S205：

S201、将内窥镜样本图像X输入第一网络，先通过2层第一卷积层依次对所述内窥镜样本图像X进行第一卷积处理，输出得到包含低层语义特征的第一低层特征图；

S202、通过3层第二卷积层依次对所述第一低层特征图进行第二卷积处理，得到包含高层语义特征的3个第一高层特征图；

S203、通过第一平行部分解码器对3个所述第一高层特征图以平行连接的方式进行聚合，得到初步全局特征图F₁；

S204、按顺序分别对所述3个第一高层特征图进行注意力机制处理，得到对应的第一注意力特征图、第二注意力特征图和第三注意力特征图；

S205、将所述初步全局特征图F₁作为全局指导信号依次反向与第三注意力特征图、第二注意力特征图和第一注意力特征图相结合，分别得到第三增强特征图F’_L5、第二增强特征图F’_L4和第一增强特征图F’_L3，并将所述第一增强特征图F’_L3作为第一网络的预测特征图F’。

本发明实施例的内窥镜仪器分割网络框架如图2所示，该网络主要包含两条支路：第一网络(Endoscope Instrument Segmentation Network1,ESSNet1)和第二网络(Endoscope Instrument Segmentation Network2,ESSNet2)。

将内窥镜样本图像X输入第一网络，先通过一个第一卷积层对所述内窥镜样本图像X进行第一卷积处理得到第一低层特征图F_L1，再通过另一个第一卷积层对所述第一低层特征图F_L1进行第一卷积处理得到包含低层语义特征的第一低层特征图F_L2，该低层语义特征是指具有图像空间信息的低层特征；先通过一个第二卷积层对所述第一低层特征图F_L2进行第二卷积处理，得到第一高层特征图F_L3，再通过另一个第二卷积层对所述第一高层特征图F_L3进行第二卷积处理，得到第一高层特征图F_L4，然后通过又一个第二卷积层对所述第一高层特征图F_L4进行第二卷积处理，得到第一高层特征图F_L5。低层特征代表网络通过卷积后获得的图像空间结构特征，因为是网络的前几层，相对于之后的层级较低，所以称其为网络的低层特征。相对应的高层特征是经过多级卷积层后获得的图像的语义特征，同样，高层代表着网络经过多级卷积的网络层级。

为了融合各高层语义信息，以弥补各层之间的信息缺失，通过第一平行部分解码器对所述第一高层特征图F_L3、第一高层特征图F_L4和第一高层特征图F_L5以平行连接的方式进行聚合，得到初步全局特征图F₁；然后分别对所述第一高层特征图F_L3、第一高层特征图F_L4和第一高层特征图F_L5进行注意力机制处理，得到对应的第一注意力特征图、第二注意力特征图和第三注意力特征图；将所述初步全局特征图F₁作为全局指导信号依次反向与第三注意力特征图、第二注意力特征图和第一注意力特征图相结合，分别得到第三增强特征图F’_L5、第二增强特征图F’_L4和第一增强特征图F’_L3，以期望网络能够学习更精细的目标区域的边缘结构特征，并将所述第一增强特征图F’_L3作为第一网络的预测特征图F’。

与高层特征相比，低层特征因其更大的空间分辨率需要占用更多的计算资源，但对网络性能的提升贡献很少。因此本发明实施例提出使用平行的部分解码器模块来聚合高层特征，如图3所示。具体来说，对于输入的内窥镜样本图像X，首先使用Res2Net网络的前五层提取两组低层特征{F_Li,i＝1,2}和三组高层特征{F_Li,i＝3,4,5}。然后，使用第一平行部分解码器以平行连接的方式来聚合高层特征。因此第一平行部分解码器产生了一个粗略的初始全局特征图F₁＝PPD(F_L3、F_L4、F_L5)，然后作为全局指导信息(即全局指导信号)。

如图4所示，上述注意力机制处理使用的基础模块是SE模块(注意力模块)，且以级联的方式将各高层语义信息和全局指导信息通过SE模块相互融合，实现提高目标区域边缘特征的提取能力。具体来说，首先将ESSNet1的初步全局特征图F₁与第五层网络特征信息融合，弥补第五层网络特征信息不足之处，得到边缘信息更详细的特征图F’_L5，然后再将F’_L5与第四层网络特征信息融合，得到F’_L4，依次类推，以级联的方式反向传播，达到信息互补的效果，提高网络提取特征的能力。最后分别得到三层增强特征图(F’_L3、F’_L4、F’_L5)，如图3所示。可用公式可表达为：

其中，

代表相乘；

代表相加；F₀代表当前网络层SE模块的输入特征图；SE(F₀)将F₀进行处理，得到一个和通道数一样的一维向量作为对每个通道的评价分数；F′₀代表当前网络层的后一层特征图。F代表当前网络层的增强特征，即网络中的(F’_L3、F’_L4、F’_L5)。

举例来说，对第一高层特征图F_L3进行注意力机制处理得到对应的第一注意力特征图可表示为

对第一高层特征图F_L4进行注意力机制处理得到对应的第二注意力特征图可表示为

对第一高层特征图F_L5进行注意力机制处理得到对应的第三注意力特征图可表示为

首先将初步全局特征图F₁与第三注意力特征图

结合得到第三增强特征图F’_L5，其中，

然后将所述第三增强特征图F’_L5与第二注意力特征图

结合得到第二增强特征图F’_L4，其中，

最后将所述第二增强特征图F’_L4与第一注意力特征图

结合得到第一增强特征图F’_L3，其中，

本发明实施例中的部分操作细节如表1所示：

表1

在一实施例中，所述步骤S102包括步骤S301～S302：

S301、将所述第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5分别与所述内窥镜样本图像X相乘得到对应的第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃；

S302、将所述内窥镜样本图像、所述第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃相加并取平均值，得到待处理特征图。

具体地，首先将所述第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5分别与原图像X相乘得到I₁、I₂、I₃，然后再将原图像X与I₁、I₂、I₃相加取平均得到ESSNet2(第二网络)的输入，并将第二网络的输入记为X’(待处理特征图)。其中，第二网络的输入图像获取公式可表示为：

其中，

代表相乘；

代表相加；F′_Li(i＝3,4,5)表示ESSNet1的第三层、第四层和第五层经过注意力机制处理后得到的增强特征图(即第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5)。

在一实施例中，所述步骤S103包括步骤S401～S403：

S401、将所述待处理特征图输入至第二网络，通过2层第三卷积层对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图；

S402、通过3层第四卷积层对所述第二低层特征图进行第四卷积处理，得到包含高层语义特征的多个第二高层特征图；

S403、通过第二平行部分解码器将多个所述第二高层特征图以平行连接的方式进行聚合，输出得到第二网络的最终全局特征图F2，并将最终全局特征图F2作为内窥镜仪器分割模型的最终输出结果。

上述步骤与步骤S101类似，经过五层卷积层和一个第二平行部分编码器获得第二网络的最终全局特征图F₂，并将该最终全局特征图F₂作为整个网络的最终输出结果。

在一实施例中，所述损失函数如下所示：

其中，L_sup为有监督损失函数，L_{un sup}为无监督损失函数，λ代表无监督损失函数的权重；

其中，所述有监督损失函数用于对多个增强特征图、初步全局特征图F₁和最终全局特征图F₂进行监督；所述无监督损失函数用于对所述初步全局特征图F₁和最终全局特征图F₂进行监督。

本发明实施例所采用的损失函数由两部分组成，分别是有监督损失函数L_sup和无监督损失函数L_{un sup}。两个损失函数的功能可表述如下：有监督损失函数主要是对有标签数据监督，体现在对高层信息(F’_L3、F’_L4、F’_L5)和全局特征图(F₁，F₂)均进行监督；无监督损失函数主要是对无标签数据监督，体现在对第一网络和第二网络分别输出的全局特征图(F₁，F₂)进行监督。λ由实验经验设置为0.08时性能最好。

在一实施例中，所述有监督损失函数L_sup表述为：

其中，F_Li'(i＝3,4,5)代表第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5；G代表内窥镜样本图像X的mask(真值图，mask是对原始图像目标区域(内窥镜仪器)进行标注获得的真值图。通过labelme软件标注获得)；损失函数L₁定义为加权二值交叉熵损失函数BCE、加权IOU损失函数和L1范数之和取平均，以实现从多个层面计算网络预测图与真值图之间差异大小的目的，可表示为

在一实施例中，所述无监督损失函数L_{un sup}表述为：

L_{un sup}＝L₂(F₁,F₂)

其中，损失函数L₂为相似度度量损失Diceloss和IOU之和取平均，即

本发明提出的基于半监督学习的内窥镜仪器分割方法，主要包含三个关键技术点，分别是：1)基于SE模块的注意力机制，提高网络提取目标区域边缘信息特征的能力；2)损失函数包含有监督损失和无监督损失，实现有标注数据和无标注数据对网络参数的训练；3)半监督训练方式，首先采用随机抽样的方式确定网络的训练集和测试集，以减少网络的随机误差；其次，对训练集中有标注的数据(即有标签数据)使用有监督损失函数和无监督损失函数共同更新网络参数，对无标注数据(即无标签数据)使用无监督损失函数更新网络参数。

在一具体实施例中，包括以下流程：

1)数据输入：从有标签数据库中随机抽取600张和206张分别作为组成训练集和测试集的图像，并将600张无标签图像加入训练集一起输入到网络进行训练，每一批输入图像的数据都是从训练集中随机选取有标签数据和无标签数据，即一个数据输入批量中有可能既包含有标签数据又包含无标签数据。

2)网络训练：在一批数据中，对于有标签数据，使用有监督损失函数L_sup更新网络的参数；对于无标签数据，使用无监督损失函数L_{un sup}更新网络参数；

3)迭代训练：当进行下一批数据训练时，按照步骤2)训练网络参数，直至迭代结束；

4)新一轮网络训练：按照1)、2)、3)步骤执行，直至设置的随机训练次数达到10次结束。

5)网络训练结果后，用随机生成的10次206张有标签数据进行测试，计算10次Dice相似度系数之和并取平均值作为最终的测试结果。

本发明实施例中，采用的数据集是大肠内窥镜数据，共1406张图像。对其中的806张图像进行了详细的标注并已请专家核对校验，对这806张有标签数据划分为训练集和测试集，其中训练集有600张图像，测试集有206张图像。剩下600张无标签数据作为训练集，同时和600张有标签数据输入网络参与训练，如表2所示。

表2.大肠内窥镜数据集划分

网络模型在Pytorch平台上实现，因为图像拍摄问题及出于保护患者隐私的考虑，对图片进行了裁剪，统一裁剪成900*900的大小，输入到网络，并采用多尺度训练策略提高网络的泛化能力，分别将图像重置成352*352，264*264，440*440训练网络。网络模型使用Adam优化器，学习率设置为0.0001，并使用学习率衰减策略。网络的训练批量大小为30，迭代次数为20，并设置10次随机选取600张有标签训练集和206张测试集，减少网络的随机误差。网络采用的评价指标是被广泛使用的图像分割度量指标，即Dice相似度系数(戴斯相似性系数)。网络模型最终测试结果为0.91。

请参阅图5，本发明实施例还提供一种内窥镜仪器分割装置500，包括：

第一网络单元501，用于将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

中间处理单元502，用于将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

第二网络单元503，用于将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；

优化识别单元504，用于利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

在一实施例中，所述第一网络单元501包括：

第一低层卷积单元，用于将内窥镜样本图像X输入第一网络，先通过2层第一卷积层依次对所述内窥镜样本图像X进行第一卷积处理，输出得到包含低层语义特征的第一低层特征图；

第一高层卷积单元，用于通过3层第二卷积层依次对所述第一低层特征图进行第二卷积处理，得到包含高层语义特征的3个第一高层特征图；

第一解码单元，用于通过第一平行部分解码器对3个所述第一高层特征图以平行连接的方式进行聚合，得到初步全局特征图F₁；

注意力机制处理单元，用于按顺序分别对所述3个第一高层特征图进行注意力机制处理，得到对应的第一注意力特征图、第二注意力特征图和第三注意力特征图；

反向融合单元，用于将所述初步全局特征图F₁作为全局指导信号依次反向与第三注意力特征图、第二注意力特征图和第一注意力特征图相结合，分别得到第三增强特征图F’_L5、第二增强特征图F’_L4和第一增强特征图F’_L3，并将所述第一增强特征图F’_L3作为第一网络的预测特征图F’。

在一实施例中，所述中间处理单元502包括：

相乘单元，用于将所述第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5分别与所述内窥镜样本图像X相乘得到对应的第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃；

相加单元，用于将所述内窥镜样本图像、所述第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃相加并取平均值，得到待处理特征图。

在一实施例中，所述第二网络单元503包括：

第二低层卷积单元，用于将所述待处理特征图输入至第二网络，通过2层第三卷积层对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图；

第二高层卷积单元，用于通过3层第四卷积层对所述第二低层特征图进行第四卷积处理，得到包含高层语义特征的多个第二高层特征图；

第二解码单元，用于通过第二平行部分解码器将多个所述第二高层特征图以平行连接的方式进行聚合，输出得到第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果。

上述装置实施例的具体技术细节与前述方法实施例的内容对应，故此处不再赘述。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的内窥镜仪器分割方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的内窥镜仪器分割方法。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种内窥镜仪器分割方法，其特征在于，包括：

将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；

利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

2.根据权利要求1所述的内窥镜仪器分割方法，其特征在于，所述将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’，包括：

将内窥镜样本图像X输入第一网络，先通过2层第一卷积层依次对所述内窥镜样本图像X进行第一卷积处理，输出得到包含低层语义特征的第一低层特征图；

通过3层第二卷积层依次对所述第一低层特征图进行第二卷积处理，得到包含高层语义特征的3个第一高层特征图；

通过第一平行部分解码器对3个所述第一高层特征图以平行连接的方式进行聚合，得到初步全局特征图F₁；

按顺序分别对所述3个第一高层特征图进行注意力机制处理，得到对应的第一注意力特征图、第二注意力特征图和第三注意力特征图；

将所述初步全局特征图F₁作为全局指导信号依次反向与第三注意力特征图、第二注意力特征图和第一注意力特征图相结合，分别得到第三增强特征图F’_L5、第二增强特征图F’_L4和第一增强特征图F’_L3，并将所述第一增强特征图F’_L3作为第一网络的预测特征图F’。

3.根据权利要求2所述的内窥镜仪器分割方法，其特征在于，所述将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图，包括：

将所述第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5分别与所述内窥镜样本图像X相乘得到对应的第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃；

将所述内窥镜样本图像、所述第一中间特征图I₁、第二中间特征图I₂和第三中间特征图I₃相加并取平均值，得到待处理特征图。

4.根据权利要求1所述的内窥镜仪器分割方法，其特征在于，所述将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果，包括：

将所述待处理特征图输入至第二网络，通过2层第三卷积层对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图；

通过3层第四卷积层对所述第二低层特征图进行第四卷积处理，得到包含高层语义特征的多个第二高层特征图；

通过第二平行部分解码器将多个所述第二高层特征图以平行连接的方式进行聚合，输出得到第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果。

5.根据权利要求2所述的内窥镜仪器分割方法，其特征在于，所述损失函数如下所示：

其中，L_sup为有监督损失函数，L_unsup为无监督损失函数，λ代表无监督损失函数的权重；

其中，所述有监督损失函数用于对多个增强特征图、初步全局特征图F₁和最终全局特征图F₂进行监督；所述无监督损失函数用于对所述初步全局特征图F₁和最终全局特征图F₂进行监督。

6.根据权利要求5所述的内窥镜仪器分割方法，其特征在于，所述有监督损失函数L_sup表述为：

其中，F_Li'(i＝3,4,5)代表第一增强特征图F’_L3、第二增强特征图F’_L4和第三增强特征图F’_L5；G代表内窥镜样本图像X的真值图；损失函数L₁定义为加权二值交叉熵损失函数BCE、加权IOU损失函数和L1范数之和取平均。

7.根据权利要求5所述的内窥镜仪器分割方法，其特征在于，所述无监督损失函数L_unsup表述为：

L_unsup＝L₂(F₁,F₂)

其中，损失函数L₂为相似度度量损失Diceloss和IOU之和取平均。

8.一种内窥镜仪器分割装置，其特征在于，包括：

第一网络单元，用于将内窥镜样本图像X输入第一网络，对所述内窥镜样本图像X进行第一卷积处理获得包含低层语义特征的第一低层特征图，对所述第一低层特征图进行第二卷积处理获得包含高层语义特征的多个第一高层特征图，通过第一平行部分解码器将多个所述第一高层特征图融合获得第一网络的初步全局特征图F₁，对多个所述第一高层特征图分别进行注意力机制处理得到多个注意力特征图，将所述初步全局特征图F₁作为全局指导信号依次反向与多个所述注意力特征图相结合得到多个增强特征图，输出第一网络的预测特征图F’；

中间处理单元，用于将多个所述增强特征图分别与所述内窥镜样本图像X相乘得到多个中间特征图，再将所述内窥镜样本图像X与多个所述中间特征图相加取平均值，得到待处理特征图；

第二网络单元，用于将所述待处理特征图输入至第二网络，对所述待处理特征图进行第三卷积处理获得包含低层语义特征的第二低层特征图，对所述第二低层特征图进行第四卷积处理获得包含高层语义特征的多个第二高层特征图，通过第二平行部分解码器将多个所述第二高层特征图融合获得第二网络的最终全局特征图F₂，并将最终全局特征图F₂作为内窥镜仪器分割模型的最终输出结果；

优化识别单元，用于利用损失函数对所述内窥镜仪器分割模型进行优化，并利用优化后的内窥镜仪器分割模型对内窥镜测试图像进行识别。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的内窥镜仪器分割方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的内窥镜仪器分割方法。

Images