CN113902983B

CN113902983B - 基于目标检测模型的腹腔镜手术组织器官识别方法及装置

Info

Publication number: CN113902983B
Application number: CN202111471854.4A
Authority: CN
Inventors: 陈豪; 李国新; 余江; 陈浩彬; 苟龙飞; 陈翊; 闫滕
Original assignee: Southern Hospital Southern Medical University
Current assignee: Southern Hospital Southern Medical University
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2022-03-25
Anticipated expiration: 2041-12-06
Also published as: CN113902983A

Abstract

本发明的实施方式提供了基于目标检测模型的腹腔镜手术组织器官识别方法及装置。该方法包括：提取输入图像的第一特征图；对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。本发明能够对输入图像提取特征图，并通过对特征图进行局部信息静态建模和上下文信息动态建模的方式对特征图的上下文信息进行增强，以使对增强后的特征图进行目标检测，可以得到更加准确的检测结果，可见，在手术操作过程中，通过上述方式进行目标检测，可以提高识别输入图像中形状变化较大的器官对应的信息的准确率。

Description

基于目标检测模型的腹腔镜手术组织器官识别方法及装置

技术领域

本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及基于目标检测模型的腹腔镜手术组织器官识别方法及装置。

背景技术

近年来，腹腔镜手术是一门新发展起来的微创方法，随着以机器学习尤其是深度学习为代表的人工智能技术的突飞猛进，以及相关学科的融合都为开展新技术、新方法奠定了坚定的基础，许多过去的开放性手术目前已被腔内手术取而代之，大大增加了手术选择机会。

目前，在进行腔内手术的过程中通常需要基于人工智能的手术分析系统对正在进行的手术进行分析，以使手术分析系统能够及时地对操作手术的医生进行提示（例如提示当前手术操作区域存在的器官或危险区域等）。然而，在实践中发现，现有的系统通常只能识别出在手术操作过程中形状不发生较大变化的器官，但是对于手术操作过程中形状变化较大的器官识别的准确率较低。

发明内容

在本上下文中，本发明的实施方式期望提供基于目标检测模型的腹腔镜手术组织器官识别方法及装置。

在本发明实施方式的第一方面中，提供了一种基于目标检测模型的腹腔镜手术组织器官识别方法，包括：

提取输入图像的第一特征图；

对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；

基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。

在本实施方式的一个实施例中，对所述第一特征图进行局部信息静态建模，包括：

采用特定的第一卷积核对所述第一特征图进行卷积，以对所述第一特征图进行局部信息静态建模，得到具备局部上下文信息表示的静态注意力键值。

在本实施方式的一个实施例中，对所述第一特征图进行上下文信息动态建模，包括：

采用特定的第二卷积核对所述第一特征图进行卷积，得到所述第一特征图的特征值，以便对所述第一特征图进行上下文信息动态建模；

基于预先构建的记忆力单元对所述第一特征图进行点乘，得到注意力的查询信息，其中，所述记忆力单元的尺寸与所述第一特征图的尺寸相同；

将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图；

基于所述特征值和所述自注意力增强特征图进行点乘计算，得到上下文信息动态建模的特征图。

在本实施方式的一个实施例中，将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图，包括：

将所述查询信息与所述静态注意力键值进行拼接，得到拼接后的第二特征图；

基于多层感知机对所述拼接后的第二特征图进行计算，得到自注意力增强特征图。

在本实施方式的一个实施例中，对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图，包括：

将所述静态注意力键值和所述上下文信息动态建模的特征图相加，得到局部上下文信息增强的增强特征图。

在本实施方式的一个实施例中，基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识，包括：

基于特征金字塔网络对所述增强特征图进行特征融合，得到至少一个待识别特征图；

对所述待识别特征图进行目标检测，确定所述待识别特征图中包含的目标；

识别所述目标对应的器官信息。

在本实施方式的一个实施例中，所述器官信息中包括器官名称和识别概率，识别所述目标对应的器官信息之后，所述方法还包括：

在所述输入图像中输出用于标识目标所在位置的包围框；

在所述输入图像中的包围框内输出与所述包围框所标识的目标对应的器官名称和识别概率。

在本发明实施方式的第二方面中，提供了一种基于目标检测模型的腹腔镜手术组织器官识别装置，包括：

提取单元，用于提取输入图像的第一特征图；

建模单元，用于对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；

检测单元，用于基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。

在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括第三方面所述的存储介质。

根据本发明实施方式的基于目标检测模型的腹腔镜手术组织器官识别方法、装置及存储介质，能够对输入图像提取特征图，并通过对特征图进行局部信息静态建模和上下文信息动态建模的方式对特征图的上下文信息进行增强，以使对增强后的特征图进行目标检测，可以得到更加准确的检测结果，可见，在手术操作过程中，通过上述方式进行目标检测，可以提高识别输入图像中形状变化较大的器官对应的信息的准确率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为本发明一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程示意图；

图2为本发明另一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程示意图；

图3为本发明实施例中目标检测模型中的一种注意力机制模块的结构示意图；

图4为本发明实施例中目标检测模型中包含注意力机制模块的Att_CSP的结构示意图；

图5为本发明实施例目标检测模型的网络结构示意图；

图6为根据本发明的实施方式对输入图像执行基于目标检测模型的腹腔镜手术组织器官识别得到的结果示意图；

图7为本发明一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别装置的结构示意图；

图8示意性地示出了本发明实施例的一种介质的结构示意图；

图9示意性地示出了本发明实施例的一种计算设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

根据本发明的实施方式，提出了基于目标检测模型的腹腔镜手术组织器官识别方法及装置。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

下面进一步详细描述本发明的器官识别方法的具体实现原理：

下面参考图1，图1为本发明一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。

图1所示的本发明一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程，包括：

步骤S101，提取输入图像的第一特征图；

步骤S102，对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；

步骤S103，基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。

本申请中提出的基于目标检测模型的腹腔镜手术组织器官识别方法所针对的是基于以机器学习尤其是深度学习为代表的人工智能所构建的目标检测模型，包括但不限于目标检测、图像识别、手术过程中采集到的图像中包含的多种目标的识别等各个适用不同应用场景的目标检测模型，例如可以用于对腹腔镜手术过程中内窥镜采集到的图像中包含的体内多种器官的识别等。

本发明能够对输入图像提取特征图，并通过对特征图进行局部信息静态建模和上下文信息动态建模的方式对特征图的局部上下文信息进行增强，以使对增强后的特征图进行目标检测，可以得到更加准确的检测结果，可见，在手术操作过程中，通过上述方式进行目标检测，可以提高识别输入图像中形状变化较大的器官对应的信息的准确率。

下面结合附图说明如何提高识别输入图像中形状变化较大的器官对应的信息的准确率：

本发明实施例中，目标检测模型可以基于YOLO系列的scaled-yolov4 P5网络优化得到，可以在scaled-yolov4 P5网络的主干网络中加入注意力机制模块，其中，注意力机制模块并不是现有技术，而是本申请的发明人对现有技术的改进，注意力机制模块可以基于大量的训练样本进行训练，从大量的训练样本中提取到共享的特征，并基于提取到的共享的特征训练出该注意力机制模块，从而可以通过注意力机制模块对第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图，提高了目标检测模型对特征图的自注意力的增强，从而更准确的识别出输入图像中存在的器官信息。

本发明实施例中，输入图像可以为从图像采集设备（如摄像机、内窥镜等）采集到的图片或者视频等影像数据中得到，可以将采集到的图像输入至目标检测模型进行目标检测，通过对检测得到的目标进行识别可以得到输入图像中包含的多个目标，例如，当本实施例应用于腹腔镜手术场景时，可以使用内窥镜等图像采集设备对患者进行图像采集，并且可以将采集到的图像输入至目标检测模型中进行目标检测，即可以先对输入图像进行特征提取得到输入图像的第一特征图，再对第一特征图进行注意力增强得到增强特征图，以使基于注意力增强后的增强特征图进行的目标检测结果更加准确，得到的目标检测结果中可以包含内窥镜拍摄到的图像中包含的一个或多个器官的器官信息，并且可以基于检测到的器官信息，在输入图像中和输出用于在图像中用于指示各个器官所在位置的标识，该标识可以为包围框（例如矩形包围框、圆形包围框等）等其中，器官信息至少可以包含以下类型：膈肌、局部肝脏、肝尾状叶、被提起的肝脏、胆囊、脾脏、胰腺、胃、十二指肠、结肠、上方肝圆韧带、网膜血管、需清扫的动静脉、门静脉、淋巴管、系膜、大网膜、淋巴脂肪组织、淋巴结、手术层面、穿刺拉伸、血管鞘外层面、范围性出血以及血凝块等。

本发明实施例中，可以通过对第一特征图分别进行局部信息静态建模和上下文信息动态建模，以实现对第一特征图进行局部上下文信息的增强，并基于第一特征图获取到局部上下文信息增强的增强特征图。

其中，可以通过3×3的卷积对第一特征图进行局部信息静态建模，获得具备局部上下文信息表示的注意力机制的静态注意力键值，可以看作是在局部信息上进行了静态的建模。此外，还可以利用空洞卷积、变形卷积等方式对第一特征图进行局部信息静态建模。

请参阅图2，图2为本发明另一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程示意图，图2所示的本发明另一实施例提供的基于目标检测模型的腹腔镜手术组织器官识别方法的流程包括：

步骤S201，提取输入图像的第一特征图；

步骤S202，采用特定的第一卷积核对所述第一特征图进行卷积，以对所述第一特征图进行局部信息静态建模，得到具备局部上下文信息表示的静态注意力键值。

实施上述的步骤S202，可以通过特定的卷积核对第一特征图进行卷积，以实现对第一特征图的局部信息的静态建模，从而得到具备局部上下文信息表示的静态注意力键值，从而提升从第一特征图中提取的特征的准确性。

本发明实施例中，特定的第一卷积核的卷积可以为3×3的卷积、5×5的卷积或7×7的卷积等，对此，本发明实施例不做限定，此外，还可以利用空洞卷积、变形卷积等方式对第一特征图进行局部信息静态建模。

步骤S203，采用特定的第二卷积核对所述第一特征图进行卷积，得到所述第一特征图的特征值，以便对所述第一特征图进行上下文信息动态建模。

步骤S204，基于预先构建的记忆力单元对所述第一特征图进行点乘，得到注意力的查询信息，其中，所述记忆力单元的尺寸与所述第一特征图的尺寸相同；

步骤S205，将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图；

步骤S206，基于所述特征值和所述自注意力增强特征图进行点乘计算，得到上下文信息动态建模的特征图。

实施上述的步骤S203~步骤S206，可以基于预先构建的记忆力单元以及特定卷积核的卷积层对第一特征图进行上下文动态建模，得到上下文信息动态建模的特征图，以使得到的特征图可以以其他类似的样本为依据，进行自注意力增强，提升特征提取的准确性。

本发明实施例中，特定的第二卷积核的卷积可以为1×1的卷积、3×3的卷积、5×5的卷积或7×7的卷积等，对此，本发明实施例不做限定，通过对第一特征图进行1×1的卷积，可以得到第一特征图的特征值。

本发明实施例中，记忆力单元初始化可以为在（0，1）之间的随机值，随着目标检测模型的学习，根据反向传播的误差，自适应的调整记忆力单元内参数的大小，从而当与第一特征图进行点乘时，能有效增强第一特征图中感兴趣区域的权重，增强特征的表达，得到注意力的查询信息。以及，为了使第一特征图的注意力增强的效果更好，可以将记忆力单元的尺寸设置为与第一特征图的尺寸相同。

作为一种可选的实施方式，步骤S205将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图的方式具体可以包含以下步骤：

其中，实施这种实施方式，可以将查询信息与静态注意力键值进行拼接，并对拼接后的第二特征图进行自注意力增强，从而提升了得到的特征图的自注意力进行了增强。

本发明实施例中，将查询信息与静态注意力键值可以进行拼接，得到拼接后的第二特征图，再通过多层感知机（Multilayer Perceptron，MLP）对第二特征图进行计算，可以得到自注意力增强特征图，由于静态注意力键值中包含了特征图的局部上下文信息，因此，与查询信息进行拼接的静态注意力键值可以将特征图的局部上下文信息与查询信息进行交互，得到交互后的第二特征图，即通过局部上下文建模的引导，增强了目标检测模型的自注意力机制。

步骤S207，将所述静态注意力键值和所述上下文信息动态建模的特征图相加，得到局部上下文信息增强的增强特征图。

实施上述的步骤S207，可以将静态建模得到的静态注意力键值和动态建模得到的特征图进行相加，得到局部上下文信息增强的增强特征图，可以使得特征图的注意力增强，提升了特征图进行目标检测的准确性。

请一并参阅图3，图3为本发明实施例中目标检测模型中的一种注意力机制模块的结构示意图，其中，注意力机制模块中可以包含3×3卷积、记忆力单元、MLP以及1×1卷积，可以将从输入图像中提取的第一特征图输入至注意力机制模块中，以使注意力机制模块对第一特征图进行计算，最终输出局部上下文信息增强的增强特征图，具体的：输入的第一特征图的尺寸可以为H´W´C，可以通过3×3卷积对第一特征图进行卷积计算，得到具备局部上下文信息表示的静态注意力键值，静态注意力键值的尺寸也为H´W´C，同时，可以通过1×1卷积对第一特征图进行卷积计算，得到尺寸为H´W´C的第一特征图的特征值，以及可以基于预先构建的记忆力单元对第一特征图进行点乘，得到尺寸为H´W´C的注意力的查询信息；之后可以将查询信息与静态注意力键值进行拼接，得到拼接后的尺寸为H´W´2C的第二特征图；此时，第二特征图的尺寸发生了变化，相对于第一特征图的特征值的尺寸来说，第二特征值的尺寸较大，因此，MLP对第二特征图进行计算的同时，可以将输出的数据的尺寸调整为与第一特征图的特征值的尺寸相同，即可以基于MLP对拼接后的第二特征图进行计算，得到尺寸为H´W´C的自注意力增强特征图，以及可以基于特征值和自注意力增强特征图进行点乘计算，得到尺寸为H´W´C的上下文信息动态建模的特征图，最后，可以将静态注意力键值和上下文信息动态建模的特征图相加，得到尺寸为H´W´C的局部上下文信息增强的增强特征图，并将该增强特征图进行输出。

步骤S208，基于特征金字塔网络对所述增强特征图进行特征融合，得到至少一个待识别特征图；

步骤S209，对所述待识别特征图进行目标检测，确定所述待识别特征图中包含的目标；

步骤S210，识别所述目标对应的器官信息。

实施上述的步骤S208~步骤S210，可以基于特征金字塔，对增强特征图进行特征融合以及目标检测，最终可以得到至少一个包含器官信息的识别结果，且识别结果更加准确。

本发明实施例中，目标检测模型中可以在特征金字塔网络（Feature PyramidNetworks，FPN）的基础上增加一个自底向上的传输路径对输入的增强特征图进行特征融合，由于底层特征更能提供边缘等细节特征，因此在FPN基础上增加自下而上的传输路径，可以提升从增强特征图中定位目标的精度，从而检测到更加准确的目标。

请一并参阅图4和图5，图4为本发明实施例中目标检测模型中包含注意力机制模块的Att_CSP的结构示意图，图5为本发明实施例目标检测模型的网络结构示意图，其中，注意力机制模块可以通过图4中的RS_Att表示，注意力机制模块RS_Att设置于Att_CSP模块中，Att_CSP模块是基于CSPNet得到的，即在CSPNet的基础上增加了注意力机制模块RS_Att可以得到图4中的Att_CSP模块，如图4所示，输入的第一特征图首先可以经过一个1×1卷积层，而后将得到的特征图在深度维度上一分为二，第一部分输入到后续卷积层中进行处理，而第二部分直接跳层与第一部分多次卷积后的结果进行拼接作为注意力机制模块RS_Att的输入，最后通过注意力机制模块RS_Att输出计算后的增强特征图。

更进一步，图4所示的Att_CSP模块可以设置于目标网络模型中，如图5所示，Att_CSP模块可以设置于CSPDark模块中，为了提高目标检测模型的实时性，仅在目标网络模型的Backbone模块中的最后三层设置了包含Att_CSP模块的CSPDark模块，目标检测模型是基于scaled-yolov4 P5网络构建的，其中包含Backbone模块、Neck模块以及Head模块，可以将获取的图像输入至目标网络模型中，通过Backbone模块以及Backbone模块中包含的注意力机制模块对输入图像进行特征提取以及局部上下文信息增强，最终输出增强特征图，并通过包含特征金字塔的Neck模块对增强特征图进行特征融合，得到至少一个待识别特征图，最后可以通过Head模块对待识别特征图进行目标检测，确定待识别特征图中包含的目标，从而确定出输入图像中包含的目标的器官信息以使该目标在输入图像中的位置信息。

步骤S211，在所述输入图像中输出用于标识目标所在位置的包围框；

步骤S212，在所述输入图像中的包围框内输出与所述包围框所标识的目标对应的器官名称和识别概率。

实施上述的步骤S211~步骤S212，可以根据识别得到的输入图像中存在的目标，通过在输入图像中输出包围框的方式对目标进行标识，并且可以在包围框内输出该包围框所标识的器官名称和识别概率，以使输出的目标检测结果更加直观。

本发明实施例中，目标检测模型输出的检测结果中可以包含识别到的输入图像中包含的目标对应的器官名称以及该目标为该器官的识别概率，因此可以将得到的器官名称以及识别概率一并输出到包围框中，该包围框用于指示该目标在输入图像中的所在位置，以使包围框指示的目标对应的器官名称和识别概率更加清晰。

请一并参阅图6，图6为根据本发明的实施方式对输入图像执行基于目标检测模型的腹腔镜手术组织器官识别得到的结果示意图，其中，图6为在腹腔镜手术过程中采集到的输入图像，以及通过目标检测模型对该输入图像进行目标检测后得到的检测结果的输出，具体为：目标检测模型从输入图像中识别出了三个目标，并通过矩形包围框在输入图像中进行了标识，包围框①可以为识别出的第一个目标，识别出的第一个目标的器官名称为局部肝脏，第一个目标为局部肝脏的识别概率为0.0018；包围框②可以为识别出的第二个目标，识别出的第二个目标的器官名称为结肠，第二个目标为结肠的识别概率为0.0045；包围框③可以为识别出的第三个目标，识别出的第三个目标的器官名称为结肠，第三个目标为结肠的识别概率为0.0016。

本发明能够提高识别输入图像中形状变化较大的器官对应的信息的准确率。此外，本发明还可以提升从第一特征图中提取的特征的准确性。此外，本发明还可以提升特征提取的准确性。此外，本发明还可以提升得到的特征图的自注意力进行了增强。此外，本发明还可以提升特征图进行目标检测的准确性。此外，本发明还可以得到至少一个包含器官信息的识别结果，且识别结果更加准确。此外，本发明还可以使输出的目标检测结果更加直观。

下面进一步详细描述本发明的装置的实现原理：

在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的一种基于目标检测模型的腹腔镜手术组织器官识别装置进行说明，该装置包括：

提取单元701，用于提取输入图像的第一特征图；

建模单元702，用于对提取单元701提取的所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；

检测单元703，用于基于建模单元702得到的所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。

作为一种可选的实施方式，建模单元702对所述第一特征图进行局部信息静态建模的方式具体为：

其中，实施这种实施方式，可以通过特定的卷积核对第一特征图进行卷积，以实现对第一特征图的局部信息的静态建模，从而得到具备局部上下文信息表示的静态注意力键值，从而提升从第一特征图中提取的特征的准确性。

作为一种可选的实施方式，建模单元702对所述第一特征图进行上下文信息动态建模的方式具体为：

采用特定的第二卷积核对所述第一特征图进行卷积，得到所述第一特征图的特征值，以便对所述第一特征图进行上下文信息动态建模。

其中，实施这种实施方式，可以基于预先构建的记忆力单元以及特定卷积核的卷积层对第一特征图进行上下文动态建模，得到上下文信息动态建模的特征图，以使得到的特征图可以以其他类似的样本为依据，进行自注意力增强，提升特征提取的准确性。

作为一种可选的实施方式，建模单元702将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图的方式具体为：

作为一种可选的实施方式，建模单元702对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图的方式具体为：

其中，实施这种实施方式，可以将静态建模得到的静态注意力键值和动态建模得到的特征图进行相加，得到局部上下文信息增强的增强特征图，可以使得特征图的注意力增强，提升了特征图进行目标检测的准确性。

作为一种可选的实施方式，检测单元703基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识的方式具体为：

识别所述目标对应的器官信息。

其中，实施这种实施方式，可以基于特征金字塔，对增强特征图进行特征融合以及目标检测，最终可以得到至少一个包含器官信息的识别结果，且识别结果更加准确。

作为一种可选的实施方式，所述器官信息中包括器官名称和识别概率，检测单元703还可以用于：

识别所述目标对应的器官信息之后，在所述输入图像中输出用于标识目标所在位置的包围框；

其中，实施这种实施方式，可以根据识别得到的输入图像中存在的目标，通过在输入图像中输出包围框的方式对目标进行标识，并且可以在包围框内输出该包围框所标识的器官名称和识别概率，以使输出的目标检测结果更加直观。

示例性介质

在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图8对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图8，其示出的计算机可读存储介质为光盘80，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，提取输入图像的第一特征图；对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识；各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

下面进一步详细描述本发明的计算设备的具体实现原理：

在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图9对本发明示例性实施方式的用于基于目标检测模型的腹腔镜手术组织器官识别的计算设备。

图9示出了适于用来实现本发明实施方式的示例性计算设备90的框图，该计算设备90可以是计算机系统或服务器。图9显示的计算设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件（包括系统存储器902和处理单元901）的总线903。

计算设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）9021和/或高速缓存存储器9022。计算设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM9023可以用于读写不可移动的、非易失性磁介质（图9中未显示，通常称为“硬盘驱动器”）。尽管未在图9中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。系统存储器902中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块9024的程序/实用工具9025，可以存储在例如系统存储器902中，且这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9024通常执行本发明所描述的实施例中的功能和/或方法。

计算设备90也可以与一个或多个外部设备904（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口605进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图9所示，网络适配器906通过总线903与计算设备90的其它模块（如处理单元901等）通信。应当明白，尽管图9中未示出，可以结合计算设备90使用其它硬件和/或软件模块。

处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如，提取输入图像的第一特征图；对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图；基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了基于目标检测模型的腹腔镜手术组织器官识别装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

Claims

1.一种基于目标检测模型的腹腔镜手术组织器官识别方法，包括：

提取输入图像的第一特征图；

基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识；

对所述第一特征图进行局部信息静态建模，包括：

采用特定的第一卷积核对所述第一特征图进行卷积，以对所述第一特征图进行局部信息静态建模，得到具备局部上下文信息表示的静态注意力键值；对所述第一特征图进行上下文信息动态建模，包括：

2.根据权利要求1所述的基于目标检测模型的腹腔镜手术组织器官识别方法，将所述查询信息与所述静态注意力键值进行计算，得到自注意力增强特征图，包括：

3.根据权利要求1或2所述的基于目标检测模型的腹腔镜手术组织器官识别方法，对所述第一特征图进行局部信息静态建模和上下文信息动态建模，获取局部上下文信息增强的增强特征图，包括：

4.根据权利要求1所述的基于目标检测模型的腹腔镜手术组织器官识别方法，基于所述增强特征图进行目标检测，得到所述输入图像中包含的器官信息及相应的标识，包括：

识别所述目标对应的器官信息。

5.根据权利要求4所述的基于目标检测模型的腹腔镜手术组织器官识别方法，所述器官信息中包括器官名称和识别概率，识别所述目标对应的器官信息之后，所述方法还包括：

在所述输入图像中输出用于标识目标所在位置的包围框；

6.一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~5中的任一项所述的方法。

7.一种计算设备，包括如权利要求6所述的存储介质。