CN112597328B - 标注方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种标注方法、装置、设备及介质。该方法包括：获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；提取所述第二图像数据的数据特征得到第一特征信息，基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果。本发明实施例的技术方案，以半自动化的方式解决了对图像中的感兴趣区域进行人工标记工作量大，全自动化标记不够准确的问题，实现提高感兴趣区域标记效率与准确率，降低人力成本的效果。

Description

标注方法、装置、设备及介质

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种标注方法、装置、设备及介质。

背景技术

深度学习是当下最流行的研究方向之一，在医疗领域，医学影像的数量每年都在以惊人的趋势增长，但是影像科医生的培养需要学习的时间和经验的积累，因此，结合深度学习进行医学影像的分析是一个非常有意义的研究方向。

在医学影像分析中，对感兴趣区域进行准确的识别和勾画，对于后续的分析具有重要的指导作用。但是，医学影像的类型众多，而且大多数是三维数据，其中可能包含有几百层需要医生查看并标记感兴趣区域的图像，这给医生带来了巨大的工作负担。目前提出了一些自动化标注方法，但是医学数据的复杂性导致其标注结果在实际使用过程中带来的效率提升有限。

发明内容

本发明实施例提供一种标注方法、装置、设备及介质，以实现提高感兴趣区域标记效率和准确率，降低人力成本的效果。

第一方面，本发明实施例提供了一种标注方法，该方法包括：

获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；提取所述第二图像数据的数据特征得到第一特征信息；基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果。

第一标注数据第一标注数据第二方面，本发明实施例还提供了一种标注装置，该装置包括：

图像数据获取模块，用于获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；

第一标注数据特征信息获取模块，用于提取所述第二图像数据的数据特征得到第一特征信息；

第二特征信息获取模块，用于基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；

第二标注结果获取模块，用于根据所述第二特征信息生成第二标注结果。

第三方面，本发明实施例还提供了一种标注设备，其中，所述标注设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的标注方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所提供的标注方法。

本发明实施例的技术方案，通过获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据第一标注数据；在同批次的扫描数据中获取第一图像数据和第二图像数据，更有利于将第一图像数据中的标注信息迁移至第二图像数据，使第二图像数据获取的标注信息更加准确。提取所述第二图像数据的数据特征得到第一特征信息第一标注数据第一标注数据；基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果，以半自动化的方式解决了对图像中的感兴趣区域进行人工标记，工作量大的问题，实现提高感兴趣区域标记效率和准确率，降低人力成本的效果。

附图说明

图1是本发明实施例中的一种标注方法的流程图；

图2是本发明实施例中的一种标注方法的流程示意图

图3是本发明实施例中的又一种标注方法的流程图；

图4是本发明实施例中的一种标注装置的结构示意图；

图5是本发明实施例中的一种标注设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种标注方法的流程图，本实施例可适用于对图像中的感兴趣区域进行标注的情况，该方法可以由标注装置来执行，具体包括如下步骤：

S110、获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据。

获取同一批次的扫描数据，将该批次中部分扫描数据进行感兴趣区域标注，被选择标注的图像数据为第一图像数据，对应的标注为第一标注数据，剩余未标注感兴趣区域的扫描数据为第二图像数据。同批次的扫描数据属于同一次医学影像设备的扫描，其具有相同的扫描参数和扫描体位，以便于将第一图像数据对应的第一标注数据迁移至第二图像数据，使得到的第二图像数据对应的第二标注数据代表的感兴趣区域更加准确。

S120、提取第二图像数据的数据特征得到第一特征信息。

将第二图像数据输入至特征提取器中，提取第二图像数据的数据特征。可选的，特征提取器可以是一编解码器，得到的第一特征信息为一特征图。该特征图与第二图像数据具有相同的尺寸，其深度表示特征通道的数量。

S130、基于注意力机制对第一图像数据、第二图像数据、第一标注数据和第一标注数据特征信息处理得到第二图像数据的第二特征信息。

一般的，注意力机制可解释为计算A和B之间的相似性，并利用这种相似性确定A和B之间的注意力关系。基于注意力机制，获取第一图像数据与第二图像数据的相似性，进而通过相似性，将第一图像数据对应的第一标注数据迁移至第二图像数据，得到第二图像数据对应的迁移标注结果，即第二标注结果。此标注结果就是第二图像数据的感兴趣区域的标注结果。

可选的，基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息，包括：基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵；根据所述第一特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息；根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息。通过第一图像数据和第二图像数据确定内部相关性矩阵和外部相关性矩阵，内部相关性矩阵和外部相关性矩阵反映了第一图像数据和第二图像数据之间的相似性。外部相关性矩阵相较于内部相关性矩阵参考了第一图像数据和第二图像数据之间的距离信息。通过所述第一特征信息、内部相关性矩阵和第一标注数据确定标注迁移信息，再根据标注迁移信息和外部相关性矩阵确定第二特征信息。

可选的，基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵，包括：确定所述第一图像数据中与第二图像数据距离最小的参考图像数据；基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵和外部相关性矩阵。在确定内部相关性矩阵和外部相关性矩阵时，需从第一图像数据中选择出与每张第二图像数据距离最小的参考图像数据，故在第一图像数据中，参考图像数据的标注信息与对应的第二图像数据的相似性最大，通过参考数据和第二图像数据确定内部相关性矩阵和外部相关性矩阵，进而将参考图像信息的标注结果迁移至对应的第二图像信息，可使获取的第二图像信息的标注结果更加准确。

可选的，基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵，包括：将所述参考图像数据和所述第二图像数据分别进行特征提取得到第一特征图和第二特征图，所述第一特征图和所述第二特征图的尺寸相同；将所述第一特征图和所述第二特征图中的每个元素进行正则化，将正则化后的第一特征图中的每个元素与正则化后的第二特征图中的每个元素分别进行内积计算得到所述内部相关性矩阵。在确定内部相关性矩阵时，分别将参考图像数据和第二图像数据输入至特征提取模块，分别输出与参考图像数据对应的第一特征图和与第二图像数据对应的第二特征图。第一特征图与第二特征图的尺寸相同。如图2所示，将第一特征图记为K，第二特征图记为Q。计算K和Q的相关性矩阵。将K和Q中的特征在平面空间各自展开为向量，将K中的特征向量记为k_i，将Q中的特征向量记为q_j，分别将K中的特征向量和Q中的特征向量进行正则化，将正则化后的K中的每个特征向量与正则化后的Q中的每个特征向量进行内积计算得到内部相关性矩阵，内部相关性矩阵为i×j的矩阵。

可选的，根据所述参考图像数据、所述第二图像数据确定外部相关性矩阵，包括：根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数；对所述目标相关性系数进行加权求和得到系数矩阵；获取所述第二图像数据中每个像素点和对应的所述第一图像数据中每个像素点之间的距离，得到距离矩阵；将所述系数矩阵除以距离矩阵得到所述外部相关性矩阵。分别从内部相关性矩阵中确定与第二特征图Q中每个元素对应的目标相关性系数，分别对每个元素对应的目标相关性系数进行加权求和，得到系数矩阵。根据第二图像数据和第一图像数据固有的空间分辨率信息，以及第二图像数据与参考图像数据之间的间隔距离，计算第二图像数据中的每个像素点与参考图像数据中对应的平面像素位置点的距离，将这些距离组合为距离矩阵。将系数矩阵除以距离矩阵得到外部相关性矩阵。

可选的，根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数，包括：分别获取所述内部相关性矩阵中，与所述第二特征图中的每个像素点对应的相关性系数；分别对每个像素点对应的相关性系数进行排序；根据相关性系数的排序确定与每个像素点对应的目标相关性系数。在内部相关性矩阵中获取与第二特征图中每个元素对应的相关相关性系数，分别对每个像素点对应的相关性系数进行排序，示例性的，共有j个像素点，将每个像素点对应的相关性系数进行降序排序，取每个像素点对应的排序为前t名的相关性系数得到目标相关性系数，分别对每个元素对应的目标相关性系数根据如下公式进行加权求和得到目标系数：

OA＝1×R_top1+1/2×R_top2+1/4×R_top3+…+1/(2^(t-1))×R_topt

其中，OA为目标系数，R_top1、R_top2…R_topt分别为排序为前t名的相关性系数。

将得到的目标系数组成得到系数矩阵。

可选的，根据所述第一特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息，包括：根据所述第一标注数据确定所述参考图像数据的有向距离图；根据所述有向距离图、所述目标相关性系数和所述第一标注数据特征信息确定所述标注迁移信息。获取参考图像数据的有向距离图，有向距离图根据参考图像数据中对感兴趣区域的标注结果得到，有向距离图的尺寸与参考图像数据的尺寸相同。根据有向距离图、目标相关性系数和第一标注数据特征信息确定标注迁移信息。

可选的，确定所述参考图像数据的有向距离图，包括：计算所述参考图像数据中每个像素点与每个轮廓像素点的最小欧式距离得到有向距离图，在所述有向距离图中感兴趣区域内与感兴趣区域外的像素点对应的最小欧式距离符号相反。获取参考图像中标注的感兴趣区域的轮廓的每个像素点，计算参考图像中每个像素点与感兴趣区域轮廓的每个像素点之间的最小欧式距离，设置参考图像中位于感兴趣区域内的像素点对应的最小欧式距离符号，与位于感兴趣区域外的像素点对应的最小欧式距离符号相反，示例性的，如果像素点位于感兴趣区域内，则将对应的最小欧式距离取负值，如果像素点位于感兴趣区域外，则将对应的最小欧式距离取正值。将参考图像中所有像素点的有向距离计算完成后，所有向距离值除以平面的最大边长，得到绝对值不超过1的有向距离图，记为V。

可选的，根据所述有向距离图、所述目标相关性系数和所述第一标注数据特征信息确定所述标注迁移信息，包括：获取所述有向距离图中与所述目标相关性系数对应的有向距离，得到目标有向距离信息；将所述目标有向距离信息和所述第一标注数据特征信息进行融合得到所述标注迁移信息。根据第二特征图中的每个像素点对应的目标相关性系数，从有向距离图V中获取对应的有向距离，得到目标有向距离信息，将目标有向距离信息和目标相关性系数组合为有向距离信息矩阵，其平面尺寸与第一特征图和第二特征图的尺寸相同，深度与每个像素点对应的目标相关性系数的个数相同。每个深度代表不同相关性对应的有向距离图中的信息。将有向距离信息矩阵与第一标注数据特征信息进行融合得到标注迁移信息。其深度为有向距离信息矩阵深度与第一标注数据特征信息深度之和。

可选的，根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息，包括：将所述标注迁移信息与所述外部相关性矩阵相乘得到所述第二特征信息。将标注迁移信息中各元素与外部相关性性矩阵相乘得到第二特征信息，第二特征信息为将第一图像信息的特征信息迁移至第二图像的特征信息。

本发明实施例的技术方案，通过获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；在同批次的扫描数据中获取第一图像数据和第二图像数据，更有利于将第一图像数据中的标注信息迁移至第二图像数据，使第二图像数据获取的标注信息更加准确。提取所述第二图像数据的数据特征得到第一特征信息；基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果，以半自动化的方式解决了对图像中的感兴趣区域进行人工标记，工作量大的问题，实现提高感兴趣区域标记效率和准确率，降低人力成本的效果。

图3为本发明实施例提供的又一种标注方法的流程图，本实施例是在上一实施例的基础上的进一步优化，在基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到第二特征信息之后，标注方法还包括：对所述第一标注数据特征信息和所述第二特征信息进行数据融合，得到所述第二图像数据的目标特征信息；根据所述目标特征信息生成目标标注结果。使目标标注结果包含更多的标注信息，进一步提高标注结果的准确性。

如图3所示，具体包括如下步骤：

S210、获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据。

S220、提取所述第二图像数据的数据特征得到第一特征信息第一标注数据。

S230、基于注意力机制对第一图像数据、第二图像数据、第一标注数据和第一特征信息处理得到第二图像数据的第二特征信息第一标注数据。

S240、对第一标注数据特征信息和第二特征信息进行数据融合，得到第二图像数据的目标特征信息；根据目标特征信息生成目标标注结果。

如图2所示，将第一标注数据特征信息和第二特征信息进行数据融合得到目标特征信息，从而获得更多的标注信息，使第二图像的目标特征信息更加准确。第一标注数据特征信息和第二特征信息进行数据融合得到融合特征图，将该融合特征图输入卷积神经网络模型中，在保持特征信息不变的基础上，降低特征图的深度，之后输入至sigmoid函数中，得到将特征图的范围变换至[0,1]的范围内，从而得到目标标注结果。

可选的，将第一图像数据和第一图像数据对应的标注结果，以及第二图像信息和第二图像信息对应的标注结果一起输入至待训练的图像分割模型中，训练用于分割感兴趣区域的图像分割模型，实现低标注成本的半监督学习过程。可选的，可将上一实施例中预先训练好的标注模型的结构和参数作为图像分割模型的待训练模型，以提高训练效率。还可以使用其它网络结构及参数。

获取第二图像信息即未标注感兴趣区域图像的标注结果，可以为用户提供一定的标注参考依据，提高感兴趣区域标注效率。还可将第一图像数据对应的标注结果和第二图像数据对应的标注结果一起用于感兴趣区域的三维重建，从而提高感兴趣区域三维重建的效率。

本实施例的技术方案，通过获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；在同批次的扫描数据中获取第一图像数据和第二图像数据，更有利于将第一图像数据中的标注信息迁移至第二图像数据，使第二图像数据获取的标注信息更加准确。提取所述第二图像数据的数据特征得到第一特征信息；基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果；对所述第一特征信息和所述第二特征信息进行数据融合，得到所述第二图像数据的目标特征信息；根据所述目标特征信息生成目标标注结果。使目标标注结果包含更多的标注信息，进一步提高标注结果的准确性。以半自动化的方式解决了对图像中的感兴趣区域进行人工标记，工作量大的问题，实现提高感兴趣区域标记效率与准确率，降低人力成本的效果。

本发明实施例提供的一种标注装置，图4为本发明实施例提供的一种标注装置的结构图，该标注装置包括：图像数据获取模块310、第一标注数据特征信息获取模块320、第二特征信息获取模块330和第二标注结果获取模块。

其中，图像数据获取模块310，用于获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；第一标注数据特征信息获取模块320，用于提取所述第二图像数据的数据特征得到第一特征信息；第二特征信息获取模块330，用于基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；第二标注结果获取模块340，用于根据所述第二特征信息生成第二标注结果。

在上述实施例的技术方案中，标记装置还包括：

目标特征信息获取模块，用于对所述第一标注数据特征信息和所述第二特征信息进行数据融合，得到所述第二图像数据的目标特征信息；

目标标注结果生成模块，用于根据所述目标特征信息生成目标标注结果。

在上述实施例的技术方案中，第二特征信息获取模块330，包括：

相关性矩阵确定单元，用于基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵；

标注迁移信息确定单元，用于根据所述第一特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息；

第二特征信息确定单元，用于根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息。

在上述实施例的技术方案中，相关性矩阵确定单元，包括：

参考图像数据确定子单元，用于确定所述第一图像数据中与第二图像数据距离最小的参考图像数据；

相关性矩阵确定子单元，用于基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵和外部相关性矩阵。

在上述实施例的技术方案中，相关性矩阵确定子单元，包括：

特征提取子单元，用于将所述参考图像数据和所述第二图像数据分别进行特征提取得到第一特征图和第二特征图，所述第一特征图和所述第二特征图的尺寸相同；

内部相关性矩阵确定子单元，用于将所述第一特征图和所述第二特征图中的每个元素进行正则化，将正则化后的第一特征图中的每个元素与正则化后的第二特征图中的每个元素分别进行内积计算得到所述内部相关性矩阵。

在上述实施例的技术方案中，相关性矩阵确定子单元，还包括：

目标相关性系数确定子单元，用于根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数；

系数矩阵确定子单元，用于对所述目标相关性系数进行加权求和得到系数矩阵；

距离矩阵确定子单元，用于获取所述第二图像数据中每个像素点和对应的所述第一图像数据中每个像素点之间的距离，得到距离矩阵；

外部相关性矩阵确定子单元，用于将所述系数矩阵除以距离矩阵得到所述外部相关性矩阵。

在上述实施例的技术方案中，目标相关性系数确定子单元具体用于：分别获取所述内部相关性矩阵中，与所述第二特征图中的每个像素点对应的相关性系数；分别对每个像素点对应的相关性系数进行排序；根据相关性系数的排序确定与每个像素点对应的目标相关性系数。

在上述实施例的技术方案中，标注迁移信息确定单元，包括：

有向距离图确定子单元，用于根据所述第一标注数据确定所述参考图像数据的有向距离图；

标注迁移信息确定子单元，用于根据所述有向距离图、所述目标相关性系数和所述第一标注数据特征信息确定所述标注迁移信息。

在上述实施例的技术方案中，有向距离图确定子单元具体用于：计算所述参考图像数据中每个像素点与每个轮廓像素点的最小欧式距离得到有向距离图，在所述有向距离图中感兴趣区域内与感兴趣区域外的像素点对应的最小欧式距离符号相反。

在上述实施例的技术方案中，标注迁移信息确定子单元具体用于：获取所述有向距离图中与所述目标相关性系数对应的有向距离，得到目标有向距离信息；将所述目标有向距离信息和所述第一标注数据特征信息进行融合得到所述标注迁移信息。

在上述实施例的技术方案中，第二特征信息确定单元具体用于：将所述标注迁移信息与所述外部相关性矩阵相乘得到所述第二特征信息。

本发明实施例的技术方案，通过获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；在同批次的扫描数据中获取第一图像数据和第二图像数据，更有利于将第一图像数据中的标注信息迁移至第二图像数据，使第二图像数据获取的标注信息更加准确。提取所述第二图像数据的数据特征得到第一特征信息；基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到所述第二图像数据的第二特征信息；根据所述第二特征信息生成第二标注结果，以半自动化的方式解决了对图像中的感兴趣区域进行人工标记，工作量大的问题，实现提高感兴趣区域标记效率和准确率，降低人力成本的效果。本发明实施例所提供的标注装置可执行本发明任意实施例所提供的标注方法，具备执行方法相应的功能模块和有益效果。

本发明实施例提供的一种标注设备，图5为本发明实施例提供的一种标注设备的结构示意图，如图5所示，该标注设备包括处理器410、存储器420、输入装置430和输出装置440；标注设备中处理器410的数量可以是一个或多个，图5中以一个处理器410为例；标注设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的标注方法对应的程序指令/模块(例如，标注装置中的图像数据获取模块310、第一标注数据特征信息获取模块320、第二特征信息获取模块330和第二标注结果获取模块)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行标注设备的各种功能应用以及数据处理，即实现上述的标注方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至标注设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与标注设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

本发明一实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种标注方法，该方法包括：

获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；

提取所述第二图像数据的数据特征得到第一特征信息；

基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一特征信息处理得到所述第二图像数据的第二特征信息；

根据所述第二特征信息生成第二标注结果。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的标注方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述标注装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种标注方法，其特征在于，包括：

获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；

提取所述第二图像数据的数据特征得到第一标注数据特征信息；

基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；

根据所述第二特征信息生成第二标注结果；

所述基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息，包括：

基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵；

根据所述第一标注数据特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息；

根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息；

基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵，包括：

确定所述第一图像数据中与第二图像数据距离最小的参考图像数据；

基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵和外部相关性矩阵；

所述基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵，包括：

将所述参考图像数据和所述第二图像数据分别进行特征提取得到第一特征图和第二特征图，所述第一特征图和所述第二特征图的尺寸相同；

将所述第一特征图和所述第二特征图中的每个元素进行正则化，将正则化后的第一特征图中的每个元素与正则化后的第二特征图中的每个元素分别进行内积计算得到所述内部相关性矩阵；

根据所述参考图像数据、所述第二图像数据确定外部相关性矩阵，包括：

根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数；

对所述目标相关性系数进行加权求和得到系数矩阵；

获取所述第二图像数据中每个像素点和对应的所述第一图像数据中每个像素点之间的距离，得到距离矩阵；

将所述系数矩阵除以距离矩阵得到所述外部相关性矩阵。

2.根据权利要求1所述的方法，其特征在于，在基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息之后，所述方法还包括：

对所述第一标注数据特征信息和所述第二特征信息进行数据融合，得到所述第二图像数据的目标特征信息；

根据所述目标特征信息生成目标标注结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数，包括：

分别获取所述内部相关性矩阵中，与所述第二特征图中的每个像素点对应的相关性系数；

分别对每个像素点对应的相关性系数进行排序；

根据相关性系数的排序确定与每个像素点对应的目标相关性系数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一标注数据特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息，包括：

根据所述第一标注数据确定所述参考图像数据的有向距离图；

根据所述有向距离图、所述目标相关性系数和所述第一标注数据特征信息确定所述标注迁移信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一标注数据确定所述参考图像数据的有向距离图，包括：

计算所述参考图像数据中每个像素点与每个轮廓像素点的最小欧式距离得到有向距离图，在所述有向距离图中感兴趣区域内与感兴趣区域外的像素点对应的最小欧式距离符号相反。

6.根据权利要求4所述的方法，其特征在于，所述根据所述有向距离图、所述目标相关性系数和所述第一标注数据特征信息确定所述标注迁移信息，包括：

获取所述有向距离图中与所述目标相关性系数对应的有向距离，得到目标有向距离信息；

将所述目标有向距离信息和所述第一标注数据特征信息进行融合得到所述标注迁移信息。

7.根据权利要求1所述的方法，其特征在于，所述根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息，包括：

将所述标注迁移信息与所述外部相关性矩阵相乘得到所述第二特征信息。

8.一种标注装置，其特征在于，包括：

图像数据获取模块，用于获取目标对象的同批次扫描数据中标注了感兴趣区域的第一图像数据和对应的第一标注数据，以及未标注感兴趣区域的第二图像数据；

第一标注数据特征信息获取模块，用于提取所述第二图像数据的数据特征得到第一标注数据特征信息；

第二特征信息获取模块，用于基于注意力机制对所述第一图像数据、所述第二图像数据、所述第一标注数据和所述第一标注数据特征信息处理得到所述第二图像数据的第二特征信息；

所述第二特征信息获取模块，包括：

相关性矩阵确定单元，用于基于所述第二图像数据和所述第一图像数据确定内部相关性矩阵和外部相关性矩阵；

标注迁移信息确定单元，用于根据所述第一标注数据特征信息、所述第一标注数据和所述内部相关性矩阵确定标注迁移信息；

第二特征信息确定单元，用于根据所述标注迁移信息和所述外部相关性矩阵确定所述第二特征信息；

第二标注结果获取模块，用于根据所述第二特征信息生成第二标注结果；

所述相关性矩阵确定单元，包括：

参考图像数据确定子单元，用于确定所述第一图像数据中与第二图像数据距离最小的参考图像数据；

相关性矩阵确定子单元，用于基于所述参考图像数据与所述第二图像数据确定内部相关性矩阵和外部相关性矩阵；

所述相关性矩阵确定子单元，包括：

特征提取子单元，用于将所述参考图像数据和所述第二图像数据分别进行特征提取得到第一特征图和第二特征图，所述第一特征图和所述第二特征图的尺寸相同；

内部相关性矩阵确定子单元，用于将所述第一特征图和所述第二特征图中的每个元素进行正则化，将正则化后的第一特征图中的每个元素与正则化后的第二特征图中的每个元素分别进行内积计算得到所述内部相关性矩阵；

所述相关性矩阵确定子单元，还包括：

目标相关性系数确定子单元，用于根据所述内部相关性矩阵和所述第二特征图确定目标相关性系数；

系数矩阵确定子单元，用于对所述目标相关性系数进行加权求和得到系数矩阵；

距离矩阵确定子单元，用于获取所述第二图像数据中每个像素点和对应的所述第一图像数据中每个像素点之间的距离，得到距离矩阵；

外部相关性矩阵确定子单元，用于将所述系数矩阵除以距离矩阵得到所述外部相关性矩阵。

9.一种标注设备，其特征在于，所述标注设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的标注方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的标注方法。

Images