CN114638963B

CN114638963B - 内窥镜检查中对可疑组织进行识别跟踪的方法及装置

Info

Publication number: CN114638963B
Application number: CN202210535869.0A
Authority: CN
Inventors: 冯健; 邵学军
Original assignee: Qingdao Medcare Digital Engineering Co ltd
Current assignee: Qingdao Medcare Digital Engineering Co ltd
Priority date: 2022-05-18
Filing date: 2022-05-18
Publication date: 2022-08-16
Anticipated expiration: 2042-05-18
Also published as: CN114638963A

Abstract

本发明涉及一种内窥镜检查中对可疑组织进行识别跟踪的方法及装置，方法包括：提取第一感兴趣区域；判断第一列表是否为空；若为空，且第二列表中标识的数量小于预设数量，则将第一感兴趣区域的标识记录在第二列表中；若第二列表中标识的数量大于等于预设数量，则计算第一感兴趣区域与第二列表中各个标识对应的第三感兴趣区域之间的相似度；确定将第一感兴趣区域的标识记录在第二列表中还是对第一列表进行更新；若不为空，则计算第一感兴趣区域与第一列表中各个标识所对应的第二感兴趣区域之间的相似度；确定将第一感兴趣区域的标识记录在第一列表中对应的目标ID下还是记录在第二列表中。本发明可确定哪些感兴趣区域对应同一个目标。

Description

内窥镜检查中对可疑组织进行识别跟踪的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种内窥镜检查中对可疑组织进行识别跟踪的方法及装置。

背景技术

通常，内窥镜检查用来确定被测器官中是否存在可疑的局部区域，例如，息肉、肿瘤或癌细胞，对于息肉、肿瘤或癌细胞数量比较多且检查时间有限的情况下，医生无法准确的区分检查过程中各帧图像在不同视角下的可疑组织是否是同一目标，进而可能影响下一步的处理。为此有必要提供一种确定各帧图像下的可疑组织是否为同一目标的方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种内窥镜检查中对可疑组织进行识别跟踪的方法及装置。

第一方面，本发明实施例提供一种内窥镜检查中对可疑组织进行识别跟踪的方法，包括：

提取内窥镜检查所产生的视频流中的当前帧图像中的感兴趣区域，并将所述当前帧图像中的感兴趣区域作为第一感兴趣区域；

判断第一列表是否为空；

若所述第一列表为空，则判断第二列表中标识的数量是否大于预设数量；若小于所述预设数量，则将所述第一感兴趣区域的标识记录在所述第二列表中；若大于等于所述预设数量，则计算所述第一感兴趣区域与所述第二列表中各个标识对应的第三感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新；

若所述第一列表不为空，则计算所述第一感兴趣区域与所述第一列表中的各个目标ID下各个标识所对应的第二感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中；其中，不为空的所述第一列表中包含至少一个目标ID，每一个目标ID下对应至少一个所述第二感兴趣区域的标识，一个目标ID对应一个可疑组织。

第二方面，本发明实施例提供一种内窥镜检查中对可疑组织进行识别跟踪的装置，包括：

区域提取模块，用于提取内窥镜检查所产生的视频流中的当前帧图像中的感兴趣区域，并将所述当前帧图像中的感兴趣区域作为第一感兴趣区域；

列表判断模块，用于判断第一列表是否为空；

第一记录模块，用于若所述第一列表为空，则判断第二列表中标识的数量是否大于预设数量；若小于所述预设数量，则将所述第一感兴趣区域的标识记录在所述第二列表中；若大于等于所述预设数量，则计算所述第一感兴趣区域与所述第二列表中各个标识对应的第三感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新；

第二记录模块，用于若所述第一列表不为空，则计算所述第一感兴趣区域与所述第一列表中的各个目标ID下各个标识所对应的第二感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中；其中，不为空的所述第一列表中包含至少一个目标ID，每一个目标ID下对应至少一个所述第二感兴趣区域的标识，一个目标ID对应一个可疑组织。

本发明实施例提供的内窥镜检查中对可疑组织进行识别跟踪的方法及装置，由于设置了第一列表和第二列表，在第一列表中存储了目标ID，而一个目标ID下对应的各个标识对应同一个目标，也就是说采用第一列表存储已经确定为同一个目标的各个感兴趣区域的标识，而第二列表中存储的是暂时还没有确定所对应目标的感兴趣区域的标识。当来了一帧图像之后，提取该帧图像中的感兴趣区域作为第一感兴趣区域。在第一列表为空，第二列表内标识数量很少时，将第一感兴趣区域的标识直接记录在第二列表中。当第二列表中标识的数量到达一定程度后，计算第一感兴趣区域和第二列表中各个标识对应的第三感兴趣区域之间的相似度，进而根据相似度决定是对第一列表更新还是对第二列表更新。当第一列表不为空时，计算第一感兴趣区域和第一列表中各个目标ID下的各个标识之间的相似度，进而根据各个相似度决定是对第一列表更新还是对第二列表更新。通过这种方式不断的对第一列表和第二列表更新，尤其是对第一列表的更新，可以得知哪些感兴趣区域对应同一个目标，实现对可疑组织的识别跟踪，这样在可疑组织数量比较多或者检查时间比较有限的情况下，可以非常清楚的区分各个可疑组织。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例中内窥镜检查中对可疑组织进行识别跟踪的方法的流程示意图；

图1b为本发明实施例中内窥镜检查中对可疑组织进行识别跟踪的方法的流程示意图；

图2a为本发明实施例中两个感兴趣区域的检测框的交集的示意图；

图2b为本发明实施例中两个感兴趣区域的检测框的并集的示意图；

图3为本发明实施例中内窥镜检查中对可疑组织进行识别跟踪的装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明实施例提供一种内窥镜检查中对可疑组织进行识别跟踪的方法，参见图1a和图1b，该方法包括如下步骤S10~S40：

S10、提取内窥镜检查所产生的视频流中的当前帧图像中的感兴趣区域，并将所述当前帧图像中的感兴趣区域作为第一感兴趣区域；

可理解的是，逐帧执行本发明实施例提供的方法，即，每接收到一帧图像时，将该帧图像作为当前帧图像，然后提取当前帧图像中的感兴趣区域，即ROI，感兴趣区域为图像中可疑组织所在的区域，例如，息肉、肿瘤等所在的区域。

可理解的是，在一帧图像中可能没有感兴趣区域，可能有一个感兴趣区域，也可能有多个感兴趣区域。如果一帧图像中没有感兴趣区域，则跳过该帧图像，等待下一帧图像。当存在至少一个感兴趣区域时，将每一个感兴趣区域作为一个第一感兴趣区域，以便与下文中的第二感兴趣区域、第三感兴趣区域进行区分。下文中的第二感兴趣区域是指第一列表中的标识所对应的感兴趣区域，第三感兴趣区域是指第二列表中的标识所对应的感兴趣区域。

S20、判断第一列表是否为空；

这里，一个可疑组织作为一个待识别跟踪的目标，一个可疑组织对应一个目标ID，不同的可疑组织对应不同的目标ID。第一列表的作用是存储已经识别出的可疑组织的目标ID以及该目标ID对应的感兴趣区域的标识。

可理解的是，在刚开始的时候，第一列表和第二列表都是空的，通过本方法的进行，第一列表、第二列表中开始有数据。

S30、若所述第一列表为空，则判断第二列表中标识的数量是否大于预设数量；若小于所述预设数量，则将所述第一感兴趣区域的标识记录在所述第二列表中；若大于等于所述预设数量，则计算所述第一感兴趣区域与所述第二列表中各个标识对应的第三感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新；

可理解的是，在刚开始的时候，第一列表是空的，第二列表也是空的，即第二列表中标识的数量小于预设数量，此时直接将提取出的第一感兴趣区域的标识记录在第二列表中。随着第二列表中标识数量的增多，当第二列表中标识的数量等于或者大于预设数量时，计算提取出的第一感兴趣区域与第二列表中各个标识对应的第三感兴趣区域之间的相似度，进而根据计算得到的相似度对第一列表或者第二列表进行更新。

其中，预设第一范围可以根据需要设置，例如，预设第一范围为0.7~0.85，0.7为第一范围的下限值，0.85为第一范围的上限值。当两个感兴趣区域之间的相似度大于下限值时，就可以认为两个感兴趣区域对应的是同一个目标。

在具体实施时，S20中所述根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新，可以包括如下至少一项：

（1）若所述第一感兴趣区域与所述第二列表中至少N个标识对应的第三感兴趣区域之间的相似度均大于所述预设第一范围的下限值，则创建一个目标ID，将所述第一感兴趣区域的标识和所述至少N个标识中的至少一个标识记录在所述目标ID下，并将该目标ID和记录在该目标ID下的标识移至所述第一列表中；其中，N为大于等于2的正整数；

例如，设定其中的N为3。如果提取出的第一感兴趣区域和第二列表中至少3个标识对应的第三感兴趣区域之间的相似度大于预设第一范围的下限值，说明第一感兴趣区域和这至少3个标识对应的第三感兴趣区域对应的是同一个可疑组织，此时创建一个新的目标ID，将第一感兴趣区域的标识和这至少3个标识中的至少1个标识记录在这个新创建的目标ID之下，接着将这个新创建的目标ID和记录在该目标ID下的标识移至第一列表中，从而实现对第一列表的更新，这样第一列表中就存储了刚识别出的可疑组织对应的目标ID以及对应的感兴趣区域的标识。

（2）若所述第二列表中与所述第一感兴趣区域之间的相似度大于所述下限值的第三感兴趣区域的标识的数量小于N个，则将所述第一感兴趣区域的标识记录在所述第二列表中。

也就是说，第一感兴趣区域和第二列表中的各个标识对应的第三感兴趣区域进行相似度计算之后，相似度大于预设第一范围的下限值的数量小于N个，此时并不能确定出一个新的可疑组织，此时先将第一感兴趣区域的标识记录在第二列表中，因此第二列表也可以称为等待列表。

当将第一感兴趣区域的标识记录在第二列表中后，该标识对应的感兴趣区域称之为第三感兴趣区域。同样的，当将第一感兴趣区域的标识移至第一列表后，该标识对应的感兴趣区域称之为第二感兴趣区域。也就是说，在第二列表中的标识的感兴趣区域为第三感兴趣区域，在第一列表中的标识的感兴趣区域为第二感兴趣区域，刚从视频流的图像中提取出来还没有确定将其标识记录在第一列表还是记录在第二列表中的感兴趣区域为第一感兴趣区域。

即，一个感兴趣区域的标识在第一列表中时，该感兴趣区域称为第二感兴趣区域；一个感兴趣区域的标识在第二列表中时，该感兴趣区域称为第三感兴趣区域；既没有记录在第一列表中也没有记录在第二列表中的标识对应的感兴趣区域被称为第一感兴趣区域。

可理解的是，通过执行上述步骤S30，第一列表、第二列表中逐渐有了数据。

S40、若所述第一列表不为空，则计算所述第一感兴趣区域与所述第一列表中的各个目标ID下各个标识所对应的第二感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中。

其中，不为空的所述第一列表中包含至少一个目标ID，每一个目标ID下对应至少一个所述第二感兴趣区域的标识，一个目标ID对应一个可疑组织。

也就是说，当第一列表不为空的时候，计算第一感兴趣区域和第一列表中各个目标ID下的各个标识对应的第二感兴趣区域之间的相似度，进而根据计算得到的各个相似度，确定是记录在第一列表下，还是记录在第二列表下。

在具体实施时，S40中所述根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中，可以包括如下至少一项：

（1）若所述第一感兴趣区域与所述第一列表中一个标识对应的第二感兴趣区域之间的相似度在所述预设第一范围内，则将所述第一感兴趣区域的标识记录在所述第一列表中该第二感兴趣区域的标识所对应的目标ID下；

可理解的是，此时第一列表不为空，在第一列表中包含至少一个目标ID，而一个目标为一个可疑组织，例如，一个息肉、一个肿瘤等。如果一个目标ID对应多个标识，说明这多个标识对应的第二感兴趣区域对应同一个目标，这多个标识对应的第二感兴趣区域可能是在检查过程中不同帧的图像、不同的检查角度下的图像中所提取的感兴趣区域。

如果第一感兴趣区域和一个第二感兴趣区域之间的相似度落在第一范围内时，说明第一感兴趣区域和该第二感兴趣区域对应的是同一个目标，但是又没有那么像，这样将第一感兴趣区域对应的标识添加到第一列表中该第二感兴趣区域的标识所在的目标ID下，形成了该目标ID下的不同样本，通过这种方式也实现了对第一列表的更新。

可理解的是，当将第一感兴趣区域的标识添加到第一列表中后，实现了对第一列表的更新，但是该更新没有增加新的目标ID，而是在已有的目标ID下增加新的标识。

（2）若所述第一感兴趣区域与所述第一列表中各个目标ID下的各个标识所对应的所述第二感兴趣区域之间的相似度均低于所述预设第一范围的下限值，则将所述第一感兴趣区域的标识记录在第二列表中。

可理解的是，有可能出现第一感兴趣区域和各个第二感兴趣区域之间的相似度都小于下限值的情况，此时可以认为第一列表中还没有记录第一感兴趣区域对应的目标信息，所以此时先将第一感兴趣区域的标识添加到第二列表中。

在具体实施时，本发明实施例提供的方法还可以包括如下步骤：

S50、若所述第一感兴趣区域与一个所述第二感兴趣区域之间的相似度大于所述预设第一范围的上限值，则将所述第一感兴趣区域丢弃。

例如，两个感兴趣区域之间的相似度大于0.85，此时相似度是非常高的，可以确定第一感兴趣区域和第二感兴趣区域对应的目标是同一个，但是如果将该第一感兴趣区域的标识添加到该第二感兴趣区域的标识所对应的目标ID下，这样就会形成该目标ID下的两个几乎一样的样本，这样做的意义不大，而且会增加后续的对比时间成本，所以在这种情况下，将第一感兴趣区域丢弃，即该第一感兴趣区域的标识既不添加到第一列表中，也不添加到第二列表中。

其中，本发明实施例中设置了第一范围，只有在相似度处于第一范围时才会将第一感兴趣区域的标识添加到第一列表中，而当相似度大于第一范围的上限值时，将第一感兴趣区域的标识丢弃，这种方式可以称为间隙性引入机制，这样可以保证同一个目标ID下的各个标识对应的第二感兴趣区域具有一定的差别。

在本发明实施例中，计算每一个第一感兴趣区域与任意一个第二感兴趣区域、第三感兴趣区域之间的相似度时，为了方便描述，将第二感兴趣区域、第三感兴趣区域统称为已记录感兴趣区域。

在具体实施时，计算所述第一感兴趣区域和任意一个已记录感兴趣区域之间的相似度，具体可以包括步骤S1~S5：

S1、分别提取所述第一感兴趣区域和所述已记录感兴趣区域中的图像特征向量、检测框位置信息以及所在图像的帧号信息；

其中，图像特征向量体现的是感兴趣区域的图像特征，图像特征向量的提取过程可以包括：将从原图中裁剪下来的感兴趣区域缩放至224*224的分辨率，并将其图像强度归一化到0~1。其中，缩放是为了统一输入到特征提取模型的尺寸大小，并减少可疑组织由观察远近带来的形状大小改变的情况。图像归一化是用来减少光线不均匀造成的干扰。然后采用深度学习的特征提取模型（例如，efficient encoder）提取经过缩放、归一化后的图像中的特征，然后将其拉直后得到图像特征向量。

一般来说，特征提取模型的性能随着模型复杂度的提高而提升，然而特征提取模型越复杂，提取特征向量所需要的资源成本和时间成本就越高。为了平衡这一冲突，我们可以使用efficientnet 作为的深度学习模型的骨干来提取图像的特征。考虑到特征提取模型仅是本实施例使用到的一个子模型，且特征提取模型需要输出实时（20~30帧/秒）结果，我们可以选取efficientnet-B2作为最终的特征提取模型。

其中，检测框位置信息主要可以包括左上角坐标(x0，y0)、宽度(width)、长度(height)等信息，用来描述裁剪出的感兴趣区域在原图像中的位置和检测框的大小。

其中，帧号信息（即frame number），这一信息主要用来描述裁剪出的感兴趣区域在视频流中的时间节点。

S2、计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的相似度，并将该相似度作为第一相似度；

在实际场景中，在计算两个特征向量之间的相似度时，可以但不限于采用Cosinesimilarity方式，即可以但不限于采用余弦相似度的计算函数计算两个特征向量之间的相似度。

也就是说，S2可以具体包括：计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的余弦相似度，并将所述余弦相似度作为所述第一相似度。具体可以采用如下函数：Feature_Sim = cosine_similarity(vector_1, vector_2)，vector_1和vector_2为第一感兴趣区域的图像特征向量和已记录感兴趣区域的图像特征向量。

例如，在n维空间里两个特征向量X（x1，x2，x3，x4……）与y（y1，y2，y3，y4……）之间的余弦相似度的计算公式可以包括：

S3、计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的相似度，并将该相似度作为第二相似度；

可理解的是，同一个目标在图像位置上的变换是一个渐变的过程，所以可以通过位置信息比较来确定两个感兴趣区域之间的相似度。

在具体实施时，在S3中具体可以计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的交并比，并将所述交并比作为所述第二相似度。

参见图2a，展示了两个检测框的交集；参见图2b，展示了两个检测框的并集。所谓的交并比是指交集的面积和并集的面积之间的比值。交并比越接近1，说明两个检测框之间的位置和大小越接近，即两个感兴趣区域之间越相似。而交并比越小，说明两个感兴趣区域的检测框的大小和位置相差越远，两个感兴趣区域之间的相似度越低。

S4、计算所述第一感兴趣区域的帧号信息和所述已记录感兴趣区域的帧号信息之间的相似度，并将该相似度作为第三相似度；

可理解的是，同一个目标在连续帧中出现的概率高于出现在相隔很久的两帧中的概率，即一个目标不会突然的消失或者突然的出现。

也就是说，相邻帧的2个ROI中，检测到同一目标的概率要远高于相距较久远的两个ROI。由于相似度之间的相关性，随着时间的推移成急速(例如，指数级)衰减的形式，故本实施例可以采用如下的第一计算式表征两个ROI的帧号之间的相似性。

在具体实施时，S4中可以采用第一计算式计算所述第三相似度，所述第一计算式包括：

Time_Sim = 1 - 0.2* log(quary_frame - check_frame)

式中，Time_Sim为所述第三相似度，quary_frame为所述第一感兴趣区域所在图像的帧号，check_frame为所述已记录感兴趣区域所在图像的帧号。

其中，该第一计算式的变化趋势随着两帧之间相隔越远，帧号之间的相似度急剧下降。

S5、根据所述第一相似度、所述第二相似度和所述第三相似度，计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度。

可理解的是，通过上述步骤可以得到第一相似度、第二相似度、第三相似度，从而体现了两个感兴趣区域在图像特征、检测框的位置和大小、时间间隔的远近这三个角度上的相似度，基于这三个相似度，可以得到两个感兴趣区域之间的综合相似度。

在具体实施时，S5中可以采用第二计算式计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度，所述第二计算式包括：

Total_Sim = a*Feature_sim+b*Time_Sim+c*IOU_Sim

式中，Total_Sim为所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度，Feature_sim为所述第一相似度，Time_Sim为所述第三相似度，IOU_Sim为所述第二相似度，a、b和c均为权重，a大于b且a大于c。

这里通过特定权重将以上三个相似度结合起来得到最终的相似度，权重a的取值范围可以为0.5-0.9，权重b的取值范围可以为 0.1-0.3，权重c的取值范围可以为0.05-0.2。

可见，通过以上步骤可以计算出每一个第一感兴趣区域和任意一个已记录感兴趣区域之间的相似度，进而根据相似度进入后续的列表更新步骤。

在实际场景中，如果针对一帧图像采用目标检测方法（例如，Yolov5算法）检测到可疑目标，则采用提取感兴趣区域，将所有检测到的检测框以及所属类别（例如，息肉或者肿瘤）留存到动态内存中，进而执行其它步骤。如果没有检测到可疑目标，即在该帧图像中感兴趣区域的数量为0，则跳过该帧图像。

在本发明实施例中，针对每一个感兴趣区域都具有三个信息：图图像特征向量、检测框信息、帧号信息。

可理解的是，本发明实施例提供的内窥镜检查中对可疑组织进行识别跟踪方法，由于设置了第一列表和第二列表，在第一列表中存储了目标ID，而一个目标ID下对应的各个标识对应同一个目标，也就是说采用第一列表存储已经确定为同一个目标的各个感兴趣区域的标识，而第二列表中存储的是暂时还没有确定所对应目标的感兴趣区域的标识。当来了一帧图像之后，提取该帧图像中的感兴趣区域作为第一感兴趣区域。在第一列表为空，第二列表内标识数量很少时，将第一感兴趣区域的标识直接记录在第二列表中。当第二列表中标识的数量到达一定程度后，计算第一感兴趣区域和第二列表中各个标识对应的第三感兴趣区域之间的相似度，进而根据相似度决定是对第一列表更新还是对第二列表更新。当第一列表不为空时，计算第一感兴趣区域和第一列表中各个目标ID下的各个标识之间的相似度，进而根据各个相似度决定是对第一列表更新还是对第二列表更新。通过这种方式不断的对第一列表和第二列表更新，尤其是对第一列表的更新，可以得知哪些感兴趣区域对应同一个目标，实现对可疑组织的识别跟踪，这样在可疑组织数量比较多或者检查时间比较有限的情况下，可以非常清楚的区分各个可疑组织。

第二方面，本发明实施例提供一种内窥镜检查中对可疑组织进行识别跟踪的装置，参见图3，该装置包括：

列表判断模块，用于判断第一列表是否为空；

在一些实施例中，第一记录模块可以具体包括如下单元：

第一记录单元，用于若所述第一感兴趣区域与所述第二列表中至少N个标识对应的第三感兴趣区域之间的相似度均大于所述预设第一范围的下限值，则创建一个目标ID，将所述第一感兴趣区域的标识和所述至少N个标识中的至少一个标识记录在所述目标ID下，并将该目标ID和记录在该目标ID下的标识移至所述第一列表中，实现对所述第一列表的更新；其中，N为大于等于2的正整数；

第二记录单元，用于若所述第二列表中与所述第一感兴趣区域之间的相似度大于所述下限值的第三感兴趣区域的标识的数量小于N个，则将所述第一感兴趣区域的标识记录在所述第二列表中。

在一些实施例中，第二记录模块可以具体包括如下单元：

第三记录单元，用于若所述第一感兴趣区域与所述第一列表中一个标识对应的第二感兴趣区域之间的相似度在所述预设第一范围内，则将所述第一感兴趣区域的标识记录在所述第一列表中该第二感兴趣区域的标识所对应的目标ID下；

第四记录单元，用于若所述第一感兴趣区域与所述第一列表中各个目标ID下的各个标识所对应的所述第二感兴趣区域之间的相似度均低于所述预设第一范围的下限值，则将所述第一感兴趣区域的标识记录在第二列表中。

在一些实施例中，本发明实施例提供的装置还可以包括：

舍弃模块，用于若所述第一感兴趣区域与一个所述第二感兴趣区域之间的相似度大于所述预设第一范围的上限值，则将所述第一感兴趣区域丢弃。

在一些实施例中，所述第二感兴趣区域或第三感兴趣区域为已记录感兴趣区域；第一记录模块或者第二记录模块中均包括相似度计算单元，所述相似度计算单元包括：

信息提取子单元，用于分别提取所述第一感兴趣区域和所述已记录感兴趣区域中的图像特征向量、检测框位置信息以及所在图像的帧号信息；

第一计算子单元，用于计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的相似度，并将该相似度作为第一相似度；

第二计算子单元，用于计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的相似度，并将该相似度作为第二相似度；

第三计算子单元，用于计算所述第一感兴趣区域的帧号信息和所述已记录感兴趣区域的帧号信息之间的相似度，并将该相似度作为第三相似度；

第四计算子单元，用于根据所述第一相似度、所述第二相似度和所述第三相似度，计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度。

进一步的，第一计算子单元具体用于：计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的余弦相似度，并将所述余弦相似度作为所述第一相似度。

进一步的，第二计算子单元具体用于：计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的交并比，并将所述交并比作为所述第二相似度。

进一步的，第三计算子单元具体用于：采用第一计算式计算所述第三相似度，所述第一计算式包括：

Time_Sim = 1 - 0.2* log(quary_frame - check_frame)

进一步的，第四计算子单元具体用于：采用第二计算式计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度，所述第二计算式包括：

Total_Sim = a*Feature_sim+b*Time_Sim+c*IOU_Sim

可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种内窥镜检查中对可疑组织进行识别跟踪的方法，其特征在于，包括：

判断第一列表是否为空；

其中，所述根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新，包括如下的至少一项：若所述第一感兴趣区域与所述第二列表中至少N个标识对应的第三感兴趣区域之间的相似度均大于所述预设第一范围的下限值，则创建一个目标ID，将所述第一感兴趣区域的标识和所述至少N个标识中的至少一个标识记录在所述目标ID下，并将该目标ID和记录在该目标ID下的标识移至所述第一列表中，实现对所述第一列表的更新；其中，N为大于等于2的正整数；若所述第二列表中与所述第一感兴趣区域之间的相似度大于所述下限值的第三感兴趣区域的标识的数量小于N个，则将所述第一感兴趣区域的标识记录在所述第二列表中；

若所述第一列表不为空，则计算所述第一感兴趣区域与所述第一列表中的各个目标ID下各个标识所对应的第二感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中；其中，不为空的所述第一列表中包含至少一个目标ID，每一个目标ID下对应至少一个所述第二感兴趣区域的标识，一个目标ID对应一个可疑组织；

其中，所述根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中，包括：若所述第一感兴趣区域与所述第一列表中一个标识对应的第二感兴趣区域之间的相似度在所述预设第一范围内，则将所述第一感兴趣区域的标识记录在所述第一列表中该第二感兴趣区域的标识所对应的目标ID下；若所述第一感兴趣区域与所述第一列表中各个目标ID下的各个标识所对应的所述第二感兴趣区域之间的相似度均低于所述预设第一范围的下限值，则将所述第一感兴趣区域的标识记录在第二列表中。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述第一感兴趣区域与一个所述第二感兴趣区域之间的相似度大于所述预设第一范围的上限值，则将所述第一感兴趣区域丢弃。

3.根据权利要求1所述的方法，其特征在于，所述第二感兴趣区域或第三感兴趣区域为已记录感兴趣区域；对应的，计算所述第一感兴趣区域和任意一个所述已记录感兴趣区域之间的相似度，包括：

分别提取所述第一感兴趣区域和所述已记录感兴趣区域中的图像特征向量、检测框位置信息以及所在图像的帧号信息；

计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的相似度，并将该相似度作为第一相似度；

计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的相似度，并将该相似度作为第二相似度；

计算所述第一感兴趣区域的帧号信息和所述已记录感兴趣区域的帧号信息之间的相似度，并将该相似度作为第三相似度；

根据所述第一相似度、所述第二相似度和所述第三相似度，计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度。

4.根据权利要求3所述的方法，其特征在于，所述计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的相似度，并将该相似度作为第一相似度，包括：

计算所述第一感兴趣区域的图像特征向量和所述已记录感兴趣区域的图像特征向量之间的余弦相似度，并将所述余弦相似度作为所述第一相似度。

5.根据权利要求3所述的方法，其特征在于，所述计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的相似度，并将该相似度作为第二相似度，包括：

计算所述第一感兴趣区域的检测框位置信息和所述已记录感兴趣区域的检测框位置信息之间的交并比，并将所述交并比作为所述第二相似度。

6.根据权利要求3所述的方法，其特征在于，所述计算所述第一感兴趣区域的帧号信息和所述已记录感兴趣区域的帧号信息之间的相似度，并将该相似度作为第三相似度，包括：采用第一计算式计算所述第三相似度，所述第一计算式包括：

Time_Sim = 1 - 0.2* log(quary_frame - check_frame)

7.根据权利要求3所述的方法，其特征在于，所述根据所述第一相似度、所述第二相似度和所述第三相似度，计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度，包括：采用第二计算式计算所述第一感兴趣区域和所述已记录感兴趣区域之间的相似度，所述第二计算式包括：

Total_Sim = a*Feature_sim+b*Time_Sim+c*IOU_Sim

8.一种内窥镜检查中对可疑组织进行识别跟踪的装置，其特征在于，包括：

列表判断模块，用于判断第一列表是否为空；

第一记录模块，用于若所述第一列表为空，则判断第二列表中标识的数量是否大于预设数量；若小于所述预设数量，则将所述第一感兴趣区域的标识记录在所述第二列表中；若大于等于所述预设数量，则计算所述第一感兴趣区域与所述第二列表中各个标识对应的第三感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第二列表中还是对所述第一列表进行更新；其中，第一记录模块还包括如下单元：第一记录单元，用于若所述第一感兴趣区域与所述第二列表中至少N个标识对应的第三感兴趣区域之间的相似度均大于所述预设第一范围的下限值，则创建一个目标ID，将所述第一感兴趣区域的标识和所述至少N个标识中的至少一个标识记录在所述目标ID下，并将该目标ID和记录在该目标ID下的标识移至所述第一列表中，实现对所述第一列表的更新；其中，N为大于等于2的正整数；第二记录单元，用于若所述第二列表中与所述第一感兴趣区域之间的相似度大于所述下限值的第三感兴趣区域的标识的数量小于N个，则将所述第一感兴趣区域的标识记录在所述第二列表中；

第二记录模块，用于若所述第一列表不为空，则计算所述第一感兴趣区域与所述第一列表中的各个目标ID下各个标识所对应的第二感兴趣区域之间的相似度；根据各个相似度和预设第一范围的关系，确定将所述第一感兴趣区域的标识记录在所述第一列表中对应的目标ID下还是记录在第二列表中；其中，不为空的所述第一列表中包含至少一个目标ID，每一个目标ID下对应至少一个所述第二感兴趣区域的标识，一个目标ID对应一个可疑组织；其中，第二记录模块还包括如下单元：第三记录单元，用于若所述第一感兴趣区域与所述第一列表中一个标识对应的第二感兴趣区域之间的相似度在所述预设第一范围内，则将所述第一感兴趣区域的标识记录在所述第一列表中该第二感兴趣区域的标识所对应的目标ID下；第四记录单元，用于若所述第一感兴趣区域与所述第一列表中各个目标ID下的各个标识所对应的所述第二感兴趣区域之间的相似度均低于所述预设第一范围的下限值，则将所述第一感兴趣区域的标识记录在第二列表中。