CN117788964B - 一种针对病变识别的跳变控制方法和系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种针对病变识别的跳变控制方法和系统，获取待识别内镜视频，从待识别内镜视频中提取当前帧和当前帧数‑2的内镜视频图像对，对内镜视频图像对进行预处理操作，通过hash变换来判断待识别内镜视频是否处于稳定状态；对待识别内镜视频进行病变区域识别，得到病变区域信息；当待识别内镜视频处于稳定状态时，将病变区域信息输入分类模型，得到病变区域信息的分类结果；依次查看病变区域信息的分类列表中是否存在预设数量个分类结果，选取类别数量最多的输出。本发明配合下消化道的检测和分类模型，可以消去偶尔的跳变，改善了在缩小后分类错误的结果，使整体的识别结果更加稳定。

Description

一种针对病变识别的跳变控制方法和系统

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种针对病变识别的跳变控制方法和系统。

背景技术

随着人工智能的发展，深度学习被广泛应用于视频识别方向。医学内镜是检查人体内部组织器官下溃疡、肿瘤、炎症等疾病的重要手段，然而内镜的检查时间久，内容繁杂。为了降低内镜医生的工作量，提高检查的效率，深度学习技术被应用到医学内镜领域。

在深度学习辅助检查的过程中，内镜病变的检测和识别大多是基于经医学图像训练得到的分类模型，模型的性能很大程度上依赖训练数据的数量，在该客观条件下仅靠网络模型提升模型的性能比较困难。

医学视频几乎都是医生手动采集，在采集的过程中因为镜头的移动速度导致的模糊帧，该情况下的识别很可能会因为病变的模糊导致识别错误。其次，一些医学图像难以收集，它的数量对于深度学习训练来说大多处于一个不足的状态，可能会使分类模型的鲁棒性较差，在识别过程中产生类别跳变的情况，影响医生对病情的判断。因为设计一种可以减少病变识别时跳变的策略十分重要。

发明内容

本申请的主要目的在于提供一种可以减少病变识别时跳变的技术方案，以解决现有技术中分类模型的鲁棒性较差，在识别过程中产生类别跳变的情况。

为实现上述目的，本申请提供如下技术方案：

根据本发明第一方面，本发明请求保护一种针对病变识别的跳变控制方法，其特征在于，包括：

获取待识别内镜视频，从所述待识别内镜视频中提取当前帧和当前帧数-2的内镜视频图像对；

对所述内镜视频图像对进行预处理操作，通过hash变换来判断所述待识别内镜视频是否处于稳定状态；

对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息；

当所述待识别内镜视频处于稳定状态时，将所述病变区域信息输入分类模型，得到所述病变区域信息的分类结果；

依次查看所述病变区域信息的分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果。

进一步的，所述对所述内镜视频图像对进行预处理操作，通过hash变换来判断所述待识别内镜视频是否处于稳定状态，还包括：

通过hash变换来判断当前帧和当前帧数-2的内镜视频图像对中的两张图像的差异情况，

如果所述差异情况不大，决策待识别内镜视频稳定，设置稳定的阈值，所述阈值经多次测试得出。

进一步的，所述通过hash变换来判断当前帧和当前帧数-的内镜视频图像对中的两张图像的差异情况，还包括：

将所述当前帧和当前帧数-2的内镜视频图像对转换为灰度图，并进行尺寸标准化处理；

对警告标准化处理的所述当前帧和当前帧数-2的内镜视频图像对进行离散余弦变换；

所述当前帧和当前帧数-2的内镜视频图像对的区别个数，当所述区别个数小于预设值时，认定所述待识别内镜视频处于稳定状态，否则处于不稳定状态。

进一步的，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

所述病变区域信息包括所述病变区域的病变区域坐标、病变区域分类结果、病变失配数量、是否新增病变区域分类结果。

进一步的，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

依次判断所述待识别内镜视频中相隔一帧的病变位置的重合百分比情况，判定前一帧的某个病变与当前帧中某个病变的重合百分比是否大于第一阈值，且该重合百分比是其他帧与当前帧所有病变位置的比对的最大值；

如果满足条件，认为前一帧的某个病变与当前帧中某个病变是同一个，更新病变的位置，如果不满足条件，历史病变失配数+1，新的病变初始化病变的病变区域信息。

进一步的，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

当所述待识别内镜视频中出现连续三帧失配的失配病变，将所述失配病变认定为无效病变，清除所述无效病变的全部信息；

当所述无效病变在重合百分比匹配过程中因不满足匹配成功的条件造成三次失配，当所述无效病变在三帧视频后出现时，被认定为是新的病变。

进一步的，所述当所述待识别内镜视频处于稳定状态时，将所述病变区域信息输入分类模型，得到所述病变区域信息的分类结果，还包括：

将所述病变区域信息输入分类模型，若所述病变区域信息存在历史信息，则将所述病变区域信息的分类结果保存到历史信息的分类结果中，否则将所述病变区域信息的分类结果存储在初始化的分类列表中。

进一步的，所述依次查看所述病变区域信息的分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果，还包括：

初始化分类列表，获取满足稳定条件下第一帧病变区域信息的分类结果，将所述第一帧病变区域信息的分类结果放入所述分类列表中；

获取第二帧病变区域信息的分类结果，将所述第二帧病变区域信息的分类结果放入所述分类列表中，重复直至所有视频帧的病变区域信息的分类结果放入所述分类列表中;

判定所述分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果。

进一步的，当所述待识别内镜视频处于不稳定状态时，通过匹配条件判断是否可以继承之前病变的分类结果；

当所述病变区域信息为未匹配的历史病变时，表示当前帧没有出现但是之前出现过的病变，没有继承需求；

将历史病变的失配数更新为失配数+1;

当所述病变区域信息为未匹配的新增病变时，表示当前帧出现但之前没有出现过的病变，没有继承条件;

当所述病变区域信息为匹配后存在历史信息的病变且当前帧也出现时，判断具有所述病变区域信息的分类结果的帧数量中是否达到预设数量，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果。

根据本发明第二方面，本发明请求保护一种针对病变识别的跳变控制系统，其特征在于，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的一种针对病变识别的跳变控制方法。

本发明涉及计算机视觉技术领域，尤其涉及一种针对病变识别的跳变控制方法和系统，获取待识别内镜视频，从待识别内镜视频中提取当前帧和当前帧数-2的内镜视频图像对，对内镜视频图像对进行预处理操作，通过hash变换来判断待识别内镜视频是否处于稳定状态；对待识别内镜视频进行病变区域识别，得到病变区域信息；当待识别内镜视频处于稳定状态时，将病变区域信息输入分类模型，得到病变区域信息的分类结果；依次查看病变区域信息的分类列表中是否存在预设数量个分类结果，选取类别数量最多的输出。本发明配合下消化道的检测和分类模型，可以消去偶尔的跳变，改善了在缩小后分类错误的结果，使整体的识别结果更加稳定。

附图说明

图1为本申请实施例所请求保护的一种针对病变识别的跳变控制方法的工作流程图；

图2为本申请实施例所请求保护的一种针对病变识别的跳变控制方法的第二工作流程图；

图3为本申请实施例所请求保护的一种针对病变识别的跳变控制方法的图像差异比对流程图；

图4为本申请实施例所请求保护的一种针对病变识别的跳变控制方法的图像差异比对效果图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”“第二”“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。

根据本发明第一实施例，本发明请求保护一种针对病变识别的跳变控制方法，参照附图1,包括步骤：

S1，获取待识别内镜视频，从待识别内镜视频中提取当前帧和当前帧数-2的内镜视频图像对；

S2，对内镜视频图像对进行预处理操作，通过hash变换来判断待识别内镜视频是否处于稳定状态；

S3，对待识别内镜视频进行病变区域识别，得到待识别内镜视频的病变区域信息；

S4，当待识别内镜视频处于稳定状态时，将病变区域信息输入分类模型，得到病变区域信息的分类结果；

S5，依次查看病变区域信息的分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出病变区域信息的分类结果。

进一步的，步骤S2，还包括步骤：

S21，通过hash变换来判断当前帧和当前帧数-2的内镜视频图像对中的两张图像的差异情况，

S22，如果差异情况不大，决策待识别内镜视频稳定，设置稳定的阈值，阈值经多次测试得出。

进一步的，参照图2，步骤S21，还包括：

S211，将当前帧和当前帧数-2的内镜视频图像对转换为灰度图，并进行尺寸标准化处理；

S212，对警告标准化处理的当前帧和当前帧数-2的内镜视频图像对进行离散余弦变换；

S213，当前帧和当前帧数-2的内镜视频图像对的区别个数，当区别个数小于预设值时，认定待识别内镜视频处于稳定状态，否则处于不稳定状态。

其中，参照图3和4，在该实施例中，先将当前帧和当前帧数-2的内镜视频图像转为灰度图，resize处理到50*50的尺寸，对两张图像进行离散余弦的变换，计算经离散余弦的输出的两个矩阵之间不同点的总和，如果数量大于40，认为视频属于晃动状态，不满足稳定条件，如果数量小于40，认为视频相对稳定；

其中，离散余弦变换具体操作为：

将50*50的图像分解成50*50的图像块，将RGB转换成YUV，舍弃高频分量，保留低频分量，对图像块进行量化压缩，对维度为N*N的图像做DCT变换的公式如下：

；

其中为输出，/>，/>为补偿系数，/>为DCT系数的下标，是输出结果数据的索引，k,l=0,1,2...N-1，N为变换元素的数目，此处为输入的维度，也就是50，x[/>]是输入，m和n是输入数据的下标，x[/>]代表输入x在[/>]坐标的图像块，m和n的范围是0～N-1。

进一步的，步骤S3，还包括：

病变区域信息包括病变区域的病变区域坐标、病变区域分类结果、病变失配数量、是否新增病变区域分类结果。

进一步的，步骤S3，还包括：

依次判断待识别内镜视频中相隔一帧的病变位置的重合百分比情况，判定前一帧的某个病变与当前帧中某个病变的重合百分比是否大于第一阈值，且该重合百分比是其他帧与当前帧所有病变位置的比对的最大值；

如果满足条件，认为前一帧的某个病变与当前帧中某个病变是同一个，更新病变的位置，如果不满足条件，历史病变失配数+1，新的病变初始化病变的病变区域信息。

进一步的，步骤S3，还包括：

当待识别内镜视频中出现连续三帧失配的失配病变，将失配病变认定为无效病变，清除无效病变的全部信息；

当无效病变在重合百分比匹配过程中因不满足匹配成功的条件造成三次失配，当无效病变在三帧视频后出现时，被认定为是新的病变。

其中，在该实施例中，对使用的具体名称解释如下：

未匹配的历史病变：之前保存过的某病变位置信息与当前帧出现的病变位置未达到匹配条件，也就是历史病变在当前帧失配;

未匹配的新增病变：当前帧某病变的位置与之前出现过的病变位置未达到匹配条件;

与历史病变匹配成功的新增病变：当前帧的某病变位置与之前出现过的病变位置相匹配，认为是同一病变。

进一步的，步骤S4，还包括：

将病变区域信息输入分类模型，若病变区域信息存在历史信息，则将病变区域信息的分类结果保存到历史信息的分类结果中，否则将病变区域信息的分类结果存储在初始化的分类列表中。

进一步的，步骤S5，还包括：

S51，初始化分类列表，获取满足稳定条件下第一帧病变区域信息的分类结果，将第一帧病变区域信息的分类结果放入分类列表中；

S52，获取第二帧病变区域信息的分类结果，将第二帧病变区域信息的分类结果放入分类列表中，重复直至所有视频帧的病变区域信息的分类结果放入分类列表中;

S53，判定分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出病变区域信息的分类结果。

其中，在该实施例中，在稳定条件满足的情况下，当前帧的病变输入分类模型，未匹配的历史病变失配数+1；未匹配的新病变输入分类模型，得到当前帧的结果，保存到分类列表；与历史病变匹配成功的新增病变可以输入分类模型，将得到的当前帧加入到分类列表中，再从中选取数量最多的类别输出。

参照表1，在15-26帧中，相隔一帧之间的病变都满足iou匹配的条件，所以这12帧的病变是同一病变。分类模型在满足hash的稳定条件下开启分类，在19、20、22、23帧有分类结果，但是储存的结果列表长度不满足5，没有类别的输出。在25、26帧时满足该条件，输出列表中数目最多的类别1。

表1病变位置分类结果输出表

进一步的，该方法还包括：

当待识别内镜视频处于不稳定状态时，通过匹配条件判断是否可以继承之前病变的分类结果；

当病变区域信息为未匹配的历史病变时，表示当前帧没有出现但是之前出现过的病变，没有继承需求；

将历史病变的失配数更新为失配数+1;

当病变区域信息为未匹配的新增病变时，表示当前帧出现但之前没有出现过的病变，没有继承条件;

当病变区域信息为匹配后存在历史信息的病变且当前帧也出现时，判断具有病变区域信息的分类结果的帧数量中是否达到预设数量，如果是，选取类别数量最多的输出，否则选择不输出病变区域信息的分类结果。

其中，在该实施例中，条件不满足的情况下，当前帧的病变是不会输入分类模型的，只能通过匹配条件判断是否可以继承之前病变的分类结果。未匹配的历史病变表示当前帧没有出现的但是之前出现过的病变，没有继承需求。所以只需要将历史病变的失配数更新到失配数+1;未匹配的新增病变表示当前帧才出现，之前没有出现过的病变，没有继承条件;只有存在历史信息且当前帧也匹配上的病变才需要判断是否可以继承历史结果。

以肠息肉的nice分型为例，新增病变位置信息box1=[x1,y1,x2,y2]=[1384,495,1557,637]（病变位置的左上点与右下点坐标值），输出的nice结果为1，(1)若存在历史病变的历史信息为：分类结果列表=[1,1,2,2]，位置box0=[1396,494,1552,623]，更新位置信息，将历史位置信息box0更新为box1，将分类列表更新为[1,1,2,2,1]，输出的分类结果为1；(2)若不存在历史病变，则保存新病变的位置信息和分类结果1到分类列表，保存完分类列表为[1]。

根据本发明第二实施例，本发明请求保护一种针对病变识别的跳变控制系统，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现的一种针对病变识别的跳变控制方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围。

以上对发明的具体实施方式进行了详细说明，但其只作为范例，本申请并不限制于以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本申请的范畴之中，因此，在不脱离本申请的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本申请的范围内。

Claims (9)

1.一种针对病变识别的跳变控制方法，其特征在于，包括：

获取待识别内镜视频，从所述待识别内镜视频中提取当前帧和当前帧数-2的内镜视频图像对；

对所述内镜视频图像对进行预处理操作，通过hash变换来判断所述待识别内镜视频是否处于稳定状态；

对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息；

当所述待识别内镜视频处于稳定状态时，将所述病变区域信息输入分类模型，得到所述病变区域信息的分类结果；

依次查看所述病变区域信息的分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果；

所述依次查看所述病变区域信息的分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果，还包括：

初始化分类列表，获取满足稳定条件下第一帧病变区域信息的分类结果，将所述第一帧病变区域信息的分类结果放入所述分类列表中；

获取第二帧病变区域信息的分类结果，将所述第二帧病变区域信息的分类结果放入所述分类列表中，重复直至所有视频帧的病变区域信息的分类结果放入所述分类列表中;

判定所述分类列表中是否存在预设数量个分类结果，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果。

2.根据权利要求1所述的一种针对病变识别的跳变控制方法，其特征在于，所述对所述内镜视频图像对进行预处理操作，通过hash变换来判断所述待识别内镜视频是否处于稳定状态，还包括：

通过hash变换来判断当前帧和当前帧数-2的内镜视频图像对中的两张图像的差异情况，

如果所述差异情况不大，决策待识别内镜视频稳定，设置稳定的阈值，所述阈值经多次测试得出。

3.根据权利要求2所述的一种针对病变识别的跳变控制方法，其特征在于，所述通过hash变换来判断当前帧和当前帧数-的内镜视频图像对中的两张图像的差异情况，还包括：

将所述当前帧和当前帧数-2的内镜视频图像对转换为灰度图，并进行尺寸标准化处理；

对警告标准化处理的所述当前帧和当前帧数-2的内镜视频图像对进行离散余弦变换；

所述当前帧和当前帧数-2的内镜视频图像对的区别个数，当所述区别个数小于预设值时，认定所述待识别内镜视频处于稳定状态，否则处于不稳定状态。

4.根据权利要求1所述的一种针对病变识别的跳变控制方法，其特征在于，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

所述病变区域信息包括所述病变区域的病变区域坐标、病变区域分类结果、病变失配数量、是否新增病变区域分类结果。

5.根据权利要求4所述的一种针对病变识别的跳变控制方法，其特征在于，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

依次判断所述待识别内镜视频中相隔一帧的病变位置的重合百分比情况，判定前一帧的某个病变与当前帧中某个病变的重合百分比是否大于第一阈值，且该重合百分比是其他帧与当前帧所有病变位置的比对的最大值；

如果满足条件，认为前一帧的某个病变与当前帧中某个病变是同一个，更新病变的位置，如果不满足条件，历史病变失配数+1，新的病变初始化病变的病变区域信息。

6.根据权利要求5所述的一种针对病变识别的跳变控制方法，其特征在于，所述对所述待识别内镜视频进行病变区域识别，得到所述待识别内镜视频的病变区域信息，还包括：

当所述待识别内镜视频中出现连续三帧失配的失配病变，将所述失配病变认定为无效病变，清除所述无效病变的全部信息；

当所述无效病变在重合百分比匹配过程中因不满足匹配成功的条件造成三次失配，当所述无效病变在三帧视频后出现时，被认定为是新的病变。

7.根据权利要求1所述的一种针对病变识别的跳变控制方法，其特征在于，所述当所述待识别内镜视频处于稳定状态时，将所述病变区域信息输入分类模型，得到所述病变区域信息的分类结果，还包括：

将所述病变区域信息输入分类模型，若所述病变区域信息存在历史信息，则将所述病变区域信息的分类结果保存到历史信息的分类结果中，否则将所述病变区域信息的分类结果存储在初始化的分类列表中。

8.根据权利要求1所述的一种针对病变识别的跳变控制方法，其特征在于，当所述待识别内镜视频处于不稳定状态时，通过匹配条件判断是否可以继承之前病变的分类结果；

当所述病变区域信息为未匹配的历史病变时，表示当前帧没有出现但是之前出现过的病变，没有继承需求；

将历史病变的失配数更新为失配数+1;

当所述病变区域信息为未匹配的新增病变时，表示当前帧出现但之前没有出现过的病变，没有继承条件;

当所述病变区域信息为匹配后存在历史信息的病变且当前帧也出现时，判断具有所述病变区域信息的分类结果的帧数量中是否达到预设数量，如果是，选取类别数量最多的输出，否则选择不输出所述病变区域信息的分类结果。

9.一种针对病变识别的跳变控制系统，其特征在于，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的一种针对病变识别的跳变控制方法。