CN114359273A - 异常消化内镜视频的检测方法及装置 - Google Patents

Abstract

本申请提供一种异常消化内镜视频的检测方法及装置，消化内镜视频可以是胃镜视频、肠镜视频等，该异常消化内镜视频的检测方法包括：获取待检测消化内镜视频；对待检测消化内镜视频解码，得多个第一消化内镜图像；将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。本申请可以提高异常消化内镜视频的检测效率。

Description

异常消化内镜视频的检测方法及装置

技术领域

本申请主要涉及人工智能技术领域，具体涉及一种异常消化内镜视频的检测方法及装置。

背景技术

内镜报告是一种应用广泛的医学图文报告形式，是一种方便患者储存、方便医师查阅的直观完整的消化内镜检查总结性文件。内镜报告是疾病的诊治随访、会诊交流、医疗鉴定等场景的客观依据。上消化道内镜检查过程中，消化内镜会对上消化道拍摄，形成消化内镜视频。内镜医师会查阅和回顾消化内镜视频，以形成最终的总结性内镜检查图文报告。临床实际环境中，由于不同内镜医师工作经验、工作习惯和临床环境等因素的干扰，采集的消化内镜视频可能出现异常，导致不能准确分析。现有技术中对消化内镜视频异常识别主要是依靠人工检测，异常消化内镜视频的检测效率较低。

也即，现有技术中异常消化内镜视频的检测效率较低。

发明内容

本申请提供一种异常消化内镜视频的检测方法及装置，旨在解决现有技术中异常消化内镜视频的检测效率较低的问题。

第一方面，本申请提供一种异常消化内镜视频的检测方法，所述异常消化内镜视频的检测方法应用于异常消化内镜视频的检测系统，所述异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，所述计算机设备用于执行所述异常消化内镜视频的检测方法，所述异常消化内镜视频的检测方法包括：

获取待检测消化内镜视频；

对所述待检测消化内镜视频解码，得多个第一消化内镜图像；

将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；

将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到所述待检测消化内镜视频的结果类别数量；

若所述待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定所述待检测消化内镜视频为异常消化内镜视频。

可选地，所述将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果，包括：

从所述多个第一消化内镜图像抽取多个第二消化内镜图像，其中，所述第二消化内镜图像的数量少于所述第一消化内镜图像的数量；

将所述多个第二消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第二部位分类结果；

基于所述多个第二部位分类结果确定所述多个第一部位分类结果。

可选地，所述基于所述多个第二部位分类结果确定所述多个第一部位分类结果，包括：

判断所述多个第二部位分类结果中是否存在目标部位分类结果；

若不存在所述目标部位分类结果，则从所述多个第一消化内镜图像抽取多个第三消化内镜图像，其中，所述第三消化内镜图像和所述第二消化内镜图像的数量之和小于所述第一消化内镜图像的数量；

将所述多个第三消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第三部位分类结果；

将所述多个第三部位分类结果和所述多个第二部位分类结果确定为所述多个第一部位分类结果。

可选地，所述从所述多个第一消化内镜图像抽取多个第三消化内镜图像，包括：

基于预设部位排序方式对所述目标部位分类结果和所述多个第二部位分类结果进行排序，得到多个第四部位分类结果，其中，不同的部位分类结果的排序位置不同；

获取多个第四部位分类结果中与所述目标部位分类结果前后相邻的两个第四部位分类结果对应的两个第一消化内镜图像的两个目标拍摄时间；

从所述多个第一消化内镜图像获取拍摄时间位于所述两个目标拍摄时间之间的图像，得到所述多个第三消化内镜图像。

可选地，所述目标部位分类结果为胃底类别和胃窦类别中的任意一种。

可选地，所述异常消化内镜视频的检测方法，还包括：

当多个所述待检测消化内镜视频中异常消化内镜视频的数量占比超过预设占比时，获取多个参考消化内镜视频，其中，所述多个参考消化内镜视频中标注有标注异常消化内镜视频和标注正常消化内镜视频；

基于所述消化内镜图像预测模型确定所述多个参考消化内镜视频中的预测异常消化内镜视频的数量占比；

若所述预测异常消化内镜视频的数量占比与所述标注异常消化内镜视频的数量占比的偏差超过预设偏差，则更新所述消化内镜图像预测模型。

可选地，所述异常消化内镜视频的检测系统包括网络连接的云端服务器、本地服务器以及计算机设备，所述获取待检测消化内镜视频，之前，还包括：

获取存储在本地服务器的本地消化内镜图像预测模型的本地模型版本号；

向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号；

若所述云端模型版本号与所述本地模型版本号不同，则获取本地服务器发送的硬件校验码；

判断所述硬件校验码是否与预设校验码匹配；

若所述硬件校验码与预设校验码匹配，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中所述云端模型版本号对应的云端消化内镜图像预测模型，以将所述消化内镜图像预测模型部署在所述本地服务器。

第二方面，本申请提供一种异常消化内镜视频的检测装置，所述异常消化内镜视频的检测装置应用于异常消化内镜视频的检测系统，所述异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，所述计算机设备中集成有所述异常消化内镜视频的检测装置，所述异常消化内镜视频的检测装置用于执行所述异常消化内镜视频的检测方法，所述异常消化内镜视频的检测装置包括：

获取单元，用于获取待检测消化内镜视频；

解码单元，用于对所述待检测消化内镜视频解码，得多个第一消化内镜图像；

部位分类单元，用于将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；

第一确定单元，用于将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到所述待检测消化内镜视频的结果类别数量；

第二确定单元，若所述待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定所述待检测消化内镜视频为异常消化内镜视频。

可选地，所述部位分类单元，用于：

从所述多个第一消化内镜图像抽取多个第二消化内镜图像，其中，所述第二消化内镜图像的数量少于所述第一消化内镜图像的数量；

将所述多个第二消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第二部位分类结果；

基于所述多个第二部位分类结果确定所述多个第一部位分类结果。

可选地，所部位分类单元，用于：

判断所述多个第二部位分类结果中是否存在目标部位分类结果；

若不存在所述目标部位分类结果，则从所述多个第一消化内镜图像抽取多个第三消化内镜图像，其中，所述第三消化内镜图像和所述第二消化内镜图像的数量之和小于所述第一消化内镜图像的数量；

将所述多个第三消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第三部位分类结果；

将所述多个第三部位分类结果和所述多个第二部位分类结果确定为所述多个第一部位分类结果。

可选地，所述部位分类单元，用于：

基于预设部位排序方式对所述目标部位分类结果和所述多个第二部位分类结果进行排序，得到多个第四部位分类结果，其中，不同的部位分类结果的排序位置不同；

获取多个第四部位分类结果中与所述目标部位分类结果前后相邻的两个第四部位分类结果对应的两个第一消化内镜图像的两个目标拍摄时间；

从所述多个第一消化内镜图像获取拍摄时间位于所述两个目标拍摄时间之间的图像，得到所述多个第三消化内镜图像。

可选地，所述目标部位分类结果为胃底类别和胃窦类别中的任意一种。

可选地，所述第二确定单元，用于：

当多个所述待检测消化内镜视频中异常消化内镜视频的数量占比超过预设占比时，获取多个参考消化内镜视频，其中，所述多个参考消化内镜视频中标注有标注异常消化内镜视频和标注正常消化内镜视频；

基于所述消化内镜图像预测模型确定所述多个参考消化内镜视频中的预测异常消化内镜视频的数量占比；

若所述预测异常消化内镜视频的数量占比与所述标注异常消化内镜视频的数量占比的偏差超过预设偏差，则更新所述消化内镜图像预测模型。

可选地，所述异常消化内镜视频的检测系统包括网络连接的云端服务器、本地服务器以及计算机设备，所述获取单元，用于：

获取存储在本地服务器的本地消化内镜图像预测模型的本地模型版本号；

向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号；

若所述云端模型版本号与所述本地模型版本号不同，则获取本地服务器发送的硬件校验码；

判断所述硬件校验码是否与预设校验码匹配；

若所述硬件校验码与预设校验码匹配，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中所述云端模型版本号对应的云端消化内镜图像预测模型，以将所述消化内镜图像预测模型部署在所述本地服务器。

第三方面，本申请提供一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的异常消化内镜视频的检测方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的异常消化内镜视频的检测方法中的步骤。

本申请提供一种异常消化内镜视频的检测方法及装置，该异常消化内镜视频的检测方法应用于异常消化内镜视频的检测系统，异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，计算机设备用于执行异常消化内镜视频的检测方法，异常消化内镜视频的检测方法包括：获取待检测消化内镜视频；对待检测消化内镜视频解码，得多个第一消化内镜图像；将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。本申请将消化内镜视频解码成多个第一消化内镜图像，然后使用神经网络模型进行部位分类，得到第一部位分类结果，然后统计第一部位分类结果的结果类别数量，得到待检测消化内镜视频的结果类别数量，可以反映消化内镜视频中拍摄到的部位数，然后和预设类别数量比较，当待检测消化内镜视频的结果类别数量不超过预设类别数量，说明待检测消化内镜视频中识别到的部位数量过低，该待检测消化内镜视频异常，从而可以快速准确地识别异常消化内镜视频，提高异常消化内镜视频的检测效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的异常消化内镜视频的检测系统的场景示意图；

图2是本申请实施例中提供的异常消化内镜视频的检测方法的一个实施例流程示意图；

图3是本申请实施例中提供的异常消化内镜视频的检测装置的一个实施例结构示意图；

图4是本申请实施例中提供的计算机设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种异常消化内镜视频的检测方法及装置，以下分别进行详细说明。

请参阅图1，图1是本申请实施例提供的异常消化内镜视频的检测系统的场景示意图，该异常消化内镜视频的检测系统可以包括计算机设备100，计算机设备100中集成有异常消化内镜视频的检测装置。异常消化内镜视频的检测系统包括网络连接的本地服务器20、计算机设备100以及云端服务器30，计算机设备100用于执行异常消化内镜视频的检测方法。

本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。

本申请实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该异常消化内镜视频的检测系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。

另外，如图1所示，该异常消化内镜视频的检测系统还可以包括存储器200，用于存储数据。

需要说明的是，图1所示的异常消化内镜视频的检测系统的场景示意图仅仅是一个示例，本申请实施例描述的异常消化内镜视频的检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着异常消化内镜视频的检测系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

首先，本申请实施例中提供一种异常消化内镜视频的检测方法，该异常消化内镜视频的检测方法包括：获取待检测消化内镜视频；对待检测消化内镜视频解码，得多个第一消化内镜图像；将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

如图2所示，图2是本申请实施例中异常消化内镜视频的检测方法的一个实施例流程示意图，该异常消化内镜视频的检测方法包括如下步骤S21~S25：

S21、获取待检测消化内镜视频。

其中，待检测消化内镜视频可以是胃镜视频或者肠镜视频。本申请实施例中，待检测消化内镜视频是胃镜视频。

本申请实施例中，待检测消化内镜视频可以是医生给病人做胃镜时得到的胃镜视频。

在一个具体的实施例中，获取待检测消化内镜视频，之前，可以包括：

（1）获取存储在本地服务器的本地消化内镜图像预测模型的本地模型版本号。

本申请实施例中，每个模型对应一个版本号，可根据具体情况设定。

（2）向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号。

其中，云端服务器包括服务端升级模块和应用程序升级模块。服务端升级模块脚本事先由开发人员开发完成后，统一提交到版本管理系统进行管理，通过执行服务端升级模块脚本同时标记是否执行成功，如果失败了则再次执行。应用程序升级模块通过持续集成持续发布的流程建立起所有服务的版本，并将软件版本的信息固化到应用版本的控制系统中，计算机设备对版本号进行区别，只对最新的软件版本进行更新。云端服务器保存有最新版本的消化内镜图像预测模型，对应版本号为云端模型版本号。向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号。

（3）若云端模型版本号与本地模型版本号不同，则获取本地服务器发送的硬件校验码。

（4）判断硬件校验码是否与预设校验码匹配。

（5）若硬件校验码与预设校验码匹配，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中云端模型版本号对应的云端消化内镜图像预测模型，以将消化内镜图像预测模型部署在本地服务器。

进一步的，若硬件校验码与预设校验码匹配，则判断云端模型版本号的更新时间是否晚于本地模型版本号的更新时间，若云端模型版本号的更新时间晚于本地模型版本号的更新时间，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中云端模型版本号对应的云端消化内镜图像预测模型，以将消化内镜图像预测模型部署在本地服务器。确保为最新版本。

待更新升级完成之后，计算机设备启动软件自检模式，从指定路径中依次加载待检测消化内镜视频。

S22、对待检测消化内镜视频解码，得多个第一消化内镜图像。

在一个具体的实施例中，对待检测消化内镜视频逐帧解码，得多个第一消化内镜图像。相邻两个第一消化内镜图像的拍摄时间的间隔为一帧，一帧可以为10ms-30ms，根据具体请情况设定即可。

在一个具体的实施例中，对待检测消化内镜视频逐帧解码，得多个第五消化内镜图像。对多个第五消化内镜图像中每两张第五消化内镜图像求图像相似度，将图像相似度高于预设相似度的两张第五消化内镜图像中的任意一张剔除，得到多个第一消化内镜图像。预设相似度可以根据具体情况设定，例如90%。有可能消化内镜在移动拍照时，移动距离过小，或未移动，此时图像很相似，很大几率拍摄的是同一部位，此时将相似度高的两张图像中的一张剔除，减轻后续模型预测的压力，提高准确率。

具体的，将多个第五消化内镜图像缩小至预定尺寸。这样做会去除图片的细节，只保留结构、明暗等基本信息，目的是统一图片大小，保证后续图片都有相同长度的哈希值，方便距离计算。对多个第五消化内镜图像灰度化处理，得到对应的多个灰度图，分别计算各个灰度图中像素的灰度平均值；根据灰度图中像素的灰度平均值确定灰度图的哈希值；在各个灰度图中，将每个像素的灰度与平均值进行比较；大于或等于平均值，记为1，小于平均值，记为0，由此生成二进制数组的哈希值。对多个第五消化内镜图像中任意两张第五消化内镜图像的灰度图配对计算汉明距离，得到多个第五消化内镜图像中任意两张图像的图像相似度。其中，汉明距离越近，图像相似度越高。

S23、将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果。

在一个具体的实施例中，将多个第一消化内镜图像分别输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一消化内镜图像对应的多个部位分类结果，将多个第一消化内镜图像对应的多个部位分类结果确定为多个第一部位分类结果。例如，第一消化内镜图像的数量为n，则得到n个第一部位分类结果。

其中，消化内镜图像预测模型可以为经过训练的ResNet50网络。在一个具体的实施例中，构建消化内镜图像分类网络，可以包括：

（1）数据集的准备：由专业医师对内镜图片进行分类标记，标签为上消化道26个部位类型。对原始图片统一缩放到224*224尺寸。

（2）模型的构建与训练：采用ResNet50作为基础神经网络结构，使用Softmax激活函数将维度降低到类别数，向量的每一维度的值代表对应类别的概率，范围0～1，最高值对应的类别为预测的部位类别。

例如，将一张第一消化内镜图像输入消化内镜图像预测模型，得到的第一部位分类结果为：胃窦类别。将另一张第一消化内镜图像输入消化内镜图像预测模型，得到的第一部位分类结果为：胃底类别。

如果每张都进行预测，可能会很耗时，为了提高效率，在另一个具体的实施例中，将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果，可以包括：

（1）从多个第一消化内镜图像抽取多个第二消化内镜图像，其中，第二消化内镜图像的数量少于第一消化内镜图像的数量。

在一个具体的实施例中，对多个第一消化内镜图像随机抽样，得到多个第二消化内镜图像。

在另一个具体的实施例中，按拍摄时间先后对多个第一消化内镜图像排序，得到排序后的多个第一消化内镜图像，按预设时间间隔从排序后的多个第一消化内镜图像抽取多个第二消化内镜图像。预设时间间隔可以为2帧，3帧等。

（2）将多个第二消化内镜图像输入消化内镜图像预测模型进行部位分类，得到多个第二部位分类结果。

将多个第二消化内镜图像分别输入消化内镜图像预测模型进行部位分类，得到多个第二消化内镜图像对应的多个第二部位分类结果。

（3）基于多个第二部位分类结果确定多个第一部位分类结果。

在一个具体的实施例中，将多个第二部位分类结果确定为多个第一部位分类结果。例如，第二消化内镜图像的数量为m，n大于m，则得到m个第二部位分类结果。将多个第二部位分类结果确定为多个第一部位分类结果，得到m个第一部位分类结果。

但是如果直接将多个第二部位分类结果确定为多个第一部位分类结果，可能会存在漏检情况。在另一个具体的实施例中，基于多个第二部位分类结果确定多个第一部位分类结果，可以包括：

（1）判断多个第二部位分类结果中是否存在目标部位分类结果。

其中，目标部位分类结果为胃底类别和胃窦类别中的任意一种。经过对胃部研究发现，胃底和胃窦的漏检率显著高于其他部位，因此，在待检测消化内镜视频中未检测到胃底和胃窦时，需要再次检测确认，确保不漏检胃底和胃窦。

（2）若不存在目标部位分类结果，则从多个第一消化内镜图像抽取多个第三消化内镜图像，其中，第三消化内镜图像和第二消化内镜图像的数量之和小于第一消化内镜图像的数量。

其中，多个第三消化内镜图像与多个第二消化内镜图像之间不存在相同的消化内镜图像。

在一个具体的实施例中，将多个第一消化内镜图像中的多个第二消化内镜图像剔除，得到剔除后的第一消化内镜图像，对剔除后的第一消化内镜图像随机抽样，得到多个第三消化内镜图像。

在另一个具体的实施例中，按拍摄时间先后对多个第一消化内镜图像排序，得到排序后的多个第一消化内镜图像，将多个第二消化内镜图像从排序后的多个第一消化内镜图像中剔除，得到剔除后的多个第一消化内镜图像，按预设时间间隔从剔除后的多个第一消化内镜图像抽取多个第三消化内镜图像。预设时间间隔可以为2帧，3帧等。

在又一个具体的实施例中，若不存在目标部位分类结果，则基于预设部位排序方式对目标部位分类结果和多个第二部位分类结果进行排序，得到多个第四部位分类结果，其中，不同的部位分类结果的排序位置不同。其中，胃底类别可以包括胃底大弯类别、胃底后壁类别、胃底前壁类别、胃底小弯类别。胃窦类别可以包括胃窦大弯类别、胃窦后壁类别、胃窦前壁类别、胃窦小弯类别。例如，预设部位排序方式为：食管类别，排序1；贲门类别，排序2；胃窦大弯类别，排序3；胃窦后壁类别，排序4；胃窦前壁类别，排序5；胃窦小弯类别，排序6；十二指肠球部类别，排序7……胃底大弯类别，排序17；胃底后壁类别，排序18；胃底前壁类别，排序19；胃底小弯类别，排序20……胃底小弯类别，排序26。

接着，获取多个第四部位分类结果中与目标部位分类结果前后相邻的两个第四部位分类结果对应的两个第一消化内镜图像的两个目标拍摄时间。若不存在目标部位分类结果，排序后多个第四部位分类结果分别为：食管类别，排序1，10个；胃窦后壁类别，排序4；十二指肠球部类别，排序7，5个……胃底小弯类别，排序26，4个。目标部位分类结果前后相邻的两个第四部位分类结果分别为食管类别和十二指肠球部类别。则获取食管类别和十二指肠球部类别对应的两个第一消化内镜图像的两个目标拍摄时间。

在获取到两个目标拍摄时间后，两个目标拍摄时间之间拍摄的图像中极有可能存在目标部位分类结果对应的消化内镜图像。然后，从多个第一消化内镜图像获取拍摄时间位于两个目标拍摄时间之间的图像，得到多个第三消化内镜图像。由于更有针对性的获取目标部位分类结果附近的图像，能够降低漏检率，提高部位检出数量，检测结果更符合待检测消化内镜视频的特征。

（3）将多个第三消化内镜图像输入消化内镜图像预测模型进行部位分类，得到多个第三部位分类结果。

将多个第三消化内镜图像分别输入消化内镜图像预测模型进行部位分类，得到多个第三消化内镜图像对应的多个第三部位分类结果。

（4）将多个第三部位分类结果和多个第二部位分类结果确定为多个第一部位分类结果。

例如，第二消化内镜图像的数量为m，n大于m，则得到m个第二部位分类结果。第三消化内镜图像的数量为k，n大于（m+k），则得到k个第三部位分类结果。将多个第三部位分类结果和多个第二部位分类结果确定为多个第一部位分类结果，得到（m+k）个第一部位分类结果。

S24、将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量。

例如，将第一部位分类结果为食管类别的部位分类结果确定为一个结果类别，将第一部位分类结果为胃底小弯类别的部位分类结果确定为一个结果类别。

例如，多个第一部位分类结果为：食管类别，排序1，10个；胃窦后壁类别，排序4；十二指肠球部类别，排序7，5个；……胃底小弯类别，排序26，4个。则结果类别包括：食管类别、胃窦后壁类别、十二指肠球部类别、胃底小弯类别。结果类别数量为4。

S25、若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

其中，预设类别数量可以根据具体情况设定，例如预设类别数量为消化内镜图像预测模型可分类数量的预设比例。例如，消化内镜图像预测模型可以将消化内镜图像分为26个类别，可分类数量为26，预设类别数量为22。

若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

进一步的，异常消化内镜视频的检测方法还可以包括：

（1）当多个待检测消化内镜视频中异常消化内镜视频的数量占比超过预设占比时，获取多个参考消化内镜视频，其中，多个参考消化内镜视频中标注有标注异常消化内镜视频和标注正常消化内镜视频。

预设占比可以根据具体设定，例如多个待检测消化内镜视频的数量为100，预设占比为20%。多个参考消化内镜视频可以通过人工标注，例如，专业医生观看参考消化内镜视频，然后根据经验判断参考消化内镜视频是否异常，将每个参考消化内镜视频标注成标注异常消化内镜视频和标注正常消化内镜视频。

（2）基于消化内镜图像预测模型确定多个参考消化内镜视频中的预测异常消化内镜视频的数量占比。

具体的，将多个参考消化内镜视频分别作为待检测消化内镜视频，执行S21-S25，得到预测异常消化内镜视频的数量，得到多个参考消化内镜视频中的预测异常消化内镜视频的数量占比。

（3）若预测异常消化内镜视频的数量占比与标注异常消化内镜视频的数量占比的偏差超过预设偏差，则更新消化内镜图像预测模型。

预设偏差可以根据具体情况设定，例如5%，6%，等。例如，预测异常消化内镜视频的数量占比为30%，标注异常消化内镜视频的数量占比为20%，偏差为10%，超过预设偏差，说明消化内镜图像预测模型性能有所下降，需要更新消化内镜图像预测模型。

为了更好实施本申请实施例中异常消化内镜视频的检测方法，在异常消化内镜视频的检测方法基础之上，本申请实施例中还提供一种异常消化内镜视频的检测装置，异常消化内镜视频的检测装置应用于异常消化内镜视频的检测系统，异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，计算机设备中集成有异常消化内镜视频的检测装置，异常消化内镜视频的检测装置用于执行异常消化内镜视频的检测方法。如图3所示，异常消化内镜视频的检测装置400包括：

获取单元401，用于获取待检测消化内镜视频；

解码单元402，用于对待检测消化内镜视频解码，得多个第一消化内镜图像；

部位分类单元403，用于将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；

第一确定单元404，用于将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；

第二确定单元405，若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

可选地，部位分类单元403，用于：

从多个第一消化内镜图像抽取多个第二消化内镜图像，其中，第二消化内镜图像的数量少于第一消化内镜图像的数量；

将多个第二消化内镜图像输入消化内镜图像预测模型进行部位分类，得到多个第二部位分类结果；

基于多个第二部位分类结果确定多个第一部位分类结果。

可选地，所部位分类单元403，用于：

判断多个第二部位分类结果中是否存在目标部位分类结果；

若不存在目标部位分类结果，则从多个第一消化内镜图像抽取多个第三消化内镜图像，其中，第三消化内镜图像和第二消化内镜图像的数量之和小于第一消化内镜图像的数量；

将多个第三消化内镜图像输入消化内镜图像预测模型进行部位分类，得到多个第三部位分类结果；

将多个第三部位分类结果和多个第二部位分类结果确定为多个第一部位分类结果。

可选地，部位分类单元403，用于：

基于预设部位排序方式对目标部位分类结果和多个第二部位分类结果进行排序，得到多个第四部位分类结果，其中，不同的部位分类结果的排序位置不同；

获取多个第四部位分类结果中与目标部位分类结果前后相邻的两个第四部位分类结果对应的两个第一消化内镜图像的两个目标拍摄时间；

从多个第一消化内镜图像获取拍摄时间位于两个目标拍摄时间之间的图像，得到多个第三消化内镜图像。

可选地，目标部位分类结果为胃底类别和胃窦类别中的任意一种。

可选地，第二确定单元405，用于：

当多个待检测消化内镜视频中异常消化内镜视频的数量占比超过预设占比时，获取多个参考消化内镜视频，其中，多个参考消化内镜视频中标注有标注异常消化内镜视频和标注正常消化内镜视频；

基于消化内镜图像预测模型确定多个参考消化内镜视频中的预测异常消化内镜视频的数量占比；

若预测异常消化内镜视频的数量占比与标注异常消化内镜视频的数量占比的偏差超过预设偏差，则更新消化内镜图像预测模型。

可选地，异常消化内镜视频的检测系统包括网络连接的云端服务器、本地服务器以及计算机设备，获取单元401，用于：

获取存储在本地服务器的本地消化内镜图像预测模型的本地模型版本号；

向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号；

若云端模型版本号与本地模型版本号不同，则获取本地服务器发送的硬件校验码；

判断硬件校验码是否与预设校验码匹配；

若硬件校验码与预设校验码匹配，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中云端模型版本号对应的云端消化内镜图像预测模型，以将消化内镜图像预测模型部署在本地服务器。

本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种异常消化内镜视频的检测装置，计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述异常消化内镜视频的检测方法实施例中任一实施例中的异常消化内镜视频的检测方法的步骤。

如图4所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该计算机设备的控制中心，利用各种接口和路线连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；处理器501可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

计算机设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取待检测消化内镜视频；对待检测消化内镜视频解码，得多个第一消化内镜图像；将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种异常消化内镜视频的检测方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取待检测消化内镜视频；对待检测消化内镜视频解码，得多个第一消化内镜图像；将多个第一消化内镜图像输入本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到待检测消化内镜视频的结果类别数量；若待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定待检测消化内镜视频为异常消化内镜视频。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种异常消化内镜视频的检测方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种异常消化内镜视频的检测方法，其特征在于，所述异常消化内镜视频的检测方法应用于异常消化内镜视频的检测系统，所述异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，所述计算机设备用于执行所述异常消化内镜视频的检测方法，所述异常消化内镜视频的检测方法包括：

获取待检测消化内镜视频；

对所述待检测消化内镜视频解码，得多个第一消化内镜图像；

将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；

将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到所述待检测消化内镜视频的结果类别数量；

若所述待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定所述待检测消化内镜视频为异常消化内镜视频。

2.根据权利要求1所述的异常消化内镜视频的检测方法，其特征在于，所述将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果，包括：

从所述多个第一消化内镜图像抽取多个第二消化内镜图像，其中，所述第二消化内镜图像的数量少于所述第一消化内镜图像的数量；

将所述多个第二消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第二部位分类结果；

基于所述多个第二部位分类结果确定所述多个第一部位分类结果。

3.根据权利要求2所述的异常消化内镜视频的检测方法，其特征在于，所述基于所述多个第二部位分类结果确定所述多个第一部位分类结果，包括：

判断所述多个第二部位分类结果中是否存在目标部位分类结果；

若不存在所述目标部位分类结果，则从所述多个第一消化内镜图像抽取多个第三消化内镜图像，其中，所述第三消化内镜图像和所述第二消化内镜图像的数量之和小于所述第一消化内镜图像的数量；

将所述多个第三消化内镜图像输入所述消化内镜图像预测模型进行部位分类，得到多个第三部位分类结果；

将所述多个第三部位分类结果和所述多个第二部位分类结果确定为所述多个第一部位分类结果。

4.根据权利要求3所述的异常消化内镜视频的检测方法，其特征在于，所述从所述多个第一消化内镜图像抽取多个第三消化内镜图像，包括：

基于预设部位排序方式对所述目标部位分类结果和所述多个第二部位分类结果进行排序，得到多个第四部位分类结果，其中，不同的部位分类结果的排序位置不同；

获取多个第四部位分类结果中与所述目标部位分类结果前后相邻的两个第四部位分类结果对应的两个第一消化内镜图像的两个目标拍摄时间；

从所述多个第一消化内镜图像获取拍摄时间位于所述两个目标拍摄时间之间的图像，得到所述多个第三消化内镜图像。

5.根据权利要求4所述的异常消化内镜视频的检测方法，其特征在于，所述待检测消化内镜视频为胃镜视频，所述目标部位分类结果为胃底类别和胃窦类别中的任意一种。

6.根据权利要求1所述的异常消化内镜视频的检测方法，其特征在于，所述异常消化内镜视频的检测方法，还包括：

当多个所述待检测消化内镜视频中异常消化内镜视频的数量占比超过预设占比时，获取多个参考消化内镜视频，其中，所述多个参考消化内镜视频中标注有标注异常消化内镜视频和标注正常消化内镜视频；

基于所述消化内镜图像预测模型确定所述多个参考消化内镜视频中的预测异常消化内镜视频的数量占比；

若所述预测异常消化内镜视频的数量占比与所述标注异常消化内镜视频的数量占比的偏差超过预设偏差，则更新所述消化内镜图像预测模型。

7.根据权利要求1所述的异常消化内镜视频的检测方法，其特征在于，所述异常消化内镜视频的检测系统包括网络连接的云端服务器、本地服务器以及计算机设备，所述获取待检测消化内镜视频，之前，还包括：

获取存储在本地服务器的本地消化内镜图像预测模型的本地模型版本号；

向云端服务器发送版本号请求指令，得到云端服务器返回的云端模型版本号；

若所述云端模型版本号与所述本地模型版本号不同，则获取本地服务器发送的硬件校验码；

判断所述硬件校验码是否与预设校验码匹配；

若所述硬件校验码与预设校验码匹配，则将本地服务器的本地消化内镜图像预测模型更新为云端服务器中所述云端模型版本号对应的云端消化内镜图像预测模型，以将所述消化内镜图像预测模型部署在所述本地服务器。

8.一种异常消化内镜视频的检测装置，其特征在于，所述异常消化内镜视频的检测装置应用于异常消化内镜视频的检测系统，所述异常消化内镜视频的检测系统包括网络连接的本地服务器和计算机设备，所述计算机设备中集成有所述异常消化内镜视频的检测装置，所述异常消化内镜视频的检测装置用于执行所述异常消化内镜视频的检测方法，所述异常消化内镜视频的检测装置包括：

获取单元，用于获取待检测消化内镜视频；

解码单元，用于对所述待检测消化内镜视频解码，得多个第一消化内镜图像；

部位分类单元，用于将所述多个第一消化内镜图像输入所述本地服务器上的消化内镜图像预测模型进行部位分类，得到多个第一部位分类结果；

第一确定单元，用于将多个第一部位分类结果中分类相同的部位分类结果确定为一个结果类别，得到所述待检测消化内镜视频的结果类别数量；

第二确定单元，若所述待检测消化内镜视频的结果类别数量不超过预设类别数量，则确定所述待检测消化内镜视频为异常消化内镜视频。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的异常消化内镜视频的检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7中任一项所述的异常消化内镜视频的检测方法的步骤。

Images