CN113935993A - 肠镜图像识别系统、终端设备及存储介质 - Google Patents

Abstract

本申请提供一种肠镜图像识别系统、终端设备及存储介质，该系统包括：第一获取模块，用于获取肠镜采集用户的连续视频帧白光肠镜图像；第一确定模块，用于确定连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像；第二获取模块，用于获取肠镜采集用户的连续视频帧窄谱肠镜图像；第二确定模块，用于确定连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像；识别模块，用于根据异常帧白光肠镜图像和异常帧窄谱肠镜图像，识别异常位置的浸润程度。本申请提供的肠镜图像识别系统，可以代替人工进行图像识别，减少人工经验不足，所导致的识别率低下的问题，故本申请可以提高识别准确度。

Description

肠镜图像识别系统、终端设备及存储介质

技术领域

本申请涉及图像识别领域，其具体涉及一种肠镜图像识别系统、终端设备及存储介质。

背景技术

通常情况下若肠道出现异常，在不确定是否需要治疗诊断时，需要对肠道中进行一定的检测，才能知道肠道中的具体情况。然而，应对肠道异常的情况可以是在内镜下检测相关的异常。

而在治疗开始之前，肠镜是判断结肠道异常时有力的工具，而异常情况在肠道中，异常位置上的异常物的浸润深度又是有力的检测指标，内镜操作人员应在决定对用户是否需要诊断治疗之前，通过内镜评估，才能保证后续开启诊断或者治疗，以确保能采用正确系统帮助用户。但受到人眼的局限性，对于肠道中异物的浸润深度预测的准确度较低。

发明内容

本申请提供一种肠镜图像识别系统，当图像异常时，可以自动检测出图像中异常位置的浸润程度。

第一方面，本申请提供一种肠镜图像识别系统，所述系统包括：

第一获取模块，用于获取肠镜采集用户的连续视频帧白光肠镜图像；

第一确定模块，用于确定所述连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像；

第二获取模块，用于获取所述肠镜采集所述用户的连续视频帧窄谱肠镜图像；

第二确定模块，用于确定所述连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像；

识别模块，用于根据所述异常帧白光肠镜图像和所述异常帧窄谱肠镜图像，识别所述异常位置的浸润程度。

在本申请一些实施例中，所述第一获取模块具体用于：

获取所述肠镜在预设的白光模式下拍摄的白光视频；

对所述白光视频进行采帧操作，得到初始连续视频帧白光图像；

对所述初始连续视频帧白光图像进行裁剪，得到有效连续视频帧白光图像；

对所述有效连续视频帧白光图像进行区域插值，得到缩小的连续视频帧白光图像，将所述缩小的连续视频帧白光图像作为所述连续视频帧白光肠镜图像。

在本申请一些实施例中，所述第一确定模块具体用于：

以所述连续视频帧白光肠镜图像中任意一帧图像为当前帧白光肠镜图像，判断所述当前帧白光肠镜图像中是否出现异常情况；

若所述当前帧白光肠镜图像中出现异常情况，确定所述异常情况的风险程度；

根据所述风险程度，确定所述当前帧白光肠镜图像为所述异常帧白光肠镜图像；

若所述当前帧白光肠镜图像中未出现异常情况，判断所述当前帧白光肠镜图像的下一帧图像中是否出现异常情况，直至获取所述异常帧白光肠镜图像为止。

在本申请一些实施例中，所述第一确定模块具体还用于：

将所述当前帧白光肠镜图像输入预设的异常情况风险模型，得到异常情况风险结果；

若所述异常情况风险结果符合预设的第一风险结果，确定所述当前帧白光肠镜图像为所述异常帧白光肠镜图像。

在本申请一些实施例中，所述第二获取模块具体用于：

获取所述肠镜在预设的窄谱模式下拍摄的所述用户的窄谱视频；

对所述窄谱视频进行采帧操作，得到初始连续视频帧窄谱图像；

对所述初始连续视频帧窄谱图像进行裁剪，得到有效连续视频帧窄谱图像；

对所述有效连续视频帧窄谱图像进行区域插值，得到缩小的连续视频帧窄谱图像，将所述缩小的连续视频帧窄谱图像作为所述连续视频帧窄谱肠镜图像。

在本申请一些实施例中，所述第二确定模块具体用于：

以所述连续视频帧窄谱肠镜图像中任意一帧图像为当前帧窄谱肠镜图像，判断所述当前帧窄谱肠镜图像中是否出现异常；

若所述当前帧窄谱肠镜图像中出现异常情况，确定所述当前帧窄谱肠镜图像为所述异常帧窄谱肠镜图像；

若所述当前帧窄谱肠镜图像中未出现异常情况，判断所述前帧窄谱肠镜图像的下一帧图像中是否出现异常情况，直至获取所述异常帧窄谱肠镜图像为止。

在本申请一些实施例中，所述识别模块具体用于：

将所述异常帧白光肠镜图像输入预设的浸润深度检测模型的白光分支卷积网络分支，得到白光网络特征；

将所述异常帧窄谱肠镜图像输入所述浸润深度检测模型的窄谱分支卷积网络分支，得到窄谱网络特征；

对所述白光网络特征和所述窄谱网络特征在同通道维度上进行特征拼接，得到拼接网络特征；

将所述拼接网络特征输入所述浸润深度检测模型中的分类器，识别所述异常位置的浸润程度。

第二方面，本申请还提供一种终端设备，所述终端设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现任一项所述的肠镜图像识别系统中的步骤。

第三方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现任一项所述的肠镜图像识别系统中的步骤。

本申请提供的肠镜图像识别系统，可以通过肠镜在白光模式下和窄谱模式下实时传送的视频图像，识别出图像中是否存在异常情况。若出现异常情况时，还能根据异常情况识别出异常情况位置的浸润程度，避免了人工识别浸润程度时，受人为经验限制，导致人工识别准确度低的问题。因此，本申请能够提高浸润程度识别的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图

图1是本申请实施例中提供的肠镜图像识别系统的场景示意图；

图2是本申请实施例中肠镜图像识别系统的一个功能模块示意图；

图3是本申请实施例中肠镜图像识别系统的一个神经网络结构示意图；

图4是本申请实施例中终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请提供了一种肠镜图像识别系统、终端设备及存储介质，以下分别进行详细说明。

首先，介绍本申请中出现的一些概念：

NBI图像：NBI的意思是一种电子肠镜的窄谱成像，它是目前最常见的一种电子染色手段。在内镜下无需喷洒色素，就可以看到肠道的异常情况处的细微结构和毛细血管分布情况。

请参阅图1，图1为本申请实施例所提供的肠镜图像识别系统的场景示意图，该肠镜图像识别系统可以包括终端设备10和存储设备20，该存储设备20可以向该终端设备10传输数据。如图1中的终端设备10，可以获取该存储设备20中存储的肠镜图像，以执行本申请中的肠镜图像识别系统。

本申请实施例中，终端设备10其包括但不限可以是台式机、便携式电脑、网络服务器、掌上电脑（Personal Digital Assistant，PDA）、平板电脑、无线终端设备、嵌入式设备等。

本申请的实施例中，终端设备10和存储设备20之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）、长期演进（Long Term Evolution，LTE)、全球互通微波访问（WorldwideInteroperability for Microwave Access，WiMAX）的移动通信，或基于TCP/IP协议族（TCP/IP Protocol Suite，TCP/IP）、用户数据报协议（User Datagram Protocol，UDP）的计算机网络通信等。

需要说明的是，图1所示的肠镜图像识别系统的场景示意图仅仅是一个示例，本申请实施例描述的肠镜图像识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着肠镜图像识别系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

如图2所示，图2为本申请实施例中肠镜图像识别系统的一个功能模块示意图，肠镜图像识别系统200可以包括如下模块201～205：

201、第一获取模块，用于获取肠镜采集用户的连续视频帧白光肠镜图像。

肠镜在肠道中工作时，可以通过肠镜上的摄像头，获取到肠道中的视频。其中，白光肠镜图像是通过肠镜自身携带的白光探照设备，对肠道内进行打光，通过提供光源使得肠镜采集到的视频能够看清肠道内部。

而肠镜获取的是视频，为了后续的模型进行识别，可以对肠镜采集到的白光视频进行采帧处理，由于是根据视频进行的采帧，因此可以将采帧后的图像可以根据视频中的时间，转化为按照时间顺序的连续帧图像，也就是本步骤中的连续视频帧白光肠镜图像。例如，可以对肠镜采集到的白光视频，根据设备的实际情况进行每秒20帧的连续采帧，当然也可以根据不同的设备性能进行每秒更多帧数的采帧，具体此处不做限定。

其中，采集连续视频帧白光肠镜图像的目的是为了检测模型逐帧的检测白光肠镜图像中是否出现肠道异常情况。

因此，为了更好的实现本申请实施例，在一个本申请实施例中，该第一获取模块具体还可以用于以下步骤2011～2014：

2011、获取肠镜在预设的白光模式下拍摄的白光视频。

根据上述实施例可得，白光模式可以肠镜在自带的白光探照灯照射的情况下，获取白光视频的一种模式，具体此处不再赘述。

2012、对白光视频进行采帧操作，得到初始连续视频帧白光图像。

采帧方式上述实施例也有所描述，具体此处不再赘述。

2013、对初始连续视频帧白光图像进行裁剪，得到有效连续视频帧白光图像。

然而对白光视频进行采帧操作之后，每帧的图像上可能出现不必要的噪音信息，例如肠镜在进行视频拍摄时，拍摄的视频上可能会带有当前肠镜的一些探照参数在视频中出现，例如这些参数中可以包括肠镜的进入深度，肠镜当前的探测时间等各种信息，这些信息可以出现在视频的左边，右边等一些设定的参数显示区域内。因此，根据包含这些参数的白光视频进行采帧后，每帧图像上便可能出现这些参数信息。

但对于检测模型来说，要检测肠道的异常情况，仅需要有关于肠道内部的图像即可，但是包括这个参数显示区域的图像来说，这些参数显示区域就成了模型检测的干扰条件。因此，需要将这个参数显示区域裁剪掉，剩下剩余的肠道图像部分，这样才能使得检测模型根据这些肠道图像部分检测肠道是否异常，这些肠道图像就是有效连续视频帧白光图像。

2014、对有效连续视频帧白光图像进行区域插值，得到缩小的连续视频帧白光图像，将缩小的连续视频帧白光图像作为连续视频帧白光肠镜图像。

当获取到有效连续视频帧白光图像，为了使得相关的检测模型能提高检测精度，还可以对有效连续视频帧白光图像进行一些缩小处理，具体的缩小系统可以为区域差值法，利用区域差值法将有效连续视频帧白光图像缩小为224×224大小的图像。

具体的，区域插值法，是根据图片缩放前后像素区域的对应关系进行插值的一种系统，可以通过如下公式进行计算：

公式①中，（x，y）代表原像素点，x'和y'代表缩小后的像素点的纵坐标和横坐标；ceil代表向上取整，例如ceil（1.8）=2，floor代表向下取整，例如floor（1.8）=1；weight（x，y）为原像素点（x，y）在纳入该点所在的像素区域的比例；Area为该像素点所在像素区域的面积。

202、第一确定模块，用于确定连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像。

当根据上述模块201中，获得连续视频帧白光肠镜图像中后，便可以对连续视频帧白光肠镜图像进行逐帧的检测，从而确定哪些具体的图像帧里出现了异常情况，也就是该异常帧白光肠镜图像。而在白光模式下的异常帧白光肠镜图像中若出现异常情况，这个异常情况在异常帧白光肠镜图像中会反映一个肠道位置。因此，若根据实际情况的需要，还可以在获取到异常情况时，获取该异常情况中其他肠道区域的图像特征，从而确定该异常情况的位置，具体此处不做限定。

因此，为了更好的实现本申请实施例，在一个本申请实施例中，该第一确定模块具体还可以同于以下步骤2021～2024：

2021、以连续视频帧白光肠镜图像中任意一帧图像为当前帧白光肠镜图像，判断当前帧白光肠镜图像中是否出现异常情况。

判断当前帧白光肠镜图像是否出现异常可以通过神经网络模型进行判断。例如：Resnet50网络模型，其中该网络模型的结构可以如图3所示。

其中，图3中“Residual Unit”表示一个卷积单位；“7×7、3×3、1×1”表示卷积核尺寸；“64、128、256、512、1024、2048”表示卷积层的卷积核数；“/2”表示步长卷积或池化时的步长；“pool”表示最大池化层；“avg pool”表示平均池化层；“fc 2”表示2个节点的全连接层；“[]”中的内容表示图3中有虚线连接的卷积模块包含括号中内容，实线连接的卷积层则不包含。

此外，训练该模型的方式可以将相关的异常样本数据输入该模型中，这些异常样本数据可以包括样本标签为异常的图像和样本标签为正常的图像，分别将标签为异常的图像和样本标签为正常的图像分组送入该模型进行训练，再将相关的预测的正常标签或预测的异常标签与真实的正常标签或真实的异常标签进行调整后，得到的训练完成的该模型。当模型训练完成后，便可以对连续视频帧白光肠镜图像中逐帧检测，以确定肠道中是否有异常即可。

2022、若当前帧白光肠镜图像中出现异常情况，确定异常情况的风险程度。

当根据上述步骤2021中可得到当前帧白光肠镜图像是否出现异常，若出现异常，则还需要确定该异常情况的风险程度。例如：若该异常情况可以非常轻，不需要通过治疗手段，用户就可以自己痊愈，则这种情况则需要判定该出的浸润程度。因此，将这样的当前帧白光肠镜图像作为异常是不需要的，因此需要将这种低风险的异常筛选掉。

因此，为了更好的实现本申请实施例，在一个本申请实施例中，根据风险程度，确定当前帧白光肠镜图像为异常帧白光肠镜图像，可以包括：

将当前帧白光肠镜图像输入预设的异常情况风险模型，得到异常情况风险结果；若异常情况风险结果符合预设的第一风险结果，确定当前帧白光肠镜图像为异常帧白光肠镜图像。

同样的，该异常情况风险模型也可以为图3中的提供的模型架构的模型，具体此处不再赘述。

此外，在训练该异常情况风险模型时，可以将高风险的训练数据和低风险的训练数据送入该异常情况风险模型进行训练。其中，高风险的训练数据可以包括高风险的异常图像和为第一风险的标签，低风险的训练数据可以包括低风险异常图像和为第二风险的标签，同样的在训练过程中，将获得的预测的第一风险标签和预测的第二风险标签与真实的第一风险的标签和真实的第二风险的标签进行调整，以得到训练好的异常情况风险模型。

由于该训练好的异常情况风险模型在训练时，训练过程中包括标签为第一风险的标签，则在后续判断图像中的风险情况时，若出现满足第一风险标签的图像，则可以确定满足了第一风险标签的图像为该第一风险结果，即可以确定异常情况的风险程度较高。

2023、根据风险程度，确定当前帧白光肠镜图像为异常帧白光肠镜图像。

当确定了当前帧白光肠镜图像中存在异常时，且该当前帧白光肠镜图像的异常满足第一风险，也就证明该异常程度是人体无法自愈的程度，需要依靠外部手段进行干预，此时才需要判断该异常处的浸润程度。故，才能将满足第一风险结果的当前帧白光肠镜图像作为异常帧白光肠镜图像。

2024、若当前帧白光肠镜图像中未出现异常情况，判断当前帧白光肠镜图像的下一帧图像中是否出现异常情况，直至获取异常帧白光肠镜图像为止。

由于在检测图像中的异常情况是不同帧数的图像逐帧进行检测，因此不同帧之间的异常情况不同，因此需要一直检测，具体的检测方式如上述实施例所示，具体此处不再赘述，直至获取到该异常帧白光肠镜图像为止。但需要说明的是，如将帧数的白光肠镜图像均检测完成后，仍为发现满足条件的异常帧白光肠镜图像，可以提示操作人员未出现异常情况，例如：可以通过语音提示“未出现异常”，或通过预设的显示装置显示“未出现异常”，具体的提示方式不做限定。

203、第二获取模块，用于获取肠镜采集用户的连续视频帧窄谱肠镜图像。

根据上述第一确定模块202中的实施例，可以获得异常帧白光肠镜图像，当获取了异常帧白光肠镜图像后，也就意味着该用户的肠道中出现了一定风险程度的异常，需要进行进一步的检测，也就是检测该异常处的浸润程度。因此，需要窄谱肠镜图像，该窄谱肠镜图像可以为NBI图像，该NBI图像前文有所表述，具体此处不再赘述。

其中，当确定好了异常帧白光肠镜图像后，可以向肠镜发送拍摄模式的转换指令，将肠镜的白光模式转化为NBI模式，从而进行继续的拍摄。因此，在NBI模式下拍摄的也是视频，因此为了后续模型的检测，还需要对视频进行采帧处理，采帧方式如上述步骤201相同，具体此处不再赘述。当完成采帧后，就能获得该连续视频帧窄谱肠镜图像，以用于后续的浸润程度的检测。

因此，为了更好的实现本申请实施例，在一个本申请实施例中，该第二获取模块具体还可以用于以下步骤2031～2034：

2031、获取肠镜在预设的窄谱模式下拍摄的用户的窄谱视频。

其中，获取方式如上述步骤2011相同，具体此处不再赘述，但需要在收到拍摄模式转化的指令后，进行拍摄。例如：在收到模式转换指令后，关闭肠镜的白光探照灯，然后该肠镜进入NBI模式。

2032、对窄谱视频进行采帧操作，得到初始连续视频帧窄谱图像。

采帧方式如上述2012雷同，具体此处不再赘述。

2033、对初始连续视频帧窄谱图像进行裁剪，得到有效连续视频帧窄谱图像。

裁剪的目的和方式与上述步骤2013相同，具体此处不再赘述。

2034、对有效连续视频帧窄谱图像进行区域插值，得到缩小的连续视频帧窄谱图像，将缩小的连续视频帧窄谱图像作为连续视频帧窄谱肠镜图像。

缩小的方式和目的与上述步骤2014相同，具体此处不再赘述。其中，获取窄谱肠镜图像的目的也是为了后续能够检测出异常情况的浸润程度。

204、第二确定模块，用于确定连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像。

其中确定该异常帧窄谱肠镜图像依旧可以通过图3中的模型架构的模型来进行确定，此时也就还需要对同种类型的模型架构进行训练，以得到可以用于确定异常帧窄谱肠镜图像的训练好的模型。其中，训练方式如上述实施例的训练方式雷同，只需要更换相应的训练样本图像和对应的标签即可。

其中，在具体的应用场景中，在肠镜在采取图像时，通常先以白光模式采集图像，当采集到有异常情况的图像后，会自动转化打光模式，也就是自动的将白光模式转化为窄谱光模式（NBI模式）。由于肠镜是由人工控制的，当转化模式时，人工通常不会移动肠镜位置，因此异常情况的位置很难发生改变，因此这里暂时不需要进行位置校准工作。

因此，为了更好的实现本申请实施例，在一个本申请实施例中，确定连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像，可以包括：

以连续视频帧窄谱肠镜图像中任意一帧图像为当前帧窄谱肠镜图像，判断当前帧窄谱肠镜图像中是否出现异常；若当前帧窄谱肠镜图像中出现异常情况，确定当前帧窄谱肠镜图像为异常帧窄谱肠镜图像；若当前帧窄谱肠镜图像中未出现异常情况，判断前帧窄谱肠镜图像的下一帧图像中是否出现异常情况，直至获取异常帧窄谱肠镜图像为止。

此外，当前帧窄谱肠镜图像是否出现异常的检测方式如步骤204中所示，具体此处不再赘述。

205、识别模块，用于根据异常帧白光肠镜图像和异常帧窄谱肠镜图像，识别异常位置的浸润程度。

当根据上述实施例所描述的方式，获取到异常帧白光肠镜图像和异常帧窄谱肠镜图像之后，便可以检测这个异常位置的浸润程度。

其中，为了更好的实现本申请实施例，在一个本申请实施例中，该识别模块具体还可以用于以下步骤2051～2054：

2051、将异常帧白光肠镜图像输入预设的浸润深度检测模型的白光分支卷积网络分支，得到白光网络特征。

为了提高浸润程度检测结果的准确度，该浸润深度检测模型包括两个神经网络分支，第一个神经网络分支，用于提取异常帧白光肠镜图像，由于白光下获得图像，没有穿透功能，无法显示异常位置表面一下是否异常，仅能显示出异常位置处表面以上的异常情况，这部分的特征提取，提取的主要特征可以理解为表面的一些异常特征，也就是白光网络特征。具体的，该神经网络模块中包含的卷积层、池化层或者全连接层可以根据具体的情况进行设定，不输出任何结果，也就是不包含分类功能，仅进行特征提取即可。

2052、将异常帧窄谱肠镜图像输入浸润深度检测模型的窄谱分支卷积网络分支，得到窄谱网络特征。

此步骤与步骤2051同理，具体此处不再赘述，但需要说明的是，该异常帧窄谱肠镜图像主要体现的是异常位置处表面一下的异常情况。

其中，需要说明的是，送入此模型的白光异常图像和窄谱异常图像中的异常位置需要对应，由于之前采集时，并为将异常位置相同的白光异常图像和窄谱异常图像进行一一对应，因此这里还需要额外的对应步骤。

故，对应匹配的方式可以通过人工比较或者另外的模型进行比较，具体的比较的方式可以通过将当前帧窄谱肠镜图像中除去异常情况的其他图像区域中的特征信息与第一位置处的特征信息进行比对，当匹配率超过一定的阈值，则可以确定两种模式下的图像指代的异常位置为同一处。该阈值可以为80%，若匹配率超过80%，则可以认定异常位置相同，当然这个阈值可以根据具体的情况进行设定，具体此处不做赘述。

2053、对白光网络特征和窄谱网络特征在同通道维度上进行特征拼接，得到拼接网络特征。

由于获得了两种特征，即白光网络特征和窄谱网络特征，这些特征图包括多个通道，例如白光网络特征通道可以为1024层；同理，窄谱网络特征通道也可以为1024层。此时需要将两个特征的通道拼接在一起。此时，通道拼接后，得到的一个新的拼接图像的宽与高于之前的被拼接图像同，但此时特征通道变为2048层。需要说明的是，白光分支卷积网络分支和窄谱分支卷积网络分支在不同的情况下，设置的情况可能不同，即获得的两种特征的特征图的通道数也不同，但拼接原理相同，具体此处不做赘述。

2054、将拼接网络特征输入浸润深度检测模型中的分类器，识别异常位置的浸润程度。

将上述拼接后的拼接网络特征，送入该浸润深度检测模型中的分类器，识别该浸润程度的情况即可。

其中，在训练阶段，可以将浸润深度≤1000μm的样本图像设定为低深度标签，将浸润深度>1000μm的样本图像设定为高深度标签，进行训练。即，最后在模型应用阶段，识别浸润程度时，识别的浸润程度的结果就可以为低深度浸润结果和高深度浸润结果，这样便可以辅助医生的判断，最终以帮助医生确定相应的处理方式。

本申请提供的肠镜图像识别系统，可以通过肠镜在白光模式下和窄谱模式下实时传送的视频图像，识别出图像中是否存在异常情况。若出现异常情况时，还能根据异常情况识别出异常情况位置的浸润程度，避免了人工识别浸润程度时，受人为经验限制，导致人工识别准确度低的问题。因此，本申请能够提高浸润程度识别的准确度。

为了更好的实现本申请实施例，在一个本申请实施例中，该系统还包括：

显示模块，用于根据异常帧白光肠镜图像和异常帧窄谱肠镜图像，识别异常位置的浸润程度之后，将识别后得到的浸润程度结果保存；若接收到将浸润程度结果进行显示的显示指令，在显示模块上显示浸润程度结果。

根据上述实施例中可得，若肠道中出现异常情况，可以根据上述实施例中的相关的神经网络模型，对肠道异常情况处的异物做浸润程度的检测，进而可以得到一个该异常情况处的浸润程度结果，具体此处不再赘述。

由于，获得了该异常位置处异常情况的浸润程度结果，为了方便相关的检查人员获取该异常状况处的浸润程度的结果，还需要将该浸润程度结果进行可视化，从而方便检查人员的检查。因此，需要将该浸润程度结果进行显示，具体的可以将该浸润程度结果，显示在一块外接的显示设备搭载的显示模块上，也可以将该浸润程度结果显示在本系统中内置安装的显示设备的显示模块上，具体此处不做限定。

需要说明的是，本申请实施例中的显示指令可以指代为具有权限的用户在进行显示结果的查询时，生成的查询指令才有效力，否则是不具有效力的显示指令，具体的可以通过账户的形式区分当前操作的用户是否具有权限，例如权限账户具有权限，游客账户则不具有权限。当然还可以通过其他的方式确定权限，具体此处不做限定。

本申请实施例还提供一种终端设备，设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现本申请实施例中任一项的肠镜图像识别系统中的步骤。其中，该终端设备，其集成了本申请实施例所提供的任一种肠镜图像识别系统，如图4所示，其示出了本申请实施例所涉及的终端设备的结构示意图，具体来讲：

该终端设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元（CentralProcessing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界是面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

终端设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该终端设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，终端设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，终端设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，例如：

获取肠镜采集用户的连续视频帧白光肠镜图像；

确定连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像，异常帧白光肠镜图像的异常位置为第一异常位置；

获取肠镜采集用户的连续视频帧窄谱肠镜图像；

确定连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像，异常帧白光肠镜图像的异常位置为第二异常位置，第一异常位置与第二异常位置对应；

根据异常帧白光肠镜图像和异常帧窄谱肠镜图像，识别异常位置的浸润程度。

本领域普通技术人员可以理解，上述实施例的各种系统中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种肠镜图像识别系统中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取肠镜采集用户的连续视频帧白光肠镜图像；

确定连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像，异常帧白光肠镜图像的异常位置为第一异常位置；

获取肠镜采集用户的连续视频帧窄谱肠镜图像；

确定连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像，异常帧白光肠镜图像的异常位置为第二异常位置，第一异常位置与第二异常位置对应；

根据异常帧白光肠镜图像和异常帧窄谱肠镜图像，识别异常位置的浸润程度。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的系统实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种肠镜图像识别系统、终端设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的系统及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种肠镜图像识别系统，其特征在于，所述系统包括：

第一获取模块，用于获取肠镜采集用户的连续视频帧白光肠镜图像；

第一确定模块，用于确定所述连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像；

第二获取模块，用于获取所述肠镜采集所述用户的连续视频帧窄谱肠镜图像；

第二确定模块，用于确定所述连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像；

识别模块，用于根据所述异常帧白光肠镜图像和所述异常帧窄谱肠镜图像，识别所述异常位置的浸润程度。

2.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述第一获取模块具体用于：

获取所述肠镜在预设的白光模式下拍摄的白光视频；

对所述白光视频进行采帧操作，得到初始连续视频帧白光图像；

对所述初始连续视频帧白光图像进行裁剪，得到有效连续视频帧白光图像；

对所述有效连续视频帧白光图像进行区域插值，得到缩小的连续视频帧白光图像，将所述缩小的连续视频帧白光图像作为所述连续视频帧白光肠镜图像。

3.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述第一确定模块具体用于：

以所述连续视频帧白光肠镜图像中任意一帧图像为当前帧白光肠镜图像，判断所述当前帧白光肠镜图像中是否出现异常情况；

若所述当前帧白光肠镜图像中出现异常情况，确定所述异常情况的风险程度；

根据所述风险程度，确定所述当前帧白光肠镜图像为所述异常帧白光肠镜图像；

若所述当前帧白光肠镜图像中未出现异常情况，判断所述当前帧白光肠镜图像的下一帧图像中是否出现异常情况，直至获取所述异常帧白光肠镜图像为止。

4.根据权利要求3所述的肠镜图像识别系统，其特征在于，所述第一确定模块具体还用于：

将所述当前帧白光肠镜图像输入预设的异常情况风险模型，得到异常情况风险结果；

若所述异常情况风险结果符合预设的第一风险结果，确定所述当前帧白光肠镜图像为所述异常帧白光肠镜图像。

5.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述第二获取模块具体用于：

获取所述肠镜在预设的窄谱模式下拍摄的所述用户的窄谱视频；

对所述窄谱视频进行采帧操作，得到初始连续视频帧窄谱图像；

对所述初始连续视频帧窄谱图像进行裁剪，得到有效连续视频帧窄谱图像；

对所述有效连续视频帧窄谱图像进行区域插值，得到缩小的连续视频帧窄谱图像，将所述缩小的连续视频帧窄谱图像作为所述连续视频帧窄谱肠镜图像。

6.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述第二确定模块具体还用于：

以所述连续视频帧窄谱肠镜图像中任意一帧图像为当前帧窄谱肠镜图像，判断所述当前帧窄谱肠镜图像中是否出现异常；

若所述当前帧窄谱肠镜图像中出现异常情况，确定所述当前帧窄谱肠镜图像为所述异常帧窄谱肠镜图像；

若所述当前帧窄谱肠镜图像中未出现异常情况，判断所述前帧窄谱肠镜图像的下一帧图像中是否出现异常情况，直至获取所述异常帧窄谱肠镜图像为止。

7.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述识别模块具体用于：

将所述异常帧白光肠镜图像输入预设的浸润深度检测模型的白光分支卷积网络分支，得到白光网络特征；

将所述异常帧窄谱肠镜图像输入所述浸润深度检测模型的窄谱分支卷积网络分支，得到窄谱网络特征；

对所述白光网络特征和所述窄谱网络特征在同通道维度上进行特征拼接，得到拼接网络特征；

将所述拼接网络特征输入所述浸润深度检测模型中的分类器，识别所述异常位置的浸润程度。

8.根据权利要求1所述的肠镜图像识别系统，其特征在于，所述系统还包括：

显示模块，用于根据所述异常帧白光肠镜图像和所述异常帧窄谱肠镜图像，识别所述异常位置的浸润程度之后，将识别后得到的浸润程度结果保存；

若接收到将所述浸润程度结果进行显示的显示指令，在所述显示模块上显示所述浸润程度结果。

9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现如下步骤：

获取肠镜采集用户的连续视频帧白光肠镜图像；

确定所述连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像；

获取所述肠镜采集所述用户的连续视频帧窄谱肠镜图像；

确定所述连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像；

根据所述异常帧白光肠镜图像和所述异常帧窄谱肠镜图像，识别所述异常位置的浸润程度。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如下步骤：

获取肠镜采集用户的连续视频帧白光肠镜图像；

确定所述连续视频帧白光肠镜图像中出现异常情况的异常帧白光肠镜图像；

获取所述肠镜采集所述用户的连续视频帧窄谱肠镜图像；

确定所述连续视频帧窄谱肠镜图像中出现异常情况的异常帧窄谱肠镜图像；

根据所述异常帧白光肠镜图像和所述异常帧窄谱肠镜图像，识别所述异常位置的浸润程度。

Images