CN109146884B - 内窥镜检查监控方法及装置 - Google Patents

Abstract

本申请实施例提供一种内窥镜检查监控方法及装置，利用深度学习技术对消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，然后根据图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，并将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，统计图像填充框的未填充数量，生成第二检查评分。而后对填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分，最后根据第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。如此，在实现智能质控的同时能够辅助提示操作者更好地完成内镜操作，提高病损的检出率。

Description

内窥镜检查监控方法及装置

技术领域

本申请涉及深度学习领域，具体而言，涉及一种内窥镜检查监控方法及装置。

背景技术

消化内镜技术成为筛查、诊断、治疗上消化道早癌疾病的重要手段之一，内镜下病损组织活检病理则是诊断上消化道早癌的“金标准”。内镜诊疗技术是医务人员通过消化管腔或人工建立的通道，使用内镜器械在直视下或辅助设备支持下，对局部病灶进行观察、组织取材、止血、切除、引流、修补或重建通道等，以明确诊断、治愈疾病、缓解症状、改善功能等为目的诊断、治疗措施。

然而，目前医护人员在开展消化内镜诊疗过程中，主要依赖人工观察记录，但是人工观察主观性大，且一般观察速度较快，难以确定每个消化系统脏器解剖部位是否观察全面并留取图像证据，因此导致诸多误诊漏诊。由此，目前的消化内镜技术还需要加强规范和管理，消化内镜质控工作需要进一步加强和完善。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种内窥镜检查监控方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种内窥镜检查监控方法，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：

基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；

根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

可选地，所述基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分的步骤，包括：

从所述消化道内窥镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；

基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜在体内停留的时间；

基于预先训练的消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果；

根据预设的时间与检查评分的对应关系和所述消化道内窥镜在体内停留的时间，得到所述第一检查评分。

可选地，所述体内外识别模型通过如下方式训练得到：

搭建全连接深度学习网络；

获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集；

基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。

可选地，所述消化系统脏器预测模型通过如下方式训练得到：

搭建多个备选卷积神经网络；

获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本；

基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型。

可选地，所述根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图的步骤，包括：

根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位；

若是，则将该关键帧作为消化内镜摄图。

可选地，所述根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分的步骤，包括：

根据所述图像识别结果确定每个消化内镜摄图中的目标部位；

将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的填充数量；

根据所述图像填充框的填充数量计算图像填充框的未填充数量；

将所述图像填充框的未填充数量乘以第一预设系数得到第二检查评分。

可选地，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤，包括：

计算所述图像填充区域中填充的每个消化内镜摄图的图像暴露信息和图像中心区域的摄图清晰度，并根据所述图像暴露信息和摄图清晰度得到每个消化内镜摄图的第一评分信息；

提取所述图像填充区域中填充的每个消化内镜摄图的黏膜气泡信息，并将所述黏膜气泡信息作为特征输入到预先训练的深度学习模型中，得到每个消化内镜摄图的第二评分信息，其中，所述黏膜气泡信息包括气泡数量、气泡大小以及气泡位置；

识别所述图像填充区域中填充的每个消化内镜摄图的边界区域，并计算所述边界区域在对应的消化内镜摄图的占比，根据计算得到的占比得到每个消化内镜摄图的第三评分信息；

根据每个消化内镜摄图的第一评分信息、第二评分信息以及第三评分信息得到所述第三检查评分。

可选地，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤之后，所述方法还包括：

根据所述图像识别结果获取已识别到的目标部位，以确定对应的消化系统脏器平面展开图中与所述已识别到的目标部位对应的目标部位区域，并根据每个已识别到的目标部位对应的消化内镜摄图的第二评分信息对每个所述目标部位区域进行对应可视化状态的标注。

可选地，所述根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果的步骤，包括：

根据所述第一检查评分、第二检查评分以及第三检查评分得到总检查评分；

将所述总检查评分与各个操作评级对应的评分范围进行匹配，并将匹配成功的操作评级作为所述内窥镜检查监控结果输出。

第二方面，本申请实施例还提供一种内窥镜检查监控装置，应用于与消化道内窥镜通信连接的计算机设备，所述装置包括：

图像识别模块，用于基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；

摄图确定模块，用于根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

填充统计模块，用于根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

摄图分析模块，用于对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

监控结果生成模块，用于根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

第三方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的内窥镜检查监控方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供一种内窥镜检查监控方法及装置，利用深度学习技术对消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，然后根据图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，并将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，统计图像填充框的未填充数量，生成第二检查评分。而后对填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分，最后根据第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。如此，通过量化方式评估操作者乃至一个内镜中心的消化道内窥镜检查情况，在实现智能质控的同时能够辅助提示操作者更好地完成内镜操作，避免误诊漏诊，提高病损的检出率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的内窥镜检查监控方法的应用场景示意图；

图2为本申请实施例提供的内窥镜检查监控方法的一种流程示意图；

图3为本申请实施例提供的消化内镜摄图的图像填充区域示意图；

图4为本申请实施例提供的内窥镜检查监控方法的另一种流程示意图；

图5为本申请实施例提供的消化系统脏器观察示意图；

图6为本申请实施例提供的消化系统脏器平面展开示意图；

图7为本申请实施例提供的内窥镜检查监控装置的功能模块图；

图8为本申请实施例提供的用于上述内窥镜检查监控方法的计算机设备的结构示意框图。

图标：100-计算机设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-内窥镜检查监控装置；210-图像识别模块；220-摄图确定模块；230-填充统计模块；240-摄图分析模块；250-监控结果生成模块；300-消化道内窥镜。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本申请实施例提供的内窥镜检查监控方法的应用场景示意图。本实施例提供的内窥镜检查监控方法应用于与消化道内窥镜300通信连接的计算机设备100。

详细地，消化道内窥镜300为医学内窥镜，例如可包括食管镜、胃镜、十二指肠镜。一般选用前向直视型胃镜，适用于检查、治疗食管、胃、十二指肠球部病变。

本实施例中，计算机设备100可以是任意具有计算处理能力的电子设备，例如个人电脑、工作站、服务器等，在此不作具体限制。

发明人在研究过程中发现，目前医护人员在开展消化内镜诊疗过程中，主要依赖人工观察记录，但是人工观察主观性大，且一般观察速度较快，难以确定每个消化系统脏器解剖部位是否观察全面并留取图像证据，因此导致诸多误诊漏诊。由此，目前的消化内镜技术还需要加强规范和管理，消化内镜质控工作需要进一步加强和完善。

基于上述技术问题的发现，本申请发明人提出下述实施例以解决上述问题，需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

下面结合图1中所示的应用场景对图2所示的内窥镜检查监控方法进行详细说明，该内窥镜检查监控方法由图1中所示的计算机设备100执行。可以理解，本实施例提供的内窥镜检查监控方法不以图2及以下所述的具体顺序为限制，该内窥镜检查监控方法的详细步骤如下：

步骤S210，基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜300采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分。

本实施例中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜300在体内停留的时间对应的检查评分。

在一种可替换的实施方式中，步骤S210可以通过如下子步骤实现：

首先，从所述消化道内窥镜300采集到的医学影像的单位时间视频流中获取第一数量帧关键帧。详细地，医生在操作消化道内窥镜300进行检查的过程中，消化道内窥镜300可实时将采集到的医学影像发送给计算机设备100。消化道内窥镜300输出的实时医学影像通过计算机设备100的采集卡采集，以得到实时视频流，该实时视频流的帧率由消化道内窥镜300本身的性能决定，一般是在30～60帧/秒。由于计算机设备100对进行图像识别时进行深度学习推断需要很大的计算量，出于性能问题可能无法在单位时间内完成所有图像识别，同时还需要进行其它正常的业务操作，必须保留足够的计算资源。基于此，计算机设备100在接收到所述消化道内窥镜300采集到的医学影像后，可对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。其中，该第一数量可以按照实际计算机设备100的性能需求进行设置，一般在保证计算机正常任务不受影响的情况下，该第一数量应该尽量大，以保证整个图像识别过程中的准确性。例如，若医学影像中的单位时间视频流包括50帧图像，那么则从这50帧图像中截取30帧图像，这30帧图像也即第一数量帧关键帧。

接着，基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜300在体内停留的时间。

详细地，在做消化道内窥镜300的过程中，医生会先将消化道内窥镜300插入内窥镜主机，打开内窥镜主机，这时计算机设备100便收到了内窥镜主机传来的视频信号，然而此时画面是检查室的地盘或者其它器具，并不是患者上消化道图像，因此本实施例需要基于体内外识别模型实时监测每一关键帧是否为上消化道内的图像关键帧，对于不在患者上消化道内的图像关键帧则不作进一步处理，同时监测到上消化道内的图像关键帧，也即消化道内窥镜300开始进入上消化道后，将上消化道内的图像关键帧进行后续的处理，同时开始进行计时，并在检测到上消化道外的关键帧，也即消化道内窥镜300离开上消化道后，停止计时，得到消化道内窥镜300在体内停留的时间。

可选地，训练所述体内外识别模型的方式可以是，搭建全连接深度学习网络，然后获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集，最后基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。

而后，基于预先训练的消化系统脏器预测模型对所述消化道内窥镜300采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果。

详细地，训练消化系统脏器预测模型的方式可以是：

首先，搭建多个备选卷积神经网络，例如，目前神经网络中的卷积神经网络(Convolutional Neural Network，CNN)在图像识别上具有较佳的表现，因此可以选择CNN类型的神经网络，并选取不同的网络层数，不同的卷积核大小，不同的优化器，在不同层间加入池化和丢弃，最终可以通过对比识别率的方式，挑选几个识别率最高的网络作为备选卷积神经网络。

然后，获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本。例如，所述检查图像样本可以包括标注食管入口、食管上中下段、贲门、胃底穹隆、偏前壁、偏后壁及胃底镜身后小弯侧、胃体大弯侧、小弯侧上中下部、胃角及胃角前后壁、胃窦前后壁、大小弯侧、幽门、十二指肠球、降、乳头的多个检查图像样本。

接着，基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络。

而后，将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC(Receiver Operating Characteristiccurve，受试者工作特征曲线)曲线，并计算每个备选卷积神经网络预测的ROC曲线的AUC(Area Under Curve)。其中，AUC面积也即ROC曲线下的面积，其数值不大于1，又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC面积的取值范围在0.5和1之间，使用AUC面积作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个备选卷积神经网络的预测效果更好，而作为一个数值，对应AUC更大的备选卷积神经网络的预测效果更好。由此，可以将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型，从而训练得到最终用于实际预测的消化系统脏器预测模型。

如此，训练得到的消化系统脏器预测模型可以具有识别各个上消化道器官的能力，通过对上消化道内的每一关键帧进行识别，即可输出每一关键帧对应的消化系统脏器解剖部位。

同时，根据预设的时间与检查评分的对应关系和所述消化道内窥镜300在体内停留的时间，得到所述第一检查评分。也即，针对消化道内窥镜300在体内停留的时间，可以从上述对应关系中查找到对应的检查评分，并作为所述第一检查评分。

步骤S220，根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图。

本实施例中，可以根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位，若是，则将该关键帧作为消化内镜摄图。

其中，上述上消化道内的目标部位的数量不小22个，例如，可以包括食管入口、食管上中下段、贲门共5个部位，胃底穹隆、偏前壁、偏后壁及胃底镜身后小弯侧工4个部位，胃体大弯侧、小弯侧上中下部工6个部位，胃角及胃角前后壁共3个部位，胃窦前后壁、大小弯侧工4个部位，幽门1个部位，十二指肠球、降、乳头共3个部位，共计26个目标部位。

值得说明的是，上述目标部位仅为示例，在实际实施过程中本领域技术人员可以根据实际需求增加或者减少上述目标部位，本实施例对此不作任何限制。

步骤S230，根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分。

详细地，请结合参阅图3，所述图像填充框包括有预设数量个图像填充框，该预设数量为n，每个图像填充框与每个目标部位一一对应，例如，若目标部位包括26个，则n为26。在实施时，根据所述图像识别结果确定每个消化内镜摄图中的目标部位，再将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的填充数量，然后根据所述图像填充框的填充数量计算图像填充框的未填充数量，并将所述图像填充框的未填充数量乘以第一预设系数得到第二检查评分。

例如，假设图像填充框包括有26个图像填充框，对应于上述示例的26个目标部位，如果填充在对应的目标部位的图像填充框中的消化内镜摄图有20个，则图像填充框的未填充数量为6个，若第一预设系数为1，则第二检查评分为6分。

步骤S240，对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分。

作为一种实施方式，本步骤S240可以通过如下子步骤实现：

首先，计算所述图像填充区域中填充的每个消化内镜摄图的图像暴露信息和图像中心区域的摄图清晰度，并根据所述图像暴露信息和摄图清晰度得到每个消化内镜摄图的第一评分信息。

例如，可以使用对比度对焦算法通过计算每个消化内镜摄图的图像中心区域的对比度，并将对比度与预设对比度阈值进行比对，从而判断每个消化内镜摄图是否清晰，若清晰则记录为0分，若不清晰则记录1分，以此类推。

此外，可以使用图像分析算法获得图像暴露信息，例如可以计算每个消化内镜摄图的整体亮度，并检测整体光点面积，如果整体亮度低于预设亮度阈值，且整体光点面积大于预设面积阈值，则判断为暴露不充分，否则判断为暴露充分，其中，若判断为暴露不充分则记录1分，判断为暴露充分则记录0分，以此类推。

接着，提取所述图像填充区域中填充的每个消化内镜摄图的黏膜气泡信息，并将所述黏膜气泡信息作为特征输入到预先训练的深度学习模型中，得到每个消化内镜摄图的第二评分信息。其中，所述黏膜气泡信息包括气泡数量、气泡大小以及气泡位置。详细地，可以通过收集各个评分分值的多张检查图像对深度学习模型进行训练，即可得到胃黏膜可视度评分的深度学习模型，然后使用这个机器学习模型对每个消化内镜摄图的黏膜气泡信息进行预测，即可得到每个消化内镜摄图的第二评分信息。例如，根据胃黏膜可视度评分标准，可以将黏膜可视度评分分为1/2/3/4分，然后分别收集黏膜可视度评分为1/2/3/4分的多张检查图像对深度学习模型进行训练，通过训练得到的深度学习模型对输入的每个消化内镜摄图的黏膜气泡信息进行预测，即可得到每个消化内镜摄图的黏膜可视度评分为1分、2分、3分还是4分。进而得到每个消化内镜摄图的第二评分信息。

同时，识别所述图像填充区域中填充的每个消化内镜摄图的边界区域，并计算所述边界区域在对应的消化内镜摄图的占比，根据计算得到的占比得到每个消化内镜摄图的第三评分信息。详细地，本实施例根据摄图时黏膜皱襞暴露情况对每个消化内镜摄图进行评分，由于皱襞都具有明显的边界区域，可以通过提取这些边界区域，计算这些边界区域在对应的消化内镜摄图的占比，如果占比超过预设占比阈值，则认为未暴露，否则认为暴露，暴露充分记录为0分，未暴露充分记录为1分，从而得到所述第三评分信息。

最后，根据每个消化内镜摄图的第一评分信息、第二评分信息以及第三评分信息得到所述第三检查评分。

例如，在一种可替换的实施方式中，可以将每个消化内镜摄图的第一评分信息、第二评分信息以及第三评分信息的评分数值进行相加，或者采用一定的比例系数进行的加权方式得到所述第三检查评分。

又例如，在另一种可替换的实施方式中，也可以仅将第一评分信息、第二评分信息以及第三评分信息中的一种或者二种组合作为所述第三检查评分，本实施例对此不作任何限制。

步骤S250，根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

本实施例中，可以根据所述第一检查评分、第二检查评分以及第三检查评分得到总检查评分，然后将所述总检查评分与各个操作评级对应的评分范围进行匹配，并将匹配成功的操作评级作为所述内窥镜检查监控结果输出。例如，可以将所述第一检查评分、第二检查评分以及第三检查评分相加，可得到总检查评分，各个操作评级对应的评分范围可以是：0-X1提示操作优秀，X1-X2操作良好，X2-X3操作不合格。通过匹配总检查评分在上述哪个操作评级对应的评分范围内，即可得到内窥镜检查监控结果。

如此，本实施例中利用深度学习技术对消化道内窥镜300采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，然后根据图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，并将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，统计图像填充框的未填充数量，生成第二检查评分。而后对填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分，最后根据第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。如此，通过量化方式评估操作者乃至一个内镜中心的消化道内窥镜300检查情况，在实现智能质控的同时能够辅助提示操作者更好地完成内镜操作，避免误诊漏诊，提高病损的检出率。

进一步地，请参阅图4，在该步骤S240之后，内窥镜检查监控方法还可以包括如下步骤：

步骤S260，根据所述图像识别结果获取已识别到的目标部位，以确定对应的消化系统脏器平面展开图中与所述已识别到的目标部位对应的目标部位区域，并根据每个已识别到的目标部位对应的消化内镜摄图的第二评分信息对每个所述目标部位区域进行对应可视化状态的标注。

作为一种实施方式，请结合参阅图5和图6，在上述评分的同时，可以在计算机设备100的显示屏幕上显示上消化平面展开图，如图5所示，在消化道内窥镜300的检查过程中，随着识别到的消化内镜摄图，上消化平面展开图的颜色会由白色变为其它颜色。结合图6所示，同时还可以根据每个已识别到的目标部位对应的消化内镜摄图的第二评分信息通过不同可视化状态显示，例如图6中不同的可视化状态分别包括Score1，Score2，Score3，Score4，在完成整个消化道内窥镜300的检查过程后，通过观察图6所示的上消化平面展开图，即可观察到哪些目标部位尚未检查，哪些目标部位检查质量较差，哪些目标部位可能存有病损漏检，进而辅助提示操作者进一步筛查。

进一步地，请参阅图7，本申请实施例还提供一种内窥镜检查监控装置200，该装置可以包括：

图像识别模块210，用于基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜300采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜300在体内停留的时间对应的检查评分；

摄图确定模块220，用于根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

填充统计模块230，用于根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

摄图分析模块240，用于对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

监控结果生成模块250，用于根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

进一步地，请参阅图8，为本申请实施例提供的用于上述内窥镜检查监控方法的计算机设备100的一种结构示意框图。本实施例中，所述计算机设备100可以由总线110作一般性的总线体系结构来实现。根据计算机设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，计算机设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现计算机设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，计算机设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，计算机设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，计算机设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图8中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于计算机设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述内窥镜检查监控装置200，所述处理器120可以用于执行所述内窥镜检查监控装置200。

进一步地，本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的内窥镜检查监控方法。

综上所述，本申请实施例提供一种内窥镜检查监控方法及装置，利用深度学习技术对消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，然后根据图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，并将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，统计图像填充框的未填充数量，生成第二检查评分。而后对填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分，最后根据第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。如此，通过量化方式评估操作者乃至一个内镜中心的消化道内窥镜检查情况，在实现智能质控的同时能够辅助提示操作者更好地完成内镜操作，避免误诊漏诊，提高病损的检出率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种内窥镜检查监控方法，其特征在于，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：

基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；

根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

2.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分的步骤，包括：

针对每一个从所述消化道内窥镜采集到的医学影像的单位时间视频流，获取所述单位时间视频流中的第一数量帧关键帧；

基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜在体内停留的时间；

基于预先训练的消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果；

根据预设的时间与检查评分的对应关系和所述消化道内窥镜在体内停留的时间，得到所述第一检查评分。

3.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述体内外识别模型通过如下方式训练得到：

搭建全连接深度学习网络；

获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集；

基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。

4.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述消化系统脏器预测模型通过如下方式训练得到：

搭建多个备选卷积神经网络；

获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本；

基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型。

5.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图的步骤，包括：

根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位；

若是，则将该关键帧作为消化内镜摄图。

6.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分的步骤，包括：

根据所述图像识别结果确定每个消化内镜摄图中的目标部位；

将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的填充数量；

根据所述图像填充框的填充数量计算图像填充框的未填充数量；

将所述图像填充框的未填充数量乘以第一预设系数得到第二检查评分。

7.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤，包括：

计算所述图像填充区域中填充的每个消化内镜摄图的图像暴露信息和图像中心区域的摄图清晰度，并根据所述图像暴露信息和摄图清晰度得到每个消化内镜摄图的第一评分信息；

提取所述图像填充区域中填充的每个消化内镜摄图的黏膜气泡信息，并将所述黏膜气泡信息作为特征输入到预先训练的深度学习模型中，得到每个消化内镜摄图的第二评分信息，其中，所述黏膜气泡信息包括气泡数量、气泡大小以及气泡位置；

识别所述图像填充区域中填充的每个消化内镜摄图的边界区域，并计算所述边界区域在对应的消化内镜摄图的占比，根据计算得到的占比得到每个消化内镜摄图的第三评分信息；

根据每个消化内镜摄图的第一评分信息、第二评分信息以及第三评分信息得到所述第三检查评分。

8.根据权利要求7所述的内窥镜检查监控方法，其特征在于，所述对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分的步骤之后，所述方法还包括：

根据所述图像识别结果获取已识别到的目标部位，以确定对应的消化系统脏器平面展开图中与所述已识别到的目标部位对应的目标部位区域，并根据每个已识别到的目标部位对应的消化内镜摄图的第二评分信息对每个所述目标部位区域进行对应可视化状态的标注。

9.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果的步骤，包括：

根据所述第一检查评分、第二检查评分以及第三检查评分得到总检查评分；

将所述总检查评分与各个操作评级对应的评分范围进行匹配，并将匹配成功的操作评级作为所述内窥镜检查监控结果输出。

10.一种内窥镜检查监控装置，其特征在于，应用于与消化道内窥镜通信连接的计算机设备，所述装置包括：

图像识别模块，用于基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；

摄图确定模块，用于根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

填充统计模块，用于根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

摄图分析模块，用于对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

监控结果生成模块，用于根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

Images