CN112597981A - 基于深度神经网络的肠镜退镜质量智能监控系统及方法 - Google Patents

Abstract

本发明涉及结肠镜检查过程质量评价领域，提出一种基于深度神经网络的肠镜退镜质量智能监控系统及方法，系统包括：质量监控模型端、后台视频处理和调用端和视频流展示端；方法包括：获取结肠镜检查时生成的视频流并拆分成图像帧；检测出每一帧图像中的目标区域并分割出来；对分割后的目标区域进行视野的有效性判定，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定，并将局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。

Description

基于深度神经网络的肠镜退镜质量智能监控系统及方法

技术领域

本发明涉及结肠镜检查过程质量评价领域，具体涉及一种基于深度神经网络的肠镜退镜质量智能监控系统及方法。

背景技术

结直肠癌（colorectal cancer, CRC）是一种比较常见的癌症，为第三大常见的癌症死亡类型。据统计，其发病率于男性与女性中分别位居癌症第3位和第2位，2015年结直肠癌新发病例数达165万，死亡病例近83.5万。早期结肠癌的主要发病人群为欧美国家人群，但近年来亚洲群体中结直肠癌的发病率不断增长。结肠息肉是结直肠癌症的前身，因此对于早期结直肠病人，临床医生通过结肠镜检查发现息肉至关重要。只有尽早的进行结直肠镜检查，才能早发现进而早治疗。结肠镜检查在费时、费力的同时，仍存在效率低、漏检率和误检率偏高的情况。因为当人工判读结肠镜影像数据时，医生的判断结果对医生本身的技术能力、临床经验乃至结肠镜检查的前期准备工作有着较高的要求。医生通过使用内窥镜对患者结肠进行观察，往往分为进镜和退镜两个步骤。其中对诊断起主要作用的是退镜部分对结肠内壁的观察，查看有无明显病变组织等。这种情况下，结肠镜检查的退镜过程质量对医生的诊断效果有着重要的影响。而人工判读下，这种退镜质量并没有一个客观的评价指标，造成结肠镜诊断过程的混乱和无序。

在当前的医疗实践中，结肠癌疾病的早期症状非常不明显，一旦有症状，大多数患者都到了中晚期。早期发现结肠癌的最直接、有效的手段就是结肠镜检查。目前有一些工作关注了结肠镜检查过程中的质量问题，利用计算机软件技术辅助医生的结肠镜检查过程，包括对退镜过程总时长的记录以及结肠镜检查过程中杂质的干扰，因为对结肠镜检查时间的要求可以强制医生进行更充分细致的检查，而对检查过程中粪渣等杂质的识别可以从侧面评估这次检查的质量。

少部分尝试对结肠镜检查过程质量进行评价的工作具有局限性，仅仅关注了退镜过程的总时长以及病人结肠内的粪渣等杂质的干扰。退镜检查的时长仅仅是一个退镜过程的间接指标，隐含着只有足够的检查时间才能有足够的检查质量，甚至有了足够的检查时间就有足够的检查质量的假设，并没有切实评估退镜操作的有效性；而杂质干扰只是从结肠镜检查的前期准备方面来试图评价整个结肠镜检查的质量，与实际的结肠镜检查操作无关，无法切实评价结肠镜检查的质量。在实际的结肠镜检查中，受限于医生操作的专业程度和医生自身的业务水平，检查的质量往往由两个方面的质量来评估，一是视野的有效性，二是旋镜操作的程度。视野有效性指的是因为肠镜的探头由医生人为控制，由于医生操作手法、业务水平的不同，往往存在由于镜头稳定性缺失、过度摇晃造成的视野模糊、花屏现象；以及由于镜头距离肠壁距离过短造成的视野偏红无法识别，这些无法识别的图像被判定为无效视野，而这些情况之外的有效视野在所有视野中的比例即为视野有效性；旋镜操作程度指的是医生在实际的结肠镜检查中往往需要通过对镜头的不断旋转来更细致的观察结肠局部是否存在病变，而旋镜操作的程度直接关系到这次检查漏检的可能性，所以需要同通过统计旋镜操作观察到的局部数量在整个观察过程中的比例来评价结肠镜检查的质量。

总的来说：结直肠癌高发，需要通过结肠镜检查来发现早期的结直肠病变，这对与结直肠癌的诊断和治疗具有重要意义。但结直肠内镜检查具有高度依赖医生业务能力的特点，对结直肠内镜检查过程中医生的操作过程并没有一个客观、公正的评价指标，造成了结直肠内镜检查的混乱和无序。因此开发一套肠镜退镜质量智能监控模型对于评价结肠镜的操作水准，进而提高医生结肠镜诊断的质量和效率十分必要。

发明内容

本发明的目的是提供一种基于深度神经网络的肠镜退镜质量智能监控系统及方法，能够对退镜过程中影响医生质量的两个重要指标——退镜稳定程度和旋镜水平进行客观评估。

本发明解决其技术问题，采用的技术方案是：

本发明首先提出一种基于深度神经网络的肠镜退镜质量智能监控系统，包括：

后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；

质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：

在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；

视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。

进一步的是，所述质量监控模型端在将获取到的视频流拆分成图像帧时，设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理。

进一步的是，利用OpenCV软件包将获取到的视频流拆分成图像帧。

进一步的是，所述基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。

进一步的是，利用Pillow工具包将所述退镜过程中的视野有效率以及旋镜操作的评估指标编辑在从视频流中拆分出的图像帧上，并将编辑后的图像帧展示在使用PyQt工具包创建的视频流展示端界面上。

进一步的是，所述视频流展示端包括开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区；

所述开始检测按钮，用于在按下时，启动后台视频处理和调用端；

所述AI开启或关闭按钮，用于自动控制开启或关闭后台视频处理和调用端；

所述视频展示区，用于展示编辑后的图像帧；

所述全屏按钮，用于在按下时，将视频展示区全屏展示。

进一步的是，在编辑时，质量控制指标将编辑在图像帧的控制信息部分。

另外，本发明还提出一种基于深度神经网络的肠镜退镜质量智能监控方法，应用于所述的基于深度神经网络的肠镜退镜质量智能监控系统，包括如下步骤：

步骤1.获取结肠镜检查时生成的视频流；

步骤2.将获取到的视频流拆分成图像帧；

步骤3.检测出每一帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来；

步骤4.对分割后的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量；

步骤5.将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

步骤6.将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定；

步骤7.将三分类判定结果中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。

本发明的有益效果是，通过上述基于深度神经网络的肠镜退镜质量智能监控系统及方法，首先，实现了对医生退镜操作中的退镜有效程度的客观评价，通过视野有效性指标，公正和客观的反映了医生退镜操作是否有效；其次，实现了对医生退镜操作中的旋镜操作是否充足的客观评价，通过局部占比指标，明确的反映了医生退镜操作中是否有足够的旋镜操作；最后，视野有效性指标和旋镜操作指标均可以实时的反映在肠镜镜检视频上，供医生实时查验，从而实时的评价自己的退镜操作质量，进而进行操作的调整，从而提高肠镜镜检的检出率和降低漏检率。

附图说明

图1为本发明实施例1中基于深度神经网络的肠镜退镜质量智能监控系统的系统架构示意图；

图2为本发明实施1中图像帧数据说明示意图；

图3为本发明实施例1中视频流展示端界面示意图；

图4为本发明实施例1中质量控制图像示意图；

图5为本发明实施例2中基于深度神经网络的肠镜退镜质量智能监控方法的流程图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

实施例1

本实施例提出一种基于深度神经网络的肠镜退镜质量智能监控系统，其系统架构示意图见图1，其中，该系统包括：

后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；

质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：

在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；

视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。

本实施例的上述系统中，质量监控模型端在将获取到的视频流拆分成图像帧时，可以设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理，以方便后续模型处理数据。

需要指出的是，本实施例中，可以利用OpenCV软件包将获取到的视频流拆分成图像帧，可以基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。

并且，还可以利用Pillow工具包将所述退镜过程中的视野有效率以及旋镜操作的评估指标编辑在从视频流中拆分出的图像帧上，并将编辑后的图像帧展示在使用PyQt工具包创建的视频流展示端界面上。

本实施例中，视频流展示端可以包括开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区；其中，开始检测按钮，用于在按下时，启动后台视频处理和调用端；AI开启或关闭按钮，用于自动控制开启或关闭后台视频处理和调用端；视频展示区，用于展示编辑后的图像帧；全屏按钮，用于在按下时，将视频展示区全屏展示。

需要说明的是，在编辑时，质量控制指标会将编辑在图像帧的控制信息部分。

实际应用时，本实施例中的系统可以按以下步骤执行：

步骤1.视频流获取与处理。

在该步骤中，可以通过肠镜检查设备实时获取结肠镜检查时生成的视频流数据，对于帧率过高的视频进行降帧处理，以方便后续模型处理数据，并且，还会将获取到的视频流数据利用OpenCV软件包拆成图像帧数据，将生成的帧图像进行目标区域的检测与分割。

步骤2.目标区域检测与分割。

视频流处理后得到的图像帧数据仍然来自于结肠镜检查设备，如图2所示，结肠镜检查的目标区域仅占图像帧的一部分，其他部分为结肠镜检查设备添加的控制和状态信息。为了方便模型处理，避免无关信息对模型预测的干扰，本实施例中提出了基于深度神经网络的目标区域检测模型，利用YoloV5算法，检测每张图像的目标区域，检测准确率达到99%。这里，将检测出的目标区域从原图中切割出来，作为下一步模型的输入。

步骤3.视野有效性判断。

从原始图像帧中切割出的目标区域图像要利用基于深度神经网络的分类模型进行视野有效性的二分类判定。本步骤中，可以通过使用基于深度神经网络的分类模型对目标区域进行有效性判定，记录有效视野的图像和总图像数量，将有效图像和总图像数量的比值作为视野有效率返回给视频流展示端，能够在退镜过程中实时提醒医生当前结肠镜检查的有效视野率，供医生进行实时调整，降低无效视野在整个退镜过程中的占比，进而提高病灶检出效率。

步骤4.旋镜操作判断。

这里，可以通过基于深度神经网络的分类模型进行旋镜操作的三分类判定。首先将判定为有效视野的图像按照四个象限等分为四份，之后分别利用分类模型进行管腔、局部和模糊的三分类判定。具体而言，可以将其中局部分类的图像数量和总数量的比值作为旋镜操作的评估指标。同样将这一指标实时显示在视频流展示端，提醒当前退镜操作中旋镜操作的程度是否充足，供医生进行实时调整，从而提高旋镜操作占比，进而降低漏检率。

步骤5.视频帧展示。

这里，可以通过基于深度神经网络的视野有效性判定模型和肠镜部位判定模型，得到了退镜过程中有效视野的比例、管腔在有效视野图像中的比例以及局部在有效视野图像中的比例。这三个对退镜过程质量进行评价的指标可以利用Pillow工具包很方便的编辑在从视频流中拆出的图像帧上，进而将编辑后的图像帧展示在使用PyQt创建的前端视频流展示端界面中。如图3所示，视频流展示端由开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区组成。编辑后的图像将显示在界面展示区，并且如图4所示，质量控制指标将编辑在原始图像的控制信息部分，方便医生实时查看。

实施例2

本实施例在实施例1的基础上，提出一种基于深度神经网络的肠镜退镜质量智能监控方法，其流程图见图5，其中，该方法包括如下步骤：

S1.获取结肠镜检查时生成的视频流。

S2.将获取到的视频流拆分成图像帧。

S3.检测出每一帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来。其中，帧图像可以包括目标区域部分、状态信息部分和控制信息部分。

S4.对分割后的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量。

S5.将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端。

S6.将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定。

S7.将三分类判定结果中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。

也即，本实施例中，后台视频处理和调用端会从肠镜检查设备中获取视频流数据，在拆成图像帧后调用质量监控模型对图像进行分析预测，判断视野有效性和肠镜检测部位，最后将监控模型返回的结果和图像帧输出到视频流展示端进行展示。其中视野的有效性是对退镜稳定程度的评判指标，而肠镜检测部位则是对医生旋镜水平的评估。

通过本发明实施例1和实施例2公开的上述方案，可以实现对医生退镜操作中的退镜有效程度的客观评价，并且，能够通过视野有效性指标，公正和客观的反映了医生退镜操作是否有效。同时，本发明也能够实现对医生退镜操作中的旋镜操作是否充足的客观评价，并且，通过局部占比指标，明确的反映医生退镜操作中是否有足够的旋镜操作。

最终，视野有效性指标和旋镜操作指标均可以实时的反映在肠镜镜检视频上，供医生实时查验，从而实时的评价自己的退镜操作质量，进而进行操作的调整，从而提高肠镜镜检的检出率和降低漏检率。

Claims (8)

1.基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括：

后台视频处理和调用端，用于将获取到的视频流拆分成图像帧，并调用质量监控模型；

质量监控模型端，用于运行基于深度神经网络的目标区域检测模型和分类模型；具体包括如下：

在启动时调用基于深度神经网络的目标区域检测模型，检测出帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来，并将分割出来的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量，并将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

将判定为有效视野的图像按照四个象限等分为四份，分别调用基于深度神经网络的分类模型进行管腔、局部和模糊的三分类判定，并将其中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端；

视频流展示端，用于展示质量控制指标，所述质量控制指标包括退镜过程中的视野有效率、局部分类的图像数量和有效视野的图像数量的比值以及管腔分类的图像数量和有效视野的图像数量的比值。

2.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述质量监控模型端在将获取到的视频流拆分成图像帧时，设定规定帧率，当视频流中的视频的帧率超过所述规定帧率时，则对于视频进行降帧处理。

3.根据权利要求1或2所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，利用OpenCV软件包将获取到的视频流拆分成图像帧。

4.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述基于深度神经网络的目标区域检测模型利用YoloV5算法，检测每帧图像的目标区域。

5.根据权利要求1所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，利用Pillow工具包将所述退镜过程中的视野有效率以及旋镜操作的评估指标编辑在从视频流中拆分出的图像帧上，并将编辑后的图像帧展示在使用PyQt工具包创建的视频流展示端界面上。

6.根据权利要求5所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，所述视频流展示端包括开始检测按钮、AI开启或关闭按钮、全屏按钮以及视频展示区；

所述开始检测按钮，用于在按下时，启动后台视频处理和调用端；

所述AI开启或关闭按钮，用于自动控制开启或关闭后台视频处理和调用端；

所述视频展示区，用于展示编辑后的图像帧；

所述全屏按钮，用于在按下时，将视频展示区全屏展示。

7.根据权利要求5所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，在编辑时，质量控制指标将编辑在图像帧的控制信息部分。

8.基于深度神经网络的肠镜退镜质量智能监控方法，应用于权利要求1-7任意一项所述的基于深度神经网络的肠镜退镜质量智能监控系统，其特征在于，包括如下步骤：

步骤1.获取结肠镜检查时生成的视频流；

步骤2.将获取到的视频流拆分成图像帧；

步骤3.检测出每一帧图像中的目标区域，并将检测出的目标区域从对应的图像帧中分割出来；

步骤4.对分割后的目标区域进行视野的有效性判定，并记录有效视野的图像和总图像数量；

步骤5.将有效视野的图像的数量和总图像数量的比值作为退镜过程中的视野有效率返回至视频流展示端；

步骤6.将判定为有效视野的图像按照四个象限等分为四份，分别进行管腔、局部和模糊的三分类判定；

步骤7.将三分类判定结果中局部分类的图像数量和有效视野的图像数量的比值，以及管腔分类的图像数量和有效视野的图像数量的比值返回至视频流展示端。

Images