CN113962998A - 肠镜检查的有效退镜时间评估方法、装置及存储介质 - Google Patents

肠镜检查的有效退镜时间评估方法、装置及存储介质 Download PDF

Info

Publication number
CN113962998A
CN113962998A CN202111584781.XA CN202111584781A CN113962998A CN 113962998 A CN113962998 A CN 113962998A CN 202111584781 A CN202111584781 A CN 202111584781A CN 113962998 A CN113962998 A CN 113962998A
Authority
CN
China
Prior art keywords
image
enteroscopy
video
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111584781.XA
Other languages
English (en)
Inventor
王玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Original Assignee
Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yujin Artificial Intelligence Medical Technology Co ltd filed Critical Tianjin Yujin Artificial Intelligence Medical Technology Co ltd
Priority to CN202111584781.XA priority Critical patent/CN113962998A/zh
Publication of CN113962998A publication Critical patent/CN113962998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及一种肠镜检查的有效退镜时间评估方法、装置及存储介质。所述肠镜检查的有效退镜时间评估方法包括：对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；根据所述视频帧数量确定出无效退镜时长；在所述肠镜退镜检查视频中，确定出由回盲部或回肠末端退镜至肛门口齿状线的退镜时间；根据所述退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间。本申请进而可以更加有效评估结肠镜检查的质量，辅助提高消化道疾病及消化道肿瘤检出率。

Description

肠镜检查的有效退镜时间评估方法、装置及存储介质
技术领域
本申请涉及医疗技术领域，尤其涉及一种肠镜检查的有效退镜时间评估方法、装置及存储介质。
背景技术
结肠癌是消化道肿瘤发病率和死亡率均较高的一种恶性肿瘤，早期发现及治疗是提高肿瘤患者生存率及改善患者术后生活质量的重要方式。通过结肠镜对消化道的直接观察、辅助成像方式等能够实现早期诊断消化道疾病及消化道肿瘤。但结肠镜检查并非完全无误，有研究表明，结肠镜息肉漏诊率约为25%。结肠镜检查的质量受多种因素的影响，其中下列几项内容为影响结肠镜检查的比较常见的基础因素：（1）医师的经验及专业背景；（2）肠道准备情况；（3）患者舒适度和静脉麻醉；（4）退镜时间；（5）盲肠插管率；（6）腺瘤检出率。
退镜时间是指由回盲部或回肠末端退回至肛门口齿状线的时间。充分的退镜时间能保证对结肠黏膜的仔细观察，因此退镜时间是衡量结肠镜检查过程质量的指标之一。目前国内外文献均认为退镜时间≥6 min可保证结肠镜检查质量，在保证退镜不少于6 min的基础上，延长退镜时间可増加直结肠息肉检出率。但退镜时间并不是越久越好，退镜时间过久会增加患者检查后腹痛、腹胀等不适症状，且超过10min后继续延长退镜时间腺瘤检出率并不继续提高。因此，现有的研究认为退镜时间应为6 min～10 min为宜。单纯计算退镜时间，缺点如下：
（1）并不能排除手术操作对时间的干扰；如果医生增加手术处理，那么退镜时间必然延长。但又与腺瘤检出无关。
（2）医生清洁肠内容物操作对退镜时间的影响，如果肠道准备欠佳，医生需要花时间冲洗肠道，而此时的时间计算在退镜时间内，并不能提高腺瘤检出。
（3）运镜不规范导致的模糊画面，对提高腺瘤检出无意义。
综上，本申请提出一种有效退镜时间，可以有效排除各种出现在退镜过程中，又对腺瘤检出无意义的因素，只计算真正用于观察肠道、寻找病变的时间，比单纯的退镜时间能更加精确的反应结肠镜检查质量。在临床上以有效退镜时间替代传统的退镜时间，用于评估结肠镜检查质量会更加客观。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种肠镜检查的有效退镜时间评估方法、装置及存储介质。
第一方面，本申请提供了一种肠镜检查的有效退镜时间评估方法，所述肠镜检查的有效退镜时间评估方法，包括：
对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；
根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；
根据所述视频帧数量确定出无效退镜时长；
在所述肠镜退镜检查视频中，确定出由回盲部或回肠末端退镜至肛门口齿状线的退镜时间；
根据所述退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间。
可选地，对于每帧视频帧，在识别出该帧视频帧属于以下一种或多种情形时，判定该帧视频帧不能用于寻找病变：
通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像；
通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像；
通过帧差方式识别出该视频帧属于预设的静止图像；
通过直方图方式识别出该视频帧属于预设的昏暗图像。
可选地，所述通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像，包括：
通过预先训练得到的病灶和手术器械识别模型，识别出该视频帧属于预设的观察病变和手术图像；所述病灶和手术器械识别模型基于YOLO-V5目标检测网络训练得到。
可选地，所述通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像，包括：
通过OpenCV的计算图像直方图的函数cv2.calcHist提取该视频帧的图像彩色直方图；
通过OpenCV的归一化函数cv2.normalize将该视频帧的图像色彩直方图进行归一化，得到输入向量；
通过机器学习图像分类方式对所述输入向量进行识别，用以识别出该视频帧属于预设的贴近肠壁和吸水图像。
可选地，所述机器学习图像分类方式包括采用SVM分类模型进行图像分类；所述肠镜检查的有效退镜时间评估方法还包括：
根据预先获取的肠镜退镜检查图像样本集，得到输入向量集；
采用高斯核函数，惩罚因子根据训练样本数量设置，对所述输入向量集进行训练，获得所述SVM分类模型。
可选地，所述通过帧差方式识别出该视频帧属于预设的静止图像，包括：
将包含该视频帧的连续N帧视频帧的每帧视频帧转化为灰度图，并归一化灰度图；
将所述归一化灰度图分割成多块；
确定每块的灰度均值，并根据每块的灰度均值确定所述归一化灰度图的灰度均值；
分别确定连续两帧归一化灰度图的灰度均值的差值；
根据所述差值确定所述N帧视频帧的变化比例；
在所述变化比例低于预设的图像变化阈值时，确定所述N帧视频帧属于静止图像。
可选地，所述通过直方图方式识别出该视频帧属于预设的昏暗图像，包括：
将该视频帧转化为灰度图；
确定所述灰度图中小于预设昏暗图像像素阈值的像素数量；
通过所述像素数量和所述灰度图的总像素，确定昏暗像素占比面积；
在所述昏暗像素占比面积大于预设的昏暗图像的面积阈值时，识别出该视频帧属于预设的昏暗图像。
可选地，采用下式确定所述无效退镜时长，包括：
所述无效退镜时长=（属于观察病变和手术图像的视频帧数量+属于贴近肠壁和吸水图像的视频帧数量+属于静止图像的视频帧数量+属于昏暗图像的视频帧数量）/视频帧率。
第二方面，本申请提供了一种肠镜检查的有效退镜时间评估装置，其特征在于，所述肠镜检查的有效退镜时间评估装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如上任一项所述的肠镜检查的有效退镜时间评估方法的步骤。
第三方面，本申请提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有肠镜检查的有效退镜时间评估程序，所述肠镜检查的有效退镜时间评估程序被处理器执行时，实现如上任一项所述的肠镜检查的有效退镜时间评估方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请各实施例通过对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；根据所述视频帧数量确定出无效退镜时长；从而可以根据退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间，从而有效退镜时间替代传统的退镜时间，进而可以更加有效评估结肠镜检查的质量，辅助提高消化道疾病及消化道肿瘤检出率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请各个实施例提供的肠镜检查的有效退镜时间评估方法的流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
实施例一
本发明实施例提供一种肠镜检查的有效退镜时间评估方法，如图1所示，所述肠镜检查的有效退镜时间评估方法，包括：
S101，对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；病变包括消化道疾病、消化道肿瘤等，例如息肉；
S102，根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；
S103，根据所述视频帧数量确定出无效退镜时长；
S104，在所述肠镜退镜检查视频中，确定出由回盲部或回肠末端退镜至肛门口齿状线的退镜时间；
S105，根据所述退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间。
本发明实施例通过对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；根据所述视频帧数量确定出无效退镜时长；从而可以根据退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间，从而有效排除各种出现在退镜过程中，又对腺瘤检出无意义的因素，只计算真正用于观察肠道、寻找病变的时间，比单纯的退镜时间能更加精确的反应结肠镜检查质量。在临床上以有效退镜时间替代传统的退镜时间，用于评估肠镜质量会更加客观。
在一些实施方式中，对于每帧视频帧，在识别出该帧视频帧属于以下一种或多种情形时，判定该帧视频帧不能用于寻找病变：
通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像；
通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像；
通过帧差方式识别出该视频帧属于预设的静止图像；
通过直方图方式识别出该视频帧属于预设的昏暗图像。
本实施方式基于深度学习目标检测方式统计内镜检查观察病变及镜下手术图像，通过直方图+SVM分类，来统计贴近肠壁、吸水操作等场景图像，基于帧差方式判断是否静止图像，基于灰度直方图确定无效识别图像，从而高效快捷剔除不能用于寻找病变的视频帧，基于剔除不能用于寻找病变的视频帧后能更加准确且客观的协助医生评估退镜时间，进一步辅助提高消化道疾病及消化道肿瘤检出率。
在一些实施方式中，所述通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像，包括：
通过预先训练得到的病灶和手术器械识别模型，识别出该视频帧属于预设的观察病变和手术图像；所述病灶和手术器械识别模型基于YOLO-V5目标检测网络训练得到。
例如，以YOLO-V5目标检测网络为基础对病灶和手术器械数据进行训练、识别；若检测出病变或器械，则视频帧属于观察病变和手术图像，认为是医生在观察病变或手术，帧数对应加1。
在一些实施方式中，所述通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像，包括：
通过OpenCV的计算图像直方图的函数cv2.calcHist提取该视频帧的图像彩色直方图；
通过OpenCV的归一化函数cv2.normalize将该视频帧的图像色彩直方图进行归一化，得到输入向量；
通过机器学习图像分类方式对所述输入向量进行识别，用以识别出该视频帧属于预设的贴近肠壁和吸水图像。
可选地，所述机器学习图像分类方式包括采用SVM分类模型进行图像分类；所述肠镜检查的有效退镜时间评估方法还包括：
根据预先获取的肠镜退镜检查图像样本集，得到输入向量集；具体包括：通过OpenCV的计算图像直方图的函数cv2.calcHist提取肠镜退镜检查图像样本集的图像彩色直方图；通过OpenCV的归一化函数cv2.normalize将肠镜退镜检查图像样本集的图像色彩直方图进行归一化，得到输入向量集；
采用高斯核函数，惩罚因子根据训练样本数量设置，对所述输入向量集进行训练，获得所述SVM分类模型。
也就是说，在一些实施方式中可以使用OpenCV直方图函数cv2.calcHist提取图像色彩直方图，然后使用cv2.normalize函数将提取到的色彩直方图进行归一化，得到输入向量h；使用SVM分类模型支持向量机对数据集（贴近肠壁图像、吸水图像、正常肠道）进行分类训练，输入数据为每张图经过上述两步得到的输入向量h，SVM分类核函数采用高斯核函数，并根据训练样本数量设置惩罚因子，（经过多次训练，当惩罚因子取2.6时，表现最佳；惩罚因子可根据训练数据的可分离程度设置，可分离程度越小，越大的惩罚因子效果越好），经过训练得到SVM分类模型，最后使用SVM分类模型对视频逐帧分类，确定贴近肠壁和吸水图像，统计分类结果为贴近肠壁和吸水的帧数。
在一些实施方式中，所述通过帧差方式识别出该视频帧属于预设的静止图像，包括：
将包含该视频帧的连续N帧视频帧的每帧视频帧转化为灰度图，并归一化灰度图；例如512*512像素；
将所述归一化灰度图分割成多块；例如，4*4块；
确定每块的灰度均值，并根据每块的灰度均值确定所述归一化灰度图的灰度均值；
分别确定连续两帧归一化灰度图的灰度均值的差值；
根据所述差值确定所述N帧视频帧的变化比例；N为预设阈值，不小于5；
在所述变化比例低于预设的图像变化阈值时，确定所述N帧视频帧属于静止图像。
例如，在肠镜退镜检查视频中，读取每帧目标图像，转化为灰度图，然后归一化成512*512，并切割成4*4小块；计算每一个小块的灰度均值，得到一个16个数值的均值集合；计算前一帧与当前帧灰度均值集合的差，进而求出变化比例；若连续N帧变化比例低于阈值，则认为属于静止图像，表明镜头发生静止。通过帧差方式有效识别出视频帧是否属于静止图像，并且识别速度高，从而进一步辅助提高消化道疾病及消化道肿瘤检出率。
在一些实施方式中，所述通过直方图方式识别出该视频帧属于预设的昏暗图像，包括：
将该视频帧转化为灰度图；
确定所述灰度图中小于预设昏暗图像像素阈值的像素数量；
通过所述像素数量和所述灰度图的总像素，确定昏暗像素占比面积；
在所述昏暗像素占比面积大于预设的昏暗图像的面积阈值时，识别出该视频帧属于预设的昏暗图像。
例如，肠镜退镜检查视频中，读取每帧目标图像，转化为灰度图；预先设置一个昏暗图像像素阈值f，例如为灰度值39；统计灰度图中的小于阈值f的像素点个数；然后根据统计结果所得个数与总像素数量做比，得到占比面积，最后若所述占比面积大于预先设定的昏暗图像面积阈值，该视频帧属于预设的昏暗图像，其中昏暗图像面积阈值设置为0.78。通过昏暗图像像素阈值f设置为灰度值39，昏暗图像面积阈值设置为0.78可以准确识别昏暗图像。
在一些实施方式中，采用下式确定所述无效退镜时长，包括：
所述无效退镜时长=（属于观察病变和手术图像的视频帧数量+属于贴近肠壁和吸水图像的视频帧数量+属于静止图像的视频帧数量+属于昏暗图像的视频帧数量）/视频帧率。
从而有效退镜时长=退镜时间-无效退镜时长。当然，在一些实施方式中，有效退镜时长t0’=退镜时间t0-观察病变和手术时间t1-贴近肠壁和吸水时间t2-手术静止时间t3-画面昏暗时间t4。
其中，观察病变和手术时间t1=属于观察病变和手术图像的视频帧数量/视频帧率；
贴近肠壁和吸水时间t2=属于贴近肠壁和吸水图像的视频帧数量/视频帧率；
手术静止时间t3=属于静止图像的视频帧数量/视频帧率；
画面昏暗时间t4=属于昏暗图像的视频帧数量/视频帧率。
通过对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；根据所述视频帧数量确定出无效退镜时长；从而可以根据退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间，从而有效排除各种出现在退镜过程中，又对腺瘤检出无意义的因素，只计算真正用于观察肠道、寻找病变的时间，比单纯的退镜时间能更加精确的反应结肠镜检查质量。在临床上以有效退镜时间替代传统的退镜时间，用于评估肠镜质量会更加客观。进一步基于深度学习目标检测方式统计内镜检查观察病变及镜下手术图像，通过直方图+SVM分类，来统计贴近肠壁、吸水操作等场景图像，基于帧差方式判断是否静止图像，基于灰度直方图确定无效识别图像，从而高效快捷剔除不能用于寻找病变的视频帧，基于剔除不能用于寻找病变的视频帧后能更加准确且客观的协助医生评估退镜时间，进一步辅助提高消化道疾病及消化道肿瘤检出率。
实施例二
本发明实施例提供一种肠镜检查的有效退镜时间评估装置，所述肠镜检查的有效退镜时间评估装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如实施例一中任一项所述的肠镜检查的有效退镜时间评估方法的步骤。
实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有肠镜检查的有效退镜时间评估程序，所述肠镜检查的有效退镜时间评估程序被处理器执行时，实现如实施例一中任一项所述的肠镜检查的有效退镜时间评估方法的步骤。存储器可以是云存储器。
实施例二和实施例三的具体实现可以参阅实施例一，具有相应的技术效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (12)

1.一种肠镜检查的有效退镜时间评估方法，其特征在于，所述肠镜检查的有效退镜时间评估方法，包括：
对肠镜退镜检查视频进行逐帧识别，识别出每帧视频帧是否能用于寻找病变；
根据所述逐帧识别，在所述肠镜退镜检查视频中确定出不能用于寻找病变的视频帧数量；
根据所述视频帧数量确定出无效退镜时长；
在所述肠镜退镜检查视频中，确定出由回盲部或回肠末端退镜至肛门口齿状线的退镜时间；
根据所述退镜时间和所述无效退镜时长，确定肠镜检查的有效退镜时间。
2.根据权利要求1所述的肠镜检查的有效退镜时间评估方法，其特征在于，对于每帧视频帧，在识别出该帧视频帧属于以下一种或多种情形时，判定该帧视频帧不能用于寻找病变：
通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像；
通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像；
通过帧差方式识别出该视频帧属于预设的静止图像；
通过直方图方式识别出该视频帧属于预设的昏暗图像。
3.根据权利要求2所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述通过深度学习目标检测方式识别出该视频帧属于预设的观察病变和手术图像，包括：
通过预先训练得到的病灶和手术器械识别模型，识别出该视频帧属于预设的观察病变和手术图像；所述病灶和手术器械识别模型基于YOLO-V5目标检测网络训练得到。
4.根据权利要求2所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述通过机器学习图像分类方式识别出该视频帧属于预设的贴近肠壁和吸水图像，包括：
通过OpenCV的计算图像直方图的函数cv2.calcHist提取该视频帧的图像彩色直方图；
通过OpenCV的归一化函数cv2.normalize将该视频帧的图像色彩直方图进行归一化，得到输入向量；
通过机器学习图像分类方式对所述输入向量进行识别，用以识别出该视频帧属于预设的贴近肠壁和吸水图像。
5.根据权利要求4所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述机器学习图像分类方式包括采用SVM分类模型进行图像分类；所述肠镜检查的有效退镜时间评估方法还包括：
根据预先获取的肠镜退镜检查图像样本集，得到输入向量集；
采用高斯核函数，惩罚因子根据训练样本数量设置，对所述输入向量集进行训练，获得所述SVM分类模型；所述SVM分类模型用于根据输入向量分类贴近肠壁图像、吸水图像和正常肠道图像。
6.根据权利要求5所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述惩罚因子为2.6。
7.根据权利要求2所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述通过帧差方式识别出该视频帧属于预设的静止图像，包括：
将包含该视频帧的连续N帧视频帧的每帧视频帧转化为灰度图，并归一化灰度图；
将所述归一化灰度图分割成多块；
确定每块的灰度均值，并根据每块的灰度均值确定所述归一化灰度图的灰度均值；
分别确定连续两帧归一化灰度图的灰度均值的差值；
根据所述差值确定所述N帧视频帧的变化比例；
在所述变化比例低于预设的图像变化阈值时，确定所述N帧视频帧属于静止图像。
8.根据权利要求2所述的肠镜检查的有效退镜时间评估方法，其特征在于，所述通过直方图方式识别出该视频帧属于预设的昏暗图像，包括：
将该视频帧转化为灰度图；
确定所述灰度图中小于预设昏暗图像像素阈值的像素数量；
通过所述像素数量和所述灰度图的总像素，确定昏暗像素占比面积；
在所述昏暗像素占比面积大于预设的昏暗图像的面积阈值时，识别出该视频帧属于预设的昏暗图像。
9.根据权利要求2-8任意一项所述的肠镜检查的有效退镜时间评估方法，其特征在于，采用下式确定所述无效退镜时长，包括：
所述无效退镜时长=（属于观察病变和手术图像的视频帧数量+属于贴近肠壁和吸水图像的视频帧数量+属于静止图像的视频帧数量+属于昏暗图像的视频帧数量）/视频帧率。
10.一种肠镜检查的有效退镜时间评估装置，其特征在于，所述肠镜检查的有效退镜时间评估装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的肠镜检查的有效退镜时间评估方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有肠镜检查的有效退镜时间评估程序，所述肠镜检查的有效退镜时间评估程序被处理器执行时，实现如权利要求1-9中任一项所述的肠镜检查的有效退镜时间评估方法的步骤。
12.一种肠镜设备，其特征在于，所述肠镜设备包括如权利要求10所述的有效退镜时间评估装置或如权利要求11所述的计算机可读存储介质。
CN202111584781.XA 2021-12-23 2021-12-23 肠镜检查的有效退镜时间评估方法、装置及存储介质 Pending CN113962998A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111584781.XA CN113962998A (zh) 2021-12-23 2021-12-23 肠镜检查的有效退镜时间评估方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111584781.XA CN113962998A (zh) 2021-12-23 2021-12-23 肠镜检查的有效退镜时间评估方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113962998A true CN113962998A (zh) 2022-01-21

Family

ID=79473632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111584781.XA Pending CN113962998A (zh) 2021-12-23 2021-12-23 肠镜检查的有效退镜时间评估方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113962998A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598716A (zh) * 2018-12-05 2019-04-09 上海珍灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN111839445A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN111839444A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别匹配的肠镜镜头静止检测方法
CN111863209A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN111932484A (zh) * 2019-04-25 2020-11-13 天津御锦人工智能医疗科技有限公司 一种基于图像识别的肠镜图像模糊度检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598716A (zh) * 2018-12-05 2019-04-09 上海珍灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN111839445A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN111839444A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别匹配的肠镜镜头静止检测方法
CN111863209A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN111932484A (zh) * 2019-04-25 2020-11-13 天津御锦人工智能医疗科技有限公司 一种基于图像识别的肠镜图像模糊度检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LP_OREO: ""在opencv中，绘制彩色图片的三个通道偶的图像直方图"", 《HTTPS://BLOG.CSDN.NET/QQ_38316300/ARTICLE/DETAILS/97614303》 *
STAN FU: ""Udacity机器人软件工程师课程笔记（二十二）-物体识别-色彩直方图，支持向量机SVM"", 《HTTPS://BLOG.CSDN.NET/QQ_37266917/ARTICLE/DETAILS/103568155》 *
ZJE_ANDY: ""python3+opencv 利用灰度直方图来判断图片的亮暗情况"", <HTTPS://BLOG.CSDN.NET/U014453898/ARTICLE/DETAILS/80745987/ > *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN115035153B (zh) * 2022-08-12 2022-10-28 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备

Similar Documents

Publication Publication Date Title
JP6875709B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
WO2019088121A1 (ja) 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN110049709B (zh) 图像处理装置
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2018165620A1 (en) Systems and methods for clinical image classification
CN107767365A (zh) 一种内窥镜图像处理方法及系统
CN113962998A (zh) 肠镜检查的有效退镜时间评估方法、装置及存储介质
WO2020215807A1 (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
WO2023143014A1 (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
Al-Rahayfeh et al. Detection of bleeding in wireless capsule endoscopy images using range ratio color
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
CN111839445A (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN111768389A (zh) 基于卷积神经网络和随机森林的消化道操作自动计时方法
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
CN115965617A (zh) 一种基于集成学习的消化道内镜检查辅助系统
CN114842000A (zh) 一种内窥镜图像质量评估方法和系统
Tran et al. Support of deep learning to classify vocal fold images in flexible laryngoscopy
CN112597981B (zh) 基于深度神经网络的肠镜退镜质量智能监控系统及方法
CN116309605B (zh) 基于深度学习和状态转移的内窥镜检查质控方法及系统
Arnold et al. Indistinct frame detection in colonoscopy videos
CN116542883A (zh) 一种磁控胶囊胃镜影像病灶粘膜增强系统
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220121

RJ01 Rejection of invention patent application after publication