CN113658179B - 肠道清洁度的检测方法及装置 - Google Patents
肠道清洁度的检测方法及装置 Download PDFInfo
- Publication number
- CN113658179B CN113658179B CN202111215941.3A CN202111215941A CN113658179B CN 113658179 B CN113658179 B CN 113658179B CN 202111215941 A CN202111215941 A CN 202111215941A CN 113658179 B CN113658179 B CN 113658179B
- Authority
- CN
- China
- Prior art keywords
- intestinal tract
- image
- images
- intestinal
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本申请提供一种肠道清洁度的检测方法及装置,该肠道清洁度的检测方法包括:获取多张第一肠道退镜图像;将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;获取多张第一肠道退镜图像的拍摄区域;根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。本申请能够提高肠道清洁度检测的准确率。
Description
技术领域
本申请主要涉及人工智能技术领域,具体涉及一种肠道清洁度的检测方法及装置。
背景技术
结直肠癌是第三大癌症相关死亡原因,肠镜可以通过检出和切除肠道腺瘤有效地降低结直肠癌的发生率。然而,肠镜对病灶检出的效率很大程度上取决于肠道粘膜的观察的质量,如果病人肠道准备不充分,则部分黏膜会由于被粪便、粪水、食物残渣等污物所遮盖而无法观察。因此,对于肠道准备不充分的患者,应嘱其重新清肠进行肠镜复查。然而,受到医生主观性、临床经验不同等原因的限制,现有临床上的肠道准备评估准确度不足,难以反映病灶检出的情况。国家健康服务(NHS)肠癌筛查计划纳入了36460次结肠镜检查进行质量分析,但未发现腺瘤检出率(ADR)与医生肠道准备评估之间存在相关性。来自意大利的另一个筛查项目纳入了75569次结肠镜检查进行分析,同样发现肠道准备和ADR之间没有关联。因此,临床上亟待开发一个能够准确评估肠道清洁度的辅助工具,辅助内镜医师鉴别肠道准备不充分的患者,避免病灶漏诊。
现有技术大多是医生根据波士顿评分分为四个等级,以每固定时间间隔中取肠道准备质量最差的评分作为该段时间的分数,在肠镜检查结束后计算累计总分来评估。每固定时间间隔中只取肠道准备最差的结果会导致整体评分偏低,影响整体评判的准确度,导致肠道清洁度检测的准确度不高。
也即,现有技术中肠道清洁度检测的准确度不高。
发明内容
本申请提供一种肠道清洁度的检测方法及装置,旨在解决现有技术中肠道清洁度检测的准确度不高的问题。
第一方面,本申请提供一种肠道清洁度的检测方法,该肠道清洁度的检测方法包括:
获取多张第一肠道退镜图像;
将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;
获取多张第一肠道退镜图像的拍摄区域;
根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;
根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
可选地,所述拍摄区域包括横结肠区域和侧结肠区域,所述获取多张第一肠道退镜图像的拍摄区域,包括:
将所述多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果;
根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,所述第一图像集中的每张图像的检测结果为检测到肝曲标识;所述第二图像集中每张图像的检测结果为检测到脾曲标识;
获取所述第一图像集中各个图像拍摄时间的第一平均拍摄时间和所述第二图像集中各个图像拍摄时间的第二平均拍摄时间;
将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为所述横结肠区域;
将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为所述侧结肠区域。
可选地,所述侧结肠区域包括位于横结肠区域两侧的第一侧肠道区域和第二侧肠道区域,所述获取多张第一肠道退镜图像的拍摄区域,包括:
根据多个第一肠道退镜图像的检测结果获取第三图像集,其中,所述第三图像集中的每张图像的检测结果为检测到预设标识,所述预设标识为回盲瓣标识或者阑尾口标识;
获取所述第三图像集中各个图像拍摄时间的第三平均拍摄时间;
将拍摄时间位于第三平均拍摄时间和第一平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为第一侧结肠区域;将拍摄时间位于第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为第二侧结肠区域。
可选地,所述肠道清洁度检测结果为肠道清洁度检测值,所述根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果,包括:
根据预设的各个拍摄区域的清洁度权重系数对所述各个拍摄区域的区域不清洁图像占比进行加权求和,得到加权不清洁图像占比;
判断所述加权不清洁图像占比是否小于预设值;
若所述加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值;若所述加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。
可选地,所述获取多张第一肠道退镜图像,包括:
按第一预设频率采集肠道退镜观察时的第二肠道退镜图像;
将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域;
将肠道有效区域输入异常分类模型进行分类,得到第二肠道退镜图像的第二分类结果,所述第二分类结果包括正常类别和异常类别,其中,所述异常分类模型为使用第一预设样本集对Resnet模型进行训练得到的,所述第一预设样本集中包括多个标注好的第一样本图像,不属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为正常类别,属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为异常类别;
根据所述第二分类结果判断所述第二肠道退镜图像是否属于异常类别;
若所述第二肠道退镜图像属于异常类别,则将所述第二肠道退镜图像剔除;若所述第二肠道退镜图像不属于异常类别,则将所述第二肠道退镜图像确定为第一肠道退镜图像。
可选地,所述将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域,包括:
按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件;
当肠道观察时的退镜速度不满足预设异常条件时,将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
可选地,所述按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件,包括:
按第二预设频率获取第四图像集,其中,所述第四图像集包括当前已拍摄的预设数量的第二肠道退镜图像;
在所述第四图像集中,分别计算最晚拍摄的第二肠道退镜图像与其他第二肠道退镜图像之间的图像相似度,得到多个图像相似度;
根据预设相似度权重系数对多个图像相似度进行加权求和,得到加权相似度,其中,拍摄时间越晚的第二肠道退镜图像对应的预设相似度权重系数越大;
若所述加权相似度大于预设相似度,则判断肠道观察时的退镜速度满足预设异常条件;若所述加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件。
第二方面,本申请提供一种肠道清洁度的检测装置,所述肠道清洁度的检测装置包括:
第一获取单元,用于获取多张第一肠道退镜图像;
分类单元,用于将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;
第二获取单元,用于获取多张第一肠道退镜图像的拍摄区域;
确定单元,用于根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;
加权单元,用于根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
可选地,所述拍摄区域包括横结肠区域和侧结肠区域,所述第一获取单元,用于:
将所述多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果;
根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,所述第一图像集中的每张图像的检测结果为检测到肝曲标识;所述第二图像集中每张图像的检测结果为检测到脾曲标识;
获取所述第一图像集中各个图像拍摄时间的第一平均拍摄时间和所述第二图像集中各个图像拍摄时间的第二平均拍摄时间;
将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为所述横结肠区域;
将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为所述侧结肠区域。
可选地,所述侧结肠区域包括位于横结肠区域两侧的第一侧肠道区域和第二侧肠道区域,所述第一获取单元,用于:
根据多个第一肠道退镜图像的检测结果获取第三图像集,其中,所述第三图像集中的每张图像的检测结果为检测到预设标识,所述预设标识为回盲瓣标识或者阑尾口标识;
获取所述第三图像集中各个图像拍摄时间的第三平均拍摄时间;
将拍摄时间位于第三平均拍摄时间和第一平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为第一侧结肠区域;将拍摄时间位于第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为第二侧结肠区域。
可选地,所述肠道清洁度检测结果为肠道清洁度检测值,所述加权单元,用于:
根据预设的各个拍摄区域的清洁度权重系数对所述各个拍摄区域的区域不清洁图像占比进行加权求和,得到加权不清洁图像占比;
判断所述加权不清洁图像占比是否小于预设值;
若所述加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值;若所述加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。
可选地,所述第一获取单元,用于:
按第一预设频率采集肠道退镜观察时的第二肠道退镜图像;
将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域;
将肠道有效区域输入异常分类模型进行分类,得到第二肠道退镜图像的第二分类结果,所述第二分类结果包括正常类别和异常类别,其中,所述异常分类模型为使用第一预设样本集对Resnet模型进行训练得到的,所述第一预设样本集中包括多个标注好的第一样本图像,不属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为正常类别,属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为异常类别;
根据所述第二分类结果判断所述第二肠道退镜图像是否属于异常类别;
若所述第二肠道退镜图像属于异常类别,则将所述第二肠道退镜图像剔除;若所述第二肠道退镜图像不属于异常类别,则将所述第二肠道退镜图像确定为第一肠道退镜图像。
可选地,所述第一获取单元,用于:
按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件;
当肠道观察时的退镜速度不满足预设异常条件时,将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
可选地,所述第一获取单元,用于:
按第二预设频率获取第四图像集,其中,所述第四图像集包括当前已拍摄的预设数量的第二肠道退镜图像;
在所述第四图像集中,分别计算最晚拍摄的第二肠道退镜图像与其他第二肠道退镜图像之间的图像相似度,得到多个图像相似度;
根据预设相似度权重系数对多个图像相似度进行加权求和,得到加权相似度,其中,拍摄时间越晚的第二肠道退镜图像对应的预设相似度权重系数越大;
若所述加权相似度大于预设相似度,则判断肠道观察时的退镜速度满足预设异常条件;若所述加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件。
第三方面,本申请提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的肠道清洁度的检测方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行第一方面中任一项所述的肠道清洁度的检测方法中的步骤。
本申请提供一种肠道清洁度的检测方法及装置,该肠道清洁度的检测方法包括:获取多张第一肠道退镜图像;将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;获取多张第一肠道退镜图像的拍摄区域;根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。本申请在肠道清洁度检测时,先对多张第一肠道退镜图像是否清洁做分类,然后对不同位置拍摄的第一肠道退镜图像赋予对应的权重,最后根据各个拍摄区域拍摄的退镜图像中不清洁图像占比进行加权来确定肠道清洁度检测结果,一方面考虑到不同拍摄区域的图像对肠道清洁度的影响权重不同,另一方面使用不清洁度图像的占比来确定检测结果,能够提高肠道清洁度检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的肠道清洁度的检测系统的场景示意图;
图2是本申请实施例中提供的肠道清洁度的检测方法的一个实施例流程示意图;
图3是本申请实施例中提供的肠道清洁度的检测方法中S21的一个实施例流程示意图;
图4是本申请实施例中提供的肠道清洁度的检测方法中S23的一个实施例流程示意图;
图5是本申请实施例中提供的肠道清洁度的检测装置的一个实施例结构示意图;
图6是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种肠道清洁度的检测方法及装置,以下分别进行详细说明。
请参阅图1,图1是本申请实施例提供的肠道清洁度的检测系统的场景示意图,该肠道清洁度的检测系统可以包括计算机设备100,计算机设备100中集成有肠道清洁度的检测装置。
本申请实施例中,该计算机设备100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的计算机设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本申请实施例中,上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等,本实施例不限定计算机设备100的类型。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是本申请方案的一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该肠道清洁度的检测系统还可以包括一个或多个可处理数据的其他计算机设备,具体此处不作限定。
另外,如图1所示,该肠道清洁度的检测系统还可以包括存储器200,用于存储数据。
需要说明的是,图1所示的肠道清洁度的检测系统的场景示意图仅仅是一个示例,本申请实施例描述的肠道清洁度的检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着肠道清洁度的检测系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先,本申请实施例中提供一种肠道清洁度的检测方法,该肠道清洁度的检测方法包括:获取多张第一肠道退镜图像;将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;获取多张第一肠道退镜图像的拍摄区域;根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
如图2所示,图2是本申请实施例中肠道清洁度的检测方法的一个实施例流程示意图,该肠道清洁度的检测方法包括如下步骤S21~S25:
S21、获取多张第一肠道退镜图像。
参阅图3,本申请实施例中,获取多张第一肠道退镜图像,可以包括如下步骤S211~S215:
S211、按第一预设频率采集肠道退镜观察时的第二肠道退镜图像。
其中,控制肠镜拍摄设备在进行肠道退镜观察时按第一预设频率采集第二肠道退镜图像。第一预设频率可以是1hz,2hz等,根据具体情况设定即可。
S212、将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
其中,Unet++始终优于基线模型,用于跨不同数据集和骨干架构进行语义分割的任务;Unet++增强了各种尺寸对象的分割质量,这是对固定深度Unet的改进;剪枝过的Unet++模型可实现显着的加速,同时仅显示出适度的性能下降。
具体的,将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道所在区域,将肠道所在区域的外接矩形确定为肠道有效区域。能够去除第二肠道退镜图像中的背景,降低对后续检测的干扰。
本申请实施例中,将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域,可以包括:按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件;当肠道观察时的退镜速度不满足预设异常条件时,将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
在一个具体的实施例中,按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件,可以包括:
(1)按第二预设频率获取第四图像集,其中,第四图像集包括当前已拍摄的预设数量的第二肠道退镜图像。
其中,预设数量可以根据具体设定,例如,10张、9张等。预设数量的第二肠道退镜图像为最近拍摄的预设数量的第二肠道退镜图像,第四图像集中的存储的第二肠道退镜图像保持预设数量恒定。在按第一预设频率采集肠道退镜观察时的第二肠道退镜图像时,当采集到新的第二肠道退镜图像时,判断第四图像集中第二肠道退镜图像数量是否等于预设数量,若是,则将第四图像集中最早拍摄的第二肠道退镜图像删除,并将新的第二肠道退镜图像存储于第四图像集,保持第四图像集为最新图像集。第二预设频率可以为2hz、3hz等。优选地,第二预设频率小于第一预设频率。第二预设频率是检测退镜速度是否异常的频率,第一预设频率是采集第二肠道退镜图像的频率,第二预设频率小于第一预设频率能够避免过于频繁检测退镜速度导致计算负荷过高。
(2)在第四图像集中,分别计算最晚拍摄的第二肠道退镜图像与其他第二肠道退镜图像之间的图像相似度,得到多个图像相似度。
在一个具体的实施例中,将第四图像集中预设数量的第二肠道退镜图像缩小至预定尺寸。这样做会去除图片的细节,只保留结构、明暗等基本信息,目的是统一图片大小,保证后续图片都有相同长度的哈希值,方便距离计算。对第二肠道退镜图像灰度化处理,得到对应的多个灰度图,分别计算各个灰度图中像素的灰度平均值;根据灰度图中像素的灰度平均值确定灰度图的哈希值;在各个灰度图中,将每个像素的灰度与平均值进行比较;大于或等于平均值,记为1,小于平均值,记为0,由此生成二进制数组的哈希值。在第四图像集中,将最晚拍摄的第二肠道退镜图像的灰度图与其他第二肠道退镜图像的灰度图分别配对计算汉明距离,得到多个图像相似度。其中,汉明距离越近,图像相似度越高。
(3)根据预设相似度权重系数对多个图像相似度进行加权求和,得到加权相似度,其中,拍摄时间越晚的第二肠道退镜图像对应的预设相似度权重系数越大。
由于,拍摄时间越晚的第二肠道退镜图像与最晚拍摄的第二肠道退镜图像的重叠部分越多,相似度越高,通过设置预设相似度权重系数,能够更准确的反映这种关系,从而进一步提高相似度计算准确度。
(4)若加权相似度大于预设相似度,则判断肠道观察时的退镜速度满足预设异常条件;若加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件。
其中,预设相似度可以根据具体情况设定,例如,预设相似度为30%。若加权相似度大于预设相似度,说明最晚拍摄的第二肠道退镜图像与之前拍摄的第二肠道退镜图像差距较小,退镜速度为0或者很小。此时可能在肠镜检查过程中,因为临床医生观察病变、手术操作、留图等原因暂停退镜,此时如果持续对图像进行采集并进行清洁度识别,则相当于重复识别,会对最终的清洁度结果产生影响,使结果失真。因此,为了使利用不清洁图像占比来确定清洁度结果这种方案更准确,在加权相似度大于预设相似度,确定退镜速度为0或者很小,满足预设异常条件,采集图像不进行参与后清洁度检测,从而避免重复图像对后续清洁度检测的影响。若加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件,可以将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
进一步的,当肠道观察时的退镜速度不满足预设异常条件时,按第三预设频率判断肠道观察时的退镜速度是否满足预设异常条件,其中,第三预设频率大于第二预设频率。由于检测不到退镜异常,需要加大检测频率,从而避免异常检测遗漏。当肠道观察时的退镜速度满足预设异常条件时,按第三预设频率判断肠道观察时的退镜速度是否满足预设异常条件。当检测到退镜异常时可以恢复到第三预设频率,减小计算负荷。
S213、将肠道有效区域输入异常分类模型进行分类,得到第二肠道退镜图像的第二分类结果。
第二分类结果包括正常类别和异常类别,其中,异常分类模型为使用第一预设样本集对Resnet模型进行训练得到的,第一预设样本集中包括多个标注好的第一样本图像,不属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为正常类别,属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为异常类别。
S214、根据第二分类结果判断第二肠道退镜图像是否属于异常类别。
S215、若第二肠道退镜图像属于异常类别,则将第二肠道退镜图像剔除;若第二肠道退镜图像不属于异常类别,则将第二肠道退镜图像确定为第一肠道退镜图像。
在肠镜检查过程中,采集到的图像常有模糊不清晰、冲水、活检、手术等情况,这时的图像帧不应该进行清洁程度的识别,不应该影响肠道清洁准备质量的评估。本发明采用深度卷积神经网络技术,把采集到的第二肠道退镜图进行过滤,剔除模糊、冲水、活检、手术、染色体放大等不应该进行清洁度识别的图像。即训练图像2分类的异常分类模型,对所有采集到的图像识别是否剔除,只对保留的图像继续进行清洁度的识别。当然,若第四图像集中第二肠道退镜图像属于异常类别,则将第四图像集中的第二肠道退镜图像剔除。
S22、将多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,第一分类结果包括肠道清洁类别和肠道不清洁类别。
其中,清洁分类模型为使用第二预设样本集对Resnet模型进行训练得到的,第二预设样本集中包括多个标注好的第二样本图像,第二样本图像被标注为肠道清洁类别或者肠道不清洁类别。
将多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果。
S23、获取多张第一肠道退镜图像的拍摄区域。
参阅图4,本申请实施例中,拍摄区域包括横结肠区域和侧结肠区域,获取多张第一肠道退镜图像的拍摄区域,包括如下步骤S231~S235:
S231、将多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果。
其中,目标检测模型可以为经过训练的YOLOv5、Resnet等。检测结果可以是检测到肝曲标识、检测到脾曲标识以及检测到预设标识,其中,预设标识为回盲瓣标识或者阑尾口标识。
S232、根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,第一图像集中的每张图像的检测结果为检测到肝曲标识;第二图像集中每张图像的检测结果为检测到脾曲标识。
具体的,第一图像集中的每张图像的检测结果为检测到肝曲标识,表明拍摄位置在肝曲附近,第二图像集中的每张图像的检测结果为检测到脾曲标识,表明拍摄位置在脾曲附近。
在一个具体的实施例中,为了快速找到检测到肝曲标识的图像。从多张第一肠道退镜图像获取N个第一肠道退镜图像,N个第一肠道退镜图像为多张第一肠道退镜图像的子集,N个第一肠道退镜图像在拍摄时间上等间隔排布,将N个第一肠道退镜图像输入目标检测模型进行目标检测,得到N个第一肠道退镜图像的检测结果;若N个第一肠道退镜图像的检测结果中有检测结果为检测到肝曲标识的图像,则将检测结果为检测到肝曲标识的图像之前的K张第一肠道退镜图像和之后的K张第一肠道退镜图像确定为第一图像集。
S233、获取第一图像集中各个图像拍摄时间的第一平均拍摄时间和第二图像集中各个图像拍摄时间的第二平均拍摄时间。
S234、将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为横结肠区域。
由于肝曲标识和脾曲标识位于横结肠区域的两端,因此,根据肝曲标识和脾曲标识可确定横结肠区域的位置。
S235、将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为侧结肠区域。
具体的,侧结肠区域包括位于横结肠区域两侧的第一侧肠道区域和第二侧肠道区域,获取多张第一肠道退镜图像的拍摄区域,包括:
(1)根据多个第一肠道退镜图像的检测结果获取第三图像集,其中,第三图像集中的每张图像的检测结果为检测到预设标识,预设标识为回盲瓣标识或者阑尾口标识。
第一侧肠道区域包括盲肠和升结肠,当检测到回盲瓣标识或者阑尾口标识时,表明进入第一侧肠道区域。
(2)获取第三图像集中各个图像拍摄时间的第三平均拍摄时间。
(3)将拍摄时间位于第三平均拍摄时间和第一平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为第一侧结肠区域;将拍摄时间位于第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为第二侧结肠区域。
第一侧肠道区域包括盲肠和升结肠,当检测到回盲瓣标识或者阑尾口标识时,表明退镜进入第一侧肠道区域。第一侧肠道区域包括降结肠、乙状结肠以及直肠。利用人工智能模型根据各解剖结构或视野的颜色、形状等特点进行识别,进而对当前扫查位置进行判断。
S24、根据多张第一肠道退镜图像的第一分类结果和拍摄区域确定多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比。
例如,第一肠道退镜图像数量为300张,多张第一肠道退镜图像的第一分类结果为:第一侧肠道区域,肠道不清洁类别8张,肠道清洁类别92张;横结肠区域,肠道不清洁类别20张,肠道清洁类别80张;第二侧肠道区域,肠道不清洁类别30张,肠道清洁类别70张。第一侧肠道区域、横结肠区域和第二侧肠道区域的区域不清洁图像占比分别为8%、20%以及30%。
S25、根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
在一个具体的实施例中,根据大型流行病学数据库得出第一侧肠道区域、横结肠区域和第二侧肠道区域的息肉发生率分别为11.91%、16.47%和41.23%,因此将第一侧肠道区域、横结肠区域以及第二侧肠道区域的清洁度权重系数分别确定为11.91%、16.47%和41.23%。
其中,肠道清洁度检测结果为肠道清洁度检测值R1,当然,肠道清洁度检测结果也可以为合格或者不合格。
本申请实施例中,根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果,包括:
(1)根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到加权不清洁图像占比。
例如,第一侧肠道区域、横结肠区域和第二侧肠道区域的清洁度权重系数分别为11.91%、16.47%和41.23%;第一侧肠道区域、横结肠区域和第二侧肠道区域的区域不清洁图像占比分别为8%、20%以及30%,则加权不清洁图像占比R=8%*11.91%+16.47%*20%+41.23%*30%=12.36%。
(2)判断加权不清洁图像占比是否小于预设值。
具体的,预设值为15%,当然,预设值可以根据具体情况设定。R>=15%时,表示肠道准备不合格;R<15%时,表示肠道准备合格。
(3)若加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值;若加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。
把肠道合格的映射到6~10分,不合格的映射到0~6分,即合格时10分对应R=0,6分对应R=0.15,不合格时0分对应R=1。
具体的,若加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值。例如,第一预设策略为:肠道清洁度检测值R1=7.0588*(1-R)。
若加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。例如,第二预设策略为:肠道清洁度检测值R1=10-80*R/3。
为了更好实施本申请实施例中肠道清洁度的检测方法,在肠道清洁度的检测方法基础之上,本申请实施例中还提供一种肠道清洁度的检测装置,如图5所示,肠道清洁度的检测装置400包括:
第一获取单元401,用于获取多张第一肠道退镜图像;
分类单元402,用于将多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,第一分类结果包括肠道清洁类别和肠道不清洁类别;
第二获取单元403,用于获取多张第一肠道退镜图像的拍摄区域;
确定单元404,用于根据多张第一肠道退镜图像的第一分类结果和拍摄区域确定多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;
加权单元405,用于根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
可选地,拍摄区域包括横结肠区域和侧结肠区域,第一获取单元401,用于:
将多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果;
根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,第一图像集中的每张图像的检测结果为检测到肝曲标识;第二图像集中每张图像的检测结果为检测到脾曲标识;
获取第一图像集中各个图像拍摄时间的第一平均拍摄时间和第二图像集中各个图像拍摄时间的第二平均拍摄时间;
将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为横结肠区域;
将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为侧结肠区域。
可选地,侧结肠区域包括位于横结肠区域两侧的第一侧肠道区域和第二侧肠道区域,第一获取单元401,用于:
根据多个第一肠道退镜图像的检测结果获取第三图像集,其中,第三图像集中的每张图像的检测结果为检测到预设标识,预设标识为回盲瓣标识或者阑尾口标识;
获取第三图像集中各个图像拍摄时间的第三平均拍摄时间;
将拍摄时间位于第三平均拍摄时间和第一平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为第一侧结肠区域;将拍摄时间位于第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为第二侧结肠区域。
可选地,肠道清洁度检测结果为肠道清洁度检测值,加权单元405,用于:
根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到加权不清洁图像占比;
判断加权不清洁图像占比是否小于预设值;
若加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值;若加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。
可选地,第一获取单元401,用于:
按第一预设频率采集肠道退镜观察时的第二肠道退镜图像;
将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域;
将肠道有效区域输入异常分类模型进行分类,得到第二肠道退镜图像的第二分类结果,第二分类结果包括正常类别和异常类别,其中,异常分类模型为使用第一预设样本集对Resnet模型进行训练得到的,第一预设样本集中包括多个标注好的第一样本图像,不属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为正常类别,属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为异常类别;
根据第二分类结果判断第二肠道退镜图像是否属于异常类别;
若第二肠道退镜图像属于异常类别,则将第二肠道退镜图像剔除;若第二肠道退镜图像不属于异常类别,则将第二肠道退镜图像确定为第一肠道退镜图像。
可选地,第一获取单元401,用于:
按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件;
当肠道观察时的退镜速度不满足预设异常条件时,将第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
可选地,第一获取单元401,用于:
按第二预设频率获取第四图像集,其中,第四图像集包括当前已拍摄的预设数量的第二肠道退镜图像;
在第四图像集中,分别计算最晚拍摄的第二肠道退镜图像与其他第二肠道退镜图像之间的图像相似度,得到多个图像相似度;
根据预设相似度权重系数对多个图像相似度进行加权求和,得到加权相似度,其中,拍摄时间越晚的第二肠道退镜图像对应的预设相似度权重系数越大;
若加权相似度大于预设相似度,则判断肠道观察时的退镜速度满足预设异常条件;若加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种肠道清洁度的检测装置,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行上述肠道清洁度的检测方法实施例中任一实施例中的肠道清洁度的检测方法的步骤。
如图6所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该计算机设备的控制中心,利用各种接口和路线连接整个计算机设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;处理器501可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
计算机设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
该肠道清洁度的检测方法包括:获取多张第一肠道退镜图像;将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;获取多张第一肠道退镜图像的拍摄区域;根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种肠道清洁度的检测方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
该肠道清洁度的检测方法包括:获取多张第一肠道退镜图像;将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;获取多张第一肠道退镜图像的拍摄区域;根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种肠道清洁度的检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种肠道清洁度的检测方法,其特征在于,所述肠道清洁度的检测方法包括:
获取多张第一肠道退镜图像;
将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;
获取多张第一肠道退镜图像的拍摄区域;其中,所述拍摄区域包括横结肠区域和侧结肠区域,将所述多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果;根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,所述第一图像集中的每张图像的检测结果为检测到肝曲标识;所述第二图像集中每张图像的检测结果为检测到脾曲标识;获取所述第一图像集中各个图像拍摄时间的第一平均拍摄时间和所述第二图像集中各个图像拍摄时间的第二平均拍摄时间;将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为所述横结肠区域;将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为所述侧结肠区域;
根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;
根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
2.根据权利要求1所述的肠道清洁度的检测方法,其特征在于,所述侧结肠区域包括位于横结肠区域两侧的第一侧肠道区域和第二侧肠道区域,所述获取多张第一肠道退镜图像的拍摄区域,包括:
根据多个第一肠道退镜图像的检测结果获取第三图像集,其中,所述第三图像集中的每张图像的检测结果为检测到预设标识,所述预设标识为回盲瓣标识或者阑尾口标识;
获取所述第三图像集中各个图像拍摄时间的第三平均拍摄时间;
将拍摄时间位于第三平均拍摄时间和第一平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为第一侧结肠区域;将拍摄时间位于第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为第二侧结肠区域。
3.根据权利要求1所述的肠道清洁度的检测方法,其特征在于,所述肠道清洁度检测结果为肠道清洁度检测值,所述根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果,包括:
根据预设的各个拍摄区域的清洁度权重系数对所述各个拍摄区域的区域不清洁图像占比进行加权求和,得到加权不清洁图像占比;
判断所述加权不清洁图像占比是否小于预设值;
若所述加权不清洁图像占比不小于预设值,则基于第一预设策略计算肠道清洁度检测值;若所述加权不清洁图像占比小于预设值,则基于第二预设策略计算肠道清洁度检测值。
4.根据权利要求1所述的肠道清洁度的检测方法,其特征在于,所述获取多张第一肠道退镜图像,包括:
按第一预设频率采集肠道退镜观察时的第二肠道退镜图像;
将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域;
将肠道有效区域输入异常分类模型进行分类,得到第二肠道退镜图像的第二分类结果,所述第二分类结果包括正常类别和异常类别,其中,所述异常分类模型为使用第一预设样本集对Resnet模型进行训练得到的,所述第一预设样本集中包括多个标注好的第一样本图像,不属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为正常类别,属于模糊、冲水、活检、手术、染色体放大中任一类型的第一样本图像被标注为异常类别;
根据所述第二分类结果判断所述第二肠道退镜图像是否属于异常类别;
若所述第二肠道退镜图像属于异常类别,则将所述第二肠道退镜图像剔除;若所述第二肠道退镜图像不属于异常类别,则将所述第二肠道退镜图像确定为第一肠道退镜图像。
5.根据权利要求4所述的肠道清洁度的检测方法,其特征在于,所述将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域,包括:
按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件;
当肠道观察时的退镜速度不满足预设异常条件时,将所述第二肠道退镜图像输入Unet++模型进行图像分割,得到肠道有效区域。
6.根据权利要求5所述的肠道清洁度的检测方法,其特征在于,所述按第二预设频率判断肠道观察时的退镜速度是否满足预设异常条件,包括:
按第二预设频率获取第四图像集,其中,所述第四图像集包括当前已拍摄的预设数量的第二肠道退镜图像;
在所述第四图像集中,分别计算最晚拍摄的第二肠道退镜图像与其他第二肠道退镜图像之间的图像相似度,得到多个图像相似度;
根据预设相似度权重系数对多个图像相似度进行加权求和,得到加权相似度,其中,拍摄时间越晚的第二肠道退镜图像对应的预设相似度权重系数越大;
若所述加权相似度大于预设相似度,则判断肠道观察时的退镜速度满足预设异常条件;若所述加权相似度不大于预设相似度,则判断肠道观察时的退镜速度不满足预设异常条件。
7.一种肠道清洁度的检测装置,其特征在于,所述肠道清洁度的检测装置包括:
第一获取单元,用于获取多张第一肠道退镜图像;
分类单元,用于将所述多张第一肠道退镜图像分别输入清洁分类模型,得到多张第一肠道退镜图像的第一分类结果,其中,所述第一分类结果包括肠道清洁类别和肠道不清洁类别;
第二获取单元,用于获取多张第一肠道退镜图像的拍摄区域,其中,所述拍摄区域包括横结肠区域和侧结肠区域,将所述多张第一肠道退镜图像按照拍摄时间先后输入目标检测模型进行目标检测,得到多个第一肠道退镜图像的检测结果;根据多个第一肠道退镜图像的检测结果获取第一图像集和第二图像集,其中,所述第一图像集中的每张图像的检测结果为检测到肝曲标识;所述第二图像集中每张图像的检测结果为检测到脾曲标识;获取所述第一图像集中各个图像拍摄时间的第一平均拍摄时间和所述第二图像集中各个图像拍摄时间的第二平均拍摄时间;将拍摄时间位于第一平均拍摄时间和第二平均拍摄时间之间的第一肠道退镜图像的拍摄区域确定为所述横结肠区域;将拍摄时间位于第一平均拍摄时间之前和第二平均拍摄时间之后的第一肠道退镜图像的拍摄区域确定为所述侧结肠区域;
确定单元,用于根据所述多张第一肠道退镜图像的第一分类结果和拍摄区域确定所述多张第一肠道退镜图像在各个拍摄区域中属于肠道不清洁类别的图像的区域不清洁图像占比;
加权单元,用于根据预设的各个拍摄区域的清洁度权重系数对各个拍摄区域的区域不清洁图像占比进行加权求和,得到肠道清洁度检测结果。
8.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至6中任一项所述的肠道清洁度的检测方法。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至6中任一项所述的肠道清洁度的检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111215941.3A CN113658179B (zh) | 2021-10-19 | 2021-10-19 | 肠道清洁度的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111215941.3A CN113658179B (zh) | 2021-10-19 | 2021-10-19 | 肠道清洁度的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658179A CN113658179A (zh) | 2021-11-16 |
CN113658179B true CN113658179B (zh) | 2021-12-28 |
Family
ID=78494639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111215941.3A Active CN113658179B (zh) | 2021-10-19 | 2021-10-19 | 肠道清洁度的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658179B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511558B (zh) * | 2022-04-18 | 2022-07-19 | 武汉楚精灵医疗科技有限公司 | 肠道清洁度的检测方法及装置 |
CN114529544B (zh) * | 2022-04-22 | 2022-07-19 | 武汉大学 | 医学图像分析方法、计算机设备及存储介质 |
CN116977253B (zh) * | 2022-12-29 | 2024-03-19 | 开立生物医疗科技(武汉)有限公司 | 用于内窥镜的清洁度检测方法及装置、电子设备和介质 |
CN118522406A (zh) * | 2024-07-25 | 2024-08-20 | 武汉大学人民医院(湖北省人民医院) | 基于人工智能的麻醉辅助预警方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110916606A (zh) * | 2019-11-15 | 2020-03-27 | 武汉楚精灵医疗科技有限公司 | 一种基于人工智能的实时肠道清洁度评分系统和方法 |
CN112785549A (zh) * | 2020-12-29 | 2021-05-11 | 成都微识医疗设备有限公司 | 基于图像识别的肠镜检查质量评估方法、装置及存储介质 |
KR20210071173A (ko) * | 2019-12-05 | 2021-06-16 | 동국대학교 산학협력단 | 장 정결도의 자동화 계산 장치 및 방법 |
CN113012162A (zh) * | 2021-03-08 | 2021-06-22 | 重庆金山医疗器械有限公司 | 一种内窥镜检查区域的清洁度检测方法、装置及相关设备 |
CN113344927A (zh) * | 2021-08-05 | 2021-09-03 | 武汉楚精灵医疗科技有限公司 | 基于深度学习的图像识别方法、装置、服务器及存储介质 |
CN113487608A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11179421B2 (en) * | 2015-08-24 | 2021-11-23 | Hygieacare, Inc. | Reducing uncomfortable side effects of abdominal distension in patients treated in hydrocolonic preparation units |
CN109447985B (zh) * | 2018-11-16 | 2020-09-11 | 青岛美迪康数字工程有限公司 | 结肠镜图像分析方法、装置及可读存储介质 |
CN109637601A (zh) * | 2018-12-13 | 2019-04-16 | 重庆大学 | 一种胶囊内窥镜评价信息系统 |
-
2021
- 2021-10-19 CN CN202111215941.3A patent/CN113658179B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110916606A (zh) * | 2019-11-15 | 2020-03-27 | 武汉楚精灵医疗科技有限公司 | 一种基于人工智能的实时肠道清洁度评分系统和方法 |
KR20210071173A (ko) * | 2019-12-05 | 2021-06-16 | 동국대학교 산학협력단 | 장 정결도의 자동화 계산 장치 및 방법 |
CN112785549A (zh) * | 2020-12-29 | 2021-05-11 | 成都微识医疗设备有限公司 | 基于图像识别的肠镜检查质量评估方法、装置及存储介质 |
CN113012162A (zh) * | 2021-03-08 | 2021-06-22 | 重庆金山医疗器械有限公司 | 一种内窥镜检查区域的清洁度检测方法、装置及相关设备 |
CN113344927A (zh) * | 2021-08-05 | 2021-09-03 | 武汉楚精灵医疗科技有限公司 | 基于深度学习的图像识别方法、装置、服务器及存储介质 |
CN113487608A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
Residue detection in the large intestine from colonoscopy video using the support vector machine method;M. Cho 等;《2018 18th International Conference on Control, Automation and Systems (ICCAS)》;20181213;全文 * |
不同肠道清洁方法在结肠镜检查中的效果评价;张圳锋 等;《心电图杂志(电子版)》;20191231;第8卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113658179A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658179B (zh) | 肠道清洁度的检测方法及装置 | |
Zhang et al. | Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker | |
Öztürk et al. | Residual LSTM layered CNN for classification of gastrointestinal tract diseases | |
CN110599448A (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
CN113573654A (zh) | 用于检测并测定病灶尺寸的ai系统 | |
US20100124365A1 (en) | Image display device, computer readable storage medium storing image processing program, and image processing method | |
Sainju et al. | Bleeding detection in wireless capsule endoscopy based on color features from histogram probability | |
CN114419521B (zh) | 肠道内镜检查的监控方法及装置 | |
CN109460717B (zh) | 消化道共聚焦激光显微内镜病变图像识别方法及装置 | |
CN114511558B (zh) | 肠道清洁度的检测方法及装置 | |
Liang et al. | Reducing false-positives in lung nodules detection using balanced datasets | |
CN113823400A (zh) | 肠道退镜速度监测方法、装置及计算机可读存储介质 | |
KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
CN115937209A (zh) | 鼻咽喉镜图像异常的识别方法及装置 | |
CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
Islam et al. | Non-informative frame classification in colonoscopy videos using CNNs | |
CN111862090A (zh) | 一种基于人工智能的食管癌术前管理的方法和系统 | |
CN114445406B (zh) | 肠镜图像分析方法、装置和医学图像处理设备 | |
CN113962998A (zh) | 肠镜检查的有效退镜时间评估方法、装置及存储介质 | |
CN115511885B (zh) | 盲肠插管成功率的检测方法及装置 | |
CN117058467A (zh) | 一种胃肠道病变类型识别方法及系统 | |
CN114419041B (zh) | 病灶颜色的识别方法及装置 | |
CN113706536B (zh) | 滑镜风险预警方法、装置及计算机可读存储介质 | |
CN116091452A (zh) | 喉部图像的特征确定方法、装置及相关设备 | |
Arnold et al. | Indistinct frame detection in colonoscopy videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220621 Address after: 430000 No. 03, floor 5, building B10, phase I, Wuhan hi tech medical equipment Park, No. 818, Gaoxin Avenue, Wuhan East Lake New Technology Development Zone, Wuhan, Hubei (Wuhan area, free trade zone) Patentee after: Wuhan Chujingling Medical Technology Co.,Ltd. Address before: 430072 no.299 Bayi Road, Luojiashan street, Wuhan City, Hubei Province Patentee before: WUHAN University |
|
TR01 | Transfer of patent right |