CN109598716B - 基于计算机视觉的肠镜退镜速度实时监测方法和系统 - Google Patents

基于计算机视觉的肠镜退镜速度实时监测方法和系统 Download PDF

Info

Publication number
CN109598716B
CN109598716B CN201811481234.7A CN201811481234A CN109598716B CN 109598716 B CN109598716 B CN 109598716B CN 201811481234 A CN201811481234 A CN 201811481234A CN 109598716 B CN109598716 B CN 109598716B
Authority
CN
China
Prior art keywords
picture
enteroscope
time
enteroscopy
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811481234.7A
Other languages
English (en)
Other versions
CN109598716A (zh
Inventor
于红刚
刘斌
胡珊
吴练练
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin Hospital of Wuhan University
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN201811481234.7A priority Critical patent/CN109598716B/zh
Publication of CN109598716A publication Critical patent/CN109598716A/zh
Priority to PCT/CN2019/106102 priority patent/WO2020114037A1/zh
Priority to EP19893880.5A priority patent/EP3848891B1/en
Priority to US16/986,232 priority patent/US11800969B2/en
Application granted granted Critical
Publication of CN109598716B publication Critical patent/CN109598716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Abstract

本发明提供一种基于计算机视觉的肠镜退镜速度实时监测方法和系统，主动提示医师退镜的速度及稳定性，并在超速或画面不稳时提醒医生，监督医师始终将退镜速度控制在安全范围内，提高肠镜检查质量。本发明采用感知哈希算法技术，通过分析瞬时或一段时间内肠镜图像的稳定性，实时反映肠镜退镜速度，以提醒医生在肠镜检查时始终将退镜速度控制在安全范围内，提高检测的全面性和有效性。

Description

基于计算机视觉的肠镜退镜速度实时监测方法和系统
技术领域
本发明属于信息技术领域，具体涉及一种肠镜下监测肠镜退镜速度的方法和系统。
背景技术
肠镜检查是发现结直肠息肉、肿瘤等下消化道病变最常见的检查方法。肠镜退镜时间是指在结肠镜检查过程中，从进镜到达盲肠开始到退镜至肛管之间的实际时间，减去行染色检查或取活检等额外操作的时间。研究表明，随着退镜时间的延长，肠镜检查患者的息肉检出率、腺瘤检出率以及平均每个受检者的息肉发现数目明显增加[1,2]。因此，各国的肠镜操作指南中，均将退镜时间做为重要的质量控制指标。美国指南建议结肠镜退镜时间为6-10min，2015年《中国早期结直肠癌筛查及内镜诊治指南》建议的退镜时间应不少于6min。然而，尽管指南对退镜时间进行了明确的规范，在实际的临床实践中，由于缺乏有效监管和实用的监督工具，加上我国病人数量庞大，内镜检查质量往往达不到指南规定的标准。一项研究表明，结肠镜检查退镜时间大部分在2-6分钟，和指南的规定有较大差距，严重影响我国患者的生命健康[3]。因此，在如何在已有技术条件下保证退镜时间以提高结肠镜检查质量十分重要。
为提高肠镜检查质量，截止至2018年10月，国家卫生健康委员会已在全国范围内建立18个省级和21个地市级内镜质控中心，定期对各医院内镜检查进行质量监督。部分医院会定期记录医生的退镜时间，统计并将数据反馈给医生和管理层。然而，这种监测制度一方面只能监测特定时间段、部分样本的肠镜质量，无法覆盖到每例检查；另一方面，由于指南只要求总的退镜时间大于6min，部分医生在肠镜开始时退镜很快，即将结束时才放慢速度以达到标准，这导致医生对患者的远端结肠观察不到位，而在近端结肠浪费大量不必要的时间。因此，我们拟通过现有技术，发明一种可以实时监控肠镜退镜速度的方法，以提醒医生在日常工作中始终将退镜速度控制在安全范围内，提高肠镜检查质量。
相关参考文献如下
[1]Barclay RL,Vicari JJ,Doughty AS et al.Colonoscopic withdrawaltimes and adenoma detection during screening colonoscopy.NEJM 2006；355:2533-2541.
[2]Lee TJ,Blanks RG,Rees CJ et al.Longer mean colonoscopy withdrawaltime is associated with increased adenoma detection:evidence from the BowelCancer Screening Programme in England.Endoscopy 2013；45:20-26
[3]宋洁菲.结肠镜检查中结直肠腺瘤漏诊相关危险因素分析.大连医科大学,2014.
发明内容
本发明要解决的技术问题是：提供一种基于计算机视觉的肠镜退镜速度实时监测方法和系统，主动提示医师退镜的速度及稳定性，并在超速或画面不稳时提醒医生，监督医师始终将退镜速度控制在安全范围内，提高肠镜检查质量。
为实现上述目的，本发明采用感知哈希算法技术，具体技术方案为：一种基于计算机视觉的肠镜退镜速度实时监测方法，包括如下步骤，
步骤1，通过内镜检查设备获取肠镜实时视频，将视频解码为图片，先对图片进行裁剪，然后对裁剪后的图片进一步缩小，只保留图片的结构信息；
步骤2，将图片转化成灰度图；
步骤3，获得图片的哈希指纹；
步骤4，计算不同图片之间的汉明距离；
步骤5，比较当前肠镜图片与当前图片之前n帧肠镜图片的哈希指纹，分别得到当前图片与前n帧图片中任一图片的重叠率，即当前肠镜图片与任一图片的相似度；
,步骤6，计算t时间点图像的加权相似度；
步骤7，将t时间点的加权重叠率转换成稳定系数；
步骤8，计算0-t时间段内肠镜图像的平均稳定系数；
步骤9，分析现有的肠镜视频，分别获得标准肠镜视频与次标准肠镜视频的分界线1，次标准的肠镜视频与差质量肠镜视频的分界线2；
步骤10，按步骤S1-S8实时监测内镜医师退镜操作的稳定系数并反馈给医师，当稳定系数小于等于分界线1时，说明操作速度在正常范围内，大于分界线1时，说明退镜速度不在正常范围内；当稳定系数在分界线1和分界线2之间时，发出警告信号；当稳定系数超过分界线2时，发出危险报警信号。
进一步的，步骤1中采用双立方(三次卷积)插值法对裁剪后的图片进一步缩小。
进一步的，步骤2中将图片转化成灰度图的计算公式如下，
Gray＝0.30*R+0.59*G+0.11*B
其中，R、G、B分别表示红色光，绿色光，蓝色光的信息值。
进一步的，步骤3中利用差异值哈希算法获取图片的哈希指纹。
进一步的，步骤5中计算当前肠镜图片与之前n帧肠镜图片中任一图片的重叠率的计算公式为，
Sim＝100*(64-d(x,y))/64
其中，d(x,y)表示不同图片之间的汉明距离，d(x,y)＝∑x⊕y，x和y分别表示不同图片对应的字符串，即图片的哈希指纹，⊕表示异或。
进一步的，步骤7中将t时间点的加权重叠率转换成稳定系数的公式为
Figure BDA0001893444550000031
其中
Figure BDA0001893444550000032
表示t时间点图像的加权相似度。
本发明还提供一种基于计算机视觉的肠镜退镜速度实时监测系统，其特征在于，包括如下模块：
图片获取模块，用于通过内镜检查设备获取肠镜实时视频，将视频解码为图片，先对图片进行裁剪，然后对裁剪后的图片进一步缩小，只保留图片的结构信息；
灰度图转化模块，用于将图片转化成灰度图；
哈希指纹获取模块，用于获得图片的哈希指纹；
汉明距离计算模块，用于计算不同图片之间的汉明距离；
相似度计算模块，用于比较当前肠镜图片与当前图片之前n帧肠镜图片的哈希指纹，分别得到当前图片与前n帧图片中任一图片的重叠率，即当前肠镜图片与任一图片的相似度；
加权相似度计算模块，用于计算t时间点图像的加权相似度；
稳定系数转化模块，用于将t时间点的加权重叠率转换成稳定系数；
平均稳定系数转换模块，用于计算0-t时间段内肠镜图像的平均稳定系数；
肠镜视频分析模块，用于分析现有的肠镜视频，分别获得标准肠镜视频与次标准肠镜视频的分界线1，次标准的肠镜视频与差质量肠镜视频的分界线2；
退镜速度反馈模块，用于实时监测内镜医师退镜操作的稳定系数并反馈给医师，当稳定系数小于等于分界线1时，说明退镜速度在正常范围内，大于分界线1时，说明退镜速度不在正常范围内；当稳定系数在分界线1和分界线2之间时，发出警告信号；当稳定系数超过分界线2时，发出危险报警信号。
进一步的，相似度计算模块中计算当前肠镜图片与之前n帧肠镜图片中任一图片的重叠率的计算公式为，
Sim＝100*(64-d(x,y))/64
其中，d(x,y)表示不同图片之间的汉明距离，d(x,y)＝∑x⊕y，x和y分别表示不同图片对应的字符串，即图片的哈希指纹，⊕表示异或。
进一步的，稳定系数转化模块中将t时间点的加权重叠率转换成稳定系数的公式为
Figure BDA0001893444550000041
其中
Figure BDA0001893444550000042
表示t时间点图像的加权相似度。
本发明的有益效果为：本发明通过分析瞬时或一段时间内肠镜图像的稳定性，实时反映肠镜退镜速度，以提醒医生在肠镜检查时始终将退镜速度控制在安全范围内，提高检测的全面性和有效性。
附图说明
图1为本发明实施例流程图；
图2为利用双立方插值缩放图像的原理图；
图3为目标插值图中的某像素点(x,y)在原图中最接近的映射点示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明公开了一种基于计算机视觉的肠镜退镜速度实时监测方法，其包括以下步骤：
S1，通过内镜检查设备获取肠镜实时视频，将视频解码为图片(每秒钟2帧)，将图片裁剪为360×360像素大小，为了只指保留图片的结构信息，还需要将图片进一步缩小；
一张360*360的图片，有10万多个像素点，包含相当庞大的信息量，非常多的细节需要处理。因此，我们需要把图片缩放到非常小，作用是去除图片的细节，只保留结构、明暗等基本信息，摒弃不同尺寸、比例带来的图片差异。
缩放图片采用双立方(三次卷积)插值法，虽然计算量大点但缩放后图像质量高，不易失真。根据图2与双立方插值的数学表达式可以看出，插值后的缩小图中(i’,j’)坐标点对应的像素值是原图中(i,j)处邻近16个像素点的权重卷积之和，图3中的P00代表目标插值图中的某像素点(x,y)在原图中最接近的映射点。设原图中每一个(i,j)坐标点的像素值的表达式为f(i,j)，则插值后对应坐标的像素值为F(i’,j’)，可由以下公式得出：
Figure BDA0001893444550000043
其中v代表行数偏差，u代表列数偏差；row代表某一行，col代表某一列；S(x)表示插值表达式，可以根据需要选择的表达式不同，常见有基于三角取值、Bell分布表达、B样条曲线表达式。本发明实施例中选取Bell分布表达式。
为了更好的计算图片的dHash值，本发明实施例将图片缩小至9*8，共72个像素。
S2，将图片转化为灰度图；通常对比图像相似度和颜色关系不是很大，所以处理为灰度图，减少后期计算的复杂度。采用了加权平均法：对于图片每一个像素点，由于人眼对红色光，绿色光，蓝色光的敏感程度不同而赋予不同的权重，从而得到该点的灰度值，公式如下:
Gray＝0.30*R+0.59*G+0.11*B
S3，获得图片的哈希指纹，即获得图片对应的哈希字符串；常用的感知哈希算法包括aHash、pHash、dHash，其中aHash(平均值哈希)的速度比较快，但是常常不太精确；pHash(感知哈希)精确度比较高，但是速度方面较差一些；dHash(差异值哈希)精确度较高，且速度也非常快。因此，本发明实施例中选择差异值哈希算法获取图片的哈希指纹。
S4，计算不同图片之间的汉明距离；在信息理论中，Hamming Distance表示两个等长字符串在对应位置上不同字符的数目，我们以d(x,y)表示字符串x和y之间的汉明距离。
d(x,y)＝∑x⊕y
其中，⊕表示异或，从另外一个方面看，汉明距离度量了通过替换字符的方式将字符串x变成y所需要的最小的替换次数。汉明距离表示将A修改成为B，需要多少个步骤。比如字符串“abc”与“ab3”，汉明距离为1，因为只需要修改“c”为“3”即可。
dHash中的汉明距离是通过计算差异值的修改位数。我们的差异值是用0、1表示的，可以看做二进制。二进制0110与1111的汉明距离为2。将两张图片的dHash值转换为二进制difference，并取异或。计算异或结果的“1”的位数，也就是不相同的位数，这就是汉明距离。
S5，比较当前肠镜图片与当前图片之前9帧肠镜图片的哈希指纹，分别得到当前图片与前9帧图片的重叠率，计算当前肠镜图片与任一图片的相似度：Sim＝100*(64-d(x,y))/64；
S6，计算t时间点图像的加权相似度：
Figure BDA0001893444550000051
Simi是指t时间点的当前图像与前面的第i帧(取值范围为1-9)图像之间的相似度；
S7，将t时间点的加权重叠率转换成稳定系数：
Figure BDA0001893444550000052
S8，计算0-t时间段内肠镜图像的平均稳定系数，平均稳定系数为各时间点稳定系数的平均值；
S9，通过分析50段退镜时间>6min的标准肠镜视频、50段退镜时间为4-6min次标准的肠镜视频，50段退镜时间<4min的差质量肠镜视频，得出结果：
Figure BDA0001893444550000061
S10，按步骤S1-S8实时监测内镜医师退镜操作的稳定系数并反馈给医师，当速度超出0-30的安全范围时，发出警告信号；当速度超出30-45的警告范围时，发出危险报警信号。
本发明还提供一种基于计算机视觉的肠镜退镜速度实时监测系统，其特征在于，包括如下模块：
图片获取模块，用于通过内镜检查设备获取肠镜实时视频，将视频解码为图片，先对图片进行裁剪，然后对裁剪后的图片进一步缩小，只保留图片的结构信息；
灰度图转化模块，用于将图片转化成灰度图；
哈希指纹获取模块，用于获得图片的哈希指纹；
汉明距离计算模块，用于计算不同图片之间的汉明距离；
相似度计算模块，用于比较当前肠镜图片与当前图片之前n帧肠镜图片的哈希指纹，分别得到当前图片与前n帧图片中任一图片的重叠率，即当前肠镜图片与任一图片的相似度；
加权相似度计算模块，用于计算t时间点图像的加权相似度；
稳定系数转化模块，用于将t时间点的加权重叠率转换成稳定系数；
平均稳定系数转换模块，用于计算0-t时间段内肠镜图像的平均稳定系数；
肠镜视频分析模块，用于分析现有的肠镜视频，分别获得标准肠镜视频与次标准肠镜视频的分界线1，次标准的肠镜视频与差质量肠镜视频的分界线2；
退镜速度反馈模块，用于实时监测内镜医师退镜操作的稳定系数并反馈给医师，当稳定系数小于等于分界线1时，说明退镜速度在正常范围内，大于分界线1时，说明退镜速度不在正常范围内；当稳定系数在分界线1和分界线2之间时，发出警告信号；当稳定系数超过分界线2时，发出危险报警信号。
各模块的具体实现方式和各步骤相对应，本发明不予撰述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于，包括如下步骤：
步骤1，通过内镜检查设备获取肠镜实时视频，将视频解码为图片，先对图片进行裁剪，然后对裁剪后的图片进一步缩小，只保留图片的结构信息；
步骤2，将图片转化成灰度图；
步骤3，获得图片的哈希指纹；
步骤4，计算不同图片之间的汉明距离；
步骤5，比较当前肠镜图片与当前图片之前n帧肠镜图片的哈希指纹，分别得到当前图片与前n帧图片中任一图片的重叠率，即当前肠镜图片与任一图片的相似度；
步骤6，计算t时间点图像的加权相似度；
步骤7，将t时间点的加权重叠率转换成稳定系数；
步骤8，分析现有的肠镜视频，分别获得标准肠镜视频与次标准肠镜视频的分界线1，次标准的肠镜视频与差质量肠镜视频的分界线2；
步骤9，按步骤1-步骤7实时监测内镜医师退镜操作的稳定系数并反馈给医师，当稳定系数小于等于分界线1时，说明操作速度在正常范围内，大于分界线1时，说明退镜速度不在正常范围内；当稳定系数在分界线1和分界线2之间时，发出警告信号；当稳定系数超过分界线2时，发出危险报警信号。
2.如权利要求1所述的一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于：步骤1中采用双立方插值法对裁剪后的图片进一步缩小。
3.如权利要求1所述的一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于：步骤2中将图片转化成灰度图的计算公式如下，
Gray＝0.30*R+0.59*G+0.11*B
其中，R、G、B分别表示红色光，绿色光，蓝色光的信息值。
4.如权利要求1所述的一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于：步骤3中利用差异值哈希算法获取图片的哈希指纹。
5.如权利要求1所述的一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于：步骤5中计算当前肠镜图片与之前n帧肠镜图片中任一图片的重叠率的计算公式为，
Sim＝100*(64-d(x,y))/64
其中，d(x,y)表示不同图片之间的汉明距离，d(x,y)＝∑x⊕y，x和y分别表示不同图片对应的字符串，即图片的哈希指纹，⊕表示异或。
6.如权利要求1所述的一种基于计算机视觉的肠镜退镜速度实时监测方法，其特征在于：步骤7中将t时间点的加权重叠率转换成稳定系数的公式为
Figure FDA0002505836740000021
其中
Figure FDA0002505836740000022
表示t时间点图像的加权相似度。
7.一种基于计算机视觉的肠镜退镜速度实时监测系统，其特征在于，包括如下模块：
图片获取模块，用于通过内镜检查设备获取肠镜实时视频，将视频解码为图片，先对图片进行裁剪，然后对裁剪后的图片进一步缩小，只保留图片的结构信息；
灰度图转化模块，用于将图片转化成灰度图；
哈希指纹获取模块，用于获得图片的哈希指纹；
汉明距离计算模块，用于计算不同图片之间的汉明距离；
相似度计算模块，用于比较当前肠镜图片与当前图片之前n帧肠镜图片的哈希指纹，分别得到当前图片与前n帧图片中任一图片的重叠率，即当前肠镜图片与任一图片的相似度；
加权相似度计算模块，用于计算t时间点图像的加权相似度；
稳定系数转化模块，用于将t时间点的加权重叠率转换成稳定系数；
肠镜视频分析模块，用于分析现有的肠镜视频，分别获得标准肠镜视频与次标准肠镜视频的分界线1，次标准的肠镜视频与差质量肠镜视频的分界线2；
退镜速度反馈模块，用于实时监测内镜医师退镜操作的稳定系数并反馈给医师，当稳定系数小于等于分界线1时，说明退镜速度在正常范围内，大于分界线1时，说明退镜速度不在正常范围内；当稳定系数在分界线1和分界线2之间时，发出警告信号；当稳定系数超过分界线2时，发出危险报警信号。
8.如权利要求7所述的一种基于计算机视觉的肠镜退镜速度实时监测系统，其特征在于：相似度计算模块中计算当前肠镜图片与之前n帧肠镜图片中任一图片的重叠率的计算公式为，
Sim＝100*(64-d(x,y))/64
其中，d(x,y)表示不同图片之间的汉明距离，d(x,y)＝∑x⊕y，x和y分别表示不同图片对应的字符串，即图片的哈希指纹，⊕表示异或。
9.如权利要求7所述的一种基于计算机视觉的肠镜退镜速度实时监测系统，其特征在于：稳定系数转化模块中将t时间点的加权重叠率转换成稳定系数的公式为
Figure FDA0002505836740000023
其中
Figure FDA0002505836740000024
表示t时间点图像的加权相似度。
CN201811481234.7A 2018-12-05 2018-12-05 基于计算机视觉的肠镜退镜速度实时监测方法和系统 Active CN109598716B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811481234.7A CN109598716B (zh) 2018-12-05 2018-12-05 基于计算机视觉的肠镜退镜速度实时监测方法和系统
PCT/CN2019/106102 WO2020114037A1 (zh) 2018-12-05 2019-09-17 基于计算机视觉的肠镜退镜速度实时监测方法和系统
EP19893880.5A EP3848891B1 (en) 2018-12-05 2019-09-17 Computer vision-based method and system for monitoring speed of intestinal lens removal in real time
US16/986,232 US11800969B2 (en) 2018-12-05 2020-08-05 Method and device for monitoring colonoscope withdrawal speed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811481234.7A CN109598716B (zh) 2018-12-05 2018-12-05 基于计算机视觉的肠镜退镜速度实时监测方法和系统

Publications (2)

Publication Number Publication Date
CN109598716A CN109598716A (zh) 2019-04-09
CN109598716B true CN109598716B (zh) 2020-08-07

Family

ID=65961227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811481234.7A Active CN109598716B (zh) 2018-12-05 2018-12-05 基于计算机视觉的肠镜退镜速度实时监测方法和系统

Country Status (4)

Country Link
US (1) US11800969B2 (zh)
EP (1) EP3848891B1 (zh)
CN (1) CN109598716B (zh)
WO (1) WO2020114037A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598716B (zh) * 2018-12-05 2020-08-07 武汉楚精灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN111861049A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 基于图像识别的肠镜检查质量标准及打分系统
CN111839444A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别匹配的肠镜镜头静止检测方法
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
CN112529831A (zh) * 2019-08-28 2021-03-19 深圳市熠摄科技有限公司 利用图像处理技术的地貌潜变观测设备
CN112461206A (zh) * 2019-09-09 2021-03-09 深圳市熠摄科技有限公司 地貌潜变观测设备
CN111000633B (zh) * 2019-12-20 2020-11-03 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法
CN111767958A (zh) * 2020-07-01 2020-10-13 武汉楚精灵医疗科技有限公司 基于随机森林算法的肠镜退镜时间的实时监测方法
CN111754503B (zh) * 2020-07-01 2023-12-08 武汉楚精灵医疗科技有限公司 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN112785549B (zh) * 2020-12-29 2024-03-01 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质
CN112597981B (zh) * 2021-03-04 2021-06-01 四川大学 基于深度神经网络的肠镜退镜质量智能监控系统及方法
CN113487553A (zh) * 2021-06-30 2021-10-08 武汉楚精灵医疗科技有限公司 一种肠道退镜速度平滑方法
CN113793334B (zh) * 2021-11-16 2022-02-08 武汉大学 设备监测方法和设备监测装置
CN113823400A (zh) * 2021-11-22 2021-12-21 武汉楚精灵医疗科技有限公司 肠道退镜速度监测方法、装置及计算机可读存储介质
CN113962998A (zh) * 2021-12-23 2022-01-21 天津御锦人工智能医疗科技有限公司 肠镜检查的有效退镜时间评估方法、装置及存储介质
CN114419521B (zh) * 2022-03-28 2022-07-01 武汉楚精灵医疗科技有限公司 肠道内镜检查的监控方法及装置
CN115035152B (zh) * 2022-08-12 2022-10-25 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
CN116977411B (zh) * 2022-12-01 2024-03-19 开立生物医疗科技(武汉)有限公司 内镜移动速度估计方法及装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056583A (zh) * 2016-05-24 2016-10-26 中国科学院苏州生物医学工程技术研究所 面向虚拟结肠镜的结肠息肉图像数据处理方法
CN108682013A (zh) * 2018-05-30 2018-10-19 广州众健医疗科技有限公司 一种胃镜图像智能处理装置
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894648B2 (en) * 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
WO2008024419A1 (en) * 2006-08-21 2008-02-28 Sti Medical Systems, Llc Computer aided analysis using video from endoscopes
KR100876673B1 (ko) * 2007-09-06 2009-01-07 아이쓰리시스템 주식회사 촬영 속도 조절이 가능한 캡슐형 내시경
JP5568196B1 (ja) * 2012-10-18 2014-08-06 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
KR20140055697A (ko) * 2012-11-01 2014-05-09 노틸러스효성 주식회사 원격 화상 금융거래처리 기기 및 이를 이용한 금융서비스 제공방법
CA3074106A1 (en) * 2016-05-19 2017-11-23 Psip, Llc Methods for polyp detection
CN106056166B (zh) * 2016-06-29 2019-08-16 中科院合肥技术创新工程院 一种胶囊内窥镜相似图像的自适应筛除方法
CN109166615B (zh) * 2018-07-11 2021-09-10 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN109598716B (zh) * 2018-12-05 2020-08-07 武汉楚精灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN114529742A (zh) * 2020-11-23 2022-05-24 中国移动通信集团重庆有限公司 图像相似度确定方法、装置、设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056583A (zh) * 2016-05-24 2016-10-26 中国科学院苏州生物医学工程技术研究所 面向虚拟结肠镜的结肠息肉图像数据处理方法
CN108682013A (zh) * 2018-05-30 2018-10-19 广州众健医疗科技有限公司 一种胃镜图像智能处理装置
CN108897775A (zh) * 2018-06-01 2018-11-27 昆明理工大学 一种基于感知哈希的快速图像识别系统及方法

Also Published As

Publication number Publication date
US11800969B2 (en) 2023-10-31
EP3848891B1 (en) 2023-02-22
CN109598716A (zh) 2019-04-09
WO2020114037A1 (zh) 2020-06-11
US20200364880A1 (en) 2020-11-19
EP3848891A4 (en) 2021-12-29
EP3848891A1 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
CN109598716B (zh) 基于计算机视觉的肠镜退镜速度实时监测方法和系统
CN111383214B (zh) 实时内窥镜肠镜息肉检测系统
CN110021025B (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
EP3933672A1 (en) Method of automatic image freezing of digestive endoscopy
US11790672B2 (en) Image processing method, microscope, image processing system, and medium based on artificial intelligence
CN111047605B (zh) 一种脊椎ct分割网络模型的构建方法及分割方法
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
CN113888518A (zh) 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法
CN113487553A (zh) 一种肠道退镜速度平滑方法
CN113823400A (zh) 肠道退镜速度监测方法、装置及计算机可读存储介质
CN111062947A (zh) 一种基于深度学习的x光胸片病灶定位方法及系统
CN110767293A (zh) 一种脑部辅助诊断系统
Wang et al. Reduction of bubble-like frames using a RSS filter in wireless capsule endoscopy video
Zhu et al. CRCNet: Global-local context and multi-modality cross attention for polyp segmentation
Xu et al. Artificial intelligence assisted identification of therapy history from periapical films for dental root canal
CN111754503B (zh) 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
Kempers et al. Positional assessment of lower third molar and mandibular canal using explainable artificial intelligence
Li et al. Pixel-level diabetic retinopathy lesion detection using multi-scale convolutional neural network
CN117012344A (zh) 一种4cmos相机采集的图像分析方法
CN112837325A (zh) 医学影像图像处理方法、装置、电子设备及介质
Arnold et al. Indistinct frame detection in colonoscopy videos
CN110648333B (zh) 基于中智学理论的乳腺超声视频图像实时分割系统
Jose et al. Monocular depth level estimation for breast self-examination (BSE) using RGBD BSE dataset
Liu et al. An Intelligent Evaluation Method of Root Canal Therapy Quality Based on Deep Learning
CN110211104B (zh) 一种用于肺部肿块计算机辅助检测的图像分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190606

Address after: 430014 Room 001, Building D2, 10 Building, Phase III, Huacheng Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant after: Wuhan Chujingling Medical Technology Co.,Ltd.

Address before: Floor 1, 101-7, Building 5, 128 Lane, Linhong Road, Changning District, Shanghai, 2003

Applicant before: SHANGHAI ZHENLING MEDICAL TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220825

Address after: 430060 No. 99, ZhangZhidong Road, Wuchang District, Wuhan City, Hubei Province, No. 238, Jiefang Road

Patentee after: RENMIN HOSPITAL OF WUHAN University (HUBEI GENERAL Hospital)

Patentee after: Wuhan Chujingling Medical Technology Co.,Ltd.

Address before: 430014 Room 001, Building D2, 10 Building, Phase III, Huacheng Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee before: Wuhan Chujingling Medical Technology Co.,Ltd.