CN114596288B - 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 - Google Patents
一种内镜下溃疡性结肠炎评估系统、介质及电子设备 Download PDFInfo
- Publication number
- CN114596288B CN114596288B CN202210241958.4A CN202210241958A CN114596288B CN 114596288 B CN114596288 B CN 114596288B CN 202210241958 A CN202210241958 A CN 202210241958A CN 114596288 B CN114596288 B CN 114596288B
- Authority
- CN
- China
- Prior art keywords
- intestinal
- preset
- image data
- colorectal
- intestinal wall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010009900 Colitis ulcerative Diseases 0.000 title claims abstract description 38
- 201000006704 Ulcerative Colitis Diseases 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 230000000968 intestinal effect Effects 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 206010009887 colitis Diseases 0.000 claims abstract description 34
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 31
- 238000005452 bending Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000001839 endoscopy Methods 0.000 claims abstract description 13
- 239000000126 substance Substances 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 14
- 210000004185 liver Anatomy 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 201000004569 Blindness Diseases 0.000 claims description 7
- 208000004232 Enteritis Diseases 0.000 claims description 7
- 210000001815 ascending colon Anatomy 0.000 claims description 7
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 210000001599 sigmoid colon Anatomy 0.000 claims description 7
- 210000003384 transverse colon Anatomy 0.000 claims description 7
- 210000004534 cecum Anatomy 0.000 claims description 6
- 210000001731 descending colon Anatomy 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 12
- 238000013210 evaluation model Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000002052 colonoscopy Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000002440 hepatic effect Effects 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 241000224489 Amoeba Species 0.000 description 1
- 208000011231 Crohn disease Diseases 0.000 description 1
- 208000000857 Hepatic Insufficiency Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 1
- 206010036774 Proctitis Diseases 0.000 description 1
- 206010036783 Proctitis ulcerative Diseases 0.000 description 1
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000012321 colectomy Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 229940126585 therapeutic drug Drugs 0.000 description 1
- 230000036269 ulceration Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4255—Intestines, colon or appendix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Endocrinology (AREA)
- Gastroenterology & Hepatology (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了一种内镜下溃疡性结肠炎评估系统、介质及电子设备，数据获取模块，被配置为：获取化内镜检查的图像数据；肠道弯曲识别模块，被配置为：根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；结直肠分段模块，被配置为：根据肠道弯曲识别结果，将结直肠分为多段；结肠炎严重程度评估模块，被配置为：根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果；本发明将结直肠分为多段，结合预设的结肠炎严重程度评估模型，实现了更客观和准确的溃疡性结肠炎病变范围及严重程度评估。
Description
技术领域
本发明涉及结肠炎技术领域，特别涉及一种内镜下溃疡性结肠炎评估系统、介质及电子设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
溃疡性结肠炎是一种慢性复发性炎症性肠病，结肠镜检查对于其诊断和管理十分重要。内镜评分系统可以用于评估溃疡性结肠炎粘膜的炎症活动，目前有多种评分系统可供选择，如Mayo评分、UCEIS、UCCIS等，其中Mayo评分因其简便易行，应用最为广泛。此外，炎症的程度和范围与疾病的预后密切相关，同时也影响着治疗方案的选择，但是现行的几种内镜评分只对患者结直肠中病变最严重的部位进行评估，不能体现病变范围以及结直肠各不同节段的病变情况。蒙特利尔分型根据病变的最大范围将溃疡性结肠炎分为E1、E2、E3三个分型。E1为溃疡性直肠炎，病变范围局限于直肠，未达乙状结肠；E2为左半结肠炎，病变范围累及左半结肠(结肠脾曲以远)；E3为全结肠炎，病变范围在结肠脾曲以近或全结肠。该分型有助于区分患者治疗药物的选择和预后。
发明人发现，现有的溃疡性结肠炎评估方案还完全依赖于人工评分，无法实现客观的溃疡性结肠炎程度评估；现有的分段评估方法尚无法更准确和细致的体现溃疡性结肠炎患者的病变范围及严重程度。
发明内容
为了解决现有技术的不足，本发明提供了一种内镜下溃疡性结肠炎评估系统、介质及电子设备，将结直肠分为多段，结合预设的结肠炎严重程度评估模型，实现了更客观和准确的溃疡性结肠炎病变范围及严重程度评估。
为了实现上述目的，本发明采用如下技术方案：
本发明第一方面提供了一种内镜下溃疡性结肠炎评估系统。
一种内镜下溃疡性结肠炎评估系统，包括：
数据获取模块，被配置为：获取化内镜检查的图像数据；
肠道弯曲识别模块，被配置为：根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
结直肠分段模块，被配置为：根据肠道弯曲识别结果，根据肠道弯曲识别结果，将结直肠分为多段；
结肠炎严重程度评估模块，被配置为：根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
作为进一步的方案，通过不同的颜色对结肠炎严重程度评估结果进行区分显示。
作为更进一步的方案，所述对结肠炎严重程度评估结果进行区分显示具体为：将每一区域划分为M个子区域，根据肠道弯曲识别结果得到每一区域的帧数W，如果每一子区域对应有X帧，则X＝W/M，通过当前识别图像的帧号判断当前处于某个特定的子区域，将对应子区域显示为对应的颜色。
作为进一步的方案，获取的化内镜检查的图像数据为退镜过程中获取的视频帧图像数据。
作为进一步的方案，结直肠的段数为大于或者等于1且小于或者等于5的整数段。
作为进一步的方案，在进镜过程中，下消化道部位识别模型识别到当前下消化道内镜关键帧图像的类型为盲肠，且存在连续N张非相似图像均为盲肠的概率超过预设阈值，判断为到达回盲部，发出到达回盲部的语音指令，确定此次检查回盲部与肝曲之间的检查时长t；
根据当前病人的病情严重程度确定本次检查时长t，并基于病情严重程度在预设基准时间值t0基础上进行调整，调整结束后开始退镜；
肠壁曲线检测模型开始对退镜过程中的图像进行实时检测，t时刻若肠壁曲线检测模型判断为到达肝曲并收到确认指令后继续退镜检查，若未检测到肝曲，则将模型检测结果发送到医生端进行二次判断以确定是否到达肝曲；
后续几个弯曲以上一个相邻弯曲为起点进行相同处理。
作为进一步的方案，根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果，包括：
预设肠壁曲线检测模型输出肠道壁曲线，计算输出的肠道壁曲线的曲率半径，若连续多张图像的曲率半径小于预设阈值，则判断为肠道弯曲。
作为进一步的方案，结直肠分为三段，分别为直肠段、乙状结肠和降结肠段以及横结肠和升结肠段。
作为进一步的方案，结肠炎严重程度评估模型采用具有特征金字塔池化的SPPNet网络，输出包括四个softmax函数，分别对应单帧图像的Mayo内镜下的评分预测结果。
作为进一步的方案，肠壁曲线检测模型采用LaneNet模型。
本发明第二方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
与现有技术相比，本发明的有益效果是：
1、本发明提供的内镜下溃疡性结肠炎评估系统、介质及电子设备，将结直肠分为多段，结合预设的结肠炎严重程度评估模型，实现了更客观和准确的溃疡性结肠炎病变范围及严重程度评估。
2、本发明提供的内镜下溃疡性结肠炎评估系统、介质及电子设备，预设肠壁曲线检测模型输出肠道壁曲线，计算输出的肠道壁曲线的曲率半径，若连续多张图像的曲率半径小于预设阈值，则判断为肠道弯曲，实现了肠道弯曲的自动识别。
3、本发明提供的内镜下溃疡性结肠炎评估系统、介质及电子设备，将每一区域划分为M个子区域，根据肠道弯曲识别结果得到每一区域的帧数W，如果每一子区域对应有X帧，则X＝W/M，通过当前识别图像的帧号判断当前处于某个特定的子区域，将对应子区域显示为对应的颜色，实现了更精准的内镜下溃疡性结肠炎评估。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的内镜下溃疡性结肠炎评估系统的结构示意图。
图2为本发明实施例1提供的空白肠图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本发明实施例1提供了一种内镜下溃疡性结肠炎评估系统，包括：
数据获取模块，被配置为：获取化内镜检查的图像数据；
肠道弯曲识别模块，被配置为：根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
结直肠分段模块，被配置为：根据肠道弯曲识别结果，将结直肠分为多段；
结肠炎严重程度评估模块，被配置为：根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
具体的，包括以下内容：
S1：各肠段的确定
准备下消化道部位图像并标注后作为下消化部位识别模型的训练集，利用训练集训练下消化道部位识别模型，在进镜操作过程中，若训练好的下消化道部位识别模型识别出当前下消化道内镜关键帧图像的类型为盲肠，且存在连续N张非相似图像均为盲肠的概率超过预设阈值，判断为到达回盲部，AI语音提示到达回盲部，并与医生确定此次检查回盲部与肝曲(第一弯曲)之间的检查时长t；医生根据当前病人的病情确定本次检查时长t，并基于病情在预设基准时间值t0基础上进行调整，调整结束后医生开始退镜操作，肠壁曲线检测模型开始对退镜过程中的图像进行实时检测，t时刻若模型判断为到达肝曲则医生确认后继续退镜检查，若未检测到肝曲，则医生根据实际情况对模型检测结果进行二次判断以确定是否到达肝曲，以此保证弯曲位置确认的准确率，后续几个弯曲以上一个相邻弯曲为起点进行相同处理。
肠壁曲线检测模型训练和推断过程如下：
获取消化内镜检查的视频，将视频解帧为图片，筛选出肠道弯曲处的图片，采用角度转换的方式对肠道弯曲处的图片进行扩增得到原始图像，对每张原始图像生成对应的肠道壁曲线图，原始图像和肠道壁曲线图构成训练集，训练集输入弯曲检测模型进行训练，采用反向传播算法对肠壁曲线检测模型的参数进行优化直至所述误差达到期望值，得到完成训练的肠壁曲线检测模型，肠壁曲线检测模型可采用LaneNet模型；
可以理解的，在其他一些实施方式中，肠壁曲线检测模型也可以采用其他深度学习模型(如长短期记忆神经网络模型或者卷积神经网络模型等等)，本领域技术人员可以根据具体工况进行选择，这里不再赘述。
退镜过程中采集到的实时图像输入至肠壁曲线检测模型，输出肠道壁曲线，然后计算输出的肠道壁曲线的曲率半径，若连续N张图像的曲率半径小于阈值r，则判断为肠道弯曲，N和r可以由医生经验得到。
退镜过程中识别到四个弯曲，第一弯曲之前为升结肠，第一个弯曲和第二个弯曲之间为横结肠，第二个弯曲和第三个弯曲之间为降结肠，第三个弯曲和第四个弯曲之间为乙状结肠，第四个弯曲之后为直肠段，若根据溃疡性结肠炎蒙特利尔分型将结直肠分为三段，则第二个弯曲前为横结肠和升结肠段，第四个弯曲前为乙状结肠和降结肠段，第四个弯曲之后为直肠段。
S2：评分的确定
对图像标注Mayo评分形成训练集，不同的评分用不同的颜色标注，比如正常或非活动期病变用白色表示；轻度活动有水肿、减少的血管像、轻度的脆性用黄色表示；中度活动有明显水肿、消失的血管像、黏膜脆性和糜烂用棕色表示；重度活动有持续的出血和溃疡用深红色表示，利用训练集训练结肠炎严重程度评估模型。结肠炎严重程度评估模型为具有特征金字塔池化的SPPNet网络，输出包含4个softmax函数，分别对应单帧图像的Mayo内镜下的评分预测结果。
可以理解的，在其他一些实施方式中，结肠炎严重程度评估模型也可以采用其他深度学习模型(如长短期记忆神经网络模型或者卷积神经网络模型等等)，本领域技术人员可以根据具体工况进行选择，这里不再赘述
建立结直肠的背景示意图，初始化结直肠可识别部位的颜色，可选择的将结直肠分为3大段，横结肠和升结肠段、乙状结肠和降结肠段以及直肠段，退镜过程中通过结肠炎严重程度评估模型判断结肠炎的严重程度，识别出后通过不同的颜色显示，比如在升结肠段内识别到轻度状况则将升结肠段标为黄色。
可选的，可以通过依据帧数等比例划分到对应小区域内的方法实现更加精确区域的严重程度识别。具体方法为：将每段区域划分M分段，识别弯曲后可以得到每段的帧数，假设为W，每一分段区域对应有X帧，X＝W/M，得到依次排列的M分段，通过当前识别图像的帧号判断当前处于某个特定的分段，将对应分段显示为对应的颜色。
本实施例中，将现行内镜下Mayo评分与溃疡性结肠炎的蒙特利尔分型相结合，对其进行适度的改良：发明一种新型肠图，即根据溃疡性结肠炎蒙特利尔分型将结直肠分为三段(直肠段、乙状结肠和降结肠段、横结肠和升结肠段)(分段由人工智能得到)，分别对三个节段进行内镜下Mayo评分(评分由人工智能得到，避免因操作者的主观意识产生误差)，不同的分数与不同的颜色对应(0分为白色，1分为黄色，2分为棕色，3分为深红色)，将各段评分所对应的颜色按照其范围标注在空白肠图上，此新型肠图操作简便，内容直观，有助于医生充分了解溃疡性结肠炎患者的病变范围及严重程度，更有助于患者尤其是文化程度不高的患者充分了解自己的病变情况，同时，在患者经过治疗后，再行肠镜检查时，通过肠图的前后对比，可直观展现不同肠段的病情变化，有助于治疗方案的调整及增加患者对治疗方案的信心。
具体，本实施例提供如下示例：
(1)选定目标人群及研究人群
目标人群：确诊为溃疡性结肠炎的患者
研究人群：2021年12月起在某医院确诊为溃疡性结肠炎的住院患者
(2)纳入标准及排除标准
A)纳入标准：
符合溃疡性结肠炎的诊断标准，经组织病理及结肠镜检查确诊；接受完整的结肠镜检查；签署知情同意书。
B)排除标准：
排除标准：严重感染；合并肝肾功能不全等内科疾病；孕妇或哺乳期妇女；恶性肿瘤；其他原因所致肠道炎症改变，如细菌感染性肠炎、阿米巴肠炎、克罗恩病等；接受过结肠切除术；结肠镜检查未达回盲部。
C)脱落标准：失联；患者主动要求退出
(3)观察指标
根据蒙特利尔分型将溃疡性结肠炎分为的三段(直肠段、乙状结肠和降结肠段、横结肠和升结肠段)，对各段进行内镜下Mayo评分。
(4)操作流程
自愿入组不少于200位溃疡性结肠炎住院患者，采集患者基本信息，在患者进行结肠镜检查时进行内镜下Mayo评分并绘图。
(5)患者基本信息
姓名、性别、年龄、电话号码、民族、体重指数(BMI)、确诊时间和病程。
(6)内镜评分：
患者进行结肠镜检查时，由人工智能识别各肠段并对患者各段结肠进行内镜下Mayo评分。
(7)建立肠图
在患者的肠镜报告单增添结直肠彩图，根据三个节段的不同评分分别对其进行染色。各段分数与颜色对应，0分为白色，1分为黄色，2分为棕色，3分为深红色。将各段由内镜下Mayo评分所得分数对应的颜色标注在空白肠图(如图2)上。
表1：UC的蒙特利尔分型
表2：内镜下Mayo评分标准
实施例2：
本发明实施例2提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
具体工作过程与实施例1提供的相同，这里不再赘述。
实施例3：
本发明实施例3提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果。
具体工作过程与实施例1提供的相同，这里不再赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种内镜下溃疡性结肠炎评估系统，其特征在于：
包括：
数据获取模块，被配置为：获取化内镜检查的图像数据；
肠道弯曲识别模块，被配置为：根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
结直肠分段模块，被配置为：根据肠道弯曲识别结果，将结直肠分为多段；
结肠炎严重程度评估模块，被配置为：根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果；
通过不同的颜色对结肠炎严重程度评估结果进行区分显示，具体为：将每一区域划分为M个子区域，根据肠道弯曲识别结果得到每一区域的帧数W，如果每一子区域对应有X帧，则X＝W/M，通过当前识别图像的帧号判断当前处于某个特定的子区域，将对应子区域显示为对应的颜色；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果，包括：预设肠壁曲线检测模型输出肠道壁曲线，计算输出的肠道壁曲线的曲率半径，若连续多张图像的曲率半径小于预设阈值，则判断为肠道弯曲。
2.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
获取的化内镜检查的图像数据为退镜过程中获取的视频帧图像数据。
3.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
结直肠的段数为大于或者等于1且小于或者等于5的整数段。
4.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
在进镜过程中，下消化道部位识别模型识别到当前下消化道内镜关键帧图像的类型为盲肠，且存在连续N张非相似图像均为盲肠的概率超过预设阈值，判断为到达回盲部，发出到达回盲部的语音指令，确定此次检查回盲部与肝曲之间的检查时长t；
根据当前病人的病情严重程度确定本次检查时长t，并基于病情严重程度在预设基准时间值t0基础上进行调整，调整结束后开始退镜；
肠壁曲线检测模型开始对退镜过程中的图像进行实时检测，t时刻若肠壁曲线检测模型判断为到达肝曲并收到确认指令后继续退镜检查，若未检测到肝曲，则将模型检测结果发送到医生端进行二次判断以确定是否到达肝曲；
后续几个弯曲以上一个相邻弯曲为起点进行相同处理。
5.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
结肠炎严重程度评估模型采用具有特征金字塔池化的SPPNet网络，输出包括四个softmax函数，分别对应单帧图像的Mayo内镜下的评分预测结果。
6.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
结直肠分为三段，分别为直肠段、乙状结肠和降结肠段以及横结肠和升结肠段。
7.如权利要求1所述的内镜下溃疡性结肠炎评估系统，其特征在于：
肠壁曲线检测模型采用LaneNet模型。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果；
通过不同的颜色对结肠炎严重程度评估结果进行区分显示，具体为：将每一区域划分为M个子区域，根据肠道弯曲识别结果得到每一区域的帧数W，如果每一子区域对应有X帧，则X＝W/M，通过当前识别图像的帧号判断当前处于某个特定的子区域，将对应子区域显示为对应的颜色；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果，包括：预设肠壁曲线检测模型输出肠道壁曲线，计算输出的肠道壁曲线的曲率半径，若连续多张图像的曲率半径小于预设阈值，则判断为肠道弯曲。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如下步骤：
获取化内镜检查的图像数据；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果；
根据肠道弯曲识别结果，根据肠道弯曲识别结果，将结直肠分为多段；
根据获取的图像数据、分段结果以及预设结肠炎严重程度评估模型，得到结直肠各段的结肠炎严重程度评估结果；
通过不同的颜色对结肠炎严重程度评估结果进行区分显示，具体为：将每一区域划分为M个子区域，根据肠道弯曲识别结果得到每一区域的帧数W，如果每一子区域对应有X帧，则X＝W/M，通过当前识别图像的帧号判断当前处于某个特定的子区域，将对应子区域显示为对应的颜色；
根据获取的图像数据和预设肠壁曲线检测模型，得到肠道弯曲识别结果，包括：预设肠壁曲线检测模型输出肠道壁曲线，计算输出的肠道壁曲线的曲率半径，若连续多张图像的曲率半径小于预设阈值，则判断为肠道弯曲。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210241958.4A CN114596288B (zh) | 2022-03-11 | 2022-03-11 | 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210241958.4A CN114596288B (zh) | 2022-03-11 | 2022-03-11 | 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114596288A CN114596288A (zh) | 2022-06-07 |
| CN114596288B true CN114596288B (zh) | 2024-05-10 |
Family
ID=81809356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210241958.4A Active CN114596288B (zh) | 2022-03-11 | 2022-03-11 | 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596288B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273916A (zh) * | 2007-03-30 | 2008-10-01 | 吉温成像有限公司 | 评估患者状况的系统和方法 |
| CN110993099A (zh) * | 2019-12-18 | 2020-04-10 | 山东大学齐鲁医院 | 基于深度学习的溃疡性结肠炎严重程度评估方法及系统 |
| CN112930136A (zh) * | 2019-04-02 | 2021-06-08 | Hoya株式会社 | 电子内窥镜系统与数据处理装置 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN114119511A (zh) * | 2021-11-12 | 2022-03-01 | 福州大学 | 基于EfficientNet结构的结肠镜图像评价方法及系统 |
-
2022
- 2022-03-11 CN CN202210241958.4A patent/CN114596288B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273916A (zh) * | 2007-03-30 | 2008-10-01 | 吉温成像有限公司 | 评估患者状况的系统和方法 |
| CN112930136A (zh) * | 2019-04-02 | 2021-06-08 | Hoya株式会社 | 电子内窥镜系统与数据处理装置 |
| CN110993099A (zh) * | 2019-12-18 | 2020-04-10 | 山东大学齐鲁医院 | 基于深度学习的溃疡性结肠炎严重程度评估方法及系统 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN114119511A (zh) * | 2021-11-12 | 2022-03-01 | 福州大学 | 基于EfficientNet结构的结肠镜图像评价方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114596288A (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| Su et al. | Impact of a real-time automatic quality control system on colorectal polyp and adenoma detection: a prospective randomized controlled study (with videos) | |
| Zhang et al. | Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| WO2022057078A1 (zh) | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 | |
| Rondonotti et al. | Artificial intelligence-assisted optical diagnosis for the resect-and-discard strategy in clinical practice: the Artificial intelligence BLI Characterization (ABC) study | |
| EP1994878B9 (en) | Medical image processing device and medical image processing method | |
| CN102243762B (zh) | 图像处理装置以及图像处理方法 | |
| CN110363768B (zh) | 一种基于深度学习的早期癌病灶范围预测辅助系统 | |
| CN111179252B (zh) | 基于云平台的消化道病灶辅助识别与正反馈系统 | |
| CN111127426B (zh) | 一种基于深度学习的胃黏膜清洁度评价方法及系统 | |
| CN110826576B (zh) | 一种基于多模态特征级融合的宫颈病变预测系统 | |
| WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| Pezzoli et al. | Interobserver agreement in describing video capsule endoscopy findings: a multicentre prospective study | |
| CN112466466B (zh) | 基于深度学习的消化道辅助检测方法、装置和计算设备 | |
| CN113658179B (zh) | 肠道清洁度的检测方法及装置 | |
| CN111739007A (zh) | 内窥镜图像识别方法、设备、存储介质及装置 | |
| CN116579954B (zh) | 一种超高清内窥镜图像智能增强方法 | |
| Dmitry et al. | Review of features and metafeatures allowing recognition of abnormalities in the images of GIT | |
| CN114445406B (zh) | 肠镜图像分析方法、装置和医学图像处理设备 | |
| CN116109812A (zh) | 一种基于非极大值抑制阈值优化的目标检测方法 | |
| CN117671573B (zh) | 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置 | |
| CN113962998A (zh) | 肠镜检查的有效退镜时间评估方法、装置及存储介质 | |
| CN114596288B (zh) | 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 | |
| CN114693912B (zh) | 具有眼球追踪功能的内镜检查系统、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |