CN116309605B - 基于深度学习和状态转移的内窥镜检查质控方法及系统 - Google Patents
基于深度学习和状态转移的内窥镜检查质控方法及系统 Download PDFInfo
- Publication number
- CN116309605B CN116309605B CN202310588709.7A CN202310588709A CN116309605B CN 116309605 B CN116309605 B CN 116309605B CN 202310588709 A CN202310588709 A CN 202310588709A CN 116309605 B CN116309605 B CN 116309605B
- Authority
- CN
- China
- Prior art keywords
- current frame
- state transition
- frame part
- prediction
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007704 transition Effects 0.000 title claims abstract description 97
- 238000001839 endoscopy Methods 0.000 title claims abstract description 55
- 238000003908 quality control method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000007689 inspection Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract description 3
- 210000002784 stomach Anatomy 0.000 description 79
- 210000001187 pylorus Anatomy 0.000 description 15
- 210000002318 cardia Anatomy 0.000 description 13
- 230000002496 gastric effect Effects 0.000 description 11
- 230000002183 duodenal effect Effects 0.000 description 10
- 230000000747 cardiac effect Effects 0.000 description 6
- 210000001035 gastrointestinal tract Anatomy 0.000 description 6
- 210000003238 esophagus Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003800 pharynx Anatomy 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了一种基于深度学习和状态转移的内窥镜检查质控方法及系统，所述方法包括：根据内窥镜检查项目，得到部位检查逻辑集后，实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和部位检查逻辑集，对当前检查帧图像进行预测分析得到当前帧部位预测结果，再根据当前帧部位预测结果和部位检查逻辑集，得到当前帧部位识别结果，并根据当前帧部位识别结果更新检查记录，以及根据检查记录，进行相应的质控显示。本发明通过在内窥镜检查质控中引入解剖逻辑结构先验知识，实现科学有效地规范内窥镜检查流程，提高医生工作效率的同时，保证内窥镜的检查质量，避免误诊漏诊，提高病损的检出率，进而提高患者的生存质量。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于深度学习和状态转移的内窥镜检查质控方法及系统。
背景技术
消化道内窥镜检查是消化道恶性疾病早期发现的必要手段，而由于上消化道部位众多且病灶相对隐蔽，极易出现检查过程中某个部位反复检查或被遗漏，进而降低医生工作效率及病灶检出率的情况。因此，如何对消化内窥镜检查进行有效质控成为内窥镜检查的重要研究方向。
现有内窥镜检查质控方法主是利用深度学习技术在内窥镜检查过程中，识别和记录内窥镜的检查部位，并将结果同步到检查导航图供医生参考，进而达到质控的效果。然而，由于上消化道特殊的解剖逻辑结构及内窥镜照射视野覆盖广，同一内窥镜视野中可能同时涵盖多个部位，在不加任何约束的情况下，预测模型不仅会将视野覆盖部位均标识为已检查，而且会因缺乏解剖逻辑先验知识，造成检测部位识别有误，进而导致质控效果并不理想。
发明内容
本发明的目的是提供一种基于深度学习和状态转移的内窥镜检查质控方法，通过在内窥镜检查质控中引入解剖逻辑结构的先验知识，科学有效地规范内窥镜检查流程，解决现有内窥镜检查质控缺陷，提高医生的工作效率的同时，保证内窥镜检查质量，避免误诊漏诊，提高病损的检出率，提高患者的生存质量。
为了实现上述目的，有必要针对上述技术问题，提供了一种基于深度学习和状态转移的内窥镜检查质控方法及系统。
第一方面，本发明实施例提供了一种基于深度学习和状态转移的内窥镜检查质控方法，所述方法包括以下步骤：
根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；
实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；
根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；所述检查记录包括已检查部位、检查完成占比和下一步待检查部位；
根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示。
进一步地，所述根据内窥镜检查项目，得到部位检查逻辑集的步骤包括：
根据所述内窥镜检查项目，确定所有待检查部位；
根据各个待检查部位间的解剖逻辑，确定所述部位检查逻辑集。
进一步地，所述预设部位识别模型为预先训练得到的深度学习模型；所述预设部位识别模型的损失函数为以所述部位检查逻辑集为约束条件构建的加权交叉熵损失函数。
进一步地，所述加权交叉熵损失函数表示为：
式中，
其中，Loss表示交叉熵损失；C表示总类别数；wc、yc和pc分别表示类别c的权重、真实标签和预测概率；P表示预设部位识别模型输出的各类别预测概率；S_Ct表示检查部位Ct的状态转移集；w1表示类别预测概率最大值所在类别在对应状态转移集内的权重，w2表示类别预测概率最大值所在类别在对应状态转移集外的权重，且w2>w1。
进一步地，所述根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果的步骤包括：
获取前次登记帧部位识别结果，并根据所述前次登记帧部位识别结果和所述部位检查逻辑集，得到归属状态转移集；
获取所述当前帧部位预测结果中预测概率最大值对应的部位类别作为预测类别；
判断所述预测类别是否属于所述归属状态转移集，若是，则将所述预测类别作为所述当前帧部位识别结果，反之，则根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果。
进一步地，所述根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果的步骤包括：
获取所述归属状态转移集的各个待检查部位在所述当前帧部位预测结果中对应预测概率的最大值，作为归属状态转移最大概率；
判断所述归属状态转移最大概率是否大于预设截断阈值，若是，则将所述归属状态转移最大概率对应的部位类别作为所述当前帧部位识别结果，反之，则将所述当前帧部位识别结果设为预设无效值。
进一步地，所述根据所述当前帧部位识别结果，更新检查记录的步骤包括：
判断所述当前帧部位识别结果是否为所述部位检查逻辑集中的具体部位；
若是，则将所述当前帧部位识别结果登记为已检查部位，更新已检查部位总数，并根据所述已检查部位总数更新所述检查完成占比，以及根据所述当前帧部位识别结果对应的状态转移集，更新所述下一步待检查部位；
若否，则将所述检查记录保持不变。
第二方面，本发明实施例提供了一种基于深度学习和状态转移的内窥镜检查质控系统，所述系统包括：
逻辑约束模块，用于根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；
部位预测模块，用于实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；
检查记录模块，用于根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；
质控显示模块，用于根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种基于深度学习和状态转移的内窥镜检查质控方法及系统，通过所述方法实现了根据内窥镜检查项目，得到包括内窥镜检查项目中各个待检查部位的状态转移集的部位检查逻辑集后，实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和部位检查逻辑集，对当前检查帧图像进行预测分析得到当前帧部位预测结果，再根据当前帧部位预测结果和部位检查逻辑集，得到当前帧部位识别结果，并根据当前帧部位识别结果更新包括已检查部位、检查完成占比和下一步待检查部位的检查记录，以及根据检查记录进行相应的质控显示的技术方案。与现有技术相比，该基于深度学习和状态转移的内窥镜检查质控方法，通过在内窥镜检查质控中引入解剖逻辑结构先验知识，实现科学有效地规范内窥镜检查流程，提高医生工作效率的同时，保证内窥镜的检查质量，避免误诊漏诊，提高病损的检出率，进而提高患者的生存质量。
附图说明
图1是本发明实施例中基于深度学习和状态转移的内窥镜检查质控的架构示意图；
图2是本发明实施例中基于深度学习和状态转移的内窥镜检查质控方法的流程示意图；
图3是本发明实施例中根据内窥镜采集的当前检查帧图像得到当前帧部位识别结果的流程示意图；
图4是本发明实施例中基于深度学习和状态转移的内窥镜检查质控系统的结构示意图；
图5是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于深度学习和状态转移的内窥镜检查质控方法可应用于包括上消化道检查项目在内的各种内窥镜检查项目，基于引入检查部位间解剖逻辑结构的深度学习方法，按照图1所示的方法架构对内窥镜检查过程中实时采集的帧图像进行有效的部位识别分析，并根据检查过程中的部位识别结果进行实时的质控分析和显示，规范内窥镜医生检查流程的同时，还能保证内窥镜检查质量；下述实施例将以上消化道内窥镜检查为例，对本发明的基于深度学习和状态转移的内窥镜检查质控方法进行详细说明。
在一个实施例中，如图2所示，提供了一种基于深度学习和状态转移的内窥镜检查质控方法，包括以下步骤：
S11、根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；其中，内窥镜检查项目可包括消化道检查、泌尿生殖道检查、呼吸道检查、体腔检查和头部器官检查等，不同的检查项目中涉及的检查部位间都存在着一定的医学解剖逻辑，基于此，本实施例中根据待质控的内窥镜检查项目，先确定对应的部位检查逻辑集，为后续采用深度学习模型对内窥镜图像进行识别提供必要的逻辑约束，以提高部位识别的精准性；
具体的，所述根据内窥镜检查项目，得到部位检查逻辑集的步骤包括：
根据所述内窥镜检查项目，确定所有待检查部位；
根据各个待检查部位间的解剖逻辑，确定所述部位检查逻辑集；其中，部位检查逻辑集中各个待检查部位的状态转移集可理解为根据解剖逻辑结构关系得到的某个检查部位可移到的其他待检测部位的集合；比如，在上消化道检查项目中，根据对应的解剖逻辑结构可知，会涉及20个部位（'1咽部'、'2食管入口'、'3食管（充气状态）'、'4贲门（见E-G线）'、'5胃窦'、'6幽门部'、'7十二指肠球部'、'8十二指肠降段'、'9胃角小弯'、'10胃角前壁'、'11胃角后壁'、'12胃体小弯（倒镜）'、'13胃体前壁（倒镜）'、'14胃体后壁（倒镜）'、'15胃底'、'16贲门（倒镜）'、'17胃体大弯'、'18胃体小弯'、'19胃体前壁'、'20胃体后壁'），且各部位对应的状态转移集如表1所示（“0启动点”是便于后续启动深度学习模型进行部位识别而专门设置的激活部位）；需要说明的是，表1给出的部位检查逻辑集仅为针对上消化道检查项目的示例性描述，对于其他内窥镜检查项目，也可根据其对应的解剖逻辑结构得到类似的部位检查逻辑集。
表1上消化道检查项目对应的部位检查逻辑集
| 当前部位 | 可转部位 |
| 0启动点 | 1咽部, 2食管入口 |
| 1咽部 | 1咽部,2食管入口 |
| 2食管入口 | 1咽部,2食管入口,3食管（充气状态） |
| 3食管（充气状态） | 2食管入口,3食管（充气状态）,4贲门（见E-G线） |
| 4贲门（见E-G线） | 4贲门（见E-G线）,17胃体大弯,18胃体小弯,19胃体前壁, 20胃体后壁 |
| 5胃窦 | 5胃窦, 6幽门部, 7十二指肠球部, 9胃角小弯, 10胃角前壁, 11胃角后壁, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 6幽门部 | 5胃窦, 6幽门部, 9胃角小弯, 10胃角前壁, 11胃角后壁, 17胃体大弯,18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 7十二指肠球部 | 5胃窦, 6幽门部, 7十二指肠球部, 8十二指肠降段 |
| 8十二指肠降段 | 7十二指肠球部, 8十二指肠降段 |
| 9胃角小弯 | 5胃窦, 6幽门部, 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜） |
| 10胃角前壁 | 5胃窦, 6幽门部, 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）,15胃底, 16贲门（倒镜） |
| 11胃角后壁 | 5胃窦, 6幽门部, 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜） |
| 12胃体小弯（倒镜） | 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 13胃体前壁（倒镜） | 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 14胃体后壁（倒镜） | 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 15胃底 | 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 16贲门（倒镜） | 9胃角小弯, 10胃角前壁, 11胃角后壁, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 17胃体大弯 | 5胃窦, 6幽门部, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）,17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 18胃体小弯 | 5胃窦, 6幽门部, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 19胃体前壁 | 5胃窦, 6幽门部, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
| 20胃体后壁 | 5胃窦, 6幽门部, 12胃体小弯（倒镜）, 13胃体前壁（倒镜）, 14胃体后壁（倒镜）, 15胃底, 16贲门（倒镜）, 17胃体大弯, 18胃体小弯, 19胃体前壁, 20胃体后壁 |
S12、实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；
其中，所述预设部位识别模型为预先训练得到的深度学习模型（模型M），其中，深度学习模型可以为Resnet模型、Densenet模型和Transformer模型等任一深度学习模型，此处不作具体限制；需要说明的是，为了提高深度学习模型对内窥镜采集帧图像部位识别的精准性，本实施例优选地通过引入解剖逻辑约束对于状态转移集外的误诊给出更多惩罚的方法对深度学习模型的损失函数作出了相应改进，使得部位识别模型具有更好的鲁棒性和泛化性；
具体的，所述预设部位识别模型的损失函数为以所述部位检查逻辑集为约束条件构建的加权交叉熵损失函数，对应的加权交叉熵损失函数表示为：
式中，
其中，Loss表示交叉熵损失；C表示总类别数；wc、yc和pc分别表示类别c的权重、真实标签和预测概率；P表示预设部位识别模型输出的各类别预测概率；S_Ct表示检查部位Ct的状态转移集；w1表示类别预测概率最大值所在类别在对应状态转移集内的权重，w2表示类别预测概率最大值所在类别在对应状态转移集外的权重，且w2>w1。
原则上，采用具有上述损失函数的预设部位识别模型M对内窥镜帧图像k（k=0,1,…,n）进行分析识别得到的当前帧部位预测结果可以直接作为内窥镜图像的部位识别结果，但为了进一步提高识别结果的精准性，本实施例优选地按照下述方法步骤采用部位检查逻辑集对模型预测结果进行检验分析，以得到准确的部位识别结果；
S13、根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；所述检查记录包括已检查部位、检查完成占比和下一步待检查部位；其中，当前帧部位识别结果可理解为是根据前次登记帧部位识别结果和对应的状态转移集对当前帧部位预测结果进行有效性检测后得到的识别结果；具体的，如图3所示，所述根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果的步骤包括：
获取前次登记帧部位识别结果，并根据所述前次登记帧部位识别结果和所述部位检查逻辑集，得到归属状态转移集；其中，归属状态转移集可理解为是根据部位检查逻辑集获取的前次登记帧部位识别结果Ct-1（某个部位）对应的状态转移集S_Ct-1，比如，前次登记帧部位识别结果为“5胃窦”，则用于对当前帧部位预测结果进行检测的归属状态转移集为{“5胃窦”、“6幽门部”、“7十二指肠球部”、“9胃角小弯”、“10胃角前壁”、“11胃角后壁”、“17胃体大弯”、“18胃体小弯”、“19胃体前壁”、“20胃体后壁”}；需要说明的是，此处给出的归属状态转移集仅为示例性描述，不同检查阶段的不同部位图像对应的归属状态转移集均可根据表1所示的部位检查逻辑集实时获取，特别的，对于内镜检查获取的第一帧图像而言，则Ct-1为0，对应的S_Ct-1为{“1咽部”,“2食管入口”}；
获取所述当前帧部位预测结果中预测概率最大值对应的部位类别作为预测类别；其中，当前帧部位预测结果（部位类别预测概率）假设为P_X，其中，X为部位索引集（X=1,2,3,…）则对应的当前帧部位的预测类别可表示为：Im=argmax(P_X)；
判断所述预测类别是否属于所述归属状态转移集，若是，则将所述预测类别作为所述当前帧部位识别结果，反之，则根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果；
其中，判断预测类别是否属于归属状态转移集可理解为判断Im∈S_Ct-1是否成立，若是，则认为当前帧图像对应的预测类别是满足部位检查逻辑集约束的，可判定为有效的识别结果，即预测类别可直接作为最终分析得到的当前帧部位识别结果；若Im∈S_Ct-1不成立，则认为预测类别不满足部位检查逻辑集约束，需要对得到的当前帧部位预测结果进行适当调整后再确定最终识别结果；具体的，所述根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果的步骤包括：
获取所述归属状态转移集的各个待检查部位在所述当前帧部位预测结果中对应预测概率的最大值，作为归属状态转移最大概率；其中，归属状态转移最大概率的获取过程可理解为：在当前帧部位预测结果P_X中找到属于归属状态转移集S_Ct-1中对应部位的预测概率值，并比较得到最大的预测概率值作为归属状态转移最大概率Pmax。比如，Ct-1为“2食管入口”，而根据当前帧部位预测结果P_X得到的预测类别为“4贲门（见E-G线）”，显然预测类别不在对应的归属状态转移集S_Ct-1{“1咽部”、“2食管入口”、“3食管（充气状态）”}内，此时，需要在P_X中找到“1咽部”、“2食管入口”和“3食管（充气状态）”对应的概率值，并选取其中最大的概率值作为归属状态转移最大概率Pmax，以及记录对应的类别为Im_2（即Im=Im_2）；需要说明的是，检测过程中不同的内窥镜图像识别对应的归属状态转移最大概率均不相同，此处归属状态转移最大概率的说明仅为示例性描述，不作为对本申请保护范围的具体限制；
判断所述归属状态转移最大概率是否大于预设截断阈值，若是，则将所述归属状态转移最大概率对应的部位类别作为所述当前帧部位识别结果，反之，则将所述当前帧部位识别结果设为预设无效值（比如，将Im设为-1）；其中，预设截断阈值可理解为用于判断是否用S_Ct-1中最大概率的类别来替换识别模型分类结果对应预测类别的阈值，也可理解为用于评估是否接收归属状态转移最大概率的阈值，可根据实际应用需要进行设置，此处不作具体限制；预设无效值设置为与内窥镜检查项目涉及检查部位的索引号无关的数值即可，此处也不作具体限制；
按照上述方法对检查过程中通过内窥镜实时获取的当前帧图像进行有效识别后，根据当前帧部位识别结果对该内窥镜检查项目的检查记录进行实时更新；具体的，所述根据所述当前帧部位识别结果，更新检查记录的步骤包括：
判断所述当前帧部位识别结果是否为所述部位检查逻辑集中的具体部位；其中，具体部位可立即为识别结果的类别标号是部位索引X中的任一数值，既不是表1中表示启动点的0，也不是上述的预设无效值；即，若判断当前帧部位识别结果为识别到具体的部位的索引，则记录该部位已做检查，否则不作登记，直接跳过更新检查记录和同步质控显示的处理；如果全部部位已检查完，则停止登记；
若是，则将所述当前帧部位识别结果登记为已检查部位，更新已检查部位总数，并根据所述已检查部位总数更新所述检查完成占比，以及根据所述当前帧部位识别结果对应的状态转移集，更新所述下一步待检查部位；其中，检查完成占比的计算公式为：r=c/s*100%，c为已检查部位总数，s为部位检查逻辑集中的部位总数；需要说明的是，为了更好进行部位识别，而引入的“0启动点”（即内窥镜帧图像k=0时，对应的部位Im=0）仅用于激活部位识别模型，并不参与检查完成百分比的计算。
若否，则将所述检查记录保持不变。
S14、根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示；其中，判断是否完成内窥镜检查项目可理解为直接根据检查完成占比判断是否完成，若检查完成占比达到100%，则表示内窥镜检查项目完成，反之，则表示检查项目没有完成，需要提示检查操作人员当前未完成检查部位以及下一步需要进行检查的部位，直至所有部位检查完成；
具体的，质控显示可理解为实时显示内窥镜检查项目所需检查部位的缩略图，根据检查过程中实时部位分析情况对各个部位缩略图设置的已识别或未识别标记（比如，可以用绿色高亮标记已识别部位，用灰色标记未识别部位），内窥镜检查项目实时完成情况（检查完成占比），以及根据当前帧部位识别结果查询部位检查逻辑集确定的一步待检查部位（比如，当前帧部位识别结果为“6幽门部”，则下一步待检查部位可以为对应状态转移集{“5胃窦”、“6幽门部”、“9胃角小弯”、“10胃角前壁”、“11胃角后壁”、“17胃体大弯”、“18胃体小弯”、“19胃体前壁”、“20胃体后壁”}中的任意一个部位，可用蓝色高亮且闪烁的方式进行提示）等规范医生检查流程和操作指导的相关内容，以保证检查质量的同时，提升医生的检查效率。
本申请实施例通过根据内窥镜检查项目，得到包括内窥镜检查项目中各个待检查部位的状态转移集的部位检查逻辑集后，实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和部位检查逻辑集对当前检查帧图像进行预测分析得到当前帧部位预测结果，再根据当前帧部位预测结果和部位检查逻辑集，得到当前帧部位识别结果，并根据当前帧部位识别结果更新包括已检查部位、检查完成占比和下一步待检查部位的检查记录，以及根据检查记录进行相应的质控显示的技术方案，实现了在充分考虑到内窥镜视野的特点以及各个检查项目的特定解剖逻辑结构的情况下，将解剖逻辑结构先验知识作为约束条件引入内窥镜检查质控，避免检查质量自动监控过程中极易出现的一图多识别或误识别问题的发生，确保内窥镜检查部位识别精确性的同时，有效规范内镜医生检查流程，保证内镜内镜检查质量，进而提高病损的检出率以及患者的生存质量。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
在一个实施例中，如图4所示，提供了一种基于深度学习和状态转移的内窥镜检查质控系统，所述系统包括：
逻辑约束模块1，用于根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；
部位预测模块2，用于实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；
检查记录模块3，用于根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；
质控显示模块4，用于根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示。
关于基于深度学习和状态转移的内窥镜检查质控系统的具体限定可以参见上文中对于基于深度学习和状态转移的内窥镜检查质控方法的限定，对应的技术效果也可等同得到，在此不再赘述。上述基于深度学习和状态转移的内窥镜检查质控系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图5示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器、摄像头和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于深度学习和状态转移的内窥镜检查质控方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种基于深度学习和状态转移的内窥镜检查质控方法及系统，其基于深度学习和状态转移的内窥镜检查质控方法实现了实现了根据内窥镜检查项目，得到包括内窥镜检查项目中各个待检查部位的状态转移集的部位检查逻辑集后，实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和部位检查逻辑集，对当前检查帧图像进行预测分析得到当前帧部位预测结果，再根据当前帧部位预测结果和部位检查逻辑集，得到当前帧部位识别结果，并根据当前帧部位识别结果更新包括已检查部位、检查完成占比和下一步待检查部位的检查记录，以及根据检查记录进行相应的质控显示的技术方案，该方法通过在内窥镜检查质控中引入解剖逻辑结构先验知识，实现科学有效地规范内窥镜检查流程，提高医生工作效率的同时，保证内窥镜的检查质量，避免误诊漏诊，提高病损的检出率，进而提高患者的生存质量。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于深度学习和状态转移的内窥镜检查质控方法，其特征在于，所述方法包括以下步骤：
根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；所述状态转移集基于各个待检查部位间的解剖逻辑结构生成；
实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；所述预设部位识别模型的损失函数为以所述部位检查逻辑集为约束条件构建的加权交叉熵损失函数；所述加权交叉熵损失函数表示为：
式中，
其中，Loss表示交叉熵损失；C表示总类别数；wc、yc和pc分别表示类别c的权重、真实标签和预测概率；P表示预设部位识别模型输出的各类别预测概率；S_Ct表示检查部位Ct的状态转移集；w1表示类别预测概率最大值所在类别在对应状态转移集内的权重，w2表示类别预测概率最大值所在类别在对应状态转移集外的权重，且w2>w1；
根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；所述检查记录包括已检查部位、检查完成占比和下一步待检查部位；所述下一步待检查部位为所述当前帧部位识别结果对应的状态转移集；
根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示；
其中，所述根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果的步骤包括：
获取前次登记帧部位识别结果，并根据所述前次登记帧部位识别结果和所述部位检查逻辑集，得到归属状态转移集；
获取所述当前帧部位预测结果中预测概率最大值对应的部位类别作为预测类别；
判断所述预测类别是否属于所述归属状态转移集，若是，则将所述预测类别作为所述当前帧部位识别结果，反之，则根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果。
2.如权利要求1所述的基于深度学习和状态转移的内窥镜检查质控方法，其特征在于，所述根据内窥镜检查项目，得到部位检查逻辑集的步骤包括：
根据所述内窥镜检查项目，确定所有待检查部位；
根据各个待检查部位间的解剖逻辑，确定所述部位检查逻辑集。
3.如权利要求1所述的基于深度学习和状态转移的内窥镜检查质控方法，其特征在于，所述预设部位识别模型为预先训练得到的深度学习模型。
4.如权利要求1所述的基于深度学习和状态转移的内窥镜检查质控方法，其特征在于，所述根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果的步骤包括：
获取所述归属状态转移集的各个待检查部位在所述当前帧部位预测结果中对应预测概率的最大值，作为归属状态转移最大概率；
判断所述归属状态转移最大概率是否大于预设截断阈值，若是，则将所述归属状态转移最大概率对应的部位类别作为所述当前帧部位识别结果，反之，则将所述当前帧部位识别结果设为预设无效值。
5.如权利要求1所述的基于深度学习和状态转移的内窥镜检查质控方法，其特征在于，所述根据所述当前帧部位识别结果，更新检查记录的步骤包括：
判断所述当前帧部位识别结果是否为所述部位检查逻辑集中的具体部位；
若是，则将所述当前帧部位识别结果登记为已检查部位，更新已检查部位总数，并根据所述已检查部位总数更新所述检查完成占比，以及根据所述当前帧部位识别结果对应的状态转移集，更新所述下一步待检查部位；
若否，则将所述检查记录保持不变。
6.一种基于深度学习和状态转移的内窥镜检查质控系统，其特征在于，所述系统包括：
逻辑约束模块，用于根据内窥镜检查项目，得到部位检查逻辑集；所述部位检查逻辑集包括所述内窥镜检查项目中各个待检查部位的状态转移集；所述状态转移集基于各个待检查部位间的解剖逻辑结构生成；
部位预测模块，用于实时获取内窥镜的当前检查帧图像，并根据预设部位识别模型和所述部位检查逻辑集，对所述当前检查帧图像进行预测分析，得到当前帧部位预测结果；所述预设部位识别模型的损失函数为以所述部位检查逻辑集为约束条件构建的加权交叉熵损失函数；所述加权交叉熵损失函数表示为：
式中，
其中，Loss表示交叉熵损失；C表示总类别数；wc、yc和pc分别表示类别c的权重、真实标签和预测概率；P表示预设部位识别模型输出的各类别预测概率；S_Ct表示检查部位Ct的状态转移集；w1表示类别预测概率最大值所在类别在对应状态转移集内的权重，w2表示类别预测概率最大值所在类别在对应状态转移集外的权重，且w2>w1；
检查记录模块，用于根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果，并根据所述当前帧部位识别结果，更新检查记录；所述检查记录包括已检查部位、检查完成占比和下一步待检查部位；所述下一步待检查部位为所述当前帧部位识别结果对应的状态转移集；
质控显示模块，用于根据所述检查记录，判断是否完成所述内窥镜检查项目，并进行相应的质控显示；
其中，所述根据所述当前帧部位预测结果和所述部位检查逻辑集，得到当前帧部位识别结果的步骤包括：
获取前次登记帧部位识别结果，并根据所述前次登记帧部位识别结果和所述部位检查逻辑集，得到归属状态转移集；
获取所述当前帧部位预测结果中预测概率最大值对应的部位类别作为预测类别；
判断所述预测类别是否属于所述归属状态转移集，若是，则将所述预测类别作为所述当前帧部位识别结果，反之，则根据所述当前帧部位预测结果和所述归属状态转移集，确定所述当前帧部位识别结果。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588709.7A CN116309605B (zh) | 2023-05-24 | 2023-05-24 | 基于深度学习和状态转移的内窥镜检查质控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310588709.7A CN116309605B (zh) | 2023-05-24 | 2023-05-24 | 基于深度学习和状态转移的内窥镜检查质控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309605A CN116309605A (zh) | 2023-06-23 |
| CN116309605B true CN116309605B (zh) | 2023-08-22 |
Family
ID=86785500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310588709.7A Active CN116309605B (zh) | 2023-05-24 | 2023-05-24 | 基于深度学习和状态转移的内窥镜检查质控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309605B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146884A (zh) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | 内窥镜检查监控方法及装置 |
| CN113689949A (zh) * | 2020-05-18 | 2021-11-23 | 日本电气株式会社 | 信息处理方法、电子设备和计算机存储介质 |
| CN115082739A (zh) * | 2022-07-01 | 2022-09-20 | 苏州慧维智能医疗科技有限公司 | 基于卷积神经网络的内窥镜评估方法及评估系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11478124B2 (en) * | 2020-06-09 | 2022-10-25 | DOCBOT, Inc. | System and methods for enhanced automated endoscopy procedure workflow |
-
2023
- 2023-05-24 CN CN202310588709.7A patent/CN116309605B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146884A (zh) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | 内窥镜检查监控方法及装置 |
| CN113689949A (zh) * | 2020-05-18 | 2021-11-23 | 日本电气株式会社 | 信息处理方法、电子设备和计算机存储介质 |
| CN115082739A (zh) * | 2022-07-01 | 2022-09-20 | 苏州慧维智能医疗科技有限公司 | 基于卷积神经网络的内窥镜评估方法及评估系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于加权损失函数的粘连白细胞分割算法;赵晓晴等;《吉林大学学报（理学版）》;第29卷(第1期);第85-91页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309605A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7216376B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| CN109146884B (zh) | 内窥镜检查监控方法及装置 | |
| EP3968272A1 (en) | Medical endoscope image identification method and system, and endoscope image system | |
| Pan et al. | Bleeding detection in wireless capsule endoscopy based on probabilistic neural network | |
| US7319781B2 (en) | Method and system for multiple passes diagnostic alignment for in vivo images | |
| JP4767591B2 (ja) | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム | |
| CN110600122A (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| US11915822B2 (en) | Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination | |
| WO2020215807A1 (zh) | 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法 | |
| US20230154620A1 (en) | Apparatus and method for assisting reading of chest medical images | |
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| CN109460717A (zh) | 消化道共聚焦激光显微内镜病变图像识别方法及装置 | |
| Sun et al. | A novel gastric ulcer differentiation system using convolutional neural networks | |
| CN112801958A (zh) | 超声内镜、人工智能辅助鉴别方法、系统、终端、介质 | |
| Xu et al. | Upper gastrointestinal anatomy detection with multi‐task convolutional neural networks | |
| Chang et al. | Development and validation of a deep learning-based algorithm for colonoscopy quality assessment | |
| Song et al. | Use of artificial intelligence to improve the quality control of gastrointestinal endoscopy | |
| Wahab et al. | Machine learning based small bowel video capsule endoscopy analysis: Challenges and opportunities | |
| CN116309605B (zh) | 基于深度学习和状态转移的内窥镜检查质控方法及系统 | |
| US20220331556A1 (en) | System and method for visualizing placement of a medical tube or line | |
| Gan et al. | A feasibility trial of computer-aided diagnosis for enteric lesions in capsule endoscopy | |
| WO2023018344A1 (en) | Automatic detection and differentiation/classification of the esophagus, stomach, small bowel and colon lesions in device-assisted enteroscopy using a convolutional neuronal network | |
| Eroğlu et al. | Comparison of computed tomography-based artificial intelligence modeling and magnetic resonance imaging in diagnosis of cholesteatoma | |
| US20210035687A1 (en) | Medical image reading assistant apparatus and method providing hanging protocols based on medical use artificial neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |