CN113763360A - 消化内镜模拟器检查质量评估方法及系统 - Google Patents

消化内镜模拟器检查质量评估方法及系统 Download PDF

Info

Publication number
CN113763360A
CN113763360A CN202111051463.7A CN202111051463A CN113763360A CN 113763360 A CN113763360 A CN 113763360A CN 202111051463 A CN202111051463 A CN 202111051463A CN 113763360 A CN113763360 A CN 113763360A
Authority
CN
China
Prior art keywords
examination
score
rate
digestive
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111051463.7A
Other languages
English (en)
Inventor
刘治
李�真
孙保林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202111051463.7A priority Critical patent/CN113763360A/zh
Publication of CN113763360A publication Critical patent/CN113763360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种消化内镜模拟器操作水平评估方法及系统，属于医疗设备技术领域，利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位，计算评估指标；评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；对各项评估指标进行融合加权计算，得到最终的操作评分；根据最终的操作评分，判定操作水平的高低。本发明融合检查覆盖率、关键部位检出率、检查时间等多种指标，能够客观评估用户操作水平，提高了评估效率和准确性；将操作水平进行了定量化表示，帮助医师全面准确地了解操作者的各项操作水平，给出合理化的指导，帮助操作者了解在操作中的欠缺部分，以针对性提升操作水平。

Description

消化内镜模拟器检查质量评估方法及系统
技术领域
本发明涉及医疗设备技术领域，具体涉及一种消化内镜模拟器检查质量评估方法及系统。
背景技术
内镜检查是发现胃肠病变最常用的工具，内镜检查需医师进行手动操作，根据检查的图像进行是否病变的主观判断。不同医师的经验及水平不同，导致检查质量的不同，或者检查结果不准确。对医师的内镜检查操作水平进行有效评估，对于提高内镜检查质量具有重要意义。
目前现有的消化内镜检查质量管控措施包括专家组抽查、人工调研及医院自行上报等，无法实现消化内镜检查质量的全面评估，数据准确性较低，考人工进行肉眼观察，主观评价，评价结果有失偏颇，人工调研费时费力，成本高，工作效率低下。
发明内容
本发明的目的在于提供一种融合检查覆盖率、关键部位检出率、检查时间、操作手法、病理诊断等多种指标，能够客观评估用户操作水平，提高了评估效率和准确性的消化内镜模拟器检查质量评估方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种消化内镜模拟器操作水平评估方法，包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
优选的，所述预选训练好的分类识别模型由训练集训练得到；所述训练集包括多张器官图像以及标注器官的各个检查部位和关键部位的标签。
优选的，对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分，包括：
Figure BDA0003252935030000021
其中，
hi(x)表示第i个评估指标，wi表示第i个评估指标的加权融合的权重，S(x)表示最终的操作评分。
优选的，计算检查覆盖率包括：分类识别模型识别到的部位个数与待检测器官的部位总数之比，为总体覆盖率；数值1与总体覆盖率作差，得到检查丢失率。
优选的，计算所述关键部位检出率包括：在检查过程中，由操作者主观识别标注出的器官关键部位个数，与所述分类识别模型识别出的关键部位个数的比值，即为关键部位检出率。
优选的，所述检查时间为，分类识别模型识别到第一张检查部位图片的时刻定义为消化内镜入镜时刻，分类识别模型识别到识别到检查部位的退镜图片为退镜开始图像，记录为退镜开始，在退镜过程中识别到最后一张检查部位图像，定义为退镜时刻；所述退镜时刻和所述入镜时刻之差即为检查时间。
优选的，计算所述操作手法评分，包括：分类识别模型识别到关键部位，则记为消化内镜操作动作，记录消化内镜动作轨迹，动作轨迹包括内镜前端三维坐标值序列和三维旋转角度序列；将所述三维坐标值序列和所述三维旋转角度序列输入训练好的评分模型，计算得到用户操作手法评分。
优选的，消化内镜动作轨迹数据定义为一个连续、等时间间隔的点集，表示为：
P＝(p1,p2,...,pn),pi＝(xi,yi,zi,αi,βi,γi)；
其中，(xi,yi,zi)为消化内镜前端三维世界坐标，(αi,βi,γi)为以欧拉角表示的前端旋转角度，但表示方式不限于欧拉角；
采集各个关键部位检查动作轨迹序列P，并进行标注打分，制作第二数据集，并经由RNN循环神经网络进行训练，得到评分模型。
优选的，计算诊断准确率包括：构建基于消化内镜影像标注信息和消化内镜电子病例文本特征的多模态语料库；对用户决策病例及目标电子病例文本进行中文分词，计算所述用户决策病例及目标病例文本的并集；通过TF-IDF算法计算用户决策病例及目标病例文本的词集的词频，并把词频向量化为稀疏向量，通过向量相似度算法计算所述用户决策病例及目标病例的文本相似度，即为操作用户的病例诊断准确率。
第二方面，本发明提供一种消化内镜模拟器操作水平评估系统，包括：
识别模块，用于利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
第一计算模块，用于根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
第二计算模块，用于对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
判断模块，用于根据最终的操作评分，判定操作水平的高低。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的消化内镜模拟器检查质量评估方法。
第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的消化内镜模拟器检查质量评估方法的指令。
本发明有益效果：对用户经由消化内镜手术模拟器进行操作学习时，进行操作水平智能实时评估，在线显示；融合检查覆盖率、关键部位检出率、检查时间、操作手法、病理诊断等多种指标，能够客观评估用户操作水平，提高了评估效率和准确性；将初学者操作水平进行定量化表示，帮助其了解在消化内镜操作中的欠缺部分，针对性提升操作水平；可以让医师全面准确地了解学员的各项操作水平，并给出合理化的指导。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的消化内镜模拟器检查质量评估方法流程图；
图2为本发明实施例所述的消化内镜检查时间计算方法流程图；
图3为本发明实施例所述的消化内镜检查覆盖率计算方法流程图；
图4为本发明实施例所述的操作手法评分计算方法流程图；
图5为本发明实施例所述的关键部位识别准确率计算方法流程图；
图6为本发明实施例所述的相似度计算方法流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种消化内镜模拟器操作水平评估系统，该系统包括：
识别模块，用于利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
第一计算模块，用于根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
第二计算模块，用于对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
判断模块，用于根据最终的操作评分，判定操作水平的高低。最终的操作评分越高，标明操作水平越高，检查质量越高。
本实施例1中，利用上述的消化内镜模拟器操作水平评估系统，实现了一种消化内镜模拟器操作水平评估方法，该方法包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
本实施例1中，所述预选训练好的分类识别模型由训练集训练得到；所述训练集包括多张器官图像以及标注器官的各个检查部位和关键部位的标签。
其中，对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分，包括：
Figure BDA0003252935030000071
其中，
hi(x)表示第i个评估指标，wi表示第i个评估指标的加权融合的权重，S(x)表示最终的操作评分。
本实施例1中，计算检查覆盖率包括：分类识别模型识别到的部位个数与待检测器官的部位总数之比，为总体覆盖率；数值1与总体覆盖率作差，得到检查丢失率。
本实施例1中，计算所述关键部位检出率包括：在检查过程中，由操作者主观识别标注出的器官关键部位个数，与所述分类识别模型识别出的关键部位个数的比值，即为关键部位检出率。
本实施例1中，所述检查时间为，分类识别模型识别到第一张检查部位图片的时刻定义为消化内镜入镜时刻，分类识别模型识别到识别到检查部位的退镜图片为退镜开始图像，记录为退镜开始，在退镜过程中识别到最后一张检查部位图像，定义为退镜时刻；所述退镜时刻和所述入镜时刻之差即为检查时间。
本实施例1中，计算所述操作手法评分，包括：分类识别模型识别到关键部位，则记为消化内镜操作动作，记录消化内镜动作轨迹，动作轨迹包括内镜前端三维坐标值序列和三维旋转角度序列；将所述三维坐标值序列和所述三维旋转角度序列输入训练好的评分模型，计算得到用户操作手法评分。
本实施例1中，消化内镜动作轨迹数据定义为一个连续、等时间间隔的点集，表示为：
P＝(p1,p2,...,pn),pi＝(xi,yi,zi,αi,βi,γi)；
其中，(xi,yi,zi)为消化内镜前端三维世界坐标，(αi,βi,γi)为以欧拉角表示的前端旋转角度，但表示方式不限于欧拉角；
采集各个关键部位检查动作轨迹序列P，并进行标注打分，制作第二数据集，并经由RNN循环神经网络进行训练，得到评分模型。
本实施例1中，计算诊断准确率包括：构建基于消化内镜影像标注信息和消化内镜电子病例文本特征的多模态语料库；对用户决策病例及目标电子病例文本进行中文分词，计算所述用户决策病例及目标病例文本的并集；通过TF-IDF算法计算用户决策病例及目标病例文本的词集的词频，并把词频向量化为稀疏向量，通过向量相似度算法计算所述用户决策病例及目标病例的文本相似度，即为操作用户的病例诊断准确率。
实施例2
本实施例2提供一种消化内镜模拟器操作水平评估方法，该方法包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
本实施例2中，所述预选训练好的分类识别模型由训练集训练得到；所述训练集包括多张器官图像以及标注器官的各个检查部位和关键部位的标签。分类识别模型的基础网络使用但不限于ResNet-50，使用ImageNet数据库的100多万张图像进行预训练，使用迁移学习并删除网络中的分类层。采集胃部检查部位中的食管、胃底、贲门、胃体、胃窦、胃角、十二指肠的胃26部位的图片，并进行标注，制作图片分类第一数据集。并用胃26部位所述ResNet-50预训练模型进行再训练，微调所有层参数，构建图片分类识别模型。
其中，对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分，包括：
Figure BDA0003252935030000091
其中，
hi(x)表示第i个评估指标，wi表示第i个评估指标的加权融合的权重，S(x)表示最终的操作评分。
本实施例2中，计算检查覆盖率包括：分类识别模型识别到的部位个数与待检测器官的部位总数之比，为总体覆盖率；数值1与总体覆盖率作差，得到检查丢失率。
本实施例2中，计算所述关键部位检出率包括：在检查过程中，由操作者主观识别标注出的器官关键部位个数，与所述分类识别模型识别出的关键部位个数的比值，即为关键部位检出率。
本实施例2中，所述检查时间为，分类识别模型识别到第一张检查部位图片的时刻定义为消化内镜入镜时刻，分类识别模型识别到识别到检查部位的退镜图片为退镜开始图像，记录为退镜开始，在退镜过程中识别到最后一张检查部位图像，定义为退镜时刻；所述退镜时刻和所述入镜时刻之差即为检查时间。
计算所述操作手法评分，包括：分类识别模型识别到关键部位，则记为消化内镜操作动作，记录消化内镜动作轨迹，动作轨迹包括内镜前端三维坐标值序列和三维旋转角度序列；将所述三维坐标值序列和所述三维旋转角度序列输入训练好的评分模型，计算得到用户操作手法评分。
本实施例2中，关键部位检查动作包括不限于进镜食管、过贲门、进镜胃体及胃窦、过幽门进十二指肠、进镜十二指肠球降部、退胃窦、退镜胃角、退镜胃底及贲门部、退镜胃体、退镜食管。
本实施例2中，消化内镜动作轨迹数据定义为一个连续、等时间间隔的点集，表示为：
P＝(p1,p2,...,pn),pi＝(xi,yi,zi,αi,βi,γi)；
其中，(xi,yi,zi)为消化内镜前端三维世界坐标，(αi,βi,γi)为以欧拉角表示的前端旋转角度，但表示方式不限于欧拉角；
采集各个关键部位检查动作轨迹序列P，并进行标注打分，制作第二数据集，并经由RNN循环神经网络进行训练，得到评分模型。
本实施例2中，所述病例诊断准确率，为操作用户根据胃部观察细节，包括不限于对食管状态描述、血管纹理、齿状线、贲门描述；胃底粘膜、胃体粘膜、胃角及其粘膜、胃窦粘膜，幽门状态描述；十二指肠球部及将部描述的自主决策出的文本信息。
具体的，计算诊断准确率包括：构建基于消化内镜影像标注信息和消化内镜电子病例文本特征的多模态语料库；对用户决策病例及目标电子病例文本进行中文分词，计算所述用户决策病例及目标病例文本的并集；通过TF-IDF算法计算用户决策病例及目标病例文本的词集的词频，并把词频向量化为稀疏向量，通过向量相似度算法计算所述用户决策病例及目标病例的文本相似度，即为操作用户的病例诊断准确率。
实施例3
本实施例3中，提供一种基于深度学习的消化内镜模拟器操作检查质量智能评估方法。从胃镜检查覆盖率(全面性评估)、关键部位检出率(准确性评估)、胃镜检查时间(快速性评估)、胃镜操作手法(规范性评估)、病理诊断进行多模态融合算法学习及预测，评估用户操作水平；此外记录用户历史操作水平，绘制历史学习曲线，评估用户操作学习水平。
所述胃镜检查覆盖率，通过DCNN图片分类模型将用户拍摄到的胃部各个部位代表性图片进行分类，计算观察到的部位个数以及各个部位的丢失率。
所述胃镜检查覆盖率具体定义为：用户消化内镜模拟器拍摄到的部位数占胃镜检查覆盖部位数的比率，计算公式为：拍摄的胃镜下部位数/胃镜检查覆盖部位数；
所述胃镜检查覆盖部位数，包括胃26部位的识别。所述胃镜检查时间，由所述退镜时间和所述出境时间之差获得。所述胃镜检查时间，由DCNN图片分类模型识别到第一张食管入镜图片时刻定义为入镜时间，由DCNN图片分类模型识别到食管退镜图片为退镜开始图像，记录为退镜开始，从退镜开始到采集到最后一张食管图像，定义为退镜时间。所述关键部位检出率，包括食管、贲门、胃底、胃体、胃角、胃窦、幽门及十二指肠的识别准确率。
所述胃镜操作手法，为检查胃部关键部位时的胃镜动作轨迹，其中胃镜动作轨迹由胃镜前端三维坐标值序列，旋转角度序列定义。消化内镜先端部包含有9轴姿态传感器，融合得到消化内镜先端部的六自由度数据，即三维坐标及旋转角度，旋转角度使用但不限于欧拉角进行表示。
所述胃镜操作手法中胃镜动作，包括进镜食管、过贲门、进镜胃体及胃窦、过幽门进十二指肠、进镜十二指肠球降部、退胃窦、退镜胃角、退镜胃底及贲门部、退镜胃体、退镜食管。
所述胃镜操作手法，由胃镜动作轨迹，即其胃镜前端三维坐标值序列、旋转角度序列由RNN(循环神经网络)进行评估。所述病理诊断，主要包括为用户根据内镜显示内容自主决策出的文本信息，由LSTM模型算法进行训练和评估准确率。所述病理诊断，包括食管状态描述、血管纹理、齿状线、贲门描述；胃底粘膜、胃体粘膜、胃角及其粘膜、胃窦粘膜，幽门状态描述；十二指肠球部及将部描述。所述多模态融合算法，使用基于决策层的融合算法，由胃镜检查覆盖部位数、关键部位检出率、胃镜检查时间、胃镜操作手法评分，病理诊断准确率进行决策层融合学习。
如图1所示，由用户在消化内镜手术模拟器中拍摄的胃镜记录图像。经由图片识别算法计算得到胃镜检查覆盖率、关键部位检出率、胃镜检查时间；由胃镜记录图像与胃镜动作记录序列，计算得到用户胃镜操作手法评分；由用户对模拟病人的病情信息做出的自主决策文本做病例诊断，计算得到病例诊断准确率。
所述胃镜检查覆盖率、关键部位检出率、胃镜检查时间、胃镜操作手法评分、病例诊断准率，经由基于决策层的多模态融合算法，计算得到用户消化内镜手术模拟器的操作水平评分。
Figure BDA0003252935030000121
其中，
hi(x)表示第i个评估指标，wi表示第i个评估指标的加权融合的权重，S(x)表示最终的操作评分。
所述胃镜检查覆盖率，如图3所示，DCNN图片分类模型对胃镜记录的图像进行分类预测，首先通过图片预测分类得到观察到的部位个数，由观察的部位个数/胃26部位数。得到总体覆盖率，或1减去观察的部位个数/胃26部位数，计算得到胃镜检查丢失率。
所述关键部位检出率，如图5所示，在胃镜检出过程中，由操作者主观识别出胃部关键部位，并对其进行标注。同时，DCNN图片分类模型(即分类识别模型)对所述胃部关键部位进行自动分类，得到其标签。通过所述DCNN分类得到的标签，对用户主观标注的标签准确率进行计算，即得到关键部位检出率。
所述胃镜检查时间，如图2所示，DCNN图片分类算法对胃镜图像进行实时分类预测,识别到第一张食管图片时刻定义为消化内镜入镜时间，由DCNN图片分类模型识别到食管退镜图片为退镜开始图像，记录为退镜开始，在退镜过程中识别到到最后一张食管图像，定义为退镜时间。所述退镜时间和所述出境时间之差即为胃镜检查时间。
本实施例3中，使用但不限于ResNet-50作为基础网络，使用ImageNet数据库的100多万张图像进行预训练，使用迁移学习并删除网络中的分类层。采集胃部检查部位中的食管、胃底、贲门、胃体、胃窦、胃角、十二指肠的胃26部位的图片，并进行标注，制作图片分类第一数据集。并用胃26部位对所述ResNet-50基础网络进行训练，微调所有层参数，构建DCNN图片分类模型。
所述胃镜操作手法评分，如图4所示，胃部关键部位检查动作包括不限于进镜食管、过贲门、进镜胃体及胃窦、过幽门进十二指肠、进镜十二指肠球降部、退胃窦、退镜胃角、退镜胃底及贲门部、退镜胃体、退镜食管。由DCNN图片分类模型识别到所述关键动作时，系统开始记录胃镜动作轨迹，胃镜动作轨迹包括胃镜前端三维坐标值序列，三维旋转角度序列。由所述三维坐标值序列，三维旋转角度序列输入RNN循环神经网络模型，计算得到用户操作手法评分。
胃镜动作轨迹数据定义为一个连续、等时间间隔的点集，表示为：
P＝(p1,p2,...,pn),pi＝(xi,yi,zi,αi,βi,γi)；
其中，(xi,yi,zi)为消化内镜前端三维世界坐标，(αi,βi,γi)为以欧拉角表示的前端旋转角度，但表示方式不限于欧拉角。
采集上述胃部各个关键部位检查动作轨迹序列P，并进行标注打分，制作第二数据集，并经由RNN循环神经网络进行训练。后由RNN模型(评分模型)对用户(操作者)的实时的胃镜动作轨迹序列P进行评估打分。
所述病例诊断准确率，为操作用户根据胃部观察细节，包括不限于对食管状态描述、血管纹理、齿状线、贲门描述；胃底粘膜、胃体粘膜、胃角及其粘膜、胃窦粘膜，幽门状态描述；十二指肠球部及将部描述的自主决策出的文本信息。
本实施例中，构建基于消化内镜胃部影像标注信息和胃镜电子病例文本特征的多模态语料库，制作系统第三数据集。如图6所示，首先对用户决策病例及目标电子病例文本进行中文分词，计算所述用户决策病例及目标病例文本的并集，进一步通过TF-IDF算法计算两者词集的词频，并把词频向量化为稀疏向量，通过向量相似度算法计算所述用户决策病例及目标病例的文本相似度，即为操作用户的病例诊断准确率。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的消化内镜模拟器检查质量评估方法，该方法包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
实施例5
本发明实施例5提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的消化内镜模拟器检查质量评估方法，该方法包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
实施例6
本发明实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的消化内镜模拟器检查质量评估方法的指令，该方法包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
综上所述，本发明实施例所述的消化内镜模拟器检查质量评估方法及系统，对用户经由消化内镜手术模拟器进行操作学习时，进行操作水平智能实时评估，在线显示；融合检查覆盖率、关键部位检出率、检查时间、操作手法、病理诊断等多种指标，能够客观评估用户操作水平，提高了评估效率和准确性；将初学者操作水平进行定量化表示，帮助其了解在消化内镜操作中的欠缺部分，针对性提升操作水平；可以让医师全面准确地了解学员的各项操作水平，并给出合理化的指导。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种消化内镜模拟器操作水平评估方法，其特征在于，包括：
利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
根据最终的操作评分，判定操作水平的高低。
2.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，所述预选训练好的分类识别模型由训练集训练得到；所述训练集包括多张器官图像以及标注器官的各个检查部位和关键部位的标签。
3.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分，包括：
Figure FDA0003252935020000011
其中，
hi(x)表示第i个评估指标，wi表示第i个评估指标的加权融合的权重，S(x)表示最终的操作评分。
4.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，计算检查覆盖率包括：分类识别模型识别到的部位个数与待检测器官的部位总数之比，为总体覆盖率；数值1与总体覆盖率作差，得到检查丢失率。
5.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，计算所述关键部位检出率包括：在检查过程中，由操作者主观识别标注出的器官关键部位个数，与所述分类识别模型识别出的关键部位个数的比值，即为关键部位检出率。
6.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，所述检查时间为，分类识别模型识别到第一张检查部位图片的时刻定义为消化内镜入镜时刻，分类识别模型识别到识别到检查部位的退镜图片为退镜开始图像，记录为退镜开始，在退镜过程中识别到最后一张检查部位图像，定义为退镜时刻；所述退镜时刻和所述入镜时刻之差即为检查时间。
7.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，计算所述操作手法评分，包括：分类识别模型识别到关键部位，则记为消化内镜操作动作，记录消化内镜动作轨迹，动作轨迹包括内镜前端三维坐标值序列和三维旋转角度序列；将所述三维坐标值序列和所述三维旋转角度序列输入训练好的评分模型，计算得到用户操作手法评分。
8.根据权利要求7所述的消化内镜模拟器操作水平评估方法，其特征在于，消化内镜动作轨迹数据定义为一个连续、等时间间隔的点集，表示为：
P＝(p1,p2,...,pn),pi＝(xi,yi,zi,αi,βi,γi)；
其中，(xi,yi,zi)为消化内镜前端三维世界坐标，(αi,βi,γi)为以欧拉角表示的前端旋转角度，但表示方式不限于欧拉角；
采集各个关键部位检查动作轨迹序列P，并进行标注打分，制作第二数据集，并经由RNN循环神经网络进行训练，得到评分模型。
9.根据权利要求1所述的消化内镜模拟器操作水平评估方法，其特征在于，计算诊断准确率包括：构建基于消化内镜影像标注信息和消化内镜电子病例文本特征的多模态语料库；对用户决策病例及目标电子病例文本进行中文分词，计算所述用户决策病例及目标病例文本的并集；通过TF-IDF算法计算用户决策病例及目标病例文本的词集的词频，并把词频向量化为稀疏向量，通过向量相似度算法计算所述用户决策病例及目标病例的文本相似度，即为操作用户的病例诊断准确率。
10.一种消化内镜模拟器操作水平评估系统，其特征在于，包括：
识别模块，用于利用预先训练好的分类识别模型，对消化内镜检查过程中获取的图像进行处理，识别检查部位；
第一计算模块，用于根据识别的检查部位，计算评估指标；其中，所述评估指标包括检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率；
第二计算模块，用于对所述检查覆盖率、关键部位检出率、检查时间、操作手法评分以及病例诊断准确率进行融合加权计算，得到最终的操作评分；
判断模块，用于根据最终的操作评分，判定操作水平的高低。
CN202111051463.7A 2021-09-08 2021-09-08 消化内镜模拟器检查质量评估方法及系统 Pending CN113763360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111051463.7A CN113763360A (zh) 2021-09-08 2021-09-08 消化内镜模拟器检查质量评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111051463.7A CN113763360A (zh) 2021-09-08 2021-09-08 消化内镜模拟器检查质量评估方法及系统

Publications (1)

Publication Number Publication Date
CN113763360A true CN113763360A (zh) 2021-12-07

Family

ID=78793979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111051463.7A Pending CN113763360A (zh) 2021-09-08 2021-09-08 消化内镜模拟器检查质量评估方法及系统

Country Status (1)

Country Link
CN (1) CN113763360A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359273A (zh) * 2022-03-15 2022-04-15 武汉楚精灵医疗科技有限公司 异常消化内镜视频的检测方法及装置
CN117219267A (zh) * 2023-11-09 2023-12-12 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质
WO2024096840A1 (en) * 2022-11-02 2024-05-10 Cem Simsek Method and device for endoscopy evaluation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN110335241A (zh) * 2019-05-09 2019-10-15 河南萱闱堂医疗信息科技有限公司 肠镜检查后对肠道准备自动进行评分的方法
CN113240662A (zh) * 2021-05-31 2021-08-10 萱闱(北京)生物科技有限公司 基于人工智能的内镜检查辅助系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统
CN110335241A (zh) * 2019-05-09 2019-10-15 河南萱闱堂医疗信息科技有限公司 肠镜检查后对肠道准备自动进行评分的方法
CN113240662A (zh) * 2021-05-31 2021-08-10 萱闱(北京)生物科技有限公司 基于人工智能的内镜检查辅助系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359273A (zh) * 2022-03-15 2022-04-15 武汉楚精灵医疗科技有限公司 异常消化内镜视频的检测方法及装置
WO2024096840A1 (en) * 2022-11-02 2024-05-10 Cem Simsek Method and device for endoscopy evaluation
CN117219267A (zh) * 2023-11-09 2023-12-12 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质
CN117219267B (zh) * 2023-11-09 2024-02-06 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN113763360A (zh) 消化内镜模拟器检查质量评估方法及系统
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及系统
JP6656357B2 (ja) 学習方法、画像認識装置およびプログラム
US10482313B2 (en) Method and system for classification of endoscopic images using deep decision networks
CN109102491B (zh) 一种胃镜图像自动采集系统及方法
JP7152513B2 (ja) 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム
Yeh et al. Bleeding and ulcer detection using wireless capsule endoscopy images
Cuendet et al. Facial image analysis for fully automatic prediction of difficult endotracheal intubation
CN111341437B (zh) 基于舌图像的消化道疾病判断辅助系统
WO2024012080A1 (zh) 内镜辅助检查系统、方法、装置及存储介质
Ghosh et al. An automatic bleeding detection scheme in wireless capsule endoscopy based on histogram of an RGB-indexed image
Zhao et al. An intelligent augmented reality training framework for neonatal endotracheal intubation
Ghosh et al. Automatic bleeding detection in wireless capsule endoscopy based on RGB pixel intensity ratio
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Sun et al. A novel gastric ulcer differentiation system using convolutional neural networks
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN115115897A (zh) 多模态预训练的胃部肿瘤分类系统
US20230298306A1 (en) Systems and methods for comparing images of event indicators
Drozdzal et al. Aligning endoluminal scene sequences in wireless capsule endoscopy
Zhou et al. Capsule endoscopy images classification by random forests and ferns
Singh et al. Counterfactual explainable gastrointestinal and colonoscopy image segmentation
CN112907726B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
Deng et al. Automatic endoscopic navigation based on attention-based network for Nasotracheal Intubation
Zhang et al. Real-time instrument scene detection in screening gi endoscopic procedures
Dimas et al. Co-operative cnn for visual saliency prediction on wce images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination