CN113946217B - 一种肠镜操作技能智能辅助评估系统 - Google Patents
一种肠镜操作技能智能辅助评估系统 Download PDFInfo
- Publication number
- CN113946217B CN113946217B CN202111221446.3A CN202111221446A CN113946217B CN 113946217 B CN113946217 B CN 113946217B CN 202111221446 A CN202111221446 A CN 202111221446A CN 113946217 B CN113946217 B CN 113946217B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- learning
- enteroscopy
- enteroscope
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 77
- 230000004424 eye movement Effects 0.000 claims abstract description 165
- 230000013016 learning Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims abstract description 27
- 238000004088 simulation Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims description 59
- 238000003759 clinical diagnosis Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 25
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 20
- 210000001747 pupil Anatomy 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 230000000968 intestinal effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006403 short-term memory Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000000936 intestine Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Instructional Devices (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种肠镜操作技能智能辅助评估系统，属于医工结合领域。所述系统包括：获取模块，用于获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；构建模块，用于根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；鉴别模块，用于建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；评估模块，用于将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果。采用本发明，能够实现操作者肠镜操作技能的智能、精准评估。
Description
技术领域
本发明涉及基于人工智能与深度学习的医工结合领域，特别是指一种肠镜操作技能智能辅助评估系统。
背景技术
近年来，随着虚拟现实技术的迅速发展，肠镜实践教学已逐步摒弃基于一线临床的从认知、模仿，到操作、提高的传统模式，逐步转型为“以患者为本”的具备沉浸式、交互式、多感知等特点的虚拟现实肠镜仿真模拟训练方式。目前，CAE、AccuTouch、BDS等众多品牌的基于虚拟现实技术的内镜仿真模拟训练系统已逐步进入到我国肠镜实践教学领域，有效缓解了我国肠镜培训医师资源短缺、实践教学体系不完善等问题，对于促进我国内镜医师培训体系的规范化和标准化建设起到积极作用。
然而，在当前已有内镜仿真训练系统的操作评估中，大多以内镜插入成功率、病灶发现率、内镜导航与使用策略、维持镜内视野清晰度、总体检查质量、内镜技能总体评分等“结果导向”的总体统计评估为学习者操作技能评价标准，而忽略了“以学习者为中心”的习得状态评价，基于深度学习技术的客观、智能辅助评估方法更是少之又少。总体来说，在基于肠镜仿真训练的内镜医师培训体系流程化建设中，智能、规范、精细的肠镜操作技能评估水平有待进一步提升。
发明内容
本发明实施例提供了肠镜操作技能智能辅助评估系统，能够实现操作者肠镜操作技能的智能、精准评估。所述技术方案如下：
本发明实施例提供了一种肠镜操作技能智能辅助评估系统，包括：
获取模块，用于获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；其中，所述操作者包括：学习者和临床医师；
构建模块，用于根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；
鉴别模块，用于建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；
评估模块，用于将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果。
进一步地，所述获取模块包括：
采集单元，用于建立覆盖时间标签、眼动事件类型、注视点坐标和双眼瞳孔尺寸的测量指标体系，通过眼动追踪系统在内镜仿真模拟训练系统上按照所述测量指标体系采集肠镜操作者的眼动数据；
预处理单元，用于对采集单元采集到的双眼瞳孔尺寸数据进行基于小波变换的低通滤波；还用于依据注视点坐标位置，剔除脱离肠镜有效显示区域的眼动数据。
进一步地，所述获取模块还包括：
分割单元，用于根据内镜仿真模拟训练系统显示器上呈现的肠镜视频信息，将操作者肠镜操作过程中的肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段分别进行自动分割。
进一步地，所述时空眼动特征为操作者肠镜操作过程中肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失三种情况下的时空眼动特征；
所述时空眼动特征包括：基于注视点空间分布的眼动特征和基于时序变化的眼动特征；其中，
所述基于注视点空间分布的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段中的凝视时长和注视点坐标位置；其中，在由注视点坐标与凝视时长数据绘制而成的注视点空间分布图像中，以图像中注视点处绘制的圆点半径表示凝视时长，以圆点中心位置表示注视点在显示器上的X、Y轴坐标位置。
进一步地，所述基于时序变化的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段的时长、眼动事件类型、注视点在显示器上的X轴和Y轴坐标位置以及双眼瞳孔尺寸。
进一步地，所述鉴别模块，包括：
基于元学习的特征学习单元，用于利用肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的注视点空间分布图像，构建眼动特征训练集；构建基于图像变形的元学习网络模型，将眼动特征训练集输入到所构建的元学习网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于注视点空间分布的眼动特征进行分类鉴别；
其中，所述基于图像变形的元学习网络模型包括：变形子网络和嵌入子网络；所述变形子网络，用于合成与真实图像具有相似性的变形图像，以此合成特征样本增强训练集；所述嵌入子网络，用于眼动特征提取与操作技能的分类鉴别。
进一步地，所述鉴别模块，还包括：
基于长短期记忆神经网络的特征学习单元，用于构建长短期记忆神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的长短期记忆神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别。
进一步地，所述鉴别模块，还包括：
基于全卷积神经网络的特征学习单元，用于构建全卷积神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的全卷积神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别。
进一步地，所述评估模块，具体用于构建基于加权平均概率的评估结果投票机制，通过计算基于元学习、长短期记忆神经网络、全卷积神经网络的三种眼动特征学习模型的分类鉴别概率的平均值，获得最终满足临床诊疗水平、不满足临床诊疗水平两种类别的概率，若满足临床诊疗水平的概率大于等于预设的评估阈值，即评估操作者的肠镜操作技能满足肠镜的临床诊疗要求。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，通过获取模块获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；其中，所述操作者包括：学习者和临床医师；构建模块根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；鉴别模块建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；评估模块将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果；这样，通过对操作者的时空眼动特征进行学习，能够实现小样本采集条件下针对操作者肠镜操作技能的智能、精准评估。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的肠镜操作技能智能辅助评估系统的结构示意图；
图2为本发明实施例提供的肠镜操作技能智能辅助评估系统的工作流程示意图；
图3为本发明实施例提供的基于注视点空间分布的眼动特征样本示意图；
图4为本发明实施例提供的基于时序变化的眼动特征样本可视化示意图；其中，(A)为在某片段中左眼的瞳孔尺寸变化序列；(B)为在某片段中右眼的瞳孔尺寸变化序列；(C)为在某片段中注视点在有效显示区域内的转移序列；
图5为本发明实施例提供的元学习网络模型结构示意图；
图6为本发明实施例提供的长短期记忆神经网络模型结构示意图；
图7为本发明实施例提供的全卷积神经网络模型结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种肠镜操作技能智能辅助评估系统，包括：
获取模块11，用于获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；其中，所述操作者包括：学习者和临床医师；
构建模块12，用于根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；
鉴别模块13，用于建立基于元学习(Meta-Learning)、长短期记忆神经网络(LongShort-Term Memory Networks，LSTM)和全卷积神经网络(Fully ConvolutionalNetworks，FCN)的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；
评估模块14，用于将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果。
本发明实施例所述的肠镜操作技能智能辅助评估系统，通过获取模块获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；其中，所述操作者包括：学习者和临床医师；构建模块根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；鉴别模块建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；评估模块将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果；这样，通过对操作者的时空眼动特征进行学习，能够实现小样本采集条件下针对操作者肠镜操作技能的智能、精准评估。
需要说明的是：
小样本在深度学习中并没有像统计学一样严格的定义。一般情况下的深度学习训练样本量是数以万计的。通常情况下，小样本学习是指使用样本数据集较少，通过提升模型泛化能力的方法提升整体的预测精度。通过元学习、长短期记忆神经网络等多种模型集成的解决方案，能够在较少样本量的情况下就可确定良好预测结果的，就可以称之为小样本学习。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述获取模块，包括：
采集单元，用于建立覆盖时间标签、眼动事件类型(凝视/扫视)、注视点坐标和双眼瞳孔尺寸的测量指标体系，通过眼动追踪系统以60Hz的采样频率在内镜仿真模拟训练系统上按照所述测量指标体系采集肠镜操作者的眼动数据，为实现精细化的高水平眼动特征空间构建提供必要的数据基础；
预处理单元，用于对采集单元采集到的双眼瞳孔尺寸数据进行基于小波变换的低通滤波，保留100Hz以下信号；还用于依据注视点坐标位置，剔除脱离肠镜有效显示区域的眼动数据，从而剔除无效的眼动数据，如图2所示。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述获取模块还包括：
分割单元，用于根据内镜仿真模拟训练系统显示器上呈现的肠镜视频信息，将操作者肠镜操作过程中的肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段分别进行自动分割，如图2所示。
本实施例中，所述构建模块，用于根据预处理单元处理后得到的眼动信息，针对学习者和临床医师两类群体，分别构建基于注视点空间分布的眼动特征和基于时序变化的眼动特征；其中，学习者为尚未获得临床执业资格的肠镜操作学习人员，临床医师为已获得临床执业资格认定的一线肠镜医师，分别为肠镜操作技能智能辅助评估系统提供不同技能水平的小样本数据训练集。
本实施例中，所述时空眼动特征为操作者肠镜操作过程中肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失三种情况下的时空眼动特征。
如图3所示，所述基于注视点空间分布的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段中的凝视时长和注视点坐标位置，其中，可以通过招募低年级医学生(即：学习者)及临床医师进行肠镜操作过程中的眼动数据采集，取得学习者基于注视点空间分布的眼动特征共779组，临床医师基于注视点空间分布的眼动特征共51组，用于构建基于注视点空间分布图像的眼动特征数据集(包括：训练集、测试集)；其中，在由注视点坐标与凝视时长数据绘制而成的注视点空间分布图像中，以图像中注视点处绘制的圆点半径表示凝视时长，以圆点中心位置表示注视点在显示器上的X、Y轴坐标位置。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，如图4所示，所述基于时序变化的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段的时长、眼动事件类型、注视点在显示器上的X轴和Y轴坐标位置以及双眼瞳孔尺寸；学习者基于时序变化的眼动特征共779组，临床医师基于时序变化的眼动特征共51组，用于构建基于时序变化的眼动特征数据集。
本实施例中，建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，分别为：元学习网络模型、长短期记忆神经网络模型和全卷积神经网络模型。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述鉴别模块，包括：
基于元学习的特征学习单元，用于利用肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的注视点空间分布图像，构建眼动特征训练集；构建基于图像变形的元学习网络(Image Deformation Meta-Networks，IDeMe-Nets)模型，将眼动特征训练集输入到所构建的元学习网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于注视点空间分布的眼动特征进行分类鉴别，鉴别其肠镜操作技能是否满足临床诊疗水平，即：是否符合临床医师的专业水准；
其中，所述基于图像变形的元学习网络模型包括：变形子网络和嵌入子网络；所述变形子网络，用于合成与真实图像具有相似性的变形图像，以此合成特征样本增强训练集；所述嵌入子网络，用于眼动特征提取与操作技能的分类鉴别。
本实施例中，所述基于元学习的特征学习单元的执行步骤包括：
A1、利用肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失组的注视点空间分布图像，构建眼动特征训练集，其中，注视点空间分布图像一方面表达了在片段中关注的位置，另一方面通过关注点的半径表达了关注该点的时长；
A2、构建变形子网络，将构建的眼动特征训练集输入到所构建的变形子网络中，在保留图像中的关键语义信息的同时，通过图像融合形成变形图像，为肠镜操作技能的分类鉴别提供更为多样的训练样本，提升模型的小样本学习能力；
A3、构建嵌入子网络，用于眼动特征提取与肠镜操作技能的初步分类鉴别，计算其交叉熵损失函数，反馈给变形子网络；
A4、迭代优化，将由变形子网络形成的变形图像与分类鉴别结果进行进一步拟合与判别，反复迭代学习，衡量预测值与真实值之间的差距，直到输出符合损失函数要求的操作技能鉴别结果为止，以此在有效增强小样本图像眼动特征训练集的同时，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，实现肠镜操作技能的有效分类鉴别，为后续肠镜操作技能智能辅助评估提供支撑。
还需要说明的是：
本实施例中，如图5所示，变形子网络首先针对基于注视点空间分布的眼动特征的探针图像和混有噪声眼动特征的图库图像，分别采用基于残差网络的特征提取器A和B进行图像特征处理，并按照全连接层压缩得到的权重进行线性叠加，形成变形图像，而后将变形的眼动特征图像与眼动特征的探针图像一起作为训练集，输入到嵌入自网络中进行特征提取，最后采用基于残差网络的分类器对眼动特征进行分类，鉴别输入的基于注视点空间分布的眼动特征隶属于学习者水平，还是符合临床医师的专业水准。本实施例中，设置变形子网络和嵌入子网络的初始学习率分别为3×10-3、10-1，每30个Epoch减少1/10，Batch Size设置为32，在肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的平均分类鉴别准确率如表1所示：
表1平均分类鉴别准确率
| C-Shot K-way | 1-Shot 2-way | 5-Shot 2-way |
| 分类鉴别准确率 | 95.1％ | 95.4％ |
其中，Epoch为使用训练集中的全部样本训练的次数；Batch Size为批大小，即每次训练在训练集中取Batch Size个样本进行训练；C-Shot K-way表示从数据集中随机抽取K类样本(本实施例中K＝2，具体为学习者和临床医师两类)，每类样本随机抽取C+1个样本，其中C个样本作为训练集，剩余的1个作为测试集。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述鉴别模块，还包括：
基于长短期记忆神经网络的特征学习单元，用于构建长短期记忆神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的长短期记忆神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别，鉴别其肠镜操作技能是否满足临床诊疗水平，即：是否符合临床医师的专业水准。
本实施例中，如图6所示(其中，S(State)为输入特征状态)，所述基于长短期记忆神经网络的特征学习单元的执行步骤包括：
B1、将肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的基于时序变化的眼动特征(简称：时序眼动特征)，作为长短期记忆神经网络模型的训练集；
B2、构建长短期记忆神经网络模型，将训练集输入到该长短期记忆神经网络模型中，学习学习者与临床医师在肠镜操作过程中的眼动特征；
B3、优化网络参数(包括：训练次数、批大小、长短期记忆神经网络层数和隐藏层中节点的数目)，衡量长短期记忆神经网络模型的预测值与真实值之间的差值并再次学习优化，反复迭代，直到输出符合损失函数要求的鉴别结果为止，这样，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，实现精准的肠镜操作技能的有效分类鉴别，为后续肠镜操作技能智能辅助评估提供支撑。
本实施例中，基于长短期记忆神经网络的眼动特征学习算法具体如下：
本实施例中，设置长短期记忆神经网络的学习率为10-3，Epoch为400，Batch Size为128，在肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的实验结果平均值如表2所示：
表2实验结果平均值
| LSTM模型 | 准确率 | 召回率 | F1分数 | 精确度 |
| 实验结果 | 90.02％ | 89.45％ | 89.45％ | 89.45％ |
表2中，准确率用于计算LSTM模型所有判断正确的结果占总判断结果的比重；召回率用于计算LSTM模型预测正确的操作技能满足临床诊疗水平(正例)占所有正例比重；F1分数是准确率和召回率的调和平均值；精确度用于计算LSTM模型预测正确的正例占所有预测为正例的比重。
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述鉴别模块，还包括：
基于全卷积神经网络的特征学习单元，用于构建全卷积神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的全卷积神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别，鉴别其肠镜操作技能是否满足临床诊疗水平，即：是否符合临床医师的专业水准。
本实施例中，如图7所示，所述基于全卷积神经网络的特征学习单元的执行步骤包括：
C1、将肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的基于时序变化的眼动特征(简称：时序眼动特征)，作为全卷积神经网络模型的训练集；
C2、构建全卷积神经网络模型，将训练集输入到该全卷积神经网络模型中，学习学习者与临床医师在肠镜操作过程中的眼动特征；
C3、迭代优化，衡量预测值与真实值之间的差值并再次学习优化，反复迭代，直到输出符合损失函数要求的鉴别结果为止，这样，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，实现精准的肠镜操作技能的有效分类鉴别，为后续肠镜操作技能智能辅助评估提供支撑。
本实施例中，基于全卷积神经网络的眼动特征学习算法具体如下：
本实施例中，设置全卷积神经网络的学习率为10-3，Epoch为1000，在肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的实验结果平均值如表3所示：
表3实验结果平均值
| FCN模型 | 准确率 | 召回率 | F1分数 | 精确度 |
| 实验结果 | 93.77％ | 87.44％ | 87.42％ | 87.41％ |
在前述肠镜操作技能智能辅助评估系统的具体实施方式中，进一步地，所述评估模块，具体用于构建基于加权平均概率的评估结果投票机制，通过计算基于元学习、长短期记忆神经网络、全卷积神经网络的三种眼动特征学习模型的分类鉴别概率的平均值，获得最终满足临床诊疗水平、不满足临床诊疗水平两种类别的概率，若满足临床诊疗水平的概率大于等于预设的评估阈值，即评估操作者的肠镜操作技能满足肠镜的临床诊疗要求。
本实施例中，三种眼动特征学习模型的分类鉴别概率如表4所示：
表4三种眼动特征学习模型的分类鉴别概率
其中，QYML、QYLSTM、QYFCN分别为基于元学习、长短期记忆神经网络、全卷积神经网络的三种眼动特征学习模型计算得到的操作者肠镜操作技能满足临床诊疗水平要求的概率；QNML、QNLSTM、QNFCN分别为基于元学习、长短期记忆神经网络、全卷积神经网络的三种眼动特征学习模型计算得到的操作者肠镜操作技能不满足临床诊疗水平要求的概率。
本实施例中，通过计算种眼动特征学习模型的分类鉴别概率的平均值，获得满足临床诊疗水平、不满足临床诊疗水平两种类别的概率，以评估肠镜操作者的技能水平是否满足临床诊疗要求；其中，
满足临床诊疗水平的概率(QY)为：
不满足临床诊疗水平的概率(QN)为：
当智能辅助评估系统判定某操作者单次完整肠镜操作过程满足临床诊疗水平的概率(QY)大于等于预设的评估阈值(例如，95％)时，即评估其肠镜操作技能满足肠镜的临床诊疗要求。
综上，本发明实施例以采集到的肠镜操作过程中的小样本眼动数据为基础，其中，所涉及的小样本眼动数据来源于眼动追踪系统所采集的操作者在内镜仿真模拟训练系统上进行肠镜操作的眼动数据；小样本眼动数据经预处理后，构建操作者肠镜操作过程中肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失三种情况下的时空眼动特征；而后，以注视点空间分布图像为眼动特征训练集，建立基于图像变形的元学习网络模型，从空间特征维度实现针对操作者肠镜操作技能的鉴别；以时序变化的眼动特征为训练集，分别建立长短期记忆神经网络模型和全卷积神经网络模型，从时序特征维度实现针对操作者肠镜操作技能的鉴别；进而，以上述三种眼动特征学习模型的分类鉴别结果为基础，建立基于软投票机制的肠镜操作技能评估模块，通过集成评价的方式，实现小样本采集条件下针对操作者肠镜操作技能的智能、精准评估。
本发明实施例所述的肠镜操作技能智能辅助评估系统，能够在小样本眼动特征学习的基础上，实现肠镜操作者技能水平的自动鉴别与智能评估，对于促进我国肠镜医师培训体系的规范化、标准化建设具有积极意义，为内镜相关领域的智能化执业技能评估与指导系统建设提供有效的技术支持，同时也为基于虚拟现实技术的肠镜仿真训练中“以学习者为中心”的智能、规范、精细化操作技能评估提供了必要的技术支撑，以解决基于虚拟现实技术的肠镜仿真训练中“以学习者为中心”的智能、规范、精细化操作技能评估问题。
本发明实施例所述的肠镜操作技能智能辅助评估系统，隶属于人体行为学、医学与信息科学交叉领域，可广泛应用于内镜仿真模拟训练、临床诊疗等相关方面，以量化、标准化、面向操作全流程的精准的智能辅助评估系统构建助力我国医学工程理论与技术的日益发展，对于我国内镜执业技能评估、精准化内镜临床诊疗的新方法、新理论、新技术发展具有积极的促进作用。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种肠镜操作技能智能辅助评估系统，其特征在于，包括：
获取模块，用于获取操作者在内镜仿真模拟训练系统上进行肠镜操作的小样本眼动数据；其中，所述操作者包括：学习者和临床医师；
构建模块，用于根据获取到的眼动数据，提取肠镜操作过程中学习者和临床医师两类群体的时空眼动特征；
鉴别模块，用于建立基于元学习、长短期记忆神经网络和全卷积神经网络的三种眼动特征学习模型，利用构建的时空眼动特征对构建的三种眼动特征学习模型进行训练，实现操作者肠镜操作技能的分类鉴别；
评估模块，用于将三种眼动特征学习模型所得到的技能鉴别结果进行集成评价得到最终的肠镜操作技能评估结果；
其中，所述时空眼动特征为操作者肠镜操作过程中肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失三种情况下的时空眼动特征；
所述时空眼动特征包括：基于注视点空间分布的眼动特征和基于时序变化的眼动特征；其中，
所述基于注视点空间分布的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段中的凝视时长和注视点坐标位置；其中，在由注视点坐标与凝视时长数据绘制而成的注视点空间分布图像中，以图像中注视点处绘制的圆点半径表示凝视时长，以圆点中心位置表示注视点在显示器上的X、Y轴坐标位置；
所述基于时序变化的眼动特征包括：肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段的时长、眼动事件类型、注视点在显示器上的X轴和Y轴坐标位置以及双眼瞳孔尺寸；
所述评估模块，具体用于构建基于加权平均概率的评估结果投票机制，通过计算基于元学习、长短期记忆神经网络、全卷积神经网络的三种眼动特征学习模型的分类鉴别概率的平均值，获得最终满足临床诊疗水平、不满足临床诊疗水平两种类别的概率，若满足临床诊疗水平的概率大于等于预设的评估阈值，即评估操作者的肠镜操作技能满足肠镜的临床诊疗要求。
2.根据权利要求1所述的肠镜操作技能智能辅助评估系统，其特征在于，所述获取模块包括：
采集单元，用于建立覆盖时间标签、眼动事件类型、注视点坐标和双眼瞳孔尺寸的测量指标体系，通过眼动追踪系统在内镜仿真模拟训练系统上按照所述测量指标体系采集肠镜操作者的眼动数据；
预处理单元，用于对采集单元采集到的双眼瞳孔尺寸数据进行基于小波变换的低通滤波；还用于依据注视点坐标位置，剔除脱离肠镜有效显示区域的眼动数据。
3.根据权利要求2所述的肠镜操作技能智能辅助评估系统，其特征在于，所述获取模块还包括：
分割单元，用于根据内镜仿真模拟训练系统显示器上呈现的肠镜视频信息，将操作者肠镜操作过程中的肠孔在视野中央、肠孔在视野边缘与肠孔在视野中丢失的片段分别进行自动分割。
4.根据权利要求1所述的肠镜操作技能智能辅助评估系统，其特征在于，所述鉴别模块，包括：
基于元学习的特征学习单元，用于利用肠孔在视野中央组、肠孔在视野边缘组和肠孔在视野中丢失三种情况下的注视点空间分布图像，构建眼动特征训练集；构建基于图像变形的元学习网络模型，将眼动特征训练集输入到所构建的元学习网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于注视点空间分布的眼动特征进行分类鉴别；
其中，所述基于图像变形的元学习网络模型包括：变形子网络和嵌入子网络；所述变形子网络，用于合成与真实图像具有相似性的变形图像，以此合成特征样本增强训练集；所述嵌入子网络，用于眼动特征提取与操作技能的分类鉴别。
5.根据权利要求1所述的肠镜操作技能智能辅助评估系统，其特征在于，所述鉴别模块，还包括：
基于长短期记忆神经网络的特征学习单元，用于构建长短期记忆神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的长短期记忆神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别。
6.根据权利要求1所述的肠镜操作技能智能辅助评估系统，其特征在于，所述鉴别模块，还包括：
基于全卷积神经网络的特征学习单元，用于构建全卷积神经网络模型，将基于时序变化的眼动特征训练集输入到所构建的全卷积神经网络模型中，通过学习学习者与临床医师在肠镜操作过程中的眼动特征，对操作者基于时序变化的眼动特征进行分类鉴别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221446.3A CN113946217B (zh) | 2021-10-20 | 2021-10-20 | 一种肠镜操作技能智能辅助评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111221446.3A CN113946217B (zh) | 2021-10-20 | 2021-10-20 | 一种肠镜操作技能智能辅助评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113946217A CN113946217A (zh) | 2022-01-18 |
| CN113946217B true CN113946217B (zh) | 2022-04-22 |
Family
ID=79331734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111221446.3A Active CN113946217B (zh) | 2021-10-20 | 2021-10-20 | 一种肠镜操作技能智能辅助评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946217B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373695B (zh) * | 2023-10-12 | 2024-05-17 | 北京透彻未来科技有限公司 | 基于极深卷积神经网络的泛癌病理诊断系统 |
| CN117690331B (zh) * | 2024-02-04 | 2024-05-14 | 西南医科大学附属医院 | 一种前列腺穿刺手术训练系统及方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
| US20180322798A1 (en) * | 2017-05-03 | 2018-11-08 | Florida Atlantic University Board Of Trustees | Systems and methods for real time assessment of levels of learning and adaptive instruction delivery |
| JPWO2021019360A1 (zh) * | 2019-07-31 | 2021-02-04 | ||
| CN112890815A (zh) * | 2019-12-04 | 2021-06-04 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的孤独症辅助评估系统和方法 |
| CN111714080B (zh) * | 2020-06-30 | 2021-03-23 | 重庆大学 | 一种基于眼动信息的疾病分类系统 |
| CN111933275B (zh) * | 2020-07-17 | 2023-07-28 | 兰州大学 | 一种基于眼动与面部表情的抑郁评估系统 |
| CN113065595A (zh) * | 2021-04-01 | 2021-07-02 | 桂林理工大学 | 一种用于在线视频学习的基于眼动信号的情感识别方法 |
| CN113419624B (zh) * | 2021-05-27 | 2022-05-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于头部时序信号校正的眼动交互方法及装置 |
-
2021
- 2021-10-20 CN CN202111221446.3A patent/CN113946217B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113946217A (zh) | 2022-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190540B (zh) | 活检区域预测方法、图像识别方法、装置和存储介质 | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| CN109272048B (zh) | 一种基于深度卷积神经网络的模式识别方法 | |
| CN113946217B (zh) | 一种肠镜操作技能智能辅助评估系统 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| EP3748649A1 (en) | Method for evaluating multi-modal emotional understanding capability of patient with autism spectrum disorder | |
| CN109102491A (zh) | 一种胃镜图像自动采集系统及方法 | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN110390665B (zh) | 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法 | |
| CN109920538B (zh) | 一种基于数据增强的零样本学习方法 | |
| CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
| CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| Wang et al. | Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN117322865B (zh) | 基于深度学习的颞下颌关节盘移位mri检查诊断系统 | |
| CN115862837A (zh) | 一种基于类型推理与语义约束的医学视觉问答方法 | |
| CN110598724B (zh) | 一种基于卷积神经网络的细胞低分辨率图像融合方法 | |
| CN112842363A (zh) | 一种睡眠脑电检测方法及系统 | |
| CN116993699A (zh) | 一种眼动辅助训练下的医学图像分割方法及系统 | |
| CN115423790A (zh) | 一种基于视觉文本融合的前房角图像分级方法 | |
| CN113255718B (zh) | 一种基于深度学习级联网络方法的宫颈细胞辅助诊断方法 | |
| CN113222989A (zh) | 一种图像分级方法、装置、存储介质及电子设备 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析系统、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220118 Assignee: Beijing tangrenxiang Technology Co.,Ltd. Assignor: University OF SCIENCE AND TECHNOLOGY BEIJING Contract record no.: X2023980034564 Denomination of invention: An intelligent assisted evaluation system for colonoscopy operation skills Granted publication date: 20220422 License type: Common License Record date: 20230410 |
|
| EE01 | Entry into force of recordation of patent licensing contract |