CN115205769A - 眼科手术技能评价方法、系统及存储介质 - Google Patents
眼科手术技能评价方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115205769A CN115205769A CN202211125913.7A CN202211125913A CN115205769A CN 115205769 A CN115205769 A CN 115205769A CN 202211125913 A CN202211125913 A CN 202211125913A CN 115205769 A CN115205769 A CN 115205769A
- Authority
- CN
- China
- Prior art keywords
- surgical
- video
- surgical instrument
- ophthalmic
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 7
- 238000001356 surgical procedure Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000003709 image segmentation Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 241000634708 Modelia Species 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 208000002177 Cataract Diseases 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004945 emulsification Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 206010063942 Vitreous loss Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种眼科手术技能评价方法、系统及存储介质，其中方法包括：识别眼科手术视频片段的手术阶段；对视频片段进行图像分割，得到手术器械的掩膜区域；根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；对各手术阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。本申请通过对手术器械进行掩膜补齐，从而获得完整的手术器械位置，基于其轨迹特征进行眼科手术技能自动评价，在眼科手术尤其是白内障超声乳化手术培训中具有指导作用，提高了评价的准确性及判断效率。
Description
技术领域
本申请涉及一种眼科手术技能评价方法、系统及存储介质，属于医疗图像处理领域。
背景技术
白内障超声乳化手术以其切口小、恢复快、耗时短、安全稳定、疗效确定等优点，现已成为白内障治疗的主流方式。但其学习曲线较长，手术操作要求精细，经验不足的医生往往会导致较高的手术并发症发生率，如后囊膜破裂在初学者中的发生率高达5%，而在技能熟练的手术医生中发生率<1.5%。此外，一项连续4年对680名超声乳化手术受训者的研究发现，新手医生在完成80例手术后玻璃体丢失率从5.1%迅速下降至1.9%。以上研究表明，绝大部分手术并发症是可以避免的。而如何全面提升新手医生的手术技能，减免手术并发症发生率成为了当下临床关注的焦点。通过一项10年的回顾性分析发现，在培训初期执行一套行之有效的手术技能评价方法，能够明显降低医生手术并发症发生率。
目前，国内外白内障超声乳化手术技能评价方式仍停滞在量表评价模式，如OSATS(Objective Structured Assessment of Technical-Skill)、OASIS(the ObjectiveAssessment of Skills in Intraocular Surgery)、GRASIS (Global Rating Assessmentof Skills in Intraocular Surgery)、国际眼科协会的眼科手术能力评估标准（ICO-OSCAR）等。以上方法是通过评估者参考量表，对医生在手术过程中的表现打分，从而判断其技能水平。而上述手术技能评价工作耗时长、主观差异性大、专家医生依赖性强，不利于该手术技能培训的大范围开展，培训效率较为局限。
发明内容
根据本申请的一个方面，提供了一种可高效精准对眼科手术技能进行自动评价的方法，该方法包括：
识别眼科手术视频片段的手术阶段；
对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；
根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；
对各手术阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；
对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。
进一步地，所述识别眼科手术视频片段的手术阶段包括：
以眼科手术视频片段中的手术器械与眼部区域为目标特征，根据时序信息，对手术阶段进行分类。
优选地，所述识别眼科手术视频片段的手术阶段具体包括：
通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；
通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
基于融合的高阶特征，训练时序卷积网络，利用所述时序卷积网络对手术阶段进行识别。
进一步地，所述识别眼科手术视频片段的手术阶段还包括：按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
进一步地，所述对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域还包括：
当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息。
优选地，所述图像分割采用基于马尔可夫随机场的视频分割网络；
优选地，所述基于马尔可夫随机场的视频分割网络为：
对于所述视频片段中第i个体素v=[i,
]，i表示视频帧，
表示视频帧i在视频序
列中的序列位置；其标签为u，∀u 
L={1,2,…, l}，L为标记场，l表示标签类别数；
每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个
节点，将其用二进制潜变量表示为
；
所述基于马尔可夫随机场的分割网络模型如下公式所示：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素间的
关系集合，
表示视频帧i中像素与标签间的代价函数，
表示成对视频帧与
标签之间的代价函数。选择代价函数尽可能小的做比对。
进一步地，所述刚性补齐包括：
对分割后的连续帧间手术器械的掩膜进行配准，将前后帧掩膜信息作为先验知识，补齐因手术器械被遮挡导致分割后产生的不完整掩膜。
优选地，所述刚性补齐具体包括：
以不完整的手术器械的掩膜作为待配准图像，将其前后帧掩膜图像作为源图像，以其坐标系作为参考坐标系。由于手术器械前端和后端连接处不可能被遮挡，因此将这两处作为关键控制点，以关键控制点间的均方差为损失函数，实现待配准图像与源图像间的空间对齐，并根据源图像的区域信息，补齐不完整掩膜的区域信息。
进一步地，所述根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹包括：
假设掩膜区域像素坐标为（x,y），则在t时间后运动至（x+Δx, y+Δy），期间像素位移可表示为I（x, y, t）= I(x+Δx, y+Δy, t+Δt)，通过关注连续帧之间的手术器械运动矢量（Δx,Δy）即可获取手术器械的运动轨迹。
根据本申请的又一个方面，提供了一种眼科手术技能评价系统，该系统包括：
数据模块，用于识别眼科手术视频片段的手术阶段；
处理模块，用于对眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；
评价模块，对各手术各阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。
优选地，所述数据模块包括：
第一处理单元，用于通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
第一训练单元，用于基于融合的高阶特征，训练时序卷积网络；
数据单元，用于利用所述时序卷积网络对手术阶段进行识别，按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
进一步地，所述处理模块包括：
视频分割单元，用于利用分割算法，对所述视频片段进行图像分割，得到手术器械的掩膜区域；
掩膜补齐单元，用于当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息；
光流计算单元，用于根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹。
优选地，所述视频分割单元采用基于马尔可夫随机场的视频分割网络进行视频分割。
优选地，所述基于马尔可夫随机场的视频分割网络包括：
对于所述视频片段中第i个体素v=[i,
]，i表示视频帧，
表示视频帧i在视频序
列中的序列位置；其标签为u，∀u 
L={1,2,…, l}，L为标记场，l表示标签类别数；
每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个
节点，将其用二进制潜变量表示为
；
所述基于马尔可夫随机场的分割网络模型如下公式所示：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素间的
关系集合，
表示视频帧i中像素与标签间的代价函数，
表示成对视频帧与
标签之间的代价函数。
根据本申请的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序执行时可实现上述眼科手术技能评价方法中的部分或全部步骤。
本申请能产生的有益效果包括：
1）本申请通过分割视频中的手术器械，获取其整体运动轨迹，继而基于轨迹特征进行眼科手术技能评价，尤其是首次用于白内障手术培训的技能评价中。
2）本申请通过对手术器械进行掩膜配准、补齐，从而获得完整的手术器械位置信息，以能够在此基础上实现手术技能的自动评价。
3）本申请通过一致性验证实验，对自动评价结果进行反馈，提高了眼科手术技能评价的准确性。
附图说明
图1为本申请一种实施方式中眼科手术技能评价方法流程示意图；
图2为本申请一种实施方式中视频片段中连续两帧图像；
图3为本申请一种实施方式中连续两帧图像中手术器械的掩膜区域；
图4为本申请一种实施方式中连续两帧图像中手术器械的掩膜区域间的光流场。
具体实施方式
下面结合实施例详述本申请，但本申请并不局限于这些实施例。
请参见图1，其示出了本申请一种实施方式中眼科手术技能评价方法流程示意图，该方法包括：
（1）识别眼科手术视频片段的手术阶段。
以眼科手术视频片段中的手术器械与眼部区域为目标特征，根据视频片段的时序信息，实现手术阶段的精准分类。具体流程如下：
（11）通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；
（12）通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
（13）基于融合的高阶特征，训练时序卷积网络，利用所述时序卷积网络对手术阶段进行识别。
（14）按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
本申请对于手术阶段的识别效果与Ground Truth结果具有较高的一致性。
（2）对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域。
（21）使用分割算法对所述眼科手术视频片段中的手术器械进行分割。
在本实施例中，所述分割算法采用基于马尔可夫随机场的视频分割网络，从所述视频片段中分割出手术器械。
随机场的无向图中每一个节点用二进制潜变量表示为
，且每个节点
代表视频的一个体素v=[i,
]，i表示视频帧，
表示视频帧在视频序列中对应的序列位置。
每个体素的标签为u，∀u 
L={1,2,…, l}，L为标记场，l表示标签类别数。通过约束单帧图
片中像素与标签的对应关系和连续两帧中标签与体素的对应关系，从而实现分割模型训练
的目的。
相应的马尔可夫随机场表示为：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合，ε表示体素间的
关系集合。
表示单帧视频i中标签与像素间的代价函数，
表示成对视频帧
与标签之间的代价函数。
（22）由于术中不可避免会出现手术器械被眼部组织或手术试剂遮挡等情况，无法准确完整地分割出手术器械，进而无法直接根据手术器械的分割结果准确获取光流场信息，导致运动轨迹获取不准确。
图2、3分别示出了视频片段中连续两帧图像及图像中手术器械的掩膜区域。当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，将前后帧掩膜信息作为先验知识，补齐因手术器械被遮挡导致分割后产生的不完整掩膜，得到完整的手术器械的掩膜区域信息，具体包括：
以不完整的手术器械的掩膜作为待配准图像，将其前后帧掩膜图像作为源图像，以其坐标系作为参考坐标系，以手术器械前端和后端连接处作为关键控制点，以关键控制点间的均方差为损失函数，实现待配准图像与源图像间的空间对齐，并根据源图像的区域信息，补齐不完整掩膜的区域信息。
（3）根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹。
假设掩膜区域像素坐标为（x,y），则在t时间后运动至（x+Δx, y+Δy），期间像素位移可表示为I（x, y, t）= I(x+Δx, y+Δy, t+Δt)，通过关注连续帧之间的手术器械运动矢量（Δx,Δy）即可获取手术器械的运动轨迹，如图4所示。
（4）对各手术阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型。
结合ICO-OSCAR标准要求，由专家医生分别就切口、撕囊、水分离、劈核、超声乳化核处理、皮质清除、人工晶体植入、清除粘弹剂、切口关闭等手术阶段制作评价标签。所述评价标签包括但不限于本实施例采用的四分类标签，即：新手、初学者、进阶者、胜任者。将各手术阶段提取的所述手术器械的运动轨迹的特征信息作为输入，训练分类模型。
（5）对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。
抽取一组视频，同时邀请三位专家医生观看手术视频录像，并对录像进行四分类评估，将评估结果与分类模型分类结果做ICC数据一致性验证，评估方法的可靠性。
本申请提供了一种眼科手术技能评价系统，包括：
数据模块，用于识别眼科手术视频片段的手术阶段；
处理模块，用于对眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；
评价模块，对各手术各阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。
在一种实施方式中，所述数据模块包括：
第一处理单元，用于通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
第一训练单元，用于基于融合的高阶特征，训练时序卷积网络；
数据单元，用于利用所述时序卷积网络对手术阶段进行识别，按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
在一种实施方式中，所述处理模块包括：
视频分割单元，用于利用分割算法，对所述视频片段进行图像分割，得到手术器械的掩膜区域；
掩膜补齐单元，用于当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息；
光流计算单元，用于根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹。
在一种实施方式中，所述视频分割单元采用基于马尔可夫随机场的视频分割网络进行视频分割。
在一种实施方式中，所述基于马尔可夫随机场的视频分割网络包括：
对于所述视频片段中第i个体素v=[i,
]，i表示视频帧，
表示视频帧i在视频序
列中的序列位置；其标签为u，∀u 
L={1,2,…, l}，L为标记场，l表示标签类别数；
每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个
节点，将其用二进制潜变量表示为
；
所述基于马尔可夫随机场的分割网络模型如下公式所示：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素i,j间
的关系集合，
表示视频帧i中像素与标签间的代价函数，
表示成对视频帧i,j中体素与标签之间的代价函数。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序执行时可实现上述眼科手术技能评价方法中的部分或全部步骤。
以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (10)
1.一种眼科手术技能评价方法，其特征在于，该方法包括：
识别眼科手术视频片段的手术阶段；
对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；
根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；
对各手术阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；
对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。
2.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述识别眼科手术视频片段的手术阶段包括：
以眼科手术视频片段中的手术器械与眼部区域为目标特征，根据时序信息，对手术阶段进行分类；
所述识别眼科手术视频片段的手术阶段具体包括：
通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；
通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
基于融合的高阶特征，训练时序卷积网络，利用所述时序卷积网络对手术阶段进行识别；
所述识别眼科手术视频片段的手术阶段还包括：按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
3.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域还包括：
当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息。
4.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述图像分割采用基于马尔可夫随机场的视频分割网络；
所述基于马尔可夫随机场的视频分割网络为：
对于所述视频片段中第i个体素
，i表示视频帧，
表示视频帧i在视频序列中
的序列位置；其标签为u，
L={1,2,…, l}，L为标记场，l表示标签类别数；
每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个节
点，将其用二进制潜变量表示为
；
所述基于马尔可夫随机场的分割网络模型如下公式所示：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素间的关系
集合，
表示视频帧i中像素与标签间的代价函数，
表示成对视频帧与标签
之间的代价函数。
5.根据权利要求3所述的眼科手术技能评价方法，其特征在于，所述刚性补齐包括：
对分割后的连续帧间手术器械的掩膜进行配准，将前后帧掩膜信息作为先验知识，补齐因手术器械被遮挡导致分割后产生的不完整掩膜；
所述刚性补齐具体包括：
以不完整的手术器械的掩膜作为待配准图像，将其前后帧掩膜图像作为源图像，以其坐标系作为参考坐标系，以手术器械前端和后端连接处作为关键控制点，以关键控制点间的均方差为损失函数，实现待配准图像与源图像间的空间对齐，并根据源图像的区域信息，补齐不完整掩膜的区域信息。
6.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹包括：
假设掩膜区域像素坐标为（x,y），则在t时间后运动至（x+Δx, y+Δy），期间像素位移可表示为I（x, y, t）= I(x+Δx, y+Δy, t+Δt)，通过关注连续帧之间的手术器械运动矢量（Δx,Δy）即可获取手术器械的运动轨迹。
7.一种眼科手术技能评价系统，其特征在于，该系统包括：
数据模块，用于识别眼科手术视频片段的手术阶段；
处理模块，用于对眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；
评价模块，对各手术各阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证；
所述数据模块包括：
第一处理单元，用于通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；
第一训练单元，用于基于融合的高阶特征，训练时序卷积网络；
数据单元，用于利用所述时序卷积网络对手术阶段进行识别，按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。
8.根据权利要求7所述的眼科手术技能评价系统，其特征在于，所述处理模块包括：
视频分割单元，用于利用分割算法，对所述视频片段进行图像分割，得到手术器械的掩膜区域；
掩膜补齐单元，用于当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息；
光流计算单元，用于根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹。
9.根据权利要求8所述的眼科手术技能评价系统，其特征在于，所述视频分割单元采用基于马尔可夫随机场的视频分割网络进行视频分割；
所述基于马尔可夫随机场的视频分割网络为：
对于所述视频片段中第i个体素v=[i,
]，i表示视频帧，
表示视频帧i在视频序列中
的序列位置；其标签为u，∀u 
L={1,2,…, l}，L为标记场，l表示标签类别数；
每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个节
点，将其用二进制潜变量表示为
；
所述基于马尔可夫随机场的分割网络模型如下公式所示：
E(y) =
其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素间的关系
集合，
表示视频帧i中像素与标签间的代价函数，
表示成对视频帧与标签
之间的代价函数。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序执行时实现如权利要求1至6任一项所述的眼科手术技能评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211125913.7A CN115205769A (zh) | 2022-09-16 | 2022-09-16 | 眼科手术技能评价方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211125913.7A CN115205769A (zh) | 2022-09-16 | 2022-09-16 | 眼科手术技能评价方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205769A true CN115205769A (zh) | 2022-10-18 |
Family
ID=83573492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211125913.7A Pending CN115205769A (zh) | 2022-09-16 | 2022-09-16 | 眼科手术技能评价方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205769A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538522A (zh) * | 2021-08-12 | 2021-10-22 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
| CN113662664A (zh) * | 2021-09-29 | 2021-11-19 | 哈尔滨工业大学 | 一种基于仪器追踪的外科手术质量客观自动化评估方法 |
| CN113870274A (zh) * | 2020-06-30 | 2021-12-31 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN114782855A (zh) * | 2022-03-10 | 2022-07-22 | 宁波慈溪生物医学工程研究所 | 一种基于深度学习的白内障手术评价方法、系统及介质 |
-
2022
- 2022-09-16 CN CN202211125913.7A patent/CN115205769A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870274A (zh) * | 2020-06-30 | 2021-12-31 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN113538522A (zh) * | 2021-08-12 | 2021-10-22 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
| CN113662664A (zh) * | 2021-09-29 | 2021-11-19 | 哈尔滨工业大学 | 一种基于仪器追踪的外科手术质量客观自动化评估方法 |
| CN114782855A (zh) * | 2022-03-10 | 2022-07-22 | 宁波慈溪生物医学工程研究所 | 一种基于深度学习的白内障手术评价方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘占文: "《基于视觉显著性的图像分割》", 31 March 2019 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Al Hajj et al. | CATARACTS: Challenge on automatic tool annotation for cataRACT surgery | |
| CN109493317A (zh) | 基于级联卷积神经网络的3d多椎骨分割方法 | |
| US20150297313A1 (en) | Markerless tracking of robotic surgical tools | |
| CN104850865B (zh) | 一种多特征迁移学习的实时压缩跟踪方法 | |
| CN107209933A (zh) | 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 | |
| CN111616800B (zh) | 眼科手术导航系统 | |
| CN110428421A (zh) | 黄斑图像区域分割方法和设备 | |
| CN112614571B (zh) | 神经网络模型的训练方法、装置、图像分类方法和介质 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN109961848A (zh) | 黄斑图像分类方法和设备 | |
| CN109658385A (zh) | 眼底图像判断方法及设备 | |
| CN111563910B (zh) | 眼底图像分割方法及设备 | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| Ghamsarian et al. | Relevance detection in cataract surgery videos by spatio-temporal action localization | |
| Galdran et al. | Retinal image quality assessment by mean-subtracted contrast-normalized coefficients | |
| Lyu et al. | Deep tessellated retinal image detection using Convolutional Neural Networks | |
| Wang et al. | Intelligent cataract surgery supervision and evaluation via deep learning | |
| Fox et al. | Pixel-based tool segmentation in cataract surgery videos with mask r-cnn | |
| CN111028230A (zh) | 一种基于yolo-v3的眼底图像视盘及黄斑定位检测算法 | |
| CN117524441A (zh) | 一种手术质量的检测方法、装置 | |
| CN106446805A (zh) | 一种眼底照中视杯的分割方法及系统 | |
| CN115205769A (zh) | 眼科手术技能评价方法、系统及存储介质 | |
| CN110728660B (zh) | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 | |
| CN109886780B (zh) | 基于眼球跟踪的商品目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221018 |