CN110211152A - 一种基于机器视觉的内窥镜器械跟踪方法 - Google Patents

一种基于机器视觉的内窥镜器械跟踪方法 Download PDF

Info

Publication number
CN110211152A
CN110211152A CN201910396273.5A CN201910396273A CN110211152A CN 110211152 A CN110211152 A CN 110211152A CN 201910396273 A CN201910396273 A CN 201910396273A CN 110211152 A CN110211152 A CN 110211152A
Authority
CN
China
Prior art keywords
endoscopic instrument
machine vision
frame image
detected
tracking based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910396273.5A
Other languages
English (en)
Inventor
孙志刚
刘奇奇
庞东钢
肖力
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910396273.5A priority Critical patent/CN110211152A/zh
Publication of CN110211152A publication Critical patent/CN110211152A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的内窥镜器械跟踪方法，包括：在包含内窥镜器械的图像中对内窥镜器械的类别、位置和大小进行标记，得到训练集；将所述训练集输入到搭建好的YOLOv2网络结构中进行迭代训练，得到用于检测内窥镜器械位置和大小的内窥镜器械检测模型；将经过分组的第一帧图像输入到训练好的内窥镜器械检测模型中进行检测；基于检测得到的内窥镜器械位置，使用KCF算法对分组中后续帧图像进行目标跟踪；对剩余未检测视频重复前述过程直至待测视频结束；本发明首先使用基于YOLOv2的内窥镜检测模型对分组中的第一帧图像进行检测，保证了内窥镜器械跟踪的准确性和鲁棒性要求，然后采用KCF算法对目标进行跟踪，保证了内窥镜器械跟踪的实时性要求。

Description

一种基于机器视觉的内窥镜器械跟踪方法
技术领域
本发明属于图像处理与模式识别领域，更具体地，涉及一种基于机器视觉的内窥镜器械跟踪方法。
背景技术
传统的微创手术需要在患者体内插入内窥镜以及各种手术器械，内窥镜需要一名医生单独操控，医生通过观看内窥镜传输的图像来进行手术，内窥镜图像会受到医生疲劳、情绪变化等人为因素的影响，从而间接影响手术质量。计算机辅助的微创手术可以使用机械臂代替人工操控内窥镜，可以很好避免上述问题，内窥镜器械跟踪算法是计算机辅助微创手术系统的核心算法之一，也是医疗手术机器人的核心算法之一，对于微创手术具有指导意义。
内窥镜器械跟踪算法通过对内窥镜传输的视频图像进行分析，提取图像中内窥镜器械尖端的位置，从而对手术机器人提供精确实时导航，使手术过程更顺利安全。内窥镜器械跟踪算法主要分为基于传统特征提取算法和基于深度学习的算法；基于传统特征提取的检测算法，通过提取手术工具尖端的特征从而检测手术工具尖端的位置，常见的特征包括颜色、梯度、纹理以及形状等特征，该类算法相对简单，但是鲁棒性和准确性相对较低；随着深度学习算法越来越成熟，深度学习也成为目前内窥镜器械跟踪算法的主流研究方向。基于深度学习的检测算法，主要通过训练标记好的内窥镜器械图像，获取目标检测模型，利用训练好的内窥镜器械检测模型完成内窥镜器械检测，基于深度学习的内窥镜器械跟踪算法，鲁棒性和跟踪准确性相对较好，但是该算法的实时性受到硬件条件的限制，往往达不到要求。
总体而言，基于普通特征提取的内窥镜器械跟踪算法对于内窥镜器械跟踪的准确性和鲁棒性较差，而基于深度学习的内窥镜器械跟踪算法对于内窥镜器械跟踪的实时性依赖于计算机硬件的配置，往往很难达到要求，同时该类算法需要充足的数据集，不容易实现。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于机器视觉的内窥镜器械跟踪方法，旨在解决当前的内窥镜器械跟踪算法无法同时满足准确性、实时性和鲁棒性要求的问题。
为实现上述目的，本发明提供了一种基于机器视觉的内窥镜器械跟踪方法，包括：
(1)在包含内窥镜器械的图像中对内窥镜器械的类别、位置和大小进行标记，得到训练集；
(2)将所述训练集输入到搭建好的YOLOv2网络结构中进行迭代训练，得到用于检测内窥镜器械位置和大小的内窥镜器械检测模型；
(3)从待检测视频中获取第一帧图像；
(4)将获取到的帧图像输入到训练好的内窥镜器械检测模型中进行检测；
(5)判断是否检测到内窥镜器械，若是，则进入步骤(6)，若否，则获取待检测视频的下一帧图像，并返回步骤(4)；
(6)基于检测得到的内窥镜器械位置，使用KCF算法对后续n-1帧图像进行目标跟踪；
(7)对剩余未检测视频循环执行步骤(3)至(6)直至待测视频结束；
其中，n为预设的分组参数。
进一步地，所述内窥镜器械的类别包括：直角分离钳、马里兰分离钳、夹持钳、防损伤抓钳、电钩、穿刺头和弯剪。
进一步地，所述预设的分组参数根据实时性速度要求、YOLOv2平均检测速度和KCF平均跟踪速度计算得到。
进一步地，为满足实时性速度要求，所述预设的分组参数具体由1000n/(t1+nt2)＝m计算得到；其中，n为预设的分组参数，m为实时性速度要求，t1为YOLOv2平均检测速度，t2为KCF平均跟踪速度。
进一步地，步骤(6)所述利用KCF算法对后续n-1帧图像进行目标跟踪，具体包括：
(6.1)使用尺度池确定不同大小的尺度框；
(6.2)对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图；
(6.3)比较所有置信图响应，将响应最大的置信图对应位置作为目标跟踪位置。
进一步地，步骤(6.2)中所述对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图，具体为：
通过提取CN特征与fHOG特征，对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图。
优选地，为获得更好的融合效果，提高跟踪准确率同时加快跟踪速度，所述CN特征与fHOG特征的融合方式为前期融合。
进一步地，步骤(6)中所述利用KCF算法对后续n-1帧图像进行目标跟踪，还包括：使用GPU对KCF算法进行加速，利用GPU的多线程并行处理优势，提高KCF算法的跟踪速度，从而提高内窥镜器械跟踪的实时性。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
(1)本发明通过使用多种类型的内窥镜器械构建数据集，训练得到基于YOLOv2的内窥镜检测模型，并使用该检测模型对分组中的第一帧图像进行检测，利用YOLOv2模型的高准确性和鲁棒性保证了内窥镜器械跟踪的准确性和鲁棒性要求。
(2)本发明在使用内窥镜检测模型检测得到目标位置后，采用KCF算法对目标进行跟踪，利用KCF算法的高实时性保证了内窥镜器械跟踪的实时性要求。
(3)本发明对现有的KFC算法进行改进，包括添加CN颜色特征、多尺度变换和GPU加速，进一步优化了内窥镜器械跟踪的准确性和实时性。
(4)本发明通过灵活设置分组参数来满足不同GPU环境下的实时性要求，可为其他领域的目标跟踪提供技术帮助。
附图说明
图1为本发明实施例提供的一种基于机器视觉的内窥镜器械跟踪方法流程；
图2(a)-图2(g)为本发明实施例提供的多种类别的内窥镜器械示意图；
图3为本发明实施例提供的多尺度变换示意图；
图4为本发明实施例提供的多特征融合示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参考图1，本发明实施例提供了一种基于机器视觉的内窥镜器械跟踪方法，包括：
(1)在包含内窥镜器械的图像中对内窥镜器械的类别、位置和大小进行标记，得到训练集；
具体地，内窥镜器械的类别包括：直角分离钳、马里兰分离钳、夹持钳、防损伤抓钳、电钩、穿刺头和弯剪，依次如图2(a)-图2(g)所示，本发明的内窥镜器械跟踪方法不限于这些类别。
(2)将所述训练集输入到搭建好的YOLOv2网络结构中进行迭代训练，得到用于检测内窥镜器械位置和大小的内窥镜器械检测模型；
(3)从待检测视频中获取第一帧图像；
(4)将获取到的帧图像输入到训练好的内窥镜器械检测模型中进行检测；
(5)判断是否检测到内窥镜器械，若是，则进入步骤(6)，若否，则获取待检测视频的下一帧图像，并返回步骤(4)；
(6)基于检测得到的内窥镜器械位置，使用KCF(Kernel Correlation Filter，核相关滤波算法)对后续n-1帧图像进行目标跟踪；
(7)对剩余未检测视频循环执行步骤(3)至(6)直至待测视频结束；
具体地，本发明在利用YOLOv2模型的高准确性和鲁棒性保证了内窥镜器械跟踪的准确性和鲁棒性要求基础上，利用KCF算法的高实时性保证了内窥镜器械跟踪的实时性要求；
本发明以n张图片为一组执行上述循环过程，n为预设的分组参数，每组n张图片，第一张图片使用YOLOv2内窥镜器械检测模型进行检测，所需时间设为t1，后续n-1张图片进行KCF目标跟踪，还包括第一张图片的目标建模，共需时间nt2，则总跟踪时间为t1+nt2，每张图片平均跟踪时间为(t1+nt2)/n，单位为毫秒ms，可得到每秒跟踪帧数为1000n/(t1+nt2)，即为平均跟踪速度，该速度应满足实时性速度要求，即1000n/(t1+nt2)＝m；其中，m为实时性速度要求，单位为fps，取值范围为50～70fps，t1为YOLOv2平均检测速度，t2为KCF平均跟踪速度。
在利用YOLOv2模型的高准确性和鲁棒性保证了内窥镜器械跟踪的准确性和鲁棒性要求，同时利用KCF算法的高实时性保证了内窥镜器械跟踪的实时性要求的基础上，为进一步优化内窥镜器械跟踪的准确性，本发明对KCF算法添加多尺度变换，具体包括：
使用尺度池确定不同大小的尺度框；
对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图；
比较所有置信图响应，将响应最大的置信图对应位置作为目标跟踪位置；
如图3所示，设输入图像窗口大小为S0，尺度池为R＝{R1,R2,...Ri,...Rk}，其中Ri表示尺度因子，k为尺度因子个数，跟踪窗的大小由Si＝S0Ri计算得到。
此外，传统的KCF算法中使用基于灰度图像的fHOG特征，需要将图像转化为灰度图像，在跟踪过程中忽略了图像的颜色特征信息，为了更全面的表述目标特征，提高目标跟踪的准确性，本发明还对KCF算法添加CN(Color-Naming)颜色特征，该特征在目标识别、目标检测中都有很好的表现；特征融合分为前期融合和后期融合两种，前期融合直接将多个特征(fHOG和CN颜色特征)串联，然后进行后续的相关运算处理；后期融合是对多个特征分别进行相关运算处理，然后对处理结果进行串联。
通过实验验证，前期融合的效果更好，跟踪准确率高，跟踪速度快。因此，本发明中的融合方式采用前期融合，如图4所示，直接将fHOG特征和CN特征串联，然后对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图。
添加多尺度变换和CN颜色特征后，KCF算法的跟踪速度相对变慢，而GPU具有多线程并行处理优势，可以同时对大量数据进行相同操作，为了提高KCF算法的跟踪速度，进一步优化内窥镜器械跟踪的实时性，本发明使用GPU对KCF算法进行加速，首先将待跟踪图像加载到CPU内存中，然后拷贝到GPU内存进行检测和训练，最后将跟踪结果拷贝回CPU内存。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，包括：
(1)在包含内窥镜器械的图像中对内窥镜器械的类别、位置和大小进行标记，得到训练集；
(2)将所述训练集输入到搭建好的YOLOv2网络结构中进行迭代训练，得到用于检测内窥镜器械位置和大小的内窥镜器械检测模型；
(3)从待检测视频中获取第一帧图像；
(4)将获取到的帧图像输入到训练好的内窥镜器械检测模型中进行检测；
(5)判断是否检测到内窥镜器械，若是，则进入步骤(6)，若否，则获取待检测视频的下一帧图像，并返回步骤(4)；
(6)基于检测得到的内窥镜器械位置，使用KCF算法对后续n-1帧图像进行目标跟踪；
(7)对剩余未检测视频循环执行步骤(3)至(6)直至待测视频结束；
其中，n为预设的分组参数。
2.根据权利要求1所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，所述内窥镜器械的类别包括：直角分离钳、马里兰分离钳、夹持钳、防损伤抓钳、电钩、穿刺头和弯剪。
3.根据权利要求1或2所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，所述预设的分组参数根据实时性速度要求、YOLOv2平均检测速度和KCF平均跟踪速度计算得到。
4.根据权利要求3所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，所述预设的分组参数具体由1000n/(t1+nt2)＝m计算得到；其中，n为预设的分组参数，m为实时性速度要求，t1为YOLOv2平均检测速度，t2为KCF平均跟踪速度。
5.根据权利要求1所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，步骤(6)所述利用KCF算法对后续n-1帧图像进行目标跟踪，具体包括：
(6.1)使用尺度池确定不同大小的尺度框；
(6.2)对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图；
(6.3)比较所有置信图响应，将响应最大的置信图对应位置作为跟踪位置。
6.根据权利要求5所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，步骤(6.2)中所述对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图，具体为：
通过提取CN特征与fHOG特征，对不同大小的尺度框分别训练相关滤波器，得到每种大小尺度框对应的置信图。
7.根据权利要求6所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，所述CN特征与fHOG特征的融合方式为前期融合。
8.根据权利要求1-7任一项所述的一种基于机器视觉的内窥镜器械跟踪方法，其特征在于，步骤(6)中所述利用KCF算法对后续n-1帧图像进行目标跟踪，还包括：使用GPU对KCF算法进行加速。
CN201910396273.5A 2019-05-14 2019-05-14 一种基于机器视觉的内窥镜器械跟踪方法 Pending CN110211152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910396273.5A CN110211152A (zh) 2019-05-14 2019-05-14 一种基于机器视觉的内窥镜器械跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910396273.5A CN110211152A (zh) 2019-05-14 2019-05-14 一种基于机器视觉的内窥镜器械跟踪方法

Publications (1)

Publication Number Publication Date
CN110211152A true CN110211152A (zh) 2019-09-06

Family

ID=67787135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396273.5A Pending CN110211152A (zh) 2019-05-14 2019-05-14 一种基于机器视觉的内窥镜器械跟踪方法

Country Status (1)

Country Link
CN (1) CN110211152A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法
CN112037263A (zh) * 2020-09-14 2020-12-04 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113143461A (zh) * 2021-01-26 2021-07-23 合肥工业大学 人机协同的微创内窥镜持镜机器人系统
CN113627219A (zh) * 2020-05-07 2021-11-09 杭州海康慧影科技有限公司 器械检测方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448398A (zh) * 2009-06-01 2012-05-09 皇家飞利浦电子股份有限公司 基于距离的位置跟踪方法和系统
CN103948361A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 无标志点的内窥镜定位跟踪方法和系统
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102448398A (zh) * 2009-06-01 2012-05-09 皇家飞利浦电子股份有限公司 基于距离的位置跟踪方法和系统
CN103948361A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 无标志点的内窥镜定位跟踪方法和系统
CN106887011A (zh) * 2017-01-20 2017-06-23 北京理工大学 一种基于cnn和cf的多模板目标跟踪方法
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法
CN108810616A (zh) * 2018-05-31 2018-11-13 广州虎牙信息科技有限公司 目标定位方法、视频显示方法、装置、设备和存储介质
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MANJIA WU等: ""Real-time drone detection using deep learning approach"", 《MLICOM 2018》 *
YANG LI等: "A scale adaptive kernel correlation filter tracker with feature integration", 《COMPUTER VISION - ECCV 2014》 *
刘 源等: "基于 SIFT 和 YOLO 的弱目标鲁棒性实时追踪算法", 《计算机与现代化》 *
鄢宇烈: "一种在线学习实时长期目标跟踪算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
闫若怡等: "基于并行跟踪和检测框架和深度学习的目标跟踪算法", 《网络出版地址： HTTP://KNS.CNKI.NET/KCMS/DETAIL/51.1307.TP.20181001.1309.016.HTML》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质
CN111354023A (zh) * 2020-03-09 2020-06-30 中振同辂(江苏)机器人有限公司 一种基于摄像头的视觉多目标跟踪方法
CN113627219A (zh) * 2020-05-07 2021-11-09 杭州海康慧影科技有限公司 器械检测方法、装置和计算机设备
CN112037263A (zh) * 2020-09-14 2020-12-04 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
CN112037263B (zh) * 2020-09-14 2024-03-19 山东大学 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
CN113143461A (zh) * 2021-01-26 2021-07-23 合肥工业大学 人机协同的微创内窥镜持镜机器人系统
CN113143461B (zh) * 2021-01-26 2023-08-01 合肥工业大学 人机协同的微创内窥镜持镜机器人系统
CN113160149A (zh) * 2021-03-31 2021-07-23 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统

Similar Documents

Publication Publication Date Title
CN110211152A (zh) 一种基于机器视觉的内窥镜器械跟踪方法
EP3482346A1 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
Speidel et al. Tracking of instruments in minimally invasive surgery for surgical skill analysis
WO2019196099A1 (zh) 医学图像内目标对象的边界定位方法、存储介质及终端
JP7083191B2 (ja) セファロ画像における計測点の自動認識方法
CN117457229A (zh) 基于人工智能的麻醉深度监测系统及方法
KR102427171B1 (ko) 영상 내의 객체 레이블링 제공 방법 및 이를 위한 장치
JP6647703B2 (ja) 手術トレーニングプログラム
CN116012568A (zh) 一种通过拍照心电图获取心电节律信息的系统
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN116369906A (zh) 一种屈臂悬垂的自动测试方法、装置、设备和介质
CN113643263B (zh) 一种上肢骨定位与前臂骨融合畸形的识别方法及系统
CN112885435B (zh) 图像目标区域的确定方法、装置和系统
CN114972881A (zh) 图像分割数据标注方法及装置
CN113256625A (zh) 一种电子设备和识别装置
Haq et al. Real-time spinal needle position detection using YOLOv8
CN117731376B (zh) 一种妇科肿瘤影像术前智能导向识别系统
Patil et al. Early Detection of Hemiplegia by Analyzing the Gait Characteristics and Walking Patterns Using
Liu et al. A framework for webcam-based hand rehabilitation exercises
CN117037279B (zh) 动作检测方法、装置、设备、存储介质及异构芯片
CN117893953B (zh) 一种软式消化道内镜操作规范动作评估方法及系统
CN114863545B (zh) 基于DeepLabCut的自动眨眼检测方法和装置
Kanitthakun et al. Recognition of fetal facial expressions for neurobehavioral assessment using Relaxing-Mismatch Global Sequence Time Warp Kernel
CN115721265A (zh) 一种基于图像处理的脉诊点定位方法及脉诊机器人
WO2023049254A1 (en) System and method for automatic correlation of motor behavior with neurophysiology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication