CN109730769A - 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 - Google Patents
一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 Download PDFInfo
- Publication number
- CN109730769A CN109730769A CN201811502698.1A CN201811502698A CN109730769A CN 109730769 A CN109730769 A CN 109730769A CN 201811502698 A CN201811502698 A CN 201811502698A CN 109730769 A CN109730769 A CN 109730769A
- Authority
- CN
- China
- Prior art keywords
- knife blade
- computing unit
- cut
- vision
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统,该方法包括下述步骤:对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄,并将拍摄视频实时传输给视觉计算单元;所述视觉计算单元根据拍摄视频,对手术刀片进行检测和追踪,具体是:计算手术刀片移动轨迹中心点,然后标识手术对应区域,将再切除区域与皮下组织切片提取区域进行匹配,并将匹配结果传输给人机交互单元;所述人机交互单元向用户显示视觉计算单元的匹配结果,同时接受用户的操作指令并将指令传输给视觉计算单元。本发明通过跟踪手术刀片的移动轨迹来标识组织切片提取区域以及再切除区域,在大面积皮肤肿瘤切除手术中有望取代人类助手。
Description
技术领域
本发明涉及精准手术智能辅助领域,特别涉及一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统。
背景技术
目前在皮肤肿瘤,特别是大面积皮肤肿瘤切除手术中,需要专门的人类助手对皮下组织切片提取区域进行标识,记忆,匹配。基于机器视觉的皮肤肿瘤精准手术智能追踪技术及方法,可以通过跟踪手术刀片的移动轨迹完成人类助手的相关工作。最近几年,随着深度学习特别是卷积神经网络的兴起,产生了R-CNN,FastR-CNN,FasterR-CNN,MaskR-CNN这一系列基于卷积神经网络的目标检测与分割模型。目前的目标跟踪技术基本上是用一个边框来标识目标物体,而且主要采用“首帧目标检测+后续帧目标跟踪”的两阶段策略,这对大多数应用场景来说是合适的;但是,在一些对跟踪精度要求高的场景中,如果目标物体在跟踪边框中的相对位置变化范围很大,将无法满足跟踪精度要求。
发明内容
本发明的目的在于克服现有技术中的缺点与不足,提供一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统。本发明方法的物体检测基于Mask R-CNN模型,特别是其中的实例分割(InstanceSegmentation)功能,将已经在大型图片数据集(ImageNet)上经过预训练的Mask R-CNN用自定义的手术刀片图片数据集进行微调,获得手术刀片检测专用模型;使用专用模型提取手术刀片特征,并从视频帧中分割出手术刀的轮廓,以轮廓最下方,即纵坐标值最小的点标识刀片位置,从而实现手术刀片的轨迹跟踪;Mask R-CNN模型中的卷积神经网络(CNN)是一种深度学习模型,深度学习可理解为“特征学习”或“表示学习”,利用卷积神经网络提取图像特征,可以避免传统人工特征工程中存在的特征设计不充分的问题。
为实现以上目的,本发明采取如下技术方案:
一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法,包括下述步骤:
对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄,并将拍摄视频实时传输给视觉计算单元;
所述视觉计算单元根据所述拍摄视频,对手术刀片进行检测和追踪,具体是:计算手术刀片移动轨迹中心点,然后标识手术对应区域,将再切除区域与皮下组织切片提取区域进行匹配,并将匹配结果传输给人机交互单元;
所述人机交互单元向用户显示所述视觉计算单元的匹配结果,同时接受用户的操作指令并将指令传输给视觉计算单元。
作为优选的技术方案,视觉计算单元对拍摄视频的处理过程,包括下述步骤:
S1、构建手术刀片图片数据集:对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集,并使用数据集增强技术对所述手术刀片图片数据集进行扩充;
S2、训练手术刀片检测模型:采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调,构建手术刀片检测模型;
S3、持续跟踪手术刀片:在切片提取过程中,对视频逐帧检测手术刀片位置,从而持续跟踪手术刀片的移动轨迹,并以此来标注切片对应的手术区域;
S4、组织切片提取区域重定位:当病理检测显示某个组织切片的对应区域还有病变组织残留时,将对该区域实施再切除;系统将实时跟踪手术刀片,标识再切除区域,并与切片提取区域进行匹配。
作为优选的技术方案,步骤S2具体包括下述步骤:
S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型;
S22、修改Mask R-CNN模型,设置其分类器输出类别的数量为2,具体一类是要检测的手术刀片,一类为背景;
S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。
作为优选的技术方案,步骤S3具体包括下述步骤:
S31、在切片提取过程中,对视频每一帧,使用Mask R-CNN模型的实例分割功能提取出手术刀的轮廓;
S32、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置;
S33、根据刀片移动轨迹计算切片提取区域的中心点,以此标识切片的对应区域,计算公式为:其中xbi,ybi为步骤S32中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量。
作为优选的技术方案,步骤S4具体包括下述步骤:
S41、如果病理检测结果显示组织切片中还有病变组织残留,则对该切片的对应区域实施再切除;手术过程中,对视频每一帧,使用Mask R-CNN的实例分割功能提取出手术刀的轮廓;
S42、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置:
S43、根据刀片移动轨迹计算再切除区域的中心点,以此中心点为标识再切除的对应区域,该中心点的计算公式为其中xbi,ybi为步骤S42中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量;
S44、通过比较区域中心点之间的距离,将再切除区域与离其最近的切片提取区域匹配,与再切除区域s匹配的切片区域r为:
作为优选的技术方案,该系统包括依次连接的高清摄像单元、视觉计算单元、以及人机交互单元;
所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄,并实时传输给所述视觉计算单元;
所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算,并将计算结果传输给所述人机交互单元;
所述人机交互单元,一方面用于向用户显示所述视觉计算单元的计算结果;一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。
本发明相对于现有技术具有如下的优点和效果:
目前的物体检测与跟踪技术基本上是用一个边框来标出感兴趣的目标物体,这对大多数应用场景来说是合适的;但是,本发明所涉及的手术刀跟踪对精度要求高,而手术过程中医生握刀姿势的变化,导致刀尖的在跟踪边框中的相对位置变化幅度很大,无法满足跟踪精度要求。Mask R-CNN中的实例分割(Instance Segmentation)功能可以从视频帧中直接提取出手术刀的轮廓,无需根据边框来推测刀尖的位置,对刀尖的定位可以更准确。
附图说明
图1为本发明基于机器视觉的皮肤肿瘤精准手术智能追踪方法流程图;
图2为本发明基于机器视觉的皮肤肿瘤精准手术智能追踪系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不限于本发明。
实施例
如图1所示,一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法,包括下述步骤:
对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄,并将拍摄视频实时传输给视觉计算单元;
所述视觉计算单元根据所述拍摄视频,对手术刀片进行检测和追踪,计算手术刀片移动轨迹中心点,然后标识手术对应区域,将再切除区域与皮下组织切片提取区域进行匹配,并将匹配结果传输给人机交互单元;
所述人机交互单元向用户显示所述视觉计算单元的匹配结果,同时接受用户的操作指令并将指令传输给视觉计算单元。
以下为本实施例具体说明所述视觉计算单元对拍摄视频的处理过程:
S1、构建手术刀片图片数据集:对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集,并使用数据集增强技术对所述手术刀片图片数据集进行扩充;
S2、训练手术刀片检测模型:采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调,构建手术刀片检测模型;具体包括下述步骤:
S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型;
S22、修改Mask R-CNN模型,设置其分类器输出类别的数量为2,具体一类是要检测的手术刀片,一类为背景;
S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。
S3、持续跟踪手术刀片:在切片提取过程中,对视频逐帧检测手术刀片位置,从而持续跟踪手术刀片的移动轨迹,并以此来标注切片对应的手术区域;具体包括下述步骤:
S31、在切片提取过程中,对视频每一帧,使用Mask R-CNN的实例分割功能提取出手术刀的轮廓;
S32、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置;
S33、根据刀片移动轨迹计算切片提取区域的中心点,以此标识切片的对应区域,计算公式为:其中xbi,ybi为步骤S32中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量。
S4、组织切片提取区域重定位:当病理检测显示某个组织切片的对应区域还有病变组织残留时,将对该区域实施再切除;系统将实时跟踪手术刀片,标识再切除区域,并与切片提取区域进行匹配;具体包括下述步骤:
S41、如果病理检测结果显示组织切片中还有病变组织残留,则对该切片的对应区域实施再切除;手术过程中,对视频每一帧,使用Mask R-CNN的实例分割功能提取出手术刀的轮廓;
S42、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置;
S43、根据刀片移动轨迹计算再切除区域的中心点,以此中心点为标识再切除的对应区域,该中心点的计算公式为其中xbi,ybi为步骤S42中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量;
S44、通过比较区域中心点之间的距离,将再切除区域与离其最近的切片提取区域匹配,与再切除区域s匹配的切片区域r为:
图2所示,本实施例的基于机器视觉的皮肤肿瘤精准手术智能追踪系统,包括:依次连接的高清摄像单元、视觉计算单元、以及人机交互单元;
所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄,并实时传输给所述视觉计算单元;
所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算,并将计算结果传输给所述人机交互单元;
所述人机交互单元,一方面用于向医生显示所述视觉计算单元的计算结果;一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以权利要求所述为准。
Claims (6)
1.一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法,其特征在于,包括下述步骤:
对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄,并将拍摄视频实时传输给视觉计算单元;
所述视觉计算单元根据所述拍摄视频,对手术刀片进行检测和追踪,具体是:计算手术刀片移动轨迹中心点,然后标识手术对应区域,将再切除区域与皮下组织切片提取区域进行匹配,并将匹配结果传输给人机交互单元;
所述人机交互单元向用户显示所述视觉计算单元的匹配结果,同时接受用户的操作指令并将指令传输给视觉计算单元。
2.根据权利要求1所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法,其特征在于,视觉计算单元对拍摄视频的处理过程,包括下述步骤:
S1、构建手术刀片图片数据集:对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集,并使用数据集增强技术对所述手术刀片图片数据集进行扩充;
S2、训练手术刀片检测模型:采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调,构建手术刀片检测模型;
S3、持续跟踪手术刀片:在切片提取过程中,对视频逐帧检测手术刀片位置,从而持续跟踪手术刀片的移动轨迹,并以此来标注切片对应的手术区域;
S4、组织切片提取区域重定位:当病理检测显示某个组织切片的对应区域还有病变组织残留时,将对该区域实施再切除;系统将实时跟踪手术刀片,标识再切除区域,并与切片提取区域进行匹配。
3.根据权利要求2所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法,其特征在于,步骤S2具体包括下述步骤:
S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型;
S22、修改Mask R-CNN模型,设置其分类器输出类别的数量为2,具体一类是要检测的手术刀片,一类为背景;
S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。
4.根据权利要求2所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法,其特征在于,步骤S3具体包括下述步骤:
S31、在切片提取过程中,对视频每一帧,使用Mask R-CNN模型的实例分割功能提取出手术刀的轮廓;
S32、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置;
S33、根据刀片移动轨迹计算切片提取区域的中心点,以此标识切片的对应区域,计算公式为:其中xbi,ybi为步骤S32中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量。
5.根据权利要求2所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法,其特征在于,步骤S4具体包括下述步骤:
S41、如果病理检测结果显示组织切片中还有病变组织残留,则对该切片的对应区域实施再切除;手术过程中,对视频每一帧,使用Mask R-CNN的实例分割功能提取出手术刀的轮廓;
S42、以手术刀轮廓最下方,即纵坐标值最小的点(xb,yb)表示刀片的位置:
S43、根据刀片移动轨迹计算再切除区域的中心点,以此中心点为标识再切除的对应区域,该中心点的计算公式为其中xbi,ybi为步骤S42中获得刀片的第i个跟踪点的坐标,n为跟踪点的数量;
S44、通过比较区域中心点之间的距离,将再切除区域与离其最近的切片提取区域匹配,与再切除区域s匹配的切片区域r为:
6.运用权利要求1~5所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法的智能追踪系统,其特征在于,该系统包括依次连接的高清摄像单元、视觉计算单元、以及人机交互单元;
所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄,并实时传输给所述视觉计算单元;
所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算,并将计算结果传输给所述人机交互单元;
所述人机交互单元,一方面用于向用户显示所述视觉计算单元的计算结果;一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811502698.1A CN109730769B (zh) | 2018-12-10 | 2018-12-10 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811502698.1A CN109730769B (zh) | 2018-12-10 | 2018-12-10 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109730769A true CN109730769A (zh) | 2019-05-10 |
CN109730769B CN109730769B (zh) | 2021-03-30 |
Family
ID=66358651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811502698.1A Active CN109730769B (zh) | 2018-12-10 | 2018-12-10 | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109730769B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543906A (zh) * | 2019-08-29 | 2019-12-06 | 彭礼烨 | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 |
CN114903590A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070238981A1 (en) * | 2006-03-13 | 2007-10-11 | Bracco Imaging Spa | Methods and apparatuses for recording and reviewing surgical navigation processes |
CN103006332A (zh) * | 2012-12-27 | 2013-04-03 | 广东圣洋信息科技实业有限公司 | 手术刀跟踪方法与装置及数字立体显微镜系统 |
CN103327907A (zh) * | 2011-01-17 | 2013-09-25 | 皇家飞利浦电子股份有限公司 | 用于在图像引导的活检中检测针部署的系统和方法 |
CN105852968A (zh) * | 2016-04-06 | 2016-08-17 | 黄斌 | 一种肝胆外科手术轨迹追踪装置 |
CN106175891A (zh) * | 2016-06-30 | 2016-12-07 | 王磊 | 一种多功能儿科穿刺系统 |
-
2018
- 2018-12-10 CN CN201811502698.1A patent/CN109730769B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070238981A1 (en) * | 2006-03-13 | 2007-10-11 | Bracco Imaging Spa | Methods and apparatuses for recording and reviewing surgical navigation processes |
CN103327907A (zh) * | 2011-01-17 | 2013-09-25 | 皇家飞利浦电子股份有限公司 | 用于在图像引导的活检中检测针部署的系统和方法 |
CN103006332A (zh) * | 2012-12-27 | 2013-04-03 | 广东圣洋信息科技实业有限公司 | 手术刀跟踪方法与装置及数字立体显微镜系统 |
CN105852968A (zh) * | 2016-04-06 | 2016-08-17 | 黄斌 | 一种肝胆外科手术轨迹追踪装置 |
CN106175891A (zh) * | 2016-06-30 | 2016-12-07 | 王磊 | 一种多功能儿科穿刺系统 |
Non-Patent Citations (1)
Title |
---|
邵振洲 等: "一种面向多模态手术轨迹的快速无监督分割方法", 《小型微型计算机系统》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543906A (zh) * | 2019-08-29 | 2019-12-06 | 彭礼烨 | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 |
CN110543906B (zh) * | 2019-08-29 | 2023-06-16 | 彭礼烨 | 基于Mask R-CNN模型的肤质自动识别方法 |
CN114903590A (zh) * | 2022-04-13 | 2022-08-16 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
CN114903590B (zh) * | 2022-04-13 | 2023-10-27 | 中南大学湘雅医院 | 一种莫氏显微手术标记信息处理方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109730769B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109285179A (zh) | 一种基于多特征融合的运动目标跟踪方法 | |
CN110472467A (zh) | 基于YOLO v3的针对交通枢纽关键物体的检测方法 | |
CN103413120B (zh) | 基于物体整体性和局部性识别的跟踪方法 | |
CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
CN102831618B (zh) | 基于霍夫森林的视频目标跟踪方法 | |
CN102999920B (zh) | 基于最近邻分类器和均值漂移的目标跟踪方法 | |
CN108665481A (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
CN109919974A (zh) | 基于r-fcn框架多候选关联的在线多目标跟踪方法 | |
CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
Lee et al. | Body part detection for human pose estimation and tracking | |
CN109191497A (zh) | 一种基于多种信息融合的实时在线多目标跟踪方法 | |
CN108717531A (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
CN103116896A (zh) | 一种基于视觉显著性模型的自动检测跟踪方法 | |
CN104484645B (zh) | 一种面向人机交互的“1”手势识别方法与系统 | |
CN105739702A (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
CN112184705A (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 | |
CN102592115B (zh) | 一种人手定位方法及系统 | |
CN109934848A (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
CN103745203A (zh) | 基于视觉注意和均值漂移的目标检测与跟踪方法 | |
CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
Yang et al. | Human upper limb motion analysis for post-stroke impairment assessment using video analytics | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
CN104298968A (zh) | 一种基于超像素的复杂场景下的目标跟踪方法 | |
CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
CN105022999A (zh) | 一种人码伴随实时采集系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |