CN109730769B - 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统，该方法包括下述步骤：对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄，并将拍摄视频实时传输给视觉计算单元；所述视觉计算单元根据拍摄视频，对手术刀片进行检测和追踪，具体是：计算手术刀片移动轨迹中心点，然后标识手术对应区域，将再切除区域与皮下组织切片提取区域进行匹配，并将匹配结果传输给人机交互单元；所述人机交互单元向用户显示视觉计算单元的匹配结果，同时接受用户的操作指令并将指令传输给视觉计算单元。本发明通过跟踪手术刀片的移动轨迹来标识组织切片提取区域以及再切除区域，在大面积皮肤肿瘤切除手术中有望取代人类助手。

Description

一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统

技术领域

本发明涉及精准手术智能辅助领域,特别涉及一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统。

背景技术

目前在皮肤肿瘤，特别是大面积皮肤肿瘤切除手术中，需要专门的人类助手对皮下组织切片提取区域进行标识，记忆，匹配。基于机器视觉的皮肤肿瘤精准手术智能追踪技术及方法，可以通过跟踪手术刀片的移动轨迹完成人类助手的相关工作。最近几年，随着深度学习特别是卷积神经网络的兴起，产生了R-CNN，FastR-CNN，FasterR-CNN，MaskR-CNN这一系列基于卷积神经网络的目标检测与分割模型。目前的目标跟踪技术基本上是用一个边框来标识目标物体，而且主要采用“首帧目标检测+后续帧目标跟踪”的两阶段策略，这对大多数应用场景来说是合适的；但是，在一些对跟踪精度要求高的场景中，如果目标物体在跟踪边框中的相对位置变化范围很大，将无法满足跟踪精度要求。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统。本发明方法的物体检测基于Mask R-CNN模型，特别是其中的实例分割(InstanceSegmentation)功能，将已经在大型图片数据集(ImageNet)上经过预训练的Mask R-CNN用自定义的手术刀片图片数据集进行微调，获得手术刀片检测专用模型；使用专用模型提取手术刀片特征，并从视频帧中分割出手术刀的轮廓，以轮廓最下方，即纵坐标值最小的点标识刀片位置，从而实现手术刀片的轨迹跟踪；Mask R-CNN模型中的卷积神经网络(CNN)是一种深度学习模型，深度学习可理解为“特征学习”或“表示学习”，利用卷积神经网络提取图像特征，可以避免传统人工特征工程中存在的特征设计不充分的问题。

为实现以上目的，本发明采取如下技术方案：

一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法，包括下述步骤：

对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄，并将拍摄视频实时传输给视觉计算单元；

所述视觉计算单元根据所述拍摄视频，对手术刀片进行检测和追踪，具体是：计算手术刀片移动轨迹中心点，然后标识手术对应区域，将再切除区域与皮下组织切片提取区域进行匹配，并将匹配结果传输给人机交互单元；

所述人机交互单元向用户显示所述视觉计算单元的匹配结果，同时接受用户的操作指令并将指令传输给视觉计算单元。

作为优选的技术方案，视觉计算单元对拍摄视频的处理过程，包括下述步骤：

S1、构建手术刀片图片数据集：对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集，并使用数据集增强技术对所述手术刀片图片数据集进行扩充；

S2、训练手术刀片检测模型：采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调，构建手术刀片检测模型；

S3、持续跟踪手术刀片：在切片提取过程中，对视频逐帧检测手术刀片位置，从而持续跟踪手术刀片的移动轨迹，并以此来标注切片对应的手术区域；

S4、组织切片提取区域重定位：当病理检测显示某个组织切片的对应区域还有病变组织残留时，将对该区域实施再切除；系统将实时跟踪手术刀片，标识再切除区域，并与切片提取区域进行匹配。

作为优选的技术方案，步骤S2具体包括下述步骤：

S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型；

S22、修改Mask R-CNN模型，设置其分类器输出类别的数量为2，具体一类是要检测的手术刀片，一类为背景；

S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。

作为优选的技术方案，步骤S3具体包括下述步骤：

S31、在切片提取过程中，对视频每一帧，使用Mask R-CNN模型的实例分割功能提取出手术刀的轮廓；

S32、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置；

S33、根据刀片移动轨迹计算切片提取区域的中心点，以此标识切片的对应区域，计算公式为：

其中x_bi,y_bi为步骤S32中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量。

作为优选的技术方案，步骤S4具体包括下述步骤：

S41、如果病理检测结果显示组织切片中还有病变组织残留，则对该切片的对应区域实施再切除；手术过程中，对视频每一帧，使用Mask R-CNN的实例分割功能提取出手术刀的轮廓；

S42、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置：

S43、根据刀片移动轨迹计算再切除区域的中心点，以此中心点为标识再切除的对应区域，该中心点的计算公式为

其中x_bi,y_bi为步骤S42中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量；

S44、通过比较区域中心点之间的距离，将再切除区域与离其最近的切片提取区域匹配，与再切除区域s匹配的切片区域r为：

作为优选的技术方案，该系统包括依次连接的高清摄像单元、视觉计算单元、以及人机交互单元；

所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄，并实时传输给所述视觉计算单元；

所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算，并将计算结果传输给所述人机交互单元；

所述人机交互单元，一方面用于向用户显示所述视觉计算单元的计算结果；一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。

本发明相对于现有技术具有如下的优点和效果：

目前的物体检测与跟踪技术基本上是用一个边框来标出感兴趣的目标物体，这对大多数应用场景来说是合适的；但是，本发明所涉及的手术刀跟踪对精度要求高，而手术过程中医生握刀姿势的变化，导致刀尖的在跟踪边框中的相对位置变化幅度很大，无法满足跟踪精度要求。Mask R-CNN中的实例分割(Instance Segmentation)功能可以从视频帧中直接提取出手术刀的轮廓，无需根据边框来推测刀尖的位置，对刀尖的定位可以更准确。

附图说明

图1为本发明基于机器视觉的皮肤肿瘤精准手术智能追踪方法流程图；

图2为本发明基于机器视觉的皮肤肿瘤精准手术智能追踪系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。

实施例

如图1所示，一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法，包括下述步骤：

对皮下组织切片的提取过程和皮下组织切片对应区域再切除过程进行全程高清拍摄，并将拍摄视频实时传输给视觉计算单元；

所述视觉计算单元根据所述拍摄视频，对手术刀片进行检测和追踪，计算手术刀片移动轨迹中心点，然后标识手术对应区域，将再切除区域与皮下组织切片提取区域进行匹配，并将匹配结果传输给人机交互单元；

所述人机交互单元向用户显示所述视觉计算单元的匹配结果，同时接受用户的操作指令并将指令传输给视觉计算单元。

以下为本实施例具体说明所述视觉计算单元对拍摄视频的处理过程：

S1、构建手术刀片图片数据集：对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集，并使用数据集增强技术对所述手术刀片图片数据集进行扩充；

S2、训练手术刀片检测模型：采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调，构建手术刀片检测模型；具体包括下述步骤：

S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型；

S22、修改Mask R-CNN模型，设置其分类器输出类别的数量为2，具体一类是要检测的手术刀片，一类为背景；

S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。

S3、持续跟踪手术刀片：在切片提取过程中，对视频逐帧检测手术刀片位置，从而持续跟踪手术刀片的移动轨迹，并以此来标注切片对应的手术区域；具体包括下述步骤：

S31、在切片提取过程中，对视频每一帧，使用Mask R-CNN的实例分割功能提取出手术刀的轮廓；

S32、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置；

S33、根据刀片移动轨迹计算切片提取区域的中心点，以此标识切片的对应区域，计算公式为：

其中x_bi,y_bi为步骤S32中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量。

S4、组织切片提取区域重定位：当病理检测显示某个组织切片的对应区域还有病变组织残留时，将对该区域实施再切除；系统将实时跟踪手术刀片，标识再切除区域，并与切片提取区域进行匹配；具体包括下述步骤：

S41、如果病理检测结果显示组织切片中还有病变组织残留，则对该切片的对应区域实施再切除；手术过程中，对视频每一帧，使用Mask R-CNN的实例分割功能提取出手术刀的轮廓；

S42、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置；

S43、根据刀片移动轨迹计算再切除区域的中心点，以此中心点为标识再切除的对应区域，该中心点的计算公式为

其中x_bi,y_bi为步骤S42中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量；

S44、通过比较区域中心点之间的距离，将再切除区域与离其最近的切片提取区域匹配，与再切除区域s匹配的切片区域r为：

图2所示，本实施例的基于机器视觉的皮肤肿瘤精准手术智能追踪系统，包括：依次连接的高清摄像单元、视觉计算单元、以及人机交互单元；

所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄，并实时传输给所述视觉计算单元；

所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算，并将计算结果传输给所述人机交互单元；

所述人机交互单元，一方面用于向医生显示所述视觉计算单元的计算结果；一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (6)

1.一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法，其特征在于，包括下述步骤：

视觉计算单元通过高清摄像单元获取皮下组织切片的提取过程视频和皮下组织切片对应区域再切除过程视频；

所述视觉计算单元基于Mask R-CNN模型对皮下组织切片的提取过程视频和皮下组织切片对应区域再切除过程视频逐帧检测和追踪手术刀片，具体包括：

计算皮下组织切片的提取过程视频中的手术刀片移动轨迹中心点，然后标识切片对应的手术区域；计算皮下组织切片对应区域再切除过程视频中的手术刀片移动轨迹中心点，标识再切除区域，将再切除区域与皮下组织切片提取区域进行匹配，并将匹配结果传输给人机交互单元；所述人机交互单元向用户显示所述视觉计算单元的匹配结果，同时接受用户的操作指令并将指令传输给视觉计算单元。

2.根据权利要求1所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法，其特征在于，视觉计算单元对拍摄视频的处理过程，包括下述步骤：

S1、构建手术刀片图片数据集：对各型号手术刀片从不同角度拍摄照片构建手术刀片图片数据集，并使用数据集增强技术对所述手术刀片图片数据集进行扩充；

S2、训练手术刀片检测模型：采用手术刀片图片数据集对经过预训练的通用目标检测模型进行微调，构建手术刀片检测模型；

S3、持续跟踪切片提取过程视频中的手术刀片移动轨迹：对切片提取过程视频逐帧检测手术刀片位置，从而持续跟踪切片提取过程视频中手术刀片的移动轨迹，并以此来标注切片对应的手术区域；

S4、组织切片提取区域重定位：所述皮下组织切片对应区域再切除过程视频为当病理检测显示某个组织切片的对应区域还有病变组织残留时，对该区域实施再切除的过程拍摄的视频，系统持续跟踪皮下组织切片对应区域再切除过程视频中的手术刀片，标识再切除区域，并与切片提取区域进行匹配。

3.根据权利要求2所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法，其特征在于，步骤S2具体包括下述步骤：

S21、获取在ImageNet数据集上经过预训练的Mask R-CNN模型；

S22、修改Mask R-CNN模型，设置其分类器输出类别的数量为2，具体一类是要检测的手术刀片，一类为背景；

S23、使用手术刀片图片数据集对Mask R-CNN模型进行微调。

4.根据权利要求2所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法，其特征在于，步骤S3具体包括下述步骤：

S31、对切片提取过程视频的每一帧，使用Mask R-CNN模型的实例分割功能提取出手术刀的轮廓；

S32、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置；

S33、根据刀片移动轨迹计算切片提取区域的中心点，以此标识切片的对应区域，计算公式为：

其中：x_bi、y_bi为步骤S32中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量；x_r、y_r为切片提取区域的中心点坐标。

5.根据权利要求4所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法，其特征在于，步骤S4具体包括下述步骤：

S41、对皮下组织切片对应区域再切除过程视频的每一帧，使用Mask R-CNN的实例分割功能提取出手术刀的轮廓；

S42、以手术刀轮廓最下方，即纵坐标值最小的点(x_b,y_b)表示刀片的位置：

S43、根据刀片移动轨迹计算再切除区域的中心点，以此中心点标识再切除的对应区域，该中心点的计算公式为

其中：x_bi、y_bi为步骤S42中获得刀片的第i个跟踪点的坐标，n为跟踪点的数量；x_s、y_s为再切除区域的中心点坐标；

S44、通过比较区域中心点之间的距离，将再切除区域与离其最近的切片提取区域匹配，与再切除区域s匹配的切片区域r为：

其中：x_r、y_r为切片提取区域的中心点坐标。

6.运用权利要求1～5中任一项所述的基于机器视觉的皮肤肿瘤精准手术智能追踪方法的智能追踪系统，其特征在于，该系统包括依次连接的高清摄像单元、视觉计算单元、以及人机交互单元；

所述高清摄像单元用于对皮下组织切片的提取过程和切片对应区域再切除过程进行全程高清拍摄，并实时传输给所述视觉计算单元；

所述视觉计算单元用于对高清摄像单元拍摄的视频实时计算，并将计算结果传输给所述人机交互单元；具体包括：

计算皮下组织切片的提取过程视频中的手术刀片移动轨迹中心点，然后标识切片对应的手术区域；计算皮下组织切片对应区域再切除过程视频中的手术刀片移动轨迹中心点，标识再切除区域，将再切除区域与皮下组织切片提取区域进行匹配，并将匹配结果传输给人机交互单元；

所述人机交互单元，一方面用于向用户显示所述视觉计算单元的计算结果；一方面用于接受用户的操作指令并将指令传输给所述视觉计算单元。

Images