CN112348851B - 移动目标追踪系统及混合现实手术辅助系统 - Google Patents

移动目标追踪系统及混合现实手术辅助系统 Download PDF

Info

Publication number
CN112348851B
CN112348851B CN202011217316.8A CN202011217316A CN112348851B CN 112348851 B CN112348851 B CN 112348851B CN 202011217316 A CN202011217316 A CN 202011217316A CN 112348851 B CN112348851 B CN 112348851B
Authority
CN
China
Prior art keywords
module
tracking
target
frame
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011217316.8A
Other languages
English (en)
Other versions
CN112348851A (zh
Inventor
杨云鹏
谢锦华
孙野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Lanruan Intelligent Medical Technology Co ltd
Wuxi Lanruan Intelligent Medical Technology Co Ltd
Original Assignee
Shenyang Lanruan Intelligent Medical Technology Co ltd
Wuxi Lanruan Intelligent Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Lanruan Intelligent Medical Technology Co ltd, Wuxi Lanruan Intelligent Medical Technology Co Ltd filed Critical Shenyang Lanruan Intelligent Medical Technology Co ltd
Priority to CN202011217316.8A priority Critical patent/CN112348851B/zh
Publication of CN112348851A publication Critical patent/CN112348851A/zh
Application granted granted Critical
Publication of CN112348851B publication Critical patent/CN112348851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及临床用手术导航领域，具体地说，涉及识别并追踪类似手术器械这种移动目标追踪系统和基于移动目标追踪的混合现实手术辅助系统。它的组成包括视频采集模块，特征点选取模块，图像处理模块，目标检测模块，数据处理模块，控制模块，跟踪模块和显示模块；基于移动目标追踪的混合现实手术辅助系统，包括显示模块为MR智能设备的移动目标追踪系统，所述MR智能设备包含轨迹标注模块，所述移动目标追踪系统的视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备、目标物体做初始高度和初始位置标定。本发明能够提前判断手术器械作用点的操作效果，有助于精准选取手术器械在病灶处的最佳实施点，缩短手术时间，提高手术成功率。

Description

移动目标追踪系统及混合现实手术辅助系统
技术领域
本发明涉及临床用手术导航领域，具体地说，涉及识别并追踪类似手术器械这种移动目标追踪系统和基于移动目标追踪的混合现实手术辅助系统。
背景技术
现有基于混合现实技术的手术辅助系统，采用的技术方案：一是，将患者病灶处三维模型导入MR眼镜，并将MR眼镜里的三维模型与患者匹配，医生通过观看MR眼镜里的三维模型,查看人体病灶器官处的血管、病变组织形态结构，便于医生在手术操作中避开血管等不可碰组织，快速找到病变位置，这种方法为临床手术操作仅提供了可视化、透视化所带来的视觉指导。
二是，通过在手术器械上安装感应装置，再通过能够获取该感应装置信号的物体捕捉安装感应装置的手术器械的实时位置，再将手术器械的实时位置与医生佩戴的MR眼镜里的手术器械三维模型建立关联，从而观察手术器械作用在病灶处的轨迹，为临床手术提供术中指导，这种方法对于精确执行手术方案，并直观看到手术器械在人体器官内的位移轨迹，判断手术器械作用在病灶处所产生的实际效果，具有更为有效的指导意义，但该方法还存下以下几点问题：
1、医院采用的常规的手术器械都是现有的通用设计，再加上很多器材形状设计的特殊性，会使感应装置的安装受到位置的限制，特别是想要追踪手术器械的某个具体位置的运动轨迹，也会很难实现。同时，感应装置的安装还会影响医生操作手感；
2、手术过程本身具有不可预计性和随机性，医生对手术器械的操作方式，因人使用习惯而不同，非常容易出现由于感应装置被遮挡，脱落导致等原因，导致获取感应装置信号的物体不能按预期获取到感应信号，会出现手术器械追踪过程中断，追踪轨迹与实际位移轨迹有位置偏差或出现失真不准确的问题；
3、由于手术的复杂性，在手术器械上安装感应装置会让本来就很复杂的手术准备工作变得更加繁琐。
对于追踪术中的手术器械来说，属于对移动物体的追踪，基于上述方法在应用方面所受到的局限和出现的问题，本发明通过追踪包含移动目标即手术器械的视频，实现手术器械的追踪，从而为临床手术提供精准术中导航。
对视频中移动物体的追踪主要包含两个方面，目标检测和目标追踪，同时还会出现手术器械被遮挡、位移角度和速度的随机性大、运动幅度较大，甚至移出视频区域等问题。因此，我们选择跟踪-学习-检测（TLD追踪算法）算法，它是一种单目标长时间跟踪算法，通过检测、跟踪和学习三个模块相结合的方式进行在线跟踪，在追踪目标姿态发生改变、目标大小以及角度变化、目标发生部分遮挡或目标消失后重现时仍能准确追踪到目标的位置，并可以满足长时间跟踪的需要。但该算法对追踪目标的外观的变化较为敏感，且容易跟踪到与目标相似的物体上，不适合复杂的背景环境，该算法选取追踪目标特征值的方法很难将追踪目标从复杂的背景环境中分割出来，尤其是在复杂的背景环境下追踪快速移动的物体或外形比较模糊，与复杂的背景环境相似度较高，不易分割，尺寸偏小的目标物体，这会直接影响跟踪模块跟踪目标的时效性、准确性和稳定性。
同时，我们还要将这种追踪包含移动目标视频的方法追踪目标物体的运动轨迹同基于MR混合现实技术的手术辅助系统相融合，实现追踪目标的三维模型与追踪目标实体实时同步的技术效果，为手术方案的精确执行和手术操作效果的判断提供导航支持。
发明内容
本发明提供一种移动目标追踪系统和基于移动目标追踪的混合现实手术辅助系统，可以有效解决移动目标物体追踪所存在的问题，并将改进的移动目标物体追踪技术应用在基于混合现实技术的手术辅助系统上，使手术辅助系统能够提前判断手术器械作用点的操作效果，有助于精准选取手术器械在病灶处的最佳实施点。
本发明是通过以下技术方案实现的：
移动目标追踪系统包括用来采集和分帧传输包含目标物体视频的视频采集模块，在当前图片帧中提取追踪目标特征选区的特征点选取模块，对提取出的当前图片帧中的追踪目标选区进行灰度处理和二值化处理的图像处理模块，应用基于逻辑硬件的分水岭追踪算法和TLD追踪算法对选区内的追踪目标进行识别的目标检测模块，对包含追踪目标的当前图片帧中的追踪目标的实时位置坐标转换成世界坐标的数据处理模块，基于追踪目标的检测和实际位置的实时坐标反馈对追踪模块进行控制的控制模块，用于跟踪目标物体的跟踪模块，用于显示追踪目标运动轨迹的显示模块；
所述视频采集模块连接所述特征点选取模块，所述特征点选取模块连接所述图像处理模块和所述数据处理模块，所述图像处理模块连接目标检测模块，所述目标检测模块和所述数据处理模块连接控制模块，所述控制模块分别通信连接所述跟踪模块和所述显示模块；
所述特征点选取模块对视频采集模块采集的包含追踪目标的图片帧，进行初级特征选取，并在当前图片帧中生成包含追踪目标特征的选框；
图像处理模块对当前图片帧中选框内的图像进行灰度化处理，然后再将灰度化处理后的图像进行二值化处理；
基于图像处理模块处理后的每一帧包含追踪目标初级特征的选框，目标检测模块采用基于逻辑硬件的分水岭追踪算法对每一帧包含追踪目标初级特征选框内的图像进一步的特征选取，并与初级特征选框内的图像特征进行特征叠加，使当前图片帧中的追踪目标具有多个捕捉特征，再通过基于逻辑硬件的TLD追踪算法对当前图片帧中包含多个捕捉特征的追踪目标进行检测识别；
在显示模块中获取左上角顶点为相机初始坐标原点，基于选定好的相机初始坐标原点，数据处理模块计算当前图片帧中包含追踪目标的选框中心点的相机坐标，再将当前图片帧中包含追踪目标的选框中心点的相机坐标系转换成世界坐标系，并计算当前图片帧中包含追踪目标的选框中心点在世界坐标中的坐标，并将当前图片帧中包含追踪目标的选框中心点的世界坐标分别传输到控制模块和显示模块中；
所述控制模块基于当前图片帧中包含追踪目标的选框中心点的世界坐标，预测下一图片帧中包含追踪目标的选框中心点的所在位置，并根据每一个图片帧中包含追踪目标的选框中心点的实际位置，对预测位置进行修正，当前图片帧中包含追踪目标的选框中心点的预测位置与实际位置重合时，控制模块将当前图片帧中包含追踪目标的选框中心点的实际位置坐标传输到数据处理模块进行世界坐标转换，数据处理模块再将经过坐标转换后的当前图片帧中包含追踪目标的选框中心点的世界坐标传输到显示模块；
所述控制模块控制所述跟踪模块对当前图片帧中包含追踪目标多个捕捉特征的选框进行追踪；
所述显示模块为MR智能设备或显示屏或智能终端。
所述图像处理模块分别嵌入对当前图片帧中包含追踪目标的选框内图像进行灰度化处理的CvtColor函数和二值化处理的threshold函数。
所述图像处理模块对当前图片帧中包含追踪目标的选框内图像进行二值化处理的处理范围为MIXVALUE70，MAXVALUE255。
所述目标检测模块分别嵌入分水岭追踪算法和TLD追踪算法，采用分水岭追踪算法对当前图片帧中包含追踪目标初级特征的选框内的图像进行斑点圆度、突度、离心率的设定，进一步提取当前图片帧中包含追踪目标的选框内的图像特征。
所述目标检测模块嵌入DrawKeypoints函数，对分水岭追踪算法进一步提取的当前图片帧中包含追踪目标的选框内的图像特征与在特征点选取模块中选取的当前图片帧中包含追踪目标的选框内的初级特征进行叠加，增加特征值。
所述视频采集模块为景深摄像机，能够获取当前图片帧中包含目标物体的选框的景深坐标。
所述视频采集模块以30帧/秒的速度将每一帧图像传输到特征点选取模块，提高了检测及跟踪的速度。
所述移动目标追踪系统中的显示模块为可加载三维模型的MR智能设备，所述移动目标追踪系统的视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备、目标物体做初始高度和初始位置标定。
在所述MR智能设备中加载与追踪目标相对应的三维模型，将三维模型的中心点坐标与当前图片帧中包含追踪目标的选框中心点的世界坐标建立定位关联。
所述MR智能设备包含轨迹标注模块，所述轨迹标注模块可以在MR智能设备加载的三维模型上标注直线或射线或通过标记三维模型的运动轨迹点所形成的曲线。
有益效果：
1、本发明应用TLD追踪算法与图像精细分割的分水岭追踪算法相结合的方式，对当前图片帧中包含追踪目标的选框内的图像特征进一步选取，能够将目标物体与背景环境精细清晰地分割出来，尤其是在复杂的背景环境下快速移动的物体或外形比较模糊，与复杂的背景环境相似度较高，不易分割，尺寸偏小的目标物体，便于检测模块精准检测到目标物体，跟踪模块精准跟踪目标物体。
2、本发明采用TLD追踪算法与分水岭追踪算法均为在线学习方法，应用在线学习方法可以达到边检测边追踪边学习的效果，与需要长时间对追踪目标进行学习训练的传统离线学习方法相比较，具有满足检测目标种类多样化，应用灵活性高，识别与跟踪速度快，追踪准确率高等特点。
3、本发明将移动目标追踪系统与MR混合现实手术辅助系统相结合，以手术器械为追踪目标，与传统MR混合现实手术辅助系统相比较，能够实现手术器械的三维模型与手术器械实体实时同步，通过观察手术器械三维模型作用在人体病灶处三维模型的模拟效果，提前判断手术器械作用点的操作效果，有助于精准选取手术器械在病灶处的最佳实施点，为手术方案的实施提供预判，降低手术难度，缩短手术时间，提高手术成功率。
附图说明
附图1为本发明移动目标追踪系统的结构示意图；
附图2为本发明移动目标追踪系统实施的流程图；
附图3为本发明移动目标追踪系统实施步骤中的标定示意图；
附图4为基于移动目标追踪的混合现实手术辅助系统的结构示意图。
具体实施方式
我们选择采用跟踪-学习-检测算法（TLD追踪算法）结合分水岭追踪算法对移动目标进行检测和追踪，结合附图1和附图2说明本发明移动目标追踪系统的实施方式，移动目标追踪系统包括用来采集和分帧传输包含目标物体视频的视频采集模块，在当前图片帧中提取追踪目标选区的特征点选取模块，对提取出的当前图片帧中的追踪目标选区进行处理的图像处理模块，应用基于逻辑硬件的分水岭追踪算法和TLD追踪算法对选区内的追踪目标进行识别的目标检测模块，对包含追踪目标的当前图片帧中的追踪目标的位置坐标转换成世界坐标的数据处理模块，基于追踪目标的检测和实际位置的实时坐标反馈对追踪模块进行控制的控制模块，用于跟踪目标物体的跟踪模块，用于显示追踪目标运动轨迹的显示模块。
在本实施例中，所述视频采集模块采用的是广角为120°的景深摄像头；
所述显示模块为显示屏或MR智能设备或智能终端；
所述特征点选取模块对视频采集模块采集的包含追踪目标的图片帧，进行初级特征选取，并在当前图片帧中生成包含追踪目标特征的选框；
所述图像处理模块分别嵌入对当前图片帧中包含追踪目标的选框内图像进行灰度化处理的CvtColor函数和二值化处理的threshold函数；
所述目标检测模块分别嵌入分水岭追踪算法和TLD追踪算法，以及对当前图片帧中包含追踪目标选取的特征进行叠加的DrawKeypoints函数；
所述特征点选取模块、图像处理模块、目标检测模块、数据处理模块、控制模块、追踪模块均安装在计算机上并在计算机上执行各模块功能；
所述视频采集模块通信连接安装有特征点选取模块、图像处理模块、目标检测模块、数据处理模块、控制模块、追踪模块的计算机，计算机通信连接所述显示模块，具体的模块连接方式为：
所述视频采集模块连接所述特征点选取模块，所述特征点选取模块连接所述图像处理模块和所述数据处理模块，所述图像处理模块连接目标检测模块，所述目标检测模块和所述数据处理模块连接控制模块，所述控制模块分别通信连接所述跟踪模块和所述显示模块；
步骤S1:所述视频采集模块采集包含目标物体的视频，并以30帧/秒的速度将每一帧图像传输到特征点选取模块，每秒传输的图片的帧数越多，系统跟踪移动目标物体的速度也越快，跟踪的也越精准，准确率也会越高；
步骤S2:所述特征点选取模块对视频采集模块采集的包含追踪目标的图片帧，进行初级特征选取，并在当前图片帧中生成包含追踪目标特征的选框；
步骤S3:所述图像处理模块对当前图片帧中选框内的图像进行灰度化处理，然后再将灰度化处理后的图像进行二值化处理，二值化处理的处理范围为MIXVALUE70，MAXVALUE255，对于追踪目标是手术器械来说，二值化处理选定VALUE80、VALUE90、VALUE100的效果会更好，更容易识别；
步骤S4:所述目标检测模块采用基于逻辑硬件的分水岭追踪算法对图像处理模块处理后的，当前图片帧中包含追踪目标的选框内的图像进行斑点圆度、突度、离心率的参数设定，进一步提取当前图片帧中包含追踪目标的选框内的图像特征。
步骤S5和步骤S6:所述目标检测模块应用DrawKeypoints函数，对分水岭追踪算法进一步提取的当前图片帧中包含追踪目标的选框内的图像特征与在特征点选取模块中选取的当前图片帧中包含追踪目标的选框内的初级特征进行叠加，增加特征值，使当前图片帧中的追踪目标具有多个捕捉特征，再通过基于逻辑硬件的TLD追踪算法对当前图片帧中包含追踪目标多个捕捉特征的选框进行检测识别；
步骤S7:所述数据处理模块，计算当前图片帧中包含追踪目标的选框中心点的世界坐标，并将坐标分别传输到控制模块和显示模块，首先，所述数据处理模块通过显示模块获取屏幕左上角顶点为相机初始坐标原点，基于选定好的相机初始坐标原点，计算当前图片帧中包含追踪目标的选框中心点的相机坐标，再将当前图片帧中包含追踪目标的选框中心点的相机坐标系转换成世界坐标系，并计算当前图片帧中包含追踪目标的选框中心点在世界坐标中的坐标，并将当前图片帧中包含追踪目标的选框中心点的世界坐标分别传输到控制模块和显示模块中；
步骤S8:所述控制模块基于当前图片帧中包含追踪目标的选框中心点的世界坐标，预测下一图片帧中包含追踪目标的选框中心点的所在位置，并根据每一个图片帧中包含追踪目标的选框中心点的实际位置，对预测位置进行修正，当前图片帧中包含追踪目标的选框中心点的预测位置与实际位置重合时，控制模块将当前图片帧中包含追踪目标的选框中心点的实际位置坐标传输到数据处理模块进行世界坐标转换，数据处理模块再将经过坐标转换后的当前图片帧中包含追踪目标的选框中心点的世界坐标传输到显示模块。
步骤S9:所述控制模块控制所述跟踪模块对当前图片帧中包含追踪目标多个捕捉特征的选框进行追踪；
结合附图3和附图4对本实施例进行说明，基于移动目标追踪的混合现实手术辅助系统，是将移动目标追踪系统和混合现实技术相结合，其组成包括：移动目标追踪系统，所述移动目标追踪系统中的显示模块为可加载三维模型的MR智能设备1，所述移动目标追踪系统的视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备1、目标物体A做初始高度和初始位置标定，标定步骤为：
先确定MR智能设备1在使用时，距离追踪目标物体A的垂直高度H，再通过红外线传感器，将景深摄像头2与追踪目标物体A之间的垂直高度设定成H，标定好的高度值H传输到数据处理模块，再将景深摄像头2的焦点对准追踪目标物体A的中心点，确定追踪目标A的初始位置。
在所述MR智能设备中加载与追踪目标相对应的三维模型，将三维模型的中心点坐标与当前图片帧中包含追踪目标的选框中心点的世界坐标建立定位关联。
所述MR智能设备包含轨迹标注模块，所述轨迹标注模块可以在MR智能设备加载的三维模型上标注直线或射线或通过标记三维模型的运动轨迹点所形成的曲线，通过标记直线或射线或运动轨迹点所形成的曲线，预判手术器械操作后的效果，尤其适用于骨科内固定手术，通过本发明，可以预先看到髓内钉作用在人体骨骼上的进入点和出钉点，从而辅助医生了解操作效果，并选找出合适的作用点，缩短手术时间。
所述MR智能设备可以是带有增强现实或混合现实功能的智能头显设备或眼镜。
基于移动目标追踪的混合现实手术辅助系统可供1台及1台以上MR智能设备同时使用。
本实施方式只是对本专利的示例性说明，并不限定它的保护范围，本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精实质，都在本专利的保护范围内。

Claims (1)

1.基于混合现实设备的移动目标追踪系统，用来进行手术器械类移动目标识别并追踪，
其组成包括：
用来采集和分帧传输包含目标物体视频的视频采集模块；
在当前图片帧中提取追踪目标选区的特征点选取模块；
对提取出的当前图片帧中的追踪目标选区进行处理的图像处理模块；
应用基于逻辑硬件的分水岭追踪算法和TLD追踪算法对选区内的追踪目标进行识别的目标检测模块；
对包含追踪目标的当前图片帧中的追踪目标的位置坐标转换成世界坐标的数据处理模块；
基于追踪目标的检测和实际位置的实时坐标反馈对追踪模块进行控制的控制模块；
用于跟踪目标物体的跟踪模块；
用于显示追踪目标运动轨迹的显示模块；
所述视频采集模块连接所述特征点选取模块，所述特征点选取模块连接所述图像处理模块和所述数据处理模块，所述图像处理模块连接目标检测模块，所述目标检测模块和所述数据处理模块连接控制模块，所述控制模块分别通信连接所述跟踪模块和所述显示模块；
其特征在于：
基于混合现实设备的移动目标追踪系统执行的步骤如下：
步骤S1:视频采集模块采集包含目标物体的视频，并以30帧/秒的速度将每一帧图像传输到特征点选取模块；
步骤S2:所述特征点选取模块对视频采集模块采集的包含追踪目标的图片帧，进行初级特征选取，并在当前图片帧中生成包含追踪目标特征的选框；
步骤S3: 所述图像处理模块对当前图片帧中包含追踪目标的选框内图像进行灰度化处理,然后再将灰度化处理后的图像进行二值化处理；
步骤S4:目标检测模块采用基于逻辑硬件的分水岭追踪算法对图像处理模块处理后的，当前图片帧中包含追踪目标的选框内的图像进行斑点圆度、突度、离心率的参数设定，进一步提取当前图片帧中包含追踪目标的选框内的图像特征；
步骤S5：所述目标检测模块对分水岭追踪算法进一步提取的当前图片帧中包含追踪目标的选框内的图像特征与在所述特征点选取模块中选取的当前图片帧中包含追踪目标的选框内的初级特征进行叠加，增加特征值，使当前图片帧中的追踪目标具有多个捕捉特征；
步骤S6: 所述目标检测模块通过基于逻辑硬件的TLD追踪算法对当前图片帧中包含追踪目标多个捕捉特征的选框进行检测识别；
步骤S7: 数据处理模块，计算当前图片帧中包含追踪目标的选框中心点的世界坐标，并将坐标分别传输到控制模块和显示模块，首先，所述数据处理模块通过显示模块获取屏幕左上角顶点为相机初始坐标原点，基于选定好的相机初始坐标原点，计算当前图片帧中包含追踪目标的选框中心点的相机坐标，再将当前图片帧中包含追踪目标的选框中心点的相机坐标系转换成世界坐标系，并计算当前图片帧中包含追踪目标的选框中心点在世界坐标中的坐标，并将当前图片帧中包含追踪目标的选框中心点的世界坐标分别传输到控制模块和显示模块中；
步骤S8:控制模块基于当前图片帧中包含追踪目标的选框中心点的世界坐标，预测下一图片帧中包含追踪目标的选框中心点的所在位置，并根据每一个图片帧中包含追踪目标的选框中心点的实际位置，对预测位置进行修正，当前图片帧中包含追踪目标的选框中心点的预测位置与实际位置重合时，控制模块将当前图片帧中包含追踪目标的选框中心点的实际位置坐标传输到数据处理模块进行世界坐标转换，数据处理模块再将经过坐标转换后的当前图片帧中包含追踪目标的选框中心点的世界坐标传输到显示模块；
步骤S9:所述控制模块控制跟踪模块对当前图片帧中包含追踪目标多个捕捉特征的选框进行追踪；
所述显示模块为可加载三维模型的MR智能设备；
所述视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备、目标物体做初始高度和初始位置标定，标定步骤为：
S11、先确定MR智能设备在使用时，距离追踪目标物体的垂直高度H；
S12、通过红外线传感器，将视频采集模块与追踪目标物体之间的垂直高度设定成H，标定好的高度值H传输到数据处理模块；
S13、再将视频采集模块的焦点对准追踪目标物体的中心点，确定追踪目标的初始位置；
所述MR智能设备包含轨迹标注模块，所述轨迹标注模块可以在MR智能设备加载的三维模型上标注直线或射线，通过标记直线或射线，预判手术器械操作后的效果。
CN202011217316.8A 2020-11-04 2020-11-04 移动目标追踪系统及混合现实手术辅助系统 Active CN112348851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011217316.8A CN112348851B (zh) 2020-11-04 2020-11-04 移动目标追踪系统及混合现实手术辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011217316.8A CN112348851B (zh) 2020-11-04 2020-11-04 移动目标追踪系统及混合现实手术辅助系统

Publications (2)

Publication Number Publication Date
CN112348851A CN112348851A (zh) 2021-02-09
CN112348851B true CN112348851B (zh) 2021-11-12

Family

ID=74428386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011217316.8A Active CN112348851B (zh) 2020-11-04 2020-11-04 移动目标追踪系统及混合现实手术辅助系统

Country Status (1)

Country Link
CN (1) CN112348851B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141800A1 (en) * 2022-01-26 2023-08-03 Warsaw Orthopedic, Inc. Mobile x-ray positioning system
CN114972818B (zh) * 2022-05-07 2024-05-14 浙江理工大学 一种基于深度学习与混合现实技术的目标锁定系统
CN114706936B (zh) * 2022-05-13 2022-08-26 高德软件有限公司 地图数据处理方法及基于位置的服务提供方法
CN116385497B (zh) * 2023-05-29 2023-08-22 成都与睿创新科技有限公司 用于体腔内的自定义目标追踪方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093540A (zh) * 2007-07-18 2007-12-26 重庆大学 复杂背景下的人耳检测及多信息融合的人耳识别方法
CN105631870A (zh) * 2015-12-25 2016-06-01 北京理工大学 基于NoC架构的星图配准与目标轨迹提取方法及装置
CN107918765A (zh) * 2017-11-17 2018-04-17 中国矿业大学 一种移动目标检测并追踪系统及其方法
CN109636758A (zh) * 2018-12-15 2019-04-16 四创科技有限公司 一种基于时空动态算子的水面漂浮物检测方法
CN111658142A (zh) * 2019-03-07 2020-09-15 重庆高新技术产业开发区瑞晟医疗科技有限公司 一种基于mr的病灶全息导航方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100536770C (zh) * 2007-03-29 2009-09-09 新奥博为技术有限公司 一种磁共振图像引导下的手术系统及手术导航方法
CN102784003B (zh) * 2012-07-20 2014-10-15 李书纲 一种基于结构光扫描的椎弓根内固定手术导航系统
CN106529188B (zh) * 2016-11-25 2019-04-19 苏州国科康成医疗科技有限公司 应用于手术导航的图像处理方法
WO2018170440A1 (en) * 2017-03-17 2018-09-20 The Trustees Of Columbia University In The City Of New York Non-invasive systems and methods for rendering of cardiac electromechanical activation
US10716581B2 (en) * 2018-01-24 2020-07-21 DePuy Synthes Products, Inc. Method of designing and manufacturing low-profile customized patient-specific orthopaedic surgical instruments
CN109163734B (zh) * 2018-09-18 2020-10-30 北京机械设备研究所 一种基于双轴光纤旋转调制组合导航系统的自主标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093540A (zh) * 2007-07-18 2007-12-26 重庆大学 复杂背景下的人耳检测及多信息融合的人耳识别方法
CN105631870A (zh) * 2015-12-25 2016-06-01 北京理工大学 基于NoC架构的星图配准与目标轨迹提取方法及装置
CN107918765A (zh) * 2017-11-17 2018-04-17 中国矿业大学 一种移动目标检测并追踪系统及其方法
CN109636758A (zh) * 2018-12-15 2019-04-16 四创科技有限公司 一种基于时空动态算子的水面漂浮物检测方法
CN111658142A (zh) * 2019-03-07 2020-09-15 重庆高新技术产业开发区瑞晟医疗科技有限公司 一种基于mr的病灶全息导航方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自然场景下树上柑橘实时识别技术;吕强等;《农业机械学报》;20100228;第41卷(第2期);第185-189页 *

Also Published As

Publication number Publication date
CN112348851A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348851B (zh) 移动目标追踪系统及混合现实手术辅助系统
CN103076876B (zh) 基于视线跟踪与语音识别的字符输入装置和方法
US10881353B2 (en) Machine-guided imaging techniques
CN110547872B (zh) 手术导航注册系统
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
CN109345542A (zh) 一种穿戴式视觉注视目标定位装置及方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN109145803A (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN107145226A (zh) 眼控人机交互系统及方法
CN108681403A (zh) 一种采用视线跟踪的小车控制方法
US11737700B2 (en) Electrogram annotation system
CN111104960A (zh) 一种基于毫米波雷达和机器视觉的手语识别方法
CN106599873A (zh) 基于三维姿态信息的人物身份识别方法
CN104898971A (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统
CN103006332A (zh) 手术刀跟踪方法与装置及数字立体显微镜系统
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
Kondori et al. Direct hand pose estimation for immersive gestural interaction
CN116269749B (zh) 一种改良保留性神经的腹腔镜下膀胱癌手术系统
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
CN107368188B (zh) 介导现实中的基于多重空间定位的前景抽取方法及系统
CN109214295A (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN115311405A (zh) 一种双目内窥镜的三维重建方法
Jiang et al. I-VALS: Visual attention localization for mobile service computing
CN112132883A (zh) 一种基于深度相机的人体颈部灵活度测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant