CN113648061B - 一种基于混合现实的头戴式导航系统及导航配准方法 - Google Patents

一种基于混合现实的头戴式导航系统及导航配准方法 Download PDF

Info

Publication number
CN113648061B
CN113648061B CN202110802318.1A CN202110802318A CN113648061B CN 113648061 B CN113648061 B CN 113648061B CN 202110802318 A CN202110802318 A CN 202110802318A CN 113648061 B CN113648061 B CN 113648061B
Authority
CN
China
Prior art keywords
module
virtual model
surgical
data
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110802318.1A
Other languages
English (en)
Other versions
CN113648061A (zh
Inventor
张诗雷
万新军
林承重
张勇
董韶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority to CN202110802318.1A priority Critical patent/CN113648061B/zh
Publication of CN113648061A publication Critical patent/CN113648061A/zh
Application granted granted Critical
Publication of CN113648061B publication Critical patent/CN113648061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于混合现实的头戴式导航系统，包括光学定位跟踪仪、MR模块和PC模块，所述光学定位跟踪仪和所述PC模块相连，所述PC模块和所述MR模块相连；所述MR模块预存有手术虚拟模型，所述光学定位跟踪仪用于通过追踪探针获取所述手术虚拟模型的标志点或患者手术部位的标志点在光学定位跟踪仪坐标系下的位置数据，并将获取的位置数据传给所述PC模块，所述PC模块对收到的位置数据进行转换后传输至MR模块。本发明还涉及一种导航配准方法，采用基于奇异值分解的配准算法实现导航配准，本发明能够能够实现术中导航定位的精确性，降低手术风险。

Description

一种基于混合现实的头戴式导航系统及导航配准方法
技术领域
本发明涉及混合现实技术领域，特别是涉及一种基于混合现实的头戴式导航系统及导航配准方法。
背景技术
颅底及颌面外科具有解剖结构的复杂性，术区毗邻重要器官、神经、血管等，要求外科医生力求以较小的创伤，安全、精确的完成手术操作。随着精准医疗理念的提出及影像科学的发展，手术导航系统已被证实能够较为精准地显示病灶、毗邻血管及神经纤维束等结构，使得颅颌面外科手术精度大大提高。然而传统的手术导航系统也存在一些问题，如术中导航虚拟图像与患者术区实际图像在不能空间上共同显示，术者必须同时关注显示器及手术视野，对医师判断及操作有较高要求；而且目前大部分导航系统组成部件多，注册、配准时间较长。
混合现实(Mixed reality，MR)是指合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。MR具有现实与虚拟世界的深度拟合、三维虚拟模型与真实世界的精准匹配、环境与使用者的实时交互的特性。以Microsoft的HoloLens为代表的的MR设备，虚拟对象不像增强现实那样简单地投影在现实世界的表面上，而是允许MR用户与现实世界以及添加到其中的数字内容进行交互。
混合现实技术作为一项前沿的创新技术，它在医学邻域已有临床应用的报道。目前也有科研工作者正在开发相关产品和方法，如：现有技术中基于混合现实的术中位置导航系统，通过深度融合术中腔镜信号，实时动态重建数据，以实现术中导航定位降低风险和并发症；现有技术中还存在基于混合现实的医学微创手术训练系统，通过混合现实的手术过程，实现了真实感很强的医学微创手术的训练，为医院和医学院校提供了良好的训练平台。理论条件下，混合现实将患者实际解剖结构的成像技术所获取的视觉信息与手术部位通过跟踪系统进行术中整合，完成患者和手术器械位置的连续时空配准。
但是，混合现实技术距离临床术中导航的应用还有很多问题，其中一个主要原因就是目前混合现实导航的虚实配准技术还不够完善，这主要体现在两方面：一方面，其对于实时动态监控邻近器官及组织的功能还严重不足，无法准确判断深层结构如神经、血管、肿瘤等的空间相关关系，也不能计算目标解剖结构的深度；一方面，混合现实导航的准确性有待提高，三维建模图像与实际术区存在较大偏移，不能满足外科的高精准性要求。
发明内容
本发明所要解决的技术问题是提供一种基于混合现实的头戴式导航系统及导航配准方法，能够实现术中导航定位的精确性，降低手术风险。
本发明解决其技术问题所采用的技术方案是：提供一种基于混合现实的头戴式导航系统，包括光学定位跟踪仪、MR模块和PC模块，所述光学定位跟踪仪和所述PC模块相连，所述PC模块和所述MR模块相连；所述MR模块预存有手术虚拟模型，所述光学定位跟踪仪用于通过追踪探针获取所述手术虚拟模型的标志点或患者手术部位的标志点在光学定位跟踪仪坐标系下的位置数据，并将获取的位置数据传给所述PC模块，所述PC模块对收到的位置数据进行转换后传输至MR模块。
所述光学定位跟踪仪通过串行接口和所述PC模块相连。
所述MR模块包括MR数据端和MR眼镜，所述MR数据端和所述PC模块相连，所述MR数据端用于将所述PC模块发送的数据传输至MR眼镜。
所述PC模块包括数据处理单元和通信单元，所述数据处理单元和所述光学定位跟踪仪相连，所述通信单元和所述MR模块相连。
本发明解决其技术问题所采用的技术方案是：提供一种导航配准方法，采用上述基于混合现实的头戴式导航系统，包括：
步骤(1)：获取患者手术部位的CT数据，根据所述CT数据建立手术虚拟模型；
步骤(2)：将所述手术虚拟模型导入MR模块；
步骤(3)：通过基于奇异值分解的配准算法将所述手术虚拟模型从虚拟模型坐标系转换到光学定位跟踪仪坐标系；
步骤(4)：通过基于奇异值分解的配准算法将所述手术虚拟模型从光学定位跟踪仪坐标系转换到MR模块坐标系；
步骤(5)：所述PC模块用于实时采集和处理光学定位跟踪仪追踪的数据并传输至MR数据端，再通过MR眼镜实现对所述手术虚拟模型的实时动态显示。
所述步骤(3)具体为：通过光学定位跟踪仪追踪探针获取患者手术部位上的第一标志点在光学定位跟踪仪坐标系下的第一位置坐标；
所述手术虚拟模型中与所述第一标志点相对应的第二标志点的第二位置坐标已知；
通过基于奇异值分解的配准算法将所述第一位置坐标和第二位置坐标进行配准，来将所述手术虚拟模型从虚拟模型坐标系转换到光学定位跟踪仪坐标系。
所述步骤(4)具体为：通过光学定位跟踪仪追踪探针获取所述手术虚拟模型中预设虚拟坐标点在光学定位跟踪仪坐标系下的第三位置坐标；
通过基于奇异值分解的配准算法将所述预设虚拟坐标点和第三位置坐标进行配准，来将所述手术虚拟模型从光学定位跟踪仪坐标系转换到MR模块坐标系。
所述基于奇异值分解的配准算法包括：
构建源点集P在变换矩阵H作用下相对于目标点集Q之间的误差函数f，公式为：
Figure BDA0003165132440000031
R表示旋转矩阵，T表示平移向量；
通过计算旋转矩阵R和平移向量T使误差函数f达到最小值，具体为：
通过奇异值分解方法计算旋转矩阵R，公式为：[U,S,V]＝SVD(E)，其中，SVD()为矩阵奇异值分解，U表示第一正交阵，V表示第二正交阵，S表示以递减顺序排列的对角矩阵，
Figure BDA0003165132440000032
Trot表示矩阵转置，centroidP表示源点集P的质心且
Figure BDA0003165132440000033
Pi表示源点集P中的点，centroidQ表示目标点集Q的质心且
Figure BDA0003165132440000034
Qi表示目标点集Q中的点，N表示N表示源点集P或目标点集Q中点的数量；
根据所述旋转矩阵R计算平移向量T，公式为：T＝centroidQ-RcentroidP；
通过所述旋转矩阵R和所述平移向量T构建变换矩阵H，公式为：
Figure BDA0003165132440000035
所述步骤(5)中通过MR眼镜实现对所述手术虚拟模型的实时动态显示，具体为：通过光学定位跟踪仪实时追踪设置在患者手术部位上的被动定位支架来获取患者手术部位的位置变换数据，并根据所述患者手术部位的位置变换数据实时更新手术虚拟模型的位置数据，最后通过MR眼镜实现对所述手术虚拟模型的实时动态显示。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过基于奇异值分解的配准算法实现术前三维建模图像与导航目标视觉图像的实时动态融合，提高术中导航定位的精确性，降低手术风险；本发明采用基于混合现实的导航系统，由光学定位跟踪仪、MR模块和PC模块组成，结构简单，使用方便快捷；本发明基于混合现实技术，在施术过程中依照预先确定的最优手术路径，进行实时导航，辅助医生进行手术，能够保证医生在视野的合适位置处观察到当前的实时跟踪结果，不需要医生暂停手术操作观察跟踪结果，使得医生可以同时兼顾显示与操作，极大地减轻医生生理疲劳，缩短导航手术时间。
附图说明
图1是本发明实施方式的头戴式导航系统结构图；
图2是本发明实施方式的方法流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于混合现实的头戴式导航系统，请参阅图1，包括光学定位跟踪仪、MR模块和PC模块，所述光学定位跟踪仪和所述PC模块相连，所述PC模块和所述MR模块相连；所述MR模块预存有手术虚拟模型，所述光学定位跟踪仪用于通过追踪探针获取所述手术虚拟模型的标志点或患者手术部位的标志点在光学定位跟踪仪坐标系下的位置数据，并将获取的位置数据传给所述PC模块，所述PC模块对收到的位置数据进行转换后传输至MR模块。
进一步地，所述光学定位跟踪仪通过串行接口和所述PC模块相连，所述光学定位跟踪仪为NDI Polaris红外光学定位跟踪仪。
进一步地，所述MR模块包括MR数据端和MR眼镜，所述MR眼镜采用Hololens眼镜，所述MR数据端和所述PC模块相连，所述MR数据端用于将所述PC模块发送的数据传输至MR眼镜。
进一步地，所述PC模块包括数据处理单元和通信单元，所述数据处理单元和所述光学定位跟踪仪相连，所述通信单元和所述MR模块相连。
本实施方式涉及一种导航配准方法，请参阅图2，具体包括以下步骤：
1、获取患者术区CT数据，规划手术虚拟模型；
2、将手术虚拟模型导入unity开发环境，生成UWP应用程序导入MR数据端；
3、完成虚拟模型坐标系到光学定位跟踪仪坐标系的转换：在患者牙齿上预存储若干用于光学导航配准的第一标志点，利用被动定位探针采集第一标志点在光学定位跟踪仪坐标系下的第一位置坐标；由于手术虚拟模型上与第一标志点相对应的第二标志点在虚拟模型坐标系下的第二位置坐标已知，通过基于奇异值分解的配准算法这两组对应的标记点计算，求得虚拟模型坐标系到光学定位跟踪仪坐标系的转换。
4、完成光学定位跟踪仪坐标系到MR模块坐标系的转换：在MR模块里规划若干位置已知的虚拟坐标点，该虚拟坐标点标定的的坐标空间涵盖了手术虚拟模型，运行UWP程序，利用被动定位探针触碰虚拟坐标点，得到虚拟坐标点在光学定位跟踪仪坐标系下的第三位置坐标，通过基于奇异值分解的配准算法将这两组对应的坐标位置计算，完成光学定位跟踪仪坐标系到MR模块坐标系的转换。
5、经过虚拟模型坐标系到光学定位跟踪仪坐标系的转换、光学定位跟踪仪坐标系到MR模块坐标系的转换，最终计算完成虚拟模型坐标系到MR模块坐标系的转换。
6、PC模块作为服务器，MR模块作为客户端，在PC模块进行数据的采集与计算，利用PC模块和MR模块之间的双向通信，将计算得到的转换数据无线传输到MR模块，在MR模块控制手术虚拟模型的旋转与平移。
7、数据的实时更新：固定于导航目标头部的被动定位支架上装有4个可被光学定位跟踪仪跟踪识别的反光球，这4个反光球定义了一个表示导航目标所在空间的现实空间；光学定位跟踪仪通过跟踪固定在头骨上的被动定位支架实时获取被动定位支架的位置坐标，并通过前后两帧的坐标变化计算被动定位支架的旋转平移矩阵，从而可以跟踪设置在患者手术部位上的被动定位支架的运动，由于被动定位支架和头骨是刚性连接的，进而得到前后两帧之间头骨位置的变换，并根据头骨位置的变换实时更新手术虚拟模型的位置数据，最后通过MR眼镜实现三维图像与导航目标的实时动态显示。
8、实现术前虚拟规划建模及导航目标视觉图像视网膜上图像的融合显示：通过上述配准算法，实现术前虚拟规划图像与导航目标的配准，导航目标的视觉图像即导航目标通过反射可见光，直接透过半透明全息透镜进入人眼所形成，最终在人眼视网膜上直接实现术前虚拟规划建模图像及导航目标视觉图像的配准融合显示。
以下对步骤4和步骤5中基于奇异值分解(SVD)的配准算法进行详细介绍：
配准的目的是将不同坐标系的两组点集统一到同一坐标系，可以通过一组映射变换H实现：
Figure BDA0003165132440000061
其中，R表示旋转矩阵，T表示平移向量，V表示透视变化向量，S表示比例因子。
由于本实施方式中的变换为刚体变换，没有形变，只有旋转和平移变换，故此处的V为零向量，S＝1。此时：
Figure BDA0003165132440000062
其中，旋转矩阵R为3×3的矩阵，平移向量T为3×1的矩阵。
若已知Pi(xi,yi,zi)为光学定位跟踪仪坐标系中一点，Qi(x’i,y’i,z’i)为MR模块坐标系下一点，则三维坐标点Pi(xi,yi,zi)和Qi(x’i,y’i,z’i)的转化关系为：
Figure BDA0003165132440000063
进一步地，将一个坐标系中的点集转化到另一个坐标系的点集需要找到这两组对应点集之间的最佳的旋转矩阵R和平移向量T，且每组点集至少需要三个已知点，且这三个点不能共面。
若用f表示源点集P在变换矩阵H作用下相对于目标点集Q之间的误差，则求解最优的转换矩阵即为求解当满足误差最小时的变换矩阵(R,T)，即：
Figure BDA0003165132440000064
其中，Pi表示源点集P中的点，Qi表示目标点集Q中的点。
进一步地，得到最佳的变换矩阵可以分解为以下步骤：
(1)寻找两个点集的质心：
Figure BDA0003165132440000065
Figure BDA0003165132440000066
其中，Pi与Qi均为3×1向量，centroidP和centroidQ分别表示源点集P和目标点集Q的质心，N表示源点集P或目标点集Q中点的数量(P、Q点集中的点是一一对应的关系)。
(2)去除两组点集平移分量，基于奇异值分解(SVD)，找到最佳的旋转矩阵R
奇异值分解就是将矩阵E分解为三个矩阵，即：
[U,S,V]＝SVD(E)
其中，S表示以递减顺序排列的对角矩阵，U表示第一正交阵，V表示第二正交阵；矩阵E是通过源点集P和目标点集Q两组点集构建出来，公式为：
Figure BDA0003165132440000071
其中，Trot表示矩阵转置，最终旋转矩阵R可通过第一正交阵V和第二正交阵U计算求得，即：
Figure BDA0003165132440000072
若点集中点的个数大于三，则求得的为最小二乘解。
(3)求解最佳的平移向量T
目标点集Q可由以下公式求得：
RP+T＝Q
由上式结合上述步骤(1)可求得：
T＝centroidQ-RcentroidP
通过上述公式求解出最佳的旋转矩阵R和平移向量T，即可重新构造变换矩阵H。
进一步地，在本实施方式中，若
Figure BDA0003165132440000073
代表将光学定位跟踪仪坐标系{Tr}中的源点集P转换到MR模块坐标系{h}中的目标点集Q，则
Figure BDA0003165132440000074
可表示为：
Q＝HP
本实施方式中整个系统包括三个坐标系，分别为：光学定位跟踪仪坐标系{Tr}、虚拟模型坐标系{V}、MR模块坐标系{h}；
空间配准的最终目的是通过协调三个坐标系之间的转换关系，将虚拟模型配准，主要包括如下步骤：
求解
Figure BDA0003165132440000075
即虚拟模型坐标系{V}与光学定位跟踪仪坐标系{Tr}之间的转换矩阵。
求解
Figure BDA0003165132440000076
即光学定位跟踪仪坐标系{Tr}和MR模块坐标系{h}之间的转换矩阵。
求解
Figure BDA0003165132440000077
即虚拟模型坐标系{V}和MR模块坐标系{h}之间的转换矩阵。
最后完成虚拟模型坐标系到MR模块坐标系的转换：
Figure BDA0003165132440000078
由此可见，本发明通过基于奇异值分解的配准算法实现术前三维建模图像与导航目标视觉图像的实时动态融合，提高术中导航定位的精确性，降低手术风险。

Claims (7)

1.一种导航配准方法，其特征在于，包括：
步骤(1)：获取患者手术部位的CT数据，根据所述CT数据建立手术虚拟模型；
步骤(2)：将所述手术虚拟模型导入MR模块；
步骤(3)：通过基于奇异值分解的配准算法将所述手术虚拟模型从虚拟模型坐标系转换到光学定位跟踪仪坐标系；
步骤(4)：通过基于奇异值分解的配准算法将所述手术虚拟模型从光学定位跟踪仪坐标系转换到MR模块坐标系；
所述步骤(4)具体为：通过光学定位跟踪仪追踪探针获取所述手术虚拟模型中预设虚拟坐标点在光学定位跟踪仪坐标系下的第三位置坐标；
通过基于奇异值分解的配准算法将所述预设虚拟坐标点和第三位置坐标进行配准，来将所述手术虚拟模型从光学定位跟踪仪坐标系转换到MR模块坐标系；
所述基于奇异值分解的配准算法包括：
构建源点集P在变换矩阵H作用下相对于目标点集Q之间的误差函数f，公式为：
Figure FDA0003719499220000011
R表示旋转矩阵，T表示平移向量；
通过计算旋转矩阵R和平移向量T使误差函数f达到最小值，具体为：
通过奇异值分解方法计算旋转矩阵R，公式为：[U,S,V]＝SVD(E)，其中，SVD()为矩阵奇异值分解，U表示第一正交阵，V表示第二正交阵，S表示以递减顺序排列的对角矩阵，
Figure FDA0003719499220000012
Trot表示矩阵转置，centroidP表示源点集P的质心且
Figure FDA0003719499220000013
Pi表示源点集P中的点，centroidQ表示目标点集Q的质心且
Figure FDA0003719499220000014
Qi表示目标点集Q中的点，N表示源点集P或目标点集Q中点的数量；
根据所述旋转矩阵R计算平移向量T，公式为：T＝centroidQ-RcentroidP；
通过所述旋转矩阵R和所述平移向量T构建变换矩阵H，公式为：
Figure FDA0003719499220000015
步骤(5)：PC模块用于实时采集和处理光学定位跟踪仪追踪的数据并传输至MR数据端，再通过MR眼镜实现对所述手术虚拟模型的实时动态显示。
2.根据权利要求1所述的导航配准方法，其特征在于，所述步骤(3)具体为：通过光学定位跟踪仪追踪探针获取患者手术部位上的第一标志点在光学定位跟踪仪坐标系下的第一位置坐标；
所述手术虚拟模型中与所述第一标志点相对应的第二标志点的第二位置坐标已知；
通过基于奇异值分解的配准算法将所述第一位置坐标和第二位置坐标进行配准，来将所述手术虚拟模型从虚拟模型坐标系转换到光学定位跟踪仪坐标系。
3.根据权利要求1所述的导航配准方法，其特征在于，所述步骤(5)中通过MR眼镜实现对所述手术虚拟模型的实时动态显示，具体为：通过光学定位跟踪仪实时追踪设置在患者手术部位上的被动定位支架来获取患者手术部位的位置变换数据，并根据所述患者手术部位的位置变换数据实时更新手术虚拟模型的位置数据，最后通过MR眼镜实现对所述手术虚拟模型的实时动态显示。
4.一种采用如权利要求1-3中任一项所述导航配准方法的基于混合现实的头戴式导航系统，其特征在于，包括光学定位跟踪仪、MR模块和PC模块，所述光学定位跟踪仪和所述PC模块相连，所述PC模块和所述MR模块相连；所述MR模块预存有手术虚拟模型，所述光学定位跟踪仪用于通过追踪探针获取所述手术虚拟模型的标志点或患者手术部位的标志点在光学定位跟踪仪坐标系下的位置数据，并将获取的位置数据传给所述PC模块，所述PC模块对收到的位置数据进行转换后传输至MR模块。
5.根据权利要求4所述的基于混合现实的头戴式导航系统，其特征在于，所述光学定位跟踪仪通过串行接口和所述PC模块相连。
6.根据权利要求4所述的基于混合现实的头戴式导航系统，其特征在于，所述MR模块包括MR数据端和MR眼镜，所述MR数据端和所述PC模块相连，所述MR数据端用于将所述PC模块发送的数据传输至MR眼镜。
7.根据权利要求4所述的基于混合现实的头戴式导航系统，其特征在于，所述PC模块包括数据处理单元和通信单元，所述数据处理单元和所述光学定位跟踪仪相连，所述通信单元和所述MR模块相连。
CN202110802318.1A 2021-07-15 2021-07-15 一种基于混合现实的头戴式导航系统及导航配准方法 Active CN113648061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802318.1A CN113648061B (zh) 2021-07-15 2021-07-15 一种基于混合现实的头戴式导航系统及导航配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802318.1A CN113648061B (zh) 2021-07-15 2021-07-15 一种基于混合现实的头戴式导航系统及导航配准方法

Publications (2)

Publication Number Publication Date
CN113648061A CN113648061A (zh) 2021-11-16
CN113648061B true CN113648061B (zh) 2022-08-09

Family

ID=78478030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802318.1A Active CN113648061B (zh) 2021-07-15 2021-07-15 一种基于混合现实的头戴式导航系统及导航配准方法

Country Status (1)

Country Link
CN (1) CN113648061B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114114688A (zh) * 2021-11-17 2022-03-01 上海理工大学 一种基于光学追踪器的ar眼镜定位方法及系统
CN116993794B (zh) * 2023-08-02 2024-05-24 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110215284A (zh) * 2019-06-06 2019-09-10 上海木木聚枞机器人科技有限公司 一种可视化系统和方法
CN112190328A (zh) * 2020-09-17 2021-01-08 常州锦瑟医疗信息科技有限公司 一种全息透视定位系统及定位方法
CN113034700A (zh) * 2021-03-05 2021-06-25 广东工业大学 基于移动终端的前交叉韧带重建手术导航方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
TWI711428B (zh) * 2019-04-16 2020-12-01 國立成功大學 用於醫療用具的光學追蹤系統及訓練系統
TWI741359B (zh) * 2019-08-30 2021-10-01 國立中央大學 與手術導航系統整合之混合實境系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110215284A (zh) * 2019-06-06 2019-09-10 上海木木聚枞机器人科技有限公司 一种可视化系统和方法
CN112190328A (zh) * 2020-09-17 2021-01-08 常州锦瑟医疗信息科技有限公司 一种全息透视定位系统及定位方法
CN113034700A (zh) * 2021-03-05 2021-06-25 广东工业大学 基于移动终端的前交叉韧带重建手术导航方法及系统

Also Published As

Publication number Publication date
CN113648061A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
WO2021217713A1 (zh) 手术导航系统及执行手术导航方法的计算机与存储介质
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
US8509503B2 (en) Multi-application robotized platform for neurosurgery and resetting method
US20190254753A1 (en) Augmented reality navigation systems for use with robotic surgical systems and methods of their use
USRE43952E1 (en) Interactive system for local intervention inside a non-homogeneous structure
CN101904770B (zh) 一种基于光学增强现实技术的手术导航系统及方法
CN101474075B (zh) 微创手术导航系统
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
CN202751447U (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
RU2707369C1 (ru) Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления
CN114711969A (zh) 一种手术机器人系统及其使用方法
CN101797182A (zh) 一种基于增强现实技术的鼻内镜微创手术导航系统
CN113648061B (zh) 一种基于混合现实的头戴式导航系统及导航配准方法
CN107182200B (zh) 微创手术导航系统
JP2013540455A (ja) 解剖学的表面の支援型自動データ収集方法
US20210196404A1 (en) Implementation method for operating a surgical instrument using smart surgical glasses
CN112043382A (zh) 一种外科手术导航系统及其使用方法
CN115105207A (zh) 基于混合现实的手术全息导航方法及系统
US10792122B2 (en) Object developing and calibrating method in a surgical environment
CN112168346A (zh) 三维医学影像与患者实时重合的方法及手术辅助系统
CN113229937A (zh) 一种利用实时结构光技术实现手术导航的方法和系统
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
Eom et al. AR-assisted surgical guidance system for ventriculostomy
Harders et al. Multimodal augmented reality in medicine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant