CN117379178A - 一种基于光磁混合跟踪的增强现实手术导航方法及装置 - Google Patents
一种基于光磁混合跟踪的增强现实手术导航方法及装置 Download PDFInfo
- Publication number
- CN117379178A CN117379178A CN202311271461.8A CN202311271461A CN117379178A CN 117379178 A CN117379178 A CN 117379178A CN 202311271461 A CN202311271461 A CN 202311271461A CN 117379178 A CN117379178 A CN 117379178A
- Authority
- CN
- China
- Prior art keywords
- tracking
- optical
- real
- magnetic field
- field generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 99
- 210000000056 organ Anatomy 0.000 claims abstract description 23
- 238000007917 intracranial administration Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 210000003625 skull Anatomy 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 210000003484 anatomy Anatomy 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Computer Hardware Design (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种基于光磁混合跟踪的增强现实手术导航方法及装置，能够实现对手术器械和患者的全方位实时跟踪，解决光学遮挡问题，并将术前医学影像叠加至术中显微镜视图中，扩展医生的手术视野。方法包括：(1)获取影像并进行头颅皮肤和颅内关键结构的分割与三维重建；(2)实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；(3)执行手术显微镜和结构光相机的内外参标定；(4)显微镜下患者器官的实时虚实融合显示；(5)手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于光磁混合跟踪的增强现实手术导航方法，以及基于光磁混合跟踪的增强现实手术导航装置。
背景技术
增强现实(Augmented Reality，AR)技术在神经外科显微镜手术中的应用具有巨大的潜力，可提高手术的精确性、安全性和效率。AR技术可以用于在患者的脑部或脊髓上创建虚拟导航标记，帮助医生更准确地定位病变、解剖结构和手术目标。AR技术可以将病变、血管和神经结构的三维图像叠加到医生的显微镜视野中，使医生能够更清晰地看到患者的解剖结构。当前的神经外科手术导航系统普遍采用光学跟踪仪进行手术器械和患者的跟踪，但神经外科手术室空间狭小、医生的手术操作势必会遮挡光学跟踪仪对手术器械的跟踪，从而大幅增加手术风险。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于光磁混合跟踪的增强现实手术导航方法，其能够实现对手术器械和患者的全方位实时跟踪，解决光学遮挡问题，并将术前医学影像叠加至术中显微镜视图中，扩展医生的手术视野。
本发明的技术方案是：这种基于光磁混合跟踪的增强现实手术导航方法，其包括以下步骤：
(1)获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
(2)利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；
(3)在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
(4)将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
(5)手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
本发明通过光学跟踪仪跟踪显微镜和磁场发生器，通过磁场发生器跟踪手术器械和患者的位姿，利用光学与电磁的联合标定实现显微镜、手术器械、患者位姿的坐标统一，因此能够实现对手术器械和患者的全方位实时跟踪，解决光学遮挡问题，并将术前医学影像叠加至术中显微镜视图中，扩展医生的手术视野。
还提供了基于光磁混合跟踪的增强现实手术导航装置，其包括：
分割与重建模块，其配置来获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
坐标统一模块，其配置来利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；内外参标定模块，其配置来在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
显示模块，其配置来将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
跟踪数据传递模块，其配置来在手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
附图说明
图1是根据本发明的基于光磁混合跟踪的增强现实手术导航方法的流程图。
图2是根据本发明的基于光磁混合跟踪的增强现实手术导航方法的一个具体实施例的原理框图。
具体实施方式
如图1所示，这种基于光磁混合跟踪的增强现实手术导航方法，其包括以下步骤：
(1)获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
(2)利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；
(3)在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
(4)将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
(5)手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
本发明通过光学跟踪仪跟踪显微镜和磁场发生器，通过磁场发生器跟踪手术器械和患者的位姿，利用光学与电磁的联合标定实现显微镜、手术器械、患者位姿的坐标统一，因此能够实现对手术器械和患者的全方位实时跟踪，解决光学遮挡问题，并将术前医学影像叠加至术中显微镜视图中，扩展医生的手术视野。
优选地，所述步骤(1)中，获得颅面和颅内解剖结构的三维模型，从患者的CT或MRI图像中分割重建患者的颅面皮肤和颅内解剖结构。
优选地，所述步骤(2)中，光学与电磁跟踪设备混合标定：磁场发生器的外参标定是求解磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵M，使用光学标记和磁传感器设计组合工具，工具尖端在光学标记和磁传感器坐标系中的位置通过数轴校准分别计算；从不同位置获取工具尖端在磁场发生器光学跟踪标记和磁场发生器的对应点集，利用点集配准方法获得磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵；此时，磁场发生器获取的跟踪数据根据坐标变换框架转换至光学相机坐标系，实现光学与电磁跟踪设备坐标系的统一。
优选地，所述步骤(3)中，三维扫描仪外参标定与颅面点云非接触重建：为了通过三维扫描仪对颅面进行非接触重建，离线标定扫描仪与附着于其上的光学标志物之间的转换关系；利用扫描仪分层手眼标定方法，对三维标定模型进行多方位扫描重建并进行匹配优化，构建扫描仪与光学标志物的手眼变换模型，进而采用罗德里格斯变换和有限差分方法求解扫描仪手眼变换的最优解；结合扫描仪和光学标志物的跟踪信息，将患者颅面扫描点云映射至患者空间，实现颅面点云的非接触重建。
优选地，所述步骤(3)中，术前影像与患者空间位姿配准。采用Super4PCS方法实现术前医学影像与患者空间非接触重建点云的位姿配准。
优选地，所述步骤(3)中，基于透视N点匹配的显微镜内外参标定：显微镜标定是为了确定显微镜与光学标志物间的转换矩阵M1以及显微镜自身的内参，在光学跟踪仪的跟踪范围内利用显微镜从多视角拍摄棋盘格图像并利用透视N点匹配算法计算显微镜的内参和M1；通过上述标定过程，获得显微镜在光学跟踪相机坐标系下的实时位姿，结合光磁设备的混合标定以及术前医学影像与患者空间的配准，获得基于显微镜的术前虚拟模型与术中真实场景的融合效果。
优选地，所述步骤(4)中，基于顺序无关透明度调制的面片分层渲染：利用顺序无关透明度调制方法以区分重要和不重要组织结构，并加强对重要结构的透明度调制；从前到后或从后到前对面片进行排序，通过深度剥离多次渲染透明对象，每次剥离一层；为处理多面片的不均匀透明度，利用顺序无关透明度调制方法对每个像素值进行加权平均获得颜色合成模型；为区分重要与不重要器官，将颅内各类器官赋予重要性因子的描述，该值位于0和1之间，1表示当前选择的器官最重要。
优选地，所述步骤(4)中，混合数据实时剖切：为了获悉器官的深层次三维结构信息，针对混合渲染场景的数据实时剖切，通过手术器械尖端位置与方向，构建一个立方体空间，利用该立方体对体数据进行视图剖切，获得体数据内部的三维结构信息；通过实时立方体剖切，实现立方体范围内术前虚拟模型与真实器官的混合渲染与融合显示。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于光磁混合跟踪的增强现实手术导航装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
分割与重建模块，其配置来获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
坐标统一模块，其配置来利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；内外参标定模块，其配置来在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
显示模块，其配置来将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
跟踪数据传递模块，其配置来在手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
以下更详细地说明本发明的一个实施例。
如图2所示，该方法包括以下步骤：
S101，获得颅面和颅内解剖结构的三维模型。从患者的CT或MRI图像中分割重建患者的颅面皮肤和颅内解剖结构。
S102，光学与电磁跟踪设备混合标定。磁场发生器的外参标定主要是求解磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵M。使用光学标记和磁传感器设计组合工具，工具尖端在光学标记和磁传感器坐标系中的位置通过数轴校准分别计算。从不同位置获取工具尖端在磁场发生器光学跟踪标记和磁场发生器的对应点集，利用点集配准方法可获得磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵。此时，磁场发生器获取的跟踪数据可根据坐标变换框架转换至光学相机坐标系，实现光学与电磁跟踪设备坐标系的统一。
S103，三维扫描仪外参标定与颅面点云非接触重建。为了通过三维扫描仪对颅面进行非接触重建，需离线标定扫描仪与附着于其上的光学标志物之间的转换关系。为此，我们利用扫描仪分层手眼标定方法，对三维标定模型进行多方位扫描重建并进行匹配优化，构建扫描仪与光学标志物的手眼变换模型，进而采用罗德里格斯变换和有限差分方法求解扫描仪手眼变换的最优解。而后，结合扫描仪和光学标志物的跟踪信息，将患者颅面扫描点云映射至患者空间，实现颅面点云的非接触重建。
S104，术前影像与患者空间位姿配准。采用Super4PCS方法实现术前医学影像与患者空间非接触重建点云的位姿配准。
S105，基于透视N点匹配的显微镜内外参标定。显微镜标定是为了确定显微镜与光学标志物间的转换矩阵M1以及显微镜自身的内参。在光学跟踪仪的跟踪范围内利用显微镜从多视角拍摄棋盘格图像并利用透视N点匹配算法可计算显微镜的内参和M1。通过上述标定过程，显微镜在光学跟踪相机坐标系下的实时位姿便可获得，结合光磁设备的混合标定以及术前医学影像与患者空间的配准，基于显微镜的术前虚拟模型与术中真实场景的融合效果可获得。
S106，基于顺序无关透明度调制的面片分层渲染。利用顺序无关透明度调制方法以区分重要和不重要组织结构，并加强对重要结构的透明度调制。使最终渲染效果在具有明确深度和遮挡关系的同时，获得重要器官的明确信息。面片渲染方法需要从前到后或从后到前对面片进行排序，深度剥离是面片排序问题的鲁棒解决方案，它多次渲染透明对象，每次剥离一层。深度剥离技术的本质是穿过一个场景次可剥离场景的第层，并可获得每个层的像素信息，包括颜色和透明度。为处理多面片的不均匀透明度，利用顺序无关透明度调制方法对每个像素值进行加权平均可获得颜色合成模型。为区分重要与不重要器官，将颅内各类器官赋予重要性因子的描述，该值位于0和1之间，1表示当前选择的器官最重要。
S107，混合数据实时剖切。为了获悉器官的深层次三维结构信息，针对混合渲染场景的数据实时剖切显示十分必要。通过手术器械尖端位置与方向，可构建一个立方体空间，利用该立方体对体数据进行视图剖切，可获得体数据内部的三维结构信息。通过实时立方体剖切，可实现立方体范围内术前虚拟模型与真实器官的混合渲染与融合显示，为医生提供连续的虚实融合可视化效果。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.一种基于光磁混合跟踪的增强现实手术导航方法，其特征在于：其包括以下步骤：
(1)获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
(2)利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；
(3)在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
(4)将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
(5)手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
2.根据权利要求1所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(1)中，获得颅面和颅内解剖结构的三维模型，从患者的CT或MRI图像中分割重建患者的颅面皮肤和颅内解剖结构。
3.根据权利要求2所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(2)中，光学与电磁跟踪设备混合标定：磁场发生器的外参标定是求解磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵M，使用光学标记和磁传感器设计组合工具，工具尖端在光学标记和磁传感器坐标系中的位置通过数轴校准分别计算；从不同位置获取工具尖端在磁场发生器光学跟踪标记和磁场发生器的对应点集，利用点集配准方法获得磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵；此时，磁场发生器获取的跟踪数据根据坐标变换框架转换至光学相机坐标系，实现光学与电磁跟踪设备坐标系的统一。
4.根据权利要求3所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(3)中，三维扫描仪外参标定与颅面点云非接触重建：为了通过三维扫描仪对颅面进行非接触重建，离线标定扫描仪与附着于其上的光学标志物之间的转换关系；利用扫描仪分层手眼标定方法，对三维标定模型进行多方位扫描重建并进行匹配优化，构建扫描仪与光学标志物的手眼变换模型，进而采用罗德里格斯变换和有限差分方法求解扫描仪手眼变换的最优解；结合扫描仪和光学标志物的跟踪信息，将患者颅面扫描点云映射至患者空间，实现颅面点云的非接触重建。
5.根据权利要求4所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(3)中，术前影像与患者空间位姿配准，采用Super4PCS方法实现术前医学影像与患者空间非接触重建点云的位姿配准。
6.根据权利要求5所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(3)中，基于透视N点匹配的显微镜内外参标定：显微镜标定是为了确定显微镜与光学标志物间的转换矩阵M1以及显微镜自身的内参，在光学跟踪仪的跟踪范围内利用显微镜从多视角拍摄棋盘格图像并利用透视N点匹配算法计算显微镜的内参和M1；通过上述标定过程，获得显微镜在光学跟踪相机坐标系下的实时位姿，结合光磁设备的混合标定以及术前医学影像与患者空间的配准，获得基于显微镜的术前虚拟模型与术中真实场景的融合效果。
7.根据权利要求6所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(4)中，基于顺序无关透明度调制的面片分层渲染：利用顺序无关透明度调制方法以区分重要和不重要组织结构，并加强对重要结构的透明度调制；从前到后或从后到前对面片进行排序，通过深度剥离多次渲染透明对象，每次剥离一层；为处理多面片的不均匀透明度，利用顺序无关透明度调制方法对每个像素值进行加权平均获得颜色合成模型；为区分重要与不重要器官，将颅内各类器官赋予重要性因子的描述，该值位于0和1之间，1表示当前选择的器官最重要。
8.根据权利要求7所述的基于光磁混合跟踪的增强现实手术导航方法，其特征在于：所述步骤(4)中，混合数据实时剖切：为了获悉器官的深层次三维结构信息，针对混合渲染场景的数据实时剖切，通过手术器械尖端位置与方向，构建一个立方体空间，利用该立方体对体数据进行视图剖切，获得体数据内部的三维结构信息；通过实时立方体剖切，实现立方体范围内术前虚拟模型与真实器官的混合渲染与融合显示。
9.根据权利要求1所述的基于光磁混合跟踪的增强现实手术导航方法的装置，其特征在于：其包括：
分割与重建模块，其配置来获取患者CT或MRI影像，并进行头颅皮肤和颅内关键结构的分割与三维重建；
坐标统一模块，其配置来利用光学跟踪仪对磁场发生器的跟踪，实现光学跟踪标记、磁传感器的实时位姿统一到光学跟踪仪坐标系；内外参标定模块，其配置来在光学跟踪仪的跟踪范围内，执行手术显微镜和结构光相机的内外参标定；
显示模块，其配置来将由结构光相机重建的颅面点云配准至术前医学影像，实现显微镜下患者器官的实时虚实融合显示；
跟踪数据传递模块，其配置来在手术中，光学跟踪相机执行对手术显微镜和磁场发生器的实时跟踪，磁场发生器执行对患者头部和穿刺针的实时跟踪，并将跟踪数据传递至光学跟踪相机坐标系。
10.根据权利要求9所述的基于光磁混合跟踪的增强现实手术导航方法的装置，其特征在于：其包括：所述坐标统一模块执行光学与电磁跟踪设备混合标定：磁场发生器的外参标定是求解磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵M，使用光学标记和磁传感器设计组合工具，工具尖端在光学标记和磁传感器坐标系中的位置通过数轴校准分别计算；从不同位置获取工具尖端在磁场发生器光学跟踪标记和磁场发生器的对应点集，利用点集配准方法获得磁场发生器与附着在其上的光学跟踪标记之间的转换矩阵；此时，磁场发生器获取的跟踪数据根据坐标变换框架转换至光学相机坐标系，实现光学与电磁跟踪设备坐标系的统一。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311271461.8A CN117379178A (zh) | 2023-09-28 | 2023-09-28 | 一种基于光磁混合跟踪的增强现实手术导航方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311271461.8A CN117379178A (zh) | 2023-09-28 | 2023-09-28 | 一种基于光磁混合跟踪的增强现实手术导航方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117379178A true CN117379178A (zh) | 2024-01-12 |
Family
ID=89440080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311271461.8A Pending CN117379178A (zh) | 2023-09-28 | 2023-09-28 | 一种基于光磁混合跟踪的增强现实手术导航方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117379178A (zh) |
-
2023
- 2023-09-28 CN CN202311271461.8A patent/CN117379178A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11883118B2 (en) | Using augmented reality in surgical navigation | |
| US9498132B2 (en) | Visualization of anatomical data by augmented reality | |
| WO2017211087A1 (zh) | 一种内窥镜手术导航方法和系统 | |
| CN103040525B (zh) | 一种多模医学影像手术导航方法及系统 | |
| Grimson et al. | Clinical experience with a high precision image-guided neurosurgery system | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| US10743941B2 (en) | Method and system for trackerless image guided soft tissue surgery and applications of same | |
| CN115105207A (zh) | 基于混合现实的手术全息导航方法及系统 | |
| CN111466935B (zh) | 医学成像设备、用于支持医务人员的方法和存储介质 | |
| US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
| CN116421313A (zh) | 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 | |
| Alam et al. | A review on extrinsic registration methods for medical images | |
| CN113100941B (zh) | 基于ss-oct手术导航系统的图像配准方法及系统 | |
| Shao et al. | Augmented reality navigation with real-time tracking for facial repair surgery | |
| Fan et al. | Three-dimensional image-guided techniques for minimally invasive surgery | |
| Nimmagadda et al. | Patient-specific, touch-based registration during robotic, image-guided partial nephrectomy | |
| CN113274130A (zh) | 用于光学手术导航系统的无标记手术注册方法 | |
| CN111728695A (zh) | 一种用于开颅手术的光束辅助定位方法及定位系统 | |
| Harders et al. | Multimodal augmented reality in medicine | |
| CN114334096A (zh) | 基于医学影像的术中辅助显示方法、装置及存储介质 | |
| CN117379178A (zh) | 一种基于光磁混合跟踪的增强现实手术导航方法及装置 | |
| US20220354579A1 (en) | Systems and methods for planning and simulation of minimally invasive therapy | |
| Shahidi et al. | Volumetric image guidance via a stereotactic endoscope | |
| Wang et al. | Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy | |
| Zhang et al. | Augmented reality display of neurosurgery craniotomy lesions based on feature contour matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |