CN116459009A - 一种增强现实导航系统半自动配准方法和装置 - Google Patents
一种增强现实导航系统半自动配准方法和装置 Download PDFInfo
- Publication number
- CN116459009A CN116459009A CN202310544967.5A CN202310544967A CN116459009A CN 116459009 A CN116459009 A CN 116459009A CN 202310544967 A CN202310544967 A CN 202310544967A CN 116459009 A CN116459009 A CN 116459009A
- Authority
- CN
- China
- Prior art keywords
- target
- virtual
- augmented reality
- semi
- software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000002591 computed tomography Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Geometry (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Architecture (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及医疗领域，且公开了一种增强现实导航系统半自动配准方法，包括以下步骤：对手术部位进行术前CT扫描，制定手术方案，医生和工程师共同制定靶标位置和方向；工程师在系统软件中创建场景，软件靶标模型一般为标准化，在软件中建模预制并在库中保存；联合手术部位及安装靶标后，进行O臂或者术中CT扫描，并进行分割渲染，得到建模后的靶标的坐标轴，建模结果转化为STL文件，放置于系统软件中；将Hololens2置于Hololens2精密卡槽4上，开机，使得预置三维投影显示于真实世界中,且精密卡槽的位置相对于双目导航预设并固定，报证开机后虚实世界的初始关系恒定且接近，节省后续手柄操控时间；使用手柄对辅助配准靶标三维投影位置及姿态进行调整，使虚拟模型在真实物体尽可能重合，辅助配准靶标三维投影与实物重合之后，按下专用键配准；术中导航。
Description
技术领域
本发明涉及医疗领域，具体为一种增强现实导航系统半自动配准方法和装置。
背景技术
现代骨科手术理念对精确定位和实时跟踪的要求越来越高，医师需要最大程度的在微创前提下保证椎弓根钉植入和骨折复位过程的精确性和可视化。而现阶段大多数应用的导航或导航机器人系统的主要缺陷是导航结果需降维显示在二维显示器上，因此术者需要将影像学数据与患者的解剖结构联系起来，在脑中重建三维结构。而且手术过程中术者视线需从术区反复转移到导航显示器，这将导致手术时间增长，并且增大错误发生的几率。
近几年来随着增强现实AR/混合现实MR技术的快速发展，增强现实技术与导航技术相结合正开始应用于临床手术，其为术者在实际病体内部骨骼组织位置上呈现立体可视的病变结构及清晰的毗邻重要组织结构，从而实现虚拟骨块，人体表面可视部分，手术器械等实物的虚实结合的高精度交互。避免无谓的创口，实现真正的微创甚至无创手术，极大降低术后并发症的发生，节省手术时间，减轻医生负担提高效率，也便于年轻医生降低临床学习周期，平缓学习曲线的同时实现高质量手术。现有相似技术存在术前准备时间长、包括透视图像(CT,O臂，C臂)处理，虚拟3D建模，虚实配准不精确，导致影响手术精度等问题，阻碍了增强现实导航技术在骨科临床手术中的进一步应用和发展。
如中国专利增强现实手术机器人系统及增强现实设备，公开(公告)号：CN113317877A，没有给出虚拟图像叠加到实体中的实现方法，其权利要求2中，”通过所述摄像头扫描所述实体对象来获得所述实体对象的空间位置信息；将所述第一虚拟三维模型与所述空间位置信息进行比对，以将所述第一虚拟三维模型与所述实体对象进行匹配；根据匹配结果将所述第一虚拟三维模型叠加显示在所述实体对象上。”该环节恰恰是整个增强现实导航系统是否能实现快速高精度虚实配准的关键。根据其描述，由该领域通用知识可以得出，其方法是通过比较非透视摄像头坐标系与预先采集实体对象的目标组织的医学透视设备坐标系获得。而本发明完全采取了不同的创新的技术方案，简单说并非采用该领域通用的基于点云匹配或者表面曲面匹配的算法，而是预制的配套硬件和对应软件模型通过手柄操作对齐位姿的方式获得虚实世界的坐标系关系，并直接将该关系用于所有虚拟模型，实现瞬间的自动配准。
一种基于增强现实技术的神经外科手术导航方法和系统，公开(公告)号：CN109758230A；
S2提到自动配准：确定世界坐标系；求解影像坐标系与世界坐标系之间的空间变换关系；权利要求书3中提到，通过点云配准算法与所述术前医学影像中三维重建得到的病人头部表面进行配准。说明也是采用了该领域通用的点云方式。
综上，目前通用技术对于增强现实的虚实配准过程复杂且精度低，以探针采集点，或者表明的方式进行局部到整体的配准。
2.采用单一的显示方式，或者以2D屏幕显示，需要手术者在脑中重建真正的3D模型，对于年轻医生挑战较大，学习曲线陡峭。或者以Hololens2作为显示，但因为每位佩戴者的眼部构造不一样，软件中的坐标系与每个佩戴者有一定偏差，造成虚实配不准。
3.现有技术没有特定针对与骨折复位手术的系统解决方案和装置。现有技术应用领域较为单一，为此我们提出了一种增强现实导航系统半自动配准方法和装置。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种增强现实导航系统半自动配准方法和装置，解决了上述的问题。
(二)技术方案
为实现上述所述目的，本发明提供如下技术方案：一种增强现实导航系统半自动配准方法，包括以下步骤：
第一步：对手术部位进行术前CT扫描，制定手术方案，医生和工程师共同制定靶标位置和方向；
第二步：工程师在系统软件中创建场景，软件靶标模型一般为标准化，在软件中建模预制并在库中保存；
第三步：联合手术部位及安装靶标后，进行O臂或者术中CT扫描，并进行分割渲染，得到建模后的靶标的坐标轴，建模结果转化为STL文件，放置于系统软件中；
第四步：将Hololens2置于Hololens2精密卡槽上，开机，使得预置三维投影显示于真实世界中；
第五步：使用手柄对辅助配准靶标三维投影位置及姿态进行调整，使虚拟模型在真实物体尽可能重合，辅助配准靶标三维投影与实物重合之后，按下专用键，场景中所有剩余待配准虚拟3D影像与真实物体完成自动一键配准；
第六步：术中导航。
优选的，所述第三步中对建模后的靶标的坐标轴导入系统软件后需要进行调整，与软件库中靶标模型进行坐标系统一。
优选的，所述第六步的具体内容为：基于双目光学导航相机模块开启自动追踪模式，依据与实物完全贴合的可信任的三维虚拟模型，进行虚实交互式手术操作，在Hololens2中观察到的虚拟骨块进行拼接，实际骨块发生同样拼接效果，拼接完成后，对虚拟骨块进行打孔钻钉，获得更多的进钉深度与角度的信息，同时，基于大屏幕联动显示模块可以将手术者画面实时同步于操作者眼中。
一种增强现实导航系统半自动配准装置，包括手柄以及支架，支架的顶端固定安装有双目光学导航相机模块，支架的中间位置固定安装有大屏幕联动显示模块，支架的承载平台上固定安装有Hololen2s增强现实显示模块以及Hololens2精密卡槽，支架的承载平台上固定安装有主机软件处理模块。
优选的，所述手柄采用不少于16个可编程按钮/摇杆的通用硬件，其中6个按钮控制虚拟靶标的空间平移，6个按钮或摇杆控制其空间的旋转，四个按钮用以选择虚拟靶标1、虚拟靶标2、虚拟靶标3以及虚拟靶标4。
优选的，所述手柄平移和旋转各方向上的运动互相解耦，各自按照以虚拟靶标几何中心为原点，十字靶标的面为X轴，Y轴，垂直法线为Z轴。
(三)有益效果
与现有技术相比，本发明提供了一种增强现实导航系统半自动配准方法和装置，具备以下有益效果：
1、该增强现实导航系统半自动配准方法和装置，将虚实配准的过程变得简洁易用，采用半自动的配准方式，用完全符合人体工学的手柄控制，克服其他如手势控制的不方便和精度不高以及手部震颤。
2、该增强现实导航系统半自动配准方法和装置，将该系统应用于当前骨折复位手术的应用区域，弥补骨折复位动态过程缺乏一个有针对性的增强现实导航系统和装置，在虚实配准的基础上进行实时追踪。
3、该增强现实导航系统半自动配准方法和装置，解决了过去相关技术只是单一的用于比如椎弓根钉植入或者关节置换的手术环节。不仅用于骨折复位过程，还可以在骨折复位完毕后进行螺钉植入的固定导航。实现真正的一机复用，便于提高手术导航的使用效率和普及。
4、该增强现实导航系统半自动配准方法和装置，克服了过去增强现实导航单一的在二维屏幕或者Hololens2眼镜中的显示方式。可以同时支持主治医生佩戴Hololens2，其余助手观测二维大屏，将两者的优势结合。
5、该增强现实导航系统半自动配准方法和装置，提出一种创新的半自动的配准方法，根据虚实世界的坐标系转换原理，不需要进行基于点或面的采集和复杂计算(比如迭代优化过程)。直接基于预制精密模型作为介质先进行手动配准，之后将转换关系应用于所有虚部模型进行自动配准。
6、该增强现实导航系统半自动配准方法和装置，为了保证介质模型的快速方便手动配准，发明了一种可以直接读数的介质模型和便于控制的基于游戏手柄的操作方法。使得该过程快速简单且精准，直接得到虚实世界的坐标关系，提出追踪补偿算法，弥补配准之后追踪误差，实现实物与三维模型贴合跟随，便于医生手术。
7、该增强现实导航系统半自动配准方法和装置，提出一种基于socket的多屏联动方法，将手术者的视野内容共享至其余参与手术人员中，便于及时对手术情况观察，及时干预。
附图说明
图1为本发明流程示意图；
图2为配准示意图；
图3为一体化支架示意图；
图4为一体化支架以及标靶系统示意图；
图5为用于精密虚实配准的手柄装置示意图。
图中：1、双目光学导航相机模块；2、大屏幕联动显示模块；3、Hololens2增强现实显示模块；4、Hololens2精密卡槽；5、主机软件处理模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，一种增强现实导航系统半自动配准方法，包括以下步骤：
术前准备：
对手术部位进行术前CT扫描
医生制定手术方案，医生和工程师共同制定靶标位置和方向。
工程师在系统软件中创建场景，软件靶标模型一般为标准化，在软件中建模预制并在库中保存，节省准备时间。
靶标模型一起制定好，节省准备时间
半自动配准：
联合手术部位及安装靶标后，进行O臂(或者术中CT)扫描，并进行分割渲染，建模结果转化为STL文件，放置于系统软件中。
对建模后的靶标的坐标轴进行调整，与软件库中靶标模型进行坐标系统一，便于后续手柄移动操作。一般将坐标原点设置在靶标系统四个小球的表面，其中某个小球中心。指定与另外一个小球中心的连线为x轴，使用左手坐标系产生y轴与z轴。
将Hololens2置于Hololens2精密卡槽4上，开机，使得预置三维投影显示于真实世界中，并由于Hololens2精密卡槽4的位置在系统中设置为近真实模型位置，此时任何操作者佩戴Hololens2后，虚实世界初始坐标系非常接近。
使用手柄对辅助配准靶标三维投影位置及姿态进行调整，使虚拟模型在真实物体尽可能重合。辅助配准靶标三维投影与实物重合之后，按下专用键，场景中所有剩余待配准虚拟3D影像与真实物体完成自动一键配准。
术中导航：
开启自动追踪模式，依据与实物完全贴合的可信任的三维虚拟模型，进行虚实交互式手术操作。在Hololens2中观察到的虚拟骨块进行拼接，实际骨块发生同样拼接效果。拼接完成后，对虚拟骨块进行打孔钻钉，此时即便打孔钻钉装置上没有靶标定位，依然可以藉由虚拟影像实际叠加在实际位置这一前提，进行打孔，获得比没有该系统装置的情况下更多的进钉深度与角度的信息。同时，使用多屏联动的方式，可以将手术者画面实时同步于主治医生助手，护士等眼中。
参阅图2，{nav}为双目光学导航相机模块1的坐标系，连接在骨块上的靶标本地坐标系为{bone1},...,{bonen},其相对于双目相机坐标系的转换矩阵为navTbone1，同理Hololens2增强现实显示模块3以及Hololens2精密卡槽4中的坐标系为{Holo}，佩戴者观测到的连接有靶标模型的骨块的虚拟模型坐标系为HoloTbone1，用于配准{nav}和{Holo}的介质在两者世界坐标系中分别为{cali}和{cali’}。
本发明通过预制的介质模型，用手柄控制其虚拟部分移动至其实体模型处完全融合。分别得到其在两个世界坐标系中的位姿读数。由于该模型的实体和虚体大小，形状，坐标系设置完全一致，且为空间六自由度刚体。当重合时可以直接读出navTbone1和HoloTbone1，无需做任何额外计算。比较两个T的差异，得到转换矩阵HoloTnav。将该矩阵作用于任何连接有靶标的虚拟骨块子系统bone1’，...,bonen’，便立即使得虚拟骨块移动至对应实物处。该发明虽然原理基于行业通用数学原理，但是专门设置的介质模型和手柄控制，使得虚实配准这个过程变得方便，快捷且精准，同时该发明提出的基于预制模型的配准算法与基于点或面的传统方式相比，快速且精准。基于模型的配准算法的核心要点在于，无论是虚拟世界还是真实世界，模型在空间中的6自由度位姿可以一次性读取，无需大量点云去一一匹配。
当虚实配准完成后，系统软件切换至实时追踪模式，此时实物骨块有任何移动，对应实物骨块将跟随做同样移动。从而使得Hololens2佩戴者在复合骨块复位过程中，只要看到虚部骨块复位成功，便可以保证实际骨块的复位成功。且全程可以在任何观测角度看到全息的虚拟骨块的3D影像。
一种增强现实导航系统半自动配准装置，包括手柄以及支架，支架的顶端固定安装有双目光学导航相机模块1，支架的中间位置固定安装有大屏幕联动显示模块2，支架的承载平台上固定安装有Hololens2增强现实显示模块3以及Hololens2精密卡槽4，支架的承载平台上固定安装有主机软件处理模块5；
手柄采用不少于16个可编程按钮/摇杆的通用硬件，其中6个按钮控制虚拟靶标的空间平移，6个按钮或摇杆控制其空间的旋转，四个按钮用以选择虚拟靶标1、虚拟靶标2、虚拟靶标3以及虚拟靶标4。
控制移动采用了最符合人机交互习惯的控制方式，平移和旋转各方向上的运动互相解耦，各自按照以虚拟靶标几何中心为原点，十字靶标的面为X轴，Y轴，垂直法线为Z轴。
手柄的软硬件结合需要控制虚拟模型在各方向的运动解耦，结合Hololens2眼镜佩戴者的观测位置，在不同观测角度配准时对应单一调整而不影响其他方向的移动。
为了符合手柄控制通常的使用习惯，虚拟影像的移动速度具有自适应能力，按住某运动键超过一定时间，虚拟影像在Hololens2中会逐渐加速至初始速度的2倍。而当松开后重新按下时，又会以正常速度开始运动。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种增强现实导航系统半自动配准方法，其特征在于，包括以下步骤：
第一步：对手术部位进行术前CT扫描，制定手术方案，医生和工程师共同制定靶标位置和方向；
第二步：工程师在系统软件中创建场景，软件靶标模型一般为标准化，在软件中建模预制并在库中保存；
第三步：联合手术部位及安装靶标后，进行O臂或者术中CT扫描，并进行分割渲染，得到建模后的靶标的坐标轴，建模结果转化为STL文件，放置于系统软件中；
第四步：将Hololens2置于Hololens2精密卡槽(4)上，开机，使得预置三维投影显示于真实世界中；
第五步：使用手柄对辅助配准靶标三维投影位置及姿态进行调整，使虚拟模型在真实物体尽可能重合，辅助配准靶标三维投影与实物重合之后，按下专用键，场景中所有剩余待配准虚拟3D影像与真实物体完成自动一键配准；
第六步：术中导航。
2.根据权利要求1所述的一种增强现实导航系统半自动配准方法，其特征在于：所述第三步中对建模后的靶标的坐标轴导入系统软件后需要进行调整，与软件库中靶标模型进行坐标系统一。
3.根据权利要求1所述的一种增强现实导航系统半自动配准方法，其特征在于：所述第六步的具体内容为：基于双目光学导航相机模块(1)开启自动追踪模式，依据与实物完全贴合的可信任的三维虚拟模型，进行虚实交互式手术操作，在Hololens2中观察到的虚拟骨块进行拼接，实际骨块发生同样拼接效果，拼接完成后，对虚拟骨块进行打孔钻钉，获得更多的进钉深度与角度的信息，同时，基于大屏幕联动显示模块(2)可以将手术者画面实时同步于操作者眼中。
4.一种增强现实导航系统半自动配准装置，其特征在于，包括手柄以及支架，支架的顶端固定安装有双目光学导航相机模块(1)，支架的中间位置固定安装有大屏幕联动显示模块(2)，支架的承载平台上固定安装有Hololens2增强现实显示模块(3)以及Hololens2精密卡槽(4)，支架的承载平台上固定安装有主机软件处理模块(5)。
5.根据权利要求4所述的一种增强现实导航系统半自动配准装置，其特征在于：所述手柄采用不少于16个可编程按钮/摇杆的通用硬件，其中6个按钮控制虚拟靶标的空间平移，6个按钮或摇杆控制其空间的旋转，四个按钮用以选择虚拟靶标1、虚拟靶标2、虚拟靶标3以及虚拟靶标4。
6.根据权利要求1所述的一种增强现实导航系统半自动配准装置，其特征在于：所述手柄平移和旋转各方向上的运动互相解耦，各自按照以虚拟靶标几何中心为原点，十字靶标的面为X轴，Y轴，垂直法线为Z轴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310544967.5A CN116459009A (zh) | 2023-05-15 | 2023-05-15 | 一种增强现实导航系统半自动配准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310544967.5A CN116459009A (zh) | 2023-05-15 | 2023-05-15 | 一种增强现实导航系统半自动配准方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116459009A true CN116459009A (zh) | 2023-07-21 |
Family
ID=87179012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310544967.5A Pending CN116459009A (zh) | 2023-05-15 | 2023-05-15 | 一种增强现实导航系统半自动配准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116459009A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200321099A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of Spatial Tracking System with Augmented Reality Display |
| CN113269995A (zh) * | 2021-05-28 | 2021-08-17 | 黑龙江拓盟科技有限公司 | 一种基于mr的b超引导下穿刺法腹膜透析置管术模拟训练系统 |
| CN113610984A (zh) * | 2021-06-16 | 2021-11-05 | 南京邮电大学 | 一种基于Hololens2全息眼镜的增强现实方法 |
| CN114943802A (zh) * | 2022-05-13 | 2022-08-26 | 南开大学深圳研究院 | 一种基于深度学习与增强现实的知识引导外科手术交互方法 |
| JP2022174704A (ja) * | 2021-05-11 | 2022-11-24 | 学校法人 埼玉医科大学 | 患者位置決め支援システム、患者位置決め支援方法及び患者位置決め支援プログラム、並びに干渉判定支援システム、放射線治療計画支援システム及び放射線治療技能訓練システム |
| CN115661236A (zh) * | 2022-10-26 | 2023-01-31 | 长沙神漫文化科技有限公司 | 真实空间与虚拟空间摄像头实时定位方法及相关设备 |
-
2023
- 2023-05-15 CN CN202310544967.5A patent/CN116459009A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200321099A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of Spatial Tracking System with Augmented Reality Display |
| JP2022174704A (ja) * | 2021-05-11 | 2022-11-24 | 学校法人 埼玉医科大学 | 患者位置決め支援システム、患者位置決め支援方法及び患者位置決め支援プログラム、並びに干渉判定支援システム、放射線治療計画支援システム及び放射線治療技能訓練システム |
| CN113269995A (zh) * | 2021-05-28 | 2021-08-17 | 黑龙江拓盟科技有限公司 | 一种基于mr的b超引导下穿刺法腹膜透析置管术模拟训练系统 |
| CN113610984A (zh) * | 2021-06-16 | 2021-11-05 | 南京邮电大学 | 一种基于Hololens2全息眼镜的增强现实方法 |
| CN114943802A (zh) * | 2022-05-13 | 2022-08-26 | 南开大学深圳研究院 | 一种基于深度学习与增强现实的知识引导外科手术交互方法 |
| CN115661236A (zh) * | 2022-10-26 | 2023-01-31 | 长沙神漫文化科技有限公司 | 真实空间与虚拟空间摄像头实时定位方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display | |
| EP4159149A1 (en) | Surgical navigation system, computer for performing surgical navigation method, and storage medium | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| Blackwell et al. | Augmented reality and its future in orthopaedics. | |
| CN103211655A (zh) | 一种骨科手术导航系统及导航方法 | |
| CN103519895A (zh) | 一种骨科手术辅助导引方法 | |
| CN113940755A (zh) | 一种术像一体的外科手术规划与导航方法 | |
| CN111249002B (zh) | 全膝关节置换的术中规划调整方法、装置及设备 | |
| Blackwell et al. | An image overlay system for medical data visualization | |
| WO2002080773A1 (en) | Augmentet reality apparatus and ct method | |
| CN104586505A (zh) | 一种骨科手术导航系统及导航方法 | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| CN113648061B (zh) | 一种基于混合现实的头戴式导航系统及导航配准方法 | |
| Huang et al. | Augmented reality-based autostereoscopic surgical visualization system for telesurgery | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN113229937A (zh) | 一种利用实时结构光技术实现手术导航的方法和系统 | |
| Zhang et al. | 3D augmented reality based orthopaedic interventions | |
| Harders et al. | Multimodal augmented reality in medicine | |
| CN116459009A (zh) | 一种增强现实导航系统半自动配准方法和装置 | |
| CN114041876A (zh) | 一种基于结构光的增强现实骨科透视导航方法及系统 | |
| CN114191078B (zh) | 一种基于混合现实的内窥镜手术导航机器人系统 | |
| CN2857869Y (zh) | 基于局部解剖结构特征的术中实时导航装置 | |
| Thoranaghatte et al. | Landmark‐based augmented reality system for paranasal and transnasal endoscopic surgeries | |
| Li et al. | A comparative evaluation of optical see-through augmented reality in surgical guidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |