CN113256814B - 一种基于空间注册的增强现实虚实融合方法及装置 - Google Patents

一种基于空间注册的增强现实虚实融合方法及装置 Download PDF

Info

Publication number
CN113256814B
CN113256814B CN202010085281.0A CN202010085281A CN113256814B CN 113256814 B CN113256814 B CN 113256814B CN 202010085281 A CN202010085281 A CN 202010085281A CN 113256814 B CN113256814 B CN 113256814B
Authority
CN
China
Prior art keywords
space
virtual
target
real
virtual target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085281.0A
Other languages
English (en)
Other versions
CN113256814A (zh
Inventor
杨健
邵龙
艾丹妮
范敬凡
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010085281.0A priority Critical patent/CN113256814B/zh
Publication of CN113256814A publication Critical patent/CN113256814A/zh
Application granted granted Critical
Publication of CN113256814B publication Critical patent/CN113256814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于空间注册的增强现实虚实融合方法及装置，不需要每次特制外接导板，精度和效率大大提高。方法包括：获取影像数据；分割和三维重建，在模型空间中建立三维虚拟模型；将图片跟踪标志物放置于患者附近；在NDI空间采集图片标志物的5个特征点，并记录；在NDI空间通过划取点操作采集真实患者表面的点云数据；对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；在NDI空间采集图片标志物的5个特征点和真实目标的n个特征点，在Unity空间选取虚拟目标表面的n个对应特征点；进行双向配准，求取虚拟目标的旋转变换矩阵；将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置。

Description

一种基于空间注册的增强现实虚实融合方法及装置
技术领域
本发明涉及计算机仿真的技术领域，尤其涉及一种基于空间注册的增强现实虚实融合方法，还涉及一种基于空间注册的增强现实虚实融合装置。
背景技术
虚拟3D模型是从患者术前CT、MRI或X光影像中分割重建并渲染后的3D虚拟器官模型，可以反映患者真实的三维解剖结构信息。真实目标是指原位患者真实空间中的器官。虚拟空间是Unity(Unity是一种软件工具的名称，全称unity3d)坐标空间，虚拟3D模型所在空间。NDI即光学跟踪仪，可对跟踪范围内的目标进行实时跟踪，实时获取目标的位姿信息。增强现实虚实融合是指，在微创手术环境下，将患者3D虚拟器官模型与原位患者真实空间中的器官进行精准融合，可辅助医生看清患者内部所有组织结构，有助于手术安全性的提高，相当于给医生配备“透视眼”，透视患者体内三维解剖结构及其位置关系。
增强现实虚实融合一直是医疗技术领域的热门话题，它可以辅助医生在术中看清患者身体内部的所有重要组织结构，能看清手术器械与身体内部器官的位置关系，可以帮助医生提高手术安全性、降低医生心理负担，使手术效率大大提高。但是，大部分增强现实虚实融合技术均采用人为手动调整虚拟模型的方法将虚拟模型与真实目标进行融合，此种方式需要根据患者器官制定特殊的外接导板，重复利用率差，且由于手动调整虚拟模型会带来精度低、效率低等问题。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于空间注册的增强现实虚实融合方法，其不需要每次特制外接导板，外接导板重复利用率高，采用自动的方法使虚拟模型与真实目标进行精准融合，减少由操作者手动调整虚拟模型而造成的人为误差，精度和效率大大提高。
本发明的技术方案是：这种基于空间注册的增强现实虚实融合方法，其包括以下步骤：
(1)获取CT、MRI、X光影像数据；
(2)对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
(3)将图片跟踪标志物放置于患者附近；
(4)在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
(5)在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
(6)对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(7)在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
(8)对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(9)将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合。
本发明针对患者的3D虚拟器官模型和真实器官，通过双向配准算法求取了3D虚拟器官模型相对于真实器官位姿的空间变换矩阵，从而将3D虚拟模型精准融合至真实器官的位置上，辅助医生看清患者体内器官的三维解剖结构，并获知术中手术器械与体内器官的位置关系，给医生提供窥探人体内部的“透视眼”，保障手术的安全性，从而不需要每次特制外接导板，外接导板重复利用率高，采用自动的方法使虚拟模型与真实目标进行精准融合，减少由操作者手动调整虚拟模型而造成的人为误差，精度和效率大大提高。
还提供了一种基于空间注册的增强现实虚实融合装置，其包括：
数据获取模块，其配置来获取CT、MRI、X光影像数据；
三维虚拟模型建立模块，其配置来对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
放置模块，其配置来将图片跟踪标志物放置于患者附近；
图片标志物特征点采集模块，其配置来在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
点云数据采集模块，其配置来在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
第一虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
真实目标特征点采集模块，其配置来在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
第二虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
虚拟目标和真实目标转换模块，其配置来将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合。
附图说明
图1是根据本发明的基于空间注册的增强现实虚实融合方法的流程图。
图2示出了根据本发明的基于空间注册的增强现实虚实融合方法的求解虚拟目标在Unity空间的偏移量。
图3示出了根据本发明的基于空间注册的增强现实虚实融合方法的求解虚拟目标在Unity空间的旋转角。
图4示出了Super4PCS算法的基于仿射不变性确定对应点对。
图5示出了Super4PCS算法的基于仿射不变性确定对应点对的原理。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
如图1所示，这种基于空间注册的增强现实虚实融合方法，其包括以下步骤：
(1)获取CT、MRI、X光影像数据；
(2)对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
(3)将图片跟踪标志物放置于患者附近；
(4)在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
(5)在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
(6)对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(7)在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
(8)对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(9)将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合。
本发明针对患者的3D虚拟器官模型和真实器官，通过双向配准算法求取了3D虚拟器官模型相对于真实器官位姿的空间变换矩阵，从而将3D虚拟模型精准融合至真实器官的位置上，辅助医生看清患者体内器官的三维解剖结构，并获知术中手术器械与体内器官的位置关系，给医生提供窥探人体内部的“透视眼”，保障手术的安全性，从而不需要每次特制外接导板，外接导板重复利用率高，采用自动的方法使虚拟模型与真实目标进行精准融合，减少由操作者手动调整虚拟模型而造成的人为误差，精度和效率大大提高。
优选地，所述步骤(1)中，利用CT、核磁或X光设备对病人的预定部位进行术前扫描，以获取术前CT、MRI或X光影像。
优选地，所述步骤(6)中，采用vtkLandMark算法和Super4pcs算法。vtkLandMark算法：Landmark是vtk中比较经典的配准算法之一，基于标记点，使两个点集在配准后的平均距离最小，输入为两个点集(点数相等)，做线性变换，适用于粗配准，优点是效率高，需要注意的是源标记点集和目标标记点集序号要对应。Super4PCS算法来源于4PCS算法，其基本思想是基于RANSAC算法，总体来看，其算法框架与基于RANSAC算法的配准框架基本一致，只是对确定对应点对的策略进行了优化，将原本的随机选择三个不同的点修改为以源点云中共面的四点为基，在目标点云中确定对应的四点，以构成四组对应点，在一定程度上可增强算法的鲁棒性。四点一致集算法的理论基础在于共面四点对的仿射不变性。在仿射变换中，由三个确定的共线点a、b和c所确定比例
Figure BDA0002381819610000061
是不变的，那么，对于给定的非全共线的共面四点a、b、c和d，有ab与cd相交于点e，可确定以下两个比例：/>
Figure BDA0002381819610000062
则r1与r2在仿射变换中也是不变的，即由源点云中的四个共面点所确定的r1与r2和由目标点云中对应的四个点所确定的r1与r2是相同的。
基于仿射不变性确定对应点对的原理可描述为：假设给定源点云P中一组共面四点所组成的基，以及由这四点所确定的比例r1与r2，如图4所示:
对于目标点云Q中的任意点对q1和q2，计算可能的交点e1和e2：
e1＝q1+r1(q2-q1),e2＝q1+r2(q2-q1)
若在Q中存在两对这样的点使得一对的e1与另一对的e2在误差允许的范围内是相等的，那么这两对点可认为是P中所给的基的对应共面点，如图5所示，其中灰色点代表e1，黄色点代表e2，则q5、q3、q4、q1与a、b、c、d相对应。
优选地，如图2所示，所述步骤(6)求解虚拟目标在Unity空间下的偏移量，包括以下分步骤：
(6.1)通过vtkLandMark算法，NDI空间下图片标志物的5个特征点配准至Unity空间下图片标志物5个对应特征点，得到旋转矩阵R；
(6.2)通过Super4pcs算法，Unity空间下虚拟目标配准至NDI空间下真实目标的点云，得到旋转矩阵T；
(6.3)正向配准总体旋转矩阵为M＝R·T，虚拟目标在Unity空间下的偏移量为T'＝M·S，S为虚拟目标中心点在Unity空间下的初始位置坐标。
优选地，如图3所示，所述步骤(6)求解虚拟目标在Unity空间下的旋转角，包括以下分步骤：
(6.a)通过Super4pcs算法，NDI空间下真实目标的点云配准至Unity空间下原始虚拟目标，得到旋转矩阵R1；
(6.b)通过vtkLandMark算法，Unity空间下图片标志物5个特征点配准至NDI空间下图片标志物的5个对应特征点，得到旋转矩阵T1；
(6.c)逆向配准总体旋转矩阵为M1＝R1·T1，虚拟目标在Unity空间下的旋转角为R'＝Euler(M1)，Euler()函数表示求取旋转矩阵的欧拉角。
优选地，所述步骤(8)中，使用与步骤(6)相同的双向配准算法，其中真实目标的点云替换成采集的真实目标的n个特征点，虚拟目标替换成虚拟目标表面的n个对应特征点，经过双向配准后，得到虚拟目标在Unity空间下的偏移量和旋转角。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于空间注册的增强现实虚实融合装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
数据获取模块，其配置来获取CT、MRI、X光影像数据；
三维虚拟模型建立模块，其配置来对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
放置模块，其配置来将图片跟踪标志物放置于患者附近；
图片标志物特征点采集模块，其配置来在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
点云数据采集模块，其配置来在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
第一虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
真实目标特征点采集模块，其配置来在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
第二虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
虚拟目标和真实目标转换模块，其配置来将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种基于空间注册的增强现实虚实融合方法，其特征在于：其包括以下步骤：
(1)获取CT、MRI、X光影像数据；
(2)对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
(3)将图片跟踪标志物放置于患者附近；
(4)在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
(5)在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
(6)对步骤(4)-(5)得到的虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(7)在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
(8)对步骤(7)得到的虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
(9)将求解的旋转变换矩阵的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合；
所述步骤(1)中，利用CT、核磁或X光设备对病人的预定部位进行术前扫描，以获取术前CT、MRI或X光影像；
所述步骤(6)中，采用vtkLandMark算法和Super4pcs算法；
所述步骤(9)求解的旋转变换矩阵的偏移量，包括以下分步骤：
(9.1)通过vtkLandMark算法，NDI空间下图片标志物的5个特征点配准至Unity空间下图片标志物5个对应特征点，得到旋转矩阵R；
(9.2)通过Super4pcs算法，Unity空间下虚拟目标配准至NDI空间下真实目标的点云，得到旋转矩阵T；
(9.3)正向配准总体旋转矩阵为M＝R·T，虚拟目标在Unity空间下的偏移量为T'＝M·S，S为虚拟目标中心点在Unity空间下的初始位置坐标；
所述步骤(9)求解的旋转变换矩阵的旋转角，包括以下分步骤：
(9.a)通过Super4pcs算法，NDI空间下真实目标的点云配准至Unity空间下原始虚拟目标，得到旋转矩阵R1；
(9.b)通过vtkLandMark算法，Unity空间下图片标志物5个特征点配准至NDI空间下图片标志物的5个对应特征点，得到旋转矩阵T1；
(9.c)逆向配准总体旋转矩阵为M1＝R1·T1，虚拟目标在Unity空间下的旋转角为R'＝Euler(M1)，Euler()函数表示求取旋转矩阵的欧拉角。
2.根据权利要求1所述的基于空间注册的增强现实虚实融合方法，其特征在于：所述步骤(8)中，使用与步骤(6)相同的双向配准算法，其中真实目标的点云替换成采集的真实目标的n个特征点，虚拟目标替换成虚拟目标表面的n个对应特征点，经过双向配准后，得到虚拟目标在Unity空间下的偏移量和旋转角。
3.一种基于空间注册的增强现实虚实融合装置，其特征在于：其包括：
数据获取模块，其配置来获取CT、MRI、X光影像数据；三维虚拟模型建立模块，其配置来对影像数据中的患者器官进行分割和三维重建，在模型空间中建立患者器官的三维虚拟模型；
放置模块，其配置来将图片跟踪标志物放置于患者附近；
图片标志物特征点采集模块，其配置来在光学跟踪仪NDI空间用导航跟踪针采集图片标志物的5个特征点，并记录这5个特征点的坐标；
点云数据采集模块，其配置来在NDI空间通过导航跟踪针划取采样真实患者表面的点云数据；
第一虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
真实目标特征点采集模块，其配置来在NDI空间用导航跟踪针采集图片标志物的5个特征点和真实目标的n个特征点，n为正整数，在Unity空间选取虚拟目标表面的n个对应特征点；
第二虚拟目标的旋转变换矩阵求取模块，其配置来对虚实两个空间的图片标志物和患者器官进行双向配准，求取虚拟目标的旋转变换矩阵；
虚拟目标和真实目标转换模块，其配置来将求解的偏移量和旋转角应用于Unity空间的虚拟目标，使虚拟目标转换至真实目标的位置，完成增强现实虚实精准融合；
所述求解的旋转变换矩阵的偏移量，执行以下分步骤：
(9.1)通过vtkLandMark算法，NDI空间下图片标志物的5个特征点配准至Unity空间下图片标志物5个对应特征点，得到旋转矩阵R；
(9.2)通过Super4pcs算法，Unity空间下虚拟目标配准至NDI空间下真实目标的点云，得到旋转矩阵T；
(9.3)正向配准总体旋转矩阵为M＝R·T，虚拟目标在Unity空间下的偏移量为T'＝M·S，S为虚拟目标中心点在Unity空间下的初始位置坐标；
所述求解的旋转变换矩阵的旋转角，执行以下分步骤：
(9.a)通过Super4pcs算法，NDI空间下真实目标的点云配准至Unity空间下原始虚拟目标，得到旋转矩阵R1；
(9.b)通过vtkLandMark算法，Unity空间下图片标志物5个特征点配准至NDI空间下图片标志物的5个对应特征点，得到旋转矩阵T1；
(9.c)逆向配准总体旋转矩阵为M1＝R1·T1，虚拟目标在Unity空间下的旋转角为R'＝Euler(M1)，Euler()函数表示求取旋转矩阵的欧拉角。
4.根据权利要求3所述的基于空间注册的增强现实虚实融合装置，其特征在于：所述第二虚拟目标的旋转变换矩阵求取模块中，使用与第一虚拟目标的旋转变换矩阵求取模块相同的双向配准算法，其中真实目标的点云替换成采集的真实目标的n个特征点，虚拟目标替换成虚拟目标表面的n个对应特征点，经过双向配准后，得到虚拟目标在Unity空间下的偏移量和旋转角。
CN202010085281.0A 2020-02-10 2020-02-10 一种基于空间注册的增强现实虚实融合方法及装置 Active CN113256814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085281.0A CN113256814B (zh) 2020-02-10 2020-02-10 一种基于空间注册的增强现实虚实融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085281.0A CN113256814B (zh) 2020-02-10 2020-02-10 一种基于空间注册的增强现实虚实融合方法及装置

Publications (2)

Publication Number Publication Date
CN113256814A CN113256814A (zh) 2021-08-13
CN113256814B true CN113256814B (zh) 2023-05-30

Family

ID=77219409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085281.0A Active CN113256814B (zh) 2020-02-10 2020-02-10 一种基于空间注册的增强现实虚实融合方法及装置

Country Status (1)

Country Link
CN (1) CN113256814B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110264504A (zh) * 2019-06-28 2019-09-20 北京国润健康医学投资有限公司 一种用于增强现实的三维配准方法和系统
CN110751681A (zh) * 2019-10-18 2020-02-04 西南科技大学 一种增强现实的配准方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10413363B2 (en) * 2017-12-15 2019-09-17 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110010249A (zh) * 2019-03-29 2019-07-12 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110264504A (zh) * 2019-06-28 2019-09-20 北京国润健康医学投资有限公司 一种用于增强现实的三维配准方法和系统
CN110751681A (zh) * 2019-10-18 2020-02-04 西南科技大学 一种增强现实的配准方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于增强现实的手术导航图像融合方法研究》;刘晓宏;《CNKI优秀硕士学位论文全文库》;20150716;全文 *

Also Published As

Publication number Publication date
CN113256814A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
CN103040525B (zh) 一种多模医学影像手术导航方法及系统
CN113940755B (zh) 一种术像一体的外科手术规划与导航方法
EP1719078B1 (en) Device and process for multimodal registration of images
US8781186B2 (en) System and method for abdominal surface matching using pseudo-features
JP2966089B2 (ja) 不均質組織内部における局部手術用対話型装置
US6675032B2 (en) Video-based surgical targeting system
WO2017211087A1 (zh) 一种内窥镜手术导航方法和系统
US10176582B2 (en) Virtual fiducial markers
CN110751681B (zh) 一种增强现实的配准方法、装置、设备及存储介质
CN112168346A (zh) 三维医学影像与患者实时重合的方法及手术辅助系统
Zheng et al. (i) Registration techniques for computer navigation
CN114652443A (zh) 超声手术导航系统及方法、存储介质及设备
Alam et al. A review on extrinsic registration methods for medical images
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN113256814B (zh) 一种基于空间注册的增强现实虚实融合方法及装置
CN2857869Y (zh) 基于局部解剖结构特征的术中实时导航装置
CN114334096A (zh) 基于医学影像的术中辅助显示方法、装置及存储介质
Chen et al. Video-guided calibration of an augmented reality mobile C-arm
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
CN115245303A (zh) 一种用于内窥镜三维导航的图像融合系统和方法
CN115245302A (zh) 一种基于内窥镜图像重建三维场景的系统和方法
CN117379178A (zh) 一种基于光磁混合跟踪的增强现实手术导航方法及装置
CN117316393B (zh) 一种精度调整的方法、装置、设备、介质和程序产品
Shrestha et al. A novel enhanced energy function using augmented reality for a bowel: modified region and weighted factor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant