CN113052883A - 大尺度动态环境下融合现实手术导航配准系统及方法 - Google Patents
大尺度动态环境下融合现实手术导航配准系统及方法 Download PDFInfo
- Publication number
- CN113052883A CN113052883A CN202110360376.3A CN202110360376A CN113052883A CN 113052883 A CN113052883 A CN 113052883A CN 202110360376 A CN202110360376 A CN 202110360376A CN 113052883 A CN113052883 A CN 113052883A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- cloud
- registration
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000013519 translation Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 208000013860 rhabdoid tumor of the kidney Diseases 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了大尺度动态环境下融合现实手术导航配准系统及方法，通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；基于霍尔曼滤波器进行点云跟踪；将Unity3D模型引入云中，进行Azure远程渲染。本发明为非常规场景下的混合现实手术导航系统的实时虚实配准问题提供了解决方案，提升配准实时性和精度大大高，减少采集时间、节约储存空间以及之后点云预处理数量和时间。
Description
技术领域
本发明属于虚拟现实、人机交互、数据处理技术领域，涉及大尺度动态环境下融合现实手术导航配准系统及方法。
背景技术
混合现实(MR，Mixed Reality)指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实技术是一项前沿的创新技术，它在医疗领域的应用也初具规模，目前也有相关的报道和文献表明，很多科研工作者正在开发相应的产品和方法，将混合现实结合手术应用中。随着基于图像引导的手术导航系统(Image-guided Surgery,IGS)的开发问世，其从根本上改变了传统手术模式，实现了术前规划方案至临床手术操作的精准转移，极大地提高了手术的安全性、可靠性和高效性。该技术被誉为现代临床医学手术室的“卫星定位GPS系统”，以CT、MRI等医学影像资料和计算机辅助术前规划信息为基础，在手术过程中利用高精度定位跟踪仪对手术器械和患者进行跟踪，并将两者的相对位置关系实时显示在计算机屏幕上，从而提供给临床医生更精确的量化信息指导，引导其按照术前规划的方案顺利实施手术。在医学研究中引入增强现实技术，可以将获得的人体三维组织信息准确的叠加在医生的视野环境中，为医生提供更为直观的用于诊断的显示效果。利用增强现实技术，直接将CT、MRI等信息显示在病人身上，并对需要施行手术的部位精确的定位，这在提高医学诊断和手术精度方面均具有很重要的研究意义。
但基于混合现实的手术导航系统也存在各种问题：
一、混合现实中会产生动态环境下的实时配准问题，如：在飞机上进行手术救援时，飞机不时会产生颠簸，从而可能造成患者位置或医护人员位置发生改变。目前为止，绝大部分基于混合现实的手术导航系统的应用是在实验室或医院等场景中进行的，而在这些场景中进行手术时患者几乎是保持不动的，在设计配准算法时不需要考虑目标频繁移动问题，故目前基于混合现实手术导航系统中所设计的虚实配准算法不适用于动态环境下的实时配准。
二、在系统中加入复杂算法或处理数据量很大时，基于HoloLens的硬件配置无法满足实际需求。(1)在基于混合现实的手术导航系统中，在手术器械建模和配准工作完成后，就需要对手术器械和患者实体的运动进行实时跟踪，并将两者的位置变化统一反映在计算机屏幕虚拟图像中，引导医生按照术前规划的路径施行手术，避免损伤重要的解剖结构。在虚拟图像中同步显示手术器械和患者的绝对运动的表现形式(亦即基于世界坐标系配准的绝对跟踪)较符合客观实际、真实直观，但该方法在导航过程中需要实时对患者STL格式三维模型(一般在几十兆左右)进行移动、旋转并显示的计算，这就不可避免地存在内存占用大，容易引起图像显示滞后，甚至导航系统死机与瘫痪的缺点。(2)在移动设备查看3D内容的传统方法需要压缩模型并去除多边形。并且为了让虚拟物体看起来与真实物体接近，稳定地出现在某个位置并且拥有平滑的动画效果，渲染的刷新率是非常重要的。在HoloLens中，我们要求至少拥有60FPS以上的刷新率，在某些VR设备中，甚至要求90FPS以上的刷新率。过低的刷新率会导致抖动的出现或者图像重影，这会使得用户出现头晕症状。因此，努力让虚拟物体以60FPS以上的刷新率进行渲染，有助于提高体验时的舒适度。这会要求开发者把模型简化到可以在低性能GPU硬件运行的程度，但结果可能是丢失了关键业务和设计决策所需的重要细节。
发明内容
为解决上述问题，本发明提供了一种大尺度动态环境下融合现实手术导航配准系统及方法。
为了达到上述目的，本发明提供如下技术方案：
大尺度动态环境下融合现实手术导航配准方法，包括如下步骤：
步骤一，点云采集与预处理
通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；
步骤二，ICP点云虚实配准
根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；
步骤三，基于卡尔曼滤波的点云跟踪
基于卡尔曼滤波器进行点云跟踪；
步骤四，云渲染
将Unity3D模型引入云中，进行Azure远程渲染。
进一步的，所述步骤一包括如下子步骤：
(1)通过调用HoloLens开发工具包MRTK中函数，生成可移动空间映射边界框；
(2)利用主成分分析对点云进行特征提取。
进一步的，所述步骤(2)具体包括如下过程：
首先在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后应用RANSAC在候选点中检测出特征线并使用主成分分析的方法确定特征线的参数。
进一步的，所述步骤二包括如下子步骤：
(1)计算最近点，基准点在CT图像坐标系及世界坐标系下的坐标点集分别为P＝{Pi,i＝0,1,2,…,k}及U＝{Ui,i＝0,1,2,…,n}，对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{qi,i＝0,1,2,…,n}；
(2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；
(3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；
(4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点集U1，即U1＝RU+T；
(5)计算U1与Q之间的均方根误差，如小于预设的极限值则结束，否则以点集U1替换U，重复上述步骤。
本发明还提供了大尺度动态环境下融合现实手术导航配准系统，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；所述点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；所述ICP点云虚实配准模块用于根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；所述点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪；所述云渲染模块用于将Unity3D模型引入云中，进行Azure远程渲染。
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明提出的动态环境下的虚实配准方法，为非常规场景下的混合现实手术导航系统的实时虚实配准问题提供了解决方案。
2.本发明利用了Azure的云端计算能力和大量储存能力，可使系统实时性和精度大大高，突破了HoloLens硬件设备无法处理大量数据和GPU性能不高带来的计算速度慢的问题。
3.本发明设计了可移动空间映射边界框，可由医生手动将空间映射边界框框拉到患者病灶位置，然后空间映射只获取框内点云，可大大缩减HoloLens采集不相关点云数量，减少采集时间、节约储存空间并减少之后点云预处理数量和时间。
附图说明
图1为本发明提供的大尺度动态环境下融合现实手术导航配准方法流程示意图。
图2为利用主成分分析(PCA)对点云进行特征提取流程示意图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的大尺度动态环境下融合现实手术导航配准方法，其流程如图1所示，包括如下步骤：
步骤一，点云采集与预处理
Hololens是微软首发的头戴式增强现实设备(混合现实)，用户可以通过配有MR头盔显示屏与世界进行全息影像交互。本发明即通过HoloLens深度摄像头，获取患者病灶及周围部分点云。
医生头戴HoloLens设备，HoloLens空间映射开始采集点云。在此过程中我们设计了空间映射边界框，可由医生手动将空间映射边界框框拉到患者病灶位置，然后空间映射只获取框内点云，可大大缩减HoloLens采集不相关点云数量，减少采集时间、节约储存空间并减少之后点云预处理数量和时间。具体包括如下步骤：
(1)通过调用HoloLens开发工具包MRTK中BoundingBox、Gaze、Jesture等脚函数，生成可移动空间映射边界框。
(2)利用主成分分析(PCA)对点云进行特征提取。首先应用RANSAC算法(随机抽样一致算法)在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后再次应用RANSAC在候选点中检测出特征线并使用主成分分析(PCA)的方法确定特征线的参数。算法的总体流程图如图2所示。
其中，算法的第一步和第二步通过平面检测和点投影有效地消除点云中噪声和外点的影响，并将特征线的检测范围缩小为一个小的点云子集，从而大大提高时间效率。
步骤二，ICP点云虚实配准
在术前根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像。算法流程如下：基准点在CT图像坐标系及世界坐标系下的坐标点集P＝{Pi,i＝0,1,2,…,k}及U＝{Ui,i＝0,1,2,…,n}。其中，U与P元素间不必存在一一对应关系，元素数目亦不必相同，设k≥n。配准过程就是求取2个坐标系间的旋转和平移变换矩阵，使得来自U与P的同源点间距离最小。其过程如下：
(1)计算最近点，即对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{qi,i＝0,1,2,…,n}。
(2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；
(3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；其中R是3x3的旋转矩阵，T是3x1的平移矩阵。
(4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点集U1，即U1＝RU+T。
(5)计算U1与Q之间的均方根误差，如小于预设的极限值ε，则结束，否则，以点集U1替换U，重复上述步骤。
步骤三，基于卡尔曼滤波的点云跟踪
在任何含有不确定信息的动态系统中使用卡尔曼滤波，对系统下一步的走向做出有根据的预测，即使伴随着各种干扰，卡尔曼滤波总是能指出真实发生的情况。卡尔曼滤波是一种递归的估计，即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，因此不需要记录观测或者估计的历史信息。卡尔曼滤波器与大多数滤波器不同之处，在于它是一种纯粹的时域滤波器，它不需要像低通滤波器等频域滤波器那样，需要在频域设计再转换到时域实现。
卡尔曼滤波器的状态由以下两个变量表示：
Pk|k,后验估计误差协方差矩阵，度量估计值的精确程度。
卡尔曼滤波器的操作包括两个阶段：预测与更新。在预测阶段，滤波器使用上一状态的估计，做出对当前状态的预测。在更新阶段，滤波器利用对当前状态的观测值优化在预测阶段获得的预测值，以获得一个更精确的新估计值。
①预测
②更新
首先要算出以下三个量：
然后用它们来更新滤波器变量x与P:
Pk|k＝(I-KkHk)Pk|k-1,(更新的协方差估计)
其中，Fk是作用在Xk-1上的状态变换模型；Bk是作用在控制器向量uk上的输入－控制模型；Hk是观测模型，它把真实状态空间映射成观测空间；uk是观测噪声，其均值为零，协方差矩阵为Rk，且服从正态分布：uk～N(0,Pk)。
步骤四，云渲染
Azure远程渲染(ARR)是微软针对HoloLens的一项服务，可用于实时渲染高度复杂的3D模型。我们在Unity中开发，可通过SDK将云服务集成到项目中，将交互式、高质量的3D模型引入云中的untethered设备，每个细节都保持不变，并且不会对质量产生折损。将Unity3D模型引入经步骤三卡尔曼滤波处理过的点云中，进行Azure远程渲染，然后将它们实时地流式传输到HoloLens全息显示器中，使用户能够与3D内容进行非常详细的交互和协作。利用Azure云的快速计算和大量储存能力，可使系统实时性和精度大大提高。
通过上述步骤，本发明在动态环境下利用HoloLens实现手术导航，手术导航系统的实时性和精确性均有很大提升。
本发明还提供了大尺度动态环境下融合现实手术导航配准系统，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；其中，点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理，具体实现步骤一内容；ICP点云虚实配准模块用于在术前根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小，具体实现步骤二内容；点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪，具体实现步骤三内容；云渲染模块用于将Unity3D模型引入云中，进行Azure远程渲染，具体实现步骤四内容。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (5)
1.大尺度动态环境下融合现实手术导航配准方法，其特征在于，包括如下步骤：
步骤一，点云采集与预处理
通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；
步骤二，ICP点云虚实配准
根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；
步骤三，基于卡尔曼滤波的点云跟踪
基于卡尔曼滤波器进行点云跟踪；
步骤四，云渲染
将Unity3D模型引入云中，进行Azure远程渲染。
2.根据权利要求1所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤一包括如下子步骤：
(1)通过调用HoloLens开发工具包MRTK中函数，生成可移动空间映射边界框；
(2)利用主成分分析对点云进行特征提取。
3.根据权利要求2所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤(2)具体包括如下过程：
首先在点云中检测出多个平面，然后将每个平面所能拟合的点投影到各自平面上，并将投影后的边界点作为特征线的候选点，而后应用RANSAC在候选点中检测出特征线并使用主成分分析的方法确定特征线的参数。
4.根据权利要求1所述的大尺度动态环境下融合现实手术导航配准方法，其特征在于，所述步骤二包括如下子步骤：
(1)计算最近点，基准点在CT图像坐标系及世界坐标系下的坐标点集分别为P＝{Pi,i＝0,1,2,…,k}及U＝{Ui,i＝0,1,2,…,n}，对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新点集为Q＝{qi,i＝0,1,2,…,n}；
(2)计算两个点集Q和U的重心位置坐标，并进行点集中心化生成新的点集；由新的点集计算正定矩阵N，并计算N的最大特征值及其最大特征向量；
(3)由于最大特征向量等价于残差平方和最小时的旋转四元数，将四元数转换为旋转矩阵R；在旋转矩阵R被确定后，由平移向量t仅仅是两个点集的重心差异，可以通过两个坐标系中的重心点和旋转矩阵确定平移矩阵T；
(4)计算坐标变换，即对于集合U，用配准变换矩阵R，T进行坐标变换，得到新的点集U1，即U1＝RU+T；
(5)计算U1与Q之间的均方根误差，如小于预设的极限值则结束，否则以点集U1替换U，重复上述步骤。
5.大尺度动态环境下融合现实手术导航配准系统，其特征在于，包括点云采集与预处理模块、ICP点云虚实配准模块、点云跟踪模块、云渲染模块；所述点云采集与预处理模块用于通过HoloLens深度摄像头获取患者病灶及周围部分点云，并进行PCA点云预处理；所述ICP点云虚实配准模块用于根据病人病灶CT/MRI通过3Dmax制作与病灶等比图像，根据基准点分别在CT图像坐标系及世界坐标系下的坐标点集，求取2个坐标系间的旋转和平移变换矩阵，使得两个坐标系同源点间距离最小；所述点云跟踪模块用于基于霍尔曼滤波器进行点云跟踪；所述云渲染模块用于将Unity3D模型引入云中，进行Azure远程渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360376.3A CN113052883B (zh) | 2021-04-02 | 2021-04-02 | 大尺度动态环境下融合现实手术导航配准系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360376.3A CN113052883B (zh) | 2021-04-02 | 2021-04-02 | 大尺度动态环境下融合现实手术导航配准系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052883A true CN113052883A (zh) | 2021-06-29 |
| CN113052883B CN113052883B (zh) | 2024-02-02 |
Family
ID=76517637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110360376.3A Active CN113052883B (zh) | 2021-04-02 | 2021-04-02 | 大尺度动态环境下融合现实手术导航配准系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052883B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485695A (zh) * | 2016-09-21 | 2017-03-08 | 西北大学 | 基于统计形状模型的医学图像Graph Cut分割方法 |
| CN106504275A (zh) * | 2016-10-12 | 2017-03-15 | 杭州深瞳科技有限公司 | 一种惯性定位与点云配准耦合互补的实时三维重建方法 |
| CN109523582A (zh) * | 2018-09-10 | 2019-03-26 | 中国矿业大学(北京) | 一种顾及法向量和多尺度稀疏特征的点云粗配准方法 |
| CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN109859256A (zh) * | 2019-03-13 | 2019-06-07 | 大连理工大学 | 一种基于自动对应点匹配的三维点云配准方法 |
| CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
| US20200043186A1 (en) * | 2017-01-27 | 2020-02-06 | Ucl Business Plc | Apparatus, method, and system for alignment of 3d datasets |
-
2021
- 2021-04-02 CN CN202110360376.3A patent/CN113052883B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485695A (zh) * | 2016-09-21 | 2017-03-08 | 西北大学 | 基于统计形状模型的医学图像Graph Cut分割方法 |
| CN106504275A (zh) * | 2016-10-12 | 2017-03-15 | 杭州深瞳科技有限公司 | 一种惯性定位与点云配准耦合互补的实时三维重建方法 |
| US20200043186A1 (en) * | 2017-01-27 | 2020-02-06 | Ucl Business Plc | Apparatus, method, and system for alignment of 3d datasets |
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN109523582A (zh) * | 2018-09-10 | 2019-03-26 | 中国矿业大学(北京) | 一种顾及法向量和多尺度稀疏特征的点云粗配准方法 |
| CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
| CN109785374A (zh) * | 2019-01-23 | 2019-05-21 | 北京航空航天大学 | 一种牙科增强现实手术导航的自动实时无标记图像配准方法 |
| CN109859256A (zh) * | 2019-03-13 | 2019-06-07 | 大连理工大学 | 一种基于自动对应点匹配的三维点云配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| NA ZHOU等: ""A research of surgical navigation system of mixed reality based on image registration "", 《SID INTERNATIONAL SYMPOSIUM DIGEST OF TECHNICAL PAPERS 》, vol. 51, no. 1, pages 28 - 30 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052883B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| CN110151116B (zh) | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 | |
| CN101243475B (zh) | 具有根据临床任务工作流程的简单点击风格交互的特征的方法和设备 | |
| CN103356155B (zh) | 虚拟内窥镜辅助的腔体病灶检查系统 | |
| US7346199B2 (en) | Anatomic triangulation | |
| US20140324400A1 (en) | Gesture-Based Visualization System for Biomedical Imaging and Scientific Datasets | |
| JPH09508994A (ja) | 像形成装置及び方法 | |
| EP3804328A1 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array | |
| Lu et al. | Surgical instrument posture estimation and tracking based on LSTM | |
| Mirhosseini et al. | Benefits of 3D immersion for virtual colonoscopy | |
| CN113274129A (zh) | 一种基于虚拟现实的心胸外科手术辅助控制系统 | |
| CN113689577A (zh) | 虚拟三维模型与实体模型匹配的方法、系统、设备及介质 | |
| CN111260765B (zh) | 一种显微手术术野的动态三维重建方法 | |
| CN114711962A (zh) | 一种增强现实手术规划导航系统及方法 | |
| CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及系统 | |
| WO2022241319A1 (en) | Method and system of model fusion for laparoscopic surgical guidance | |
| Dai et al. | Neurosurgical craniotomy localization using interactive 3D lesion mapping for image-guided neurosurgery | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN113052883B (zh) | 大尺度动态环境下融合现实手术导航配准系统及方法 | |
| CN116612166A (zh) | 一种多模态影像的配准融合算法 | |
| CN113842227B (zh) | 医疗辅助三维模型定位匹配方法、系统、设备及介质 | |
| Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
| CN114886558A (zh) | 一种基于增强现实的内窥镜投影方法及系统 | |
| CN115830080B (zh) | 一种点云配准方法、装置、电子设备和存储介质 | |
| Karolczak et al. | A stereoscopic viewer of the results of vessel segmentation in 3D magnetic resonance angiography images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |