CN116993794B - 一种增强现实手术辅助导航的虚实配准方法和装置 - Google Patents
一种增强现实手术辅助导航的虚实配准方法和装置 Download PDFInfo
- Publication number
- CN116993794B CN116993794B CN202310969060.3A CN202310969060A CN116993794B CN 116993794 B CN116993794 B CN 116993794B CN 202310969060 A CN202310969060 A CN 202310969060A CN 116993794 B CN116993794 B CN 116993794B
- Authority
- CN
- China
- Prior art keywords
- virtual
- real
- matrix
- points
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 26
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 239000011521 glass Substances 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种增强现实手术辅助导航的虚实配准方法和装置，涉及手术导航技术领域。该增强现实手术辅助导航的虚实配准方法和装置，用户仅需控制Hololens眼镜进行虚拟和现实图像的拍摄，随后通过内置算法进行一键式配准；针对当前点云配准或者表面曲面配准过程中数据获取时难以克服的数据噪声和人工误差，且重建过程复杂耗时长，将获取虚实物体位姿的流程进行简化，通过多视角对极几何获得特定标识三维点坐标的方式不产生额外误差且数据采集过程中不携带噪声，能够提升配准的精度和速度。
Description
技术领域
本发明涉及手术导航技术领域，具体为一种增强现实手术辅助导航的虚实配准方法和装置。
背景技术
在基于增强现实的手术导航系统中，虚实配准是关键技术之一。目前的一些增强现实导航系统存在虚实配准不精确的问题，这限制了其在手术过程中的准确性和可靠性。虚实配准是将虚拟信息与实际解剖结构进行精确对齐的过程。在手术导航中，准确的虚实配准可以确保手术中虚拟对象与实际手术结构的高度一致性，使医生能够准确感知虚拟信息在真实世界中的位置和关系。这不仅能够降低难度，减小医生手术学习难度曲线，也降低了手术中出现失误的概率，实现精准高质量手术。
然而，目前的增强现实导航系统在虚实配准方面面临一些挑战。首先，术前进行虚实配准的时间可能较长，现有的虚实配准技术普遍采用基于点云匹配或者表面曲面匹配的算法，需要使用探针进行点采集或者进行预先术前采集骨骼解剖获得点云数据，术前准备过程复杂且消耗时间较长。其次，虚实配准的精度需要得到提高，以确保虚拟信息与实际解剖结构的准确对齐。探针的点采集难以克服人手收集数据中的颤抖误差，而实时的点云数据采集受限于VR/MR设备的获取精度，导致配准精度的下降。快速且精确的虚实配准对于手术过程中的实时定位和操作至关重要，因此需要解决配准过程耗时长、精度不足的问题；鉴于此，我们提出了一种增强现实手术辅助导航的虚实配准方法和装置。
发明内容
针对现有技术的不足，本发明提供了一种增强现实手术辅助导航的虚实配准方法和装置，解决了上述背景技术提到的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种增强现实手术辅助导航的虚实配准方法，所述方法包括以下步骤：
S1：术前准备；
S2：虚实配准，所述虚实配准包括：
S21：获取术前准备部分传输得到的标注图像；
S22：根据标记点的图像坐标，使用归一化的八点法计算本质矩阵；
S23：对本质矩阵进行分解，得到不同视角下摄像机的位姿；
S24：使用三角化的方法得到标注点的三维坐标；
S25：通过标注点的三维坐标，使用ICP算法得到虚实物体之间位姿的转换关系；
S26：对虚拟物体施加求得的虚实转换关系，实现虚实配准处理。
可选的，所述S1包括：
S11：通过Hololens眼镜自带摄像头，通过不同视角对虚实物体进行拍摄图像；
S12：通过预先训练好的内置神经网络模型，对拍摄图像进行标记点标注，标记点通过后续算法计算得到三维坐标；
S13：将标注好的虚实物体图像传输到虚实配准模块。
可选的，所述S21中标注图像采用神经网络模型标注的方式进行，对于左右视角拍摄图片，使用神经网络进行靶标关键点识别，通过调用训练好的神经网络模型进行推理，得到标注过后的左右视角图片。
可选的，所述神经网络模型标注的信息包括识别框左上角像素坐标和识别框，所述识别框为标准正方形，各边长度已知，且已知左上角坐标，计算得到识别框中心点像素坐标，作为靶标关键点的像素坐标。
可选的，所述S12中标记点已经过神经网络进行标注，即左图视角中{A,B,C,D,E,F,G,H}和右图视角中{A’,…,H’}的像素坐标已知，随后对点进行归一化，使得变换之后的像素点的原点为所有标记点的重心且各个像点到变换后原点的平方距离为2。
可选的，S12进一步的包括：左视角Atrans＝SA，右视角Atrans ’＝S’A’，S和S’分别为左右视角转换矩阵。
可选的，所述矩阵为E，且矩阵E满足p’TEp＝0，p和p’为不同视角的标记点，代入归一化后的标记点像素坐标，使用奇异值分解和本质矩阵秩为2的特性，得到归一化后的本质矩阵F，对F进行逆归一化得到本质矩阵F，即E＝S’TFS。
可选的，所述矩阵E的特性E＝T×R，其中T为相机从左视角到右视角的位移，R为相机从左视角到右视角的旋转矩阵，对本质矩阵进行奇异值分解即可得到T和R的四种可能解，左右视角下相机深度为正，可以得到唯一的R和T；
相机内参矩阵K提前测定，使用三角化方法得到标记点{A,B,C,D,E,F,G,H}的三维坐标；其中{A,B,C,D}属于{bone1}坐标系，即携带靶标的实物骨头的坐标系；{E,F,G,H}属于{bone1’}坐标系，即虚拟骨块坐标系；
通过ICP算法，利用求得的三维点坐标{A,B,C,D,E,F,G,H}计算得到{bone1}坐标系到{bone1’}坐标系的转换矩阵bone1’Tbone1，矩阵将作用于任何连接有靶标的虚拟骨块。
本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现增强现实手术辅助导航的虚实配准方法。
本发明提供了一种增强现实手术辅助导航的虚实配准方法和装置。具备以下有益效果：
1、该增强现实手术辅助导航的虚实配准方法和装置，用户仅需控制Hololens眼镜进行虚拟和现实图像的拍摄，随后通过内置算法进行一键式配准；针对当前点云配准或者表面曲面配准过程中数据获取时难以克服的数据噪声和人工误差，且重建过程复杂耗时长，将获取虚实物体位姿的流程进行简化，通过多视角对极几何获得特定标识三维点坐标的方式不产生额外误差且数据采集过程中不携带噪声，能够提升配准的精度和速度。
2、该增强现实手术辅助导航的虚实配准方法和装置，针对当前增强现实导航中，不同手术场景下虚实配准方案不统一的问题，本发明提出的虚实配准算法仅需该应用场景出现虚实物体且承载虚拟设备存在摄像机即可进行迁移部署，实现的不同应用场景下虚实配准方案的统一，增强了增强现实导航的实用性，降低了实现成本。
附图说明
图1为本发明整体流程结构示意图；
图2为本发明神经标注示意图；
图3为本发明配准结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种增强现实手术辅助导航的虚实配准方法，所述方法包括以下步骤：
S1：术前准备；
S11：通过Hololens眼镜自带摄像头，通过不同视角对虚实物体进行拍摄图像；
S12：通过预先训练好的内置神经网络模型，对拍摄图像进行标记点标注，标记点通过后续算法计算得到三维坐标，标记点已经过神经网络进行标注，即左图视角中{A,B,C,D,E,F,G,H}和右图视角中{A’,…,H’}的像素坐标已知，随后对点进行归一化，使得变换之后的像素点的原点为所有标记点的重心且各个像点到变换后原点的平方距离为2，且左视角Atrans＝SA，右视角Atrans ’＝S’A’，S和S’分别为左右视角转换矩阵；
S13：将标注好的虚实物体图像传输到虚实配准模块；
S2：虚实配准，所述虚实配准包括：
S21：获取术前准备部分传输得到的标注图像，标注图像采用神经网络模型标注的方式进行，对于左右视角拍摄图片，使用神经网络进行靶标关键点识别，通过调用训练好的神经网络模型进行推理，得到标注过后的左右视角图片；
神经网络模型标注的信息包括识别框左上角像素坐标和识别框，所述识别框为标准正方形，各边长度已知，且已知左上角坐标，计算得到识别框中心点像素坐标，作为靶标关键点的像素坐标；
S22：根据标记点的图像坐标，使用归一化的八点法计算本质矩阵；
S23：对本质矩阵进行分解，得到不同视角下摄像机的位姿；
S24：使用三角化的方法得到标注点的三维坐标；
S25：通过标注点的三维坐标，使用ICP算法得到虚实物体之间位姿的转换关系；
S26：对虚拟物体施加求得的虚实转换关系，实现虚实配准处理。
矩阵为E，且矩阵E满足p’TEp＝0，p和p’为不同视角的标记点，代入归一化后的标记点像素坐标，使用奇异值分解和本质矩阵秩为2的特性，得到归一化后的本质矩阵F，对F进行逆归一化得到本质矩阵F，即E＝S’TFS。；所述矩阵E的特性E＝T×R，其中T为相机从左视角到右视角的位移，R为相机从左视角到右视角的旋转矩阵，对本质矩阵进行奇异值分解即可得到T和R的四种可能解，左右视角下相机深度为正，可以得到唯一的R和T；
相机内参矩阵K提前测定，使用三角化方法得到标记点{A,B,C,D,E,F,G,H}的三维坐标；其中{A,B,C,D}属于{bone1}坐标系，即携带靶标的实物骨头的坐标系；{E,F,G,H}属于{bone1’}坐标系，即虚拟骨块坐标系；
通过ICP算法，利用求得的三维点坐标{A,B,C,D,E,F,G,H}计算得到{bone1}坐标系到{bone1’}坐标系的转换矩阵bone1’Tbone1，矩阵将作用于任何连接有靶标的虚拟骨块。
本发明还提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现增强现实手术辅助导航的虚实配准方法。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述方法包括以下步骤：
S1：术前准备；
所述S1包括：
S11：通过Hololens眼镜自带摄像头，通过不同视角对虚实物体进行拍摄图像；
S12：通过预先训练好的内置神经网络模型，对拍摄图像进行标记点标注，标记点通过后续算法计算得到三维坐标；
S13：将标注好的虚实物体图像传输到虚实配准模块；
S2：虚实配准，所述虚实配准包括：
S21：获取术前准备部分传输得到的标注图像，标注图像采用神经网络模型标注的方式进行，对于左右视角拍摄图片，使用神经网络进行靶标关键点识别，通过调用训练好的神经网络模型进行推理，得到标注过后的左右视角图片；
S22：根据标记点的图像坐标，使用归一化的八点法计算本质矩阵；
S23：对本质矩阵进行分解，得到不同视角下摄像机的位姿；
S24：使用三角化的方法得到标注点的三维坐标；
S25：通过标注点的三维坐标，使用ICP算法得到虚实物体之间位姿的转换关系；
S26：对虚拟物体施加求得的虚实转换关系，实现虚实配准处理。
2.根据权利要求1所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述神经网络模型标注的信息包括识别框左上角像素坐标和识别框，所述识别框为标准正方形，各边长度已知，且已知左上角坐标，计算得到识别框中心点像素坐标，作为靶标关键点的像素坐标。
3.根据权利要求2所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述S12中标记点已经过神经网络进行标注，即左图视角中{A,B,C,D,E,F,G,H}和右图视角中{A’,…,H’}的像素坐标已知，随后对点进行归一化，使得变换之后的像素点的原点为所有标记点的重心且各个像点到变换后原点的平方距离为2。
4.根据权利要求3所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：S12进一步的包括：左视角Atrans＝SA，右视角Atrans ’＝S’A’，S和S’分别为左右视角转换矩阵。
5.根据权利要求4所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述矩阵为E，且矩阵E满足p’TEp＝0，p和p’为不同视角的标记点，代入归一化后的标记点像素坐标，使用奇异值分解和本质矩阵秩为2的特性，得到归一化后的本质矩阵F，对F进行逆归一化得到本质矩阵F，即E＝S’TFS。
6.根据权利要求5所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述矩阵E的特性E＝T×R，其中T为相机从左视角到右视角的位移，R为相机从左视角到右视角的旋转矩阵，对本质矩阵进行奇异值分解即可得到T和R的四种可能解，左右视角下相机深度为正，可以得到唯一的R和T；
相机内参矩阵K提前测定，使用三角化方法得到标记点{A,B,C,D,E,F,G,H}的三维坐标；其中{A,B,C,D}属于{bone1}坐标系，即携带靶标的实物骨头的坐标系；{E,F,G,H}属于{bone1’}坐标系，即虚拟骨块坐标系；
通过ICP算法，利用求得的三维点坐标{A,B,C,D,E,F,G,H}计算得到{bone1}坐标系到{bone1’}坐标系的转换矩阵bone1’Tbone1，矩阵将作用于任何连接有靶标的虚拟骨块。
7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的增强现实手术辅助导航的虚实配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969060.3A CN116993794B (zh) | 2023-08-02 | 2023-08-02 | 一种增强现实手术辅助导航的虚实配准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969060.3A CN116993794B (zh) | 2023-08-02 | 2023-08-02 | 一种增强现实手术辅助导航的虚实配准方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993794A CN116993794A (zh) | 2023-11-03 |
| CN116993794B true CN116993794B (zh) | 2024-05-24 |
Family
ID=88522913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310969060.3A Active CN116993794B (zh) | 2023-08-02 | 2023-08-02 | 一种增强现实手术辅助导航的虚实配准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993794B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376552A (zh) * | 2014-09-19 | 2015-02-25 | 四川大学 | 一种3d模型与二维图像的虚实配准算法 |
| CN110264504A (zh) * | 2019-06-28 | 2019-09-20 | 北京国润健康医学投资有限公司 | 一种用于增强现实的三维配准方法和系统 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
| CN112826615A (zh) * | 2021-03-24 | 2021-05-25 | 北京大学口腔医院 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
| CN113648061A (zh) * | 2021-07-15 | 2021-11-16 | 上海交通大学医学院附属第九人民医院 | 一种基于混合现实的头戴式导航系统及导航配准方法 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| WO2023036848A1 (en) * | 2021-09-07 | 2023-03-16 | Neuronav Ltd | Augmented reality surgical navigation system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018032083A1 (en) * | 2016-08-17 | 2018-02-22 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
-
2023
- 2023-08-02 CN CN202310969060.3A patent/CN116993794B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376552A (zh) * | 2014-09-19 | 2015-02-25 | 四川大学 | 一种3d模型与二维图像的虚实配准算法 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| CN110264504A (zh) * | 2019-06-28 | 2019-09-20 | 北京国润健康医学投资有限公司 | 一种用于增强现实的三维配准方法和系统 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN112826615A (zh) * | 2021-03-24 | 2021-05-25 | 北京大学口腔医院 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
| CN113648061A (zh) * | 2021-07-15 | 2021-11-16 | 上海交通大学医学院附属第九人民医院 | 一种基于混合现实的头戴式导航系统及导航配准方法 |
| WO2023036848A1 (en) * | 2021-09-07 | 2023-03-16 | Neuronav Ltd | Augmented reality surgical navigation system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993794A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109464196B (zh) | 采用结构光影像配准的手术导航系统及配准信号采集方法 | |
| CN102413756B (zh) | 从单目内窥镜图像估计实时深度 | |
| CN110459301B (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
| CN107595388B (zh) | 一种基于反光球标记点的近红外双目视觉立体匹配方法 | |
| CN106600627A (zh) | 一种基于标志点的刚体运动捕捉方法及系统 | |
| CN109887071A (zh) | 一种3d电子内镜系统及三维重建方法 | |
| CN111768449B (zh) | 一种双目视觉结合深度学习的物体抓取方法 | |
| CN112509055B (zh) | 基于双目视觉和编码结构光相结合的穴位定位系统及方法 | |
| CN112168357B (zh) | C臂机空间定位模型构建系统及方法 | |
| CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
| CN111784775A (zh) | 一种标识辅助的视觉惯性增强现实注册方法 | |
| CN116883471B (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
| CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
| CN112190328A (zh) | 一种全息透视定位系统及定位方法 | |
| CN113487726B (zh) | 动作捕捉系统和方法 | |
| CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
| CN113822174B (zh) | 视线估计的方法、电子设备及存储介质 | |
| CN113837044B (zh) | 基于环境亮度的器官定位方法及相关设备 | |
| CN116993794B (zh) | 一种增强现实手术辅助导航的虚实配准方法和装置 | |
| Wang et al. | Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery | |
| CN109124765A (zh) | 基于混合现实的辅助诊疗系统在神经外科中的应用方法 | |
| CN114332187B (zh) | 单目目标测距方法及装置 | |
| CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 | |
| Diana et al. | Preliminary study of AR navigation-guided core-needle breast biopsy | |
| Wang et al. | Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |