CN212661922U - 一种基于头戴式三维增强现实设备的手术训练和导航装置 - Google Patents
一种基于头戴式三维增强现实设备的手术训练和导航装置 Download PDFInfo
- Publication number
- CN212661922U CN212661922U CN202021444567.5U CN202021444567U CN212661922U CN 212661922 U CN212661922 U CN 212661922U CN 202021444567 U CN202021444567 U CN 202021444567U CN 212661922 U CN212661922 U CN 212661922U
- Authority
- CN
- China
- Prior art keywords
- module
- remote
- local
- dimensional
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本实用新型提出一种基于头戴式三维增强现实设备的手术训练和导航装置，所述装置包括：本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，和增强现实显示模块；所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；所述三维模型扫描模块连接到本地计算机。
Description
技术领域
本实用新型涉及医疗器械领域，尤其涉及一种基于头戴式三维增强现实显示设备的手术训练和手术及导航装置。
背景技术
医疗资源分布不均衡一直是中国乃至世界医疗体系的重大挑战。全球医疗可及性和医疗质量指数(HAQ)的分布在许多发展中国家中(例如中国和印度)，出现了地方层面的悬殊差距。缺乏训练有素的外科手术队伍使中低收入国家低成本高质量的外科手术护理的普及受到了严重阻碍。即使在发达国家，在资源有限的地区迅速提供高效的医疗保健也非常具有挑战性，特别是在发生灾难或者意外的情况下。考虑到人力资源是卫生系统中最重要的要素之一，跨地域的适当人力资源分配策略可以提供更有效的医疗援助。远程医疗可以向患者提供远程医疗服务和医疗保健服务，并确保医疗服务的连续性和在偏远地区对医疗资源的最佳利用。此外远程医疗可以向想要提高手术技能的医生和想要改善治疗的病人提供了一种实时的低成本的共享远程医疗资源的方式。外科远程医疗的主要方式是远程指导，包括术中导航和手术训练。远程指导系统不仅可以使医学专家在现场救援人员几乎没有相关经验的情况下指导手术操作，而且还可以使经验丰富的外科医生以交互方式远程训练学生的手术操作。
从19世纪60年代通过卫星视频会议进行了第一例远程指导开放心脏手术案例起，各种外科远程指导系统层出不穷，并在腹腔镜手术和开放手术中进行了测试。远程指导的最常用形式之一是实时视频会议。使用视频会议系统进行远程指导时，专家通过语音进行指导，指导结果的精确度主要依赖于远程的指导者传递语音指令和本地的操作者理解语音指令的能力，这种指导方式的效果不是很理想。另一种常用的远程指导系统通过视频的方式进行指导，专家可以在实时传输的手术现场影像上进行定位标注，以便本地的操作者能够在视觉和听觉上获取指导信息。这些基于视频的远程指导系统的主要局限性在于它们需要使用屏幕来显示手术影像和进行标注，在远程指导的手术过程中，本地操作者必须在手术区域和屏幕之间不断切换视角，以便跟随远程的标注，这样本地医生需要付出大量的精力来将视频指导显示的位置在手术区域进行定位。
近年来，增强现实技术作为一种可以将虚拟模型融入现实世界的技术被用于远程指导中。通过增强现实的显示方式，本地医生可以在同一视野下同时看到远程的指导和现场的手术区域，克服了传统屏幕显示的局限性。这些AR远程指导系统中的一类是将真实手术区域信息和虚拟模型一起在屏幕上显示，因此本地医生在操作时只需要观察屏幕即可，还有一种AR指导系统是利用可穿戴式增强现实设备在医生的真实视觉感知下显示二维虚拟模型。但是这些二维的显示屏幕不能为医生提供深度方向的感知。
头戴式三维增强现实显示设备可以以全息图的方式将三维的虚拟模型显示并融入真实世界中，在外科手术指导和培训领域具有巨大的潜力。目前市面上的头戴式三维增强现实显示设备有更长的电池寿命和更明亮的图像显示。三维远程通讯功能更是使头戴式三维增强现实显示设备成为许多医疗远程指导场景中的合适工具，例如AR指导手术，解剖学和操作培训。在外科远程指导中需要记录专家的手术刀位置，立体视觉常用于手术刀位置跟踪，尤其是在图像引导的神经外科手术中。
发明内容
为了解决上述技术问题，本实用新型提供一种新型的整合了三维坐标追踪和头戴式三维增强现实显示设备的远程手术指导和手术训练装置，可以使用双目相机实时追踪手术刀的三维坐标并将数据实时传输至头戴式三维增强现实显示设备。这种增强现实装置可以用于远程手术指导和手术训练。在做手术训练时，虚拟模型与真实模型配准融合，虚拟手术刀的位置可以使用双目视觉系统提前追踪录制或者在远端实时追踪并传输至本地，头戴式三维增强现实显示设备接收手术刀位置信息并用于指导虚拟手术刀，这样本地端的受训者可以根据虚拟手术刀的指导进行操作。在做远程指导的手术时，首先对手术现场进行三维模型的扫描并传输至远程端，远程端的医生在虚拟模型上规划手术刀路径并传输至头戴式三维增强现实显示设备指导虚拟手术刀，本地端的医生可以在虚拟手术刀的指导下操作。装置可以实时追踪本地端的手术刀的位置反馈给操作者，以保证操作的精确度。
本实用新型的技术方案为：一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于，包括：
本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，三维路径规划模块和增强现实显示模块；
所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；
所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；
所述三维模型扫描模块连接到本地计算机。
进一步的，所述增强现实显示模块为可开发的三维头戴式增强现实显示设备。
进一步的，所述远程追踪器模块包括支架，第一LED灯、第二LED灯、第三LED灯，三个LED灯分别位于同一平面上，且三种LED灯分别为不同颜色的，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上，支架伸出3个支杆，每个支杆上安装一个LED灯，每两个支杆之间的角度相同。
进一步的，所述三维模型扫描模块为三维扫描仪。
有益效果：
1.本实用新型的装置采用增强现实显示设备，使用者的视野中可以同时看到真实世界和融入真实世界的三维模型，解决了现有技术中医生需反复在显示器与操作部位间频繁切换视角的问题，有助于优化手术路径及提高手术成功率。
2.本实用新型的装置的增强显示设备以全息图的形式显示虚拟模型，与传统的平面显示的增强现实显示方法相比，三维全息显示可以为使用者提供深度方向上的感知，对于提高手术定位精度、减少手术损伤等具有十分重要的意义。
3.本实用新型的装置在用于手术训练时，培训者不仅可以实时指导并传输手术刀路径，也可以将手术刀路径提前录制并保存，这样培训者的指导将不受时间和地点的限制，受训者可以在提前录制的手术刀路径的指导下进行训练，同时一位培训者可以对多位受训者同时进行指导，大大地提高了医疗资源的利用率。
4.本实用新型的装置有两套双目视觉追踪系统，本地被指导者的手术刀路径也会被同时追踪并反馈至显示模块中与用于指导的虚拟路径对比，操作者可以实时观测自己的操作偏差，这样的反馈机制可以监督并提醒操作者，提高了整体定位精度。
5.发明的采用头戴式增强现实显示设备，体积小，续航能力强，操作简单，该显示装置不受手术室空间和医生的术中操作以及患者身体部位的限制，虚拟模型实时随使用者的视角移动并与真实世界配准，大大提升了应用范围和灵活性，更易于推广使用。
附图说明
图1是本实用新型的远程追踪器模块和本地追踪器模块示意图；
图2是本实用新型的装置用于手术训练的示意图；
图3是本实用新型的装置用于远程手术导航的示意图。
具体实施方式
下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本实用新型的一部分实施例，而不是全部的实施例，基于本实用新型中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本实用新型的保护范围。
本实用新型提供的一种基于头戴式三维增强现实显示设备的手术训练和手术导航装置。
如图1所示，远程追踪器模块或本地追踪器模块包括支架11，第一LED灯12、第二LED灯13、第三LED灯14，三个LED灯分别为位于同一平面上，且三种LED灯分别为不同颜色的，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上。支架11伸出3个支杆，每个支杆上安装一个LED灯，每两个支杆之间的角度相同。
参见图2和图3所示，所述装置包括本地追踪器模块1，远程追踪器模块2，本地双目视觉追踪模块3，远程双目视觉追踪模块4，本地图像处理模块5，远程图像处理模块6，增强现实显示模块7，三维模型扫描模块8，三维模型处理模块9，和三维路径规划模块10。
所述本地双目视觉追踪模块3与本地图像处理模块5连接，远程双目视觉追踪模块4与远程图像处理模块6连接，三维模型扫描模块8与三维模型处理模块9连接。远程追踪器模块2和本地追踪器模块1结构相同，
在本实用新型中，本地双目视觉追踪模块3和远程双目视觉追踪模块4中分别包括两台彩色相机，分别拍摄本地追踪器模块1和远程追踪器模块2的彩色图片，并分别将拍摄的图像数据分别传输给本地图像处理模块5和远程图像处理模块6，本地图像处理模块5位于一台本地的计算机上，远程图像处理模块6位于一台远程计算机上，增强现实显示模块7为一台可开发的三维头戴式增强现实显示设备，三维模型扫描模块8为一台三维扫描仪，连接到本地计算机，三维模型处理模块9，和三维路径规划模块10分别位于前述本地和远程的计算机上。
上述装置的重点应用之一为手术训练，手术训练是医学生获取手术医师资格认证的关键的步骤，对提高操作者的水平有极大帮助。外科手术操作需要具备良好的空间定位技能，使用上述装置可以让学生全程实时直观的看到培训者传授的定位信息，操作方便，并且不受时间空间的限制。
尽管上面对本实用新型说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本实用新型，且应该清楚，本实用新型不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本实用新型的精神和范围内，这些变化是显而易见的，一切利用本实用新型构思的发明创造均在保护之列。
Claims (4)
1.一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于，包括：
本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，三维路径规划模块和增强现实显示模块；
所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；
所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；
所述三维模型扫描模块连接到本地计算机。
2.根据权利要求1所述的一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于：
所述增强现实显示模块为可开发的三维头戴式增强现实显示设备。
3.根据权利要求1所述的一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于：
所述远程追踪器模块包括支架，第一LED灯、第二LED灯、第三LED灯，三个LED灯分别位于同一平面上，且三种LED灯分别为不同颜色的，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上，支架伸出3个支杆，每个支杆上安装一个LED灯，每两个支杆之间的角度相同。
4.根据权利要求1所述的一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于：
所述三维模型扫描模块为三维扫描仪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202021444567.5U CN212661922U (zh) | 2020-07-21 | 2020-07-21 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202021444567.5U CN212661922U (zh) | 2020-07-21 | 2020-07-21 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN212661922U true CN212661922U (zh) | 2021-03-09 |
Family
ID=74817237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202021444567.5U Active CN212661922U (zh) | 2020-07-21 | 2020-07-21 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN212661922U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111728697A (zh) * | 2020-07-21 | 2020-10-02 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
| CN115547129A (zh) * | 2022-10-19 | 2022-12-30 | 肇庆医学高等专科学校 | 一种心脏三维可视化的ar实现系统与方法 |
| CN111728697B (zh) * | 2020-07-21 | 2024-11-05 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
-
2020
- 2020-07-21 CN CN202021444567.5U patent/CN212661922U/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111728697A (zh) * | 2020-07-21 | 2020-10-02 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
| CN111728697B (zh) * | 2020-07-21 | 2024-11-05 | 中国科学技术大学 | 一种基于头戴式三维增强现实设备的手术训练和导航装置 |
| CN115547129A (zh) * | 2022-10-19 | 2022-12-30 | 肇庆医学高等专科学校 | 一种心脏三维可视化的ar实现系统与方法 |
| CN115547129B (zh) * | 2022-10-19 | 2023-10-03 | 肇庆医学高等专科学校 | 一种心脏三维可视化的ar实现系统与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens | |
| EP1739642B1 (en) | 3d entity digital magnifying glass system having 3d visual instruction function | |
| Bifulco et al. | Telemedicine supported by Augmented Reality: an interactive guide for untrained people in performing an ECG test | |
| Rafiq et al. | Digital video capture and synchronous consultation in open surgery | |
| CN105788390A (zh) | 基于增强现实的医学解剖辅助教学系统 | |
| JP2017119160A (ja) | 立体視ビデオ画像を観察および追跡するためのシステムおよび方法 | |
| Lin et al. | A first-person mentee second-person mentor AR interface for surgical telementoring | |
| CN105938665A (zh) | 一种远程音视频手术示教系统 | |
| CN1894618A (zh) | 用于立体观察实时或静态图像的系统 | |
| CN212661922U (zh) | 一种基于头戴式三维增强现实设备的手术训练和导航装置 | |
| Rebol et al. | Mixed reality communication for medical procedures: Teaching the placement of a central venous catheter | |
| Andersen et al. | Augmented visual instruction for surgical practice and training | |
| DeLucia et al. | Toward the improvement of image-guided interventions for minimally invasive surgery: Three factors that affect performance | |
| CN111728697B (zh) | 一种基于头戴式三维增强现实设备的手术训练和导航装置 | |
| CN111728697A (zh) | 一种基于头戴式三维增强现实设备的手术训练和导航装置 | |
| Riva et al. | Virtual reality as telemedicine tool: technology, ergonomics and actual applications | |
| Queisner | MEDICAL SCREEN OPERATIONS: HOW HEAD-MOUNTED DISPLAYS TRANSFORM ACTION AND PERCEPTION IN SURGICAL PRACTICE. | |
| Fedorov et al. | Infocommunication support for surgeons in training, education and professional activities | |
| Sharma et al. | Evolution of the meta-neurosurgeon: A systematic review of the current technical capabilities, limitations, and applications of augmented reality in neurosurgery | |
| KR20150066779A (ko) | 학습을 위한 착용형 장치 및 이를 포함하여 학습을 지원하는 시스템 | |
| US12106678B2 (en) | Procedure guidance and training apparatus, methods and systems | |
| Barnett et al. | HelpingHands: Developing Health Procedure Skills Through Augmented Reality-Based Remote Guidance | |
| Kothari et al. | Evaluation of operative imaging techniques in surgical education | |
| Dromey | Engineering large-scale software-intensive systems | |
| Keser et al. | Exploring Requirements for Neurosurgical Augmented Reality: Design and Evaluation of an Infrared-Based Inside-Out Tracking Approach on HoloLens 2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: No.443 Huangshan Road, Shushan District, Hefei City, Anhui Province 230022 Patentee after: University of Science and Technology of China Address before: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96 Patentee before: University of Science and Technology of China |