CN109730771A - 一种基于ar技术的手术导航系统 - Google Patents

一种基于ar技术的手术导航系统 Download PDF

Info

Publication number
CN109730771A
CN109730771A CN201910209135.1A CN201910209135A CN109730771A CN 109730771 A CN109730771 A CN 109730771A CN 201910209135 A CN201910209135 A CN 201910209135A CN 109730771 A CN109730771 A CN 109730771A
Authority
CN
China
Prior art keywords
module
patient
data
dynamic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910209135.1A
Other languages
English (en)
Inventor
陈高
王宜主
慈来胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Ziwei Digital Technology Co Ltd
Original Assignee
Anhui Ziwei Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Ziwei Digital Technology Co Ltd filed Critical Anhui Ziwei Digital Technology Co Ltd
Priority to CN201910209135.1A priority Critical patent/CN109730771A/zh
Publication of CN109730771A publication Critical patent/CN109730771A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于AR技术的手术导航系统，包括手术端、AR眼镜端、动态定位获取端、处理模块、扫描模块、数据分析模块和存储模块，所述处理模块的输入端分别与所述扫描模块的输出端和所述动态定位获取端的输出端相连接。本发明通过集成手术端和AR眼镜端为一体的实现图像与现实环境中精准叠加的手术导航，通过扫描模块实时获取患者三维模拟图像，通过动态定位获取端实时将手术端的实时动态数据叠加到三维模拟图像中，使得AR眼镜端呈现图像与现实环境中精准叠加，此外通过数据分析模块和存储模块，能有效的对患者信息进行分析以及建立独立信息档案存储，不仅能为医护人员提供分析参考，而且利于患者的治疗，降低了治疗的难度和周期。

Description

一种基于AR技术的手术导航系统
技术领域
本发明涉及AR医疗技术领域，具体来说，涉及一种基于AR技术的手术导航系统。
背景技术
增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术1990年提出。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。
现有AR应用于医疗技术中，为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，普遍采用计算机辅助导航技术，该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像，主要存在以下不足：
1、由于上述导航系统是将定位和引导信息显示在系统屏幕上，医生通过观察导航屏幕上的图像来进行手术操作，使得导航信息与手术场景相分离。术中，医生为了观察手术器械相对于病人解剖结构的位置，不得不在病人手术部位和导航屏幕之间来回切换视野，这不利于医生将注意力集中于病人手术部位进行手术，会干扰手术进程并加大导航定位误差。
2、导航信息不易理解，医生主要利用导航系统屏幕上显示的叠加了手术器械信息的断层图像来进行术中定位，而这些图像并不能很好地反映出病人当前体位，使得医生不能直观地理解真实手术场景中手术器械与实际病人解剖结构间的空间位置关系，造成手术导航系统的作用不能得到充分发挥。
3、不能对患者三维模拟图像进行科学式分析，不能为医护人员提供分析参考，不利于对患者的治疗，增加了治疗的难度和周期。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于AR技术的手术导航系统，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于AR技术的手术导航系统，包括手术端、AR眼镜端、动态定位获取端、处理模块、扫描模块、数据分析模块和存储模块，所述处理模块的输入端分别与所述扫描模块的输出端和所述动态定位获取端的输出端相连接，所述处理模块的输出端与所述AR眼镜端的输入端相连接，所述手术端的输出端与所述扫描模块的输入端相连接，所述手术端的输出端和所述AR眼镜端的输出端与所述动态定位获取端的输入端相连接，且所述处理模块与所述数据分析模块双向连接，所述数据分析模块的输出端与所述存储模块的输入端相连接，其中；
所述动态定位获取端，用于在手术中获取患者定位图像和实时动态数据；
所述处理模块，接收数据并生成所述患者的三维模拟图像；
所述扫描模块，用于在手术前对患者进行扫描以获取扫描图像数据；
所述数据分析模块，用于对患者的三维模拟图像进行数据分析；
所述存储模块，用于建立患者三维模拟图像存储。
进一步的，所述手术端包括定位模块和动态追踪模块，其中；
所述定位模块，用于采集患者定位图像数据信息；
所述动态追踪模块，用于实时采集患者动态数据信息。
进一步的，所述AR眼镜端包括TOF成像模块和所述动态追踪模块，其中；
所述TOF成像模块，用于识别并确定患者实时位置。
进一步的，所述动态定位获取端包括定位摄像模块和光学动图追踪模块，其中；
所述定位摄像模块，用于获取定位图像；
所述光学动图追踪模块，用于实时采集动态数据。
进一步的，所述数据分析模块包括数据模块和分析建议模块，其中；
所述数据模块，用于数据采集；
所述分析建议模块，用于提供分析建议。
本发明的有益效果：本发明通过集成手术端和AR眼镜端为一体的实现图像与现实环境中精准叠加的手术导航，通过扫描模块实时获取患者三维模拟图像，通过动态定位获取端实时将手术端的实时动态数据叠加到三维模拟图像中，使得AR眼镜端呈现图像与现实环境中精准叠加，此外通过数据分析模块和存储模块，能有效的对患者信息进行分析以及建立独立信息档案存储，不仅能为医护人员提供分析参考，而且利于患者的治疗，降低了治疗的难度和周期。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于AR技术的手术导航系统的原理框图。
图中：
1、手术端；2、AR眼镜端；3、动态定位获取端；4、处理模块；5、扫描模块；6、数据分析模块；7、存储模块；8、定位模块；9、动态追踪模块；10、TOF成像模块；11、定位摄像模块；12、光学动图追踪模块；13、数据模块；14、分析建议模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于AR技术的手术导航系统。
如图1所示，根据本发明实施例的基于AR技术的手术导航系统，包括手术端1、AR眼镜端2、动态定位获取端3、处理模块4、扫描模块5、数据分析模块6和存储模块7，所述处理模块4的输入端分别与所述扫描模块5的输出端和所述动态定位获取端3的输出端相连接，所述处理模块4的输出端与所述AR眼镜端2的输入端相连接，所述手术端1的输出端与所述扫描模块5的输入端相连接，所述手术端1的输出端和所述AR眼镜端2的输出端与所述动态定位获取端3的输入端相连接，且所述处理模块4与所述数据分析模块6双向连接，所述数据分析模块6的输出端与所述存储模块7的输入端相连接，其中；
所述动态定位获取端3，用于在手术中获取患者定位图像和实时动态数据；
所述处理模块4，接收数据并生成所述患者的三维模拟图像；
所述扫描模块5，用于在手术前对患者进行扫描以获取扫描图像数据；
所述数据分析模块6，用于对患者的三维模拟图像进行数据分析；
所述存储模块7，用于建立患者三维模拟图像存储。
进一步的，所述手术端1包括定位模块8和动态追踪模块9，其中；
所述定位模块8，用于采集患者定位图像数据信息；
所述动态追踪模块9，用于实时采集患者动态数据信息。
借助于上述技术方案，通过本发明通过集成手术端1和AR眼镜端2为一体的实现图像与现实环境中精准叠加的手术导航，通过扫描模块5实时获取患者三维模拟图像，通过动态定位获取端3实时将手术端1的实时动态数据叠加到三维模拟图像中，使得AR眼镜端2呈现图像与现实环境中精准叠加，此外通过数据分析模块6和存储模块7，能有效的对患者信息进行分析以及建立独立信息档案存储，不仅能为医护人员提供分析参考，而且利于患者的治疗，降低了治疗的难度和周期。
另外，在一个实施例中，所述AR眼镜端2包括TOF成像模块10和所述动态追踪模块9，其中；
所述TOF成像模块10，用于识别并确定患者实时位置。
另外，在一个实施例中，所述动态定位获取端3包括定位摄像模块11和光学动图追踪模块12，其中；
所述定位摄像模块11，用于获取定位图像；
所述光学动图追踪模块12，用于实时采集动态数据。
另外，在一个实施例中，所述数据分析模块6包括数据模块13和分析建议模块14，其中；
所述数据模块13，用于数据采集；
所述分析建议模块14，用于提供分析建议。
综上所述，借助于本发明的上述技术方案，本发明通过集成手术端1和AR眼镜端2为一体的实现图像与现实环境中精准叠加的手术导航，通过扫描模块5实时获取患者三维模拟图像，通过动态定位获取端3实时将手术端1的实时动态数据叠加到三维模拟图像中，使得AR眼镜端2呈现图像与现实环境中精准叠加，此外通过数据分析模块6和存储模块7，能有效的对患者信息进行分析以及建立独立信息档案存储，不仅能为医护人员提供分析参考，而且利于患者的治疗，降低了治疗的难度和周期。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于AR技术的手术导航系统，其特征在于，包括手术端（1）、AR眼镜端（2）、动态定位获取端（3）、处理模块（4）、扫描模块（5）、数据分析模块（6）和存储模块（7），所述处理模块（4）的输入端分别与所述扫描模块（5）的输出端和所述动态定位获取端（3）的输出端相连接，所述处理模块（4）的输出端与所述AR眼镜端（2）的输入端相连接，所述手术端（1）的输出端与所述扫描模块（5）的输入端相连接，所述手术端（1）的输出端和所述AR眼镜端（2）的输出端与所述动态定位获取端（3）的输入端相连接，且所述处理模块（4）与所述数据分析模块（6）双向连接，所述数据分析模块（6）的输出端与所述存储模块（7）的输入端相连接，其中；
所述动态定位获取端（3），用于在手术中获取患者定位图像和实时动态数据；
所述处理模块（4），接收数据并生成所述患者的三维模拟图像；
所述扫描模块（5），用于在手术前对患者进行扫描以获取扫描图像数据；
所述数据分析模块（6），用于对患者的三维模拟图像进行数据分析；
所述存储模块（7），用于建立患者三维模拟图像存储。
2.根据权利要求1所述的基于AR技术的手术导航系统，其特征在于，所述手术端（1）包括定位模块（8）和动态追踪模块（9），其中；
所述定位模块（8），用于采集患者定位图像数据信息；
所述动态追踪模块（9），用于实时采集患者动态数据信息。
3.根据权利要求2所述的基于AR技术的手术导航系统，其特征在于，所述AR眼镜端（2）包括TOF成像模块（10）和所述动态追踪模块（9），其中；
所述TOF成像模块（10），用于识别并确定患者实时位置。
4.根据权利要求1所述的基于AR技术的手术导航系统，其特征在于，所述动态定位获取端（3）包括定位摄像模块（11）和光学动图追踪模块（12），其中；
所述定位摄像模块（11），用于获取定位图像；
所述光学动图追踪模块（12），用于实时采集动态数据。
5.根据权利要求1所述的基于AR技术的手术导航系统，其特征在于，所述数据分析模块（6）包括数据模块（13）和分析建议模块（14），其中；
所述数据模块（13），用于数据采集；
所述分析建议模块（14），用于提供分析建议。
CN201910209135.1A 2019-03-19 2019-03-19 一种基于ar技术的手术导航系统 Pending CN109730771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910209135.1A CN109730771A (zh) 2019-03-19 2019-03-19 一种基于ar技术的手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910209135.1A CN109730771A (zh) 2019-03-19 2019-03-19 一种基于ar技术的手术导航系统

Publications (1)

Publication Number Publication Date
CN109730771A true CN109730771A (zh) 2019-05-10

Family

ID=66370990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910209135.1A Pending CN109730771A (zh) 2019-03-19 2019-03-19 一种基于ar技术的手术导航系统

Country Status (1)

Country Link
CN (1) CN109730771A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112190331A (zh) * 2020-10-15 2021-01-08 北京爱康宜诚医疗器材有限公司 手术导航信息的确定方法、装置及系统、电子装置
WO2021017019A1 (zh) * 2019-07-31 2021-02-04 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法
CN113081273A (zh) * 2021-03-24 2021-07-09 上海微创医疗机器人（集团）股份有限公司 打孔辅助系统及手术机器人系统
CN113349927A (zh) * 2021-05-19 2021-09-07 上海交通大学 面部自体脂肪移植手术导航系统及虚拟刻度提示方法
CN114745523A (zh) * 2022-02-22 2022-07-12 清华大学 基于增强现实的手术麻醉患者辅助监控系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN207302077U (zh) * 2017-06-21 2018-05-01 西北农林科技大学 一种多目标猕猴桃果实图像获取装置
CN109106448A (zh) * 2018-08-30 2019-01-01 上海霖晏医疗科技有限公司 一种手术导航方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207302077U (zh) * 2017-06-21 2018-05-01 西北农林科技大学 一种多目标猕猴桃果实图像获取装置
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN109106448A (zh) * 2018-08-30 2019-01-01 上海霖晏医疗科技有限公司 一种手术导航方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017019A1 (zh) * 2019-07-31 2021-02-04 东北大学 基于增强现实的心脏支架手术辅助诊疗系统及使用方法
CN112190331A (zh) * 2020-10-15 2021-01-08 北京爱康宜诚医疗器材有限公司 手术导航信息的确定方法、装置及系统、电子装置
CN113081273A (zh) * 2021-03-24 2021-07-09 上海微创医疗机器人（集团）股份有限公司 打孔辅助系统及手术机器人系统
CN113349927A (zh) * 2021-05-19 2021-09-07 上海交通大学 面部自体脂肪移植手术导航系统及虚拟刻度提示方法
CN113349927B (zh) * 2021-05-19 2022-11-22 上海交通大学 面部自体脂肪移植手术导航系统及虚拟刻度提示方法
CN114745523A (zh) * 2022-02-22 2022-07-12 清华大学 基于增强现实的手术麻醉患者辅助监控系统及方法

Similar Documents

Publication Publication Date Title
CN107374729B (zh) 基于ar技术的手术导航系统及方法
CN109730771A (zh) 一种基于ar技术的手术导航系统
US20210011294A1 (en) Augmented visualization during surgery
US8504136B1 (en) See-through abdomen display for minimally invasive surgery
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
US6768496B2 (en) System and method for generating an image from an image dataset and a video image
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
JP2019519257A (ja) 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法
CN103519895A (zh) 一种骨科手术辅助导引方法
WO2007115825A1 (en) Registration-free augmentation device and method
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
KR20190096575A (ko) 의료 영상 시스템
CN109674533B (zh) 基于便携式彩超设备的手术导航系统及方法
CN111973273A (zh) 基于ar技术的手术导航系统、方法、设备和介质
WO2020041615A1 (en) Patient viewing system
CN110638525A (zh) 整合扩增实境的手术导航方法及系统
US10631948B2 (en) Image alignment device, method, and program
Harders et al. Multimodal augmented reality in medicine
Vogt Real-Time Augmented Reality for Image-Guided Interventions
CN114191078B (zh) 一种基于混合现实的内窥镜手术导航机器人系统
Wengert et al. Endoscopic navigation for minimally invasive suturing
Chen et al. Video-guided calibration of an augmented reality mobile C-arm
US10049480B2 (en) Image alignment device, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510