CN101904770A - 一种基于光学增强现实技术的手术导航系统及方法 - Google Patents
一种基于光学增强现实技术的手术导航系统及方法 Download PDFInfo
- Publication number
- CN101904770A CN101904770A CN2009100526340A CN200910052634A CN101904770A CN 101904770 A CN101904770 A CN 101904770A CN 2009100526340 A CN2009100526340 A CN 2009100526340A CN 200910052634 A CN200910052634 A CN 200910052634A CN 101904770 A CN101904770 A CN 101904770A
- Authority
- CN
- China
- Prior art keywords
- optical
- profile type
- mounted display
- helmet mounted
- type helmet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明属医疗器械领域，涉及一种基于光学增强现实技术的手术导航系统及方法。本发明中，计算机生成光点阵显示在光学式头盔显示器显示屏上，照相机透过显示屏拍摄标定板和光点阵；计算机识别所摄数字图像中的光点阵和彩色标定点并获取其二维坐标；计算标定点三维空间到光学式头盔显示器成像面二维空间的映射，完成标定；根据所需映射绘制相应虚拟信息，显示在光学式头盔显示器显示屏上，实现对手术场景的增强。该发明能很好地支持增强现实技术在手术导航系统中的应用。
Description
技术领域
本发明属医疗器械领域，具体涉及一种基于光学增强现实技术的手术导航系统及方法。
背景技术
传统的手术导航又称图像引导手术(IGS：Image guidedsurgery)，是以CT、MRI等医学图像信息为基础，通过重建精确的三维人体模型和使用高精度定位系统跟踪病人和手术器械的位置信息，在手术进行过程中，通过计算机实时模拟，对手术过程进行监控。手术导航可辅助医生制定术前方案，缩小手术创伤区域，保护重要组织结构，提高手术质量，降低意外率，具有十分积极的临床意义。
虽然IGS的应用给外科手术带来了极大的便利，但外科大夫在手术过程中必须一边看人体组织的3D显示，一边将3D显示与病人真实的解剖组织进行对应，将导航信息从虚拟空间反映到真实病人的空间。由于此过程难免存在主观上的偏差，同时也不符合手术的一般习惯，因此不利于手术的顺利进行。近年来增强现实技术(AR：Augmentedreality)的出现，给IGS带来了更直观的方法。AR是在虚拟现实(VR：Virtual Reality)基础上发展演化而来的一项技术，它将计算机生成的虚拟物体、场景或系统提示信息实时准确地叠加并显示到真实场景中，做到虚实结合，增强使用者对真实世界的观察。[1]在外科手术领域，AR则可将重建产生的3D人体虚拟模型直接融合到医生所看到的真实场景中，实现手术视野的增强显示。
目前国际上用于AR的显示设备以头盔式显示器(HMD：Headmounted display)为主。根据使用原理不同，HMD又可分为视频透视式和光学透视式两种。使用光学透视式HMD，用户既可直接观察到周围的真实环境，还可看到计算机产生的增强图像或信息，显示效果明显强于视频透视式HMD。但光学式HMD中，由于来自真实场景的图像直接成像于用户视网膜上，无法直接标定[2][3]，需要用户在线标定，这种人机交互过程高度依赖于用户。所以光学式HMD的标定是阻碍其实际应用的技术难点，目前尚未有成熟的基于光学式HMD的增强现实导航系统应用于临床实践。Tuceryan描述了一种光学式HMD的标定法——单点活动排列法(SPAAM)[4]，取得了较好的效果，但它的标定过程仍然需要人工对准，精度受人为影响较大。
与本发明专利相关的已有技术或参考文献有：
[1]Azuma R T.A survey of augmented reality.Teleoperatorsand virtual environments，1997；4：355-385.
[2]Tuceryan M，Greer D，Whitaker R，et al.Calibrationrequirements and procedures for a monitor-based augmentedreality system.IEEE Trans Vis Comput Graph，1995；1：25573.
[3]Azuma R，Baillot Y，Behringer R，et al.Recent advancesin augmented reality.IEEE Comput Graph，2001；21：34 47.
[4]Tuceryan M，Navab N.Single point active alignment method(SPAAM)for optical see-through HMD calibration foraugmented reality.International Symposium for AugmentedReality，2000；149～158.
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于光学增强现实技术的手术导航系统及方法，使手术导航在临床应用中更精确、实用和方便。
本发明提供了一种基于光学增强现实技术的手术导航系统，所述系统包括：光学式头盔显示器，标定板，数码照相机，探针，空间定位仪和计算机；所述的光学式头盔显示器(HMD)，用于显示增强后的现实场景，上面固定反光球，用于反射空间定位仪发出的红外线；所述的标定板，上设有多个彩色标定点，用于标定HMD的内部参数；；采用数码照相机拍摄标定点和光点阵；所述的探针，上有多个反光球，用于获取标定点的三维空间坐标；所述的空间定位仪，发出红外线，用于获取被跟踪物体的六个自由度的三维空间信息；所述的计算机，主要包括：跟踪模块，用于接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，其中的标定模块，用于识别所摄数码照片中的光点阵及彩色标定点，并计算出各种所需要的映射关系，其中的绘制模块，用于计算并输出增强现实信息，并绘制在HMD成像平面上。
本发明还提供了一种基于光学增强现实技术的手术导航方法，其包括以下步骤：
计算机生成光点阵，本发明中，所述的光点阵为计算机自动生成并显示在HMD显示屏上的虚拟光点阵，并已知其在HMD显示屏上的相对二维坐标；
将生成的光点阵绘制在HMD显示屏上；
采用照相机透过HMD显示屏拍摄标定板上的彩色标定点；
获取标定板上标定点的三维坐标；
获取所摄图片上彩色标定点和光点阵的二维坐标；
计算标定点三维空间到图片二维空间的映射以及图片上光点阵二维空间到HMD成像面二维空间的映射；
根据上述两映射计算标定点三维空间到HMD成像面二维空间的映射；
获取HMD的三维空间坐标；
计算标定点三维空间到HMD三维空间的映射(即HMD外部参数)；
根据标定点三维空间到HMD成像面二维空间的映射和HMD外部参数求解HMD的内部参数；
HMD的空间位置和朝向发生变化时，根据内部参数和动态获取的外部参数实时计算需要增强显示的物体在HMD成像面上的具体映射，进行实时刷新渲染。
本发明具有下述优点：
(1)将光学式增强现实技术引入到手术导航系统中，实现了手术视野的增强显示，显示效果远胜于视频式增强现实系统。
(2)术前对HMD的标定过程基本不需要人工干涉，有效地解决了光学式HMD的全自动标定问题，精度高，稳定性好。
(3)术前一次标定，术中反复使用，只要固定在HMD上的反光球与HMD的位置关系不变，就不需重新标定。
(4)采用了彩色标定点和光点阵，便于计算机对二维图片中的对应点进行识别，增加了识别的准确性。
附图说明
图1是本发明实施例的系统结构框图。
图2是本发明实施例的计算流程图。
具体实施方式
以下参照附图对本发明的实施例进行详细说明。
实施例1
如图1所示，本发明的基于光学增强现实技术的手术导航系统包括：外置标定板，板上有若干彩色标定点，便于标定过程中计算机的自动识别；HMD即光学透视式头盔显示器，在标定过程中，其显示屏上生成光点阵；照相机，用于对准HMD显示屏拍摄计算机生成的光点阵和透过显示屏所见的标定板上的彩色标定点，并输出图像数据；计算机，主要包括：跟踪模块，用于接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，以及接收照相机输出的数字图像数据；标定模块，用于识别所摄数码照片中的光点阵及彩色标定点的二维坐标数据，计算出标定点三维空间到图片二维空间的映射以及图片上光点阵二维空间到HMD成像面二维空间的映射，根据上述两映射计算标定点三维空间到HMD成像面二维空间的映射，再根据计算出的HMD外部参数，求解HMD的内部参数；绘制模块，当HMD的空间位置和朝向发生变化时，根据内部参数和动态获取的外部参数实时计算需要增强显示的物体在HMD成像面上的具体映射，输出增强现实信息，并绘制在HMD成像平面上，实现实时刷新渲染。
实施例2
基于光学增强现实技术的手术导航方法需要进行术前的配准标定工作。系统工作示意图如图2所示。整个配准标定流程如下：首先在待工作场景中放置一事先准备的标定板，上有若干彩色标定点。计算机绘制已知坐标光点阵并通过视频线传输显示在HMD显示屏上。将照相机固定在HMD显示屏前，透过显示屏拍摄彩色标定点和HMD显示屏上的光点阵。采集到的数字图像传入计算机，经过减噪处理后对图像进行逐行扫描，根据事先设定的色彩寻找目标标定点，同时识别光点阵。利用装有红外线反光球的探针和空间定位仪可获取标定板上彩色标定点的三维世界坐标，并传输给计算机。另外，HMD上固定有红外线反光球，空间定位仪亦可给出HMD的三维世界坐标。根据像素颜色的对应关系可以获得标定点二维图像坐标和其三维世界坐标之间的对应关系，再根据数字图像上光点阵二维空间与HMD成像面二维空间的对应关系，即可计算出标定点三维空间到HMD成像面二维空间的映射，进而计算出HMD内外部参数，标定工作完成。术中使用增强现实系统时，内部参数不需重复计算。随着配戴HMD医生头部运动至新的位置，空间定位仪将实时给出HMD的坐标，计算机自动计算HMD与术中病人的相对位置和方向，最终计算出新的映射投影矩阵，并实时刷新绘制出增强现实信息，显示于HMD的显示屏上。
以上具体实施方式仅用于说明本发明，而非用于限定本发明。
Claims (6)
1.一种基于光学增强现实技术的手术导航系统，其特征是，所述系统包括：光学式头盔显示器，标定板，数码照相机，探针，空间定位仪和计算机；所述的光学式头盔显示器显示增强后的现实场景，所述的标定板标定光学式头盔显示器的内部参数；数码照相机拍摄标定点和光点阵；所述的探针获取标定点的三维空间坐标；所述的空间定位仪发出红外线，获取被跟踪物体的六个自由度的三维空间信息；所述的计算机，通过跟踪模块接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，通过标定模块，识别所摄数码照片中的光点阵及彩色标定点，并计算出所需要的映射关系，通过绘制模块，用于计算并输出增强现实信息，并绘制在光学式头盔显示器成像平面上。
2.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的光学式头盔显示器上面固定反光球，用于反射空间定位仪发出的红外线。
3.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的标定板上设有彩色标定点。
4.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的探针上设反光球。
5.一种基于权利要求1的导航系统的手术导航方法，其特征是，其包括以下步骤：
1)计算机生成光点阵，显示在光学式头盔显示器显示屏上；
2)照相机透过光学式头盔显示器显示屏拍摄标定板和光点阵；
3)计算机识别所摄数字图像中的光点阵和彩色标定点，并获取其二维坐标；
4)计算标定点三维空间到光学式头盔显示器成像面二维空间的映射，完成标定；
5)根据所需映射绘制相应虚拟信息，显示在光学式头盔显示器显示屏上，实现对手术场景的增强。
6.根据权利要求4所述的方法，其特征是，所述的光点阵为计算机自动生成并显示在光学式头盔显示器显示屏上的虚拟光点阵，并已知其在光学式头盔显示器显示屏上的相对二维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100526340A CN101904770B (zh) | 2009-06-05 | 2009-06-05 | 一种基于光学增强现实技术的手术导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100526340A CN101904770B (zh) | 2009-06-05 | 2009-06-05 | 一种基于光学增强现实技术的手术导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101904770A true CN101904770A (zh) | 2010-12-08 |
| CN101904770B CN101904770B (zh) | 2012-11-14 |
Family
ID=43260470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100526340A Expired - Fee Related CN101904770B (zh) | 2009-06-05 | 2009-06-05 | 一种基于光学增强现实技术的手术导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101904770B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103445863A (zh) * | 2012-06-02 | 2013-12-18 | 复旦大学 | 基于平板电脑的手术导航和增强现实系统 |
| CN104523230A (zh) * | 2014-12-29 | 2015-04-22 | 华中科技大学 | 一种静脉穿刺针头位置定位的装置 |
| CN104918572A (zh) * | 2012-09-10 | 2015-09-16 | 艾尔比特系统有限公司 | 用于外科手术的视频捕获和显示的数字系统 |
| CN105055021A (zh) * | 2015-06-30 | 2015-11-18 | 华南理工大学 | 手术导航穿刺针的标定装置及其标定方法 |
| CN105266897A (zh) * | 2015-11-25 | 2016-01-27 | 上海交通大学医学院附属第九人民医院 | 一种基于增强现实的显微外科手术导航系统及导航方法 |
| CN106767528A (zh) * | 2016-12-09 | 2017-05-31 | 佛山市安答科技有限公司 | 一种基于彩色圆环标定板的光栅三维测量系统的标定方法 |
| CN107255642A (zh) * | 2017-06-23 | 2017-10-17 | 昆山善思光电科技有限公司 | X光无损检测设备的导航装置及其方法 |
| WO2018028166A1 (zh) * | 2016-08-12 | 2018-02-15 | 深圳市掌网科技股份有限公司 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
| CN109313821A (zh) * | 2016-06-30 | 2019-02-05 | 微软技术许可有限责任公司 | 三维对象扫描反馈 |
| CN109833092A (zh) * | 2017-11-29 | 2019-06-04 | 上海复拓知达医疗科技有限公司 | 体内导航系统和方法 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN109952070A (zh) * | 2016-10-05 | 2019-06-28 | 纽文思公司 | 手术导航系统及相关方法 |
| CN110169822A (zh) * | 2018-02-19 | 2019-08-27 | 格罗伯斯医疗有限公司 | 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法 |
| CN110189381A (zh) * | 2019-05-30 | 2019-08-30 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及系统 |
| CN113052920A (zh) * | 2021-04-26 | 2021-06-29 | 歌尔光学科技有限公司 | 摄像头标定方法、装置及计算机可读存储介质 |
| CN113509264A (zh) * | 2021-04-01 | 2021-10-19 | 上海复拓知达医疗科技有限公司 | 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7369101B2 (en) * | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
| US9681925B2 (en) * | 2004-04-21 | 2017-06-20 | Siemens Medical Solutions Usa, Inc. | Method for augmented reality instrument placement using an image based navigation system |
| CN101339654A (zh) * | 2007-07-04 | 2009-01-07 | 北京威亚视讯科技有限公司 | 一种基于标志点的增强现实三维注册方法和系统 |
-
2009
- 2009-06-05 CN CN2009100526340A patent/CN101904770B/zh not_active Expired - Fee Related
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103445863B (zh) * | 2012-06-02 | 2015-10-07 | 复旦大学 | 基于平板电脑的手术导航和增强现实系统 |
| CN103445863A (zh) * | 2012-06-02 | 2013-12-18 | 复旦大学 | 基于平板电脑的手术导航和增强现实系统 |
| CN104918572A (zh) * | 2012-09-10 | 2015-09-16 | 艾尔比特系统有限公司 | 用于外科手术的视频捕获和显示的数字系统 |
| CN104523230B (zh) * | 2014-12-29 | 2016-07-13 | 华中科技大学 | 一种静脉穿刺针头位置定位的装置 |
| CN104523230A (zh) * | 2014-12-29 | 2015-04-22 | 华中科技大学 | 一种静脉穿刺针头位置定位的装置 |
| CN105055021A (zh) * | 2015-06-30 | 2015-11-18 | 华南理工大学 | 手术导航穿刺针的标定装置及其标定方法 |
| CN105055021B (zh) * | 2015-06-30 | 2017-08-25 | 华南理工大学 | 手术导航穿刺针的标定装置及其标定方法 |
| CN105266897A (zh) * | 2015-11-25 | 2016-01-27 | 上海交通大学医学院附属第九人民医院 | 一种基于增强现实的显微外科手术导航系统及导航方法 |
| CN109313821A (zh) * | 2016-06-30 | 2019-02-05 | 微软技术许可有限责任公司 | 三维对象扫描反馈 |
| CN109313821B (zh) * | 2016-06-30 | 2023-11-28 | 微软技术许可有限责任公司 | 三维对象扫描反馈 |
| WO2018028166A1 (zh) * | 2016-08-12 | 2018-02-15 | 深圳市掌网科技股份有限公司 | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 |
| CN109952070B (zh) * | 2016-10-05 | 2022-02-01 | 纽文思公司 | 手术导航系统及相关方法 |
| CN109952070A (zh) * | 2016-10-05 | 2019-06-28 | 纽文思公司 | 手术导航系统及相关方法 |
| US11350995B2 (en) | 2016-10-05 | 2022-06-07 | Nuvasive, Inc. | Surgical navigation systems and methods |
| CN106767528A (zh) * | 2016-12-09 | 2017-05-31 | 佛山市安答科技有限公司 | 一种基于彩色圆环标定板的光栅三维测量系统的标定方法 |
| CN107255642A (zh) * | 2017-06-23 | 2017-10-17 | 昆山善思光电科技有限公司 | X光无损检测设备的导航装置及其方法 |
| CN109833092A (zh) * | 2017-11-29 | 2019-06-04 | 上海复拓知达医疗科技有限公司 | 体内导航系统和方法 |
| CN110169822A (zh) * | 2018-02-19 | 2019-08-27 | 格罗伯斯医疗有限公司 | 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法 |
| CN110169822B (zh) * | 2018-02-19 | 2022-06-21 | 格罗伯斯医疗有限公司 | 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法 |
| CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
| CN110189381B (zh) * | 2019-05-30 | 2021-12-03 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN110189381A (zh) * | 2019-05-30 | 2019-08-30 | 北京眸视科技有限公司 | 外参数标定系统、方法、终端及可读存储介质 |
| CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及系统 |
| CN113509264A (zh) * | 2021-04-01 | 2021-10-19 | 上海复拓知达医疗科技有限公司 | 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质 |
| CN113052920A (zh) * | 2021-04-26 | 2021-06-29 | 歌尔光学科技有限公司 | 摄像头标定方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101904770B (zh) | 2012-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101904770B (zh) | 一种基于光学增强现实技术的手术导航系统及方法 | |
| US11025889B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| US10359916B2 (en) | Virtual object display device, method, program, and system | |
| CN107374729B (zh) | 基于ar技术的手术导航系统及方法 | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| KR101647467B1 (ko) | 증강현실을 이용한 외과 수술용 3d 안경 시스템 | |
| CN109758230A (zh) | 一种基于增强现实技术的神经外科手术导航方法和系统 | |
| US6891518B2 (en) | Augmented reality visualization device | |
| Ferrari et al. | A 3-D mixed-reality system for stereoscopic visualization of medical dataset | |
| Liu et al. | A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens | |
| US20140022283A1 (en) | Augmented reality apparatus | |
| US11574446B2 (en) | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation | |
| CN103948432A (zh) | 术中立体内窥视频与超声图像增强现实算法 | |
| CN107049489B (zh) | 一种手术导航方法及系统 | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| CN111297501B (zh) | 一种口腔种植手术增强现实导航方法和系统 | |
| CN109620408A (zh) | 一种基于电磁定位的增强现实手术导航系统标定方法 | |
| Maurer Jr et al. | Augmented-reality visualization of brain structures with stereo and kinetic depth cues: system description and initial evaluation with head phantom | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| CN113648061B (zh) | 一种基于混合现实的头戴式导航系统及导航配准方法 | |
| TWI697317B (zh) | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| US20030179249A1 (en) | User interface for three-dimensional data sets | |
| Heinrich et al. | 2D versus 3D: a comparison of needle navigation concepts between augmented reality display devices | |
| Harders et al. | Multimodal augmented reality in medicine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Song Zhijian Inventor after: Hu Liang Inventor after: Wang Manning Inventor after: Yao Demin Inventor after: Li Wensheng Inventor after: Du Wenjian Inventor before: Song Zhijian Inventor before: Wang Manning Inventor before: Yao Demin Inventor before: Li Wensheng Inventor before: Du Wenjian |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: SONG ZHIJIAN WANG MANNING YAO DEMIN LI WENSHENG DU WENJIAN TO: SONG ZHIJIAN HU LIANG WANG MANNING YAO DEMIN LI WENSHENG DU WENJIAN |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121114 Termination date: 20160605 |