CN103908345B - 一种基于平板电脑的手术导航用的体数据可视化方法 - Google Patents

一种基于平板电脑的手术导航用的体数据可视化方法 Download PDF

Info

Publication number
CN103908345B
CN103908345B CN201210595043.XA CN201210595043A CN103908345B CN 103908345 B CN103908345 B CN 103908345B CN 201210595043 A CN201210595043 A CN 201210595043A CN 103908345 B CN103908345 B CN 103908345B
Authority
CN
China
Prior art keywords
panel computer
image
coordinate system
coordinate
ppc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210595043.XA
Other languages
English (en)
Other versions
CN103908345A (zh
Inventor
宋志坚
邓薇薇
李舫
王满宁
姚德民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201210595043.XA priority Critical patent/CN103908345B/zh
Publication of CN103908345A publication Critical patent/CN103908345A/zh
Application granted granted Critical
Publication of CN103908345B publication Critical patent/CN103908345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属医疗器械领域,涉及一种基于平板电脑的手术导航用的体数据可视化的方法。本发明方法中采用的导航系统主要由平板电脑、导航仪及附属红外定位仪、参考架和适配器等组成;平板电脑与导航仪之间通过无线通信技术实现点对点的实时通信,将导航信息传输并显示在平板电脑上。本发明主要实现的导航模式为,在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息;和实时显示平板电脑延伸面与病人头颅相交所获得的截面图像。本发明可显示标准的断面图像,还可通过平板电脑的方位显示任意截面图像,能辅助医生定位肿瘤及病变,为手术操作带来便利和帮助。

Description

一种基于平板电脑的手术导航用的体数据可视化方法
技术领域
本发明属医疗器械领域,涉及一种基于平板电脑的手术导航用的体数据可视化方法。
背景技术
现有技术公开了有关神经导航系统可以辅助医生计划手术入路、确定病灶位置和边界,以及避免对周围正常组织器官的损失。所述神经导航系统已成为在神经外科领域一种不可或缺的手术设备;其工作原理是术前以病人自身的CT、MRI等影像学数据为基础,建立图像引导空间,并将它与真实患者所在空间进行配准;术中使用空间定位仪实时跟踪手术器械的位置,并将其转换到图像空间中,生成虚拟手术器械叠加显示在患者的图像上,从而通过图像空间中虚拟手术器械相对于图像的位置,用于定位真实手术器械相对于显示患者解剖结构的位置辅助医生定位手术靶点和引导手术操作。
传统的手术导航系统是利用虚拟现实技术,将虚拟手术器械叠加到患者的图像空间,医生通过观察导航屏幕进行手术操作;该种虚拟现实技术使医生从感官效果上沉浸于由计算机创造的虚拟环境中,常缺乏“眼见为实”的感觉,同时,手术过程中,医生为了观察手术器械相对于患者的位置,不得不在患者手术部位和导航屏幕之间来回切换视野,由于导航屏幕与手术台存有一定的距离,该种导航模式不利于医生集中于手术部位进行操作,同时给手术定位带来了误差。
此外,传统手术导航系统的另一个不足之处在于,其只能显示导航探针针尖所对应的横断面、矢状面和冠状面的患者图像,不能获得患者体数据场的任意截面图像,当患者侧躺无法获得正体位时,会给医生的判断带来一定的影响。
临床实践中,需要一种不但可以解决视野来回切换问题,还可以减小定位误差、减少手术时间、降低手术风险,且不会给医生带来不便的新的神经导航系统。本发明拟提供一种采用移动无线通信技术,能将导航屏幕移植到位于医生身旁的平板电脑上,并利用空间定位仪跟踪平板电脑,获得平板电脑所在平面的截面图像,同时显示在其屏幕上的体数据可视化方法。
目前与本发明相关的基于移动显示的医疗导航设备有:德国BrainLab公司研制的DASH导航系统,该系统经过CE和FDA认证,已用于初步的临床试验;但上述设备价格昂贵且操作复杂。
发明内容
本发明的目的是提供一种基于平板电脑的手术导航用的体数据可视化方法,尤其涉及基于平板电脑的头颅部位任意截面可视化的手术导航用的方法。
本发明中,所用的导航系统主要由平板电脑,导航仪及附属红外定位仪、参考架和适配器等组成;所述的手术导航系统主要由平板电脑和excelim-04或更高版本的导航仪组成,所述的平板电脑装有用于红外跟踪的参考架,屏幕分辨率不低于800X600,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时的电力续航时间,所述的导航仪包括主机、显示器、红外定位仪及其他相关周边设备;平板电脑与导航仪之间通过无线通信技术实现点对点的实时通信,将导航信息传输并显示在平板电脑上。
本发明所述的方法主要实现两种导航模式:一种是在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息;另一种是实时显示平板电脑延伸面与患者头颅相交所获得的截面图像。
本发明方法通过:图像扫描、手术计划、空间配准和术中导航(如图1所示)个步骤完成。
本发明方法中,采用的导航系统包括两种术中导航模式:
(1)平板电脑显示传统的导航信息
在该模式下,平板电脑用于实时接收和显示传统导航信息,平板电脑显示的图像信息和远端的显示屏幕一样,并随着导航屏幕上信息的更新而实时刷新显示(如图2所示);
(2)平板电脑显示任意截面信息
由于手术时患者一般侧躺,不易获取病人的正体位图像,因此,在平板电脑上安装可用于红外跟踪的适配器,将其置于病人头颅附近,通过空间定位仪跟踪平板电脑所在平面的位置信息,利用该位置信息生成患者头颅截面图像,传输并显示在平板电脑上;当改变平板电脑的位置,则可获取所述患者头颅的任一截面图像,从而便于医生获取脑部肿瘤的位置及深度信息(如图3和图4所示)。
具体而言,本发明的基于平板电脑的手术导航用的体数据可视化方法,其特征在于,根据平板电脑的位置信息,获取患者头颅的任意截面图像并显示在平板电脑屏幕上,辅助手术操作;其包括:
(1)将平板电脑的屏幕按其边界进行延伸;
(2)将延伸面的方位信息变换到图像空间;
(3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像;
(4)将截面图像传输并显示在平板电脑屏幕上。
更具体的,本发明的基于平板电脑的任意截面可视化的手术导航用的方法,其特征在于,包括以下步骤:
(1)在平板电脑上安装可用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,根据所述的三个反光球的位置坐标建立一个三维适配器坐标系,并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示),具体表示为4×4的齐次矩阵M1
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A,B,C,D)的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算出平板电脑的水平宽度l,以平板电脑右边界为轴(如图3长虚线所示),将A,B,C,D 4个角点按平移l个单位,得到4个相应的角点A’,B’,C’,D’,并按以下公式计算出4个新的角点在适配器坐标系下的坐标:
A , = A + l × e → , B , = B + l × e → , C , = C + l × e → , D , = D + l × e → , - - - ( 1 )
其中方向上的单位向量,计算公式如下:
e → = AB → | AB → | = ( x 2 - x 1 , y 2 - y 1 , z 2 - z 1 ) ( x 2 - x 1 ) 2 + ( y 2 - y 1 ) 2 + ( z 2 - z 1 ) 2 - - - ( 2 )
(3)在患者旁边固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到病人坐标系之间的变换表示为M1*M2
(4)图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用基于标记点的空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像;
(6)通过无线通讯技术(WiFi等)将上述截面图像传输并显示在平板电脑的屏幕上。
本发明的方法中,所有的计算过程均在主机中进行,最后将重采样的截面图像传输并显示到平板电脑上;移动平板电脑,其延伸面的位置信息随之变化,平板电脑屏幕上显示的截面图像随着平板电脑方位的改变而实时更新,从而达到实现任意截面可视化的目的。
本发明所述的方法通过实时更新延伸面的位置信息通过重采样绘制截面图像,能获得任意的截面图像,并在平板电脑屏幕上实时刷新显示,与传统的手术导航系统相比,本发明使医生能更好的专注于手术部位,不需在显示屏和手术区域进行大范围的视野切换,不仅可显示标准的断面图像,还可通过平板电脑的方位显示任意截面图像,辅助医生定位肿瘤及病变,给手术操作带来了极大的便利和帮助。
本发明与现有技术比较还具有以下优点:
(1)本发明使平板电脑和导航仪通过无线网络进行点对点的无线连接,完成了图像数据的实时传输和显示,从而实现了移动导航操作;
(2)本发明不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像,还可以根据平板电脑的位置信息,获得患者头颅的任意截面图像,便于定位肿瘤,辅助医生进行手术操作;
(3)本发明解决了医生在传统导航屏幕和手术区域之间频繁视野切换的问题,减少了因人为操作带来的配准误差;
(4)本发明便于医生更好的理解导航图像的方位信息;利用传统的导航系统,医生只能获得三个正轴状面的图像,导航屏幕上的方位,如前后、左右,与实际病人的方位是脱离的;本发明中医生可以移动平板电脑,通过前移、上移等直观地看到所对应的截面图像,从而更好地理解图像的方位信息。
附图说明
图1是本发明中手术导航系统其工作流程示意图。
图2显示了术中将导航信息传输并显示在平板电脑屏幕上的过程。
图3显示了截面图像的生成和显示过程,
图4表明了各个坐标系之间的变换关系。
图5表示平板电脑延伸面与颅骨模型相交平面的截面图像在平板电脑屏幕上的显示结果。
具体实施方式
实施例1
如图1~5所示,采用本发明的基于平板电脑的任意截面可视化的手术导航用的方法,通过以下步骤,进行临床实践:
(1)在平板电脑上安装可用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,根据所述的三个反光球的位置坐标建立一个三维适配器坐标系,并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示),具体表示为4×4的齐次矩阵M1
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A,B,C,D)的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算出平板电脑的水平宽度l,以平板电脑右边界为轴(如图3长虚线所示),将A,B,C,D 4个角点按平移l个单位,得到4个相应的角点A’,B’,C’,D’,并按以下公式计算出4个新的角点在适配器坐标系下的坐标:
A , = A + l × e → , B , = B + l × e → , C , = C + l × e → , D , = D + l × e → , - - - ( 1 )
其中方向上的单位向量,计算公式如下:
e → = AB → | AB → | = ( x 2 - x 1 , y 2 - y 1 , z 2 - z 1 ) ( x 2 - x 1 ) 2 + ( y 2 - y 1 ) 2 + ( z 2 - z 1 ) 2 - - - ( 2 )
(3)在患者旁边固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到病人坐标系之间的变换表示为M1*M2
(4)图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用基于标记点的空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像;
(6)通过无线通讯技术(WiFi等)将上述截面图像传输并显示在平板电脑的屏幕上。
结果显示,医生可以移动平板电脑,通过前移、上移等直观地看到所对应的截面图像,从而更好地理解图像的方位信息,不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像,还可以根据平板电脑的位置信息,获得患者头颅的任意截面图像,方便定位肿瘤以及辅助医生手术操作。

Claims (6)

1.一种基于平板电脑的手术导航用的体数据可视化方法,其特征在于,根据平板电脑的位置信息,获取患者头颅的任意截面图像并显示在平板电脑屏幕上,其包括步骤:
(1)将平板电脑的屏幕按其边界进行延伸;
(2)将延伸面的方位信息变换到图像空间;
(3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像;
(4)将截面图像传输并显示在平板电脑屏幕上。
2.按权利要求1所述的方法,其特征在于,所述的步骤(1)中:
在平板电脑上安装用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,建立一个三维适配器坐标系,并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw,具体表示为4×4的齐次矩阵M1
利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点A,B,C,D的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算出平板电脑的水平宽度l,以平板电脑右边界为轴,将A,B,C,D 4个角点按平移l个单位,得到4个相应的角点A’,B’,C’,D’,按以下公式计算所述延伸面四个角点在适配器坐标系下的坐标:
A , = A + l × e → , B , = B + l × e → , C , = C + l × e → , D , = D + l × e → , - - - ( 1 )
其中方向上的单位向量,计算公式如下:
e → = A B → | A B → | = ( x 2 - x 1 , y 2 - y 1 , z 2 - z 1 ) ( x 2 - x 1 ) + ( y 2 - y 1 ) + ( z 2 - z 1 ) - - - ( 2 ) .
3.按权利要求2所述的方法,其特征在于,所述方法中:
在患者旁边固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到患者坐标系之间的变换可表示为M1*M2
图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3
4.按权利要求3所述的方法,其特征在于,所述的方法中:
将获得的A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按所述的M=M1*M2*M3变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像。
5.按权利要求1所述的方法,其特征在于,所述的步骤(4)中:
通过无线通讯技术将获得的截面图像传输并显示在平板电脑的屏幕上。
6.按权利要求5所述的方法,其特征在于,所述的平板电脑其延伸面的位置信息随之改变;平板电脑屏幕上现实的截面图像随着平板电脑方位的改变实时更新。
CN201210595043.XA 2012-12-31 2012-12-31 一种基于平板电脑的手术导航用的体数据可视化方法 Active CN103908345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210595043.XA CN103908345B (zh) 2012-12-31 2012-12-31 一种基于平板电脑的手术导航用的体数据可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210595043.XA CN103908345B (zh) 2012-12-31 2012-12-31 一种基于平板电脑的手术导航用的体数据可视化方法

Publications (2)

Publication Number Publication Date
CN103908345A CN103908345A (zh) 2014-07-09
CN103908345B true CN103908345B (zh) 2017-02-08

Family

ID=51034555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210595043.XA Active CN103908345B (zh) 2012-12-31 2012-12-31 一种基于平板电脑的手术导航用的体数据可视化方法

Country Status (1)

Country Link
CN (1) CN103908345B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701788A (zh) * 2014-11-24 2016-06-22 复旦大学 一种基于全局优化的神经导航自动空间配准方法
WO2016095168A1 (zh) * 2014-12-18 2016-06-23 复旦大学 基于平板电脑的手术导航用的体数据可视化方法
CN105852968B (zh) * 2016-04-06 2018-10-16 黄斌 一种肝胆外科手术轨迹追踪装置
CN106344153B (zh) * 2016-08-23 2019-04-02 深圳先进技术研究院 一种柔性穿刺针针尖自动跟踪装置及方法
CN109597478A (zh) * 2017-09-30 2019-04-09 复旦大学 一种基于虚实结合的人体解剖结构展示与交互方法
CN107714178A (zh) * 2017-10-28 2018-02-23 深圳市前海安测信息技术有限公司 手术导航定位机器人及其控制方法
CN110584783B (zh) * 2019-10-14 2021-03-09 中国科学技术大学 外科手术导航系统
CN110989884A (zh) * 2019-11-29 2020-04-10 北京市商汤科技开发有限公司 图像定位的操作显示方法及装置、电子设备和存储介质
CN110946659A (zh) * 2019-12-25 2020-04-03 武汉中科医疗科技工业技术研究院有限公司 影像空间与实际空间的注册方法及系统
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101108140B (zh) * 2007-09-05 2010-10-06 新奥博为技术有限公司 一种用于图像导航手术系统的标定模及其使用方法
CN201139550Y (zh) * 2007-12-14 2008-10-29 傅先明 便携式手术导航系统
DE102009010592B4 (de) * 2009-02-25 2014-09-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Aufnehmen und Auswerten von digitalen Bilddaten mit einem Operationsmikroskop

Also Published As

Publication number Publication date
CN103908345A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103908345B (zh) 一种基于平板电脑的手术导航用的体数据可视化方法
WO2016095168A1 (zh) 基于平板电脑的手术导航用的体数据可视化方法
CN106821499A (zh) 一种3d虚拟超声引导穿刺导航系统及方法
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
CN106859742B (zh) 一种穿刺手术导航定位系统和方法
CN101108140B (zh) 一种用于图像导航手术系统的标定模及其使用方法
CN103211655B (zh) 一种骨科手术导航系统及导航方法
CN103445863B (zh) 基于平板电脑的手术导航和增强现实系统
CN109907801B (zh) 一种可定位超声引导穿刺方法
CN107854177A (zh) 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法
CN104586505A (zh) 一种骨科手术导航系统及导航方法
CN207545170U (zh) 一种穿刺手术导航定位系统
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN110916799A (zh) 基于5g网络的穿刺机器人导航系统
CN106384554A (zh) 一种手术训练模型及其制造方法、以及手术导航系统
Wise et al. Computer-aided surgery of the paranasal sinuses and skull base
Van Gestel et al. Neuro-oncological augmented reality planning for intracranial tumor resection
CN102824699B (zh) 一种治疗系统及其超声监控方法
CN2857869Y (zh) 基于局部解剖结构特征的术中实时导航装置
CN115775611B (zh) 一种穿刺手术规划系统
CN115414116B (zh) 一种腹腔镜戳卡最优位点模拟定位选择系统
CN116942129A (zh) 基于slam的混合现实体内病灶体表定位方法及系统
CN115919426A (zh) 一种直角三角形配准的颅内定位方法
CN111714203A (zh) 一种光学定位与电磁定位结合的手术导航方法
CN112107366B (zh) 一种混合现实超声导航系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant