CN103445863A - 基于平板电脑的手术导航和增强现实系统 - Google Patents
基于平板电脑的手术导航和增强现实系统 Download PDFInfo
- Publication number
- CN103445863A CN103445863A CN2012101803427A CN201210180342A CN103445863A CN 103445863 A CN103445863 A CN 103445863A CN 2012101803427 A CN2012101803427 A CN 2012101803427A CN 201210180342 A CN201210180342 A CN 201210180342A CN 103445863 A CN103445863 A CN 103445863A
- Authority
- CN
- China
- Prior art keywords
- tablet computer
- real
- image
- panel computer
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属医疗器械领域,涉及手术导航和增强现实技术,具体涉及基于平板电脑的手术导航和增强现实技术,适用于各类神经外科手术导航和现实增强。本发明采用置有用于红外跟踪的参考架,屏幕不低于800×600的分辨率,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时电力续航时间的平板电脑与改进的手术导航系统excelim-04或者更高版本的导航仪构成。平板电脑与导航仪通过Wi-Fi无线连接实时通信,将导航仪的数据发送到平板电脑上,同时将平板电脑拍摄的实时手术视频图像进行虚拟图像和实时真实图像叠加并显示在平板电脑的屏幕,实现了实时手术图像和术前扫描的CT或者MRI数据的完全融合,提高了手术效率和精确度,可广泛应用于各类神经外科的手术导航。
Description
技术领域
本发明属医疗器械领域,涉及手术导航和增强现实技术,具体涉及基于平板电脑的手术导航和增强现实系统,适用于各类神经外科手术导航和现实增强。
背景技术
手术导航技术起源于临床神经外科,通常是在术前采集到病人的CT或者MRI图像,并将其转存到图像工作站中,形成导航参考图像。当术中带有示踪器的手术器械作用于病人时,空间定位仪跟踪到手术器械在病人坐标中的位置,将其转换到图像坐标系中,与导航参考图像叠加在一起,就如同实时透视一样,因此这种方式也称为“虚拟透视”。术中,医生借助于导航系统可以看到手术器械在病人体内的位置,从而能够正确指导医生在选定的部位上进行手术操作。现有的手术导航系统为手术操作提供了一定的便利,但是医生为了实时观察手术器械相对于病人的位置,视线需要在病人手术部位和导航仪之间来回切换,从而不利于医生集中于病人身体进行手术的过程。另外,目前导航系统所显示的内容都是虚拟的病人图像和手术器械,不能实现将实时手术中的病人联系起来。
基于移动平台的手术设备可以将术前的数据和实时手术中的病人同时置于医生的视线之中,使得医生操作更方便。目前由德国BrainLab公司研制的,基于平板电脑iPod可移动的医疗设备在股骨头置换手术中得到应用,但由于它仅针对此类手术设计的,因此应用面较窄,另外,该设备不能够真正实现病人图像和术前数据的完全融合。
发明内容
本发明的目的是提供一种操作方便,手术安全,能够实现实时手术中的病人图像和术前数据的完全融合的基于平板电脑的手术导航和增强现实系统。
本发明手术导航和增强现实系统是这样实现的,采用置有用于红外跟踪的参考架,屏幕不低于800X600的分辨率,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时的电力续航时间的平板电脑和改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成。
本发明中,主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。
本发明中,导航仪与平板电脑通过Wi-Fi无线连接实时通信,将导航仪的数据发送到平板电脑上,同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上。
F=[F11,F12,F13,F21,F22,F23,F31,F32,F33],
V=[xi′xi,xi′yi,xi′ζ,yi′xi,yi′yi,yi′ζ,xiζ,yiζ,ζ2],
由此通过至少7个匹配点关系即可求得基础矩阵F;再利用对极几何原理得到图像分别的投影矩阵P和P',P=[I|0],计算e'以满足对极限制eTF=0,得到场景的三维重建mineu(u,PU)2+eu(u',P'U)2,再利用红外定位仪获取场景在平板电脑参考架中的变换关系Trm,参考架坐标到平板电脑显示屏的变换关系Trc=Trm*P′。
本发明中,所述平板电脑自带的摄像头将术前拍摄的病人图像用以场景的三维重建。
本发明中,手术过程中拍摄病人的实时视频,并且由红外定位仪实时跟踪手术探针的空间位置,根据Trc计算出探针在视频图像上的位置,并且将病人的术前数据图像叠加在视频中病人的相应位置上,实现医学增强现实效果。
本发明具有下述优点:
1、平板电脑设备与导航仪通过Wi-Fi无线网络建立连接,实现实时通信进行数据传输和显示。从而实现移动的、灵活便利的导航操作。
2、医生在手术过程中,以平板电脑为媒介,能够同时看到病人的手术部位和该部位的术前扫描的CT或者MRI图像,给医生以直观的“透视”到病人身体内部的感觉。同时根据手术操作过程中病人体位的变化,能够进行实时跟踪和配准。
3.本发明手术导航和增强现实系统与原有的手术导航系统相比,使用更加方便,不需要手术中的视线切换,并且因为虚拟和真实图像的叠加提供更直观的信息,提高了手术效率和精确度,与现有的移动平台的医疗设备相比,实现了实时的病人手术图像和术前数据的完全融合,可广泛应用于各类神经外科的导航手术,适用面更宽。
为了便于理解,以下将通过具体的附图和实施例对本发明的基于平板电脑的手术导航和增强现实系统进行详细地描述。需要特别指出的是,具体实例和附图仅是为了说明,显然本领域的普通技术人员可以根据本文说明,在本发明的范围内对本发明做出各种各样的修正和改变,这些修正和改变也纳入本发明的范围内。
附图说明
图1是本发明涉及的对极几何原理图。
图2是本发明系统中的的空间关系示意图。
图3是本发明手术导航和增强现实系统实施示意图。
具体实施方式
实施例1
采用置有用于红外跟踪的参考架,屏幕不低于800X600的分辨率,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时的电力续航时间的平板电脑和改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成本发明的手术导航和增强现实系统。用于手术过程中实现医学增强现实效果。
主计算机借助红外定位仪和参考架进行光学跟踪来保证虚拟空间和实际空间的配准。其中,跟踪采用奇异值分解法来实现虚拟现实空间与实时手术病人空间的配准。
奇异值分解法(SVD)
存在三维点集{mi},{di},而且两个点集点之间的对应关系已知,其中i=1,……,N,N为点集中点的个数。
配准的目标是寻找{mi},{di}两个点集之间的一种转换关系:
di=Rmi+T
其中R为[3×3]旋转矩阵,T为[3×1]平移矩阵。
使用最小二乘法拟合,通过最小化
可以得到R,T的值,即得到两个点集之间的空间转换关系。
i、旋转矩阵的计算
在满足公式(1)的条件下,点集{mi},{di}具有相同的质心,在此基础上定义:
公式(1)可简化表示为:
最小化∑2的值就转化为最大化
其中
如果可以得到H的奇异值分解
H=UΛVt
则可知当Trace(RH)最大化时
R=VUt
ii、平移矩阵的计算
计算出旋转矩阵R之后,根据点集{mi},{di}质心之间的关系,可得:
T=d-Rm
iii、算法实现步骤
a、计算两个点集的质心m,d。
b、令mci=mi–m dci=di–d。
c、计算H=∑mcidcit。
d、计算出H的SVD:H=UΛVt。
e、得到R=VUt;T=d-Rm。
(2)、配准误差计算
当得到旋转矩阵R和平移矩阵T的值后,通过以下公式得出配准误差:
虚拟图像空间与真实病人空间配准后显示在导航仪人机界面的触摸屏上,然后通过Wi-Fi无线通信,实时显示在平板电脑上。术前平板电脑上通过摄像头拍摄到病人的视频图像,根据图像提取特征点,建立特征点之间的匹配关系。根据图像上对应的特征点分别为ui(xi,yi),ui′(xi′,yi’),则有关系或表示为VTF=0,其中:
F=[F11,F12,F13,F21,F22,F23,F31,F32,F33],
V=[xi′xi,xi′yi,xi′ζ,yi′xi,yi′yi,yi′ζ,xiζ,yiζ,ζ2],
由此通过至少7个匹配点关系即可求得基础矩阵F。再利用对极几何原理得到图像分别的投影矩阵P和P'。对极几何原理如图1所示。场景中的空间点U和相机c1,c2的光学中心确定了一个平面称为对极面,对极面和相机投影面所产生的交线称为对极线,所有的对极线将汇交于对极。由此说明在已知一个相机投影面上的点坐标,可以通过对极关系求得在另一个相机投影面上的对极线,从而要确定的投影点就位于相应的对极线上。
结合图1所示:场景中的空间点U在相机c1和c2上的投影点分别是ui和ui′,相机中心c1和c2的连线与投影面的交点被称为对极点ei和ei′,假定投影图像上对应的特征点坐标分别为ui(xi,yi),ui′(xi′,yi’),在相机c2中ei′,ui′都位于对极线lu上,可以用叉积表示为lu=ei′∧ui′,也可记为lu=Fui,在相机c2的投影面上由投影点必位于对极线上可得关系或表示为VTF=0,其中:
F=[F11,F12,F13,F21,F22,F23,F31,F32,F33]
V=[xi′xi,xi′yi,xi′ζ,yi′xi,yi′yi,yi′ζ,xiζ,yiζ,ζ2]
矩阵V的所有项是由两个相机对应点的坐标组成,待求的矩阵F有7个自由度,由此通过至少7个匹配点关系即可求得基础矩阵F。
根据基础矩阵F就可以来求解两个相机在图像平面上的投影矩阵P和P′,P=[I|0],计算e'以满足对极限制e′TF=0,设M=[e']×F,则P′=[M+e'bT|ce'],其中b和c分别是设定的3-向量和尺度系数。同时通过投影关系u=PU和u'=P'U还可以得到场景的三维重建mineu(u,PU)2+eu(u',P'U)2。
在计算获得场景到相机投影平面的变换关系之后,再确定系统中的其他的空间变换关系(如图2所示)。在平板电脑上的摄像头附近装有参考架,通过红外定位仪可以跟踪到目标的位置从而显示在相机投影面上。
接下来利用红外定位仪获取场景在平板电脑参考架中的变换关系Trm,Trm=T′pr*Tpm。则参考架坐标到平板电脑显示屏的变换关系Trc=Trm*P′。
手术过程中拍摄病人的实时视频,并且由红外定位仪实时跟踪手术探针的空间位置,从而根据Trc计算出探针在视频图像上的位置,并且将病人的术前数据图像叠加在视频中实时手术病人的相应位置上,实现医学增强现实效果。
Claims (4)
1.基于平板电脑的手术导航和增强现实系统,其特征在于:采用置有用于红外跟踪的参考架,屏幕不低于800X600的分辨率,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时电力续航时间的平板电脑与改进的手术导航系统excelim-04或者由主计算机、红外定位仪及相关周边设备组成的更高版本的导航仪构成。
2.根据权利要求1所述的手术导航和增强现实系统,其特征在于:导航仪与平板电脑通过Wi-Fi无线连接实时通信,将导航仪的数据发送到平板电脑上,同时对平板电脑拍摄的实时手术视频图像进行虚拟图像和实时手术图像叠加并显示在平板电脑的屏幕上。
3.根据权利要求1所述的手术导航和增强现实系统,其特征在于:根据图像提取特征点,建立特征点之间的匹配关系,根据图像上对应的特征点分别为ui(xi,yi),ui′(xi′,yi,),则有关系或表示为VTF=0,其中:
F=[F11,F12,F13,F21,F22,F23,F31,F32,F33],
V=[xi′xi,xi′yi,xi′ζ,yi′xi,yi′yi,yi′ζ,xiζ,yiζ,ζ2],
由此通过至少7个匹配点关系即可求得基础矩阵F;再利用对极几何原理得到图像分别的投影矩阵P和P',P=[I|0],计算e'以满足对极限制eTF=0,得到场景的三维重建mineu(u,PU)2+eu(u',P'U)2,再利用红外定位仪获取场景在平板电脑参考架中的变换关系Trm,参考架坐标到平板电脑显示屏的变换关系Trc=Trm*P';手术过程中拍摄病人的实时视频,并且由红外定位仪实时跟踪手术探针的空间位置,根据Trc计算出探针在视频图像上的位置,并且将病人的术前数据图像叠加在视频中病人的相应位置上,实现医学增强现实效果。
4.根据权利要求3所述的基于平板电脑的手术导航和增强现实系统,其特征在于:所述平板电脑自带的摄像头将术前拍摄的病人图像用以场景的三维重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210180342.7A CN103445863B (zh) | 2012-06-02 | 2012-06-02 | 基于平板电脑的手术导航和增强现实系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210180342.7A CN103445863B (zh) | 2012-06-02 | 2012-06-02 | 基于平板电脑的手术导航和增强现实系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103445863A true CN103445863A (zh) | 2013-12-18 |
CN103445863B CN103445863B (zh) | 2015-10-07 |
Family
ID=49728998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210180342.7A Active CN103445863B (zh) | 2012-06-02 | 2012-06-02 | 基于平板电脑的手术导航和增强现实系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103445863B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016095168A1 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 基于平板电脑的手术导航用的体数据可视化方法 |
CN106846465A (zh) * | 2017-01-19 | 2017-06-13 | 深圳先进技术研究院 | 一种ct三维重建方法及系统 |
CN108175500A (zh) * | 2016-12-08 | 2018-06-19 | 复旦大学 | 基于手持式三维扫描仪的手术导航空间配准方法 |
CN108766504A (zh) * | 2018-06-15 | 2018-11-06 | 上海理工大学 | 一种手术导航系统的人因评价方法 |
CN109597478A (zh) * | 2017-09-30 | 2019-04-09 | 复旦大学 | 一种基于虚实结合的人体解剖结构展示与交互方法 |
CN109965979A (zh) * | 2017-12-27 | 2019-07-05 | 上海复旦数字医疗科技股份有限公司 | 一种无需标志点的稳健的神经导航自动注册方法 |
CN109978927A (zh) * | 2019-03-12 | 2019-07-05 | 上海嘉奥信息科技发展有限公司 | 图像配准误差的测量装置及测量方法和系统 |
CN110494921A (zh) * | 2017-03-30 | 2019-11-22 | 诺瓦拉德公司 | 利用三维数据增强患者的实时视图 |
CN111242107A (zh) * | 2020-04-26 | 2020-06-05 | 北京外号信息技术有限公司 | 用于设置空间中的虚拟对象的方法和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1957373A (zh) * | 2004-03-12 | 2007-05-02 | 布拉科成像S.P.A.公司 | 基于视频的扩增实境增强型外科手术导航系统的精度评估 |
CN201139550Y (zh) * | 2007-12-14 | 2008-10-29 | 傅先明 | 便携式手术导航系统 |
CN101470102A (zh) * | 2007-12-18 | 2009-07-01 | 通用电气公司 | 用于增强的现实检查和数据可视化的系统及方法 |
CN101904770A (zh) * | 2009-06-05 | 2010-12-08 | 复旦大学 | 一种基于光学增强现实技术的手术导航系统及方法 |
US20110160583A1 (en) * | 2009-12-31 | 2011-06-30 | Orthosensor | Orthopedic Navigation System with Sensorized Devices |
-
2012
- 2012-06-02 CN CN201210180342.7A patent/CN103445863B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1957373A (zh) * | 2004-03-12 | 2007-05-02 | 布拉科成像S.P.A.公司 | 基于视频的扩增实境增强型外科手术导航系统的精度评估 |
CN201139550Y (zh) * | 2007-12-14 | 2008-10-29 | 傅先明 | 便携式手术导航系统 |
CN101470102A (zh) * | 2007-12-18 | 2009-07-01 | 通用电气公司 | 用于增强的现实检查和数据可视化的系统及方法 |
CN101904770A (zh) * | 2009-06-05 | 2010-12-08 | 复旦大学 | 一种基于光学增强现实技术的手术导航系统及方法 |
US20110160583A1 (en) * | 2009-12-31 | 2011-06-30 | Orthosensor | Orthopedic Navigation System with Sensorized Devices |
Non-Patent Citations (2)
Title |
---|
张军: "《中国电子学会第十五届青年学术年会论文集》", 1 October 2009, 航空工业出版社 * |
邹国辉,袁保宗,: "一种基于对极几何的物体投影重建方法", 《铁道学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016095168A1 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 基于平板电脑的手术导航用的体数据可视化方法 |
CN108175500A (zh) * | 2016-12-08 | 2018-06-19 | 复旦大学 | 基于手持式三维扫描仪的手术导航空间配准方法 |
CN106846465A (zh) * | 2017-01-19 | 2017-06-13 | 深圳先进技术研究院 | 一种ct三维重建方法及系统 |
CN106846465B (zh) * | 2017-01-19 | 2020-04-14 | 深圳先进技术研究院 | 一种ct三维重建方法及系统 |
CN110494921A (zh) * | 2017-03-30 | 2019-11-22 | 诺瓦拉德公司 | 利用三维数据增强患者的实时视图 |
CN110494921B (zh) * | 2017-03-30 | 2023-11-28 | 诺瓦拉德公司 | 利用三维数据增强患者的实时视图 |
CN109597478A (zh) * | 2017-09-30 | 2019-04-09 | 复旦大学 | 一种基于虚实结合的人体解剖结构展示与交互方法 |
CN109965979A (zh) * | 2017-12-27 | 2019-07-05 | 上海复旦数字医疗科技股份有限公司 | 一种无需标志点的稳健的神经导航自动注册方法 |
CN108766504A (zh) * | 2018-06-15 | 2018-11-06 | 上海理工大学 | 一种手术导航系统的人因评价方法 |
CN109978927A (zh) * | 2019-03-12 | 2019-07-05 | 上海嘉奥信息科技发展有限公司 | 图像配准误差的测量装置及测量方法和系统 |
CN111242107A (zh) * | 2020-04-26 | 2020-06-05 | 北京外号信息技术有限公司 | 用于设置空间中的虚拟对象的方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103445863B (zh) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103445863A (zh) | 基于平板电脑的手术导航和增强现实系统 | |
US11025889B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
US20200186786A1 (en) | Calibration for Augmented Reality | |
Liu et al. | A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens | |
CN103948361B (zh) | 无标志点的内窥镜定位跟踪方法和系统 | |
Thompson et al. | In vivo estimation of target registration errors during augmented reality laparoscopic surgery | |
CN113556977A (zh) | 基于c臂的医学成像系统及匹配2d图像与3d空间的方法 | |
Thompson et al. | Hand–eye calibration for rigid laparoscopes using an invariant point | |
CN103908345B (zh) | 一种基于平板电脑的手术导航用的体数据可视化方法 | |
Maier-Hein et al. | Towards mobile augmented reality for on-patient visualization of medical images | |
CN110751681B (zh) | 一种增强现实的配准方法、装置、设备及存储介质 | |
CN101099673A (zh) | 采用红外反光球为标志点的手术器械定位方法 | |
CN103211655A (zh) | 一种骨科手术导航系统及导航方法 | |
KR20180005684A (ko) | 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법 | |
CN101243475A (zh) | 具有根据临床任务工作流程的简单点击风格交互的特征的方法和设备 | |
CN104586505A (zh) | 一种骨科手术导航系统及导航方法 | |
Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
Wen et al. | In situ spatial AR surgical planning using projector-Kinect system | |
Liu et al. | On-demand calibration and evaluation for electromagnetically tracked laparoscope in augmented reality visualization | |
Xu et al. | Design and validation of a spinal surgical navigation system based on spatial augmented reality | |
Nicolau et al. | A low cost and accurate guidance system for laparoscopic surgery: Validation on an abdominal phantom | |
de Almeida et al. | A neuronavigation system using a mobile augmented reality solution | |
Hsieh et al. | Markerless Augmented Reality via Stereo Video See‐Through Head‐Mounted Display Device | |
CN113842227B (zh) | 医疗辅助三维模型定位匹配方法、系统、设备及介质 | |
Qi et al. | A novel registration method for a mixed reality navigation system based on a laser crosshair simulator: A technical note |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |