CN105395252A

CN105395252A - 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Info

Publication number: CN105395252A
Application number: CN201510938292.8A
Authority: CN
Inventors: 高文朋; 付宜利; 陈冬; 陈晓光; 王跃华
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2015-12-10
Filing date: 2015-12-10
Publication date: 2016-03-16

Abstract

具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，属于医疗辅助器械技术领域。为了解决血管介入手术不便的问题。所述装置包括：穿戴式立体眼镜，将生成的三维立体手术场景进行显示；IMU传感器，设置在虚拟现实眼镜内，用于跟踪使用者的头部运动，采集头部运动信号；服务器，根据采集的头部运动信号，获得头部姿态信息；根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景；电磁定位系统，用于通过电磁感应，确定手术过程中血管中的导管末端位姿信息。本发明为医生提供血管介入手术过程中导管在血管中运动场景的三维立体显示图像。

Description

具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

技术领域

本发明属于医疗辅助器械技术领域。

背景技术

传统的医学影像是通过胶片的方式显示给医生的，或者在图形工作站二维显示器上显示三维模型，这种显示方式在面向血管介入手术应用中存在以下不足之处：(1)缺乏深度信息感知，医生需要根据解剖知识和影像信息在头脑中想象术中导管在血管中移动的场景；(2)缺乏良好的人机交互，由于血管介入手术过程中主刀医生双手进行导管操作，不便于调整解剖模型的位姿达到期望的观察角度，而助手的操作又往往无法准确理解主刀医生的诉求；(3)普通二维显示器或三维显示器占用手术室宝贵空间，三维显示器由于可视角度限制，约束医生移动范围。

发明内容

本发明的目的是为了解决血管介入手术不便的问题，本发明提供一种具有人机交互的可穿戴式血管介入手术三维立体图像导航装置。

本发明的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，所述装置包括穿戴式立体眼镜、IMU传感器、服务器和电磁定位系统；

穿戴式立体眼镜，将生成的三维立体手术场景进行显示；

IMU传感器，设置在虚拟现实眼镜内，用于跟踪使用者的头部运动，采集头部运动信号；

服务器，根据采集的头部运动信号，获得头部姿态信息；根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景；

电磁定位系统，用于通过电磁感应，确定手术过程中血管中的导管末端位姿信息。

所述服务器，根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景包括：

将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机姿态；

将获得的手术中导管末端位姿信息与手术前血管影像信息进行信息融合；

根据映射得到的虚拟场景中虚拟相机姿态，确定视点和视景体，在视景体范围内，绘制信息融合后的场景，生成三维立体手术场景。

所述服务器，将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机姿态为：

所述头部姿态信息为人体头部方向信息，获得人体头部坐标系下用四元数向量表示的人体头部方向信息为r＝[r₁,r₂,r₃,r_w]^T，根据r_c＝T(r')r₀进行视点变换，映射到虚拟场景中虚拟相机姿态为r_c；

其中，旋转矩阵

r₀为虚拟场景中虚拟相机的初始位置，r₀＝[0,0,d]^T，d为虚拟场景中虚拟相机相对血管模型坐标系原点的距离；r′表示虚拟相机在血管模型标系下用四元数向量表示的旋转，由于虚拟相机与人体头部的旋转方向是相反的，因此，r′＝[r₁,r₂,r₃,-r_w]^T，所述血管模型为手术前血管影像信息获得的。

所述穿戴式立体眼镜，将生成的三维立体手术场景进行显示包括：

将生成的三维立体手术场景采用平行轴对称方法建立虚拟场景的左右眼视图，将左右眼视图分别传递给用户的左右眼。

所述IMU传感器包括三轴陀螺仪、三轴加速度计和三轴磁感应计；

所述服务器，根据采集头部运动信号，获得头部姿态信息包括：

三轴陀螺仪采集的测量数据作为状态方程的输入，加速度计和磁感应计的测量数据作为测量方程的输入，将状态方程和测量方程进行扩展卡尔曼滤波，获得头部姿态信息。

本发明的有益效果在于，本发明利用穿戴式立体眼镜为医生提供血管介入手术过程中导管在血管中运动场景的三维立体显示图像，由于具有景深的信息，使医生能够在术中快速的判断导管在血管中的位置信息，降低医生术中认知负担。本发明利用三轴陀螺仪、加速度计和磁场计，采用基于扩展卡尔曼滤波方法对传感器信息融合，跟踪用户头部位姿，实现虚拟场景根据用户头部姿态变化进行相应调整的良好人机交互，使医生可以在术中专心手部的手术器械操作，为医生在手术提供有效的帮助。本发明采用穿戴式立体显示方式，具有占用空间小、便携性好等优点，而且不受视角范围的影响。

附图说明

图1为具体实施方式中的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置的原理示意图。

图2为基于EKF将IMU传感器采集信息进行融合获得头部姿态信息的原理示意图；

图3为IMU传感器获得的头部姿态信息映射虚拟场景中虚拟相机姿态的相关坐标系原理示意图。

图4为电磁定位系统获得的导管末端位姿信息与手术前血管影像信息进行信息融合的参考坐标系原理示意图。

图5为三维立体手术场景显示的原理示意图。

具体实施方式

结合图1至图5说明本实施方式，本实施方式所述的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，所述装置包括穿戴式立体眼镜、IMU传感器、服务器和电磁定位系统；使用者佩戴立体眼镜，手持导管操控端，根据立体眼镜中提供的三维立体虚拟手术场景图象操作导管，通过头部运动以不同角度观察虚拟手术场景，以便于更直观地观察导管在血管中的位姿。

本实施方式的基本原理如图1所示，穿戴式立体眼镜与服务器之间通过蓝牙进行无线通讯，充分利用两端的硬件环境优势，将任务合理的分配到穿戴式立体眼镜和服务器上。

服务器与电磁定位系统连接，电磁定位系统基本原理是通过磁场发生器在一定空间范围内产生磁场，将集成电磁传感器的导管末端置于磁场空间中获取导管末端的位姿信息。服务器与立体眼镜通过蓝牙通讯，主要是获取立体眼镜内IMU传感器采集的头部运动信号，处理后获得头部姿态信息，根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景，再向立体眼镜传输生成的三维立体虚拟手术场景。

穿戴式立体眼镜主要是作为显示终端为用户提供实时的三维立体虚拟手术场景。穿戴式立体眼镜由两部分组成，显示终端和主机；所述主机包括电源、蓝牙通讯模块和视频解码模块。穿戴式立体眼镜内置两块TFTLCD显示屏，显示分辨率为854×480像素(WVGA)，显示比例为16：9，24位彩色显示，可视角度为42度。

所述IMU传感器包括三轴陀螺仪、三轴加速度计和三轴磁感应计；三轴陀螺仪、三轴加速度计和三轴磁感应计采集的信号为头部运动信号；

所述服务器，根据采集头部运动信号，获得头部姿态信息：

三轴陀螺仪测量三个坐标上的角速度，积分之后得到对应轴的相对旋转角度，实际上由于陀螺仪的漂移和测量噪声的存在，直接积分得到的角度误差很大，需要对其进行校正，以实现准确的姿态解算。本实施方式采用扩展卡尔曼滤波(ExtendedKalmanFilter,EKF)根据IMU传感器的输出进行融合计算，如图2所示。EKF以姿态角和偏移角作为状态向量，陀螺仪的测量数据作为状态方程的输入，而加速度计和磁感应计的测量数据作为测量方程输入，状态方程和测量方程进行扩展卡尔曼滤波，最终获得IMU传感器的头部姿态信息，即眼镜的姿态。

IMU传感器的陀螺仪需要进行标定，以抵消地球自转产生的角速度部分；加速度计和磁感应计也需要标定以降低高斯白噪声。

IMU传感器自身参考坐标系下，IMU传感器的姿态由四元数向量r表示，即＝(r₁,r₂,r₃,r_w)^T。IMU传感器的陀螺仪输出为ω＝[ω_x,ω_y,ω_z]^T，加速度计的输出为a＝[a_x,a_y,a_z]^T，磁感应计的输出为m＝[m_x,m_y,m_z]^T。陀螺仪，加速度计和磁感应计的误差噪声建模为零均值高斯白噪声，各传感器高斯白噪声对应的方差分别表示为：

本实施方式中，EKF的状态向量由IMU传感器的姿态和旋转角速度构成，即

x_k＝(r^T,ω^T)^T(1)

EKF中，状态方程和测量方程分别有函数f和h表示：

x_k＝f(x_k-1,w_k)＝A_kx_k-1+w_k(2)

z_k＝h(x_k,v_k)(3)

其中A_k为状态转换矩阵，A_k随时间变化，其计算公式为

其中△t表示采样时间间隔，[ω×]为斜对称矩阵运算符，表示为

状态方程中过程噪声w_k与角速度测量噪声有关，假设为高斯白噪声，则

w_k＝[0_1×4σ_g]^T

对应的过程噪声协方差矩阵

测量方程中观测量由加速度和磁场构成，即z_k＝[a_k,m_k]^T。测量模型可以表示为

其中g和h分别表示重力加速度和地球磁场；和分别表示加速度计和磁感应计的测量噪声，均假设为高斯白噪声；C(r_k)表示地球坐标系向IMU坐标系变换的旋转矩阵。

测量方程中，和对应的测量协方差矩阵

EKF模型循环模型表示为：

第一步：预测

①根据公式(2)更新系统状态

②计算先验误差协方差

第二步：校正

①计算Kalman增益

②更新状态估计

③更新误差协方差

进而更新头部姿态信息。

所述服务器，将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机姿态：

假设人体头部自然状态下头部正视前方，此时IMU传感器的姿态为其初始状态，如图3所示，其中yaw表示头部偏航角，pitch表示头部俯仰角，roll表示头部翻转角，对于用户而言偏航角和俯仰角相对于翻转角更利于观察血管模型的形态，因此，本实施方式中只考虑偏航角和俯仰角。IMU传感器获得的头部姿态信息为人体头部坐标系下用四元数向量表示的人体头部方向信息r＝[r₁,r₂,r₃,r_w]^T，虚拟场景中虚拟相机的姿态为r_c＝[x,y,z]^T，则需要确定空间转换矩阵T使每个时刻IMU传感器解算的头部空间姿态r映射到虚拟场景中虚拟相机姿态r_c，即

r_c＝T(r')r₀(7)

式中r₀为虚拟相机的初始位置，即视点位置，r₀＝[0,0,d]^T，d为虚拟场景中相机相对血管模型坐标系原点的距离；r′表示虚拟相机在血管模型坐标系下用四元数向量表示的旋转，由于虚拟相机与头部的绕x轴和y轴的旋转方向相反，r′＝[r₁,r₂,r₃,-r_w]^T，则旋转矩阵T为：

所述血管模型为手术前血管影像信息获得的，虚拟相机即视点位置根据公式(7)随着人体头部运动发生相应的旋转，而相机光轴指向模型坐标系原点。

所述服务器，将获得的手术中导管末端位姿信息与手术前血管影像信息进行信息融合：

电磁定位系统确定导管末端位姿信息，手术前血管影像信息反映术前血管空间结构形态。为实现血管介入手术图像引导，需要将两种信息统一到同一参考坐标系下，即空间配准。本实施方式中主要参考坐标系有：电磁跟踪设备的坐标系O_EMT和术前影像坐标系O_IMG，如图4所示。对于空间中任意一点P，其在坐标系O_EMT和O_IMG下的坐标分别为P_EMT和P_IMG，则存在一种空间变换^EMTT_IMG将P_EMT转换为P_IMG，即

P_IMG＝^EMTT_IMGP_EMT(8)

空间配准的目的即寻找此空间变换建立两个坐标系的关系，使通过电磁跟踪设备获取的导管末端位置信息和通过术前获取的血管影像信息在同一个坐标系下融合。本实施方式通过在体模表面贴Marker点，在电磁跟踪设备下通过标准探针确定Marker位置，在术前影像中通过手动标记确定Marker相对图像坐标系的位置，然后采用最小二乘法估计^EMTT_IMG，实现两种信息的融合。

所述服务器，根据映射得到的虚拟场景中虚拟相机姿态，确定视点和视景体，在视景体范围内，绘制信息融合后的场景，生成三维立体手术场景：

三维立体显示是基于人眼的双目视差原理，即通过模拟人眼生成体视图对，再分别通过立体眼镜的左右LCD传送到用户的左右眼。模拟人的双眼、生成符合深度感要求的体视对是体视显示的先决条件、关键在于建立精确的数学模型。按照投影方式不同，可分为汇聚双目投影模型和平行双目投影模型。

本实施方式采取平行双目投影模型，如图5所示，左视点O_l(左相机)和右视点O_r(右相机)均位于X轴上，两视点连线中心为坐标原点O，Z轴与两相机的光轴方向平行，图中远切面和近切面分别表示相机表示最远可视的距离和最近可视距离，图中远切面和近切面间红色线框合围区域为右视景体，而对应的蓝色线框合围区域为左视景体，左视景体与右视景体并没有关于Z轴对称，更符合人眼视觉生理特点。假设两视点之间的距离为e，左右相机的焦距均为f，焦点处可视平面相对O点的水平张角为α，投影平面到X轴的距离为d_。3D立体眼镜每块屏幕的宽长比为r。三维空间中一点P(x_p,y_p,z_p)相对左视点在左投影平面的坐标为P_l(x_l,y_l,z_l)，相对右视点在右投影平面上的坐标为P_r(x_r,y_r,z_r)，则z_l＝z_r＝d。由于不存在垂直视差，所以y_l＝y_r。点P在左右投影平面上投影点的X轴坐标可表示为：

式中，t＝z_p/(z_p-d_near)。如此即可得到三维空间中任意一点在左右投影平面上的点的坐标，而(x_r-x_l)即为水平视差。

根据上述投影设置，本方案利用OpenGL绘制立体图像对，在立体显示模式下需要定义双缓存，分别是GL_BACK_LEFT和GL_BACK_RIGHT，用于存储立体眼镜左右显示器显示的立体图像对。在设置双缓存之后，主要利用OpenGL的两个函数设置绘制立体图像对的基本环境，分别是：

(1)glFrustrum(GLdoubleleft,GLdoubleright,GLdoublebottom,GLdoubletop,GLdoublenearVal,GLdoublefarVal)

该函数定义一个锥棱台形状的视景体，视景体内的模型可见，视景体外的模型不可见，它计算一个实现透视投影的矩阵。参数：left,right指近切面(即投影平面)的左右坐标位置；bottom,top指近切面的上下坐标位置；nearVal,farVal指近切面和远切面向视点的距离，即图5中的d_near，d_far。左右相机对应的视景体设置参数分别如公式(10)和(11)所示。

(2)gluLookAt(GLdoubleeyex,GLdoubleeyey,GLdoubleeyez,GLdoublecenterx,GLdoublecentery,GLdoublecenterz,GLdoubleupx,GLdoubleupy,GLdoubleupz)

该函数设置视点变换，主要有三组参数：第一组参数eye(eyex,eyey,eyez)设置相机在世界坐标的位置，对应瞳孔的位置；第二组center(centerx,centery,centerz)设置相机对准的物体在世界坐标的位置，对应眼睛朝向的位置；第三组up(upx,upy,upz)设置相机向上的方向在世界坐标中的方向，对应头顶朝向的方向。左右相机对应的视点变换参数分别如公式(12)和(13)所示。

式中v_p表示两视点中点位置向量，s表示相机相对中点的方向向量，s＝v_d×v_u，v_d和v_u分别表示相机光轴指向视景体方向的单位向量和向上方向的单位向量。

在确定视点位置和视景体之后，需要在视景体范围内绘制导管在血管中运动的场景，其中血管的三维模型是通过影像分割、重建获得，而导管的位置信息则是通过电磁跟踪系统实时获得，并通过空间配准实现信息融合，如此便可生成立体图像对。

Claims

1.一种具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，其特征在于，所述装置包括穿戴式立体眼镜、IMU传感器、服务器和电磁定位系统；

穿戴式立体眼镜，将生成的三维立体手术场景进行显示；

2.根据权利要求1所述的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，其特征在于，所述服务器，根据手术前血管影像信息、获得的头部姿态信息和手术中导管末端位姿信息，进行空间配准和信息融合，生成三维立体手术场景包括：

3.根据权利要求2所述的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，其特征在于，所述服务器，将获得的头部姿态信息进行视点变换，映射到虚拟场景中虚拟相机姿态为：

其中，旋转矩阵

T (r^{'}) = [\begin{matrix} r_{w}^{2} + r_{1}^{2} - r_{2}^{2} - r_{3}^{2} & 2 (r_{1} r_{2} + r_{w} r_{3}) & 2 (- r_{1} r_{3} + r_{w} r_{2}) \\ 2 (r_{1} r_{2} - r_{w} r_{3}) & r_{w}^{2} - r_{1}^{2} + r_{2}^{2} - r_{3}^{2} & 2 (- r_{2} r_{3} - r_{w} r_{1}) \\ 2 (- r_{1} r_{3} - r_{w} r_{2}) & 2 (- r_{2} r_{3} + r_{w} r_{1}) & r_{w}^{2} - r_{1}^{2} - r_{2}^{2} - r_{3}^{2} \end{matrix}];

4.根据权利要求2或3所述的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，其特征在于，所述穿戴式立体眼镜，将生成的三维立体手术场景进行显示包括：

5.根据权利要求4所述的具有人机交互的可穿戴式血管介入手术三维立体图像导航装置，其特征在于，所述IMU传感器包括三轴陀螺仪、三轴加速度计和三轴磁感应计；