CN109620408A - 一种基于电磁定位的增强现实手术导航系统标定方法 - Google Patents

Abstract

本发明公开了一种基于电磁定位的增强现实手术导航系统标定方法，需用到电磁导航仪、磁场发射器、传感器、单目相机和标定板，磁场发射器用于构建电磁空间，传感器有三个，其一安装在单目相机上，其二固定在增强现实的实验对象背部，其三用于获取标定板上各点的坐标，传感器基于磁场发射器获得当前坐标与偏转角度，并由电磁导航仪输出，标定板由网格状的50个圆形凹槽构成，传感器置入其中获取各凹槽中心坐标，凹槽之间的相对位置已知；通过利用上述部件完成单目相机与实验对象的坐标变换关系的标定，进而传输至虚拟空间下，实现增强现实的功能。本发明能够完成手术现场的快速标定，提高虚实融合的精度。

Description

一种基于电磁定位的增强现实手术导航系统标定方法

技术领域

本发明涉及增强现实技术及计算机辅助手术的技术领域，尤其是指一种基于电磁定位的增强现实手术导航系统标定方法。

背景技术

近年来，基于光学定位和头戴式显示器的增强现实手术导航系统逐步应用于神经外科、骨外科、肿瘤放射治疗等手术。现有的手术导航系统建立在虚实分离的原理上，它采用三维可视化技术生成导航影像显示在屏幕上。医生在术中需要不停地在导航屏幕与手术部位之间来回切换视野，这会干扰医生的手术进程。增强现实技术有利于解决传统导航系统中导航影像与手术场景分离的问题，结合光学定位系统可以将摄像头采集到的图像与虚拟的导航影像进行精确的叠加，以视频或图像流的方式在头戴式显示器中显示，使医生直接透过显示器既观察到病人实际体表，同时了解到体内病灶的情况。

虽然基于光学定位的增强现实手术导航系统给外科手术带来了极大的便利，但是目前光学定位系统容易受障碍物遮挡和反光物反射光线干扰，对定位的效果产生影响。同时头戴式的显示器使用起来并不方便，需要医生佩戴后结合光学定位进行标定，以获取头戴式显示器前端相机与病人空间的坐标系变换关系，而且容易产生眩晕感，对医生的手术过程不利。电磁定位与光学定位相比，具有造价低、使用方便，且不容易受到障碍物遮挡干扰等优势，有利于对伸入体内的器械进行引导。而单目相机与头戴式显示器相比，使用更为便利，无需医生佩戴，减少对手术过程的不利影响。为了保证电磁定位下的单目相机增强现实手术导航系统能够正常工作，需要对系统进行标定，获取相机与病人空间的坐标系变换关系，以确保相机拍摄的手术视野与虚拟的导航影像完成吻合的虚实融合。因此，设计一种鲁棒，且有效的系统标定方法对于提高电磁定位增强现实手术导航的稳定性和虚实融合精度具有重大意义。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于电磁定位的增强现实手术导航系统标定方法，能够完成手术现场的快速标定，提高虚实融合的精度，具有较高的临床应用价值。

为实现上述目的，本发明所提供的技术方案为：一种基于电磁定位的增强现实手术导航系统标定方法，该方法需用到电磁导航仪、磁场发射器、传感器、单目相机和标定板，所述磁场发射器用于构建电磁空间，所述传感器有三个，其一安装在单目相机上，命名为相机位置传感器，其二固定在增强现实的实验对象背部，命名为对象位置传感器，其三用于获取标定板上各点的坐标，命名为标定传感器，三个传感器基于磁场发射器获得当前坐标与偏转角度，并由电磁导航仪输出，所述标定板由网格状的50个圆形凹槽构成，传感器置入其中获取各凹槽中心坐标，且凹槽之间的相对位置已知；通过利用上述电磁导航仪、磁场发射器、传感器和标定板完成单目相机与实验对象的坐标变换关系的标定，进而传输至虚拟空间下，实现增强现实的功能；其包括以下步骤：

1)根据磁场发射器为原点建立系统的世界坐标系S_w(x_w，y_w，z_w)，对象位置传感器根据其中心为原点建立对象坐标系S_o(x_o，y_o，z_o)，传感器在世界坐标系S_w下的坐标为p_w，在对象坐标系S_o下的坐标为p_o，两者坐标变换关系满足：p_w＝R_owp_o+T_ow，式中，R_ow为旋转矩阵，T_ow为平移向量；

2)根据电磁导航仪输出的传感器坐标与坐标轴偏转角，求取R_ow和T_ow；

3)根据相机位置传感器的中心建立相机坐标系S_c(x_c，y_c，z_c)，同理，得到世界坐标系S_w与相机坐标系S_c之间的旋转矩阵R_cw和平移向量T_cw；最终确定对象位置传感器至相机位置传感器的坐标变换关系：式中，p_c为相机坐标系S_c下的坐标，p_o为对象坐标系S_o下的坐标；

4)利用标定传感器作为探针获取标定板的各点坐标，而后构建标定板的坐标系S_t(x_t，y_t，z_t)，求取相机坐标系到标定板坐标系的旋转矩阵R_ct和平移向量T_ct；

5)利用单目相机从不同角度拍摄多幅标定板图像，由于标定板各凹槽中心的相对位置是已知的，因此根据标定板各点坐标与屏幕中标定板各点的图像坐标，可得标定板坐标系S_t(x_t，y_t，z_t)到相机屏幕坐标系S_d(x_d，y_d，z_d)的旋转矩阵R_td和平移向量T_td；最终确定相机位置传感器与相机屏幕之间的坐标变换关系：p_d＝R_td(R_ctp_c+T_ct)+T_td，式中，p_c为相机坐标系S_c下的坐标，p_d为屏幕坐标系S_d下的坐标；

6)结合以上的变换关系得到对象位置坐标系S_o与相机屏幕坐标系S_d的坐标变换关系：式中，p_o为对象坐标系S_o下的坐标，p_d为屏幕坐标系S_d下的坐标；至此，完成系统的整体标定。

所述步骤2)包括以下步骤：

2.1)设电磁导航仪输出对象位置传感器在世界坐标系S_w下的坐标为p_w(t_x，t_y，t_z)，与X，Y，Z三轴的夹角分别为θ_x，θ_y，θ_z；

2.2)平移向量T_ow为传感器在世界坐标系下的三个方向的平移量，写成向量形式为T_ow＝[t_x t_y t_z]^T；

2.3)传感器与Z轴正方向的夹角为θ_z，则绕Z轴旋转的旋转矩阵R_{ow_z}为：

传感器与Y轴正方向的夹角为θ_y，则绕Y轴旋转的旋转矩阵R_{ow_y}为：

传感器与X轴正方向的夹角为θ_x，则绕X轴旋转的旋转矩阵R_{ow_x}为：

最后，求得旋转矩阵R_ow＝R_{ow_z}·R_{ow_y}·R_{ow_x}，相机位置传感器的旋转矩阵R_cw与平移向量T_cw求解方式与上述过程相同。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明基于电磁定位构建增强现实手术导航系统，可以根据电磁定位获取当前相机与病人的实际位置，突破了光学定位中容易受到障碍物遮挡以及反光物干扰的缺点，提高了导航使用的灵活度。

2、本发明使用单目相机作为手术视野的拍摄，克服头戴式显示器复杂不便的使用方法，直接可获取手术视野并传至导航系统中与虚拟导航影像进行虚实融合。

3、本发明设计的基于电磁定位的增强现实手术导航系统标定方法，具有操作复杂度低，标定时间短等特点，适用于现场标定，具有较高的临床应用价值。

附图说明

图1是本发明实施例的增强现实手术导航标定装置示意图。

图2是本发明实施例的标定示意图。

具体实施方式

通过下面结合具体实施例及附图，对本发明做进一步说明，但不应以此限制本发明的保护范围。

如图1所示，为了进行系统标定，所使用的部件包括电磁定位仪1，磁场发射器2，嵌在手术台3内的对象位置传感器4，单目相机5，相机位置传感器6，标定板7以及标定传感器8。对象位置传感器4与实验者相对位置固定，用于确定实验者在电磁空间下的具体位置。相机位置传感器6固定在单目相机5上方，用于追踪相机的具体位置。标定板7由网格状的50个圆形凹槽构成，各凹槽间的相对位置关系在加工制作时已经确定，再由标定传感器8置入各凹槽中获取各凹槽中心在电磁空间下的坐标。

如图2所示，标定时主要有两个重要流程，一是通过标定求解对象位置传感器到相机位置传感器的坐标变换关系；二是利用标定板求取相机屏幕与相机位置传感器的坐标变换关系。其中，S_w(x_w，y_w，z_w)为磁场发射器构建的世界坐标系，S_o(x_o，y_o，z_o)为对象位置传感器建立的对象坐标系，S_c(x_c，y_c，z_c)为相机位置传感器建立的相机坐标系，S_t(x_t，y_t，z_t)为标定传感器依次置入标定板凹槽构建的标定坐标系，S_d(x_d，y_d，z_d)为相机屏幕坐标系。

开始标定时，设电磁传感器电磁导航仪输出对象位置传感器在世界坐标系S_w下的坐标为p_w(t_x，t_y，t_z)，与X，Y，Z三轴的夹角分别为θ_x，θ_y，θ_z。平移向量T_ow为传感器在世界坐标系下的三个方向的平移量，写成向量形式为T_ow＝[t_x t_y t_z]^T。传感器与Z轴正方向的夹角为θ_z，则绕Z轴旋转的旋转矩阵R_{ow_z}为

传感器与Y轴正方向的夹角为θ_y，则绕Y轴旋转的旋转矩阵R_{ow_y}为

传感器与X轴正方向的夹角为θ_x，则绕X轴旋转的旋转矩阵R_{ow_x}为

最后，求得旋转矩阵R_ow＝R_{ow_z}·R_{ow_y}·R_{ow_x}。同理，相机位置传感器的旋转矩阵R_cw与平移向量T_cw求解方式与上述过程相同。结合上述的两对坐标变换关系，最终确定对象位置传感器至相机位置传感器的坐标变换关系：式中，p_c为相机坐标系S_c下的坐标，p_o为对象坐标系S_o下的坐标。此时完成了标定的第一个流程。

在第二个流程中，首先利用标定传感器作为探针获取标定板的各点坐标，而后构建标定板的坐标系S_t(x_t，y_t，z_t)，采用四元数法或矩阵伪逆法，求取相机坐标系到标定板坐标系的旋转矩阵R_ct和平移向量T_ct。接着利用相机从不同角度拍摄多幅标定板图像，由于标定板各凹槽中心的相对位置是已知的，因此根据标定板各点坐标与屏幕中标定板各点的图像坐标，同样使用四元数法或矩阵伪逆法，可得标定板坐标系S_t(x_t，y_t，z_t)到相机屏幕坐标系S_d(x_d，y_d，z_d)的旋转矩阵R_td和平移向量T_td；最终确定相机位置传感器与相机屏幕之间的坐标变换关系：p_d＝R_td(R_ctp_c+T_ct)+T_td，式中，p_c为相机坐标系S_c下的坐标，p_d为屏幕坐标系S_d下的坐标。

综合以上的变换可得到对象位置坐标系S_o与屏幕坐标系S_d的坐标变换关系：式中，p_o为对象坐标系S_o下的坐标，p_d为屏幕坐标系S_d下的坐标；至此，完成系统的整体标定。

以上所述实施例只为本发明较佳的实施方式，但本发明的实施方式并不受所述实施案例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于电磁定位的增强现实手术导航系统标定方法，其特征在于：该方法需用到电磁导航仪、磁场发射器、传感器、单目相机和标定板，所述磁场发射器用于构建电磁空间，所述传感器有三个，其一安装在单目相机上，命名为相机位置传感器，其二固定在增强现实的实验对象背部，命名为对象位置传感器，其三用于获取标定板上各点的坐标，命名为标定传感器，三个传感器基于磁场发射器获得当前坐标与偏转角度，并由电磁导航仪输出，所述标定板由网格状的50个圆形凹槽构成，传感器置入其中获取各凹槽中心坐标，且凹槽之间的相对位置已知；通过利用上述电磁导航仪、磁场发射器、传感器和标定板完成单目相机与实验对象的坐标变换关系的标定，进而传输至虚拟空间下，实现增强现实的功能；其包括以下步骤：

1)根据磁场发射器为原点建立系统的世界坐标系S_w(x_w，y_w，z_w)，对象位置传感器根据其中心为原点建立对象坐标系S_o(x_o，y_o，z_o)，传感器在世界坐标系S_w下的坐标为p_w，在对象坐标系S_o下的坐标为p_o，两者坐标变换关系满足：p_w＝R_owp_o+T_ow，式中，R_ow为旋转矩阵，T_ow为平移向量；

2)根据电磁导航仪输出的传感器坐标与坐标轴偏转角，求取R_ow和T_ow；

3)根据相机位置传感器的中心建立相机坐标系S_c(x_c，y_c，z_c)，同理，得到世界坐标系S_w与相机坐标系S_c之间的旋转矩阵R_cw和平移向量T_cw；最终确定对象位置传感器至相机位置传感器的坐标变换关系：式中，p_c为相机坐标系S_c下的坐标，p_o为对象坐标系S_o下的坐标；

4)利用标定传感器作为探针获取标定板的各点坐标，而后构建标定板的坐标系S_t(x_t，y_t，z_t)，求取相机坐标系到标定板坐标系的旋转矩阵R_ct和平移向量T_ct；

5)利用单目相机从不同角度拍摄多幅标定板图像，由于标定板各凹槽中心的相对位置是已知的，因此根据标定板各点坐标与屏幕中标定板各点的图像坐标，可得标定板坐标系S_t(x_t，y_t，z_t)到相机屏幕坐标系S_d(x_d，y_d，z_d)的旋转矩阵R_td和平移向量T_td；最终确定相机位置传感器与相机屏幕之间的坐标变换关系：p_d＝R_td(R_ctp_c+T_ct)+T_td，式中，p_c为相机坐标系S_c下的坐标，p_d为屏幕坐标系S_d下的坐标；

6)结合以上的变换关系得到对象位置坐标系S_o与相机屏幕坐标系S_d的坐标变换关系：式中，p_o为对象坐标系S_o下的坐标，p_d为屏幕坐标系S_d下的坐标；至此，完成系统的整体标定。

2.根据权利要求1所述的一种基于电磁定位的增强现实手术导航系统标定方法，其特征在于，所述步骤2)包括以下步骤：

2.1)设电磁导航仪输出对象位置传感器在世界坐标系S_w下的坐标为p_w(t_x，t_y，t_z)，与X，Y，Z三轴的夹角分别为θ_x，θ_y，θ_z；

2.2)平移向量T_ow为传感器在世界坐标系下的三个方向的平移量，写成向量形式为T_ow＝[t_x t_y t_z]^T；

2.3)传感器与Z轴正方向的夹角为θ_z，则绕Z轴旋转的旋转矩阵R_{ow_z}为：

传感器与Y轴正方向的夹角为θ_y，则绕Y轴旋转的旋转矩阵R_{ow_y}为：

传感器与X轴正方向的夹角为θ_x，则绕X轴旋转的旋转矩阵R_{ow_x}为：

最后，求得旋转矩阵R_ow＝R_{ow_z}·R_{ow_y}·R_{ow_x}，相机位置传感器的旋转矩阵R_cw与平移向量T_cw求解方式与上述过程相同。