CN108766504A - 一种手术导航系统的人因评价方法 - Google Patents

Abstract

本发明公开了一种手术导航系统的人因评价方法，其设备包括手术导航模块、微软全息眼镜，通过测试准备、客观测试以及主观测试的步骤在主客观两方面对手术导航系统进行评价，其方法较为客观、准确。

Description

一种手术导航系统的人因评价方法

技术领域

本发明涉及基于微软全息眼镜的增强现实手术导航系统的人因评价方法。

背景技术

现如今精准医疗，增强现实、虚拟现实等技术应用越来越普遍，自微软2016年推出Microsoft HoloLens头显设备后，基于Microsoft HoloLens的增强现实手术导航系统的临床应用也愈加广泛。随着计算机技术的发展，虚拟现实技术的内涵也在发展，波音公司的Tom Caudell提出了“增强现实Augmented Reality”这个名词，简称AR。与传统的虚拟现实技术所要达到的完全沉浸的效果方式不同，增强现实技术致力于将计算机生成的虚拟物体叠加到现实景物上，使它们一起出现在使用者的视场中，形成虚实结合的视觉图像，增强使用者对现实的把握和理解，因此增强现实又称为“混合现实”。

国内外对基于Microsoft HoloLens的增强现实手术导航系统研发成为一大热点，但国内对此类系统没有一个系统完整量化的人因评价指标。现有的针对舒适度及准确性评价等人因评价都是基于计算机辅助医疗系统中的手术机器人，这类方法并不适用本发明的增强现实环境。

发明内容

本发明的目的是为克服上述问题，提出一种手术导航系统的人因评价方法，能够通过主客观两方面对手术导航系统进行评价，其方法较为客观、准确。

本发明所提出的一种手术导航系统的人因评价方法，其设备包括手术导航模块、微软全息眼镜，其评价步骤包括：

第一步，测试准备，导航系统记录测试者的性别、年龄、身高、瞳距，实验环境的温湿度、无影灯开闭状态下的测试模型的光线强度；

第二步，客观测试，具体包括：

1.最佳主观、最佳叠加精度时的视角与距离。

2.精度测试，测试者佩戴微软全息眼镜，分别测试：

-静态误差，通过手术导航系统软件识别虚拟模型，并在配准位置下固定，然后在该位置静止，执行坐标误差测试；以及

-动态误差，通过手术导航系统软件识别虚拟模型并在配准位置下固定，然后在该位置左右来回转动头部，执行坐标误差测试；以及通过手术导航系统软件识别虚拟模型，并在配准位置下固定，然后在手术区域内缓慢走动至少一圈，执行坐标误差测试。

3.生理测试，测试者佩戴微软全息眼镜和生理监测仪(Bioradio)，得到测试者的左眼垂直眼电信号、右侧颈部胸锁乳突肌的表面肌电信号，并测试：

-颈部肌肉的疲劳程度，计算测试者在佩戴微软全息眼镜时颈部胸锁乳突肌的表面肌电信号的积分肌电值，均方根，平均功率谱，中值频率，得到受累情况，并计入得分权重。

-视觉舒适度和疲劳程度，采用差分幅度阈值法计算垂直眼电信号的眨眼次数，用带谱熵算法计算垂直眼电信号的信号复杂度，并计入得分权重。

第三步，主观测试，测试者填写主观调查问卷，并统计主观问卷得分数据。

值得注意的是，在测试最佳主观、最佳叠加精度时的视角与距离时，一般使用Qualisys Track Manager测试最佳叠加视角与距离，其中最佳叠加视角的定义为增强现实识别图中心位置即Marcker1、微软全息眼镜右摄像头上方3厘米位置即Marcker2、微软全息眼镜右摄像头下方3厘米位置即Marcker3的角度；最佳叠加距离的定义为Marcker1与Marcker2与

Marcker3的中点的欧式距离。

附图说明

图1是本发明评价指标的示意图。

图2是本发明评价步骤的示意图。

图3是本发明设备的示意图。

图4是本发明主观调查问卷的示意图。

在图3中，a1、a2、a3、a4、a5、a6分别为Qualisys Track Manager支架和摄像头，c为手术无影灯，d为手术床，e为Micron Tracker设备，f为BioRadio无线生理仪，i为麻醉机，j为除颤仪，k为多功能呼吸治疗机，l为BioRidio无线生理仪的配套软件电脑，m为QualisysTrack Manager配套软件电脑,n为Micron Tracker配套软件电脑，g为装有增强现实手术导航系统的Microsoft HoloLens，h为真实模型。而1、2、3分别对应具体实施方式中最佳叠加视角与距离的Marker1、Marker2、Marker3。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示，进一步阐述上述技术方案。

如图所示的一种手术导航系统的人因评价方法，其设备包括手术导航模块、微软全息眼镜(Microsoft HoloLens)，其评价步骤包括：

1.调试、校准实验设备。测试并记录志愿者的性别，年龄，身高等信息。

2.测量实验环境的温湿度及无影灯开闭状态下的真实模型的光线强度即照度。

3.佩戴好Microsoft HoloLens，执行自带的“Learn Gesture”任务。

4.执行Microsoft HoloLens自带的“Calibration”任务，并记录每位志愿者的瞳距。

5.测量主观最佳叠加精度时的视角与距离，具体为：

使用Qualisys Track Manager测试的最佳叠加视角与距离，其中视角的定义为增强现实识别图中心位置即Marcker1、Microsoft HoloLens右摄像头上方3厘米位置即Marcker2、Microsoft HoloLens右摄像头下方3厘米位置即Marcker3的角度，距离的定义为Marcker1与Marcker2与Marcker3的中点的欧式距离。

6.静态误差测试：佩戴好Microsoft HoloLens，打开手术导航系统软件，识别虚拟模型并在最准确配准位置下固定虚拟模型，然后在该位置不做任何肢体变动，再依次执行如图2所示的T1,T2,T3,T4,T5操作。

精度定义为：随机选取真实模型上不少于6个的测试点并按顺序标号，先依次测试真实模型上的测试点的三维坐标信息，使用MicrosoftHoloLens配准并固定虚拟模型之后，拿开真实模型，再依次测试虚拟模型上的测试点的三维坐标信息。对Micron Tracker采集的坐标数组取平均值作为最终的坐标，取两者的欧式距离，再将所有测试点的欧式距离取平均值，即为该系统的某一状态下的精度。

7.头部转动误差测试：佩戴好Microsoft HoloLens，打开手术导航系统软件，识别虚拟模型并在最准确配准位置下固定虚拟模型，然后在该位置左右来回各一次转动头部，再依次执行T1,T2,T3,T4,T5操作。

8.走动误差测试：佩戴好Microsoft HoloLens，打开手术导航系统软件，识别虚拟模型并在最准确配准位置下固定虚拟模型，然后在手术区域内缓慢走动一圈，再依次执行T1,T2,T3,T4,T5操作。

9.在步骤6，7，8中，将同时用Bioradio无线生理仪记录志愿者的左眼垂直眼电信号，右侧颈部胸锁乳突肌的表面肌电信号。

10.志愿者填写主观调查问卷，了解测试者的主观感受。

11.计算颈部胸锁乳突肌的表面肌电信号的积分肌电值，均方根，平均功率谱，中止频率。用于评价佩戴重量为550g的Microsoft HoloLens做手术或者模拟手术时对颈部肌肉的疲劳程度。

由于肌电信号可近似看作均值为零的随机信号，直接求信号均值来提取肌电信号特征的话，所得均值近似为零，显然不足以表征信号间的差异。若对肌电信号取绝对值，则得到的信号均值将恒大于零，因而可用于提取肌电信号的特征。积分肌电值是肌电信号振幅的积分值，表征了运动神经单元在单位时间内的放电量，此方法定义如下：

积分肌电值(IMEG):是指肌电图曲线所包围的面积，单位为毫伏.秒(mv.s)。通过IMEG就可以判断肌肉活动的强弱，即在运动技术中各肌肉的贡献率的大小。其计算公式为：

EMG(t)为t时刻的肌电信号幅值。

平均值即均方根振幅，简称RMS：平均值往往用来描述数据静态特征，反映的是一定时间内的肌肉放电的平均水平。其计算公式为：

平均功率频率(Mean Power Frequency,MPF)是以功率谱密度(Power SpectralDensity，PSD)为基础计算得出。本研究使用Welch方法对肌电功率谱密度进行估计。则基于功率谱密度的平均功率频率(MPF)的计算如下

其中f为肌电信号频率，f_s为采样频率，是功率谱密度函数。

中值频率(Mean Frequency，MF)指将肌电信号进行傅里叶变换得到其功率谱，则功率的一半所对应的频率即为中值频率，其大小与参与活动的肌肉组织中快、慢肌纤维有关，其计算公式如式为：

12.用差分双阈值眨眼检测算法计算垂直眼电信号的眨眼次数，用带谱熵算法计算垂直眼电信号的信号复杂度即带谱熵值，用于评价Microsoft HoloLens佩戴者在手术活模拟手术时，处于增强现实环境下的视觉的舒适度和疲劳程度。

需要指出的是，差分双阈值眨眼检测算法的实现是通过设定两个阈值，分别是眼脸闭合速度阈值Vc和眼脸打开速度阈值Vo，当垂直眼电的差分信号幅值达到Vc时，表示眼睛开始闭合，当幅值回落到Vc时表示眼睛已经彻底闭合；当差分信号幅值低于Vo时，代表眼睛开始睁开，此后当幅值回落到Vo时，代表眼睛睁眼的结束。具体的算法步骤如下：

(1)由于眨眼信号的频率较低，首先对垂直眼电进行10Hz低通滤波,避免高频信号的影响；

(2)对垂直眼电进行差分处理，获得的差分信号可以看做垂直眼电信号的瞬时变化率，近似代表一阶眼动速度；

(3)对所有大于Vc以及小于Vo的差分信号进行标定，记录每个幅值为Vc以及Vo的点，可以将者四个点包含的过程视为一个眨眼动作；

(4)提取原始眼电信号在标定的眨眼位点上的值，并计算眨眼过程的均值Am，然后将其与阈值A进行比较，如果满足Am>A并且眨眼的时长小于0.4s，则判定为一个眨眼动作。如果眨眼时长大于0.4s，则最小幅值A需增加50％。

(5)如果相邻两组眨眼的时间间隔小于时间阈值H1并且这两个眨眼动作中至少有一个的持续时间小于时间阈值H2,则将两个眨眼动作合并为一个眨眼动作。依此来计算志愿者在模拟手术过程中的眨眼信号。

需要指出的是，基于EOG的信号复杂度即带谱熵的计算方法为：

如果某事物具有n种独立的可能的结果或状态,X₁,X₂,......,X_n,且每一结果出现的概率P₁,P₂,......,P_n,则事物所具有的不确定性H(X/Q)就为：

而事物的不确定性H(X/Q)就是信息熵。

改进型带谱熵则是结合了信息熵和小波包频带分解作为一种新颖的眼电信号分析方法，其步骤是：

(1)对于眼电信号的信号频带进行小波包分解，针对眼电信号的主要信息集中在0～10H_Z来选择频带宽度，并对频带进行编号。

(2)使用快速傅里叶变化FFT，计算每一个频带上的谱能量E_i(i＝1,2...n),并对这些频带谱能量求和得到总谱能量：

(3)将每个频带的能量与总能量进行相比P_i＝E_i/E，可以得到每个频带上的能量分布概率，这概率也反应了每个频带上的能量分布状况。

(4)结合信息熵的概念，我们可以得到改进型带谱熵值(BE)：

13.对Micron Tracker测得的不同光线条件下的不同动作的三维坐标信息，每个测试点测试时要求受试者操作探针在一个位置留2秒钟，MicronTracker配套的VB.Net软件，显示的三维坐标值的STD值小于0.5mm则保存，否则重新测试。对每组数据取其平均值作为最终的三维指标值，将不同光线的不同动作状态的真实点与虚拟点计算欧式距离D，不同测试条件下测试点的欧式距离的平均值则为该测试条件下系统的精度。

其中欧式距离公式为：

14.统计主观问卷得分数据，根据主观客观方法评价基于MicrosoftHoloLens的手术导航系统，并结合客观数据计算最终评价得分。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种手术导航系统的人因评价方法，其设备包括手术导航模块、微软全息眼镜(Microsoft HoloLens)，其评价步骤包括—

1)测试准备，记录测试者的性别、年龄、身高、瞳距，实验环境的温湿度、无影灯开闭状态下的测试模型的光线强度；

2)客观测试，具体包括—

i)最佳主观、最佳叠加精度时的视角与距离；

ii)精度测试，测试者佩戴微软全息眼镜，分别测试：

静态误差，通过手术导航系统软件识别虚拟模型，并在配准位置下固定，然后在该位置静止，执行坐标误差测试；

动态误差，通过手术导航系统软件识别虚拟模型并在配准位置下固定，然后在该位置左右来回转动头部，执行坐标误差测试；以及通过手术导航系统软件识别虚拟模型，并在配准位置下固定，然后在手术区域内缓慢走动至少一圈，执行坐标误差测试；

iii)生理测试，测试者佩戴微软全息眼镜和生理监测仪(Bioradio)，得到测试者的左眼垂直眼电信号、右侧颈部胸锁乳突肌的表面肌电信号，并测试：

颈部肌肉的疲劳程度，计算测试者在佩戴微软全息眼镜时颈部胸锁乳突肌的表面肌电信号的积分肌电值，均方根，平均功率谱，中值频率，得到受累情况，并计入得分权重；

视觉舒适度和疲劳程度，采用差分幅度阈值法计算垂直眼电信号的眨眼次数，用带谱熵算法计算垂直眼电信号的信号复杂度，并计入得分权重。

3)主观测试，测试者填写主观调查问卷，并统计主观问卷得分数据。

2.根据权利要求1所述的一种手术导航系统的人因评价方法，其特征在于，所述坐标误差测试的步骤包括—

1)无照明条件下误差对比，关闭无影灯后，使用Micron Tracker测试真实模型不同平面上不少于6个测试点的三维坐标并记录，之后移除真实模型，测试虚拟模型不同平面上不少于6个测试点的三维坐标并记录；

2)不同照明条件下误差测试，使用Micron Tracker依次测试虚拟模型在无影灯低挡、中档、高档亮度下不同平面上不少于6个测试点的三维坐标并记录。

3.根据权利要求2所述的一种手术导航系统的人因评价方法，其特征在于，所述三维坐标的测试步骤包括：

1)确定坐标，通过Micron Tracker测得的不同光线条件下的不同动作的三维坐标信息，对每个测试点测试时要求测试者操作探针在一个位置停留2秒钟，Micron Tracker配套的VB.Net程序，当显示的三维坐标值的STD值小于0.5mm保存，否则重新测试；

2)计算坐标，对各组数据取平均值作为最终的三维指标值，将不同光线的不同动作状态的真实点与虚拟点计算欧式距离D，以每个点不同测试条件下D的平均值作为该系统在该测试条件下的精度。