CN108542355A - 一种裸眼3d显示视觉诱导晕动症评估方法 - Google Patents

Abstract

本发明公开了一种基于ACC的裸眼3D显示视觉诱导晕动症评估方法。首先使用加速计传感器采集身体特定部位在正常阶段和检测阶段的加速计数据，经过数据预处理，然后计算五种平衡性指标，根据五种平衡指标再计算总体平衡性指标，之后根据得到的正常阶段和检测阶段的总体指标计算相对偏差，最后将相对偏差与特定的阈值进行比较，当相对偏差大于特定阈值时，判定出现视觉诱导晕动症，从而实现裸眼3D显示视觉诱导晕动症的评估。

Description

一种裸眼3D显示视觉诱导晕动症评估方法

技术领域

本发明涉及裸眼3D视频显示领域，更为具体地讲，尤其涉及一种裸眼3D显示视觉诱导 晕动症评估方法。

背景技术

裸眼3D显示由于无需佩戴任何辅助设备(如3D眼镜、头盔等)的情况下，通过柱状透 镜等先进光学技术与信号处理算法即可观看到具有冲击力的立体视觉效果，代表了3D显示 技术未来的发展方向，可广泛用于传媒广告、展览展示、科研教育、影视娱乐等领域，能够 给人们的生产、生活各方面带来全新的体验和视觉享受。近几年，随着4K及8K显示技术的 快速发展，裸眼3D技术日渐成熟、软硬件不断完善，目前裸眼3D观看效果比过去有了很大 的提高。随着3D技术的进一步发展、成本的降低、内容的逐步完善，裸眼3D显示将成为最 新的显示和终极视频产品普及到家庭和各个应用领域。

在新兴产业发展规划中，裸眼3D显示被重点列入了新型显示专栏，并明确指出需掌握 其相关的节目源、发射、传输、接收、显示等集成技术。市场预测机构IDC在一项研究数据 中指出，裸眼3D显示技术逐渐成熟，预计到2020年出货比重将达到18.4％。现阶段，大屏裸眼3D显示应用于家用市场还有一些技术及内容瓶颈，仅以裸眼3D手机、裸眼3D PAD为例，该产业有上千亿的市场规模。

然而，人们在长时间使用裸眼3D显示设备观看3D视频的过程中，往往会产生眩晕、恶 心甚至呕吐等症状，我们把这些症状统称为视觉诱导晕动症(Visually InducedMotion Sickness, VIMS)，这在一定程度上阻碍了这种裸眼3D产品的发展与应用，同时对人类身体健康也造成 了不良影响。因此建立一种VIMS评估方法甚至减缓方法是裸眼3D显示急需攻克的难题。

目前，针对3D显示中不适感进行评估的方法主要有主观评估法和客观评估法两大类。 主观评估法指通过主观问卷对VIMS进行评估，受试者需要根据自身体验回答问卷，再由研 究人员对问卷进行统计分析评估VIMS程度，该方法简单、便捷，但是主观性大、可靠性低， 评估结果不够准确。客观评估法指通过定义某些客观指标对受试者的VIMS程度进行公式化 评估，该方法不受主观因素的影响，但指标的选取困难、测试复杂。生物电信号作为生物体 生命活动状态的反映，是生物医学工程研究的重要手段，广泛应用于生理状态监测、脑功能 研究、情感与心理分析等方面，而研究人员使用脑电信号(electroencephalogram,EEG)、心电 图(electrocardiogram,ECG)、血压(Blood pressure,BP)、心率(Heart rate,HR)、身体平衡能力 (body balance level)等对不适感进行了研究。身体平衡能力是指协调身体姿势的能力，尤其 在较小的支撑面上控制自己感知身体位置的能力。一般认为，人体维持平衡能力主要依赖于 中枢系统对视觉输入、本体感觉以及前庭觉系统之间信息的协调和对晕动效应器的控制。因 此视觉输入、本体感觉、前庭系统以及小脑的作用形成四肢、躯干的协调作业是决定人体平 衡能力的主要原因。

不同于平衡板测量身体整体的稳定性，加速计(Accelerometer,ACC)可以用来测量身体局 部部位的姿态变化。1991和1992年加速计作为一种成功地量化节奏和平均步长的方式被提 出，通过识别每个脚跟的撞击。1999年加速计用于在优选步行速度下测量循环频率。到目前 为止，加速计已经成熟的被应用于步态姿势测量中，使用它可以判断人的步长、步幅和行走 时的躯干加速度，进而判断是否有行动障碍。但将加速计用于研究立体视觉引起的晕动这一 方面，目前还没有大量的研究。因此本课题拟采用三轴加速仪测量人体头部在实验过程中的 加速度变化，通过分析不同方向加速度的变化情况可以评估在立体观影中对人体头部运动姿 态的影响，进而为ACC评估视觉诱导晕动症提供可能。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于加速计的裸眼3D显示视觉诱导 晕动症评估方法，首先分别采集用户在正常阶段和检测阶段身体某部位的加速计数据，分别 进行预处理，然后根据五个平衡相关指标求得总指标，最后计算总指标的相对偏差，当检测 阶段较正常阶段值有显著增大时，判定出现视觉诱导晕动症症状。通过计算ACC实验前后的 平衡性指标来评估视觉诱导晕动症的存在与否，从而提高裸眼3D显示的舒适度。

为实现上述发明目的，本发明是基于加速计的视觉诱导晕动症评估方法，其特征在于， 包括以下步骤：

S1：信号采集：使用便携式Muse设备(包含ACC传感器)采集人体不同状态下头部的ACC 数据。

S2：信号预处理：对采集的原始ACC数据使用四阶巴特沃斯低通滤波器就行滤波处理， 截止频率为采样频率的一半25Hz。

S3：计算平衡性指标：对预处理过后的ACC数据计算其下列平衡性指标：

AP方向角度标准差：计算方法如下公式所示，其中x_i是第i个AP方向角度值，是AP方向角度均值。R_AP、R_ML、R_V是ACC头部加速度三个方向的分量。

x_i＝arccos(R_AP/R)

BFEN(带通欧几里得范数)：对每个随机信号使用四阶巴特沃斯带通滤波器进行滤波(带通 频率w₀＝0.2～15Hz)，滤波后求其欧几里得范数。

HFEN₂(高通欧几里得范数)：对每个随机信号使用四阶巴特沃斯高通滤波器进行滤波 (截止频率w₀＝0.2Hz)，滤波后求其欧几里得范数。

HFENP₂(加强级高通欧几里得范数)：三轴随机信号经过4阶巴特沃斯低通滤波器进行 滤波，截止频率为0.2Hz，之后求其欧几里得范数，加HFEN值，减1G。

AP方向小波熵：

S4：计算出五个指标后加权求和得到总指标total_index₀，其中相应的权重是通过实验前 后相应指标差和晕动等级做斯皮尔曼等级相关分析确定。

S5：计算正常状态下的总指标total_index₀和检测阶段的总指标total_index₁，求其相对 偏差Δ_index＝total_index₁/total_index₀，如果Δ_index大于预设阈值TH_index,则判定该测试者 出现了晕动症状。

附图说明

图1为基于ACC的裸眼3D显示视觉诱导晕动症评估方法流程图。

图2为本发明采用的Muse设备示意图，其中(a)为Muse设备；(b)为Muse及其App。

图3为诱发VIMS的广视角虚拟环境驾驶模拟器。

图4为加速计空间坐标系示意图。

图5为诱发VIMS的虚拟驾驶流程图。

图6为指标的均值折线图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

本发明提出一种基于ACC的裸眼3D显示视觉诱导晕动症评估方法，通过计算ACC实验前后的平衡性指标来评估视觉诱导晕动症的存在与否，从而实现裸眼3D视觉诱导晕动症的评估。

图1为是本发明提出的基于ACC的裸眼3D显示视觉诱导晕动症评估方法流程图。本发 明首先分别采集用户在正常阶段和检测阶段身体某部位的加速计数据，分别进行预处理，然 后根据五个平衡相关指标求得总指标，最后计算总指标的相对偏差，当检测阶段较正常阶段 值有显著增大时，判定出现视觉诱导晕动症症状，其主要包括以下步骤：

S1：信号采集：使用便携式Muse设备(包含ACC传感器)采集人体不同状态下头部的ACC 数据。

S2：信号预处理：对采集的原始ACC数据使用四阶巴特沃斯低通滤波器就行滤波处理， 截止频率为采样频率的一半25Hz。

S3：计算平衡性指标：对预处理过后的ACC数据计算其下列平衡性指标：

AP方向角度标准差：计算方法如下公式所示，其中x_i是第i个AP方向角度值，是AP方向角度均值。R_AP、R_ML、R_V是ACC头部加速度三个方向的分量。

x_i＝arccos(R_AP/R)

BFEN(带通欧几里得范数)：对每个随机信号使用四阶巴特沃斯带通滤波器进行滤波(带通 频率w₀＝0.2～15Hz)，滤波后求其欧几里得范数。

HFEN₂(高通欧几里得范数)：对每个随机信号使用四阶巴特沃斯高通滤波器进行滤波 (截止频率w₀＝0.2Hz)，滤波后求其欧几里得范数。

HFENP₂(加强级高通欧几里得范数)：三轴随机信号经过4阶巴特沃斯低通滤波器进行 滤波，截止频率为0.2Hz，之后求其欧几里得范数，加HFEN值，减1G。

AP方向小波熵：

S4：计算出五个指标后加权求和得到总指标total_index₀，其中相应的权重是通过实验前 后相应指标差和晕动等级做斯皮尔曼等级相关分析确定。

S5：计算正常状态下的总指标total_index₀和检测阶段的总指标total_index₁，求其相对 偏差Δ_index＝total_index₁/total_index₀，如果Δ_index大于预设阈值TH_index,则判定该测试者 出现了晕动症状。

图2为本发明采用的Muse设备示意图。本文使用Muse可穿戴设备不仅可以记录连续的 脑电信号，还带有加速计传感器，可以实时测量头部的加速度数据。Muse中的加速计数据采 样频率为50Hz。三个数值一次代表x、y、z方向的重心加速度分量。如果用户穿戴Muse正 确，这些相对位置就确定了。这些值得单位是mili-G，1G是重力，也就是通常说的“单位质 量重力”或“加速度矢量”。如图2(a)所示，该设备包含七个精确校准的传感器，额叶区有两 个脑电信号传感器(FP1、FP2)，颞叶区有两个脑电信号传感器(TP9、TP10)，另外还有三个参 考传感器；如图2(b)所示，展示了Muse设备通过手机App可以实时监控人的情绪和脑波信 号。

图3为诱发VIMS的广视角虚拟环境驾驶模拟器。基于虚拟现实(Visual Reality,VR)的主 动式汽车驾驶模拟器(Vehicle Driving Simulator，VDS)，由一个运动的驾驶室和220°的情景投 影屏组成，在在驾驶过程中容易通过视觉刺激诱发受试者产生视觉诱导晕动症，因此，本发 明使用汽车驾驶模拟器来诱发VIMS。

对加速计建立空间坐标系，如图4所示。三轴加速计输出x，y，z三个轴的加速度分量， 每个加速度分量是加速度矢量和在该轴的投影，它们之间存在一定的夹角，计算该夹角的大 小，我们可以分析受试者头部晃动的剧烈程度及身体受力情况。忽略误差干扰，设加速度矢 量和为R，在x，y，z三轴上的投影分别为R_x、R_y、R_z，它们的关系如下所示:

R²＝R_x ²+R_y ²+R_z ²

设矢量R与x，y，z轴之间的夹角分别为A_xR、A_yR、A_zR，利用三角函数可知 A_xR＝arccos(R_x/R)，A_yR＝arccos(R_y/R)，A_zR＝arccos(R_z/R)。使用角度均方根和角度标准 差可以量化头部角度变化大小。实验时，Y轴为竖直方向，所以Y轴的加速度值接近于重力 加速度g。

KC复杂度分析是一种基于粗粒化的方法，根据粗粒化的程度不同称为N值化过程。经 过粗粒化后，LZC具有较强的抗噪性，这些特点使得它常常被用于生物信号处理。本发明将 将KC复杂度应用于ACC信号分析，验证是否可以作为有效评估晕动症状的指标。KC复杂度的算法如下：

时间序列粗粒化，方法是先求序列均值遍历所有数据，如果令x_i＝1；如果令x_i＝0；然后将二值化的0，1序列组成新的数据序列。

扫描重构序列，得到子序列数目c(n)。KC的计算即找出序列X中所含的模式数，具体 方法是针对新的“0,1”数据序列构造五个字符串S、Q、SQ、SQV和结果串。首先令S为第一个字符，Q为串中的下一个字符，SQ是S和Q字符串的拼接，SQV是SQ字符串减去最后 一个字符得到的子串，结果串为空。然后开始查看Q是否为SQV的子串，如果是，则扩展 Q的长度，生成新的SQ和SQV，继续比对；如果不是则说明Q是新的模式，把Q字符串插 入到结果串尾部，插入后用一个“*”把前后分隔开，表示这是一个新模式。接着，将结果串的 最后一个“*”前面的所有字符串作为新的S，将原始串中未扫描的下一个字符作为新的Q，重 新构造SQ和SQV。重复以上过程直到扫描结束，最后不管Q是否是新模式都将插入结果串 完成原始串的扫描(注意最后插入Q后不再插入“*”)。完成扫描后模式数总和C(n)，即*的 个数加一。

归一化KC(0<C(n)<1)；lim c(n)＝b(n)＝n/ln(n)，所以b(n)是随机序列模式数的极 限，可利用它使c(n)归一化，称为相对复杂度：C(n)＝c(n)/b(n)，用这种函数表达时间序列 的复杂度，可以看出完全随机序列的复杂度趋近于1，周期信号的复杂度趋近于0，其余信号 的复杂度介于0，1之间。

理论上，在没有额外旋转运动的情况下三轴经过低通滤波器滤波后的原始信号的欧几里 得范数是等于1G。然而，因为旋转运动的出现低通滤波后的原始信号的欧几里得范数可能不 等于1G，因此这里我们将这个差别加入到HFEN指标中从而引入新的指标HFEN₊。对于上 面的三个指标，可能有负值输出，我们将负值全部当做0值处理。在做滤波处理时，之所以 选择0.2Hz，是基于这样一个假设：大部分人日常活动中的身体部位的运动频率是大于0.2Hz。 在近一步的数据分析中，我们对HFEN和HFENP分别计算了截止频率为0.2Hz和0.5Hz的值， 分别用HFEN2/HFENP2、HFEN5/HFENP5表示。

在对生理信号进行分析时，可能会伴有一些幅度较小、时长较短的新信号出现，然而在 时域采用统计学分析显然不能有效的发现这些信号，因此需要将数据转到频域空间进行分析。 通过计算小波分解后各频带信号序列能量信息熵值，对信号时频域能量分布进行定量描述分 析，主要用于非平稳信号。对于非常有序的信号小波熵趋近于零；对于一个越混乱的信号其 小波熵值越大。小波熵的具体算法如下：

对信号x(t)进行N层小波分解，得到N+1个子频带。

由于小波基函数是由一组正交基函数构成，具有能量守恒的性质，即：

因此定义单一尺度下小波能量为该尺度下小波系数的平方和。

信号x(t)的总能量即每个子频带能量和

定义相对小波能量为每个子空间信号能量与信号总能量之比，即

小波熵为

小波熵反应的是信号谱能量在不同尺度子空间中分布的有序或无序的一种度量。小波熵 增加，说明信号的混乱度增加，在ACC信号中表明该方向的平衡力减弱。

如图5所示，本发明将驾驶流程分为以下三个阶段：

1)基线阶段：受试者未驾驶汽车，睁眼站立3min，闭眼站立3min，这一阶段受试者没 有出现VIMS症状；

2)VIMS阶段：受试者在一条弯曲的道路上驾驶汽车，这会引发受试者产生VIMS，而且 随着驾驶时间的增加，受试者的晕动增强，本阶段实验的时间长度依据受试者个人的晕动状 态而定；

3)休息阶段：受试者停止驾驶进行休息，睁眼站立3min，闭眼站立3min，在这一阶段 受试者的晕动感得到减缓。

在整个驾驶流程中，受试者需要每分钟口头报告一次主观的视觉诱导晕动症级别(VIMS Level,VIMSL)，将VIMSL划分为五个级别：未晕动(0级)、轻微晕动(1级)、中度晕 动(2级)、严重晕动(3级)和过度晕动(4级)。

本次实验中计算8为受试者的8组实验数据在正常阶段和检测阶段5个相应的平衡性指 标。图6是八位受试者五种指标的均值折线图，从图中可以看出实验前状态(未晕动状态) 到实验后状态(晕动状态)的相应指标显著增大远超正常水平，AP方向角度标准差在睁眼状 态下成倍增大，BFEN/HFEN2/HFENP2也存在显著性增大，AP方向小波熵增大明显，对于这五种指标均可作为评估晕动症状的有力指标且变化效果显著。但为了更加合理的得到评估 结果，我们将五种指标进行加权求其总平衡性指标综合判断，从而可以提高晕动症评估的准 确度。

本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征 和/或步骤之外，均可以以任何方式组合。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员 来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显 而易见的，一切利用本发明构思的发明创造均在保护之列。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述， 均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系 列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征 或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (2)

1.一种裸眼3D显示视觉诱导晕动症检测方法，其特征在于，包括以下步骤：

S1：信号采集：使用便携式Muse设备(包含ACC传感器)采集人体不同状态下头部的ACC数据。

S2：信号预处理：对采集的原始ACC数据使用四阶巴特沃斯低通滤波器就行滤波处理，截止频率为采样频率的一半25Hz。

S3：计算平衡性指标：对预处理过后的ACC数据计算其下列平衡性指标：

AP方向角度标准差：计算方法如下公式所示，其中x_i是第i个AP方向角度值，是AP方向角度均值。R_AP、R_ML、R_V是ACC头部加速度三个方向的分量。

x_i＝arccos(R_AP/R)

BFEN(带通欧几里得范数)：对每个随机信号使用四阶巴特沃斯带通滤波器进行滤波(带通频率w₀＝0.2～15Hz)，滤波后求其欧几里得范数。

HFEN₂(高通欧几里得范数)：对每个随机信号使用四阶巴特沃斯高通滤波器进行滤波(截止频率w₀＝0.2Hz)，滤波后求其欧几里得范数。

HFENP₂(加强级高通欧几里得范数)：三轴随机信号经过4阶巴特沃斯低通滤波器进行滤波，截止频率为0.2Hz，之后求其欧几里得范数，加HFEN值，减1G。

AP方向小波熵：

S4：计算出五个指标后加权求和得到总指标total_index₀，其中相应的权重是通过实验前后相应指标差和晕动等级做斯皮尔曼等级相关分析确定。

S5：计算正常状态下的总指标total_index₀和检测阶段的总指标total_index₁，求其相对偏差Δ_index＝total_index₁/total_index₀，如果Δ_index大于预设阈值TH_index,则判定该测试者出现了晕动症状。

2.根据权利要求1所述的视觉诱导晕动症评估方法，其特征在于，所述步骤S5中的阈值TH_index的取值范围为1.2≤TH_index≤2。