CN109901715B - 一种面向虚拟现实的交互系统及其方法 - Google Patents

Abstract

一种面向虚拟现实的交互系统，包括动作追踪模块、EOG信号采集模块和显示模块；在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式。

Description

一种面向虚拟现实的交互系统及其方法

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种面向虚拟现实的交系统及其方法。

背景技术

多媒体应用包括能够向用户传送多媒体体验的设备。这些设备包括例如电视机、多媒体播放器、平板电脑、计算机、移动电话、膝上型电脑、盘播放器等。具体地，大屏电视机变得非常普及。目前的大屏电视机(TV)通常由红外(IR)遥控器来控制。通过使用IR遥控器上的导航键来控制TV的图形用户界面(GUI)。

还可以通过第二屏幕(例如平板电脑)来控制GUI，其通过允许TV的用户(例如观看者)通过在平板电脑上输入用于在GUI中导航的指令来在GUI中导航。通常，在平板电脑的触摸屏上的所谓划动将被发送为用于在GUI中侧向移动的指令，即，类似于当用户按下遥控器上的方向键时的情况。使用平板电脑相较于IR遥控器控制GUI的一个优势在于，可以利用触摸屏特定的输入特征(通常是平板电脑所固有的，例如划动和两指命令)。此外，现有的TV可以配备有相机，该相机可以捕捉用户的手势。手势可以是用户挥手来控制GUI。此外，现有的TV可以配备有麦克风，该麦克风可以捕捉用户的语音命令。随后语音命令可以控制TV的GUI。

发明内容

本发明针对现有技术的不足，目的在于提供一种能够以同步方式进行信息确认和传输，能够确保信号采集和输出的效率和成功率最大化，因此，针对该发明提供了一种面向虚拟现实的交互系统及其方法；

如下为本发明具体技术方案；

其中，一种面向虚拟现实的交互系统如下所示：

一种面向虚拟现实的交互方法，具体技术方案如下：

一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、EOG信号采集模块和显示模块；

在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；

在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；

所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；

控制器通知EOG信号采集模块进行EOG信号提取；

所述EOG信号采集模块将提取的EOG信号传递到所述控制器，所述控制器根据所述EOG信号用于执行对应的图形用户界面组件命令。

其中，一种面向虚拟现实的交互方法如下所示：

一种面向虚拟现实的交互方法，其特征在于：

采用以下步骤，

步骤1：用户穿戴所述动作追踪模块，将所述动作追踪模块的数据端口与所述显示模块的数据端口相连；

步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标；

同时，在虚拟空间中对应设置一个原点坐标，建立初始坐标与虚拟空间中的原点坐标的关联；

步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；

步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；

步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个GUI组件闪烁时，EOG信号采集模块同步采集该GUI组件对应的信号段；

EOG检测模块检测采集该信号段中是否存在EOG信号，如果存在EOG信号，则进入步骤6，否则，回到步骤3；

步骤6：控制器根据该EOG信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；

步骤7：按照步骤3至步骤6重复执行。

进一步地：所述步骤5包括如下步骤：

步骤5-1：在显示模块上分布的N个GUI组件中，设置闪烁轮数为x，x>1；

步骤5-2：在每轮中，每个GUI组件以间隔时间T0随机闪烁一次；

针对的每一轮按照步骤S1至步骤S4执行；

步骤5-3：针对闪烁轮数x中均出现的候选GUI组件，作为目标GUI组件；

S1：在当前轮数中，设置有初始时间集合T1和EOG特征向量集合M1，每个GUI组件均闪烁完成后，记录该GUI组件闪烁开始时间为ti，将ti加入到集合T1；

同时，EOG信号采集模块同步地提取该GUI组件闪烁时，对应的EOG信号段si，该EOG信号段si的起止区间为[ti，ti+r]；

其中，1<i<N，ti为GUI组件闪烁的起止时间点，r为EOG信号段的持续时间；

S2：设置有过滤集合特征集L，对所述EOG特征向量集合M1中的每个EOG信号段si进行数字带通滤波后，得到对应的滤波信号特征向量li,将滤波信号特征向量li加入到过滤集合L；

S3：对过滤集合L中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：

F'(n)＝F(n)-F(n-1)

其中F(n)是滤波信号向量li中第n个采样点的值，F'(n)是滤波信号段li对应的差分值；

当F'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为S_max；

S4：对滤波信号向量li进行波形检测，确定候选GUI组件。

所述S4包括如下步骤：

S41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；

S42：利用幅度，持续时间tp和速度S_max来指示是否有闪烁波形，如下所示，将滤波信号向量li利用以下不等式进行检测：

其中S_max为幅度峰值，S_on为幅度阈值，t_min为持续时间最小的阈值，t_max为持续时间最大的阈值，t_p为持续时间；

S43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入S44，否则，进入S45；

S44：表示滤波信号向量li对应的GUI组件i的波形检测已经通过，将该GUI组件i设置为候选值；

S45：滤波信号向量li对应的GUI组件i设置为不识别候选值；

S46：当该轮有a个候选按钮时，a>1，通过比较以下等式：

e＝|t_p-T_p|

其中e是评估值，T_p表示平均延迟，tp持续时间，a>1；

从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。

本发明的有益效果为：本发明可以为VR/AR等新一代显示技术提供新的非手动交互方法，通过头瞄实现类似鼠标的移动方式，EOG实现类似鼠标点击的确定方式，执行效率高，优于现有单一的手柄、头瞄和手势等交互方式。

附图说明

图1为本发明的工作流程图；

图2为差分EOG波形图；

图3为头瞄设备与感应组件的作用示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

一种面向虚拟现实的交互系统，包括动作追踪模块、EOG信号采集模块和显示模块；

在显示模块上分别有图形用户界面组件，图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；

在动作追踪模块上设置有触发装置，在显示模块上设置有与触发装置对应的感应组件；

触发装置发出激活信号，当感应组件感应到激活信号，图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；

控制器通知EOG信号采集模块进行EOG信号提取；

EOG信号采集模块将提取的EOG信号传递到控制器，控制器根据EOG信号用于执行对应的图形用户界面组件命令。

其中，一种面向虚拟现实的交互方法实施例如下所示：

一种面向虚拟现实的交互方法，采用以下步骤，

步骤1：用户穿戴动作追踪模块，该动作追踪模块为头瞄设备，具体如图2所示，将动作追踪模块的数据端口与显示模块的数据端口相连；

该动作追踪模块采用带有三维坐标定位追踪的感应枪用作解释说明，具体为，该追踪模块采用陀螺仪方式定位，X轴，Y轴，Z轴参数由陀螺仪硬件芯片提供实时参数，采用陀螺仪定位，得到X轴，Y轴，Z轴参数为现有常规技术，可参考各种现有文献查阅；

步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标，此处追踪模块在开始工作时，使用者当前位置确定为初始坐标；

同时，在虚拟空间中对应设置一个原点坐标，该位置可选择显示模块的中央位置为原点坐标，接着，建立初始坐标与虚拟空间中的原点坐标的关联；

具体为，此处的触发装置为图2中的头瞄设备上发出一条指示线，指示准心可在视线内自由移动，在红色圆圈处。

步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；

具体为，此处感应组件可采用图2中具有数字编号的目标组件，当移动头瞄设备时，针对头瞄设备在现实三维空间的坐标值，在虚拟空间中对应生成相对原点坐标的坐标位置；

判断头瞄设备的准心是否对准目标组件方式为，当头瞄设备的准心在显示模块上移动时，从头瞄设备的枪口三维坐标到准心的三维坐标，生成一条虚拟实线，看其延长线和待瞄准目标组件的三维坐标之间是否有重合点，即判断及待瞄准目标组件是否在延长线上。

如果在延长线上，则判断为选中目标组件，否则，判定为未选中；

步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；

步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个GUI组件闪烁时，EOG信号采集模块同步采集该GUI组件对应的信号段；

EOG检测模块检测采集该信号段中是否存在EOG信号，如果存在EOG信号，则进入步骤6，否则，回到步骤3；

步骤6：控制器根据该EOG信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；

步骤7：按照步骤3至步骤6重复执行。

其中步骤5具体采用如下步骤：

步骤5-1：在显示模块上分布的N个GUI组件中，设置闪烁轮数为x，x>1；

步骤5-2：在每轮中，每个GUI组件以间隔时间T0随机闪烁一次；

针对的每一轮按照步骤S1至步骤S4执行；

步骤5-3：针对闪烁轮数x中均出现的候选GUI组件，作为目标GUI组件；

S1：在当前轮数中，设置有初始时间集合T1和EOG特征向量集合M1，每个GUI组件均闪烁完成后，记录该GUI组件闪烁开始时间为ti，将ti加入到集合T1；

同时，EOG信号采集模块同步地提取该GUI组件闪烁时，对应的EOG信号段si，该EOG信号段si的起止区间为[ti，ti+r]；

其中，1<i<N，ti为GUI组件闪烁的起止时间点，r为EOG信号段的持续时间；

S2：设置有过滤集合特征集L，对EOG特征向量集合M1中的每个EOG信号段si进行数字带通滤波后，具体为，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，得到对应的滤波信号特征向量li，将滤波信号特征向量li加入到过滤集合L；

S3：对过滤集合L中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：

F'(n)＝F(n)-F(n-1)

其中F(n)是滤波信号向量li中第n个采样点的值，F'(n)是滤波信号段li对应的差分值；

当F'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为S_max；

S4：对滤波信号向量li进行波形检测，确定候选GUI组件。

其中，S4包括如下步骤：

S41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；

S42：如图1所示，利用幅度，持续时间tp和速度S_max来指示是否有闪烁波形，该幅度定义为待检测信号的峰值，如下所示，将滤波信号向量li利用以下不等式进行检测：

其中S_max为幅度峰值，S_on为幅度阈值，t_min为持续时间最小的阈值，t_max为持续时间最大的阈值，t_p为持续时间；

S43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入S44，否则，进入S45；

S44：表示滤波信号向量li对应的GUI组件i的波形检测已经通过，将该GUI组件i设置为候选值；

S45：滤波信号向量li对应的GUI组件i设置为不识别候选值；

S46：当该轮有a个候选按钮时，a>1，通过比较以下等式：

e＝|t_p-T_p|

其中e是评估值，T_p表示平均延迟，tp持续时间，a>1；

从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。

在步骤1中，还包括对EOG信号的校准，具体采用如下方式：

用户在使用该交互系统之前，需要进行EOG校准过程，即设置EOG信号检测的差分信号峰值，即幅度峰值S_max和持续时间t_p的阈值的过程。

在交互系统开始运行时，预设了初始阈值，其值大小根据所有EOG信号采集数据样本求均值得到。

然后，针对具体的被试者，进行阈值修正。

在该实施例中，具体为，在测试开始时，提供单个按钮TRAIN在屏幕中央，以1200ms的时间间隔闪烁10次。

按照步骤5中的方式进行对采集到的EOG信号进行处理，记录的EOG被过滤，并且将每次闪烁信息进行保存。

从这10次眨眼信息中提取包括幅度S_max，持续时间t_p的波形特征。

如果用户错过了一次眨眼纠正，则相应的闪烁信息不保存，且该特征在其余的子段中被平均化。将得到的幅度S_max和持续时间t_p的平均值作为幅度阈值S_on和平均延迟T_p，按照上述方式，完成眨眼纠正。

Claims (2)

1.一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、EOG信号采集模块和显示模块；

在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；

在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；

所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入EOG控制模式；

控制器通知EOG信号采集模块进行EOG信号提取；

所述EOG信号采集模块将提取的EOG信号传递到所述控制器，所述控制器根据所述EOG信号用于执行对应的图形用户界面组件命令。

2.一种面向虚拟现实的交互方法，其特征在于：

采用以下步骤，

步骤1：用户穿戴动作追踪模块，将所述动作追踪模块的数据端口与显示模块的数据端口相连；

步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标；

同时，在虚拟空间中对应设置一个原点坐标，建立初始坐标与虚拟空间中的原点坐标的关联；

步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；

步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；

步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个GUI组件闪烁时，EOG信号采集模块同步采集该GUI组件对应的信号段；

EOG检测模块检测采集该信号段中是否存在EOG信号，如果存在EOG信号，则进入步骤6，否则，回到步骤3；

步骤6：控制器根据该EOG信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；

步骤7：按照步骤3至步骤6重复执行；

步骤5-1：在显示模块上分布的N个GUI组件中，设置闪烁轮数为x，x>1；

步骤5-2：在每轮中，每个GUI组件以间隔时间T0随机闪烁一次；

针对的每一轮按照步骤S1至步骤S4执行；

步骤5-3：针对闪烁轮数x中均出现的候选GUI组件，作为目标GUI组件；

S1：在当前轮数中，设置有初始时间集合T1和EOG特征向量集合M1，每个GUI组件均闪烁完成后，记录该GUI组件闪烁开始时间为ti，将ti加入到集合T1；

同时，EOG信号采集模块同步地提取该GUI组件闪烁时，对应的EOG信号段si，该EOG信号段si的起止区间为[ti，ti+r]；

其中，1<i<N，ti为GUI组件闪烁的起止时间点，r为EOG信号段的持续时间；

S2：设置有过滤集合特征集L，对所述EOG特征向量集合M1中的每个EOG信号段si进行数字带通滤波后，得到对应的滤波信号特征向量li,将滤波信号特征向量li加入到过滤集合L；

S3：对过滤集合L中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：

F'(n)＝F(n)-F(n-1)

其中F(n)是滤波信号向量li中第n个采样点的值，F'(n)是滤波信号段li对应的差分值；

当F'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为S_max；

S4：对滤波信号向量li进行波形检测，确定候选GUI组件；

S41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；

S42：利用幅度，持续时间tp和速度S_max来指示是否有闪烁波形，如下所示，将滤波信号向量li利用以下不等式进行检测：

其中S_max为幅度峰值，S_on为幅度阈值，t_min为持续时间最小的阈值，t_max为持续时间最大的阈值，t_p为持续时间；

S43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入S44，否则，进入S45；

S44：表示滤波信号向量li对应的GUI组件i的波形检测已经通过，将该GUI组件i设置为候选值；

S45：滤波信号向量li对应的GUI组件i设置为不识别候选值；

S46：当该轮有a个候选按钮时，a>1，通过比较以下等式：

e＝|t_p-T_p|

其中e是评估值，T_p表示平均延迟，tp持续时间，a>1；

从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。

Images