CN106990835A - 一种运动训练评估方法及装置 - Google Patents

Abstract

本发明适用于虚拟现实、人机交互领域，提供了一种运动训练评估方法及装置，所述运动训练评估方法包括：脑‑机接口系统利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。本发明能方便地应用于融合视/触觉反馈的三维虚拟训练系统中，弥补了诸如问卷调查或行为测量等现有评估手段的不足，提高了触觉反馈评估的智能程度。

Description

一种运动训练评估方法及装置

技术领域

本发明属于虚拟现实、人机交互领域，尤其涉及一种运动训练评估方法及装置。

背景技术

现有的虚拟现实系统要求多模态的交互通道，其中，脑-机接口是一种很有发展潜力的交互通道。脑-机接口技术是一种不依赖大脑外围神经和肌肉输出通道的新型外部信息交换与控制技术。

目前，研究人员已经对融合视、听觉反馈的虚拟现实脑-机接口技术开展了一系列研究。除了视、听觉感知之外，触觉感知作为虚拟现实系统的重要组成部分，也越来越受到更多学者的关注。通过引入触觉反馈，将进一步提高基于虚拟现实的脑-机接口系统的可操作性。

针对现有的视、触觉反馈的评估方法，传统的问卷调查或行为测量等手段，虽然在以往研究中取得成功，但存在一定的局限性，主要是无法定量、准确地评估触觉反馈是如何影响受试者运动训练过程中的大脑活动。因此，目前有研究人员将测量并分析脑电信号作为一种定量评估触觉反馈的手段。

然而，目前研究大都基于2D(二维)虚拟运动训练场景，系统仅能提供平面信息。由于结合触觉反馈的交互系统大部分应用于3D(三维)虚拟场景中，比如虚拟训练系统、虚拟现实游戏等，在这些三维交互系统中深度信息必不可缺，仅在2D场景中对触觉反馈进行评估远远不够。

发明内容

本发明实施例的目的在于提供一种运动训练评估方法，旨在解决现有评估手段无法提供直观、定量的运动训练效果评价指标的问题。

本发明实施例是这样实现的，一种运动训练评估方法，包括：

脑-机接口系统利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

本发明实施例的另一目的在于提供一种运动训练评估装置，包括：

融合模块，用于利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

评估模块，用于通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

在本发明实施例中，创建了基于三维可视化和触觉反馈的脑-机接口系统，利用虚拟现实中的触觉仿真与交互反馈技术建立三维运动训练场景，为受试者提供更好的训练学习体验，通过检测和分析受试者进行运动训练时的脑电信号变化从而对交互系统中的触觉反馈进行定量化评估。解决了现有评估手段无法提供直观、定量的运动训练效果评价指标的问题，能方便地应用于融合视/触觉反馈的三维虚拟训练系统中，弥补了诸如问卷调查或行为测量等现有评估手段的不足，提高了触觉反馈评估的智能程度。

附图说明

图1是本发明实施例提供的运动训练评估方法的实现流程图；

图2是本发明实施例提供的运动训练评估方法步骤S102的实现流程图；

图3是本发明实施例提供的运动训练评估系统较佳的系统框架图；

图4是本发明实施例提供的融合视、触觉反馈的三维可视化场景较佳的样例图；

图5是本发明实施例提供动训练评估的实验结果图；

图6是本发明实施例提供的运动训练评估装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“倘若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“倘若确定”或“倘若读取到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

实施例一

图1是本发明实施例提供的运动训练评估方法的实现流程图，详述如下：

在步骤S101中，脑-机接口系统利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

在步骤S102中，通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

步骤S102，具体为：

通过检测受试者在所述三维运动训练场景中进行运动训练时的脑电信号；

利用CAR简单平均参考的方式，降低所述脑电信号的噪声；

采用五阶巴特沃斯滤波器，对降低噪声后的脑电信号进行滤波；

根据滤波后的脑电信号的变化，对交互系统中的视/触觉反馈进行定量化评估。

在本发明实施例中，创建了基于三维可视化和触觉反馈的脑-机接口系统，利用虚拟现实中的触觉仿真与交互反馈技术建立三维运动训练场景，为受试者提供更好的训练学习体验，通过检测和分析受试者运动训练时位于大脑感觉运动皮层区域脑电信号的变化，评估在三维虚拟运动训练场景中不同设置的视/触觉反馈对受试者训练效果的影响，完善了触觉反馈的评估手段，提高了触觉反馈评估的智能程度。

实施例二

本发明实施例描述了融合视/触觉反馈的三维虚拟运动训练场景的实现流程，详述如下：

设置白球对应触觉设备中触笔的当前位置，设置黑球对应移动控制的目标位置，设置灰球对应触笔移动过程中的跟踪点位置，以在三维虚拟运动训练场景中融合实时的视觉反馈；

监控所述触笔沿着管道的中心线在牵引力的作用下跟踪灰球的操作，若所述牵引力反馈所述触笔的当前位置偏离中心线并超出管道范围，则将产生引导力将白球拉回到中心线，同时管道的颜色发生改变，以在三维虚拟运动训练场景中融合实时的触觉反馈。

在本发明实施例中，建立了融合虚拟现实视/触觉反馈的运动训练评估框架，实现了具有牵引力和引导力触觉反馈仿真的三维可视化运动训练环境，同时搭建了基于三维可视化和触觉反馈的可用于运动训练评估的脑-机接口系统，能弥补诸如问卷调查或行为测量等现有评估手段不足。

实施例三

图2是本发明实施例提供的运动训练评估方法步骤S102的实现流程图，详述如下：

在步骤S201中，在三维虚拟运动训练场景中，采集受试者执行有触觉反馈和无触觉反馈的运动训练任务时产生的脑电信号数据；

采集受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据；

采集受试者执行无触觉反馈的运动训练任务时产生的脑电信号数据。

在步骤S202中，根据所述脑电信号数据，对交互系统中的视/触觉反馈进行定量化评估。

在本发明实施例中，根据所述脑电信号数据，评估在三维虚拟运动训练场景中设置不同的视/触觉反馈对所述受试者训练效果的影响。

实施例四

本发明实施例描述了运动训练评估方法步骤S202的实现流程，详述如下：

利用预建的脑电信号时频特征生成模型以及受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据，生成有触觉反馈的脑电信号时频特征；

利用预建的脑电信号时频特征生成模型以及受试者执行无触觉反馈的运动训练任务时产生的脑电信号数据，生成无触觉反馈的脑电信号时频特征。

有触觉反馈的脑电信号时频特征为：受试者在有触觉反馈的运动训练任务下位于大脑感觉运动感觉区域的脑电信号时频特征。

无触觉反馈的脑电信号时频特征为：受试者在无触觉反馈的运动训练任务下位于大脑感觉运动感觉区域的脑电信号时频特征。

在步骤S202之后，运动训练评估方法还包括：

统计所述有触觉反馈的脑电信号时频特征、所述无触觉反馈的脑电信号时频特征，并统计两者之间的差异。

评估在三维虚拟运动训练场景中设置不同的视/触觉反馈对所述受试者训练效果的影响。

实施例五

本发明实施例描述了运动训练评估方法中，建立脑电信号时频特征模型的实现流程，详述如下：

建立脑电信号时频特征模型，所述脑电信号时频特征模型，具体为：

其中，ERSP为脑电信号时频特征，F_k(f,t)表示在给定和时间t相对于事件前基线的单个运动训练任务k的频谱估计，n为运动训练任务k的执行次数。

实施例六

本发明实施例描述了运动训练评估方法较佳的实现流程，详述如下：

1)系统框架搭建

参考图3，图3是本发明实施例提供的运动训练评估系统较佳的系统框架图，详述如下：

系统框架主要包括两个部分：融合视/触觉反馈的三维虚拟运动训练环境、脑-机接口系统。

虚拟运动训练系统使用C#语言和OpenGL(Open Graphics Library,开放图形库)在具有Intel Xeon E5-1620 3.5GHz CPU，32GB RAM和NVIDIA Quadro K2200显卡的计算机上实现，其中触觉交互设备采用能够提供高保真力反馈输出的Geomagic Touch X，脑电采集系统使用具有32导Ag/AgCl电极的BioSemiActiveTwo。

2)实验过程

参考图4，图4是本发明实施例提供的融合视、触觉反馈的三维可视化场景较佳的样例图。

在整个实验过程中，融合视/触觉反馈的三维可视化场景设置如图2所示。每个受试者在3D(三维)虚拟训练环境中学习控制触觉设备的触笔的移动，上述运动训练过程同时提供实时的视觉反馈和触觉反馈。

在图4中，白球和黑球分别表示触觉装置触笔的当前位置和移动控制的起始位置，灰球(以恒定速度移动)表示触觉设备移动过程中的跟踪点位置。3D(三维)虚拟环境系统还为受试者提供了两种类型的力反馈模拟：牵引力和引导力。受试者控制触笔沿着管道的中心线在牵引力的作用下跟踪灰球，若所述牵引力反馈所述触笔的当前位置偏离中心线并超出管道范围，则仿真系统将产生引导力将白球拉回到中心线，同时管道的颜色发生改变。

整个实验采集5名受试者的脑电信号数据，每名受试者在融合视/触觉反馈的三维可视化场景中随机执行有触觉反馈和无触觉反馈的运动训练任务。

实验过程中，单个运动训练任务包括1秒的基线周期和6秒的运动训练周期，每名受试者各执行50次有触觉反馈和无触觉反馈的运动训练任务。

其中，运动训练周期和运动训练任务的次数，本领域的技术人员可以根据需要自行设定，在此不做限制。

3)实验数据分析

所有的脑电信号数据通过MATLAB软件和开源工具箱EEGLAB处理。每个实验数据提取跟踪任务开始前的1秒和跟踪任务开始后的6秒的连续脑电信号数据，首先利用CAR(Common Average Reference,简单平均参考)重参考方法降低脑电信号中的噪声，然后使用五阶巴特沃斯滤波器对数据进行滤波，滤波范围为8-25Hz。

进而，经预处理的脑电信号数据通过ERSP(event-related spectralperturbation，时间相关谱扰动)时间频率分析方法分析相关运动训练任务的功率谱的平均动态变化。

对于n个运动训练任务，F_k(f,t)表示在给定频率f和时间t相对于事件前基线的单个运动训练任务k的频谱估计。在研究中，我们使用STFT(短时傅里叶变换)方法计算F_k(f,t)，公式如下：

本发明的实验数据分析包括两部分：

a)分别对有、无触觉反馈运动训练任务下大脑运动感觉区域的脑电信号时频特征(ERSP)进行显著统计分析。

b)针对两类(有、无触觉反馈)运动训练任务的脑电信号时频特征之间的差异进行显著统计分析。

实施例七

参考图5，图5是本发明实施例提供动训练评估的实验结果图。

本发明提出并建立了融合虚拟现实视/触觉反馈的运动训练评估框架及系统，实现了通过检测受试者脑电信号对触觉反馈进行定量化评估。实验结果表明，在有无触觉反馈任务对比实验中，有触觉反馈时在左右感觉运动皮层区域的EEG信号会出现显著的β节律(20Hz附近)能量抑制，证明了触觉反馈可以影响大脑感觉运动区域中的脑电信号节律。具体的实验结果，如图5所示。

采用本发明得到的实验结果，在有触觉反馈haptic feedback和无触觉反馈non-haptic feedback两种情况下：

(a)代表感觉运动皮层区域左侧C3电极处的EEG信号的ERSP

(b)代表感觉运动皮层区域右侧C4电极处的EEG信号的ERSP。

其中，第三列的ERSP表示了有、无触觉反馈的EEG信号在β节律(20Hz附近)具有显著差异。

实施例八

图6是本发明实施例提供的运动训练评估装置的结构框图，该装置可以运行于用户设备中。用户设备包括但不限于虚拟现实设备、人机交互设备、移动电话、口袋计算机(Pocket Personal Computer，PPC)、掌上电脑、计算机、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、MP4、MP3。为便于说明，仅示出了与本实施例相关的部分。为了便于说明，仅示出了与本实施例相关的部分。

参照图6，该运动训练评估装置，包括：

融合模块61，用于利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

评估模块62，用于通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

作为本实施例的一种实现方式，在所述运动训练评估装置中，所述融合模块，包括：

视觉反馈融合单元，用于设置白球对应触觉设备中触笔的当前位置，设置黑球对应移动控制的目标位置，设置灰球对应触笔移动过程中的跟踪点位置，以在三维虚拟运动训练场景中融合实时的视觉反馈；

触觉反馈融合单元，用于监控所述触笔沿着管道的中心线在牵引力的作用下跟踪灰球的操作，若所述牵引力反馈所述触笔的当前位置偏离中心线并超出管道范围，则将产生引导力将白球拉回到中心线，同时管道的颜色发生改变，以在三维虚拟运动训练场景中融合实时的触觉反馈。

作为本实施例的一种实现方式，在所述运动训练评估装置中，所述评估模块，具体包括：

采集单元，用于在三维虚拟运动训练场景中，采集受试者执行有触觉反馈和无触觉反馈的运动训练任务时产生的脑电信号数据；

评估单元，用于根据所述脑电信号数据，对交互系统中的视/触觉反馈进行定量化评估。

作为本实施例的一种实现方式，在所述运动训练评估装置中，所述评估单元，具体包括：

触觉反馈评估单元，用于利用预建的脑电信号时频特征生成模型以及受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据，生成有触觉反馈的脑电信号时频特征；

无触觉反馈评估单元，用于利用预建的脑电信号时频特征生成模型以及受试者执行无触觉反馈的运动训练任务时产生的脑电信号数据，生成无触觉反馈的脑电信号时频特征。

作为本实施例的一种实现方式，在所述运动训练评估装置中，所述运动训练评估装置，还包括：

脑电信号时频特征模型建立模块，用于建立脑电信号时频特征模型，

所述脑电信号时频特征模型，具体为：

其中，ERSP为脑电信号时频特征，F_k(f,t)表示在给定和时间t相对于事件前基线的单个运动训练任务k的频谱估计，n为运动训练任务k的执行次数。

实施例九

本发明实施例提供了一种运动训练评估设备，包括：至少一个处理器，通信接口，存储介质和总线；

其中处理器、通信接口、存储介质通过总线完成相互间的通信；

所述通信接口，用于与外界设备通信；

所述存储介质，用于存放计算机执行指令；

所述至少一个处理器，用于执行存储介质存储的计算机执行指令，使得设备执行上述实施例一至实施例六提供的运动训练评估方法。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例装置和装置中的单元可以根据实际需要进行合并、划分和删减。

本发明实施例提供的装置可以应用在前述对应的方法实施例中，详情参见上述实施例的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种运动训练评估方法，其特征在于，包括：

脑-机接口系统利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

2.如权利要求1所述的运动训练评估方法，其特征在于，所述利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景，具体为：

设置白球对应触觉设备中触笔的当前位置，设置黑球对应移动控制的目标位置，设置灰球对应触笔移动过程中的跟踪点位置，以在三维虚拟运动训练场景中融合实时的视觉反馈；

监控所述触笔沿着管道的中心线在牵引力的作用下跟踪灰球的操作，若所述牵引力反馈所述触笔的当前位置偏离中心线并超出管道范围，则将产生引导力将白球拉回到中心线，同时管道的颜色发生改变，以在三维虚拟运动训练场景中融合实时的触觉反馈。

3.如权利要求1所述的运动训练评估方法，其特征在于，所述通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估，具体为：

在三维虚拟运动训练场景中，采集受试者执行有触觉反馈和无触觉反馈的运动训练任务时产生的脑电信号数据；

根据所述脑电信号数据，对交互系统中的视/触觉反馈进行定量化评估。

4.如权利要求3所述的运动训练评估方法，其特征在于，根据所述脑电信号数据，对交互系统中的视/触觉反馈进行定量化评估，具体为：

利用预建的脑电信号时频特征生成模型以及受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据，生成有触觉反馈的脑电信号时频特征；

利用预建的脑电信号时频特征生成模型以及受试者执行无触觉反馈的运动训练任务时产生的脑电信号数据，生成无触觉反馈的脑电信号时频特征。

5.如权利要求4所述的运动训练评估方法，其特征在于，在利用预建的脑电信号时频特征生成模型以及受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据，生成有触觉反馈的脑电信号时频特征之前，所述运动训练评估方法，还包括：

建立脑电信号时频特征模型，所述脑电信号时频特征模型，具体为：

$ERSP(f,t)=\frac{1}{n}{\mathrm{\Σ}}_{k=1}^n{\left|F_k(f,t)\right|}^2$

其中，ERSP为脑电信号时频特征，F_k(f,t)表示在给定和时间t相对于事件前基线的单个运动训练任务k的频谱估计，n为运动训练任务k的执行次数。

6.一种运动训练评估装置，其特征在于，包括：

融合模块，用于利用虚拟现实中的触觉仿真与交互反馈的方式，建立三维运动训练场景；

评估模块，用于通过检测和分析受试者在所述三维运动训练场景中进行运动训练时的脑电信号变化，从而对交互系统中的触觉反馈进行定量化评估。

7.如权利要求6所述的运动训练评估装置，其特征在于，所述融合模块，包括：

视觉反馈融合单元，用于设置白球对应触觉设备中触笔的当前位置，设置黑球对应移动控制的目标位置，设置灰球对应触笔移动过程中的跟踪点位置，以在三维虚拟运动训练场景中融合实时的视觉反馈；

触觉反馈融合单元，用于监控所述触笔沿着管道的中心线在牵引力的作用下跟踪灰球的操作，若所述牵引力反馈所述触笔的当前位置偏离中心线并超出管道范围，则将产生引导力将白球拉回到中心线，同时管道的颜色发生改变，以在三维虚拟运动训练场景中融合实时的触觉反馈。

8.如权利要求6所述的运动训练评估装置，其特征在于，所述评估模块，具体包括：

采集单元，用于在三维虚拟运动训练场景中，采集受试者执行有触觉反馈和无触觉反馈的运动训练任务时产生的脑电信号数据；

评估单元，用于根据所述脑电信号数据，对交互系统中的视/触觉反馈进行定量化评估。

9.如权利要求8所述的运动训练评估装置，其特征在于，所述评估单元，具体包括：

触觉反馈评估单元，用于利用预建的脑电信号时频特征生成模型以及受试者执行有触觉反馈的运动训练任务时产生的脑电信号数据，生成有触觉反馈的脑电信号时频特征；

无触觉反馈评估单元，用于利用预建的脑电信号时频特征生成模型以及受试者执行无触觉反馈的运动训练任务时产生的脑电信号数据，生成无触觉反馈的脑电信号时频特征。

10.如权利要求9所述的运动训练评估装置，其特征在于，所述运动训练评估装置，还包括：

脑电信号时频特征模型建立模块，用于建立脑电信号时频特征模型，

所述脑电信号时频特征模型，具体为：

$ERSP(f,t)=\frac{1}{n}{\mathrm{\Σ}}_{k=1}^n{\left|F_k(f,t)\right|}^2$

其中，ERSP为脑电信号时频特征，F_k(f,t)表示在给定和时间t相对于事件前基线的单个运动训练任务k的频谱估计，n为运动训练任务k的执行次数。