CN115644824A - 基于虚拟现实的多模态多参数神经反馈训练系统和方法 - Google Patents

基于虚拟现实的多模态多参数神经反馈训练系统和方法 Download PDF

Info

Publication number
CN115644824A
CN115644824A CN202211670423.5A CN202211670423A CN115644824A CN 115644824 A CN115644824 A CN 115644824A CN 202211670423 A CN202211670423 A CN 202211670423A CN 115644824 A CN115644824 A CN 115644824A
Authority
CN
China
Prior art keywords
parameter
scene
training
theta
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211670423.5A
Other languages
English (en)
Other versions
CN115644824B (zh
Inventor
夏美云
李德玉
田一竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211670423.5A priority Critical patent/CN115644824B/zh
Publication of CN115644824A publication Critical patent/CN115644824A/zh
Application granted granted Critical
Publication of CN115644824B publication Critical patent/CN115644824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供了基于虚拟现实的多模态多参数神经反馈训练系统和方法。该系统包括通信连接的数据采集装置、训练装置、数据转换单元和VR装置。训练装置利用处理器，得到第一控制参数、第二控制参数、第三控制参数和第四控制参数。数据转换单元将第一控制参数转换为VR场景的树干高度参数，将第二控制参数转换为VR场景的树干宽度参数，将第三控制参数转换为VR场景的树枝数量参数，将第四控制参数转换为VR场景的树叶数量参数，VR装置响应于树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，呈现虚拟的树。如此，通过虚拟的树的各个参数的变化情况，能够准确、有效的反映儿童多动症的治疗效果。

Description

基于虚拟现实的多模态多参数神经反馈训练系统和方法
技术领域
本申请涉及医疗技术领域，具体涉及基于虚拟现实的多模态多参数神经反馈训练系统和方法。
背景技术
神经反馈通过实时检测和提取个体的大脑活动信号，并有选择地将信号以视觉或听觉等形式直观地反馈给个体，让个体学习自主调控大脑活动而改变认知与行为。神经反馈训练技术，是一种安全的、非侵入式的健脑方法，已被广泛用于儿童多动症（ADHD）的干预。其优点是不用吃药、不用手术，直接针对脑神经进行“治本”式的调节和训练。
目前神经反馈领域采用的单模态的脑馈或核电反磁反馈，因其抗运动干扰和电磁干扰能力差，在更自然的真实临床环境应用受到一定限制。其次，反馈形式以二维图像反馈为主，感官刺激较弱，易分散注意力，缺乏互动性、趣味性，患者的沉浸感较差，从而导致反馈治疗效果有限，最后，反馈参数单一，干扰因素多，不能全面的揭示其背后机制。
发明内容
针对现有技术中存在的上述技术问题，提出了本申请。本申请旨在提供基于虚拟现实的多模态多参数神经反馈训练系统和方法，其能够提高受试者的注意力和沉浸感，能够多角度多维度的揭示反馈训练改善脑功能机制，提高对儿童多动症的治疗效果。
根据本申请的第一方案，提供一种基于虚拟现实的多模态多参数神经反馈训练系统，所述多模态多参数神经反馈训练系统用于改善儿童多动症，包括通信连接的以下各个单元：数据采集装置，包括近红外数据采集装置和脑电数据采集装置，被配置为：通过所述近红外数据采集装置和所述脑电数据采集装置分别采集受试者处于静息态阶段的第一近红外数据、第一脑电数据以及受试者处于训练阶段的第二近红外数据、第二脑电数据；训练装置，包括：通信接口，其配置为与所述数据采集装置可通信连接，以获取所述第一近红外数据、所述第一脑电数据、所述第二近红外数据和所述第二脑电数据；以及处理器，其配置为：基于所述第一近红外数据和第二近红外数据，得到额叶或顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值；基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值；基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数；基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数；基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数；基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数；数据转换单元，被配置为：将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数，并将所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数反馈到VR装置；VR装置，被配置为：响应于所述数据转换单元中树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，呈现虚拟的树。
根据本申请的第二方案，提供一种基于虚拟现实的多模态多参数神经反馈训练方法，包括：在受试者处于VR场景中的情况下，获取所述受试者处于静息阶段时的第一近红外数据和第一脑电数据；以及受试者处于训练阶段时的第二近红外数据和第二脑电数据；基于所述第一近红外数据和第二近红外数据，得到额叶或顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值；基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值；基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数；基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数；基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数；基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数；将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数；基于所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，在所述受试者所处的所述VR场景中呈现虚拟的树。
根据本申请的第三方案，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行本申请各个实施例所述的多模态多参数神经反馈训练方法。
与现有技术相比，本申请实施例的有益效果在于：
本申请提供的实施例中，将虚拟现实技术（VR技术）与近红外神经反馈技术、脑电神经反馈技术相结合，得到可在真实交互场景中实时评估、实时监测、治疗反馈和综合评估的多模态多参数神经反馈训练系统。该系统将第一控制参数转换为VR场景的树干高度参数，将第二控制参数转换为VR场景的树干宽度参数，将第三控制参数转换为VR场景的树枝数量参数，将第四控制参数转换为VR场景的树叶数量参数，并将所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数反馈到VR装置中，VR装置响应于树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，呈现虚拟的树，通过获取训练之后，虚拟的树的各个参数的变化情况，即可知晓对受试者的治疗效果，从而有利于通过多模态多参数的实时反馈训练达到康复训练的目的。本申请提供多种反馈模式和多生理参数，从多角度多维度提供适用于用户实际情况的训练方案，趣味性强，实用性强，训练效果更好，同时，本申请对揭示反馈训练改善脑功能机制具有重要的学术研究价值。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述说明和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
图1（a）示出根据本申请实施例所述的多模态多参数神经反馈训练系统的结构示意图。
图1（b）示出根据本申请实施例所述的多模态多参数神经反馈训练系统中呈现虚拟的树的示意图。
图2示出根据本申请实施例所述的多模态多参数神经反馈训练系统的又一结构示意图。
图3示出根据本申请实施例所述的多模态多参数神经反馈训练方法的流程图。
具体实施方式
为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。
本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。本申请中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。在本申请中，各个步骤在图中所示的箭头仅仅作为执行顺序的示例，而不是限制，本申请的技术方案并不限于实施例中描述的执行顺序，执行顺序中的各个步骤可以合并执行，可以分解执行，可以调换顺序，只要不影响执行内容的逻辑关系即可。
本申请使用的所有术语（包括技术术语或者科学术语）与本申请所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
图1（a）示出根据本申请实施例所述的多模态多参数神经反馈训练系统的结构示意图。其中，所述多模态多参数神经反馈训练系统100用于改善儿童多动症，包括通信连接的以下各个单元：数据采集装置101、训练装置102、数据转换单元103和VR装置104。其中，所述数据采集装置101包括近红外数据采集装置1011和脑电数据采集装置1012，被配置为通过所述近红外数据采集装置1011和所述脑电数据采集装置1012分别采集受试者处于静息态阶段的第一近红外数据、第一脑电数据以及受试者处于训练阶段的第二近红外数据、第二脑电数据。针对儿童多动症的康复训练过程，反馈指的是利用特定大脑皮层区域活动相关信息对受试者后续的神经活动和训练行为进行调节。通过近红外设备测量大脑血流动力学活动可以有效地作为反馈训练康复训练过程的信号。其中，所述近红外数据采集装置1011可无损检测大脑皮层的血氧信号，研究大脑特定功能区域的生理活动信号。比如，可以在受试者的额叶和顶叶合理布置近红外光谱发射探头及光接收探头，从而采集受试者大脑皮层的脑血样信息。头皮脑电图（EEG）记录头皮上电压的变化，反映的是大脑大量锥体细胞兴奋时突触后电位的权重和。基于脑电数据采集装置1012采集受试者处于静息态阶段和训练阶段的脑电数据，其中，脑电数据采集装置1012可以包括若干头皮电极，并将头皮电极放置在额叶和顶叶，提取与儿童多动症的治疗相关性最大的脑电信号。
具体地，比如受试者处于虚拟现实场景中，能够看到一棵虚拟的树。在受试者没有进行自我学习、训练，尽量放松、不进行思考和运动，即保持静态的情况下，采集静息态阶段的第一近红外数据、第一脑电数据。当持续一段时间的静息态后，受试者进入自我学习、训练阶段，比如，受试者经过自我训练使得虚拟的树长高、树枝数量增多。在训练阶段，即可采集第二近红外数据和第二脑电数据。
进一步地，所述训练装置102包括通信接口1021和处理器1022。其中，所述通信接口1021被配置为与所述数据采集装置101可通信连接，以获取所述第一近红外数据、所述第一脑电数据、所述第二近红外数据和所述第二脑电数据。其中，所述通信接口1021包括USB、RS232、GPIB等。数据采集装置101获取近红外数据和脑电数据，经过通信接口1021将近红外数据和脑电数据传输到训练装置102。所述训练装置102包括处理器1022，利用处理器1022执行对近红外数据和脑电数据的分析、计算，所述处理器1022可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等。更具体地，该处理器1022可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器1022还可以是一个以上专用处理设备，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、片上系统（SoC）等。所述处理器1022可以包含在多模态多参数神经反馈训练系统100内，也可以设置在多模态多参数神经反馈训练系统100之外，而与所述多模态多参数神经反馈训练系统100配合执行相关数据分析和处理。
所述处理器1022被配置为基于所述第一近红外数据和第二近红外数据，得到额叶和顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值。受试者执行训练任务阶段时，大脑皮层组织中消耗氧和能量，脑部供血系统的过补偿机制会向局部大量输入含有丰富氧合血红蛋白的血液，导致血氧浓度增加。使用近红外数据采集装置1011分别获取处于训练阶段、静息阶段的额叶、顶叶位置的第二平均血氧浓度值、第一平均血氧浓度值，第二平均血氧浓度值、第一平均血氧浓度值反映出的血液动力学活动与康复训练任务相关程度较高，在执行康复训练任务时对应的额叶和顶叶被激活，具有较好的血氧响应效果。功能连接强度指的是两个不同脑区的活动，比如额叶和顶叶，在执行康复训练任务时，如果额叶和顶叶的血氧浓度一起增强，说明这两个脑区在协同处理该康复训练任务，额叶和顶叶这两个脑区具有较高的功能连接强度。
所述处理器1022进一步配置为基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值。脑电节律是中枢神经系统中存在的一种节律性，或者是重复性神经元活动。脑电节律一般被分成以下的频段：delta（0.5-4Hz）频段、theta（4-8Hz）频段、alpha（8-13Hz）频段、beta（12-30Hz）频段和gmma（30-80Hz）频段。其中，theta波在儿童和成年人的脑电波中最为常见，往往出现在冥想、昏昏欲睡、催眠和睡眠状态，特定的心理任务可以诱发theta频段，如加法运算任务。alpha波表现最明显的脑区是顶叶，beta波出现时，人们往往处于注意力集中，逻辑思维活跃，警觉或焦虑的状态。感觉运动皮层的beta节律可以体现自发的EEG活动（睁眼/闭眼），会被不同的运动任务所调控。额叶的 beta节律往往与刺激评价和决策等认知活动相关，可以被相关的认知任务所调控。theta频段、alpha频段、beta频段能够明显反映出在对受试者进行训练时的电生理状况。
所述处理器1022被进一步配置为基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数；基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数；基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数；基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数。
其中，脑区激活水平、功能连接强度以及alpha/theta节律、theta/beta节律在VR场景的控制反馈可以理解为受试者在进行自我学习、训练的过程中，额叶和顶叶的脑区激活水平、功能连接强度以及alpha/theta节律、theta/beta节律会伴随受试者的自我学习、训练发生不同程度的变化。这些变化会反馈到VR装置104中，并控制虚拟现实场景中虚拟的树的变化。对于在获取第一控制参数、第二控制参数、第三控制参数和第四控制参数的过程中的权重，可以由医生或者其他操作者进行设定。
所述数据转换单元103被配置为将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数，并将所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数反馈到VR装置104。所述VR装置104被配置为响应于所述数据转换单元103中树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，呈现虚拟的树。具体地，如图1（b）所示，VR装置104用于提供VR场景，在VR场景中呈现虚拟地树。受试者在训练的过程中，会通过自我学习和训练使得树的树干高度、树干宽度、树叶数量和树枝数量发生变化。基于训练过程中采集到的近红外数据和脑电数据，分析计算得到第一控制参数、第二控制参数、第三控制参数和第四控制参数，并将其分别转换为虚拟的树的树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数。此时，如果受试者经过自我训练使得第一控制参数增加，则对应于VR场景中的树干高度参数增加，即反馈到VR场景中的结果是树干高度的增加。同理，在第二控制参数增加的情况下，相应的VR场景中的树干宽度参数增加，即反馈到VR场景中的结果时树干宽度的增加。受试者通过观察VR场景中的树进行自我学习和训练，提高了受试者的注意力和沉浸感，有利于通过该训练系统的训练改善儿童多动症。
在本申请的一些实施例中，所述处理器1022进一步配置为根据如下公式（1）得到所述第一控制参数A m ：
Figure 774735DEST_PATH_IMAGE001
公式（1）。
其中，
Figure 72992DEST_PATH_IMAGE002
：第一平均血氧浓度值；
Figure 880018DEST_PATH_IMAGE003
：第二平均血氧浓度值；n=2，i=1时表示额叶， i=2时表示顶叶，a i 是第i个脑区激活水平在VR场景的控制反馈分数中所占的权重，m表示对 所述受试者进行m个试次的训练。
根据如下公式（2）得到第二控制参数S m ：
Figure 984240DEST_PATH_IMAGE004
公式（2）。
其中，Z m 是第m个试次的额叶和顶叶的第二功能连接强度z值；
Figure 343677DEST_PATH_IMAGE005
：第一功能连接 强度。
可以根据如下公式（3）得到第三控制参数C m ：
Figure 62104DEST_PATH_IMAGE006
公式（3）。
其中，
Figure 139781DEST_PATH_IMAGE007
：第h个通道处于静息阶段的alpha/theta节律值；
Figure 1689DEST_PATH_IMAGE008
：第h个通道 处于训练阶段的alpha/theta节律值；h是第h个通道，t h 为第h个通道alpha/theta节律在VR 场景的控制参数反馈中所占的权重，n′个通道权重和为1。
可以根据如下公式（4）得到脑电theta/beta节律对应VR场景的第四控制参数D m ：
Figure 481212DEST_PATH_IMAGE009
公式（4）。
其中，
Figure 183589DEST_PATH_IMAGE010
：第h个通道处于静息阶段的theta/beta节律值；
Figure 201092DEST_PATH_IMAGE011
：第h个通道 处于训练阶段的theta/beta节律值；h是第h个通道，p h 为第h个通道theta/beta节律在VR场 景的控制参数反馈中所占的权重，n′个通道权重和为1。在公式（1）-（4）中，使用n表示一共n 个脑区，使用n′表示一共n′个通道，与n个脑区相区别。
所述处理器1022可以进一步配置为根据公式（5）和公式（6）计算得到所述第二功能连接强度z值：
Figure 647117DEST_PATH_IMAGE012
公式（5）。
其中，i表示第i个脑区，j表示第j个脑区，k是采样点数，x i （k）是第i个脑区第k个 采样点的血氧浓度值，x j （k）是第j个脑区第k个采样点的血氧浓度值，
Figure 981146DEST_PATH_IMAGE013
，
Figure 539910DEST_PATH_IMAGE014
分别为训练阶 段i脑区和j脑区的第二平均血氧浓度值，r ij 为所述脑区i和脑区j所包括的成对脑区的血氧 数据之间的相关系数。
将r ij 进行fisher变换得到第二功能连接强度z：
Figure 857759DEST_PATH_IMAGE015
公式（6）。
在本申请的一些实施例中，所述处理器1022进一步配置为对近红外数据采集装置1011和VR装置104进行第一同步数据标记，以及，对脑电数据采集装置1012和VR装置104进行第二同步数据标记，以使得所述近红外数据采集装置1011和所述脑电数据采集装置1012同步采集所述受试者的近红外数据和脑电数据，且所述VR装置104基于采集到的近红外数据和脑电数据，同步呈现虚拟的树。具体地，如图2所示，在受试者执行一轮训练的过程中，近红外数据采集装置1011和脑电数据采集装置1012需要各自采集近红外数据和脑电数据。在采集的过程中，针对每一个试次的训练，分别对近红外数据采集装置1011和VR装置104进行第一同步数据标记，对脑电数据采集装置1012和VR装置104进行第二同步数据标记。近红外数据采集装置1011将采集到的近红外数据被传输到第一数据分析单元105，脑电数据采集装置1012将采集到的脑电数据传输到第二数据分析单元106，第一数据分析单元105主要实现对近红外数据的去噪、带通滤波、浓度计算等数据处理，第二数据分析单元106主要是实现对脑电数据去噪、带通滤波、数据分段、剔除坏段、独立成分分析等数据处理，并将处理结果传输到特征计算单元107，特征计算单元107根据公式（1）-（6）进行特征值计算以得到第一控制参数、第二控制参数、第三控制参数和第四控制参数。特征计算单元107将计算结果传输到数据转换单元103中，数据转换单元103将第一控制参数、第二控制参数、第三控制参数和第四控制参数分别转换为虚拟的树的树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，并将转换后的结果反馈到VR装置104中。VR装置104响应于数据转换单元103的反馈结果，呈现虚拟的树，处于VR场景中的受试者以及其他人员能够观察到虚拟的树的变化，并引导用户进行功能性交互训练。
在对近红外数据和脑电数据进行分析和处理的过程中，需要消耗一定的时间，通过对近红外数据采集装置1011和VR装置104进行第一同步数据标记，对脑电数据采集装置1012和VR装置104进行第二同步数据标记，使得近红外数据采集装置1011和所述脑电数据采集装置1012同步采集所述受试者的近红外数据和脑电数据，有利于实现将每一个试次的训练结果同步反馈到VR装置104，以使得虚拟的树的树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数同步发生变化，进而保证经过每一轮训练后，通过观察虚拟的树的变化来判断对儿童多动症的治疗效果的准确性。
在本申请的一些实施例中，所述处理器1022进一步配置对所述第一近红外数据、第一脑电数据以及第二近红外数据、第二脑电数据进行预处理，实现数据提取重建、去除异常信号、去除运动伪影，并进行基线校正，以去除信号中的噪声成分。
在本申请的一些实施例中，所述处理器1022进一步配置为使得受试者执行的每一轮训练包括m个试次的训练。比如，受试者执行一轮训练包括30个试次的训练。并且，使得在对所述受试者进行训练的过程中，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数伴随所述受试者执行的每一个试次的训练发生变化。受试者在执行每一个试次的训练的过程中，都会改变大脑额叶和顶叶的近红外数据和脑电数据，进而改变基于所述近红外数据和脑电数据计算得到的第一控制参数、第二控制参数、第三控制参数和第四控制参数，从而使得每一试次的训练结束后，反馈到VR场景中的虚拟的树发生变化。在每一轮训练结束后，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数中的任一个参数增加的情况下，确定所述受试者的儿童多动症的治疗效果得到改善。比如，受试者执行了30个试次的训练，即完成了一轮训练，此时，观察VR场景中虚拟的树的树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数的变化情况。如果树的树干高度增加了，则认为对于多动症的治疗得到改善，如果树干高度增加、树干宽度增加、树枝数量和树叶数量也增加，则认为对多动症的治疗得到极大地改善。优选的，在所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数中的各个参数均增加的情况下，确定所述受试者的儿童多动症的治疗效果得到改善。
图3示出根据本申请实施例所述的多模态多参数神经反馈训练方法的流程图。所述多模态多参数神经反馈训练方法用于对受试者进行训练，受试者和医生或者其他用户可以同时处于VR场景中。在步骤S301中，在受试者处于VR场景中的情况下，获取所述受试者处于静息阶段时的第一近红外数据和第一脑电数据；以及受试者处于训练阶段时的第二近红外数据和第二脑电数据。具体地，在训练任务开始前提示受试者阅读训练中持续关注的建议，比如关注虚拟环境中树的树干高度、树干宽度、树枝数量和树叶数量等。受试者处于VR虚拟环境中，使用近红外数据采集装置1011和脑电数据采集装置1012分别同步采集受试者额叶和顶叶血氧数据和脑电信号，并分别传输到第一数据分析单元105和第二数据分析单元106进行数据处理和分析，并进行特征提取，作为VR装置104的控制参数。
受试者处于静息态阶段，VR虚拟环境中出现基于基线阶段的树，受试者被指示“尽 量放松，不要思考，不要运动”，该静息态阶段可以持续20秒。将静息态阶段的近红外脑区激 活、脑区功能连接和脑电节律参数分别设置为基线
Figure 779579DEST_PATH_IMAGE016
和
Figure 482961DEST_PATH_IMAGE017
。进入训 练阶段时，受试者被要求集中注意力关注植物图片，此阶段持续30秒，根据从受试者大脑提 取的近红外信号和脑电信号的特征数据，树的状态发生改变。
在步骤S302中，基于所述第一近红外数据和第二近红外数据，得到额叶或顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值。在步骤S303中，基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值。在步骤S304中，基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数。在步骤S305中，基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数。在步骤S306中，基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数。在步骤S307中，基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数。在步骤S308中，将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数。在步骤S309中，基于所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，在所述受试者所处的所述VR场景中呈现虚拟的树。在此过程中，受试者根据当前树的状态进行自我调整，重复训练。该方法从多角度多维度提供适用于受试者实际情况的训练方案，趣味性强，实用性强，训练效果更好。同时，对揭示反馈训练改善脑功能机制具有重要的学术研究价值。
在一些实施例中，根据如下公式（1）得到所述第一控制参数A m ：
Figure 527141DEST_PATH_IMAGE018
公式（1）。
其中，
Figure 66706DEST_PATH_IMAGE019
：第一平均血氧浓度值；
Figure 542949DEST_PATH_IMAGE003
：第二平均血氧浓度值；n=2，i=1时表示额叶， i=2时表示顶叶，
Figure 117150DEST_PATH_IMAGE020
是第i个脑区激活水平在VR场景的控制反馈分数中所占的权重，m表示对 所述受试者进行m个试次的训练。
根据如下公式（2）得到第二控制参数S m ：
Figure 66652DEST_PATH_IMAGE004
公式（2）。
其中，
Figure 280464DEST_PATH_IMAGE021
是第m个试次的额叶和顶叶的第二功能连接强度z值；
Figure 606403DEST_PATH_IMAGE005
：第一功能连 接强度。
可以根据如下公式（3）得到第三控制参数
Figure 35111DEST_PATH_IMAGE022
：
Figure 106578DEST_PATH_IMAGE006
公式（3）。
其中，
Figure 620736DEST_PATH_IMAGE007
：第h个通道处于静息阶段的alpha/theta节律值；
Figure 750366DEST_PATH_IMAGE008
：第h个通道 处于训练阶段的alpha/theta节律值；h是第h个通道，
Figure 220531DEST_PATH_IMAGE023
为第h个通道alpha/theta节律在VR 场景的控制参数反馈中所占的权重，n′个通道权重和为1。
可以根据如下公式（4）得到脑电theta/beta节律对应VR场景的第四控制参数
Figure 777414DEST_PATH_IMAGE024
：
Figure 778868DEST_PATH_IMAGE025
公式（4）。
其中，
Figure 446610DEST_PATH_IMAGE026
：第h个通道处于静息阶段的theta/beta节律值；
Figure 272746DEST_PATH_IMAGE027
：第h个通道 处于训练阶段的theta/beta节律值；h是第h个通道，
Figure 266110DEST_PATH_IMAGE028
为第h个通道theta/beta节律在VR场 景的控制参数反馈中所占的权重，n′个通道权重和为1。在公式（1）-（4）中，使用n表示一共n 个脑区，使用n′表示一共n′个通道，与n个脑区相区别。
可以根据公式（5）和公式（6）计算得到所述第二功能连接强度z值：
Figure 941810DEST_PATH_IMAGE029
公式（5）。
其中，i表示第i个脑区，j表示第j个脑区，k是采样点数，x i （k）是第i个脑区第k个 采样点的血氧浓度值，x j （k）是第j个脑区第k个采样点的血氧浓度值，
Figure 147664DEST_PATH_IMAGE030
，
Figure 405470DEST_PATH_IMAGE031
分别为训练阶 段i脑区和j脑区的第二平均血氧浓度值，r ij 为所述脑区i和脑区j所包括的成对脑区的血氧 数据之间的相关系数。
将r ij 进行fisher变换得到第二功能连接强度z：
Figure 520800DEST_PATH_IMAGE015
公式（6）。
在一些实施例中，受试者执行的每一轮训练包括m个试次的训练，在受试者处于静 息阶段时，所述VR场景中呈现的是用于表示静息阶段的虚拟的树，此时，处于静息阶段的近 红外脑区激活、脑区功能连接和脑电节律参数分别设置为基线
Figure 168950DEST_PATH_IMAGE032
、
Figure 178494DEST_PATH_IMAGE033
、
Figure 805654DEST_PATH_IMAGE034
和
Figure 812924DEST_PATH_IMAGE035
。
在受试者处于每一个试次的训练阶段时，使受试者持续关注所述VR场景中虚拟的树的树干高度、树干宽度、树枝数量和树叶数量中的至少一个，比如，可以使得受试者关注树干高度，或者可以使得受试者关注树干高度、树干宽度、树枝数量和树叶数量，对此不做限定。通过自主学习使得VR场景中虚拟的树的树干高度、树干宽度、树枝数量和树叶数量中的至少一个增加。具体地，比如，受试者通过自我鼓励或者唱歌等刺激大脑活动，来达到增加树干高度、增加树干宽度、树枝数量增多、树叶数量增多的目的。在对所述受试者进行训练的过程中，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数伴随所述受试者执行的每一个试次的训练发生变化，在每一轮训练结束后，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数中的任一个参数增加的情况下，确定所述受试者的脑部认知功能得到改善。尤其是，在树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数均增加的情况下，能够更有效的说明受试者的脑部认知功能得到改善。
本申请的一些实施例中，结合基于虚拟现实的多模态多参数神经反馈训练系统描述的多模态多参数神经反馈训练方法的各个步骤和处理过程，都可以结合于此，在此不赘述。
本申请描述了各种操作或功能，其可以被实现为软件代码或指令或被定义为软件代码或指令。此类内容可以是可以直接执行的源代码或差分代码(“增量”或“补丁”代码)(“对象”或“可执行”形式)。软件代码或指令可以存储在计算机可读存储介质中，并且在被执行时，可以使机器执行所描述的功能或操作，并且包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机制，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置等)。
本申请描述的示例性方法可以至少部分地由机器或计算机实现。在一些实施例中，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本申请各个实施例所述的多模态多参数神经反馈训练方法。这样的方法的实现可以包括软件代码，例如微代码、汇编语言代码、高级语言代码等。可以使用各种软件编程技术来创建各种程序或程序模块。例如，程序部分或程序模块可以用或借助Java、Python、C、C++、汇编语言或任何已知的编程语言来设计。可以将这样的软件部分或模块中的一个或多个集成到计算机系统和/或计算机可读介质中。这样的软件代码可以包括用于执行各种方法的计算机可读指令。该软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在示例中，软件代码可以有形地存储在一个或多个易失性，非暂时性或非易失性有形计算机可读介质上，例如在执行期间或在其他时间。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如光盘和数字视频盘)、盒式磁带、存储卡或存储棒、随机存取存储器(RAM)、只读存储器(ROM)等。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的公开的实施例的全部特征。从而，权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本申请的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于虚拟现实的多模态多参数神经反馈训练系统，其特征在于，所述多模态多参数神经反馈训练系统用于改善儿童多动症，包括通信连接的以下各个单元：
数据采集装置，包括近红外数据采集装置和脑电数据采集装置，被配置为：通过所述近红外数据采集装置和所述脑电数据采集装置分别采集受试者处于静息态阶段的第一近红外数据、第一脑电数据以及受试者处于训练阶段的第二近红外数据、第二脑电数据；
训练装置，包括：
通信接口，其配置为与所述数据采集装置可通信连接，以获取所述第一近红外数据、所述第一脑电数据、所述第二近红外数据和所述第二脑电数据；以及
处理器，其配置为：
基于所述第一近红外数据和第二近红外数据，得到额叶和顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值；
基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值；
基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数；
基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数；
基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数；
基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数；
数据转换单元，被配置为：将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数，并将所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数反馈到VR装置；
VR装置，被配置为：响应于所述数据转换单元中树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，呈现虚拟的树。
2.根据权利要求1所述的多模态多参数神经反馈训练系统，其特征在于，所述处理器进一步配置为：
根据如下公式（1）得到所述第一控制参数A m ：
Figure 170849DEST_PATH_IMAGE001
公式（1）；
其中，
Figure 822410DEST_PATH_IMAGE002
：第一平均血氧浓度值；
Figure 653149DEST_PATH_IMAGE004
：第二平均血氧浓度值；n=2，i=1时表示额叶，i=2 时表示顶叶，
Figure 139625DEST_PATH_IMAGE005
是第i个脑区激活水平在VR场景的控制反馈分数中所占的权重，m表示对所 述受试者进行m个试次的训练；或
根据如下公式（2）得到第二控制参数S m ：
Figure 430929DEST_PATH_IMAGE006
公式（2）；
其中，
Figure 183116DEST_PATH_IMAGE007
是第m个试次的额叶和顶叶的第二功能连接强度z值；
Figure 319699DEST_PATH_IMAGE008
：第一功能连接强 度；或
根据如下公式（3）得到第三控制参数
Figure 457419DEST_PATH_IMAGE009
：
Figure 372154DEST_PATH_IMAGE010
公式（3）；
其中，
Figure 64167DEST_PATH_IMAGE011
：第h个通道处于静息阶段的alpha/theta节律值；
Figure 41260DEST_PATH_IMAGE012
：第h个通道处于训 练阶段的alpha/theta节律值；h是第h个通道，
Figure 299066DEST_PATH_IMAGE013
为第h个通道alpha/theta节律在VR场景 的控制参数反馈中所占的权重，n′个通道权重和为1；或
根据如下公式（4）得到脑电theta/beta节律对应VR场景的第四控制参数
Figure 401015DEST_PATH_IMAGE014
：
Figure 360749DEST_PATH_IMAGE015
公式（4）；
其中，
Figure 370294DEST_PATH_IMAGE016
：第h个通道处于静息阶段的theta/beta节律值；
Figure 685868DEST_PATH_IMAGE017
：第h个通道处于 训练阶段的theta/beta节律值；h是第h个通道，
Figure 240609DEST_PATH_IMAGE018
为第h个通道theta/beta节律在VR场景的 控制参数反馈中所占的权重，n′个通道权重和为1。
3.根据权利要求1所述的多模态多参数神经反馈训练系统，其特征在于，所述处理器进一步配置为：对近红外数据采集装置和VR装置进行第一同步数据标记，以及，对脑电数据采集装置和VR装置进行第二同步数据标记，以使得所述近红外数据采集装置和所述脑电数据采集装置同步采集所述受试者的近红外数据和脑电数据，且所述VR装置基于采集到的近红外数据和脑电数据，同步呈现虚拟的树。
4.根据权利要求1所述的多模态多参数神经反馈训练系统，其特征在于，所述处理器进一步配置为：对所述第一近红外数据、第一脑电数据以及第二近红外数据、第二脑电数据进行预处理。
5.根据权利要求1所述的多模态多参数神经反馈训练系统，其特征在于，所述处理器进一步配置为：使得受试者执行的每一轮训练包括m个试次的训练；使得在对所述受试者进行训练的过程中，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数伴随所述受试者执行的每一个试次的训练发生变化；
在每一轮训练结束后，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数中的任一个参数增加的情况下，确定所述受试者的儿童多动症的治疗效果得到改善。
6.根据权利要求2所述的多模态多参数神经反馈训练系统，其特征在于，所述处理器进一步配置为：根据公式（5）和公式（6）计算得到所述第二功能连接强度z值：
Figure 703951DEST_PATH_IMAGE019
公式（5）；
其中，i表示第i个脑区，j表示第j个脑区，k是采样点数，
Figure 454870DEST_PATH_IMAGE020
是第i个脑区第k个采样 点的血氧浓度值，x j （k）是第j个脑区第k个采样点的血氧浓度值，
Figure 670956DEST_PATH_IMAGE021
，
Figure 911445DEST_PATH_IMAGE022
分别为训练阶段i脑 区和j脑区的第二平均血氧浓度值，r ij 为所述脑区i和脑区j所包括的成对脑区的血氧数据 之间的相关系数；
将r ij 进行fisher变换得到第二功能连接强度z：
Figure 596504DEST_PATH_IMAGE023
公式（6）。
7.一种基于虚拟现实的多模态多参数神经反馈训练方法，其特征在于，包括：
在受试者处于VR场景中的情况下，获取所述受试者处于静息阶段时的第一近红外数据和第一脑电数据；以及受试者处于训练阶段时的第二近红外数据和第二脑电数据；
基于所述第一近红外数据和第二近红外数据，得到额叶或顶叶处于训练阶段的第二平均血氧浓度值与处于静息阶段的第一平均血氧浓度值的第一差值，以及额叶和顶叶处于训练阶段的第二功能连接强度和处于静息阶段的第一功能连接强度的第二差值；
基于所述第一脑电数据和第二脑电数据，得到各个通道处于训练阶段的alpha/theta节律值和处于静息阶段的alpha/theta节律值的第三差值，以及各个通道处于训练阶段的theta/beta节律值和处于静息阶段的theta/beta节律值的第四差值；
基于所述第一差值和额叶或顶叶的脑区激活水平在VR场景的控制反馈中所占的权重，得到脑区激活水平对应VR场景的第一控制参数；
基于所述第二差值，得到额叶和顶叶的功能连接强度对应的VR场景的第二控制参数；
基于所述第三差值和各个通道的alpha/theta节律值在VR场景的控制反馈中所占的权重，得到alpha/theta节律对应VR场景的第三控制参数；
基于所述第四差值和各个通道的theta/beta节律值在VR场景的控制反馈中所占的权重，得到theta/beta节律对应VR场景的第四控制参数；
将所述第一控制参数转换为VR场景的树干高度参数，将所述第二控制参数转换为VR场景的树干宽度参数，将所述第三控制参数转换为VR场景的树枝数量参数，将所述第四控制参数转换为VR场景的树叶数量参数；
基于所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数，在所述受试者所处的所述VR场景中呈现虚拟的树。
8.根据权利要求7所述的多模态多参数神经反馈训练方法，其特征在于，根据如下公式（1）得到所述第一控制参数A m ：
Figure 947851DEST_PATH_IMAGE024
公式（1）；
其中，
Figure 720241DEST_PATH_IMAGE002
：第一平均血氧浓度值；
Figure 600473DEST_PATH_IMAGE025
：第二平均血氧浓度值；n=2，i=1时表示额叶，i=2 时表示顶叶，
Figure 22096DEST_PATH_IMAGE005
是第i个脑区激活水平在VR场景的控制反馈分数中所占的权重，m表示对所 述受试者进行m个试次的训练；或
根据如下公式（2）得到第二控制参数S m ：
Figure 380396DEST_PATH_IMAGE026
公式（2）；
其中，
Figure 321807DEST_PATH_IMAGE027
是第m个试次的额叶和顶叶的第二功能连接强度z值；
Figure 858093DEST_PATH_IMAGE008
：第一功能连接强 度；或
根据如下公式（3）得到第三控制参数
Figure 517744DEST_PATH_IMAGE028
：
Figure 210894DEST_PATH_IMAGE029
公式（3）；
其中，
Figure 193762DEST_PATH_IMAGE011
：第h个通道处于静息阶段的alpha/theta节律值；
Figure 946954DEST_PATH_IMAGE012
：第h个通道处于训 练阶段的alpha/theta节律值；h是第h个通道，
Figure 93902DEST_PATH_IMAGE030
为第h个通道alpha/theta节律在VR场景的 控制参数反馈中所占的权重，n′个通道权重和为1；或
根据如下公式（4）得到脑电theta/beta节律对应VR场景的第四控制参数
Figure 338545DEST_PATH_IMAGE014
：
Figure 192232DEST_PATH_IMAGE015
公式（4）；
其中，
Figure 850746DEST_PATH_IMAGE016
：第h个通道处于静息阶段的theta/beta节律值；
Figure 734257DEST_PATH_IMAGE031
：第h个通道处于 训练阶段的theta/beta节律值；h是第h个通道，
Figure 972472DEST_PATH_IMAGE032
为第h个通道theta/beta节律在VR场景的 控制参数反馈中所占的权重，n′个通道权重和为1。
9.根据权利要求7所述的多模态多参数神经反馈训练方法，其特征在于，受试者执行的每一轮训练包括m个试次的训练，
在受试者处于静息阶段时，所述VR场景中呈现的是用于表示静息阶段的虚拟的树；
在受试者处于每一个试次的训练阶段时，使受试者持续关注所述VR场景中虚拟的树的树干高度、树干宽度、树枝数量和树叶数量中的至少一个，并通过自主学习使得VR场景中虚拟的树的树干高度、树干宽度、树枝数量和树叶数量中的至少一个增加；
在对所述受试者进行训练的过程中，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数伴随所述受试者执行的每一个试次的训练发生变化；
在每一轮训练结束后，所述树干高度参数、树干宽度参数、树枝数量参数和树叶数量参数中的任一个参数增加的情况下，确定所述受试者的脑部认知功能得到改善。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求7-9任一项所述的多模态多参数神经反馈训练方法。
CN202211670423.5A 2022-12-26 2022-12-26 基于虚拟现实的多模态多参数神经反馈训练系统和方法 Active CN115644824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211670423.5A CN115644824B (zh) 2022-12-26 2022-12-26 基于虚拟现实的多模态多参数神经反馈训练系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211670423.5A CN115644824B (zh) 2022-12-26 2022-12-26 基于虚拟现实的多模态多参数神经反馈训练系统和方法

Publications (2)

Publication Number Publication Date
CN115644824A true CN115644824A (zh) 2023-01-31
CN115644824B CN115644824B (zh) 2023-03-14

Family

ID=85022655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211670423.5A Active CN115644824B (zh) 2022-12-26 2022-12-26 基于虚拟现实的多模态多参数神经反馈训练系统和方法

Country Status (1)

Country Link
CN (1) CN115644824B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116370789A (zh) * 2023-06-07 2023-07-04 慧创科仪(北京)科技有限公司 一种用于儿童的注意力训练装置和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110302460A (zh) * 2019-08-09 2019-10-08 丹阳慧创医疗设备有限公司 一种注意力训练方法、装置、设备及系统
CN113855050A (zh) * 2021-11-04 2021-12-31 深圳大学 一种脑电神经反馈训练的参数设置方法、装置及相关介质
WO2022060241A1 (ru) * 2020-09-18 2022-03-24 Публичное Акционерное Общество "Сбербанк России" Интерактивный тренажер для осуществления тренировок с помощью виртуальной реальности
KR102379132B1 (ko) * 2021-06-30 2022-03-30 액티브레인바이오(주) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
CN114847950A (zh) * 2022-04-29 2022-08-05 深圳市云长数字医疗有限公司 基于虚拟现实的注意力评估与训练系统、方法及存储介质
CN115349873A (zh) * 2022-06-30 2022-11-18 良渚实验室 一种基于脑机接口系统的闭环脑功能强化训练装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110302460A (zh) * 2019-08-09 2019-10-08 丹阳慧创医疗设备有限公司 一种注意力训练方法、装置、设备及系统
WO2022060241A1 (ru) * 2020-09-18 2022-03-24 Публичное Акционерное Общество "Сбербанк России" Интерактивный тренажер для осуществления тренировок с помощью виртуальной реальности
KR102379132B1 (ko) * 2021-06-30 2022-03-30 액티브레인바이오(주) 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
CN113855050A (zh) * 2021-11-04 2021-12-31 深圳大学 一种脑电神经反馈训练的参数设置方法、装置及相关介质
CN114847950A (zh) * 2022-04-29 2022-08-05 深圳市云长数字医疗有限公司 基于虚拟现实的注意力评估与训练系统、方法及存储介质
CN115349873A (zh) * 2022-06-30 2022-11-18 良渚实验室 一种基于脑机接口系统的闭环脑功能强化训练装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116370789A (zh) * 2023-06-07 2023-07-04 慧创科仪(北京)科技有限公司 一种用于儿童的注意力训练装置和介质
CN116370789B (zh) * 2023-06-07 2023-09-12 慧创科仪(北京)科技有限公司 一种用于儿童的注意力训练装置和介质

Also Published As

Publication number Publication date
CN115644824B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN109925582B (zh) 双模态脑-机交互式运动神经反馈训练装置和方法
CN101284156A (zh) 注意缺陷障碍症的个性化矫治方法及装置
Djamal et al. Identification of post-stroke EEG signal using wavelet and convolutional neural networks
CN115349873A (zh) 一种基于脑机接口系统的闭环脑功能强化训练装置及方法
CN115644824B (zh) 基于虚拟现实的多模态多参数神经反馈训练系统和方法
Gümüslü et al. Emotion recognition using EEG and physiological data for robot-assisted rehabilitation systems
Cai et al. A virtual-reality based neurofeedback game framework for depression rehabilitation using pervasive three-electrode EEG collector
Zhang Stress recognition from heterogeneous data
Ali et al. A single-channel wireless EEG headset enabled neural activities analysis for mental healthcare applications
Szachewicz Classification of motor imagery for brain-computer interfaces
Zhang et al. EEG feature selection based on weighted-normalized mutual information for mental fatigue classification
Muñoz et al. Towards Improving Sleep Quality Using Automatic Sleep Stage Classification and Binaural Beats
Chenane et al. EEG Signal Classification for BCI based on Neural Network
Seo et al. Partial least squares-discriminant analysis for the prediction of hemodynamic changes using near infrared spectroscopy
Chen et al. The use of a brain computer interface remote control to navigate a recreational device
Cheng et al. Physiological parameters assessment for emotion recognition
CN110302459B (zh) 一种情绪调控的训练方法、装置、设备以及系统
CN113274009A (zh) 基于hct的红外脑成像图谱采集装置
Hirota et al. Effects of stimulus-or response-oriented training on psychophysiological responses and the propositional structure of imagery
Alhasan et al. Ica-based eeg feature analysis and classification of learning styles
Kumar et al. EEG Based Attention Score Analysis of Two Game Genre
Henshaw Improved brain-computer interface methods with application to gaming
Mohdiwale et al. Brain–computer interface and neurocomputing
Isaev et al. Effects of Selection of the Learning Set Formation Strategy and Filtration Method on the Effectiveness of a BCI Based on Near Infrared Spectrometry
Long et al. Optimal Feature Combination Using SVM Algorithms for Brain-computer Interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant