CN106128201B - 一种沉浸式视觉和离散力控制任务结合的注意力训练系统 - Google Patents

一种沉浸式视觉和离散力控制任务结合的注意力训练系统 Download PDF

Info

Publication number
CN106128201B
CN106128201B CN201610417385.0A CN201610417385A CN106128201B CN 106128201 B CN106128201 B CN 106128201B CN 201610417385 A CN201610417385 A CN 201610417385A CN 106128201 B CN106128201 B CN 106128201B
Authority
CN
China
Prior art keywords
training
test
time
module
finger strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610417385.0A
Other languages
English (en)
Other versions
CN106128201A (zh
Inventor
王党校
彭聪
杨潇潇
张玉茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610417385.0A priority Critical patent/CN106128201B/zh
Publication of CN106128201A publication Critical patent/CN106128201A/zh
Application granted granted Critical
Publication of CN106128201B publication Critical patent/CN106128201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Tools (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种沉浸式视觉和离散力控制任务结合的注意力训练系统，该系统通过频繁的注意力与指力聚焦活动的训练，并通过自适应算法自动调节训练任务的难度适应用户不断提高的控制能力或者不同人的个体差异，同时，使用户对训练任务的积极性以及注意力的投入都始终维持在一个最高水平，从而达到提高目标人群的注意力与指力控制的目的。

Description

一种沉浸式视觉和离散力控制任务结合的注意力训练系统
技术领域
本发明涉及注意力、手指力按压的精确力控制训练技术领域，尤其涉及一种沉浸式视觉和离散力控制任务结合的注意力训练系统。
背景技术
对注意力要求非常高的特种职业人员，如飞行员，赛车手，机场塔台空中交通管制等专业人员需要具备高度的注意力控制能力，以保证关键任务的执行的力控制及时间的精准性。不言而喻，提高注意力的专注度，将提高职员的工作效率，故注意力训练对普通成年人或企事业单位的人力资源部门的培训也都大有裨益。
现行的注意力控制训练装置的适用对象通常是针对于特定的人群，如实用新型专利CN205127306U和CN203838907U均为面向少儿的一种注意力训练器具。这类装置是基于人的视觉感受通道而设计出的结构简单，成本低廉的识图拼图游戏。此外国内外也有一些面向注意力缺陷的老年人而设计的动作视频游戏。这类装置是基于人的视听觉感受通道而设计出的训练系统，任务难度更大，涉及的感觉通道更多，对注意力调用的程度更大。
对各类注意力训练方法的调研发现，还有两个方面留有巨大改进空间。一方面，在注意力训练所调用的感觉通道上，力触觉尚未被用于其中。基于大脑感知皮层与躯体的映射关系可知，除了人的视觉和听觉外，力触觉这种更为基本且独特的感知通道，即人既能通过力触觉通道接收刺激信息，还能通过力触觉通道主动地输出反应控制动作。无论盲、聋等特殊群体，还是正常人都具备力触觉感知这一能力。在基于视听觉的注意力训练任务中加入力触觉，将使注意力训练所能调动的感觉通道更多，进一步开发人在执行任务中注意力调用的潜能。另一方面，现有的注意力训练方法在用户自定义的可控性上存在局限性。即便正常人，由于个体差异，对不同的用户，训练任务需设置与自身实时的能力水平相符合的难度。若任务难度太低，训练游戏的成功率经常接近100％，给予用户的成就感越来越低；若是任务难度太高，训练游戏的成功率总是不到50％，将使用户遭受巨大的挫败感，两者均将使后期的训练效果及吸引力必然大打折扣。目前，对于如何监测用户对指定游戏操控能力的实时状态，并据此实时调控训练任务的难度，使用户在训练的游戏中始终获得预设的成功率仍是一个悬而未决的问题。
发明内容
本发明的目的是提供一种沉浸式视觉和离散力控制任务结合的注意力训练系统，用以提升注意力与指力控制训练的成效。
本发明的目的是通过以下技术方案实现的：
一种沉浸式视觉和离散力控制任务结合的注意力训练系统，包括：主控制模块、手指力采集模块、数据融合模块、AD转换模块及反馈模块；其中，所述主控制模块分别与反馈模块及AD转换模块相连；所述手指力采集模块、数据融合模块及AD转换模块依次相连；
在前测阶段：所述主控制模块通过反馈模块中的头戴式显示器以沉浸式视觉的方式呈现包含手指力按压的精确力控制测试的视觉刺激，再由所述手指力采集模块采集与视觉刺激相对应手指的电压信号并传输给数据融合模块；融合后的电压信号经由AD转换模块转换为数字信号后传输至主控制模块；所述主控制模块根据接收到的数字信号以及本次测试的反应时间来确定本次测试的成败结果，再根据本次测试的成败结果生成下一次手指力按压的精确力控制测试并通过所述头戴式显示器呈现，重复多次手指力按压的精确力控制测试之后，所述主控制模块获得相应的先验知识；
在训练阶段：所述主控制模块确定训练次数N，且结合所述先验知识随机生成K次包含手指力按压的精确力控制测试的训练任务，并按照前测阶段的方式依次进行测试，根据测试的成败结果获得K次训练任务的总成功率；若K次训练任务的总成功率与设定的目标成功率存在偏差，则结合前测阶段获得的先验知识来自适应的调整K+1次训练任务的难度，直至完成N次训练；
所述前测阶段与训练阶段的每一次手指力按压的精确力控制测试完成后，主控制模块均通过反馈模块反馈测试结果。
所述系统还包括：底座，其用于固定所述手指力采集模块。
所述手指力采集模块包括多个压力传感器以及分别与每一压力传感器相连的电压放大电路；
所述压力传感器，用于采集电压信号；
所述电压放大电路，用于将电压信号进行放大处理后向外传输。
所述反馈模块包括：头戴式显示器、隔音耳机与振动电机；
所述头戴式显示器，用于显示所述包含手指力按压的精确力控制测试的视觉刺激与所述包含手指力按压的精确力控制测试的训练任务；还用于显示每一次测试完成后的测试成功或失败结果；
所述隔音耳机，用于在每一次测试完成后，输出相应的测试成功或失败音频信号；
所述振动电机，用于在测试成功后产生振动反馈；
其中，所述振动电机设置在底座上，其数量为一个或者与所述手指力采集模块中的压力传感器数量相同。
所述主控制模块包括：上位机训练信息输入模块与下位机逻辑控制模块；
所述上位机训练信息输入模块，用于实现所述前测阶段与训练阶段的功能；
所述下位机逻辑控制模块，用于根据测试成功或失败结果来控制反馈模块中振动电机的启停。
所述的手指力按压的精确力控制测试中包含了对应手指产生的目标力A、容差W与相应的容许时间TD；通过上述三个参量的协同控制来动态的调整每一次手指力按压的精确力控制测试的难度；其中目标力A与容差W均为连续的变量，通过将不同的目标力A与容差W相组合，从而构成前测阶段的S种离散力控制任务；
所述主控制模块采用黄金分割法检索S种离散力控制任务在设定容许时间及调整策略下的反应时间TR的上限与下限并将所述反应时间TR的上限与下限作为先验知识；所述的反应时间即为所述主控制模块输出手指力按压的精确力控制测试与接收到数字信号的时间差。
所述主控制模块采用黄金分割法检索S种离散力控制任务在设定容许时间及调整策略下的反应时间TR的上限与下限包括：
初始状态下，将时间b设为初始时容许时间的上限：将时间a设为初始时容许时间的下限：通过设定的调整策略，利用迭代法不断搜索a,b的取值：
在前测阶段的第一次手指力按压的精确力控制测试时，所述主控制模块从S种离散力控制任务中随机抽取一组目标力A与容差W的组合，并将本次手指力按压的精确力控制测试的容许时间设为(a+b)/2；
所述主控制模块根据接收到的数字信号与所述目标力A及容差W的关系，以及本次测试反应时间与容许时间的关系，来判定本次手指力按压的精确力控制测试是否成功；
若成功，则从S种离散力控制任务中抽取另一组目标力A与容差W的组合，并继续采用上一次手指力按压的精确力控制测试的容许时间输出下一次的手指力按压的精确力控制测试，且当连续成功次数达到指定次数P时，降低容许时间的上限：b1＜b，从而降低容许时间，以提高测试难度；若失败，则提高容许时间的下限a1＞a，从而提高容许时间，以降低测试难度；
当通过上述方式重复多次手指力按压的精确力控制测试之后，最终获得的时间bn与时间an满足：bn-an≤ε则终止测试；上式中的ε为设定的精度；
所述主控制模块将最终获得的时间bn与时间an分别作为反应时间TR的上限与下限
所述主控制模块确定训练次数N，且结合所述先验知识随机生成K次包含手指力按压的精确力控制测试的训练任务，并按照前测阶段的方式依次进行测试，根据测试的成败结果获得K次训练任务的总成功率，若K次训练任务的总成功率与设定的目标成功率存在偏差，则结合前测阶段获得的先验知识来自适应的调整K+1次训练任务的难度，直至完成N次训练包括：
所述主控制模块确定训练次数为N，设定的目标成功率为q％，并随机产生K组目标力A与容差W的组合，再将先验知识中的反应时间TR的上限与下限的均值作为容许时间；每一组目标力A与容差W的组合以及计算得到的容许时间作为一次包含手指力按压的精确力控制测试的训练任务，则共有K次包含手指力按压的精确力控制测试的训练任务；
依次完成K次训练任务后，所述主控制模块计算K次训练任务的总成功率，并与设定的目标成功率q％相比较；若大于设定的目标成功率q％，则将所述先验知识中反应时间TR的上限作为下一次训练任务的容许时间，以提高训练任务的难度；若小于设定的目标成功率q％，则将所述先验知识中反应时间TR的下限作为下一次训练任务的容许时间，以降低训练任务的难度；
当训练任务的次数达到N次后，终止训练。
所述前测阶段与训练阶段的手指力按压的精确力控制测试包括针对一个手指的测试或多个手指的组合测试。
由上述本发明提供的技术方案可以看出，通过这种频繁的注意力与指力聚焦活动的训练，并通过自适应算法自动调节训练任务的难度适应用户不断提高的控制能力或者不同人的个体差异，同时，使用户对训练任务的积极性以及注意力的投入都始终维持在一个最高水平，从而达到提高目标人群的注意力与指力控制的目的。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种沉浸式视觉和离散力控制任务结合的注意力训练系统的组成结构示意图；
图2为本发明实施例提供的系统中信号的处理流程图；
图3为本发明实施例提供的前测阶段与训练阶段中手指力按压的精确力控制测试的示意图；
图4为本发明实施例提供的系统信息控制策略结构示意图；
图5为本发明实施例提供的离线估计与在线闭环控制过程示意图；
图6为本发明实施例提供的前测阶段获得先验知识的流程图；
图7为本发明实施例提供的测试阶段成功率闭环控制的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种沉浸式视觉和离散力控制任务结合的注意力训练系统，其主要包括：主控制模块、手指力采集模块、数据融合模块、AD转换模块及反馈模块；其中，所述主控制模块分别与反馈模块及AD转换模块相连；所述手指力采集模块、数据融合模块及AD转换模块依次相连；
在前测阶段：所述主控制模块通过反馈模块中的头戴式显示器以沉浸式视觉的方式呈现包含手指力按压的精确力控制测试的视觉刺激，再由所述手指力采集模块采集与视觉刺激相对应手指的电压信号并传输给数据融合模块；融合后的电压信号经由AD转换模块转换为数字信号后传输至主控制模块；所述主控制模块根据接收到的数字信号以及本次测试的反应时间来确定本次测试的成败结果，再根据本次测试的成败结果生成下一次手指力按压的精确力控制测试并通过所述头戴式显示器呈现，重复多次手指力按压的精确力控制测试之后，所述主控制模块获得相应的先验知识；
在训练阶段：所述主控制模块确定训练次数N，且结合所述先验知识随机生成K次包含手指力按压的精确力控制测试的训练任务，并按照前测阶段的方式依次进行测试，根据测试的成败结果获得K次训练任务的总成功率，若K次训练任务的总成功率与设定的目标成功率存在偏差，则结合前测阶段获得的先验知识来自适应的调整K+1次训练任务的难度，直至完成N次训练；
所述前测阶段与训练阶段的每一次手指力按压的精确力控制测试完成后，主控制模块均通过反馈模块反馈测试结果。
另一方面，该系统还可以包括：底座，其用于固定所述手指力采集模块。
此外，还可以对上述系统做进一步细化：
1)所述手指力采集模块包括：多个压力传感器以及分别与每一压力传感器相连的电压放大电路；
所述压力传感器，用于采集电压信号。本领域技术人员可以理解，所述压力传感器可以为常规的硬件设备，例如，Honeywell压力传感器；其数量也可以根据实际情况来设定，例如，4-10个；当数量为4个时，分别采集左、右手的食指与中指的压力触摸信号。
所述电压放大电路，用于将电压信号进行放大处理后向外传输。本领域技术人员可以理解，电压放大电路也可以为常规电路，其用于将电压信号做放大处理。
2)所述反馈模块包括：头戴式显示器、隔音耳机与振动电机；
所述头戴式显示器，用于显示所述包含手指力按压的精确力控制测试的视觉刺激与所述包含手指力按压的精确力控制测试的训练任务；还用于显示每一次测试完成后的测试成功或失败结果；本领域技术人员可以理解，所述头戴式显示器可以为常规的硬件设备，例如，Oculus头盔显示器，其采用虚拟现实(virtual reality,VR)技术，来提供一种沉浸式的3D视觉环境。
所述隔音耳机，用于在每一次测试完成后，输出相应的测试成功或失败音频信号；本领域技术人员可以理解，所述隔音耳机可以为常规的硬件设备，可以输出指定的音频信号。
所述振动电机，用于在测试成功后产生振动反馈；本领域技术人员可以理解，所述振动电机可以为常规的硬件设备，例如，型号为1020的纽扣式振动电机。
其中，所述振动电机设置在底座上，其数量为一个或者与所述手指力采集模块中的压力传感器数量相同。
3)所述主控制模块包括：上位机训练信息输入模块与下位机逻辑控制模块；
所述上位机训练信息输入模块，用于实现所述前测阶段与训练阶段的功能；
所述下位机逻辑控制模块，用于根据测试成功或失败结果来控制反馈模块中振动电机的启停。
本发明实施例上述系统的组成结构如图1所示：
所述上位机训练信息输入模块1分别与头戴式显示器2及隔音耳机3相连，用于在前文所述的特定情况下通过头戴式显示器2及隔音耳机3输出图像与音频信号。
所述手指力采集模块10、数据融合模块5、AD转换模块6以及上位机训练信息输入模块1依次连接。
示例性的：所述手指力采集模块10可以通过四针脚的接线将信号送至数据融合模块。所述数据融合模块5由外接的5v～12v直流电压供电，并通过自带的电源模块，将电压稳定在+5v和-5v；在所述数据融合模块5上有10个四针脚的接口，每个接口可以外接一个压力传感器，可实现由单指到十指的不同组合；所述数据融合模块5侧面带一个20针脚的接口，该接口外接AD转换模块，将手指力采集模块10发送过来的模拟电压信号发送至AD转换模块6。所述AD转换模块6可以为MP4623型号的数据采集卡，数据采集卡的一端与所述数据融合模块连接，另一端与上位机训练信息输入模块1通过USB口连接；该数据采集卡为模拟电压采集卡，能够将采集到的模拟电压转换为数字量，在允许的输入电压范围内，能够输出15位的数字信号，供上位机训练信息输入模块1中的算法调用，然后将反馈信号传送至下位机逻辑控制模块7，控制振动电机8的启停。
所述的下位机逻辑控制模块7可以为MEGA328芯片的单片机PCB板，通过CH340芯片与上位机训练信息输入模块1进行串口通信。所述下位机逻辑控制模块7还与振动电机8相连，当下位机逻辑控制模块7采用前述的PCB板实现时，其具有外接10个IO接口，根据需要可以实现对1-10个振动电机的启停控制。
需要强调的是，本发明实施例所要保护的是图1所示系统的组成及其结构，当基于上述组成结构时才能实现前测阶段与训练阶段的功能。此外，通过前文的描述可知，前测阶段与训练阶段实质都是进行手指力按压的精确力控制测试，也就是说，该系统通过相应的策略不断的进行手指力按压的精确力控制测试并适应性的调整测试难度。
每一次手指力按压的精确力控制测试时，系统中信号的处理流程如图2所示。当然，图2仅为示意图，其中振动电机与压力传感器的数量仅为举例，并非构成限制。
前文已经对系统的组成及其结构进行了详细的描述，下面对前测阶段与训练阶段的过程以及手指力按压的精确力控制测试的原理做详细的介绍。
前测阶段与训练阶段均涉及了手指力按压的精确力控制测试，本发明实施例中的手指力按压的精确力控制测试中包含了对应手指产生的目标力A、容差W与相应的容许时间TD，而给定不同的容许时间即可使用户获得相应的成功率。
对于系统而言，通过计算输出手指力按压的精确力控制测试与接收到数字信号的时间差即可获得当前手指力按压的精确力控制测试的反应时间TR，目标力A、容差W与相应的反应时间TR构成用户的三维知识空间。根据运动控制的生理学理论研究，在执行精细力控制任务时，这三个参量服从费茨定律：
本发明实施例中，通过对手指力按压的精确力控制测试中的三个参量{A,W,TD}协同控制来动态的调整每一次手指力按压的精确力控制测试的难度，从而自适应地跟随用户的能力水平使其获得预期的成功率。在限定测试执行的容许时间的情况下，每次测试所对应的反应时间TR就决定了测试的成功率；当然，即使反映时间TR在容许时间内，还需要考虑主控制模块接收到的数字信号是否在目标力A与容差W的组合范围内。
所述的目标力A与容差W均为连续的变量，通过将不同的目标力A与容差W相组合，从而构成前测阶段的S种离散力控制任务。
由于目标力A与容差W均为连续的变量，因而其组合存在无穷多种。而生活实际中，我们通过手指指尖执行精细操作时，所施加的力通常并不大。为了研究方便，选取几个典型的离散目标力A，分别为(1,2,3,4N)，几个典型的离散容差值W，分别为(0.5,0.6,0.7,0.8N)。按照对称的原则，容差值与目标力的组合形式为(A±0.25,A±0.3,A±0.35,A±0.4)。根据上述组合安排，目标力A和容差值W之间共有16种组合，即构成16种不同的离散力控制任务。通过训练前的测试，获取用户在指定成功率下的容许时间TD的上下限，并在前测阶段随机匹配目标力A，容差W和容许时间TD，为测试调制出不同的任务难度。
需要强调是，前文中将S设为16仅为举例说明，并非构成限制；在实际应用中可以根据需求来设定目标力A与容差W，从而改变S的取值。
本发明实施例中，为了避免外部环境对手指力按压的精确力控制测试产生干扰，通过头戴式显示器(Oculus头盔显示器)来提供一种沉浸式的3D视觉环境。在前文已经描述过了每一次的手指力按压的精确力控制测试中包含了对应手指产生的目标力A、容差W与相应的容许时间；其中的容许时间并不会直接呈现，而是由系统内部直接调用参与测试结果的判断，其中的目标力A与容差W会以图像的形式呈现出来。
如图3所述，为前测阶段与训练阶段中手指力按压的精确力控制测试的示意图。图3中最下方的三个图像示意了手指力按压的精确力控制测试的一种图像形式，这三个图像均通过Oculus头盔显示器以立体虚拟场景的形式显示。图3所示的示例中，在底座9上设置了4个压力传感器(精度为0.1N)，压力传感器采集到的精确按压力信号通最终传输到上位机训练信息输入模块1中，下位机逻辑控制模块7的力触觉信号采集频率为500Hz。这4个压力传感器分别按照排布顺序对应图3中透明的圆柱筒15；根据分别给予某一手指目标力A的不同，随机地在四个透明圆筒15中呈现一块灰色圆柱16，灰色圆柱离16距离透明圆柱筒底部的高度即为目标力A的大小，灰色圆柱16的厚度即为容差W的大小。可以随机地将不同的容差W与目标力A匹配(例如，A±0.25,A±0.3,A±0.35,A±0.4)，即四个透明圆柱15中随机地呈现出高度和厚度不同的灰色圆柱16。当完成一次手指力按压的精确力控制测试后，主控制模块会通过Oculus头盔显示器、隔音耳机和振动电机输出视觉、听觉和触觉上的结果反馈；例如，测试成功，则灰色圆柱16爆炸成绿色烟花表演，同时隔音耳机3伴以悦耳的钢琴音，奖励用户的优秀表现，底座9上的振动电机8产生震动的触觉提示；否则给予失败的警示图标。
此外，还可以利用听觉反馈，将不同手指间的切换模拟成钢琴弹奏的模式，并对其成败分别给予不同的音乐反馈，以示褒奖，从而为用户提供一个愉悦的训练氛围，提升训练任务的吸引力和效果。
需要强调的是，本发明实施例并不对目标力A与容差W的图像形式进行限制，图3所示的图像形式仅为举例并非构成限制，具体的图像形式可以由工作人员根据实际情况来设定。
另一方面，本发明实施例所提供的上述系统，还可以根据其信息控制策略划分为如图4所示的3个部分：刺激-反应系统11、自适应控制系统12和信息反馈系统13。
实际上，这3个部分的具体过程在前文已经进行了详细的介绍；此处仅进行简要描述。刺激反馈系统11中，上位机训练信息输入模块1接收到手指力采集模块10采集的手指力输入信息，前测阶段时，在设定的调整策略下，采取黄金分割策略搜寻在各个目标手指力A和容差W的组合下，单次手指力按压的精确力控制测试执行的反应时间TR及其上限和下限如图5所示，前测阶段是通过离线估计的方式来获得相应的知识空间(即前文所述的先验知识)，图5中的力控制任务模型即为各个目标手指力A和容差W的组合。自适应控制系统12中，训练阶段时，利用如图5所示的在线闭环控制策略使用户在一次完整的训练过程中的表现始终保持在预设的成功率水平上下。上位机训练信息输入模块1将各次力控制任务的成败结果传送至信息反馈系统13，通过Oculus头盔显示器2、隔音耳机3和振动电机8输出反馈结果。
结合图3-图4，每一次手指力按压的精确力控制测试时，首先呈现灰色圆柱16位置的视觉刺激，从而诱发大脑14的视觉感知皮层的活动，并由大脑14的运动皮层控制手指去执行按压力传感器的力控制任务。同时手指上的主动力触觉通道激发大脑14的触觉感知皮层的活动，彩色圆片17上下浮动的视觉反馈再次刺激大脑14的视觉感知皮层的活动。最后每次控制任务反应时，又一次产生绿色烟花的视觉反馈，隔音耳机3的钢琴音的听觉反馈和振动电机8的震动触觉反馈，即视听触三通道同时促发大脑14的联结活动。其后左右手的四个手指随机交替使用，一指活动，其他手指抑制，这一过程增强了左右脑在胼胝体的频繁通讯。从而使用户的注意力在训练过程中，连续地聚焦于任务的执行之中。
通过这种频繁的注意力聚焦活动的训练，并通过自适应算法自动调节训练任务的难度适应用户不断提高的控制能力或者不同人的个体差异，闭环控制算法使用户对训练任务的积极性以及注意力的投入都始终维持在一个最高水平。增强大脑14中注意力活动的生理机能，从而达到提高目标人群的注意力的目的。
本发明实施例中，在前测阶段时，所述主控制模块采用黄金分割法检索S种离散力控制任务在设定容许时间及调整策略下的反应时间TR的上限与下限并将所述反应时间TR的上限与下限作为先验知识。
如图6所示，其过程为：
初始状态下，将时间b设为初始时容许时间的上限：将时间a设为初始时容许时间的下限：通过设定的调整策略，利用黄金分割法迭代法不断搜索a,b的取值，分割比例λ＝0.618：
在前测阶段的第一次手指力按压的精确力控制测试时，所述主控制模块从S种离散力控制任务中随机抽取一组目标力A与容差W的组合，并将本次手指力按压的精确力控制测试的容许时间设为(a+b)/2；
所述主控制模块根据接收到的数字信号与所述目标力A及容差W的关系，以及本次测试的反应时间与容许时间的关系，来判定本次手指力按压的精确力控制测试是否成功；
若成功，则从S种离散力控制任务中抽取另一组目标力A与容差W的组合，并继续采用上一次手指力按压的精确力控制测试的容许时间输出下一次的手指力按压的精确力控制测试，且当连续成功次数达到指定次数P(例如，可以设置P＝3)时，降低容许时间的上限：b1＜b，从而降低容许时间，以提高测试难度，如图6所示，此处的b1可以结合分割比例λ进行计算：b1＝b-λ(b-a)；若失败，则提高容许时间的下限a1＞a，从而提高容许时间，以降低测试难度，如图6所示，此处的a1可以结合分割比例λ进行计算：a1＝b-λ(b-a)；
当通过上述方式重复多次手指力按压的精确力控制测试之后，最终获得的时间bn与时间an满足：bn-an≤ε则终止测试；上式中的ε为设定的精度；
所述主控制模块将最终获得的时间bn与时间an分别作为反应时间TR的上限与下限
在训练阶段中，采用在线闭环控制的方式，自适应的调整下一次测试的难度，使得成功率始终维持在设定的目标成功率附近波动。
意大利Padova大学的学者Montani提出，在视频游戏设计中使用户的成功率维持在75％时用户参与游戏的主观积极性最高。因此，本发明实施例可以将目标成功率设为75％(即，设置q＝75)；同时，为了方便说明，也将K设为20；当然，上述两处具体数值仅为举例并非构成限制。
在线闭环控制的过程如图7所示，具体过程如下：
所述主控制模块确定训练次数为N，设定的目标成功率为75％，并随机产生20组目标力A与容差W的组合，再将先验知识中的反应时间TR的上限与下限的均值作为容许时间；每一组目标力A与容差W的组合以及计算得到的容许时间作为一次包含手指力按压的精确力控制测试的训练任务，则共有20次包含手指力按压的精确力控制测试的训练任务。例如，第k次训练任务为
依次完成K次训练任务后，所述主控制模块计算20次训练任务的总成功率，并与设定的目标成功率75％相比较；若大于设定的目标成功率75％，则将所述先验知识中反应时间TR的上限作为下一次训练任务的容许时间，以提高训练任务的难度；若小于设定的目标成功率75％，则将所述先验知识中反应时间TR的下限作为下一次训练任务的容许时间，以降低训练任务的难度；
当训练任务的次数达到N次后，终止训练。
此外，所述前测阶段与训练阶段的手指力按压的精确力控制测试包括针对一个手指的测试或多个手指的组合测试。举例来说，可以将压力传感器的数量设置为10个，振动电机的数量也设为10个；同时，进行多指协同的手指力按压的精确力控制测试，并分别为每个手指提供不同形式的震动刺激和反馈，从而可以进一步开发形式和难度级别更多的训练任务。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种沉浸式视觉和离散力控制任务结合的注意力训练系统，其特征在于，包括：主控制模块、手指力采集模块、数据融合模块、AD转换模块及反馈模块；其中，所述主控制模块分别与反馈模块及AD转换模块相连；所述手指力采集模块、数据融合模块及AD转换模块依次相连；
在前测阶段：所述主控制模块通过反馈模块中的头戴式显示器以沉浸式视觉的方式呈现包含手指力按压的精确力控制测试的视觉刺激，再由所述手指力采集模块采集与视觉刺激相对应手指的电压信号并传输给数据融合模块；融合后的电压信号经由AD转换模块转换为数字信号后传输至主控制模块；所述主控制模块根据接收到的数字信号以及本次测试的反应时间来确定本次测试的成败结果，再根据本次测试的成败结果生成下一次手指力按压的精确力控制测试并通过所述头戴式显示器呈现，重复多次手指力按压的精确力控制测试之后，所述主控制模块获得相应的先验知识；所述的手指力按压的精确力控制测试中包含了对应手指产生的目标力A、容差W与相应的容许时间TD；通过上述三个参量的协同控制来动态的调整每一次手指力按压的精确力控制测试的难度；其中目标力A与容差W均为离散的变量，通过将不同的目标力A与容差W相组合，从而构成前测阶段的S种离散力控制任务；所述主控制模块采用黄金分割法检索S种离散力控制任务在设定容许时间及调整策略下的反应时间TR的上限与下限并将所述反应时间TR的上限与下限作为先验知识；所述的反应时间即为所述主控制模块输出手指力按压的精确力控制测试与接收到数字信号的时间差；
在训练阶段：所述主控制模块确定训练次数N，且结合所述先验知识随机生成K次包含手指力按压的精确力控制测试的训练任务，并按照前测阶段的方式依次进行测试，根据测试的成败结果获得K次训练任务的总成功率；若K次训练任务的总成功率与设定的目标成功率存在偏差，则结合前测阶段获得的先验知识来自适应的调整K+1次训练任务的难度，直至完成N次训练；
所述前测阶段与训练阶段的每一次手指力按压的精确力控制测试完成后，主控制模块均通过反馈模块反馈测试结果。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：底座，其用于固定所述手指力采集模块。
3.根据权利要求1所述的系统，其特征在于，所述手指力采集模块包括多个压力传感器以及分别与每一压力传感器相连的电压放大电路；
所述压力传感器，用于采集电压信号；
所述电压放大电路，用于将电压信号进行放大处理后向外传输。
4.根据权利要求1或2或3所述的系统，其特征在于，所述反馈模块包括：头戴式显示器、隔音耳机与振动电机；
所述头戴式显示器，用于显示所述包含手指力按压的精确力控制测试的视觉刺激与所述包含手指力按压的精确力控制测试的训练任务；还用于显示每一次测试完成后的测试成功或失败结果；
所述隔音耳机，用于在每一次测试完成后，输出相应的测试成功或失败音频信号；
所述振动电机，用于在测试成功后产生振动反馈；
其中，所述振动电机设置在底座上，其数量为一个或者与所述手指力采集模块中的压力传感器数量相同。
5.根据权利要求1所述的系统，其特征在于，所述主控制模块包括：上位机训练信息输入模块与下位机逻辑控制模块；
所述上位机训练信息输入模块，用于实现所述前测阶段与训练阶段的功能；
所述下位机逻辑控制模块，用于根据测试成功或失败结果来控制反馈模块中振动电机的启停。
6.根据权利要求1所述的系统，其特征在于，所述主控制模块采用黄金分割法检索S种离散力控制任务在设定容许时间及调整策略下的反应时间TR的上限与下限包括：
初始状态下，将时间b设为初始时容许时间的上限：将时间a设为初始时容许时间的下限：通过设定的调整策略，利用迭代法不断搜索a,b的取值：
在前测阶段的第一次手指力按压的精确力控制测试时，所述主控制模块从S种离散力控制任务中随机抽取一组目标力A与容差W的组合，并将本次手指力按压的精确力控制测试的容许时间设为(a+b)/2；
所述主控制模块根据接收到的数字信号与所述目标力A及容差W的关系，以及本次测试反应时间与容许时间的关系，来判定本次手指力按压的精确力控制测试是否成功；
若成功，则从S种离散力控制任务中抽取另一组目标力A与容差W的组合，并继续采用上一次手指力按压的精确力控制测试的容许时间输出下一次的手指力按压的精确力控制测试，且当连续成功次数达到指定次数P时，降低容许时间的上限：从而降低容许时间，以提高测试难度；若失败，则提高容许时间的下限从而提高容许时间，以降低测试难度；
当通过上述方式重复多次手指力按压的精确力控制测试之后，最终获得的时间bn与时间an满足：bn-an≤ε则终止测试；上式中的ε为设定的精度；
所述主控制模块将最终获得的时间bn与时间an分别作为反应时间TR的上限与下限
7.根据权利要求1或6所述的系统，其特征在于，所述主控制模块确定训练次数N，且结合所述先验知识随机生成K次包含手指力按压的精确力控制测试的训练任务，并按照前测阶段的方式依次进行测试，根据测试的成败结果获得K次训练任务的总成功率，若K次训练任务的总成功率与设定的目标成功率存在偏差，则结合前测阶段获得的先验知识来自适应的调整K+1次训练任务的难度，直至完成N次训练包括：
所述主控制模块确定训练次数为N，设定的目标成功率为q％，并随机产生K组目标力A与容差W的组合，再将先验知识中的反应时间TR的上限与下限的均值作为容许时间；每一组目标力A与容差W的组合以及计算得到的容许时间作为一次包含手指力按压的精确力控制测试的训练任务，则共有K次包含手指力按压的精确力控制测试的训练任务；
依次完成K次训练任务后，所述主控制模块计算K次训练任务的总成功率，并与设定的目标成功率q％相比较；若大于设定的目标成功率q％，则将所述先验知识中反应时间TR的上限作为下一次训练任务的容许时间，以提高训练任务的难度；若小于设定的目标成功率q％，则将所述先验知识中反应时间TR的下限作为下一次训练任务的容许时间，以降低训练任务的难度；
当训练任务的次数达到N次后，终止训练。
8.根据权利要求1所述的系统，其特征在于，所述前测阶段与训练阶段的手指力按压的精确力控制测试包括针对一个手指的测试或多个手指的组合测试。
CN201610417385.0A 2016-06-14 2016-06-14 一种沉浸式视觉和离散力控制任务结合的注意力训练系统 Active CN106128201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610417385.0A CN106128201B (zh) 2016-06-14 2016-06-14 一种沉浸式视觉和离散力控制任务结合的注意力训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610417385.0A CN106128201B (zh) 2016-06-14 2016-06-14 一种沉浸式视觉和离散力控制任务结合的注意力训练系统

Publications (2)

Publication Number Publication Date
CN106128201A CN106128201A (zh) 2016-11-16
CN106128201B true CN106128201B (zh) 2018-12-21

Family

ID=57270282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610417385.0A Active CN106128201B (zh) 2016-06-14 2016-06-14 一种沉浸式视觉和离散力控制任务结合的注意力训练系统

Country Status (1)

Country Link
CN (1) CN106128201B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107468259B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的执行控制注意力测量系统及方法
CN107569245B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的警觉注意力测量系统及方法
CN109806552B (zh) * 2019-01-28 2020-10-23 北京航空航天大学 一种基于呼吸和力触觉协同控制的注意力训练方法及系统
WO2021062851A1 (zh) * 2019-09-30 2021-04-08 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的感觉统合失调测训系统
CN111012307A (zh) * 2019-11-26 2020-04-17 清华大学 基于多模态信息评估患者训练投入程度的方法及装置
CN112205985B (zh) * 2020-09-29 2021-09-03 北京航空航天大学 视觉持续注意力训练装置、训练与测试系统及其方法
CN113268385B (zh) * 2021-05-21 2023-05-12 中国船舶工业综合技术经济研究院 基于视触觉的多指按压力相位协同能力测量系统及方法
CN113903425A (zh) * 2021-12-10 2022-01-07 江苏瑞脑启智医疗科技有限公司 注意力提升方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724987A (en) * 1991-09-26 1998-03-10 Sam Technology, Inc. Neurocognitive adaptive computer-aided training method and system
EP1387644A1 (en) * 2001-05-14 2004-02-11 Cogmed Cognitive Medical Systems AB Method and arrangement in a computer training system
CN101078913A (zh) * 2007-06-28 2007-11-28 北京工业大学 后验控制与多传感器融合方法及中央空调节能控制装置
CN102567731A (zh) * 2011-12-06 2012-07-11 北京航空航天大学 一种感兴趣区域提取方法
CN102573619A (zh) * 2008-12-19 2012-07-11 新加坡科技研究局 用于生成注意力水平表示的设备和方法
CN102693349A (zh) * 2011-03-25 2012-09-26 北京航空航天大学 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN104524681A (zh) * 2014-09-19 2015-04-22 北京航空航天大学 一种基于精确力量控制和触觉反馈及难度自适应的注意力训练方法
CN105425963A (zh) * 2015-11-30 2016-03-23 北京航空航天大学 一种脑电波控制机械臂的系统
CN205127306U (zh) * 2015-11-12 2016-04-06 泸州医学院附属医院 手部力量及注意力训练装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724987A (en) * 1991-09-26 1998-03-10 Sam Technology, Inc. Neurocognitive adaptive computer-aided training method and system
EP1387644A1 (en) * 2001-05-14 2004-02-11 Cogmed Cognitive Medical Systems AB Method and arrangement in a computer training system
CN101078913A (zh) * 2007-06-28 2007-11-28 北京工业大学 后验控制与多传感器融合方法及中央空调节能控制装置
CN102573619A (zh) * 2008-12-19 2012-07-11 新加坡科技研究局 用于生成注意力水平表示的设备和方法
CN102693349A (zh) * 2011-03-25 2012-09-26 北京航空航天大学 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法
CN102567731A (zh) * 2011-12-06 2012-07-11 北京航空航天大学 一种感兴趣区域提取方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN104524681A (zh) * 2014-09-19 2015-04-22 北京航空航天大学 一种基于精确力量控制和触觉反馈及难度自适应的注意力训练方法
CN205127306U (zh) * 2015-11-12 2016-04-06 泸州医学院附属医院 手部力量及注意力训练装置
CN105425963A (zh) * 2015-11-30 2016-03-23 北京航空航天大学 一种脑电波控制机械臂的系统

Also Published As

Publication number Publication date
CN106128201A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106128201B (zh) 一种沉浸式视觉和离散力控制任务结合的注意力训练系统
CN106340221B (zh) 一种纯触觉反馈和连续力控制任务结合的注意力训练系统
US11281296B2 (en) Tactile information conversion device, tactile information conversion method, and tactile information conversion program
CN104524681B (zh) 一种基于精确力量控制和触觉反馈及难度自适应的注意力训练方法
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109637098A (zh) 可穿戴设备及其控制方法
Stanney et al. Virtual environment usage protocols
CN107908000B (zh) 一种带有超声虚拟触觉的混合现实系统
Hu et al. Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN107993170A (zh) 一种基于虚拟现实技术的心理健康教育系统
US20190164444A1 (en) Assessing a level of comprehension of a virtual lecture
KR20200097637A (ko) 시뮬레이션 모래상자 시스템
CN110687804B (zh) 家电控制方法、装置、存储介质、家电控制系统及终端
Botev et al. ChronoPilot—Modulating time perception
CN110941345A (zh) 一种基于脑信号控制器的双向交互方法及系统
CN106355969B (zh) 一种纯声音反馈和连续力控制任务结合的注意力训练系统
CN111596761A (zh) 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置
CN205924441U (zh) 一种多功能智能眼部保健仪
US20240004471A1 (en) Information processing device, information processing method, program, and information processing system
Takeda et al. Tactile actuators using SMA micro-wires and the generation of texture sensation from images
Sawada et al. Tactile pad for the presentation of tactile sensation from moving pictures
Bhowmik Senses, Perception, and Natural Human‐Interfaces for Interactive Displays
Gallone Development of a Wearable Haptic Feedback Device for Upper Limb Prosthetics through Sensory Substitution
WO2022118456A1 (ja) 触覚デバイス
US20240295925A1 (en) Information processing device, information processing method, program, and information processing system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant