CN116419778A - 具有交互辅助特征的训练系统、训练装置和训练 - Google Patents
具有交互辅助特征的训练系统、训练装置和训练 Download PDFInfo
- Publication number
- CN116419778A CN116419778A CN202180052374.6A CN202180052374A CN116419778A CN 116419778 A CN116419778 A CN 116419778A CN 202180052374 A CN202180052374 A CN 202180052374A CN 116419778 A CN116419778 A CN 116419778A
- Authority
- CN
- China
- Prior art keywords
- user
- training
- data
- function
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/0404—Electrodes for external use
- A61N1/0472—Structure-related aspects
- A61N1/0484—Garment electrodes worn by the patient
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/0404—Electrodes for external use
- A61N1/0408—Use-related aspects
- A61N1/0456—Specially adapted for transcutaneous electrical nerve stimulation [TENS]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
- A61N1/37211—Means for communicating with stimulators
- A61N1/37235—Aspects of the external programmer
- A61N1/37247—User interfaces, e.g. input or presentation means
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Rehabilitation Tools (AREA)
- Electrically Operated Instructional Devices (AREA)
- Toys (AREA)
Abstract
提供了一种用于训练第一用户(2a)的训练系统(100),包括:a)计算机程序产品,包括程序代码(P1),当在电子控制单元(1)上加载和执行程序代码时,提供操作控制系统(200),和/或b)电子控制单元,具有程序代码(P1),其中当在电子控制单元上执行程序代码时,提供操作控制系统。操作控制系统被配置为控制第一用户的训练,并且包括多个训练功能。所述训练功能包括数据生成功能(201),被配置为生成指示第一用户在内容处理中的能力的用户能力数据。此外,所述训练功能包括呈现功能(202),被配置为使电子控制单元根据用户能力数据发出呈现命令,以经由用户接口(2、3)呈现特征。该特征可以与第一用户在内容处理中的能力有关。
Description
指定了一种训练系统。此外,还指定了一种训练装置和一种训练。
要实现的一个目的是提供一种改进的训练系统。要实现的另外的目的是提供改进的训练装置和改进的训练。
这些目的尤其通过权利要求1、12和14的主题得以实现。有利的实施例和改进是从属权利要求的主题,并且能够从以下描述和附图中另外提取。
训练可以是语言训练。训练系统可以是语言训练系统。训练装置可以是语言训练装置。在其他情况下,训练可以是认知训练。训练系统可以是认知训练系统。训练装置可以是认知训练装置。
该训练可用于治疗言语和语言障碍,例如失语症,以及与各种疾病相关的认知或社会障碍,例如神经系统疾病如中风、创伤性脑损伤(TBI)、神经退行性疾病,如轻度认知障碍(MCI)、痴呆症(阿尔茨海默病),帕金森病或神经发育障碍(如自闭症谱系障碍)。然而,训练可以明确用作非治疗性训练,例如用于提高语言技能或认知技能。
首先,说明了训练系统。训练系统被配置为提供第一用户的训练。第一用户可以是语言残疾或认知障碍的患者。
根据至少一个实施例,所述训练系统包括计算机程序产品,所述计算机程序产品包括程序代码,当所述程序代码在电子控制单元上加载和执行时,所述程序代码提供操作控制系统。附加地或替代地,训练系统可以包括具有程序代码的电子控制单元,其中当所述程序代码在所述电子控制单元上执行时,所述程序代码提供操作控制系统。程序代码可以是所谓的App。
电子控制单元优选地包括处理器或处理引擎。计算机程序产品可以是数据载体,例如记忆棒、CD(光盘)、磁存储硬盘(HD)、SSD(固态设备)。数据载体可以是非暂时性数据载体。计算机程序产品可以是数据流(例如作为数字信号和/或模拟信号有线或无线传输的数据流)。电子控制单元可以是笔记本、PC、平板、移动电话或智能电话的部分。
根据至少一个实施例,操作控制系统被配置为控制第一用户的训练。
根据至少一个实施例,操作控制系统包括多个训练功能。训练功能可以是计算机程序的功能,例如计算机程序的类。训练功能可以是程序代码或计算机程序的单独的子模块。训练功能可以彼此通信,即交换数据或信息。在训练或训练会话期间,可以同时和/或一个接一个地执行训练功能。
根据至少一个实施例,训练功能包括数据生成功能。数据生成功能可以被配置为生成用户能力数据。用户能力数据可以指示第一用户在内容处理中的能力。
术语“内容”包括但不限于:语言相关内容、记忆相关内容、执行相关内容、视觉空间相关内容、情感内容。例如,内容可以是表达、信息、概念、事实、图片等。术语“内容处理”特别包括以下中的一个或更多个或全部:内容理解、内容确认、与内容相关的响应生成。特别地,内容处理包括语言产生和/或语言理解。响应产生包括,例如,说和/或写和/或指示可用选项中的首选选项。
例如,用户能力数据可以是预处理患者状态,即第一用户的病症类型的信息。患者信息可以包括例如脑损伤的类型和位置、fMRI数据、治疗内容列表。此外,用户能力数据可以包括要在第一用户的训练中使用/处理的内容,例如表达(如单词或短语)或概念或信息。例如,内容可以包括关键内容(例如关键表达),所述关键内容是已知第一用户难以处理的内容。附加地或替代地,内容可以包括非关键内容,例如非关键表达,其是已知第一用户能够处理的内容。非关键内容可以是第一用户已经训练过的内容。用户能力数据可以包括在第一用户的训练期间确定的认知负荷数据。认知负荷数据可以是指示与第一用户执行任务的能力以及与训练相关的其他活动相关的第一用户的心理生理数据或心理生理模式的数据。
可以在第一用户的第一训练会话之前和/或在一个或更多个训练会话之后或期间产生一些用户能力数据。换句话说,数据生成功能可以被配置为在训练开始时,即在第一训练会话开始之前,生成用户能力数据,和/或可以被配置成在训练期间更新用户能力数据。在训练期间生成、产生或确定的任何类型的数据,例如通过使用其他训练功能,可以用于借助于数据生成功能生成用户能力数据。特别地,数据生成功能可以被配置为使得电子控制单元将用户能力数据存储在存储器中。
根据至少一个实施例,训练功能包括呈现功能。所述呈现功能可以被配置为使所述电子控制单元根据所述用户能力数据发出呈现命令,以经由用户接口呈现特征。该特征可以与第一用户在内容处理中的能力有关。
根据用户能力数据发出的呈现命令意味着通过考虑或考虑用户能力数据来发出或确定呈现命令。因此,呈现命令和相关联的呈现特征(可以称为能力特征)可以传输用户能力数据的信息。然而,另外,呈现功能可以被配置为使得电子控制单元独立于用户能力数据和/或根据其他数据或其他信息来发出呈现命令。在下文中将提及,根据另外的信息/数据发出该呈现命令。呈现功能可以被配置为使得电子控制单元根据这些数据和/或信息的任何组合发出呈现命令。
用户接口可操作地耦合到训练设备,其中特征经由该用户接口呈现。该接口可以被配置为呈现该特征和/或接收用户的输入并将该输入转换成用户数据。在这里和下文中,用户接口可以包括以下一个或更多个或全部:显示器(例如触摸屏)、麦克风、扬声器、触觉或触觉反馈元件、可视或听觉警报元件、VR(虚拟现实)设备(例如VR眼镜)、AR(增强现实)设备(例如AR眼镜)、鼠标、键盘。用户可以经由用户接口输入信息,例如通过对着麦克风说话、通过在触摸屏上写字、通过在键盘上打字、通过点击鼠标等。
在这里和下文中,由用户接口呈现的特征被特别理解为能够被用户能够感知或注意和/或理解的信息或元素。例如该特征是视觉和/或声学特征。该特征可以显示在用户接口的显示器上。声学特征可以由用户接口的扬声器呈现。该特征可以呈现给第一用户或另一用户。
该特征可以与第一用户在内容处理中的能力有关。特别地,这意味着,该特征指示第一用户在内容处理中的能力。例如,该特征呈现第一用户必须执行并适应于第一用户的能力的任务,或者该特征呈现关于第一用户能力的信息。
在至少一个实施例中,用于训练第一用户的训练系统包括:
a)计算机程序产品,包括程序代码,当所述程序代码在电子控制单元上加载和执行时,所述程序代码提供操作控制系统,和/或
b)电子控制单元,具有程序代码,其中当所述程序代码在所述电子控制单元上执行时,所述程序代码提供操作控制系统。操作控制系统被配置为控制第一用户的训练,并且包括多个训练功能。所述训练功能包括数据生成功能,所述数据生成功能被配置为生成用户能力数据,其中所述用户能力数据指示所述第一用户在内容处理中的能力。此外,所述训练功能包括呈现功能,所述呈现功能被配置为使所述电子控制单元根据所述用户能力数据发出呈现命令,以经由用户接口呈现特征。该特征可以与第一用户在内容处理中的能力有关。
第一用户的训练可以包括或由多个训练会话组成。每个训练会话可以具有至少1分钟或至少10分钟或至少30分钟的持续时间。附加地或替代地,每个训练会话可以具有最多5小时或最多3小时或最多1小时的持续时间。同一天可以进行几次训练。不同的训练会话可以在不同的日子进行。在不同的训练会话之间,训练可以被中断(例如中断至少10分钟或至少1小时)。在一个或更多个或所有训练会话期间,至少一个(例如,至少两个或至少五个或至少十个)呈现命令可以由呈现功能发出,并且可以经由用户接口呈现相应数量的特征。
根据至少一个实施例,训练功能包括识别功能,该识别功能被配置为根据借助于用户接口提供的用户输入数据来识别内容(例如表达),特别是关键内容(例如关键表达)。用户数据可以是音频用户输入数据。该接口可以是音频用户接口。输入数据指示用户(例如第一用户或另一用户)的输入,例如语音输入。关键内容是第一用户难以处理的内容。
内容可以是表达,例如单个单词或整个短语或句子。用户接口可以包括麦克风。用户向用户接口(例如麦克风)讲话(语音输入),并将其转换为音频用户输入数据,识别功能从中提取一个或更多个表达。识别可以优选地实时执行。识别功能可以使用语音识别软件,例如商业语音识别软件。
根据至少一个实施例,呈现功能被配置为使得电子控制单元根据所识别的内容(例如关键内容)发出呈现命令,以经由用户接口呈现辅助特征。辅助特征被配置为在训练中辅助第一用户,例如,辅助第一用户处理关键内容。
辅助特征是经由用户接口呈现的一种特殊类型的特征。它可能是听觉和/或视觉特征。例如,辅助特征是同义词和/或重新表述,例如以书面形式或声学形式呈现,和/或(关键)内容的图形描述(例如象形图或图片)。辅助特征也可以是上下文相关内容,例如以书面或声学的图形形式呈现。辅助特征还可以是向第二用户指示第一用户难以处理所识别的(关键的)内容的特征,例如通过突出显示内容。
根据至少一个实施例,所述识别功能被配置为从所述用户输入数据中提取信息,其中所述信息指示用户输入的主题,即上下文。换句话说,识别功能可以被配置为根据用户输入数据执行语义分析,以提取用户输入的主题。
根据至少一个实施例,呈现功能被配置为使得电子控制单元根据用户输入的主题发出呈现命令,以经由用户接口呈现辅助特征。例如,辅助特征是与主题相关的关键或非关键内容,如表达,以可视或可听的形式呈现。
根据至少一个实施例,识别功能被配置为根据借助于用户接口提供的并且指示第二用户的输入的用户输入数据来识别内容,特别是关键内容。第二用户不同于第一用户。例如,第二用户可以是对话者,例如第一用户的家庭成员或朋友或治疗师。
可以向第一用户分配第一用户接口,并且可以向第二用户分配第二用户接口。第一用户接口和第二用户接口可以可操作地耦合到训练系统,或者可以各自耦合到单独的训练系统,其中,各个训练系统然后可以彼此耦合。每个用户接口可以被配置为根据呈现命令来呈现呈现特征和/或接收所分配的用户的用户输入并将其转换为用户输入数据。
第一用户接口可以明确地分配给第一用户和/或第二用户接口可以明确地分配给第二用户。例如,第一用户不能感知经由第二用户接口呈现的内容,和/或第二用户不能感知经由第一用户接口呈现出的内容。第一用户接口和第二用户接口可以位于不同的房间中和/或可以彼此间隔超过10m或超过100m或超过1km。
根据至少一个实施例,用户能力数据指示已知会给第一用户带来处理困难的一个或更多个关键内容。
根据至少一个实施例,识别功能被配置为根据用户输入数据(例如音频用户输入数据)和用户能力数据来识别关键内容(例如关键表达)。识别功能可以从用户输入数据中一个接一个地提取内容,并且可以将每个提取的内容与存储的用户能力数据的关键内容进行比较。如果提取的内容与用户能力数据的关键内容匹配,则将提取的内容识别/标记为关键内容。
根据至少一个实施例,识别功能被配置为仅根据用户输入数据识别至少一个关键内容(例如关键表达)。例如,识别功能识别出第一用户在处理内容方面存在困难,例如正在结结巴巴的表达。识别功能可以被配置为使得其执行用户输入的语义分析,并根据该语义分析确定第一用户难以处理的内容。然后将确定的内容识别/标记为关键内容。
根据至少一个实施例,呈现功能被配置为使得电子控制单元例如根据用户能力数据发出第一呈现命令,以经由用户接口呈现关键内容(例如关键表达)的列表,以指示第一用户难以处理的内容。关键内容可以是应该由第一用户在训练中训练的内容,以提高第一用户的能力。或者,关键内容可以是训练中应避免的内容。例如,关键内容的列表能够在用户接口上以表格的形式呈现,并且对于每个关键内容,可以在该表格中呈现同义词或重新措辞或图形描述。
根据至少一个实施例,呈现功能被配置为使得电子控制单元例如根据用户能力数据发出第二呈现命令,以经由用户接口呈现非关键内容(例如非关键表达)的列表,以指示第一用户能够处理的内容。例如为了提高第一用户的能力或者为了加强第一用户的自信心,非关键内容可以是应当在训练中额外使用的内容。
根据至少一个实施例,第一呈现命令和/或第二呈现命令被配置为通过经由第二用户的用户接口(第二用户接口)呈现关键和/或非关键内容的列表。
根据至少一个实施例,呈现功能被配置为在执行识别功能之前执行。例如,在执行识别功能之前发出第一呈现命令和/或第二呈现命令。
附加地或替代地,呈现功能可以在识别功能之后执行。还可以以交替的方式执行识别功能和呈现功能。例如,每次识别关键内容时,呈现功能根据识别出的关键内容发出呈现命令,以经由用户接口呈现辅助特征。
在一个实施例中,每次识别功能对用户输入数据(例如表达)执行语义分析时,呈现功能使电子控制单元发出呈现命令,以经由第二用户的用户接口(第二用户接口)呈现关键和/或非关键内容的列表,其中所述关键和/或非关键内容在语义上与所述用户输入数据相关。
根据至少一个实施例,呈现功能被配置为使得电子控制单元例如根据用户能力数据发出呈现命令,以经由用户接口,特别是通过第一用户接口呈现认知任务。认知任务是将由第一用户执行的任务。认知任务可以是以下任务中的任何一项:视觉空间处理任务、集中任务、注意力任务、计划任务、问题解决任务、记忆任务、复述任务、必须回答问题的任务、需要描述图片内容的任务、必须玩游戏的任务,例如n-back或数字广度模式(digit spanparadigm)的计算机游戏。可以根据用户能力数据来选择任务。
根据至少一个实施例,训练功能包括表现评估功能。表现评估功能可以被配置为确定,特别是计算或提供指示第一用户在解决任务中的表现的任务表现数据。例如,为了执行任务,第一用户必须经由第一用户接口执行输入,例如,他/她必须在第一用户接口上书写,或者必须向第一用户接口讲话,或者必须按下第一用户接口的按钮。
该任务可以是认知任务和/或训练任务(见下文进一步解释)。任务表现数据可以包括指示第一用户在解决任务中的表现的得分值。例如,得分值能够为0至100的整数,其中得分值100指示高任务表现,得分值0指示低任务表现。此外,可以考虑时间,例如对任务的响应的反应时间。
根据至少一个实施例,所述训练功能包括认知负荷功能,所述认知负荷功能被配置为根据所述任务表现数据来确定认知负荷数据,其中所述认知负荷数据指示所述第一用户的认知负荷(以下也称为认知状态)。附加地或替代地,认知负荷功能可以被配置为根据心理生理数据来确定认知负荷数据。心理生理数据指示使用检测器、例如状态监测设备对第一用户执行的至少一个心理生理测量。举例来说,第一用户的认知负荷能够分为以下类别:分心、低负荷、中等负荷、高负荷和过载。基于认知负荷数据,可以将认知负荷/状态分配给第一用户。认知负荷功能优选地针对每个用户个性化。
根据至少一个实施例,操作控制系统被配置为根据所确定的第一用户的认知负荷或根据所确定的认知负荷数据来分别控制训练。例如,根据第一用户的认知负荷来确定或改变借助于呈现功能生成的后续任务(训练任务或认知任务)的难度或级别。附加地或替代地,可以发出呈现命令以经由第二用户接口向第二用户呈现第一用户的认知负荷的信息。如果例如检测到高认知负荷,则操作控制系统可以向第一用户建议休息。
优选地,操作控制系统被配置为在第一用户的实际认知负荷改变之前,例如在过载发生之前,根据所确定的认知负荷或负荷数据来分别控制训练。为此,认知负荷数据可以指示认知负荷中即将发生的变化。
心理生理数据可以包括一个或更多个或所有以下指标:情绪数据、面部表情数据、皮肤电活动数据、心率(可变性)数据、脉搏数据、微跳数据、扫视数据、瞳孔测量数据、注视和眼跳数据、眨眼数据、语音记录数据、陈述性情绪状态数据、陈述性工作负荷数据、陈述性能量水平、呼吸持续时间数据、呼吸频率数据、鼠标轨迹数据、鼠标点击数据、体温数据。认知负荷数据可以根据所有这些指标来确定,也可以仅根据其中的一些指标来确定,也可以仅根据其中的一个指标来确定。或者为了个性化表现,操作控制系统可以基于用户数据的历史将上述指标中的一个或更多个分类为不相关的(例如,如果过去会话中的指标之一建议总是跳过而对训练的效率没有负面影响并且认知负荷总是快速降低的中断,则给定的指标重要性可能降低)。可以使用一个以上的指标来更精确地检测负荷的变化,例如两个指标的相互作用来检测支配生理唤醒的认知负荷,例如在心率增加的瞬间分析瞳孔扩张信号。
以下提及的一个或更多个检测器/状态监测设备可用于生成指标:可以使用拍摄第一用户的网络摄像头来生成情绪数据和面部表情数据。可以使用第一用户佩戴的手镯或手表来生成皮肤电活动数据和/或心率(可变性)数据和/或者脉搏数据。可以使用基于视频的眼动仪和/或网络摄像头眼动仪来生成微眼跳数据和/或瞳孔测量数据和/或者注视和眼跳数据。可以借助麦克风生成语音记录数据、呼吸持续时间数据和呼吸频率数据。陈述性情绪状态数据和/或陈述性工作负荷数据和/或陈述性能量水平可以通过用户回答问卷(例如使用NASA-TLX)和/或通过语义分析来生成。这可能需要第一用户经由第一用户接口进行输入,例如语音或书写或按下按钮。体温数据可使用温度计生成。
眼睛跟踪可以基于例如任务诱发瞳孔反应(TEPR)、瞳孔直径的试验间变化(BCPD)、瞳孔径的试验内变化(CPD)、微眼跳率、微眼跳幅度、焦点/周围视觉注意力的指标。
上述检测器或状态监测设备中的至少一些可以是第一用户接口的一部分。特别是,麦克风和/或网络摄像头可能就是这种情况。
为了根据心理生理数据确定认知负荷数据,认知负荷功能可以使用分类器。分类器接收任务表现数据和/或心理生理数据作为输入,并生成第一用户的认知负荷数据或认知负荷作为输出。分类器可以是基于AI(人工智能)的分类器。例如,分类器包括神经网络。
分类器可以如下训练:可以向第一用户呈现若干任务,例如认知任务。相应的任务表现数据可以被认为是第一用户的认知负荷的主要指示。然后,提取的任务表现数据用于校准认知处理过程中认知负荷的心理生理指标。任务,特别是认知任务,可以以不同的难度水平呈现给用户,使得训练系统能够识别心理生理指标的模式,并将它们匹配到不同类别的认知状态/负荷,例如分心、低负荷、中等负荷、高负荷和过载。在执行任务时,可以根据响应的精度和反应时间分析进行分类。此外,当第一用户执行训练任务时,训练系统还可以收集关于心理生理活动的数据,即心理生理数据(参见下面的解释)。以此方式,分类器学习哪些心理生理数据/模式指示第一用户的认知状态。
稍后,认知负荷功能可以从心理生理数据中提取心理生理模式,并且可以使用心理生理模式来使用分类器确定认知负荷数据。例如,认知负荷功能然后可以随后仅根据心理生理数据(即,不使用任务表现数据)来分别确定认知负荷数据或认知负荷。
分类器可以在第一用户的训练期间或在训练会话之后进行训练。
根据至少一个实施例,认知负荷功能被配置为根据第一用户的自我报告来确定认知负荷数据。这可能是认知负荷功能的一个特征,附加地或替代地根据任务表现数据和/或心理生理数据来确定认知负荷数据。例如,操作控制系统使电子控制单元发出命令(例如借助于呈现功能),以请求第一用户指示他/她的认知状态。相应的特征/问题可以经由用户接口呈现。根据第一用户的相关回答(自我报告),认知负荷功能决定认知负荷。第一用户的自我报告能够是回答NASA-TLX问卷。第一用户的自我报告可以是第一用户在解决任务之前、期间或之后的语音输入,指示第一用户发现任务的难度。特别地,自我报告是由第一用户经由用户接口提供的用户输入,其生成自我报告数据,并且根据自我报告数据可以确定认知状态。
在Eija Haapalainen等人的论文“Psycho-Physiological Measures forAssessing Cognitive Load”,Behavioural Brain Research 293(2015)2UbiComp'10:Proceedings of the 12th ACM international conference on Ubiquitous computing,September 2010,Pages 301–310中,描述了如何通过心理生理指测量评估认知负荷的方法。该文中描述的内容和方法通过引用并入本文。
在Henrik Wiberg等人的论文“Physiological responses related to moderatemental load during car driving in field conditions”,Biological Psychology,Volume 108,May 2015,Pages 115-125中,使用了多项指标,如心率、皮肤电导水平、呼吸持续时间、眨眼频率、眨眼持续时间,以及与眼睛注视相关的电位和自我报告以确定认知负荷。该文中描述的内容和方法通过引用并入本文。
在Charlotte Larmuseau等人的论文“Combining physiological data andsubjective measurements to investigate cognitive load during complexlearning”,Frontline Learning Research,7(2),May 2019,Pages 57-74中,研究了生理数据,即皮肤电活动(EDA)与脑力劳动的关系。该文中描述的内容和方法通过引用并入本文。
在Ramtin Zargari Marandi等人的论文“Reliability of Oculometrics Duringa Mentally Demanding Task in Young and Old Adults”,IEEE Access,vol.6,2018,Pages 17500-17517中,研究了眼球测量法对精神负荷中变化的敏感性。该文中描述的内容和方法通过引用并入本文。
在Krzysztof Krejtz等人的论文“Eye tracking cognitive load using pupildiameter and microsaccades with fixed gaze”PLOS ONE 13(9):e0203629,2018中,认知负荷是根据心理计算任务中微眼跳的测量来估计的。该文中描述的内容和方法通过引用并入本文。
在Petar等人的论文“Modeling cognitive load and physiologicalarousal through pupil diameter and heart rate”,Multimed Tools Appl 79,2020,Pages 3145–3159中,研究了在严肃游戏中参与决策任务的个体的认知负荷处理能力,以探索大量的认知负荷如何支配对瞳孔直径的生理唤醒效应。该文中描述的内容和方法通过引用并入本文。
用户的任务表现也可能受到其情绪状态的影响。除了确定认知负荷(数据)之外,认知负荷功能还可以使用用于评估情绪处理的指标。
根据至少一个实施例,训练功能包括刺激功能,该刺激功能被配置为使电子控制单元向脑电刺激设备发出刺激命令,以使脑电刺激设备执行脑电刺激程序。
根据至少一个实施例,呈现功能被配置为使得电子控制单元例如根据用户能力数据发出呈现命令,以经由用户接口呈现将由第一用户执行的训练任务。
训练任务可以是语言任务或认知任务。训练任务可以包括单词或句子、图片、象形图等的呈现,优选地由与特定任务组同步的非侵入性脑刺激支持。为了解决该任务,第一用户可能需要理解所呈现的单词或句子,识别图片或象形图的内容和/或特别是经由第一用户接口以语音或书面形式主动地产生与语言相关的输出。不同类型的任务包括复述、回答问题、描述图片内容或提供语义相关的单词,例如使用生成任务。创建的训练任务扩展可以涉及与聊天机器人进行大声控制的对话,其中第一用户可以选择几种可能的响应之一。
优选地,刺激功能和呈现功能可以是链接的或者彼此之间可链接。脑电刺激程序可以是经颅刺激程序。
刺激功能和呈现功能可以特别地被及时链接或同步,例如,使得在向第一用户呈现和/或由第一用户执行任务(认知任务和/或训练任务)的同时执行脑刺激程序。可以针对在训练会话期间呈现的所有任务或仅针对选定的或特殊的任务(例如,比在同一训练会话中呈现的其他任务更困难的任务)执行脑刺激程序。通过脑电刺激,训练系统可以对大脑受刺激部分的神经元活动产生积极影响。方便的是,大脑的受刺激部分或区域在执行任务和/或用于解决由呈现功能呈现的任务时是活跃的。在与刺激会话相结合的训练期间,神经元网络增强可以有效地支持治疗过程,并且第一用户可以在相对短的时间内改善脑功能,例如语言处理和/或语音生成能力、认知功能、记忆表现等,这源于对神经元的这种双重影响(例如通过电刺激和参与执行任务的自然脑激活)。在呈现和/或执行任务时,由于额外的脑电刺激,用户的表现可能会得到改善。脑刺激与所执行任务的链接可能会对脑的训练效果(即神经可塑性)和/或用户进行几次训练的动机产生积极影响。所提出的系统可能特别适合患有失语症的用户(例如在遭受中风或创伤性脑损伤(TBI)之后)。
附加地或替代地,刺激功能和呈现功能可以特别地是可链接或链接的,例如时间同步的,使得例如在执行和/或呈现当前训练会话的第一任务之前执行准备刺激。可以提供准备刺激作为任务刺激的替代或补充,所述准备刺激在任务的呈现和/或执行期间执行。准备刺激可增加相关脑区的可塑性。因此,可以进一步提高训练效率。
换句话说,术语“链接”可能意味着刺激功能和呈现功能的调度彼此协调(例如通过操作控制系统)。调度例如指刺激程序开始的时间、任务的呈现开始的时间,刺激程序终止的时间和任务的呈现终止的时间中的至少一个。
术语“链接”还可能意味着刺激的类型和/或刺激的强度(例如幅度、持续时间等)可能取决于必须执行的任务的类型。
因此,优选地,特定脑区的脑电刺激功能例如也同时与呈现功能结合使用,在特别是在没有外部电刺激的情况下,该呈现功能通过生理性脑活动过程,激发或激活用户的相同脑区。这两个功能的组合允许两个功能之间的协同效应,如果仅使用其中一个程序或两个功能间没有联系,则这是不可能的。
例如,通过使用连接到和/或固定到脑刺激系统的第一用户的头部的至少一个电极、两个电极或多个电极,可以对用户进行经颅脑电刺激程序。第一用户可以是患有失语症或其他神经障碍(例如认知障碍)的患者。替代地,第一用户可以是意图改善他或她的语言处理和/或产生技能或认知功能的健康人。
刺激程序中的刺激类型,例如在准备刺激和/或任务刺激中,可以在刺激命令中指定为恒定电流模式(经颅直流电刺激(tDCS))或变化电流模式(例如经颅交流电刺激(tACS),经颅随机噪声刺激(tRNS)、电流脉冲)或其序列。
准备刺激可以是恒定电流刺激。恒定或直流(DC)的幅度可以为0.1mA至10mA或0.1mA至5mA,优选为2mA。替代地或附加地,直流电流的幅度可以大于或等于以下值之一:0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1、2、3、4、5mA。替代地或附加地,直流电流的幅度可以小于或等于以下值之一:10、9、8、7、6、5mA。下限和上限之间的所有组合都是可能的,例如1mA至7mA。因此,可以通过组合来自下限和来自上限的值来形成范围。
替代地,准备刺激可以是变化电流刺激。例如,tRNS可能特别适合于变化电流模式中的准备刺激。
任务刺激可以优选地是变化电流刺激。“变化”可能意味着电流是非恒定的,优选是正弦的。刺激的频率,例如特定脑区中的刺激频率和/或变化电流的频率,可以为13Hz(赫兹)至24Hz,特别是17Hz。beta振荡,例如为12.5Hz至30Hz,可能是治疗失语症的首选。替代地或附加地,频率可以大于或等于以下值之一:12、13、14、15、16、17、18、19Hz。替代地或附加地,频率可以小于或等于以下值之一:25、24、23、22、21、20、19Hz(赫兹)。下限和上限之间的所有组合都是可能的,例如12Hz至22Hz。因此,可以通过组合来自下限和来自上限的值来形成范围。
已经表明,beta频率tACS(20Hz)在促进运动皮层神经可塑性效应(运动学习)方面最有效——参见Polok等人的“The effect of transcranial alternating currentstimulation(tACS)at alpha and beta frequency on motor learning”,BehaviouralBrain Research 293(2015)234–240,其通过引用并入本文。在Wernicke区,类似于运动皮层,也存在beta频率的振荡。具体而言,已经表明,17Hz的频率是Wernicke活动中最显著的频率之一(见Nikolaev等人的“Correlation of brain rhythms between frontal andleft temporal(Wernicke's)cortical areas during verbal thinking”,NeuroscienceLetters 298(2001)107-110,其通过引用并入本文)。在不受理论的束缚的情况下,基于此,我们假设17Hz的刺激对失语症治疗可能特别有效。
可以以40Hz至50Hz的频率(例如40Hz或50Hz)执行任务刺激。已经表明,使用这个频率范围或这些频率对阿尔茨海默病的治疗有影响,例如Dhaynaut,M.,Pascual-LeoneA.,Santarnecchi E.,El Fakhri G.(2020)“Effects of modulating gammaoscillations via 40Hz transcranial alternating current stimulation(tACS)onTau PET imaging in mild to moderate Alzheimer’s Disease”,Journal of NuclearMedicine 61(340)),其通过引用并入本文。在不受理论的约束的情况下,基于此,我们假设这种频率范围在MCI中可能也是有效的,并且将这种类型的刺激与认知任务同步将是有益的。
然而,附加地或替代地,其他频率范围也可能是相关的,例如,如科学论文中所示的alpha振荡,例如,频率为7.5Hz至12.5Hz。频率可以大于或等于以下值之一:7、8、9Hz。频率可以小于或等于以下值之一:13、12、11、10、9Hz。下限和上限之间的所有组合都是可能的,例如8Hz至11Hz。
其他频率也可能相关,例如delta(1Hz至4Hz),theta(4Hz至8Hz),低gamma(30Hz至70Hz)和高gamma(70Hz至150Hz)。特别地,可以使用75Hz的频率或70Hz至80Hz或60Hz至100Hz或60Hz至250Hz范围内的频率。
以下替代方案可用于刺激频率,例如准备刺激和/或任务刺激:
-替代方案b),变化电流的频率可以是或在70Hz(赫兹)至80Hz的范围内,例如75Hz,
-在替代方案b)中,变化电流的频率优选地大于或等于以下值之一:69、70、71、72、73、74、75、76、77、78、79Hz,
-在替代方案b)中,变化电流的频率优选地小于或等于以下值之一:80、79、78、77、76、75、74、73、72或71Hz,
-替代方案c),变化电流的频率可以是或在60Hz(赫兹)至100Hz的范围内,例如75Hz或80Hz,
-在替代方案c)中,变化电流的频率优选地大于或等于以下值之一:59、60、61、62、63、64、65、66、67、68、69、70、71、72、73、74、75、76、77、78、79、80、81、82、83、84、85、86、87、88、89、90、91、92、93、94、95、96、97、88或99Hz,
-在替代方案c)中,变化电流的频率优选地小于或等于以下值之一:100、99、98、97、96、95、94、93、92、91、90、89、88、87、86、85、84、83、82、81、80、79、78、77、76、75、74、73、72、71、70、69、68、67、66、65、64、63、62或61Hz,
-替代方案d),变化电流的频率可以是或在60Hz(赫兹)至250Hz的范围内,例如60、70、80、90、100、110、120、130、140、150、160、170、180、190、200、210、220、230、240或250Hz,
-在替代方案d)中,变化电流的频率优选地大于或等于以下值之一:60、70、80、90、100、110、120、130、140、150、160、170、180、190、200、210、220、230、240Hz,
-在替代方案d)中,变化电流的频率优选地小于或等于以下值之一:250、240、230、220、210、200、190、180、170、160、150、140、130、120、110、100、90、80或70Hz,
-替代方案e),变化电流的频率可以是或在30Hz(赫兹)至70Hz的范围内,例如30、35、40、45、50、55、60、65或70Hz,
-在替代方案e)中,变化电流的频率优选地大于或等于以下值之一:30、35、40、45、50、55、60或65Hz。
-在替代方案e)中,变化电流的频率优选地小于或等于以下值之一:70、65、60、55、50、45、40或35Hz。
-替代方案f),变化电流的频率可以为或在70Hz(赫兹)至150Hz的范围内,例如70、75、80、85、90、95、100、105、110、115、120、125、130、135、140、145或150Hz,
-在替代方案f)中,变化电流的频率优选地大于或等于以下值之一:70、75、80、85、90、100、105、110、115、120、125、130、135、140或145Hz。
-在替代方案f)中,变化电流的频率优选地小于或等于以下值之一:150、145、140、135、130、125、120、115、110、105、100、95、90、85、80或75Hz。
变化电流刺激的幅度可以为0.1mA至10mA或0.1mA至5mA,优选为2mA。替代地或附加地,幅度可以大于或等于以下值之一:0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1、2、3、4、5mA(毫安)。替代地或附加地,幅度可以小于或等于以下值之一:10、9、8、7、6、5mA。下限和上限之间的所有组合都是可能的,例如1mA至7mA。因此,可以通过组合来自下限和来自上限的值来形成范围。
根据至少一个实施例,刺激功能包括用于任务刺激的任务刺激功能。任务刺激可以被配置为与任务(训练任务和/或认知任务)的呈现同步。可以在向第一用户呈现任务期间和/或在第一用户执行任务期间执行任务刺激。
根据至少一个实施例,训练功能包括被配置为接收环境用户输入数据的环境功能。环境用户输入数据指示第一用户在其中执行训练的用户选择的虚拟环境。例如,用户能够通过例如在用户接口上按下多个按钮中的一个来选择虚拟环境,其中每个按钮被分配不同的虚拟环境。
根据至少一个实施例,呈现功能被配置为使得电子控制单元发出呈现命令,以在用户接口上呈现环境特征。环境特征指示用户选择的虚拟环境。
环境功能可以在识别功能之前执行。环境特征可以是环境的图片、例如形成显示背景。附加地或替代地,环境特征可以是环境典型主题的至少一幅图片和/或环境的至少一个典型表达。环境特征可以是动画房间或虚拟现实空间。
根据至少一个实施例,呈现功能被配置为使得电子控制单元根据环境用户输入数据发出呈现命令。例如,根据环境用户输入数据选择用于呈现内容列表的第一呈现命令和/或第二呈现命令。关键和非关键内容可以是与所选虚拟环境相关的内容。
根据至少一个实施例,数据生成功能被配置为根据借助于用户接口提供的并且由用户执行的输入来生成(即生成或更新)用户能力数据。例如,第一用户和/或第二用户可以在所分配的用户接口上选择内容,例如表达,内容是在训练会话期间第一用户难以处理或第一用户能够处理的内容。该选择可以确认或补充关键内容和/或非关键内容的列表。
根据至少一个实施例,生成功能被配置为根据任务表现数据产生用户能力数据。任务表现数据可以指示哪些内容必须进一步训练或者第一用户能够容易地处理哪些内容。
在至少一个实施例中,用于训练第一用户的训练系统包括:
a)计算机程序产品,包括程序代码,当所述程序代码在电子控制单元上加载和执行时,所述程序代码提供操作控制系统,和/或
b)电子控制单元,具有程序代码,其中当所述程序代码在所述电子控制单元上执行时,所述程序代码提供操作控制系统,
-其中所述操作控制系统被配置为控制第一用户的训练,
-其中所述训练包括执行社交互动模块的步骤,其中,所述第一用户例如经由至少一个用户接口与第二用户交互、特别是通信。
-其中所述操作控制系统包括多个训练功能,所述训练功能包括:
-识别功能,其被配置为根据借助于用户接口提供的并且指示第一用户或第二用户的输入的用户输入数据来识别关键内容,其中所述关键内容是第一用户难以处理的内容,
-呈现功能,其被配置为使得所述电子控制单元根据所识别的关键内容发出呈现命令,以经由用户接口呈现辅助特征,所述辅助特征被配置为辅助所述第一用户处理所述关键内容。
在至少一个实施例中,用于训练第一用户的训练系统包括:
a)计算机程序产品,包括程序代码,当所述程序代码在电子控制单元上加载和执行时,所述程序代码提供操作控制系统,和/或
b)电子控制单元,具有程序代码,其中当所述程序代码在所述电子控制单元上执行时,所述程序代码提供操作控制系统,
-其中所述操作控制系统被配置为控制第一用户的训练,
-其中所述训练包括执行社交互动模块的步骤,其中,所述第一用户与第二用户交互
-其中所述操作控制系统包括多个训练功能,所述训练功能包括:
-呈现功能,所述呈现功能被配置为使得所述电子控制单元发出呈现命令,以经由第二用户的用户接口呈现非关键内容的列表,以向第二用户指示第一用户能够处理的内容。
接下来,指定了训练装置。
根据至少一个实施例,所述训练装置包括根据本文中指定的实施例中的任一项的训练系统。特别地,这意味着关于训练系统公开的所有特征也针对训练装置公开。
根据至少一个实施例,训练装置包括第一用户接口,所述第一用户接口被配置为接收第一用户的输入和/或向第一用户呈现特征。第一用户接口可以是第一电子设备的一部分,第一电子设备例如PC或平板电脑或智能手机或笔记本电脑或膝上型电脑。
根据至少一个实施例,训练装置包括第二用户接口,所述第二用户接口被配置为接收第二用户的输入和/或向第二用户呈现特征。第二用户接口可以是第二电子设备的一部分,第二电子设备例如PC或平板电脑或智能手机或笔记本电脑或膝上型电脑。
根据至少一个实施例,第一用户接口和第二用户接口经由无线连接可操作地耦合。替代地,第一用户接口和第二用户接口可以经由有线连接可操作地耦合。第一用户接口和第二用户接口可以位于不同的房间中和/或可以彼此隔开。每个接口可以被分配其自己的训练系统。例如第一电子设备和第二电子设备,如智能手机或平板电脑,可以各自包括训练系统和用户接口。两个电子设备的训练系统然后可以被配置为彼此通信(无线或有线)以执行训练。
接下来,指定第一用户的训练。训练可以是治疗性训练,例如治疗失语症,或非治疗性训练(例如提高技能)。训练可以是语言训练。训练是一种训练技能的方法。
特别地,可以使用本文指定的训练系统和/或训练装置来执行训练。因此,针对训练系统和/或训练装置公开的所有特征也针对训练公开,反之亦然。特别地,可以在训练期间执行或使用训练系统的一些或所有训练功能。例如,操作控制系统被配置为执行以下指定的不同模块。
根据至少一个实施例,训练包括生成用户能力数据的步骤。用户能力数据指示第一用户在内容处理中的能力。
根据至少一个实施例,训练包括根据用户能力数据发出呈现命令以经由用户接口呈现特征的步骤。该特征优选地与第一用户在内容处理中的能力有关。
根据至少一个实施例,训练包括执行个性化训练模块的步骤。个性化训练模块的执行也被称为训练的个性化训练会话,其中第一用户优选地仅与电子设备交互,而没有其他用户或人员参与。在个性化训练模块/会话期间,可以执行所述训练功能中的任何一个。
根据至少一个实施例,在个性化训练模块中,发出呈现命令以经由用户接口呈现将由第一用户执行的任务。与任务的呈现同步,可以向脑刺激设备发出刺激命令,或者可以执行脑电刺激程序。
根据至少一个实施例,在个性化训练模块中,确定指示第一用户在解决任务中的表现的任务表现数据。
根据至少一个实施例,方法包括执行社交互动模块的步骤。社交互动模块的执行也被称为训练的社交互动会话,其中第一用户优选地通过训练装置和/或训练系统与第二用户交互,特别是通信。因此,训练系统或训练装置也可以被称为通信系统或通信装置。
社交互动模块优选地在已经执行了至少一个个性化训练会话之后执行。在社交互动模块/会话和个性化训练模块/会话之间,第一用户可以休息。社交互动模块能够时间独立于个性化训练模块执行(例如在执行个性化训练模块之后的任何时间)。在社交互动会话期间,可以执行所述训练功能中的任何一个。
根据至少一个实施例,在社交互动模块中,第一用户和第二用户彼此交互,例如执行对话。第一用户和第二用户优选地不在同一房间中,使得交互必须通过至少一个电子设备来传输。例如,每个用户都使用PC、智能手机或平板电脑。
根据至少一个实施例,在社交互动模块中,根据借助于用户接口提供的并且指示用户之一(例如第二用户)的输入的用户输入数据来识别内容(例如表达,例如关键或非关键内容或表达)。用户接口可以是音频用户接口,输入数据可以是音频数据,输入可以是语音输入。用户接口可以包括麦克风。非关键内容可以是在执行社交互动模块之前(例如在个性化训练会话期间)已经训练过的内容。
社交互动模块可以使用以下作为输入:
-在个性化训练模块中训练的内容具有关于第一用户能够处理的第一用户/患者的内容处理水平的数据,例如表达、单词、短语、概念信息、事实等,
-从认知模块输出的第一用户的认知状态(如下所述)。
根据至少一个实施例,在社交互动模块中,根据所识别的表达发出呈现命令,以经由用户接口(例如通过第二用户接口)呈现特征。该特征可以被配置为影响用户之间的交互。例如该特征可以是被配置为辅助第一用户处理所识别的关键内容的辅助特征。辅助特征可以呈现在第二用户接口上,以指示第二用户已经使用了关键内容并且他/她应该选择另一内容。附加地或替代地,辅助特征可以呈现在第二用户接口上以指示第一用户,例如关键内容的同义词或图形描述。
根据至少一个实施例,方法包括执行认知模块的步骤。认知模块可以是训练的会话或会话的一部分。认知模块可以在个性化训练模块/会话期间和/或在社交互动模块/会话中执行。
根据至少一个实施例,在认知模块中,根据任务表现数据和/或根据心理生理数据来确定第一用户的认知负荷。心理生理数据指示使用检测器对第一用户执行的至少一个心理生理测量。
根据至少一个实施例,该方法包括根据所确定的第一用户的认知负荷来控制训练的步骤。例如,个性化训练模块中呈现的任务的难度根据认知负荷进行调整。附加地或替代地,在社交互动模块期间可以发出呈现命令以经由第二用户接口向第二用户呈现第一用户的认知负荷的信息。
训练的所有步骤可以由训练系统和/或由训练装置来执行。因此,训练尤其是计算机实施的训练。
此外,还指定了计算机程序产品。计算机程序产品包括机器可读指令,当在处理器或训练设备或训练装置上加载和执行时,所述机器可读指令被配置为使处理器或训练设备或训练装置执行本文中指定的训练。
考虑到不同的用户/患者的需求和能力,以及恢复过程,本文所述的训练系统尤其提供了扩展的语音-语言平台,可选地通过认知练习和健康练习来丰富。训练特别引出了社交互动模块,该模块以特殊方式设计,以巩固治疗效果和/或支持与患者朋友和家人的沟通。训练包括更具互动性、吸引性和个性化的内容和互动流程。此外,它还提供了社交元素,这被证明对治疗失语症和认知障碍患者(即一群由于无法与健康人有效沟通而被社会孤立的患者)有益。该训练的好处之一是分析学习进度、情绪状态、行为数据(反应时间)和心理生理指标(如认知负荷),以优化任务难度水平。预期平台的非正式环境经过优化,可以通过有趣但仍结构化的方式学习,帮助用户恢复语言和认知技能。在社交互动模块的熟悉和系统支持的环境中巩固新技能可提高成功学习。该训练适用于因神经退化而出现的各种认知障碍,例如轻度认知障碍、阿尔茨海默病、帕金森病。
社交互动模块可以被优化以巩固在个性化训练模块中学习的内容。在个性化训练模块、认知模块和社交互动模块中执行的任务和练习之间存在着强烈的关联,从而产生了执行现实生活活动不可或缺的扩展环境情境方法。事实证明,保持现有的友谊和关系是有益的(例如有益于患者康复)。社交互动训练有助于恢复现实生活中的关系/恢复日常生活中至关重要的沟通技能。所呈现的训练可能有助于例如在失语症中避免社交孤立。
在下文中,将基于示例性实施例参考附图更详细地解释训练系统、训练装置和训练。相同的附图标记指示各个图中的相同元件。然而,所涉及的尺寸比不一定是按比例的,为了更好地理解,可以将各个元件以放大的尺寸来说明。
在图中:
图1示出了训练装置的第一示例性实施例,
图2示出了训练装置的第二示例性实施例,
图3示出了操作控制系统的示例性实施例,
图4至图8示出了基于流程图的训练的示例性实施例,
图9示出了训练的不同模块之间的交互的示例性实施例,
图10和图11示出了用户接口的示例性实施例,
图12示出了脑刺激设备的示例性实施例。
图1示出了训练装置1000的第一示例性实施例,其包括:
-训练系统100,
-第一用户接口2,例如监视器或触摸屏,例如与麦克风和扬声器组合,用于可视和/或可听输入和输出,
-脑刺激设备4,
-检测器5、5a或状态监测设备5、5a,以及
-远程定位设备134,例如位于不同房间中的位置和/或与用户2a的房间在视觉上分开的位置,和/或位于与训练系统100的距离大于1km(千米)或大于10km的位置。该距离可以小于1000km或地球上两个位置之间的任何其他距离。
训练系统100和第一用户接口2可以是电子设备的一部分,电子设备例如平板电脑、膝上型电脑、移动电话、智能手机、个人计算机、工作站或某种其他类型的计算系统。
训练系统100包括:
-易失性存储器104,例如RAM(随机存取存储器),
-非易失性存储器106,
-电子控制单元1,例如CPU(中央处理器)或MCU(微控制器单元),以及
-未详细示出的其他部件,例如电源。
非易失性存储器106存储程序代码P1。程序代码P1包括实现训练系统100的训练功能的程序。下面将结合图3对这些功能进行更详细的描述。非易失性存储器106可以是SSD(固态盘)存储器、磁存储硬盘或某种其他类型的存储器。如果训练系统100被打开,程序代码P1被复制为程序代码P1a,然后被加载到易失性存储器104中,这允许比非易失性存储器106更快地读取和写入数据。电子控制单元1执行程序代码P1a并实现具有训练功能的操作控制系统。作为非易失性存储器的替代,程序代码P1也可以经由数据流提供给电子控制单元1。
第一用户接口2可以固定地连接到训练系统100,如在智能手机、移动电话、PC(个人计算机)、工作站、平板电脑或笔记本电脑中,或者它可以是单独的设备。如果第一用户接口2是单独的设备,则在训练系统100和第一用户接口2之间可以存在有线连接112或无线连接。此外,键盘、计算机鼠标或其他种类的输入和/或输出设备可以是第一用户接口2的部分,例如麦克风和扬声器。替代地或附加地,耳机和/或麦克风可以被包括或可操作地连接到脑刺激设备4或第一用户接口2以用于语音输入和/或输出。
例如患有失语症或认知障碍的第一用户2a或患者2a将脑刺激设备4佩戴在他/她的头上,以启用对大脑2b的电刺激。脑刺激设备4可以例如通过有线或无线连接124可操作地连接或连接到训练系统100。脑刺激设备4的详细信息如图12所示,并在下文进行描述。
用户状况监视设备5可以是可以具有手镯或手表的形式和/或可以戴在手腕上的设备。另外的状态监测设备5a(例如眼动仪或网络摄像头)被集成到第一用户接口2中。状态监测设备5可以包括测量第一用户2a的皮肤的EDA(即皮肤电活动)的设备。替代地或附加地,状态监测设备5可以包括用于测量与第一用户2a的心跳相对应的第一用户2a脉搏的设备。替代地或附加地,还可以检测或测量心率变异性(HRV)。替代地或附加地,可以记录第一用户的语音以分析用户的状况。训练系统100的功能可以使用用户状态监测设备5、5a的测量数据,特别是与上述心理生理数据相关的测量数据,该数据可以洞察第一用户2a的当前认知状态/负荷。下面将对此进行更详细的解释。在状态监测设备5和脑刺激设备4和/或训练系统100之间可以存在有线连接或无线连接。
远程定位设备134可以被人用来获得对训练系统100的远程访问。远程定位设备134可以是智能手机、平板电脑、膝上型电脑、个人计算机等。在训练系统100和远程位置设备134之间可以存在使用互联网或其它通信方式(例如数据包、网络)的连接。远程定位设备134可用于实现训练系统100的功能。
图1的训练装置1000可用于执行以下更详细描述的个性化训练模块/会话。
图2示出了训练装置1000的第二示例性实施例,该训练装置1000可用于执行以下更详细描述的社交互动模块/会话。
与训练装置的第一示例性实施例不同,根据第二示例性实施方式的训练装置1000包括第二用户接口3。第二用户接口3可以是监视器或触摸屏,例如与麦克风和/或扬声器组合,用于可视和/或可听输入和输出。第二用户接口3可以是智能电话或移动电话或平板电脑或膝上型电脑或个人计算机的部分。第二用户3a使用第二用户接口来给出输入或接收输出。接口2、3可以经由无线连接、例如经由因特网或经由有线连接可操作地耦合。
与图2中所示的不同,第一用户2a可以在社交互动会话期间不佩戴脑刺激设备4。
图3示出了操作控制系统200的示例性实施例,操作控制系统200包括多个训练功能,即:
-数据生成功能201,
-呈现功能202,
-识别功能203,
-认知负荷功能205,
-刺激功能206,
-环境功能207,
-表现评估功能208,
-健康功能209,
-主功能210。
数据生成功能201
数据生成功能201可以被配置为生成用户能力数据。用户能力数据指示第一用户在内容处理中的能力,例如语言产生和/或语言理解。附加地或替代地,内容处理可以涉及认知领域,例如记忆技能、推理技能、计划技能、视觉空间功能、执行功能。能力数据可以指示心理状况,例如抑郁的历史/抑郁的当前状态、抑郁发作、心理资源。特别地,用户能力数据可以是治疗前的患者状况,即第一用户的病症类型的信息。患者信息可以包括例如脑损伤的类型和位置、fMRI数据、治疗内容列表。此外,用户能力数据可以包括用于训练第一用户的内容,特别是表达,即单词或短语。例如,内容可以包括已知会给第一用户带来处理困难的关键内容。附加地或替代地,内容可以包括非关键内容,其是已知第一用户能够处理的内容。
数据生成功能201可以配置为使电子控制单元1在非易失性存储器106或易失性存储器104中写入新的用户能力数据。操作控制系统200的其他训练功能可以访问存储器104、106,即,它们可以使电子控制单元1从存储器104、106中提取和提供数据。
如图3所示,一些功能连接到数据生成功能201。在该示例性实施例中,认知负荷功能205和表现评估功能208连接到数据生成功能201。它们可以分别向数据生成功能201发送认知负荷数据或表现评估数据,以将它们存储在存储器104、106中。
此外,如图3所示,接口2、3也连接到数据生成功能201。经由用户接口2、3的用户输入,例如,应当在未来的训练会话中训练的反馈或内容,可以经由用户接口2、3输入,然后能够借助于数据生成功能201存储在存储器104、106中。
呈现功能202
呈现功能202配置为使电子控制单元1发出呈现命令,以通过接口2、3呈现特征。呈现在用户接口2、3上的特征可以是可视或可听特征。例如,该特征是关键内容的图形描述或可听或可视(例如以书面形式)的同义词。
呈现功能202被特别配置为使电子控制单元1发出呈现命令,以经由用户接口2、3呈现任务、例如训练任务和/或认知任务。呈现功能202还被配置为使电子控制单元1发出其他呈现命令,以例如在用户接口2、3上呈现环境特征。
呈现功能202可以访问存储器104、106。特别地,可以根据存储在存储器104、106中的用户能力数据来发出呈现命令。
呈现功能202连接到主功能210。主功能210可以与呈现功能202通信,以影响由呈现功能202发出的呈现命令。
呈现功能202还连接到环境功能207。环境功能207可以与呈现功能202通信,以影响由呈现功能202发出的呈现命令。
此外,呈现功能202连接到识别功能203。以此方式,识别功能203能够影响由呈现功能202发出的呈现命令。
识别功能203
识别功能203连接到用户接口2、3,并接收借助于用户接口2和3提供的用户输入数据。用户输入数据指示用户的输入,例如语音输入。识别功能203被配置为根据用户输入数据识别内容,例如关键内容,特别是实时识别内容。
识别功能203连接到存储器104、106。识别功能203可以从用户输入数据中一个接着一个地提取一个内容(例如表达),并且可以将它们与存储在存储器104、106中的关键内容(例如关键表达)进行比较,以识别用户输入数据的关键内容。可选地,识别功能203可以通过执行用户输入数据的语义分析来根据用户输入数据识别关键内容。在这种情况下,识别功能203可以不依赖于存储在存储器104、106中的用户能力数据。
识别功能203连接到呈现功能202。如果识别功能203已经识别出关键内容,则其可以与呈现功能202通信以根据识别出的关键内容发出呈现命令,以经由用户接口2、3呈现辅助特征。辅助特征被配置为辅助第一用户处理关键内容。辅助特征可以呈现在第一用户接口2或第二用户接口3上。如果辅助特征被呈现在第一用户接口2上,则辅助特征可以是关键内容的图形描绘或同义词。如果辅助特征被呈现在第二用户接口上,则辅助特征可以是指示已经使用了关键内容并且第一用户不能处理该关键内容(例如不能给出正确答案)的警报。
认知负荷功能205
认知负荷功能205被配置为根据任务表现数据和/或根据心理生理数据和/或者根据第一用户提供的自我报告来确定认知负荷数据。认知负荷数据指示第一用户的认知状态。
认知负荷功能205可操作地连接到状态监测设备5、5a。它接收借助于状态监测设备5、5a生成的心理生理数据。此外,认知负荷功能205可操作地连接到表现评估功能208,并且可以接收借助于表现评估功能208生成的表现评估数据。
认知负荷功能205可以通过使用AI(人工智能)分类器来确定认知负荷数据。可以从存储器104、106加载分类器。因此,认知负荷功能205连接到存储器104、106。
认知负荷功能205可操作地连接到数据生成功能201。所确定的认知负荷数据可以被传达到数据生成功能201,该数据生成功能确保这些数据被写入存储器104、106。认知负荷功能205也连接到主功能210。根据第一用户的认知状态,主功能210可以使呈现功能202发出适当的呈现命令。例如,可以根据认知状态来调整借助于呈现功能202呈现的任务的难度。
刺激功能206
刺激功能206可以被配置为使电子控制单元1向脑电刺激设备4发出刺激命令,以使脑电刺激设备4执行脑电刺激程序。以下参考图4更详细地描述了脑电刺激程序。
刺激功能206可以包括用于准备刺激的准备刺激功能和/或用于任务刺激的任务刺激功能。准备刺激可以被配置为在会话的第一任务被呈现给第一用户2a之前被执行,优选地被完全执行。替代地或附加地,任务刺激可以被配置为与任务的呈现同步。可以在向第一用户2a呈现任务期间和/或在第一用户2a执行任务期间执行任务刺激。为此,刺激功能202可操作地耦合到呈现功能202。
刺激类型可以在刺激命令中包含恒定电流模式(经颅直流电刺激(tDCS))或变化电流模式(例如经颅交流电刺激(tACS),经颅随机噪声刺激(tRNS)、电流脉冲)或其序列。
操作控制系统200可以被配置为使得在训练或训练会话期间发出用于改变电流模式的至少一个刺激命令。该刺激命令可以与用户接口2上的任务呈现同步。刺激命令可以是用于交流模式(tACS)中的刺激的命令。交流模式中的电流可以具有相同或类似的频率,该频率也存在于相关脑区中神经元的自然振荡中,相关脑区例如与语言处理和/或生产相关的脑区、与记忆、计划、推理或执行功能相关的脑区,以及对情绪调节和心理健康至关重要的脑区。
刺激命令可以包括刺激数据。替代地或附加地,刺激命令可以指存储在存储器104、106中的刺激数据。为此,刺激功能206可以访问存储器104、106。
环境功能207
环境功能207被配置为接收指示用户选择的虚拟环境的环境用户输入数据。为此,环境功能207可操作地连接到用户接口2、3,相关联的用户2a、3a可以经由该用户接口选择用于训练的虚拟环境。
环境功能207可操作地连接到呈现功能202。呈现功能202被配置为使电子控制单元1发出呈现命令,以在用户接口2、3上(例如在分配给第一用户2a的第一用户接口2上)呈现环境特征。环境特征指示用户选择的虚拟环境。
表现评估功能208
表现评估功能208可以被配置为计算或提供任务表现数据,该任务表现数据指示第一用户2a在执行任务时的表现,例如表现的质量。换句话说,表现评估功能208可以收集数据。任务可以是训练任务和/或认知任务。
表现评估功能208可以考虑以下因素中的至少一个、任意选择的多个或全部:
-1)任务表现的精度,
-2)任务表现的持续时间,
-3)来自上次评估或标准测试结果的分数,例如来自标准量表的反馈(例如来自西方失语症成套测验或渐进失语症严重程度量表、迷你精神状态检查或蒙特利尔认知评估的反馈),
-4)执行期间的刺激强度因子,该因子可考虑以下一个或任意选择的多个或全部:是否存在准备刺激(见图4)、是否存在任务刺激(见图4),以及这些刺激的可选强度或指示电刺激的其他参数,
-5)任务的级别,例如可以有0至100的100个级别。0级可能是最简单的级别。
该表现可以被给予分数,例如,0至100。分数可以指示表现的质量,例如精度。该分数可以考虑错误的数量,例如错误单词的选择、印刷错误的数量等。该分数可以由主管(例如从业者或其他人)手动给出,或者可以由系统100自动地(例如计算地)评估。表现持续时间考虑第一用户执行单个任务所花费的时间。持续时间可以由系统100自动确定或测量,例如通过测量呈现命令和任务完成信号或命令之间的时间,该信号或命令可以由系统100自动生成或需要输入,例如由用户、主管或从业者输入。可以根据为特定任务预定义的持续时间范围给出分数。如果是书面任务解决方案,可以使用任务开始和书写结束之间的时间。该持续时间也可以用作正确答案的指示。持续时间可以表示患者执行特定任务的难度。每个任务可以具有参考时间,例如基于健康受试者执行任务所需的中位或平均时间。如果持续时间与平均时间相当,则下次可以选择更困难的任务。
表现评估也可考虑其他因素。可以基于这些因素中的一个、更多个或全部来计算每个任务或部分任务的最终得分。表现评估功能208可以在训练会话之后计算以下内容:
-会话的所有任务的中位或平均得分;这可以用于给出治疗进展的反馈,特别是对于治疗师或作为第一用户2a的动机,和/或
-每种任务的中位或平均得分;这可用于详细报告和/或用于调整不同类型任务的刺激。
表现评估的相关任务可以主要是需要处理脑区活动的任务。
表现评估功能208可操作地耦合到认知负荷功能205,以将任务表现数据发送到认知负荷功能205。呈现功能208可操作地耦合到接口2、3,以接收表示由第一用户2a执行的任务的答案的用户输入数据。表现评估功能208可操作地耦合到数据生成功能201,例如以使数据生成功能201将任务表现数据写入存储器104、106。此外,表现评估功能208可操作地耦合到主功能210,主功能210可使呈现功能202根据任务表现数据发出呈现命令。例如,通过这种方式,能够改变后续任务的难度。
可以根据所确定的认知负荷数据或第一用户的认知状态来分别改变后续任务的难度。来自健康功能209的指示用户在会话开始或中间输入的信息/数据也可用于调整困难。该信息可以涉及用户的状态,例如动机、恢复力、情绪或能量水平。
例如,如果第一用户宣布能量水平差,系统100可以更早地检测到干预的需要,它可以改变引入干预的心理生理模式的水平(例如,-0.5SD(标准偏差)),或者系统应引入来自相同/相似认知状态的心理生理模式的水平(即,当用户声明相同/相似状态时收集的心理生理模式)。
在系统引入任务难度和交互流程(干预)的变化后,它会收集有关用户表现和用户反馈的数据。基于收集的数据,系统100可以在下一次迭代中以更合适的方式校正干预,例如,通过增加或减去心理生理模式/选择值的0.5、1或2SD和/或通过提出不同的活动(例如,呼吸练习形式的健康功能,和/或提出后续任务的主题的改变,改变后续任务的复杂程度)来改变干预策略。
健康功能209
健康功能209可操作地连接到用户接口2、3。用户,特别是第一用户2a,可以经由用户接口2、3提供关于他/她的动机、恢复力、情绪或能量的水平的反馈,该反馈被转换为用户输入数据。用户输入数据被发送到健康模块209。健康模块209可以被配置为生成指示用户反馈的反馈数据。
为了确定反馈数据,健康模块209还可以耦合到表现评估功能208和/或认知负荷功能205(为了增加图3的清晰度,耦合在图3中未示出)。可以根据任务表现数据和/或认知负荷数据来确定反馈数据。
反馈数据可以被发送到主功能210。然后,主功能210可以使呈现功能202根据反馈数据发出呈现命令,以经由用户接口2、3呈现健康特征或内容。健康内容可以是呼吸任务、激励任务、放松任务、正念任务、恢复力任务、分享故事任务。以这种方式,第一用户可以恢复,因此可以具有用于下一任务的更多能量和认知能力。通过这种方式可以防止认知过载。
因此,健康功能可用于建立工作量-放松平衡。健康功能通过主动响应用户的状态来提高训练的可用性和灵活性。此外,用户状态监测可用于监测用户的认知状态和情绪状态,以确保训练的最佳结果并防止认知过载,从而有助于保持注意力。如果存在中间阶段,例如固定或可调整的持续时间,优选在两个后续呈现命令之间没有任务呈现,也没有电刺激程序,那么注意力可以保持更长。是否在两个后续任务之间应用中间阶段取决于认知负荷数据。
主功能210
主功能210可以协调或影响呈现功能202,以经由用户接口2、3呈现考虑了所确定的认知负荷数据和/或所确定的表现评估数据和/或者反馈数据的特征。因此,主功能210可操作地耦合到认知负荷功能205、表现评估功能208和健康功能209。
操作控制系统200还可以包括内容向导功能(未示出),内容向导功能被配置为使得用户(例如患者、治疗师或其他人)可以设计新任务或使用个性化内容(例如家庭照片或与患者的爱好相关的文本)更新现有任务。与所选主题相关的个性化、熟悉的内容和/或环境中的互动可以有助于提高参与度,从而促进训练结果。
图4至图8示出了训练的示例性实施例。在图4中,执行个性化训练模块A或个性化训练会话A。对于个性化训练会话A,第一用户2a可以仅与电子设备(PC、智能手机、膝上型电脑、平板电脑或笔记本电脑)交互,而没有其他用户参与。为了执行个性化训练会话A,图1的装置1000可以被使用。个性化训练会话A可以例如由图3的操作控制系统200执行。
个性化训练会话A在步骤S_A1中开始,例如通过第一用户2a按下按钮或通过选择第一用户接口2上的按钮符号。这可以启动个性化训练会话A。当启动时,第一用户2a可以将脑刺激设备4安装到他的头部,并且可选地,用户状态监测设备5、5a可以被打开。
在步骤S_A2中,从存储器104、106加载数据、例如用户能力数据。
下一方法步骤S_A3检查是否必须执行准备刺激。准备刺激可能是必要的、例如在会话开始时或对于特定用户或患者。可以在第一用户接口2上示出问题框,或者可以使用存储在存储器104或106中的数据来决定是否必须执行准备刺激。是否执行准备刺激可以由会话的主管(例如,医生/治疗师或其他人)预先设置,并且可以存储在用户能力数据中。
如果应当执行准备刺激,则方法步骤S_A4在方法步骤S_A3之后。在方法步骤S_A4中进行准备刺激。准备刺激可以是对大脑2b使用恒定刺激电流(tDCS)的刺激。然而,除了(优选地按顺序施加,即不同时施加)或代替恒定电流刺激,其他刺激方式在准备刺激期间也是可能的,例如变化电流刺激,例如交流电刺激(tACS)或脉冲电流或随机噪声刺激(tRNS)。准备刺激可对受刺激区域产生兴奋作用,即可用于提高神经元的活性。
在准备刺激结束之后,可以例如在第一用户接口2上或在存储在存储器104、106中的日志文件中报告准备刺激成功。
如果执行准备刺激,则方法步骤S_A5在步骤S_A4之后,如果没有进行准备刺激,则方法步骤S_A5在步骤S_A3之后。在步骤S_A5中,检查是否必须执行主要刺激,即在执行任务期间的刺激。可以在用户接口2上示出问题框,或者可以使用存储在存储器104、106中的会话数据来决定是否必须执行主要刺激。
如果决定不必执行主要刺激,则方法步骤S_A6在方法步骤S_A5之后。在图S_A6中,配置了新任务或新任务组(多个任务),例如训练任务和/或认知任务。任务/任务组的选择可以由从业者手动完成,或者基于用户能力数据(例如已通过从业者批准或输入的数据)自动完成。
在步骤S_A7中,在第一用户接口上呈现任务。例如,第一用户2a被要求使用语音或书写主动地产生对任务的响应,或者通过经由第一用户接口2选择答案来提供对任务的应答。
在步骤S_A8中,记录第一用户2a的响应。在步骤S_A10中,基于第一用户2a的响应来确定任务表现数据。在步骤S_A11中,任务表现数据被存储到存储器104、106。然后,所存储的任务表现数据可以用于执行下面进一步解释的社交互动模块D/社交互动会话D。在步骤S_A12中,任务表现数据被发送到认知模块B、C,这将在下面进一步解释。
可以针对任务组的每个任务重复步骤S_A7、S_A8、S_A10、S_A11、S_A12。步骤S_A10、S_A11和/或S_A12可以仅在已经执行了任务组的几个或所有任务之后执行。
如果决定必须在方法步骤S_A5中执行主要刺激,则可以在方法步骤S_A6中选择/配置任务或任务组(训练任务和/或认知任务)。任务或任务组的选择可以由从业者手动完成,或者基于用户能力数据自动完成。
在步骤S_A9中,可以生成如上所述的刺激命令。电流刺激对于任务组的所有任务都可以是相同的,忽略用户放松的中间阶段。替代地,电流刺激可以在第一用户2a正在进行的会话期间或者在当前发生的会话期间改变,例如,关于电流刺激的种类,关于幅度、频率、偏移、相位等,以及关于受刺激的脑区。可以优选变化电流刺激,特别是交流电刺激。交流电流(例如正弦电流)的频率可以对应于相关脑区中神经元的振荡的主频率。可使用的频率和/或幅度范围在上文的介绍部分中给出。也可以使用其他形式的信号,例如梯形、矩形、三角形、二次型等。然而,除了(优选按顺序施加,即不同时施加)变化电流刺激之外或代替变化电流刺激,恒定电流刺激也是可能的。然而,根据大脑节律调整变化的变化电流刺激对于辅助大脑可能特别有效。
替代地,对于任务组的所有任务使用相同的电流刺激,该刺激可以取决于要执行的特定任务。在步骤S_A9中,例如使用存储在存储器104、106中的特定数据来选择属于特定任务的特定刺激。使用适当的刺激命令打开特定刺激。整个任务的电流刺激可以相同。替代地,电流刺激可以在执行任务期间改变,例如关于电流刺激的种类,关于幅度、频率、偏移、相位等,以及关于受刺激的脑区。可以为任务优选变化电流刺激,特别是交流电刺激。交流电流(优选正弦电流)的频率可以对应于相关脑区中神经元的振荡的主频率。相关的脑区可能取决于任务的类型。然而,在特定任务期间,除了(优选地顺序施加,即不同时施加)变化电流刺激或代替变化电流刺激之外,恒定电流刺激也是可能的。然而,根据脑节律调整变化的变化电流刺激对于辅助大脑2b解决任务可能特别有效。
可以针对任务组的每个任务重复步骤S_A9,即对于任务组的步骤S_A7、S_A8、S_A10、S_A11和/或S_A12的每个重复,并且针对任务组中的每个任务,选择特定刺激。在呈现特定任务期间,可以暂停或继续主要刺激。
如图4所示,步骤S_A6中的任务或任务组的选择也取决于认知模块B、C的输入,这将在下面进一步详细解释。
图5示出了认知模块B、C的第一部分B的执行。第一部分B可以与个性化训练会话A并行执行(例如在任务呈现期间或之间)。
在步骤S_B1中,接收来自个性化训练模块A的任务表现数据。在步骤S_B2中,心理生理数据借助于状态监测设备5、5a生成。附加地或替代地,心理生理相关数据可以由用户自我报告。在步骤S_B3中,任务表现数据和心理生理数据被组合并同步。这意味着,当解决一个或更多个任务时,与第一用户的认知状态相关联的心理生理数据分别与分配给该任务或这些任务的任务表现数据相结合。
在步骤S_B4中,根据心理生理数据计算心理生理负荷度量或心理生理模式(例如,用于所收集的心理生理数据的特定变化的参数)。根据任务表现数据计算指示用户在解决任务中的表现的表现指标,例如得分、反应时间、解决任务的时间。这可以称为第一数据集。第一数据集指示第一用户的认知状态。
在步骤S_B8中,任务表现数据和心理生理数据被添加到训练系统100的缓冲器中。
在步骤S_B9中,使用分类器对缓冲数据进行分类。分类器可以是AI(人工智能)分类器(例如包括神经网络),其获得缓冲数据作为输入并且提供分类数据作为输出。可以仅使用缓冲的心理生理数据作为分类器的输入,以确定分类数据。分类数据指示第一用户的认知状态。
在步骤S_B5中,第一数据集和分类数据被组合,以确定认知负荷数据对于第一用户的认知状态是不活跃的。使用第一数据集和分类数据可以提高准确性。
在步骤S_B6和S_B7中,基于并利用步骤S_B5的第一数据集、分类数据和确定的认知负荷数据来更新和训练分类器。
在步骤S_B10中,可以将第一用户的认知状态发送到认知模块B、C的第二部分C。
分类器可以被训练以在实际认知过载发生之前检测指示认知过载的个体倾向(在心理生理数据和/或任务表现数据和/或自我报告中)。
应当注意,缓冲数据可以包括来自一个以上任务的数据和相应的心理生理数据。以这种方式,当借助于分类器确定认知负荷时,可以考虑数据中的趋势。
图6说明了认知模块B、C的第二部分C的执行。
在步骤S_C1中,接收来自第一部分B的输入。第一用户的认知状态被分配给四个预分类状态之一。预分类状态,简称S,可定义如下:
S=1:任务表现好,心理生理负荷高。
S=2:任务表现好,心理生理负荷低。
S=3:任务表现差,心理生理负荷低。
S=4:任务表现差,心理生理负荷高。
如果S=1,则执行步骤S_C2,在步骤S_C2中决定任务的级别(即任务的难度)好并且应该被保持原样。事实上,与高任务表现相比,高心理生理负荷可能表明任务的难度对于训练结果来说是最佳和有效的。
如果S=2,则执行步骤S_C3,在步骤S_C3中决定任务的级别太低并且应该增加。事实上,如果任务表现高,但心理生理负荷低,这可能表明任务太容易,应该增加难度。
如果S=3,则执行步骤S_C4,在步骤S_C4中决定任务的类型应该被改变。事实上,如果任务表现差并且心理生理负荷低,则可以假设任务没有人参与,应该提高级别或应该改变主题或应该提出其他类型的活动。在可选步骤中,可能会询问第一用户,他接下来想做什么类型的任务。
如果S=4,则可以执行步骤S_C5,在步骤S_C5中决定是否应该中断训练,并且用户应该休息下来。事实上,低任务表现和高心理生理负荷可能表明用户在高强度训练后过载。操作控制系统可以允许第一用户执行更多任务,但可以提示用户他/她是否希望休息。替代地,如果该状况保持更长时间,则操作控制系统可以自动触发中断。如果决定休息,则可以在步骤S_C6中在第一接口上呈现帮助用户放松的特征或任务。例如,提出进行呼吸练习。在步骤SC_7中,在步骤S_C6之后,可以通过再次执行认知模块B、C的第一部分B来检查或验证认知负荷/状态。例如,仅根据心理生理数据验证认知状态。
如果在步骤S_C5中决定不休息,则接下来可以执行步骤S_C4,其中决定应该改变任务的类型。
在步骤S_C8中,来自步骤S_C2、S_C3或S_C4的决定被传送到个性化训练会话A/个性化训练模块A,其在步骤S_A6中适当地选择新任务或新任务组。
在图7中,执行训练的社交互动模块D/社交互动会话D。为了执行社交互动会话D,图2的训练装置1000可以被使用。在社交互动会话D期间,第一用户2a经由用户接口2、3与第二用户3a交互,例如通信。
在可选的步骤S_D1中,第一用户或第二用户选择用于交互的虚拟环境。例如,用户按下相应用户接口2、3上的按钮以选择环境。该环境是两个用户之间应该发生交互的虚拟环境。例如,环境可以是餐厅、野餐区、电影院、剧院、步行道、健身房、照相馆、美容院、亲密/浪漫区、办公室。例如,选择餐厅作为虚拟环境。
在步骤S_D2中,第一用户接口2的显示器28呈现指示所选择的虚拟环境的特征(见图10)。例如,所选择的虚拟环境被指示为2D餐厅,例如从谷歌街景上传,并形成显示背景。同样,第二用户接口3的显示器38可以呈现指示所选虚拟环境的这种特征(见图11)。
此外,在步骤SD_2中,在第二接口2上呈现第一用户词典22(见图10)。该词典22呈现第一用户难以处理的关键内容,例如关键表达,例如理解和/或发音。例如,关键内容由词典22中的图片和/或符号表示。这允许第一用户快速搜索他难以处理的关键内容。可以根据所选择的虚拟环境来选择词典22。例如,选择与所选虚拟环境相关的所有关键内容。例如,关键内容涉及:餐具、菜肴、饮料的命名或点餐等。
此外,在步骤S_D2中,可以在分配给第二用户3a的第二用户接口3上呈现内容云32、33(见图11)。第一内容云32可以显示第一用户能够处理的非关键内容。第一内容云32可以呈现应该在交互期间使用的内容,如表达、单词和/或短语,例如先前已在个性化训练模块A中处理过的内容。第二内容云33可以指示例如应该在交互中避免的关键内容。关键内容也可以来自该个性化训练模块A。内容云32、33也可以基于所选择的虚拟环境来选择。
使用所分配的用户接口2、3,第一用户2a和第二用户3a在步骤S_D3中开始交互,例如对话。因此,用户2a、3a中的每一个可以对着相应的用户接口2、3的麦克风25、35说话,或者可以在相应的用户接口2、3上写字或打字。每个用户可以通过分配给相应用户接口2、3的扬声器24、34听到其他用户的声音。例如,在步骤S_D3中执行语音记录。
在步骤S_D4中,借助于接口2、3生成的用户2a、3a的记录的用户输入数据被添加到缓冲器中。
在步骤S_D5中,从缓冲的用户输入数据中依次提取内容(例如表达)。这优选地借助于适当的软件工具实时执行。提取的内容可以在用户接口2、3上的相应显示区域27、37中显示(见图10和11)。例如,可以以书面形式显示所提取的内容。
在步骤S_D6中,例如从存储器104、106加载关键和非关键内容。关键和非关键内容可能已经借助于个性化训练模块A生成或更新。
在步骤S_D7中,可以将步骤S_D5中提取的内容与步骤S_D6中加载的内容进行比较。在步骤S_D8中,确定所提取的内容是否对应于数据库的内容。
如果是这种情况(Y),则执行步骤S_D9,其中确定所提取的内容是否是关键内容。
如果是这种情况(Y),则执行步骤S_D11,其中,例如,向用户接口2、3中的一个或两个呈现相应的警报。例如,在第二用户接口3上呈现警报,指示第二用户已经使用了关键内容。可以经由第二用户接口3来呈现重新表述关键内容的建议或替代内容的建议。在第一用户接口2上,可以呈现关键内容的同义词和/或表示关键内容的图像或符号,以帮助第一用户。
如果在步骤S_D9中发现所提取的内容不是数据库的内容(N),则执行步骤S_D10,其中确定应调查下一内容。因此,跳到步骤S_D5,并从缓冲数据中提取下一内容。
如果在步骤S_D9中发现所提取的内容是非关键内容,则执行步骤S_D10。
社交互动模块D可以包括步骤S_D12,其中接收借助于认知模块E确定的认知负荷数据或认知状态。如果认知负荷数据/认知状态指示第一用户的认知负荷高,则执行步骤S_D11,并且在用户接口2、3中的一个或两个上呈现警报。
认知模块E在图8中示出。为了执行认知模块E,在步骤S_E1中提取并接收第一用户2a的心理生理数据。在步骤S_E2中将心理生理数据存储在缓冲器中。在步骤S_E3和S_E4中,借助分类器对所缓冲的心理生理数据进行分类,所述分类器可以是结合图5描述的分类器。
在步骤S_E5中,从分类的缓冲数据中提取认知负荷数据,并且在步骤S_E6中,将认知负荷数据或确定的认知状态发送到社交互动模块D。
例如:心理生理数据指示第一用户的心率增加和/或瞳孔直径增加和/或者皮肤电导反应(SCR)的数量增加。分类器已经了解到这些参数中的一个或更多个或全部的特定变化指示增加的认知负荷或即将到来的认知负荷。因此,产生认知负荷数据,其指示增加的认知负荷或即将增加的认知负荷。然后,根据认知负荷数据,操作控制系统控制第一用户的训练。
当执行社交互动模块D时,从缓冲的数据中提取的内容也可以用于执行语义分析,以提取交互或对话的主题。然后,可以在一个或两个用户接口2、3上呈现与主题相关并且应当训练的内容,例如关键或非关键内容。
例如,如果第一用户是患有疾病(例如MCI或阿尔茨海默病)的患者,则可以使用语义分析来识别交互的主题是否包括已知难以由第一用户处理的内容,例如表达、概念、信息或事实。
图9示出了训练的不同模块之间的交互。个性化训练模块A为社交互动模块D提供内容,例如非关键或关键内容(连接91)。社交互动模块D为第一用户和/或第二用户提供选择要进一步训练的内容的可能性,并且这可以提供给个性化训练模块A(连接92)。
任务表现数据借助于个性化训练模块A被提供,并且这些任务表现数据被传送到认知模块B、C、E(连接93)。第一用户2a的心理生理数据借助于用户状态监测设备5、5a提供,并且这些数据也被传送到认知模块B、C、E(连接94)。根据这些数据,认知模块B、C、E确定第一用户2a的认知负荷数据和/或认知状态。认知负荷数据被传送到个性化训练模块A或社交互动模块D(连接95和96)。认知模块B、C、E可以被触发以在执行社交互动模块D期间检查第一用户的认知状态(连接97)。触发可以由第一用户和/或第二用户完成。
图10示出了第一用户2a的第一用户接口2的示例性实施例。已经对元件22、24、25、27和28进行了说明。第一用户接口2还包括一个或更多个快速控制按钮21,其中每个快速控制按钮可用于向对话者(第二用户3a)提供特定信息、请求或回答,例如“请重复”、“请重新表述”、“请稍后再继续”。这些按钮可以触发第二用户接口3上的相关信息的呈现。
显示区域23可用于显示对话者(第二用户)的面部。显示区域27可以进一步用作输入区,以写下或选择应该在个性化训练模块A中训练的所示表达。
图11示出了第二用户接口3的示例性实施例,之前已经对元件32、33、34、35、37和38进行了说明。除此之外,还存在警报区域36,例如闪烁的LED或显示区域,其例如借助于认知模块E,如果识别到第一用户的认知过载,则指示警报。
显示区域31可用于显示对话者(第一用户)的面部。显示区域37可以进一步用作输入区,以写下或选择应该在个性化训练模块A中训练的内容。在第二用户接口3(未示出)上可以存在用于触发个性化训练模块A的内容上传的附加内容更新特征。
图12示出了脑刺激设备4的部分。脑刺激设备4可以包括:
-通信接口402,
-控制单元404,例如MCU(微控制器单元)或CPU(控制处理单元),
-至少一个电极406或至少两个电极406,优选三个或更多个电极,其中,优选地,电极406中的至少一个被配置为设置在第一用户2a的头部上,并且另一个电极可以被放置在例如第一用户2a的身体的适当位置上,例如在他或她的肩膀上,以及
-电源单元408,例如电池或蓄电池。
通信接口402可以是无线接口,例如蓝牙接口。可以经由通信接口402、特别是经由接口的接收单元(未示出)从训练系统100接收刺激命令。接口402可以包括发送单元。可以使用发送单元从通信接口402向训练系统100发送确认消息。
控制单元404可以控制和协调脑刺激设备4内的刺激命令的处理。至少两个电极406连接到适当的输出电路。控制单元404根据刺激命令向该输出电路发送信号或数据。因此,可以根据需要在电极406处产生恒定电流输出或变化电流输出。凝胶可用于改善电极406与第一用户2a的颅骨和/或大脑2b之间的电流传输。电源单元408向脑刺激设备4的其他单元提供电能。
这里描述的本发明不限于结合示例性实施例的描述。相反,即使所述特征或所述组合本身未在专利权利要求或示例性实施例中明确说明,本发明包括任何新的特征以及任何特征的组合,特别是包括专利权利要求中的特征的任何组合。
本专利申请要求欧洲专利申请20461559.5的优先权,其公开内容通过引用并入本文。
附图标记列表
1 控制电路
2 第一接口
2a 第一用户
2b 第一用户的大脑
3 第二接口
3a 第二用户
4 脑刺激设备
5检测器/状态监测设备
5a检测器/状态监测设备
21 快速控制按钮
22 第一用户词典
23 显示区域
24 扬声器
25 麦克风
27 显示区域和输入区
28 显示器
31 显示区域
32 内容云
33 内容云
34 扬声器
35 麦克风
36 警报
37 显示区域和输入区
38 显示器
91…97连接
100 训练系统
104 易失性存储器
106 非易失性存储器
124 无线连接
134 远程定位设备
200 操作控制系统
201 数据生成功能
202 呈现功能
203 识别功能
205 认知负荷功能
206 刺激功能
207 环境功能
208 表现评估功能
209 健康功能
210 主功能
402 通信接口
404 控制电路
406 电极
408 电源
P1 程序代码
P1a 复制的程序代码
A个性化训练模块
B、C、E认知模块
D社交互动模块
S_A1…S_A12方法步骤
S_B1…S_B10方法步骤
S_C1…S_C8方法步骤
S_D1…S_D12方法步骤
S_E1…S_E6方法步骤。
Claims (22)
1.一种用于训练第一用户(2a)的训练系统(100),包括:
a)计算机程序产品,包括程序代码(P1),当所述程序代码在电子控制单元(1)上加载和执行时,所述程序代码提供操作控制系统(200),和/或
b)电子控制单元(1),具有程序代码(P1),其中当所述程序代码(P1)在所述电子控制单元(1)上执行时,所述程序代码提供操作控制系统(200),
-其中所述操作控制系统(200)被配置为控制第一用户(2a)的训练,
-其中所述操作控制系统(200)包括多个训练功能,所述训练功能包括:
-数据生成功能(201),所述数据生成功能被配置为生成用户能力数据,所述用户能力数据指示所述第一用户(2a)在内容处理中的能力,
-呈现功能(202),其被配置为使得所述电子控制单元(1)根据用户能力数据发出呈现命令,以经由用户接口(2、3)呈现特征,所述特征与第一用户(2a)在内容处理中的能力有关。
2.根据权利要求1所述的训练系统(100),其中
-所述训练功能包括识别功能(203),其被配置为根据借助于用户接口(2、3)提供的并且指示用户(2a、3a)的输入的用户输入数据来识别关键内容,其中所述关键内容是第一用户(2a)难以处理的内容,
-所述呈现功能(202)被配置为使得所述电子控制单元(1)根据所识别的关键内容发出呈现命令,以经由用户接口(2、3)呈现辅助特征,所述辅助特征被配置为辅助所述第一用户(2a)处理所述关键内容。
3.根据权利要求2所述的训练系统(100),
-其中所述识别功能(203)被配置为根据借助于用户接口(3)提供的并且指示第二用户(3a)的输入的用户输入数据来识别关键内容。
4.根据权利要求2或3所述的训练系统(100),其中
所述用户能力数据指示已知会给第一用户(2a)带来处理困难的一个或更多个关键内容,
-所述识别功能(203)被配置为根据用户输入数据和用户能力数据来识别关键内容。
5.根据前述权利要求中任一项所述的训练系统(100),其中
-所述呈现功能(202)被配置为使得所述电子控制单元(1)发出第一呈现命令,以经由用户接口(2、3)呈现关键内容的列表,以指示第一用户(2a)难以处理的内容,
-所述呈现功能(202)被配置为使得所述电子控制单元(1)发出第二呈现命令,以经由用户接口(2、3)呈现非关键内容的列表,以指示第一用户(2a)能够处理的内容,
-所述第一呈现命令和/或所述第二呈现命令被配置为经由用户接口(3)向第二用户(3a)呈现所述关键内容的列表。
6.根据前述权利要求中任一项所述的训练系统(100),其中
-所述呈现功能(202)被配置为使电子控制单元(1)发出呈现命令,以经由用户接口(2、3)呈现认知任务,所述认知任务是将由第一用户(2a)执行的任务。
7.根据前述权利要求中任一项所述的训练系统(100),其中
-所述训练功能包括表现评估功能(208),其中,所述表现评估功能(208)被配置为确定指示第一用户(2a)在解决任务中的表现的任务表现数据,
-所述训练功能包括认知负荷功能(205),所述认知负荷功能被配置为根据所述任务表现数据和/或根据心理生理数据来确定认知负荷数据,其中
-所述认知负荷数据指示第一用户(2a)的认知负荷,
-所述心理生理数据指示使用检测器(5、5a)对第一用户(2a)执行的至少一个心理生理测量,
-所述操作控制系统(200)被配置为根据所确定的第一用户(2a)的认知负荷来控制训练。
8.根据权利要求7所述的训练系统(100),其中
-所述认知负荷功能(205)被配置为根据由第一用户(2a)提供的自我报告来确定认知负荷数据。
9.根据前述权利要求中任一项所述的训练系统(100),其中
-所述训练功能包括刺激功能(206),所述刺激功能被配置为使电子控制单元(1)向脑电刺激设备(4、5)发出刺激命令,以使脑电刺激设备(4、5)执行脑电刺激程序,
-所述呈现功能(202)被配置为使电子控制单元(1)发出呈现命令,以经由用户接口(2、3)呈现将由第一用户(2a)执行的训练任务,
-所述刺激功能(206)包括用于任务刺激的任务刺激功能,
-所述任务刺激被配置为与训练任务的呈现同步。
10.根据前述权利要求中任一项所述的训练系统(100),其中
-所述训练功能包括环境功能(207),所述环境功能被配置为接收指示用户选择的虚拟环境的环境用户输入数据,在该用户选择的虚拟环境处,第一用户(2a)执行所述训练,
-所述呈现功能(202)被配置为使电子控制单元(1)发出呈现命令,以在用户接口(2、3)上呈现环境特征,所述环境特征指示用户选择的虚拟环境。
11.根据前述权利要求中任一项所述的训练系统(100),其中
-数据生成功能(201)被配置为根据借助于用户接口(2、3)提供的并由用户(2a、3a)执行的输入来生成用户能力数据。
12.一种训练装置(1000),包括:
-根据前述权利要求中任一项所述的训练系统(100),
-第一用户接口(2),其被配置为接收第一用户(2a)的输入和/或向第一用户(2a)呈现特征,
-第二用户接口(3),其被配置为接收第二用户(3a)的输入和/或向第二用户(3a)呈现特征。
13.根据权利要求12所述的训练装置(1000),其中
-第一用户接口(2)和第二用户接口(3)经由无线连接或有线连接可操作地耦合。
14.一种第一用户(2a)的训练,包括:
-生成用户能力数据,所述用户能力数据指示第一用户(2a)在内容处理中的能力,
-根据用户能力数据发出呈现命令,以经由用户接口(2、3)呈现特征,所述特征与第一用户(2a)在内容处理中的能力有关。
15.根据权利要求14所述的训练,包括:
-执行个性化训练模块(A),其中
-发出呈现命令以经由用户接口(2)呈现将由第一用户(2a)执行的任务,
-确定指示第一用户(2a)在解决任务中的表现的任务表现数据,
和/或
-执行社交互动模块(D),其中
-第一用户(2a)和第二用户(3a)彼此交互,
-根据借助于用户接口(2、3)提供的并且指示用户(2a、2b)之一的输入的用户输入数据来识别内容,
-根据所识别的内容发出呈现命令,以经由用户接口(2、3)呈现特征,所述特征被配置为影响交互。
16.根据权利要求15所述的训练,包括:
-执行认知模块(B、C、E),其中
-根据任务表现数据和/或根据心理生理数据来确定第一用户(2a)的认知负荷,所述心理生理数据指示使用检测器对所述第一用户(2a)执行的至少一个心理生理测量,
-根据所确定的第一用户(2a)的认知负荷来控制训练。
17.一种用于训练第一用户(2a)的训练系统(100),包括:
a)计算机程序产品,包括程序代码(P1),当所述程序代码在电子控制单元(1)上加载和执行时,所述程序代码提供操作控制系统(200),和/或
b)电子控制单元(1),具有程序代码(P1),其中当所述程序代码(P1)在所述电子控制单元(1)上执行时,所述程序代码提供操作控制系统(200),
-其中所述操作控制系统(200)被配置为控制第一用户(2a)的训练,
-其中所述训练包括执行社交互动模块的步骤,其中,所述第一用户(2a)与第二用户(3a)交互,
-其中所述操作控制系统(200)包括多个训练功能,所述训练功能包括:
-识别功能(203),其被配置为根据借助于用户接口(2、3)提供的并且指示第一用户(2a)或第二用户(3a)的输入的用户输入数据来识别关键内容,其中所述关键内容是第一用户(2a)难以处理的内容,
-呈现功能(202),其被配置为使得所述电子控制单元(1)根据所识别的关键内容发出呈现命令,以经由用户接口(2、3)呈现辅助特征,所述辅助特征被配置为辅助所述第一用户(2a)处理所述关键内容。
18.根据权利要求17所述的训练系统(100),其中,所述辅助特征是所述关键内容的同义词或和/或重新表述和/或图形描述。
19.根据权利要求17或18所述的训练系统(100),其中,所述辅助特征是向所述第二用户指示所述第一用户难以处理所识别的关键内容的特征。
20.一种用于训练第一用户(2a)的训练系统(100),包括:
a)计算机程序产品,包括程序代码(P1),当所述程序代码在电子控制单元(1)上加载和执行时,所述程序代码提供操作控制系统(200),和/或
b)电子控制单元(1),具有程序代码(P1),其中当所述程序代码(P1)在所述电子控制单元(1)上执行时,所述程序代码提供操作控制系统(200),
-其中所述操作控制系统(200)被配置为控制第一用户(2a)的训练,
-其中所述训练包括执行社交互动模块的步骤,其中,所述第一用户(2a)与第二用户(3a)交互,
-其中所述操作控制系统(200)包括多个训练功能,所述训练功能包括:
-呈现功能(202),所述呈现功能被配置为使得所述电子控制单元(1)发出呈现命令,以便经由用户接口(3)向第二用户(3a)呈现非关键内容的列表,以向第二用户(3a)指示第一用户(2a)能够处理的内容。
21.根据权利要求20所述的训练系统(100),其中,所述非关键内容是所述第一用户(2a)在执行所述社交互动模块之前已经训练过的内容。
22.根据权利要求20至21所述的训练系统(100),其中
-所述训练功能包括识别功能,所述识别功能被配置为从借助于用户接口(2、3)提供的并且指示用户(2a、2b)的输入的用户输入数据中提取信息,其中所述信息指示用户输入的主题,
-所述呈现功能(202)被配置为使得电子控制单元(1)根据用户输入的主题发出呈现命令,以经由用户接口呈现与所述主题相关的非关键内容。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20461559.5A EP3960230A1 (en) | 2020-08-24 | 2020-08-24 | Training system with interaction assist feature, training arrangement and training |
EP20461559.5 | 2020-08-24 | ||
PCT/EP2021/073222 WO2022043240A1 (en) | 2020-08-24 | 2021-08-23 | Training system with interaction assist feature, training arrangement and training |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116419778A true CN116419778A (zh) | 2023-07-11 |
Family
ID=72240395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180052374.6A Pending CN116419778A (zh) | 2020-08-24 | 2021-08-23 | 具有交互辅助特征的训练系统、训练装置和训练 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230306860A1 (zh) |
EP (2) | EP3960230A1 (zh) |
CN (1) | CN116419778A (zh) |
AU (1) | AU2021334092A1 (zh) |
CA (1) | CA3188330A1 (zh) |
WO (1) | WO2022043240A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4389192A1 (en) * | 2022-12-23 | 2024-06-26 | Neuro Device Group S.A. | Neural stimulation system for supporting speech and language skills of a user, especially of a user having aphasia |
CN117789932A (zh) * | 2024-02-25 | 2024-03-29 | 首都医科大学附属北京儿童医院 | 一种发展性阅读障碍的认知提升方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9782585B2 (en) * | 2013-08-27 | 2017-10-10 | Halo Neuro, Inc. | Method and system for providing electrical stimulation to a user |
-
2020
- 2020-08-24 EP EP20461559.5A patent/EP3960230A1/en not_active Withdrawn
-
2021
- 2021-08-23 WO PCT/EP2021/073222 patent/WO2022043240A1/en unknown
- 2021-08-23 CN CN202180052374.6A patent/CN116419778A/zh active Pending
- 2021-08-23 EP EP21762733.0A patent/EP4200007A1/en active Pending
- 2021-08-23 CA CA3188330A patent/CA3188330A1/en active Pending
- 2021-08-23 US US18/041,784 patent/US20230306860A1/en active Pending
- 2021-08-23 AU AU2021334092A patent/AU2021334092A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230306860A1 (en) | 2023-09-28 |
EP3960230A1 (en) | 2022-03-02 |
CA3188330A1 (en) | 2022-03-03 |
WO2022043240A1 (en) | 2022-03-03 |
EP4200007A1 (en) | 2023-06-28 |
AU2021334092A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11615600B1 (en) | XR health platform, system and method | |
US20210000374A1 (en) | System and method for instructing a behavior change in a user | |
US20220392625A1 (en) | Method and system for an interface to provide activity recommendations | |
Bekele et al. | Multimodal adaptive social interaction in virtual environment (MASI-VR) for children with Autism spectrum disorders (ASD) | |
Gürkök et al. | Brain–computer interfaces for multimodal interaction: a survey and principles | |
Lupu et al. | BCI and FES based therapy for stroke rehabilitation using VR facilities | |
JP2019519053A (ja) | 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム | |
Huggins et al. | Workshops of the fifth international brain-computer interface meeting: defining the future | |
Annen et al. | Brain-computer interfaces for consciousness assessment and communication in severely brain-injured patients | |
Parsons et al. | Neurocognitive and psychophysiological interfaces for adaptive virtual environments | |
Nijboer et al. | Design requirements and potential target users for brain-computer interfaces–recommendations from rehabilitation professionals | |
CN116419778A (zh) | 具有交互辅助特征的训练系统、训练装置和训练 | |
Arnd-Caddigan | Toward a broader definition of evidence-informed practice: Intersubjective evidence | |
Fortin et al. | Laughter and tickles: Toward novel approaches for emotion and behavior elicitation | |
Wilimzig et al. | NLP and Psychological Research: Rapport, Reframing and Eye Accessing Cues. | |
Mange et al. | Application for performing self care activities using flutter | |
Babiker et al. | Non-conscious behavior in emotion recognition: gender effect | |
JP2018050684A (ja) | サイコセラピー装置、サイコセラピーシステム及びサイコセラピー方法 | |
US20180113991A1 (en) | Interactive Apparatus and Devices for Personal Symptom Management and Therapeutic Treatment Systems | |
Alevizopoulos et al. | Biosensor-Integrated Virtual Reality (VR) System Assisted CBT and the Alteration of Delusional Perceptions in Psychosis | |
Raether et al. | Evaluating Just-In-Time Vibrotactile Feedback for Communication Anxiety | |
Whitaker et al. | Three Decision Points Vetting a More Ideal Online Technical Platform for Monitoring and Treating Mental Health Problems Like Depression and Schizophrenia | |
Wu | AlterEgo as a speech interface for ALS patients | |
Salas | Do I have a third arm? Towards a Supernumerary Motor Imagery Brain-Computer Interface in Virtual Reality | |
US20220028291A1 (en) | Device for the implementation of serious games for the prevention and/or treatment of mental disorders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |