CN113113115B - 认知训练方法、系统及存储介质 - Google Patents
认知训练方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113113115B CN113113115B CN202110384765.XA CN202110384765A CN113113115B CN 113113115 B CN113113115 B CN 113113115B CN 202110384765 A CN202110384765 A CN 202110384765A CN 113113115 B CN113113115 B CN 113113115B
- Authority
- CN
- China
- Prior art keywords
- audio
- signal
- video
- beat
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明实施例提供了一种认知训练方法,包括:步骤S100,生成音频和/或视频节拍信号;步骤S300,向对象提供认知训练任务,同时向对象播放音频和/或视频节拍信号,接收对象执行认知训练任务的反馈信号,对反馈信号进行统计分析,以获得表示对象的认知能力的统计分析结果;步骤S500,确定是否满足结束条件,对于满足结束条件的情况,结束训练;对于不满足结束条件的情况,转步骤S700;步骤S700,根据统计分析结果,调整音频和/或视频节拍信号的节拍频率,并转步骤S300。由此,实现了对认知训练的个性化定制,保证了认知训练的特异性。根据统计分析结果动态地调整节拍频率,保证了认知训练的效力最大化。
Description
技术领域
本发明涉及人体训练技术领域,更具体地涉及一种认知训练方法、系统及存储介质。
背景技术
认知能力是指大脑加工、存储和提取信息的能力。人类认识客观世界,获得各种各样的知识,主要依赖于人的认知能力。基于大脑的神经振荡机制以及神经振荡所引起的夹带作用,可以设计特定的认知训练方法,以增强个人的认知能力。
认知训练是指旨在使人们“更聪明”的活动,并因此在推理能力,解决问题和学习方面有更好的表现。当前许多认知训练计划都针对基本的认知技能,例如注意力(选择性关注相关信息的能力),工作记忆(积极记住与任务相关信息的能力)或执行功能(参与到控制和调节思想和行动的一系列过程中)。通过认知训练可以提升被训对象的认知能力。认知训练的被训对象十分广泛,从幼儿到老年人,每个年龄段都有不同的认知训练方法以及侧重点。除了期望提高认知能力的正常人,被训对象还可以是患有注意力缺陷与多动障碍的儿童、患有阿兹海默症的老年人或是有脑外伤的患者等等。
神经振荡是神经系统的一种基本机制,其可以使大脑区域内和跨大脑区域的神经活动同步,并促进以认知、记忆、感知和行为为基础的神经过程的精确时间协调。神经振荡引起的夹带是大脑节律之间相互作用的重要特征。夹带指两个独立振荡系统的耦合,这使得它们的振荡周期通过相位对齐而变得相关。认知训练通过利用上述机制和作用可调节大脑波节奏,对对象的认知能力起到增强促进的作用。
现有的认知训练方法,对认知能力的提升效力较低,难以达到用户和被训对象的目标。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种认知训练方法、系统及存储介质。
根据本发明实施例的一方面,提供了一种认知训练方法,包括:
步骤S100,生成音频和/或视频节拍信号;
步骤S300,向对象提供认知训练任务,同时向对象播放音频和/或视频节拍信号,接收对象执行认知训练任务的反馈信号,对反馈信号进行统计分析,以获得表示对象的认知能力的统计分析结果;
步骤S500,确定是否满足结束条件,对于满足结束条件的情况,结束训练;对于不满足结束条件的情况,转步骤S700;以及
步骤S700,根据统计分析结果,调整音频和/或视频节拍信号的节拍频率,并且转步骤S300。
示例性地,第一次执行步骤S300时,向对象播放的音频和/或视频节拍信号的节拍频率是节拍频率第一极值;步骤S700中调整音频和/或视频节拍信号的节拍频率包括:对于当前节拍频率未达到节拍频率第二极值的情况,按照预设频率步幅增大或者减小所述当前节拍频率;对于当前节拍频率达到节拍频率第二极值的情况,将当前节拍频率调整为最理想的统计分析结果所对应的节拍频率,并在后续认知训练中保持最理想的统计分析结果所对应的节拍频率。
示例性地,步骤S100包括:确定节拍频率;生成具有节拍频率的音频和/或视频信号,以作为音频和/或视频节拍信号。
示例性地,步骤S100包括:确定多个信号频率,其中多个信号频率各不相等;针对多个信号频率中的每个信号频率,生成具有该信号频率的音频和/或视频信号;以及根据所生成的音频和/或视频信号,获得音频和/或视频节拍信号;步骤S700包括:通过根据统计分析结果调整多个信号频率中的至少一个来调整节拍频率。
示例性地,根据所生成的音频和/或视频信号获得音频和/或视频节拍信号包括:叠加所生成的音频和/或视频信号,以获得音频和/或视频节拍信号;或者叠加所生成的音频和/或视频信号和基础信号,以获得音频和/或视频节拍信号。
示例性地,根据所生成的音频和/或视频信号获得音频和/或视频节拍信号包括:将所生成的音频和/或视频信号进行跨频率耦合,以获得音频和/或视频节拍信号;或者首先,将所生成的音频和/或视频信号进行跨频率耦合,然后将所耦合的信号与基础信号进行叠加,以获得音频和/或视频节拍信号。
示例性地,音频节拍信号包括第一通道音频信号和第二通道音频信号;步骤S300中向对象播放音频节拍信号包括:利用耳机分别向对象的左耳和右耳播放第一通道音频信号和第二通道音频信号。
示例性地,步骤S100包括:确定显示频率;根据显示频率确定视频节拍信号,其中,视频节拍信号所对应的视频帧根据显示频率周期性变化。
示例性地,步骤S300中对反馈信号进行统计分析包括:对执行窗口内的反馈信号进行统计分析,以获得统计分析结果,其中执行窗口是时间窗口或者反馈次数窗口。
根据本发明实施例的另一方面,提供一种认知训练系统,包括音频和/或视频播放器、传感器、处理器和存储器,其中,存储器中存储有计算机程序指令,计算机程序指令被处理器运行时用于执行上述认知训练方法;音频和/或视频播放器用于在处理器的控制下向对象播放音频和/或视频节拍信号;传感器用于自对象获取反馈信号,以发送给处理器。
根据本发明实施例的又一方面,提供一种存储介质,在存储介质上存储了程序指令,程序指令在运行时用于执行上述认知训练方法。
在上述技术方案中,首先生成音频和/或视频节拍信号。对象执行认知训练任务同时还接受音频和/或视频节拍信号的刺激,并且生成相应的反馈信号。对接收到的反馈信号进行统计分析可以获得统计分析结果。根据统计分析结果可以调整音频和/或视频节拍信号的节拍频率。由此,实现了对认知训练的个性化定制,保证了认知训练的特异性,即针对不同对象或同一对象的不同训练状态下的大脑神经网络进行训练。根据统计分析结果动态地调整节拍频率,保证了认知训练的效力最大化。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的认知训练方法的示意性流程图;
图2示出了根据本发明一个实施例的生成音频和/或视频节拍信号的示例性流程图;以及
图3示出了根据本发明一个实施例的调整音频和/或视频节拍信号的节拍频率的示例性流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。
有些现有的认知训练方法中,在对象执行认知训练任务的同时,还会向对象播放具有特定频率的声音和/或视频。由此可以使对象的大脑产生神经振荡并引起夹带作用。这种认知训练方法可以用于调节大脑波节奏,对对象的认知能力具有增强促进的作用。但目前的认知训练方法中,对所有的对象播放特定频率的音频和/或视频节拍信号。例如,γ波段的40赫兹用于减轻压力;θ波段的6赫兹用于诱发增强冥想状态。但这些方法都没有考虑到对象之间的差异化。每个人的大脑神经网络生理状况是不一样的,对于特定频率的刺激反应也不完全一样。此外,对对象播放相同频率的音频和/或视频节拍信号,而没有考虑随着时间、环境等各种因素的变化,即使同一对象对相同刺激的反馈也是不一样的。总之,现有的认知训练方法中,由于音频和/或视频节拍信号的单一频率,导致刺激效率没有最大化,对认知能力的提升效力较低。
根据本发明实施例,提供一种个性化的认知训练方法。该认知训练方法可以根据对象之间的差异以及同一对象不同训练时刻的状态动态地调整所播放的音频和/或视频节拍信号的频率,从而实现训练结果的最优化,由此可以更理想地增强对象的认知能力。图1示出了根据本发明第一实施例的认知训练方法的示意性流程图。如图1所示,该认知训练方法包括如下步骤。
步骤S100,生成音频和/或视频节拍信号。音频和/或视频节拍信号可以是周期性音频和/或视频信号,其具有某一节拍频率。其可以通过音频和/或视频播放器播放给对象收听和/或观看,以产生神经振荡并引起夹带作用。示例性地,可以首先确定音频和/或视频节拍信号的频率、波长、幅值等具体参数。可以理解,上述参数可以通过认知训练系统的人机交互接口获取。然后,可以生成具有所确定的参数的音频和/或视频节拍信号。
示例性地,音频节拍信号可以是强度随时间周期性变化的音频信号。
视频节拍信号可以是视频帧随时间周期性变化的视频信号。
示例性地,步骤S100生成视频节拍信号具体包括:首先确定显示频率;然后根据显示频率确定视频节拍信号,其中,视频节拍信号所对应的视频帧根据显示频率周期性变化。可选地,可以是视频帧中的部分或全部区域的灰度随显示频率周期性变化。例如,该灰度可以呈正弦变化。替代地,视频帧可以包括多个。该多个视频帧随显示频率周期性交替显示。具体地,视频节拍信号可以根据显示亮度频率实现周期性的亮暗变化。这种周期性变化的视频可以对对象的视觉系统形成刺激,进而带动对象的大脑内部频率,产生能量传递,实现增强对象认知能力的目的。
步骤S300,向对象提供认知训练任务,同时向对象播放音频和/或视频节拍信号。接收对象执行认知训练任务的反馈信号,对反馈信号进行统计分析,以获得表示对象的认知能力的统计分析结果。
可以理解,认知训练任务用于训练对象的认知能力,不同的训练任务对应特定的大脑区域和认知能力。可以根据训练目的,向对象提供不同的刺激。例如对刺激属性进行排列组合,并在其中选择一个到多个刺激属性以生成认知训练任务。可以利用显示器、音箱等各种播放器向对象展示认知训练任务的刺激。
向对象提供认知训练任务的同时,还可以向对象的听觉和/或视觉系统播放音频和/或视频节拍信号。即,对象一边收听音频节拍信号所对应的声音和/或观看视频节拍信号所对应的图像,一边执行认知训练任务。音频和/或视频节拍信号用于使对象的大脑产生神经振荡并引起夹带作用,进而调节大脑波节奏,增强对象的认知能力。
此外,在对象执行认知训练任务的同时,接收对象执行认知训练任务的反馈信号,并对反馈信号进行统计分析,以获得表示对象的认知能力的统计分析结果。
例如,在反应检测的认知训练任务中,利用显示器向对象展示一个刺激,该刺激包括指向左侧的箭头,该刺激的位置位于对象的视场中的右侧。认知训练任务可以要求对象按照刺激的箭头所指方向而不是位置进行反馈,反馈可以是按压左键或者右键。其中,左键对应箭头所指方向为左侧,右键对应箭头所指方向为右侧。对象按照认知训练任务给定的规则对上述刺激进行反馈,由此,产生了反馈信号。
又例如,在节奏感控制的认知训练任务中,对象可以按照既定的音乐节奏准确敲击被控件,以反馈反馈信号等。
可以理解,对象在不同的音频和/或视频节拍信号刺激下可以产生不同的反馈信号。对得到的反馈信号进行统计分析,可以获得表示对象的认知能力的统计分析结果。示例性地,将接收到的反馈信号作为输入,通过信号检测理论方法对其进行统计分析,从而输出例如命中率、误警率、正确反应时间、不命中率、辨别力指数(Discriminability index)等变量。统计分析结果可以包括这些变量中的一种或多种。该统计分析结果表示了对象的个性化的认知能力。
步骤S500,确定是否满足结束条件,对于满足所述结束条件的情况,结束训练;对于不满足所述结束条件的情况,转步骤S700。
示例性地,结束条件可以包括:认知训练方法的执行时长超过预设时长。可以给认知训练方法设置预设时长。当对象执行认知训练任务的时长达到或超过该预设时长,可以结束训练。
根据上述步骤S300,对象执行认知训练任务的反馈信号是在其执行认知训练任务时实时产生的。对反馈信号进行统计分析可以实时获得统计分析结果。统计分析结果动态地表示对象在不同认知能力上的认知水平。替代地,步骤S500可以包括根据统计分析结果确定是否满足结束条件。具体地,结束条件可以包括以下条件中的一个或两个。
1)统计分析结果表示对象的认知能力的提升速度达到预设速度阈值。
2)统计分析结果表示对象的认知能力的提升速度的变化率低于预设变化率阈值。
如前所述,基于对象的反馈信号进行统计分析而获得的统计分析结果能够表示对象的认知能力。如果对象的认知能力的提升速度达到预设速度阈值,表示其当前的训练状态比较理想,达到了训练预期。可以据此结束认知训练。如果对象的认知能力的提升速度的变化率低于预设变化率阈值,表示其提升速度难以继续上升,可能达到了一个速度峰值。此时,在继续训练也难以取得更好的训练效果,可以结束认知训练。
设置有上述结束条件的技术方案,保证了恰好水平的刺激强度来长期增强突触强度。神经基底仅会由于广泛和长期的训练而发生改变,并且神经的改变直到训练过程的后期才可能巩固。如果此次认知训练没有达到训练目标就结束训练,则无法达到量变到质变的神经连接变化;如果此次认知训练已经达到训练目标仍然继续训练,则对对象的认知能力和水平没有提升效果,还可能产生副作用。而上述结束条件的存在确保了神经基底的改善,进而保证了认知训练效果。
步骤S700,根据所述统计分析结果,调整所述音频和/或视频节拍信号的节拍频率,并且转步骤S300。
对于不同的对象来说或者在同一对象的不同训练时刻,伴随不同节拍频率的音频和/或视频节拍信号执行认知训练任务将直接影响其认知能力和水平的提升速度。因此,在此步骤中,根据对象当前的个性化的状态,对音频和/或视频节拍信号的节拍频率进行调整,例如增大或缩小。也就是说,调整后的节拍频率是针对该对象当前的状态而量身定制的。在调整了音频和/或视频节拍信号的节拍频率之后,转回步骤S300。重复执行步骤S300中的操作又可以得到新的统计分析结果。
循环执行上述步骤S300、步骤S500和步骤S700,直至满足结束条件时结束训练。
在上述技术方案中,首先生成音频和/或视频节拍信号。对象执行认知训练任务同时还接受音频和/或视频节拍信号的刺激,并且生成相应的反馈信号。对接收到的反馈信号进行统计分析可以获得统计分析结果。根据统计分析结果可以调整音频和/或视频节拍信号的节拍频率。由此,实现了对认知训练的个性化定制,保证了认知训练的特异性,即针对不同对象或同一对象的不同训练状态下的大脑神经网络进行训练。根据统计分析结果动态地调整节拍频率,保证了认知训练的效力最大化。
根据本发明第二实施例,步骤S100中生成音频和/或视频节拍信号可以具体包括:确定节拍频率;生成具有该节拍频率的音频和/或视频信号,以作为音频和/或视频节拍信号。在该方案中,音频和/或视频节拍信号仅具有一种节拍频率。由此,可以更准确、更直接地获得音频和/或视频节拍信号,使得对对象进行认知训练的训练效果更优。
图2示出了根据本发明第三实施例的步骤S100生成音频和/或视频节拍信号的示例性流程图。如图2所示,所述步骤S100可以包括以下子步骤。
步骤S110,确定多个信号频率,其中多个信号频率各不相等;步骤S120,针对多个信号频率中的每个信号频率,生成具有该信号频率的音频和/或视频信号;步骤S130,根据所生成的音频和/或视频信号,获得音频和/或视频节拍信号。
为了便于解释说明,在以下描述中,均以两个信号频率的第一音频信号和第二音频信号为例对各方案进行阐述。如上所述,例如可以自人机交互接口接收通过其输入的第一信号频率和第二信号频率。可以理解,根据上述技术方案,为了减小误差、更准确的得知频率对统计分析结果的影响,所生成的第一音频信号和第二音频信号仅在频率上有所差异,而其他参数例如初始相位、幅值等均可以保持一致。由此生成具有第一信号频率的第一音频信号和具有第二信号频率的第二音频信号。期望的音频节拍信号可以根据第一音频信号和第二音频信号获得,例如通过信号合成等信号处理方式。
在该实施例中,步骤S700调整所述音频和/或视频节拍信号的节拍频率可以具体包括:通过根据统计分析结果调整多个信号频率中的至少一个来调整节拍频率。在上述技术方案中,可以根据第一音频信号和第二音频信号获得音频节拍信号。所以第一音频信号和第二音频信号中的至少一个的频率产生变化均会获得新的节拍频率。由此,可以更加灵活、方便地对音频节拍信号进行调整。进而简化了认知训练方法,并扩大了该认知训练方法的可用范围,使其受众面更广。
示例性地,第一音频信号和第二音频信号是正弦信号。随着时间的推移,音频信号的强度按照正弦周期变化。示例性地,对于视频节拍信号的情况,步骤S100中生成的视频信号所对应的视频帧也可以呈现正弦周期性变化。例如,视频帧中的局部的灰度呈正弦周期性变化。
由于正弦信号是最纯净的,不含有谐波成分的信号。而非正弦信号中包含有很多高次谐波,可能会影响到音频和/或视频节拍信号的节拍频率的调整准确性。总之,音频和/或视频信号呈正弦变化,可以保证音频和/或视频节拍信号的节拍频率的更适用于当前的对象,进而保证认知训练的有效性。
示例性地,步骤S100中确定多个信号频率可以根据对象以前执行认知训练任务时播放的音频和/或视频节拍信号的频率或根据对象的认知训练目的。
在一些应用场景中,对象可能并非第一次进行认知训练。如上述技术方案中所述,根据具有第一信号频率的第一音频信号和具有第二信号频率的第二音频信号可以获得音频节拍信号。可以理解,音频节拍信号的节拍频率与第一信号频率和第二信号频率有关。根据对象以前执行同一认知训练任务时播放的音频节拍信号的历史节拍频率可以确定第一信号频率和第二信号频率。即确定了具有新的节拍频率的音频和/或视频节拍信号。
可选地,还可以根据对象的认知训练目的确定多个信号频率。例如,当前对象的认知训练目的是提升注意力。可以选用β波段中的20赫兹的音频节拍信号来达到此目的。因此,只要保证音频节拍信号的节拍频率是20赫兹即可。而多个信号频率中的每个信号频率可以是最终使音频节拍信号的节拍频率为20赫兹的任意合适数值,在此不一一限定。
视频节拍信号与音频节拍信号在此点上类似,为了简洁,在此不再赘述。
通过引入对象以前执行认知训练任务时播放的音频和/或视频节拍信号的节拍频率和/或认知训练目的,可以更有针对性地、更准确地确定音频和/或视频节拍信号的节拍频率,从而使认知训练方法在起始阶段即可逼近理想的训练效果,避免了长时间的节拍频率调整,从而更顺利地提升了对象的认知能力和水平,节约了对象的时间。
根据本发明第四实施例,前述步骤S130根据所生成的音频和/或视频信号获得音频和/或视频节拍信号包括:叠加所生成的音频和/或视频信号,以获得音频和/或视频节拍信号。
以所生成的音频信号包括第一音频信号和第二音频信号为例进行说明。将第一音频信号和第二音频信号简单叠加可以获得音频节拍信号。叠加后获得的音频节拍信号的节拍频率是第一信号频率和第二信号频率的差。也可以说,节拍频率是第一信号频率和第二信号频率的组合频率。
对于视频节拍信号,其也可以是两个视频信号的叠加。该叠加例如是两个视频信号的视频帧中对应像素的灰度值相加等。
由此,通过直接叠加多个音频和/或视频信号来获得音频和/或视频节拍信号,对于音频和/或视频节拍信号的播放限制较小,在不影响认知训练效果的前提下方便了对对象进行认知训练。
根据本发明第五实施例,前述步骤S130根据所生成的音频和/或视频信号获得音频和/或视频节拍信号可以包括:叠加所生成的音频和/或视频信号和基础信号,以获得音频和/或视频节拍信号。
与第四实施例相比,本实施例的音频和/或视频节拍信号中还增加了基础信号。该基础信号可以是基础音频信号,还可以是基础视频信号。以基础音频信号为例,其可以是白噪音、纯音、流行音乐或其它类型的音乐。在此,基础音频信号可以仅作为背景音,而不用于刺激对象产生神经振荡。对于上述通过第一音频信号和第二音频信号叠加来生成音频节拍信号的技术方案,音频节拍信号的节拍频率仍可以认为是第一信号频率和第二信号频率的差。即仅第一音频信号和第二音频信号用于刺激对象产生神经振荡。在对象执行认知训练任务时,可以利用音箱或耳机等音频播放器向对象的单耳或双耳播放该音频节拍信号,使得对象在执行认知训练任务的同时受到音频节拍信号的刺激,以提高认知训练效果;同时还能享受到例如流行音乐的其他声音,以得到充分的放松,从而进一步提高认知训练效果。视频节拍信号与音频节拍信号类似。可以在视频节拍信号的视频帧中叠加一个基础视频帧。总之,增加基础音频和/或视频信号可以辅助增强音频和/或视频节拍信号对对象的认知训练的影响;此外,基础音频和/或视频信号还可以起到调节对象情绪等作用。
根据本发明第六实施例,前述步骤S130根据所生成的音频和/或视频信号获得音频和/或视频节拍信号包括:将所生成的音频和/或视频信号进行跨频率耦合,以获得音频和/或视频节拍信号。
在前述技术方案中,可以将第一音频信号和第二音频信号进行跨频率耦合,以获得音频节拍信号。类似地,可以将第一视频信号和第二视频信号进行跨频率耦合,以获得视频节拍信号。该跨频率耦合可以是相-相耦合、相-幅耦合或幅-幅耦合。所得到的音频和/或视频节拍信号可以认为具有耦合频率。可以利用音箱或耳机等音频播放器向对象的单耳或双耳播放音频节拍信号和/或利用显示器等视频播放器向对象播放视频节拍信号。使得对象在执行认知训练任务的同时受到具有耦合频率的音频和/或视频节拍信号的刺激。
根据本发明第七实施例,前述步骤S130根据所生成的音频和/或视频信号获得音频和/或视频节拍信号的步骤包括:将所生成的音频和/或视频信号进行跨频率耦合,然后将所耦合的信号与基础信号进行叠加,以获得音频和/或视频节拍信号。
与第六实施例相比,该实施例的音频和/或视频节拍信号中增加了基础音频和/或视频信号。关于基础信号以及叠加基础信号的操作在上述第五实施例中已经描述,为了简洁,在此不再赘述。可以利用音箱或耳机等音频播放器向对象的单耳或双耳播放音频节拍信号和/或利用显示器等视频播放器向对象播放视频节拍信号。
由此,将多个音频和/或视频信号进行跨频率耦合所获得的信号与基础信号叠加后作为音频和/或视频节拍信号,可以增强音频和/或视频节拍信号对对象的认知能力的影响。此外,基础信号还可以起到调节对象情绪等作用。
在本申请中对上述音频和/或视频信号之间的叠加方法和跨频率耦合方法不做任何限定,现有的或未来研发的能实现将信号进行叠加和跨频率耦合目的的方法均在其范围之内。
在上述第四至第七实施例中,可以称所获得音频节拍信号为单耳节拍信号,其可以用任何音频播放器播放给对象。
示例性地,音频节拍信号包括第一通道音频信号和第二通道音频信号。步骤S300中向对象播放音频节拍信号包括:利用耳机分别向对象的左耳和右耳播放第一通道音频信号和第二通道音频信号。在对象执行认知训练任务时,例如,可以利用耳机向对象的左耳播放第一通道音频信号,同时向对象的右耳播放第二通道音频信号。
示例性地,第一通道音频信号和第二通道音频信号的频率可以不相同。此时,使得对象在执行认知训练任务的同时受到具有两种不同频率的音频信号的刺激。在此,该音频节拍信号可以称为双耳节拍。由于第一和第二通道音频信号的频率不同,所以对象可以感知到两个频率之间的频率差异。由此,该频率差异可以带动对象的大脑内部频率,产生能量传递,进而增强对象的认知能力。
示例性地,步骤S300中对反馈信号进行统计分析包括:对执行窗口内的反馈信号进行统计分析,以获得统计分析结果,其中执行窗口是时间窗口或者反馈次数窗口。
可选地,基于信号检测理论的窗口计算方法,计算最近一段时间窗口内或者反馈次数窗口内的命中率、误警率、正确反应时间、不命中率、辨别力指数等变量。例如,在音频和/或视频节拍信号的刺激下,对象执行最近10次认知训练任务时,对象不应当对认知训练任务中的刺激做出反应,但实际却做出了错误的反应。于是对这些错误反应的反馈信号进行累加,除以总次数10,由此得到了实时的误警率。基于信号检测理论,上述其他变量也可以结合以上窗口计算方法计算得出,在此不一一限定。
该技术方案中,以窗口式对所获得的反馈信号进行统计分析,从而基于得到的统计分析结果实时调整音频和/或视频节拍信号的节拍频率。由此,可以实现节拍频率的动态的个性化实时调整,能够确保所提供的音频和/或视频节拍信号的节拍频率尽快适合于提高对象的认知能力,由此保证了认知训练的速度和质量。
示例性地,对执行窗口内的反馈信号进行统计分析包括:对多个执行窗口内的反馈信号分别进行统计分析,以获得每个执行窗口内的子结果;对所有执行窗口内的子结果进行平均,以获得统计分析结果。
可以理解,对象所处环境、个人状态以及对象接受音频和/或视频节拍信号刺激的时间等可能对统计分析结果造成影响。此外,一次训练的结果可能存在偶然误差。考虑到上述因素,使对象在同一节拍频率的音频和/或视频节拍信号刺激下执行同一认知训练任务多次,以获得多个执行窗口内的反馈信号。对其进行统计分析可以获得每次执行认知训练任务,即每个执行窗口内的子结果。对所有子结果进行平均获得最终的统计分析结果。
由此,可以排除统计分析结果存在偶然性,使得最终的统计分析结果更准确。进一步地保证了认知训练的速度和质量。
示例性地,第一次执行步骤S300时,向对象播放的音频和/或视频节拍信号的节拍频率是节拍频率第一极值。步骤S700中调整所述音频和/或视频节拍信号的节拍频率还包括以下步骤。对于当前节拍频率未达到节拍频率第二极值的情况,按照预设频率步幅增大或者减小所述当前节拍频率。对于当前节拍频率达到节拍频率第二极值的情况,将当前节拍频率调整为最理想的统计分析结果所对应的节拍频率,并在后续认知训练中保持所述最理想的统计分析结果所对应的节拍频率。可以理解,当节拍频率第一极值为节拍频率的极小值时,节拍频率第二极值为节拍频率的极大值。又或者,当节拍频率第一极值为节拍频率的极大值时,节拍频率第二极值为节拍频率的极小值。以节拍频率第一极值是极小值为例,当第一次向对象提供认知训练任务时,同时向对象播放节拍频率为极小值的音频和/或视频节拍信号。接收对象执行认知训练任务的反馈信号并对反馈信号进行统计分析,以获得对象在节拍频率为极小值的音频和/或视频节拍信号刺激下执行认知训练任务的统计分析结果。根据统计分析结果,可以按照预设频率步幅增大当前节拍频率,直到节拍频率增大到极大值。示例性地,该预设频率步幅可以设置为0.01赫兹、0.1赫兹或1赫兹等任意合理数值中的一个。可以理解,在此过程中,向对象提供相同的认知训练任务,同时向对象播放节拍频率逐渐增大的音频和/或视频节拍信号。接收对象执行相同的认知训练任务的反馈信号并对反馈信号进行统计分析,以获得并保存对象在具有不同节拍频率的音频和/或视频节拍信号刺激下执行认知训练任务的多个统计分析结果。根据上述技术方案,可以得到一个最理想的统计分析结果及其对应的节拍频率。此处的最理想可以表示对象的认知能力的水平最高。由此,可以将当前节拍频率最终调整为最理想的统计分析结果所对应的节拍频率,并在后续认知训练过程中一直保持该节拍频率。
根据上述技术方案,通过遍历的方法对音频和/或视频节拍信号的节拍频率进行调整,针对不同的对象可以分别准确地找到各自最理想的统计分析结果所对应的节拍频率。由此,不仅达到了个性化定制的目的,同时在后续认知训练中保持该节拍频率还可以实现认知训练的效力最大化。
图3示出了根据本发明第八实施例的调整音频和/或视频节拍信号的节拍频率的示例性流程图。如图3所示,步骤S700中调整音频和/或视频节拍信号的节拍频率包括:S710,将当前的统计分析结果与先前的统计分析结果进行比较;S720,对于比较结果表示对象的认知能力提升的情况,保持节拍频率的上一次的调整方向;S730,对于比较结果表示对象的认知能力下降的情况,将上一次的调整方向的反方向设置为当前的调整方向;以及S740,按照当前的调整方向对节拍频率进行调整。
如上所述,对象在执行认知训练任务同时接受音频和/或视频节拍信号的刺激可以产生反馈信号。对反馈信号进行统计分析可以得到例如命中率、误警率、正确反应时间、不命中率、辨别力指数等变量。这些变量中的一种或多种可以作为参数来表示统计分析结果。如果表示当前统计分析结果的参数与先前相比呈现出稳定波动后,可以开始调整节拍频率。该稳定波动可以是在一定阈值范围内的稳定波动,而不出现阶梯式上升或下降。示例性地,如果当前的统计分析结果的比较结果表示对象的认知能力有所提升,则说明上一次的节拍频率的调整方向对增强对象的认知能力有促进作用。因此,当前节拍频率的调整方向应该与上一次的调整方向保持一致,即将上一次的调整方向作为当前的调整方向。相反地,如果当前的比较结果表示对象的认知能力有所下降,则说明上一次的节拍频率的调整方向可能对增强对象的认知能力有抑制作用。因此,当前节拍频率的调整方向可设置为上一次的调整方向的反方向。即,如果上一次的节拍频率的调整方向为增大,则当前的节拍频率的调整方向设置为减小。在确定了当前的调整方向之后,按照其对节拍频率进行调整。示例性地,按照当前的调整方向对节拍频率以预设步幅进行频率微调。该预设步幅可以设置为0.01赫兹、0.1赫兹和1赫兹等任意数值。对于前述第二实施例,可以通过调整第一信号频率和/或第二信号频率,来调整音频和/或视频节拍信号的节拍频率。
根据上述技术方案,可以根据比较结果实时调整节拍频率。更加全面的考虑到对象所处环境、个人状态等其他因素可能对其认知训练造成影响,有的放矢地进行节拍频率的调整,加快了调整速度,进而保证了认知训练的速度和效果。
根据本发明实施例的另一方面,还提供一种认知训练系统。该认知训练系统包括音频和/或视频播放器、传感器、处理器和存储器。存储器中存储有计算机程序指令,该计算机程序指令被处理器运行时用于执行上述的认知训练方法。音频和/或视频播放器用于在处理器的控制下向对象播放音频和/或视频节拍信号。传感器用于自对象获取反馈信号,以发送给处理器。该传感器可以包括陀螺仪、按键、眼动设备、体态检测设备、摄像头等。
根据本发明实施例的又一方面,还提供了一种存储介质。在该存储介质上存储了程序指令,程序指令在运行时用于执行上述的认知训练方法。示例性地,存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的认知训练系统中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种认知训练方法,包括:
步骤S100,根据对象以前执行认知训练任务时播放的音频和/或视频节拍信号的历史节拍频率,和/或认知训练目的,生成音频和/或视频节拍信号;
步骤S300,根据所述认知训练目的,向对象提供不同的刺激,其中,一个或多个刺激用于生成所述认知训练任务,同时向所述对象播放所述音频和/或视频节拍信号以使所述对象的大脑产生神经振荡并引起夹带作用,接收所述对象执行所述认知训练任务的反馈信号,对所述反馈信号进行统计分析,以获得表示所述对象的认知能力的统计分析结果,其中,所述统计分析结果包括:命中率、误警率、正确反应时间、不命中率和/或辨别力指数;
步骤S500,确定是否满足结束条件,对于满足所述结束条件的情况,结束训练;对于不满足所述结束条件的情况,转步骤S700;以及
步骤S700,根据所述统计分析结果,基于对象之间的差异以及同一对象不同训练时刻的状态动态地调整所述音频和/或视频节拍信号的节拍频率,并且转步骤S300;
其中,认知训练用于提升所述对象的认知能力,所述认知能力是指大脑加工、存储和提取信息的能力。
2.如权利要求1所述的方法,其中,
第一次执行步骤S300时,向所述对象播放的音频和/或视频节拍信号的节拍频率是节拍频率第一极值;
所述步骤S700中所述调整所述音频和/或视频节拍信号的节拍频率包括:
对于当前节拍频率未达到节拍频率第二极值的情况,按照预设频率步幅增大或者减小所述当前节拍频率;
对于当前节拍频率达到节拍频率第二极值的情况,将当前节拍频率调整为最理想的统计分析结果所对应的节拍频率,并在后续认知训练中保持所述最理想的统计分析结果所对应的节拍频率。
3.如权利要求1或2所述的方法,其中,所述步骤S100包括:
确定所述节拍频率;
生成具有所述节拍频率的音频和/或视频信号,以作为所述音频和/或视频节拍信号。
4.如权利要求1或2所述的方法,其中,
所述步骤S100包括:
确定多个信号频率,其中所述多个信号频率各不相等;
针对所述多个信号频率中的每个信号频率,生成具有该信号频率的音频和/或视频信号;以及
根据所生成的音频和/或视频信号,获得所述音频和/或视频节拍信号;
所述步骤S700包括:通过根据所述统计分析结果调整所述多个信号频率中的至少一个来调整所述节拍频率。
5.如权利要求4所述的方法,其中,所述根据所生成的音频和/或视频信号获得所述音频和/或视频节拍信号包括:
叠加所述所生成的音频和/或视频信号,以获得所述音频和/或视频节拍信号;或者
叠加所述所生成的音频和/或视频信号和基础信号,以获得所述音频和/或视频节拍信号。
6.如权利要求4所述的方法,其中,所述根据所生成的音频和/或视频信号获得所述音频和/或视频节拍信号包括:
将所述所生成的音频和/或视频信号进行跨频率耦合,以获得所述音频和/或视频节拍信号;或者
首先,将所述所生成的音频和/或视频信号进行跨频率耦合,然后将所耦合的信号与基础信号进行叠加,以获得所述音频和/或视频节拍信号。
7.如权利要求1或2所述的方法,其中,所述音频节拍信号包括第一通道音频信号和第二通道音频信号;
所述步骤S300中所述向所述对象播放所述音频节拍信号包括:利用耳机分别向所述对象的左耳和右耳播放所述第一通道音频信号和所述第二通道音频信号。
8.如权利要求1或2所述的方法,其中,所述步骤S100包括:
确定显示频率;
根据所述显示频率确定所述视频节拍信号,其中,所述视频节拍信号所对应的视频帧根据所述显示频率周期性变化。
9.如权利要求1或2所述的方法,其中,所述步骤S300中所述对所述反馈信号进行统计分析包括:
对执行窗口内的反馈信号进行统计分析,以获得所述统计分析结果,其中所述执行窗口是时间窗口或者反馈次数窗口。
10.一种认知训练系统,包括音频和/或视频播放器、传感器、处理器和存储器,其中,
所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行如权利要求1至9任一项所述的认知训练方法;
所述音频和/或视频播放器用于在所述处理器的控制下向所述对象播放所述音频和/或视频节拍信号;
所述传感器用于自所述对象获取所述反馈信号,以发送给所述处理器。
11.一种存储介质,其中,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行如权利要求1至9任一项所述的认知训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110384765.XA CN113113115B (zh) | 2021-04-09 | 2021-04-09 | 认知训练方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110384765.XA CN113113115B (zh) | 2021-04-09 | 2021-04-09 | 认知训练方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113113115A CN113113115A (zh) | 2021-07-13 |
CN113113115B true CN113113115B (zh) | 2022-11-08 |
Family
ID=76715473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110384765.XA Active CN113113115B (zh) | 2021-04-09 | 2021-04-09 | 认知训练方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113113115B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114052736B (zh) * | 2021-08-31 | 2024-04-05 | 北京未名脑脑科技有限公司 | 认知功能的评估系统和方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111803033A (zh) * | 2020-07-13 | 2020-10-23 | 华东医院 | 基于vr和生物反馈的老年人躯体和听觉认知同步康复系统 |
CN112230777A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 一种基于非接触式交互的认知训练系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2605993A1 (en) * | 2005-04-25 | 2006-11-02 | Ellen Eatough | Mind-body learning system and methods of use |
CN106599582B (zh) * | 2016-10-27 | 2019-03-19 | 中国科学院心理研究所 | 一种基于智能移动设备的前瞻认知功能评估系统和方法 |
WO2018094230A2 (en) * | 2016-11-17 | 2018-05-24 | Cognito Therapeutics, Inc. | Methods and systems for neural stimulation via auditory stimulation |
US20190388020A1 (en) * | 2018-06-20 | 2019-12-26 | NeuroPlus Inc. | System and Method for Treating and Preventing Cognitive Disorders |
CN109524086A (zh) * | 2018-11-30 | 2019-03-26 | 北京京师脑力科技有限公司 | 一种提高感知觉的认知训练方法及系统 |
CN109925582B (zh) * | 2019-03-20 | 2021-08-03 | 天津大学 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
US11786694B2 (en) * | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
CN110292515A (zh) * | 2019-07-31 | 2019-10-01 | 北京浩瞳科技有限公司 | 一种视功能训练的方法及系统 |
CN112465139A (zh) * | 2020-11-25 | 2021-03-09 | 北京未名脑脑科技有限公司 | 认知训练方法、系统及存储介质 |
-
2021
- 2021-04-09 CN CN202110384765.XA patent/CN113113115B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111803033A (zh) * | 2020-07-13 | 2020-10-23 | 华东医院 | 基于vr和生物反馈的老年人躯体和听觉认知同步康复系统 |
CN112230777A (zh) * | 2020-10-29 | 2021-01-15 | 浙江工业大学 | 一种基于非接触式交互的认知训练系统 |
Non-Patent Citations (1)
Title |
---|
Exploration of Event-Evoked Oscillatory Activities during a Cognitive Task;Qiang Zhang;《2008 Fourth International Conference on Natural Computation》;20081107;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113113115A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11344249B2 (en) | Device for neurovascular stimulation | |
US10885800B2 (en) | Human performance optimization and training methods and systems | |
Chumerin et al. | Steady-state visual evoked potential-based computer gaming on a consumer-grade EEG device | |
Iversen et al. | Top‐down control of rhythm perception modulates early auditory responses | |
US20190387998A1 (en) | System and method for associating music with brain-state data | |
US9521976B2 (en) | Method and apparatus for encouraging physiological change through physiological control of wearable auditory and visual interruption device | |
CN114201053B (zh) | 一种基于神经调控的认知提升训练方法及系统 | |
Li et al. | Physiological indicators and subjective restorativeness with audio-visual interactions in urban soundscapes | |
CN101969841A (zh) | 修改对象的心理生理状态 | |
Opoku-Baah et al. | Visual influences on auditory behavioral, neural, and perceptual processes: a review | |
CN113113115B (zh) | 认知训练方法、系统及存储介质 | |
CN111297379A (zh) | 一种基于感官传递的脑机结合系统和方法 | |
CN107773254A (zh) | 一种测试用户体验的方法及装置 | |
Lee et al. | Music for sleep and wake-up: an empirical study | |
CN112465139A (zh) | 认知训练方法、系统及存储介质 | |
Stahl et al. | Design and evaluation of the effectiveness of a sonification technique for real time heart-rate data | |
US20230270368A1 (en) | Methods and systems for neural stimulation via music and synchronized rhythmic stimulation | |
US20190325767A1 (en) | An integrated system and intervention method for activating and developing whole brain cognition functions | |
Satoh et al. | Music in the brain: from listening to playing | |
Taylor | Simultaneous testing of multiple subjects in ecologically valid assessments of hearing aids and assistive listening for speech in noise and music | |
de Larrea-Mancera | Perceptual Learning: Assessment and Training Across the Mechanical Senses | |
Jeon | Soundscape and Digital Therapeutics: Psycho-physiological Restoration | |
Lelo de Larrea-Mancera | Perceptual Learning: Assessment and Training Across the Mechanical Senses | |
Harcevnicow et al. | Loss of precise auditory sampling as a sign of value-driven visual attentional capture | |
Elijah | It's all in the timing: An electrophysiological investigation of the temporal predictions associated with sensory attenuation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |