CN110337638A - 基于神经模型的控制器 - Google Patents

基于神经模型的控制器 Download PDF

Info

Publication number
CN110337638A
CN110337638A CN201880013960.8A CN201880013960A CN110337638A CN 110337638 A CN110337638 A CN 110337638A CN 201880013960 A CN201880013960 A CN 201880013960A CN 110337638 A CN110337638 A CN 110337638A
Authority
CN
China
Prior art keywords
memory
item
prediction
intervention
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013960.8A
Other languages
English (en)
Other versions
CN110337638B (zh
Inventor
M·D·霍华德
S·W·斯克尔海姆
P·K·皮利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hull Laboratory Co Ltd
Original Assignee
Hull Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/682,065 external-priority patent/US10720076B1/en
Application filed by Hull Laboratory Co Ltd filed Critical Hull Laboratory Co Ltd
Publication of CN110337638A publication Critical patent/CN110337638A/zh
Application granted granted Critical
Publication of CN110337638B publication Critical patent/CN110337638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

描述了一种用于记忆改善干预的系统。基于实时EEG数据和神经模型，所述系统模拟人的特定记忆在睡眠状态期间的重放。利用所述神经模型，生成对所述特定记忆的重放的行为表现的预测。如果所述预测低于第一阈值，则利用记忆增强干预系统，所述系统在所述睡眠状态期间施加干预，以改善所述特定记忆的巩固。如果所述预测低于第二阈值，则所述系统减少利用所述记忆增强干预系统执行的所述干预。

Description

基于神经模型的控制器
政府许可权利
本发明以美国政府合同号W911NF-16-0018在政府支持下做出。政府在本发明中具有特定权利。
相关申请的交叉引用
本申请是2016年10月24日在美国提交的题为“Method and System toAccelerate Consolidation of Specific Memories Using Transcranial Stimulation”的美国申请No.15/332,787的部分继续专利申请，该美国申请是2015年10月23日在美国提交的题为“Method and System to Accelerate Consolidation of Specific MemoriesUsing Transcranial Stimulation”的62/245,730的非临时专利申请，其全部内容通过引用并入于此。
本申请也是2017年8月21日在美国提交的题为“A Closed-Loop Model-BasedController For Accelerating Memory And Skill Acquisition”的美国申请No.15/682,065的部分继续专利申请，该美国申请是2016年10月20日在美国提交的题为“A Closed-Loop Model-Based Controller for Accelerating Memory and Skill Acquisition”的美国临时申请No.62/410,533的非临时专利申请，其全部内容通过引用并入于此。
本申请也是2017年10月11日在美国提交的题为“System and Method forPredicting Performance”的美国临时申请No.62/570,663的非临时专利申请，其全部内容通过引用并入于此。
本申请也是2017年3月28日在美国提交的题为“A Neural Model-BasedController”的美国临时申请No.62/478,020的非临时专利申请，其全部内容通过引用并入于此。
发明的背景
(1)发明的领域
本发明涉及用于记忆改善干预的系统，更具体地，涉及利用逼真的脑模型进行记忆改善干预的系统。
(2)相关技术的描述
在最先进的实验室实验中，在任务执行期间，将听觉或嗅觉提示与记忆任务相关联，然后在睡眠期间使用这些提示来触发该任务执行记忆的重放(replay)。例如，Rudoy(参见引入的参考文献列表中的参考文献No.1)报告了利用音频提示进行的物体位置实验的记忆保持率在1.5小时(hrs)后为97％，在48小时后推测为4％。另外，Diekelman(参见参考文献No.2)报告了利用气味提示进行的物体位置实验在1.67小时后保持84％，在10小时后推测为5％。而且，Marshall(参见参考文献No.3)报告了利用经颅直流电流刺激(tDCS)提示10小时后的成对联想任务在8.5小时后保持90％，但Marshall的技术改善了每一个记忆；而不是针对特定的记忆。
上述现有技术的记忆干预技术仅在实验室中、在有监督的睡眠条件下进行过测试。它们都不是用于现实生活中的；仅用于记忆巩固的研究。ACT-R(在参考文献No.5中描述)是长期记忆的概念模型，其针对回忆的概率和速度甚至功能性磁共振成像(fMRI)中的激活神经区域的定位进行预测。
因此，持续需要一种在线对长期记忆以及短期记忆进行建模的基于模型的干预系统，其中，将睡眠重放对短期记忆巩固为长期记忆的影响明确地建模，以基于迄今为止给出的治疗来模拟可能的行为改善，从而允许决定干预是应当继续还是应当停止。
发明内容
本发明涉及用于记忆改善干预的系统，更具体地，涉及利用逼真的脑模型进行记忆改善干预的系统。所述系统包括一个或更多个处理器以及编码有可执行指令的非暂时性计算机可读介质，使得当执行该可执行指令时，所述一个或更多个处理器执行多个操作。基于实时EEG数据和神经模型，所述系统模拟人的特定记忆在睡眠状态期间的重放。利用所述神经模型，生成对所述特定记忆的重放的行为表现的预测。如果所述预测低于第一阈值，则利用记忆增强干预系统，在所述睡眠状态期间施加干预，以改善所述特定记忆的巩固。如果所述预测低于第二阈值，则减少利用所述记忆增强干预系统执行的所述干预。
在另一方面，所述系统还包括：用于提供EEG信号的多个脑传感器，以及所述记忆增强干预系统，其中，所述神经模型是闭环控制系统的一部分。
在另一方面，利用回忆度量基于所述神经模型中的记忆强度来预测行为表现。
在另一方面，所述预测被应用至所述回忆度量，并且所述第一阈值和第二阈值是所述回忆度量的值。
在另一方面，所述系统按照同样允许发生其它记忆的巩固的方式对施加至所述特定记忆的干预进行控制。
在另一方面，所述神经模型包括短期记忆储存和长期记忆储存，其中，各个记忆储存包含多个事项，各个事项具有随时间动态演变的激活水平，其中，当事项活动时，该事项与同时活动的其它事项形成链接，其中，所述链接是定向的，以表示经历所链接的事项的次序。
在另一方面，所述链接被表示为权重值，并且其中，权重值是基于所链接的事项的激活水平来更新的。
在另一方面，回忆是各个事项的激活水平的函数，其中，如果事项的激活水平上升超过同时发生的其它激活，则认为该事项被回忆。
最后，本发明还包括计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可通过具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的动作。
附图说明
根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将变清楚，其中：
图1是示出根据本公开的一些实施方式的用于记忆改善干预的系统的组件的框图；
图2是根据本公开的一些实施方式的计算机程序产品的例示图；
图3A是根据本公开的一些实施方式的在清醒期间被捕获用于模型更新的数据的例示图；
图3B是根据本公开的一些实施方式的模拟在睡眠或安静清醒(quiet waking)期间的记忆巩固的模型的例示图；
图4是根据本公开的一些实施方式的对现实生活环境中的新颖多模态体验和知识的编码、衰退、巩固以及回忆进行模拟的神经记忆模型的例示图；
图5是根据本公开的一些实施方式的经提示的回忆级联(recall cascade)的例示图；
图6是例示根据本公开的一些实施方式的神经模型的参数的表格。
图7是例示根据本公开的一些实施方式的从脑电图受试者提取的疲劳、压力以及注意力的原始生物特征值的标绘图；
图8是根据本公开的一些实施方式的确定对模型预测的生物特征影响的调节参数的例示图；
图9是根据本公开的一些实施方式的通过4天4夜训练的两个单独序列的典型重放的例示图；
图10A是例示根据本公开一些实施方式的回忆的事项的对照值(contrast)的标绘图；
图10B是例示根据本公开一些实施方式的回忆的事项的回忆时间的标绘图；
图11A是根据本公开的一些实施方式的针对更多练习条件的回忆时间度量的标绘图；
图11B是根据本公开的一些实施方式的针对互补条件的回忆时间度量的标绘图；
图11C是根据本公开的一些实施方式的针对矛盾条件的回忆时间度量的标绘图；
图11D是根据本公开的一些实施方式的针对部分互补、部分矛盾条件的回忆时间度量的标绘图；
图12A是根据本公开的一些实施方式的针对更多练习条件的回忆准确度度量的标绘图；
图12B是根据本公开的一些实施方式的针对互补条件的回忆准确度度量的标绘图；
图12C是根据本公开的一些实施方式的针对矛盾条件的回忆准确度度量的标绘图；
图12D是根据本公开的一些实施方式的针对部分互补、部分矛盾条件的回忆准确度度量的标绘图；
图13A是根据本公开的一些实施方式的在无干扰情况下脑皮层(cortex)中的连接强度的标绘图；
图13B是根据本公开的一些实施方式的在无干扰情况下海马体(hippocampus)中的连接强度的标绘图；
图13C是根据本公开的一些实施方式的在有干扰情况下脑皮层中的连接强度的标绘图；以及
图13D是根据本公开的一些实施方式的在有干扰情况下海马体中的连接强度的标绘图。
具体实施方式
本发明涉及用于记忆改善干预的系统，更具体地，涉及利用逼真的脑模型进行记忆改善干预的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。对于本领域技术人员来说显然可以有各种改动以及不同应用方面的多种用途，并且本文限定的一般原理可以被应用于广泛的方面。因此，本发明不旨在限于所呈现的方面，而是涵盖与本文所公开原理和新颖特征相一致的最广范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更透彻理解。然而，本领域技术人员应当明白，本发明可以在不必受限于这些具体细节的情况下来实践。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以免妨碍对本发明的理解。
也请读者留意与本说明书同时提交的所有文件和文档，这些文件和文档与本说明书一起开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有特征(包括任何所附权利要求、摘要以及附图)可以由用于相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是一系列的等同或相似特征中的一个例子。
而且，权利要求中没有明确陈述“用于执行指定功能的装置”或“用于执行特定功能的步骤”的任何部件不应被解释为如在35U.S.C.112节第6款中指定的“装置”或“步骤”条款。特别地，在本文的权利要求中使用“……的步骤”或“……的动作”不应触发35U.S.C.112节第6款的规定。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的描述。最后，提供本发明各个实施方式的具体细节，以使得能够理解具体方面。
(1)引入的参考文献列表
贯穿本申请引用且并入以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用：
1.Rudoy JD,Voss JL,Westerberg CE,Paller KA.Strengthening IndividualMemories by Reactivating Them During Sleep.Science.2009；326:1079–1079。
2.Diekelmann S,Biggel S,Rasch B,Born J.Offline consolidation ofmemory varies with time in slow wave sleep and can be accelerated by cuingmemory reactivations.Neurobiol.Learn.Mem.2012；98:103–111。
3.Marshall L,Helgadóttir H,M,Born J.Boosting slow oscillationsduring sleep potentiates memory.Nature.2006；444:610–613。
4.Jaar O,Pilon M,Carrier J,Montplaisir J,Zadra A.Analysis of Slow-Wave Activity and Slow-Wave Oscillations Prior to Somnambulism.Sleep.2010；33:1511-1516。
5.Anderson,J.R.,Bothell,D.,Byrne,M.D.,Douglass,S.,Lebiere,C.,&Qin,Y.An integrated theory of the mind.Psychological Review.2004；111,4:1036-1060。
6.Hassabis D.,Chu C.,Rees G.,Weiskopf N.,Molyneux P.D.,MaguireE.A.Decoding Neuronal Ensembles in the Human Hippocampus.CurrentBiology.2009；19(7-3):546-554。
(2)主要方面
本发明的各种实施方式包括三个“主要”方面。第一个方面是用于记忆改善干预的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的装置中。第二个主要方面是利用数据处理系统(计算机)进行操作的通常采用软件形式的方法。第三个主要方面是计算机程序产品。该计算机程序产品通常表示存储在诸如光存储装置(例如，光盘(CD)或数字通用盘(DVD))或磁存储装置(例如，软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制示例包括：硬盘、只读存储器(ROM)以及闪存型存储器。这些方面将在下面进行更详细描述。
图1中提供了示出本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为存在于计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，例如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取得的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，例如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(如键盘)，其可以包括字母数字键和/或功能键。另选地，输入装置112可以是除字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114是利用诸如鼠标、轨迹球、轨迹板、光学跟踪装置或触摸屏的装置来实现的。尽管如此，但在一方面，例如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入而被引导和/或激活。在另一方面，光标控制装置114被配置成通过语音命令指引或引导。
在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选的计算机可用数据存储装置，如存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器、或者适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一个方面的示例计算环境。然而，计算机系统100的非限制示例并不严格限于作为计算机系统。例如，一个方面规定了计算机系统100代表可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用通过计算机执行的计算机可执行指令(例如，程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现方式中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，例如，在该计算环境中，任务由通过通信网络链接的远程处理装置执行，或者例如，在该计算环境中，各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中。
图2中示出了具体实施本发明的计算机程序产品(即，存储装置)的例示图。该计算机程序产品被示出为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，该计算机程序产品通常代表存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个、可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，例如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(3)各个实施方式的具体细节
对人类学习新的动作和技能序列的方式的详细模型进行描述。具体来说，该模型是根据脑中的表象最初如何被编码成海马体中易失的短期记忆中的集合(ensemble)之间的连接，然后逐渐巩固成脑皮层中的更稳定且持久的连接。该模型扩展了在美国非临时申请No.15/682,065(以下称为'065申请)中作为基于闭环模型的控制系统的一部分而公开的一种模型，该申请如在此全面阐述地通过引用而并入于此。本文所述的模型对于通过优先化被预测为在希望水平之下表现的技能(例如，必须快速学习并且清楚且容易地记住的特定事物的记忆)来与自然巩固过程进行协调以避免不必要的干预是至关重要的。
本文所述的模型在详述的神经集合层面模拟记忆的编码和巩固，并且对所产生的行为表现(即，随后回忆和使用感兴趣的记忆的能力)进行预测。在具有脑传感器和干预系统的控制回路中使用时，该模型在行为预测低于希望水平(例如，第一阈值)时开启干预，而在行为预测超过表现阈值(例如，第二阈值)时将该干预关闭。第一阈值和第二阈值可以相同或不同。由于有许多记忆需要在夜间巩固，因此，用于改善一个特定记忆的干预必须不阻止其它记忆的巩固；这是根据本公开的实施方式的基于模型的控制器的一个益处。重要的是，该模型更新其表示并且非常快速有效地进行新的预测。这种利用逼真的脑模型来决定睡眠期间何时需要干预的、用于记忆改善干预的控制系统从未被构想出。
基于模型的控制器(要素302和要素322)是在处理器上运行并且预测与特定记忆相关的行为表现水平的软件记忆模拟。应注意到，干预模块(要素310)在清醒期间将提示与记忆相关联。然而，接着在睡眠期间，该干预模块必须应用该提示来促进慢波睡眠期间记忆的重放。在没有本文所述的发明的情况下，这种干预是盲目应用的；无法知道记忆是否充分巩固以得到所需的表现水平。当干预在操作时，无法巩固其它记忆(例如，用户遇到的人、用户已经学到的事物)。因此，根据本公开的实施方式的系统预测用户何时已充分巩固了感兴趣的记忆，然后停止干预，使得用户可以巩固其它记忆。
在操作任务中(如在许多商业和教育场景中)，快速整合新信息(基于有限的接触)并准确回忆该信息至关重要。本文所述的发明的目的是控制增强记忆巩固的干预以使其成为可能。广泛公认的是，记忆在睡眠期间得到巩固，并且几个现有技术实验室实验已实施了一些有针对性的干预。然而，根据本公开的实施方式的系统首次实现围绕干预的控制回路以便准确控制何时应该应用干预，以便实现希望的表现水平。
本发明将自动确定在睡眠和安静清醒期间是否以及何时应当应用某些干预。该系统通过在安静清醒或慢波睡眠(在慢波振荡的0.5赫兹(Hz)-1.2Hz频带内)期间预测记忆重放活动所导致的行为表现结果来做到这一点，从而允许选择实现希望的表现的最佳重放干预选项。当所预测的表现达到希望水平时，该模型停止干预，让其它记忆得以巩固。该模型由情境范例中的所有经历的刺激的序列和内容以及先前重放事件的特征来塑造，因此，其可以预测进一步干预将对行为产生的影响。在没有本文所述的控制系统的情况下，在睡眠期间进行的改善一个或多个特定记忆的巩固的干预是信息不足的，因为在受试者醒来并经过测试之前，没有办法得到行为表现的反馈。如果干预的施加超过必要，那么其妨碍其它记忆被巩固，甚至可能导致该干预正在试图加强的记忆劣化。如果干预的施加少于必要，则无法实现所希望的行为表现。
这种人类学习和学习保持的详细的个性化模型有很多用途。该模型可以用于向任何训练系统通知个别受试者的学习情况。另外，该模型可以用于预测因进一步接触训练而产生的行为表现增益，并确定在睡眠期间巩固特定技能或记忆的程度。而且，该模型可以用于估计当前技能和记忆如何因遇到干扰技能或记忆而衰退，该模型可以被用作干扰不良记忆或坏习惯的主动工具。另外，该模型可以用于模拟个体睡眠不足的影响。
本文所述的发明背后的构思基于广泛接受和良好支持的观点，即，新记忆首先被编码为人脑的海马区中的短期记忆中的连接。然后逐渐过了几天、几周或几个月，它们被巩固到更慢学习的更稳定的脑区域，称为皮层，其中存储着长期记忆。一旦将信息巩固到长期记忆中，其就会变得更耐衰退。这种巩固过程涉及称作“重放”的事件，该事件在非快速眼动睡眠(NREM)期间的称作慢波睡眠的深度睡眠阶段发生。该理论认为，重放记忆越频繁，人在依赖于该记忆的回忆的行为上进行测试时表现得就越好。尽管短期储存中的任何记忆都有可能在睡眠期间被重放，但如果特定记忆与某些情感内容或高即时回报有关，则重放该特定记忆的概率更高。遗憾的是，人类需要学习的许多东西都是枯燥或乏味的，学习它们的回报可能还很遥远。这是记忆干预背后的动机。因此，根据本公开的实施方式的系统是一种自动化技术——一种干预控制系统，其将提高产生特定记忆重放的这些干预中的任何干预的有效性和效率。
本文所述的模型对人脑在清醒的经历和睡眠期间编码并巩固对事件和技能的记忆的方式进行建模。该模型被个性化以基于来自受试者的生物特征数据来模拟特定的个体受试者。这种模型肯定有很多用途，但是一种实现是用它预测特定的人能够回忆特定输入序列的程度。当预测结果高于希望的表现水平的阈值时，该模型发送信号来控制干预以提高记忆或技能。即，主动应用干预，直到表现预测超过希望的水平，然后关闭该干预。
本发明描述了一种可以进行准确的行为预测的神经模型设计。本公开的实施方式的模型定量地模拟睡眠对长期记忆功能的影响，并梳理并分解来自短期记忆中的清醒编码和长期记忆中的睡眠巩固的同等重要贡献。速度和效率对于诸如上述实现的干预至关重要，这决定了如何在最深睡眠阶段(NREM睡眠阶段3和4)期间干预慢波睡眠振荡(SWO)的每个正相位。在夜间睡眠期间，这些振荡的数量有限(在一夜睡眠中，SWO在通常远低于90分钟的时间里频率为0.5Hz-1.2Hz)，而且在该模型可以模拟结果之前，动态变化的SWO频率的EEG分析和重放的身份识别需要时间。因此，期望该模型在SWO的正相位之间的平均500毫秒(ms)时间期间、在报告的记忆重放之后的100ms内完成行为预测，以在SWO的下一个正相位期间对记忆干预进行控制。该模型在任务表现背景下的特定于受试者的预测能力来自对编码期间的非侵入式评估的注意力标记以及巩固期的持续时间和质量进行模拟。
(3.1)基本架构图
图3A和图3B例示了本文所述的整个系统的基本架构。在清醒(例如，较高活动状态)期间(图3A)，捕获数据(经由摄像头和/或麦克风300)以进行模型302更新，并且在睡眠或安静清醒期间(例如，较低活动状态)(图3B)，模型302模拟记忆巩固。模型302模拟行为表现并控制何时应用干预。虚线中的操作/模块(已编码对象的标识304；生理测量306；EEG分析器308；干预310)是现有技术。
在清醒经历期间(图3A)，当用户312即将经历必须准确记住的事件时，数据记录由一些自动决策系统启动或者由用户312启动(例如，经由启动记录的按钮314)。现有技术系统标识当时对于受试者最显著的感知(即，已编码对象的标识304)。
对于视觉事项，可以使用眼动仪来判定用户312正在看什么(例如，图像碎片围绕在短(1秒)时间窗口上平均的视觉注视形成)。另选地，用户312实际上可以拍摄感兴趣的事项的静态图片。可以利用开源系统(例如ImageNet/GoogleNet)来识别这些图像，以提供对对象进行标识的语义符号。对于语音识别，有许多已知的系统可以识别语音。通过对基于来自用户312的生物特征传感器数据的脑电图(EEG)、肌电图(EMG)以及心电图(ECG)进行分析来进行生理测量306。精神疲劳显著调节某些事件相关电位(ERP)的幅度，并且压力可以从心率变异性的ECG读出中推断出来。少量的压力可以提高编码强度，但较高的压力水平会干扰编码。可以根据EEG和EMG估计注意力或清醒性(要素316)。
在图3B中，干预模块(要素310)是现有技术系统(在美国申请No.15/332,787中描述，以下称为'787申请，其如在此全面阐述地通过引用而并入于此)。'787申请中描述的系统在清醒期间将如同气味(例如，参见参考文献No.2)、声音(例如，参见参考文献No.1)或者电刺激的提示与感兴趣的记忆相关联，并且在睡眠或安静清醒期间重新应用它，作为触发该特定提示记忆的回忆的提示。干预模块(要素310)也称为记忆增强系统。之后，可以重放该提示以在睡眠期间提示该记忆，从而将该记忆从短期巩固成长期记忆。
EEG分析器模块(要素308)是可以检测睡眠阶段318(包括检测慢波振荡(SWO))的现有技术模块。SWO主要发生在最深的睡眠阶段(NREM阶段3和4)，尽管SWO也可以在安静清醒状态下的深度休息时间期间发生。睡眠阶段可通过市售睡眠监测器来检测。当前可以通过分析EEG信号320来查明SWO的相位。自动分析系统尚未商业化，但是EEG信号分析的方法对于本领域技术人员来说是已知的(参见参考文献No.4)。模型302模拟睡眠期间记忆的重放并预测这种重放的行为结果。基于模型302的预测，可以控制322干预的开启或关闭。下面，对作为本公开的主题的模型302进行描述。当受试者睡觉时，基于模型的控制器可以整夜打开和关闭干预(要素322)。如果记忆已完全巩固且干预已关闭，那么该记忆可能因其它、可能冲突的记忆在睡眠期间重放而衰退。在这种情形下，系统会再次启动干预。
(3.2)神经记忆计算模型
图4中示出了根据本公开的实施方式的神经模型302。本公开中描述的神经记忆模型302模拟现实生活环境中的新颖的多模态体验和知识的编码、衰退、巩固以及回忆。该模型的主要模块是短期记忆储存400和长期记忆储存402。在清醒期间(图3A)，向感官事件标识唯一ID以及开始和结束时间324，并作为训练输入(T)404给出，以识别每个相关经历(任务相关以及分心或干扰的经历)。事件ID、开始/结束时间324以及注意力、疲劳和压力测量结果316在编码326期间都被记录和存储，如图3A所示。如图4中所示，在训练时段期间，生物特征406由图3A的生理测量模块306按照注意力(a)、精神疲劳(m)以及压力(s)的水平来报告。
在睡眠期间，分析EEG信号320。在慢波睡眠阶段期间，向模型302报告每个正相位的开始和结束时间，连同在该时段期间可能已经重放的特定记忆事件的概率分布。模型302不是专用于正在学习的技能的类型，而是可以容易地适应许多任务。
在下文中，术语“技能”用于描述可能与动作相关联的记忆，例如如何组装复杂的设备，或者在任务期间发生的供稍后进行汇报事情。模型302按与短期(STM)记忆400和长期(LTM)记忆402中的其它记忆整合的强度表示用户快速且容易地回忆该技能的能力。记忆由脑中的神经元集合的尖峰活动水平表示的观点被广泛接受(参见参考文献No.6)。短期记忆中的事项的激活水平是短暂的，并且在该事项被经历或回忆后很快就会消退。然而，当事项活动时，该事项与同时活动的其它事项形成链接。这些链接是定向的，以表示经历所链接的事件的次序。在STM 400中，事项激活及其与其它事项的链接都会在大约几分钟到几小时内变化，而在LTM 402中，它们在大约几天到几年内缓慢改变。这就是为什么必须将在STM 400中快速编码的记忆转移至LTM 402的理由。这种转移称作巩固，并且，本文所述的发明比迄今为止的任何模型更全面地对该过程进行建模。
存在几种对所描述的双储存系统(要素400和要素402)中的记忆之间的交互进行建模的方式。本发明包括一种自适应脑皮层-海马体架构，其考虑了支撑长期记忆/技能表示从海马体到新皮层的转移的自发睡眠重放(emergent sleep replay)。下面的方程组是一种实现方式，但是有许多大致相同的方式来表达记忆之间的那种动态关系。用户与每种技能的交互称作训练或测试。不同的是训练(可以是具有指导者的正式教学训练课程)提供反馈。测试(或者简单地说，环境中的经历)不提供反馈。根据本公开的实施方式的神经模型302由三个方程来限定：控制事项激活更新(图4中的要素408和要素410)的一对微分方程(1)和(2)，以及权重更新(图4中的要素412和要素414)方程(3)。事项激活(aX表示事项X的激活)随时间动态演变如下：
图6中的表格列出了每个变量的含义以及一些默认值。xs变量是在离子通道动态之后建模的“失活电流”。Xs按比aX慢的速率演变，并且当Xs变大时，会增加对事项激活的抑制。
在本文所述的模型302中，这些有关系的链接表示为权重值。权重更新(要素412和要素414)基于突触前事项的激活(要素408和要素410)以及突触后事项的激活的导数，其借助于方程(3)得到用于扩展激活的偶然连接。
细胞和失活电流动态通过因子f来缩放。图6中的表格示出了其它变量。
方程(1)通过减去衰退项和抑制项并且添加激励项来更新每个事项x的激活值。抑制电流是函数aX[β∑Y≠XaY+Θf(xs)]。β是抑制参数，aY的总和提供来自其它事项的竞争。xs是在动态速度变量σs＜＜的情况下，方程(2)中更新的缓慢变量，其中，Θ是参数，f(xs)是平滑地对值进行约束的Txs是针对sigmoid值为其最大值一半的点处的xs值的阈值，ex是控制sigmoid上升的陡度的指数。
激励电流是前馈激励FF(要素416)以及来自与事项x链接的激活事项的输入的加权和的函数。对于STM 402，FF(要素416)是输入缓冲区418中的事项的激活，该激活激发这些事项在STM 402中的表示。对于LTM 400，FF(要素416)是STM 402中的对应事项的激活，因子ζ[HX-λ]+(要素420)是从STM到LTM的反馈激励，其受制于阈值参数λ。对于海马体，ζ＝0.1。(1-ax)是逆转电位，这是一个动态平衡项，意味着如果ax超过最大值1，则来自其它事项的扩展激活成为负项，从而减少了ax的值。
γ∑Y≠XwYXaY作为定向链接至事项X的事项Y的激活按权重Wyx(要素412和要素414)的加权和的函数，将激活扩展至ax(要素408和要素410)。激活在每个记忆区中的事项内扩展。γ是默认为0.4的调谐参数。是加速激活增加的自激项，但它是一种sigmoid形式，其不会将ax的激活增加到超过乘数α(默认为0.5)的值。
如方程(3)中所述，通过改变活动事项之间的权重来进行学习。所有权重都初始化为0，并且永远不会为负。学习率η是一个常数，其对模型在所有情况下学习得有多快进行衡量。较高的学习率允许更快速地整合信息，但也增加了随机事件与更有意义的稳定模式一起被学习的可能性。从事项x到事项y的连接的权重变化包括因子(1wXY)，该因子在权重接近1时将导致权重变化率降低，并且将1设定为最大可获得权重。只要x的活动(aX)不为0，并且事项y的活动(ay)不恒定，x与y之间的连接的权重就会改变。权重变化与x的活动(aX)成正比，并且与y的活动的变化率(daY)成比例。如果(daY)为负，则权重变化减半。这对于学习同时发生的事件之间的连接是必要的。
权重对突触前集合(事项x)的活动和突触后集合(事项y)的活动变化率的依赖性产生了一种Hebbian可塑性。在Hebbian理论中，如在本文所述的模型中，如果事项x的激活可靠地增加了事项y中的活动，则从x到y的连接强度增加。如果尽管来自事项x的强输入，事项y中的活动也会下降，这表明与x相关联的集合不能激活与y相关联的集合，那么连接强度降低。在事项连续激活的时候，当第二个事项的活动开始上升时，第一个事项将仍然是活动的；这导致它们的连接强度增加。如果第一个事项在下一个事项开始激活时已经达到其激活的峰值，那么所得到的沿反方向(从y到x)的权重变化将为负。本文描述的模型302引入了可以在受试者的生物特征数据(要素406)中观察到的效果(身体或心理因素)。缺乏注意力、压力水平或疲劳都会对学习产生影响。引入任务无关的分心项(distractor)也会起作用。这由方程(3)中的因子f(biometrics)表示，如下在式(4)和式(5)中所述。
(3.3)个性化：生物特征和分心因子
通过并入根据现有技术测量的生物特征406来个性化上述神经记忆模型302，该生物特征包括受试者在清醒期间的疲劳、压力以及注意力的测量结果。在记忆被学习或训练时(即，记忆编码的时间)，利用这些输入调节记忆的初始激活水平。在除了任务相关的训练和测试之外的其它时间，生物特征参数识别与记忆相关的生理状态和重放参数，其在清醒、安静清醒以及睡眠阶段的时段期间改变模型的操作模式。
在一个实施方式中，使用现有技术从EEG中提取三个生物特征406，包括精神疲劳、压力以及注意力。图7中示出了在试验任务中从受试者3798的EEG提取的疲劳、压力以及注意力的原始生物特征值。这些值的范围从0到2。基线是适应期试验0-60。任务训练是试验61-240，并且在训练之后正好紧接着测试。在第一天的训练和测试(到试验355)中，生物特征相当平稳，但在早上测试(睡眠后的试验356-475)中，疲劳度量(粗线700)显著降低。图7中的标绘图示出了精神疲劳(粗线700)在睡眠之后显著降低。非加粗实线702表示注意力，虚线704表示压力。
图8示出了根据本公开的实施方式的、确定对模型预测(即，图4中的行为预测422)的生物特征影响的调节参数的方法。在模型302中仅使用与表现显著相关的生物特征。生物特征对模型模拟的影响通过每个生物特征值与受试者表现之间的相关性800的量来调节。根据本公开的实施方式的在线更新方法基于与表现的相关性800的程度(利用针对显著相关性的线性拟合参数(即，应用线性拟合802))。每m次试验(当前m＝1)更新生物特征影响。在时间窗口(例如，100秒)中计算出每个生物特征的滑动平均值(对a(注意力)、s(压力)、f(疲劳)求平均值804)以及受试者行为表现度量的滑动平均值(对perf求平均值806)。每个生物特征(例如，注意力808、压力810、精神疲劳812)与每个表现度量(要素814)相关联(要素800)，并且仅在相关性800显著时(例如，在p值<0.05的情况下)被并入针对时段的认知模型中。下面的式(4)示出了方程(3)中所示的生物特征因子，其用于将认知模型更新至短期记忆水平Ex。
biometric_factors＝(caA+ya)(cmM+ym)(cSS+ys) (4)
这里，A、和分别表示注意力因子、精神疲劳因子和压力因子(各个因子通过减1来调节成-1到1的范围)。是调节相应生物特征的影响的参数向量。如果生物特征的相关性800不显著，则针对该生物特征将参数设定成0，并且将对应的设定成1(要素816)。然而，如果相关性800对于某一时段是显著的，则利用一阶线性拟合802来找到将生物特征与表现联系起来的回归线的斜率和截距。例如，这种线性拟合802的MATLAB实现使用函数polyfit，如下：
[c,y]＝polyfit(biometric_vector,
matching_performance_vector,1)。
式(4)包含注意力(通过现有技术方法从EEG提取的度量)与表现之间的相关性。然而，还存在外在可观察的分心指示，例如移动至视野的任务无关区域的凝视，或者采用与任务无关的方式的身体取向(例如，头部和/或臂部的取向)。如果对正在建模的任务有意义，则可以将这些指示并入方程(3)中(要素818)。非限制性示例是监视任务，在该监视任务中，受试者必须拍摄出现在建筑物的窗户中的人的照片。如果在其中一个窗户中出现分心的事物，例如跑过房间的狗，并且受试者错误地拍摄了狗的照片，那么受试者的动作(拍照)就是受试者被狗分心的外在指示。在下面的式(5)中，D是二进制信号，其在存在任何分心项时为1，而在不存在分心项时为0。Yd是分心因子强度的调节参数(例如，Yd＝0.00005)，d是交互的调节参数(例如，d＝1)。交互变量是二进制值，如果存在与分心项的交互则其变为1，否则为0。前置的(Tx(x)＞0)因子规定了分心因子仅用于当前活动的技能x，即，训练发生并且Tx>0时。
distraction_factor＝(Tx(x)＞0)*(yd*(D＞0)+d*interaction)
(3.4)睡眠期间记忆/技能巩固的模拟
在脑中，快速学习、快速衰退的海马体(由本文所述的短期记忆400模拟)必须训练缓慢学习的脑皮层(由本文所述的长期记忆402模拟)(如图4所示)。在慢波睡眠期间，显著的记忆可以变为在短期记忆400中随机重新激活，在长期记忆402中驱动重放并加强长期连接。这些重新激活的记忆称作自发重放(emergent replay)。在足够数量的重放后，当事项被激活时，不再需要海马体连接来驱动沿着学习到的链接的激活扩展。
重放被建模为从在慢波振荡的正相位(“UP状态”)期间发生的最近活动事项的加权分布中随机选择的单个事项的激活的短暂增加，称作“提示”。由于事项之间的连接而造成的激励，这导致已被学习以与第一事项相关联的其它事项的顺序激活。结果，每当序列中的第一事项被提示时，在清醒期间多次呈现的序列将被重放。如果后面的事项被提示，则局部序列通常从所提示的事项起开始重放。由于所有重放活动必须在UP状态的约500ms内发生，因此时间系数在睡眠期间增加，从而导致所有变化率增加。图9示出了通过4天4夜训练的两个单独序列900和902的典型重放。每个标绘图中的每条曲线是该序列中的一个事项的时间激活水平。例如，在900中的第一夜，3条曲线是事项A在事项A变为活动的并且然后消失时的水平，接着事项A的激活扩展至事项B神经元，事项B神经元变为活动的(虚线曲线)然后消退，然后扩展至事项C神经元，事项C神经元变为活动的(粗线)然后消退。在902中的第一夜，对序列12345进行训练并且曲线依次示出事项1、然后是事项2、然后是事项3。激活确实发生交叉(在图中很难看到)。一个序列(ABCDE)900比另一序列902更广泛地被训练(4夜训练相对于1夜训练)因此重放明显更快。这可以看作曲线峰值一夜一夜地在时间上更紧靠在一起，因为事项之间的链接变得更强，因此激活扩展更快。而且，利用更强的链接，激活水平扩展得更远，因此在第一夜间，两个序列都激活了前3个事项，但在第二夜，900激活了4个事项，而到了第三夜，所有5个事项都被激活。没有得到那么多的训练的序列900从未激活超过4个事项，并且没有那么多的加速。
要提示的事项是从加权分布中选择的，该加权分布中每个事项的权重是称作“显著性(salience)”的因子。只要给定事项是活动的，事项的显著性因子就会增加，并且随时间衰退。在每个UP状态中，选择一个事项进行提示，并且选择概率与显著性权重(即，与其它事项相比，该事项最近活动的频率)成比例。“无”提示也在分布中表示，意味着没有提示重放的概率。将固定的权重分配给“无”提示。这导致在最近没有事项活动时增加的无提示概率。
因为在睡眠期间仍然能够进行学习，所以重新激活的连接往往会增加它们的连接强度。另外，由于激活的时间尺度更快以及学习对突触后细胞的激活变化率的依赖性，因此在重放期间，权重变化率明显更高。这在较慢学习的脑皮层中最重要。睡眠重放允许脑皮层中的连接在短时间内变得更强，而无需额外的训练。
(3.5)清醒回忆度量
在序列学习实验中，通过反复接触由字母或数字表示的事件序列而对模型进行训练。通过测量回忆能力，可以跟踪每次呈现训练刺激的表现改善。下面是对度量数据收集和计算如何工作的描述(参见式(6)和式(7))。下面描述的回忆度量是构成记忆的每个事项的激活水平的函数、以及其上升超过同时进行的其它激活的能力(参见下面的式(6)和式(7)中的对照值和P)。以这种方式，使用回忆度量来基于神经模型中的记忆强度预测行为表现。
(3.5.1)回忆度量的算法
a.得到当前回忆的激活历史，其为每个事项的当前激活的阵列(即，从回忆被提示的时间到所有事项激活返回至零的每个时间点(dt)的事项激活，假设在该时段期间没有察觉到其它事件)。
b.针对每个事项，识别在该事项的激活水平高于其余事项时开始、在其水平被另一事项的水平超过时结束的时段。
c.利用式(6)计算每个时间步的每个事项相对于每个其它事项的平均激活的对照值。
d.计算每个事项i在其对照值最大时的对照值平均值
e.利用式(7)计算P，该式计算相应对照值的总和，并且为该序列的排列添加因子(|pi|，其为回忆的列表与经过训练的列表的编辑距离)。
如果事项的对照值上升超过所有其它事项的对照值，则本文所述的回忆度量将所述事项视为被回忆。图10A和图10B示出了在对事项A、B、C、D的序列进行训练并且随后将A呈现为提示之后、短期记忆(海马体)中模拟该序列的回忆的示例。仅针对序列A、B、C、D中随后回忆的事项来计算回忆时间。图10A标绘了与每个事项在它们被回忆时的实际激活水平(图10B中所示)相比较的对照值ci(t)。在多个200ms时间窗口上计算对照值。该技术用于进行基于训练和睡眠巩固的行为预测。回忆度量基于事项激活，但是事项之间权重的简单平均也可以提供对回忆能力的合理预测。
(3.6)实验研究
基于文献，神经模型(图4，302)展示了记忆的关键特性。特性包括：练习增加记忆访问速度和回忆强度；海马体(短期记忆400)学习得比脑皮层(长期记忆402)更快；矛盾的输入会劣化回忆有冲突的练习过的事项的能力；互补输入不会劣化表现；以及记忆痕迹会随着时间衰退，在短期记忆中比在长期记忆中衰退得更快。
利用模拟的输入，神经模型模拟序列学习(参见图9、图10A以及图10B)。成对联想任务是心理学和神经科学中使用的另一种常见实验，在该实验中，两个事项一起呈现，并且当随后呈现一个时，受试者必须回忆起另一个。也可以在本文所述的神经模型中对其进行模拟，因为其具有与双事项序列相同的特性。实际上，一对即为同时发生的序列。在下面描述的实验中，比较了通过上述度量评估的神经模型对回忆准确度的模拟。在主要序列A-B-C-D-E的前十次接触之后，跟着是在四个第二序列之一上进行另外十次接触的训练期，这四个第二序列包括相同的(A-B-C-D-E)、矛盾的(E-D-C-B-A)、互补的(B-C-D)以及部分矛盾和部分互补的(A-B-C-P-Q)。
在每次训练期后，通过将“A”呈现为提示来测试表现。该度量将事项激活的回忆级联与第一个练习序列(A-B-C-D-E)进行了比较。这只是清醒练习和测试；而没有进行睡眠巩固。图11A至图11D以及图12A至图12D例示了针对上述四个条件中的每一个条件标绘的回忆度量：相同的序列、互补的序列、矛盾的序列以及混合的序列。图11A至图11D示出了针对四个条件中的每个条件标绘的回忆时间度量。图11A是相同的序列的连续练习的标绘图，图11B是互补的序列的标绘图，图11C是矛盾的序列的标绘图，图11D是混合的序列的标绘图。在各个标绘图中，未加粗线表示海马体，而粗线表示脑皮层。连续练习(图11A)带来比其它序列更多的改善。矛盾的序列(图11C)主动降低了模型的表现。部分互补的呈现(图11D)导致一些表现改善。总之，练习增加了记忆访问速度；而矛盾的事项减慢了访问。
图12A至图12D是针对相同的序列(图12A)、互补的序列(图12B)、矛盾的序列(图12C)以及混合的序列(图12D)标绘的回忆准确度度量的标绘图。在各个标绘图中，未加粗线表示海马体，而粗线表示脑皮层。对于连续训练和互补序列来说，准确度得到改善，但对于矛盾的序列来说，准确度劣化了。总之，练习增加了回忆的强度。矛盾的信息会使回忆练习过的信息的能力劣化。这可以解释较长时段内的记忆衰退。
图13A和图13B示出了在短期记忆(脑皮层，图13A)和长期记忆(海马体，图13B)中的事项之间的权重在没有干扰的情况下如何在最初训练之后的4天内变化。每个夜间，在慢波睡眠中记忆被重新激活，加强脑皮层中的权重(其在很长的时间尺度内衰退)。在白天期间，短期记忆权重衰退。海马体反馈得以维持。重放持续全部4天，并且在脑皮层连接中发展出显著的强度。
图14A和图14B示出了针对学习有矛盾的干扰事项的情况的相同标绘图。图14A示出了短期记忆，图14B示出了长期记忆。如图所示，衰退更陡峭，并且短期权重学得更慢。海马体反馈得以维持。干扰降低，然后消除、重放。这些标绘图示出了早期脑皮层连接的强增长，但在第二夜及以后几乎没有增长。
本文所述的发明首次使用于增强正常受试者和具有与记忆巩固有关的学习困难的人群的记忆的有针对性的个性化闭环系统成为可能。本公开的发明有多种应用。例如，车辆制造商可以使用所述系统进行训练，或者作为商业产品。由于近期对脑增强技术的广泛关注，并且现今市场上有几种商业系统，因此根据本公开的实施方式的控制技术系统可以被引入产品中并且在不久的将来进入市场。例如，基于闭环模型的干预控制可以被引入刺激和治疗大脑的公司产品中。
本发明通过基于记忆的权重对回忆度量进行计算来进行行为预测。通过添加读出模型(如在美国临时申请No.62/570,663中所述，该申请如在此全面阐述地通过引用而并入于此)，可以将该回忆度量映射成特定受试者的实际表现度量，。
参考文献(No.1、No.2以及No.3)中描述的现有技术的记忆干预技术仅在实验室中、在有监督的睡眠条件下进行过测试。它们不是用于现实生活中的；仅用于记忆巩固的研究。无论是在实验室还是在现实环境中都不存在这样的方法：控制哪些特定记忆需要增强，或者在特定记忆被充分增强时停止针对其的干预，以允许巩固其它记忆。为了在实验室中对特定记忆增强干预提供这种控制，并且为了使其成为除了受监督的实验室环境之外个人也可以使用的商业产品，干预实施(delivery)系统必须是自动化的。这是因为当受试者处于慢波睡眠或者在发生记忆重放时的任何其它认知状态时，必须实时分析EEG(在慢波振荡半周期内)，以决定在下一个周期应当应用哪种记忆干预(若有的话)。人类监督员无法像自动化系统那样快速地做出这些决定，并且无法在不唤醒受试者的情况下进行表现测试。本发明的目的是添加这种自动化，以通过评估受试者的脑状态并实时预测何时应用干预来使这些方法高效且有效。
根据本公开得到的产品将使人们在他们睡眠时能够加强情节记忆并更快地获得技能。所述系统在与记忆巩固技术恰当地配对后可能取得巨大的商业成功，因为它使运用该技术所需的一些监督自动化。因此，本发明是使这些技术从临床环境中走出并进入家庭使用的过渡的一部分。
另外，本文所述的模型在教育自动化系统(例如教学和培训软件)中也将证明是非常有用的。对用户保留的信息进行更准确的评估将允许此类软件专注于额外训练将最为有用的学习领域。而且，诸如监视和任务后汇报之类的任务需要详细的记忆，该记忆可以由根据本公开的实施方式的系统来增强和提炼，这可以加快任务排练时间。
最后，虽然已经根据几个实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，可以有许多实施方式和实现。而且，所附的权利要求绝不是旨在将本发明的范围限制成上述具体实施方式。另外，任何“用于……的装置(means)”的用语旨在引发要素和权利要求的装置加功能的解读，而任何未特别使用“用于……的装置(means)”用语的要素不应被解读为装置加功能要素，即使权利要求以其它方式包括了“装置(means)”一词。而且，虽然已经按特定次序陈述了特定的方法步骤，但这些方法步骤可以按任何期望的次序发生并且落入本发明的范围内。

Claims (22)

1.一种用于记忆改善干预的系统，所述系统包括：
一个或更多个处理器以及编码有可执行指令的非暂时性计算机可读介质，使得当执行所述可执行指令时，所述一个或更多个处理器执行以下操作：
基于实时EEG数据和神经模型，模拟人的特定记忆在睡眠状态期间的重放；
利用所述神经模型，生成对所述特定记忆的重放的行为表现的预测；
如果所述预测低于第一阈值，则利用记忆增强干预系统，在所述睡眠状态期间施加干预，以改善所述特定记忆的巩固；以及
如果所述预测低于第二阈值，则减少利用所述记忆增强干预系统执行的所述干预。
2.根据权利要求1所述的系统，所述系统还包括：
提供EEG信号的多个脑传感器；以及
所述记忆增强干预系统，其中，所述神经模型是闭环控制系统的一部分。
3.根据权利要求1所述的系统，其中，利用回忆度量，基于所述神经模型中的记忆强度来预测行为表现。
4.根据权利要求3所述的系统，其中，所述预测被应用至所述回忆度量，并且所述第一阈值和所述第二阈值是所述回忆度量的值。
5.根据权利要求1所述的系统，其中，所述系统按照同样允许发生其它记忆的巩固的方式对施加至所述特定记忆的干预进行控制。
6.根据权利要求1所述的系统，其中，所述神经模型包括短期记忆储存和长期记忆储存，其中，各个记忆储存包含多个事项，各个事项具有随时间动态演变的激活水平，其中，当事项活动时，该事项与同时活动的其它事项形成链接，其中，所述链接是定向的，以表示经历所链接的事项的次序。
7.根据权利要求6所述的系统，其中，所述链接被表示为权重值，并且其中，权重值是基于所链接的事项的激活水平来更新的。
8.根据权利要求6所述的系统，其中，回忆是各个事项的激活水平的函数，其中，如果事项的激活水平上升超过同时发生的其它激活，则认为该事项被回忆。
9.一种用于记忆改善干预的计算机实现方法，所述计算机实现方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
基于实时EEG数据和神经模型，模拟人的特定记忆在睡眠状态期间的重放；
利用所述神经模型，生成对所述特定记忆的重放的行为表现的预测；
如果所述预测低于第一阈值，则利用记忆增强干预系统，在所述睡眠状态期间施加干预，以改善所述特定记忆的巩固；以及
如果所述预测低于第二阈值，则减少利用所述记忆增强干预系统执行的所述干预。
10.根据权利要求9所述的方法，其中，利用回忆度量，基于所述神经模型中的记忆强度来预测行为表现。
11.根据权利要求10所述的方法，其中，所述预测被应用至所述回忆度量，并且所述第一阈值和所述第二阈值是所述回忆度量的值。
12.根据权利要求9所述的方法，其中，所述系统按照同样允许发生其它记忆的巩固的方式对施加至所述特定记忆的干预进行控制。
13.根据权利要求9所述的方法，其中，所述神经模型包括短期记忆储存和长期记忆储存，其中，各个记忆储存包含多个事项，各个事项具有随时间动态演变的激活水平，其中，当事项活动时，该事项与同时活动的其它事项形成链接，其中，所述链接是定向的，以表示经历所链接的事项的次序。
14.根据权利要求13所述的方法，其中，所述链接被表示为权重值，并且其中，权重值是基于所链接的事项的激活水平来更新的。
15.根据权利要求13所述的方法，其中，回忆是各个事项的激活水平的函数，其中，如果事项的激活水平上升超过同时发生的其它激活，则认为该事项被回忆。
16.一种用于记忆改善干预的计算机程序产品，所述计算机程序产品包括：
存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令能够通过具有一个或更多个处理器的计算机执行，以使所述处理器执行以下操作：
基于实时EEG数据和神经模型，模拟人的特定记忆在睡眠状态期间的重放；
利用所述神经模型，生成对所述特定记忆的重放的行为表现的预测；
如果所述预测低于第一阈值，则利用记忆增强干预系统，在所述睡眠状态期间施加干预，以改善所述特定记忆的巩固；以及
如果所述预测低于第二阈值，则减少利用所述记忆增强干预系统执行的所述干预。
17.根据权利要求16所述的计算机程序产品，其中，利用回忆度量，基于所述神经模型中的记忆强度来预测行为表现。
18.根据权利要求17所述的计算机程序产品，其中，所述预测被应用至所述回忆度量，并且所述第一阈值和所述第二阈值是所述回忆度量的值。
19.根据权利要求16所述的计算机程序产品，其中，所述系统按照同样允许发生其它记忆的巩固的方式对施加至所述特定记忆的干预进行控制。
20.根据权利要求16所述的计算机程序产品，其中，所述神经模型包括短期记忆储存和长期记忆储存，其中，各个记忆储存包含多个事项，各个事项具有随时间动态演变的激活水平，其中，当事项活动时，该事项与同时活动的其它事项形成链接，其中，所述链接是定向的，以表示经历所链接的事项的次序。
21.根据权利要求20所述的计算机程序产品，其中，所述链接被表示为权重值，并且其中，权重值是基于所链接的事项的激活水平来更新的。
22.根据权利要求20所述的计算机程序产品，其中，回忆是各个事项的激活水平的函数，其中，如果事项的激活水平上升超过同时发生的其它激活，则认为该事项被回忆。
CN201880013960.8A 2017-03-28 2018-01-19 用于记忆改善干预的系统、方法和计算机可读介质 Active CN110337638B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762478020P 2017-03-28 2017-03-28
US62/478,020 2017-03-28
US15/682,065 2017-08-21
US15/682,065 US10720076B1 (en) 2016-10-20 2017-08-21 Closed-loop model-based controller for accelerating memory and skill acquisition
US201762570663P 2017-10-11 2017-10-11
US62/570,663 2017-10-11
PCT/US2018/014533 WO2018182827A1 (en) 2017-03-28 2018-01-19 A neural model-based controller

Publications (2)

Publication Number Publication Date
CN110337638A true CN110337638A (zh) 2019-10-15
CN110337638B CN110337638B (zh) 2023-02-17

Family

ID=63676595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013960.8A Active CN110337638B (zh) 2017-03-28 2018-01-19 用于记忆改善干预的系统、方法和计算机可读介质

Country Status (3)

Country Link
EP (1) EP3602287A4 (zh)
CN (1) CN110337638B (zh)
WO (1) WO2018182827A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111202517A (zh) * 2020-02-03 2020-05-29 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111000557B (zh) * 2019-12-06 2022-04-15 天津大学 一种应用于减压颅骨术后的无创脑电信号分析系统
CN113361683B (zh) * 2021-05-18 2023-01-10 山东师范大学 一种生物仿脑存储方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120036099A1 (en) * 2010-08-04 2012-02-09 Qualcomm Incorporated Methods and systems for reward-modulated spike-timing-dependent-plasticity
CN103930910A (zh) * 2011-11-09 2014-07-16 高通股份有限公司 无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：结构可塑性和结构约束建模
CN105868828A (zh) * 2011-11-09 2016-08-17 高通股份有限公司 神经系统工程设计方法和装置
US20160361541A1 (en) * 2013-08-27 2016-12-15 Halo Neuro, Inc. Method and system for providing electrical stimulation to a user

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126179A1 (en) * 2008-04-09 2009-10-15 Lotus Magnus, Llc. Brain stimulation systems and methods
TW201228635A (en) * 2011-01-14 2012-07-16 Univ Nat Cheng Kung Device and method for enhancing memory ability and parasympathetic activity
US20140057232A1 (en) * 2011-04-04 2014-02-27 Daniel Z. Wetmore Apparatus, system, and method for modulating consolidation of memory during sleep
EP2863986A4 (en) * 2012-06-22 2016-01-20 Thync Inc DEVICE AND METHODS FOR NON-EFFRACTIVE NEUROMODULATION USING TARGETED SKIN ELECTRICAL STIMULATION
JP2017521129A (ja) * 2014-06-09 2017-08-03 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 認知機能を回復するシステム及び方法
US10561840B2 (en) * 2014-12-22 2020-02-18 Icm (Institut Du Cerveau Et De La Moelle Épinière) Method and device for enhancing memory consolidation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120036099A1 (en) * 2010-08-04 2012-02-09 Qualcomm Incorporated Methods and systems for reward-modulated spike-timing-dependent-plasticity
CN103930910A (zh) * 2011-11-09 2014-07-16 高通股份有限公司 无监督的神经重放、学习完善、关联以及记忆转移的方法和装置：结构可塑性和结构约束建模
CN105868828A (zh) * 2011-11-09 2016-08-17 高通股份有限公司 神经系统工程设计方法和装置
US20160361541A1 (en) * 2013-08-27 2016-12-15 Halo Neuro, Inc. Method and system for providing electrical stimulation to a user

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LOREANA DEUKER等: "Memory consolidation by replay of stimulus-specific neural activity", 《THE JOURNAL OF NEUROSCIENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111202517A (zh) * 2020-02-03 2020-05-29 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备
CN111202517B (zh) * 2020-02-03 2022-06-24 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备

Also Published As

Publication number Publication date
EP3602287A4 (en) 2021-01-06
CN110337638B (zh) 2023-02-17
WO2018182827A1 (en) 2018-10-04
EP3602287A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
US10736561B2 (en) Neural model-based controller
Mohebbi et al. A deep learning approach to adherence detection for type 2 diabetics
US10796596B2 (en) Closed-loop intervention control system
Shahnazian et al. Distributed representations of action sequences in anterior cingulate cortex: A recurrent neural network approach
CN110337638A (zh) 基于神经模型的控制器
Rizzi et al. A situation-aware fear learning (safel) model for robots
Dağlarlı et al. Improving human-robot interaction based on joint attention
US11455519B2 (en) Method for estimating output neuron spikes based on input-output spike data
Suarez Predicting student’s appraisal of feedback in an its using previous affective states and continuous affect labels from eeg data
US10720076B1 (en) Closed-loop model-based controller for accelerating memory and skill acquisition
CN110168473B (zh) 用于受试者的记忆巩固的闭环干预控制系统和方法
Pagan et al. A new theoretical framework jointly explains behavioral and neural variability across subjects performing flexible decision-making
Rathi et al. Analysis of user’s learning styles and academic emotions through web usage mining
Seok et al. Recognition of human motion with deep reinforcement learning
Davelaar Sequential retrieval and inhibition of parallel (re) activated representations: A neurocomputational comparison of competitive queuing and resampling models
Kappel et al. Reward-based stochastic self-configuration of neural circuits
Ganiga et al. Modeling EEG Signals for Mental Confusion Using DNN and LSTM With Custom Attention Layer
Bakkialakshmi et al. Effective Prediction System for Affective Computing on Emotional Psychology with Artificial Neural Network
Prabhu et al. Data-driven discovery of sparse dynamical model of cardiovascular system for model predictive control
Shimazaki The principles of adaptation in organisms and machines II: thermodynamics of the Bayesian brain
Liu et al. Brain model state space reconstruction using an LSTM neural network
Hota et al. Stress Detection Using Physiological Signals Based On Machine Learning
Antichi et al. Studying Nonlinear Change in Music Therapy Applying Dynamic Systems Theory
Chalacheva et al. Integrating Machine Learning with Biomedical Signal Processing and Systems Analysis: An Applications-based Course
Dixit et al. Managing the Scarcity of Monitoring Data Through Machine Learning for Human Behavior in Mental Health Care

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant