CN110023918A - 用于加速记忆和技能获取的基于闭环模型的控制器 - Google Patents

用于加速记忆和技能获取的基于闭环模型的控制器 Download PDF

Info

Publication number
CN110023918A
CN110023918A CN201780057906.9A CN201780057906A CN110023918A CN 110023918 A CN110023918 A CN 110023918A CN 201780057906 A CN201780057906 A CN 201780057906A CN 110023918 A CN110023918 A CN 110023918A
Authority
CN
China
Prior art keywords
memory
term memory
subject
closed
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780057906.9A
Other languages
English (en)
Other versions
CN110023918B (zh
Inventor
P·K·皮利
M·D·霍华德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN110023918A publication Critical patent/CN110023918A/zh
Application granted granted Critical
Publication of CN110023918B publication Critical patent/CN110023918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

描述了用于受试者的记忆巩固的闭环控制系统。在操作期间，所述系统在长期记忆储存和短期记忆储存两者中将有关环境事项的信息编码为记忆。所述系统生成与所述环境事项中的至少一个有关的关注记忆的激活水平表示。还生成记忆的关联强度表示。当受试者处于NREM睡眠或安静的醒着时，通过强化与所述关注记忆有关的关联强度表示来模拟记忆巩固。所述系统将针对所述关注记忆的行为表现预测为可以通过提示回忆起来的关注记忆的概率。当所述行为表现低于阈值时，可以启用干预系统。

Description

用于加速记忆和技能获取的基于闭环模型的控制器
政府权利
本发明以美国政府合同编号W911NF-16-C-0018在政府支持下做出。政府在本发明中具有特定权利。
相关申请的交叉引用
这是在2016年10月20日提交的非临时专利申请62/410533，其全部内容通过引用并入于此。
技术领域
本发明涉及记忆获取系统，更具体地，涉及用于增强用于人类受试者的记忆巩固、学习以及技能获取的装置的基于闭环模型的控制系统。
背景技术
据广泛报道，新记忆首先被编码到海马体中的短期记忆中，然后逐渐过了几天、几周或几个月，它们被巩固到慢速学习的皮层中，在那里它们被非破坏性地慢慢并入到长期记忆中。一旦巩固到长期记忆中，它们就会变得更耐衰退。此巩固过程被称作“重放(replay)”，并且在称作非快速眼动睡眠或NREM的深度睡眠阶段发生。该理论认为，重放记忆越频繁，受试者在测试时表现越好。尽管海马体中的任何记忆都有可能在睡眠期间被重放，但如果特定记忆与某些情感内容或高即时回报有关，则重放该特定记忆的概率更高。遗憾的是，一个人可能需要学习的许多东西都是无聊或乏味的，学习它们的回报可能还有很长的路要走。
而且，在操作任务中(如在许多商业和教育场景中)，快速并入新信息(基于有限的接触)并准确回忆所述信息至关重要。如上提到，广泛公认的是，记忆在睡眠期间得到巩固，并且已经有一些实验室实验已实施了一些有针对性的干预来改善记忆巩固。例如，在目前发展水平的实验室实验中，在任务执行期间，将听觉或嗅觉提示与游戏(toy)任务(如“专心”记忆游戏，其中用户必须记住矩阵中的图像对的位置)相关联，然后在睡眠期间使用这些提示来触发重放该任务执行记忆。下一天，睡眠期间经提示重放的记忆已被巩固，通过测试时改善的表现证明了这一点。
举例来说，Rudoy(参见并入参考文献列表，Reference No.1)描述了一种用于回忆物体位置和声音的系统。结果证实，1.5小时后回忆率为97％，但48小时后只有4％的回忆率。在其它技术中，Diekelman(参见文献Reference No.2)致力于物体位置和气味，并且证实在1.67小时后回忆84％，但10小时后只有5％的回忆率。在另一技术中，Marshal(参见文献Reference No.3)致力于成对的关联物(associate)和经颅直流电刺激(tDCS)。Marshal的工作结果为，在8.5小时后回忆90％，10小时后回忆88.2％。
上述现有技术的记忆干预技术仅在实验室中，在有监督的睡眠条件下进行过测试。这些都不是用于现实生活中的；而仅用于记忆巩固的研究。干预实施(delivery)系统必须是自动化的，以使任何这样的装置成为商业产品，除了受监督的实验室环境之外，个人也可以使用该产品。
值得注意的是，这些现有技术参考文献中没有一个并入基于模型的干预系统，以基于以迄今为止给予的治疗为基础而模拟的行为改善来控制睡眠期间的应用提示。这种基于模型的控制系统可以被用于基于估计的表现水平来自动确定干预是应该继续还是应该停止。这种能力有几个好处：(1)其限制受试者必须遭受干预的次数。这对于耗尽有限资源(如来自电池的电力，或来自某一储油容器的香气)的干预，或者某些可能不希望超过必要应用(如经颅刺激)的干预最为重要。(2)一旦达到所估计的表现水平，其就会停止干预，让其它记忆有机会得以巩固。如果整个晚上不加区别地提示单个记忆，则其可能挤出其它记忆。(3)一旦达到表现水平并且干预已经停止，如果重放干扰记忆，则希望的表现水平可能会衰退。这样的控制器可以继续估计关于技能的表现，并在必要时转回干预以使其恢复到希望水平。
因此，持续需要基于模型的控制系统，其通过基于已经给予的治疗模拟整个晚上的行为表现水平，通过评估受试者的大脑状态并实时决定何时应用干预来控制记忆巩固改进干预。
发明内容
描述了一种用于受试者的记忆巩固的闭环控制系统。在各个方面，所述系统包括一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行若干操作。例如，在操作期间，所述系统将有关环境事项的信息编码为长期记忆储存区和短期记忆储存区二者中的记忆。生成第一记忆的激活水平表示，所述第一记忆是与至少一个所述环境事项有关的关注记忆。而且，为所述记忆生成关联强度表示。所述系统还在受试者联接至干预系统时模拟该受试者的第一记忆的记忆变化(例如，巩固)。当所述受试者处于NREM睡眠或安静的醒着时，通过强化与所述关注记忆有关的关联强度表示来模拟记忆巩固。基于所述模拟记忆变化，所述系统预测针对所第一记忆的行为表现，所述行为表现是所述第一记忆可以在预定的时间回忆起来的概率。最后，所述系统基于根据所述模拟确定的所述第一记忆的所述行为表现，相对于所述第一记忆来控制所述干预系统的操作(例如，接通和断开)。例如，当所述行为表现低于阈值时，可以启用干预系统。
另一方面，将有关环境事项的信息编码包括编码描述性属性值对和编码参数。
而且，同时在长期记忆和短期记忆中按各自的学习速率对信息进行编码。
又一方面，所述短期记忆的输出是长期记忆的输入，使得在从所述短期记忆回忆起事项时，在所述长期记忆中强化其关联。
又一方面，所述编码参数包括时间戳数据和受试者的生理测量值两者。
而且，所述关注记忆是一序列事件或单个事件。
另一方面，所述激活水平表示是在编码所述关注记忆时取得的生理测量的函数。另外，所述激活水平表示在所述短期记忆中以比所述长期记忆高的速率衰退。
又一方面，所述系统基于根据所述模拟确定的第二记忆的所述行为表现，相对于该第二记忆来控制所述干预系统的操作。
而且，预测所述第一记忆的行为表现在每次发生重放事件时发生或者在整个慢波睡眠持续时间定期发生。
又一方面，对时间常数和调制参数中的至少一项进行调谐，以使所述预测行为表现匹配所述受试者的经验行为数据。
在另一方面，所述系统执行以下操作：通过启用提高记忆巩固所需的记忆的干预并停用与根据超过阈值的相应预测表现而得到巩固的记忆相对应的记忆的干预来控制针对一个或更多个关注记忆的干预。
最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可通过具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选的是，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的动作。
附图说明
根据下面结合参照附图对本发明各个方面的详细描述，本发明的目的、特征以及优点将变清楚，其中：
图1是描绘根据本发明各个实施方式的系统的组件的框图；
图2是具体实施本发明的方面的计算机程序产品的例示图；
图3是根据本发明各个实施方式的基于闭环模型的控制系统的图；
图4是描绘根据本发明各个实施方式的记忆重放模型的例示图；
图5是描绘表示具有描述性属性对和编码参数的记忆事项(“X”)的数据结构的例示图；
图6是根据本发明各个实施方式的基于闭环模型的控制系统的示例操作的例示图；
图7是描绘从短期记忆模块中回忆记忆的例示图；以及
图8是描绘回忆级联(cascade)的示例的例示图。
具体实施方式
本发明涉及记忆巩固系统，更具体地，涉及用于增强用于人类受试者的记忆巩固、学习以及技能获取的装置的基于闭环模型的控制系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。各种变型例以及不同应用方面的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛的方面。因此，本发明不旨在限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更详尽理解。然而，本领域技术人员应当明白，本发明可以在不必受限于这些具体细节的情况下来练习。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免模糊本发明。
将读者的注意引向与本说明书同时提交的所有文件和文档，并且该文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有功能(包括任何所附权利要求、摘要，以及绘图)可以用服务相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个例子。
而且，权利要求书中没有明确陈述“用于执行指定功能的装置”或“用于执行特定功能的步骤”的任何部件不被解释为如在35U.S.C.Section 112,Paragraph 6中指定的“装置”或“步骤”条款。特别地，在本文的权利要求书中使用“…的步骤”或“……的动作”不旨在援引35U.S.C.112,Paragraph 6的规定。
在详细描述本发明之前，首先提供了并入参考文献的列表。接下来，提供了对本发明各个主要方面的描述。随后，介绍向读者提供了对本发明的一般理解。最后，提供本发明各个实施方式的具体细节以取得对具体方面的理解。
(1)并入参考文献列表
贯穿本申请引用以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用，如下：
1.Rudoy JD,Voss JL,Westerberg CE,Paller KA.Strengthening IndividualMemories by Reactivating Them During Sleep.Science.2009；326:1079–1079。
2.Diekelmann S,Biggel S,Rasch B,Born J.Offline consolidation ofmemory varies with time in slow wave sleep and can be accelerated by cuingmemory reactivations.Neurobiol.Learn.Mem.2012；98:103–11。
3.Marshall L,Helgadóttir H,M,Born J.Boosting slow oscillationsduring sleep potentiates memory.Nature.2006；444:610–3。
4.Kato Y,Endo H,Kizuka T.Mental fatigue and impaired responseprocesses:event-related brain potentials in a Go/NoGo task.Int.J.Psychophysiol.Off.J.Int.Organ.Psychophysiol.2009；72:204–11。
5.Henckens MJAG,Hermans EJ,Pu Z,M,Fernández G.Stressed Memories:How Acute Stress Affects Memory Formation in Humans.J.Neurosci.2009；29:10111–9。
6.Akin M,Kurt MB,Sezgin N,Bayram M.Estimating vigilance level byusing EEG and EMG signals.Neural Comput.Appl.2007；17:227–36。
7.Jaar O,Pilon M,Carrier J,Montplaisir J,Zadra A.Analysis of Slow-Wave Activity and Slow-Wave Oscillations Prior to Somnambulism.Sleep.2010；33:1511–6。
8.Itti L,Koch C.A saliency-based search mechanism for overt andcovert shifts of visual attention.Vision Res.2000；40:1489–506。
9.Botteldooren D,DeCoensel B.The role of saliency,attentio n andsource identification in soundscape research.ProcInternoise 2009[Internet].Ottowa,Canada；2009,Available from http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.468.8119&rep＝rep1&type＝pdf。
10.Lebiere C,Pirolli P,Thomson R,Paik J,Rutledge-Taylor M,StaszewskiJ,et al.A Functional Model of Sensemaking in a Neurocognitive Architecture.Comput.Intell.Neurosci.[Internet].vol.2013,Article ID 921695.Available from:http://www.hindawi.com/journals/cin/2013/921695/abs/。
11.Euston DR,Gruber AJ,McNaughton BL.The role of medial prefrontalcortex in memory and decision making.Neuron.2012；76:1057–70。
(2)主要方面
本发明的各种实施方式包括三个“主要”方面。第一个方面是用于增强人类受试者的记忆巩固、学习以及技能获取的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的装置中。第二个主要方面是通常采用软件的形式的一种方法，其利用数据处理系统(计算机)进行操作。第三个主要方面是计算机程序产品。计算机程序产品通常表示存储在诸如光存储装置(例如，光盘(CD)或数字万用盘(DVD))或诸如软盘或磁带的磁存储装置的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制例包括：硬盘、只读存储器(ROM)以及闪速型存储器。这些方面将在下面进行更详细描述。
图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪速存储器等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选的是，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取回的指令。一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(如键盘)，其可以包括字母数字键和/或功能键。另选的是，输入装置112可以是除字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114是利用诸如鼠标器、轨迹球、轨迹板、光学跟踪装置，或触摸屏的装置来实现的。前述尽管如此，但在一方面，诸如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入而被引导和/或启用。在另选方面，光标控制装置114被配置成通过话音命令指引或引导。
在一方面，计算机系统100还可以包括一个或更多个可选的计算机可用数据存储装置，如与地址/数据总线102联接的存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面，存储装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字万用盘(“DVD”))的存储装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制例并不严格受限于作为计算机系统。例如，一个方面提供了计算机系统100表示可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用通过计算机执行的诸如程序模块之类的计算机可执行指令来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件，和/或数据结构。另外，一方面提供了本技术的一个或更多个方面通过利用一个或更多个分布式计算环境来实现，如其中任务由通过通信网络链接的远程处理装置执行，或者如其中各种程序模块位于包括存储器-存储装置的本地和远程计算机存储介质中。
图2中描绘了具体实施本发明的计算机程序产品(即，存储装置)的例示图。计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到，该计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个分离软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。该“指令”被存储在任何非暂时性计算机可读介质上，如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(3)介绍
本公开提供了一种基于闭环模型的控制系统，该系统是用于提高为改善特定记忆巩固而使用的干预的功效和效率的有用补充；例如，必须快速学习并且清楚且容易记住的特定事物的记忆。存在若干现有技术干预(下面列出)，它们可以通过添加本公开的闭环系统来改进。这里描述的模型在功能层面模拟记忆的编码和巩固，并且对所产生的行为表现(即，随后回忆和使用关注记忆的能力)进行预测。用于具有脑传感器和干预系统的控制回路(例如，经颅电流刺激，气味或听觉提示等)中，该模型模拟醒着期间的记忆获取和睡眠期间的巩固，并且在睡眠期间，启用干预系统直到行为预测达到希望水平，此时模型停用干预。重要的是，本公开的模型实时进行这些预测(最佳地以NREM睡眠中的慢波睡眠振荡的速度，1Hz；较慢的操作只会限制夜间干预的应用次数)，用于记忆巩固过程的闭环控制。这种利用行为表现预测来决定睡眠期间何时需要干预的、用于记忆改善干预的控制系统以前从未设想或实施过。
在操作任务中(如在许多商业和教育场景中)，快速并入新信息(基于有限的接触)并准确回忆所述信息至关重要。因此，本公开的目的是控制增强记忆巩固的干预以使其成为可能。尽管广泛公认的是，记忆在睡眠期间得到巩固，并且已经有一些实验室实验已实施了一些有针对性的干预，但本公开的系统是第一个实施围绕干预的控制回路的系统。该系统实现所述控制回路以准确控制何时应该应用干预以便实现希望的表现水平。
该系统将自动确定何时以及是否应在睡眠和安静的醒着期间应用某些干预。该系统通过在安静的醒着或慢波睡眠期间实时预测记忆重放活动所导致的行为表现结果来进行，从而允许选择最佳重放干预选项以实现希望的表现。当所预测的表现达到希望水平时，该模型停止干预，让其它记忆得以巩固。该模型由情境范例中的所有经验刺激的序列和内容以及先前重放事件的特征塑造，因此其可以预测进一步干预将对行为产生的影响。在没有本文的所述控制系统的情况下，在睡眠期间进行干预以改善一个或多个特定记忆或记忆的巩固是不知情的：受试者醒来之前，没有办法测试行为表现。如果干预的应用超过必要，那么其可能妨碍其它记忆的巩固，这可能是有害的。另选地，如果干预的应用未超过必要，那么不会实现所希望的行为表现。
本发明将首次允许一个有针对性的个性化闭环系统，来增强正常受试者和具有与记忆巩固有关的学习困难的人群的记忆。如本领域技术人员应当清楚，这种系统可以被用于训练(例如，飞行员训练)，或者用作商业产品。由于近期对大脑增强技术的广泛关注，并且现今市场上有几种商业系统，因此本发明的控制技术系统可以容易地并入多种现有或新的记忆干预产品中。作为非限制例，本发明的基于闭环模型的控制器可以与由Neuroelectrics、Soterix Medical，和/或EGI生产的经颅电流刺激记忆介入系统一起加以利用。Neurolectrics位于210Broadway,Suite 201,Cambridge 02139,Massachusetts,USA。Soterix Medical位于237W 35th St,New York,NY 10001，而EGI(or ElectricalGeodesics,Inc.)位于500East 4th Ave.,Suite 200,Eugene,OR 97401。如上所述，基于闭环记忆的控制器还可以与如上提到的大学实验室中所使用的音频或气味记忆干预一起使用。
并入本发明的产品将使人们能够加强情节记忆并在他们睡眠时更快地获取技能。本发明在与记忆巩固或干预技术配对时，使应用该技术所需的监督自动化，并且使其不必在整个晚上不加区别地应用该干预。因此，本发明是将这些技术从临床环境中移出并进入家庭使用的过渡的一部分。
(4)各个实施方式的具体细节
如上提到，已经设计了记忆干预技术或产品以试图将记忆巩固改进为用于重放的长期记忆。本发明不是另一种干预；相反，其是一种自动化技术-一种干预控制系统，其将提高产生特定记忆重放的任何干预的有效性和效率。
在各种实施方式中，本公开的模型定量地模拟睡眠对长期记忆功能的影响，并梳理来自醒着编码和睡眠巩固的同等重要贡献。其在任务表现背景下的特定受试者预测能力来自模拟编码期间非侵入式评估的注意标记以及巩固期的持续时间和质量。具体细节提供如下。
(4.1)基本架构图
图3例示了根据本发明各个实施方式的基于闭环模型的控制器的基本设置。组件A在醒着300期间捕获数据以进行模型更新，而组件B在睡眠310或安静的醒着(quietwaking)时段期间模拟第一记忆等的记忆巩固(变化)。该模型模拟行为表现并控制何时在受试者联接至干预系统时应用干预。
在醒着体验300期间，当要记住的事件即将发生时，用户控制部302启动数据记录304(例如，记录到数据库中)。例如，当教员向用户显示如何进行诸如网球发球之类的技能时，或者当用户缓慢且准确地练习演奏困难的音乐段落时，或者当学生学习乘法表时，该装置将被启动。编码的物体(例如，网球拍和球等)标识306可以利用本领域技术人员已知的任何合适的物体识别系统手动输入或自动输入。该计算模型将模拟该事件期间技能的短期记忆的增益，然后在用户不研究该事件时模拟该记忆的衰退。该模拟并入了生理测量，以用作有关学习速度的调节器。理由是，如果用户正在把注意力集中到该技能并且没有疲劳或压力，那么学习速度应比在低注意力、疲劳及有压力的情况下高。
可以从用户获得生理测量308以确定注意力、疲劳或压力。例如，可以取得用户的脑电图(EEG)、肌电图(EMG)和/或心电图(ECG)读数。心理疲劳显著调节某些事件相关电位(ERP)的幅度(参见文献Reference No.4)，并且压力可以从心率变异性的心电图(ECG)读出中推断出来。少量的压力提高了编码强度(参见文献Reference No.5)。注意力或清醒性可以从EEG和EMG估计(参见文献Reference No.6)。
在训练和/或测试了特定事件的记忆的那天结束时，可以在睡眠阶段310期间采用所述系统。该系统包括在睡眠阶段310中采用的干预模块312，该干预模块向特定提示记忆的提示回忆重新应用醒着期间与记忆相关联的气味、声音或电刺激提示。干预模块312是应用前述干预的任何合适的模块，其非限制例包括文献Reference No.1和Reference No.2中所描述的模块。该系统还包括可以检测睡眠阶段310或睡眠期(stage)的EEG分析器模块314，所述检测包括检测主要在最深度睡眠阶段(非rem阶段3和4)发生的慢波振荡(SWO)，尽管SWO也可以在安静的醒着状态下的深度休息时间期间发生。对于在线操作，仅需要保持数据的滚动窗口，就足以评估最后一次重放的身份(例如，最后一次慢波振荡的正相位的400ms-1s的时间窗口)。EEG分析器模块314是可操作以提供前述操作的任何合适的模块。例如，睡眠阶段可通过广泛可获得的商业睡眠监测器来检测。当前可以利用本领域技术人员已知的任何合适技术分析EEG信号来确定SWO的阶段，所述技术的非限制例包括文献Reference No.7中所描述的技术。因此，闭环控制器是基于干预对行为结果的影响的预测来开启或关闭干预的控制系统。这种预测由记忆重放模型316提供，该记忆重放模型3模拟睡眠期间的记忆重放，并预测这种重放的行为结果。
(4.2)记忆重放计算模型
图4中例示了记忆重放模型316或模块。该模型316模拟在醒着和睡眠活动期间个体(“受试者”)的大脑中的记忆编码和回忆过程。图4中的方框表示模块化软件过程，并且圆角框表示缓冲区，模块是通过该缓冲区互相通信的。环境框400是特殊模块，模型316通过该特殊模块与受试者遇到所关注记忆的环境相接。
表示受试者的感觉的视觉和听力模块可以作为子模块包括在环境模块400内。视觉和听力子模块负责过滤环境并在时间403选择单个显著事项(item)。例如，有一些现有技术，诸如可以很好地模拟人类视觉的工作的视觉显著系统(参见并入参考文献列表，Reference No.8)，和模拟人类听力的听觉显著模型(参见并入参考文献列表，ReferenceNo.9)。例如，如果当前目标是观察红色卡车，则视觉模块将提取任何红色卡车，因此其可以被符号化为记忆缓冲区700中的事项。
随着多个事项用框架(frame)在记忆/缓冲区700中表示，它们可以被登记到存储器401中。图4描绘了两个记忆模块，一个用于短期记忆(STM)416，一个用于长期记忆(LTM)418，并且可选地(未示出)一个用于程序性记忆。这些模块416和418中的每一个模块由随机存取存储数据结构模拟，该结构保持下面描述的框架表示中的事项。这些记忆模块416和418中的每一个模块具有检索与由一组属性和/或对象类型组成的搜索标准匹配的事项的装置。在最简单的实现中，将模块中的单个最佳匹配复制到该模块的检索缓冲区中。这种记忆系统是本领域技术人员已知的，如基于知识的系统或专家系统。希望的实现采用类似于ACT-R系统中的那些的记忆和规则执行(参见文献Reference No.10)，ACT-R系统具有像LTM的、称作“声明性(Declarative)”的记忆模块以及称作程序性的记忆(采取一组规则的形式)。本系统还采用ACT-R引擎，该引擎选择程序性规则的子集，所选规则的约束由缓冲区中的事项满足，并且一次选择一个以“触发(fire)”。规则有一组约束，和一个或更多个结果。当规则被触发时，会执行其结果(consequent)，并且将改变缓冲区或记忆中的事项的内容。
生理学模块422表示模块316中的压力、疲劳以及注意力的影响。这会影响每个记忆事项的激活水平(如下所述)。睡眠重放参数模块424表示受试者经历的记忆巩固活动，如由EEG传感器感知的。这也将在下面的“个性化和行为预测”章节中描述。
模型316可以在编码之后直到48小时或更长时段内的任何时间预测(技能预测430)特定记忆相关任务上的显式和隐式记忆表现。这些预测是对干预进行控制的基础，确保巩固关注特定记忆(即，第一记忆、第二记忆、第三记忆等)正好够，并且无需太多，以获得所需表现水平。
(4.2.1)模型的输入
模型316将模拟特定的关注记忆的编码，以及可能与这些特定记忆发生冲突或加强这些特定记忆的记忆。如图5所示，每个记忆事项由框架数据结构500模拟，该框架数据结构500具有描述所述事项的分层类型，后面跟着一组描述性属性-值对514。数据结构500表示具有描述性属性-值对(例如，类型、颜色…)514和编码参数(例如，时间戳、生理测量)的记忆事项(“X”)。
所述值可以是数字、字符串，或对另一个属性甚或另一个记忆事项的引用。该分层类型是用户在一天中与之交互并且可能想要记住的事物的本体的符号表示。特定分层类型的属性对514应足以描述该事项的显著的可区别特征。属性对514可以由受试者提供，或者通过利用提供事项描述符(如关于该事项的语义符号、时间以及地点)的任何合适系统来获得。可以使用如本领域技术人员已知的任何合适的物体检测和/或识别系统来获得这样的事项描述符。
另外，每个框架数据结构500都包括编码时间的属性(当学习或遇到该事项时)，以及在编码时采集的生理测量504(例如，疲劳程度、压力、清醒性)。这些带时间戳505的生理测量504可以通过利用EEG、EMG及ECG传感器数据的标准现有技术装置来测量。
模型316暴露于相同的环境提示(视觉、听觉)，如受试者512经历的那些。多个预训练的深度学习模型将所注意的多模态刺激(由视频摄像机和由受试者佩戴的麦克风感测)变换成稀疏分布式表示(即，诸如二进制阵列的图案)。模拟受试者一天中所看到或听到的所有内容将是一个难以解决的问题。至少有两种方法可以解决这个问题：(1)如上所述，在现有技术中存在能够选择受试者正在关注的最可能事物的显著性算法。如果受试者512佩戴具有麦克风的、如GoPro那样的摄像机，则摄像机可以在有要学习的相关事物时开启。该显著性算法识别最突出的事项，并且它们将在模型316中表示。(2)可以指示受试者512通过拍摄事项的照片或记录短语来清楚地标识要记住的事项510。理想的是，该系统利用方法2操作，其中指示受试者标识要记住的事项。
根据通过在用户512休息好、专心以及低压力水平时进行的测量而归一化的注意力、疲劳及压力测量(图5中用β、δ及σ指示)来计算506“激活水平”。因此，针对该激活水平度量的希望实现是norm{β/(δ*σ)}，其中，norm是归一化函数，其将参数除以该参数在休息、专心、低压力条件下的值。由于有迹象表明一些压力实际上改善了记忆的编码，因此，sigma可以用压力与这样的阈值不同的量来代替，所以σ＝abs(stress-optimalStress)。针对OptimalStress的希望实现是用户512的最大压力水平的30％。如此计算的激活水平506是模拟中的动态时间变量。在将新的记忆事项登记到记忆中时，其基于它们的激活水平学习与记忆的关系。学习关系的处理在下面进一步详细描述(参见等式2)。
(4.2.2)模型的操作
图6是描绘记忆重放模型的操作的例示图。记忆中的事项与它们的关系一样强烈。图4和图6中所示的两个记忆之间的差异在于海马体(STM)416快速学习关系并且它们快速衰退。大脑皮层(LTM)418学习缓慢并且其记忆衰退得更慢。任何感知的事项立刻被登记到两个记忆中，并且学习与同时活动的其它事项的关系以及它们自己的学习速度。
如图6所示，当在环境400中遇到多个事项时，它们被赋予与激活水平相关联的符号表示(框架)。在这个示例中，当看到某些事物时(这里用字母Z、X、Y、A、C或B进行符号表示)，告知受试者注意。环境模块400中的视觉子模块已过滤掉在海马体(STM)416和大脑皮层(LTM)418模块中登记过的X。LTM 418可能已经填充了来自先前经验的记忆。标绘图600表示记忆事项随时间的激活水平。在遇到X时X激活出现峰值，然后衰退(参见公式1)。当遇到并登记Y时，其与任何其它事项根据它们的激活水平形成关联(加权链接(即，关联强度表示))，所以X变得沿有向链接与Y相关联。
在事项(比方说，X)登记在记忆(STM 416/LTM 418)中并从回忆缓冲区602消失之后，其激活aX根据时间(t)和与记忆中的其它事项的连接(wYX)而衰退：
无论何时登记或练习(tX)，其都会恢复到高水平(由生理学调节的基线)。衰退率(τ)是个性化值，但通常(τSTM＞＞τLTM)。与其它事项的连接(wYX)将aX的衰退速度降低了量gamma(γ)。Gamma是下面的学习率η的一部分，并且希望实现是γ＝0.5η。当登记或练习新的记忆事项时，从任何活动的记忆轨迹(因果连接)形成关联。例如，如果X在记忆中具有激活aX，并且Y登记有激活aY，则η是记忆区的学习速度(ηSTM＞＞ηLTM)：
(4.3)记忆提示和回忆
一旦记忆被存储到海马体(STM)416和大脑皮层(LTM)418中，就可以通过明确提示或提醒来回忆该记忆。提示是记忆的一部分；其使STM 416/LTM 418填充缺失部分。干预的工作方式是将不相关的感知(例如，气味、声音或电刺激)与关注的记忆(即，第一记忆、第二记忆、第三记忆等)相关联，以用作提示。然后，通过呈现该提示来诱导那些记忆(即，第一记忆、第二记忆、第三记忆等)。图7例示了如何在学习了相当短的序列后，立即在没有其它混淆因素或相互矛盾的信息的情况下，可以从海马体(STM)416，而不是从大脑皮层(LTM)418回忆该序列。这是由于LTM 418的学习速度缓慢。在输入缓冲区700上明确提示(“X？”)，从STM 416引起对该序列的回忆级联。由于X？提示，海马体416中X 702的激活能高于回忆阈值，导致其从海马体416回忆(而不是从大脑皮层418回忆，因为皮层记忆在首次学习一序列之后非常弱)并且通过海马体回忆缓冲区708。其激活702沿着关联扩散至该序列中的下一事项(接下来回忆的、Y激活水平704)，然后传播至下一事项(Z事项706)。
(4.4)慢波睡眠(SWS)重放模拟
当记忆在海马体(STM)中仍然很强时练习(回忆或重放)该记忆，由于从短期记忆回忆多个事项，因此它们在长期记忆中的关系(即，关联强度表示)得到加强。基于实验数据支持的广泛接受的理论，记忆在睡眠期间被“重放”，这是一种从短期记忆中回忆的记忆，但以比醒着时高的速度(6倍-7倍)(参见文献Reference No.11)。这种快速重放发生在非快速眼动(NREM)睡眠中的慢波振荡(SWO)期间，并且一些在安静的醒着期间检测到。如图3例示，EEG分析器314将感测睡眠期和SWO阶段。如图8所示，在SWO的周期的UP阶段或正部分期间，模型通过高噪声能量(刚刚低于用于回忆的阈值800)提高海马体(STM)中所有事项的激活水平。如果STM中所有事项的激活水平在SWO的UP阶段之前已经衰退到相同水平，并且缺乏其它能量来源，则其中一个事项可以随机(由于噪声)达到回忆所需的激活阈值800(即，模型在海马体(STM)中随机选择一个事项并将其激活水平提高到足以超过用于重放的阈值800)。当第一个事项被回忆时，所述第一事项的激活在加权关联链接上传播，并且其它事项可以按级联回忆。两种情形可能会导致某些记忆达到比其它记忆高的回忆概率，如下：(1)由于编码的强度、编码的新近度，或练习的频度，在SWO UP阶段开始之前，某些事项具有较高的激活能，因此，当SWO UP阶段针对所有记忆添加高噪声激活时，那些记忆更有可能被重放。(2)如果使用干预来提示特定记忆(例如，在醒着时将气味或声音与该记忆相关联，并且在NREM睡眠期间再次播放)，则干预增加针对该特定记忆的能量，同样提高了其被重放的概率。
如上提到，当在醒着期间从海马体(STM)回忆信息时，大脑皮层(LTM)再次接触该信息，因为STM的输出是LTM的输入之一。这加强了慢速学习LTM中所回忆的记忆的关联(即，关联强度表示)。在睡眠重放期间，由于所有激活水平都被提高，因此回忆级联发生得更快，只要每个事项被回忆，下一个已经处于高度激活状态。图8例示了当下一事项被激活时更快地回忆3个事项并且每个事项衰退更少的情况。如等式(2)所示，在两个记忆(X和Y)之间学习的关联是它们的激活水平aX和aY的函数。因此，在重放期间，皮层学习比其在正常回忆时所具有的关联强的关联。
(4.5)个性化和行为预测
该记忆重放模型并入了对受试者醒着时的疲劳、压力及注意力的测量(例如，通过现有技术测量)。该测量作为输入递送以在他们学习或训练时(记忆编码的时间)调节记忆的初始激活水平。基于在睡眠/醒着期间非侵入地感测的记忆相关生理状态和重放参数，该模型模拟醒着时、安静的醒着以及睡眠阶段。
在安静的醒着和NREM睡眠状态下，EEG中的慢波振荡期间发生记忆巩固(变化)，因此当感测到这些状态并向模型报告时，模型模拟了个人记忆的强化。任何合适的感测技术都可以被用于报告每个SWO的持续时间和速度，这种技术的非限制例包括如文献ReferenceNo.7中所描述的技术。基于如在前一小节(SWS重放模拟)中描述的过程，模型选择在模拟中重放哪个记忆，从而针对该记忆强化LTM中的关联权重(即，关联强度表示)。
每次重放事件发生时，或者在SWS持续时间中按照规则间隔(例如，每五秒钟、五分钟等，或者根据需要或由操作中设定)地，模型将在获取之后的给定时间对目标记忆进行行为表现预测(即，如图4所示的行为预测440)。通过模拟希望的行为来进行行为预测440，这与用于回忆关注的特定记忆(即，第一记忆、第二记忆、第三记忆等)的能力有关。将与行为相关的提示插入到由基于特定目标的听力和视觉子模块感测的环境模块中。行为预测是回忆由希望行为所需的记忆事项或一系列事项。其采取归一化回忆概率的形式；即，与STM和LTM中的其它记忆相比，所希望回忆有多大的可能性。如果未来关注时间的预测表现低于给定水平，则模型告诉干预系统在即将到来的SWS UP状态下应用目标记忆提示。
如果所预测的表现超过针对该记忆的希望水平，则模型停止对该记忆的干预。对其它记忆的其它干预可以继续操作(例如，第一记忆、第二记忆、第三记忆等)。结果，模拟可以使对一个或更多个记忆发生干预，从而启用为增加记忆巩固(变化)所需的那些干预，并根据其对应预测表现停用与充分巩固的记忆相对应的那些互动。例如，可以基于对应预测概率和/或利用彼此不同的干预，为第一记忆、第二记忆及第三记忆等启用干预。当受试者正在睡眠或者醒着并巩固记忆时，这个过程可能会继续一段时间，在整个时段根据需要开启和关闭个人干预。但重放评估继续，以将任何重放事件的参数并入模型中。重放在目标编码之前最近的过去或目标编码之后所获取的矛盾信息可能会损害与关注记忆(例如，第一记忆、第二记忆等)有关的未来任务表现。
例如，在各个方面，在模拟确定记忆巩固变得足够、减弱太多时，干预可以开启，然后关闭，接着在晚上再次开启，然后再次加强。同时，模拟可以允许其它干预在整个晚上继续，或者可以根据需要开启或关闭它们。记忆巩固可能会相互冲突，并且模拟可以确定何时该冲突需要启用对特定记忆的干预。按这种方式，不必一直全部开启所述干预，从而减少对受试者的影响，并且导致更高效和有效的记忆巩固。
另一方面是调谐模型以使其表现预测与来自用户的经验行为数据相匹配。可以调谐的模型参数是针对学习的时间常数和大脑新皮层和海马体(HC)中的权重衰退的时间常数，和针对诸如疲劳、压力以及注意力的因素的调节参数。
最后，虽然本发明已经根据几个实施方式进行了描述，但本领域普通技术人员应当容易地认识到本发明在其它环境中可以具有其它应用。应注意到，许多实施方式和实现都是可以的。而且，下面的权利要求书绝不是旨在将本发明的范围限制成上述具体实施方式。另外，“用于…的装置(means)”的任何陈述都旨在唤起对一部件和一权利要求的装置加功能的解读，而不具体使用陈述“用于…的装置(means)”的任何部件不是旨在被解读为装置加功能组件，即使权利要求以其它方式包括了单词“装置(means)”。而且，虽然已经按特定次序陈述了特定的方法步骤，但该方法步骤可以按任何希望次序发生并且落入本发明的范围内。

Claims (32)

1.一种用于受试者的记忆巩固的闭环控制系统，该系统包括：
一个或更多个处理器以及存储器，所述存储器是编码有可执行指令的非暂时性计算机可读介质，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
当受试者联接至干预系统时，模拟所述受试者的第一记忆的记忆变化；
基于所模拟的记忆变化，预测所第一记忆的行为表现，所述行为表现是能够通过提示回忆起所述第一记忆的概率；以及
基于通过所述模拟确定的所述第一记忆的所述行为表现，针对所述第一记忆控制所述干预系统的操作。
2.根据权利要求1所述的闭环控制系统，所述系统还包括以下操作：
在长期记忆储存和短期记忆储存中将有关环境事项的信息编码为记忆；
生成所述第一记忆的激活水平表示，所述第一记忆是与所述环境事项中的至少一个有关的关注记忆；以及
生成记忆的关联强度表示。
3.根据权利要求2所述的闭环控制系统，其中，编码有关环境事项的信息的步骤包括对描述性属性值对和编码参数进行编码。
4.根据权利要求3所述的闭环控制系统，其中，在所述受试者联接至干预系统时模拟所述受试者的第一记忆的记忆变化的操作是在所述受试者处于NREM睡眠或醒着时，通过强化与所述第一记忆有关的关联强度表示来执行的。
5.根据权利要求4所述的闭环控制系统，其中，在长期记忆和短期记忆两者中按它们各自的学习速度同时对信息进行编码。
6.根据权利要求5所述的闭环控制系统，其中，所述短期记忆的输出是长期记忆的输入，以使在根据所述短期记忆回忆事项时，所述事项的关联在所述长期记忆中得到强化。
7.根据权利要求6所述的闭环控制系统，其中，所述编码参数包括时间戳数据和受试者的生理测量值两者。
8.根据权利要求7所述的闭环控制系统，其中，所述关注记忆是一系列事件或单个事件。
9.根据权利要求8所述的闭环控制系统，其中，所述激活水平表示是在对所述关注记忆进行编码时取得的生理测量值的函数。
10.根据权利要求9所述的闭环控制系统，其中，所述激活水平表示在所述短期记忆中按照比在所述长期记忆中快的速度衰退。
11.根据权利要求1所述的闭环控制系统，所述系统还包括以下操作：基于通过所述模拟确定的第二记忆的行为表现，针对所述第二记忆控制所述干预系统的操作。
12.根据权利要求1所述的闭环控制系统，其中，预测所述第一记忆的行为表现的操作是在每次发生重放事件时发生的或者是在慢波睡眠期间按照规则间隔发生的。
13.根据权利要求1所述的闭环控制系统，所述系统还包括以下操作：调节时间常数和调制参数中的至少一项，以使所预测的行为表现与所述受试者的经验行为数据一致。
14.根据权利要求1所述的闭环控制系统，所述系统还包括以下操作：通过启用提高记忆巩固所需的记忆干预并停用与根据超过阈值的相应预测表现而得到巩固的记忆相对应的记忆干预，控制针对一个或更多个关注记忆的干预。
15.一种用于受试者的记忆巩固的闭环控制的计算机程序产品，该计算机程序产品包括：
包含可执行指令的非暂时性计算机可读介质，使得当通过一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
当受试者联接至干预系统时，模拟所述受试者的第一记忆的记忆变化；
基于所模拟的记忆变化，预测所第一记忆的行为表现，所述行为表现是能够通过提示回忆起所述第一记忆的概率；以及
基于通过所述模拟确定的所述第一记忆的行为表现，针对所述第一记忆控制所述干预系统的操作。
16.根据权利要求15所述的计算机程序产品，所述计算机程序产品还包括以下操作：
在长期记忆储存和短期记忆储存中将有关环境事项的信息编码为记忆；
生成与所述环境事项中的至少一个有关的关注记忆的激活水平表示；以及
生成记忆的关联强度表示。
17.根据权利要求16所述的计算机程序产品，其中，对有关环境事项的信息进行编码的操作包括对描述性属性值对和编码参数进行编码。
18.根据权利要求17所述的计算机程序产品，其中，在长期记忆和短期记忆两者中按照它们各自的学习速度同时对信息进行编码。
19.根据权利要求18所述的计算机程序产品，其中，所述短期记忆的输出是长期记忆的输入，使得使在根据所述短期记忆回忆事项时，所述事项的关联在所述长期记忆中得到强化。
20.根据权利要求19所述的计算机程序产品，其中，所述编码参数包括时间戳数据和受试者的生理测量值两者。
21.根据权利要求20所述的计算机程序产品，其中，所述关注记忆是一系列事件或单个事件。
22.根据权利要求21所述的计算机程序产品，其中，所述激活水平表示是在对所述关注记忆进行编码时取得的生理测量值的函数。
23.根据权利要求22所述的计算机程序产品，其中，所述激活水平表示在所述短期记忆中按照比在所述长期记忆中快的速度衰退。
24.一种用于受试者的记忆巩固的闭环控制的计算机实现方法，该方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，使得在执行时，所述一个或更多个处理器执行以下操作：
当受试者联接至干预系统时，模拟所述受试者的第一记忆的记忆变化；
基于所模拟的记忆变化，预测所第一记忆的行为表现，所述行为表现是能够通过提示回忆起所述第一记忆的概率；以及
基于通过所述模拟确定的所述第一记忆的行为表现，针对所述第一记忆控制所述干预系统的操作。
25.根据权利要求24所述的方法，所述方法还包括以下动作：
在长期记忆储存和短期记忆储存中将有关环境事项的信息编码为记忆；
生成与所述环境事项中的至少一个有关的关注记忆的激活水平表示；以及
生成所述记忆的关联强度表示。
26.根据权利要求25所述的方法，其中，对有关环境事项的信息进行编码的动作包括对描述性属性值对和编码参数进行编码。
27.根据权利要求26所述的方法，其中，在长期记忆和短期记忆两者中按照它们各自的学习速度同时对信息进行编码。
28.根据权利要求27所述的方法，其中，所述短期记忆的输出是长期记忆的输入，使得在根据所述短期记忆回忆事项时，所述事项的关联在所述长期记忆中得到强化。
29.根据权利要求28所述的方法，其中，所述编码参数包括时间戳数据和受试者的生理测量值两者。
30.根据权利要求29所述的方法，其中，所述关注记忆是一系列事件或单个事件。
31.根据权利要求30所述的方法，其中，所述激活水平表示是在对所述关注记忆进行编码时取得的生理测量值的函数。
32.根据权利要求31所述的方法，其中，所述激活水平表示在所述短期记忆中按照比在所述长期记忆中快的速度衰退。
CN201780057906.9A 2016-10-20 2017-08-21 用于受试者的记忆巩固的闭环控制系统、介质、方法 Active CN110023918B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662410533P 2016-10-20 2016-10-20
US62/410,533 2016-10-20
PCT/US2017/047865 WO2018075132A1 (en) 2016-10-20 2017-08-21 A closed-loop model-based controller for accelerating memory and skill acquisition

Publications (2)

Publication Number Publication Date
CN110023918A true CN110023918A (zh) 2019-07-16
CN110023918B CN110023918B (zh) 2024-02-23

Family

ID=62019312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057906.9A Active CN110023918B (zh) 2016-10-20 2017-08-21 用于受试者的记忆巩固的闭环控制系统、介质、方法

Country Status (4)

Country Link
US (1) US10720076B1 (zh)
EP (1) EP3529704A4 (zh)
CN (1) CN110023918B (zh)
WO (1) WO2018075132A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022221742A1 (en) 2021-02-22 2023-09-14 Neurode Pty Ltd Apparatus, systems and methods for monitoring symptoms of neurological conditions
CN116570835B (zh) * 2023-07-12 2023-10-10 杭州般意科技有限公司 一种基于场景和用户状态的干预刺激模式的确定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003067555A1 (en) * 2002-02-06 2003-08-14 Mintel Learning Technologies, Inc. A system and method to optimize human associative memory and to enhance human memory
CN101553855A (zh) * 2006-12-06 2009-10-07 微软公司 经由可视日志的记忆训练
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
CN101783998A (zh) * 2008-12-22 2010-07-21 奥迪康有限公司 基于用户当前认知负荷的估计运行听力仪器的方法及助听器系统
US20140057232A1 (en) * 2011-04-04 2014-02-27 Daniel Z. Wetmore Apparatus, system, and method for modulating consolidation of memory during sleep
CN104392248A (zh) * 2014-11-10 2015-03-04 苏州乐聚一堂电子科技有限公司 拟人记忆型互动人工智能专家系统
US20150174418A1 (en) * 2012-06-22 2015-06-25 Thync, Inc. Device and Methods for Noninvasive Neuromodulation Using Targeted Transcranial Electrical Stimulation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377258A (en) 1993-08-30 1994-12-27 National Medical Research Council Method and apparatus for an automated and interactive behavioral guidance system
WO2012138761A1 (en) * 2011-04-04 2012-10-11 Sheepdog Sciences, Inc. Apparatus, system, and method for modulating consolidation of memory during sleep
WO2014028372A1 (en) 2012-08-14 2014-02-20 Stults James Tanner Method and device for enhancing memory
KR20160081454A (ko) * 2014-12-31 2016-07-08 반정우 수면학습장치 및 그를 이용한 수면학습방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003067555A1 (en) * 2002-02-06 2003-08-14 Mintel Learning Technologies, Inc. A system and method to optimize human associative memory and to enhance human memory
CN101553855A (zh) * 2006-12-06 2009-10-07 微软公司 经由可视日志的记忆训练
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
CN101783998A (zh) * 2008-12-22 2010-07-21 奥迪康有限公司 基于用户当前认知负荷的估计运行听力仪器的方法及助听器系统
US20140057232A1 (en) * 2011-04-04 2014-02-27 Daniel Z. Wetmore Apparatus, system, and method for modulating consolidation of memory during sleep
US20150174418A1 (en) * 2012-06-22 2015-06-25 Thync, Inc. Device and Methods for Noninvasive Neuromodulation Using Targeted Transcranial Electrical Stimulation
CN104392248A (zh) * 2014-11-10 2015-03-04 苏州乐聚一堂电子科技有限公司 拟人记忆型互动人工智能专家系统

Also Published As

Publication number Publication date
US10720076B1 (en) 2020-07-21
WO2018075132A1 (en) 2018-04-26
EP3529704A4 (en) 2020-06-03
EP3529704A1 (en) 2019-08-28
CN110023918B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
DeFalco et al. Detecting and addressing frustration in a serious game for military training
US11013449B2 (en) Methods and systems for decoding, inducing, and training peak mind/body states via multi-modal technologies
AU2019391425B2 (en) Apparatus and method for utilizing a brain feature activity map database to characterize content
US10736561B2 (en) Neural model-based controller
US10796596B2 (en) Closed-loop intervention control system
Nair et al. Under the hood: Using computational psychiatry to make psychological therapies more mechanism-focused
Goldman et al. A comprehensive neural simulation of slow-wave sleep and highly responsive wakefulness dynamics
Ganzert et al. Analysis of respiratory pressure–volume curves in intensive care medicine using inductive machine learning
Liang et al. Temporal-sequential learning with a brain-inspired spiking neural network and its application to musical memory
CN110337638B (zh) 用于记忆改善干预的系统、方法和计算机可读介质
CN110023918A (zh) 用于加速记忆和技能获取的基于闭环模型的控制器
US10092753B1 (en) Method to enhance specific memories with tCS during slow-wave sleep
Mateos-García et al. Driver Stress Detection from Physiological Signals by Virtual Reality Simulator
CN110168473B (zh) 用于受试者的记忆巩固的闭环干预控制系统和方法
Gamez The development and analysis of conscious machines
Ciria et al. Perceived duration: the interplay of top-down attention and task-relevant information
Ciccarelli et al. Neurophysiological vocal source modeling for biomarkers of disease
Pilecki et al. Evidence-based therapies, evidence-based practice, and the intersection of nomothetic and idiographic foundations of psychotherapy research and application: A reply to Shean
Lokare et al. Cognition Prediction Model for MOOCs Learners Based on ANN
Antichi et al. Studying Nonlinear Change in Music Therapy Applying Dynamic Systems Theory
Joshi Sensemo: An Adaptive Learning System Based on Real-Time User Emotions
Ippolito Alleviate Children’s Health Issues through Games and Machine Learning
Dowdy et al. Essentials of Observing Behavior
Avramidis Affective analysis and interpretation of brain responses to music Stimuli
Mier et al. Psychology and Physics: A Non-invasive Approach to the Functioning of the Human Mirror Neuron System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant