CN114207556B - 用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法 - Google Patents
用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法 Download PDFInfo
- Publication number
- CN114207556B CN114207556B CN202080054041.2A CN202080054041A CN114207556B CN 114207556 B CN114207556 B CN 114207556B CN 202080054041 A CN202080054041 A CN 202080054041A CN 114207556 B CN114207556 B CN 114207556B
- Authority
- CN
- China
- Prior art keywords
- target device
- brain
- computer interface
- interface system
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 210000004556 brain Anatomy 0.000 title description 12
- 230000001537 neural effect Effects 0.000 claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000000306 recurrent effect Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000006397 emotional response Effects 0.000 claims description 24
- 230000001131 transforming effect Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 238000007917 intracranial administration Methods 0.000 claims description 4
- 238000004378 air conditioning Methods 0.000 claims 4
- 238000012545 processing Methods 0.000 description 42
- 230000015654 memory Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001994 activation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002566 electrocorticography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/37—Intracranial electroencephalography [IC-EEG], e.g. electrocorticography [ECoG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/375—Electroencephalography [EEG] using biofeedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/388—Nerve conduction study, e.g. detecting action potential of peripheral nerves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Neurology (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Fuzzy Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
Abstract
一种被配置为解码神经信号以控制目标装置的脑机接口系统，包括：传感器，用于对神经信号进行采样；以及具有软件指令的计算机可读存储介质，当由处理器执行时，使处理器将神经信号变换到存储在系统中的共同表示空间中，提供共同表示空间作为状态表示以通知系统的Actor递归神经网络策略，利用具有生成性序列解码器的系统的深度递归神经网络来生成和评估控制信号的预测序列，将控制信号提供给目标装置以实现目标装置的输出，基于目标装置的输出的期望从共同表示空间确定基于内在生物特征的奖励信号，以及将基于内在生物特征的奖励信号提供给系统的Critic模型。
Description
相关申请的交叉参考
本申请要求2019年7月2日申请的美国临时申请第62/869,867号的优先权和益处，其全部内容通过引用并入本文。
背景技术
1、技术领域
本公开一般涉及用于将神经信号解码成用于目标装置的控制信号的系统和方法。
2、相关技术描述
脑机接口(BMI)系统可以用于将用户的神经信号解码成控制信号。在一些相关技术中，BMI系统没有明确地遵循一个典型的刺激-反应范式(stimulus-responseparadigm)，解码器利用用户大脑的内源性“事件相关电位”(ERP)作为控制信号。ERP是通常在300毫秒或400毫秒时间窗内可以经颅检测的非自主(involuntary)脑电信号，并且通常限于单个二进制信号。在这些情况下，控制信号容量增加，但以较低的准确度为代价。更一般的脑电图(EEG)BMI被称为生物反馈，其中用户学习控制EEG的一些方面，诸如阿尔法波的水平。通常，外部计算机产生用户想学习控制的EEG方面的听觉或视觉指示，并且该指示帮助用户学习适当的大脑状态。随后，用户将可能通过产生该大脑状态来控制机器或装置的某个方面。然而，在此相关技术系统中，控制信号具有一个自由度，具有超高等待时间(latency)，非常不准确，并且完全依赖于用户学习。
发明内容
本公开涉及被配置为解码神经信号以控制目标装置的脑机接口系统的各种实施例。在一个实施例中，脑机接口系统包括被配置为对神经信号进行采样的至少一个传感器，及具有存储于其中的软件指令的计算机可读存储介质，所述软件指令在由处理器执行时使处理器将神经信号变换成存储在脑机接口系统中的共同表示空间中，提供共同表示空间作为状态表示以通知脑机接口系统的行动者(Actor)递归神经网络策略，利用具有生成性序列解码器的脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列，将从控制信号的预测序列衍生(derived from)的特定控制信号提供给目标装置以实现目标装置的输出，基于对目标装置的输出的预期来从共同表示空间确定基于内在生物特征的奖励信号，及将基于内在生物特征的奖励信号提供给脑机接口系统的评论家(Critic)模型。
所述至少一个传感器可以被配置为侵入性地或非侵入性地对所述神经信号进行采样。
所述至少一个传感器可以包括侵入性脑皮层电图(ECoG)装置或颅内脑电图(iEEG)装置。
将神经信号变换到共同表示空间中可以包括识别具有信息性激活的神经信号的区域用于控制目标装置，及执行受试者特定变换以跨不同用户对准区域。
当目标装置的输出匹配用户的预期输出时，基于内在生物特征的奖励可以是积极的情绪响应。
当目标装置的输出不匹配用户的预期输出时，基于内在生物特征的奖励可以是消极情绪响应。
软件指令在由处理器执行时可以使处理器利用树搜索来生成和评估控制信号的预测序列。
本公开还针对非暂时性计算机可读存储介质的各种实施例。在一个实施例中，非暂时性计算机可读存储介质具有存储于其中的软件指令，当由处理器执行时，所述软件指令使处理器将来自个体用户的神经数据变换到脑机接口系统的共同表示空间中，提供共同表示空间作为状态表示以通知脑机接口系统的行动者(Actor)递归神经网络策略，利用具有生成性序列解码器的脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列，将从控制信号的预测序列衍生的特定控制信号提供给目标装置以产生目标装置的输出，基于个体用户对目标装置的输出的预期从共同表示空间确定基于内在生物特征的奖励，及将基于内在生物特征的奖励提供给脑机接口系统的评论家(Critic)模型。
当由处理器执行时，所述指令可以使处理器通过识别具有信息性激活的神经数据的区域用于控制目标装置，及执行受试者特定变换以跨不同用户对准区域，来将神经数据变换到共同表示空间中。
当由处理器执行时，所述指令可以使处理器通过解码来自个体用户的对目标装置的输出的情绪响应来确定基于内在生物特征的奖励。
当目标装置的输出匹配个体用户的预期输出时，基于内在生物特征的奖励可以是积极的情绪响应。
当目标装置的输出不匹配个体用户的预期输出时，基于内在生物特征的奖励可以是消极情绪响应。
当由处理器执行时，软件指令可以使处理器利用树搜索来生成和评估控制信号的预测序列。
本公开还涉及利用神经数据控制目标装置的各种方法。在一个实施例中，所述方法包括对来自用户的神经数据进行采样，将神经数据变换到脑机接口系统的共同表示空间中，提供共同表示空间作为状态表示以通知脑机接口系统的行动者(Actor)递归神经网络策略，利用具有生成性序列解码器的脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列，将从控制信号的预测序列衍生的特定控制信号提供给目标装置以产生目标装置的输出，基于用户对目标装置的输出的预期从共同表示空间确定内在奖励，以及将内在奖励提供给脑机接口系统的评论家(Critic)模型。
评估控制信号的预测序列可以包括树搜索。
将神经数据变换到共同表示空间中可以包括识别具有用于控制目标装置的信息性激活的神经数据的区域，并且执行受试者特定变换以跨不同用户对准区域。
确定内在奖励可以包括解码来自用户的对目标装置的输出的情绪响应。
当目标装置的输出符合预期时，情绪响应可以是积极情绪响应。
当目标装置的输出不符预期时，情绪响应可以是消极情绪响应。
对来自用户的神经数据进行采样是侵入性或非侵入性地执行的。
提供本概述以介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
当结合附图考虑时，通过参考以下详细描述，将更好地理解本公开的实施例的特征和优点。在附图中，在所有附图中使用类似的附图标记来表示类似的特征和部件。附图不一定按比例绘制。此外，专利或申请文件包含至少一个彩色绘制的图。在请求并支付必要的费用后，具有彩色附图的本专利或专利申请公开的副本将由官方提供。
图1是根据本公开的一个实施例的用于将神经信号解码成用于目标装置的控制信号的脑机接口(BMI)系统；
图2是示出根据本公开的一个实施例的用于将神经信号解码成用于目标装置的控制信号的方法的任务的流程图；
图3是将本公开的系统和方法的性能与相关技术模型(线性判别分析(LDA)和隐马尔可夫模型(HMM))进行比较的图；
图4是示出了可以用于实现本发明的实施例的彼此通信的各种计算机化系统的框图；以及
图5是示出结合本发明的至少一个实施例使用的处理系统、处理电路、或处理系统或处理电路的一部分的框图。
具体实施方式
本公开涉及用于根据感测到的用户大脑的动态属性(例如，用户大脑的血流或电发射(electrical emanation))来确定用于控制外部免持装置(例如，六自由度(DOF)机器人)的移动的控制信号的脑机接口(BMI)系统和方法的各种实施例。这些控制信号可以是例如对无人机(unmanned aerial vehicle)的操纵命令或对机器人臂的控制信号。根据本公开的各种实施例，用户的神经信号可以被侵入性地(例如，从外科手术植入到脑内的传感器)或非侵入性地(例如，通过放置在用户的颅骨外的传感器)感测。
图1示出了根据本公开的一个实施例的脑机接口(BMI)系统100，其被配置为将来自用户的神经数据200解码为用于控制目标装置(例如，外部装置)300(例如，远程免持装置(例如，机器人或无人机))的控制信号。图2是示出根据本公开的一个实施例的利用图1所示的BMI系统100将神经数据200解码为用于控制目标装置300的控制信号的方法400的任务的流程图。
在所示的实施例中，方法400包括对来自用户的神经数据200进行采样的任务405。在任务405中采样的神经数据200可以被侵入性地(例如，从外科手术植入用户的脑内的传感器)或非侵入性地(例如，通过放置在用户的颅骨外的传感器)感测。在一个或多个实施例中，对神经数据200进行采样的任务405可以包括在用户正在执行具有各种认知负荷的一系列任务的同时对来自用户的神经数据200进行采样。在一个或多个实施例中，在用户执行手指弯曲任务时，可以利用侵入性脑皮层电图(invasive electrocorticographic)(ECoG)装置或颅内脑电图(intracranial electroencephalography)(iEEG)装置(例如，背侧(Dorsal)M1和腹侧(ventral)感觉运动(sensorimotor)(M1+S1)电极)来执行对用户的神经数据200进行采样的任务405。
在所示的实施例中，方法400还包括将在任务405中采样的神经数据200变换到存储在如图1所示BMI系统100中的共同表示空间(common representational space)101(即，共同空间神经数据)中的任务410。将神经数据200变换到共同表示空间101的任务410可以以任何合适的方式执行，诸如在Van Uden CE，Nastase SA，Connolly AC，Feilong M，Hansen I，Gobbini MI等，“Modeling semantic encoding in a common neuralrepresentational space”bioRxiv.Cold Spring Harbor Laboratory(冷泉港实验室)；2018；:288605中描述的方法，其全部内容并入本文作为参考。在一个或多个实施例中，到该共同表示空间101的变换可以在初始校准期间通过标准优化过程(standard optimizationprocess)或更简单地通过典型相关分析(canonical-correlation analysis)来学习。共同表示空间101使得能够在不同用户之间和跨不同会话共享来自同一用户的神经数据样本，而不牺牲个体性(即，跨用户利用功能上导出的共享模型空间使得能够跨用户池化，同时保持每个用户的模型的特异性)。在一个或多个实施例中，将神经数据200变换到共同表示空间101中的任务410包括识别具有最可预测的或最一致的激活(activation)的采样神经数据200的区域作为用于控制目标装置300的控制信号，并且计算受试者特定变换(subject-specific transform)以跨不同用户对准这些区域。例如，在一个或多个实施例中，将神经数据200变换到共同表示空间101中的任务410包括计算不同用户的神经数据200和/或同一用户在不同时间的神经数据200之间的变换。
在所示的实施例中，方法400还包括利用共同空间神经数据101作为状态表示来向BMI系统100的行动者(Actor)递归神经网络(RNN)策略102通知要向目标装置300(例如，无人机或机器人臂)发送什么控制信号的任务415。任务415可以利用长短期存储器(LSTM)RNN架构来执行，诸如在Hochreiter,S.和Schmidhuber,J.(1997).“Long short-termmemory.”Neural computation,9(8),1735-1780中所描述的LSTM RNN架构，其全部内容并入本文作为参考。
在所示的实施例中，方法400还包括利用图1中所示的BMI系统100的深度RNN 103在用户的精神状态(mental state)形成时预测用于目标装置300的控制信号的任务420(即，在用户的精神状态发展时基于共同表示空间101中的神经数据预测要发送到目标装置300的控制信号)。利用深度RNN 103使得能够对来自神经活动的时间级联的多自由度(多DOF)控制信号进行解码，这提供了将跨时间和空间的多样化信息并入控制信号中的能力。任务420中使用的基础学习算法(underlying learning algorithm)是生成性序列到序列解码器(generative sequence to sequence decoder)，其能够通过以下进行序列解码：利用用于生成器和鉴别器组件的RNN单元(cell)，在动作空间(action space)上使用树搜索(tree search)方法，并在全序列解码之后传播策略奖励梯度(policy reward gradient)(即，在预测控制信号的任务420期间，序列解码器以类似蒙特卡罗-树搜索(Monte-Carlo-Tree-Search)的方式评估所提出的动作)。生成性序列解码器描述于Yu L,Zhang W,WangJ,Yu Y.“SeqGAN:Sequence Generative Adversarial Nets with Policy Gradient.”2016.第1-11页。可从以下获得：https://arxiv.org/abs/1609.05473，其全部内容并入本文作为参考。蒙特卡罗-树搜索描述于Kocsis,L.和Szepesvári,C.(2006年9月)“Banditbased monte-carlo planning.”于European conference on machine learning(第282-293页).Springer(施普林格),Berlin(柏林),Heidelberg(海德堡)，其全部内容并入本文作为参考。树搜索的隐式预测可用于加速控制选择，并由此减少解码器分类的等待时间。以这种方式，任务420被配置为生成控制信号的预测序列以同时评估多个潜在结果。因此，利用深度RNN 103的任务420被配置为使用用户的神经数据200来提高BMI系统100控制目标装置300的速度和准确度。
在所示的实施例中，方法400还包括基于用户的神经数据200控制目标装置300(例如，诸如无人机或机器人臂的外部免持装置)的任务425。
在所示的实施例中，方法400还包括从在线强化学习代理104向如图1所示BMI系统100的评论家(Critic)模型105提供在线奖励的任务430。在一个或多个实施例中，任务430包括基于用户对目标装置300的成功控制的预期从共同表示空间101中的用户神经数据提取基于内在生物特征(intrinsic biometric-based)的奖励信号。从用户的神经数据提取基于内在生物特征的奖励信号的任务430可以通过任何合适的技术来执行，诸如在Zhao Y,Hessburg JP,Kumar JNA,Francis JTT.“Paradigm Shift in Sensorimotor ControlResearch and Brain Machine Interface Control:The Influence of Context onSensorimotor representations.”bioRxiv.Cold Spring Harbor Laboratory(冷泉港实验室)；2018；:239814中描述的技术，其全部内容并入本文作为参考。合适的Critic模型被描述于Haarnoja,T.,Zhou,A.,Abbeel,P.和Levine,S.(2018).“Soft actor-critic:Off-policy maximum entropy deep reinforcement learning with a stochastic actor.”arXiv preprint(预印本)arXiv:1801.01290，其全部内容并入本文作为参考。在一个或多个实施例中，任务430包括解码用户对目标装置300的预期动作的情绪响应。例如，神经数据200到控制信号的不成功转换将导致目标装置300的表现不佳，并且将因此引起来自用户的消极情绪响应。相反，神经数据200到控制信号的成功转换将导致目标装置300的预期表现，并且将因此引起来自用户的积极情绪响应。在一个或多个实施例中，任务430包括将这些积极或消极情绪响应变换成奖励信号并且将奖励信号提供给Critic模型105以驱动在线学习(例如，任务430包括从神经数据200的共同代表空间101提取内在奖励信号并且基于目标装置300如何成功地执行了预期动作来通知Critic模型105)。以此方式，任务430致能从神经数据200到用于控制目标装置300的输出控制信号的映射的连续或基本连续的适应(即，在线奖励被配置为致能对神经数据200的变化的适应)。
在一个或多个实施例中，BMI系统100可以包括用户神经数据的共同表示空间101、Actor RNN策略102、深度RNN 103、在线强化学习代理104和Critic模型105。在一个或多个实施例中，BMI系统100还可以包括目标装置300。在一个或多个实施例中，目标装置300可以不是BMI系统100的一部分。
付诸实际
对使用生成性输入来增加EEG解码的准确性和响应性的功效进行了初步研究，作为BMI系统100中的序列解码器网络的概念的证据。为此，评估了生成器和鉴别器长短期存储器(LSTM)网络的解码器等待时间和性能特性。从手指弯曲任务中利用侵入性脑皮层电图(ECoG)记录。来自背侧M1和腹侧感觉运动(M 1+S1)电极的高伽马(gamma)功率在150毫秒(ms)窗(window)上和50ms滑动(slide)被用作表示特征。LSTM模型用序列自动编码器初始化，然后在功率电极特征上训练。非堆叠LSTM与100个隐藏单元一起使用，并且基线比较模型是使得时间序列被平坦化并被提供作为特征的线性判别分析(LDA)，和隐马尔可夫模型(HMM)。尽管LDA由于它将时间响应显式建模为相对于运动开始的神经活动的函数而为结构化任务提供了强基线性能，但是HMM和LSTM通过捕捉时间动态(temporal dynamics)来学习更一般的表示。因此，如图3所示，显示LSTM的性能优先于相关技术LDA和HMM提供更多的辨别信息，同时还实现更优的分类，尤其是当利用没有时间关系的生成性对抗网络(GAN)来将数据增加到原始观测数据的10倍时。在图3中，10x是指使用生成性模型的数据扩充量(即，“LSTM 10x”是使用10倍“仅观测数据的LSTM”的数据所训练的)。如图3中虚线箭头所示，与传统模型(LSTM、LDA和HMM)的平均值相比，源数据扩充展示了改进的序列模型(LSTM)等待时间，在50％阈值准确度下，该等待时间近似(约)400ms。因此，与相关技术的系统和方法相比，本公开的BMI系统100的序列解码器表现出改进的等待时间和准确度。
本文所述的一些或所有操作(例如，图2中所示的任务405-430)可由一个或多个处理电路执行。例如，BMI系统100的软件组件可以被托管在包括处理电路的服务器上，并且每个用户和主机可以使用由包括处理电路的计算机显示的(例如，在web浏览器中的)用户界面。服务器可以执行用户神经数据到共同表示空间的变换，可以应用状态表示来通知ActorRNN策略，可以将在线奖励应用于Critic模型，和/或可以利用序列解码器来生成和评估潜在控制信号，如上所述。
本发明的实施例的涉及使用“处理电路”的各个部分可以用逻辑门或用处理单元或处理电路的任何其它实施例来实现。本文中使用术语“处理单元”或“处理电路”包括用于处理数据或数字信号的硬件、固件和软件的任何组合。处理单元硬件可以包括例如专用集成电路(ASIC)、通用或专用中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)和诸如现场可编程门阵列(FPGA)的可编程逻辑器件。在处理单元或处理电路中，如本文中所使用，每一功能由经配置(即，硬连线)以执行所述功能的硬件或由经配置以执行存储于非暂时性存储介质中的指令的更通用硬件(例如，CPU)执行。处理单元或处理电路可以制造在单个印刷电路板(PCB)上或分布在几个互连的PCB上。处理单元或处理电路可以包含其他处理单元或电路；例如，处理电路可以包括在PCB上互连的两个处理电路，FPGA和CPU。
图4是示出可用于实现本发明的实施例的彼此通信的各种计算机化系统的框图。
如图4所示，根据本公开的一些实施例的系统500与服务器501(例如，要操作的装置)连接以执行本文描述的操作，诸如将用户的神经数据变换到共同表示空间，应用状态表示以通知Actor RNN策略，将在线奖励应用于Critic模型，和/或利用序列解码器生成和评估潜在控制信号。
系统500经由网络502连接到服务器501以发送和/或接收与可经由移动和非移动装置访问的各种用户账户(元素504)的神经数据和/或从神经数据衍生的控制信号有关的信息，所述移动和非移动装置的非限制性示例包括台式计算机506、膝上型计算机508、智能电话510和其他移动装置512。如本领域技术人员可以理解的，用户装置是可以经由网络502接收和发送数据(例如，神经数据)的任何装置。
图5是示出结合本发明的至少一个实施例使用的处理系统、处理电路、或处理系统或处理电路的一部分的框图，本文中称为计算机系统。
图5示出了根据实施例的示例性计算机系统600。示例性计算机系统600被配置为执行与程序或算法相关联的计算、处理、操作和/或功能。在一个实施例中，本文讨论的某些过程和步骤被实现为驻留在计算机可读存储器单元内并且由示例性计算机系统600的一个或多个处理电路执行的一系列指令(例如，软件程序)。当被执行时，指令使得示例性计算机系统600执行特定动作并表现特定行为，诸如本文所描述的。
示例性计算机系统600可包括被配置为传递信息的地址/数据总线610。另外，一个或多个数据处理单元，诸如处理电路620，与地址/数据总线610耦合。处理电路620被配置为处理信息和指令。在一个实施例中，处理电路620是微处理器。可选择地，处理电路620可以是不同类型的处理器，诸如并行处理器或现场可编程门阵列。
示例性计算机系统600被配置为利用一个或多个数据存储单元。示例性计算机系统600可以包括与地址/数据总线610耦合的易失性存储器单元630(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中易失性存储器单元630被配置为存储用于处理电路620的信息和指令。示例性计算机系统600还可包括与地址/数据总线610耦合的非易失性存储器单元640(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM“EEPROM”)、闪存等)，其中非易失性存储器单元640被配置为存储用于处理电路620的静态信息和指令。可选择地，示例性计算机系统600可以执行从诸如“云”计算中的在线数据存储单元撷取的指令。在实施例中，示例性计算机系统600还可以包括与地址/数据总线610耦合的一个或多个接口，诸如接口650。一个或多个接口被配置为使得示例性计算机系统600能够与其他电子装置和计算机系统以接口连接。由一个或多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个实施例中，示例性计算机系统600可以包括与地址/数据总线610耦合的输入装置660，其中输入装置660被配置为将信息(例如，神经数据)传送到处理电路620。根据一个实施例，输入装置660是一个或多个非侵入性传感器(例如，放置在用户头骨外部的传感器)或侵入性传感器(例如，手术植入脑内的传感器)，诸如侵入性脑皮层电图(ECoG)装置或颅内脑电图(iEEG)装置(例如，背侧M1和腹侧感觉运动(M1+S1)电极)。可选择地，输入装置660可以是可包括字母数字和/或功能键的字母数字输入装置，诸如键盘。在实施例中，示例性计算机系统600可以包括与地址/数据总线610耦合的光标控制装置670，其中光标控制装置670被配置为向处理电路620传送用户输入信息和/或命令选择。在一个实施例中，光标控制装置670使用诸如鼠标、跟踪球、跟踪板、光学跟踪装置或触摸屏之类的装置来实现。尽管如上所述，在一个实施例中，光标控制装置670经由来自输入装置660的输入而被引导和/或激活，诸如响应于与输入装置660相关联的特殊键和键序列命令的使用。在一个替代实施例中，光标控制装置670被配置为由语音命令来引导或指引。
在一个实施例中，示例性计算机系统600还可以包括与地址/数据总线610耦合的一个或多个可选的计算机可用数据存储装置，诸如存储装置680。存储装置680被配置为存储信息和/或计算机可执行指令。在一个实施例中，存储装置680是诸如磁盘或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字多功能盘(“DVD”))的存储装置。根据一个实施例，显示装置690与地址/数据总线610耦合，其中显示装置690被配置为显示视频和/或图形。在一个实施例中，显示装置690可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子显示器或适于显示用户可识别的视频和/或图形图像和字母数字字符的任何其它显示装置。
示例性计算机系统600在此被呈现为根据一实施例的示例性计算环境。然而，示例性计算机系统600并不严格限于计算机系统。例如，实施例提供了表示可以根据本文描述的各种实施例使用的数据处理分析的类型的示例性计算机系统600。此外，也可以实现其他计算系统。实际上，本技术的精神和范围不限于任何单个数据处理环境。因此，在实施例中，使用由计算机执行的诸如程序模块的计算机可执行指令来控制或实现本技术的各种实施例的一个或多个操作。在一个示例性实现中，这样的程序模块包括被配置为执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。此外，实施例提供了通过利用一个或多个分布式计算环境来实现本技术的一个或多个方面，诸如其中任务由通过通信网络链接的远程处理装置执行，或诸如其中各种程序模块位于包括存储器存储装置的本地和远程计算机存储介质两者中。
应当理解，附图不一定是按比例的，并且除了或代替另一个实施例中的任何一个或多个特征，可以结合实施例的任何一个或多个特征，并且组件的定向可以具有除了图中描绘的定向之外的任何其它合适的定向。此外，上述任务可以以所述顺序或以任何其它合适的顺序执行。另外，上述方法不限于所描述的任务。相反，对于每个实施例，可以不存在上文所描述的任务中的一个或多个，和/或可以执行附加的任务。如本文所用，术语“基本上”、“约”、“近似地”和类似术语用作近似术语而不是程度术语，并且旨在说明本领域普通技术人员将认识到的测量或计算值的固有偏差。
尽管已经具体参考本发明的示例性实施例详细描述了本发明，但是本文描述的示例性实施例不是穷举的，也不是要将本发明的范围限制为所公开的确切形式。本发明所属领域和技术的技术人员将理解，在不有意背离如所附权利要求及其等效物中所阐述的本发明的原理、精神和范围的情况下，可以对所描述的结构以及组装和操作的方法进行改变和变化。
Claims (20)
1.一种被配置为解码神经信号以控制目标装置的脑机接口系统，所述脑机接口系统包括：
至少一个传感器，其被配置为对所述神经信号进行采样；及
计算机可读存储介质，其具有存储于其中的软件指令，所述软件指令在由处理器执行时使所述处理器：
将所述神经信号变换到存储在所述脑机接口系统中的共同表示空间中；
提供所述共同表示空间作为状态表示以通知所述脑机接口系统的行动者(Actor)递归神经网络策略；
利用具有生成性序列解码器的所述脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列；
将从所述控制信号的预测序列衍生的特定控制信号提供给所述目标装置以实现所述目标装置的输出；
基于对所述目标装置的所述输出的预期从所述共同表示空间确定基于内在生物特征的奖励信号；及
将所述基于内在生物特征的奖励信号提供给所述脑机接口系统的评论家(Critic)模型。
2.根据权利要求1所述的脑机接口系统，其中至少一个传感器被配置为侵入性地或非侵入性地对所述神经信号进行采样。
3.根据权利要求2所述的脑机接口系统，其中至少一个传感器包括侵入性脑皮层电图(ECoG)装置或颅内脑电图(iEEG)装置。
4.根据权利要求1至3中任一权利要求所述的脑机接口系统，其中将所述神经信号变换到所述共同表示空间中包括：
识别具有信息性激活的所述神经信号的区域用于控制所述目标装置，及
执行受试者特定变换以跨不同用户对准所述区域。
5.根据权利要求1至3中任一权利要求所述的脑机接口系统，其中当所述目标装置的所述输出匹配用户的预期输出时，所述基于内在生物特征的奖励是积极情绪响应。
6.根据权利要求1至3中任一权利要求所述的脑机接口系统，其中当所述目标装置的所述输出不匹配用户的预期输出时，所述基于内在生物特征的奖励是消极情绪响应。
7.根据权利要求1至3中任一权利要求所述的脑机接口系统，其中所述软件指令在由所述处理器执行时使所述处理器利用树搜索生成和评估所述控制信号的所述预测序列。
8.一种非暂时性计算机可读存储介质，其具有存储于其中的软件指令，所述软件指令在由处理器执行时使所述处理器：
将来自个体用户的神经数据变换到脑机接口系统的共同表示空间中；
提供所述共同表示空间作为状态表示以通知所述脑机接口系统的行动者(Actor)递归神经网络策略；
利用具有生成性序列解码器的所述脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列；
将从所述控制信号的预测序列衍生的特定控制信号提供给所述目标装置以产生所述目标装置的输出；
基于所述个体用户对所述目标装置的所述输出的预期从所述共同表示空间确定基于内在生物特征的奖励；及
将所述基于内在生物特征的奖励提供给所述脑机接口系统的评论家(Critic)模型。
9.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述指令在由处理器执行时使所述处理器通过以下步骤将所述神经数据变换到所述共同表示空间中：
识别具有信息性激活的所述神经数据的区域用于控制所述目标装置，及
执行受试者特定变换以跨不同用户对准所述区域。
10.根据权利要求8或权利要求9所述的非暂时性计算机可读存储介质，其中，所述指令在由处理器执行时使所述处理器通过解码来自所述个体用户的对所述目标装置的所述输出的情绪响应来确定所述基于内在生物特征的奖励。
11.根据权利要求10所述的非暂时性计算机可读存储介质，其中，当所述目标装置的所述输出匹配所述个体用户的预期输出时，所述基于内在生物特征的奖励是积极情绪响应。
12.根据权利要求10所述的非暂时性计算机可读存储介质，其中，当所述目标装置的所述输出不匹配所述个体用户的预期输出时，所述基于内在生物特征的奖励是消极情绪响应。
13.根据权利要求8或权利要求9所述的非暂时性计算机可读存储介质，其中，所述软件指令在由所述处理器执行时使所述处理器利用树搜索生成和评估所述控制信号的所述预测序列。
14.一种利用神经数据控制目标装置的方法，所述方法包括：
对来自用户的神经数据进行采样；
将所述神经数据变换到脑机接口系统的共同表示空间中；
提供所述共同表示空间作为状态表示以通知所述脑机接口系统的行动者(Actor)递归神经网络策略；
利用具有生成性序列解码器的所述脑机接口系统的深度递归神经网络来生成和评估用于目标装置的控制信号的预测序列；
将从所述控制信号的预测序列衍生的特定控制信号提供给所述目标装置以产生所述目标装置的输出；
基于所述用户对所述目标装置的所述输出的预期从所述共同表示空间确定内在奖励；及
将所述内在奖励提供给所述脑机接口系统的评论家(Critic)模型。
15.根据权利要求14所述的方法，其中，评估所述控制信号的所述预测序列包括树搜索。
16.根据权利要求14或权利要求15所述的方法，其中，将所述神经数据变换到所述共同表示空间中包括：
识别具有信息性激活的所述神经数据的区域用于控制所述目标装置，及
执行受试者特定变换以跨不同用户对准所述区域。
17.根据权利要求14或权利要求15所述的方法，其中，确定所述内在奖励包括解码来自所述用户的对所述目标装置的所述输出的情绪响应。
18.根据权利要求17所述的方法，其中，当所述目标装置的所述输出符合预期时，所述情绪响应是积极情绪响应。
19.根据权利要求17所述的方法，其中，当所述目标装置的所述输出不符预期时，所述情绪响应是消极情绪响应。
20.根据权利要求14或权利要求15所述的方法，其中，对来自所述用户的所述神经数据进行采样是侵入性地或非侵入性地执行的。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962869867P | 2019-07-02 | 2019-07-02 | |
| US62/869,867 | 2019-07-02 | ||
| PCT/US2020/035724 WO2021002993A1 (en) | 2019-07-02 | 2020-06-02 | System and method for continual decoding of brain states to multi-degree-of-freedom control signals in hands free devices |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114207556A CN114207556A (zh) | 2022-03-18 |
| CN114207556B true CN114207556B (zh) | 2023-10-27 |
Family
ID=74065732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080054041.2A Active CN114207556B (zh) | 2019-07-02 | 2020-06-02 | 用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11023046B2 (zh) |
| EP (1) | EP3994554A4 (zh) |
| CN (1) | CN114207556B (zh) |
| WO (1) | WO2021002993A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11567574B2 (en) * | 2020-09-22 | 2023-01-31 | Optum Technology, Inc. | Guided interaction with a query assistant software using brainwave data |
| EP4294259A1 (en) * | 2021-01-29 | 2023-12-27 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for decoding observed spike counts for spiking cells |
| CN116491960B (zh) * | 2023-06-28 | 2023-09-19 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105722479A (zh) * | 2013-11-13 | 2016-06-29 | 赫尔实验室有限公司 | 用于控制大脑机器接口和神经假肢系统的系统 |
| CN108289634A (zh) * | 2015-07-13 | 2018-07-17 | 安娜·萨默·尚帕利莫与卡洛斯·蒙特斯·尚帕利莫基金会 | 用于操作者学习脑机接口的系统和方法 |
| CN108814594A (zh) * | 2018-04-18 | 2018-11-16 | 深圳大学 | 一种实时神经反馈装置、系统、方法和计算机存储介质 |
| CN109906101A (zh) * | 2016-08-25 | 2019-06-18 | 天堂医疗公司 | 用于处理神经信号的系统和方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9050200B2 (en) * | 2007-05-02 | 2015-06-09 | University Of Florida Research Foundation, Inc. | System and method for brain machine interface (BMI) control using reinforcement learning |
| WO2016094862A2 (en) * | 2014-12-12 | 2016-06-16 | Francis Joseph T | Autonomous brain-machine interface |
| WO2017177128A1 (en) * | 2016-04-08 | 2017-10-12 | The Trustees Of Columbia University In The City Of New York | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface |
| WO2017218699A1 (en) | 2016-06-17 | 2017-12-21 | Graham Leslie Fyffe | System and methods for intrinsic reward reinforcement learning |
| EP3576626A4 (en) * | 2017-02-01 | 2020-12-09 | Cerebian Inc. | SYSTEM AND METHOD FOR MEASURING PERCEPTIONAL EXPERIENCE |
| US20180307979A1 (en) * | 2017-04-19 | 2018-10-25 | David Lee Selinger | Distributed deep learning using a distributed deep neural network |
| KR102143900B1 (ko) | 2017-09-14 | 2020-08-12 | 고려대학교 산학협력단 | 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법 |
-
2020
- 2020-06-02 WO PCT/US2020/035724 patent/WO2021002993A1/en unknown
- 2020-06-02 US US16/890,406 patent/US11023046B2/en active Active
- 2020-06-02 CN CN202080054041.2A patent/CN114207556B/zh active Active
- 2020-06-02 EP EP20834421.8A patent/EP3994554A4/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105722479A (zh) * | 2013-11-13 | 2016-06-29 | 赫尔实验室有限公司 | 用于控制大脑机器接口和神经假肢系统的系统 |
| CN108289634A (zh) * | 2015-07-13 | 2018-07-17 | 安娜·萨默·尚帕利莫与卡洛斯·蒙特斯·尚帕利莫基金会 | 用于操作者学习脑机接口的系统和方法 |
| CN109906101A (zh) * | 2016-08-25 | 2019-06-18 | 天堂医疗公司 | 用于处理神经信号的系统和方法 |
| CN108814594A (zh) * | 2018-04-18 | 2018-11-16 | 深圳大学 | 一种实时神经反馈装置、系统、方法和计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Context Sensitivity of EEG-Based Workload Classification Under Different Affective Valence;Sebastian Grissmann等;《IEEE Transactions on Affective Computing》;全文 * |
| 混合脑机接口的研究现状及应用;胡章芳;《重庆邮电大学学报(自然科学版)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11023046B2 (en) | 2021-06-01 |
| EP3994554A4 (en) | 2023-07-05 |
| EP3994554A1 (en) | 2022-05-11 |
| WO2021002993A1 (en) | 2021-01-07 |
| CN114207556A (zh) | 2022-03-18 |
| US20210004085A1 (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114207556B (zh) | 用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法 | |
| US11977967B2 (en) | Memory augmented generative temporal models | |
| KR20180134738A (ko) | 전자 장치 및 학습 모델 생성 방법 | |
| US20200285934A1 (en) | Capsule neural networks | |
| US20210232228A1 (en) | Adaptive thresholding and noise reduction for radar data | |
| Yin et al. | A high-performance training-free approach for hand gesture recognition with accelerometer | |
| CN110163171B (zh) | 用于识别人脸属性的方法和装置 | |
| EP4040320A1 (en) | On-device activity recognition | |
| CN111149104A (zh) | 用于生物特征识别的装置、方法和计算机程序产品 | |
| KR102179999B1 (ko) | 인공신경망 기반 손동작 인식 방법 및 장치 | |
| CN110850982B (zh) | 基于ar的人机交互学习方法、系统、设备及存储介质 | |
| He et al. | An improved particle filter propeller fault prediction method based on grey prediction for underwater vehicles | |
| JP2020201939A (ja) | Ｍｌモデルおよびａｉモデルのために敵対的サンプルを軽減するためのシステム | |
| US11468270B2 (en) | Electronic device and feedback information acquisition method therefor | |
| CN116340752A (zh) | 一种面向预测性分析结果的数据故事生成方法及系统 | |
| CN116403699A (zh) | 痴呆症识别方法 | |
| CN113208566B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| WO2023136873A1 (en) | Diffusion-based handedness classification for touch-based input | |
| US20230027309A1 (en) | System and method for image de-identification to humans while remaining recognizable by machines | |
| Heskebeck et al. | Multi-armed bandits in brain-computer interfaces | |
| JP2019080809A (ja) | 状態推定装置 | |
| Liang et al. | An automatic network structure search via channel pruning for accelerating human activity inference on mobile devices | |
| US20220214677A1 (en) | Detecting anomalous events using a microcontroller | |
| Guggilam et al. | Large Deviations Anomaly Detection (LAD) for collection of multivariate time series data: Applications to COVID-19 data | |
| US20240096319A1 (en) | Gaze-based command disambiguation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |