CN111543988A - 一种自适应认知活动识别方法、装置及存储介质 - Google Patents

一种自适应认知活动识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111543988A
CN111543988A CN202010449674.5A CN202010449674A CN111543988A CN 111543988 A CN111543988 A CN 111543988A CN 202010449674 A CN202010449674 A CN 202010449674A CN 111543988 A CN111543988 A CN 111543988A
Authority
CN
China
Prior art keywords
electroencephalogram
information
reward
model
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010449674.5A
Other languages
English (en)
Other versions
CN111543988B (zh
Inventor
王洪涛
唐聪
许林峰
岳洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010449674.5A priority Critical patent/CN111543988B/zh
Priority to PCT/CN2020/104558 priority patent/WO2021237917A1/zh
Publication of CN111543988A publication Critical patent/CN111543988A/zh
Application granted granted Critical
Publication of CN111543988B publication Critical patent/CN111543988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种自适应认知活动识别方法、装置及存储介质，包括采集原始脑电数据；对所述原始脑电数据进行处理，得到脑电信号；将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；将所述最佳注意区域信息输入到奖励模型，得出分类识别结果，能够更加有效地认知活动进行识别，提高了识别的准确性。

Description

一种自适应认知活动识别方法、装置及存储介质
技术领域
本发明涉及人工智能领域，特别涉及一种自适应认知活动识别方法、装置及存储介质。
背景技术
脑电图(EEG)是一种电生理监测指标，可通过测量大脑神经元内离子电流的电压波动来分析大脑状态和活动。在实践中，脑电信号可以通过便携式和现成的设备以非侵入性和非固定的方式进行收集。EEG信号分类算法已针对一系列实际应用进行了研究。脑电分类模型的准确性和鲁棒性是运动意图识别，情绪识别等认知活动的重要衡量指标。认知活动识别系统在内部认知世界和外部物理世界之间架起了一座桥梁。它们最近用于辅助生活，智能家居和娱乐业；基于脑电图的运动想象识别可帮助残障人士进行生活必须的基本活动；基于脑电信号的情绪识别可用于检测当前病患的情感状态，例如抑郁、焦虑等。
认知活动的分类面临若干挑战。首先，大多数现有的EEG分类研究使用的EEG数据预处理和特征提取方法(例如，带通滤波，离散小波变换和特征选择)既耗时又高度依赖专业知识。其次，目前大多数的EEG分类方法都是基于特定领域的知识设计的，因此在不同情况下可能会失效甚至失败。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明提出一种自适应认知活动识别方法，能够更加有效地认知活动进行识别，提高了识别的准确性。
本发明还提出一种应用上述自适应认知活动识别方法的自适应认知活动识别装置。
本发明还提出一种应用上述自适应认知活动识别方法的计算机可读存储介质。
根据本发明第一方面实施例的自适应认知活动识别方法，包括：
采集原始脑电数据；
对所述原始脑电数据进行处理，得到脑电信号；
将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；
将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；
将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
根据本发明实施例的自适应认知活动识别方法，至少具有如下有益效果：提出一种自动认知活动识别的通用框架，以促进各种认知应用领域的范围，包括运动想象识别和情绪识别。通过结合深度强化学习和注意机制来设计强化选择性注意模型，以自动提取健壮且独特的深度特征；以鼓励模型选择能够达到最高分类精度的最佳注意区域；此外，根据认知活动识别环境定制状态和动作；还利用奖励模型进行选定的原始脑电数据进行分类，实现了比传统方法更高的识别准确性，并且延迟较低。
根据本发明的一些实施例，所述对所述原始脑电数据进行处理，得到脑电信号，包括：
对所述原始脑电数据进行复制和洗牌处理，得到组合脑电数据；
对所述组合脑电数据进行选取，得到脑电信号。
根据本发明的一些实施例，所述将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息，包括：
通过强化选择注意模型接收到所述脑电状态信息和所述奖励信息，得出脑电评估信息；
将所述脑电评估信息反馈到所述状态过渡模型以驱使所述状态过渡模型进行脑电状态信息转换，直至所述强化选择注意模型得出最佳注意区域信息。
根据本发明的一些实施例，所述奖励模型包括卷积映射网络和分类器。
根据本发明的一些实施例，所述将所述最佳注意区域信息输入到奖励模型，得出分类识别结果，包括：
所述最佳注意区域信息输入到卷积映射网络，得出空间依赖特征；
所述空间依赖特征输入到分类器以得到分类识别结果。
根据本发明的一些实施例，所述卷积映射网络包括输入层、卷积层、完全连接层、提取特征层和输出层，所述输入层、所述卷积层、所述完全连接层、所述提取特征层和所述输出层依次连接。
根据本发明第二方面实施例的自适应认知活动识别装置，包括：
采集单元，用于采集原始脑电数据；
处理单元，用于对所述原始脑电数据进行处理，得到脑电信号；
检测单元，用于将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；
筛选单元，用于将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；
识别单元，用于将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
根据本发明的一些实施例，所述处理单元包括：
复制单元，用于对所述原始脑电数据进行复制处理；
洗牌单元，用于对经过所述复制单元处理后的原始脑电数据进行洗牌处理，得出组合脑电数据；
选取单元，用于对所述组合脑电数据进行选取，得到脑电信号。
根据本发明的一些实施例，所述检测单元包括：
状态过渡单元，用于将脑电信号输入到状态过渡模型，得到脑电状态信息；
奖励单元，用于将脑电信号输入到奖励模型，得到奖励信息。
根据本发明实施例的自适应认知活动识别装置，至少具有如下有益效果：通过结合深度强化学习和注意机制来设计强化选择性注意模型，以自动提取健壮且独特的深度特征；以鼓励模型选择能够达到最高分类精度的最佳注意区域；此外，根据认知活动识别环境定制状态和动作；还利用奖励模型进行选定的原始脑电数据进行分类，实现了比传统方法更高的识别准确性，并且延迟较低。
根据本发明第三方面实施例的计算机可读存储介质，能够应用根据本发明上述第一方面实施例的自适应认知活动识别方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：通过结合深度强化学习和注意机制来设计强化选择性注意模型，以自动提取健壮且独特的深度特征；以鼓励模型选择能够达到最高分类精度的最佳注意区域；此外，根据认知活动识别环境定制状态和动作；还利用奖励模型进行选定的原始脑电数据进行分类，实现了比传统方法更高的识别准确性，并且延迟较低。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一的自适应认知活动识别方法的流程图；
图2为本发明实施例一的自适应认知活动识别方法中的对原始脑电数据进行处理的工作流程图；
图3为本发明实施例一的自适应认知活动识别方法中的筛选最佳注意区域的工作流程图；
图4为本发明实施例一的自适应认知活动识别方法中的得到分类识别结果的工作流程图；
图5为本发明实施例二的自适应认知活动识别装置的装置结构示意图；
图6为本发明实施例一的自适应认知活动识别方法的详细流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明的描述中，除非另有明确的限定，设置、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
实施例一
参照图1，本发明实施例一提供了一种自适应认知活动识别方法，其中的一种实施例包括但不限于以下步骤：
步骤S100，采集原始脑电数据。
在本实施例中，本步骤采集原始脑电数据，为了后续的自适应认知活动识别做好准备，提供了采集数据基础。
步骤S200，对所述原始脑电数据进行处理，得到脑电信号。
在本实施例中，本步骤对收集到的原始脑电数据进行整理处理，进一步为了自适应认知活动识别做好准备。
步骤S300，将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息。
在本实施例中，本步骤状态过渡模型用于选择脑电信号中的某一行为，得到脑电状态信息，以此同时，奖励模型还对该行为进行奖励分数评估这一行为的质量，得到奖励信息，从而能够为选出最佳注意区域信息做好前提准备。
步骤S400，将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息。
在本实施例中，本步骤中的强化选择注意模型能够对脑电状态信息和奖励信息进行评估，当发现不为最佳注意区域信息的时候，就会反馈到状态过渡模型，使得状态过渡模型重新选择脑电信号中的另外一个注意区域，重新进行评估，直至得出最佳注意区域信息。
步骤S500，将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
在本实施例中，本步骤将得出的最佳注意区域信息输入到奖励模型中，通过奖励模型得出对原始脑电数据分类识别结果。
参照图2，本实施例的步骤S200中，可以包括但不限于以下步骤：
步骤S210，对所述原始脑电数据进行复制和洗牌处理，得到组合脑电数据。
在本实施例中，本步骤为了提供尽可能多的信息，通过复制和洗牌处理，能够提供特征维度的更多潜在空间组合，为了后续的检测做好准备。
步骤S220，对所述组合脑电数据进行选取，得到脑电信号。
在本实施例中，本步骤对经过复制洗牌处理后的原始脑电数据进行选取，得到脑电信号，然后输入到状态过渡模型和奖励模型中进行原始脑电数据中的最佳注意区域选择。
参照图3，在本实施例的步骤S400中，可以包括但不限于以下步骤：
步骤S410，通过强化选择注意模型接收到所述脑电状态信息和所述奖励信息，得出脑电评估信息。
在本实施例中，本步骤强化选择注意模型接收到脑电状态信息和奖励信息，然后对脑电状态信息和奖励信息进行综合评估，奖励信息能够揭示输入的脑电信号的某一选定行为的质量，强化选择注意模型能够向状态过渡模型进行反馈，当选定的区域不是最佳注意区域的时候，就会驱使状态过渡模型重新选择另外一个注意区域。
步骤S420，将所述脑电评估信息反馈到所述状态过渡模型以驱使所述状态过渡模型进行脑电状态信息转换，直至所述强化选择注意模型得出最佳注意区域信息。
在本实施例中，本步骤强化选择注意模型能够向状态过渡模型进行反馈，当选定的区域不是最佳注意区域的时候，就会驱使状态过渡模型重新选择另外一个注意区域，直至强化选择注意模型选出最佳注意区域信息。
参照图4，在本实施例的步骤S500中，可以包括但不限于以下步骤：
步骤S510，所述最佳注意区域信息输入到卷积映射网络，得出空间依赖特征。
在本实施例中，本步骤将得到的最佳注意区域信息输入到卷积映射网络中，利用卷积映射网络进行空间依赖特征提取。
步骤S520，所述空间依赖特征输入到分类器以得到分类识别结果。
在本实施例中，本步骤将上述所得到的空间依赖特征输入到分类器中，从而能够利用分类器进行自适应认知活动识别。
在本实施例中，奖励模型包括卷积映射网络和分类器，卷积映射网络能够进行空间依赖特征提取；分类器能够根据卷积映射网络提取的空间依赖特征进行认知活动识别。
进一步，在本实施例中，所述卷积映射网络包括输入层、卷积层、完全连接层、提取特征层和输出层，所述输入层、所述卷积层、所述完全连接层、所述提取特征层和所述输出层依次连接。
在本实施例中，强化选择注意模型包括了竞争DQN网络、完全连接层、值函数V、优势函数A和Q函数，竞争DQN网络和完全连接层连接，值函数V和优势函数A分别与完全连接层连接，值函数V和优势函数A还均与Q函数连接，实现强化选择注意机制。
下面以一个具体的实施例对自适应认知活动识别方法进行进一步的说明：
参照图6，为了提供尽可能多的信息，设计了一种利用EEG信号之间的空间关系的方法。属于不同大脑活动的信号应该具有不同的空间依赖关系。将输入的EEG信号按照维度进行复制并混洗。在这种方法中，所有可能的维度布置都具有等概率的外观。
假设输入的原始EEG数据用X＝{(xi,yi),i＝1,2,...,I}表示，其中(xi,yi)表示单个EEG样本，I表示样本数。在每个样本中，特征xi＝{xik,k＝1,2,...,N},xi∈RN包含与N个EEG通道相对应的N个元素，而yi∈R表示相应的标签。xik表示第i个样本中的第k个维度值。
在现实世界的收集场景中，EEG数据通常是根据生物医学EEG通道的分布进行连接的。但是，生物医学维度顺序可能不会表现出最佳的空间依赖性。排气方法在计算上过于昂贵，导致无法排出所有可能的维度布置。
为了提供更多潜在的维度组合，提出了一种称为“复制和洗牌(RS)”的方法。RS是一种两步映射方法，可将xi映射到具有完整元素组合的更高维空间x′i：
xi∈RN→x′i∈RN′,N'>N
在第一步(复制)中，将xi复制h＝N'/N+1次。然后，得到一个新的向量，其长度为h*N，不小于N'；在第二步(洗牌)中，随机的将复制的矢量在第一步中打乱，并截取第一个N'生成x′i的元素。从理论上讲，与xi相比，x′i包含更多不同的维度组合。注意，此RS操作仅对特定的输入数据集执行一次，以便为后续的强化学习提供稳定的环境。
受到最佳空间关系仅取决于特征维子集这一事实的启发，引入了一个关注区域来关注特征维的片段。在这里，通过深度强化学习优化了注意区域，事实证明，该区域在策略学习中是稳定且表现良好的。
特别是，旨在检测最佳维度组合，其中包括EEG信号之间最显著的空间依赖性。由于N'(x′i的长度)太大且计算量巨大，无法平衡长度和信息内容，因此引入了注意机制，因为它的有效性已在最近的研究领域(例如语音识别)中得到证明。试图强调x′i中的信息片段，并用
Figure BDA0002507065960000081
表示该片段，这被称为注意区。令
Figure BDA0002507065960000082
和“
Figure BDA0002507065960000083
”表示注意区域的长度，该注意区域由所提出的算法自动学习。采用深度强化学习来发现最佳注意区域。
最佳关注区域的检测包括两个关键组件：环境(包括状态转换和奖励模型)和强化选择注意机制。在环境与主体之间的交互中交换了三个要素(状态s，行为a和奖励r)。这三个要素都是根据本研究的背景进行定制的。接下来，阐述深度强化学习结构的关键组件的设计：
状态S＝{st,t＝0,1,...,T},st∈R2描述关注区域的位置，其中t表示时间。由于关注区域是
Figure BDA00025070659600000910
上的移动片段，因此我们设计了两个参数来定义状态：
Figure BDA0002507065960000091
其中
Figure BDA0002507065960000092
和
Figure BDA0002507065960000093
分别表示注意区域的开始索引和结束索引。在训练中，将s0初始化为
Figure BDA0002507065960000094
行为A＝{at,t＝0,1,...,T}∈R4描述了强化选择注意机制可以选择对环境采取的行为。在时间标记t处，状态转换根据强化选择注意机制的策略π选择一个要实施的操作：
st+1＝π(st,at)
为注意区域定义了四类动作：向左(想象左手)，向右(想象右手)，向上(想象舌头)和向下(想象双脚)。对于每个动作，注意区域都会移动一个随机距离d∈[1,du]，其中du是上限。对于向左移和向右移动作，注意区域会随着步骤d向左或向右移动。对于向上和向下操作，
Figure BDA0002507065960000095
和
Figure BDA0002507065960000096
都是移动d。最后，如果状态开始索引或结束索引超出边界，则执行裁剪操作。例如，如果
Figure BDA0002507065960000097
(低于下边界0)，我们将起始索引裁剪为
Figure BDA0002507065960000098
奖励R＝{rt,t＝0,1,...,T}∈R是由奖励模型计算的。奖励模型Φ：
rt＝Φ(st)
接收当前状态并返回评估作为奖励。
奖励模型的目的是评估当前状态如何影响分类性能。凭直觉，导致更好的分类性能的状态应具有更高的回报：rt＝F(st)。我们将奖励模型F设置为卷积映射和分类的组合。由于在实际方法优化中，准确度越高，增加分类准确度就越困难。为了鼓励更高级别的准确性，我们设计了非线性奖励函数：
Figure BDA0002507065960000099
其中acc表示分类准确性。该功能包括两部分；第一部分是具有指数acc∈[0,1]的归一化指数函数，这部分鼓励强化学习算法搜索更好的st，从而获得更高的acc。指数函数的动机是：奖励的增长率随着准确性的提高而增加。第二部分是注意区长度以保持更短的惩罚因子，β是惩罚系数。
总而言之，深度强化学习的目的是学习导致最大奖励的最佳注意区域
Figure BDA0002507065960000101
选择机制总共迭代M＝ne*ns次，其中ne和ns分别表示情节和步数。在状态转换中采用ε-贪心方法，该方法选择概率为1-ε的随机动作或根据概率为ε的最优Q函数
Figure BDA0002507065960000102
选择一个动作行为。
Figure BDA0002507065960000103
其中ε'∈[0,1]是为每次迭代随机生成的，而
Figure BDA0002507065960000104
是在A中随机选择的。
为了更好地收敛和更快地进行训练，ε随着迭代而逐渐增加。增量ε0如下：
εt+1＝εt+ε0M
竞争DQN(深层Q网络)被用作优化策略π(st,at)，可以有效地学习状态值函数。我们采用对决DQN来发现最佳关注区域的主要原因是，它在每一步都会更新所有四个Q值，而其他策略在每一步只会更新一个Q值。Q函数会在采取该行并遵循最佳策略时衡量预期的未来奖励总和。特别是对于特定的步骤t，我们有：
Figure BDA0002507065960000105
其中γ∈[0,1]是权衡立即和未来奖励的重要性的衰减参数，而n表示后续步骤的数量。当处于状态s时，值函数V(st)估计预期奖励。Q函数与该对(st,at)相关，而value函数仅与st相关。
竞争DQN通过值函数V(st)和优势函数A(st,at)学习Q函数，并通过以下公式进行组合
Q(st,at)＝θV(st)+θ'A(st,at)
其中θ,θ'∈Θ是对决DQN网络中的参数，并且会自动进行优化。上述公式是不可识别的，事实上，不能用给定的Q(st,at)唯一地恢复V(st)和A(st,at)。为了解决这个问题，可以在选定的动作上强制优势函数等于零。也就是说，让网络实现前向映射：
Figure BDA0002507065960000106
因此，对于特定动作a*，如果
Figure BDA0002507065960000111
然后有
Q(st+1,a*)＝V(st)
因此，值函数V(st)被迫学习价值函数的估计，而另一方向产生优势函数的估计。
为了评估Q函数，我们在第i次迭代中优化了以下成本函数：
Figure BDA0002507065960000112
其中，
Figure BDA0002507065960000113
渐变更新方法是
Figure BDA0002507065960000114
对于每个注意区域，进一步挖掘选定特征
Figure BDA0002507065960000115
的潜在空间依赖性。由于只关注单个样本，因此EEG样本仅包含具有非常有限信息的数值向量，并且容易被噪声破坏。为了弥补这一缺陷，尝试通过CNN结构将EEG单个样本从原始空间
Figure BDA0002507065960000116
映射到稀疏空间Γ∈RM。
为了尽可能多地提取潜在的空间依赖性，使用了一个卷积层，该卷积层带有许多过滤器，以对学习注意区域
Figure BDA0002507065960000117
进行扫描。卷积映射结构包含五层：输入层接收学习的注意区域，卷积层后跟一个完全连接层，以及输出层。将单热点实况与输出层进行比较，以计算训练损失。
Relu非线性激活函数应用于卷积输出。将卷积层描述如下：
Figure BDA0002507065960000118
其中
Figure BDA0002507065960000119
表示卷积层的结果，而
Figure BDA00025070659600001110
和Wc分别表示滤波器的长度和滤波器的权重。池化层旨在减少卷积输出中的冗余信息，以降低计算成本。就我们而言，试图保留尽可能多的信息。因此，的方法不采用池化层。然后，在全连接层和输出层
Figure BDA0002507065960000121
Figure BDA0002507065960000122
其中Wf,Wo,bf,bo分别表示相应的权重和偏差。y'表示预测标签。代价函数通过交叉熵来度量，并且采用
Figure BDA0002507065960000124
范数(带有参数λ)作为正则化以防止过度拟合:
Figure BDA0002507065960000123
AdamOptimizer算法优化了成本函数。完全连接层提取特征，并将其输入到轻量级最近邻分类器中。卷积映射为N′次迭代更新。
复制并打乱输入的原始EEG单个样本，以提供特征维度的更多潜在空间组合。然后，选择一个注意区。所选择的关注区域被输入到状态转变和奖励模型。在每个步骤t中，状态转换都会选择一个行为，以根据强化选择性机制的反馈更新。奖励模型通过奖励分数评估关注区域的质量。竞争DQN用于发现最佳注意区域，该注意区域将被馈送到卷积映射过程中以提取空间依赖表示。所表示的特征将用于分类。奖励模型是卷积映射和分类器的组合。
该框架可直接处理原始EEG数据，而无需特征提取。此外，它可以针对不同的EEG数据自动选择可区分的特征维度，从而实现高可用性。方法不仅在很大程度上超越了几个最新的基线，而且在应对多个EEG信号通道和不完整的EEG信号方面显示出低延迟和高弹性方法适用于更广泛的应用场景，例如运动想象识别和情绪状态识别。
通过上述方案可知，通过结合深度强化学习和注意机制来设计强化选择性注意模型，以自动提取健壮且独特的深度特征；以鼓励模型选择能够达到最高分类精度的最佳注意区域；此外，根据认知活动识别环境定制状态和动作；还利用奖励模型进行选定的原始脑电数据进行分类，实现了比传统方法更高的识别准确性，并且延迟较低。
实施例二
参照图5，本发明实施例二提供了一种自适应认知活动识别装置1000，包括：采集单元1100，用于采集原始脑电数据；
处理单元1200，用于对所述原始脑电数据进行处理，得到脑电信号；
检测单元1300，用于将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；
筛选单元1400，用于将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；
识别单元1500，用于将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
在本实施例中，处理单元1200包括：
复制单元1210，用于对所述原始脑电数据进行复制处理；
洗牌单元1220，用于对经过所述复制单元1210处理后的原始脑电数据进行洗牌处理，得出组合脑电数据；
选取单元1230，用于对所述组合脑电数据进行选取，得到脑电信号。
在本实施例中，检测单元1300包括：
状态过渡单元1310，用于将脑电信号输入到状态过渡模型，得到脑电状态信息；
奖励单元1320，用于将脑电信号输入到奖励模型，得到奖励信息。
在本实施例中，筛选单元1400包括：
选择注意单元1410，即为强化选择注意模型，能够接收到所述脑电状态信息和所述奖励信息，得出脑电评估信息；然后将所述脑电评估信息反馈到所述状态过渡模型以驱使所述状态过渡模型进行脑电状态信息转换，直至所述强化选择注意模型得出最佳注意区域信息。
在本实施例中，识别单元1500即为上述的奖励单元1320，能够进行自适应认知活动识别。
需要说明的是，由于本实施例中的自适应认知活动识别装置与上述实施例一中的自适应认识活动识别方法基于相同的发明构思，因此，方法实施例一中的相应内容同样适用于本系统实施例，此处不再详述。
通过上述方案可知，通过结合深度强化学习和注意机制来设计强化选择性注意模型，以自动提取健壮且独特的深度特征；以鼓励模型选择能够达到最高分类精度的最佳注意区域；此外，根据认知活动识别环境定制状态和动作；还利用奖励模型进行选定的原始脑电数据进行分类，实现了比传统方法更高的识别准确性，并且延迟较低。
实施例三
本发明实施例三还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有自适应认知活动识别装置可执行指令，自适应认知活动识别装置可执行指令用于使自适应认知活动识别装置执行上述的自适应认知活动识别方法，例如，执行以上描述的图1中的方法步骤S100至S500，实现图5中的单元1000-1500的功能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种自适应认知活动识别方法，其特征在于，包括：
采集原始脑电数据；
对所述原始脑电数据进行处理，得到脑电信号；
将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；
将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；
将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
2.根据权利要求1所述的一种自适应认知活动识别方法，其特征在于，所述对所述原始脑电数据进行处理，得到脑电信号，包括：
对所述原始脑电数据进行复制和洗牌处理，得到组合脑电数据；
对所述组合脑电数据进行选取，得到脑电信号。
3.根据权利要求1所述的一种自适应认知活动识别方法，其特征在于，所述将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息，包括：
通过强化选择注意模型接收到所述脑电状态信息和所述奖励信息，得出脑电评估信息；
将所述脑电评估信息反馈到所述状态过渡模型以驱使所述状态过渡模型进行脑电状态信息转换，直至所述强化选择注意模型得出最佳注意区域信息。
4.根据权利要求1所述的一种自适应认知活动识别方法，其特征在于：所述奖励模型包括卷积映射网络和分类器。
5.根据权利要求4所述的一种自适应认知活动识别方法，其特征在于，所述将所述最佳注意区域信息输入到奖励模型，得出分类识别结果，包括：
所述最佳注意区域信息输入到卷积映射网络，得出空间依赖特征；所述空间依赖特征输入到分类器以得到分类识别结果。
6.根据权利要求4所述的一种自适应认知活动识别方法，其特征在于：所述卷积映射网络包括输入层、卷积层、完全连接层、提取特征层和输出层，所述输入层、所述卷积层、所述完全连接层、所述提取特征层和所述输出层依次连接。
7.一种自适应认知活动识别装置，其特征在于，包括：
采集单元，用于采集原始脑电数据；
处理单元，用于对所述原始脑电数据进行处理，得到脑电信号；
检测单元，用于将所述脑电信号分别输入到状态过渡模型和奖励模型，分别得到脑电状态信息和奖励信息；
筛选单元，用于将所述脑电状态信息和所述奖励信息输入到强化选择注意模型，得出最佳注意区域信息；
识别单元，用于将所述最佳注意区域信息输入到奖励模型，得出分类识别结果。
8.根据权利要求7所述的一种自适应认知活动识别装置，其特征在于，所述处理单元包括：
复制单元，用于对所述原始脑电数据进行复制处理；
洗牌单元，用于对经过所述复制单元处理后的原始脑电数据进行洗牌处理，得出组合脑电数据；
选取单元，用于对所述组合脑电数据进行选取，得到脑电信号。
9.根据权利要求7所述的一种自适应认知活动识别装置，其特征在于，所述检测单元包括：
状态过渡单元，用于将脑电信号输入到状态过渡模型，得到脑电状态信息；
奖励单元，用于将脑电信号输入到奖励模型，得到奖励信息。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有自适应认知活动识别装置可执行指令，自适应认知活动识别装置可执行指令用于使自适应认知活动识别装置执行如权利要求1至6任一所述的自适应认知活动识别方法。
CN202010449674.5A 2020-05-25 2020-05-25 一种自适应认知活动识别方法、装置及存储介质 Active CN111543988B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010449674.5A CN111543988B (zh) 2020-05-25 2020-05-25 一种自适应认知活动识别方法、装置及存储介质
PCT/CN2020/104558 WO2021237917A1 (zh) 2020-05-25 2020-07-24 一种自适应认知活动识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010449674.5A CN111543988B (zh) 2020-05-25 2020-05-25 一种自适应认知活动识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111543988A true CN111543988A (zh) 2020-08-18
CN111543988B CN111543988B (zh) 2021-06-08

Family

ID=72005138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010449674.5A Active CN111543988B (zh) 2020-05-25 2020-05-25 一种自适应认知活动识别方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN111543988B (zh)
WO (1) WO2021237917A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732846A (zh) * 2021-01-27 2021-04-30 深圳市科荣软件股份有限公司 水务运营分析系统、方法、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238835B (zh) * 2022-09-23 2023-04-07 华南理工大学 基于双空间自适应融合的脑电情感识别方法、介质及设备
CN116392149A (zh) * 2023-03-03 2023-07-07 南京左右脑医疗科技集团有限公司 大脑认知状态识别方法、装置和存储介质

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499676A (zh) * 2011-11-03 2012-06-20 北京工业大学 基于有效时间序列和电极重组的脑电信号分类系统和方法
CN102542283A (zh) * 2010-12-31 2012-07-04 北京工业大学 脑机接口的最优电极组自动选取方法
CN102722728A (zh) * 2012-06-11 2012-10-10 杭州电子科技大学 基于通道加权支持向量的运动想象脑电分类方法
AU2013100576A4 (en) * 2013-04-23 2013-06-06 Huang, Xu PROF Human Identification with Electroencephalogram (EEG) for the Future Network Security
CN104127179A (zh) * 2014-04-13 2014-11-05 北京工业大学 一种优势电极组合与经验模式分解的脑电特征提取方法
CN105094324A (zh) * 2015-07-14 2015-11-25 南京航空航天大学 基于左右手运动想象脑电信号的大脑状态识别方法
CN105654063A (zh) * 2016-01-08 2016-06-08 东南大学 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN107016345A (zh) * 2017-03-08 2017-08-04 浙江大学 一种应用于产品概念设计的需求模型构建方法
CN107184207A (zh) * 2017-05-12 2017-09-22 河海大学常州校区 基于稀疏共同空间模式的癫痫eeg自动检测的通道优化方法
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN108509869A (zh) * 2018-03-14 2018-09-07 中南大学 基于OpenBCI的特征集优化在线训练方法
CN108681394A (zh) * 2018-04-19 2018-10-19 北京工业大学 一种基于脑源成像技术的电极优选方法
CN109009098A (zh) * 2018-07-18 2018-12-18 大连交通大学 一种运动想象状态下的脑电信号特征识别方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
KR20190062285A (ko) * 2017-11-27 2019-06-05 고려대학교 산학협력단 지역별 결합 뇌전도 신호의 csp 특징을 이용한 운동 심상 분류 장치 및 방법
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110251124A (zh) * 2019-07-19 2019-09-20 太原理工大学 一种有效性脑网络的确定方法及系统
CN110353673A (zh) * 2019-07-16 2019-10-22 西安邮电大学 一种基于标准互信息的脑电通道选择方法
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法
CN110876626A (zh) * 2019-11-22 2020-03-13 兰州大学 基于多导联脑电最优导联选择的抑郁检测系统
WO2020074972A1 (en) * 2018-10-09 2020-04-16 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
CN111091074A (zh) * 2019-12-02 2020-05-01 杭州电子科技大学 最优区域共空间模式的运动想象脑电信号分类方法
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20153636A1 (it) * 2015-09-15 2017-03-15 Brainsigns S R L Metodo per stimare uno stato mentale, in particolare un carico di lavoro, e relativo apparato
EP3826535A4 (en) * 2018-07-24 2022-04-20 40 Years, Inc. TECHNIQUES, SYSTEMS AND PROCEDURES FOR TRAINING MULTI-FREQUENCY NEUROFEEDBACK BRAIN WAVES
CN111184511A (zh) * 2020-02-04 2020-05-22 西安交通大学 一种基于注意力机制和卷积神经网络的脑电信号分类方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542283A (zh) * 2010-12-31 2012-07-04 北京工业大学 脑机接口的最优电极组自动选取方法
CN102499676A (zh) * 2011-11-03 2012-06-20 北京工业大学 基于有效时间序列和电极重组的脑电信号分类系统和方法
CN102722728A (zh) * 2012-06-11 2012-10-10 杭州电子科技大学 基于通道加权支持向量的运动想象脑电分类方法
AU2013100576A4 (en) * 2013-04-23 2013-06-06 Huang, Xu PROF Human Identification with Electroencephalogram (EEG) for the Future Network Security
CN104127179A (zh) * 2014-04-13 2014-11-05 北京工业大学 一种优势电极组合与经验模式分解的脑电特征提取方法
CN105094324A (zh) * 2015-07-14 2015-11-25 南京航空航天大学 基于左右手运动想象脑电信号的大脑状态识别方法
CN105654063A (zh) * 2016-01-08 2016-06-08 东南大学 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN107016345A (zh) * 2017-03-08 2017-08-04 浙江大学 一种应用于产品概念设计的需求模型构建方法
CN107184207A (zh) * 2017-05-12 2017-09-22 河海大学常州校区 基于稀疏共同空间模式的癫痫eeg自动检测的通道优化方法
KR20190062285A (ko) * 2017-11-27 2019-06-05 고려대학교 산학협력단 지역별 결합 뇌전도 신호의 csp 특징을 이용한 운동 심상 분류 장치 및 방법
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN108509869A (zh) * 2018-03-14 2018-09-07 中南大学 基于OpenBCI的特征集优化在线训练方法
CN108681394A (zh) * 2018-04-19 2018-10-19 北京工业大学 一种基于脑源成像技术的电极优选方法
CN109009098A (zh) * 2018-07-18 2018-12-18 大连交通大学 一种运动想象状态下的脑电信号特征识别方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
WO2020074972A1 (en) * 2018-10-09 2020-04-16 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
CN110244854A (zh) * 2019-07-16 2019-09-17 湖南大学 一种多类别脑电数据识别的人工智能方法
CN110353673A (zh) * 2019-07-16 2019-10-22 西安邮电大学 一种基于标准互信息的脑电通道选择方法
CN110251124A (zh) * 2019-07-19 2019-09-20 太原理工大学 一种有效性脑网络的确定方法及系统
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法
CN110876626A (zh) * 2019-11-22 2020-03-13 兰州大学 基于多导联脑电最优导联选择的抑郁检测系统
CN111091074A (zh) * 2019-12-02 2020-05-01 杭州电子科技大学 最优区域共空间模式的运动想象脑电信号分类方法
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FREDERIKVAN DE STEEN ET AL.: "Dynamic causal modelling of fluctuating connectivity in resting-state EEG", 《NEUROIMAGE》 *
SAMBROOK, THOMAS D. B ET AL.: "Model-free and model-based reward prediction errors in EEG", 《NEUROIMAGE》 *
王洪涛等: "基于左右手运动想象的在线算法设计与应用", 《数据采集与处理》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732846A (zh) * 2021-01-27 2021-04-30 深圳市科荣软件股份有限公司 水务运营分析系统、方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111543988B (zh) 2021-06-08
WO2021237917A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
Abid et al. Concrete autoencoders for differentiable feature selection and reconstruction
Lemhadri et al. Lassonet: Neural networks with feature sparsity
Zhang et al. A return-cost-based binary firefly algorithm for feature selection
CN111543988B (zh) 一种自适应认知活动识别方法、装置及存储介质
Purwar et al. Hybrid prediction model with missing value imputation for medical data
Prabhu et al. Few-shot learning for dermatological disease diagnosis
Khessiba et al. Innovative deep learning models for EEG-based vigilance detection
Yin et al. Physiological-signal-based mental workload estimation via transfer dynamical autoencoders in a deep learning framework
CN110751032B (zh) 一种无需校准的脑机接口模型的训练方法
KR20210006486A (ko) 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
Ghosh et al. Dividing and conquering a blackbox to a mixture of interpretable models: route, interpret, repeat
Kenger et al. Fuzzy min–max neural networks: a bibliometric and social network analysis
González et al. Re-training deep neural networks to facilitate Boolean concept extraction
Wu et al. AutoEER: automatic EEG-based emotion recognition with neural architecture search
Pandian et al. Effect of data preprocessing in the detection of epilepsy using machine learning techniques
Fabietti et al. Artefact Detection in Chronically Recorded Local Field Potentials: An Explainable Machine Learning-based Approach
CN115565669A (zh) 一种基于gan和多任务学习的癌症生存分析方法
Sachnev An efficient classification scheme for ADHD problem based on Binary Coded Genetic Algorithm and McFIS
Goundar Improved deep learning model based on integrated convolutional neural networks and transfer learning for shoeprint image classification
Christodoulou et al. Improving the performance of classification models with fuzzy cognitive maps
CN114220164A (zh) 一种基于变分模态分解和支持向量机的手势识别方法
Dai et al. Two novel hybrid Self-Organizing Map based emotional learning algorithms
Mendoza et al. Anomaly Detection with generative models
CN111882045A (zh) 基于可微神经结构搜索的大脑时-空网络分解方法及系统
Rajani Kumari et al. ECG beat classification using proposed pattern adaptive wavelet-based hybrid classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant