CN114366103A - 注意力评估方法、装置及电子设备 - Google Patents

注意力评估方法、装置及电子设备 Download PDF

Info

Publication number
CN114366103A
CN114366103A CN202210018449.5A CN202210018449A CN114366103A CN 114366103 A CN114366103 A CN 114366103A CN 202210018449 A CN202210018449 A CN 202210018449A CN 114366103 A CN114366103 A CN 114366103A
Authority
CN
China
Prior art keywords
data
target
channel
attention
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210018449.5A
Other languages
English (en)
Other versions
CN114366103B (zh
Inventor
李小俚
陈贺
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202210018449.5A priority Critical patent/CN114366103B/zh
Publication of CN114366103A publication Critical patent/CN114366103A/zh
Application granted granted Critical
Publication of CN114366103B publication Critical patent/CN114366103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Neurosurgery (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请实施例提供了一种注意力评估方法、装置及电子设备，包括：采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。

Description

注意力评估方法、装置及电子设备
技术领域
本公开实施例涉及神经网络技术领域，更具体地，涉及一种注意力评估方法、装置及电子设备。
背景技术
注意缺陷与多动障碍(Attention deficit and hyperactivity disorder，ADHD)是儿童时期最常见的精神疾病，世界范围内约有5％的儿童受到ADHD的影响，表现主要为控制力差、多动、冲动等症状，这些病症会随儿童成长而一直存在。有大约一半的ADHD儿童的上述问题持续至青少年甚至成人期，并伴随譬如违法犯罪、社会功能不良、学习成绩下等问题的发生。实践证明，及早地发现与及时的干预，能有效地矫正儿童的多动症、弱智或自闭症等疾病，目前，这些疾病的诊断可以通过对脑电波的检测和分析来完成。已有儿童ADHD筛查评估方式效率低下、准确性也是较差的。
面对ADHD儿童早期诊断的迫切需求，开展基于深度学习和多模态数据的注意评估模型构建研究，发展特征提取和多模态融合方法，并解决深度模型构建关键问题，从而实现ADHD儿童的精准注意评估，为建立高性能、高稳健性的注意评估系统奠定基础。
发明内容
本公开的一个目的是提供一种用于测量注意力的集中程度的新的技术方案。
根据本公开的第一方面，提供了注意力评估方法的一个实施例，包括：
采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；
将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
可选地，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据和任务态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
可选地，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；
将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
可选地，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
可选地，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；
对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述转化后脑电数据。
可选地，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
从所述任务态脑电数据中提取事件相关特征；
对所述各个通道中每个通道的事件相关特征基于事件对应的当前时刻和预设时间范围进行截取，得到所述各个通道中每个通道对应的至少一个特征段；
在确定所述每个通道对应的特征段的数量大于一个的情况下，分别对所述各个通道中每个通道对应的至少两个特征段进行叠加，得到所述各个通道的事件相关波形；
对所述各个通道的事件相关波形进行时频变换，得到所述各个通道的时间相关分布，其中，所述时间相关分布用于反应所述各个通道上时间与频率的对应分布；
对所述各个通道进行重新排列，得到所述各个通道的时间空间频率相关分布，将所述各个通道的时间空间频率相关分布作为所述转化后脑电数据，其中，所述空间频率相关分布用于反应脑电数据对应的通道、时间与频率的分布。
可选地，所述目标注意力评估模型通过以下步骤训练得到：
获取训练样本数据，其中，所述训练样本数据包括与所述多个子模型分别对应的子训练样本数据；
根据所述训练样本数据，对初始注意力评估模型进行训练，获得满足预设收敛条件的所述目标注意力评估模型。
可选地，所述目标注意力评估模型包括第一子模型和第二子模型，所述第一子模型对应的输入数据为二维数据，所述第二子模型的输入数据为三维数据；
所述获取训练样本数据，包括：
获取与初始的所述第一子模型对应的第一训练样本数据，以及，获取与初始的所述第二子模型对应的第二训练样本数据。
可选地，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
将所述静息态脑电数据输入所述第一子模型，得到第一评估结果；
将所述任务态脑电数据输入所述第二子模型，得到第二评估结果；
将所述事件相关特征和额外特征输入分类模型，得到第三评估结果，其中，所述额外特征是所述拟合曲线的斜率和截距；
将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第四评估结果；
根据所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果分别对应的权重根据对应模型的准确率确定。
可选地，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
利用所述注意评估模型从所述脑电数据中提取深度特征，其中，所述深度特征为用于表征所述脑电数据的各个通道的频率和强度；
将所述深度特征、所述事件相关特征、所述第一行为特征数据、所述第二行为特征数据输入所述分类模型，得到所述目标评估结果。
根据本公开的第二方面，提供了注意力评估装置的一个实施例，包括：
采集模块，用于采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；
输入模块，用于将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
根据本公开的第三方面，提供了电子设备的一个实施例，包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行所述电子设备执行如本说明书的第一方面所述的方法。
本公开实施例的一个有益效果在于，根据本公开的实施例，通过采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。利用目标注意评估模型可以提高对上述待评估用户的注意力进行快速且精准的评估，实现了用户注意力情况的精准注意评估，为建立高性能、高稳健性的注意评估系统奠定基础。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是本公开实施例提供的一种注意力评估方法的流程示意图。
图2是根据电极连接线确定的脑电的电极位置示意图。
图3是脑电的电极位置中62通道电极位置的示意图。
图4是本公开实施例提供的另一种注意力评估方法的流程示意图。
图5是本公开实施例提供的一种注意力评估装置的框图。
图6是本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
儿童的健康成长与发育一直受到家长和社会的高度重视。但是儿童在成长和发育阶段显现出的有些问题比如自闭症、多动症、弱智等则不像其他疾病那么明显而被及时发现。ADHD是以注意力缺乏、多动或者冲动为典型表现的儿童神经发育性疾病。
通常，ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。前者的技术操作过程十分复杂，对于很难控制自己行为的儿童而言更为困难，而且这些技术的价格非常昂贵，目前很难有大规模落地的可能。后者的信息维度单一，很难全面的对儿童的行为作出评估，而ADHD儿童的表现形式是多种多样的，单独观察眼动或肢体动作都可能遗漏其他重要的行为特征。
为了克服已有儿童ADHD筛查评估方式的效率低下、准确性较差的不足，本公开的实施例提供了一种注意力评估方法。请参看图1，其是本公开实施例提供的注意力评估方法的流程示意图，该方法可以在电子设备中实施。
如图1所示，本实施例的方法可以包括如下步骤S1100-S1200，以下予以详细说明。
步骤S1100，采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据。
在一些实施例中，注意力评估方法的执行主体例如，可以是服务器，该执行主体可以通过有线连接方式或者无线连接方式采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，上述待评估用户可以是随机选取的用户，上述用户可以是成年人，也可以是儿童。
在一些实施例的一些可选的实现方式中，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据和任务态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。认知行为通常采用持续作业任务和视觉搜索任务测量儿童持续性注意和选择性注意能力，行为指标为任务的反应时、正确率、遗漏率等。上述脑电数据通常是分别考察用户在安静状态下和执行认知任务过程中的脑电信息。
作为示例，可以招募ADHD儿童以及年龄性别匹配的正常儿童各60名，要求所有儿童视力或校正视力正常，无色盲、色弱等；中国韦氏儿童智力量表智商评分高于80分；无服用神经兴奋性药物或其他治疗注意缺陷问题的药物史；当前并未参与其他认知行为干预或者电磁刺激干预，训练过程中也避免参与；排除器质性疾病、精神分裂、情绪障碍或者癫痫等情况；自我报告无严重的导致昏迷的脑外伤史。
脑电中电极位置可以根据如图2中的电极连接线来确定，得到如图3所述的通道电极位置。脑电采集采用EGI系统，通道数量为62，采样率1000Hz。在儿童佩戴好脑电设备之后，按照“闭眼-睁眼-闭眼-睁眼”的顺序采集静息态脑电四次，各2分钟，然后执行认知任务。采用持续作业任务(Continuous Performance Task，CPT)持续性注意注意能力。CPT任务测量儿童在长时间单一任务下的注意持续情况，在屏幕上随机出现0-9的数字，要求儿童在出现“7”时(目标刺激)不按键反应，其他数字(分心刺激)时立刻按键。特征方面，对目标刺激的无反应视为遗漏错误，而对分心刺激的反应被记录为冲动错误，同时记录不同条件下的反应时，并计算实验前期和实验后期的反应时的平均值和方差。实验中，共呈现了360个分散刺激和80个目标刺激，用时15min。
第二行为特征数据方面，由家长填写ADHD症状评定量表(ADHD rating scale,ADHD-RS)，该表包括18个条目，其中9个用于评定儿童注意缺陷症状，9个用来评定儿童多动或冲动情况，每个条目采用1-4分评分描述症状出现频次。9个注意缺陷评分相加为注意缺陷分，9个多动冲动评分相加为多动冲动评分，两者相加为总分。量表的评分越高，相应ADHD症状就越严
步骤S1200，将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
在一些实施例中，该执行主体可以将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。所述目标注意力评估模型可以是预先训练的也可以是支持向量机等网络模型，例如，所述目标评估结果可以是“高”、“中”和“低”。
在一些实施例的一些可选的实现方式中，所述目标注意力评估模型通过以下步骤训练得到：获取训练样本数据，其中，所述训练样本数据包括与所述多个子模型分别对应的子训练样本数据；根据所述训练样本数据，对初始注意力评估模型进行训练，获得满足预设收敛条件的所述目标注意力评估模型。上述执行主体可以通过有线或无线的方式获取训练样本数据。
作为示例，目标注意力评估模型可以是利用获取到的训练样本数据对卷积神经网络进行训练得到的，上述子训练样本数据可以是二维训练样本数据和三维训练样本数据，上述子模型可以是二维卷积神经网络(2D-CNN)和三维卷积神经网络(3D-CNN)。上述二维卷积神经网络常用在计算机视觉、图像处理领域(在视频的处理中，是对每一帧图像分别利用CNN来进行识别，没有考虑时间维度的信息)。上述三维卷积神经网络在神经网络的输入中增加时间这个维度(连续帧)，神经网络就可以同时提取时间和空间特征，进行行为识别、视频处理。
在一些实施例的一些可选的实现方式中，所述目标注意力评估模型包括第一子模型和第二子模型，所述第一子模型对应的输入数据为二维数据，所述第二子模型的输入数据为三维数据；所述获取训练样本数据，包括：获取与初始的所述第一子模型对应的第一训练样本数据，以及，获取与初始的所述第二子模型对应的第二训练样本数据。作为示例，按照预设比例对所述目标通道序列的空间频率分布和所述各个通道的空间信息进行划分，得到二维训练数据、二维测试数据和二维验证数据，将所述二维训练数据和所述二维测试数据作为所述二维训练数据；上述预设比例可以是预先设定的，例如，可以是8:1:1的比例。按照预设比例对所述各个通道的时间空间频率相关分布进行划分，得到三维训练数据、三维测试数据和三维验证数据，将所述三维训练数据和所述三维测试数据作为所述三维训练数据。
在一些实施例的一些可选的实现方式中，将所述静息态脑电数据输入所述第一子模型，得到第一评估结果；将所述任务态脑电数据输入所述第二子模型，得到第二评估结果；将所述事件相关特征和额外特征输入分类模型，得到第三评估结果，其中，所述额外特征是所述拟合曲线的斜率和截距；将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第四评估结果；根据所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果分别对应的权重根据对应模型的准确率确定。
作为示例，上述分类模型可以是支持向量机(Support Vector Machine,SVM)，多层感知机(Multilayer Perceptron，MLP)。将上述四个评估结果对应的模型的准确率进行作比，得到四个评估结果对应的模型的权重，也是上述四个评估结果在上述目标评估结果中的占比。例如，占比是3:2:1:4，那么，上述目标评估结果可以是第一评估结果乘以30％，第二评估结果乘以20％，第三评估结果乘以10％和第四评估结果乘以40％，将4个乘积相加等于上述目标评估结果。
在一些实施例的一些可选的实现方式中，利用所述注意评估模型从所述脑电数据中提取深度特征，其中，所述深度特征为用于表征所述脑电数据的各个通道的频率和强度；
将所述深度特征、所述事件相关特征、所述第一行为特征数据、所述第二行为特征数据输入所述分类模型，得到所述目标评估结果。
本公开的一些实施例公开了一种注意力评估方法，通过采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。利用目标注意评估模型可以提高对上述待评估用户的注意力进行快速且精准的评估，实现了用户注意力情况的精准注意评估，为建立高性能、高稳健性的注意评估系统奠定基础。
本公开的实施例提供了另一种注意力评估方法。请继续参看图4，其是本公开实施例提供的注意力评估方法的流程示意图，该方法可以在电子设备中实施。
如图4所示，本实施例的方法可以包括如下步骤S4100-S4300，以下予以详细说明。
步骤S4100，采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据。
在一些实施例中，步骤S4100的具体实现及所带来的技术效果可以参考图1对应的那些实施例中的步骤S1100，在此不再赘述。
步骤S4200，对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理。
在一些实施例中，该执行主体可以对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理。
在一些实施例的一些可选的实现方式中，对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；在这里，上述各个通道的子脑电数据可以是连续或者离散的时序信号，频率分析主要时利用统计和图表来反映数据的分布特征，比如有频数分布表、条形图和直方图，以及集中趋势和离散趋势的各种统计量(比如平均值、中位数、偏度和峰度等)，上述空间频率分布可以是二维的“通道×频率”形式。
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；作为示例，根据10-20系统脑区划分的连接线，设置电极点连接的经纬线，首先按照纬线进行左右横向往返选取，如图3中，选择顺序为1、2、3、5、4、6、7…13、14、23、22、21…16、15、24、25、26…31、32、41、40…52、51、58、59、60；然后再次按照经线纵向上下往返选取，同样如图3所示，依次选取2、1、6、15…58、59、52、43…4、2、8、17…53、59、45…9、2、10、19…54、59、47…11、2、5、12…55、59、56、49…13、5、2、3、14…57、60、59。需要注意的是，由于通道2和通道59在在多处经线的汇集点，为保证通道的局部相连特性，所以在通道序列中出现多次。将两次选取的通道逐次排列，即组成了本研究中使用的目标通道顺序。
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
在一些实施例的一些可选的实现方式中，对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；上述频谱分析可以是快速傅里叶变换(Fast Fourier Transform，FFT)，FFT算法可分为按时间抽取算法和按频率抽取算法，这里的频谱分析可以是按频率抽取算法。功率谱可以是反应一个脑电数据频率的曲线。
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；作为示例，对某一通道脑电数据进行FFT，得到功率谱；将功率谱绘制在二维坐标系上，x轴为频率，y轴为功率谱幅度；对x和y轴同时进行log变换；在变换后的坐标轴上进行直线拟合，得到1/f曲线；这里将1/f曲线作为所述拟合曲线。
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；将功率谱减去1/f曲线幅度，并进行指数变换，得到各个通道对应的空间频率分布。
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述转化后脑电数据。
在一些实施例的一些可选的实现方式中，从所述任务态脑电数据中提取事件相关特征；作为示例，可以利用事件相关电位分析方法从所述任务态脑电数据中提取事件相关特征；上述事件相关电位分析方法(Event-Related Potential，ERP)也称内源性事件相关电位，是人对外界或环境刺激的心理反应，潜伏期100ms以上，ERP主要研究认知过程中大脑神经电生理改变，即探讨大脑思维轨迹。ERP包括P1、N1、和P2(外源性成分)及N2和P3(内源性成分)。上述事件相关特征可以包括以下最少一项：N1、N2、P3。
对所述各个通道中每个通道的事件相关特征基于事件对应的当前时刻和预设时间范围进行截取，得到所述各个通道中每个通道对应的至少一个特征段；上述预设时间范围可以是预先设定的，例如，对每个通道的事件相关特征按照事件截取-1s到+1s的数据段。
在确定所述每个通道对应的特征段的数量大于一个的情况下，分别对所述各个通道中每个通道对应的至少两个特征段进行叠加，得到所述各个通道的事件相关波形；
对所述各个通道的事件相关波形进行时频变换，得到所述各个通道的时间相关分布，其中，所述时间相关分布用于反应所述各个通道上时间与频率的对应分布；这里的时频变换可以是对每个通道的ERP波形使用短时傅里叶变换进行时频变换，时频变换方法(ALT，Alternating Frequency/Time Domain Method)的特点是采用快速傅里叶变换及其逆变换反复在时频域上变换，直到获得收敛的计算结果。
对所述各个通道进行重新排列，得到所述各个通道的时间空间频率相关分布，将所述各个通道的时间空间频率相关分布作为所述转化后脑电数据，其中，所述空间频率相关分布用于反应脑电数据对应的通道、时间与频率的分布。这里的，时间空间频率相关分布的数据形式可以是“通道×频率×时间”的三维数据。
步骤S4300，将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
在一些实施例中，该执行主体可以将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
本公开的一些实施例公开了一种注意力评估方法，通过采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据，对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。利用目标注意评估模型可以提高对上述待评估用户的注意力进行快速且精准的评估，实现了用户注意力情况的精准注意评估，为建立高性能、高稳健性的注意评估系统奠定基础。
本公开的实施例提供了一种注意力评估装置。请继续参看图5，其是本公开实施例提供的注意力评估装置的框图，该装置可以在电子设备中实施。
如图5所示，本实施例的装置5000可以包括如下模块5100-5200，以下予以详细说明。
采集模块5100，用于采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；
输入模块5200，用于将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
根据本公开实施例提供的技术方案，通过采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。利用目标注意评估模型可以提高对上述待评估用户的注意力进行快速且精准的评估，实现了用户注意力情况的精准注意评估，为建立高性能、高稳健性的注意评估系统奠定基础。
在一些实施例的一些可选的实现方式中，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据和任务态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
在一些实施例的一些可选的实现方式中，所述注意力评估装置中的输入模块5200被进一步配置成：对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
在一些实施例的一些可选的实现方式中，所述脑电数据为多通道数据，输入模块5200被进一步配置成：对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
在一些实施例的一些可选的实现方式中，所述脑电数据为多通道数据，输入模块5200被进一步配置成：对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述转化后脑电数据。
在一些实施例的一些可选的实现方式中，输入模块5200被进一步配置成：从所述任务态脑电数据中提取事件相关特征；对所述各个通道中每个通道的事件相关特征基于事件对应的当前时刻和预设时间范围进行截取，得到所述各个通道中每个通道对应的至少一个特征段；在确定所述每个通道对应的特征段的数量大于一个的情况下，分别对所述各个通道中每个通道对应的至少两个特征段进行叠加，得到所述各个通道的事件相关波形；对所述各个通道的事件相关波形进行时频变换，得到所述各个通道的时间相关分布，其中，所述时间相关分布用于反应所述各个通道上时间与频率的对应分布；对所述各个通道进行重新排列，得到所述各个通道的时间空间频率相关分布，将所述各个通道的时间空间频率相关分布作为所述转化后脑电数据，其中，所述空间频率相关分布用于反应脑电数据对应的通道、时间与频率的分布。
在一些实施例的一些可选的实现方式中，所述目标注意力评估模型通过以下步骤训练得到：获取训练样本数据，其中，所述训练样本数据包括与所述多个子模型分别对应的子训练样本数据；根据所述训练样本数据，对初始注意力评估模型进行训练，获得满足预设收敛条件的所述目标注意力评估模型。
在一些实施例的一些可选的实现方式中，所述目标注意力评估模型包括第一子模型和第二子模型，所述第一子模型对应的输入数据为二维数据，所述第二子模型的输入数据为三维数据；所述获取训练样本数据，包括：获取与初始的所述第一子模型对应的第一训练样本数据，以及，获取与初始的所述第二子模型对应的第二训练样本数据。
在一些实施例的一些可选的实现方式中，输入模块5200被进一步配置成：将所述静息态脑电数据输入所述第一子模型，得到第一评估结果；将所述任务态脑电数据输入所述第二子模型，得到第二评估结果；将所述事件相关特征和额外特征输入分类模型，得到第三评估结果，其中，所述额外特征是所述拟合曲线的斜率和截距；将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第四评估结果；根据所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果分别对应的权重根据对应模型的准确率确定。
在一些实施例的一些可选的实现方式中，输入模块5200被进一步配置成：利用所述注意评估模型从所述脑电数据中提取深度特征，其中，所述深度特征为用于表征所述脑电数据的各个通道的频率和强度；将所述深度特征、所述事件相关特征、所述第一行为特征数据、所述第二行为特征数据输入所述分类模型，得到所述目标评估结果。
<设备实施例>
与上述方法实施例相对应，在本实施例中，还提供一种电子设备，请参看图6，其是本公开实施例提供的一种电子设备的结构示意图。
如图6所示，该电子设备600可以包括处理器620和存储器610，该存储器610用于存储可执行的指令；该处理器620用于根据指令的控制运行电子设备以执行根据本公开任意实施例的方法。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元，确定单元，第二获取单元，替换单元和完成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“响应于检测到针对应用的第一用户操作，获取上述应用的当前版本信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种注意力评估方法，其特征在于，包括：
采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；
将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述多模态数据包括以下至少一项：所述待评估用户的脑电数据、反映所述用户当前认知行为特征的第一行为特征数据和反映所述用户历史认知行为特征的第二行为特征数据，其中，所述脑电数据包括静息态脑电数据和任务态脑电数据，所述第二行为特征数据通过收集所述用户以外的其他用户针对所述用户的认知行为评价数据获得。
3.根据权利要求2所述的方法，其特征在于，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
对所述脑电数据进行预设转换处理，获得目标脑电数据，其中，所述预设转换处理包括对所述脑电数据在时间域和空间域上的对应数据进行转换的处理；
将所述目标脑电数据、所述第一行为特征数据和所述第二行为特征数据输入所述目标注意力评估模型中，获得所述目标评估结果。
4.根据权利要求3所述的方法，其特征在于，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频率分析，提取所述各个通道中的子脑电数据的空间频率分布，其中，所述空间频率分布用于反应对应子脑电数据的分布特征；
基于所述各个通道中的子脑电数据的空间频率分布之间的关联关系，对所述脑电数据对应的多通道进行排序，得到目标通道序列；
对于所述目标通道序列中各个通道对应的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述目标通道序列中每个通道对应的空间频率分布作为所述目标脑电数据，其中，所述空间信息用于表征所述各个通道中的子脑电数据的频率分布的位置信息。
5.根据权利要求3所述的方法，其特征在于，所述脑电数据为多通道数据，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
对所述多通道数据的各个通道中的子脑电数据进行频谱分析，得到与所述各个通道分别对应的功率谱；
对所述各个通道分别对应的功率谱进行拟合，得到所述各个通道中的每个通道的拟合曲线；
基于所述各个通道分别对应的功率谱与所述各个通道对应的拟合曲线，得到所述各个通道对应的空间频率分布；
基于所述各个通道对应的空间频率分布，对所述各个通道进行排序，得到目标通道序列；
对于所述目标通道序列中每个通道的空间频率分布，从所述各个通道的子脑电数据中提取所述各个通道的空间信息，将所述所述目标通道序列中每个通道的空间频率分布作为所述转化后脑电数据。
6.根据权利要求3所述的方法，其特征在于，所述对所述脑电数据进行预设转换处理，获得目标脑电数据，包括：
从所述任务态脑电数据中提取事件相关特征；
对所述各个通道中每个通道的事件相关特征基于事件对应的当前时刻和按照预设时间范围段进行截取，得到所述各个通道中每个通道对应的至少一个特征段；
在确定所述每个通道对应的特征段的数量大于一个的情况下，分别对所述各个通道中每个通道对应的至少两个特征段进行叠加，得到所述各个通道的事件相关波形；
对所述各个通道的事件相关波形进行时频变换，得到所述各个通道的时间相关分布，其中，所述时间相关分布用于反应所述各个通道上时间与频率的对应分布；
对所述各个通道进行重新排列，得到所述各个通道的时间空间频率相关分布，将所述各个通道的时间空间频率相关分布作为所述转化后脑电数据，其中，所述空间频率相关分布用于反应脑电数据对应的通道、时间与频率的分布。
7.根据权利要求1所述的方法，其特征在于，所述目标注意力评估模型通过以下步骤训练得到：
获取训练样本数据，其中，所述训练样本数据包括与所述多个子模型分别对应的子训练样本数据；
根据所述训练样本数据，对初始注意力评估模型进行训练，获得满足预设收敛条件的所述目标注意力评估模型。
8.根据权利要求6所述的方法，其特征在于，所述目标注意力评估模型包括第一子模型和第二子模型，所述第一子模型对应的输入数据为二维数据，所述第二子模型的输入数据为三维数据；
所述获取训练样本数据，包括：
获取与初始的所述第一子模型对应的第一训练样本数据，以及，获取与初始的所述第二子模型对应的第二训练样本数据。
9.根据权利要求8所述的方法，其特征在于，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
将所述静息态脑电数据输入所述第一子模型，得到第一评估结果；
将所述任务态脑电数据输入所述第二子模型，得到第二评估结果；
将所述事件相关特征和额外特征输入分类模型，得到第三评估结果，其中，所述额外特征是所述拟合曲线的斜率和截距；
将所述第一行为特征数据和所述第二行为特征数据输入所述分类模型，得到第四评估结果；
根据所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果进行加权计算，得到所述目标评估结果，其中，所述第一评估结果、所述第二评估结果、所述第三评估结果和所述第四评估结果分别对应的权重根据对应模型的准确率确定。
10.根据权利要求8所述的方法，其特征在于，所述将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，包括：
利用所述注意评估模型从所述脑电数据中提取深度特征，其中，所述深度特征为用于表征所述脑电数据的各个通道的频率和强度；
将所述深度特征、所述事件相关特征、所述第一行为特征数据、所述第二行为特征数据输入所述分类模型，得到所述目标评估结果。
11.一种注意力评估装置，其特征在于，包括：
采集模块，用于采集待评估用户的多模态数据，其中，所述多模态数据包括多个从不同角度反映所述用户的注意力特征的模态数据；
输入模块，用于将所述多模态数据输入目标注意力评估模型中，获得目标评估结果，其中，所述目标评估结果表示所述用户的注意力集中程度，所述目标注意力评估模型包括通过融合所述多模态数据得到的融合特征信息，预测所述目标评估结果的神经网络模型。
12.一种电子设备，其特征在于，包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行所述电子设备执行如权利要求1-10任意一项所述的方法。
CN202210018449.5A 2022-01-07 2022-01-07 注意力评估方法、装置及电子设备 Active CN114366103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210018449.5A CN114366103B (zh) 2022-01-07 2022-01-07 注意力评估方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210018449.5A CN114366103B (zh) 2022-01-07 2022-01-07 注意力评估方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114366103A true CN114366103A (zh) 2022-04-19
CN114366103B CN114366103B (zh) 2023-07-14

Family

ID=81144561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210018449.5A Active CN114366103B (zh) 2022-01-07 2022-01-07 注意力评估方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114366103B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN116881853A (zh) * 2023-09-08 2023-10-13 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100251A1 (en) * 2005-10-31 2007-05-03 Prichep Leslie S System and method for prediction of cognitive decline
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US20140316221A1 (en) * 2012-01-18 2014-10-23 Brainscope Company, Inc. Method and device for multimodal neurological evaluation
US20160242690A1 (en) * 2013-12-17 2016-08-25 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
CN106923825A (zh) * 2017-03-27 2017-07-07 广州视源电子科技股份有限公司 基于频域及相空间的脑电放松度识别方法及装置
CN108670276A (zh) * 2018-05-29 2018-10-19 南京邮电大学 基于脑电信号的学习注意力评价系统
CN110009210A (zh) * 2019-03-26 2019-07-12 北京师范大学珠海分校 一种基于关注度和专注度的学生听课水平综合评估方法
US20190378621A1 (en) * 2017-02-01 2019-12-12 Conflu3Nce Ltd Multi-Purpose Interactive Cognitive Platform
US20200154377A1 (en) * 2017-05-05 2020-05-14 Samsung Electronics Co., Ltd. Base station, terminal, random access preamble detection method and random access channel configuration method
CN111160239A (zh) * 2019-12-27 2020-05-15 中国联合网络通信集团有限公司 专注度评估方法和装置
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
CN111814718A (zh) * 2020-07-17 2020-10-23 浙江工业大学 一种融合多种判别技术的注意力检测方法
CN112515685A (zh) * 2020-11-10 2021-03-19 上海大学 基于时频共融的多通道脑电信号通道选择方法
US20210162047A1 (en) * 2018-05-22 2021-06-03 Oleg IIiich Epshtein A Drug For Treating Disorders Of An Organ Or Tissue Function And Diseases Accompanied By Such Disorders, And The Method For Obtaining It.
US20210219894A1 (en) * 2020-01-22 2021-07-22 Fujian university of traditional chinese medicine Intelligent Attention Rehabilitation System
US11122978B1 (en) * 2020-06-18 2021-09-21 Illumisonics Inc. PARS imaging methods
CN113712573A (zh) * 2021-03-01 2021-11-30 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备及存储介质
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统
KR20220001403A (ko) * 2020-06-29 2022-01-05 주식회사 뷰노 골 연령 판독 방법 및 장치

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070100251A1 (en) * 2005-10-31 2007-05-03 Prichep Leslie S System and method for prediction of cognitive decline
US20110106750A1 (en) * 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US20140316221A1 (en) * 2012-01-18 2014-10-23 Brainscope Company, Inc. Method and device for multimodal neurological evaluation
US20160242690A1 (en) * 2013-12-17 2016-08-25 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
US20190378621A1 (en) * 2017-02-01 2019-12-12 Conflu3Nce Ltd Multi-Purpose Interactive Cognitive Platform
CN106923825A (zh) * 2017-03-27 2017-07-07 广州视源电子科技股份有限公司 基于频域及相空间的脑电放松度识别方法及装置
US20200154377A1 (en) * 2017-05-05 2020-05-14 Samsung Electronics Co., Ltd. Base station, terminal, random access preamble detection method and random access channel configuration method
US20210162047A1 (en) * 2018-05-22 2021-06-03 Oleg IIiich Epshtein A Drug For Treating Disorders Of An Organ Or Tissue Function And Diseases Accompanied By Such Disorders, And The Method For Obtaining It.
CN108670276A (zh) * 2018-05-29 2018-10-19 南京邮电大学 基于脑电信号的学习注意力评价系统
CN110009210A (zh) * 2019-03-26 2019-07-12 北京师范大学珠海分校 一种基于关注度和专注度的学生听课水平综合评估方法
CN111160239A (zh) * 2019-12-27 2020-05-15 中国联合网络通信集团有限公司 专注度评估方法和装置
US20210219894A1 (en) * 2020-01-22 2021-07-22 Fujian university of traditional chinese medicine Intelligent Attention Rehabilitation System
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
US11122978B1 (en) * 2020-06-18 2021-09-21 Illumisonics Inc. PARS imaging methods
KR20220001403A (ko) * 2020-06-29 2022-01-05 주식회사 뷰노 골 연령 판독 방법 및 장치
CN111814718A (zh) * 2020-07-17 2020-10-23 浙江工业大学 一种融合多种判别技术的注意力检测方法
CN112515685A (zh) * 2020-11-10 2021-03-19 上海大学 基于时频共融的多通道脑电信号通道选择方法
CN113712573A (zh) * 2021-03-01 2021-11-30 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备及存储介质
CN113729710A (zh) * 2021-09-26 2021-12-03 华南师范大学 一种融合多生理模态的实时注意力评估方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN116881853A (zh) * 2023-09-08 2023-10-13 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质
CN116881853B (zh) * 2023-09-08 2024-01-05 小舟科技有限公司 基于多模态融合的注意力评估方法、系统、设备及介质

Also Published As

Publication number Publication date
CN114366103B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
Hu et al. Real-time sensing of trust in human-machine interactions
Mao et al. EEG-based biometric identification with deep learning
Santos-Mayo et al. A computer-aided diagnosis system with EEG based on the P3b wave during an auditory odd-ball task in schizophrenia
Rasheed et al. A generative model to synthesize EEG data for epileptic seizure prediction
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
Sun et al. Deep neural networks constrained by neural mass models improve electrophysiological source imaging of spatiotemporal brain dynamics
Zarjam et al. Characterization of memory load in an arithmetic task using non-linear analysis of EEG signals
CN114366103A (zh) 注意力评估方法、装置及电子设备
O’Reilly et al. Assessing EEG sleep spindle propagation. Part 2: experimental characterization
Yaacob et al. Application of artificial intelligence techniques for brain-computer interface in mental fatigue detection: a systematic review (2011-2022)
Zheng et al. Time-frequency analysis of scalp EEG with Hilbert-Huang transform and deep learning
Hosseini et al. Deep convolutional neural network for automated detection of mind wandering using EEG signals
Sahu et al. Scz-scan: An automated schizophrenia detection system from electroencephalogram signals
CN113397482B (zh) 一种人类行为分析方法及系统
Peng et al. Early screening of children with autism spectrum disorder based on electroencephalogram signal feature selection with L1-norm regularization
Patel et al. CNN-FEBAC: A framework for attention measurement of autistic individuals
Hasan et al. Validation and interpretation of a multimodal drowsiness detection system using explainable machine learning
Ji et al. Cross-task cognitive workload recognition using a dynamic residual network with attention mechanism based on neurophysiological signals
Wibowo et al. Classification of Brain Tumors on MRI Images Using Convolutional Neural Network Model EfficientNet
Li et al. Enhancing P300 based character recognition performance using a combination of ensemble classifiers and a fuzzy fusion method
Zhang et al. Cross-patient automatic epileptic seizure detection using patient-adversarial neural networks with spatio-temporal EEG augmentation
Shen et al. Epilepsy analytic system with cloud computing
Ren et al. Extracting and supplementing method for EEG signal in manufacturing workshop based on deep learning of time–frequency correlation
Karuppasamy et al. Prediction of autism spectrum disorder using convolution neural network
CN114343670B (zh) 解释信息生成方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant