CN110811548A - 一种记忆状态评估方法、系统、装置及存储介质 - Google Patents

一种记忆状态评估方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN110811548A
CN110811548A CN201910953785.7A CN201910953785A CN110811548A CN 110811548 A CN110811548 A CN 110811548A CN 201910953785 A CN201910953785 A CN 201910953785A CN 110811548 A CN110811548 A CN 110811548A
Authority
CN
China
Prior art keywords
memory state
state evaluation
word pair
word
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910953785.7A
Other languages
English (en)
Inventor
常春起
叶钰敏
邬慧君
李凯涛
朱磊
杨锦锋
尹志卿
陈淑萍
刘明琛
范梦迪
付瑞琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910953785.7A priority Critical patent/CN110811548A/zh
Publication of CN110811548A publication Critical patent/CN110811548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种记忆状态评估方法、系统、装置及存储介质。该方法包括下发记忆状态评估项目,采集事件相关脑电位,在预先训练好的卷积神经网络中对所述事件相关脑电位进行分析处理,根据分析处理所得到的结果,进行记忆状态评估结果显示及学习项目推送。该系统包括测试模块、采集模块、训练模块、处理模块和推送模块。通过使用上述记忆状态评估方法,能够更为精准、有效地反映出人的记忆状态,更好地指导人们的日常生活、工作,同时又能减少分析时所应用的数据,加快分析进程。本发明可广泛应用于深度学习技术领域内。

Description

一种记忆状态评估方法、系统、装置及存储介质
技术领域
本发明涉及深度学习技术领域,尤其是一种记忆状态评估方法、系统、装置及存储介质。
背景技术
记忆是人最基本的学习能力,任何高层次技术、知识的掌握与运用都建立在这个基础之上。而人们对自己的记忆能力、所记忆项目的准确性置信度判断往往并不准确,简单来说,即经常会出现认为自己记忆正确的事务,事实结果却相差很多,因此个人的记忆状态评估带有极大的主观性和不稳定性,难以真实地反映出自身的记忆状态,也就无法做到有针对性地作出应对和调整。
另一方面,现有的一些技术方案通过脑电记忆节律波来表征、评估人的记忆状态,但是这种方式提取的脑电信号十分冗余复杂,是人在进行思维活动时整体的脑电波,其评估的结果往往比较笼统,难以真实、准确地反映出人的真实记忆状态,且分析效率很低。因此无论是基于个体自身的主观性判断还是通过脑电记忆节律波来评估记忆状态,都无法给到具有良好参考价值的结果以及相关建议。现有技术中,还未有良好的技术方案能够有效解决上述领域所存在的弊端。
名词解释:
事件相关脑电位(ERP,Event-Related Potential):一种特殊的脑诱发电位,其反映了认知过程中大脑的神经电生理的变化,也被称为认知电位,就是指当人们对某课题进行认知加工时,从头颅表面记录到的脑电位。简单来说,即通过平均叠加技术从头颅表面记录大脑诱发电位来反映认知过程中大脑的神经电生理改变。
发明内容
本发明旨在至少在一定程度上解决现有技术中存在的技术问题之一。为此,本发明实施例提供一种记忆状态评估方法、系统、装置及存储介质,能够更为精准、有效地反映出人的记忆状态,同时又能减少分析时所应用的数据,加快分析进程。
本发明实施例所采取的技术方案是:
第一方面,本发明实施例提供一种记忆状态评估方法,包括以下步骤:
下发记忆状态评估项目,在所述记忆状态评估项目进行时采集事件相关脑电位;
在预先训练好的卷积神经网络中对所述事件相关脑电位进行分析处理;
根据分析处理所得到的结果,进行记忆状态评估结果显示及学习项目推送。
进一步,所述记忆状态评估项目,其具体包括:第一记忆阶段和第二记忆阶段;
其中,所述第一记忆阶段包括以下步骤:
提取至少一组词对组,每组所述词对组包括第一词对集和第二词对集,每个所述词对集包括至少一个词对,每个所述词对包括第一词语和第二词语;
依次显示提取的所有所述词对组中的词对;
所述第二记忆阶段包括以下步骤:
在预设的第一时间阈值内,显示第一词对,所述第一词对为从预定的第一词对组中随机挑选的词对;
隐藏所述第一词对并问询第一词对的第一词语和/或第二词语。
进一步,所述记忆状态评估项目,其还包括:检测阶段,所述检测阶段包括以下步骤:
显示第二词对的第一词语或第二词语中的任一者,所述第二词对为从所有词对组中随机挑选的词对;
问询所述第二词对中未显示的词语。
进一步,所述预先训练好的卷积神经网络通过以下步骤获得:
下发记忆状态评估项目,在所述记忆状态评估项目进行时采集事件相关脑电位;
获取根据所述问询得到的反馈结果,分析并记录所述反馈结果的正确性;
根据所述反馈结果和事件相关脑电位,对卷积神经网络进行训练。
进一步,所述在所述记忆状态评估项目进行时采集事件相关脑电位这一步骤,其具体包括:
通过多导联电极获取脑电信号,并对所述脑电信号进行预处理操作;
按照刺激出现的时刻对经过预处理操作后得到的脑电信号进行分段,获取事件相关脑电位;
其中,所述预处理操作至少包括以下操作中的一种:
对所述脑电信号进行同步放大处理、滤波处理;
对所述脑电信号进行重采样、重参考;
分离去除所述脑电信号中的眼电信号和肌电信号。
第二方面,本发明实施例提供一种记忆状态评估系统,包括:
测试模块,用于下发记忆状态评估项目,获取所述记忆状态评估项目的测试结果并发送至训练模块;
采集模块,用于采集事件相关脑电位,并将所述事件相关脑电位发送至训练模块和/或处理模块;
训练模块,用于根据所述测试结果和事件相关脑电位训练卷积神经网络;
处理模块,用于基于训练好的卷积神经网络对所述事件相关脑电位进行分析处理,并将处理结果发送至推送模块;
推送模块,用于根据所述处理结果完成记忆状态评估结果显示及学习项目推送。
第三方面,本发明实施例提供一种记忆状态评估装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现所述的一种记忆状态评估方法。
第四方面,本发明实施例提供一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行所述的一种记忆状态评估方法。
本发明的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到:本发明实施例通过结合事件相关脑电位和深度学习算法来评估人脑的记忆状态,并根据记忆状态推送适宜的学习项目,能够更为精准、有效地反映出人的记忆状态,更好地指导人们的日常生活、工作,同时又能减少分析时所应用的数据,加快分析进程。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员来说,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1为本发明具体实施例的一种记忆状态评估方法的流程示意图;
图2为本发明具体实施例的一种记忆状态评估方法中记忆状态评估项目的流程示意图;
图3为本发明具体实施例的一种记忆状态评估方法中训练卷积神经网络的流程示意图;
图4为本发明具体实施例的一种记忆状态评估方法中卷积神经网络的架构图;
图5为本发明具体实施例的一种记忆状态评估系统的结构框图;
图6为本发明具体实施例的一种记忆状态评估装置的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1,本发明实施例提供了一种记忆状态评估方法,包括以下步骤:
S11:下发记忆状态评估项目,在所述记忆状态评估项目进行时采集事件相关脑电位;
S12:在预先训练好的卷积神经网络中对所述事件相关脑电位进行分析处理;
S13:根据分析处理所得到的结果,进行记忆状态评估结果显示及学习项目推送。
本发明实施例中,提出了一种基于脑电数据和深度学习算法的人脑记忆状态评估方法,该方法可用于评估人的记忆状态,从而根据不同的记忆状态来推送不同程度的思考、学习项目,以更方便地指导人的生活和工作。下面结合图1对本发明实施例的中提供的方法作以下说明:首先,在评估记忆状态时,会向被评估者发送一记忆状态评估项目,所述记忆状态评估项目为预先制定完成的一系列与记忆训练、测试有关的问题,具体地,例如在有限的时间内记忆一串简单的字符、背诵一段文字等,目的是在这段时间内充分调动被评估者的大脑执行记忆功能。本发明实施例中,选择通过采集事件相关脑电位(ERP)来观测大脑执行所述记忆功能时的反映,其原理在于:在对人们进行项目记忆测试时,记忆结果的正确与错误在脑电信号上会出现明显的事件相关脑电位特征区别,在记忆结果正确的项目中,可以在左侧前额叶处的事件相关脑电位波形上观测到一个有规律的正向走向,因此可以通过这种事件相关脑电位波形的情况跟记忆效果之间的联系来判断、评估出人的记忆状态。
本发明实施例中,因为是基于事件相关脑电位来对人的记忆状态进行评估的,所以建立的卷积神经网络在训练时需要的脑电波数据和从记忆状态评估项目中获取的相关数据总体而言是十分少量的。故而,所述卷积神经网络可以直接选用浅层的ConcNet模型即可,该模型的结构简单,分类速度快,十分契合与本发明实施例中数据量少、评估要求精准快速的特点。需要说明的是,所述卷积神经网络在训练时应用的数据主要包括事件相关脑电位数据和记忆状态评估项目的测试结果数据,在完成上述训练后,后续即可直接根据获取到的事件相关脑电位数据送入到训练好的卷积神经网络中进行分析处理,从而快速得到记忆状态评估结果。具体地,所述记忆状态评估结果的形式可以以分值的模式显示出来,也可以以其他任一种方便被辨识的手段通知到评估者。同时,还可进一步根据记忆状态评估项目和记忆状态评估结果对学习的项目进行相关建议及推送,具体地,例如被评估者在记忆状态评估项目上得到的记忆状态评估结果十分优秀,说明其目前的学习、工作状态非常好,则推送建议其进行进一步学习;相反地,假如得到的记忆状态评估结果不尽如人意,则可推送建议其尝试休息或注意自身的精神状态。
参照图2,进一步作为优选的实施方式,所述记忆状态评估项目,其具体包括:第一记忆阶段S100和第二记忆阶段S200;
其中,所述第一记忆阶段S100包括以下步骤:
S101:提取至少一组词对组,每组所述词对组包括第一词对集和第二词对集,每个所述词对集包括至少一个词对,每个所述词对包括第一词语和第二词语;
S102:依次显示提取的所有所述词对组中的词对;
所述第二记忆阶段S200包括以下步骤:
S201:在预设的第一时间阈值内,显示第一词对,所述第一词对为从预定的第一词对组中随机挑选的词对;
S202:隐藏所述第一词对并问询第一词对的第一词语和/或第二词语。
本发明实施例中,提出了一种基于词对的记忆状态评估项目实施方法,所述词对为一对相关联的词语,优选的,本发明实施例中采用的多为相同且固定字符长度的词语,例如:铃声+学校、公主+皇族等等,在前的词语记为第一词语,在后的词语记为第二词语。若干个词对组成一个词对集,两个词对集作为一个词对组,每次进行记忆状态评估项目时可从数据库中提取出至少一个词对组用于评估。这种实施模式比较简单,数据存储方便,还可实时更新词对。本发明实施例中,所述记忆状态评估项目首先包括施加基础印象的第一记忆阶段和用于重复加深印象的第二记忆阶段,其中所述第一记忆阶段主要是依次向被评估者显示本次评估项目提取的词对,目的是使的被评估者快速进入浏览、记忆状态,其每个词对显示的时间可以是固定的,具体地,例如设置为5秒,也可以根据实际的项目需求来灵活改变。更进一步地,还可以在每个词对显示时要求被评估者对词对中第一词语和第二词语的相关程度做主观性判断,例如提供1-10分值的选项供被评估者选取,该步骤的设置是为了深化被评估者的注意力,以获取到更加良好、准确的评估效果。第二记忆阶段则是通过重复的手段增加被评估者的记忆深度,该阶段将从某个预定的第一词对组中随机挑选词对进行短暂的显示,所述词对记为第一词对。具体地,所述第一时间阈值可以设置为3秒,也可以根据实际的项目需求来灵活改变。经过第一时间阈值的显示后,隐藏所述第一词对,并问询被评估者第一词对的第一词语和/或第二词语是什么,例如:参照图2中的第二记忆阶段,可以向被评估者问询“刚才显示的词对中第二词语是什么?”,当被评估者回答“学校”时即回答正确。第二记忆阶段另一方面的目的还包括接收被评估者对第一词对的反馈结果,作为卷积神经网络的训练数据。应当说明的是,本发明实施例中所述预定的第一词对组是指在提取词对组时,将一部分词对组标记为第一词对组,目的是记录标志被评估者对该部分词对组进行了第二记忆阶段的记忆复习。
进一步作为优选的实施方式,所述记忆状态评估项目,其还包括:第三记忆阶段S300,所述第三记忆阶段S300包括以下步骤:
S301:在预设的第二时间阈值内,显示第三词对,所述第三词对为从预定的第二词对组中随机挑选的词对;
S302:隐藏所述第三词对的第一词语或第二词语中的任一者;
S303:问询所述第三词对中隐藏的词语。
本发明实施例中,还在所述记忆状态评估项目中增添了用于进一步加深印象的第三记忆阶段,该阶段将从某个预定的第二词对组中随机挑选词对进行短暂的显示,所述词对记为第三词对。具体地,所述第二时间阈值也可以设置为3秒,同样可以根据实际的项目需求来灵活改变。经过第二时间阈值的显示后,隐藏所述第三词对的第一词语或第二词语中的任一者,并问询被评估者第三词对中被隐藏的第一词语和/或第二词语是什么,例如:参照图2中的第三记忆阶段,可以向被评估者问询“现在词对中隐藏的第二词语是什么?”,当被评估者回答“学校”时即回答正确。第三记忆阶段另一方面的目的也同样还包括接收被评估者对第三词对的反馈结果,作为卷积神经网络的训练数据。应当说明的是,本发明实施例中所述预定的第二词对组是指在提取词对组时,将一部分词对组标记为第二词对组,目的是记录标志被评估者对该部分词对组进行了第三记忆阶段的记忆复习。本发明实施例中,由上述第一词对组和第二词对组构成所有提取的词对组。
进一步作为优选的实施方式,所述记忆状态评估项目,其还包括:检测阶段S400,所述检测阶段S400包括以下步骤:
S401:显示第二词对的第一词语或第二词语中的任一者,所述第二词对为从所有词对组中随机挑选的词对;
S402:问询所述第二词对中未显示的词语。
本发明实施例中,所述记忆状态评估项目中还包括主要用于反映被评估者记忆效果的检测阶段,值得说明的是:在本发明实施例中的所述第一记忆阶段、第二记忆阶段和第三记忆阶段可以连续进行,或者每个阶段间隔较短的一段时间;而所述检测阶段应该距离所有的所述记忆阶段有一段较长的预设时间,具体地,例如可设置为8个小时。其目的在于:经过一段时间的记忆程度消退后检测被评估者的记忆效果,能够更好地反映出其记忆状态,因此比起第二记忆阶段和第三记忆阶段中的短暂记忆反馈结果,检测阶段所得到的反馈结果更适合作为卷积神经网络的训练数据。具体地,该阶段随机从所有词对组中挑选词对,记为第二词对,隐藏所述第二词对的第一词语和/或第二词语,仅显示其另一部分词语,并问询被评估者第二词对中未显示的第一词语和/或第二词语是什么,例如:参照图2中的检测阶段,可以向被评估者问询“词对中未显示的第一词语是什么?”,当被评估者回答“铃声”时即回答正确。
参照图3,进一步作为优选的实施方式,所述预先训练好的卷积神经网络通过以下步骤获得:
S21:下发记忆状态评估项目,并在所述记忆状态评估项目进行时采集事件相关脑电位;
S22:获取根据所述问询得到的反馈结果,分析并记录所述反馈结果的正确性;
S23:根据所述反馈结果和事件相关脑电位,对卷积神经网络进行训练。
本发明实施例中,提供了一种基于事件相关脑电位和记忆状态评估项目得到的相关数据训练卷积神经网络的方法,下面结合说明书附图3、4,对该方法进行详细说明:首先,对于获取到的所述问询的反馈结果,按照以下方式进行分类:在第二记忆阶段记忆正确的记为eSR;在第二记忆阶段记忆错误的记为eSF;在第三记忆阶段记忆正确的记为eRR;在第二记忆阶段记忆正确的记为eRF;由第二记忆阶段记忆的、在检测阶段记忆正确的记为SR;由第二记忆阶段记忆的、在检测阶段记忆错误的记为SF;由第三记忆阶段记忆的、在检测阶段记忆正确的记为RR;由第三记忆阶段记忆的、在检测阶段记忆错误的记为RF,一共八类数据,形成一个完整的数据集。也可以将记忆阶段或者检测阶段的数据单独作为一个数据集,例如,数据集L={eRR;eRF;eSR;eSF}。
本发明实施例中,对于所述卷积神经网络,由前述的数据量小的特点,本发明实施例中采用的是浅层卷积神经网络ConvNet,参照图4,其第一层为时域卷积,有40个一维卷积核,对输入数据每个通道上550个点的数据进行时域卷积。第二层为空间滤波,有40个二维滤波器,对所有的电极进行滤波。第三层为平均池化层,最后为softmax分类层。ConvNet的所有参数(所有权重和偏置)都是联合训练的。在监督分类的设置中,ConvNet将计算一个函数从输入数据到每个类的一个实数,即:f(Xj;θ):RE·T→RK,其中θ是函数的参数,E是电极的数量,T是时间步数,K是输出标签的数量。
在使用ConvNets进行分类时,通常使用softmax函数将输出转换为给定输入Xj的标签lk条件概率:
Figure BDA0002226604710000071
针对每个特定被评估者时,softmax的输出提供了针对K类的特定主题的条件分布。可以通过最小化每个示例损失的总和,来训练整个ConvNet为正确的标签分配高概率,即:
Figure BDA0002226604710000081
Figure BDA0002226604710000082
ConvNet计算的功能可以被视为由特征提取功能和分类器功能组成:φ(Xjφ)具有参数的特征提取功能,负责由首层直到倒数第二层的所有层计算;分类函数g(φ(Xjg))与参数θg使用特征提取函数的输出作为输入,由最终分类层计算,其网络架构由图4所示。
本发明实施例中,将数据集(以总数据集为例)经过提取epoch得到带标签的trial数据,记总的数据集为
Figure BDA0002226604710000083
Ni为被评估者i的trials总数,被评估者i第j个trail的输入矩阵为Xj∈RE·T,1≤j≤Ni,该矩阵为trial*E-记录电极*T-时间点的三维矩阵,该trial对应的类别标签用yj表示,yi取值为K类。具体地,可以随机选取60%的总数据集Di作为卷积神经网络的训练数据集,总数据集Di的20%作为验证集,剩余总数据集Di的20%作为测试集输入卷积神经网络中。卷积神经网络会通过分析数据调整自己的每层网络神经元的权值,从而不断最小化输入对应的网络预测和真实结果之间的误差。
进一步作为优选的实施方式,所述在所述记忆状态评估项目进行时采集事件相关脑电位这一步骤S11,其具体包括:
S111:通过多导联电极获取脑电信号,并对所述脑电信号进行预处理操作;
S112:按照刺激出现的时刻对经过预处理操作后得到的脑电信号进行分段,获取事件相关脑电位;
其中,所述预处理操作至少包括以下操作中的一种:
S1111:对所述脑电信号进行同步放大处理、滤波处理;
S1112:对所述脑电信号进行重采样、重参考;
S1113:分离去除所述脑电信号中的眼电信号和肌电信号。
本发明实施例中,提出了一种采集事件相关脑电位的方法,该方法通过使用多导联脑电电极采集被评估者头部多个部位的脑电信号,通过脑电信号放大器对采集到的脑电信号进行同步放大处理,进一步通过Matlab使用脑电数据处理工具包eeglab对脑电信号进行重采样,并利用双侧乳突电极进行重参考,然后采用基于汉明窗的正弦有限脉冲响应滤波器对所述脑电信号进行滤波,具体地,滤波的频率范围为0.01~30Hz,通过以上手段对原始信号进行修正、放大,减少所述脑电信号的杂质波动。还通过基于盲源分离的二阶盲辨识法去除眼电信号、肌电信号,去除掉其他生物电信号的干扰,保证获取得到的脑电信号的精确度。本发明实施例中,还根据具体的记忆状态评估项目对脑电信号进一步分段精确定位,其中所述的刺激即为记忆状态评估项目中词对的显示和/或问询信号的发出。记录记忆状态评估项目进行中这些刺激出现的时间点,以这个时间点为原点,向前向后各截取一段脑电信号作为事件相关脑电位。具体地,例如:截取刺激出现前的0.2s和刺激出现后2s一段脑电信号作为事件相关脑电位。所述事件相关脑电位可以更加精确、有效地反映出被评估者在进行记忆活动时的脑电信号变化情况,同时这种处理方式也大大减少了所需要的脑电数据,使得后续的分析处理流程更加方便快捷。
参照图5,本发明实施例还提供了一种记忆状态评估系统,包括:
测试模块101,用于下发记忆状态评估项目,获取所述记忆状态评估项目的测试结果并发送至训练模块103;
采集模块102,用于采集事件相关脑电位,并将所述事件相关脑电位发送至训练模块103和/或处理模块104;
训练模块103,用于根据所述测试结果和事件相关脑电位训练卷积神经网络;
处理模块104,用于基于训练好的卷积神经网络对所述事件相关脑电位进行分析处理,并将处理结果发送至推送模块105;
推送模块105,用于根据所述处理结果完成记忆状态评估结果显示及学习项目推送。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图6,本发明实施例还提供了一种记忆状态评估装置,包括:
至少一个处理器201;
至少一个存储器202,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器201执行时,使得所述至少一个处理器201实现所述的一种记忆状态评估方法。
本发明实施例还提供了一种存储介质,其中存储有处理器201可执行的指令,所述处理器201可执行的指令在由处理器201执行时用于执行所述的一种记忆状态评估方法。
同理,上述方法实施例中的内容均适用于本装置、存储介质实施例中,本装置、存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例中,所述装置中包括至少一个处理器201和至少一个存储器202,所述存储器202用于存储至少一个程序,且所述程序用于被处理器201执行以实现本发明实施例任一种记忆状态评估方法。所述处理器201可以由包括单片机、FPGA、CPLD、DSP、ARM等任一或多种处理器芯片及其外围电路和程序所构成。本发明实施例中,所述存储器202所采用的存储介质形式可以是但不限于电、磁、光、红外线、半导体的系统、装置或器件,也可以是任意以上形式所组成的组合。具体地,可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述任意形式所组成的组合。存储介质可以是任何包含或存储程序的有形介质,所述程序可以被指令执行系统执行。所述存储器202上包含的程序可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。所述程序的代码可以以一种或多种程序设计语言或其组合来编写,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如C语言或类似的程序设计语言。所述程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
在本说明书的描述中,参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种记忆状态评估方法,其特征在于,包括以下步骤:
下发记忆状态评估项目,在所述记忆状态评估项目进行时采集事件相关脑电位;
在预先训练好的卷积神经网络中对所述事件相关脑电位进行分析处理;
根据分析处理所得到的结果,进行记忆状态评估结果显示及学习项目推送。
2.根据权利要求1所述的一种记忆状态评估方法,其特征在于,所述记忆状态评估项目,其具体包括:第一记忆阶段和第二记忆阶段;
其中,所述第一记忆阶段包括以下步骤:
提取至少一组词对组,每组所述词对组包括第一词对集和第二词对集,每个所述词对集包括至少一个词对,每个所述词对包括第一词语和第二词语;
依次显示提取的所有所述词对组中的词对;
所述第二记忆阶段包括以下步骤:
在预设的第一时间阈值内,显示第一词对,所述第一词对为从预定的第一词对组中随机挑选的词对;
隐藏所述第一词对并问询第一词对的第一词语和/或第二词语。
3.根据权利要求2所述的一种记忆状态评估方法,其特征在于,所述记忆状态评估项目,其还包括:第三记忆阶段,所述第三记忆阶段包括以下步骤:
在预设的第二时间阈值内,显示第三词对,所述第三词对为从预定的第二词对组中随机挑选的词对;
隐藏所述第三词对的第一词语或第二词语中的任一者;
问询所述第三词对中隐藏的词语。
4.根据权利要求2所述的一种记忆状态评估方法,其特征在于,所述记忆状态评估项目,其还包括:检测阶段,所述检测阶段包括以下步骤:
显示第二词对的第一词语或第二词语中的任一者,所述第二词对为从所有词对组中随机挑选的词对;
问询所述第二词对中未显示的词语。
5.根据权利要求2-4中任一项所述的一种记忆状态评估方法,其特征在于:所述预先训练好的卷积神经网络通过以下步骤获得:
下发记忆状态评估项目,在所述记忆状态评估项目进行时采集事件相关脑电位;
获取根据所述问询得到的反馈结果,分析并记录所述反馈结果的正确性;
根据所述反馈结果和事件相关脑电位,对卷积神经网络进行训练。
6.根据权利要求2-4中任一项所述的一种记忆状态评估方法,其特征在于:所述在所述记忆状态评估项目进行时采集事件相关脑电位这一步骤,其具体包括:
通过多导联电极获取脑电信号,并对所述脑电信号进行预处理操作;
按照刺激出现的时刻对经过预处理操作后得到的脑电信号进行分段,获取事件相关脑电位;
其中,所述预处理操作至少包括以下操作中的一种:
对所述脑电信号进行同步放大处理、滤波处理;
对所述脑电信号进行重采样、重参考;
分离去除所述脑电信号中的眼电信号和肌电信号。
7.一种记忆状态评估系统,其特征在于,包括:
测试模块,用于下发记忆状态评估项目,获取所述记忆状态评估项目的测试结果并发送至训练模块;
采集模块,用于采集事件相关脑电位,并将所述事件相关脑电位发送至训练模块和/或处理模块;
训练模块,用于根据所述测试结果和事件相关脑电位训练卷积神经网络;
处理模块,用于基于训练好的卷积神经网络对所述事件相关脑电位进行分析处理,并将处理结果发送至推送模块;
推送模块,用于根据所述处理结果完成记忆状态评估结果显示及学习项目推送。
8.一种记忆状态评估装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现如权利要求1-6任一项所述的一种记忆状态评估方法。
9.一种存储介质,其中存储有处理器可执行的指令,其特征在于:所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-6任一项所述的一种记忆状态评估方法。
CN201910953785.7A 2019-10-09 2019-10-09 一种记忆状态评估方法、系统、装置及存储介质 Pending CN110811548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910953785.7A CN110811548A (zh) 2019-10-09 2019-10-09 一种记忆状态评估方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910953785.7A CN110811548A (zh) 2019-10-09 2019-10-09 一种记忆状态评估方法、系统、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110811548A true CN110811548A (zh) 2020-02-21

Family

ID=69548794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910953785.7A Pending CN110811548A (zh) 2019-10-09 2019-10-09 一种记忆状态评估方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110811548A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094464A (zh) * 2021-03-31 2021-07-09 哈尔滨理工大学 可扩展的农作物病害分析库的建立以及辅助鉴定方法
CN115050217A (zh) * 2022-05-06 2022-09-13 深圳大学 一种汉字读写能力训练系统、训练设备和控制方法
CN115240516A (zh) * 2022-09-21 2022-10-25 深圳市心流科技有限公司 基于对象匹配的记忆力训练方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026548A1 (en) * 2004-08-30 2006-03-09 Southern Illinois University Carbondale Biopotential waveform data fusion analysis and classification method
CN102319067A (zh) * 2011-05-10 2012-01-18 北京师范大学 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006026548A1 (en) * 2004-08-30 2006-03-09 Southern Illinois University Carbondale Biopotential waveform data fusion analysis and classification method
CN102319067A (zh) * 2011-05-10 2012-01-18 北京师范大学 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAONAN L.LIU ET AL.: "The two processes underlying the testing effect– Evidence from Event-Related Potentials (ERPs)", 《NEUROPSYCHOLOGIA》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094464A (zh) * 2021-03-31 2021-07-09 哈尔滨理工大学 可扩展的农作物病害分析库的建立以及辅助鉴定方法
CN113094464B (zh) * 2021-03-31 2024-05-28 哈尔滨理工大学 可扩展的农作物病害分析库的建立以及辅助鉴定方法
CN115050217A (zh) * 2022-05-06 2022-09-13 深圳大学 一种汉字读写能力训练系统、训练设备和控制方法
CN115240516A (zh) * 2022-09-21 2022-10-25 深圳市心流科技有限公司 基于对象匹配的记忆力训练方法、装置、设备及存储介质
CN115240516B (zh) * 2022-09-21 2023-02-03 深圳市心流科技有限公司 基于对象匹配的记忆力训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
US20070185697A1 (en) Using electroencephalograph signals for task classification and activity recognition
US20150134580A1 (en) Method And System For Training A Neural Network
CN110811548A (zh) 一种记忆状态评估方法、系统、装置及存储介质
CN111783942B (zh) 一种基于卷积循环神经网络的脑认知过程模拟方法
Khalili et al. Emotion detection using brain and peripheral signals
CN111523601A (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
US11803753B1 (en) Apparatus and product of manufacture for generating a probability value for an event
CN114224342A (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
Tan Using a low-cost eeg sensor to detect mental states
WO2020139970A1 (en) Assessment of risk for major depressive disorder from human electroencephalography using machine learned model
Hurtado-Rincon et al. Motor imagery classification using feature relevance analysis: An Emotiv-based BCI system
Cruz-Garza et al. Characterization of the stages of creative writing with mobile eeg using generalized partial directed coherence
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
Hassani et al. Discrimination of customers decision-making in a like/dislike shopping activity based on genders: a neuromarketing study
Puwakpitiyage et al. A proposed web based real time brain computer interface (BCI) system for usability testing
CN110569968A (zh) 基于电生理信号的创业失败恢复力评估方法及评估系统
Cecotti et al. Suboptimal sensor subset evaluation in a p300 brain-computer interface
Hossain et al. Cognitive load measurement using galvanic skin response for listening tasks
Murtazina et al. Measuring cognitive load based on EEG data in the intelligent learning systems
CN113065595A (zh) 一种用于在线视频学习的基于眼动信号的情感识别方法
Kyriaki et al. A Comprehensive Survey of EEG Preprocessing Methods for Cognitive Load Assessment
Castaño-Candamil et al. Post-hoc labeling of arbitrary M/EEG recordings for data-efficient evaluation of neural decoding methods
Nijveld et al. ERP signal analysis with temporal resolution using a time window bank
CN113191438A (zh) 学习风格识别模型训练和识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221