CN116312971A - 认知训练素材生成方法、认知训练方法、装置和介质 - Google Patents

认知训练素材生成方法、认知训练方法、装置和介质 Download PDF

Info

Publication number
CN116312971A
CN116312971A CN202310538580.9A CN202310538580A CN116312971A CN 116312971 A CN116312971 A CN 116312971A CN 202310538580 A CN202310538580 A CN 202310538580A CN 116312971 A CN116312971 A CN 116312971A
Authority
CN
China
Prior art keywords
cognitive training
feature
deep learning
learning model
semantic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310538580.9A
Other languages
English (en)
Other versions
CN116312971B (zh
Inventor
张欢
张瑜
张靖
尹子涵
李媛媛
蒋田仔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310538580.9A priority Critical patent/CN116312971B/zh
Publication of CN116312971A publication Critical patent/CN116312971A/zh
Application granted granted Critical
Publication of CN116312971B publication Critical patent/CN116312971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请涉及一种认知训练素材生成方法、认知训练方法、装置和介质，包括：获取第一特征和第二特征，第一特征包括多媒体素材和对应的语义信息，第二特征包括磁共振表征，第一特征和第二特征存在关联关系；拟合第一特征和第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据语义图谱获取与目标靶点对应的目标语义信息；将第一特征作输入，将第二特征作为约束条件，训练深度学习模型，在深度学习模型满足收敛时，确定深度学习模型的权重参数；根据目标语义信息和深度学习模型的权重参数，生成认知训练素材，解决了无法获取能够精准激发需训练的脑功能皮层靶点的认知训练素材的问题，实现了基于被试个体、最大化训练被试大脑的认知训练素材的获取。

Description

认知训练素材生成方法、认知训练方法、装置和介质
技术领域
本申请涉及深度学习领域，特别是涉及认知训练素材生成方法、认知训练方法、装置和介质。
背景技术
人脑对不同的事物具有不同的响应，磁共振是一种具有高空间分辨率的无创检测大脑响应的方式。大脑皮层可以根据脑功能进行区域划分，譬如颞叶区主管听觉功能、枕叶主管视觉功能，并且这种划分在不同个体间是共享的。当测试人员在观察图片时，图片除了对枕叶皮层有激发作用，图片的语义对内侧和外侧顶叶皮层、颞叶皮层和外侧前额叶等皮层的激发也很明显。可以通过深度学习建立感官刺激和大脑磁共振响应信号之间的映射关系，从而根据需要响应的皮层靶点选择感官刺激。通过认知训练增强对应靶点的神经活动有可能是提高对应的感官如注意力、记忆、思维等的潜在方式。
认知训练是一种旨在提高人类认知能力，改进思考过程和行为表现的训练方法。它是一种系统化的认知干预措施，通过训练和练习一系列认知技能来改进人们的思维和行为表现。认知训练可以针对个人不同的认知能力进行定制，例如提高注意力、刺激记忆、改进决策和解决问题等方面。由于认知训练可以改进人们的认知能力，理论上可以应用于各个年龄段，包括儿童、青少年和成年人，在学习、工作、生活等方面都具有重要意义。
相关技术中，认知训练未考虑脑科学而仅从应用的角度出发，如设计一款游戏避免阿尔茨海默症。近年来也有研究通过经颅电刺激对已知功能脑区进行刺激，但是电刺激的大小和刺激效果都因人而异，不能刺激深度脑区并且无法实现个体化的实施方案。因此，当前的认知训练尚未通过磁共振建立认知训练素材和脑区响应之间的大脑语义图谱辅助定位；在认知训练前，认知训练素材是否能精准高效激发需要训练的脑功能皮层靶点没有能度量的依据。
针对相关技术中存在无法获取能够精准激发需要训练的脑功能皮层靶点的认知训练素材的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种认知训练素材生成方法、认知训练方法、装置和介质，以解决相关技术中无法获取能够精准激发需要训练的脑功能皮层靶点的认知训练素材的问题。
第一个方面，在本实施例中提供了一种认知训练素材生成方法，包括：
获取第一特征和第二特征，其中，所述第一特征包括多媒体素材和对应于所述多媒体素材的语义信息，所述第二特征包括磁共振表征，所述第一特征和所述第二特征存在关联关系；
拟合所述第一特征和所述第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据所述语义图谱获取与目标靶点对应的目标语义信息；
将所述第一特征作为深度学习模型的输入，将所述第二特征作为所述深度学习模型的约束条件，训练所述深度学习模型，并在所述深度学习模型满足收敛条件的情况下，确定所述深度学习模型的权重参数；
根据所述目标语义信息和所述深度学习模型的权重参数，生成认知训练素材。
在其中的一些实施例中，生成认知训练素材包括：
将根据所述目标语义信息和所述深度学习模型的权重参数所生成的第一认知训练素材输入所述深度学习模型，预测得到与所述第一认知训练素材对应的第二特征；
判断与所述第一认知训练素材对应的第二特征是否满足预设条件；
根据判断结果筛选所述第一认知训练素材，得到第二认知训练素材。
在其中的一些实施例中，获取第一特征，包括：
通过卷积神经网络提取所述多媒体素材的特征，并对所述多媒体素材的语义信息进行编码，将所述多媒体素材的特征和编码后的语义信息作为所述第一特征。
在其中的一些实施例中，获取第二特征，包括：
获取与所述第一特征对应的功能磁共振信号，提取所述功能磁共振信号的特征，得到信号特征；
将所述信号特征映射至脑皮层，将映射后的信号特征作为所述第二特征。
在其中的一些实施例中，在将映射后的信号特征作为所述第二特征后，所述方法包括：
获取结构态磁共振信号和弥散磁共振信号；
将所述结构态磁共振信号、所述弥散磁共振信号作为所述第二特征。
在其中的一些实施例中，根据拟合结果和预设脑图谱得到语义图谱，包括：
将所述拟合结果映射到所述预设脑图谱，通过自编码器解码映射后的拟合结果；
根据解码结果分别选取各靶点中生成最强磁共振表征的语义信息，生成所述语义图谱。
在其中的一些实施例中，根据所述目标语义信息和所述深度学习模型的权重参数，生成第一认知训练素材，包括：
获取所述深度学习模型的浅层权重参数和深层权重参数；
根据所述目标语义信息作为输入信息、所述浅层权重参数和所述深层权重参数，生成第一认知训练素材。
第二个方面，在本实施例中提供了一种认知训练方法，包括：
获取用户需要进行认知训练的靶点，根据语义图谱确定与所述靶点对应的语义信息；
根据所述语义信息获取认知训练素材，所述认知训练素材基于上述第一个方面所述的认知训练素材生成方法得到；
按照预设时长，向所述用户展示所述认知训练素材。
第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的认知训练素材生成方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的认知训练素材生成方法。
与相关技术相比，在本实施例中提供的认知训练素材生成方法，包括：获取第一特征和第二特征，其中，第一特征包括多媒体素材和对应于多媒体素材的语义信息，第二特征包括磁共振表征，第一特征和第二特征存在关联关系；拟合第一特征和第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据语义图谱获取与目标靶点对应的目标语义信息；将第一特征作为深度学习模型的输入，将第二特征作为深度学习模型的约束条件，训练深度学习模型，并在深度学习模型满足收敛条件的情况下，确定深度学习模型的权重参数； 根据目标语义信息和深度学习模型的权重参数，生成认知训练素材。解决了无法获取能够精准激发需要训练的脑功能皮层靶点的认知训练素材的问题，实现了能够基于被试个体、最大化训练被试大脑的认知训练素材的获取。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例的认知训练素材生成方法的流程图；
图2是本申请一实施例的认知训练方法的流程图；
图3是本申请一实施例的基于磁共振和图卷积的认知训练方法的流程图；
图4是本申请一实施例的一种连续识别任务试验设计范式；
图5是本申请一实施例的任务态功能磁共振信号特征beta值的示意图；
图6是本申请一实施例的语义图谱的示意图；
图7是本申请一实施例的认知训练素材的示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供了一种认知训练素材生成方法，图1是本实施例的认知训练素材生成方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取第一特征和第二特征，其中，第一特征包括多媒体素材和对应于多媒体素材的语义信息，第二特征包括磁共振表征，第一特征和第二特征存在关联关系。
多媒体素材包括图片、视频、声音等会对被试产生视觉、听觉等刺激的自然刺激，多媒体素材的语义信息包括对上述自然刺激的文字描述。可选地，将多媒体素材的特征和多媒体素材语义信息的特征作为第一特征。
第一特征和第二特征的关联关系包括：将第一特征提供给被试，被试识别第一特征时生成的第二特征。获取第二特征包括：获取被试在识别自然刺激的过程中，生成的磁共振信号。可选的，被试在磁共振机器里识别一系列自然刺激，包括视觉和听觉刺激，并通过按键判断每个刺激是否在之前出现过，获取被试在整个实验过程中生成的磁共振信号。提取磁共振信号的特征得到磁共振表征。
步骤S102，拟合第一特征和第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据语义图谱获取与目标靶点对应的目标语义信息。
将多媒体素材和对应于多媒体素材的语义信息和磁共振表征进行拟合，拟合后获得拟合权重。将拟合后的权重对应到预设脑图谱，得到不同类别的语义信息与脑皮层各靶点的响应之间的关系，生成语义图谱。根据语义图谱获取与目标靶点对应的目标语义类别，生成与目标语义类别相关的目标语义信息。
步骤S103，将第一特征作为深度学习模型的输入，将第二特征作为深度学习模型的约束条件，训练深度学习模型，并在深度学习模型满足收敛条件的情况下，确定深度学习模型的权重参数。
训练深度学习模型包括将部分第一特征和对应的第二特征作为训练集，将剩余的第一特征和剩余的第二特征作为测试集，比较深度学习模型的输出和第二特征的相似度，并判断深度学习模型是否满足收敛条件。训练完成的深度学习模型能够根据多媒体素材和对应于多媒体素材的语义信息，预测并输出被试在识别多媒体素材和对应于多媒体素材的语义信息时，生成的磁共振表征。
步骤S104，根据目标语义信息和深度学习模型的权重参数，生成认知训练素材。
先获取目标语义信息类别，再获取目标语义信息类别的相关描述，得到目标语义信息。将目标语义信息输入神经网络生成模型，将深度学习模型的权重参数作为神经网络生成模型的约束条件，通过神经网络生成模型输出与目标语义信息相关的认知训练素材。示例性地，深度学习模型的权重参数包括浅层权重参数和深层权重参数，浅层的权重参数用于更好地约束生成素材的细节信息，深层的权重参数用于更好地约束生成素材的语义信息。
通过上述步骤，根据包括多媒体素材和对应语义信息的第一特征，获得包括脑皮层靶点响应的第二特征，多媒体素材提供听觉、视觉多方面刺激，更好地激发了大脑的活动，使由第一特征和第二特征建立得到的语义图谱更为准确，能够通过语义图谱精准地根据脑皮层靶点确定对应语义信息。根据第一特征和第二特征训练深度学习模型，使深度学习模型学习真实的脑皮层靶点响应与认知训练素材之间的关系。根据语义信息生成认知训练素材的过程中，将深度学习模型的权重数据作为条件，更好地约束认知训练素材的细节信息和语义信息，使生成的认知训练素材能够精准且高效地激发脑皮层靶点所在脑区。从而解决无法获取能够精准激发需要训练的脑功能皮层靶点的认知训练素材的问题，实现了基于被试个体、最大化训练被试大脑的认知训练素材的获取。
在其中的一些实施例中，生成认知训练素材包括：将根据目标语义信息和深度学习模型的权重参数所生成的第一认知训练素材输入深度学习模型，预测得到与第一认知训练素材对应的第二特征；判断与第一认知训练素材对应的第二特征是否满足预设条件；根据判断结果筛选第一认知训练素材，得到第二认知训练素材。
将第一认知训练素材输入深度学习模型包括：获取第一认知训练素材和对应的语义信息。提取第一认知训练素材的特征，并对语义信息进行编码，将第一认知训练素材的特征和编码后的语义信息输入至深度学习模型。深度学习模型根据第一认知训练素材，预测目标靶点产生的响应，得到对应第一认知训练素材的第二特征。判断第二特征的大小是否满足预设条件，对第一认知训练素材进行筛选。
示例性地，深度学习模型为包含图模型的融合模型，包括图模型和数据处理模型，用于建立多媒体素材和对应的多媒体素材语义描述与表征之间的映射关系。其中，图模型可选的有GCN（Graph Convolutional Networks，图卷积模型）、GAT（Graph AttentionNetworks，图注意力模型）或者GraphSage（Graph Sample and Aggregate，图采样和聚合模型）等模型，通过图模型使语义信息和磁共振表征能够更好地匹配、更好地表征语义信息。根据多媒体素材的数据模态，在图模型的基础上融合对应的数据处理模型，对于图片数据可选的有resnet（残差模型）、Vit（基于视觉的transformer模型）、mask-RCNN（带掩模-基于区域的图神经网络）等模型，通过数据处理模型实现多媒体素材的数据处理。
在其中的一些实施例中，获取第一特征，包括：通过卷积神经网络提取多媒体素材的特征，并对多媒体素材的语义信息进行编码，将多媒体素材的特征和编码后的语义信息作为第一特征。
可选地，通过残差卷积网络对多媒体素材进行特征提取，得到多媒体素材的特征。多媒体素材包括图片、视频、声音等会对被试产生视觉、听觉等刺激的自然刺激，包含多种模态。其中，多媒体素材的语义信息为自然刺激的文字模态。可以通过自编码器的编码部分对多媒体素材的语义信息进行编码，得到多媒体素材语义信息的特征。根据对应的模态数据，可以选择独热码、图片嵌入、音频嵌入和词嵌入等编码方式。编码后语义信息的特征可以通过拼接、点乘或者交叉注意力算法实现多个特征的结合。结合后得到的数据，可以和磁共振信号进行线性或非线性拟合。
获取第二特征，包括：获取与第一特征对应的功能磁共振信号，提取功能磁共振信号的特征，得到信号特征；将信号特征映射至脑皮层，将映射后的信号特征作为第二特征。在将映射后的信号特征作为第二特征后，方法包括：获取结构态磁共振信号和弥散磁共振信号；将结构态磁共振信号、弥散磁共振信号作为第二特征。
其中，功能磁共振信号为功能性核磁共振成像时获取的磁共振信号，结构态磁共振信号为结构态磁共振成像时获取的磁共振信号，弥散磁共振信号为磁共振弥散成像时获取的磁共振信号。可选地，通过广义线性模型提取功能磁共振信号的特征，选用皮层表面标准模板将功能磁共振信号的特征映射到脑皮层。
根据拟合结果和预设脑图谱得到语义图谱，包括：将拟合结果映射到预设脑图谱，通过自编码器解码映射后的拟合结果；根据解码结果分别选取各靶点中生成最强磁共振表征的语义信息，生成语义图谱。通过自编码器解码映射后的拟合结果包括：生成语义图谱时，通过自编码器的解码部分，对顶点的特征进行解码。可选地，在自编码器解码前和解码后，选用主成分分析、topk算法等方式进行降噪处理。
根据目标语义信息和深度学习模型的权重参数，生成第一认知训练素材，包括：获取深度学习模型的浅层权重参数和深层权重参数；根据目标语义信息作为输入信息、浅层权重参数和深层权重参数，生成第一认知训练素材。可选地，通过神经网络生成模型生成认知训练素材。神经网络生成模型可以使包含扩散模型在内的融合模型。将浅层权重参数和深层权重参数作为约束条件，输入神经网络生成模型，浅层的权重参数用于更好地约束生成素材的细节信息，深层的权重参数用于更好地约束生成素材的语义信息。
在其中的一些实施例中，提供了一种认知训练方法，图2是本实施例的认知训练方法的流程图，包括：
步骤S201，获取用户需要进行认知训练的靶点，根据语义图谱确定与靶点对应的语义信息；
步骤S202，根据语义信息获取认知训练素材，所述认知训练素材基于上述任一项实施例所述的认知训练素材生成方法得到。
步骤S203，按照预设时长，向所述用户展示所述认知训练素材。可选地，每天利用半小时向用户展示认知训练素材，用户通过识别认知训练素材，刺激与靶点对应的相关脑区，达到提升用户认知的效果。
本实施例中，还提供了一种基于磁共振和图卷积的认知训练方法。图3是本实施例的基于磁共振和图卷积的认知训练方法的流程图，如图3所示，该流程包括：
步骤S301，认知数据采集与预处理。以基于图片的数据采集与预处理为例，获取coco图片数据集，从图片数据集中随机获得10000张自然图片、自然图片对应的标签和描述信息。对符合实验要求的被试，进行大规模彩色自然图片的连续识别，采集识别过程中的任务功能磁共振信号。可选地，符合实验要求的被试可以为：年龄为18至30岁的健康被试，视力正常或矫正后正常，均为右撇子，没有严重的健康问题认知或精神疾病，例如中风、癫痫、心脏疾病等，体内没有植入金属物或心脏起搏器等，最重要的是被试能够理解实验过程和要求，并能够合作完成实验任务。
图4是本实施例的一种连续识别任务试验设计范式，如图4所示，实验过程中，被试躺在磁共振机器里，观看自然图片并同时进行图片识别。每名被试总共完成40次的磁共振扫描，在这个过程中，被试需要集中注意力观看图片，并且如果图片在之前出现过，被试需要识别并按键。10000张不同图片随机出现3次，出现的概率均匀分布，每个被试之间固定图片顺序。每个被试观看的图片数有90%的是和其他被试不同的，有10%的图片数是和其他被试共享的。在一次实验中，被试总共进行12个运行（run），每个run有75个试次（trial），其中前3个和后4个trial没有图片展示，被试看到的界面为空白，剩下的68个trial分为63个刺激trial和5个空白trial，空白trial在run中随机放置。对于偶数run有62个试次，第63个trial为空白。所以在一次观看图片和连续识别任务中总共呈现750个图片刺激。可选地，图片呈现频率为每张图片呈现3秒，图片之间呈现的间隔为1s。
步骤S302，获取深度学习模型的输入特征和约束条件。对自然图片进行剪裁处理，并通过残差卷积网络提取自然图片的特征。剪裁后的图片大小为（425，425，3），其中，425对应图片长或者宽，3对应红、黄、绿三个颜色通道。对图片的语义信息进行编码，可以采用UNet模型、Transformer模型、独热码等包含编解码的模型。以独热码编码为例，对图片的语义信息进行独热码编码得到多分类独热编码（multihots）。具体的，每张自然图片都包含一个80维度的数据，其中，80指coco图片集中具体事物的类别数。当图片包含某一类别，则multihots在该类别的值置为1，若不包含则multihots在该类别的值置为0。因为每张图片包含的类别可以为多个，所以multihots中包括不止一个1。将提取得到的图片特征和multihots共同作为深度学习模型的输入特征。
获取被试观看图片集时产生响应信号，其中，响应信号可以是任务态功能磁共振信号。通过广义线性模型提取任务态功能磁共振信号的特征得到beta值，其中，beta值代表被试各脑区的激活程度。图5是本实施例中任务态功能磁共振信号特征beta值的示意图。此时，提取得到beta值是基于体素的特征。选用标准fsaverage模板（皮层表面标准模板）将beta值映射到脑皮层，得到beta特征。beta值映射到大脑皮层后得到的beta特征，并将映射后的beta值作为深度学习模型的约束条件。
将部分深度学习模型的输入特征和对应的约束条件作为训练集，将剩余的深度学习模型的输入特征和剩余的约束条件作为测试集。其中，训练集为每个被试观看的不同的9000张图片对应的图片特征和响应特征，测试集为所有被试共同观看的1000张图片对应的图片特征和响应特征。
步骤S303，构建深度学习模型。示例性地，深度学习模型为包含图模型的融合模型，以Vision GNN (ViG，基于视觉的图神经网络)模型为基础，构建包含图模型的融合模型。其中，为ViG模型的输出加上MLP层（Multi-Layer Perceptron，多层感知器），从而保证输出数据的形状和beta特征的形状一致，使包含图模型的融合模型能够根据输入的第一特征预测得到对应的第二特征。fsaverage7和fsaverage5属于开源磁共振数据处理软件FreeSurfer提供的一套包含不同分辨率的标准模板，模型输入的beta值都统一到了fsaverage7的分辨率上。考虑显存大小的限制，将fsaverage7（高分辨率fsaverage7网格）的分辨率327684（包含左右半脑）先进行降采样到fsaverage5，使分辨率转换为fsaverage5的分辨率20484（包含左右半脑）。选择bert模型处理图片的语义信息。可以为bert模型的输出也加上MLP层，保证输出数据的形状与beta特征的形状一致。可选地，图模型可以选用resnet网络、mask-RCNN网络、diffusion model（扩散模型）等模型。
获取结构态磁共振信号和弥散磁共振信号。通过图卷积模型分别处理结构态磁共振信号和弥散磁共振信号，得到结构态磁共振特征和弥散磁共振特征。结构态磁共振特征和弥散磁共振特征形状为（20484，），即统一为fsaverage5的分辨率。可选地，构建包含图模型的融合模型时，可以根据实际情况选择，是否引入结构态磁共振特征和弥散磁共振特征作为模型的先验信息。
拼接图模型输出的图片特征、bert模型输出的图片语义信息的特征、处理后的结构态磁共振特征和弥散磁共振特征，得到形状为（20484，4）的数据。可选地，可以采用交叉注意力机制实现多种特征的融合。将拼接后的数据通过卷积层处理，输出形状为（20484，）的数据。对得到数据经过softmax层归一处理到（-1，1），获取预测值和beta特征的相似性系数。相似性系数用于判断度量深度学习模型预测的效果，并训练模型至收敛。包含图模型的融合模型的损失函数如下：
Figure SMS_1
其中，Corr()函数用于获取相似性系数，Predsoftmax为包含图模型的融合模型输出的预测值，β为beta特征，选择Adam优化器作为模型优化器。
可以使用网格搜索和随机搜索等方法，并结合cross-validation（交叉验证）对包含图模型的融合模型的模型学习率、图卷积层层数、卷积层层数、卷积核参数、通道数等的超参数进行调优。还可以对包含图模型的融合模型进行知识蒸馏，可选地蒸馏过程中引入图片的语义信息作为先验信息，蒸馏后的包含图模型的融合模型可以减少模型权重参数的参数量，达到提高模型预测准确率的效果。
步骤S304，生成语义图谱。对multihots和映射到皮层上的beta值进行拟合，将拟合权重对应到标准脑图谱，可选地，标准脑图谱可以为Brainnetome Atlas。对应到标准脑图谱的拟合权重进行解码，解码过程本质上是寻找图片语义和脑皮层响应之间的关系。可选地，生成多个语义类别，每个类别中包括多个具体词汇，每个词汇的颜色不同，不同颜色的词汇对应不同脑区的脑皮层响应。解码后选取最强表达语义类别得到语义图谱，图6是本实施例中语义图谱的示意图，如图6所示，可以查看各个脑区响应较强的语义信息。
步骤S305，通过靶区选择对应语义。根据需求从语义图谱上选择需要进行认知训练的靶点，譬如选取梭状回面孔区(fusiform face area，FFA)，根据语义图谱得到该靶对应的语义信息类别是“人”，并得到与该类别相关联的描述，即和“人”相关的描述，如“开心的人”、“大学生”。
步骤S306，生成认知训练素材。将与语义类别相关联的描述“开心的人”，“大学生”输入神经网络生成模型生成大量和语义相关的图片素材，图7是本实施例中认知训练素材的示意图。可选地，神经网络生成模型可以为stable diffusion（稳态扩散模型），也可以为包含扩散模型在内的融合模型。神经网络生成模型用于生成认知训练素材，其输入除了与靶点对应的语义信息外，还可以引入深度学习模型的浅层权重参数和深层的权重参数作为约束信息。
步骤S307，筛选认知训练素材。根据步骤S302中的方法，对认知训练素材或其他为用于训练深度学习模型的图片素材的进行特征提取。获取步骤S303中构建的深度学习模型的权重。根据提取得到的特征和训练好的深度学习模型的权重，预测该特征对应的目标靶点响应。根据预测得到的素材在FFA靶点响应信号大小进一步筛选素材。训练神经网络生成模型可以包括：根据深度学习模型的预测结果调节神经网络生成模型，也可以将特征提取和训练好的模型权重参数固定后，直接接入到生成模型，并对生成模型进一步优化。
步骤S308，进行靶向认知训练。将筛选后的认知训练素材用于认知训练，筛选后的认知训练素材可以推动靶点脑区的峰值活动超过自然发生水平。
其中，认知训练过程包括：以提升被试个体的注意力和记忆力为目标，在语义图谱上选取顶叶和额叶靶点，利用上述模型生成并筛选图片素材。招募两组被试开展训练实验和对照实验。首先训练组开展短期图片记忆实验，将上一步生成的训练素材进行整理收集并打乱顺序，作为该实验的刺激。该实验是在磁共振内完成，实验过程中，从刺激素材里随机挑选8个刺激依次呈现给被试，推动靶点脑区的峰值活动超过自然发生水平，每个刺激出现的时间固定，接着随机删除其中两个刺激，并回放其他6个刺激，让被试回忆哪些刺激没有出现，并在刺激播放完成之后通过声音或者手指按键的形式反馈给主试。对照组的实验范式和训练范式类似，不同的是，对照实验中给被试呈现的刺激为未经过图卷积训练的自然图片，通过依次显示图片素材之后，需要让被试在重播刺激之后识别哪些刺激没有出现。
采集两个组被试的磁共振数据，并记录行为学数据。通过准确率对照，判断实验组实验刺激是否更有利于训练专注力。其次，磁共振数据的激活结果也能作为关键证据证明训练实验素材的有效性，即通过对磁共振数据进行预处理和一般线性模型分析，并在组水平上进行统计检验，得到实验组比对照组激活较强的脑区位于认知训练的靶点位置，进一步证明了实验素材的有效性。
最后，按照预设时长，向被试展示将筛选后的认知训练素材，使其每天观看训练素材半小时，刺激被试与注意力和记忆相关脑区。
通过上述步骤，开展基于自然刺激的连续识别任务，收集刺激语义信息和采集磁共振信号；对自然刺激和刺激语义信息进行编码作为深度学习模型的输入，对磁共振信号提取特征作为深度学习模型的约束，送入已构建的深度学习模型进行训练，得到训练好的模型权重参数；对模型输入和模型约束进行拟合，将拟合权重对应到标准脑图谱再解码得到语义图谱；根据语义图谱选择需要的靶点，将靶点对应的语义信息输入已构建的神经网络生成模型，生成认知训练素材；将认知训练素材进行特征提取和模型预测，根据靶点响应进一步筛选认知训练素材；通过筛选后的认知训练素材用于被试认知训练。本方法通过磁共振和图卷积能无创、可度量的进行脑皮层靶点认知训练。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S101，获取第一特征和第二特征，其中，第一特征包括多媒体素材和对应于多媒体素材的语义信息，第二特征包括磁共振表征，第一特征和第二特征存在关联关系。
步骤S102，拟合第一特征和第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据语义图谱获取与目标靶点对应的目标语义信息。
步骤S104，将第一特征作为深度学习模型的输入，将第二特征作为深度学习模型的约束条件，训练深度学习模型，并在深度学习模型满足收敛条件的情况下，确定深度学习模型的权重参数。
步骤S105，根据目标语义信息和深度学习模型的权重参数，生成认知训练素材。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的认知训练素材生成方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种认知训练素材生成方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种认知训练素材生成方法，其特征在于，包括：
获取第一特征和第二特征，其中，所述第一特征包括多媒体素材和对应于所述多媒体素材的语义信息，所述第二特征包括磁共振表征，所述第一特征和所述第二特征存在关联关系；
拟合所述第一特征和所述第二特征，根据拟合结果和预设脑图谱得到语义图谱，根据所述语义图谱获取与目标靶点对应的目标语义信息；
将所述第一特征作为深度学习模型的输入，将所述第二特征作为所述深度学习模型的约束条件，训练所述深度学习模型，并在所述深度学习模型满足收敛条件的情况下，确定所述深度学习模型的权重参数；
根据所述目标语义信息和所述深度学习模型的权重参数，生成认知训练素材。
2.根据权利要求1所述的认知训练素材生成方法，其特征在于，生成认知训练素材包括：
将根据所述目标语义信息和所述深度学习模型的权重参数所生成的第一认知训练素材输入所述深度学习模型，预测得到与所述第一认知训练素材对应的第二特征；
判断与所述第一认知训练素材对应的第二特征是否满足预设条件；
根据判断结果筛选所述第一认知训练素材，得到第二认知训练素材。
3.根据权利要求1所述的认知训练素材生成方法，其特征在于，获取第一特征，包括：
通过卷积神经网络提取所述多媒体素材的特征，并对所述多媒体素材的语义信息进行编码，将所述多媒体素材的特征和编码后的语义信息作为所述第一特征。
4.根据权利要求1所述的认知训练素材生成方法，其特征在于，获取第二特征，包括：
获取与所述第一特征对应的功能磁共振信号，提取所述功能磁共振信号的特征，得到信号特征；
将所述信号特征映射至脑皮层，将映射后的信号特征作为所述第二特征。
5.根据权利要求4所述的认知训练素材生成方法，其特征在于，在将映射后的信号特征作为所述第二特征后，所述方法包括：
获取结构态磁共振信号和弥散磁共振信号；
将所述结构态磁共振信号、所述弥散磁共振信号作为所述第二特征。
6.根据权利要求1所述的认知训练素材生成方法，其特征在于，根据拟合结果和预设脑图谱得到语义图谱，包括：
将所述拟合结果映射到所述预设脑图谱，通过自编码器解码映射后的拟合结果；
根据解码结果分别选取各靶点中生成最强磁共振表征的语义信息，生成所述语义图谱。
7.根据权利要求1所述的认知训练素材生成方法，其特征在于，根据所述目标语义信息和所述深度学习模型的权重参数，生成第一认知训练素材，包括：
获取所述深度学习模型的浅层权重参数和深层权重参数；
根据所述目标语义信息作为输入信息、所述浅层权重参数和所述深层权重参数，生成第一认知训练素材。
8.一种认知训练方法，其特征在于，包括：
获取用户需要进行认知训练的靶点，根据语义图谱确定与所述靶点对应的语义信息；
根据所述语义信息获取认知训练素材，所述认知训练素材基于权利要求1至权利要求7任一项所述的认知训练素材生成方法得到；
按照预设时长，向所述用户展示所述认知训练素材。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求7中任一项所述的认知训练素材生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的认知训练素材生成方法的步骤。
CN202310538580.9A 2023-05-15 2023-05-15 认知训练素材生成方法、认知训练方法、装置和介质 Active CN116312971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310538580.9A CN116312971B (zh) 2023-05-15 2023-05-15 认知训练素材生成方法、认知训练方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310538580.9A CN116312971B (zh) 2023-05-15 2023-05-15 认知训练素材生成方法、认知训练方法、装置和介质

Publications (2)

Publication Number Publication Date
CN116312971A true CN116312971A (zh) 2023-06-23
CN116312971B CN116312971B (zh) 2023-08-29

Family

ID=86789104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310538580.9A Active CN116312971B (zh) 2023-05-15 2023-05-15 认知训练素材生成方法、认知训练方法、装置和介质

Country Status (1)

Country Link
CN (1) CN116312971B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578731A (zh) * 2023-07-05 2023-08-11 之江实验室 多媒体信息处理方法、系统、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307878A1 (en) * 2011-06-10 2014-10-16 X-System Limited Method and system for analysing sound
JP2019152761A (ja) * 2018-03-02 2019-09-12 株式会社エヌ・ティ・ティ・データ 外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラム
CN110727806A (zh) * 2019-12-17 2020-01-24 北京百度网讯科技有限公司 基于自然语言和知识图谱的文本处理方法及装置
US20200187841A1 (en) * 2017-02-01 2020-06-18 Cerebian Inc. System and Method for Measuring Perceptual Experiences
US20200253527A1 (en) * 2017-02-01 2020-08-13 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
CN112465905A (zh) * 2019-09-06 2021-03-09 四川大学华西医院 基于深度学习的磁共振成像数据的特征脑区定位方法
CN113164126A (zh) * 2018-12-04 2021-07-23 布雷恩维沃有限公司 利用脑特征活动图谱数据库来表征内容的装置和方法
KR20220117431A (ko) * 2021-02-17 2022-08-24 (주) 로완 인지능력 개발 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN114944229A (zh) * 2022-05-23 2022-08-26 中国科学院自动化研究所 基于深度学习和磁共振结构脑影像的脑龄预测方法
CN115153452A (zh) * 2022-03-02 2022-10-11 国家康复辅具研究中心 一种认知调控与训练系统
CN115708687A (zh) * 2022-11-21 2023-02-24 重庆邮电大学 一种基于人工神经网络的刺激图像重建方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307878A1 (en) * 2011-06-10 2014-10-16 X-System Limited Method and system for analysing sound
US20200187841A1 (en) * 2017-02-01 2020-06-18 Cerebian Inc. System and Method for Measuring Perceptual Experiences
US20200253527A1 (en) * 2017-02-01 2020-08-13 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
JP2019152761A (ja) * 2018-03-02 2019-09-12 株式会社エヌ・ティ・ティ・データ 外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラム
CN113164126A (zh) * 2018-12-04 2021-07-23 布雷恩维沃有限公司 利用脑特征活动图谱数据库来表征内容的装置和方法
CN112465905A (zh) * 2019-09-06 2021-03-09 四川大学华西医院 基于深度学习的磁共振成像数据的特征脑区定位方法
CN110727806A (zh) * 2019-12-17 2020-01-24 北京百度网讯科技有限公司 基于自然语言和知识图谱的文本处理方法及装置
KR20220117431A (ko) * 2021-02-17 2022-08-24 (주) 로완 인지능력 개발 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN115153452A (zh) * 2022-03-02 2022-10-11 国家康复辅具研究中心 一种认知调控与训练系统
CN114944229A (zh) * 2022-05-23 2022-08-26 中国科学院自动化研究所 基于深度学习和磁共振结构脑影像的脑龄预测方法
CN115708687A (zh) * 2022-11-21 2023-02-24 重庆邮电大学 一种基于人工神经网络的刺激图像重建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU ZHANG等: "Deep learning models of cognitive processes constrained by human brain connectomes", MEDICAL IMAGE ANALYSIS, vol. 80, pages 102507 *
肖娇: "基于功能磁共振成像的自然视频编码与语义网络分析", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 1, pages 1 - 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578731A (zh) * 2023-07-05 2023-08-11 之江实验室 多媒体信息处理方法、系统、计算机设备和存储介质
CN116578731B (zh) * 2023-07-05 2023-09-29 之江实验室 多媒体信息处理方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116312971B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Chang et al. BOLD5000, a public fMRI dataset while viewing 5000 visual images
O’Connell et al. Predicting eye movement patterns from fMRI responses to natural scenes
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
CN116312971B (zh) 认知训练素材生成方法、认知训练方法、装置和介质
Sakaki et al. Association learning for emotional harbinger cues: When do previous emotional associations impair and when do they facilitate subsequent learning of new associations?
US20230052100A1 (en) Systems And Methods For Optical Evaluation Of Pupillary Psychosensory Responses
Kim et al. A study in affect: Predicting valence from fMRI data
Raz et al. Robust inter-subject audiovisual decoding in functional magnetic resonance imaging using high-dimensional regression
US20230347100A1 (en) Artificial intelligence-guided visual neuromodulation for therapeutic or performance-enhancing effects
CN117137488B (zh) 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法
CN114145745A (zh) 基于图的多任务自监督情绪识别方法
Bajada et al. Real-time eeg-based emotion recognition using discrete wavelet transforms on full and reduced channel signals
JP7352914B2 (ja) 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
Yang et al. Neural univariate activity and multivariate pattern in the posterior superior temporal sulcus differentially encode facial expression and identity
Jaiswal et al. Understanding cognitive fatigue from fmri scans with self-supervised learning
Kaur et al. Early detection of ASD Traits in Children using CNN
Purabi et al. As you are, so shall you move your head: a system-level analysis between head movements and corresponding traits and emotions
Sharma et al. Neural correlates of affective content: application to perceptual tagging of video
Tou et al. Individualized Electrode Subset Improves the Calibration Accuracy of an EEG P300-design Brain-Computer Interface for People with Severe Cerebral Palsy
Lahner An fMRI dataset of 1,102 natural videos for visual event understanding
Zabudko Convolutional Neural Networks Architecture for Processing Brain MRI Images
Costantino et al. Partial information transfer from peripheral visual streams to foveal visual streams is mediated through local primary visual circuits
Carr Evaluating the Usability of Passthought Authentication
di Oleggio Castello Characterizing Feature Representations in the Human Face-processing Network with Multivariate Analyses and Encoding Models
Ma et al. A human-machine collaborative video summarization framework using pupillary response signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant