CN113616209A - 基于时空注意力机制的精神分裂症患者甄别方法 - Google Patents

基于时空注意力机制的精神分裂症患者甄别方法 Download PDF

Info

Publication number
CN113616209A
CN113616209A CN202110979429.XA CN202110979429A CN113616209A CN 113616209 A CN113616209 A CN 113616209A CN 202110979429 A CN202110979429 A CN 202110979429A CN 113616209 A CN113616209 A CN 113616209A
Authority
CN
China
Prior art keywords
brain
time
time window
network
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110979429.XA
Other languages
English (en)
Other versions
CN113616209B (zh
Inventor
李平
王标
余兰兰
黄罗杰
黄金诚
唐国根
黄睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202110979429.XA priority Critical patent/CN113616209B/zh
Publication of CN113616209A publication Critical patent/CN113616209A/zh
Application granted granted Critical
Publication of CN113616209B publication Critical patent/CN113616209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种基于时空注意力机制的精神分裂症患者甄别方法，属于智慧医疗领域，该甄别方法运用了结合注意力机制的动态脑功能网络分析方法对每个观察对象的fMRI信号数据进行处理分析；首先，基于fMRI信号值，通过网络建模的方法构建出动态脑功能网络；其次，针对现有的动态脑功能网络分析方法往往忽略了不同时间和脑区对于动态脑功能网络状态的不同作用与影响，构建结合时空注意力机制的卷积神经网络模型；再通过模型训练的方式，甄别出精神分裂症患者，与此同时得到不同脑区不同时间窗的重要性，并捕获正常人群和精神分裂症患者人群的各个时间点各个脑区的时变特性。本发明方法相比于现有的模型方法，具有高的召回率。

Description

基于时空注意力机制的精神分裂症患者甄别方法
技术领域
本发明属于智慧医疗领域，具体是一种基于时空注意力机制的精神分裂症患者甄别方法。
背景技术
精神分裂症，作为一种精神障碍疾病严重影响着患者的认知功能和心理健康。目前，精神分裂症患者的治疗给众多病人带来了巨大的经济负担，也花费了社会庞大的人力成本，众多精神分裂症患者的预期寿命降低了10-25年。众多科研工作人员借助于动态网络分析方法对每个观察对象的fMRI信号值进行分析，在甄别精神分裂症患者的同时展开患病机理研究。
针对动态脑功能网络的动态网络分析方法可以分为基于统计学习的动态脑功能网络分析方法和基于表示学习的动态脑功能网络分析方法。基于表示学习的动态脑功能网络分析方法通常基于搭建神经网络模型的方式，以任务为目的(如甄别脑疾病患者)，在训练模型的时候，捕获动态脑功能网络的特征。基于表示学习的动态脑功能网络分析方法常常会基于模型训练得到的各种特征，分析正常人群及相应脑疾病患者人群之间的差异。相比于统计式的这种偏向于自定义式/固定式的捕获特征方法，基于学习式的动态脑功能网络分析方法能够更好的适应不同的应用场景，针对不同的动态脑功能网络，提取其对应的时变特征。
基于学习式的动态脑功能网络分析方法可以分为两小类，第一类方法是已经构建好动态脑功能网络，再用神经网络框架学习动态脑功能网络的特征。另一类方法则是，动态脑功能网络的连接也是通过搭建神经网络模型训练得到的。
在第一类方法中，Kam等人提出了一种新的卷积神经网络模型。他们首先通过考虑静态和动态的脑功能连接构建多个脑功能连接网络，随后使用改进的降维方法将构建的网络分解为多组多个静态的脑功能网络，并使用动态脑功能网络中的体素方差来量化脑功能网络的动态性。最后，通过依次遮掩脑区输入到多通道的卷积神经网络模型，在完成模型训练的同时，得到各个脑区的注意力。
Fan等人提出了一种端到端的深度学习模型，该模型结合了卷积神经网络和长短期记忆网络(Long Short-term Memory Network，LSTM)来同时捕获脑网络的功能连接序列的时空特征。该模型使用了不同卷积核大小的卷积层来学习动态脑功能网络不同尺度下的特征，但是他们所捕获的特征更多的是站在网络拓扑连接这个宏观结构上，没有从时间和脑区的这种微观结构上考虑动态脑功能网络的时空特性。
Suk等人的工作与第一种方法不同，属于第二种方法。他们首先设计了一种深度自编码器(Deep Auto-Encoder)发现区域之间的分层非线性功能关系，从而将这种区域特征转换为一个以复杂功能网络为基础的嵌入空间。基于给定的功能特征嵌入，他们使用了隐马尔可夫模型(Hidden Markov Model，HMM)通过内部状态估计动态脑功能网络的特征。通过建立具有HMM的生成模型，得到了每个观察对象动态脑功能网络的状态，从而确定了观测对象的标签。
Jie等人也通过深度模型训练的方法，在对脑疾病诊断的同时，获取动态脑功能网络的连接。他们首先定义了一种新的加权相关核(wc-kernel)来衡量脑区之间的相关性，通过该方法以数据驱动的方式学习加权因子来表征不同时间点的贡献。具体地，首先定义一个卷积层来使用wc-kernel构建动态脑功能网络。然后，又定义另外三个卷积层，从构造的动态脑功能网络中依次提取局部(特定于大脑区域)，全局(特定于大脑网络)和时间特征对脑疾病进行诊断。
同样的，Azevedo等人通过结合图神经网络(Graph Neural Network，GNN)方法和时间卷积网络(Temporal Convolutional Networks，TCN)方法，以一种端到端的方式学习大脑的时间空间特征。具体的，使用GNN建模脑区之间的关系，使用TCN建模时序之间的关系，最后通过模型训练得到动态脑功能网络的连接，以及时间点之间的关系。
Huang等人提出了一种基于图卷积的神经网络框架的层次表示学习方法(Hierarchical Representation Learning)，他们的网络建模对象与上述方法不同。Huang等人将动态脑功能网络中的每个网络快照看作一个节点，节点的特征就是每个网络快照的拓扑连接情况，节点之间的连边通过节点的特征来学习。接着利用多个相接的图卷积池化层来学习不同层次下的动态脑功能网络状态特征，并将其输入到分类器中辨别精神分裂症患者。
这两类方法没有同时考虑动态脑功能网络中时间和脑区的重要性对于动态脑功能网络状态的不同影响，并且第二类方法由于考虑了动态脑功能网络连接的建模，虽然能够较科学的解决动态脑功能网络的连接，但很大程度上增加了算法的时间复杂度。
现有的基于表示学习的动态脑功能网络分析方法往往忽略了不同时间和脑区对于动态脑功能网络状态的不同作用与影响；同时在部分需要对动态脑功能网络的拓扑连接进行学习的方法中，虽然网络建模方式更加科学合理，但往往会导致算法的复杂度增加。
发明内容
本发明提供了一种基于表示学习的动态脑功能网络分析方法，通过构建的模型进行训练，在甄别精神分裂症患者的同时，捕获正常人群及精神分裂症患者人群不同时刻下不同脑区的时变特性。
为解决上述技术问题，本发明采用的技术方案如下：
一种基于时空注意力机制的精神分裂症患者甄别方法，包括以下步骤：
步骤1：获取每个观察对象各个脑区的序列信号值，序列长度为T；
步骤2：采用滑动窗的方式获取各个脑区在T个时刻下的时间窗特征，利用皮尔逊相关系数计算各个脑区在各个时刻下的相关性，构建出时间尺度为T的动态脑功能网络；
步骤3：对获取的T个时刻的n*n维的脑功能网络进行PCA(Principal ComponentAnalysis，主成分分析)降维操作，降至n*d维；再将其铺平至T个1*(n*d)维向量，并再次借助滑动窗将其重构成Tw个1*(T/Tw*n*d)维向量；其中，Tw为时间窗的数量，每个时间窗内包含T/Tw个脑功能网络，n表示脑区数，d表示脑区特征维度；
步骤4：引入时空注意力机制，根据时间窗和脑区的各自特征自适应的学习到每个时间窗、每个脑区的权重；借助时空注意力机制，将Tw个时间窗内的脑功能网络聚合；
步骤5：搭建卷积神经网络模型；采用1*(n*d)的卷积核对动态脑功能网络特征进行卷积操作，并采用1*1的卷积核承担池化作用捕获其时间特性；
步骤6：将卷积池化之后的特征送入至全连接层降维；
步骤7：采用分类器完成分类。
进一步地，步骤4中，每个时间窗权重计算如下：
1)将时间窗内每个网络快照特征铺平至1*(n*d)维向量；
2)再将每个铺平的网络特征映射到空间Q中降维；
3)完成降维后，将同一个时间窗中的多个特征拼接在一起，作为最后的时间窗特征；
4)借助一个权重向量
Figure BDA0003228492990000051
将每一个高维的时间窗特征变为标量后用激活函数进行激活操作，并借助SoftMax函数计算得到各时间窗的权重值αi；具体的计算如下式所示；
Figure BDA0003228492990000052
其中，
Figure BDA0003228492990000053
是第j个时间窗内铺平后的每个网络的特征，
Figure BDA0003228492990000054
是第i个时间窗内铺平后的每个网络的特征，||是拼接符号，σ是一个激活函数，Q表示空间，在此公式中是一组向量构成的向量空间。
进一步地，步骤4中，每个脑区的权重计算如下：
1)将各个时间窗内各个脑区的特征映射到空间U中；
2)将每个脑区全部时刻的特征拼接在一起，作为每个脑区在整个时序上的特征；
3)借助于一个权重向量
Figure BDA0003228492990000055
将每一个高维的脑区特征映射为标量，并借助SoftMax函数计算得到各脑区的权重值
Figure BDA0003228492990000056
具体的计算如下式所示；
Figure BDA0003228492990000057
其中
Figure BDA0003228492990000058
分别是脑区o在1至T个时刻的特征；
Figure BDA0003228492990000059
分别是脑区q在1至T个时刻的特征，U表示空间，在此公式中是一组向量构成的向量空间。
进一步地，所述步骤4中，所述激活函数σ采用激活函数LeakyReLU。
进一步地，在步骤5中，结合注意力机制的卷积神经网络模型的目标损失函数为L1交叉熵损失函数，并引入矩阵的F范数防止模型训练过拟合，引入后，模型最终的损失函数上为：
Figure BDA0003228492990000061
Figure BDA0003228492990000062
其中，VL是参与训练的观察对象集合，c表示观察对象的类别数；yv，k是一个指示函数，如果观察对象v属于类别k，则yv，k为1，反之则为0；pv，k是观察对象v属于类别k的概率，λ是正则项系数，W是模型中需要训练学习的参数。
进一步地，所述步骤5中卷积神经网络模块替换为循环神经网络模块。
进一步地，在步骤7中，所述分类器采用SoftMax函数。
与现有技术相比，本发明的有益效果是：相比于现有的模型，本方法具有高召回率，本模型算法能够甄别出全部的精神分裂症患者；本模型方法通过引入注意力机制，捕获了不同时间窗不同脑区的重要性，从而发现不同人群的动态脑功能网络的时变特性；本模型在使用卷积神经网络模块时，没有直接将动态脑功能网络的邻接矩阵直接当作像素矩阵进行特征处理，相当于在保留原有的动态脑功能网络各个时刻的拓扑信息的基础上继续特征学习。
附图说明
图1是基于时空注意力的动态脑功能网络分类模型示意图。
图2是时间窗的注意力计算示意图。
图3是脑区的注意力计算示意图。
图4是各观察对象的脑区注意力示意图。
图5是全部观察人群中排名前1/2的各脑区的出现频率。
图6是重要脑区在不同人群中排名在前1/2的频率。
图7是各观察对象的时间窗注意力示意图。
图8是正常人群及精神分裂症患者人群的排名前3的重要时间窗的平均间隔。
图9是正常人群及精神分裂症患者人群的排名前4的重要时间窗的平均间隔。
图10是正常人群及精神分裂症患者人群的排名前5的重要时间窗的平均间隔。
图11是精神分裂症患者样本1号的杏仁核_左脑区所形成的闭环三角形结构追踪。
图12是精神分裂症患者样本2号的杏仁核_左脑区所形成的闭环三角形结构追踪。
图13是正常人样本155号的杏仁核_左脑区所形成的闭环三角形结构追踪。
图14是正常人样本156号的杏仁核_左脑区所形成的闭环三角形结构追踪。
图15是精神分裂症患者样本1号的颞极:颞上回_右脑区所形成的闭环三角形结构追踪。
图16是精神分裂症患者样本2号的颞极:颞上回_右脑区所形成的闭环三角形结构追踪。
图17是正常人样本155号的颞极:颞上回_右脑区所形成的闭环三角形结构追踪。
图18是正常人样本156号的颞极:颞上回_右脑区所形成的闭环三角形结构追踪。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明目的是探究精神分裂症患者和正常人群不同时刻不同脑区的时变特性(即探究精神分裂症患者的患病机理)，提出了一种结合时空注意力机制的卷积神经网络模型，在甄别精神分裂症患者的同时，捕获不同时刻不同脑区的重要性。
一、动态脑功能网络模型及分类方法
本发明基于时空注意力机制的精神分裂症患者甄别方法，如图1所示。
1)获取每个观察对象各个脑区的序列信号值，序列长度为T；
2)采用滑动窗的方式获取各个脑区在T个时刻下的时间窗特征，利用皮尔逊相关系数计算各个脑区在各个时刻下的相关性，从而构建出时间尺度为T的动态脑功能网络；
3)对获取的T个时刻的n*n维的脑功能网络进行降维操作，降至n*d维，随后将其铺平至T个1*(n*d)维向量。并再次借助滑动窗将其重构成Tw个(T/Tw*n*d)维向量，d表示脑区特征维度；Tw为时间窗的数量，每个时间窗内包含T/Tw个脑功能网络。
4)引入时空注意力机制，主要根据时间窗和脑区的各自特征自适应的学习到每个时间窗每个脑区的权重。并借助时空注意力机制，将Tw个时间窗内的多个脑功能网络聚合(每个时间窗内的各个脑区各个时间窗的特征会乘以权重后进行一个加和操作)，得到Tw个1*(n*d)维向量；
5)搭建卷积神经网络模型，具体的用1*(n*d)的卷积核(向下滑动距离为1)对上述的动态脑功能网络特征进行卷积操作，并用1*1的卷积核(滑动距离为1)承担池化作用捕获其时间特性；
6)将卷积池化之后的特征送入至全连接层降维；
7)采用分类器(SoftMax函数)完成分类(输出观察对象属于正常人和精神分裂症患者的概率)。
模型的目标损失函数是交叉熵损失函数L1。为了防止模型过拟合，引入了矩阵的F范数，最后的损失函数L如下式所示：
Figure BDA0003228492990000091
Figure BDA0003228492990000092
其中，VL是参与训练的观察对象集合，c表示观察对象的类别数，在这里c＝2。yv，k是一个指示函数，如果观察对象v属于类别k，则yv，k为1，反之则为0。pv，k是观察对象v属于类别k的概率，λ是正则项系数，W是模型中需要训练学习的参数。本发明通过优化该损失函数，最后获得甄别精神分裂症患者模型。
二、时空注意力机制
注意力机制能够通过模型训练学习得到的高权重关注那些重要信息(在获取动态脑功能网络特征的时候需要结合考虑每个时间窗每个脑区的权重)，并丢弃掉那些学习得到的低权重关注的不重要信息，具有极高的可扩展性和鲁棒性。在本模型中需要对观察对象中不同的脑区以及不同的时间窗口进行不同的关注，在图1中聚合每个时间窗内的动态脑功能网络特征时，使用了注意力值。本模型的前提假设是观察对象的脑区权重在连续的观测时间内是保持不变的，时间窗注意力及脑区注意力的计算分别如图2、图3所示。
1、时间窗注意力
如图2所示，计算时间窗注意力时，首先需要将时间窗内每个网络快照特征铺平至1*(n*d)维向量，接着将每个铺平的网络特征映射到空间Q中进行降维操作(将Q中的每一个行向量作为坐标基，获得
Figure BDA0003228492990000093
在每个坐标基下对应的坐标值)。在完成降维操作后，需要将同一个时间窗中的多个特征拼接在一起，作为最后的时间窗特征。最后，借助一个权重向量
Figure BDA0003228492990000094
(将
Figure BDA0003228492990000095
视为一个坐标基)，将每一个高维的时间窗特征变为标量后用激活函数进行激活操作，并借助SoftMax函数计算得到各时间窗的权重值αi。具体的计算如下式所示。
Figure BDA0003228492990000101
其中，
Figure BDA0003228492990000102
是第j个时间窗内铺平后的每个网络的特征，
Figure BDA0003228492990000103
是第i个时间窗内铺平后的每个网络的特征，||是拼接符号，σ是一个激活函数，在这里可选择LeakyReLU作为激活函数，这是一种ReLU函数的变体，按照一定的比例保留负值。
2、脑区注意力
计算脑区的注意力方式与计算时间窗的注意力方式类似。如图3所示，首先需要将各个时间窗内各个脑区的特征映射到空间U中。之后，将每个脑区全部时刻的特征拼接在一起，作为每个脑区在整个时序上的特征。最后，同样的借助于一个权重向量
Figure BDA0003228492990000104
将每一个高维的脑区特征映射为标量，并借助SoftMax函数计算得到各脑区的权重值
Figure BDA0003228492990000105
具体的计算如下式所示。
Figure BDA0003228492990000106
其中
Figure BDA0003228492990000107
分别是脑区o在1至T个时刻的特征；
Figure BDA0003228492990000108
分别是脑区q在1至T个时刻的特征。
三、分类结果评估
分类模型常用的评估指标是Acc(Accuracy，准确率)，P(Precision，精确率)，R(Recall，召回率)，F1值。
准确率的定义如下式所示：
Figure BDA0003228492990000109
其中m表示数据样本的数目，xi为其中的一条数据，f(xi)表示为xi的预测标签，yi是数据xi的真实标签。
P，R，F1值根据TP，FN，FP，TN计算，TP，FN，FP，TN的定义如表1所示。
表1分类结果混淆矩阵
Figure BDA0003228492990000111
其中，TP表示真实正例中预测为正例的数量，FP表示真实反例中预测为正例的数量，TN表示真实反例中预测为反例的数量，FN表示真实正例中预测为反例的数量。
精确率，召回率，F1值的定义分别如下式所示：
Figure BDA0003228492990000112
Figure BDA0003228492990000113
Figure BDA0003228492990000114
其中，精确率P就是预测标签为正例的样本中实际含有的正例比例，召回率R就是真实正例中预测为正例的比例，F1值可以理解为P、R的调和平均数。
本发明模型针对的目的是对精神分裂症患者进行甄别。本模型与3个基线模型进行对比，包括Kam等人提出的SDBFN-CNN模型，Huang等人提出的HARL模型，以及Jie等人提出的wck-CNN模型。其中第一种方法是基于预先定义好了的动态脑功能连接网络进行深度神经网络模型的训练，后两种是在深度神经网络模型训练的过程中获取动态脑功能网络的连接状态及相关特征。
表2基于注意力机制的动态脑功能网络分类结果
Figure BDA0003228492990000121
表2中的TS-CNN模型是本章的模型方法，跟这些对方法相比，本模型方法的召回率(R)是最高的，表明该模型可以辨别出测试集中全部的精神分裂症患者。本模型的F1值好于SDBFN-CNN模型，但同时也比较接近于HARL和wck-CNN模型。其中wck-CNN模型的F1值最高，因为wck-CNN模型中动态脑功能网络的连接状态是模型训练学习出来的，每个观察对象可以根据自身的fMRI序列信息的特征获得一个合适的描述各个脑区相关性的动态网络拓扑结构。当然，wck-CNN模型的算法复杂度相比于其他方法及本模型方法是最高的。总体而言，本模型F1值是一个可以接受的结果，并且本模型相比于SDBFN-CNN和HARL模型可以获取更多解释性的结果(脑区注意力和时间窗注意力)。
四、机理分析
针对模型训练得到的脑区注意力及时间窗重要性，利用统计的方法分析不同人群之间的不同时刻下不同脑区的时变特性。
1、脑区重要性
基于模型训练得到的脑区注意力，将其进行可视化，可以看出部分脑区节点(例如33号脑区，34号脑区，即岛叶左，岛叶右脑区)无论是在正常人群还是精神分裂症人群中都有着较大的权重。
基于权重值，统计了全部的观察人群中排名前1/2的脑区出现的频率如图5所示，以此来找出频繁的脑区作为重要脑区。在这里以0.7为阈值，来筛选那些出现频率高于0.7的脑区，找出的重要脑区分别是杏仁核_左(45)，颞极:颞上回_右(88)，颞极:颞上回_左(87)，岛叶_右(34)，颞上回_左(85)，杏仁核_右(46)，嗅皮质_左(17)，岛叶_左(33)，豆状壳核_右(78)9个脑区。
图6统计了这些重要脑区在不同人群中排名在前1/2的频率。从图6可以看出这些重要脑区在正常人群核精神分裂症患者人群中存在着明显区分，即正常人群中重要脑区出现的频率高于精神分裂症患者人群，从中可以推断当正常人患上精神分裂症时，原本的重要脑区会在脑功能网络中的重要性会降低。
2、时间窗重要性
图7是各观察对象的时间窗注意力的可视化，可以初步发现，不同观察对象的重要时间窗的时间间隔存在差异，该图左半部分观察对象(1号-154号)即患病人群的颜色较深的方块明显较分散，而右半部分观察对象即正常人群的颜色较深的方块相对密集。
为了量化重要时间窗的间隔，本发明做了如下探索，首先观察最重要的几个时间窗之间的平均间隔，分别统计了排名前3，前4，前5的重要时间窗的平均间隔。例如，排名前五的时间窗分别是(17，5，1，33，45)，那么其平均时间间隔为(5-1+17-5+33-17+45-33)/(5-1)＝11。从图8-10中可以看出精神分裂症患者人群的重要时间窗的平均间隔的中位数是高于正常人群的，总体来看精神分裂症患者人群的重要时间的间隔普遍高于健康人群的。时间窗的权重不一样，可以认为时间窗下的脑功能网络的状态也是不一样的，重要的时间窗间隔越大，可以认为发生状态转换的能力越弱。那么精神分裂症患者人群的状态转换能力是弱于正常人群的。
为了进一步深入分析正常人群及精神分裂症患者人群之间的差异，结合统计得到的重要脑区，观察不同人群的这些重要脑区在重要时间点处的拓扑差异。具体地，对重要时间窗内(1个时间窗包含3个时间点)的重要脑区构成的闭环三角形结构进行了追踪，如果有和其他重要脑区形成闭环三角形的结构的情况，那么这些其他重要脑区所构成的闭环三角形结构也需进行追踪，并以两个精神分裂症患者样本(1号，2号)和两个正常人样本(155号，156号)的杏仁核_左(45)，颞极:颞上回_右(88)脑区为例进行可视化说明。
如图11至图14所示，大节点为找出的重要脑区，小节点是和重要脑区构成闭环三角形的脑区。闭环三角形这种motif结构已经被证实，在脑功能网络中具有一定的生物学意义。以杏仁核_左脑区所在的社团追踪为例，在正常人样本155号及156号中可以发现会有较多其他重要脑区和杏仁核_左脑区在连续的时间内都是构成了闭环三角形结构，而精神分裂症患者大脑内的其他重要脑区数相对较少，并且随着时间演化，其他重要脑区会与杏仁核_左脑区发生脱离。例如图5-10中精神分裂症患者样本1号的重要时间窗中，大节点的数目在减少。
同样的，如图15至18所示，对颞上回_右脑区所形成的闭环三角形进行追踪发现了同样的规律，在精神分裂症患者样本1号及2号的重要时间窗内发现，重要脑区数目相对较少并有减少现象，并且闭环三角形结构也随之减少。
从上述例子可以发现，在动态脑功能网络中，正常人群的重要脑区在重要时间窗内更偏向于相互连接，同时形成较多的闭环三角形结构。相反，精神分类中患者人群的重要脑区在重要时间窗内更偏于断开连接，同时闭环三角形结构有变少的趋势。
表3本发明具体实例说明中所研究的94个脑区编号及其对应的中英文名称
Figure BDA0003228492990000141
Figure BDA0003228492990000151
Figure BDA0003228492990000161
Figure BDA0003228492990000171
综上，本发明通过构建的模型进行训练，甄别出精神分裂症患者，与此同时得到不同脑区不同时间窗的重要性，并捕获正常人群和精神分裂症患者人群的各个时间点各个脑区的时变特性。本发明方法相比于现有的模型方法，具有高的召回率。

Claims (7)

1.一种基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，包括以下步骤：
步骤1：获取每个观察对象各个脑区的序列信号值，序列长度为T；
步骤2：采用滑动窗的方式获取各个脑区在T个时刻下的时间窗特征，利用皮尔逊相关系数计算各个脑区在各个时刻下的相关性，构建出时间尺度为T的动态脑功能网络；
步骤3：对获取的T个时刻的n*n维的脑功能网络进行主成分分析降维操作，降至n*d维；再将其铺平至T个1*(n*d)维向量，并再次借助滑动窗将其重构成Tw个1*(T/Tw*n*d)维向量；其中，Tw为时间窗的数量，每个时间窗内包含T/Tw个脑功能网络，n表示脑区数，d表示脑区特征维度；
步骤4：引入时空注意力机制，根据时间窗和脑区的各自特征自适应的学习到每个时间窗、每个脑区的权重；借助时空注意力机制，将Tw个时间窗内的脑功能网络聚合；
步骤5：搭建卷积神经网络模型；采用1*(n*d)的卷积核对动态脑功能网络特征进行卷积操作，并采用1*1的卷积核承担池化作用捕获其时间特性；
步骤6：将卷积池化之后的特征送入至全连接层降维；
步骤7：采用分类器完成分类。
2.根据权利要求1所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，在步骤4中，每个时间窗权重计算如下：
1)将时间窗内每个网络快照特征铺平至1*(n*d)维向量；
2)再将每个铺平的网络特征映射到空间Q中降维；
3)完成降维后，将同一个时间窗中的多个特征拼接在一起，作为最后的时间窗特征；
4)借助一个权重向量
Figure FDA0003228492980000021
将每一个高维的时间窗特征变为标量后用激活函数进行激活操作，并借助SoftMax函数计算得到各时间窗的权重值αi；具体的计算如下式所示；
Figure FDA0003228492980000022
其中，
Figure FDA0003228492980000023
是第j个时间窗内铺平后的每个网络的特征，
Figure FDA0003228492980000024
是第i个时间窗内铺平后的每个网络的特征，||是拼接符号，σ是一个激活函数。
3.根据权利要求2所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，在步骤4中，每个脑区的权重计算如下：
1)将各个时间窗内各个脑区的特征映射到空间U中；
2)将每个脑区全部时刻的特征拼接在一起，作为每个脑区在整个时序上的特征；
3)借助于一个权重向量
Figure FDA0003228492980000025
将每一个高维的脑区特征映射为标量，并借助SoftMax函数计算得到各脑区的权重值
Figure FDA0003228492980000026
具体的计算如下式所示；
Figure FDA0003228492980000027
其中，
Figure FDA0003228492980000028
分别是脑区o在1至T个时刻的特征；
Figure FDA0003228492980000029
分别是脑区q在1至T个时刻的特征。
4.根据权利要求2所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，所述步骤4中，所述激活函数σ采用激活函数LeakyReLU。
5.根据权利要求3所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，在步骤5中，结合注意力机制的卷积神经网络模型的目标损失函数为L1交叉熵损失函数，并引入矩阵的F范数防止模型训练过拟合，引入后，模型最终的损失函数L为：
Figure FDA0003228492980000031
Figure FDA0003228492980000032
其中，VL是参与训练的观察对象集合，c表示观察对象的类别数；yv，k是一个指示函数，如果观察对象v属于类别k，则yv，k为1，反之则为0；pv，k是观察对象v属于类别k的概率，λ是正则项系数，W是模型中需要训练学习的参数。
6.根据权利要求3所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，所述步骤5中卷积神经网络模块替换为循环神经网络模块。
7.根据权利要求1所述的基于时空注意力机制的精神分裂症患者甄别方法，其特征在于，在步骤7中，所述分类器采用SoftMax函数。
CN202110979429.XA 2021-08-25 2021-08-25 基于时空注意力机制的精神分裂症患者甄别方法 Active CN113616209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110979429.XA CN113616209B (zh) 2021-08-25 2021-08-25 基于时空注意力机制的精神分裂症患者甄别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110979429.XA CN113616209B (zh) 2021-08-25 2021-08-25 基于时空注意力机制的精神分裂症患者甄别方法

Publications (2)

Publication Number Publication Date
CN113616209A true CN113616209A (zh) 2021-11-09
CN113616209B CN113616209B (zh) 2023-08-04

Family

ID=78387856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110979429.XA Active CN113616209B (zh) 2021-08-25 2021-08-25 基于时空注意力机制的精神分裂症患者甄别方法

Country Status (1)

Country Link
CN (1) CN113616209B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768465A (zh) * 2021-09-15 2021-12-10 安徽师范大学 基于卷积网络和长短期记忆网络的脑网络特征提取方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144691A (zh) * 2012-03-02 2014-11-12 N·V·努特里奇亚 改善功能突触连通性的方法
US9107595B1 (en) * 2014-09-29 2015-08-18 The United States Of America As Represented By The Secretary Of The Army Node excitation driving function measures for cerebral cortex network analysis of electroencephalograms
US20160196649A1 (en) * 2015-01-06 2016-07-07 Siemens Healthcare Gmbh Method for determining an intracortical working state of a functional network in the brain
CN107802262A (zh) * 2017-11-09 2018-03-16 常州大学 一种脑电结合vr用于儿童多动注意缺陷干预治疗的装置
CN107909117A (zh) * 2017-09-26 2018-04-13 电子科技大学 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置
CN109376751A (zh) * 2018-08-21 2019-02-22 北京工业大学 一种基于卷积神经网络的人脑功能网络分类方法
CN109793528A (zh) * 2019-01-28 2019-05-24 华南理工大学 一种基于动态脑功能网络的情绪分类方法
CN110522412A (zh) * 2019-03-20 2019-12-03 天津大学 基于多尺度脑功能网络分类脑电信号的方法
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
US20200265291A1 (en) * 2019-02-18 2020-08-20 Nec Laboratories America, Inc. Spatio temporal gated recurrent unit
CN111568446A (zh) * 2020-05-28 2020-08-25 兰州大学 结合人口学注意力机制的便携式脑电抑郁检测系统
CN111882622A (zh) * 2020-07-31 2020-11-03 常州大学 一种大脑功能网络的转换方法
CN112800998A (zh) * 2021-02-05 2021-05-14 南京邮电大学 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112971781A (zh) * 2020-12-30 2021-06-18 杭州电子科技大学 一种基于脑功能网络抑郁对比方法
CN113040715A (zh) * 2021-03-09 2021-06-29 北京工业大学 一种基于卷积神经网络的人脑功能网络分类方法
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144691A (zh) * 2012-03-02 2014-11-12 N·V·努特里奇亚 改善功能突触连通性的方法
US9107595B1 (en) * 2014-09-29 2015-08-18 The United States Of America As Represented By The Secretary Of The Army Node excitation driving function measures for cerebral cortex network analysis of electroencephalograms
US20160196649A1 (en) * 2015-01-06 2016-07-07 Siemens Healthcare Gmbh Method for determining an intracortical working state of a functional network in the brain
CN107909117A (zh) * 2017-09-26 2018-04-13 电子科技大学 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置
CN107802262A (zh) * 2017-11-09 2018-03-16 常州大学 一种脑电结合vr用于儿童多动注意缺陷干预治疗的装置
CN109376751A (zh) * 2018-08-21 2019-02-22 北京工业大学 一种基于卷积神经网络的人脑功能网络分类方法
CN109793528A (zh) * 2019-01-28 2019-05-24 华南理工大学 一种基于动态脑功能网络的情绪分类方法
US20200265291A1 (en) * 2019-02-18 2020-08-20 Nec Laboratories America, Inc. Spatio temporal gated recurrent unit
CN110522412A (zh) * 2019-03-20 2019-12-03 天津大学 基于多尺度脑功能网络分类脑电信号的方法
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111568446A (zh) * 2020-05-28 2020-08-25 兰州大学 结合人口学注意力机制的便携式脑电抑郁检测系统
CN111882622A (zh) * 2020-07-31 2020-11-03 常州大学 一种大脑功能网络的转换方法
CN112971781A (zh) * 2020-12-30 2021-06-18 杭州电子科技大学 一种基于脑功能网络抑郁对比方法
CN112800998A (zh) * 2021-02-05 2021-05-14 南京邮电大学 融合注意力机制和dmcca的多模态情感识别方法及系统
CN113040715A (zh) * 2021-03-09 2021-06-29 北京工业大学 一种基于卷积神经网络的人脑功能网络分类方法
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
JI, JUNZHONG；XING, XINYING；YAO, YAO: "Convolutional kernels with an element-wise weighting mechanism for identifying abnormal brain connectivity patterns", 《PATTERN RECOGNITION 》 *
YEH, YA-CHIN；LIN, CHUNG-YING；LI, PING-CHIA等: "A Systematic Review of the Current Measures of Theory of Mind in Adults with Schizophrenia", 《INTERNATIONAL JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH》 *
ZHANG, QING；LI, PING；YANG, ZHENGQUAN；CHEN, ZENGQIANG: "Distance Constrained Based Adaptive Flocking Control for Multiagent Networks with Time Delay", 《MATHEMATICAL PROBLEMS IN ENGINEERING 》 *
刘亚朋: "基于脑电信号的癫痫检测及预测算法研究", 《万方》 *
周雯,史天运,李平,等.: "基于2阶级联轻量级卷积神经网络的高铁接触网悬挂紧固件缺陷识别方法", 《中国铁道科学》 *
姚棋: "基于深度学习的fMRI分类系统设计与实现", 《CNKI》 *
张亮堂,林小东,吴桐,叶鑫武,李平,崔光成,姜德国.: "精神分裂症的多模态脑影像学研究进展", 《齐齐哈尔医学院学报》 *
徐佳琳: "协作行为运动想象的神经机制与脑机接口研究", 《浙江省,中国科学院宁波材料技术与工程研究所》 *
徐功铖: "基于近红外光谱技术的驾驶员注意力分散态脑功能连接特性分析", 《CNKI》 *
王华锋,张鹏.: "面向特定场景的行为识别算法的研究", 《科学技术创新》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768465A (zh) * 2021-09-15 2021-12-10 安徽师范大学 基于卷积网络和长短期记忆网络的脑网络特征提取方法

Also Published As

Publication number Publication date
CN113616209B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN104992223B (zh) 基于深度学习的密集人数估计方法
Farsadnia et al. Identification of homogeneous regions for regionalization of watersheds by two-level self-organizing feature maps
CN109508360A (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
CN107133651B (zh) 基于超网络判别子图的功能磁共振影像数据分类方法
CN109117864A (zh) 基于异构特征融合的冠心病风险预测方法、模型及系统
CN107506797A (zh) 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN109993230A (zh) 一种面向脑功能磁共振图像分类的tsk模糊系统建模方法
CN111081379B (zh) 一种疾病概率决策方法及其系统
CN111090764A (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN112464701A (zh) 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN110889496A (zh) 一种基于对抗生成网络的人脑效应连接识别方法
CN110502989A (zh) 一种小样本高光谱人脸识别方法及系统
CN111586728A (zh) 一种面向小样本特征的异构无线网络故障检测与诊断方法
CN113616209A (zh) 基于时空注意力机制的精神分裂症患者甄别方法
Alashban et al. Single convolutional neural network with three layers model for crowd density estimation
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统
CN114287910A (zh) 一种基于多阶段图卷积融合的脑功能连接分类方法
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
Ye et al. Multiple-instance CNN Improved by S3TA for Colon Cancer Classification with Unannotated Histopathological Images
CN111860258A (zh) 基于三维卷积神经网络的考场全局事件检测方法及系统
Balaji et al. Plant Infirmity Detection Using Vgg-16 Convolutional Neural Network
Ara et al. Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant