CN112259228B - 一种动态注意力网络非负矩阵分解的抑郁症筛选方法 - Google Patents

Abstract

本发明公开了一种动态注意力网络非负矩阵分解的抑郁症筛选方法，包括如下步骤：步骤1：对于截取的时间窗口内的所有通道神经数据，对于要处理的两两通道，分别取得相应通道的神经数据，记为X和Y，然后计算X和Y之间的最大信息系数；步骤2：根据自编码器网络，构造步骤1中相关矩阵的非线性注意力；步骤3：根据步骤2，设计基于注意力的非负矩阵分解算法，对步骤1中所有时间窗口的相关矩阵CMMIC进行基于注意力的非负矩阵分解，得到分解后的因子矩阵W和H；步骤4：设计层次卷积神经网络，对步骤3所得到的分解因子矩阵进行分类。

Description

一种动态注意力网络非负矩阵分解的抑郁症筛选方法

技术领域

本发明涉及一种抑郁症筛选方法，特别涉及一种动态注意力网络非负矩阵分解的抑郁症筛选方法。

背景技术

癫痫、帕金森和严重抑郁症等脑健康问题持续受到科研工作者和医疗界的关注，其早诊断进而早治疗在改善健康方面起着举足轻重的作用。特别地，对于严重抑郁症来说，准确的预知大脑状态可以大大降低患者自杀的风险，致使其成为神经科学研究和临床实践所追求的目标。同步现象广泛存在于大脑各区域及其相互作用过程当中，小到神经元对之间，大到某个脑区内部或者不同功能脑区之间。研究表明，对于认知功能受损的各种脑疾病而言，其往往呈现出与正常人不同的脑电同步模式。

矩阵分解将高维空间的特征映射到低维子空间中，常用的矩阵分解方法有主成分分析、线性判别分析、非负矩阵分解和奇异值分解等。其中，由于非负矩阵分解首次添加非负限制而具有解释性良好而受到广泛关注。在此基础上，很多学者对其进行了算法改进。其主要的改进方向是增加正则条件：如稀疏性、图正则、正交性等，并成功运用于图像处理和神经信息处理中。然而，这些方法假设数据服从均匀分布，只关注如何提高分解后数据的稀疏度，缺乏对感兴趣特征的着重刻画。注意力机制是当前深度学习领域的最新成果，它可以帮助模型更好的捕捉和增强感兴趣特征，从而优化模型结构。其主要机制是对输入进行加权。注意力机制早在2014年成功应用于机器翻译任务中，之后受到广大学者的关注，产生了很多形式的变体和改进算法。为了快速的对图像的关键区域进行超分辨率分析，一种基于自适应注意力机制的循环神经网络被提出，该模型通过自我强化的注意力机制自适应选择并提取图像中的重点区域或位置点的相关特征，提升对图像的识别率。在进行矩阵分解时获取全局特征的同时引入自注意力机制充分了解细节信息提供了新思路。现有技术中，引入自注意力机制缺乏相关的应用，对于不同模态特征的处理缺乏方法，导致抑郁症的早期不能较早的发现。

发明内容

本发明的目的在于提供一种动态注意力网络非负矩阵分解的抑郁症筛选方法，应用此注意力机制实现基于注意力机制的非负矩阵算法，该算法提取了相关矩阵的最重要的感兴趣特征，最后设计分层卷积神经网络分类器实现不同模态特征的处理，并实现抑郁症的早期发现，可以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种动态注意力网络非负矩阵分解的抑郁症筛选方法，包括如下步骤：

步骤1：对于截取的时间窗口内的所有通道神经数据，对于要处理的两两通道，分别取得相应通道的神经数据，记为X和Y，然后计算X和Y之间的最大信息系数；

步骤2：根据自编码器网络，构造步骤1中相关矩阵的非线性注意力；

步骤3：根据步骤2，设计基于注意力的非负矩阵分解算法，对步骤1中所有时间窗口的相关矩阵CMMIC进行基于注意力的非负矩阵分解，得到分解后的因子矩阵W和H；

步骤4：设计层次卷积神经网络，对步骤3所得到的分解因子矩阵进行分类。

进一步地，步骤1的计算方法如下：

给定一个有限数据集D以及双变量有序对<X,Y>,在x-y平面将x与y分别划分成若干个小网格，即x×y网格G(b1,b2,...,bm)，然后根据不同的划分求取相应的互信息I(D/G)，对于所有的划分，计算最大的互信息，公式如下：

I*(D，G(b₁，b₂，...，b_m))＝max I(D/G)

计算所有划分下的特征矩阵，公式如下：

计算双变量X与Y之间的最大信息系数，公式如下：

其中,x,y<B(n)表示网格G的划分维度界限，n＝0.6。

进一步地，步骤2中自编码器为一种无监督的学习算法，由编码器和解码器构成，编码器将一个不定长的输入序列X转化成一个定长的向量C，解码器旨在利用编码器的输出复原成一个与输入序列相同的向量R。

进一步地，步骤3中首先利用原始信号V与基于注意力D的复原矩阵之间的相对残差，公式如下：

其中，D和D^T分别表示作用于矩阵W和H的注意力矩阵，也是上一节中自编码器中编码器的输出向量重塑而出的矩阵，

表示Hadamard product，也即元素对应相乘，由于全脑同步相关矩阵CMMIC是对称方阵，因此，D与W的维数相同，D^T与H的维数相同，假设噪声服从高斯分布，最大似然函数为：

与现有技术相比，本发明的有益效果是：

本发明原始EEG数据被划分为同等时间窗口大小的片段，对片段内所有的通道计算相互之间的最大信息系数(同步值)，根据通道位置将所有同步值组织成相关矩阵，构成系统的特征矩阵。利用神经网络的非线性拟合能力构建基于自编码器的注意力发现机制，应用此注意力机制实现基于注意力机制的非负矩阵算法，该算法提取了相关矩阵的最重要的感兴趣特征，最后设计分层卷积神经网络分类器实现不同模态特征的处理，并实现抑郁症的早期发现。

附图说明

图1为本发明的系统设计图；

图2为本发明多分支神经网络的体系结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种动态注意力网络非负矩阵分解的抑郁症筛选方法，包括如下步骤：

步骤1：对于截取的时间窗口内的所有通道神经数据，对于要处理的两两通道，分别取得相应通道的神经数据，记为X和Y，然后计算X和Y之间的最大信息系数，计算方法如下：

给定一个有限数据集D以及双变量有序对<X,Y>,在x-y平面将x与y分别划分成若干个小网格，即x×y网格G(b1,b2,...,bm)，然后根据不同的划分求取相应的互信息I(D/G)，对于所有的划分，计算最大的互信息，公式如下：

I*(D，G(b₁，b₂，...，b_m))＝max I(D/G)

计算所有划分下的特征矩阵，公式如下：

计算双变量X与Y之间的最大信息系数，公式如下：

其中,x,y<B(n)表示网格G的划分维度界限，本发明设置n＝0.6。

如图1，MIC只能度量两两通道之间的同步关系，无法刻画全局同步特征随时间变化的演化模式。为此，本发明将扩展MIC，以相关矩阵的方式组织窗口内所有两两通道之间的MIC。对于一个包含M个通道的脑电数据，总共需要计算M×(M-1)/2个MIC值,根据通道索引号，构造相关矩阵：

其中：MIC_ij(i,j＝1,…,n)表示两通道(i,j)之间的同步关系。

步骤2：根据自编码器网络，构造步骤1中相关矩阵的非线性注意力

非线性注意力模型是一个自编码器。自编码器是一种无监督的学习算法，由编码器和解码器构成，编码器旨在把一个不定长的输入序列X转化成一个定长的向量C，解码器旨在利用编码器的输出复原成一个与输入序列相同的向量R：

其中，f(·)表示神经网络的非线性拟合函数。f(·)的求解依靠神经网络模型参数的更新来完成，在自编码器中，其利用复原向量R与输入向量X之差，基于反向传播算法驱动神经网络模型参数的更新：

当达到稳定时，编码器的输出构成了输入向量的低维表达。其代表了原始输入的最重要的特征。从另外一个角度看，它也能看作为输入向量的注意力。

步骤3：根据步骤2，设计基于注意力的非负矩阵分解算法，对步骤1中所有时间窗口的相关矩阵CMMIC进行基于注意力的非负矩阵分解，得到分解后的因子矩阵W和H。

首先利用原始信号V与基于注意力D的复原矩阵之间的相对残差，公式如下：

其中，D和D^T分别表示作用于矩阵W和H的注意力矩阵，也是上一节中自编码器中编码器的输出向量重塑而出的矩阵，°表示Hadamardproduct，也即元素对应相乘，由于全脑同步相关矩阵CMMIC是对称方阵，因此，D与W的维数相同，D^T与H的维数相同，假设噪声服从高斯分布，最大似然函数为：

假设各数据点噪声的方差一样，那么接下来要使得上述似然函数两边取对数后，得到对数似然函数，优化目标是期望该对数似然函数取值最大，也即需要下面目标函数值最小：

分别对W和H求偏导，得到：

根据牛顿法，其迭代的梯度下降公式如下：

当

时，得到最终的分解矩阵更新公式：

步骤4：设计层次卷积神经网络，对步骤3所得到的分解因子矩阵进行分类。

分类器旨在获取高分类性能，且能够同时处理多个因子矩阵。图2显示了多分支神经网络的体系结构。始于多分支子网，每个子网处理一个因子矩阵，接着是三层全连接层，最后，sigmoid激活函数输出帕金森状态。其主要设计规则如下：

1)“多分支网络”接受不同的因子矩阵，旨在抗噪声和处理非平稳的多模式特征数据；

2)“沙漏式”全连接层旨在快速缩减神经元的数目，以减少模型参数数目。越接近输出层，神经元数据越少。本发明的“沙漏式”全连接层块是分类器模型的最后几层。

为此，本发明首先利用最大信息系数计算脑电所有通道之间的同步值，以此构造相关同步矩阵，利用自编码器实现对相关同步矩阵进行非线性分解，以动态提取相关同步矩阵的非线性注意力机制，最后利用哈德曼积应用于非负矩阵分解分解算法中实现基于注意力网络的非负矩阵分解。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种动态注意力网络非负矩阵分解的抑郁症筛选方法，其特征在于，包括如下步骤：

步骤1：对于截取的时间窗口内的所有通道神经数据，对于要处理的两两通道，分别取得相应通道的神经数据，记为X和Y，然后计算X和Y之间的最大信息系数；

步骤2：根据自编码器网络，构造步骤1中相关矩阵的非线性注意力；

步骤3：根据步骤2，设计基于注意力的非负矩阵分解算法，对步骤1中所有时间窗口的相关矩阵CMMIC进行基于注意力的非负矩阵分解，得到分解后的因子矩阵W和H；

步骤4：设计层次卷积神经网络，对步骤3所得到的分解因子矩阵进行分类；

所述步骤1的计算方法如下：

给定一个有限数据集D以及双变量有序对<X,Y>,在x-y平面将x与y分别划分成若干个小网格，即x×y网格G(b1,b2,...,bm)，然后根据不同的划分求取相应的互信息I(D/G)，对于所有的划分，计算最大的互信息，公式如下：

I^*(D，G(b₁，b₂，...，b_m))＝maxI(D/G)

计算所有划分下的特征矩阵，公式如下：

计算双变量X与Y之间的最大信息系数，公式如下：

其中,x,y<B(n)表示网格G的划分维度界限，n＝0.6；

所述步骤2中自编码器为一种无监督的学习算法，由编码器和解码器构成，编码器将一个不定长的输入序列X转化成一个定长的向量C，解码器旨在利用编码器的输出复原成一个与输入序列相同的向量R；

所述步骤3中首先利用原始信号V与基于注意力D的复原矩阵之间的相对残差，公式如下：

其中，D和D^T分别表示作用于矩阵W和H的注意力矩阵，也是上一节中自编码器中编码器的输出向量重塑而出的矩阵，

表示Hadamard product，也即元素对应相乘，由于全脑同步相关矩阵CMMIC是对称方阵，因此，D与W的维数相同，D^T与H的维数相同，假设噪声服从高斯分布，最大似然函数为：

。/>

Images