CN113723340B - 一种多尺度注意力的深度非线性因子化方法 - Google Patents

一种多尺度注意力的深度非线性因子化方法 Download PDF

Info

Publication number
CN113723340B
CN113723340B CN202111050195.7A CN202111050195A CN113723340B CN 113723340 B CN113723340 B CN 113723340B CN 202111050195 A CN202111050195 A CN 202111050195A CN 113723340 B CN113723340 B CN 113723340B
Authority
CN
China
Prior art keywords
tensor
nonlinear
factorization
attention
factors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111050195.7A
Other languages
English (en)
Other versions
CN113723340A (zh
Inventor
柯亨进
陈丹
李小俚
王凤琴
刘志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Polytechnic University
Original Assignee
Hubei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Polytechnic University filed Critical Hubei Polytechnic University
Priority to CN202111050195.7A priority Critical patent/CN113723340B/zh
Publication of CN113723340A publication Critical patent/CN113723340A/zh
Application granted granted Critical
Publication of CN113723340B publication Critical patent/CN113723340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种多尺度注意力的深度非线性因子化方法，包括如下步骤：步骤1：多模态脑成像大队列特征构建；步骤2：脑成像数据的多尺度注意力特征提取；步骤3：多模态脑成像数据深度非线性因子化；步骤4：因子的前向拟合和反向构造与求精；步骤5：反向更新非线性神经网络参数。本发明融合通道注意力模块和空间注意力模块对输入原始数据进行筛选，对提取的众多特征进行自动注意力加权，从而强调重要特征并压缩不重要特征，并将该注意力机制融入后续的非线性因子化分析方法中，以期构建基于注意力的深度非线性因子化特征，实现对高非线性脑成像数据进行精确建模。

Description

一种多尺度注意力的深度非线性因子化方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种多尺度注意力的深度非线性因子化方法。
背景技术
多模态脑成像数据(EEG、fMRI和MRI)固有的存在多模态和非线性属性，多模态脑成像数据特征的自动提取与聚焦(增强关键特征)成为迫切需要。同时，脑成像信号呈现典型的弱信号、高噪声、非线性以及多维性特征，刻画复杂脑活动内在本质特征极具挑战性，如数据中包含多维度互相关的结构信息，内在非线性更是加大了模型和算法设计的难度。在多维病理性脑成像信号的因子化分析中，首要问题是保证因子的正确性，目前对于多维、非线性脑成像数据的因子化主要采用以下几种多线性方法：矩阵分解、张量分解等，这些方法缺乏注意力机制，同时方法的多线性机制无法对高非线性脑成像数据进行精确建模。为此，本发明拟研究基于多尺度注意力的深度非线性因子化方法，为后续任务提供数据基础。
发明内容
本发明的目的在于提供一种多尺度注意力的深度非线性因子化方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种多尺度注意力的深度非线性因子化方法，包括如下步骤：
步骤1：多模态脑成像大队列特征构建；
步骤2：脑成像数据的多尺度注意力特征提取；
步骤3：多模态脑成像数据深度非线性因子化；
步骤4：因子的前向拟合和反向构造与求精；
步骤5：反向更新非线性神经网络参数。
进一步地，步骤1的步骤如下：首先，利用利用多尺度注意力机制对关键特征进行聚焦；然后，利用深度因子化理论将高维脑成像张量映射到低维空间，同步提取多维度特征因子，同时解决先验知识缺乏、参数设定依赖专家设定的挑战；其次，利用层次平行因子理论，实现增量式高维脑成像数据的非线性因子求解，在分布式并行计算架构下实现因子融合海量并行计算获取脑成像大队列的特征因子；最后，利用深度网络模型对以因子为主的特征进行时空域增强，最终得到动态高维脑成像数据的低维特征。
进一步地，步骤2融合通道注意力模块和空间注意力模块对输入原始数据进行筛选，对提取的众多特征进行自动注意力加权，从而强调重要特征并压缩不重要特征。
进一步地，步骤3中，首先，构造深度平行因子分解模型，模型自动学习初始张量的因子，分解过程无需任何先验知识或假设条件，有多种基张量供选择，包括随机基张量、单位基张量、相对距离基张量或Hilbert基张量。
进一步地，步骤4中因子的前向拟合：从初始张量(X)出发，利用张量切片技术构建输入样本，第i个深度CNN将这些切片进行因子分解，以获得第i个模式的因子矩阵，然后，N个相关的CNNs以并行方式通过这种前向非线性拟合共同导出所有因子，最后，通过张量乘积操作，以恢复一个新的张量(Y)。
进一步地，步骤4中因子的反向构造与求精：为了满足Kruskal条件的本质唯一分解，所有来自N模式的因子都用Hilbert基张量进行张量乘积，目的是最大限度地保留复原张量的结构信息，受自编码器启发，最小化复原张量(Y)与初始张量(X)之间的误差，利用神经网络的反向传播算法对因子矩阵逐步求精。
进一步地，步骤5的算法思想主要是借助链式法则，训练误差关于偏置的梯度是所有节点的灵敏度之和，对于训练误差相对于连接权重的梯度，用BP算法进行计算，由于连接权值共享，因此对于一个给定权值，需要对所有与该权值有联系的连接对该点求梯度，然后再对这些梯度求和。
与现有技术相比，本发明的有益效果是：本发明融合通道注意力模块和空间注意力模块对输入原始数据进行筛选，对提取的众多特征进行自动注意力加权，从而强调重要特征并压缩不重要特征，并将该注意力机制融入后续的非线性因子化分析方法中，以期构建基于注意力的深度非线性因子化特征。研究多维脑成像数据深度非线性因子化分析方法，该方法采用基于端到端的无监督学习模式以提取脑成像数据的结构化特征，首先，将多维脑成像数据(初始张量)沿各维度进行矩阵化，以作为无监督学习模型的输入；其次，采用基于卷积神经网络模型对不同维度的数据进行非线性拟合，以获取各维度的特征因子；再次，利用希尔伯特基张量与各维度特征因子的张量乘积构造复原张量；最后，设计初始张量与复原张量间的均方误差损失函数，反向求取结构化特征因子，实现对高非线性脑成像数据进行精确建模。
附图说明
图1为本发明的动态高维脑成像数据低维度特征准确提取流程图；
图2为本发明的多尺度注意力模型结构图；
图3为本发明的D-PARAFAC模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种多尺度注意力的深度非线性因子化方法，首先，面向脑功能障碍分析的脑成像数据具有多模态、结构复杂特性，并且因不同应用而异，因此针对不同数据源构建不同脑成像张量，如多通道脑电时间序列对应相应的多个特征域如通道、时间、频率、不同被试等，多维(功能)核磁共振图像对应相应轴面、冠状面、矢状面等，进而分别构造高维脑电、高维fMRI与高维MRI；首先，利用利用多尺度注意力机制对关键特征进行聚焦；然后，利用深度因子化理论将高维脑成像张量映射到低维空间，同步提取多维度特征因子，同时解决先验知识缺乏、参数设定依赖专家设定的挑战；其次，利用层次平行因子理论，实现增量式高维脑成像数据的非线性因子求解，在分布式并行计算架构下实现因子融合海量并行计算获取脑成像大队列的特征因子；最后，利用深度网络模型对以因子为主的特征进行时空域增强，最终得到动态高维脑成像数据的低维特征。具体技术路线如(见图1)所示。
本发明提出多尺度注意力特征提取方法，该方法融合通道注意力模块和空间注意力模块对输入原始数据进行筛选，对提取的众多特征进行自动注意力加权，从而强调重要特征并压缩不重要特征。具体多尺度注意力模型结构如下图2所示：
通道注意力模块如图2中(B)所示，该部分注意力机制分成三个部分：压缩，归一化和应用注意力。在压缩过程中，对于原始数据的每个通道，进行小波变换、信息熵计算，获取通道数据的时频与熵特征。对于时频特征，需要进一步求其平均能量，使得每个通道的特征都压缩成一个数字。也即是，通道注意力模块将原始数据Dc压缩成大小为通道数的压缩向量Vc：
Vc＝f(Dc) (1)
其中c表示通道数，f(·)表示压缩函数，其完成通道特征提取，如通道时频分析能量和信息熵等。
归一化过程将所有通道的压缩向量进行归一化，得到通道注意力权值向量Wc：
Wc＝σ(Vc) (2)
其中，σ是sigmoid激活函数。
最后，不同通道的值乘以权值向量，得到通道注意力模块的输出：
Figure GDA0004178170640000051
通道注意力机制是如何对每个通道上的信息进行自适应加权过程，以表达该通道与关键信息的相关度，该权重越大，表示相关度越高，该通道的信号就越重要。
空间注意力模块如图2中(C)所示，其通过跨越多个通道数据的池化操作，致使加入空间注意力模块在一定程度上弥补了只有通道注意力的不足，并能聚焦于输入数据的哪部分有效信息更加丰富。在空间注意力模块中，其将通道注意力模块输出的特征图作为输入。首先基于通道数据，进行全局最大池化(global maxPool)和全局平均池化(globalavgPool)操作，并将这两个结果进行连接(concat)操作，maxPool的操作就是在通道上提取最大值，提取的次数是高乘以宽；avgPool的操作就是在通道上提取平均值：
E(F)＝[AvgPool(F)；MaxPool(F)] (4)
再进行卷积操作(convolutional)，直至降维到一个通道后利用Sigmoid归一化得到空间注意力权重特征：
S(F)＝σ(convolutional(E(F))) (5)
最后应用该权重特征于空间注意力模块的输入特征上，得到空间注意力模块的输出：
Figure GDA0004178170640000052
首先，构造深度平行因子分解(D-PARAFAC)模型，模型自动学习初始张量的因子(表示)，分解过程无需任何先验知识或假设条件。在D-PARADFAC模型中，可以有多种基张量供选择，如随机基张量、单位基张量，相对距离基张量、Hilbert基张量等，通过实验比较，Hilbert基张量能以最快的收敛速度的同时保持最大信息量。为此，首先介绍Hilbert基张量。希尔伯特张量扩展自希尔伯特矩阵：
Figure GDA0004178170640000061
其中，i、j、k是基张量沿着各个维度的索引，当i+j+k＝1时，
Figure GDA0004178170640000062
希尔伯特张量沿着每个维度的切片可以看作希尔伯特矩阵沿着坐标轴平移所得，而平移不改变矩阵本身的可逆性，因此，希尔伯特张量沿维度进行切片的矩阵是可逆的。
D-PARAFAC使用Hilbert基张量与N个维度中的所有因子矩阵进行张量乘积构造复原张量，设计初始张量与复原张量间的均方误差损失函数，反向求取结构化特征因子。也即构造原始数据(X)的低维表示的过程，而基张量
Figure GDA0004178170640000063
作为原张量与其低维表示之间的映射。形式上，D-PARAFAC定义为：
D-PARAFAC：给定一个三阶张量
Figure GDA0004178170640000064
三个指标{J，R，P}＜＜{I，T，Q}以及一个常基张量/>
Figure GDA0004178170640000065
(如Hilbert基张量)，通过执行以下因子分解：
Figure GDA0004178170640000066
以期寻找三个因子矩阵：
Figure GDA0004178170640000067
Figure GDA0004178170640000068
和/>
Figure GDA0004178170640000069
如图3所示，显示了D-PARAFAC的体系结构图及其相应的操作。
其输入仅仅包含初始张量(X)和常基张量
Figure GDA00041781706400000610
输出是三个因子矩阵(f(A)，f(S)和f(C))。其操作包括如下两个阶段：
1)因子的前向拟合：从初始张量(X)出发，利用张量切片技术构建输入样本。第i个深度CNN将这些切片进行因子分解，以获得第i个模式的因子矩阵。然后，N个相关的CNNs以并行方式通过这种前向非线性拟合共同导出所有因子。最后，通过张量乘积操作，以恢复一个新的张量(Y)。
2)因子的反向构造与求精：为了满足Kruskal条件的本质唯一分解，所有来自N模式的因子都用Hilbert基张量进行张量乘积，目的是最大限度地保留复原张量的结构信息。受自编码器启发，最小化复原张量(Y)与初始张量(X)之间的误差，利用神经网络的反向传播算法对因子矩阵逐步求精。
循环以上步骤直至达到一个稳定状态，D-PARAFAC最终输出三个维度的因子矩阵(f(A)，f(S)和f(C))：
Figure GDA0004178170640000071
其中f(·)表示非线性函数。该函数既不是具体函数，也缺乏问题域的相关先验知识，导致无法得到解析解。为此，一个退而求其次的传统策略是强制该函数服从某种特定的先验分布，如高斯过程或者正态分布。然而，它们的成功应用不仅依赖于核的选择与经验参数设置，而且没有任何证据表明现实中的数据服从某种具体的分布。因此，有必要设计一个无核、非参数且不依赖任何先验假设条件的模型，对其进行求解。众所周知，神经网络是一个能近似拟合任意函数f(·)的黑盒模型，这为求解上述函数提供了一个新的思路，也即f(·)能被如下单层的神经网络所近似求解：
Figure GDA0004178170640000072
其中，σ(WA+b)表示单层神经网络的输出，σ表示非线性激活函数，W表示神经网络中的权值矩阵，b表示偏移向量。在深度神经网络环境下，上式可以重写为：
Figure GDA0004178170640000073
其中
Figure GDA0004178170640000074
表示K阶复合函数：
Figure GDA0004178170640000075
其中，K是隐含层的层数。
D-PARAFAC分解模型利用深度神经网络(非线性映射)把多维张量X分解为多个低维的因子矩阵f(A)，f(S)，f(C)。给定一个张量X∈RI，J，K，D-PARAFAC首先沿着张量的各个维度(如MRI数据中的轴面A、冠状面C和矢状位S)进行切片，以构造样本集合。也即是，A，C，和S分别为沿着各维度进行相应切片所得的集合：
Figure GDA0004178170640000081
D-PARAFAC中的N个CNNs具有相似的体系结构：两个卷积层和两个对应的最大池化层。卷积层的前向过程对所有的输入feature maps进行卷积操作，而所有的feature maps却共用同一个偏置项。
Figure GDA0004178170640000082
假设下一层为抽样层，由于前向的时候是下采样，于是在反向传播过程中是上采样，用up(·)函数标记，第l层的采样因子用
Figure GDA0004178170640000083
表示。由BP算法，当前第l层的灵敏度/>
Figure GDA0004178170640000084
可以由下式计算。
Figure GDA0004178170640000085
一个因子矩阵通过具有非线性映射的单个CNN的输出，而N个维度的因子矩阵则由一个Hilbert基张量聚合，通过张量矩阵乘积恢复一个“复原”张量Y，其目的是检查初始张量X的信息是否已转移到因子矩阵中：
Figure GDA0004178170640000086
其中，f1，f2和f3表示不同的映射函数，E表示初始张量与复原张量之间的残差。
在反向求精过程中，首先，构造损失函数E来量化目标张量复原的质量，它定义为初始张量X与复原张量Y之间的残差：
Figure GDA0004178170640000087
上式可以通过D-PARAFAC来进行建模，D-PARAFAC的设计受自编码器的启发。自编码器包含编码网络和解码网络两个部分，其中，编码网络把来自输入层的数据压缩为一个短码，而解码网络解压缩编码网络的短码为一个与原始数据对等的数据。D-PARAFAC的其它主要训练参数有：优化器为基于反向传播算法的动量随机梯度下降(动量因子为0.9)，学习率为：0.001。给定基张量
Figure GDA0004178170640000091
因子矩阵(f(A))的更新过程为：
Figure GDA0004178170640000092
其中
Figure GDA0004178170640000093
是基张量/>
Figure GDA0004178170640000094
通过固定对应于f(A)中第j1个索引因子所得的子张量。
上式可以通过D-PARAFAC来进行建模，D-PARAFAC的设计受自编码器的启发。自编码器包含编码网络和解码网络两个部分，其中，编码网络把来自输入层的数据压缩为一个短码，而解码网络解压缩编码网络的短码为一个与原始数据对等的数据。D-PARAFAC的其它主要训练参数有：优化器为基于反向传播算法的动量随机梯度下降(动量因子为0.9)，学习率为：0.001。给定基张量
Figure GDA0004178170640000095
其中/>
Figure GDA0004178170640000096
是基张量/>
Figure GDA0004178170640000097
通过固定对应于f(A)中第j1个索引因子所得的子张量。
在每一轮更新过程中，采用基于动量的学习策略改善训练过程的学习率，同时保证稳定的学习过程：
Figure GDA0004178170640000098
其中，
Figure GDA0004178170640000099
为梯度，∈表示学习率，α是动量因子。
然后，反向更新非线性神经网络参数，其算法思想主要是借助链式法则。训练误差关于偏置的梯度是所有节点的灵敏度之和。对于训练误差相对于连接权重的梯度，可以用BP算法进行计算。由于很多连接权值是共享的，因此对于一个给定权值，需要对所有与该权值有联系的连接对该点求梯度，然后再对这些梯度求和，与偏置的梯度计算类似：
Figure GDA00041781706400000910
对于抽样层，前向过程中要考虑下采样，用down(·)表示下采样过程。若采样层的下一层为卷积层，计算下一层卷积核的梯度，由于卷积神经网络的特殊性，需要找出抽样层中哪个图像块与卷积层的灵敏度相对应。类似的，训练误差相对于偏置b的梯度可以通过对敏感图上的元素进行求和得到。
训练误差关于偏置β的梯度计算，其思想是在前向计算中将下采样后的特征图保存起来：
Figure GDA0004178170640000101
当达到稳定状态时，获取因子矩阵，最终求出所有因子矩阵f1，f2和f3。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种多尺度注意力的深度非线性因子化方法，其特征在于，包括如下步骤：
步骤1：多模态脑成像大队列特征构建；
步骤2：脑成像数据的多尺度注意力特征提取；
步骤3：多模态脑成像数据深度非线性因子化；首先，构造深度平行因子分解模型，模型自动学习初始张量的因子，分解过程无需任何先验知识或假设条件，有多种基张量供选择，包括随机基张量、单位基张量、相对距离基张量或Hilbert基张量；
步骤4：因子的前向拟合和反向构造与求精；
步骤5：反向更新非线性神经网络参数；
步骤2中融合通道注意力模块和空间注意力模块对输入原始数据进行筛选，对提取的众多特征进行自动注意力加权，从而强调重要特征并压缩不重要特征；
步骤4中因子的前向拟合：从初始张量(X)出发,利用张量切片技术构建输入样本，第i个深度CNN将这些切片进行因子分解，以获得第i个模式的因子矩阵，然后，N个相关的CNNs以并行方式通过这种前向非线性拟合共同导出所有因子，最后，通过张量乘积操作，以恢复一个新的张量(Y)；
步骤4中因子的反向构造与求精:为了满足Kruskal条件的本质唯一分解，所有来自N模式的因子都用Hilbert基张量进行张量乘积，目的是最大限度地保留复原张量的结构信息，受自编码器启发，最小化复原张量(Y)与初始张量(X)之间的误差，利用神经网络的反向传播算法对因子矩阵逐步求精；
步骤5的算法思想主要是借助链式法则，训练误差关于偏置的梯度是所有节点的灵敏度之和，对于训练误差相对于连接权重的梯度，用BP算法进行计算，由于连接权值共享，因此对于一个给定权值，需要对所有与该权值有联系的连接对该点求梯度，然后再对这些梯度求和。
2.如权利要求1所述的一种多尺度注意力的深度非线性因子化方法，其特征在于，步骤1的步骤如下：首先，利用多尺度注意力机制对关键特征进行聚焦；然后，利用深度因子化理论将高维脑成像张量映射到低维空间，同步提取多维度特征因子，同时解决先验知识缺乏、参数设定依赖专家设定的挑战；其次，利用层次平行因子理论，实现增量式高维脑成像数据的非线性因子求解，在分布式并行计算架构下实现因子融合海量并行计算获取脑成像大队列的特征因子；最后，利用深度网络模型对以因子为主的特征进行时空域增强，最终得到动态高维脑成像数据的低维特征。
CN202111050195.7A 2021-09-08 2021-09-08 一种多尺度注意力的深度非线性因子化方法 Active CN113723340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111050195.7A CN113723340B (zh) 2021-09-08 2021-09-08 一种多尺度注意力的深度非线性因子化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111050195.7A CN113723340B (zh) 2021-09-08 2021-09-08 一种多尺度注意力的深度非线性因子化方法

Publications (2)

Publication Number Publication Date
CN113723340A CN113723340A (zh) 2021-11-30
CN113723340B true CN113723340B (zh) 2023-05-30

Family

ID=78682734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111050195.7A Active CN113723340B (zh) 2021-09-08 2021-09-08 一种多尺度注意力的深度非线性因子化方法

Country Status (1)

Country Link
CN (1) CN113723340B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539472A (zh) * 2020-04-22 2020-08-14 山东大学 基于张量复杂度的睡眠生理信号特征提取方法及系统
CN113158964A (zh) * 2021-05-07 2021-07-23 北京工业大学 一种基于残差学习和多粒度特征融合的睡眠分期方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531806B2 (en) * 2013-12-17 2020-01-14 University Of Florida Research Foundation, Inc. Brain state advisory system using calibrated metrics and optimal time-series decomposition
CN109520999A (zh) * 2019-01-17 2019-03-26 云南中烟工业有限责任公司 一种基于二维相关光谱的香紫苏油稳定性评价方法
CN109902399B (zh) * 2019-03-01 2022-07-19 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN111080588A (zh) * 2019-12-04 2020-04-28 南京航空航天大学 基于多尺度神经网络的快速胎儿mr图像大脑提取方法
CN111325111A (zh) * 2020-01-23 2020-06-23 同济大学 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN112259228B (zh) * 2020-11-12 2023-06-02 湖北理工学院 一种动态注意力网络非负矩阵分解的抑郁症筛选方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539472A (zh) * 2020-04-22 2020-08-14 山东大学 基于张量复杂度的睡眠生理信号特征提取方法及系统
CN113158964A (zh) * 2021-05-07 2021-07-23 北京工业大学 一种基于残差学习和多粒度特征融合的睡眠分期方法

Also Published As

Publication number Publication date
CN113723340A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Rezende et al. Stochastic backpropagation and variational inference in deep latent gaussian models
CN109683161B (zh) 一种基于深度admm网络的逆合成孔径雷达成像的方法
CN111523546B (zh) 图像语义分割方法、系统及计算机存储介质
CN110120020A (zh) 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110188794B (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
CN111462191B (zh) 一种基于深度学习的非局部滤波器无监督光流估计方法
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
US11836572B2 (en) Quantum inspired convolutional kernels for convolutional neural networks
Zhou et al. Network traffic prediction method based on improved echo state network
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
Zhang et al. Multi-source information fused generative adversarial network model and data assimilation based history matching for reservoir with complex geologies
Wang et al. Qsfm: Model pruning based on quantified similarity between feature maps for ai on edge
CN109558880B (zh) 一种基于视觉整体和局部特征融合的轮廓检测方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Afzal et al. Discriminative feature abstraction by deep L2 hypersphere embedding for 3D mesh CNNs
CN113723340B (zh) 一种多尺度注意力的深度非线性因子化方法
Fakhari et al. A new restricted boltzmann machine training algorithm for image restoration
CN116740362A (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
Shi et al. Space targets adaptive optics images blind restoration by convolutional neural network
Qiao et al. Mutual channel prior guided dual-domain interaction network for single image raindrop removal
Zhang et al. Distributed compressive sensing via LSTM-aided sparse bayesian learning
Zhang Analysis of college students’ network moral behavior by the history of ideological and political education under deep learning
CN112395964A (zh) 一种基于深度学习的能见度估计方法
CN110569790A (zh) 基于纹理增强卷积网络的居民区要素提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant