CN108122028A - 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 - Google Patents
深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108122028A CN108122028A CN201711395499.0A CN201711395499A CN108122028A CN 108122028 A CN108122028 A CN 108122028A CN 201711395499 A CN201711395499 A CN 201711395499A CN 108122028 A CN108122028 A CN 108122028A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- principal component
- component analysis
- analysis network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供了一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质，其中方法包括：获取深度非线性主成分分析网络；利用主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从主成分分析网络的最后一层开始逐层进行反向回传，计算整个网络的重构误差之和对于各层权重的梯度；根据整个网络的重构误差之和对于各层权重的梯度，计算出深度非线性主成分分析网络的权重矩阵；根据权重矩阵对主成分分析网路进行参数更新，并返回利用主成分分析网络对输入数据进行前向传播的过程，直至整个神经网络的重构误差之和下降到收敛为止。本发明可以对复杂的数据提取高度有效的特征。
Description
技术领域
本发明属于数据处理技术领域，尤其涉及一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质。
背景技术
在高维数据爆炸式增长的今天，无论是在图像、视频、多媒体处理或是在网络数据相关性分析、搜索、生物医学图像和生物信息领域中，数据的维数都达到了上千甚至上亿的级别，样本数量也达到了相同的数量级。在数据高维数、大规模的背景下，特征提取和降维就显得尤为重要。主成分分析(Principle Component Analysis，PCA)是迄今为止应用最广泛的降维工具，也是最重要的机器学习算法之一，它通过一组正交变换将原本存在相关性的变量，去相关转化为一组线性不相关的变量，即主成分，PCA算法得到的低阶主成分中包含了数据中大部分的信息和最重要的特征，通过保留低阶主成分，PCA算法在特征提取、特征压缩方面拥有极其优良的特性，使得它在各领域得到了广泛的应用。
传统的主成分分析算法通过对输入变量X的协方差矩阵进行特征值分解来求取主成分所在的方向，这需要一次性获取输入数据中的所有样本，但是在大规模数据集的应用中，每次通常只能获取输入变量X的部分观测值，因此自适应求取算法计算主成分就显得尤为重要。最早出现的自适应主成分提取算法是Oja提出的单一神经元Hebb学习主成分分析器，该算法只能用于线性地提取第一主成分，它为基于神经网络的主成分分析算法奠定了基础。随后出现了大量的关于神经网络自适应地线性地提取多个主成分的算法，其中比较具有代表性的是Oja和Karhunen等人提出的对称子空间学习规则，该算法对单一神经元分析器拓展到单层神经网络，采用梯度下降法达到了求解m个主成分地目标，但是该算法求取的m个主成分不能严格收敛到实际的主成分方向；之后Sanger等人提出了广义Hebb算法，该算法将对称子空间的离散学习规则进行改进，只保留矩阵y(k)yT(k)的下三角部分，从而使得m个主成分可以收敛到实际主成分方向、并按方差从大到小的顺序排列；为了提高收敛速度，Oja等人提出了随机梯度上升算法；为了使模型可以生长和收缩，Kung等人提出了基于反Hebb学习的自适应主成分提取算法，该算法增加了神经元之间的侧向连接。但是这些基于单层线性神经网络的自适应主成分分析算法，只能进行简单的线性映射，而且只对呈高斯分布这类简单分布的数据有较好的效果，这使得主成分分析在实际应用中受到了极大的局限。
为了解决线性映射的局限，非线性PCA和鲁棒PCA算法应运而生。其中比较典型的是Karhunen等人提出的两种非线性主成分分析算法，第一种采用单层非线性的神经网络模型，在每个神经元之后加入了一个非线性变换，通过最小化输入变量和经过非线性变化之后的估计值之间的重构误差，求取各神经元的权重向量；第二种算法在保证权重向量相互正交的前提下、最大化关于方差的非线性函数f(var(Wx))，采用梯度下降法求取神经元的权重W。
实验证明，Karhunen等人提出的两类非线性主成分分析算法在信号分离任务中，对高斯白噪声、高斯有色噪声均鲁棒，而线性PCA对于这类噪声却束手无策。这证明了向线性PCA引入高阶统计量的优势。然而，基于单层的非线性神经网络提取特征的能力是十分有限的，从主成分分析算法的角度看，以单层神经网络模型为基础的自适应PCA算法只能进行一次线性变换和一次简单非线性变换，它只能用于描述带有噪音的简单高斯分布，但是在计算机视觉领域的诸多任务中，图像、视频的大规模数据的分布是十分复杂的，需要引入表达能力更强的高阶统计量；从神经网络模型的角度看，神经网络强大的特征提取能力很大程度上得益于其深度，深度神经网络强大的描述能力，使得它可以对复杂的数据仍可以提取高度有效的特征，而单层的非线性神经网络无法对复杂的数据提取高度有效的特征。
发明内容
有鉴于此，本发明提供了一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质，以解决上述现有的非线性主成分分析算法无法对复杂的数据提取高度有效的特征的问题。
本发明的第一方面提供了一种深度非线性主成分分析网络的训练方法，包括：
获取深度非线性主成分分析网络；
利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
本发明的第二方面提供了一种深度非线性主成分分析网络的训练装置，包括：
基础网络获取单元，用于获取深度非线性主成分分析网络；
重构误差计算单元，用于利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
梯度计算单元，用于从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
权重矩阵计算单元，用于根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
参数调整单元，用于根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
本发明的第三方面提供了一种深度非线性主成分分析网络的训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
本发明的有益效果是：
本发明由于通过获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止，从而将自适应的主成分分析算法拓展到深度神经网络的计算模型上，将多层的高阶统计引入主成分分析算法，使得主成分分析算法对于图像、视频等具有复杂分布的数据有更强的特征提取能力，可以对复杂的数据提取高度有效的特征。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的深度非线性主成分分析网络的训练方法的实现流程示意图；
图2是本发明一较佳实现示例提供的三层深度非线性主成分分析网络的结构示意图；
图3是本发明实施例五提供的深度非线性主成分分析网络的训练装置的结构示意图；
图4是本发明实施例六提供的深度非线性主成分分析网络的训练装置的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
图1示出了本发明实施例一提供的深度非线性主成分分析网络的训练方法的实现流程。参见图1所示，该方法的实现流程详述如下：
步骤S101，获取深度非线性主成分分析网络。
在本实施例中，步骤S101获取的所述深度非线性主成分分析网络是初始深度非线性主成分分析网络，该网络中的参数值均为初始值，后续可通过训练调整其参数，得到最终的深度非线性主成分分析网络，经过训练后的深度非线性主成分分析网络可以对复杂的数据提取出高度有效的特征。
步骤S102，利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差。
在本实施例中，步骤S102具体包括：
令在利用所述深度非线性主成分分析网络对所述输入数据进行前向传播的过程中，所述输入数据所对应的第i层的输入值为xi，经该层编码后的激活值xi+1＝f(Wixi)，那么第i层的输入值与其估计值之间的重构误差表示为：
其中，xi表示所述输入数据经前向传播后在所述深度非线性主成分分析网络中第i层的输入值，Wi表示所述深度非线性主成分分析网络中第i层的权重，f(Wixi)表示所述深度非线性主成分分析网络中第i层的激励函数，L(Wi)表示第i层的输入值与其估计值之间的重构误差，i为正整数。
步骤S103，从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度。
在本实施例中，步骤S103具体包括：
根据各层的输入值与其估计值之间的重构误差按照公式一计算得到整个神经网络的重构误差之和，公式一为:
其中，L(W1,W2,......,WK)表示整个神经网络的重构误差之和，简记为目标函数L；k表示深度非线性主成分分析网络的层数，取正整数；
根据公式二计算目标函数对于所述深度非线性主成分分析网络最后一层的激活值的梯度，公式二为：
根据所述目标函数对最后一层的激活值的梯度和公式三计算目标函数对于所述深度非线性主成分分析网络第1～(k-1)层的激活值的梯度，公式三为：
根据所述目标函数对于所述深度非线性主成分分析网络第1～k层的激活值的梯度和公式四计算出所述目标函数对于第i层的权重值Wi的梯度，公式四为：
步骤S104，根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵。
在本实施例中，步骤S104具体包括：
根据所述整个神经网络的重构误差之和对于各层权重的梯度和公式五计算出所述深度非线性主成分分析网络各层的权重，所述权重矩阵由各层的权重构成，其中公式五为：
其中，μ为所述深度非线性主成分分析网络的学习率。
下面以一个三层的深度非线性主成分分析网络为例，详细阐述求解使目标函数L(W1,W2,......,WK)取最小值时的W1,W2,......,WK的推导过程：
由于所述目标函数是实数域上的二次函数，该函数具有全局最优解，因此我们可以采用梯度下降法对Wi进行求解，那么我们首先要求得目标函数对于Wi的梯度。
参见图2所示，在给定的三层深度非线性主成分分析网络中，每一层都包含一个线性映射和一次非线性变化，L(W1)表示第一层的输入x1与其估计值之间的重构误差，L(W2)表示第一层的输入x2与其估计值之间的重构误差，L(W1)表示第一层的输入x1与其估计值之间的重构误差，L(W3)表示第一层的输入x3与其估计值之间的重构误差。其中：
那么，目标函数表示为：
我们将L(W1,W2,W3)简记为L，第一层产生的重构误差简记为L1，第二层产生的重构误差简记为L2，同理第三层产生的重构误差简记为L3。
由上述可知，第i层重构误差Li对于xi，xi+1，Wi的梯度分别为：
目标函数L中与W3相关的只有L3中的W3和x4，那么L对于W3的梯度也就是L3对于W3的梯度：
目标函数L中与W2相关的只有L2中的W2和x3，又由于x3＝f(W2x2)，根据微分的链式法则，目标函数中后一项L3对于x3的梯度也会传给W2。L2,L3对于x3的梯度也就是目标函数对于x3的梯度，因此合并成一项那么目标函数L对于W2的梯度可以表示为：
目标函数L中与W1直接相关的有L1中的W1和x2，又由于x2＝f(W1x1)，根据微分的链式法则，后面两项重构误差L2,L3对x1的梯度也会传给W1。L1,L2,L3对x2的梯度也就是目标函数对于x2的梯度，因此合并成一项那么目标函数L对于W1的梯度可以表示为：
上面分别求解了目标函数对于W3,W2,W1的梯度，其中未知，下面我们接着对这三项进行求解：
目标函数L中与x4相关的只有L3,
目标函数L中与x3直接相关的有L2、L3，又由于x4＝f(W3x3)，根据微分的链式法则，L3对于x4的梯度也会传给x3，也就是目标函数L对于x4的梯度也会传给x3，即：
目标函数L中与x2直接相关的有L1、L2,又由于x3＝f(W2x2)，根据微分的链式法则，L2、L3对于x3的梯度也会传给x2，即：
步骤S105，根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
在本实施例中，在通过反向传播计算出所述深度非线性主成分分析网络中各层的权重值之后，即可将所述深度非线性主成分分析网络中各层的初始权重值更新为通过反向传播计算出的权重值，然后返回到步骤S102循环执行上述流程，直至所述整个神经网络的重构误差之和下降到收敛为止，将所述整个神经网络的重构误差之和收敛时所对应的权重矩阵作为所述深度非线性主成分分析网络最终的求解权重矩阵。
以上可以看出，本实施例提供的深度非线性主成分分析网络的训练方法由于通过获取深度非线性主成分分析网络；利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止，从而将自适应的主成分分析算法拓展到深度神经网络的计算模型上，将多层的高阶统计引入主成分分析算法，使得主成分分析算法对于图像、视频等具有复杂分布的数据有更强的特征提取能力，可以对复杂的数据提取高度有效的特征。
实施例二
相对于上一实施例，本实施例提供的深度非线性主成分分析网络的训练方法，在所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对k层的深度非线性主成分分析网络中的k个权重都加以正交约束，正交约束后的目标函数为：
其中，λ为控制正交约束强弱的参数，若限定权重矩阵Wi中的每一个向量都是单位向量，则Λi＝I，在该约束下所述深度非线性主成分分析网络的初始权重矩阵Wi就构成了新的向量空间下的一组基向量。
深度非线性主成分分析的目标时从训练数据本身学习出高度有效的特征，使得特征更为有效的约束之一，就是使得构成编码矩阵的向量相互相交，此时编码矩阵就是一组新的向量空间的基向量，从而有效去除输入数据之间的相关性，在保留输入数据的信息的同时，使得提取的特征最为有效。在本实施例中，向目标函数中引入正交限定，使得深度非线性主成分分析网络中每一层的权重W都具有正交特征，对于权重矩阵W＝[WT(1),WT(2),...,WT(m)]，若矩阵中的任意两个不同的向量相互正交，则可以表达为：
用矩阵的形式重写以上公式即为：WWT＝Λ；
对于k层的深度非线性主成分分析网络中的k个权重都加以正交约束，我们就可以得到上述有正交约束的目标函数。
相对于上一实施例，本实施例通过采用向目标函数中引入正交限定，使得深度非线性主成分分析网络中每一层的权重W都具有正交特征，可以更加精确的提取出复杂数据中的有效特征。
实施例三
相对于实施例一，本实施例提供的深度非线性主成分分析网络的训练方法，在所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对所述深度非线性主成分分析网络中隐藏层的激活值增加稀疏限定，对激活值稀疏约束的目标函数为：
其中，β是激活值稀疏项的系数，h(Zi)为第i层的激活值的稀疏正则项，Zi是第i层的激活值。
在深度神经网络中，我们可以认为近“1”的激活值是“活跃的”，近“0”的激活值是“不活跃的”，那么对激活值的稀疏限定就是限定只有少数的激活值是“活跃的”。在本实施例中，我们通过每一层激活值Z中非零的激活值来作为稀疏正则项，即：
相对于实施例一，本实施例提供的深度非线性主成分分析网络的训练方法由于在目标函数中增加对激活值的稀疏限定，可以使得利用该深度非线性主成分分析网络提取出的特征更具有识别度，提取的特征更为有效。
实施例四
相对于实施例一，本实施例提供的深度非线性主成分分析网络的训练方法，在所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对所述深度非线性主成分分析网络中各层的权重的稀疏性进行限定，对各层权重的稀疏性约束的目标函数为：
其中，α是控制权重稀疏性正则化的参数。
在机器学习算法中，抑制过拟合和降低模型复杂度的一种有效方法就是加入对权重做稀疏性正则化。稀疏性正则项对权重矩阵中非零的项进行惩罚，从而使得权重矩阵的大多数参数为0，降低了模型的复杂度；同时，稀疏性正则项倾向于保留很大或很小的参数，使得特征的选择具有了局部特征。
相对于实施例一，本实施例提供的深度非线性主成分分析网络的训练方法由于在目标函数中增加了对权重的稀疏性的限定，使得训练后的深度非线性主成分分析网络对噪声更加鲁棒，提取的特征更具有局部特性。
实施例五
图3示出了本发明实施例五提供的深度非线性主成分分析网络的训练装置的结构示意图。参见图3所示，本实施例提供的深度非线性主成分分析网络的训练装置3，包括：
基础网络获取单元31，用于获取深度非线性主成分分析网络；
重构误差计算单元32，用于利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
梯度计算单元33，用于从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
权重矩阵计算单元34，用于根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
参数调整单元35，用于根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
可选的，所述重构误差计算单元32具体用于：
令在利用所述深度非线性主成分分析网络对所述输入数据进行前向传播的过程中，所述输入数据所对应的第i层的输入值为xi，经该层编码后的激活值xi+1＝f(Wixi)，那么第i层的输入值与其估计值之间的重构误差表示为：
其中，xi表示所述输入数据经前向传播后在所述深度非线性主成分分析网络中第i层的输入值，Wi表示所述深度非线性主成分分析网络中第i层的权重，f(Wixi)表示所述深度非线性主成分分析网络中第i层的激励函数，L(Wi)表示第i层的输入值与其估计值之间的重构误差，i为正整数。
可选，所述梯度计算单元33具体用于：
根据各层的输入值与其估计值之间的重构误差按照公式一计算得到整个神经网络的重构误差之和，公式一为:
其中，L(W1,W2,......,WK)表示整个神经网络的重构误差之和，简记为目标函数L；k表示深度非线性主成分分析网络的层数，取正整数；
根据公式二计算目标函数对于所述深度非线性主成分分析网络最后一层的激活值的梯度，公式二为：
根据所述目标函数对最后一层的激活值的梯度和公式三计算目标函数对于所述深度非线性主成分分析网络第1～(k-1)层的激活值的梯度，公式三为：
根据所述目标函数对于所述深度非线性主成分分析网络第1～k层的激活值的梯度和公式四计算出所述目标函数对于第i层的权重值Wi的梯度，公式四为：
可选的，所述权重矩阵计算单元34具体用于：
根据所述整个神经网络的重构误差之和对于各层权重的梯度和公式五计算出所述深度非线性主成分分析网络各层的权重，所述权重矩阵由各层的权重构成，其中公式五为：
其中，μ为所述深度非线性主成分分析网络的学习率。
可选的，所述深度非线性主成分分析网络的训练装置还包括：
正交正则项处理单元，用于对k层的深度非线性主成分分析网络中的k个权重都加以正交约束，正交约束后的目标函数为：
其中，λ为控制正交约束强弱的参数，若限定权重矩阵Wi中的每一个向量都是单位向量，则Λi＝I，在该约束下所述深度非线性主成分分析网络的初始权重矩阵Wi就构成了新的向量空间下的一组基向量。
可选的，深度非线性主成分分析网络的训练装置还包括：
激活值稀疏约束单元，用于对所述深度非线性主成分分析网络中隐藏层的激活值增加稀疏限定，对激活值稀疏约束的目标函数为：
其中，β是激活值稀疏项的系数，h(Zi)为第i层的激活值的稀疏正则项，Zi是第i层的激活值。
可选的，所述深度非线性主成分分析网络的训练装置还包括：
权重稀疏约束单元，用于对所述深度非线性主成分分析网络中各层的权重的稀疏性进行限定，对各层权重的稀疏性约束的目标函数为：
其中，α是控制权重稀疏性正则化的参数。
需要说明的是，本发明实施例提供的上述装置的各个单元，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
因此，可以看出本发明实施例提供的深度非线性主成分分析网络的训练装置同样对于图像、视频等具有复杂分布的数据有更强的特征提取能力，可以对复杂的数据提取高度有效的特征。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例六
图4是本发明一实施例提供的深度非线性主成分分析网络的训练装置的示意图。如图4所示，该实施例的深度非线性主成分分析网络的训练装置包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块31至35的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述深度非线性主成分分析网络的训练装置中的执行过程。例如，所述计算机程序42可以被分割成基础网络获取单元31、重构误差计算单元32、梯度计算单元33、权重矩阵计算单元34以及参数调整单元35，各单元具体功能如下：
基础网络获取单元31，用于获取深度非线性主成分分析网络；
重构误差计算单元32，用于利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
梯度计算单元33，用于从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
权重矩阵计算单元34，用于根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
参数调整单元35，用于根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
所述装置可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是深度非线性主成分分析网络的训练装置的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是图形处理器(Graphics Processing Unit，GPU)，中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述深度非线性主成分分析网络的训练装置的内部存储单元，例如深度非线性主成分分析网络的训练装置的硬盘或内存。所述存储器41也可以是所述深度非线性主成分分析网络的训练装置的外部存储设备，例如所述深度非线性主成分分析网络的训练装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述深度非线性主成分分析网络的训练装置的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种深度非线性主成分分析网络的训练方法，其特征在于，包括：
获取深度非线性主成分分析网络；
利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
2.如权利要求1所述的深度非线性主成分分析网络的训练方法，其特征在于，所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差包括：
令在利用所述深度非线性主成分分析网络对所述输入数据进行前向传播的过程中，所述输入数据所对应的第i层的输入值为xi，经该层编码后的激活值xi+1＝f(Wixi)，那么第i层的输入值与其估计值之间的重构误差表示为：
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>;</mo>
</mrow>
其中，xi表示所述输入数据经前向传播后在所述深度非线性主成分分析网络中第i层的输入值，Wi表示所述深度非线性主成分分析网络中第i层的权重，f(Wixi)表示所述深度非线性主成分分析网络中第i层的激励函数，L(Wi)表示第i层的输入值与其估计值之间的重构误差，i为正整数。
3.如权利要求2所述的深度非线性主成分分析网络的训练方法，其特征在于，所述从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度包括：
根据各层的输入值与其估计值之间的重构误差按照公式一计算得到整个神经网络的重构误差之和，公式一为:
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mn>2</mn>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mn>3</mn>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>;</mo>
</mrow>
其中，L(W1,W2,......,WK)表示整个神经网络的重构误差之和，简记为目标函数L；k表示深度非线性主成分分析网络的层数，取正整数；
根据公式二计算目标函数对于所述深度非线性主成分分析网络最后一层的激活值的梯度，公式二为：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>L</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<msub>
<mi>e</mi>
<mi>k</mi>
</msub>
<mo>;</mo>
</mrow>
根据所述目标函数对最后一层的激活值的梯度和公式三计算目标函数对于所述深度非线性主成分分析网络第1～(k-1)层的激活值的梯度，公式三为：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>L</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<msub>
<mi>e</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<msub>
<mi>e</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>L</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
</mfrac>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>,</mo>
<mi>i</mi>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>2</mn>
<mo>,</mo>
<mi>k</mi>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
根据所述目标函数对于所述深度非线性主成分分析网络第1～k层的激活值的梯度和公式四计算出所述目标函数对于第i层的权重值Wi的梯度，公式四为：
<mrow>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>L</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msubsup>
<mi>e</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>L</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mfrac>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mrow>
<mo>&part;</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
4.如权利要求3所述的深度非线性主成分分析网络的训练方法，其特征在于，所述根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵包括：
根据所述整个神经网络的重构误差之和对于各层权重的梯度和公式五计算出所述深度非线性主成分分析网络各层的权重，所述权重矩阵由各层的权重构成，其中公式五为：
其中，μ为所述深度非线性主成分分析网络的学习率。
5.如权利要求4所述的深度非线性主成分分析网络的训练方法，其特征在于，所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对k层的深度非线性主成分分析网络中的k个权重都加以正交约束，正交约束后的目标函数为：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>o</mi>
<mi>r</mi>
<mi>t</mi>
<mi>h</mi>
<mi>o</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msubsup>
<mi>&lambda;&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>W</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>&Lambda;</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>;</mo>
</mrow>
其中，λ为控制正交约束强弱的参数，若限定权重矩阵Wi中的每一个向量都是单位向量，则Λi＝I，在该约束下所述深度非线性主成分分析网络的初始权重矩阵Wi就构成了新的向量空间下的一组基向量。
6.如权利要求4所述的深度非线性主成分分析网络的训练方法，其特征在于，所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对所述深度非线性主成分分析网络中隐藏层的激活值增加稀疏限定，对激活值稀疏约束的目标函数为：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>s</mi>
<mi>p</mi>
<mi>a</mi>
<mi>r</mi>
<mi>s</mi>
<mi>i</mi>
<mi>t</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>...</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&beta;&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<mi>h</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>Z</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，β是激活值稀疏项的系数，h(Zi)为第i层的激活值的稀疏正则项，Zi是第i层的激活值。
7.如权利要求4所述的深度非线性主成分分析网络的训练方法，其特征在于，所述利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差之前还包括：
对所述深度非线性主成分分析网络中各层的权重的稀疏性进行限定，对各层权重的稀疏性约束的目标函数为：
<mrow>
<msub>
<mi>L</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>&alpha;&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>;</mo>
</mrow>
其中，α是控制权重稀疏性正则化的参数。
8.一种深度非线性主成分分析网络的训练装置，其特征在于，包括：
基础网络获取单元，用于获取深度非线性主成分分析网络；
重构误差计算单元，用于利用所述深度非线性主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；
梯度计算单元，用于从所述深度非线性主成分分析网络的最后一层开始逐层进行反向回传，计算整个神经网络的重构误差之和对于各层权重的梯度；
权重矩阵计算单元，用于根据所述整个神经网络的重构误差之和对于各层权重的梯度，计算出所述深度非线性主成分分析网络的权重矩阵；
参数调整单元，用于根据所述权重矩阵对所述深度非线性主成分分析网路进行参数更新，并返回所述利用所述深度非线性主成分分析网络对输入数据进行前向传播的过程，直至所述整个神经网络的重构误差之和下降到收敛为止。
9.一种深度非线性主成分分析网络的训练装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711395499.0A CN108122028A (zh) | 2017-12-21 | 2017-12-21 | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711395499.0A CN108122028A (zh) | 2017-12-21 | 2017-12-21 | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108122028A true CN108122028A (zh) | 2018-06-05 |
Family
ID=62231014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711395499.0A Pending CN108122028A (zh) | 2017-12-21 | 2017-12-21 | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122028A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109739979A (zh) * | 2018-12-11 | 2019-05-10 | 中科恒运股份有限公司 | 神经网络的调优方法、调优装置及终端 |
| CN109816098A (zh) * | 2019-01-25 | 2019-05-28 | 京东方科技集团股份有限公司 | 神经网络的处理方法及评估方法、数据分析方法及装置 |
| CN114994547A (zh) * | 2022-08-05 | 2022-09-02 | 中汽研新能源汽车检验中心(天津)有限公司 | 基于深度学习和一致性检测的电池包安全状态评估方法 |
-
2017
- 2017-12-21 CN CN201711395499.0A patent/CN108122028A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109739979A (zh) * | 2018-12-11 | 2019-05-10 | 中科恒运股份有限公司 | 神经网络的调优方法、调优装置及终端 |
| CN109816098A (zh) * | 2019-01-25 | 2019-05-28 | 京东方科技集团股份有限公司 | 神经网络的处理方法及评估方法、数据分析方法及装置 |
| CN109816098B (zh) * | 2019-01-25 | 2021-09-07 | 京东方科技集团股份有限公司 | 神经网络的处理方法及评估方法、数据分析方法及装置 |
| CN114994547A (zh) * | 2022-08-05 | 2022-09-02 | 中汽研新能源汽车检验中心(天津)有限公司 | 基于深度学习和一致性检测的电池包安全状态评估方法 |
| CN114994547B (zh) * | 2022-08-05 | 2022-11-18 | 中汽研新能源汽车检验中心(天津)有限公司 | 基于深度学习和一致性检测的电池包安全状态评估方法 |
| US11774505B1 (en) | 2022-08-05 | 2023-10-03 | China Automotive Technology And Research Center Co., Ltd | Estimation method for safety state of battery pack based on deep learning and consistency detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112667080B (zh) | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 | |
| Ghaseminezhad et al. | A novel self-organizing map (SOM) neural network for discrete groups of data clustering | |
| CN112001306A (zh) | 基于深度卷积对抗生成神经网络的脑电信号解码方法 | |
| CN107609642A (zh) | 计算装置和方法 | |
| CN112465827A (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
| CN110188794B (zh) | 一种深度学习模型的训练方法、装置、设备及存储介质 | |
| CN111582396B (zh) | 一种基于改进卷积神经网络的故障诊断方法 | |
| CN109739995B (zh) | 一种信息处理方法及装置 | |
| CN111785366B (zh) | 患者治疗方案的确定方法、装置及计算机设备 | |
| CN108122028A (zh) | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 | |
| Kuznetsov et al. | Interpretable feature generation in ECG using a variational autoencoder | |
| CN109300531A (zh) | 一种脑疾病早期诊断方法和装置 | |
| Chen et al. | A lightweight iterative error reconstruction network for infrared image super-resolution in smart grid | |
| CN117292232B (zh) | T1加权成像的多维空间特征获取方法、系统和设备 | |
| CN115985513B (zh) | 一种基于多组学癌症分型的数据处理方法、装置及设备 | |
| CN114120245B (zh) | 基于深度神经网络的人群图像分析方法、装置以及设备 | |
| CN113673325B (zh) | 一种多特征人物情绪识别方法 | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
| Kashyap et al. | Quantum convolutional neural network architecture for multi-class classification | |
| CN114741532A (zh) | 基于多尺度分散动态路由的知识图谱补全方法及系统 | |
| CN113723519A (zh) | 基于对比学习的心电数据处理方法、装置及存储介质 | |
| CN110837847A (zh) | 用户分类方法及装置、存储介质、服务器 | |
| Song | Learning to Generate Data by Estimating Gradients of the Data Distribution | |
| CN118093439B (zh) | 一种基于一致图聚类的微服务提取方法和系统 | |
| CN117934977B (zh) | 基于图连接和图节点的脑网络分类方法、系统和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180605 |