CN104504015A - 一种基于动态增量式字典更新的学习算法 - Google Patents

Abstract

本发明公开了一种基于动态增量式字典更新的学习算法，包括选取预训练样本集，初始化初始字典，并确定要增加的原子个数m；基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；计算表征后的剩余误差，在剩余误差大于预定阈值时，向初始字典增加m个原子，基于信息熵，对m个原子初始化；将进行初始化后的m个原子添加至初始字典中，得到新字典矩阵，利用新字典矩阵对输入样本进行稀疏分解；基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的增量原子，并对增量原子去相关，当所有样本训练结束，输出最终的字典。本发明的有益效果为：能够对体量庞大的遥感数据集进行更有效更稀疏的表征。

Description

一种基于动态增量式字典更新的学习算法

技术领域

本发明涉及面向海量遥感数据的稀疏表达技术，具体来说，涉及一种基于动态增量式字典更新的学习算法。

背景技术

近年来，信号的稀疏表达吸引了很多科研人员的关注，稀疏表达的应用范围也非常广泛，包括数据压缩，特征提取等等；稀疏表达是指训练一个过完备字典，该字典是由多个原子组成，信号则表示成这些原子的线性组合；它主要包含两个步骤：稀疏表达与字典学习，而字典学习过程的不同也是区别不同算法的重要因素；字典主要有两大类：解析字典与非解析字典，解析字典由于原子固定，对于复杂的数据集，不能很好的保证分解后的稀疏性；非解析字典则能够根据数据特征自适应的训练出相应的字典，更能有效的稀疏的表示原始数据。

然而经典的字典学习算法，例如K-SVD算法等，需要一次性的输入所有的训练样本集，当训练数据体量扩大后，样本将不再能一次性输入训练，显然，传统的稀疏表达算法在大数据稀疏表示问题上显得力不从心。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的是提供一种基于动态增量式字典更新的学习算法，以克服目前现有技术存在的上述不足。

本发明的目的是通过以下技术方案来实现：

一种基于动态增量式字典更新的学习算法，包括以下步骤：

选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m；

基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；

根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定阈值的情况下，向所述初始字典增加m个原子，并基于信息熵，对所述m个原子初始化；

将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解；

基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的增量原子，并对确定的所述误差最小的增量原子去相关；

当所有样本训练结束，输出最终的字典。

进一步的，还包括：

在所述剩余误差小于预定阈值的情况下，不更新所述初始字典，继续输入下一样本；

进一步的，对确定的所述误差最小的增量原子去相关包括：

计算伽马矩阵G=D ^T D，其中D是所述新字典矩阵；

将伽马矩阵映射至结构化约束集：首先将伽马矩阵的对角线元素置为1，再对伽马矩阵进行阈值量化；

因式分解伽马矩阵并映射至光谱约束集；

对矩阵进行翻转；

重复上述过程直至达到事先设定的迭代次数，输出最终的字典。

本发明的有益效果为：基于稀疏系数的信息熵来初始化增量原子，此后运用K-SVD算法对增量原子进行更新，再迭代映射翻转对增量原子矩阵去相关，使得我们能够对体量庞大的遥感数据集进行更有效更稀疏的表征；大大减少了数据的存储空间，简化了后续的数据分析和处理难度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所述的一种基于动态增量式字典更新的学习算法的流程图；

图2是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子初始化示意图；

图3是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子更新示意图；

图4是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子去相关示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1-4所示，根据本发明实施例所述的一种基于动态增量式字典更新的学习算法，包括以下步骤：

1）借鉴了人类大脑认知的过程，当一项新的内容不能被大脑记忆中存储的信息片段重组时，这项新的内容将被加入到人类的记忆中；本发明利用了该原理，分批输入训练样本，当已有的字典不能有效表达新的样本时，则增加若干字典用于表示新的内容；

2）加入了相互关联约束，当目标函数值小于该约束值，此次样本训练过程结束，继续输入下一个样本训练；目标函数值大于该约束值时，则加入新的字典原子进行字典更新过程；

3）基于信息论信息熵的增量原子初始化方法，计算每个系数向量的信息熵，按信息熵从大到小选取前m个系数向量，将字典矩阵与这m个系数向量相乘即得到增量字典原子的初始值；

4） 增量原子更新过程加入去相关过程，重复以下过程，其中知道事先约定的循环次数：首先计算伽马矩阵(G=D ^T D，D是训练的字典)，其次将矩阵映射至结构化约束集，再对矩阵进行因式分解并映射至光谱约束集，最后再进行矩阵翻转。

其中，在训练字典的过程中，我们从人类大脑认知的过程中得到启示，采用了动态更新的方法，将训练样本分批输入，每输入一批样本，当之前的字典不能很好的表示现输入的样本时，则动态增加m个字典原子，运用K-SVD算法对这m个增量原子进行更新，并创造性的加入了原子间去相关的过程，使得能够对海量遥感数据进行更有效更稀疏的表示，本方法可以得到一个能够对海量遥感数据进行稀疏表示的字典。

一种基于动态增量式字典更新的学习算法，包括以下步骤：

选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m；

基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；

根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定阈值的情况下，向所述初始字典增加m个原子，并基于信息熵，对所述m个原子初始化；

将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解；

基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的增量原子，并对确定的所述误差最小的增量原子去相关；其中，对增量原子去相关具体包括以下步骤：

计算伽马矩阵G=D ^T D，其中D是所述新字典矩阵；将伽马矩阵映射至结构化约束集：首先将伽马矩阵的对角线元素置为1，再对伽马矩阵进行阈值量化；因式分解伽马矩阵并映射至光谱约束集；对矩阵进行翻转；重复上述过程直至达到事先设定的迭代次数，输出最终的字典；

在所述剩余误差小于预定阈值的情况下，不更新所述初始字典，继续输入下一样本；

当所有样本训练结束，输出最终的字典。

如图1所示，本发明实施例所述的一种基于动态增量式字典更新的遥感大数据字典学习算法，包括以下步骤：

步骤1：选取训练样本集，初始化字典D ₀并设置参数(增量原子个数m，模式：PSNR（Peak Signal to Noise Ratio峰值信噪比）/稀疏度，阈值)；

步骤2：基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；

步骤3：每输入一个样本，首先计算剩余误差，如果剩余误差小于设定阈值则不更新字典，输入下一个样本继续训练；如果误差大于设定阈值，则增加m个原子，并基于信息熵对这些原子进行初始化，将这些新原子并入旧字典中得到新字典矩阵；运用OMP算法用刚更新的字典对输入样本进行稀疏分解，再用K-SVD（K-Singular Value Decomposition，K次奇异值分解）算法对增量原子进行更新，最后对增量原子进行更新。当所有的样本均训练完毕，输出最终的字典。

具体应用时，

1）基于信息熵的原子初始化：

本发明采用的基于信息熵的原子初始化方法如图2所示，首先依次取系数矩阵的系数向量，计算各系数向量的信息熵，其中                                                代表系数向量，H( )代表信息熵，代表系数向量的j个分量，公式如下：

，其中，

再将信息熵最高的前m项对应的系数向量提出，与字典相乘即得到增量字典的初始值。

2）基于K-SVD算法的增量字典更新，如图3所示：

对输入的样本Y分块，分成若干个小训练样本y _i ，对每个样本交替进行如下两个步骤：

步骤2-1：稀疏分解，结合目前得到的字典，运用OMP算法解如下目标函数，得到系数，其中D是字典，T ₀是事先设定的阈值；

；

步骤2-2：字典原子更新，对于每个原子d _k ，计算剩余误差E _k ，并对其进行奇异值分解，Y是原始样本矩阵，是系数矩阵的第j行，取最大特征值对应的特征向量作为原子的更新值

。

3）增量原子去相关，如图4所示，本发明运用改进的IPR算法进行迭代映射旋转对新加入的原子去相关，增量原子去相关由以下步骤完成：

步骤3-1：计算伽马矩阵；

步骤3-2：将伽马矩阵映射至结构化约束集：首先将伽马矩阵的对角线元素置为1，再对伽马矩阵进行阈值量化；

步骤3-3：因式分解伽马矩阵并映射至光谱约束集；

步骤3-4：对矩阵进行翻转；

步骤3-5：重复上述过程直至达到事先设定的迭代次数，输出最终的字典。

本发明提出基于动态增量式字典更新的遥感大数据字典学习算法，借鉴人脑认知的过程，将训练样本分批输入，每输入一个样本，用此样本之前的所有样本训练出的字典进行稀疏表征，并计算表征后的剩余误差，若剩余误差小于设定的阈值则不更新字典并输入下一个样本继续训练，否则增加m个新原子，基于稀疏系数的信息熵来初始化增量原子，此后运用K-SVD算法对增量原子进行更新，再迭代映射翻转对增量原子矩阵去相关，使得我们能够对体量庞大的遥感数据集进行更有效更稀疏的表征，大大减少了数据的存储空间，简化了后续的数据分析和处理难度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于动态增量式字典更新的学习算法，其特征在于，包括以下步骤：

选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m；

基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；

根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定阈值的情况下，向所述初始字典增加m个原子，并基于信息熵，对所述m个原子初始化；

将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解；

基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的增量原子，并对确定的所述误差最小的增量原子去相关；

当所有样本训练结束，输出最终的字典。

2.根据权利要求1所述的基于动态增量式字典更新的学习算法，其特征在于，还包括：

在所述剩余误差小于预定阈值的情况下，不更新所述初始字典，继续输入下一样本。

3.根据权利要求1所述的基于动态增量式字典更新的学习算法，其特征在于，对确定的所述误差最小的增量原子去相关包括：

计算伽马矩阵G=D ^T D，其中D是所述新字典矩阵；

将伽马矩阵映射至结构化约束集：首先将伽马矩阵的对角线元素置为1，再对伽马矩阵进行阈值量化；

因式分解伽马矩阵并映射至光谱约束集；

对矩阵进行翻转；

重复上述过程直至达到事先设定的迭代次数，输出最终的字典。