CN109034200A - 一种基于联合稀疏表示和多视图字典学习的学习方法 - Google Patents

Abstract

本发明公开了一种基于联合稀疏表示和多视图字典学习的学习方法，先对稀疏ε‑图形产生视图进行产生k个视图，然后通过处理后把视图送入到多视图联合稀疏表示，从而利用多视图字典学习，利用训练包的数据学习字典，运用字典学习匹配作为分类训练器。与采用常规分类器的方法不同，本发明具有在保证精准度的前提下速度得到很大提升，节约了时间，而且对参数的要求简单，可应用在更广泛的领域。

Description

一种基于联合稀疏表示和多视图字典学习的学习方法

技术领域

本发明涉及机器学习领域，更具体地，涉及一种基于联合稀疏表示和多视图字典学习的学习方法。

背景技术

目前，多示例学习框架的提出在国际机器学习界引起了极大的反响，多示例学习已经取得了一定的研究成果，一些常用的数学方法均可进行扩展，进行多示例的使用，主要为：BP神经网络、K近邻方法、贝叶斯分类的图像检索方法和SVM方法。但是，如上所述，现有的算法主要利用数据的聚类，构造分类器进行对多示例进行分析和分类，但是在实际使用中，数据不一定都能保证高度集中和特征化，算法可能存在鲁棒性不足的问题，导致分类的准确率无法进一步地提高。

发明内容

本发明为克服上述现有技术所述的缺陷，把多视图和多示例整合到一个统一的框架，利用多视图的检索和字典学习，提供一种基于联合稀疏表示和多视图字典学习的多视图多示例学习方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于联合稀疏表示和多视图字典学习的学习方法，包括以下步骤：

S1.选定ε图形和l₁图形，基于稀疏ε图形去构造若干个包X_i的图形；

S2.通过l₁图形计算稀疏系数向量使稀疏ε图形中的顶点x_i,j和它的边缘到另外1个顶点满足以下函数：

以及以下函数：

S3.对于步骤S1中的包X_i，通过稀疏ε-图形并设置k种参数，产生k个视图，用于表达X_i的内在上下文结构；

S4.构建映射函数并将步骤S2产生的k个视图映射到高纬度的空间，得到新的映射函数

S5.选定总字典作为多视图字典，总字典包括若干个子字典，子字典作为包X_i的学习字典，利用核函数对字典学习进行优化；

S6.选定标签和含有k个图形的测试包，通过多视图学习得到权重矩阵，对测试包进行分类，并将标签分配至相应的测试包的分类中。

进一步地，所述步骤S2中计算稀疏系数向量α的具体过程如下：

采用以下函数：

其中，||x_i,j-Uα||²是线性的重建误差，第二项是利用正则化系数λ控制稀疏性α；顶点x_i,j到其它示例的边缘由稀疏性α决定；

基于欧氏距离定义权重矩阵Q，其函数如下：

其中，是欧氏距离的单调递减函数；通过引入权重矩阵Q，得到利用欧氏距离的函数优化上面的公式，得到以下函数：

进一步地，在所述步骤S3中，对包X_i设置参数的的方式为{＜λ₁,ε₁＞,＜λ₂,ε₂＞,…＜λ_K,ε_K＞}并产生k个不同的视图Γ_i＝{G_i,1,G_i,2,…G_i,k}。

进一步地，所述步骤S5的具体过程如下：

将步骤S3中得到的每一个包的k个图形的特征构成一个特征矩阵：

定义多视图的字典D＝{D¹,D²,…,D^k}，用于给所有的训练样本学习，字典D包含多个类特定子字典

其中，是第j类的子字典，包的视图的稀疏表示如下：

其中，的稀疏表示系数向量，而γ是正则化系数；为了考虑所有的k个视图，稀疏表示则如以下公式：

其中，W＝[W¹,W²,…,W^K]∈R^M×k由堆叠K列系数向量W^k而获得；表示系数矩阵W的一个子字典相对应中的第j类；为了改善稀疏性，应用l₁的标准，加入了l₁标准后，得到新的稀疏表示：

类特定的多视图联合稀疏表示在上式中重组包X_τ，同时考虑多视图和类别；根据以上公式和训练包学习字典D＝{D¹,D²,…,D^k}，以及为每一个类学习类特定的子字典

基于所述子字典，引入第i个训练包的第j类的重组系数矩阵参数用θ_j＝{X_i|y_i＝j}表示所有训练包的第j类的，新的联合稀疏表示如下：

将上式的||P_i||_2,1代入||P_i||_2,1＝∑_j||[P_i]_j||₂，得到[P_i]_j，[P_i]_j表示P_i的第j行；

引入线性的转换矩阵得到用于对进行学习，新的联合稀疏表示如以下函数：

进一步地，在所述步骤S5中，为了平衡每一个类别的字典的大小，类别的数量与字典被分出的类别一致；

采用惩罚机制，用于避免出现过拟合的状态，在新的联合稀疏表示中添加正则化系数ξ使保持平衡，具体公式如下：

进一步地，所述步骤S6的具体过程如下：

在所述步骤S5得到的字典D＝{D¹,D²,…,D^k}的基础上，选定1个有着k个图形的测试包，以及1个未知的标签(X_T,Γ_T＝＜G_T,1,G_T,2,…,G_T,K＞,y_T)；

通过用G_T,K替换G_τ,K代入公式中，得到系数矩阵W；

在任何一个测试包中的第j∈{1,2,…,C}类中的重建残差E_j(X_T)，具体公式如下：

其中，是第k个视图中测试包和类中所有训练数据之间的核矩阵，则是第k个视图中所有的训练包中的核矩阵；分配给测试包X_T的标签y_T是由最小重建残差得到的，其公式如下：

通过以上步骤，先对稀疏ε-图形产生视图进行产生k个视图，然后通过处理后把视图送入到多视图联合稀疏表示，从而利用多视图字典学习，利用训练包的数据学习字典，运用字典学习匹配作为分类训练器。

与现有技术相比，本发明技术方案的有益效果是：

本发明在运用现有联合稀疏表示方法以及采用字典学习方法的基础上，结合稀疏ε-图形和多视图联合稀疏表示以及多视图字典学习，与常规采用K-means(K邻近算法)分类、SVM(支持向量机)等分类作为分类器的方法不同，本发明具有在保证精准度的前提下速度得到很大提升，节约了时间，而且对参数的要求简单，可应用在更广泛的领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是基于联合稀疏表示和多视图字典学习的学习方法流程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

一种基于联合稀疏表示和多视图字典学习的学习方法，其过程如图1所示，包括以下步骤：

S1.选定ε图形和l₁图形，基于稀疏ε图形去构造若干个包X_i的图形；

S2.通过l₁图形计算稀疏系数向量使稀疏ε图形中的顶点x_i,j和它的边缘到另外1个顶点满足以下函数：

以及以下函数：

S3.对于步骤S1中的包X_i，通过稀疏ε-图形并设置k种参数，产生k个视图，用于表达X_i的内在上下文结构；

S4.构建映射函数并将步骤S2产生的k个视图映射到高纬度的空间，得到新的映射函数

S5.选定总字典作为多视图字典，总字典包括若干个子字典，子字典作为包X_i的学习字典，利用核函数对字典学习进行优化；

S6.选定标签和含有k个图形的测试包，通过多视图学习得到权重矩阵，对测试包进行分类，并将标签分配至相应的测试包的分类中。

在本实施例中，步骤S2中计算稀疏系数向量α的具体过程如下：

采用以下函数：

其中，||x_i,j-Uα||²是线性的重建误差，第二项是利用正则化系数λ控制稀疏性α；顶点x_i,j到其它示例的边缘由稀疏性α决定；

基于欧氏距离定义权重矩阵Q，其函数如下：

其中，是欧氏距离的单调递减函数；通过引入权重矩阵Q，得到利用欧氏距离的函数优化上面的公式，得到以下函数：

在本实施例中，在步骤S3中，对包X_i设置参数的的方式为{＜λ₁,ε₁＞,＜λ₂,ε₂＞,…＜λ_K,ε_K＞}并产生k个不同的视图Γ_i＝{G_i,1,G_i,2,…G_i,k}。

在本实施例中，步骤S5的具体过程如下：

将步骤S3中得到的每一个包的k个图形的特征构成一个特征矩阵：

定义多视图的字典D＝{D¹,D²,…,D^k}，用于给所有的训练样本学习，字典D包含多个类特定子字典

其中，是第j类的子字典，包的视图的稀疏表示如下：

其中，的稀疏表示系数向量，而γ是正则化系数；为了考虑所有的k个视图，稀疏表示则如以下公式：

其中，W＝[W¹,W²,…,W^K]∈R^M×k由堆叠K列系数向量W^k而获得；表示系数矩阵W的一个子字典相对应中的第j类；为了改善稀疏性，应用l₁的标准，加入了l₁标准后，得到新的稀疏表示：

类特定的多视图联合稀疏表示在上式中重组包X_τ，同时考虑多视图和类别；根据以上公式和训练包学习字典D＝{D¹,D²,…,D^k}，以及为每一个类学习类特定的子字典

基于子字典，引入第i个训练包的第j类的重组系数矩阵参数用θ_j＝{X_i|y_i＝j}表示所有训练包的第j类的，新的联合稀疏表示如下：

将上式的||P_i||_2,1代入||P_i||_2,1＝∑_j||[P_i]_j||₂，得到[P_i]_j，[P_i]_j表示P_i的第j行；

引入线性的转换矩阵得到用于对进行学习，新的联合稀疏表示如以下函数：

在本实施例中，在步骤S5中，为了平衡每一个类别的字典的大小，类别的数量与字典被分出的类别一致；

采用惩罚机制，用于避免出现过拟合的状态，在新的联合稀疏表示中添加正则化系数ξ使保持平衡，具体公式如下：

在本实施例中，步骤S6的具体过程如下：

在步骤S5得到的字典D＝{D¹,D²,…,D^k}的基础上，选定1个有着k个图形的测试包，以及1个未知的标签(X_T,Γ_T＝＜G_T,1,G_T,2,…,G_T,K＞,y_T)；

通过用G_T,K替换G_τ,K代入公式中，得到系数矩阵W；

在任何一个测试包中的第j∈{1,2,…,C}类中的重建残差E_j(X_T)，具体公式如下：

其中，是第k个视图中测试包和类中所有训练数据之间的核矩阵，则是第k个视图中所有的训练包中的核矩阵；分配给测试包X_T的标签y_T是由最小重建残差得到的，其公式如下：

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，包括以下步骤：

S1.选定ε图形和l₁图形，基于稀疏ε图形去构造若干个包X_i的图形；

S2.通过l₁图形计算稀疏系数向量使稀疏ε图形中的顶点x_i,j和它的边缘到另外1个顶点满足以下函数：

以及以下函数：

S3.对于步骤S1中的包X_i，通过稀疏ε-图形并设置k种参数，产生k个视图，用于表达X_i的内在上下文结构；

S4.构建映射函数并将步骤S2产生的k个视图映射到高纬度的空间，得到新的映射函数

S5.选定总字典作为多视图字典，总字典包括若干个子字典，子字典作为包X_i的学习字典，利用核函数对字典学习进行优化；

S6.选定标签和含有k个图形的测试包，通过多视图学习得到权重矩阵，对测试包进行分类，并将标签分配至相应的测试包的分类中。

2.根据权利要求1所述的基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，所述步骤S2中计算稀疏系数向量α的具体过程如下：

采用以下函数：

其中，||x_i,j-Uα||²是线性的重建误差，第二项是利用正则化系数λ控制稀疏性α；顶点x_i,j到其它示例的边缘由稀疏性α决定；

基于欧氏距离定义权重矩阵Q，其函数如下：

其中，是欧氏距离的单调递减函数；通过引入权重矩阵Q，得到利用欧氏距离的函数优化上面的公式，得到以下函数：

3.根据权利要求1所述的基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，在所述步骤S3中，对包X_i设置参数的的方式为{＜λ₁,ε₁＞,＜λ₂,ε₂＞,…＜λ_K,ε_K＞}并产生k个不同的视图Γ_i＝{G_i,1,G_i,2,…G_i,k}。

4.根据权利要求1所述的基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，所述步骤S5的具体过程如下：

将步骤S3中得到的每一个包的k个图形的特征构成一个特征矩阵：

定义多视图的字典D＝{D¹,D²,…,D^k}，用于给所有的训练样本学习，字典D包含多个类特定子字典

其中，是第j类的子字典，包的视图的稀疏表示如下：

其中，W^k∈R^M是的稀疏表示系数向量，而γ是正则化系数；为了考虑所有的k个视图，稀疏表示则如以下公式：

其中，W＝[W¹,W²,…,W^K]∈R^M×k由堆叠K列系数向量W^k而获得；表示系数矩阵W的一个子字典相对应中的第j类；为了改善稀疏性，应用l₁的标准，加入了l₁标准后，得到新的稀疏表示：

类特定的多视图联合稀疏表示在上式中重组包X_τ，同时考虑多视图和类别；根据以上公式和训练包学习字典D＝{D¹,D²,…,D^k}，以及为每一个类学习类特定的子字典

基于所述子字典，引入第i个训练包的第j类的重组系数矩阵参数用θ_j＝{X_i|y_i＝j}表示所有训练包的第j类的，新的联合稀疏表示如下：

将上式的||P_i||_2,1代入||P_i||_2,1＝∑_j||[P_i]_j||₂，得到[P_i]_j，[P_i]_j表示P_i的第j行；

引入线性的转换矩阵得到用于对进行学习，新的联合稀疏表示如以下函数：

5.根据权利要求4所述的基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，在所述步骤S5中，为了平衡每一个类别的字典的大小，类别的数量与字典被分出的类别一致；

采用惩罚机制，用于避免出现过拟合的状态，在新的联合稀疏表示中添加正则化系数ξ使保持平衡，具体公式如下：

6.根据权利要求1所述的基于联合稀疏表示和多视图字典学习的学习方法，其特征在于，所述步骤S6的具体过程如下：

在所述步骤S5得到的字典D＝{D¹,D²,…,D^k}的基础上，选定1个有着k个图形的测试包，以及1个未知的标签(X_T,Γ_T＝＜G_T,1,G_T,2,…,G_T,K＞,y_T)；

通过用G_T,K替换G_τ,K代入公式中，得到系数矩阵W；

在任何一个测试包中的第j∈{1,2,…,C}类中的重建残差E_j(X_T)，具体公式如下：

其中，是第k个视图中测试包和类中所有训练数据之间的核矩阵，则是第k个视图中所有的训练包中的核矩阵；分配给测试包X_T的标签y_T是由最小重建残差得到的，其公式如下：