CN103793713B

CN103793713B - 低秩约束的在线自监督学习的场景分类方法

Info

Publication number: CN103793713B
Application number: CN201210429630.1A
Authority: CN
Inventors: 丛杨; 宋红玉; 唐延东
Original assignee: Shenyang Institute of Automation of CAS
Current assignee: Shenyang Institute of Automation of CAS
Priority date: 2012-10-31
Filing date: 2012-10-31
Publication date: 2017-09-15
Anticipated expiration: 2032-10-31
Also published as: CN103793713A

Abstract

本发明涉及低秩约束的在线自监督学习的场景分类方法，包括以下步骤：对离线的图像数据进行训练并进行特征提取；进行小批训练来获得一个最初的度量学习者；依次输入在线数据图像并提取图像特征；判断图像特征有无标签；如果有标签，则更新度量学习者；如果无标签，则测量图像特征与每个训练样本之间的相似度，利用生成的双向线性图来传播它的标签；判断样本的特征向量相似度得分；如果得分高则更新度量学习者；否则输入在线数据图像。本发明能够逐渐地实现自我更新并且合并从标记样本和未标记样本获得的有用信息；用统一的在线自我更新模型的框架用来处理在线场景分类，能够实现场景的在线自动分类，保证了分类的准确性，提高了工作效率。

Description

低秩约束的在线自监督学习的场景分类方法

技术领域

本发明涉及一种场景自动分类方法，具体地说是通过低秩约束的在线自监督学习的场景分类方法。

背景技术

当今社会，机器学习技术在许多有着视觉认知能力的实际系统中扮演着一个核心的角色。传统上，机器学习模型是由标记训练数据离线训练的，在整个在线程序中都是固定不变的，例如我们例子中场景分类的机器视觉系统。不幸的是，对于实际的在线视觉系统，模型的性能可能会随着时间推移恶化并且新数据可能会与初始化训练数据大相径庭。为了处理这些问题，模型必须在批处理模式下由已有数据和新数据再离线训练一次，这样做将会很耗时间。更严重的是，如果数据集的体积过大，批训练模型将很难处理每次迭代中的所有数据。

为了克服这个缺点，一次学习一个或者一组例子的在线模型将提供一个有效的方法替代离线再训练，这是通过增量更新分类器知识的新来数据并且建立一个适应不断变化数据的决定边界。通过提供矩阵形式的模型专注于自适应相似度学习者，例如度量学习、协同滤波和多任务学习。在线度量学习模型目的是学习一个半正定矩阵W∈R^d×d，因此对于所有的p₁,p₂,p₃∈R^d有成立；如果p₁,p₂很相似而p₁,p₃刚好相反，为了分类应p₁,p₂该来自同一类而p₃则是来自另一类。从本质上讲，监督在线度量学习者也是以最大边界区分特征点的。如果所有d维数据在一个小维的子空间中，如果数据是可区分的秩小于r的度量矩阵就能够区分任意的两个样本。从理想上说，许多秩大于r的度量矩阵能够区分没有任何噪音的数据。然而，在实际中数据总会包含噪音，于是高秩度量矩阵会引起过拟合并会因此使度量矩阵容易受噪音和干扰影响。

发明内容

针对现有技术的不足，本发明提供一种结合在线度量学习和半监督标签传播的分类方法，所采用的技术方案是：低秩约束的在线自监督学习的场景分类方法，包括以下步骤：

对离线图像数据进行训练并进行特征提取；进行小批训练来获得一个最初的度量学习者W⁰；

依次输入在线数据图像q_i并提取图像特征；判断图像特征有无标签；

如果有标签，则更新度量学习者Wⁱ，返回依次输入在线数据图像q_i步骤；

如果无标签，则测量该图像与已测的每个有标签训练样本之间的相似度，利用相似度生成的双向线性图来传播它的标签；然后判断该图像特征向量与样本的特征向量相似度S_w得分；

如果得分在设定值范围内，则将该图像q插入到队列Q中，当队列Q满时更新Q，然后转至更新度量学习者步骤，同时将Q插入到P类中并清零，此时度量学习者为最终的度量学习者，P类为最终的类。

所述度量学习者为低秩矩阵。

所述最初的度量学习者为单位矩阵W⁰＝I_d×d，d为矩阵的维数，I为单位矩阵。

所述更新度量学习者包括以下步骤：

从在线图像数据的指数集合T中均匀采样得到一个随机指数t；

将t代入度量学习者迭代公式

其中其中Wⁱ＝I∈R^d×d，γ为一预设的值，αⁱ为步长，P(W)＝||W||_*，Ω＝{W|W≥0}，表示与p_t相似的样本，表示与p_t不相似的样本，t为随机指数，l(W,t)为铰链损失函数

令i=i+1，再返回从在线图像数据的指数集合T中均匀采样得到一个随机指数t步骤。

所述测量图像与每个训练样本之间的相似度采用参数化的相似函数其中p_i,p_j∈R^d，分别为所测在线图像特征向量和有标签的样本图像特征向量，S_w值表示特征向量相似度。

所述利用该双向线性图来传播它的标签包括以下步骤：

6-1.用相似函数生成双线性图表：

其中对对于p_i∈P,i∈[1,...，N]获得一个矩阵{S_i，j，i≥1,j≤N}，其中对称形式为S_i，j＝(S_i，j+S_j，i)/2；

6-2．测量属于C类的x的最大损耗其中，能量函数C＝{1,2,...，K}，x_i表示查询样本，S_i，j，j＝{1,...，n}为双线性图，并且δ_c(i)是一个表明函数；

6-3.判断是否成立，T_ε值为1.2，c_q为图像的类，为与图像类c_q不同的类；成立则再转至更新度量学习者，不成立则等待下一个在线图像数据q_i。

所述更新Q具体为：当i＜ITER-MAX∩||Wⁱ-W^i-1||_Fro＜T_w条件满足时，采样和其中q_i∈Q，表示与q_i相似的样本，表示与q_i不相似的样本，ITER-MAX为最大迭代次数，T_W为一个预设的值。

本发明具有以下有益效果及优点：

1.低秩约束的在线自监督学习的场景分类方法考虑数据的低秩特性，我们提出了一项新奇的用低秩约束来克服过拟合的在线度量学习模型。在小批训练中，我们通过低秩约束获得一个最初的度量学习者，即实现相似度测量的矩阵W。即度量学习者W具有低秩特性。由于低秩特性在实际数据中永远满足，我们考虑低秩约束我们的度量学习模型，并且以一个独立的方式学习一个低维数据表示，在这里与用满秩密集矩阵相比，低秩矩阵模型就能缩放以处理大量更多的特征和类。

2.本发明定义了一个双线性图来测量对称模式的的相似度。与其他传统图表模型相比，例如k-NN或者ε-NN图表，如果没有充分的先验知识他们不是对调谐参数敏感(例如σ)就是不能稳定地定义一个合适的图表结构，我们的双线性图在不调谐参数和没有拓扑图的先验知识的情况下还能保证准确性。

3.本发明通过结合在线度量学习和半监督标签传播为在线自我监督学习提出了一个整体的框架。与批训练的监督学习相比，本发明的算法能够逐渐地实现自我更新并且合并从标记样本和未标记样本获得的有用信息。

4.本发明用统一的在线自我更新模型的框架用来处理在线场景分类，能够实现场景的在线自动分类，保证了分类的准确性，提高了工作效率。

附图说明

图1为本发明的在线学习框架图；

图2为本发明的在线学习场景分类方法流程图；

图3为在线更新度量学习者流程图；

图4为在线标签传播及在线学习流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为实现基于我们在线度量学习模型的分类，我们定义了一个双线性图模型来预测下一个新来测试样本的标签，按照半监督学习方式融合标记数据和未标记数据的信息。然后设计出一个统一的在线自我更新模型的框架用来处理在线场景分类，如图1所示。

我们提出一个在线框架如图1所示，用度量学习来测量相似度并且采取半监督学习方式来标记测试样本。具体方法是通过低秩约束克服过拟合的计算机自动场景分类方法、提供矩阵形式的模型专注于自适应相似度学习者、建立了基于图像解析和机器学习的算法框架。

如图2所示，本方法具体包括如下步骤：

步骤S1：训练图像数据。为每一幅图像分配一个标签。

步骤S2：特征提取。从标记的图像的图像中获取有用特征，与他们的标签一起存储为特征向量。

步骤S3：小批训练。小批训练是指对少量的图像数据进行训练；小批训练的目的是通过低秩约束获得一个最初的度量学习者，即实现相似度测量的矩阵W。

步骤S4：得出最初度量学习者，即矩阵W。

步骤S5：次序输入图像。图像定义为3维数据，以图像右上方端点为原点，图像的横轴方向为x，纵轴方向为y，图像的排序数目可以用t表示。

步骤S6：特征提取。特征是从次序输入的图像中获取的，

步骤S7：检查特征有无标签。

步骤S8：对于无标签的样本，我们测量它与每个训练样本（已经测量的有标签的在线图像数据）之间的相似性并用相应的双线性图传播标签，得分高于0.5小于1的样本与有标签的样本一起用于更新矩阵W。更新的过程类似于初始化批训练。

如图2所示，本方法有两个阶段组成：批训练阶段和在线预测阶段。

初始化批训练阶段包括步骤S1、S2、S3、S4。在线预测阶段包括步骤S5、S6、S7、S8。在在线阶段中，特征从次序输入的图像中获取，取决于数据有无标签。提出的监督和半监督分类器将用于更新度量学习者W。如果预测表现达到了期望水平，在线学习阶段就会终止。

监督学习为利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，监督分类器就是监督学习下的分类器。半监督分类器是一种利用有标记样本和无标记样本进行分类的分类器。

在初始化批训练的期间，每个图像分配一个标签，提取有用特征与他们的标签一起存储为特征向量。然后我们就以低秩约束进行批训练来获得一个初始化度量学习者，即相似度测量矩阵W。在联机状态下，根据数据有无标签从而决定是否提取每个次序进来的图像特征，提出的监督和半监督分类器将用于更新度量学习者W。对于未标记的样本，我们测量它与每个训练样本之间的相似度并且使用相应的双向线性图来传播它的标签。然后，这些可靠度分数高的样品也被用来更新W。所有标记样本都用于更新，更新的过程类似于初始化批训练。在联机处理中这样的过程重复进行。在线度量学习(OML)的目标是为相似度测量学习一个由矩阵W参数化的相似函数s_w(p_i,p_j)，其中p_i,p_j∈R^d分别是在线图像数据和有标签训练图像数据的特征向量，W∈R^d×d，特征向量相似度高的S_w值高。在线度量学习步骤如图3。

S1：首先，初始化W为单位矩阵W⁰＝I_d×d。然后，迭代算法绘制一个随机的三维向量并用软边缘以解决下面的凸面问题：

且ε≥0

其中为铰链损失函数公式为||·||_Fro是Frobenius基准笵数(point wise L2norm)、C是一个调整参数，ε是一个无穷小量，p_i∈P，表示与p_i来自同一类，表示与p_i来自不同的类。

S2：t是一个随机指数，是从一个指数集合T中均匀采样得到。从K类P₁，...,P_K获得训练数据并令定义铰链损失函数为其中W∈R^d×d，p_t∈P，t是一个从指数集合T中获得的随机指数，表示与p_t相似的图像训练数据，表示与p_t不相似的图像训练数据。

为了用一个低秩特性估计度量矩阵，解决下面的最优化问题：是非凸面并且是NP-hard，用痕迹规范||||_*来估计秩函数rank(W)，简化问题。

如果t符合在指数集合T上的均匀分布，那么估计E_t[l(W,t)]微分的每一步，近端操作就能解决等式（2）中的问题：

定义近端操作如下：

其中P(W)＝||W||_*、Ω＝{W|W≥0}，y为输入图像的纵坐标，x为输入图像的横坐标，t为时间轴从指数集合T中随机采样获得的随机指数。

S3：迭代公式为

其中

S4：i=i+1,再执行s2。

为实现基于在线度量学习模型的分类，我们用一个双线性图模型来预测下一个新来测试样本的标签，按照半监督学习方式融合标记数据和未标记数据的信息。如图4所示，在线标签传播方法如下：

S1：双线性图表：假设对的所有对称点的相似度定义为

对于p_i∈P,i∈[1,...，N]，我们获得一个矩阵{S_i，j，i≥1,j≤N}，其中对称形式为S_i，j＝(S_i，j+S_j，i)/2。

S2：最大损耗公式

S3：判断是否成立，T_ε值为1.2，成立则执行S4，不成立则等待下一个数据；

S4：把q插入到队列Q中；

S5：判断队列Q是否满了。满了则执行S5，没有满则等待；

S6：开始更新Q，令i=1；

S7：判断i＜ITER-MAX∩||Wⁱ-W^i-1||_Fro＜T_w当是否成立，ITER-MAX为最大迭代次数，T_W为一个预设的值。成立则执行S7，不成立不执行操作；

S8:采样和q_i∈Q，表示与q_i相似的样本，表示与q_i不相似的样本；更新Q结束；

S9:由图3的更新度量学习者算法更新W；

S10:i=i+1;S7、S8、S9、S10为一while循环，当循环结束执行S11；

S11：Q插入到P中，Q清零；

S12：输出W^*＝W，P^*＝P。W^*为最终的度量矩阵，P^*为最终的类。

本发明所采用的原理包括：

A.在线标签传播原理：

为预测新数据的标签，定义G＝(V,E)，其中V表示n＝n_l+n_u特征向量(n_l表示标记过的n_u表示未标记的分别)；E是测量成对相似度的边缘节点。假设我们有C＝{1,2,...，K}类，令其中表示标记数据的标签矩阵，表示需要预测的未标记数据的标签矩阵。为了方便计算，我们第一次标准化的相似性矩阵S如下

矩阵P∈R^n×n能够被分解为标记和未标记子矩阵

其中p_ll∈R^nl×nl等等。对于标签传播，我们有

当t趋于无穷，我们有

其中是F_u的初始值。由于P是一个行规范化矩阵，子矩阵(p_uu)ⁿ每行值的和趋近于0。即公式（7）的第一项收敛于0，即对F_u的值无影响。此外，根据泰勒公式，公式(6)的第二项可以表示为

F_u＝(I-P_uu)^-1P_ulF_l(8)

对于在线预测我们例子中次序进入的样本的标签，我们有n_u＝1，而p_uu∈R^1×1是一个固定的实数并且(I-P_uu)^-1可逆也为一个实数，所以有

F_u∝P_ulF_l(9)

等式(9)也符合我们定义的能量函数

其中C＝{1,2,...，K}，x_i表示查询样本，S_i，j，j＝{1,...,n}为双线性图，并且δ_c(i)是一个表明函数。E_c(x)为能量函数，他测量属于C类的x的损耗。给定x，最佳解决方法就是c^*是E_c(x)的一个最大损耗公式

B.更新：

根据每个测试样本的特性设计了一个自适应模型更新计划。如图1和图4所示，所有的标记样本肯定都用于更新模型；未标记的样本只有符合下面粗糙标准时才能用于更新模型：表示与类c不太相同的图像类，c^*为与类c近似的类，C＝{1,2,...，K}表示图像类的集合c∈C，T_ε=1.2；当队列Q排满时所有用于更新的样本都推入到队列Q中。有高可靠度的标记数据与未标记数据将对模型的矩阵W进行迭代更新。通过调节矩阵Q的长度L，我们可以选择一步一步模式(L=1)或者小型批训练模式(L>1)更新在线模型。

Claims

1.低秩约束的在线自监督学习的场景分类方法，其特征在于包括以下步骤：

如果得分在设定值范围内，则将该图像q插入到队列Q中，当队列Q满时更新Q，然后转至更新度量学习者步骤，同时将Q插入到P类中并清零，此时度量学习者为最终的度量学习者，P类为最终的类；

所述更新度量学习者包括以下步骤：

将t代入度量学习者迭代公式

其中其中Wⁱ＝I∈R^d×d，I为单位矩阵，d为特征向量的维数，γ为一预设的值，αⁱ为步长，P(W)＝||W||_*Ω＝{W|W≥0}，表示与p_t相似的样本，表示与p_t不相似的样本，t为随机指数，l(W,t)为铰链损失函数

令i＝i+1，再返回从在线图像数据的指数集合T中均匀采样得到一个随机指数t步骤；

所述利用该双向线性图来传播它的标签包括以下步骤：

6-1.用相似函数生成双线性图表：

其中对对于p_i∈P,i∈[1,...，N]获得一个矩阵{S_i,j，i≥1,j≤N}，其中对称形式为S_i,j＝(S_i,j+S_j,i)/2；

6-2.测量属于c类的x的最大损耗其中，能量函数c为图像中的第c类，c∈C，C＝{1,2,...，K}表示图像类的集合，x_i表示查询样本，S_i,j,j＝{1,...,n}为双线性图，并且δ_c(i)是一个表明函数；

2.根据权利要求1所述的低秩约束的在线自监督学习的场景分类方法，其特征在于：所述度量学习者为低秩矩阵。

3.根据权利要求1所述的低秩约束的在线自监督学习的场景分类方法，其特征在于：所述最初的度量学习者为单位矩阵W⁰＝I_d×d，d为矩阵的维数，I为单位矩阵。

4.根据权利要求1所述的低秩约束的在线自监督学习的场景分类方法，其特征在于：所述测量图像与每个训练样本之间的相似度采用参数化的相似函数其中p_i,p_j∈R^d，分别为所测在线图像特征向量和有标签的样本图像特征向量，s_w值表示特征向量相似度；度量两个样本间的相似度程度，其中W为距离度量矩阵。

5.根据权利要求1所述的低秩约束的在线自监督学习的场景分类方法，其特征在于：所述更新Q具体为：当i＜ITER-MAX∩||Wⁱ-W^i-1||_Fro＜T_w条件满足时，采样q_i∈Q,和其中q_i∈Q，表示与q_i相似的样本，表示与qi不相似的样本，ITER-MAX为最大迭代次数，T_W为一个预设的值。