CN103489003A - 一种基于云计算的手机图像标注方法 - Google Patents

Abstract

本发明公开了一种基于云计算的手机图像标注方法，该方法中的云端实现的所述训练海森正则化支持向量机的训练步骤如下：步骤1、假设有标注样本(x,y)∈Rⁿ×{±1}分布为P，无标注样本的分布是P的边缘分布P_X；如果边缘分布P_X与条件分布P(y|x)相关，则P_X有助于学习；基于假设相似的图像对x_i和x_j意味着相似的条件分布对P(y|x_i)和P(y|x_j)；步骤2、利用海森正则化构造局部几何信息；步骤3、构造二分类的海森正则化支持向量机目标函数。该方案将压缩后的手机图像传输到云上，然后在云上通过海森正则化支持向量机实现图像的语义标注。利用本发明的提出的海森正则化支持向量机，可以减少模型训练对人工标注样本的依赖，具有提高了图像标注的准确度等优点。

Description

一种基于云计算的手机图像标注方法

技术领域

本发明涉及一种模式识别与人工智能技术领域中的图像标注方法，特别涉及一种基于云计算的手机图像标注方法。

背景技术

带有数字摄像头的智能手机越来越流行，很容易产生大量的个人数字图像。虽然，在智能手机中流行利用时间和目录对图像进行管理，但是这使得在语义层面进行有效图片搜索非常不方便。因此，基于语义关键词进行图像标注的系统有利于个人照片管理。图像标注的目标是对每张图片分配几个关键词。这个是在图像处理、计算机视觉以及多媒体领域中的一个基础的研究问题。一般来说，它通过以下几个步骤来实现：对于给定一个训练集，我们首先提取能代表这些图像的视觉特征；然后，基于这些图像的一系列模型被训练出来用于后面的标注，每个模型对应于相应的特定关键词（或者概念）。然而，目前直接在手机上进行图像的自动标注存在以下问题：1）带标签的样本能有效改善图像标注模型的性能。然而，想要获得大量的带标注样本是很难的。2）移动终端计算资源非常有限，不可能对一个新获得的图像进行实时标注。除此以外，因为移动终端的小储存量，用户并不能获得大量的图像来构造一个可靠的学习模型。因此，寻找另外一个可行的方法来进行移动终端上的图像标注是非常必要的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于云计算的手机图像标注方法，该方法解决了手机进行图像自动标注的以下两个关键问题：1）模型训练中需要大量人工标注样本，而人工标注样本存在费时费力的情况；2）手机计算和存储资源非常有限。

本发明的目的通过下述技术方案实现：一种基于云计算的手机图像标注方法，具体实现方式：

1）在云端存储数量为l带标注的图像特征集

其中标注为y_i∈{+1,-1}，和数量为u无标注的图像特征集

2）在云端训练海森正则化支持向量机；3）利用压缩感知技术对移动图像进行压缩，并将压缩后的图像传输到云上；4）在云上利用压缩感知技术对压缩的图像进行解码；5）通过训练出来的海森正则化支持向量机进行图像标注；6）将标注的结果返回到移动终端设备。

所述基于云计算的手机图像标注方法中海森正则化支持向量机算法具体实现：

1)假设有标注样本(x,y)∈Rⁿ×{±1}分布为P，无标注样本的分布是P的边缘分布P_X。如果边缘分布P_X与条件分布P(y|x)相关，则P_X会有助于学习。这里基于假设相似的图像对x_i和x_j意味着相似的条件分布对P(y|x_i)和P(y|x_j)。

2)利用海森正则化构造局部几何信息具体步骤如下：

步骤a：对应第j个无标注样本x_j，找到其最近的k个近邻样本，组成邻域N_p，从中取出x_j后对该邻域进行中心化。此举将使得x_j成为切向空间

的原点。

步骤b：用p点的邻域N_p的相应的d个最大的特征值所对应的特征向量U来评价切向空间

正交坐标系。该步骤可以通过在

上进行特征值分解来实现，其中x_i是邻域N_p中的第i个样本。

步骤c：用施密特正交化去除矩阵H^j=[1,u₁…u_m,u₁u₁…u_du_d]中的d+1维零空间，得到矩阵

其Frobenius范数可以由

获得。

步骤d：对所以图像的

进行累加，然后获得海森正则化f^THf。

3)二分类的海森正则化支持向量机目标函数为

$f^{*}=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(x_i,y_i)+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2$ (1)

$=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(1-y_{i}f\left(x_i\right))}_{+}+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2,$

其中，L(x_i,y_i)为损失函数，即(1-y_if(x_i))₊=max(0,1-y_if(x_i))，

是f的再生核希尔伯特空间H_K的范数，λ_K作为参数控制f映射到空间Rⁿ中的复杂度，

是包含边缘分布P_X的本征几何信息的海森正则化项，λ_H作为参数控制在P_X的紧支集（compact support）上的f的复杂度。

本发明相对于现有技术具有如下的优点及效果：

1、本发明的基于云计算的手机图像标注方法是利用海森流形正则化技术，获得大量无标注的样本流形信息以提高传统SVM分类器在少量标注样本的情况下的性能。

2、本发明利用云端实现大量复杂训练与测试计算，有助于极大减少算法对手机计算和存储的要求。

3、本发明提出的海森正则化支持向量机与广泛使用的支持向量机相比，可以减少模型训练对人工标注样本的依赖，并提高图像标注的准确度。

附图说明

图1是本发明实施例的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

为了清楚说明本发明对于图像标注的有效性，如图1所示，在本实施例中进行了图像标注试验，并与经典支持向量机（SVM）进行对比。其中试验数据选择常见的PASCAL VOC’7数据集，PASCAL VOC’07数据集一共有9，963张图像。数据集中包括有人、鸟、猫、牛、狗、马、羊、飞机、自行车、船、公共汽车、小汽车、摩托车、火车、瓶子、椅子、餐桌、盆栽、沙发和电视机/屏幕20个类别。在评估监督学习算法的性能时，我们不用无标注的数据。所有的图像提取常见的GIST特征作为图像表达。具体实施步骤如下：

步骤1：训练子集和测试子集分别包含了5，011和4,952张图像。我们将训练子集进一步分成了两个子集，4,500张图像用于训练，另外511张图像用于参数验证。我们进行10次随机的划分来对性能进行评估。在训练集（4,500张图像）中，我们分别用10%,的图像作为标注数据，剩下的作为无标注数据来进行半监督实验；

步骤2：在云端通过以下步骤训练海森正则化支持向量机：

步骤2.1利用海森正则化构造局部几何信息，具体步骤如下

步骤2.1.1：对应第j个无标注样本x_j，找到其最近的k个近邻样本，组成邻域N_p，从中取出x_j后对该邻域进行中心化。此举将使得x_j成为切向空间

的原点。

步骤2.1.2：用p点的邻域N_p的相应的d个最大的特征值所对应的特征向量U来评价切向空间

正交坐标系。该步骤可以通过在

上进行特征值分解来实现，其中x_i是邻域N_p中的第i个样本。

步骤2.1.3：用施密特正交化去除矩阵H^j=[1,u₁…u_m,u₁u₁…u_du_d]中的d+1维零空间，得到矩阵

其Frobenius范数可以由

获得。

步骤2.1.4：对所以图像的进行累加，然后获得海森正则化f^THf。

步骤2.2：海森正则化支持向量机目标函数为：

$f^{*}=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(x_i,y_i)+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2$ (1)

$=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(1-y_{i}f\left(x_i\right))}_{+}+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2,$

其中L(x_i,y_i)为损失函数，即(1-y_if(x_i))₊=max(0,1-y_if(x_i))，

是f的再生核希尔伯特空间H_K的范数，λ_K作为参数控制f映射到空间Rⁿ中的复杂度，

是包含边缘分布P_X的本征几何信息的海森正则化项，λ_H作为参数控制在P_X的紧支集（compact support）上的f的复杂度。

步骤3：利用压缩感知技术对移动图像进行压缩，并将压缩后的图像传输到云上；

步骤4：在云上利用压缩感知技术对压缩的图像进行解码；

步骤5：通过训练出来的海森正则化支持向量机进行图像标注；

步骤6：将标注的结果返回到移动终端设备。

表1显示了提出海森正则化支持向量机与支持向量机（SVM）的标注结果对比。可以看出，在标注准确度上，本专利方法有明显优势。

表1为本专利方法与SVM在PASCAL VOC’7数据集的实验结果对比：

表1

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于云计算的手机图像标注方法，包括以下步骤：

1）在云端存储数量为l带标注的图像特征集

其中，标注为

和数量为u无标注的图像特征集

2）在云端训练海森正则化支持向量机；

3）利用压缩感知技术对移动图像进行压缩，并将压缩后的图像传输到云上；

4）在云上利用压缩感知技术对压缩的图像进行解码；

5）通过训练出来的海森正则化支持向量机进行图像标注；

6）将标注的结果返回到移动终端设备；

其特征在于，所述步骤2）中，云端实现的所述训练海森正则化支持向量机的训练步骤如下：

步骤1、假设有标注样本(x,y)∈Rⁿ×{±1}分布为P，无标注样本的分布是P的边缘分布P_X；如果边缘分布P_X与条件分布P(y|x)相关，则P_X有助于学习；基于假设相似的图像对x_i和x_j意味着相似的条件分布对P(y|x_i)和P(y|x_j)；

步骤2、利用海森正则化构造局部几何信息；

步骤3、构造二分类的海森正则化支持向量机目标函数。

2.根据权利要求1所述的基于云计算的手机图像标注方法，其特征在于，所述步骤2包括如下步骤：

步骤a、对应第j个无标注样本x_j，找到其最近的k个近邻样本，组成邻域N_p，从中取出x_j后对该邻域进行中心化，使x_j成为切向空间

的原点；

步骤b、用p点的邻域N_p的相应的d个最大的特征值所对应的特征向量U来评价切向空间

正交坐标系；该步骤通过在

上进行特征值分解来实现，其中x_i是邻域N_p中的第i个样本；

步骤c、用施密特正交化去除矩阵H^j=[1,u₁…u_m,u₁u₁…u_du_d]中的d+1维零空间，得到矩阵

其Frobenius范数由获得；

步骤d：对所以图像的

进行累加，以获得海森正则化f^THf。

3.根据权利要求1所述的基于云计算的手机图像标注方法，其特征在于，所述步骤3中，所述二分类的海森正则化支持向量机目标函数为：

$f^{*}=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(x_i,y_i)+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2$ (1)

$=\arg \underset{f\∈H_K}{\min }\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(1-y_{i}f\left(x_i\right))}_{+}+{\mathrm{\λ}}_K{\left|\right|f\left|\right|}_K^2+{\mathrm{\λ}}_H{\left|\right|f\left|\right|}_H^2,$

其中，L(x_i,y_i)为损失函数，即：(1-y_if(x_i))₊=max(0,1-y_if(x_i))，

是f的再生核希尔伯特空间H_K的范数，λ_K作为参数控制f映射到空间Rⁿ中的复杂度，

是包含边缘分布P_X的本征几何信息的海森正则化项，λ_H作为参数控制在P_X的紧支集上的f的复杂度。