CN112487231A - 一种基于双图正则化约束和字典学习的图像自动标注方法 - Google Patents

Abstract

本发明提供一种基于双图正则化约束和字典学习的图像自动标注方法，包括以下步骤：根据图像训练集和测试集提取图像特征，得到图像特征集X；采用汉明损失和高斯核函数计算图像间相似度权重W_i,j，得到特征空间正则化图L_C；构建初始稀疏字典D，并对图像特征集X进行稀疏重构得到初始稀疏编码A；采用凸优化工具获得字典原子图L_D；基于特征空间正则化图L_C约束、字典原子图L_D约束及稀疏编码A，交替更新得到最优稀疏字典D和分类器W；根据最优稀疏字典D进行特征重构，自适应扩大分类权重并利用分类器W进行标签概率预测，根据标签预测概率进行图像的自动标注。本发明能够有效的关联特征之间和标签之间的高维联系，具有良好的准确性、泛用性和适应性。

Description

一种基于双图正则化约束和字典学习的图像自动标注方法

技术领域

本发明属于图像检索技术领域，具体涉及一种基于双图正则化约束和字典学习的图像自动标注方法。

背景技术

随着数码相机和电子设备的逐渐流行，各种图像的数量正在快速增加。对于图像检索，用户习惯于采用关键字等方式进行检索，但是人工的对图像进行标注的方法不但工作量大，而且不可避免地带来主观性和不精确性，让计算机实现图像自动标注势在必行。

图像自动标注是让计算机自动地给图像加上能够反映其内容的语义关键词，自动标注的使用可以有效地改善目前图像检索的困境。

使用包含样本原子在内的过完备字典，样本由过完备字典原子的稀疏线性组合表示，这是字典学习核心思想。目前研究活动主要集中在根据给定字典分解样本的跟踪算法，通过从一组预先指定的线性变换中选择一个或使字典适应一组训练信号，可以设计更符合上述模型的字典。这就直接指出了字典学习的两个过程：训练字典和稀疏编码。字典学习能够有效的关联特征与特征之间，标签与标签之间的高维联系。

因此，提供一种基于字典学习的自动化的图像标注方法是非常有必要的。

发明内容

针对现有技术存在的问题，本发明提供了一种基于双图正则化约束和字典学习的图像自动标注方法，通过使用特征空间和字典原子空间的拉普拉斯正则化图，通过交替迭代算法求得最优的稀疏字典，使用最优稀疏字典进行特征重构，使用分类器进行标签概率预测，基于标签预测概率构造图像预测标签集，实现图像的自动标注，具有较强的准确性和适用性。

为达到上述目的，本发明提出如下技术方案，本发明提供一种基于双图正则化约束和字典学习的图像自动标注方法，包括以下步骤：

S1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集X；

S2、采用汉明损失和高斯核函数计算图像间相似度权重W_i,j，得到特征空间正则化图L_C；

S3、构建初始稀疏字典D₀根据初始稀疏字典D₀对图像特征集X进行稀疏重构得到初始稀疏编码A；

S4、采用凸优化工具获得字典原子图L_D；基于特征空间正则化图L_C约束、字典原子图L_D约束及稀疏编码A，采用交替更新并自适应扩大编码权重得到最优稀疏字典D和分类器W；

S5、根据最优稀疏字典D进行特征重构，自适应扩大分类权重并利用分类器W进行标签概率预测，根据标签预测概率进行图像的自动标注。

优选地，所述测试集和所述训练集分别包含若干个特征向量x_i，每个特征向量x_i包含若干个连续特征和离散特征。

优选地，所述步骤S2的具体过程为：

S2.1、根据汉明损失计算图像离散特征间相似度的权重

S2.2、根据高斯核函数计算图像连续特征间相似度的权重

S2.3、根据图像离散特征间相似度的权重

和图像连续特征间相似度的权重

计算图像间的相似度的权重W_i,j；

S2.4、根据图像间的相似度的权重W_i,j得到数据空间正则化图L_C。

优选地，所述步骤S3的具体过程为：

S3.1、获得初始化的稀疏编码A⁽⁰⁾，并设置误差变量Z⁽⁰⁾及缩放变量U⁽⁰⁾；

S3.2、对稀疏编码A⁽⁰⁾、误差变量Z⁽⁰⁾及缩放变量U⁽⁰⁾进行迭代更新，直到收敛；

S3.3对误差变量Z^(k)及误差变量约束Ω_j进行更新，根据最终的误差变量Z^(k)得到稀疏编码A。

优选地，所述步骤S4的具体过程为：

S4.1、初始化字典D⁽⁰⁾及分类器W⁽⁰⁾，得到联合字典

并通过联合字典

对特征和标签进行稀疏重构，得到稀疏编码

S4.2、根据稀疏限制T₀和测试集样本数量M₁得到字典原子使用数量阈值

并统计各个字典原子的使用数量C^D，根据字典原子使用数量阈值

及字典原子使用数量C^D对字典原子编码权重d_i进行更新；

S4.3、获得当前更新字典原子项d_j，并依次更新字典原子项d_j和稀疏编码，直到收敛；

S4.4、根据步骤S4.2对字典原子编码权重d_i进行更新，得到最终的联合字典

即为最优的稀疏字典D和分类器W。

优选地，所述对字典原子编码权重d_i进行更新的过程为：判断字典原子使用数量C^D是否大于字典原子使用数量阈值

若字典原子使用数量C^D大于字典原子使用数量阈值

则将字典原子编码权重d_i进行更新；若字典原子使用数量C^D小于字典原子使用数量阈值

则保留原字典原子编码权重d_i。

优选地，所述步骤S5的具体过程为：

S5.1、采用最优稀疏字典D对测试集进行稀疏重构，得到稀疏编码

S5.2、根据稀疏限制T₀和训练集数量M₁得到字典原子使用数量阈值

并统计各个字典原子的使用数量C^K，根据字典原子使用数量阈值

及各个字典原子的使用数量C^K对，测试特征的分类权重A_test[k,i]进行更新；

S5.3、采用稀疏编码A_test和分类器W得到预测概率向量

S5.4、计算训练集中属于某个标签的图像的标签集的平均长度

根据标签集的平均长度

计算测试集的标签集的预测长度length(y′_i)；

S5.5、根据预测概率向量

和预测长度length(y′_i)，得到图像预测标签集合，完成图像的自动标注。

本发明公开了以下技术效果：

本发明通过使用特征空间和特征属性空间的拉普拉斯正则化图，通过交替迭代算法求得最优的稀疏字典，使用最优稀疏字典进行特征重构，能够有效的关联特征和特征之间，标签和标签之间的高维联系；使用分类器进行标签概率预测；基于标签预测概率构造图像预测标签集，实现图像的自动标注，具有较强的准确性；同时本发明能够标注所有类型的图像，具有较强的泛用性；本发明还能够处理包含连续特征和离散特征的图像，具有较强的适应性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于双图正则化和字典学习的图像自动标注方法流程示意图：

图2为本发明的特征空间正则化图L_C的计算流程示意图；

图3为本发明的稀疏编码A的计算流程示意图；

图4为本发明的最优稀疏字典D和分类器W的计算流程示意图；

图5为本发明构建图像预测标签集的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种基于双图正则化和字典学习的图像自动标注方法，包括以下步骤：

S1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集X；

本实施例提取M幅图像的特征构成训练集X_train为X_train＝{{(x_i,y_i)∈χ×{0,1}^Q|i＝1,2,...,M₁}}和测试集X_test为X_test＝{{(x_i,y_i)∈χ×{0,1}^Q|i＝M₁+1,M₁+2,...,M}}。

其中：图像特征集X＝(x₁,x₂,x₃,...,x_M)＝(X_train,X_test),其中

其中任意

为第i幅图像对应的特征向量，

为连续特征，N₁为连续特征的个数，

为离散特征，N为特征的总个数，其中任意

为x_i对应的标签向量，

q＝1,2,...,Q，y_i∈L，L＝{l₁,l₂,...,l_Q}为总标签集，l_q为L中的第q标签，Q为标签总数；i为图像的编号；。

设稀疏字典

K为稀疏字典D中的字典原子数量，

表示矩阵，稀疏编码

存在约束||a_i||₀≤T₀,其中a_i表示的A中第i项，即x_i对应的稀疏编码，T₀为稀疏限制,分类器

S2、采用汉明损失和高斯核函数计算图像间相似度权重W_i,j，得到特征空间正则化图L_C，具体流程如图2所示。

S2.1、基于汉明损失构造x_i与x_j间各个离散特征的相似度权重

具体为：

S2.2、基于高斯核函数构造x_i与x_i间各个连续特征相似度权重

具体为：

其中：

表示向量

与

间的距离；σ为调节因子，

S2.3、对式(1)和式(2)中的

和

加权求和构造x_i与x_i间的相似度权重W_i,j，具体为：

S2.4、基于相似度权重W_i,j确定特征空间正则化图L_C，具体为：

其中：

S3、构建初始稀疏字典D₀，根据初始稀疏字典D₀对图像特征X进行稀疏重构得到稀疏编码A，具体流程如图3所示。

S3.1、初始化稀疏编码

稀疏编码存在约束||a_i||₀≤T₀，并设置误差变量Z⁽⁰⁾＝A⁽⁰⁾,缩放变量U⁽⁰⁾＝0,k＝1。

S3.2、在稀疏编码的第k次更新中，以(D^TD+ρI)A+βAL_C＝D^TX+ρ(Z^(k-1)-U^(k-1))的解更新A^(k)，其中图度矩阵Δ是一个对角矩阵，且Δ_ii＝∑_jW_ij(i,j＝1,2,...,M₁),与之相关联的特征空间正则化拉普拉斯图L_C＝Δ-W,规范化拉普拉斯为

ρ为迭代速率；β是字典原子图权重参数。

S3.3、更新

其中：

为投影算子，表示只取(A^(k)+U^(k-1))中每列前T₀大的项。

S3.4、更新U^(k)＝U^(k-1)+X^(k)-Z^(k)，若不收敛，则令k＝k+1并返回步骤S3.2。

S3.5、更新Ω_j＝{i|Z^(k)[i,j]≠0}(j＝1,2...,M₁)，并更新

其中：Ω_j为误差变量约束，表示为当更新某个字典原子误差时，只选择和其有关的稀疏编码的误差进行更新，而忽略和其无关的稀疏编码的误差；

是D在Ω_j约束下的子集。

得到最终的Z^(k)即为稀疏编码A。

S4、采用凸优化工具获得字典原子图L_D；基于特征空间正则化图L_C约束、字典原子图L_D约束及稀疏编码A，采用交替更新并自适应扩大编码权重得到最优稀疏字典D和分类器W，具体流程如图4所示。

S4.1、本实施例采用凸优化CVX工具计算字典原子图L_D，具体为：

由此，存在约束L_i,j＝L_j,i≤0(i≠j)，L_D 1＝0，Tr(L_D)＝N(i,j＝1,2,...,M₁)。

其中：α是字典原子图的权重参数；Tr(·)是迹函数；||·||_F表示F范数；1和0分别表示长度为N的全1列向量和全0列向量。

通过特征空间图约束和字典原子图约束，确定：

由此，存在约束||a_i||₀≤T₀(i＝1,2,...,M₁)。

其中：β是字典原子图权重参数；γ是分类器权重参数。

S4.2、初始化字典

分类器

记

初始化k＝1；

S4.3、在稀疏编码的第k次更新中，根据步骤S3通过字典

对训练集的图像特征和原始图像样本分类标签进行稀疏重构得到稀疏编码

S4.4、根据稀疏限制T₀和测试集样本数量M₁，计算获得需要扩大编码权重的字典原子使用数量阈值

统计各个字典原子的使用数量C^D＝(c₁,c₂,...,c_k)，其中：

扩大字典原子的编码权重，具体为：

S4.5、使用d_j(j＝1,2,...,K)表示当前更新字典原子项，得到误差变量约束

S4.6、定义限制算子P_j为使用了第j个字典原子的稀疏编码列的集合，

其中的

计算误差矩阵，具体为：

其中：

表示

的第i行；

S4.7、更新

表示约束条件下的v_j，L_C；

更新

若不收敛，则k＝k+1并回到步骤S4.2。

S4.8、根据步骤S4.4再次更新字典原子编码权重，得到最终的

即为最优稀疏字典D和分类器W。

S5、使用最优稀疏字典D进行特征重构并自适应扩大分类权重并利用分类器W进行标签概率预测，根据标签预测概率实现图像的自动标注，具体流程如图5所示。

基于稀疏字典D和分类器W预测x_i属于l_q的概率向量

构造图像的预测标签集y_i′(i＝M₁+1,M₁+2,...,M,q＝1,2,...,Q)。

S5.1、使用最优稀疏字典D对测试图像特征X_test进行稀疏重构，得到稀疏编码

S5.2、根据稀疏限制T₀和训练集样本数量M₁，计算获得需要扩大分类权重的字典原子使用数量阈值

统计各个字典原子的使用数量C^K＝(c₁,c₂,...,c_k)，其中c_k＝∑_i(1|A_test[k,i]≠0)(i＝1,2,...,M₂；k＝1,2,...,K)，扩大测试特征的分类权重为：

S5.3、使用稀疏编码A_test和分类器W得到预测概率向量

S5.4、计算X_train中属于l_q的图像的标签集的平均长度ave_len(lq)：

计算X_test中图像x_i的标签集的预测长度length(y′_i)：

S5.5、对

(q＝1,2,...,Q)(i＝M₁+1,M₁+2,...,M)由大到小进行排序；在由大到小的排序序列中选取前length(y_i′)个概率对应的标签，将这些标签的集合作为图像预测标签集，完成对图像的自动标注。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，包括以下步骤：

S1、构建图像测试集和训练接，根据图像训练集和测试集提取图像特征，得到图像特征集X；

S2、采用汉明损失和高斯核函数计算图像间相似度权重W_i,j，得到特征空间正则化图L_C；

S3、构建初始稀疏字典D₀根据初始稀疏字典D₀对图像特征集X进行稀疏重构得到初始稀疏编码A；

S4、采用凸优化工具获得字典原子图L_D；基于特征空间正则化图L_C约束、字典原子图L_D约束及稀疏编码A，采用交替更新并自适应扩大编码权重得到最优稀疏字典D和分类器W；

S5、根据最优稀疏字典D进行特征重构，自适应扩大分类权重并利用分类器W进行标签概率预测，根据标签预测概率进行图像的自动标注。

2.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述测试集和所述训练集分别包含若干个特征向量x_i，每个特征向量x_i包含若干个连续特征和离散特征。

3.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤S2的具体过程为：

S2.1、根据汉明损失计算图像离散特征间相似度的权重

S2.2、根据高斯核函数计算图像连续特征间相似度的权重

S2.3、根据图像离散特征间相似度的权重

和图像连续特征间相似度的权重

计算图像间的相似度的权重W_i,j；

S2.4、根据图像间的相似度的权重W_i,j得到数据空间正则化图L_C。

4.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤S3的具体过程为：

S3.1、获得初始化的稀疏编码A⁽⁰⁾，并设置误差变量Z⁽⁰⁾及缩放变量U⁽⁰⁾；

S3.2、对稀疏编码A⁽⁰⁾、误差变量Z⁽⁰⁾及缩放变量U⁽⁰⁾进行迭代更新，直到收敛；

S3.3对误差变量Z^(k)及误差变量约束Ω_j进行更新，根据最终的误差变量Z^(k)得到稀疏编码A。

5.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤S4的具体过程为：

S4.1、初始化字典D⁽⁰⁾及分类器W⁽⁰⁾，得到联合字典

并通过联合字典

对特征和标签进行稀疏重构，得到稀疏编码

S4.2、根据稀疏限制T₀和测试集样本数量M₁得到字典原子使用数量阈值

并统计各个字典原子的使用数量C^D，根据字典原子使用数量阈值

及字典原子使用数量C^D对字典原子编码权重d_i进行更新；

S4.3、获得当前更新字典原子项d_j，并依次更新字典原子项d_j和稀疏编码，直到收敛；

S4.4、根据步骤S4.2对字典原子编码权重d_i进行更新，得到最终的联合字典

即为最优的稀疏字典D和分类器W。

6.根据权利要求5所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述对字典原子编码权重d_i进行更新的过程为：判断字典原子使用数量C^D是否大于字典原子使用数量阈值

若字典原子使用数量C^D大于字典原子使用数量阈值

则将字典原子编码权重d_i进行更新；若字典原子使用数量C^D小于字典原子使用数量阈值

则保留原字典原子编码权重d_i。

7.根据权利要求1所述的基于双图正则化约束和字典学习的图像自动标注方法，其特征在于，所述步骤S5的具体过程为：

S5.1、采用最优稀疏字典D对测试集进行稀疏重构，得到稀疏编码

S5.2、根据稀疏限制T₀和训练集数量M₁得到字典原子使用数量阈值

并统计各个字典原子的使用数量C^K，根据字典原子使用数量阈值

及各个字典原子的使用数量C^K对测试特征的分类权重A_test[k,i]进行更新；

S5.3、采用稀疏编码A_test和分类器W得到预测概率向量

S5.4、计算训练集中属于某个标签的图像的标签集的平均长度

根据标签集的平均长度

计算测试集的标签集的预测长度length(y′_i)；

S5.5、根据预测概率向量

和预测长度length(y′_i)，得到图像预测标签集合，完成图像的自动标注。

Images