CN109858543A - 基于低秩稀疏表征和关系推断的图像可记忆度预测方法 - Google Patents

Abstract

本发明公开了一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，包括：在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵进行相乘，得到最终的图像可记忆度预测分数。

Description

基于低秩稀疏表征和关系推断的图像可记忆度预测方法

技术领域

本发明涉及图像可记忆度预测领域，尤其涉及一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法。

背景技术

随着社交网络和硬件设备的快速发展，图像越来越多地出现在日常生活中。在成千上万的图像中，有一些图片可以在脑海中存留很长时间，而有一些却很快就会被遗忘。以上提到的现象可以用图像可记忆度来衡量，也就是一张图片能够被记住的程度。在参考文献[1]中，利用亚马逊众包平台设计了一个新颖的图像可记忆度游戏，在这个游戏中，志愿者需要观察一系列图片流，并且在看到重复的图片时，进行反馈。图像可记忆度被定义为观测者可以在一连串图片流中捕捉到重复图片的概率，取值范围是[0,1]。而且已有的研究工作表明，图像可记忆度是图片的内在固有属性。鉴于图像可记忆度在封面设计，广告宣传以及教育等领域的应用，对图像可记忆度的研究越来越得到人们的重视。

目前对于图像可记忆度的研究主要分为两个方面。

1)探索影响图像可记忆度的视觉因素和图片特征。特征，即一事物区别于其他事物的特点。在机器学习领域，特征可以理解为对图片的一种描述，而这种描述可以将不同的图片区分开来，并且可以利用这种描述进行下一步的研究。图片的特征有很多种，根据前人的研究，有的特征与图像可记忆度相关，有的特征与图像可记忆度关联很小，甚至无关。为了获得较好的图像可记忆度预测效果，需要提取与图像可记忆度有关的特征。研究表明，如果图片中含有人脸，会得到更高的可记忆度分数，反之，描述自然风景的图片可记忆度分数较低。另外，研究者发现场景和物体标注以及“属性”特征与图像的可记忆度高度相关，“属性”可以看作是一种可解释的中层特征，比如说“毛茸茸的”、“宽敞的”。在提取特征的过程中，可能会提取到重复的、对预测图像可记忆度没有积极作用的特征。对特征进行低秩稀疏学习，即低秩稀疏表征，可以将这一部分不理想的特征去掉，从而得到信息含量丰富却不冗余的特征，提高算法效率以及图像可记忆度预测的准确性。

2)设计图像可记忆度预测模型。相比对影响图像可记忆度的因素的探索，这方面的研究相对较少，很多工作直接采用了支持向量回归等已有的经典方法。更进一步，在参考文献[1]中，提出了多视角自适应回归模型，将每种视觉特征看作一个视角，极大的提升了预测效果，并且模型可以自适应的选择有更多信息的特征。在参考文献[2]中，提出了一种新的预测可记忆度的模型，此模型将弱学习、迁移学习与多视角一致性损失函数结合起来，实现了对特征表示的加强和高层语义鸿沟的跨越。

目前，在图像可记忆度领域，有两个广泛应用的数据库，分别是参考文献[1]中提出的MIT数据库，以及参考文献[3]中提出的LaMem数据库：

MIT数据库：包含来自SUN^[5]数据库的2222张图片，每张图片都有对应的可记忆度分数标签。

LaMem数据库：包含来自MIR Flickr^[6]，AVA^[7]，affective images^[8]，aliency(MIT1003^[9]和NUSEF^[10]),SUN^[5],image popularity^[11],Abnormal Objects^[12]以及aPascal^[13]等数据库的60000张图片，每张图片都有其对应的图像可记忆度分数标签。

现有的很多研究只是简单的将影响图像可记忆度的特征串联起来，进而去预测图像可记忆度。这种特征结合策略会造成特征的冗余，导致预测效果不佳。而且大多数研究对预测模型的关注不够。

因此提出一种高效、稳定的图像可记忆度预测方法是非常有必要的。

参考文献

[1]P.Isola,J.Xiao,A.Torralba,and A.Oliva,“What makes an imagememorable？”in Proceedings of IEEE International Conference on Computer Visionand Pattern Recognition,2011,pp.14325–14329.

[2]H.Peng,K.Li,B.Li,H.Ling,W.Xiong,and W.Hu,“Predicting imagememorability by multi-view adaptive regression,”in Proceedings of ACMInternational Conference on Multimedia,2015,pp.1147–1150.

[3]P.Jing,Y.Su,L.Nie,and H.Gu,“Predicting image memorability throughadaptive transfer learning from external sources,”IEEE Transactions onMultimedia,vol.19,no.5,pp.1050–1062 2017.

[4]A.Khosla,A.S.Raju,A.Torralba,and A.Oliva,“Understanding andpredicting image memorability at a large scale,”in Proceedings of the IEEEInternational Conference on Computer Vision,2015,pp.2390–2398.

[5]J.Xiao,J.Hays,K.A.Ehinger,A.Oliva,and A.Torralba,“Sun database:Large-scale scene recognition from abbey to zoo,”in Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2010,pp.3485–3492.

[6]M.J.Huiskes and M.S.Lew,“The mir flickr retrieval evaluation,”inProceedings of ACM International Conference on Multimedia InformationRetrieval.ACM,2008,pp.39–43.

[7]N.Murray,L.Marchesotti,and F.Perronnin,“AVA:a large-scaledatabasefor aesthetic visual analysis,”in Proceedings of IEEE Conference on ComputerVision and Pattern Recognition,2012,pp.2408–2415.

[8]J.Machajdik and A.Hanbury,“Affective image classificationusingfeatures inspired by psychology and art theory,”in Proceedings of ACMInternational Conference on Multimedia,2010,pp.83–92.

[9]T.Judd,K.Ehinger,F.Durand,and A.Torralba,“Learning top redictwhere humans look,”in Proceedings of IEEE Conference on Computer Vision,2009,pp.2106–2113.

[10]S.Ramanathan,H.Katti,N.Sebe,M.Kankanhalli,and T.-S.Chua,“An eyefixation database for saliency detection in images,”in Proceedings ofEuropean Conference on Computer Vision,2010,pp.30–43.

[11]A.Khosla,A.Das Sarma,and R.Hamid,“What makes an image popular？”inProceedings of International Conference on World Wide Web.2014,pp.867–876.

[12]B.Saleh,A.Farhadi,and A.Elgammal,“Object-centric anomalydetection by attribute-based reasoning,”in Proceedings of IEEE Conference onComputer Vision and Pattern Recognition,2013,pp.787–794.

[13]A.Farhadi,I.Endres,D.Hoiem,and D.Forsyth,“Describing objects bytheir attributes,”in Proceedings of IEEE Conference on Computer Vision andPattern Recognition,2009,pp.1778–1785.

发明内容

本发明提供了一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，本发明通过将图片特征进行低秩和稀疏表示，并探究图片之间关系结构，实现对图像可记忆度高效、稳定的预测，详见下文描述：

本发明适用于多种数据库，不局限于本发明所提到的MIT数据库和LaMem数据库，而且本发明也不仅仅局限于预测图像可记忆度分数。

1)进行低秩和稀疏学习，对图片特征进行映射，得到低秩的、稀疏的特征；

其中，X∈R^D×N代表数据库中图片的特征矩阵，D是特征维度，N是数据库中图片的数量，R^D×N代表维度是D×N的实矩阵的集合。P∈R^D×D是一个映射矩阵，E∈R^D×N代表稀疏误差，||.||_*表示矩阵的核范数，即矩阵奇异值之和，||.||₁表示l1范数，即所有矩阵列向量绝对值之和的最大值。α用于权衡低秩和稀疏所起作用的比重，取值范围为[0,1]。λ参数是一个调整参数，用来调整稀疏误差部分的稀疏程度。

2)对不同图片的关系进行推断，指导图像可记忆度的预测；

对关系推断的理解可以参见图2，x₁，x₂，x₃…x_N代表N个输入，y₁，y₂，y₃…y_N代表对应的N个输出。实线代表输入与输出之间已知的一一对应关系，而虚线则代表潜在的关系。从图中可以看出，输入之间若具有某种关系，输出也具有一定的关系。本发明中，输入为图片的特征，输出为预测的图像可记忆度分数，在进行预测的过程中，本发明通过对不同图片关系的推断，指导图像可记忆度分数的预测，使得预测的结果更加准确和稳定。在本发明中，不同图片之间的关系体现在图片所对应的特征之间的关系。受到高斯图模型(为本领域技术人员所公知，假设变量是正态分布的，高斯图模型致力于研究变量之间的关系。在本发明中，变量可以理解为不同的特征)的启发，对于图片之间关系的估计过程，可以用下式表示：

其中，是由对数行列式的贝格曼散度所保持的数据保真项，是l1范数正则项，det(.)代表矩阵的绝对值，ρ参数用于调整l1范数的约束程度，Θ是代表图片之间关系的逆协方差矩阵，也就是要求解的目标矩阵，H为一个预先定义的正则化矩阵，Tr(.)代表矩阵的迹，⊙代表点乘操作，即将矩阵Θ和H的对应位置上的元素分别相乘。

在本方法中，将C定义为一个核矩阵，用来计算两张图片之间预测误差的内积，也就是说，c_ij＝<e_ie_j>，e_i，e_j分别代表第i张和第j张图片的预测误差。通过将H设置为单位矩阵，对Θ的估计可以转化为下式：

研究表明，不用图片之间如果具有一定关系，那么对应的图像可记忆度预测分数也具有一定的关系。因此本方法通过自适应地学习潜在的关系矩阵Θ，从而使得预测结果更加准确。结合公式(1)，本方法的目标函数如下所示：

其中，w∈R^N×1是回归相关系数，β＞0是平衡参数，γ也是一个平衡参数。同时，在本方法中，令C＝(y-X^TP^Tw)^T(y-X^TP^Tw)，y代表真实的图像可记忆度分数。

3)最优化目标函数，对变量进行更新，并用MatLab代码实现。

确立目标函数之后，要对目标函数进行求解，确定目标函数中每个变量的更新方式。本方法通过ADMM(交替方向乘子法)算法进行求解，将对每个变量的更新转化为对子问题的求解。首先，为了便于求解，引入额外的变量J,F,Z，目标函数转化为下式：

代表矩阵Z中的元素都是非负的，而后引入拉格朗日乘子Y₁，Y₂，Y₃和Y₄，分别对变量P,J,F,E,w，Θ和Z进行迭代优化，求解过程如下，t代表第t次迭代，t+1代表第t+1次迭代，μ是平衡参数。

J的更新：

其中，代表奇异值阈值算法。

F的更新：

其中，代表缩减算法。

E的更新：

其中，代表缩减算法。

P的更新：

其中，U_t+1＝(J_t+1+F_t+1+X-E_t+1-(Y_2,t+1+Y_3,t+1-Y_1,t+1)/μ_t+2γ/μ_tw_ty^TΘ)X^T，(·)^-1代表求逆运算，(·)^T代表转置运算，I代表单位矩阵。

其中，w的更新：

可以通过求解上式实现对w的更新，上式可用LARS算法(最小角回归算法)求解。Θ的更新：

给定任意一个矩阵A，定义为

Z的更新：

其中，Y₁，Y₂，Y₃和Y₄的更新：

Y_1,t+1＝Y_1,t+μ_t(X-P_t+1X-E_t+1) (13)

Y_2,t+1＝Y_2,t+μ_t(P_t+1X-J_t+1) (14)

Y_3,t+1＝Y_3,t+μ_t(P_t+1X-F_t+1) (15)

Y_4,t+1＝Y_4,t+μ_t(Θ_t+1-Z_t+1) (16)

最后，将以上更新过程，用Matlab代码实现，并呈现为一个函数(本发明中将这个函数缩写为E-LSPFR)，方便在实施例中进行调用。E-LSPFR可以理解为一个模型，输入与图像可记忆度有关的特征以及对应的分数标签，这个模型可以实现对特征分低秩稀疏表征和关系推断，模型的输出为映射矩阵P和相关系数矩阵w，图片的特征与二者相乘，可得到最终的图像可记忆度预测分数。

本发明提供的技术方案的有益效果是：

1、本发明通过对图片特征部分施加核范数和l1范数约束，从而实现对特征的低秩和稀疏表示，解决了特征冗余、有效信息少的问题；

2、本发明为了进一步增强所学特征的表达能力以及鲁棒性，通过估计一个半正定的逆协方差矩阵从而实现自适应地估测不同图片之间潜在的关系，进一步实现对预测结果的约束。

附图说明

图1为一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法的流程图；

图2为关系推断的示意图

图3为本发明收敛性验证曲线的示意图；

图4为本发明与经典方法在MIT数据库上的性能比较的示意图；

图5为本发明与经典方法在LaMem数据库上的性能比较的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，为了验证本发明的泛化能力，即本发明在不同大小的数据库上的预测能力，本发明在MIT数据库和LaMem数据库上进行了分别独立的验证。参见图1，该方法包括以下步骤：

101：在MIT数据库上，分别提取底层特征(包括GIST(空间包络特征)、HOG(方向梯度直方图)，SSIM(结构相似性测度)以及SIFT(尺度不变特征变换)等特征)以及场景标记、物体标记和属性标记特征；

在本发明实施例中，图片的特征以矩阵的形式存在，若采用不同的特征进行预测，只需要在本发明的算法中，将特征矩阵进行替换并进行调参即可，其他不需要变化；

为了验证本发明的泛化能力，本发明在LaMem数据库上也进行了相应的研究。深度学习可以从大数据中自动学习特征的表示，其中可以包含成千上万的参数，对图像可记忆度的预测结果有较大提升。因此，在LaMem数据库上，本发明利用Hybrid1365-VGG(混合1365-视觉几何组网络，为本领域技术人员所公知)模型提取深度特征，并用于图像可记忆度的预测。

102：对步骤101中所提取的图片特征进行训练集测试集的划分；

在MIT数据库上，将提取的图片特征(即底层特征以及场景标记、物体标记和属性标记特征)随机划分为两组，一组包含1482张图片的特征，作为训练集特征；另一组包含740张图片的特征，作为测试集特征。

在LaMem数据库上，将提取的图片特征(即深度特征)，随机划分为6组，每组包含10000张图片的特征，且每组选6000张图片的特征作为训练集特征，4000张图片的特征作为测试集特征。

103：调用E-LSPFR函数，得到适用于MIT数据库的映射矩阵P和相关系数矩阵w；

在MIT数据库：将MIT数据库上提取的训练集的特征、训练集图片对应的标签作为函数E-LSPFR的输入，并通过遍历法，得到最佳参数值(α＝10^-4，γ＝10^-8，β＝10^-7，λ＝0.6，ρ＝10^-9)，进行多次迭代，最终得到适用于MIT数据库的映射矩阵P和相关系数矩阵w。

在LaMem数据库：将LaMem数据库上提取的训练集的特征、训练集图片对应的标签作为函数E-LSPFR的输入，并利用遍历法，得到最佳参数值(α＝10^-4，γ＝10^-10，β＝10^-7，λ＝0.6，ρ＝10^-9)进行多次迭代，最终得到适用于LaMem数据库映射矩阵P和相关系数矩阵w。

104：进行图像可记忆度分数的预测。

在MIT数据库：将MIT数据库上测试集的特征矩阵与其对应的P和w三者进行乘法运算，即可得到最终的图像可记忆度预测分数。最后，将图片的预测分数与测试集的真实分数进行相关性计算，可得到RC值与R值。

在LaMem数据库：将LaMem数据库上测试集的特征矩阵与其对应的P和w三者进行乘法运算，即可得到最终的图像可记忆度预测分数。最后，将图片的预测分数与测试集的真实分数进行相关性计算，可得到RC值与R值。

综上所述，本发明实施例通过将图片特征进行低秩和稀疏表示，并探究图片之间关系结构，实现对图像可记忆度高效、稳定的预测。

实施例2

下面结合图2-图4对实施例1中的方案进行可行性验证，详见下文描述：

本发明实施例采用斯皮尔曼等级相关系数(RC)和皮尔逊相关系数(R-value)来衡量，RC和R-value越大，代表预测效果越好，其定义如下：

其中，N代表图片数量，P₁ ⁱ和分别代表R₁和R₂的等级。

其中，N代表图片数量，v_i和分别代表真值与平均真值。s_i和分别代表预测值和预测均。

为了评估本方法的性能，本发明实施例进行了一系列实验。

1)本发明的收敛性验证

本发明将两次迭代过程中，PX差的F范数作为评价收敛性的标准：

O(t+1)＝||P_t+1X-P_tX||_F (19)

并将收敛阈值设为0.1。图3展示了O(t+1)随着迭代次数的变化。由图3可得，本发明在大约40次迭代之后，能够很好的保证收敛性，这说明本发明中的迭代优化算法能够有效的保证本发明的收敛性。

2)本发明与经典方法的对比试验

另外，本发明分别在MIT数据库与LaMem数据上，进行了与经典方法的对比试验，经典方法包括：SVR(支持向量回归)、RR(岭回归)、MRR(多秩回归)、Lasso(套索回归)、MLHR(多特征学习层次回归)、ICS_DLSR(类内稀疏判别性最小二乘回归)、SALPL(有监督的低秩映射学习算法)、MemNet(图像可记忆度深度网络)、GL-LSPFR(图拉普拉斯矩阵低秩稀疏特征主特征表示算法)。

实验结果证明，本方法在预测性能上具有较大优势。对比试验结果分别如图4和图5所示。(为便于绘图，在图中用E-LSPFR代表本发明一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法)从图4和图5中可以看出本发明的方法在预测图像可记忆度方面有较高的准确率。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述方法包括以下步骤：

在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；

在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；

将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经过多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；

分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵三者进行乘法运算，分别得到最终的图像可记忆度预测分数。

2.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述第一图片特征包括：底层特征、场景标记、物体标记和属性标记特征；

所述底层特征包括：空间包络、方向梯度直方图、结构相似性测度、以及尺度不变特征变换。

3.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述第二图片特征为深度特征。

4.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述目标函数具体为：

s.t.X＝PX+E

引入三个变量，J、F和Z，目标函数转化为下式：

s.t.X＝PX+E,PX＝J,PX＝F,Θ＝Z

其中，α用于权衡低秩和稀疏所起作用的比重，λ用于调整稀疏误差部分的稀疏程度，X∈R^D×N代表数据库中图片的特征矩阵，D是特征维度，N是数据库中图片的数量，R^D×N代表维度是D×N的实矩阵的集合，P∈R^D×D是一个映射矩阵，E∈R^D×N代表稀疏误差，||.||_*表示矩阵的核范数，||.||₁表示l1范数，w∈R^N×1是回归相关系数，β、γ是平衡参数，代表矩阵Z中的元素都是非负的，ρ用于调整l1范数的约束程度，Θ代表图片之间关系的逆协方差矩阵，C为核矩阵。

5.根据权利要求4所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述经过多次迭代具体为：

引入拉格朗日乘子Y₁，Y₂，Y₃和Y₄，分别对映射矩阵P、低秩矩阵J和F、稀疏误差E、回归相关系数w、逆协方差矩阵Θ和辅助矩阵Z进行迭代优化。

6.根据权利要求1所述的一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，其特征在于，所述方法还包括：

将图像可记忆度预测分数与测试集的真实分数进行相关性计算，可得到斯皮尔曼等级相关系数值与皮尔逊相关系数值。