CN105045907B - 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法 - Google Patents

Abstract

一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法属于社会图像领域。本发明以标签为纽带将视觉注意与用户兴趣结合起来，利用视觉注意机制分析图像的视觉显著性，构建具有树结构的视觉注意模型，据此获得显著区，分析图像显著信息与标签语义的对应关系，生成显著标签和节点标签，构建标签树模型，进而结合用户历史信息将标签树向用户兴趣树传播，最后由用户兴趣树向用户推荐图像，根据用户对推荐结果的反馈，重新调整树模型，进一步优化个性化社会图像推荐。其中，生成视觉注意树模型细分为四个部分：图像区域分割，显著性度量，树结构的区域合并，生成显著图。本发明提高个性化图像推荐的准确率。

Description

一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树 的构建方法

技术领域

本发明以社会图像为研究对象，在全面分析图像显著性信息的基础上，提出一种具有视觉注意树结构的图像显著区域检测方法，将图像显著区域向标签级传播，构建表征图像内容与标签相关性的标签树模型，结合用户历史行为构建用户兴趣树，据此向用户进行个性化社会图像推荐，以提高个性化图像推荐的准确率。

背景技术

随着现代互联网的飞速发展，社会网络(social network)成为人们获取感兴趣信息最直接、最方便的平台，用户可以在社会网络中对相应的资源进行浏览、搜索和分享。其中，社会图像(social image)作为一种重要的信息载体，使得社会图像分享网站成为众人瞩目的社交平台。面对海量增长的社会图像，如何帮助用户在众多的社会图像中快速选出可能感兴趣的图像，从而向用户进行个性化社会图像推荐，成为社会图像分享网站面临的一个重要且具有实际意义的问题。

社会图像分享网站允许用户对社会图像标注文本信息，即标签(Tag)，如果用户标注的标签与图像内容相关，它不仅能够提供一种潜在的图像语义信息，而且还反映了用户对图像的理解，即个性化兴趣信息。现有的个性化社会图像推荐技术往往忽略了图像语义与标签、标签与用户兴趣之间的内在联系，加之图像低层视觉特征与高层语义之间存在的语义鸿沟(semantic gap)，至今未能获得令人满意的解决方案，使得推荐结果还难以满足用户的个性化需求。

视觉心理学已有研究表明，人们在观察与理解图像时，只容许感兴趣的那部分图像信息进入视觉感知，即总是有选择地将注意力集中在图像中某些最具吸引力的区域上，即图像的显著(saliency)部分。基于视觉注意(visual attention)的感兴趣区检测方法由于加入了视觉注意机制模拟人的视觉感知过程，使检测结果更符合人眼视觉系统特性。图像最终是供人观看的，人们通过产生视觉注意来表达感兴趣的图像内容。显然，这种视觉注意信息对获取用户的个性化兴趣，并为进一步克服语义鸿沟问题提供了新的思路。基于这个思路，本发明将首先利用视觉注意机制判断图像的显著区，然后建立视觉注意和标签的相关性，最后构建用户兴趣树，向用户进行个性化社会图像推荐。

本发明将构建一种表征用户兴趣的视觉注意-标签-用户兴趣(Attention-Tag-Interest)树模型，并用于个性化社会图像推荐，以提高图像推荐的准确率。首先通过构建视觉注意树模型获取图像的显著性区域；然后将图像视觉注意信息传播到标签语义，以获取表示标签与图像内容相关度的标签树模型，进而结合用户历史浏览信息构建用户兴趣树。最后，根据该模型向用户推荐社会图像，通过用户对图像推荐结果的反馈，调整树模型，优化推荐结果。

发明内容

本发明与已有的个性化社会图像推荐方法不同，以标签为纽带将视觉注意与用户兴趣结合起来，利用视觉注意机制分析图像的视觉显著性，构建具有树结构的视觉注意模型，据此获得显著区(也称为显著图)，分析图像显著信息与标签语义的对应关系，生成显著标签和节点标签，构建标签树模型，进而结合用户历史信息将标签树向用户兴趣树传播，最后由用户兴趣树向用户推荐图像，根据用户对推荐结果的反馈，重新调整树模型，进一步优化个性化社会图像推荐。

该方法主要分为三大步骤：视觉注意树模型的生成；视觉注意-标签-用户兴趣树模型的生成；基于用户兴趣树的个性化社会图像推荐。其中，生成视觉注意树模型细分为四个部分：图像区域分割，显著性度量，树结构的区域合并，生成显著图。视觉注意-标签-用户兴趣树模型的生成分为视觉注意树到标签树的传播和标签树到用户兴趣树的传播，具体说细分为显著标签的生成，节点标签的生成，定义标签树层次因子和计算用户兴趣度四个部分。基于用户兴趣树的个性化社会图像推荐细分为基于用户兴趣标签的个性化社会图像推荐和用户相关反馈两个部分。本发明整体流程如附图1所示。

1、视觉注意树模型的生成

本发明运用图像分割技术对图像进行区域分割，将图像分割为多个原始区域，衡量各个原始区域的视觉显著性特征获得各自的显著度，根据显著度合并分割后的区域，生成具有树结构的视觉注意模型，检测出图像的显著图。

具体来说，首先，用基于数学形态学的分水岭算法分割图像，以图像的低层视觉特征为基础，能够获得一幅具有闭合曲线的区域分割结果图。然后，基于图像分割结果，采用区域间的全局对比、空间位置和显著可能性三个度量值估计各区域的显著性特征，结合三个值生成图像区域的显著度。最后，根据显著度及合并准则，将图像区域与近邻区域合并，依次合并的过程生成图像的视觉注意树模型，据此，衡量各合并区域显著度获得图像的显著图。

2、视觉注意-标签-用户兴趣树模型的生成

在获得图像显著图的基础上，本发明将视觉注意树传播到标签树、将标签树传播到用户兴趣树，通过用户浏览图像分析其感兴趣的标签信息。视觉注意树到标签树的传播包括显著标签的生成和节点标签的生成两个阶段，标签树表示各标签与图像的相关程度。标签树到用户兴趣树的传播，通过用户的浏览历史结合标签树各节点的位置计算用户对各标签的兴趣度，包括定义标签树层次因子和计算用户兴趣度两个阶段。

视觉注意树到标签树的传播是图像视觉信息向语义标签传播的过程，分为显著标签和节点标签的生成两个步骤，其中，显著标签表示图像显著区对应的标签，节点标签表示图像的其它标签。本发明将显著标签的选取看作是分类问题，通过深度学习算法结合多示例学习，确定该显著区域对应图像的哪类标签，则这个标签为显著标签，这是图像与标签间的识别过程。节点标签通过计算其与显著标签和其余节点标签的相关度来确定各标签在标签树中的父节点。生成标签树时，显著标签与根节点相连，节点标签与显著标签或显著标签下的其他节点标签相连接。通过分析某用户感兴趣的多幅图像，生成该用户对应的个性化标签树。

标签树到用户兴趣树的传播，用TF-IDF加权计算方法计算用户对各标签的兴趣度，结合标签树中标签的层次数构建用户兴趣树模型。若用户对某标签浏览次数较多且该标签与图像内容相关性大，则用户对其兴趣度偏大，反之兴趣度小，标签树与用户对各标签的兴趣值相结合构建用户兴趣树。

3、基于用户兴趣树的个性化社会图像推荐

根据用户兴趣树模型，确定用户感兴趣的标签，在数据库集中搜索该标签与图像相关度高的图像，将这些图像作为个性化社会图像推荐结果推荐给用户，完成一次个性化社会图像推荐。本发明允许用户在推荐结果中选取感兴趣的图像，推荐系统通过用户反馈信息学习用户的个性化兴趣，重新用感兴趣的图像构建视觉注意树、标签树模型，进而调整用户兴趣树模型，优化个性化社会图像推荐。

本发明的特点：

首先，本发明利用视觉注意机制分析图像的显著性，用区域相似合并的方式构建具有树结构的视觉注意模型，以此获得显著图，得到能够准确地表征人眼视觉注意系统中图像的主要信息，进而达到降低图像处理复杂度的目的。其次，本发明运用深度学习技术将视觉注意和标签语义信息联系起来，构建能够表达用户感兴趣图像与图像标签相关性的标签树模型，结合用户浏览信息确定用户对各标签的兴趣度，构建用户兴趣度模型，为此向用户进行个性化社会图像推荐。此外，本发明针对不同用户构建个性化的兴趣树，同时引入相关反馈机制优化推荐，有效提高了个性化社会图像推荐的准确度。

附图说明：

图1、用于个性化图像推荐的视觉注意-标签-用户兴趣树构建方法总体流程图

图2、视觉注意-标签-用户兴趣树模型及传播过程示意图

图3、个性化社会图像推荐流程图

具体实施方式：

根据上述描述，以下是一个具体的实施流程：从社会化媒体网站中的图像出发，首先利用图像分割技术将图像分割为多个区域，衡量各区域的显著度，通过区域合并构建视觉注意树模型，生成显著图，然后据此生成图像显著标签和节点标签，获得标签树模型，再结合用户历史浏览计算用户对标签的兴趣度，得到用户兴趣树，最后基于该树向用户推荐社会图像。

1、视觉注意树模型的生成

本发明结合人眼视觉注意机制，通过区域分割、显著性度量以及树结构的区域合并生成能够获取显著图的视觉注意树模型。

1.1图像区域分割

分水岭图像分割方法主要通过模拟浸水过程来实现，将图像中所有像素点的灰度值大小表示该点的海拔高度，形成集水盆和分水岭完成图像的分割，针对传统分水岭分割算法存在过分割的问题，本发明采用将分割后较小区域与近邻区域合并的方法来解决。

对于分割后的某区域R，定义区域尺寸来衡量该区域的大小，假设区域中最大可以容下一个t×t大小的盒形区域，称该区域尺寸大小为t，也就是说，若某区域中不能够容下t×t大小的区域，则其区域尺寸小于t。假设各区域的尺寸大于t₀时，能够消除分割中产生的过分割现象，那么需要将小于t₀的区域与近邻区域合并。

首先计算分水岭分割后图像各区域的颜色平均值，以该值表示该区域内各像素点的颜色值。将每个区域通过t₀×t₀(取3×3或5×5)大小的盒形滤波器，该滤波器的准则为：计算此时t₀×t₀区域内各像素点的颜色平均值代替该盒形的中心像素点颜色值。由此可知，若某区域尺寸大于或等于t₀，则滤波后至少有一个像素点的颜色值与滤波前一致，若某区域滤波后所有像素点颜色值均发生了变化，则该区域尺寸小于t₀。由此检测出分割后尺寸小于t₀的区域，计算该区域与其近邻区域的颜色差值，选择差值最小的区域进行合并，合并后的区域颜色值为两个区域的颜色均值，以此算法完成小区域合并，解决分割中产生的过分割问题。

1.2显著性度量

为获取图像区域的显著度，本发明结合图像显著区域的特征来分析各区域显著性。具体包括，显著区域通常与其它区域有较大差别，采用区域全局对比对其进行度量；心理学研究表明，人类视觉注意通常集中在图像中心区域，则距离图像中心近的区域显著性大，采用空间位置来度量；背景区域相比显著区域更有可能与图像边界连接，用显著可能性衡量各区域连接边界的大小。最后，将三部分结合起来获得图像各区域显著度。

1.2.1全局对比值

假设图像分割最终把图像分为n个原始区域，记为R_i(i＝1,…,n)，区域R_i的全局对比度由其与图像中其他区域的差异描述，定义如下：

其中，R_j表示原始区域中除R_i外的区域，c_i和c_j分别表示区域R_i、R_j的颜色平均值，|R_j|代表区域R_j的像素总数，S_d(R_i,R_j)定义为exp{-D(R_i,R_j)/σ²}，表示区域R_i和R_j的空间距离，D(R_i,R_j)是两个区域中心的欧氏距离，参数σ²控制距离对全局对比值的影响程度，σ²取值范围为[100,150]。全局对比说明，距离区域R_i越近、面积越大且颜色与R_i区域颜色差异越大的区域，对R_i的全局对比贡献越大。将全局对比值归一化为：

X_1min和X_1max分别是各区域全局对比值的最小值和最大值。

1.2.2空间位置值

各个区域在图像空间的位置一定程度上决定了其显著度，定义如下：

其中，|R_i|表示区域R_i的像素总个数，x_i是区域R_i中的像素点坐标，x_c是图像中心像素点坐标。空间位置值表征区域中各像素点与图像中心的距离，距离越短并且区域像素点越少，R_i的空间位置值越大。

1.2.3显著可能性

考虑到图像边界多为背景区域，显著性较小，用区域与图像边界的接触面积来衡量。为了减少计算显著可能性的复杂度，首先减少图像原始区域的数量，具体做法与1.1节盒形滤波器一致，设置较大盒形t×t(可取33×33或35×35)，将小于该尺寸的区域合并，能够获得一幅粗糙的分割结果，设此时分割为n_c个区域R_c(c＝1,…,n_c)，每一个区域均由一个或多个原始区域R_i构成。定义显著可能性如下：

其中，B表示图像的边界，|R_c∩B|指区域与图像边界相交的像素点数，|R_c|代表区域R_c的像素总数。显著可能性说明，与图像边界区域相交越少，区域越大，其显著可能性越大，当某区域与图像边界不相交时，显著可能性取得最大值1。图像的区域显著可能性值共n_c个，代表图像n个原始区域的显著可能性值，对于每一个原始区域R_i，其显著可能性为：

1.2.4区域显著度

基于以上分析可知，全局对比值、空间位置值和显著可能性从不同方面反映图像区域的显著性，采用乘法运算定义各原始区域的显著度：

X(R_i)＝NX₁(R_i)·X₂(R_i)·X₃(R_i) (6)

1.3树结构的区域合并

各原始区域根据合并准则与近邻区域合并，迭代这个过程，生成视觉注意树。

1.3.1区域合并准则和合并顺序

本发明涉及区域合并是指将符合一定条件的图像区域视为一个整体计算，区域本身并不发生变化。为了寻找相似的近邻区域合并，对于每对近邻区域R_i和R_j，根据两个区域的颜色相似性和显著相似性定义区域的合并准则Mrg：

显著相似性定义为：

其中，X(R_i)和X(R_j)分别为R_i和R_j的区域显著度。由此可见，当近邻区域有相似的颜色分布和相似的区域显著性时，二者的合并标准较大，优先合并，为了方便计算，将不相邻区域对的合并准则设为0。

本发明选取合并准则大的两个区域进行合并，用下式选出区域对(R_i,R_j)：

(R_i,R_j)＝arg max Mrg(R_i,R_j) (9)

将合并后的区域记为R_k，其颜色为合并前两区域的颜色均值，显著度为：

1.3.2视觉注意树的生成

视觉注意树通过区域合并生成，是一个具有树结构的模型。树模型每个节点代表一个区域，底层节点为各原始区域，以此为起点，通过区域合并准则每次选取两个近邻区域合并为一个新区域，在现有的原始区域和合并后的区域中根据合并准则继续选取两个区域合并，重复这个过程，直至所有区域合并完成，视觉注意树的根节点为一幅完整的图像。

1.4生成显著图

视觉注意树将一幅图像分层的表现出来，能够通过选择树节点获得高质量的图像显著图。每一个节点区域R_r的围绕区域集为C_r，C_r为与区域R_r相邻的多个区域构成的集合。根据式(9)得到区域C_r的显著度：

式中R_i为组成区域C_r的原始区域。定义显著性区域选择标准如下：

C(R_r)＝|X(R_r)-X(C_r)|·|R_r|·X(R_r) (12)

其中，|R_r|表示区域R_r的像素总个数，X(R_r)为R_r的区域显著度。选择标准表示，与周围区域差别越明显、自身区域越大且显著度越大的节点区域，其成为显著区域的可能性越大。计算每一个节点区域的选择标准值，选出具有最大标准的区域，即为该图像的显著区域R_s，即C(R_s)＝maxC(R_r)，图像显著区域构成其显著图，可以用一幅灰度图像表示。

2、视觉注意-标签-用户兴趣树模型的生成

在基于视觉注意树获取显著图的基础上，本发明构建视觉注意-标签-用户兴趣树模型用于个性化社会图像推荐，该模型包括视觉注意树到标签树的传播和标签树到用户兴趣树的传播两个部分。其中视觉注意树到标签树的传播分为显著标签的生成和节点标签的生成，标签树到用户兴趣树的传播分为定义标签树层次因子和计算用户兴趣度。

2.1视觉注意树到标签树的传播

本发明构建标签树用来表示各标签与图像的相关程度，图像显著图对应的图像标签称为显著标签，图像的其他标签称为节点标签。显著标签的获取通过深度学习算法学习显著区特征，结合多示例学习思想确定图像的哪类标签对应显著图信息。节点标签通过计算其与显著标签和标签树底层节点标签的相关度来确定各标签在标签树中的位置，生成标签树模型。

2.1.1显著标签的生成

深度置信网络(Deep Belief Networks,DBN)是一种非监督和监督方法混合的深度学习模型，网络中相邻两层可分解为一个独立的受限玻尔兹曼机，该方法能够相对准确的学习到人类对图像数据的理解方式，再利用学习到的语义特征通过多示例学习选取对应的标签类。

首先选取图像的训练样本，将训练图像的显著图作为m层受限玻尔兹曼机构成的深度置信网络的输入，其中m为大于等于2的整数，通过非监督学习来预训练深度置信网络。具体做法是，对于构成深度置信网络的每一个受限玻尔兹曼机，可视层作为其输入，隐层作为其输出，低层的输出作为高层网络的输入，每层受限玻尔兹曼机采用相同的隐层节点数目，通过这样的过程得到各层间的连接权重，完成无监督的预训练过程。对网络进行监督学习的方法为：使用多示例学习的多样性密度作为分类方法，将深度置信网络顶层受限玻尔兹曼机的输出作为多样性密度算法的输入，其输出为显著图所对应的标签类别。在预训练后，通过网络自顶向下有监督的学习，用训练样本对深度置信网络微调各层次间的链接权重，训练样本训练过的机器学习网络用于测试样本，将标签语义与图像内容联系起来。这样，通过深度学习的方法对图像显著区进行深层的特征学习与提取，并通过多密度学习算法将图像分为其对应的标签语义类，即生成显著标签，在标签树中与根节点连接。

2.1.2节点标签的生成

节点标签通过计算标签间的相似度来确定其在标签树中的父节点，本发明基于互信息的方法来计算标签之间的相似度，该方法通过两个标签t₁和t₂在同一图像中出现的概率表征相似度，如下式定义：

p(t₁,t₂)指标签t₁和t₂出现在同一副图像的概率，记为：

其中，I_t1和I_t2分别表示标签t₁和t₂标记的图像集合，N(I_t1∩I_t2)表示同时被标签t₁和t₂标记的图像个数，N(I)表示数据集中图像的总数。

p(t₁)和p(t₂)分别是标签t₁和t₂标记图像的概率，可以定义为：

对于每一幅图像，分别计算各标签与显著标签的相关性，相关性最大的作为节点标签与显著标签相连，其余标签分别比较与显著标签和标签树中现有节点标签的相关性，选取相关性较大的标签相连，据此生成标签树。在此规定，标签树中显著标签可以有多个子节点，但节点标签仅有一个子节点。

2.2标签树到用户兴趣树的传播

本发明根据标签树模型引入标签树层次因子，结合用户历史浏览信息，用TF-IDF算法计算用户对标签树中各标签的兴趣度，构建用户兴趣树模型。

2.2.1定义标签树层次因子

标签树中的标签节点表示其与图像的相关度，本发明将标签树看作具有不同层次的模型，定义标签树层次因子ε_a(a＝1,…,p)，其中p为标签树的总层次数。定义标签树中除根节点外的第一层标签(即显著标签)拥有层次因子ε₁，与显著标签相连的节点标签拥有层次因子ε₂，再下一层节点标签拥有层次因子ε₃，以此类推，同时定义ε₁>ε₂>…>ε_p，均为自然数且ε_p＝1。标签树层次因子表示图像各标签与内容的相关度大小，在计算用户兴趣度中即能够突显出显著标签的重要性，也可以有效减小频繁出现但无实际意义的标签对获取用户兴趣的影响，进而准确获取用户兴趣。

2.2.2计算用户兴趣度

用户对标签的感兴趣程度通过TF-IDF信息加权技术结合标签树层次因子计算，用户的兴趣可表示为：{(t₁,w₁),…,(t_m,w_m)}，其中w_m为用户对标签t_m的兴趣度，定义为：

式中，f_m表示用户在一段时间内浏览标签t_m的次数，N为用户总数，n_m是用户集合中浏览过标签t_m的用户数，D表示用户浏览的标签集合，ε_x为标签t_m在标签树的层次因子。公式的思想是，如果一个标签被用户多次使用，而其他用户很少使用，说明该用户对该标签兴趣度较大；对于存在多幅图像中的某标签，尽管用户对其频繁浏览，但若其处于标签树底层，说明该标签并不具有具体语义信息，不足以说明用户对该标签兴趣度大，后种情况在用户相关反馈过程中会进一步解决。结合标签树计算用户兴趣度，进而构建用户兴趣树模型，为个性化社会图像推荐做好准备。树模型的传播过程如附图2所示。

3、基于用户兴趣模型的个性化社会图像推荐

根据用户兴趣树获取用户感兴趣的标签，在图像库中搜索与该标签相关性大的图像作为结果推荐给用户，为了更好地满足用户个性化的需求，用户可以对推荐结果进行评价，根据用户感兴趣图像，引入相关反馈规则，优化推荐结果。

3.1基于用户兴趣标签的个性化社会图像推荐

本发明根据用户对标签的感兴趣度，若用户对标签t的兴趣度较大，则将图像库中标签t相关度高的图像作为结果推荐给用户。图像与标签t相关度衡量的标准是：若t是图像的显著标签，即t与图像中主要信息相关度较大，则认为标签t与该图像相关度大。根据本发明方法获取图像的显著标签，将显著标签为t的图像推荐给用户，完成一次个性化社会图像推荐。

3.2用户相关反馈

由于图像低层特征和高层语义标签之间存在较大差异，并且用户历史浏览行为不能完全代表用户的兴趣，所以仅通过一次个性化社会图像推荐往往不能满足用户的需求。本发明在推荐过程中引入相关反馈技术，其目标是在用户对推荐结果的反馈信息来学习用户的个性化兴趣，发现并捕捉用户的实际查询意图，以此修正推荐系统，得到与用户实际需求尽可能吻合的推荐结果。将满足用户要求的图像返回推荐系统，重新构建视觉注意树模型，进一步调整用户的标签树以及用户兴趣树模型，以此来优化推荐。由于相关反馈可以实时地修改系统的推荐策略，从而为个性化社会图像推荐系统增加了自适应功能。

在本发明提出的个性化社会图像推荐方法实施中，具体过程如下：

首先，在第一轮的推荐过程中，选取用户历史浏览的I幅图像作为用户感兴趣图像，分别构建这些图像的视觉注意树模型，获取各自的显著图，认为该用户感兴趣信息包含在这些显著图中。

然后，分别生成I幅显著图对应的显著标签，显著标签均与标签树的根节点相连，通过计算节点标签与各自图像中显著标签和标签树底层节点标签的相关度，生成用户的标签树，再结合用户浏览历史计算用户兴趣度，生成用户兴趣树。

最后，确定用户感兴趣标签，在数据库中选取与该标签相关度高的图像推荐给用户，用户可以对推荐结果进行评价，将用户满意的图像作为兴趣图像构建视觉注意树模型，重新生成标签树以指导下一轮推荐，优化个性化社会图像推荐。推荐过程如附图3所示。

Claims (4)

1.一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法，其特征分为三大步骤：

视觉注意树模型的生成；视觉注意-标签-用户兴趣树模型的生成；基于用户兴趣树的个性化社会图像推荐；

1.1视觉注意树模型的生成用基于数学形态学的分水岭算法分割图像，以图像的低层视觉特征为基础，能够获得一幅具有闭合曲线的区域分割结果图；然后，基于图像分割结果，采用区域间的全局对比、空间位置和显著可能性三个度量值估计各区域的显著性特征，结合三个值生成图像区域的显著度；根据显著度及合并准则，将图像区域与近邻区域合并，依次合并的过程生成图像的视觉注意树模型，据此，衡量各合并区域显著度获得图像的显著图；

1.2视觉注意-标签-用户兴趣树模型的生成

在获得图像显著图的基础上，将视觉注意树传播到标签树、将标签树传播到用户兴趣树，通过用户浏览图像分析其感兴趣的标签信息；视觉注意树到标签树的传播包括显著标签的生成和节点标签的生成两个阶段，显著标签表示图像显著区对应的标签，节点标签表示除显著标签外的其它标签；标签树表示各标签与图像的相关程度；标签树到用户兴趣树的传播，通过用户的浏览历史结合标签树各节点的位置计算用户对各标签的兴趣度，包括定义标签树层次因子和计算用户兴趣度两个阶段；

1.3基于用户兴趣树的个性化社会图像推荐

根据用户兴趣树模型，确定用户感兴趣的标签，在数据库集中搜索该标签与图像相关度高的图像，将这些图像作为个性化社会图像推荐结果推荐给用户，完成一次个性化社会图像推荐。

2.根据权利要求1所述的方法，其特征在于视觉注意树模型的生成具体如下：2.1图像区域分割

首先计算分水岭分割后图像各区域的颜色平均值，以该值表示该区域内各像素点的颜色值；将每个区域通过t₀×t₀大小的盒形滤波器，t₀×t₀取3×3或5×5；计算此时t₀×t₀区域内各像素点的颜色平均值代替该盒形的中心像素点颜色值；若某区域尺寸大于或等于t₀，则滤波后至少有一个像素点的颜色值与滤波前一致，若某区域滤波后所有像素点颜色值均发生了变化，则该区域尺寸小于t₀；由此检测出分割后尺寸小于t₀的区域，计算该区域与其近邻区域的颜色差值，选择差值最小的区域进行合并，合并后的区域颜色值为两个区域的颜色均值，以此算法完成小区域合并，解决分割中产生的过分割问题；

2.2显著性度量

显著区域通常与其它区域有较大差别，采用区域全局对比对其进行度量；人类视觉注意通常集中在图像中心区域，则距离图像中心近的区域显著性大，采用空间位置来度量；背景区域相比显著区域更有可能与图像边界连接，用显著可能性衡量各区域连接边界的大小；将三部分结合起来获得图像各区域显著度；

2.2.1全局对比值

假设图像分割最终把图像分为n个原始区域，记为R_i，其中i＝1,…,n；区域R_i的全局对比度由其与图像中其他区域的差异描述，定义如下：

其中，R_j表示原始区域中除R_i外的区域，c_i和c_j分别表示区域R_i、R_j的颜色平均值，|R_j|代表区域R_j的像素总数，S_d(R_i,R_j)定义为exp{-D(R_i,R_j)/σ²}，表示区域R_i和R_j的空间距离，D(R_i,R_j)是两个区域中心的欧氏距离，参数σ²控制距离对全局对比值的影响程度，σ²取值范围为[100,150]；将全局对比值归一化为：

X_1min和X_1max分别是各区域全局对比值的最小值和最大值；

2.2.2空间位置值

各个区域在图像空间的位置值，定义如下：

其中，|R_i|表示区域R_i的像素总个数，x_i是区域R_i中的像素点坐标，x_c是图像中心像素点坐标；空间位置值表征区域中各像素点与图像中心的距离，距离越短并且区域像素点越少，R_i的空间位置值越大；

2.2.3显著可能性

设置盒形t×t，t×t取33×33或35×35，将小于该尺寸的区域合并，能够获得一幅粗糙的分割结果，设此时分割为n_c个区域R_c，c＝1,…,n_c；每一个区域R_c均由一个或多个原始区域R_i构成；定义显著可能性如下：

其中，B表示图像的边界，|R_c∩B|指区域与图像边界相交的像素点数，|R_c|代表区域R_c的像素总数；图像的区域显著可能性值共n_c个，对于每一个原始区域R_i，其显著可能性为：

2.2.4区域显著度

采用乘法运算定义各原始区域的显著度：

X(R_i)＝NX₁(R_i)·X₂(R_i)·X₃(R_i) (6)

2.3树结构的区域合并

各原始区域根据合并准则与近邻区域合并，迭代这个过程，生成视觉注意树；

2.3.1区域合并准则和合并顺序

对于每对近邻区域R_i和R_j，根据两个区域的颜色相似性和显著相似性定义区域的合并准则Mrg：

显著相似性定义为：

其中，X(R_i)和X(R_j)分别为R_i和R_j的区域显著度；当近邻区域有相似的颜色分布和相似的区域显著性时，二者的合并标准较大，优先合并，将不相邻区域对的合并准则设为0；

选取合并准则大的两个区域进行合并，用下式选出区域对(R_i,R_j)：

(R_i,R_j)＝arg max Mrg(R_i,R_j) (9)

将合并后的区域记为R_k，其颜色为合并前两区域的颜色均值，显著度为：

2.3.2视觉注意树的生成

视觉注意树通过区域合并生成，是一个具有树结构的模型；树模型每个节点代表一个区域，底层节点为各原始区域，以此为起点，通过区域合并准则每次选取两个近邻区域合并为一个新区域，在现有的原始区域和合并后的区域中根据合并准则继续选取两个区域合并，重复这个过程，直至所有区域合并完成，视觉注意树的根节点为一幅完整的图像；

2.4生成显著图

视觉注意树每一个节点区域R_r的围绕区域集为C_r，C_r为与区域R_r相邻的多个区域构成的集合；根据式(9)得到区域C_r的显著度：

式中R_i为组成区域C_r的原始区域；定义显著性区域选择标准如下：

C(R_r)＝|X(R_r)-X(C_r)|·|R_r|·X(R_r) (12)

其中，|R_r|表示区域R_r的像素总个数，X(R_r)为R_r的区域显著度；选择标准表示，与周围区域差别越明显、自身区域越大且显著度越大的节点区域，其成为显著区域的可能性越大；计算每一个节点区域的选择标准值，选出具有最大标准的区域，即为该图像的显著区域R_s，即C(R_s)＝maxC(R_r)，图像显著区域构成其显著图，用一幅灰度图像表示。

3.根据权利要求1所述的方法，其特征在于视觉注意-标签-用户兴趣树模型的生成具体如下：

3.1视觉注意树到标签树的传播

3.1.1显著标签的生成

首先选取图像的训练样本，将训练图像的显著图作为m层受限玻尔兹曼机构成的深度置信网络的输入，其中m为大于等于2的整数，通过非监督学习来预训练深度置信网络；具体做法是，对于构成深度置信网络的每一个受限玻尔兹曼机，可视层作为其输入，隐层作为其输出，低层的输出作为高层网络的输入，每层受限玻尔兹曼机采用相同的隐层节点数目，通过这样的过程得到各层间的连接权重，完成无监督的预训练过程；对网络进行监督学习的方法为：使用多示例学习的多样性密度作为分类方法，将深度置信网络顶层受限玻尔兹曼机的输出作为多样性密度算法的输入，其输出为显著图所对应的标签类别；在预训练后，通过网络自顶向下有监督的学习，用训练样本对深度置信网络微调各层次间的链接权重，训练样本训练过的机器学习网络用于测试样本，将标签语义与图像内容联系起来；这样，通过深度学习的方法对图像显著区进行深层的特征学习与提取，并通过多密度学习算法将图像分为其对应的标签语义类，即生成显著标签，在标签树中与根节点连接；

3.1.2节点标签的生成

节点标签通过计算标签间的相似度来确定其在标签树中的父节点，基于互信息的方法来计算标签之间的相似度，该方法通过两个标签t₁和t₂在同一图像中出现的概率表征相似度，如下式定义：

p(t₁,t₂)指标签t₁和t₂出现在同一副图像的概率，记为：

其中，I_t1和I_t2分别表示标签t₁和t₂标记的图像集合，N(I_t1∩I_t2)表示同时被标签t₁和t₂标记的图像个数，N(I)表示数据集中图像的总数；

p(t₁)和p(t₂)分别是标签t₁和t₂标记图像的概率，定义为：

对于每一幅图像，分别计算各标签与显著标签的相关性，相关性最大的作为节点标签与显著标签相连，其余标签分别比较与显著标签和标签树中现有节点标签的相关性，选取相关性较大的标签相连，据此生成标签树；在此规定，标签树中显著标签有多个子节点，但节点标签仅有一个子节点；

3.2标签树到用户兴趣树的传播

根据标签树模型引入标签树层次因子，结合用户历史浏览信息，用TF-IDF算法计算用户对标签树中各标签的兴趣度，构建用户兴趣树模型；

3.2.1定义标签树层次因子

标签树中的标签节点表示其与图像的相关度，将标签树看作具有不同层次的模型，定义标签树层次因子ε_a(a＝1,…,p)，其中p为标签树的总层次数；定义标签树中除根节点外的第一层标签即显著标签拥有层次因子ε₁，与显著标签相连的节点标签拥有层次因子ε₂，再下一层节点标签拥有层次因子ε₃，以此类推，同时定义ε₁>ε₂>…>ε_p，均为自然数且ε_p＝1；

3.2.2计算用户兴趣度

用户对标签的感兴趣程度通过TF-IDF信息加权技术结合标签树层次因子计算，用户的兴趣表示为：{(t₁,w₁),…,(t_m,w_m)}，其中w_m为用户对标签t_m的兴趣度，定义为：

式中，f_m表示用户在一段时间内浏览标签t_m的次数，N为用户总数，n_m是用户集合中浏览过标签t_m的用户数，D表示用户浏览的标签集合，ε_x为标签t_m在标签树的层次因子；结合标签树计算用户兴趣度，进而构建用户兴趣树模型。

4.根据权利要求1所述的方法，其特征在于基于用户兴趣模型的个性化社会图像推荐具体如下：

4.1基于用户兴趣标签的个性化社会图像推荐

根据用户对标签的感兴趣度，若用户对标签t的兴趣度较大，则将图像库中标签t相关度高的图像作为结果推荐给用户；图像与标签t相关度衡量的标准是：若t是图像的显著标签，即t与图像中主要信息相关度较大，则认为标签t与该图像相关度大；根据方法获取图像的显著标签，将显著标签为t的图像推荐给用户，完成一次个性化社会图像推荐；

4.2用户相关反馈

根据用户反馈信息重新构建视觉注意树模型，进一步调整用户的标签树以及用户兴趣树模型，以此来优化推荐结果；

在本发明提出的个性化社会图像推荐方法实施中，具体过程如下：首先，在第一轮的推荐过程中，选取用户历史浏览的I幅图像作为用户感兴趣图像，分别构建这些图像的视觉注意树模型，获取各自的显著图，认为该用户感兴趣信息包含在这些显著图中；

然后，分别生成I幅显著图对应的显著标签，显著标签均与标签树的根节点相连，通过计算节点标签与各自图像中显著标签和标签树底层节点标签的相关度，生成用户的标签树，再结合用户浏览历史计算用户兴趣度，生成用户兴趣树；

最后，确定用户感兴趣标签，在数据库中选取与该标签相关度高的图像推荐给用户，用户对推荐结果进行评价，将用户满意的图像作为兴趣图像构建视觉注意树模型，重新生成标签树以指导下一轮推荐，优化个性化社会图像推荐。