CN105045907A - 一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法 - Google Patents
一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法 Download PDFInfo
- Publication number
- CN105045907A CN105045907A CN201510487893.1A CN201510487893A CN105045907A CN 105045907 A CN105045907 A CN 105045907A CN 201510487893 A CN201510487893 A CN 201510487893A CN 105045907 A CN105045907 A CN 105045907A
- Authority
- CN
- China
- Prior art keywords
- label
- image
- region
- tree
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9562—Bookmark management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Image Analysis (AREA)
Abstract
一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法属于社会图像领域。本发明以标签为纽带将视觉注意与用户兴趣结合起来,利用视觉注意机制分析图像的视觉显著性,构建具有树结构的视觉注意模型,据此获得显著区,分析图像显著信息与标签语义的对应关系,生成显著标签和节点标签,构建标签树模型,进而结合用户历史信息将标签树向用户兴趣树传播,最后由用户兴趣树向用户推荐图像,根据用户对推荐结果的反馈,重新调整树模型,进一步优化个性化社会图像推荐。其中,生成视觉注意树模型细分为四个部分:图像区域分割,显著性度量,树结构的区域合并,生成显著图。本发明提高个性化图像推荐的准确率。
Description
技术领域
本发明以社会图像为研究对象,在全面分析图像显著性信息的基础上,提出一种具有视觉注意树结构的图像显著区域检测方法,将图像显著区域向标签级传播,构建表征图像内容与标签相关性的标签树模型,结合用户历史行为构建用户兴趣树,据此向用户进行个性化社会图像推荐,以提高个性化图像推荐的准确率。
背景技术
随着现代互联网的飞速发展,社会网络(socialnetwork)成为人们获取感兴趣信息最直接、最方便的平台,用户可以在社会网络中对相应的资源进行浏览、搜索和分享。其中,社会图像(socialimage)作为一种重要的信息载体,使得社会图像分享网站成为众人瞩目的社交平台。面对海量增长的社会图像,如何帮助用户在众多的社会图像中快速选出可能感兴趣的图像,从而向用户进行个性化社会图像推荐,成为社会图像分享网站面临的一个重要且具有实际意义的问题。
社会图像分享网站允许用户对社会图像标注文本信息,即标签(Tag),如果用户标注的标签与图像内容相关,它不仅能够提供一种潜在的图像语义信息,而且还反映了用户对图像的理解,即个性化兴趣信息。现有的个性化社会图像推荐技术往往忽略了图像语义与标签、标签与用户兴趣之间的内在联系,加之图像低层视觉特征与高层语义之间存在的语义鸿沟(semanticgap),至今未能获得令人满意的解决方案,使得推荐结果还难以满足用户的个性化需求。
视觉心理学已有研究表明,人们在观察与理解图像时,只容许感兴趣的那部分图像信息进入视觉感知,即总是有选择地将注意力集中在图像中某些最具吸引力的区域上,即图像的显著(saliency)部分。基于视觉注意(visualattention)的感兴趣区检测方法由于加入了视觉注意机制模拟人的视觉感知过程,使检测结果更符合人眼视觉系统特性。图像最终是供人观看的,人们通过产生视觉注意来表达感兴趣的图像内容。显然,这种视觉注意信息对获取用户的个性化兴趣,并为进一步克服语义鸿沟问题提供了新的思路。基于这个思路,本发明将首先利用视觉注意机制判断图像的显著区,然后建立视觉注意和标签的相关性,最后构建用户兴趣树,向用户进行个性化社会图像推荐。
本发明将构建一种表征用户兴趣的视觉注意-标签-用户兴趣(Attention-Tag-Interest)树模型,并用于个性化社会图像推荐,以提高图像推荐的准确率。首先通过构建视觉注意树模型获取图像的显著性区域;然后将图像视觉注意信息传播到标签语义,以获取表示标签与图像内容相关度的标签树模型,进而结合用户历史浏览信息构建用户兴趣树。最后,根据该模型向用户推荐社会图像,通过用户对图像推荐结果的反馈,调整树模型,优化推荐结果。
发明内容
本发明与已有的个性化社会图像推荐方法不同,以标签为纽带将视觉注意与用户兴趣结合起来,利用视觉注意机制分析图像的视觉显著性,构建具有树结构的视觉注意模型,据此获得显著区(也称为显著图),分析图像显著信息与标签语义的对应关系,生成显著标签和节点标签,构建标签树模型,进而结合用户历史信息将标签树向用户兴趣树传播,最后由用户兴趣树向用户推荐图像,根据用户对推荐结果的反馈,重新调整树模型,进一步优化个性化社会图像推荐。
该方法主要分为三大步骤:视觉注意树模型的生成;视觉注意-标签-用户兴趣树模型的生成;基于用户兴趣树的个性化社会图像推荐。其中,生成视觉注意树模型细分为四个部分:图像区域分割,显著性度量,树结构的区域合并,生成显著图。视觉注意-标签-用户兴趣树模型的生成分为视觉注意树到标签树的传播和标签树到用户兴趣树的传播,具体说细分为显著标签的生成,节点标签的生成,定义标签树层次因子和计算用户兴趣度四个部分。基于用户兴趣树的个性化社会图像推荐细分为基于用户兴趣标签的个性化社会图像推荐和用户相关反馈两个部分。本发明整体流程如附图1所示。
1、视觉注意树模型的生成
本发明运用图像分割技术对图像进行区域分割,将图像分割为多个原始区域,衡量各个原始区域的视觉显著性特征获得各自的显著度,根据显著度合并分割后的区域,生成具有树结构的视觉注意模型,检测出图像的显著图。
具体来说,首先,用基于数学形态学的分水岭算法分割图像,以图像的低层视觉特征为基础,能够获得一幅具有闭合曲线的区域分割结果图。然后,基于图像分割结果,采用区域间的全局对比、空间位置和显著可能性三个度量值估计各区域的显著性特征,结合三个值生成图像区域的显著度。最后,根据显著度及合并准则,将图像区域与近邻区域合并,依次合并的过程生成图像的视觉注意树模型,据此,衡量各合并区域显著度获得图像的显著图。
2、视觉注意-标签-用户兴趣树模型的生成
在获得图像显著图的基础上,本发明将视觉注意树传播到标签树、将标签树传播到用户兴趣树,通过用户浏览图像分析其感兴趣的标签信息。视觉注意树到标签树的传播包括显著标签的生成和节点标签的生成两个阶段,标签树表示各标签与图像的相关程度。标签树到用户兴趣树的传播,通过用户的浏览历史结合标签树各节点的位置计算用户对各标签的兴趣度,包括定义标签树层次因子和计算用户兴趣度两个阶段。
视觉注意树到标签树的传播是图像视觉信息向语义标签传播的过程,分为显著标签和节点标签的生成两个步骤,其中,显著标签表示图像显著区对应的标签,节点标签表示图像的其它标签。本发明将显著标签的选取看作是分类问题,通过深度学习算法结合多示例学习,确定该显著区域对应图像的哪类标签,则这个标签为显著标签,这是图像与标签间的识别过程。节点标签通过计算其与显著标签和其余节点标签的相关度来确定各标签在标签树中的父节点。生成标签树时,显著标签与根节点相连,节点标签与显著标签或显著标签下的其他节点标签相连接。通过分析某用户感兴趣的多幅图像,生成该用户对应的个性化标签树。
标签树到用户兴趣树的传播,用TF-IDF加权计算方法计算用户对各标签的兴趣度,结合标签树中标签的层次数构建用户兴趣树模型。若用户对某标签浏览次数较多且该标签与图像内容相关性大,则用户对其兴趣度偏大,反之兴趣度小,标签树与用户对各标签的兴趣值相结合构建用户兴趣树。
3、基于用户兴趣树的个性化社会图像推荐
根据用户兴趣树模型,确定用户感兴趣的标签,在数据库集中搜索该标签与图像相关度高的图像,将这些图像作为个性化社会图像推荐结果推荐给用户,完成一次个性化社会图像推荐。本发明允许用户在推荐结果中选取感兴趣的图像,推荐系统通过用户反馈信息学习用户的个性化兴趣,重新用感兴趣的图像构建视觉注意树、标签树模型,进而调整用户兴趣树模型,优化个性化社会图像推荐。
本发明的特点:
首先,本发明利用视觉注意机制分析图像的显著性,用区域相似合并的方式构建具有树结构的视觉注意模型,以此获得显著图,得到能够准确地表征人眼视觉注意系统中图像的主要信息,进而达到降低图像处理复杂度的目的。其次,本发明运用深度学习技术将视觉注意和标签语义信息联系起来,构建能够表达用户感兴趣图像与图像标签相关性的标签树模型,结合用户浏览信息确定用户对各标签的兴趣度,构建用户兴趣度模型,为此向用户进行个性化社会图像推荐。此外,本发明针对不同用户构建个性化的兴趣树,同时引入相关反馈机制优化推荐,有效提高了个性化社会图像推荐的准确度。
附图说明:
图1、用于个性化图像推荐的视觉注意-标签-用户兴趣树构建方法总体流程图
图2、视觉注意-标签-用户兴趣树模型及传播过程示意图
图3、个性化社会图像推荐流程图
具体实施方式:
根据上述描述,以下是一个具体的实施流程:从社会化媒体网站中的图像出发,首先利用图像分割技术将图像分割为多个区域,衡量各区域的显著度,通过区域合并构建视觉注意树模型,生成显著图,然后据此生成图像显著标签和节点标签,获得标签树模型,再结合用户历史浏览计算用户对标签的兴趣度,得到用户兴趣树,最后基于该树向用户推荐社会图像。
1、视觉注意树模型的生成
本发明结合人眼视觉注意机制,通过区域分割、显著性度量以及树结构的区域合并生成能够获取显著图的视觉注意树模型。
1.1图像区域分割
分水岭图像分割方法主要通过模拟浸水过程来实现,将图像中所有像素点的灰度值大小表示该点的海拔高度,形成集水盆和分水岭完成图像的分割,针对传统分水岭分割算法存在过分割的问题,本发明采用将分割后较小区域与近邻区域合并的方法来解决。
对于分割后的某区域R,定义区域尺寸来衡量该区域的大小,假设区域中最大可以容下一个t×t大小的盒形区域,称该区域尺寸大小为t,也就是说,若某区域中不能够容下t×t大小的区域,则其区域尺寸小于t。假设各区域的尺寸大于t0时,能够消除分割中产生的过分割现象,那么需要将小于t0的区域与近邻区域合并。
首先计算分水岭分割后图像各区域的颜色平均值,以该值表示该区域内各像素点的颜色值。将每个区域通过t0×t0(取3×3或5×5)大小的盒形滤波器,该滤波器的准则为:计算此时t0×t0区域内各像素点的颜色平均值代替该盒形的中心像素点颜色值。由此可知,若某区域尺寸大于或等于t0,则滤波后至少有一个像素点的颜色值与滤波前一致,若某区域滤波后所有像素点颜色值均发生了变化,则该区域尺寸小于t0。由此检测出分割后尺寸小于t0的区域,计算该区域与其近邻区域的颜色差值,选择差值最小的区域进行合并,合并后的区域颜色值为两个区域的颜色均值,以此算法完成小区域合并,解决分割中产生的过分割问题。
1.2显著性度量
为获取图像区域的显著度,本发明结合图像显著区域的特征来分析各区域显著性。具体包括,显著区域通常与其它区域有较大差别,采用区域全局对比对其进行度量;心理学研究表明,人类视觉注意通常集中在图像中心区域,则距离图像中心近的区域显著性大,采用空间位置来度量;背景区域相比显著区域更有可能与图像边界连接,用显著可能性衡量各区域连接边界的大小。最后,将三部分结合起来获得图像各区域显著度。
1.2.1全局对比值
假设图像分割最终把图像分为n个原始区域,记为Ri(i=1,…,n),区域Ri的全局对比度由其与图像中其他区域的差异描述,定义如下:
其中,Rj表示原始区域中除Ri外的区域,ci和cj分别表示区域Ri、Rj的颜色平均值,|Rj|代表区域Rj的像素总数,Sd(Ri,Rj)定义为exp{-D(Ri,Rj)/σ2},表示区域Ri和Rj的空间距离,D(Ri,Rj)是两个区域中心的欧氏距离,参数σ2控制距离对全局对比值的影响程度,σ2取值范围为[100,150]。全局对比说明,距离区域Ri越近、面积越大且颜色与Ri区域颜色差异越大的区域,对Ri的全局对比贡献越大。将全局对比值归一化为:
X1min和X1max分别是各区域全局对比值的最小值和最大值。
1.2.2空间位置值
各个区域在图像空间的位置一定程度上决定了其显著度,定义如下:
其中,|Ri|表示区域Ri的像素总个数,xi是区域Ri中的像素点坐标,xc是图像中心像素点坐标。空间位置值表征区域中各像素点与图像中心的距离,距离越短并且区域像素点越少,Ri的空间位置值越大。
1.2.3显著可能性
考虑到图像边界多为背景区域,显著性较小,用区域与图像边界的接触面积来衡量。为了减少计算显著可能性的复杂度,首先减少图像原始区域的数量,具体做法与1.1节盒形滤波器一致,设置较大盒形t×t(可取33×33或35×35),将小于该尺寸的区域合并,能够获得一幅粗糙的分割结果,设此时分割为nc个区域Rc(c=1,…,nc),每一个区域均由一个或多个原始区域Ri构成。定义显著可能性如下:
其中,B表示图像的边界,|Rc∩B|指区域与图像边界相交的像素点数,|Rc|代表区域Rc的像素总数。显著可能性说明,与图像边界区域相交越少,区域越大,其显著可能性越大,当某区域与图像边界不相交时,显著可能性取得最大值1。图像的区域显著可能性值共nc个,代表图像n个原始区域的显著可能性值,对于每一个原始区域Ri,其显著可能性为:
1.2.4区域显著度
基于以上分析可知,全局对比值、空间位置值和显著可能性从不同方面反映图像区域的显著性,采用乘法运算定义各原始区域的显著度:
X(Ri)=NX1(Ri)·X2(Ri)·X3(Ri)(6)
1.3树结构的区域合并
各原始区域根据合并准则与近邻区域合并,迭代这个过程,生成视觉注意树。
1.3.1区域合并准则和合并顺序
本发明涉及区域合并是指将符合一定条件的图像区域视为一个整体计算,区域本身并不发生变化。为了寻找相似的近邻区域合并,对于每对近邻区域Ri和Rj,根据两个区域的颜色相似性和显著相似性定义区域的合并准则Mrg:
显著相似性定义为:
其中,X(Ri)和X(Rj)分别为Ri和Rj的区域显著度。由此可见,当近邻区域有相似的颜色分布和相似的区域显著性时,二者的合并标准较大,优先合并,为了方便计算,将不相邻区域对的合并准则设为0。
本发明选取合并准则大的两个区域进行合并,用下式选出区域对(Ri,Rj):
(Ri,Rj)=argmaxMrg(Ri,Rj)(9)
将合并后的区域记为Rk,其颜色为合并前两区域的颜色均值,显著度为:
1.3.2视觉注意树的生成
视觉注意树通过区域合并生成,是一个具有树结构的模型。树模型每个节点代表一个区域,底层节点为各原始区域,以此为起点,通过区域合并准则每次选取两个近邻区域合并为一个新区域,在现有的原始区域和合并后的区域中根据合并准则继续选取两个区域合并,重复这个过程,直至所有区域合并完成,视觉注意树的根节点为一幅完整的图像。
1.4生成显著图
视觉注意树将一幅图像分层的表现出来,能够通过选择树节点获得高质量的图像显著图。每一个节点区域Rr的围绕区域集为Cr,Cr为与区域Rr相邻的多个区域构成的集合。根据式(9)得到区域Cr的显著度:
式中Ri为组成区域Cr的原始区域。定义显著性区域选择标准如下:
C(Rr)=|X(Rr)-X(Cr)|·|Rr|·X(Rr)(12)
其中,|Rr|表示区域Rr的像素总个数,X(Rr)为Rr的区域显著度。选择标准表示,与周围区域差别越明显、自身区域越大且显著度越大的节点区域,其成为显著区域的可能性越大。计算每一个节点区域的选择标准值,选出具有最大标准的区域,即为该图像的显著区域Rs,即C(Rs)=maxC(Rr),图像显著区域构成其显著图,可以用一幅灰度图像表示。
2、视觉注意-标签-用户兴趣树模型的生成
在基于视觉注意树获取显著图的基础上,本发明构建视觉注意-标签-用户兴趣树模型用于个性化社会图像推荐,该模型包括视觉注意树到标签树的传播和标签树到用户兴趣树的传播两个部分。其中视觉注意树到标签树的传播分为显著标签的生成和节点标签的生成,标签树到用户兴趣树的传播分为定义标签树层次因子和计算用户兴趣度。
2.1视觉注意树到标签树的传播
本发明构建标签树用来表示各标签与图像的相关程度,图像显著图对应的图像标签称为显著标签,图像的其他标签称为节点标签。显著标签的获取通过深度学习算法学习显著区特征,结合多示例学习思想确定图像的哪类标签对应显著图信息。节点标签通过计算其与显著标签和标签树底层节点标签的相关度来确定各标签在标签树中的位置,生成标签树模型。
2.1.1显著标签的生成
深度置信网络(DeepBeliefNetworks,DBN)是一种非监督和监督方法混合的深度学习模型,网络中相邻两层可分解为一个独立的受限玻尔兹曼机,该方法能够相对准确的学习到人类对图像数据的理解方式,再利用学习到的语义特征通过多示例学习选取对应的标签类。
首先选取图像的训练样本,将训练图像的显著图作为m层受限玻尔兹曼机构成的深度置信网络的输入,其中m为大于等于2的整数,通过非监督学习来预训练深度置信网络。具体做法是,对于构成深度置信网络的每一个受限玻尔兹曼机,可视层作为其输入,隐层作为其输出,低层的输出作为高层网络的输入,每层受限玻尔兹曼机采用相同的隐层节点数目,通过这样的过程得到各层间的连接权重,完成无监督的预训练过程。对网络进行监督学习的方法为:使用多示例学习的多样性密度作为分类方法,将深度置信网络顶层受限玻尔兹曼机的输出作为多样性密度算法的输入,其输出为显著图所对应的标签类别。在预训练后,通过网络自顶向下有监督的学习,用训练样本对深度置信网络微调各层次间的链接权重,训练样本训练过的机器学习网络用于测试样本,将标签语义与图像内容联系起来。这样,通过深度学习的方法对图像显著区进行深层的特征学习与提取,并通过多密度学习算法将图像分为其对应的标签语义类,即生成显著标签,在标签树中与根节点连接。
2.1.2节点标签的生成
节点标签通过计算标签间的相似度来确定其在标签树中的父节点,本发明基于互信息的方法来计算标签之间的相似度,该方法通过两个标签t1和t2在同一图像中出现的概率表征相似度,如下式定义:
p(t1,t2)指标签t1和t2出现在同一副图像的概率,记为:
其中,It1和It2分别表示标签t1和t2标记的图像集合,N(It1∩It2)表示同时被标签t1和t2标记的图像个数,N(I)表示数据集中图像的总数。
p(t1)和p(t2)分别是标签t1和t2标记图像的概率,可以定义为:
对于每一幅图像,分别计算各标签与显著标签的相关性,相关性最大的作为节点标签与显著标签相连,其余标签分别比较与显著标签和标签树中现有节点标签的相关性,选取相关性较大的标签相连,据此生成标签树。在此规定,标签树中显著标签可以有多个子节点,但节点标签仅有一个子节点。
2.2标签树到用户兴趣树的传播
本发明根据标签树模型引入标签树层次因子,结合用户历史浏览信息,用TF-IDF算法计算用户对标签树中各标签的兴趣度,构建用户兴趣树模型。
2.2.1定义标签树层次因子
标签树中的标签节点表示其与图像的相关度,本发明将标签树看作具有不同层次的模型,定义标签树层次因子εa(a=1,…,p),其中p为标签树的总层次数。定义标签树中除根节点外的第一层标签(即显著标签)拥有层次因子ε1,与显著标签相连的节点标签拥有层次因子ε2,再下一层节点标签拥有层次因子ε3,以此类推,同时定义ε1>ε2>…>εp,均为自然数且εp=1。标签树层次因子表示图像各标签与内容的相关度大小,在计算用户兴趣度中即能够突显出显著标签的重要性,也可以有效减小频繁出现但无实际意义的标签对获取用户兴趣的影响,进而准确获取用户兴趣。
2.2.2计算用户兴趣度
用户对标签的感兴趣程度通过TF-IDF信息加权技术结合标签树层次因子计算,用户的兴趣可表示为:{(t1,w1),…,(tm,wm)},其中wm为用户对标签tm的兴趣度,定义为:
式中,fm表示用户在一段时间内浏览标签tm的次数,N为用户总数,nm是用户集合中浏览过标签tm的用户数,D表示用户浏览的标签集合,εx为标签tm在标签树的层次因子。公式的思想是,如果一个标签被用户多次使用,而其他用户很少使用,说明该用户对该标签兴趣度较大;对于存在多幅图像中的某标签,尽管用户对其频繁浏览,但若其处于标签树底层,说明该标签并不具有具体语义信息,不足以说明用户对该标签兴趣度大,后种情况在用户相关反馈过程中会进一步解决。结合标签树计算用户兴趣度,进而构建用户兴趣树模型,为个性化社会图像推荐做好准备。树模型的传播过程如附图2所示。
3、基于用户兴趣模型的个性化社会图像推荐
根据用户兴趣树获取用户感兴趣的标签,在图像库中搜索与该标签相关性大的图像作为结果推荐给用户,为了更好地满足用户个性化的需求,用户可以对推荐结果进行评价,根据用户感兴趣图像,引入相关反馈规则,优化推荐结果。
3.1基于用户兴趣标签的个性化社会图像推荐
本发明根据用户对标签的感兴趣度,若用户对标签t的兴趣度较大,则将图像库中标签t相关度高的图像作为结果推荐给用户。图像与标签t相关度衡量的标准是:若t是图像的显著标签,即t与图像中主要信息相关度较大,则认为标签t与该图像相关度大。根据本发明方法获取图像的显著标签,将显著标签为t的图像推荐给用户,完成一次个性化社会图像推荐。
3.2用户相关反馈
由于图像低层特征和高层语义标签之间存在较大差异,并且用户历史浏览行为不能完全代表用户的兴趣,所以仅通过一次个性化社会图像推荐往往不能满足用户的需求。本发明在推荐过程中引入相关反馈技术,其目标是在用户对推荐结果的反馈信息来学习用户的个性化兴趣,发现并捕捉用户的实际查询意图,以此修正推荐系统,得到与用户实际需求尽可能吻合的推荐结果。将满足用户要求的图像返回推荐系统,重新构建视觉注意树模型,进一步调整用户的标签树以及用户兴趣树模型,以此来优化推荐。由于相关反馈可以实时地修改系统的推荐策略,从而为个性化社会图像推荐系统增加了自适应功能。
在本发明提出的个性化社会图像推荐方法实施中,具体过程如下:
首先,在第一轮的推荐过程中,选取用户历史浏览的I幅图像作为用户感兴趣图像,分别构建这些图像的视觉注意树模型,获取各自的显著图,认为该用户感兴趣信息包含在这些显著图中。
然后,分别生成I幅显著图对应的显著标签,显著标签均与标签树的根节点相连,通过计算节点标签与各自图像中显著标签和标签树底层节点标签的相关度,生成用户的标签树,再结合用户浏览历史计算用户兴趣度,生成用户兴趣树。
最后,确定用户感兴趣标签,在数据库中选取与该标签相关度高的图像推荐给用户,用户可以对推荐结果进行评价,将用户满意的图像作为兴趣图像构建视觉注意树模型,重新生成标签树以指导下一轮推荐,优化个性化社会图像推荐。推荐过程如附图3所示。
Claims (4)
1.一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法,其特征分为三大步骤:
视觉注意树模型的生成;视觉注意-标签-用户兴趣树模型的生成;基于用户兴趣树的个性化社会图像推荐;
1.1视觉注意树模型的生成用基于数学形态学的分水岭算法分割图像,以图像的低层视觉特征为基础,能够获得一幅具有闭合曲线的区域分割结果图;然后,基于图像分割结果,采用区域间的全局对比、空间位置和显著可能性三个度量值估计各区域的显著性特征,结合三个值生成图像区域的显著度;根据显著度及合并准则,将图像区域与近邻区域合并,依次合并的过程生成图像的视觉注意树模型,据此,衡量各合并区域显著度获得图像的显著图;
1.2视觉注意-标签-用户兴趣树模型的生成
在获得图像显著图的基础上,将视觉注意树传播到标签树、将标签树传播到用户兴趣树,通过用户浏览图像分析其感兴趣的标签信息;视觉注意树到标签树的传播包括显著标签的生成和节点标签的生成两个阶段,显著标签表示图像显著区对应的标签,节点标签表示除显著标签外的其它标签;标签树表示各标签与图像的相关程度;标签树到用户兴趣树的传播,通过用户的浏览历史结合标签树各节点的位置计算用户对各标签的兴趣度,包括定义标签树层次因子和计算用户兴趣度两个阶段;
1.3基于用户兴趣树的个性化社会图像推荐
根据用户兴趣树模型,确定用户感兴趣的标签,在数据库集中搜索该标签与图像相关度高的图像,将这些图像作为个性化社会图像推荐结果推荐给用户,完成一次个性化社会图像推荐。
2.根据权利要求1所述的方法,其特征在于视觉注意树模型的生成具体如下:
2.1图像区域分割
首先计算分水岭分割后图像各区域的颜色平均值,以该值表示该区域内各像素点的颜色值;将每个区域通过t0×t0大小的盒形滤波器,t0×t0取3×3或5×5;计算此时t0×t0区域内各像素点的颜色平均值代替该盒形的中心像素点颜色值;若某区域尺寸大于或等于t0,则滤波后至少有一个像素点的颜色值与滤波前一致,若某区域滤波后所有像素点颜色值均发生了变化,则该区域尺寸小于t0;由此检测出分割后尺寸小于t0的区域,计算该区域与其近邻区域的颜色差值,选择差值最小的区域进行合并,合并后的区域颜色值为两个区域的颜色均值,以此算法完成小区域合并,解决分割中产生的过分割问题;
2.2显著性度量
显著区域通常与其它区域有较大差别,采用区域全局对比对其进行度量;人类视觉注意通常集中在图像中心区域,则距离图像中心近的区域显著性大,采用空间位置来度量;背景区域相比显著区域更有可能与图像边界连接,用显著可能性衡量各区域连接边界的大小;将三部分结合起来获得图像各区域显著度;
2.2.1全局对比值
假设图像分割最终把图像分为n个原始区域,记为Ri,其中i=1,…,n;区域Ri的全局对比度由其与图像中其他区域的差异描述,定义如下:
其中,Rj表示原始区域中除Ri外的区域,ci和cj分别表示区域Ri、Rj的颜色平均值,|Rj|代表区域Rj的像素总数,Sd(Ri,Rj)定义为exp{-D(Ri,Rj)/σ2},表示区域Ri和Rj的空间距离,D(Ri,Rj)是两个区域中心的欧氏距离,参数σ2控制距离对全局对比值的影响程度,σ2取值范围为[100,150];将全局对比值归一化为:
X1min和X1max分别是各区域全局对比值的最小值和最大值;
2.2.2空间位置值
各个区域在图像空间的位置值,定义如下:
其中,|Ri|表示区域Ri的像素总个数,xi是区域Ri中的像素点坐标,xc是图像中心像素点坐标;空间位置值表征区域中各像素点与图像中心的距离,距离越短并且区域像素点越少,Ri的空间位置值越大;
2.2.3显著可能性
设置盒形t×t,t×t取33×33或35×35,将小于该尺寸的区域合并,能够获得一幅粗糙的分割结果,设此时分割为nc个区域Rc,c=1,…,nc;每一个区域Rc均由一个或多个原始区域Ri构成;定义显著可能性如下:
其中,B表示图像的边界,|Rc∩B|指区域与图像边界相交的像素点数,|Rc|代表区域Rc的像素总数;图像的区域显著可能性值共nc个,对于每一个原始区域Ri,其显著可能性为:
2.2.4区域显著度
采用乘法运算定义各原始区域的显著度:
X(Ri)=NX1(Ri)·X2(Ri)·X3(Ri)(6)
2.3树结构的区域合并
各原始区域根据合并准则与近邻区域合并,迭代这个过程,生成视觉注意树;
2.3.1区域合并准则和合并顺序
对于每对近邻区域Ri和Rj,根据两个区域的颜色相似性和显著相似性定义区域的合并准则Mrg:
显著相似性定义为:
其中,X(Ri)和X(Rj)分别为Ri和Rj的区域显著度;当近邻区域有相似的颜色分布和相似的区域显著性时,二者的合并标准较大,优先合并,将不相邻区域对的合并准则设为0;
选取合并准则大的两个区域进行合并,用下式选出区域对(Ri,Rj):
(Ri,Rj)=argmaxMrg(Ri,Rj)(9)
将合并后的区域记为Rk,其颜色为合并前两区域的颜色均值,显著度为:
2.3.2视觉注意树的生成
视觉注意树通过区域合并生成,是一个具有树结构的模型;树模型每个节点代表一个区域,底层节点为各原始区域,以此为起点,通过区域合并准则每次选取两个近邻区域合并为一个新区域,在现有的原始区域和合并后的区域中根据合并准则继续选取两个区域合并,重复这个过程,直至所有区域合并完成,视觉注意树的根节点为一幅完整的图像;
2.4生成显著图
视觉注意树每一个节点区域Rr的围绕区域集为Cr,Cr为与区域Rr相邻的多个区域构成的集合;根据式(9)得到区域Cr的显著度:
式中Ri为组成区域Cr的原始区域;定义显著性区域选择标准如下:
C(Rr)=|X(Rr)-X(Cr)|·|Rr|·X(Rr)(12)
其中,|Rr|表示区域Rr的像素总个数,X(Rr)为Rr的区域显著度;选择标准表示,与周围区域差别越明显、自身区域越大且显著度越大的节点区域,其成为显著区域的可能性越大;计算每一个节点区域的选择标准值,选出具有最大标准的区域,即为该图像的显著区域Rs,即C(Rs)=maxC(Rr),图像显著区域构成其显著图,用一幅灰度图像表示。
3.根据权利要求1所述的方法,其特征在于视觉注意-标签-用户兴趣树模型的生成具体如下:
3.1视觉注意树到标签树的传播
3.1.1显著标签的生成
首先选取图像的训练样本,将训练图像的显著图作为m层受限玻尔兹曼机构成的深度置信网络的输入,其中m为大于等于2的整数,通过非监督学习来预训练深度置信网络;具体做法是,对于构成深度置信网络的每一个受限玻尔兹曼机,可视层作为其输入,隐层作为其输出,低层的输出作为高层网络的输入,每层受限玻尔兹曼机采用相同的隐层节点数目,通过这样的过程得到各层间的连接权重,完成无监督的预训练过程;对网络进行监督学习的方法为:使用多示例学习的多样性密度作为分类方法,将深度置信网络顶层受限玻尔兹曼机的输出作为多样性密度算法的输入,其输出为显著图所对应的标签类别;在预训练后,通过网络自顶向下有监督的学习,用训练样本对深度置信网络微调各层次间的链接权重,训练样本训练过的机器学习网络用于测试样本,将标签语义与图像内容联系起来;这样,通过深度学习的方法对图像显著区进行深层的特征学习与提取,并通过多密度学习算法将图像分为其对应的标签语义类,即生成显著标签,在标签树中与根节点连接;
3.1.2节点标签的生成
节点标签通过计算标签间的相似度来确定其在标签树中的父节点,基于互信息的方法来计算标签之间的相似度,该方法通过两个标签t1和t2在同一图像中出现的概率表征相似度,如下式定义:
p(t1,t2)指标签t1和t2出现在同一副图像的概率,记为:
其中,It1和It2分别表示标签t1和t2标记的图像集合,N(It1∩It2)表示同时被标签t1和t2标记的图像个数,N(I)表示数据集中图像的总数;
p(t1)和p(t2)分别是标签t1和t2标记图像的概率,定义为:
对于每一幅图像,分别计算各标签与显著标签的相关性,相关性最大的作为节点标签与显著标签相连,其余标签分别比较与显著标签和标签树中现有节点标签的相关性,选取相关性较大的标签相连,据此生成标签树;在此规定,标签树中显著标签有多个子节点,但节点标签仅有一个子节点;
3.2标签树到用户兴趣树的传播
根据标签树模型引入标签树层次因子,结合用户历史浏览信息,用TF-IDF算法计算用户对标签树中各标签的兴趣度,构建用户兴趣树模型;
3.2.1定义标签树层次因子
标签树中的标签节点表示其与图像的相关度,将标签树看作具有不同层次的模型,定义标签树层次因子εa(a=1,…,p),其中p为标签树的总层次数;定义标签树中除根节点外的第一层标签即显著标签拥有层次因子ε1,与显著标签相连的节点标签拥有层次因子ε2,再下一层节点标签拥有层次因子ε3,以此类推,同时定义ε1>ε2>…>εp,均为自然数且εp=1;
3.2.2计算用户兴趣度
用户对标签的感兴趣程度通过TF-IDF信息加权技术结合标签树层次因子计算,用户的兴趣表示为:{(t1,w1),…,(tm,wm)},其中wm为用户对标签tm的兴趣度,定义为:
式中,fm表示用户在一段时间内浏览标签tm的次数,N为用户总数,nm是用户集合中浏览过标签tm的用户数,D表示用户浏览的标签集合,εx为标签tm在标签树的层次因子;结合标签树计算用户兴趣度,进而构建用户兴趣树模型。
4.根据权利要求1所述的方法,其特征在于基于用户兴趣模型的个性化社会图像推荐具体如下:
4.1基于用户兴趣标签的个性化社会图像推荐
根据用户对标签的感兴趣度,若用户对标签t的兴趣度较大,则将图像库中标签t相关度高的图像作为结果推荐给用户;图像与标签t相关度衡量的标准是:若t是图像的显著标签,即t与图像中主要信息相关度较大,则认为标签t与该图像相关度大;根据方法获取图像的显著标签,将显著标签为t的图像推荐给用户,完成一次个性化社会图像推荐;
4.2用户相关反馈
根据用户反馈信息重新构建视觉注意树模型,进一步调整用户的标签树以及用户兴趣树模型,以此来优化推荐结果。
在本发明提出的个性化社会图像推荐方法实施中,具体过程如下:首先,在第一轮的推荐过程中,选取用户历史浏览的I幅图像作为用户感兴趣图像,分别构建这些图像的视觉注意树模型,获取各自的显著图,认为该用户感兴趣信息包含在这些显著图中;
然后,分别生成I幅显著图对应的显著标签,显著标签均与标签树的根节点相连,通过计算节点标签与各自图像中显著标签和标签树底层节点标签的相关度,生成用户的标签树,再结合用户浏览历史计算用户兴趣度,生成用户兴趣树;
最后,确定用户感兴趣标签,在数据库中选取与该标签相关度高的图像推荐给用户,用户对推荐结果进行评价,将用户满意的图像作为兴趣图像构建视觉注意树模型,重新生成标签树以指导下一轮推荐,优化个性化社会图像推荐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510487893.1A CN105045907B (zh) | 2015-08-10 | 2015-08-10 | 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510487893.1A CN105045907B (zh) | 2015-08-10 | 2015-08-10 | 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105045907A true CN105045907A (zh) | 2015-11-11 |
CN105045907B CN105045907B (zh) | 2018-03-09 |
Family
ID=54452454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510487893.1A Active CN105045907B (zh) | 2015-08-10 | 2015-08-10 | 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105045907B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055573A (zh) * | 2016-05-20 | 2016-10-26 | 西安邮电大学 | 一种多示例学习框架下的鞋印图像检索方法及系统 |
CN106250924A (zh) * | 2016-07-27 | 2016-12-21 | 南京大学 | 一种基于多示例学习的新增类别检测方法 |
CN107330001A (zh) * | 2017-06-09 | 2017-11-07 | 国政通科技股份有限公司 | 一种多元化标签的创建方法及系统 |
CN107944026A (zh) * | 2017-12-12 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 一种图集个性化推荐的方法、装置、服务器和存储介质 |
CN108924176A (zh) * | 2018-05-04 | 2018-11-30 | 中国信息安全研究院有限公司 | 一种数据推送方法 |
CN108921157A (zh) * | 2018-06-04 | 2018-11-30 | 四川斐讯信息技术有限公司 | 一种图像中感兴趣物体的选择方法及系统 |
CN109063772A (zh) * | 2018-08-02 | 2018-12-21 | 广东工业大学 | 一种基于深度学习的图像个性化语义分析方法、装置及设备 |
CN109190807A (zh) * | 2018-08-15 | 2019-01-11 | 上海交通大学 | 一种面向目标群体的代价最小化传播优化方法 |
CN109684548A (zh) * | 2018-11-30 | 2019-04-26 | 内江亿橙网络科技有限公司 | 一种基于用户图谱的数据推荐方法 |
CN109933731A (zh) * | 2019-03-18 | 2019-06-25 | 苏州亿歌网络科技有限公司 | 一种好友推荐方法、装置、设备及存储介质 |
CN110251076A (zh) * | 2019-06-21 | 2019-09-20 | 安徽大学 | 融合视觉注意力基于对比度的显著性检测方法及装置 |
CN110287372A (zh) * | 2019-06-26 | 2019-09-27 | 广州市百果园信息技术有限公司 | 用于负反馈的标签确定方法、视频推荐方法及其装置 |
CN111434118A (zh) * | 2017-11-10 | 2020-07-17 | 三星电子株式会社 | 用户感兴趣信息生成的装置和方法 |
CN111611339A (zh) * | 2019-02-22 | 2020-09-01 | 北京搜狗科技发展有限公司 | 一种输入相关用户的推荐方法及相关装置 |
CN111708901A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 多媒体资源推荐方法、装置、电子设备及存储介质 |
CN111985505A (zh) * | 2020-08-21 | 2020-11-24 | 南京大学 | 一种基于兴趣传播网络的兴趣视觉关系检测方法及装置 |
CN112464108A (zh) * | 2020-12-03 | 2021-03-09 | 重庆理工大学 | 一种众包知识共享社区的资源推荐方法 |
CN113641897A (zh) * | 2021-07-28 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 基于会话文本的推荐方法和装置、电子设备和存储介质 |
CN114201663A (zh) * | 2021-07-23 | 2022-03-18 | 北京恒通慧源大数据技术有限公司 | 一种基于标签传播的集团客户挖掘方法、装置和电子设备 |
CN115795173A (zh) * | 2023-02-08 | 2023-03-14 | 海看网络科技(山东)股份有限公司 | 一种改进推荐系统计算相关推荐的方法 |
CN116030115A (zh) * | 2023-03-22 | 2023-04-28 | 四川航天职业技术学院(四川航天高级技工学校) | 应用于ai的视觉设计图像分析方法及系统 |
CN116151354A (zh) * | 2023-04-10 | 2023-05-23 | 之江实验室 | 网络节点的学习方法、装置、电子装置和存储介质 |
CN118277674A (zh) * | 2024-05-30 | 2024-07-02 | 深圳市永迦电子科技有限公司 | 基于大数据分析的个性化影像内容推荐方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109710811B (zh) * | 2018-11-28 | 2021-03-02 | 汉海信息技术(上海)有限公司 | 用户画像的检测方法、设备及应用系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103207910A (zh) * | 2013-04-08 | 2013-07-17 | 河南大学 | 基于分层特征和遗传规划相关反馈的图像检索方法 |
CN103246688A (zh) * | 2012-12-03 | 2013-08-14 | 苏州大学 | 基于显著区域稀疏表示的语义层次模型图像分类管理方法 |
CN103530405A (zh) * | 2013-10-23 | 2014-01-22 | 天津大学 | 一种基于分层结构的图像检索方法 |
US20140172643A1 (en) * | 2012-12-13 | 2014-06-19 | Ehsan FAZL ERSI | System and method for categorizing an image |
-
2015
- 2015-08-10 CN CN201510487893.1A patent/CN105045907B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246688A (zh) * | 2012-12-03 | 2013-08-14 | 苏州大学 | 基于显著区域稀疏表示的语义层次模型图像分类管理方法 |
US20140172643A1 (en) * | 2012-12-13 | 2014-06-19 | Ehsan FAZL ERSI | System and method for categorizing an image |
CN103207910A (zh) * | 2013-04-08 | 2013-07-17 | 河南大学 | 基于分层特征和遗传规划相关反馈的图像检索方法 |
CN103530405A (zh) * | 2013-10-23 | 2014-01-22 | 天津大学 | 一种基于分层结构的图像检索方法 |
Non-Patent Citations (1)
Title |
---|
刘伟: "图像检索中若干问题的研究", 《中国博士学位论文全文数据库·医药卫生科技辑》 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055573B (zh) * | 2016-05-20 | 2019-12-27 | 西安邮电大学 | 一种多示例学习框架下的鞋印图像检索方法及系统 |
CN106055573A (zh) * | 2016-05-20 | 2016-10-26 | 西安邮电大学 | 一种多示例学习框架下的鞋印图像检索方法及系统 |
CN106250924A (zh) * | 2016-07-27 | 2016-12-21 | 南京大学 | 一种基于多示例学习的新增类别检测方法 |
CN106250924B (zh) * | 2016-07-27 | 2019-07-16 | 南京大学 | 一种基于多示例学习的新增类别检测方法 |
CN107330001A (zh) * | 2017-06-09 | 2017-11-07 | 国政通科技股份有限公司 | 一种多元化标签的创建方法及系统 |
US11678012B2 (en) | 2017-11-10 | 2023-06-13 | Samsung Electronics Co., Ltd. | Apparatus and method for user interest information generation |
CN111434118B (zh) * | 2017-11-10 | 2022-10-21 | 三星电子株式会社 | 用户感兴趣信息生成的装置和方法 |
CN111434118A (zh) * | 2017-11-10 | 2020-07-17 | 三星电子株式会社 | 用户感兴趣信息生成的装置和方法 |
CN107944026A (zh) * | 2017-12-12 | 2018-04-20 | 百度在线网络技术(北京)有限公司 | 一种图集个性化推荐的方法、装置、服务器和存储介质 |
CN108924176A (zh) * | 2018-05-04 | 2018-11-30 | 中国信息安全研究院有限公司 | 一种数据推送方法 |
CN108921157A (zh) * | 2018-06-04 | 2018-11-30 | 四川斐讯信息技术有限公司 | 一种图像中感兴趣物体的选择方法及系统 |
CN109063772A (zh) * | 2018-08-02 | 2018-12-21 | 广东工业大学 | 一种基于深度学习的图像个性化语义分析方法、装置及设备 |
CN109063772B (zh) * | 2018-08-02 | 2022-05-10 | 广东工业大学 | 一种基于深度学习的图像个性化语义分析方法、装置及设备 |
CN109190807A (zh) * | 2018-08-15 | 2019-01-11 | 上海交通大学 | 一种面向目标群体的代价最小化传播优化方法 |
CN109190807B (zh) * | 2018-08-15 | 2021-06-04 | 上海交通大学 | 一种面向目标群体的代价最小化传播优化方法 |
CN109684548A (zh) * | 2018-11-30 | 2019-04-26 | 内江亿橙网络科技有限公司 | 一种基于用户图谱的数据推荐方法 |
CN109684548B (zh) * | 2018-11-30 | 2024-02-09 | 索信达(深圳)软件技术有限公司 | 一种基于用户图谱的数据推荐方法 |
CN111611339A (zh) * | 2019-02-22 | 2020-09-01 | 北京搜狗科技发展有限公司 | 一种输入相关用户的推荐方法及相关装置 |
CN109933731A (zh) * | 2019-03-18 | 2019-06-25 | 苏州亿歌网络科技有限公司 | 一种好友推荐方法、装置、设备及存储介质 |
CN110251076A (zh) * | 2019-06-21 | 2019-09-20 | 安徽大学 | 融合视觉注意力基于对比度的显著性检测方法及装置 |
CN110287372B (zh) * | 2019-06-26 | 2021-06-01 | 广州市百果园信息技术有限公司 | 用于负反馈的标签确定方法、视频推荐方法及其装置 |
CN110287372A (zh) * | 2019-06-26 | 2019-09-27 | 广州市百果园信息技术有限公司 | 用于负反馈的标签确定方法、视频推荐方法及其装置 |
CN111708901A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 多媒体资源推荐方法、装置、电子设备及存储介质 |
CN111708901B (zh) * | 2020-06-19 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 多媒体资源推荐方法、装置、电子设备及存储介质 |
CN111985505A (zh) * | 2020-08-21 | 2020-11-24 | 南京大学 | 一种基于兴趣传播网络的兴趣视觉关系检测方法及装置 |
CN111985505B (zh) * | 2020-08-21 | 2024-02-13 | 南京大学 | 一种基于兴趣传播网络的兴趣视觉关系检测方法及装置 |
CN112464108A (zh) * | 2020-12-03 | 2021-03-09 | 重庆理工大学 | 一种众包知识共享社区的资源推荐方法 |
CN112464108B (zh) * | 2020-12-03 | 2024-04-02 | 重庆理工大学 | 一种众包知识共享社区的资源推荐方法 |
CN114201663A (zh) * | 2021-07-23 | 2022-03-18 | 北京恒通慧源大数据技术有限公司 | 一种基于标签传播的集团客户挖掘方法、装置和电子设备 |
CN113641897A (zh) * | 2021-07-28 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 基于会话文本的推荐方法和装置、电子设备和存储介质 |
CN113641897B (zh) * | 2021-07-28 | 2024-04-19 | 上海明略人工智能(集团)有限公司 | 基于会话文本的推荐方法和装置、电子设备和存储介质 |
CN115795173A (zh) * | 2023-02-08 | 2023-03-14 | 海看网络科技(山东)股份有限公司 | 一种改进推荐系统计算相关推荐的方法 |
CN116030115B (zh) * | 2023-03-22 | 2023-06-02 | 四川航天职业技术学院(四川航天高级技工学校) | 应用于ai的视觉设计图像分析方法及系统 |
CN116030115A (zh) * | 2023-03-22 | 2023-04-28 | 四川航天职业技术学院(四川航天高级技工学校) | 应用于ai的视觉设计图像分析方法及系统 |
CN116151354A (zh) * | 2023-04-10 | 2023-05-23 | 之江实验室 | 网络节点的学习方法、装置、电子装置和存储介质 |
CN118277674A (zh) * | 2024-05-30 | 2024-07-02 | 深圳市永迦电子科技有限公司 | 基于大数据分析的个性化影像内容推荐方法 |
CN118277674B (zh) * | 2024-05-30 | 2024-07-30 | 深圳市永迦电子科技有限公司 | 基于大数据分析的个性化影像内容推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105045907B (zh) | 2018-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105045907A (zh) | 一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法 | |
Xiao et al. | A framework for quantitative analysis and differentiated marketing of tourism destination image based on visual content of photos | |
CN111858954B (zh) | 面向任务的文本生成图像网络模型 | |
CN102982107B (zh) | 一种融合用户、项目和上下文属性信息的推荐系统优化方法 | |
CN107273490A (zh) | 一种基于知识图谱的组合错题推荐方法 | |
CN109299396A (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
CN106547880A (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
CN110866542B (zh) | 一种基于特征可控融合的深度表示学习方法 | |
CN103632290B (zh) | 一种基于推荐概率融合的混合推荐方法 | |
CN108509517B (zh) | 一种面向实时新闻内容的流式话题演化跟踪方法 | |
CN105447145A (zh) | 一种基于项目的迁移学习推荐方法及其推荐装置 | |
CN111222847B (zh) | 基于深度学习与非监督聚类的开源社区开发者推荐方法 | |
CN111242197A (zh) | 基于双视域语义推理网络的图像文匹配方法 | |
CN104239496A (zh) | 一种结合模糊权重相似性度量和聚类协同过滤的方法 | |
Xiong et al. | Affective impression: Sentiment-awareness POI suggestion via embedding in heterogeneous LBSNs | |
CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
CN102509119B (zh) | 一种基于分类器的图像场景分层与对象遮挡处理方法 | |
CN106250925A (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
CN113239159A (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
CN112270570A (zh) | 一种基于特征组合与表示学习的点击转化率预测方法 | |
CN115269854A (zh) | 基于主题和结构感知神经网络的虚假新闻检测方法 | |
CN113742586B (zh) | 一种基于知识图谱嵌入的学习资源推荐方法及系统 | |
Cao et al. | Adaptive receptive field U-shaped temporal convolutional network for vulgar action segmentation | |
Ren et al. | A co-attention based multi-modal fusion network for review helpfulness prediction | |
CN107506370A (zh) | 多媒体数据深度挖掘方法、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |