CN107657043A - 一种基于内容的混合图模型图像推荐方法 - Google Patents

一种基于内容的混合图模型图像推荐方法 Download PDF

Info

Publication number
CN107657043A
CN107657043A CN201710924505.0A CN201710924505A CN107657043A CN 107657043 A CN107657043 A CN 107657043A CN 201710924505 A CN201710924505 A CN 201710924505A CN 107657043 A CN107657043 A CN 107657043A
Authority
CN
China
Prior art keywords
mrow
user
msub
picture
drawing board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710924505.0A
Other languages
English (en)
Other versions
CN107657043B (zh
Inventor
毋立芳
张磊
简萌
刘海英
张岱
祁铭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201710924505.0A priority Critical patent/CN107657043B/zh
Publication of CN107657043A publication Critical patent/CN107657043A/zh
Application granted granted Critical
Publication of CN107657043B publication Critical patent/CN107657043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于内容的混合图模型图像推荐方法涉及智能媒体计算和大数据分析技术领域。本发明利用社交策展网站的多种关系结构的数据,将各种数据关系组成一个混合图模型,充分利用网的数据,结合随机游走算法和图片的内容信息给用户推荐图片。本发明将内容信息和混合图相结合能更大的提高推荐系统的推荐能力。

Description

一种基于内容的混合图模型图像推荐方法
技术领域
本发明涉及智能媒体计算和大数据分析技术领域,特别是涉及一种图片推荐方法。具体涉及一种利用用户、画板、图片及他们之间的交互关系和图片内容信息形成的图模型的推荐方法。
背景技术
随着信息技术的飞速发展和互联网的普及,互联网上的信息呈爆炸式的增长,为解决由此带来的信息过载问题,推荐系统应运而生。但是数据稀疏性问题,冷启动问题,已然给推荐系统带来很大的挑战。社会化推荐能够部分解决数据稀疏性问题和冷启动,更有效的进行个性化推荐。有研究表明,一个用户比起陌生人更有可能去了解和喜欢自己的朋友和家人所喜欢的东西,而且朋友关系和地理信息之间有着很强的关联性。Sinha R等人也表示在兴趣方面,人们更加喜欢来自熟悉的人的推荐。
伴随着社交网络(Facebook、Twitter、微博等)的盛行,社会化网络引入了用户更多的社交行为数据,引入了社会成员之间关系和交互行为信息.社会化推荐通过这些信息,能进一步的提升推荐系统的性能,更能表达用户的个性化特点。近年来,许多社交网站加入了“策展”功能,“策展”即策划、筛选并展示,策展网络允许用户对物品进行分类、分享、点赞、评论、打分、关注等操作,也就是让用户自主的信息进行重分配,使得用户自主表达自己的爱好。社交策展网络与传统网络相比,加重了与用户之间的互动,用户表达方式更加丰富多样。尤其是对像Pinterest这样的基于用户兴趣的策展网络的研究更有意义。因此,基于社交策展网络的社会化推荐,更能挖掘有用的信息,具有重要的理论意义和应用价值。
基于社交策展网络的社会化推荐算法中一般要考虑社交关系,图模型将推荐行为变成了一个图搜索过程,是一种十分灵活的推荐算法。常用的图模型算法的基本思路是根据用户历史行为数据,将实体之间的关系用二分图来表示,通过计算图中节点之间的关联度对用户进行推荐。2007年,Zhou T等人提出了基于物质扩散的二部图推荐,利用用户与图片关系进行推荐。2008年,Zhang Y C等人提出了基于热扩散原理的二部图网络推荐算法。2009年,Shang Ming-Sheng等人提出一种混合扩散二部图网络,利用用户,物品,标签信息做推荐,将标签使用频率作为边的权值来提高精度。BJ Mirza等人[31]在2003年提出的随机游走推荐算法。该算法的原理是将用户和物品节点放入到二分图模型中,再利用随机游走算法,得到用户与图中的其他节点的的访问概率,也就是这个用户和其他用户的相似度进行推荐。首先,好多方法不能充分利用社交策展网站的信息,只是利用用户与物品的关系进行推荐,然而社交策展网站的特点是允许用户对物品进行分类、分享、点赞、评论、打分、关注等操作,尤其是像花瓣网这样的类Pinterest网站,是基于用户兴趣,用户自主进行信息整理的网站,仅用用户和图片的关系会浪费花瓣网上很多的有用信息,不能对用户进行充分的建模。其次,图片的内容信息也是一个非常有用的信息,人们往往更喜欢那些内容相似性高的推荐结果,可以利用内容信息对推荐结果进行重新整理。将内容信息和混合图相结合能更大的提高推荐系统的推荐能力。
综上所述,本发明利用社交策展网站花瓣网的多种关系结构的数据,将各种数据关系组成一个混合图模型,充分利用花瓣网的数据,结合随机游走算法和图片的内容信息给用户推荐图片。
发明内容
本发明的目的是提供一种基于内容的混合图模型图片推荐方法,其框架如图1所示。
1.一种基于内容的混合图模型图像推荐方法,其特征在于,包括以下步骤:
1)、混合图模型的构建
爬取用户、画板、图片、以及数据关系,建立混合图G=(V,E),其中,V是顶点集合,E是边的集合;顶点集合包括三种{Va,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合;一共使用了四种数据关系Ebp、Eub、Euuf、Eup;bp为画板与图片之间的关系,不同的画板能够收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户建立自己的画板,也能够关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也能够关注不同的画板;uuf为用户之间的朋友关系,用户能够关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户能够转采被人的图片到自己的画板集当中,也能够自己上传图片,不同用户能够转采不同的图片,同一张图片也能够被不同用户转采;混合图中两个顶点之间可能存在超过一条边;
令不同网络层的权重不一样,也就是说不同网络层之间的转移概率不一样;设不同网络之间的转移概率为λ,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λubupufbp-1
将转移概率加入到重启动随机游走算法当中进行推荐;
2)、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点;经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布;其中每个点的概率值看作该顶点与出发点的相似度;重启动随机游走算法的能够表示为:
p(t+1)=(1-a)Sp(t)+aq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0;S是转移概率矩阵,α为直接回到出发顶点的概率;利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛;向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,当两次迭代的结果p(t)和p(t-1)的差异在10-1之内就停止迭代;此时就能得到目标用户顶点到其他顶点的稳定概率分布;
3)、基于图片内容信息的推荐结果重排序
利用深度学习的方法提取图片特征,然后将实验中用到的图片放入到网络提取特征;再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性;得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
本发明的具体技术方案和步骤介绍如下:
首先利用花瓣网中的数据进行混合图的构建,图2是花瓣网数据结构示意图,花瓣网由各个用户组成,每个用户包含基本信息,如:昵称、关注人、粉丝,还包括画板,采集和喜欢。画板就是图片的集合,用户可以将自已所拥有的图片整理到不同的画板中,每个画板都属于花瓣网中34大类中的一类,采集就是用户拥有的图片的集合。本发明的数据集包括用户(user)、画板(board)、图片(pin)以及用户与画板的关系,用户与图片的关系,用户的朋友关系,画板与图片的关系建立混合图模型。由于不同的数据关系对于图片的推荐结果的影响不一样,我们定义不同种类网络层之间的转移概率不同,它表示各种网络关系的权重。再利用不同网络的权重不同,建立新的转移概率矩阵。最后将一个推荐问题转化为一个图的搜索问题,利用转移概率矩阵,在混合图中随机游走得到稳态分布,形成推荐结果。再利用图片的内容相似性对随机游走得到的结果进行重排序得到基于内容修改的推荐结果。
1、混合图模型的构建
本发明拟在社交策展网络花瓣网上进行图片推荐工作,爬取花瓣网的用户、花瓣、图片、以及各种关系信息。并利用花瓣网的数据建立混合图G=(V,E),其中,V是顶点集合,E是边的集合。顶点集合包括三种{Va,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合。不同于普通图模型结构的数据集,本发明的数据集中使用了多种数据关系形成的边E来建立混合图模型。如图1系统框架中的混合图建立部分,一共使用了四种数据关系Ebp、Eub、Euuf、Eup。bp为画板与图片之间的关系,不同的画板可以收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户可以建立自己的画板,也可以关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也可以关注不同的画板;uuf为用户之间的朋友关系,用户可以关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户可以转采被人的图片到自己的画板集当中,也可以自己上传图片到花瓣网当中,不同用户可以转采不同的图片,同一张图片也可以被不同用户转采。不同于传统的社会网络研究,我们的混合图中两个顶点之间可能存在超过一条边。如图3的混合图关系示意图所示,用户A和图片P1的关系不只有一条边,还可以是从中间的画板连接的另一条边。也就是说,我们通过不同方面来表达各个用户与各个图片之间的关系,能更好的利用社交策展网站的信息,能准确的表达数据关系。
并且不同的网络关系对给用户推荐图片的影响或者作用是不一样的,所以我们不能以相同的权重来看待。这里我们令不同网络层的权重不一样,从第一层的用户跳到其他层的图片或者其他层的画板的概率是不一样的,也就是说不同网络层之间的转移概率不一样。设不同网络之间的转移概率为λ,如图4所示,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λubupufbp=1
此时的S就是整个混合图模型的转移概率,然后将转移概率加入到重启动随机游走算法当中进行推荐。
2、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点。经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布,也就是说再次迭代也不会再改变图中顶点的概率分布值。其中每个点的概率值可以看作该顶点与出发点的相似度。重启动随机游走算法的可以表示为:
p(t+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0。S是转移概率矩阵,其中sij表示当前在顶点i,下一步到达顶点j的转移概率,这就要利用我们在上一步中求出的混合图转移概率S,α为直接回到出发顶点的概率。利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛。向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,因此当两次迭代的结果p(t)和p(t-1)的差异非常小,在10-1之内就停止迭代。此时就能得到目标用户顶点到其他顶点的稳定概率分布。
3、基于图片内容信息的推荐结果重排序
对于用户来说,视觉相似更能吸引用户的注意力,比如说推荐算法给某一个用户推荐了100张图片,其中10张和用户自己有的图片很相似,可能是风格相似,也可能是里边的人物相似,那么用户应该会喜欢这类图片。但是,这样的图片很有可能没有排在靠前的位置,如果你只推荐top_5或者top_10很有可能推荐不到这样的图片。针对这样的问题,本发明提出了利用图片内容相似性特征对推荐结果进行重新排序,就可以把和用户喜欢的图片中相似性高的图片提到前边,更容易推荐成功。本发明在AlexNet上利用深度学习的方法提取图片特征,主要是微调AlexNet网络,然后将实验中用到的图片放入到微调好的网络提取特征。我们拟采用花瓣网的数据,由于花瓣网的数据包括34个大类,可以按类爬取花瓣网上的图片做微调,这样每张图片的标签就是该图片属于哪个类。用花瓣网的图片微调好网络之后,再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性。得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
4、推荐结果评价
由于推荐系统的特殊性,推荐系统的评价可以分为在线评价和离线评价。在线评价就是设计在线用户实验,根据推荐的真实用户的真实反馈结果衡量推荐系统的好坏。但是在线评价的方法在本发明中很难实现,我们不可能联系所有收集到的用户,并且让他们愿意帮我们做反馈,所以一般的推荐方法都是利用离线验证,得到每个用户的推荐结果的准确率。
附图说明
图1为本发明所设计的系统框图;
图2为本发明中数据来源网站花瓣网的数据结构;
图3为本发明实施过程中混合图关系的示意图;
图4为本发明实施过程中转移概率矩阵计算示意图;
具体实施方式
本发明目的是提供一种图片推荐的方法,其框架如图1所示。下面结合附图和具体例子对本发明做进一步的详细说明。
该发明的实现步骤如下:
1、混合图模型的构建
本发明采用社交策展网络花瓣网上的数据进行图片推荐工作,爬取花瓣网的用户、花瓣、图片、以及各种关系信息。其中包括用户5000人,画板200个,图片33000张,连接关系10万个左右。并利用花瓣网的数据建立混合图G=(V,E),其中,V是顶点集合,E是边的集合。顶点集合包括三种{Va,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合。不同于普通图模型结构的数据集,本发明的数据集中使用了多种数据关系形成的边E来建立混合图模型。如图1系统框架中的混合图建立部分,一共使用了四种数据关系Ebp、Eub、Euuf、Eup。bp为画板与图片之间的关系,不同的画板可以收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户可以建立自己的画板,也可以关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也可以关注不同的画板;uuf为用户之间的朋友关系,用户可以关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户可以转采被人的图片到自己的画板集当中,也可以自己上传图片到花瓣网当中,不同用户可以转采不同的图片,同一张图片也可以被不同用户转采。不同于传统的社会网络研究,我们的混合图中两个顶点之间可能存在超过一条边。如图3的混合图关系示意图所示,用户A和图片P1的关系不只有一条边,还可以是从中间的画板连接的另一条边。也就是说,我们通过不同方面来表达各个用户与各个图片之间的关系,能更好的利用社交策展网站的信息,能准确的表达数据关系。
并且不同的网络关系对给用户推荐图片的影响或者作用是不一样的,所以我们不能以相同的权重来看待。这里我们令不同网络层的权重不一样,从第一层的用户跳到其他层的图片或者其他层的画板的概率是不一样的,也就是说不同网络层之间的转移概率不一样。设不同网络之间的转移概率为λ,如图4所示,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λub、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λubupufbp=1
其中,λ的取值需要设定多组并找出最优解,λub、λup、λuuf、λbp的取值范围是0.1~0.9,步长为0.1,例如:λub=0.1、λup-0.2、λuuf-0.3、λbp=0.4就为一组。设置不同组的λ值进行实验,并将每一组值都计算出一个推荐结果,并且得到主观评价的评分,并将得分最高的推荐结果的λ值作为最终的权重。我们最终选取的λ值为λub=0.2、λup=0.5、λuuf=0.1、λbp=0.2。
用户m到图片n的转移概率可表示为:
其中Dup(m)表示用户m在用户图片关系中的出度。
用户m到画板k的转移概率可表示为:
其中Dub(m)表示用户m在用户画板关系中的出度。
用户m到用户l的转移概率可表示为:
其中Duuf(m)表示用户m在用户朋友关系中的出度。
画板k到图片n的转移概率可表示为:
其中Dbp(k)表示画板k在画板图片关系中的出度。
此时的S就是整个混合图模型的转移概率,这样我们就找到了从任意一个顶点移动到另一个顶点的概率,然后将转移概率加入到重启动随机游走算法当中进行推荐。
2、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点。经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布,也就是说再次迭代也不会再改变图中顶点的概率分布值。其中每个点的概率值可以看作该顶点与出发点的相似度。重启动随机游走算法的可以表示为:
p(t+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0。S是转移概率矩阵,其中sij表示当前在顶点i,下一步到达顶点j的转移概率,这就要利用我们在上一步中求出的混合图转移概率S,α为直接回到出发顶点的概率,其取值范围为0.1~0.9,步长为0.1,计算出推荐结果,并将推荐结果中准确率最高的α值作为最终的选择,本发明使用的是α=0.7。利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛,向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,因此当两次迭代的结果p(t)和p(t-1)的差异非常小,在10-1之内就停止迭代。此时就能得到目标用户顶点到其他顶点的稳定概率分布。
3、基于图片内容信息的推荐结果重排序
对于用户来说,视觉相似更能吸引用户的注意力,比如说推荐算法给某一个用户推荐了100张图片,其中10张和用户自己有的图片很相似,可能是风格相似,也可能是里边的人物相似,那么用户应该会喜欢这类图片。但是,这样的图片很有可能没有排在靠前的位置,如果你只推荐top5或者top10很有可能推荐不到这样的图片。针对这样的问题,本发明提出了利用图片内容相似性特征对推荐结果进行重新排序,就可以把和用户喜欢的图片中相似性高的图片提到前边,更容易推荐成功。本发明在AlexNet上利用深度学习的方法提取图片特征,主要是微调AlexNet网络,然后将实验中用到的图片放入到微调好的网络提取特征。我们采用花瓣网的数据,爬取了花瓣网上30个大类的16500张图片,平均一个类550张左右的图片进行微调。其中80%的图片作为训练集,20%的图片作为测试集。用花瓣网的图片微调好网络之后,再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性。得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
4、推荐结果评价
本发明主要使用主观评价的方法,模拟用户推荐的方式,找志愿者帮助判断实验结果的好坏。找出每个用户拥有的和推荐的图片相似度最高的三张图,并将这四张图拿给志愿者评价,做出1-5的评分。并将这个评分结果作为推荐系统好坏的评价指标。本发明的主观评价找了10个志愿者,每个志愿者对每个实验评价100张图,得出1-5的评分的均值。其中只利用用户和图片信息形成的二部图网络的主观评价得分为3.75,二部图网络加上内容重排序的主观评价得分为3.98,而利用混合图加内容重排序的方法的主观评价得分为4.21,证明本方法的有效性。

Claims (4)

1.一种基于内容的混合图模型图像推荐方法,其特征在于,包括以下步骤:
1)、混合图模型的构建
爬取用户、画板、图片、以及数据关系,建立混合图G=(V,E),其中,V是顶点集合,E是边的集合;顶点集合包括三种{Vu,Vb,Vp},Vu表示用户顶点集合,Vb表示画板顶点集合,Vp表示图片顶点集合;一共使用了四种数据关系Ebp、Eub、Euuf、Eup;bp为画板与图片之间的关系,不同的画板能够收集不同的图片,同一张图片也可能出现在不同的画板中;ub为用户与画板之间的关系,用户建立自己的画板,也能够关注别人的画板,同一个画板可能被不同的用户关注,同一个用户也能够关注不同的画板;uuf为用户之间的朋友关系,用户能够关注其他用户也就是关注人信息,也会有其他用户关注自己也就是粉丝信息;up为用户与图片之间的关系,用户能够转采被人的图片到自己的画板集当中,也能够自己上传图片,不同用户能够转采不同的图片,同一张图片也能够被不同用户转采;混合图中两个顶点之间可能存在超过一条边;
令不同网络层的权重不一样,也就是说不同网络层之间的转移概率不一样;设不同网络之间的转移概率为λ,用户到画板,用户到图片,用户到朋友,画板到图片的转移概率分别为λuh、λup、λuuf、λbp,则混合图的概率转移矩阵为S,并且符合条件:
λubupuufbp=1
将转移概率加入到重启动随机游走算法当中进行推荐;
2)、随机游走算法
重启动随机游走算法用来度量一个图模型中顶点之间的相似度,重启动随机游走从一个图模型的某个顶点出发以某一个概率随机从这个顶点拥有的边中移动到下一个顶点,或者回到出发点;经过有限次的随机游走过程,图中每个顶点的概率值会达到平稳分布;其中每个点的概率值看作该顶点与出发点的相似度;重启动随机游走算法的能够表示为:
p(c+1)=(1-α)Sp(t)+αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0;S是转移概率矩阵,α为直接回到出发顶点的概率;利用公式(1)计算概率分布,随机游走过程重复利用公式(1)迭代,直到p收敛;向量p是重启动随机游走的稳定分布,收敛意味着p(t)无限接近p,当两次迭代的结果p(t)和p(t-1)的差异在10-1之内就停止迭代;此时就能得到目标用户顶点到其他顶点的稳定概率分布;
3)、基于图片内容信息的推荐结果重排序
利用深度学习的方法提取图片特征,然后将实验中用到的图片放入到网络提取特征;再将实验中需要的数据集中的图片放入网络中提取特征,利用余弦相似性计算两张图片的相似性;得到图片相似性之后,再计算用户拥有的图片和给用户推荐的图片的相似性,将相似性高的推荐推荐图片排在前边,重新推荐。
2.根据权利要求1中所述的方法,其特征在于,λub、λup、λuuf、λbp的取值范围是0.1~0.9,步长为0.1,设置不同组的λ值进行实验,并将每一组值都计算出一个推荐结果,并且得到评价的评分,并将得分最高的推荐结果的λ值作为最终的权重。
3.根据权利要求1中所述的方法,其特征在于,
用户m到图片n的转移概率表示为:
<mrow> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> <mrow> <msub> <mi>D</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>u</mi> </msub> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>p</mi> </msub> </mrow>
其中Dup(m)表示用户m在用户图片关系中的出度;
用户m到画板k的转移概率表示为:
<mrow> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>k</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>u</mi> <mi>b</mi> </mrow> </msub> <mrow> <msub> <mi>D</mi> <mrow> <mi>u</mi> <mi>b</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>u</mi> </msub> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>b</mi> </msub> </mrow>
其中Dub(m)表示用户m在用户画板关系中的出度;
用户m到用户l的转移概率表示为:
<mrow> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>u</mi> <mi>u</mi> <mi>f</mi> </mrow> </msub> <mrow> <msub> <mi>D</mi> <mrow> <mi>u</mi> <mi>u</mi> <mi>f</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mi>m</mi> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>u</mi> </msub> </mrow>
其中Duuf(m)表示用户m在用户朋友关系中的出度;
画板k到图片n的转移概率表示为:
<mrow> <msub> <mi>s</mi> <mrow> <mi>k</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>b</mi> <mi>p</mi> </mrow> </msub> <mrow> <msub> <mi>D</mi> <mrow> <mi>b</mi> <mi>p</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>b</mi> </msub> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>p</mi> </msub> </mrow>
其中Dbp(k)表示画板k在画板图片关系中的出度;
此时的S就是整个混合图模型的转移概率。
4.根据权利要求1中所述的方法,其特征在于,
重启动随机游走算法表示为:
p(t+1)=(1 α)Sp(t)|αq (1)
其中,p(t)表示第t步时图中所有顶点的一个概率分布;列向量q叫重启动向量,代表整个图的初始状态;列向量q中取初始顶点值为1,其余为0;S是转移概率矩阵,其中sij表示当前在顶点i,下一步到达顶点j的转移概率,α为直接回到出发顶点的概率,其取值范围为0.1~0.9,步长为0.1,计算出推荐结果,并将推荐结果中准确率最高的α值作为最终的选择。
CN201710924505.0A 2017-09-30 2017-09-30 一种基于内容的混合图模型图像推荐方法 Active CN107657043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710924505.0A CN107657043B (zh) 2017-09-30 2017-09-30 一种基于内容的混合图模型图像推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710924505.0A CN107657043B (zh) 2017-09-30 2017-09-30 一种基于内容的混合图模型图像推荐方法

Publications (2)

Publication Number Publication Date
CN107657043A true CN107657043A (zh) 2018-02-02
CN107657043B CN107657043B (zh) 2021-04-16

Family

ID=61117413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710924505.0A Active CN107657043B (zh) 2017-09-30 2017-09-30 一种基于内容的混合图模型图像推荐方法

Country Status (1)

Country Link
CN (1) CN107657043B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804650A (zh) * 2018-06-07 2018-11-13 北京工业大学 一种基于模块化的流形排序的图像推荐方法
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN109582808A (zh) * 2018-11-22 2019-04-05 北京锐安科技有限公司 一种用户信息查询方法、装置、终端设备和存储介质
CN110138751A (zh) * 2019-04-25 2019-08-16 东华大学 抵御位置数据中毒攻击的车联网位置数据处理方法和装置
CN111104606A (zh) * 2019-12-06 2020-05-05 成都理工大学 一种基于权重的条件游走图推荐方法
CN111488488A (zh) * 2020-04-10 2020-08-04 杭州趣维科技有限公司 一种基于图挖掘的用户兴趣探测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779182A (zh) * 2012-07-02 2012-11-14 吉林大学 融合偏好和信任关系的协同过滤推荐方法
US20140317033A1 (en) * 2013-04-23 2014-10-23 International Business Machines Corporation Predictive and descriptive analysis on relations graphs with heterogeneous entities
CN104376083A (zh) * 2014-11-18 2015-02-25 电子科技大学 一种基于关注关系和多用户行为的图推荐方法
CN105337773A (zh) * 2015-11-19 2016-02-17 南京邮电大学 基于ReciprocityRank算法的微博网络影响力节点发现方法
CN105528704A (zh) * 2014-09-28 2016-04-27 南京理工大学常熟研究院有限公司 一种基于阶段的动态产品推荐方法
CN105913296A (zh) * 2016-04-01 2016-08-31 北京理工大学 一种基于图的个性化推荐方法
CN106980659A (zh) * 2017-03-20 2017-07-25 华中科技大学鄂州工业技术研究院 一种基于异构图模型的社交活动推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779182A (zh) * 2012-07-02 2012-11-14 吉林大学 融合偏好和信任关系的协同过滤推荐方法
US20140317033A1 (en) * 2013-04-23 2014-10-23 International Business Machines Corporation Predictive and descriptive analysis on relations graphs with heterogeneous entities
CN105528704A (zh) * 2014-09-28 2016-04-27 南京理工大学常熟研究院有限公司 一种基于阶段的动态产品推荐方法
CN104376083A (zh) * 2014-11-18 2015-02-25 电子科技大学 一种基于关注关系和多用户行为的图推荐方法
CN105337773A (zh) * 2015-11-19 2016-02-17 南京邮电大学 基于ReciprocityRank算法的微博网络影响力节点发现方法
CN105913296A (zh) * 2016-04-01 2016-08-31 北京理工大学 一种基于图的个性化推荐方法
CN106980659A (zh) * 2017-03-20 2017-07-25 华中科技大学鄂州工业技术研究院 一种基于异构图模型的社交活动推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李杨: "基于跨模态的图像浏览与推荐关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
章讯等: "基于网络结构改进社交网络好友推荐算法研究", 《信息技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804650A (zh) * 2018-06-07 2018-11-13 北京工业大学 一种基于模块化的流形排序的图像推荐方法
CN108804650B (zh) * 2018-06-07 2021-07-02 北京工业大学 一种基于模块化的流形排序的图像推荐方法
CN109582808A (zh) * 2018-11-22 2019-04-05 北京锐安科技有限公司 一种用户信息查询方法、装置、终端设备和存储介质
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN109299396B (zh) * 2018-11-28 2020-11-06 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN110138751A (zh) * 2019-04-25 2019-08-16 东华大学 抵御位置数据中毒攻击的车联网位置数据处理方法和装置
CN110138751B (zh) * 2019-04-25 2021-07-20 东华大学 抵御位置数据中毒攻击的车联网位置数据处理方法和装置
CN111104606A (zh) * 2019-12-06 2020-05-05 成都理工大学 一种基于权重的条件游走图推荐方法
CN111104606B (zh) * 2019-12-06 2022-10-21 成都理工大学 一种基于权重的条件游走图推荐方法
CN111488488A (zh) * 2020-04-10 2020-08-04 杭州趣维科技有限公司 一种基于图挖掘的用户兴趣探测方法

Also Published As

Publication number Publication date
CN107657043B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN107657043A (zh) 一种基于内容的混合图模型图像推荐方法
CN111428147B (zh) 结合社交和兴趣信息的异源图卷积网络的社交推荐方法
Jiang et al. Author topic model-based collaborative filtering for personalized POI recommendations
Porter et al. Communities in networks
CN107133277B (zh) 一种基于动态主题模型和矩阵分解的旅游景点推荐方法
CN103886054B (zh) 一种网络教学资源的个性化推荐系统和推荐方法
CN107038609A (zh) 一种基于深度学习的商品推荐方法及系统
CN109241440A (zh) 一种基于深度学习的面向隐式反馈推荐方法
CN107800801A (zh) 一种基于用户学习偏好的学习资源推送方法及系统
CN109983455A (zh) 在在线社交网络上多样化媒体搜索结果
CN106296312A (zh) 基于社交媒体的在线教育资源推荐系统
CN106650725A (zh) 基于全卷积神经网络的候选文本框生成和文本检测方法
CN107767279A (zh) 一种基于lda的加权平均的个性化好友推荐方法
CN106960044A (zh) 一种基于张量分解及加权hits的时间感知个性化poi推荐方法
CN107562947A (zh) 一种移动时空感知下动态即时推荐服务模型建立方法
CN103425763A (zh) 基于sns的用户推荐方法及装置
CN106981029A (zh) 基于供需候选推荐以发展深度人际社交网络的系统与方法
CN107766439A (zh) 一种融合结构特征和隐式反馈的个性化推荐方法
CN107180078A (zh) 一种基于用户兴趣学习的垂直搜索方法
CN108241619A (zh) 一种基于用户多兴趣的推荐方法
CN113806630A (zh) 基于注意力的多视角特征融合跨域推荐方法及装置
CN114240528A (zh) 一种用于乡村旅游的交互式景区导视系统
CN110008411B (zh) 一种基于用户签到稀疏矩阵的深度学习兴趣点推荐方法
CN104572915B (zh) 一种基于内容环境增强的用户事件相关度计算方法
CN116738066A (zh) 乡村旅游服务推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant