CN103268330A - 基于图片内容的用户兴趣提取方法 - Google Patents

基于图片内容的用户兴趣提取方法 Download PDF

Info

Publication number
CN103268330A
CN103268330A CN2013101646632A CN201310164663A CN103268330A CN 103268330 A CN103268330 A CN 103268330A CN 2013101646632 A CN2013101646632 A CN 2013101646632A CN 201310164663 A CN201310164663 A CN 201310164663A CN 103268330 A CN103268330 A CN 103268330A
Authority
CN
China
Prior art keywords
interest
user
picture
mark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101646632A
Other languages
English (en)
Inventor
操晓春
周成举
张仁宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN2013101646632A priority Critical patent/CN103268330A/zh
Publication of CN103268330A publication Critical patent/CN103268330A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图片内容的用户兴趣提取方法，该方法包括：建立兴趣树；基于仿射不变性的SIFT算法进行图像检索；对具有相同标注的分数进行合并，按照合并后分数的高低进行排序，根据合并后分数的高低，对每一个标注与兴趣树中的兴趣进行比较，根据其离根节点的距离判定其相对应的兴趣。并把兴趣相同的分数合并，按照分数的高低进行排序，这样就根据一张图片得到了推论的用户的兴趣分布；重复以上步骤，对相册中所有图片得到的兴趣按照兴趣的类别进行合并，从而得到该用户的兴趣分布。与现有技术相比，特别适用于海量图片的信息挖掘，尤其是社交网络对用户的分类。在对用户进行分类后的潜在的应用包括个性化服务推荐、广告的定向投放等。

Description

基于图片内容的用户兴趣提取方法
技术领域
本发明涉及图像数据挖掘技术领域，特别是涉及一种基于用户图片内容的图像检索技术领域和图像的语义内容理解领域。
背景技术
随着数码设备、智能手机等数字成像设备的普及，人们使用这些设备拍摄了数量庞大的图片。世界上最大的社交网站Facebook至今已经存储了2400亿张用户的数码照片，并且这个数量正在以每天3亿张的速度增加。国内最大的社交平台QQ空间的照片上传总数也已经突破1500亿张，其中日上传照片量最高值已突破3.6亿张。特别是移动互联网的快速发展，基于应用的照片上传也出现巨大的增长。图片分享应用程序Instagram的照片数量已经达到了50亿张，并且以每天500万张的速度增加。伴随大数据时代的到来，数据已经被人称之为另一种“石油”，尤其是图片比普通的文本数据蕴含着更多、更丰富的信息。但是由于图片本身数据量比较大且含有许多高层的语义信息，对于如何从图片中提取有价值的信息一直是一个难点。但是随着图像处理技术的不断进步，如何从图片中挖掘出潜在的有价值的信息受到越来越多的关注，现有的方法参见先前专利文献[1]和[2]。为了更好的挖掘出这些数量庞大的照片所蕴含的有价值的信息，本专利提出了一种基于用户图片的用户兴趣的挖掘与分类方法。
先前专利文献信息参考如下：
[1]Enhancedidentificationofinterestingpoints-of-interest(GOOGLEINC[US])文献号US8239130公开号：US8239130B1公开日2012-08-07状态：有权
[2]SystemsandMethodsforImagingaVolume-of-Interest（LANDMARKGRAPHICSCORPAHALLI[US]）文献号US2009027385公开号：US2009027385A1公开日2009-01-29状态：有权
发明内容
基于现有技术中存在的问题，本发明提出一种基于图片内容的用户兴趣提取方法，利用改进的图像检索方法，高效地实现了基于图片内容的兴趣分布信息的提取。
本发明提出了一种基于图片内容的用户兴趣提取方法，预先建立图片数据库，数据库中的每张图片都设置有表示其相关兴趣的标注信息，该方法包括以下步骤：
步骤一、建立兴趣树，该树结构中包括根节点以及表示用户兴趣的子节点；
步骤二、进行图像检索，该步骤具体操作为：
步骤101、提取图片的Hessian-Affine区域；
步骤102、提取Hessian-Affine区域的图像特征点的SIFT特征值；
步骤103、对图像特征点进行聚类得到视觉关键字，并计算该视觉关键字的汉明码，图片的每一个视觉关键字转化成一个64维汉明码用于检索；
步骤104、通过视觉关键字，根据bagofwords模型(词袋模型)，在图片数据库中检索匹配的图片；
步骤105、将所有匹配的图片进行打分，并按照得分的高低进行排序并显示，其中每张图片都进行表示其语义内容的标注，这里的标注就是相对应的单词的ID，将图片的得分和其标注进行存储；
步骤三：用户兴趣挖掘，根据步骤二得到的数据，对其按照得分进行归一化计算：
S i = S i / Σ i = 1 n S i ,
其中Si为得分排序为第i名的图片的得分，n为检索出的图片的数量；
对得到的数据再次进行打分：
Si＝Si+1/2i+num/2i,
其中i为图片按照得分的排序位置，num为前i张图片中与第i张图片有相同标注的图片的数量；实现根据用户的兴趣分布对步骤二得到的数据进行处理。
步骤四、对具有相同标注的分数进行合并，按照合并后分数的高低进行排序，根据合并后分数的高低，对每一个标注与兴趣树中的兴趣进行比较，根据其离根节点的距离判定其相对应的兴趣。并把兴趣相同的分数合并，按照分数的高低进行排序，这样就根据一张图片得到了用户的兴趣分布。
重复以上步骤一至步骤四，对相册中所有图片得到的兴趣按照兴趣的类别进行合并，按照合并后的分数的高低进行排序，从而得到该用户的兴趣分布。
该方法还包括以下步骤：
利用以上步骤得到多位用户的兴趣分布，并将其存储下来。根据每位用户的兴趣分布，把拥有相同或相似兴趣的用户归为一个小组，每一个用户会有多个兴趣，这样每个用户会分到多个兴趣小组里，实现了通过用户相册得到的兴趣对用户的划分，从而得到兴趣小组分类。
其中所述兴趣树的根节点不表示任何兴趣，只作为一个已知节点存在，二级节点代表泛化的兴趣，其子节点表示更具体的兴趣，以此类推，节点所在的层级越深，其表示的兴趣表示就越具体。
其中所述步骤103中的倒排索引中视觉关键字的距离定义为两个64维汉明码之间的不同的位数的个数，超出一定阈值就认为不匹配。
其中所述步骤103中64维汉明码的生成过程如下，
生成随机正定矩阵，维数为128*64；
对于属于同一视觉关键字的特征，通过随机正定矩阵映射为64维特征；
计算生成的64维特征集合每一维上的中值；
对于图像的64维特征，若大于等于该维的中值，则对应位设为1，否则置为0，由此得到64维汉明码。
另外，本发明还提出了一种基于内容的图片检索方法，该方法包括以下步骤：进行图像检索，该步骤具体操作为：
步骤101、提取图片的Hessian-Affine区域；
步骤102、提取Hessian-Affine区域的图像特征点的SIFT特征值；
步骤103、对图像特征点进行聚类得到视觉关键字，并计算该视觉关键字的汉明码，图片的每一个视觉关键字转化成一个64维汉明码用于检索；
步骤104、通过视觉关键字，根据bagofwords模型(词袋模型)，在图片数据库中检索匹配的图片；
步骤105、将所有匹配的图片进行打分，并按照得分的高低进行排序并显示，其中每张图片都进行表示其语义内容的标注，这里的标注就是相对应的单词的ID，将图片的得分和其标注进行存储。
与现有技术相比，本发明根据用户的相册进行兴趣划分的方法，特别适用于海量图片的信息挖掘，尤其是社交网络对用户的分类。在对用户进行分类后的潜在的应用包括个性化服务推荐、广告的定向投放等。
附图说明
图1为本发明的基于内容的图像检索流程图；
图2为本发明的基于用户图片的用户兴趣提取方法的整体流程示意图。
图3～图8为本发明的具体实施例中用户1～用户6的用户图片。
具体实施方式
本发明中，建立了带有兴趣信息的图片数据库，其中每张图片都有表示其兴趣的标注信息。以此为基础，进行图像检索，为了提高图片检索的效率，本专利采用了基于仿射不变性的SIFT算法。这样，对于一张图片通过检索就能找到与其所表示的语义信息相似的图片，也就得到了图片所蕴含的用户兴趣信息。此外，建立了表示用户兴趣的兴趣树，将上述兴趣信息输入到兴趣树中，根据其与兴趣树根节点之间的距离就得到了这一张图片所蕴含的用户的兴趣。将用户相册中所有的图片进行处理，就能得到用户的兴趣分布。对于每一位用户，用相同方法处理其所有的图片就得到了所有用户的兴趣分布情况。最后，根据用户的兴趣分布将兴趣相同或相似的用户分为同一兴趣小组，就完成了通过用户的图片对用户的划分。
下面结合附图，进一步详细说明本发明的具体实现方式。
步骤一：建立TopicTree（兴趣树）
根据ImageNet中单词的层级结构，我们选取其中能表示用户兴趣的一些单词族，并结合日常生活中的经验知识将其组织成一个树形结构。其中树的根节点不表示任何兴趣，只作为一个已知节点存在。二级节点比较宽泛的代表一些兴趣，其子节点表示具体一些的兴趣，以此类推，节点所在的层级越深，其表示的兴趣表示就越具体。
另外，为了能更好的展现用户的兴趣分布，我们又向其中添加了一些兴趣类别。
步骤二：图片的检索，如图1所示，该流程包括以下步骤：
步骤101、提取图片的Hessian-Affine区域；
用户图片的描述：通常人们在识别一张图片的时候会迅速忽略掉大部分区域，会把主要的精力放在图片比较有区分度的区域，这些区域就是图片的图片显著区域，也是用户图片的描述依据。针对图片的特征区域检测算法，一个很重要的标准便是鲁棒性，要求在对图片进行尺度、旋转、观测视角以及仿射等变换的情况下检测到的区域仍然相同或大致相同。在本专利中，选择Hessian-Affine区域检测算法。Hessian-Affine区域检测算法是一种常见的区域检测算法，对尺度、旋转、仿射等变换具有良好的鲁棒性。Hessian-Affine区域检测算法是利用了多尺度迭代算法来进行空间定位和选择尺度、仿射不变性的特征点的，在不同的尺度下，该算法都利用Hessian矩阵来进行检测感兴趣的点。
步骤102、提取Hessian-Affine区域的图像特征点的SIFT特征值；
本专利采用Scale-invariantfeaturetransform(简称SIFT)算法描述图片特征，SIFT算法由David.G.Lowe于1999年提出，2004年完善总结。SIFT特征是图片的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。因而基于SIFT特征的图片内容匹配具有较高的准确性和可靠性。传统SIFT检测特征点算法充分考虑了尺度和分辨率的变化所带来的影响，但是现实生活中自然图片往往在视角的变换上面表现的更为明显，除此之外，Photoshop、GIMP、光影魔术手等图片处理软件的广泛应用也会对原始图片进行拉伸等形变和滤波处理。为此，本专利使用基于区域仿射不变性的SIFT算法，以消除这些因素的影响。
步骤103、对图片的特征进行聚类得到视觉关键字，量化图像特征为视觉关键字，并计算该视觉关键字的汉明码；
与文本搜索相类似，要对数据库中的图像建立倒排索引。由于基于Hessian-Affine区域的仿射不变性的SIFT算法提取到的图像的特征点具有很高的区分度并且提取到的特征点数量很大，如果直接以提取到的SIFT特征点作为关键字建立索引，则造成倒排索引表的长度很长，不利于快速检索。为此，本专利中以机器学习中的K-means算法进行特征聚类，以得到的类中心作为视觉关键字。
采用汉明码的优点是既不会带来过多的存储负担，同时又能提高检索的速度和精确性。
步骤104、通过视觉关键字对SIFT特征点进行聚类，并利用bagofwords模型对图像建立倒排索引
根据聚类得到的视觉关键字，将图像的特征点量化为视觉关键字，即visualwords。则一幅图像就可以看作视觉关键字的集合，亦即一篇visualdocument。根据bagofwords模型，对得到的视觉关键字为图像建立倒排索引。针对传统的bagofwords模型对特征描述符的区分度的不足，本专利对建立的倒排索引中的每一个特征点附加一个64维汉明码以提高特征之间的区分度，其距离定义为两个汉明码之间的不同的位数的个数，超出一定阈值就认为不匹配。该64维汉明码的生成过程如下，
A、生成随机正定矩阵，维数为128*64；
B、对于属于同一视觉关键字的特征，通过随机正定矩阵映射为64维特征；
C、计算生成的64维特征集合每一维上的中值；
D、对于图像的64维特征，若大于等于该维的中值，则对应位设为1，否则置为0，由此得到64维汉明码。
将用户相册中的图片输入到上述基于内容的图片检索流程中；执行检索后，将所有匹配的图片进行打分，并按照得分的高低进行排序并显示。其中每张图片都会进行表示其语义内容的标注，这里的标注就是相对应的单词的ID。将图片的得分和其标注进行存储，为下一步骤做准备。
步骤三：用户兴趣挖掘
根据步骤二得到的数据，对其按照得分进行归一化计算：
S i = S i / Σ i = 1 n S i ,
其中Si为得分排序为第i名的图片的得分，n为检索出的图片的数量；
由于根据一张图片得到的用户兴趣应该是很少的几个或者一个，所以我们对得分较高的图片再次打分的时候给予较高的分数。同时多次出现的标注有理由相信其与用户真实兴趣有较大的联系，因此也给予较高的分数。这样我们对得到的数据再次进行打分：
Si＝Si+1/2i+num/2i，
其中i为图片按照得分的排序位置，num为前i张图片中与第i张图片有相同标注的图片的数量；
这样就根据用户的兴趣分布对步骤二得到的数据进行了处理。然后对具有相同标注的分数进行合并，按照合并后分数的高低进行排序。根据合并后分数的高低，对每一个标注与TopicTree中的兴趣进行比较，根据其离根节点的距离判定其相对应的兴趣。并把兴趣相同的分数合并，按照分数的高低进行排序。这样就根据一张图片得到了用户的可能兴趣分布。
重复以上步骤，对相册中所有图片得到的兴趣按照兴趣的类别进行合并，按照合并后的分数的高低进行排序，从而得到该用户的兴趣分布。
步骤四：兴趣小组分类
将多位用户的相册输入到系统中，利用以上步骤得到每位用户的兴趣分布，并将其存储下来。根据每位用户的兴趣分布，把拥有相同或相似兴趣的用户归为一个小组，这样就把拥有相同兴趣的用户给归集到一起。其中，每一个用户会有多个兴趣，这样每个用户会分到多个兴趣小组里。这样就实现了通过用户相册得到的兴趣对用户的划分。
本发明的具体实施方式通过举例具体说明如下：
如图3～图8所示，为用户1～用户6的相册信息。本实施例中，作为输入的用户的图片，经过图片检索和对图片的打分、图片兴趣挖掘、兴趣树的匹配，得到基于用户图片内容的兴趣分布。之后，对每一位用户的图片进行处理，这样就提取了每一位用户的兴趣分布。根据用户的兴趣分布将兴趣相同或相似分为一个小组，这样就完成了对用户的划分。本专利中使用的图片数据库是基于ImageNet的。测试图片是来自国内最大的社交网站人人网，随机选取了十二位用户，去掉其中相册图片较少的用户，最后得到如图3-图8所示的六位用户的相册作为实验数据，根据其相册中的图片对用户按兴趣进行划分。
以下为实验结果：
对于用户相册中的每一张图片，运用上述方法得到对其所表示兴趣的猜测，并根据其得分的分布情况，判断用户的兴趣分布。相关信息统计如表1所示。
表1
User1 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.160816 0.1094 0.466137 0.263647
Picture2 0.152138 0.16042 0.446839 0.240604
Picture3 0.187367 0.209037 0.384928 0.218669
Picture4 0.190954 0.158624 0.371397 0.279026
Picture5 0.167486 0.789414 0.021554 0.0215458
Picture6 0.579456 0.371122 0.0247111 0.024711
Picture7 0.284983 0.222922 0.0337228 0.458372
Picture8 0.533751 0.332438 0.0742274 0.0595838
Picture9 0.198824 0.166467 0.392862 0.241847
Picture10 0.0510566 0.814522 0.0698564 0.064565
Picture11 0.202965 0.46328 0.156692 0.177064
Picture12 0.52995 0.407465 0.0312955 0.0312889
Picture13 0.289115 0.175891 0.0251058 0.509888
Picture14 0.114808 0.775705 0.0563712 0.0531152
sum 3.6436696 5.156707 2.5556992 2.6439267
根据表1的输出结果，得到User1的兴趣主要集中在basketball和football：
表2
User2 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.584568 0.336195 0.0396219 0.0396156
Picture2 0.11795 0.693621 0.111211 0.0772183
Picture3 0.206889 0.176516 0.369038 0.247557
Picture4 0.158972 0.131538 0.458761 0.250729
Picture5 0.167864 0.200905 0.396399 0.234833
Picture6 0.172903 0.177352 0.406773 0.242972
sum 1.409146 1.716127 1.7818039 1.0929249
根据表2的输出结果，得到User2的兴趣主要其中在：equestriansport和basketball：
表3
User3 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.523682 0.40275 0.0376588 0.0359096
Picture2 0.578768 0.373357 0.0239375 0.0239375
Picture3 0.0881438 0.683998 0.131112 0.0967457
Picture4 0.521602 0.412265 0.0330699 0.0330629
Picture5 0.166538 0.485237 0.172311 0.175914
Picture6 0.543263 0.320413 0.0787941 0.0575301
Picture7 0.527209 0.401319 0.0365914 0.0348812
Picture8 0.264819 0.291763 0.245765 0.197653
Picture9 0.200436 0.172335 0.373014 0.254215
Picture10 0.578332 0.356099 0.0327496 0.0328191
Picture11 0.163347 0.774434 0.0311746 0.0310447
Picture12 0.185782 0.165214 0.410874 0.23813
sum 4.3419218 4.839184 1.6070519 1.2118428
根据表3的输出结果，得到User3的兴趣主要集中在:basketball和football：
表4
User4 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.523682 0.40275 0.0376588 0.0359096
Picture2 0.578768 0.373357 0.0239375 0.0239375
Picture3 0.0881438 0.683998 0.131112 0.0967457
Picture4 0.521602 0.412265 0.0330699 0.0330629
Picture5 0.166538 0.485237 0.172311 0.175914
Picture6 0.543263 0.320413 0.0787941 0.0575301
Picture7 0.527209 0.401319 0.0365914 0.0348812
Picture8 0.264819 0.291763 0.245765 0.197653
Picture9 0.200436 0.172335 0.373014 0.254215
Picture10 0.578332 0.356099 0.0327496 0.0328191
Picture11 0.774434 0.163347 0.0311746 0.0310447
Picture12 0.185782 0.165214 0.23813 0.23813
sum 4.9530088 4.228097 1.4343079 1.2118428
根据表4的输出结果，得到User4的兴趣主要集中在:football和basketball：
表5
User5 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.168516 0.149028 0.427584 0.254872
Picture2 0.107274 0.702859 0.112135 0.0777317
Picture3 0.201003 0.240482 0.343899 0.214616
Picture4 0.176899 0.139531 0.442298 0.241272
sum 0.653692 1.2319 1.325916 0.7884917
根据表5的输出结果，得到User5的兴趣主要集中在:equestriansport和basketball：
表6
User6 football,football-game basketball,basketball-game,hoops equestrian-sport swimming,swim,bath,nation
Picture1 0.55212 0.330461 0.0661484 0.05127
Picture2 0.16045 0.117175 0.465409 0.256966
Picture3 0.0661471 0.845171 0.044341 0.0443404
Picture4 0.10289 0.667006 0.132502 0.0976013
Picture5 0.461802 0.402664 0.0763673 0.059167
Picture6 0.279138 0.245245 0.013974 0.461643
Picture7 0.189229 0.202309 0.387174 0.221288
Picture8 0.176707 0.14605 0.442277 0.234966
Picture9 0.587839 0.363097 0.0245332 0.0245314
Picture10 0.16412 0.157749 0.440486 0.237645
Picture11 0.0948323 0.715356 0.112376 0.077436
Picture12 0.549201 0.318413 0.0620406 0.0703452
Picture13 0.280845 0.17968 0.0458368 0.493639
Picture14 0.175573 0.785032 0.0196977 0.0196976
Picture15 0.551689 0.334689 0.0638084 0.0498135
Picture16 0.271472 0.264022 0.247152 0.217353
sum 4.6640544 6.074119 2.6441234 2.6177024
根据表6的输出结果,得到User6的兴趣主要集中在:basketball和football，注：表格中一行数据是当输入是单张图片的时候得到的兴趣分布。
这样我们就得到了这几位用户的兴趣分布，结果如下表7：
表7
User1 basketball football
User2 equestrian sport basketball
User3 basketball football
User4 football basketball
User5 equestrian sport basketball
User6 basketball football
根据这几位用户的兴趣分布，对用户进行划分，划分结果如表8所示：
表8
basketball User1,User4,User6
equestrian sport User2,User5
football User3,User6,User4,User1
结论：通过对用户相册中的图片进行分析和归类，可以得到用户的兴趣分布。将兴趣分布相同的用户分为划分到一块，就可以对用户进行一些针对性的推荐。实验结果显示此方法效果较好，达到了预期的目的。

Claims (8)

1.一种基于图片内容的用户兴趣提取方法，预先建立图片数据库，数据库中的每张图片都设置有表示其相关兴趣的标注信息，其特征在于，该方法包括以下步骤：
步骤一、建立兴趣树，该树结构中包括根节点以及表示用户兴趣的子节点；
步骤二、对用户的每一张图片进行图像检索，该步骤具体操作为：
步骤（101）、提取图片的Hessian-Affine区域；
步骤（102）、提取Hessian-Affine区域的图像特征点的SIFT特征值；
步骤（103）、对图像特征点进行聚类得到视觉关键字，并计算该视觉关键字的汉明码，图片的每一个视觉关键字转化成一个64维汉明码用于检索；
步骤（104）、通过视觉关键字，根据词袋模型，在图片数据库中检索匹配的图片；
步骤（105）、将所有匹配的图片进行打分，并按照得分的高低进行排序并显示，其中每张图片都有表示其语义内容的标注，这里的标注就是相对应的兴趣单词的ID，将图片的得分和其标注进行存储；
步骤三：用户兴趣挖掘，根据步骤二得到的数据，对其按照得分进行归一化计算：
S i = S i / Σ i = 1 n S i ,
其中Si为得分排序为第i名的图片的得分，n为检索出的图片的数量；对得到的数据再次进行打分：
Si＝Si+1/2i+num/2i,
其中i为图片按照得分的排序位置，num为前i张图片中与第i张图片有相同标注的图片的数量；实现根据用户的兴趣分布对步骤二得到的数据进行处理；
步骤四、对具有相同标注的分数进行合并，按照合并后分数的高低进行排序，根据合并后分数的高低，对每一个标注与兴趣书中的兴趣进行比较，根据其离根节点的距离判定其相对应的兴趣，并把兴趣相同的分数合并，按照分数的高低进行排序，这样就根据一张图片得到了用户的兴趣分布；
重复以上步骤一至步骤四，对相册中所有图片得到的兴趣按照兴趣的类别进行合并，按照合并后的分数的高低进行排序和统计，从而得到该用户的兴趣分布。
2.如权利要求1所述的基于图片内容的用户兴趣提取方法，其特征在于，该方法还包括以下步骤：
利用以上步骤得到多位用户的兴趣分布，并将其存储下来；根据每位用户的兴趣分布，把拥有相同或相似兴趣的用户归为一个小组，每一个用户会有多个兴趣，这样每个用户会分到多个兴趣小组里，实现了通过用户相册得到的兴趣对用户的划分，从而得到兴趣小组分类。
3.如权利要求1所述的基于图片内容的用户兴趣提取方法，其特征在于，所述兴趣树的根节点不表示任何兴趣，只作为一个已知节点存在，二级节点代表泛化的兴趣，其子节点表示更具体的兴趣，以此类推，节点所在的层级越深，其表示的兴趣表示就越具体。
4.如权利要求1所述的基于图片内容的用户兴趣提取方法，其特征在于，所述步骤（103）中的倒排索引中的视觉关键字的距离定义为两个64维汉明码之间的不同的位数的个数，超出一定阈值就认为不匹配。
5.如权利要求1所述的基于图片内容的用户兴趣提取方法，其特征在于，所述步骤（103）中64维汉明码的生成过程如下，
生成随机正定矩阵，维数为128*64；
对于属于同一视觉关键字的特征，通过随机正定矩阵映射为64维特征；
计算生成的64维特征集合每一维上的中值；
对于图像的64维特征，若大于等于该维的中值，则对应位设为1，否则置为0，由此得到64维汉明码。
6.一种基于内容的图片检索方法，其特征在于，该方法包括以下步骤：进行图像检索，该步骤具体操作为：
步骤（101）、提取图片的Hessian-Affine区域；
步骤（102）、提取Hessian-Affine区域的图像特征点的SIFT特征值；
步骤（103）、对图像特征点进行聚类得到视觉关键字，并计算该视觉关键字的汉明码；
步骤（104）、通过视觉关键字对SIFT特征值进行聚类，并利用bagofwords模型对图像建立倒排索引；对建立的倒排索引中的每一个图像特征点附加一个64维汉明码，
步骤（105）、将所有匹配的图片进行打分，并按照得分的高低进行排序并显示，其中每张图片都进行表示其语义内容的标注，这里的标注就是相对应的单词的ID，将图片的得分和其标注进行存储。
7.如权利要求6所述的基于内容的图片检索方法，其特征在于，所述步骤（103）中的倒排索引中的视觉关键字的距离定义为两个64维汉明码之间的不同的位数的个数，超出一定阈值就认为不匹配。
8.如权利要求6所述的基于内容的图片检索方法，其特征在于，所述步骤（103）中64维汉明码的生成过程如下，
生成随机正定矩阵，维数为128*64；
对于属于同一视觉关键字的特征，通过随机正定矩阵映射为64维特征；
计算生成的64维特征集合每一维上的中值；
对于图像的64维特征，若大于等于该维的中值，则对应位设为1，否则置为0，由此得到64维汉明码。
CN2013101646632A 2013-05-07 2013-05-07 基于图片内容的用户兴趣提取方法 Pending CN103268330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101646632A CN103268330A (zh) 2013-05-07 2013-05-07 基于图片内容的用户兴趣提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101646632A CN103268330A (zh) 2013-05-07 2013-05-07 基于图片内容的用户兴趣提取方法

Publications (1)

Publication Number Publication Date
CN103268330A true CN103268330A (zh) 2013-08-28

Family

ID=49011959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101646632A Pending CN103268330A (zh) 2013-05-07 2013-05-07 基于图片内容的用户兴趣提取方法

Country Status (1)

Country Link
CN (1) CN103268330A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279675A (zh) * 2015-10-20 2016-01-27 惠州Tcl移动通信有限公司 移动终端及其广告投放方法
CN105373596A (zh) * 2015-10-27 2016-03-02 努比亚技术有限公司 基于用户兴趣挖掘的移动终端和用户兴趣挖掘方法
JP2016181143A (ja) * 2015-03-24 2016-10-13 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
CN106611016A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种基于可分解词包模型的图像检索方法
CN107292302A (zh) * 2016-03-31 2017-10-24 高德信息技术有限公司 检测图片中兴趣点的方法和系统
CN107577682A (zh) * 2016-07-05 2018-01-12 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
CN108038161A (zh) * 2017-12-06 2018-05-15 北京奇虎科技有限公司 基于相册的信息推荐方法、装置及计算设备
CN108446728A (zh) * 2018-03-14 2018-08-24 深圳乐信软件技术有限公司 用户特性提取方法、装置、终端和存储介质
CN109416685A (zh) * 2016-06-02 2019-03-01 柯达阿拉里斯股份有限公司 用于与用户主动交互的方法
US11227342B2 (en) 2017-05-26 2022-01-18 Microsoft Technology Licensing, Llc Recommending friends in automated chatting
TWI832286B (zh) * 2022-06-09 2024-02-11 鴻海精密工業股份有限公司 推論效率提升方法、電腦裝置及儲存介質

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265383A1 (en) * 2008-04-17 2009-10-22 Subhajit Sanyal System and method for providing image labeling game using cbir
CN102194124A (zh) * 2010-09-16 2011-09-21 天津大学 一种基于图像搜索的合成图像检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265383A1 (en) * 2008-04-17 2009-10-22 Subhajit Sanyal System and method for providing image labeling game using cbir
CN102194124A (zh) * 2010-09-16 2011-09-21 天津大学 一种基于图像搜索的合成图像检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HERVE 等: "Hamming embedding and weak geometric consistency for large scale image search", 《COMPUTER VISION – ECCV 2008》 *
PIERRE MOREELS 等: "Evaluation of Features Detectors and Descriptors based on 3D Objects", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
李原: "基于双关键字的图像检索模型及系统", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *
李建廷: "基于简化ODP的用户兴趣模型", 《计算机工程与科学》 *
杨海涛 等: "基于图像内容的用户兴趣模型研究", 《计算机工程与应用》 *
段曼妮: "图像挖掘在图像检索中的应用", 《中国博士学位论文全文数据库·信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181143A (ja) * 2015-03-24 2016-10-13 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
CN105279675A (zh) * 2015-10-20 2016-01-27 惠州Tcl移动通信有限公司 移动终端及其广告投放方法
CN106611016B (zh) * 2015-10-27 2019-04-05 北京航空航天大学 一种基于可分解词包模型的图像检索方法
CN106611016A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种基于可分解词包模型的图像检索方法
CN105373596A (zh) * 2015-10-27 2016-03-02 努比亚技术有限公司 基于用户兴趣挖掘的移动终端和用户兴趣挖掘方法
CN105373596B (zh) * 2015-10-27 2020-05-05 努比亚技术有限公司 基于用户兴趣挖掘的移动终端和用户兴趣挖掘方法
CN107292302A (zh) * 2016-03-31 2017-10-24 高德信息技术有限公司 检测图片中兴趣点的方法和系统
CN109416685A (zh) * 2016-06-02 2019-03-01 柯达阿拉里斯股份有限公司 用于与用户主动交互的方法
CN109416685B (zh) * 2016-06-02 2023-09-26 柯达阿拉里斯股份有限公司 用于与用户主动交互的方法
CN107577682A (zh) * 2016-07-05 2018-01-12 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
CN107577682B (zh) * 2016-07-05 2021-06-29 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
US11227342B2 (en) 2017-05-26 2022-01-18 Microsoft Technology Licensing, Llc Recommending friends in automated chatting
CN108038161A (zh) * 2017-12-06 2018-05-15 北京奇虎科技有限公司 基于相册的信息推荐方法、装置及计算设备
CN108446728A (zh) * 2018-03-14 2018-08-24 深圳乐信软件技术有限公司 用户特性提取方法、装置、终端和存储介质
TWI832286B (zh) * 2022-06-09 2024-02-11 鴻海精密工業股份有限公司 推論效率提升方法、電腦裝置及儲存介質

Similar Documents

Publication Publication Date Title
CN103268330A (zh) 基于图片内容的用户兴趣提取方法
Matzen et al. Streetstyle: Exploring world-wide clothing styles from millions of photos
Papadopoulos et al. Cluster-based landmark and event detection for tagged photo collections
Jiang et al. Author topic model-based collaborative filtering for personalized POI recommendations
CN109189959B (zh) 一种构建图像数据库的方法及装置
CN104050196B (zh) 一种兴趣点数据冗余检测方法及装置
CN102722709B (zh) 一种垃圾图片识别方法和装置
CN103246670B (zh) 微博排序、搜索、展示方法和系统
CN106156372B (zh) 一种互联网网站的分类方法及装置
CN104317891B (zh) 一种对页面标注标签的方法及装置
CN108334610A (zh) 一种新闻文本分类方法、装置及服务器
CN105718532A (zh) 一种基于多深度网络结构的跨媒体排序方法
KR101224312B1 (ko) 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버
CN103955543A (zh) 基于多模态的服装图像检索方法
CN102855245A (zh) 一种用于确定图片相似度的方法与设备
CN104598648A (zh) 一种微博用户交互式性别识别方法及装置
CN111680506A (zh) 数据库表的外键映射方法、装置、电子设备和存储介质
CN103778206A (zh) 一种网络服务资源的提供方法
CN106202391A (zh) 一种用户社群的自动分类方法及装置
CN106686086A (zh) 消息推送装置及方法
Min et al. Multimodal spatio-temporal theme modeling for landmark analysis
Obaidullah et al. Structural feature based approach for script identification from printed Indian document
CN106934004A (zh) 一种基于地域特征向用户推荐文章的方法和装置
Chen et al. Social media-based profiling of business locations
Zaharieva et al. Cross-platform social event detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130828