CN109308324A - 一种基于手绘风格推荐的图像检索方法及系统 - Google Patents
一种基于手绘风格推荐的图像检索方法及系统 Download PDFInfo
- Publication number
- CN109308324A CN109308324A CN201811046969.7A CN201811046969A CN109308324A CN 109308324 A CN109308324 A CN 109308324A CN 201811046969 A CN201811046969 A CN 201811046969A CN 109308324 A CN109308324 A CN 109308324A
- Authority
- CN
- China
- Prior art keywords
- user
- drawing style
- hand drawing
- picture
- active user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 5
- 238000011049 filling Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于手绘风格推荐算法的图像检索方法及系统,其中,该方法包括:从现有图片数据库中提取待检索图片及获取用户的手绘草图,对所述待检索图片及所述手绘草图进行提取处理,获得所述待检索图片及所述手绘草图的图像特征;记录当前用户手绘草图的绘画风格,更新至历史用户手绘风格数据库中,对其进行计算、预测处理,获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片;获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格的用户检索行为记录数据,进行计算判断处理,获得与当前用户手绘草图最为相似的图片推荐给当前用户。实施本发明实施例,能够通过挖掘手绘风格的深层语义信息提高检索的准确率,加快检索效率,减少检索时间。
Description
技术领域
本发明涉及计算机视觉及图像检索技术领域,尤其涉及一种基于手绘 风格推荐的图像检索方法及系统。
背景技术
伴随着互联网与移动终端的飞速发展,图片作为信息的主要载体之一 早已融入到人们生活的方方面面。数据量的激增,使人们不得不面临这样一 个问题:如何快速有效地从庞大的图片集中筛选出自己想要的内容。目前, 对于解决图像检索问题,绝大多数检索系统采用的是基于图像内容检索的 方法,即通过查询每张图片事先标注好的“关键字”来进行“关键字”的检 索,当然这里的“关键字”并不是文字,而是图像的颜色、纹理、形状、空 间位置关系等特征。
但CBIR并不能完全满足用户的需求。例如,用户所想要检索的图片并 没有数字格式,即图像存于大脑,无法使用CBIR以图搜图,用户也无法通 过语言来描述该图,或描述过程过于复杂,或描述方式不够准确。鉴于上述 场景,行之有效的方法就是让用户将脑海里的图片,以草图的形式绘制下来, 然后通过草图来检索图片:提取图片库的特征,与检索请求中草图的特征进 行相关度计算,系统返回相关度排序后值最大的前k张图片,记作top-k, 该top-k序列的图片子集即是检索结果,这就是基于草图的图像检索的核心 思路。
由于使用草图检索图片的步骤属于“跨域”的过程,即如何将草图与图 片联系在一起。现有的SBIR系统多采用提取图片边缘的方式来连接草图域 与图片域:使用图像边缘提取算子,提取图片边缘,然后对边缘提取特征, 与草图的特征进行比较。
目前手绘草图检索系统面临的难题有三方面:
1)特征表示:将手绘的线条图与图片库中的图片以一种计算机 能够识别的数据形式进行表示。绝大多数的手绘图特征表示形式一般 分为三个类别,分别是全局特征描述符、局部特征描述符、混合特征 描述符。
a)全局特征描述符:从全局出发,着重描述图片整体内容, 例如图片的颜色、空间结构信息。它拥有较局部特征描述符特征 空间更小、匹配速度更快的优点,但由于是“宏观”的描述,所 以缺失图像细节,匹配准确率低。
b)局部特征描述符:与全局特征描述符的描述方式相反,它 是从单张图片的某一特定区域提取特征,着重于图像细节的刻画, 因此较全局特征描述符,其匹配准确率更高,这也是近年来SBIR 系统最为推崇的特征描述方式。
c)混合特征描述符:一种从提取图像显著区域的轮廓入手, 将问题域转换到三维模型检索中,使用草图轮廓检索图像轮廓。
2)特征匹配:根据特征表示方法,定义合理的度量来匹配手绘草 图与图片的特征,从而计算两者的相似度。通过对相似度数据顺序排 序,手绘草图检索系统返回与手绘草图最相似的图片。
3)建立索引结构:由于现实生活中图片库的数量级是百万级别, 当进行手绘草图检索的时候,检索系统会依次比较图片库中所有图片 与手绘草图的相似度,返回最相似的检索结果。若希望系统能够在极 短时间内返回检索结果,则需要建立一种有效的检索结构,优化手绘 草图-图像的匹配顺序,加速系统的检索速度,使得系统检索又快又 准。
目前较为成熟的手绘检索系统是于2010年被提出的基于BoF框架、使 用改进HOG特征描述算法SHOG的手绘检索系统。该系统分为两个部分: 手绘草图特征提取部分,以及特征匹配部分,分别对应着特征描述算法 SHOG与BoF框架。
1)特征描述算法SHOG
不同于HOG的全局特性,SHOG是局部特征描述子,在提取出图像的 边缘(黑色粗线条表示)后,对图像进行随机采样,对每个采样点(浅色圆 圈)进行如下操作:以该点为中心,设置网格,统计每个包含边缘的网格的 HOG特征,后得到所有采样点的HOG特征集合,称之为SHOG特征。
2)BoF框架
本框架将每张图像(手绘草图与待检索图片)的特征空间中的每个特征 向量视作一个视觉词汇,而整个特征空间则是由多个视觉词汇构成的视觉 文档,所有图像视觉词汇集合称之为视觉词袋。在进行草图-图片匹配的时 候,BoF框架将两者特征空间的比较转化成了两者视觉文档的比较,这是一 种类似特征空间降维的过程,加快了特征匹配速度,使本系统能够在百万级 别的图库中进行快速查询。其流程描述如下:
a)设置视觉词袋的数目;
b)以上步设定的视觉词袋的数目作为类心数目,对所有图片 的特征向量集合进行聚类操作,聚类操作得到的类心集合视为该 图片集合的视觉词袋;
c)统计每张图像(手绘草图与待检索图片)拥有的视觉词汇 数目,即计算每张图像的特征向量与视觉词袋中的视觉词汇i的 特征向量的欧式距离,若小于设定阈值,则视该图像拥有视觉词 汇i,统计结果记为本图像的视觉文档特征;
d)使用TF-IDF算法对视觉文档特征集合进行加权处理;
e)计算手绘草图的视觉文档特征与图片集的视觉文档特征 集合的欧式距离,对距离结果进行倒排索引,返回top-k作为检索 结果。
但前述的手绘检索系统拥有两方面的缺陷:
1)未建立索引结构或是进行类似的优化处理
现有技术一使用了BoF框架加快了特征匹配速度,使系统能够在百万 数量级别的图片数据库中进行手绘草图检索操作。但面对亿万数量级别的 图片数据库,未建立合理的索引结构,系统的检索速度将大幅度地减缓,并 且,若按照现有技术一的特征匹配步骤,需要将图片数据库中所有图片特征 均载入到系统内存中,后对每例特征计算欧式距离得到相似度,上述步骤将 会加剧系统的运算消耗。因此,将现有技术一应用到亿万数量级别图片数据 的场景中是不合理的。
2)检索准确率较低
直观上讲,导致系统检索准确率较低的主要原因是图像(手绘草图与待 检索图片)特征描述符未能提取到完整、准确表达该图像内容的图像特征, 现有的提高系统检索准确率的一般方法即是修改、优化某一特定的特征描 述符。深层次讲,由于人类手绘风格的多样性,一位没有接受过绘画训练的 人所绘制的草图是粗糙、抽象、单一的,导致这张手绘草图含有极少的图像 特征信息,图像特征的缺失将会极大地影响特征匹配效果,进一步影响系统 检索的准确率。因此,如果能够挖掘人类手绘的风格信息,减少因为主观绘 画风格所带来的歧义性,将会从源头上提高系统的检索准确率。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于手绘 风格推荐算法的图像检索方法及系统,通过挖掘手绘风格的深层语义信息 提高了系统的检索准确率。使用图像特征度量人类的绘画风格、习惯,通过 挖掘绘画风格的深层语义信息,为使用本手绘检索系统的当前用户推荐与 之手绘风格近似的历史用户,检索历史用户的历史检索记录,若特征匹配成 功,则返回该条历史检索记录;建立了历史用户检索信息数据库,通过减小 特征匹配数据量的方式提高了系统检索效率。本系统在每个用户完成检索 步后记录用户的检索历史,构成历史用户检索图片数据集,以历史用户检索 信息数据库的形式储存于服务器,其图片数量级是远小于待检索图片数量 级的,当对历史用户检索图片数据集进行检索的时候,减少了特征匹配的数 据量,加快了系统检索的效率。
为了解决上述问题,本发明提出了一种基于手绘风格推荐的图像检索 方法,所述方法包括:
从现有图片数据库中提取待检索图片及获取用户的手绘草图,对所述 待检索图片及所述手绘草图进行提取处理,获得所述待检索图片及所述手 绘草图的图像特征;
记录当前用户手绘草图的绘画风格,更新至历史用户手绘风格数据库 中,对其进行计算、预测处理,获得与当前用户的手绘风格最相似的前10 位历史用户手绘风格图片;
获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图 片的用户检索行为记录数据,进行计算判断处理,获得与当前用户手绘草图 最为相似的图片推荐给当前用户
优选地,所述对所述待检索图片及所述手绘草图进行提取处理的具体 步骤包括:
获取所述待检索图片及所述手绘草图进行灰度化处理,获得灰度检索 图;
对所述灰度检索图进行高斯滤波处理,获得滤波结果;
将所述滤波结果进行边缘检测处理后提取出边缘图像;
将所述检索图片中所有层次中所述提取的边缘图像进行融合,取边缘 属性为1的点集进行随机采样,提取出其特征进行整合,获得所述检索图 片的图像特征集。
优选地,所述取边缘属性为1的点集进行随机采样处理中设置随机采 样的数目为128,统计像素点的梯度方向数目为36,则所述提取出其特征 矩阵的大小为128*36,设定窗口大小为80*60像素,块滑动步长为20像 素。
优选地,所述获得与当前用户的手绘风格最相似的前10位历史用户 手绘风格图片的具体步骤包括:
对当前用户的手绘草图风格相似矩阵存储至历史用户手绘风格数据库 中,进行更新成用户手绘风格数据库;
对所述用户手绘风格数据库利用设置词袋大小为3500的BoF框架进 行计算相似度,为用户手绘风格相似矩阵赋值:
其中,Ui,j表示第i位用户与第j位用户间的手绘风格相似度矩阵,Ri,m表示第i位用户绘制草图所匹配第m张图片的草图特征,若第i位用户与第 j位用户分别绘制了m、n张草图,那么Ui,j的矩阵大小应为m*n。
对所述用户手绘风格相似矩阵进行分解,预测填补所述用户手绘风格 相似矩阵缺失值,获取分解结果存储至历史用户手绘风格数据库中,进行 再更新处理;
根据预测填补缺失值后的用户手绘风格相似矩阵,将历史用户手绘风 格与当前用户手绘风格的相似度按由大到小排序,获得与当前用户的手绘 风格最相似的前10位历史用户手绘风格图片。
优选地,所述获得当前用户手绘草图最为相似的图片作为当前用户手 绘风格推荐给用户的具体步骤包括:
获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格 图片的用户历史检索图片及当前用户手绘草图的图像特征,利用BoF框架 进行计算相似度;获得所述与当前用户的手绘风格最相似的前10位历史 用户手绘风格图片的用户历史检索图片Top-50的图片作为潜在检索结果;
对潜在检索结果进行判断处理,当所述潜在结果的最大相似度高于设 定的阈值0.3时,判断为所述潜在结果符合当前用户的检索图片预期,作 为最终检索结果;当所述潜在结果的最大相似度低于设定的阈值0.3时, 判断为所述潜在结果并不符合当前用户的检索图片预期,则对现有图片数 据库重新进行检索、计算相似度,按照由大到小进行排序,获得现有图片 与当前用户手绘风格相似度Top-50的图片作为最终检索结果;
获取最终检索结果推荐给当前用户,并记录当前用户的行为信息,更 新检索历史数据库,为下一位用户提供手绘风格推荐的相关信息。
相应地,本发明实施例还提供一种基于手绘风格推荐的图像检索系 统,该系统包括:
图像预处理模块,用于提取现有图片数据库的图像特征及用户的手绘 草图的图像特征;
手绘风格预测模块,用于记录用户手绘草图的绘画风格,更新至历史 用户手绘风格数据库中,对其进行计算、预测处理,根据当前用户手绘风 格相似度进行提取与当前用户的手绘风格最相似的前10位历史用户手绘 风格图片;
图像检索模块,用于获取所述与当前用户的手绘风格最相似的前10 位历史用户手绘风格图片的用户检索行为记录数据,进行计算判断处理, 获得与当前用户手绘草图最为相似的图片推荐给当前用户。
优选地,手绘风格推荐模块还包括:
用户记录更新单元,用于对当前用户的手绘草图风格存储至历史用户 手绘风格数据库中,进行更新处理;
预处理单元,用于对更新后的历史用户手绘草图的绘画风格进行计算 相似度,并对其相似矩阵进行预测填补处理;
风格推荐单元,用于根据预测填补缺失值后的用户手绘风格相似矩 阵,按由大到小排序出与当前用户的手绘风格最相似的前10位历史用户 手绘风格。
优选地,当所述风格推荐单元获得前10位历史用户手绘风格后,用 户记录更新单元则对其结果进行更新至为当前用户推荐Top-k的历史用户 集中。
优选地,图像检索模块还包括:
检索单元,用于根据被推荐Top-k的历史用户集中对应的历史检索图 片集进行检索处理;
判断单元,用于对潜在检索结果进行判断处理,当所述潜在结果的最 大相似度高于设定的阈值0.3时,判断为所述潜在结果符合当前用户的检 索图片预期,作为最终检索结果;当所述潜在结果的最大相似度低于设定 的阈值0.3时,判断为所述潜在结果并不符合当前用户的检索图片预期, 则对现有图片数据库重新进行检索、计算相似度,按照由大到小进行排 序,获得现有图片与当前用户手绘风格相似度Top-50的图片作为最终检索 结果;
手绘风格图片推送单元,用于将所述最终检索结果推荐给当前用户;
更新储存单元,用于记录当前用户的行为信息,更新检索历史数据 库。当用户根据检索结果进行挑选后,对其选择操作会作为当前用户的检 索历史存储到检索历史数据库中。
实施本发明实施例,能够通过挖掘手绘风格的深层语义信息提高检索 的准确率,加快检索效率,减少检索时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对 实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下 面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来 讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例的一种基于手绘风格推荐的图像检索方法的流程 示意图;
图2是本发明实施例中一种基于手绘风格推荐的图像检索系统的结构 组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进 行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例, 而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范 围。
图1是本发明实施例的一种基于手绘风格推荐的图像检索方法的流程 示意图,如图1所示,该方法包括:
S1,从现有图片数据库中提取待检索图片及获取用户的手绘草图,对所 述待检索图片及所述手绘草图进行提取处理,获得所述待检索图片及所述 手绘草图的图像特征;
S2,记录当前用户手绘草图的绘画风格,更新至历史用户手绘风格数据 库中,对其进行计算、预测处理,获得与当前用户的手绘风格最相似的前10 位历史用户手绘风格图片;
S3,获取与当前用户的手绘风格最相似的前10位历史用户手绘风格图 片的用户检索行为记录数据,进行计算判断处理,获得与当前用户手绘草图 最为相似的图片推荐给当前用户。
对S1作进一步说明:
S1中所述对所述待检索图片及所述手绘草图进行提取处理的具体步骤 包括:
S11,获取所述待检索图片及所述手绘草图进行灰度化处理,获得灰 度检索图;
S12,对所述灰度检索图进行高斯滤波处理,获得滤波结果;
S13,将所述滤波结果进行边缘检测处理后提取出边缘图像;
S14,将所述检索图片中所有层次中所述提取的边缘图像进行融合, 取边缘属性为1的点集进行随机采样,提取出其特征进行整合,获得所述 检索图片的图像特征集。
其中,S14中所述取边缘属性为1的点集进行随机采样处理中设置随 机采样的数目为128,统计像素点的梯度方向数目为36,则所述提取出其 特征矩阵的大小为128*36,设定窗口大小为80*60像素,块滑动步长为20 像素。
对S2作进一步说明:
S2中所述获得与当前用户的手绘风格最相似的前10位历史用户手绘 风格图片的具体步骤包括:
S21,对当前用户的手绘草图风格相似矩阵存储至历史用户手绘风格 数据库中,进行更新成用户手绘风格数据库;
S22,对所述用户手绘风格数据库利用设置词袋大小为3500的BoF框 架进行计算相似度,为用户手绘风格相似矩阵赋值:
其中,Ui,j表示第i位用户与第j位用户间的手绘风格相似度矩阵,Ri,m表示第i位用户绘制草图所匹配第m张图片的草图特征,若第i位用户与第 j位用户分别绘制了m、n张草图,那么Ui,j的矩阵大小应为m*n。
S23,对所述用户手绘风格相似矩阵进行分解,预测填补所述用户手绘 风格相似矩阵缺失值,获取分解结果存储至历史用户手绘风格数据库中, 进行再更新处理;
S24,根据预测填补缺失值后的用户手绘风格相似矩阵,将历史用户 手绘风格与当前用户手绘风格的相似度按由大到小排序,获得与当前用户 的手绘风格最相似的前10位历史用户手绘风格。
对S3作进一步说明:
S3中所述获得当前用户手绘草图最为相似的图片作为当前用户手绘风 格推荐给用户的具体步骤包括:
S31,获取所述与当前用户的手绘风格最相似的前10位历史用户手绘 风格图片的用户历史检索图片及当前用户手绘草图的图像特征,利用BoF 框架进行计算相似度;获得所述与当前用户的手绘风格最相似的前10位 历史用户手绘风格图片的用户历史检索图片Top-50的图片作为潜在检索结 果;
S32,对潜在检索结果进行判断处理,当所述潜在结果的最大相似度 高于设定的阈值0.3时,判断为所述潜在结果符合当前用户的检索图片预 期,作为最终检索结果;当所述潜在结果的最大相似度低于设定的阈值 0.3时,判断为所述潜在结果并不符合当前用户的检索图片预期,则对现 有图片数据库重新进行检索、计算相似度,按照由大到小进行排序,获得 现有图片与当前用户手绘风格相似度Top-50的图片作为最终检索结果;
S33,获取最终检索结果推荐给当前用户,并记录当前用户的行为信 息,更新检索历史数据库,为下一位用户提供手绘风格推荐的相关信息。
相应地,本发明实施例还提供一种基于手绘风格推荐的图像检索系统, 如图2所示,该系统包括:
图像预处理模块,用于提取现有图片数据库的图像特征及用户的手绘 草图的图像特征;
手绘风格预测模块,用于记录用户手绘草图的绘画风格,更新至历史 用户手绘风格数据库中,对其进行计算、预测处理,根据当前用户手绘风 格相似度进行提取与当前用户的手绘风格最相似的前10位历史用户手绘 风格图片的历史用户手绘风格图片;
图像检索模块,用于获取所述与当前用户的手绘风格最相似的前10 位历史用户手绘风格图片的用户检索行为记录数据,进行计算判断处理, 获得与当前用户手绘草图最为相似的图片推荐给当前用户。
进一步地,手绘风格推荐模块还包括:
用户记录更新单元,用于对当前用户的手绘草图风格存储至历史用户 手绘风格数据库中,进行更新处理;
预处理单元,用于对更新后的历史用户手绘草图的绘画风格进行计算 相似度,并对其相似矩阵进行预测填补处理;
风格推荐单元,用于根据预测填补缺失值后的用户手绘风格相似矩 阵,按由大到小排序出与当前用户的手绘风格最相似的前10位历史用户 手绘风格图片。
进一步地,当所述风格推荐单元获得前10位历史用户手绘风格图片 后,用户记录更新单元则对其结果进行更新至为当前用户推荐与当前用户 的手绘风格最相似的前10位历史用户手绘风格图片的历史用户集中。
进一步地,图像检索模块还包括:
检索单元,用于根据被推荐与当前用户的手绘风格最相似的前10位 历史用户手绘风格图片的历史用户集中对应的历史检索图片集进行检索处 理;
判断单元,用于对潜在检索结果进行判断处理,当所述潜在结果的最 大相似度高于设定的阈值0.3时,判断为所述潜在结果符合当前用户的检 索图片预期,作为最终检索结果;当所述潜在结果的最大相似度低于设定 的阈值0.3时,判断为所述潜在结果并不符合当前用户的检索图片预期, 则对现有图片数据库重新进行检索、计算相似度,按照由大到小进行排 序,获得现有图片与当前用户手绘风格相似度Top-50的图片作为最终检索 结果;
手绘风格图片推送单元,用于将所述最终检索结果推荐给当前用户;
更新储存单元,用于记录当前用户的行为信息,更新检索历史数据 库。当用户根据检索结果进行挑选后,对其选择操作会作为当前用户的检 索历史存储到检索历史数据库中。
实施本发明实施例,能够通过挖掘手绘风格的深层语义信息提高检索 的准确率,加快检索效率,减少检索时间。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分 步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算 机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘 等。
另外,以上对本发明实施例所提供的一种基于手绘风格推荐的图像检 索方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及 实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法 及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想, 在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不 应理解为对本发明的限制。
Claims (8)
1.一种基于手绘风格推荐的图像检索方法,其特征之一在于,所述方法包括:
从现有图片数据库中提取待检索图片及获取用户的手绘草图,对所述待检索图片及所述手绘草图进行提取处理,获得所述待检索图片及所述手绘草图的图像特征;
记录当前用户手绘草图的绘画风格,更新至历史用户手绘风格数据库中,对其进行计算、预测处理,获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片;
获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户检索行为记录数据,进行计算判断处理,获得与当前用户手绘草图最为相似的图片推荐给当前用户。
2.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法,其特征之一在于,所述对所述待检索图片及所述手绘草图进行提取处理的具体步骤包括:
获取所述待检索图片及所述手绘草图进行灰度化处理,获得灰度检索图;
对所述灰度检索图进行高斯滤波处理,获得滤波结果;
将所述滤波结果进行边缘检测处理后提取出边缘图像;
将所述检索图片中所有层次中所述提取的边缘图像进行融合,取边缘属性为1的点集进行随机采样,提取出其特征进行整合,获得所述检索图片的图像特征集。
3.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法,其特征之一在于,所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的具体步骤包括:
对当前用户的手绘草图风格相似矩阵存储至历史用户手绘风格数据库中,进行更新成用户手绘风格数据库;
对所述用户手绘风格数据库利用设置词袋大小为3500的BoF框架进行计算相似度,为用户手绘风格相似矩阵赋值:
Ui,j=[similarity(Ri,m,Rj,n)]m*n
其中,Ui,j表示第i位用户与第j位用户间的手绘风格相似度矩阵,Ri,m表示第i位用户绘制草图所匹配第m张图片的草图特征,若第i位用户与第j位用户分别绘制了m、n张草图,那么Ui,j的矩阵大小应为m*n。
对所述用户手绘风格相似矩阵进行分解,预测填补所述用户手绘风格相似矩阵缺失值,获取分解结果存储至历史用户手绘风格数据库中,进行再更新处理;
根据预测填补缺失值后的用户手绘风格相似矩阵,将历史用户手绘风格与当前用户手绘风格的相似度按由大到小排序,获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片。
4.根据权利要求1所述的一种基于手绘风格推荐的图像检索方法,其特征之一在于,所述获得当前用户手绘草图最为相似的图片作为当前用户手绘风格图片推荐给用户的具体步骤包括:
获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户历史检索图片及当前用户手绘草图的图像特征,利用BoF框架进行计算相似度;获得所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户历史检索图片Top-50的图片作为潜在检索结果;
对潜在检索结果进行判断处理,当所述潜在结果的最大相似度高于设定的阈值0.3时,判断为所述潜在结果符合当前用户的检索图片预期,作为最终检索结果;当所述潜在结果的最大相似度低于设定的阈值0.3时,判断为所述潜在结果并不符合当前用户的检索图片预期,则对现有图片数据库重新进行检索、计算相似度,按照由大到小进行排序,获得现有图片与当前用户手绘风格相似度Top-50的图片作为最终检索结果;
获取最终检索结果推荐给当前用户,并记录当前用户的行为信息,更新检索历史数据库,为下一位用户提供手绘风格推荐的相关信息。
5.一种基于手绘风格推荐的图像检索系统,该系统包括:
图像预处理模块,用于提取现有图片数据库的图像特征及用户的手绘草图的图像特征;
手绘风格预测模块,用于记录用户手绘草图的绘画风格,更新至历史用户手绘风格数据库中,对其进行计算、预测处理,根据当前用户手绘风格相似度进行提取与当前用户的手绘风格最相似的前10位历史用户手绘风格图片;
图像检索模块,用于获取所述与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的用户检索行为记录数据,进行计算判断处理,获得与当前用户手绘草图最为相似的图片推荐给当前用户。
6.根据权利要求5所述的一种基于手绘风格推荐的图像检索系统,其特征之一在于,手绘风格推荐模块还包括:
用户记录更新单元,用于对当前用户的手绘草图风格存储至历史用户手绘风格数据库中,进行更新处理;
预处理单元,用于对更新后的历史用户手绘草图的绘画风格进行计算相似度,并对其相似矩阵进行预测填补处理;
风格推荐单元,用于根据预测填补缺失值后的用户手绘风格相似矩阵,按由大到小排序出与当前用户的手绘风格最相似的前10位历史用户手绘风格图片。
7.根据权利要求6所述的一种基于手绘风格推荐的图像检索系统,其特征之一在于,当所述风格推荐单元获得与当前用户的手绘风格最相似的前10位历史用户手绘风格图片后,用户记录更新单元则对其结果进行更新至为当前用户推荐与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的历史用户集中。
8.根据权利要求5所述的一种基于手绘风格推荐的图像检索系统,其特征之一在于,图像检索模块还包括:
检索单元,用于根据被推荐与当前用户的手绘风格最相似的前10位历史用户手绘风格图片的历史用户集中对应的历史检索图片集进行检索处理;
判断单元,用于对潜在检索结果进行判断处理,当所述潜在结果的最大相似度高于设定的阈值0.3时,判断为所述潜在结果符合当前用户的检索图片预期,作为最终检索结果;当所述潜在结果的最大相似度低于设定的阈值0.3时,判断为所述潜在结果并不符合当前用户的检索图片预期,则对现有图片数据库重新进行检索、计算相似度,按照由大到小进行排序,获得现有图片与当前用户手绘风格相似度Top-50的图片作为最终检索结果;
手绘风格图片推送单元,用于将所述最终检索结果推荐给当前用户;
更新储存单元,用于记录当前用户的行为信息,更新检索历史数据库。当用户根据检索结果进行挑选后,对其选择操作会作为当前用户的检索历史存储到检索历史数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811046969.7A CN109308324A (zh) | 2018-09-08 | 2018-09-08 | 一种基于手绘风格推荐的图像检索方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811046969.7A CN109308324A (zh) | 2018-09-08 | 2018-09-08 | 一种基于手绘风格推荐的图像检索方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109308324A true CN109308324A (zh) | 2019-02-05 |
Family
ID=65225018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811046969.7A Pending CN109308324A (zh) | 2018-09-08 | 2018-09-08 | 一种基于手绘风格推荐的图像检索方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109308324A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110109602A (zh) * | 2019-04-26 | 2019-08-09 | 广州美术学院 | 一种绘制图案的推荐方法及装置 |
CN111782850A (zh) * | 2019-11-27 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 一种基于手绘图的物品搜索方法和装置 |
CN112507153A (zh) * | 2021-01-29 | 2021-03-16 | 上海众旦信息科技有限公司 | 用于图像检索的方法、计算设备和计算机存储介质 |
CN113010741A (zh) * | 2021-03-30 | 2021-06-22 | 南京大学 | 基于草图的移动应用模型查询方法 |
CN113569933A (zh) * | 2021-07-19 | 2021-10-29 | 广州华多网络科技有限公司 | 商标图样匹配方法及其相应的装置、设备、介质 |
CN116127111A (zh) * | 2023-01-03 | 2023-05-16 | 百度在线网络技术(北京)有限公司 | 图片搜索方法、装置、电子设备和计算机可读存储介质 |
WO2023158920A1 (en) * | 2022-02-18 | 2023-08-24 | Mars, Incorporated | Systems and methods for a pet image search based on a pet image created by a user |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150169998A1 (en) * | 2013-03-15 | 2015-06-18 | Google Inc. | Object detection in images based on affinity determinations |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
CN105654423A (zh) * | 2015-12-28 | 2016-06-08 | 西安电子科技大学 | 基于区域的遥感图像配准方法 |
CN106354735A (zh) * | 2015-07-22 | 2017-01-25 | 杭州海康威视数字技术股份有限公司 | 一种图像中目标的检索方法和装置 |
US20170132493A1 (en) * | 2014-06-30 | 2017-05-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
-
2018
- 2018-09-08 CN CN201811046969.7A patent/CN109308324A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150169998A1 (en) * | 2013-03-15 | 2015-06-18 | Google Inc. | Object detection in images based on affinity determinations |
US20170132493A1 (en) * | 2014-06-30 | 2017-05-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
CN104850633A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于手绘草图部件分割的三维模型检索系统及方法 |
CN106354735A (zh) * | 2015-07-22 | 2017-01-25 | 杭州海康威视数字技术股份有限公司 | 一种图像中目标的检索方法和装置 |
CN105654423A (zh) * | 2015-12-28 | 2016-06-08 | 西安电子科技大学 | 基于区域的遥感图像配准方法 |
Non-Patent Citations (2)
Title |
---|
WANG FEI等: "A Data-Driven Approach for Sketch-Based 3D Shape Retrieval via Similar Drawing‐Style Recommendation", 《PACIFIC GRAPHICS 2017》 * |
武秋阳: "基于手绘草图的图像检索技术与算法实现", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110109602A (zh) * | 2019-04-26 | 2019-08-09 | 广州美术学院 | 一种绘制图案的推荐方法及装置 |
CN111782850A (zh) * | 2019-11-27 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 一种基于手绘图的物品搜索方法和装置 |
CN112507153A (zh) * | 2021-01-29 | 2021-03-16 | 上海众旦信息科技有限公司 | 用于图像检索的方法、计算设备和计算机存储介质 |
CN113010741A (zh) * | 2021-03-30 | 2021-06-22 | 南京大学 | 基于草图的移动应用模型查询方法 |
CN113010741B (zh) * | 2021-03-30 | 2023-09-05 | 南京大学 | 基于草图的移动应用模型查询方法 |
CN113569933A (zh) * | 2021-07-19 | 2021-10-29 | 广州华多网络科技有限公司 | 商标图样匹配方法及其相应的装置、设备、介质 |
WO2023158920A1 (en) * | 2022-02-18 | 2023-08-24 | Mars, Incorporated | Systems and methods for a pet image search based on a pet image created by a user |
CN116127111A (zh) * | 2023-01-03 | 2023-05-16 | 百度在线网络技术(北京)有限公司 | 图片搜索方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109308324A (zh) | 一种基于手绘风格推荐的图像检索方法及系统 | |
CN104850633B (zh) | 一种基于手绘草图部件分割的三维模型检索系统及方法 | |
CN102549603B (zh) | 基于相关性的图像选择 | |
US7809185B2 (en) | Extracting dominant colors from images using classification techniques | |
KR101388638B1 (ko) | 이미지에 주석 달기 | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
CN103324677B (zh) | 一种可分级的快速图像gps位置估计方法 | |
CN105843850B (zh) | 搜索优化方法和装置 | |
JP5212610B2 (ja) | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム | |
CN108228915A (zh) | 一种基于深度学习的视频检索方法 | |
CN104881458B (zh) | 一种网页主题的标注方法和装置 | |
CN105426399A (zh) | 一种基于眼动的提取图像兴趣区域的交互式图像检索方法 | |
CN104142995B (zh) | 基于视觉属性的社会事件识别方法 | |
CN107291825A (zh) | 一种视频中同款商品的检索方法和系统 | |
CN101620596A (zh) | 一种面向查询的多文档自动摘要方法 | |
CN102024056A (zh) | 利用计算机的基于多媒体分析的新闻人物检索方法 | |
CN101369281A (zh) | 基于视频摘要元数据的检索方法 | |
CN111191133B (zh) | 业务搜索处理方法、装置及设备 | |
CN102542066B (zh) | 视频聚类方法、排序方法和视频搜索方法以及相应装置 | |
CN113722478B (zh) | 多维度特征融合相似事件计算方法、系统及电子设备 | |
CN112749330B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN113343012B (zh) | 一种新闻配图方法、装置、设备及存储介质 | |
CN111506760B (zh) | 一种基于困难感知的深度集成度量图像检索方法 | |
CN113204636B (zh) | 基于知识图谱的用户动态个性化画像方法 | |
CN116975615A (zh) | 基于视频多模态信息的任务预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190205 |
|
RJ01 | Rejection of invention patent application after publication |