CN107291706B - 一种图片检索方法及装置 - Google Patents
一种图片检索方法及装置 Download PDFInfo
- Publication number
- CN107291706B CN107291706B CN201610190580.4A CN201610190580A CN107291706B CN 107291706 B CN107291706 B CN 107291706B CN 201610190580 A CN201610190580 A CN 201610190580A CN 107291706 B CN107291706 B CN 107291706B
- Authority
- CN
- China
- Prior art keywords
- picture
- region
- characteristic
- sub
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种图片检索方法及装置,该方法包括:接收用户发送的查询图片,根据查询图片中包含检索对象的对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片,判断初始判断图片的图片检索精度是否大于第一预设图片检索精度,若为是,根据初始判断图片,生成图片检索结果,若为否,则重新获得查询图片的对象区域M2,并获得对象区域M2的独特性子区域,根据对象区域M2和独特性子区域,从图片数据库中选择图片,将初始判断图片更新为所选择的图片,并继续执行判断初始判断图片的图片检索精度是否大于第一预设图片检索精度的步骤。应用本发明实施例提供的技术方案,能够获得包含同一检索对象的图片。
Description
技术领域
本发明涉及模式识别领域,特别涉及一种图片检索方法及装置。
背景技术
目前,图片检索一般是由用户提供一张图片给检索服务器,检索服务器提取该张图片的整体特征,根据提取的整体特征在图片数据库中进行比对,查询用户需要的图片。然而,实际应用中,用户需要的图片为包含检索对象的图片,而该检索对象仅占据用户提供的图片的一部分区域,如:一个人或一辆车等。因此,用户提供的图片中不包含检索对象的区域会给图片检索带来干扰,如:用户想要获得同一检索对象在不同场景下的图片(如同一辆车在不同路口出现的图片或同一个人在商场不同区域出现的图片),检索服务器在获得用户提供的图片后,提取了该张图片的整体特征,这样在图片数据库中通过比对查询到的图片均是与用户提供的图片相似的图片(如同一辆车在同一路口出现的图片或同一个人在商场同一区域出现的图片),不能满足用户期望找到包含同一检索对象的图片的需求。
发明内容
本发明实施例的目的在于提供一种图片检索方法及装置,以获得包含同一检索对象的图片,满足用户的期望。
为达到上述目的,本发明实施例公开了一种图片检索方法,所述方法包括:
接收用户发送的查询图片;
获得所述查询图片中包含检索对象的对象区域M1;
根据所述对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度;
若为否,则重新获得所述查询图片的对象区域M2,并获得所述对象区域M2的独特性子区域,其中,所述对象区域M2与已获得的对象区域不同,所述独特性子区域为所述对象区域M2内具有显著性特征的区域;
根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,将所述初始判断图片更新为所选择的图片,并执行所述判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度的步骤;
若为是,根据所述初始判断图片,生成图片检索结果。
在本发明的一种具体实现方式中,所述根据所述对象区域M1,从图片数据库中获得图片,包括:
获得所述对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,所述特征T2为:所述图片数据库中的每一图片中包含对象的区域的特征;
根据所述特征T1和所述特征T2,计算所述图片数据库中的每一图片与所述查询图片之间的相似度S1;
根据所述相似度S1,从所述图片数据库中获得图片。
在本发明的一种具体实现方式中,所述根据所述相似度S1,从所述图片数据库中获得图片,包括:
从所述图片数据库中,获得所述相似度S1大于第一预设阈值的图片;或
按照所述相似度S1从大到小的顺序,对所述图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
在本发明的一种具体实现方式中,所述获得所述对象区域M2的独特性子区域,包括:
根据所述对象区域M2的内容确定所述对象区域M2的分类;
根据所述分类从预设的显著性目标库中选择显著性目标子库,其中,所述预设的显著性目标库按照分类包含一个或多个显著性目标子库,所述显著性目标子库中的每一图片均具有显著性特征;
将所述对象区域M2和对象区域M3划分为大小相等的子区域,其中,所述对象区域M3为所述显著性目标子库中每一图片中包含对象的区域;
获得所述对象区域M2的每一子区域的特征T3和所述对象区域M3的每一子区域的特征T4;
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数;
根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域。
在本发明的一种具体实现方式中,所述根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数,包括:
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域与所述对象区域M3的每一子区域的差异性系数;
根据所述差异性系数,获得所述对象区域M2的每一子区域的显著性系数。
在本发明的一种具体实现方式中,所述根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域,包括:
从所述对象区域M2的子区域中,确定所述显著性系数大于第二预设阈值的子区域为独特性子区域;或
按照所述显著性系数从大到小的顺序,对所述对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
在本发明的一种具体实现方式中,所述根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,包括:
获得所述对象区域M2的特征T5和所述图片数据库中每一图片的特征T6,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
根据所述特征T5和所述特征T6,从所述图片数据库中获得第三预设数量张图片;
获得所述独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8,其中,所述特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,所述包含对象的区域M3a为根据所述独特性子区域确定的;
根据所述特征T7和所述特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片。
在本发明的一种具体实现方式中,所述根据所述对象区域M2和所述独特性子区域,从图片数据库中选择图片,将所述初始判断图片更新为所选择的图片之后,还包括:
判断所述初始判断图片的图片检索精度是否大于第二预设图片检索精度;
若为否,按照预设的分类条件,将所获得的图片分为正样本和负样本;
获得所述正样本中每一图片的对象区域M4和所述负样本中每一图片的对象区域M5,并获得所述对象区域M4的特征T9和所述对象区域M5的特征T10;
根据所述特征T9和特征T6,计算所述图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据所述特征T10和所述特征T6,计算所述图片数据库中每一图片与所述负样本中每一图片之间的相似度S5,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
根据所述相似度S4和所述相似度S5,计算所述图片数据库中每一图片的最终相似度S6;
根据所述最终相似度S6,从所述图片数据库中确定图片,将所述初始判断图片更新为所确定的图片,并继续执行所述判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度的步骤。
为达到上述目的,本发明实施例还公开了一种图片检索装置,所述装置包括:
查询图片接收模块,用于接收用户发送的查询图片;
第一区域获得模块,用于获得所述查询图片中包含检索对象的对象区域M1;
图片获得模块,用于根据所述对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
第一精度判断模块,用于判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度;
第二区域获得模块,用于在所述第一精度判断模块的判断结果为否的情况下,重新获得所述查询图片的对象区域M2,并获得所述对象区域M2的独特性子区域,其中,所述对象区域M2与已获得的对象区域不同,所述独特性子区域为所述对象区域M2内具有显著性特征的区域;
图片选择模块,用于根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,将所述初始判断图片更新为所选择的图片,并触发所述第一精度判断模块;
检索结果生成模块,用于在所述第一精度判断模块的判断结果为是的情况下,根据所述初始判断图片,生成图片检索结果。
在本发明的一种具体实现方式中,所述图片获得模块,包括:
第一特征获得子模块,用于获得所述对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,所述特征T2为:所述图片数据库中的每一图片中包含对象的区域的特征;
相似度计算子模块,用于根据所述特征T1和所述特征T2,计算所述图片数据库中的每一图片与所述查询图片之间的相似度S1;
第一图片获得子模块,用于根据所述相似度S1,从所述图片数据库中获得图片。
在本发明的一种具体实现方式中,所述图片获得子模块,
具体用于从所述图片数据库中,获得所述相似度S1大于第一预设阈值的图片;或
具体用于按照所述相似度S1从大到小的顺序,对所述图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
在本发明的一种具体实现方式中,所述第二区域获得模块,包括:
区域获得子模块,用于重新获得所述查询图片的对象区域M2;
分类确定子模块,用于根据所述对象区域M2的内容确定所述对象区域M2的分类;
子库选择子模块,用于根据所述分类从预设的显著性目标库中选择显著性目标子库,其中,所述预设的显著性目标库按照分类包含一个或多个显著性目标子库,所述显著性目标子库中的每一图片均具有显著性特征;
子区域划分子模块,用于将所述对象区域M2和对象区域M3划分为大小相等的子区域,其中,所述对象区域M3为所述显著性目标子库中每一图片中包含对象的区域;
第二特征获得子模块,用于获得所述对象区域M2的每一子区域的特征T3和所述对象区域M3的每一子区域的特征T4;
系数计算子模块,用于根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数;
子区域确定子模块,用于根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域。
在本发明的一种具体实现方式中,所述系数计算子模块,具体用于:
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域与所述对象区域M3的每一子区域的差异性系数;
根据所述差异性系数,获得所述对象区域M2的每一子区域的显著性系数。
在本发明的一种具体实现方式中,所述子区域确定子模块,
具体用于从所述对象区域M2的子区域中,确定所述显著性系数大于第二预设阈值的子区域为独特性子区域;或
具体用于按照所述显著性系数从大到小的顺序,对所述对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
在本发明的一种具体实现方式中,所述图片选择模块,包括:
第三特征获得子模块,用于获得所述对象区域M2的特征T5和所述图片数据库中每一图片的特征T6,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
第二图片获得子模块,用于根据所述特征T5和所述特征T6,从所述图片数据库中获得第三预设数量张图片;
第四特征获得子模块,用于获得所述独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8,其中,所述特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,所述包含对象的区域M3a为根据所述独特性子区域确定的;
图片选择子模块,用于根据所述特征T7和所述特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片。
在本发明的一种具体实现方式中,所述装置还包括:
第二精度判断模块,用于判断所述初始判断图片的图片检索精度是否大于第二预设图片检索精度;
样本划分模块,用于在所述第二精度判断模块判断结果为否的情况下,按照预设的分类条件,将所获得的图片分为正样本和负样本;
第三区域获得模块,用于获得所述正样本中每一图片的对象区域M4和所述负样本中每一图片的对象区域M5,并获得所述对象区域M4的特征T9和所述对象区域M5的特征T10;
相似度计算模块,用于根据所述特征T9和特征T6,计算所述图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据所述特征T10和所述特征T6,计算所述图片数据库中每一图片与所述负样本中每一图片之间的相似度S5,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
最终相似度计算模块,用于根据所述相似度S4和所述相似度S5,计算所述图片数据库中每一图片的最终相似度S6;
图片确定模块,用于根据所述最终相似度S6,从所述图片数据库中确定图片,将所述初始判断图片更新为所确定的图片,并触发所述第一精度判断模块。
由上可见,本发明实施例中,在进行图片检索时,首先确定出查询图片中的对象区域M1,根据该对象区域M1,从图片数据库中获得图片,将获得的图片作为初始判断图片,在该初始判断图片的图片检索精度不大于第一预设图片检索精度的情况下,重新获得该查询图片的对象区域M2,并获得该对象区域M2的独特性子区域,并根据对象区域M2和独特性子区域,从图片数据库中选择图片,将初始判断图片更新为所选择的图片后,在该初始判断图片的图片检索精度大于第一预设图片检索精度的情况下,根据该初始判断图片,生成图片检索结果。该图片检索结果中包含的图片根据查询图片中包含对象的对象区域和独特性子区域获得的,而不是根据查询图片的整体特征获得的,因此,通过该方法能够获得包含同一检索对象的图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图片检索方法的流程示意图;
图2为本发明实施例提供的另一种图片检索方法的流程示意图;
图3为本发明实施例提供的一种图片检索装置的结构示意图;
图4为本发明实施例提供的另一种图片检索装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面通过具体实施例,对本发明进行详细说明。
参考图1,图1为本发明实施例提供的一种图片检索方法的流程示意图,该方法可以包括如下步骤:
S101:接收用户发送的查询图片;
S102:获得所述查询图片中包含检索对象的对象区域M1;
在检索服务器接收到用户提供的查询图片后,根据预设的区域划分算法,获得该查询图片中包含对象的对象区域(如:该图片中的包含一个人或一辆车的区域等)。另外,上述预设的区域划分算法可以为现有技术中的任一区域划分算法,本发明对此不进行限定。
需要说明的是,获得的对象区域中可以包含一个对象子区域,也可以包含多个对象子区域,例如,一张图片中,有一张桌子,桌子上有一个碗和一个杯子,若获得的对象区域为该张桌子的区域,那么该张桌子的区域的子区域可以为桌子上碗的区域和/或桌子上杯子的区域。
另外,在本发明的一种具体实现方式中,在检索服务器获得该查询图片中包含对象的对象区域后,将获得的对象区域作为参考对象区域,并将参考对象区域的信息发送给用户,用户接收到参考对象区域的信息后,可以调整参考对象区域的大小,若参考对象区域为多个,还可以从中至少选择一个参考对象区域为对象区域,并将调整和/或选择的对象区域反馈给检索服务器,以使检索服务器根据用户调整和/或选择的对象区域从图片数据库中获得图片,并生成图片检索结果。这样经过用户的反馈确定对象区域,更容易获得用户需要的图片。
S103:根据所述对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
这里,图片数据库,用于存储图片。
具体地,上述根据对象区域M1,从图片数据库中获得图片,可以包括:
S01、获得对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,特征T2为:图片数据库中的每一图片中包含对象的区域的特征;
需要说明的是,本发明实施例中提到的特征可以为:视觉特征,如:SIFT(Scale-invariant feature transform,尺度不变特征转换)、SURF、CN(color names,颜色名)、各种颜色空间(如RGB,HSV,LAB等)直方图、LBP(Local Binary Patterns、局部二值模式)纹理特征、BoW(bag of word,词袋模型)、FV(fisher vector,费舍尔向量)、VLAD(vector oflocally aggregated descriptors,局部特征聚合描述符)、Gabor滤波特征等。检索服务器所获得的对象区域M1的特征T1可以为上述视觉特征中的一种或多种。
一种具体实现方式中,特征T2可以为:上述图片数据库中的每一图片中所有包含对象的区域的特征,例如:一张图片中包含的对象有“一辆车”和“一个人”,此时采集该张图片的特征T2就有2个,分别为包含“一辆车”的特征和包含“一个人”的特征。这样获得的特征T2更为全面,避免了因为计算的误差,确定了错误的对象区域,并获得了错误的对象区域的特征,进而使得检索服务器不能获得满足用户需要的图片。
一种具体实现方式中,特征T2还可以为:上述图片数据库中的每一图片中包含对象的区域的特征,这里,包含的对象为与查询图片中的对象区域包含的检索对象为一类。例如:查询图片中的对象区域中包含的检索对象为“一辆汽车”,在上述图片数据库中的每一图片的特征T2可以为:上述图片数据库中的每一图片中包含“汽车”的区域的特征。这样获得与查询图片中的对象区域包含的检索对象为一类的对象的区域的特征T2,能够减少获取特征T2时间,进而快速获得用户需要的包含同一检索对象的图片。
一种具体实现方式中,特征T2还可以为:上述图片数据库中的每一图片中与查询图片中的对象区域的位置相同的区域的特征。例如:查询图片中的对象区域在该查询图片的右下角,则特征T2为:上述图片数据库中的每一图片中右下角区域的特征。因为,在一些情况下,事物必定会出现在图片的特定位置,如:在一条笔直马路上只有一个入口,那么如果一个辆车出现在该路上,那么该辆车必定会出现在路口处。因此,获得与查询图片中的对象区域的位置相同的区域的特征T2,能够减少获取特征T2时间,快速获得用户需要的包含同一检索对象的图片。
S02、根据特征T1和特征T2,计算图片数据库中的每一图片与查询图片之间的相似度S1;
S03、根据相似度S1,从图片数据库中获得图片。
具体地,上述根据相似度S1,从图片数据库中获得图片,可以包括:
从图片数据库中,获得相似度S1大于第一预设阈值的图片。
假设,第一预设阈值为0.65,上述图片数据库中,有4张图片a、b、c和d,通过它们的特征与查询图片A的特征,计算得到它们与查询图片A之间的相似度分别为[a,0.6]、[b,0.7]、[c,0.8]和[d,0.75],那么,检索服务器将从图片数据库中选择图片b、c和d。
具体地,上述根据相似度S1,从图片数据库中获得图片,还可以包括:
按照相似度S1从大到小的顺序,对图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
假设,第一预设数量张图片为2,上述图片数据库中,有4张图片a、b、c和d,通过它们的特征与查询图片A的特征,计算得到它们与查询图片A之间的相似度分别为[a,0.6]、[b,0.7]、[c,0.8]和[d,0.75],按照相似度S1从大到小的顺序为c>d>b>a,那么,检索服务器将从图片数据库中选择图片c和d。
这样获得与查询图片的对象区域相似度高的图片,而不是将所有图片均作为检索结果反馈给用户,进而所获得图片更容易满足用户的需求。
S104:判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度,若为是,执行步骤S105,若为否,执行步骤S106;
其中,上述第一预设图片检索精度可以为一个值,也可以为用户设定的其他条件。当第一预设图片检索精度为一个值时,该第一预设图片检索精度可以为恒定值,也可以不是,本发明对此不进行限定。
S105:根据所述初始判断图片,生成图片检索结果;
具体地,第一预设图片检索精度可以为恒定值,其用于与所有初始判断图片与查询图片之间的相似度的平均值进行比较。假设,第一预设图片检索精度为0.7,若从图片数据库中所获得的图片a、b和c(a、b和c均为初始判断图片)与查询图片A之间的相似度分别为[a,0.6]、[b,0.7]、[c,0.83],则本次初始判断图片的图片检索精度为(0.6+0.7+0.83)/3=0.71,由于0.71>0.7,则生成图片检索结果,该图片检索结果中包含所获得的图片a、b和c;若从图片数据库中所获得的图片a、b和c与查询图片A之间的相似度分别为[a,0.6]、[b,0.7]、[c,0.68],则该本次所获得的图片的图片检索精度为(0.6+0.7+0.68)/3=0.66,由于0.66<0.7,则不生成图片检索结果,继续执行步骤S106。
另外,上述第一次预设图片检索精度还可以为根据初始判断图片与查询图片之间的相似度的平均值更新的非恒定值,假设,若从图片数据库中所获得的图片a、b和c(a、b和c均为初始判断图片)与查询图片A之间的相似度分别为[a,0.6]、[b,0.7]、[c,0.83],则该本次初始判断图片的图片检索精度为(0.6+0.7+0.83)/3=0.71,同时确定第一预设图片检索精度为0.71,由于0.71>0.6,0.71>0.7,0.71<0.83,则生成的图片检索结果中包含所获得的图片c。
当然,上述第一次预设图片检索精度还可以为其他值,本发明对此不进行限定。
在本发明的一种具体实现方式中,还可以将生成的图片检索结果发送给用户,以使用户确定生成的图片检索结果中包含的图片是否为其需要的图片。
S106:重新获得所述查询图片的对象区域M2,并获得所述对象区域M2的独特性子区域;
需要强调的是,对象区域M2与已获得的对象区域不同,以避免每次获得相同的对象区域,使得检索过程无法终结。另外,独特性子区域为对象区域M2内具有显著性特征的区域,如:若图片中的对象区域M2中为一辆车,则独特性子区域很可能为该车的车牌或车标或车主在车上贴的图案的区域等,若图片中的对象区域M2中为一个人,则独特性子区域很可能为该人的帽子或背包或鞋子等。独特性子区域的特征是较为明显、容易区分的,且其他相同事物上很可能不存在的。
一次图片检索过程一般并不能获得符合用户需求的图片,需要在不符合用户需求的基础上,对同一查询图片进行再次图片检索,以获得用户需要的图片,具体地,当根据上述步骤S104,判断得到初始判断图片的图片检索精度不大于第一预设图片检索精度,则检索服务器可以重新获得查询图片的对象区域M2。
一种具体实现方式中,重新获得对象区域M2的方法可以为:缩小对象区域,这样可以使对象区域中包含的不必要的检索对象尽量减少,如:用户需要的图片为包含汽车q的图片,但确定的对象区域M1过大,包括了汽车q和人a,此时人a就是不必要的检索对象,缩小对象区域M1,可以使对象区域M2只包含汽车q,这样获得的图片更容易满足用户的需求;重新获得对象区域M2的方法还可以为:添加对象区域使最终确定的对象区域中包含所有必要的检索对象,如:用户需要的图片为包含人a和人b的图片,但确定的对象区域M1中仅包含了人a,此时获得图片不够准确,因此可以添加人b的区域,使对象区域M2中包含人a和人b,这样获得图片更容易满足用户的需求。
一种具体实现方式中,在初始判断图片的图片检索精度不大于第一预设图片检索精度的情况下,可以将通知消息发送给用户,告知用户所获得的图片的图片检索精度不大于第一预设图片检索精度,此时,用户可以根据该通知消息,调整查询图片中的对象区域,并将调整后的对象区域的信息发送给检索服务器,检索服务器根据该调整后的对象区域再次检索图片。这样由用户调整对象区域,能够更为准确地获得包含同一检索对象的图片,满足用户的需求。
一种具体实现方式中,上述获得对象区域M2的独特性子区域,可以包括:
S11、根据对象区域M2的内容确定对象区域M2的分类;
具体地,检索服务器在获得对象区域M2后,检测获得对象区域M2中对象的的特征,根据获得的特征确定对象区域M2的内容,进而,确定该区域的分类。
假设,对象区域M2中的内容为“汽车”,则确定该对象区域M2的分类为“汽车类”;若对象区域M2中的内容为“杯子”,则确定该对象区域M2的分类为“杯子类”。
S12、根据上述分类从预设的显著性目标库中选择显著性目标子库;
其中,预设的显著性目标库中包含一个或多个显著性目标子库,显著性目标子库中的每一图片的均具有显著性特征,如:杯子类的显著性目标子库、汽车类的显著性目标子库等。假设,步骤S1中确定对象区域的分类为“杯子类”,则确定的显著性目标子库为杯子类的显著性目标子库。
S13、将对象区域M2和对象区域M3划分为大小相等的子区域;
其中,对象区域M3为显著性目标子库中每一图片中包含对象的区域。根据步骤S12中的假设,对象区域M3为显著性目标子库中每一图片中包含“杯子”的区域。
需要说明的是,上述划分的子区域尺寸相等,并且子区域之间可以存在重叠。
S14、获得对象区域M2的每一子区域的特征T3和对象区域M3的每一子区域的特征T4;
S15、根据特征T3和特征T4,计算对象区域M2的每一子区域的显著性系数;
一种具体实现方式中,上述根据特征T3和特征T4,计算对象区域M2的每一子区域的显著性系数,可以包括:
S151、根据特征T3和特征T4,计算对象区域M2的每一子区域与对象区域M3的每一子区域的差异性系数;
这种情况下,上述特征T4为与上述特征T3对应的子区域所对应的区域的特征。具体地,特征T4对应的子区域可以为将特征T3对应的子区域缩放到同一尺寸后的同一位置或同一位置的相邻位置的区域,差异性系数可以为两个子区域之间的视觉特征的距离或其他衡量图片子区域视觉差异的函数值,例如:对象区域M2的内容为“杯子”,其中一个子区域a0为该杯子的手柄位置,则在计算差异性系数时,将子区域a0缩放到与显著性目标子库中的每一图片中包含“杯子的手柄”位置的子区域大小相等时,确定该子区域a0与显著性目标子库中的每一图片的对象区域M3中对应位置的每一子区域之间的差异性系数。
S152、根据差异性系数,获得对象区域M2的每一子区域的显著性系数。
具体地,显著性系数可以为查询图片的子区域与显著性目标子库中所有图片中对应的子区域的差异性系数中值,例如,获得一待检索图片中一子区域a0与显著性目标子库中的每一图片中对应的子区域的差异性系数分别为0.71、0.75、0.78,则该子区域的显著性系数为(0.71+0.75+0.78)/3=0.74。当然,显著性系数还可以为其他能衡量子区域独特性的函数值,本发明对此不进行限定。
S16、根据显著性系数,从对象区域M2的子区域中确定独特性子区域。
具体地,显著性系数为子区域的独特性的度量值。一种具体实现方式中,上述根据显著性系数,从对象区域M2的子区域中确定独特性子区域,可以包括:
从对象区域M2的子区域中,确定显著性系数大于第二预设阈值的子区域为独特性子区域。
假设,第二预设阈值为0.75,若最终确定的查询图片的子区域a0、b0、c0和d0与显著性目标子库中每一图片的显著性系数为[a0,0.74]、[b0,0.73]、[c0,0.78]和[d0,0.80],则可以确定子区域c0和d0为对象区域M2的独特性子区域。
一种具体实现方式中,上述根据显著性系数,从对象区域M2的子区域中确定独特性子区域,可以包括:
按照显著性系数从大到小的顺序,对对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
假设,第二预设数量为3,若最终确定的查询图片的子区域a0、b0、c0和d0与显著性目标子库中每一图片的显著性系数为[a0,0.74]、[b0,0.73]、[c0,0.78]和[d0,0.80],按照显著性系数从大到小的顺序为:d0>c0>a0>b0,则可以确定子区域a0、c0和d0为对象区域M2的独特性子区域。
另外,一种具体实现方式中,独特性子区域可以由用户的手工选择确定,也可以由检索服务器根据显著性系数,确定独特性子区域以后,将确定的独特性子区域发送给用户,用户从中选择出自己感兴趣独特性子区域,另外,用户还可以对确定的独特性子区域进行调整,以确定最后的独特性子区域。
S107:根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,将所述初始判断图片更新为所选择的图片,并继续执行步骤S104。
具体地,上述根据对象区域M2和独特性子区域,从图片数据库中选择图片,可以包括:
S21、获得对象区域M2的特征T5和图片数据库中每一图片的特征T6;
其中,特征T6为:图片数据库中的每一图片中包含对象的区域M2a的特征,这里包含对象的区域M2a为根据对象区域M2确定,如:对象区域M2为1mm*1mm,则区域M2a为1mm*1mm。
S22、根据特征T5和特征T6,从图片数据库中获得第三预设数量张图片;
具体地,检索服务器可以根据特征T3和特征T4,计算出图片数据库中的每一图片与查询图片之间的相似度S2,对图片数据库中的图片进行粗检索,获得第二预设数量张图片。其中,所获得的第二预设数量张图片可以为相似度S2大于第三预设阈值的第三预设数量张图片,也可以为按照相似度S2从大到小的顺序,对图片数据库中的图片进行排序,根据排序结果获得排序靠前的第三预设数量张图片。
S23:获得独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8;
其中,特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,包含对象的区域M3a为根据独特性子区域确定。
需要说明的是,特征T7可以与查询图片的对象区域的特征T5相同,也可以不同。
S24、根据所述特征T7和所述特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片;
具体地,检索服务器可以根据特征T7和特征T8,计算出所获得的第三预设数量张图片中的每一图片与查询图片之间的相似度S3,对所获得的第三预设数量张图片中的图片进行检索,获得第四预设数量张图片。其中,所获得的第四预设数量张图片可以为相似度S3大于第四预设阈值的第四预设数量张图片,也可以为按照相似度S3从大到小的顺序,对所获得的第二预设数量张图片中的图片进行排序,根据排序结果获得排序靠前的第四预设数量张图片。
这种情况下,可以将初始判断图片更新为所获得的第四预设数量张图片,继续执行步骤S104,直至初始判断图片的图片检索精度大于第一预设图片检索精度。
另外,本发明实施例中,在查询图片的对象区域中确定独特性子区域,在根据对象区域检索图片后,根据独特性子区域检索所检索到的图片,因为,独特性子区域为对象区域中具有显著性特征的区域,因此根据独特性子区域检索所检索到的图片,能够更为准确快速地获得包含同一检索对象的图片,并满足用户的需求。
作为本发明的一种实施方式,可以同时采用多种图片检索方法来检索图片,多种检索方法可以相互弥补图片检索过程中的缺陷,进而快速获得需要图片。具体地,可参考图2,图2为本发明实施例提供的另一种基于正负样本的图片检索方法的流程示意图,该方法中,步骤S107之后,还可以包括:
S201:判断所述初始判断图片的图片检索精度是否大于第二预设图片检索精度,若为否,执行步骤S202;
一种具体实现方式中,若初始判断图片的图片检索精度大于第二预设图片检索精度,可以继续执行步骤S104,也可以继续执行步骤S105。
这里,第二预设图片检索精度与第一预设图片检索精度可以相同,也可以不同。
S202:按照预设的分类条件,将所获得的图片分为正样本和负样本;
一种具体实现方式中,上述正样本为所获得的图片中符合用户期望的图片,上述负样本为所获得的图片中不符合用户期望的图片。
S203:获得所述正样本中每一图片的对象区域M4和所述负样本中每一图片的对象区域M5,并获得所述对象区域M4的特征T9和所述对象区域M5的特征T10;
S204:根据所述特征T9和特征T6,计算所述图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据所述特征T10和所述特征T6,计算所述图片数据库中每一图片与所述负样本中每一图片之间的相似度S5,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
S205:根据所述相似度S4和所述相似度S5,计算所述图片数据库中每一图片的最终相似度S6;
由于正样本中的图片为满足用期望的图片,与正样本中的图片越相似,与用户期望的图片差距越小,负样本中的图片为不满足用期望的图片,与负样本中的图片越相似,与用户期望的图片差距越大,因此为了获得满足用户期望的图片,需要按照预设的抑制算法,根据相似度S4和相似度S5来获得最终相似度S6。
需要说明的是,计算得到的相似度S5对相似度S4起抑制作用,相似度S5越大,对相似度S4的抑制作用越强,假设,预设的抑制算法为相似度S4减去相似度S5的50%,那么若计算得到一图片与正样本的相似度S4为0.9,与负样本的相似度S5为0.4,按照预设的抑制算法,可以得到最终相似度S6为0.9-0.4*50%=0.7。
另外,正样本中不止一张图片或一个对象区域,因此,一图片与正样本之间的相似度可能为多个,这就需要按照预设的加权融合算法,将该图片与正样本之间的所有相似度加权融合,假设,预设的加权融合算法为相似度的均值,若一图片与正样本之间的相似度有0.6、0.7和0.65,则加权融合后的最终相似度S6为:(0.6+0.7+0.65)/3=0.65。
S206:根据所述最终相似度S6,从所述图片数据库中确定图片,将所述初始判断图片更新为所确定的图片,并继续执行步骤S104。
假设,正样本中有4张图片,它们的对象区域分别为A0、B0、C0和D0,负样本中有4张图片,它们的对象区域分别为A1、B1、C1和D1,图片数据库中有3张图片a、b和c,预设的抑制算法为相似度S4减去相似度S5的50%,预设的加权融合算法为相似度的均值,若获得正样本与图片数据库中的图片的相似度如表1所示,获得负样本与图片数据库中的图片的相似度如表2所示。
表1
A0 | B0 | C0 | D0 | |
a | 0.6 | 0.7 | 0.86 | 0.8 |
b | 0.62 | 0.67 | 0.75 | 0.72 |
c | 0.66 | 0.68 | 0.77 | 0.69 |
表2
A1 | B1 | C1 | D1 | |
a | 0.53 | 0.67 | 0.64 | 0.68 |
b | 0.72 | 0.77 | 0.45 | 0.82 |
c | 0.64 | 0.69 | 0.84 | 0.59 |
根据上述表1和表2中的数据可以得到,图片a与正样本中图片的相似度为(0.6+0.7+0.86+0.8)/4=0.74,图片a与负样本中图片的相似度为(0.53+0.67+0.64+0.68)/4=0.63,则图片a的最终相似度为0.74-0.63*50%=0.425,图片b与正样本中图片的相似度为(0.62+0.67+0.75+0.72)/4=0.69,图片b与负样本中图片的相似度为(0.72+0.77+0.45+0.82)/4=0.69,则图片b的最终相似度为0.69-0.69*50%=0.345,图片c与正样本中图片的相似度为(0.66+0.68+0.77+0.69)/4=0.7,图片c与负样本中图片的相似度为(0.64+0.69+0.84+0.59)/4=0.69,则图片c的最终相似度为0.7-0.69*50%=0.355,0.425>0.355>0.345,此时若预设数量为2,则从图片数据库中获得图片a和c,若预设阈值为0.4,则获得图片a。
另外,本发明实施例中,根据正样本来检索图片,再根据负样本对检索到的图片进行抑制,避免检索到的图片中包含大量不符合用户期望对象区域,这使得检索服务器能够更为准确的获得包含同一检索对象的图片,并满足用户的需求。
应用图1所示实施例,在进行图片检索时,首先确定出查询图片中的对象区域M1,根据该对象区域M1,从图片数据库中获得图片,将获得的图片作为初始判断图片,在该初始判断图片的图片检索精度不大于第一预设图片检索精度的情况下,重新获得该查询图片的对象区域M2,并获得该对象区域M2的独特性子区域,并根据对象区域M2和独特性子区域,从图片数据库中选择图片,将初始判断图片更新为所选择的图片后,在该初始判断图片的图片检索精度大于第一预设图片检索精度的情况下,根据该初始判断图片,生成图片检索结果。该图片检索结果中包含的图片根据查询图片中包含对象的对象区域和独特性子区域获得的,而不是根据查询图片的整体特征获得的,因此,通过该方法能够获得包含同一检索对象的图片。
参考图3,图3为本发明实施例提供的一种图片检索装置的结构示意图,该装置包括:
查询图片接收模块301,用于接收用户发送的查询图片;
第一区域获得模块302,用于获得查询图片中包含检索对象的对象区域M1;
图片获得模块303,用于根据对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
第一精度判断模块304,用于判断初始判断图片的图片检索精度是否大于第一预设图片检索精度;
第二区域获得模块305,用于在第一精度判断模块304的判断结果为否的情况下,重新获得查询图片的对象区域M2,并获得对象区域M2的独特性子区域,其中,对象区域M2与已获得的对象区域不同,独特性子区域为对象区域M2内具有显著性特征的区域;
图片选择模块306,用于根据对象区域M2和独特性子区域,从图片数据库中选择图片,将初始判断图片更新为所选择的图片,并触发第一精度判断模块304;
检索结果生成模块307,用于在第一精度判断模块304的判断结果为是的情况下,根据初始判断图片,生成图片检索结果。
一种具体实现方式中,图片获得模块303,可以包括:
第一特征获得子模块,用于获得对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,特征T2为:图片数据库中的每一图片中包含对象的区域的特征;
相似度计算子模块,用于根据特征T1和特征T2,计算图片数据库中的每一图片与查询图片之间的相似度S1;
第一图片获得子模块,用于根据相似度S1,从图片数据库中获得图片(图3中未示出)。
一种具体实现方式中,上述第一图片获得子模块,
具体用于从图片数据库中,获得相似度S1大于第一预设阈值的图片;或
具体用于按照相似度S1从大到小的顺序,对图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
一种具体实现方式中,第二区域获得模块305,可以包括:
区域获得子模块,用于重新获得查询图片的对象区域M2;
分类确定子模块,用于根据对象区域M2的内容确定对象区域M2的分类;
子库选择子模块,用于根据分类从预设的显著性目标库中选择显著性目标子库,其中,预设的显著性目标库按照分类包含一个或多个显著性目标子库,显著性目标子库中的每一图片均具有显著性特征;
子区域划分子模块,用于将对象区域M2和对象区域M3划分为大小相等的子区域,其中,对象区域M3为显著性目标子库中每一图片中包含对象的区域;
第二特征获得子模块,用于获得对象区域M2的每一子区域的特征T3和对象区域M3的每一子区域的特征T4;
系数计算子模块,用于根据特征T3和特征T4,计算对象区域M2的每一子区域的显著性系数;
子区域确定子模块,用于根据显著性系数,从对象区域M2的子区域中确定独特性子区域(图3中未示出)。
一种具体实现方式中,系数计算子模块,具体用于:
根据特征T3和特征T4,计算对象区域M2的每一子区域与对象区域M3的每一子区域的差异性系数;
根据差异性系数,获得对象区域M2的每一子区域的显著性系数。
一种具体实现方式中,子区域确定子模块,
具体用于从对象区域M2的子区域中,确定显著性系数大于第二预设阈值的子区域为独特性子区域;或
具体用于按照显著性系数从大到小的顺序,对对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
一种具体实现方式中,图片选择模块306,可以包括:
第三特征获得子模块,用于获得对象区域M2的特征T5和图片数据库中每一图片的特征T6,其中,特征T6为:图片数据库中的每一图片中包含对象的区域M2a的特征,包含对象的区域M2a为根据对象区域M2确定的;
第二图片获得子模块,用于根据特征T5和特征T6,从图片数据库中获得第三预设数量张图片;
第四特征获得子模块,用于获得独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8,其中,特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,包含对象的区域M3a为根据独特性子区域确定的;
图片选择子模块,用于根据特征T7和特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片(图3中未示出)。
作为本发明的一种实施方式,可以同时采用多种图片检索装置来检索图片,多种检索装置可以相互弥补图片检索过程中的缺陷,进而快速获得需要图片。具体地,可参考图4,图4为本发明实施例提供的另一种基于正负样本的图片检索装置的结构示意图,该装置中,图片选择模块306将初始判断图片更新为所选择的图片后,触发第二精度判断模块401;
第二精度判断模块401,用于判断初始判断图片的图片检索精度是否大于第二预设图片检索精度;
样本划分模块402,用于在第二精度判断模块401判断结果为否的情况下,按照预设的分类条件,将所获得的图片分为正样本和负样本;
第三区域获得模块403,用于获得正样本中每一图片的对象区域M4和负样本中每一图片的对象区域M5,并获得对象区域M4的特征T9和对象区域M5的特征T10;
相似度计算模块404,用于根据特征T9和特征T6,计算图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据特征T10和特征T6,计算图片数据库中每一图片与负样本中每一图片之间的相似度S5,其中,特征T6为:图片数据库中的每一图片中包含对象的区域M2a的特征,包含对象的区域M2a为根据对象区域M2确定的;
最终相似度计算模块405,用于根据相似度S4和相似度S5,计算图片数据库中每一图片的最终相似度S6;
图片确定模块406,用于根据最终相似度S6,从图片数据库中确定图片,将初始判断图片更新为所确定的图片,并触发第一精度判断模块304。
一种具体实现方式中,若第二精度判断模块401的判断结果为是,那么可以触发检索结果生成模块307,生成图片检测结果;也可以触发第一精度判断模块304,判断初始判断图片的图片检索精度是否大于第一预设图片检索精度。
应用图3所示实施例,在进行图片检索时,首先确定出查询图片中的对象区域M1,根据该对象区域M1,从图片数据库中获得图片,将获得的图片作为初始判断图片,在该初始判断图片的图片检索精度不大于第一预设图片检索精度的情况下,重新获得该查询图片的对象区域M2,并获得该对象区域M2的独特性子区域,并根据对象区域M2和独特性子区域,从图片数据库中选择图片,将初始判断图片更新为所选择的图片后,在该初始判断图片的图片检索精度大于第一预设图片检索精度的情况下,根据该初始判断图片,生成图片检索结果。该图片检索结果中包含的图片根据查询图片中包含对象的对象区域和独特性子区域获得的,而不是根据查询图片的整体特征获得的,因此,通过该方法能够获得包含同一检索对象的图片。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (16)
1.一种图片检索方法,其特征在于,所述方法包括:
接收用户发送的查询图片;
获得所述查询图片中包含检索对象的对象区域M1;
根据所述对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度;
若为否,则重新获得所述查询图片的对象区域M2,并获得所述对象区域M2的独特性子区域,其中,所述对象区域M2与已获得的对象区域不同,所述独特性子区域为所述对象区域M2内具有显著性特征的区域;
根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,将所述初始判断图片更新为所选择的图片,并执行所述判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度的步骤;
若为是,根据所述初始判断图片,生成图片检索结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对象区域M1,从图片数据库中获得图片,包括:
获得所述对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,所述特征T2为:所述图片数据库中的每一图片中包含对象的区域的特征;
根据所述特征T1和所述特征T2,计算所述图片数据库中的每一图片与所述查询图片之间的相似度S1;
根据所述相似度S1,从所述图片数据库中获得图片。
3.根据权利要求2所述的方法,其特征在于,所述根据所述相似度S1,从所述图片数据库中获得图片,包括:
从所述图片数据库中,获得所述相似度S1大于第一预设阈值的图片;或
按照所述相似度S1从大到小的顺序,对所述图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
4.根据权利要求1所述的方法,其特征在于,所述获得所述对象区域M2的独特性子区域,包括:
根据所述对象区域M2的内容确定所述对象区域M2的分类;
根据所述分类从预设的显著性目标库中选择显著性目标子库,其中,所述预设的显著性目标库按照分类包含一个或多个显著性目标子库,所述显著性目标子库中的每一图片均具有显著性特征;
将所述对象区域M2和对象区域M3划分为大小相等的子区域,其中,所述对象区域M3为所述显著性目标子库中每一图片中包含对象的区域;
获得所述对象区域M2的每一子区域的特征T3和所述对象区域M3的每一子区域的特征T4;
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数;
根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域。
5.根据权利要求4所述的方法,其特征在于,所述根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数,包括:
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域与所述对象区域M3的每一子区域的差异性系数;
根据所述差异性系数,获得所述对象区域M2的每一子区域的显著性系数。
6.根据权利要求4所述的方法,其特征在于,所述根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域,包括:
从所述对象区域M2的子区域中,确定所述显著性系数大于第二预设阈值的子区域为独特性子区域;或
按照所述显著性系数从大到小的顺序,对所述对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,包括:
获得所述对象区域M2的特征T5和所述图片数据库中每一图片的特征T6,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
根据所述特征T5和所述特征T6,从所述图片数据库中获得第三预设数量张图片;
获得所述独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8,其中,所述特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,所述包含对象的区域M3a为根据所述独特性子区域确定的;
根据所述特征T7和所述特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片。
8.根据权利要求1所述的方法,其特征在于,所述根据所述对象区域M2和所述独特性子区域,从图片数据库中选择图片,将所述初始判断图片更新为所选择的图片之后,还包括:
判断所述初始判断图片的图片检索精度是否大于第二预设图片检索精度;
若为否,按照预设的分类条件,将所获得的图片分为正样本和负样本;
获得所述正样本中每一图片的对象区域M4和所述负样本中每一图片的对象区域M5,并获得所述对象区域M4的特征T9和所述对象区域M5的特征T10;
根据所述特征T9和特征T6,计算所述图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据所述特征T10和所述特征T6,计算所述图片数据库中每一图片与所述负样本中每一图片之间的相似度S5,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
根据所述相似度S4和所述相似度S5,计算所述图片数据库中每一图片的最终相似度S6;
根据所述最终相似度S6,从所述图片数据库中确定图片,将所述初始判断图片更新为所确定的图片,并继续执行所述判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度的步骤。
9.一种图片检索装置,其特征在于,所述装置包括:
查询图片接收模块,用于接收用户发送的查询图片;
第一区域获得模块,用于获得所述查询图片中包含检索对象的对象区域M1;
图片获得模块,用于根据所述对象区域M1,从图片数据库中获得图片,并将所获得的图片作为初始判断图片;
第一精度判断模块,用于判断所述初始判断图片的图片检索精度是否大于第一预设图片检索精度;
第二区域获得模块,用于在所述第一精度判断模块的判断结果为否的情况下,重新获得所述查询图片的对象区域M2,并获得所述对象区域M2的独特性子区域,其中,所述对象区域M2与已获得的对象区域不同,所述独特性子区域为所述对象区域M2内具有显著性特征的区域;
图片选择模块,用于根据所述对象区域M2和所述独特性子区域,从所述图片数据库中选择图片,将所述初始判断图片更新为所选择的图片,并触发所述第一精度判断模块;
检索结果生成模块,用于在所述第一精度判断模块的判断结果为是的情况下,根据所述初始判断图片,生成图片检索结果。
10.根据权利要求9所述的装置,其特征在于,所述图片获得模块,包括:
第一特征获得子模块,用于获得所述对象区域M1的特征T1和图片数据库中每一图片的特征T2,其中,所述特征T2为:所述图片数据库中的每一图片中包含对象的区域的特征;
相似度计算子模块,用于根据所述特征T1和所述特征T2,计算所述图片数据库中的每一图片与所述查询图片之间的相似度S1;
第一图片获得子模块,用于根据所述相似度S1,从所述图片数据库中获得图片。
11.根据权利要求10所述的装置,其特征在于,所述第一图片获得子模块,
具体用于从所述图片数据库中,获得所述相似度S1大于第一预设阈值的图片;或
具体用于按照所述相似度S1从大到小的顺序,对所述图片数据库中的图片进行排序,根据排序结果获得排序靠前的第一预设数量张图片。
12.根据权利要求9所述的装置,其特征在于,所述第二区域获得模块,包括:
区域获得子模块,用于重新获得所述查询图片的对象区域M2;
分类确定子模块,用于根据所述对象区域M2的内容确定所述对象区域M2的分类;
子库选择子模块,用于根据所述分类从预设的显著性目标库中选择显著性目标子库,其中,所述预设的显著性目标库按照分类包含一个或多个显著性目标子库,所述显著性目标子库中的每一图片均具有显著性特征;
子区域划分子模块,用于将所述对象区域M2和对象区域M3划分为大小相等的子区域,其中,所述对象区域M3为所述显著性目标子库中每一图片中包含对象的区域;
第二特征获得子模块,用于获得所述对象区域M2的每一子区域的特征T3和所述对象区域M3的每一子区域的特征T4;
系数计算子模块,用于根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域的显著性系数;
子区域确定子模块,用于根据所述显著性系数,从所述对象区域M2的子区域中确定独特性子区域。
13.根据权利要求12所述的装置,其特征在于,所述系数计算子模块,具体用于:
根据所述特征T3和所述特征T4,计算所述对象区域M2的每一子区域与所述对象区域M3的每一子区域的差异性系数;
根据所述差异性系数,获得所述对象区域M2的每一子区域的显著性系数。
14.根据权利要求12所述的装置,其特征在于,所述子区域确定子模块,
具体用于从所述对象区域M2的子区域中,确定所述显著性系数大于第二预设阈值的子区域为独特性子区域;或
具体用于按照所述显著性系数从大到小的顺序,对所述对象区域M2的每一子区域进行排序,根据排序结果确定排序靠前的第二预设数量个子区域为独特性子区域。
15.根据权利要求9所述的装置,其特征在于,所述图片选择模块,包括:
第三特征获得子模块,用于获得所述对象区域M2的特征T5和所述图片数据库中每一图片的特征T6,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
第二图片获得子模块,用于根据所述特征T5和所述特征T6,从所述图片数据库中获得第三预设数量张图片;
第四特征获得子模块,用于获得所述独特性子区域的特征T7和所获得的第三预设数量张图片中每一图片的特征T8,其中,所述特征T8为:所获得的第三预设数量张图片中的每一图片中包含对象的区域M3a的特征,所述包含对象的区域M3a为根据所述独特性子区域确定的;
图片选择子模块,用于根据所述特征T7和所述特征T8,从所获得的第三预设数量张图片中选择第四预设数量张图片。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二精度判断模块,用于判断所述初始判断图片的图片检索精度是否大于第二预设图片检索精度;
样本划分模块,用于在所述第二精度判断模块判断结果为否的情况下,按照预设的分类条件,将所获得的图片分为正样本和负样本;
第三区域获得模块,用于获得所述正样本中每一图片的对象区域M4和所述负样本中每一图片的对象区域M5,并获得所述对象区域M4的特征T9和所述对象区域M5的特征T10;
相似度计算模块,用于根据所述特征T9和特征T6,计算所述图片数据库中每一图片与正样本中每一图片之间的相似度S4,并根据所述特征T10和所述特征T6,计算所述图片数据库中每一图片与所述负样本中每一图片之间的相似度S5,其中,所述特征T6为:所述图片数据库中的每一图片中包含对象的区域M2a的特征,所述包含对象的区域M2a为根据所述对象区域M2确定的;
最终相似度计算模块,用于根据所述相似度S4和所述相似度S5,计算所述图片数据库中每一图片的最终相似度S6;
图片确定模块,用于根据所述最终相似度S6,从所述图片数据库中确定图片,将所述初始判断图片更新为所确定的图片,并触发所述第一精度判断模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610190580.4A CN107291706B (zh) | 2016-03-30 | 2016-03-30 | 一种图片检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610190580.4A CN107291706B (zh) | 2016-03-30 | 2016-03-30 | 一种图片检索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107291706A CN107291706A (zh) | 2017-10-24 |
CN107291706B true CN107291706B (zh) | 2020-05-08 |
Family
ID=60087865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610190580.4A Active CN107291706B (zh) | 2016-03-30 | 2016-03-30 | 一种图片检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107291706B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929058B (zh) * | 2018-08-30 | 2023-01-31 | 北京蓝灯鱼智能科技有限公司 | 商标图片的检索方法、装置、存储介质及电子装置 |
CN109840129A (zh) * | 2019-01-30 | 2019-06-04 | 维沃移动通信有限公司 | 一种显示控制方法及电子设备 |
CN109992687B (zh) * | 2019-04-10 | 2021-05-25 | 北京迈格威科技有限公司 | 人脸数据的搜索方法、装置、电子设备及可读存储介质 |
CN110705589A (zh) * | 2019-09-02 | 2020-01-17 | 贝壳技术有限公司 | 一种样本特征的权重优化处理方法及装置 |
CN112632307A (zh) * | 2019-12-26 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种检索精度评价方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216841A (zh) * | 2008-01-14 | 2008-07-09 | 南京搜拍信息技术有限公司 | 交互式图像搜索系统和方法 |
CN102973231A (zh) * | 2011-07-29 | 2013-03-20 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
JP2013196514A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN103824085A (zh) * | 2014-03-19 | 2014-05-28 | 苏州比特速浪电子科技有限公司 | 图像处理、图像识别及图像分类的装置及其方法 |
CN104021138A (zh) * | 2014-04-23 | 2014-09-03 | 北京智谷睿拓技术服务有限公司 | 图像检索方法及图像检索装置 |
-
2016
- 2016-03-30 CN CN201610190580.4A patent/CN107291706B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216841A (zh) * | 2008-01-14 | 2008-07-09 | 南京搜拍信息技术有限公司 | 交互式图像搜索系统和方法 |
CN102973231A (zh) * | 2011-07-29 | 2013-03-20 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
JP2013196514A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN103824085A (zh) * | 2014-03-19 | 2014-05-28 | 苏州比特速浪电子科技有限公司 | 图像处理、图像识别及图像分类的装置及其方法 |
CN104021138A (zh) * | 2014-04-23 | 2014-09-03 | 北京智谷睿拓技术服务有限公司 | 图像检索方法及图像检索装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107291706A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107291706B (zh) | 一种图片检索方法及装置 | |
US8775401B2 (en) | Shape based picture search | |
JP5953151B2 (ja) | 学習装置、及びプログラム | |
CN110543592B (zh) | 信息搜索方法、装置以及计算机设备 | |
TW201931169A (zh) | 樣本集的處理方法及裝置、樣本的查詢方法及裝置 | |
CN106570015B (zh) | 图像搜索方法和装置 | |
CN107223242B (zh) | 用于在多个已存储图像中搜索相似图像的方法 | |
CN107092609B (zh) | 一种信息推送方法及装置 | |
Bibi et al. | Query-by-visual-search: multimodal framework for content-based image retrieval | |
JP7183753B2 (ja) | リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム | |
Shrivastava et al. | A review of ROI image retrieval techniques | |
JP2020135876A (ja) | エンティティを推奨する方法及び装置、電子機器、コンピュータ読み取り可能な媒体 | |
Zhang et al. | Automatic shoeprint retrieval system for use in forensic investigations | |
CN109635004B (zh) | 一种数据库的对象描述提供方法、装置及设备 | |
CN111178349A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
CN115757896A (zh) | 向量检索方法、装置、设备及可读存储介质 | |
CN111984812B (zh) | 一种特征提取模型生成方法、图像检索方法、装置及设备 | |
CN115393903A (zh) | 图像底库的更新方法、装置、设备及存储介质 | |
Nguyen et al. | Video instance search via spatial fusion of visual words and object proposals | |
CN106570116B (zh) | 基于人工智能的搜索结果的聚合方法及装置 | |
CN112632307A (zh) | 一种检索精度评价方法 | |
Paredes et al. | A probabilistic model for user relevance feedback on image retrieval | |
CN110147459B (zh) | 一种图像检索方法、装置及电子设备 | |
KR20170039524A (ko) | 시각 부분 사전을 이용한 이미지 검색 시스템 및 방법 | |
Dimai | Unsupervised extraction of salient region-descriptors for content based image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |