CN103164436A - 一种图像搜索方法及装置 - Google Patents

一种图像搜索方法及装置 Download PDF

Info

Publication number
CN103164436A
CN103164436A CN2011104154946A CN201110415494A CN103164436A CN 103164436 A CN103164436 A CN 103164436A CN 2011104154946 A CN2011104154946 A CN 2011104154946A CN 201110415494 A CN201110415494 A CN 201110415494A CN 103164436 A CN103164436 A CN 103164436A
Authority
CN
China
Prior art keywords
critical area
image
searched
alternative
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104154946A
Other languages
English (en)
Other versions
CN103164436B (zh
Inventor
段曼妮
郑琪
贾梦雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201110415494.6A priority Critical patent/CN103164436B/zh
Publication of CN103164436A publication Critical patent/CN103164436A/zh
Application granted granted Critical
Publication of CN103164436B publication Critical patent/CN103164436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种图像搜索方法及装置,该方法包括:确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;查询与所有待搜索关键区域的待搜索视觉词对应的倒排表;按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序;依据排序的先后返回设定数量的图像。本申请包括以下优点:通过得到的与底层特征和几何特征对应的综合分值对备选图像进行排序,从而使返回的图像在底层特征和几何特征上都和待搜索图像具有较高的匹配度,提高了图像搜索结果的准确度。

Description

一种图像搜索方法及装置
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像搜索方法及装置。
背景技术
随着用户对网上图像搜索的要求不断增长,互联网上图像数据信息也日渐庞大,各种基于网页(Web)的图像搜索引擎应运而生。在电子商务网站上,用户对图像搜索,特别是基于内容的图像搜索有着更为广泛的需求。“基于内容的图像搜索”指的是,基于搜索条件本身就是一个图像而进行的图像搜索,或者是基于对图像内容的语言描述进行的图像搜索。
现有技术中,在进行基于内容的图像搜索时,首先,通过尺度不变特征转换(Scale-invariant feature transform,SIFT)技术分别提取图像数据库中每一幅图像的关键区域的底部特征,该底部特征可以反应图像关键区域中的纹理、梯度等信息,以及描述梯度分布;接着,对得到的底部特征进行量化,得到视觉词,并建立与每个视觉词对应的倒排表,将待查询图像所包含的视觉词组成视觉词集合,获得该视觉词集合中每一个视觉词对应的倒排表,然后,统计倒排表中的每一个图像出现的次数,最后,确定出现次数最多的图像为目标图像。
上述过程中的视觉词指的是,将图像中关键区域的底部特征矢量在特征空间中聚类,每一个类被称为一个视觉词。倒排表即以每个视觉词作为关键词,将包含有该视觉词的图像建立索引而得到的索引表,图1为视觉词A对应的倒排表的示意图,按照顺序依次包括:视觉词A,包含有视觉词A的图像1、包含有视觉词A的图像2,通过该倒排表,可以直观的体现视觉词A出现在哪些图像中,实现对图像数据库中图像的索引。
从上述分析中可以看出,现有技术中的图像搜索方法利用了图像底部特征,以及通过底部特征对应的视觉词进行比较的方式确定目标图像。但是,由于底部特征只能体现图像的部分信息,其所反映的图像信息有限,只能够涵盖图像的部分特征,因此,依据该底部特征进行搜索得到的目标图像与用户需要的图像可能会存在较大的差别,使得搜索结果的准确度较低。而准确度的降低也会使用户不断修改搜索条件,多次向服务器请求搜索目标图像,这就会使服务器重复或者反复响应同一幅目标图像的搜索请求,增加了服务器的负担,也会因为向用户多次发送不满足需求的图像,而浪费大量的网络传输资源。
发明内容
本申请的目的在于,提供一种图像搜索方法,用以解决现有技术中的图像搜索方法的搜索结果的准确度较低,服务器负担重以及浪费大量的网络传输资源的问题。
一种图像搜索方法,包括:
确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征,所述几何特征用于表示所述待搜索关键区域的几何信息;
查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;
依据排序的先后返回设定数量的图像。
优选的,所述倒排表中包含的各个图像标识对应的备选图像中与所述视觉词对应的备选关键区域的几何特征至少包括:所述备选关键区域的位置信息、大小和主方向;
相应的,所述待搜索图像的待搜索关键区域的几何特征至少包括:所述待搜索关键区域的位置信息、大小和主方向。
优选的,按照以下步骤提取所述关键区域几何特征,并添加到倒排表中:
确定所述倒排表包含的各个图像标识对应的备选图像中,与所述倒排表所包含的视觉词对应的备选关键区域的中心位置横坐标和中心位置纵坐标,根据预先设定的量化标准值量化所述中心位置横坐标和中心位置纵坐标,分别记录所述中心位置横坐标和中心位置纵坐标的量化结果,所述量化结果为所述关键区域的位置信息;
确定所述备选关键区域的半径,记录所述半径;
分析所述备选关键区域内的梯度分布,确定梯度最大的方向为所述关键区域的主方向,并记录所述主方向;
将所述备选关键区域的位置信息、半径和主方向添加到所述倒排表中与所述图像标识对应的位置。
优选的,所述按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序的过程包括:
获得所述各个备选图像出现的次数;
分别确定所述各个备选图像中所包含的待搜索视觉词,并分别获得各个图像中,所包含的备选关键区域的几何特征与该备选关键区域对应的待搜索关键区域的几何特征之间的匹配程度;
依据各个备选图像出现的次数设定各个备选图像的第一分值,所述第一分值表示匹配程度,设定规则为:次数越多,所述第一分值越大;依据各个备选图像中所包含的待搜索关键区域的几何特征与该待搜索关键区域的几何特征对应的备选关键区域的几何特征之间的匹配程度,按照预设规则,设置各个备选图像的第二分值,所述第二分值表示匹配程度;
分别确定各个备选图像的第一分值和第二分值之和为所述备选图像对应的综合分值;
按照所述综合分值从大到小的顺序将所述备选图像进行排序。
优选的,所述按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序的过程包括:
获得各个备选图像出现的次数;
依据备选图像出现的次数设定各个图像的第一分值,所述第一分值表示匹配程度;
按照第一分值由高到低的顺序对各个备选图像进行排序;
选择前N个备选图像作为初始目的图像,所述N为预先设定的整数;
分别获得各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度;
依据各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值,所述第二分值表示匹配程度;
分别确定各个初始目的图像的第一分值和第二分值之和为所述初始目的图像的综合分值;
按照所述综合分值从大到小的顺序将所述备选图像进行排序。
优选的,获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度的过程包括:
从所述备选图像中确定当前待计算图像,并从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域;
确定与所述当前待计算关键区域对应的待搜索关键区域;
依据所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征,计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点之间的映射矩阵;
依据映射矩阵变换所述当前待计算关键区域的中心点坐标;
利用变换后的坐标计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点的距离,确定所述距离为当前待计算关键区域的几何特征与所述待搜索关键区域的几何特征的匹配程度,距离越小匹配程度越高,并记录;
当所述当前待计算图像所包含的与所述待搜索关键词对应的备选关键区域中存在未被计算备选关键区域时,确定下一未被计算备选关键区域为所述当前待计算关键区域,并返回执行确定与所述当前待计算关键区域对应的待搜索关键区域的步骤;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域中不存在未被计算关键区域,且备选图像中存在未被计算图像时,确定下一未被计算图像为当前待计算图像,并返回执行从所述当前待计算图像所包含与所述待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域的步骤;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域不存在未被计算视觉词,且不存在未被计算图像时,结束。
优选的,所述依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值的过程包括:
从备选图像中确定当前待分析图像,并获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离;
分别将所述各个备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离与预设距离值进行比较,记录小于预设距离值的个数;
当备选图像中存在未被分析图像时,确定下一未被分析图像为当前待分析图像,返回执行获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离的步骤;
当备选图像中不存在未被分析图像时,根据各个备选图像中所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点的距离小于预设距离值的个数,设定各个备选图像的第二分值。
优选的,获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度的过程包括:
从备选图像中确定当前待计算图像,并从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域组;,所述当前待计算关键区域组包括:第一待计算关键区域和当前第二待计算关键区域;
确定分别与所述当前第一待计算关键区域和当前第二待计算关键区域对应的当前第一待搜索关键区域和当前第二待搜索关键区域;
确定所述当前第一待计算关键区域的中心点为第一待计算点,确定所述当前第二待计算关键区域的中心点为第二待计算点,确定所述当前第一关键区域的中心点为第一待搜索点,确定所述当前第二关键区域的中心点为第二待搜索点;
依据所述当前第一待计算关键区域的几何特征、所述当前第二待计算关键区域的几何特征、当前第一待搜索关键区域的几何特征和所述当前第二待搜索关键区域的几何特征,计算所述第一待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第一待计算夹角、所述第二待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第二待计算夹角、所述第一待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第一待搜索夹角和所述第二待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第二待搜索夹角,并计算所述第一待计算夹角与所述第一待搜索夹角间的第一夹角差、计算所述第二待计算夹角与所述第二待搜索夹角间的第二夹角差,计算所述第一待计算点与所述第一待搜索点间的第一距离、第二待计算点与所述第二待搜索点间的第二距离;
确定所述第一夹角差、第一距离、第二夹角差和第二距离为所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征间的匹配程度参数,并记录;
当所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域存在未被计算备选关键区域时,从未被计算备选关键区域中确定下一备选关键区域组作为当前待计算备选关键区域组,并返回执行确定所述当前第一待计算关键区域,确定所述当前第二待计算关键区域的过程;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域中不存在未被计算备选关键区域,且所述备选图像中存在未被计算图像时,确定下一未被计算备选图像为当前待计算图像,并返回执行从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域组的步骤;
当所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中不存在未被计算备选关键区域,且不存在未被计算图像时,结束。
优选的,所述依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值的过程包括:
从备选图像中确定当前待分析图像,并获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域组的几何特征与该备选关键区域对应的待搜索关键区域组的几何特征之间的匹配程度参数;
分别获得所述匹配程度参数中的第一距离和第二距离;
计算所述第一距离与所述待搜索关键区域组中的第一待搜索关键区域的几何特征中的半径值的第一比值,计算所述第二距离与所述待搜索关键区域组中的第二待搜索关键区域的几何特征中的半径值的第二比值,计算所述第一距离与所述第一备选区域的几何特征中的半径值的第三比值和计算所述第二距离与所述第二备选区域的几何特征中的半径值的第四比值,并将所述第一比值与第二比值相除得到第五比值,将所述第三比值与第四比值相除得到第六比值;
分别将所述备选关键区域的几何特征与所述待搜索关键区域的几何特征之间的差值中的第一夹角差、第二夹角差与预设夹角值进行比较,将所述第五比值和第六比值与预设距离值、以及所述预设距离值的倒数进行比较;
记录符合预设约束条件的待搜索视觉词组的个数,所述个数越多,所述匹配程度越高,所述预设约束条件为:所述第一夹角差和第二夹角差均小于所述预设夹角值,且第所述五比值和第六比值均大于所述预设距离值的倒数,小于所述预设距离值;
当存在未被分析图像时,确定下一未被分析图像为当前待分析图像,返回获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域组的几何特征与该备选关键区域对应的待搜索关键区域组的几何特征之间的差值;
当不存在未被分析图像时,根据各个图像中所包含的符合预设约束条件的备选关键区域组的个数,设定各个图像的第二分值,设定规则为:个数越多,所述第二分值越大。
本申请还提供了一种图像搜索装置,用以保证上述方法在实际中的实现及应用。
一种图像搜索装置,包括:
确定模块,用于确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;
查询模块,用于查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
排序模块,用于按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;
发送模块,用于依据排序的先后返回设定数量的图像。
与现有技术相比,本申请包括以下优点:通过得到的与底层特征和几何特征对应的综合分值对备选图像进行排序,从而使返回的图像在底层特征和几何特征上都和待搜索图像具有较高的匹配度,提高了图像搜索结果的准确度,避免出现由于搜索结果准确度低而造成用户反复或者重复向服务器请求搜索目标图像,导致服务器重复或者反复响应同一幅目标图像的搜索请求,而增加了服务器的负担,以及向用户多次发送不满足需求的图像,而浪费大量的网络传输资源的现象,从而减轻了服务器的负担,节约了网络传输资源。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开的现有技术中的倒排表示意图;
图2为本发明实施例1公开的图像搜索方法的流程图;
图3为本发明实施例1公开的将备选关键区域的几何特征进行提取并添加到倒排表中的方法的流程图;
图4为本发明实施例1公开的添加备选关键区域几何特征后的倒排表的示意图;
图5为本发明实施例2公开的图像搜索方法的流程图;
图6为本发明实施例2公开的获得各个图像中,所包含的备选关键区域的几何特征与该备选关键区域对应的待搜索关键区域的几何特征之间的匹配程度的方法的流程图;
图7为按照预设规则,设定所述各个待处理图像的第二分值的方法的流程图;
图8本发明实施例3公开的获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度方法的流程图;
图9为本发明实施例3公开的按照预设规则,设定所述各个待处理图像的第二分值的方法流程图;
图10为本发明实施例4公开的图像搜索方法的流程图;
图11为本发明提供的一种图像搜索装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请的主要思想之一可以包括,确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;依据排序的先后发送设定数量的图像,本申请中,最终目标图像与待搜索图像在底层特征和几何特征上都和待搜索图像具有较高的匹配度,这提高了图像搜索结果的准确度,避免出现由于搜索结果准确度低而造成用户多次向服务器请求搜索目标图像,导致服务器重复或者反复响应同一幅目标图像的搜索请求,而增加了服务器的负担,以及向用户多次发送不满足需求的图像,而浪费大量的网络传输资源的现象,从而减轻了服务器的负担,节约了网络传输资源。
参考图2,其示出了本申请一种图像搜索方法实施例1的流程图,可以包括以下步骤:
步骤S201:确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征,所述几何特征用于表示所述待搜索关键区域的几何信息;
本实施例中,可利用角点检测或最大稳定极值区域检测等方法,确定待搜索图像的待搜索关键区域,然后从待搜索关键区域中提取底层特征,得到与待搜索关键区域对应的待搜索视觉词,并且,确定表示待搜索关键区域的几何信息的几何特征。该几何特征包括:待搜索图像的待搜索关键区域的位置信息、大小和主方向。本实施例中,待搜索关键区域的位置信息用该关键区域的中心点坐标来进行表示,首先确定该关键区域的中心点所在位置的横坐标和纵坐标,然后按照预先设定的量化标注值,进行量化,本实施例中的量化标准值为255,记录量化的结果,最后将量化后的横坐标和纵坐标作为该关键区域的位置信息。例如,假设某一关键区域的中心位置的坐标为(x,y),量化后的坐标横坐标为x,量化后的纵坐标为y,其中,width和height分别为图像的宽度和高度,具体的量化过程为:
x ‾ = int ( x width * 255 ) , y ‾ = int ( y height * 255 ) .
本实施例中,由于待搜索关键区域通常为圆形或椭圆形等规则图像,所以待搜索关键区域的大小可以用关键区域的半径r来表示,其中,r的单位为像素。
本实施例中,可以通过统计待搜索关键区域内的梯度分布,确定梯度方向最大的方向,作为该关键区域的主方向,或者,当待搜索关键区域为椭圆形时,直接利用待搜索关键区域的长轴或短轴方向,作为主方向。
步骤S202:查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
本实施例中与待搜索视觉词对应的倒排表中所包含的图像标识所对应的图像,都作为与当前待搜索图像对应的备选图像,该倒排中除包含各个图像的标识外,还包括与各个图像标识对应的备选图像中的备选关键区域的几何特征,至少包括所述备选关键区域的位置信息、大小和主方向,该备选关键区域的几何特征是按照如图3所示步骤预先提取并添加到倒排表中的,包括:
步骤S301:确定所述倒排表包含的各个图像标识对应的备选图像中,与所述倒排表所包含的视觉词对应的备选关键区域的中心位置横坐标和中心位置纵坐标,根据预先设定的量化标准值量化所述中心位置横坐标和中心位置纵坐标,所述量化标准值为255,分别记录所述中心位置横坐标和中心位置纵坐标的量化结果,所述量化结果为所述关键区域的位置信息;
本实施例中分别用一个字节记录量化后的横坐标和纵坐标。
步骤S302:确定所述备选关键区域的半径,记录所述半径;
本实施例中利用一个字节记录半径值。
步骤S303:分析所述备选关键区域内的梯度分布,确定梯度最大的方向为所述关键区域的主方向,并记录所述主方向;
本实施例中利用一个字节记录主方向,该主方向可以用与横坐标或纵坐标间的夹角来表示。
步骤S304:将所述备选关键区域的位置信息、半径和主方向添加到所述倒排表中与所述图像标识对应的位置。
添加备选关键区域几何特征后的倒排表的结构如图4所示,其中,图1的几何特征包括:X坐标2,Y坐标5、半径值4和主方向10,图像2的几何特征包括:X坐标3,Y坐标2、半径值5和主方向9,其表现方式可以直接为十进制数,例如2,5,4,10,还可以为与十进制数对应的二进制数,00000010,00000101,00000100,00001010。当依据待搜索关键词获得倒排表后,不仅仅能够获得备选图像的标识,还能直观的体现备选图像中,与待搜索视觉词对应的备选关键区域的几何特征。
步骤S203:按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何信息的匹配程度确定;
首先根据备选图像的重复次数确定第一分值,重复次数越多,第一分值越高,然后依据备选图像和待搜索图像之间对应的关键区域的几何信息的匹配程度确定第二分值,匹配程度越高,第二分值越高,然后综合第一分值和第二分值得到综合分值,利用综合分值对备选图像进行排序,综合分值越高,排序越前,最终实现将备选图像按照与待搜索图像的匹配程度依次排序,从而便于得到与待搜索图像相同或最为相似的备选图像。
步骤S204:依据排序的先后返回设定数量的图像。
假设当前服务器的设定为,确定综合分值最高的三幅备选图像作为检索结果,则将排序后的前三幅图像,发送给客户端,具体的作为检索结果的图像数量可以根据实际情况进行调整。
其中,针对目标图像的搜索即可以在本地进行,即在服务器或客户端本地进行图像搜索,也可以是客户端发送目标图像的搜索请求至服务器端,由服务器端将目标图像返回至客户端,供客户端进行选择。
本实施例通过在进行图像搜索时,利用关键区域的几何信息与视觉词相结合的方式查找与待搜索图像相匹配的图像,然后按照匹配程度对图像进行排序,依据排序的先后返回设定数量的图像,从而实现提高搜索结果的准确度的目的,并且,避免出现由于搜索结果准确度低而造成用户多次向服务器请求搜索目标图像,导致服务器重复或者反复响应同一幅目标图像的搜索请求,而增加了服务器的负担,以及向用户多次发送不满足需求的图像,而浪费大量的网络传输资源的现象,降低了服务器的负担,减小了对网络传输资源的浪费,从而减轻了服务器的负担,节约了网络传输资源。
参考图5,其示出了本申请一种图像搜索方法实施例2的流程图,可以包括以下步骤:
步骤S501:确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;
步骤S502:查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
步骤S503:获得所述各个备选图像出现的次数;
假设待搜索图像包含三个待搜索视觉词A、B、C,则分别获得三个待搜索视觉词对应的倒排表,统计倒排中每个备选图像出现的次数,视觉词A对应的倒排表中包含备选图像1和备选图像2,视觉词B对应的倒排表中包含备选图像1和备选图像2,视觉词C对应的倒排表中包含备选图像2,则备选图像1出现的次数为2,备选图像2出现的次数为3。
步骤S504:分别确定所述各个备选图像中所包含的待搜索视觉词,并分别获得各个图像中,所包含的备选关键区域的几何特征与该备选关键区域对应的待搜索关键区域的几何特征之间的匹配程度;
以图像1为例,图像1中包含待搜索视觉词A和B,所以需要分别获得视觉词A对应的图像1中备选关键区域的几何特征与视觉词A对应的待搜索图像中的待搜索关键区域的几何特征的匹配程度,视觉词B对应的图像1中备选关键区域的几何特征与视觉词B对应的待搜索图像中的待搜索关键区域的几何特征的匹配程度。其他图像按照类似方式处理。
步骤S505:依据各个备选图像出现的次数设定各个备选图像的第一分值,所述第一分值表示匹配程度,设定规则为:次数越多,所述第一分值越大;依据各个备选图像中所包含的待搜索关键区域的几何特征与该待搜索关键区域的几何特征对应的备选关键区域的几何特征之间的匹配程度,按照预设规则,设置各个备选图像的第二分值,所述第二分值表示匹配程度,所述预设规则为:个数越多,所述第二分值越大;
本实施例中,设定第一分值的规则为:次数越多,所述第一分值越大,具体的设定方式可以为,设定一个基础值,假设为10,将每个图像出现的次数与该基础值相乘,结果作为该图像的第一分值。本实施例并不限定此种设定方式,还可以选用其他设定方法,只要能够保证次数越多,分值越大即可。同样,本实施例也并不限定基础值为10也可以为100或1000或其他根据实际情况设定的值。
步骤S506:分别确定各个备选图像的第一分值和第二分值之和为所述备选图像对应的综合分值;
步骤S507:按照所述综合分值从大到小的顺序将所述备选图像进行排序。
步骤S508:依据排序的先后返回设定数量的图像。
进一步的,本实施例中获得各个图像中,所包含的备选关键区域的几何特征与该备选关键区域对应的待搜索关键区域的几何特征之间的匹配程度的过程如图6所示,具体可以包括:
步骤S601:从所述备选图像中确定当前待计算图像;
步骤S602:从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域;
假设当前待计算图像为图1,包括待搜索视觉词A和待搜索视觉词B,确定与待搜索视觉词A对应的备选关键区域为当前待计算关键区域。
步骤S603:确定与所述当前待计算关键区域对应的待搜索关键区域;
从待搜索图像中确定与待搜索视觉词A对应的待搜索关键区域。
步骤S604:依据所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征,计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点之间的映射矩阵;
待计算关键区域的中心点即该关键区域的几何特征中的X坐标和Y坐标对应的点。
步骤S605:依据映射矩阵变换所述当前待计算关键区域的中心点坐标;
步骤S606:利用变换后的坐标计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点的距离,确定所述距离为当前待计算关键区域的几何特征与所述待搜索关键区域的几何特征的匹配程度,距离越小匹配程度越高,并记录所述距离;
步骤S607:判断所述当前待计算图像所包含的与所述待搜索关键词对应的备选关键区域中是否存在未被计算备选关键区域,若是,则执行步骤S608,若否,则执行步骤S609;
步骤S608:确定下一未被计算备选关键区域为所述当前待计算关键区域,并返回执行步骤S603;
步骤S609:判断所述备选图像中是否存在未被计算图像,若是,则执行步骤S6010,若否则结束;
步骤S6010:确定下一未被计算图像为当前待计算图像,并返回执行步骤S602。
在经过图6所示流程后,将每一个备选图像中所包含的备选关键区域与其对应的待搜索关键区域间几何特征的匹配程度,在此基础上,本实施例中,所述依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值的过程如图7所示,可以包括:
步骤S701:从备选图像中确定当前待分析图像;
首先,确定图像1为当前待分析图像。
步骤S702:获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离;
图像1中所包含的待搜索视觉词为视觉词A和视觉词B,与视觉词A对应的备选关键区域的中心点与其对应的待搜索关键区域的中心点间的距离为5,与视觉词B对应的备选关键区域的中心点与其对应的待搜索关键区域的中心点间的距离为6。
步骤S703:分别将所述各个备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离与预设距离值进行比较,记录小于预设距离值的个数;
本实施例中的预设就离值为10图像1中所包含的与视觉词A对应的备选关键区域和与视觉词B对应的备选关键区域与对应的待搜索关键区域的中心点距离均小于10,记录的小于预设距离值的个数为2。
步骤S704:判断所述备选图像中是否存在未被分析图像,若是,则执行步骤S705,若否,则执行步骤S706;
步骤S705:确定下一未被分析图像为当前待分析图像,返回执行步骤S702;
如果存在未被分析图像2,则将图像2确定为当期待分析图像,重复上述过程,得到图像2所包含的各个待搜索视觉词对应的备选关键区域的中心点和与该待搜索视觉词对应的待搜索关键区域的中心点距离小于预设值的个数,假设为5。
步骤S706:根据各个备选图像中所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点的距离小于预设距离值的个数,设定各个备选图像的第二分值,设定规则为:个数越多,所述第二分值越大。
当全部待分析图像都被分析完后,得到图像1中各个待搜索视觉词对应的备选关键区域的中心点和与该待搜索视觉词对应的待搜索关键区域的中心点距离小于预设值的个数为2,而图像2中各个待搜索视觉词对应的备选关键区域的中心点和与该待搜索视觉词对应的待搜索关键区域的中心点距离小于预设值的个数为5,显然,图像2中各个待搜索视觉词对应的备选关键区域的中心点和与该待搜索视觉词对应的待搜索关键区域的中心点距离小于预设值的个数更多,即表示,图像1与待搜索图像更为相似。则给图像2设定一个较高的第二分值。从而保证按照由高到低的分值进行排序时,图像2能够排在更为靠前的位置。
本实施例中,为图像设定第二分值的过程可以有多种实现方式,例如,设定一个基本值10,将记录的每个图像各个待搜索视觉词对应的关键区域的倒排表颜色特征和与该待搜索视觉词对应的待搜索颜色特征间的距离小于预设值的个数与该基本值相乘,结果作为第二分值,该基本值可以为根据实际情况而设定的值,例如100或1000等。,将第二分值与第一分值相加,相加的结果作为综合分值。
为了使表述更加简明,本实施例采用对每一个图像依次进行分析的方式,但是,本实施例并不限定只能上述方式,其同样可以采用同时对多个图像进行分析的方式,从而提高图像搜索的效率。
本实施例公开的图像搜索方法中,对每一个图像都进行第一分值和第二分值的计算,然后根据第一分值和第二分值的和进行统一排序,确定各个图像的排序,以用于确定搜索结果。该方法中,通过计算与几何特征相对应的第二分值,将几何特征和现有图像搜索方法中所利用的底层特征相结合,提高了图像搜索结果的准确度。
参考图8,其示出了本申请一种图像搜索方法实施例3中,获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度的流程图,可以包括:
步骤S801:从备选图像中确定当前待计算图像;
步骤S802:从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域组;所述当前待计算关键区域组包括:第一待计算关键区域和当前第二待计算关键区域;
假设当前待计算图像为图像1,确定图像1中与待搜索视觉词A对应的备选关键区域为第一待计算关键区域,确定待搜索视觉词B对应的备选关键区域为第二待计算关键区域,两者组成当前待计算关键区域组。
步骤S803:确定分别与所述当前第一待计算关键区域和当前第二待计算关键区域对应的当前第一待搜索关键区域和当前第二待搜索关键区域;
确定待搜索图像中,与待搜索视觉词A对应的关键区域为当前第一待搜索关键区域,与待搜索视觉词B对应的关键区域为当前第二待搜索关键区域。
步骤S804:确定所述当前第一待计算关键区域的中心点为第一待计算点,确定所述当前第二待计算关键区域的中心点为第二待计算点,确定所述当前第一关键区域的中心点为第一待搜索点,确定所述当前第二关键区域的中心点为第二待搜索点;
步骤S805:依据所述当前第一待计算关键区域的几何特征、所述当前第二待计算关键区域的几何特征、当前第一待搜索关键区域的几何特征和所述当前第二待搜索关键区域的几何特征,计算所述第一待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第一待计算夹角、所述第二待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第二待计算夹角、所述第一待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第一待搜索夹角和所述第二待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第二待搜索夹角,并计算所述第一待计算夹角与所述第一待搜索夹角间的第一夹角差、计算所述第二待计算夹角与所述第二待搜索夹角间的第二夹角差,计算所述第一待计算点与所述第一待搜索点间的第一距离、第二待计算点与所述第二待搜索点间的第二距离;
假设本实施例中,所述第一待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第一待计算夹角为α1、所述第二待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第二待计算夹角为α2、所述第一待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第一待搜索夹角为β1;所述第二待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第二待搜索夹角为β2,计算得到所述第一待计算夹角与所述第一待搜索夹角间的第一夹角差为α11、计算所述第二待计算夹角与所述第二待搜索夹角间的第二夹角差为α22,计算得到的所述第一待计算点与所述第一待搜索点间的第一距离d1、第二待计算点与所述第二待搜索点间的第二距离d2,假设第一角度差为8°,第一距离d1为1个像素,第二角度差为9°,第二距离d2为2个像素。
步骤S806:确定所述第一夹角差、第一距离、第二夹角差和第二距离为所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征间的匹配程度参数,并记录;
步骤S807:判断所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中是否存在未被计算备选关键区域,若是,则执行步骤S808,若否,则执行步骤S809;
步骤S808:从未被计算备选关键区域中确定下一备选关键区域组作为当前待计算备选关键区域组,并返回执行步骤S803;
步骤S809:判断所述备选图像中是否存在未被计算图像,若是,则执行步骤S8010,若否,则结束;
步骤S8010:确定下一未被计算备选图像为当前待计算图像,并返回执行步骤S802。
本实施例中,通过将两个待计算关键区域组合成待计算关键区域组,利用两个待计算关键区域的几何特征与对应的待搜索关键区域组的几何特征得到第一夹角差、第一距离、第二夹角差和第二距离作为匹配程度参数,与图6中所示只利用一个备选关键区域的几何特征得到匹配程度相比,增加了备选图像中的不同备选关键区域间的相互约束关系,使得得到的匹配程度参数更加准确,进一步提高了搜索结果的准确度。在利用上述过程得到各个备选图像中各个待计算关键区域组对应的匹配程度参数后,按照如图9所示步骤,依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值,具体流程可以包括:
步骤S901:从备选图像中确定当前待分析图像;
步骤S902:获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域组的几何特征与该备选关键区域对应的待搜索关键区域组的几何特征之间的匹配程度参数;
图像1中包含的与待搜索视觉词A和待搜索视觉词B对应的备选关键区域组的匹配程度参数为:第一角度差8°,第一距离d1为1个像素,第二角度差9°,第二距离d2为2个像素。
步骤S903:分别获得所述匹配程度参数中的第一距离和第二距离;
步骤S904:计算所述第一距离与所述待搜索关键区域组中的第一待搜索关键区域的几何特征中的半径值的第一比值,计算所述第二距离与所述待搜索关键区域组中的第二待搜索关键区域的几何特征中的半径值的第二比值,计算所述第一距离与所述第一备选区域的几何特征中的半径值的第三比值和计算所述第二距离与所述第二备选区域的几何特征中的半径值的第四比值,并将所述第一比值与第二比值相除得到第五比值,将所述第三比值与第四比值相除得到第六比值;
假设第一待搜索关键区域的几何特征的半径为r11,第二待搜索关键区域的半径为r21,第一备选区域的几何特征中的半径为r12,第二备选区域的几何特征中的半径为r22。则:
第一比值D1=d1/r11;第二比值D2=d2/r21;第三比值D3=d1/r12;第四比值D4=d2/r22
第五比值D5=D1/D2;第六比值D6=D3/D4
步骤S905:分别将所述备选关键区域的几何特征与所述待搜索关键区域的几何特征之间的差值中的第一夹角差、第二夹角差与预设夹角值进行比较,将所述第五比值和第六比值与预设距离值、以及所述预设距离值的倒数进行比较;
假设预设夹角值为ξ1,预设距离值为ε2,其倒数为1/ε2
步骤S906:记录符合预设约束条件的待搜索视觉词组的个数,所述个数越多,所述匹配程度越高,所述预设约束条件为:所述第一夹角差和第二夹角差均小于所述预设夹角值,且第所述五比值和第六比值均大于所述预设距离值的倒数,小于所述预设距离值;
该约束条件用公式表述如下:
α11<ε1
α22<ε1
1/ε2<(d1/r11)/(d2/r21)<ε2
1/ε2<(d1/r12)/(d2/r22)<ε2
设定该约束条件的目的是,可以保证图像在旋转,尺度压缩,以及仿射变换下,仍然能满足这些约束条件,从而提高搜索结果的准确度,本实施例并不限定约束条件上式所述,任何一种在这些变形下仍然能满足的约束条件,都可以达到同样目的,都是本实施例所保护的范围。
步骤S907:判断所述备选图像中是否存在未被分析图像,若是,则执行步骤S908,若否,则执行步骤S909;
步骤S908,确定下一未被分析图像为当前待分析图像,返回执行步骤S902;
步骤S909:根据各个图像中所包含的符合预设约束条件的备选关键区域组的个数,设定各个图像的第二分值,设定规则为:个数越多,所述第二分值越大。
参考图10,其示出了本申请一种图像搜索方法实施例4的流程图,该实施例中按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序的具体流程可以包括:
步骤S 1001:获得各个备选图像出现的次数;
假设待搜索图像包含三个待搜索视觉词A、B、C,则分别获得三个待搜索视觉词对应的倒排表,统计倒排中每个备选图像出现的次数,视觉词A对应的倒排表中包含备选图像1和备选图像2,视觉词B对应的倒排表中包含备选图像1和备选图像2,视觉词C对应的倒排表中包含备选图像2,则备选图像1出现的次数为2,备选图像2出现的次数为3。
步骤S1002:依据备选图像出现的次数设定各个图像的第一分值,所述第一分值表示匹配程度,设定规则为:次数越多,所述第一分值越大;
具体的设定方式可以参考图5所示实施例。
步骤S1003:按照第一分值由高到低的顺序对各个备选图像进行排序;
步骤S1004:选择前N个备选图像作为初始目的图像,所述N为预先设定的整数;
本实施例中的N为5。
步骤S1005:分别获得各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度;
分别获得第一分值最高的前五幅备选图像中所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度。具体过程可以参考图6或图8所示流程。
步骤S1006:依据各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值,所述第二分值表示匹配程度,所述预设规则为:匹配程度越高,所述第二分值越大;
根据匹配程度,设定上述五幅图像的第二分值。当上述步骤S1005按照图6所示流程获得所述匹配程度时,本步骤的具体实现方式可以参考图7所示流程。当上述步骤S1005按照图8所示流程获得所述匹配程度时,本步骤的具体实现方式可以参考图9所示流程。
步骤S1007:分别确定各个初始目的图像的第一分值和第二分值之和为所述初始目的图像的综合分值;
获得五幅图像对应的综合分值。
步骤S1008:按照所述综合分值从大到小的顺序将所述初始目的图像进行排序。
按照综合分值由大到小的顺序排列所述五幅图像。
本实施例所公开的图像搜索方法中,首先根据图像的底层特征设定图像的第一分值,并利用第一分值由高到低的顺序对图像进行排序筛选,只保留排序在前N位的图像,作为初始目的图像,然后只计算初始目的图像中所包含的待搜索视觉词对应的备选关键区域的几何特征和各个图像所包含的待搜索视觉词对应的待搜索关键区域的几何特征的匹配程度,并设定初始目的图像的第二分值,然后利用第一分值与第二分值之和,对初始目的图像进行排序。与图5所示实施例相比,本实施例中只需计算按照第一分值进行筛选后得到的初始目的图像中所包含的待搜索视觉词对应的备选关键区域的几何特征和各个图像所包含的待搜索视觉词对应的待搜索关键区域的几何特征的匹配程度,而并非对全部备选图像都作此处理,因此,大大缩减了图像搜索过程中的运算时间,降低了运算复杂度,保证了图像搜索结果准确度的前提下,进一步提高了搜索的效率。
需要注意的是,在设定返回的图像的数量时,需要考虑到本实施例中设定的N的值,该设定数量要小于等于N的值。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述本申请一种图像搜索方法实施例1所提供的方法相对应,参见图11,本申请还提供了一种图像搜索装置实施例1,在本实施例中,该系统可以包括:
确定模块1101,用于确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;
查询模块1102,用于查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
排序模块1103,用于按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;
发送模块1104,用于依据排序的先后返回设定数量的图像。
本实施例公开的图像搜索装置的各个部件的功能请参考上述方法实施例,在此不再赘述。
本实施例公开的图像搜索装置,通过在进行图像搜索时,利用关键区域的几何信息与视觉词相结合的方式查找与待搜索图像相匹配的图像,然后按照匹配程度对图像进行排序,依据排序的先后返回设定数量的图像,从而实现提高搜索结果的准确度的目的,并且,避免出现由于搜索结果准确度低而造成用户多次向服务器请求搜索目标图像,导致服务器重复或者反复响应同一幅目标图像的搜索请求,而增加了服务器的负担,以及向用户多次发送不满足需求的图像,而浪费大量的网络传输资源的现象,降低了服务器的负担,减小了对网络传输资源的浪费,从而减轻了服务器的负担,节约了网络传输资源。
本实施例所述的装置可以集成到第三方交易平台的服务器上,也可以单独作为一个实体与第三方交易平台的服务器相连,另外,需要说明的是,当本申请所述的方法采用软件实现时,可以作为第三方交易平台的服务器新增的一个功能,也可以单独编写相应的程序,本申请不限定所述方法或系统的实现方式。
本申请还提供了一种服务器,所述的服务器包括了上文所述的图像搜索装置,值得一提的是,本领域技术人员可以理解,所述的服务器不只包括上述图像搜索装置。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种图像搜索方法、装置及服务器进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像搜索方法,其特征在于,包括:
确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征,所述几何特征用于表示所述待搜索关键区域的几何信息;
查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;
依据排序的先后返回设定数量的图像。
2.根据权利要求1所述的方法,其特征在于,所述倒排表中包含的各个图像标识对应的备选图像中与所述视觉词对应的备选关键区域的几何特征至少包括:所述备选关键区域的位置信息、大小和主方向;
相应的,所述待搜索图像的待搜索关键区域的几何特征至少包括:所述待搜索关键区域的位置信息、大小和主方向。
3.根据权利要求2所述的方法,其特征在于,按照以下步骤提取所述关键区域几何特征,并添加到倒排表中:
确定所述倒排表包含的各个图像标识对应的备选图像中,与所述倒排表所包含的视觉词对应的备选关键区域的中心位置横坐标和中心位置纵坐标,根据预先设定的量化标准值量化所述中心位置横坐标和中心位置纵坐标,分别记录所述中心位置横坐标和中心位置纵坐标的量化结果,所述量化结果为所述关键区域的位置信息;
确定所述备选关键区域的半径,记录所述半径;
分析所述备选关键区域内的梯度分布,确定梯度最大的方向为所述关键区域的主方向,并记录所述主方向;
将所述备选关键区域的位置信息、半径和主方向添加到所述倒排表中与所述图像标识对应的位置。
4.根据权利要求3所述的方法,其特征在于,所述按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序的过程包括:
获得所述各个备选图像出现的次数;
分别确定所述各个备选图像中所包含的待搜索视觉词,并分别获得各个图像中,所包含的备选关键区域的几何特征与该备选关键区域对应的待搜索关键区域的几何特征之间的匹配程度;
依据各个备选图像出现的次数设定各个备选图像的第一分值,所述第一分值表示匹配程度,设定规则为:次数越多,所述第一分值越大;依据各个备选图像中所包含的待搜索关键区域的几何特征与该待搜索关键区域的几何特征对应的备选关键区域的几何特征之间的匹配程度,按照预设规则,设置各个备选图像的第二分值,所述第二分值表示匹配程度;
分别确定各个备选图像的第一分值和第二分值之和为所述备选图像对应的综合分值;
按照所述综合分值从大到小的顺序将所述备选图像进行排序。
5.根据权利要求3所述的方法,其特征在于,所述按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序的过程包括:
获得各个备选图像出现的次数;
依据备选图像出现的次数设定各个图像的第一分值,所述第一分值表示匹配程度;
按照第一分值由高到低的顺序对各个备选图像进行排序;
选择前N个备选图像作为初始目的图像,所述N为预先设定的整数;
分别获得各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度;
依据各个初始目的图像中,所包含的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值,所述第二分值表示匹配程度;
分别确定各个初始目的图像的第一分值和第二分值之和为所述初始目的图像的综合分值;
按照所述综合分值从大到小的顺序将所述备选图像进行排序。
6.根据权利要求4或5所述的方法,其特征在于,获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度的过程包括:
从所述备选图像中确定当前待计算图像,并从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域;
确定与所述当前待计算关键区域对应的待搜索关键区域;
依据所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征,计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点之间的映射矩阵;
依据映射矩阵变换所述当前待计算关键区域的中心点坐标;
利用变换后的坐标计算所述当前待计算关键区域的中心点与所述待搜索关键区域的中心点的距离,确定所述距离为当前待计算关键区域的几何特征与所述待搜索关键区域的几何特征的匹配程度,距离越小匹配程度越高,并记录;
当所述当前待计算图像所包含的与所述待搜索关键词对应的备选关键区域中存在未被计算备选关键区域时,确定下一未被计算备选关键区域为所述当前待计算关键区域,并返回执行确定与所述当前待计算关键区域对应的待搜索关键区域的步骤;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域中不存在未被计算关键区域,且备选图像中存在未被计算图像时,确定下一未被计算图像为当前待计算图像,并返回执行从所述当前待计算图像所包含与所述待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域的步骤;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域不存在未被计算视觉词,且不存在未被计算图像时,结束。
7.根据权利要求6所述的方法,其特征在于,所述依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值的过程包括:
从备选图像中确定当前待分析图像,并获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离;
分别将所述各个备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离与预设距离值进行比较,记录小于预设距离值的个数;
当备选图像中存在未被分析图像时,确定下一未被分析图像为当前待分析图像,返回执行获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点之间的距离的步骤;
当备选图像中不存在未被分析图像时,根据各个备选图像中所包含的与所述待搜索视觉词对应的备选关键区域的中心点与该备选关键区域对应的待搜索关键区域的中心点的距离小于预设距离值的个数,设定各个备选图像的第二分值。
8.根据权利要求4或5所述的方法,其特征在于,获得各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度的过程包括:
从备选图像中确定当前待计算图像,并从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中确定出当前待计算关键区域组;,所述当前待计算关键区域组包括:第一待计算关键区域和当前第二待计算关键区域;
确定分别与所述当前第一待计算关键区域和当前第二待计算关键区域对应的当前第一待搜索关键区域和当前第二待搜索关键区域;
确定所述当前第一待计算关键区域的中心点为第一待计算点,确定所述当前第二待计算关键区域的中心点为第二待计算点,确定所述当前第一关键区域的中心点为第一待搜索点,确定所述当前第二关键区域的中心点为第二待搜索点;
依据所述当前第一待计算关键区域的几何特征、所述当前第二待计算关键区域的几何特征、当前第一待搜索关键区域的几何特征和所述当前第二待搜索关键区域的几何特征,计算所述第一待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第一待计算夹角、所述第二待计算点的主方向与所述第一待计算点与所述第二待计算点连线间的第二待计算夹角、所述第一待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第一待搜索夹角和所述第二待搜索点的主方向与所述第一待搜索点与所述第二待搜索点连线间的第二待搜索夹角,并计算所述第一待计算夹角与所述第一待搜索夹角间的第一夹角差、计算所述第二待计算夹角与所述第二待搜索夹角间的第二夹角差,计算所述第一待计算点与所述第一待搜索点间的第一距离、第二待计算点与所述第二待搜索点间的第二距离;
确定所述第一夹角差、第一距离、第二夹角差和第二距离为所述当前待计算关键区域的几何特征和所述待搜索关键区域的几何特征间的匹配程度参数,并记录;
当所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域存在未被计算备选关键区域时,从未被计算备选关键区域中确定下一备选关键区域组作为当前待计算备选关键区域组,并返回执行确定所述当前第一待计算关键区域,确定所述当前第二待计算关键区域的过程;
当所述当前待计算图像所包含的与所述待搜索视觉词对应的备选关键区域中不存在未被计算备选关键区域,且所述备选图像中存在未被计算图像时,确定下一未被计算备选图像为当前待计算图像,并返回执行从所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域组的步骤;
当所述当前待计算图像所包含的与待搜索视觉词对应的备选关键区域中不存在未被计算备选关键区域,且不存在未被计算图像时,结束。
9.根据权利要求8所述的方法,其特征在于,所述依据各个图像中,所包含的与所述待搜索视觉词对应的备选关键区域的几何特征与该备选关键区域的对应的待搜索关键区域的几何特征之间的匹配程度,按照预设规则,设定所述各个待处理图像的第二分值的过程包括:
从备选图像中确定当前待分析图像,并获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域组的几何特征与该备选关键区域对应的待搜索关键区域组的几何特征之间的匹配程度参数;
分别获得所述匹配程度参数中的第一距离和第二距离;
计算所述第一距离与所述待搜索关键区域组中的第一待搜索关键区域的几何特征中的半径值的第一比值,计算所述第二距离与所述待搜索关键区域组中的第二待搜索关键区域的几何特征中的半径值的第二比值,计算所述第一距离与所述第一备选区域的几何特征中的半径值的第三比值和计算所述第二距离与所述第二备选区域的几何特征中的半径值的第四比值,并将所述第一比值与第二比值相除得到第五比值,将所述第三比值与第四比值相除得到第六比值;
分别将所述备选关键区域的几何特征与所述待搜索关键区域的几何特征之间的差值中的第一夹角差、第二夹角差与预设夹角值进行比较,将所述第五比值和第六比值与预设距离值、以及所述预设距离值的倒数进行比较;
记录符合预设约束条件的待搜索视觉词组的个数,所述个数越多,所述匹配程度越高,所述预设约束条件为:所述第一夹角差和第二夹角差均小于所述预设夹角值,且第所述五比值和第六比值均大于所述预设距离值的倒数,小于所述预设距离值;
当存在未被分析图像时,确定下一未被分析图像为当前待分析图像,返回获取所述当前待分析图像所包含的与所述待搜索视觉词对应的备选关键区域组的几何特征与该备选关键区域对应的待搜索关键区域组的几何特征之间的差值;
当不存在未被分析图像时,根据各个图像中所包含的符合预设约束条件的备选关键区域组的个数,设定各个图像的第二分值,设定规则为:个数越多,所述第二分值越大。
10.一种图像搜索装置,其特征在于,包括:
确定模块,用于确定待搜索图像的所有待搜索关键区域对应的待搜索视觉词及所述待搜索关键区域的几何特征;
查询模块,用于查询与所有待搜索关键区域的待搜索视觉词对应的倒排表,所述倒排表包含各个图像标识对应的备选图像中与所述待搜索视觉词对应的备选关键区域的几何特征;
排序模块,用于按照综合分值从大到小的顺序将所有倒排表中图像标识指示的备选图像进行排序,所述综合分值由备选图像的重复次数及该备选图像与所述待搜索图像之间对应关键区域的几何特征的匹配程度确定;
发送模块,用于依据排序的先后返回设定数量的图像。
CN201110415494.6A 2011-12-13 2011-12-13 一种图像搜索方法及装置 Active CN103164436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110415494.6A CN103164436B (zh) 2011-12-13 2011-12-13 一种图像搜索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110415494.6A CN103164436B (zh) 2011-12-13 2011-12-13 一种图像搜索方法及装置

Publications (2)

Publication Number Publication Date
CN103164436A true CN103164436A (zh) 2013-06-19
CN103164436B CN103164436B (zh) 2017-06-16

Family

ID=48587530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110415494.6A Active CN103164436B (zh) 2011-12-13 2011-12-13 一种图像搜索方法及装置

Country Status (1)

Country Link
CN (1) CN103164436B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633480A (zh) * 2017-09-14 2018-01-26 光锐恒宇(北京)科技有限公司 一种图像处理方法和装置
CN109919161A (zh) * 2019-04-01 2019-06-21 成都大学 基于图像识别的通信方法及装置
CN110275970A (zh) * 2019-06-21 2019-09-24 北京达佳互联信息技术有限公司 图像检索的方法、装置、服务器及存储介质
CN110309335A (zh) * 2019-07-03 2019-10-08 腾讯科技(深圳)有限公司 一种图片匹配方法、装置、设备及存储介质
CN112836069A (zh) * 2021-04-22 2021-05-25 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索系统
CN113590861A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种图片信息的处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067143A1 (en) * 2001-02-17 2002-08-29 The University Of Nottingham Image analysis for image database indexing
CN102201001A (zh) * 2011-04-29 2011-09-28 西安交通大学 基于倒排技术的快速检索方法
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002067143A1 (en) * 2001-02-17 2002-08-29 The University Of Nottingham Image analysis for image database indexing
CN102201001A (zh) * 2011-04-29 2011-09-28 西安交通大学 基于倒排技术的快速检索方法
CN102254015A (zh) * 2011-07-21 2011-11-23 上海交通大学 基于视觉词组的图像检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周文罡: "基于局部特征的视觉上下文分析及其应用", 《中国博士学位论文全文数据库》, 15 September 2011 (2011-09-15) *
贾增朝: "用于图像检索的视觉词汇树研究", 《中国优秀硕士学位论文全文数据库》, 15 August 2011 (2011-08-15) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633480A (zh) * 2017-09-14 2018-01-26 光锐恒宇(北京)科技有限公司 一种图像处理方法和装置
CN109919161A (zh) * 2019-04-01 2019-06-21 成都大学 基于图像识别的通信方法及装置
CN110275970A (zh) * 2019-06-21 2019-09-24 北京达佳互联信息技术有限公司 图像检索的方法、装置、服务器及存储介质
CN110275970B (zh) * 2019-06-21 2022-05-06 北京达佳互联信息技术有限公司 图像检索的方法、装置、服务器及存储介质
CN110309335A (zh) * 2019-07-03 2019-10-08 腾讯科技(深圳)有限公司 一种图片匹配方法、装置、设备及存储介质
CN110309335B (zh) * 2019-07-03 2023-01-06 腾讯科技(深圳)有限公司 一种图片匹配方法、装置、设备及存储介质
CN113590861A (zh) * 2020-04-30 2021-11-02 北京搜狗科技发展有限公司 一种图片信息的处理方法、装置及电子设备
CN112836069A (zh) * 2021-04-22 2021-05-25 泰德网聚(北京)科技股份有限公司 一种基于图像关键词的自识别检索系统

Also Published As

Publication number Publication date
CN103164436B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN111444394B (zh) 获取实体间关系表达的方法、系统和设备、广告召回系统
CN107220365B (zh) 基于协同过滤与关联规则并行处理的精准推荐系统及方法
CN108885624B (zh) 信息推荐系统及方法
US9530081B2 (en) Similarity detecting apparatus and directional nearest neighbor detecting method
US20100114888A1 (en) Digital image retrieval by aggregating search results based on visual annotations
CN103164436A (zh) 一种图像搜索方法及装置
US8958817B1 (en) Weighted-distance spatial indexing
CN109993627B (zh) 推荐方法、推荐模型的训练方法、装置和存储介质
CN104933100A (zh) 关键词推荐方法和装置
CN108153909B (zh) 关键词投放拓词方法、装置及电子设备、存储介质
US20220261591A1 (en) Data processing method and apparatus
CN114036398B (zh) 内容推荐和排序模型训练方法、装置、设备以及存储介质
CN112380462A (zh) 参展路径规划方法、装置、服务器及计算机可读存储介质
CN110532351A (zh) 推荐词展示方法、装置、设备及计算机可读存储介质
CN111553279B (zh) 兴趣点的表征学习、识别方法、装置、设备及存储介质
CN113657087B (zh) 信息的匹配方法及装置
CN112711713B (zh) 兴趣点推荐和展示方法、装置、计算机设备和存储介质
US20140325405A1 (en) Auto-completion of partial line pattern
CN111159563A (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN110928992A (zh) 文本搜索方法、装置、服务器及存储介质
CN111932308A (zh) 数据推荐方法、装置和设备
CN103164433A (zh) 一种图像搜索方法、装置及服务器
CN103399957A (zh) 搜索方法、系统、搜索引擎和客户端
CN114175017A (zh) 模型构建方法、分类方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1182471

Country of ref document: HK

GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1182471

Country of ref document: HK