CN103226589B - 获取图像的紧凑全局特征描述子的方法及图像检索方法 - Google Patents

获取图像的紧凑全局特征描述子的方法及图像检索方法 Download PDF

Info

Publication number
CN103226589B
CN103226589B CN201310127331.7A CN201310127331A CN103226589B CN 103226589 B CN103226589 B CN 103226589B CN 201310127331 A CN201310127331 A CN 201310127331A CN 103226589 B CN103226589 B CN 103226589B
Authority
CN
China
Prior art keywords
image
bit stream
global characteristics
gradient vector
density function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310127331.7A
Other languages
English (en)
Other versions
CN103226589A (zh
Inventor
段凌宇
林杰
陈杰
杨爽
李冰
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201310127331.7A priority Critical patent/CN103226589B/zh
Publication of CN103226589A publication Critical patent/CN103226589A/zh
Priority to PCT/CN2014/074919 priority patent/WO2014166376A1/zh
Application granted granted Critical
Publication of CN103226589B publication Critical patent/CN103226589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种获取图像的紧凑全局特征描述子的方法及图像检索方法,其中,该方法包括:获取图像的至少一个局部特征描述子,从所有的局部特征描述子中选取一个或多个局部特征描述子,将所选取的局部特征描述子进行降维,获得降维后的局部特征描述子;根据第一规则,将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子;将全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子;其中,全局特征描述子的字节大小可根据第一规则中的参数值的变化而变化。上述方法获取的全局视觉特征更加紧凑并具有可伸缩性,解决了现有技术中内存较低的移动终端上空间不足的缺陷。

Description

获取图像的紧凑全局特征描述子的方法及图像检索方法
技术领域
本发明实施例涉及计算机领域,尤其涉及一种获取图像的紧凑全局特征描述子的方法及图像检索方法。
背景技术
随着智能终端的发展,移动视觉搜索应用越来越多。当前,基于智能终端的图像检索方法包括:1)在移动客户端提取图像的局部特征描述子;2)对提取到的局部特征描述子进行压缩;3)通过网络将压缩后的局部特征描述子传输给服务器,以使服务器根据局部特征描述子在服务器的数据库中进行查找,并将查找的结果发送至移动客户端。
然而,上述图像检索方法的局部特征压缩以及建立倒排等索引文件的计算量较高,特别地,图像检索方法中获取的局部特征描述子占用较大的空间,由此,根据当前的网络带宽,移动客户端存在无法较快地将局部特征描述子发送至服务器的问题。另外,由于局部特征描述子占用的较大的空间,故服务器根据移动客户端传送的局部特征描述子查找匹配的过程也非常迟缓,进而严重影响了检索系统的查询响应时间,降低了查询效率。
此外,现有技术还提出一种利用全局视觉特征进行图像检索的方法,该方法在提取全局特征描述子的过程中,所使用的特征降维方法和描述子压缩方法需要大量的存储空间用于存储降维矩阵和量化表等,在内存较低的移动终端上无法实现,同时,全局特征描述子的长度为固定长度,其无法应用于各种检索条件下,进而影响图像搜索的性能。
发明内容
针对上述缺陷,本发明实施例提供一种获取图像的紧凑全局特征描述子的方法及图像检索方法。
一方面,本发明实施例提供一种获取图像的紧凑全局特征描述子的方法,包括:获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合;
根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集;
将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;
根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子;
将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子。
可选地,将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子,包括:采用降维矩阵对所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;其中,所述降维矩阵为采用降维方式训练预设的第一图像数据集之后得到的矩阵。
可选地,所述根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子,包括:
根据Fisher向量生成规则,对所述降维后的局部特征描述子进行转换,得到累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;以及
根据Fisher向量稀疏性判别规则,对所述累积梯度向量集合进行处理,并生成用于表达所述图像视觉特征的全局特征描述子。
可选地,所述Fisher向量生成规则包括离线步骤和在线步骤。
相应地,根据Fisher向量生成规则,对所述降维后的局部特征描述子进行转换,得到累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量,包括:
所述Fisher向量生成规则的离线步骤包括:训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
所述Fisher向量生成规则的在线步骤包括:根据所述概率分布模型中的每一概率密度函数,将每一降维后的局部特征描述子转换为梯度向量,得到针对每一概率密度函数的梯度向量集合;
针对每一概率密度函数的梯度向量集合,求所有所述梯度向量的平均值,得到每一概率密度函数对应的累积梯度向量;
所述概率分布模型的M个概率密度函数各自对应的累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;
或者,所述Fisher向量生成规则的在线步骤为:
根据所述概率分布模型中的每一概率密度函数,将每一降维后的局部特征描述子转换为一个或多个不同类型的梯度向量,得到针对每一概率密度函数的梯度向量集合;
针对每一概率密度函数的梯度向量集合,分别求每种类型的所有梯度向量的平均值,得到每一概率密度函数对应的一个或多个不同类型的累积梯度向量;
所述概率分布模型的M个概率密度函数各自对应的一个或多个不同类型的累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;
所述Fisher向量稀疏性判别规则为基于统计量的稀疏性判别规则,或者基于概率的稀疏性判别规则;
相应地,所述根据Fisher向量稀疏性判别规则,对所述累积梯度向量集合进行处理,并生成用于表达所述图像视觉特征的全局特征描述子,包括:
获取所述累积梯度向量集合中的每一累积梯度向量的所有维度的数值的统计量;
将所有累积梯度向量的统计量按照从大到小依次排序,选取排序中前K个统计量对应的累积梯度向量,将选取的K个所述累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,获取所述累积梯度向量集合中的每种类型的每一累积梯度向量的所有维度的数值的统计量;
将每种类型的所有累积梯度向量的统计量按照从大到小依次排序,选取所述每种类型的所有累积梯度向量的统计量的排序中前K个统计量对应的累积梯度向量,将选取的每种类型的K个累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,获取所述累积梯度向量集合中的某一类型的每一所述累积梯度向量的所有维度的数值的统计量;
将所述某一类型的所有累积梯度向量的统计量按照从大到小依次排序,选取排序中前K个统计量对应的累积梯度向量,将选取的K个累积梯度向量及相应概率密度函数对应的其他类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,针对所述概率分布模型中的每一概率密度函数求得每一所述降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取所述概率密度函数;
将选取的所述概率密度函数对应的所述累积梯度向量保留,并将所有保留的所述累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,针对所述概率分布模型中的每一概率密度函数求得每一所述降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取该概率密度函数;
将选取的所述概率密度函数对应的一个或多个不同类型的累积梯度向量保留,并将所有保留的所述一个或多个不同类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
可选地,所述全局特征描述子的字节大小根据所述第一规则中的参数值的变化而变化,相应地,在所述全局特征描述子的字节大小变化时,所述紧凑全局特征描述子的字节大小也相应变化。
可选地,所述将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子,包括:根据数据压缩规则,将所述全局特征描述子中各维度的数值均用1个比特位表示。
由上述技术方案可知,本发明实施例的获取图像的紧凑全局特征描述子的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子。上述方法获取的紧凑全局特征描述子利用了图像视觉特征的统计特性,更加紧凑并具有可伸缩性,解决了现有技术中内存较低的移动终端上空间不足的缺陷。特别地,上述的紧凑全局特征描述子为可伸缩的紧凑全局特征描述子,该可伸缩性表现在该紧凑全局特征描述子在结构上具有渐进性,即通过累进式地追加新特征可以实现对图像越来越准确的描述。
另一方面,本发明实施例提供一种采用紧凑全局特征描述子生成比特流的方法,包括:如上任一所述的获取图像的紧凑全局特征描述子的方法,以及,还包括:
根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流。
可选地,所述比特流包括头部和非头部,所述第一规则中Fisher向量生成规则的离线步骤包括:训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
相应地,根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流,包括:
所述比特流的头部的所有维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则所述与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0;
或者,所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流的头部的剩余维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则所述与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0;
或者,所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流头部的剩余维度的长度为所述概率分布模型中的概率密度函数的个数与所述概率密度函数对应的累积梯度向量的类别数的乘积,且所述概率分布模型中的一概率密度函数对应的每一累积梯度向量对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的一累积梯度向量用于组成所述全局特征描述子,则所述与该累积梯度向量对应的所述比特流的头部的相应维度的数值为1,否则为0;
将所述紧凑全局特征描述子组成所述比特流的非头部。
由上述技术方案可知,本发明实施例的采用紧凑全局特征描述子生成比特流的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像全局视觉特征的比特流。上述方法获取的比特流占用空间非常小,解决了现有技术中网络带宽限制时图像检索能力低下的问题。
第三方面,本发明实施例提供一种基于比特流进行图像匹配的方法,包括:
如上任一所述的采用紧凑全局特征描述子生成比特流的方法,以及,还包括:
根据目标图像的比特流的头部和待匹配图像的比特流的头部,确定所述目标图像的全局特征描述子和所述待匹配图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量;
若包含,则分别从目标图像的比特流的非头部与待匹配图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩后生成的全部比特位;
计算从目标图像的比特流的非头部取出的所述全部比特位和从待匹配图像的比特流的非头部取出的所述全部比特位之间的基于汉明距离的相似度;
根据所述基于汉明距离的相似度判定目标图像与待匹配图像是否匹配。
由上述技术方案可知,本发明实施例的基于比特流进行图像匹配的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像视觉特征的比特流,所述比特流的特点是可以对不同字节大小的比特流进行比较,实现了图像匹配过程中的互操作,增加了图像匹配过程的灵活性。
第四方面,本发明实施例提供一种图像检索方法,包括:
客户端采用如上任一所述的采用紧凑全局特征描述子生成比特流的方法获取用于表达目标图像视觉特征的比特流,以及,还包括:
所述客户端将所述目标图像的比特流传输至服务器;
所述服务器根据上述任一所述的采用紧凑全局特征描述子生成比特流的方法获取用于表达所述服务器内图像库中任一图像视觉特征的比特流;
所述服务器将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流;
所述服务器选择性地对所述前Q个基于汉明距离的相似度最大的服务器内的图像库中图像的比特流对应的图像进行后期处理;
所述服务器将经过所述后期处理获得的服务器内的图像库中图像发送至所述客户端。
可选地,所述服务器将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流,包括:
所述服务器根据所述目标图像的比特流的头部和所述服务器内的图像库中的任一图像的比特流的头部,确定所述目标图像的全局特征描述子和所述服务器内的图像库中的任一图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量;
若包含,则从目标图像的比特流的非头部与所述服务器内的图像库中相应图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩生成的全部比特位;
计算从目标图像的比特流取出的所述全部比特位和从所述服务器内的图像库中相应图像的比特流取出的所述全部比特位之间的基于汉明距离的相似度;
获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流。
由上述技术方案可知,本发明实施例的图像检索方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像视觉特征的比特流并发送至服务器,以使服务器查找相似的图像。上述方法可以在内存消耗和可伸缩性上满足不同图像搜索应用的需求,并且能够进一步提升图像搜索和匹配的性能,能更好地应用于基于移动终端的图像搜索。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作一简单地介绍,显而易见地:下面附图只是本发明的一些实施例的附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得同样能实现本发明技术方案的其它附图。
图1为本发明一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图;
图2至图5为本发明另一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图;
图6和图7为本发明另一实施例提供的采用紧凑全局特征描述子生成比特流的方法的流程示意图;
图8为本发明一实施例提供的基于比特流进行图像匹配的方法的流程示意图;
图9为本发明一实施例提供的获取图像的紧凑全局特征描述子的装置的结构示意图;
图10为本发明一实施例提供的比特流生成装置的结构示意图;
图11为本发明一实施例提供的图像检索系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述。显然,下述的各个实施例都只是本发明一部分的实施例。基于本发明下述的各个实施例,本领域普通技术人员即使没有作出创造性劳动,也可以通过等效变换部分甚至全部的技术特征,而获得能够解决本发明技术问题,实现本发明技术效果的其它实施例,而这些变换而来的各个实施例显然并不脱离本发明所公开的范围。
图1示出了本发明一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图,如图1所示,本实施例中的获取图像的紧凑全局特征描述子的方法如下所述。
需要说明的是,本实施例中的紧凑全局特征描述子可以是在任一设备上进行,本实施例不限制其执行主体为客户端还是服务器。
101、获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合。
举例来说,上述提及的图像可以是任意一幅图像,如,该图像可以是具有文件的照片,或者是手绘的图片,油画图像,从视频中截取的帧,地标照片、或者物品照片等,本实施例不限定上述图像的类型和图像的内容。
特别地,获取图像的至少一个局部特征描述子的方式为现有的方式,举例来说,上述的局部特征描述子可为尺度不变描述子(ScaleInvariantFeatureTransform,简称:SIFT),或者,上述的局部特征描述子可为快速鲁棒的尺度不变特征描述子(SpeededUpRobustFeatures,简称:SURF),或其他局部特征描述子。
应了解的是,SIFT或SURF的提取方式可为现有的提取方式,本实施例不再详述。通常,SIFT的维度为128维,SURF的维度为64维。
102、根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集。
举例来说,若图像的局部特征描述子的总数为1000个,则可以选取300个局部特征描述子组成第一子集。
另外,若图像的局部特征描述子的总数为150个,则可以将150个局部特征描述子组成第一子集。
可选地,如下图2中所举例的图像的局部特征描述子的选择方式。
103、将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子。
104、根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。
105、将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子。
可以理解的是,本实施例中的紧凑全局特征描述子为可伸缩性的紧凑全局特征描述子。例如,在具体的实现过程中,所述全局特征描述子的字节大小可根据所述第一规则中的参数值的变化而变化,紧凑全局特征描述子的字节大小也会相应变化。
由上述技术方案可知,本发明实施例的获取图像的紧凑全局特征描述子的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子。上述方法获取的紧凑全局特征描述子利用了图像视觉特征的统计特性,更加紧凑并具有可伸缩性,解决了现有技术中内存较低的移动终端上空间不足的缺陷。特别地,上述的紧凑全局特征描述子为可伸缩的紧凑全局特征描述,该可伸缩性表现在该紧凑全局特征描述子在结构上具有渐进性,即通过累进式地追加新特征可以实现对图像越来越准确的描述。
图2示出了本发明另一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图,在上述图1所示的实施例的基础上,在本实施例中,上述步骤102可包括如下的子步骤1021至子步骤1023。
本实施例中对于一幅图像,提取一个以上SIFT,从所有SIFT中选取包含N个SIFT的子集,所述子集中的SIFT用于后续的全局特征描述子的生成使用,其中N大于0。本实施例中N为300。
需要注意的是,当上述图像提取的SIFT的个数小于N时,则选取图像的所有SIFT作为子集中的元素。
1021、分别对若干匹配图像对和非匹配图像对提取所述SIFT。
其中,匹配图像对是指包含同一个物体或同一个场景的两幅图像,非匹配图像对是指包含不同物体或不同场景的两幅图像。这些匹配图像对和非匹配图像对不包括上述步骤101中的待执行操作的图像。
1022、通过统计,获得所述SIFT的不同特性在正确匹配的SIFT和误匹配SIFT中的概率分布;
其中,不同特性可以包括,如:尺度、方向、高斯差分的峰值、到图像中心的距离等。
1023、基于上述概率分布,计算当步骤101中的待执行操作的图像的SIFT的各个特性分别处于某一取值范围时,所述SIFT正确匹配的概率,根据所述概率从步骤101中的待执行操作的图像的所有SIFT中选取一个或多个SIFT。
其中,假设所述SIFT的不同特性统计独立,所述SIFT正确匹配的概率为基于不同特性计算的SIFT正确匹配的概率的乘积,并以此作为选取SIFT子集中的元素的依据。
在实际应用中,也可以采用其他局部特征描述子的选择方法,不限于上述举例的步骤1021至步骤1023。
需要说明的是,若干匹配图像对和非匹配图像对与待生成紧凑全局特征描述子的图像是不同的。特别地,上述步骤1021和步骤1022是可以预先获取的,即离线获取然后存储在设备中的。
图3示出了本发明另一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图,在上述图1所示的实施例的基础上,在本实施例中,上述步骤103可包括如下的子步骤1031。
103、将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子,包括:
1031、采用降维矩阵对所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;
其中,所述降维矩阵为采用降维方式训练预设的第一图像数据集之后得到的矩阵。
举例来说,降维方式可以是主成分分析、线性判别分析等方式,其中主成分分析方式可以参考“Jolliffe,I.T.(1986).PrincipalComponentAnalysis.Springer-Verlag.pp.487.”中所公开的内容。
本发明的实施例中,降维方式可主要采用主成分分析方式。
需要说明的是,上述的第一图像数据集不包括上述步骤101中提及的用于生成紧凑全局特征描述子的图像。
进一步地,在图2所示的实施例的基础上,上述的103的子步骤可为如下的图中未示出的子步骤1031’。
1031’,利用降维矩阵分别对选取的N个SIFT进行降维,将SIFT的维度从128维降至32维。
本发明的实施例中,降维方式可主要采用主成分分析方式。
需要注意的是,不同的局部特征描述子的维度可能不同。特别地,可以将不同的局部特征描述子选择降至不同的维度,该维度由上述的降维矩阵决定。上述仅为举例说明,本实施例不对其进行限定。
在本实施例中,对选取的第一子集中的局部特征描述子降维的目的在于,可以减小生成的图像的全局特征描述子的维度,进而可以减小最终生成的图像的紧凑全局特征描述子的维度;进一步地,通过降维操作,可以消除选取的第一子集中的局部特征描述子中的冗余信息,进而提升图像搜索和匹配的性能。
图4示出了本发明另一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图,在上述图1所示的实施例的基础上,在本实施例中,上述步骤104可包括如下的子步骤1041和1042。
104、根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子,包括:
1041、根据Fisher向量(FisherVector)生成规则,对所述降维后的局部特征描述子进行转换,得到累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量。
1042、根据Fisher向量稀疏性判别规则,对所述累积梯度向量集合进行处理,并生成用于表达所述图像视觉特征的全局特征描述子。
举例来说,上述步骤1041中的所述Fisher向量生成规则可包括离线步骤和在线步骤:
其中,所述Fisher向量生成规则的离线步骤包括:
训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
所述Fisher向量生成规则的在线步骤包括:
根据所述概率分布模型中的每一概率密度函数,将每一所述降维后的局部特征描述子转换为梯度向量,得到针对所述每一概率密度函数的梯度向量集合;
针对所述每一概率密度函数的梯度向量集合,求所有所述梯度向量的平均值,得到每一概率密度函数对应的累积梯度向量。
所述概率分布模型的M个概率密度函数各自对应的所述累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量。
在其他实施例中,前述的Fisher向量生成规则的在线步骤也可以如下:
根据所述概率分布模型中的每一概率密度函数,将每一降维后的局部特征描述子转换为一个或多个不同类型的梯度向量,得到针对每一概率密度函数的梯度向量集合;
针对每一概率密度函数的梯度向量集合,分别求每种类型的所有梯度向量的平均值,得到每一概率密度函数对应的一个或多个不同类型的累积梯度向量;
所述概率分布模型的M个概率密度函数各自对应的一个或多个不同类型的累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量。
其中,本实施例中的梯度向量可以为多个不同类型,每种类型对应一个梯度向量。前述的一个或多个不同类型的梯度向量具体含义为,某一种类型的一个梯度向量,或者多种不同类型的多个梯度向量。
相应地,本实施例中的累积梯度向量也可以为多个不同类型,每种类型对应一个累积梯度向量。前述的一个或多个不同类型的累积梯度向量具体含义为,某一种类型的一个累积梯度向量,或者多种不同类型的多个累积梯度向量。
在实际应用中,利用第二图像数据集,可离线训练用于产生Fisher向量的概率分布模型。举例来说,概率分布模型可为高斯混合模型。当然,实际应用中的概率分布模型也可以应用其他概率分布模型,不限于高斯混合模型。
需要说明的是,上述的第二图像数据集也不包括上述步骤101中提及的用于生成紧凑全局特征描述子的图像。当然,上述的第一图像数据集和上述的第二图像数据集可以相同,也可以不同。
此外,Fisher向量生成规则可以参考“FlorentPerronnin,ChristopherDance(2007).FisherKernelsonVisualVocabulariesforImageCategorization,CVPR.”所公开的内容,本实施例通过采用Fisher向量生成规则构造第一Fisher向量。
针对上述的步骤1042中的Fisher向量稀疏性判别规则,该处的Fisher向量稀疏性判别规则可为基于统计量的稀疏性判别规则,或者Fisher向量稀疏性判别规则可为基于概率的稀疏性判别规则。
通常,统计量可包括方差、期望等统计量,举例来说,基于统计量的稀疏性判别规则可在实际中具体应用为基于方差的稀疏性判别规则。
相应地,若Fisher向量稀疏性判别规则为基于方差的稀疏性判别规则,则上述步骤1042可具体包括如下的图中未示出的步骤10421和10422。
10421、获取所述累积梯度向量集合中的每一所述累积梯度向量的所有维度的数值的方差;
10422、将所有累积梯度向量的所述方差按照从大到小依次排序,选取排序中前K个方差对应的所述累积梯度向量,将选取的K个所述累积梯度向量组成用于表达所述图像视觉特征的全局特征描述子。
在其他实施例中,基于方差的稀疏性判别规则也可以是如下的图中未示出的步骤10421a和10422a:
10421a、获取所述累积梯度向量集合中的每种类型的每一所述累积梯度向量的所有维度的数值的方差;
10422a、将所述每种类型的所有累积梯度向量的方差按照从大到小依次排序,选取所述每种类型的所有累积梯度向量的方差的排序中前K个方差对应的累积梯度向量,将选取的每种类型的K个累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
另外,基于方差的稀疏性判别规则也可以是如下的图中未示出的步骤10421b和10422b:
10421b、获取所述累积梯度向量集合中的某一类型的每一累积梯度向量的所有维度的数值的方差;
10422b、将所述某一类型的所有累积梯度向量的方差按照从大到小依次排序,选取排序中前K个方差对应的累积梯度向量,将选取的K个累积梯度向量及相应概率密度函数对应的其他类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
举例来说,若累积梯度向量的类型可为三种类型:例如,针对期望的累积梯度向量、针对方差的累积梯度向量或针对权重的累积梯度向量(需要注意的是,累积梯度向量的类型不限于以上三种)。如果选择针对期望的累积梯度向量用于计算每一累积梯度向量所有维度的数值的方差,那么根据方差排序得到前K个累积梯度向量,同时还要选择由与这K个累积梯度向量对应的概率密度函数获得的针对方差的累积梯度向量和针对权重的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
相应地,若Fisher向量稀疏性判别规则可为基于概率的稀疏性判别规则,则上述步骤1042可具体包括如下的图中未示出的步骤10421’和10422’。
10421’、针对所述概率分布模型中的每一概率密度函数求得每一所述降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
10422’、若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取所述概率密度函数;
将选取的所述概率密度函数对应的所述累积梯度向量保留,并将所有保留的所述累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
或者,在其他实施例中,上述的步骤10421’和10422’还可为如下的图中未示出的步骤10421’a和10422’a:
10421’a、针对所述概率分布模型中的每一概率密度函数求得每一降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
10422’a、若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取该概率密度函数;
将选取的所述概率密度函数对应的一个或多个不同类型的累积梯度向量保留,并将所有保留的所述一个或多个不同类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
需要说明的是,上述Fisher向量稀疏性判别规则中的稀疏性是指:第一Fisher向量的大部分维度对于表达图像的面向检索的区分力的作用不大时,称这样的第一Fisher向量是稀疏的。
另外,上述的第一Fisher向量可为本领域所述的自适应Fisher向量,自适应是指根据图像视觉特征的统计特性生成Fisher向量,本发明实施例中为描述方便,在某些地方使用第一Fisher向量,在某些实施例中使用自适应Fisher向量,该处的第一Fisher向量和自适应Fisher向量是一致的,只是叫法不同。
为进一步详细描述上述的步骤104,在其他实施例中,上述的步骤104可包括如下的子步骤:
利用第二图像数据集训练高斯混合模型,所述高斯混合模型将用于为步骤101中的图像生成自适应Fisher向量,具体包括:
S01、通过第二图像数据集训练得到的高斯混合模型的参数集合为λ,λ包括M个高斯分量的参数,其中包括混合权重[ω1,...,ωM]、均值向量[μ1,......,μM]和标准差[σ1,......,σM],即 λ = { ω i , μ i , σ i 2 } , i = 1 . . . M .
S02、目标图像X可以表示为包含N个所述降维后的SIFT的集合,即X={xt,t=1...N},xt为第t个降维后的SIFT,维度为d。本实施例中,N=300,d=32。
S03、用对数似然函数L(X|λ)表示目标图像,如式(1)所示,
L ( X | λ ) = log p ( X | λ ) = Σ t = 1 N log p ( x t | λ ) - - - ( 1 )
其中:λ为高斯混合模型的参数集合,为高斯混合模型的似然函数,pi(xt|λ)为第i个高斯分量的概率密度函数。
S04、对数似然函数L(X|λ)对第i个高斯分量的均值向量求偏导,得到第i个高斯分量的累积梯度向量可以是式(2a)或式(2b)中的任一类型累积梯度向量,也可以由式(2a)和式(2b)中的累积梯度向量组合得到,并且不限于式(2a)和式(2b)中的两种类型的累积梯度向量,也可以是其他类型的累积梯度向量,
基于均值的累积梯度向量,
g μ i X = ∂ L ( X | λ ) ∂ μ i = 1 T ω i Σ t = 1 N γ t ( i ) ( x t - μ i σ i ) - - - ( 2 a )
基于标准差的累积梯度向量,
g σ i X = ∂ L ( X | λ ) ∂ σ i = 1 2 T ω i Σ t = 1 N γ t ( i ) [ ( x t - μ i σ i ) 2 - 1 ] - - - ( 2 b )
其中,ωi为第i个高斯分量的混合权重,μi为第i个高斯分量的均值向量,σi为第i个高斯分量的标准差,为在第i个高斯分量产生第t个降维后的SIFTxt的概率。
S05、将128个高斯分量各自对应的累积梯度向量依次连接起来,得到所述自适应Fisher向量。
举例来说,在另一应用场景中,接续前述的S01至S05之后的步骤为基于统计量的稀疏性判别规则。通常,统计量可包括方差、期望等统计量,基于统计量的稀疏性判别规则可在实际中具体应用为基于方差的稀疏性判别规则如S06和S07:
S06、基于方差的稀疏性判别规则,对于自适应Fisher向量,计算每个高斯分量的累积梯度向量所有维度的数值的方差;
S07,将所有方差按照从大到小依次排序,选取前K个方差较大的高斯分量的累积梯度向量,K大于1;将所述选取的高斯分量的累积梯度向量拼接成可伸缩的全局特征描述子,即用于表达图像视觉特征的全局特征描述子。
在其他实施例中,在前述的S01至S05之后的步骤S06和步骤S07还可为如下的图中未示出的步骤S06a和S07a:
S06a、获取所述累积梯度向量集合中的每种类型的每一累积梯度向量的所有维度的数值的方差;
S07a、将所述每种类型的所有累积梯度向量的方差按照从大到小依次排序,选取所述每种类型的所有累积梯度向量的方差的排序中前K个方差对应的累积梯度向量,将选取的每种类型的K个累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
除此之外,在前述的S01至S05之后的步骤S06和步骤S07还可为如下的图中未示出的步骤S06b和S07b:
S06b、基于方差的稀疏性判别规则,对于自适应Fisher向量,计算每个高斯分量的某一类型的累积梯度向量所有维度的数值的方差;
S07b,将所述某一类型的所有累积梯度向量的方差按照从大到小依次排序,选取排序中前K个方差对应的累积梯度向量,将选取的K个累积梯度向量及相应概率密度函数对应的其他类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
需要了解的是,若所述高斯分量的累积梯度向量所有维度的数值方差较小(趋近于0),则该所述累积梯度向量对于表达图像的面向搜索的区分力的作用很小。
该种Fisher向量稀疏性判别规则的优势是可以针对不同应用场景下对性能的不同要求生成可伸缩的全局特征描述子,进而提高图像搜索和匹配的效率。
举例来说,在另一应用场景中,第二种是基于高斯分量下产生所述降维后的SIFT的概率的稀疏性判别规则,具体的,
对最大概率max0≤t≤Nγt(i)设置阈值,并将计算第i个高斯分量的累积梯度向量的公式(2a)和(2b)做如下更改:
g μ i X = ∂ L ( X | λ ) ∂ μ i = 1 T ω i Σ t = 1 N γ t ( i ) ( x t - μ i σ i ) , max 0 ≤ t ≤ N γ t ( i ) > τ 0 , otherwise - - - ( 2 a , )
g σ i X = ∂ L ( X | λ ) ∂ σ i = 1 2 T ω i Σ t = 1 N γ t ( i ) [ ( x t - μ i σ i ) 2 - 1 ] , max 0 ≤ t ≤ N γ t ( i ) > τ 0 , otherwise - - - ( 2 b , )
其中,τ为预置阈值。在不同应用场景下可以通过修改所述预置阈值生成可伸缩的全局特征描述子。
需要了解的是,在统计意义上,第i个高斯分量下产生所有所述降维后的SIFT的最大概率越大,第i个高斯分量的累积梯度向量所有维度的数值的方差就越大。因此,两种规则产生的结果基本一致。
图5示出了本发明另一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图,在上述图1所示的实施例的基础上,在本实施例中,上述步骤105可包括如下的子步骤1051。
105、将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子,包括:
1051、根据数据压缩规则,将所述全局特征描述子中各维度的数值均用1个比特位表示。
举例来说,数据压缩规则可包括如下内容:
若全局特征描述子中某一维度的数值为正数,则二进制数值为1;
若全局特征描述子中某一维度的数值为负数和零,则二进制数值为0。
本实施例中可采用最简单的二值化(Binarizing)方法,对所述可伸缩的全局特征描述子进行数据压缩;
例如,若可伸缩的全局特征描述子某一维度的数值为非负值,则将对应位置为1,否则将对应位置为0。
在实际应用中,也可以采用其他将实数向量二值化的方法,如采用哈希映射函数等。
在一种优选的实现场景中,获取图像的紧凑全局特征描述子的方法可包括上述的步骤101—步骤1021—步骤1022—步骤1023—步骤1031—步骤1041—步骤1042—步骤1051。
或者,上述的步骤1031可采用1031’代替;或者,上述的步骤1042可采用10421’、10422’代替;或者,上述的步骤1042可采用10421、10422代替;或者,上述的步骤1041—步骤1042可采用S01至S07代替。
由上述图2至图5所示的技术方案可知,本实施例所述的方法,通过根据局部特征描述子的统计特性选择具有判决力的局部特征描述子,并采用主成分分析方法对选取的局部特征描述子进行降维,利用降维后的局部特征描述子生成图像的自适应Fisher向量,根据Fisher向量的稀疏性对自适应Fisher向量进行进一步压缩,进而得到可伸缩的全局特征描述子,最终通过对全局特征描述子二值化得到紧凑全局特征描述子。本实施例提供的面向搜索的全局特征描述子,可以满足不同应用对全局特征描述子字节大小的要求,并且能够进一步提升图像搜索和匹配的性能,减少内存的消耗,能更好地应用于基于移动设备的图像搜索。另外,本实施例提供的可伸缩的全局视觉特征描述子,可以在不同字节大小的全局特征描述子之间进行互操作,具有更好的灵活性。
图6示出了本发明另一实施例提供的采用紧凑全局特征描述子生成比特流的方法的流程示意图,如图6所示,本实施例中的采用紧凑全局特征描述子生成比特流的方法如下所述。
601、获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合。
举例来说,上述提及的图像可以是任意一幅图像,如,该图像可以是具有文件的照片,或者是手绘的图片,油画图像,从视频中截取的帧,地标照片、或者物品照片等,本实施例不限定上述图像的类型和图像的内容。
特别地,获取图像的至少一个局部特征描述子的方式为现有的方式,举例来说,上述的局部特征描述子可为尺度不变描述子(ScaleInvariantFeatureTransform,简称:SIFT),或者,上述的局部特征描述子可为快速鲁棒的尺度不变特征描述子(SpeededUpRobustFeatures,简称:SURF),或其他局部特征描述子。
应了解的是,SIFT或SURF的提取方式可为现有的提取方式,本实施例不再详述。通常,SIFT的维度为128维,SURF的维度为64维。
602、根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集。
举例来说,若图像的局部特征描述子的总数为1000个,则可以选取300个局部特征描述子组成第一子集。另外,若图像的局部特征描述子的总数为150个,则可以将150个局部特征描述子组成第一子集。
可选地,如图2中所举例的图像的局部特征描述子的选取方式。
603、将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子。
可选地,如图3中所举例的获取降维后的局部特征描述子的内容。
604、根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。
可选地,如图4中所举例的获取全局特征描述子的内容。
605、将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子;其中,所述全局特征描述子的字节大小可根据所述第一规则中的参数值的变化而变化,紧凑全局特征描述子的字节大小也会相应变化。
可选地,如图5中所举例的获取紧凑全局特征描述子的内容。
606、根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流。
由上述实施例可知,本实施例的采用紧凑全局特征描述子生成比特流的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像全局视觉特征的比特流。上述方法获取的比特流占用空间非常小,解决了现有技术中网络带宽限制时发送有限特征导致服务端图像检索能力低下的问题。
在一种应用场景中,上述的步骤602可具体采用图2中所示的步骤1021、步骤1022和步骤1023实现。
在第二种应用场景中,上述的步骤603可具体采用图3所示的步骤1031实现。或者,可选地,步骤603可具体采用上述实施例中举例的步骤1031’实现。
在第三种应用场景中,上述的步骤604可具体采用图4所示的步骤1041和步骤1042实现。或者,可选地,步骤604可具体采用步骤1041和步骤10421、步骤10422实现;或者,可选地,步骤604可具体采用步骤1041和步骤10421’、步骤10422’实现;在一种更优选的实现方式中,步骤604可具体采用步骤S01至步骤S07来实现。
在第四种应用场景中,上述的步骤605可具体采用步骤1051和步骤1052来实现。
图7示出了本发明另一实施例提供的采用紧凑全局特征描述子生成比特流的方法的流程示意图,在图7所示的基础上,在本实施例中,上述步骤606可包括如下的子步骤6061至子步骤6063。
所述比特流包括头部和非头部,所述第一规则中Fisher向量生成规则的离线步骤包括训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
606、根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流,包括:
6061、所述比特流的头部的所有维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;
在其他实施例中,步骤6061也可以是:所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流的头部的剩余维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度。
除此之外,步骤6061还可以是:所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流头部的剩余维度的长度为所述概率分布模型中的概率密度函数的个数与所述概率密度函数对应的累积梯度向量的类别数的乘积,且所述概率分布模型中的一概率密度函数对应的每一累积梯度向量对应所述比特流的头部的一维度。
6062、若所述概率分布模型中的一概率密度函数对应的一累积梯度向量用于组成所述全局特征描述子,则与所述概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0。
也就是说,比特流的头部由若干0、1组成,其所有维度的长度等于概率分布模型中概率密度函数的个数,概率分布模型的每一个概率密度函数对应比特流头部的一维度,如果该概率密度函数对应的累积梯度向量被用于拼接成可伸缩的全局特征描述子,那么比特流头部的相应维度置成1,否则置成0。
或者,比特流的头部由若干0、1组成,前若干个维度用于标示概率密度函数对应的累积梯度向量的类别数,其余维度的长度等于概率分布模型中概率密度函数的个数,概率分布模型的每一个概率密度函数对应比特流头部的一维度,如果该概率密度函数对应的累积梯度向量被用于拼接成可伸缩的全局特征描述子,那么比特流头部的相应维度置成1,否则置成0。
或者,比特流的头部由若干0、1组成,前若干个维度用于标示概率密度函数对应的累积梯度向量的类别数,其余维度的长度等于概率分布模型中概率密度函数的个数与所述概率密度函数对应的累积梯度向量的类别数的乘积,概率分布模型中的一概率密度函数对应的每一累积梯度向量对应比特流头部的一维度,如果该累积梯度向量被用于拼接成可伸缩的全局特征描述子,那么比特流头部的相应维度置成1,否则置成0。
6063、将所述紧凑全局特征描述子组成所述比特流的非头部。
图8示出了本发明另一实施例提供的基于比特流进行图像匹配的方法的流程示意图,如图8所示,本实施例中的基于比特流进行图像匹配的方法如下所述。
801、获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合。
举例来说,上述提及的图像可以是任意一幅图像,如,该图像可以是具有文件的照片,或者是手绘的图片,油画图像,从视频中截取的帧,地标照片、或者物品照片等,本实施例不限定上述图像的类型和图像的内容。
特别地,获取图像的至少一个局部特征描述子的方式为现有的方式,举例来说,上述的局部特征描述子可为尺度不变描述子(ScaleInvariantFeatureTransform,简称:SIFT),或者,上述的局部特征描述子可为快速鲁棒的尺度不变特征描述子(SpeededUpRobustFeatures,简称:SURF),或其他局部特征描述子。
应了解的是,SIFT或SURF的提取方式可为现有的提取方式,本实施例不再详述。通常,SIFT的维度为128维,SURF的维度为64维。
802、根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集。
举例来说,若图像的局部特征描述子的总数为1000个,则可以选取300个局部特征描述子组成第一子集。
另外,若图像的局部特征描述子的总数为150个,则可以将150个局部特征描述子组成第一子集。
可选地,如图2中所举例的图像的局部特征描述子的选取方式。
803、将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子。
可选地,如图3中所举例的获取降维后的局部特征描述子的内容。
804、根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。
可选地,如图4中所举例的获取全局特征描述子的内容。
805、将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子;
其中,所述全局特征描述子的字节大小可根据所述第一规则中的参数值的变化而变化,紧凑全局特征描述子的字节大小也会相应变化。
可选地,如图5中所举例的获取紧凑全局特征描述子的内容。
806、根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流。
可选地,如图7中所举例的生成比特流的内容。
807、根据目标图像的比特流的头部和待匹配图像的比特流的头部,确定所述目标图像的全局特征描述子和所述待匹配图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量。
808、若包含,则分别从目标图像的比特流的非头部与待匹配图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩后生成的全部比特位。
809、计算从目标图像的比特流的非头部取出的所述全部比特位和从待匹配图像的比特流的非头部取出的所述全部比特位之间的基于汉明距离的相似度。
本实施例中,基于汉明距离的相似度的计算方法为:
目标图像的所述全部比特位与待匹配图像的所述全部比特位中能够对应到同一概率密度函数的比特位子段之间做异或操作,并计算异或操作结果中值为1的比特位的个数,记为目标图像的所述比特位子段与待匹配图像的所述比特位子段之间的汉明距离;
用预先学习的距离权重乘以所述比特位子段之间的汉明距离,得到所述比特位子段之间的加权汉明距离;
其中,距离权重是通过机器学习方法基于若干匹配图像对和非匹配图像对学习得到的,或者根据经验设置的;
将所述目标图像的全局特征描述子与所述待匹配图像的全局特征描述子共同使用的所有概率密度函数对应的所述比特位子段之间的加权距离累加,并做归一化操作,得到所述基于汉明距离的相似度,如式(3)所示,
S X , Y = Σ i = 1 M b i X b i Y w Ha ( u i X , u i Y ) ( d - 2 * Ha ( u i X , u i Y ) ) d Σ i = 1 M b i X Σ i = 1 M b i Y
其中,M为所述概率分布模型中概率密度函数的个数,d为所述概率密度函数对应的累积梯度向量的维度,分别表示图像X和图像Y的所述全局特征描述子是否使用了第i个概率密度函数对应的累积梯度向量,为通过机器学习方法基于若干匹配图像对和非匹配图像对学习得到的或者根据经验设置的距离权重,为图像X的所述全部比特位和图像Y的所述全部比特位中对应第i个概率密度函数的比特位子段之间的汉明距离。
810、根据所述基于汉明距离的相似度判定目标图像与待匹配图像是否匹配。
具体地,根据汉明距离的相似度判定目标图像与带匹配图像是否匹配的方式可以包括以下举例的几种:
方式一:若所述基于汉明距离的相似度大于预置的第二阈值,则判定目标图像与待匹配图像匹配,否则不匹配。
方式二:在第三数据集上实施上述图像匹配过程,根据第三数据集上的匹配情况建立坐标系,其中横轴为第三数据集中目标图像与待匹配图像所使用的概率密度函数对应的累积梯度向量的总数,纵轴为基于汉明距离的相似度。根据第三数据集的匹配结果在所述坐标系下的分布,得到用于拟合所述分布的分段函数或者连续函数,以及找到本实施例中的目标图像与待匹配图像在所述坐标系中对应的点,如果该点在所述分段函数或者连续函数的上方,则判断目标图像与待匹配图像匹配,否则不匹配。
需要注意的是:根据所述基于汉明距离相似度判定目标图像与待匹配图像是否匹配的方法不限于以上两种,也可以使其他判定方法。
由上述技术方案可知,本发明实施例的基于比特流进行图像匹配的方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像视觉特征的比特流,所述比特流的特点是可以对不同字节大小的比特流进行比较,实现了图像匹配过程中的互操作,增加了图像匹配过程的灵活性。
其中,互操作是指不同字节大小的比特流之间可以进行比较。
根据本发明的另一方面,本发明还提供一种图像检索方法,如下的步骤S901至S906所示,本实施例中的图像检索的方法如下所述。
S901、客户端根据图6或图7所示的任意方法获取用于表达目标图像视觉特征的比特流。
在移动设备性能、无限网络带宽等条件允许的情况下,可以同时将压缩后的局部特征描述子发送至服务器,用于对初步图像检索结果进行基于几何不变性的重排序。
其中,几何不变性是指对于相似图像,虽然一幅图像相对于另一幅图像发生了旋转、平移等图像变换,但是其特征点的相对几何位置具有不变性。
S902、客户端将所述目标图像的比特流传输至服务器。
S903、服务器根据上述图6或图7所示的任意方法获取用于表达所述服务器内图像库中任一图像视觉特征的比特流。
S904、所述服务器将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流;
S905、所述服务器选择性地对所述前Q个基于汉明距离的相似度最大的服务器内的图像库中图像的比特流对应的图像进行后期处理;
其中,后期处理可以为基于几何不变性的重排序等。
S906、所述服务器将经过所述后期处理获得的服务器内的图像库中图像发送至所述客户端。
上述的Q为大于等于1的自然数。
由上述实施例可知,本实施例的图像检索方法,通过选取图像的所有局部特征描述子中的部分局部特征描述子,对选取的局部特征描述子降维,并将降维后的局部特征描述子转换为用于表达图像视觉特征的全局特征描述子,进而对全局特征描述子进行数据压缩,得到图像的紧凑全局特征描述子,进而生成表达图像视觉特征的比特流并发送至服务器,以使服务器查找相似的图像。上述方法可以在内存消耗和可伸缩性上满足不同图像搜索应用的需求,并且能够进一步提升图像搜索和匹配的性能,能更好地应用于基于移动终端的图像搜索。
举例来说,上述步骤S904可包括:
S9041、所述服务器根据所述目标图像的比特流的头部和所述服务器内的图像库中的任一图像的比特流的头部,确定所述目标图像的全局特征描述子和所述服务器内的图像库中的任一图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量;
S9042、若包含,则从目标图像的比特流的非头部与所述服务器内的图像库中相应图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩生成的全部比特位;
S9043、计算从目标图像的比特流取出的所述全部比特位和从所述服务器内的图像库中相应图像的比特流取出的所述全部比特位之间的基于汉明距离的相似度;
本实施例中,基于汉明距离的相似度的计算方法为:
目标图像的所述全部比特位与待匹配图像的所述全部比特位中能够对应到同一概率密度函数的比特位子段之间做异或操作,并计算异或操作结果中值为1的比特位的个数,记为目标图像的所述比特位子段与待匹配图像的所述比特位子段之间的汉明距离;
用预先学习的距离权重乘以所述比特位子段之间的汉明距离,得到所述比特位子段之间的加权汉明距离;
其中,距离权重是通过机器学习方法基于若干匹配图像对和非匹配图像对学习得到的,或者根据经验设置的;
将所述目标图像的全局特征描述子与所述待匹配图像的全局特征描述子共同使用的所有概率密度函数对应的所述比特位子段之间的加权距离累加,并做归一化操作,得到所述基于汉明距离的相似度,如式(3)所示,
S X , Y = Σ i = 1 M b i X b i Y w Ha ( u i X , u i Y ) ( d - 2 * Ha ( u i X , u i Y ) ) d Σ i = 1 M b i X Σ i = 1 M b i Y - - - ( 3 )
其中,M为所述概率分布模型中概率密度函数的个数,d为所述概率密度函数对应的累积梯度向量的维度,分别表示图像X和图像Y的所述全局特征描述子是否使用了第i个概率密度函数对应的累积梯度向量,为通过机器学习方法基于若干匹配图像对和非匹配图像对学习得到的或者根据经验设置的距离权重,为图像X的所述全部比特位和图像Y的所述全部比特位中对应第i个概率密度函数的比特位子段之间的汉明距离。
S9044、获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流。
由于上述计算基于汉明距离的相似度只涉及到比特位操作,因此可以有效减少全局特征描述子之间的比较时间,目前的计算机在硬件上对该操作的支持,可以实现更有效的全局特征描述子的比较。
由上述实施例可知,本实施例提供的图像检索方法,可较好的降低图像搜索时的查询响应时间,使得图像搜索的效率提高。通过选取并压缩局部特征描述子,由局部特征描述子集成可伸缩的紧凑全局特征描述子,降低了内存开销,并消除了描述子包含的冗余信息,提高了搜索结果的准确性,并且对于不同字节大小的紧凑全局特征描述子,可以进行有效的互操作,具有较好的灵活性。
图9示出了本发明一实施例提供的获取图像的紧凑全局特征描述子的装置的结构示意图;如图9所示,获取图像的紧凑全局特征描述子的装置包括:获取单元91、描述子选择单元92、描述子降维单元93、转换单元94和压缩单元95;
其中,获取单元91,用于获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合;
描述子选择单元92,用于根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集;
描述子降维单元93,用于将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;
转换单元94,用于根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子;
压缩单元95,用于将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子;
其中,所述全局特征描述子的字节大小可根据所述第一规则中的参数值的变化而变化,紧凑全局特征描述子的字节大小也会相应变化。
上述的获取图像的紧凑全局特征描述子的装置可以位于客户端中,也可以位于服务器中,本实施例仅为举例说明。
图10示出了本发明一实施例提供的比特流生成装置的结构示意图,如图10所示,本实施例中的比特流生成装置包括上述图9所示的获取图像的紧凑全局特征描述子的装置中的获取单元91、描述子选择单元92、描述子降维单元93、转换单元94和压缩单元95;以及还包括比特流生成单元96;
其中,比特流生成单元96,用于根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流。
举例来说,所述比特流包括头部和非头部,所述第一规则中Fisher向量生成规则的离线步骤包括训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
比特流生成单元96可具体用于:
所述比特流的头部的所有维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度,若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0,将所述紧凑全局特征描述子组成所述比特流的非头部。
在其他实施例中,比特流生成单元也可以用于:
所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流的头部的剩余维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则所述与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0;将所述紧凑全局特征描述子组成所述比特流的非头部。
或者,所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流头部的剩余维度的长度为所述概率分布模型中的概率密度函数的个数与所述概率密度函数对应的累积梯度向量的类别数的乘积,且所述概率分布模型中的一概率密度函数对应的每一累积梯度向量对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则与该累积梯度向量对应的所述比特流的头部的相应维度的数值为1,否则为0,将所述紧凑全局特征描述子组成所述比特流的非头部。
本实施例中的比特流生成装置通常位于移动终端/移动设备中,当然也可以位于任何一个服务器中,本实施例不对其进行限定。
图11示出了本发明一实施例提供的图像检索系统的结构示意图,如图11所示,本实施例中的图像检索系统包括:客户端和服务器;
其中,客户端包括图10所示的比特流生成装置011、发送单元012、接收单元013,该发送单元012用于将比特流生成装置生成的比特流发送至服务器,该接收单元013用于接收服务器返回的图像;
服务器包括:接收单元021,比较单元022、发送单元023,以及还包括:图9所述获取图像的紧凑全局特征描述子的装置和/或包括图10所示的比特流生成装置024,
图11中仅举例的是服务器包括图10所示的比特流生成装置024的结构。
其中,比特流生成装置024获取服务器内的图像库中的每一图像的比特流;其中接收单元021用于接收客户端发送的目标图像的比特流;
所述比较单元022用于将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流;以及选择性地对所述前Q个基于汉明距离的相似度最大的服务器内的图像库中图像的比特流对应的图像进行后期处理;发送单元023用于将经过所述后期处理获得的服务器内的图像库中图像发送至所述客户端。上述的Q为大于等于1的自然数。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种获取图像的紧凑全局特征描述子的方法,其特征在于,包括:
获取图像的至少一个局部特征描述子,所述至少一个局部特征描述子形成一集合;
根据局部特征描述子的选择方式,从所有的局部特征描述子中选取一个或多个局部特征描述子,所述选取的一个或多个局部特征描述子组成所述集合的第一子集;
将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;
根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子;
将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子。
2.根据权利要求1所述的方法,其特征在于,将所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子,包括:
采用降维矩阵对所述第一子集中的局部特征描述子进行降维,获得降维后的局部特征描述子;
其中,所述降维矩阵为采用降维方式训练预设的第一图像数据集之后得到的矩阵。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的第一规则,将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子,包括:
根据Fisher向量生成规则,对所述降维后的局部特征描述子进行转换,得到累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;以及
根据Fisher向量稀疏性判别规则,对所述累积梯度向量集合进行处理,并生成用于表达所述图像视觉特征的全局特征描述子。
4.根据权利要求3所述的方法,其特征在于,
所述Fisher向量生成规则包括:离线步骤和在线步骤;
相应地,根据Fisher向量生成规则,对所述降维后的局部特征描述子进行转换,得到累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量,包括:
所述Fisher向量生成规则的离线步骤包括:
训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
所述Fisher向量生成规则的在线步骤为:
根据所述概率分布模型中的每一概率密度函数,将每一降维后的局部特征描述子转换为梯度向量,得到针对每一概率密度函数的梯度向量集合;
针对每一概率密度函数的梯度向量集合,求所有所述梯度向量的平均值,得到每一概率密度函数对应的累积梯度向量;
所述概率分布模型的M个概率密度函数各自对应的累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;
或者,
所述Fisher向量生成规则的在线步骤为:
根据所述概率分布模型中的每一概率密度函数,将每一降维后的局部特征描述子转换为一个或多个不同类型的梯度向量,得到针对每一概率密度函数的梯度向量集合;
针对每一概率密度函数的梯度向量集合,分别求每种类型的所有梯度向量的平均值,得到每一概率密度函数对应的一个或多个不同类型的累积梯度向量;
所述概率分布模型的M个概率密度函数各自对应的一个或多个不同类型的累积梯度向量组成累积梯度向量集合,并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量;
所述Fisher向量稀疏性判别规则为基于统计量的稀疏性判别规则,或者基于概率的稀疏性判别规则;
相应地,所述根据Fisher向量稀疏性判别规则,对所述累积梯度向量集合进行处理,并生成用于表达所述图像视觉特征的全局特征描述子,包括:
获取所述累积梯度向量集合中的每一累积梯度向量的所有维度的数值的统计量;
将所有累积梯度向量的统计量按照从大到小依次排序,选取排序中前K个统计量对应的累积梯度向量,将选取的K个累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,
获取所述累积梯度向量集合中的每种类型的每一累积梯度向量的所有维度的数值的统计量;
将每种类型的所有累积梯度向量的统计量按照从大到小依次排序,选取所述每种类型的所有累积梯度向量的统计量的排序中前K个统计量对应的累积梯度向量,将选取的每种类型的K个累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,
获取所述累积梯度向量集合中的某一类型的每一累积梯度向量的所有维度的数值的统计量;
将所述某一类型的所有累积梯度向量的统计量按照从大到小依次排序,选取排序中前K个统计量对应的累积梯度向量,将选取的K个累积梯度向量及相应概率密度函数对应的其他类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,
针对所述概率分布模型中的每一概率密度函数求得每一所述降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取该概率密度函数;
将选取的所述概率密度函数对应的所述累积梯度向量保留,并将所有保留的所述累积梯度向量组成用于表达图像视觉特征的全局特征描述子;
或者,
针对所述概率分布模型中的每一概率密度函数求得每一所述降维后的局部特征描述子对应的概率值,所述概率值构成所述每一概率密度函数的概率值集合;
若概率密度函数的所述概率值集合中的最大概率值大于预设的第一阈值,则选取该概率密度函数;
将选取的所述概率密度函数对应的一个或多个不同类型的累积梯度向量保留,并将所有保留的所述一个或多个不同类型的累积梯度向量组成用于表达图像视觉特征的全局特征描述子。
5.根据权利要求1至4任一所述的方法,其特征在于,
所述全局特征描述子的字节大小根据所述第一规则中的参数值的变化而变化;相应地,在所述全局特征描述子的字节大小变化时,所述紧凑全局特征描述子的字节大小也相应变化。
6.根据权利要求1所述的方法,其特征在于,所述将所述全局特征描述子进行数据压缩,得到所述图像的紧凑全局特征描述子,包括:
根据数据压缩规则,将所述全局特征描述子中各维度的数值均用1个比特位表示。
7.一种采用紧凑全局特征描述子生成比特流的方法,其特征在于,包括如上权利要求1或2或3或4或6所述的方法,还包括:
根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像全局视觉特征的比特流。
8.根据权利要求7所述的方法,其特征在于,
所述比特流包括头部和非头部,所述第一规则中Fisher向量生成规则的离线步骤包括:
训练预设的第二图像数据集得到用于产生Fisher向量的概率分布模型,所述概率分布模型是由M个独立的概率密度函数线性叠加得到的,其中,M为大于等于1的自然数;
相应地,根据预设的第一规则和全局特征描述子、紧凑全局特征描述子生成用于表达图像视觉特征的比特流,包括:
所述比特流的头部的所有维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0;
或者,
所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流的头部的剩余维度的长度与所述概率分布模型中的概率密度函数的个数相同,且所述概率分布模型中的一概率密度函数对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则与该概率密度函数对应的所述比特流的头部的相应维度的数值为1,否则为0;
或者,
所述比特流的头部的前若干个维度用于标示所述概率密度函数对应的累积梯度向量的类别数,所述比特流头部的剩余维度的长度为所述概率分布模型中的概率密度函数的个数与所述概率密度函数对应的累积梯度向量的类别数的乘积,且所述概率分布模型中的一概率密度函数对应的每一累积梯度向量对应所述比特流的头部的一维度;
若所述概率分布模型中的一概率密度函数对应的累积梯度向量用于组成所述全局特征描述子,则与该累积梯度向量对应的所述比特流的头部的相应维度的数值为1,否则为0;
将所述紧凑全局特征描述子组成所述比特流的非头部。
9.一种基于比特流进行图像匹配的方法,其特征在于,包括如上权利要求8所述的方法,还包括:
根据目标图像的比特流的头部和待匹配图像的比特流的头部,确定所述目标图像的全局特征描述子和所述待匹配图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量;
若包含,则分别从目标图像的比特流的非头部与待匹配图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩后生成的全部比特位;
计算从目标图像的比特流的非头部取出的所述全部比特位和从待匹配图像的比特流的非头部取出的所述全部比特位之间的基于汉明距离的相似度;
根据所述基于汉明距离的相似度判定目标图像与待匹配图像是否匹配。
10.一种图像检索方法,其特征在于,包括:
客户端采用如上权利要求7或8所述的方法获取目标图像视觉特征的比特流;
所述客户端将所述目标图像的比特流传输至服务器;
所述服务器根据上述权利要求7或8所述的方法获取用于表达所述服务器内图像库中任一图像视觉特征的比特流;
所述服务器将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流;
所述服务器选择性地对所述前Q个基于汉明距离的相似度最大的服务器内的图像库中图像的比特流对应的图像进行后期处理;
所述服务器将经过所述后期处理获得的服务器内的图像库中图像发送至所述客户端;
其中,所述Q为大于等于1的自然数。
11.根据权利要求10所述的方法,其特征在于,
所述服务器将所述目标图像的比特流与所述服务器内的图像库中任一图像的比特流进行比较,获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流,包括:
所述服务器根据所述目标图像的比特流的头部和所述服务器内的图像库中的任一图像的比特流的头部,确定所述目标图像的全局特征描述子和所述服务器内的图像库中的任一图像的全局特征描述子是否包含相同的概率密度函数对应的同种类型的累积梯度向量;
若包含,则从目标图像的比特流的非头部与所述服务器内的图像库中相应图像的比特流的非头部中取出二者共同使用的概率密度函数对应的同种类型的累积梯度向量经数据压缩生成的全部比特位;
计算从目标图像的比特流取出的所述全部比特位和从所述服务器内的图像库中相应图像的比特流取出的所述全部比特位之间的基于汉明距离的相似度;
获取前Q个与目标图像的比特流的基于汉明距离的相似度最大的服务器内的图像库中图像的比特流。
CN201310127331.7A 2012-10-15 2013-04-12 获取图像的紧凑全局特征描述子的方法及图像检索方法 Active CN103226589B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310127331.7A CN103226589B (zh) 2012-10-15 2013-04-12 获取图像的紧凑全局特征描述子的方法及图像检索方法
PCT/CN2014/074919 WO2014166376A1 (zh) 2013-04-12 2014-04-08 获取图像的紧凑全局特征描述子的方法及图像检索方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2012103909657 2012-10-15
CN201210390965.7 2012-10-15
CN 201210390965 CN102968632A (zh) 2012-10-15 2012-10-15 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN201310127331.7A CN103226589B (zh) 2012-10-15 2013-04-12 获取图像的紧凑全局特征描述子的方法及图像检索方法

Publications (2)

Publication Number Publication Date
CN103226589A CN103226589A (zh) 2013-07-31
CN103226589B true CN103226589B (zh) 2016-06-15

Family

ID=47798763

Family Applications (2)

Application Number Title Priority Date Filing Date
CN 201210390965 Pending CN102968632A (zh) 2012-10-15 2012-10-15 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN201310127331.7A Active CN103226589B (zh) 2012-10-15 2013-04-12 获取图像的紧凑全局特征描述子的方法及图像检索方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN 201210390965 Pending CN102968632A (zh) 2012-10-15 2012-10-15 获取图像的紧凑全局特征描述子的方法及图像检索方法

Country Status (1)

Country Link
CN (2) CN102968632A (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166376A1 (zh) * 2013-04-12 2014-10-16 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103744974B (zh) * 2014-01-10 2017-04-12 北京大学 局部兴趣点选取的方法及设备
CN103793520A (zh) * 2014-02-14 2014-05-14 齐齐哈尔大学 一种嵌入图像处理软件的移动视觉搜索方法
CN104616012B (zh) * 2014-04-30 2018-03-02 北京大学 获取紧凑全局特征描述子的方法
CN104616013A (zh) * 2014-04-30 2015-05-13 北京大学 获取低维局部特征描述子的方法
CN104615612B (zh) * 2014-04-30 2018-04-27 北京大学 获取紧凑全局特征描述子的码流的方法
CN104615611A (zh) * 2014-04-30 2015-05-13 北京大学 获取全局特征描述子的方法
CN104615610B (zh) * 2014-04-30 2018-10-02 北京大学 获取可伸缩全局特征描述子的方法
CN104615614B (zh) * 2014-04-30 2018-04-13 北京大学 获取可伸缩全局特征描述子的方法
CN104615613B (zh) * 2014-04-30 2018-04-17 北京大学 全局特征描述子的聚合方法
CN105447842B (zh) * 2014-07-11 2019-05-21 阿里巴巴集团控股有限公司 一种图像匹配的方法及装置
CN104462199B (zh) * 2014-10-31 2017-09-12 中国科学院自动化研究所 一种网络环境下的近似重复图像搜索方法
CN104767998B (zh) * 2015-03-25 2017-12-08 北京大学 一种面向视频的视觉特征编码方法及装置
CN104767997B (zh) * 2015-03-25 2017-10-27 北京大学 一种面向视频的视觉特征编码方法及装置
JP7016522B2 (ja) * 2015-04-20 2022-02-07 コーネル ユニヴァーシティー 次元データ低減を有するマシンビジョン
CN105023021A (zh) * 2015-07-09 2015-11-04 厦门理工学院 一种基于主方向模板的特征匹配方法
CN105139014B (zh) * 2015-07-14 2018-12-04 北京联合大学 一种计算图像局部特征描述子的方法
CN105335500B (zh) * 2015-10-28 2018-11-20 厦门大学 协变局部特征聚集的图像特征表示法
US9898441B2 (en) * 2016-02-05 2018-02-20 Google Llc Matrix processing apparatus
CN105608234A (zh) * 2016-03-18 2016-05-25 北京京东尚科信息技术有限公司 图像检索方法和装置
CN108122081B (zh) * 2016-11-26 2020-09-25 沈阳新松机器人自动化股份有限公司 机器人及其库存管理方法
CN108733812B (zh) * 2018-05-21 2021-09-14 华东师范大学 基于全局信息的时间序列数据中异常数据点的识别方法
CN109447173A (zh) * 2018-11-07 2019-03-08 南京讯思雅信息科技有限公司 一种基于图像全局特征和局部特征的图像匹配方法
CN109670070B (zh) * 2018-11-29 2022-07-29 昆明理工大学 一种基于双重Hash的图像相似判定方法
CN111444370A (zh) * 2020-03-09 2020-07-24 腾讯科技(深圳)有限公司 图像检索方法、装置、设备及其存储介质
CN111522986B (zh) * 2020-04-23 2023-10-10 北京百度网讯科技有限公司 图像检索方法、装置、设备和介质
CN115442338A (zh) * 2021-06-04 2022-12-06 华为技术有限公司 3d地图的压缩、解压缩方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249361B1 (en) * 2010-04-22 2012-08-21 Google Inc. Interdependent learning of template map and similarity metric for object identification
CN102662955A (zh) * 2012-03-05 2012-09-12 南京航空航天大学 一种基于分形图像编码的图像检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249361B1 (en) * 2010-04-22 2012-08-21 Google Inc. Interdependent learning of template map and similarity metric for object identification
CN102662955A (zh) * 2012-03-05 2012-09-12 南京航空航天大学 一种基于分形图像编码的图像检索方法

Also Published As

Publication number Publication date
CN103226589A (zh) 2013-07-31
CN102968632A (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
CN103226589B (zh) 获取图像的紧凑全局特征描述子的方法及图像检索方法
Tan et al. Feature super-resolution: Make machine see more clearly
Kapoor et al. Active learning with gaussian processes for object categorization
Chen et al. Residual enhanced visual vectors for on-device image matching
CN104036012B (zh) 字典学习、视觉词袋特征提取方法及检索系统
CN102521618B (zh) 局部描述子的提取方法、图片检索方法及图像匹配方法
EP2710518B1 (en) Scalable query for visual search
US20170026665A1 (en) Method and device for compressing local feature descriptor, and storage medium
CN103744974B (zh) 局部兴趣点选取的方法及设备
Lin et al. Visual feature coding based on heterogeneous structure fusion for image classification
Wei et al. Compact MQDF classifiers using sparse coding for handwritten Chinese character recognition
CN111182364A (zh) 一种短视频版权检测方法及系统
Chen et al. A hybrid mobile visual search system with compact global signatures
Bai et al. Multiple stage residual model for image classification and vector compression
US9875386B2 (en) System and method for randomized point set geometry verification for image identification
US8755605B2 (en) System and method for compact descriptor for visual search
Chandrasekhar et al. Compact global descriptors for visual search
Zhang et al. Learning a probabilistic topology discovering model for scene categorization
Li et al. Action recognition with spatio-temporal augmented descriptor and fusion method
Chen et al. Context-aware discriminative vocabulary learning for mobile landmark recognition
Sharma et al. Scene image classification using reduced virtual feature representation in sparse framework
WO2014166376A1 (zh) 获取图像的紧凑全局特征描述子的方法及图像检索方法
Sanchez et al. Compressed fisher vectors for large-scale image classification
Xin et al. Laplacian sift in visual search
CN104615614B (zh) 获取可伸缩全局特征描述子的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant