CN104615613A - 全局特征描述子的聚合方法 - Google Patents

全局特征描述子的聚合方法 Download PDF

Info

Publication number
CN104615613A
CN104615613A CN201410183575.1A CN201410183575A CN104615613A CN 104615613 A CN104615613 A CN 104615613A CN 201410183575 A CN201410183575 A CN 201410183575A CN 104615613 A CN104615613 A CN 104615613A
Authority
CN
China
Prior art keywords
local feature
feature description
global characteristics
importance
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410183575.1A
Other languages
English (en)
Other versions
CN104615613B (zh
Inventor
段凌宇
林杰
王哲
杨爽
陈杰
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201410183575.1A priority Critical patent/CN104615613B/zh
Publication of CN104615613A publication Critical patent/CN104615613A/zh
Application granted granted Critical
Publication of CN104615613B publication Critical patent/CN104615613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种全局特征描述子的聚合方法,包括:获取待处理图像的局部特征描述子,根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;其中,所述截断阈值为训练预设的图像数据集中每类图像的检索结果得到的。上述方法可降低现有技术中全局特征描述子聚合过程中的时间复杂度,提高全局特征描述子的鉴别力和鲁棒性。

Description

全局特征描述子的聚合方法
技术领域
本发明涉及计算机技术,尤其涉及一种全局特征描述子的聚合方法。
背景技术
目前,移动视觉搜索应用越来越多,业内人士通过局部特征描述子聚合成全局特征描述子用于图像检索或图像分类。Fisher向量(Fisher Vector)就是一种常用的由局部特征描述子聚合成的全局特征描述子,而且FisherVector在图像检索和分类中都获得了比较好的性能。
现有技术中,Fisher向量的获取方式为:提取图像的局部特征描述子,并将所有局部特征描述子聚合成Fisher向量。但是,现有技术中描述子聚合的时间复杂度较高,并且得到的Fisher向量会受到一些噪声局部点的干扰。举例来说,一般一幅图像的局部特征描述子的数目不少于1000个,若直接使用所有的局部特征描述子参与到聚合过程,则聚合的时间复杂度非常高;另外,局部特征描述子中还存在一些噪音,若参与到Fisher向量的聚合中,则会影响全局特征描述子的鉴别能力,导致了全局特征描述子不具有良好的鲁棒性,从而影响图像检索或者分类的性能。
发明内容
为解决现有技术中的缺陷,本发明提供一种全局特征描述子的聚合方法,降低现有技术中全局特征描述子聚合过程中的时间复杂度,提高全局特征描述子的鉴别力和鲁棒性。
第一方面,本发明提供一种全局特征描述子的聚合方法,包括:
获取待处理图像的局部特征描述子;
根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;
根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;
采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;
其中,所述截断阈值是针对局部特征描述子个数的阈值,为训练预设的图像数据集中每类图像的检索结果得到的。
可选地,根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子,包括:
利用统计方式对所述局部特征描述子的重要性进行定量表示,即用一个具体的数值表示所述局部特征描述子的重要性;
根据所述局部特征描述子的重要性对应的数值的大小,将所有的局部特征描述子进行降序排列,得到排序后的局部特征描述子;
其中,所述局部特征描述子的重要性为所述局部特征描述子用于聚合全局特征描述子时,对全局特征描述子的区分能力的影响。
可选地,所述图像数据集包括:三维物体图像和平面物体图像;
所述截断阈值为位于230至270之间的一个整数。
可选地,所述截断阈值为250;
根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子,包括:
从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的250个局部特征描述子;
若所述排序后的局部特征描述子的个数小于250个,则将所述排序后的局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
可选地,所述获取待处理图像的局部特征描述子中,所述局部特征描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
第二方面,本发明还提供一种全局特征描述子的聚合装置,包括:
获取单元,用于获取待处理图像的局部特征描述子;
排序单元,用于根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;
选择单元,用于根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;
聚合单元,用于采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;
其中,所述截断阈值是针对局部特征描述子个数的阈值,且为训练预设的图像数据集中每类图像的检索结果得到的。
可选地,所述排序单元,具体用于
利用统计方式对所述局部特征描述子的重要性进行定量表示,即用一个具体的数值表示所述局部特征描述子的重要性;
根据所述局部特征描述子的重要性对应的数值的大小,将所有的局部特征描述子进行降序排列,得到排序后的局部特征描述子;
其中,所述局部特征描述子的重要性为所述局部特征描述子用于聚合全局特征描述子时,对全局特特征描述子的区分能力的影响。
可选地,所述图像数据集包括:三维物体图像和平面物体图像;
所述截断阈值为位于230至270之间的一个整数。
可选地,在所述截断阈值为250时,所述选择单元,具体用于
从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的250个局部特征描述子;
若所述排序后的局部特征描述子的个数小于250个,则将所述排序后的局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
可选地,所述获取单元获取的局部描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
由上述技术方案可知,本发明的全局特征描述子的聚合方法,通过将待处理图像的局部特征描述子进行重要性的排序,且在排序后的局部特征描述子中选取若干个局部特征描述子,进而采用选取的若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子,进而可降低现有技术中全局特征描述子聚合过程的时间复杂度,进一步提高全局特征描述子的鉴别力和鲁棒性。
附图说明
图1为本发明一实施例提供的全局特征描述子的聚合方法的流程示意图;
图2为本发明一实施例提供的梯度方向直方图向量的示意图;
图3为本发明一实施例提供的全局特征描述子的聚合装置的结构示意图。
具体实施方式
图1示出了本发明一实施例提供的全局特征描述子的聚合方法的流程示意图,如图1所示,本实施例的全局特征描述子的聚合方法如下所述。
101、获取待处理图像的局部特征描述子。
可理解的是,根据获取待处理图像局部特征描述子的方式,所述局部特征描述子是对所述兴趣点的一种视觉表达,所述兴趣点也具有所述不同属性,也可以计算重要性,如统计重要性。
举例来说,获取待处理图像的局部特征描述子中,所述局部特征描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
102、根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子。
举例来说,所述重要性的计算方法如下所述。
对若干匹配图像对提取所述局部特征描述子。
其中,匹配图像对是指包含同一个物体或同一个场景的两幅不同的图像。
通过统计,基于正确匹配的局部特征描述子,获得所述正确匹配的局部特征描述子的不同属性的概率分布;
举例来说,局部特征描述子的不同属性可包括:尺度、方向、拉普拉斯高斯响应值、兴趣点到图像中心的距离、边缘响应值等。
基于上述概率分布,计算当待处理图像的局部特征描述子的各个属性分别处于某一取值范围时,所述局部特征描述子可以正确匹配的概率。
其中,假设所述局部特征描述子的不同属性统计独立,所述局部特征描述子的重要性为基于不同属性计算的局部特征描述子正确匹配的概率的乘积。
举例来说,若尺度用σ*表示,方向用θ表示,拉普拉斯高斯响应值用D表示,兴趣点到图像中心的距离用d表示,边缘响应值用ρ表示,则局部特征描述子的重要性可按如下方式计算:
r(σ*,θ,D,d,ρ)=f1*)·f2(θ)·f3(d)·f4(D)·f5(ρ)
其中,r(σ*,θ,D,d,ρ)为局部特征描述子的重要性的定量表示,f1*),f2(θ),f3(d),f4(D),f5(ρ)分别为基于不同属性计算的局部特征描述子正确匹配的概率。
需要说明的是,计算局部特征描述子的重要性的方式不限于上述方式也可以是其他计算局部特征描述子的重要性的方式。
103、根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子。
其中,所述截断阈值是针对局部特征描述子个数的阈值,为训练预设的图像数据集中每类图像的检索结果得到的。
举例来说,所述截断阈值为位于230至270之间的一个整数。可选地,所述截断阈值可为250。若所述局部特征描述子的个数小于250个,则将所述局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
具体的,可用如下公式表示:
K = N N ≤ 250 250 N > 250
其中,K为截断阈值,N为局部特征描述子的个数。
需要说明的是,根据获取待处理图像局部特征描述子的方式,所述局部特征描述子是对兴趣点的一种视觉表达,所述兴趣点也具有所述不同属性,也可以计算重要性。因此,本实施例中的步骤103也可以针对所述兴趣点进行,即选取若干所述兴趣点,然后获取若干局部特征描述子来表达所述兴趣点,再用所述局部特征描述子聚合全局特征描述子。本实施例仅举例说明一种,不限定其他获取局部特征描述子的方式。
104、采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子。
可选地,可采用降维矩阵对上述的选取的若干个局部特征描述子进行降维,得到降维后的局部特征描述子。在本实施例中,所述每一局部特征描述子均可为降维后的局部特征描述子,且每一局部特征描述子的维度为32维。
在本实施例中,所述降维矩阵可为训练预设的图像数据集得到的矩阵。
可选地,在获取降维后的局部特征描述子之前,可对局部特征描述子进行归一化处理,进而对归一化处理后的局部特征描述子进行降维。
所述归一化处理的步骤为:
若所述局部特征描述子为ht,t=0,…,M-1,对每一维度使用L1归一化,得到h't,j=ht,j/|ht|,j=0,...,127;
其中,|ht|表示128维局部特征描述子向量ht各维度绝对值的和。
然后,对每一维度继续使用参数为0.5的power normalization归一化,得到h't,j←sgn(h't,j)|h't,j|0.5
其中,|h't,j|表示维度h't,j的绝对值, sgn ( h t , j &prime; ) = - 1 h t , j &prime; < 0 0 h t , j &prime; = 0 1 h t , j &prime; > 0 .
可理解的是,所述高斯混合模型包含M个高斯密度函数,M等于512,且每个高斯密度函数对应一个第一累积梯度向量和/或一个第二累积梯度向量,所述每个高斯密度函数对应的第一累积梯度向量依次连接得到所述全局特征描述子或者所述每个高斯密度函数对应的第二累积梯度向量依次连接得到所述全局特征描述子或者所述每个高斯密度函数对应的第一累积梯度向量和第二累积梯度向量分别依次连接得到所述全局特征描述子;
其中,所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的,所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的;
特别地,第一累积梯度向量为:
g &mu; i X = &PartialD; L ( X | &lambda; ) &PartialD; &mu; i = 1 N &omega; i &Sigma; t = 1 N &gamma; t ( i ) ( x t - &mu; i &sigma; i )
第二累积梯度向量为:
g &mu; i X = &PartialD; L ( X | &lambda; ) &PartialD; &mu; i = 1 N &omega; i &Sigma; t = 1 N &gamma; t ( i ) [ ( x t - &mu; i &sigma; i ) 2 - 1 ]
其中,λ为高斯混合模型的参数集合,ωi为第i个高斯分量的混合权重,μi为第i个高斯分量的均值向量,σi为第i个高斯分量的方差向量,为在第i个高斯分量产生第t个降维后的局部特征描述子xt的概率。X为包含N个所述降维后的局部特征描述子的集合用于表示待处理图像,即X={xt,t=1…N},xt为第t个降维后的局部特征描述子,维度为d,N为局部特征描述子的个数。本实施例中,N=300,d=32。L(X|λ)表示待处理图像的对数似然函数,如式(1)所示,
L ( X | &lambda; ) =logp ( X | &lambda; ) = &Sigma; t = 1 N log p ( x t | &lambda; ) - - - ( 1 )
为高斯混合模型的似然函数,pi(xt|λ)为第i个高斯分量的概率密度函数。其中,所述截断阈值是针对局部特征描述子个数的阈值,为训练预设的图像数据集中每一类图像的检索结果得到的。
举例来说,本实施例中,所述图像数据集包括:三维物体图像和平面物体图像。
优选地,图像数据集可包括80%的平面物体图像和20%的三维物体图像。平面物体图像包括:名片、CD封面、DVD封面、报纸、油画、视频帧等等,三维物体图像包括:地标建筑以及各种立体实物的照片等等。
训练过程举例如下:把截断阈值设置成不同的值(介于100到400之间),测验在不同截断阈值下,训练预设的图像数据集中的各个类别图像集合对应的检索性能,并将各类别图像集合对应的检索性能进行加权平均,计算整体的检索性能,选取最高整体检索性能对应的截断阈值。当截断阈值设定在200左右,平面物体图像(如名片、CD封面、DVD封面、报纸、油画、视频帧)的检索性能达到最优,当截断阈值增大到一定数值时,检索性能会急剧下降。三维物体图像(如地标建筑以及各种立体实物)检索性能在截断阈值设定在300以上时较优,随着所述截断阈值的增加,检索性能逐步提升,当截断阈值降低至300以下时,检索性能会降低。
因此,选取的截断阈值应该让2D图像和3D图像的检索性能均达到较理想结果,取得用户满意的折中方案。基于所述训练规则,250是基于训练预设的图像数据集获得的一个最合适的截断阈值。
应说明的是:截断阈值的选择,应平衡各类图像的检索性能,使各类图像的检索性能在设定的截断阈值下均达到良好的效果。
本实施例的全局特征描述子的聚合方法,通过将待处理图像的局部特征描述子进行重要性的排序,且在排序后的局部特征描述子中选取若干个局部特征描述子,进而采用选取的若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子,进而可降低现有技术中全局特征描述子聚合过程的时间复杂度,进一步提高全局特征描述子的鉴别力和鲁棒性。
其中,若所述待处理图像的局部特征描述子的个数不足250个,那么截断阈值等于所述待处理图像的局部特征描述子的个数。
举例来说,前述步骤101中获取待处理图像局部特征描述子的方式如下所述。
第一步:将待处理图像I与一组高斯滤波器卷积得到图像I在高斯尺度空间中不同尺度下的高斯模糊图像;
其中σ为高斯的标准差,表达所述高斯尺度空间中每一高斯模糊图像对应的尺度。σ以2的指数幂取值,第k个尺度为σk,且其中σ0为初始尺度,取值为1.6,K表示对尺度空间采样的层数,即所述高斯滤波器的个数。那么,第k个高斯模糊图像为Ik,对应的尺度为σk,且Ik=I*g(σk),k=0,…,K。
第二步:在所述高斯尺度空间中,每一所述高斯模糊图像再与尺度规范化的拉普拉斯滤波器卷积得到高斯拉普拉斯尺度空间响应其中 f = 0 1 0 1 - 4 1 0 1 0 为拉普拉斯算子。
第三步:在所述高斯拉普拉斯尺度空间中,获取局部极大值或极小值点作为候选的兴趣点。所述兴趣点包括三个属性,即所述兴趣点在对应的高斯模糊图像中的位置坐标x,y和对应的尺度σk
第四步:对所述兴趣点,获取其对应的相同尺度的高斯模糊图像Ik上以x,y为中心,以mσ为半径的圆形区域,其中m=3.96。然后,对所述圆形区域内的像素,按以下公式计算其每个像素的梯度,包括梯度模长和梯度方向
m I k ( x , y ) = ( I k ( x + 1 , y ) - I k ( x - 1 , y ) ) 2 + ( I k ( x , y + 1 ) - I k ( x , y - 1 ) ) 2
&theta; I k ( x , y ) =arctan I k ( x , y + 1 ) - I k ( x , y - 1 ) I k ( x + 1 , y ) - I k ( x - 1 , y )
第五步:将所述圆形区域内的每个像素的梯度方向按最近距离规则量化到圆周36等分的方向上。每个方向以梯度模长为权重做加权累计,得到一个36维的梯度方向直方图。
第六步:选取直方图中累计最大的方向作为该兴趣点的主方向θ。同时,如果有其他方向的累计值超过主方向累计值的80%,复制扩展该兴趣点为一个新的兴趣点,并用该方向作为新兴趣点的主方向。
此外,对于检测到的所述兴趣点,获取的相同尺度的高斯模糊图像Ik上以x,y为中心,且坐标系旋转至与主方向θ对齐,以3σ为半径的正方形区域。然后,将所述正方形区域均匀地划分成4*4的图像块,对所述图像块中的每个像素求梯度后,将梯度方向量化到圆周8等分的方向上并计算梯度方向直方图,其累计过程采用三线性插值的方式,然后按照从左到右、从上到下的顺序拼接每个图像块的梯度方向直方图对应的8维的向量,如图2所示,获得4*4*8=128的梯度方向直方图向量。
第七步:对产生的128维梯度方向直方图向量进行一次L2归一化。然后,对每一维度进行截断操作,即对每一维度的值,如果大于0.2,则截断取值为0.2。接着,再对截断后的向量进行一次L2归一化。最终产生前述步骤101中所述的局部特征描述子。
若梯度向量直方图向量为h,hi为h第i个维度的数值,i=0,…,127,所述L2归一化的具体形式为:h'i为h经过L2归一化后第i个维度的数值。
为更清楚的说明本申请中对局部特征描述子降维的内容,以下进行举例说明前述的采用降维矩阵对所述局部特征描述子进行降维的方式为
采用降维矩阵对所述局部特征描述子进行降维,具体包括:
第一步、获取待处理图像的局部特征描述子。
第二步、将获取的局部特征描述子形成描述子集合。
第三步、所述描述子集合中的每一局部特征描述子减去预设的均值向量,得到转换后的局部特征描述子;
其中,预设的均值向量为训练预设的图像数据集得到的向量,且预设的均值向量的维度与所述局部特征描述子的维度相同。
第四步、将转换后的局部特征描述子组成数据矩阵。
举例来说,在每一转换后的局部特征描述子的维度为N时,将每一局部特征描述子的每一维度上的元素组成所述数据矩阵中对应一行上的数值,以获取M*N维的数据矩阵;
或者,
在每一转换后的局部特征描述子的维度为N时,将每一局部特征描述子的每一维度上的元素组成所述数据矩阵中对应一列上的数值,以获取N*M维的数据矩阵;
上述的M为转换后的局部特征描述子的个数,N等于128。
例如,在步骤201中,每一所述局部特征描述子的维度为N=128,且获得300个所述局部特征描述子,即M=300,所述转换后的局部特征描述子的维度N=128,将所述转换后的局部特征描述子的128个元素作为数据矩阵的一行,得到一个300*128维度的数据矩阵。当然,若将所述转换后的局部特征描述子的128个元素作为数据矩阵的一列,则得到128*300的数据矩阵。
第五步、将降维矩阵和所述数据矩阵相乘,得到结果矩阵。
在本实施例中,降维矩阵可为采用主成分分析方式从所述图像数据集中获取的矩阵,所述降维矩阵的维度为N*K,或者,所述降维矩阵的维度为K*N,其中,K等于32;
由上可知,降维矩阵中每一行的维度与局部特征描述子的维度相同,例如若局部特征描述子的维度为128维,则降维矩阵中每一行的维度为128维;降维矩阵中每一列的维度与低维局部特征描述子的维度相同,例如若低维局部特征描述子的维度为32维,则降维矩阵中每一列的维度为32维;
或者,
降维矩阵中每一列的维度与局部特征描述子的维度相同,例如若局部特征描述子的维度为128维,则降维矩阵中每一列的维度为128维;降维矩阵中每一行的维度与低维局部特征描述子的维度相同,例如若低维局部特征描述子的维度为32维,则降维矩阵中每一行的维度为32维。
因此,降维矩阵应该是一个128x32或32x128维的矩阵。
应说明的是,在本步骤中降维矩阵的维度为N*K,所述数据矩阵的维度为M*N时,所述结果矩阵的维度为M*K。
或者,在本步骤中所述降维矩阵的维度为K*N,所述数据矩阵的维度为N*M时,所述结果矩阵的维度为K*M。
特别地,数据矩阵的维度为300x128,降维矩阵的维度为128x32,得到的结果矩阵的维度为300x32,计算过程如下所示:
上述所示的计算过程即为现有技术中的矩阵乘法运算,本实施例不再详述。
第六步、拆分所述结果矩阵,获得低维局部特征描述子。
举例来说,若结果矩阵的维度为M*K,则提取所述结果矩阵中的每一行中的数值,将提取的每一行的数值作为一个低维局部特征描述子;
或者,若结果矩阵的维度为K*M,则提取所述结果矩阵中的每一列中的数值,将提取的每一列的数值作为一个低维局部特征描述子。
M和K同上的说明。
一种优选的实现方式中,提取所述结果矩阵中的每一行中的数值,将提取的每一行的数值作为一个低维局部特征描述子,得到M个低维局部特征描述子,且每一低维局部特征描述子的维度为K;
或者,提取所述结果矩阵中的每一列中的数值,将提取的每一列的数值作为一个低维局部特征描述子,得到M个低维局部特征描述子,且每一低维局部特征描述子的维度为K。
也就是说,结果矩阵中的每一行(或每一列)对应一个低维局部特征描述子,共M个低维局部特征描述子,低维局部特征描述子的维度为K。
例如,若结果矩阵的维度是300x32,则结果矩阵的每一行对应一个降维后的所述局部特征描述子;若结果矩阵的维度是32x300,则结果矩阵的每一列对应一个降维后的所述局部特征描述子。
特别地,若对一个局部特征描述子进行降维得到低维局部特征描述子,上述步骤201至206可以用如下公式表示:
x t = P T ( h t &prime; - h ~ )
其中,xt为所述低维局部特征描述子,P为所述降维矩阵,h't为所述局部特征描述子,为所述预设的均值向量。
本发明实施例的全局特征描述子的聚合方法,能够降低现有技术中全局特征描述子聚合过程的时间复杂度,进一步提高全局特征描述子的鉴别力和鲁棒性。
上述方法可在任一移动设备上执行,本实施例不对其进行限定。
图3示出了本发明一实施例提供的全局特征描述子的聚合装置的结构示意图,如图3所示,本实施例的一种全局特征描述子的聚合装置包括:获取单元31、排序单元32、选择单元33和聚合单元34;
其中,获取单元31用于获取待处理图像的局部特征描述子;
排序单元32用于根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;
选择单元33用于根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;
聚合单元34用于采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;
其中,所述截断阈值是针对局部特征描述子个数的阈值,且为训练预设的图像数据集中每类图像的检索结果得到的。
可选地,所述排序单元32具体用于,利用统计方式对所述局部特征描述子的重要性进行定量表示,即用一个具体的数值表示所述局部特征描述子的重要性;
根据所述局部特征描述子的重要性对应的数值的大小,将所有的局部特征描述子进行降序排列,得到排序后的局部特征描述子;
其中,所述局部特征描述子的重要性为所述局部特征描述子用于聚合全局特征描述子时,对全局特特征描述子的区分能力的影响。
在具体应用中,所述图像数据集包括:三维物体图像和平面物体图像;
所述截断阈值为位于230至270之间的一个整数。
可选地,在所述截断阈值为250时,所述选择单元33具体用于
从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的250个局部特征描述子;
若所述排序后的局部特征描述子的个数小于250个,则将所述排序后的局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
可选地,所述获取单元31获取的局部描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
本发明实施例的全局特征描述子的聚合装置,能够降低现有技术中全局特征描述子聚合过程的时间复杂度,进一步提高全局特征描述子的鉴别力和鲁棒性。
本实施例中的全局特征描述子的聚合装置可位于任意的移动设备中或者任意服务器中,本实施例不对其进行限定。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种全局特征描述子的聚合方法,其特征在于,包括:
获取待处理图像的局部特征描述子;
根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;
根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;
采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;
其中,所述截断阈值是针对局部特征描述子个数的阈值,且为训练预设的图像数据集中每类图像的检索结果得到的。
2.根据权利要求1所述的方法,其特征在于,根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子,包括:
利用统计方式对所述局部特征描述子的重要性进行定量表示,即用一个具体的数值表示所述局部特征描述子的重要性;
根据所述局部特征描述子的重要性对应的数值的大小,将所有的局部特征描述子进行降序排列,得到排序后的局部特征描述子;
其中,所述局部特征描述子的重要性为所述局部特征描述子用于聚合全局特征描述子时,对全局特特征描述子的区分能力的影响。
3.根据权利要求1或2所述的方法,其特征在于,所述图像数据集包括:三维物体图像和平面物体图像;
所述截断阈值为位于230至270之间的一个整数。
4.根据权利要求3所述的方法,其特征在于,在所述截断阈值为250时,所述根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子,包括:
从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的250个局部特征描述子;
若所述排序后的局部特征描述子的个数小于250个,则将所述排序后的局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
5.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的局部特征描述子中,所述局部特征描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
6.一种全局特征描述子的聚合装置,其特征在于,包括:
获取单元,用于获取待处理图像的局部特征描述子;
排序单元,用于根据所述局部特征描述子的重要性,将所有的局部特征描述子进行排序,获得排序后的局部特征描述子;
选择单元,用于根据截断阈值,从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的若干个局部特征描述子;
聚合单元,用于采用高斯混合模型对所述若干个局部特征描述子进行聚合,获得待处理图像的全局特征描述子;
其中,所述截断阈值是针对局部特征描述子个数的阈值,且为训练预设的图像数据集中每类图像的检索结果得到的。
7.根据权利要求6所述的装置,其特征在于,所述排序单元,具体用于
利用统计方式对所述局部特征描述子的重要性进行定量表示,即用一个具体的数值表示所述局部特征描述子的重要性;
根据所述局部特征描述子的重要性对应的数值的大小,将所有的局部特征描述子进行降序排列,得到排序后的局部特征描述子;
其中,所述局部特征描述子的重要性为所述局部特征描述子用于聚合全局特征描述子时,对全局特特征描述子的区分能力的影响。
8.根据权利要求6或7所述的装置,其特征在于,所述图像数据集包括:三维物体图像和平面物体图像;
所述截断阈值为位于230至270之间的一个整数。
9.根据权利要求8所述的装置,其特征在于,在所述截断阈值为250时,所述选择单元,具体用于
从所述排序后的局部特征描述子中选择用于聚合全局特征描述子的250个局部特征描述子;
若所述排序后的局部特征描述子的个数小于250个,则将所述排序后的局部特征描述子全部用作聚合全局特征描述子的局部特征描述子。
10.根据权利要求6所述的装置,其特征在于,所述获取单元获取的局部描述子为采用预设的降维矩阵对每一局部特征描述子进行降维后,得到的低维的局部特征描述子;
其中,所述降维矩阵为训练预设的图像数据集得到的矩阵。
CN201410183575.1A 2014-04-30 2014-04-30 全局特征描述子的聚合方法 Active CN104615613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410183575.1A CN104615613B (zh) 2014-04-30 2014-04-30 全局特征描述子的聚合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410183575.1A CN104615613B (zh) 2014-04-30 2014-04-30 全局特征描述子的聚合方法

Publications (2)

Publication Number Publication Date
CN104615613A true CN104615613A (zh) 2015-05-13
CN104615613B CN104615613B (zh) 2018-04-17

Family

ID=53150062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410183575.1A Active CN104615613B (zh) 2014-04-30 2014-04-30 全局特征描述子的聚合方法

Country Status (1)

Country Link
CN (1) CN104615613B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608234A (zh) * 2016-03-18 2016-05-25 北京京东尚科信息技术有限公司 图像检索方法和装置
CN107688816A (zh) * 2016-08-04 2018-02-13 北京大学 一种图像特征的池化方法及装置
CN111191059A (zh) * 2019-12-31 2020-05-22 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980250A (zh) * 2010-10-15 2011-02-23 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
US20120177294A1 (en) * 2011-01-10 2012-07-12 Microsoft Corporation Image retrieval using discriminative visual features
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980250A (zh) * 2010-10-15 2011-02-23 北京航空航天大学 基于降维局部特征描述子和隐条件随机场的目标识别方法
US20120177294A1 (en) * 2011-01-10 2012-07-12 Microsoft Corporation Image retrieval using discriminative visual features
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HERVE JEGOU, ETAL: "Aggregating local descriptors into a compact image representation", 《COMPUTER VISION AND PATTERN RECOGNITION(CVPR), 2010 IEEE CONFERENCE ON》 *
王军伟: "融合全局与局部信息的形状轮廓特征分析与匹配", 《中国博士学位论文全文数据库》 *
王科俊,任桢: "采用SIFT特征和增强型高斯混合模型的目标识别", 《弹箭与制导学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608234A (zh) * 2016-03-18 2016-05-25 北京京东尚科信息技术有限公司 图像检索方法和装置
CN107688816A (zh) * 2016-08-04 2018-02-13 北京大学 一种图像特征的池化方法及装置
CN111191059A (zh) * 2019-12-31 2020-05-22 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机存储介质及电子设备
CN111191059B (zh) * 2019-12-31 2023-05-05 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机存储介质及电子设备

Also Published As

Publication number Publication date
CN104615613B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
Mukherjee et al. A comparative experimental study of image feature detectors and descriptors
CN105844283B (zh) 用于识别图像类目归属的方法、图像搜索方法及装置
US8705866B2 (en) Region description and modeling for image subscene recognition
US8503792B2 (en) Patch description and modeling for image subscene recognition
Vahdat et al. Compositional models for video event detection: A multiple kernel learning latent variable approach
CN106503727B (zh) 一种高光谱图像分类的方法及装置
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
US8503768B2 (en) Shape description and modeling for image subscene recognition
CN102779157B (zh) 搜索图像的方法和装置
Tabia et al. Compact vectors of locally aggregated tensors for 3D shape retrieval
CN105069457B (zh) 图像识别方法和装置
US8204889B2 (en) System, method, and computer-readable medium for seeking representative images in image set
Lomio et al. Classification of building information model (BIM) structures with deep learning
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN104616013A (zh) 获取低维局部特征描述子的方法
CN104881640A (zh) 一种获取向量的方法及装置
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
Shi et al. Human action recognition from local part model
CN102708589B (zh) 一种基于特征聚类的三维目标多视点视图建模方法
CN104751463A (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
CN104615613A (zh) 全局特征描述子的聚合方法
Siméoni et al. Unsupervised object discovery for instance recognition
Chiu et al. See the difference: Direct pre-image reconstruction and pose estimation by differentiating hog
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN104615611A (zh) 获取全局特征描述子的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant