CN107688816A - 一种图像特征的池化方法及装置 - Google Patents

一种图像特征的池化方法及装置 Download PDF

Info

Publication number
CN107688816A
CN107688816A CN201610633087.5A CN201610633087A CN107688816A CN 107688816 A CN107688816 A CN 107688816A CN 201610633087 A CN201610633087 A CN 201610633087A CN 107688816 A CN107688816 A CN 107688816A
Authority
CN
China
Prior art keywords
feature
image
dimension
several
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610633087.5A
Other languages
English (en)
Inventor
段凌宇
智天成
王同
王一同
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610633087.5A priority Critical patent/CN107688816A/zh
Publication of CN107688816A publication Critical patent/CN107688816A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Abstract

本发明提供了一种图像特征的池化方法及装置,所述方法包括:获取图像的若干个维度相同的局部特征;对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。本发明使得池化后的特征具有紧凑性、抗异常值、抗背景干扰能力及较强的区分力,解决了现有技术中特征维度高或特征区分力低等问题。

Description

一种图像特征的池化方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像特征的池化方法及装置。
背景技术
特征池化是一种特征聚合方法,即将若干局部特征聚合为全局特征的方法。目前,常见的图像特征的池化(或聚合)方法可分为基于嵌入的方法和非基于嵌入的方法。其中基于嵌入的方法有词袋模型、局部特征聚合描述符(Vector of Locally AggregatedDescriptors,VLAD)、Fisher向量等,非基于嵌入的方法有最大值池化、均值池化等。
但是上述现有方法均有缺点,比如:词袋模型过于粗糙,得到的特征区分力低;局部特征聚合描述符(VLAD)和Fisher向量得到的特征维度过高;最大值池化易受异常值影响;均值池化易使得背景信息掩盖重要物体的特征表达,进而影响池化特征的区分力。
发明内容
针对现有技术的缺陷,本发明提供一种图像特征的池化方法及装置,能够解决现有技术中特征维度高或特征区分力低等问题。
第一方面,本发明提供了一种图像特征的池化方法,所述方法包括:
获取图像的若干个维度相同的局部特征;
对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;
在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;
在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
可选地,所述获取图像的若干个维度相同的局部特征,包括:
获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
可选地,所述获取图像的若干个维度相同的局部特征,包括:
对所述图像检测获得若干个图像块;
分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
可选地,所述获取图像的若干个维度相同的局部特征,包括:
对所述图像检测获得若干个图像块;
分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征;
对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
可选地,所述对所述子局部特征进行特征池化,得到所述各图像块的特征,包括:
针对各图像块,对所述图像块对应的子局部特征在各维度上分别从大到小进行排序,以得到排序后的第二特征序列;
在各维度上分别选取所述排序后的第二特征序列中排序在前的预设数量的局部特征,以得到筛选后的第二特征序列;
在各维度上分别对所述筛选后的第二特征序列求平均值,得到所述图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
可选地,所述得到所述图像的与局部特征维度相同的全局特征之后,所述方法还包括:
对所述全局特征进行白化及归一化。
第二方面,本发明提供了一种图像特征的池化装置,所述装置包括:
局部特征获取模块,用于获取图像的若干个维度相同的局部特征;
排序模块,用于对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;
筛选模块,用于在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;
全局特征获取模块,用于在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
可选地,所述局部特征获取模块,具体用于:
获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
可选地,所述局部特征获取模块,具体用于:
对所述图像检测获得若干个图像块;
分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
可选地,所述局部特征获取模块,具体用于:
对所述图像检测获得若干个图像块;
分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征;
对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
由上述技术方案可知,本发明提供一种图像特征的池化方法及装置,通过获取图像的若干个维度相同的局部特征,在各维度上分别对所述若干个局部特征从大到小进行排序,以得到排序后的第一特征序列;在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征,如此,本发明在各维度上通过排序后筛选出排序在前的若干个局部特征,并对在各维度上对筛选出的若干个局部特征求均值以获得全局特征,使得池化后的特征具有紧凑性、抗异常值、抗背景干扰能力及较强的区分力,解决了现有技术中特征维度高或特征区分力低等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明实施例1提供的一种图像特征的池化方法的流程示意图;
图2是本发明实施例2提供的一种图像特征的池化方法的流程示意图;
图3是本发明实施例3提供的一种图像特征的池化方法的流程示意图;
图4是本发明实施例4提供的一种图像特征的池化方法的流程示意图;
图5是本发明实施例4提供的一种图像特征的池化方法的流程示意图;
图6是本发明实施例5提供的一种图像特征的池化装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
图1是本发明实施例1提供的一种图像特征的池化方法的流程示意图,如图1所示,所述方法包括如下步骤:
S101:获取图像的若干个维度相同的局部特征。
S102:对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列。
S103:在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列。
S104:在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
由此可见,本实施例通过获取图像的若干个维度相同的局部特征,在各维度上分别对所述若干个局部特征从大到小进行排序,以得到排序后的第一特征序列;在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征,如此,本实施例在各维度上通过排序后筛选出排序在前的若干个局部特征,并对在各维度上对筛选出的若干个局部特征求均值以获得全局特征,使得池化后的特征具有紧凑性、抗异常值、抗背景干扰能力及较强的区分力,解决了现有技术中特征维度高或特征区分力低等问题。
进一步地,本实施例中的图像特征的池化方法还包括图1未示出的如下步骤:
S105:对所述全局特征进行白化及归一化。
其中,所述白化可为任意数据白化方法,如PCA白化和ZCA白化。归一化可为任意向量归一化方法,如L2归一化。
实施例2
图2是本发明实施例2提供的一种图像特征的池化方法的流程示意图,如图2所示,所述方法包括如下步骤:
S201:获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
具体来说,本实施例中通过步骤S201获取图像的若干个维度相同的局部特征。
其中,所述卷积神经网络,可以是任意使用于图像特征提取的卷积神经网络,如典型的AlexNet和VGGNet。
以AlexNet为例,本实施例中所述卷积层或池化层,可以是卷积神经网络中任意输出具有特征图形式的卷积层或池化层。本实施例以pool5层为例。记特征图数目为M,特征图高为H,宽为W。对于AlexNet的pool5层,M=256,H=6,W=6。由于特征图中不同位置的值描述的是原图像中不同位置的图像块的信息,因此M个H×W的特征图可视为H×W个M维局部特征。记所述H×W个M维的局部特征组成的集合为{X1,X2,…,XH×W},其中Xj=[xj,1,xj,2,…,xj,M],j=1,2,…,H×W。
S202:对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列。
步骤S202与实施例1的步骤S102相同。
举例来说,对于所述H×W个M维的局部特征{X1,X2,…,XH×W}(Xj=[xj,1,xj,2,…,xj,M])进行如下处理:
对于每个维度d(1≤d≤M),将序列x1,d,x2,d,…,xH×W,d从大到小排序,得到序列x’1,d,x’2,d,…,x’H×W,d。记X’j=[x’j,1,x’j,2,…,x’j,M]。X’1,X’2,…,X’H×W即为排序后的第一特征序列。
S203:在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列。
步骤S203与实施例1的步骤S103相同。
举例来说,对于排序后的第一特征序列X’1,X’2,…,X’H×W,筛选出前K(1≤K≤H×W)名。本实施例中,可令K=7。得到的筛选后的第一特征序列为X’1,X’2,…,X’K
S204:在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征:
步骤S204与实施例1的步骤S104相同。
举例来说,对于筛选后的第一特征序列为X’1,X’2,…,X’K(X’j=[x’j,1,x’j,2,…,x’j,M]),在各维度上求平均值,从而得到M维的全局特征。记Y=[y1,y2,…,yM],则
S205:对所述全局特征进行白化及归一化。
步骤S205与实施例1的步骤S105相同。
其中,所述白化可为任意数据白化方法,如PCA白化和ZCA白化。以PCA白化为例。PCA白化首先利用训练样本集得到矩阵U和特征值λ12,…,λM。然后做如下操作,得到白化后特征YWhite
YRot=UTY (1)
YRot=[YRot,1,YRot,2,…,YRot,M] (2)
拼接得到
YWhite=[YWhite,1,YWhite,2,…,YWhite,M] (4)
其中,所述归一化可以为任何向量归一化方法,本实施例以L2归一化为例。进行如下操作得到归一化后特征YL2
实施例3
图3是本发明实施例3提供的一种图像特征的池化方法的流程示意图,如图3所示,所述方法包括如下步骤:
S301:对所述图像检测获得若干个图像块。
本实施例中具体采用图像块检测方法检测图像以获得若干个图像块。所述图像块检测方法,可为滑动窗口方法,也可以为似物性提议方法(Object Proposal)。其中,所述似物性提议方法,可以为选择性搜索算法(Selective Search)、BING算法、Edge Boxes算法等。本实施例以Selective Search算法为例,在原图中使用所述图像块检测方法检测N个图像块。
S302:分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
本实施例中的图像块特征提取方法,可以为任何图像全局特征提取方法,比如:卷积神经网络全连接层输出特征,或在实施例2基础上对图像块提取的池化卷积特征。本实施例以AlexNet网络fc6层输出的图像特征为例。将每个检测出图像块分别当作全图,提取D维全局特征,则N个图像块共得到N个D维特征。所述N个D维图像块特征相对于原图而言可视为N个D维局部特征。记所述N个D维的局部特征组成的集合为{X1,X2,…,XN},其中Xj=[xj,1,xj,2,…,xj,D],j=1,2,…,N。
由此可见,本实施例中通过步骤S301和步骤S302获取图像的若干个维度相同的局部特征。
S303:对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列。
举例来说,对于所述N个D维的局部特征{X1,X2,…,XN}(Xj=[xj,1,xj,2,…,xj,D])进行如下处理:
对于每个维度d(1≤d≤D),将序列x1,d,x2,d,…,xN,d从大到小排序,得到序列x’1,d,x’2,d,…,x’N,d。记X’j=[x’j,1,x’j,2,…,x’j,D]。X’1,X’2,…,X’N即为排序后的第一特征序列。
S304:在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列。
举例来说,对于排序后的第一特征序列X’1,X’2,…,X’N,筛选出前K(1≤K≤N)名。本实施例中,可令K=2。得到的筛选后的第一特征序列为X’1,X’2,…,X’K
S305:在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
举例来说,对于筛选后的第一特征序列为X’1,X’2,…,X’K(X’j=[x’j,1,x’j,2,…,x’j,D]),在各维度上求平均值,得到D维全局特征Y。记Y=[y1,y2,…,yD],则
S306:对所述全局特征进行白化及归一化。
其中,所述白化可为任意数据白化方法,如PCA白化和ZCA白化。以PCA白化为例。本实施例中,PCA白化首先利用训练样本集得到矩阵U和特征值λ12,…,λD。然后做如下操作,得到白化后特征YWhite
YRot=UTY (6)
YRot=[YRot,1,YRot,2,…,YRot,D] (7)
拼接得到
YWhite=[YWhite,1,YWhite,2,…,YWhite,D] (9)
其中,所述归一化可以为任何向量归一化方法,本实施例以L2归一化为例。进行如下操作得到归一化后特征YL2
实施例4
图4是本发明实施例4提供的一种图像特征的池化方法的流程示意图,如图4所示,所述方法包括如下步骤:
S401:对所述图像检测获得若干个图像块。
本实施例中具体采用图像块检测方法检测图像以获得若干个图像块。所述图像块检测方法,,可为滑动窗口方法,也可以为似物性提议方法(Object Proposal)。其中,所述似物性提议方法,可以为选择性搜索算法(Selective Search)、BING算法、Edge Boxes算法等。本实施例以BING算法为例,在原图中使用所述图像块检测方法检测N个图像块。
S402:分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征。
本实施例中所述的卷积神经网络,可以是任意使用于图像特征提取的卷积神经网络,如AlexNet和VGGNet。本实施例以VGGNet为例。本实施例中所述的卷积层或池化层,可以是卷积神经网络中任意输出具有特征图形式的卷积层或池化层。本实施例以pool5层为例。记特征图数目为M,特征图高为H,宽为W。本实施例中各图像块的局部特征记为原图像的子局部特征。
对于VGGNet的pool5层,M=512,H=7,W=7。由于特征图中不同位置的值描述的是检测出的图像块中不同位置的子图像块的信息,因此M个H×W的特征图可视为检测出的图像块的H×W个M维子局部特征。记所述H×W个M维的子局部特征组成的集合为{X1,X2,…,XH×W},其中Xj=[xj,1,xj,2,…,xj,M],j=1,2,…,H×W。
S403:对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
具体来说,如图5所示,步骤S403中对每个图像块,分别遵照如下步骤进行特征池化:
S4031:针对各图像块,对所述图像块对应的子局部特征在各维度上分别从大到小进行排序,以得到排序后的第二特征序列;
举例来说,对于每个图像块的所述H×W个M维的子局部特征{X1,X2,…,XH×W}(Xj=[xj,1,xj,2,…,xj,M])进行如下处理:
对于每个维度d(1≤d≤M),将序列x1,d,x2,d,…,xH×W,d从大到小排序,得到序列x’1,d,x’2,d,…,x’H×W,d。记X’j=[x’j,1,x’j,2,…,x’j,M]。X’1,X’2,…,X’H×W即为排序后的第二特征序列。
S4032:在各维度上分别选取所述排序后的第二特征序列中排序在前的预设数量的局部特征,以得到筛选后的第二特征序列;
进一步地,对于所述排序后的第二特征序列X’1,X’2,…,X’H×W,筛选出前K1(1≤K1≤H×W)名。本实施例中,可令K1=11。得到的筛选后的第二特征序列为X’1,X’2,…,X’K1
S4033:在各维度上分别对所述筛选后的第二特征序列求平均值,得到所述图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
对于所述筛选后的特征序列为X’1,X’2,…,X’K1(X’j=[x’j,1,x’j,2,…,x’j,M]),在各维度上求平均值,得到M维图像块特征Y。记Y=[y1,y2,…,yM],则
本实施例共检测出N个图像块,因此该步骤得到共计N个M维图像块特征。为了区分不同图像块的特征,添加下标i,记第i个图像块的特征为Yi=[yi,1,yi,2,…,yi,M]。则将所述N个图像块的特征{Y1,Y2,…,YN}(yj=[yj,1,yj,2,…,yj,M])作为所述图像的N个维度相同的局部特征。
由此可见,本实施例中通过步骤S401、步骤S402及步骤S403获取图像的若干个维度相同的局部特征。
S404:对所述图像的若干个维度相同的局部特征进行特征池化,得到所述图像的全局特征。
具体来说,如图5所示,步骤S404中对图像的若干个维度相同的局部特征,分别遵照如下步骤进行特征池化:
S4041:对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;
举例来说,进一步对步骤S4033得到的所述N个M维的图像块特征{Y1,Y2,…,YN}(yj=[yj,1,yj,2,…,yj,M])进行如下处理:
对于每个维度d(1≤d≤M),将序列y1,d,y2,d,…,yN,d从大到小排序,得到序列y’1,d,y’2,d,…,y’N,d。记Y’j=[y’j,1,y’j,2,…,y’j,D]。Y’1,Y’2,…,Y’N即为排序后的第一特征序列。
S4042:在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列。
对于所述排序后的特征序列Y’1,Y’2,…,Y’N,筛选出前K2(1≤K2≤N)名。本实施例中,可令K2=5。得到的筛选后的第一特征序列为Y’1,Y’2,…,Y’K2
S4043:在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
进一步地,对于所述筛选后的特征序列为Y’1,Y’2,…,Y’K2(Y’j=[y’j,1,y’j,2,…,y’j,M]),在各维度上求平均值,得到M维全局特征Z。记Z=[z1,z2,…,zM],则
可理解地,本实施例中步骤S4041对应实施例1中的步骤S102,步骤S4042对应实施例1中的步骤S103,步骤S4043对应实施例1中的步骤S104。
本实施例中,通过特征池化方法获取图像的局部特征,也通过特征池化方法获取图像的全局特征,使得池化后的特征具有紧凑性、抗异常值、抗背景干扰能力及较强的区分力。
S405:对所述全局特征进行白化及归一化。
其中,所述白化可为任意数据白化方法,如PCA白化和ZCA白化。以PCA白化为例。PCA白化首先利用训练样本集得到矩阵U和特征值λ12,…,λM。然后做如下操作,得到白化后特征YWhite
YRot=UTY (1)
YRot=[YRot,1,YRot,2,…,YRot,M] (2)
拼接得到
YWhite=[YWhite,1,YWhite,2,…,YWhite,M] (4)
其中,所述归一化可以为任何向量归一化方法,本实施例以L2归一化为例。进行如下操作得到归一化后特征YL2
实施例5
图6是本发明实施例5提供的一种图像特征的池化装置的结构示意图,如图6所示,所述装置包括:局部特征获取模块601、排序模块602、筛选模块603及全局特征获取模块604。其中:
局部特征获取模块601用于获取图像的若干个维度相同的局部特征;排序模块602用于对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;筛选模块603用于在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;全局特征获取模块604用于在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
由此可见,本实施例在各维度上通过排序后筛选出排序在前的若干个局部特征,并对在各维度上对筛选出的若干个局部特征求均值以获得全局特征,使得池化后的特征具有紧凑性、抗异常值、抗背景干扰能力及较强的区分力,解决了现有技术中特征维度高或特征区分力低等问题。
在本发明的一个可选实施例中,所述局部特征获取模块601,具体用于:
获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
在本发明的一个可选实施例中,所述局部特征获取模块601,具体用于:
对所述图像检测获得若干个图像块;
分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
在本发明的一个可选实施例中,所述局部特征获取模块601,具体用于:
对所述图像检测获得若干个图像块;
分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征;
对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
进一步地,在本发明的一个可选实施例中,所述图像特征的池化装置还包括:白化归一化模块,用于:
对所述全局特征进行白化及归一化。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像特征的池化方法,其特征在于,所述方法包括:
获取图像的若干个维度相同的局部特征;
对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;
在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;
在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
2.根据权利要求1所述的方法,其特征在于,所述获取图像的若干个维度相同的局部特征,包括:
获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
3.根据权利要求1所述的方法,其特征在于,所述获取图像的若干个维度相同的局部特征,包括:
对所述图像检测获得若干个图像块;
分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
4.根据权利要求1所述的方法,其特征在于,所述获取图像的若干个维度相同的局部特征,包括:
对所述图像检测获得若干个图像块;
分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征;
对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
5.根据权利要求4所述的方法,其特征在于,所述对所述子局部特征进行特征池化,得到所述各图像块的特征,包括:
针对各图像块,对所述图像块对应的子局部特征在各维度上分别从大到小进行排序,以得到排序后的第二特征序列;
在各维度上分别选取所述排序后的第二特征序列中排序在前的预设数量的局部特征,以得到筛选后的第二特征序列;
在各维度上分别对所述筛选后的第二特征序列求平均值,得到所述图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
6.根据权利要求1~5中任一项所述的方法,其特征在于,所述得到所述图像的与局部特征维度相同的全局特征之后,所述方法还包括:
对所述全局特征进行白化及归一化。
7.一种图像特征的池化装置,其特征在于,所述装置包括:
局部特征获取模块,用于获取图像的若干个维度相同的局部特征;
排序模块,用于对所述若干个维度相同的局部特征分别在各维度上从大到小进行排序,以得到排序后的第一特征序列;
筛选模块,用于在各维度上分别选取所述排序后的第一特征序列中排序在前的预设数量的局部特征,以得到筛选后的第一特征序列;
全局特征获取模块,用于在各维度上分别对所述筛选后的第一特征序列求平均值,得到所述图像的与局部特征维度相同的全局特征。
8.根据权利要求7所述的装置,其特征在于,所述局部特征获取模块,具体用于:
获取图像的卷积神经网络卷积层或池化层输出的特征图,根据所述特征图获得若干个维度相同的局部特征。
9.根据权利要求7所述的装置,其特征在于,所述局部特征获取模块,具体用于:
对所述图像检测获得若干个图像块;
分别提取所述若干个图像块的全局特征,得到若干个维度相同的局部特征。
10.根据权利要求7所述的装置,其特征在于,所述局部特征获取模块,具体用于:
对所述图像检测获得若干个图像块;
分别提取各图像块卷积神经网络的卷积层或者池化层特征作为所述图像块的局部特征,以得到所述图像的子局部特征;
对所述子局部特征进行特征池化,得到所述各图像块的特征,将所述若干个图像块的特征作为所述图像的若干个维度相同的局部特征。
CN201610633087.5A 2016-08-04 2016-08-04 一种图像特征的池化方法及装置 Pending CN107688816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610633087.5A CN107688816A (zh) 2016-08-04 2016-08-04 一种图像特征的池化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610633087.5A CN107688816A (zh) 2016-08-04 2016-08-04 一种图像特征的池化方法及装置

Publications (1)

Publication Number Publication Date
CN107688816A true CN107688816A (zh) 2018-02-13

Family

ID=61151100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610633087.5A Pending CN107688816A (zh) 2016-08-04 2016-08-04 一种图像特征的池化方法及装置

Country Status (1)

Country Link
CN (1) CN107688816A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521838A (zh) * 2011-12-19 2012-06-27 国家计算机网络与信息安全管理中心 一种图像检索/匹配方法及系统
CN103116766A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于增量神经网络和子图编码的图像分类方法
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备
US20140198998A1 (en) * 2013-01-14 2014-07-17 Samsung Electronics Co., Ltd. Novel criteria for gaussian mixture model cluster selection in scalable compressed fisher vector (scfv) global descriptor
CN103984966A (zh) * 2014-05-29 2014-08-13 西安电子科技大学 基于稀疏表示的sar图像目标识别方法
US20150003701A1 (en) * 2011-09-16 2015-01-01 Technische Universitat Berlin Method and System for the Automatic Analysis of an Image of a Biological Sample
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
US20150104102A1 (en) * 2013-10-11 2015-04-16 Universidade De Coimbra Semantic segmentation method with second-order pooling
CN104615611A (zh) * 2014-04-30 2015-05-13 北京大学 获取全局特征描述子的方法
CN104615613A (zh) * 2014-04-30 2015-05-13 北京大学 全局特征描述子的聚合方法
CN104616012A (zh) * 2014-04-30 2015-05-13 北京大学 获取紧凑全局特征描述子的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150003701A1 (en) * 2011-09-16 2015-01-01 Technische Universitat Berlin Method and System for the Automatic Analysis of an Image of a Biological Sample
CN102521838A (zh) * 2011-12-19 2012-06-27 国家计算机网络与信息安全管理中心 一种图像检索/匹配方法及系统
US20140198998A1 (en) * 2013-01-14 2014-07-17 Samsung Electronics Co., Ltd. Novel criteria for gaussian mixture model cluster selection in scalable compressed fisher vector (scfv) global descriptor
CN103116766A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于增量神经网络和子图编码的图像分类方法
US20150104102A1 (en) * 2013-10-11 2015-04-16 Universidade De Coimbra Semantic segmentation method with second-order pooling
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备
CN104615611A (zh) * 2014-04-30 2015-05-13 北京大学 获取全局特征描述子的方法
CN104615613A (zh) * 2014-04-30 2015-05-13 北京大学 全局特征描述子的聚合方法
CN104616012A (zh) * 2014-04-30 2015-05-13 北京大学 获取紧凑全局特征描述子的方法
CN103984966A (zh) * 2014-05-29 2014-08-13 西安电子科技大学 基于稀疏表示的sar图像目标识别方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ARTEM BABENKO 等: ""Aggregating Deep Convolutional Features for Image Retrieval"", 《COMPUTER VISION AND PATTERN RECOGNITION》 *

Similar Documents

Publication Publication Date Title
CN105550381B (zh) 一种基于改进sift特征的高效图像检索方法
McGarigal FRAGSTATS help
CN102156751B (zh) 一种提取视频指纹的方法及装置
CN106503727B (zh) 一种高光谱图像分类的方法及装置
Zakariya et al. Combining visual features of an image at different precision value of unsupervised content based image retrieval
Wang et al. Remote sensing image retrieval by scene semantic matching
CN104933420B (zh) 一种场景图像识别方法和场景图像识别设备
CN108491856B (zh) 一种基于多尺度特征卷积神经网络的图像场景分类方法
CN106683073A (zh) 一种车牌的检测方法及摄像机和服务器
CN105184225B (zh) 一种多国纸币图像识别方法和装置
Wang et al. Supervised deep hashing for hierarchical labeled data
CN104951562B (zh) 一种基于vlad双重自适应的图像检索方法
CN107180079A (zh) 基于卷积神经网络以及树与哈希结合索引的图像检索方法
CN103399863B (zh) 基于边缘方向差特征袋的图像检索方法
CN107315984A (zh) 一种行人检索的方法及装置
CN107688816A (zh) 一种图像特征的池化方法及装置
Le et al. Improving logo spotting and matching for document categorization by a post-filter based on homography
CN101751554A (zh) 一种对互联网大麻图像进行的过滤方法
Marinai et al. Tree clustering for layout-based document image retrieval
CN113656625B (zh) 一种确定人体空间域的方法、装置及电子设备
Ben Aoun et al. Graph aggregation based image modeling and indexing for video annotation
CN108536769A (zh) 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN114419356A (zh) 一种稠密排列电力设备检测方法、系统、设备及存储介质
Gu et al. Clustering consumer photos based on face recognition
CN116051966A (zh) 基于深度学习网络的笔石图像识别方法及其模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180213