CN104616012B - 获取紧凑全局特征描述子的方法 - Google Patents
获取紧凑全局特征描述子的方法 Download PDFInfo
- Publication number
- CN104616012B CN104616012B CN201410182901.7A CN201410182901A CN104616012B CN 104616012 B CN104616012 B CN 104616012B CN 201410182901 A CN201410182901 A CN 201410182901A CN 104616012 B CN104616012 B CN 104616012B
- Authority
- CN
- China
- Prior art keywords
- bit
- global characteristics
- binaryzation
- description
- gradient vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种获取紧凑全局特征描述子的方法,其中,所述方法包括:获取待处理图像的可伸缩全局特征描述子;根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子;根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特组成紧凑全局特征描述子。上述方法能够将可伸缩全局特征描述子压缩成长度很小检索性能很优的紧凑全局特征描述子,相比现有技术中的全局特征描述子压缩技术,时间复杂度更低,内存占用量更少。
Description
技术领域
本发明涉及计算技术,尤其涉及一种获取紧凑全局特征描述子的方法。
背景技术
在图像检索领域,业内人士通过将图像的局部特征描述子聚合成全局特征描述子,进而实现图像的检索。当前,Fisher Vector(简称FV向量)为一种全局特征描述子,且Fisher Vector在图像检索和分类中都获得了比较好的性能。
在图像检索过程中,为了降低全局特征描述子的存储复杂度,以及传输过程中的带宽延迟,需要采用码表将全局特征描述子压缩。现有技术中对全局特征描述子压缩的方法包括:使用乘积量化将全局特征描述子分成多个不重叠的子向量,根据码表将每个子向量量化成一个标识符。
然而,上述压缩方法需要预先训练好的码表,码表会占用较大的存储空间,使内存有限的移动设备难以承受。
另一方面,为将全局特征描述子压缩到较小的长度,量化的质量会受到影响,使全局特征描述子的表达能力降低,从而影响检索的性能。
发明内容
为解决现有技术中的缺陷,本发明提供一种获取紧凑全局特征描述子的方法,用于将现有技术中全局特征描述子压缩到较小的长度,且提高了紧凑全局特征描述子的表达能力。
本发明提供一种获取紧凑全局特征描述子的方法,包括:
获取待处理图像的可伸缩全局特征描述子;
根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子;
根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特依次连接得到紧凑全局特征描述子。
可选地,所述根据所述可伸缩全局特征描述子中每一维度上的数值,所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子,包括:
若所述可伸缩全局特征描述子中一维度上的数值为正数,则该维度对应的比特的值为1;
若所述可伸缩全局特征描述子中一维度上的数值为负数或0,则该维度对应的比特的值为0。
可选地,所述获取待处理图像的可伸缩全局特征描述子,包括:
获取待处理图像的局部特征描述子,并对所述局部特征描述子进行降维;
根据高斯混合模型,对降维后的局部特征描述子进行聚合,获取所述图像的一个全局特征描述子;
根据预设规则,对所述全局特征描述子进行处理,获取所述待处理图像的可伸缩全局特征描述子;
其中,所述可伸缩全局特征描述子的字节大小根据所述预设规则中参数值的变化而变化。
可选地,根据预设规则,对所述全局特征描述子进行处理,获取所述待处理图像的可伸缩全局特征描述子,包括:
根据高斯混合模型中每个高斯密度函数对应的第一累积梯度向量的所有维度数值的标准差,对所有高斯密度函数按照所述标准差由大到小的顺序排序,选取排序中排在前面的若干个高斯密度函数,并将选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量依次首尾相连得到可伸缩全局特征描述子;
其中,所述高斯混合模型通过M个独立的高斯密度函数线性叠加得到的,所述M等于512;
所述第一累积梯度向量是所述待处理图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的;
所述第二累积梯度向量是所述待处理图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
可选地,所述可伸缩全局特征描述子包括:选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量;
所述根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子,包括:
对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化,得到包括比特的二值化后的第一累积梯度向量和/或第二累积梯度向量;
将包括比特的二值化后的所述第一累积梯度向量和/或第二累积梯度向量首尾依次相连得到包括比特的二值化后的可伸缩全局特征描述子。
可选地,对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化,包括:
若所述第一累积梯度向量的一维度的数值为正数,则该维度对应的比特的值为1;
若所述第一累积梯度向量的一维度的数值为负数或0,则该维度对应的比特的值为0;
若所述第二累积梯度向量的一维度的数值为正数,则该维度对应的比特的值为1;
若所述第二累积梯度向量的一维度的数值为负数或0,则该维度对应的比特的值为0。
可选地,所述根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特依次相连得到紧凑全局特征描述子,包括:
根据预设的比特选择表,从包括比特的二值化后的所述第一累积梯度向量中选择部分比特,将选择的部分比特依次相连得到紧凑全局特征描述子。
其中,包括比特的二值化后的第一累积梯度向量为32维,包括比特的二值化后的第二累积梯度向量为32维。
可选地,所述预设的比特选择表的获取方式包括:
训练预设的图像数据集,得到每一高斯密度函数对应的第一累积梯度向量,对所有的第一累积梯度向量进行二值化处理,得到每一高斯密度函数对应的,包括比特的二值化后的第一累积梯度向量;
采用统计方式计算每一高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中每一比特的重要性,选择重要性大的若干比特,根据选择的若干比特对应的比特位设置比特选择表对应位的值;
每一高斯密度函数对应一个比特选择表;
将所有高斯密度函数对应的比特选择表转换为对应的整数。
可选地,所述根据预设的比特选择表,从包括比特的二值化后的所述第一累积梯度向量中选择部分比特,将选择的部分比特依次连接得到紧凑全局特征描述子,包括:
若所述整数的二进制表达的第j位为1,则选择所述高斯密度函数的第j个比特;若所述整数对应的二进制表达的第j位为0,则不选择所述高斯密度函数的第j个比特;其中,j为1至32之间的自然数;
所述高斯密度函数的第j个比特为,所述高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中的第j个比特。
可选地,所述待处理图像的视觉特征描述子由紧凑全局特征描述子、紧凑局部特征描述子和每一紧凑局部特征描述子对应待处理图像的位置信息构成;
若所述待处理图像的视觉特征描述子长度范围在462字节和562字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到;并根据比特选择表,分别从所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量中选择24个比特,构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在924字节和1124字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在1848字节和2248字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在3696字节和4496字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在7392字节和8992字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在14784字节和17984字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子。
由上述技术方案可知,本发明的获取紧凑全局特征描述子的方法,通过对可伸缩全局特征描述子中每一维度上的数值进行二值化,得到包括比特的二值化后的可伸缩全局特征描述子。根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选取若干个比特,进而选择的若干个比如组成紧凑全局特征描述子,进而将可伸缩全局特征描述子压缩成长度很小的紧凑全局特征描述子,提高了紧凑全局特征描述子的表达能力;进一步地,上述压缩过程不依赖于任何额外的码表和数据,进而可大大降低现有技术压缩过程中的时间复杂度和内存占用量。
附图说明
图1为本发明一实施例提供的获取紧凑全局特征描述子的方法的流程示意图;
图2为本发明一实施例提供的梯度方向直方图向量的示意图。
具体实施方式
图1示出了本发明一实施例提供的获取紧凑全局特征描述子的方法的流程示意图,如图1所示,本实施例的全局特征描述子的聚合方法如下所示。
101、获取待处理图像的可伸缩全局特征描述子;
举例来说,步骤101可包括下述的图中未示出的子步骤。
1011、获取待处理图像的局部特征描述子,并对所述局部特征描述子进行降维;
1012、根据高斯混合模型,对降维后的局部特征描述子进行聚合,获取所述图像的一个全局特征描述子;
1013、根据预设规则,对所述全局特征描述子进行处理,获取所述待处理图像的可伸缩全局特征描述子;
可理解的是,所述可伸缩全局特征描述子的字节大小根据所述预设规则中参数值的变化而变化。
例如,根据高斯混合模型中每个高斯密度函数对应的第一累积梯度向量的所有维度数值的标准差,对所有高斯密度函数按照所述标准差由大到小的顺序排序,选取排序中排在前面的若干个高斯密度函数,并将选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量依次首尾相连得到可伸缩全局特征描述子;
上述的第一累积梯度向量是所述待处理图像的对数似然函数对与所述高斯密度函数对应的均值求一阶偏导得到的。
上述第二累积梯度向量是所述待处理图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
所述高斯混合模型通过M个独立的高斯密度函数线性叠加得到的,所述M等于512。
特别地,第一累积梯度向量为,
第二累积梯度向量为,
第i个高斯密度函数对应的第一累积梯度向量的所有维度的数值的标准差为:
其中,λ为高斯混合模型的参数集合,i=1...M,M=512。ωi为第i个高斯分量的混合权重,μi为第i个高斯分量的均值向量,σi为第i个高斯分量的方差向量,为在第i个高斯分量产生第t个降维后的局部特征描述子xt的概率。X为包含N个所述降维后的局部特征描述子的集合用于表示待处理图像,即X={xt,t=1...N},xt为第t个降维后的局部特征描述子,维度为d,N为局部特征描述子的个数。本实施例中,N=300,d=32。L(X|λ)表示待处理图像的对数似然函数,如式(1)所示,
为高斯混合模型的似然函数,pi(xt|λ)为第i个高斯分量的概率密度函数。
高斯混合模型包括512个高斯密度函数,每一高斯密度函数对应的第一累积梯度向量的维度为32维,每一高斯密度函数对应的第二累积梯度向量的维度为32维。
102、根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子;
具体来说,所述可伸缩全局特征描述子中每一维度上的数值均由一个浮点型实数表达。
若所述可伸缩全局特征描述子中一维度上的数值为正数,则该维度对应的比特的值为1;若所述可伸缩全局特征描述子中一维度上的数值为负数或0,则该维度对应的比特的值为0。
由于前述101步骤中举例说明的可伸缩全局特征描述子可由选取的高斯密度函数对应的第一累积梯度向量组成。由此,对所述可伸缩全局特征描述子进行二值化处理可为对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化,具体地:
此外,上述步骤102可包括下述的图中未示出的子步骤:
1021、对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化处理,得到包括比特的二值化后的第一累积梯度向量和/或第二累积梯度向量。
若所述第一累积梯度向量和/或第二累积梯度向量的一维度的数值为正数,则该维度对应的比特为1;若所述第一累积梯度向量和/或第二累积梯度向量的一维度的数值为负数或0,则该维度对应的比特为0。
通常,第一累积梯度向量和/或第二累积梯度向量的一个维度上有一个数值。
1022、将包括比特的二值化后的所述第一累积梯度向量和/或第二累积梯度向量首尾依次相连得到包括比特的二值化后的可伸缩全局特征描述子。
103、根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特依次连接得到紧凑全局特征描述子。
例如,可根据预设的比特选择表,从包括比特的二值化后的所述第一累积梯度向量中选择部分比特,将选择的部分比特依次相连得到紧凑全局特征描述子。其中,包括比特的二值化后的第一累积梯度向量为32维,包括比特的二值化后的第二累积梯度向量为32维。
在本实施例中,上述的一个比特选择表可对应一个整数。例如,在具体应用中,可将上述整数存储在移动终端,或者客户端中,方便在获取紧凑全局特征描述子的时候使用。
当前,上述整数的二进制表达中的一个“位”称为一个比特,每个比特的取值为0或者1。
由于高斯混合模型包括512个高斯密度函数,且每个高斯密度函数对应的第一累积梯度向量的维度为32。相应地,二值化后的第一累积梯度向量包含32个比特。
由于每个高斯函数对应一个比特选择表,且每个比特选择表用一个整数表示:
若所述整数的二进制表达的第j位为1,则选择所述高斯密度函数的第j个比特;
若所述整数的二进制表达的第j位为0,则不选择所述高斯密度函数的第j个比特;其中,j为1至32之间的自然数;
本实施例的获取紧凑全局特征描述子的方法,通过对可伸缩全局特征描述子中每一维度上的数值进行二值化,得到包括比特的二值化后的可伸缩全局特征描述子。根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选取若干个比特,进而选择的若干个比如组成紧凑全局特征描述子,进而将可伸缩全局特征描述子压缩成长度很小的紧凑全局特征描述子。以上压缩过程不依赖于任何额外的码表和数据,进而可大大降低现有技术压缩过程中的时间复杂度和内存占用量。
举例来说,前述步骤101中获取待处理图像局部特征描述子的方式如下所述。
第一步:将待处理图像I与一组高斯滤波器卷积得到图像I在高斯尺度空间中不同尺度下的高斯模糊图像;
其中σ为高斯的标准差,表达所述高斯尺度空间中每一高斯模糊图像对应的尺度。σ以2的指数幂取值,第k个尺度为σk,且k=0,...,K其中σ0为初始尺度,取值为1.6,K表示对尺度空间采样的层数,即所述高斯滤波器的个数。那么,第k个高斯模糊图像为Ik,对应的尺度为σk,且Ik=I*g(σk),k=0,...,K。
第二步:在所述高斯尺度空间中,每一所述高斯模糊图像再与尺度规范化的拉普拉斯滤波器卷积得到高斯拉普拉斯尺度空间响应其中为拉普拉斯算子。
第三步:在所述高斯拉普拉斯尺度空间中,获取局部极大值或极小值点作为候选的兴趣点。所述兴趣点包括三个属性,即所述兴趣点在对应的高斯模糊图像中的位置坐标x,y和对应的尺度σk。
第四步:对所述兴趣点,获取其对应的相同尺度的高斯模糊图像Ik上以x,y为中心,以mσ为半径的圆形区域,其中m=3.96。然后,对所述圆形区域内的像素,按以下公式计算其每个像素的梯度,包括梯度模长和梯度方向
将所述圆形区域内的每个像素的梯度方向按最近距离规则量化到圆周36等分的方向上。每个方向以梯度模长为权重做加权累计,得到一个36维的梯度方向直方图。
第五步:选取直方图中累计最大的方向作为该兴趣点的主方向θ。同时,如果有其他方向的累计值超过主方向累计值的80%,复制扩展该兴趣点为一个新的兴趣点,并用该方向作为新兴趣点的主方向。
可选地,对于所述兴趣点,按照其位置x,y,尺度σ,方向θ等属性进行重要性排序,筛选出所需要的点数M供后续的全局特征计算。
此外,对于检测到的所述兴趣点,获取的相同尺度的高斯模糊图像Ik上以x,y为中心,且坐标系旋转至与主方向θ对齐,以3σ为半径的正方形区域。然后,将所述正方形区域均匀地划分成4*4的图像块,对所述图像块中的每个像素求梯度后,将梯度方向量化到圆周8等分的方向上并计算梯度方向直方图,其累计过程采用三线性插值的方式,然后按照从左到右、从上到下的顺序拼接每个图像块的梯度方向直方图对应的8维的向量,如图2所示,获得4*4*8=128的梯度方向直方图向量。
对产生的128维梯度方向直方图向量进行一次L2归一化。然后,对每一维度进行截断操作,即对每一维度的值,如果大于0.2,则截断取值为0.2。接着,再对截断后的向量进行一次L2归一化。最终产生前述步骤101中所述的局部特征描述子。
若梯度向量直方图向量为h,hi为h第i个维度的数值,i=0,...,127,所述L2归一化的具体形式为:h′i为h经过L2归一化后第i个维度的数值。
可选地,获取待处理图像的一个或多个局部特征描述子可以在上述局部特征描述子的获取方式的基础上进行特征选择等处理,选择一幅图像对应的全部局部特征描述子的一个或多个。
另外,本实施例中对获取前述步骤103中的比特选择表进行如下的详细说明。
A01、训练预设的图像数据集,得到每一高斯密度函数对应的第一累积梯度向量,对所有的第一累积梯度向量进行二值化处理,得到每一高斯密度函数对应的,包括比特的二值化后的第一累积梯度向量。
A02、采用统计方式计算每一高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中每一比特的重要性,选择重要性大的若干比特,根据选择的若干比特对应的比特位设置比特选择表对应位的值;
每一高斯密度函数对应一个比特选择表。
将所有高斯密度函数对应的比特选择表转换为对应的整数。
应说明的是,图像数据集并不包含上述的待处理图像,而且在训练的时候不需要对二值化后的第一累积梯度向量做特征选择,而是根据这些二值化的第一累积梯度向量来估计哪些比特更加重要,前述与比特选择表记录了这些更加重要的比特的位置,即比特位。
当对待处理图像进行比特选择的时候就根据比特选择表中记录的重要的比特位,只选择这些比特位对应的比特来组成最终的紧凑全局特征描述子。
其中,比特选择表对应的整数的二进制表达的第j位为1,则选择所述高斯密度函数的第j个比特;
若所述整数对应的二进制表达的第j位为0,则不选择所述高斯密度函数的第j个比特;其中,j为1至32之间的自然数;
高斯密度函数的第j个比特为:高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中的第j个比特。
举例来说,高斯混合模型包括512个高斯密度函数,例如,所述高斯混合模型通过512个独立的高斯密度函数线性叠加得到的,且高斯混合模型包括每一高斯密度函数对应的权重、均值和方差。
因此,包含512个高斯密度函数且生成的第一累积梯度向量的维度均为32的高斯混合模型,对应了512个比特选择表,每个比特选择表对应了1个整数,512个比特选择表的十进制表示如下表一所示,每个所述高斯密度函数对应的比特选择表按照从左到右从上到下的顺序依次写入下表一,下表一中第一行的第一个数值为第一个高斯密度函数对应的比特选择表的十进制表示:
表一:
2122311871 | 16777215 | 4257996773 | 4127059832 | 4286552254 | 4193107438 | 4227836881 | 3865574903 | 1572600826 | 1572600811 |
16777215 | 2109439862 | 4283276798 | 3890476527 | 233504767 | 16777215 | 267090943 | 1996356473 | 1778216951 | 16777215 |
3622993375 | 2143184886 | 670564301 | 3758010855 | 16777215 | 4085232630 | 2667560853 | 1002176435 | 3204148127 | 3053188943 |
1575092222 | 1627381758 | 4294622659 | 1610349993 | 1609984767 | 16777215 | 3623874106 | 3753115449 | 4001085887 | 4159393726 |
4151246769 | 16777215 | 4137597947 | 4122992302 | 1912568571 | 4159566326 | 4221435356 | 2013163422 | 16777215 | 3686788730 |
4117733369 | 4018125035 | 16777215 | 4292278076 | 2952461045 | 3986292702 | 3154095015 | 3882867191 | 4160745264 | 2000625631 |
1987313654 | 3351236223 | 4277058989 | 4224958329 | 803725182 | 4152261839 | 2109341111 | 3992698285 | 16777215 | 2113718207 |
3153907453 | 16777215 | 4244533209 | 16777215 | 4018073389 | 1610497532 | 2935356735 | 800717695 | 4284348340 | 3120029415 |
3212695931 | 4018077241 | 3186587471 | 1778315167 | 2145779374 | 2009071401 | 16777215 | 2080368498 | 4215797471 | 3754819529 |
4139695486 | 4139687295 | 2142174170 | 3686685567 | 3085171959 | 4290539500 | 4292865126 | 4151852543 | 4227724776 | 3656907935 |
4273454270 | 4256102268 | 3623550918 | 3018670063 | 3208494013 | 4252434289 | 1509391615 | 4294307478 | 4126665657 | 4293740510 |
3589257855 | 4149950975 | 3086413749 | 4150098367 | 3183343391 | 4276989938 | 4275686655 | 2940180471 | 2145899991 | 1606277879 |
3120524215 | 4076412927 | 3489394294 | 3956209627 | 2002182079 | 1866186717 | 16777215 | 4150767610 | 4294540179 | 4218911470 |
3119771629 | 16777215 | 2004810459 | 4290689401 | 3891654558 | 3791585167 | 4255897559 | 3216826285 | 16777215 | 4017684315 |
3606309823 | 1568645109 | 16777215 | 4244438745 | 4192993264 | 2404896767 | 4017184735 | 16777215 | 1541136349 | 3687841768 |
2012478961 | 4143447747 | 3707272191 | 2109370335 | 257945087 | 4283822783 | 3751274471 | 1570766205 | 3832938479 | 4150227454 |
2076048888 | 4240112255 | 4227770861 | 4243307959 | 3623509886 | 2083520478 | 1006599635 | 4022267543 | 2013050843 | 3953128444 |
2010120106 | 3414011901 | 4204788686 | 2985816030 | 2146391989 | 1275060171 | 4219074013 | 3678403255 | 4291346425 | 3693084383 |
2147433082 | 2147433082 | 4236173298 | 4234076150 | 4057841534 | 2113892185 | 1526628317 | 2108669309 | 1971240953 | 4024729594 |
4022632446 | 4147637756 | 1333721583 | 3758090706 | 4293053311 | 4160420594 | 1844311967 | 1937681407 | 2009005647 | 4269726078 |
2683300331 | 2682776047 | 16777215 | 2105523946 | 4283923429 | 2071985370 | 3716086741 | 4188003039 | 2012557055 | 4159617963 |
4236148214 | 4159617966 | 16777215 | 3185377020 | 4017863503 | 4177346463 | 4046712831 | 4294686072 | 4022024055 | 1068466161 |
1744566654 | 4252498748 | 3757436844 | 3519016894 | 4281806333 | 16777215 | 3871211319 | 3204422375 | 4242003901 | 16777215 |
3755535999 | 4261142118 | 3723181054 | 2012831471 | 4009715359 | 4270782395 | 4293578744 | 2070408895 | 16777215 | 3180067837 |
1979022333 | 3220815055 | 1710489085 | 1874766783 | 4019117051 | 2097012157 | 4022331002 | 4135449531 | 16777215 | 4281785598 |
1876670458 | 4139728343 | 4294895385 | 2121203389 | 3984416623 | 3874468607 | 1308540894 | 4257193898 | 3053124511 | 2145218815 |
3216764718 | 4159418077 | 4235982329 | 3086417607 | 1609498317 | 2943672063 | 2126298943 | 2135949228 | 2111765927 | 3688315899 |
4202655722 | 4256103087 | 4089406207 | 3923640263 | 3801612255 | 2128051671 | 4294952177 | 2066415551 | 1929361383 | 4268225467 |
4025609205 | 4151226095 | 3217815375 | 4125835167 | 2614951899 | 3086479739 | 4089166589 | 3889889257 | 4160052211 | 4259049301 |
4218403259 | 3608673983 | 4289609705 | 4204788411 | 3606836155 | 16777215 | 3890863095 | 3556113909 | 2074078683 | 3604985783 |
4294868369 | 3051847631 | 16777215 | 4273364847 | 4226875125 | 1875869150 | 4082875327 | 1609531331 | 1592761854 | 16777215 |
16777215 | 2012200757 | 4290178969 | 3034315711 | 2113925562 | 4160634612 | 4152012782 | 4122966957 | 2897936255 | 3681809917 |
2012478077 | 3207036917 | 16777215 | 16777215 | 4026129894 | 4275691437 | 4277435103 | 1874694079 | 1006354031 | 3214405590 |
16777215 | 4286524666 | 2139094070 | 3921508335 | 4124830175 | 4149210876 | 2004343293 | 134151671 | 1860161275 | 3740466430 |
4093603068 | 4160420089 | 1811893245 | 4259086111 | 4093551607 | 3892162538 | 4211077603 | 1878556155 | 938950526 | 3975925726 |
4293775251 | 3209035261 | 4152342749 | 3261071327 | 16777215 | 3216923901 | 16777215 | 16777215 | 16777215 | 2046787343 |
16777215 | 3489650571 | 4160319226 | 3355307869 | 4261002613 | 3134160892 | 16777215 | 4218085303 | 2683006717 | 3874946803 |
1458830271 | 4210489981 | 4260150205 | 3891162877 | 2146692081 | 3648225278 | 2088746359 | 4220517293 | 3874154495 | 4194275051 |
1476124619 | 3752574906 | 4261293562 | 4290505976 | 4260311020 | 4166778873 | 4093222527 | 2011034351 | 4293338619 | 4289444286 |
4122475319 | 3209625019 | 4017545131 | 4158879229 | 3068985271 | 2004286271 | 2020343805 | 4258757500 | 2046033278 | 1786609151 |
4135170046 | 4093275643 | 3889119213 | 3887840063 | 4068421623 | 4017208703 | 2077187838 | 1001914291 | 3086740845 | 4101889533 |
16777215 | 1592623037 | 3086985103 | 1873799147 | 2541485534 | 16777215 | 3849846383 | 3989499391 | 16777215 | 3988123613 |
3892116667 | 3074161598 | 501743295 | 4291653110 | 2037904351 | 4260351263 | 3212733918 | 2137407423 | 3892180334 | 1973268479 |
502267875 | 16777215 | 3609198503 | 4120764379 | 1338732543 | 4021795646 | 16777215 | 16777215 | 3221199691 | 16777215 |
4110411389 | 2681864150 | 3472490110 | 3219117692 | 4159846395 | 4260806349 | 16777215 | 2147459833 | 2952179198 | 16777215 |
3891261021 | 4125866971 | 3588996063 | 16777215 | 16777215 | 16777215 | 4126635390 | 4088916463 | 4286445741 | 4277991130 |
1944551291 | 4059807612 | 4101987325 | 1995955931 | 4294953749 | 1031732957 | 16777215 | 3959323563 | 1971305917 | 2113338105 |
4009448951 | 4210768799 | 3015655327 | 1878965733 | 3078405886 | 4087610877 | 4253005262 | 3313497981 | 4252612463 | 16777215 |
2012985301 | 1996127983 | 4157404863 | 4259215259 | 4009651615 | 3598696295 | 4248551230 | 4122802655 | 4160191834 | 4151268335 |
16777215 | 4022841295 | 3883269107 | 1912045279 | 1071333341 | 2122039243 | 3698950141 | 4058967991 | 4222025175 | 4261268909 |
1876818619 | 1941782495 | 4159466975 | 2059374559 | 4227847356 | 3621608415 | 494922735 | 2012865023 | 4152291188 | 2112864089 |
4289908475 | 4026235198 |
举例来说,在具体应用过程中,若所述待处理图像的视觉特征描述子长度范围在462字节和562字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到;并根据比特选择表,分别从所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量中选择24个比特,构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在924字节和1124字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在1848字节和2248字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在3696字节和4496字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在7392字节和8992字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在14784字节和17984字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
其中,所述待处理图像的视觉特征由紧凑全局特征描述子、紧凑局部特征描述子和每一紧凑局部特征描述子对应待处理图像的位置信息构成。
若全局特征描述子占用的空间为LG,每一局部特征描述子占用的空间为Ll,t,t=1,...,N,每一局部特征描述子的位置所占的空间为Lc,t,t=1,...,N,其中N为图像中局部特征描述子的个数,则图像视觉描述子的长度
本实施例的获取紧凑全局特征描述子的方法,通过对可伸缩全局特征描述子中每一维度上的数值进行二值化,得到包括比特的二值化后的可伸缩全局特征描述子。根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选取若干个比特,进而选择的若干个比如组成紧凑全局特征描述子,进而将可伸缩全局特征描述子压缩成长度很小的紧凑全局特征描述子,提高了紧凑全局特征描述子的表达能力;进一步地,上述压缩过程不依赖于任何额外的码表和数据,进而可大大降低现有技术压缩过程中的时间复杂度和内存占用量。
上述方法可在任意移动设备上实现,也可在服务器上实现,本实施例不限定其应用在那一终端/设备上。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种获取紧凑全局特征描述子的方法,其特征在于,包括:
获取待处理图像的可伸缩全局特征描述子;
根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子;
根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特依次连接得到紧凑全局特征描述子;
所述预设的比特选择表的获取方式包括:
训练预设的图像数据集,得到每一高斯密度函数对应的第一累积梯度向量,对所有的第一累积梯度向量进行二值化处理,得到每一高斯密度函数对应的,包括比特的二值化后的第一累积梯度向量;
采用统计方式计算每一高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中每一比特的重要性,选择重要性大的若干比特,根据选择的若干比特对应的比特位设置比特选择表对应位的值;
每一高斯密度函数对应一个比特选择表;
将所有高斯密度函数对应的比特选择表转换为对应的整数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述可伸缩全局特征描述子中每一维度上的数值,所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子,包括:
若所述可伸缩全局特征描述子中一维度上的数值为正数,则该维度对应的比特的值为1;
若所述可伸缩全局特征描述子中一维度上的数值为负数或0,则该维度对应的比特的值为0。
3.根据权利要求1所述的方法,其特征在于,所述获取待处理图像的可伸缩全局特征描述子,包括:
获取待处理图像的局部特征描述子,并对所述局部特征描述子进行降维;
根据高斯混合模型,对降维后的局部特征描述子进行聚合,获取所述图像的一个全局特征描述子;
根据预设规则,对所述全局特征描述子进行处理,获取所述待处理图像的可伸缩全局特征描述子;
其中,所述可伸缩全局特征描述子的字节大小根据所述预设规则中参数值的变化而变化。
4.根据权利要求3所述的方法,其特征在于,根据预设规则,对所述全局特征描述子进行处理,获取所述待处理图像的可伸缩全局特征描述子,包括:
根据高斯混合模型中每个高斯密度函数对应的第一累积梯度向量的所有维度数值的标准差,对所有高斯密度函数按照所述标准差由大到小的顺序排序,选取排序中排在前面的若干个高斯密度函数,并将选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量依次首尾相连得到可伸缩全局特征描述子;
其中,所述高斯混合模型通过M个独立的高斯密度函数线性叠加得到的,所述M等于512;
所述第一累积梯度向量是所述待处理图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的;
所述第二累积梯度向量是所述待处理图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
5.根据权利要求4所述的方法,其特征在于,所述可伸缩全局特征描述子包括:选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量;
所述根据所述可伸缩全局特征描述子中每一维度上的数值,对所述可伸缩全局特征描述子进行二值化处理,得到包括比特的二值化后的可伸缩全局特征描述子,包括:
对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化处理,得到包括比特的二值化后的第一累积梯度向量和/或第二累积梯度向量;
将包括比特的二值化后的所述第一累积梯度向量和/或第二累积梯度向量首尾依次相连得到包括比特的二值化后的可伸缩全局特征描述子。
6.根据权利要求5所述的方法,其特征在于,对所述选取的高斯密度函数对应的第一累积梯度向量和/或第二累积梯度向量进行二值化,包括:
若所述第一累积梯度向量的一维度的数值为正数,则该维度对应的比特的值为1;
若所述第一累积梯度向量的一维度的数值为负数或0,则该维度对应的比特的值为0;
若所述第二累积梯度向量的一维度的数值为正数,则该维度对应的比特的值为1;
若所述第二累积梯度向量的一维度的数值为负数或0,则该维度对应的比特的值为0。
7.根据权利要求6所述的方法,其特征在于,所述根据预设的比特选择表,从包括比特的二值化后的可伸缩全局特征描述子中选择若干个比特,将选择的若干个比特依次相连得到紧凑全局特征描述子,包括:
根据预设的比特选择表,从包括比特的二值化后的所述第一累积梯度向量中选择部分比特,将选择的部分比特依次相连得到紧凑全局特征描述子;
其中,包括比特的二值化后的第一累积梯度向量为32维,包括比特的二值化后的第二累积梯度向量为32维。
8.根据权利要求7所述的方法,其特征在于,所述根据预设的比特选择表,从包括比特的二值化后的所述第一累积梯度向量中选择部分比特,将选择的部分比特依次连接得到紧凑全局特征描述子,包括:
若所述整数的二进制表达的第j位为1,则选择所述高斯密度函数的第j个比特;若所述整数对应的二进制表达的第j位为0,则不选择所述高斯密度函数的第j个比特;其中,j为1至32之间的自然数;
所述高斯密度函数的第j个比特为所述高斯密度函数对应的包括比特的二值化后的第一累积梯度向量中的第j个比特。
9.根据权利要求8所述的方法,其特征在于,所述待处理图像的视觉特征描述子由紧凑全局特征描述子、紧凑局部特征描述子和每一紧凑局部特征描述子对应待处理图像的位置信息构成;
若所述待处理图像的视觉特征描述子长度范围在462字节和562字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到;并根据比特选择表,分别从所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量中选择24个比特,构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在924字节和1124字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在1848字节和2248字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在3696字节和4496字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在7392字节和8992字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子;
若所述待处理图像的视觉特征描述子长度范围在14784字节和17984字节之间,则所述包括比特的二值化后的可伸缩全局特征描述子由所有选取的高斯密度函数对应的、包括比特的二值化后的第一累积梯度向量和包括比特的二值化后的第二累积梯度向量依次首尾相连得到,所述二值化后的可伸缩全局特征描述子构成紧凑全局特征描述子。
10.根据权利要求1至9任一所述的方法,其特征在于,
512个比特选择表的十进制表示如表一所示,每个所述高斯密度函数对应的比特选择表按照从左到右从上到下的顺序依次写入表一,表一中第一行的第一个数值为第一个高斯密度函数对应的比特选择表格的十进制表示:表一:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410182901.7A CN104616012B (zh) | 2014-04-30 | 2014-04-30 | 获取紧凑全局特征描述子的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410182901.7A CN104616012B (zh) | 2014-04-30 | 2014-04-30 | 获取紧凑全局特征描述子的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104616012A CN104616012A (zh) | 2015-05-13 |
CN104616012B true CN104616012B (zh) | 2018-03-02 |
Family
ID=53150449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410182901.7A Active CN104616012B (zh) | 2014-04-30 | 2014-04-30 | 获取紧凑全局特征描述子的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104616012B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688816A (zh) * | 2016-08-04 | 2018-02-13 | 北京大学 | 一种图像特征的池化方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968632A (zh) * | 2012-10-15 | 2013-03-13 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN103530649A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 一种适用于移动终端的视觉搜索方法 |
CN103617431A (zh) * | 2013-11-05 | 2014-03-05 | 北京工业大学 | 基于最大位平均熵的sift描述子二值化及相似度匹配方法 |
-
2014
- 2014-04-30 CN CN201410182901.7A patent/CN104616012B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968632A (zh) * | 2012-10-15 | 2013-03-13 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN103226589A (zh) * | 2012-10-15 | 2013-07-31 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN103530649A (zh) * | 2013-10-16 | 2014-01-22 | 北京理工大学 | 一种适用于移动终端的视觉搜索方法 |
CN103617431A (zh) * | 2013-11-05 | 2014-03-05 | 北京工业大学 | 基于最大位平均熵的sift描述子二值化及相似度匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104616012A (zh) | 2015-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105184362B (zh) | 基于参数量化的深度卷积神经网络的加速与压缩方法 | |
WO2020083073A1 (zh) | 非机动车图像多标签分类方法、系统、设备及存储介质 | |
CN111488986B (zh) | 一种模型压缩方法、图像处理方法以及装置 | |
US10970617B2 (en) | Deep convolutional neural network acceleration and compression method based on parameter quantification | |
CN109344921A (zh) | 一种基于深度神经网络模型的图像识别方法、装置及设备 | |
CN110309835B (zh) | 一种图像局部特征提取方法及装置 | |
US10986400B2 (en) | Compact video representation for video event retrieval and recognition | |
CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
CN112199462A (zh) | 跨模态的数据处理方法、装置、存储介质以及电子装置 | |
CN111507409B (zh) | 一种基于深度多视角学习的高光谱影像分类方法及装置 | |
CN107770783B (zh) | 一种基站扩容改造方案设计方法及相关设备 | |
CN105631416A (zh) | 采用新型密度聚类进行人脸识别的方法 | |
EP3767549A1 (en) | Delivery of compressed neural networks | |
CN115965058B (zh) | 神经网络训练方法、实体信息分类方法、装置及存储介质 | |
CN105631469A (zh) | 一种多层稀疏编码特征的鸟类图像识别方法 | |
EP3588441B1 (en) | Imagification of multivariate data sequences | |
CN116152587A (zh) | 表情识别模型的训练方法、人脸表情识别方法及装置 | |
CN115496144A (zh) | 配电网运行场景确定方法、装置、计算机设备和存储介质 | |
CN104616012B (zh) | 获取紧凑全局特征描述子的方法 | |
CN112070019B (zh) | 一种人脸识别方法、装置、电子设备和存储介质 | |
WO2016037848A1 (en) | Image recognition using descriptor pruning | |
CN116269312A (zh) | 基于脑图谱融合模型的个体脑图谱绘制方法及装置 | |
CN104615612B (zh) | 获取紧凑全局特征描述子的码流的方法 | |
TWI710960B (zh) | 影像分類系統與方法 | |
EP3767548A1 (en) | Delivery of compressed neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |