CN104615614B - 获取可伸缩全局特征描述子的方法 - Google Patents

获取可伸缩全局特征描述子的方法 Download PDF

Info

Publication number
CN104615614B
CN104615614B CN201410183602.5A CN201410183602A CN104615614B CN 104615614 B CN104615614 B CN 104615614B CN 201410183602 A CN201410183602 A CN 201410183602A CN 104615614 B CN104615614 B CN 104615614B
Authority
CN
China
Prior art keywords
description
global characteristics
accumulation gradient
local feature
gradient vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410183602.5A
Other languages
English (en)
Other versions
CN104615614A (zh
Inventor
段凌宇
林杰
王哲
杨爽
陈杰
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201410183602.5A priority Critical patent/CN104615614B/zh
Publication of CN104615614A publication Critical patent/CN104615614A/zh
Application granted granted Critical
Publication of CN104615614B publication Critical patent/CN104615614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种获取可伸缩全局特征描述子的方法，其中，所述方法包括：获取图像的局部特征描述子；根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；将所述第一累积梯度向量和第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。采用本发明的方法获取的可伸缩全局特征描述子能够降低现有技术中全局特征描述子的占用空间，提高描述子在图像检索过程的检索效率。

Description

获取可伸缩全局特征描述子的方法
技术领域
本发明实施例涉及计算机领域，尤其涉及一种获取可伸缩全局特征描述子的方法。
背景技术
随着智能终端的发展，移动视觉搜索应用越来越多。当前，基于智能终端的图像检索方法主要是基于图像的局部特征描述子，包括：1)在移动客户端提取图像的局部特征描述子；2)对提取到的局部特征描述子进行压缩；3)通过网络将压缩后的局部特征描述子传输给服务器，以使服务器根据局部特征描述子在服务器的数据库中进行查找，并将查找的结果发送至移动客户端。
然而，上述图像检索方法的局部特征压缩的计算量较高，特别地，图像检索方法中获取的局部特征描述子占用较大的空间，由此，根据当前的网络带宽，智能终端存在无法较快地将局部特征描述子发送至服务器的问题。另外，由于局部特征描述子占用的较大的空间，故服务器根据智能终端传送的局部特征描述子查找匹配的过程也非常迟缓，进而严重影响了检索系统的查询响应时间，降低了查询效率。
此外，现有技术还提出一种利用全局视觉特征进行图像检索的方法，但该方法提取的全局特征描述子的长度为固定长度，其无法应用于各种不同的检索条件下，进而影响图像检索的性能。
发明内容
为解决现有技术中的缺陷，本发明提供一种获取可伸缩全局特征描述子的方法，可降低现有技术中全局特征描述子的占用空间，提高描述子在图像检索过程的检索效率。
第一方面，本发明提供一种获取可伸缩全局特征描述子的方法，包括：
获取图像的局部特征描述子；
根据全局特征描述子生成规则，对所述局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。
可选地，所述获取图像的局部特征描述子之后，所述方法还包括：
根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；
若所述图像的所有局部特征描述子的总数小于250个，则将所述图像的所有局部特征描述子组成描述子集合；
所述根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
可选地，所述根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量之前，还包括：
采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合；
根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
每一低维局部特征描述子的维度为32维。
可选地，根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
高斯混合模型包括：M个独立的高斯密度函数，其中，M等于512；
根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子；
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
可选地，将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子，包括：
若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
第二方面，本发明提供一种获取可伸缩全局特征描述子的装置，包括：
获取单元，用于获取图像的局部特征描述子；
描述子转换单元，用于根据全局特征描述子生成规则，对所述局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
选择组合单元，用于将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。
可选地，所述装置还包括：
描述子选取单元，用于根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；在所述图像的所有局部特征描述子的总数小于250个时，将所述图像的所有局部特征描述子组成描述子集合；
相应地，所述描述子转换单元，用于根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
可选地，所述装置还包括：降维单元，用于采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合
相应地，所述描述子转换单元，用于根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
每一低维局部特征描述子的维度为32维。
可选地，所述描述子转换单元，具体用于
高斯混合模型包括：M个独立的高斯密度函数，其中，M等于512；
根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子；
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
可选地，所述选择组合单元，具体用于若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
由上述技术方案可知，本发明的获取可伸缩全局特征描述子的方法，通过获取图像的局部特征描述子，根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，进而可将第一累积梯度向量和第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。由此，可降低现有技术中全局特征描述子占用的空间，使之适用于不同的应用进而提高描述子在图像检索过程的检索效率。
附图说明
图1为本发明一实施例提供的获取可伸缩全局特征描述子的方法的流程示意图；
图2为本发明一实施例提供的梯度方向直方图向量的示意图；
图3为本发明一实施例提供的获取可伸缩全局特征描述子的装置的结构示意图。
具体实施方式
图1示出了本发明一实施例提供的获取可伸缩全局特征描述子的方法的流程示意图，如图1所示，本实施例的获取可伸缩全局特征描述子的方法如下所述。
101、获取待处理图像的局部特征描述子。
102、根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
举例来说，高斯混合模型是由M个独立的高斯密度函数线性叠加得到的，其中，M等于512；
在步骤102中，可根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子。
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
特别地，第一累积梯度向量为，
第二累积梯度向量为，
其中，λ为高斯混合模型的参数集合，λ＝{ωi,μi,σi 2}i＝1KM，M＝512。ωi为第i个高斯分量的混合权重，μi为第i个高斯分量的均值向量，σi为第i个高斯分量的方差向量，为在第i个高斯分量产生第t个降维后的局部特征描述子xt的概率。X为包含N个所述降维后的局部特征描述子的集合用于表示待处理图像，即X＝{xt,t＝1KN}，xt为第t个降维后的局部特征描述子，维度为d，N为局部特征描述子的个数。本实施例中，N＝300，d＝32。L(X|λ)表示待处理图像的对数似然函数，如式(1)所示，
为高斯混合模型的似然函数，pi(xt|λ)为第i个高斯分量的概率密度函数。
103、将所述第一累积梯度向量和第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。
举例来说，若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
需要说明的是，在获得可伸缩全局特征描述子之前可以对第一累积梯度向量和第二累积梯度向量进行压缩等相应的处理，不限于本文所述的第一累积梯度向量和第二累梯度向量。
其中，所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
若全局特征描述子占用的空间为LG，每一局部特征描述子占用的空间为Ll,t,t＝1,...,N，每一局部特征描述子的位置所占的空间为Lc,t,t＝1,...,N，其中N为图像中局部特征描述子的个数，则图像视觉描述子的长度
本实施例的获取可伸缩全局特征描述子的方法，通过获取图像的局部特征描述子，根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，进而可将第一累积梯度向量和第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。由此，可降低现有技术中全局特征描述子占用的空间，使之适用于不同的应用进而提高描述子在图像检索过程的检索效率。
可选地，在步骤101之后，步骤102之前，上述获取可伸缩全局特征描述子的方法还可包括下述的图中未示出的步骤：
101a、根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；
若所述图像的所有局部特征描述子的总数小于250个，则将所述图像的所有局部特征描述子组成描述子集合；
相应地，前述的步骤102可为下述的步骤102’：
102’、根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
在另一可选的应用场景中，前述的步骤101a之后，步骤102’之前，获取可伸缩全局特征描述子的方法还可包括下述的图中未示出的步骤101b。
101b、采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合。
在本实施例中，每一低维局部特征描述子的维度为32维。
相应地，前述的步骤102’可具体为下述的步骤102”。
102”、根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
本实施例的获取可伸缩全局特征描述子的方法，可降低全局特征描述子占用的空间，且降低现有技术中局部特征描述子占用的空间，进而提高图像检索的效率。
另外，为更清楚的说明本申请中获取局部特征描述子的内容，以下进行举例说明前述的获取待处理图像的一个或多个局部特征描述子的方式为：
第一步：所述待处理图像I与一组高斯滤波器卷积得到图像I在高斯尺度空间中不同尺度下的高斯模糊图像，其中σ为高斯的标准差，表达所述高斯尺度空间中每一高斯模糊图像对应的尺度。σ以2的指数幂取值，第k个尺度为σk，且其中σ0为初始尺度，取值为1.6，K表示对尺度空间采样的层数，即所述高斯滤波器的个数。那么，第k个高斯模糊图像为Ik，对应的尺度为σk，且Ik＝I*g(σk),k＝0,K,K。
第二步：在所述高斯尺度空间中，每一所述高斯模糊图像再与尺度规范化的拉普拉斯滤波器卷积得到高斯拉普拉斯尺度空间响应其中为拉普拉斯算子。
第三步：在所述高斯拉普拉斯尺度空间中，获取局部极大值或极小值点作为候选的兴趣点。所述兴趣点包括三个属性，即所述兴趣点在对应的高斯模糊图像中的位置坐标x,y和对应的尺度σk。
第四步：对所述兴趣点，获取其对应的相同尺度的高斯模糊图像Ik上以x,y为中心，以mσ为半径的圆形区域，其中m＝3.96。然后，对所述圆形区域内的像素，按以下公式计算其每个像素的梯度，包括梯度模长和梯度方向
将所述圆形区域内的每个像素的梯度方向按最近距离规则量化到圆周36等分的方向上。每个方向以梯度模长为权重做加权累计，得到一个36维的梯度方向直方图。
第五步：选取直方图中累计最大的方向作为该兴趣点的主方向θ。同时，如果有其他方向的累计值超过主方向累计值的80％，复制扩展该兴趣点为一个新的兴趣点，并用该方向作为新兴趣点的主方向。
可选地，对于所述兴趣点，按照其位置x,y，尺度σ，方向θ等属性进行重要性排序，筛选出所需要的点数M供后续的全局特征计算。
更进一步地，对于检测到的所述兴趣点，获取的相同尺度的高斯模糊图像Ik上以x,y为中心，且坐标系旋转至与主方向θ对齐，以3σ为半径的正方形区域。然后，将所述正方形区域均匀地划分成4*4的图像块，对所述图像块中的每个像素求梯度后，将梯度方向量化到圆周8等分的方向上并计算梯度方向直方图，其累计过程采用三线性插值的方式，然后按照从左到右、从上到下的顺序拼接每个图像块的梯度方向直方图对应的8维的向量，如图2所示，获得4*4*8＝128的梯度方向直方图向量。
对产生的128维梯度方向直方图向量进行一次L2归一化。然后，对每一维度进行截断操作，即对每一维度的值，如果大于0.2，则截断取值为0.2。接着，再对截断后的向量进行一次L2归一化。最终产生所述局部特征描述子。
若梯度向量直方图向量为h，hi为h第i个维度的数值，i＝0,K,127，所述L2归一化的具体形式为：h'i为h经过L2归一化后第i个维度的数值。
可选地，获取待处理图像的一个或多个局部特征描述子可以在上述局部特征描述子的获取方式的基础上进行特征选择等处理，选择一幅图像对应的全部局部特征描述子的一个或多个。
在前述方法的步骤101b中，采用降维矩阵对描述子集合中局部特征描述子进行降维，得到低维局部特征描述子，所述低维局部特征描述子的维度为32维。
其中，所述降维矩阵为采用降维方式训练预设的第一图像数据集之后得到的矩阵。
举例来说，降维方式可以是主成分分析、线性判别分析等方式，其中主成分分析方式可以参考“Jolliffe,I.T.(1986).Principal Component Analysis.Springer-Verlag.pp.487.”中所公开的内容。
本发明的实施例中，降维方式可主要采用主成分分析方式。
可选地，在对局部特征描述子降维之前，还可对所述局部特征描述子进行L1归一化和Power normalization归一化处理，进而可对经过L1归一化和Power normalization归一化处理后的局部特征描述子进行降维处理，获得低维局部特征描述子。
所述L1归一化和Power normalization归一化处理的步骤为：
若所述局部特征描述子为ht,t＝0,K,M-1，对每一维度使用L1归一化，得到ht',j＝ht,j/|ht|,j＝0,...,127
其中，|ht|表示128维局部特征描述子向量ht各维度绝对值的和。
然后，对每一维度继续使用参数为0.5的power normalization归一化，得到ht',j←sgn(ht',j)|ht',j|0.5
其中，|ht',j|表示维度ht',j的绝对值,
由此，通过上述举例的方式可以得到待处理图像的经过L1归一化和Powernormalization归一化处理的且降维的局部特征描述子，进而采用经过L1归一化和Powernormalization归一化处理的且降维的的局部特征描述子获取步骤102中用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
上述方法，通过获取图像的降维后的局部特征描述子，根据全局特征描述子生成规则，对降维后的局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，进而可将第一累积梯度向量和第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。由此，可降低现有技术中全局特征描述子占用的空间，使之适用于不同的应用进而提高描述子在图像检索过程的检索效率。
应说明的是，上述方法可以是在任一设备上进行，本实施例不限制其执行主体为客户端还是服务器。
图3示出了本发明一实施例提供的获取可伸缩全局特征描述子的装置的结构示意图，如图3所示，本实施例的获取可伸缩全局特征描述子的装置包括：获取单元31、描述子转换单元32、选择性组合单元33；
其中，获取单元31用于获取图像的局部特征描述子；
描述子转换单元32用于根据全局特征描述子生成规则，对所述局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
选择组合单元33用于将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子。
在一种可能的实现方式中，所述装置还包括图中未示出的描述子选取单元34：
描述子选取单元34用于根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；在所述图像的所有局部特征描述子的总数小于250个时，将所述图像的所有局部特征描述子组成描述子集合；
相应地，所述描述子转换单元32用于根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
可选地，所述装置还包括图中未示出的降维单元35；
降维单元35用于采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合
相应地，所述描述子转换单元32用于根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
每一低维局部特征描述子的维度为32维。
在具体应用过程中，前述的描述子转换单元32具体用于，高斯混合模型包括：M个独立的高斯密度函数，其中，M等于512；
根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子；
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
在具体应用过程中，所述选择组合单元33具体用于若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
本实施例的获取可伸缩全局特征描述子的装置，可降低现有技术中全局特征描述子占用的空间，使之适用于不同的应用进而提高描述子在图像检索过程的检索效率。
应说明的是，上述装置可位于任一设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种获取可伸缩全局特征描述子的方法，其特征在于，包括：
获取图像的局部特征描述子；
根据全局特征描述子生成规则，对所述局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子；
所述获取图像的局部特征描述子之后，所述方法还包括：
根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；
若所述图像的所有局部特征描述子的总数小于250个，则将所述图像的所有局部特征描述子组成描述子集合；
则所述根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
2.根据权利要求1所述的方法，其特征在于，所述根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量之前，还包括：
采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合；
根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
每一低维局部特征描述子的维度为32维。
3.根据权利要求1所述的方法，其特征在于，根据全局特征描述子生成规则，对局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量，包括：
高斯混合模型包括：M个独立的高斯密度函数，其中，M等于512；
根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子；
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
4.根据权利要求1所述的方法，其特征在于，将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子，包括：
若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
5.一种获取可伸缩全局特征描述子的装置，其特征在于，包括：
获取单元，用于获取图像的局部特征描述子；
描述子转换单元，用于根据全局特征描述子生成规则，对所述局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
选择组合单元，用于将所述第一累积梯度向量和所述第二累积梯度向量选择性组合，生成可伸缩全局特征描述子；
所述装置还包括：
描述子选取单元，用于根据所述局部特征描述子的重要性，从所述图像的所有局部特征描述子中选取250个局部特征描述子组成描述子集合；在所述图像的所有局部特征描述子的总数小于250个时，将所述图像的所有局部特征描述子组成描述子集合；
相应地，所述描述子转换单元，用于根据全局特征描述子生成规则，对所述描述子集合中的所有局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
降维单元，用于采用降维矩阵对所述描述子集合中的所有局部特征描述子进行降维，得到包括低维局部特征描述子的另一描述子集合
相应地，所述描述子转换单元，用于根据全局特征描述子生成规则，对所述另一描述子集合中所有低维局部特征描述子进行转换，得到用于组成全局特征描述子的第一累积梯度向量和第二累积梯度向量；
每一低维局部特征描述子的维度为32维。
7.根据权利要求5所述的装置，其特征在于，所述描述子转换单元，具体用于
高斯混合模型包括：M个独立的高斯密度函数，其中，M等于512；
根据高斯混合模型中的每一高斯密度函数，将每一局部特征描述子转换为第一累积梯度向量和第二累积梯度向量；
获取每一高斯密度函数对应的包括第一累积梯度向量和第二累积梯度向量的累积梯度向量集合，所述累积梯度向量集合中的累积梯度向量将用于组成全局特征描述子；
所述第一累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的均值求一阶偏导得到的，所述第二累积梯度向量是所述图像的对数似然函数对所述高斯密度函数对应的方差求一阶偏导得到的。
8.根据权利要求5所述的装置，其特征在于，所述选择组合单元，具体用于若所述图像的视觉特征描述子长度范围在462字节和562字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在924字节和1124字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在1848字节和2248字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在3696字节和4496字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在7392字节和8992字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
若所述图像的视觉特征描述子长度范围在14784字节和17984字节之间，M个高斯密度函数各自对应的第一累积梯度向量依次首尾相连，以及将M个高斯密度函数各自对应的第二累积梯度向量依次首尾相连构成可伸缩全局特征描述子；
所述视觉特征描述子包括：全局特征描述子、局部特征描述子以及每一局部特征描述子对应的位置信息。
CN201410183602.5A 2014-04-30 2014-04-30 获取可伸缩全局特征描述子的方法 Active CN104615614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410183602.5A CN104615614B (zh) 2014-04-30 2014-04-30 获取可伸缩全局特征描述子的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410183602.5A CN104615614B (zh) 2014-04-30 2014-04-30 获取可伸缩全局特征描述子的方法

Publications (2)

Publication Number Publication Date
CN104615614A CN104615614A (zh) 2015-05-13
CN104615614B true CN104615614B (zh) 2018-04-13

Family

ID=53150063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410183602.5A Active CN104615614B (zh) 2014-04-30 2014-04-30 获取可伸缩全局特征描述子的方法

Country Status (1)

Country Link
CN (1) CN104615614B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119460A (zh) * 2019-05-16 2019-08-13 广东三维家信息科技有限公司 图像检索方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103679200A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463050B2 (en) * 2009-04-07 2013-06-11 Centre National De La Recherche Scientifique (C.N.R.S.) Method for measuring the dissimilarity between a first and a second images and a first and second video sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103226589A (zh) * 2012-10-15 2013-07-31 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103679200A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
CN103744974A (zh) * 2014-01-10 2014-04-23 北京大学 局部兴趣点选取的方法及设备

Also Published As

Publication number Publication date
CN104615614A (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
US9542621B2 (en) Spatial pyramid pooling networks for image processing
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
US20230245266A1 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
CN109960742B (zh) 局部信息的搜索方法及装置
US11875424B2 (en) Point cloud data processing method and device, computer device, and storage medium
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
CN114529982B (zh) 基于流式注意力的轻量级人体姿态估计方法及系统
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
EP4404148A1 (en) Image processing method and apparatus, and computer-readable storage medium
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
Sui et al. ScanDMM: A deep markov model of scanpath prediction for 360deg images
US20240046567A1 (en) Utilizing machine learning models for patch retrieval and deformation in completing three-dimensional digital shapes
Rios et al. Scalability of learning tasks on 3D CAE models using point cloud autoencoders
EP4009277A1 (en) Methods and systems for generating end-to-end model to estimate 3-dimensional(3-d) pose of object
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN110717405A (zh) 人脸特征点定位方法、装置、介质及电子设备
CN113221977A (zh) 一种基于抗混叠语义重构的小样本语义分割方法
Tan et al. Local context attention for salient object segmentation
CN104615614B (zh) 获取可伸缩全局特征描述子的方法
CN116958718A (zh) 向量确定方法、装置、计算机设备和存储介质
JP2013008142A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN115620017A (zh) 图像的特征提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant