CN106326395A - 一种局部视觉特征选择方法及装置 - Google Patents
一种局部视觉特征选择方法及装置 Download PDFInfo
- Publication number
- CN106326395A CN106326395A CN201610687614.0A CN201610687614A CN106326395A CN 106326395 A CN106326395 A CN 106326395A CN 201610687614 A CN201610687614 A CN 201610687614A CN 106326395 A CN106326395 A CN 106326395A
- Authority
- CN
- China
- Prior art keywords
- local visual
- attribute
- visual feature
- feature
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明提供了一种局部视觉特征选择方法及装置，所述方法包括：检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；获得部分或全部所述局部视觉特征的深度属性；根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。本发明使得在局部视觉特征子集内特征数目较少的配置下，仍然能够使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征，在保持视觉特征描述子紧凑表达的前提下保证较为可靠的检索结果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种局部视觉特征选择方法及装置。
背景技术
随着智能移动设备和移动互联网的普及，移动视觉搜索的应用越来越多。通常，图像检索依赖局部视觉特征进行查询和匹配。一种典型的图像检索系统架构为：客户端提取查询图像的局部视觉特征，并将局部视觉特征描述子发送到服务器端；服务器端将接收到的局部视觉特征描述子与事先存储的大量图像的局部视觉特征描述子进行匹配，返回局部视觉特征描述子相似度最高的图像作为查询结果。由于移动智能设备及移动互联网的内存、带宽限制，往往需要将局部描述子进行紧凑表达；同时，随着互联网图像的爆炸式增增长，也需要对图像数据库的局部描述子进行紧凑表达以缓解磁盘存储负担。
一张图像(VGA或更高分辨率)中通常可以检测出其中数百甚至数千个局部视觉特征。一方面，若将检测出的局部视觉特征全部传输至服务器端进行匹配检测，则会造成较大的内存消耗与传输时延，影响移动视觉检索应用的用户体验；另一方面，检测出的局部视觉特征中包含部分噪声局部视觉特征(如非查询目标的背景局部视觉特征等)，噪声局部视觉特征将对视觉检索过程产生干扰，返回与查询目标无关的检索结果。因此，通常需要对图像中检测出的全部局部视觉特征进行筛选，选择出全部局部视觉特征的一个子集，使得该子集尽可能多地包含位于查询目标中的局部视觉特征，并将该子集传输至服务器端并进行匹配检测。局部视觉特征选择方法能够减少图像的局部视觉特征数据量，使得局部视觉表达更为紧凑，同时减少噪声特征对检索过程的干扰，提高检索性能。
当前，往往基于局部视觉特征的自有属性(如局部视觉特征的尺度、方向、到图像中心的距离等)建立局部视觉特征选择模型。值得一提的是，在查询目标通常位于图像中心的假设下，到图像中心的距离这一属性是建立局部视觉特征选择模型的关键属性。然而，这个假设只描述了查询目标在二维平面内的位置分布规律，没有描述查询目标在三维空间内的位置分布规律，在某些较为常见的情形下(如，查询目标不位于图像中心、图像场景较为杂乱等)该假设对局部视觉特征选择模型建立不具有指导意义。
因此，上述特征选择方法出现的问题是：在查询目标不位于图像中心、图像场景较为杂乱等情形下，基于局部视觉特征自有属性的局部视觉特征选择方法无法使得选择出的局部视觉特征子集包含尽量多的位于查询目标上的局部视觉特征。
发明内容
针对现有技术的缺陷，本发明提供一种局部视觉特征选择方法及装置，能够解决现有技术中的局部视觉特征选择方法无法使得选择出的局部视觉特征子集包含尽量多的位于查询目标上的局部视觉特征的问题。
第一方面，本发明提供了一种局部视觉特征选择方法，所述方法包括：
检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；
获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；
按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
优选地，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于所述目标图像中的可能性数值之前，所述方法还包括：
根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组；
针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
优选地，所述针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型，包括：
收集若干匹配图像对；
检测获取每个图像的局部视觉特征，并获得所述局部视觉特征的自有属性；
获得部分或全部局部视觉特征的深度信息，并获得归一化的深度属性；
将所有匹配图像对的局部视觉特征作为训练数据集，并对每个匹配图像对中对应的局部视觉特征进行匹配，根据匹配成功与否将所述局部视觉特征标注为正样本或者负样本；
根据所述训练数据集及所述训练数据集中局部视觉特征的标注信息，采用监督学习方法分别对每组属性进行训练，学习所述局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以获得局部视觉特征的特征选择模型。
优选地，获得全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
相应地，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值，包括：
根据所述每个局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述每个局部视觉特征位于查询目标中的可能性数值。
优选地，所述采用预先建立的局部视觉特征的特征选择模型计算得到所述每个局部视觉特征位于查询目标中的可能性数值，包括：
采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述局部视觉特征位于查询目标的概率；
所述局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率的乘积。
优选地，获得部分所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
相应地，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值，包括：
对于获得深度信息的第一局部视觉特征，根据所述第一局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第一局部视觉特征位于查询目标中的可能性数值；
对于未获得深度信息的第二局部视觉特征，根据所述第二局部视觉特征的自有属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第二局部视觉特征位于查询目标中的可能性数值。
优选地，所述采用预先建立的局部视觉特征的特征选择模型计算得到所述第二局部视觉特征位于查询目标中的可能性数值，包括：
采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述第二局部视觉特征位于查询目标的概率；所述属性组不包括深度属性的属性组；
所述第二局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率及正则化参数的乘积。
优选地，所述自有属性包括：尺度、方向、高斯差分的峰值及到图像中心的距离；
所述深度信息包括：距离摄像机的深度数值或者视差数值。
第二方面，本发明提供了一种局部视觉特征的选择装置，所述装置包括：
自有属性获取模块，用于检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；
深度属性获取模块，用于获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
可能性数值计算模块，用于根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；
局部视觉特征选择模块，用于按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
优选地，所述装置还包括：模型建立模块，用于：
根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组；
针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
由上述技术方案可知，本发明提供一种局部视觉特征选择方法及装置，通过检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性及部分或全部所述局部视觉特征的深度属性；采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。如此，本发明将局部视觉特征的深度属性引入局部视觉特征选择方法，针对查询目标的三维位置分布规律建立局部视觉特征选择模型，使得在局部视觉特征子集内特征数目较少的配置下，仍然能够使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征，在保持视觉特征描述子紧凑表达的前提下保证较为可靠的检索结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明实施例1提供的一种局部视觉特征选择方法的流程示意图；
图2是本发明实施例1提供的建立局部视觉特征的特征选择模型的流程示意图；
图3是本发明实施例2提供的一种局部视觉特征选择方法的流程示意图；
图4是本发明实施例3提供的一种局部视觉特征选择方法的流程示意图；
图5是本发明实施例3提供的一种局部视觉特征选择方法的流程示意图；
图6是本发明实施例4提供的一种局部视觉特征的选择装置的结构示意图；
图7是本发明实施例4提供的一种局部视觉特征的选择装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1是本发明实施例1提供的一种局部视觉特征选择方法的流程示意图，如图1所示，所述方法包括如下步骤：
S101：检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性。
具体来说，采用局部视觉特征检测方法，检测出目标图像中的局部视觉特征，形成局部视觉特征描述子全集，并获得每个局部视觉特征的自有属性。
其中，局部视觉特征检测方法可为任意适用于图像局部视觉特征的检测方法，例如尺度不变特征(Scale Invariant Feature Transform，简称SIFT)中的局部视觉特征检测方法。
其中，局部视觉特征的自有属性可为上述局部视觉特征检测方法检测出的局部视觉特征所包含的属性。本实施例以SIFT为例，其自有属性可包括尺度、方向、高斯差分的峰值、到图像中心的距离等。
S102：获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性。
其中，局部视觉特征的深度信息可为该局部视觉特征距离摄像机的深度数值，也可以是该局部视觉特征的视差数值。
进一步地，对于局部视觉特征的深度信息(距离摄像机的深度数值或者视差数值)，按照该信息的数值大小顺序(从大至小或者从小至大)进行排序。对于局部视觉特征全集中的任一局部视觉特征，获取其深度信息的排位顺序，并将该排位顺序归一化到[0,1]区间内，将归一化后的深度信息作为该局部视觉特征的深度属性。
S103：根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值。
需要说明的是，目标图像中的局部视觉特征包括：位于查询目标的局部视觉特征，还可能包括部分噪声局部视觉特征，如非查询目标的背景局部视觉特征。
具体来说，对于目标图像中的局部视觉特征，根据某个局部视觉特征是否能够获得深度属性而动态地选择深度属性与自有属性的融合方法，参照预先建立的局部视觉特征选择模型，计算每个局部视觉特征位于查询目标的可能性数值。其中，对于任一局部视觉特征，获得对应不同属性时该局部视觉特征位于查询目标的概率，且根据该局部视觉特征的不同属性对应的概率可求得该局部视觉特征位于查询目标的可能性数值。
如此，使得对目标图像进行特征选择时，根据具体某个局部视觉特征是否能够获取深度信息动态地选择深度属性与自有属性的融合方法，使得本方法能够适应于不同的深度信息获取方式，更加具有灵活性。
S104：按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
具体来说，将局部视觉特征位于查询目标中的可能性数值从高到低排列，按从高到低的顺序选择预设数量的局部视觉特征，如此，便可使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征。
由此可见，本实施例提供一种局部视觉特征选择方法，通过检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性及部分或全部所述局部视觉特征的深度属性；采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。如此，本实施例将局部视觉特征的深度属性引入局部视觉特征选择方法，针对查询目标的三维位置分布规律建立局部视觉特征选择模型，使得在局部视觉特征子集内特征数目较少的配置下，仍然能够使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征，在保持视觉特征描述子紧凑表达的前提下保证较为可靠的检索结果。
进一步地，在所述步骤S103之前，该方法还包括如下步骤：
根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组。针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
举例来说，本实施例以SIFT特征包含的尺度、方向、高斯差分的峰值、距离图像中心的距离四种自有属性为例，对局部视觉特征的属性分组方法进行说明。经过分析可知，四个自有属性之间满足两两互相独立的假设，而深度属性与尺度属性存在依赖关系。因此，在本实施例中方向、高斯差分的峰值、距离图像中心的距离被单独分成三组，尺度与深度属性被分为一组。值得注意的是，局部视觉特征中包含的自有属性通常满足两两独立假设，可以进行单独分组；深度属性往往与尺度属性存在依赖关系，当局部视觉特征的自有属性中包含尺度属性时，深度属性与尺度属性往往被分为一组，当局部视觉特征的自有属性中不包含尺度属性时，深度属性可以独立分组。每种属性仅能够被分配在一个属性分组内。
如此，根据局部视觉特征的自有属性、深度属性，考虑到自有属性和深度属性间的依赖关系，分析位于查询目标中的局部视觉特征的三维空间位置分布规律，离线地建立局部视觉特征的特征选择模型。
由此可见，本实施例在离线建立局部视觉特征的特征选择模型时，考虑深度属性与自有属性之间的依赖关系，使得模型建立更加具有统计客观性。
进一步地为了训练局部特征选择模型，需构建训练数据集。具体来说，上述针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型的步骤，如图2所示，具体包括如下步骤：
S201：收集若干匹配图像对。
其中，匹配图像对指的是包含同一物体或者场景的两幅图像。
S202：检测获取每个图像的局部视觉特征，并获得所述局部视觉特征的自有属性。
S203：获得部分或全部局部视觉特征的深度信息，并获得归一化的深度属性。
S204：将所有匹配图像对的局部视觉特征作为训练数据集，并对每个匹配图像对中对应的局部视觉特征进行匹配，根据匹配成功与否将所述局部视觉特征标注为正样本或者负样本。
具体来说，对于任意一对匹配图像对，将能够成功匹配的局部视觉特征标记为正样本，将无法成功匹配的局部视觉特征标记为负样本，且所有匹配图像对内检测出的局部视觉特征构成了训练数据集。
需要说明的是，在实际应用中，还可以采取其他方式构建训练数据集，对数据集中的正样本与负样本进行标注。
S205：根据所述训练数据集及所述训练数据集中局部视觉特征的标注信息，采用监督学习方法分别对每组属性进行训练，学习所述局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以获得局部视觉特征的特征选择模型。
举例来说，在本实施例中，可采用贝叶斯估计的方法进行训练。可理解地，在实际应用中，可采用任何其他监督学习方法，如逻辑回归、支持向量机等。
需要说明的是，构建数据集中的匹配图像对和图像与上述实施例中的目标图像是不同的。
实施例2
图3是本发明实施例2提供的一种局部视觉特征选择方法的流程示意图，如图3所示，所述方法包括如下步骤：
S301：检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性。
本步骤S301与实施例1中的步骤S101相同，在此不再赘述。
S302：获得全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性。
可选地，对于局部视觉特征，其获得的深度信息可以是该局部视觉特征距离摄像机的深度数值，也可以是该局部视觉特征的视差数值。
目标图像的局部视觉特征全集中，为获得每一个局部视觉特征距离摄像机的深度数值的方法，可以采用Kinect等深度摄像机拍摄获取深度图的方法，也可以采用其他深度数据获取设备进行采集。
目标图像的局部视觉特征全集中，为获得每一个局部视觉特征的视差数值，可以使用任何立体匹配算法，为双视图像计算视差图。
对于局部视觉特征的深度信息(距离摄像机的深度数值或者视差数值)，按照该信息的数值大小顺序(从大至小或者从小至大)进行排序。对于局部视觉特征全集中的任一局部视觉特征，获取其深度信息的排位顺序，并将该排位顺序归一化到[0,1]区间内，将归一化后的深度信息作为该局部视觉特征的深度属性。
本实施例以获取目标图像中局部视觉特征全集中每一个局部视觉特征的视差数值，按照从大至小的顺序进行排列为例，归一化方法的形式化表述如下：
假设局部视觉特征全集共包含N个获得视差数值的局部视觉特征，对于任一局部视觉特征Fi。按照从大至小的顺序，Fi视差数值在全部获得视差数值的局部视觉特征中的排位顺序为ranki，则Fi的深度属性di计算方法为：
di＝ranki/N (1)
S303：根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组。针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
本实施例以SIFT特征包含的尺度、方向、高斯差分的峰值、距离图像中心的距离四种自有属性为例，对局部视觉特征的属性分组方法进行说明。经过分析可知，四个自有属性之间满足两两互相独立的假设，而深度属性与尺度属性存在依赖关系。因此，在本实施例中方向、高斯差分的峰值、距离图像中心的距离被单独分成三组，尺度与深度属性被分为一组。值得注意的是，局部视觉特征中包含的自有属性通常满足两两独立假设，可以进行单独分组；深度属性往往与尺度属性存在依赖关系，当局部视觉特征的自有属性中包含尺度属性时，深度属性与尺度属性往往被分为一组，当局部视觉特征的自有属性中不包含尺度属性时，深度属性可以独立分组。每种属性仅能够被分配在一个属性分组内。
为了训练局部特征选择模型，需要构建训练数据集，并对数据集中的正样本与负样本进行标注。首先，收集若干匹配图像对，其中匹配图像对时指包含同一个物体或者场景的两幅图像。然后，对任何一对匹配图像对，分别检测两张图像的局部视觉特征，提取局部视觉特征的描述子，并对两幅图像中的局部视觉特征进行匹配。最终，对于任何一对匹配图像对，将能够成功匹配的局部视觉特征标记为正样本，将无法成功匹配的局部视觉特征标记为负样本，所有匹配图像对内检测出的局部视觉特征构成了训练数据集。在实际应用中，也可以采取其他方式构建训练数据集，对数据集中的正样本与负样本进行标注。
根据构建的训练数据集及标注信息，采用监督学习方法分别对每组属性进行训练，学习局部视觉特征在一组属性中取不同数值时，该局部视觉特征位于查询目标的概率。在本实施例中，采用贝叶斯估计的方法进行训练。在实际应用中，可以使用任何其他监督学习方法(如逻辑回归、支持向量机等)。
需要说明的是，构建数据集所用的匹配图像对中的图像与步骤S301中的目标图像是不同的。特别的，步骤303是可以在步骤S304之前预先执行的。
S304：根据所述每个局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述每个局部视觉特征位于查询目标中的可能性数值。
具体地，步骤S304包括：采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述局部视觉特征位于查询目标的概率；所述局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率的乘积。
即对于任一局部视觉特征，根据步骤303中离线训练的特征选择模型，获得的每组属性取不同数值时，该局部视觉特征位于查询目标的概率，则该局部视觉特征位于查询目标的可能性数值为每组属性概率的乘积。
获得局部视觉特征位于查询目标的可能性数值方法的形式化表达如下：
假设局部视觉特征共包含M组不同的属性，根据303步骤中离线训练的特征选择模型，局部视觉特征Fi在M组属性中的概率依次为Pi1,Pi2,…,PiM，则Fi位于查询目标的可能性数值ri可计算为：
ri＝Pi1×Pi2×…×PiM (2)
在实际应用中，也可以根据303步骤中离线训练的特征选择模型，采用任何其他可能性数值的计算方法，本实施例对此不加以限制。
S305：按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
具体来说，将局部视觉特征位于查询目标中的可能性数值从高到低排列，按从高到低的顺序选择预设数量的局部视觉特征，如此，使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征。
实施例3
图4是本发明实施例3提供的一种局部视觉特征选择方法的流程示意图，本实施例与实施例2的区别之处在于，一些深度信息获取方式仅可能获取目标图像中局部视觉特征全集中一部分局部视觉特征的深度信息，在这种情形下，本实施例对局部视觉特征提供了另一种可能性数值计算方法。
具体地，如图4所示，所述方法包括如下步骤：
S401：检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性。
本步骤S401与实施例1中的步骤S101相同，在此不再赘述。
S402：获得部分所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性。
可选地，对于局部视觉特征，其获得的深度信息可以是该局部视觉特征距离摄像机的深度数值，也可以是该局部视觉特征的视差数值。
目标图像的局部视觉特征全集中，采用从运动中恢复结构(Structure FromMotion，简称SFM)方法、即使定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)方法等其他任何基于特征的三维重建算法获得部分局部视觉特征距离摄像机的深度数值。
目标图像的局部视觉特征全集中，可以借助于辅助图像，对目标图像与辅助图像进行局部视觉特征的检测、描述子提取及描述子匹配，根据成功匹配的局部视觉特征对两幅图像进行校正，并计算成功匹配局部视觉特征的视差数值。
在本实施例中，采用“R.I.Hartley.Theory and practice of projectiverectification.International Journal of Computer Vision(IJCV),vol.35,no.2,pp.115–127,1999.”中所公开的校正方法。在实际应用中，也可以采取其他校正方法，本实施例对此不加以限制。
S403：根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组。针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
需要说明的是，在构建训练数据集时，仅将能够获得深度信息的部分局部视觉特征包含在训练数据集中。本步骤S403的具体过程与步骤S303一致，在此不再赘述。
S404：根据所述每个局部视觉特征的自有属性，以及部分局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值。
具体地，在视觉检索过程中，对于目标图像中局部视觉特征，依据局部视觉特征是否获得深度信息，分别计算两类局部视觉特征位于查询目标的可能性数值。
具体来说，如图5所示，步骤S404具体可包括如下子步骤：
S4041：对于获得深度信息的第一局部视觉特征，根据所述第一局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第一局部视觉特征位于查询目标中的可能性数值。
其中，步骤S4041中计算可能性数值的过程与实施例2中步骤S304一致，在此不再赘述。
S4042：对于未获得深度信息的第二局部视觉特征，根据所述第二局部视觉特征的自有属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第二局部视觉特征位于查询目标中的可能性数值。
举例来说，步骤S4042具体可采用如下方式求出可能性数值：
采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述第二局部视觉特征位于查询目标的概率；所述属性组不包括深度属性的属性组；则所述第二局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率及正则化参数的乘积。
即对于未获得深度信息的局部视觉特征，在计算可能性数值时仅考虑不包含深度属性的属性分组，同时增加正则化参数。对于未获得深度信息的局部视觉特征，计算可能性数值的形式化表达如下：
假设局部视觉特征共包含M-1组不包含深度属性的属性分析分组，根据403步骤中离线训练的特征选择模型，局部视觉特征Fi在M-1组属性中的概率依次为Pi1,Pi2,…,Pi(M-1)，正则化参数为b，则Fi位于查询目标的可能性数值ri可计算为：
ri＝b×Pi1×Pi2×…×Pi(M-1) (3)
在本实施例中，b的取值可为0.3。
S405：按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
需要说明的是，在为获得深度信息与未获得深度信息的局部视觉特征分别计算可能性数值后，将局部视觉特征全集中的所有特征不加区分地按照可能性数值进行排序，根据子集中局部视觉特征数量配置，按照可能性数值从高至低的顺序从局部视觉特征全集中选择出一个子集。
实施例4
图6是本发明实施例4提供的一种局部视觉特征的选择装置的结构示意图，如图6所示，所述装置包括：自有属性获取模块601、深度属性获取模块602、可能性数值计算模块603及局部视觉特征选择模块604。其中：
自有属性获取模块601用于检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；深度属性获取模块602用于获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；可能性数值计算模块603用于根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；局部视觉特征选择模块604用于按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
由此可见，本实施例通过自有属性获取模块601检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性，通过深度属性获取模块602获取部分或全部所述局部视觉特征的深度属性；可能性数值计算模块603采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；局部视觉特征选择模块604按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。如此，本实施例将局部视觉特征的深度属性引入以进行局部视觉特征选择，针对查询目标的三维位置分布规律建立局部视觉特征选择模型，使得在局部视觉特征子集内特征数目较少的配置下，仍然能够使得选择出的局部视觉特征尽可能多地包含位于查询目标中的局部视觉特征，在保持视觉特征描述子紧凑表达的前提下保证较为可靠的检索结果。
进一步地，如图7所示，所述装置还包括：模型建立模块605。
模型建立模块605用于根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组；针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
具体地，模型建立模块605，具体用于：
收集若干匹配图像对；
检测获取每个图像的局部视觉特征，并获得所述局部视觉特征的自有属性；
获得部分或全部局部视觉特征的深度信息，并获得归一化的深度属性；
将所有匹配图像对的局部视觉特征作为训练数据集，并对每个匹配图像对中对应的局部视觉特征进行匹配，根据匹配成功与否将所述局部视觉特征标注为正样本或者负样本；
根据所述训练数据集及所述训练数据集中局部视觉特征的标注信息，采用监督学习方法分别对每组属性进行训练，学习所述局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以获得局部视觉特征的特征选择模型。
进一步地，可能性数值计算模块603，具体用于：
利用局部视觉特征检测对查询图像进行局部视觉特征检测，获取距视觉特征的自有属性；
利用深度属性计算单元计算全部或者部分局部视觉特征的归一化深度属性；
根据自有属性及深度属性，进行可能性数值计算及局部视觉特征选择。具体步骤为：首先，对于任一局部视觉特征，依据其是否获得深度属性选择对应的可能性数值计算方法；然后，对所有局部视觉特征不加区分地按照可能性数值从高至低的进行排序；最后，根据子集中局部视觉特征数量配置，选择可能性数值较高的局部视觉特征，形成用于匹配检索的局部视觉特征子集。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种局部视觉特征选择方法，其特征在于，所述方法包括：
检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；
获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；
按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于所述目标图像中的可能性数值之前，所述方法还包括：
根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组；
针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
3.根据权利要求2所述的方法，其特征在于，所述针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型，包括：
收集若干匹配图像对；
检测获取每个图像的局部视觉特征，并获得所述局部视觉特征的自有属性；
获得部分或全部局部视觉特征的深度信息，并获得归一化的深度属性；
将所有匹配图像对的局部视觉特征作为训练数据集，并对每个匹配图像对中对应的局部视觉特征进行匹配，根据匹配成功与否将所述局部视觉特征标注为正样本或者负样本；
根据所述训练数据集及所述训练数据集中局部视觉特征的标注信息，采用监督学习方法分别对每组属性进行训练，学习所述局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以获得局部视觉特征的特征选择模型。
4.根据权利要求2所述的方法，其特征在于，获得全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
相应地，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值，包括：
根据所述每个局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述每个局部视觉特征位于查询目标中的可能性数值。
5.根据权利要求4所述的方法，其特征在于，所述采用预先建立的局部视觉特征的特征选择模型计算得到所述每个局部视觉特征位于查询目标中的可能性数值，包括：
采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述局部视觉特征位于查询目标的概率；
所述局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率的乘积。
6.根据权利要求2所述的方法，其特征在于，获得部分所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
相应地，所述根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值，包括：
对于获得深度信息的第一局部视觉特征，根据所述第一局部视觉特征的自有属性值以及深度属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第一局部视觉特征位于查询目标中的可能性数值；
对于未获得深度信息的第二局部视觉特征，根据所述第二局部视觉特征的自有属性值，采用预先建立的局部视觉特征的特征选择模型计算得到所述第二局部视觉特征位于查询目标中的可能性数值。
7.根据权利要求6所述的方法，其特征在于，所述采用预先建立的局部视觉特征的特征选择模型计算得到所述第二局部视觉特征位于查询目标中的可能性数值，包括：
采用所述预先建立的局部视觉特征的特征选择模型，计算分别对应不同属性组时所述第二局部视觉特征位于查询目标的概率；所述属性组不包括深度属性的属性组；
所述第二局部视觉特征位于查询目标中的可能性数值为不同属性组对应的概率及正则化参数的乘积。
8.根据权利要求1～7中任一项所述的方法，其特征在于，所述自有属性包括：尺度、方向、高斯差分的峰值及到图像中心的距离；
所述深度信息包括：距离摄像机的深度数值或者视差数值。
9.一种局部视觉特征的选择装置，其特征在于，所述装置包括：
自有属性获取模块，用于检测获取目标图像中的多个局部视觉特征，并获得每个局部视觉特征的自有属性；
深度属性获取模块，用于获得部分或全部所述局部视觉特征的深度信息，并通过归一化方法获得所述局部视觉特征的深度属性；
可能性数值计算模块，用于根据所述每个局部视觉特征的自有属性，以及部分或全部局部视觉特征的深度属性，采用预先建立的局部视觉特征的特征选择模型获得所述每个局部视觉特征位于查询目标中的可能性数值；
局部视觉特征选择模块，用于按照所述可能性数值从高到低的顺序选择预设数量的局部视觉特征作为局部视觉特征子集。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：模型建立模块，用于：
根据局部视觉特征的自有属性、深度属性以及所述自有属性和所述深度属性间的依赖关系，对所述自有属性及所述深度属性进行分组；
针对每组属性，训练局部视觉特征在所述属性上对应不同的属性值时，所述局部视觉特征能够匹配成功的概率，以建立局部视觉特征的特征选择模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610687614.0A CN106326395B (zh) | 2016-08-18 | 2016-08-18 | 一种局部视觉特征选择方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610687614.0A CN106326395B (zh) | 2016-08-18 | 2016-08-18 | 一种局部视觉特征选择方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106326395A true CN106326395A (zh) | 2017-01-11 |
| CN106326395B CN106326395B (zh) | 2019-05-28 |
Family
ID=57744723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610687614.0A Active CN106326395B (zh) | 2016-08-18 | 2016-08-18 | 一种局部视觉特征选择方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106326395B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108882020A (zh) * | 2017-05-15 | 2018-11-23 | 北京大学 | 一种视频信息处理方法、装置及系统 |
| WO2020199773A1 (zh) * | 2019-04-04 | 2020-10-08 | 京东方科技集团股份有限公司 | 图像检索方法及装置和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268862A (zh) * | 2014-09-18 | 2015-01-07 | 中国人民解放军国防科学技术大学 | 一种自主车三维地形可通行性分析方法 |
| CN104484418A (zh) * | 2014-12-17 | 2015-04-01 | 中国科学技术大学 | 一种基于双分辨率的特征量化方法及系统 |
| CN104715254A (zh) * | 2015-03-17 | 2015-06-17 | 东南大学 | 一种基于2d和3d sift特征融合的一般物体识别方法 |
| US20170060904A1 (en) * | 2015-08-28 | 2017-03-02 | Stmicroelectronics S.R.L. | Method for visual search, corresponding system, apparatus and computer program product |
-
2016
- 2016-08-18 CN CN201610687614.0A patent/CN106326395B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268862A (zh) * | 2014-09-18 | 2015-01-07 | 中国人民解放军国防科学技术大学 | 一种自主车三维地形可通行性分析方法 |
| CN104484418A (zh) * | 2014-12-17 | 2015-04-01 | 中国科学技术大学 | 一种基于双分辨率的特征量化方法及系统 |
| CN104715254A (zh) * | 2015-03-17 | 2015-06-17 | 东南大学 | 一种基于2d和3d sift特征融合的一般物体识别方法 |
| US20170060904A1 (en) * | 2015-08-28 | 2017-03-02 | Stmicroelectronics S.R.L. | Method for visual search, corresponding system, apparatus and computer program product |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108882020A (zh) * | 2017-05-15 | 2018-11-23 | 北京大学 | 一种视频信息处理方法、装置及系统 |
| CN108882020B (zh) * | 2017-05-15 | 2021-01-01 | 北京大学 | 一种视频信息处理方法、装置及系统 |
| WO2020199773A1 (zh) * | 2019-04-04 | 2020-10-08 | 京东方科技集团股份有限公司 | 图像检索方法及装置和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106326395B (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034077B (zh) | 一种基于多尺度特征学习的三维点云标记方法和装置 | |
| Gao et al. | 3D model comparison using spatial structure circular descriptor | |
| CN107833250B (zh) | 语义空间地图构建方法及装置 | |
| Corona et al. | Pose estimation for objects with rotational symmetry | |
| CN105608421B (zh) | 一种人体动作的识别方法及装置 | |
| CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
| CN107977992A (zh) | 一种基于无人机激光雷达的建筑物变化检测方法及装置 | |
| US20170038212A1 (en) | Automatic connection of images using visual features | |
| Iscen et al. | Panorama to panorama matching for location recognition | |
| CN111027576A (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| Chen et al. | Maximal matching of 3-D points for multiple-object motion estimation | |
| CN111310821A (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
| CN103324949B (zh) | 从图像中识别物体的方法和装置 | |
| CN115757857A (zh) | 一种水下三维跨模态联合检索方法、存储介质和电子设备 | |
| CN106326395A (zh) | 一种局部视觉特征选择方法及装置 | |
| CN102708589A (zh) | 一种基于特征聚类的三维目标多视点视图建模方法 | |
| CN104331711B (zh) | 基于多尺度模糊测度与半监督学习的sar图像识别方法 | |
| CN116958267B (zh) | 位姿处理方法、装置、电子设备及存储介质 | |
| Li et al. | VisioMap: Lightweight 3-D scene reconstruction toward natural indoor localization | |
| Sleaman et al. | Indoor mobile robot navigation using deep convolutional neural network | |
| Zhang et al. | Sparse and low-overlapping point cloud registration network for indoor building environments | |
| Cao et al. | Stable image matching for 3D reconstruction in outdoor | |
| Yellapantula | Synthesizing realistic data for vision based drone-to-drone detection | |
| Ding et al. | Improving the generalization of network based relative pose regression: dimension reduction as a regularizer | |
| Taime et al. | Robust point matching via corresponding circles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |