CN103336963B - 一种图像特征提取的方法及装置 - Google Patents

Abstract

本发明公开了一种图像特征提取的方法，用于实现通过对目标图像进行ORB特征提取并进入特征库与索引值进行比对，快速、准确地实现对特征点的检索。所述方法包括：对目标图像进行ORB特征提取，并提取出特征数据；利用LSH算法将上述特征数据量化为整数；进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点。本发明还公开了用于实现所述方法的装置。

Description

一种图像特征提取的方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像特征提取的方法及装置。

背景技术

图像特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。

传统的近邻查询指出，数据点与查询点之间的距离应满足小于某个特定距离的条件，而在实际应用中，为了提高检索速度，可以以降低检索的准确度为代价。由此，基于近邻查询的概念提出了近似近邻查询的概念。近似近邻查询要求数据点与查询点之间的距离小于某个特定距离的概率应大于给定的概率值。通过近似近邻的方法可以快速获取大致符合相似要求的点集，一种解决近似近邻问题的重要方法就是LSH算法。LSH算法的基本思想是对数据点集，利用一组具有一定约束条件的哈希函数来建立多个哈希表，使得在某种相似度量条件下，相似的点发生冲突的概率较大，而不相似的点发生冲突的概率相对较小。

本申请的发明人发现，在图像特征提取的过程中，特征点的检索速度慢，且准确度不高。

发明内容

本发明实施例提供一种图像特征提取的方法，用于实现通过对目标图像进行ORB特征提取并进入特征库与索引值进行比对，快速、准确地实现对特征点的检索。一种图像特征提取的方法，包括以下步骤：

对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来；利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算；进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点。在本发明实施例中通过提取目标图像的特征数据，并利用LSH算法将上述特征数据量化为整数，随后进入特征库与索引值进行比对，可以实现快速定位索引值与上述相加后得到的整数相同的一个或多个特征点，快速地实现对特征点的检索，由于利用LSH算法对特征数据进行量化，所以大大提高了特征点检索的准确性。

优选的，特征库对索引表进行存储，其中索引表包括：索引值和特征值；特征值包括：图像ID和特征数据，其中特征数据是32维数据，以数组的形式进行保存，包括特征点的位置、顶点坐标、特征向量中的一个或多个。在本发明实施例中，索引表保存在特征库中，也就是说将特征数据保存在特征库中，这样可以提高特征点存储的速度，节省特征数据占用空间，缩短读取时间。

优选的，进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点包括步骤：将上述整数与索引值进行比对；对目标图像中提取出的特征向量同索引表中的与上述整数相等的一个或多个特征点的特征向量进行距离计算；保存距离相等或相近的M个点。在本发明实施例中，通过使用LSH算法量化出的整数与索引值进行比对，可以快速得到索引值相同的特征点的特征向量，然后通过对特征向量进行距离计算，得到距离相等或相近的点，大大提高了特征点检索的效率和准确性。

优选的，对目标图像进行ORB特征提取之前，还包括步骤：对模板图像进行ORB特征提取；对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取；计算上述ORB特征提取出的特征点重复出现的次数；将重复出现的次数超过预设阈值的N个特征点保存到特征库。在本发明实施例中，通关对模板图像进行各种变换之后进行特征提取，在对目标图像进行特征提取的时候可以更加准确地模拟现实，使得对目标图像进行提取后得到的特征点更加准确。

优选的，对模板图像进行变换包括：仿射变换、添加噪声、光照强度变化中的一种或多种，以此模拟现实环境。在本发明实施例中，通关对模板图像进行各种变换之后进行特征提取，在对目标图像进行特征提取的时候可以更加准确地模拟现实，使得对目标图像进行提取后得到的特征点更加准确。

优选的，在将重复出现的次数超过预设阈值的N个特征点输入到特征库之后，还包括步骤：利用LSH算法将上述N个特征点各自的特征数据量化为整数；将上述整数作为索引值存入索引表。在本发明实施例中，索引值保存在索引表中，利用索引表的形式，可以提高特征点存储的速度，节省特征数据占用空间，缩短读取时间。

本发明实施例提供一种图像特征提取的装置，包括：

提取模块，用于对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来；

量化模块，用于利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算；

定位模块，用于进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点。

在本发明实施例中通过提取模块提取目标图像的特征数据，并利用量化模块将上述特征数据量化为整数，随后进入特征库与索引值进行比对，可以通过定位模块快速定位索引值与上述相加后得到的整数相同的一个或多个特征点，快速地实现对特征点的检索，由于利用LSH算法对特征数据进行量化，所以大大提高了特征点检索的准确性。

优选的，还包括：比对模块，用于将上述整数与索引值进行比对；计算模块，用于对目标图像中提取出的特征向量同索引表中的与上述整数相等的一个或多个特征点的特征向量进行距离计算；保存模块，用于保存距离相等或相近的M个点。在本发明实施例中，通过比对模块对LSH算法量化出的整数与索引值进行比对，可以快速得到索引值相同的特征点的特征向量，然后通过计算模块对特征向量进行距离计算，保存模块保存距离相等或相近的点，大大提高了特征点检索的效率和准确性。

优选的，还包括：跟踪器，用于保存特征点的位置、顶点坐标、特征向量中的一个或多个。

优选的，还包括：提取模块，用于对模板图像进行ORB特征提取；变换模块，用于对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取；计算模块，用于计算上述ORB特征提取出的特征点重复出现的次数；保存模块，用于将重复出现的次数超过预设阈值的N个特征点保存到特征库。

在本发明实施例中，通过提取模块对模板图像进行各种变换之后进行特征提取，在对目标图像进行特征提取的时候可以更加准确地模拟现实，使得对目标图像进行提取后得到的特征点更加准确。

优选的，还包括：量化模块，用于利用LSH算法将上述N个特征点各自的特征数据量化为整数；处理模块，用于将上述整数作为索引值存入索引表。

在本发明实施例中，索引值保存在索引表中，利用索引表的形式，可以提高特征点存储的速度，节省特征数据占用空间，缩短读取时间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种图像特征提取方法的主要流程图；

图2为本发明实施例中图像特征提取的示意图；

图3为本发明实施例中一种图像特征提取方法的详细流程图；

图4为本发明实施例中一种图像特征提取装置的第一结构示意图；

图5为本发明实施例中一种图像特征提取装置的第二结构示意图；

图6为本发明实施例中一种图像特征提取装置的第三结构示意图；

图7为本发明实施例中一种图像特征提取装置的第四结构示意图；

图8为本发明实施例中一种图像特征提取装置的第五结构示意图；

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

目前，在图像特征提取的过程中，特征点的检索速度慢，且准确度不高。为解决该问题，在本发明实施例中通过对目标图像进行ORB特征提取并进入特征库与索引值进行比对，可以快速、准确地实现对特征点的检索。

参见图1，本发明实施例提供了一种图像特征提取的方法，包括以下步骤：

步骤101：对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来。

步骤102：利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算。

较佳的，可以利用两组LSH算法将上述特征数据量化为两个整数，将上述两个整数按顺序进行十进制的按位相加，进入特征库使用相加后得到的整数与索引值进行比对，快速定位索引值与上述相加后得到的整数相同的一个或多个特征点。这样避免了使用一个LSH算法导致的将不同特征点的特征数据量化为相同的整数的情况，增强了特征提取的准确性。

步骤103：进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点。

较佳的，特征库对索引表进行存储，其中索引表包括：索引值和特征值。特征值包括：图像ID和特征数据，其中特征数据是32维数据，以数组的形式进行保存，包括特征点的位置、顶点坐标、特征向量中的一个或多个，创建跟踪器对上述特征点的位置、顶点坐标、特征向量中的一个或多个进行保存。

较佳的，假设利用两组LSH算法将上述特征数据量化为两个整数，将上述两个整数按顺序进行十进制的按位相加的步骤，假设上述两个整数一个为106，另一个整数为25，那么将他们按顺序进行十进制的按位相加后的结果为10625。这里提到的顺序是针对两组LSH算法来说的，由于两组LSH算法是借由不同的函数进行运算，运算结果会大不相同，所以要注意使用的顺序。

在本发明实施例中通过提取目标图像的特征数据，并利用LSH算法将上述特征数据量化为整数，随后进入特征库与索引值进行比对，可以实现快速定位索引值与上述相加后得到的整数相同的一个或多个特征点，快速地实现对特征点的检索，由于利用LSH算法对特征数据进行量化，所以大大提高了特征点检索的准确性。

下面利用一个优选实施例结合图2对图像特征提取的方法进行详细的描述。201为模板图像，经ORB特征提取出A1、B1、C1、D1、E1、F1、G1、H1、I1、J1、K、L、O、P、Q，共15个点。对该15个点进行检测后，将重复出现次数最多的A1、B1、C1、D1、E1、F1、G1、H1、I1、J1这10个点保存到特征库，也就是说这10个点是较为稳定、有利的点；202为目标图像，经ORB特征提取出A2、E2、F2、J2、R、S、T、U、V，共9个点。经过步骤102和103之后，保存A2、E2、F2、J2这4个点。

流程如图3所示：

步骤301：对模板图像进行ORB特征提取。

较佳的，可以将整个图像的全部作为模板，同样也可以将图像的一部分内容作为模板，这取决于用户的需求，通过顶点坐标我们可以保存模板的位置。

步骤302：对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取。

较佳的，对模板图像进行变换包括进行仿射变换、添加噪声、光照强度变化中的一种或多种，以此模拟现实环境。添加噪声包括对图像施加不同方差、不同均值的高斯白噪声。

步骤303：计算上述ORB特征提取出的特征点重复出现的次数。

步骤304：将重复出现的次数超过预设阈值的N个特征点保存到特征库。

较佳的，如上文所述，图2中A1、B1、C1、D1、E1、F1、G1、H1、I1、J1这10个点即为重复出现次数超过预设阈值的特征点，将这10个点保存到特征库。

步骤305：利用两组LSH算法将上述N个特征点各自的特征数据分别量化为两个整数。

较佳的，以A1为例，利用两组LSH算法将A1的特征数据分别量化为20和200两个整数，那么其他9个点也同样利用两组LSH算法将特征数据分别量化为两个整数。

步骤306：将上述两个整数按顺序进行十进制的按位相加，相加得到的整数作为索引值存入索引表。

较佳的，同样以A1为例，十进制的按位相加后得到整数20200。

步骤307：对目标图像进行ORB特征提取，并提取出特征数据。

较佳的，经ORB特征提取出A2、E2、F2、J2、R、S、T、U、V，共9个点。

步骤308：利用两组LSH算法将上述特征数据量化为两个整数。

较佳的，以A2为例，利用两组LSH算法将A2的特征数据分别量化后同样得到20和200两个整数，显然与A1是相同的。

步骤309：将上述两个整数按顺序进行十进制的按位相加，进入特征库使用相加后得到的整数与索引值进行比对。

步骤310：对目标图像中提取出的特征向量与索引表中与上述相加后得到的整数相等的一个或多个特征点的特征向量进行距离计算。

较佳的，对A2与A1的特征向量进行距离计算，得到的结果即为A1与A2距离相等，为两张图像中相同的点。

步骤311：将两张图像中距离相近或相等的M个点进行保存。

较佳的，保存目标图像中与模板图像特征点距离相近或相等的A2、E2、F2、J2这4个点。

在本发明实施例中，通过对进行变换后的模板图像进行特征提取，将一个或多个特征点保存到特征库，使得在对目标图像进行特征提取的时候可以更加准确地模拟现实，使得对目标图像进行提取后得到的特征点更加准确。通过使用两组LSH算法，避免了使用一个LSH算法导致的将不同特征点的特征数据量化为相同的整数的情况，增强了特征提取的准确性。

参见图4，本发明实施例提供一种图像特征提取的装置，包括：

提取模块401，用于对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来；

量化模块402，用于利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算；

定位模块403，用于进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点。

在本发明实施例中通过提取模块401提取目标图像的特征数据，并利用量化模块402将上述特征数据量化为整数，随后进入特征库与索引值进行比对，可以通过定位模块403快速定位索引值与上述相加后得到的整数相同的一个或多个特征点，快速地实现对特征点的检索，由于利用LSH算法对特征数据进行量化，所以大大提高了特征点检索的准确性。

参见图5，本发明实施例还提供了：比对模块501，用于将上述整数与索引值进行比对；计算模块502，用于对目标图像中提取出的特征向量同索引表中的与上述整数相等的一个或多个特征点的特征向量进行距离计算；保存模块503，用于保存距离相等或相近的M个点。在本发明实施例中，通过比对模块501对LSH算法量化出的整数与索引值进行比对，可以快速得到索引值相同的特征点的特征向量，然后通过计算模块502对特征向量进行距离计算，保存模块503保存距离相等或相近的点，大大提高了特征点检索的效率和准确性。

参见图6，还包括：跟踪器601，用于保存特征点的位置、顶点坐标、特征向量中的一个或多个。

参见图7，还包括：提取模块701，用于对模板图像进行ORB特征提取；变换模块702，用于对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取；计算模块703，用于计算上述ORB特征提取出的特征点重复出现的次数；保存模块，704用于将重复出现的次数超过预设阈值的N个特征点保存到特征库。

在本发明实施例中，通过提取模块701对模板图像进行各种变换之后进行特征提取，在对目标图像进行特征提取的时候可以更加准确地模拟现实，使得对目标图像进行提取后得到的特征点更加准确。

参见图8，还包括：量化模块801，用于利用LSH算法将上述N个特征点各自的特征数据量化为整数；处理模块802，用于将上述整数作为索引值存入索引表。

在本发明实施例中，索引值保存在索引表中，利用索引表的形式，可以提高特征点存储的速度，节省特征数据占用空间，缩短读取时间。

领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种图像特征提取的方法，其特征在于，包括以下步骤：

对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来；

利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算；

进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点；

其中，进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点包括步骤：

将上述整数与索引值进行比对；

对目标图像中提取出的特征向量同索引表中的与上述整数相等的一个或多个特征点的特征向量进行距离计算；

保存距离相等或相近的M个点。

2.如权利要求1所述的方法，其特征在于，

特征库对索引表进行存储，其中索引表包括：索引值和特征值；

特征值包括：图像ID和特征数据，其中特征数据是32维数据，以数组的形式进行保存，包括特征点的位置、顶点坐标、特征向量中的一个或多个。

3.如权利要求1所述的方法，其特征在于，对目标图像进行ORB特征提取之前，还包括步骤：

对模板图像进行ORB特征提取；

对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取；

计算上述ORB特征提取出的特征点重复出现的次数；

将重复出现的次数超过预设阈值的N个特征点保存到特征库。

4.如权利要求3所述的方法，其特征在于，对模板图像进行变换包括：

仿射变换、添加噪声、光照强度变化中的一种或多种，以此模拟现实环境。

5.如权利要求3所述的方法，其特征在于，在将重复出现的次数超过预设阈值的N个特征点输入到特征库之后，还包括步骤：

利用LSH算法将上述N个特征点各自的特征数据量化为整数；

将上述整数作为索引值存入索引表。

6.一种图像特征提取的装置，其特征在于，包括：

第一提取模块，用于对目标图像进行ORB特征提取，并提取出特征数据，其中，ORB特征提取指的是使用计算机提取图像信息，决定每个图像的点是否属于一个特征点，ORB特征提取的结果是将特征点的特征数据提取出来；

第一量化模块，用于利用LSH算法将上述特征数据量化为整数，其中，LSH算法是一种概率方法，在过滤阶段，LSH算法利用哈希技术把非相似、不可能成为结果的特征数据过滤掉，过滤之后的特征数据作为候选集合，使得相似的特征数据以很高的概率留在候选集合中，进而在候选集合上进行实际的距离或者相似性度量计算；

定位模块，用于进入特征库使用LSH算法量化出的整数与索引值进行比对，快速定位索引值与上述使用LSH算法量化出的整数相同的一个或多个特征点；

比对模块，用于将上述整数与索引值进行比对；

第一计算模块，用于对目标图像中提取出的特征向量同索引表中的与上述整数相等的一个或多个特征点的特征向量进行距离计算；

第一保存模块，用于保存距离相等或相近的M个点。

7.如权利要求6所述的装置，其特征在于，还包括：

跟踪器，用于保存特征点的位置、顶点坐标、特征向量中的一个或多个。

8.如权利要求6所述的装置，其特征在于，还包括：

第二提取模块，用于对模板图像进行ORB特征提取；

变换模块，用于对模板图像进行变换，针对每种变换后的图像分别进行ORB特征提取；

第二计算模块，用于计算上述ORB特征提取出的特征点重复出现的次数；

第二保存模块，用于将重复出现的次数超过预设阈值的N个特征点保存到特征库。

9.如权利要求8所述的装置，其特征在于，还包括：

第二量化模块，用于利用LSH算法将上述N个特征点各自的特征数据量化为整数；

处理模块，用于将上述整数作为索引值存入索引表。