CN110059708A - 生成描述子的方法及装置、存储介质 - Google Patents

Abstract

本申请实施例提供一种生成描述子的方法及装置、存储介质，涉及图像处理技术领域。该生成描述子的方法包括：获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对；获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值；将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果；根据所述比较结果生成所述特征点的描述子，所述描述子的维数为所述预设数量的两倍。该方法提高了二进制描述子的鲁棒性。

Description

生成描述子的方法及装置、存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种生成描述子的方法及装置、存储介质。

背景技术

局部特征提取通常是作为计算机视觉和数字图像处理等诸多问题的第一步，例如图像拼接、目标识别、目标跟踪等。局部特征提取分为两个步骤，特征点检测和描述子生成。

特征点的描述子是根据特征点领域的像素信息得到的一个向量，用于表征特征点。现有技术中，描述子主要分为两种，一种是尺度不变特征变换(Scale invariantfeature transform,SIFT)描述子，另一种是二进制描述子。对于二进制描述子，通常是比较两个采样点的灰度值生成一个比特位，多比特位构成的向量即为二进制描述子，因为二进制描述子的生成方式比较简单(比较两个采样点的灰度值就可以生成一个比特位)，所以二进制描述子的鲁棒性(对图像变换的适应性)较差。

发明内容

本申请提供一种生成描述子的装置及方法，以改善现有技术中二进制描述子的鲁棒性较差的技术问题。

本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种生成描述子的方法，所述方法包括：获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对；获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值；将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果；根据所述比较结果生成所述特征点的描述子，所述描述子的维数为所述预设数量的两倍。

在本申请实施例中，在获取到特征点对应的预设数量的采样点对后，获取采样点对中的两个采样点的灰度值的差值和灰度梯度绝对值和的差值，相当于不仅会比较两个采样点的灰度值，还会比较两个采样点的灰度梯度绝对值和，再根据各自的比较结果生成描述子。相对于现有技术，除了比较两个采样点的灰度值，还会比较两个采样点的灰度梯度绝对值和，在灰度值比较的基础上，增加灰度梯度绝对值和的比较可以充分利用特征点周围的图像信息，避免了仅用灰度值比较易受外界条件的影响，提升了描述子的适应性；此外，灰度梯度绝对值和本身具有良好的性质：旋转不变性，进而使基于灰度梯度绝对值和比较生成的描述子对各类的图像变化也可以具有较好的鲁棒性。因此，本申请实施例的生成描述子的方法提高了描述子的鲁棒性。

结合第一方面，在第一方面的第一种可能的实现方式中，在获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对之前，所述方法还包括：

获取预设的采样模式，所述采样模式用于指示所述图像特征点的采样点的分布规则；根据所述采样模式确定所述图像特征点的多个采样点的坐标；对应的，获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值，包括：根据所述两个采样点的坐标确定所述两个采样点的灰度值以及灰度梯度绝对值和；计算所述两个采样点的灰度值的差值、灰度梯度绝对值和的差值。

本申请实施例通过坐标确定采样点的灰度值以及灰度梯度绝对值和，每个采样点在像素坐标中的位置都是唯一的，根据其坐标能够快速的获取到相关的信息，提高了生成描述子的效率。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，在根据所述采样模式确定所述图像特征点的多个采样点的坐标之前，所述方法还包括：

获取所述特征点的主方向；基于所述主方向，将所述多个采样点和中心采样点的连线对应的方向与所述主方向对齐。

本申请实施例在确定采样点的坐标之前，还会将各个采样点(即采样区域)与特征点的连线对应的方向与主方向对齐，在主方向对齐后，能够保证生成的描述子具有旋转不变性，提高描述子的性能。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，根据所述采样模式确定所述图像特征点的多个采样点的坐标，包括：

确定出一个以所述特征点为中心的区域；在所述区域中，根据所述特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径；根据所述特征点的尺度以及每个同心圆的半径确定所述多个采样点的参数；所述采样点的参数包括采样点的平滑半径、采样点所在的同心圆层数、采样点所在的同心圆半径、采样点的编号；根据所述采样点的参数以及所述特征点的主方向确定所述多个采样点的坐标。

通过尺度关联、编号标记采样点的采样模式，能够比较准确的确定出各个采样点相对于特征点的位置，从而能够提高确定采样点坐标的效率。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，根据所述特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径，包括：确定出五个以特征点为中心的同心圆，其中，从内到外的同心圆半径分别为所述特征点的尺度的3倍、4.5倍、5倍、7倍、9倍；

对应的，根据所述特征点的尺度以及每个同心圆的半径确定所述多个采样点的参数包括：确定内三层的每个同心圆上分布八个采样点，所述八个采样点的平滑半径为所述特征点的尺度的1.3倍；确定外两层的每个同心圆上分布十六个采样点，所述十六个采样点的平滑半径为所述特征点的尺度的1.6倍。

本申请实施例中的采样点的分布规则，各个采样点之间不存在空隙，更能充分利用特征点周围的邻域，可以相对减少坐标的计算量，同时相邻的采样点存在部分重叠，有利于提高描述子的独特性。

结合第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，根据所述采样模式确定所述图像特征点的多个采样点的坐标，包括：

获取预先存储的坐标查找表，所述坐标查找表中存储有不同的特征点主方向下每个采样点的坐标；根据所述特征点的主方向、每个采样点的编号以及所述查找表确定所述多个采样点的坐标。

本申请实施例中的采样点坐标还可以通过预先存储的坐标查找表字直接进行查找，避免了复杂的公式计算过程，快速的确定采样点的坐标，提高了描述子的生成效率。

结合第一方面第一种可能的实现方式，在第一方面的第六种可能的实现方式中，在获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对之前，所述方法还包括：

确定多个样本特征点，所述样本特征点的采样模式与所述图像特征点的采样模式相同；针对每个样本特征点，确定多个样本采样点对，所述样本采样点对的数量大于所述预设数量；对每个样本采样点对中的两个采样点进行灰度值比较，生成灰度值比较结果；根据所述多个样本特征点的灰度值比较结果和选取标准从所述多个样本采样点对中确定出预设数量的采样点对；将所述预设数量的采样点对确定为所述图像特征点对应的采样点对。

结合第一方面，在第一方面的第七种可能的实现方式中，将所述灰度值的差值、所述灰度梯度绝对值的差值和分别与预设的差值阈值进行比较，得到比较结果，包括：

若所述灰度值的差值或者所述灰度梯度绝对值的差值大于所述差值阈值，将所述比较结果标记为1；若所述灰度值的差值或者所述灰度梯度绝对值的差值小于或者等于所述差值阈值，将所述比较结果标记为0；

对应的，根据所述比较结果生成所述特征点的描述子，包括：将每次比较结果的标记确定为当前维数的描述子的比特位。

第二方面，本申请实施例提供一种生成描述子的装置，所述装置包括用于实现第一方面以及第一方面任意可能的实现方式所述的方法的功能模块。

第三方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如第一方面以及第一方面任意可能的实现方式中所述的方法的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备的功能结构框图；

图2为本申请实施例提供的生成描述子的方法的流程图；

图3为本申请实施例提供的采样模式举例图；

图4为本申请实施例提供的采样点对举例图；

图5(a)-图5(f)为本申请实施例提供的描述子匹配测试图；

图6为本申请实施例提供的生成描述子的装置的功能结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

请参照图1，是一种可应用于本申请实施例中的电子设备100的功能结构框图。如图1所示，电子设备100可以包括存储器102、存储控制器104、一个或多个(图1中仅示出一个)处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116和生成描述子的装置。

存储器102、存储控制器104、处理器106、外设接口108、输入输出模块110、音频模块112、显示模块114、射频模块116各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。生成描述子的方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器102中的软件功能模块，例如所述生成描述子的装置包括的软件功能模块或计算机程序。

存储器102可以存储各种软件程序以及模块，如本申请实施例提供的生成描述子的方法及装置对应的程序指令/模块。处理器106通过运行存储在存储器102中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的生成描述子的方法。

存储器102可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器106可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108、处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。输入输出模块110可以是，但不限于，鼠标和键盘等。

音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示模块114在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本申请实施例中，显示模块114可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器106进行计算和处理。

射频模块116用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通信网络或者其他设备进行通信。

可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请实施例中，电子设备100可以作为用户终端，或者作为服务器。用户终端可以为个人电脑(personal computer，PC)、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端等终端设备。

为了更清楚的介绍本申请实施例提供的技术方案，接下来先对应用场景作介绍。

图像处理过程中，第一步需要进行局部特征提取，局部特征提取又分为两步，第一步为特征点检测，第二步为描述子生成，本申请实施例的技术方案应用于第二步，即在已经确定特征点的情况下，生成特征点的描述子，生成的描述子可用于图像的匹配。

特征描述子是根据特征点邻域的像素信息设计的一个向量，用于表征特征点，特征描述子是一个向量，具有维数，每一维都对应一个比特位，例如[1 0 1 0]，是维数为4的描述子，现主要有两种描述子，一种是尺度不变特征变换(Scale invariant featuretransform,SIFT)描述子，SIFT描述子将特征点周围的邻域分为4×4的子区域，统计子区域中每个像素点的梯度信息并分配到8个方向柱上，这样生成的4×4×8＝128维描述子即为SIFT描述子，SIFT描述子需要统计特征点邻域所有像素点的梯度信息并且需要将梯度值三线性插值到对应的方向柱上，计算复杂度较高。另一种是二进制描述子，二进制描述子通过比较两个采样点的灰度值生成一个比特位，多比特位构成的向量即为二进制描述子。二进制描述子的生成相对于SIFT描述子的生成比较简单，但是仅比较两个采样点的灰度值，造成二进制描述子的鲁棒性较差。描述子的鲁棒性表征描述子在图像变换中的适应性，如尺度、旋转、光照、模糊、视角变化和遮挡等图像变换。

对于每个图像来说，都具有一个图像坐标，图像的最小单位是像素，在图像中的每一个像素点，已知像素点的坐标或者幅值就可以知道像素点的灰度值和灰度差分值等像素信息。

结合图像处理的背景，接下来对本申请实施例提供的可应用于电子设备100的生成描述子的方法作介绍，请参照图2，是本申请实施例提供的生成描述子的方法的流程图，如图2所示，该方法包括：

步骤210：获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对。

步骤220：获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值。

步骤230：将灰度值的差值、灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果。

步骤240：根据比较结果生成特征点的描述子，描述子的维数为预设数量的两倍。

在本申请实施例中，在获取到特征点对应的预设数量的采样点对后，获取采样点对中的两个采样点的灰度值的差值和灰度梯度绝对值和的差值，相当于不仅会比较两个采样点的灰度值，还会比较两个采样点的灰度梯度绝对值和，再根据各自的比较结果生成描述子。相对于现有技术，除了比较两个采样点的灰度值，还会比较两个采样点的灰度梯度绝对值和，在灰度值比较的基础上，增加灰度梯度绝对值和的比较可以充分利用特征点周围的图像信息，避免了仅用灰度值比较易受外界条件的影响，提升了描述子的适应性；此外，灰度梯度绝对值和本身具有良好的性质：旋转不变性，进而使基于灰度梯度绝对值和比较生成的描述子对各类的图像变化也可以具有较好的鲁棒性。因此，本申请实施例的生成描述子的方法提高了描述子的鲁棒性。

在步骤210之前，该方法还包括：获取预设的采样模式，采样模式用于指示所述图像特征点的采样点的分布规则；根据采样模式确定图像特征点的多个采样点的坐标。

对于一个特征点来说，在特征点的邻域中可以有多种采样点的分布规则，不同的分布规则选取的采样点对或者生成的描述子的性能都会有不同，可选的采样模式有：BRIEF、BRISK、FREAK，其中，BRIEF是以特征点为中心的邻域块，在领域块中可以随机选取点对进行二进制描述子的生成；BRISK是以特征点为中心，构建不同的同心圆，在每个圆上获取一定数目的等间隔采样点；FREAK接近于人眼视网膜接收图像信息的采样方式，在离中心点近的采样点密度高，远离中心点的采样点密度低。在这三种常见的分布模式中，采样点的密度和平滑范围重叠均有区别，采样点的密度代表采样点的密集程度，采样点的平滑范围代表以采样点为中心的一个圆形范围，不同的采样点的平滑范围可以有重叠，也可以没有重叠，采样点的密度和平滑范围重叠可以影响描述子的独特性。描述子的独特性代表不同的特征点描述子之间的区分性。

请参照图3，是本申请实施例提供的一种可选的采样模式，如图3所示，在该采样模式中，以特征点为中心的邻域中共包括57个采样点(中心的采样点可以与特征点重合，图3中的中心采样点编号为57)，该57个采样点组成的区域为特征点的采样区域。各个采样点分布在以特征点为中心的同心圆上，每个采样点都进行了编号，不同的同心圆上的采样点的平滑半径不同，所以不同的采样点的平滑范围的重叠区域也不相同。此外，采样点的个数与采样点对的数量是相关联的，在本申请实施例中，若假设采样点的数量为57个，那么采样点对的数量则为128对，因此，在后续的描述中，若假设采样点为57个，那么对应的预设数量为128。

在获取到采样模式后，可以根据采样模式确定采样模式中各个采样点的坐标，为了保证生成的描述子的旋转不变性，即在旋转的图像变换条件下，描述子也能适应(依然能够用于图像匹配)，在确定采样点的坐标之前，还可以进行主方向的对齐(将特征点周围邻域旋转到主方向上)。因此，在根据采样模式确定图像特征点的多个采样点的坐标之前，该方法还包括：获取所述特征点的主方向；基于特征点的主方向，将多个采样点与中心采样点的连线对应的方向与主方向对齐。

其中，关于特征点的主方向，一般用角度进行表示。主方向可以通过直方图统计法获取：统计特征点邻域(采样模式中的邻域)中每个像素点的梯度信息，包括梯度方向和梯度幅值，根据梯度方向将每个像素点的梯度幅值累加到像素点对应的方向柱上，统计完所有的像素点信息后，幅值最大的方向柱对应的梯度方向即为该特征点的主方向。在获取到特征点的主方向后，由于各采样点所在的邻域是相同的，相对的位置关系在采样模式中也是固定的，因此，在对齐主方向时，可以选择其中一个采样点，将一个采样点和中心点(特征点)的连线方向和主方向对齐即可，在将一个采样点和中心采样点的连线方向旋转到与主方向对齐后，整个采样区域相当于也作了一个旋转，且其中的每个采样点的方向与主方向都是对齐的。其中，中心采样点为位于采样区域中心的采样点，以图3为例，在该采样模式中，可以将编号为1的采样点与编号为57的采样点的连线方向和主方向对齐，即完成了各个采样点的主方向对齐。

在完成主方向对齐后，可以基于对齐后的采样区域进行采样点坐标的确定。在确定采样点坐标时，本申请实施例提供两种可选的实施方式。

第一种可选的实施方式，根据采样模式确定特征点的多个采样点的坐标包括：确定出一个以特征点为中心的区域(即前述的采样区域)；在该区域中，根据特征点的尺度确定出以特征点为圆心的多个同心圆以及每个同心圆的半径；根据特征点的尺度以及每个同心圆的半径确定多个采样点的参数；采样点的参数包括采样点的平滑半径、采样点所在的同心圆层数、采样点所在的同心圆半径、采样点的编号；根据采样点的参数确定多个采样点的坐标。其中，作为一种可选的实施方式，根据特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径，包括：确定出五个以特征点为中心的同心圆，其中，从内到外的同心圆半径分别为特征点的尺度的3倍、4.5倍、5倍、7倍、9倍；对应的，根据特征点的尺度以及每个同心圆的半径确定多个采样点的参数包括：确定内三层的每个同心圆上分布八个采样点，该八个采样点的平滑半径为特征点的尺度的1.3倍；确定外两层的每个同心圆上分布十六个采样点，该十六个采样点的平滑半径为特征点的尺度的1.6倍。

以图3为例，该采样模式中有57个采样点，从1到57每个采样点均有编号，根据特征点的尺度确定出5个同心圆，内三层的每个同心圆上均分布8个采样点，每个采样点的平滑半径为特征点的尺度的1.3倍，外两层的每个同心圆上均分布16个采样点，每个采样点的平滑半径为特征点的尺度的1.6倍。

假设特征点的尺度为σ，一种可选的实施方式：5个同心圆的半径分别可以为：3σ，4.5σ，5σ，7σ，9σ，中心采样点的平滑半径为2σ，内三层的采样点的平滑半径为1.3σ，外两层的采样点的平滑半径为1.6σ。对应的，根据采样点的参数确定采样点的坐标，可选的实施方式：通过公式计算内三层采样点的坐标，其中，θ为特征点的主方向，同心圆的半径r＝3σ，4.5σ，5σ，采样点的序号k＝1，2，…8，同心圆的层数t＝1，2，3，p(t)函数在t为奇时取1，t为偶时取0。通过公式计算外两层采样点的坐标，其中，为特征点的主方向，同心圆的半径r＝7σ，9σ，采样点的序号k＝1，2，…16，同心圆的层数t＝4，5，q(t)函数在t为奇时取0，t为偶时取1。

第二种可选的实施方式，根据采样模式确定图像特征点的多个采样点的坐标，包括：获取预先存储的坐标查找表，坐标查找表中存储有不同的特征点主方向下每个采样点的坐标；根据特征点的主方向、每个采样点的编号以及查找表确定多个采样点的坐标。

其中，对于坐标查找表，在采样模式中，假设有57个采样点，特征点的尺度变化在1.6-3.7之间，可以以0.1的尺度(每两个尺度之间间隔0.1)建立22个二维坐标查找表，每个查找表的57列对应于57个采样点的编号，查找表的92行对应于特征点主方向从0度到45度(每两个主方向之间间隔0.5度)，其中奇数行、偶数行分别表示采样点的横、纵坐标。可以理解的是，这只是其中一种实施方式，其中的行或者列可以进行置换，例如用行对应采样点的编号，列对应特征点的主方向变化或者其他的实施方式。

其中，对于坐标查找表的建立：可以是在初始化时，对于同一采样模式，利用第一种实施方式中的公式计算出不同的主方向下的采样点坐标，然后将得到的坐标按照坐标查找表的形式进行存储，在存储好后，在以后的坐标确定过程中，就可以直接利用该坐标查找表查找对应的坐标，避免了坐标的重复计算。

在查找坐标时，由于数据比较多，本申请实施例提供一种可以快速的定位到需要的行或列的实施方式：通过坐标索引定位到横坐标和纵坐标对应的行和列。其中，对于特征点主方向为θ，编号为n的采样点，其横坐标行、列索引可以通过公式计算，纵坐标行、列索引可以通过公式计算。其中，round(x)表示对x取最近整数。若θ>π/4，则令先由带入公式(3)、(4)求出采样点横、纵坐标的行索引X_row、Y_row，再由t值对列索引X_col、Y_col进行相应的调整。

在确定各采样点的坐标后，还需确定特征点对应的多个采样点对。采样点对可选的选取标准有多种：(1)中心点比较模式(Center comparison pattern，CCP)，同心圆上任意一点与中心点对组成点对。(2)中心对称比较模式(Center trosymmetric comparisonpattern，CSCP)，同心圆上一点与其关于中心点的对称点组成点对。(3)最小相关点对模式(Minimum correlation pattern，MCP)，通过各采样点之间的相关性选取采样点对。

本申请实施例主要对第三种选取标准作介绍，在该选取标准下，本申请实施例提供一种确定采样点对的方式：确定多个样本特征点，样本特征点的采样模式与图像特征点的采样模式相同；针对每个样本特征点，确定多个样本采样点对，样本采样点对的数量大于所述预设数量；对每个样本采样点对中的两个采样点进行灰度值比较，生成灰度值比较结果；根据多个样本特征点的灰度值比较结果和选取标准从多个样本采样点对中确定出预设数量的采样点对；将预设数量的采样点对确定为图像特征点对应的采样点对。

该方式相当于对多个样本特征点进行机器学习，选取出预设数量的采样点对，那么在确定与样本特征点的采样模式相同的特征点的采样点对时，即可直接将通过机器学习选取出的采样点对作为特征点对应的采样点对。

具体的机器学习的过程可以包括：

步骤A：从标准的测试数据集(例如从ImageNet Large Scale VisualRecognition Challenge 2012)中选取至少1000张图片，从该至少1000张图片中提取K个特征点，K至少为276696，可以随机提取K个特征点，也可以计算每张图片中至少需要提取的特征点数(特征点总数/图片数)，然后再按照计算的特征点数从对应的图片中提取特征点。对于每个特征点，从其周围邻域的采样点(假设为57个)中任意选取两个采样点(x_p，x_q)组成点对进行灰度值大小比较，x_p，x_q代表两个不同的采样点，可以通过A＝{(x_p,x_q)|1≤p<57∧p<q≤57}选取点对，即在57个采样点中，任意两个不同的采样点之间均可以组成采样点对，那么总共的采样点对就有将大小的测试结果用二进制表示，例如x_p的灰度值大于x_q的灰度值，测试结果就为1，如果x_p的灰度值小于或者等于x_q的灰度值，测试结果就为0，最终得到的二进制测试结果就有1596个。

步骤B：将K个特征点的测试结果排列成K×M的矩阵，假设令S为测试结果矩阵中列的集合，计算S中每列均值，从中选取均值为0.5的列加入集R，对于S中剩下的列，从中挑选出均值与0.5的绝对差值在0.1以内的列，计算其与集R中的每列的相关性，若均小于预设的阈值则添加到集R中，直到R中有预设数量的(128)列。该阈值可以根据采样点对的相关性条件进行设置，例如若相关性要较大才能满足采样点对的条件，那么该阈值就可以相对较小。

其中，计算相关性的可能的实现方式：通过计算，其中，X，Y为两个随机变量，在此处可以表征需要计算相关性的两个列；cov(X，Y)表示两个变量的协方差，σ_X是变量X的标准差，σ_Y是变量Y的标准差；μ_X是与X变量相关的一个均值，μ_Y是与Y变量相关的一个均值，本申请实施例中为列的均值。求解相关性得到的值与阈值进行比较，若小于预设的阈值，则满足点对的选取条件。

步骤C：确定集R中每列所对应的点对，即为最小相关性点对。

按照步骤A、B和C确定出的最小相关性点对即为特征点对应的采样点对，此外，不管是样本特征点或者是图像特征点的采样模式中，每个采样点都有编号，因此，确定出的采样点对可以以编号的形式表示，当然也可以通过坐标等形式表示。

请参照图4，是本申请实施例提供的采样点对举例，如图4所示，有连线关系的两个采样点即为一个采样点对，可以看出，一个采样点可以同时与多个采样点组成不同的采样点对。

本申请实施例通过机器学习的方式确定采样点对，相对于传统的(例如穷举法等)确定采样点对的方式，效率和准确率都更高。

在确定采样点对后，执行步骤210，获取采样点对，然后执行步骤220，即获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值，对于步骤220，可选的实施方式：根据每个采样点对中两个采样点的坐标确定两个采样点的灰度值以及灰度梯度绝对值和；计算两个采样点的灰度值的差值、灰度梯度绝对值和的差值。根据采样点的坐标就可以知道采样点在图像的像素坐标中的具体位置，在像素坐标中，每个最小像素单元的像素信息(包括灰度值、灰度梯度绝对值和、梯度幅值等)是可以获取到的。本申请实施例中的灰度值和灰度梯度绝对值和均可以在知道采样点的坐标后，直接得到，不需要再进行计算，即相当于每个采样点都有其各自对应的像素信息，采样点的坐标相当于是标识，通过该标识可以知道标识对应的内容(即像素信息)，因此可以通过采样点的坐标确定采样点的灰度值以及灰度梯度绝对值和。

在计算出差值后，可以执行步骤230和240，对于步骤230和240，可选的实施方式：将所述灰度值的差值、所述灰度梯度绝对值的差值和分别与预设的差值阈值进行比较，得到比较结果，包括：若灰度值的差值或者灰度梯度绝对值和的差值大于差值阈值，将比较结果标记为1；若灰度值的差值或者灰度梯度绝对值的差值小于或者等于差值阈值，将比较结果标记为0；对应的，根据比较结果生成特征点的描述子，包括：将每次比较结果的标记确定为当前维数的描述子的比特位。

上述实施方式可以通过公式表示，其中，b表示最后得到的二进制比特位，g(x)表示采样点x处的灰度值或者灰度梯度绝对值和，i表示当前的维数，N是采样点对的个数，决定着二进制描述子的维数，T表示差值阈值，在本申请实施例中，T可以为0。以128对采样点对举例来说，针对其中的每一对采样点对，均有一个灰度值差值和灰度梯度绝对值和，分别与差值阈值进行比较，若大于差值阈值，当前维数的二进制比特位就为1；若小于或者等于差值阈值，当前维数的二进制比特位就为0，因此，每个采样点对的比较结果会占两个比特位，最终得到的二进制描述子维数为256维。需要注意的是，在这种实施方式中，灰度值的差值阈值和灰度梯度绝对值和的差值阈值是相同的，即灰度值差值和灰度梯度绝对值和采用同一个比较标准。作为另一种实施方式，灰度值差值和灰度梯度绝对值也可以采用不同的比较标准，即各自设置有一个不同的差值阈值，分别与各自的差值阈值进行比较，进而生成描述子。

通过本申请实施例得到的描述子(下称MCP描述子)，鲁棒性高于传统的二进制描述子，基于此，本申请实施例还提供针对不同的描述子(包括现有技术和MCP描述子)进行性能评估的结果。本申请实施例采用牛津标准图像集对描述子评估，该图像集下共有八个子集，涵盖不同程度的几何和光度转换，包括：图像旋转变化、尺度变化、光照亮度变化、图像模糊变化、视角变化和JPEG压缩。在不同的图像变换条件下，记录不同的描述子匹配的结果，评估的指标主要包括召回率和错误率，召回率和错误率用于表征描述子的匹配准确率。

接下来请参照图5(a)-图5(f)，是本申请实施例提供的评估结果图，分别对应的匹配测试图像可从以下图片集中进行选取：表征尺度+旋转变化的彩色图片集(如Bark图片集)、表征尺度+旋转变化的灰度图片集(如Boat图片集)、表征模糊变化的图片集(如Bikes图片集)、表征光照变化的图片集(如Leuven图片集)、表征视角变化的图片集(如Graffiti图片集)和表征JPEG压缩的图片集(如Ubc图片集)，本申请实施例选取各图片集中的第二张和第四张图片进行匹配测试。

如图5(a)-图5(f)所示，SIFT描述子、ORB描述子、BRISK描述子以及FREAK描述子均表示现有技术的描述子，MCP描述子表征本申请实施例中的描述子，不同的描述子用不同的曲线图标表示，横坐标为错误率，纵坐标为召回率。可以看到，不管在何种图像变换的条件下，MCP描述子的召回率和错误率对应的曲线都是相较于其他描述子都是往上的，在召回率-错误率曲线中，描述子的匹配曲线越往上，表征描述子的鲁棒性越好。可见，MCP描述子的性能明显比其他的二进制描述子的性能好，此外，虽然与SIFT描述子的性能相当，但是SIFT描述子由于生成方式复杂，生成效率低。

接下来请参照图6，是本申请实施例提供的生成描述子的装置300，如图6所示，装置300包括：获取模块301、比较模块302、生成模块303。

获取模块301：用于获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对；获取模块301还用于获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值；比较模块302：用于将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果；生成模块303：用于根据所述比较结果生成所述特征点的描述子，所述描述子的维数为所述预设数量的两倍。

可选的，装置300还包括处理模块，在获取模块301获取采样点对之前，获取模块301还用于获取预设的采样模式，所述采样模式用于指示所述图像特征点的采样点的分布规则。处理模块用于根据所述采样模式确定所述图像特征点的多个采样点的坐标；对应的，获取模块301用于根据所述两个采样点的坐标确定所述两个采样点的灰度值以及灰度梯度绝对值和；计算所述两个采样点的灰度值的差值、灰度梯度绝对值和的差值。

可选的，处理模块还用于：确定多个样本特征点，所述样本特征点的采样模式与所述图像特征点的采样模式相同；针对每个样本特征点，确定多个样本采样点对，所述样本采样点对的数量大于所述预设数量；对每个样本采样点对中的两个采样点进行灰度值比较，生成灰度值比较结果；根据所述多个样本特征点的灰度值比较结果和选取标准从所述多个样本采样点对中确定出预设数量的采样点对；将所述预设数量的采样点对确定为所述图像特征点对应的采样点对。

可选的，获取模块301还用于获取所述特征点的主方向；处理模块还用于基于所述主方向，将所述多个采样点与中心采样点的连线对应的方向与所述主方向对齐。

可选的，处理模块还用于确定出一个以所述特征点为中心的区域；在所述区域中，根据所述特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径；根据所述特征点的尺度以及每个同心圆的半径确定所述多个采样点的参数；所述采样点的参数包括采样点的平滑半径、采样点所在的同心圆层数、采样点所在的同心圆半径、采样点的编号；根据所述采样点的参数确定所述多个采样点的坐标。

可选的，获取模块301还用于获取预先存储的坐标查找表，所述坐标查找表中存储有不同的特征点主方向下每个采样点的坐标；处理模块还用于根据所述特征点的主方向、每个采样点的编号以及所述查找表确定所述多个采样点的坐标。

可选的，比较模块302还用于：若所述灰度值的差值或者所述灰度梯度绝对值和的差值大于所述差值阈值，将所述比较结果标记为1；若所述灰度值的差值或者所述灰度梯度绝对值和的差值小于或者等于所述差值阈值，将所述比较结果标记为0。生成模块303还用于：将每次比较结果的标记确定为当前维数的描述子的比特位。

前述实施例中的生成描述子的方法中的各实施方式和具体实例同样适用于图6的装置，通过前述对生成描述子的方法的详细描述，本领域技术人员可以清楚的知道图6中的生成描述子的装置的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例还提供了一种可读储存介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行上述任一实施方式的生成描述子的方法中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种生成描述子的方法，其特征在于，所述方法包括：

获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对；

获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值；

将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果；

根据所述比较结果生成所述特征点的描述子，所述描述子的维数为所述预设数量的两倍。

2.根据权利要求1所述的方法，其特征在于，在获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对之前，所述方法还包括：

获取预设的采样模式，所述采样模式用于指示所述图像特征点的采样点的分布规则；

根据所述采样模式确定所述图像特征点的多个采样点的坐标；

对应的，获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值，包括：

根据所述两个采样点的坐标确定所述两个采样点的灰度值以及灰度梯度绝对值和；

计算所述两个采样点的灰度值的差值、灰度梯度绝对值和的差值。

3.根据权利要求2所述的方法，其特征在于，在根据所述采样模式确定所述图像特征点的多个采样点的坐标之前，所述方法还包括：

获取所述特征点的主方向；

基于所述主方向，将所述多个采样点与中心采样点的连线对应的方向与所述主方向对齐。

4.根据权利要求3所述的方法，其特征在于，根据所述采样模式确定所述图像特征点的多个采样点的坐标，包括：

确定出一个以所述特征点为中心的区域；

在所述区域中，根据所述特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径；

根据所述特征点的尺度以及每个同心圆的半径确定所述多个采样点的参数；所述采样点的参数包括采样点的平滑半径、采样点所在的同心圆层数、采样点所在的同心圆半径、采样点的编号；

根据所述采样点的参数以及所述特征点的主方向确定所述多个采样点的坐标。

5.根据权利要求4所述的方法，其特征在于，根据所述特征点的尺度确定出以所述特征点为圆心的多个同心圆以及每个同心圆的半径，包括：

确定出五个以特征点为中心的同心圆，其中，从内到外的同心圆半径分别为所述特征点的尺度的3倍、4.5倍、5倍、7倍、9倍；

对应的，根据所述特征点的尺度以及每个同心圆的半径确定所述多个采样点的参数包括：

确定内三层的每个同心圆上分布八个采样点，所述八个采样点的平滑半径为所述特征点的尺度的1.3倍；

确定外两层的每个同心圆上分布十六个采样点，所述十六个采样点的平滑半径为所述特征点的尺度的1.6倍。

6.根据权利要求3所述的方法，其特征在于，根据所述采样模式确定所述图像特征点的多个采样点的坐标，包括：

获取预先存储的坐标查找表，所述坐标查找表中存储有不同的特征点主方向下每个采样点的坐标；

根据所述特征点的主方向、每个采样点的编号以及所述查找表确定所述多个采样点的坐标。

7.根据权利要求2所述的方法，其特征在于，在获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对之前，所述方法还包括：

确定多个样本特征点，所述样本特征点的采样模式与所述图像特征点的采样模式相同；

针对每个样本特征点，确定多个样本采样点对，所述样本采样点对的数量大于所述预设数量；

对每个样本采样点对中的两个采样点进行灰度值比较，生成灰度值比较结果；

根据所述多个样本特征点的灰度值比较结果和选取标准从所述多个样本采样点对中确定出预设数量的采样点对；

将所述预设数量的采样点对确定为所述图像特征点对应的采样点对。

8.根据权利要求1所述的方法，其特征在于，将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果，包括：

若所述灰度值的差值或者所述灰度梯度绝对值和的差值大于所述差值阈值，将所述比较结果标记为1；

若所述灰度值的差值或者所述灰度梯度绝对值和的差值小于或者等于所述差值阈值，将所述比较结果标记为0；

对应的，根据所述比较结果生成所述特征点的描述子，包括：

将每次比较结果的标记确定为当前维数的描述子的比特位。

9.一种生成描述子的装置，其特征在于，所述装置包括：

获取模块：用于获取待生成描述子的图像特征点对应的预先确定的预设数量的采样点对；

所述获取模块还用于获取每个采样点对中的两个采样点的灰度值的差值、灰度梯度绝对值和的差值；

比较模块：用于将所述灰度值的差值、所述灰度梯度绝对值和的差值分别与预设的差值阈值进行比较，得到比较结果；

生成模块：用于根据所述比较结果生成所述特征点的描述子，所述描述子的维数为所述预设数量的两倍。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-8任一所述方法中的步骤。