CN104616300A - 基于采样模式分离的图像匹配方法及装置 - Google Patents

Abstract

本发明公开了一种基于采样模式分离的图像匹配方法及装置，其中该方法包括：接收两幅图像，根据特征提取算法对这两幅图像进行特征点提取；针对每幅图像，以特征点为中心，在其周围进行采样，建立第一采样模式，结合第一采样模式中的采样点的分布情况和采样点的灰度值计算出特征点的方向角度；根据特征点建立与计算特征点的方向角度不同的第二采样模式，对第二采样模式按照特征点的方向角度进行逆时针旋转，得到旋转后采样点新的灰度值，根据新的灰度值生成特征描述子；对两幅图像中的特征描述子进行图像匹配。本发明实施例的方法，提高了两幅图像的匹配效果，实现了两幅图像的快速匹配。

Description

基于采样模式分离的图像匹配方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于采样模式分离的图像匹配方法及装置。

背景技术

图像匹配技术可以应用到增强现实、人脸识别、图像检索等很多领域，因此，越来越多的人都开始研究图像匹配方面的问题。目前，现有的图像匹配方法一般通过以下步骤实现的：可先分别提取待匹配图像中的特征点，之后可根据该特征点和现有图像匹配算法(如BRIEF(Binary Robust Independent Elementary Features)算法、ORB(Oriented FAST andRotated BRIEF)算法、BRISK(Binary Robust Invariant Scalable Keypoints)算法或FREAK(Fast Retina Keypoint)算法等)建立采样模式，然后可根据该采样模式分别计算特征方向和生成特征描述子，最后，根据特征描述子对待匹配图像进行匹配。

但是，在图像匹配的过程中，通过同一种图像匹配算法建立采样模式，并使用同一种采样模式计算特征方向和生成特征描述子，由于不同的图像匹配算法具有各自的优点和缺点，所以，使用同一种采样模式可能会导致匹配结果不准确，或者导致匹配效率差等的问题。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种基于采样模式分离的图像匹配方法。该方法通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，能够获得更高效的特征描述子，通过高效的特征描述子能够提高图像的匹配效果，实现了图像之间的快速匹配。

本发明的第二个目的在于提出一种基于采样模式分离的图像匹配装置。

为了实现上述目的，本发明第一方面实施例的基于采样模式分离的图像匹配方法，包括：接收第一待匹配图像和第二待匹配图像，并分别提取所述第一待匹配图像和第二待匹配图像的第一特征点和第二特征点；根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第一采样模式；根据所述第一待匹配图像和所述第二待匹配图像的第一采样模式分别计算所述第一特征点的第一方向角度和所述第二特征点的第二方向角度；根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第二采样模式；以所述第一方向角度为旋转角度，对所述第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第一待匹配图像的第二采样模式生成所述第一待匹配图像的第一特征描述子，以所述第二方向角度为旋转角度，对所述第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第二待匹配图像的第二采样模式生成所述第二待匹配图像的第二特征描述子；以及根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配。

根据本发明实施例的基于采样模式分离的图像匹配方法，可以使得计算特征点的方向角度时采用一种采样模式，生成特征描述子时采用另一种采样模式，通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，能够获得更高效的特征描述子，通过高效的特征描述子能够提高图像的匹配效果，实现了图像之间的快速匹配，在图像检索、增强现实等方面有很重要的应用。

为了实现上述目的，本发明第二方面实施例的基于采样模式分离的图像匹配装置，包括：提取模块，用于接收第一待匹配图像和第二待匹配图像，并分别提取所述第一待匹配图像和第二待匹配图像的第一特征点和第二特征点；第一建立模块，用于根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第一采样模式；第一生成模块，用于根据所述第一待匹配图像和所述第二待匹配图像的第一采样模式分别计算所述第一特征点的第一方向角度和所述第二特征点的第二方向角度；第二建立模块，用于根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第二采样模式；第二生成模块，用于以所述第一方向角度为旋转角度，对所述第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第一待匹配图像的第二采样模式生成所述第一待匹配图像的第一特征描述子，以所述第二方向角度为旋转角度，对所述第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第二待匹配图像的第二采样模式生成所述第二待匹配图像的第二特征描述子；以及匹配模块，用于根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配。

根据本发明实施例的基于采样模式分离的图像匹配装置，可以使得计算特征点的方向角度时采用一种采样模式，生成特征描述子时采用另一种采样模式，通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，能够获得更高效的特征描述子，通过高效的特征描述子能够提高图像的匹配效果，实现了图像之间的快速匹配，在图像检索、增强现实等方面有很重要的应用。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于采样模式分离的图像匹配方法的流程图；

图2是根据本发明一个实施例的FREAK采样模式的展示示例图；

图3是根据本发明一个实施例的BRIEF采样模式的展示示例图；

图4是根据本发明一个实施例的基于采样模式分离的图像匹配装置的结构示意图；

图5是根据本发明实施例的基于采样模式分离的图像匹配方法将数据集中的graf 1图像旋转180度后与原图匹配的结果的示例图；

图6是根据FREAK方法、BRISK方法及本发明实施例的基于采样模式分离的图像匹配方法(即第一和第二采样模式分别采用的是FREAK及BRIEF的采样模式)得到的匹配正确率的示例图；

图7是根据本发明提出的基于采样模式分离的图像匹配方法(即第一和第二采样模式分别采用的是FREAK及BRIEF的采样模式)与FREAK方法、BRISK方法在视点变化下的匹配正确率的测试结果的示例图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

目前，根据描述子的类型，现有的图像匹配算法可以被分为两大类：一类是特征描述子是由十进制数据组成的向量，具有代表性的算法是SIFT算法和SURF算法；另一类是特征描述子由二进制串组成，具有代表性的算法是BRIEF算法、ORB算法、BRISK算法和FREAK算法。

其中，SIFT算法具有旋转不变性、尺度不变性、光照不变等特点，且在视角变化、仿射变换、噪声方面也保持了一定程度的稳定性，但最大的也是最致命的缺点就是计算速度太慢，达不到实时性。SURF算法在进行图像特征点匹配时，只是在基本保持SIFT算法优点的基础上，在计算速度方面提高了一些，但也达不到实时处理。由于十进制特征描述子的原因，SIFT算法和SURF算法计算速度过慢，在后来的发展中就出现了二进制特征描述子，在匹配速度上有了很大的提高，但是伴随速度的提高，也出现了其它的缺点。具体地，与SIFT算法和SURF算法相比，BRIEF算法匹配速度很快而且存储效率高，其另外一个很重要的特性是匹配准确率特别高，但是BRIEF算法既无旋转不变性，又无尺度不变性，而且对噪声很敏感，这又使得BRIEF算法的应用很有局限性，鲁棒性不强；ORB算法针对BRIEF算法的一些缺点进行了改进，具有旋转不变性、抗噪性、计算速度较SIFT算法和SURF算法有了很大的提高，但不具备尺度不变性；BRISK算法具有尺度不变性和旋转不变性，但是在性能完善的过程中，伴随而来的是计算速度的减慢；FREAK算法具有旋转不变性，而且当图像旋转时匹配效果很好，也就是说FREAK算法计算的特征方向准确。

因此，由于现有的图像匹配方法在计算特征方向和生成特征描述子时采用的是同一种采样模式，可能会导致匹配结果不准确，或者导致匹配效率差等的问题。为此，本发明提出了一种基于采样模式分离的图像匹配方法及装置，其通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，使得我们可以获得更高效的描述子。具体地，下面参考附图描述根据本发明实施例的基于采样模式分离的图像匹配方法及装置。

图1是根据本发明一个实施例的基于采样模式分离的图像匹配方法的流程图。如图1所示，该基于采样模式分离的图像匹配方法可以包括：

S101，接收第一待匹配图像和第二待匹配图像，并分别提取第一待匹配图像和第二待匹配图像的第一特征点和第二特征点。

具体地，可通过特征点提取算法(如FAST算法等)提取第一待匹配图像的第一特征点，并通过特征点提取算法(如FAST算法等)提取第二待匹配图像的第二特征点。其中，特征点可理解为具有较多的局部信息的像素集合。

S102，根据第一特征点和第二特征点分别建立第一待匹配图像和第二待匹配图像的第一采样模式。

其中，在本发明的实施例中，第一采样模式可为FREAK采样模式、BRISK采样模式等中的任意一种。可以理解，第一采样模式不限于上述两种采样模式，还可以是其它采样模式。

具体地，可对第一特征点建立第一待匹配图像的第一采样模式，并对第二特征点建立第二待匹配图像的第一采样模式。举例而言，以第一采样模式为FREAK采样模式为例，可先以第一特征点为中心、通过FREAK算法在第一特征点周围画7层同心圆，每层同心圆的有6个采样点，且每层同心圆的6个采样点都有相同大小的接受域，这样该第一特征点对应的第一采样模式总共具有42个采样点，如图2所示，图2中示出了FREAK采样模式的展示示例图；同理，可以第二特征点为中心、通过FREAK算法在第二特征点周围画7层同心圆，每层同心圆有6个采样点，且每层同心圆的6个采样点都有相同大小的接受域，这样该第二特征点对应的第一采样模式总共具有42个采样点。

S103，根据第一待匹配图像和第二待匹配图像的第一采样模式分别计算第一特征点的第一方向角度和第二特征点的第二方向角度。

具体而言，在本发明的实施例中，可根据第一待匹配图像的第一采样模式中采样点对的分布情况和采样点对的灰度值通过预设的特征点方向计算公式计算第一特征点的第一方向角度，根据第二待匹配图像的第一采样模式中采样点的分布情况和采样点的灰度值通过上述预设的特征点方向计算公式计算第二特征点的第二方向角度。其中，在本发明的实施例中，以FREAK采样模式作为第一采样模式为例，那么本步骤中预设的特征点方向计算公式可为下式(1)：

$O=\frac{1}{45}\·\underset{P_o\∈G}{\mathrm{\Σ}}(I\left(P_o^{r_1}\right)-I\left(P_o^{r_2}\right))\frac{P_o^{r_1}-P_o^{r_2}}{\left|\right|P_o^{r_1}-P_o^{r_2}\left|\right|}---\left(1\right)$

其中，O为特征点的方向角度，为采样点对的二维向量空间空间坐标，为采样点对的灰度值，G为所有采样点对组成的集合。

更具体地，可结合第一待匹配图像的第一采样模式中采样点的分布情况和采样点的灰度值计算第一特征点的第一方向角度，并结合第二待匹配图像的第一采样模式中的采样点的分布情况和采样点的灰度值计算的第二特征点的第二方向角度。需要说明的是，由于第一方向角度和第二方向角度的计算只是特征点不同，计算的实现过程和方法均相同，所以下面将以生成第一特征点的第一方向角度为例说明，第二特征点的第二方向角度的计算过程和实现方法可参照第一特征点的第一方向角度的实现过程，在此不再赘述。

例如，以上述步骤S102中建立的FREAK采样模式为例，如图2所示，对于FREAK采样模式，对于最外面的4层同心圆，每层选择对称的9个点对，具体地，以每个采样点出发有三条线连接到其他三个采样点，这样对于每个特征点有3个点对，6个特征点总共有18个点对，由于点对是无序的，除去重复的点对总共有9个点对；对于最里面的三层同心圆，每层选择对称的3个点对，具体地，选择以特征点中心对称的3个点对，因此图2中可选出总共有45个点对；可令G为所有点对组成的集合，然后，可将上述选择的45个点对各自对应的二维向量空间空间坐标、各自对应的灰度值分别代入上述式(1)，得到第一特征点的第一方向角度。可以理解，第二特征点的第二方向角度可参照上述第一特征点的第一方向角度的计算方法，在此不再赘述。

S104，根据第一特征点和第二特征点分别建立第一待匹配图像和第二待匹配图像的第二采样模式。

其中，在本发明的实施例中，第二采样模式可为但不限于BRIEF采样模式。可以理解，第二采样模式还可以是其他采样模式。

例如，可对上述步骤S101提取出来的第一特征点建立第一待匹配图像的BRIEF采样模式，使得第一待匹配图像的BRIEF采样模式中的采样点对x_i和y_i服从高斯(S为在第一特征点周围选择的patch(图像块)的大小)分布，并对提取出来的第二特征点建立第二待匹配图像的BRIEF采样模式，使得第二待匹配图像的BRIEF采样模式中的采样点对x_i和y_i服从高斯(S为在第二特征点周围选择的patch的大小)分布，如图3所示，图3中示出了BRIEF采样模式的展示示例图。

S105，以第一方向角度为旋转角度，对第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的第一待匹配图像的第二采样模式生成第一待匹配图像的第一特征描述子，以第二方向角度为旋转角度，对第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的第二待匹配图像的第二采样模式生成第二待匹配图像的第二特征描述子。

具体地，以第一方向角度为旋转角度、以第一待匹配图像的第二采样模式中的采样点为中心，对第一待匹配图像的第二采样模式进行逆时针旋转，并利用旋转后采样点的灰度值通过BRIEF算法生成第一待匹配图像的第一特征描述子；同理，以第二方向角度为旋转角度、以第二待匹配图像的第二采样模式中的采样点为中心，对第二待匹配图像的第二采样模式进行逆时针旋转，并利用旋转后采样点的灰度值通过BRIEF算法生成第二待匹配图像的第二特征描述子。

S106，根据第一特征描述子和第二特征描述子对第一待匹配图像和第二待匹配图像进行图像匹配。

具体而言，在本发明的实施例中，可先计算第一特征描述子和第二特征描述子之间的距离，之后可根据该距离对第一待匹配图像和第二待匹配图像进行图像匹配。其中，在本发明的实施例中，上述距离可为但不限于汉明距离、欧氏距离、曼哈顿距离等。更具体地，可先计算第一特征描述子和第二特征描述子之间的距离，然后可将该距离与预设阈值进行比较，如果该距离小于该预设阈值，则可认为第一待匹配图像和第二待匹配图像匹配成功。

进一步的，在本发明的一个实施例中，在根据第一特征描述子和第二特征描述子对第一待匹配图像和第二待匹配图像进行图像匹配的过程中，该基于采样模式分离的图像匹配方法还可以包括：消除图像匹配过程中的误匹配点对，得到第一待匹配图像和第二待匹配图像之间的正确匹配点对；以及根据正确匹配点对确定第一待匹配图像和第二待匹配图像的图像匹配成功。具体地，可通过Ransac算法消除在图像匹配过程中出现的异常数据，即通过Ransac算法消除图像匹配过程中的误匹配点对，得到第一待匹配图像和第二待匹配图像的正确匹配点对，根据该正确匹配点对即可确定这两幅待匹配图像匹配成功。由此，通过正确匹配点对完成两幅图像的匹配，提高匹配准确率率。

可以看出，本发明实施例中的第一采样模式用于计算特征方向，第二采样模式用于生成特征描述子，并且这两种采样模式的建立方法各不相同。

根据本发明实施例的基于采样模式分离的图像匹配方法，可以使得计算特征点的方向角度时采用一种采样模式，生成特征描述子时采用另一种采样模式，通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，能够获得更高效的特征描述子，通过高效的特征描述子能够提高图像的匹配效果，实现了图像之间的快速匹配，在图像检索、增强现实等方面有很重要的应用。

需要说明的是，本发明提出的基于采样模式分离的图像匹配方法不限于针对两张待匹配图像进行匹配，还可以针对两张以上(例如，三张、四张等)待匹配图像进行图像匹配，即针对每张待匹配图像，在计算特征点的方向角度时采用一种采样模式，生成特征描述子时采用另一种采样模式，再将每张待匹配图像的特征描述子进行匹配以实现多个待匹配图像的匹配。

与上述几种实施例提供的基于采样模式分离的图像匹配方法相对应，本发明的一种实施例还提供一种基于采样模式分离的图像匹配装置，由于本发明实施例提供的基于采样模式分离的图像匹配装置与上述几种实施例提供的基于采样模式分离的图像匹配方法相对应，因此在前述基于采样模式分离的图像匹配方法的实施方式也适用于本实施例提供的基于采样模式分离的图像匹配装置，在本实施例中不再详细描述。图4是根据本发明一个实施例的基于采样模式分离的图像匹配装置的结构示意图。如图4所示，该基于采样模式分离的图像匹配装置可以包括：提取模块10、第一建立模块20、第一生成模块30、第二建立模块40、第二生成模块50和匹配模块60。

具体地，提取模块10可用于接收第一待匹配图像和第二待匹配图像，并分别提取第一待匹配图像和第二待匹配图像的第一特征点和第二特征点。

第一建立模块20可用于根据第一特征点和第二特征点分别建立第一待匹配图像和第二待匹配图像的第一采样模式。其中，在本发明的实施例中，第一采样模式可为FREAK采样模式、BRISK采样模式等中的任意一种。可以理解，第一采样模式不限于上述两种采样模式，还可以是其它采样模式。

第一生成模块30可用于根据第一待匹配图像和第二待匹配图像的第一采样模式分别计算第一特征点的第一方向角度和第二特征点的第二方向角度。具体而言，在本发明的实施例中，第一生成模块30可具体用于：根据第一待匹配图像的第一采样模式中采样点对的分布情况和采样点对的灰度值通过预设的特征点方向计算公式计算第一特征点的第一方向角度，并根据第二待匹配图像的第一采样模式中采样点的分布情况和采样点的灰度值通过预设的特征点方向计算公式计算第二特征点的第二方向角度。其中，在本发明的实施例中，以FREAK采样模式作为第一采样模式为例，那么本步骤中预设的特征点方向计算公式可为下式(1)：

$O=\frac{1}{45}\·\underset{P_o\∈G}{\mathrm{\Σ}}(I\left(P_o^{r_1}\right)-I\left(P_o^{r_2}\right))\frac{P_o^{r_1}-P_o^{r_2}}{\left|\right|P_o^{r_1}-P_o^{r_2}\left|\right|}---\left(1\right)$

其中，O为特征点的方向角度，为采样点对的二维向量空间空间坐标，为采样点对的灰度值，G为所有采样点对组成的集合。

第二建立模块40可用于根据第一特征点和第二特征点分别建立第一待匹配图像和第二待匹配图像的第二采样模式。其中，在本发明的实施例中，第二采样模式为但不限于BRIEF采样模式。可以理解，第二采样模式还可以是其他采样模式。

第二生成模块50可用于以第一方向角度为旋转角度，对第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的第一待匹配图像的第二采样模式生成第一待匹配图像的第一特征描述子，以第二方向角度为旋转角度，对第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的第二待匹配图像的第二采样模式生成第二待匹配图像的第二特征描述子。

匹配模块60可用于根据第一特征描述子和第二特征描述子对第一待匹配图像和第二待匹配图像进行图像匹配。具体而言，在本发明的实施例中，匹配模块60可具体用于：可先计算第一特征描述子和第二特征描述子之间的距离，之后可根据该距离对第一待匹配图像和第二待匹配图像进行图像匹配。其中，在本发明的实施例中，上述距离可为但不限于汉明距离、欧氏距离、曼哈顿距离等。

进一步的，在本发明的一个实施例中，如图4所示，该基于采样模式分离的图像匹配装置还包括消除模块70，消除模块70可用于在匹配模块60根据第一特征描述子和第二特征描述子对第一待匹配图像和第二待匹配图像进行图像匹配的过程中，消除图像匹配过程中的误匹配点对，得到第一待匹配图像和第二待匹配图像之间的正确匹配点对。其中，在本发明的实施例中，匹配模块60还可用于根据正确匹配点对确定第一待匹配图像和第二待匹配图像的图像匹配成功。由此，通过正确匹配点对完成两幅图像的匹配，提高匹配准确率。

根据本发明实施例的基于采样模式分离的图像匹配装置，可以使得计算特征点的方向角度时采用一种采样模式，生成特征描述子时采用另一种采样模式，通过结合不同采样模式的优点，为研发匹配算法提供了更大灵活性，能够获得更高效的特征描述子，通过高效的特征描述子能够提高图像的匹配效果，实现了图像之间的快速匹配，在图像检索、增强现实等方面有很重要的应用。

为了使得本领域的技术人员能够更清楚地了解本发明的优点，发明人将采用Mikolajczyk和Schmid提出的数据集对本发明提出的基于采样模式分离的图像匹配方法及装置的性能进行实验测试，其中第一采样模式选用的是FREAK的采样模式，并用FREAK计算特征方向的方法来计算特征方向；第二采样模式选用的是BRIEF的采用模式，并用BRIEF生成描述子的方法生成描述子，其部分实验结果如下：

首先，需要说明的是，由于使用本发明提出的基于采样模式分离的图像匹配方法及装置得到的特征描述子具有高效、旋转不变性鲁棒性等特点，因此发明人称它为HERRD(high-efficiency,rotation invariant and robust descriptor)。

1、如图5所示，图5是通过使用本发明提出的基于采样模式分离的图像匹配方法(HERRD)将数据集中的graf 1(数据集中一个图像的名称)图像旋转180度后与原图匹配的结果。

2、测试本发明提出的基于采样模式分离的图像匹配方法(HERRD)的旋转不变性：例如，通过使用FREAK方法、BRISK方法及本发明提出的基于采样模式分离的图像匹配方法(HERRD)(即第一和第二采样模式分别采用的是FREAK及BRIEF的采样模式)，分别将数据集中的graf 1图像从-180°到180°(角度间隔为10°)进行旋转，并分别与原图进行匹配，最终通过上述三种方法得到的匹配正确率如图6所示，可以看出，相较于FREAK方法、BRISK方法，本发明提出的基于采样模式分离的图像匹配方法(HERRD)得到的匹配正确率更高。

3、如图7所示，图7是根据本发明提出的基于采样模式分离的图像匹配方法(HERRD)(即第一和第二采样模式分别采用的是FREAK及BRIEF的采样模式)与FREAK方法、BRISK方法在视点变化下的匹配正确率的测试结果，其中，此次测试中选用的是数据集中的wall图集。

由此，可以看出，本发明提出的基于采样模式分离的图像匹配方法及装置具有以下特点：

1)灵活性：本发明提出的基于采样模式分离的图像匹配方法及装置在进行图像匹配时没有局限于一种采样模式，而是将计算特征点的方向角度与生成特征描述子采用不同的采样模式，使得图像匹配的实现更加灵活。

2)旋转不变性与鲁棒性：由于利用第一采样模式计算特征点的方向角度，用第二采样模式生成特征描述子，因此，本发明提出的基于采样模式分离的图像匹配方法及装置具有旋转不变性。通过合理的选择第一采样模式和第二采样模式，可以得到具有更好旋转不变性和鲁棒性的匹配方法。

3)应用性强：本发明提出的基于采样模式分离的图像匹配方法及装置可以对图像进行匹配，并还可应用到需要图像匹配技术的各个领域，如增强现实、人脸识别、图像检索等领域。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于采样模式分离的图像匹配方法，其特征在于，包括以下步骤：

接收第一待匹配图像和第二待匹配图像，并分别提取所述第一待匹配图像和第二待匹配图像的第一特征点和第二特征点；

根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第一采样模式；

根据所述第一待匹配图像和所述第二待匹配图像的第一采样模式分别计算所述第一特征点的第一方向角度和所述第二特征点的第二方向角度；

根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第二采样模式；

以所述第一方向角度为旋转角度，对所述第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第一待匹配图像的第二采样模式生成所述第一待匹配图像的第一特征描述子，以所述第二方向角度为旋转角度，对所述第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第二待匹配图像的第二采样模式生成所述第二待匹配图像的第二特征描述子；以及

根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配。

2.如权利要求1所述的基于采样模式分离的图像匹配方法，其特征在于，所述根据所述第一待匹配图像和所述第二待匹配图像的第一采样模式分别计算所述第一特征点的第一方向角度和所述第二特征点的第二方向角度，包括：

根据所述第一待匹配图像的第一采样模式中采样点对的分布情况和所述采样点对的灰度值通过预设的特征点方向计算公式计算所述第一特征点的第一方向角度；

根据所述第二待匹配图像的第一采样模式中采样点的分布情况和所述采样点的灰度值通过所述预设的特征点方向计算公式计算所述第二特征点的第二方向角度。

3.如权利要求1所述的基于采样模式分离的图像匹配方法，其特征在于，所述根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配，包括：

计算所述第一特征描述子和所述第二特征描述子之间的距离；

根据所述距离对所述第一待匹配图像和第二待匹配图像进行图像匹配。

4.如权利要求1所述的基于采样模式分离的图像匹配方法，其特征在于，在根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配的过程中，还包括：

消除图像匹配过程中的误匹配点对，得到所述第一待匹配图像和第二待匹配图像之间的正确匹配点对；以及

根据所述正确匹配点对确定所述第一待匹配图像和所述第二待匹配图像的图像匹配成功。

5.如权利要求1所述的基于采样模式分离的图像匹配方法，其特征在于，所述第一采样模式为FREAK采样模式、BRISK采样模式中的任意一种；所述第二采样模式为BRIEF采样模式。

6.一种基于采样模式分离的图像匹配装置，其特征在于，包括：

提取模块，用于接收第一待匹配图像和第二待匹配图像，并分别提取所述第一待匹配图像和第二待匹配图像的第一特征点和第二特征点；

第一建立模块，用于根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第一采样模式；

第一生成模块，用于根据所述第一待匹配图像和所述第二待匹配图像的第一采样模式分别计算所述第一特征点的第一方向角度和所述第二特征点的第二方向角度；

第二建立模块，用于根据所述第一特征点和所述第二特征点分别建立所述第一待匹配图像和所述第二待匹配图像的第二采样模式；

第二生成模块，用于以所述第一方向角度为旋转角度，对所述第一待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第一待匹配图像的第二采样模式生成所述第一待匹配图像的第一特征描述子，以所述第二方向角度为旋转角度，对所述第二待匹配图像的第二采样模式进行逆时针旋转，并根据旋转后的所述第二待匹配图像的第二采样模式生成所述第二待匹配图像的第二特征描述子；以及

匹配模块，用于根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配。

7.如权利要求6所述的基于采样模式分离的图像匹配装置，其特征在于，所述第一生成模块具体用于：

根据所述第一待匹配图像的第一采样模式中采样点对的分布情况和所述采样点对的灰度值通过预设的特征点方向计算公式计算所述第一特征点的第一方向角度；

根据所述第二待匹配图像的第一采样模式中采样点的分布情况和所述采样点的灰度值通过所述预设的特征点方向计算公式计算所述第二特征点的第二方向角度。

8.如权利要求6所述的基于采样模式分离的图像匹配装置，其特征在于，所示匹配模块具体用于：

计算所述第一特征描述子和所述第二特征描述子之间的距离；

根据所述距离对所述第一待匹配图像和第二待匹配图像进行图像匹配。

9.如权利要求6所述的基于采样模式分离的图像匹配装置，其特征在于，还包括：

消除模块，用于在所述匹配模块根据所述第一特征描述子和所述第二特征描述子对所述第一待匹配图像和第二待匹配图像进行图像匹配的过程中，消除图像匹配过程中的误匹配点对，得到所述第一待匹配图像和第二待匹配图像之间的正确匹配点对；

其中，所述匹配模块还用于根据所述正确匹配点对确定所述第一待匹配图像和所述第二待匹配图像的图像匹配成功。

10.如权利要求6所述的基于采样模式分离的图像匹配装置，其特征在于，所述第一采样模式为FREAK采样模式、BRISK采样模式中的任意一种；所述第二采样模式为BRIEF采样模式。