CN105719272A - 保持空间结构的图像特征点匹配方法 - Google Patents

Abstract

本发明公开一种保持空间结构的图像特征点匹配方法，包括步骤：提取和表征出待匹配的图像I、II的特征点；构建图像I、II的特征点的描述子距离矩阵；构建图像I、II的特征点的坐标距离矩阵；归一化图像I、II的特征点的坐标距离矩阵；用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵；根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度。本发明的有益效果是，由于在特征点匹配过程中融入了空间结构的匹配，提高了特征点匹配的准确性。

Description

保持空间结构的图像特征点匹配方法

技术领域

本发明涉及模式识别与计算机视觉领域，尤其涉及一种保持空间结构的图像特征点匹配方法。

背景技术

在计算机视觉应用中，图像间匹配的常用方法是先从各个图像中提取出特征点，并用描述子表征各特征点，然后通过比较描述子的相似程度，对不同图像的特征点进行匹配。

图像特征点提取和表征的输出的结果是图像特征点的位置和描述子，它是图像特征点匹配的前一步。SIFT(尺度不变特征转换)是一种经典的图像特征点提取和表征方法，主要步骤包括构建尺度空间，检测和过滤高斯差分极值点，分配方向值生成描述子等。

图像特征点匹配是实现图像检索、三维重建、图像配准与融合、目标识别与跟踪等多种应用的关键步骤之一。常用的匹配方法是对一个图像上的每个特征点，在另一个图像中找出与之描述子相似度最高的特征点，然后统计相似度大于经验阈值的匹配点个数，用来度量图像的相似程度。这种方法没有考虑特征点的位置关系，容易导致一个目标上的特征点被匹配到多个目标等错误。

发明内容

为了解决现阶段图像匹配方法未考虑特征点位置关系而容易导致错误的问题，本发明提供一种保持空间结构的图像特征点匹配方法，该方法在特征点匹配过程中融入了空间结构的匹配，提高了特征点匹配的准确性。

本发明实施例提供一种保持空间结构的图像特征点匹配方法，包括步骤：提取和表征出待匹配的图像I、II的特征点；构建图像I、II的特征点的描述子距离矩阵；构建图像I、II的特征点的坐标距离矩阵；归一化图像I、II的特征点的坐标距离矩阵；用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵；根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度。

上述实施例中，所述“构建图像I、II的特征点的描述子距离矩阵”步骤中，设N表示图像I中提取到的特征点数，s_i表示图像I中第i个特征点的描述子，i＝1...N；设M表示图像II中提取到的特征点数，t_j表示图像II中第j个特征点的描述子，j＝1...M；设D(N×M的矩阵)表示图像I和图像II的特征点的描述子距离矩阵，D中第i行第j列的元素D_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子距离，其计算方法为D_ij＝||s_i-t_j||。

上述实施例中，所述“构建图像I、II的特征点的坐标距离矩阵”步骤中，设p_i和p_k分别表示图像I中第i个和第k个特征点的坐标，k＝1...N，设(N×N的矩阵)表示图像I中特征点的坐标距离矩阵，其各元素为

$\widetilde{W_{\mathrm{ik}}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pi}-\mathrm{pk}\left|\right|}& j\≠l\\ 0& j=l\end{array}\right.;$

设p_j和p_l分别表示图像II中第j个和第l个特征点的坐标，l＝1...M，设(M×M的矩阵)表示图像II中特征点的坐标距离矩阵，其各元素为

${{\tilde{W}}^{\′}}_{\mathrm{jl}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pj}-\mathrm{pl}\left|\right|}& j\≠l\\ 0& j=l\end{array}\right.;$

其中，α为经验值，α控制了实际坐标距离对结构距离加权的权值的影响程度。

上述实施例中，所述“归一化图像I、II的特征点的坐标距离矩阵”步骤中，使每行加和、每列加和都为1，归一化后图像I的特征点的坐标距离矩阵为

$W_{\mathrm{ik}}=\frac{{\tilde{W}}_{\mathrm{ik}}}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_{\mathrm{ik}}},$

归一化后，W将作为匹配时图像I各特征点结构距离加和的权值，即对于图像I中的第i个特征点s_i，W_ik表示了第k个特征点s_k对s_i的权值，图像I中除s_i之外所有特征点对s_i的权值加和为1；

使每行加和、每列加和都为1，归一化后图像II的特征点的坐标距离矩阵为

${W^{\′}}_{\mathrm{jl}}=\frac{{{\tilde{W}}^{\′}}_{\mathrm{jl}}}{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{{\tilde{W}}^{\′}}_{\mathrm{jl}}}.$

归一化后，W'将作为匹配时图像II各特征点结构距离加和的权值，即对于图像II中的第j个特征点t_j，表示了第l个特征点t_l对t_j的权值，图像II中除t_j之外所有特征点对t_j的权值加和为1。

上述实施例中，所述“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”步骤中，设C(N×M的矩阵)表示图像I和图像II的特征点的描述子结构距离矩阵，其初始值为C＝D，C中第i行第j列的元素C_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子结构距离，对于所有i和j，即i＝1...N，j＝1...M，计算并更新

$C_{i,j}=D_{i,j}+\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{W}_{i,k}{T}_k+\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W^{\′}}_{j,l}{T^{\′}}_l,$

其中，

T_k表示图像I中第k个特征点与图像II中最佳匹配的特征点的描述子结构距离，取值区间是1到M之间的整数，对于k＝1...N，

$T_k=\underset{j}{\min }{C}_{k,j};$

T'_l表示图像II中第l个特征点与图像I中最佳匹配的特征点的描述子结构距离，取值区间是1到N之间的整数，对于l＝1...M，

${T^{\′}}_l=\underset{i}{\min }{C}_{i,l}.$

上述实施例中，所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”步骤中，如果迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，则统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

上述实施例中，所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”步骤中，如果迭代优化前后C中有元素发生变化且迭代次数未达到预设的最大次数，则再次执行前述“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”的步骤，直至迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，再统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

上述实施例中，所述“提取和表征出待匹配的图像I、II的特征点”的步骤采用尺度不变特征转换算法进行。

上述实施例中，该尺度不变特征转换算法包括步骤：尺度空间极值检测、关键点定位、方向确定以及关键点描述。

上述实施例中，所述度空间极值检测是在尺度空间通过高斯微分函数来检测潜在的对于尺度和旋转不变的兴趣点；所述关键点定位是在兴趣点位置上确定关键点的位置和尺度；所述方向确定是指基于图像局部的梯度方向给每个关键点分配方向；所述关键点描述是在每个关键点的领域内测量图像局部的梯度，最终用一个特征向量来表达。

本发明的上述保持空间结构的图像特征点匹配方法，在特征点匹配过程中，除了描述子的直接比较，还加入了基于位置关系的结构距离计算，使得匹配结果能够保持空间结构；将特征点之间的位置距离作为权值，对于每个特征点，其周围较近的其他特征点对该点的匹配有较大影响，较远特征点只有较小影响，如此设计既融入了空间结构的匹配、又保证了全局匹配的正确性；并且该方法容易通过矩阵乘法等线性运算近似实现，算法效率高。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明实施例提供的保持空间结构的图像特征点匹配方法，包括步骤：

提取和表征出待匹配的图像I、II的特征点；

构建图像I、II的特征点的描述子距离矩阵；

构建图像I、II的特征点的坐标距离矩阵；

归一化图像I、II的特征点的坐标距离矩阵；

用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵；

根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度。

本实施例中，在进行所述“提取和表征出待匹配的图像I、II的特征点”的步骤时，优先采用SIFT(尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)算法作为特征点提取和表征的方法。

该SIFT算法大致有尺度空间极值检测、关键点定位、方向确定以及关键点描述四个步骤。具体的，该SIFT算法包括步骤：在尺度空间通过高斯微分函数来检测潜在的对于尺度和旋转不变的兴趣点；在兴趣点位置上，确定关键点的位置和尺度；基于图像局部的梯度方向，给每个关键点分配方向；在每个关键点的领域内测量图像局部的梯度，最终用一个特征向量来表达。

本实施例中，在进行所述“构建图像I、II的特征点的描述子距离矩阵”的步骤时，设N表示图像I中提取到的特征点数，s_i表示图像I中第i个特征点的描述子，i＝1...N；设M表示图像II中提取到的特征点数，t_j表示图像II中第j个特征点的描述子，j＝1...M；设D(N×M的矩阵)表示图像I和图像II的特征点的描述子距离矩阵，D中第i行第j列的元素D_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子距离，其计算方法为D_ij＝||s_i-t_j||。

本实施例中，在进行所述“构建图像I、II的特征点的坐标距离矩阵”的步骤时，设p_i和p_k分别表示图像I中第i个和第k个特征点的坐标，k＝1...N，设(N×N的矩阵)表示图像I中特征点的坐标距离矩阵，其各元素为

$\widetilde{W_{\mathrm{ik}}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pi}-\mathrm{pk}\left|\right|}& j\≠l\\ 0& j=l\end{array}\right.;$

设p_j和p_l分别表示图像II中第j个和第l个特征点的坐标，l＝1...M，设(M×M的矩阵)表示图像II中特征点的坐标距离矩阵，其各元素为

${{\tilde{W}}^{\′}}_{\mathrm{jl}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pj}-\mathrm{pl}\left|\right|}& j\≠l\\ 0& j=l\end{array}\right.;$

其中，α为经验值，α控制了实际坐标距离对结构距离加权的权值的影响程度。

本实施例中，在进行所述“归一化图像I、II的特征点的坐标距离矩阵”的步骤时，使每行加和、每列加和都为1，归一化后图像I的特征点的坐标距离矩阵为

$W_{\mathrm{ik}}=\frac{{\tilde{W}}_{\mathrm{ik}}}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_{\mathrm{ik}}},$

归一化后，W将作为匹配时图像I各特征点结构距离加和的权值，即对于图像I中的第i个特征点s_i，W_ik表示了第k个特征点s_k对s_i的权值，图像I中除s_i之外所有特征点对s_i的权值加和为1；

使每行加和、每列加和都为1，归一化后图像II的特征点的坐标距离矩阵为

${W^{\′}}_{\mathrm{jl}}=\frac{{{\tilde{W}}^{\′}}_{\mathrm{jl}}}{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{{\tilde{W}}^{\′}}_{\mathrm{jl}}}.$

归一化后，W'将作为匹配时图像II各特征点结构距离加和的权值，即对于图像II中的第j个特征点t_j，表示了第l个特征点t_l对t_j的权值，图像II中除t_j之外所有特征点对t_j的权值加和为1。

本实施例中，在进行所述“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”的步骤时，设C(N×M的矩阵)表示图像I和图像II的特征点的描述子结构距离矩阵，其初始值为C＝D，C中第i行第j列的元素C_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子结构距离，对于所有i和j，即i＝1...N，j＝1...M，计算并更新

$C_{i,j}=D_{i,j}+\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{W}_{i,k}{T}_k+\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W^{\′}}_{j,l}{T^{\′}}_l,$

其中，

T_k表示图像I中第k个特征点与图像II中最佳匹配的特征点的描述子结构距离，取值区间是1到M之间的整数，对于k＝1...N，

$T_k=\underset{j}{\min }{C}_{k,j};$

T'_l表示图像II中第l个特征点与图像I中最佳匹配的特征点的描述子结构距离，取值区间是1到N之间的整数，对于l＝1...M，

${T^{\′}}_l=\underset{i}{\min }{C}_{i,l}.$

本实施例中，在进行所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”的步骤时，如果迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，则统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

在进行所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”的步骤时，如果迭代优化前后C中有元素发生变化，且迭代次数未达到预设的最大次数，则再次执行“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”的步骤，直至迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，再统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

有利地，所述保持空间结构的图像特征点匹配方法，在特征点匹配过程中，除了描述子的直接比较，还加入了基于位置关系的结构距离计算，使得匹配结果能够保持空间结构；将特征点之间的位置距离作为权值，对于每个特征点，其周围较近的其他特征点对该点的匹配有较大影响，较远特征点只有较小影响，如此设计既融入了空间结构的匹配、又保证了全局匹配的正确性；并且该方法容易通过矩阵乘法等线性运算近似实现，算法效率高。

以上所揭露的仅为本发明实施例中的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种保持空间结构的图像特征点匹配方法，包括步骤：

提取和表征出待匹配的图像I、II的特征点；

构建图像I、II的特征点的描述子距离矩阵；

构建图像I、II的特征点的坐标距离矩阵；

归一化图像I、II的特征点的坐标距离矩阵；

用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵；

根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度。

2.如权利要求1所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“构建图像I、II的特征点的描述子距离矩阵”步骤中，

设N表示图像I中提取到的特征点数，s_i表示图像I中第i个特征点的描述子，i＝1...N；

设M表示图像II中提取到的特征点数，t_j表示图像II中第j个特征点的描述子，j＝1...M；

设D(N×M的矩阵)表示图像I和图像II的特征点的描述子距离矩阵，D中第i行第j列的元素D_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子距离，其计算方法为D_ij＝||s_i-t_j||。

3.如权利要求2所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“构建图像I、II的特征点的坐标距离矩阵”步骤中，

设p_i和p_k分别表示图像I中第i个和第k个特征点的坐标，k＝1...N，设(N×N的矩阵)表示图像I中特征点的坐标距离矩阵，其各元素为

${\tilde{W}}_{\mathrm{ik}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pi}-\mathrm{pk}\left|\right|}& i\≠k\\ 0& i=k\end{array}\right.;$

设p_j和p_l分别表示图像II中第j个和第l个特征点的坐标，l＝1...M，设(M×M的矩阵)表示图像II中特征点的坐标距离矩阵，其各元素为

${{\tilde{W}}^{\′}}_{\mathrm{jl}}=\left\{\begin{array}{cc}{e}^{-\mathrm{\α}\left|\right|\mathrm{pj}-\mathrm{pl}\left|\right|}& j\≠l\\ 0& j=l\end{array}\right.;$

其中，α为经验值，α控制了实际坐标距离对结构距离加权的权值的影响程度。

4.如权利要求3所述的保持空间结构的图像特征点匹配方法，其特征在于，

所述“归一化图像I、II的特征点的坐标距离矩阵”步骤中，

使每行加和、每列加和都为1，归一化后图像I的特征点的坐标距离矩阵为

$W_{\mathrm{ik}}=\frac{{\tilde{W}}_{\mathrm{ik}}}{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{W}}_{\mathrm{ik}}},$

归一化后，W将作为匹配时图像I各特征点结构距离加和的权值，即对于图像I中的第i个特征点s_i，W_ik表示了第k个特征点s_k对s_i的权值，图像I中除s_i之外所有特征点对s_i的权值加和为1；

使每行加和、每列加和都为1，归一化后图像II的特征点的坐标距离矩阵为

${W^{\′}}_{\mathrm{jl}}=\frac{{{\tilde{W}}^{\′}}_{\mathrm{jl}}}{\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{{\tilde{W}}^{\′}}_{\mathrm{jl}}}.$

归一化后，W'将作为匹配时图像II各特征点结构距离加和的权值，即对于图像II中的第j个特征点t_j，表示了第l个特征点t_l对t_j的权值，图像II中除t_j之外所有特征点对t_j的权值加和为1。

5.如权利要求4所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”步骤中，

设C(N×M的矩阵)表示图像I和图像II的特征点的描述子结构距离矩阵，其初始值为C＝D，C中第i行第j列的元素C_ij表示图像I中第i个特征点与图像II中第j个特征点的描述子结构距离，对于所有i和j，即i＝1...N，j＝1...M，计算并更新

$C_{i,j}=D_{i,j}+\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{W}_{i,k}{T}_k+\underset{l=1}{\overset{M}{\mathrm{\Σ}}}{W^{\′}}_{j,l}{T^{\′}}_l,$

其中，

T_k表示图像I中第k个特征点与图像II中最佳匹配的特征点的描述子结构距离，取值区间是1到M之间的整数，对于k＝1...N，

$T_k=\underset{j}{\min }{C}_{k,j};$

T'_l表示图像II中第l个特征点与图像I中最佳匹配的特征点的描述子结构距离，取值区间是1到N之间的整数，对于l＝1...M，

${T^{\′}}_l=\underset{i}{\min }{C}_{i,l}.$

6.如权利要求5所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”步骤中，如果迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，则统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

7.如权利要求6所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“根据迭代优化后的描述子距离矩阵的元素变化及迭代次数判定并输出匹配度”步骤中，如果迭代优化前后C中有元素发生变化且迭代次数未达到预设的最大次数，则再次执行前述“用归一化的坐标距离矩阵及图像I、II最佳匹配特征点的描述子结构距离迭代优化所述描述子距离矩阵”的步骤，直至迭代优化前后C中没有元素发生变化，或者迭代次数达到预设的最大次数，再统计T和T'中小于预设的最大匹配阈值的元素个数之和，作为图像I和图像II的匹配度进行输出。

8.如权利要求1所述的保持空间结构的图像特征点匹配方法，其特征在于，所述“提取和表征出待匹配的图像I、II的特征点”的步骤采用尺度不变特征转换算法进行。

9.如权利要求8所述的保持空间结构的图像特征点匹配方法，其特征在于，该尺度不变特征转换算法包括步骤：尺度空间极值检测、关键点定位、方向确定以及关键点描述。

10.如权利要求9所述的保持空间结构的图像特征点匹配方法，其特征在于，所述度空间极值检测是在尺度空间通过高斯微分函数来检测潜在的对于尺度和旋转不变的兴趣点；所述关键点定位是在兴趣点位置上确定关键点的位置和尺度；所述方向确定是指基于图像局部的梯度方向给每个关键点分配方向；所述关键点描述是在每个关键点的领域内测量图像局部的梯度，最终用一个特征向量来表达。