CN109886293B - 一种基于融合空间和特征信息的均匀gmm的图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于融合空间和特征信息的均匀GMM的图像匹配方法，采用有效融合空间信息和特征信息的高斯混合模型，高斯分量权重系数不加入先验信息，高斯分量同时含有空间信息和特征信息，匹配关系的求解由空间信息和特征信息同时决定，当模型点集中的模型点和数据集中的某个数据点满足特征描述符相似或者空间位置已对齐的条件时，这两个点极有可能构成一对匹配，从而提高图像匹配精确度。

Description

一种基于融合空间和特征信息的均匀GMM的图像匹配方法

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于融合空间和特征信息的均匀GMM的图像匹配方法。

背景技术

图像特征点匹配是寻找两个图像之间特征点对应关系的过程。在众多的求点集之间对应关系的方法中，一类基于高斯混合模型(Gaussian Mixture Model,GMM)的方法近年来在点集配准上得到了广泛的应用。它们的核心思想是将其中一个点集看作是GMM的中心，称为模型点集；将另外一个点集看作是符合该GMM的样本，称为数据点集。然后，通过学习一个空间变换函数，使模型点集逐渐向数据点集移动，直到两个点集对齐。均匀高斯混合模型(Uniform Gaussian Mixture Model,UGMM)框架中，所有GMM的分量具有相同的权重系数，配准过程只利用了点集之间的空间位置关系约束。然而，如果将UGMM直接用于图像特征点匹配，则算法需要耗费大量的时间进行迭代，甚至不能保证收敛到一个有效的局部最优解。

为了克服上述问题，孙琨提出将传统的均匀高斯混合模型扩展到非均匀高斯混合模型(Non-Uniform Gaussian Mixture Model,NGMM)，在NGMM的框架中，每个GMM的分量都被赋予一个不同的权值，并且这个权值的大小跟两个特征点的特征相似性有关。

然而，现有的非均匀高斯混合模型中，高斯分量只包含空间信息，图像匹配精确度低。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术高斯分量只包含空间信息导致的图像匹配精确度低的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于融合空间和特征信息的均匀GMM的图像匹配方法，待匹配的图像为图像I₁和I₂，所述方法包括以下步骤：

步骤S1.提取图像I₁的特征点得到数据点集X＝{xⁱ,gⁱ|xⁱ∈R²,gⁱ∈R¹²⁸,i＝1,...,n}，提取图像I₂的特征点得到模型点集Y＝{y^j,h^j|y^j∈R²,h^j∈R¹²⁸,j＝1,...,m}，n表示图像I₁中所提取的特征点的数目，m表示图像I₂中所提取的特征点的数目，n≤m，x_i和y_j为图像I₁和图像I₂上提取的特征点集的空间坐标信息，g_i和h_j为对应的特征描述符信息；

步骤S2.基于图像I₁、I₂的特征点，构造图像I₁和I₂的空间邻近性矩阵和特征相似性矩阵；

步骤S3.根据所述空间邻近性矩阵和特征相似性矩阵，构建高斯分量，第i个数据点对应的第j个高斯分量p(x_i|j)的计算公式如下：

其中，α表示特征高斯模型的权重，δ²表示空间信息部分构成的高斯模型的方差，β²表示特征信息部分构成的高斯模型的方差，y_j ^*表示模型点经过变换后的新的空间位置，D₁、D₂分别表示空间坐标维度和特征描述符维度，||.||表示欧式距离运算符；

步骤S4.根据高斯分量和运动一致性函数，构造目标函数；

步骤S5.使用期望最大化算法求解目标函数，得到特征点集X和特征点集Y的匹配对应关系。

具体地，步骤S2具体包括：

S201.把每幅图像中的空间坐标信息进行归一化，对经过归一化操作后两幅图像中的空间坐标信息，计算图像I₁中每一个特征点的坐标信息与图像I₂中所有特征点空间坐标信息之间的欧式距离，构造图像I₁与I₂的空间邻近性矩阵；

S202.计算图像I₁中每一个特征点的特征描述符信息与图像I₂中所有特征点的特征描述符信息之间的欧式距离，构造图像I₁与I₂的特征相似性矩阵，并将该特征相似性矩阵按列归一化。

具体地，步骤S3中，在初始时，是对I₁、I₂中的原始的特征点进行操作的，在迭代过程中，空间相似性矩阵是依据更新位置的y_j ^*与x_i计算欧式距离。

具体地，特征高斯模型的权重α＝0.5。

具体地，所述步骤S4包括以下步骤：

S401.基于高斯分量p(x_i|j)，计算概率密度函数p(x_i|Θ,ω)；

S402.基于概率密度函数p(x_i|Θ,ω)，计算数据点集X的联合概率分布函数L(Θ,ω)；

S403.基于联合概率分布函数L(Θ,ω)和运动一致性函数C(.)，构造负对数似然函数E(Θ,ω)；

S404.目标函数Q为前后两次负对数似然函数E(Θ,ω)的差值。

具体地，目标函数Q的计算公式如下：

其中，p(j|x_i,Θ,ω)表示y_j是x_i匹配的概率，p(outlier|x_i,Θ,w)表示特征点属于外点的概率，λ为非刚性变换的权重系数，||C||² _H为运动一致性函数C(·)在可再生核希尔伯特空间内的模长。

具体地，步骤S5包括以下步骤：

S501.根据当前的模型参数，计算匹配概率矩阵P；

S502.根据当前匹配概率矩阵P，目标函数Q分别对δ、Φ、β求偏导，并令其等于0，从而更新模型参数δ、Φ、β；

S503.判断目标函数是否小于设定阈值，若是，得到最终匹配概率矩阵，进入步骤S504，否则，依据运动一致性函数求出该点的位移矢量KΦ和经过变换后的新的点的坐标y_j ^*，进入步骤S3；

S504.根据最终匹配概率矩阵，对每列求取最大值，最大值横坐标对应的模型点与所在列对应的数据点匹配。

具体地，匹配概率矩阵P中矩阵元素的计算公式如下：

具体地，经过变换后的新的点的坐标

计算公式如下：

其中，

是一个二维的系数矢量，

是一个高斯核函数，ε是这个核函数的带宽，K和Φ分别是核和系数的矩阵形式。

第二方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的图像匹配方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明采用有效融合空间信息和特征信息的高斯混合模型，高斯分量权重系数不加入先验信息，高斯分量同时含有空间信息和特征信息，匹配关系的求解由空间信息和特征信息同时决定，当模型点集中的模型点和数据集中的某个数据点满足特征描述符相似或者空间位置已对齐的条件时，这两个点极有可能构成一对匹配，从而提高图像匹配精确度。

附图说明

图1为本发明实施例提供的一种基于融合空间和特征信息的均匀GMM的图像匹配方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于融合空间和特征信息的均匀GMM的图像匹配方法，待匹配的图像为图像I₁和I₂，所述方法包括以下步骤：

步骤S1.提取图像I₁的特征点得到数据点集X＝{xⁱ,gⁱ|xⁱ∈R²,gⁱ∈R¹²⁸,i＝1,...,n}，提取图像I₂的特征点得到模型点集Y＝{y^j,h^j|y^j∈R²,h^j∈R¹²⁸,j＝1,...,m}，n表示图像I₁中所提取的特征点的数目，m表示图像I₂中所提取的特征点的数目，n≤m，x_i和y_j为图像I₁和图像I₂上提取的特征点集的空间坐标信息，g_i和h_j为对应的特征描述符信息；

步骤S2.基于图像I₁、I₂的特征点，构造图像I₁和I₂的空间邻近性矩阵和特征相似性矩阵；

步骤S3.根据所述空间邻近性矩阵和特征相似性矩阵，构建高斯分量，第i个数据点对应的第j个高斯分量p(x_i|j)的计算公式如下：

其中，α表示特征高斯模型的权重，δ²表示空间信息部分构成的高斯模型的方差，β²表示特征信息部分构成的高斯模型的方差，y_j ^*表示模型点经过变换后的新的空间位置，D₁、D₂分别表示空间坐标维度和特征描述符维度，||.||表示欧式距离运算符；

步骤S4.根据高斯分量和运动一致性函数，构造目标函数；

步骤S5.使用期望最大化算法求解目标函数，得到特征点集X和特征点集Y的匹配对应关系。

步骤S1.提取图像I₁的特征点得到数据点集X＝{xⁱ,gⁱ|xⁱ∈R²,gⁱ∈R¹²⁸,i＝1,...,n}，提取图像I₂的特征点得到模型点集Y＝{y^j,h^j|y^j∈R²,h^j∈R¹²⁸,j＝1,...,m}，n表示图像I₁中所提取的特征点的数目，m表示图像I₂中所提取的特征点的数目，n≤m，x_i和y_j为图像I₁和图像I₂上提取的特征点集的空间坐标信息，g_i和h_j为对应的特征描述符信息。

图像I₁和为I₂为待匹配图像，两者之间可以是放大缩小旋转等变换关系，或者前后帧关系。提取的特征点可以是SIFT特征点。将点集X作为数据点集，将点集Y作为模型点集，在后续步骤中，利用位置变换函数逐渐改变模型点集中点的位置，

是模型点经变换后的新位置，直到它和数据点集对齐。

步骤S2.基于图像I₁、I₂的特征点，构造图像I₁和I₂的空间邻近性矩阵和特征相似性矩阵。

S201.把每幅图像中的空间坐标信息进行归一化，对经过归一化操作后两幅图像中的空间坐标信息，计算图像I₁中每一个特征点的坐标信息与图像I₂中所有特征点空间坐标信息之间的欧式距离，构造图像I₁与I₂的空间邻近性矩阵；

S202.计算图像I₁中每一个特征点的特征描述符信息与图像I₂中所有特征点的特征描述符信息之间的欧式距离，构造图像I₁与I₂的特征相似性矩阵，并将该特征相似性矩阵按列归一化。

将空间坐标信息/特征描述符信息归一化到[0,1]，是为了便于构造高斯混合模型。空间邻近性矩阵和特征相似性矩阵的维度均为m*n。由于特征描述符信息维度过大，因此先构造再归一化。

步骤S3.根据所述空间邻近性矩阵和特征相似性矩阵，构建高斯分量，第i个数据点对应的第j个高斯分量p(x_i|j)的计算公式如下：

其中，α表示特征高斯模型的权重，δ²表示空间信息部分构成的高斯模型的方差，β²表示特征信息部分构成的高斯模型的方差，y_j ^*表示模型点经过变换后的新的空间位置，D₁、D₂分别表示空间坐标维度和特征描述符维度，||.||表示欧式距离运算符，j＝1,2,…,m。

在初始时，是对I₁、I₂中的原始的特征点进行操作的，在迭代过程中，空间相似性矩阵是依据更新位置的y_j ^*与x_i计算欧式距离的。

每个GMM分量是由空间位置信息和特征描述符信息两者共同构成的，上述空间邻近性矩阵||x_i-y_j ^*||²构成(1-α)项的高斯混合模型，特征相似性矩阵||g_i-h_j||²构成α项的高斯混合模型，一个GMM分量就是由空间高斯模型和特征高斯模型叠加构成的，而α表示两种高斯模型的权重，这里设为0.5。匹配结果由空间位置信息和特征描述符信息两者共同决定。

依据其空间坐标位置及特征描述符的欧式距离，将两者融入高斯混合模型中。在本发明中，在本实施例中，D₁、D₂分别为2和128。

步骤S4.根据高斯分量和运动一致性函数，构造目标函数。

考虑到点集中存在噪声是不能匹配的，假设这些噪声点服从均匀分布，对于任意x_i∈X，概率密度函数如下：

其中，Θ＝{δ,β}是待求解的模型参数，ω表示内点(有匹配关系的点)的比例系数，

表示外点概率，

表示第i个数据点对应的第j个高斯分量的权重系数。

根据数据点服从独立同分布，数据点集X的联合概率分布函数如下：

该式是一个关于参数Θ的最大似然问题，于是转化为求解最大后验概率问题，等价于求解最小化它的负对数，成为负对数似然函数：

其中，λ为非刚性变换的权重系数，λ越大表示全局结构越稳定；||C||² _H为运动一致性函数C(·)在可再生核希尔伯特空间内的模长,可得||C||² _H＝trace(Φ^TKΦ)，tr(.)表示矩阵的迹。来防止过拟合的问题，在进行空间变换更新时能够维护模型点集的全局结构的稳定性。

给定一个点，运动一致性函数可求出该点的位移矢量和经过变换后的新的点的坐标，即

y_j ^*表示该模型经过变换后的新的空间位置，初始化为y_j。由运动一致性理论(Motion Coherence Theory)可知，运动一致性函数可写成一组高斯核函数的线性组合，其表达式如下：

其中，

是一个二维的系数矢量，

是一个高斯核函数，ε是这个核函数的带宽，K和Φ分别是核和系数的矩阵形式。

目标函数Q为前后两次负对数似然函数的差值，计算公式如下：

其中，p(j|x_i,Θ,ω)表示y_j是x_i的匹配概率，p(outlier|x_i,Θ,w)表示特征点属外点的概率。

步骤S5.使用期望最大化算法求解目标函数，得到特征点集X和特征点集Y的匹配对应关系。

EM算法指的是期望最大化算法(Expectation Maximization Algorithm)，是一种迭代算法，用于含有隐变量(latent variable)的概率参数模型的最大似然估计或极大后验概率估计。EM算法需要最小化目标函数，通过迭代找到该最大后验问题的最优参数解。

在E步骤中，根据当前的模型参数对应的高斯混合模型，计算模型点与数据点之间的匹配概率，即后验概率P矩阵，这个概率越大，则两个点构成的匹配置信度越高，由此估计特征点集之间的匹配对应关系。在M步骤中，已知P矩阵，对目标函数Q求偏导，求解未知模型参数，从而更新模型参数，并更新模型点集Y空间变换。

每个GMM分量融合了空间位置和特征描述符两者共同的信息，如果模型点集中的一个点和数据集中的某个点满足特征描述符相似或者空间位置已对齐的条件，该模型点对应的GMM分量的值会是较大的值，那么这两个点极有可能构成一对匹配。

如果模型点集中的一个点和数据集中的某个点满足空间位置完全对齐的条件，那么，该模型点对应的GMM分量的中的(1-α)项，即空间高斯模型达到极大值；或者，模型点集中的一个点和数据集中的某个点满足特征描述符极其相似的条件，那么，该模型点对应的GMM分量的中的α项，即特征高斯模型达到极大值。以上两种可能均会使得匹配概率达到极大值，也就是说，如果该模型点对应的GMM分量的值是较大的值，那么这两个特征点极有可能构成一对匹配。

S501.根据当前的模型参数，计算匹配概率矩阵P。

S502.根据当前匹配概率矩阵P，目标函数Q分别对δ、Φ、β求偏导，并令其等于0，从而更新模型参数δ、Φ、β；

S503.判断目标函数是否小于设定阈值，若是，得到最终匹配概率矩阵，进入步骤S504，否则，依据运动一致性函数求出该点的位移矢量KΦ和经过变换后的新的点的坐标

进入步骤S3。

S504.根据最终匹配概率矩阵，对每列求取最大值，最大值横坐标对应的模型点与所在列对应的数据点匹配。

在上述EM算法迭代的过程中，在前期，由于产生较大级别非刚性形变，影响了空间位置的稳定性，此时设置特征相似性的权重相对空间邻近性的权重较大，特征相似性提供了一定的引导作用，使得模型点以及周围的点集被带动都逐渐在空间位置上接近数据点；随着迭代估计对应关系与更新空间变换的进行，模型点与数据点的空间位置逐渐变得相似，其全局特征描述的稳定性逐渐恢复；在后期，由于模型点与数据点在空间位置上极其接近，从而空间邻近性的权重δ²相对较小，使得空间高斯的权重相对特征高斯的权重较大，空间邻近性进一步的引导两点集在空间上对齐。在迭代终止时，GMM分量值较大的判断为正确的匹配，而对应的空间邻近性矩阵中的值为接近于0或者其对应的特征相似性矩阵中的值接近于0。

该方法对于噪声和几何差异的鲁棒性会显著提高，也会具有更快的收敛速度，而空间结构一致性在后期提供了一定的一致性约束作用，削弱了特征歧义性对匹配的影响。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于融合空间和特征信息的均匀GMM的图像匹配方法，其特征在于，待匹配的图像为图像I₁和I₂，所述方法包括以下步骤：

步骤S1.提取图像I₁的特征点得到数据点集X＝{x_i,g_i|x_i∈R²,g_i∈R¹²⁸,i＝1,…,n}，提取图像I₂的特征点得到模型点集Y＝{y_j,h_j|y_j∈R²,h_j∈R¹²⁸,j＝1,…,m}，n表示图像I₁中所提取的特征点的数目，m表示图像I₂中所提取的特征点的数目，n≤m，x_i和y_j为图像I₁和图像I₂上提取的点集的空间坐标信息，g_i和h_j为对应的特征描述符信息；

步骤S2.基于图像I₁、I₂的特征点，构造图像I₁和I₂的空间邻近性矩阵和特征相似性矩阵；

步骤S3.根据所述空间邻近性矩阵和特征相似性矩阵，构建高斯分量，第i个数据点对应的第j个高斯分量p(x_i|j)的计算公式如下：

其中，α表示特征高斯模型的权重，δ²表示空间信息部分构成的高斯模型的方差，β²表示特征信息部分构成的高斯模型的方差，y_j ^*表示模型点经过变换后的新的空间位置，D₁、D₂分别表示空间坐标维度和特征描述符维度，||·||表示欧式距离运算符；

步骤S4.根据高斯分量和运动一致性函数，构造目标函数，具体包括以下步骤：

S401.基于高斯分量，计算概率密度函数；

S402.基于概率密度函数，计算数据点集X的联合概率分布函数；

S403.基于联合概率分布函数和运动一致性函数，构造负对数似然函数；

S404.目标函数Q为前后两次负对数似然函数的差值；

步骤S5.使用期望最大化算法求解目标函数，得到数据点集X和模型点集Y的匹配对应关系。

2.如权利要求1所述的图像匹配方法，其特征在于，步骤S2具体包括：

S201.把每幅图像中的空间坐标信息进行归一化，对经过归一化操作后两幅图像中的空间坐标信息，计算图像I₁中每一个特征点的坐标信息与图像I₂中所有特征点空间坐标信息之间的欧式距离，构造图像I₁与I₂的空间邻近性矩阵；

S202.计算图像I₁中每一个特征点的特征描述符信息与图像I₂中所有特征点的特征描述符信息之间的欧式距离，构造图像I₁与I₂的特征相似性矩阵，并将该特征相似性矩阵按列归一化。

3.如权利要求1所述的图像匹配方法，其特征在于，步骤S3中，在初始时，是对I₁、I₂中的原始的特征点进行操作的，在迭代过程中，空间相似性矩阵是依据更新位置的y_j ^*与x_i计算欧式距离。

4.如权利要求1所述的图像匹配方法，其特征在于，特征高斯模型的权重α＝0.5。

5.如权利要求1所述的图像匹配方法，其特征在于，目标函数Q的计算公式如下：

其中，E^old和E^new分别为前后两次负对数似然函数，E为负对数似然函数，L(Θ,ω)为数据点集X的联合概率分布函数，待求解模型参数Θ＝{δ,β}，ω表示有匹配关系的点的比例系数，p(x_i|Θ,ω)为概率密度函数，p_ij为第i个数据点对应第j个高斯分量的权重系数，p(outlier)为外点概率，λ为非刚性变换的权重系数，||C||² _H为运动一致性函数在可再生核希尔伯特空间内的模长。

6.如权利要求1所述的图像匹配方法，其特征在于，步骤S5包括以下步骤：

S501.根据当前的模型参数，计算匹配概率矩阵P；

S502.根据当前匹配概率矩阵P，目标函数Q分别对δ、Φ、β求偏导，并令其等于0，从而更新模型参数δ、Φ、β，其中，Φ为运动一致性函数转化为高斯核函数线性组合时的系数矩阵；

S503.判断目标函数是否小于设定阈值，若是，得到最终匹配概率矩阵，进入步骤S504，否则，依据运动一致性函数求出模型点y_j的位移矢量KΦ和经过变换后的新的点的坐标

其中，K为运动一致性函数转化为高斯核函数线性组合时的核矩阵，进入步骤S3；

S504.根据最终匹配概率矩阵，对每列求取最大值，最大值横坐标对应的模型点与所在列对应的数据点匹配。

7.如权利要求6所述的图像匹配方法，其特征在于，匹配概率矩阵P中矩阵元素的计算公式如下：

8.如权利要求6所述的图像匹配方法，其特征在于，经过变换后的新的点的坐标

计算公式如下：

其中，

是一个二维的系数矢量，

是一个高斯核函数，ε是这个核函数的带宽。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的图像匹配方法。

Images