CN113781559A - 一种鲁棒的异常匹配点剔除方法及图像室内定位方法 - Google Patents

Abstract

本发明公开了一种鲁棒的异常匹配点剔除方法及图像室内定位方法，包括：图像采集和预处理；基于概率密度阈值异常点剔除方法，剔除异常匹配点；利用一种鲁棒的基本矩阵求解方法，求解出基本矩阵和本质矩阵；并求解相对位置，通过尺度转换，坐标转换，求解用户位置，实现基于图像的室内定位的过程。根据上述技术方案，可以有效降低图像特征误匹配点对，降低基本位姿矩阵的求解误差，并且能有效避免环境中噪声带来的干扰，提高定位准确率。

Description

一种鲁棒的异常匹配点剔除方法及图像室内定位方法

技术领域

本发明属于智能信息处理技术领域，具体涉及一种鲁棒的异常匹配点剔除方法及图像室内定位方法。

背景技术

复杂多变的室内环境给室内定位技术带来了很大的困难和挑战。现如今，室内定位技术发展迅速。基于机器视觉图像的室内定位方法以方便、低成本的特点成为一个重要的研究课题。这种方法使用手机摄像头采集到的图像与指纹数据库中的图像特征提取、匹配、位姿计算来确定位置。该方法不仅具有较低的成本，而且能够获得较好的定位结果。在此背景下，进一步提高基于图像的室内定位方法的定位精度具有重要意义。

由于现实环境中，采集的指纹库图像总是存在噪声，从而导致特征匹配结果中存在许多异常匹配点。这必然会增大位姿求解误差，影响定位精度。然而，现有的异常点剔除算法不能很好剔除异常匹配点对，求解的基本矩阵仍具有很大误差，定位精度不高。因此，为了得到更为鲁棒的基本矩阵和定位结果，一种鲁棒的异常点剔除方法受到研究者的广泛关注。

发明内容

发明目的：为解决目前智能室内定位精度不高的问题，本发明首先提出了一种鲁棒的异常匹配点剔除方法，初步剔除图像异常匹配点；然后，以剔除异常匹配点后的数据作为输入，求解鲁棒的基本矩阵求解模型，得到基本矩阵、本质矩阵和投影中心，经尺度变换后得到用户位置，由此实现室内定位。

技术方案：为实现本发明的目的，本发明首先采用的技术方案是：一种鲁棒的异常匹配点剔除方法，具体包括如下步骤：

步骤1，在目标室内采集图像；

步骤2，对上述采集到的图像进行预处理，将预处理后的图像划分为测试集和指纹库集；

步骤3，基于SURF特征匹配算法，将测试集中的图像作为输入，与指纹库集中的图像进行特征匹配；针对每一幅输入图像，均在指纹库集中选择与该输入图像特征匹配点对数量最多的指纹库图像作为输出；所述特征匹配点对x'_i和x_i构成特征坐标矩阵M,M＝[x'_i,x_i]，i＝1,…,n；其中，n表示输入图像和输出图像的特征匹配点对的总数量；x'_i表示指纹库输出图像的第i个特征匹配点对的像素坐标，x'_i＝(u_i',v_i',1)；x_i表示输入图像的第i个特征匹配点对的像素坐标，x_i＝(u_i,v_i,1)；

步骤4，利用概率密度的异常匹配点对剔除算法对上述特征坐标矩阵M进行处理，剔除特征坐标矩阵M中的异常特征匹配点对。

进一步地，所述步骤1的方法如下：

在目标室内标注N个采样点，分别在早、中、晚三个时间点对N个采样点采集不同角度的图像。

进一步地，所述步骤2中，将处理后的图像中的10％作为测试集，90％作为指纹库集。

进一步地，所述步骤4的方法如下：

步骤4.1，利用距离公式计算特征坐标矩阵M中的所有特征匹配点对的欧式距离，得到距离向量e＝(e₁,…,e_i,…e_n)；其中，距离公式如下：

式中，e_i表示第i个特征匹配点对的欧式距离；

步骤4.2，利用Matlab得到距离向量e的概率密度函数图，根据设定的第一概率密阈值得到距离置信区间[e_j,e_k]；

步骤4.3，根据距离置信区间[e_j,e_k]，对特征坐标矩阵M中的特征匹配点对进行处理，剔除欧式距离不满足距离置信区间[e_j,e_k]的特征匹配点对，得到新的特征坐标矩阵M'；

步骤4.4，利用角系数公式计算特征坐标矩阵M中的所有特征匹配点对的角系数，得到角系数向量a＝(a₁,…,a_i,…a_n)；其中，角系数公式如下：

式中，a_i表示第i个特征匹配点对的角系数；

步骤4.5，利用Matlab得到角系数向量a的概率密度函数图，根据设定的第二概率密阈值得到角系数置信区间[a_j,a_k]；

步骤4.6，根据角系数置信区间[a_j,a_k]，对特征坐标矩阵M'的特征匹配点对进行处理，剔除角系数不满足角系数置信区间[a_j,a_k]的特征匹配点对，进一步得到特征坐标矩阵M”。

本发明还提出一种基于图像的室内定位方法，具体包括如下步骤：

S1：利用输入图像和指纹库输出图像的特征匹配点对x'_i和x_i，建立对极几何约束关系模型；其中，x'_i表示指纹库输出图像的第i个特征匹配点对的像素坐标，x'_i＝(u'_i,v_i',1)，i＝1,…,n；n表示输入图像和输出图像的特征匹配点对的总数量；x_i表示输入图像的第i个特征匹配点对的像素坐标，x_i＝(u_i,v_i,1)；

S2：根据对极几何约束关系模型，建立鲁棒的基本矩阵求解模型；

S3：根据基本矩阵求解方法，利用迭代算法求解鲁棒的基本矩阵求解模型，得到基本矩阵F；

S4：根据基本矩阵F求解本质矩阵E，根据本质矩阵E得到指纹库输出图像和输入图像的图像坐标转换旋转矩阵R和平移向量t；通过投影矩阵关系，计算指纹库输出图像的投影中心C1；

S5：通过相机内参矩阵K1、K2、指纹库输出图像的投影中心C1、图像坐标转换旋转矩阵R和平移向量t，得到输入图像投影中心，并进行尺度变换，最终得到图像室内定位结果。

进一步地，所述S1的方法如下：

S1.1：根据对极几何约束关系，输入图像和指纹库输出图像的特征匹配点对x'_i和x_i满足公式(1)：

式中，F∈R^3×3为基本矩阵；

公式(1)展开得到公式(2)：

公式(2)转化为等式(3)，进一步写作等式(4)：

Zf＝0 等式(4)

式中，Z∈R^n×9，

f＝(F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃)^T。

进一步地，所述S2的方法如下：

当输入图像和指纹库输出图像不存在特征异常匹配点对时，矩阵Z达到理想条件，设定矩阵L为理想条件下的矩阵Z，满足目标函数关系式(5)；

其中，W是权重矩阵，W＝diag(w₁,…,w_i,…,w_n)，w_i∈{0,1}；rank表示矩阵的秩；

而矩阵L满足Lf＝0，进一步得到得到最小化目标函数关系式(6)：

进一步地，所述S3的方法如下：

S3.1：利用公式[U,S,V]＝SVD(Z^TWZ)对矩阵Z^TWZ进行奇异值分解；其中，U为正交矩阵，S为对角矩阵，V为对角矩阵中每个奇异值对应的特征向量，最小的奇异值对应的特征向量即为f；

S3.2：利用公式(7)，求解输入图像和指纹库输出图像的特征匹配点对x'_i和x_i与对极线间的几何距离ε_i，i＝1,…,1：

S3.3：设定距离阈值δ，初始化参数θ＝Inf，计算输入图像和指纹库输出图像的全部特征匹配点对与对极线间的几何距离ε_i的下四分位数ε_max；

如果ε_max>θ，则将向量f转化为基本矩阵F；

否则更新θ＝ε_max，并利用公式(8)更新矩阵W，返回S3.1进入下一次迭代；

其中，所述公式(8)如下：

有益效果：与现有技术相比，本发明所述技术方案具有以下有益技术效果：

(1)本发明方法采集指纹库的成本较小，利用图像信息实现室内定位，无需基站等硬件设施，能够有效降低定位成本；

(2)本发明方法能够有效去除由于图像噪声引起的异常的特征匹配点对；

(3)本发明方法改进了位姿求解方法，利用权重矩阵进一步剔除异常点，选择最具代表性的匹配点，有效的降低了基本矩阵求解误差，从而提高定位精度。

附图说明

图1是本发明所述方法的框架图；

图2是一种实施例下基于概率密度阈值的异常匹配点对剔除算法流程图；

图3是一种实施例下本发明所述基于概率密度阈值的误匹配剔除算法与主流算法之间的性能比较结果图；

其中，(a)为基于像素阈值的误匹配剔除算法匹配结果图；

(b)为基于概率密度阈值的误匹配剔除算法匹配结果图；

图4是一种实施例下本发明所述鲁棒的基本矩阵求解算法与主流算法之间的性能比较结果图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明首先采用的技术方案是：一种鲁棒的异常匹配点剔除方法，参考图1和图2，具体包括如下步骤：

步骤1：指纹库图像采集和预处理。选择早、中、晚三个时间点，分别在室内的相同的14个采样点采集不同角度的室内图像以及对应的3D坐标。共有14*30张图像。我们将其分为测试集和指纹库集。其中，测试集和指纹库集之间比例为1:9。初步构建指纹库。

步骤2：特征匹配。基于SURF特征匹配算法，将一张输入图像与指纹库进行匹配。输出最佳的匹配图像及其坐标标签、以及图像中对应的特征匹配点对x'_i和x_i，这些点对构成矩阵M＝[x'_i,x_i](i＝1,…,n)。

步骤3：剔除由于像素漂移而导致的异常匹配点对。图像坐标矩阵M输入至概率密度的异常匹配点对剔除算法中，剔除异常匹配点对。

进一步地，所述步骤3具体包括以下子步骤：

S210：所述特征匹配点对的齐次坐标x'_i＝(u',v',1)，x_i＝(u,v,1)(i＝1,…,n)。

S220：通过公式(1)，计算所有点对之间的欧氏距离，得到距离向量e＝(e₁,…,e_i,…e_n)。通过Matlab的函数包求得向量e的概率密度函数图，设定概率密度阈值，得到对应的置s信区间[e_j,e_k]。根据距离向量e和置信区间[e_j,e_k]，剔除M中部分异常点对。更新矩阵M。

S230：通过式(2)，计算M中所有匹配点对的角系数向量a＝(a₁,…,a_i,…a_n)。计算a的概率密度函数图，设定概率密度阈值，得到角系数置信区间[a_j,a_k]。根据a和[a_j,a_k]，二次剔除其余异常点对。

本发明还提出一种基于图像的室内定位方法，包括以下步骤：

S1：建立对极几何约束关系模型。

S2：建立鲁棒的基本矩阵求解模型。

S3：根据基本矩阵求解方法，求解模型，得到基本矩阵F。

S4：根据基本矩阵求解本质矩阵E，根据E可以得到指纹库图像和用户输入图像的图像坐标转换旋转矩阵R和平移向量t。通过投影矩阵关系，可以计算出指纹库图像投影中心C1。

S5：通过相机内参矩阵K1,K2，指纹库投影中心C1以及R和t，得到用户图像投影中心，然后通过尺度变换，最终得到图像的室内定位结果。

进一步地，S1中，根据对极几何约束关系，可以得知x_i'和x_i满足式(3)，

其中，F∈R^3×3为基本矩阵，(4)可以转化为等式(5)，

Zf＝0, (6)

其中，f∈R^9×1，Z∈R^n×9，他由坐标矩阵M中两两匹配点图像坐标的克罗内克积所构成。

进一步地，所述S2具体包括：

S210：等式(6)的解可以表示为矩阵Z的特征向量的线性组合。在无异常匹配点的情况下，矩阵Z的秩为1。为了进一步去除异常匹配点，我们假设矩阵L为理想情况下的Z，求解L可以被转化为最小化如下目标函数：

S220：W＝diag(w₁,…,w_i,…,w_n)是权重矩阵，其中w_i∈{0,1}。通过迭代得到W，用于剔除异常特征匹配点对。矩阵L满足Lf＝0，(7)可以被转化为最小化(8)：

进一步地，S3具体包括：

S310：对矩阵Z^TWZ奇异值分解，[U,S,V]＝SVD(Z^TWZ)，其中S为对角矩阵，V为对角矩阵中每个奇异值对应的特征向量；最小奇异值对应的特征向量即为f；

S320：根据公式(9)，得到每对特征匹配点和对极线间的几何距离ε_i(i＝1,…,n)，

S330：设定距离阈值为δ，初始化参数θ＝Inf，并计算出(ε₁,…,ε_i,…,ε_n)的下四分位数ε_max，如果ε_max>θ,则终止迭代，返回f，否则更新θ＝ε_max。

S340：通过公式(10)更新矩阵W，进入下一次迭代。

实施例2

为进一步说明本发明所述方法的技术效果，本实施例采用本发明所述异常匹配点对剔除算法流程图与主流算法之间的性能比较；参考图3的(a)和(b)，可以发现本发买那个所述异常匹配点对剔除算法的性能最佳，相比其他的方法，本发明方法有效去除异常匹配点。

实施例3

本实施例比较了鲁棒的基本矩阵求解算法与主流算法之间的性能比较，以及基于图像的室内定位方法与主流算法之间的性能比较；主要比较的基本矩阵误差分布CDF曲线图。参考图4，可以看出本发明提出的鲁棒的基本矩阵求解算法的性能最佳。

Claims (8)

1.一种鲁棒的异常匹配点剔除方法，其特征在于，具体包括如下步骤：

步骤1，在目标室内采集图像；

步骤2，对上述采集到的图像进行预处理，将预处理后的图像划分为测试集和指纹库集；

步骤3，基于SURF特征匹配算法，将测试集中的图像作为输入，与指纹库集中的图像进行特征匹配；针对每一幅输入图像，均在指纹库集中选择与该输入图像特征匹配点对数量最多的指纹库图像作为输出；所述特征匹配点对x′_i和x_i构成特征坐标矩阵M,M＝[x′_i,x_i]，i＝1,…,n；其中，n表示输入图像和输出图像的特征匹配点对的总数量；x′_i表示指纹库输出图像的第i个特征匹配点对的像素坐标，x′_i＝(u′_i,v′_i,1)；x_i表示输入图像的第i个特征匹配点对的像素坐标，x_i＝(u_i,v_i,1)；

步骤4，利用概率密度的异常匹配点对剔除算法对上述特征坐标矩阵M进行处理，剔除特征坐标矩阵M中的异常特征匹配点对。

2.根据权利要求1所述的一种鲁棒的异常匹配点剔除方法，其特征在于，所述步骤1的方法如下：

在目标室内标注N个采样点，分别在早、中、晚三个时间点对N个采样点采集不同角度的图像。

3.根据权利要求1所述的一种鲁棒的异常匹配点剔除方法，其特征在于，所述步骤2中，将处理后的图像中的10％作为测试集，90％作为指纹库集。

4.根据权利要求1所述的一种鲁棒的异常匹配点剔除方法，其特征在于，所述步骤4的方法如下：

步骤4.1，利用距离公式计算特征坐标矩阵M中的所有特征匹配点对的欧式距离，得到距离向量e＝(e₁,…,e_i,…e_n)；其中，距离公式如下：

式中，e_i表示第i个特征匹配点对的欧式距离；

步骤4.2，利用Matlab得到距离向量e的概率密度函数图，根据设定的第一概率密阈值得到距离置信区间[e_j,e_k]；

步骤4.3，根据距离置信区间[e_j,e_k]，对特征坐标矩阵M中的特征匹配点对进行处理，剔除欧式距离不满足距离置信区间[e_j,e_k]的特征匹配点对，得到新的特征坐标矩阵M'；

步骤4.4，利用角系数公式计算特征坐标矩阵M中的所有特征匹配点对的角系数，得到角系数向量a＝(a₁,…,a_i,…a_n)；其中，角系数公式如下：

式中，a_i表示第i个特征匹配点对的角系数；

步骤4.5，利用Matlab得到角系数向量a的概率密度函数图，根据设定的第二概率密阈值得到角系数置信区间[a_j,a_k]；

步骤4.6，根据角系数置信区间[a_j,a_k]，对特征坐标矩阵M'的特征匹配点对进行处理，剔除角系数不满足角系数置信区间[a_j,a_k]的特征匹配点对，进一步得到特征坐标矩阵M”。

5.一种基于图像的室内定位方法，其特征在于，具体包括如下步骤：

S1：利用输入图像和指纹库输出图像的特征匹配点对x′_i和x_i，建立对极几何约束关系模型；其中，x′_i表示指纹库输出图像的第i个特征匹配点对的像素坐标，x′_i＝(u_i′,v_i',1)，i＝1,…,n；n表示输入图像和输出图像的特征匹配点对的总数量；x_i表示输入图像的第i个特征匹配点对的像素坐标，x_i＝(u_i,v_i,1)；

S2：根据对极几何约束关系模型，建立鲁棒的基本矩阵求解模型；

S3：根据基本矩阵求解方法，利用迭代算法求解鲁棒的基本矩阵求解模型，得到基本矩阵F；

S4：根据基本矩阵F求解本质矩阵E，根据本质矩阵E得到指纹库输出图像和输入图像的图像坐标转换旋转矩阵R和平移向量t；通过投影矩阵关系，计算指纹库输出图像的投影中心C1；

S5：通过相机内参矩阵K1、K2、指纹库输出图像的投影中心C1、图像坐标转换旋转矩阵R和平移向量t，得到输入图像投影中心，并进行尺度变换，最终得到图像室内定位结果。

6.根据权利要求5所述的一种基于图像的室内定位方法，其特征在于，所述S1的方法如下：

S1.1：根据对极几何约束关系，输入图像和指纹库输出图像的特征匹配点对x′_i和x_i满足公式(1)：

式中，F∈R^3×3为基本矩阵；

公式(1)展开得到公式(2)：

公式(2)转化为等式(3)，进一步写作等式(4)：

Zf＝0 等式(4)

式中，Z∈R^n×9，

f＝(F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃)^T。

7.根据权利要求6所述的一种基于图像的室内定位方法，其特征在于，所述S2的方法如下：

当输入图像和指纹库输出图像不存在特征异常匹配点对时，矩阵Z达到理想条件，设定矩阵L为理想条件下的矩阵Z，满足目标函数关系式(5)；

其中，W是权重矩阵，W＝diag(w₁,…,w_i,…,w_n)，w_i∈{0,1}；rank表示矩阵的秩；

而矩阵L满足Lf＝0，进一步得到最小化目标函数关系式(6)：

8.根据权利要求7所述的一种基于图像的室内定位方法，其特征在于，所述S3的方法如下：

S3.1：利用公式[U,S,V]＝SVD(Z^TWZ)对矩阵Z^TWZ进行奇异值分解；其中，S为对角矩阵，U为正交矩阵，V为对角矩阵中每个奇异值对应的特征向量，最小的奇异值对应的特征向量即为f；

S3.2：利用公式(7)，求解输入图像和指纹库输出图像的特征匹配点对x′_i和x_i与对极线间的几何距离ε_i，i＝1,…,n：

S3.3：设定距离阈值δ，初始化参数θ＝Inf，计算输入图像和指纹库输出图像的全部特征匹配点对与对极线间的几何距离ε_i的下四分位数ε_max；

如果ε_max>θ，则将向量f转化为基本矩阵F；

否则更新θ＝ε_max，并利用公式(8)更新矩阵W，返回S3.1进入下一次迭代；

其中，所述公式(8)如下：

Images