CN108573501B - 一种基础矩阵的解算方法 - Google Patents

Abstract

本发明涉及一种基础矩阵的解算方法，该方法包括步骤：a.分别提取给定的关键帧图像f_a与关键帧图像f_b所对应的角点特征，得到对应的角点特征集合p_a和p_b；b.分别计算图像f_a与f_b的角点特征的邻域纹理特征向量，得到图像f_a和f_b的纹理特征向量的集合l_a和l_b；c.对角点特征集合p_a和p_b进行空间一致性划分，并且计算得到划分P_a和划分P_b；d.分别建立图像f_a和图像f_b的视觉显著性模型；e.在匹配划分内，分别计算视觉显著性模型D_ai和D_bi在纹理特征向量空间的特征值，并对角点特征进行匹配，从而得到成对的匹配角点特征(x_ai,y_ai)与(x_bj,y_bj)；f.计算每一对数据对应的权重系数；g.根据权重系数解算两幅图像对应的基础矩阵。该方法的解算过程鲁棒性高，有效地排除了噪声数据的干扰。

Description

一种基础矩阵的解算方法

技术领域

本发明涉及图像处理领域，特别涉及一种针对图像的基础矩阵的解算方法。

背景技术

计算同一场景在不同时刻拍摄的两幅图像对应的基础矩阵是3D重建中的关键技术，是分析同一场景两幅图像间对极几何关系的有力工具；可以用来简化立体视觉系统中图像间的匹配；可以用来对运动视觉系统中相机的运动姿态进行估计；还可以用于进行场景重构、三维重建以及虚拟现实等内容的研究。图像的基础矩阵的计算涉及图像处理、计算机视觉、图形学、对极几何、矩阵分析、优化计算等多个领域的技术：需要通过对极几何建立基础矩阵与匹配像素点间的约束条件以及目标函数，根据匹配算法得到两幅图像中一些匹配像素点对，将这些点对代入目标函数，求解满足约束条件下目标函数的最优解，即为两幅图像对应的基础矩阵。

近年来，在基础矩阵解算方面，国内外学者提出了很多卓有成效的方法。虽然一些算法对于图像噪声的适应性较好，但是还是无法完全排除局外点(错误匹配的像素点)对基础矩阵解算时的干扰。由于图像匹配算法获得的匹配数据存在大量的局外点，因此提高基础矩阵解算的精度需要在降低图像匹配算法的误配率同时，提高精度较高的匹配数据在解算空间的分布一致性。

通常情况下，由于图像匹配算法获得的匹配特征数量一般均超过基础矩阵参数个数，最小二乘法成为基础矩阵解算的常用方法。常见的基础矩阵解算方法均是基于最小二乘法完成的，这类算法的主要思想是利用图像上获取的匹配特征的空间分布关系，根据像素点间的对极几何关系建立最小二乘约束函数，通过线性方法或迭代方法解算出基础矩阵中的各项参数，它对匹配特征的数量要求较低。

当图像匹配算法获取的匹配特征数据中局外点的含量较高时，部分数据无法被线性最小二乘进行拟合，而线性最小二乘可行的理论前提是，假设噪声满足整体期望为零的高斯分布。当匹配特征数据的误差分布不满足该假设条件时，在进行基础矩阵解算时会受到匹配特征数据中的局部噪声干扰，从而导致病态拟合。基于最小二乘法的基础矩阵解算方法通常假设两幅图像上获得的匹配特征数据精度较高，通过求解对极几何计算基础矩阵。由于这种计算方式完全依赖两幅图像上获取的匹配特征数据，所以基于最小二乘法的基础矩阵解算方法要求图像匹配算法的匹配精度足够高，匹配特征数据中局外点的含量较低。因此，这种基础矩阵的解算方法适合于，在场景简单、图像特征显著性高、匹配特征数据空间分布一致性较高等条件下，获取的图像序列上基础矩阵的解算。通常情况下，图像噪声分布不均匀、匹配特征数据中局外点较多，采用上述方法求解基础矩阵，会导致计算得到的三维空间中物点位置信息与真实位置信息间存在较大偏差，进而影响后续的一系列操作，如目标跟踪、自主导航等。

加权最小二乘法能够更好地适应图像上噪声的不同分布。采用加权最小二乘法解算基础矩阵的难点在于如何设置权重函数，使得该权重函数能够适应匹配特征数据在解算空间中的分布，即满足，两幅图像上匹配精度越高的特征数据在进行基础矩阵解算时对应的权重越大，相反，那些局外点对应的权重较小。目前的权重函数设计大多依赖一定的经验条件，或者直接由匹配特征数据进行数学推导得到。建立在观测数据分析基础上的权值计算必定会受限于观测数据自身的准确性，并未考虑这些数据在高维解算空间中的分布权重，如何根据观测数据的分布一致性建立权重函数，是加权最小二乘法中权重函数设计的主要考虑因素。

发明内容

本发明的目的是提供本发明所要解决的技术问题是针对现有技术的不足，提供一种鲁棒高效、精度高的基础矩阵解算方法。

在本发明中，本发明提供了一种针对两幅图像对应的基础矩阵的解算方法，其特征在于，包括以下步骤：

步骤一，对于给定两幅关键帧图像f_a(x,y)与f_b(x,y)，分别提取每幅图像上对应的角点特征，得到两幅图像上的角点特征集合p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}与p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，其中x_ai，y_ai与x_bi，y_bi分别表示两幅图像上角点特征的横、纵坐标值，n与m分别为图像f_a与f_b上提取到的角点的个数；

步骤二，根据局部二值模式描述子计算算法，分别计算图像f_a与f_b上角点特征邻域纹理特征向量，得到两幅图像对应的纹理特征向量集合l_a＝{v_a1,v_a2,...,v_an}与l_b＝{v_b1,v_b2,...,v_bm}；

步骤三，对两幅图像上提取的角点特征进行空间一致性划分，通过设置好的经验划分bin值，计算P_a，P_b，完成对两幅图像的空间一致性划分，其中，

M、N为图像的高与宽，a_j与b_j分别为图像f_a与f_b上对应第j个划分内角点个数，1≤j≤bin，n、m分别为提取的角点特征的数量，gj表示图像f_a与f_b的第j个划分，

与

表示划分P_a与P_b内元素。

步骤四，构造两幅图像上的视觉显著性模型，其计算过程如下，

步骤(401)，对两幅图像上的划分进行匹配，认为图像f_a与图像f_b上划分编号相邻的划分是一一对应的；

步骤(402)，在匹配的划分内，分别建立角点特征对应的显著性模型，图像f_a与图像f_b在第i(1≤i≤bin)个匹配划分上计算得到的显著性模型分别为D_ai，D_bi，即角点特征对应的空间距离矩阵；其中，

D_ai与D_bi分别为形如

与

的实对称矩阵，半角矩阵U_ai与U_bi中的元素分别为

与

分别表示两幅图像上对应第i个划分内第m个角点与第n个角点(m,n>1,m不等于n)间的欧式距离；

步骤(403)，计算每个匹配划分对应的显著性模型在纹理特征向量空间l_ai＝{v_a1,v_a2,...,v_ak}与l_bi＝{v_b1,v_b2,...,v_bl}上的瑞利商，以瑞利商表示角点特征的显著性，得到该划分内的显著性集合R_ai与R_bi，分别为R_ai＝{R(D_ai,v_aj)}，1≤j≤k，R_bi＝{R(D_bi,v_bj)}，1≤j≤l，其中，

表示显著性模型D在特征向量v上的瑞利商，依次遍历所有的匹配划分，得到图像f_a与图像f_b的整体显著性模型。

步骤五，在两幅图像的匹配划分内，计算视觉显著性模型在角点特征邻域纹理特征向量空间的特征值，通过计算匹配划分内角点间的显著相似性对角点特征进行匹配，其中，显著相似性的比较采用双阈值判断法，即认为显著相似性在区间[t1,t2]内的角点特征匹配。

步骤六，根据两幅图像上的匹配角点特征间的显著相似性，计算该组数据对应的权重系数，其中，

匹配角点(x_ai,y_ai)与(x_bj,y_bj)的权重r_ij＝sim_ij，sim_ij为两角点对应的显著相似性；

步骤七，根据匹配角点对的权重，采用一种加权最小二乘法解算两幅图像对应的基础矩阵；

其中，

加权最小二乘法的约束函数为minR＝X_aRFX_b，其中，R为两幅图像对应的权重矩阵，X_a与X_b分别为图像f_a与f_b上获取的匹配角点特征，采用一维向量表示的基础矩阵为F＝{f_i,i＝1,2,...,9}。

进一步地，步骤二中根据局部二值模式描述子计算算法计算图像角点特征邻域的纹理特征向量，即LBP(Local Binary Pattern)特征向量，具体为：根据提取到的图像角点特征，确定图像上需提取LBP特征向量的位置，即以图像角点为中心，半径为R的邻域，根据

计算该角点R邻域内的LBP特征向量，然后对该二进制串进行循环右移操作，将产生的二进制集合中对应十进制值最小的二进制串作为该角点特征的R领域纹理特征向量；

其中，

为二值化函数，g_c为中心像素，即角点对应的灰度值，g_i为2^R+2个邻域像素的灰度值；

进一步地，步骤三中对两幅图像上提取的角点特征进行空间一致性划分，对于图像f_a与f_b上提取的角点特征集合p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}与p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，按照这些特征的空间一致性分布进行划分，得到图像f_a与f_b上的划分分别为P_a与P_b，其中，

a_j与b_j分别表示图像f_a与f_b上第j个划分内角点的个数，1≤j≤bin，bin为图像在横、纵坐标上的划分数量，g_j表示所述图像f_a和所述图像f_b的第j个所述划分；

与

为所述划分P_a和所述划分P_b根据所述预设划分bin值得到的元素。

进一步地，步骤七中根据两幅图像上匹配角点的权重，采用一种加权最小二乘法解算基础矩阵，所述相关计算步骤如下：

步骤(701)，对两幅图像上的划分进行匹配，认为图像f_a与图像f_b上划分编号相邻的划分是一一对应的；

步骤(702)，在匹配的划分内，分别建立角点特征对应的显著性模型，图像f_a与图像f_b在第i(1≤i≤bin)个匹配划分上计算得到的显著性模型分别为D_ai，D_bi，即角点特征对应的空间距离矩阵；其中，

D_ai与D_bi分别为形如

与

的实对称矩阵，半角矩阵U_ai与U_bi中的元素分别为

与

分别表示两幅图像上对应第i个划分内第m个角点与第n个角点(m,n>1,m不等于n)间的欧式距离；

步骤(703)，计算每个匹配划分对应的显著性模型在纹理特征向量空间l_ai＝{v_a1,v_a2,...,v_ak}与l_bi＝{v_b1,v_b2,...,v_bl}上的瑞利商，以瑞利商表示角点特征的显著性，得到该划分内的显著性集合R_ai与R_bi，分别为R_ai＝{R(D_ai,v_aj)}，1≤j≤k，R_bi＝{R(D_bi,v_bj)}，1≤j≤l，其中，

表示显著性模型D在特征向量v上的瑞利商，依次遍历所有的匹配划分，得到图像f_a与图像f_b的显著性模型；

步骤(704)：根据两幅图像上角点特征对应的显著相似性对角点进行匹配，认为两幅图像对应划分内显著相似性在设定阈值范围[t1,t2]内的角点是匹配的，

其中，

图像f_a与f_b上在第k个对应划分P_ak与P_bk上，角点p_ai(x_ai,y_ai)与p_bj(x_bi,y_bi)间的显著相似性计算公式为：

(p_ai∈P_ak,p_bi∈P_bk)

步骤(705)：根据图像f_a与f_b上每组对应划分内计算得到的显著相似性矩阵sim_k中数值的大小，挑选出满足匹配阈值范围的匹配角点特征，将该对匹配角点对应的显著相似性作为其进行基础矩阵解算时的权重系数；

步骤(706)：遍历图像f_a与f_b上所有的对应划分，根据步骤(705)得到两幅图像上满足条件的所有匹配特征数据，以及每组数据的权重，采用加权最小二乘法计算图像f_a与f_b的基础矩阵。

进一步地，步骤(706)中采用加权最小二乘法计算图像f_a与f_b的基础矩阵，其计算步骤如下：

步骤(7061)，由步骤(706)得到的图像f_a与f_b上的匹配点对为

与

对一一对应的匹配角点集合{(x_a1,y_a1),(x_a2,y_a2),...,(x_ak,y_ak)}与{(x_b1,y_b1),(x_b2,y_b2),...,(x_bk,y_bk)}进行归一化，归一化后的区间为[-1,1]，对应归一化后角点集合表示为{(u_a1,v_a1),(u_a2,v_a2),...,(u_ak,v_ak)}与{(u_b1,v_b1),(u_b2,v_b2),...,(u_bk,v_bk)},

其中，

w_a与h_a分别表示图像f_a中心像素点的横、纵坐标；

同理，

w_b与h_b分别表示图像f_b中心像素点的横、纵坐标；

步骤(7062)，然后构造最小二乘系数矩阵A；

其中，

k为匹配点对的个数，

步骤(7063)，根据步骤七采用的加权最小二乘法计算公式，构造权重系数矩阵R；

其中，

其中r_i表示匹配角点对(x_ai,y_ai)与(x_bi,y_bi)的显著相似性；

步骤(7064)，根据步骤七中描述的加权最小二乘法的约束条件，将基础矩阵解算法问题转化为求解下式的最小二乘解，

即求解9×9大小的矩阵RA^tA的最小特征值对应的特征向量，该特征向量{f_i,i＝1,2,...,9}即为基础矩阵的向量表示形式。

应理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。

附图说明

下面结合附图、表和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的一个实施例中的整体算法流程图

图2为本发明的一个实施例中的在视频序列中截取的两幅图像上提取的角点特征。

图3为本发明的一个实施例中的在角点特征邻域内构造纹理特征向量过程示例。

图4为本发明的一个实施例中的在两幅图像上进行空间一致性划分的结果(每组相同颜色的特征对应的数字标号为其所在划分编号)。

图5为本发明的一个实施例中的构造的两幅图像上不同划分内显著性模型的整体显示。

图6为本发明的一个实施例中的计算的两幅图像上角点特征的显著相似性。

图7为本发明的一个实施例中的计算得到的两幅图像上的匹配角点特征。

图8为本发明的一个实施例中的解算的基础矩阵与标准基础矩阵间各元素误差以及最小二乘法解算的基础矩阵与标准基础矩阵间各项元素误差的分布比较。

具体实施方式

本发明涉及一种基础矩阵解算方法。本发明首先对两副关键帧图像分别进行角点特征提取，并计算每幅图像上角点特征邻域的纹理特征向量；然后将图像上角点特征进行空间一致性划分，在不同划分内建立视觉显著性模型，利用显著性模型在纹理特征空间内分解得到不同划分内角点特征的显著性特征值，通过计算两帧图像上对应划分内角点特征的显著相似性完成两帧图像上特征点的匹配；最后采用一种加权最小二乘法解算两幅图像对应的基础矩阵，根据匹配角点间的显著相似性计算匹配特征数据的权重，从而采用一种鲁棒的加权最小二乘法解算出精度较高的基础矩阵。本发明的方法不仅能够准确地将两副图像上角点特征进行匹配，还能够解算出精度较高的基础矩阵。解算过程鲁棒性高，有效地排除了噪声数据的干扰。

一种基础矩阵的解算方法

本发明提供了一种基础矩阵的解算方法，包括以下步骤：

a.分别提取给定的关键帧图像f_a(x,y)与关键帧图像f_b(x,y)所对应的角点特征，得到对应的角点特征集合p_a和p_b，其中，p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}；p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，其中，

x_ai，y_ai是所述图像f_a的角点特征的横、纵坐标值，x_bi，y_bi是所述图像f_b的角点特征的横、纵坐标值，n是从所述图像f_a提取的角点个数，m是从所述图像f_b提取的角点个数；

b.根据局部二值模式(LBP)描述子算法，分别计算所述图像f_a与图像f_b的所述角点特征的邻域的纹理特征向量，进而得到所述图像f_a的所述纹理特征向量的集合l_a＝{v_a1,v_a2,...,v_an}和所述图像f_b的所述纹理特征向量的集合l_b＝{v_b1,v_b2,...,v_bm}；

c.对所述角点特征集合p_a和p_b进行空间一致性划分，根据预设划分bin值，计算得到划分P_a和划分P_b，

其中，M、N分别是所述图像f_a的高和宽，a_j是所述图像f_a的第j个所述划分内的角点个数，b_j是所述图像f_b的第j个所述划分内的角点个数，1≤j≤bin；n、m分别是从所述图像f_a和所述图像f_b提取的所述角点特征的个数；g_j表示所述图像f_a和所述图像f_b的第j个所述划分；

与

为所述划分P_a和所述划分P_b根据所述预设划分bin值得到的元素。

d.分别建立所述图像图像f_a和所述图像f_b的视觉显著性模型，包括以下子步骤：

d1，对所述图像图像f_a和所述图像f_b的所述划分P_a和划分P_b进行匹配，进而得到匹配划分；

d2.在所述匹配划分内，分别建立角点特征对应的显著性模型，分别计算所述图像f_a与图像f_b在第i(1≤i≤bin)个所述匹配划分内的显著性模型D_ai和D_bi，

d3.分别计算所述显著性模型D_ai与D_bi在所述纹理特征向量空间l_ai＝{v_a1,v_a2,...,v_ak}与l_bi＝{v_b1,v_b2,...,v_bl}上的显著性，得到所述匹配划分内的显著性集合R_ai与R_bi，

R_ai＝{R(D_ai,v_aj)}，1≤j≤k；R_bi＝{R(D_bi,v_bj)}，1≤j≤l，其中，

表示显著性模型D在特征向量v上的瑞利商，依次遍历所有的所述匹配划分，得到所述图像f_a与图像f_b的整体显著性模型。

e.所述匹配划分内，分别计算所述视觉显著性模型D_ai和D_bi在所述纹理特征向量空间的特征值，并通过计算所述匹配划分内的角点间的显著相似性对所述角点特征进行匹配，从而得到成对的匹配角点特征(x_ai,y_ai)与(x_bj,y_bj)；

f.根据所述成对的匹配角点特征(x_ai,y_ai)与(x_bj,y_bj)之间的显著相似性，计算每一对数据对应的权重系数，其中，

g.根据所述权重系数，基于加权最小二乘法解算两幅图像对应的基础矩阵。

在一实施例中，所述步骤b包括子步骤：

b1.根据提取的所述角点特征，分别确定所述图像f_a与图像f_b的每个所述角点的r邻域内的LBP特征向量，所述LBP特征向量构成二进制串；

b2.对所述二进制串进行循环右移操作，将产生的二进制集合中对应十进制值最小的二进制串作为该角点特征的r领域纹理特征向量。

在一实施例中，所述LBP特征向量为：

其中

为二值化函数，g_c为中心像素，即角点对应的灰度值，g_i为2^r+2个邻域像素的灰度值。

在一实施例中，步骤d1中，所述匹配指的是认为所述划分Pa和划分Pb中的各自编号相邻的划分是一一对应的。

在一实施例中，步骤d2中，所述显著性模型D_ai与D_bi分别是形如

与

的实对称矩阵，半角矩阵U_ai与U_bi中的元素分别为

与

所述U_ai表示所述图像f_a的第i个划分内的第m个角点与第n个角点间的欧式距离,所述U_bi表示所述图像f_b的第i个划分内的第m个角点与第n个角点间的欧式距离；其中m,n>1且m≠n。

在一实施例中，步骤e包括子步骤：

计算所述图像f_a与图像f_b的在第k个所述匹配划分P_ak与P_bk上，角点p_ai(x_ai,y_ai)与p_bj(x_bi,y_bi)间的所述显著相似性，根据所述显著相似性对所述角点特征进行匹配，并认为所述显著相似性在设定阈值范围[t1,t2]内的角点是匹配的，

其中，所述显著相似性计算公式为：

(p_ai∈P_ak,p_bj∈P_bk)，其中，D_ak 为所述划分P_ak内角点间的空间距离矩阵；v_ai为角点p_ai对应的纹理特征向量，D_bk为所述划分P_bk内角点间的空间距离矩阵，vbj为角点p_bj对应的纹理特征向量。

在一实施例中，步骤f包括子步骤：

根据每个所述匹配划分内所计算得到的所述显著相似性矩阵sim_k数值的大小，挑选出满足匹配阈值范围的成对的匹配角点特征，并将每对所述匹配角点特征对应的所述显著相似性作为其进行基础矩阵解算时的权重系数。

在一实施例中，步骤g包括子步骤：

遍历所述图像f_a与图像f_b上全部的所述匹配划分，根据所述步骤f得到所述图像f_a与图像f_b上的全部的所述匹配角点特征，以及对应的所述权重系数，采用加权最小二乘法计算图像f_a与f_b的基础矩阵。

在一实施例中，所述加权最小二乘法的约束函数为minR＝X_aRFX_b，其中，R为所述图像f_a与f_b对应的权重矩阵，X_a与X_b分别为从所述图像f_a与图像f_b上获取的所述匹配角点特征，采用一维向量表示的所述基础矩阵为F＝{fi,i＝1,2,...,9}。

在一实施例中，bin＝30。

本发明的主要优点包括：

(a)本发明的方法不仅能够准确地将两副图像上角点特征进行匹配，还能够解算出精度较高的基础矩阵。

(b)解算过程鲁棒性高，有效地排除了噪声数据的干扰。

(c)通过设置不同的权重函数调整匹配特征数据在特征空间内的分布一致性，能够提高基础矩阵参数的解算精度。特别是对于图像噪声分布服从高斯分布且具有异方差性的匹配特征数据间的解算，该解算算法在提高基础矩阵解算精度的同时，并未增强算法运行的时间复杂度。对两幅图像上获得的匹配特征数据进行加权，提高匹配精度高的特征数据在解算空间内的分布权重，使解算算法拟合出的基础矩阵更靠近精度高的匹配特征数据在高维空间中的分布。因此，将加权最小二乘法应用于基础矩阵的解算极大地提高了解算精度。

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图和具体实施方式对本发明做进一步详细描述：

实施例1

在本发明提及的所有文献都在本申请中引用作为参考，就如同每一篇文献被单独引用作为参考那样。此外应理解，在阅读了本发明的上述讲授内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

图1是本发明的一个实施例中的基础矩阵解算方法的流程示意图。如图1所示，该解算方法包括以下步骤：

步骤一，提取获取的两幅关键帧图像f_a(x,y)和f_b(x,y)上的角点特征。

步骤二，根据角点特征的邻域的局部二值模式(LBP)，计算两幅图像f_a与f_b上角点特征的邻域的旋转不变纹理特征向量(下文可简称为“纹理特征向量”)。

步骤三，对两幅图像f_a与f_b上角点特征进行空间分布一致性划分。

步骤四，在两幅图像f_a与f_b上各自划分P_a和划分P_b内建立该划分内角点特征的视觉显著性模型。

步骤五，在两幅图像f_a与f_b的匹配划分内，计算视觉显著性模型在角点特征邻域纹理特征向量空间的特征值，通过计算匹配划分内角点间的显著相似性对角点特征进行匹配。

步骤六，根据两幅图像上的匹配角点特征间的显著相似性，计算对应的权重系数。

步骤七，对获取的匹配特征数据，采用加权最小二乘法计算两幅图像对应的基础矩阵。

在一实施例中，两幅图像f_a与f_b的视觉显著性模型采用图像上角点特征对应的空间距离矩阵表示，具体为，

其中U为角点特征集合中任意两点(x_ai,y_ai)、(x_bj,y_bj)间的空间距离，

图5为本发明的一个实施例中的两幅图像f_a与f_b对应的视觉显著性模型的图像化显示结果(将每幅图像上不同划分内的显著性模型整合显示)。

图2位本发明的一个实施例中的从预先拍摄的视频序列中截取的两幅图像上提取的角点特征。如图2所示：对于视频序列中截取的两幅关键帧图像f_a与f_b(两幅待匹配图像也可以由拍照获取，由于本发明中基础矩阵的解算算法将应用于基于单目视觉的移动机器人导航技术中，因此算法的实验对象为由单目视觉系统获取的视频序列生成的两幅关键帧图像)，为了减少信息计算量，同时方便后续的基础矩阵解算工作，分别提取两幅图像f_a与f_b上的角点特征。由于Harris角点特征对光照、几何形变的适应性较好，本发明对两幅图像f_a与f_b分别提取Harris角点特征，角点特征的具体提取方式如下：

步骤(201)，计算图像像素(x,y)在区域(u,v)内移动时对应的像素灰度变化加权值S，S可表示为，

步骤(202)，将S进行一阶泰勒展开，得到

其中，

步骤(203)，通过求解函数M来计算图像的Harris特征，其中，

M＝det(A)-k·trace²(A)，本发明中K的取值为0.04，像素移动时的加权函数为窗口大小为7×7，方差为2的高斯函数。

步骤(204)，比较图像中每个像素Harris特征与角点阈值T之间的大小，认为大于T的那些像素为提取出的Harris角点特征，其中，

T＝0.01·max(M_i,j)，max(M_i,j)表示图像Harris特征矩阵中的最大值。

对于图像f_a与f_b可采用上述角点特征提取方法提取对应的角点特征集合p_a和p_b，其中，p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}；p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，其中，x_ai，y_ai是所述图像f_a的角点特征的横、纵坐标值，x_bi，y_bi是所述图像f_b的角点特征的横、纵坐标值，n是从所述图像f_a提取的角点个数，m是从所述图像f_b提取的角点个数；

图3为本发明的一个实施例中的在角点特征邻域内构造纹理特征向量的过程示例。如图3所示，在一实施例中，图像上的角点特征邻域纹理特征向量的构造过程如下：

步骤(301)，提取角点特征p_i(x_i,y_i)的r邻域图像，如图3.b(1)所示，本发明中邻域的半径r取值为1；

步骤(302)，比较p_i的灰度值与其对应邻域像素灰度值的大小，构造p_i的局部二值模式，如图3.b(2)所示，得到如图3.b(3)所示的LBP特征向量，具体为，

其中g_c为p_i的灰度值，g_i为P个邻域像素的灰度值，本发明由于r取值为1，P取值为8，B(x)为二值化函数，定义如下，

步骤(303)，为了使提取的角点邻域纹理特征向量具有旋转不变性，计算角点p_i的旋转不变LBP特征向量

如图3.b(4)所示，其中，

ROR(x,i)表示在P位数值x上的i位循环右移操作。

步骤(304)，重复上述步骤，直到两幅图像上所有角点对应的邻域纹理特征向量提取完毕。

图4为本发明的一个实施例中在两幅图像上进行空间一致性划分的结果(每组相同颜色的特征对应的数字标号为其所在划分编号)。

如图4所示，给出对两幅图像进行空间一致性划分结果，对于两幅图像上的角点特征集合p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}与p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，根据两帧图像的采样频率满足两帧图像上角点特征空间分布的一致性需求，即图像f_a上某一区域内角点特征的分布密集程度与图像f_b上对应区域上角点特征的分布密集程度保持一致，且这些角点特征在x方向与y方向上的偏移量在一定范围内。因此，根据调整好的bin值，通过计算P_a，P_b完成对两幅图像的空间一致性划分，其中，

M、N为图像f_a或图像f_b的高与宽，图像f_a与图像f_b理应是大小一致的两幅图像。在该实施例中，N、M分别为720与1280，bin取经验值30。

图5为本发明的一个实施例中的构造的两幅图像上不同划分内显著性模型的整体显示的示意图。

如图5所示，给出两幅图像上的视觉显著性模型，图像x、y轴表示图像上提取的角点特征数量，z轴代表对应角点的空间距离，显著性模型的构造过程如下，

步骤(501)，对两幅图像上的划分进行匹配，认为图像f_a与图像f_b上划分编号相邻的划分是一一对应的；

步骤(502)，在匹配的划分内，分别建立角点特征对应的显著性模型，图像f_a与图像f_b在第i个匹配划分上计算得到的显著性模型分别为D_ai，D_bi，即划分内角点特征对应的空间距离矩阵；

步骤(503)，计算每个匹配划分对应的显著性模型在纹理特征向量空间l_ai＝{v_a1,v_a2,...,v_ak}与l_bi＝{v_b1,v_b2,...,v_bl}上的瑞利商，以瑞利商表示角点特征的显著性，得到该划分内的显著性集合R_ai与R_bi，分别为R_ai＝{R(D_ai,v_aj)}，1≤j≤k，R_bi＝{R(D_bi,v_bj)}，1≤j≤l，其中，

表示显著性模型D在特征向量v上的瑞利商，依次遍历所有的匹配划分，得到图像f_a与图像f_b的显著性模型。

图6为本发明的一个实施例中的计算的两幅图像f_a与f_b上角点特征的显著相似性。

如图6所示，为计算得到的两幅图像f_a与f_b上角点特征之间的显著相似性，第m个匹配划分内图像f_a上第i个角点特征与图像f_b上第j个角点特征间的显著相似性sim_mij的计算公式为，

D_ak 为所述划分P_ak内角点间的空间距离矩阵；v_ai为角点p_ai对应的纹理特征向量，D_bk为所述划分P_bk内角点间的空间距离矩阵，vbj为角点p_bj对应的纹理特征向量。

图7为本发明的一个实施例猴子那个的计算得到的两幅图像f_a与f_b上的匹配角点特征。

如图7所示，给出本发明根据显著相似性计算得到的图像f_a与图像f_b上匹配划分内匹配角点特征，本发明采用双阈值法，即认为显著相似性落在区间[t1,t2]内的角点特征匹配，在一实施例中，实验过程中t1＝0.52，t2＝0.88。

图8为本发明的一个实施例中的解算的基础矩阵与标准基础矩阵间各元素误差以及最小二乘法解算的基础矩阵与标准基础矩阵间各项元素误差的分布比较示意图。

如图8所示，给出本发明采用基于视觉显著性的加权最小二乘法解算图像f_a与图像f_b上匹配角点对应的基础矩阵F_w＝{fw₁,fw₂,...,fw₉}与普通最小二乘法解算的基础矩阵F_l＝{fl₁,fl₂,...,fl₉}与标准基础矩阵各元素F＝{f₁,f₂,...,f₉}的偏差比较，即向量F₁与F₂的比较，其中，

从图8中各项数据分布可以看出，本发明解算的基础矩阵与标准矩阵更接近，误差矩阵中各元素均小于最小二乘法解算对应的误差矩阵中各元素。

进一步的，本发明中加权最小二乘法解算基础矩阵的过程如下，

步骤(801)，对由图像匹配算法获取的匹配特征数据归一化：由步骤五得到的图像f_a与f_b上的匹配点对为

与

对一一对应的匹配角点集合{(x_a1,y_a1),(x_a2,y_a2),...,(x_ak,y_ak)}与{(x_b1,y_b1),(x_b2,y_b2),...,(x_bk,y_bk)}进行归一化，归一化后的区间为[-1,1]，对应归一化后角点集合表示为{(u_a1,v_a1),(u_a2,v_a2),...,(u_ak,v_ak)}与{(u_b1,v_b1),(u_b2,v_b2),...,(u_bk,v_bk)},

其中，

w_a与h_a分别表示图像f_a中心像素点的横、纵坐标；

同理，

w_b与h_b分别表示图像f_b中心像素点的横、纵坐标，本发明实验过程中w_a、h_a与w_b、h_b相等，分别为640、360；

步骤(802)，然后构造最小二乘系数矩阵A；

其中，

k为匹配点对的个数，本发明实验获取30对匹配特征数据，即k＝30；

步骤(803)，构造权重系数矩阵R，其中，

其中r_i表示匹配角点对(x_ai,y_ai)与(x_bi,y_bi)的显著相似性；

步骤(804)，将基础矩阵解算法问题转化为求解

的最小二乘解，即求解9×9大小的矩阵RA^tA的最小特征值对应的特征向量{f_i，i＝1,...,9}。

测试例1

采用上述的基础矩阵的解算方法可以得到表1和表2的实验数据。表1为一实施例中计算得到的两幅图像上的匹配角点特征以及对应的显著相似性；表2为该实施例中的求解得到的基础矩阵与最小二乘法求解得到的基础矩阵以及标准基础矩阵中各项元素的比较。

如表1示出了图1所示的步骤五中计算得到的图像f_a与图像f_b上的匹配角点特征(30对)的在两幅图像划分上的对应编号以及两者间的显著相似性；

表2示出了在表1中匹配特征数据上解算得到的基础矩阵各项参数数值与采用最小二乘法在相同数据集上解算得到的基础矩阵各项参数数值，以及两者与标准基础矩阵的累加误差，可以看出本发明求解的结果精度要高于普通最小二乘法求解的结果。

表1

表2

方法	标准	加权最小二乘法	最小二乘法
				f1	-0.0003	-0.0126	0.0132
f2	-0.3842	-0.6610	0.6666
				f3	-0.0446	-0.1913	0.1823
f4	0.3896	0.6272	-0.6323
				f5	-0.0066	0.0237	-0.0240
f6	0.5813	0.2215	-0.2124
				f7	0.0300	0.1463	-0.1378
f8	-0.5990	-0.2481	0.2394
				f9	-0.0259	-0.0199	0.0190
累加误差	0	0.1708	0.4640

本说明书使用了包括最佳实施例在内的实施例揭示了本发明，也使本领域的技术人员能够实施本发明，包括制造和使用任何装置或系统，以及执行任何组合的方式。本发明的专利范围由权利要求限定，并且可包括本领域的技术人员想到的其他实施例。如果上述其他实施例具有的结构部件未区别于权利要求的字面内容，或者他们包含等同的结构部件而与权利要求的字面内容存在非实质性区别，则在权利要求的保护范围以内。

Claims (10)

1.一种基础矩阵的解算方法，其特征在于，包括以下步骤：

a.分别提取给定的关键帧图像f_a(x,y)与关键帧图像f_b(x,y)所对应的角点特征，得到对应的角点特征集合p_a和p_b，其中，p_a＝{(x_a1,y_a1),(x_a2,y_a2),...,(x_an,y_an)}；p_b＝{(x_b1,y_b1),(x_b2,y_b2),...,(x_bm,y_bm)}，其中，

x_ai，y_ai是所述图像f_a的角点特征的横、纵坐标值，x_bi，y_bi是所述图像f_b的角点特征的横、纵坐标值，n是从所述图像f_a提取的角点个数，m是从所述图像f_b提取的角点个数，其中x_ai表示x_a1、x_a2...x_an；y_ai表示y_a1、y_a2...y_an；x_bi表示x_b1、x_b2...x_bm；和y_bi表示y_b1、y_b2...y_bm；

b.根据局部二值模式(LBP)描述子算法，分别计算所述图像f_a与图像f_b的所述角点特征的邻域的纹理特征向量，进而得到所述图像f_a的所述纹理特征向量的集合l_a＝{v_a1,v_a2,...,v_an}和所述图像f_b的所述纹理特征向量的集合l_b＝{v_b1,v_b2,...,v_bm}；

c.对所述角点特征集合p_a和p_b进行空间一致性划分，根据预设划分bin值，计算得到划分P_a和划分P_b，

其中，M、N分别是所述图像f_a的高和宽，a_j是所述图像f_a的第j个所述划分内的角点个数，b_j是所述图像f_b的第j个所述划分内的角点个数，1≤j≤bin；n、m分别是从所述图像f_a和所述图像f_b提取的所述角点特征的个数；g_j表示所述图像f_a和所述图像f_b的第j个所述划分；P_ak与P_bk为所述划分P_a和所述划分P_b根据所述预设划分bin值得到的元素；

d.分别建立所述图像f_a和所述图像f_b的视觉显著性模型，包括以下子步骤：

d1，对所述图像f_a和所述图像f_b的所述划分P_a和划分P_b进行匹配，进而得到匹配划分；

d2.在所述匹配划分内，分别建立角点特征对应的显著性模型，分别计算所述图像f_a与图像f_b在第i(1≤i≤bin)个所述匹配划分内的显著性模型D_ai和D_bi，

d3.分别计算所述显著性模型D_ai与D_bi在所述纹理特征向量空间l_ai＝{v_a1,v_a2,...,v_ak}与l_bi＝{v_b1,v_b2,...,v_bl}上的显著性，得到所述匹配划分内的显著性集合R_ai与R_bi，

R_ai＝{R(D_ai,v_aj)}，在R_ai＝{R(D_ai,v_aj)}公式中，1≤j≤k；

R_bi＝{R(D_bi,v_bj)}，在R_bi＝{R(D_bi,v_bj)}公式中，1≤j≤l，

其中，

表示显著性模型D在特征向量v上的瑞利商，依次遍历所有的所述匹配划分，得到所述图像f_a与图像f_b的整体显著性模型；

e.所述匹配划分内，分别计算所述视觉显著性模型D_ai和D_bi在所述纹理特征向量空间的特征值，并通过计算所述匹配划分内的角点间的显著相似性对所述角点特征进行匹配，从而得到成对的匹配角点特征(x_ai,y_ai)与(x_bj,y_bj)；

f.根据所述成对的匹配角点特征(x_ai,y_ai)与(x_bj,y_bj)之间的显著相似性，计算每一对数据对应的权重系数，其中，

g.根据所述权重系数，基于加权最小二乘法解算两幅图像对应的基础矩阵。

2.根据权利要求1所述的一种基础矩阵的解算方法，其特征在于，所述步骤b包括子步骤：

b1.根据提取的所述角点特征，分别确定所述图像f_a与图像f_b的每个所述角点的R邻域内的LBP特征向量，所述LBP特征向量构成二进制串；

b2.对所述二进制串进行循环右移操作，将产生的二进制集合中对应十进制值最小的二进制串作为该角点特征的R邻域纹理特征向量。

3.根据权利要求2所述的基础矩阵的解算方法，其特征在于，所述LBP特征向量为：

其中

为二值化函数，g_c为中心像素，即角点对应的灰度值，g_i为2^R+2个邻域像素的灰度值。

4.根据权利要求1所述基础矩阵的解算方法，其特征在于，所述步骤d1中，所述匹配指的是认为所述划分Pa和划分Pb中的各自编号相邻的划分是一一对应的。

5.根据权利要求1所述的基础矩阵的解算方法，其特征在于，所述步骤d2中，所述显著性模型D_ai与D_bi分别是形如

与

的实对称矩阵，半角矩阵U_ai与U_bi中的元素分别为

与

所述

表示所述图像f_a的第i个划分内的第m个角点与第n个角点间的欧式距离,所述

表示所述图像f_b的第i个划分内的第m个角点与第n个角点间的欧式距离；其中m,n>1且m≠n。

6.根据权利要求1所述的基础矩阵的解算方法，其特征在于，所述步骤e包括子步骤：

计算所述图像f_a与图像f_b的在第k个所述匹配划分P_ak与P_bk上，角点p_ai(x_ai,y_ai)与p_bj(x_bi,y_bi)间的所述显著相似性，根据所述显著相似性对所述角点特征进行匹配，并认为所述显著相似性在设定阈值范围[t1,t2]内的角点是匹配的，

其中，所述显著相似性计算公式为：

(p_ai∈P_ak,p_bi∈P_bk)，其中，D_ak 为所述划分P_ak内角点间的空间距离矩阵；v_ai为角点p_ai对应的纹理特征向量，D_bk为所述划分P_bk内角点间的空间距离矩阵，vbj为角点p_bj对应的纹理特征向量。

7.根据权利要求6所述基础矩阵的解算方法，其特征在于，所述步骤f包括子步骤：

根据每个所述匹配划分内所计算得到的所述显著相似性矩阵sim_k数值的大小，挑选出满足匹配阈值范围的成对的匹配角点特征，并将每对所述匹配角点特征对应的所述显著相似性作为其进行基础矩阵解算时的权重系数。

8.根据权利要求7所述基础矩阵的解算方法，其特征在于，所述步骤g包括子步骤：

遍历所述图像f_a与图像f_b上全部的所述匹配划分，根据所述步骤f得到所述图像f_a与图像f_b上的全部的所述匹配角点特征，以及对应的所述权重系数，采用加权最小二乘法计算图像f_a与f_b的基础矩阵。

9.根据权利要求8所述的基础矩阵的解算方法，其特征在于，所述加权最小二乘法的约束函数为minR＝X_aRFX_b，其中，R为所述图像f_a与f_b对应的权重矩阵，X_a与X_b分别为从所述图像f_a与图像f_b上获取的所述匹配角点特征，采用一维向量表示的所述基础矩阵为F＝{fi,i＝1,2,...,9}。

10.根据权利要求1所述的基础矩阵的解算方法，其特征在于，所述bin＝30。

Images