CN108597016A - 基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法 - Google Patents

Abstract

本发明公开一种基于相关熵的Torr‑M‑Estimators基础矩阵鲁棒估计方法，Torr‑M‑Estimators算法对每个匹配对的残差进行加权处理，以此减少较大残差的外点对基础矩阵的估计过程的影响，不同的权重函数会有不同的优化结果；基于信息论的相关熵函数在鲁棒性方面有较大优势，在精确度、鲁棒性方面有较为明显的提高；其利用Hartley方法进行数据归一化，线性最小二乘法获取基础矩阵的初值，相关熵为Torr‑M‑Estimators权重函数，特征值分解限定基础矩阵的秩为2，最小迭代误差和最大迭代次数确定循环结束条件；实验表明该方法具有很好的估计精度和鲁棒性，是三维重建、运动估计、匹配跟踪等领域中基础矩阵求解步骤中的重要改进方法。

Description

基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法

技术领域

本发明属于计算机视觉中多视图几何领域，是立体视觉中极线约束条件的数学表达基础矩阵求解的研究发明，具体涉及一种基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法。

背景技术

在计算机视觉领域，多视图几何是计算机通过二维图像表达三维世界的一个重要依据，其基础是对极几何原理，即同一场景不同视角的两幅图像中存在的重要几何约束关系如图2所示，像点m在另一个图像平面的对应点m'必定在其极线e'上面。对极几何关系可以用一个3阶秩2的矩阵表达，该矩阵称为基础矩阵，也称为F矩阵(Fundamental Matrix)，对极几何关系数学表达形式为m'^TFm＝0，其中m',m为对应的特征点匹配对，m_i＝(x_i,y_i,1)^T,m'_i＝(x_i',y_i',1)^T。基础矩阵的精确、鲁棒性地估计是三维重建、运动估计、匹配跟踪等技术的重要基础。基于此问题，人们已经做了大量的研究，求解方法分为三大类：线性法、迭代法和鲁棒求解法，线性求解法速度快，但是当有错误匹配点的时候，精确度很低；迭代求解法精度高，但相对于线性求解法计算时间长，同时当错误点较多的时候结果仍然不是很好；鲁棒求解法如最小中值法(LMedS)、随机抽样一致性法(RANSAC)以及其改MLESAC、最大后验一致算法(MAPSAC)、M估计法(Torr-M-Estimators)等，这类方法对于去除错误匹配点以及坏点有更好的效果。但是当原始匹配点错误匹配的比例多于50％时，Torr-M-Estimators估计方法有更好的稳定性，同时计算速度在鲁棒求解中也是最快的。因此本发明主要基于Torr-M-Estimators估计方法进行的发明研究，Torr-M-Estimators估计方法根据每个点对估计基础矩阵的贡献不同，对其加权处理，将误差大的点降低其权重因子，从而降低其对基础矩阵估计的影响，最终输出最优的基础矩阵。同时，最近基于信息论的相关熵损失函数在鲁棒性方面得到了很大的发展，基于此，本发明将相关熵函数为Torr-M-Estimators的权重函数，结合两者优势为新的基于相关熵的Torr-M-Estimators的基础矩阵求解方法Torr-M-Estimators(entropy)。实验结果表明该方法相对于传统方法，基础矩阵的求解精度和鲁棒性都得到了提高，同时算法的计算速度也有相对提高。

发明内容

为解决基础矩阵的精确、鲁棒求解，本发明的方法是：结合基于信息论的相关熵函数为Torr-M-Estimators的权重函数，从而降低外点即误差较大点对基础矩阵求解的影响。其集合了Torr-M-Estimators和相关熵函数的优点，实验结果表明此方法的基础矩阵的精确度和鲁棒性相对于传统的方法如RANSAC、LMedS、MLESAC、MAPSAC等方法都得到了相对的提高，是一种可行的、高效的基础矩阵鲁棒求解方法。

为了达到上述方法的目的，本发明采用如下技术方案：

一种基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法，包括以下步骤：

1)输入同一场景不同视角下的两幅图像，提取两视图特征点，并进行匹配，获取两视图特征点的匹配对[[m_i,m_i']，m_i＝(x_i,y_i,1)^T,m_i'＝(x_i',y_i',1)^T，特征点对数要求大于8；

2)利用Hartley方法进行数据规范化处理，即做各向同性的变换：

1，对图像点做位移变换，使图像的原点位于图像点集的质心；

2，对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内，从而得到新的对应点集；

3)构造目标函数：Af＝0，其中A为根据对应点集坐标构造的参数矩阵，f为要求解的未知数，包含了基础矩阵参数，利用最小二乘法估计基础矩阵初值F₀；

4)设定最大迭代次数N和所有匹配对的平均误差最小值ε，计算第i匹配对的残差即对极几何距离r(i)，i＝1…n和对极几何距离的标准偏差sig，Torr-M-Estimators取标准偏差sig：

sig＝median(abs(d))/0.6745

其中d是Torr-M-Estimators对残差第i匹配对r(i)进行的一个非线性优化变换后的残差，median(·)为取中值，abs(·)为取绝对值；

5)利用相关熵函数计算Torr-M-Estimators权重W(i)，i＝1…n，其计算公式如下：

其中r(i)为第i匹配对的残差即对极几何距离，sig为标准偏差；

6)目标函数变换为w_k-1Uf_k＝0，U为根据对应点集坐标构造的参数矩阵，w为权重函数，f_k为第k次循环要求解的未知数，令U'_k-1＝w_k-1U，则U'_k-1f_k＝0，利用特征值分解方法求解方程组，获取新参数矩阵特征值，选取最小的特征值对应的特征向量为当前迭代步骤的基础矩阵F_k；

7)限制基础矩阵F_k的秩为2，基础矩阵代表了两视图相机空间的旋转和平移关系，其只有7个自由度，行列式为0,利用SVD分解基础矩阵F_k：F_k＝ESV^T

其中E由F_kF_k ^T特征向量单位化之后组成，V由特征向量单位化之后组成，E和V都为正交矩阵，S为非负实对角矩阵，由的特征值λ₁，λ₂，λ₃的平方根组成，假设λ₃最小，令λ₃为0，新的基础矩阵

8)重复步骤4-7，当满足最大迭代次数N或者所有匹配对的平均残差小于最小误差ε的时候，退出循环，输出结果，得到最终的基础矩阵F_end。

本发明技术方案相对于现有技术方案，具有以下技术优点：

基于信息论的相关熵损失函数相对于传统的鲁棒函数对外点具有更强的抑制作用，具有更强的鲁棒性。将此函数作为Torr-M-Estimators方法的权重函数，可以有效的降低外点(误差较大点)对基础矩阵求解的影响。其集合了Torr-M-Estimators和相关熵函数的优点，实验表明此方法的基础矩阵的精确度和鲁棒性相对于传统的方法如RANSAC、LMedS、MLESAC、MAPSAC等方法都得到了相对的提高，是一种可行的、高效的基础矩阵鲁棒求解方法。

在大规模三维重建领域，基础矩阵包含了两视图对应相机的相对空间位置关系，进一步分解可以得到两相机相对的旋转和平移矩阵，恢复出相机的投影矩阵，进而实现匹配对的三维点云重建，基础矩阵的精确、鲁棒直接影响三维点云生成的精度；在即时定位与地图构建(SLAM)中基础矩阵的精确求解也是实时得到相机相对位姿的重要保证；同时在运动估计、匹配跟踪中，基础矩阵的求解也是其核心的步骤，其精确、鲁棒求解直接影响最终的结果。本发明方法提高了基础矩阵的精确度和鲁棒性，因此促进了三维重建、SLAM、运动估计、匹配跟踪等领域结果的精确度和鲁棒性。

附图说明

图1为基于相关熵的Torr-M-Estimators算法流程图。

图2为对极几何关系示意图。

图3为基于相关熵的损失函数对比，其中：

平方Loss:h(p)＝p.^2

L1Loss:h(p)＝||p||

cauthyLoss:h(p)＝(b.^2)*log(1+(p.^2)/(b.^2))。

arctanLoss:h(p)＝b*atan(p/b)

相关熵:h(p)＝1-exp(-(p.^2)/(2*b.^2))

图4为输入的不同视角下同一场景的两幅图，图4-a为第一个视角的图片，图4-b为第二个视角的图片。

图5为提取的SIFT特征点示意图，图5-a为第一个视角的特征点图片，图5-b为第二个视角的特征点图片。

图6为利用RANSAC方法匹配的对应点。

图7为反映到第一视角图片上的匹配点对应关系。

(Correspondence between two images)即箭头方向。

图8为不同方法求取F矩阵的平均对极几何误差(Mean)和其标准偏差(Stdev),分别为：M-Estimators、Torr-M-Estimators、Torr-M-Estimators(entropy)、RANSAC、LMedS、MLESAC、MAPSAC，其对比方法来自于Dr.Joaquim Salvi所提供的Fundamental MatrixEstimation toolbox。

图9为不同方法(图8所列方法)求取基础矩阵F所耗费的时间。

具体实施方式

下面结合附图详细介绍本发明各个步骤中细节。

本发明提出了一种基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法，如图1所示，具体包括以下步骤：

步骤1：对于输入如图4所示的同一场景不同视角的两幅图像，图4-a为第一视角的图像，图4-b为第二视角对应的图像。本发明提取SIFT特征点作为特征点描述算子，其结果如图5所示，图5-a，5-b代表了两个视角对应的SIFT特征点。采用RANSAC方法进行特征点匹配，其结果如图6所示，此时根据对几何关系可以大概估计匹配点的对应关系(Correspondence between two images)情况，如图7所示。获取两视图特征点的匹配对[[m_i,m_i']，m_i＝(x_i,yi,1)^T,m_i＝(x_i',y_i',1)^T，特征点对数要求大于8。

步骤2：利用Hartley方法进行数据规范化处理，即做各向同性的变换：1，对图像点做位移变换，使图像的原点位于图像点集的质心；2，对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内。其变换可以用一个矩阵H表示，[u',v',1]T＝H*[u,v,1]T。

其中：

如果根据变换后新的对应点集估计出基础矩阵为则真正的基础矩阵为

步骤3：构造目标函数为：Af＝0，其中A为根据对应点集坐标构造的参数矩阵，f为要求解的未知数，其组成形式如下：

f＝[f₁ f₂ f₃ f₄ f₅ f₆ f₇ f₈ f₉]^T

当匹配点对的个数大于8或者等于8的时候，可以利用最小二乘法求解基础矩阵初值F₀。设m＝[u v 1]^T，m'＝[u' v' 1]^T为归一化的匹配对，其满足对极几何约束关系m'^TF₀m＝0，基础矩阵初值F₀为一个阶为3秩为2的矩阵，那么对于每一个匹配对就有[uu' vu' u'uv' vv' v' u v 1]f＝0。因此当匹配对大于或者等于8的时候就可以求解出一个相差一个常数因子的基础矩阵初值F₀。其目标函数为：

min||Af||²约束条件为||f||＝1

具体步骤可以表示为：

a)构造系数矩阵A。

b)对系数矩阵进行奇异值分解，取最小特征值对应的特征向量构造基础矩阵初值F₀。

c)利用奇异值分解对基础矩阵初值F₀进行秩为2约束。

步骤4：设定最大迭代次数N和所有匹配对的平均残差最小值ε，计算第i匹配对的残差即对极几何距离r(i)，i＝1…n和标准偏差sig，对极几何误差可以采取r(i)＝||m'^TF_km||，也可以采用一阶几何误差也称为Sampson距离：

其中mi＝[u v 1]^T，m_i'＝[u' v' 1]T为归一化的匹配对，F_k为基础矩阵，其是重投影误差的一阶近似，在三维重建中，根据匹配点重建出三维点云，之后再次投影到二维图片上，其投影坐标跟真实的匹配点坐标之间的误差称为重投影误差，本发明采取此距离作为残差标准。其中sig为r(i)的标准偏差，

Torr-M-Estimators(torr)取标准偏差sig：

sig＝median(abs(d))/0.6745

其中d是Torr-M-Estimators对第i匹配对的残差r(i)进行的一个非线性优化的变换后的残差，median(·)是取中值，abs(·)为取绝对值。

步骤5：利用相关熵函数计算Torr-M-Estimators权重W(i)，其计算公式如下：

r(i)第i匹配对的残差即对极几何距离，sig为步骤4中Torr-M-Estimators标准方差。相关熵损失函数是最近被提出的损失函数，其在鲁棒性方面有其相对优势，各个损失函数的对比如图3所示，其来源于信息熵。熵常被用来衡量一个随机变量出现的期望值，而信息论的学习主要是基于熵的框架建立的，相关熵在实际运用中可以作为一种广义的相关函数来使用，可以用来衡量给定的特征向量之间相似性。假设给定任意两个随机变量X和Y，这两个变量的相关熵可以定义为：

V(X,Y)＝E[k_δ(X,Y)]＝∫∫k_δ(x,y)p_XY(x,y)dxdy

式中：E[·]函数期望值,k_d(·)满足Mercer理论的核函数,σ为标准偏差，p_XY(x,y)变量X和Y联合概率分布函数。如果核函数是平移不变的核函数，例如高斯核函数，函数将变成互相关核函数，运用泰勒展开式是对高斯核函数进行处理，相关熵公式如下：

该函数涉及到所有的偶数阶矩，所以交叉相关熵不受基于二阶矩的损失函数的限制，对于MSE类型的损失函数也能很好的进行估计。同时因为它对变量的概率密度分布的高阶矩进行了量化，相关熵对非线性、非高斯分布的数据进行更准确和有效地处理。

在实际过程中，随机变量的联合概率密度分布函数是未知的，在提供一定的数据X＝{x₁,x₂,...,x_N}和Y＝{y₁,y₂,...,y_N}，它们的相关熵可以进行如下的计算，在本发明中采用高斯核函数，随机变量X和Y之间的相关熵可以定义为：

式中：

基于相关熵所示的准则相对于均方误差准则(MSE)来说，能更好地训练含有噪声的样本，具有较强的抗噪声能力。本发明采取高斯核函数，对应的简化的损失函数为：其中p为对应的残差，σ为p的标准偏差。结合Torr-M-Estimators方法，本发明的变换Torr-M-Estimators权重函数为：

r(i)第i匹配对的残差即对极几何距离，sig为步骤4中的标准偏差。

步骤6：目标函数变换为w_k-1Uf_k＝0，U为根据对应点集坐标构造原始参数矩阵,f_k为第k次循环要求解的未知数。令U'_k-1＝w_k-1U则U'_k-1f_k＝0利用特征值分解方法求解方程组，获取新参数矩阵特征值，选取最小的特征值对应的特征向量为当前迭代步骤的基础矩阵F_k：

D_k-1＝(λ₁,…,λ₉)

f_k＝column j of V_k-1

eig为求取参数矩阵的特征值以及特征向量，V_k-1为特征向量，D_k-1为特征值，λ₁,…,λ₉代表9个特征值，min(·)为取最小值。

步骤7：限制求解的结果基础矩阵F_k的秩为2，基础矩阵代表了两视图相机空间的旋转和平移关系，其只有7个自由度，行列式为0,利用SVD方法分解基础矩阵F_k：

F_k＝ESV^T

其中E由F_kF_k ^T特征向量单位化之后组成，V由特征向量单位化之后组成，E和V都为正交矩阵，S为非负实对角矩阵，由的特征值λ₁，λ₂，λ₃的平方根组成，假设λ₃最小，其中去，即把最小的特征值变换为0，得到新的基础矩阵为

步骤8：重复步骤4-7，满足最大迭代次数N或者所有匹配对的平均残差小于最小残差ε的时候，退出循环，输出结果，得到最终的基础矩阵F_end。

图8和图9为输入同样的图4所对应的图片和传统方法(LMedS、RANSAC、MLESAC、MAPSAC以及传统的M-Estimators，Torr-M-Estimators)所得到的误差和所耗费时间的对比。加入了相关熵函数为权重函数的Torr-M-Estimators(entropy)平均误差和标准差相对于Torr-M-Estimators有所下降，同时优于M-Estimators、LMedS、RANSAC、MLESAC、MAPSAC等方法。同时在运行时间方面，也有了略微的减少。实验结果表明本发明所述方法是一种可行的、高效的基础矩阵更鲁棒求解方法。

Claims (1)

1.一种基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法，其特征在于：包括如下步骤：

1)输入同一场景不同视角下的两幅图像，提取两视图特征点，并进行匹配，获取两视图特征点的匹配对[m_i,m_i']，m_i＝(x_i,yi,1)^T,m_i'＝(x_i',y_i',1)^T，特征点对数要求大于8；

2)利用Hartley方法进行数据规范化处理，即做各向同性的变换：1，对图像点做位移变换，使图像的原点位于图像点集的质心；2，对图像点做缩放变换，使得图像点分布在以质心为圆心半径为的圆内，从而得到新的对应点集；

3)构造目标函数：Af＝0，其中A为根据对应点集坐标构造的参数矩阵，f为要求解的未知数，包含了基础矩阵参数，利用最小二乘法估计基础矩阵初值F₀；

4)设定最大迭代次数N和所有匹配对的平均误差最小值ε，计算第i匹配对的残差即对极几何距离r(i)，i＝1…n和对极几何距离的标准偏差sig，Torr-M-Estimators取标准偏差sig：

sig＝median(abs(d))/0.6745

其中d是Torr-M-Estimators对残差第i匹配对r(i)进行的一个非线性优化变换后的残差，median(·)为取中值，abs(·)为取绝对值；

5)利用相关熵函数计算Torr-M-Estimators权重W(i)，i＝1…n，其计算公式如下：

其中r(i)为第i匹配对的残差即对极几何距离，sig为标准偏差；

6)目标函数变换为w_k-1Uf_k＝0，U为根据对应点集坐标构造的参数矩阵，w为权重函数，f_k为第k次循环要求解的未知数，令U'_k-1＝w_k-1U，则U'_k-1f_k＝0，利用特征值分解方法求解方程组，获取新参数矩阵特征值，选取最小的特征值对应的特征向量为当前迭代步骤的基础矩阵F_k；

7)限制基础矩阵F_k的秩为2，基础矩阵代表了两视图相机空间的旋转和平移关系，其只有7个自由度，行列式为0,利用SVD分解基础矩阵F_k：F_k＝ESV^T，其中E由F_kF_k ^T特征向量单位化之后组成，V由特征向量单位化之后组成，E和V都为正交矩阵，S为非负实对角矩阵，由的特征值λ₁，λ₂，λ₃的平方根组成，假设λ₃最小，令λ₃为0，新的基础矩阵

8)重复步骤4-7，当满足最大迭代次数N或者所有匹配对的平均残差小于最小误差ε的时候，退出循环，输出结果，得到最终的基础矩阵F_end。