CN110033046A - 一种计算特征匹配点分布可信度的量化方法 - Google Patents

Abstract

本发明公开一种计算特征匹配点分布可信度的量化方法，包括以下步骤：获取立体像对中所有特征匹配点的像平面坐标，估算特征匹配点集合所在上述立体图像重叠区域的范围和重叠区域的中心点位坐标；重新分配立体像对重叠区域的特征匹配点，使其分布均匀；分别计算立体像对重叠区域中原有的和重新分配后的特征匹配点集合所对应的HDOP值，分别即为HDOP_实测和HDOP_理论；在计算HDOP_实测相对于HDOP_理论相对误差(a＝(HDOP_实测‑HDOP_理论)/HDOP_实测)的基础上，运用可信度值((1‑a)×100％)来表示基于立体像对提取的特征匹配点分布对重建三维模型质量影响程度。本发明能够为基础矩阵描述图像内在射影关系、为衡量图像三维建模的精度提供度量标准。

Description

一种计算特征匹配点分布可信度的量化方法

技术领域

本发明涉及图像处理技术领域，具体的说是一种计算特征匹配点分布可信度的量化方法。

背景技术

随着数码相机、手机等摄像设备的普及使用，以及摄像元件分辨率越来越高，图像包含的空间信息也越来越丰富，从图像中快速提取并构建三维模型成为3DGIS空间数据获取的发展趋势。目前，基于图像的三维点云重建流程主要包括特征匹配、基础矩阵估计、摄影机自标定和三维点云计算等环节。其中，特征匹配是基础矩阵估计、摄影机自标定和三维点云计算等的数据源。特征匹配点的不确定性直接影响基础矩阵、摄影测参数和三维点云坐标的精度。因此在基于图像三维点云重建过程中，需要重视特征匹配点的不确定性研究。特征匹配点精度、数量及其分布形态均是特征匹配点不确定性的重要影响因素，已有研究多集中于特征匹配点精度分析，较少针对特征匹配点分布的影响进行研究，因此本发明拟针对特征匹配点分布的可行度的量化方法进行研究。

若利用同一相机对同一场景多次拍照，在拍照过程中改变相机焦距、曝光量、光圈大小等参数，多次拍照获取的照片的像素大小、光亮度或清晰度不尽相同。如果用一种特征匹配算法提取上述照片的特征匹配点，一般情况下，对于上述不同相机参数拍照得到的照片提取出来的特征匹配点的分布不同。如图1所示，相同场景的立体像对提取出来的特征匹配点分布存在一定的差异。

在图像三维点云重建过程中，如果用数量相同、精度相同但分布不同的多组特征匹配点集合计算基础矩阵时，计算结果存在误差，基于上述特征匹配点和基础矩阵计算出来的三维点坐标也是有差异的。特征匹配点分布的好坏可能会影响图像三维点云重建的效果。若从一组立体像对中提取出来特征匹配点集合，这样分布的特征匹配点集合能够重建出高精度的3D模型吗，能重建出高精度三维模型的可信度(概率)是多少呢？本发明解决此问题。

发明内容

针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种计算特征匹配点分布可信度的量化方法。

本发明为实现上述目的所采用的技术方案是：一种计算特征匹配点分布可信度的量化方法，包括以下步骤：

步骤1，基于特征匹配点集合计算立体像对的单应矩阵，并在所述单应矩阵的基础上估算立体像对的重叠区域范围和重叠区域中心点位坐标；

步骤2，在立体像对的重叠区域中，将步骤1中的特征匹配点进行重新分配，使其均匀分布；

步骤3，计算步骤1中特征匹配点分布所对应的HDOP_实测和步骤2中特征匹配点分布所对应的HDOP_理论；

步骤4，根据所述HDOP_实测和HDOP_理论计算特征匹配点分布影响的可信度CI。

所述在所述单应矩阵的基础上估算立体像对的重叠区域范围，包括以下步骤：

根据所述单应矩阵，计算立体像对中右图像的顶点转换到左图像中的点集；

根据立体像对中左图像的顶点集合和右图像顶点转换到左图像中的点集坐标及其边关系，计算所述立体像对的交集；

根据计算得到的立体像对的交集，计算所述重叠区域的面积。

所述在所述单应矩阵的基础上估算立体像对的重叠区域中心点位坐标，包括以下步骤：

根据所述单应矩阵，计算立体像对中右图像的顶点转换后到左图像中的点集；

根据立体像对中的左图像顶点集合和右图像顶点转换到左图像后的点集，计算所述立体像对的交集；

根据计算得到的立体像对的交集，即可得到重叠区域的顶点坐标，顶点对角连线的交点即为所述重叠区域的中心点位坐标。

所述计算步骤1中特征匹配点分布所对应的HDOP_实测，包括以下步骤：

计算图像重叠区域中特征匹配点分布的状态矩阵为：

其中，

式中，n是用于估算的特征匹配点集合的数量；i＝1，2，…，n表示第i个特征匹配点；ΔX_i，ΔY_i分别表示x、y方向上立体像对重叠区域的中心点位坐标与第i个特征匹配点坐标之间方向矢量的差值；

计算立体像对重叠区域中特征匹配点集合所对应的HDOP值：

HDOP_实测＝(tr(Q^TQ)-1)^1/2 (4)

其中，tr表示矩阵的迹。

所述步骤2中特征匹配点分布所对应的HDOP_理论，包括以下步骤：

计算在立体像对重叠区域中重新均匀分配的特征匹配点分布的状态矩阵为：

其中，

式中，n是用于估算的特征匹配点集合的数量；i＝1，2，…，n表示第i个特征匹配点；ΔX_i`，ΔY<sub>i</sub>`分别表示x、y方向上立体像对重叠区域的中心点位坐标与第i个特征匹配点坐标之间方向矢量的差值；

计算在立体像对重叠区域中重新均匀分配的特征匹配点集合所对应的HDOP值：

HDOP_理论＝(tr(Q^TQ)^-1)^1/2 (3)

其中，tr表示矩阵的迹。

所述根据所述HDOP_实测和HDOP_理论计算特征匹配点分布影响的可信度CI，具体为：

已知HDOP_实测和HDOP_理论，利用公式(4)计算HDOP_实测与HDOP_理论之间的相对误差a：

描述特征匹配点分布的影响值：

CI＝(1-α)×100％ (5)

本发明具有以下优点及有益效果：

1、特征匹配点分布与GPS领域中卫星星座的几何形状(分布)对卫星导航接收机的影响情况相似，本发明引入GPS导航与定位系统中的水平精度衰减因子(HDOP)进行量化研究。

2、本发明提出了一种计算特征匹配点分布可信度的量化方法。度量特征匹配点分布的可信度是分析基于立体影像提取的特征匹配点分布与理想状况(均匀分布的特征匹配点分布)的差异。本发明是在获取立体像对重叠区域范围和重叠区域中心点坐标的基础上，重新分配立体像对重叠区域的特征匹配点，使其分布均匀，进而估算重叠区域中特征匹配点所对应的HDOP_实测和重新分配后特征匹配点所对应的HDOP_理论，在分析HDOP_实测与HDOP_理论之间相对误差a的基础上，用(1-a)×100％度量了基于立体像对提取出来的特征匹配点分布的可信度；

利用本发明度量得到的特征匹配点分布的可信度范围为[0，1]，当可信度的取值越接近于1，表明该分布的特征匹配点估算的基础矩阵估计、重建的三维模型的质量越高。反之，若可信度的取值接近于0，则表明基于该分布的特征匹配点重建的三维模型的质量可能较差。可信度值表明基于该分布的特征匹配点对基础矩阵估计、三维重建结果影响的程度。

3、本发明能够为基础矩阵描述图像内在射影关系、为衡量图像三维建模的精度提供度量标准。

附图说明

图1为同一立体像对对应不同分布的特征匹配点示意图；

其中，(a)为退化配置的特征匹配点，(b)为聚集的特征匹配点，(c)为均匀分布的特征匹配点；

图2为重叠区域中特征匹配点重分布图；

图3为本发明的方法流程图；

图4为本发明的估算立体像对重叠区域范围和中心点位坐标的示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明引入GPS卫星导航与定位系统中的水平精度衰减因子(HDOP)，参照以均匀分布的特征匹配点估算出来的HDOP值最佳为原则，构建了特征匹配点分布可信度的量化方法。

如图3所示，计算特征匹配点分布可信度的量化方法，包括以下步骤：步骤1，基于特征匹配点集合计算立体像对的单应矩阵的基础上，估算立体像对的重叠区域范围和重叠区域中心点位坐标。

将立体像对左右两幅图像都理解为多边形，则重叠区域的计算相当于求多边形的交集。首先利用单应矩阵还原右图像在左图像的点集，结合左图像的点集，计算多边形的交集，从而标识出重叠区域范围及顶点坐标。

其中，估算特征匹配点集合所在的图像重叠区域的范围，如图4所示，包括以下步骤：

(1)根据立体像对重叠区域中所有特征匹配点计算所述立体像对的单应矩阵；(2)根据所述单应矩阵，如图4所示，计算立体像对中右图像的顶点(A₂、B₂、C₂、D₂)转换到左图像中的点集(AA₂、BB₂、CC₂、DD₂)；立体像对中所有特征匹配点也即为立体像对重叠区域中所包含的特征匹配点。不重叠的区域找不到特征匹配点。

(3)根据立体像对中左图像的顶点集合(A₁、B₁、C₁、D₁)和右图像顶点转换到左图像中的点集(AA₂、BB₂、CC₂、DD₂)坐标及其边的关系，计算所述立体像对(左右两张图像)的交集(AA₂、BB₂、E₁、F₁)。

(4)根据(3)中计算得到的立体像对的交集，即可得到所述重叠区域的位置和范围。

其中，估算特征匹配点集合所在立体像对重叠区域的中心点位坐标，如图4所示，包括以下步骤：

(1)根据立体像对重叠区域中所有特征匹配点计算所述立体像对的单应矩阵；

(2)根据所述单应矩阵，计算立体像对中右图像的顶点转换后的点集；

(3)根据立体像对中的左图像顶点集合和右图像顶点转换到左图像后的点集，计算所述立体像对的交集；

(4)如图4所示，根据(3)中计算得到的立体像对的交集(AA₂、BB₂、E₁、F₁)，即可得到重叠区域的顶点坐标，顶点对角连线的交点O即为所述重叠区域的中心点位坐标。

度量特征匹配点的最佳分布是以立体像对重叠区域中心点坐标为中心，其他点均匀分布于重叠区域中，因此中心点坐标是本文案为特征匹配点分布赋予的最佳空间位置，是度量特征匹配点分布的前提条件。

步骤2，在立体像对重叠区域中，将步骤1中特征匹配点进行重新分配，使其均匀分布。图2为重叠区域中特征匹配点重分布图。

选用任意一种特征匹配算法即可得到两幅图像重叠区域中的特征匹配点集合。首先统计得到上述特征匹配点集合的数量，利用Matlab平台中均匀分布的随机数函数(random())或其他平台上的方法可以在立体像对重叠区域中生成数量相等、分布均匀的特征匹配点。如图2所示，左图表示利用一种特征匹配算法从立体像对重叠区域中提取出来的特征匹配点集合的分布情况，右图表示的是将左图中数量相同的特征匹配点均匀分布后的效果图。

步骤3，计算步骤1和步骤2中特征匹配点分布所对应的HDOP_实测和HDOP_理论。

HDOP_实测是由已知立体像对提取的特征匹配点集合，结合公式(1)和公式(2)估算得到的。HDOP_理论是假设基于上述立体像对重叠区域提取的分布均匀的、与估算HDOP_实测所用的特征匹配点数量相等的特征匹配点集合，结合公式(1)和公式(2)估算得到的。

只要已知特征匹配点集合坐标，即可求得HDOP值，因此HDOP_实测和HDOP_理论可以是在依次得到各自特征匹配点集合的情况下计算得到，也可以是在获得两组特征匹配点集合之后同时计算得到。

所述估算从立体像对重叠区域中实际提取的特征匹配点集合所对应的HDOP_实测，具体为：已知立体像对，在选用任意一种特征匹配点算法的基础上可以提取立体像对的特征匹配点。在上述任意一幅图像中，特征匹配点的坐标是在提取特征匹配点的过程中得到的，根据特征匹配点集合的坐标、重叠区域范围、重叠区域中心点坐标和下面计算公式(1)即可得到矩阵Q，再结合公式(3)即可求得立体像对重叠区域中实际提取的特征匹配点集合所对应的HDOP_实测。

所述在立体像对重叠区域中重新均匀分配上述特征匹配点的基础上，估算其对应的HDOP_理论，与上一段中的计算过程基本一致，区别在于特征匹配点集合的坐标不同。在上述立体像对重叠区域中重新均匀分配特征匹配点之后，由新生成的特征匹配点集合的坐标、重叠区域中心点坐标和下面计算公式(1)即可得到矩阵Q，再结合公式(3)即可求得立体重叠区域中均匀分布的特征匹配点所对应的HDOP_理想。

以下为HDOP值的计算方法：

特征匹配点分布与GPS领域中卫星星座的几何形状(分布)对卫星导航接收机的影响情况相似，本发明引入GPS导航与定位系统中的精度衰减因子(DOP)进行研究。DOP主要分为：三维位置精度因子(PDOP)、钟差精度因子(TDOP)、水平分量精度因子(HDOP)和垂直分量精度因子(VDOP)，其中HDOP是基于卫星经纬度坐标来表达平面精度的因子。由于特征匹配点分布也是基于立体像对中特征匹配点的x和y坐标表示，因此本发明选用HDOP作为特征匹配点分布的量化指标。

立体像对重叠区域的中心点坐标比作GPS卫星导航与定位系统中的接收机，特征匹配点比作卫星。具体的计算过程如下：设特征匹配点分布的状态矩阵为：

其中，

式中，n是用于估算的特征匹配点集合的数量；i＝1，2，…，n表示第i个特征匹配点；ΔX_i，ΔY_i分别表示x、y方向上立体像对重叠区域的中心点坐标与第i个特征匹配点坐标之间方向矢量的差值。根据公式(3)，通过度量状态矩阵Q转置与其自身Q相乘后的逆矩阵的迹的平方根(在线性代数中，一个矩阵的迹是指矩阵主对角线，即从左上方至右下方的对角线，上各个元素的总和)，即可求得特征匹配点分布所对应的HDOP值。

HDOP＝(tr(Q^TQ)^-1)^1/2 (3)

式中，tr表示trace，表示矩阵的迹。

步骤4，计算特征匹配点分布影响的可信度CI。

当特征匹配点均匀分布于立体像对的重叠区域时，基于该组特征匹配点计算得到的基础矩阵更接近立体图像之间的对极几何，那么基于上述分布的特征匹配点计算得到的三维点云坐标就越准确。因此本发明认为，度量特征匹配点分布的可信度就是分析基于立体影像提取的特征匹配点分布与理想状况下(均匀分布的特征匹配点分布)的差异，借鉴概率论置信区间等相关内容，运用可信度度量基于立体像对提取的特征匹配点分布的影响值。

具体地，利用步骤3中的HDOP_实测和HDOP_理论，计算HDOP_实测与HDOP_理论之间的相对误差a，在此基础上，利用可信度(概率)来表达特征匹配点分布的可行度CI。

以下为CI的计算过程：

已知HDOP_实测和HDOP_理论，利用公式(4)计算HDOP_实测与HDOP_理论之间的相对误差a：

运用概率论中可信度(概率)CI来描述特征匹配点分布的影响值：

CI＝(1-α)×100％ (5)

利用本发明度量得到的特征匹配点分布的可信度范围为[0，1]，当可信度的取值越接近于1，表明该分布的特征匹配点估算的基础矩阵估计、重建的三维模型的质量越高。反之，若可信度的取值接近于0，则表明基于该分布的特征匹配点重建的三维模型的质量可能较差。可信度值表明基于该分布的特征匹配点对基础矩阵估计、三维重建结果影响的程度。

Claims (6)

1.一种计算特征匹配点分布可信度的量化方法，其特征在于，包括以下步骤：

步骤1，基于特征匹配点集合计算立体像对的单应矩阵，并在所述单应矩阵的基础上估算立体像对的重叠区域范围和重叠区域中心点位坐标；

步骤2，在立体像对的重叠区域中，将步骤1中的特征匹配点进行重新分配，使其均匀分布；

步骤3，计算步骤1中特征匹配点分布所对应的HDOP_实测和步骤2中特征匹配点分布所对应的HDOP_理论；

步骤4，根据所述HDOP_实测和HDOP_理论计算特征匹配点分布影响的可信度CI。

2.根据权利要求1所述的一种计算特征匹配点分布可信度的量化方法，其特征在于，所述在所述单应矩阵的基础上估算立体像对的重叠区域范围，包括以下步骤：

根据所述单应矩阵，计算立体像对中右图像的顶点转换到左图像中的点集；

根据立体像对中左图像的顶点集合和右图像顶点转换到左图像中的点集坐标及其边关系，计算所述立体像对的交集；

根据计算得到的立体像对的交集，计算所述重叠区域的面积。

3.根据权利要求1所述的一种计算特征匹配点分布可信度的量化方法，其特征在于，所述在所述单应矩阵的基础上估算立体像对的重叠区域中心点位坐标，包括以下步骤：

根据所述单应矩阵，计算立体像对中右图像的顶点转换后到左图像中的点集；

根据立体像对中的左图像顶点集合和右图像顶点转换到左图像后的点集，计算所述立体像对的交集；

根据计算得到的立体像对的交集，即可得到重叠区域的顶点坐标，顶点对角连线的交点即为所述重叠区域的中心点位坐标。

4.根据权利要求1所述的一种计算特征匹配点分布可信度的量化方法，其特征在于，所述计算步骤1中特征匹配点分布所对应的HDOP_实测，包括以下步骤：

计算图像重叠区域中特征匹配点分布的状态矩阵为：

其中，

式中，n是用于估算的特征匹配点集合的数量；i＝1，2，…，n表示第i个特征匹配点；ΔX_i，ΔY_i分别表示x、y方向上立体像对重叠区域的中心点位坐标与第i个特征匹配点坐标之间方向矢量的差值；

计算立体像对重叠区域中特征匹配点集合所对应的HDOP值：

HDOP_实测＝(tr(Q^TQ)-1)^1/2 (4)

其中，tr表示矩阵的迹。

5.根据权利要求1所述的一种计算特征匹配点分布可信度的量化方法，其特征在于，所述步骤2中特征匹配点分布所对应的HDOP_理论，包括以下步骤：

计算在立体像对重叠区域中重新均匀分配的特征匹配点分布的状态矩阵为：

其中，

式中，n是用于估算的特征匹配点集合的数量；i＝1，2，…，n表示第i个特征匹配点；ΔX_i`，ΔY<sub>i</sub>`分别表示x、y方向上立体像对重叠区域的中心点位坐标与第i个特征匹配点坐标之间方向矢量的差值；

计算在立体像对重叠区域中重新均匀分配的特征匹配点集合所对应的HDOP值：

HDOP_理论＝(tr(Q^TQ)^-1)^1/2 (3)

其中，tr表示矩阵的迹。

6.根据权利要求1所述的一种计算特征匹配点分布可信度的量化方法，其特征在于，所述根据所述HDOP_实测和HDOP_理论计算特征匹配点分布影响的可信度CI，具体为：

已知HDOP_实测和HDOP_理论，利用公式(4)计算HDOP_实测与HDOP_理论之间的相对误差a：

描述特征匹配点分布的影响值：

CI＝(1-a)×100％ (5)。