CN106709942A - 一种基于特征方位角的全景图像误匹配消除方法 - Google Patents

Abstract

本发明公开了一种基于特征方位角的全景图像误匹配消除方法，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；最后通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征匹配对。本发明，可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，去除图像中错误匹配的特征点，该方法有效的减少了误匹配特征点的数量，为后续视觉相关任务的顺利完成提供良好的基础。

Description

一种基于特征方位角的全景图像误匹配消除方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于特征方位角的全景图像误匹配消除方法。

背景技术

基于折反射全景图像的特征匹配在很多计算机视觉相关的任务中是很重要的一个步骤，例如图像拼接、目标识别及运动估计等。匹配操作一般是在基于同一场景的两幅图像间进行的，其通常包括特征提取和匹配两步。目前在图像特征的提取和匹配方面应用比较广泛的是SIFT(Scale Invariant Feature Transform)算法，尽管SIFT特征对平移、旋转、尺度缩放等具有良好的不变性，同时对于视角变化、仿射变换和亮度变化也能够保持一定程度的稳定性，但在实际应用中仍然存在特征点的误匹配问题。这些错误匹配的特征点会严重影响后续视觉任务的执行，甚至导致任务失败。因此，尽量消除错误匹配的特征点至关重要。

RANSAC(Random Sample and Consensus)是一种应用广泛的消除误匹配方法。这种方法采用大量匹配特征点样本进行实验找到最适合的参数，并通过这些参数建立两幅图像间的转换矩阵。该矩阵一般描述平移、旋转及尺度等变换。利用转换矩阵，可以根据一个特征点在图像中的位置坐标来估计其匹配点的坐标，进而判断特征点匹配对是否正确。在折反射全景图像中，由于其投影关系较为复杂且存在成像畸变，因此在两幅图像中的特征点之间难以建立统一的转换矩阵。即RANSAC方法难以直接应用于未处理的折反射全景图像上，其一般需要先将全景图像展开后才能处理。与RANSAC方法类似，目前存在的大部分误匹配消除算法应用于折反射全景图像时都存在上述问题。

综上所述，目前需要一种不需要对折反射全景图像进行展开，可以有效的减少错误匹配特征对的全景图像误匹配消除方法。

发明内容

本发明所要解决的技术问题是在去除误匹配特征的过程中需要将环形的折反射全景图像进行展开，导致额外增加计算量还会丢失部分图像信息的问题。

为了解决上述技术问题，本发明所采用的技术方案是提供一种基于特征方位角的全景图像误匹配消除方法，包括以下步骤：在折反射式全景成像系统中，将用于形成周围环境场景的图像的曲面镜和位于曲面镜的下方且光轴指向曲面镜的摄像机一起完成全景图像的采集，在理想情况下，在未展开的全景图像中存在一个以图像中心为圆心的圆，与曲面镜内焦点位于同一水平高度的特征点投影必定位于该圆上，设该圆为horizon圆，

步骤一，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并根据该一维图像结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；

步骤二，分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并通过相应的最优相机运动参数根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；

步骤三，通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征匹配对。

在上述方案中，设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径。

反射镜方程为：

x²/a²-(y+c)²/b²＝-1，其中

计算可知：

根据相似三角形的性质可知：

计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆；

设全景相机的运动空间为一个平面，两幅匹配全景图像分别为I_H和I_C，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，P_H为图像I_H中的一个像素点L在Horizon圆上的位置，θ_H为像素点L对应的方位角；P_C为像素点L在图像I_C中的位置，θ_C为其对应的方位角。

在上述方案中，以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数；

设L为场景中的一个特征，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向。θ_H为特征L在位置H处的方位角，θ_C为L在位置C处的方位角，θ_T为相机平移运动的方向角，θ_R为相机自身旋转的角度。d_LH为特征点L与位置H之间的距离，d_CH为位置C与H之间的距离。在三角形LHC中应用正弦定理，可以得到：

令d_LH/d_CH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：

其中，上式共包含λ、θ_T和θ_R三个运动参数。

分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以图2中x_I轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用I_H1和I_C1表示。然后以I_H1为初始图像，按照一定的搜索步长对参数λ、θ_T和θ_R的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像将预测图像与实际提取得到的I_C1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数和

在上述方案中，在步骤二中，通过步骤一中确定的最优运动参数和并结合变换方程，即可根据特征在图像I_H中的方位角θ_H预测出其匹配特征在图像I_C中的方位角最后，在步骤三中，通过设定判断阈值θ_THR，去除掉满足式的特征匹配对。

本发明，不需要展开折反射全景图像及建立两幅图像间的转换矩阵，可以有效的消除图像中大部分错误匹配的特征点，提高了匹配准确度，可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，该算法有效的减少了误匹配特征点的数量，为后续视觉相关任务的顺利完成提供良好的基础。

附图说明

图1为本发明的Horizon圆成像原理图；

图2为本发明位于horizon圆上的像素的方位角变化特性图；

图3为本发明全景图像中的特征方位角随相机运动而变化的几何描述图；

图4为本发明拍摄两幅全景图像时相机最优运动参数的估计方法图；

图5a为本发明基于original图像库的初始SIFT特征匹配结果图；

图5b为本发明基于original图像库的消除误匹配特征后的结果图；

图6a为本发明基于chairs图像库的初始SIFT特征匹配结果图；

图6b为本发明基于chairs图像库的消除误匹配特征后的结果图；

图7a为本发明基于day图像库的初始SIFT特征匹配结果图；

图7b为本发明基于day图像库的消除误匹配特征后的结果图；

图8为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明做出详细的说明。

如图1、图8所示，本发明提供的是一种基于特征方位角的全景图像误匹配消除方法。包括以下步骤：

步骤一、根据折反射全景成像系统的参数在图像中确定Horizon圆。如图1所示：设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径。

反射镜方程为：

x²/a²-(y+c)²/b²＝-1，其中

计算可知：

根据相似三角形的性质可知：

计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆。

如图2所示，Horizon圆具有如下特性：假设全景相机的运动空间为一个平面，两幅匹配全景图像分别为I_H和I_C，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，P_H为图像I_H中的一个像素点L在Horizon圆上的位置，θ_H为像素点L对应的方位角；P_C为像素点L在图像I_C中的位置，θ_C为其对应的方位角。由于Horizon圆上的像素点的成像半径为定值，因此通过其方位角即可确定对应的像素位置。

步骤二、以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数。

如图3所示，L为场景中的一个特征，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向。θ_H为特征L在位置H处的方位角，θ_C为L在位置C处的方位角，θ_T为相机平移运动的方向角，θ_R为相机自身旋转的角度。d_LH为特征点L与位置H之间的距离，d_CH为位置C与H之间的距离。在三角形LHC中应用正弦定理，可以得到：

令d_LH/d_CH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：

其中，上式共包含λ、θ_T和θ_R三个运动参数。

在上述基础上，分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以图2中x_I轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用I_H1和I_C1表示。然后以I_H1为初始图像，按照一定的搜索步长对参数λ、θ_T和θ_R的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像将预测图像与实际提取得到的I_C1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数和

如图4所示。在上述计算过程中，两幅一维图像之间的图像距离由下式判定：

其中，n为一维图像中的像素点数量，I_C1(i)和分别表示一维图像中对应位置的像素的灰度值。

步骤三、通过步骤一中确定的最优运动参数和并结合变换方程，即可根据特征在图像I_H中的方位角θ_H预测出其匹配特征在图像I_C中的方位角最后，在步骤三中，通过设定判断阈值θ_THR，去除掉满足式的特征匹配对。

本发明的优点在于其不需要对折反射全景图像进行展开，且不需要建立两幅图像间的转换矩阵，可以有效的减少错误匹配特征对的数量。

为了说明算法的效果，本发明采用比勒费尔德大学提供的全景图像数据库进行分析。在数据库中选取在original、chairs和day三个场景下的全景图像作为测试数据，以SIFT(Scale Invariant Feature Transform)算法作为原始的特征提取和匹配算法，得到的对比实验结果如图5～图7和表1～表3所示：

表1基于图5的量化分析

表2基于图6的量化分析

表3基于图7的量化分析

其中，在表1～表3所示的实验结果中，N_t表示在两幅全景图像间提取到的特征匹配对的总数量，N_m表示N_t中正确匹配的特征对数量，N_w表示误删除的特征匹配对数量，η_m表示特征的匹配准确率，η_w表示误删除率。

本发明，多个实际场景的实验表明，这种方法不需要展开折反射全景图像及建立两幅图像间的转换矩阵，可以有效的消除图像中大部分错误匹配的特征点，提高了匹配准确度。本发明提出的特征误匹配消除算法可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，该算法有效的减少了误匹配特征点的数量，为后续视觉相关任务(图像拼接、目标识别及视觉导航等)的顺利完成提供良好的基础。

本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (4)

1.一种基于特征方位角的全景图像误匹配消除方法，包括以下步骤：在折反射式全景成像系统中，将用于形成周围环境场景的图像的曲面镜和位于曲面镜的下方且光轴指向曲面镜的摄像机一起完成全景图像的采集，在理想情况下，在未展开的全景图像中存在一个以图像中心为圆心的圆，与曲面镜内焦点位于同一水平高度的特征点投影必定位于该圆上，设该圆为horizon圆，其特征在于，

步骤一，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并根据该一维图像结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；

步骤二，分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并通过相应的最优相机运动参数根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；

步骤三，通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征匹配对。

2.如权利要求1所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤一中，设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径。

反射镜方程为：

x²/a²-(y+c)²/b²＝-1，其中

计算可知：

$r=a*\sqrt{\frac{c^2}{b^2}-1};d=2*\sqrt{a^2+b^2};$

根据相似三角形的性质可知：

$\frac{R}{f}=\frac{r}{d}\⇒R=\frac{r*f}{d}$

计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆；

设全景相机的运动空间为一个平面，两幅匹配全景图像分别为I_H和I_C，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，P_H为图像I_H中的一个像素点L在Horizon圆上的位置，θ_H为像素点L对应的方位角；P_C为像素点L在图像I_C中的位置，θ_C为其对应的方位角。

3.如权利要求2所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤一中，以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数；

设L为场景中的一个特征，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向。θ_H为特征L在位置H处的方位角，θ_C为L在位置C处的方位角，θ_T为相机平移运动的方向角，θ_R为相机自身旋转的角度。d_LH为特征点L与位置H之间的距离，d_CH为位置C与H之间的距离。在三角形LHC中应用正弦定理，可以得到：

$\frac{d_{LH}}{d_{CH}}=\frac{sin({\mathrm{\θ}}_C+{\mathrm{\θ}}_R-{\mathrm{\θ}}_T)}{\sin ({\mathrm{\θ}}_R+{\mathrm{\θ}}_C-{\mathrm{\θ}}_H)}$

令d_LH/d_CH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：

$\mathrm{\θ}=arctan\[\frac{\mathrm{\λ}sin\left({\mathrm{\θ}}_r\right)-sin\left({\mathrm{\θ}}_H\right)}{\mathrm{\λ}cos\left({\mathrm{\θ}}_r\right)-cos\left({\mathrm{\θ}}_H\right)}\]-{\mathrm{\θ}}_R$

其中，上式共包含λ、θ_T和θ_R三个运动参数。

分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以图2中x_I轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用I_H1和I_C1表示。然后以I_H1为初始图像，按照一定的搜索步长对参数λ、θ_T和θ_R的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像将预测图像与实际提取得到的I_C1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数和

4.如权利要求3所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤二中，通过步骤一中确定的最优运动参数和并结合变换方程，即可根据特征在图像I_H中的方位角θ_H预测出其匹配特征在图像I_C中的方位角最后，在步骤三中，通过设定判断阈值θ_THR，去除掉满足式的特征匹配对。