CN111429493B - 一种多图像间特征点匹配方法 - Google Patents

Abstract

本发明属于计算机图像处理和计算机图形学的技术领域，涉及一种多图像间特征点匹配方法；其工艺步骤包括：步骤一，利用手机陀螺仪数据计算每张图像的旋转矩阵；步骤二，利用旋转矩阵计算图像视角方向；步骤三，计算各图像视角方向间的夹角；步骤四，根据夹角大小筛选出预选图像对：步骤五，利用现有算法匹配预选图像对的特征点，得到特征点匹配关系：步骤六，根据几何约束筛选特征点匹配关系；所述方法步骤完善合理，通过初步对图像对筛选、以及剔除错误的特征点匹配关系，极大减少计算复杂度，显著提高了图像匹配的精度，本方法在数字摄影测量、计算机视觉等诸多领域具有广阔的应用前景。

Description

一种多图像间特征点匹配方法

技术领域：

本发明属于属于计算机图像处理和计算机图形学的技术领域，涉及一种多图像间特征点匹配方法，该算法不仅减少图像特征点匹配计算量，而且有效的提高了匹配精度，图像匹配效果良好。

背景技术：

特征点匹配就是以影像上提取的具有某种局部特殊性质的点(称为特征点)作为共轭实体，以特征点的属性参数即特征描述作为匹配实体，通过计算相似性测度实现共轭实体配准的影像匹配方法。匹配特征点是特征匹配方法中较简单并且有效的匹配方法，在数字摄影测量(如相对定向、DEM生成等)、计算机视觉(如3维场景恢复、运动目标检测等)许多领域都是一个非常重要的基本过程。

在现有技术中，公开号为CN107067370A的中国专利，公开了一种基于网格变形的图像拼接方法，涉及图像拼接技术领域，包括如下步骤：S1：对空间相邻两幅图像，分别提取SIFT特征，匹配特征；S2：采用RANSAC算法迭代计算，筛选特征点对；S3：估计全局射影矩阵并进行全局射影变换；S4：运用Delaunay三角剖分，对重叠区域构造稠密三角网格，非重叠区域构造稀疏网格；S5：建立网格变形能量函数，优化全局射影配准；S6：图像融合生成宽视野图像。公开号为CN106228538B的中国专利，公开了一种基于logo的双目视觉室内定位方法，该方法是通过一、建立logo图像采集的视觉地图数据库；二、求得左摄像机和右摄像机的内参数和外参数；三、利用双目摄像机拍摄logo图像，利用logo图像视觉信息特征与Visual Map数据库图像的视觉信息特征进行匹配；保留匹配点将误匹配点的剔除；四、计算顶点P和P的三维坐标；五、求得左摄像机在世界坐标系下的坐标等步骤实现的。

图像间特征点匹配需要预先指定图像对，一般情况下两张图像是否匹配是未知的；通常做法是暴力匹配，即每张图像和其他所有图像进行特征点匹配，当某个图像对匹配成功的特征点足够多时则认为该图像对是匹配的，由于特征点匹配存在大量误匹配，导致大量图像对误匹配，而现有技术中对于如何降低误匹配率、删除误匹配点的方法并不完善和明确。

发明内容：

本发明的目的在于克服现有图像间特征点匹配处理存在的缺点，针对当前图像间特征点匹配过程中匹配计算量大、误配率高的不足，设计提供一种多图像间特征点匹配方法。

为实现上述目的，本发明涉及的一种多图像间特征点匹配方法，其工艺步骤如下：

步骤一，利用手机陀螺仪数据计算每张图像的旋转矩阵；

步骤二，利用旋转矩阵计算图像视角方向；

步骤三，计算各图像视角方向间的夹角；

步骤四，根据夹角大小筛选初始图像对，得到预选图像对：

步骤五，利用现有汉明距离以及最近邻搜索算法匹配预选图像对的特征点，得到特征点匹配关系：

步骤六，根据几何约束筛选特征点匹配关系，得到高匹配精度的特征点。

本发明所述步骤一利用手机陀螺仪数据计算每张图像的旋转矩阵，其具体过程为：

以与地面平行的正北方向为X轴、与地面平行的X轴垂直方向为Y轴、与地面垂直的方向为Z轴建立世界坐标系，世界坐标系且为左手坐标系；同时以手机坐标系为局部坐标系，手机画面为X-Y平面，手机画面左上角为坐标原点，画面高为X轴，宽为Y轴，手机主光轴为Z轴，且为左手坐标系；从陀螺仪中读取手机坐标轴与世界坐标轴的夹角，设两个坐标系X轴、Y轴、Z轴之间分别为α，β，γ，手机坐标系转换到世界坐标系的旋转矩阵为：

本发明所述步骤二利用旋转矩阵计算图像视角方向，其具体过程为：

由于手机坐标系Z轴方向为主光轴方向，计算图像视角方向即为计算手机坐标系Z轴在世界坐标系下的方向；设手机坐标系Z轴方向为Z_c，则：

Z_c＝R×[0 0 1]^T

计算得到的Z_c即为图像视角方向。

本发明所述步骤三计算各图像视角方向间的夹角：其具体过程为：

设两张图像视角分别为Z_c1、Z_c2，图像视角方向间的夹角为Alg，则：

本发明所述步骤四的具体过程为：设阈值T＝60°，对所有的图像对进行阈值判定，当两张图视角方向间的夹角Alg<T时，则判定这两张图有可能匹配，这两张图即被认定为预选图像对。

本发明所述步骤五的具体过程为：经步骤四筛选得到的预选图像对后，对每个图像对进行特征点匹配，采用汉明距离进行特征点距离度量，匹配策略采用最近邻搜索方式，得到图像对的特征点匹配关系。

本发明所述步骤六的具体过程为：利用RANSAC算法计算特征点的基础矩阵F，设任一特征点对为(P₁,P₂)，则该特征点对的匹配误差为：

err＝P₁FP₂

设误差阈值T_e为平均误差的两倍，将匹配误差大于T_e的特征点对剔除，利用剩下的特征点计算新的基础矩阵，进行迭代计算直到剔除的特征点对少于总数的1/10；经过几何约束的筛选，剩余的特征点具有更高的匹配精度。

本发明与现有技术相比，所设计的多图像间特征点匹配方法步骤完善合理，通过初步对图像对筛选，每张图像无需和其余所有图像进行匹配，而只需和视角相近的图像进行匹配，极大减少计算复杂度，同时避免与视角相差大的图像匹配减少出现误匹配的概率。该算法在数字摄影测量、计算机视觉等诸多领域具有广阔的应用前景。

附图说明：

图1为本发明涉及的世界坐标系与手机坐标系夹角示意图。

图2为本发明涉及的对三维物体进行对角度拍摄的模型示意图。

图3为本发明涉及的利用现有图像匹配方法对拍摄的图片进行处理后得到的图像对的示意图。

图4为本发明涉及的利用多图像间特征点匹配方法对拍摄的图片进行处理后得到的图像对的示意图。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及的一种多图像间特征点匹配方法，其具体工艺步骤如下：

步骤一，利用手机陀螺仪数据计算每张图像的旋转矩阵：

以与地面平行的正北方向为X轴、与地面平行的X轴垂直方向为Y轴、与地面垂直的方向为Z轴建立世界坐标系，世界坐标系且为左手坐标系；同时以手机坐标系为局部坐标系，手机画面为X-Y平面，手机画面左上角为坐标原点，画面高为X轴，宽为Y轴，手机主光轴为Z轴，且为左手坐标系；从陀螺仪中读取手机坐标轴与世界坐标轴的夹角，设两个坐标系X轴、Y轴、Z轴之间分别为α，β，γ，手机坐标系转换到世界坐标系的旋转矩阵为：

步骤二，利用旋转矩阵计算图像视角方向：

由于手机坐标系Z轴方向为主光轴方向，计算图像视角方向即为计算手机坐标系Z轴在世界坐标系下的方向；设手机坐标系Z轴方向为Z_c，则：

Z_c＝R×[0 0 1]^T

计算得到的Z_c即为图像视角方向；

步骤三，计算各图像视角方向间的夹角：

设两张图像视角分别为Z_c1，Z_c2，图像视角方向间的夹角为Alg，则：

步骤四，根据夹角大小筛选初始图像对，得到预选图像对：

设阈值T＝60°，对所有的图像对进行阈值判定，当两张图视角方向间的夹角Alg<T时，则判定这两张图有可能匹配，这两张图即被认定为预选图像对；

步骤五，利用现有汉明距离以及最近邻搜索算法匹配预选图像对的特征点，得到特征点匹配关系：

经步骤四筛选得到的预选图像对后，对每个图像对进行特征点匹配，采用汉明距离进行特征点距离度量，匹配策略采用最近邻搜索方式，得到图像对的特征点匹配关系；

步骤六，根据几何约束筛选特征点匹配关系，得到高匹配精度的特征点：

由于每对图像间的特征点匹配存在大量误匹配，因此需要筛选除去误匹配关系；利用RANSAC算法计算特征点的基础矩阵F，设任一特征点对为(P₁,P₂)，则该特征点对的匹配误差为：

err＝P₁FP₂

设误差阈值T_e为平均误差的两倍，将匹配误差大于T_e的特征点对剔除，利用剩下的特征点计算新的基础矩阵，进行迭代计算直到剔除的特征点对少于总数的1/10；经过几何约束的筛选，剩余的特征点具有更高的匹配精度。

本实施例所述一种多图像间特征点匹配方法通过对图像对初步筛选、以及剔除错误的匹配关系，显著减少了计算量，大大提高了匹配精度，对于多维度实物图像的处理加工效果优异，实用性佳。

实施例2：

本实施例应用实施例1所述一种多图像间特征点匹配方法对多角度拍摄的实物图像进行匹配，如图2所示，中间黑色部分为被拍摄的三维物体，多个灰白色棱锥表示选取的各个方向拍摄角度，相邻角度拍摄的图像相近；

利用现有图像匹配方法对拍摄的图片进行处理后，得到需要进行匹配的图像对如图3所示；利用本发明所述多图像间特征点匹配方法对拍摄的图片进行处理后，得到需要进行匹配的图像对如图4所示；在图3和图4中，每个点代表一个图像对，通过将图3和图4对比可知，应用本发明所述多图像间特征点匹配方法对拍摄的图片进行处理后，每张图像只需和其中若干张图像进行匹配，与现有图像匹配方法中每张图像需和所有图像进行匹配相比，大大减少计算量，进而提高了匹配精度。

Claims (3)

1.一种多图像间特征点匹配方法，其特征在于：其具体工艺步骤如下：

步骤一，利用手机陀螺仪数据计算每张图像的旋转矩阵，具体过程为：以与地面平行的正北方向为X轴、与地面平行的X轴垂直方向为Y轴、与地面垂直的方向为Z轴建立世界坐标系，世界坐标系且为左手坐标系；同时以手机坐标系为局部坐标系，手机画面为X-Y平面，手机画面左上角为坐标原点，画面高为X轴，宽为Y轴，手机主光轴为Z轴，且为左手坐标系；从陀螺仪中读取手机坐标轴与世界坐标轴的夹角，设两个坐标系X轴、Y轴、Z轴之间分别为α，β，γ，手机坐标系转换到世界坐标系的旋转矩阵为：

步骤二，利用旋转矩阵计算图像视角方向，具体过程为：由于手机坐标系Z轴方向为主光轴方向，计算图像视角方向即为计算手机坐标系Z轴在世界坐标系下的方向；设手机坐标系Z轴方向为Z_c，则：

Z_c＝R×[0 0 1]^T

计算得到的Z_c即为图像视角方向；

步骤三，计算各图像视角方向间的夹角，具体过程为：设两张图像视角分别为Z_c1、Z_c2，图像视角方向间的夹角为Alg，则：

步骤四，根据夹角大小筛选初始图像对，得到预选图像对，具体过程为：设阈值T＝60°，对所有的图像对进行阈值判定，当两张图视角方向间的夹角Alg<T时，则判定这两张图有可能匹配，这两张图即被认定为预选图像对；

步骤五，利用现有汉明距离以及最近邻搜索算法匹配预选图像对的特征点，得到特征点匹配关系；

步骤六，根据几何约束筛选特征点匹配关系，得到高匹配精度的特征点。

2.根据权利要求1所述的多图像间特征点匹配方法，其特征在于：述步骤五的具体过程为：经步骤四筛选得到的预选图像对后，对每个图像对进行特征点匹配，采用汉明距离进行特征点距离度量，匹配策略采用最近邻搜索方式，得到图像对的特征点匹配关系。

3.根据权利要求2所述的多图像间特征点匹配方法，其特征在于：述步骤六的具体过程为：利用RANSAC算法计算特征点的基础矩阵F，设任一特征点对为(P₁,P₂)，则该特征点对的匹配误差为：

err＝P₁FP₂

设误差阈值T_e为平均误差的两倍，将匹配误差大于T_e的特征点对剔除，利用剩下的特征点计算新的基础矩阵，进行迭代计算直到剔除的特征点对少于总数的1/10；经过几何约束的筛选，剩余的特征点具有更高的匹配精度。

Images