CN106919944A - 一种基于orb算法的大视角图像快速识别方法 - Google Patents

Abstract

本发明公开了一种基于ORB算法的大视角图像快速识别方法，建立透视变换模型，模拟可能的视角变换，基于目标图像生成模拟图像集，用尺度不变ORB算法对模拟图像和基准图像进行粗匹配，当匹配点对达到要求时，停止粗匹配，用双向匹配的方法筛选粗匹配中所有匹配点对，根据筛选后的特征点对集合采用RANSAC算法求得基准图像与目标图像间的单应性矩阵，基于单应性矩阵对目标图像进行重采样，利用重采样图像与基准图像进行尺度不变ORB匹配，最终实现目标图像与基准图像的精匹配。本发明可以在大视角变换下正常工作，具备抗视角变换能力，实时性强，具有较高的工程使用价值。

Description

一种基于ORB算法的大视角图像快速识别方法

技术领域

本发明属于计算机视觉技术领域，特别涉及了一种基于ORB算法的大视角图像快速识别方法。

背景技术

图像匹配技术在很多领域都有广泛的应用，大约有40％的计算机视觉应用中都会用到图像匹配技术。人脸识别、指纹识别、笔迹识别、机器人定位等技术已经广泛应用到社会生活中，其安全性与图像匹配算法的性能有着不可分割的联系。在军事、工业和精密农业等领域中，拥有高精度优点的景象匹配技术是发展主流。巡航导弹就是应用景象匹配技术来实现匹配制导的典型例子，且制导系统的性能决定了巡航导弹的制导精度，而巡航导弹末端制导系统的重要组成部分是景象匹配技术。提高景象匹配技术的匹配性能提高工作任务系统的精确率和准确率。

经典的图像匹配算法可分为基于灰度信息的图像匹配算法、基于变换域的图像匹配算法和基于特征的图像匹配算法。基于特征的图像匹配算法是通过图像上有代表性的特征信息，如点、线、面等，进行图像间匹配的算法，主要分为特征提取、特征描述和特征匹配三部分。优秀的不变特征量至少满足三个不变性，即平移不变性、旋转不变性和缩放不变性，这样基于特征的方法具有更强的普适性和稳健性，不仅对同源图像间的匹配效果很好，对异源图像之间的匹配效果较好。基于特征的图像匹配算法操作相对简单，计算量比较少，有一定的抗噪声、抗形变能力，是当前图像匹配技术的主流方向。

目前，国内外学者对大视角图像匹配算法有着广泛而深入的研究。国外，MSER、Harris-Affine、Hessian-Affine、ASIFT等算法均实现了尺度不变性和一定程度的仿射不变性，能够在大视角差异下正常工作。国内，中国矿业大学、河南理工大学、国防科大、上海大学、长春光学精密机械与物理研究所等均提出了相关算法，可以在一定大视角情况获得较好的效果。上述算法可以在一定大视角情况获得较好的效果，但是匹配速度慢，提高匹配算法的速度就成了关键。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于ORB算法的大视角图像快速识别方法，该方法结合了透视变换模型和ORB算法，在粗匹配算法获得单应性矩阵基础上进行精匹配，有效减少了模拟次数，并提高了算法运算效率。

为了实现上述技术目的，本发明的技术方案为：

一种基于ORB算法的大视角图像快速识别方法，包括以下步骤：

(1)建立世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV，设物体平面位于世界坐标系W-X_wY_wZ_w中X_wWY_w平面的中心，根据相机成像原理和世界坐标系W-X_wY_wZ_w与相机坐标系C-X_cY_cZ_c的位置关系，建立透视变换模型，用于表征同一点在图像坐标系O-UV与世界坐标系W-X_wY_wZ_w中的对应关系；

(2)通过采样的方式设置透视变换模型的相机外参参数，获得不同的透视变换矩阵，对目标图像O进行透视变换，得到模拟图像集S；

(3)按顺序选择模拟图像集S中的某一子图S_i，对子图S_i和基准图像B进行尺度不变ORB特征提取与描述，采用最小汉明距离度量特征点间的相似性进行粗匹配，将子图S_i中粗匹配点映射到目标图像O中，保存目标图像O中粗匹配点位置及其描述符至匹配点对集D₁、基准图像B中粗匹配点的位置及其描述符至匹配点对集D₂；

(4)当子图S_i与基准图像B的粗匹配点对达到设定对数N时，停止粗匹配，进入步骤(5)；若子图S_i不为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，重新选择模拟图像集S中的子图S′_i，返回步骤(3)，若子图S_i为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，则算法失效；

(5)对匹配点对集D₁、D₂中所有特征点进行双向匹配以筛除错误匹配点对，得到筛除后的特征点对集T₁、T₂，根据T₁和T₂，利用RANSAC算法获取基准图像B和目标图像O之间的单应性矩阵H，并对目标图像O进行重采样，获得重采样图像R；

(6)对重采样图像R和基准图像B进行尺度不变ORB特征提取与描述，根据最近次临近原则，采用最小汉明距离度量特征点间的相似性完成精匹配；利用单应性矩阵H将重采样图像R和基准图像B的匹配结果投影到基准图像B和目标图像O中。

进一步地，在步骤(1)中，根据相机成像原理，同一点p在世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV的位置关系如下：

上式中，为点p在图像坐标系O-UV上的坐标，为点p在相机坐标系C-X_cY_cZ_c上的坐标，为点p在世界坐标系W-X_wY_wZ_w上的坐标；s^a是尺度因子；K_3×3是相机内参，通过相机标定获得；和是相机外参旋转矩阵R^a的前两列，是相机外参平移矩阵，由相机坐标系和世界坐标系的位置关系确定；为单应性矩阵；

设相机光轴CZ_c在X_wWZ_w平面的投影与WZ_w的夹角为θ，相机光轴CZ_c与X_wWZ_w平面的夹角为相机绕光轴CZ_c的旋转角度为γ，则相机外参旋转矩阵R^a和相机外参平移矩阵

上式中，C_i表示cosi，S_γ表示sini，r为相机到世界坐标系原点的距离；

将式(2)、(3)代入式(1)中，得到透视变换模型

进一步地，在步骤(2)中，透视变换模型中相机外参参数θ、γ的采样方式如下：

θ∈[0,2π)，γ∈[0,2π)

上式中，b为设定的常数，决定了采样间隔。

进一步地，在步骤(3)中，建立多尺度空间，获得不同尺度下像素点的Hessian矩阵行列式，将尺度空间中的Hessian矩阵的行列式局部极值点作为特征点，依据灰度质心法获得特征点的主方向，将特征点位置与其主方向输入ORB描述符获得尺度不变ORB特征点描述符。

进一步地，利用特征点到邻域灰度质心的向量方向表示特征点的主方向，对任意一个特征点，定义其局部区域灰度矩为：

其中，m(x,y)为点(x,y)处的灰度值，p与q的和为灰度矩的阶数，局部区域零阶灰度矩表示该局部区域总的灰度值，局部区域一阶灰度矩和用于确定局部区域的灰度质心C：

特征点的主方向为：

θ＝arctan(m₀₁,m₁₀) (6)

进一步地，设I(x,y)表示图像，(x,y)表示图像中某一点，尺度为σ的Hessian矩阵：

上式中，L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)是高斯滤波后的图像点(x,y)的二阶导数，

用方框滤波器与图像I(x,y)的卷积D_xx(x,y,σ)、D_xy(x,y,σ)、D_yy(x,y,σ)近似代替L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)，将Hessian矩阵近似表示：

采用行列式作为检测值，将每个像素点的与在尺度空间邻域内所有点的进行比较，将其中最大的点作为特征点。

进一步地，行列式其中D_xx、D_yy、D_xy即为D_xx(x,y,σ)、D_xy(x,y,σ)、D_yy(x,y,σ)，ω是为补偿近似所产生的误差而设定的比例因子。

进一步地，在步骤(5)中，获取基准图像B和目标图像O之间的单应性矩阵H的过程：

在特征点对集T₁中随机选取4个特征点，要求其中3个特征点为非共线的，根据这4个点及其对应的T₂中的点获得变换矩阵，即初始单应性矩阵；然后将T₁中的其他各点通过变换矩阵变换得到点集temp_T₁，求得T₂中各点与temp_T₁中对应点的误差；当误差小于设定值时，该点为内点，统计初始单应性矩阵下的内点数目；重复前述过程，选择内点数最多时的初始单应性矩阵为所求的单应性矩阵H。

采用上述技术方案带来的有益效果：

本发明采用的基于球坐标系的透视变换模型，从相机成像原理出发，将相机内参带入模型中，与传统的仿射变换模型相比，更能够描述三维场景到二维图像的映射，更精确。

本发明采用基于单应性矩阵的精匹配算法，有效减少模拟视角变换的次数，加快了算法运算效率；先筛除错误匹配点对再采用RANSAC算法计算单应性矩阵，不存在由于采样间隔选取产生的图像模拟误差，更精确地描述基准图像和目标图像坐标间的对应关系，提高了匹配正确率。

附图说明

图1是本发明的整体流程示意图。

图2是摄像机成像模型。

图3是基于球坐标的透视变换模型。

图4是方框滤波器示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

一种基于ORB算法的大视角图像快速识别方法，如图1所示，利用目标图像根据透视变换模型和其采样参数生成一组模拟图像，依次对基准图像和模拟图像集中子图进行粗匹配，求解单应性矩阵，根据单应性矩阵获得重采样图像，进行精匹配。下文将具体阐述本发明的过程。

步骤1：如图2所示，建立世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV，W、C、O分别为世界坐标系、相机坐标系、图像坐标系的原点，设物体平面位于世界坐标系W-X_wY_wZ_w中X_wWY_w平面的中心，根据相机成像原理和世界坐标系W-X_wY_wZ_w与相机坐标系C-X_cY_cZ_c的位置关系，建立基于球坐标系的透视变换模型，用于表征同一点在图像坐标系O-UV与世界坐标系W-X_wY_wZ_w中的对应关系。

根据相机成像原理，同一点p在世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV的位置关系如下：

上式中，为点p在图像坐标系O-UV上的坐标，为点p在相机坐标系C-X_cY_cZ_c上的坐标，为点p在世界坐标系W-X_wY_wZ_w上的坐标；s^a是尺度因子；K_3×3是相机内参，通过相机标定获得；和是相机外参旋转矩阵R^a的前两列，是相机外参平移矩阵，由相机坐标系和世界坐标系的位置关系确定；为单应性矩阵。

世界坐标系W-X_wY_wZ_w和相机坐标系C-X_cY_cZ_c的位置关系如图3所示。相机初始位置位于世界坐标系WZ_w轴上，相机光轴WZ_w垂直于X_wWY_w平面，物体中心位于世界坐标系原点。设相机光轴CZ_c在X_wWZ_w平面的投影与WZ_w的夹角为θ，相机光轴CZ_c与X_wWZ_w平面的夹角为相机绕光轴CZ_c的旋转角度为γ，则相机外参旋转矩阵R^a和相机外参平移矩阵

上式中，C_i表示cosi，S_γ表示sini，r为相机到世界坐标系原点的距离。

将式(2)、(3)代入式(1)中，得到透视变换模型

步骤2：通过采样的方式设置透视变换模型的相机外参参数，获得不同的透视变换矩阵，对目标图像O进行透视变换，得到模拟图像集S。

透视变换模型中相机外参参数θ、γ的采样方式如下：

θ∈[0,2π)，γ∈[0,2π)

上式中，b为设定的常数，决定了采样间隔，本实施例设定b＝0.4。

步骤3：按顺序选择模拟图像集S中的某一子图S_i，对子图S_i和基准图像B进行尺度不变ORB特征提取与描述，采用最小汉明距离度量特征点间的相似性进行粗匹配，将子图S_i中粗匹配点映射到目标图像O中，保存目标图像O中粗匹配点位置及其描述符至匹配点对集D₁、基准图像B中粗匹配点的位置及其描述符至匹配点对集D₂。

建立多尺度空间，获得不同尺度下像素点的Hessian矩阵行列式，将尺度空间中的Hessian矩阵的行列式局部极值点作为特征点，依据灰度质心法获得特征点的主方向，将特征点位置与其主方向输入ORB描述符获得尺度不变ORB特征点描述符。

利用特征点到邻域灰度质心的向量方向表示特征点的主方向，对任意一个特征点，定义其局部区域灰度矩为：

其中，m(x,y)为点(x,y)处的灰度值，p与q的和为灰度矩的阶数，局部区域零阶灰度矩表示该局部区域总的灰度值，局部区域一阶灰度矩和用于确定局部区域的灰度质心C：

特征点的主方向为：

θ＝arctan(m₀₁,m₁₀) (6)

设I(x,y)表示图像，(x,y)表示图像中某一点，尺度为σ的Hessian矩阵：

上式中，L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)是高斯滤波后的图像点(x,y)的二阶导数，

在离散的像素点中，可以用方框滤波器近似表示 方框滤波器如图4所示，各部分的权值如图标注。用方框滤波器与图像I(x,y)的卷积D_xx(x,y,σ)、D_xy(x,y,σ)、D_yy(x,y,σ)近似代替L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)，将Hessian矩阵近似表示：

采用行列式作为检测值，定义如下：

其中，ω是为补偿近似所产生的误差而设定的比例因子，本实施例设定为0.9。

将每个像素点与在尺度空间邻域内26个点的进行比较，提取多尺度空间图像的局部极值点作为特征点。

步骤4：当子图S_i与基准图像B的粗匹配点对达到设定对数N时，停止粗匹配，进入步骤5；若子图S_i不为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，重新选择模拟图像集S中的子图S′_i，返回步骤3，若子图S_i为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，则算法失效。

步骤5：先将粗匹配阶段获得的匹配点对集D₁和D₂中所有特征点进行双向匹配，即计算出D₁和D₂中既满足匹配映射关系{D₁→D₂}又满足{D₂→D₁}的匹配点对集合T₁、T₂，特征点对集T₁、T₂分别对应目标图像O和基准图像B。根据T₁和T₂利用RANSAC算法获取基准图像B和目标图像O间的单应性矩阵H。特征点对集T₁、T₂将粗匹配阶段所有正确匹配点对保留，增加匹配利用率，获得更精确的单应性矩阵H；再根据H进行视角变换，消除部分变形，获得重采样图像R。

在特征点对集T₁中随机选取4个特征点，要求其中3个特征点为非共线的，根据这4个点及其对应的T₂中的点获得变换矩阵，即初始单应性矩阵；然后将T₁中的其他各点通过变换矩阵变换得到点集temp_T₁，求得T₂中各点与temp_T₁中对应点的误差；当误差小于设定值时，该点为内点，统计初始单应性矩阵下的内点数目；重复前述过程，选择内点数最多时的初始单应性矩阵为所求的单应性矩阵H。

步骤6：对重采样图像R和基准图像B进行尺度不变ORB特征提取与描述，根据最近次临近原则，采用最小汉明距离度量特征点间的相似性完成精匹配；利用单应性矩阵H将重采样图像R和基准图像B的匹配结果投影到基准图像B和目标图像O中。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种基于ORB算法的大视角图像快速识别方法，其特征在于，包括以下步骤：

(1)建立世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV，设物体平面位于世界坐标系W-X_wY_wZ_w中X_wWY_w平面的中心，根据相机成像原理和世界坐标系W-X_wY_wZ_w与相机坐标系C-X_cY_cZ_c的位置关系，建立透视变换模型，用于表征同一点在图像坐标系O-UV与世界坐标系W-X_wY_wZ_w中的对应关系；

(2)通过采样的方式设置透视变换模型的相机外参参数，获得不同的透视变换矩阵，对目标图像O进行透视变换，得到模拟图像集S；

(3)按顺序选择模拟图像集S中的某一子图S_i，对子图S_i和基准图像B进行尺度不变ORB特征提取与描述，采用最小汉明距离度量特征点间的相似性进行粗匹配，将子图S_i中粗匹配点映射到目标图像O中，保存目标图像O中粗匹配点位置及其描述符至匹配点对集D₁、基准图像B中粗匹配点的位置及其描述符至匹配点对集D₂；

(4)当子图S_i与基准图像B的粗匹配点对达到设定对数N时，停止粗匹配，进入步骤(5)；若子图S_i不为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，重新选择模拟图像集S中的子图S_i′，返回步骤(3)，若子图S_i为模拟图像集S中最后一幅图像，且获得的粗匹配点对少于N时，则算法失效；

(5)对匹配点对集D₁、D₂中所有特征点进行双向匹配以筛除错误匹配点对，得到筛除后的特征点对集T₁、T₂，根据T₁和T₂，利用RANSAC算法获取基准图像B和目标图像O之间的单应性矩阵H，并对目标图像O进行重采样，获得重采样图像R；

(6)对重采样图像R和基准图像B进行尺度不变ORB特征提取与描述，根据最近次临近原则，采用最小汉明距离度量特征点间的相似性完成精匹配；利用单应性矩阵H将重采样图像R和基准图像B的匹配结果投影到基准图像B和目标图像O中。

2.根据权利要求1所述基于ORB算法的大视角图像快速识别方法，其特征在于：在步骤(1)中，根据相机成像原理，同一点p在世界坐标系W-X_wY_wZ_w、相机坐标系C-X_cY_cZ_c和图像坐标系O-UV的位置关系如下：

$\left[\begin{array}{c}{u}_p^a\\ v_p^a\\ 1\end{array}\right]=s^a{K}_{3\×3}\left[\begin{array}{c}{x}_p^c\\ y_p^c\\ 1\end{array}\right]=s^a{K}_{3\×3}\left[\begin{array}{ccc}{r}_1^a& r_2^a& T_{3\×1}^a\end{array}\right]\left[\begin{array}{c}{x}_p^w\\ y_p^w\\ 1\end{array}\right]=s^a{H}_{3\×3}^a\left[\begin{array}{c}{x}_p^w\\ y_p^w\\ 1\end{array}\right]---\left(1\right)$

上式中，为点p在图像坐标系O-UV上的坐标，为点p在相机坐标系C-X_cY_cZ_c上的坐标，为点p在世界坐标系W-X_wY_wZ_w上的坐标；s^a是尺度因子；K_3×3是相机内参，通过相机标定获得；r₁ ^a和是相机外参旋转矩阵R^a的前两列，是相机外参平移矩阵，由相机坐标系和世界坐标系的位置关系确定；为单应性矩阵；

设相机光轴CZ_c在X_wWZ_w平面的投影与WZ_w的夹角为θ，相机光轴CZ_c与X_wWZ_w平面的夹角为相机绕光轴CZ_c的旋转角度为γ，则相机外参旋转矩阵R^a和相机外参平移矩阵

上式中，C_i表示cosi，S_γ表示sini，r为相机到世界坐标系原点的距离；

将式(2)、(3)代入式(1)中，得到透视变换模型

3.根据权利要求2所述基于ORB算法的大视角图像快速识别方法，其特征在于：在步骤(2)中，透视变换模型中相机外参参数θ、γ的采样方式如下：

$\mathrm{\θ}=\frac{k_{1}b}{t},\mathrm{\γ}=\frac{k_{2}b}{t},k_1=0,1,2...,k_2=0,1,2...$

θ∈[0,2π)，γ∈[0,2π)

上式中，b为设定的常数，决定了采样间隔。

4.根据权利要求1所述基于ORB算法的大视角图像快速识别方法，其特征在于：在步骤(3)中，建立多尺度空间，获得不同尺度下像素点的Hessian矩阵行列式，将尺度空间中的Hessian矩阵的行列式局部极值点作为特征点，依据灰度质心法获得特征点的主方向，将特征点位置与其主方向输入ORB描述符获得尺度不变ORB特征点描述符。

5.根据权利要求4所述基于ORB算法的大视角图像快速识别方法，其特征在于：利用特征点到邻域灰度质心的向量方向表示特征点的主方向，对任意一个特征点，定义其局部区域灰度矩为：

$m_{pq}=\underset{x,y}{\Σ}{x}^p{y}^{q}m(x,y)---\left(4\right)$

其中，m(x,y)为点(x,y)处的灰度值，p与q的和为灰度矩的阶数，局部区域零阶灰度矩表示该局部区域总的灰度值，局部区域一阶灰度矩和用于确定局部区域的灰度质心C：

$C=(\frac{m_{10}}{m_{00}},\frac{m_{01}}{m_{00}})---\left(5\right)$

特征点的主方向为：

θ＝arctan(m₀₁,m₁₀) (6)。

6.根据权利要求4所述基于ORB算法的大视角图像快速识别方法，其特征在于：设I(x,y)表示图像，(x,y)表示图像中某一点，尺度为σ的Hessian矩阵：

$H(x,y,\mathrm{\σ})=\left[\begin{array}{cc}{L}_{xx}(x,y,\mathrm{\σ})& L_{xy}(x,y,\mathrm{\σ})\\ L_{xy}(x,y,\mathrm{\σ})& L_{yy}(x,y,\mathrm{\σ})\end{array}\right]---\left(7\right)$

上式中，L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)是高斯滤波后的图像点(x,y)的二阶导数，

用方框滤波器与图像I(x,y)的卷积D_xx(x,y,σ)、D_xy(x,y,σ)、D_yy(x,y,σ)近似代替L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)，将Hessian矩阵近似表示：

$\hat{H}(x,y,\mathrm{\σ})=\left[\begin{array}{cc}{D}_{xx}(x,y,\mathrm{\σ})& D_{xy}(x,y,\mathrm{\σ})\\ D_{xy}(x,y,\mathrm{\σ})& D_{yy}(x,y,\mathrm{\σ})\end{array}\right]---\left(8\right)$

采用行列式作为检测值，将每个像素点的与在尺度空间邻域内所有点的进行比较，将其中最大的点作为特征点。

7.根据权利要求6所述基于ORB算法的大视角图像快速识别方法，其特征在于：行列式其中D_xx、D_yy、D_xy即为D_xx(x,y,σ)、D_xy(x,y,σ)、D_yy(x,y,σ)，ω是为补偿近似所产生的误差而设定的比例因子。

8.根据权利要求1所述基于ORB算法的大视角图像快速识别方法，其特征在于：在步骤(5)中，获取基准图像B和目标图像O之间的单应性矩阵H的过程：

在特征点对集T₁中随机选取4个特征点，要求其中3个特征点为非共线的，根据这4个点及其对应的T₂中的点获得变换矩阵，即初始单应性矩阵；然后将T₁中的其他各点通过变换矩阵变换得到点集temp_T₁，求得T₂中各点与temp_T₁中对应点的误差；当误差小于设定值时，该点为内点，统计初始单应性矩阵下的内点数目；重复前述过程，选择内点数最多时的初始单应性矩阵为所求的单应性矩阵H。