CN111583110A - 一种航拍图像的拼接方法 - Google Patents

Abstract

本发明公开了一种航拍图像的拼接方法，包括对航拍图像进行预处理；使用改进后的具有尺度不变性的ORB算法来进行图像配准，生成相邻图像间的变换矩阵；根据变换矩阵使用加权平均法来修正图像的地理位置坐标；根据地理位置信息来完成航拍图像间的拼接；对拼接好的图像进行融合处理，以消除拼接处的差异。本发明结合位姿信息与改进ORB算法之间各自的优势，能快速、有效地得到低累积误差、具有地理坐标的拼接图像。

Description

一种航拍图像的拼接方法

技术领域

本发明涉及图像处理领域，具体涉及一种航拍图像的拼接方法。

背景技术

目前，常用的航拍图像拼接方法是基于图像特征，基于特征的拼接方法对光照、旋转等变化有很好的鲁棒性，所以一直是图像拼接方法研究的主流方向。基于图像特征的方法是基于对图像内容抽象的描述(点、线、轮廓等)，该拼接方法主要是图像配准和图像融合两个步骤，图像配准的过程是根据存在重叠区域的待拼接图像，找出图像之间的变换关系，并且把待拼接的图像都变换到统一的坐标系中；图像融合的目的是为了消除配准后图像可能存在色彩、亮度、拼接线的差异，使得最终得到一幅自然的图像。

常用的特征点提取算法有SIFT、SURF以及ORB特征提取算法等，SIFT(ScaleInvariant Feature Transform)特征提取算法是利用SIFT特征向量来进行特征匹配，该方法对图像旋转、平移、缩放甚至仿射变换等都有很好的不变性，同时对噪声和光线变化都有很强的适应能力，但该算法需要提取的特征点数量多，特征描述子复杂，运算量大，计算时间长；SURF(Speeded-Up Robust Features)算法是在SIFT算法上的一种改进，算法步骤基本类似，但采用的方法不一样，该算法取得的效果性能与SIFT算法差不多，特征描述子的维度降低，计算复杂度也大量减少，计算的效率也大大提高，但特征点检测的精度会比SIFT算法稍低，在图像进行尺度、旋转等变换后的匹配稳健性不及SIFT算法；ORB(Oriented Fastand Rotated Brief)算法是结合快速角点检测算法(FAST)和BRIEF特征描述子并改进的一种算法，该算法使用FAST来提取特征点，极大地提高了特征点提取的速度，基本能达到实时的要求，但是该算法不具备尺度不变性，稳定性差，误匹配率高。

对于航拍图像的拼接方法，还有一种就是基于位姿信息的拼接方法。大部分的无人机都会有导航定位与姿态测量系统(POS,Position and Orientation System)，在飞行的过程中会实时获取无人机的位姿信息(位置坐标、姿态等信息)。基于位姿信息的拼接方法主要是利用图像的坐标信息来进行拼接，该方法具有快速拼接、不累积误差、含有坐标信息等优势，但是由于无人机的承重有限，往往搭载的传感器精度不是很高，这就导致利用该方法拼接后得到的图像具有很大的匹配误差，效果较差。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种航拍图像的拼接方法，本发明基于位姿信息和改进的ORB算法对航拍图像进行拼接，

该方法首先改进了ORB算法，接着使用改进ORB算法得到拼接图像间的变换关系，再使用该变换关系来修正图像中心点的地理位置信息，最后使用图像的地理位置信息来进行图像拼接。

本发明采用如下技术方案：

一种航拍图像的拼接方法，包括如下步骤：

S1对航拍图像进行预处理；

S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；

S3修正图像的地理位置坐标；

S4根据地理位置信息完成航拍图像间的拼接

S5对拼接后的图像进行融合处理。

进一步的，所述预处理包括图像几何校正和去噪，先根据无人机的姿态角参数来得到旋转矩阵，再根据旋转矩阵建立从地面直角坐标系到像平面坐标系的一系列坐标变换，进一步得到校正前与校正后的图像变换关系，由此来校正航拍图像，使得校正后的图像都处于同一水平面，接着使用中值滤波算法来对图像进行降噪处理。

进一步的，所述对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵，该步骤使用了改进ORB算法，具体为：

S201使用Hessian检测算子提取图像的特征点；

S202采用rBRIEF特征描述子来描述S201的特征点；

S203对两幅图像之间的特征点进行粗匹配；

S204特征匹配点提纯并得到变换矩阵。

所述S201中使用Hessian检测算子提取图像的特征点，具体是在Hessian矩阵行列式响应图像中提取特征点，首先构造Hessian矩阵，并且使用盒子滤波器来近似代替二阶高斯滤波器，计算Hessian矩阵行列式响应图像，接着使用不同尺寸的盒子滤波器来生成不同的尺度空间，然后使用3*3*3领域非最大值抑制方法来进行特征点的定位，最后通过Harr小波响应来确定特征点的方向。

所述S204中特征匹配点提纯并得到变换矩阵，采用了GMS算法和PROSAC算法来进行匹配点的提纯，并由匹配点得到图像之间的变换矩阵。

所述的步骤S3中修正图像的地理位置坐标，具体为：

以第一张图像为基准，将第二张图像的中心点根据图像之间的变换矩阵投影到第一张图像的像素坐标系上；

计算地面分辨率及经纬度分辨率，通过第一张图像中心点的位置坐标计算得到第二张图像的中心点位置坐标；

通过加权平均方法修正第二张图像的中心点位置坐标；

然后以修正后的第二张图像为基准，重复前三个步骤，修正第三张图像的中心点位置坐标，以此类推，直到航带线多张航拍图像的中心点修正完毕。

所述S4中根据地理位置信息完成航拍图像间的拼接，具体是将各张航拍图像根据地理位置坐标投影到WGS84坐标系，将大地坐标转换成空间直角坐标，在空间直角坐标中按照坐标进行拼接，然后再将拼接好的图像重新投影回到原图像平面坐标系。

所述S5中融合处理采用帽子函数加权平均法，对拼接后图像的重叠区域进行加权平均处理，得到拼接后的图像。

进一步的，采用汉明距离为度量进行特征粗匹配。

进一步的，所述地理位置坐标包括经纬度及高度信息。

进一步的，特征描述子为二进制描述子。

本发明改进ORB算法相对于现有的ORB算法，主要是在特征点检测与特征匹配点提纯这两个步骤的改进。

本发明的有益效果：

(1)本发明针对现有技术中ORB算法不具备尺度不变性，改进ORB算法，使用Hessian检测算子来进行特征点检测，使得算法具有尺度不变性和稳健性，同时在一定程度上保证了原ORB算法的快速性；

(2)本发明在图像特征匹配点精匹配中，结合GMS算法和PROSAC算法来进行匹配点提纯，能更精准的筛选出正确的特征匹配点。

(3)本发明结合坐姿信息与改进ORB算法的优势来进行航拍图像的拼接，获得低累积误差、快速的、具有地理坐标的拼接图像方法。

附图说明

图1是本发明的工作流程图；

图2是本发明使用的ORB算法的工作流程图；

图3是本发明修正图像位置坐标的流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1-图3所示，一种航拍图像的拼接方法，主要基于位姿信息与改进ORB算法对航拍图像进行拼接，如图1所示，具体流程如下：

S101：对航拍图像进行预处理，主要包括是图像进行几何校正、去噪和中值滤波。

由于传感器造成的几何畸变会比较大，因此在几何校正中主要是针对传感器的外方位元素(位姿信息)来建立校正模型。几何校正中涉及到的坐标系有地面直角坐标系、机体坐标系、传感器坐标系和像平面坐标系。利用外方位元素的几何校正方法的步骤：首先通过传感器的外方位元素，来建立从地面直角坐标系到像平面坐标系的一系列坐标变换，接着，根据其坐标变换与正直摄影条件下的坐标变换进行结合，得到校正前与校正后的图像变换关系，利用该变换关系将原图像中的像素点进行校正，最后用重采样方法进行插值，得到校正后的图像。在图像坐标系下，校正前后的图像像元的变换关系为

其中，f为传感器的焦距；R(γ)、R(α)、R(β)、R(H)分别为基于姿态参数偏航角γ、俯仰角α、滚转角β、高度H的旋转矩阵；(x′,y′)为原始图像中某一像素点的坐标；(x,y)为(x′,y′)校正后的坐标点。

经过每个像素点几何校正后，图像的像素点分布不再均匀，需要对校正后的图像进行插值处理，采用的插值处理方法为双线性内插法，对于每个需要内插的点，使用临近的四个像素点的值，通过距离的不同进行加权平均，得到的值作为内插点的像素值。

S102对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；

对于无人机某个航带的航拍图像，使用改进的ORB算法来得到相邻图像间的变换矩阵，该算法步骤为：首先用Hessian检测算子提取图像的特征点，并对每个特征点生成二进制特征点描述子rBRIEF(Rotated BRIEF)，以采集的第一幅图像为基准，对每相邻的两张图像进行特征点的配准，利用匹配好的特征点生成相邻图像间的变换矩阵，得到相邻图像间的映射变换关系。

S103修正图像的地理位置坐标。

以第一张图像为基准，根据图像之间的变换矩阵计算得到第二张图像的中心点位置坐标，将求得的坐标值与POS系统采集得到的位置坐标来进行融合修正，得到较准确的坐标，以此作为该图像的新的位置坐标值，接着再以此图像为准，修正下一张图像的地理位置坐标值。

S104根据地理位置信息完成航拍图像间的拼接。

分别将各张航拍图像根据地理位置坐标(经纬度、高度信息)投影到WGS84坐标系，将大地坐标(Lon,Lat,H)转换成空间直角坐标(X_s,Y_s,Z_s)，转换关系为：

在空间直角坐标中按照坐标进行拼接，然后再将拼接好的图像重新投影回到原图像平面坐标系，其中转换关系为：

S105：对拼接好的图像进行融合处理。

图像融合采用帽子函数加权平均法，加权平均法通过对两幅图像中的重叠区域的像素值采取加权平均后作为重叠区域的像素值。假设I(x,y)表示图像在像素点(x,y)出的像素值，则加权平均法的表示公式为：

其中，k₁和k₂分别为图像I₁和I₂重叠区域上相同位置像素值加权的权值。

对于权值的选取采用帽子函数法，该方法以图像中心为权值的最高点，以同心圆的方式逐渐减低权值，权值函数如下所示：

其中width_i和height_i分别为拼接图像中第i个图像的宽度与高度。

为了使最后的权值总和为1，需要对每幅图像求得的权值进行归一化，操作如下：

将归一化后得到的权值w_i(x,y)作为加权平均融合里面的权重。

进一步地，本实施例使用改进的ORB算法进行图像配准并生成变换矩阵的流程图2所示，

S201使用Hessian检测算子提取图像的特征点。根据Hessian矩阵行列式的响应图像来进行图像特征点的检测，当Hessian矩阵行列式取得局部极值时，所检测到的是比周围更亮或者更暗的像素点，该点可被认为特征点。具体步骤如下：

1)构建Hessian矩阵。对于图像I中的某一个像素点M(x,y)，在尺度σ下的Hessian矩阵表示为：

其中

G(x,y,σ)为标准高斯函数，L_xx(M,σ)是G(x,y,σ)对x的二阶偏导在M点处与图像I的卷积，即二阶高斯滤波器，同理L_xy(M,σ)、L_yy(M,σ)。为简化滤波步骤，使用盒子滤波器D_xx、D_xy、D_yy来分别近似替代L_xx、L_xy、L_yy，因此，得到Hessian近似矩阵的行列式为

det(H_approx)＝D_xxD_yy-(ωD_xy)² (10)

其中，ω为加权系数，用于平衡因采用盒子滤波器来近似所带来的误差，一般取0.9。

对于图像中的某一点，可以根据上式来得到近似的Hessian矩阵行列式，遍历图像的所有点，即可以得到在某一个尺度下的特征点检测的响应图像。

2)生成尺度空间。为了获取到稳健的、具有尺度不变性的特征点，需要不同尺度的斑点进行检测。所用的方法为保持图像尺寸不变，采用不同大小的盒子滤波器模板来对图像进行滤波，来生成的不同尺度空间的Hessian近似行列式的响应图像。

以9*9尺寸为初始滤波模板的尺寸，第一组的滤波模板的尺寸以6为增量，分别为9*9、15*15、21*21、27*27，第二组以12为增量，分别为15*15、27*27、39*39、51*51，第三组以24为增量，分别为27*27、51*51、75*75、99*99，第四组以48为增量，分别为51*51、99*99、147*147、195*195。

3)兴趣点定位。在得到不同尺度的近似Hessian矩阵行列式的响应图像后，用3*3*3邻域非最大值抑制方法来进行兴趣点(特征点)的定位。对于响应图像中的每一个像素点，将其与同层相邻(8个像素点)及相邻上下两层不同尺度(9*2个像素点)图像中的共26个像素点进行非最大值抑制，如果该点为3*3*3区域中的极值，则判断为初步的特征点，将该点的位置以及对应的尺度记录记录下来。由于每一组尺度空间中有4层，则在特征点定位时，只在每一组的中间两层进行非最大值抑制，组间不进行比较。初步得到兴趣点后，根据设定Hessian行列式的阈值，去掉小于阈值的特征点，得到更加稳健的特征点。

4)确定特征点方向。根据特征点扇形邻域中的Harr小波响应值最大值所对应的方向作为特征点的方向。

S202采用rBRIEF特征描述子来描述S201的特征点；rBRIEF是基于BRIEF的改进方法，增加了旋转不变性和区分性。对于每一个特征点，BRIEF计算得到的是二进制串的特征描述向量，用于描述该特征点。它是在特征点的邻域(这里尺寸取31*31)内，先进行高斯平滑处理，接着选取n对像素点对，通过比较它们的灰度值大小来生成二进制特征描述符。对于任一个点对，假设为点a与点b，则得到的二进制位为：

其中p(a)表示点a的灰度值。则n对生成的二进制描述串为：

f_n＝∑_1≤i≤n2^i-1τ(a_i,b_i) (12)

式中，n取256。由上可以得到每个特征点的n维的二进制描述符。

为了使描述符具有旋转不变性，对得到的二进制描述符的方向设置为特征点的主方向θ，将选取到的n对邻域内点对组成一个矩阵D：

使用主方向θ的旋转矩阵R_θ对D矩阵进行旋转变换，得到带有方向信息的修正的矩阵D_θ：

D_θ＝R_θD (14)

其中，旋转矩阵R_θ：

在新得到的点对集D_θ上进行大小比较，得到rBRIEF特征描述符。

S203特征点粗匹配。分别获得待拼接的两张图像的特征点集后，需要将两张图像的特征点进行匹配。由于特征描述子采用的是二进制描述子，因此以汉明距离为度量来进行特征粗匹配。汉明距离是两个字符串对应位置不同字符的数量，通过异或运算再统计运算结果中1的数量能得到两个二进制字符串之间的汉明距离。

对于参考图像上的某一特征点N_1i，找出其与另一幅图像中汉明距离最小的两个特征点，记为N_2j与N_2k，如果最近邻距离d(N_1i,N_2j)与次近邻距离d(N_1i,N_2k)的比值满足下式，则特征点N_1i与N_2j为匹配的特征点对。

其中T为阈值，可以取0.6-0.8。

S204特征匹配点提纯并得到变换矩阵。在经过特征点粗匹配后，粗略得到了特征点匹配对集，但是匹配对集中还会存在一些错误的匹配对，因此需要再次进行精匹配提纯步骤，去掉尽量多的错误的匹配对，在这里，先采用GMS算法来进行初步筛选，接着用PROSAC算法来进行进一步的去除错误的匹配对，并且得到仿射变换矩阵。

GMS(Grid-based Motion Statistics)是一种基于网格运动统计的匹配算法，其核心思想为：假设有一对正确的特征点匹配对，运动的平滑性使得其周围区域也会有较多正确的匹配特征点，通过计算其邻域中匹配特征点的个数来判断该特征匹配点是否正确。

对于图像I₁、I₂，进行特征匹配点的具体步骤为：

(1)分别对图像I₁、I₂进行网格化，划分为G＝g*g(g＝20)网格；

(2)图像I₁中的任一网格，在图像I₂中寻找与网格i中特征点匹配对个数最多的网格j，i和j为匹配的网格。

(3)统计i与j区域以及邻域中相匹配的特征点匹配对的总数S_ij，以及每个网格中的平均特征点匹配对个数n_i，计算表达式为

其中

表示在某网格i^k和j^k中特征点匹配对的数目。

4)如果

(α取6)成立，则网格i与网格j为正确匹配的网格，它们中相互匹配的特征点为正确的匹配特征点，将其加入到正确的匹配集中。

5)重复步骤2)到4)，遍历图像I₁中的每一个网格，得到图像I₁、I₂的初步筛选匹配点对。

在经过初步的筛选后，特征匹配点集需要进一步的去误匹配。采用PROSAC(progressive sample consensus)算法来进一步将误匹配的外点剔除，其基本原理是先将匹配集排序，选取质量好的特征匹配点来构造变换模型，然后统计符合该模型参数的特征匹配点的数目，不断迭代，直到满足条件，最后找到最好的变换模型参数。

由特征点匹配提纯，得到变换矩阵的算法步骤为：

1)根据最近邻与次近邻的比值来对特征匹配集进行排序，选出比值最小的μ_n对匹配对。

2)在μ_n匹配集中随机选取4对匹配对，通过这4对匹配对来求解变换矩阵W，如下式所示：

其中，(x₁,y₁)是图像I₁中的特征点坐标，(x₂,y₂)是图像I₂中的特征点坐标。

3)其他的匹配点根据变换矩阵W计算出对应的投影点，并计算这些投影点与其原来对应匹配点之间的误差e，计算公式如下：

其中，(x₂,y₂)是特征点(x₁,y₁)对应的匹配点坐标，(x₂′,y₂′)是特征点(x₁,y₁)通过变换矩阵W得到的投影点坐标。

4)遍历每个特征点，将其投影点与匹配点误差e与误差门限δ，如果e＜δ，则该特征点对应的匹配点判定为内点，反之判定为外点。误差门限δ的计算公式为：

δ＝v(H+L) (21)

其中，H为图像的宽度，L为图像的长度，v为常数，这里取0.1。

5)统计内点的总数，记为t，并将其与设定的阈值T比较，如果t＜T，则重复步骤2)-5)，并将迭代次数加1，反之，则进行下一步骤。

6)根据t个内点重新计算投影变换矩阵W，并重新找出新的内点。

7)当迭代次数小于最大迭代次数时，则返回两张图像间的变换矩阵W和对应的内点集，反之，则返回内点数量最多对应的变换矩阵W及内点集。

在经过上述PROSAC算法进行去误匹配后，并得到了图像间变换矩阵。

本发明修正图像的位置坐标流程图如图3所示，

设第一张图像中的中心点M₁在图像坐标系中表示为(x_1m,y_1m)，从POS系统采集得到对应的地理坐标为(Lon_1m,Lat_1m,H)，第二张图像中的中心点M₂在图像坐标系中表示为(x_2m,y_2m)，POS系统采集得到对应的地理坐标为(Lon_2m,Lat_2m,H)，这里认为图像间的航高H是相同的，因此在修正过程中只对经纬度进行修正，具体步骤为：

S301：第二张图像投影到前一张图像的坐标系上，则第二张图像的中心点(x_2m,y_2m}，通过投影后得到与点M₁在同一坐标系下的(x′_2m,y′_2m)，具体变换如下：

其中W为变换矩阵。

步骤S302：计算地面分辨率G_SD以及经度分辨率λ_GSD、纬度分辨率

计算方式如下：

其中H为航拍POS数据中的航高，P为成像传感器的像元尺寸，f为镜头焦距，R_N和R_M分别为卯酉圈和子午圈的曲率半径。

S303：通过M₁的位置坐标去计算M₂点的位置坐标。

其中，Lon′_2m是M₂点通过M₁计算得到的经度，Lαt′_2m是M₂点通过M₁计算得到的纬度。

S304：修正第二张图像中的中心点M₂的位置坐标，如下所示。

其中，ξ是加权系数，(Lon″_2m,Lat″_2m)是第二张图像经过修正后的位置坐标，用此来替代原来POS系统采集得到的位置坐标。

S305：然后以修正后的第二张图像为基准，重复S301-S304步骤，修正第三张图像的中心点位置坐标，以此类推，直到航带线多张航拍图像的中心点修正完毕。

本发明对航拍图像进行预处理，主要是进行几何校正和中值滤波；使用改进后的具有尺度不变性的ORB算法来得到相邻图像间的变换矩阵；根据变换矩阵使用加权平均法来修正图像的地理位置坐标；根据地理位置信息来完成航拍图像间的拼接；对拼接好的图像进行融合处理，以消除拼接处的差异。本发明针对基于位姿信息的航拍图像拼接方法存在精度不高、基于改进ORB算法的航拍图像拼接方法存在累积误差且不具有地理坐标的问题，结合位姿信息与ORB算法之间各自的优势，能快速、有效地得到低累积误差、具有地理坐标的拼接图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种航拍图像的拼接方法，其特征在于，包括如下步骤：

S1对航拍图像进行预处理；

S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；

S3修正图像的地理位置坐标；

S4根据地理位置信息完成航拍图像间的拼接

S5对拼接后的图像进行融合处理。

2.根据权利要求1所述的拼接方法，其特征在于，所述预处理包括图像几何校正和去噪。

3.根据权利要求1所述的拼接方法，其特征在于，S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵，该步骤使用改进ORB算法来得到变换矩阵，具体为：

S201使用Hessian检测算子提取图像的特征点；

S202采用rBRIEF特征描述子来描述S201的特征点；

S203对两幅图像之间的特征点进行粗匹配；

S204特征匹配点提纯并得到变换矩阵。

4.根据权利要求3所述的拼接方法，其特征在于，S201中使用Hessian检测算子提取图像的特征点，具体是在Hessian矩阵行列式响应图像中提取特征点：

首先构造Hessian矩阵，并且使用盒子滤波器来近似代替二阶高斯滤波器，计算Hessian矩阵行列式响应图像，接着使用不同尺寸的盒子滤波器来生成不同的尺度空间，然后使用3*3*3领域非最大值抑制方法来进行特征点的定位，最后通过Harr小波响应来确定特征点的方向。

5.根据权利要求3所述的拼接方法，其特征在于，S204特征匹配点提纯并得到变换矩阵，具体是采用GMS算法和PROSAC算法来进行匹配点的提纯，并得到图像之间的变换矩阵。

6.根据权利要求1所述的拼接方法，其特征在于，S3修正图像的地理位置坐标，具体为：

以第一张图像为基准，将第二张图像的中心点根据图像之间的变换矩阵投影到第一张图像的像素坐标系上；

计算地面分辨率及经纬度分辨率，通过第一张图像中心点的位置坐标计算得到第二张图像的中心点位置坐标；

通过加权平均方法修正第二张图像的中心点位置坐标；

然后以修正后的第二张图像为基准，重复前三个步骤，修正第三张图像的中心点位置坐标，以此类推，直到航带线多张航拍图像的中心点修正完毕。

7.根据权利要求1所述的拼接方法，其特征在于，S4根据地理位置信息完成航拍图像间的拼接，具体是将各张航拍图像根据地理位置坐标投影到WGS84坐标系，将大地坐标转换成空间直角坐标，在空间直角坐标中按照坐标进行拼接，然后再将拼接好的图像重新投影回到原图像平面坐标系。

8.根据权利要求1所述的拼接方法，其特征在于，S5中融合处理采用帽子函数加权平均法，对拼接后图像的重叠区域进行加权平均处理，得到拼接后的图像。

9.根据权利要求3所述的拼接方法，其特征在于，采用汉明距离为度量进行特征粗匹配。

10.根据权利要求7所述的拼接方法，其特征在于，所述地理位置坐标包括经纬度及高度信息。

Images