CN109712071A - 基于航迹约束的无人机图像拼接与定位方法 - Google Patents

Abstract

本发明公开了一种基于航迹约束的无人机图像拼接与定位方法，属于计算机图像处理与地图测绘技术领域。本发明所述方法主要包括以下步骤：图像预处理、图像特征提取、图像特征匹配、航迹约束和全景图任意点GPS定位。相对于现有技术，本发明所述方法提高了航带间图像的拼接质量和全景图的定位精度。

Description

基于航迹约束的无人机图像拼接与定位方法

技术领域

本发明属于计算机图像处理与地图测绘技术领域，具体涉及一种基于航迹约束的无人机图像拼接与定位方法，用于提高航带间图像的拼接质量和全景图的定位精度。

背景技术

随着无人机的迅速发展，无人机行业应用越来越丰富，如何实现无人机行业内高效的运营一直是我们关注的重点。当今无人机具有的优势很多，例如：携带方便、操作简单、反应迅速、载荷丰富、任务用途广泛、起飞降落对环境的要求低、自主飞行，极力推动了无人机发展。现阶段无人机可提供的技术服务包括：目标跟踪、图像拼接、电力巡线、海岛监测、海岸线巡查、灾后监测以及河流汛期监测等。其中大多数需求都直接表现为得到飞行作业区全景图及图中各点的GPS信息。

目前无人机航拍图像拼接方法主要为基于图像特征的拼接方法，该方法对单航带图像的拼接效果比较理想，但多航带拼接时常出现两条甚至多条航带相互交叉，重叠等情况；传统的无人机图像定位方法主要通过一帧图像的中心点GPS，利用地面分辨率与比例尺递推出该帧图像中其他各点的GPS信息，但这种方法计算每帧图像的分辨率、比例尺时会出现误差，而且整体误差会随拼接过程逐渐累加。

如何提高航带间图像的拼接质量和全景图的定位精度是亟需解决的难题。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于航迹约束的无人机图像拼接与定位方法。

本发明所提出的技术问题是这样解决的：

一种基于航迹约束的无人机图像拼接与定位方法，包括以下步骤：

步骤1.图像预处理：对接收到的每帧视频图像进行灰度化；

步骤2.图像特征提取：

对步骤1中得到的图像用FAST特征检测算法检测图像特征得到包含尺度、位置及方向信息的特征点，采用BRISK特征描述子对特征点计算生成特征描述向量；

步骤3.图像特征匹配：

对步骤2中得到的特征描述向量进行BF匹配得到初始匹配结果；通过RANSAC算法对初始匹配结果剔除异常匹配值，得到获得最佳匹配点对集；通过最小二乘法计算第n帧图像相对于第n-1帧的透视变换单应性矩阵H_n-1，2≤n≤视频最大帧数；计算出第n帧相对于第一帧的单应性矩阵H_final，将拼接帧图像更新到全景图对应位置；

步骤4.航迹约束：

根据拼接图像像素点坐标系与UTM坐标系的对应关系，计算透视变换单应性矩阵即转换矩阵H_2UTM；将第二条航带拼接帧对应的UTM坐标根据转换矩阵H_2UTM预测出像素点坐标，对其做线性拟合得到第二条航带直线，由此直线约束第二条航带拼接；之后的多条航带处理方式与第二条相同，并进一步拼接得到全景图；

步骤5.全景图任意点GPS定位：

将全景图中拼接帧对应的UTM坐标和拼接帧图像的像素中心点坐标作为匹配点对，计算透视变换单应性矩阵，得到两者间的映射关系；全景图中任意点的像素点坐标根据映射关系可以得到对应GPS坐标。

本发明的有益效果是：

本发明所述基于航迹约束的无人机图像拼接与定位方法，提高了航带间图像的拼接质量和全景图的定位精度。

附图说明

图1为仅依赖图像特征的拼接结果图；

图2为BRISK中采样点示意图；

图3为本发明所述方法的拼接结果图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

为方便描述本发明内容，这里首先对一些术语进行必要的解释：

FAST(Features From Accelerated Segment Test)。FAST特征检测算法的核心是利用周围像素比较的信息可以得到特征点，其来源于corner的定义，基于特征点周围的像素灰度值检测候选特征点周围一圈的像素值，如果候选区域内像素点足够多且与候选点灰度值差值足够大，则认为一个特征点。FAST相较于其他特征检测算法更为简单高效。

BRISK(Binary Robust Invariant Scalable Keypoints)。“Binary RobustInvariant Scalable Keypoints”提出了一种特征提取算法和二进制特征描述算子。在对有较大模糊的图像配准时， BRISK算法在众多算法中表现最为出色，但该算法特征检测算子为FAST算子，该算子提取的特征点精细度和准确度不如SIFT和SURF算子。考虑到检测速度和模糊拼接的鲁棒性，这里我们只利用BRISK算子作为特征描述子。

BF。BF算法，即暴风(Brute Force)算法，是普通的模式匹配算法，BF算法的思想就是将目标串S的第一个字符与模式串T的第一个字符进行匹配，若相等，则继续比较S的第二个字符和T的第二个字符；若不相等，则比较S的第二个字符和T的第一个字符，依次比较下去，直到得出最后的匹配结果。

RANSAC(Random Sample Consensus，随机抽样一致性算法)。Random SampleConsensus 是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

单应性矩阵。在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射，单应性矩阵便是描述该映射关系的映射矩阵。

UTM坐标。UTM(UNIVERSAL TRANSVERSE MERCARTOR GRID SYSTEM，通用横墨卡托格网系统)坐标是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用。因为图像拼接完成后为二维平面图像，因此原有的GPS坐标必须转换为UTM坐标才能适用。

本实施例提供一种基于航迹约束的无人机图像拼接与定位方法，包括以下步骤：

步骤1.图像预处理：

灰度化：将彩色图像的RGB三个分量以不同的权值进行加权平均得到灰度图像：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)

其中，1≤i≤横向最大像素值，1≤j为≤纵向最大像素值，RGB分别为(i，j)像素的RGB分量值；

步骤2.图像特征提取：

FAST利用周围像素比较的信息得到特征点，特征提取速度快；BRISK二进制描述符通过特征点周围像素点对简单的强度对比直接产生二进制比特串，计算特征点之间的相似距离简单有效，占用内存少；本实施例利用FSAT算法检测特征点，利用BRISK计算特征描述符；具体实现分为以下几步：

步骤2-1.一个以像素p为中心，半径为3的圆上，有16个像素点(从正上方开始顺时针依次记为p1、p2、...、p16)，定义一个阈值；计算p1、p9与中心p的像素差，若它们绝对值都小于阈值，则p点不可能是特征点，直接忽略；否则，当做候选点，有待进一步考察；

步骤2-2.若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；否则，直接忽略；

步骤2-3.若p是候选点，则计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则是特征点；否则，直接忽略；

步骤2-4.对图像进行非极大值抑制：

计算特征点出的FAST得分值(即score值，也即s值)，判断以特征点p为中心的一个邻域(如3x3或5x5)内每个特征点的s值(16个点与中心差值的绝对值总和)，若邻域内存在多个特征点，且p是邻域所有特征点中s值最大的，则保留p；否则，抑制p；若邻域内只有一个特征点，则保留；

步骤2-5.BRISK计算特征描述符：BRISK描述子是二进制的特征，以步骤2-4中的特征点为中心，构建不同半径的同心圆，在每个圆上获取一定数目的等间隔采样点(所有采样点包括特征点，一共N个，这里N＝60，该值是BRISK算法的经验值，效果最佳)，如图2所示。采样点两两组合成一对，由采样点集合可得到N(N-1)/2对采样点对，同时可以得到 N(N-1)/2个距离的集合(包含长、短距离子集)，考虑其中短距离子集中的512个短距离点对，进行二进制编码，最终可以得到特征点的512比特的BRISK二进制特征描述符(特征描述向量)。

步骤3.图像特征匹配：

步骤3-1.BRISK描述符是1和0组成的二进制比特串，这里采用汉明距离(异或操作) 可以实现其高速的匹配，效率突出；对步骤2中得到的前后帧特征描述向量进行BF匹配得到初始匹配结果；

步骤3-2.RANSAC算法容错能力强，对噪声点和误匹配点鲁棒性强，能够较好地剔除误匹配点对；通过RANSAC算法对步骤3-1中的初始匹配结果剔除异常匹配值，得到获得稳定的、精度高的最佳匹配点对集；

步骤3-3.将步骤3-2的最终匹配结果中特征描述向量对应的特征点，通过最小二乘法计算第n帧图像相对于第n-1帧的透视变换单应性矩阵H_n-1，2≤n≤视频最大帧数；

步骤3-4.根据如下公式计算出第n帧相对于第一帧的单应性矩阵：

H_final＝H_n-1*H_n-2*...*H₀；

对于第一帧图像，我们生成一个宽高(w、h)为第一帧图像长宽2倍的MASK，将第一帧图像贴在MASK的中心处，贴于MASK中心处的第一帧图像的像素点坐标在x轴、y轴方向上相较于原始第一帧视频图像分别向右移动了w/2、h/2个像素点，以此求得原始第一帧视频图像像素点坐标与贴于MASK中心处的第一帧图像的像素点坐标之间的单应性矩阵H₀；

步骤3-5.通过步骤3-4中得到的单应性矩阵H_fina对第n帧图像进行透视变换，将第n帧图像各点像素点坐标变换为新坐标更新到全景图对应位置；

步骤4.航迹约束：

当拼接完第一条航带后，通过既有航迹对第二条航带拼接进行约束，具体步骤如下：

步骤4-1.将第一条航带中拼接帧对应的GPS坐标转换为UTM坐标存入数据容器，记为容器utmData；

步骤4-2.将第一条航带中拼接帧图像的像素中心点坐标存入数据容器，记为容器piexlData；

步骤4-3.将两个容器中对应点作为匹配点对，按照步骤3-2和步骤3-3计算透视变换单应性矩阵，得到容器间的映射关系，即转换矩阵H_2UTM；

步骤4-4.通过步骤4-3中得到的转换矩阵H_2UTM以及第二条航带中心点对应的UTM坐标，预测出第二条航带中心点对应在拼接图像上的像素点坐标，并对预测的像素点坐标做线性拟合，求得第二条航带轨迹直线；

步骤4-5.通过求得的第二条航带轨迹直线对第二条航带的拼接进行约束，具体实施方案如下：

第二条航带的图像帧经过步骤3-5的操作后得到图像各像素点变换后的坐标并存入容器 pix_mid，将其图像中心点的变换后坐标存入容器pos_old，过此中心点变换后坐标作第二条航带轨迹直线的垂线，得到中心点与轨迹直线的距离d以及垂线与x轴的夹角α，进一步求得中心点变换后坐标与轨迹直线在x轴、y轴上的偏移量delta_x、delta_y，将pix_mid中所有坐标在x轴、y轴方向分别平移delta_x、delta_y，得到平移后(即约束后)的坐标pix_new，并依此来更新全景图；将约束后的中心点坐标存入容器constraintCoori；

步骤4-6.之后的多条航带处理方式与第二条相同，以此进一步更新全景图；

步骤5.全景图任意点GPS定位：

拼接完成后，为了提高定位精度，回避了成像的空间几何过程，直接对图像变形进行数学模拟，具体步骤如下：

步骤5-1.将步骤4-1中的utmData容器和piexlData容器均更新为全部点集，其中piexlData 中第二条航带像素中心点坐标为constraintCoori；

步骤5-2.将两个容器中对应点作为匹配点对，按照步骤3-2和步骤3-3计算透视变换单应性矩阵，即容器间的映射关系；

步骤5-3.全景图中任意点的像素点坐标根据步骤5-2中的映射关系得到对应的UTM坐标，再转换为GPS坐标。

Claims (6)

1.一种基于航迹约束的无人机图像拼接与定位方法，其特征在于，包括以下步骤：

步骤1.图像预处理：对接收到的每帧视频图像进行灰度化；

步骤2.图像特征提取：

对步骤1中得到的图像用FAST特征检测算法检测图像特征得到包含尺度、位置及方向信息的特征点，采用BRISK特征描述子对特征点计算生成特征描述向量；

步骤3.图像特征匹配：

对步骤2中得到的特征描述向量进行BF匹配得到初始匹配结果；通过RANSAC算法对初始匹配结果剔除异常匹配值，得到获得最佳匹配点对集；通过最小二乘法计算第n帧图像相对于第n-1帧的透视变换单应性矩阵H_n-1，2≤n≤视频最大帧数；计算出第n帧相对于第一帧的单应性矩阵H_final，将拼接帧图像更新到全景图对应位置；

步骤4.航迹约束：

根据拼接图像像素点坐标系与UTM坐标系的对应关系，计算透视变换单应性矩阵即转换矩阵H_2UTM；将第二条航带拼接帧对应的UTM坐标根据转换矩阵H_2UTM预测出像素点坐标，对其做线性拟合得到第二条航带直线，由此直线约束第二条航带拼接；之后的多条航带处理方式与第二条相同，并进一步拼接得到全景图；

步骤5.全景图任意点GPS定位：

将全景图中拼接帧对应的UTM坐标和拼接帧图像的像素中心点坐标作为匹配点对，计算透视变换单应性矩阵，得到两者间的映射关系；全景图中任意点的像素点坐标根据映射关系可以得到对应GPS坐标。

2.根据权利要求1所述的基于航迹约束的无人机图像拼接与定位方法，其特征在于，步骤1的具体过程为：

灰度化：将彩色图像的RGB三个分量以不同的权值进行加权平均得到灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，1≤i≤横向最大像素值，1≤j为≤纵向最大像素值，RGB分别为(i,j)像素的RGB分量值。

3.根据权利要求2所述的基于航迹约束的无人机图像拼接与定位方法，其特征在于，步骤2的具体过程为：

步骤2-1.一个以像素p为中心，半径为3的圆上，有16个像素点，从正上方开始顺时针依次记为p1、p2、...、p16，定义一个阈值；计算p1、p9与中心p的像素差，若它们绝对值都小于阈值，则p点不可能是特征点，直接忽略；否则，当做候选点，有待进一步考察；

步骤2-2.若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；否则，直接忽略；

步骤2-3.若p是候选点，则计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则是特征点；否则，直接忽略；

步骤2-4.对图像进行非极大值抑制：

计算特征点出的FAST得分值即s值，判断以特征点p为中心的一个邻域内每个特征点的s值，即16个点与中心差值的绝对值总和，若邻域内存在多个特征点，且p是邻域所有特征点中s值最大的，则保留p；否则，抑制p；若邻域内只有一个特征点，则保留；

步骤2-5.BRISK计算特征描述符：BRISK描述子是二进制的特征，以步骤2-4中的特征点为中心，构建不同半径的同心圆，在每个圆上获取N个等间隔采样点，采样点两两组合成一对，由采样点集合可得到N(N-1)/2对采样点对，同时可以得到N(N-1)/2个距离的集合，考虑其中短距离子集中的512个短距离点对，进行二进制编码，最终可以得到特征点的512比特的BRISK二进制特征描向量。

4.根据权利要求3所述的基于航迹约束的无人机图像拼接与定位方法，其特征在于，步骤3的具体过程为：

步骤3-1.对步骤2中得到的前后帧特征描述向量进行BF匹配得到初始匹配结果；

步骤3-2.通过RANSAC算法对步骤3-1中的初始匹配结果剔除异常匹配值，得到获得最佳匹配点对集；

步骤3-3.将步骤3-2的最终匹配结果中特征描述向量对应的特征点，通过最小二乘法计算第n帧图像相对于第n-1帧的透视变换单应性矩阵H_n-1，2≤n≤视频最大帧数；

步骤3-4.根据如下公式计算出第n帧相对于第一帧的单应性矩阵：

H_final＝H_n-1*H_n-2*...*H₀；

其中，H₀为第一帧视频的单应性矩阵；

步骤3-5.通过步骤3-4中得到的单应性矩阵H_final对第n帧图像进行透视变换，将第n帧图像各点像素点坐标变换为新坐标更新到全景图对应位置。

5.根据权利要求4所述的基于航迹约束的无人机图像拼接与定位方法，其特征在于，步骤4的具体过程为：

步骤4-1.将第一条航带中拼接帧对应的GPS坐标转换为UTM坐标存入数据容器，记为容器utmData；

步骤4-2.将第一条航带中拼接帧图像的像素中心点坐标存入数据容器，记为容器piexlData；

步骤4-3.将两个容器中对应点作为匹配点对，按照步骤3-2和步骤3-3计算透视变换单应性矩阵，得到容器间的映射关系，即转换矩阵H_2UTM；

步骤4-4.通过步骤4-3中得到的转换矩阵H_2UTM以及第二条航带中心点对应的UTM坐标，预测出第二条航带中心点对应在拼接图像上的像素点坐标，并对预测的像素点坐标做线性拟合，求得第二条航带轨迹直线；

步骤4-5.通过求得的第二条航带轨迹直线对第二条航带的拼接进行约束：

第二条航带的图像帧经过步骤3-5的操作后得到图像各像素点变换后的坐标并存入容器pix_mid，将其图像中心点的变换后坐标存入容器pos_old，过此中心点变换后坐标作第二条航带轨迹直线的垂线，得到中心点与轨迹直线的距离d以及垂线与x轴的夹角α，进一步求得中心点变换后坐标与轨迹直线在x轴、y轴上的偏移量delta_x、delta_y，将pix_mid中所有坐标在x轴、y轴方向分别平移delta_x、delta_y，得到平移后的坐标pix_new，并依此来更新全景图；将约束后的中心点坐标存入容器constraintCoori；

步骤4-6.之后的多条航带处理方式与第二条相同，以此进一步更新全景图。

6.根据权利要求5所述的基于航迹约束的无人机图像拼接与定位方法，其特征在于，步骤5的具体过程为：

步骤5-1.将步骤4-1中的utmData容器和piexlData容器均更新为全部点集，其中piexlData中第二条航带像素中心点坐标为constraintCoori；

步骤5-2.将两个容器中对应点作为匹配点对，按照步骤3-2和步骤3-3计算透视变换单应性矩阵，即容器间的映射关系；

步骤5-3.全景图中任意点的像素点坐标根据步骤5-2中的映射关系得到对应的UTM坐标，再转换为GPS坐标。