CN112288628B - 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统 - Google Patents

Abstract

本发明提供一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统，包括读取输入的一组航拍所得连续图像，进行预处理，包括对原始图像进行直方图均衡化；运用光流跟踪方法结合均匀采点获取相邻图像之间的匹配点集；根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵；每隔若干帧计算一次当前图像相对初始帧的变换矩阵，映射到拼接画布上进行合成处理，得到航拍图像快速拼接结果。本发明针对航拍图像特征点提取与匹配较为复杂的技术问题，在拼接过程中直接在基准图像上均匀采点，通过光流跟踪方法得到匹配点集，在图像变换映射时每隔若干帧进行一次拼接，避免了图像数量较多时逐帧拼接速度低的问题，同时也保证了拼接结果的细节稳定性。

Description

基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统

技术领域

本发明涉及航拍图像处理应用中的图像拼接领域，尤其涉及一种基于光流跟踪和抽帧映射的航拍图像多图拼接加速方案。

背景技术

图像拼接是图像处理中一个重要研究方向，尤其是视频中提取出的多帧连续图像拼接对进一步做图像理解有着重要的意义，多图拼接的应用场景很广泛，如无人机航拍、遥感图像、视觉SLAM等领域都需要快速且精确的图像拼接效果。在无人机航拍中经常会得到对地面某一区域的连续拍摄画面，图像拼接的目的就是把这些图像通过变换投影到一个画布上，并把不同图像重合的部分进行融合，消除边界，最终得到一块区域的整体大图。但是，航拍图像包含信息量大，但清晰度较差，在进行特征点匹配时很容易产生大量的误匹配点，对变换矩阵的求解结果造成影响，需要耗费大量的时间进行误匹配点的筛选，目前技术难以达到实时性要求。

目前图像拼接技术的流程包括三个步骤：特征点提取与匹配、图像配准和图像融合。特征点提取与匹配的目的是建立不同图像之间特征点的联系，为图像配准打下基础，一般采用SIFT、SURF等方法进行图像序列特征点的提取并根据特征点描述子的距离进行特征点匹配，得到不同图像之间的匹配点集。图像配准是图像拼接的核心技术，通过第一步得到的匹配点集来构建图像序列之间的变换矩阵，并迭代优化该矩阵以精确描述图像之间的空间变换。根据图像间的变换矩阵就可以将图像以第一帧为基准变换到同一画布中，最后一步图像融合的目的就是解决拼接结果中不同图像重叠区域存在的拼接缝和亮度差异问题，一般采用简单快速的像素加权平滑方法处理拼接缝就可以得到较完整的拼接合成图像。

上述图像拼接方法具有良好的精度和鲁棒性，但是拼接效率较低，无法满足某些应用中对实时性的要求，尤其是航拍图像拼接方面，因为数据量和清晰度等因素难以达到实时性要求。首先传统的特征点提取和匹配方法复杂度较高，匹配过程特征点描述子距离的计算量很大，其次将所有后续图像都通过变换矩阵映射到第一帧也相当耗时，每次映射都要对图像进行投影变换并对拼接缝合线进行光滑处理并调整画布的大小，不同图像在拼接结果中的重叠区域多次叠加，也会影响拼接图像的细节。

发明内容

鉴于上述存在问题，本发明提供了一种基于光流跟踪和抽帧映射的航拍图像多图拼接加速方案，对点的提取匹配和图像变换后的映射过程进行优化，减少了拼接合成时图像映射的次数，旨在提高较多连续图像拼接的速度。

本发明的技术方案为一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法，包括以下步骤，

步骤1，读取输入的一组航拍所得连续图像，进行预处理，包括对原始图像进行直方图均衡化；

步骤2，运用光流跟踪方法结合均匀采点获取相邻图像之间的匹配点集；

步骤3，根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵；

步骤4，每隔若干帧计算一次当前图像相对初始帧的变换矩阵，映射到拼接画布上进行合成处理，得到航拍图像快速拼接结果。

而且，步骤2中，匹配点的选取实现方式为，在基准图像中按预设的密度均匀采点得到，根据图像间的运动矢量匹配得到采点结果在后续图像中的位置。

而且，步骤2中，通过光流跟踪方法获取匹配点集的实现方式为，利用LK光流法跟踪得到基准图像中点在后续图像中的坐标，包括假设前一帧时间为t，后一帧时间为t+δt，则前一帧I的坐标为(x,y)的点在t时刻的像素值I(x,y,t)在后一帧中的位置为I(x+δx,y+δy,t+δt)，根据光流的亮度恒定假设有I(x,y,t)＝I(x+δx,y+δy,t+δt)，通过展开求解得到一个坐标的光流矢量。

而且，步骤3中，图像基于基准图像的运动估计采用透视投影矩阵进行坐标变换，透视变换公式为，

其中，采用齐次坐标(u,v,w)表示点，w和w’是齐次坐标的第三维，在二维变换的情况下，公式中w和w’为1，通过透视投影变换，将图像坐标(u,v)变换为(x’,y’)。

而且，当前图像相对第一帧的变换矩阵是由相邻图像之间变换矩阵连续相乘得到的。

本发明还提供一种基于光流跟踪和抽帧映射的航拍图像拼接加速系统，用于实现如上所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

而且，包括以下模块，

第一模块，用于读取输入的一组航拍所得连续图像，进行预处理，包括对原始图像进行直方图均衡化；

第二模块，用于运用光流跟踪方法结合均匀采点获取相邻图像之间的匹配点集；

第三模块，用于根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵；

第四模块，用于每隔若干帧计算一次当前图像相对初始帧的变换矩阵，映射到拼接画布上进行合成处理，得到航拍图像快速拼接结果。

或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

与现有技术相比，本发明具有以下有益效果：

本发明提供的基于光流跟踪和抽帧映射的航拍图像多图拼接加速方案在两个方面提升了拼接的速度，一是舍弃了复杂度较高的传统特征点匹配方法，采用直接均匀采点加光流跟踪的策略进行匹配加速，二是进行了抽帧映射而不是全部图像都进行映射，减少了拼接合成的工作量，在保证拼接精度的同时提高了方法的运行效率。

附图说明

图1为本发明实施例提供的一种基于光流跟踪和抽帧映射的航拍图像多图拼接加速方法的整体流程图；

图2为本发明实施例中抽帧映射拼接策略的示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于光流跟踪和抽帧映射的航拍图像多图拼接加速方法在图像拼接的特征点提取与匹配、拼接投影映射中进行了加速，该方法的具体实现包括：

S1.读取输入的一组航拍所得连续图像，进行预处理

具体的，将需要拼接的一组图像进行读取和存储，为保证光流跟踪的效果，需要对所有图像进行统一预处理，包括调整图像尺寸，并对原始图像进行直方图均衡化以降低亮度变化对方法的干扰。

S2.运用光流跟踪方法获取相邻图像之间的匹配点集

这一步利用光流跟踪方法取代了传统特征点提取和匹配的过程。匹配点的选取实现方式为，在基准图像中按预设的密度均匀采点得到。实施例中，对于连续的两帧图像，用img1和img2来代表它们，首先在img1中按x、y方向上各16像素的步长进行均匀采点，然后通过LK光流法跟踪得到这些点在img2画面中对应的位置。

光流就是画面移动过程中，图像上每个像素的x，y位移量，比如第t帧的时候A点的位置是(x1,y1)，那么在第t+1帧的时候再找到A点，假如它的位置是(x2,y2)，那么就可以确定A点的运动：(u,v)＝(x2,y2)-(x1,y1)。

其中，(u,v)表示该点在两帧图像之间的运动矢量，u是x方向上的位移，v是y方向上的位移。

在本实施例中，以步骤S1预处理后的两张图像作为输入，设记为img1和img2，在img1上进行均匀采点，LK光流方法会估计出这些点在img2上的位置，两张图像之间的光流场就是估计出的运动矢量。

匹配点集的获取是通过光流跟踪方法得到的，利用LK光流法跟踪得到基准图像中点在后续图像中的坐标，LK光流法的思想是：假设前一帧时间为t，后一帧时间为t+δt。则前一帧I的坐标为(x,y)的点在t时刻的像素值(亮度)I(x,y,t)在后一帧中的位置为I(x+δx,y+δy,t+δt)，根据光流的亮度恒定假设有I(x,y,t)＝I(x+δx,y+δy,t+δt)，通过展开求解即可得到一个坐标的光流矢量，即u＝δx,v＝δy。

S3.根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵

具体的，利用S2得到的匹配点集进行img1和img2的配准，求解出一个表示两张图像间的透视投影的3×3变换矩阵。

实施例中，图像基于基准图像的运动估计采用透视投影矩阵进行坐标变换，透视变换公式为：

其中，采用齐次坐标(u,v,w)表示点，w和w’是齐次坐标的第三维，在二维变换的情况下，公式中w和w’为1，通过透视投影变换，将图像坐标(u,v)变换为新的坐标(x’,y’)，对当前帧图像img2做全局投影变换可以使其映射到前一帧img1的位置。a₁₁～a₃₃是3×3的透视投影变换矩阵中的参数，根据匹配点集解方程组求解得到。

由于采点的数量分布均匀且数量较多，LK光流法估计得到的匹配点对存在一些跟踪点的丢失或跟踪错误，此外图像中的非背景点如动目标是全局运动估计所不需要的点，因此在S2光流跟踪得到匹配点集后还需要做进一步筛选。具体的做法是首先剔除掉光流估计中跟踪丢失的点，误差大于相应阈值的点，然后通过RANSAC方法对匹配点集进行迭代计算剔除重投影误差大于预设阈值(实施例取5像素)的点，以获得更加准确的矩阵估计。

RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。RANSAC方法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数，通过反复选择数据中的一组随机子集来达成目标。在本实施例中，需要估计的模型就是一个单应性变换矩阵，将点对重投影误差作为RANSAC内外点的判别标准，如果点对的重投影误差大于最大允许误差阈值(一般可取1～10像素)则认为该点是外点，即错误匹配点对。

经过筛选的匹配点集可以通过RANSAC估计出一个精度较高的变换矩阵，但这个矩阵只能描述相邻两帧图像间的透视投影变换，要进行拼接就必须得到当前帧图像相对第一帧图像的变换矩阵。

S4.抽帧求解相对第一帧的变换矩阵，将其映射到拼接画布上进行合成处理。

具体的，与所有图像都进行投影映射的逐帧拼接方式不同，抽帧拼接是指每隔若干帧求一次当前图像到第一帧的变换矩阵，对其进行透视投影变换映射到第一帧的画布上，相隔的帧数可由连续图像画面运动的剧烈程度进行适当地选择(一般可取3～10帧)，本实施例中采用每隔5帧进行一次映射的拼接策略。

在S3的配准全部完成后，除第一帧图像外，后续的所有图像都应得到一个其向前一帧相邻图像的变换矩阵，根据变换的连续性，可以通过矩阵连乘的方法计算出当前图像到第一帧的变换矩阵。即当前图像相对第一帧的变换矩阵是由相邻图像之间变换矩阵连续相乘得到的。

如图2所示，其中img_mosaic为最终拼接得到的大图，记初始帧图像为img₀，则第一次拼接应该是在img₅，此时img₅向img₀的变换矩阵可以由img₅到img₄，img₄到img₃，……img₁到img₀这五个变换矩阵依次相乘得到。根据这一计算方法，第n帧图像到初始帧的变换矩阵计算公式可总结如下：

H_{n帧→初始帧}＝H_{n帧→(n-5)帧}·H_{(n-5)帧→初始帧}

其中，H_{n帧→初始帧}为第n帧图像img_n到初始帧img₀的变换矩阵，H_{n帧→(n-5)帧}为第n帧图像img_n到第(n-5)帧img_n-5的变换矩阵，H_{(n-5)帧→初始帧}为第(n-5)帧图像img_n-5到初始帧img₀的变换矩阵。

抽帧映射在相隔帧数选取适当的情况下可以显著地降低图像拼接方法的耗时同时保证拼接结果的鲁棒性，优选地：画面运动较快时，相隔帧数应尽可能的少，当画面运动较慢则可以加大相隔的帧数。此外，抽帧映射还可以避免一些因逐帧拼接而产生的重叠区域细节模糊的问题。

在图像经透视投影变换到第一帧时，需要进行画布大小的调整，通过拼接后的边界坐标信息得到拼接大图的最小外接矩形，通过这一矩形调整画布的大小。最后，对于重叠区域存在的拼接缝和亮度差异问题，采用像素加权平滑方法处理，即取重合点处两张图像各自像素值的平均值作为该点的像素值即可得到观感较好的融合效果。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种基于光流跟踪和抽帧映射的航拍图像拼接加速系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

在一些可能的实施例中，提供一种基于光流跟踪和抽帧映射的航拍图像拼接加速系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法，其特征在于：包括以下步骤，

步骤1，读取输入的一组航拍所得连续图像，进行预处理，包括对原始图像进行直方图均衡化；

步骤2，运用光流跟踪方法结合均匀采点获取相邻图像之间的匹配点集；

步骤3，根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵；

步骤4，每隔若干帧计算一次当前图像相对初始帧的变换矩阵，映射到拼接画布上进行合成处理，得到航拍图像快速拼接结果，实现方式如下，

抽帧拼接是指每隔若干帧求一次当前图像到第一帧的变换矩阵，对其进行透视投影变换映射到第一帧的画布上，相隔的帧数由连续图像画面运动的剧烈程度进行选择；

在准全部完成后，除第一帧图像外，后续的所有图像都应得到一个其向前一帧相邻图像的变换矩阵，根据变换的连续性，通过矩阵连乘计算出当前图像到第一帧的变换矩阵，则当前图像相对第一帧的变换矩阵是由相邻图像之间变换矩阵连续相乘得到的；

当采用每隔5帧进行一次映射的拼接策略时，第n帧图像到初始帧的变换矩阵计算公式如下，

H_{n帧→初始帧}＝H_{n帧→(n-5)帧}·H_{(n-5)帧→初始帧}

其中，H_{n帧→初始帧}为第n帧图像img_n到初始帧img₀的变换矩阵，H_{n帧→(n-5)帧}为第n帧图像img_n到第(n-5)帧img_n-5的变换矩阵，H_{(n-5)帧→初始帧}为第(n-5)帧图像img_n-5到初始帧img₀的变换矩阵；

在图像经透视投影变换到第一帧时，进行画布大小的调整，通过拼接后的边界坐标信息得到拼接大图的最小外接矩形，通过这一矩形调整画布的大小；最后，对于重叠区域存在的拼接缝和亮度差异，采用像素加权平滑方法处理，包括取重合点处两张图像各自像素值的平均值作为该点的像素值，得到融合效果。

2.根据权利要求1所述基于光流跟踪和抽帧映射的航拍图像拼接加速方法，其特征在于：步骤2中，匹配点的选取实现方式为，在基准图像中按预设的密度均匀采点得到，根据图像间的运动矢量匹配得到采点结果在后续图像中的位置。

3.根据权利要求1所述基于光流跟踪和抽帧映射的航拍图像拼接加速方法，其特征在于：步骤2中，通过光流跟踪方法获取匹配点集的实现方式为，利用LK光流法跟踪得到基准图像中点在后续图像中的坐标，包括假设前一帧时间为t，后一帧时间为t+δt，则前一帧I的坐标为(x,y)的点在t时刻的像素值I(x,y,t)在后一帧中的位置为I(x+δx,y+δy,t+δt)，根据光流的亮度恒定假设有I(x,y,t)＝I(x+δx,y+δy,t+δt)，通过展开求解得到一个坐标的光流矢量。

4.根据权利要求1所述基于光流跟踪和抽帧映射的航拍图像拼接加速方法，其特征在于：步骤3中，图像基于基准图像的运动估计采用透视投影矩阵进行坐标变换，透视变换公式为，

其中，采用齐次坐标(u,v,w)表示点，w和w’是齐次坐标的第三维，在二维变换的情况下，公式中w和w’为1，通过透视投影变换，将图像坐标(u,v)变换为(x’,y’)。

5.根据权利要求1所述基于光流跟踪和抽帧映射的航拍图像拼接加速方法，其特征在于：当前图像相对第一帧的变换矩阵是由相邻图像之间变换矩阵连续相乘得到的。

6.一种基于光流跟踪和抽帧映射的航拍图像拼接加速系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

7.根据权利要求6所述基于光流跟踪和抽帧映射的航拍图像拼接加速系统，其特征在于：包括以下模块，

第一模块，用于读取输入的一组航拍所得连续图像，进行预处理，包括对原始图像进行直方图均衡化；

第二模块，用于运用光流跟踪方法结合均匀采点获取相邻图像之间的匹配点集；

第三模块，用于根据匹配点集进行相邻图像的配准，求出对应的投影变换矩阵；

第四模块，用于每隔若干帧计算一次当前图像相对初始帧的变换矩阵，映射到拼接画布上进行合成处理，得到航拍图像快速拼接结果，实现方式如下，

抽帧拼接是指每隔若干帧求一次当前图像到第一帧的变换矩阵，对其进行透视投影变换映射到第一帧的画布上，相隔的帧数由连续图像画面运动的剧烈程度进行选择；

在准全部完成后，除第一帧图像外，后续的所有图像都应得到一个其向前一帧相邻图像的变换矩阵，根据变换的连续性，通过矩阵连乘计算出当前图像到第一帧的变换矩阵，则当前图像相对第一帧的变换矩阵是由相邻图像之间变换矩阵连续相乘得到的；

当采用每隔5帧进行一次映射的拼接策略时，第n帧图像到初始帧的变换矩阵计算公式如下，

H_{n帧→初始帧}＝H_{n帧→(n-5)帧}·H_{(n-5)帧→初始帧}

其中，H_{n帧→初始帧}为第n帧图像img_n到初始帧img₀的变换矩阵，H_{n帧→(n-5)帧}为第n帧图像img_n到第(n-5)帧img_n-5的变换矩阵，H_{(n-5)帧→初始帧}为第(n-5)帧图像img_n-5到初始帧img₀的变换矩阵；

在图像经透视投影变换到第一帧时，进行画布大小的调整，通过拼接后的边界坐标信息得到拼接大图的最小外接矩形，通过这一矩形调整画布的大小；最后，对于重叠区域存在的拼接缝和亮度差异，采用像素加权平滑方法处理，包括取重合点处两张图像各自像素值的平均值作为该点的像素值，得到融合效果。

8.根据权利要求6所述基于光流跟踪和抽帧映射的航拍图像拼接加速系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如权利要求1-5任一项所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

9.根据权利要求6所述基于光流跟踪和抽帧映射的航拍图像拼接加速系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种基于光流跟踪和抽帧映射的航拍图像拼接加速方法。

Images