CN110267101B - 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 - Google Patents

Abstract

本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度。

Description

一种基于快速三维拼图的无人机航拍视频自动抽帧方法

【技术领域】

本发明属于无人机航拍视频数据应用领域，具体涉及一种基于快速三维拼图的无人机航拍视频自动抽帧方法。

【背景技术】

无人飞行器具有快速、灵活、低成本、高影像分辨率等特点，可以提供测区的第一手影像资料，有效弥补了遥感卫星的重访周期不足的问题。因此，在灾害监测、应急救灾、基础测绘、电力线巡检等领域得到广泛的应用。为及时、准确地反映整个测区情况，需要将获得的影像现场快速拼图，形成测区全貌。但是，由于无人飞行器低空飞行获取视频影像幅宽小、数量大、重叠度高、影像冗余度较大，飞行过程中易产生大倾角且倾斜无规律，造成图像存在不规则重叠区域以及几何畸变，这些因素对无人机影像的拼接效率及效果有着严重的影响。为了减小计算量，提高拼接效率，需要在视频流中选取具有一定重叠度的关键帧进行处理。

目前比较成熟的技术为在处理视频数据三维拼图时采用等间隔抽帧的方式，这种方法的优点是实现简单便捷，但是由于其未对视频的内容进行分析，人为预估的间隔抽取关键帧存在冗余或者数据重叠率不足的问题，影响后续拼图效率。因此，以较快的速度获取视频中适当帧间隔的关键帧进行快速拼图显得尤为重要。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于快速三维拼图的无人机航拍视频自动抽帧方法；该方法解决了视频拼图冗余数据量大引起后续拼图处理速度慢的问题。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于快速三维拼图的无人机航拍视频自动抽帧方法，包括以下步骤：

步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；

步骤2，包括统计阶段和提取阶段；

步骤2.1，统计阶段；

首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；

步骤2.2，提取阶段；

以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，校验结果分为以下两种情况：

(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；

(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。

优选的，步骤1中，所述第一阈值为0.7。

优选的，步骤1中，相似度k的计算公式为：

其中，H_j代表第j图像对应的直方图，d(H₁,H_j)表示图像直方图H₁和直方图H_j之间的相关系数，I表示直方图中的第I个bin，H₁和H_j中bin的数目相等，H_j(I)代表第j个图像对应的直方图中的第I个bin的值；

N是直方图中bin的数目。

优选的，步骤2.1包括以下步骤：

步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；

(1)设定单次跳帧值为n₁，相邻关键帧重叠度Ω的阈值范围为y₁-y₂；计算相对于基准帧的第n₁+1个视频帧和基准帧之间的重叠度

第n₁+1个视频帧为对比帧；若

在阈值范围y₁-y₂内，将第n₁+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若

执行步骤(2)，若

执行步骤(3)；

(2)当

时，取2n₁作为单次跳帧值，计算相对于基准帧的第2n₁+1个视频帧和基准帧之间的重叠度

第2n₁+1个视频帧为对比帧；若

依旧大于y₂，取3n₁作为单次跳帧值，计算相对于基准帧的第3n₁+1个视频帧和基准帧之间的重叠度

第3n₁+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn₁作为单次跳帧值时，相对于基准帧的第mn₁+1个视频帧和基准帧的重叠度

在阈值范围y₁-y₂内，将第mn₁+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；

(3)若第n₁+1或第mn₁+1个视频帧和基准帧的重叠度＜y₁；

对于第n₁+1个视频帧，取

作为视频间隔；相对于基准帧，第

作为关键帧；执行步骤2.1.2；

对于第mn₁+1个视频帧，取

作为视频间隔；相对于基准帧，第

作为关键帧，执行步骤2.1.2；

步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；

步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K。

优选的，步骤2.1.1中，所述y₁为65％，y₂为80％。

优选的，步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：

(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；

(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；

(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω。

优选的，步骤(1)中，所述特征点信息为特征点在该图像中的坐标和描述子。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度；验证发现，通过本发明的方法得到的视频三维拼图，关键帧提取数量少，且通过关键帧组成的视频三维拼图能够满足设定要求。

【附图说明】

图1是本发明基于快速三维拼图的视频关键帧提取方法的流程图；

图2是本发明计算视频帧间重叠度流程图；

图3是本发明影像间重叠度示意图；

图4是利用某商用软件进行视频三维拼图结果图；

图5是本发明对同一段视频关键帧提取后进行三维拼图结果图。

【具体实施方式】

下面结合附图和具体实施方式对本发明做进一步详细描述，本发明公开了一种基于快速三维拼图的视频关键帧提取方法，参见图1，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频。然后根据三维拼图的重叠度要求，选取关键帧，并进行后续三维拼图；本发明具体包括以下步骤：

步骤1，为了提高处理速度，先对视频进行预处理，检测无人机在起飞之前静止的阶段拍摄视频，剔除无效数据，避免冗余帧对拼图速度的影响；

针对无人机航拍视频，一般都包含无人机起飞前静止时拍摄的视频，但是这部分视频对于后续的快速三维拼图属于无效帧，在前期的预处理阶段需要将这一段剔除。选择第1帧视频帧作为起始参考帧，以帧率作为跳帧间隔，逐次比较第j帧视频帧与第1帧视频帧的相似度k，当k＜0.7时，获取第j帧视频帧作为提取关键帧的初始帧，也就是基准帧，j＞1；

在计算第j帧视频帧和第1帧视频帧之间相似度时，采用统计颜色直方图相似度的方法，先将每一个图像从RGB颜色空间转到HSV颜色空间，然后分三个通道计算颜色直方图，并且进行颜色直方图归一化，最后使用相似性度量准则来计算视频帧之间的相似度k，公式如下式(1)：

其中，H_j代表第j图像对应的直方图，d(H₁,H_j)表示图像直方图H₁和直方图H_j之间的相关系数，I表示直方图中的第I个bin，H₁和H_j中bin的数目相等，H_j(I)代表第j个图像对应的直方图中第I个bin的值；

N是直方图中bin的数目。

步骤2，获取无人机开始稳定飞行时刻拍摄的视频帧，以步骤1得到的第j帧对应的时刻作为关键帧提取的初始时刻，选取一段连续视频帧，计算相邻帧之间的重叠度，相对应的第j帧为初始关键帧，即为基准帧，一般来说三维拼图需要保证航向重叠率不低于70％，因此需要设置合适的图像间隔区间，当计算得到该区间的图像的重叠度满足设定重叠度时，保存当前帧为关键帧。具体来说，对无人机平稳飞行后拍摄的有效视频进行关键帧提取，分为两个阶段，一是统计阶段，二是提取阶段。

步骤2.1统计阶段

设定视频统计区间长度l，l需小于整个拍摄视频的长度，计算该长度范围内的固定帧间隔K，具体包括以下步骤

步骤2.1.1以初始关键帧作为基准帧；

(1)在统计阶段，设定单次跳帧值n₁，此处的n₁同为间隔视频帧的数量；在视频统计区间内，以初始关键帧作为基准帧开始，每间隔n₁个视频帧，计算第n₁+1个视频帧(比较帧)和基准帧之间的重叠度

此处设定重叠度Ω的阈值范围为60％-85％；当第n₁+1个视频帧与基准帧之间的重叠度

在阈值范围内，将第n₁+1个视频帧作为一个关键帧；当第n₁+1个视频帧与基准帧之间的重叠度Ω不在阈值范围内时，若重叠度

大于阈值上限85％，执行步骤(2)，若重叠度Ω小于阈值下限，执行步骤(3)；

(2)当第n₁+1个视频帧的重叠度

大于85％时，说明第n₁+1个视频帧和基准帧的重叠度

过高，应该将选取图像间隔距离拉长；相对于基准帧，取2n₁作为单次跳帧值，计算第2n₁+1个图像和第1个图像的重叠度

若第2n₁+1的图像和第1个图像的重叠度

在阈值范围内，将第2n₁+1个视频帧作为一个关键帧；若依旧大于阈值上限，相对于与基准帧，取3n₁作为单次跳帧值，计算第3n₁+1个图像和第1个图像的重叠度

依次类推，直至相对于基准帧，第mn₁作为单次跳帧值时，第mn₁+1个图像和第1个图像的重叠度

在阈值范围内，将第mn₁+1个图作为关键帧，m为大于1的自然数，然后执行步骤2.1.2；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；

(3)若第n₁+1或mn₁+1视频帧和基准帧的重叠度Ω低于下限60％，代表当前帧和基准帧的重叠度Ω过低，需要将跳帧值缩小；

相对于基准帧，对于第n₁+1个视频帧，取

作为视频间隔，即第

作为关键帧；执行步骤2.1.2

相对于基准帧，对于第mn₁+1个视频帧，取

作为视频间隔，即第

作为关键帧；执行步骤2.1.2

步骤2.1.2以任意关键帧作为基准帧

通过步骤2.1.1后计算出过程的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间长度l内所有的视频帧，则计算出统计区间长度l所有的关键帧。

步骤2.1.3计算关键帧间隔K

取该区间段中所有关键帧间隔的均值为关键帧间隔K；此时，统计阶段完成。

上述步骤2.1.1和步骤2.1.2中需要计算基准帧和比较帧的重叠度Ω，如图3所示，在计算影像间重叠度Ω时，通常选择前一帧影像(基准帧)作为参考影像，将下一帧影像(比较帧)变换到前一帧影像上进行计算重叠度Ω的计算，参见图2，重叠度Ω的计算过程包括以下步骤：

(1)利用鲁棒性较好的SIFT(尺度不变特征变换)特征检测方法对两幅图像进行特征提取，提取出两幅图像中每一个图像的所有特征点信息，所述特征点信息包括特征点在该图像中的坐标和描述子；

(2)利用FLANN(快速最近邻搜索)策略进行两幅图中的特征点匹配，主要进行特征点中描述子的匹配，得到初始匹配集；

(3)由于得到的初始匹配集中存在误匹配，影响图像重叠率的计算，接下来通过RANSAC(随机采样一致)算法剔除误匹配。RANSAC可以在一组包含外点的数据集中，采用不断迭代的方法，寻找最优参数模型，将不符合最优模型的点定义为外点。RANSAC的原理是寻找一个3×3最优单应性矩阵，使得满足该矩阵的匹配点个数最多；由于单应性矩阵有8个未知参数，因此通过四个匹配对计算可得。

在剔除完误匹配后得到最佳匹配集，绘制当前帧匹配区域凸包，利用该凸包面积除以前一帧图像的面积，就可以得到两帧间的面积重叠率。假设基准帧A₀A₁A₂A₃的覆盖面积为P_A，比较帧影像B₀B₁B₂B₃的覆盖面积为P_B，则比较帧影像P_B与基准帧影像P_A之间的重叠度

即为P_A与P_B的交集与P_A的比值，A，B代表不同的图像，用公式可表示为：

步骤2.2提取阶段

在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔K，以该段间隔的均值作为下一段视频区间进行关键帧提取间隔的依据，并且在下一段视频区间关键帧提取结束后进行校验，若重叠度满足要求，则以该关键帧间隔继续对下一段视频进行关键帧抽取，否则返回步骤2重新计算新的关键帧间隔，如需重新计算，则在当前视频区间内进行关键帧间隔的计算，无需再次返回最一开始设定的长度为l的视频统计区间内计算；

步骤3，重复步骤2.2，直至有效飞行阶段拍摄的所有视频帧处理完成，提取出所有的关键帧。

下面结合具体实施例对本发明的过程做进一步描述：

实施例1

步骤1，选择视频第一帧作为起始参考帧，以帧率作为跳帧间隔，从第2帧开始与第1比较，依次进行第3帧、第4帧、…与第1帧比较，当相似度k＜0.7时，当前帧作为初始帧，本实施例中，初始帧为第70帧；

步骤2

步骤2.1统计阶段，设定统计区间长度为500帧；

步骤2.1.1以初始关键帧作为基准帧

(1)在统计阶段，设定单次跳帧值为20帧，计算第21帧和基准帧之间的重叠度为95％，发现该重叠度大于上限80％，将单次跳帧值调整为40帧，计算第41帧和基准帧之间的重叠度为91％，将单次跳帧值调整为60帧，计算第61帧和基准帧之间的重叠度为83％，将单次跳帧值调整为80帧，计算第81帧和基准帧之间的重叠度为79％，满足重叠率要求，因此将第81帧更新为基准帧，并且将80加入关键帧间隔集合中。以此为例，计算出统计区间中所有的关键帧，并将其间隔加入关键帧间隔集合中。最后，计算该集合中元素的平均值作为提取阶段的关键帧间隔，此时计算出的提取间隔均值为60帧；

步骤2.2

在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔为60，因此选择下一个长度为500帧的区间，以60帧为间隔提取关键帧，在提取完该段区域的关键帧后，计算最后两个关键帧之间的重叠度，此处是第910帧和971帧，其重叠率为70％，满足要求。因此选择下一个长度为500帧的区间进行提取，重复步骤2.2，直至提取完整段视频，此处提取阶段的每个区间重叠率都是满足要求的，因此无需回到统计阶段重新计算新的关键帧间隔。

图4和图5分别为利用某商用软件和上述方法对进行关键帧提取，并进行三维拼图的结果；对比可以看出两种方法拼图的结果基本一致，该商用软件采用固定帧间隔提取关键帧，一共提取了52幅关键帧，而利用本发明只需提取15幅关键帧即可满足拼图的需求，拼图时间缩短为原来的1/3左右。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，包括以下步骤：

步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；

步骤2，包括统计阶段和提取阶段；

步骤2.1，统计阶段；

首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；

步骤2.1包括以下步骤：

步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；

(1)设定单次跳帧值为n₁，相邻关键帧重叠度Ω的阈值范围为y₁-y₂；计算相对于基准帧的第n₁+1个视频帧和基准帧之间的重叠度

第n₁+1个视频帧为对比帧；若

在阈值范围y₁-y₂内，将第n₁+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若

执行步骤(2)，若

执行步骤(3)；

(2)当

时，取2n₁作为单次跳帧值，计算相对于基准帧的第2n₁+1个视频帧和基准帧之间的重叠度

第2n₁+1个视频帧为对比帧；若

依旧大于y₂，取3n₁作为单次跳帧值，计算相对于基准帧的第3n₁+1个视频帧和基准帧之间的重叠度

第3n₁+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn₁作为单次跳帧值时，相对于基准帧的第mn₁+1个视频帧和基准帧的重叠度

在阈值范围y₁-y₂内，将第mn₁+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；

(3)若第n₁+1或第mn₁+1个视频帧和基准帧的重叠度＜y₁；

对于第n₁+1个视频帧，取

作为视频间隔；相对于基准帧，第

作为关键帧；执行步骤2.1.2；

对于第mn₁+1个视频帧，取

作为视频间隔；相对于基准帧，第

作为关键帧，执行步骤2.1.2；

步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；

步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K；

步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：

(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；

(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；

(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω；

步骤2.2，提取阶段；

以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，

校验结果分为以下两种情况：

(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；

(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。

2.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，所述第一阈值为0.7。

3.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，相似度k的计算公式为：

其中，H_j代表第j图像对应的直方图，d(H₁,H_j)表示图像直方图H₁和直方图H_j之间的相关系数，I表示直方图中的第I个bin，H₁和H_j中bin的数目相等，H_j(I)代表第j个图像对应的直方图中的第I个bin的值；

N是直方图中bin的数目。

4.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤2.1.1中，所述y₁为65％，y₂为80％。

5.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤(1)中，所述特征点信息为特征点在图像中的坐标和描述子。

Images