CN110267101B - 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 - Google Patents

一种基于快速三维拼图的无人机航拍视频自动抽帧方法 Download PDF

Info

Publication number
CN110267101B
CN110267101B CN201910655456.4A CN201910655456A CN110267101B CN 110267101 B CN110267101 B CN 110267101B CN 201910655456 A CN201910655456 A CN 201910655456A CN 110267101 B CN110267101 B CN 110267101B
Authority
CN
China
Prior art keywords
frame
video
frames
key
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910655456.4A
Other languages
English (en)
Other versions
CN110267101A (zh
Inventor
陈斯婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Innno Aviation Technology Co ltd
Original Assignee
Xi'an Innno Aviation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Innno Aviation Technology Co ltd filed Critical Xi'an Innno Aviation Technology Co ltd
Priority to CN201910655456.4A priority Critical patent/CN110267101B/zh
Publication of CN110267101A publication Critical patent/CN110267101A/zh
Application granted granted Critical
Publication of CN110267101B publication Critical patent/CN110267101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度。

Description

一种基于快速三维拼图的无人机航拍视频自动抽帧方法
【技术领域】
本发明属于无人机航拍视频数据应用领域，具体涉及一种基于快速三维拼图的无人机航拍视频自动抽帧方法。
【背景技术】
无人飞行器具有快速、灵活、低成本、高影像分辨率等特点，可以提供测区的第一手影像资料，有效弥补了遥感卫星的重访周期不足的问题。因此，在灾害监测、应急救灾、基础测绘、电力线巡检等领域得到广泛的应用。为及时、准确地反映整个测区情况，需要将获得的影像现场快速拼图，形成测区全貌。但是，由于无人飞行器低空飞行获取视频影像幅宽小、数量大、重叠度高、影像冗余度较大，飞行过程中易产生大倾角且倾斜无规律，造成图像存在不规则重叠区域以及几何畸变，这些因素对无人机影像的拼接效率及效果有着严重的影响。为了减小计算量，提高拼接效率，需要在视频流中选取具有一定重叠度的关键帧进行处理。
目前比较成熟的技术为在处理视频数据三维拼图时采用等间隔抽帧的方式，这种方法的优点是实现简单便捷，但是由于其未对视频的内容进行分析，人为预估的间隔抽取关键帧存在冗余或者数据重叠率不足的问题，影响后续拼图效率。因此，以较快的速度获取视频中适当帧间隔的关键帧进行快速拼图显得尤为重要。
【发明内容】
本发明的目的在于克服上述现有技术的缺点，提供一种基于快速三维拼图的无人机航拍视频自动抽帧方法；该方法解决了视频拼图冗余数据量大引起后续拼图处理速度慢的问题。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于快速三维拼图的无人机航拍视频自动抽帧方法，包括以下步骤：
步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；
步骤2，包括统计阶段和提取阶段；
步骤2.1，统计阶段；
首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；
步骤2.2，提取阶段；
以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，校验结果分为以下两种情况：
(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；
(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。
优选的，步骤1中，所述第一阈值为0.7。
优选的，步骤1中，相似度k的计算公式为：
Figure BDA0002136734280000021
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中的第I个bin的值；
Figure BDA0002136734280000022
N是直方图中bin的数目。
优选的，步骤2.1包括以下步骤：
步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；
(1)设定单次跳帧值为n1，相邻关键帧重叠度Ω的阈值范围为y1-y2；计算相对于基准帧的第n1+1个视频帧和基准帧之间的重叠度
Figure BDA0002136734280000031
第n1+1个视频帧为对比帧；若
Figure BDA0002136734280000032
在阈值范围y1-y2内，将第n1+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若
Figure BDA0002136734280000033
执行步骤(2)，若
Figure BDA0002136734280000034
执行步骤(3)；
(2)当
Figure BDA0002136734280000035
时，取2n1作为单次跳帧值，计算相对于基准帧的第2n1+1个视频帧和基准帧之间的重叠度
Figure BDA0002136734280000036
第2n1+1个视频帧为对比帧；若
Figure BDA0002136734280000037
依旧大于y2，取3n1作为单次跳帧值，计算相对于基准帧的第3n1+1个视频帧和基准帧之间的重叠度
Figure BDA0002136734280000038
第3n1+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，相对于基准帧的第mn1+1个视频帧和基准帧的重叠度
Figure BDA0002136734280000039
在阈值范围y1-y2内，将第mn1+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或第mn1+1个视频帧和基准帧的重叠度＜y1；
对于第n1+1个视频帧，取
Figure BDA00021367342800000310
作为视频间隔；相对于基准帧，第
Figure BDA00021367342800000311
作为关键帧；执行步骤2.1.2；
对于第mn1+1个视频帧，取
Figure BDA00021367342800000312
作为视频间隔；相对于基准帧，第
Figure BDA00021367342800000313
作为关键帧，执行步骤2.1.2；
步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；
步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K。
优选的，步骤2.1.1中，所述y1为65％，y2为80％。
优选的，步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：
(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；
(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；
(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω。
优选的，步骤(1)中，所述特征点信息为特征点在该图像中的坐标和描述子。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度；验证发现，通过本发明的方法得到的视频三维拼图，关键帧提取数量少，且通过关键帧组成的视频三维拼图能够满足设定要求。
【附图说明】
图1是本发明基于快速三维拼图的视频关键帧提取方法的流程图；
图2是本发明计算视频帧间重叠度流程图；
图3是本发明影像间重叠度示意图；
图4是利用某商用软件进行视频三维拼图结果图；
图5是本发明对同一段视频关键帧提取后进行三维拼图结果图。
【具体实施方式】
下面结合附图和具体实施方式对本发明做进一步详细描述，本发明公开了一种基于快速三维拼图的视频关键帧提取方法，参见图1，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频。然后根据三维拼图的重叠度要求，选取关键帧，并进行后续三维拼图；本发明具体包括以下步骤：
步骤1，为了提高处理速度，先对视频进行预处理，检测无人机在起飞之前静止的阶段拍摄视频，剔除无效数据，避免冗余帧对拼图速度的影响；
针对无人机航拍视频，一般都包含无人机起飞前静止时拍摄的视频，但是这部分视频对于后续的快速三维拼图属于无效帧，在前期的预处理阶段需要将这一段剔除。选择第1帧视频帧作为起始参考帧，以帧率作为跳帧间隔，逐次比较第j帧视频帧与第1帧视频帧的相似度k，当k＜0.7时，获取第j帧视频帧作为提取关键帧的初始帧，也就是基准帧，j＞1；
在计算第j帧视频帧和第1帧视频帧之间相似度时，采用统计颜色直方图相似度的方法，先将每一个图像从RGB颜色空间转到HSV颜色空间，然后分三个通道计算颜色直方图，并且进行颜色直方图归一化，最后使用相似性度量准则来计算视频帧之间的相似度k，公式如下式(1)：
Figure BDA0002136734280000051
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中第I个bin的值；
Figure BDA0002136734280000061
N是直方图中bin的数目。
步骤2，获取无人机开始稳定飞行时刻拍摄的视频帧，以步骤1得到的第j帧对应的时刻作为关键帧提取的初始时刻，选取一段连续视频帧，计算相邻帧之间的重叠度，相对应的第j帧为初始关键帧，即为基准帧，一般来说三维拼图需要保证航向重叠率不低于70％，因此需要设置合适的图像间隔区间，当计算得到该区间的图像的重叠度满足设定重叠度时，保存当前帧为关键帧。具体来说，对无人机平稳飞行后拍摄的有效视频进行关键帧提取，分为两个阶段，一是统计阶段，二是提取阶段。
步骤2.1统计阶段
设定视频统计区间长度l，l需小于整个拍摄视频的长度，计算该长度范围内的固定帧间隔K，具体包括以下步骤
步骤2.1.1以初始关键帧作为基准帧；
(1)在统计阶段，设定单次跳帧值n1，此处的n1同为间隔视频帧的数量；在视频统计区间内，以初始关键帧作为基准帧开始，每间隔n1个视频帧，计算第n1+1个视频帧(比较帧)和基准帧之间的重叠度
Figure BDA0002136734280000062
此处设定重叠度Ω的阈值范围为60％-85％；当第n1+1个视频帧与基准帧之间的重叠度
Figure BDA0002136734280000063
在阈值范围内，将第n1+1个视频帧作为一个关键帧；当第n1+1个视频帧与基准帧之间的重叠度Ω不在阈值范围内时，若重叠度
Figure BDA0002136734280000064
大于阈值上限85％，执行步骤(2)，若重叠度Ω小于阈值下限，执行步骤(3)；
(2)当第n1+1个视频帧的重叠度
Figure BDA0002136734280000065
大于85％时，说明第n1+1个视频帧和基准帧的重叠度
Figure BDA0002136734280000066
过高，应该将选取图像间隔距离拉长；相对于基准帧，取2n1作为单次跳帧值，计算第2n1+1个图像和第1个图像的重叠度
Figure BDA0002136734280000067
若第2n1+1的图像和第1个图像的重叠度
Figure BDA0002136734280000068
在阈值范围内，将第2n1+1个视频帧作为一个关键帧；若依旧大于阈值上限，相对于与基准帧，取3n1作为单次跳帧值，计算第3n1+1个图像和第1个图像的重叠度
Figure BDA0002136734280000071
依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，第mn1+1个图像和第1个图像的重叠度
Figure BDA0002136734280000072
在阈值范围内，将第mn1+1个图作为关键帧，m为大于1的自然数，然后执行步骤2.1.2；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或mn1+1视频帧和基准帧的重叠度Ω低于下限60％，代表当前帧和基准帧的重叠度Ω过低，需要将跳帧值缩小；
相对于基准帧，对于第n1+1个视频帧，取
Figure BDA0002136734280000073
作为视频间隔，即第
Figure BDA0002136734280000074
作为关键帧；执行步骤2.1.2
相对于基准帧，对于第mn1+1个视频帧，取
Figure BDA0002136734280000075
作为视频间隔，即第
Figure BDA0002136734280000076
作为关键帧；执行步骤2.1.2
步骤2.1.2以任意关键帧作为基准帧
通过步骤2.1.1后计算出过程的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间长度l内所有的视频帧，则计算出统计区间长度l所有的关键帧。
步骤2.1.3计算关键帧间隔K
取该区间段中所有关键帧间隔的均值为关键帧间隔K；此时，统计阶段完成。
上述步骤2.1.1和步骤2.1.2中需要计算基准帧和比较帧的重叠度Ω，如图3所示，在计算影像间重叠度Ω时，通常选择前一帧影像(基准帧)作为参考影像，将下一帧影像(比较帧)变换到前一帧影像上进行计算重叠度Ω的计算，参见图2，重叠度Ω的计算过程包括以下步骤：
(1)利用鲁棒性较好的SIFT(尺度不变特征变换)特征检测方法对两幅图像进行特征提取，提取出两幅图像中每一个图像的所有特征点信息，所述特征点信息包括特征点在该图像中的坐标和描述子；
(2)利用FLANN(快速最近邻搜索)策略进行两幅图中的特征点匹配，主要进行特征点中描述子的匹配，得到初始匹配集；
(3)由于得到的初始匹配集中存在误匹配，影响图像重叠率的计算，接下来通过RANSAC(随机采样一致)算法剔除误匹配。RANSAC可以在一组包含外点的数据集中，采用不断迭代的方法，寻找最优参数模型，将不符合最优模型的点定义为外点。RANSAC的原理是寻找一个3×3最优单应性矩阵，使得满足该矩阵的匹配点个数最多；由于单应性矩阵有8个未知参数，因此通过四个匹配对计算可得。
在剔除完误匹配后得到最佳匹配集，绘制当前帧匹配区域凸包，利用该凸包面积除以前一帧图像的面积，就可以得到两帧间的面积重叠率。假设基准帧A0A1A2A3的覆盖面积为PA，比较帧影像B0B1B2B3的覆盖面积为PB，则比较帧影像PB与基准帧影像PA之间的重叠度
Figure BDA0002136734280000081
即为PA与PB的交集与PA的比值，A，B代表不同的图像，用公式可表示为：
Figure BDA0002136734280000082
步骤2.2提取阶段
在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔K，以该段间隔的均值作为下一段视频区间进行关键帧提取间隔的依据，并且在下一段视频区间关键帧提取结束后进行校验，若重叠度满足要求，则以该关键帧间隔继续对下一段视频进行关键帧抽取，否则返回步骤2重新计算新的关键帧间隔，如需重新计算，则在当前视频区间内进行关键帧间隔的计算，无需再次返回最一开始设定的长度为l的视频统计区间内计算；
步骤3，重复步骤2.2，直至有效飞行阶段拍摄的所有视频帧处理完成，提取出所有的关键帧。
下面结合具体实施例对本发明的过程做进一步描述：
实施例1
步骤1，选择视频第一帧作为起始参考帧，以帧率作为跳帧间隔，从第2帧开始与第1比较，依次进行第3帧、第4帧、…与第1帧比较，当相似度k＜0.7时，当前帧作为初始帧，本实施例中，初始帧为第70帧；
步骤2
步骤2.1统计阶段，设定统计区间长度为500帧；
步骤2.1.1以初始关键帧作为基准帧
(1)在统计阶段，设定单次跳帧值为20帧，计算第21帧和基准帧之间的重叠度为95％，发现该重叠度大于上限80％，将单次跳帧值调整为40帧，计算第41帧和基准帧之间的重叠度为91％，将单次跳帧值调整为60帧，计算第61帧和基准帧之间的重叠度为83％，将单次跳帧值调整为80帧，计算第81帧和基准帧之间的重叠度为79％，满足重叠率要求，因此将第81帧更新为基准帧，并且将80加入关键帧间隔集合中。以此为例，计算出统计区间中所有的关键帧，并将其间隔加入关键帧间隔集合中。最后，计算该集合中元素的平均值作为提取阶段的关键帧间隔，此时计算出的提取间隔均值为60帧；
步骤2.2
在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔为60，因此选择下一个长度为500帧的区间，以60帧为间隔提取关键帧，在提取完该段区域的关键帧后，计算最后两个关键帧之间的重叠度，此处是第910帧和971帧，其重叠率为70％，满足要求。因此选择下一个长度为500帧的区间进行提取，重复步骤2.2，直至提取完整段视频，此处提取阶段的每个区间重叠率都是满足要求的，因此无需回到统计阶段重新计算新的关键帧间隔。
图4和图5分别为利用某商用软件和上述方法对进行关键帧提取，并进行三维拼图的结果；对比可以看出两种方法拼图的结果基本一致，该商用软件采用固定帧间隔提取关键帧，一共提取了52幅关键帧，而利用本发明只需提取15幅关键帧即可满足拼图的需求，拼图时间缩短为原来的1/3左右。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，包括以下步骤：
步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；
步骤2，包括统计阶段和提取阶段；
步骤2.1，统计阶段；
首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；
步骤2.1包括以下步骤：
步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；
(1)设定单次跳帧值为n1，相邻关键帧重叠度Ω的阈值范围为y1-y2；计算相对于基准帧的第n1+1个视频帧和基准帧之间的重叠度
Figure FDA0003095761300000011
第n1+1个视频帧为对比帧；若
Figure FDA0003095761300000012
在阈值范围y1-y2内，将第n1+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若
Figure FDA0003095761300000013
执行步骤(2)，若
Figure FDA0003095761300000014
执行步骤(3)；
(2)当
Figure FDA0003095761300000015
时，取2n1作为单次跳帧值，计算相对于基准帧的第2n1+1个视频帧和基准帧之间的重叠度
Figure FDA0003095761300000016
第2n1+1个视频帧为对比帧；若
Figure FDA0003095761300000017
依旧大于y2，取3n1作为单次跳帧值，计算相对于基准帧的第3n1+1个视频帧和基准帧之间的重叠度
Figure FDA0003095761300000018
第3n1+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，相对于基准帧的第mn1+1个视频帧和基准帧的重叠度
Figure FDA0003095761300000019
在阈值范围y1-y2内，将第mn1+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或第mn1+1个视频帧和基准帧的重叠度＜y1；
对于第n1+1个视频帧，取
Figure FDA0003095761300000021
作为视频间隔；相对于基准帧，第
Figure FDA0003095761300000022
作为关键帧；执行步骤2.1.2；
对于第mn1+1个视频帧，取
Figure FDA0003095761300000023
作为视频间隔；相对于基准帧，第
Figure FDA0003095761300000024
作为关键帧，执行步骤2.1.2；
步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；
步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K；
步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：
(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；
(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；
(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω；
步骤2.2，提取阶段；
以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，
校验结果分为以下两种情况：
(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；
(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。
2.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，所述第一阈值为0.7。
3.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，相似度k的计算公式为：
Figure FDA0003095761300000031
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中的第I个bin的值；
Figure FDA0003095761300000032
N是直方图中bin的数目。
4.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤2.1.1中，所述y1为65％，y2为80％。
5.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤(1)中，所述特征点信息为特征点在图像中的坐标和描述子。
CN201910655456.4A 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 Active CN110267101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910655456.4A CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910655456.4A CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Publications (2)

Publication Number Publication Date
CN110267101A CN110267101A (zh) 2019-09-20
CN110267101B true CN110267101B (zh) 2021-11-09

Family

ID=67927254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910655456.4A Active CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Country Status (1)

Country Link
CN (1) CN110267101B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526382B (zh) * 2020-04-20 2022-04-29 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN112085097A (zh) * 2020-09-09 2020-12-15 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112446363A (zh) * 2021-01-29 2021-03-05 广州市玄武无线科技股份有限公司 一种基于视频抽帧的图像拼接与去重方法及装置
CN114494984B (zh) * 2022-04-18 2022-07-22 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN105205781B (zh) * 2015-08-24 2018-02-02 电子科技大学 输电线路航拍图像拼接方法
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN108921780A (zh) * 2018-04-12 2018-11-30 南安市创培电子科技有限公司 一种无人机航拍序列图像快速拼接方法
CN109618225B (zh) * 2018-12-25 2022-04-15 百度在线网络技术（北京）有限公司 视频抽帧方法、装置、设备和介质

Also Published As

Publication number Publication date
CN110267101A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110267101B (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN113920453A (zh) 一种基于深度学习的猪只体尺体重估测方法
CN114677554A (zh) 一种基于YOLOv5与Deepsort的统计滤波红外小目标检测跟踪方法
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN111461036B (zh) 一种利用背景建模增强数据的实时行人检测方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN110675421A (zh) 基于少量标注框的深度图像协同分割方法
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN103533332B (zh) 一种2d视频转3d视频的图像处理方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
CN113095384B (zh) 一种基于直线段上下文特征的遥感图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant