CN110267101A - 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 - Google Patents

一种基于快速三维拼图的无人机航拍视频自动抽帧方法 Download PDF

Info

Publication number
CN110267101A
CN110267101A CN201910655456.4A CN201910655456A CN110267101A CN 110267101 A CN110267101 A CN 110267101A CN 201910655456 A CN201910655456 A CN 201910655456A CN 110267101 A CN110267101 A CN 110267101A
Authority
CN
China
Prior art keywords
frame
video
key
overlapping
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910655456.4A
Other languages
English (en)
Other versions
CN110267101B (zh
Inventor
陈斯婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yinnuo Aviation Technology Co Ltd
Original Assignee
Xi'an Yinnuo Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yinnuo Aviation Technology Co Ltd filed Critical Xi'an Yinnuo Aviation Technology Co Ltd
Priority to CN201910655456.4A priority Critical patent/CN110267101B/zh
Publication of CN110267101A publication Critical patent/CN110267101A/zh
Application granted granted Critical
Publication of CN110267101B publication Critical patent/CN110267101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度。

Description

一种基于快速三维拼图的无人机航拍视频自动抽帧方法
【技术领域】
本发明属于无人机航拍视频数据应用领域，具体涉及一种基于快速三维拼图的无人机航拍视频自动抽帧方法。
【背景技术】
无人飞行器具有快速、灵活、低成本、高影像分辨率等特点，可以提供测区的第一手影像资料，有效弥补了遥感卫星的重访周期不足的问题。因此，在灾害监测、应急救灾、基础测绘、电力线巡检等领域得到广泛的应用。为及时、准确地反映整个测区情况，需要将获得的影像现场快速拼图，形成测区全貌。但是，由于无人飞行器低空飞行获取视频影像幅宽小、数量大、重叠度高、影像冗余度较大，飞行过程中易产生大倾角且倾斜无规律，造成图像存在不规则重叠区域以及几何畸变，这些因素对无人机影像的拼接效率及效果有着严重的影响。为了减小计算量，提高拼接效率，需要在视频流中选取具有一定重叠度的关键帧进行处理。
目前比较成熟的技术为在处理视频数据三维拼图时采用等间隔抽帧的方式，这种方法的优点是实现简单便捷，但是由于其未对视频的内容进行分析，人为预估的间隔抽取关键帧存在冗余或者数据重叠率不足的问题，影响后续拼图效率。因此，以较快的速度获取视频中适当帧间隔的关键帧进行快速拼图显得尤为重要。
【发明内容】
本发明的目的在于克服上述现有技术的缺点，提供一种基于快速三维拼图的无人机航拍视频自动抽帧方法；该方法解决了视频拼图冗余数据量大引起后续拼图处理速度慢的问题。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于快速三维拼图的无人机航拍视频自动抽帧方法，包括以下步骤：
步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；
步骤2，包括统计阶段和提取阶段；
步骤2.1，统计阶段；
首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；
步骤2.2，提取阶段；
以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，校验结果分为以下两种情况：
(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；
(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。
优选的，步骤1中，所述第一阈值为0.7。
优选的，步骤1中，相似度k的计算公式为：
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中的第I个bin的值；N是直方图中bin的数目。
优选的，步骤2.1包括以下步骤：
步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；
(1)设定单次跳帧值为n1，相邻关键帧重叠度Ω的阈值范围为y1-y2；计算相对于基准帧的第n1+1个视频帧和基准帧之间的重叠度第n1+1个视频帧为对比帧；若在阈值范围y1-y2内，将第n1+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若执行步骤(2)，若执行步骤(3)；
(2)当时，取2n1作为单次跳帧值，计算相对于基准帧的第2n1+1个视频帧和基准帧之间的重叠度第2n1+1个视频帧为对比帧；若依旧大于y2，取3n1作为单次跳帧值，计算相对于基准帧的第3n1+1个视频帧和基准帧之间的重叠度第3n1+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，相对于基准帧的第mn1+1个视频帧和基准帧的重叠度在阈值范围y1-y2内，将第mn1+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或第mn1+1个视频帧和基准帧的重叠度＜y1；
对于第n1+1个视频帧，取作为视频间隔；相对于基准帧，第作为关键帧；执行步骤2.1.2；
对于第mn1+1个视频帧，取作为视频间隔；相对于基准帧，第作为关键帧，执行步骤2.1.2；
步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；
步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K。
优选的，步骤2.1.1中，所述y1为65％，y2为80％。
优选的，步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：
(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；
(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；
(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω。
优选的，步骤(1)中，所述特征点信息为特征点在该图像中的坐标和描述子。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种基于快速三维拼图的无人机航拍视频自动抽帧方法，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频，然后根据三维拼图的重叠度要求，选取关键帧。该方法基于快速三维拼图的航拍视频关键帧提取方法，以阈值范围为基础，选取关键帧，解决了现有商用软件中采用固定帧间隔进行关键帧提取适应性差，以及冗余数据过多导致的后续三维拼图计算量大的问题，因为阈值范围能够根据实际情况进行调整。通过预处理对原视频进行截取，剔除起飞前录制的无效视频段，能够在保证关键帧重叠度的情况下，尽量减少关键帧数量，极大提高了视频三维拼图的速度；验证发现，通过本发明的方法得到的视频三维拼图，关键帧提取数量少，且通过关键帧组成的视频三维拼图能够满足设定要求。
【附图说明】
图1是本发明基于快速三维拼图的视频关键帧提取方法的流程图；
图2是本发明计算视频帧间重叠度流程图；
图3是本发明影像间重叠度示意图；
图4是利用某商用软件进行视频三维拼图结果图；
图5是本发明对同一段视频关键帧提取后进行三维拼图结果图。
【具体实施方式】
下面结合附图和具体实施方式对本发明做进一步详细描述，本发明公开了一种基于快速三维拼图的视频关键帧提取方法，参见图1，该方法首先利用计算图像间相似度的策略对无人机航拍原始数据进行处理，剔除起飞前的静止阶段，获取有效的运动视频。然后根据三维拼图的重叠度要求，选取关键帧，并进行后续三维拼图；本发明具体包括以下步骤：
步骤1，为了提高处理速度，先对视频进行预处理，检测无人机在起飞之前静止的阶段拍摄视频，剔除无效数据，避免冗余帧对拼图速度的影响；
针对无人机航拍视频，一般都包含无人机起飞前静止时拍摄的视频，但是这部分视频对于后续的快速三维拼图属于无效帧，在前期的预处理阶段需要将这一段剔除。选择第1帧视频帧作为起始参考帧，以帧率作为跳帧间隔，逐次比较第j帧视频帧与第1帧视频帧的相似度k，当k＜0.7时，获取第j帧视频帧作为提取关键帧的初始帧，也就是基准帧，j＞1；
在计算第j帧视频帧和第1帧视频帧之间相似度时，采用统计颜色直方图相似度的方法，先将每一个图像从RGB颜色空间转到HSV颜色空间，然后分三个通道计算颜色直方图，并且进行颜色直方图归一化，最后使用相似性度量准则来计算视频帧之间的相似度k，公式如下式(1)：
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中第I个bin的值；N是直方图中bin的数目。
步骤2，获取无人机开始稳定飞行时刻拍摄的视频帧，以步骤1得到的第j帧对应的时刻作为关键帧提取的初始时刻，选取一段连续视频帧，计算相邻帧之间的重叠度，相对应的第j帧为初始关键帧，即为基准帧，一般来说三维拼图需要保证航向重叠率不低于70％，因此需要设置合适的图像间隔区间，当计算得到该区间的图像的重叠度满足设定重叠度时，保存当前帧为关键帧。具体来说，对无人机平稳飞行后拍摄的有效视频进行关键帧提取，分为两个阶段，一是统计阶段，二是提取阶段。
步骤2.1统计阶段
设定视频统计区间长度l，l需小于整个拍摄视频的长度，计算该长度范围内的固定帧间隔K，具体包括以下步骤
步骤2.1.1以初始关键帧作为基准帧；
(1)在统计阶段，设定单次跳帧值n1，此处的n1同为间隔视频帧的数量；在视频统计区间内，以初始关键帧作为基准帧开始，每间隔n1个视频帧，计算第n1+1个视频帧(比较帧)和基准帧之间的重叠度此处设定重叠度Ω的阈值范围为60％-85％；当第n1+1个视频帧与基准帧之间的重叠度在阈值范围内，将第n1+1个视频帧作为一个关键帧；当第n1+1个视频帧与基准帧之间的重叠度Ω不在阈值范围内时，若重叠度大于阈值上限85％，执行步骤(2)，若重叠度Ω小于阈值下限，执行步骤(3)；
(2)当第n1+1个视频帧的重叠度大于85％时，说明第n1+1个视频帧和基准帧的重叠度过高，应该将选取图像间隔距离拉长；相对于基准帧，取2n1作为单次跳帧值，计算第2n1+1个图像和第1个图像的重叠度若第2n1+1的图像和第1个图像的重叠度在阈值范围内，将第2n1+1个视频帧作为一个关键帧；若依旧大于阈值上限，相对于与基准帧，取3n1作为单次跳帧值，计算第3n1+1个图像和第1个图像的重叠度依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，第mn1+1个图像和第1个图像的重叠度在阈值范围内，将第mn1+1个图作为关键帧，m为大于1的自然数，然后执行步骤2.1.2；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或mn1+1视频帧和基准帧的重叠度Ω低于下限60％，代表当前帧和基准帧的重叠度Ω过低，需要将跳帧值缩小；
相对于基准帧，对于第n1+1个视频帧，取作为视频间隔，即第作为关键帧；执行步骤2.1.2
相对于基准帧，对于第mn1+1个视频帧，取作为视频间隔，即第作为关键帧；执行步骤2.1.2
步骤2.1.2以任意关键帧作为基准帧
通过步骤2.1.1后计算出过程的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间长度l内所有的视频帧，则计算出统计区间长度l所有的关键帧。
步骤2.1.3计算关键帧间隔K
取该区间段中所有关键帧间隔的均值为关键帧间隔K；此时，统计阶段完成。
上述步骤2.1.1和步骤2.1.2中需要计算基准帧和比较帧的重叠度Ω，如图3所示，在计算影像间重叠度Ω时，通常选择前一帧影像(基准帧)作为参考影像，将下一帧影像(比较帧)变换到前一帧影像上进行计算重叠度Ω的计算，参见图2，重叠度Ω的计算过程包括以下步骤：
(1)利用鲁棒性较好的SIFT(尺度不变特征变换)特征检测方法对两幅图像进行特征提取，提取出两幅图像中每一个图像的所有特征点信息，所述特征点信息包括特征点在该图像中的坐标和描述子；
(2)利用FLANN(快速最近邻搜索)策略进行两幅图中的特征点匹配，主要进行特征点中描述子的匹配，得到初始匹配集；
(3)由于得到的初始匹配集中存在误匹配，影响图像重叠率的计算，接下来通过RANSAC(随机采样一致)算法剔除误匹配。RANSAC可以在一组包含外点的数据集中，采用不断迭代的方法，寻找最优参数模型，将不符合最优模型的点定义为外点。RANSAC的原理是寻找一个3×3最优单应性矩阵，使得满足该矩阵的匹配点个数最多；由于单应性矩阵有8个未知参数，因此通过四个匹配对计算可得。
在剔除完误匹配后得到最佳匹配集，绘制当前帧匹配区域凸包，利用该凸包面积除以前一帧图像的面积，就可以得到两帧间的面积重叠率。假设基准帧A0A1A2A3的覆盖面积为PA，比较帧影像B0B1B2B3的覆盖面积为PB，则比较帧影像PB与基准帧影像PA之间的重叠度即为PA与PB的交集与PA的比值，A，B代表不同的图像，用公式可表示为：
步骤2.2提取阶段
在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔K，以该段间隔的均值作为下一段视频区间进行关键帧提取间隔的依据，并且在下一段视频区间关键帧提取结束后进行校验，若重叠度满足要求，则以该关键帧间隔继续对下一段视频进行关键帧抽取，否则返回步骤2重新计算新的关键帧间隔，如需重新计算，则在当前视频区间内进行关键帧间隔的计算，无需再次返回最一开始设定的长度为l的视频统计区间内计算；
步骤3，重复步骤2.2，直至有效飞行阶段拍摄的所有视频帧处理完成，提取出所有的关键帧。
下面结合具体实施例对本发明的过程做进一步描述：
实施例1
步骤1，选择视频第一帧作为起始参考帧，以帧率作为跳帧间隔，从第2帧开始与第1比较，依次进行第3帧、第4帧、…与第1帧比较，当相似度k＜0.7时，当前帧作为初始帧，本实施例中，初始帧为第70帧；
步骤2
步骤2.1统计阶段，设定统计区间长度为500帧；
步骤2.1.1以初始关键帧作为基准帧
(1)在统计阶段，设定单次跳帧值为20帧，计算第21帧和基准帧之间的重叠度为95％，发现该重叠度大于上限80％，将单次跳帧值调整为40帧，计算第41帧和基准帧之间的重叠度为91％，将单次跳帧值调整为60帧，计算第61帧和基准帧之间的重叠度为83％，将单次跳帧值调整为80帧，计算第81帧和基准帧之间的重叠度为79％，满足重叠率要求，因此将第81帧更新为基准帧，并且将80加入关键帧间隔集合中。以此为例，计算出统计区间中所有的关键帧，并将其间隔加入关键帧间隔集合中。最后，计算该集合中元素的平均值作为提取阶段的关键帧间隔，此时计算出的提取间隔均值为60帧；
步骤2.2
在步骤2.1中，已经计算出一段有效飞行阶段拍摄视频的关键帧间隔为60，因此选择下一个长度为500帧的区间，以60帧为间隔提取关键帧，在提取完该段区域的关键帧后，计算最后两个关键帧之间的重叠度，此处是第910帧和971帧，其重叠率为70％，满足要求。因此选择下一个长度为500帧的区间进行提取，重复步骤2.2，直至提取完整段视频，此处提取阶段的每个区间重叠率都是满足要求的，因此无需回到统计阶段重新计算新的关键帧间隔。
图4和图5分别为利用某商用软件和上述方法对进行关键帧提取，并进行三维拼图的结果；对比可以看出两种方法拼图的结果基本一致，该商用软件采用固定帧间隔提取关键帧，一共提取了52幅关键帧，而利用本发明只需提取15幅关键帧即可满足拼图的需求，拼图时间缩短为原来的1/3左右。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，包括以下步骤：
步骤1，比较第j个视频帧与第1个视频帧之间的相似度k，当第j个视频帧与第1个视频帧的相似度k小于设定的第一阈值时，第j帧作为提取关键帧的初始关键帧；所述相似度k为第j个视频帧颜色直方图和第1个视频帧颜色直方图的相关系数；
步骤2，包括统计阶段和提取阶段；
步骤2.1，统计阶段；
首先设定长度为l的视频统计区间，以初始关键帧为基准帧，找出该视频统计区间内的所有关键帧，取所有相邻关键帧之间间隔值的平均值作为关键帧的间隔值K；
步骤2.2，提取阶段；
以步骤2.1得到的关键帧的间隔值K作为单元，进行下一段视频区间内关键帧的提取，将下一段提取出的关键帧进行重叠度的校验，校验结果分为以下两种情况：
(1)若该视频区间内，相邻关键帧的重复度在重复度设定的阈值范围内，则继续下一段视频内关键帧的提取；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧；
(2)若该视频区间内，相邻关键帧的重复度在设定的阈值范围以外，则以该视频区间作为视频统计区间，重复步骤2.1，得到新的关键帧的间隔K，然后继续步骤2.2；直至无人机航拍视频内所有的视频处理完成，提取出所有的关键帧。
2.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，所述第一阈值为0.7。
3.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤1中，相似度k的计算公式为：
其中，Hj代表第j图像对应的直方图，d(H1,Hj)表示图像直方图H1和直方图Hj之间的相关系数，I表示直方图中的第I个bin，H1和Hj中bin的数目相等，Hj(I)代表第j个图像对应的直方图中的第I个bin的值；N是直方图中bin的数目。
4.根据权利要求1所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤2.1包括以下步骤：
步骤2.1.1，设定视频统计区间长度为l，以第j帧作为基准帧；
(1)设定单次跳帧值为n1，相邻关键帧重叠度Ω的阈值范围为y1-y2；计算相对于基准帧的第n1+1个视频帧和基准帧之间的重叠度第n1+1个视频帧为对比帧；若在阈值范围y1-y2内，将第n1+1个视频帧作为一个关键帧，然后执行步骤2.1.2；若执行步骤(2)，若执行步骤(3)；
(2)当时，取2n1作为单次跳帧值，计算相对于基准帧的第2n1+1个视频帧和基准帧之间的重叠度第2n1+1个视频帧为对比帧；若依旧大于y2，取3n1作为单次跳帧值，计算相对于基准帧的第3n1+1个视频帧和基准帧之间的重叠度第3n1+1个视频帧为对比帧；依次类推，直至相对于基准帧，第mn1作为单次跳帧值时，相对于基准帧的第mn1+1个视频帧和基准帧的重叠度在阈值范围y1-y2内，将第mn1+1个视频帧作为关键帧；若某一次计算结果重叠度Ω小于阈值范围的下限，则执行步骤(3)；
(3)若第n1+1或第mn1+1个视频帧和基准帧的重叠度＜y1；
对于第n1+1个视频帧，取作为视频间隔；相对于基准帧，第作为关键帧；执行步骤2.1.2；
对于第mn1+1个视频帧，取作为视频间隔；相对于基准帧，第作为关键帧，执行步骤2.1.2；
步骤2.1.2，通过步骤2.1.1后计算出的关键帧，取该关键帧作为基准帧，重复步骤2.1.1，计算出下一个关键帧，依次类推，直至计算完视频统计区间内所有的视频帧，计算出视频统计区间内所有的关键帧；
步骤2.1.3，取视频统计区间内所有关键帧间隔的均值作为关键帧间隔K。
5.根据权利要求4所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤2.1.1中，所述y1为65％，y2为80％。
6.根据权利要求4所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤2.1.1和步骤2.1.2之间对于基准帧和对比帧的重叠度的计算过程包括以下步骤：
(1)通过尺度不变特征变换特征检测方法对两帧进行特征提取，提取出两帧中每一帧的所有特征点信息；
(2)通过快速最近邻搜索进行两帧中特征点的匹配，得到初始匹配集；
(3)通过随机采样一致算法剔除初始匹配集中的误匹配，得到最佳匹配集；绘制对比帧的匹配区域凸包，将对比帧的匹配区域凸包面积除以基准帧的面积，得到对比帧和基准帧之间的面积重叠率，为两个帧之间的重叠度Ω。
7.根据权利要求6所述的一种基于快速三维拼图的无人机航拍视频自动抽帧方法，其特征在于，步骤(1)中，所述特征点信息为特征点在该图像中的坐标和描述子。
CN201910655456.4A 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法 Active CN110267101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910655456.4A CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910655456.4A CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Publications (2)

Publication Number Publication Date
CN110267101A true CN110267101A (zh) 2019-09-20
CN110267101B CN110267101B (zh) 2021-11-09

Family

ID=67927254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910655456.4A Active CN110267101B (zh) 2019-07-19 2019-07-19 一种基于快速三维拼图的无人机航拍视频自动抽帧方法

Country Status (1)

Country Link
CN (1) CN110267101B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN112085097A (zh) * 2020-09-09 2020-12-15 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112446363A (zh) * 2021-01-29 2021-03-05 广州市玄武无线科技股份有限公司 一种基于视频抽帧的图像拼接与去重方法及装置
CN114494984A (zh) * 2022-04-18 2022-05-13 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN108921780A (zh) * 2018-04-12 2018-11-30 南安市创培电子科技有限公司 一种无人机航拍序列图像快速拼接方法
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术（北京）有限公司 视频抽帧方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN108921780A (zh) * 2018-04-12 2018-11-30 南安市创培电子科技有限公司 一种无人机航拍序列图像快速拼接方法
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术（北京）有限公司 视频抽帧方法、装置、设备和介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN111526382B (zh) * 2020-04-20 2022-04-29 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN112085097A (zh) * 2020-09-09 2020-12-15 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112446363A (zh) * 2021-01-29 2021-03-05 广州市玄武无线科技股份有限公司 一种基于视频抽帧的图像拼接与去重方法及装置
CN114494984A (zh) * 2022-04-18 2022-05-13 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法
CN114494984B (zh) * 2022-04-18 2022-07-22 四川腾盾科技有限公司 基于无人机航拍数据的随遇静目标三维重建与定位的方法

Also Published As

Publication number Publication date
CN110267101B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN110267101A (zh) 一种基于快速三维拼图的无人机航拍视频自动抽帧方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN107480727B (zh) 一种sift和orb相结合的无人机影像快速匹配方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN103971115B (zh) 一种基于NDVI和PanTex指数的新增建设用地图斑自动提取方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
Costea et al. Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization
US11810366B1 (en) Joint modeling method and apparatus for enhancing local features of pedestrians
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN104598883A (zh) 一种多摄像机监控网络中目标再识别的方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN102932605A (zh) 一种视觉感知网络中摄像机的组合选择方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN111612024B (zh) 特征提取方法、装置、电子设备及计算机可读存储介质
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN101872415A (zh) 适用于iptv的视频拷贝检测方法
CN111027555B (zh) 一种车牌识别方法、装置及电子设备
CN106934351A (zh) 手势识别方法、装置及电子设备
CN109784205B (zh) 一种基于多光谱巡检图像的杂草智能识别方法
CN112507778B (zh) 一种基于线特征的改进词袋模型的回环检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant