CN111866606A - 一种基于视频数据自适应生成缩略图摘要的系统及方法 - Google Patents

一种基于视频数据自适应生成缩略图摘要的系统及方法 Download PDF

Info

Publication number
CN111866606A
CN111866606A CN202010707911.3A CN202010707911A CN111866606A CN 111866606 A CN111866606 A CN 111866606A CN 202010707911 A CN202010707911 A CN 202010707911A CN 111866606 A CN111866606 A CN 111866606A
Authority
CN
China
Prior art keywords
frame data
thumbnail
key points
distorted
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010707911.3A
Other languages
English (en)
Inventor
何书强
陈尚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co ltd
Original Assignee
Hangzhou Xujian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co ltd filed Critical Hangzhou Xujian Science And Technology Co ltd
Priority to CN202010707911.3A priority Critical patent/CN111866606A/zh
Publication of CN111866606A publication Critical patent/CN111866606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及及图像处理领域，尤其涉及一种基于视频数据自适应生成缩略图摘要的系统及方法，包括：帧数据解码器模块，用于将视频数据解码成帧数据；帧数据选择器模块，用于按照设定周期获取帧数据；帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；图像抖动的临界值计算模块，用于计算得到临界值T；邻帧特征比对器模块，用于计算向量的距离之和Distance；缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。本发明实现自动、自适应的快速生成清晰有效的视频缩略图。

Description

一种基于视频数据自适应生成缩略图摘要的系统及方法
技术领域
本发明涉及及图像处理领域，尤其涉及一种基于视频数据自适应生成缩略图摘要的系统及方法。
背景技术
执法记录仪是执法工作人员使用的记录执法过程的音视频采集专用设备，集摄像、拍照、对讲、导航等功能于一体，能够将执法过程中静态和动态的场景记录下来，动态场景即是录制视频，静态场景即是拍摄照片，目前市场上的执法记录仪，没有为执法记录仪录制的视频生成缩略图摘要的功能，尤其是没有实现实时的、自动的根据执法记录仪的录像视频画面是否抖动而生成缩略图摘要。执法记录仪没有视频缩略图摘要存在一个缺点，那就是后期分析执法录像数据需要花费很长的时间，执法记录仪没有不抖动、并且清晰的视频缩略图摘要，就不能提供高质量的执法参考数据。
发明内容
为解决上述问题，本发明提出一种基于视频数据自适应生成缩略图摘要的系统及方法。
一种基于视频数据自适应生成缩略图摘要的系统，包括：
帧数据解码器模块，用于将视频数据解码成帧数据；
帧数据选择器模块，用于按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；
帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；
图像抖动的临界值计算模块，用于根据两个关键点计算得到临界值T；
邻帧特征比对器模块，用于根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；
缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
优选的，所述帧数据特征点提取器模块具体用于：
构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；
搜索关键点并定位关键点；
根据检测到的关键点进行方向赋值；
生成特征点的描述子；
利用特征点提取方法来实现特征点提取并得到关键点。
优选的，所述向量的距离之和Distance的计算：
Figure RE-GDA0002599674280000021
其中，matches表示匹配向量。
优选的，所述缩略图生成器模块具体用于：
若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。
优选的，所述缩略图生成器模块还用于：
清除缓存的帧数据，并将未失真的图像按时间顺序保存。
一种基于视频数据自适应生成缩略图摘要的方法，包括：
将视频数据解码成帧数据；
按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；
从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；
根据两个关键点计算得到临界值T；
根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；
根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
优选的，所述提取关键点包括：
构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；
搜索关键点并定位关键点；
根据检测到的关键点进行方向赋值；
生成特征点的描述子；
利用特征点提取方法来实现特征点提取并得到关键点。
优选的，所述向量的距离之和Distance的计算：
Figure RE-GDA0002599674280000031
其中，matches表示匹配向量。
优选的，所述根据临界值T和向量的距离之和Distance判断图像是否失真包括：
若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。
优选的，还包括：
清除缓存的帧数据，并将未失真的图像按时间顺序保存。
本发明具备以下有益效果：将视频数据解码成帧数据；按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；根据两个关键点计算得到临界值T；根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要，从而实现自动、自适应的快速生成清晰有效的视频缩略图。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明一实施例一种基于视频数据自适应生成缩略图摘要的系统的结构示意图；
图2是本发明一实施例一种基于视频数据自适应生成缩略图摘要的方法的流程示意图；
图3是本发明一实施例一种基于视频数据自适应生成缩略图摘要的方法中步骤S3的流程示意图。
具体实施方式
以下结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
本发明的基本思想是将视频数据解码成帧数据；按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；根据两个关键点计算得到临界值T；根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要，从而实现自动、自适应的快速生成清晰有效的视频缩略图。
基于以上基本思想，本发明实施例提出一种基于视频数据自适应生成缩略图摘要的系统，如图1所示，包括帧数据解码器模块，用于将视频数据解码成帧数据；帧数据选择器模块，用于按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；图像抖动的临界值计算模块，用于根据两个关键点计算得到临界值T；邻帧特征比对器模块，用于根据两个关键点计算对应的匹配向量，并计算向量的距离之和 Distance；缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
帧数据解码器模块，在执法记录仪的视频控件中，帧数据解码器模块将录像视频数据解码成帧数据，这些帧数据实时生成，混存在内存中。
帧数据选择器模块，帧数据选择器模块默认每隔10帧获取一帧数据，将获取的帧数据写入缓存队列中，相隔10帧之后，再提取另一帧数据，写入缓存队列中；缓存队列中的帧数据每两帧同时写入帧数据缓存池。
帧数据缓存池中的数据实时更新，缓存的帧数据作为帧数据特征点提取模块的输入。
图像中的特征点是图像中具有代表的部分，具有可重复性，也即相同的特征点，可在不同的帧图像中被找到；同时又有区别性，也即同一特征点在不同的区域有不同的表达；在同一图像中，特征点的数量远远小于图像像素，特征点仅仅与一小片图像区域有关。特征点包含了在图像中的位置、大小、方向等信息，常用的特征信息包含颜色特征、纹理特征、形状特征、空间关系等。
在本实施例中，帧数据特征点提取器模块，使用SIFT(Scale Invariant Feat ureTransform，尺度不变特征变换)特征提取算法实现关键点提取。具体包括以下步骤：
a：构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点，保证尺度不变性，其主要方法就是将图像从原始分辨率开始逐步压缩，图像在压缩过程中保持不失真，不形变。通过使用的高斯金字塔，使用的是对图像下采样的方法，所以下采样即是针对图像尺寸而言的，每次对图像进行等比例压缩，然后提取信息，称之为下采样。
b：搜索关键点并定位关键点，在a步骤计算完成之后，找到了所有特征点，但是还需要去除对比度和不稳定的边缘点，留下具有代表性的关键点，比如颜色，形状边角等，最后对这些提取的离散的点，做曲线拟合，得到精确的关键点的位置和尺度信息。
c：方向赋值，为了实现旋转不变性，需要根据检测到的特关键点的局部图像为特征点赋值，这是因为SIFT算法只考虑了尺度和旋转不变性，没有处理放射不变性；
d：生成特征点的描述子，特征点的描述子不仅包含上述检测出来特征点，还包含了特征点周围对齐有贡献的像素点，这种操作的目的是使得特征点的描述子具有鲁棒性。
e：利用SIFT算法来实现特征点提取并得到关键点，分别得到关键点A_keypoints,B_keypoints。
图像抖动的临界值计算模块，调用匹配器FLANN进行特征点匹配，具体是调用匹配器的方法matcher.match(A_keypoints,B_keypoints,matches)；最终得到匹配结果matches，matches是一个匹配向量。
首先需要提前计算出一个判断视频数据是否抖动的标准，这个标准即是匹配结果向量的距离之和Distance，那么将每一次匹配的结果向量计算出距离Distanc e，对应的每一个距离匹配一个B帧，根据B帧的是否因抖动模糊失真的程度为自变量，距离Distance为因变量，画出对应的函数关系图，取肉眼可见的图像清晰的位置处的Distance作为判断临界值T。
邻帧特征比对器模块，调用匹配器FLANN进行特征点匹配，FLANN是O penCV的一个算法库，FLANN是近似最近邻的快速库。它包含一组算法，这些算法针对大型数据集中的快速最近邻搜索和高维特征进行了优化。计算相邻两帧A和B的匹配向量，计算向量的距离之和Distance。
向量所表示的距离的之和计算方法是：
Figure RE-GDA0002599674280000081
缩略图生成器模块：若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。保存当前缓存的不失真图像作为当前视频的缩略图摘要，将保存的清晰、未失真的图像，按时间顺序保存在硬盘中。
本发明实施例还提出一种基于视频数据自适应生成缩略图摘要的方法，如图 2所示，包括以下步骤：
S1：将视频数据解码成帧数据；
S2：按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；
S3：从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；
S4：根据两个关键点计算得到临界值T；
S5：根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；
S6：根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
优选的，所述提取关键点包括以下步骤：
S31：构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；
S32：搜索关键点并定位关键点；
S33：根据检测到的关键点进行方向赋值；
S34：生成特征点的描述子；
S35：利用特征点提取方法来实现特征点提取并得到关键点。
优选的，所述向量的距离之和Distance的计算：
Figure RE-GDA0002599674280000091
其中，matches表示匹配向量。
优选的，所述根据临界值T和向量的距离之和Distance判断图像是否失真包括：
若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。
优选的，还包括：清除缓存的帧数据，并将未失真的图像按时间顺序保存。
基于本实施例的原理及具体实现方法已经在系统实施例中详细说明，因此不再赘述。
本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于视频数据自适应生成缩略图摘要的系统，其特征在于，包括：
帧数据解码器模块，用于将视频数据解码成帧数据；
帧数据选择器模块，用于按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；
帧数据特征点提取器模块，用于从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；
图像抖动的临界值计算模块，用于根据两个关键点计算得到临界值T；
邻帧特征比对器模块，用于根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；
缩略图生成器模块，用于根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
2.根据权利要求1所述的一种基于视频文件自适应生成缩略图摘要的系统，其特征在于，所述帧数据特征点提取器模块具体用于：
构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；
搜索关键点并定位关键点；
根据检测到的关键点进行方向赋值；
生成特征点的描述子；
利用特征点提取方法来实现特征点提取并得到关键点。
3.根据权利要求1所述的一种基于视频文件自适应生成缩略图摘要的系统，其特征在于，所述向量的距离之和Distance的计算：
Figure 548397DEST_PATH_IMAGE001
；
其中，matches 表示匹配向量。
4.根据权利要求1所述的一种基于视频文件自适应生成缩略图摘要的系统，其特征在于，所述缩略图生成器模块具体用于：
若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。
5.根据权利要求1所述的一种基于视频文件自适应生成缩略图摘要的系统，其特征在于，所述缩略图生成器模块还用于：
清除缓存的帧数据，并将未失真的图像按时间顺序保存。
6.一种基于视频数据自适应生成缩略图摘要的方法，其特征在于，包括：
将视频数据解码成帧数据；
按照设定周期获取帧数据，并将获取的帧数据写入缓存队列中，缓存队列中的帧数据每两帧同时写入帧数据缓存池；
从帧数据缓存池中得到相邻的两帧数据，并分别提取关键点；
根据两个关键点计算得到临界值T；
根据两个关键点计算对应的匹配向量，并计算向量的距离之和Distance；
根据临界值T和向量的距离之和Distance判断图像是否失真，若当前图像失真，则当前帧数据不保存为视频的略缩图摘要，若当前图像不失真，则保存当前帧数据作为当前视频的缩略图摘要。
7.根据权利要求6所述的一种基于视频文件自适应生成缩略图摘要的方法，其特征在于，所述提取关键点包括：
构建DOG尺度空间，通过构建高斯金字塔，保证图像在任何尺度都有对应的特征点；
搜索关键点并定位关键点；
根据检测到的关键点进行方向赋值；
生成特征点的描述子；
利用特征点提取方法来实现特征点提取并得到关键点。
8.根据权利要求6所述的一种基于视频文件自适应生成缩略图摘要的方法，其特征在于，所述向量的距离之和Distance的计算：
Figure 34873DEST_PATH_IMAGE001
；
其中，matches 表示匹配向量。
9.根据权利要求6所述的一种基于视频文件自适应生成缩略图摘要的方法，其特征在于，所述根据临界值T和向量的距离之和Distance判断图像是否失真包括：
若向量的距离之和Distance大于或等于临界值T，则判断当前图像失真；若向量的距离之和Distance小于临界值T，则判断当前图像不失真。
10.根据权利要求6所述的一种基于视频文件自适应生成缩略图摘要的方法，其特征在于，还包括：
清除缓存的帧数据，并将未失真的图像按时间顺序保存。
CN202010707911.3A 2020-07-22 2020-07-22 一种基于视频数据自适应生成缩略图摘要的系统及方法 Pending CN111866606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010707911.3A CN111866606A (zh) 2020-07-22 2020-07-22 一种基于视频数据自适应生成缩略图摘要的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010707911.3A CN111866606A (zh) 2020-07-22 2020-07-22 一种基于视频数据自适应生成缩略图摘要的系统及方法

Publications (1)

Publication Number Publication Date
CN111866606A true CN111866606A (zh) 2020-10-30

Family

ID=73002269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010707911.3A Pending CN111866606A (zh) 2020-07-22 2020-07-22 一种基于视频数据自适应生成缩略图摘要的系统及方法

Country Status (1)

Country Link
CN (1) CN111866606A (zh)

Similar Documents

Publication Publication Date Title
CN107844779B (zh) 一种视频关键帧提取方法
Taspinar et al. Source camera attribution using stabilized video
KR100645300B1 (ko) 시청각 프리젠테이션의 컨텐츠를 요약화하여 색인화하는방법 및 장치
EP1542155A1 (en) Object detection
WO2016127478A1 (zh) 一种图像处理方法、装置和终端
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
EP1542153A1 (en) Object detection
GB2409027A (en) Face detection
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
EP1542154A2 (en) Object detection
EP1542152A1 (en) Object detection
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
CN102292724B (zh) 匹配加权信息提取装置
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
Guler et al. A new object tracking framework for interest point based feature extraction algorithms
CN111866606A (zh) 一种基于视频数据自适应生成缩略图摘要的系统及方法
US11232323B2 (en) Method of merging images and data processing device
Pan et al. Facial biometric presentation attack detection using temporal texture co-occurrence
Porikli Multi-Camera Surveillance: Objec-Based Summarization Approach
Pulc et al. Hierarchical Motion Tracking Using Matching of Sparse Features
Su et al. Exposing digital video logo-removal forgery by inconsistency of blur
Kakar Passive approaches for digital image forgery detection
Jegaveerapandian et al. A survey on passive digital video forgery detection techniques.
TWI819219B (zh) 動態場景補償的拍照方法及攝像裝置
Ouenniche et al. A deep learning-based approach for camera motion classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030