CN107844779A - 一种视频关键帧提取方法 - Google Patents

一种视频关键帧提取方法 Download PDF

Info

Publication number
CN107844779A
CN107844779A CN201711165320.2A CN201711165320A CN107844779A CN 107844779 A CN107844779 A CN 107844779A CN 201711165320 A CN201711165320 A CN 201711165320A CN 107844779 A CN107844779 A CN 107844779A
Authority
CN
China
Prior art keywords
video
sequence
frame
key frame
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711165320.2A
Other languages
English (en)
Other versions
CN107844779B (zh
Inventor
罗元
周寒兴
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711165320.2A priority Critical patent/CN107844779B/zh
Publication of CN107844779A publication Critical patent/CN107844779A/zh
Application granted granted Critical
Publication of CN107844779B publication Critical patent/CN107844779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明请求保护一种视频关键帧提取方法，包括以下步骤：使用ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；使用全局特征峰值信噪比对关键视频序列进行关键帧粗提取得到候选关键帧序列；使用峰值信噪比建立候选关键帧序列的全局相似度，使用SURF特征点建立候选关键帧序列的局部相似度，加权融合两者获取全局相似度，并利用综合相似度对候选关键帧序列进行自适应关键帧提取，最终得到目标关键帧序列。本发明提供的视频关键帧提取方法能有效提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频关键帧的实时提取。

Description

一种视频关键帧提取方法
技术领域
本发明属于视频图像处理领域，特别是一种视频关键帧提取方法。
背景技术
随着多媒体通信技术的发展，视频监控作为安全防范的有效手段被广泛应用于诸多领域。由于全天候的视频监控，其产生了大量的视频数据，但对于用户来说，感兴趣的仅仅是视频中有显著变化的那一小部分。为了从海量视频数据中快速访问有用视频信息，研究人员提出了关键帧提取技术。关键帧是一个代表视频序列中主要内容的有限视频帧集合，而关键帧提取技术能够从原始视频中筛选出用户感兴趣的关键帧序列。
近年来，关键帧的提取已经有了一定的研究。Zhong Qu等人在镜头分割的基础上，提出了一种改进的基于HSV颜色空间的关键帧提取方法。但是，监控视频采用固定场景的监控设备，并没有镜头的切换，所以此法用于监控视频效果不佳。SBTT De等人利用SIFT算法提取图像的局部特征获取关键帧，但是此法的计算速度慢，不利于实时监控。NS Kumar等人利用背景差分检测运动目标提取关键帧，并且不断更新背景模型以适应复杂的环境变化。但是此法针对于水下特殊环境，局限性大。
相比于一般的电影动画视频，监控视频中含有大量纯背景的冗余视频帧，将关键帧提取技术应用于监控视频中可以有效地去除冗余信息，便于用户后续的传送、存储和浏览。但是传统方法提取监控视频关键帧，存在冗余信息多，其内容不具代表性等问题。
发明内容
本发明旨在针对传统的视频关键帧提取方法，存在冗余信息多，其内容不具代表性等问题。本发明提出了一种视频关键帧提取方法，即基于运动目标检测及图像相似度的关键帧提取方法，该方法不仅能有效提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于实时提取。本发明的技术方案如下：
一种视频关键帧提取方法，其包括以下步骤：
1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；
2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；
3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；
4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。
进一步的，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：
对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；
对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。
进一步的，所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：
从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；
对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。
进一步的，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：
对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；
对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；
对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；
对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；
对候选关键帧序列的相邻视频帧综合相似度，判断与自适应阈值的大小，若小于自适应阈值则加入所述关键帧序列，否则舍去，依次循环得到所述目标关键帧序列。
进一步的，所述相邻视频帧的全局相似度包括：
其中，ki,kj为所述候选关键帧序列中的相邻视频帧，P(ki,kj)表示两视频帧间的峰值信噪比，i，j均表示候选关键帧序列中的视频帧号，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值。
进一步的，所述建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：
计算积分图像；使用积分图像完成卷积运算度；
检测特征点；构建Hessian矩阵，然后构建尺度空间，确定特征点；
生成描述子；分配基准方向，生成描述子特征向量；
特征点匹配；通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。
进一步的，所述相邻视频的局部相似度包括：
其中，ki，kj为所述候选关键帧序列中的相邻视频帧，m和n分别为视频帧ki,kj的SURF特征点个数，l它们能够匹配的特征点个数。
进一步的，所述相邻视频帧的综合相似度包括：
S(ki,kj)＝(1-θ)Sg(ki,kj)+θSl(ki,kj)，(i≠j)
其中，ki，kj为所述候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。
进一步的，所述关键帧与冗余帧的自适应阈值包括：
其中，Slw、Sgw分别代表所述候选关键帧序列中任意相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。
本发明的优点及有益效果如下：
本发明提供一种视频关键帧提取方法，该方法能有效地提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频的关键帧提取。其中：
选取Vibe算法融合帧差法检测原视频中的运动目标，更合理地划分了视频结构，为后续提取工作缩小了提取范围，节省了计算量。
选取全局特征峰值信噪比对关键帧进行粗提取，其计算简单，进一步缩小提取范围，减少计算量。
选取全局特征峰值信噪比描述候选关键帧序列的全局相似度，局部特征SURF特征点描述候选关键帧序列的局部相似度，并加权融合得到综合相似度，更精确地描述了视频帧的相似度，保证了提取的准确率。
选取候选关键帧序列综合相似度的均值作为划分关键帧与冗余帧的阈值，自适应地选取关键帧数目，保证了提取的查全率。
附图说明
图1是本发明提供优选实施例提供的一种视频关键帧提取方法流程图；
图2表示视频帧，左图为视频帧ka，右图为视频帧kb
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
参见附图一，本发明提供一种视频关键帧提取方法，该方法包括：
获取待处理视频数据。
对所述待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列H＝{H1,H2,···,Hn}。
在本实施例中，上述运动目标检测可以理解为：
对原始视频提取视频帧序列F＝{f1,f2,···,fp}；
将视频序列中的f1作为关键视频序列H中的首帧h1，输入视频序列中的fi(i＝2)，用ViBe算法和帧差法分别处理后的结果进行与运算，作为当前帧的运动目标检测结果Ri；
若运动目标检测结果Ri大于设定阈值，则将当前帧存入关键视频序列Hj(j＝1)，i＝i+1，若i≤p，返回第二步；
若运动目标检测结果Ri小于等于设定的阈值，则舍去当前帧，并令j＝j+1，i＝i+1，若i≤p，返回第二步；
若i＞p，结束循环，得到关键视频序列H＝{H1,H2,···,Hn}。
对所述关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列K＝{k1,k2,···,km}。
在本实施例中，上述关键帧粗提取可以理解为：
首先提取关键视频帧的全局特征。由于图像的峰值信噪比原理简单，计算速度快，其值越高表示两帧图像相似度越高，反之差异性越大。因此，这里选取峰值信噪比描述视频帧的全局特征。对于任意两个m×n维视频帧ka和kb，其示意图如图2所示：图2左图为视频帧ka，右图为视频帧kb；
计算它们的均方差为：
其中，矩阵元素代表图像中对应位置的像素值，视频帧ka中表示为ka(i,j)，视频帧kb中表示kb(i,j)，(i,j)为各像素点的位置坐标。视频帧kb中标出的加粗数字表示的是相对于视频帧ka中像素值发生变化的像素点。基于均方差(MSE)可以得到全局特征峰值信噪比(PSNR)如下式表示：
其中，b是每个像素点编码位数，MAX表示图像中像素点可能出现的最大像素值。
经过反复实验得到，当关键视频序列中视频帧间的峰值信噪比P(ka,kb)低于24dB时，两帧图像有明显的差异性。
根据上述计算的视频帧间的峰值信噪比，再与阈值作比较，对关键视频序列进行粗提取，简洁有效地去除序列中很大一部分的冗余帧，其主要步骤包括：
依次令关键视频序列Hj＝{h1,h2,···,hq}，(j＝1)的第一帧为候选帧，kf＝h1，f＝1，i＝2；
计算峰值信噪比P(kf,hi)；
若f＜q且P(kf,hi)≤24dB，则令f＝f+1，kf＝hi，i＝i+1，返回步骤2，若P(kf,hi)＞24dB，并令i＝i+1，返回第二步；
若f＝q，则结束循环，依次得到候选关键帧序列Kj＝{k1,k2,···,kx}，合得候选关键帧序列K＝{K1,K2,···,Ky}，即K＝{k1,k2,···,km}。
对所获得的候选关键帧序列建立视频帧综合相似度，利用其对候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列K'＝{k'1,k'2,···,k'r}。
在本实施例中，上述关键帧提取可以理解为：为了进一步去除候选关键帧序列中的冗余信息，在上述所获取的视频帧间峰值信噪比的基础上自定义了全局相似度，并选取SURF特征点描述图像的局部相似度，加权融合它们获取视频图像的综合相似度，自适应选取阈值从候选关键帧序列中提取关键帧。
首先利用上文所述的全局特征峰值信噪比(PSNR)建立关键视频序列间的全局相似度为：
其中，ki,kj∈K，P(ki,kj)表示两视频帧间的峰值信噪比，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值，此时Sg(ki,kj)∈(0，1)。
然后建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：
计算积分图像。使用积分图像完成卷积运算可以提高计算速度。
检测特征点。构建Hessian矩阵，然后构建尺度空间，确定特征点。
生成描述子。分配基准方向，生成描述子特征向量。
特征点匹配。通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。
对上述所获得的候选关键帧序列K中任意相邻的视频帧ki和kj，定义关键视频序列的局部相似度为：
其中，ki，kj为候选关键帧序列中的相邻视频帧，m和n分别为视频帧ki,kj的SURF特征点个数，l它们能够匹配的特征点个数，此时Sl(ki,kj)∈(0，1)
对上述所获得的视频帧的全局相似度Sg(ki,kj)，局部相似度Sl(ki,kj)，加权融合它们得到视频图像的综合相似度，如下式表示：
S(ki,kj)＝(1-θ)Sg(ki,kj)+θSl(ki,kj)，(i≠j)
其中，ki，kj为候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。
对上述所获得的视频帧的综合相似度进行自适应阈值选取，保证了对监控视频关键帧提取结果的准确性和有效性，定义的自适应阈值T为：
其中，Slw、Sgw分别代表候选关键帧序列中相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。据此选取视频图像综合相似度的均值作为划分冗余帧与关键帧的自适应阈值。
最后对上述所获得的候选关键帧序列进行关键帧提取，主要包括：
令候选关键帧序列中的第一帧视频帧作为关键帧，即：k'r＝k1，r＝1，i＝1，j＝2。
计算峰值信噪比Pi(k'r,kj)，以及局部相似度Sli(k'r,kj)，并令r＝r+1，j＝j+1，k'r＝kj，i＝i+1；
若j≤m，则返回上一步。否则，计算全局相似度以及综合相似度Si(k'r,kj)＝(1-θ)Sgi(k'r,kj)+θSli(k'r,kj)；
计算自适应阈值
若Swi(k'r,kj)≤T，r＝r+1，k'r＝kj。否则，j＝j+1；
如果j≤m，返回步骤(6)上一步。否则，结束循环，输出最终的关键帧序列K'＝{k'1,k'2,···,k'r}。
本发明提供的监控视频关键帧提取方法能有效地提取视频关键帧，明显减少视频数据的冗余信息，简洁表达视频的主要内容，而且该算法复杂度不高，适用于监控视频的关键帧提取，具有很好的使用价值和推广前景。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种视频关键帧提取方法，其特征在于，包括以下步骤：
1)、获取待处理原视频数据，对所述待处理原视频数据提取原视频帧序列；
2)、使用视频序列背景减除算法ViBe算法融合帧间差分法对所获取的原视频序列进行运动目标检测，得到含有运动目标的关键视频序列；
3)、对步骤2)所述的关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，获取候选关键帧序列；
4)、对步骤3)所述候选关键帧序列建立视频帧综合相似度，利用视频帧综合相似度对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列。
2.根据权利要求1所述的视频关键帧提取方法，其特征在于，所述步骤2)对待处理视频数据进行运动目标检测，得到含有运动目标的关键视频序列，包括步骤：
对所述视频帧序列中当前两两相邻的视频帧，分别用ViBe算法和帧差法进行处理，并将两种方法处理后的结果进行与运算，作为当前帧运动目标检测结果；
对当前帧运动目标检测结果，判断与设定阈值的大小，若大于设定阈值则将当前帧存入所述关键视频序列，否则舍去当前帧，依次循环，得到含有所述运动目标的关键视频序列。
3.根据权利要求2所述的视频关键帧提取方法，其特征在于，
所述步骤3)对关键视频序列利用全局特征峰值信噪比进行关键帧粗提取，得到候选关键帧序列，包括步骤：
从首帧开始，对所述关键视频序列将当前帧依次与后续帧计算其峰值信噪比值；
对所述峰值信噪比值与设定阈值进行比较，直到峰值信噪比值比设定阈值小，将当前的后续帧存入所述候选关键帧序列，当前帧与当前后续帧之间的所有视频帧全部舍去，依次循环，得到所述候选关键帧序列。
4.根据权利要求3所述的视频关键帧提取方法，其特征在于，所述步骤4)对候选关键帧序列建立视频帧综合相似度，利用其对所述候选关键帧序列进行自适应关键帧提取，获取目标关键帧序列，包括步骤：
对候选关键帧序列使用峰值信噪比建立相邻视频帧的全局相似度；
对候选关键帧序列使用SURF特征点建立相邻视频的局部相似度；
对全局相似度与局部相似度进行加权融合得到相邻视频帧的综合相似度；
对候选关键帧序列利用综合相似度计算划分关键帧与冗余帧的自适应阈值；
对候选关键帧序列的相邻视频帧综合相似度，判断与自适应阈值的大小，若小于自适应阈值则加入所述关键帧序列，否则舍去，依次循环得到所述目标关键帧序列。
5.根据权利要求4所述的视频关键帧提取方法，其特征在于，所述相邻视频帧的全局相似度包括：
<mrow> <msub> <mi>S</mi> <mi>g</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>k</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>&amp;alpha;</mi> </mfrac> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>k</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
其中，ki,kj为所述候选关键帧序列中的相邻视频帧，P(ki,kj)表示两视频帧间的峰值信噪比，i，j均表示候选关键帧序列中的视频帧号，α表示全局相似度的归一化因子，这里设置为视频帧间峰值信噪比的最大值。
6.根据权利要求5所述的视频关键帧提取方法，其特征在于，所述建立视频帧的局部相似度，首先采用SURF特征点描述图像的局部特征，包括：
计算积分图像；使用积分图像完成卷积运算度；
检测特征点；构建Hessian矩阵，然后构建尺度空间，确定特征点；
生成描述子；分配基准方向，生成描述子特征向量；
特征点匹配；通过两个特征点之间的欧氏距离以及Hessian矩阵的迹来确定匹配度。
7.根据权利要求6所述的视频关键帧提取方法，其特征在于，所述相邻视频的局部相似度包括：
<mrow> <msub> <mi>S</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>k</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mi>l</mi> </mrow> <mrow> <mi>m</mi> <mo>+</mo> <mi>n</mi> </mrow> </mfrac> <mo>,</mo> <mrow> <mo>(</mo> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>
其中，ki，kj为所述候选关键帧序列中的相邻视频帧，m和n分别为视频帧ki,kj的SURF特征点个数，l它们能够匹配的特征点个数。
8.根据权利要求6所述的视频关键帧提取方法，其特征在于，所述相邻视频帧的综合相似度包括：
S(ki,kj)＝(1-θ)Sg(ki,kj)+θSl(ki,kj)，(i≠j)
其中，ki，kj为所述候选关键帧序列中的相邻视频帧，θ为权值，θ＝0.35。
9.根据权利要求8所述的视频关键帧提取方法，其特征在于，所述关键帧与冗余帧的自适应阈值包括：
<mrow> <mi>T</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>M</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>w</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <msub> <mi>S</mi> <mrow> <mi>l</mi> <mi>w</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;theta;S</mi> <mrow> <mi>g</mi> <mi>w</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow>
其中，Slw、Sgw分别代表所述候选关键帧序列中任意相邻视频帧的局部相似度与全局相似度，M代表候选关键帧序列的总帧数。
CN201711165320.2A 2017-11-21 2017-11-21 一种视频关键帧提取方法 Active CN107844779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711165320.2A CN107844779B (zh) 2017-11-21 2017-11-21 一种视频关键帧提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165320.2A CN107844779B (zh) 2017-11-21 2017-11-21 一种视频关键帧提取方法

Publications (2)

Publication Number Publication Date
CN107844779A true CN107844779A (zh) 2018-03-27
CN107844779B CN107844779B (zh) 2021-03-23

Family

ID=61679882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165320.2A Active CN107844779B (zh) 2017-11-21 2017-11-21 一种视频关键帧提取方法

Country Status (1)

Country Link
CN (1) CN107844779B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600865A (zh) * 2018-05-14 2018-09-28 西安理工大学 一种基于超像素分割的视频摘要生成方法
CN108830151A (zh) * 2018-05-07 2018-11-16 国网浙江省电力有限公司 基于高斯混合模型的面具检测方法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109509190A (zh) * 2018-12-19 2019-03-22 中国科学院重庆绿色智能技术研究院 视频监控图像筛选方法、装置、系统及存储介质
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
CN110083654A (zh) * 2019-04-30 2019-08-02 中国船舶工业综合技术经济研究院 一种面向国防科技领域的多源数据融合方法及系统
CN110428017A (zh) * 2019-08-09 2019-11-08 上海天诚比集科技有限公司 一种相似度阈值动态设定的物体识别方法
CN110555349A (zh) * 2018-06-01 2019-12-10 杭州海康威视数字技术股份有限公司 一种工作时长统计方法和装置
CN110674697A (zh) * 2019-04-26 2020-01-10 深圳市豪视智能科技有限公司 滤波方法、装置及相关产品
CN111401368A (zh) * 2020-03-24 2020-07-10 武汉大学 一种基于深度学习的新闻视频标题提取方法
CN111639600A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于中心偏移的视频关键帧提取方法
CN111754512A (zh) * 2020-07-17 2020-10-09 成都盛锴科技有限公司 一种受电弓状态信息采集方法及系统
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
CN112333467A (zh) * 2020-11-27 2021-02-05 中国船舶工业系统工程研究院 一种用于检测视频的关键帧的方法、系统和介质
CN112509148A (zh) * 2020-12-04 2021-03-16 全球能源互联网研究院有限公司 一种基于多特征识别的交互方法、装置及计算机设备
CN112906818A (zh) * 2021-03-17 2021-06-04 东南数字经济发展研究院 一种减少视频数据集用于人工智能训练时冗余的方法
CN112926522A (zh) * 2021-03-30 2021-06-08 广东省科学院智能制造研究所 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN112990191A (zh) * 2021-01-06 2021-06-18 中国电子科技集团公司信息科学研究院 一种基于字幕视频的镜头边界检测与关键帧提取方法
CN112989121A (zh) * 2021-03-08 2021-06-18 武汉大学 一种基于关键帧偏好的时序动作评估方法
CN113312959A (zh) * 2021-03-26 2021-08-27 中国科学技术大学 一种基于dtw距离的手语视频关键帧采样方法
CN113379693A (zh) * 2021-06-01 2021-09-10 大连东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN114332744A (zh) * 2022-03-10 2022-04-12 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN117880759A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 一种智能化视频短信链路高效检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636482B1 (en) * 2002-10-24 2009-12-22 Altera Corporation Efficient use of keyframes in video compression
CN104156423A (zh) * 2014-08-06 2014-11-19 聂秀山 基于整数规划的多尺度视频关键帧提取方法
CN104463196A (zh) * 2014-11-11 2015-03-25 中国人民解放军理工大学 一种基于视频的天气现象识别方法
CN106210444A (zh) * 2016-07-04 2016-12-07 石家庄铁道大学 运动状态自适应关键帧提取方法
US20170293689A1 (en) * 2012-02-01 2017-10-12 Futurewei Technologies, Inc. System and Method for Organizing Multimedia Content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636482B1 (en) * 2002-10-24 2009-12-22 Altera Corporation Efficient use of keyframes in video compression
US20170293689A1 (en) * 2012-02-01 2017-10-12 Futurewei Technologies, Inc. System and Method for Organizing Multimedia Content
CN104156423A (zh) * 2014-08-06 2014-11-19 聂秀山 基于整数规划的多尺度视频关键帧提取方法
CN104463196A (zh) * 2014-11-11 2015-03-25 中国人民解放军理工大学 一种基于视频的天气现象识别方法
CN106210444A (zh) * 2016-07-04 2016-12-07 石家庄铁道大学 运动状态自适应关键帧提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANA GHARBI ET.AL: "Key Frames Extraction Based on Local Features for Efficient Video Summarization", 《ACIVS 2016》 *
YUAN LUO ET.AL: "Key Frame Extraction of Surveillance Video based on Moving Object Detection and Image Similarity", 《PATTERN RECOGNITION AND IMAGE ANALYSIS》 *
袁静: "基于边信息的分布式视频压缩感知重建", 《测控技术》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830151A (zh) * 2018-05-07 2018-11-16 国网浙江省电力有限公司 基于高斯混合模型的面具检测方法
CN108600865B (zh) * 2018-05-14 2019-07-23 西安理工大学 一种基于超像素分割的视频摘要生成方法
CN108600865A (zh) * 2018-05-14 2018-09-28 西安理工大学 一种基于超像素分割的视频摘要生成方法
CN110555349B (zh) * 2018-06-01 2023-05-02 杭州海康威视数字技术股份有限公司 一种工作时长统计方法和装置
CN110555349A (zh) * 2018-06-01 2019-12-10 杭州海康威视数字技术股份有限公司 一种工作时长统计方法和装置
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109151501B (zh) * 2018-10-09 2021-06-08 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109579847A (zh) * 2018-12-13 2019-04-05 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
US11466988B2 (en) 2018-12-13 2022-10-11 Goertek Inc. Method and device for extracting key frames in simultaneous localization and mapping and smart device
CN109579847B (zh) * 2018-12-13 2022-08-16 歌尔股份有限公司 同步定位与地图构建中关键帧提取方法、装置和智能设备
CN109509190A (zh) * 2018-12-19 2019-03-22 中国科学院重庆绿色智能技术研究院 视频监控图像筛选方法、装置、系统及存储介质
CN110674697A (zh) * 2019-04-26 2020-01-10 深圳市豪视智能科技有限公司 滤波方法、装置及相关产品
CN110674697B (zh) * 2019-04-26 2023-04-25 深圳市豪视智能科技有限公司 滤波方法、装置及相关产品
CN110083654A (zh) * 2019-04-30 2019-08-02 中国船舶工业综合技术经济研究院 一种面向国防科技领域的多源数据融合方法及系统
CN110428017A (zh) * 2019-08-09 2019-11-08 上海天诚比集科技有限公司 一种相似度阈值动态设定的物体识别方法
CN110428017B (zh) * 2019-08-09 2023-05-12 上海天诚比集科技有限公司 一种相似度阈值动态设定的物体识别方法
CN111401368A (zh) * 2020-03-24 2020-07-10 武汉大学 一种基于深度学习的新闻视频标题提取方法
CN111836072A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 视频处理方法、装置、设备和存储介质
CN111639600B (zh) * 2020-05-31 2023-07-28 石家庄铁道大学 基于中心偏移的视频关键帧提取方法
CN111639600A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于中心偏移的视频关键帧提取方法
CN111754512A (zh) * 2020-07-17 2020-10-09 成都盛锴科技有限公司 一种受电弓状态信息采集方法及系统
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法
CN112333467A (zh) * 2020-11-27 2021-02-05 中国船舶工业系统工程研究院 一种用于检测视频的关键帧的方法、系统和介质
CN112509148A (zh) * 2020-12-04 2021-03-16 全球能源互联网研究院有限公司 一种基于多特征识别的交互方法、装置及计算机设备
CN112990191A (zh) * 2021-01-06 2021-06-18 中国电子科技集团公司信息科学研究院 一种基于字幕视频的镜头边界检测与关键帧提取方法
CN112990191B (zh) * 2021-01-06 2022-11-25 中国电子科技集团公司信息科学研究院 一种基于字幕视频的镜头边界检测与关键帧提取方法
CN112989121A (zh) * 2021-03-08 2021-06-18 武汉大学 一种基于关键帧偏好的时序动作评估方法
CN112906818A (zh) * 2021-03-17 2021-06-04 东南数字经济发展研究院 一种减少视频数据集用于人工智能训练时冗余的方法
CN113312959B (zh) * 2021-03-26 2022-09-02 中国科学技术大学 一种基于dtw距离的手语视频关键帧采样方法
CN113312959A (zh) * 2021-03-26 2021-08-27 中国科学技术大学 一种基于dtw距离的手语视频关键帧采样方法
CN112926522A (zh) * 2021-03-30 2021-06-08 广东省科学院智能制造研究所 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN112926522B (zh) * 2021-03-30 2023-11-24 广东省科学院智能制造研究所 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN113379693A (zh) * 2021-06-01 2021-09-10 大连东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN113379693B (zh) * 2021-06-01 2024-02-06 东软教育科技集团有限公司 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN113794815A (zh) * 2021-08-25 2021-12-14 中科云谷科技有限公司 用于提取视频关键帧的方法、装置及控制器
CN114332744B (zh) * 2022-03-10 2022-06-07 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN114332744A (zh) * 2022-03-10 2022-04-12 成都诺比侃科技有限公司 一种基于机器视觉的变电站自适应安防方法及系统
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN114727021B (zh) * 2022-04-19 2023-09-15 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN117880759A (zh) * 2024-03-12 2024-04-12 深圳市诚立业科技发展有限公司 一种智能化视频短信链路高效检测方法
CN117880759B (zh) * 2024-03-12 2024-05-17 深圳市诚立业科技发展有限公司 一种智能化视频短信链路高效检测方法

Also Published As

Publication number Publication date
CN107844779B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN107844779A (zh) 一种视频关键帧提取方法
Pang et al. Hierarchical dynamic filtering network for RGB-D salient object detection
Anwar et al. Image colorization: A survey and dataset
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
Zhang et al. Cat-det: Contrastively augmented transformer for multi-modal 3d object detection
Shi et al. Key-word-aware network for referring expression image segmentation
Jain et al. Better exploiting motion for better action recognition
Meng et al. Human action recognition based on quaternion spatial-temporal convolutional neural network and LSTM in RGB videos
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN103390040A (zh) 一种视频拷贝检测方法
Tu et al. MSR-CNN: Applying motion salient region based descriptors for action recognition
Mei et al. Remote sensing scene classification using sparse representation-based framework with deep feature fusion
CN114708297A (zh) 一种视频目标跟踪方法及装置
Zhou et al. Position-aware relation learning for rgb-thermal salient object detection
Hu et al. A spatio-temporal integrated model based on local and global features for video expression recognition
Chen et al. Laplacian pyramid neural network for dense continuous-value regression for complex scenes
Song et al. Depth estimation from a single image using guided deep network
Alzu'Bi et al. Compact root bilinear cnns for content-based image retrieval
Zhong et al. Key frame extraction algorithm of motion video based on priori
Liao et al. TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting
Tan et al. Local context attention for salient object segmentation
Wang et al. Weighted multi-region convolutional neural network for action recognition with low-latency online prediction
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
Ma et al. A novel generative image inpainting model with dense gated convolutional network
Zhu et al. Multi-feature fusion algorithm in VR panoramic image detail enhancement processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant