CN105721955A - 一种视频关键帧选取方法 - Google Patents
一种视频关键帧选取方法 Download PDFInfo
- Publication number
- CN105721955A CN105721955A CN201610036659.1A CN201610036659A CN105721955A CN 105721955 A CN105721955 A CN 105721955A CN 201610036659 A CN201610036659 A CN 201610036659A CN 105721955 A CN105721955 A CN 105721955A
- Authority
- CN
- China
- Prior art keywords
- video
- key frame
- mrow
- frame
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000010754 BS 2869 Class F Substances 0.000 claims description 6
- 210000003484 anatomy Anatomy 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000003068 static effect Effects 0.000 description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种视频关键帧选取方法,包括:使用聚类方法将视频帧分为n个类,记为F;计算候选关键帧集合C;计算候选关键帧ci代表的视频信息量Ii;选取视频信息量Ii最大的候选关键帧ci作为第一个关键帧集合S1;按照式<maths num="0001"><math><![CDATA[ <mrow> <msub> <mi>S</mi> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> <mo>∪</mo> <munder> <mi>arg</mi> <mrow> <msubsup> <mi>c</mi> <mi>i</mi> <mo>′</mo> </msubsup> <mo>∈</mo> <msup> <mi>C</mi> <mi>c</mi> </msup> </mrow> </munder> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <mi>σ</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>s</mi> <mo>∈</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>c</mi> <mi>i</mi> <mo>′</mo> </msubsup> <mo>,</mo> <mi>s</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>σ</mi> <mo>)</mo> </mrow> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>}</mo> </mrow>]]></math></maths>迭代计算下一个关键帧集合Sk+1;判断关键帧集合Sk+1所代表的视频总信息量;输出关键帧集合Sk+1。本发明从关键帧集合的多样性与最大的信息覆盖角度出发,可以快速有效的从已分类视频帧中选择关键帧集合,能很好的避免冗余帧的出现,并且能够自动决定关键帧集合的长度。本发明简单易行,效果优良。
Description
技术领域
本发明涉及一种视频关键帧选取方法。特别是涉及一种利用已经分好类别的视频帧准确确定视频的关键帧的视频关键帧选取方法。
背景技术
视频摘要是以一种更简略的形式将视频内容表示出来的方法,是对目标视频内容的一种总结。基于关键帧(keyframes)的静态视频摘要是视频摘要的一种重要表现形式,静态视频摘要通常由一组从原始视频提取的关键帧组成,具有浏览速度快、不需要考虑音视频同步等方面的优点。一个好的静态视频摘要能够使用户在最短的时间内获取目标视频的最大信息。
目前常用的静态视频摘要方法有基于聚类的方法、帧间最小相似度法、最小重构误差法等。基于聚类的方法是目前视频摘要中比较主流的方法,基本思想是通过提取视频的视觉等特征,然后将特征进行聚类,然后从聚类好的视频帧中选取关键帧集合。比较流行的聚类算法有k均值聚类、Delauny三角剖析、图切割、AP聚类、DBSCAN聚类等。
基于聚类的方法最后一步需要从视频帧的每个分类中选取关键帧集合,目前通常做法是从每一类中选取距离聚类中心最近的一帧作为关键帧,但这样做的一个弊端就是很容易出现冗余的关键帧,这样就与视频摘要中关键帧的多样性原则相违背。目前去掉冗余帧的方法一般都是对关键帧两两做颜色直方图的交,如果大于某个阈值则认为做颜色直方图交的两个关键帧有一帧为冗余帧。但是这种方法很容易出现错误的检测,有时不能很好的去除冗余帧,有时会把完全不相同的关键帧当做冗余帧。
发明内容
本发明所要解决的技术问题是,提供一种不但能很好的避免冗余帧的出现,还能自动决定关键帧集合的长度的视频关键帧选取方法。
本发明所采用的技术方案是:一种视频关键帧选取方法,包括如下步骤:
1)使用聚类方法将视频帧分为n个类,记为F={F1,…,Fi,…,Fn},Fi表示第i类视频帧;
2)计算候选关键帧集合C,C={c1,…,ci,…,cn},其中,ci是第i类候选关键帧,
式中,为第i类Fi中视频帧特征向量的平均值,f为第i类Fi中任意视频帧的特征向量;
3)计算候选关键帧ci代表的视频信息量Ii,其中mi为候选关键帧ci所在分类的视频帧个数;
4)选取视频信息量Ii最大的候选关键帧ci作为第一个关键帧集合S1;
5)按照下式迭代计算下一个关键帧集合Sk+1:
式中,k表示关键帧集合的个数,Cc为集合Sk在候选关键帧集合C中的补集,即Cc=C\Sk,s为已选的关键帧,s∈Sk,为ci′距离Sk的距离,σ为用来平衡前后两项重要性的常数,0≤σ≤1;
6)判断关键帧集合Sk+1所代表的视频总信息量∑Ik+1是否大于β,其中β为收敛阈值,0<β≤1,是则进入步骤7),否则返回步骤5);
7)输出关键帧集合Sk+1。
所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种。
本发明的一种视频关键帧选取方法,从关键帧集合的多样性与最大的信息覆盖角度出发,可以快速有效的从已分类视频帧中选择关键帧集合,能很好的避免冗余帧的出现,并且能够自动决定关键帧集合的长度。本发明简单易行,效果优良。
附图说明
图1是本发明视频关键帧选取方法的流程示意图。
具体实施方式
下面结合实施例和附图对本发明的一种视频关键帧选取方法做出详细说明。
本发明的一种视频关键帧选取方法,采用两步法来完成,首先从视频帧的n个分类中选取候选关键帧集合,然后进一步从候选关键帧集合中选取关键帧集合。一个好的关键帧集合通常需要满足以下三个条件:(1)关键帧之间最大不相关。关键帧要保证多样性,能够代表不同的视频内容。(2)最大信息覆盖。选取的关键帧要尽可能多的代表视频的主要内容,这样有利于对视频的整体理解。(3)关键帧集合长度尽可能的短。较短的关键帧集合不仅能方便浏览,还能降低对存储的要求。
本发明的一种视频关键帧选取方法,如图1所示,包括如下步骤:
1)使用聚类方法将视频帧分为n个类,记为F={F1,…,Fi,…,Fn},Fi表示第i类视频帧,
所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种;
2)由于视频帧的同一个分类具有相似的视觉内容,因此将从已分好的n个分类中每类选取一帧作为候选关键帧。计算候选关键帧集合C,C={c1,…,ci,…,cn},其中,ci是第i类候选关键帧,选取每类中距离平均特征向量距离最近的一帧作为候选关键帧,则第i类候选关键帧ci的选取公式为
式中,为第i类Fi中视频帧特征向量的平均值,f为第i类Fi中任意视频帧的特征向量;
3)计算候选关键帧ci代表的视频信息量Ii,其中mi为候选关键帧ci所在分类的视频帧个数,候选关键帧所在分类中的视频帧越多,则代表的视频信息量越大;
4)选取视频信息量Ii最大的候选关键帧ci作为第一个关键帧集合S1;
5)按照下式迭代计算下一个关键帧集合Sk+1:
式中,k表示关键帧集合的个数,Cc为集合Sk在候选关键帧集合C中的补集,即Cc=C\Sk,s为已选的关键帧,s∈Sk,为ci′距离Sk的距离,保证了关键帧之间的尽可能不相关,视频信息量Ii保证了视频的信息覆盖,σ为用来平衡前后两项重要性的常数,0≤σ≤1,当σ=0时,完全依据最大信息覆盖的原则来生成关键帧集合,当σ=1时,完全依据关键帧之间最大不相关的原则生成关键帧集合;
6)判断关键帧集合Sk+1所代表的视频总信息量∑Ik+1是否大于β,是则进入步骤7),否则返回步骤5),其中β为收敛阈值,0<β≤1,控制关键帧集合Sk+1代表视频的总信息量,决定关键帧集合的长度;
7)输出关键帧集合Sk+1。
Claims (2)
1.一种视频关键帧选取方法,其特征在于,包括如下步骤:
1)使用聚类方法将视频帧分为n个类,记为F={F1,…,Fi,…,Fn},Fi表示第i类视频帧;
2)计算候选关键帧集合C,C={c1,…,ci,…,cn},其中,ci是第i类候选关键帧,
式中,为第i类Fi中视频帧特征向量的平均值,f为第i类Fi中任意视频帧的特征向量;
3)计算候选关键帧ci代表的视频信息量Ii,其中mi为候选关键帧ci所在分类的视频帧个数;
4)选取视频信息量Ii最大的候选关键帧ci作为第一个关键帧集合S1;
5)按照下式迭代计算下一个关键帧集合Sk+1:
式中,k表示关键帧集合的个数,Cc为集合Sk在候选关键帧集合C中的补集,即Cc=C\Sk,s为已选的关键帧,s∈Sk,为ci′距离Sk的距离,σ为用来平衡前后两项重要性的常数,0≤σ≤1;
6)判断关键帧集合Sk+1所代表的视频总信息量∑Ik+1是否大于β,其中β为收敛阈值,0<β≤1,是则进入步骤7),否则返回步骤5);
7)输出关键帧集合Sk+1。
2.根据权利要求1所述的一种视频关键帧选取方法,其特征在于,所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610036659.1A CN105721955B (zh) | 2016-01-20 | 2016-01-20 | 一种视频关键帧选取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610036659.1A CN105721955B (zh) | 2016-01-20 | 2016-01-20 | 一种视频关键帧选取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105721955A true CN105721955A (zh) | 2016-06-29 |
CN105721955B CN105721955B (zh) | 2018-09-11 |
Family
ID=56147933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610036659.1A Active CN105721955B (zh) | 2016-01-20 | 2016-01-20 | 一种视频关键帧选取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105721955B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210878A (zh) * | 2016-07-25 | 2016-12-07 | 北京金山安全软件有限公司 | 一种画面的提取方法及终端 |
CN106911943A (zh) * | 2017-02-21 | 2017-06-30 | 腾讯科技(深圳)有限公司 | 一种视频展示方法及其装置 |
CN108881950A (zh) * | 2018-05-30 | 2018-11-23 | 北京奇艺世纪科技有限公司 | 一种视频处理的方法和装置 |
CN110096945A (zh) * | 2019-02-28 | 2019-08-06 | 中国地质大学(武汉) | 基于机器学习的室内监控视频关键帧实时提取方法 |
CN110650379A (zh) * | 2019-09-26 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
CN112163120A (zh) * | 2020-09-04 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 一种分类方法、终端及计算机存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271465A (zh) * | 2007-12-12 | 2008-09-24 | 北京航空航天大学 | 一种基于信息瓶颈理论的镜头聚类方法 |
CN101315631A (zh) * | 2008-06-25 | 2008-12-03 | 中国人民解放军国防科学技术大学 | 一种新闻视频故事单元关联方法 |
CN101464893A (zh) * | 2008-12-31 | 2009-06-24 | 清华大学 | 一种提取视频摘要的方法及装置 |
WO2013075224A1 (en) * | 2011-11-22 | 2013-05-30 | Corel Corporation | Conversion of 2-dimensional image data into 3-dimensional image data |
CN103413322A (zh) * | 2013-07-16 | 2013-11-27 | 南京师范大学 | 序列视频关键帧提取方法 |
-
2016
- 2016-01-20 CN CN201610036659.1A patent/CN105721955B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271465A (zh) * | 2007-12-12 | 2008-09-24 | 北京航空航天大学 | 一种基于信息瓶颈理论的镜头聚类方法 |
CN101315631A (zh) * | 2008-06-25 | 2008-12-03 | 中国人民解放军国防科学技术大学 | 一种新闻视频故事单元关联方法 |
CN101464893A (zh) * | 2008-12-31 | 2009-06-24 | 清华大学 | 一种提取视频摘要的方法及装置 |
WO2013075224A1 (en) * | 2011-11-22 | 2013-05-30 | Corel Corporation | Conversion of 2-dimensional image data into 3-dimensional image data |
CN103413322A (zh) * | 2013-07-16 | 2013-11-27 | 南京师范大学 | 序列视频关键帧提取方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210878A (zh) * | 2016-07-25 | 2016-12-07 | 北京金山安全软件有限公司 | 一种画面的提取方法及终端 |
CN106911943A (zh) * | 2017-02-21 | 2017-06-30 | 腾讯科技(深圳)有限公司 | 一种视频展示方法及其装置 |
CN106911943B (zh) * | 2017-02-21 | 2021-10-26 | 腾讯科技(深圳)有限公司 | 一种视频展示方法、装置及存储介质 |
CN108881950A (zh) * | 2018-05-30 | 2018-11-23 | 北京奇艺世纪科技有限公司 | 一种视频处理的方法和装置 |
CN110096945A (zh) * | 2019-02-28 | 2019-08-06 | 中国地质大学(武汉) | 基于机器学习的室内监控视频关键帧实时提取方法 |
CN110096945B (zh) * | 2019-02-28 | 2021-05-14 | 中国地质大学(武汉) | 基于机器学习的室内监控视频关键帧实时提取方法 |
CN110650379A (zh) * | 2019-09-26 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
CN112163120A (zh) * | 2020-09-04 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 一种分类方法、终端及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105721955B (zh) | 2018-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105721955A (zh) | 一种视频关键帧选取方法 | |
US11501518B2 (en) | Fine-grained image recognition method, electronic device and storage medium | |
Li et al. | A weighted sparse coding framework for saliency detection | |
US10146796B2 (en) | Method and apparatus for photograph classification and storage | |
Lin et al. | Image tag completion via image-specific and tag-specific linear sparse reconstructions | |
JP5792747B2 (ja) | テキスト分類の方法及びシステム | |
Yang et al. | Spectral clustering with density sensitive similarity function | |
CN114342353B (zh) | 用于视频分割的方法和系统 | |
CN106649540B (zh) | 一种视频推荐方法及系统 | |
EP2568429A1 (en) | Method and system for pushing individual advertisement based on user interest learning | |
CN108898145A (zh) | 一种结合深度学习的图像显著目标检测方法 | |
US20150332087A1 (en) | Systems and Methods for Identifying a User's Demographic Characteristics Based on the User's Social Media Photographs | |
CN101477633B (zh) | 自动估计图像和视频的视觉显著度的方法 | |
CN103559196A (zh) | 一种基于多核典型相关分析的视频检索方法 | |
Nowak et al. | Overview of the CLEF 2009 large-scale visual concept detection and annotation task | |
CN104504734A (zh) | 一种基于语义的图像颜色传输方法 | |
CN104123396A (zh) | 一种基于云电视的足球视频摘要生成方法及装置 | |
Maktabdar Oghaz et al. | A hybrid color space for skin detection using genetic algorithm heuristic search and principal component analysis technique | |
Wang et al. | Aspect-ratio-preserving multi-patch image aesthetics score prediction | |
CN104063701B (zh) | 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法 | |
CN107967494A (zh) | 一种基于视觉语义关系图的图像区域标注方法 | |
CN104166987A (zh) | 一种基于改进的自适应加权和置信度传播的视差估计方法 | |
CN103578113A (zh) | 前景图像提取方法 | |
CN107247774A (zh) | 一种面向群智多模态数据的处理方法及系统 | |
Niu et al. | Machine learning-based framework for saliency detection in distorted images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |