CN105721955B - 一种视频关键帧选取方法 - Google Patents

Abstract

一种视频关键帧选取方法，包括：使用聚类方法将视频帧分为n个类，记为F；计算候选关键帧集合C；计算候选关键帧c_i代表的视频信息量I_i；选取视频信息量I_i最大的候选关键帧c_i作为第一个关键帧集合S₁；按照式迭代计算下一个关键帧集合S_k+1；判断关键帧集合S_k+1所代表的视频总信息量；输出关键帧集合S_k+1。本发明从关键帧集合的多样性与最大的信息覆盖角度出发，可以快速有效的从已分类视频帧中选择关键帧集合，能很好的避免冗余帧的出现，并且能够自动决定关键帧集合的长度。本发明简单易行，效果优良。

Description

一种视频关键帧选取方法

技术领域

本发明涉及一种视频关键帧选取方法。特别是涉及一种利用已经分好类别的视频帧准确确定视频的关键帧的视频关键帧选取方法。

背景技术

视频摘要是以一种更简略的形式将视频内容表示出来的方法，是对目标视频内容的一种总结。基于关键帧(keyframes)的静态视频摘要是视频摘要的一种重要表现形式，静态视频摘要通常由一组从原始视频提取的关键帧组成，具有浏览速度快、不需要考虑音视频同步等方面的优点。一个好的静态视频摘要能够使用户在最短的时间内获取目标视频的最大信息。

目前常用的静态视频摘要方法有基于聚类的方法、帧间最小相似度法、最小重构误差法等。基于聚类的方法是目前视频摘要中比较主流的方法，基本思想是通过提取视频的视觉等特征，然后将特征进行聚类，然后从聚类好的视频帧中选取关键帧集合。比较流行的聚类算法有k均值聚类、Delauny三角剖析、图切割、AP聚类、DBSCAN聚类等。

基于聚类的方法最后一步需要从视频帧的每个分类中选取关键帧集合，目前通常做法是从每一类中选取距离聚类中心最近的一帧作为关键帧，但这样做的一个弊端就是很容易出现冗余的关键帧，这样就与视频摘要中关键帧的多样性原则相违背。目前去掉冗余帧的方法一般都是对关键帧两两做颜色直方图的交，如果大于某个阈值则认为做颜色直方图交的两个关键帧有一帧为冗余帧。但是这种方法很容易出现错误的检测，有时不能很好的去除冗余帧，有时会把完全不相同的关键帧当做冗余帧。

发明内容

本发明所要解决的技术问题是，提供一种不但能很好的避免冗余帧的出现，还能自动决定关键帧集合的长度的视频关键帧选取方法。

本发明所采用的技术方案是：一种视频关键帧选取方法，包括如下步骤：

1)使用聚类方法将视频帧分为n个类，记为F＝{F₁,…,F_i,…,F_n}，F_i表示第i类视频帧；

2)计算候选关键帧集合C，C＝{c₁,…,c_i,…,c_n}，其中，c_i是第i类候选关键帧，

式中，为第i类F_i中视频帧特征向量的平均值，f为第i类F_i中任意视频帧的特征向量；

3)计算候选关键帧c_i代表的视频信息量I_i，其中m_i为候选关键帧c_i所在分类的视频帧个数；

4)选取视频信息量I_i最大的候选关键帧c_i作为第一个关键帧集合S₁；

5)按照下式迭代计算下一个关键帧集合S_k+1：

式中，k表示关键帧集合的个数，C^c为集合S_k在候选关键帧集合C中的补集，即C^c＝C\S_k，s为已选的关键帧，s∈S_k，为c_i′距离S_k的距离，σ为用来平衡前后两项重要性的常数，0≤σ≤1；

6)判断关键帧集合S_k+1所代表的视频总信息量∑I_k+1是否大于β，其中β为收敛阈值，0＜β≤1，是则进入步骤7)，否则返回步骤5)；

7)输出关键帧集合S_k+1。

所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种。

本发明的一种视频关键帧选取方法，从关键帧集合的多样性与最大的信息覆盖角度出发，可以快速有效的从已分类视频帧中选择关键帧集合，能很好的避免冗余帧的出现，并且能够自动决定关键帧集合的长度。本发明简单易行，效果优良。

附图说明

图1是本发明视频关键帧选取方法的流程示意图。

具体实施方式

下面结合实施例和附图对本发明的一种视频关键帧选取方法做出详细说明。

本发明的一种视频关键帧选取方法，采用两步法来完成，首先从视频帧的n个分类中选取候选关键帧集合，然后进一步从候选关键帧集合中选取关键帧集合。一个好的关键帧集合通常需要满足以下三个条件：(1)关键帧之间最大不相关。关键帧要保证多样性，能够代表不同的视频内容。(2)最大信息覆盖。选取的关键帧要尽可能多的代表视频的主要内容，这样有利于对视频的整体理解。(3)关键帧集合长度尽可能的短。较短的关键帧集合不仅能方便浏览，还能降低对存储的要求。

本发明的一种视频关键帧选取方法，如图1所示，包括如下步骤：

1)使用聚类方法将视频帧分为n个类，记为F＝{F₁,…,F_i,…,F_n}，F_i表示第i类视频帧，

所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种；

2)由于视频帧的同一个分类具有相似的视觉内容，因此将从已分好的n个分类中每类选取一帧作为候选关键帧。计算候选关键帧集合C，C＝{c₁,…,c_i,…,c_n}，其中，c_i是第i类候选关键帧，选取每类中距离平均特征向量距离最近的一帧作为候选关键帧，则第i类候选关键帧c_i的选取公式为

式中，为第i类F_i中视频帧特征向量的平均值，f为第i类F_i中任意视频帧的特征向量；

3)计算候选关键帧c_i代表的视频信息量I_i，其中m_i为候选关键帧c_i所在分类的视频帧个数，候选关键帧所在分类中的视频帧越多，则代表的视频信息量越大；

4)选取视频信息量I_i最大的候选关键帧c_i作为第一个关键帧集合S₁；

5)按照下式迭代计算下一个关键帧集合S_k+1：

式中，k表示关键帧集合的个数，C^c为集合S_k在候选关键帧集合C中的补集，即

C^c＝C\S_k，s为已选的关键帧，s∈S_k，为c_i′距离S_k的距离，保证了关键帧之间的尽可能不相关，视频信息量I_i保证了视频的信息覆盖，σ为用来平衡前后两项重要性的常数，0≤σ≤1，当σ＝0时，完全依据最大信息覆盖的原则来生成关键帧集合，当σ＝1时，完全依据关键帧之间最大不相关的原则生成关键帧集合；

6)判断关键帧集合S_k+1所代表的视频总信息量∑I_k+1是否大于β，是则进入步骤7)，否则返回步骤5)，其中β为收敛阈值，0＜β≤1，β控制关键帧集合S_k+1代表视频的总信息量，决定关键帧集合的长度；

7)输出关键帧集合S_k+1。

Claims (2)

1.一种视频关键帧选取方法，其特征在于，包括如下步骤：

1)使用聚类方法将视频帧分为n个类，记为F＝{F₁,…,F_i,…,F_n}，F_i表示第i类视频帧；

2)计算候选关键帧集合C，C＝{c₁,…,c_i,…,c_n}，其中，c_i是第i类候选关键帧，

式中，为第i类F_i中视频帧特征向量的平均值，f为第i类F_i中任意视频帧的特征向量；

3)计算候选关键帧c_i代表的视频信息量I_i，其中m_i为候选关键帧c_i所在分类的视频帧个数；

4)选取视频信息量I_i最大的候选关键帧c_i作为第一个关键帧集合S₁；

5)按照下式迭代计算下一个关键帧集合S_k+1：

式中，k表示关键帧集合的个数，C^c为集合S_k在候选关键帧集合C中的补集，即C^c＝C\S_k，s为已选的关键帧，s∈S_k，为c_i′距离S_k的距离，σ为用来平衡前后两项重要性的常数，0≤σ≤1；

6)判断关键帧集合S_k+1所代表的视频总信息量∑I_k+1是否大于β，其中β为收敛阈值，0<β≤1，是则进入步骤7)，否则返回步骤5)；

7)输出关键帧集合S_k+1。

2.根据权利要求1所述的一种视频关键帧选取方法，其特征在于，所述的聚类方法为k均值聚类、Delauny三角剖析、图切割、AP聚类和DBSCAN聚类中的一种。