CN105516735A - 代表帧获取方法和装置 - Google Patents

Abstract

本公开是关于一种代表帧获取方法和装置，属于图像处理技术领域。所述方法包括：对目标视频进行采样得到M个关键帧；从M个关键帧中，获取每个关键帧的背景像素；对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧；从N个候选关键帧中确定出该目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素。解决了相关技术中通过人工筛选的方式获得代表帧时处理速度慢且工作效率低的技术问题；达到了提高获取代表帧效率的效果。

Description

代表帧获取方法和装置

技术领域

本公开涉及图像处理技术领域，特别涉及一种代表帧获取方法和装置。

背景技术

随着视频技术的快速发展，网络上的视频资源也越来越丰富。为方便用户从众多视频资源中选择感兴趣的视频资源，网站可以为每个视频资源提供一个可供用户查看的代表帧。其中代表帧是指一个视频资源中最能代表视频内容的一帧。

相关技术中，一般通过人工筛选的方式获得每个视频资源的代表帧。然而，这种通过人工筛选获得代表帧的方法，处理速度慢且工作效率低。

发明内容

本公开实施例提供了一种代表帧获取方法和装置。所述技术方案如下：

根据本公开实施例的第一方面，提供了一种代表帧获取方法，所述方法包括：

对目标视频进行采样得到M个关键帧；

从所述M个关键帧中，获取每个关键帧的背景像素；

对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

从所述N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。

本公开实施例的第一方面的实现方式所能达到的有益效果为：对目标视频进行采样得到M个关键帧，从M个关键帧中，获取每个关键帧的背景像素，对M个关键帧的背景像素进行两两对比，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素；解决了相关技术中通过人工筛选获得代表帧的方法，处理速度慢且工作效率低的技术问题；达到了可以提高获取代表帧效率的效果。

可选地，所述对目标视频进行采样得到M个关键帧，包括：

将所述目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，所述B段目标视频在所述A目标视频和C段目标视频之间；

分别对所述A段目标视频、所述B段目标视频和所述C段目标视频进行采样得到所述M个关键帧，其中，所述B段视频的采样频率高于所述A段目标视频和所述C段目标视频的采样频率。

本公开实施例的第一方面可选的实现方式所能达到的有益效果为：由于中间时段的视频帧中更能表示目标视频的内容，因此在采样关键帧时，使目标视频的中间时段的关键帧的采样频率高于其他时段的采样频率，能够得到更好的代表该目标视频内容的关键帧。

可选地，所述从所述预定个关键帧中，获取每个关键帧的背景像素，包括：

对所述预定个关键帧进行降采样，降采样后的每个像素的灰度值均代表降采样前对应区域的平均灰度值；

对于每个降采样后得到的关键帧，提取所述关键帧最外围的预定圈像素，将所述预定圈像素确定为所述降采样后得到的关键帧的背景像素。

可选地，所述从所述M个关键帧中，获取每个关键帧的背景像素，包括：

对所述M关键帧进行降采样，降采样后的每个像素的灰度值为降采样前对应区域的平均灰度值；

提取降采样后的所述关键帧最外围的预定圈像素，将所述预定圈像素确定为所述降采样后得到的关键帧的背景像素。

可选地，所述从所述N个候选关键帧中确定出所述目标视频的代表帧，包括：

计算每个候选关键帧的前景像素与背景像素之间的色差值；

剔除色差值小于所述预定差值阈值的候选关键帧；

对剩余的候选关键帧中的前景像素进行梯度提取，得到每个剩余候选关键帧所对应的梯度值；

将具有最大梯度值的候选关键帧确定为所述目标视频的代表帧。

本公开实施例的第一方面可选的实现方式所能达到的有益效果为：通过计算每个候选关键帧的前景像素与背景像素之间的色差值，对每个候选关键帧的前景像素与背景像素之间的色差值小于预定差值阈值的候选关键帧进行剔除，剔除了前景过大或者前景过小的候选关键帧，对剩余的候选关键帧中的前景像素进行梯度提取，将具有最大梯度值的候选关键帧确定为所述目标视频的代表帧，也即将清晰度最高的候选关键帧确定为目标视频的代表帧。

可选地，所述计算每个候选关键帧的前景像素与背景像素之间的色差值，包括：

对于每个候选关键帧，分别从所述候选关键帧的前景像素中和背景像素中提取出特征像素点；

计算所述前景像素中被提取出的特征像素点的颜色值与所述背景像素中被提取出的特征像素点的平均值之间的差值；

将所述差值的绝对值确定为所述色差值。

可选地，所述计算每个候选关键帧的前景像素与背景像素之间的色差值，包括：

对于每个候选关键帧，计算所述候选关键帧的前景像素中各个像素的颜色平均值，将所述颜色平均值记为第一颜色平均值；

计算所述候选关键帧的背景像素中各个像素的颜色平均值，将所述颜色平均值记为第二颜色平均值；

将所述第一颜色平均值与所述第二颜色平均值之间的差值的绝对值确定为所述色差值。

可选地，所述计算每个候选关键帧的前景像素与背景像素之间的色差值，包括：

根据每个候选关键帧的所述前景像素的特征像素点和所述背景像素的特征像素点，计算所述前景像素与所述背景像素之间的色差值；

或者，

根据每个候选关键帧的所述前景像素的颜色平均值和所述背景像素的颜色平均值，计算所述前景像素与所述背景像素之间的色差值。

根据本公开实施例的第二方面，提供了一种代表帧获取装置，所述装置包括：

采样模块，被配置为对目标视频进行采样得到M个关键帧；

获取模块，从所述采样模块采样得到的M个关键帧中，获取每个关键帧的背景像素；

确定模块，被配置为对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

计算模块，被配置为从由所述确定模块确定的N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。

可选地，所述采样模块，包括：

划分子模块，被配置为将所述目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，所述B段目标视频在所述A目标视频和B段目标视频之间；

采样子模块，被配置为分别对由所述划分子模块划分得到的A段目标视频、所述B段目标视频和所述C段目标视频进行采样得到所述M个关键帧，其中，所述B段视频的采样频率高于所述A段目标视频和所述C段目标视频的采样频率。

可选地，所述获取模块，包括：

降采样子模块，被配置为对所述M关键帧进行降采样，降采样后的每个像素的灰度值为降采样前对应区域的平均灰度值；

第一确定子模块，被配置为提取降采样后的所述关键帧最外围的预定圈像素，将所述预定圈像素确定为所述降采样后得到的关键帧的背景像素。

可选地，所述计算模块，包括：

计算子模块，被配置为计算每个候选关键帧的前景像素与背景像素之间的色差值；

剔除子模块，被配置为剔除色差值小于所述预定差值阈值的候选关键帧；

第二确定子模块，被配置为将具有最大梯度值的候选关键帧确定为所述目标视频的代表帧。

可选地，所述计算子模块，还被配置为：

提取子单元，被配置为对于每个候选关键帧，分别从所述候选关键帧的前景像素中和背景像素中提取出特征像素点；

第一计算子单元，被配置为计算所述前景像素中被提取出的特征像素点的颜色值与所述背景像素中被提取出的特征像素点的平均值之间的差值；

第一确定子单元，被配置为将所述差值的绝对值确定为所述色差值。

可选地，所述计算子模块，还包括：

第二计算子单元，被配置为对于每个候选关键帧，计算所述候选关键帧的前景像素中各个像素的颜色平均值，将所述颜色平均值记为第一颜色平均值；

第三计算子单元，被配置为计算所述候选关键帧的背景像素中各个像素的颜色平均值，将所述颜色平均值记为第二颜色平均值；

第二确定子单元，被配置为将所述第一颜色平均值与所述第二颜色平均值之间的差值的绝对值确定为所述色差值。

根据本公开实施例的第三方面，提供一种代表帧获取装置，所述装置包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为：

对目标视频进行采样得到M个关键帧；

从所述M个关键帧中，获取每个关键帧的背景像素；

对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

从所述N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种代表帧获取方法的流程图；

图2A是根据另一示例性实施例示出的一种代表帧获取方法的流程图；

图2B是根据另一示例性实施例示出的一种从预定个关键帧中获取每个关键帧的背景像素的方法的流程图；

图2C是根据另一示例性实施例示出的一种候选关键帧前景过大的示意图；

图2D是根据另一示例性实施例示出的一种候选关键帧前景过大的示意图；

图3是根据一示例性实施例示出的一种代表帧获取装置的框图；

图4是根据另一示例性实施例示出的一种代表帧获取装置的框图；

图5是根据一示例性实施例示出的一种用于获取代表帧的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种代表帧获取方法的流程图，本实施例以该代表帧获取方法应用于网站服务器中来举例说明。该代表帧获取方法可以包括如下几个步骤。

在步骤101中，对目标视频进行采样得到M个关键帧。

在步骤102中，从M个关键帧中，获取每个关键帧的背景像素。

在步骤103中，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧。

在步骤104中，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素。

M为大于1的自然数，N为大于1的自然数。

综上所述，本公开实施例中提供的代表帧获取方法，对目标视频进行采样得到M个关键帧，从M个关键帧中，获取每个关键帧的背景像素，对M个关键帧的背景像素进行两两对比，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素；解决了相关技术中通过人工筛选的方式获得代表帧时处理速度慢且工作效率低的技术问题；达到了提高获取代表帧效率的效果。

图2A是根据另一示例性实施例示出的一种代表帧获取方法的流程图，本实施例以该代表帧获取方法应用于网站服务器中来举例说明。该代表帧获取方法可以包括如下几个步骤。

在步骤201中，对目标视频进行采样得到M个关键帧。

在实际实现时，可以通过多种方式从目标视频中采样关键帧，比如，每隔预定时间段采样一个关键帧。

通常来讲，目标视频的任意时段中均有可能存在较能代表目标视频的内容的代表帧。

为了能够得到较能代表目标视频内容的代表帧，在一种可能的实现方式中，可以将目标视频划分成若干个时间段，每个时间段可提取一个关键帧或者每隔一个时间段提取一个关键帧。举例来讲，目标视频为一个时长为80分钟的视频，将该目标视频划分成10个时间段，每隔8分钟提取一帧作为关键帧，则可得到10个关键帧。再举例来讲，每8分钟提取这8分钟内的任一一帧作为关键帧，则可得到10个关键帧。

在较为常见的情况下，目标视频的中间时段存在较能代表目标视频的内容的代表帧的可能性最大，为了能够得到较能代表目标视频内容的代表帧，在一种可能的实现方式中，将目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，且B段目标视频在A目标视频和C段目标视频之间，也即B段视频为目标视频的中间时段视频。对B段视频的采样频率高于A段目标视频和C段目标视频的采样频率。也就是说，从B段目标视频的采样较多的关键帧，从A段目标视频和C段目标视频采样较少的关键帧。

由于越靠近目标视频的中间时段的部分越有可能是视频的主题，使目标视频的B段目标视频的关键帧的采样频率高于其他时段的采样频率，得到的关键帧能够更好地代表该目标视频的内容。

在步骤202中，从M个关键帧中，获取每个关键帧的背景像素。

通常来讲，图像中的最外围的像素可以被认定为图像的背景，而图像的中间区域的像素可以认定为图像的前景，因此这里所讲的背景像素可以选用关键帧最外围的预定圈像素进行表示，该预定圈可以由服务器预先设定。举例来讲，服务器可设定背景像素是最外围的预定圈像素，这里所讲的预定圈可以为一圈、两圈或两圈以上。

为了能够保证选取的代表帧更具有代表性，也可以根据关键帧的像素点的数量确定，一般来讲，像素点的数量与背景像素所对应的圈数呈正向相关性，也即，像素点的数量越多，则选取作为的背景像素的最外围的圈数也越多。举例来讲，若关键帧的像素点的数量为100，则可以提取最外围的三圈像素作为背景像素。若关键帧的像素点的数量为10000，则可以提取最外围三十圈像素作为背景像素。

由于关键帧中通常具有较多的像素点，且每个像素点均与相邻像素点之间有相似的灰度值，如果关键帧中每个像素点均被考虑计算的话，则运算量比较大，为了减少下述步骤203中的匹配计算量，在从M个关键帧中，获取每个关键帧的背景像素时，可通过如图2B所示的几个步骤实现。

在步骤202a中，对M个关键帧进行降采样，降采样后的每个像素的灰度值均为降采样前对应区域的平均灰度值。

对M个关键帧进行降采样，降采样后的关键帧是一个很小的图。比如，降采样后的关键帧的分辨率可以为32×32、16×16、8×8等等。此外，降采样后的每个像素可以是降采样前对应区域的一个特征像素点，也可以是降采样前对应区域的任一一个像素点，本实施例不作具体限定。

这里所讲的对应区域可以是以该保留的像素点为中心的周围多个像素点所在的区域。

在步骤202b中，提取降采样后的关键帧最外围的预定圈像素，预定圈像素确定为降采样后得到的关键帧的背景像素。

由于降采样后的关键帧所包含的像素点远少于降采样前的关键帧中的像素点，因此，从降采样后得到的关键帧中提取最外围的预定圈像素作为背景像素后，得到的背景像素的像素点也比较少，进而可以减少后续的运算量。

又由于降采样后的每个像素的灰度值均代表了降采样前对应区域的平均灰度值，因此降采样后的背景像素的特征仍旧可以代表降采样前的背景像素的特征，对应的，降采样后的前景像素的特征也仍旧可以代表降采样前的前景像素的特征。这里所讲的前景像素为关键帧中除背景像素以外的像素。

在步骤203中，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧。

对比任意两个关键帧的背景像素的灰度值的近似程度，灰度值相近的几个关键帧可能拥有相同的背景，将这些关键帧确定为候选关键帧。

这里所讲的背景像素相近的关键帧中，每两个关键帧的相似度大于预定相似度阈值，预定相似度阈值可以根据实际情况进行设置，本实施例对预定相似度阈值的具体取值不进行限定。

在步骤204中，计算每个候选关键帧的前景像素与背景像素之间的色差值。

在计算每个候选关键帧的前景像素与背景像素之间的色差值时，在一种可能的实现方式中，对于每个候选关键帧，分别从候选关键帧的前景像素中和背景像素中提取出特征像素点，计算前景像素中被提取出的特征像素点的颜色值与背景像素中被提取出的特征像素点的平均值之间的差值，将该差值确定为色差值。

在另一种可能的实现方式中，对于每个候选关键帧，计算候选关键帧的前景像素中各个像素的颜色平均值，将该颜色平均值记为第一颜色平均值。计算候选关键帧的背景像素中各个像素的颜色平均值，将该颜色平均值记为第二颜色平均值。将第一颜色平均值与第二颜色平均值之间的差值的绝对值确定为色差值。

可选的，这里所讲的颜色值可以为灰度值，这里所讲的颜色平均值可以为灰度值的平均值。

在步骤205中，剔除色差值小于预定差值阈值的候选关键帧。

为了剔除前景过大和前景过小的候选关键帧，对前景像素与背景像素之间的色差值小于预定差值阈值的候选关键帧进行剔除。

在实际情况下，关键帧中通常会存在前景过大或前景过小的关键帧，而这些关键帧通常不太能较准确的代表目标视频的内容，因此为了去除前景过大和前景过小的候选关键帧，可以计算每个候选关键帧的前景像素与背景像素之间的色差值，在候选关键帧的前景像素与背景像素之间的色差值大于预定差值阈值时，表明候选关键帧中前景像素与背景像素之间存在较大区别，这种情况可以表明该关键帧前景过大或者前景过小。

举例来讲，如图2C、2D所示，区域1为该候选关键帧的实际前景，区域3为该候选关键帧的实际背景。在该候选关键帧中将区域2确定为前景像素，相应地，将该候选关键帧除去区域2的剩余部分确定为背景像素。

如图2C所示，该候选关键帧的实际前景过大，部分实际前景的像素被确定为背景像素。由于这种情况下的实际前景过大，背景像素中实际前景的像素数量远大于背景像素中实际背景的像素数量。在根据每个候选关键帧的前景像素的颜色平均值和背景像素的颜色平均值确定色差值时，由于背景像素中大部分像素属于实际前景的像素，因此得到的背景像素的颜色平均值与实际前景的颜色平均值非常相近；而由于实际前景过大，前景像素中大部分或者所有像素均属于实际前景的像素，因此得到的前景像素的颜色平均值与实际前景的颜色平均值相同或非常相近，也因此前景像素的颜色平均值与背景像素的颜色平均值非常相近，也即前景像素与背景像素的色差值较小。

如图2D所示，该候选关键帧的实际前景过小，部分实际背景被确定为前景像素。由于这种情况下的实际前景过小，背景像素中实际背景的像素数量远大于背景像素中实际前景的像素数量，或者，背景像素中像素均为实际背景的像素。在根据每个候选关键帧的前景像素的颜色平均值和背景像素的颜色平均值确定色差值时，由于背景像素中大部分或者全部像素属于实际背景的像素，因此得到的背景像素的颜色平均值与实际背景的颜色平均值非常相近；而由于实际前景过小，前景像素中大部分属于实际背景的像素，因此得到的前景像素的颜色平均值与实际背景的颜色平均值也非常相近，也因此前景像素的颜色平均值与背景像素的颜色平均值非常相近，也即前景像素与背景像素的色差值较小。

因此，在候选关键帧的前景像素与背景像素的色差值较小时，可以判定该候选关键帧的前景过大或者前景过小，剔除该候选关键帧。

通过上述步骤204和步骤205，对前景过小或者前景过大的候选关键帧进行了剔除。

在步骤206中，对剩余的候选关键帧中的前景像素进行梯度提取，得到每个剩余候选关键帧所对应的梯度值。

一般来讲，可利用sobel梯度算子、Laplace算子以及Canny算子等等确定候选关键帧前景像素的梯度图像，根据该梯度图像计算候选关键帧前景像素的梯度值。梯度提取的方法属于本领域普通技术人员都能够实现的，这里就不再详述。

在步骤207中，将具有最大梯度值的候选关键帧确定为目标视频的代表帧。

对每个候选关键帧进行梯度提取，梯度值越大代表该候选关键帧越清晰，梯度值越小代表该候选帧越模糊。为了将候选关键帧中清晰度较好的一帧作为视频代表帧，将提取到前景像素的梯度值最大的候选关键帧确定为目标视频的代表帧。

综上所述，本公开实施例中提供的代表帧获取方法，对目标视频进行采样得到M个关键帧，从M个关键帧中，获取每个关键帧的背景像素，对M个关键帧的背景像素进行两两对比，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素；解决了相关技术中通过人工筛选的方式获得代表帧时处理速度慢且工作效率低的技术问题；达到了提高获取代表帧效率的效果。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图3是根据一示例性实施例示出的一种代表帧获取装置的框图，该代表帧获取装置可以通过软件、硬件或者两者的结合实现成务器的部分或者全部。该代表帧获取装置可以包括：采样模块310、获取模块320、确定模块330和计算模块340。

采样模块310，被配置为对目标视频进行采样得到M个关键帧。

获取模块320，被配置为从采样模块310采样得到的M个关键帧中，获取每个关键帧的背景像素。

确定模块330，被配置为对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧。

计算模块340，被配置为从由确定模块330确定的N个候选关键帧中确定出该目标视频的代表帧，代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，前景像素为候选关键帧中除背景像素以外的像素。

综上所述，本公开实施例中提供的代表帧获取装置，对目标视频进行采样得到M个关键帧，从M个关键帧中，获取每个关键帧的背景像素，对M个关键帧的背景像素进行两两对比，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素；解决了相关技术中通过人工筛选的方式获得代表帧时处理速度慢且工作效率低的技术问题；达到了提高获取代表帧效率的效果。

图4是根据另一示例性实施例示出的一种代表帧获取装置的框图，该代表帧获取装置可以通过软件、硬件或者两者的结合实现成务器的部分或者全部。该代表帧获取装置可以包括：采样模块410、获取模块420、确定模块430和计算模块440。

采样模块410，被配置为对目标视频进行采样得到M个关键帧。

在实际实现时，可以通过多种方式从目标视频中采样关键帧，比如，每隔预定时间段采样一个关键帧。

通常来讲，目标视频的任意时段中均有可能存在较能代表目标视频的内容的代表帧。

为了能够得到较能代表目标视频内容的代表帧，在一种可能的实现方式中，可以将目标视频划分成若干个时间段，每个时间段可提取一个关键帧或者每隔一个时间段提取一个关键帧。举例来讲，目标视频为一个时长为80分钟的视频，将该目标视频划分成10个时间段，每隔8分钟提取一帧作为关键帧，则可得到10个关键帧。再举例来讲，每8分钟提取这8分钟内的任一一帧作为关键帧，则可得到10个关键帧。

获取模块420，被配置为从采样模块410采样得到的M个关键帧中，获取每个关键帧的背景像素。

通常来讲，图像中的最外围的像素可以被认定为图像的背景，而图像的中间区域的像素可以认定为图像的前景，因此这里所讲的背景像素可以选用关键帧最外围的预定圈像素进行表示，该预定圈可以由服务器预先设定，举例来讲，服务器可设定背景像素是最外围的预定圈像素，这里所讲的预定圈可以为一圈、两圈或两圈以上。

为了能够保证选取的代表帧更具有代表性，也可以根据关键帧的像素点的数量确定，一般来讲，像素点的数量与背景像素所对应的圈数呈正向相关性，也即，像素点的数量越多，则选取作为的背景像素的最外围的圈数也越多。

确定模块430，被配置为对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧。

计算模块440，被配置为从由确定模块430确定的N个候选关键帧中确定出该目标视频的代表帧，代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，前景像素为候选关键帧中除背景像素以外的像素。

可选地，上述采样模块410，包括：划分子模块410a和采样子模块410b。

划分子模块410a，被配置为将目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，B段目标视频在A目标视频和C段目标视频之间。

采样子模块410b，被配置为分别对由划分子模块410a划分得到的A段目标视频、B段目标视频和C段目标视频进行采样得到M个关键帧，其中，B段视频的采样频率高于A段目标视频和B段目标视频的采样频率。

由于越靠近目标视频的中间时段的部分越有可能是视频的主题，使目标视频的B段目标视频的关键帧的采样频率高于其他时段的采样频率，得到的关键帧能够更好地代表该目标视频的内容。

可选地，上述获取模块420，包括：采样子模块420a和第一确定子模块420b。

降采样子模块420a，被配置为对M关键帧进行降采样，降采样后的每个像素的灰度值为降采样前对应区域的平均灰度值。

对M个关键帧进行降采样，降采样后的关键帧是一个很小的图。比如，降采样后的关键帧的分辨率可以为32×32、16×16、8×8等等。此外，降采样后的每个像素可以是降采样前对应区域的一个特征像素点，也可以是降采样前对应区域的任一一个像素点，本实施例不作具体限定。

这里所讲的对应区域可以是以该保留的像素点为中心的周围多个像素点所在的区域。

第一确定子模块420b，被配置为提取降采样后的关键帧最外围的预定圈像素，将预定圈像素确定为降采样后得到的关键帧的背景像素。

由于降采样后的关键帧所包含的像素点远少于降采样前的关键帧中的像素点，因此，从降采样后得到的关键帧中提取最外围的预定圈像素作为背景像素后，得到的背景像素的像素点也比较少，进而可以减少后续的运算量。

又由于降采样后的每个像素的灰度值均代表了降采样前对应区域的平均灰度值，因此降采样后的背景像素的特征仍旧可以代表降采样前的背景像素的特征，对应的，降采样后的前景像素的特征也仍旧可以代表降采样前的前景像素的特征。这里所讲的前景像素为关键帧中除背景像素以外的像素。

可选地，计算模块440，包括：计算子模块440a、剔除子模块440b和第二确定子模块440c。

计算子模块440a，被配置为计算每个候选关键帧的前景像素与背景像素之间的色差值。

剔除子模块440b，被配置为剔除色差值小于预定差值阈值的候选关键帧。

第二确定子模块440c，被配置为将具有最大梯度值的候选关键帧确定为目标视频的代表帧。

对每个候选关键帧进行梯度提取，梯度值越大代表该候选关键帧越清晰，梯度值越小代表该候选帧越模糊。为了将候选关键帧中清晰度较好的一帧作为视频代表帧，将提取到前景像素的梯度值最大的候选关键帧确定为目标视频的代表帧。

可选地，上述计算子模块440a，包括：提取子单元、第一计算子单元和第一确定子单元。

提取子单元，被配置为对于每个候选关键帧，分别从候选关键帧的前景像素中和背景像素中提取出特征像素点。

第一计算子单元，被配置为计算前景像素中被提取出的特征像素点的颜色值与背景像素中被提取出的特征像素点的平均值之间的差值。

第一确定子单元，被配置为将上述差值的绝对值确定为色差值。

可选地，上述计算子模块，还包括：第二计算子单元、第三计算子单元和第二确定子单元。

第二计算子单元，被配置为对于每个候选关键帧，计算候选关键帧的前景像素中各个像素的颜色平均值，将该颜色平均值记为第一颜色平均值。

第三计算子单元，被配置为计算候选关键帧的背景像素中各个像素的颜色平均值，将该颜色平均值记为第二颜色平均值。

第二确定子单元，被配置为将第一颜色平均值与第二颜色平均值之间的差值的绝对值确定为色差值。

综上所述，本公开实施例中提供的代表帧获取装置，对目标视频进行采样得到M个关键帧，从M个关键帧中，获取每个关键帧的背景像素，对M个关键帧的背景像素进行两两对比，对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧，从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，该前景像素为候选关键帧中除背景像素以外的像素；解决了相关技术中通过人工筛选的方式获得代表帧时处理速度慢且工作效率低的技术问题；达到了提高获取代表帧效率的效果。

需要说明的一点是，上述实施例提供的装置在实现其代表帧获取的功能时，仅以上述各个功能模块的划分进行举例说明，实际应用中，可以根据实际需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开一示例性实施例还提供了一种代表帧获取的装置，能够实现本公开提供的代表帧获取的方法。该装置包括：处理器，以及用于存储处理器的可执行指令的存储器。其中，处理器被配置为：

对目标视频进行采样得到M个关键帧；

从M个关键帧中，获取每个关键帧的背景像素；

对M个关键帧的背景像素进行两两对比，得到N个候选关键帧，N个候选关键帧为背景像素差异小于阈值的关键帧；

从N个候选关键帧中确定出目标视频的代表帧，该代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，前景像素为候选关键帧中除所述背景像素以外的像素。

图5是根据一示例性实施例示出的一种用于获取代表帧的装置的框图。例如，装置500可以被提供为一服务器。参照图5，装置500包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理部件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述图1和图2A、图2B所示实施例中服务器侧执行的代表帧获取方法。

装置500还可以包括一个电源组件526被配置为执行装置500的电源管理，一个有线或无线网络接口550被配置为将装置500连接到网络，和一个输入输出(I/O)接口558。装置500可以操作基于存储在存储器532的操作系统，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种代表帧获取方法，其特征在于，所述方法包括：

对目标视频进行采样得到M个关键帧；

从所述M个关键帧中，获取每个关键帧的背景像素；

对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

从所述N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。

2.根据权利要求1所述的方法，其特征在于，所述对目标视频进行采样得到M个关键帧，包括：

将所述目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，所述B段目标视频在所述A目标视频和C段目标视频之间；

分别对所述A段目标视频、所述B段目标视频和所述C段目标视频进行采样得到所述M个关键帧，其中，所述B段视频的采样频率高于所述A段目标视频和所述C段目标视频的采样频率。

3.根据权利要求1所述的方法，其特征在于，所述从所述M个关键帧中，获取每个关键帧的背景像素，包括：

对所述M关键帧进行降采样，降采样后的每个像素的灰度值为降采样前对应区域的平均灰度值；

提取降采样后的所述关键帧最外围的预定圈像素，将所述预定圈像素确定为所述降采样后得到的关键帧的背景像素。

4.根据权利要求1至3中任一所述的方法，其特征在于，所述从所述N个候选关键帧中确定出所述目标视频的代表帧，包括：

计算每个候选关键帧的前景像素与背景像素之间的色差值；

剔除色差值小于所述预定差值阈值的候选关键帧；

对剩余的候选关键帧中的前景像素进行梯度提取，得到每个剩余候选关键帧所对应的梯度值；

将具有最大梯度值的候选关键帧确定为所述目标视频的代表帧。

5.根据权利要求4所述的方法，其特征在于，所述计算每个候选关键帧的前景像素与背景像素之间的色差值，包括：

对于每个候选关键帧，分别从所述候选关键帧的前景像素中和背景像素中提取出特征像素点；

计算所述前景像素中被提取出的特征像素点的颜色值与所述背景像素中被提取出的特征像素点的平均值之间的差值；

将所述差值的绝对值确定为所述色差值。

6.根据权利要求4所述的方法，其特征在于，所述计算每个候选关键帧的前景像素与背景像素之间的色差值，包括：

对于每个候选关键帧，计算所述候选关键帧的前景像素中各个像素的颜色平均值，将所述颜色平均值记为第一颜色平均值；

计算所述候选关键帧的背景像素中各个像素的颜色平均值，将所述颜色平均值记为第二颜色平均值；

将所述第一颜色平均值与所述第二颜色平均值之间的差值的绝对值确定为所述色差值。

7.一种代表帧获取装置，其特征在于，所述装置包括：

采样模块，被配置为对目标视频进行采样得到M个关键帧；

获取模块，从所述采样模块采样得到的M个关键帧中，获取每个关键帧的背景像素；

确定模块，被配置为对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

计算模块，被配置为从由所述确定模块确定的N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。

8.根据权利要求7所述的装置，其特征在于，所述采样模块，包括：

划分子模块，被配置为将所述目标视频按播放时间先后进行划分，得到A段目标视频、B段目标视频和C段目标视频，所述B段目标视频在所述A目标视频和B段目标视频之间；

采样子模块，被配置为分别对由所述划分子模块划分得到的A段目标视频、所述B段目标视频和所述C段目标视频进行采样得到所述M个关键帧，其中，所述B段视频的采样频率高于所述A段目标视频和所述C段目标视频的采样频率。

9.根据权利要求7所述的装置，其特征在于，所述获取模块，包括：

降采样子模块，被配置为对所述M关键帧进行降采样，降采样后的每个像素的灰度值为降采样前对应区域的平均灰度值；

第一确定子模块，被配置为提取降采样后的所述关键帧最外围的预定圈像素，将所述预定圈像素确定为所述降采样后得到的关键帧的背景像素。

10.根据权利要求7至9中任一所述的装置，其特征在于，所述计算模块，包括：

计算子模块，被配置为计算每个候选关键帧的前景像素与背景像素之间的色差值；

剔除子模块，被配置为剔除色差值小于所述预定差值阈值的候选关键帧；

第二确定子模块，被配置为将具有最大梯度值的候选关键帧确定为所述目标视频的代表帧。

11.根据权利要求10所述的装置，其特征在于，所述计算子模块，还被配置为：

提取子单元，被配置为对于每个候选关键帧，分别从所述候选关键帧的前景像素中和背景像素中提取出特征像素点；

第一计算子单元，被配置为计算所述前景像素中被提取出的特征像素点的颜色值与所述背景像素中被提取出的特征像素点的平均值之间的差值；

第一确定子单元，被配置为将所述差值的绝对值确定为所述色差值。

12.根据权利要求10所述的装置，其特征在于，所述计算子模块，还包括：

第二计算子单元，被配置为对于每个候选关键帧，计算所述候选关键帧的前景像素中各个像素的颜色平均值，将所述颜色平均值记为第一颜色平均值；

第三计算子单元，被配置为计算所述候选关键帧的背景像素中各个像素的颜色平均值，将所述颜色平均值记为第二颜色平均值；

第二确定子单元，被配置为将所述第一颜色平均值与所述第二颜色平均值之间的差值的绝对值确定为所述色差值。

13.一种代表帧获取装置，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为：

对目标视频进行采样得到M个关键帧；

从所述M个关键帧中，获取每个关键帧的背景像素；

对M个所述关键帧的背景像素进行两两对比，得到N个候选关键帧，所述N个候选关键帧为背景像素差异小于阈值的关键帧；

从所述N个候选关键帧中确定出所述目标视频的代表帧，所述代表帧的前景像素与背景像素之间的色差值大于预定差值阈值，且所述前景像素的梯度值大于其他各个候选关键帧的前景像素的梯度值，所述前景像素为所述候选关键帧中除所述背景像素以外的像素。