CN117177004B - 内容帧的提取方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种内容帧的提取方法、装置、设备及存储介质，方法包括：对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个的内容连续的视频帧序列；对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧；对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。本申请提取的内容帧虽然只选取了部分视频图像帧，但是能完整的表达镜头的内容，而现有技术中的关键帧往往会丢失部分视频内容；且内容帧的选取由于只选取了部分视频图像帧，可以减少后续视频内容分析的运算量。

Description

内容帧的提取方法、装置、设备及存储介质

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种内容帧的提取方法、装置、设备及存储介质。

背景技术

随着网络基础设施的不断完善、新的网络技术应用及视频拍摄设备的普及，视频资源总量以及人们对视频资源的需求量也随之增加。尤其是对视频信息进行智能标注、自动分类、视频内容自动检测、过滤及视频内容检索等需求不断增加。视频内容的提取直接影响后续视频处理的结果。

现有技术中，常见方案用关键帧来表示镜头的内容，关键帧是视频压缩技术中的概念，对视频帧进行编码时，将视频帧分为多个视频帧组，每一组有n个视频帧，一个视频帧组只有一个关键帧，一般为视频帧组中的第一帧，其它帧是由关键帧I计算出来的向后预测帧P或双向预测帧B。有些图像内容是在预测帧中出现的，而没有出现在关键帧里。因此，现有技术中提取的关键帧难以完整表达镜头的内容。

发明内容

本发明实施例提供了一种内容帧的提取方法、装置、设备及存储介质，以至少解决相关技术中提取的关键帧难以完整表达镜头的内容的技术问题。

根据本发明实施例的一个方面，提供了一种内容帧的提取方法，包括：对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列；对于每个镜头，将所述视频帧序列的第一帧作为第一个内容帧，将所述视频帧序列的最后一帧作为最后一个内容帧；对于每个镜头，对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

根据本发明实施例的另一方面，还提供了一种内容帧的提取装置，包括：镜头分割模块，用于对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个对应的内容连续的视频帧序列；第一内容帧提取模块，用于对于每个镜头，将所述视频帧序列的第一帧作为第一个内容帧，将所述视频帧序列的最后一帧作为最后一个内容帧；第二内容帧提取模块，用于对于每个镜头，对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的内容帧的提取方法。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述内容帧的提取方法。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的内容帧的提取方法，对于待处理的原始视频，先进行镜头分割，得到每个镜头对应的视频帧序列。然后通过分析镜头中内容的差异，可以从连续帧序列中选取少量的帧来表示镜头的内容，这些帧即为内容帧。该方法至少将镜头的首尾两帧作为内容帧，然后根据中间子帧的内容差异率，确定中间子帧是否为内容帧。本申请的内容帧提取方法，可以选取部分视频帧来完整表示镜头内容，虽然只选取了部分视频图像帧，但是能完整的表达镜头的所有内容，解决了现有技术中的关键帧无法完整表示镜头内容的问题。且本申请的内容帧选取由于只选取了部分视频图像帧，在不丢失视频内容的前提下，可以减少后续视频内容分析的运算量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的内容帧的提取方法的应用环境的示意图；

图2是根据本发明实施例的另一种可选的内容帧的提取方法的应用环境的示意图；

图3是根据本发明实施例的一种可选的内容帧的提取方法的流程图；

图4是根据本发明实施例的一种可选的内容帧序列的示意图；

图5是根据本发明实施例的一种内容帧提取的示意图；

图6是根据本发明实施例的另一种内容帧提取方法的示意图；

图7是根据本发明实施例的一种邻域和/>的示意图；

图8是根据本发明实施例的一种可选的内容帧的提取装置的结构示意图；

图9是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种内容帧的提取方法，作为一种可选地实施方式，上述内容帧的提取方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有内容帧的提取应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示视频帧序列；处理器1024用于获取待处理的原始视频。存储器1026用于存储上述待处理的原始视频。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述待处理的视频。处理引擎1064用于：对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列；对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧；对于每个镜头，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

在一个或多个实施例中，本申请上述内容帧的提取方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，提取内容帧。

可选地，上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机，车载电子设备，可穿戴设备等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

目前，现有技术中一般都是用提取的关键帧来表示镜头的主要内容，关键帧是视频压缩技术中的概念，对视频帧进行编码时，将视频帧分为多个视频帧组，每一组有n个视频帧，一个视频帧组只有一个关键帧，一般为图像组中的第一帧，在预测其他帧时，其它帧是由关键帧I计算出来的向后预测帧P或双向预测帧B。对于这种方式，提取的关键帧难以涵盖视频所有的内容，有些重要画面是仅在预测帧中出现的。

在一个示例性场景中，提取夜晚道路监控的2秒视频，视频的多帧图像中大部分都是夜晚环境下的静止状态道路，提取的关键帧就是一张夜晚环境下的道路，若有一辆车快速从道路中一闪而过，可能包含车辆出现的画面出现在预测帧中而不是关键帧中。如果仅看关键帧，则可能遗漏视频的部分内容。因此，现有技术中的关键帧难以完整表示视频内容，若用视频的所有图像帧表示视频内容，又会出现增加数据计算量，增加数据存储空间等问题。

基于此，本申请实施例提供了一种内容帧的提取方法，本申请创新性的提出内容帧的概念，通过提取的内容帧可以完整表示镜头的内容。下面结合附图3对本申请实施例的内容帧的提取方法进行详细介绍，如图3所示，该方法主要包括如下步骤：

S301对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列。

在一种可选地实施方式中，首先获取待处理的原始视频，待处理的原始视频可以是学校、工厂、园区等场景下的监控视频，也可以是电视剧、电影、综艺节目等视频。

进一步地，对获取的原始视频进行预处理，首先对原始视频进行解帧，得到粒化后的视频帧序列，对视频帧序列中的图像色彩空间进行归一化，得到归一化后的视频帧序列。然后进行镜头分割，得到一个镜头或多个镜头，对于监控视频等一镜到底的视频拍摄方式，仅得到一个镜头。

镜头分割之后，得到每一个镜头对应的帧序列。具体的镜头分割算法本申请实施例不做具体限定，可以采用现有技术中的镜头分割方法。其中镜头是指摄影机在一次开机到停机之间所拍摄的连续画面片断，是视频构成的基本单位。

S302对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧。

本申请实施例提取的内容帧，是指表示镜头内容的帧，对于分割的每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧。镜头的首帧和尾帧也就是镜头的内容帧序列的首帧和尾帧。

S303对于每个镜头，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

在一种可选地实施方式中，确定镜头首尾两帧是内容帧之后，顺序判断所有子帧是否为内容帧。首先，计算该帧图像的特征数量，过滤图像特征较少的子帧。

具体地，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算之前，还包括：提取视频帧序列中的每帧图像的图像特征，统计每帧图像的图像特征数量。其中，本申请实施例提取的图像特征数量可以为特征矩阵中非零特征的数量，或为图像的特征向量集合中非零向量的数量，或为特征向量的模，或为特征矩阵的模。

进一步地，判断子帧的图像特征数量是否小于预设的最小特征数量阈值；在子帧的图像特征数量小于最小特征数量阈值时，确定子帧不是内容帧。其中，最小特征数量阈值的具体取值可根据实际情况自行设定，本申请实施例不做限制。图像特征数量较少时，可能为纯色帧，这类图像无法表达视频内容。通过对特征数量较少的图像过滤，可以提高数据处理效率。

在一个实施例中，可以提取图像的特征矩阵，例如UniformLBP 特征组成的矩阵，或者直方图特征矩阵，hog特征矩阵，sift特征矩阵等，本申请实施例不做限定。然后计算特征矩阵的模，当特征矩阵的模小于预设最小模值时，确定当前子帧不是内容帧。

在子帧的图像特征数量大于等于预设最小特征数量阈值时，对除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

若所有子帧与其前一个内容帧的差异率都小于等于预设阈值，则所有子帧都不是内容帧，仅提取镜头的首尾两帧作为内容帧。例如，夜晚的监控视频，可能提取的一段视频帧序列中的画面没有变化，则仅取镜头的首尾两帧作为该镜头的内容帧序列。

图4是根据本发明实施例的一种可选的内容帧序列的示意图。如图4所示，视频内容是由连续帧序列组成的，按照视频内容的连续性可将连续帧序列分为多组，每组连续帧序列即为一个镜头。

进一步地，提取每个镜头对应的内容帧，本申请实施例通过分析视频镜头中内容的差异，从每个镜头的连续帧序列中选取少量的帧来表示镜头的内容，这些帧即为内容帧。内容帧至少包括镜头的首尾两帧，首尾两帧也叫镜头帧，所以一个镜头的内容帧数量≥2。

图5是根据本发明实施例的一种内容帧提取的示意图，如图5所示，首帧是第一个内容帧，然后计算第2、第3帧.....与其差异率，直到大于预设阈值，假如第2、3帧与首帧的差异率小于预设阈值，而第4帧大于预设阈值，则第4帧就是第二个内容帧。然后计算第5、第6....与第4帧的差异率，直到大于预设阈值，假如第5、6、7帧与首帧的差异率小于预设阈值，而第8帧大于预设阈值，则第8帧就是第三个内容帧。依次类推，计算出所有首帧和尾帧之间的所有子帧中的内容帧。尾帧直接选定为最后一个内容帧，而不必计算与其前一个内容帧之间的差异率。其中，差异率为计算的两帧图像之间的差异率。

例如一个监控视频，夜晚期间人少车少，视频画面变化很小，那内容帧会很少，例如在10个小时内仅提取个位数个内容帧。而白天人多车多，视频画面里面人和物的变化频繁，按照上面方法计算出来的内容帧会比晚上多很多。由此，内容帧相对于关键帧来说，保证了不丢失镜头视频的所有内容信息，因为关键帧有可能丢失部分镜头内容。而相对于视频每一帧都要计算和考虑的方案，内容帧的选取由于只选取了部分视频图像帧，在不丢失内容的前提下，极大减少了图像计算量。

在一个可选地实施例中，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，包括：获取前一个内容帧对应的第一图像特征和当前计算的子帧对应的第二图像特征；根据第一图像特征和第二图像特征，计算前一个内容帧和当前计算的子帧的特征差异率。

在一个可选地实施例中，前一个内容帧和当前计算的子帧对应的图像数据为YUV色彩空间的数据，分别获取前一内容帧对应的第一图像特征矩阵和当前计算的子帧对应的第二图像特征矩阵。

如图7所示，对图像像素提取3×3邻域特征作为低八位特征（，距离为1，特征点数为8），提取5×5邻域特征作为高八位特征（/>，距离为2，特征点数为8）。可以获取和/>的特征数据，从而得了该像素点的十六位特征数据（/>），对YUV分量中所有像素计算/>特征得到YUV3个分量的/>特征矩阵。

首先，基于公式（1）获取前一个内容帧和当前计算的子帧中每个像素点的每个邻域和/>的特征值；

(1)

其中，c为中心像素，i为邻域内的特征点，pixel为像素值；

基于邻域特征值获取前一个内容帧和当前计算的子帧对应的预设位数的LBP特征，进而得到Uniform LBP特征；

计算前一个内容帧和当前计算的子帧YUV分量中所有像素对应的Uniform LBP特征，得到YUV分量下的第一图像特征矩阵和第二图像特征矩阵。

在一个或多个实施例中，确定第一图像特征矩阵对应的第一模值和第二图像特征矩阵对应的第二模值，包括：

通过公式（2）分别确定第一模值和第二模值；

其中，i为YUV分量，w_i和h_i为分量下的宽高，（m，n）为像素点的横纵坐标，m和n均为非负整数，为（m，n）像素坐标点在v维度下的特征值，/>。

在一个或多个实施例中，确定前一个内容帧和当前计算的子帧在YUV分量下对应的特征差异值，包括：

通过公式（3）分别确定前一个内容帧和当前计算的子帧中的坐标位置相同的各个像素点在YUV分量下对应的特征差异值；

其中，，m<w_i，n<h_i且m，n均为非负整数；/>为前一个内容帧和当前计算的子帧中的坐标点（m，n）的像素点在YUV分量下对应的特征差异值；

根据公式（4）确定前一个内容帧和当前计算的子帧在YUV分量下对应的特征差异值；

其中，分别代表前一个内容帧和当前计算的子帧。

在一个或多个实施例中，基于第一模值、第二模值和特征差异值确定前一个内容帧和当前计算的子帧的差异率，包括：

根据公式（5）确定前一个内容帧和当前计算的子帧的差异率；

其中，均不为0。

在上述方法中，由于采用两个帧图像对应的特征矩阵对应的模值并基于两个帧图像在YUV分量下的差异值来进一步确定两帧图像之间的特征差异值，提升了视频帧序列中的判断两帧图像之间是否存在差异的准确性和效率，进而解决了相关技术中对于确定视频帧序列之间差异的准确度与效率较低的技术问题。本领域技术人员也可以采用其他图像差异的计算方法，本申请实施例不做具体限定。

为了便于理解本申请实施例提供的内容帧提取方法，下面结合附图6进一步说明。如图6所示，内容帧的提取方法包括：

S601选取镜头第一帧，作为内容帧序列的第一帧。

对获取的原始视频进行解帧、图像色彩空间归一化、镜头分割，得到每个镜头对应的视频帧序列，选取镜头第一帧，作为内容帧序列的第一帧，并计算特征矩阵与特征矩阵的模modLBPM/>，分别记作/>与/>。

S602计算下一帧图像的特征数量。

计算下一帧图像的特征矩阵与特征矩阵的模modLBPM/>(k>1)，分别记作/>与/>。

S603判断当前帧的图像特征数量是否小于预设最小特征数量阈值。若是，则返回步骤S602，继续计算下一帧图像的特征数量，若否，则执行步骤S604，计算当前帧图像与其前一个内容帧的差异率。

判断与/>（预设最小数量阈值）的大小，如果/>，则执行步骤S602，若否，则执行步骤S604。

S604计算当前帧图像与其前一个内容帧的差异率。计算与/>的差异率Dis。

S605判断计算的差异率是否大于预设阈值，若是，执行步骤S606，将当前帧加入内容帧序列，若否，则返回步骤S602，继续计算下一帧图像的特征数量。

S606将当前帧加入内容帧序列。并将当前帧记作/>。

S607判断当前帧的下一帧是否为镜头的最后一帧，若是，执行步骤S608，将镜头最后一帧加入内容帧序列，若否，则返回步骤S602，继续计算下一帧图像的特征数量。

S608将镜头最后一帧加入内容帧序列。

本申请的内容帧提取方法，可以选取部分视频帧来完整表示镜头内容，虽然只选取了部分视频图像帧，但是能完整的表达镜头的所有内容，解决了现有技术中的关键帧无法完整表示镜头内容的问题。且本申请的内容帧选取由于只选取了部分视频图像帧，在不丢失视频内容的前提下，可以减少后续视频内容分析的运算量。例如，在对比两段视频的相似性时，若对原始视频的每一帧图像进行对比分析，运算量太大，若对两段视频的关键帧进行对比分析，可能会遗漏重要内容。若对两段视频的内容帧进行对比分析，既能完整对比视频内容，又不用对每一帧进行分析。因此，可以提高后续视频内容分析的效率和准确率。

根据本发明实施例的另一个方面，还提供了一种用于实施上述内容帧的提取方法的内容帧的提取装置。如图8所示，该装置包括：镜头分割模块801、第一内容帧提取模块802、第二内容帧提取模块803。

镜头分割模块801，用于对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个对应的内容连续的视频帧序列；

第一内容帧提取模块802，用于对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧；

第二内容帧提取模块803，用于对于每个镜头，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

本申请实施例提供的内容帧提取装置，还包括：预处理模块，用于对原始视频进行解帧，得到视频帧序列；对视频帧序列中的图像色彩空间进行归一化，得到归一化后的视频帧序列。

还包括过滤模块，用于提取视频帧序列中的每帧图像的图像特征； 统计每帧图像的图像特征数量；判断子帧的图像特征数量是否小于预设的最小特征数量阈值；在子帧的图像特征数量小于最小特征数量阈值时，确定子帧不是内容帧。

需要说明的是，上述实施例提供的内容帧的提取装置在执行内容帧的提取方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的内容帧的提取装置与内容帧的提取方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述内容帧的提取方法的电子设备，该电子设备可以是图9所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图9所示，该电子设备包括存储器905和处理器903，该存储器905中存储有计算机程序，该处理器903被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列；对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧；对于每个镜头，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。

其中，存储器905可用于存储软件程序以及模块，如本发明实施例中的内容帧的提取方法和装置对应的程序指令/模块，处理器903通过运行存储在存储器905内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的内容帧的提取方法。存储器905可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器905可进一步包括相对于处理器903远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器905具体可以但不限于用于存储内容帧等信息。作为一种示例，如图9所示，上述存储器905中可以但不限于包括上述内容帧的提取装置中的镜头分割模块801、第一内容帧提取模块802、第二内容帧提取模块803。此外，还可以包括但不限于上述内容帧的提取装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置904用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置904包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置904为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器901，用于显示上述内容帧；和连接总线902，用于连接上述电子设备中的各个模块部件。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频内容帧的提取方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列；对于每个镜头，将视频帧序列的第一帧作为第一个内容帧，将视频帧序列的最后一帧作为最后一个内容帧；对于每个镜头，对视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种内容帧的提取方法，其特征在于，包括：

对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个内容连续的视频帧序列；

对于每个镜头，将所述视频帧序列的第一帧作为第一个内容帧，将所述视频帧序列的最后一帧作为最后一个内容帧；其中，内容帧是指表示镜头内容的帧；

对于每个镜头，对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列；其中，对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算之前，还包括：

提取所述视频帧序列中的每帧图像的图像特征；

统计每帧图像的图像特征数量；

其中，所述图像特征数量为特征矩阵中非零特征的数量，或为图像的特征向量集合中非零向量的数量，或为特征向量的模，或为特征矩阵的模；其中，统计每帧图像的图像特征数量之后，还包括：

判断所述子帧的图像特征数量是否小于预设的最小特征数量阈值；在所述子帧的图像特征数量小于所述最小特征数量阈值时，确定所述子帧不是内容帧；其中，

对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，包括：

获取前一个内容帧对应的第一图像特征和当前计算的子帧对应的第二图像特征；

根据所述第一图像特征和所述第二图像特征，计算前一个内容帧和当前计算的子帧的特征差异率。

2.根据权利要求1所述的方法，其特征在于，所述对待处理的原始视频进行镜头分割之前，还包括：

对所述原始视频进行解帧，得到视频帧序列；

对所述视频帧序列中的图像色彩空间进行归一化，得到归一化后的视频帧序列。

3.一种内容帧的提取装置，其特征在于，包括：

镜头分割模块，用于对待处理的原始视频进行镜头分割，得到至少一个镜头，每个镜头包括一个对应的内容连续的视频帧序列；

第一内容帧提取模块，用于对于每个镜头，将所述视频帧序列的第一帧作为第一个内容帧，将所述视频帧序列的最后一帧作为最后一个内容帧；其中，内容帧是指表示镜头内容的帧；

第二内容帧提取模块，用于对于每个镜头，对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时，将当前计算的这个子帧作为新的内容帧，得到每个镜头的内容帧序列；所述装置还包括：

过滤模块，用于提取所述视频帧序列中的每帧图像的图像特征；

统计每帧图像的图像特征数量；其中，所述图像特征数量为特征矩阵中非零特征的数量，或为图像的特征向量集合中非零向量的数量，或为特征向量的模，或为特征矩阵的模；

判断所述子帧的图像特征数量是否小于预设的最小特征数量阈值；在所述子帧的图像特征数量小于所述最小特征数量阈值时，确定所述子帧不是内容帧；其中，

对所述视频帧序列中除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，包括：

获取前一个内容帧对应的第一图像特征和当前计算的子帧对应的第二图像特征；

根据所述第一图像特征和所述第二图像特征，计算前一个内容帧和当前计算的子帧的特征差异率。

4.根据权利要求3所述的装置，其特征在于，还包括：

预处理模块，用于对所述原始视频进行解帧，得到视频帧序列；

对所述视频帧序列中的图像色彩空间进行归一化，得到归一化后的视频帧序列。

5.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至2任一项中所述的方法。

6.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至2任一项中所述的方法。