CN110659614A - 视频采样方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种视频采样方法、装置、设备和计算机可读存储介质，所述视频采样方法包括：从待采样视频中提取图像帧；确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。本发明的视频采样方法通过找到待采样视频中与视频高度相关的图像帧作为待采样视频的内容输出，不会遗漏重要的图像帧，提供了更加准确的视频的采样结果。

Description

视频采样方法、装置、设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种视频采样方法、装置、设备和计算机可读存储介质。

背景技术

互联网上图像和视频的规模日益庞大，人们对于视频的兴趣度和热度也在提高，为了更好的给用户推荐感兴趣的视频观看，衍生了很多视频采样的方式来对视频分类或者识别视频中的行为类别。

对于视频采样的方式可采用隔帧采样的方式，对视频中的每帧图像帧赋予相同的采样概率，根据采样概率来对视频的所有图像帧采样，这种方式因为有的图像帧是采样不到的，很容易忽略一些重要的图像帧的采样，导致视频采样采集到的图像帧不能真实反映视频的内容，使得视频采样的结果准确度差。

发明内容

本发明提供了一种视频采样方法、装置、设备和计算机可读存储介质，可以解决视频采样中忽略一些重要的图像帧的采样，导致视频采样采集到的图像帧不能真实反映视频的内容，使得视频采样的结果准确度差的技术问题。

为实现上述目的，本发明提供一种视频采样方法，所述视频采样方法包括以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

为实现上述目的，本发明提供一种视频采样装置，所述视频采样装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频采样程序，所述视频采样程序被所述处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

为实现上述目的，本发明提供一种视频采样设备，所述视频采样设备包括上述的视频采样装置。

为实现上述目的，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频采样程序，所述视频采样程序被处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

本发明通过先从待采样视频中提取图像帧，然后再从提取的图像帧中确定出图像帧相对于待采样视频重要程度大于阈值的图像帧，根据确定的图像帧来搜索到与其相邻的图像帧，确定出的图像帧和其相邻的图像帧作为视频采样结果，这种采样提取图像帧的方式，可以找到待采样视频中与视频高度相关的图像帧作为视频采样结果输出，不会遗漏重要的图像帧，提供了更加准确的视频的采样结果。

附图说明

图1为本发明视频采样设备的功能模块示意图；

图2为本发明视频采样方法一示例性实施例的流程示意图；

图3为本发明图2中步骤S20的一示例性实施例的流程示意图；

图4为本发明图2中步骤S20另一示例性实施例的流程示意图；

图5为本发明图2中步骤S20又一示例性实施例的流程示意图；

图6为本发明视频采样方法又一示例性实施例的流程示意图；

图7为本发明视频采样方法又一示例性实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的视频采样设备结构示意图。

如图1所示，该视频采样设备可以包括：处理器1001，例如CPU(中央处理器)，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入器件比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，所述视频采样设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。所述视频采样设备可显示视频信息，或者提供接口供用户通过设备接入或者通过浏览器观看视频，所述视频采样设备也可通过网络接口1004与其他的设备之间完成通信操作。

本领域技术人员可以理解，图1中示出的结构并不构成对视频采样设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。所述视频采样设备可以是移动终端，例如，手机、pad；也还可以是服务器或者笔记本，可提供视频数据的电子设备。。

如图1所示，所述存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频采样应用程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频采样应用程序，并执行以下操作：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

参照图2，图2为本发明视频采样方法一示例性实施例的流程示意图。该实施例中，所述视频采样方法包括以下步骤：

S10，从待采样视频中提取图像帧；

在本实施例中，用户可以通过登录APP的方式观看视频，或者通过公众号或小程序或者网页的方式登录观看视频。而视频的提供方，需要根据用户的喜好做出视频分类，或者根据视频的类型或者视频的内容做出分类；而被处理的视频作为待采样视频，从待采样视频中提取图像帧，可以采取预设的频率从待采样视频中提取图像帧，例如，每间隔一帧提取一帧图像帧，或者每间隔两帧提取一帧图像帧，或者每五帧中提取两帧图像帧；也可以采取随机提取图像帧的方式从待采样视频中提取图像帧。所提取的图像帧一般为多帧，也可以是提取出一帧最代表待采样视频的图像帧；采集的帧数根据采集频率和视频包括的图像帧来确定，也可以由用户自行设置或系统默认。

为了更好的从不同视频中提取到相关联的图像帧数据，在同义词分类操作或者识别操作时，采取同样的频率来提取视频中的图像帧。当然，也可以是多种方式交叉使用，或者根据前面的采样效果来调整采样，例如，前面十个视频提取图像帧的方式使得分类合理，快，可以继续采用，如果分类不合理或者分不出类，再调整采样方式后可以分类，则可以采取混合采样的方式，或者通过两种方式提取出图像帧，去重后，将所有采样的图像帧都提取出来。视频提取图像帧的方式可以根据用户的需求设定或者系统默认。

S20，确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

在从待采样视频中提取到图像帧后，分析提取的每帧图像帧相对于待采样视频的重要程度，通过重要程度来确定每帧图像帧是否为满足预设筛选条件的图像帧，即，判断提取的图像帧是否为满足预设筛选条件，用以体现所述待采样视频特征或特点的图像帧。重要程度高的为满足预设筛选条件的图像帧，重要程度低的不为满足预设筛选条件的图像帧；重要程度可以通过关联度体现；重要程度还可以通过图像帧的质量高低来判断，质量高的为重要程度高的，质量低的为重要程度低的，而判断质量高低由图像的分辨率或清晰度来判断，分辨率高于预设值的为质量高的，低于预设值的为质量低的，预设值可以是720p或者1280p。

在判断过程中可以采取一些算法来完成，例如，采取卷积算法提取图像帧的特征信息，或者利用视频算法VLAD来得到代表图像帧重要性的数值；也还可以是采取图像相似度或者相关度的匹配计算来计算图像帧的重要程度。

在一实施例中，在不存在第一图像帧后，返回执行步骤S10，继续对待采样视频采样，采取另外的方式采样，以更加准确的对视频采样，防止采样出现偏差，导致采样结果输出不准确的问题。

通过上述的一些方式从提取的图像帧中确定出重要程度大于阈值的图像帧；在未提取到第一图像帧时，更换采样方式在原有的待采样视频的图像帧中继续提取图像帧，或者从剩下未被提取的图像帧中继续提取图像帧。

为了更好的描述如何确定第一图像帧，按照如下流程来描述：

实施例一，参考图3，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

S21，确定所述图像帧中每帧图像帧的特征信息与待采样视频输出信息的关联度；

S22，将关联度的值高于预设阈值的图像帧作为第一图像帧。

在做提取图像帧的重要程度判断时，可以采取先确定图像帧中每帧图像帧的特征信息，所述特征信息包括但不限于图像中的人物信息、环境信息和/或文字信息；所述待采样视频输出信息包括但不限于视频的主题信息或者视频的简介信息；通过特征信息与输出信息的关联度计算，关联度为相似度；关联度为图像帧相对于所述待采样视频的重要程度，将关联度高于预设阈值，例如，80％或者85％，高于预设阈值的图像帧判定为重要程度大于阈值的图像帧，并作为第一图像帧。

而在一实施例中，通过采用一些算法，例如卷积算法和视觉算法VLAD来计算得到关联度。具体的，所述确定所述图像帧中每帧图像帧的特征信息与待采样视频输出信息的关联度的步骤包括：

利用卷积神经网络确定所述图像帧中每帧图像帧的特征信息；

将所述特征信息运用视觉算法VLAD生成相应的向量，所述向量体现所述关联度。

为了提高分析判断的准确度，在启用卷积神经网络计算之前，将所述图像帧转换为灰度图像，压缩每帧图像的通道数。然后输入到一个卷积神经网络中。所述卷积神经网络的特点有两点：不进行时间维度下采样，限制图像帧的通道数。神经网络结构的basenet使用是经过ImageNet与训练后得到的网络模型，如resnet，inception等，再结合视觉算法，输出一个一维向量，向量长度与采样到的图像帧数相同，代表的是每个图像帧的重要程度，即，与待采样视频输出信息的关联度，每帧图像帧的特征信息与待采样视频输出信息的关联度。将所述向量的值与所述预设阈值比对；将所述向量的值高于所述预设阈值的图像帧判定为重要程度大于阈值的图像帧，并作为第一图像帧。在得到关联度后，即，得到图像帧的向量后，设置一个阈值，例如0.8或者0.85，当采样到的图像帧对应的向量的值大于阈值(0.8或0.85)时，判定图像帧为重要程度大于阈值的图像帧。

视觉算法VLAD(vector of locally aggregated descriptors，局部聚合描述)的图像分析通过聚类方法训练一个小的码本，对于每帧图像帧中的特征信息找到最近的码本聚类中心，随后所有特征信息与聚类中心的差值做累加，得到一个k*d的VLAD矩阵，其中k是聚类中心个数，d是特征维数，将该矩阵扩展为一个(k*d)维向量，对其L2归一化，所得到的向量为VLAD，即为关联度。通过结合卷积神经网络和视觉算法VLAD，确定了初步采样图像帧(待采样视频中提取的图像帧)中重要性高的图像帧，通过该重要性高的图像帧搜索到其相邻的图像帧，作为采样结果输出，对重要性高的图像帧采样出来，提供了更加准确的采样结果，便于后续对视频的操作。

实施例二，参考图4，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

S23，确定所述图像帧中每帧图像帧的特征信息；

S24，将所述特征信息与预设特征信息比对得到所述特征信息与预设特征信息的相似度；

S25，将所述特征信息与预设特征信息的相似度确定为所述重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

本实施例与上述实施例的区别在于，本实施例不采用卷积神经网络和视觉算法就有一个重要性判断；通过设置待采样视频的特征信息或者预设图像，提取的图像帧的每帧图像帧的特征信息，将特征信息与预先设置的特征信息来比对，得到所述特征信息与预设特征信息的相似度；相似度80％以上的图像帧为重要程度大于阈值的图像帧，并作为第一图像帧；相似程度80％以下不为所需的图像帧，即，不是第一图像帧。提供的是不为采用卷积神经网络和视觉算法VLAD的确定第一图像帧的方式，提供多样化的方式来体现提取的图像帧的重要性。

在实施例二的基础上，如果无法得到第一图像帧，则采取结合实施例一种的卷积神经网络和视觉算法VLAD来得到图像帧的重要性，两者结合的方式；或者也可以是在得到了重要性程度后存在多个图像帧，继续采用实施例一种的卷积神经网络和视觉算法VLAD来得到图像帧的重要性，做多重判断，得到的采样结果更加准确。

实施例三，参考图5，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

S26，确定所述图像帧中每帧图像帧的特征信息；

S27，将所述特征信息与预设特征信息比对；

S28，确定每帧图像帧对应的音频信息；

S29，将所述音频信息与预设的音频特征信息比对；

S31，根据每帧图像帧的特征信息与预设特征信息的比对结果和每帧图像帧对应的音频信息与预设的音频特征信息的比对结果确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

本实施例与上述的实施例二的差异在于，增加了待采样视频中与图像帧对应音频信息的判断，通过图像帧中特征信息以及音频信息的结合判断，使得采样图像帧的重要性的判断更加准确。两个比对结果都为是的情况下，确定图像帧为重要程度大于阈值的图像帧，并作为第一图像帧；在其中一个为否的情况下，确定图像帧不为满足预设筛选条件的图像帧，不是第一图像帧。音频比对过程与特征比对过程可以同时进行，也可以先后进行，不限定具体执行顺序，按照默认或者提前设置的规则执行。

S30，将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

在提取到第一图像帧后，将第一图像帧和第一图像帧相邻的M帧图像帧都采样出来，作为所述待采样视频的采样结果输出。所述M可以是5帧或者8帧等。

具体的，所述将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出的步骤包括：获取所述第一图像帧的位置；获取所述第一图像帧的位置前后预设位置的图像帧作为第二图像帧；将所述第一图像帧和所述第二图像帧作为视频采样结果输出。预设位置可以是前和/或后N帧，所述N可以是整数，例如，10或者12，也可以是2或者4等。所述预设位置也可以通过分析采样图像帧中的内容来确定，例如，根据图像帧的内容确定相关内容需要体现的前后帧的数量，这个预设位置根据前后帧的数量确定。

通过第一次从视频中提取图像帧，然后对图像帧中筛选出与重要程度大于阈值的图像帧，可以减少输出的图像帧的数量，通过更少的输出来完成视频采样操作，输出少，但采样结果体现的与待采样视频真实内容更加接近，采样效果更好。

本实施例通过先从待采样视频中提取图像帧，然后再从提取的图像帧中确定出图像帧相对于待采样视频重要程度大于阈值的图像帧，根据确定的图像帧来搜索到与其相邻的图像帧，确定出的图像帧和其相邻的图像帧作为视频采样结果，这种采样提取图像帧的方式，可以找到待采样视频中与视频高度相关的图像帧作为视频采样结果输出，不会遗漏重要的图像帧，提供了更加准确的视频的采样结果。

在本发明一实施例中，参考图6，所述方法，还包括步骤：

S40，获取每个待采样视频输出的视频采样结果；

S50，根据所述视频采样结果对各个待采样视频分类；

S60，输出视频分类结果。

本实施例是在待采样完成视频采样输出采样结果后，对输出的视频结果做出分类，即，对不同的视频采样输出采样结果做出分类标记，根据输出的采样结果划分出不同的视频类型，在划分类别后，根据用户的使用习惯，给用户推送感兴趣的视频。也可以通过采样结果输出，对视频做出更加准确的描述，更新之前用户添加或者默认添加的描述；也可以应用在教学视频场景，从中提取出一些关键或者重要的视频教学节点，提取出来做出标识，这样用户可以快速的知道这个教学视频是否对自己有帮助，是否是自己需要学习的部分。通过做出更加准确的描述，将描述加入播放节点中，使得用户可以快速的定位自己感兴趣的播放节点，使得播放操作更加便捷。

在本发明一实施例中，参考图7，所述将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出的步骤之后，还包括步骤：

S70，将所述视频采样结果与预设的行为判断标准数据比对；

S80，根据比对结果识别所述待采样视频中的行为类别。

本实施例与上一实施例的差异在于，通过视频采样结果与因素和的行为判断标准数据比对，做出行为类别的判断，在于预设的行为判断标准数据一致时，或者相似(相似度大于80％)时，判定为行为判断标准数据对应的行为类别；在不一致或者不相似(相似度低于80％)时，确定所述视频不存在行为类别，做其他的识别，例如，内容识别等。

行为类别包括：例如，对视频中用户的行为类别做出判断，判断用户具体是什么行为，例如，为看书，为唱歌或者为表演节目或者为两人交谈或者面试等；而也还可以是判断是否为异常行为，异常行为可以运用在安全监控视频的采样中，对安全监控拍摄的视频做出视频采样，快速的定位是否存在异常行为，进而做出报警操作，提高了检测出安全隐患的速度。通过视频采样的准确度提高，也可以更加准确的完成视频的行为类别判断，提高了类别判断的效果。

在一实施例后，对于视频分类完成和行为类别判断后，将视频做出相应的标记，分享给用户，例如，发送至第三方终端或者在网站或者在公众号上显示，供用户观看。

为了更好的描述本发明实施例，参考如下描述：

步骤1、从原视频中通过密集隔帧采样方式抽取图像，采样的频率较高(可以间隔三帧或者间隔五帧采集一帧，也可以间隔一帧采集；频率根据实际需求设置)。

步骤2、将步骤1采样到的图像转成灰度图，压缩图像通道数，然后输入到一个小型卷积神经网络中。该神经网络的特点有两点，一是不进行时间维度的下采样，二是限制特征图的通道数较小。网络结构的basenet使用的是经过ImageNet预训练后得到的网络模型，如resnet，inception等，再结合视觉算法VLAD的思想，最终输出一个一维向量，向量长度与采样到的图像帧数相同，其代表的是每个图像帧的重要性。

步骤3、根据步骤2得到的向量，设置一个阈值，如0.8。当之前采样到的图像帧所对应的值大于阈值时(为满足预设筛选条件)，则会从原视频中该图像帧的位置，把前后连续的L帧都采样出来，作为此视频的采样结果输出，所述L为5帧或者8帧。

VLAD算法其主要方法是通过聚类方法训练一个小的码本，对于每幅图像中的特征找到最近的码本聚类中心，随后所有特征与聚类中心的差值做累加，得到一个k*d的vlad矩阵，其中k是聚类中心个数，d是特征维数，随后将该矩阵扩展为一个(k*d)维的向量，并对其L2归一化，所得到的向量即为VLAD。

本发明还提出一种视频采样装置，在一实施例中，视频采样装置包括存储器、处理器及存储在存储器上并可在处理器上运行的视频采样程序，视频采样程序被处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

在一实施例中，所述视频采样装置包括：提取模块、确定模块和输出模块；

所述提取模块，用于从待采样视频中提取图像帧；

所述确定模块，用于确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

所述输出模块，用于将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

进一步地，所述确定模块包括确定单元和判断单元，

所述确定单元，用于确定所述图像帧中每帧图像帧的特征信息与待采样视频输出信息的关联度；

所述判断单元，用于将关联度的值高于预设阈值的图像帧作为所述第一图像帧。

进一步地，所述确定单元，用于利用卷积神经网络提取所述图像帧中每帧图像帧的特征信息；将所述特征信息运用视觉算法VLAD生成相应的向量，所述向量体现所述关联度。

进一步地，所述判断单元，用于将所述向量的值与所述预设阈值比对；将所述向量的值高于所述预设阈值的图像帧作为所述第一图像帧。

进一步地，所述视频采样装置还包括处理模块，

所述处理模块，用于将所述图像帧转换为灰度图像，压缩每帧图像的通道数。

进一步地，所述输出模块包括获取单元和输出单元，

所述获取单元，用于获取所述第一图像帧的位置；获取所述第一图像帧的位置前后预设位置的图像帧作为第二图像帧；

所述输出单元，用于将所述第一图像帧和所述第二图像帧作为视频采样结果输出。

进一步地，所述处理模块，还用于获取每个待采样视频输出的视频采样结果；根据所述视频采样结果对各个待采样视频分类；

所述输出单元，还用于输出视频分类结果。

进一步地，所述处理模块，还用于将所述视频采样结果与预设的行为判断标准数据比对；根据比对结果识别所述待采样视频中的行为类别。

进一步地，所述确定单元，还用于确定所述图像帧中每帧图像帧的特征信息；

所述判断单元，还用于将所述特征信息与预设特征信息比对得到所述特征信息与预设特征信息的相似度；

所述确定单元，还用于将所述特征信息与预设特征信息的相似度确定为所述重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

进一步地，所述确定单元，还用于确定所述图像帧中每帧图像帧的特征信息；

所述判断单元，还用于将所述特征信息与预设特征信息比对；

所述确定单元，还用于获取每帧图像帧对应的音频信息；

所述判定单元，还用于将所述音频信息与预设的音频特征信息比对；

所述确定单元，还用于根据每帧图像帧的特征信息与预设特征信息的比对结果和每帧图像帧对应的音频信息与预设的音频特征信息的比对结果确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

上述的视频采样装置各个模块功能的实现与上述方法实施例中的过程相似，在此不再一一赘述。

本发明还提出一种视频采样设备，所述视频采样设备包括如上所述的视频采样装置。所述视频采样设备通过输出模块输出视频采样结果，也通过输出模块输出视频，显示供用户观看。本实施例的视频采样设备通过先从待采样视频中提取图像帧，然后再从提取的图像帧中确定出图像帧相对于待采样视频重要程度大于阈值的图像帧，根据确定的图像帧来搜索到与其相邻的图像帧，确定出的图像帧和其相邻的图像帧作为视频采样结果，这种采样提取图像帧的方式，可以找到待采样视频中与视频高度相关的图像帧作为视频采样结果输出，不会遗漏重要的图像帧，提供了更加准确的视频的采样结果。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频采样程序，所述视频采样程序被处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种视频采样方法，其特征在于，所述视频采样方法包括以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

2.如权利要求1所述的视频采样方法，其特征在于，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

确定所述图像帧中每帧图像帧的特征信息与待采样视频输出信息的关联度；

将关联度的值高于预设阈值的图像帧作为所述第一图像帧。

3.如权利要求2所述的视频采样方法，其特征在于，所述确定所述图像帧中每帧图像帧的特征信息与待采样视频输出信息的关联度的步骤包括：

利用卷积神经网络确定所述图像帧中每帧图像帧的特征信息；

将所述特征信息运用视觉算法VLAD生成相应的向量，所述向量体现所述关联度。

4.如权利要求3所述的视频采样方法，其特征在于，所述将关联度的值高于预设阈值的图像帧作为所述第一图像帧的步骤包括：

将所述向量的值与所述预设阈值比对；

将所述向量的值高于所述预设阈值的图像帧作为所述第一图像帧。

5.如权利要求3所述的视频采样方法，其特征在于，所述利用卷积神经网络确定所述图像帧中每帧图像帧的特征信息的步骤之前，还包括：

将所述图像帧转换为灰度图像，压缩每帧图像的通道数。

6.如权利要求1至5任一项所述的视频采样方法，其特征在于，所述将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出的步骤包括：

获取所述第一图像帧的位置；

获取所述第一图像帧的位置前后预设位置的图像帧作为第二图像帧；

将所述第一图像帧和所述第二图像帧作为视频采样结果输出。

7.如权利要求1至5任一项所述的视频采样方法，其特征在于，所述方法，还包括：

获取每个待采样视频输出的视频采样结果；

根据所述视频采样结果对各个待采样视频分类；

输出视频分类结果。

8.如权利要求1至5任一项所述的视频采样方法，其特征在于，所述将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出的步骤之后，还包括：

将所述视频采样结果与预设的行为判断标准数据比对；

根据比对结果识别所述待采样视频中的行为类别。

9.如权利要求1所述的视频采样方法，其特征在于，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

确定所述图像帧中每帧图像帧的特征信息；

将所述特征信息与预设特征信息比对得到所述特征信息与预设特征信息的相似度；

将所述特征信息与预设特征信息的相似度确定为所述重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

10.如权利要求1所述的视频采样方法，其特征在于，所述确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧的步骤包括：

确定所述图像帧中每帧图像帧的特征信息；

将所述特征信息与预设特征信息比对；

确定每帧图像帧对应的音频信息；

将所述音频信息与预设的音频特征信息比对；

根据每帧图像帧的特征信息与预设特征信息的比对结果和每帧图像帧对应的音频信息与预设的音频特征信息的比对结果确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为所述第一图像帧。

11.一种视频采样装置，其特征在于，所述视频采样装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频采样程序，所述视频采样程序被所述处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

12.一种视频采样设备，其特征在于，所述视频采样设备包括如权利要求11所述的视频采样装置。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频采样程序，所述视频采样程序被处理器执行时实现以下步骤：

从待采样视频中提取图像帧；

确定所述图像帧中每帧图像帧相对于所述待采样视频的重要程度，将所述重要程度大于阈值的图像帧作为第一图像帧；

将所述第一图像帧和与所述第一图像帧相邻的图像帧作为视频采样结果输出。

Images