CN116563754A - 视频精彩片段的评估方法及装置 - Google Patents

Abstract

本发明提供一种视频精彩片段的评估方法及装置，涉及视频图像处理技术领域，方法包括：将待处理视频分割为N个待评估片段，N为大于1的整数；基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。本发明可以有效提高评估视频精彩片段的准确率。

Description

视频精彩片段的评估方法及装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频精彩片段的评估方法及装置。

背景技术

随着网络技术和智能移动设备的迅速发展，大量的视频信息涌现在用户面前。这些视频信息丰富了我们的生活，但是，视频信息的丰富性是以无结构性为代价，亟待从大量视频中找到精彩的视频片段，以供用户选择观看。

目前，主要通过基于深度学习的评估方法评估视频精彩片段，具体提取同一时间片段的音频特征和图像特征，将二者合并成特征向量，然后利用预先训练好的模型进行评估打分。

但是，基于深度学习的评估方法的难点在于训练样本的收集，以及训练模型的选择，其对视频精彩片段的评估准确率通常较低，不利于实际业务的使用。

发明内容

本发明提供一种视频精彩片段的评估方法及装置，用以解决现有技术中对视频精彩片段的评估准确率通常较低，不利于实际业务的使用的问题。

本发明提供一种视频精彩片段的评估方法，包括：

将待处理视频分割为N个待评估片段，N为大于1的整数；

基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

根据本发明提供的一种视频精彩片段的评估方法，所述基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息，包括：

将各所述待评估片段解码为至少两个图像帧；

获取所述至少两个图像帧对应的至少两个灰度图；

基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图；

计算各所述第一像素差值图中所有像素点对应的像素值的平均值mv；

计算各所述待评估片段中所有第一像素差值图对应的mv的平均值Mmv，作为各所述待评估片段对应的运动信息。

根据本发明提供的一种视频精彩片段的评估方法，在所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图之前，所述方法还包括：

对所述至少两个灰度图进行等比例缩放，得到所述至少两个灰度图对应的至少两个缩放图；

所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图，包括：

基于所述至少两个缩放图中相邻缩放图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图。

根据本发明提供的一种视频精彩片段的评估方法，所述基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息，包括：

将各所述待评估片段解码为至少一个图像帧；

获取所述至少一个图像帧对应的至少一个灰度图；

对所述至少一个灰度图进行等比例缩放，得到所述至少一个灰度图对应的至少一个缩放图；

基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图；

计算各所述第二像素差值图中所有像素点对应的像素值的平均值tex；

计算各所述待评估片段中所有第二像素差值图对应的tex的平均值Mtex，作为各所述待评估片段对应的纹理信息。

根据本发明提供的一种视频精彩片段的评估方法，所述基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图，包括：

计算各所述缩放图中水平方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个水平差值图；

计算各所述缩放图中垂直方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个垂直差值图；

基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图。

根据本发明提供的一种视频精彩片段的评估方法，所述基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图，包括：

在各所述缩放图对应的水平差值图和垂直差值图中，选择对应像素点的最大像素值形成各所述缩放图对应的最大差值图，作为各所述待评估片段对应的至少一个第二像素差值图。

根据本发明提供的一种视频精彩片段的评估方法，所述将待处理视频分割为N个待评估片段，包括：

基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

根据本发明提供的一种视频精彩片段的评估方法，所述基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段，包括：

获取在所述待处理视频中预先设置的关键帧的时间戳；

在所述关键帧的时间戳中去除第一关键帧的时间戳，得到目标关键帧的时间戳；其中，所述第一关键帧是与相邻关键帧之间的时间戳差值小于第一阈值的关键帧，所述相邻关键帧为与所述第一关键帧相邻的关键帧；

基于所述目标关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

根据本发明提供的一种视频精彩片段的评估方法，所述基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值，包括：

基于所述运动信息Mmv和所述纹理信息Mtex，采用公式(1)确定各所述待评估片段对应的精彩值：

精彩值＝a*Mmv+(1-a)*Mtex (1)

其中，a为预先设置的权重值。

本发明还提供一种视频精彩片段的评估装置，包括：

分割模块，用于将待处理视频分割为N个待评估片段，N为大于1的整数；

第一确定模块，用于基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

第二确定模块，用于基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

第三确定模块，用于基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

第四确定模块，用于基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频精彩片段的评估方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频精彩片段的评估方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频精彩片段的评估方法。

本发明提供的视频精彩片段的评估方法及装置，相较于相关技术基于深度学习的评估方法，本发明实施例提供的评估方法不受限于训练样本的收集以及训练模型的选择，可以基于由待处理视频分割成的待评估片段对应的纹理信息和运动信息，计算待评估片段对应的精彩值，进而基于精彩值这一表征待评估片段精彩程度的参数，在N个待评估片段中确定至少一个待评估片段，作为待处理视频的精彩片段，由于计算得到的精彩值不受主观因素影响，能客观地反应待评估片段中视频场景的丰富性和动态性，故基于精彩值对待评估片段进行评估，可以有效提高评估视频精彩片段的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的视频精彩片段的评估方法的流程示意图之一；

图2是本发明提供的视频精彩片段的评估方法的流程示意图之二；

图3是本发明提供的视频精彩片段的评估装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图描述本发明的视频精彩片段的评估方法及装置。

图1是本发明提供的视频精彩片段的评估方法的流程示意图之一，如图1所示，视频精彩片段的评估方法包括步骤101至步骤105；其中：

步骤101、将待处理视频分割为N个待评估片段，N为大于1的整数；

步骤102、基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

步骤103、基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

步骤104、基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

步骤105、基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

相关技术中，评估视频精彩片段的方法主要可以分为传统的评估方法和基于深度学习的评估方法两类。

传统的评估方法是根据视频的色彩来判断场景的变化，若判断场景变化越丰富，则表示视频内容越精彩；

基于深度学习的评估方法是提取同一时间片段的音频特征和图像特征，二者合并成特征向量，然后利用预先训练好的模型进行评估打分。

虽然仅依靠色彩变化评估视频内容精彩程度的传统的评估方法简单，评估速度快，但是容易将只有景物等场景误认为是精彩片段，评估的准确率低；基于深度学习的评估方法难点是训练样本的收集及训练模型的选择，样本收集不好，会影响评估方法的准确率，模型选择不好，会影响评估方法的速度，不利于实际业务的使用。

针对相关技术中评估准确率低，不利于实际业务使用的问题，本发明实施例提出一种视频精彩片段的评估方法，其技术构思为：将视频的关键帧作为精彩片段的分割点，将视频图像内纹理细节信息和视频图像间运动信息作为评估视频内容精彩程度的依据。该方法评估的过程简单，评估速度快，主观因素影响低，评估准确率高，方便实际业务使用。

具体地，先将待处理视频分割为N个待评估片段，再基于各待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各待评估片段对应的运动信息，基于各待评估片段中各图像帧内相邻像素点之间的像素差值，确定各待评估片段对应的纹理信息，以基于运动信息和纹理信息计算各待评估片段对应的精彩值，进而基于精彩值这一表征待评估片段精彩程度的参数，在N个待评估片段中确定至少一个待评估片段，作为待处理视频的精彩片段。

可选地，精彩值越大，可以表示待评估片段的视频内容越精彩。

可选地，可以将N个待评估片段对应的精彩值从大到小进行排序，选择排名第一的或者排名前几名的待评估片段，作为待处理视频的精彩片段；也可以选择精彩值大于或等于预先设置的某一阈值的待评估片段，作为待处理视频的精彩片段。

在本发明实施例提供的视频精彩片段的评估方法中，相较于相关技术基于深度学习的评估方法，本发明实施例提供的评估方法不受限于训练样本的收集以及训练模型的选择，可以基于由待处理视频分割成的待评估片段对应的纹理信息和运动信息，计算待评估片段对应的精彩值，进而基于精彩值这一表征待评估片段精彩程度的参数，在N个待评估片段中确定至少一个待评估片段，作为待处理视频的精彩片段，由于计算得到的精彩值不受主观因素影响，能客观地反应待评估片段中视频场景的丰富性和动态性，故基于精彩值对待评估片段进行评估，可以有效提高评估视频精彩片段的准确率。

可选地，本发明实施例提供了获取待评估片段的一种实现方式。

所述将待处理视频分割为N个待评估片段的实现方式可以包括：

基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

具体地，本发明实施例将在待处理视频中预先设置的关键帧的时间戳作为待评估片段的分割时间点，由于预先设置的关键帧可以保留待处理视频中视频场景的完整性，故利用关键帧对待处理视频进行分割得到待评估片段，可以保留待评估片段中视频场景的完整性，进而可以保留评估得到的精彩片段中视频场景的完整性。

可选地，所述基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段的实现方式可以包括：

获取在所述待处理视频中预先设置的关键帧的时间戳；

在所述关键帧的时间戳中去除第一关键帧的时间戳，得到目标关键帧的时间戳；其中，所述第一关键帧是与相邻关键帧之间的时间戳差值小于第一阈值的关键帧，所述相邻关键帧为与所述第一关键帧相邻的关键帧；

基于所述目标关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

具体地，在预先设置的关键帧的时间戳中，若前后相邻两个关键帧的时间戳差值小于预先设置的第一阈值时，则可以删除当前相邻两个关键帧中后一个关键帧的时间戳，以避免分割得到的待评估片段过短。

可选地，本发明实施例提供了确定各待评估片段对应的运动信息的一种具体实现方式。

所述基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息的实现方式可以包括：

将各所述待评估片段解码为至少两个图像帧；

获取所述至少两个图像帧对应的至少两个灰度图；

基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图；

计算各所述第一像素差值图中所有像素点对应的像素值的平均值mv；

计算各所述待评估片段中所有第一像素差值图对应的mv的平均值Mmv，作为各所述待评估片段对应的运动信息。

具体地，先将各待评估片段解码为至少两个图像帧，再将解码后的图像帧通过灰度化公式进行灰度化，获取图像帧对应的灰度图；

可选地，灰度化公式可以为如下公式(2)：

gray＝0.2989*R+0.5870*G+0.1140*B (2)

其中，gray表示灰度图中像素点的像素值，R、G、B表示图像帧中像素点对应的红、绿、蓝三个颜色通道的像素值；

在得到至少两个灰度图后，可以基于至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各待评估片段对应的至少一个第一像素差值图；

可选地，在至少两个灰度图中，可以计算相邻灰度图对应像素点的像素差值的绝对值，若像素差值的绝对值大于或等于预先设置的阈值，则将第一像素差值图中对应的像素点的像素值置为1，否则置为0；

对于一个第一像素差值图来说，可以计算第一像素差值图中所有像素点对应的像素值的平均值，作为相邻图像帧的运动信息mv；再对各待评估片段对应的至少一个第一像素差值图，计算所有相邻图像帧的运动信息mv的平均值，作为各待评估片段对应的运动信息Mmv。

可选地，在所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图之前，可以对所述至少两个灰度图进行等比例缩放，得到所述至少两个灰度图对应的至少两个缩放图；

所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图的实现方式可以包括：

基于所述至少两个缩放图中相邻缩放图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图。

具体地，在获取第一像素差值图前，可以先对灰度图进行等比例缩放，再通过缩放图中相邻缩放图间对应像素点之间的像素差值，得到各待评估片段对应的至少一个第一像素差值图，相较于直接使用未缩放的灰度图得到第一像素差值图，通过等比例缩放后的缩放图得到第一像素差值图，可以在保证图像不过度失真的情况下有效减少数据计算量，提高数据的处理速度，进而可以提高评估视频精彩片段的速度。

举例来说，可以将灰度图等比例缩放，如缩放到原来尺寸的1/4，得到缩放图，缩放方法可以使用区域插值法。

需要说明的是，缩放比例可以基于实际情况进行设置，此实施例设置缩放比例为1/4，可以在减少数据计算量，提高数据的处理速度的同时，保证图像不过度失真。

在得到缩放图后，可以计算相邻两个缩放图的差值图，作为第一像素差值图，即可以计算相邻两个缩放图对应像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第一预设阈值th1，则将第一像素差值图中对应的像素点的像素值置为1，否则置为0；具体采用如下确定公式：

其中，D(i,j)表征差值图(第一像素差值图)像素点(i,j)的像素值，A(i,j)、B(i,j)分别表征相邻两个缩放图的像素点(i,j)的像素值，abs()表征绝对值函数。

可选地，本发明实施例提供了确定各待评估片段对应的纹理信息的一种具体实现方式。

所述基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息的实现方式可以包括：

将各所述待评估片段解码为至少一个图像帧；

获取所述至少一个图像帧对应的至少一个灰度图；

对所述至少一个灰度图进行等比例缩放，得到所述至少一个灰度图对应的至少一个缩放图；

基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图；

计算各所述第二像素差值图中所有像素点对应的像素值的平均值tex；

计算各所述待评估片段中所有第二像素差值图对应的tex的平均值Mtex，作为各所述待评估片段对应的纹理信息。

具体地，先将各待评估片段解码为至少一个图像帧，再将解码后的图像帧灰度化，获取图像帧对应的灰度图，灰度化公式可以采用上述公式(2)。

在获取图像帧对应的灰度图后，可以基于各灰度图内相邻像素点之间的像素差值，得到各待评估片段对应的至少一个第二像素差值图；并计算各个第二像素差值图中所有像素点对应的像素值的平均值tex；再计算各待评估片段中所有第二像素差值图对应的tex的平均值Mtex，作为各待评估片段对应的纹理信息。

可选地，所述基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图的实现方式可以包括：

计算各所述缩放图中水平方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个水平差值图；

计算各所述缩放图中垂直方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个垂直差值图；

基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图。

具体地，对于同一灰度图对应的缩放图来说，可以分别通过水平方向和垂直方向，计算得到该缩放图对应的水平差值图和垂直差值图，进而再基于该缩放图对应的水平差值图和垂直差值图，得到该缩放图对应的第二像素差值图；对于至少一个缩放图来说，可以得到至少一个第二像素差值图。

可选地，所述基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图的实现方式可以包括：

在各所述缩放图对应的水平差值图和垂直差值图中，选择对应像素点的最大像素值形成各所述缩放图对应的最大差值图，作为各所述待评估片段对应的至少一个第二像素差值图。

可选地，可以直接利用上述提到的缩放图，得到各缩放图对应的纹理信息，详细过程如下：

S1、计算缩放图水平方向的相邻像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第二预设阈值th2，则将水平差值图对应像素点的像素值置为1，否则置为0；具体采用如下确定公式：

其中，V(i,j)表征水平差值图中像素点(i,j)的像素值，A(i,j)、A(i,j+1)分别表征缩放图中水平方向的相邻像素点(i,j)、(i,j+1)的像素值。

S2、计算缩放图垂直方向的相邻像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第二预设阈值th2，则将垂直差值图对应像素点的像素值置为1，否则置为0；具体采用如下确定公式：

其中，H(i,j)表征垂直差值图中像素点(i,j)的像素值，A(i,j)、A(i+1,j)分别表征缩放图中垂直方向的相邻像素点(i,j)、(i+1,j)的像素值。

需要说明的是，获取水平差值图和垂直差值图时分别对应的预设阈值可以是相同或不同的，具体可以根据实际情况进行设置，本发明实施例中设置二者的阈值均为第二预设阈值th2。

S3、计算水平差值图和垂直差值图对应像素点的最大像素值，得到最大差值图，作为第二像素差值图，公式如下：

M(i,j)＝max(H(i,j),V(i,j))；

其中，M(i,j)表征最大差值图中像素点(i,j)的像素值，max()表征最大值函数；

再求最大差值图中所有像素值的平均值，作为对应图像帧的纹理信息tex；计算每个待评估片段得到的所有的tex的平均值Mtex。

可选地，所述基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值的实现方式可以包括：

基于所述运动信息Mmv和所述纹理信息Mtex，采用公式(1)确定各所述待评估片段对应的精彩值：

精彩值＝a*Mmv+(1-a)*Mtex (1)

其中，a为预先设置的权重值，0<a<1。

具体地，本发明实施例将待评估片段中视频图像内纹理信息和视频图像间运动信息加权平均，计算得到的精彩值不受主观因素影响，能客观地反应视频场景的丰富性和动态性。

下面举例说明本发明实施例提供的视频精彩片段的评估方法。

图2是本发明提供的视频精彩片段的评估方法的流程示意图之二，如图2所示，本发明实施例提供的视频精彩片段的评估方法的详细过程如下：

1、输入待处理视频；

2、确定待处理视频的分割时间点；

具体地，获取待处理视频的关键帧的时间戳，这些关键帧的时间戳就作为视频片段(待评估片段)的分割时间点；若前后相邻两个关键帧的时间戳差值小于设定阈值时，删除当前相邻两个关键帧的时间戳的后面一个。

3、分割待评估片段；

具体地，根据确定的待评估片段的分割时间点分割待处理视频；

4、计算视频片段的精彩值；

(1)计算每个分割好的待评估片段的视频相邻图像的运动信息mv；

①将要处理的待评估片段解码为多个图像帧；

②将解码后的图像帧灰度化，得到灰度图，灰度化公式如上述公式(2)；

③将灰度图等比例缩放，如缩放到原来尺寸的1/4，得到缩放图，缩放方法可以使用区域插值法；

④计算相邻两个缩放图的差值图(第一像素差值图)，即计算相邻两个缩放图对应像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第一预设阈值th1，则差值图对应像素点的像素值置为1，否则置为0；

⑤求第一像素差值图中所有像素值的平均值，作为相邻图像的运动信息mv；

(2)计算每个分割好的待评估片段的视频图像内的纹理信息tex；

此处计算(1)中③得到的缩放图的纹理信息tex，详细过程如下：

i)计算缩放图中水平方向的相邻像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第二预设阈值th2，则水平差值图对应像素点的像素值置为1，否则置为0；

ii)计算缩放图中垂直方向的相邻像素点的像素差值的绝对值，若像素差值的绝对值大于或等于第二预设阈值th2，则垂直差值图对应像素点的像素值置为1，否则置为0；

iii)计算水平差值图和垂直差值图对应像素点的最大像素值，得到最大差值图(第二像素差值图)；

iv)求第二像素差值图中所有像素值的平均值，作为视频图像内的纹理信息tex；

(3)计算每个待评估片段得到的所有mv的平均值Mmv；

(4)计算每个待评估片段得到的所有的tex的平均值Mtex；

(5)计算每个待评估片段的精彩值：精彩值＝a*Mmv+(1-a)*Mtex；

5、确定精彩片段；

具体地，将分割的所有待评估片段的精彩值从大到小排序，选择排名第一的或者排名前几名的待评估片段，作为该待处理视频的精彩片段。

本发明实施例采用了视频图像内纹理细节信息和视频图像间运动信息加权平均的方法，该方法计算过程简单，算法复杂度低，计算速度快，例如采用45分钟的1080视频在Intel Core i7-7700HQ CPU上的计算用时约为2分钟，且评估准确率高。以电视剧测试为例，输出的精彩片段时长不固定，内容中包括了主演人物，且场景均为丰富的动态内容。

本发明实施例相较于现有技术，至少有以下有益效果：

1、将待处理视频中关键帧的时间戳作为待评估片段的分割时间点，得到的精彩片段的时长不固定，且保留了视频场景的完整性；

2、将视频图像内纹理细节信息和视频图像间运动信息加权平均，得到的精彩值不受主观因素影响，能客观地反应视频场景的丰富性和动态性，从视频场景的丰富性及动态性出发评估精彩片段，计算速度快，准确率高，主观因素影响低。

下面对本发明提供的视频精彩片段的评估装置进行描述，下文描述的视频精彩片段的评估装置与上文描述的视频精彩片段的评估方法可相互对应参照。

图3是本发明提供的视频精彩片段的评估装置的结构示意图，如图3所示，视频精彩片段的评估装置300包括：

分割模块301，用于将待处理视频分割为N个待评估片段，N为大于1的整数；

第一确定模块302，用于基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

第二确定模块303，用于基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

第三确定模块304，用于基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

第四确定模块305，用于基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

在本发明实施例提供的视频精彩片段的评估装置中，相较于相关技术基于深度学习的评估方法，本发明实施例提供的评估装置不受限于训练样本的收集以及训练模型的选择，可以基于由待处理视频分割成的待评估片段对应的纹理信息和运动信息，计算待评估片段对应的精彩值，进而基于精彩值这一表征待评估片段精彩程度的参数，在N个待评估片段中确定至少一个待评估片段，作为待处理视频的精彩片段，由于计算得到的精彩值不受主观因素影响，能客观地反应待评估片段中视频场景的丰富性和动态性，故基于精彩值对待评估片段进行评估，可以有效提高评估视频精彩片段的准确率。

可选地，第一确定模块302具体用于：

将各所述待评估片段解码为至少两个图像帧；

获取所述至少两个图像帧对应的至少两个灰度图；

基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图；

计算各所述第一像素差值图中所有像素点对应的像素值的平均值mv；

计算各所述待评估片段中所有第一像素差值图对应的mv的平均值Mmv，作为各所述待评估片段对应的运动信息。

可选地，第一确定模块302还用于：

对所述至少两个灰度图进行等比例缩放，得到所述至少两个灰度图对应的至少两个缩放图；

第一确定模块302还具体用于：

基于所述至少两个缩放图中相邻缩放图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图。

可选地，第二确定模块303具体用于：

将各所述待评估片段解码为至少一个图像帧；

获取所述至少一个图像帧对应的至少一个灰度图；

对所述至少一个灰度图进行等比例缩放，得到所述至少一个灰度图对应的至少一个缩放图；

基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图；

计算各所述第二像素差值图中所有像素点对应的像素值的平均值tex；

计算各所述待评估片段中所有第二像素差值图对应的tex的平均值Mtex，作为各所述待评估片段对应的纹理信息。

可选地，第二确定模块303还具体用于：

计算各所述灰度图中水平方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个水平差值图；

计算各所述灰度图中垂直方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个垂直差值图；

基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图。

可选地，第二确定模块303还具体用于：

在各所述缩放图对应的水平差值图和垂直差值图中，选择对应像素点的最大像素值形成各所述缩放图对应的最大差值图，作为各所述待评估片段对应的至少一个第二像素差值图。

可选地，分割模块301具体用于：

基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

可选地，分割模块301还具体用于：

获取在所述待处理视频中预先设置的关键帧的时间戳；

在所述关键帧的时间戳中去除第一关键帧的时间戳，得到目标关键帧的时间戳；其中，所述第一关键帧是与相邻关键帧之间的时间戳差值小于第一阈值的关键帧，所述相邻关键帧为与所述第一关键帧相邻的关键帧；

基于所述目标关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

可选地，第三确定模块304具体用于：

基于所述运动信息Mmv和所述纹理信息Mtex，采用公式(1)确定各所述待评估片段对应的精彩值：

精彩值＝a*Mmv+(1-a)*Mtex (1)

其中，a为预先设置的权重值。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备400可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行视频精彩片段的评估方法，该方法包括：

将待处理视频分割为N个待评估片段，N为大于1的整数；

基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的视频精彩片段的评估方法，该方法包括：

将待处理视频分割为N个待评估片段，N为大于1的整数；

基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的视频精彩片段的评估方法，该方法包括：

将待处理视频分割为N个待评估片段，N为大于1的整数；

基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频精彩片段的评估方法，其特征在于，包括：

将待处理视频分割为N个待评估片段，N为大于1的整数；

基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。

2.根据权利要求1所述的视频精彩片段的评估方法，其特征在于，所述基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息，包括：

将各所述待评估片段解码为至少两个图像帧；

获取所述至少两个图像帧对应的至少两个灰度图；

基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图；

计算各所述第一像素差值图中所有像素点对应的像素值的平均值mv；

计算各所述待评估片段中所有第一像素差值图对应的mv的平均值Mmv，作为各所述待评估片段对应的运动信息。

3.根据权利要求2所述的视频精彩片段的评估方法，其特征在于，在所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图之前，所述方法还包括：

对所述至少两个灰度图进行等比例缩放，得到所述至少两个灰度图对应的至少两个缩放图；

所述基于所述至少两个灰度图中相邻灰度图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图，包括：

基于所述至少两个缩放图中相邻缩放图间对应像素点之间的像素差值，得到各所述待评估片段对应的至少一个第一像素差值图。

4.根据权利要求1至3任一项所述的视频精彩片段的评估方法，其特征在于，所述基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息，包括：

将各所述待评估片段解码为至少一个图像帧；

获取所述至少一个图像帧对应的至少一个灰度图；

对所述至少一个灰度图进行等比例缩放，得到所述至少一个灰度图对应的至少一个缩放图；

基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图；

计算各所述第二像素差值图中所有像素点对应的像素值的平均值tex；

计算各所述待评估片段中所有第二像素差值图对应的tex的平均值Mtex，作为各所述待评估片段对应的纹理信息。

5.根据权利要求4所述的视频精彩片段的评估方法，其特征在于，所述基于各所述缩放图内相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个第二像素差值图，包括：

计算各所述缩放图中水平方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个水平差值图；

计算各所述缩放图中垂直方向的相邻像素点之间的像素差值，得到各所述待评估片段对应的至少一个垂直差值图；

基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图。

6.根据权利要求5所述的视频精彩片段的评估方法，其特征在于，所述基于所述至少一个水平差值图和所述至少一个垂直差值图，得到各所述待评估片段对应的至少一个第二像素差值图，包括：

在各所述缩放图对应的水平差值图和垂直差值图中，选择对应像素点的最大像素值形成各所述缩放图对应的最大差值图，作为各所述待评估片段对应的至少一个第二像素差值图。

7.根据权利要求1所述的视频精彩片段的评估方法，其特征在于，所述将待处理视频分割为N个待评估片段，包括：

基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

8.根据权利要求7所述的视频精彩片段的评估方法，其特征在于，所述基于在所述待处理视频中预先设置的关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段，包括：

获取在所述待处理视频中预先设置的关键帧的时间戳；

在所述关键帧的时间戳中去除第一关键帧的时间戳，得到目标关键帧的时间戳；其中，所述第一关键帧是与相邻关键帧之间的时间戳差值小于第一阈值的关键帧，所述相邻关键帧为与所述第一关键帧相邻的关键帧；

基于所述目标关键帧的时间戳，将所述待处理视频分割为所述N个待评估片段。

9.根据权利要求1所述的视频精彩片段的评估方法，其特征在于，所述基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值，包括：

基于所述运动信息Mmv和所述纹理信息Mtex，采用公式(1)确定各所述待评估片段对应的精彩值：

精彩值＝a*Mmv+(1-a)*Mtex (1)其中，a为预先设置的权重值。

10.一种视频精彩片段的评估装置，其特征在于，包括：

分割模块，用于将待处理视频分割为N个待评估片段，N为大于1的整数；

第一确定模块，用于基于各所述待评估片段中相邻图像帧间对应像素点之间的像素差值，确定各所述待评估片段对应的运动信息；

第二确定模块，用于基于各所述待评估片段中各图像帧内相邻像素点之间的像素差值，确定各所述待评估片段对应的纹理信息；

第三确定模块，用于基于所述运动信息和所述纹理信息，确定各所述待评估片段对应的精彩值；其中，所述精彩值用于表征各所述待评估片段的精彩程度；

第四确定模块，用于基于各所述待评估片段对应的精彩值，在所述N个待评估片段中确定至少一个待评估片段，作为所述待处理视频的精彩片段。