CN115811582A - 一种基于视频数据的处理方法和装置 - Google Patents

Abstract

本发明实施例提供了一种基于视频数据的处理方法和装置，所述方法包括：获取视频数据，并从所述视频数据中，确定一个或多个视频片段；针对每个视频片段，确定一关键帧；从所述关键帧中，确定一个或多个显著性区域；结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。通过本发明实施例，实现了根据视频内容生成视频边框，使得视频边框呈现个性化。

Description

一种基于视频数据的处理方法和装置

技术领域

本发明涉及视频技术领域，特别是涉及一种基于视频数据的处理方法和装置。

背景技术

随着视频类应用被用户广泛使用，尤其是短视频应用，用户以及用户使用时长均逐年上涨。在视频类应用的使用过程中，由于录制视频时有横版和竖版的区别，用户在观看时视频，经常出现录制视频为横版，但观看用户竖屏观看的情况。另外，视频类应用通常可以在手机、Pad、PC等多平台设备进行视频播放，而这些平台存在屏幕比例不同，导致视频不适配。

在现有技术中，针对解决横竖屏切换以及适配视频在不同屏幕比例的设备上播放的问题，通常可以采用黑色背景进行填充，或将视频边缘虚化后进行填充，这种填充方式较为单一，用户体验不佳。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种基于视频数据的处理方法和装置，包括：

一种基于视频数据的处理方法，所述方法包括：

获取视频数据，并从所述视频数据中，确定一个或多个视频片段；

针对每个视频片段，确定一关键帧；

从所述关键帧中，确定一个或多个显著性区域；

结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

可选地，还包括：

从所述视频边框图像中，确定多个边框图像区域；

针对每个边框图像区域，确定距离最近的显著性区域；

结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

可选地，所述结合所述距离最近的显著性区域，对所述边框图像区域进行渲染，包括：

针对所述距离最近的显著性区域，确定色块序列信息；其中，所述色块序列信息包括所述显著性区域中按照色块占比排序的色块信息；

根据所述色块序列信息，对所述边框图像区域进行色彩渲染。

可选地，所述针对所述距离最近的显著性区域，确定色块序列信息，包括：

针对所述距离最近的显著性区域，确定多个颜色数据；

对所述多个颜色数据进行聚类，得到多个色块信息及其色块占比；

根据所述多个色块信息及其色块占比，生成色块序列信息。

可选地，所述结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，包括：

根据所述视频数据的视频标签，从所述一个或多个显著性区域中，确定目标显著性区域，并确定所述目标显著性区域的布置方式；

按照所述布置方式，对所述目标显著性区域进行布置，得到针对所述视频数据中每个视频片段的视频边框图像。

可选地，所述目标显著性区域为面积最大的显著性区域，包括以下任一个：

面积最大的显著性区域、面积大小排序在前的N个显著性区域；

其中，N为大于1的正整数。

可选地，所述目标显著性区域的布置方式包括以下任一种：

按照边框宽度重复排列一周；

将所述目标显著性区域组成环状进行排列。

一种基于视频数据的处理装置，所述装置包括：

视频片段确定模块，用于获取视频数据，并从所述视频数据中，确定一个或多个视频片段；

关键帧确定模块，用于针对每个视频片段，确定一关键帧；

显著性区域确定模块，用于从所述关键帧中，确定一个或多个显著性区域；

视频边框图像生成模块，用于结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于视频数据的处理方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于视频数据的处理方法。

本发明实施例具有以下优点：

在本发明实施例中，通过获取视频数据，并从所述视频数据中，确定一个或多个视频片段，针对每个视频片段，确定一关键帧，从所述关键帧中，确定一个或多个显著性区域，结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，实现了根据视频内容生成视频边框，使得视频边框呈现个性化。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种基于视频数据的处理方法的步骤流程图；

图2是本发明一实施例提供的另一种基于视频数据的处理方法的步骤流程图；

图3a是本发明一实施例提供的一种显著性区域的示意图；

图3b是本发明一实施例提供的一种视频边框图像布置的示意图；

图3c是本发明一实施例提供的一种边框图像区域划分的示意图；

图4是本发明一实施例提供的另一种基于视频数据的处理方法的步骤流程图；

图5是本发明一实施例提供的另一种基于视频数据的处理方法的步骤流程图；

图6是本发明一实施例提供的一种基于视频数据的处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，通过对视频数据进行镜头划分，每一镜头中选取一个关键帧，确定各关键帧的显著性区域，然后对各关键帧中显著性区域的颜色数据进行聚类，确定色块序列，再根据视频标签，结合显著性区域的位置，确定视频边框图像，然后将其划分为多个区域，根据距离每块区域最近的显著性区域的色块序列，对该块区域进行色彩渲染，用于视频展示，实现了根据视频内容生成边框背景。具体的，如图1所示，可以包括如下：

S1、对视频数据进行镜头划分，每一镜头中选取一个视频帧。

S2、基于选取的各视频帧的视频特征，确定各视频帧的显著性区域。

S3、提取各视频关键帧显著性区域的颜色数据，对颜色数据进行聚类，确定色块序列。

S4、根据视频标签，结合显著性区域的位置，确定视频边框图像。

S5、将确定的视频边框图像划分为四块，根据距离每块边框图像最近的显著性区域的色块序列，对该块边框图像进行色彩渲染，用于视频展示。

通过本发明实施例，具有以下有益效果：

1、通过根据镜头确定多个视频边框图像，实现了镜头切换，视频边框图像随之切换，解决了目前现有技术的背景填充一成不变的缺陷，用户可以在视频边缘背景填充中观看到不同的边框，视觉体验更好。

2、针对每个镜头的视频边框处理中，通过视频标签结合显著性区域的位置分布来确定视频边框图像，考虑到了不同视频类型的特点，确定的视频边框图像符合用户观看特点，具有更好的观看效果。

3、通过根据显著性区域的色块序列，对模糊化的视频边框图像叠加色彩渲染，既丰富了用户的视觉感受，又不会在视频观看时产生突兀的感觉，有效提高用户体验感。

以下进行进一步说明：

参照图2，示出了本发明一实施例提供的一种基于视频数据的处理方法的步骤流程图，具体可以包括如下步骤：

步骤201，获取视频数据，并从所述视频数据中，确定一个或多个视频片段。

在用户将视频数据上传至服务器后，服务器可以从视频数据提取所有视频帧，根据其中相邻视频帧的连续性，对视频数据进行分割，获取视频数据的所有镜头信息，进而可以根据镜头信息，对视频数据进行镜头划分，每个镜头可以对应一个视频片段，每个视频片段可以包括多个视频帧。

步骤202，针对每个视频片段，确定一关键帧。

在组成每一个镜头的视频帧中，选取一个视频帧，该视频帧可以选择其中的关键帧，实现在每一镜头中选取一个视频帧。

例如，对视频数据进行镜头划分，得到20个镜头，在每一个镜头的视频帧集合中选取一个关键帧，获得20个关键帧。

步骤203，从所述关键帧中，确定一个或多个显著性区域。

对于关键帧，可以将帧的视频特征输入训练好的显著性检测模型，进而可以输出关键帧的显著图数据，显著性检测模型可以使用采用以下模型：LeNet、FCN、VGG-Net、RCNN、fast-RCNN、SPP等。

在具体实现中，显著图数据可以包括每个像素点通过模型预测到的显著值，显著值越大，表示该像素点越显著。在获得显著图数据后，可以基于显著图数据中的显著值，确定关键帧中的显著性区域，如图3a，从关键帧中确定显著性区域①、显著性区域②、显著性区域③。

例如，将20个关键帧的视频特征，分别输入训练好的显著性检测模型，得到20个关键帧的显著性区域。

步骤204，结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

在具体实现中，可以通过视频标签识别模块，自动给视频数据打类型标签。在给视频打标签时，可以利用视频文本标题、视频封面图和视频内容等多模信息进行分析，确定视频标签。视频标签可以包括新闻类、搞笑类、美食类、旅游类、游戏类、宠物类、美妆类、家居类、健身类、影视类等。

在获得视频标签后，考虑到不同视频类型的特点，可以确定视频标签的视频类别，进而可以结合视频类别和显著性区域的位置，确定视频边框图像，获得的视频边框图像均来源自对应的视频帧，为视频帧的一部分，主要通过视频标签以及显著性区域位置来截取部分区域图像。

作为一示例，根据视频标签可分为三大类别：

A类(视频内容无较多重点)：新闻类、搞笑类。

B类(视频内容有视线重点)：美食类、宠物类、健身类、美妆类。

C类(视频内容有多个重点)：旅游类、游戏类、影视类、家居类。

在本发明一实施例中，所述结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，可以包括：

根据所述视频数据的视频标签，从所述一个或多个显著性区域中，确定目标显著性区域，并确定所述目标显著性区域的布置方式；按照所述布置方式，对所述目标显著性区域进行布置，得到针对所述视频数据中每个视频片段的视频边框图像。

在具体实现中，可以根据不同的视频标签，从一个或多个显著性区域中，选取目标显著性区域(可以为一个或多个)，并可以根据不同的视频标签，确定目标显著性区域的布置方式，然后按照布置方式，对所述目标显著性区域进行布置，得到针对当前视频片段的视频边框图像。

作为一示例，所述目标显著性区域为面积最大的显著性区域，可以包括以下任一个：面积最大的显著性区域、面积大小排序在前的N个显著性区域；

其中，N为大于1的正整数。

作为一示例，所述目标显著性区域的布置方式包括以下任一种：

按照边框宽度重复排列一周；

将所述目标显著性区域组成环状进行排列。

例如，当视频标签属于A大类时，则可以直接选取视频帧边缘一周图像作为视频边框图像。

又如，当视频标签属于B大类时，则选取面积最大的显著性区域的图像，按照边框宽度重复排列一周，作为视频边框图像，如图3b，视频标签为宠物类，划分到视频大类B大类，在每一个视频帧中，选取范围最大的显著性区域的图像(猫咪脸)，按照边框宽度重复排列一周，作为视频边框图像。

再如，当视频标签属于C大类时，则将面积从大到小排列前3位的显著性区域组成的环状图像，如图3a中环状虚线，作为视频边框图像。

在本发明实施例中，通过视频标签结合显著性区域的位置分布来确定视频边框图像，考虑到了不同视频类型的特点，如A大类视频通常无较多重点，以边缘图像填充边框背景，用户的视觉体验更好，B大类视频的画面内容中，通常会有视线重点，根据范围最大的显著性区域的图像重复排列一周，生成的视频边框图像重点突出，体验更好，C大类视频通常有多个重点，选取最显著的三个区域形成的环状图像来填充边框背景，符合用户视觉感受。

在本发明一实施例中，还可以包括：

从所述视频边框图像中，确定多个边框图像区域；针对每个边框图像区域，确定距离最近的显著性区域；结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

在具体实现中，可以对获得的视频边框图像进行划分，得到多个边框图像区域，如划分为左上、右上、左下、右下四块区域。

针对每个边框图像区域，确定距离最近的显著性区域，然后可以结合距离最近的显著性区域，对边框图像区域进行渲染。

在本发明一实施例中，所述结合所述距离最近的显著性区域，对所述边框图像区域进行渲染，可以包括：

针对所述距离最近的显著性区域，确定色块序列信息；根据所述色块序列信息，对所述边框图像区域进行色彩渲染。

在具体实现中，对于距离最近的显著性区域，可以通过对其色彩分析，确定其色块序列信息，色块序列信息可以包括所述显著性区域中按照色块占比排序的色块信息，然后可以根据色块序列信息，对所述边框图像区域进行色彩渲染，使得对模糊化的视频边框图像叠加色彩渲染，既丰富了用户的视觉感受，又不会在视频观看时产生突兀的感觉，有效提高用户体验感。

在本发明一实施例中，所述针对所述距离最近的显著性区域，确定色块序列信息，可以包括：

针对所述距离最近的显著性区域，确定多个颜色数据；对所述多个颜色数据进行聚类，得到多个色块信息及其色块占比；根据所述多个色块信息及其色块占比，生成色块序列信息。

在具体实现中，可以提取各视频帧中多个显著性区域的图像，获取每个显著性区域图像的颜色数据，对每个显著性区域图像的颜色数据进行聚类，可以得到对应的色块序列，色块序列为聚类后按照占比排序的色块信息。

例如，视频帧具有三个显著性区域A1、A2、A3，经聚类处理后，A1的聚类结果为：红色30％，黄色25％，蓝色18％，绿色12％……，如取TOP3生成色块序列的话，即为(红色30％，黄色25％，蓝色18％)。

在获得视频边框图像后，可以先进行模糊化，然后按照四象限位置划分为左上、右上、左下、右下四块，即边框图像区域，然后获取对应视频帧图像中距离四块边框最近的显著性区域。根据最近的显著性区域的色块序列，对该部分视频边框图像进行色彩渲染。

如图3c，视频帧图像中具有6个显著性区域，可以确定距离左上边框图像最近的为显著性区域①，距离左下边框图像最近的为显著性区域②，距离右上边框图像最近的为显著性区域⑤，距离右下边框图像最近的为显著性区域⑥。以左上边框图像为例，按照显著性区域①的色块序列(红色30％，黄色25％，蓝色18％)，对左上边框图像进行色彩渲染。以此类推，完成各块边框的渲染。

在进行色彩渲染后，可以将完成处理的每一个视频边框图像作为对应镜头的背景填充，如视频数据具有20个镜头，则有20个渲染完毕的视频边框图像，根据镜头切换，视频边框图像随之变化，完成视频播放展示。

在本发明实施例中，通过获取视频数据，并从所述视频数据中，确定一个或多个视频片段，针对每个视频片段，确定一关键帧，从所述关键帧中，确定一个或多个显著性区域，结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，实现了根据视频内容生成视频边框，使得视频边框呈现个性化。

参照图4，示出了本发明一实施例提供的另一种基于视频数据的处理方法的步骤流程图，具体可以包括如下步骤：

步骤401，获取视频数据，并从所述视频数据中，确定一个或多个视频片段。

在用户将视频数据上传至服务器后，服务器可以从视频数据提取所有视频帧，根据其中相邻视频帧的连续性，对视频数据进行分割，获取视频数据的所有镜头信息，进而可以根据镜头信息，对视频数据进行镜头划分，每个镜头可以对应一个视频片段，每个视频片段可以包括多个视频帧。

步骤402，针对每个视频片段，确定一关键帧。

在组成每一个镜头的视频帧中，选取一个视频帧，该视频帧可以选择其中的关键帧，实现在每一镜头中选取一个视频帧。

例如，对视频数据进行镜头划分，得到20个镜头，在每一个镜头的视频帧集合中选取一个关键帧，获得20个关键帧。

步骤403，从所述关键帧中，确定一个或多个显著性区域。

对于关键帧，可以将帧的视频特征输入训练好的显著性检测模型，进而可以输出关键帧的显著图数据，显著性检测模型可以使用采用以下模型：LeNet、FCN、VGG-Net、RCNN、fast-RCNN、SPP等。

在具体实现中，显著图数据可以包括每个像素点通过模型预测到的显著值，显著值越大，表示该像素点越显著。在获得显著图数据后，可以基于显著图数据中的显著值，确定关键帧中的显著性区域，如图3a，从关键帧中确定显著性区域①、显著性区域②、显著性区域③。

例如，将20个关键帧的视频特征，分别输入训练好的显著性检测模型，得到20个关键帧的显著性区域。

步骤404，结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

在具体实现中，可以通过视频标签识别模块，自动给视频数据打类型标签。在给视频打标签时，可以利用视频文本标题、视频封面图和视频内容等多模信息进行分析，确定视频标签。视频标签可以包括新闻类、搞笑类、美食类、旅游类、游戏类、宠物类、美妆类、家居类、健身类、影视类等。

在获得视频标签后，考虑到不同视频类型的特点，可以确定视频标签的视频类别，进而可以结合视频类别和显著性区域的位置，确定视频边框图像，获得的视频边框图像均来源自对应的视频帧，为视频帧的一部分，主要通过视频标签以及显著性区域位置来截取部分区域图像。

作为一示例，根据视频标签可分为三大类别：

A类(视频内容无较多重点)：新闻类、搞笑类。

B类(视频内容有视线重点)：美食类、宠物类、健身类、美妆类。

C类(视频内容有多个重点)：旅游类、游戏类、影视类、家居类。

步骤405，从所述视频边框图像中，确定多个边框图像区域。

步骤406，针对每个边框图像区域，确定距离最近的显著性区域。

步骤407，结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

在具体实现中，可以提取各视频帧中多个显著性区域的图像，获取每个显著性区域图像的颜色数据，对每个显著性区域图像的颜色数据进行聚类，可以得到对应的色块序列，色块序列为聚类后按照占比排序的色块信息。

例如，视频帧具有三个显著性区域A1、A2、A3，经聚类处理后，A1的聚类结果为：红色30％，黄色25％，蓝色18％，绿色12％……，如取TOP3生成色块序列的话，即为(红色30％，黄色25％，蓝色18％)。

在获得视频边框图像后，可以先进行模糊化，然后按照四象限位置划分为左上、右上、左下、右下四块，即边框图像区域，然后获取对应视频帧图像中距离四块边框最近的显著性区域。根据最近的显著性区域的色块序列，对该部分视频边框图像进行色彩渲染。

如图3c，视频帧图像中具有6个显著性区域，可以确定距离左上边框图像最近的为显著性区域①，距离左下边框图像最近的为显著性区域②，距离右上边框图像最近的为显著性区域⑤，距离右下边框图像最近的为显著性区域⑥。以左上边框图像为例，按照显著性区域①的色块序列(红色30％，黄色25％，蓝色18％)，对左上边框图像进行色彩渲染。以此类推，完成各块边框的渲染。

在进行色彩渲染后，可以将完成处理的每一个视频边框图像作为对应镜头的背景填充，如视频数据具有20个镜头，则有20个渲染完毕的视频边框图像，根据镜头切换，视频边框图像随之变化，完成视频播放展示。

参照图5，示出了本发明一实施例提供的另一种基于视频数据的处理方法的步骤流程图，具体可以包括如下步骤：

步骤501，获取视频数据，并从所述视频数据中，确定一个或多个视频片段。

在用户将视频数据上传至服务器后，服务器可以从视频数据提取所有视频帧，根据其中相邻视频帧的连续性，对视频数据进行分割，获取视频数据的所有镜头信息，进而可以根据镜头信息，对视频数据进行镜头划分，每个镜头可以对应一个视频片段，每个视频片段可以包括多个视频帧。

步骤502，针对每个视频片段，确定一关键帧。

在组成每一个镜头的视频帧中，选取一个视频帧，该视频帧可以选择其中的关键帧，实现在每一镜头中选取一个视频帧。

例如，对视频数据进行镜头划分，得到20个镜头，在每一个镜头的视频帧集合中选取一个关键帧，获得20个关键帧。

步骤503，从所述关键帧中，确定一个或多个显著性区域。

对于关键帧，可以将帧的视频特征输入训练好的显著性检测模型，进而可以输出关键帧的显著图数据，显著性检测模型可以使用采用以下模型：LeNet、FCN、VGG-Net、RCNN、fast-RCNN、SPP等。

在具体实现中，显著图数据可以包括每个像素点通过模型预测到的显著值，显著值越大，表示该像素点越显著。在获得显著图数据后，可以基于显著图数据中的显著值，确定关键帧中的显著性区域，如图3a，从关键帧中确定显著性区域①、显著性区域②、显著性区域③。

例如，将20个关键帧的视频特征，分别输入训练好的显著性检测模型，得到20个关键帧的显著性区域。

步骤504，根据所述视频数据的视频标签，从所述一个或多个显著性区域中，确定目标显著性区域，并确定所述目标显著性区域的布置方式。

步骤505，按照所述布置方式，对所述目标显著性区域进行布置，得到针对所述视频数据中每个视频片段的视频边框图像。

在具体实现中，可以根据不同的视频标签，从一个或多个显著性区域中，选取目标显著性区域(可以为一个或多个)，并可以根据不同的视频标签，确定目标显著性区域的布置方式，然后按照布置方式，对所述目标显著性区域进行布置，得到针对当前视频片段的视频边框图像。

步骤506，从所述视频边框图像中，确定多个边框图像区域。

步骤507，针对每个边框图像区域，确定距离最近的显著性区域。

步骤508，结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

在具体实现中，可以提取各视频帧中多个显著性区域的图像，获取每个显著性区域图像的颜色数据，对每个显著性区域图像的颜色数据进行聚类，可以得到对应的色块序列，色块序列为聚类后按照占比排序的色块信息。

例如，视频帧具有三个显著性区域A1、A2、A3，经聚类处理后，A1的聚类结果为：红色30％，黄色25％，蓝色18％，绿色12％……，如取TOP3生成色块序列的话，即为(红色30％，黄色25％，蓝色18％)。

在获得视频边框图像后，可以先进行模糊化，然后按照四象限位置划分为左上、右上、左下、右下四块，即边框图像区域，然后获取对应视频帧图像中距离四块边框最近的显著性区域。根据最近的显著性区域的色块序列，对该部分视频边框图像进行色彩渲染。

如图3c，视频帧图像中具有6个显著性区域，可以确定距离左上边框图像最近的为显著性区域①，距离左下边框图像最近的为显著性区域②，距离右上边框图像最近的为显著性区域⑤，距离右下边框图像最近的为显著性区域⑥。以左上边框图像为例，按照显著性区域①的色块序列(红色30％，黄色25％，蓝色18％)，对左上边框图像进行色彩渲染。以此类推，完成各块边框的渲染。

在进行色彩渲染后，可以将完成处理的每一个视频边框图像作为对应镜头的背景填充，如视频数据具有20个镜头，则有20个渲染完毕的视频边框图像，根据镜头切换，视频边框图像随之变化，完成视频播放展示。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明一实施例提供的一种基于视频数据的处理装置的结构示意图，具体可以包括如下模块：

视频片段确定模块601，用于获取视频数据，并从所述视频数据中，确定一个或多个视频片段。

关键帧确定模块602，用于针对每个视频片段，确定一关键帧。

显著性区域确定模块603，用于从所述关键帧中，确定一个或多个显著性区域。

视频边框图像生成模块604，用于结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

在本发明一实施例中，还包括：

边框图像区域确定模块，用于从所述视频边框图像中，确定多个边框图像区域。

距离最近显著性区域确定模块，用于针对每个边框图像区域，确定距离最近的显著性区域。

边框图像区域渲染模块，用于结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

在本发明一实施例中，所述边框图像区域渲染模块，包括：

色块序列信息确定子模块，用于针对所述距离最近的显著性区域，确定色块序列信息；其中，所述色块序列信息包括所述显著性区域中按照色块占比排序的色块信息。

根据色块序列信息渲染子模块，用于根据所述色块序列信息，对所述边框图像区域进行色彩渲染。

在本发明一实施例中，所述色块序列信息确定子模块，包括：

颜色数据确定单元，用于针对所述距离最近的显著性区域，确定多个颜色数据。

色块信息及其色块占比得到单元，用于对所述多个颜色数据进行聚类，得到多个色块信息及其色块占比。

色块序列信息生成单元，用于根据所述多个色块信息及其色块占比，生成色块序列信息。

在本发明一实施例中，所述视频边框图像生成模块604，包括：

目标显著性区域及其布置方式确定模块，用于根据所述视频数据的视频标签，从所述一个或多个显著性区域中，确定目标显著性区域，并确定所述目标显著性区域的布置方式。

目标显著性区域布置模块，用于按照所述布置方式，对所述目标显著性区域进行布置，得到针对所述视频数据中每个视频片段的视频边框图像。

在本发明一实施例中，所述目标显著性区域为面积最大的显著性区域，包括以下任一个：

面积最大的显著性区域、面积大小排序在前的N个显著性区域；

其中，N为大于1的正整数。

在本发明一实施例中，所述目标显著性区域的布置方式包括以下任一种：

按照边框宽度重复排列一周；

将所述目标显著性区域组成环状进行排列。

在本发明实施例中，通过获取视频数据，并从所述视频数据中，确定一个或多个视频片段，针对每个视频片段，确定一关键帧，从所述关键帧中，确定一个或多个显著性区域，结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，实现了根据视频内容生成视频边框，使得视频边框呈现个性化。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上基于视频数据的处理方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上基于视频数据的处理方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种基于视频数据的处理方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于视频数据的处理方法，其特征在于，所述方法包括：

获取视频数据，并从所述视频数据中，确定一个或多个视频片段；

针对每个视频片段，确定一关键帧；

从所述关键帧中，确定一个或多个显著性区域；

结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

从所述视频边框图像中，确定多个边框图像区域；

针对每个边框图像区域，确定距离最近的显著性区域；

结合所述距离最近的显著性区域，对所述边框图像区域进行渲染。

3.根据权利要求2所述的方法，其特征在于，所述结合所述距离最近的显著性区域，对所述边框图像区域进行渲染，包括：

针对所述距离最近的显著性区域，确定色块序列信息；其中，所述色块序列信息包括所述显著性区域中按照色块占比排序的色块信息；

根据所述色块序列信息，对所述边框图像区域进行色彩渲染。

4.根据权利要求3所述的方法，其特征在于，所述针对所述距离最近的显著性区域，确定色块序列信息，包括：

针对所述距离最近的显著性区域，确定多个颜色数据；

对所述多个颜色数据进行聚类，得到多个色块信息及其色块占比；

根据所述多个色块信息及其色块占比，生成色块序列信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像，包括：

根据所述视频数据的视频标签，从所述一个或多个显著性区域中，确定目标显著性区域，并确定所述目标显著性区域的布置方式；

按照所述布置方式，对所述目标显著性区域进行布置，得到针对所述视频数据中每个视频片段的视频边框图像。

6.根据权利要求5所述的方法，其特征在于，所述目标显著性区域为面积最大的显著性区域，包括以下任一个：

面积最大的显著性区域、面积大小排序在前的N个显著性区域；

其中，N为大于1的正整数。

7.根据权利要求5所述的方法，其特征在于，所述目标显著性区域的布置方式包括以下任一种：

按照边框宽度重复排列一周；

将所述目标显著性区域组成环状进行排列。

8.一种基于视频数据的处理装置，其特征在于，所述装置包括：

视频片段确定模块，用于获取视频数据，并从所述视频数据中，确定一个或多个视频片段；

关键帧确定模块，用于针对每个视频片段，确定一关键帧；

显著性区域确定模块，用于从所述关键帧中，确定一个或多个显著性区域；

视频边框图像生成模块，用于结合所述视频数据的视频标签和所述一个或多个显著性区域，生成针对所述视频数据中每个视频片段的视频边框图像。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于视频数据的处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于视频数据的处理方法。

Images