CN108875619A - 视频处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。上述方法包括：对视频中的图像进行场景识别，得到视频中图像对应的场景标签，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像，根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。上述方法中，通过视频的分类标签确定目标图像，并根据目标图像的颜色直方图确定作为视频缩略图的目标图像，可以得到最能体现视频内容的缩略图。

Description

视频处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着计算技术的发展，视频成为人们日常生活中的重要娱乐方式之一。人们可以通过电子设备拍摄视频并将视频上传到视频网站或社交网站上，也可以从视频网站或社交网站上观看视频。

网站在展示视频时，通常将视频的第一帧或最后一帧图像作为视频的缩略图，或者将人为选择的图片作为视频的缩略图，存在缩略图无法体现视频内容的问题。

发明内容

本申请实施例提供一种视频处理方法和装置、电子设备、计算机可读存储介质，可以生成体现视频内容的缩略图。

一种视频处理方法，包括：

对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

一种视频处理装置，包括：

场景识别模块，用于对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

图像获取模块，用于统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

缩略图确定模块，用于根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理执行如下步骤：

对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

上述视频处理方法和装置、电子设备、计算机可读存储介质，通过对视频中的图像进行场景识别，得到视频中图像对应的场景标签，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像，根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。由于根据视频的分类标签和颜色直方图确定视频的缩略图，可以获得最能体现视频内容的缩略图。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构示意图；

图2为一个实施例中视频处理方法的流程图；

图3为一个实施例中神经网络的架构示意图；

图4为另一个实施例中视频处理方法的流程图；

图5为一个实施例中建立目标图像颜色直方图的流程图；

图6为另一个实施例中建立目标图像颜色直方图的流程图；

图7为一个实施例中视频处理装置的结构框图；

图8为一个实施例中信息处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

图2为一个实施例中视频处理方法的流程图。本实施例中的视频处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，视频处理方法包括步骤202至步骤206。其中：

步骤202，对视频中的图像进行场景识别，得到视频中图像对应的场景标签。

视频是指电子设备上的任意视频。具体地，视频可以是电子设备通过摄像头采集的视频，也可以是存储在电子设备本地的视频，还可以是电子设备从网络下载的视频等。视频是由多帧静态图像组成的连续画面。电子设备对视频中的图像进行场景识别，具体地，电子设备可以随机获取视频的至少一帧图像进行场景识别，也可以根据预设条件获取视频中图像进行场景识别。例如，电子设备可以每隔预设帧获取一帧图像进行场景识别，也可以每隔预设时间间隔获取一帧图像进行场景识别等不限于此。

电子设备对视频中的图像进行场景识别，具体地，可以根据VGG(Visual GeometryGroup，视觉几何组)、CNN(Convolutional Neural Network，卷积神经网络)、决策树(Decision Tree)、随机森林(Random forest)等深度学习算法训练场景识别模型，根据场景识别模型对图像进行场景识别。图像的场景可以是风景、海滩、蓝天、绿草、雪景、烟火、聚光灯、文本、人像、婴儿、猫、狗、美食等。图像的场景标签是指图像的场景分类标记。具体地，可以将图像的场景识别结果作为图像的场景标签。例如，当图像的场景识别结果为蓝天时，则图像的场景标签为蓝天。电子设备可以对视频中多帧图像进行场景识别，得到视频中各帧图像对应的场景标签。

步骤204，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像。

场景标签的出现次数是指视频中包含该场景标签的图像数量。视频的分类标签是指根据视频中出现的场景对视频进行标记。具体地，分类标签可以是1个，也可以是多个如2个、3个、4个等不限于此。电子设备根据场景标签的出现次数确定视频的分类标签，具体地，电子设备可以将出现次数最多的场景标签作为视频的分类标签。例如，当视频中美食场景标签的出现次数为20次、婴儿场景标签的出现次数为50次、狗场景标签的出现次数为10次，则电子设备可以将出现次数最多的1个场景标签即婴儿作为视频的分类标签，获取婴儿对应的图像作为目标图像；电子设备也可以将出现次数最多的两个场景标签即婴儿和美食作为视频的分类标签，获取同时包含婴儿和美食两个场景标签的图像作为目标图像。

电子设备可以对视频中各帧图像的场景标签进行统计，获取不同场景标签在视频中的出现次数，根据不同场景标签的出现次数确定视频的分类标签，并获取与该分类标签对应的图像作为目标图像。

步骤206，根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。

颜色直方图是指根据目标图像的颜色分布情况构建的图形。电子设备根据目标图像建立该目标图像对应的颜色直方图，具体地，电子设备可以提取目标图像中各个像素点的色彩参数，根据像素点的色彩参数确定像素点的颜色，统计目标图像中各种颜色的像素点个数，根据颜色及对应的像素点个数建立颜色直方图；也可以根据颜色对应的像素点个数与目标图像中所有像素点个数的比值得到该颜色的出现频率，根据目标图像中的颜色及对应的出现频率建立颜色直方图。像素点的色彩参数可以采用RGB(Red、Green、Blue，红、绿、蓝)色彩空间来确定，也可以采用HSB(hue、saturation、brightness，色相、饱和度、明度)色彩空间确定，还可以采用HSL(hue、saturation、lightness，色相、饱和度、亮度)色彩空间来确定等。

电子设备根据目标图像建立颜色直方图，可以由颜色直方图确定视频中各目标图像的颜色分布情况，从而确定作为视频缩略图的目标图像。具体地，电子设备可以将颜色最丰富的目标图像作为视频的缩略图。在一个实施例中，电子设备还可以根据视频的分类标签确定缩略图的预期颜色直方图，将视频中目标图像的颜色直方图与预期颜色直方图最匹配的目标图像作为视频的缩略图。

本申请实施例提供的视频处理方法，可以对视频中的图像进行场景识别，得到视频中图像对应的场景标签，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。由于根据视频的分类标签和颜色直方图确定视频的缩略图，可以获得最能体现视频内容的缩略图。

在一个实施例中，上述视频处理方法还包括：对视频中的图像进行场景识别，得到视频中图像对应的多个场景标签。

电子设备可以训练可以输出多个场景标签的神经网络。具体地，在神经网络训练过程中，可以将包含多个训练标签的训练图像输入到神经网络中，神经网络对训练图像进行特征提取，对提取的图像特征进行检测得到图像中各个特征对应的预测置信度，根据特征的预测置信度和真实置信度得到损失函数，根据损失函数对神经网络的参数进行调整，使得训练的神经网络后续可同时识别图像的多个特征对应的场景标签，从而得到输出多个场景标签的神经网络。置信度是被测量参数的测量值的可信程度。真实置信度表示在该训练图像中预先标注的特征所属指定场景类别的置信度。

电子设备还可以训练可同时实现场景分类和目标检测的神经网络。具体地，在神经网络训练过程中，可以将包含有至少一个背景训练目标和前景训练目标的训练图像输入到神经网络中，神经网络根据背景训练目标和前景训练目标进行特征提取，对背景训练目标进行检测得到第一预测置信度，根据第一预测置信度和第一真实置信度得到第一损失函数，对前景训练目标进行检测得到第二预测置信度，根据第二预测置信度和第二真实置信度得到第二损失函数，根据第一损失函数和第二损失函数得到目标损失函数，对神经网络的参数进行调整，使得训练的神经网络后续可同时识别出场景分类和目标分类，将场景分类和目标分类作为图像的场景标签，从而得到可以同时对图像的前景区域和背景区域进行检测的神经网络。置信度是被测量参数的量值的可信程度。该第一真实置信度表示在该训练图像中预先标注的背景图像所属指定图像类别的置信度。第二真实置信度表示在该训练图像中预先标注的前景目标所属指定目标类别的置信度。

在一个实施例中，上述神经网络包括至少一个输入层、基础网络层、分类网络层、目标检测网络层和两个输出层，该两个输出层包括与该分类网络层级联的第一输出层和与该目标检测网络层级联的第二输出层；其中，在训练阶段，该输入层用于接收该训练图像，该第一输出层用于输出该分类网络层检测的背景图像所属指定场景类别的第一预测置信度；该第二输出层用于输出该目标检测网络层检测的每个预选的默认边界框所属相对于指定目标所对应的真实边界框的偏移量参数和所属指定目标类别的第二预测置信度。图3为一个实施例中神经网络的架构示意图。如图3所示，神经网络的输入层接收带有图像类别标签的训练图像，通过基础网络(如VGG网络)进行特征提取，并将提取的图像特征输出给特征层，由该特征层对图像进行类别检测得到第一损失函数，对前景目标根据图像特征进行目标检测得到第二损失函数，对前景目标根据前景目标进行位置检测得到位置损失函数，将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。神经网络包括数据输入层、基础网络层、场景分类网络层、目标检测网络层和两个输出层。数据输入层用于接收原始图像数据。基础网络层对输入层输入的图像进行预处理以及特征提取。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0，目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。图像数据进行特征提取，例如利用VGG16的前5层卷积层对原始图像进行特征提取，再将提取的特征输入到分类网络层和目标检测网络层。在分类网络层可采用如Mobilenet网络的深度卷积、点卷积对特征进行检测，然后输入到输出层得到图像场景分类所属指定图像类别的第一预测置信度，然后根据第一预测置信度与第一真实置信度求差得到第一损失函数；在目标检测网络层可采用如SSD网络，在VGG16的前5层的卷积层后级联卷积特征层，在卷积特征层使用一组卷积滤波器来预测指定目标类别所对应的预选默认边界框相对于真实边界框的偏移量参数和指定目标类别所对应的第二预测置信度。感兴趣区域为预选默认边界框的区域。根据偏移量参数构建位置损失函数，根据第二预测置信度与第二真实置信度的差异得到第二损失函数。将第一损失函数、第二损失函数和位置损失函数加权求和得到目标损失函数，根据目标损失函数采用反向传播算法调整神经网络的参数，对神经网络进行训练。

采用训练好的神经网络对图像进行识别时，神经网络输入层接收输入的图像，提取图像的特征，输入到分类网络层进行图像场景识别，在第一输出层通过softmax分类器输出背景图像所属各个指定场景类别的置信度，选取置信度最高且超过置信度阈值的图像场景作为该图像的背景图像所属的场景分类标签。将提取的图像的特征输入到目标检测网络层进行前景目标检测，在第二输出层通过softmax分类器输出前景目标所属指定目标类别的置信度及对应的位置，选取置信度最高且超过置信度阈值的目标类别作为该图像中前景目标所属的目标分类标签，并输出该目标分类标签对应的位置。将得到的场景分类标签和目标分类标签作为图像的场景标签。

如图4所示，在一个实施例中，提供的视频处理方法包括步骤402至步骤408。其中：

步骤402，提取视频中的每一帧图像。

提取视频中的每一帧图像是指提取视频中全部帧图像。例如，在一个视频帧率为30帧每秒的10秒视频中，电子设备可以提取该视频的全部帧图像即300帧图像。

步骤404，对视频中的每一帧图像进行场景识别，得到视频中每一帧图像对应的场景标签。

电子设备将提取的视频中的每一帧图像输入到神经网络中，根据神经网络的输出结果确定每一帧图像对应的场景标签。具体地，每一帧图像对应的场景标签可以是1个，也可以是多个如2个、3个、4个等不限于此。

步骤406，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像。

步骤408，根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。

通过提取视频的每一帧图像进行场景识别，得到视频中每一帧图像对应的场景标签，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，将分类标签对应的图像作为目标图像，建立目标图像的颜色直方图，根据目标图像的颜色直方图确定作为视频缩略图的目标图像。由于可以根据视频中的每一帧图像的场景标签确定视频的分类标签，根据分类标签对应的目标图像的颜色直方图确定作为视频缩略图的目标图像，可以获取最能体现视频内容的缩略图。

在一个实施例中，提供的视频处理方法中统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像的过程，包括：将出现次数最高的场景标签作为视频的分类标签，并获取分类标签对应的图像作为目标图像。

具体地，电子设备可以统计视频中各场景标签的出现次数，将出现次数最高的场景标签作为视频的分类标签。例如，当电子设备中婴儿场景标签的统计数为125、人场景类标签的统计数为100，美食场景标签的统计数为15时，则可以将统计数最高的婴儿分类标签作为该视频的分类标签，电子设备将婴儿分类标签对应的图像作为目标图像，并根据目标图像建立颜色直方图，根据颜色直方图确定视频的缩略图，则得到的视频缩略图为包含婴儿分类标签的图像。

通过将出现次数最高的场景标签作为视频的分类标签，并获取分类标签对应的图像作为目标图像，根据目标图像建立颜色直方图从而确定视频的缩略图，使得得到的缩略图为包含视频分类标签的图像，可以准确地体现视频的视频内容。

在一个实施例中，提供的视频处理方法还包括：当视频中人像标签的出现次数超过预设次数时，统计视频中除人像标签外的各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像中包含人像标签的图像作为目标图像。

具体地，电子设备在视频中人像标签的出现次数超过预设次数时，对视频中人像标签外的其他场景标签的出现次数进行统计，从而根据其他场景标签的出现次数确定视频的分类标签。例如，当预设次数为50次，若视频中人像标签的出现次数为100次，海滩场景标签的出现次数为80次，绿草场景标签的出现次数为30次，则根据除人像标签外的其他场景标签的出现次数可以确定视频的分类标签为海滩分类标签，此时电子设备可以获取海滩分类标签对应的图像中包含人像标签的图像作为目标图像，从目标图像中筛选作为视频缩略图的图像。预设次数可以根据实际视频的需求来确定。具体地，预设次数可以根据视频的时长来确定，时长越长，预设次数越大，时长越小，预设次数越小；预设次数也可以根据视频的帧数来确定等不限于此。

在日常生活中，人像是人们拍摄视频中的一个重要场景，将同时存在人像场景与其他场景的图像作为目标图像，从中筛选作为视频缩略图的目标图像，更能体现视频的内容，从而吸引其他人观看视频。

如图5所示，在一个实施例中，提供的视频处理方法中根据目标图像建立颜色直方图的步骤包括步骤502至步骤504。其中：

步骤502，确定目标图像中各个像素点的颜色。

目标图像是由多个像素点组成的。电子设备可以预存颜色在色彩空间中的色彩参数范围，根据像素点的色彩参数确定像素点的颜色。具体地，电子设备可以采用RGB色彩空间来确定像素点的颜色，也可以采用HSB色彩空间确定像素点的颜色，还可以采用HSL色彩空间来确定像素点的颜色等。

在一个实施例中，电子设备可以采用HSB色彩空间来确定像素点的颜色，电子设备可以预存各种颜色在HSB色彩空间中的色彩参数范围，如黄色的参数范围为30<H<90，0.3<S<1，50<B<230、绿色的参数范围为：90<H<180，0.3<S<1，50<B<230、蓝色的参数范围为180<H<270，0.3<S<1，50<B<230等，则电子设备可以根据像素点的色彩参数确定像素点对应的颜色。例如，当目标图像中的A像素点的HSB色彩参数为H＝95、S＝0.2、B＝60时，则像素点A的色彩参数在绿色的色彩参数范围内，A像素点的颜色为绿色。

电子设备可以获取目标图像中像素点的色彩参数，根据预存的色彩参数范围对应的颜色确定像素点的颜色。

步骤504，根据目标图像中各个颜色的出现频率建立颜色直方图。

目标图像中各个颜色的出现频率是指在目标图像中，颜色相同的像素点个数与目标图像全部像素点个数的比值。具体地，电子设备以颜色作为颜色直方图的横坐标，颜色的出现频率作为颜色直方图的纵坐标建立颜色直方图，则电子设备根据颜色直方图可以得出该目标图像中颜色的分布情况，从而可以从不同颜色直方图中选择颜色最丰富的颜色直方图对应的目标图像作为视频的缩略图。

如图6所示，在一个实施例中，提供的视频处理方法还包括步骤602至步骤606。其中：

步骤602，当颜色的出现频率大于阈值时，根据出现频率大于阈值的颜色建立颜色直方图。

电子设备可以预设阈值，当目标图像中颜色的出现频率大于阈值时，则根据出现频率大于阈值的颜色建立颜色直方图，过滤目标图像中出现频率小于阈值的颜色。阈值可以根据实际需求来设定。具体地，阈值可以为5％、10％、15％等不限于此。

步骤604，检测颜色直方图的离散程度。

颜色直方图的离散程度是指颜色直方图中，颜色出现频率之间的差异程度。离散程度越小，则目标图像中各个颜色出现频率的差别越小，则目标图像中各个颜色分布面积越均匀；离散程度越大，则目标图像中各个颜色出现频率的差别越大，则目标图像中各个颜色分布面积差别较大，目标图像中出现大面积颜色相同的区域。电子设备可以计算颜色直方图的出现频率的极差、平均差、标准差或方差等多种方式对颜色直方图的离散程度进行检测。通过对颜色直方图的离散程度进行检测，电子设备可以得到视频中各个目标图像的颜色直方图的离散程度。

步骤606，将离散程度最小的颜色直方图对应的目标图像作为视频的缩略图。

颜色直方图的离散程度最小，则该颜色直方图对应的目标图像中相比其他目标图像各个颜色分布面积更均匀，即颜色更加丰富。电子设备将离散程度最小的颜色直方图对应的目标图像作为视频的缩略图，则得到的视频的缩略图为该视频中包含该视频的分类标签且颜色分布最丰富的图像。

在一个实施例中，提供了一种视频处理方法，实现该方法的具体步骤如下所述：

首先，电子设备对视频中的图像进行场景识别，得到视频中图像对应的场景标签。视频是由多帧静态图像组成的连续画面。电子设备对视频中的图像进行场景识别，具体地，电子设备可以随机获取视频的至少一帧图像进行场景识别，也可以根据预设条件获取视频中图像进行场景识别。电子设备对视频中的图像进行场景识别，具体地，可以根据VGG、CNN、决策树、随机森林等深度学习算法训练场景识别模型，根据场景识别模型对图像进行场景识别。

可选地，电子设备对视频中的图像进行场景识别，得到视频中图像对应的多个场景标签。电子设备可以训练可以输出多个场景标签的神经网络，具体地可以训练可同时实现场景分类和目标检测的神经网络。采用训练好的神经网络对图像进行识别时，神经网络输入层接收输入的图像，提取图像的特征，输入到分类网络层进行图像场景识别，在输出层得到图像特征所属指定分类的置信度及对应的位置，将置信度最高的目标类别作为图像特征所属的分类，将得到特征分类作为图像的场景标签。

可选地，电子设备提取视频中的每一帧图像，对视频中的每一帧图像进行场景识别，得到视频中每一帧图像对应的场景标签，统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像，根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。

接着，电子设备统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像。场景标签的出现次数是指视频中包含该场景标签的图像数量。电子设备根据场景标签的出现次数确定视频的分类标签，具体地，电子设备可以将出现次数最多的场景标签作为视频的分类标签。分类标签可以是1个，也可以是多个如2个、3个、4个等不限于此。

可选地，电子设备将出现次数最高的场景标签作为视频的分类标签，并获取分类标签对应的图像作为目标图像。通过将出现次数最高的场景标签作为视频的分类标签，并获取分类标签对应的图像作为目标图像，根据目标图像建立颜色直方图从而确定视频的缩略图，使得得到的缩略图为包含视频分类标签的图像，可以准确地体现视频的视频内容。

可选地，当视频中人像标签的出现次数超过预设次数时，电子设备统计视频中除人像标签外的各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像中包含人像标签的图像作为目标图像，从目标图像中筛选作为视频缩略图的图像，使得缩略图更能体现视频的内容，从而吸引其他人观看视频。

接着，电子设备根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。电子设备根据目标图像建立该目标图像对应的颜色直方图，具体地，电子设备可以提取目标图像中各个像素点的色彩参数，根据像素点的色彩参数确定像素点的颜色，统计目标图像中各种颜色的像素点个数，根据颜色及对应的像素点个数建立颜色直方图。电子设备根据目标图像建立颜色直方图，可以由颜色直方图确定视频中各目标图像的颜色分布情况，从而确定作为视频缩略图的目标图像，将颜色最丰富的目标图像作为视频的缩略图。

可选地，电子设备确定目标图像中各个像素点的颜色，根据目标图像中各个颜色的出现频率建立颜色直方图。电子设备可以预存颜色在色彩空间中的色彩参数范围，根据像素点的色彩参数确定像素点的颜色。目标图像中各个颜色的出现频率是指在目标图像中，颜色相同的像素点个数与目标图像全部像素点个数的比值。具体地，电子设备以颜色作为颜色直方图的横坐标，颜色的出现频率作为颜色直方图的纵坐标建立颜色直方图，则电子设备根据颜色直方图可以得出该目标图像中颜色的分布情况。

可选地，当颜色的出现频率大于阈值时，电子设备根据出现频率大于阈值的颜色建立颜色直方图，检测颜色直方图的离散程度，将离散程度最小的颜色直方图对应的目标图像作为视频的缩略图。电子设备可以计算颜色直方图的出现频率的极差、平均差、标准差或方差等多种方式对颜色直方图的离散程度进行检测。电子设备将离散程度最小的颜色直方图对应的目标图像作为视频的缩略图，则得到的视频的缩略图为该视频中包含该视频的分类标签且颜色分布最丰富的图像。

应该理解的是，虽然图2、4、5、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4、5、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的视频处理装置的结构框图。如图7所示，一种视频处理装置，包括场景识别模块702、图像获取模块704、缩略图确定模块706。其中：

场景识别模块702，用于对视频中的图像进行场景识别，得到视频中图像对应的场景标签。

图像获取模块704，用于统计视频中各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像作为目标图像。

缩略图确定模块706，用于根据目标图像建立颜色直方图，根据颜色直方图确定作为视频的缩略图的目标图像。

在一个实施例中，场景识别模块702还可以用于对视频中的图像进行场景识别，得到视频中图像对应的多个场景标签。

在一个实施例中，场景识别模块702还可以用于提取视频中的每一帧图像，对视频中的每一帧图像进行场景识别，得到视频中每一帧图像对应的场景标签。

在一个实施例中，图像获取模块704还可以用于将出现次数最高的场景标签作为视频的分类标签，并获取分类标签对应的图像作为目标图像。

在一个实施例中，图像获取模块704还可以用于当视频中人像标签的出现次数超过预设次数时，统计视频中除人像标签外的各场景标签的出现次数，根据场景标签的出现次数确定视频的分类标签，并获取分类标签对应的图像中包含人像标签的图像作为目标图像。

在一个实施例中，上述视频处理装置中还可以包括直方图建立模块708，直方图模块708用于确定目标图像中各个像素点的颜色，根据目标图像中各个颜色的出现频率建立颜色直方图。

在一个实施例中，缩略图确定模块706还可以用于当颜色的出现频率大于阈值时，根据出现频率大于阈值的颜色建立颜色直方图，检测颜色直方图的标准差，将标准差最小的颜色直方图对应的目标图像作为视频的缩略图。

上述视频处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频处理装置按照需要划分为不同的模块，以完成上述视频处理装置的全部或部分功能。

关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的视频处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频处理方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

电子设备根据上述图像处理技术可以实现本申请实施例中所描述的视频处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

对视频中的图像进行场景识别，得到所述视频中图像对应的多个场景标签。

3.根据权利要求1所述的方法，其特征在于，所述对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签，包括：

提取视频中的每一帧图像；

对所述视频中的每一帧图像进行场景识别，得到所述视频中每一帧图像对应的场景标签。

4.根据权利要求1所述的方法，其特征在于，所述统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像，包括：

将出现次数最高的场景标签作为所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像。

5.根据权利要求1所述的方法，其特征在于，所述方法，包括：

当所述视频中人像标签的出现次数超过预设次数时，统计所述视频中除人像标签外的各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像中包含人像标签的图像作为目标图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像建立颜色直方图，包括：

确定所述目标图像中各个像素点的颜色；

根据所述目标图像中各个颜色的出现频率建立颜色直方图。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当颜色的出现频率大于阈值时，根据所述出现频率大于阈值的颜色建立颜色直方图；

检测所述颜色直方图的离散程度；

将离散程度最小的颜色直方图对应的目标图像作为所述视频的缩略图。

8.一种视频处理装置，其特征在于，包括：

场景识别模块，用于对视频中的图像进行场景识别，得到所述视频中图像对应的场景标签；

图像获取模块，用于统计所述视频中各场景标签的出现次数，根据所述场景标签的出现次数确定所述视频的分类标签，并获取所述分类标签对应的图像作为目标图像；

缩略图确定模块，用于根据所述目标图像建立颜色直方图，根据所述颜色直方图确定作为所述视频的缩略图的目标图像。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的视频处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。