CN109635736A - 一种视频头图选择方法及系统 - Google Patents

Abstract

本申请公开了一种视频头图选择方法及系统，方法包括：对目标视频进行解析，获取目标视频的像素值信息，基于目标视频的像素值信息对目标视频中的低质量帧进行过滤；逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。本申请能够基于图像处理和人工智能算法有效且快速的选择出视频的头图，提升了用户体验。

Description

一种视频头图选择方法及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频头图选择方法及系统。

背景技术

基于通信技术发展，互联网应用在社会生活的各个维度上飞速拓展，如，短视频分享应用程序不断涌现。大量的短视频开始在网络上分享和分发，造就了很多短视频分享和观看平台，同时也获得了大量的短视频贡献者和观看者。大量的短视频的产生给短视频分享平台带了很大的处理负担，仅仅依靠大量的人工去观看视频，选择适合的头图是一个非常庞大的开销。

头图在网络短视频应用中起着非常重要的作用，作为最具代表性的一个图像，需要尽可能完全代表整个视频的内容提供给观看者最好的印象。同时，头图也需要具备美观性和一定的吸引力才能够让观看者对视频产生兴趣。因此，头图选择的好坏直接影响观看者对当前短视频的兴趣，从而影响视频分享平台上用户的点击。

目前视频头图的选择方法，大部分都还基于人工观看视频，然后人为进行选择。人工选择的方式不仅需要很大的人工开销且效率极低，且随着目前短视频流量迅猛发展，处理速度基本无法满足需求。

因此，如何有效且快速的选择出视频的头图，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种视频头图选择方法，能够基于图像处理和人工智能算法有效且快速的选择出视频的头图，提升了用户体验。

本申请提供了一种视频头图选择方法，包括：

对目标视频进行解析，获取所述目标视频的像素值信息；

基于所述目标视频的像素值信息对所述目标视频中的低质量帧进行过滤；

逐帧计算所述目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

优选地，所述对目标视频进行解析，获取所述目标视频的像素值信息包括：

将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

优选地，所述基于目标视频的像素值信息对目标视频中的低质量帧进行过滤包括：

基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤。

优选地，所述将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧包括：

通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧。

一种视频头图选择系统，包括：

解析模块，用于对目标视频进行解析，获取所述目标视频的像素值信息；

过滤模块，用于基于所述目标视频的像素值信息对所述目标视频中的低质量帧进行过滤；

特征抽取和稳定度计算模块，用于逐帧计算所述目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

关键帧抽取模块，用于将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

头图选择模块，用于将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

优选地，所述解析模块具体用于：

将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

优选地，所述过滤模块具体用于：

基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤。

优选地，所述关键帧抽取模块具体用于：

通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧。

综上所述，本申请公开了一种视频头图选择，当需要对视频的头图进行自动选择时，首先对目标视频进行解析，获取目标视频的像素值信息，然后基于目标视频的像素值信息对目标视频中的低质量帧进行过滤，然后逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧，最后将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。本申请能够基于图像处理和人工智能算法有效且快速的选择出视频的头图，提升了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请公开的一种视频头图选择方法实施例1的流程图；

图2为本申请公开的一种视频头图选择方法实施例2的流程图；

图3为本申请公开的一种视频头图选择系统实施例1的结构示意图；

图4为本申请公开的一种视频头图选择系统实施例2的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本申请公开的一种视频头图选择方法实施例1的流程图，所述方法可以包括以下步骤：

S101、对目标视频进行解析，获取目标视频的像素值信息；

当需要自动选择视频的头图时，首先读取到目标视频，即读取到需要进行头图选择的视频，然后对目标视频进行相应的解析，获取到目标视频的像素值信息并做颜色空间转换。

S102、基于目标视频的像素值信息对目标视频中的低质量帧进行过滤；

当获取到目标视频的像素值信息后，根据目标视频的像素值信息对标视频中的低质量帧进行过滤。如，过滤掉黑暗、模糊、过度帧、隐退或者重叠等低质量图像帧。

S103、逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

然后，计算过滤后保留下来的图像帧在HSV空间的颜色直方图特征和边缘颜色直方图特征，并连接作为每一帧图像的特征描述子，同时计算每一帧和前后帧在RGB空间的均方误差值作为该帧的稳定度，稳定度用于描述图像的美观性。

S104、将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

视频过滤掉低质量和过度帧之后形成了一定数目的子片段，使用子片段数目作为聚类数目，使用上一步的特征描述子进行聚类，在每一个视频子片段中保留每个聚类中最稳定的那一帧，其他的都作为多余帧过滤，保留下来的作为关键帧。

S105、将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

对保留下来的图像帧使用直方图特征描述子聚类分析，聚类数量可以设置为5-10类，并通过分析规则获取最佳聚类数目，选择每一类中稳定度描述子最高的那一帧保留，并按照聚类大小排序，将第一帧确定为目标视频的最佳头图。

综上所述，在上述实施例中，当需要对视频的头图进行自动选择时，首先对目标视频进行解析，获取目标视频的像素值信息，然后基于目标视频的像素值信息对目标视频中的低质量帧进行过滤，然后逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧，最后将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。本申请能够基于图像处理和人工智能算法有效且快速的选择出视频的头图，提升了用户体验。

如图2所示，为本申请公开的一种视频头图选择方法实施例2的流程图，所述方法可以包括以下步骤：

S201、将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵；

当需要自动选择视频的头图时，首先读取到目标视频，即读取到需要进行头图选择的视频，然后对目标视频进行相应的解析，获取到目标视频的像素值信息并做颜色空间转换。

具体的，将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

S202、基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤；

当获取到目标视频的像素值信息后，根据目标视频的像素值信息对标视频中的低质量帧进行过滤。如，过滤掉黑暗、模糊、过度帧、隐退或者重叠等低质量图像帧。

具体的，通过对视频每一帧分析视觉质量参数和图像美观评估参数，通过统计分析确定阈值后对视频进行过滤，将质量较差，美观性较差的帧进行过滤。

S203、逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

然后，计算过滤后保留下来的图像帧在HSV空间的颜色直方图特征和边缘颜色直方图特征，并连接作为每一帧图像的特征描述子，同时计算每一帧和前后帧在RGB空间的均方误差值作为该帧的稳定度，稳定度用于描述图像的美观性。

S204、通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

视频过滤掉低质量和过度帧之后形成了一定数目的子片段，使用子片段数目作为聚类数目，使用上一步的特征描述子进行聚类，在每一个视频子片段中保留每个聚类中最稳定的那一帧，其他的都作为多余帧过滤，保留下来的作为关键帧。

具体的，使用k-mean聚类算法，使用对有效帧颜色直方图特征进行聚类，删除数量较少的聚类类别，获取视频场景分割结果。

S205、将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

对保留下来的图像帧使用直方图特征描述子聚类分析，聚类数量可以设置为5-10类，并通过分析规则获取最佳聚类数目，选择每一类中稳定度描述子最高的那一帧保留，并按照聚类大小排序，将第一帧确定为目标视频的最佳头图。

综上所述，本申请在流程上首先使用许多图像质量评估参数过滤掉了各种低质量的图像帧，防止影响后续头图选择；然后通过子片段分割和聚类分析，过滤掉大量多余帧，获取了高质量的关键帧；通过聚类分析后，稳定度最高决定了图像的美观和质量最高，选择类别中数量最大的类别决定了头图与视频的相关性最高，由此可以看出，本申请能够兼得美观和视频相关性两个最大的优势。

如图3所示，为本申请公开的一种视频头图选择系统实施例1的结构示意图，所述系统可以包括：

解析模块301，用于对目标视频进行解析，获取目标视频的像素值信息；

当需要自动选择视频的头图时，首先读取到目标视频，即读取到需要进行头图选择的视频，然后对目标视频进行相应的解析，获取到目标视频的像素值信息并做颜色空间转换。

过滤模块302，用于基于目标视频的像素值信息对目标视频中的低质量帧进行过滤；

当获取到目标视频的像素值信息后，根据目标视频的像素值信息对标视频中的低质量帧进行过滤。如，过滤掉黑暗、模糊、过度帧、隐退或者重叠等低质量图像帧。

特征抽取和稳定度计算模块303，用于逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

然后，计算过滤后保留下来的图像帧在HSV空间的颜色直方图特征和边缘颜色直方图特征，并连接作为每一帧图像的特征描述子，同时计算每一帧和前后帧在RGB空间的均方误差值作为该帧的稳定度，稳定度用于描述图像的美观性。

关键帧抽取模块304，用于将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

视频过滤掉低质量和过度帧之后形成了一定数目的子片段，使用子片段数目作为聚类数目，使用上一步的特征描述子进行聚类，在每一个视频子片段中保留每个聚类中最稳定的那一帧，其他的都作为多余帧过滤，保留下来的作为关键帧。

头图选择模块305，用于将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

对保留下来的图像帧使用直方图特征描述子聚类分析，聚类数量可以设置为5-10类，并通过分析规则获取最佳聚类数目，选择每一类中稳定度描述子最高的那一帧保留，并按照聚类大小排序，将第一帧确定为目标视频的最佳头图。

综上所述，在上述实施例中，当需要对视频的头图进行自动选择时，首先对目标视频进行解析，获取目标视频的像素值信息，然后基于目标视频的像素值信息对目标视频中的低质量帧进行过滤，然后逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧，最后将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。本申请能够基于图像处理和人工智能算法有效且快速的选择出视频的头图，提升了用户体验。

如图4所示，为本申请公开的一种视频头图选择系统实施例2的结构示意图，所述系统可以包括：

解析模块401，用于将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵；

当需要自动选择视频的头图时，首先读取到目标视频，即读取到需要进行头图选择的视频，然后对目标视频进行相应的解析，获取到目标视频的像素值信息并做颜色空间转换。

具体的，将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

过滤模块402，用于基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤；

当获取到目标视频的像素值信息后，根据目标视频的像素值信息对标视频中的低质量帧进行过滤。如，过滤掉黑暗、模糊、过度帧、隐退或者重叠等低质量图像帧。

具体的，通过对视频每一帧分析视觉质量参数和图像美观评估参数，通过统计分析确定阈值后对视频进行过滤，将质量较差，美观性较差的帧进行过滤。

特征抽取和稳定度计算模块403，用于逐帧计算目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

然后，计算过滤后保留下来的图像帧在HSV空间的颜色直方图特征和边缘颜色直方图特征，并连接作为每一帧图像的特征描述子，同时计算每一帧和前后帧在RGB空间的均方误差值作为该帧的稳定度，稳定度用于描述图像的美观性。

关键帧抽取模块404，用于通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

视频过滤掉低质量和过度帧之后形成了一定数目的子片段，使用子片段数目作为聚类数目，使用上一步的特征描述子进行聚类，在每一个视频子片段中保留每个聚类中最稳定的那一帧，其他的都作为多余帧过滤，保留下来的作为关键帧。

具体的，使用k-mean聚类算法，使用对有效帧颜色直方图特征进行聚类，删除数量较少的聚类类别，获取视频场景分割结果。

头图选择模块405，用于将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

对保留下来的图像帧使用直方图特征描述子聚类分析，聚类数量可以设置为5-10类，并通过分析规则获取最佳聚类数目，选择每一类中稳定度描述子最高的那一帧保留，并按照聚类大小排序，将第一帧确定为目标视频的最佳头图。

综上所述，本申请在流程上首先使用许多图像质量评估参数过滤掉了各种低质量的图像帧，防止影响后续头图选择；然后通过子片段分割和聚类分析，过滤掉大量多余帧，获取了高质量的关键帧；通过聚类分析后，稳定度最高决定了图像的美观和质量最高，选择类别中数量最大的类别决定了头图与视频的相关性最高，由此可以看出，本申请能够兼得美观和视频相关性两个最大的优势。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种视频头图选择方法，其特征在于，包括：

对目标视频进行解析，获取所述目标视频的像素值信息；

基于所述目标视频的像素值信息对所述目标视频中的低质量帧进行过滤；

逐帧计算所述目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

2.根据权利要求1所述的方法，其特征在于，所述对目标视频进行解析，获取所述目标视频的像素值信息包括：

将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

3.根据权利要求2所述的方法，其特征在于，所述基于目标视频的像素值信息对目标视频中的低质量帧进行过滤包括：

基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤。

4.根据权利要求4所述的方法，其特征在于，所述将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧包括：

通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧。

5.一种视频头图选择系统，其特征在于，包括：

解析模块，用于对目标视频进行解析，获取所述目标视频的像素值信息；

过滤模块，用于基于所述目标视频的像素值信息对所述目标视频中的低质量帧进行过滤；

特征抽取和稳定度计算模块，用于逐帧计算所述目标视频每一帧图像的特征描述子，以及与前一帧和后一帧之间在RGB空间的均方误差值作为该帧的稳定度；

关键帧抽取模块，用于将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧；

头图选择模块，用于将关键帧进行聚类，每一类中选取稳定度最高的帧，按照类别数量大小进行排序，选择最靠前的帧作为所述目标视频的头图。

6.根据权利要求5所述的系统，其特征在于，所述解析模块具体用于：

将结构化或非结构化的目标视频进行解析，获取每一帧在RGB空间的像素值矩阵和HSV空间的像素值矩阵。

7.根据权利要求6所述的系统，其特征在于，所述过滤模块具体用于：

基于目标视频的像素值信息，通过预设阈值对目标视频中的低质量帧进行过滤。

8.根据权利要求7所述的系统，其特征在于，所述关键帧抽取模块具体用于：

通过基于距离的聚类算法，将低质量帧过滤完后自然分割成的子片段进行聚类分析，保留每个片段中各个类别中稳定度最高的图像帧作为关键帧。