CN106777114B - 一种视频分类方法及系统 - Google Patents

Abstract

本发明公开一种视频分类方法及系统，按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；根据每个视频帧的纵横比确定对应视频帧的视频帧属性；根据N帧视频帧属性确定视频文件的视频属性。本发明通过提取视频文件中的N帧视频帧，对于每个视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明可实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

Description

一种视频分类方法及系统

技术领域

本发明属于视频分类技术领域，更具体的说，是涉及一种视频分类方法及系统。

背景技术

近年来，VR(Virtual Reality，虚拟现实)已成为受到人们关注最多的技术。VR是指可以创建和体验虚拟世界的计算机仿真系统，其利用各种手段模拟生成一种虚拟环境，使用户如身临其境到虚拟环境中并产生交互式的三维动态视景和实体行为的系统仿真。作为其中的关键技术之一，全景视频的播放一直是各大视频内容提供商投入精力最大的方向。

目前，视频内容提供商已经开放了PGC(Professionally-generated Content，专业生产内容)用户的全景视频上传业务，并支持在播放过程中对于全景视频进行沉浸式的播放，部分厂商也已经或将要开放针对UGC(User-generated Content，普通用户生产内容)用户的全景视频上传和播放业务。由于PGC用户的专业性，在上传全景视频时，可以做到协助网站对全景视频进行标注，视频网站可以根据PGC用户的标注，选择对这个视频进行沉浸式的播放，还是按照传统方式进行普通播放；但对于UGC用户，其本身不具备专业的知识，部分用户在上传视频时不会做到主动标注视频类型，或者在标注过程中存在失误，甚至有部分用户会故意将一些普通视频标注为全景视频或者将全景视频标注为普通视频，对播放服务进行破坏式的攻击。

由于UGC用户的上传量巨大，很难实现全时人工的监控，如果出现视频类型标注不正确的情况，会影响用户对全景视频的播放体验。目前采用人工对每个UGC用户上传的视频进行分类，然后根据分类结果进行视频类型的标注，但这项工作是一件枯燥的工作，工作过程比较繁琐且易发生错分，影响用户对全景视频的播放体验。

发明内容

有鉴于此，本发明提供了一种视频分类方法及系统，以解决现有技术中由于采用人工对每个UGC用户上传的视频进行分类，然后根据分类结果进行视频类型的标注，工作过程比较繁琐且容易发生错分，影响用户对全景视频的播放体验的问题。

为实现上述目的，本发明提供如下技术方案：

一种视频分类方法，包括：

按照预设方式提取视频文件中的N帧视频帧，所述N为正整数，且为奇数；

根据每帧所述视频帧的纵横比确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧；

根据N帧所述视频帧属性确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频。

其中，所述按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数，包括：

对所述视频文件的视频镜头进行检测，将所述视频文件分割为镜头序列；

从所述镜头序列中提取视频帧；

将所述视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算所述视频帧的平均亮度V_m；

以所述视频帧的平均亮度V_m在预设范围内，且提取所述视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧；

若提取的所述视频帧的个数小于N时，降低所述预设阈值选取所述视频帧，直到选取出N帧视频帧。

其中，所述根据每个所述视频帧的纵横比确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧，包括：

检测所述N帧视频帧中每个所述视频帧的纵横比M，所述纵横比为所述视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；

当|M-2|＞T_a时，则判定所述N帧视频帧均为普通视频帧，所述T_a为全景视频帧的纵横比预设浮动值；

当|M-2|＜T_a时，则将所述N帧视频帧中的每一帧作为输入，分别将所述N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取所述拼缝位置两侧的特征值，所述特征值包括：颜色特征值和/或纹理特征值；

根据所述拼缝位置的所述特征值对所述拼接图像进行分类，判定所述N帧视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧。

其中，所述根据N帧所述视频帧属性确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频，包括：

根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定所述视频文件为全景视频，否则，则判断所述视频文件为普通视频；

或

根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记的至少n帧为普通视频帧时，则判定所述视频文件为普通视频，否则，则判断所述视频文件为全景视频。

一种视频分类系统，包括：

提取模块，用于按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；

第一确定模块，用于根据每帧所述视频帧的纵横比确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧；

第二确定模块，用于根据N帧所述视频帧属性确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频。

其中，所述提取模块，包括：

视频检测单元，用于对所述视频文件的视频镜头进行检测，将所述视频文件分割为镜头序列；

提取单元，用于从所述镜头序列中提取视频帧；

空间转换单元，用于将所述视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算所述视频帧的平均亮度V_m；

确定单元，用于以所述视频帧的平均亮度V_m在预设范围内，且提取所述视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧；

补充提取单元，用于若提取的所述视频帧的个数小于N时，降低所述预设阈值选取所述视频帧，直到选取出N帧视频帧。

其中，所述第一确定模块，包括：

检测单元，用于检测所述N帧视频帧中每个所述视频帧的纵横比M，所述纵横比为所述视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；

第一判定单元，用于当|M-2|＞T_a时，则判定所述N帧视频帧均为普通视频帧，所述T_a为全景视频帧的纵横比预设浮动值；

第二判定单元，用于当|M-2|＜T_a时，则将所述N帧视频帧中的每一帧作为输入，分别将所述N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取所述拼缝位置两侧的特征值，所述特征值包括：颜色特征值和/或纹理特征值；

第一确定子单元，用于根据所述拼缝位置的所述特征值对所述拼接图像进行分类，判定所述N帧视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧。

其中，所述第二确定模块，包括：

第二确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定所述视频文件为全景视频，否则，则判断所述视频文件为普通视频；

或

第三确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记的至少n帧为普通视频帧时，则判定所述视频文件为普通视频，否则，则判断所述视频文件为全景视频。

经由上述的技术方案可知，与现有技术相比，本发明公开一种视频分类方法及系统，按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧；根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。本发明通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明，实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且该方法也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中全景视频帧的示意图；

图2为本发明实施例中普通视频帧的示意图；

图3为本发明实施例提供的一种视频分类方法流程示意图；

图4为本发明实施例中图3中的步骤S301的具体流程示意图；

图5为本发明实施例中图3中步骤S303的具体流程示意图；

图6为本发明实施例提供的待处理视频帧为全景图像的重拼接图像的示意图；

图7为本发明实施例提供的待处理图像为普通图像的重拼接图像的示意图；

图8为本发明实施例中对于全景图像的纹理特征值的提取示意图；

图9为发明本实施例中对于普通图像的纹理特征值的提取示意图；

图10为本发明实施例提供的一种视频分类系统结构示意图；

图11为本发明实施例提供的图10中提取模块1001的具体结构示意图；

图12为本发明实施例提供的图10中提取模块1002的具体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1和图2为全景视频帧和普通视频帧的示意图。本发明提出一种视频分类方法，通过提取视频文件中的N帧视频帧，对于每个视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频。

请参阅附图3，图3为本发明实施例提供的一种视频分类方法流程示意图。如图3所示，本发明公开了一种视频分类方法，该方法具体步骤包括如下：

S301、按照预设方式提取视频文件中的N帧视频帧，其中，N为正整数，且为奇数。

本实施例中，需要说明的是，对于提取视频文件中的视频帧，可以采用进行镜头检测，抽取镜头检测中的一帧或者若干帧作为有效的视频帧进行提取，也可以在视频中不进行镜头检测，而按照预设的一定时间间隔来抽取预设数量的有效视频帧。其中，N为正整数，且为奇数，由于后续需要对N帧视频帧进行标注，所以设定为奇数，确保标注结果。

S302、根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧。

需要说明的是，对于每帧视频帧都有一个指标进行标定，即：纵横比，为视频帧的帧宽度W和帧高度H的值，M＝W/H。对于全景视频帧来说，就依据目前标准，全景视频帧的纵横比约束为W：H＝2:1，普通视频帧的纵横比为其他格式。

S303、根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。

本实施例中，依据步骤S302中对N帧视频帧的视频属性的分类，获取N帧视频帧的分类结果，并对分类结果进行标记。对于视频文件的判定，可以通过得到的视频帧的分类结果确定视频文件的类型，例如：如果N帧视频帧中被判定为全景视频帧的数量较多，则判断此视频文件为全景视频，否则为普通视频；或者预先设定一个数值n，当N帧视频帧中有至少n帧为普通视频帧时，则判断视频文件为普通视频，否则为全景视频。

需要说明的是，本实施例中提及的数值n为小于N的正整数，该数值n的具体数值可以根据用户对全景视频和普通视频的实际情况而定。

即：具体该步骤可以为：

根据N帧视频帧的视频帧属性的结果进行标记，当N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定视频文件为全景视频，否则，则判断视频文件为普通视频；

或根据N帧视频帧的视频帧属性的结果进行标记，当N帧视频帧中标记的至少n帧为普通视频帧时，则判定视频文件为普通视频，否则，则判断视频文件为全景视频。

本发明公开一种视频分类方法，该方法按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧；根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。本发明通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明，实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且该方法也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

具体的，请参阅附图4，图4为本发明实施例中图3中的步骤S301的具体流程示意图。如图4所示，步骤S301、按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数，包括如下步骤：

S401、对视频文件的视频镜头进行检测，将视频文件分割为镜头序列。

本实施例中，可以利用公开的视频镜头检测方法将视频分割为镜头序列。

S402、从镜头序列中提取视频帧。

本实施例中，可以利用公开的视频帧提取方法，在每个镜头序列中提取视频帧。

S403、将视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算视频帧的平均亮度V_m。

具体的，可将视频帧进行空间转换，可转换为HSV、LAB、YCbCr等色彩亮度分离空间，根据色彩亮度计算公式计算视频帧的平均亮度V_m。

S404、以视频帧的平均亮度V_m在预设范围内，且提取视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧。

S405、若提取的视频帧的个数小于N时，降低预设阈值选取视频关键帧，直到选取出N帧视频帧。

具体的，请参阅附图5，图5为本发明实施例中图3中步骤S303的具体流程示意图。如图5所示，步骤S303、根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧，包括：

S501、检测N帧视频帧中每帧视频帧的纵横比M，纵横比为视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；当|M-2|＞T_a时，则判定N帧视频帧均为普通视频帧，T_a为全景视频帧的纵横比预设浮动值。

本实施例中，需要说明的是，对于Ta为全景视频帧的纵横比预设浮动值，具体的，可以理解为通常全景视频帧的纵横比是2:1，但是对于全景视频帧的纵横比可能会有一个浮动，Ta这个参数是预设阈值，标示全景视频帧的纵横比的预设浮动值，可以有效防止有些全景视频帧的纵横比有一些浮动。

S502、当|M-2|＜T_a时，则将N帧视频帧中的每一帧作为输入，分别将视N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取拼缝位置两侧的特征值，特征值包括：颜色特征值和/或纹理特征值。

S503、根据拼缝位置的特征值对拼接图像进行分类，判定N帧视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧。

具体的，关于当|M-2|＜T_a时，则将N帧视频帧中的每一帧作为输入，对N帧视频帧进行视频属性的的确定。

具体步骤为：

步骤一：获取待处理视频帧进行重新拼接的拼接视频帧，并标记拼接视频帧的拼缝位置。

该步骤具体包括如下步骤：获取待处理视频帧，提取位于待处理视频帧的视频帧最右侧和视频帧最左侧，且面积相等的视频帧区域；将得到的视频帧区域进行拼接组成拼接视频帧，并标记拼接视频帧的拼缝位置，待处理视频帧的视频帧最右侧的视频帧区域在拼接视频帧的左侧，待处理视频帧的视频帧最左侧的视频帧区域在拼接视频帧的右侧。

需要说明的是，本实施例中，如图6所示，先将待处理视频帧进行重新拼接，指定视频帧的感兴趣区域ROI1和ROI2，ROI1的选择方法为视频帧最左边的一定面积的区域，ROI2的选择方法为视频帧最右边的、和ROI1面积相等的区域，即：区分于全景和非全景的重要标准，全景首尾视频帧拼接起来是连续的，而非全景是不连续的。

将获得的ROI1与ROI2进行拼接组成重拼接视频帧，拼接方法为ROI2区域在重拼接视频帧的左侧，而ROI1区域在视频帧右侧，记录重拼接视频帧处的拼缝位置为W_L，上述方法实现了全景视频帧的首尾拼接。对于普通视频帧而言，如图7所示，经过这种首尾拼接成的拼接视频帧是不连续的。

步骤二：提取拼接视频帧的特征值，特征值包括：颜色特征值和/或纹理特征值。

该步骤具体可以包括如下步骤：

当特征值为颜色特征值时，该提取拼接视频帧的特征值，具体方法步骤如下：

将拼接视频帧的色彩模式RGB的色彩空间通过转换公式进行空间转换，得到转换后的空间值。具体的，需要说明的是，对于颜色特征的提取具体为：现将得到的重拼接视频帧，将视频帧由RGB颜色空间转化为YUV空间，也可以转换为YCbCr，HSV，Lab或者不转换空间均可。

在此，本实施例以视频帧的YUV三通道为例，转化公式为：

Y＝0.299R+0.587G+0.114B

U＝-0.1687R-0.3313G+0.5B+128

V＝0.5R-0.4187G-0.0813B+128

如果选用别的颜色空间，替换YUV三个通道即可，不转换直接使用RGB即可，对于转换公式可以按照对应的转换公式进行转换即可。

根据RGB色彩空间的色彩空间值或转换后的空间值，计算拼缝位置所有左侧像素与所有右侧像素的颜色平均差的累加和，将计算结果作为颜色特征值。

具体的，需要说明的是，计算拼缝位置W_L处所有左侧像素P(W_L-1，y)＝{Y，U，V}与所有右侧像素P(W_L，y)＝{Y，U，V}的颜色平均差diff的累加和sum_color。对于每个像素的颜色平均差diff定义为：

diff(y)＝D_Y+D_U+D_V

其中，D表示像素在每个通道(Y，U，V)的平均差值，定义为上下临近像素平均和之差(以Y通道为例，U，V计算方式相同)：

而W_L处所有像素的颜色平均差diff的累加和为：

其中：H为图像高度。

当特征值为纹理特征值时，该提取拼接视频帧的特征值，具体方法步骤如下：

采用边缘强度视频帧提取方法提取拼接视频帧的视频帧区域的边缘强度视频帧。

需要说明的是，本实施例中，对于重拼接视频帧，先将重拼接视频帧的色彩模式RGB的色彩空间通过转换公式进行空间转换(如YUV，HSV，HSL，LAB)，得到亮度色彩分离视频帧，对于亮度色彩分离空间，以YUV举例，亮度Y的转换公式为：

Y＝0.299R+0.587G+0.114B

对于纹理特征值来说只是对亮度进行转换即可，而UV在此部分不需要，可以不转换。

利用水平方向边缘梯度算子与亮度色彩分离视频帧进行卷积，得到水平边缘视频帧E_h。

利用垂直方向边缘梯度算子与亮度色彩分离视频帧进行卷积，得到垂直边缘视频帧E_v。

在此实施例中，水平方向和垂直方向的边缘梯度算子以Sobel算子为例，其他算子同样适用，具体的Sobel算子：

根据水平边缘视频帧和垂直边缘视频帧计算边缘强度视频帧E_all。

计算边缘强度视频帧E_all，即对于边缘视频帧上任意一点E_all(x，y)，E_all(x，y)＝sqrt(E_v(x，y)²+E_h(x，y)²)。

采用边缘强度视频帧提取方法提取待处理视频帧的图像最右侧的视频帧区域的第一边缘强度视频帧。

利用上述步骤对于待处理视频帧的视频帧最右侧的视频帧区域ROI1提取边缘强度视频帧E_right。

采用边缘强度视频帧提取方法提取待处理视频帧的视频帧最左侧的视频帧区域的第二边缘强度视频帧。

利用上述对于待处理视频帧的视频帧最左侧的视频帧区域ROI2提取边缘强度视频帧E_left。

将第一边缘强度视频帧和第二边缘强度视频帧拼接为与拼接视频帧的边缘强度视频帧相同大小尺寸的第三边缘强度视频帧。

将E_left和E_right接拼接为和E_all相同大小的另一张边缘视频帧，称为E_S。

将拼接视频帧的边缘强度视频帧和第三边缘强度视频帧逐像素进行相减，得到差值边缘强度视频帧。

对于两张边缘视频帧E_all和E_S逐像素进行相减，获得两者之差E_result。

对差值边缘强度视频帧的拼缝位置处的所有像素的边缘强度进行相加，得到所有像素的边缘强度累加和作为纹理特征值。

对于E_result的拼缝W_L处所有像素的边缘强度进行相加，得到sum_edge。

具体的，请参阅附图8和附图9，图8为本发明实施例中对于全景视频帧的纹理特征值的提取示意图；图9为发明本实施例中对于普通视频帧的纹理特征值的提取示意图。

步骤三：根据拼缝位置的特征值对拼接视频帧进行分类。

具体的，该步骤包括如下步骤：

预先设定预设颜色特征值的阈值和预设纹理特征值的阈值；

当提取的特征值为颜色特征值时，判断颜色特征值是否小于预设颜色特征值的阈值，若是，则拼接视频帧为全景视频帧，若否，则拼接视频帧为普通视频帧；

当提取的特征值为纹理特征值时，判断纹理特征值是否小于预设纹理特征值的阈值，若是，则拼接视频帧为全景视频帧，若否，则拼接视频帧为普通视频帧；

当提取的特征值为颜色特征值和纹理特征值时，判断颜色特征值是否小于预设颜色特征值的阈值，且纹理特征值是否小于预设纹理特征值的阈值，若是，则拼接视频帧为全景视频帧，若否，则拼接视频帧为普通视频帧。

对于视频帧的分类方法可以采用上述最简易的利用阈值进行分割的方法，也可以利用机器学历的方法训练分类器，收集普通视频帧与全景视频帧，按照之前的方式获得特征，在这些特征上面利用相应机器学习算法，获得相应的分类模型，利用得到的分类模型对于待处理视频帧进行分类。

本发明公开一种视频分类方法按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧；根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。本发明通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明，实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且该方法也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

本发明在上述公开方法的基础上，还公开了一种系统。

请参阅附图10，图10为本发明实施例提供的一种视频分类系统结构示意图。如图10所示，本发明公开了一种视频分类系统，具体的，该系统结构包括如下：

提取模块1001，用于按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；

第一确定模块1002，用于根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧；

第二确定模块1003，用于根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。

具体的，所述第二确定模块1003，包括：

第二确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定所述视频文件为全景视频，否则，则判断所述视频文件为普通视频；

或

第三确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记的至少n帧为普通视频帧时，则判定所述视频文件为普通视频，否则，则判断所述视频文件为全景视频。

本发明公开一种视频分类系统，该系统通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

由于本实施例中的各模块能够执行图3所示的方法，本实施例未详细描述的部分，可参考对图3的相关说明。

具体的，请参阅附图11，图11为本发明实施例提供的图10中提取模块1001的具体结构示意图。如图11所示，所述提取模块1001，具体结构包括如下：

视频检测单元1101，用于对视频文件的视频镜头进行检测，将视频文件分割为镜头序列；

提取单元1102，用于从镜头序列中提取视频帧；

空间转换单元1103，用于将视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算视频帧的平均亮度V_m；

确定单元1104，用于以视频帧的平均亮度V_m在预设范围内，且提取视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧；

补充提取单元1105，用于若提取的视频帧的个数小于N时，降低预设阈值选取视频帧，直到选取出N帧视频帧。

由于本实施例中的各模块能够执行图4所示的方法，本实施例未详细描述的部分，可参考对图4的相关说明。

具体的，请参阅附图12，图12为本发明实施例提供的图10中提取模块1002的具体结构示意图。如图12所示，所述第一确定模块1002，包括：

检测单元1201，用于检测N帧视频帧中每个视频帧的纵横比M，纵横比为视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；

第一判定单元1202，用于当|M-2|＞T_a时，则判定N帧视频帧均为普通视频帧，T_a为全景视频帧的纵横比预设浮动值；

第二判定单元1203，用于当|M-2|＜T_a时，则将N帧视频帧中的每一帧作为输入，分别将N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取拼缝位置两侧的特征值，特征值包括：颜色特征值和/或纹理特征值；

第一确定子单元1204，用于根据拼缝位置的特征值对拼接图像进行分类，判定N帧视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧。

由于本实施例中的各模块能够执行图5所示的方法，本实施例未详细描述的部分，可参考对图5的相关说明。

本发明公开一种视频分类系统，通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明，实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

综上所述，本发明公开一种视频分类方法及系统，按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；根据每帧视频帧的纵横比确定对应视频帧的视频帧属性，视频帧属性用于指示视频帧为全景视频帧或普通视频帧；根据N帧视频帧属性确定视频文件的视频属性，视频属性用于指示视频文件为全景视频或普通视频。本发明通过提取视频文件中的N帧视频帧，对于每帧视频帧判别其视频帧属性，根据N帧视频帧的视频帧属性判断其具体为全景视频或者普通视频，通过本发明，实现视频文件的自动分类，可以根据分类结果进行视频类型的标注，且该方法也可以实现检查人工标记的视频类别标签是否正确，避免由于错分影像用户对全景视频的播放体验，进而增强用户观看全景视频的播放体验。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上结合附图对本发明所提出的方法进行了示例性描述，以上实施例的说明只是用于帮助理解本发明的核心思想。对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种视频分类方法，其特征在于，包括：

按照预设方式提取视频文件中的N帧视频帧，所述N为正整数，且为奇数；

根据每帧所述视频帧的纵横比和拼缝位置两侧的特征值确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧，所述特征值包括：颜色特征值和纹理特征值；

根据N帧所述视频帧属性的结果进行标记，确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频；

其中，所述根据每帧所述视频帧的纵横比和拼缝位置两侧的特征值确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧，包括：

检测所述N帧视频帧中每帧所述视频帧的纵横比M，所述纵横比为所述视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；

当|M-2|＞T_a时，则判定所述N帧视频帧均为普通视频帧，所述T_a为全景视频帧的纵横比预设浮动值；

当|M-2|＜T_a时，则将所述N帧视频帧中的每一帧作为输入，分别将所述N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取所述拼缝位置两侧的特征值；

根据所述拼缝位置两侧的特征值对所述拼接图像进行分类，判定所述N帧视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧；

其中：所述根据所述拼缝位置的所述特征值对所述拼接图像进行分类，具体为：

获取待处理视频帧，提取位于所述待处理视频帧的视频帧最右侧和视频帧最左侧，且面积相等的视频帧区域，将得到的所述视频帧区域进行拼接组成拼接视频帧，并标记所述拼接视频帧的拼缝位置，所述待处理视频帧的视频帧最右侧的视频帧区域在所述拼接视频帧的左侧，所述待处理视频帧的视频帧最左侧的视频帧区域在所述拼接视频帧的右侧；

提取拼接视频帧的特征值，特征值包括：颜色特征值和纹理特征值；其中，当特征值为纹理特征值时，提取拼接视频帧的特征值，包括：采用边缘强度视频帧提取方法提取拼接视频帧的视频帧区域的边缘强度视频帧；采用边缘强度视频帧提取方法提取待处理视频帧的图像最右侧的视频帧区域的第一边缘强度视频帧；采用边缘强度视频帧提取方法提取待处理视频帧的视频帧最左侧的视频帧区域的第二边缘强度视频帧；将第一边缘强度视频帧和第二边缘强度视频帧拼接为与拼接视频帧的边缘强度视频帧相同大小尺寸的第三边缘强度视频帧；将拼接视频帧的边缘强度视频帧和第三边缘强度视频帧逐像素进行相减，得到差值边缘强度视频帧；对差值边缘强度视频帧的拼缝位置处的所有像素的边缘强度进行相加，得到所有像素的边缘强度累加和作为纹理特征值；

将拼缝位置的所述特征值与预先设定的预设颜色特征值的阈值和预设纹理特征值的阈值进行对比，对所述拼接视频帧进行分类；

其中，所述按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数，包括：

对所述视频文件的视频镜头进行检测，将所述视频文件分割为镜头序列；

从所述镜头序列中提取视频帧；

将所述视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算所述视频帧的平均亮度V_m；

以所述视频帧的平均亮度V_m在预设范围内，且提取所述视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧；

若提取的所述视频帧的个数小于N时，降低所述预设阈值选取所述视频帧，直到选取出N帧视频帧。

2.根据权利要求1所述的视频分类方法，其特征在于，所述根据N帧所述视频帧属性确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频，包括：

根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定所述视频文件为全景视频，否则，则判断所述视频文件为普通视频；

或

根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记的至少n帧为普通视频帧时，则判定所述视频文件为普通视频，否则，则判断所述视频文件为全景视频。

3.一种视频分类系统，其特征在于，包括：

提取模块，用于按照预设方式提取视频文件中的N帧视频帧，N为正整数，且为奇数；

第一确定模块，用于根据每帧所述视频帧的纵横比和拼缝位置两侧的特征值确定对应所述视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧，所述特征值包括：颜色特征值和纹理特征值；

第二确定模块，用于根据N帧所述视频帧属性的结果进行标记，确定所述视频文件的视频属性，所述视频属性用于指示所述视频文件为全景视频或普通视频；

其中，所述第一确定模块，包括：

检测单元，用于检测所述N帧视频帧中每个所述视频帧的纵横比M，所述纵横比为所述视频帧的帧宽度W和帧高度H的比值，即：M＝W/H；

第一判定单元，用于当|M-2|＞T_a时，则判定所述N帧视频帧均为普通视频帧，所述T_a为全景视频帧的纵横比预设浮动值；

第二判定单元，用于当|M-2|＜T_a时，则将所述N帧视频帧中的每一帧作为输入，分别将所述N帧视频帧的最左侧和最右侧按照预设方式进行重新拼接，标记拼缝位置并提取所述拼缝位置两侧的特征值；

第一确定子单元，用于根据所述拼缝位置两侧的特征值对所述拼接图像进行分类，判定所述N帧视频帧的视频帧属性，所述视频帧属性用于指示所述视频帧为全景视频帧或普通视频帧；

其中：所述第一确定子单元，用于具体为：

获取待处理视频帧，提取位于所述待处理视频帧的视频帧最右侧和视频帧最左侧，且面积相等的视频帧区域，将得到的所述视频帧区域进行拼接组成拼接视频帧，并标记所述拼接视频帧的拼缝位置，所述待处理视频帧的视频帧最右侧的视频帧区域在所述拼接视频帧的左侧，所述待处理视频帧的视频帧最左侧的视频帧区域在所述拼接视频帧的右侧；

提取拼接视频帧的特征值，特征值包括：颜色特征值和纹理特征值；其中，当特征值为纹理特征值时，提取拼接视频帧的特征值，包括：采用边缘强度视频帧提取方法提取拼接视频帧的视频帧区域的边缘强度视频帧；采用边缘强度视频帧提取方法提取待处理视频帧的图像最右侧的视频帧区域的第一边缘强度视频帧；采用边缘强度视频帧提取方法提取待处理视频帧的视频帧最左侧的视频帧区域的第二边缘强度视频帧；将第一边缘强度视频帧和第二边缘强度视频帧拼接为与拼接视频帧的边缘强度视频帧相同大小尺寸的第三边缘强度视频帧；将拼接视频帧的边缘强度视频帧和第三边缘强度视频帧逐像素进行相减，得到差值边缘强度视频帧；对差值边缘强度视频帧的拼缝位置处的所有像素的边缘强度进行相加，得到所有像素的边缘强度累加和作为纹理特征值；

将拼缝位置的所述特征值与预先设定的预设颜色特征值的阈值和预设纹理特征值的阈值进行对比，对所述拼接视频帧进行分类；

其中，所述提取模块，包括：

视频检测单元，用于对所述视频文件的视频镜头进行检测，将所述视频文件分割为镜头序列；

提取单元，用于从所述镜头序列中提取视频帧；

空间转换单元，用于将所述视频帧进行空间转换，可转换为色彩亮度分离空间，根据色彩亮度计算公式计算所述视频帧的平均亮度V_m；

确定单元，用于以所述视频帧的平均亮度V_m在预设范围内，且提取所述视频帧的对应的色彩亮度分离空间中的两个通道的方差大于预设阈值的视频帧；

补充提取单元，用于若提取的所述视频帧的个数小于N时，降低所述预设阈值选取所述视频帧，直到选取出N帧视频帧。

4.根据权利要求3所述的视频分类系统，其特征在于，所述第二确定模块，包括：

第二确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记为全景视频帧的数量大于标记为普通视频帧的数量时，则判定所述视频文件为全景视频，否则，则判断所述视频文件为普通视频；

或

第三确定子单元，用于根据所述N帧视频帧的视频帧属性的结果进行标记，当所述N帧视频帧中标记的至少n帧为普通视频帧时，则判定所述视频文件为普通视频，否则，则判断所述视频文件为全景视频。

Images