CN106534974B - 自动识别立方体全景视频的方法及系统 - Google Patents

Abstract

本发明公开一种自动识别立方体全景视频的方法，包括：在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值；从数据库中获取视频的图像帧并计算所述图像帧的宽高比值；在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差；在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。本发明实现了立方体全景视频的自动识别。

Description

自动识别立方体全景视频的方法及系统

技术领域

本发明涉及视频播放的技术领域，更具体地，涉及一种自动识别立方体全景视频的方法及系统。

背景技术

全景视频，即720度或者360度全景视频，它是在720度或者360度全景的技术之上发展延伸而来，将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度上下左右360度范围内任意观看动态视频，让用户有一种身临其境的感觉。在制作全景视频时使用一组摄像机在拍摄点周围同时拍摄360度(或720度)的画面，并经过后期的图像拼接后使之能够在任意时刻无失真地展现拍摄点周围画面的视频。

目前还没有保存全景视频的特有格式，现有的全景视频还是采用与传统视频相同的保存格式：全景播放器播放的是经过拼接处理的以拍摄点为中心的投影面上的画面，目前对这种投影不方便存储，而是常常将投影的画面变换存储为矩形图像，在全景播放器播放该全景视频时将存储的矩形图像重新映射贴合到全景视频播放模型上播放。因此，现有技术中无法自动识别出待播放的视频是平面视频还是全景视频，而全景视频与平面视频的播放方式是完全不同的，如果以全景视频的播放形式来播放平面视频或者以平面视频的播放形式来播放全景视频都会造成视频画面的扭曲。基于上述原因，现有技术中用户只能在发现视频播放方式不相符的情况下，手动切换视频播放方式加以调节，对用户来讲很不方便，极大地影响了用户对产品的使用体验。另一方面，全景视频播放模型也有球体模型和立方体模型之分，如果将基于立方体模型的全景视频以球体模型的方式进行贴图播放，显然是不合理的。

因此，提供一种在播放器中自动识别立方体全景视频的方法是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种自动识别立方体全景视频的方法及系统，解决了现有技术中不能自动识别立方体全景视频的技术问题。

为了解决上述技术问题，本发明提出一种自动识别立方体全景视频的方法，包括：

在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值；

从数据库中获取视频的图像帧并计算所述图像帧的宽高比值；

在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差；

在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

进一步地，其中，在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频，进一步为：

获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差；

计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值；

在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频。

进一步地，其中，获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，进一步为：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

进一步地，其中，所述设定数量像素为十五个像素。

进一步地，其中，所述立方体全景视频判定比值阈值，为大于或等于80。

另一方面，本发明还提供一种自动识别立方体全景视频的系统，包括：设置模块、视频图像帧获取模块、计算模块及立方体全景视频判定模块；其中，

所述设置模块，用于在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值；

所述视频图像帧获取模块，用于从数据库中获取视频的图像帧并计算所述图像帧的宽高比值；

所述计算模块，在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差；

所述立方体全景视频判定模块，用于在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

进一步地，其中，所述立方体全景视频判定模块，用于：

获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差；

计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值；

在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频。

进一步地，其中，所述立方体全景视频判定模块，进一步用于：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

进一步地，其中，所述设定数量像素为十五个像素。

进一步地，其中，所述立方体全景视频判定比值阈值，为大于或等于80。

与现有技术相比，本发明的自动识别立方体全景视频的方法及系统，实现了如下的有益效果：

(1)本发明所述的自动识别立方体全景视频的方法及系统，根据存储的立方体模型全景视频画面的特性，判断待播放的视频是否为立方体模型的全景视频，并对判断到的全景视频自动进行立方体模型贴图播放，实现了全景视频的自动识别，提升了用户使用体验。

(2)本发明所述的自动识别立方体全景视频的方法及系统，还设置了立方体模型全景视频及平面视频的判断机制，并针对每种视频形式自动选择对应的播放方式，简化了用户的操作，同时能够准确地进行各种视频的播放。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1中所述自动识别立方体全景视频的方法的流程示意图；

图2为本发明实施例2中所述自动识别立方体全景视频的方法的流程示意图；

图3为本发明实施例3中所述自动识别立方体全景视频的系统的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

如图1所示，为本实施例所述自动识别立方体全景视频的方法的流程示意图，本实施例所述方法解决了现有技术中不能自动识别立方体全景视频的技术问题。本实施例所述基于立方体模型播放全景视频的方法包括以下步骤：

步骤101、在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值。

立方体全景视频，是指将拿到的全景视频图像贴合到立方体模型的全景视频映射面上，再根据用户的视角位置选取对应的映射图像在播放视窗中展现播放的技术。但是，现有技术中还没有自动识别并播放立方体全景视频的技术，都需要用户手动选择视频播放模式，操作繁杂，不利于用户使用体验。

现有技术中，立方体全景视频是以立方体六个贴合面上画面置于同一图像帧的形式进行存储，并且将六个面上的图像帧，按2层、每层3个画面的矩形图像帧的形式进行存储。而立方体全景视频的特点是相邻贴合面之间连接的像素行或像素列是不连续的，反应在数字上就是相邻贴合面之间连接的像素行或像素列的像素方差较大。如果该视频是立方体全景视频，按图像帧以宽三分之一及宽三分之二位置为列间隙、以高二分之一位置为行间隙拆分得到的六个视频画面刚好就是立方体全景视频六个贴合全景视频映射面的视频画面。

步骤102、从数据库中获取视频的图像帧并计算所述图像帧的宽高比值。

用户发送视频播放请求时，在该视频播放请求中携带有请求播放视频的标识，基于视频的标识可以从视频数据库中获取对应的视频数据，解析视频数据，便可从中分析出视频图像是否是全景视频图像，因为全景视频与普通的平面视频存储格式相同，不能使用常规的手段判断是否为全景视频。而基于立方体全景视频的存储特点(图像帧按2层、每层3个画面的矩形图像帧)，立方体全景视频的宽高比值必须是3:2。

步骤103、在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差。

间隙像素对，是指立方体全景视频图像中相邻图像帧连接处的一行/列像素对，在立方体模型全景视频中，由于六个全景视频映射面是拼合在一起的，各个映射面上的视频图像都是独立的，因此，立方体上相邻视频图像的间隙像素是具有较大差异的，而对于平面视频或球体模型的全景视频，基于视频播放的连续性，在间隙像素对上具有较大的联系，故可以基于视频图像的间隙像素对判断视频是否为基于立方体模型的全景视频。

步骤104、在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

步骤105、创建立方体模型，并将所述视频图像贴合到所述立方体模型的全景映射面上进行播放。

基于立方体模型的全景视频播放，是将预先处理好的立方体视频图像贴合到立方体模型的内侧面(基于视频图像的前、后、左、右、上及下的位置)，使得用户观看时得到置身立方体全景视频内部的沉浸感。因此，在立方体贴图时也需要确定好视频图像的贴片位置，避免出现视频图像与实际拍摄效果不一致的问题。

本实施例所述的自动识别立方体全景视频的方法，根据存储的立方体模型全景视频画面的特性，判断待播放的视频是否为立方体模型的全景视频，并对判断到的全景视频自动进行立方体模型贴图播放，实现了全景视频的自动识别及自动播放，提升了用户使用体验。

实施例2

如图2所示，为本实施例所述自动识别立方体全景视频的方法的流程示意图，本实施例在实施例1的基础上，描述了判断并播放立方体全景视频、球体全景视频及平面视频的具体内容。本实施例所述自动识别立方体全景视频的方法包括以下步骤：

步骤201、在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值。

优选地，所述方差阈值，大于或等于90。

步骤202、从数据库中获取视频的图像帧并计算所述图像帧的宽高比值。

步骤203、在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差。

步骤204、获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差。

优选地，获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，进一步为：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

优选地，所述设定数量像素为十五个像素。所述立方体全景视频判定比值阈值，为大于或等于80。更优选地，所述立方体全景视频判定比值阈值，为大于或等于90。

现有技术中，在视频编码存储时，是以16像素块*16像素块的形式进行编码的，因此，在本实施例中将与间隙像素对中两行/列像素间隔十五个像素块的像素行/列设置为相邻像素行/列，进一步地提升了进行立方体全景视频识别的准确性。

步骤205、计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值。

步骤206、在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频。

在等效矩形映射的立方体全景图像上，相邻像素对，即自间隙像素对中两行/列像素分别向两边数间隔预定数量的行/列像素为相邻像素，相邻像素与间隙像素对中对应的间隙像素组成相邻像素对，如果相邻像素对是连续的，说明为同一视频画面，再加上间隙像素对之间差异较大，就说明间隙两侧为不同的视频画面，从数据计算上进一步确认了为立方体全景视频，提升了自动识别判定立方体全景视频的准确性。

步骤207、创建立方体模型，并将所述视频图像贴合到所述立方体模型的全景映射面上进行播放。

步骤208、在所述图像帧的宽高比值不为3:2，或所述立方体全景视频判定比值小于预先设定的立方体全景视频判定比值阈值时，将所述视频图像发送至所述播放器按照平面视频进行播放。

本实施例所述的自动识别立方体全景视频的方法，还设置了立方体模型全景视频及平面视频的判断机制，并针对每种视频形式自动选择对应的播放方式，简化了用户的操作，同时能够准确地进行各种视频的播放。

实施例3

如图3所示，为本实施例所述自动识别立方体全景视频的系统的结构示意图，本实施例所述的系统用于实施上述实施例中所述自动识别立方体全景视频的方法。本实施例所述自动识别立方体全景视频的系统包括：设置模块301、视频图像帧获取模块302、计算模块303及立方体全景视频判定模块304。

其中，所述设置模块301与所述视频图像帧获取模块302相藕接，用于在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值。优选地，所述方差阈值，大于或等于90。

所述视频图像帧获取模块302与所述设置模块301及计算模块303相藕接，用于从数据库中获取视频的图像帧并计算所述图像帧的宽高比值。

所述计算模块303与所述视频图像帧获取模块302及立方体全景视频判定模块304相藕接，用于在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差。

所述立方体全景视频判定模块304与所述计算模块303相藕接，用于在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

进一步地，所述立方体全景视频判定模块304，用于：

获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差；

计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值；

在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频。

所述立方体全景视频判定模块304，进一步用于：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

进一步地，所述设定数量像素为十五个像素。

进一步地，所述立方体全景视频判定比值阈值，为大于或等于80。更优选地，所述立方体全景视频判定比值阈值，为大于或等于90。

所述立方体全景视频判断模块304，进一步用于：

在所有间隙像素颜色差值达到或超过所述间隙像素颜色差值的阈值时，判断所述视频图像为立方体的全景视频图像；

在所有间隙像素颜色差值小于所述间隙像素颜色差值的阈值时，将所述视频图像发送至所述播放器按照平面视频进行播放。

所述立方体全景视频判断模块304，还用于：

在所有间隙像素颜色差值达到或超过所述间隙像素颜色差值的阈值时，判断所述视频图像为立方体的全景视频图像；

在所有间隙像素颜色差值小于所述间隙像素颜色差值的阈值时，获取所述视频图像并计算所述视频图像的宽高比值；

所述间隙像素对的颜色差值的方差小于所述间隙像素对的颜色差值的方差阈值时，将所述视频图像发送至所述播放器按照平面视频进行播放。

进一步地，在上述系统中，所述边缘像素颜色差值的阈值大于或等于20。

进一步地，所述立方体全景视频播放模块305，用于：

创建立方体模型，并将所述视频图像贴合到所述立方体模型的全景映射面上；

检测所述播放器中预先设置的显示视窗，在所述立方体模型的全景映射面上的位置，并获取所述显示视窗在所述立方体模型的全景映射面上对应的图像，并在所述显示视窗中进行显示。

通过以上各个实施例可知，本发明的自动识别立方体全景视频的方法及系统，存在的有益效果是：

(1)本发明所述的自动识别立方体全景视频的方法及系统，根据存储的立方体模型全景视频画面的特性，判断待播放的视频是否为立方体模型的全景视频，并对判断到的全景视频自动进行立方体模型贴图播放，实现了全景视频的自动识别及自动播放，提升了用户使用体验。

(2)本发明所述的自动识别立方体全景视频的方法及系统，还设置了立方体模型全景视频及平面视频的判断机制，并针对每种视频形式自动选择对应的播放方式，简化了用户的操作，同时能够准确地进行各种视频的播放。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (8)

1.一种自动识别立方体全景视频的方法，其特征在于，包括：

在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值；其中，所述间歇像素对是指立方体全景视频图像中相邻图像帧连接处的一行或列像素对；所述方差阈值为大于或等于90；

从数据库中获取视频的图像帧并计算所述图像帧的宽高比值；

在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差；

在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

2.根据权利要求1所述的自动识别立方体全景视频的方法，其特征在于，在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频，进一步为：

获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差；

计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值；

在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频，其中所述立方体全景视频判定比值阈值为大于或等于80。

3.根据权利要求2所述的自动识别立方体全景视频的方法，其特征在于，获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，进一步为：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

4.根据权利要求3所述的自动识别立方体全景视频的方法，其特征在于，所述设定数量像素为十五个像素。

5.一种自动识别立方体全景视频的系统，其特征在于，包括：设置模块、视频图像帧获取模块、计算模块及立方体全景视频判定模块；其中，

所述设置模块，用于在播放器中，设置用于判定立方体全景视频的间隙像素对的方差阈值；其中，所述间歇像素对是指立方体全景视频图像中相邻图像帧连接处的一行或列像素对；所述方差阈值为大于或等于90；

所述视频图像帧获取模块，用于从数据库中获取视频的图像帧并计算所述图像帧的宽高比值；

所述计算模块，在所述图像帧的宽高比值为3:2时，按照所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置获取间隙像素对的像素，并计算所述间隙像素对的像素方差；

所述立方体全景视频判定模块，用于在所述图像帧的宽三分之一位置、宽三分之二位置及高二分之一位置的像素方差，达到或超过所述间隙像素对的方差阈值的数量达到或超过两个时，判定所述视频为立方体全景视频。

6.根据权利要求5所述的自动识别立方体全景视频的系统，其特征在于，所述立方体全景视频判定模块，用于：

获取与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素，并计算所述第一相邻像素对及第二相邻像素对的像素方差；

计算所述间隙像素对的像素方差，与所述第一相邻像素对与第二相邻像素对的像素方差之和的比值，得到立方体全景视频判定比值；

在所述立方体全景视频判定比值达到或超过预先设定的立方体全景视频判定比值阈值时，判定所述视频为立方体全景视频，其中所述立方体全景视频判定比值阈值为大于或等于80。

7.根据权利要求6所述的自动识别立方体全景视频的系统，其特征在于，所述立方体全景视频判定模块，进一步用于：

按像素行或像素列，与所述间隙像素对中间隙像素间隔设定数量像素的像素点为相邻像素；获取所述间隙像素与相邻像素的像素，得到与所述间隙像素对相邻的第一相邻像素对的像素及第二相邻像素对的像素。

8.根据权利要求7所述的自动识别立方体全景视频的系统，其特征在于，所述设定数量像素为十五个像素。