CN108040287A

CN108040287A - 一种全景视频的识别方法及装置

Info

Publication number: CN108040287A
Application number: CN201711365430.3A
Authority: CN
Inventors: 乔伟
Original assignee: Beijing Sohu New Media Information Technology Co Ltd
Current assignee: Beijing Sohu New Media Information Technology Co Ltd
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2018-05-15

Abstract

本申请公开了一种全景视频的识别方法及装置，方法包括：确定待识别的目标视频文件，所述目标视频文件包括多帧图像；抽取所述目标视频文件中的至少一帧目标图像；判断所述目标图像是否为全景图像，得到判断结果；基于所述判断结果，获取所述目标图像为全景图像的数量值；如果所述数量值大于预设的全景阈值，确定所述目标视频文件为全景视频文件，否则，确定所述目标视频文件不是全景视频文件。本申请中不需要用户人工去判断视频文件的类型，而是通过对视频文件进行自动识别，从而能够明显降低用户操作复杂度，改善用户观看体验。

Description

一种全景视频的识别方法及装置

技术领域

本申请涉及虚拟现实技术领域，特别涉及一种全景视频的识别方法及装置。

背景技术

随着电子技术的发展，虚拟现实的应用也越来越广泛，例如，在游戏头盔中使用虚拟现实可以为用户带来更真实的体验。

而在对虚拟现实头盔中播放视频文件时，对不同的视频文件需要采用相应的模式来实现，例如，对全景视频文件需要采用全景模式播放该视频文件。

现有技术中在视频文件进行播放时，需要用户人工判断视频文件是否为全景视频文件，再选择播放模式来实现视频文件的播放，因此，会使得用户操作的复杂度较高，影响用户观看体验。

发明内容

本申请的目的是提供一种的全景视频的识别方法及装置，用以解决现有技术中用户人工判断全景视频文件并选择播放模式，导致用户操作复杂度较高，影响用户观看体验的技术问题。

本申请提供了一种全景视频的识别方法，包括：

确定待识别的目标视频文件，所述目标视频文件包括多帧图像；

抽取所述目标视频文件中的至少一帧目标图像；

判断所述目标图像是否为全景图像，得到判断结果；

基于所述判断结果，获取所述目标图像为全景图像的数量值；

如果所述数量值大于预设的全景阈值，确定所述目标视频文件为全景视频文件，否则，确定所述目标视频文件不是全景视频文件。

上述方法，优选地，判断所述目标图像是否为全景图像，得到判断结果，包括：

从所述目标图像中提取第一列像素和最后一列像素；

判断所述第一列像素是否与所述最后一列像素相似，如果是，生成所述目标图像为全景图像的判断结果，否则，生成所述目标图像不是全景图像的判断结果。

上述方法，优选地，判断所述第一列像素是否与所述最后一列像素相似，包括：

在预设的三个颜色通道上，分别计算所述第一列像素和所述最后一列像素的均值和方差，所述三个颜色通道分别为：红色R、绿色G和蓝色B；

获得所述第一列像素和所述最后一列像素在所述均值上的第一差值和在所述方差上的第二差值；

基于所述第一差值和所述第二差值，判断所述第一列像素和所述最后一列像素是否相似。

上述方法，优选地，基于所述第一差值和所述第二差值，判断所述第一列像素和所述最后一列像素是否相似，包括：

如果所述第一差值小于预设的第一差值阈值且所述第二差值小于预设的第二差值阈值，则确定所述第一列像素和所述最后一列像素相似，否则，确定所述第一列像素和所述最后一列像素不相似。

上述方法，优选地，在确定所述目标视频文件为全景视频文件之后，所述方法还包括：

以全景模式播放所述目标视频文件。

本申请还提供了一种全景视频的识别装置，包括：

目标确定单元，用于确定待识别的目标视频文件，所述目标视频文件包括多帧图像；

图像抽取单元，用于抽取所述目标视频文件中的至少一帧目标图像；

图像判断单元，用于判断所述目标图像是否为全景图像，得到判断结果；

数量获取单元，用于基于所述判断结果，获取所述目标图像为全景图像的数量值；

全景确定单元，用于如果所述数量值大于预设的全景阈值，确定所述目标视频文件为全景视频文件，否则，确定所述目标视频文件不是全景视频文件。

上述装置，优选地，所述图像判断单元包括：

像素提取子单元，用于从所述目标图像中提取第一列像素和最后一列像素；

像素判断子单元，用于判断所述第一列像素是否与所述最后一列像素相似，如果是，生成所述目标图像为全景图像的判断结果，否则，生成目标图像不是全景图像的判断结果。

上述装置，优选地，所述像素判断子单元包括：

像素计算模块，用于在预设的三个通道上，分别计算所述第一列像素和所述最后一列像素的均值和方差，所述三个颜色通道分别为：红色R、绿色G和蓝色B；

差值计算模块，用于获得所述第一列像素和所述最后一列像素在所述均值上的第一差值和在所述方差上的第二差值；

差值判断模块，用于基于所述第一差值和所述第二差值，判断所述第一列像素和所述最后一列像素是否相似。

上述装置，优选地，所述差值判断模块具体用于：如果所述第一差值小于预设的第一差值阈值且所述第二差值小于预设的第二差值阈值，则确定所述第一列像素和所述最后一列像素相似，否则，确定所述第一列像素和所述最后一列像素不相似。

上述装置，优选地，还包括：

文件播放单元，用于以全景模式播放所述目标视频文件。

由上述方案可知，本申请提供的一种全景视频的识别方法及装置，通过对待识别的目标视频文件中的图像是否为全景图像进行判断，从而在判断出属于全景图像的图像帧的数量超过设定的全景阈值时即可确定该目标视频文件为全景视频文件。由此，本申请中不需要用户人工去判断视频文件的类型，而是通过对视频文件进行自动识别，从而能够明显降低用户操作复杂度，改善用户观看体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种全景视频的识别方法的流程图；

图2为本申请实施例一提供的一种全景视频的识别方法的部分流程图；

图3为本申请实施例的应用示例图；

图4为本申请实施例一提供的一种全景视频的识别方法的另一流程图；

图5为本申请实施例二提供的一种全景视频的识别装置的结构示意图；

图6及图7分别为本申请实施例二提供的一种全景视频的识别装置的部分结构示意图；

图8为本申请实施例二提供的一种全景视频的识别装置的另一结构示意图；

图9为本申请实施例的另一应用示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种全景视频的识别方法的实现流程图，该方法可以适用于具有播放全景视频文件的终端上，如手机、pad、虚拟现实头盔等设备，用于对视频文件是否为全景视频文件进行识别，从而可以采用相应的播放模式播放视频文件。

在本实施例中，该方法可以包括以下步骤：

步骤101：确定待识别的目标视频文件。

其中，目标视频文件是指需要进行播放的视频文件，如游戏场景视频、电影视频等，该目标视频文件中包含多帧图像，如120帧图像等。

步骤102：抽取目标视频文件中的至少一帧目标图像。

其中，本实施例中可以在目标视频文件的多帧图像中均匀的抽取N帧目标图像，例如，每隔5帧图像抽取一帧图像作为目标图像，而N可以为大于或等于10的数值，由此相比只抽取一帧目标图像进行处理，能够在一定程度提高后续对目标视频文件的识别准确率。

步骤103：判断目标图像是否为全景图像，得到判断结果。

其中，判断结果表明从目标视频文件抽取的每个目标图像是否为全景图像。本实施例中可以通过对目标图像中的像素进行识别，从而判断每个目标图像是否为全景图像。

步骤104：基于判断结果，获取目标图像为全景图像的数量值。

例如，本实施例中从目标视频文件中抽取15帧目标图像，通过对每帧目标图像进行判断，确定有12帧目标图像为全景图像，那么目标图像为全景图像的数量值即为12。

步骤105：如果数量值大于预设的全景阈值，确定目标视频文件为全景视频文件，否则，确定目标视频文件不是全景视频文件。

其中，全景阈值可以根据需求进行设置，该全景阈值的设置与从目标视频文件抽取的目标图像的总数具有对应关系，例如，抽取15帧目标图像，那么设置全景阈值为14；如果抽取20帧目标图像，那么设置全景阈值为18，等等。如果目标图像为全景图像的数量值大于全景阈值，则表明目标视频文件可以作为全景视频文件。也就是说，本实施例中通过对目标视频文件中抽取出的目标图像中全景视频图像所占的比例来对目标视频文件是否为全景视频文件进行判断，从而实现全景视频的识别。

由以上方案可知，本申请实施例一提供的一种全景视频的识别方法，通过对待识别的目标视频文件中的图像是否为全景图像进行判断，从而在判断出属于全景图像的图像帧的数量超过设定的全景阈值时即可确定该目标视频文件为全景视频文件。由此，本实施例中不需要用户人工去判断视频文件的类型，而是通过对视频文件进行自动识别，从而能够明显降低用户操作复杂度，改善用户观看体验。

在一种实现方式中，本实施例在判断目标图像是否为全景图像时，可以通过以下步骤实现，如图2中所示：

步骤201：从目标图像中提取第一列像素和最后一列像素。

如图3中所示，在目标图像X上提取首尾两列像素：第一列像素Y1和最后一列像素Y2。

步骤202：判断第一列像素是否与最后一列像素相似，如果是，执行步骤203，否则，执行步骤204。

在一种实现方式中，步骤202可以通过以下方式实现：

首先，在预设的三个颜色通道上，分别计算第一列像素和最后一列像素的均值和方差，这三个颜色通道可以分别为：红色R通道、绿色G通道和蓝色B通道；

之后，比较这两列像素的均值和方差，获得在均值上的第一差值和在方差上的第二差值；

最终，在经过将以上两个差值与差值阈值进行比较后就可以判断这两列像素是否相似，例如如果第一差值小于预设的第一差值阈值而且第二差值小于预设的第二差值阈值，那么确定第一列像素和最后一列像素相似，否则，就可以确定第一列像素与最后一列像素不相似。

步骤203：生成目标图像为全景图像的判断结果。

步骤204：生成目标图像不是全景图像的判断结果。

由此，由于全景视频的收尾两列像素是具有连续一致性的，因此，在判断出目标图像的第一列像素和最后一列像素相似时，可以确定目标图像为全景图像，而如果两列像素不相似，那么很有可能目标图像不是全景图像。

在一种实现方式中，如图4中所示，本实施例中在步骤105中确定目标视频文件为全景视频文件之后，还可以包括以下步骤：

步骤106：以全景模式播放目标视频文件。

也就是说，本实施例中，不仅不需要用户人工判断目标视频文件的类型，还不需要用户手动去选择播放模式，就可以自动识别出目标视频文件是否为全景视频文件，而且在识别出目标视频文件是全景视频文件时，可以自动触发全景模式来播放目标视频文件，从而进一步减少用户操作，降低用户操作的复杂度，为用户提供更为流畅的使用体验。

参考图5，为本申请实施例二提供的一种全景视频的识别装置的结构示意图，该装置可以适用于具有播放全景视频文件的终端上，如手机、pad、虚拟现实头盔等设备，用于对视频文件是否为全景视频文件进行识别，从而可以采用相应的播放模式播放视频文件。

在本实施例中，该装置可以包括以下结构：

目标确定单元501，用于确定待识别的目标视频文件。

图像抽取单元502，用于抽取所述目标视频文件中的至少一帧目标图像。

图像判断单元503，用于判断所述目标图像是否为全景图像，得到判断结果。

数量获取单元504，用于基于所述判断结果，获取所述目标图像为全景图像的数量值。

全景确定单元505，用于如果所述数量值大于预设的全景阈值，确定所述目标视频文件为全景视频文件，否则，确定所述目标视频文件不是全景视频文件。

由以上方案可知，本申请实施例二提供的一种全景视频的识别装置，通过对待识别的目标视频文件中的图像是否为全景图像进行判断，从而在判断出属于全景图像的图像帧的数量超过设定的全景阈值时即可确定该目标视频文件为全景视频文件。由此，本实施例中不需要用户人工去判断视频文件的类型，而是通过对视频文件进行自动识别，从而能够明显降低用户操作复杂度，改善用户观看体验。

在一种实现方式中，本实施例中的图像判断单元503判断目标图像是否为全景图像时，可以通过以下结构实现，如图6中所示：

像素提取子单元601，用于从所述目标图像中提取第一列像素和最后一列像素。

像素判断子单元602，用于判断所述第一列江苏是否与所述最后一列像素相似，如果是，生成所述目标图像为全景图像的判断结果，否则，生成目标图像不是全景图像的判断结果。

具体的，像素判断子单元602可以通过以下结构实现，如图7中所示：

像素计算模块701，用于在预设的三个通道上，分别计算所述第一列像素和所述最后一列像素的均值和方差，所述三个颜色通道分别为：红色R、绿色G和蓝色B；

差值计算模块702，用于获得所述第一列像素和所述最后一列像素在所述均值上的第一差值和在所述方差上的第二差值；

差值判断模块703，用于基于所述第一差值和所述第二差值，判断所述第一列像素和所述最后一列像素是否相似，如果是，触发第一生成子单元603，否则触发第二生成子单元604。

其中，差值判断模块703具体用于：如果所述第一差值小于预设的第一差值阈值且所述第二差值小于预设的第二差值阈值，则确定所述第一列像素和所述最后一列像素相似，否则，确定所述第一列像素和所述最后一列像素不相似。

第一生成子单元603，用于生成目标图像为全景图像的判断结果。

第二生成子单元604，用于生成目标图像不是全景图像的判断结果。

在一种实现方式中，如图8中所示，本实施例中的装置还可以包括以下结构：

文件播放单元506，用于以全景模式播放所述目标视频文件。

本申请实施例三还提供了一种终端，用于实现图1～图8中所示的全景视频识别方案，以下结合图9所示的流程图，对本实施例中的终端在进行视频识别时的流程进行说明：

首先，从输入视频中均匀提取N帧图像作为判断图像(N>10)，再逐帧进行处理分析，其中，输入视频即为需要判断是否为全景视频的视频文件；

逐帧进行处理分析时，首先从判断图像中提取一帧图像；

其次，从图像中提取首尾两列像素；

之后，分别在R/G/B三个颜色通道上计算这两列像素的均值和方差；

然后通过比较这两列像素的均值和方差，经与阈值比较后判断这两列像素是否相似，由于全景视频的首尾两列像素具有连续一致性，故据此可判断该图像帧是否为全景帧；

重复以上步骤直到所有N帧图像均判断完毕；

最终，若N帧图像中大多数图像帧被判断为全景帧，则可判断该视频为全景视频。

由以上方案中可知，本申请中主要根据全景视频首尾两列像素能够无缝拼接在一起的连续特性，通过判断首尾两列像素的连续性和相似性来识别视频文件是否为全景视频文件。而进一步的，为了防止个别图像帧的干扰，本申请中可以从视频文件中均匀抽取多帧图像进行判断，从而提高识别的准确率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种全景视频的识别方法，其特征在于，包括：

抽取所述目标视频文件中的至少一帧目标图像；

判断所述目标图像是否为全景图像，得到判断结果；

2.根据权利要求1所述的方法，其特征在于，判断所述目标图像是否为全景图像，得到判断结果，包括：

从所述目标图像中提取第一列像素和最后一列像素；

3.根据权利要求2所述的方法，其特征在于，判断所述第一列像素是否与所述最后一列像素相似，包括：

4.根据权利要求3所述的方法，其特征在于，基于所述第一差值和所述第二差值，判断所述第一列像素和所述最后一列像素是否相似，包括：

5.根据权利要求1或2所述的方法，其特征在于，在确定所述目标视频文件为全景视频文件之后，所述方法还包括：

以全景模式播放所述目标视频文件。

6.一种全景视频的识别装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述图像判断单元包括：

8.根据权利要求7所述的装置，其特征在于，所述像素判断子单元包括：

9.根据权利要求8所述的装置，其特征在于，所述差值判断模块具体用于：如果所述第一差值小于预设的第一差值阈值且所述第二差值小于预设的第二差值阈值，则确定所述第一列像素和所述最后一列像素相似，否则，确定所述第一列像素和所述最后一列像素不相似。

10.根据权利要求6或7所述的装置，其特征在于，还包括：

文件播放单元，用于以全景模式播放所述目标视频文件。