CN112565736A - 一种全景视频显示方法及显示设备 - Google Patents

Abstract

本申请公开一种全景视频显示方法及显示设备。本申请中，获取待显示的全景视频中用于进行投影格式检测的全景视频帧；根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项；将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式；根据所述全景视频帧的投影格式确定所述全景视频的投影格式；根据所述全景视频的投影格式，显示所述全景视频。采用本申请可自动确定全景视频的投影格式。

Description

一种全景视频显示方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频显示方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

目前，全景视频播放器根据用户选择的全景视频投影格式进行全景视频播放，如果用户选择的全景视频投影格式与全景视频不匹配，则无法正常播放全景视频，影响用户观看体验。

发明内容

本申请提供了一种全景视频显示方法及显示设备，用以实现选择与全景视频匹配的投影格式进行全景视频显示，进而提升用户感受。

第一方面，提供一种显示设备，包括：

显示器，与控制器连接，被配置为显示全景视频图像；

存储器，与控制器连接，被配置为存储计算机指令；

所述控制器，被配置为根据所述计算机指令执行以下操作：

获取待显示的全景视频中用于进行投影格式检测的全景视频帧；

根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；

确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项；

将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式；

根据所述全景视频帧的投影格式确定所述全景视频的投影格式；

根据所述全景视频的投影格式，显示所述全景视频。

第二方面，提供一种全景视频显示方法，包括：

获取待显示的全景视频中用于进行投影格式检测的全景视频帧；

根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；

确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项；

将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式；

根据所述全景视频帧的投影格式确定所述全景视频的投影格式；

根据所述全景视频的投影格式，显示所述全景视频。

第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上述第二方面的方法。

本申请的上述实施例中，基于待显示的全景视频中的全景视频帧来确定该全景视频的投影格式，从而实现了自动确定全景视频的投影格式。其中，在确定投影格式时，根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；确定划分得到的图像分区间的关联特征(所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项)；将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式，使得确定出的投影格式与该视频帧相匹配，提高了用户感受。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图；

图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图；

图3中示例性示出了本申请实施例中的ERP投影示意图；

图4中示例性示出了本申请实施例中的CMP以及EAC投影示意图；

图5中示例性示出了本申请实施例中的ERP片源示意图；

图6中示例性示出了本申请实施例中的CMP1片源示意图；

图7中示例性示出了本申请实施例中的CMP2片源示意图；

图8中示例性示出了本申请实施例中的CMP3片源示意图；

图9中示例性示出了本申请实施例中的EAC片源示意图；

图10中示例性示出了根据示例性实施例提供的全景视频显示方法的流程示意图；

图11中示例性示出了根据示例性实施例中的上下重复的3D全景视频帧示意图；

图12中示例性示出了根据示例性实施例中的左右重复的3D全景视频帧示意图；

图13中示例性示出了根据示例性实施例提供的全景视频显示方法的流程示意图；

图14中例性示出了根据示例性实施例中的CMP1/CMP2分区示意图；

图15中例性示出了根据示例性实施例中的CMP3/EAC/ERP分区示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例提供一种全景视频字幕显示方法以及显示设备。所述显示设备可以是头戴式显示设备、智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。

以虚拟现实(Virtual Reality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102，其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。

图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、外部装置接口240、存储器260、用户接口265、视频处理器270、显示器275、音频处理器280、音频输出接口285、供电电源290。

显示器275，用于接收源自处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件，比如可以呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。显示器275包括用于呈现画面的显示屏组件，根据显示器275类型不同，还包括用于驱动显示的驱动组件。显示器275可以是一种投影显示器，还可以包括投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

用户接口265可用于接收控制装置100(如：红外遥控器等)红外控制信号。

检测器230是显示设备200用于采集外部环境或与外部交互的信号。检测器230包括光接收器、图像采集器、温度传感器等。检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。

如图2所示，第一接口(输入/输出接口)255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

外部装置接口240可以包括但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

如图2所示，调谐解调器210被配置为通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

ROM 252用于存储各种系统启动的指令。

ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic InputOutput System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在收到开机信号时，显示设备200电源开始启动，CPU运行ROM 252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

CPU处理器254用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器254可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

图形处理器253用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。视频解码模块用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

全景视频是一种在三维空间中观看的具有360度观看视角的交互类视频，而传统的视频存储方式是存储为二维平面的形式。这种将全景视频转换到二维平面的过程称为投影。投影格式的种类有很多种，各有优缺点，目前主要使用的投影格式包括但不限于等矩柱状投影(Equirectangular Projection，ERP)格式、立方体贴图投影(CubeMap，CMP)格式、等角度立方体贴图投影(Equi-Angular Cubemap projection，EAC)格式。其中CubeMap格式又可以细分为三种子类。不同投影格式的全景视频渲染显示的实现方式各不相同。

下面首先对不同投影格式对应的投影方式进行介绍。

ERP是目前应用最为广泛的一种全景视频投影方式。这种投影方式将地球的经线映射成间距相等的垂直线，将地球的纬线映射成间距相等的水平线，则可生成一幅横纵比为2∶1的地图。图3示例性示出了等距柱状投影的示意图。

CMP是将球面图像内容投影到其外切立方体的6个面上，然后将立方体6个面展开成平面图像进行存储。按照立方体6个面展开组织的不同，CMP可以细分为3种子类，分别称为CMP1、CMP2和CMP3。图4示例性示出了CMP1、CMP2和CMP3投影示意图。如图4所示，将球面图像内容投影到其外切立方体的6个面(如图4中所示的上、下、前、后、左、右6个面)上。在CMP1投影方式中，在包含4*3个分区的平面图像中，该6个面的图像在该平面图像中的排列位置、图像方向如图4所示；在CMP2投影方式中，在包含4*3个分区的平面图像中，该6个面的图像在该平面图像中的排列位置、图像方向如图4所示；在CMP3投影方式中，在包含3*2个分区的平面图像中，该6个面的图像在该平面图像中的排列位置、图像方向如图4所示。

EAC是

所提出的进一步优化CMP投影的格式，方法是更改优化投影时的采样点位置，使得边角与中心的像素密度相等，所以EAC其实也是CMP投影方式的一种，由于一般单独作为一种投影方式进行讨论，所以也将EAC单独作为一种投影格式，EAC投影立方体的6个面展开和组织方式与常规CMP投影方式有所区别。图4还示例性示出了EAC投影示意图。在EAC投影方式中，在包含3*2个分区的平面图像中，该6个面的图像在该平面图像中的排列位置、图像方向如图4所示。

图5至图9分别示出了ERP、CMP1、CMP2、CMP3、EAC的片源的示意图。其中，图中的″上″″下″″前″″后″″左″″右″分别对应球面图像内容投影到其外切立方体的6个面，且文字方向用于表示相应面的方向。

由于图像都是以平面矩形存储的，所以为了保证图像完整性，CMP1和CMP2投影方式的6个立方体面以外的部分一般都用纯色填充。对于图像来说，如果相邻像素之间存在差别明显的颜色、亮度、纹理等属性，会认为它们之间存在一条边界。

如图5所示，ERP投影方式中，ERP投影图像整体是没有边界的，即图像是连续的。

如图6所示，CMP1投影方式中，平面图像的右上方区域601和右下方区域602为纯色填充区域(如图中虚线框中的白色区域)；

如图7所示，CMP2投影方式中，平面图像的左上区域701、左下区域702、右上区域703、右下区域704为纯色填充区域(如图中虚线框中的白色区域)；

如图8所示，CMP3投影方式中，各个面的图像间都有明显的边界；

如图9所示，EAC投影方式中，第一行三个图像块的图像连续，各自之间没有边界，第二行三个图像块的图像也连续，各自之间也没有边界。

如图5至图9所示，不同投影格式的片源图像中，各个面的图像的连续性以及纯色区域的分布规律存在差异，因此本申请的一些实施例通过图像连续性以及纯色区域的分布规律来判断全景视频的不同投影方式。

参见图10，为本申请实施例提供的一种全景视频显示方法的流程示意图。该流程可由显示设备执行，该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图所示，该流程包括以下几步：

S1001：获取待显示的全景视频中用于进行投影格式检测的全景视频帧。

其中，可获取全景视频中的任意一帧作为用于进行投影格式检测的全景视频帧。

在一种应用场景中，当用户请求播放一个全景视频时，显示设备在显示该全景视频前，可首先获取该全景视频中的某个全景视频帧，使用该全景视频帧检测该全景视频的投影格式，并在检测得到投影格式后，根据该投影格式播放该全景视频。

S1002：根据与至少两个候选投影格式对应的图像分区方式，对该全景视频帧进行图像分区划分。

如图4所示，对于CMP1格式和CMP2格式，其片源图像可以划分为3*4个图像分区，其中的6个图像分区分别对应于球面图像内容投影到其外切立方体的6个面，因此，在检测该全景视频帧的投影格式是否是CMP1格式或CMP2格式时，可根据CMP1格式和CMP2格式对应的第一图像分区方式，将该全景视频帧划分为3行4列图像分区。

如图4所示，对于CMP3格式、EAC格式以及ERP格式，其片源图像可以划分为2*3个图像分区，该6个图像分区分别对应于球面图像内容投影到其外切立方体的6个面，因此，在检测该全景视频帧的投影格式是否是CMP3格式、EAC格式或ERP格式时，可根据CMP3格式、EAC格式以及ERP格式对应的第二图像分区方式，将该全景视频帧划分为2行3列图像分区。

S1003：确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项。

本申请实施例中，图像分区间的图像连续性特征可用图像分区间的像素梯度来表征。比如，图像分区间的图像连续性特征可包括：至少两个相邻图像分区交界处的一列像素中各像素的梯度绝对值均值是否小于设定阈值，若两个相邻图像分区交界处的一列像素中各像素的梯度绝对值均值小于设定阈值，则表两个相邻图像分区的图像连续。

在一些实施例中，可通过如下方法确定相邻图像分区交界处的一列像素中各像素梯度：取相邻两个图像分区交界处的一列像素，对于该列像素中的每个像素，计算其在×方向和y方向两个方向上与相邻像素相比的变化率，得到一个二维向量，该二维向由2个分量组成，即X轴的变化、Y轴的变化。其中，X轴的变化是指当前像素右侧(X加1)的像素值减去当前像素左侧(X减1)的像素值。同理，Y轴的变化是当前像素下方(Y加1)的像素值减去当前像素上方(Y减1)的像素值。计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。将该列像素中每个像素的图像梯度的绝对值相加再取平均值，即得到该列像素的梯度绝对值均值。

当然，还可以采用其他梯度计算方法，本申请实施例对此不做限制。

本申请实施例中，所述图像分区颜色特征，包括：至少一个图像分区是否被纯色填充。

对于候选投影格式为CMP1格式和CMP2格式，如果在S1002中将该全景视频帧划分为3行4列图像分区，则在S1003中，可确定所述3行4列图像分区中指定位置上的至少一个图像分区的颜色特征。其中，CMP1格式和CMP2格式在所述至少一个图像分区中的投影面位置不同，所述投影面位置是指将球面全景视频图像投影到外切立方体的6个面上后被展开成平面图像中，所述6个面的所在位置。

举例来说，所述指定位置上的至少一个图像分区包括第一组图像分区和第二组图像分区中至少一组图像分区，所述第一组图像分区至少包括第一行图像分区中的第二列到第四列图像分区，所述第二组图像分区至少包括第三行图像分区中的第二列到第四列图像分区。对于CMP1格式，上述三个图像分区均为纯色(即图像分区内的像素颜色值均相同)，对于CMP2格式，上述三个图像分区中仅有2个图像分区为纯色，因此可以基于该三个图像分区的颜色特征区分出CMP1格式和CMP2格式。

再例如，所述指定位置上的至少一个图像分区包括第一组图像分区和第二组图像分区中至少一组图像分区，所述第一组图像分区至少包括第一行图像分区中的第一列图像分区，所述第二组图像分区至少包括第三行图像分区中的第一列图像分区。对于CMP1格式，上述一个图像分区未被填充为纯色，对于CMP2格式，上述一个图像分区被填充为纯色，因此可以基于该图像分区的颜色特征区分出CMP1格式和CMP2格式。

当然，所述指定位置并不局限与上述位置，只要通过判断指定位置上的图像分区是否被纯色填充，就能够区分出CMP1格式和CMP2格式，均在本申请的保护范围内。

对于候选投影格式为CMP3格式、EAC格式以及ERP格式中的至少两个，如果在S1002中将该全景视频帧划分为2行3列图像分区，则在S1003中，可确定第一图像分区与水平方向相邻的第二图像分区间的图像连续性特征，以及所述第一图像分区与垂直方向上相邻的第三图像分区间的图像连续性特征，所述第一图像分区为所述2行3列图像分区中的任一图像分区。

当然，对于上述2行3列图像分区，也可以确定每个图像分区与水平方向相邻的第二图像分区间的图像连续性特征，以及每个图像分区与垂直方向上相邻的第三图像分区间的图像连续性特征，本申请实施例对此不做限制。

S1004：将S1003确定出的图像分区间的关联特征，分别与上述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定该全景视频帧的投影格式。

对于候选投影格式为CMP1格式和CMP2格式，若在S1003中，确定出3行4列图像分区中指定位置上的图像分区的颜色特征，其中，所述指定位置上的至少一个图像分区包括第一组图像分区和第二组图像分区中至少一组图像分区，所述第一组图像分区至少包括第一行图像分区中的第二列到第四列图像分区，所述第二组图像分区至少包括第三行图像分区中的第二列到第四列图像分区，则在S1004中，若上述三个图像分区被纯色填充，则确定该全景视频帧的投影格式为CMP1格式；否则，确定全景视频帧的投影格式为CMP2格式。

对于候选投影格式为CMP3格式、EAC格式以及ERP格式中的至少两个，若在S1003中，确定出第一图像分区与水平方向相邻的第二图像分区间的图像连续性特征，以及第一图像分区与垂直方向上相邻的第三图像分区间的图像连续性特征，则在S1004中，若第一图像分区与第二图像分区的图像不连续，则确定该全景视频帧的投影格式为CMP3格式；若第一图像分区与第二图像分区的图像连续，且第一图像分区与第三图像分区的图像不连续，则确定该全景视频帧的投影格式为EAC格式；若第一图像分区与第二图像分区的图像连续，且第一图像分区与第三图像分区的图像连续，则确定该全景视频帧的投影格式为ERP格式。

S1005：根据该全景视频帧的投影格式确定该全景视频的投影格式。

该步骤中，可将根据该全景视频帧检测得到的投影格式，作为该全景视频的投影格式。

S1006：根据该全景视频的投影格式，显示该全景视频。

本申请的上述实施例中，通过对待显示的全景视频的视频帧的投影格式进行检测，实现了对全景视频投影格式的自动识别，从而可以简化用户操作，提高用户观看感受。

需要说明的是，上述实施例是以CMP格式、EAC格式以及ERP格式为例描述的，对于其他投影格式，也可采用本申请实施例提供的原理进行检测，本申请实施例对此不做限制。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频，还可适用于显示在线(包括点播和直播两种模式)的全景视频。

在一些实施例中，3D全景视频在上下或者左右方向具有重复性。图11示例性示出了上下重复的3D全景视频帧，图12示例性示出了左右重复的3D全景视频帧。因此可将视频帧沿水平中线分割为上下两个图像：图像A和图像B，判断图像A和图像B的相似度，若相似度大于设定的阈值，则可以判定该视频帧为上下重复的3D全景视频帧；若将视频帧沿垂直中线分割为上下两个图像：图像A和图像B，判断图像A和图像B的相似度，若相似度大于设定的阈值，则可以判定该视频帧为左右重复的3D全景视频帧。其中，所述阈值可根据情况预先设置，本申请实施例对此不做限制。其中，对于图像相似度的计算方法，本申请实施例不做限制。

进一步地，若判定为上下重复的3D全景视频帧，则可取上部或下部的图像(即取图像A或图像B)，按照图10所示的方法检测该全景视频帧的投影格式；若判定为左右重复的3D全景视频帧，则可取左侧或右侧的图像(即取图像A或图像B)，按照图10所示的方法检测该全景视频帧的投影格式。

在一些情况下，全景视频的内容也可能在某一帧存在不连续的边界，因此仅根据一个视频帧来检测全景视频的投影格式可能存在误差。为例避免或减小误差，本申请实施例中，可按一定的比例，在整个视频(即视频帧序列)中获取若干视频帧(比如按照等时长获取若干视频帧)进行投影格式检测，并根据这些视频帧的检测结果确定整个视频的投影格式。

具体地，在S1001中，可根据设定间隔，获取待显示的全景视频中用于进行投影格式检测的至少两个全景视频帧；在S1002至S1004中，分别确定上述选取出的每个视频帧的投影格式；在S1005中，根据上述选取的每个全景视频帧的投影格式，确定整个全景视频的投影格式。

可选地，在根据每个全景视频帧的投影格式确定整个全景视频的投影格式时，若判断每个视频帧的检测结果(投影格式)都相同，则可将该投影格式作为整个全景视频的投影格式；也可以在判断上述这些视频帧的检测结果中，超过设定阈值数量的视频帧的检测结果相同，则可将这些视频帧的投影格式作为整个全景视频的投影格式。

基于上述一个或多个实施例，图13示例性示出了全景视频显示流程的一个示例。如图所示，该流程可包括如下步骤：

S1301：获取待播放的全景设备，并获取该全景视频中的N个(N为大于1的整数)视频帧，该N个视频帧等间隔。

该步骤中，可首先获取全景视频的时长L，将全景视频等分为N份，每份时长为L/N，按照每份时长L/N顺序读取N个视频帧，该N个视频帧用于检测投影格式。

当然，也可以按照其他规则从该全景视频中获取N个视频帧，该N个视频帧的间隔可以不相等，本申请实施例对获取视频帧的规则不做限制。

S1302：确定N个视频帧的图像重复方式。

该步骤中，将视频帧掩水平中线分割为两个图像，如果该两个图像的相似度大于设定阈值，则确定该视频帧上下重复；将视频帧掩垂直中线分割为两个图像，如果该两个图像的相似度大于设定阈值，则确定该视频帧左右重复。

S1303：根据重复方式获取N个视频帧中的第一区域图像，称为第一图像，每个视频帧中的第一图像将被用来检测投影格式。

该步骤中，对于图像上下重复的视频帧，可将上部或下部的图像作为第一图像来检测投影格式；对于图像左右重复的视频帧，可将左侧或右侧的图像作为第一图像来检测投影格式。

S1304：初始化变量i＝1。

N个视频帧可从1开始编号，视频帧i表示第i个视频帧。

S1305：将视频帧i中的第一图像划分为3*4个图像分区，并取其中的分区1、分区2、分区3。

该步骤中将第一图像等分为3行4列共12个图像分区，如图14所示。取第一图像UV坐标范围为(1/4，2/3)至(1.0，1.0)的图像分区(即分区1，2，3)。图14中的每个方框对应一个分区，方框中的数字为分区的编号。

S1306：判断分区1、分区2、分区3的像素颜色是否相同，若相同，则转入S1307，否则转入S1308。

该步骤中，可逐像素判断分区1、分区2、分区3内的图像RGB值是否都相同，即判断上述区域是否为纯色。

S1307：确定视频帧i的投影格式为CMP1。

S1308：判断分区2、分区3的像素颜色是否相同，若相同，则转入S1309，否则转入S1310。

该步骤中，取第一图像UV坐标范围为(1/2，2/3)至(1.0，1.0)的图像分区(即分区2，3)，逐像素判断该分区2、分区3内的图像RGB值是否都相同，即判断分区2、分区3是否为纯色。

S1309：确定视频帧i的投影格式为CMP2。

S1310：将视频帧i中的第一图像划分为2*3个图像分区。

该步骤中，将第一图像等分为3行4列共12个图像分区，如图15所示。图15中的每个方框对应一个分区，方框中的数字为分区的编号。

S1311：判断视频帧i中的第一图像中的分区0、分区1的图像是否连续，若不连续，则转入S1312，否则转入S1313。

该步骤中，为了减少计算量，本例子中只取两个分区进行判断。可采样获取分区0和分区1边界处的一列像素，计算这一列各像素的梯度值，然后计算平均梯度。若平均梯度大于设定的阈值，说明分区0和分区1不连续，则可确定投影格式为CMP3。

S1312：确定视频帧i的投影格式为CMP3。

S1313：判断视频帧i中的第一图像中的分区0、分区3的图像是否连续，若不连续，则转入S1314，否则转入S1315。

该步骤中，采样获取分区0和分区3边界处的一行像素，计算这一行各像素的梯度值，然后计算平均梯度。若平均梯度大于设定的阈值，说明分区0和分区3不连续，则可确定投影格式为EAC。若分区0和分区3连续，则可确定投影格式为ERP。

S1314：确定视频帧i的投影格式为EAC。

S1315：确定视频帧i的投影格式为ERP。

S1316：设置变量i＝i+1，以对下一个视频帧进行投影格式检测。

S1317：判断i+1是否大于N，若小于N，表明还有视频帧尚未检测投影格式，因此返回S1305，从而对下一个视频帧检测投影格式；否则，转入S1308。

S1318：根据N个视频帧的投影格式确定全景视频的投影格式。

S1319：按照确定出的投影格式播放全景视频。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，与控制器连接，被配置为显示全景视频图像；

存储器，与控制器连接，被配置为存储计算机指令；

所述控制器，被配置为根据所述计算机指令执行以下操作：

获取待显示的全景视频中用于进行投影格式检测的全景视频帧；

根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；

确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项；

将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式；

根据所述全景视频帧的投影格式确定所述全景视频的投影格式；

根据所述全景视频的投影格式，显示所述全景视频。

2.如权利要求1所述的显示设备，其特征在于，所述图像分区间的图像连续性特征，包括：

至少两个相邻图像分区交界处的一列像素中各像素的梯度绝对值均值是否小于设定阈值，若两个相邻图像分区交界处的一列像素中各像素的梯度绝对值均值小于设定阈值，则表明所述两个相邻图像分区的图像连续。

3.如权利要求1所述的显示设备，其特征在于，所述图像分区颜色特征，包括：

至少一个图像分区是否被纯色填充。

4.如权利要求1-3任一项所述的显示设备，其特征在于，所述控制器执行根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分，被具体配置为：

根据第一立方体贴图投影CMP1格式和第二立方体贴图投影CMP2格式对应的第一图像分区方式，将所述全景视频帧划分为3行4列图像分区。

5.如权利要求4所述的显示设备，其特征在于，所述控制器执行确定划分得到的图像分区间的关联特征，被具体配置为：

确定所述3行4列图像分区中指定位置上的至少一个图像分区的颜色特征，其中，所述CMP1格式和所述CMP2格式在所述至少一个图像分区中的投影面位置不同，所述投影面位置是指将球面全景视频图像投影到外切立方体的6个面上后被展开成平面图像中，所述6个面的所在位置。

6.如权利要求5所述的显示设备，其特征在于，所述指定位置上的至少一个图像分区包括第一组图像分区和第二组图像分区中至少一组图像分区，所述第一组图像分区至少包括第一行图像分区中的第二列到第四列图像分区，所述第二组图像分区至少包括第三行图像分区中的第二列到第四列图像分区；

所述控制器执行将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式，被具体配置为：

若所述三个图像分区被纯色填充，则确定所述全景视频帧的投影格式为所述CMP1格式；否则，确定所述全景视频帧的投影格式为所述CMP2格式。

7.如权利要求1-3任一项所述的显示设备，其特征在于，所述控制器执行根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分，被具体配置为：

根据第三立方体贴图投影CMP3格式、等角度立方体贴图投影EAC格式以及等矩柱状投影ERP格式对应的第二图像分区方式，将所述全景视频帧划分为2行3列图像分区。

8.如权利要求7所述的显示设备，其特征在于，所述控制器执行确定划分得到的图像分区间的关联特征，被具体配置为：

确定第一图像分区与水平方向相邻的第二图像分区间的图像连续性特征，以及所述第一图像分区与垂直方向上相邻的第三图像分区间的图像连续性特征，所述第一图像分区为所述2行3列图像分区中的任一图像分区；

所述将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式，包括：

若所述第一图像分区与所述第二图像分区的图像不连续，则确定所述全景视频帧的投影格式为所述CMP3格式；

若所述第一图像分区与所述第二图像分区的图像连续，且所述第一图像分区与所述第三图像分区的图像不连续，则确定所述全景视频帧的投影格式为所述EAC格式；

若所述第一图像分区与所述第二图像分区的图像连续，且所述第一图像分区与所述第三图像分区的图像连续，则确定所述全景视频帧的投影格式为所ERP格式。

9.如权利要求1所述的显示设备，其特征在于，所述控制器执行获取待显示的全景视频中用于进行投影格式检测的全景视频帧，被具体配置为：

根据设定间隔，获取待显示的全景视频中用于进行投影格式检测的至少两个全景视频帧；

所述根据所述全景视频帧的投影格式确定所述全景视频的投影格式，包括：

根据所述至少两个全景视频帧中的每个全景视频帧的投影格式，确定所述全景视频的投影格式。

10.一种全景视频显示方法，其特征在于，包括：

获取待显示的全景视频中用于进行投影格式检测的全景视频帧；

根据与至少两个候选投影格式对应的图像分区方式，对所述全景视频帧进行图像分区划分；

确定划分得到的图像分区间的关联特征，所述关联特征包括图像分区间的图像连续性特征以及图像分区颜色特征中的至少一项；

将所述图像分区间的关联特征分别与所述至少两个候选投影格式对应的图像分区间的关联特征进行匹配，确定所述全景视频帧的投影格式；

根据所述全景视频帧的投影格式确定所述全景视频的投影格式；

根据所述全景视频的投影格式，显示所述全景视频。

Images