CN114500970B - 一种全景视频图像处理、显示方法及设备 - Google Patents

Abstract

本申请实施例提供一种全景视频图像处理、显示方法及设备。全景视频图像处理方法包括：分别根据各用户视点朝向在创建的三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；根据网格与全景视频图像分块间的对应关系，确定各用户视点朝向的可视区域内的网格；分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，确定相应视点区域对应的全景视频图像分块列表，从而在全景视频显示时，提高全景视频的显示速度。

Description

一种全景视频图像处理、显示方法及设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频图像处理、显示方法及设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

全景视频的显示可采用视场角(Field Angle of View，FOV)传输方案，FOV传输方案主要关注当前用户视点朝向的可视区域画面的质量，一般对全景图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据用户视点传输相应分块的视频流，解码后显示。由于FOV传输方案将全进视频切割为若干分块，当显示设备进行全景视频播放时，加载位于当前帧对应的用户视点朝向的可视区域内的视频分块并播放，需要在每一帧实时计算可视区域内所覆盖的视频分块，计算量较大，导致实时计算影响系统性能，从而进一步影响全景视频的播放效果，用户体验较差。

发明内容

本申请提供了一种全景视频图像处理、显示方法及设备，用以便捷、快速的获取视点区域内的全景视频图像分块，从而提高全景视频的显示速度，进而提升用户感受。

本申请的一些实施例提供一种服务器，包括：

显示器，与处理器连接，被配置为显示全景视频图像；

存储器，与处理器连接，被配置为存储计算机指令；

处理器，被配置为根据计算机指令执行以下操作：

创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；

确定各用户视点朝向的可视区域内的网格；

根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；

分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。

第二方面，本申请实施例提供一种显示设备，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取用户视点朝向在三维全景视频球面网格上的视点投影位置；

根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；

根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；

根据获取的全景视频图像分块，渲染并显示三维全景视频图像。

第三方面，本申请实施例提供一种全景视频图像处理方法，包括：

创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；

确定各用户视点朝向的可视区域内的网格；

根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；

分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。

第四方面，本申请实施例提供一种全景视频图像显示方法，包括：

获取用户视点朝向在三维全景视频球面网格上的视点投影位置；

根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；

根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；

根据获取的全景视频图像分块，渲染并显示三维全景视频图像。

第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的全景视频图像处理、显示方法。

本申请的上述实施例中，创建与二维全景视频图像中全景视频图像分块相对应的三维全景视频球面网格；分别根据各用户视点朝向在三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；根据网格与全景视频图像分块间的对应关系，确定各用户视点朝向的可视区域内的网格，其中，视点区域是通过对全景视频区域划分得到的；分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，确定相应视点区域对应的全景视频图像分块列表，从而在全景视频显示时，直接根据用户视点的视点投影位置所在的视点区域对应的全景视频图像分块列表，从服务器下载对应的全景视频图像分块，提高全景视频的显示速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图；

图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图；

图3中示例性示出了本申请实施例提供的视点区域划分示意图；

图4中示例性示出了本申请实施例提供的全景视频图像处理方法流程图；

图5中示例性示出了本申请实施例提供的二维全景视频图像中全景视频图像分块示意图；

图6中示例性示出了本申请实施例提供的三维全景视频球面网格示意图；

图7示例性示出了本申请实施例提供的确定用户视点朝向的可视区域内的网格的示意图；

图8中示例性示出了本申请实施例提供的二维平面矩形网格示意图；

图9a和图9b示例性示出了本申请实施例提供的三维全景视频图像和二维全景视频图像间的映射关系图；

图10中示例性示出了本申请实施例提供的全景视频图像显示方法流程图；

图11中示例性示出了本申请实施例提供的服务器的硬件结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

以虚拟现实(Virtual Reality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102，其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。

需说明的是，本申请实施例中的显示设备还可以是智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。以显示设备为智能电视为例，图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。根据显示器275类型不同，还包括用于驱动显示的驱动组件。

在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。

在一些实施例中脸测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器等。

在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。

在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(RandomAccess Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种系统启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

在一些实施例中，CPU处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。

显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，全景视频的显示可采用FOV传输方案。FOV传输方案是基于用户视点传输全景视频图像的方案，主要关注当前用户视点对应的可视区域内画面的高质量传输。FOV传输方案对全景视频图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据当前用户视点的视点投影位置所在的视点区域传输相应全景视频图像分块的视频流，解码后显示。由于FOV传输方案将全景视频图像切割为若干分块，当显示设备进行全景视频播放时，需要实时计算每一视频对应的视点区域所覆盖的全景视频图像分块，实时计算量较大，影响系统性能，从而进一步影响全景视频的播放效果，用户体验较差；且无法直观显示三维全景视频图像和二维全景视频图像间的映射关系。

基于上述分析，本申请实施例提供一种全景视频图像处理、显示方法及设备。该方法用于确定各用户视点朝向的视点投影位置所在的视点区域对应的全景视频图像分块列表，在全景视频显示时，根据用户视点的视点投影位置所在的视点区域对应的全景视频图像分块列表，下载全景视频图像分块，无需实时计算视点区域与全景视频图像分块列表的映射关系，提高了全景视频的显示速度，可以解决用户视点朝向改变时，相应的视点区域未能在短时间内快速加载全景视频图像分块而造成数据缺失的问题，进而提升用户体验；且该方法可以同时显示用户视点朝向在三维全景视频球面网格上的可视区域，以及可视区域在二维平面矩形网格中相应顶点的投影，便于分析三维全景视频图像和二维全景视频图像间的映射关系。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频，还可适用于显示在线(包括点播和直播两种模式)的全景视频。

为清楚描述本申请的实施例，对本申请中的名词进行解释。

三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。

下面结合附图对本申请实施例进行详细描述。

本申请的一些实施例中，预先对全景视频图像进行区域划分，得到多个视点区域。如图3所示，以划分16个视点区域为例，每个视点区域对应一个区域标识，并记录每个视点区域的经纬度范围。

图4中示例性示出了本申请实施例提供的全景视频图像处理方法流程图。该流程可由服务器执行，该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图所示，该流程包括以下几步：

S401：创建三维全景视频球面网格，三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应。

本申请的一些实施例中，将二维全景视频图像划分为32个全景视频图像分块，每个全景视频图像分块对应一个分块标识，如图5所示。创建一个包含32个网格的三维全景视频球面网格，如图6所示，三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应，即三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块的数量相等，经纬度跨度相同。针对每个网格，在网格左上角和左下角顶点之间按照等纬度间隔进行插值，左上角和右上角顶点之间按照等经度间隔进行插值，得到多个顶点，每个网格由多对三角形组成。

S402：分别根据各用户视点朝向，获取各用户视点朝向在三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域。

该步骤中，可创建第一虚拟相机(相当于用户的眼睛，也称为用户视点)用于确定显示三维全景视频图像的空间范围，虚拟相机的朝向即用户视点的朝向。虚拟相机可创建于三维全景视频球面网格的中心，第一虚拟相机设置为透视投影，并设置第一虚拟相机的垂直方向和水平方向的视场角，视场角的大小影响用户视点朝向的可视范围(也称为第一虚拟相机的视景体)。各用户视点朝向在三维全景视频球面网格上的投影点记为视点投影位置，获取各视点投影位置在三维全景视频球面上的经纬度，根据预先划分的可视区域的经纬度范围，确定各视点投影位置所在的可视区域，得到各用户视点朝向的可视区域。

S403：确定各用户视点朝向的可视区域内的网格。

该步骤中，遍历三维全景视频球面网格内的每个网格，判断每个网格内的各顶点是否在第一虚拟相机的视景体内，即判断每个网格内的各顶点是否在用户视点朝向的可视区域内，若每个网格内的各顶点中至少有一个顶点在第一虚拟相机的视景体内，则表明该网格位于相应用户视点朝向的可视区域内。

以确定第一用户视点朝向的可视区域内的网格为例，其中，第一用户视点朝向为各用户视点朝向的任一个。如图7所示，第一用户视点朝向可视区域(即第一虚拟相机的视景体)为一个四棱锥，距离第一虚拟相机(用户视点)最近的平面为近裁剪面，距离第一虚拟相机最远的平面为远裁剪面。远裁剪面和近裁剪面是渲染引擎为了提升渲染效率，对于距离第一虚拟相机的距离小于第一虚拟相机与近裁剪面的距离的物体不进行渲染，和/或，对于距离第一虚拟相机的距离大于第一虚拟相机与远裁剪面的距离的物体不进行渲染。具体实施时，获取第一用户视点朝向的可视区域的4个平面，不包含远裁剪面和近裁剪面，分别判断三维全景视频球面网格内的各顶点是否位于4个平面的正上方(即4个平面的法线方向)，若是，则确定相应的顶点在第一用户视点朝向的可视区域内，即相应的顶点在第一虚拟相机的视景体内，将相应顶点所在的网格，确定为第一用户视点朝向的可视区域内的网格。比如图7所示的，顶点P1所在的网格为第一用户视点朝向的可视区域内的网格。

在本申请的另一些实施例中，还可根据顶点的视口坐标确定各用户视点朝向的可视区域内的网格。以第一网格内的第一顶点为例，获取第一顶点在三维全景视频球面网格上的经纬度坐标，将第一顶点的经纬度坐标转换为世界坐标，并将第一顶点的世界坐标转换为视口坐标，若第一顶点的视口坐标的横纵坐标值均大于0且小于1，则说明第一顶点在第一用户视点朝向的可视区域内，即第一顶点在第一虚拟相机的视景体内，将第一顶点所在的第一网格确定为第一用户视点朝向的可视区域内的网格。

S404：根据三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表。

该步骤中，由于三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应，根据网格与全景视频图像分块间的对应关系，可分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表。比如，第一用户视点朝向的可视区域内的网格编号为10、11、12、18、19、20，对应二维全景视频图像中的分块编号为10、11、12、18、19、20的全景视频图像分块，第一用户视点朝向对应的全景视频图像分块列表为10、11、12、18、19、20。

S405：分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，视点区域是通过对全景视频区域划分得到的。

以确定第一视点区域对应的全景视频图像分块列表为例，第一视点区域为各视点区域中的任一视点区域，在步骤S405中，获取第一视点区域内的中心点对应的用户视点朝向，将中心点对应的用户视点朝向对应的全景视频图像分块列表确定为第一视点区域对应的全景视频图像分块列表。

在另一些实施例中，在步骤S405中，还可获取第一点区域内的左上、左下、右上、右下四个角点(用户视点)对应的四个用户视点朝向，将四个用户视点朝向对应的四个全景视频图像分块列表的并集确定为第一视点区域对应的全景视频图像分块列表。

本申请的实施例对确定各视点区域对应的全景视频图像分块列表不做限制性描述，比如，还可将左上角点和右下角点对应的2个用户视点朝向对应的2个全景视频图像分块列表的并集确定为第一视点区域对应的全景视频图像分块列表。

在一些实施例中，用户观看全景视频时，眼睛的注意力主要集中在可视区域的中心位置，边缘位置的全景视频图像分块处于用户双眼的余光中，如果边缘位置的全景视频图像分块也被加载，则会增加网络传输的带宽和编解码的数据量，降低渲染帧率，影响用户体验，因此，可不去加载边缘位置处的全景视频图像分块以提升用户体验。

以得到第一用户视点朝向的可视区域对应的全景视频图像分块列表为例，确定第一用户视点朝向的可视区域内第一网格的可见部分与第一网格的面积占比，根据第一用户视点朝向的可视区域内面积占比大于设定阈值的网格，以及三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块间的对应关系，确定第一用户视点朝向的可视区域对应的全景视频图像分块列表。

举例来说，第一用户视点朝向的可视区域内的网格编号为10、11、12、18、19、20，设定面积占比的阈值为m网格编号为10的网格与相应可视区域的面积占比小于或等于m，则表明网格10在第一用户视点朝向的可视区域内的面积较小，可能位于可视区域的边缘位置，则网格10从可视区域内舍弃，即网格10对应的全景视频图像分块10不被添加到第一用户视点朝向的可视区域对应的全景视频图像分块列表中；而网格编号为12的网格与相应可视区域的面积占比大于m，则表明网格12位于第一用户视点朝向的可视区域内的面积较大，将网格12对应的全景视频图像分块12添加到第一用户视点朝向的可视区域对应的全景视频图像分块列表中。

下面以第一用户视点朝向的可视区域内的第一网格为例，描述第一网格与第一用户视点朝向的可视区域的面积占比的确定过程，其中，第一网格为第一用户视点朝向的可视区域内的任一网格。分别判断第一网格中的各顶点是否在第一用户视点朝向的可视区域内，若至少有一个顶点在第一用户视点朝向的可视区域内，表明第一网格在第一用户视点朝向的可视区域内。在三维全景视频球面网格中，每条经线组成的圆周长相同，而且纬线组成的圆周长随着纬度的增大而减小。由于每个网格是按照顶点等纬度跨度排列的，也就是说，每条纬线的顶点数相同，随着纬度的增大，纬线上的顶点密度也越大。因此，可通过纬线的圆周长(即纬线长度)加权统计第一用户视点朝向的可视区域内的第一网格的顶点的加权值。具体的，可分别根据至少一个顶点在三维全景视频球面网格上对应纬线的纬线长度以及第一网格的基准纬线长度，确定至少一个顶点在第一用户视点朝向的可视区域内的加权值，再确定至少一个顶点在第一用户视点朝向的可视区域内的加权值之和，与第一网格内所有顶点的加权值之和的比值，得到第一用户视点朝向的可视区域内第一网格的可见部分与第一网格的面积占比。其中，至少一个顶点中的每个顶点在第一用户视点朝向的可视区域内的加权值大于0。

以第一网格中的第一顶点在第一用户视点朝向的可视区域内为例，说明确定第一顶点的加权值过程，其中，第一顶点为第一网格的至少一个顶点中的任一个。预先设定第一网格的基准纬线，可以设定第一网格的下边界为基准纬线，基准纬线上的顶点称为基准顶点，基准顶点可以为多个，多个基准顶点所在的基准纬线长度相同。以第一网格的下边界为基准纬线为例，设基准纬线在三维全景视频球面网格上的纬度值为lat，则获取到的第一网格的基准纬线长度L＝2πcos(lat)/N，其中，N为三维全景视频球面网格水平方向上的网格数；第一顶点在三维全景视频球面网格上的纬度值为lat1，即第一顶点所在纬线的纬度值为lat1，确定第一顶点在三维全景视频球面网格上对应纬线的纬线长度L1＝2πcos(lat1)/N；根据第一顶点在三维全景视频球面网格上对应纬线的纬线长度L1与第一网格的基准纬线长度L的比值，确定第一顶点在第一用户视点朝向的可视区域内的加权值A＝B*L1/L＝B*cos(lat1)/cos(lat)，其中，B为设定的基准顶点的计数值。比如，设定第一网格下边界上每个顶点的计数值为1，则第一顶点在第一用户视点朝向的可视区域内的加权值为cos(lat1)/cos(lat)，其中，A为大于0且小于等于1的整数。

值得说明的是，当设定第一网格的上边界为基准纬线时，第一顶点在所述第一用户视点朝向的可视区域内的加权值大于1。

本申请的一些实施例中，为直观显示三维全景视频球面网格和二维全景视频图像间的映射关系，还可创建与三维全景视频球面网格相对应的二维平面矩形网格，二维平面矩形网格内的网格顶点与三维全景视频球面网格内的网格顶点相对应，即网格顶点数相同，每个网格由三角形组成，如图8所示。并创建第二虚拟相机，用于确定显示二维全景视频图像的空间范围。其中，第二虚拟相机设置为正射投影，用来显示完整的二维全景视频图像，正射投影无需设置第二虚拟相机的视场角的大小。由于二维平面矩形网格与三维全景视频球面网格的顶点数相同，因此，用户视点朝向的可视区域内三维全景视频球面网格上的顶点在二维平面矩形网格内存在相应顶点，即二维平面矩形网格内的相应顶点为可视区域内顶点的投影点，将二维平面矩形网格内相应顶点的颜色值设置为设定颜色值并显示，从而直观的显示三维全景视频球面网格内的图像与二维全景视频图像间的映射关系。

具体实施时，服务器的显示器可同时显示第一窗口和第二窗口，第一窗口用于显示用户视点朝向在三维全景视频球面网格上的可视区域，第二窗口用于显示渲染二维平面矩形网格得到的二维全景视频图像，其中，第一窗口中的可视区域中的网格顶点在二维平面矩形网格中的相应顶点被设置为设定颜色值显示在二维全景视频图像中。各用户视点朝向对应的可视区域不同，用户可通过显示器的显示屏输入某一用户视点朝向，或者，通过显示器的显示屏提供的列表选择某一用户视点朝向。服务器响应于选择用户视点朝向的操作，在第一窗口中显示用户选择的用户视点朝向在三维全景视频球面网格上的可视区域，并在第二窗口中显示二维全景视频图像，显示的二维全景视频图像中，第一窗口中的可视区域中的网格顶点在二维平面矩形网格中的相应顶点被设置为设定颜色值。

图9a和图9b示例性示出了本申请实施例提供的三维全景视频图像和二维全景视频图像间的映射关系。图9a和图9b对应的第一虚拟相机的视场角均为宽95°高100°，面积占比的阈值m为0。图9a中第一窗口显示的为用户视点在三维全景视频球面网格上的视点投影位置为经度0°，纬度0°的可视区域，该视点投影位置所在的可视区域的分块数为12，分块编号和面积占比为{分块3∶6.37％；分块4∶6.37％；分块10∶5.33％；分块11∶98.93％；分块12∶98.93％；分块13∶5.33％；分块18∶5.33％；分块19∶98.93％；分块20∶98.93％；分块21∶5.33％；分块27∶6.37％；分块28∶6.37％}，该视点投影位置所在的可视区域内的顶点在二维平面矩形网格中的相应顶点组成的区域在第二窗口中用粗实线表示。图9b中第一窗口显示的为用户视点在三维全景视频球面网格上的视点投影位置为经度180°，纬度45°的可视区域，该视点投影位置所在的可视区域的分块数为14，分块编号和面积占比为{分块0∶13.76％；分块1∶41.02％；分块2∶97.17％；分块3∶100％；分块4∶100％；分块5∶97.08％；分块6∶41.02％；分块7∶13.76％；分块10∶21.29％；分块11∶97.87％；分块12∶97.84％；分块13∶21.22％；分块19∶9.28％；分块20∶9.26％}，该视点投影位置所在的可视区域内的顶点在二维平面矩形网格中的相应顶点组成的区域在第二窗口中用粗实线表示。

本申请的上述实施例中，通过第一窗口和第二窗口显示的内容可直观的了解三维全景视频图像和二维全景视频图像间的映射关系，便于进行用户视点的分析和进一步优化。

在一些实施例中，服务器将各视点区域与相应视点区域对应的全景视频图像分块列表间的对应关系可存储于配置文件中，显示设备在播放全景视频图像时，读取该配置文件，直接根据用户视点所属的可视区域对应的全景视频图像分块列表，下载相应的全景视频图像分块，从而提高全景视频的显示速度，提升用户体验。

值得说明的是，该配置文件可以存储在本地，也可以存储在服务器。本申请实施例对各视点区域与相应视点区域对应的全景视频图像分块列表间的对应关系的存储方式不做限制性描述。

图10示例性示出了本申请实施例提供的全景视频的显示方法流程图。该方法可由具有视频播放功能的显示设备执行，比如头戴式显示设备、智能电视等。该方法主要包括以下几步：

S1001：获取用户视点朝向在三维全景视频球面网格上的视点投影位置。

该步骤中，用户视点沿着视线方向在三维全景视频球面网格上存在投影点，获取投影点的经纬度坐标，得到用户视点朝向在三维全景视频球面网格上的视点投影位置。

S1002：根据视点投影位置的经纬度坐标，确定视点投影位置所属的视点区域，视点区域是通过对全景视频区域划分得到的。

该步骤中，根据投影位置的经纬度坐标与可视区域的经纬度范围，确定视点投影位置所属的视点区域。比如视点投影位置的经纬度为(a，b)，第一视点区域的纬度范围为(a1，a2)、经度范围为(b1，b2)，若a∈(a1，a2)，b∈(b1，b2)，则视点投影位置属于第一视点区域。

S1003：根据视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块。

该步骤中，显示设备获取存有视点区域与相应视点区域的全景视频图像列表的对应关系的配置文件，获取视点区域对应全景视频图像分块列表，根据获取的全景视频图像分块列表，从视频服务器下载相应的全景视频图像分块。

S1004：根据获取的全景视频图像分块，渲染并显示三维全景视频图像。

该步骤中，三维全景视频球面网格上的各顶点经光栅化生成多个片元，在像素着色器中，根据各片元的坐标从相应的全景视频图像分块中获取颜色值，渲染并显示三维全景视频图像。

本申请的上述实施例中，显示设备显示三维全景视频图像时，根据用户视点在三维全景视频球面网格上的视点投影位置确定视点区域，获取视点区域对应的全景视频图像分块列表，从视频服务器加载相应的图像分块，无需实时计算每一可视区域与全景视频图像分块间的映射关系，提高了三维全景视频图像的显示速度，进而提升了用户体验。

基于相同的技术构思，本申请实施例还提供了一种服务器，该服务器可实现上述实施例中的方法。

参见图11，该服务器包括处理器1101、存储器1102。存储器1102，与处理器1101连接，被配置为存储计算机指令和数据，处理器1101被配置为根据1102存储的计算机指令执行图4和图10中涉及的功能。该服务器还可以包括显示器1103，用于显示全景视频图像。显示器1103与处理器1101相连。

本申请实施例中，该装置所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)、图形处理器(Graphics Processing Unit，GPU)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种服务器，其特征在于，包括：

显示器，与处理器连接，被配置为显示全景视频图像；

存储器，与处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；

确定各用户视点朝向的可视区域内的网格；

根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；

分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。

2.如权利要求1所述的服务器，其特征在于，所述处理器得到各用户视点朝向对应的全景视频图像分块列表，具体被配置为：

确定第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比，所述第一用户视点朝向为各用户视点朝向中的任一个，所述第一网格为所述第一用户视点朝向的可视区域内各网格中的任一个；

根据所述第一用户视点朝向的可视区域内面积占比大于设定阈值的网格，以及所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，确定所述第一用户视点朝向的可视区域对应的全景视频图像分块列表。

3.如权利要求2所述的服务器，其特征在于，所述处理器确定第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比，具体被配置为：

若确定所述第一网格中的至少一个顶点在所述第一用户视点朝向的可视区域内，则分别根据所述至少一个顶点在所述三维全景视频球面网格上对应纬线的纬线长度以及所述第一网格的基准纬线长度，确定所述至少一个顶点在所述第一网格内的加权值，其中，所述至少一个顶点中的每个顶点在所述第一网格内的加权值大于0；

确定所述至少一个顶点在所述第一网格内的加权值之和，与所述第一网格内所有顶点的加权值之和的比值，得到所述第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比。

4.如权利要求3所述的服务器，其特征在于，第一顶点在所述第一用户视点朝向的可视区域内的加权值A公式为：

A＝B*L1/L＝B*cos(lat1)/cos(lat)；

L＝2πcos(lat)/N；

L 1＝2πcos(lat1)/N；

其中，L为所述第一网格在所述三维全景视频球面网格上的基准纬线长度，lat为所述第一网格的基准纬线的纬度值，L1为第一顶点在所述三维全景视频球面网格上纬线的纬线长度，lat1为所述第一顶点在所述三维全景视频球面网格上纬线的纬度值，N为所述三维全景视频球面网格水平方向上的网格数，B为所述第一网格的基准纬线上的基准顶点的计数值，所述第一顶点为所述第一网格的至少一个顶点中的任一个。

5.如权利要求1所述的服务器，其特征在于，所述处理器分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表，具体被配置为：

获取第一视点区域内的中心点对应的用户视点朝向，将所述中心点对应的用户视点朝向对应的全景视频图像分块列表确定为所述第一视点区域对应的全景视频图像分块列表，其中，所述第一视点区域为所述各视点区域中的任一视点区域；和/或

获取第一点区域内的四个角点对应的四个用户视点朝向，将所述四个用户视点朝向对应的四个全景视频图像分块列表的并集确定为所述第一视点区域对应的全景视频图像分块列表。

6.如权利要求1所述的服务器，其特征在于，所述显示器被配置为：

显示第一窗口和第二窗口，所述第一窗口用于显示用户视点朝向在所述三维全景视频球面网格上的可视区域，所述第二窗口用于显示渲染二维平面矩形网格得到的二维全景视频图像，其中，所述第一窗口中的可视区域中的网格顶点在二维平面矩形网格中的相应顶点被设置为设定颜色值显示在二维全景视频图像中，所述二维平面矩形网格内的网格顶点与所述三维全景视频球面网格内的网格顶点相对应；

响应于选择用户视点朝向的操作，在所述第一窗口中显示用户选择的用户视点朝向在所述三维全景视频球面网格上的可视区域，并在所述第二窗口中显示所述可视区域中的网格顶点在所述二维平面矩形网格中的相应顶点。

7.一种显示设备，其特征在于，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取用户视点朝向在三维全景视频球面网格上的视点投影位置，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；

根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；其中，所述全景视频图像分块列表包含：所述用户视点朝向的可视区域内的网格对应的全景视频图像分块；

根据获取的全景视频图像分块，渲染并显示三维全景视频图像。

8.如权利要求7所述的显示设备，其特征在于，所述图形处理器根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块，具体被配置为：

根据所述视点区域对应全景视频图像分块列表，从视频服务器下载相应的全景视频图像分块；和/或

根据所述视点区域对应全景视频图像分块列表，从本地加载相应的全景视频图像分块。

9.一种全景视频图像处理方法，其特征在于，包括：

创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；

确定各用户视点朝向的可视区域内的网格；

根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；

分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。

10.一种全景视频图像显示方法，其特征在于，包括：

获取用户视点朝向在三维全景视频球面网格上的视点投影位置，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；

根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；

根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；其中，所述全景视频图像分块列表包含：所述用户视点朝向的可视区域内的网格对应的全景视频图像分块；

根据获取的全景视频图像分块，渲染并显示三维全景视频图像。