CN112672131A - 一种全景视频图像显示方法及显示设备 - Google Patents

Abstract

本申请涉及全景视频技术领域，提供一种全景视频图像显示方法及显示设备。该方法通过获取第一图像(低清全角视频图像)及第二图像(高清视频图像)；根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，并确定各网格内各个顶点的第三UV坐标；针对每一独立的网格，根据该网格的图像标识以及该网格内各个片元的UV坐标从对应的图像中获取颜色值，根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。由于各网格是相互独立的，每个网格的渲染互不影响，因此可以减少着色器中的逻辑判断，提高渲染性能，从而提高了全景视频图像的显示速度及准确性。

Description

一种全景视频图像显示方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频图像显示方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流合有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

基于视场角(Field Angle of View，FOV)的全景视频传输方案将原始图像按区域切分为若干图像分块，有选择的显示视野内图像分块，从而实现高分辨率全景视频的显示。但随着显示设备的移动，所需要加载显示的图像分块会动态变化，再加上背景低分辨率层视频数据，准确显示全景视频变的非常复杂。

发明内容

本申请提供了一种全景视频图像显示方法及显示设备，用以快速、准确地显示低清全角视频图像和高清视频图像拼接后的全景视频图像。

第一方面，本申请的实施例提供一种显示设备，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取第一图像，并根据用户视角获取对应的第二图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；

根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

针对每一独立的网格，若所述网格的图像标识为所述第二图像的标识，则根据所述网格内各个片元的UV坐标从所述第二图像中获取对应的颜色值，否则，根据所述网格内各个片元的UV坐标从所述第一图像中获取对应的颜色值，其中，所述网格内的各个片元的UV坐标是根据所述网格内的各个顶点的UV坐标得到的；

根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

第二方面，本申请实施例提供一种全景视频图像显示方法，包括：

获取第一图像，并根据用户视角获取对应的第二图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；

根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

针对每一独立的网格，若所述网格的图像标识为所述第二图像的标识，则根据所述网格内各个片元的UV坐标从所述第二图像中获取对应的颜色值，否则，根据所述网格内各个片元的UV坐标从所述第一图像中获取对应的颜色值，其中，所述网格内的各个片元的UV坐标是根据所述网格内的各个顶点的UV坐标得到的；

根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

第三方面，本申请实施例提供一种显示设备，包括：

图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

坐标确定及图像标识模块，被配置为根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

颜色值获取模块，被配置为针对每一独立的网格，若所述网格的图像标识为所述第二图像的标识，则根据所述网格内各个片元的UV坐标从所述第二图像中获取对应的颜色值，否则，根据所述网格内各个片元的UV坐标从所述第一图像中获取对应的颜色值，其中，所述网格内的各个片元的UV坐标是根据所述网格内的各个顶点的UV坐标得到的；

渲染显示模块，被配置为根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

第四方面，本申请实施例提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在显示设备上运行时，所述程序代码用于使所述显示设备执行本申请实施例全景视频图像显示方法的步骤。

本申请的上述实施例中，显示设备获取第一图像(低清全角视频图像)以及第二图像(高清视频图像)；根据第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，并确定各网格内各个顶点的第三UV坐标，针对每一独立的网格，根据网格的图像标识以及网格内各个片元的UV坐标从对应的图像中获取颜色值，其中，各个片元的UV坐标是根据各个顶点的第三UV坐标插值得到的；根据各个网格内各个片元的颜色值，渲染并显示全景视频图像，由于全景视频球面网格中的各网格是相互独立的，每个网格的渲染互不影响，可以减少着色器中的逻辑判断，提高渲染性能，进而提高了全景视频图像的显示速度；另一方面，根据网格的图像标识以及网格内各个片元的UV坐标从对应的图像中获取颜色值，即当网格的图像标识为第一图像的标识时，根据各个片元的UV坐标从第一图像中获取颜色值，当网格的图像标识为第二图像的标识时，根据各个片元的UV坐标从第二图像中获取颜色值，保证了低清全角视频图像和高清视频图像的准确拼接。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了实施例中VR头戴显示设备200的结构示意图；

图2中示例性示出了实施例中显示设备200的硬件配置框图；

图3中示例性示出了实施例中全景视频球面网格示意图；

图4中示例性示出了实施例中高清全景视频图像划分示意图；

图5中示例性示出了实施例提供的全景视频球面网格的结构示意图；

图6中示例性示出了实施例提供的全景视频图像显示方法的流程示意图；

图7中示例性示出了实施例提供的高清视频图像中组成示意图；

图8中示例性示出了实施例提供的高清视频图像中包含的各高清图像分块；

图9中示例性示出了实施例提供的填充后的高清视频图像；

图10中示例性示出了实施例中显示设备200的功能配置框图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

以虚拟现实(Virtual Reality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102，其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。

需说明的是，本申请实施例中的显示设备还可以是智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。

以显示设备为智能电视为例，图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。根据显示器275类型不同，还包括用于驱动显示的驱动组件。

在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。

在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器等。

在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。

在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种系统启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中在收到开机信号时，显示设备200电源开始启动，CPU运行ROM 252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

在一些实施例中，CPU处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。

显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块为用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块为用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

值得说明的是，图1-图2仅是一种示例，显示设备200还可以是智能手机、平板电脑、计算机、笔记本电脑以及虚拟现实(Virtual Reality，VR)头戴显示设备等具有全景视频图像播放功能和交互功能的设备。

全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，全景视频的显示可采用FOV传输方案。FOV传输方案是基于用户视角传输全景视频图像的方案，主要关注当前用户视角对应的可视区域内画面的高质量传输。FOV传输方案对全景视频图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据当前用户视角的对应的视点区域传输相应全景视频图像分块的视频流，解码后显示。全景视频FOV传输方案中，需要对全景视频进行分块处理，然后配合一个低分辨率全视角的全景视频，来解决显示设备转动时某区域未能在短时间内快速加载视频分块而造成数据缺失的情况。由于FOV传输方案将高清全景视频图像切割为若干分块，当显示设备进行全景视频播放时，需要同时加载位于不同空间区域的高清图像分块并拼接后显示，如何快速、准确的显示全景视频是一个比较复杂的问题。

基于上述问题，本申请实施例提供一种全景视频图像显示方法及显示设备，该方法根据用户视角对应的高清视频图像包含的图像分块，以及全景视频球面网格中各网格与高清全景视频图像中各高清图像分块间的对应关系，确定各网格的预设角点在低清全角视频图像中的UV坐标或在高清视频图像中的UV坐标，并标记各网格对应的图像标识，针对每一独立的网格，若网格对应的图像标识为低清全角视频图像的标识，则从低清全角视频图像中获取片元的颜色值，若网格对应的图像标识为高清视频图像的标识，则从高清视频图像中获取片元的颜色值，由于全景视频球面网格中的各网格是相互独立的，每个网格的渲染互不影响，可以减少着色器中的逻辑判断，提高渲染性能，进而提高了全景视频图像的显示速度，且根据网格对应的图像标识从对应的图像中获取颜色值，可以准确地显示由低清全角视频图像和高清视频图像拼接而成的全景视频图像，进而提升用户体验。

其中，低清全角视频图像的分辨率低于高清全景视频图像。本申请的实施例中，低清全角视频图像也称为第一图像，低清全角视频图像可由高清全景视频图像降采样得到。高清全景视频图像划分为多个高清图像分块，用户视角对应的高清图像分块拼接成高清视频图像，高清视频图像也称为第二图像。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频图像，还可适用于显示在线(包括点播和直播两种模式)的全景视频图像。

为清楚描述本申请的实施例，对本申请中的名词″片元″进行解释。

三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。

本申请的一些实施例中，全景视频图像显示的载体是一个单独的全景视频球面网格，如图3所示。由于FOV方案将高清全景视频图像切割为若干分块，当显示设备进行全景视频播放时，需要同时加载位于不同空间区域的高清图像分块，用户视角对应的高清图像分块可能是乱序排列的(如图9中的分块10和分块12)，因此，渲染全景视频球面网格以显示全景视频图像时，需要在着色器中进行大量计算和判断，来确定渲染的片元位于哪一个高清图像分块之中，以及确定其进行纹理采样的UV坐标。如果要解决空间上不连续的高清图像分块间拼接缝隙的问题，还要判断渲染的片元是否位于高清图像分块的边界处。上述处理过程需要在每一帧中反复进行，由于着色器在GPU中执行，GPU最大的优势是可以进行批量并行计算，而逻辑判断并不是GPU的强项，大量的逻辑判断会破坏GPU的并行性，造成渲染性能的下降。因此，本申请实施例提供的方法可以基于多网格的全景视频图像显示，减少着色器中的逻辑判断，提高渲染性能，增加渲染的灵活性。

在一些实施例中，高清全景视频图像可以根据图像分块模板或者图像分块规则，划分为多个高清图像分块，每个高清图像分块对应一个标识。本申请的实施例以高清全景视频图像划分为32个高清图像分块为例，如图4所示。

图5示例性示出了本申请实施例提供的全景视频球面网格的结构示意图。如图5所示，创建一个包含32个网格的全景视频球面网格，每个网格与高清全景视频图像中的高清图像分块一一对应，根据图4中高清图像分块的划分方式，可以确定32个网格的各角点的经纬度坐标。假设将每个网格再细分为N个大小相等(即经纬度跨度相同)的矩形，每个矩形由大小相同的两个三角形面片(三角面片是网格的基础组成单位)，参见图5中网格11的局部放大部分。根据每个网格4个角点的经纬度坐标，可以确定每个网格所有三角形面片三个顶点的经纬度坐标，结合全景视频球面网格的半径，进一步确定每个顶点(包括网格的角点)的三维坐标以及每个顶点在其所在的网格中的UV坐标，并将确定的每个顶点的三维坐标以及每个顶点在其所在的网格中的UV坐标进行存储，其中，三维坐标和UV坐标可以分开存储，也可以合并存储。

基于图4划分的高清图像分块和图5创建的球面网格，下面结合附图详细描述本申请实施例全景视频图像的显示过程。

图6中示例性示出了本申请实施例提供的全景视频图像显示方法的流程示意图。该流程可由具有全景视频显示功能的显示设备执行，可在显示设备的某一视角(用户视角)下，正确拼接高清视频图像以及低清全角视频图像并显示。该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图6所示，该流程包括以下几步：

S601：获取第一图像，并根据用户视角获取对应的第二图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到。

该步骤中，第一图像由高清全景视频图像降采样得到，减少了传输资源占用的带宽。不同显示设备的用户视角的确定方式不同。例如，针对VR头戴式显示设备，显示设备根据自身的软件开发工具包(Software Development Kit，SDK)实时从陀螺仪中获取位姿信息，根据位姿信息可得到当前用户的视角以及当前视角在球面的经纬度坐标，该经纬度坐标用以表示用户视角；针对手机等显示设备，一般通过内部的陀螺仪获取当前设备的位姿信息，根据位姿信息得到用户视角；针对智能电视等显示设备，一般通过遥控器等控制设备视角，比如根据遥控器的操作调整当前显示屏的视角。

在S601中，根据用户视角从服务器获取对应的高清图像分块列表，高清图像分块列表包括高清图像分块的标识(比如用于标识高清图像分块的分块编号)。获取到高清图像分块列表后，向服务器请求获取高清图像分块列表中各高清图像分块的图像数据。若每帧全景视频图像渲染时，视频处理器顺序解码各高清图像分块的图像数据，受解码能力的限制，全景视频图像无法按照原始的帧率显示。因此，可根据获取到的高清图像分块的图像数据，对相应的高清图像分块进行拼接，得到一个包含M＊N个高清图像分块的第二图像，其中，每个高清图像分块对应一个分块编号，M＊N分别为大于1的整数。

由于获取的高清图像分块的数量会随着用户视角的移动而变化，若根据用户视角获取到的高清图像分块的数量小于M＊N，则使用获取到的至少一个高清图像分块填充剩余区域，使得填充后的高清图像分块的数量等于M＊N。且获取的高清图像分块也会随看用户视角的移动而变化，由于网络等原因可能无法及时获取到高清图像分块并解码，第二图像中高清图像分块可能在空间上不一定连续排列(如图9中的分块10和分块12)，需记录获取的高清图像分块的位置信息。

本申请的实施例中，为计算方便，以设定第二图像包含3＊3个高清图像分块为例，图7示出了第二图像的组成，<0>～<8>分别表示高清图像分块的位置编号，若某一用户视角下对应的5个高清图像分块如图8所示，用粗虚线表示，对应的分块编号分别为10，12，18，19，20，且各高清图像分块在空间上不连续，可将高清图像分块10、12、20、18、19相邻拼接，并记录各高清图像分块在第二图像中的位置信息，使用获取到的高清图像分块19进行填充，使得填充后的第二图像包含3＊3个高清图像分块，如图9所示。

值得说明的是，图9仅是一种示例，也可采用其他高清图像分块(如高清图像分块18)进行填充，对填充的次数不做限制性要求(比如可使用高清图像分块18和高清图像分块19进行填充)。

S602：根据第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识。

该步骤中，各网格和各高清图像分块一一对应，根据第二图像包含的高清图像分块，确定高清全景视频图像中各高清图像分块在第二图像中的位置信息，并根据位置信息设置映射表，映射表包括高清全景视频图像中各高清图像分块与第二图像中各高清图像分块间的对应位置关系。具体的，映射表用于记录高清全景视频图像中各高清图像分块在第二图像中的位置编号，映射表中各元素的顺序对应各高清图像分块在高清全景视频图像中的分块编号顺序，映射表中的元素值为各高清图像分块在第二图像中的位置编号。对于存在于第二图像中的高清图像分块，其位置编号对应于图7示出的0～8编号；对于不存在于第二图像中高清图像分块，其位置编号设为-1。需要说明的是，-1仅是一种示例，也可用其他数字表示。

以32个高清图像分块为例，设置的映射表为{-1，-1，-1，-1，-1，-1，-1，-1，-1，-1，0，-1，1，-1，-1，-1，-1，-1，3，4，2，-1，-1，-1，-1，-1，-1，-1，-1，-1，-1，-1}。

根据设置的映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识。具体实施时，遍历映射表，根据映射表中的元素值，确定该元素值对应的高清图像分块是否存在与第二图像中，若存在，则为该高清图像分块对应的网格标记第二图像的图像标识，否则，为该高清图像分块对应的网格标记第一图像的图像标识。

以第一高清图像分块为例，第一高清图像分块为高清全景视频图像中各高清图像分块中的任一个，当第一高清图像分块在映射表中的元素值为-1时，表示第一高清图像分块不存在于第二图像中，为第一高清图像分块对应的网格标记第一图像的图像标识″image1″，当第一高清图像分块在映射表中的元素值不为-1时，表示第一高清图像分块存在于第二图像中，为第一高清图像分块对应的网格标记第二图像的图像标识″image2″。

根据设置的映射表，还可确定各网格的预设角点的第一UV坐标。以第一高清图像分块对应的网格为例，当第一高清图像分块存在于第二图像时，根据第一高清图像分块在映射表中的元素值，确定第一高清图像分块对应的网格的预设角点在第二图像中的第一UV坐标；当第一高清图像分块不存在于第二图像中时，根据第一高清图像分块在映射表中的元素值，确定第一高清图像分块对应的网格的预设角点在第一图像中的第一UV坐标。

以确定存在于第二图像中的各高清图像分块对应的网格的左上角点的第一UV坐标为例，第二图像中包含的5个高清图像分块的分块编号分别为10、12、20、18、19，分别位于第二图像中位置编号为<0>～<4>的位置，根据各高清图像分块的位置信息确定高清图像分块10、12、20、18、19对应的网格的左上角点的第一UV坐标分别为(0，1.0)、(0.333，1.0)、(0.667，1.0)、(0，0.667)、(0.333，0.667)。

S603：根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标。

该步骤中，全景视频球面网格中各网格与高清全景视频图像中的各高清图像分块一一对应，第二UV坐标为预先存储的各网格内的各个顶点的UV坐标。

在S603中，在各网格的顶点着色器中，根据各网格的预设角点的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标。具体实施时，根据各网格的预设角点的第一UV坐标、各个顶点的第二UV坐标以及各网格对应的高清图像分块所在的图像行数和列数，确定各个顶点的第三UV坐标，其中，高清图像分块所在的图像行数和列数可根据该网格的图像标识进行读取。需要说明的是，在确定各个顶点的第三UV坐标的过程中，无需区分各个顶点的第三UV坐标是相对于第一图像中的坐标还是相对于第二图像中的坐标，在采样时根据各网格的图像标识获取相应的颜色值。

下面以确定第一网格内各个顶点的第三UV坐标为例进行描述，第一网格为创建的全景视频球面网格中各网格中的任一个，预设角点设置为左上角点，第一顶点为第一网格内的任一顶点。假设第一网格的左上角点的第一UV坐标为(U1，V1)，第一顶点的第二UV坐标为(U2，V2)，则第一顶点的第三UV坐标中的U坐标为U3＝U2+U1/C，V坐标为V3＝V3＝V2-(1-V1)/R，其中，C和R分别为第一网格对应的高清图像分块所在的图像的列数和行数。比如，第一网格对应的高清图像分块在映射表中的元素值为-1时，表明第一网格对应的高清图像分块不在第二图像中，C和R分别为第一图像的行数和列数；第一网格对应的高清图像分块在映射表中的元素值不为-1时，表明第一网格对应的高清图像分块在第二图像中，C和R分别为第二图像的行数和列数。

S604：针对每一独立的网格，确定该网格的图像标识是否为第二图像的标识，若是，执行S605，否则执行S606。

该步骤中，各网格相互独立，互不影响，可以减少着色器中的逻辑判断，提高渲染性能。针对每一独立的网格，在该网格对应的顶点着色器中，确定该网格的图像标识是″image1″还是″image2″，若是″image1″，则从第一图像中进行采样，若是″image2″，则从第二图像中采样。

S605：根据该网格内各个片元的UV坐标从第二图像中获取对应的颜色值。

该步骤中，每一网格内的各顶点经光栅化操作生成片元序列，可根据该网格内的各个顶点的第三UV坐标得到各个片元的UV坐标。在每一独立网格对应的像素着色器(也称片元着色器)中，针对该网格内的任一片元，根据该片元的UV坐标从第二图像中获取对应的颜色值。

S606：根据该网格内各个片元的UV坐标从第一图像中获取对应的颜色值。

该步骤中，在每一独立网格对应的像素着色器(也称片元着色器)中，针对该网格内的任一片元，根据该片元的UV坐标从第一图像中获取对应的颜色值，各个片元的UV坐标与S604中描述的一致，在此不再重复。

S607：根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

该步骤中，在各网格对应的像素着色器(也称片元着色器)中，根据获取的各个片元的颜色值对全景视频图像进行渲染，并显示全景视频图像。

值得说明的是，本申请对着色器(包括顶点在着色器、像素着色器)使用的编程语言不做限制性要求，可以包括开放图形库的着色器语言(Open Graphics Library ShadingLanguage，GLSL)、微软DirectX的着色器语言(High Level Shader Language，HLSL)、由微软和英伟达共同提出的着色器语言(C for Graphics，CG)、Unity 3D的着色器语言(Unity3D Shader Language)。

本申请的上述实施例中，获取第一图像(低清全角视频图像)和用户视角对应的第二图像(高清视频图像)，根据第二图像包含的高清图像分块设置映射表，根据映射表确定各高清图像分块对应的各网格的预设角点在第一图像中的第一UV坐标或在第二图像中的第一UV坐标，并标记各网格对应的图像标识，根据各网格对应的图像标识以及网格内各个片元的UV坐标从第一图像或第二图像中获取相应的颜色值，完成全景视频图像的渲染，由于各个网格相互独立，可以减少着色器中的逻辑判断，提高渲染性能，从而快速、准确地显示由低清全角视频图像和高清视频图像拼接而成的全景视频图像，进而提升用户体验。

在一些实施例中，由于高清图像分块是动态加卸载的，高清图像分块的顺序往往是乱序的，也就是说高清视频图像中相邻的高清图像分块在全景视频图像中不一定相邻，即高清视频图像中相邻的高清图像分块在空间上不一定相邻，如图9中的分块10和分块12，分块10和12的边界区域内的颜色值不相关，进行采样时，分块12左侧边界区域内采样点的颜色值就会出现异常，分块10和12的图像差异越大，分块间的缝隙越明显。为了解决上述问题，本申请实施例全景视频球面网格内各网格边界上顶点的第三UV坐标进行了修改，对高清图像分块拼接的缝隙进行了平滑。

在一种可选的实施方式中，以第一网格内的第一顶点为例，第一顶点为各顶点中的任一个，根据第一顶点的第三UV坐标，确定第一是否位于第一网格的边界，若是，则根据第一顶点所在的边界，更新第一顶点的第三UV坐标。具体的，第一顶点位于第一网格的左边界时，将第一顶点的第三UV坐标中的U坐标修改为预设值与第一网格宽度的比值；第一顶点位于第一网格的右边界时，将第一顶点的第三UV坐标中的U坐标修改为第一网格宽度与预设值的差与第一网格宽度的比值；第一顶点位于第一网格的上边界时，将第一顶点的第三UV坐标中的V坐标修改为预设值与第一网格高度的比值；第一顶点位于第一网格的下边界时，将第一顶点的第三UV坐标中的V坐标修改为第一网格高度与预设值的差与第一网格高度的比值。

举例来说，第一网格的宽高分别为W、H(像素)，第一顶点的第三UV坐标中的U坐标为0.0时，表明第一顶点位于第一网格的左边界，将第一顶点的U坐标更新为1/W；第一顶点的第三UV坐标中的U坐标为1.0时，表明第一顶点位于第一网格的右边界，将第一顶点的U坐标更新为(W-1)/W；第一顶点的第三UV坐标中的V坐标为0.0时，表明第一顶点位于第一网格的上边界，将第一顶点的V坐标更新为1/H；第一顶点的第三UV坐标中的V坐标为1.0时，表明第一顶点位于第一网格的下边界，将第一顶点的V坐标更新为(H-1)/H。

本申请的上述实施例中，通过更新各网格边界上顶点的U、V坐标，使得渲染显示时，无需做任何特殊处理便即可平滑各高清图像分块间的拼接缝隙，提高了全景视频图像显示的准确性，进而提升了用户体验。

基于相同的发明构思，本发明实施例中还提供了一种显示设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图10所示，本申请实施例提供的显示设备200，该显示设备包括图像获取模块1001、坐标确定及图像标识模块1002、颜色值获取模块1003、渲染显示模块1004：

图像获取模块1001，被配置为获取第一图像，并根据用户视角获取对应的第二图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；

坐标确定及图像标识模块1002，被配置为根据第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

颜色值获取模块1003，被配置为针对每一独立的网格，若网格的图像标识为第二图像的标识，则根据网格内各个片元的UV坐标从第二图像中获取对应的颜色值，否则，根据网格内各个片元的UV坐标从第一图像中获取对应的颜色值，其中，网格内的各个片元的UV坐标是根据网格内的各个顶点的UV坐标得到的；

渲染显示模块1004，被配置为根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

在一些实施例中，坐标确定及图像标识模块1002，还被配置为：

根据第一顶点的第三UV坐标，若确定第一顶点位于第一网格的边界，则根据第一顶点所在的边界，更新第一顶点的第三UV坐标，其中，第一网格为各网格中的任一个，第一顶点为第一网格内各顶点中的任一个。

在一些实施例中，坐标确定及图像标识模块1002，具体被配置为：

第一顶点位于第一网格的左边界时，将第一顶点的第三UV坐标中的U坐标修改为预设值与第一网格宽度的比值；

第一顶点位于第一网格的右边界时，将第一顶点的第三UV坐标中的U坐标修改为第一网格宽度与预设值的差与第一网格宽度的比值；

第一顶点位于第一网格的上边界时，将第一顶点的第三UV坐标中的V坐标修改为预设值与第一网格高度的比值；

第一顶点位于第一网格的下边界时，将第一顶点的第三UV坐标中的V坐标修改为第一网格高度与预设值的差与第一网格高度的比值。

在一些实施例中，坐标确定及图像标识模块1002，具体被配置为：

根据第二图像包含的高清图像分块，确定高清全景视频图像中各高清图像分块在第二图像中的位置信息，并根据位置信息设置映射表，映射表包括高清全景视频图像中各高清图像分块与第二图像中各高清图像分块间的对应位置关系；

根据映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识。

在一些实施例中，坐标确定及图像标识模块1002，具体被配置为：

根据映射表，确定第一高清图像分块是否存在于第二图像中，第一高清图像分块为高清全景视频图像中各高清图像分块中的任一个；

若第一高清图像分块存在于第二图像中，则确定第一高清图像分块对应的网格的预设角点在第二图像中的第一UV坐标，并为第一高清图像分块对应的网格标记第二图像的图像标识，否则确定第一高清图像分块对应的网格的预设角点在第一图像中的第一UV坐标，并为第一高清图像分块对应的网格标记第一图像的图像标识。

本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当程序代码在显示设备上运行时，程序代码用于使显示设备执行上述本发明实施例全景视频图像显示方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取第一图像，并根据用户视角获取对应的第二图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；

根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

针对每一独立的网格，若所述网格的图像标识为所述第二图像的标识，则根据所述网格内各个片元的UV坐标从所述第二图像中获取对应的颜色值，否则，根据所述网格内各个片元的UV坐标从所述第一图像中获取对应的颜色值，其中，所述网格内的各个片元的UV坐标是根据所述网格内的各个顶点的UV坐标得到的；

根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

2.如权利要求1所述的显示设备，其特征在于，所述图形处理器确定各个顶点的第三UV坐标后，还被配置为：

根据第一顶点的第三UV坐标，若确定所述第一顶点位于所述第一网格的边界，则根据所述第一顶点所在的边界，更新所述第一顶点的第三UV坐标，其中，所述第一网格为各网格中的任一个，所述第一顶点为所述第一网格内各顶点中的任一个。

3.如权利要求2所述的显示设备，其特征在于，所述图形处理器根据所述第一顶点所在的边界，更新所述第一顶点的第三UV坐标，具体被配置为：

所述第一顶点位于所述第一网格的左边界时，将所述第一顶点的第三UV坐标中的U坐标修改为预设值与所述第一网格宽度的比值；

所述第一顶点位于所述第一网格的右边界时，将所述第一顶点的第三UV坐标中的U坐标修改为所述第一网格宽度与预设值的差与所述第一网格宽度的比值；

所述第一顶点位于所述第一网格的上边界时，将所述第一顶点的第三UV坐标中的V坐标修改为预设值与所述第一网格高度的比值；

所述第一顶点位于所述第一网格的下边界时，将所述第一顶点的第三UV坐标中的V坐标修改为所述第一网格高度与预设值的差与所述第一网格高度的比值。

4.如权利要求1所述的显示设备，其特征在于，所述图形处理器确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，具体被配置为：

根据所述第二图像包含的高清图像分块，确定所述高清全景视频图像中各高清图像分块在所述第二图像中的位置信息，并根据所述位置信息设置映射表，所述映射表包括所述高清全景视频图像中各高清图像分块与所述第二图像中各高清图像分块间的对应位置关系；

根据所述映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识。

5.如权利要求1-4中任一项所述的显示设备，其特征在于，所述图像处理器根据所述映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，具体被配置为：

根据所述映射表，确定第一高清图像分块是否存在于所述第二图像中，所述第一高清图像分块为所述高清全景视频图像中各高清图像分块中的任一个；

若所述第一高清图像分块存在于所述第二图像中，则确定所述第一高清图像分块对应的网格的预设角点在所述第二图像中的第一UV坐标，并为所述第一高清图像分块对应的网格标记所述第二图像的图像标识，否则确定所述第一高清图像分块对应的网格的预设角点在所述第一图像中的第一UV坐标，并为所述第一高清图像分块对应的网格标记所述第一图像的图像标识。

6.一种全景视频图像显示方法，其特征在于，包括：

获取第一图像，并根据用户视角获取对应的第二图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

根据所述第二图像包含的高清图像分块，确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，各网格和各高清图像分块一一对应；

根据各网格的预设角点在对应图像中的第一UV坐标以及各网格内各个顶点的第二UV坐标，确定各个顶点的第三UV坐标；

针对每一独立的网格，若所述网格的图像标识为所述第二图像的标识，则根据所述网格内各个片元的UV坐标从所述第二图像中获取对应的颜色值，否则，根据所述网格内各个片元的UV坐标从所述第一图像中获取对应的颜色值，其中，所述网格内的各个片元的UV坐标是根据所述网格内的各个顶点的UV坐标得到的；

根据各个网格内各个片元的颜色值，渲染并显示全景视频图像。

7.如权利要求6所述的方法，其特征在于，所述确定各个顶点的第三UV坐标后，包括：

根据第一顶点的第三UV坐标，若确定所述第一顶点位于所述第一网格的边界，则根据所述第一顶点所在的边界，更新所述第一顶点的第三UV坐标，其中，所述第一网格为各网格中的任一个，所述第一顶点为所述第一网格内各顶点中的任一个。

8.如权利要求7所述的方法，其特征在于，所述根据所述第一顶点所在的边界，更新所述第一顶点的第三UV坐标，包括：

所述第一顶点位于所述第一网格的左边界时，将所述第一顶点的第三UV坐标中的U坐标修改为预设值与所述第一网格宽度的比值；

所述第一顶点位于所述第一网格的右边界时，将所述第一顶点的第三UV坐标中的U坐标修改为所述第一网格宽度与预设值的差与所述第一网格宽度的比值；

所述第一顶点位于所述第一网格的上边界时，将所述第一顶点的第三UV坐标中的V坐标修改为预设值与所述第一网格高度的比值；

所述第一顶点位于所述第一网格的下边界时，将所述第一顶点的第三UV坐标中的V坐标修改为所述第一网格高度与预设值的差与所述第一网格高度的比值。

9.如权利要求6所述的方法，其特征在于，所述确定全景视频球面网格中各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，包括：

根据所述第二图像包含的高清图像分块，确定所述高清全景视频图像中各高清图像分块在所述第二图像中的位置信息，并根据所述位置信息设置映射表，所述映射表包括所述高清全景视频图像中各高清图像分块与所述第二图像中各高清图像分块间的对应位置关系；

根据所述映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识。

10.如权利要求6-9中任一项所述的方法，其特征在于，所述根据所述映射表，确定各网格的预设角点在对应图像中的第一UV坐标，并为各网格标记图像标识，具体被配置为：

根据所述映射表，确定第一高清图像分块是否存在于所述第二图像中，所述第一高清图像分块为所述高清全景视频图像中各高清图像分块中的任一个；

若所述第一高清图像分块存在于所述第二图像中，则确定所述第一高清图像分块对应的网格的预设角点在所述第二图像中的第一UV坐标，并为所述第一高清图像分块对应的网格标记所述第二图像的图像标识，否则确定所述第一高清图像分块对应的网格的预设角点在所述第一图像中的第一UV坐标，并为所述第一高清图像分块对应的网格标记所述第一图像的图像标识。

Images