CN111930233A - 一种全景视频图像显示方法及显示设备 - Google Patents

Abstract

本申请提供的实施例，属于显示技术，提供一种全景视频图像显示方法及显示设备。该显示设备包括：显示器，与图形处理器连接，被配置为显示全景视频图像；存储器，与所述图形处理器连接，被配置为存储计算机指令；所述图形处理器，被配置为获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；根据所述第一图像和所述第二图像确定显示器所在屏幕的显示范围内各片元的颜色值；根据所述显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示所述全景视频图像。

Description

一种全景视频图像显示方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频图像显示方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

因此，准确显示全景视频图像以适应多样化的QoS需求，是目前亟待解决的问题。

发明内容

本申请提供了一种全景视频图像显示方法及显示设备，用以准确显示低清全视角视频图像和高清视频图像拼接后的全景视频图像，进而提升用户感受。

本申请的一些实施例提供一种显示设备，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与图形处理器连接，被配置为存储计算机指令；

图形处理器，被配置为根据计算机指令执行以下操作：

获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；

确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若各片元中的第一片元所在的高清图像分块存在于第二图像中，则从第二图像中获取第一片元的颜色值，否则从第一图像中获取第一片元的颜色值；其中，第一片元为各片元中的任一片元；

根据显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示全景视频图像。

本申请的一些实施例提供一种全景视频图像显示方法，包括：

获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；

确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若各片元中的第一片元所在的高清图像分块存在于第二图像中，则从第二图像中获取第一片元的颜色值，否则从第一图像中获取第一片元的颜色值；其中，第一片元为各片元中的任一片元；

根据显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示全景视频图像。

本申请的一些实施例提供一种显示设备，包括：

图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；

颜色值确定模块，被配置为确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若各片元中的第一片元所在的高清图像分块存在于第二图像中，则从第二图像中获取第一片元的颜色值，否则从第一图像中获取第一片元的颜色值；其中，第一片元为各片元中的任一片元；

显示模块，被配置为根据显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示全景视频图像。

本申请的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使显示设备执行全景视频图像显示方法。

本申请的上述实施例中，获取由高清全景视频图像降采样得到第一图像(低清全视角视频图像)和用户视角对应的高清图像分块拼接得到的第二图像(高清视频图像)，确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若各片元中的第一片元所在的高清图像分块存在于第二图像中，则从第二图像中获取第一片元的颜色值；否则，从第一图像中获取第一片元的颜色值；根据获取的各片元的颜色值，显示全景视频图像。本申请的实施例可以准确显示由低清全角视频图像和高清视频图像拼接而成的全景视频图像，进而提升用户感受。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了本申请实施例提供的显示全景视频图像的场景示意图；

图2中示例性示出了本申请实施例中显示设备200的硬件配置框图；

图3中示例性示出了根据示例性实施例中VR头戴显示设备200的结构示意图；

图4中示例性示出了根据示例性实施例中显示设备200功能结构示意图；

图5中示例性示出了本申请实施例提供的全景视频显示方法的流程示意图；

图6中示例性示出了本申请实施例提供的高清图像分块列表；

图7中示例性示出了本申请实施例提供的低清全视角视频图像；

图8中示例性示出了本申请实施例提供的某一视角下获取的高清图像分块；

图9中示例性示出了本申请实施例提供的某一视角下填充后的高清视频图像；

图10中示例性示出了本申请实施例提供的获取片元的颜色值的流程图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

图1中示例性示出了本申请实施例提供的显示全景视频图像的场景示意图。如图1中示出，用户可通过控制装置100控制显示设备200的视角以及显示设备200显示的视频内容。

其中，控制装置100可以遥控器，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。

在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(UI)中为用户提供各种控制。

如图1中还示出，显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200可从服务器200获取视频图像。服务器300可以为一组或多组服务器，也可以一类或多类服务器。服务器300用于提供全景视频图像。

显示设备200，可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。

图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图2中示出，显示设备200中包括控制器210、调谐解调器220、通信接口230、检测器240、输入\输出接口250、视频处理器260-1，音频处理器260-2，显示器280，音频输出270、存储器290，供电电源、红外接收器。

显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。显示器280包括用于呈现画面的显示模组(包括显示屏)，以及驱动图像显示的驱动组件。显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。

同时，显示器280，同时显示显示设备200中产生且用于控制显示设备200的用户操控UI界面。以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。

通信接口230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信接口230可以是Wifi芯片231，蓝牙通信协议芯片232，有线以太网通信协议芯片233等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器(图中未示出)。

显示设备200可以通过通信接口230与外部控制设备或内容提供设备之间建立控制信号和数据信号发送和接收。以及，红外接收器，可用于接收控制装置100(如：红外遥控器等)红外控制信号的接口器。

检测器240，是显示设备200用于采集外部环境或与外部交互的信号。检测器240包括光接收器242，用于采集环境光线强度的传感器，可以通过采集环境光可以自适应性显示参数变化等。以及包括图像采集器241，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。

输入/输出接口250，在控制器210的控制显示设备200与外部其他设备间数据传输。如接收外部设备的视频信号和音频信号、或命令指令等数据。其中，输入/输出接口250可以包括，但不限于如下：可以高清多媒体接口HDMI接口251、模拟或数据高清分量输入接口253、复合视频输入接口252、USB输入接口254、RGB端口(图中未示出)等任一个或多个接口。

调谐解调器220，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。可根据用户选择，以及由控制器210控制，响应用户选择的电视信号频率以及该频率所携带的电视信号。

在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过输入/输出接口250输入显示设备200中。

视频处理器260-1，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

音频处理器260-2，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

音频输出270，在控制器210的控制下接收音频处理器260-2输出的声音信号，如：扬声器272，以及除了显示设备200自身携带的扬声器272之外，可以输出至外接设备的发生装置的外接音响输出端子274，如：外接音响接口或耳机接口等。

供电电源，在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户输入接口，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器210。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

示例的，用户通过遥控器100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器210响应用户的输入。

在一些实施例中，用户可在显示器280上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

控制器210，通过存储在存储器290上中各种软件控制程序，来控制显示设备200的工作和响应用户的操作。

如图2所示，控制器210包括RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218，如：第一接口218-1到第n接口218-n，以及通信总线。其中，RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。

RAM213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，CPU处理器212运行ROM中系统启动指令，将存储在存储器290的操作系统拷贝至RAM213中，以使开始运行启动操作系统。当操作系统启动完成后，CPU处理器212再将存储器290中各种应用程序拷贝至RAM213中，然后，开始运行启动各种应用程序。

图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。

CPU处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示UI对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。

其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。

值得说明的是，图1-图2仅是一种示例，显示设备200还可以是智能手机、平板电脑、计算机、笔记本电脑以及虚拟现实(Virtual Reality，VR)头戴显示设备等具有全景视频图像播放功能和交互功能的设备。

图3示例性示出了本申请的实施例提供的一种VR头戴显示设备。如图3所示，VR头戴显示设备30包括透镜组301以及设置于透镜组301正前方的显示终端302，其中透镜组301由左显示镜片3011和右显示镜片3012组成。用户在使用VR头戴显示设备30时，人眼可以通过透镜组301观看显示终端302显示的全景视频图像，体验VR效果。

全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。

为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，本申请实施例提供一种显示设备及全景视频图像显示方法。该方法根据显示器所在屏幕的显示范围内所有片元的全局UV坐标确定片元所在的高清图像分块，判断片元所在的高清图像分块是否属于高清视频图像的部分区域，若是，则将片元的全局UV坐标转换为以高清视频图像为坐标系的坐标并根据转换后的坐标从高清视频图像获取所有片元的颜色值，否则根据片元的全局UV坐标从低清全视角视频图像中获取所有片元的颜色值，根据获取的所有片元的颜色值准确显示全景视频图像。该方法可以准确显示由低清全角视频图像和高清视频图像拼接而成的全景视频图像，进而提升用户体验。

其中，低清全角视频图像的分辨率低于高清全景视频图像。本申请的实施例中，低清全视角视频图像也称为第一图像，低清全角视频图像可由高清全景视频图像降采样得到。高清全景视频图像划分为多个高清图像分块，用户视角对应的高清图像分块拼接成高清视频图像，高清视频图像也称为第二图像。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频图像，还可适用于显示在线(包括点播和直播两种模式)的全景视频图像。

为清楚描述本申请的实施例，对本申请中的名词进行解释。

三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。

下面结合附图对本申请实施例进行详细描述。

图4中示例性示出了根据示例性实施例中显示设备200功能结构示意图。如图所示，包括图像获取模块401、颜色值确定模块402、显示模块403。

图像获取模块401，被配置为从服务器获取视频图像，包括获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到；

颜色值确定模块402，被配置为确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若各片元中的第一片元所在的高清图像分块存在于第二图像中，则从第二图像中获取第一片元的颜色值，否则从第一图像中获取第一片元的颜色值；其中，第一片元为各片元中的任一片元；

显示模块403，被配置为根据显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示全景视频图像。

图5中示例性示出了本申请实施例提供的全景视频图像显示方法的流程示意图。该流程可由具有全景视频显示功能的显示设备执行，可在显示设备的某一视角(用户视角)下，正确拼接高清视频图像以及低清全视角视频图像并显示。该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图所示，该流程包括以下几步：

S501：获取第一图像，并根据用户视角获取对应的第二图像，第一图像为低清全视角视频图像，第二图像为高清视频图像；其中，第一图像由高清全景视频图像降采样得到，第二图像由与用户视角对应的高清图像分块拼接得到。

该步骤中，可根据用户视角从服务器获取对应的高清图像分块列表，高清图像分块列表包括高清图像分块的标识(比如用于标识高清图像分块的分块编号)。高清全景视频图像可以被换分为多个高清图像分块，每个高清图像分块对应一个标识。本申请的实施例以高清全景视频图像划分为32个高清图像分块为例，如图6所示。其中，第一图像由高清全景视频图像降采样得到，减少了传输资源占用的带宽。

其中，不同显示设备的用户视角的确定方式不同。例如，针对VR头戴式显示设备，显示设备自身的软件开发工具包(Software Development Kit，SDK)实时提供位姿信息，根据位姿信息可得到当前用户的视角以及当前视角在球面的经纬度坐标，该经纬度坐标用以表示用户视角；针对手机等显示设备，一般通过内部的陀螺仪获取当前设备的位姿信息，根据位姿信息得到用户视角；针对智能电视等显示设备，一般通过遥控器等控制设备视角，比如根据遥控器的操作调整当前显示屏的视角。

获取到高清图像分块列表后，向服务器请求获取高清图像分块列表中各高清图像分块的图像数据。若每帧全景视频图像渲染时，视频处理器顺序解码各高清图像分块的图像数据，受解码能力的限制，全景视频图像无法按照原始的帧率显示。因此，可根据获取到的高清图像分块的图像数据，对相应的高清图像分块进行拼接，得到一个包含M＊N个高清图像分块的第二图像，其中，每个高清图像分块对应一个分块编号，M＊N分别为大于1的整数。

由于获取的高清图像分块的数量会随着用户视角的移动而变化，若根据用户视角获取到的高清图像分块的数量小于M＊N，则使用获取到的至少一个高清图像分块填充剩余区域，使得填充后的高清图像分块的数量等于M＊N。且获取的高清图像分块也会随着用户视角的移动而变化，由于网络等原因可能无法及时获取到高清图像分块并解码，第二图像中高清图像分块可能在空间上不一定连续排列，需记录获取的高清图像分块的位置信息。

本申请的实施例中，为计算方便，以设定第二图像包含3＊3个高清图像分块为例，图7示出了第二图像的组成，<0>～<8>分别表示高清图像分块的位置编号，若某一用户视角下获取的5个高清图像分块如图8所示，用粗虚线表示，对应的分块编号分别为10，12，18，19，20，且各高清图像分块在空间上不连续，可将高清图像分块10、12、20、18、19相邻拼接，并记录各高清图像分块在第二图像中的位置信息，并使用获取到的高清图像分块19进行填充，使得填充后的第二图像包含3＊3个高清图像分块，如图9所示。

值得说明的是，图7仅是一种示例，也可采用其他高清图像分块(如高清图像分块18)进行填充，对填充的次数不做限制性要求(比如可使用高清图像分块18和高清图像分块19进行填充)。

本申请的实施例中，获取第一图像，并根据用户视角获取对应的第二图像之后，还包括设置映射表，映射表包括第二图像中的高清图像分块的标识以及对应的位置信息。

以获取到的5个高清图像分块为例，该映射表中可包括5组数据，表示为{[10，0]，[12，1]，[20，2]，[18，3]，[19，4]}。其中，每组数据的第一个元素为高清图像分块的分块编号，每组数据的第二个元素为高清图像分块在第二图像中对应的位置编号，比如[10，0]表示分块编号为10的高清图像分块，拼接后位于第二图像中位置编号为<0>的位置。

S502：确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块。

该步骤中，可根据各片元的全局UV坐标确定各片元所在的高清图像分块，参见S1001～S1002的过程。

S503～S505：针对各片元中的第一片元，判断第一片元所在的高清图像分块是否存在与第二图像中，若是，从第二图像中获取第一片元的颜色值，否则，从第一图像中获取第一片元的颜色值。

该步骤中，显示器所在屏幕的显示范围内包含多个片元，获取第一片元中颜色值的过程参见图10。

S506：根据显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示全景视频图像。

该步骤中，根据获取的片元的颜色值对全景视频图像进行渲染，并显示全景视频图像。

图10示例性示出了本申请实施例中获取第一片元的颜色值的流程图。如图所示，针对显示器所在屏幕的显示范围内的第一片元，执行以下步骤：

S1001：确定第一片元的全局UV坐标。

该步骤中，创建一个球面模型作为全景视频图像播放显示的载体，顶点着色器从模型中获取顶点的三维坐标，然后顶点经过光栅化生成片元序列，同时顶点的三维坐标经过自动插值计算出了片元的空间三维坐标，在像素着色器(也称为片元着色器)中，将第一片元的空间三维坐标转换为在球面上的经纬坐标，并根据转换后的第一片元在球面上的经纬坐标确定第一片元的全局UV坐标，该片元的全局UV坐标可表示全景视频图像中的相应像素点的像素位置。

值得说明的是，本申请对着色器(包括像素着色器)使用的编程语言不做限制性要求，可以包括开放图形库的着色器语言(Open Graphics Library Shading Language，GLSL)、微软DirectX的着色器语言(High Level Shader Language，HLSL)、由微软和英伟达共同提出的着色器语言(C for Graphics，CG)、Unity 3D的着色器语言(Unity 3D ShaderLanguage)。

S1002：根据第一片元的全局UV坐标，确定第一片元所在的高清图像分块。

本申请的实施例中，可根据第一片元的全局UV坐标确定其所在的高清图像分块，并得到第一片元所在高清图像分块的标识(分块编号)。

S1003：判断第一片元所在的高清图像分块是否存在于第二图像中，若是，则执行S1004，否则执行S1005。

该步骤中，可根据第一片元所在的高清图像分块的标识，确定第一片元所在的高清图像分块是否为第二图像中的部分区域。具体地，根据第一片元所在的高清图像分块的标识，查询根据用户视角获取到的高清图像分块列表，若第一片元所在的高清图像分块的标识存在于高清图像分块列表中，则确定第一片元所在的高清图像分块属于第二图像，否则，第一片元所在的高清图像分块不属于第二图像。

S1004：将第一片元的全局UV坐标转换为以第一片元所在的高清图像分块为坐标系的第一坐标，将第一坐标转换为以第二图像为坐标系的第二坐标，并根据第二坐标从第二图像中获取第一片元的颜色值。

本申请的实施例中，可分别选取高清图像分块中的某一像素点为参考像素点建立参考坐标系，根据映射表中高清图像分块的分块编号和位置编号的对应关系，分别记录各高清图像分块中参考像素点的UV坐标。

举例来说，获取的5个高清图像分块的分块编号分别为10、12、20、18、19，分别位于第二图像中位置编号为<0>～<4>的位置，以各高清图像分块的左上角的像素点为参考像素点，根据各高清图像分块的位置信息确定高清图像分块10、12、20、18、19的参考像素点的UV坐标分别为(0，1.0)、(0.333，1.0)、(0.667，1.0)、(0，0.667)、(0.333，0.667)，其中，各高清图像分块的分块编号与参考像素点的坐标之间的关系可表示为：{[10 0 1.0]，[12 0.3331.0]，[20 0.667 1.0]，[18 0 0.667]，[19 0.333 0.667]}，每组中的第一个元素为高清图像分块的分块编号，第二、三个元素分别为高清图像分块的参考像素点的UV坐标。

在S1004中，将第一片元的第一坐标的U坐标值除以第二图像中高清图像分块的列数后与第一片元所在的高清图像分块中的参考像素点的U坐标值相加，得到第一片元的第二坐标的U坐标值；计算1减去第一片元的第一坐标的V坐标值的差后除以第二图像中高清图像分块的行数的商值，用第一片元所在的高清图像分块中的参考像素点的V坐标值减去商值，得到第一片元的第二坐标的V坐标值。

举例来说，第一片元的第一坐标记为(U1，V1)，第一片元所在的高清图像分块的参考像素点的像素坐标记为(U2，V2)，则第一片元在第二图像中的第二坐标的U坐标值U3＝U2+U1/C，在第二图像中的第二坐标的V坐标值V3＝V2-(1-V1)/R，其中，C为第二图像中高清图像分块的列数，R为第二图像中高清图像分块的行数。

S1005：根据第一片元的全局UV坐标从第一图像中获取第一片元的颜色值。

该步骤中，第一图像由高清全景视频图像降采样得到的，根据第一片元的全局UV坐标可获取到第一图像中与第一片元对应的像素点，根据对应的像素点从第一图像中获取第一片元的颜色值。

本申请的上述实施例中，获取由高清全景视频图像降采样得到第一图像和用户视角对应的高清图像分块拼接而成的第二图像，第一图像为低清全视角图像；针对显示器所在屏幕的显示范围内的各片元中的第一片元，确定第一片元的全局UV坐标，根据全局UV坐标确定第一片元所在的高清图像分块，查询映射表，判断第一片元所在的高清图像分块是否属于第二图像中的部分区域，若是，则将第一片元的全局UV坐标转换为以第二图像为坐标系的第二坐标，并根据第二坐标从第二图像中获取第一片元的颜色值；否则，根据第一片元的全局UV坐标从第一图像中获取第一片元的颜色值；根据各片元的颜色值，显示全景视频图像。一方面，将高清全景视频图像降采样为低清全视角视频图像，对高清视频图像和低清全视角图像进行拼接，减小了传输资源占用的带宽；另一方面，准确获取片元的颜色值，将全景视频图像中用户视角区域准确显示为高清视频图像，其他区域显示为低清全角视频图像，减少了数据冗余，且提升了用户感受，再一方面，对高清视频图像进行分块，达到显示设备解码能力的要求，使得视频处理器能够准确解码高清视频图像。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若所述各片元中的第一片元所在的高清图像分块存在于所述第二图像中，则从所述第二图像中获取所述第一片元的颜色值，否则从所述第一图像中获取所述第一片元的颜色值；其中，所述第一片元为所述各片元中的任一片元；

根据所述显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示所述全景视频图像。

2.如权利要求1所述的显示设备，其特征在于，所述若所述各片元中的第一片元所在的高清图像分块存在于所述第二图像中，则从所述第二图像中获取所述第一片元的颜色值，否则从所述第一图像中获取所述第一片元的颜色值，具体为所述图形处理器：

确定所述第一片元的全局UV坐标；

根据所述第一片元的全局UV坐标，确定所述第一片元所在的高清图像分块；

若所述第一片元所在的高清图像分块属于所述第二图像中的部分区域，则将所述第一片元的全局UV坐标转换为以所述第一片元所在的高清图像分块为坐标系的第一坐标将所述第一坐标转换为以所述第二图像为坐标系的第二坐标，并根据所述第二坐标从所述第二图像中获取所述第一片元的颜色值；否则，根据所述第一片元的全局UV坐标从所述第一图像中获取所述第一片元的颜色值。

3.如权利要求1所述的显示设备，其特征在于，所述图形处理器确定所述第一片元的全局UV坐标，具体为所述图形处理器：

获取所述第一片元的空间三维坐标；

将所述第一片元的空间三维坐标转换为所述第一片元在球面上的经纬坐标；

根据所述第一片元在球面上的经纬坐标确定所述第一片元的全局UV坐标。

4.如权利要求2所述的显示设备，其特征在于，所述图形处理器将所述第一片元的全局UV坐标转换为以所述第一片元所在的高清图像分块为坐标系的第一坐标将所述第一坐标转换为以所述第二图像为坐标系的第二坐标，具体为所述图形处理器：

将所述第一片元的第一坐标的U坐标值除以所述第二图像中高清图像分块的列数后与所述第一片元所在的高清图像分块中的参考像素点的U坐标值相加，得到所述第一片元的所述第二坐标的U坐标值；

计算1减去所述第一片元的第一坐标的V坐标值的差后除以所述第二图像中高清图像分块的行数的商值，用所述第一片元所在的高清图像分块中的参考像素点的V坐标值减去所述商值，得到所述第一片元的所述第二坐标的V坐标值。

5.如权利要求1所述的显示设备，其特征在于，所述图形处理器进一步被配置为：

根据所述第一片元所在的高清图像分块的标识，查询根据用户视角获取到的高清图像分块列表；

若所述第一片元所在的高清图像分块的标识存在于所述高清图像分块列表中，则确定所述第一片元所在的高清图像分块属于所述第二图像，否则，所述第一片元所在的高清图像分块不属于所述第二图像。

6.如权利要求1所述的显示设备，其特征在于，所述图形处理器根据用户视角获取对应的第二图像，具体为所述图形处理器：

根据用户视角获取对应的高清图像分块列表，所述高清图像分块列表包括高清图像分块的标识信息；

向服务器请求获取所述高清图像分块列表中各高清图像分块的图像数据；

根据获取到的高清图像分块的图像数据，对相应的高清图像分块进行拼接，得到所述第二图像。

7.如权要求1-6中任一项所述的显示设备，其特征在于，所述第二图像包括M＊N个高清图像分块，M和N分别为大于1的整数。

8.一种全景视频图像显示方法，其特征在于，包括：

获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若所述各片元中的第一片元所在的高清图像分块存在于所述第二图像中，则从所述第二图像中获取所述第一片元的颜色值，否则从所述第一图像中获取所述第一片元的颜色值；其中，所述第一片元为所述各片元中的任一片元；

根据所述显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示所述全景视频图像。

9.如权利要求8所述的方法，其特征在于，所述若所述各片元中的第一片元所在的高清图像分块存在于所述第二图像中，则从所述第二图像中获取所述第一片元的颜色值，否则从所述第一图像中获取所述第一片元的颜色值，包括：

确定所述第一片元的全局UV坐标；

根据所述第一片元的全局UV坐标，确定所述第一片元所在的高清图像分块；

若所述第一片元所在的高清图像分块属于所述第二图像中的部分区域，则将所述第一片元的全局UV坐标转换为以所述第一片元所在的高清图像分块为坐标系的第一坐标将所述第一坐标转换为以所述第二图像为坐标系的第二坐标，并根据所述第二坐标从所述第二图像中获取所述第一片元的颜色值；否则，根据所述第一片元的全局UV坐标从所述第一图像中获取所述第一片元的颜色值。

10.一种显示设备，其特征在于，包括：

图像获取模块，被配置为获取第一图像，并根据用户视角获取对应的第二图像，所述第一图像为低清全视角视频图像，所述第二图像为高清视频图像；其中，所述第一图像由高清全景视频图像降采样得到，所述第二图像由与所述用户视角对应的高清图像分块拼接得到；

颜色值确定模块，被配置为确定显示器所在屏幕的显示范围内的各片元所在的高清图像分块，若所述各片元中的第一片元所在的高清图像分块存在于所述第二图像中，则从所述第二图像中获取所述第一片元的颜色值，否则从所述第一图像中获取所述第一片元的颜色值；其中，所述第一片元为所述各片元中的任一片元；

显示模块，被配置为根据所述显示器所在屏幕的显示范围内各片元的颜色值，渲染并显示所述全景视频图像。

Images