CN112770051A - 一种基于视场角的显示方法及显示设备 - Google Patents

Abstract

本申请涉及全景视频技术领域，提供一种基于视场角的显示方法及显示设备，该方法通过获取用户头部转动前后的用户视角差异值，确定第一可视区域(转头后)内相对于第二可视区域(转头前)内增加的高清图像分块，并获取增加的高清图像分块对应的帧内编码的解码块的数据容量，根据解码块的数据容量之和以及空闲下载网速，确定下载解码块的总下载时间；根据总下载时间，高清图像分块的合并时间、解码时间，确定第一可视区域内高清图像分块的提前下载时间；根据确定的提前下载时间提前下载第一可视区域内的高清图像分块以用于在播放时间到达时进行显示，该方法可以精确控制高清视频分块提前下载时间，进而提高高清全景视频图像显示的稳定性。

Description

一种基于视场角的显示方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种基于视场角的显示方法及显示设备。

背景技术

全景视频的显示可采用视场角(Field Angle of View，FOV)传输方案，FOV传输方案主要关注当前用户视点对应的可视区域画面的质量，一般对全景视频图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据用户视点传输相应分块的视频流，解码后显示。当用户转头时，FOV发生了改变，应尽量快的加载可视区域内的高清图像分块。一般的视频由I帧、P帧和B帧组成，当显示设备进行视频解码时，如果视频数据是I帧，则可以独力解码，如果是P帧，则需要依赖之前的视频帧来解码，如果是B帧，则需要之前或之后的帧进行解码。一般的，为了达到快速转头的目的，视频在编码时，一般只采用一个I帧和多个P帧来进行编码，但由于用户转头的时间是随机的，当用户在显示设备对多个P帧解码时进行转头，则可视区域内新增加的高清图像分块的视频帧由于没有了依赖的视频帧进行解码，使得显示设备中的解码器无法对其进行解码，需要等到下一个I帧到来后才能解码，导致用户转头时视频高清视频加载较慢或无法加载的问题。

发明内容

本申请提供了一种基于视场角的显示方法及显示设备，用以提高用户视角变化后对应的可视区域内高清视频分块提前下载时间的精确性，进而提高高清全景视频图像显示的稳定性。

第一方面，本申请提供一种基于视场角的显示设备，包括：

显示器，与控制器连接，被配置为显示高清全景视频图像；

存储器，与所述控制连接，被配置为存储计算机指令；

所述控制器，被配置为根据所述计算机指令执行以下操作：

获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，所述第一可视区域为用户头部转动后用户视角对应的可视区域，所述第二可视区域为用户头部转动前用户视角对应的可视区域；

根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量；

根据获取的所述解码块的数据容量之和、当前下载网速、以及所述第二可视区域内的高清图像分块所占的下载网速，确定下载所述解码块的总下载时间；

根据所述总下载时间，所述第一可视区域内的高清图像分块的合并时间、所述第一可视区域内的高清图像分块的解码时间，确定所述第一可视区域内高清图像分块的提前下载时间；

根据确定的提前下载时间提前下载所述第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

第二方面，本申请提供一种基于视场角的显示方法，包括：

获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，所述第一可视区域为用户头部转动后用户视角对应的可视区域，所述第二可视区域为用户头部转动前用户视角对应的可视区域；

根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量；

根据获取的所述解码块的数据容量之和、当前下载网速、以及所述第二可视区域内的高清图像分块所占的下载网速，确定下载所述解码块的总下载时间；

根据所述总下载时间，所述第一可视区域内的高清图像分块的合并时间、所述第一可视区域内的高清图像分块的解码时间，确定所述第一可视区域内高清图像分块的提前下载时间；

根据确定的提前下载时间提前下载所述第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

第三方面，本申请提供一种基于视场角的显示设备，包括：

获取模块，被配置为获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量；所述第一可视区域为用户头部转动后用户视角对应的可视区域，所述第二可视区域为用户头部转动前用户视角对应的可视区域；

下载时间确定模块，被配置为根据获取的所述解码块的数据容量之和、当前下载网速、以及所述第二可视区域内的高清图像分块所占的下载网速，确定下载所述解码块的总下载时间；根据所述总下载时间，所述第一可视区域内的高清图像分块的合并时间、所述第一可视区域内的高清图像分块的解码时间，确定所述第一可视区域内高清图像分块的提前下载时间；

下载显示模块，被配置为根据确定的提前下载时间提前下载所述第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使显示设备执行显示方法。

本申请的上述实施例中，用户转头前后用户视角发生变化，用户转头后用户视角对应的可视区域(第一可视区域)内相对于用户转头前用户视角对应的可视区域(第二可视区域)内增加了至少一个高清图像分块，根据用户转头前后的用户视角差异值，获取用于解码增加的高清图像分块的帧内编码的解码块的数据容量，根据解码块的数据容量之和、当前下载网速、以及第二可视区域内的高清图像分块所占的下载网速，确定下载解码块的总下载时间，从而保证解码器对视频帧进行解码时，以合理的时间提前下了视频帧内高清图像分块对应的帧内编码的解码块；根据总下载时间，第一可视区域内的高清图像分块的合并时间、高清图像分块的解码时间，确定第一可视区域内高清图像分块的提前下载时间，根据提前下载时间在视频帧开始播放前下载相应的高清图像分块，以便在视频帧播放时间到达时进行显示，从而在用户视角变化后，可以精确控制可视区域内高清视频分块提前下载时间以便快速的显示可视区域内的高清图像分块，进而提高高清全景视频图像显示的稳定性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了实施例中VR头戴显示设备200的结构示意图；

图2中示例性示出了实施例中显示设备200的硬件配置框图；

图3中示例性示出了实施例提供的一种基于视场角的显示方法流程图；

图4中示例性示出了实施例提供的用户头部转动前后用户视角变化示意图；

图5中示例性示出了实施例提供的用户头部转动前后用户视角对应的可视区域内的高清图像分块变化示意图；

图6中示例性示出了实施例提供的高清图像分块对应的帧内编码的解码块的数据容量示意图；

图7中示例性示出了实施例提供的可视区域内高清图像分块的提前下载时间示意图；

图8中示例性示出了实施例提供的一种基于视场角的显示方法完整流程图；

图9中示例性示出了实施例提供的一种基于视场角的显示设备结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请实施例提供一种视频显示方法以及显示设备。以虚拟现实(VirtualReality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102，其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。

需说明的是，本申请实施例中的显示设备还可以是智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。

以显示设备为智能电视为例，图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。根据显示器275类型不同，还包括用于驱动显示的驱动组件。

在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。

在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器等。

在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。

在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种系统启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

在一些实施例中，CPU处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。

显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块为用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块为用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

在播放全景视频时，存在两种播放方式，一种是视频全传方式，适用于码率不高、清晰度相对较低的全景视频中，一般的视频的分辨率是4K(4096＊2048像素)或4K以下，由于VR显示设备中播放的视频是全景视频，当播放4K分辨率的全景视频时，平均到每个角度的像素值就会相对较低，用户双眼看时间久了，就会产生眩晕感，同时体验也较差，如果采用8K分辨率(7680＊1840像素)进行播放时，显示设备需具备强大的视频解码能力，同时要求用户具备较高的带宽才能播放，而现有的支持8K视频解码能力的显示设备，成本昂贵；另一种方式是通过FOV方式进行播放，即将当前视场角(视角)的可视区域内显示高清的视频，其余显示低清视频，将完整的8K全景视频，进行分块处理，只加载用户可以看到FOV内的高清图像分块，当用户视角发生改变时，再加载新的FOV内的高清图像分块，同时，将一个分辨率相对较低(4k)的全景视频进行全传，当做背景(小球)，当用户视角变化时，首先看到的是模糊的背景(小球)，再看到分辨率较高(8K)的全景视频，由于采用4K分辨率进行全传，可以大幅降低传输全景视频的数据量，且可以使用不具有8K解码能力的昂贵显示设备在一个相对较低网络带宽体验8K全景视频的观看，同时，用户看到的是8K全景视频的一部分，清晰度相对较高，不容易头晕，体验感较佳。

当用户头部转动时，用户视角发生了改变，应尽量快的去加载视野内的高清图像分块。一般的，为了达到快速转头的目的，视频在编码时，一般只采用一个I帧和多个P帧来进行编码，但由于用户转头的时间是随机的，当用户在显示设备对多个P帧解码时进行转头，则可视区域内新增加的高清图像分块的视频帧由于没有了依赖的视频帧进行解码，使得显示设备中的解码器无法对其进行解码，需要等到下一个I帧到来后才能解码，导致用户转头时视频高清视频加载较慢或无法加载的问题。为了避免上述情况，可使用帧内编码的视频帧(IntraP)进行插帧，也就是说，当用户头部转动时，需要先加载P帧对应的帧内编码的帧(解码块)，再加载P帧进行解码，可以不用等待下一个I帧到来后才对P帧进行解码，从而加快视频的加载时间。但该方法的缺陷是，当用户头部转动时，因为P帧对应的帧内编码的帧(解码块)下载需要时间，需要提前加载帧内编码的帧(解码块)才能有时间进行插帧处理，当提前下载的时间较长时，就会导致高清视频加载时间变长，当提前下载的时间较短时，就可能导致当需要插帧时，P帧对应的帧内编码的帧(解码块)还没有下载下来，导致无法对P帧进行解码，从而要等到下一个I帧的到来，使得转头时间变慢。因此，需要合理的控制提前下载帧对应的帧内编码的帧(解码块)的时间是用视角变化后显示高清全景视频图像的关键。

为了解决上述问题，本申请实施例提供一种基于视场角的显示方法及显示设备。该方法获取用户转头前后的用户视角差异值，并确定用户转头后用户视角对应的可视区域内相对于用户转头前用户视角对应的可视区域内增加了至少一个高清图像分块，并根据用户转头前后的用户视角差异值，获取用于解码增加的高清图像分块的帧内编码的解码块的数据容量，根据解码块的数据容量之和、转头前用户视角对应的可视区域内的高清图像分块的数据容量之和、以及下载网速，确定下载解码块的总下载时间，从而保证解码器对视频帧进行解码时，以合理的时间提前下了视频帧内高清图像分块对应的帧内编码的解码块，无需等到下一个I帧的到来；然后根据解码块的总下载时间，高清图像分块的合并时间以及解码时间，确定转头后用户视角对应的可视区域内高清图像分块的提前下载时间，根据提前下载时间提前下载相应的高清图像分块，在视频帧播放时间到达时进行显示，从而在用户视角变化后，可以精确控制可视区域内高清视频分块提前下载时间以便快速的显示可视区域内的高清图像分块，进而提高高清全景视频图像显示的稳定性。

其中为区别描述，用户头部转动后用户视角对应的可视区域记为第一区域，用户头部转动前用户视角对应的可视区域记为第二区域。

下面结合附图详细描述本申请的实施例。

图3示例性示出了本申请实施例提供的一种基于视场角的显示方法流程图，如图所示，该流程可有软件方式实现，也可由软硬件结合方式实现，主要包括以下几步：

S301：获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块。

该步骤中，第一可视区域为用户头部转动后用户视角对应的可视区域，第二可视区域为用户头部转动前用户视角对应的可视区域。基于FOV的全景视频播放方案中，将分辨率为8K的原始码流(高清全景视频图像)进行切割和分块，当用户头部转动时用户视角对应的可视区域发生变化，如图4所示，从当前用户视角转动到转头后用户视角时(当前用户视角的可视区域用单点划线圈出，转头后的用户视角对应的可视区域用双点划线圈出)，转头后用户视角对应的可视区域内的高清图像分块需要进行下载，并组合到一起进行解码播放。其中，还可对用户头部转动后的用户视角进行预测，比如采用深度学习算法预测转头视角，或者，采用根据用户头部转动的速度和方向预测转头视角，在不影响本申请实施例实质内容的基础上，本申请实施例对用户视角的预测方式不做限制性要求。

在S301中，用户视角变化后，用户视角对应的可视区域内包含的高清图像分块发生了变化，需确定用户头部转动后用户视角对应的可视区域(第二可视区域)内相对于用户头部转动前用户视角对应的可视区域(第二可视区域)内增加的至少一个高清图像分块，下载并组合到一起进行解码播放。

以高清全景视频图像分割为20块高清图像分块为例，每一个高清图像分块对应一个分块标识(比如用于标识高清图像分块的分块编号)，如图5所示，用户头部转动前用户视角对应的可视区域内包含的高清图像分块的分块编号为7、8、12、13，用左斜线表示，用户头部转动后用户视角对应的可视区域内包含的高清图像分块的分块编号为3、4、8、9，用右斜线表示，则用户头部转动后用户视角对应的可视区域(第一可视区域)内相对于用户头部转动前用户视角对应的可视区域(第二可视区域)内增加的高清图像分块的分块编号为3、4、9。

S302：根据用户视角差异值，获取至少一个高清图像分块对应的帧内编码的解码块的数据容量。

该步骤中，用户视角变化后，需要下载第一可视区域内新增加的高清图像分块的帧内编码的解码块。由于提前下载时间与高清图像分块的数据容量有关，因此需要确定增加的高清图像分块的数据容量。

在一些实施例中，若用户视角差异值大于第一阈值，则将高清图像分块在多路视频流中的平均数据容量作为高清图像分块对应的帧内编码的解码块的数据容量。具体的，可预先确定每个高清图像分块在多路视频流中的平均数据容量，并将高清图像分块的分块编号及其平均数据容量的对应关系写入数据库文件中(文件扩展名为MPD)，当用户头部转动较大时，也就是用户视角差异值大于第一阈值时，读取MPD文件，根据第一可视区域内增加的高清图像分块的分块编号获取高清图像分块的平均数据容量，将平均数据容量作为相应高清图像分块对应的帧内编码的解码块的数据容量，从而根据解码块的数据容量确定下载解码块所需要的时间。该方法根据不同视频流中高清图像分块的平均数据容量确定解码块的数据容量，计算方式简单。但由于MPD文件中的平均数据容量不能精确到每一视频帧，可能导致计算结果的不准确。

需要说明的是，本身申请实施例对高清图像分块的分块编号及其平均数据容量的对应关系的存储方式不做限制性要求，比如还可以存入其他类型的数据库文件中，比如文件扩展名为MDF的数据库文件，还可以存储于列表中。

为了准确计算解码块的数据容量，在另一些实施例中，针对每一视频帧确定该帧内高清图像分块对应的帧内编码的解码块的数据容量。当用户头部转动较小时，也就是用户视角差异值不大于第一阈值时，则根据至少一个高清图像分块与第二可视区域内高清图像分块的位置关系，获取至少一个高清图像分块对应的帧内编码的解码块的数据容量。具体的，在视频编码过程中，根据视频帧中各高清图像分块之间的位置关系，将每一高清图像分块相邻的各高清图像分块对应的帧内编码的解码块的数据容量通过MP4文件(或其他类型视频文件)头进行封装，其中每一高清图像分块的相邻各高清图像分块是根据视频帧的全景投影方式确定的，高清图像分块对应的帧内编码的解码块的数据容量为当前编码视频帧的高清图像分块的数据容量。对于处于非边界处的高清图像分块，该MP4文件头中包括与该高清图像分块存在公用角点的相邻高清图像分块对应的帧内编码的解码块的数据容量，对于处于边界处的高清图像分块，MP4文件头中包括与该高清图像分块存在公用角点的相邻高清图像分块对应的帧内编码的解码块的数据容量以及该高清图像分块所在边界的对立侧与其相邻的高清图像分块对应的帧内编码的解码块的数据容量。

举例来说，全景视频采用等矩柱状投影(Equi-Rectangular Projection，ERP)方式时，高清全景视频图像的上下边缘、左右边缘首尾相接，也就是说分块1、2、3、4、5与分块16、17、18、19、20上下相邻，分块1、6、11、16与分块5、10、25、20左右相邻。

用户头部转动后，若用户视角差异值不大于第一阈值，则根据增加的高清图像分块与第二可视区域内高清图像分块的位置关系，获取增加的高清图像分块对应的帧内编码的解码块的数据容量。具体的，读取MP4文件，根据增加的高清图像分块的位置编号，确定与其位置相邻的各高清图像分块，并从与其相邻的各高清图像分块中位于第二可视区域内的高清图像分块中获取增加的高清图像分块对应的帧内编码的解码块的数据容量。

举例来说，参见图6，对于处于非边界上的位置编号为7的高清图像分块，其MP4文件头中包括与其存在公用角点的相邻高清图像分块1、2、3、6、8、11、12、13对应的帧内编码的解码块的数据容量；对于处于右边界上的位置编号为10的高清图像分块，其MP4文件头中包括与其存在公用角点的相邻高清图像分块4、5、9、14、15对应的帧内编码的解码块的数据容量以及左边界上与其相邻的1、6、11对应的帧内编码的解码块的数据容量；对于处于上边界上的位置编号为3的高清图像分块，其MP4文件头中包括与其存在公用角点的相邻高清图像分块2、4、7、8、9对应的帧内编码的解码块的数据容量以及下边界上与其相邻的17、18、19对应的帧内编码的解码块的数据容量。

S303：根据获取的解码块的数据容量之和、当前下载网速、以及第二可视区域内的高清图像分块所占的下载网速，确定下载解码块的总下载时间。

该步骤中，解码块的总下载时间影响全景视频的播放效果，当视频播放到某个时间时，解码块没有下载完成，导致全景视频显示变慢，或者，解码块早早下载完成，导致下载资源使用不合理。因此需要精确计算解码块的下载时间。在S303中，用获取的解码块的数据容量之和除以当前下载网速与第二可视区域内的高清图像分块的所占的下载网速的差，得到下载解码块的总下载时间。当前下载网速与第二可视区域内的高清图像分块的所占的下载网速的差称为空闲下载网速(也称为可用下载网速)。

举例来说，用户转头后用户视角对应的可视区域内增加了5个高清图像分块，增加的每个高清图像分块对应的帧内编码的解码块的数据容量为100K，空闲下载网速为50MBps，则下载解码块的总下载时间为：5＊100＊8/(50＊1024)＝78ms。

在一些实施例中，当前下载网速可根据全景视频播放前预先测得的网速和当前播放全景视频的下载码率得到。具体的，全景视频播放前，首先进行网速测试，测得的网速记为第一网速值，全景视频播过程中，根据至少一个高清图像分块的下载码率，确定第二网速值，将预先测定的第一网速值和第二网速值中最大的一个确定为当前下载网速。

S304：根据总下载时间，第一可视区域内的高清图像分块的合并时间、第一可视区域内的高清图像分块的解码时间，确定第一可视区域内高清图像分块的提前下载时间。

该步骤中，全景视频播放过程中，若每帧全景视频图像渲染时，视频处理器顺序解码各高清图像分块的图像数据，受解码能力的限制，全景视频图像无法按照原始的帧率显示。因此，可对第一可视区域内的高清图像分块进行拼接，合并为一张图像，高清图像分块的合并时间和对合并后的图像的解码时间相对解码块的总下载时间相对固定。在确定第一可视区域内高清图像分块的提前下载时间时，可确定第一可视区域内的多个高清图像分块合并为一张图像的合并时间，以及解码图像的解码时间，并计算增加的高清图像分块对应的帧内编码的解码块的数据容量的总下载时间、第一可视区域内的多个高清图像分块的合并时间以及第一可视区域内的多个高清图像分块解码时间的和，将该和作为第一可视区域内高清图像分块的提前下载时间。如图7所示，当前视频帧的播放时间至下一视频帧开始播放的时间为用户头部转动的时间，也就是为可视区域内画面质量有模糊变清晰的时间，该时间为解码块的总下载时间、高清图像分块的合并时间以及解码时间的和。其中，提前下载时间是相对于开始播放下载的视频帧的提前下载时间。

S305：根据确定的提前下载时间提前下载第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

举例来说，下载解码块的总下载时间为78ms，第一可视区域内的多个高清图像分块的合并时间和解码时间为122ms，则应当在播放视频帧的前200ms提前下在该视频帧内的高清图像分块，或者，在当前播放时刻的200ms后延迟下载第一可视区域内的高清图像分块，提前下载的高清图像分块用于在视频帧播放时间到达时进行显示。

本申请的上述实施例中，根据用户头部转动前后的用户视角差异值大小获取可视区域内新增的高清图像分块对应的帧内编码的解码块的数据容量，当用户头部转动较大时，即用户视角差异值大于第一阈值时，将每个高清图像分块在多路视频流中的平均数据容量作为相应高清图像分块对应的帧内编码的解码块的数据容量，当用户头部转动较小时，即用户视角差异值不大于第一阈值时，根据新增的高清图像分块与第二可视区域内高清图像分块的位置关系，获取新增的高清图像分块对应的帧内编码的解码块的数据容量，并根据解码块的数据容量之和以及空闲下载网速，确定下载解码块的总下载时间，从而根据解码块的总下载时间提前下载解码块，保证解码器对视频帧进行解码时，以合理的时间提前下了用于解码器解码的解码块，使得显示设备可以精确控制可视区域内高清视频分块提前下载时间以便从服务器快速的加载可视区域内的高清图像分块，提高了用户视角变化后高清视频加载的稳定性。

在一些实施例中，全景视频播放过程中，显示设备还可根据新增的高清图像分块的下载成功率，动态调整用户头部转动后用户视角对应的可视区域内高清图像分块的提前下载时间。具体的，若下载成功率小于第二阈值，则增加提前下载时间；若下载成功率大于第三阈值，则减小提前下载时间，第二阈值小于或等于第三阈值。

在另一些实施例中，还可根据第一可视区域相对于第二可视区域内新增的高清图像分块的数量进行提前下载时间的动态调整。具体的，若增加的高清图像分块的数量大于第四阈值，则增加提前下载时间；若增加的高清图像分块的数量小于第五阈值，则减小提前下载时间，其中，提前下载时间增加或减少的步长与增加的至少一个高清图像分块的数量成正比，第五阈值小于或等于第四阈值。比如，如果第一可视区域内增加了3个高清图像分块，则根据设定的提前下载时间进行下载，如果增加了5个高清图像分块，则在设定的提取下载时间的基础上加上设定时间步长，即提前较长时间进行下载，如果增加了1个高清图像分块，则在设定的下载时间的基础上减少设定时间不长，即提前较短时间进行下载。

图8示例性示出了本申请实施例提供的一种基于视场角的显示方法的完整流程示意图。如图所示，该流程主要包括以下几步：

S801：确定当前下载网速。

该步骤中，当前视频播放时刻的下载网速为第一网速值和第二网速值中的最大值。第一网速值和第二网速值的相关描述参见上述实施例，在此不再重复。

S802：获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块。

该步骤的详细描述参加S301，在此不再重复。

S803：确定用户视角差异值是否大于第一阈值，若是，执行S804，否则执行S805。

该步骤中，用户视角差异值大于第一阈值，表明用户头部转动较大，用户头部转动前后的用户视角对应的可视区域内可能不存在位置编号相同的高清图像分块，需要从MPD文件中获取高清图像分块对应的帧内编码的解码块的数据容量；用户视角差异值不大于第一阈值，表明用户头部转动较小，用户头部转动前后的用户视角对应的可视区域内可能存在位置编号相同的高清图像分块，需要从MP4文件头中获取高清图像分块对应的帧内编码的解码块的数据容量。

S804：从MPD文件中获取高清图像分块对应的帧内编码的解码块的数据容量。

该步骤中，MPD文件中存储的解码块的数据容量每个高清图像分块在多路视频流中的平均数据容量。具体描述参见前述实施例，在此不再重复。

S805：从MP4文件头中获取高清图像分块对应的帧内编码的解码块的数据容量。

该步骤中，MP4文件头中存储的解码块的数据容量为与高清图像分块相邻的各高清图像分块对应的帧内编码的解码块的数据容量。具体描述参见前述实施例，在此不再重复。

S806：根据获取的解码块的数据容量之和、当前下载网速、以及第二可视区域内的高清图像分块所占的下载网速，确定下载解码块的总下载时间。

该步骤中，计算获取的解码块的数据容量之和除以当前下载网速与第二可视区域内的高清图像分块所占的下载网速的差的商，将该商确定为下载解码块的总下载时间。该步骤的详细描述参见S303，在此不再重复。

S807：根据总下载时间，第一可视区域内的高清图像分块的合并时间、第一可视区域内的高清图像分块的解码时间，确定第一可视区域内高清图像分块的提前下载时间。

该步骤中，计算总下载时间、第一可视区域内的高清图像分块的合并时间、以及第一可视区域内的高清图像分块的解码时间的和，将该和确定为第一可视区域内高清图像分块的提前下载时间。该步骤的详细描述参见S304，在此不再重复。

S808：根据确定的提前下载时间提前下载第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

S809：根据第一可视区域内的至少一个高清图像分块的下载成功率，动态调整高清图像分块的提前下载时间。

该步骤中，通过第一可视区域内的至少一个高清图像分块的下载成功率，动态调整高清图像分块的提前下载时间，提高了下载高清图像分块时间的准确性，从而提高了全景视频显示的稳定性。该步骤的详细描述参见前述实施例，在此不再重复。

基于相同的发明构思，本发明实施例中还提供了一种显示设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图9所示，本申请实施例提供的显示设备，该显示设备包括获取模块901、下载时间确定模块902、下载显示模块903。

获取模块901，被配置为获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，并根据用户视角差异值，获取至少一个高清图像分块对应的帧内编码的解码块的数据容量，第一可视区域为用户头部转动后用户视角对应的可视区域，第二可视区域为用户头部转动前用户视角对应的可视区域；

下载时间确定模块902：被配置为根据获取的解码块的数据容量之和、当前下载网速、以及第二可视区域内的高清图像分块所占的下载网速，确定下载解码块的总下载时间；根据总下载时间，第一可视区域内的高清图像分块的合并时间、第一可视区域内的高清图像分块的解码时间，确定第一可视区域内高清图像分块的提前下载时间；

下载显示模块903，被配置根据确定的提前下载时间提前下载第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

在一些实施例中，获取模块901，具体被配置为：

若用户视角差异值大于第一阈值，则将至少一个高清图像分块中每个高清图像分块在多路视频流中的平均数据容量作为相应高清图像分块对应的帧内编码的解码块的数据容量；或

若用户视角差异值不大于第一阈值，则根据至少一个高清图像分块与第二可视区域内高清图像分块的位置关系，获取至少一个高清图像分块对应的帧内编码的解码块的数据容量。

在一些实施例中，所述装置还包括存储模块904，被配置为：

针对全景视频帧中的每一高清图像分块，确定高清图像分块在多路视频流中的平均数据容量，并将高清图像分块的分块编号及与高清图像分块的平均数据容量的对应关系写入数据库文件中；以及

根据全景视频帧中各高清图像分块之间的位置关系，将每一高清图像分块的相邻各高清图像分块对应的帧内编码的解码块的数据容量封装到全景视频文件的文件头中。

在一些实施例中，下载时间确定模块902，具体被配置为：

确定第一可视区域内的多个高清图像分块合并为一张图像的合并时间，以及解码图像的解码时间；

计算总下载时间、合并时间以及解码时间的和，将和作为第一可视区域内高清图像分块的提前下载时间。

在一些实施例中，显示设备还包括时间调整模块905，被配置为：

确定第一可视区域内的至少一个高清图像分块的下载成功率；

根据下载成功率，动态调整提前下载时间。

在一些实施例中，时间调整模块905，具体被配置为：

若下载成功率小于第二阈值，则增加提取下载时间；

若下载成功率大于第三阈值，则减小提取下载时间，第二阈值小于或等于第三阈值。

在一些实施例中，时间调整模块905，还被配置为：

若增加的高清图像分块的数量大于第四阈值，则增加提取下载时间；

若增加的高清图像分块的数量小于第五阈值，则减小提取下载时间，其中，提取下载时间增加或减少的步长与增加的至少一个高清图像分块的数量成正比，第五阈值小于或等于第四阈值。

在一些实施例中，显示设备还包括网速确定模块906，被配置为：

根据至少一个高清图像分块的下载码率，确定第二网速值；

将预先测定的第一网速值和第二网速值中最大的一个确定为下载网速。

本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在计算终端上运行时，所述程序代码用于使所述计算终端执行上述本发明实施例视频显示方法的步骤。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种基于视场角的显示设备，其特征在于，包括：

显示器，与控制器连接，被配置为显示高清全景视频图像；

存储器，与所述控制连接，被配置为存储计算机指令；

所述控制器，被配置为根据所述计算机指令执行以下操作：

获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，所述第一可视区域为用户头部转动后用户视角对应的可视区域，所述第二可视区域为用户头部转动前用户视角对应的可视区域；

根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量；

根据获取的所述解码块的数据容量之和、当前下载网速、以及所述第二可视区域内的高清图像分块所占的下载网速，确定下载所述解码块的总下载时间；

根据所述总下载时间，所述第一可视区域内的高清图像分块的合并时间、所述第一可视区域内的高清图像分块的解码时间，确定所述第一可视区域内高清图像分块的提前下载时间；

根据确定的提前下载时间提前下载所述第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

2.如权利要求1所述的显示设备，其特征在于，所述控制器根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量，具体被配置为：

若所述用户视角差异值大于第一阈值，则将所述至少一个高清图像分块中每个高清图像分块在多路视频流中的平均数据容量作为相应高清图像分块对应的帧内编码的解码块的数据容量；或

若所述用户视角差异值不大于第一阈值，则根据所述至少一个高清图像分块与所述第二可视区域内高清图像分块的位置关系，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量。

3.如权利要求2所述的显示设备，其特征在于，所述控制器还被配置为：

针对全景视频帧中的每一高清图像分块，确定所述高清图像分块在多路视频流中的平均数据容量，并将所述高清图像分块的分块编号及与所述高清图像分块的平均数据容量的对应关系写入数据库文件中；以及

根据全景视频帧中各高清图像分块之间的位置关系，将每一高清图像分块的相邻各高清图像分块对应的帧内编码的解码块的数据容量封装到全景视频文件的文件头中。

4.如权利要求1所述的显示设备，其特征在于，所述控制器确定所述第一可视区域内高清图像分块的提前下载时间，具体被配置为：

确定所述第一可视区域内的多个高清图像分块合并为一张图像的合并时间，以及解码所述图像的解码时间；

计算所述总下载时间、所述合并时间以及所述解码时间的和，将所述和作为所述第一可视区域内高清图像分块的提前下载时间。

5.如权利要求1-4中任一项所述的显示设备，其特征在于，所述控制器还被配置为：

确定所述第一可视区域内的至少一个高清图像分块的下载成功率；

若所述下载成功率小于第二阈值，则增加所述提前下载时间；

若所述下载成功率大于第三阈值，则减小所述提前下载时间，所述第二阈值小于或等于所述第三阈值。

6.如权利要求1-4中任一项所述的显示设备，其特征在于，所述控制器还可以通过以下方式动态调整所述提前下载时间：

若增加的高清图像分块的数量大于第四阈值，则增加所述提前下载时间；

若增加的高清图像分块的数量小于第五阈值，则减小所述提前下载时间，其中，所述提前下载时间增加或减少的步长与增加的至少一个高清图像分块的数量成正比，所述第五阈值小于或等于所述第四阈值。

7.如权利要求1所述的显示设备，其特征在于，所述控制器通过以下方式确定下载网速：

根据所述至少一个高清图像分块的下载码率，确定第二网速值；

将预先测定的第一网速值和所述第二网速值中最大的一个确定为下载网速。

8.一种基于视场角的显示方法，其特征在于，包括：

获取用户头部转动前后的用户视角差异值，并确定第一可视区域内相对于第二可视区域内增加的至少一个高清图像分块，所述第一可视区域为用户头部转动后用户视角对应的可视区域，所述第二可视区域为用户头部转动前用户视角对应的可视区域；

根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量；

根据获取的所述解码块的数据容量之和、当前下载网速、以及所述第二可视区域内的高清图像分块所占的下载网速，确定下载所述解码块的总下载时间；

根据所述总下载时间，所述第一可视区域内的高清图像分块的合并时间、所述第一可视区域内的高清图像分块的解码时间，确定所述第一可视区域内高清图像分块的提前下载时间；

根据确定的提前下载时间提前下载所述第一可视区域内的高清图像分块以用于在播放时间到达时进行显示。

9.如权利要求8所述的方法，其特征在于，所述根据所述用户视角差异值，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量，包括：

若所述用户视角差异值大于第一阈值，则将所述至少一个高清图像分块中每个高清图像分块在多路视频流中的平均数据容量作为相应高清图像分块对应的帧内编码的解码块的数据容量；或

若所述用户视角差异值不大于第一阈值，则根据所述至少一个高清图像分块与所述第二可视区域内高清图像分块的位置关系，获取所述至少一个高清图像分块对应的帧内编码的解码块的数据容量。

10.如权利要求9所述的方法，其特征在于，所述控制器还被配置为：

针对全景视频帧中的每一高清图像分块，确定所述高清图像分块在多路视频流中的平均数据容量，并将所述高清图像分块的分块编号及与所述高清图像分块的平均数据容量的对应关系写入数据库文件中；以及

根据全景视频帧中各高清图像分块之间的位置关系，将每一高清图像分块的相邻各高清图像分块对应的帧内编码的解码块的数据容量封装到全景视频文件的文件头中。

Images