CN112866669B - 一种数据切换时间确定方法及设备 - Google Patents

Abstract

本申请涉及全景视频技术领域，提供了待分析视频录制方法、数据切换时间确定方法及设备，该方法接收待分析视频，待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，确定待分析视频中至少一对帧之间的时长，根据确定的至少一个时长，确定用户视点旋转后可视区域内低清清数据切换为高清数据的切换时间，其中一对帧包括起始帧和与对应的结束帧，起始帧为用户视点每次旋转停顿的起始时间点对应的视频帧，结束帧为位于对应的起始帧之后的第一个目标帧，目标帧中各高清图像分块的面积之和与目标帧面积的比值大于等于设定阈值，该方法可以提高确定的全景视频中低清数据切换为高清数据的切换时间精度。

Description

一种数据切换时间确定方法及设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种数据切换时间确定方法及设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

近年来，为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，全景视频的显示可采用视场角(Field Angle of View，FOV)传输方案。FOV传输方案主要关注当前用户视点朝向的可视区域画面的质量，一般对全景图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据用户视点传输相应分块的视频流，解码后显示。FOV传输方案的特点是当用户转头时，先显示低清数据，当高清数据加载完成时切换为高清数据进行显示，因此低清数据和高清数据之间进行切换时，高低清数据切换时间的长短决定着用户体验的好坏，切换时间能够有效评价FOV传输全景视频的质量。但目前高低清数据切换时间的测量具有复杂度高、精度低的问题。

发明内容

本申请提供了待分析视频录制方法、数据切换时间确定方法及设备，用以提高全景视频显示过程中低清数据切换为高清数据的切换时间的精度，实现过程简单。

第一方面，本申请提供一种数据切换时间确定设备，包括存储器和处理器：

所述存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

接收待分析视频，所述待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块；

确定所述待分析视频中至少一对帧之间的时长，其中所述一对帧包括起始帧和与所述起始帧对应的结束帧，所述起始帧为所述用户视点每次旋转停顿的起始时间点对应的视频帧，所述结束帧为位于对应的所述起始帧之后的第一个目标帧，目标帧中各高清图像分块的面积之和与所述目标帧面积的比值大于等于设定阈值；

根据确定的至少一个时长，确定所述用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

第二方面，本申请提供一种数据切换时间确定方法，包括：

接收待分析视频，所述待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块；

确定所述待分析视频中至少一对帧之间的时长，其中所述一对帧包括起始帧和与所述起始帧对应的结束帧，所述起始帧为所述用户视点每次旋转停顿的起始时间点对应的视频帧，所述结束帧为位于对应的所述起始帧之后的第一个目标帧，所述目标帧中各高清图像分块的面积之和与所述目标帧面积的比值大于等于设定阈值；

根据确定的至少一个时长，确定所述用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请的上述实施例中，待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，可以确定每一视频帧中各高清图像分块的面积之和与视频帧面积的比值，该比值可用于确定起始帧之后对应的结束帧，其中起始帧为用户视点每次旋转停顿的起始时间点对应的视频帧，根据待分析视频中的至少一对起始帧和结束帧确定的至少一个时长，自动确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间，计算过程简单；且根据面积比值确定与起始帧对应的结束帧，根据起始帧和对应的结束帧之间的时长，便可确定高低请数据的切换时间，无需人工参与，提高了全景视频显示过程中低清数据切换为高清数据的切换时间的精度。

第三方面，本申请提供一种显示设备，包括显示器、存储器和图形处理器：

所述显示器，与所述图形处理器连接，被配置为显示全景视频；

所述存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

接收用户输入的控制用户视点运动的运动参数，所述运动参数包括所述用户视点的旋转角度、旋转速度、旋转次数、两次相邻旋转的时间间隔、单一颜色值；

接收用户输入的全景视频播放指令并播放全景视频，同时根据所述运动参数控制所述用户视点运动并录制播放的所述全景视频，得到待分析视频，录制的待分析视频中的每一视频帧包含所述用户视点对应的可视区域内的至少一个高清图像分块，所述至少一个高清图像分块的边框被渲染为单一颜色值，或者所述至少一个高清图像分块按照所述单一颜色值显示；

将录制的待分析视频发送给接收方，使得所述接收方根据录制的待分析视频确定所述用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

第四方面，本申请提供一种录制用于确定数据切换时间的待分析视频的方法，包括：

接收用户输入的控制用户视点运动的运动参数，所述运动参数包括所述用户视点的旋转角度、旋转速度、旋转次数、两次相邻旋转的时间间隔、单一颜色值；

接收用户输入的全景视频播放指令并播放全景视频，同时根据所述运动参数控制所述用户视点运动并录制播放的所述全景视频，得到待分析视频，录制的待分析视频中的每一视频帧包含所述用户视点对应的可视区域内的至少一个高清图像分块，所述至少一个高清图像分块的边框被渲染为单一颜色值，或者所述至少一个高清图像分块按照所述单一颜色值显示；

将录制的待分析视频发送给接收方，使得所述接收方根据录制的待分析视频确定所述用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请的上述实施例中，接收用户输入的控制用户视点运动的运动参数，其中运动参数包括用户视点的旋转角度、旋转速度、旋转次数、两次相邻旋转的时间间隔、单一颜色值，根据运动参数控制用户视点的运动，使得用户视点的运动更加规律；用户视点运动过程中录制播放的全景视频，得到待分析视频，由于录制的待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，至少一个高清图像分块的边框根据单一颜色值被渲染为单一颜色，或者至少一个高清图像分块按照单一颜色值进行显示，便于后续计算视频帧中各高清图像分块的面积之和与视频帧面积的比值；将录制的待分析视频发送给接收方，使得接收方根据录制的全景视频确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例提供的数据切换时间确定方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图；

图2中示例性示出了根据示例性实施例中全景视频分块示意图；

图3示例性输出了本申请实施例提供的FOV显示原理示意图；

图4示例性示出了本申请实施例提供一种录制用于确定数据切换时间的待分析视频的场景示意图；

图5示例性示出了本申请实施例提供一种录制用于确定数据切换时间的待分析视频的方法流程图；

图6示例性示出了本申请实施例提供的一种数据切换时间确定方法流程图；

图7示例性示出了本申请实施例提供的视频帧的播放时间轴；

图8示例性示出了本申请实施例提供的一种服务器的功能结构图；

图9示例性示出了本申请实施例提供的一种显示设备的功能结构图；

图10示例性示出了本申请实施例提供的一种服务器的硬件配置图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

以虚拟现实(Virtual Reality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102，其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。其中，VR头戴式显示设备还具有录屏功能。

需说明的是，本申请实施例中的显示设备还可以是智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。

全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，全景视频的显示可采用FOV传输方案。FOV传输方案的特点是当用户转头时，先显示低清数据，当高清数据加载完成时切换为高清数据进行显示。由于高低清数据切换时间的长短决定着用户体验的好坏，因此需要确定切换时间。

切换时间最直观的确定方式是：用户佩戴VR头戴式显示设备，按一定的速度进行有规律的转头动作，并录制整个转头过程中用户观看的全景视频，得到待分析视频，通过录制的待分析视频手动计算出转头停止时(即用户视点停止时)，可视区域内低清数据完全切换为高清数据的切换时间。但是存在几个问题：1)用户进行转头动作时，无法保持转头速度的恒定，录制好的待分析视频也只能通过视频播放软件播放，人工记录低清数据切换为高清数据的切换时间，人工记录很难精确确定转头停止时间；2)由于切换时间往往是几十毫秒到几秒，肉眼难以分辨高清数据已全部加载；3)需要测量不同转头速度下的切换时间，不同转头速度不易区分。因此，该方法确定的切换时间受主观影响较大，且误差较大。另一种方式是：分开统计低清数据切换为高清数据的切换过程涉及各个环节的时长，环节包括但不限于用户视点计算、高清图像分块列表计算、数据下载、数据拼接融合、图像解码、纹理传递、采样渲染等多个部分，环节较多，计算度较高。

基于上述分析，本申请实施例提供一种待分析视频录制方法、数据切换时间确定方法及设备。该方法即设备通过设置运动参数控制用户视点的转动，在转动过程中录制用户观看的全景视频时，将用户视点对应的可视区域内的高清图像分块或高清图像分块的边框渲染为单一颜色(纯色)，统计录制的待分析视频中每一视频帧中单一颜色区域组成的外部轮廓的面积(即各个高清图像分块的面积之和)，并与设定的阈值比较，当面积大于等于阈值时，表明可视区域内低清数据切换为高清数据，将用户视点停止转动时到面积满足要求时的时间间隔确定为低清数据切换为高清数据的切换时间。

其中，用户视点相当于显示设备中渲染引擎中虚拟相机(用于模拟用户眼睛)，虚拟相机的朝向即为用户视线方向，因此可通过控制显示设备中渲染引擎中虚拟相机的转动实现用户视点的转动。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频，还可适用于显示在线(包括点播和直播两种模式)的全景视频。

值得说明的是，本申请实施例中的高清和低清是相对而言的，比如分辨率为4K的图像为低清数据，分辨率为8K的图像为高清数据。

下面结合附图对本申请实施例进行详细描述。

全景视频采用的FOV传输方案中，需要对全景视频进行分块处理，然后配合使用一个相对分辨率较低的全视角下的全景视频，来解决显示设备(用户视点)转动时可视区域未能在短时间内快速加载图像分块而造成数据缺失的情况。以将全景视频中每一视频帧分为32个高清图像分块为例，每一高清图像分块对应一个分块标识，如图2所示。FOV显示原理：用户视点转动时，在用户视点的可视区域内显示高清图像分块，非可视区域以及可视区域内高清图像分块尚未加载的区域显示全视角的低清图像，高清图像分块与低清图像拼接组成当前显示的画面。图3示例性输出了本申请实施例提供的FOV显示原理示意图。如图3所示，当前用户视点的可视区域内显示分块编号为10、11、12、18、19、20的高清图像分块，其他区域显示低清图像。

当用户转动头部(用户视点转动)时，不断有新的高清图像分块被加载并代替低清图像数据，当转动停止后低清图像逐渐被高清图像分块全部替换。用户头部转动是动态的，高清图像分块的加载也是动态的，无法直接计算固定的低清数据切换为高清数据的切换时间。因此，一般将用户视点转动一定角度后停止转动的时间作为起始时间点，将转动停止后用户视点对应的可视区域内全部切换为高清数据的时间时作为终止时间点，取起始时间点和终止时间点的时间间隔作为高低清数据切换时间。由于切换时间会受到网络速度、转动速度等影响，所以通过测量切换时间对全景视频播放方案进行评估时，可将网络速度、转动速度等参数固定。

在一些实施例中，可基于硬件电机控制显示设备的转动以模拟用户视点的转动，比如，将显示设备固定在电机转盘上，控制电机以设置的运动参数转动，显示设备随着电机的转动而转动，从而模拟真实用户头部转动的情况，即用户视点的转动情况；再比如，如图4所示还可以在电机转盘401上固定一个人头模型，人头模型上佩戴VR头戴显示设备10，控制电机402以设置的运动参数转动，人头模型上佩戴的VR头戴显示设备10随着电机402的转动而转动，从而模拟真实用户头部转动的情况，即用户视点的转动情况，其中，电机402的运动参数可通过计算机403传输给控制设备404，由控制设备404设置电机401的运动参数。

图5示例性示出了本申请实施例提供的一种录制用于确定数据切换时间的待分析视频的方法流程图。如图5所示，该流程可由具有全景视频播放功能的显示设备(比如VR头戴式显示设备、智能电视等)执行，该流程主要包括以下几步：

S501：接收用户输入的控制用户视点运动的运动参数。

该步骤中，用户通过触控显示设备的″开始″功能键或显示界面的″开始″图标，使得显示设备弹出设置页面，用户可在设置页面中输入控制用户视点运动的运动参数。运动参数包括以下全部或部分：

-旋转速度：单位为度/秒，用S表示，不同旋转角度下的高低清数据切换时间不同，转速越快，可视区域内新增的高清图像分块数量越大，低清数据切换为高清数据的切换时间越长，且设置不同的旋转速度可以更全面的测试切换时间的确定方法；

-旋转角度：每次开始旋转到停止旋转的过程中旋转的度数，用A表示，当旋转角度小于VR头戴式显示设备的视场角(FOV)大小时，旋转角度越大，每次旋转的起始时间点和结束时间点用户视点的视野内的高清图像分块的差异越大，低清数据切换为高清数据的切换时间也越长，且设置不同的旋转角度可以更全面的测试切换时间的确定方法；本申请的实施例中，将旋转角度的上限定为(360°-FOV)，即每次旋转的起始时间点和结束时间点用户视点的视野不重叠；

-旋转次数：用户视点的旋转次数，用N表示，旋转次数越大，每次测试切换时间的时长越长，测试样本越大，结果越准确；

-两次相邻旋转的时间间隔：表示每次旋转结束到下一次旋转开始的间隔时间，用T_s表示，用于等待高清图像分块全部加载，也就是说，切换时间在两次相邻旋转的停顿时间(时间间隔)范围内，因此两次相邻旋转的时间间隔不要设置太小，以使可视区域内的高清图像分块全部加载完成；其中，两次相邻旋转的时间间隔可以不同，也可以相同，比如第一次旋转和第二次旋转之间的时间间隔为X1，第二次旋转和第三次旋转之间的时间间隔为X2，X1、X2可以相等，也可以不相等，设置的X1和X2的大小均可使可视区域内的高清图像分块全部加载完成；

-单一颜色值：由于全景视频中个别视频帧的片源存在大量纯色的情况，如果高清图像分块的边框颜色固定，可能和片源纯色内容顺色，造成测量结果失真，因此可根据片源颜色情况设置干扰较少的边框颜色，比如视频帧中绿色内容较多，则可将该视频帧中高清图像分块的边框颜色设置为红色。

需要说明的是，对渲染引擎中虚拟相机(相当于用户视点)的控制方式不仅限于在显示设备中进行设置，也可以通过与显示设备连接的手机、平板电脑、PC电脑等外部设备进行设置。其中，当显示设备为VR头戴式显示设备时，使用其它设备设置运动参数将更加直观和方便，可以有效提高测量效率。

S502：接收用户输入的全景视频播放指令并播放全景视频，同时根据运动参数控制用户视点运动，并录制运动过程观看到的全景视频，得到待分析视频。

该步骤中，用户可通过触控显示设备的″播放″按钮或显示界面的″播放″图标发送全景视频播放指令，显示设备接收用户输入的全景视频播放指令并根据该播放指令播放全景视频，同时，用户触控显示设备的″录屏″按钮或显示界面的″录屏″图标，显示设备启动录屏功能，并根据运动参数控制用户视点运动，录制用户视点转动过程观看到的全景视频，得到待分析视频。其中，录制的待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，至少一个高清图像分块的边框被渲染为单一颜色值，或者至少一个高清图像分块按照单一颜色值进行显示。具体实施时，在用户视点转动录制待分析视频的过程中，将用户视点对应的可视区域内的至少一个高清图像分块的边框按照单一颜色值被渲染为单一颜色，以便于后期计算各高清图像分块的面积之和与视频帧面积的比值。

需要说明的是，边框的宽度大于设定的阈值，以提高后期各高清图像分块边界轮廓检测的准确性，边界轮廓内为高清图像分块的区域，边界轮廓外为低清图像区域。

在另一些实施例中，录制待分析视频的过程中，为了简化视频帧内高清图像分块的面积的计算，也可将待分析视频的视频帧中的各高清图像分块按照单一颜色值进行显示。具体实施时，录制过程中进行渲染时，仍然对原始高清图像分块进行正常采样，只是采样结果不使用，而是采用运动参数中的单一颜色值进行显示，从而避免对采样流程产生破坏，造成测量切换时间结果的误差。

S503：将录制的待分析视频发送给接收方，使得接收方根据录制的待分析视频确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

该步骤中，全景视频播放结束，用户视点停止转动，用户通过触控显示设备的″结束″按钮或显示界面的″结束″图标结束录屏功能，并用户选择显示设备的″保存″功能键或显示界面的″保存″图标，将录制的待分析视频保存，保存后发送给接收方，由接收方根据录制的待分析视频确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请的上述实施例中，用过接收用户输入的运动参数控制用户视点进行有规律的运动，并录制运动过程中播放的全景视频，得到录制的待分析视频，由于录制的待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，至少一个高清图像分块的边框为单一颜色，或者至少一个高清图像分块显示为单一颜色，便于后续计算视频帧中各高清图像分块的面积之和与视频帧面积的比值，将录制的待分析视频发送给接收方，使得接收方根据录制的待分析视频确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。其中，接收方可以是确定数据切换时间的服务器。

在另一些实施例中，也可对全景视频进行预处理后播放。具体的，预先将全景视频中每一全景视频帧中的高清图像分块的边框处理为单一颜色并保存，在S602中播放预处理后的全景视频并录制，从而得到待分析视频。

基于显示设备录制的待分析视频确定用户视点转动后可视区域内低清数据切换为高清数据的切换时间。

下面以数据切换时间确定设备为服务器为例，图6示例性示出了本申请实施例提供的一种数据切换时间确定方法流程图。如图6所示，该流程由服务器执行，主要包括以下几步：

S601：接收待分析视频，待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块。

该步骤中，服务器接收显示设备发送的待分析视频，待分析视频与录制过程中用户视点的运动状态相匹配的，即待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块。其中运动状态有上述实施例中的运动参数决定的。

S602：确定待分析视频中至少一对帧之间的时长。

该步骤中，一对帧包括起始帧和与起始帧对应的结束帧，起始帧为用户视点每次旋转停顿的起始时间点对应的视频帧，结束帧为位于对应的起始帧之后的第一个目标帧，目标帧中各高清图像分块的面积之和与目标帧面积的比值大于等于设定阈值。视频帧与时间的关系可参见图7，其中，用户视点第一次转动开始时间点到第一次转动停止时间点的时间为第一次旋转时间，第一次转动停止时间点也就是每次旋转用户视点停顿的起始时间点，从第一次转动停止时间点到第二次转动开始时间点的时间为用户视点的停顿时间，即两次相邻旋转的时间间隔，依此类推，直至待分析视频播放结束。由于停顿时间大于切换时间，存在多帧各高清图像分块的面积之和与该视频帧面积的比值大于等于设定阈值的目标帧，但以第一个目标帧为结束帧。

需要说明的是，本申请实施例中设定的面积阈值不为100％，允许中间过程的计算误差。

在一些实施例中，用户视点每次旋转停顿的起始时间点是根据用户视点的旋转角度、旋转速度、旋转次数以及两次相邻旋转的时间间隔确定的。具体的，根据待分析视频对应的用户视点的旋转角度、旋转速度，确定每次旋转的旋转时间，根据每次旋转的旋转时间、两次相邻旋转的时间间隔以及旋转次数，确定每次用户视点停顿的起始时间点，起始时间点的计算公式如下：

T_n＝n＊T_c+(n-1)＊T_s 公式1

T_c＝A/S 公式2

其中，T_c为每次旋转的旋转时间，A为用户视点的旋转角度，S为用户视点的旋转速度，T_s为两次相邻旋转的时间间隔，n为第n次旋转，n为大于等于1的整数，T_n为每次用户视点停顿的起始时间点。

每次用户视点停顿的起始时间点对应的视频帧为起始帧，起始帧的确定方式包括：根据待分析视频的帧率以及起始时间点，确定起始时间点对应的视频帧，并将确定的视频帧作为起始帧，起始帧的计算公式为：

T_n_f＝T_n＊F 公式3

其中，T_n_f为起始帧，F为待分析视频的帧率。

每一起始帧存在对应的结束帧，记为T_n_f′，结束帧为位于对应的起始帧之后的第一个目标帧，结束帧的确定方式包括：从用户视点每次旋转停顿的起始时间点对应的起始帧开始，逐帧获取待分析视频中每一视频帧对应的面积比值，直至面积比值大于等于设定阈值，并将面积比值大于等于设定阈值对应的视频帧确定为结束帧。其中，获取面积比值时，可以视频帧的帧数为索引，获取该视频帧中各高清图像分块的面积之和与该视频帧面积的比值。

其中，各高清图像分块的面积之和的确定方式如下：

方式一

录制的待分析视频中，若至少一个高清图像分块的边框被渲染为单一颜色，则针对待分析视频中的每一视频帧，检测各高清图像分块边框的角点，根据检测的角点确定各高清图像分块的边界轮廓，并计算边界轮廓内的面积，将边界轮廓内的面积作为各高清图像分块的面积之和，并建立与视频帧的对应关系；

方式二

录制的待分析视频中，若至少一个高清图像分块按照单一颜色值进行显示，则将各高清图像分块的面积相加，得到各高清图像分块的面积之和，并建立与视频帧的对应关系。

S603：根据确定的至少一个时长，确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

该步骤中，用户视点可进行至少一次旋转，有至少一对起始帧和结束帧，即有至少一个时长，该时长即为用户视点旋转一次后可视区域内低清数据切换为高清数据的切换时间。起始帧和结束帧之间的时长可根据待分析视频的帧率得到，计算公式如下：

T＝(T_n_f′-T_n_f)/F

其中，T_n_f′为结束帧，T_n_f为起始帧，F为待分析视频的帧率，T用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

在S603中，当用户视点可进行多次旋转，可将各次旋转对应的时长的平均值确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请的上述实施例中，待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，至少一个高清图像分块的边框为单一颜色或至少一个高清图像分块显示为单一颜色，便于确定每一视频帧中各高清图像分块的面积之和与视频帧面积的比值；且该比值可用于确定起始帧之后对应的结束帧，其中起始帧为用户视点每次旋转停顿的起始时间点对应的视频帧，结束帧为目标帧中各高清图像分块的面积之和与目标帧面积的比值大于等于设定阈值的第一个目标帧，根据待分析视频中的至少一对起始帧和结束帧确定的至少一个时长，便可自动确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间，从而提高了全景视频显示过程中低清数据切换为高清数据的切换时间的精度，计算过程简单。

需要说明的是，如果显示设备的运算性能较好，可由显示设备确定低清数据切换为高清数据的切换时间。

基于相同的技术构思，本申请实施例还提供了一种服务器，该服务器可实现上述实施例中的方法。

参见图8，该服务器包括接收模块801、处理模块802。

接收模块801，用于接收待分析视频，待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块；

处理模块802，用于确定待分析视频中至少一对帧之间的时长；根据确定的至少一个时长，确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间，其中一对帧包括起始帧和与起始帧对应的结束帧，起始帧为用户视点每次旋转停顿的起始时间点对应的视频帧，结束帧为位于对应的起始帧之后的第一个目标帧，目标帧中各高清图像分块的面积之和与目标帧面积的比值大于等于设定阈值。

在一种可选的实施方式中，用户视点每次旋转停顿的起始时间点是根据用户视点的旋转角度、旋转速度、旋转次数以及两次相邻旋转的时间间隔确定的。

在一种可选的实施方式中，处理模块802具体用于：

根据待分析视频对应的用户视点的旋转角度、旋转速度，确定每次旋转的旋转时间；

根据每次旋转的旋转时间、两次相邻旋转的时间间隔以及旋转次数，确定每次用户视点停顿的起始时间点；

根据待分析视频的帧率以及起始时间点，确定起始时间点对应的视频帧，并将确定的视频帧作为起始帧。

在一种可选的实施方式中，处理模块802具体用于：

从用户视点每次旋转停顿的起始时间点对应的起始帧开始，逐帧获取待分析视频中每一视频帧对应的面积比值，直至面积比值大于等于设定阈值，并将面积比值大于等于设定阈值对应的视频帧确定为结束帧。

在一种可选的实施方式中，处理模块802具体用于：

若至少一个高清图像分块的边框被渲染为单一颜色，则针对待分析视频中的每一视频帧，检测各高清图像分块边框的角点；根据检测的角点确定各高清图像分块的边界轮廓，并计算边界轮廓内的面积，将边界轮廓内的面积作为各高清图像分块的面积之和；或

若至少一个高清图像分块按照单一颜色值进行显示，则将各高清图像分块的面积相加，得到各高清图像分块的面积之和。

在一种可选的实施方式中，若待分析视频包含多对起始帧和结束帧，则有多个对应的时长，处理模块802具体用于：

确定多个时长的平均值，将平均值确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请实施例中，该服务器所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

基于相同的技术构思，本申请实施例还提供了一种显示设备，该显示设备可实现上述实施例中的方法。

参见图9，该显示设备包括接收模块901、处理模块902、发送模块903。

接收模块901，用于接收用户输入的控制用户视点运动的运动参数，运动参数包括用户视点的旋转角度、旋转速度、旋转次数、两次相邻旋转的时间间隔、单一颜色值；

处理模块902，用于接收用户输入的全景视频播放指令并播放全景视频，同时根据运动参数控制用户视点运动并录制播放的全景视频，得到待分析视频，录制的待分析视频中的每一视频帧包含用户视点对应的可视区域内的至少一个高清图像分块，至少一个高清图像分块的边框被渲染为单一颜色值，或者至少一个高清图像分块按照单一颜色值显示；

发送模块903，用于将录制的待分析视频发送给服务器，使得服务器根据录制的待分析视频确定用户视点旋转后可视区域内低清数据切换为高清数据的切换时间。

本申请实施例中，该显示设备所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

基于相同的技术构思，本申请实施例还提供了一种服务器，该服务器可实现上述实施例中的方法。

参见图10，该服务器包括处理器1001、存储器1002。存储器1002，与处理器1001连接，被配置为存储计算机指令和数据，处理器1001被配置为根据1002存储的计算机指令执行本申请上述实施例图5和图6中的方法步骤。

本申请实施例中，该服务器所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其他步骤请参见前述方法或其他实施例中关于这些内容的描述，此处不做赘述。

需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)、图形处理器(Graphics Processing Unit，GPU)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的数据切换时间确定方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (5)

1.一种数据切换时间确定方法，其特征在于，包括：

显示设备接收运动参数的设置；其中，所述运动参数是用户通过显示界面上的设置菜单输入的，所述运动参数包括旋转速度、旋转角度、旋转次数、两次相邻旋转的时间间隔以及单一颜色值，所述旋转速度为每秒转动的度数，所述旋转角度为每次开始旋转到停止旋转的过程中旋转的度数，所述旋转次数为用户视点的旋转次数，所述两次相邻旋转的时间间隔为每次旋转结束到下一次旋转开始的间隔时间；

所述显示设备接收所述用户输入的全景视频播放指令并播放全景视频，同时根据所述运动参数控制所述用户视点运动，以及按照所述单一颜色值渲染所述用户视点对应的可视区域内的至少一个高清图像分块，以录制所述用户视点运动过程观看到的全景视频，获得待分析视频；其中，所述用户视点为渲染引擎中用于模拟用户眼睛的虚拟相机，所述待分析视频中的每一视频帧包含所述用户视点对应的可视区域内的至少一个高清图像分块；

所述显示设备将录制并保存的所述待分析视频发送给服务器；

所述服务器接收到所述待分析视频后，根据录制所述待分析视频时所述用户视点每次运动的旋转角度和旋转速度，确定每次旋转的旋转时间，结合两次相邻旋转的时间间隔以及旋转次数，确定所述用户视点每次停顿的起始时间点，以及根据所述待分析视频的帧率，确定所述起始时间点对应的视频帧，将确定的视频帧作为所述用户视点每次旋转停顿的起始帧；根据确定的起始帧确定位于其后的第一个目标帧，并将所述第一个目标帧作为所述用户视点每次旋转停顿的起始帧对应的结束帧，获得一对帧；其中，所述目标帧中各高清图像分块的面积之和与所述目标帧面积的比值大于等于设定阈值；

所述服务器根据所述待分析视频中至少一对帧之间的时长，确定所述用户视点旋转后可视区域内低清数据切换为高清数据的切换时间；

其中，所述用户视点每次旋转停顿的起始帧的公式表示为：

T_n_f＝T_n*F，T_n＝n*T_c+(n-1)*T_s，T_c＝A/S；

所述切换时间的公式表示为：

A为所述用户视点的旋转角度，S为所述用户视点的旋转速度，T_s为所述两次相邻旋转的时间间隔，T_c为每次旋转的旋转时间，T_n为每次用户视点停顿的起始时间点，F为待分析视频的帧率，T_n_f为第n次旋转停顿的起始帧，N为总的旋转次数，T_n_f′为第n个起始帧对应的结束帧，N为大于等于1的整数，T为所述切换时间。

2.如权利要求1所述的方法，其特征在于，所述服务器通过以下方式确定所述结束帧：

从所述用户视点每次旋转停顿的起始时间点对应的起始帧开始，逐帧获取所述待分析视频中每一视频帧对应的面积比值，直至所述面积比值大于等于设定阈值，并将所述面积比值大于等于设定阈值对应的视频帧确定为结束帧。

3.如权利要求1所述的方法，其特征在于，所述服务器通过以下方式确定各高清图像分块的面积之和：

若所述至少一个高清图像分块的边框被渲染为单一颜色，则针对所述待分析视频中的每一视频帧，检测各高清图像分块边框的角点；根据检测的角点确定各高清图像分块的边界轮廓，并计算边界轮廓内的面积，将所述边界轮廓内的面积作为各高清图像分块的面积之和；或

若所述至少一个高清图像分块按照单一颜色值进行显示，则将各高清图像分块的面积相加，得到各高清图像分块的面积之和。

4.一种服务器，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线连接；

所述存储器存储有计算机指令，所述处理器根据所述计算机指令与显示设备进行交互以实现权利要求1-3中任一所述的方法。

5.一种显示设备，其特征在于，包括显示器、存储器和图形处理器：

所述显示器，与所述图形处理器连接，被配置为显示全景视频；

所述存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器根据所述计算机指令与服务器进行交互，以实现权利要求1中的方法。