CN111818336B

CN111818336B - 视频处理方法、装置、存储介质以及通信装置

Info

Publication number: CN111818336B
Application number: CN201910295157.4A
Authority: CN
Inventors: 许刘泽; 方华猛; 谢绍伟; 钱鞘剑; 沈秋; 马展
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2022-08-26
Anticipated expiration: 2039-04-12
Also published as: CN111818336A

Abstract

本申请实施例提供一种视频处理方法、装置、存储介质以及通信装置，该方法包括：根据预设的网络带宽和视频段对应的最大码率，确定视频段的编码参数；根据编码参数，对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。本申请实施例可减少在全景视频和FOV视频切换时出现的视频质量波动的情况，从而提高用户体验。

Description

视频处理方法、装置、存储介质以及通信装置

技术领域

本申请实施例涉及通信领域，尤其涉及一种视频处理方法、装置、存储介质以及通信装置。

背景技术

目前沉浸式媒体，譬如虚拟现实(Virtual Reality，简称VR)设备，例如：VR头盔和VR眼镜，逐渐走入大众视野。优秀的VR设备需要保证高清的可视场景和无感知延迟的交互行为。为保证无感知延迟的交互和高质量的视觉体验，沉浸式媒体服务器端传到用户端的数据通常是360°的全场景数据。由于人类视觉系统(Human Visual System，简称HVS)的特性，在现实中只能水平地观察前方的事件，因此，在VR设备中沉浸式图像的可视范围一般是有限的，VR设备接收到的大部分数据是冗余数据。

现有技术中，通常可以采用自适应视场(Field of View，简称FOV)视频流来传输视频，以避免大量的冗余数据。具体的，可以利用两层全景视频流中的优先级缓冲控制的结构，对于FOV方向区域的图像进行高码率编码生成FOV视频流，同时，用一个较低码率来提供基础的全景视频流，从而更有效地适应网络带宽和观看方向地动态变化。

然而，基于双层流传输的优化方法虽然能在一定程度上解决全景视频传输要求带宽过大的问题，但在全景视频流和FOV视频流切换时，可能会出现视频质量波动的情况，进而影响用户体验。

发明内容

本申请实施例提供一种视频处理方法、装置、存储介质以及通信装置，用以解决全景视频流和FOV视频流切换时出现的视频质量波动的问题。

第一方面，本申请实施例提供一种视频处理方法，该方法可以应用与服务器、也可以应用于服务器中的芯片。下面以应用于服务器为例对该方法进行描述，该方法中，服务器可以根据预设的网络带宽和视频段对应的最大码率，确定所述视频段的编码参数；根据所述编码参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流，所述FOV视频流的视频质量高于所述全景视频流的视频质量。

通过第一方面提供的视频处理方法，首先通过服务器中预设的网络带宽和视频段对应的最大码率确定该视频段的编码参数，随后再根据服务器确定出的编码参数对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。该方法中视频的编码是通过网络带宽和最大码率确定合适的编码参数进行的，因此，编码生成的全景视频流和FOV视频流在切换时，出现的视频质量波动减少，从而提高了用户的设备体验质量。

在一种可实施的方式中，所述编码参数包括：全景视频流的编码量化参数；所述对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流，包括：根据所述全景视频流的编码量化参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流；根据预设的编码量化参数，对所述视频段进行编码生成所述网络带宽对应的FOV视频流。

通过该可实施的方式提供的视频处理方法，根据预设的网络带宽和视频段对应的最大码率，确定视频段的全景视频流的编码量化参数，随后，采用定QP值的编码方式对视频段进行编码，不但减小了全景视频流和FOV视频流切换时出现的视频质量波动，而且能最大程度的节约沉浸式视频的传输码率。

在一种可实施的方式中，所述编码参数包括：全景视频流的平均码率和FOV视频流的平均码率；所述对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流，包括：根据所述全景视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的全景视频流；根据所述FOV视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的FOV视频流。

通过该可实施的方式提供的视频处理方法，根据预设的网络带宽和视频段对应的最大码率，确定视频段的全景视频流的平均码率和FOV视频流的平均码率，随后，采用定码率的编码方式对视频段进行编码，不但减小了全景视频流和FOV视频流切换时出现的视频质量波动的同时，而且对现有编码系统的改动较小，更加符合商业应用。

在一种可实施的方式中，在所述确定所述视频段的全景视频流的编码量化参数之前，还包括：接收终端发送的视频获取请求，所述视频播放请求中包含所述视频的标识；根据所述视频的标识对所述视频进行预编码，确定所述视频中任一视频段对应的最大码率。

通过该可实施的方式提供的视频处理方法，可以对视频进行预编码，确定各个视频段对应的最大码率。

在一种可实施的方式中，在所述对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流之后，还包括：接收来自终端的用户行为数据，所述用户行为数据用于指示使用所述终端观看视频的用户的视场角的切换至第一FOV；根据所述视频获取请求和所述第一FOV，向所述终端发送全景视频流和与所述第一FOV对应的FOV视频流。

通过该可实施的方式提供的视频处理方法，该方法通过获取用户的行为数据来确保用户的视场角方向为高清视频，同时也减小了全景视频流和FOV视频流切换时出现的视频质量波动，提高了用户的设备体验质量。

在一种可实施的方式中，所述用户行为数据中包含有时间标识；在所述接收来自终端的用户行为数据之后，还包括：根据所述时间标识，去除所述用户行为数据中的超时数据。

通过该可实施的方式提供的视频处理方法，可以删除超时数据，避免因网络延迟或波动造成的第一FOV可能造成误判的情况。

第二方面，本申请实施例提供一种视频处理装置，包括：

处理模块，用于根据预设的网络带宽和视频段对应的最大码率，确定所述视频段的编码参数；

所述处理模块，还用于根据所述编码参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流，所述FOV视频流的视频质量高于所述全景视频流的视频质量。

在一种可实施的方式中，所述编码参数包括：全景视频流的编码量化参数；

所述处理模块，具体用于接收来自终端的用户行为数据，所述用户行为数据用于指示使用所述终端观看视频的用户的视场角切换至第一FOV；根据所述第一FOV，确定向所述终端发送的所述视频段的第一FOV视频流。

在一种可实施的方式中，所述编码参数包括：全景视频流的平均码率和FOV视频流的平均码率；

所述处理模块，具体用于根据所述全景视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的全景视频流；根据所述FOV视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的FOV视频流。

在一种可实施的方式中，所述装置还包括：

接收模块，用于接收终端发送的视频获取请求，所述视频播放请求中包含所述视频的标识；

所述处理模块，还用于根据所述视频的标识对所述视频进行预编码，确定所述视频中任一视频段对应的最大码率。

在一种可实施的方式中，所述接收模块，还用于：

接收来自终端的用户行为数据，所述用户行为数据用于指示使用所述终端观看视频的用户的视场角的切换至第一FOV；

所述装置，还包括：

发送模块，用于根据所述视频获取请求和所述第一FOV，向所述终端发送全景视频流和与所述第一FOV对应的FOV视频流。

在一种可实施的方式中，所述用户行为数据中包含有时间标识；

所述处理模块，还用于根据所述时间标识，去除所述用户行为数据中的超时数据。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，包括：该程序被处理器执行时上述第一方面或第一方面的各种实施方式的视频处理装置。

第四方面，本申请实施例提供一种通信装置，包括用于执行以上第一方面或第一方面各可能的设计所提供的方法的单元、模块或电路。该通信装置可以为服务器，也可以为应用于服务器的一个模块，例如，可以为应用于服务器的芯片。

第五方面，本申请实施例提供一种通信装置(例如芯片)，所述通信装置上存储有计算机程序，在所述计算机程序被所述通信装置执行时，实现如第一方面或第一方面的各可能的设计所提供的方法。

本申请实施例提供的视频处理方法、装置、存储介质以及通信装置，首先通过服务器中预设的网络带宽和视频段对应的最大码率确定该视频段的编码参数，随后再根据服务器确定出的编码参数对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。该方法中视频的编码是通过网络带宽和最大码率确定合适的编码参数进行的，因此，编码生成的全景视频流和FOV视频流在切换时，出现的视频质量波动减少，从而提高了用户的设备体验质量。

附图说明

图1为本申请实施例应用的视频处理系统的示意性框图；

图2为本申请实施例提供的一种视频处理方法的应用场景示意图；

图3为本申请实施例提供的一种视频处理方法的流程示意图；

图4为本申请实施例提供的另一种视频处理方法的流程示意图；

图5为本申请实施例提供的再一种视频处理方法的流程示意图；

图6为本申请实施例提供的又一种视频处理方法的流程示意图；

图7为本申请实施例提供的一种视频处理装置的结构示意图；

图8为本申请实施例提供的另一种视频处理装置的结构示意图；

图9为本申请实施例提供的再一种视频处理装置的结构示意图。

具体实施方式

图1为本申请实施例应用的视频处理系统的示意性框图。如图1所示，视频处理系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12可例如服务器，目的地装置14可例如VR头盔、VR眼镜等。

目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中，信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制编码后的视频数据，且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。

在另一实例中，信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含web服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置，及本地磁盘驱动器。

目的地装置14可经由标准数据连接(例如，因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。

本申请的技术不限于无线应用场景，示例性的，可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频处理系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口，及/或用于产生视频数据的计算机图形系统，或上述视频数据源的组合。

视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说，显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。

视频编码器20及视频解码器30可根据视频压缩标准(例如，高效率视频编解码H.265标准)而操作，且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布，可从http://handle.itu.int/11.1002/1000/12455下载，所述文件的全部内容以引用的方式并入本文中。

或者，视频编码器20及视频解码器30可根据其它专属或行业标准而操作，所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual，ITU-TH.264(还称为ISO/IECMPEG-4AVC)，包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解，本申请的技术不限于任何特定编解码标准或技术。

此外，图1仅为实例且本申请的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如，单侧的视频编码或视频解码)。在其它实例中，从本地存储器检索数据，经由网络流式传输数据，或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器，及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中，通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。

视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施，则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中，且可使用一个或多个处理器执行硬件中的指令以执行本申请的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一个或多个编码器或解码器中，其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(CODEC))的部分。

本申请大体上可指代视频编码器20将某一信息“用信号发送”到另一装置(例如，视频解码器30)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生，所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。

下面将结合本申请实施例中的涉及的名词进行必要的解释。

视场(field of view，FOV)，又称视场角，可以理解为终端的显示器边缘与观测点之间的夹角。

FOV视频流，可以是对FOV方向区域的图像进行高码率编码生成的视频流。

全景视频流，可以是对全景视频进行低码率编码生成的视频流。FOV视频流的视频质量往往高于全景视频流的视频质量。

编码参数，可以是对视频进行编码所需要的参数。编码参数可以包括：编码量化参数、码率参数等。

沉浸式媒体，譬如虚拟现实(virtual reality，VR)设备，例如：VR头盔和VR眼镜，逐渐走入大众视野。优秀的VR设备需要保证高清的可视场景和无感知延迟的交互行为。为保证无感知延迟的交互和高质量的视觉体验，沉浸式媒体服务器端传到用户端的数据通常是360°的全场景数据。由于人类视觉系统(human visual system，HVS)的特性，在现实中只能水平地观察前方的事件，因此，在VR设备中沉浸式图像的可视范围一般是有限的，VR设备接收到的大部分数据是冗余数据。

目前，为减少VR设备接收到的冗余数据，通常采用自适应视场视频流来传输视频，以避免大量的冗余数据。具体的，可以利用两层全景视频流中的优先级缓冲控制的结构，对于FOV方向区域的图像进行高码率编码生成FOV视频流，同时，用一个较低码率来提供基础的全景视频流，从而更有效地适应网络带宽和观看方向地动态变化。

考虑到上述问题，本申请实施例提供了一种视频处理方法，通过预设的网络带宽和视频段对应的最大码率确定视频段的编码参数，进而根据该编码对视频段进行编码，从而可以确定出每个视频段和网络带宽对应的最合适的编码参数，使得编码后的全景视频流和FOV视频流在切换时，出现的视频质量波动减少，提高了用户的设备体验质量。

可以理解，本申请实施例提供的方法，可以适用于任一电子设备对视频进行编码的场景。

下述申请实施例以服务器和终端为例，来对本申请实施例提供的视频处理方法进行说明和解释。图2为本申请实施例提供的一种视频处理方法的应用场景示意图。在该场景中，服务器101可以根据预设的网络带宽和该视频段对应的最大码率，确定视频段的编码参数并对视频段进行编码，以生成全景视频流和FOV视频流。终端102可以向服务器发送视频获取请求。服务器101接收视频获取请求后，将全景视频流和FOV视频流发送给终端102。其中，终端102可以为VR设备，具体可例如：VR头盔、VR眼镜等。

下面以集成或安装有相关执行代码的服务器为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图3为本申请实施例提供的一种视频处理方法的流程示意图。本实施例涉及的是服务器确定待发送视频的编码参数并根据编码参数对视频段进行编码的过程。如图3所示，该方法包括：

S201：根据预设的网络带宽和视频段对应的最大码率，确定视频段的编码参数。

在本步骤中，上述网络带宽可以为一个也可以为多个，每个网络带宽对应不同的视频质量。例如，可以将视频质量分为高中低三档，服务器相应的预先设置每档视频质量对应的网络带宽。对于预设的每个网络带宽，服务器均需要参考该视频段对应的最大码率，确定出与该网络带宽对应的编码参数。

上述最大码率，可以理解为保证全景视频为高质量编码对应的最大码率，上述最大码率可以通过对视频段进行预编码确定。结合具体情况举例来说，最大码率可以取量化编码(QP)为22时的平均码率。

上述确定视频段的编码参数，具体可以通过将预设的网络带宽和视频段对应的最大码率输入动态视觉模型来确定。动态视觉模型会根据输入网络带宽和最大码率输出相应的编码参数。

具体的，上述动态视觉模型，如公式(1)-(9)：

R^FOV+R^LOW≤B (1)

其中，R^FOV为FOV视频流的平均码率，R^LOW为全景视频流的平均码率，B为网络带宽，Q为用户的设备体验质量(quality of experience，QoE)，τ为由全景视频切换到FOV视频所需要的时间，T为初始缓存的媒体长度，QP为全景视频流的量化编码参数，S_FOV为FOV视频的分辨率，S_LOW为全景视频的分辨率，

等于视场大小除以整个360°全景视频大小，q_min为QP＝22时对应的q值。

对于上述动态视觉模型，在给定的网络带宽和最大码率情况下，可以通过网络带宽对公式(1)进行约束，进而求出可以使公式(2)中Q的取值最大的中间参数

随后，在一种可实施方式中，可以将中间参数

代入动态视觉模型中的公式(7)中，以求出编码参数R^LOW；将中间参数

代入动态视觉模型中的公式(8)中，以求出编码参数R^FOV。

在另一种可实施方式中，可以将中间参数

代入动态视觉模型中的公式(3)中，根据公式(3)和公式(4)求出编码参数QP。

S202：根据编码参数，对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流，FOV视频流的视频质量高于全景视频流的视频质量。

在本步骤中，当服务器确定该网络带宽对应的编码参数后，可以根据预设的编码方式对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。其中，预设的编码方式可以包括定码率编码和定QP值编码。

本步骤中预设的编码方式与步骤S201中通过动态视觉模型确定的编码参数相对应。具体的，若采用定QP值编码的方法对视频段进行编码，则步骤S201中动态视觉模型需要求出的编码参数为全景视频流的编码量化参数QP；若采用定码率编码的方法对视频段进行编码，则步骤S201动态视觉模型需要求出的编码参数为全景视频流的平均码率R^LOW和FOV视频流的平均码率R^FOV。

在一种可能的实施方式中，终端可以向服务器发送视频获取请求。当服务器接收到终端的视频获取请求时，可以从该视频获取请求中识别出视频标识。服务器通过该视频标识服务器可以确定需要进行编码的视频。随后，服务器可以对该视频进行预编码，确定量化编码参数为QP＝22时该视频中任一视频段对应的最大码率。其中，视频可以通过预先设置时间间隔划分为若干视频段，例如：可以将视频按照每隔五秒划分为一个视频段。

本申请实施例提供的视频处理方法，首先通过服务器中预设的网络带宽和视频段对应的最大码率确定该视频段的编码参数，随后再根据服务器确定出的编码参数对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。该方法中视频的编码是通过网络带宽和最大码率确定合适的编码参数进行的，因此，编码生成的全景视频流和FOV视频流在切换时，出现的视频质量波动减少，从而提高了用户的设备体验质量。

基于量化编码参数的定QP值编码能最大程度的节约沉浸式视频的传输码率，可以有效改进用户浏览沉浸式时FOV切换过程中的用户体验。因此，服务器可以采用定QP值编码的方式对视频段进行编码。下面针对基于定QP编码的编码方式进行说明。

图4为本申请实施例提供的另一种视频处理方法的流程示意图，在上述实施例的基础上，下面结合图4对服务器采用定QP编码的编码方式生成全景视频流和第一FOV视频流进行说明。如图4所示，编码参数包括：全景视频流的编码量化参数，该视频处理方法，包括：

S301：根据预设的网络带宽和视频段对应的最大码率，确定视频段的编码参数。

步骤S301的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201理解，对于重复的内容，在此不再累述。

S302：根据全景视频流的编码量化参数，对视频段进行编码生成网络带宽对应的全景视频流。

在本步骤中，对于不同的网络带宽，服务器可以分别生成对应的全景视频流的编码量化参数。随后，服务器需要按照不同的全景视频流的编码量化参数，采用定QP值的编码方式，分别对视频段进行编码，从而分别生成与网络带宽对应全景视频流。

S303：根据预设的编码量化参数，对视频段进行编码生成网络带宽对应的FOV视频流。

在本步骤中，服务器可以预设编码量化参数，并根据预设的编码量化参数对视频段进行编码，生成高质量的FOV视频流。

具体的，预设的编码量化参数QP通常可以为22。即，服务器采用QP值为22的编码量化参数对视频段进行编码以生成高视频质量的FOV视频流。

本实施例提供的视频处理方法，根据预设的网络带宽和视频段对应的最大码率，确定视频段的全景视频流的编码量化参数，随后，采用定QP值的编码方式对视频段进行编码，不但减小了全景视频流和FOV视频流切换时出现的视频质量波动，而且能最大程度的节约沉浸式视频的传输码率。

定QP编码的编码方式虽然能最大程度的节约沉浸式视频的传输码率，然而其对现有编码系统的改动较大，并且传输过程中传输码率的波动较大，传输码率不稳定。基于此，服务器还可以采用定码率的编码方式对视频段进行编码。定码率的编码方式，对现有编码系统的改动较小，更加符合商业应用。

图5为本申请实施例提供的再一种视频处理方法的流程示意图，在上述实施例的基础上，下面结合图5对服务器采用定码率的编码方式生成全景视频流和第一FOV视频流进行说明。如图5所示，编码参数包括：全景视频流的平均码率和FOV视频流的平均码率，该视频处理方法，包括：

S401：根据预设的网络带宽和视频段对应的最大码率，确定视频段的编码参数。

步骤S401的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201理解，对于重复的内容，在此不再累述。

S402：根据全景视频流的平均码率，对视频段进行编码生成网络带宽对应的全景视频流。

在本步骤中，对于不同的网络带宽，服务器可以分别生成不同的全景视频流的平均码率。随后，服务器需要按照不同的全景视频流的平均码率，采用定码率的编码方式，分别对视频段进行编码，从而分别生成与网络带宽对应全景视频流。

S403：根据FOV视频流的平均码率，对视频段进行编码生成网络带宽对应的FOV视频流。

在本步骤中，对于不同的网络带宽，服务器可以分别生成不同的FOV视频流的平均码率。随后，服务器需要按照不同的FOV视频流的平均码率，采用定码率的编码方式，分别对视频段进行编码，从而分别生成与网络带宽对应FOV视频流。

本实施例提供的视频处理方法，根据预设的网络带宽和视频段对应的最大码率，确定视频段的全景视频流的平均码率和FOV视频流的平均码率，随后，采用定码率的编码方式对视频段进行编码，不但减小了全景视频流和FOV视频流切换时出现的视频质量波动的同时，而且对现有编码系统的改动较小，更加符合商业应用。

用户经常在使用VR设备体验沉浸式视频地过程中不断产生转头动作，从而导致FOV的切换，因此服务器需要不断调整视频段中的FOV，以使用户转头后的FOV与服务器发送FOV视频流对应。因此，服务器生成全景视频流和FOV视频流后，还需要确定用户的视场角。

图6为本申请实施例提供的又一种视频处理方法的流程示意图，在上述实施例的基础上，下面结合图6对服务器如何确定用户的视场角以及向终端发送视频流进行说明。如图6所示，上述视频处理方法，还包括：

S501：接收来自终端的用户行为数据，用户行为数据用于指示使用终端观看视频的用户的视场角的切换至第一FOV；

在本步骤中，用户行为数据可以为用户的身体某个部分的动作数据，例如：头部的转动角度、头部的转动速度和上身的倾斜角度等。

其中，服务器可以接收一个终端发生的一组用户行为数据，也可以接受多组终端发送的多组用户行为数据。服务器可以对各组用户行为数据进行分析，分别确定使用终端观看视频的用户的视场角。

在一种可实施的方式中，服务器在接收来自终端的用户行为数据之后，还可以根据时间标识，去除用户行为数据中的超时数据。

由于服务器和终端之间通常通过网络连接，当网络产生较大的延迟(lag)或者波动时，服务器可能会接收到多个用户行为数据，若直接利用多个用户行为数据确定第一FOV可能造成误判的情况。

因此，在接收来自终端的用户行为数据之后，服务器还可以根据用户行为数据中的时间标识，去除用户行为数据中的超时数据。具体的，可以利用时间标识对用户行为数据进行排序，除去与当前时间最接近的用户行为数据外，删除其他超时的用户行为数据。

S502：根据视频获取请求和第一FOV，向所述终端发送全景视频流和与所述第一FOV对应的FOV视频流。

在本步骤中，服务器识别视频获取请求中的终端标识确定获取视频的终端，并确定第一FOV对应的FOV视频流。对于向终端发送全景视频流和FOV视频流，在一种可实施方式中，若采用定QP值编码的方法，则服务器逐帧向终端发生全景视频流和FOV视频流。在另一种可实施方式中，若采用定码率编码的方式，服务器按照视频段的时间间隔向终端发送全景视频流和FOV视频流。

可选的，视频获取请求中还可以包含视频质量标识，视频质量标识与预设的网络带宽对应，服务器可以根据视频质量标识向终端发送对应的全景视频流和FOV视频流。

本实施例提供的视频处理方法，根据预设的网络带宽和视频段对应的最大码率，确定视频段的编码参数。再根据编码参数，对视频段进行编码生成网络带宽对应的全景视频流和FOV视频流。随后，根据用户的行为数据确定用户的视场角，以向终端发送全景视频流和FOV视频流。该方法通过获取用户的行为数据来确保用户的视场角方向为高清视频，同时也减小了全景视频流和FOV视频流切换时出现的视频质量波动，提高了用户的设备体验质量。

图7为本申请实施例提供的一种视频处理装置的结构示意图。该视频处理装置可以通过软件、硬件或者两者的结合实现，可以为前述所说的服务器。如图7所示，该视频处理装置600包括：处理模块601；

处理模块601，用于根据预设的网络带宽和视频段对应的最大码率，确定所述视频段的编码参数；

所述处理模块601，还用于根据所述编码参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流，所述FOV视频流的视频质量高于所述全景视频流的视频质量。

在一种可实施方式中，编码参数包括：全景视频流的编码量化参数；

所述处理模块601，具体用于接收来自终端的用户行为数据，所述用户行为数据用于指示使用所述终端观看视频的用户的视场角切换至第一FOV；根据所述第一FOV，确定向所述终端发送的所述视频段的第一FOV视频流。

在一种可实施方式中，编码参数包括：全景视频流的平均码率和FOV视频流的平均码率；

所述处理模块601，具体用于根据所述全景视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的全景视频流；根据所述FOV视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的FOV视频流。

在一种可实施方式中，视频处理装置600还包括：

接收模块602，用于接收终端发送的视频获取请求，所述视频播放请求中包含所述视频的标识；

所述处理模块601，还用于根据所述视频的标识对所述视频进行预编码，确定所述视频中任一视频段对应的最大码率。

在一种可实施方式中，所述接收模块602，还用于：

所述视频处理装置600，还包括：

发送模块603，用于根据所述视频获取请求和所述第一FOV，向所述终端发送全景视频流和与所述第一FOV对应的FOV视频流。

在一种可实施方式中，所述用户行为数据中包含有时间标识；

所述处理模块601，还用于根据所述时间标识，去除所述用户行为数据中的超时数据。

本申请实施例提供的视频处理装置，可以执行上述方法实施例中服务器的动作，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上收发模块实际实现时可以为收发器、或者包括发送器和接收器。而处理模块可以以软件通过处理元件调用的形式实现；也可以以硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

图8为本申请实施例提供的另一种通信装置的结构示意图。如图8所示，该通信装置可以包括：处理器71(例如CPU)、存储器72、收发器73；收发器73耦合至处理器71，处理器71控制收发器73的收发动作；存储器72可能包含高速随机存取存储器(random-accessmemory，RAM)，也可能还包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器，存储器72中可以存储各种指令，以用于完成各种处理功能以及实现本申请的方法步骤。在一种可实施的方式中，本申请涉及的视频处理装置还可以包括：电源74、通信总线75以及通信端口76。收发器73可以集成在通信装置的收发信机中，也可以为通信装置上独立的收发天线。通信总线75用于实现元件之间的通信连接。上述通信端口76用于实现通信装置与其他外设之间进行连接通信。

在本申请实施例中，上述存储器72用于存储计算机可执行程序代码，程序代码包括指令；当处理器71执行指令时，指令使通信装置的处理器71执行上述方法实施例中服务器的处理动作，使收发器73执行上述方法实施例中服务器的收发动作，其实现原理和技术效果类似，在此不再赘述。

图9为本申请实施例提供的再一种视频处理装置的结构示意图。如图9所示，该视频处理装置可以包括：处理器81(例如CPU)、存储器82、收发器83；收发器83耦合至处理器81，处理器81控制收发器83的收发动作；存储器82可能包含高速随机存取存储器(random-access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory，NVM)，例如至少一个磁盘存储器，存储器82中可以存储各种指令，以用于完成各种处理功能以及实现本申请的方法步骤。可选的，本申请涉及的通信装置还可以包括：电源84、通信总线85以及通信端口86。收发器83可以集成在通信装置的收发信机中，也可以为通信装置上独立的收发天线。通信总线85用于实现元件之间的通信连接。上述通信端口86用于实现通信装置与其他外设之间进行连接通信。

在本申请实施例中，上述存储器82用于存储计算机可执行程序代码，程序代码包括指令；当处理器81执行指令时，指令使视频处理装置的处理器81执行上述方法实施例中服务器的处理动作，使收发器83执行上述方法实施例中服务器的收发动作，其实现原理和技术效果类似，在此不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本文中的术语“多个”是指两个或两个以上。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

可以理解的是，在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

Claims

1.一种视频处理方法，其特征在于，包括：

根据预设的网络带宽、视频段对应的最大码率、初始缓存的媒体长度、FOV视频的分辨率以及全景视频的分辨率，确定用户的设备体验质量QoE值最大时的所述视频段的编码参数，所述最大码率为保证全景视频为高质量编码对应的最大码率；所述编码参数包括：全景视频流的编码量化参数、全景视频流的平均码率和FOV视频流的平均码率；

根据所述全景视频流的编码量化参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流；

根据预设的编码量化参数，对所述视频段进行编码生成所述网络带宽对应的FOV视频流；

根据所述全景视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的全景视频流；

根据所述FOV视频流的平均码率，对所述视频段进行编码生成所述网络带宽对应的FOV视频流；

所述FOV视频流的视频质量高于所述全景视频流的视频质量。

2.根据权利要求1所述的方法，其特征在于，在所述确定所述视频段的全景视频流的编码量化参数之前，还包括：

接收终端发送的视频获取请求，所述视频播放请求中包含所述视频的标识；

根据所述视频的标识对所述视频进行预编码，确定所述视频中任一视频段对应的最大码率。

3.根据权利要求2所述的方法，其特征在于，在所述对所述视频段进行编码生成所述网络带宽对应的全景视频流和FOV视频流之后，还包括：

根据所述视频获取请求和所述第一FOV，向所述终端发送全景视频流和与所述第一FOV对应的FOV视频流。

4.根据权利要求3所述的方法，其特征在于，所述用户行为数据中包含有时间标识；

在所述接收来自终端的用户行为数据之后，还包括：

根据所述时间标识，去除所述用户行为数据中的超时数据。

5.一种视频处理装置，其特征在于，包括：

处理模块，用于根据预设的网络带宽、视频段对应的最大码率、初始缓存的媒体长度、FOV视频的分辨率以及全景视频的分辨率，确定用户的设备体验质量QoE值最大时的所述视频段的编码参数；所述最大码率为保证全景视频为高质量编码对应的最大码率；所述编码参数包括：全景视频流的编码量化参数、全景视频流的平均码率和FOV视频流的平均码率；

所述处理模块，还用于根据所述全景视频流的编码量化参数，对所述视频段进行编码生成所述网络带宽对应的全景视频流；

所述FOV视频流的视频质量高于所述全景视频流的视频质量。

6.根据权利要求5所述的装置，其特征在于，所述编码参数包括：全景视频流的编码量化参数；

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求7所述的装置，其特征在于，所述接收模块，还用于：

所述装置，还包括：

9.根据权利要求8所述的装置，其特征在于，所述用户行为数据中包含有时间标识；

10.一种存储介质，其上存储有计算机程序，其特征在于，包括：该程序被处理器执行时实现权利要求1-4任一项所述的方法。

11.一种通信装置，其特征在于，所述通信装置上存储有计算机程序，在所述计算机程序被所述通信装置执行时，实现如权利要求1至4中任一项所述的视频处理方法。