CN114900692A

CN114900692A - 视频流帧率调整方法及其装置、设备、介质、产品

Info

Publication number: CN114900692A
Application number: CN202210470353.2A
Authority: CN
Inventors: 包佳晶
Original assignee: You Peninsula Beijing Information Technology Co ltd
Current assignee: You Peninsula Beijing Information Technology Co ltd
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2022-08-12
Also published as: WO2023207801A1

Abstract

本申请涉及一种视频流帧率调整方法及其装置、设备、介质、产品，所述方法包括：获取生成视频流所需的当前图像帧；确定当前图像帧的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标；将编码器的出口带宽输入参数优化模型，获得所述出口带宽下表征编码帧率与客观质量指标之间映射关系的近似函数；应用所述近似函数求取所述主观评估参数相对应的数值逼近点，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率。本申请可以自适应控制编码器以最佳帧率编码视频流，改善网络直播的视频流的播放体验。

Description

视频流帧率调整方法及其装置、设备、介质、产品

技术领域

本申请涉及视频传输技术领域，尤其涉及一种视频流帧率调整方法及其装置、设备、介质、产品。

背景技术

视频流的传输控制，在带宽和分辨率既定的情况下，主要通过调节帧率以改变传输码率来实现，其出发点通常是基于网络条件或计算机设备的硬件条件来考虑，目标是满足网络或硬件的实际情况，而未考虑时间维度上帧率变化为观众用户带来的实际观看感受。

具体而言，根据传统的编码原理，视频的质量、帧率、分辨率三者之间，随着带宽的变动而变动，假设分辨率不变，如果其中帧率变动范围过大，视频质量的可变动范围便会更小，图像压缩更为困难，除非降低分辨率。通过降低分辨率，帧率和视频质量的变动范围相对更具弹性，编码过程便可获得更高的灵活性。如果此时单纯通过降低帧率来解决问题，而不考虑用户实际观感，对用户并不友好。

由此可见，针对视频流的传输控制技术，仍有较大的提升空间。

发明内容

本申请的目的在于解决上述问题而提供一种视频流帧率调整方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种视频流帧率调整方法，包括如下步骤：

获取生成视频流所需的当前图像帧；

确定当前图像帧相匹配的参考帧率及主观质量指标；

将编码器的出口带宽输入参数优化模型，获得所述出口带宽下表征编码帧率与客观质量指标之间映射关系的近似函数；

应用所述近似函数求取所述主观评估参数相对应的数值逼近点，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率。

根据本申请的另一方面，提供一种视频流帧率调整装置，包括：

图像获取模块，用于获取生成视频流所需的当前图像帧；

主观评估模块，用于确定当前图像帧的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标；

函数调制模块，用于将编码器的出口带宽输入参数优化模型，获得所述出口带宽下表征编码帧率与客观质量指标之间映射关系的近似函数；

帧率确定模块，用于应用所述近似函数求取所述主观评估参数相对应的数值逼近点，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率。

根据本申请的另一方面，提供一种视频流帧率调整设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的视频流帧率调整方法的步骤。

根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的视频流帧率调整方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请在编码器的出口带宽的约束下，一方面通过确定视频流中的当前图像帧相对应的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标，评估出帧率变动与图像质量变动之间的对应关系；另一方面由参数优化模型预测出表征编码帧率与客观质量指标之间映射关系的近似函数，在此基础上，从该近似函数中获取所述主观评估参数相对应的数值逼近点，然后根据该数值逼近点确定出编码所需的最佳帧率以控制编码器对当前图像帧进行编码输出，使编码生成的视频流的客观质量指标服从主观质量指标的调谐，从而，在确保视频流稳定流畅输出的同时，改善视频图像的总体质量观感。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所应用的网络直播环境相对应的网络架构示意图；

图2为本申请的视频流帧率调整方法所依据的原理的示意图；

图3为本申请的视频流帧率调整方法的实施例的流程示意图；

图4为本申请的实施例中获取当前图像帧的过程的流程示意图；

图5为本申请的实施例中决策是否重计主观评估参数的过程的流程示意图；

图6为本申请的实施例中为当前图像帧确定主观评估参数的过程的流程示意图；

图7为本申请的实施例中对参数优化模型实施迭代的过程的流程示意图；

图8为本申请实施例中根据视频流计算客观质量指标的过程的流程示意图；

图9为本申请的视频流帧率调整装置的原理框图；

图10为本申请所采用的一种视频流帧率调整设备的结构示意图。

具体实施方式

本申请所称的“服务器”、“客户端”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务集群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。

本申请中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

请参阅图1，本申请示例性的应用场景所采用的网络架构，其可用于部署网络直播服务，网络直播服务的视频流的编码处理过程可通过运行由本申请的任意一个实施例所获得的计算机程序产品来实现。图1所示的应用服务器81 可用于支持所述直播间实例的运行，而媒体服务器82可用于处理各个直播用户推送的视频流的解编码过程而实现中继，其中的计算机83、移动电话84之类的终端设备，作为客户端，一般提供给终端用户使用。除此之外，当需要在终端设备对视频流进行编码时，同样可将本申请各个实施例所获得的计算机程序产品部署于该终端设备中，以便在对摄像头采集的视频图像编码时，适用本申请任意一个实施例的方法。推而言之，以上揭示的应用场景仅为示例之用，本申请的视频流帧率调整方法适用于所有需要对视频流进行编码的场景中。

图2所示的原理框图揭示了本申请的各个实施例所依据的实现原理，由该图可以看出，为了向编码器提供最佳帧率参数，自适应控制编码器对视频流的图像帧进行编码，由一个参数优化模型根据编码器的出口带宽而模拟出表征编码帧率与客观质量指标之间映射关系的近似函数，由一个图像检测模块根据视频流确定当前图像帧参考图像主观质量评价方法所确定的主观评估参数，该主观评估参数包括参考帧率和主观质量指标。

显然，近似函数与主观评估参数均包含了帧率与质量指标之间的对应关系，其中近似函数由参数优化模型推理而得，且受编码后的图像帧的客观质量指标所优化，故其推理所得的质量指标可按照客观质量指标的形式进行量化确定，而主观评估参数中的质量指标是参考根据图像主观质量评价方法通过量化主观感受而得的数据确定的，故其质量指标可按照主观质量指标的形式进行量化确定。

进一步，由一个帧率确定模块通过求取近似函数与所述主观评估参数的数值逼近点，获得该数值逼近点相对应的编码帧率作为最佳帧率，以该最佳帧率控制编码器对图像帧进行编码，编码后的视频流可被远程推送实现传输。

此外，通过一个质量评价模块，参考原始的当前图像帧对解码器解码所述视频流中相对应的当前图像帧计算确定后者实际获得的客观质量指标，再以该客观质量指标及编码时的最佳帧率反向传播修正所述参数模型的权重参数，使该参数优化模型循环迭代而不断提升其仿真近似函数以求解最佳帧率的预判能力，从而在视频流编码过程中持续优化编码效率，获得优质的编码效果。

请参阅图3，根据本申请的一个方面提供的一种视频流帧率调整方法，在其一个实施例中，包括如下步骤：

步骤S1100、获取生成视频流所需的当前图像帧；

所述视频流，可以是网络直播传输过程中的视频流，可由网络直播的直播用户提供。所述视频流中包含多个图像帧，每个图像帧均可作为当前图像帧被本申请的方法所处理，以便控制编码器将每个当前图像帧编码于所述视频流中。

所述当前图像帧可以从对其编码之前的图像空间中获取，一般存储为特定格式，例如YUV格式或者RGB格式，可由本领域技术人员灵活确定。

步骤S1200、确定当前图像帧相匹配的参考帧率及主观质量指标，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标；

对于视频流中的每个当前图像帧，可以参考图像主观质量评价方法确定其相应的主观质量指标。

一种实施例中，预先应用图像主观质量评价方法，提供多个不同帧率的视频内容，播放给观众观看，然后从多个预设维度获取各个观众的评分，根据观众给定的评分进行加权量化为一个主观质量指标，并将多个帧率相对应的主观质量指标建立映射关系表格，然后用做本申请确定当前图像帧相匹配的参考帧率和主观质量指标的参考。据此，当需要确定当前图像帧相匹配的参考帧率及其相应的主观质量指标时，根据当前图像帧相对于其在先图像帧的图像复杂度的变动，在其在先图像帧相对应的参考帧率的基础上做相应调整，便可评估出当前图像帧相对应的参考帧率，根据评估出的参考帧率，便可利用所述映射关系数据确定出其相对应的主观质量指标，从而获得一个参考帧率与一个对应的主观质量指标，构成当前图像帧相对应的主观评估参数。

由此可见，所述的参考帧率，是作为参考的中间数据，构成指示当前图像帧的帧率编码条件，相应的，所述的主观质量指标，是指在以该参考帧率为编码条件的情况下，可预测获得的图像质量主观评价结果。

一种实施例中，将根据图像主观质量评价方法确定的映射关系表格进行数据拟合获得相对应的主观曲线函数，后续便可根据每一当前图像帧相应确定的参考帧率快速获得其相对应的主观质量指标而获得其主观评估参数。这种情况下，由于主观曲线函数经拟合后具有线性的特点，可使据此确定的主观评估参数可为平滑。

当前图像帧可以是指示视频场景相对于在先图像帧发生场景切换转场图像，当然也可以是非转场图像，对此，部分实施例中，可以根据当前图像帧是否属于转场图像而确定是否重新计算其主观质量参数，若无需重新计算主观质量参数，可获取当前图像帧所在的当前场景中已经生成的主观质量参数直接使用。

步骤S1300、将编码器的出口带宽输入参数优化模型，获得所述出口带宽下表征编码帧率与客观质量指标之间映射关系的近似函数；

编码器的出口带宽是客观条件，受网络条件和/或硬件条件所限制，因此具有相对确定性。本实施例中，可将该出口带宽输入参数优化模型中，控制参数优化模型仿真出求解编码器的最佳帧率的近似函数。

所述参数优化模型通过预先建模实现。示例而言，考虑到同一视频流传输过程中要求分辨率相对稳定，而编码帧率与客观质量指标跟随编码器的出口带宽变化的弹性较大，故通过对特定出口带宽之下，不同视频流的客观质量指标和编码帧率进行数据拟合，由拟合结果可知视频流的编码帧率与客观质量指标之间服从自然对数分布。根据该原理，可建模实现所述的参数优化模型。

示例性的参数优化模型按照如下公式构建：

y_psnr＝A*ln(fps)+B

其中，y_psnr为示例性的客观质量指标，fps为帧率，A为可学习权重参数， B为可学习偏置参数，两者构成模型的可学习参数。根据该公式可知，该参数优化模型可以编码器输出的图像帧的客观质量指标对其权重参数和偏置参数进行修正，实现迭代训练，使其不断逼近收敛。

根据参数优化模型的示例性建模原理可知，该参数优化模型的核心是构建出口带宽、编码帧率、客观质量指标之间的映射关系相对应的数据曲线，从而可以根据出口带宽预测编码帧率与客观质量指标的映射关系，也即确定一个近似函数。在确定出的近似函数上进一步确定一个相应的点，便可确定出具体的编码帧率与客观质量指标。由此可见，特定出口带宽相对应的数据曲线本质上反映着编码帧率与客观质量指标之间在该特定出口带宽之下的映射关系数据集合，该映射关系数据集合通过参数优化模型获得的近似函数表示，据此，根据一个出口带宽可获得这一近似函数。

需要指出的是，步骤S1200与步骤S1300是可以并发执行，也可交换执行顺序，并不因本申请中所列的先后而受限。

此外，所述参数优化模型，可建模为运算资源利用率较低的机器学习模型，也可建模为更具智能的深度学习模型，只要能根据以上原理实现本申请所揭示的功能即可。

步骤S1400、应用所述近似函数求取所述主观评估参数相对应的数值逼近点，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率。

形象而言，所述近似函数表征在特定出口带宽下的编码帧率与客观质量指标之间的线性关系的映射关系数据，反映在直角坐标系上为一条数据曲线，而当前图像帧相对应的主观评估参数，即其参考帧率及该参考帧率相对应的主观质量指标，则可反映为直角坐标系上的一个点。

据此，一种实施例中，通过计算直角坐标系上主观参数模型相对应的点到所述近似函数的数据曲线之间的距离最短处，确定坐落在该数据曲线上的最短距离的点，便为该数据曲线上的数值逼近点，该数值逼近点对应着一个编码帧率与一个客观质量指标之间的映射关系数据，该编码帧率便可被确定为最佳帧率。

另一实施例中，根据图像主观质量评价方法确定的参考帧率与主观质量指标之间的映射关系数据，预先经数据拟合而获得主观曲线函数，这种情况下，可以计算出该主观曲线函数与该近似函数的交点，该交点即为所述的数值逼近点，由此也可获得相应的编码帧率作为最佳帧率。

本申请所确定的最佳帧率，被输入所述编码器中，用于控制该编码器以该最佳帧率对当前图像帧进行编码，以便将当前图像帧编码于所述视频流中。

根据以上的实施例，可以看出，相对于现有技术，本申请在编码器的出口带宽的约束下，一方面通过确定视频流中的当前图像帧相对应的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标，评估出帧率变动与图像质量变动之间的对应关系；另一方面由参数优化模型预测出表征编码帧率与客观质量指标之间映射关系的近似函数，在此基础上，从该近似函数中获取所述主观评估参数相对应的数值逼近点，然后根据该数值逼近点确定出编码所需的最佳帧率以控制编码器对当前图像帧进行编码输出，使编码生成的视频流的客观质量指标服从主观质量指标的调谐，从而，在确保视频流稳定流畅输出的同时，改善视频图像的总体质量观感。

请参阅图4，在上述实施例的基础上，所述步骤S1100、获取生成视频流所需的当前图像帧，包括如下步骤：

步骤S1111、将摄像单元采集的数据帧渲染为纹理图像；

本申请的计算机程序产品可被部署于终端设备中，例如网络直播的直播用户用于产生直播视频流的个人计算机或移动终端中，通过安装在终端设备上的摄像单元负责采集实景图像来产生所述的视频流。

当摄像单元启动之后，便开始采集图像，以数据帧的形式获取图像数据，然后，应用预设的纹理进行图像绘制，生成纹理数据，将其渲染显示到终端设备的图形用户界面中。

步骤S1112、将所述纹理图像转换为特定格式的图像帧存储于图像空间中；

所述纹理图像经常规的图像预处理后，进一步转换为特定格式的图像帧，存储于图像空间中，所述的图像空间是与相应的特定格式的色彩编码方法相对应的色彩空间，所述特定格式，可以是YUV格式，也可以是RGB格式，其格式类型并不影响本申请的创造精神的体现。

步骤S1113、从所述图像空间按时间戳获取各个图像帧，作为当前图像帧。

编码器进行编码时，源源不断地从所述图像空间中调用其中的各个图像帧，被调用的图像帧便作为当前图像帧被编码器进行编码处理。由于编码过程需要对视频流中的图像帧进行有序组织，因而，可按照图像帧的时间戳，有序逐帧获取，所获取的每个图像帧即为当前图像帧。

根据以上的实施例可知，本申请适于在终端设备处部署，终端设备可以根据本申请所获得的最佳帧率对摄像单元所采集的图像帧进行编码，在确保自适应稳定传输视频流的同时获得优质的图像传输质量。

在上述实施例的基础上，不同于前一实施例的另一实施例中，所述步骤 S1100、获取生成视频流所需的当前图像帧，包括如下步骤：

步骤S1121、将终端设备提交的原始视频流进行解码，获得其中特定格式的图像帧，存储于图像空间中；

本申请的计算机程序产品可被部署于服务器中，例如部署于网络直播服务的媒体服务器中，所述的媒体服务器负责接收网络直播服务的直播间的直播用户上传的视频流，对其进行解码，获得其中按照默认格式编码的图像帧存储于图像空间中，以便对其进行混流或者格式转换，最终获得存储于所述图像空间中的特定格式的图像帧，以便后续可将这些图像帧根据接收用户的网络条件和 /或硬件条件编码为视频流输出。

步骤S1122、从所述图像空间按时间戳获取各个图像帧，作为当前图像帧：

同理，编码器进行编码时，源源不断地从所述图像空间中调用其中的各个图像帧，被调用的图像帧便作为当前图像帧被编码器进行编码处理。由于编码过程需要对视频流中的图像帧进行有序组织，因而，可按照图像帧的时间戳，有序逐帧获取，所获取的每个图像帧即为当前图像帧。

根据以上的实施例可知，本申请适于在服务器部署，服务器可以根据本申请所获得的最佳帧率对终端设备上传的视频流的图像帧进行解码后再编码，在确保自适应稳定传输视频流的同时获得优质的图像传输质量。

请参阅图5，在上述实施例的基础上，所述步骤S1200、确定当前图像帧的主观评估参数，包括如下步骤：

步骤S1210、采用预设的转场识别模型判断当前图像帧是否属于转场图像；

视频流中存在场景切换的现象，可以通过对当前图像帧进行识别，来确定当前图像是否属于转场图像，从而确定当前图像帧相对于其在先图像帧是否发生场景切换。发生场景切换通常意味着图像数据的规模存在明显变化，因而，识别当前图像帧是否为转场图像，可以作为决定当前图像帧所采用的主观评估参数是否需要重新确定的依据。

识别当前图像帧是否为转场图像时，可采用任意可行的转场识别方法来判断，其原理在于比较当前图像帧及其时序上相邻的在先图像帧之间的图像变化信息，在图像变化信息大幅变化时，将当前图像帧判定为转场图像。

示例的识别方法之一，可计算当前图像帧与其时序在先的图像帧之间的信息差，当信息差大于预设阈值时，即可判定当前图像帧属于转场图像。

另一示例性的识别方法中，所述转场识别模型可为基于深度学习实现的模型，示例的模型结构中，可以Resnet为骨干模型用于提取当前图像帧及其在先图像帧的图像特征信息之后，进行特征拼接获得综合特征信息，该综合特征信息经全连接层接入分类器，由分类器输出当前图像帧是否为转场图像相对应的分类概率，根据分类概率判定其是否为转场图像。当然，所述转场识别模型应先采用足量的训练样本将其训练至收敛状态，具体可由本领域技术人员实施。

步骤S1220、当为转场图像时，对当前图像帧进行图像分析，确定其与其在先图像帧之间的图像大小之间的差值；

为了更便捷地确定是否需要根据当前场景而重新计算当前图像帧相对应的主观评估参数，在当前图像帧被判定为转场图像后，可对转场图像进行图像分析，通过比较其与其时序上相邻的在先图像帧之间的图像大小之间的差值，来判断编码器的码流是否将出现较大变动，以便应码流的变化而及时调整当前图像帧相对应的主观评估参数，同时将其作为当前场景下各个图像帧相对应的主观评估参数，以指导当前场景下后续图像帧的编码。

步骤S1230、当所述差值大于预设阈值时，重新计算当前图像帧的主观评估参数；

对所述图像大小之间的差值的分析，可提供一个预设阈值与之比较，该预设阈值可为经验阈值或实测阈值。当图像大小之间的差值小于所述预设阈值时，表明码流变动较小，可以无需重新确定所述的主观评估参数，沿用前一场景的主观评估参数即可。当图像大小之间的差值大于所述预设阈值时，表明码流变动较大，相应的，编码器的编码帧率的变化范围也较大，此时，便可根据当前图像帧的图像复杂度，或根据当前图像帧及其之后的多个图像帧的图像复杂度，重新确定主观评估参数，目标在于重新确定适应当前场景的各个图像帧的主观评估参数。

步骤S1240、当为非转场图像时，调用当前图像帧的在先图像帧相对应的主观评估参数，作为当前图像帧的主观评估参数。

在当前图像帧被判定为非转场图像帧时，意味着场景并未发生切换，这种情况下，由于该场景在其首个被识别为转场图像的图像帧相对应的时刻已经计算确定出该场景下相对应的主观评估参数，因而，无需再为当前图像帧重新计算主观评估参数，而是直接调用当前场景下事先已经确定的主观评估参数即可。

需要指出的时，在本申请的计算机程序产品开始工作时，会将首个图像帧识别为当前图像帧并且为其确定相对应的主观评估参数，这种情况下，可能导致在计算所述主观评估参数时缺乏参照依据，因此，可事先适应性地进行初始化，例如提供默认初始化的主观评估参数，供首个图像帧相对应的场景调用。

根据以上揭示的实施例可知，在视频流各个图像帧被编码的过程中，针对各个当前图像帧，均可进行转场识别，并且根据潜在的码流变化情况决策是否重新确定当前场景下的主观评估参数，即通过转场识别和图像大小之间的差值是否大于预设阈值的识别而决策是否重新确定主观评估参数，据此可以最小化计算机设备的运算压力，避免频繁重新确定主观评估参数，且可保持一定变化范围内的最佳帧率的稳定性，由此从整体上提升编码效率。

请参阅图6，在上述实施例的基础上，所述步骤S1200、确定当前图像帧的主观评估参数，或者，所述步骤S1230、当所述差值大于预设阈值时，重新计算当前图像帧的主观评估参数，包括如下步骤：

步骤S1231、计算当前图像帧及若干个其在后图像帧的图像复杂度；

视频编码和图像帧序列的图像复杂度是息息相关的。序列的图像复杂度分为时间复杂度和空间复杂度，视频画面细节越多，空间复杂度越大；视频内容运动越剧烈，时间复杂度越大。视频复杂度越大，在同等画质的前提下，编码需要越多的数据量，因此，通过对序列的时间复杂度和空间复杂度进行评估可获得图像复杂度。所述的图像帧序列，可以当前图像帧为起始图像帧，按照预设数量，取连续多个在后图像帧构成。

示例而言，可以采用TIandSI来计算所述时间复杂度和空间复杂度。ITU- RBT.1788建议使用时间信息(TI，Temporal perceptual Information，也可以称时间复杂度)和空间信息(SI，Spatial perceptual Information，也可以称空间复杂度)来衡量视频的特性。TIandSI工具是本领域常用于图像的时间复杂度和空间复杂度的工具，其提供命令行版本TISIcmd，后又升级进化为 TIandSI，均提供有相应的调用接口用于为图像帧计算其相应的时间复杂度和空间复杂度从而获得图像帧序列的图像复杂度。

步骤S1232、计算当前图像帧的图像复杂度与其在先图像帧的图像复杂度之间的差异信息；

由于编码视频流的过程是连续针对各个图像帧进行的，因而，对于不属于视频流的首个图像帧的每个当前图像帧而言，其时序在先的至少一个图像帧已经按照本申请揭示的原理确定出相应的图像复杂度，这种情况下，将当前图像帧相对应的图像复杂度减去其在先图像帧相对应的图像复杂度，便可确定出当前图像帧相对于其在先图像帧的图像复杂度之间的差异信息，该差异信息可量化为一个数值以便计算。

而对于属于首个图像帧的当前图像帧而言，由于其并无在先图像帧，因此其可被参考的图像复杂度可视为零值处理，因而，同理也可确定当前图像帧相对应的图像复杂度的差异信息。

步骤S1233、根据所述差异信息，基于在先图像帧的参考帧率调整获得当前图像帧的参考帧率；

预先量化图像复杂度的差异信息与帧率变动之间的映射关系数据，使其可以量化图像复杂度变动所导致的编码帧率变动范围，据此，根据差异信息的变动，便可确定用于调整当前图像帧相对于其在先图像帧的理论上适用的帧率的变化数值，也即，当在先图像帧已经确定了其用于与参数优化模型获得的近似函数求取编码帧率的参考帧率的情况下，可以先根据所述差异信息确定需要在该在先图像帧的参考帧率的基础上调整的变动数值，然后在该在先图像帧的参考帧率的基础上叠加该变动数值进行相应的调整，即可获得当前图像帧相对应的参考帧率。采用相对差值的方式确定当前图像帧的参考帧率，可以保持数据上的平滑性，避免数据参考基准不一而导致编码后的视频流出现图像质量急剧抖动。

此外，应当理解，由于本实施例中图像复杂度是根据当前图像帧及其在后的若干个图像帧确定的，因而，在当前图像帧为第二场景的图像帧的情况下，在先图像帧对应的参考帧率通常也是在先的第一场景的参考帧率。

步骤S1234、应用预设的表征参考帧率与主观质量指标之间映射关系的主观曲线函数，根据所述参考帧率确定其相对应的主观质量指标。

不难理解，在编码器出口带宽确定的情况下，图像帧序列中的图像帧的时间复杂度和空间复杂度一旦变化，也会影响其编码帧率的变化，这种变化关系，可以由本领域技术人员事先确定。

示例而言，可以先根据任意一种可行的图像主观质量评价方法，例如DSIS、DSCQS、SSM、SSCQE等，构造出一个参考帧率与主观质量指标之间的映射关系表格，使得通过该映射关系表格可以查询某个参考帧率之下其对应的主观质量指标。由此根据图像主观质量评价方法确定的映射关系表格中的帧率主要是用于指示中间数据，仅供参考，故将其命名为参考帧率。

一个实施例中，在确定所述映射关系表格时，可以将多个连续的参考帧率综合为同一帧率区间，建立其与主观质量指标之间的映射关系，例如将帧率区间21fps-18fps与一个主观质量指标相对应映射。以帧率区间的形式建立参考帧率与主观质量指标之间的映射关系，主要是考虑到观众的主观感受对某些帧率变动范围内的帧率差异不敏感，因此，通过以帧率区间与主观质量指标建立映射关系，既提高建立所述映射关系表格的效率，也可以进一步降低计算复杂度。

确定所述映射关系表格之后，可进一步根据该映射关系表格进行数据拟合，将其拟合为一条数据曲线，获得一个对应的主观曲线函数，使其表征参考帧率到主观质量指标之间的映射关系。

当需要根据当前图像帧相对应的参考帧率确定主观质量指标时，应用所述的主观曲线函数，代入当前图像帧的参考帧率，便可计算出其相应的主观质量指标。当前图像帧的参考帧率与主观质量指标之间，构成一个数据对，即为当前图像帧的主观评估参数。

需要指出的是，以上步骤S1231至步骤S1234，既可以在对当前图像帧进行转场识别后需要重新计算当前图像帧的主观评估参数时执行，也可以不依赖于转场识别的过程而独立执行。

根据以上的实施例可知，在确定用于与参数优化模型的近似函数求数值逼近点的当前图像帧的主观评估参数时，根据当前图像帧相对于在先图像帧的图像复杂度评估差异信息，然后根据差异信息与帧率变动之间的对应关系，在在先图像帧的参考帧率的基础上修正获得当前图像帧相对应的参考帧率，进而应用根据图像主观质量评价方法确定的主观曲线函数确定出当前图像帧在其所述参考帧率之下的主观质量指标，构成主观评估参数，后续可用于为当前图像帧确定其编码所需的最佳帧率，全过程中，计算量小，运算效率高，所获得的主观评估参数，具有指示用户主观质量感受的参考作用，通过其与参数优化模型的近似函数求取数值逼近点而确定相应的最佳帧率后进行编码，可以使编码后的视频流在兼顾传输效率的基础上，还能获得优秀的主观质量指标。

请参阅图7，在本申请任意一个实施例的基础上扩展的另一实施例中，在确定了所述的最佳帧率之后，还包括如下步骤：

步骤S1500、调用编码器以所述最佳帧率与出口带宽对当前图像帧进行编码，将当前图像帧编码于所述视频流中；

确定所述的最佳帧率后，以该最佳帧率为编码器对当前图像帧进行编码的编码帧率，编码器在给定的出口带宽的约束下，对既定分辨率的当前图像帧进行编码，实现将当前图像帧编码于所述视频流中。可以理解，对于当前图像帧后续的图像帧，当场景未发生切换时，较高概率地会持续按照相同的最佳帧率对后续图像帧进行编码。

步骤S1600、对所述视频流解码获取所述当前图像帧，评估其客观质量指标，以所述客观质量指标与所述最佳帧率迭代更新所述参数优化模型：

编码器编码后的视频流，被持续输出，例如在媒体服务器编码的视频流被广播推送给直播间的终端用户，或者直播间的直播用户的终端设备中编码生成的视频流被推送给媒体服务器。

对于编码输出的视频流，本机设备可以对其进行解码，获得当前图像帧，进一步可以根据解码的当前图像帧的时间戳对应获取编码前的当前图像帧，调用客观质量指标相对应的算法，参考编码前的当前图像帧计算出视频流中的当前图像帧相对应的客观质量指标，然后将该客观质量指标与该当前图像帧相对应的最佳帧率反向传播修正所述参数优化模型的权重参数和偏置参数，从而使参数优化模型不断逼近收敛，逐渐提升其预测出适应图像帧编码需求的最佳帧率的能力。

推荐的实施例中，对所述参数优化模型修正权重时，可采用最小二乘法，根据所述最佳帧率及所述客观质量指标计算模型损失值，然后根据模型损失值进行所述权重的修正。

根据以上的实施例，可以看出，利用编码输出的视频流计算出其各个图像帧相对应的客观质量指标，根据该客观质量指标及最佳帧率反向对该参数优化模型修正可学习参数，促使参数优化模型不断迭代升级，循环提升其确定编码器的最佳帧率的能力，由此实现对视频流编码过程的动态灵活控制，使得所述参数优化模型在给定出口带宽的情况下，能够自适应控制编码器根据主观质量感受调节其编码帧率，在确保视频流稳定流畅输出的同时，也能改善视频图像的总体质量观感。

请参阅图8，在前一实施例的基础上，所述步骤S1600、对所述视频流解码获取所述当前图像帧，评估其客观质量指标，包括如下步骤：

步骤S1610、对所述视频流解码以获取所述当前图像帧，作为第一图像帧：

如前所述，每个当前图像帧，其被编码器编码输出，包含于视频流中，被传输至诸如媒体服务器或终端设备，因而，视频流中包含的图像帧，在理论上代表了接收设备所能获得的图像质量，据此，可对编码器输出的视频流进行解码，获得其中的每个图像帧，以便用于计算相对应的客观质量指标。对于指定的当前图像帧而言，可称为第一图像帧。

步骤S1620、获取编码前的所述当前图像帧，作为第二图像帧；

为了计算第一图像帧的客观质量指标，可根据时间戳上的对应关系，获取编码器编码前的所述当前图像帧，作为第二图像帧。第二图像帧的获取可以从编码器之前的图像空间中提取。

步骤S1630、以所述第二图像帧为参考，应用预设公式计算获得所述第一图像帧的客观质量指标；

对于所述客观质量指标所采用的类型，并不局限于前文的示例。具体而言，当将本申请的任意实施例所获得的计算机程序产品部署于终端设备时，所述的客观质量指标可使用均方误差(MSE)或峰值信噪比来表示(PSNR)，因其计算量较小，可节省终端设备的算力，提升运行效率；当将本申请的任意实施例所获得的计算机程序产品部署于媒体服务器时，所述的客观质量指标可使用峰值信噪比(PSNR)、结构相似性(SSIM)或均方误差(MSE)来表示。当然，如果终端设备的算力胜任的情况下，也可在终端设备处用SSIM作为质量指标。对此，本领域技术人员可根据以上揭示的原理灵活选用实施。

在确定具体的客观质量指标的类型的基础上，便可应用该客观质量指标相应的计算公式，参考第二图像帧计算第一图像帧的客观质量指标。

以客观质量指标为PSNR为例，PSNR图像质量指标为峰值信噪比指标，其算法相对应的公式如下：

其中，bits即每个像素点存储所占的位数。

PSNR(Peak Signal to Noise Ratio)，峰值信噪比，即峰值信号的能量与噪声的平均能量之比，通常表示的时候取log变成分贝(dB)，由于均方误差(MSE)为真实图像(第二图像帧)与含噪图像(第一图像帧)之差的能量均值，而两者的差即为噪声，因此PSNR即峰值信号能量与MSE之比。

不难理解，由于PSNR的计算复杂度较低，因而更适合在终端设备一侧部署实现，当然，也可部署于服务器侧，由本领域技术人员灵活确定即可。

MSE图像客观质量指标为均方误差指标，其算法相对应的公式如下：

其中，f_ij，f_i ^′ _j分别代表第二图像帧和第一图像帧，M,N分别表示图像帧的高度和宽度，由于第二图像帧和第一图像帧是等尺度的，因而其彼此高度和宽度相同。

SSIM(Structural Similarity)是一种用来衡量图片相似度的指标， SSIM由亮度对比、对比度对比、结构对比三部分组成，关于其算法相对应的公式可由本领域技术人员灵活实施，故此处从略。

根据以上揭示的实施例可知，根据编码器编码输出的视频流中的图像帧与编码前的图像帧之间的对应关系，可以评价出编码后的图像帧的客观质量指标，而编码器输出的当前图像帧实际获得的客观质量指标又受主观质量指标的影响，因而，将其与相应的据以对当前图像帧编码的最佳帧率用于校正所述参数优化模型权重参数和偏置参数，可以实现对参数优化模型的最佳帧率的预测能力的提升，使得根据参数优化模型所预测的最佳帧率编码后的视频图像更能匹配用户观感。

根据本申请的另一实施例，步骤S1500、调用编码器以所述最佳帧率与出口带宽对当前图像帧进行编码，将当前图像帧编码于所述视频流中的步骤之后，包括如下步骤：

步骤S1700、将所述视频流推送至参与网络直播服务的终端设备或媒体服务器：

当所述编码器为置于网络直播服务的直播间的终端设备中运行时，则本申请所实现的计算机程序产品可在该终端设备中运行实施，由此，其所生成的视频流，自然被推送至参与网络直播服务的媒体服务器，以便由媒体服务器进一步推送给相应的直播间的终端用户。

反之，当所述编码器为置于网络直播服务的直播间的媒体服务器中运行时，则本申请所实现的计算机程序产品可在该媒体服务器中运行实施，由此，其所生成的视频流，自然被推送至参与网络直播服务的所述直播间的终端用户所在的终端设备。

根据以上的实施例可以知晓，本申请的部署场景是宽泛的，既可部署于服务器中，也可部署于终端设备中，当其服务于网络直播服务时，必然能提升直播视频流的实际观看感受，而改善直播间的用户体验。

请参阅图9，根据本申请的一个方面提供的一种视频流帧率调整装置，包括图像获取模块1100、主观评估模块1200、函数调制模块1300，以及帧率确定模块1400，其中，所述图像获取模块，用于获取生成视频流所需的当前图像帧；所述主观评估模块1200，用于确定当前图像帧的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标；所述函数调制模块1300，用于将编码器的出口带宽输入参数优化模型，获得所述出口带宽下表征编码帧率与客观质量指标之间映射关系的近似函数；所述帧率确定模块1400，用于应用所述近似函数求取所述主观评估参数相对应的数值逼近点，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率。

在以上实施例的基础上，一个实施例中，所述图像获取模块，包括：图像渲染逆单元，用于将摄像单元采集的数据帧渲染为纹理图像；格式转换单元，用于将所述纹理图像转换为特定格式的图像帧存储于图像空间中；图像调用单元，用于从所述图像空间按时间戳获取各个图像帧，作为当前图像帧。

在以上实施例的基础上，另一实施例中，所述图像获取模块，包括：解码处理单元，用于将终端设备提交的原始视频流进行解码，获得其中特定格式的图像帧，存储于图像空间中；图像调用单元，用于从所述图像空间按时间戳获取各个图像帧，作为当前图像帧。

在本申请任意实施例的基础上，一个实施例中，所述主观评估模块1200，包括：转场识别单元，用于采用预设的转场识别模型判断当前图像帧是否属于转场图像；图像分析单元，用于当为转场图像时，对当前图像帧进行图像分析，确定其与其在先图像帧之间的图像大小之间的差值；参数重计单元，用于当所述差值大于预设阈值时，重新计算当前图像帧的主观评估参数；参数调用单元，用于当为非转场图像时，调用当前图像帧的在先图像帧相对应的主观评估参数，作为当前图像帧的主观评估参数。

在本申请任意实施例的基础上，一个实施例中，所述主观评估模块1200，包括：复杂度计算单元，用于计算当前图像帧及若干个其在后图像帧的图像复杂度；差异计算单元，用于计算当前图像帧的图像复杂度与其在先图像帧的图像复杂度之间的差异信息；帧率调整单元，用于根据所述差异信息，基于在先图像帧的参考帧率调整获得当前图像帧的参考帧率；参数计算单元，用于应用预设的表征参考帧率与主观质量指标之间映射关系的主观曲线函数，根据所述参考帧率确定其相对应的主观质量指标。

在本申请任意实施例的基础上，一个实施例中，后于所述帧率确定模块 1400，包括：编码执行模块，用于调用编码器以所述最佳帧率与出口带宽对当前图像帧进行编码，将当前图像帧编码于所述视频流中；迭代修正模块，用于对所述视频流解码获取所述当前图像帧，评估其客观质量指标，以所述客观质量指标与所述最佳帧率迭代更新所述参数优化模型。

在前一实施例的基础上，一个实施例中，所述迭代修正模块，包括：解码处理单元，用于对所述视频流解码以获取所述当前图像帧，作为第一图像帧；前置调用单元，用于获取编码前的所述当前图像帧，作为第二图像帧；指标计算单元，用于以所述第二图像帧为参考，应用预设公式计算获得所述第一图像帧的客观质量指标。

在本申请任意实施例的基础上，一个实施例中，所述客观质量指标为峰值信噪比。

本申请的另一实施例还提供一种视频流帧率调整设备。如图10所示，视频流帧率调整设备的内部结构示意图。该视频流帧率调整设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该视频流帧率调整设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种视频流帧率调整方法。

该视频流帧率调整设备的处理器用于提供计算和控制能力，支撑整个视频流帧率调整设备的运行。该视频流帧率调整设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的视频流帧率调整方法。该视频流帧率调整设备的网络接口用于与终端连接通信。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的视频流帧率调整设备的限定，具体的视频流帧率调整设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图9中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本申请的视频流帧率调整装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。

本申请还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的视频流帧率调整方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解，实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体 (Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体 (Random Access Memory，RAM)等。

综上所述，本申请可以自适应控制编码器以最佳帧率编码视频流，改善网络直播的视频流的播放体验。

Claims

1.一种视频流帧率调整方法，其特征在于，包括如下步骤：

获取生成视频流所需的当前图像帧；

确定当前图像帧的主观评估参数，所述主观评估参数包括适于对当前图像帧编码的参考帧率，及按照所述参考帧率编码可预期获得的主观质量指标；

2.根据权利要求1所述的视频流帧率调整方法，其特征在于，获取生成视频流所需的当前图像帧，包括如下步骤：

将摄像单元采集的数据帧渲染为纹理图像；

将所述纹理图像转换为特定格式的图像帧存储于图像空间中；

从所述图像空间按时间戳获取各个图像帧，作为当前图像帧。

3.根据权利要求1所述的视频流帧率调整方法，其特征在于，获取生成视频流所需的当前图像帧，包括如下步骤：

将终端设备提交的原始视频流进行解码，获得其中特定格式的图像帧，存储于图像空间中；

4.根据权利要求1所述的视频流帧率调整方法，其特征在于，确定当前图像帧的主观评估参数，包括如下步骤：

采用预设的转场识别模型判断当前图像帧是否属于转场图像；

当为转场图像时，对当前图像帧进行图像分析，确定其与其在先图像帧之间的图像大小之间的差值；

当所述差值大于预设阈值时，重新计算当前图像帧的主观评估参数；

当为非转场图像时，调用当前图像帧的在先图像帧相对应的主观评估参数，作为当前图像帧的主观评估参数。

5.根据权利要求1所述的视频流帧率调整方法，其特征在于，确定当前图像帧的主观评估参数，包括如下步骤：

计算当前图像帧及若干个其在后图像帧的图像复杂度；

计算当前图像帧的图像复杂度与其在先图像帧的图像复杂度之间的差异信息；

根据所述差异信息，基于在先图像帧的参考帧率调整获得当前图像帧的参考帧率；

应用预设的表征参考帧率与主观质量指标之间映射关系的主观曲线函数，根据所述参考帧率确定其相对应的主观质量指标。

6.根据权利要求1所述的视频流帧率调整方法，其特征在于，获得所述数值逼近点相对应的编码帧率，作为对当前图像帧编码的最佳帧率的步骤之后，包括如下步骤：

调用编码器以所述最佳帧率与出口带宽对当前图像帧进行编码，将当前图像帧编码于所述视频流中；

对所述视频流解码获取所述当前图像帧，评估其客观质量指标，以所述客观质量指标与所述最佳帧率迭代更新所述参数优化模型。

7.根据权利要求6所述的视频流帧率调整方法，其特征在于，对所述视频流解码获取所述当前图像帧，评估其客观质量指标，包括如下步骤：

对所述视频流解码以获取所述当前图像帧，作为第一图像帧；

获取编码前的所述当前图像帧，作为第二图像帧；

以所述第二图像帧为参考，应用预设公式计算获得所述第一图像帧的客观质量指标。

8.根据权利要求1至7中任意一项所述的视频流帧率调整方法，其特征在于，所述客观质量指标为峰值信噪比。

9.一种视频流帧率调整装置，其特征在于，包括：

图像获取模块，用于获取生成视频流所需的当前图像帧；

10.一种视频流帧率调整设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至8中任意一项所述的方法的步骤。

11.一种非易失性可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至8中任意一项所述的方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

12.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至8中任意一项所述方法的步骤。