CN117998087A - 基于内容属性的视频编码参数调整方法、装置及设备 - Google Patents

Abstract

本申请实施例提供了一种基于内容属性的视频编码参数调整方法、装置及设备，该方法包括：获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。上述方案能够基于视频内容确定视频编码参数，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

Description

基于内容属性的视频编码参数调整方法、装置及设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种基于内容属性的视频编码参数调整方法、装置及设备。

背景技术

随着移动通信技术的进步与智能设备的普及，移动互联网获得了飞速发展。移动办公、远程教育、在线会议等提高了人们的工作效率，直播购物、社交媒体、在线视频观看等方式也丰富了人们的生活体验。无论是直播、短视频，还是VR/AR、云游戏，视频都在以一种前所未有的速度改变着人们的生活，其使得工作方式更加灵活，娱乐方式更加多样。但同样随着视频业务的普及，传输流量与存储的压力与日俱增，采用合理高效的视频编码策略是目前的研究重点。

相关技术中，在进行视频编码时，根据当前的网络带宽情况得到视频编码的码率，再通过查询码表的方式确定该码率对应的帧率和分辨率，其中，码表定义了码率、帧率和分辨率三者的对应关系。然而，上述方式中仅考虑了码率因素对分辨率和帧率的影响，当视频内容出现剧烈抖动、静止不动、纹理复杂、色彩艳丽等情况时，会产生画质降低、卡顿明显、码率浪费等各种问题，影响用户的观看体验。

发明内容

本申请实施例提供了一种基于内容属性的视频编码参数调整方法、装置及设备，通过评估视频内容的复杂度，再结合历史的视频编码质量确定视频画质质量，以用于后续根据编码使用的分辨率对视频编码参数进行调整，解决了相关技术中当视频内容出现剧烈抖动、静止不动、纹理复杂、色彩艳丽等情况时，仅依靠码表确定视频编码参数进行视频编码带来的画质降低、卡顿明显、码率浪费的问题，能够基于视频内容确定视频编码参数，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

第一方面，本申请实施例提供了一种基于内容属性的视频编码参数调整方法，该方法包括：

获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

第二方面，本申请实施例还提供了一种基于内容属性的视频编码参数调整装置，该装置包括：

复杂度计算模块，配置获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

阈值计算模块，配置为根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

画质确定模块，配置为基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

参数调整模块，配置为获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

第三方面，本申请实施例还提供了一种基于内容属性的视频编码参数调整设备，该设备包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的基于内容属性的视频编码参数调整方法。

第四方面，本申请实施例还提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行本申请实施例所述的基于内容属性的视频编码参数调整方法。

本申请实施例中，通过获取采集的视频帧，基于视频帧进行视频内容的复杂度评估得到复杂度评估值，根据复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值，基于质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息，再获取当前视频编码使用的分辨率，基于分辨率以及画质质量信息对视频编码参数进行调整。通过评估视频内容的复杂度，再结合历史的视频编码质量确定视频画质质量，以用于后续根据编码使用的分辨率对视频编码参数进行调整，解决了相关技术中当视频内容出现剧烈抖动、静止不动、纹理复杂、色彩艳丽等情况时，仅依靠码表确定视频编码参数进行视频编码带来的画质降低、卡顿明显、码率浪费的问题，能够基于视频内容确定视频编码参数，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

附图说明

图1为本申请实施例提供的一种基于内容属性的视频编码参数调整方法的流程图；

图2为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图；

图3为本申请实施例提供的一种计算视频内容的空域复杂度的方法的流程图；

图4为本申请实施例提供的一种示例性的算子模板示意图；

图5为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图；

图6为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图；

图7为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图；

图8为本申请实施例提供的一种基于内容属性的视频编码参数调整装置的结构框图；

图9为本申请实施例提供的一种基于内容属性的视频编码参数调整设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的基于内容属性的视频编码参数调整方法，可以用于视频直播、视频会议、视频通话等需要进行视频编码传输的场景。示例性的，以直播和视频通话场景为例，开启直播/视频通话之后，进行视频编码时，可通过实施本方案以确定视频编码参数进行相应的视频编码。在编码端完成视频编码后，将数据传输至解码端，解码端进行视频解码后进行视频的播放。

本申请实施例提供的基于内容属性的视频编码参数调整方法，各步骤的执行主体可以是计算机设备，该计算机设备是指任何具备数据计算、处理和存储能力的电子设备，如手机、PC(Personal Computer，个人计算机)、平板电脑等终端设备，也可以是服务器等设备，本申请实施例对此不作限定。该方案可与H264/H265、软编/硬编等各种编码器兼容。

图1为本申请实施例提供的一种基于内容属性的视频编码参数调整方法的流程图。如图1所示，包括如下步骤：

步骤S101、获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值。

其中，该采集的视频帧为需要进行视频编码处理时视频流对应的视频帧。可选的，以直播/视频通话场景为例，开启直播/视频通话后，客户端软件会调用设备的相机模组以设定帧率进行视频帧的采集。

在一个实施例中，基于采集的视频帧进行当前编码的视频内容的复杂度评估，得到相应的复杂度评估值。该复杂度评估值表征了视频内容的复杂程度。可选的，在进行视频内容的复杂度评估时，可以基于视频帧的时域复杂度或者空域复杂度，或者二者的结合来进行视频复杂度评估。也可以采用预先设置的针对视频帧画面内容的复杂度评估算法进行评估，例如基于深度学习的视频复杂度评估算法等。

步骤S102、根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值。

在一个实施例中，得到视频内容的复杂度评估值后，根据预设的阈值计算公式计算得到相应的质量评估阈值。该质量评估阈值用于后续对视频编码的画质质量进行评估。可选的，该预设的阈值计算公式可以是通过实验测试数据拟合得到的计算公式，例如二阶多项式公式、三阶多项式公式等。将复杂度评估值代入该预设的阈值计算公式中得到质量评估阈值。由于复杂度评估值通过对视频帧的视频内容进行评估得到，因此不同视频内容对应的复杂度评估值不同，相应的计算得到的质量评估阈值也不同，其反应了视频内容的相关情况。

步骤S103、基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息。

其中，编码质量参数为衡量视频编码时视频质量的参数，在一个实施例中，可以是视频编码标准中定义的量化参数QP，该QP值越大，代表量化损失越大，画质越差；QP值越小，代表量化损失越小，画质越好。其中，为了消除码率波动因素的影响，该历史视频帧的编码质量参数可以是统计的最近预设个数的GOP(Group of Picture，图像组)的所有帧级QP的均值，作为历史视频帧的编码质量参数。可选的，该预设个数可以是4。

在一个实施例中，在确定画质质量信息时，利用前述得到的质量评估阈值与统计的历史视频帧的编码质量参数确定。该画质质量信息示例性的可以以画质优、画质差、画质中等画质划分等级表征，还可以是具体的分数值来表征画质质量。可选的，可以将质量评估阈值与历史视频帧的编码质量参数的数值进行比对，以根据比对结果确定画质质量信息。例如，当历史视频帧的编码质量参数的数值高于质量评估阈值时，确定画质差；反之确定为画质优。

步骤S104、获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

在一个实施例中，在对视频编码参数进行调整时，基于前述确定的画质质量信息以及当前视频编码使用的分辨率共同确定。例如，根据预先定义的不同的画质质量情况与分辨率的高低情况进行对应的视频参数的调整，例如增加帧率、降低帧率、提升分辨率、降低分辨率等。其具体的调整策略可由开发人员设定。

可选的，该视频编码参数可以是视频编码时确定出的送入编码器的视频分辨率、帧率等，该视频编码参数用于指示编码器进行相应分辨率、帧率等的视频编码。当然，输入编码器的信息也包含视频流。可选的，该编码器可以是H264/H265、软编/硬编等各种编码器，在编码器内部完成块划分、预测、变换、量化、后处理、熵编码等步骤后，即可得到在互联网络中传输的二进制码流。

由上述可知，通过获取采集的视频帧，基于视频帧进行视频内容的复杂度评估得到复杂度评估值，根据复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值，基于质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息，再获取当前视频编码使用的分辨率，基于分辨率以及画质质量信息对视频编码参数进行调整。通过评估视频内容的复杂度，再结合历史的视频编码质量确定视频画质质量，以用于后续根据编码使用的分辨率对视频编码参数进行调整，解决了相关技术中当视频内容出现剧烈抖动、静止不动、纹理复杂、色彩艳丽等情况时，仅依靠码表确定视频编码参数进行视频编码带来的画质降低、卡顿明显、码率浪费的问题，能够基于视频内容确定视频编码参数，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

图2为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图，给出了一种确定复杂度评估值的方式，如图2所示，包括：

步骤S201、获取采集的视频帧，基于当前视频编码策略，在采集的所述视频帧中确定第一图像帧以及和所述第一图像帧相邻的第二图像帧。

在一个实施例中，为了提升计算效率，可以采用GOP级计算策略。其中，当前的视频编码策略示例性的可以是1个GOP包含30帧，当然其它不同的编码策略可以是1个GOP包含24帧、36帧等。以1个GOP包含30帧的视频编码策略为例，可以在每个GOP中获取第一图像帧以及和第一图像帧相邻的第二图像帧，用于复杂度评估。可选的，该第一图像帧可以是每个GOP中的第二帧图像，第二图像帧可以是每个GOP中的第一帧图像。当然，第一图像帧和第二图像帧也可以是GOP中其它位置顺序的图像帧。

步骤S202、基于所述第一图像帧与所述第二图像帧的残差像素值计算得到视频内容的时域复杂度，基于所述第二图像帧的像素值计算得到所述视频内容的空域复杂度，将所述时域复杂度与所述空域复杂度进行融合计算得到复杂度评估值。

在一个实施例中，在进行视频内容的复杂度评估时，采用了分别计算视频内容的时域复杂度、空域复杂度，再将二者融合计算得到复杂度评估值的方式。其中，在计算时域复杂度时，利用前述确定的第一图像帧与第二图像帧的残差像素值计算得到，在计算空域复杂度时，利用第二图像帧的像素值计算得到。

可选的，针对空域复杂度的计算方式示例性的如图3所示，图3为本申请实施例提供的一种计算视频内容的空域复杂度的方法的流程图，包括：

步骤S2021、将第二图像帧中包含的像素点对应的像素矩阵与设置的算子模板相乘得到像素点的水平梯度值和竖直梯度值，其中，像素矩阵由像素点以及像素点的周围像素组成。

步骤S2022、基于计算得到的像素点的水平梯度值和竖直梯度值计算得到所述视频内容的空域复杂度。

其中，在进行空域复杂度计算时，由于空域信息为单帧级运算得到的信息，首先采用像素梯度代表像素级的信息量，然后对整帧所有像素的信息量求标准差即为帧级信息量。可选的，可使用3×3的算子模版来计算每个像素的水平梯度与竖直梯度。当然，模板大小可以适应性调整，不做限定，一种示例性的算子模板的示意图如图4所示，图4为本申请实施例提供的一种示例性的算子模板示意图。

在一个实施例中，针对采集的视频帧为YUV格式的视频帧为例，对该YUV图像中每一个像素及其周围像素组成的3×3矩阵与上述算子模版相乘，得到水平梯度xGrad与竖直梯度yGrad。可选的，在得到像素点的水平梯度xGrad与竖直梯度yGrad后，可以以该两个方向的均方根表征像素的信息量，计算公式如下：

其中，pixGrad表征像素点的信息量。其中，针对一帧图像，剔除上下左右边界后，以w表示帧宽，以h表示帧高，帧内所有合法的像素个数为：

则计算得到素有像素的平均信息量为：

相应的，最终得到的空域复杂度SI可以表示为：

需要说明的是，上述得到像素点的水平梯度值和竖直梯度值后，采用均方根的方式表征像素点的信息量，其还可以采用二者的均值、标准差等形式计算表征像素点的信息量。具体的统计计算方式不做限定。

在一个实施例中，进行时域复杂度计算时，基于第一图像帧与第二图像帧的残差像素值计算得到。示例性的，以residual代表所有残差像素构成的残差帧，一种可选的计算过程可以是计算残差帧的像素均值得到两帧图像之间的时域信息TI。均值计算方式如下：

其中，avgRes代表残差帧的像素均值，w表示帧宽，以h表示帧高，residual(i,j)表示残差帧的像素点。当然上述统计方式中，以像素均值作为确定时域复杂度的指标，仅为一种示例性的说明，也可以采用其它统计量计算得到，本方案不做限定。

在一个实施例中，在得到时域复杂度与空域复杂度后，将二者进行融合计算得到复杂度评估值。一种可选的计算方式可以是：将时域复杂度与空域复杂度代入拟合得到的对数函数关系式，计算得到复杂度评估值。示例性的可以是：

其中，SI表示空域复杂度，TI表示时域复杂度，C(SI,TI)为计算得到的复杂度评估值。其中，TI/256、1-TI/256等前置系数代表TI、SI重要性，C(SI,TI)将作为一个统一的融合复杂度指标，代表视频的内容属性，以用于后续步骤完成画质判断。

步骤S203、根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值。

步骤S204、基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息。

步骤S205、获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

由上述可知，通过计算视频帧的时域复杂度、空域复杂度，再将二者融合计算得到视频内容的复杂度评估值，在空域复杂度的计算过程中引入算子模板，该种用于评估视频复杂度的指标计算方式，能够更高效、准确的表征视频内容的复杂度，同时为了降低运算量，基于视频编码策略，进行合理的图像帧的选取以计算复杂度评估值，使得方案整体运算量显著降低，使得部署场景显著增加。

图5为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图，给出了一种可选的确定画质质量信息的方式，如图所示，包括：

步骤S301、获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值。

步骤S302、将复杂度评估值代入第一阈值计算公式计算得到第一质量评估阈值，以及将复杂度评估值代入第二阈值计算公式计算得到第二质量评估阈值，其中，第一质量评估阈值大于第二质量评估阈值。

在一个实施例中，阈值计算公式为通过实验数据拟合得到的二阶多项式。示例性的，记为：

Th＝a*C²+b*C+c

其中，Th为质量评估阈值，a、b和c为多项式系数，C为复杂度评估值。其中，在进行多项式拟合时，分别拟合得到第一阈值计算公式以及第二阈值计算公式。可选的，第一阈值计算公式以及第二阈值计算公式的a、b和c系数值不同，示例性的，第一阈值计算公式的a、b和c取值为a1、b1和c1；第二阈值计算公式的a2、b2和c2取值为，通过将复杂度评估值C分别代入第一阈值计算公式以及第二阈值计算公式可以得到两个质量评估阈值。示例性的，记为Th_High(第一质量评估阈值)以及Th_Low(第二质量评估阈值)。

可选的，计算公式的拟合过程可以是：对多种不同视频场景生成的不同质量的视频作为实验测试数据，可利用人眼观察确定出合理的质量评估阈值，确定质量评估阈值的方式可以是，当增加质量评估阈值的数值后，人眼已无法明显观察出视频质量差别，则相应的记为Th_High；当过了某个阈值临界点，人眼可以明显的观察到视频质量变差，则相应的阈值为Th_Low。通过对大量不同视频质量的实验数据的人眼观察，以拟合得到第一阈值计算公式以及第二阈值计算公式。

可选的，针对不同的视频场景可以对应有不同的第一阈值计算公式以及第二阈值计算公式。以计算公式为二阶多项式为例，即不同的视频场景下对应不同的多项式系数。

步骤S303、基于统计的历史视频帧的编码质量参数与第一质量评估阈值和第二质量评估阈值的关系，确定画质质量信息。

在一个实施例中，在确定画质质量信息时，将得到的统计的历史视频帧的编码质量参数与第一质量评估阈值和第二质量评估阈值进行比对，根据比对情况确定出画质质量信息。可选的，确定画质质量信息的方式可以是：在统计的历史视频帧的编码质量参数小于第二质量评估阈值的情况下，确定画质质量信息为画质优，在统计的历史视频帧的编码质量参数大于第一质量评估阈值的情况下，确定画质质量信息为画质差。

可选的，针对采集的视频帧，随着视频内容的变化得到的第一质量评估阈值和第二质量评估阈值也相应的进行变化，在进行编码质量参数与第一质量评估阈值和第二质量评估阈值的比对确定画质质量信息时，可以针对多个第一质量评估阈值得到一条Th_High曲线，同理针对多个第二质量评估阈值得到一条Th_Low曲线，再根据历史视频帧的编码质量参数与Th_High曲线和Th_Low曲线的关系来确定画质质量信息。

相应的，确定画质质量信息的方式可以是：在统计的历史视频帧的编码质量参数位于Th_Low曲线下方时，确定画质质量信息为画质优，在统计的历史视频帧的编码质量参数位于Th_High曲线上方时，确定画质质量信息为画质差。

步骤S304、获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

由上述可知，在确定画质质量时，利用拟合得到的第一阈值计算公式以及第二阈值计算公式分别计算得到第一质量评估阈值和第二质量评估阈值，再与统计的历史视频帧的编码质量参数比对以得出画质质量信息，能够基于视频内容合理的确定画质质量，对后续进行视频编码参数的调整提供了合理依据。

图6为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图，给出了一种可选的对视频编码参数进行调整的方式，如图所示，包括：

步骤S401、获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值。

步骤S402、根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值。

步骤S403、基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息。

步骤S404、获取当前视频编码使用的分辨率，基于分辨率以及画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整。

在一个实施例中，在得到画质质量信息后结合当前视频编码使用的分辨率对视频编码参数进行调整，其调整方式可选的为对码表中记录的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整，而非直接将变更的视频编码参数送入编码器。可选的，在检测到视频画质好或画质差时，做出对应的帧率/分辨率策略响应时，也即进行视频编码参数的调整时，并非立即对帧率/分辨率进行调整，而是更新码表中的帧率/分辨率与码率的对应关系，当带宽处于调整后的码率范围内时，再做出相应的帧率/分辨率调整操作。即在检测到当前带宽处于调整后的码表记录的码率范围时，将码率范围以及对应的分辨率、帧率输入至编码器以进行视频编码。

其中，码表示记录的内容示例性的如下表所示：

其中，码率单位为kbps，其记录的不同码率对应的分辨率和帧率，即分辨率和码率的对应关系，以及帧率与码率的对应关系。可选的，在进行视频编码参数的调整时，对上述码表中的分辨率和码率的对应关系，以及帧率与码率的对应关系进行调整。

相关技术中，对视频编码参数如分辨率和帧率的调整策略，一般都是根据码表方案设计得到。码表主要定义了码率、帧率、分辨率三者之间的关系，用于指导编码器在波动的网络带宽(码率)中如何选择帧率与分辨率。码表一般是由研究人员根据大量的客观与主观实验总结而来。例如：首先拟合码率与帧率的关系，在特定分辨率下，采用不同码率与帧率的组合对大量视频进行编码，并计算编码质量PSNR，在PSNR和主观质量均差别不大的情况下，拟合出码率-帧率的关系曲线，一般码率越高，帧率越高，帧率最高达到24fps即可，再提升帧率也难以获得肉眼可识别的流程度增强；然后拟合码率与分辨率的关系，在码率-帧率关系固定的情况下，依旧通过PSNR与主观评价结合的方式，在低分辨率满编24fps后，判断上切是否分辨率可以在轻微牺牲流畅度的情况下获得更清晰的视频画质，在高分辨率明显卡顿时，判断下切分辨率是否能够在牺牲部分清晰度的情况下明显降低卡顿提升主观体验。由上述可知，本方案在进行视频编码参数的调整时，并非直接进行分辨率、帧率的调整，而是对码表中记录的分辨率和码率的对应关系，以及帧率与码率的对应关系进行调整，待当前带宽处于调整后的码表记录的码率范围时，将对应的分辨率和帧率送入编码器，以用于编码器基于输入的分辨率和帧率进行视频编码，实现了更加合理的视频编码参数的设置，避免了造成视频编码参数与带宽不匹配带来的视频画面卡顿或者清晰度不够造成的用户观看体验差的问题。

图7为本申请实施例提供的另一种基于内容属性的视频编码参数调整方法的流程图，给出了一种可选的视频编码参数调整的方式，如图7所示，包括：

步骤S501、获取采集的视频帧以及当前视频编码使用的分辨率，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值。

步骤S502、根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值。

步骤S503、基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息。

步骤S504、在所述分辨率为高分辨率，且所述画质质量信息为画质优的情况下，对码表中的码率对应的帧率进行增加。

其中，当视频处于较高分辨率且画质质量信息为画质优的情况下，认为当前视频分辨率足够且画质很好，此时应关注视频流畅度。可选得到，如果查询码表得出此时帧率略低，例如18fps以下，则提升帧率。其中，以前述步骤S303描述的内容为例，历史视频帧的编码质量参数与Th_Low曲线差值越大，表示可提升的帧率范围越大。提升帧率的具体操作方式可以是在原码率和帧率对应关系基础上，保持码率不变，帧率增加一定幅度deltaF，deltaF大小可根据实际需要设定，一般保持在(0，4)范围内即可。

步骤S505、在所述分辨率为高分辨率，且所述画质质量信息为画质差的情况下，对码表中的码率对应的帧率进行降低。

其中，当视频处于较高分辨率且画质质量信息为画质差的情况下，认为当前分辨率足够但是画质较差，此时应关注视频画质。可选的，如果查询码表得出此时帧率略高，例如21fps以上，则可以考虑稍微降低帧率以提升画质。其中，历史视频帧的编码质量参数与Th_High曲线差值越大，表示可降低的帧率范围越大。可选的调节方式为保持码率不变，帧率降低一定幅度deltaF，deltaF大小根据实际需要设定，一般保持在(-3，0)范围内即可。

步骤S506、在所述分辨率为低分辨率，且所述画质质量信息为画质优的情况下，对码表中的分辨率上切时对应的码率进行降低。

其中，当视频处于较低分辨率且画质质量信息为画质优时，认为当前视频画质很好但分辨率不足，此时视频的主要问题是模糊现象，合理的解决方法是适当提升视频分辨率以增加清晰度。可选的，可以是降低将该分辨率上切至更高分辨率时的码率阈值。例如，原定义360P在1400kbps时达到上切至540P的要求，此时可将临界值降低为1300kbps，码率只需要超过1300kbps，就会实现提前上切。

步骤S507、在所述分辨率为高分辨率，且所述画质质量信息为画质极差的情况下，对码表中的分辨率下切时对应的码率进行增加。

其中，当视频处于较高分辨率，画质质量信息为画质极差时，通过降低帧率也难以挽救画质，此时提前下切分辨率来降低高分辨率上明显的块效应。可选的，可以是是提升将该分辨率下切至低分辨率的码率阈值。例如，原定义720P在码率下降到1600kbps时达到下切540P的要求，此时可将临界值提升为1700kbps，码率只需要低于1700kbps，就会实现提前下切。

需要说明的是，上述描述中的高分辨率、低分辨率的具体评判标准可根据实际需求适应性的设定，例如针对包含360P、540P和720P三档可调的分辨率而言，在当前分辨率为720P时判断为高分辨率，在分辨率处于360P时判断为低分辨率。相应的，画质极差的判断标准可以是历史视频帧的编码质量参数高于质量评估阈值或前述描述的Th_High曲线上方预设值，该预设值可根据实际需要或拟合结果自适应确定

由上述可知，在对视频编码参数进行调整时，基于当前分辨率以及画质质量情况进行不同方向、维度的参数调整，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

图8为本申请实施例提供的一种基于内容属性的视频编码参数调整装置的结构框图，该装置配置为执行上述实施例提供的基于内容属性的视频编码参数调整方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置包括：

复杂度计算模块101，配置获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

阈值计算模块102，配置为根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

画质确定模块103，配置为基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

参数调整模块104，配置为获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

上述，通过获取采集的视频帧，基于视频帧进行视频内容的复杂度评估得到复杂度评估值，根据复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值，基于质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息，再获取当前视频编码使用的分辨率，基于分辨率以及画质质量信息对视频编码参数进行调整。通过评估视频内容的复杂度，再结合历史的视频编码质量确定视频画质质量，以用于后续根据编码使用的分辨率对视频编码参数进行调整，解决了相关技术中当视频内容出现剧烈抖动、静止不动、纹理复杂、色彩艳丽等情况时，仅依靠码表确定视频编码参数进行视频编码带来的画质降低、卡顿明显、码率浪费的问题，能够基于视频内容确定视频编码参数，可以适应复杂多变的视频场景，实现基于视频内容的自适应的视频编码参数的调节，能够合理的进行视频编码，以避免后续出现画质降低、卡顿明显等问题，提升了用户体验。

在一个可能的实施例中，所述复杂度计算模块101，配置为：

基于当前视频编码策略，在采集的所述视频帧中确定第一图像帧以及和所述第一图像帧相邻的第二图像帧；

基于所述第一图像帧与所述第二图像帧的残差像素值计算得到视频内容的时域复杂度；

基于所述第二图像帧的像素值计算得到所述视频内容的空域复杂度；

将所述时域复杂度与所述空域复杂度进行融合计算得到复杂度评估值。

在一个可能的实施例中，所述复杂度计算模块101，配置为：

将所述第二图像帧中包含的像素点对应的像素矩阵与设置的算子模板相乘得到所述像素点的水平梯度值和竖直梯度值，所述像素矩阵由所述像素点以及所述像素点的周围像素组成；

基于计算得到的像素点的水平梯度值和竖直梯度值计算得到所述视频内容的空域复杂度。

在一个可能的实施例中，所述复杂度计算模块101，配置为：

将所述时域复杂度与所述空域复杂度代入拟合得到的对数函数关系式，计算得到复杂度评估值。

在一个可能的实施例中，所述阈值计算公式包括通过实验数据拟合得到的第一阈值计算公式以及第二阈值计算公式，所述阈值计算模块102，配置为：

将所述复杂度评估值代入所述第一阈值计算公式计算得到第一质量评估阈值，以及将所述复杂度评估值代入所述第二阈值计算公式计算得到第二质量评估阈值，所述第一质量评估阈值大于所述第二质量评估阈值；

所述画质确定模块103，配置为：

基于统计的历史视频帧的编码质量参数与所述第一质量评估阈值和所述第二质量评估阈值的关系，确定画质质量信息。

在一个可能的实施例中，所述基于统计的历史视频帧的编码质量参数与所述第一质量评估阈值和所述第二质量评估阈值的关系，确定画质质量信息，包括：

在统计的历史视频帧的编码质量参数小于所述第二质量评估阈值的情况下，确定画质质量信息为画质优；

在统计的所述历史视频帧的编码质量参数大于所述第一质量评估阈值的情况下，确定画质质量信息为画质差。

在一个可能的实施例中，所述参数调整模块104，配置为：

基于所述分辨率以及所述画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整，所述码表用于视频编码时根据确定的码率查询对应的分辨率和帧率，以基于查询到的分辨率和帧率进行视频编码。

在一个可能的实施例中，所述参数调整模块104，配置为：

在所述分辨率为高分辨率，且所述画质质量信息为画质优的情况下，对码表中的码率对应的帧率进行增加；

在所述分辨率为高分辨率，且所述画质质量信息为画质差的情况下，对码表中的码率对应的帧率进行降低；

在所述分辨率为低分辨率，且所述画质质量信息为画质优的情况下，对码表中的分辨率上切时对应的码率进行降低；

在所述分辨率为高分辨率，且所述画质质量信息为画质极差的情况下，对码表中的分辨率下切时对应的码率进行增加。

在一个可能的实施例中，在所述基于所述分辨率以及所述画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整之后，还包括：

在检测到当前带宽处于调整后的码表记录的码率范围时，将所述码率范围以及对应的分辨率、帧率输入至编码器以进行视频编码。

图9为本申请实施例提供的一种基于内容属性的视频编码参数调整设备的结构示意图，如图9所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图9中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图9中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请实施例中的基于内容属性的视频编码参数调整方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于内容属性的视频编码参数调整方法。输入装置203可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。

本申请实施例还提供一种包含计算机可执行指令的非易失性存储介质，计算机可执行指令在由计算机处理器执行时配置为执行一种上述实施例描述的基于内容属性的视频编码参数调整方法，其中，包括：

获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

值得注意的是，上述基于内容属性的视频编码参数调整装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不配置为限制本申请实施例的保护范围。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码配置为使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，计算机设备可以执行本申请实施例所记载的基于内容属性的视频编码参数调整方法。程序产品可以采用一个或多个可读介质的任意组合实现。

Claims (13)

1.一种基于内容属性的视频编码参数调整方法，其特征在于，包括：

获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

2.根据权利要求1所述的基于内容属性的视频编码参数调整方法，其特征在于，所述基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值，包括：

基于当前视频编码策略，在采集的所述视频帧中确定第一图像帧以及和所述第一图像帧相邻的第二图像帧；

基于所述第一图像帧与所述第二图像帧的残差像素值计算得到视频内容的时域复杂度；

基于所述第二图像帧的像素值计算得到所述视频内容的空域复杂度；

将所述时域复杂度与所述空域复杂度进行融合计算得到复杂度评估值。

3.根据权利要求2所述的基于内容属性的视频编码参数调整方法，其特征在于，所述基于所述第二图像帧的像素值计算得到所述视频内容的空域复杂度，包括：

将所述第二图像帧中包含的像素点对应的像素矩阵与设置的算子模板相乘得到所述像素点的水平梯度值和竖直梯度值，所述像素矩阵由所述像素点以及所述像素点的周围像素组成；

基于计算得到的像素点的水平梯度值和竖直梯度值计算得到所述视频内容的空域复杂度。

4.根据权利要求2所述的基于内容属性的视频编码参数调整方法，其特征在于，所述将所述时域复杂度与所述空域复杂度进行融合计算得到复杂度评估值，包括：

将所述时域复杂度与所述空域复杂度代入拟合得到的对数函数关系式，计算得到复杂度评估值。

5.根据权利要求1所述的基于内容属性的视频编码参数调整方法，其特征在于，所述阈值计算公式包括通过实验数据拟合得到的第一阈值计算公式以及第二阈值计算公式，所述根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值，包括：

将所述复杂度评估值代入所述第一阈值计算公式计算得到第一质量评估阈值，以及将所述复杂度评估值代入所述第二阈值计算公式计算得到第二质量评估阈值，所述第一质量评估阈值大于所述第二质量评估阈值；

相应的，所述基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息，包括：

基于统计的历史视频帧的编码质量参数与所述第一质量评估阈值和所述第二质量评估阈值的关系，确定画质质量信息。

6.根据权利要求5所述的基于内容属性的视频编码参数调整方法，其特征在于，所述基于统计的历史视频帧的编码质量参数与所述第一质量评估阈值和所述第二质量评估阈值的关系，确定画质质量信息，包括：

在统计的历史视频帧的编码质量参数小于所述第二质量评估阈值的情况下，确定画质质量信息为画质优；

在统计的所述历史视频帧的编码质量参数大于所述第一质量评估阈值的情况下，确定画质质量信息为画质差。

7.根据权利要求1-6中任一项所述的基于内容属性的视频编码参数调整方法，其特征在于，所述基于所述分辨率以及所述画质质量信息对视频编码参数进行调整，包括：

基于所述分辨率以及所述画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整，所述码表用于视频编码时根据确定的码率查询对应的分辨率和帧率，以基于查询到的分辨率和帧率进行视频编码。

8.根据权利要求7所述的基于内容属性的视频编码参数调整方法，其特征在于，所述基于所述分辨率以及所述画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整，包括：

在所述分辨率为高分辨率，且所述画质质量信息为画质优的情况下，对码表中的码率对应的帧率进行增加；

在所述分辨率为高分辨率，且所述画质质量信息为画质差的情况下，对码表中的码率对应的帧率进行降低；

在所述分辨率为低分辨率，且所述画质质量信息为画质优的情况下，对码表中的分辨率上切时对应的码率进行降低；

在所述分辨率为高分辨率，且所述画质质量信息为画质极差的情况下，对码表中的分辨率下切时对应的码率进行增加。

9.根据权利要求7所述的基于内容属性的视频编码参数调整方法，其特征在于，在所述基于所述分辨率以及所述画质质量信息对码表中的帧率与码率的对应关系，或者分辨率与码率的对应关系进行调整之后，还包括：

在检测到当前带宽处于调整后的码表记录的码率范围时，将所述码率范围以及对应的分辨率、帧率输入至编码器以进行视频编码。

10.一种基于内容属性的视频编码参数调整装置，其特征在于，包括：

复杂度计算模块，配置获取采集的视频帧，基于所述视频帧进行视频内容的复杂度评估得到复杂度评估值；

阈值计算模块，配置为根据所述复杂度评估值以及预设的阈值计算公式计算得到质量评估阈值；

画质确定模块，配置为基于所述质量评估阈值以及统计的历史视频帧的编码质量参数确定画质质量信息；

参数调整模块，配置为获取当前视频编码使用的分辨率，基于所述分辨率以及所述画质质量信息对视频编码参数进行调整。

11.一种基于内容属性的视频编码参数调整设备，所述设备包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-9中任一项所述的基于内容属性的视频编码参数调整方法。

12.一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行权利要求1-9中任一项所述的基于内容属性的视频编码参数调整方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的基于内容属性的视频编码参数调整方法。