CN103974060A - 视频质量调整方法和装置 - Google Patents

Abstract

本发明提供一种视频质量调整方法和装置，其中方法包括：获取当前编码图像的内容特性信息，并根据内容特性信息得到当前编码图像的图像类型；获取当前可用编码码率，并根据图像类型和可用编码码率得到对应的配置选项有序列表，配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项；获取当前可用的编码资源；从配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于当前可用的编码资源的首个配置选项作为目标配置选项；根据目标配置选项对当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果。本发明提升了视频质量。

Description

视频质量调整方法和装置

技术领域

本发明涉及通信技术，尤其涉及一种视频质量调整方法和装置。

背景技术

随着以配备前置摄像头的智能手机为代表的移动终端的普及和移动互联网的兴起，双向实时视频通话逐渐成为市场热点，比如，Phone-to-Phone viaInternet的双向视频通话。在视频通话中，通话双方的视频画面需要通过网络传送到对端，例如，发送端通过摄像头采集发送方的连续视频内容，并对该视频内容进行压缩编码后经过网络传输到接收端，接收端解码后生成显示内容在屏幕上呈现发送方的视频画面。

其中，接收端所显示的视频画面的质量（简称：视频质量），与发送端所采用的分辨率、帧率以及码率等多种因素有关，现有技术为了提升视频质量，采用了探测网络可用带宽来确定当前视频编码可用码率的方式，结合该码率确定发送端适合的分辨率和帧率；上述因素考虑了在不同网络状态下的不同分辨率/帧率的配置，既防止了网络拥塞和丢包等现象的发生，也在一定程度上提高了视频质量。但是，目前在发送端用于对视频内容进行压缩编码的编码配置通常是预先设置在该发送端中，在不同的分辨率和帧率下该配置均固定（所述的编码配置例如包括搜索方法、搜索范围、宏块帧内预测模式、帧间预测子宏块划分等多种在压缩编码时所用到的参数），这种固定的编码配置方式，不能灵活适应发送端编码条件的改变，不能充分提升视频质量。

发明内容

本发明提供一种视频质量调整方法和装置，以提高视频质量。

第一方面，提供一种视频质量调整方法，包括：

获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

获取当前可用编码码率，并根据所述图像类型和可用编码码率，得到对应的配置选项有序列表，所述配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项，所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源；

获取当前可用的编码资源；

从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；若所述视频质量评价结果在预设范围内，则选定所述目标配置选项进行编码；否则，根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

结合第一方面，在第一种可能的实现方式中，在所述获取当前编码图像的内容特性信息之前，还包括：获取与所述图像类型和可用编码码率对应的至少一个配置选项；根据率失真曲线方法，对所述至少一个配置选项以视频质量为依据排序，得到所述配置选项有序列表。

结合第一方面，在第二种可能的实现方式中，在所述获取当前编码图像的内容特性信息之前，还包括：获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

结合第一方面，在第三种可能的实现方式中，在所述得到对应的配置选项有序列表之前，还包括：生成所述配置选项；所述生成所述配置选项，包括：确定分辨率和帧率的组合；根据所述组合中的分辨率，选择较低级别的编码配置；获取在根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及对应的第一消耗编码资源；若所述最高运行帧率高于所述组合中的帧率，则将所述较低级别的编码配置更改为较高级别的的编码配置，并获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及对应的第二消耗编码资源；所述第二消耗编码资源高于所述第一消耗编码资源；反复执行上述步骤，直至所述第二最高运行帧率小于或等于所述组合中的帧率时，确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；所述分辨率和帧率的组合、所述编码配置和消耗的编码资源组成所述配置选项。

结合第一方面，在第四种可能的实现方式中，所述编码资源包括：处理器工作负载、可用的存储资源和运行时间。

结合第一方面，在第五种可能的实现方式中，所述根据所述视频质量评价结果修正所述配置选项有序列表，包括：根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序、或者修正所述配置选项。

第二方面，提供一种视频质量调整装置，包括：

图像分析单元，用于获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

码率获取单元，用于获取当前可用编码码率；

列表查找单元，用于根据所述图像类型和可用编码码率，得到对应的配置选项有序列表，所述配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项，所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源；

资源获取单元，用于获取当前可用的编码资源；

配置选择单元，用于从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

配置评价单元，用于根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；若所述视频质量评价结果在预设范围内，则选定所述目标配置选项进行编码；否则，根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

结合第二方面，在第一种可能的实现方式中，该装置还包括：第一配置列表生成单元，用于获取与所述图像类型和可用编码码率对应的至少一个配置选项；根据率失真曲线方法，对所述至少一个配置选项以视频质量为依据排序，得到所述配置选项有序列表。

结合第二方面，在第二种可能的实现方式中，该装置还包括：第二配置列表生成单元，用于获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

结合第二方面，在第三种可能的实现方式中，该装置还包括：配置选项生成单元，用于生成所述配置选项，所述生成所述配置选项包括：确定分辨率和帧率的组合；根据所述组合中的分辨率，选择较低级别的编码配置；获取在根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及第一消耗编码资源；若所述最高运行帧率高于所述组合中的帧率，则将所述较低级别的编码配置更改为较高级别的的编码配置，并获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及第二消耗编码资源；所述第二消耗编码资源高于所述第一消耗编码资源；反复执行上述步骤，直至所述第二最高运行帧率小于或等于所述组合中的帧率时，确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；所述分辨率和帧率的组合、所述编码配置和消耗的编码资源组成所述配置选项。

结合第二方面，在第四种可能的实现方式中，所述编码资源包括：处理器工作负载、可用的存储资源和运行时间。

结合第二方面，在第五种可能的实现方式中，所述配置评价单元，用于根据所述视频质量评价结果修正所述配置选项有序列表，具体包括：根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序、或者修正所述配置选项。

结合第二方面、或第二方面的第一种可能的实现方式至第五种可能的实现方式中的任意一种，在第六种可能的实现方式中，所述视频质量调整装置是编码器。

本发明提供的视频质量调整方法和装置的技术效果是：本发明实施例通过根据获取的当前可用编码资源，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项（即编码配置）进行编码，实现了尽可能的更加充分的利用当前可用的编码资源，能够提高视频图像的编码质量；与现有技术中的编码配置固定方式相比较，由于不同的编码配置对应的消耗编码资源是不同的，所以现有技术的消耗编码资源也是基本固定的，有可能会出现剩余编码资源不能充分利用（比如在码率和分辨率降低时，实际上编码资源是有空余的），而本发明实施例能够实时获取当前可用编码资源，并根据该资源实时动态调整所选用的编码配置，则能够实现对编码资源的充分利用，进一步提升视频质量。

附图说明

图1为本发明视频质量调整方法实施例的应用场景示例；

图2为本发明视频质量调整方法一实施例的流程示意图；

图3为本发明视频质量调整方法中的码率变化示意图；

图4为本发明视频质量调整方法另一实施例中的参数确定流程图；

图5为本发明视频质量调整装置一实施例的结构示意图；

图6为本发明视频质量调整装置另一实施例的结构示意图。

具体实施方式

本发明实施例的视频质量调整方法，可以适用于例如视频通话；比如，Apple Face Time、Google Talk、Tango等双向实时视频通话。视频通话现在较为常见的应用场景是家庭无线保真度（Wireless-Fidelity，简称：WIFI）接入视频通话，参见图1，图1为本发明视频质量调整方法实施例的应用场景示例，双向视频通话时，通话的双方都需要采集自己侧的视频画面向对方发送，使得自己侧的视频画面呈现在对方的终端上。比如，发送端的手机11通过其前置摄像头采集发送方的连续视频内容，并且手机11对该采集的视频内容压缩编码生成压缩码流；手机11通过WIFI方式与家庭无线路由器12连接，压缩码流经过无线路由器12、互联网Internet、接收端的无线路由器13，到达接收端的手机14；压缩码流在手机14解码后生成显示内容在屏幕上呈现发送端的视频画面。

本发明实施例的视频质量调整方法，主要讨论的是图1中的在发送端对视频图像进行的编码处理。因为，接收端的屏幕上显示的视频图像的质量与发送端对视频图像的压缩编码处理是密切相关的，比如，如果发送端对采集的视频图像采用适合的分辨率、帧率、编码配置参数等进行压缩编码，将会使得视频图像具有较高的图像质量。

实施例一

图2为本发明视频质量调整方法一实施例的流程示意图，如图2所示，该方法可以包括：

201、获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

其中，所述的当前编码图像可以是终端（例如摄像头）采集的发送方的视频图像，该视频图像例如是一幅风景或者一幅人物运动像。所述的内容特性信息指的是该当前编码图像的空间纹理特性和时间运动特性，根据该空间纹理特性和时间运动特性，就可以确定该当前编码图像的图像类型（即本实施例的图像类型是根据不同的内容特性信息进行划分的，不同的内容特性信息对应着不同的图像类型）。

202、获取当前可用编码码率；

其中，所述的当前可用编码码率可以是通过实时探测网络可用带宽确定的，表示了当前网络带宽所能承受的可用码率，例如800kbps。

需要说明的是，本实施例中的各步骤之间不做严格的执行顺序限定，例如，本步骤中的获取当前可用编码码率、与201中的获取编码图像的内容特性信息，可以是并列的同时进行。

203、根据所述图像类型和可用编码码率，得到对应的配置选项有序列表；

其中，本实施例的配置选项有序列表是与图像类型、可用编码码率分别对应的，即不同的图像类型和可用编码码率对应着不同的配置选项有序列表。如下以表1示例一种可选的上述三者之间的对应关系记录方式，具体实施中，也可以不采用这样的表格方式，而采用其他的对应关系记录格式。

表1 配置选项有序列表与码率、图像类型的对应关系

	Type11	Type12	.........	Type15
					800kbps	G11	G12	.........	G15
640kbps	G21	G22	.........	G25
					512kbps	G31	G32	.........	G35
400kbps	G41	G42	.........	G45
					256kbps	G51	G52	.........	G55
128kbps	G61	G62	.........	G65
					96kbps	G71	G72	.........	G75
48kbps	G81	G82	.........	G85

在上述的表1中，最左侧的一列“800kbps、640kbps…..”表示的是可用编码码率，最上侧的一行“Type11、Type12……”表示的是各种不同的图像类型。表格中的“G11、G21……”等表示的就是与所述图像类型、可用编码码率对应的配置选项有序列表；例如，G11是与800kbps、Type11对应的配置选项有序列表，即假设在201中获取的当前编码图像的图像类型是Type11，在202中获取的可用编码码率是800kbps，则可以确定与上述两者对应的配置选项有序列表是G11。

所述的配置选项有序列表，包括至少一个配置选项，并且该至少一个配置选项是以视频质量为依据顺序排列；所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源。如下以表2为例，示出了一种可选的配置选项有序列表：

表2配置选项有序列表的结构

配置选项序号	配置选项
		1	QVGA12fps；（quality,cycles）

2	CIF10fps；（quality,cycles）
		3	QCIF25fps；（quality,cycles）

在上述的表2中，以序号为1的配置选项为例，包括：分辨率（QVGA）、帧率（12fps）、编码配置（quality）、以及消耗的编码资源（cycles）；其中，QVGA（Quarter VGA）即表示320x480分辨率，CIF（Common IntermediateFormat）即通用中间格式，表示352x288分辨率；QCIF（Quarter CIF）即表示176x144分辨率。所述的12fps表示每秒钟12帧；所述的QVGA12fps可以称为分辨率和帧率的组合。

其中，上述的编码配置（quality）可以是一个编码配置的标识；比如，在手机中的负责对采集视频内容进行压缩编码的编码器中，存储有多组编码配置，该编码配置例如包括：搜索方法、搜索范围、宏块帧内预测模式、帧间预测子宏块划分等多种在压缩编码时所用到的参数。本发明实施例可以实时动态的调整所选用的编码配置，比如在某段时间采用第一组编码配置进行编码，在另一段时间更改为采用第二组编码配置进行编码，所以为了对编码配置选择时更加简单的表示，可以用某种标识来表示编码配置，比如采用“1”标识第一组编码配置，“2”表示第二组编码配置。本实施例将所述的“1”和“2”等标识用参数quality表示。

所述的cycles是消耗的编码资源，并且是在采用quality对应的编码配置对视频图像进行编码时，编码器处于峰值开销时对应的消耗编码资源。详细的解释可以参见后续的对quality和cycles参数的确定过程中进行的描述，这里不再详述。

此外，上述表2中的配置选项的数量是至少一个即可，本实施例仅以三个为例进行说明；这三个配置选项是以视频质量为依据顺序排列。例如，按照配置选项序号1、2、3的顺序，根据对应的配置选项对视频图像进行编码后产生的图像的质量，配置选项1的图像质量优于配置选项2的图像质量，配置选项2的图像质量优于配置选项3的图像质量，即按照配置选项序号1、2、3的顺序对应的图像质量是降序排列。或者，也可以按照配置选项序号1、2、3的顺序对应的图像质量是升序排列，即图像质量逐步提高。这里的图像质量的比较（比如“优于”）可以是一个统计的概念，即针对大部分情形是适用的。

204、获取当前可用的编码资源；

其中，所述的编码资源例如包括：编码器的处理器（CPU）工作负载、可用的存储资源和运行时间等能够对编码造成能力限制的因素。

本实施例中，当前可用的编码资源的获取周期，可以根据本次视频编码所针对的应用的实际需要选取，例如保持与202中的当前可用编码码率的获取周期同步，或者选择编码器图像组（Group Of Pictures，简称：GOP）周期。

205、从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

其中，本步骤是以204中获取的当前可用的编码资源为限制，以视频质量从高到低的顺序，查找表2中的各配置选项，选择cycles小于或者等于当前可用的编码资源的第一个配置选项。

举例如下：假设表2中的三个配置选项，按照配置选项序号1、2、3的顺序，视频质量逐步降低，即是以视频质量从高到低的顺序排列；其中的序号2、3的配置选项中，其cycles均小于当前可用的编码资源，而序号1的配置选项中的cycles大于当前可用的编码资源；则本步骤将选择序号2的配置选项作为目标配置选项，因为序号2的配置选项是序号2、3的配置选项中的第一个配置选项。

可选的，本实施例的以当前可用的编码资源为限制，这里的编码资源可以是至少一种资源，并且获取的当前可用的编码资源、与参数cycles是相同的，因为在本步骤中比较时是将当前可用的编码资源与cycles进行比较，参数相同才可以比较。

例如，可以仅选用一种资源，比如，CPU工作负载，则参数cycles也是CPU工作负载；又例如，还可以选用两种资源，比如包括CPU工作负载和可用存储资源，则此时的cycles也是包括CPU工作负载和可用存储资源两种资源，且本步骤在将cycles与当前可用的编码资源比较时，需要这两种资源都满足限制条件，即目标配置选项中的cycles中包括的“CPU工作负载和可用存储资源”均小于等于“当前可用的工作负载和存储资源”。

206、根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；

其中，假设选择了序号2的配置选项作为目标配置选项，则将根据CIF10fps、以及对应的（quality,cycles）对当前编码图像进行视频编码，CIF10fps是图像编码参数，quality是编码器当前的编码配置。

所述当前编码图像编码后的视频质量评价结果，可以采用各种宏观指标，例如峰值信噪比（Peak Signal-to-Noise Ratio，简称：PSNR）、结构相似度（Structural Similarity，简称：SSIM）等；考虑到通用性和计算量，还可以采用每帧图像的宏块平均量化系数衡量；较大的量化系数意味着较低的图像质量，较小的量化系数意味着较高的图像质量。

207、判断视频质量评价结果是否在预设范围内；

例如，当对当前编码图像编码后，对输出的宏块平均量化系数进行评估，判断其是否在预设范围内；如果在预设范围内，则表示采用选定的目标配置选项进行视频图像编码的图像质量能够接受，则执行208；否则，表示采用选定的目标配置选项进行视频图像编码的图像质量不能够接受，执行209。

208、选定所述目标配置选项进行编码；

其中，这里的意思是，如果采用选定的目标配置选项进行视频图像编码的图像质量能够接收，则可以直接以本次编码后的图像作为压缩编码的结果即可，继续对编码后的图像进行后续流程，例如将该编码结果的图像发送至网络进行传输。

209、根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

举例说明：可以根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序；例如，如果发现某个配置选项长期不能满足图像质量的要求，即视频质量评价结果达不到预设范围，则可以降低该配置选项在配置选项有序列表中的排序位置，使其处于较低的选中优先级，或者是被禁用，直接从配置选项有序列表中删除。

可选的，还可以根据所述视频质量评价结果，修正所述配置选项。例如，实际中可以根据视频质量评价结果与预设范围的偏差，修正配置选项中的某些参数；比如，当发现编码后的宏块平均量化系数长期高于目标1个等级时，这意味着该配置选项对应的码率偏高12%左右，此时可以适当降低其对应的帧率，比如从15fps降低90%，更改为14fps，或者更改为13fps或者是13.5fps，并相应修改其对应的cycles。对配置选项的细微修改，不会明显影响其有序性，可以使配置选项有序列表更符合具体的编码环境。

本实施例的视频质量调整方法，在可用编码资源的限制范围内，进行了配置选项的选择，实际上也是进行了编码器的编码配置的选择，使得在网络带宽改变（即码率改变），分辨率和帧率改变的情况下，编码配置也会随着实时动态的调整，以充分利用可用的编码资源，提升视频图像的质量。

可以结合图3说明上述效果，图3为本发明视频质量调整方法中的码率变化示意图，在码率较低的情况下，通常意味着编码的分辨率\帧率的（同时）降低；此时编码器实时编码时，两帧间隔周期增大；而且由于分辨率的降低，相同配置下单帧编码时间减少：这都预示着，平均而言，针对单个编码像素点，视频编码器可以采用更为高级的编码工具组合（即更高级别的编码配置），拥有更多的计算资源进行编码；相比于采用固定的编码配置（即单个编码像素点只能拥有固定的计算资源，这里的计算资源即上述的编码资源），这种实时动态调整能够在相同的编码码率下提高单帧图像质量。

实施例二

在执行上述的视频质量调整方法之前，需要预先生成其中的每一项配置选项，本实施例主要描述配置选项中的参数（quality,cycles）的数值的确定。

图4为本发明视频质量调整方法另一实施例中的参数确定流程图，如图4所示，该方法可以包括：

401、确定分辨率和帧率的组合；

例如，确定采用分辨率和帧率的组合“QVGA12fps”。

402、根据所述组合中的分辨率，选择较低级别的编码配置；

其中，根据分辨率QVGA，选择编码器中的能够支持该分辨率的较低级别的编码配置；这里所述的较低级别，是指的消耗编码资源较少的编码配置，因为不同的编码配置消耗的编码资源（例如CPU工作负载、运行时间等）是不同的，消耗资源较多的可以称为较高级别的编码配置，消耗资源较少的可以称为较低级别的编码配置。

本实施例中，可以假设quality=0，以“0”标识所述的较低级别的编码配置，如上面已经说明过的，该“0”只是一组编码配置的标识，而不是编码配置的具体参数。

403、获取根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及对应的第一消耗编码资源；

其中，根据选择的quality=0标识的编码配置，对视频图像进行编码；让编码器运行于峰值开销时，获取其所支持的最高运行帧率f1，该最高运行帧率f1可以称为第一最高运行帧率；并获取此时的运行开销c1，该运行开销c1可以称为第一消耗编码资源。即第一消耗编码资源是在编码器运行于峰值开销时所消耗的编码资源。

404、判断最高运行帧率是否高于所述组合中的帧率；

例如，判断第一最高运行帧率f1是否高于401中的组合“QVGA12fps”中的帧率12fps；

若判断结果为是，则执行405-406；若判断结果为否，则执行407；

405、将较低级别的编码配置更改为较高级别的编码配置；

例如，可以将quality=0更改为quality=1，以“1”标识所述的较高级别的编码配置，是比“0”标识的编码配置级别更高。

406、获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及对应的第二消耗编码资源；

其中，所述第二消耗编码资源高于所述第一消耗编码资源；根据选择的quality=1标识的编码配置，对视频图像进行编码；让编码器运行于峰值开销时，获取其所支持的最高运行帧率f2，该最高运行帧率f2可以称为第二最高运行帧率；并获取此时的运行开销c2，该运行开销c2可以称为第二消耗编码资源。如上面说过的，级别更高的编码配置其所消耗的编码资源也更高，因此，第二消耗编码资源高于所述第一消耗编码资源。

返回执行404，在404中继续判断第二最高运行帧率f2是否高于组合中的帧率。

407、确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；

其中，假设第二最高运行帧率f2小于或等于组合中的帧率，即404中的判断结果为否，则表示该第二最高运行帧率f2对应的编码配置能够支持401中的分辨率/帧率组合、并且尽可能充分利用了可用编码资源。则将quality=1标识的较高级别的编码配置作为所述配置选项中的编码配置quality，将第二消耗编码资源c2作为所述配置选项中的消耗的编码资源cycles。

实施例三

在执行上述的视频质量调整方法之前，还需要预先生成其中的配置选项有序列表，本实施例主要描述该配置选项有序列表的建立方法。以表1所示的配置选项有序列表为例进行说明：

首先，确定图像类型、以及码率；

图像类型的确定：根据视频编码的具体应用场景，例如人物运动场景、风景画面场景等（当然也可以采用其他的应用场景种类划分方式），对每一种应用场景中的图像，按照图像的空间纹理特性和时间运动特性，对该场景下的各图像进行分类，不同的空间纹理特性和时间运动特性对应不同的图像类型（可选的，也可以对应相同的类型）。

如下表3示出了一种可选的12种类型的划分方式，具体实施中可以多于或者少于12种类型：

表3图像类型的划分

	T=1	T=2	T=3	T=4
					S=1	Type11	Type12	Type13	Type14
S=2	Type21	Type22	Type23	Type24
					S=3	Type31	Type32	Type33	Type34

在上述的表3中，S表示图像的空间纹理特性，T表示图像的时间运动特性；这两个参数的取值的定义可以参见如下的公式（1）和公式（2）：

$S=\left\{\begin{array}{cc}1& {\mathrm{SpatialComplexity}\&le;\mathrm{TH}}_0^S\\ 2& {\mathrm{TH}}_0^S<{\mathrm{SpatialComplexity}\&le;\mathrm{TH}}_1^S\\ 3& {\mathrm{SpatialComplexity}>\mathrm{TH}}_1^S\end{array}\right....\left(1\right)$

其中，Spatial Complexity表示空间复杂度；表示空间复杂度的阈值，作为空间维度图像类型划分的分界点，根据不同的应用场景和需求，阈值可以调整。

$T=\left\{\begin{array}{cc}1& {\mathrm{MotionComplexity}\&le;\mathrm{TH}}_0^T\\ 2& {\mathrm{TH}}_0^T<{\mathrm{MotionComplexity}\&le;\mathrm{TH}}_1^T\\ 3& {\mathrm{TH}}_1^T<{\mathrm{MotionComplexity}\&le;\mathrm{TH}}_2^T\\ 4& {\mathrm{MotionComplexity}>\mathrm{TH}}_2^T\end{array}\right....\left(2\right)$

其中，Motion Complexity表示运动复杂度；表示时间复杂度的阈值，作为时间维度图像类型划分的分界点，根据不同的应用场景和需求，阈值可以调整。

以上是逐帧进行图像类型确定的；实际上还可以应用场景切换检测方式，在场景发生改变时进行图像类型判断，以其类型判断结果作为该场景的图像类型，属于同一场景的连续帧视为同一种类型，这样仅需针对同一场景内部的若干图像进行分析来判断类型，这可以带来额外计算开销的降低。

码率的确定：表格中给出的码率是某一种应用的选取值，在具体的应用中可以适应修改，包括码率的最大最小范围、码率数目的多少、具体的码率数值等。码率的最大最小值（比如表1中的800kbps和48kbps）可以根据具体应用支持的最高码率、最低码率来确定；码率数目的多少（即码率列表的长度）会受到码率范围影响，范围较大时列表长度对应较长；范围较小时列表长度相对较小。此外，码率列表的长度和具体的码率数值还与视频通讯应用的周边模块的功能支持密切相关，例如，当实时网络带宽检测的精度较低时，相应的码率列表中的码率间的差值选取较大，不小于检测精度。

在H.264视频编码协议中，每级量化系数增加，其产生的增量影响约为12%；通过量化系数的调整，相同情况下会对生成码率造成较大影响，比如量化参数增加6，生成码率会降低为原先的二分之一左右。我们可以参考我们需要控制的平均量化参数调整级别，来设定码率列表中相邻两个级别的码率数值，例如量化系数级别增加2，生成码率的降低百分比约为：

$\frac{1}{1.12\&times;1.12}\&ap;0.797$

而这可以作为640kbps≈800kbps*0.797的选取依据。码率列表中的数值不必是均匀分布的，而且可以考虑应用针对的典型值。

在上述的图像类型和码率确定后，对应该应用的表格的横纵坐标参照就确定了（即确定了表1中的最左侧的码率列表和最上侧的图像类型列表），接下来就可以继续确定与图像类型和码率对应的配置选项有序列表了。在具体实施中，编码器中可以存储分别对应多种应用的多个表格，当进行某种具体应用的视频编码时，选用该应用对应的表格即可。

其次，确定与所述图像类型和码率对应的配置选项有序列表；本实施例的配置选项列表的确立，提供了两种可选的方式：

一种方式是，以表2为例，可以预先随机获取与所述图像类型和可用编码码率对应的至少一个配置选项，比如随机选取的配置选项即是表2中所述的三个配置选项；该配置选项的选择主要是分辨率和帧率组合的选择，因为如前边所述的，配置选项中的参数（quality,cycles）可以是根据确定好的分辨率和帧率组合计算得到。所述的分辨率和帧率组合的选取原则可以是，例如，可以根据摄像头采集图像的分辨率/帧率的能力集合作为依据，也可以是按照编码前降采样、显示端升采样能力为依据，比如选择某一高分辨率的二分之一降采样结果。当然，在该分辨率和帧率组合选取时，也会考虑码率和图像类型的因素，与码率和图像类型对应（码率和图像类型能够支持）。

上述随机选取的配置选项可以称为候选配置选项，然后，对该至少一个候选配置选项进行以视频质量为依据的排序，就可以得到所述配置选项有序列表。该以视频质量为依据的排序的方法，例如可以采用率失真（Rate-Distortion，简称：RD）曲线法，绘制选择的候选分辨率帧率组合编码码流的率失真（RD）曲线，然后根据率失真（RD）曲线对候选配置选项按照质量高低排序。或者，上述的至少一个候选配置选项也可以根据专家组的主观评测结果排序；或者，也可以采用默认值，然后在编码过程中进行更新修改。

另一种方式是，可以预先将该配置选项有序列表设置为空，即不设置候选的配置选项，而是在编码过程中动态更新和增加配置选项，逐步使该空的列表成为包含配置选项且有序排列的配置选项有序列表。本实施例将该包含配置选项且有序排列的配置选项有序列表建立完成之前的、用于所述动态更新和增加配置选项的过程中的图像称为测试编码图像，将配置选项有序列表建立完成之后接收的图像称为当前编码图像。

具体的，可以按照如下过程执行：

获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；即当前对应的是与所述当前编码图像的图像类型和当前可用编码码率对应的配置选项有序列表，先找到对应处理的列表；

在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；例如，增加QVGA12fps；（quality,cycles）；

根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；

反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

例如，在接收第一个测试编码图像时，在对应的配置选项列表中增加了QVGA12fps；（quality,cycles）以及对应的第一视频质量评价结果；在接收第二个测试编码图像时，在对应的配置选项列表中增加了CIF10fps；（quality,cycles）以及对应的第二视频质量评价结果；在接收第三个测试编码图像时，在对应的配置选项列表中增加了QCIF25fps；（quality,cycles）以及对应的第三视频质量评价结果；所述的预设数值是3。然后，根据第一视频质量评价结果、第二视频质量评价结果和第三视频质量评价结果，对所述的QVGA12fps；（quality,cycles）、CIF10fps；（quality,cycles）、QCIF25fps；（quality,cycles）进行排序，就得到了配置选项有序列表。

实施例四

图5为本发明视频质量调整装置一实施例的结构示意图，该装置可以执行本发明任意实施例的视频质量调整方法，如图5所示，包括：图像分析单元51、码率获取单元52、列表查找单元53、资源获取单元54、配置选择单元55、配置评价单元56；其中，

图像分析单元51，用于获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

码率获取单元52，用于获取当前可用编码码率；

列表查找单元53，用于根据所述图像类型和可用编码码率，得到对应的配置选项有序列表，所述配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项，所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源；

资源获取单元54，用于获取当前可用的编码资源；

配置选择单元55，用于从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

配置评价单元56，用于根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；若所述视频质量评价结果在预设范围内，则选定所述目标配置选项进行编码；否则，根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

图6为本发明视频质量调整装置另一实施例的结构示意图，如图6所示，在图5所示结构的基础上，该装置还包括：第一配置列表生成单元57、第二配置列表生成单元58、配置选项生成单元59；其中，

第一配置列表生成单元57，用于获取与所述图像类型和可用编码码率对应的至少一个配置选项；根据率失真曲线方法，对所述至少一个配置选项以视频质量为依据排序，得到所述配置选项有序列表；

第二配置列表生成单元58，用于获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

配置选项生成单元59，用于生成所述配置选项，所述生成所述配置选项包括：确定分辨率和帧率的组合；根据所述组合中的分辨率，选择较低级别的编码配置；获取在根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及第一消耗编码资源；若所述最高运行帧率高于所述组合中的帧率，则将所述较低级别的编码配置更改为较高级别的的编码配置，并获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及第二消耗编码资源；所述第二消耗编码资源高于所述第一消耗编码资源；反复执行上述步骤，直至所述第二最高运行帧率小于或等于所述组合中的帧率时，确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；所述分辨率和帧率的组合、所述编码配置和消耗的编码资源组成所述配置选项。

进一步的，所述编码资源包括：处理器工作负载、可用的存储资源和运行时间。

进一步的，所述配置评价单元56，用于根据所述视频质量评价结果修正所述配置选项有序列表，具体包括：根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序、或者修正所述配置选项。

例如，本实施例的视频质量调整装置可以是编码器，即上述的各个功能单元都可以作为该编码器内容的模块。或者，具体实施中，上述的各个功能单元也可以一部分位于编码器内部，一部分位于编码器外部；例如，配置评价单元位于编码器内部，其他单元位于编码器外部。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种视频质量调整方法，其特征在于，包括：

获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

获取当前可用编码码率，并根据所述图像类型和可用编码码率，得到对应的配置选项有序列表，所述配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项，所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源；

获取当前可用的编码资源；

从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；若所述视频质量评价结果在预设范围内，则选定所述目标配置选项进行编码；否则，根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

2.根据权利要求1所述的方法，其特征在于，在所述获取当前编码图像的内容特性信息之前，还包括：

获取与所述图像类型和可用编码码率对应的至少一个配置选项；

根据率失真曲线方法，对所述至少一个配置选项以视频质量为依据排序，得到所述配置选项有序列表。

3.根据权利要求1所述的方法，其特征在于，在所述获取当前编码图像的内容特性信息之前，还包括：

获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；

在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；

根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；

反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

4.根据权利要求1所述的方法，其特征在于，在所述得到对应的配置选项有序列表之前，还包括：生成所述配置选项；

所述生成所述配置选项，包括：

确定分辨率和帧率的组合；

根据所述组合中的分辨率，选择较低级别的编码配置；

获取在根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及对应的第一消耗编码资源；

若所述最高运行帧率高于所述组合中的帧率，则将所述较低级别的编码配置更改为较高级别的的编码配置，并获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及对应的第二消耗编码资源；所述第二消耗编码资源高于所述第一消耗编码资源；

反复执行上述步骤，直至所述第二最高运行帧率小于或等于所述组合中的帧率时，确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；

所述分辨率和帧率的组合、所述编码配置和消耗的编码资源组成所述配置选项。

5.根据权利要求1所述的方法，其特征在于，所述编码资源包括：处理器工作负载、可用的存储资源和运行时间。

6.根据权利要求1所述的方法，其特征在于，所述根据所述视频质量评价结果修正所述配置选项有序列表，包括：

根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序、或者修正所述配置选项。

7.一种视频质量调整装置，其特征在于，包括：

图像分析单元，用于获取当前编码图像的内容特性信息，并根据所述内容特性信息得到所述当前编码图像的图像类型；

码率获取单元，用于获取当前可用编码码率；

列表查找单元，用于根据所述图像类型和可用编码码率，得到对应的配置选项有序列表，所述配置选项有序列表包括：以视频质量为依据顺序排列的至少一个配置选项，所述配置选项包括：分辨率、帧率、编码配置、以及消耗的编码资源；

资源获取单元，用于获取当前可用的编码资源；

配置选择单元，用于从所述配置选项有序列表中，以视频质量从高到低的顺序，选择消耗的编码资源小于或者等于所述当前可用的编码资源的首个配置选项，作为目标配置选项；

配置评价单元，用于根据所述目标配置选项对所述当前编码图像进行视频编码，获得所述当前编码图像编码后的视频质量评价结果；若所述视频质量评价结果在预设范围内，则选定所述目标配置选项进行编码；否则，根据所述视频质量评价结果修正所述配置选项有序列表，并重新选择新的目标配置选项。

8.根据权利要求7所述的装置，其特征在于，还包括：

第一配置列表生成单元，用于获取与所述图像类型和可用编码码率对应的至少一个配置选项；根据率失真曲线方法，对所述至少一个配置选项以视频质量为依据排序，得到所述配置选项有序列表。

9.根据权利要求7所述的装置，其特征在于，还包括：

第二配置列表生成单元，用于获取测试编码图像的内容特性信息和测试可用编码码率，并根据所述内容特性信息得到所述测试编码图像的图像类型，所述测试编码图像的图像类型与所述当前编码图像的图像类型相同，所述测试可用编码码率与所述当前可用编码码率相同；在与所述测试编码图像的图像类型、以及所述测试可用编码码率分别对应的配置选项列表中增加任一配置选项；根据所述配置选项对所述测试编码图像进行视频编码，并获得所述测试编码图像编码后的视频质量评价结果；反复执行上述各步骤，直至所述配置选项列表中的配置选项的数目达到预设数值，所述预设数值是至少一个；并将所述至少一个配置选项根据所述视频质量评价结果进行排序，所述配置选项列表形成所述配置选项有序列表。

10.根据权利要求7所述的装置，其特征在于，还包括：配置选项生成单元，用于生成所述配置选项，所述生成所述配置选项包括：

确定分辨率和帧率的组合；根据所述组合中的分辨率，选择较低级别的编码配置；获取在根据所述分辨率和较低级别的编码配置进行编码时的第一最高运行帧率、以及第一消耗编码资源；若所述最高运行帧率高于所述组合中的帧率，则将所述较低级别的编码配置更改为较高级别的的编码配置，并获取在根据所述分辨率和较高级别的编码配置进行编码时的第二最高运行帧率、以及第二消耗编码资源；所述第二消耗编码资源高于所述第一消耗编码资源；反复执行上述步骤，直至所述第二最高运行帧率小于或等于所述组合中的帧率时，确定所述较高级别的编码配置、以及所述第二消耗编码资源作为所述配置选项中的编码配置和消耗的编码资源；所述分辨率和帧率的组合、所述编码配置和消耗的编码资源组成所述配置选项。

11.根据权利要求7所述的装置，其特征在于，所述编码资源包括：处理器工作负载、可用的存储资源和运行时间。

12.根据权利要求7所述的装置，其特征在于，

所述配置评价单元，用于根据所述视频质量评价结果修正所述配置选项有序列表，具体包括：根据所述视频质量评价结果，修正所述配置选项列表中的配置选项排序、或者修正所述配置选项。

13.根据权利要求7-12任一所述的装置，其特征在于，所述视频质量调整装置是编码器。