CN103634602B - 基于QoE控制的计算量可感知的运动估计算法 - Google Patents

Abstract

本发明涉及基于QoE控制的计算量可感知的运动估计算法，对移动设备上的实时视频编码，设计了一个带有两个体验维度的QoE计算模型，让用户可以在视频的质量和时长之间进行选择和调节，并应用在了所提出来的一种新型的计算量可感知的运动估计算法里面。该算法采用的是单遍扫描处理流程，利用块的初始匹配误差信息和对应的失真增益信息将块分为四类，将一帧的计算量分成了基本层和增益层两个部分，分别对四类块进行分配，同时采用了提前终止检测和计算量分配调整策略。实验结果表明，该算法能够更加精确地对计算量进行分配，以及所构造的QoE计算模型具有实用性。

Description

基于QoE控制的计算量可感知的运动估计算法

技术领域

本发明涉及IT行业，具体的说是一种基于QoE控制的计算量可感知的运动估计算法。

背景技术

运动估计是视频编码过程中消耗时间最多的一个功能模块，也一直被作为视频编码研究的重点部分。在移动应用环境中，当手机等移动设备的电能消耗以及处理能力发生改变时，编码器复杂性所控制的重点就在于如何控制运动估计的复杂性。随着新一代视频编码标准HEVC的推出，这一问题显得更为突出。传统的运动估计算法有全搜索算法(FS)、三步搜索算法(TSS)、四步搜索算法(FSS)、菱形搜索算法(DS)等。它们有这样一个特点：如果没有足够的计算量将会导致无法完成一帧的运动估计，使得一帧后面的块无法被处理。这导致它们无法适应计算资源有限和变化的移动应用环境。Tai等人最早提出了计算量可感知的概念，通过对所有块同时进行处理，每次把计算量分配给匹配误差最大的块来进行运动估计。但每次把计算量分配给匹配误差最大的块并不总是有效的。Yang等人为块的每次搜索建立了一个优先级，根据优先级的大小进行计算量的分配。这两种方法采用的都是多遍扫描处理流程，不能够利用相邻块的信息。Huang等人提出了一种单遍扫描处理流程方案，从而可以利用相邻块的信息，并采用了自适应搜索策略。Lin等人采用的也是单遍扫描处理流程，结合前一帧对应块的运动矢量信息把块分为三类，根据前一帧块的分类信息将计算量分配到三类块中。这种大粒度的信息参考很容易导致参考信息的非有效性造成大范围的影响。在移动设备上，用户追求的体验维度有视频的质量和时长，但上面这些算法仅仅只是考虑了视频质量。为了提供更佳的用户体验，即让用户可以在视频的质量和时长之间进行选择和调节，本发明设计了一个QoE计算模型用于指导这个过程 的进行，并将此模型应用在了所提出来的一种采用单遍扫描处理流程的新型的计算量可感知的运动估计算法里面。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种监控视频系统的关键帧提取方法，本发明解决其技术问题所采用的技术方案是：本发明包括两个部分：帧级别计算量分配和块级别计算量分配，其特征在于帧级别计算量分配有两个限制，一个是视频质量的平滑性，另一个是计算资源的节省性，视频质量的平滑性限制用来保证不同视频帧之间的补偿质量的变化尽可能要小，计算资源的节省性限制则是用来在搜索候选匹配块时，终止那些不必要的计算量使用，由于采用的块级别计算量分配算法会严格控制计算量不会被超额使用，为了方便与其他方法进行比较，采用的是为每一帧分配固定的计算量，其中块级别计算量分配，首先是把块分成四类，把一帧可使用的计算量划分成基本层和增益层两个部分，然后根据块的类别分别进行基本层和增益层计算量的分配；对块进行分类的方法：利用到前一帧的失真增益，当前帧的每个块都有一个预测运动矢量指向前一帧的某个块，而被指向的每个块都对应着一个失真增益，该失真增益是它的初始匹配误差与最终匹配误差之间的差值，如果当前块的预测运动矢量所指向的块覆盖了前一帧中多个块，则该块对应的失真增益是所覆盖块的失真增益的加权和，用Be_block表示当前块所对应的失真增益：

其中，Be_{b_pre_i}表示所覆盖块i的失真增益，权重因子ω_i则对应所覆盖块i的面积占的比例，用Dif_{b_initial}表示块的初始匹配误差，则四类块是按如下方式进行定义的：

其中，Class_block表示当前块的所属分类，dths表示一个块的初始匹配误差过 小的阈值，dthl表示一个块的初始匹配误差过大的阈值，bth表示一个块的失真增益是大还是小的分隔点；块级别计算量分配算法：块级别计算量分配首先是将一帧可使用的计算量分成基本层和增益层两个部分，基本层计算量所占的比例是α(0<α<1)，基本层计算量被分配给所有的四类块，而每块所分得的基本层计算量是根据其初始匹配误差进行分配的，用C_{b_base}表示一个块所分得的基本层计算量：

其中，C_{base_available}表示一帧中基本层可用的计算量，Num_{b_nopro}表示一帧中未被处理的块的数量，AvgDif表示一帧中已经被处理过的块的平均初始匹配误差，增益层计算量也被分配给所有的四类块，而每块所分得的增益层计算量是根据其失真增益进行分配的，用C_{b_benefit}表示一个块所分得的增益层计算量：

其中，C_{benefit_total}表示一帧中增益层总的计算量，Be_{total_pre}表示一帧中总的失真增益，另外，为了减少所采用的失真增益信息的非有效性所带来的影响，当第1类块和第2类块的某一步搜索得到的最佳运动矢量是预测运动矢量，该块很有可能已经达到了全局最优，为了减少计算量的不必要使用，便停止对该块的搜索，当第2类块和第3类块的最后一步搜索的失真增益比大于β(0<β<1)，该步的失真增益比表示失真减少量所占的比例，则增加计算量以进行更多一步的搜索，当第4类块的连续两步搜索的失真增益比都小于γ(0<γ<1)，则立即停止对该块的搜索，为了使搜索策略更具一般性，实验中采用的运动估计算法是菱形搜索算法，并将预测运动矢量作为初始搜索点，为了加快搜索速度，也采用了其他一些传统的加速策略，比如说当一个块的部分匹配误差大于最小匹配误差的时候，便停止对该块匹配误差的计算。

本发明QoE计算模型是对于在手机等移动设备上的视频应用，用户通常有视频的质量和时长两个体验维度追求，并且这两个体验维度是相互矛盾 的，需要在它们之间制定一个平衡点。为了提供更佳的用户体验，这就需要用户来参与这个平衡点的制定，因此就需要一种QoE计算模型来指导整个过程的进行。构造QoE计算模型通常的做法是：首先找到影响用户体验的参数，然后统计用户的体验评价，最后在QoE和这些参数之间建立一种映射关系。建立映射关系可以采用随机神经网络，也可以采用指数关系或者对数关系。而所构造的QoE计算模型的最大价值就在于它的实施应用，若只是进行一些简单的体验报告，还不如直接对用户做份问卷调查更有效。本发明所构造的QoE计算模型主要用于指导所提出来的一种新型的计算量可感知的运动估计算法，让用户可以在视频的质量和时长之间进行选择和调节。为了在视频的质量和时长之间制定一个基准，本发明选择了手机等移动设备上的计算资源利用率和电量状态两个参数，并将它们的值相等时作为基准。用D_experience表示用户所追求的体验维度：

D_experience＝U_computation-S_charge (5)

其中，U_computation表示手机等移动设备的计算资源利用率，S_charge表示手机等移动设备的电量状态。在具体实施操作中，U_computation采用的是CPU当前时钟频率和最高时钟频率的比值，而通过DVFS技术可以很容易地对CPU时钟频率进行调整控制。当D_experience大于0时，表明用户追求的体验维度是视频质量；当D_experience小于0时，表明用户追求的体验维度是视频时长。为了定量地描述两个体验维度，本发明所构造的QoE计算模型为两个体验维度分别提供了100个数字值让用户进行选择，用S_QoE来表示。当用户体验维度追求的是视频质量时，通过DVFS技术将U_computation调整到当前值与1之间所选S_QoE的百分比；当用户体验维度追求的是视频时长时，通过DVFS技术将U_computation调整到当前值与0之间所选S_QoE的百分比。具体的计算过程如下：

本发明的有益效果是，本发明能够更加精确地对计算量进行分配，以及所构造的QoE计算模型具有实用性。如果结合其他更有效的搜索策略或者计算量分配方案能够进一步提升用户体验。

附图说明

图1：本发明实施例算法处理框架结构示意图。

图2：本发明实施例mobile序列实验结果结构示意图。

图3：本发明实施例bus序列实验结果结构示意图。

图4：本发明实施例highway序列实验结果结构示意图。

具体实施方式

参照附图说明对本发明作以下具体的详细说明。本发明实验中选取的测试视频序列有CIF分辨率大小的mobile、bus和highway，它们分别具有复杂不规则的运动属性、复杂相对规则的运动属性以及简单平缓的运动属性。编码序列格式第一帧是I帧，其余全部是P帧，参考帧为一帧。帧率为每秒15帧，块大小选择的都是8*8，量化参数为28，搜索范围是[-16，16]，控制参数α取0.4，β和γ都取0.1。块初始匹配误差过大过小阈值参数dths和dthl值的设定是根据前一帧的初始匹配误差信息来进行的：如果位于前一帧相关信息的前30％，则算大；如果位于前一帧相关信息的后30％，则算小。块的失真增益是大还是小的分隔点bth值的设定是取前一帧相关信息的中值。第一个P帧所有计算量的分配都只是根据块的初始匹配误差来进行。为了验证本算法的有效性，设计了以下几个对比方案：pro1表示提出的算法不带有QoE控制，pro2表示提出的算法带有QoE控制，add1表示只是根据块的初始匹配误差进行计算量分配，add2表示利用前一帧对应块的运动矢量信息进行计算量分配。为了更好地模拟实验效果，QoE控制中电量的递减是以帧为单位进行的，电量初始状态为100％，并以每帧1％的电量递减，一帧可以使用的最大计算量是30000个搜索点。采用的QoE控制方案是：始终保持D_experience的值为1，即保持计算资源利用率的大小始终为电量状态的大小。每个测试视频序列都编码了60帧，从第二帧进行统计，图2、图3和图4给出了实验结果。

通过对比pro1、add1和add2在三个测试视频序列上的实验结果，可以发现pro1能够更加精确地对计算量进行分配，从而得到更高的视频质量。通过对比pro1、add1和add2在测试视频序列mobile和bus上的实验结果，可以发现pro1对前者视频质量的提高并没有后者的高，但要好于add1和add2。这说明对于那些具有复杂不规则运动属性的视频序列，利用块的初始匹配误差信息和前一帧的失真增益信息将块分为4类来进行计算量的分配并不是那么有效，但针对各类块所采取的提前终止检测和计算量分配调整策略有效地对此进行了弥补。对于具有简单运动属性的视频序列highway来讲，不同的算法差别不大。对比pro1和pro2在三个测试视频序列上的实验结果，可以发现尽管pro2所能利用的计算量少了，但视频质量并没有很明显地减少，某些视频帧的质量甚至没有变化。这从另外一个角度说明了本算法对计算量分配的有效性和QoE计算模型的实用性。

上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (1)

1.基于QoE控制的计算量可感知的运动估计算法，包括两个部分：帧级别计算量分配和块级别计算量分配，其特征在于帧级别计算量分配有两个限制，一个是视频质量的平滑性，另一个是计算资源的节省性，视频质量的平滑性限制用来保证不同视频帧之间的补偿质量的变化尽可能要小，计算资源的节省性限制则是用来在搜索候选匹配块时，终止那些不必要的计算量使用，块级别计算量分配算法严格控制计算量不会被超额使用，帧级别计算量分配算法为每一帧分配固定的计算量，把一帧可使用的计算量划分成基本层和增益层两个部分，当进行块级别计算量分配时，把块分成四类，根据块的类别分别进行基本层和增益层计算量的分配；对块进行分类的方法：利用到前一帧的失真增益，当前帧的每个块都有一个预测运动矢量指向前一帧的某个块，而被指向的每个块都对应着一个失真增益，该失真增益是它的初始匹配误差与最终匹配误差之间的差值，如果当前块的预测运动矢量所指向的块覆盖了前一帧中多个块，则该块对应的失真增益是所覆盖块的失真增益的加权和，用Be_block表示当前块所对应的失真增益：

${\mathrm{Be}}_{block}=\underset{i}{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;{\mathrm{Be}}_{b\_pre\_i}---\left(1\right)$

其中，Be_{b_pre_i}表示所覆盖块i的失真增益，i＞0，权重因子ω_i则对应所覆盖块i的面积占的比例，用Dif_{b_initial}表示块的初始匹配误差，则四类块是按如下方式进行定义的：

${\mathrm{Class}}_{block}=\left\{\begin{array}{ccc}1& if& {\mathrm{Dif}}_{b\_initia}\&le;dths\\ 2& if& dths<{\mathrm{Dif}}_{b\_initial}^t\&le;dthl\\ 3& if& {\mathrm{Dif}}_{b\_initial}>dthland{\mathrm{Be}}_{block}\&le;bth\\ 4& if& {\mathrm{Dif}}_{b\_initial}>dthland{\mathrm{Be}}_{block}>bth\end{array}\right.---\left(2\right)$

其中，Class_block表示当前块的所属分类，dths表示一个块的初始匹配误差过小的阈值，dthl表示一个块的初始匹配误差过大的阈值，bth表示一个块的失真增益是大还是小的分隔点；块级别计算量分配算法：块级别计算量分配首先是将一帧可使用的计算量分成基本层和增益层两个部分，基本层计算量所占的比例是α，0＜α＜1，基本层计算量被分配给所有的四类块，而每块所分得的基本层计算量是根据其初始匹配误差进行分配的，用C_{b_base}表示一个块所分得的基本层计算量：

$C_{b\_base}=\frac{C_{base\_available}}{{\mathrm{Num}}_{b\_nopro}}\&CenterDot;\frac{{\mathrm{Dif}}_{b\_initial}}{AvgDif}---\left(3\right)$

其中，C_{base_available}表示一帧中基本层可用的计算量，Num_{b_nopro}表示一帧中未被处理的块的数量，AvgDif表示一帧中已经被处理过的块的平均初始匹配误差，增益层计算量也被分配给所有的四类块，而每块所分得的增益层计算量是根据其失真增益进行分配的，用C_{b_benefit}表示一个块所分得的增益层计算量：

$C_{b\_benefit}=C_{benefit\_total}\&CenterDot;\frac{{\mathrm{Be}}_{block}}{{\mathrm{Be}}_{total\_pre}}---\left(4\right)$

其中，C_{benefit_total}表示一帧中增益层总的计算量，Be_{total_pre}表示一帧中总的失真增益，另外，为了减少所采用的失真增益信息的非有效性所带来的影响，当第1类块和第2类块的某一步搜索得到的最佳运动矢量是预测运动矢量，该块很有可能已经达到了全局最优，为了减少计算量的不必要使用，便停止对该块的搜索，当第2类块和第3类块的最后一步搜索的失真增益比大于β，0＜β＜1，该步的失真增益比表示失真减少量所占的比例，则增加计算量以进行更多一步的搜索，当第4类块的连续两步搜索的失真增益比都小于γ，0＜γ＜1，则立即停止对该块的搜索，当一个块的部分匹配误差大于最小匹配误差的时候，便停止对该块匹配误差的计算。