CN107547902B - 面向监控视频编码的自适应率失真优化方法 - Google Patents

Abstract

本发明公开了一种面向监控视频编码的自适应率失真优化方法，包括步骤：对初始若干帧编码中，将SKIP模式的编码块作为背景块及将其他为前景块，并分别将其VSAD特征作为各类的训练样本；对当前编码块划分若干子编码块，计算子编码块绝对差值和的方差以判断当前编码块的分类特征；进行分类检测，将当前编码块分为背景块和前景块；建立前景块自适应率失真优化的模型，对背景块数据清除及对模型进行估计以确定模型中的参数；估计编码比特数据并选取，代入模型以确定参数的估计值；利用确定的参数的估计值对当前前景块进行率失真优化编码。本发明极大地提升了监控视频的编码效率，消除了背景块编码信息的干扰影响，可以保证前景块自适应率失真模型的准确性。

Description

面向监控视频编码的自适应率失真优化方法

技术领域

本发明涉及一种面向监控视频编码的自适应率失真优化方法，属于监控视频编码应用的技术领域。

背景技术

随着多媒体技术的迅猛发展和视频监控设备的日益普及，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于安全生产、智慧交通、平安城市等场合，监控视频数据量呈现出爆炸性的增长。目前，我国大型城市的视频监控摄像头数量通常都在数十万个以上，全国城市已安装的摄像头已经超过两千万个。视频监控已经成为继数字电视、视频会议之后的又一个重大视频应用，而且日益成为“体量”最大的一个视频应用系统。面对大量摄像头采集的海量监控视频和高昂的存储成本，如何对其进行有效地编码压缩已成为当前视频监控领域面临的重大挑战。监控视频压缩编码技术是其存储、传输、分析和识别等环节的前提，是视频监控应用的核心技术。

目前的视频压缩技术有HEVC、H.264/AVC，这些技术均采用了大量的编码模式和编码参数。如何选取最优的编码模式和参数，以达到最佳压缩性能的技术被称为率失真优化。该技术基于香农率失真编码理论，以期花费尽量少的比特、获得尽量高的视频质量、达到率失真性能最优的目的。在实际应用中，率失真优化技术是视频编码中最基础、最核心的技术，几乎所有的视频编码优化均以率失真优化为基础准则。鉴于监控视频压缩技术的重要性、以及率失真优化技术在视频压缩中的关键性，面向监控视频编码的率失真优化技术研究成为视频多媒体应用的关键。

视频编码率失真优化的核心问题是，在比特消耗的限制下，如何最小化视频编码的失真，表示为。Sullivan等人提出了利用拉格朗日乘数法。从根本上来说，该方法是利用拉格朗日乘子将比特消耗映射成失真，进而将有约束的优化问题转换成无约束的优化问题。该方法在现有编码技术中被广泛地应用。然而，一方面，拉格朗日乘数法是基于香农定理在高码率条件下的近似，在低码率编码应用中显现出性能的不足，而监控视频中大量的背景区域采用极低的比特数进行编码，因此该方法并不适用于监控视频的背景区域；另一方面，拉格朗日乘数是根据实验统计被设定为关于量化步长的函数，其取值与输入视频信号无关。如图2所示，不同的参数将导致不同的编码结果，针对实际应用中多样化的视频内容，该方法获得的压缩性能不足。

因此，现有方法缺乏针对监控视频背景区域和前景区域率失真特性差异化的研究，致力于构建基于拉格朗日乘数法的自适应模型，而忽略了该模型并不适用于监控视频背景区域低码率编码，缺乏分类优化思路的引入。并且，缺乏对背景块在自适应率失真模型估计中的干扰因素研究，现有方法通常把背景块的编码信息用于前景块自适应模型的估计，忽略了背景块编码信息的干扰影响，无法保证前景块自适应率失真模型的准确性。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种面向监控视频编码的自适应率失真优化方法，解决现有方法构建基于拉格朗日乘数法的自适应模型忽略了背景区域低码率编码，及把背景块的编码信息用于前景块自适应模型的估计，忽略了背景块编码信息的干扰影响，无法保证准确性的问题。

本发明具体采用以下技术方案解决上述技术问题：

面向监控视频编码的自适应率失真优化方法，其特征在于，包括以下步骤：

对初始若干帧编码中，将SKIP模式的编码块作为背景块及将其他为前景块，并分别将其VSAD特征作为各类的训练样本；

对训练样本中当前编码块划分若干子编码块，计算子编码块绝对差值和的方差以判断当前编码块的分类特征；

根据所判断的当前编码块的分类特征对当前编码块进行分类检测，将当前编码块分为背景块和前景块；

建立前景块自适应率失真优化的R-λ模型，对采用SKIP模式进行编码的背景块数据清除，及根据执行清除后的前景块编码数据利用最小二乘估计方法对模型进行估计，以确定模型中的参数；

利用编码比特的估计方法估计当前前景块的编码比特数据，并选取当前前景块的编码比特数据代入所述模型以确定参数λ的估计值；利用所确定的参数λ的估计值对当前前景块进行率失真优化编码。

进一步地，作为本发明的一种优选技术方案：所述方法中判断当前编码块的分类特征采用公式:

var(sad_i),i＝1,2,...,(N/s)²

其中，N为正方形子编码块的边长，s为子编码块的划分个数，sad_i表示第i个子编码块的绝对差值和。

进一步地，作为本发明的一种优选技术方案：所述方法中采用基于最小错误率的贝叶斯决策方法对当前编码块进行分类检测。

进一步地，作为本发明的一种优选技术方案：所述方法中采用最小二乘估计方法包括对前景块自适应率失真优化的R-λ模型进行数线性转换。

进一步地，作为本发明的一种优选技术方案：所述方法中利用编码比特的估计方法包括利用基于子编码块SAD相似性的原则估计当前前景块的编码比特数据。

进一步地，作为本发明的一种优选技术方案：所述方法中利用截断平均方法选取当前前景块的编码比特数据。

进一步地，作为本发明的一种优选技术方案：所述方法中确定的参数λ的估计值为：

其中，λ_est为参数λ的估计值；bpp_est为当前前景块的编码比特数据；a和b为模型所求得参数。

进一步地，作为本发明的一种优选技术方案：所述方法中还包括对确定的参数λ的估计值进行修正。

进一步地，作为本发明的一种优选技术方案：所述方法中修正后所得参数λ的估计值为：

λ_est′＝clip(θ₁λ_c,θ₂λ_c,λ_est)

其中，λ_est′为修正后参数λ的估计值；λ_est为参数λ的估计值；λ_c为标准拉格朗日乘数；θ₁、θ₂均为修正参数。

本发明采用上述技术方案，能产生如下技术效果：

本发明将编码块分类检测和多种率失真优化模型相结合，针对编码块率失真特性差异的优化新思路。其实现包括三个步骤：第一，构建相应的特征对背景块和前景块进行分类检测；第二，对前景块采用自适应率失真优化方法。在块分类检测方面，构建基于最小错误率贝叶斯决策的编码块分类检测方法，对于处理编码块之间的率失真特性差异具有重要意义。在率失真优化方面，本发明结合了前景块的自适应率失真优化和长时背景块的全局率失真优化方法，对于提升监控视频压缩性能和编码效率具有重要意义。该发明可以应用于视频编码的多个领域，包括监控视频和视频会议等。

因此，本发明所提出的面向监控视频编码的分类率失真优化方法，能够有效提高监控视频的编码性能。发明的主要创新点在于提出了监控视频率失真分类优化及检测方案、前景块自适应率失真优化模型估计方案、基于自适应率失真模型的前景块编码方案。相比于传统方法，极大地提升了监控视频的编码效率，消除了背景块编码信息的干扰影响，可以保证前景块自适应率失真模型的准确性。

附图说明

图1为本发明面向监控视频编码的分类率失真优化方法的流程示意图。

图2为本发明自适应率失真优化原理的示意图。

图3为本发明自适应率失真优化过程的示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种面向监控视频编码的自适应率失真优化方法，本发明在HM16.0HEVC官方测试软件实验平台上进行实现，如图2和图3所示主要包括对HEVC码流进行转换编码，具体包括以下步骤：

步骤1、对初始若干帧编码中，将SKIP模式的编码块作为背景块及将其他为前景块，并分别将其子编码块绝对差值和方差VSAD特征作为各类的训练样本。

传统的率失真优化方法中，前景块和背景块均采用相同的优化策略，忽略了前景块和背景块在之间的率失真特性差异，限制了率失真优化性能的进一步提升。本发明采用分类优化的策略，构建针对前景块和背景块的分类优化框架。具体地，对前景块采用自适应率失真优化模型。因此在优化之前需要对编码块进行分类检测，分类方法为基于最小错误率的贝叶斯决策方法。贝叶斯决策方法中，分布参数和先验概率需要通过一定数量的样本估计才能得到。鉴于监控视频的背景内容一致性较强，本发明将从视频的初始若干帧提取训练样本。具体地，在对初始若干帧编码过程，将SKIP模式的编码块作为背景块，其他为前景块，分别将其VSAD特征作为各类的训练样本。

步骤2、对训练样本中当前编码块划分若干子编码块，计算VSAD特征以判断当前编码块的分类。

首先，采用子编码块绝对差值和方差VSAD为编码块分类特征，其中绝对差值即为编码子块与其参考块之间的绝对差值求和。将当前编码块按水平垂直方向等分为s×s个子编码块，分别求取各子块的绝对差值和，计算子块绝对差值和的方差，将该方差作为判断当前编码块的分类特征，即：

var(sad_i),i＝1,2,...,(N/s)² (1)

其中，N为正方形子编码块的边长，s为子编码块的划分个数，s要求能被N整除；sad_i表示第i个子编码块的绝对差值和。

步骤3、根据所判断的当前编码块的分类特征对当前编码块进行分类检测，将当前编码块分为背景块和前景块。

本发明通过基于最小错误率的贝叶斯决策方法实现编码块的分类检测，即比较特征在两类的后验概率的大小。把前景块类别标记为w₁，背景块类别标记为w₂；对于某个VSAD特征x，其两类的后验概率为P(w_i|x),i＝1,2。由贝叶斯公式得：

其中，分母P(x)仅作为一个标量，在决策时不起作用，因此可以得到基于最小错误率的贝叶斯决策规则的表达式为，如果

则x∈w₁，否则x∈w₂。

假设两类的条件概率密度服从高斯分布

和

即相应的条件概率密度为：

则可以求得闭式解：

其中，所述Δ为中间变量；使得当x＞T，则x∈w₁，此时编码块被判断为前景块，否则x∈w₂，编码块被判断为背景块。最终利用上述方案可将编码块分为背景块和前景块。

步骤4、建立前景块自适应率失真优化的R-λ模型，对采用SKIP模式进行编码的背景块数据清除，及基于最小二乘估计方法利用清除后的前景块编码数据对模型进行估计，以确定模型中的参数。具体如下：

由于传统方法中，拉格朗日乘数λ由量化步长决定，忽略了编码块的率失真特性所存在的个体差异。如图3所示，本发明对前景块编码采用基于R-λ自适应的率失真优化方法。

拉格朗日乘数法是基于香农定理在高码率条件下的近似，在低码率编码应用中显现出性能的不足。监控视频中大量的背景区域通常采用极低的比特数进行编码，并不适用于拉格朗日乘数法。因此，背景块的编码信息对自适应模型的估计存在干扰影响，本发明在前景块自适应R-λ模型估计中消除背景块的影响。上述步骤3中前景块分类检测存在一定的错检率，较少的背景块可能被检测为前景块，将影响模型参数的估计。因此，在模型估计之前，根据编码模式对背景块数据进行清除，即如果当前编码块采用SKIP模式进行编码，则清除该数据，否则保留。

首先，在每帧编码之前，利用清除后的前景块编码数据对R-λ模型进行估计。具体地，利用已编码的实际λ参数和编码比特合生成该模型。采用对数线性转换和最小二乘估计方法完成模型估计。具体来说，最小二乘估计方法计算效率较高，但是该方法通常适用于线性模型，而R-λ模型为幂函数，因此将其转换为线性形式，即在R-λ模型两边分别求对数，即为：

lnλ＝lna+blnbpp (5)

设有K个已编码块的比特消耗和实际λ参数为(bpp_i,λ_i),i＝1,2,3,...K。令lna＝c，最小化残差Q为：

即使得参数b和c的偏导数为0，表示为：

得方程组(矩阵表示形式)如下：

求解上述方程组，即可求出参数b和c，进而得到a＝e^c.

需要注意的是，初始帧编码之前并没有自适应R-λ模型，无法产生真实数据以供模型的后续更新，因此需要设定一个初始R-λ模型，本项目参数a、b分别设为3.2003和-1.367。

步骤5、利用编码比特的估计方法估计当前前景块的编码比特数据，并选取当前前景块的编码比特数据代入所述模型以确定参数λ的估计值；利用所确定的参数λ的估计值对当前前景块进行率失真优化编码。

首先，对当前编码块的编码比特估计，主要是利用前一帧已编码的前景块比特数来估计，即相似编码块的编码比特相近。采用基于子块SAD相似性的原则，表示为：

其中，i＝1,2,...,(N/s)²，sad_i和sad_i’分别表示当前编码块和已编码前景块的各子块SAD，

和

则表示对各子块SAD求平均，c₁为很小的常数，以防止分母为0。可以看出，S越小两个编码块越相似，反之差异越大。

根据上述相似测度，采用K近邻方法在前一帧前景块中搜索k个相似块，并找出相似块的最大和最小的编码比特数据，采用截断平均的方式求取的编码比特数据的估计值bpp_est，即删除其中最大和最小值，然后求取平均值作为最终的估计值。

然后，将编码比特数据bpp_est代入方案(2)的R-λ模型，得参数估计值

此外，为防止出现大的波动，本方案利用clip方法，将过大或过小的估计值进行修正，表示为；

λ_est′＝clip(θ₁λ_c,θ₂λ_c,λ_est) (10)

其中，λ_est′为修正后参数λ的估计值；λ_est为参数λ的估计值；λ_c为标准拉格朗日乘数；θ₁、θ₂均为修正参数。λ_c为现有方法的标准拉格朗日乘数，修正参数θ₁取值范围为(0.1，0.9)，修正参数θ₂取值范围为(1.05，2)。

接着，利用λ_est′进行率失真优化，选择最优的编码模式和编码参数，获得真实的编码比特消耗，标为bpp_real，因此当前编码块将获得一组真实λ参数和比特消耗数据，标记为(λ_real,bpp_real)，其中λ_real＝λ_est′，该数据将作为步骤4中模型估计的备选项。依次类推，以对帧中每个前景块按上述步骤完成编码过程。

综上，本发明所提出的面向监控视频编码的分类率失真优化方法，能够有效提高监控视频的编码性能，相比于传统方法，极大地提升了监控视频的编码效率。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.面向监控视频编码的自适应率失真优化方法，其特征在于，包括以下步骤：

对初始若干帧编码中，将SKIP模式的编码块作为背景块及将其他为前景块，并分别将其VSAD特征作为各类的训练样本；

对训练样本中当前编码块划分若干子编码块，计算子编码块绝对差值和的方差以判断当前编码块的分类特征；

根据所判断的当前编码块的分类特征基于最小错误率的贝叶斯决策方法对当前编码块进行分类检测，将当前编码块分为背景块和前景块；

建立前景块自适应率失真优化的R-λ模型，对采用SKIP模式进行编码的背景块数据清除，及根据执行清除后的前景块编码数据利用最小二乘估计方法对模型进行估计，以确定模型中的参数；

利用编码比特的估计方法估计当前前景块的编码比特数据，并选取当前前景块的编码比特数据代入所述模型以确定参数λ的估计值；利用所确定的参数λ的估计值对当前前景块进行率失真优化编码。

2.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中判断当前编码块的分类特征采用公式:

var(sad_i),i＝1,2,...,(N/s)²

其中，N为正方形子编码块的边长，s为子编码块的划分个数，sad_i表示第i个子编码块的绝对差值和。

3.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中采用最小二乘估计方法包括对前景块自适应率失真优化的R-λ模型进行数线性转换。

4.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中利用编码比特的估计方法包括利用基于子编码块SAD相似性的原则估计当前前景块的编码比特数据。

5.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中利用截断平均方法选取当前前景块的编码比特数据。

6.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中确定的参数λ的估计值为：

其中，λ_est为参数λ的估计值；bpp_est为当前前景块的编码比特数据；a和b为模型所求得参数。

7.根据权利要求1所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中还包括对确定的参数λ的估计值进行修正。

8.根据权利要求7所述面向监控视频编码的自适应率失真优化方法，其特征在于：所述方法中修正后所得参数λ的估计值为：

λ_est′＝clip(θ₁λ_c,θ₂λ_c,λ_est)

其中，λ_est′为修正后参数λ的估计值；λ_est为参数λ的估计值；λ_c为标准拉格朗日乘数；θ₁、θ₂均为修正参数。

Images