CN103747257A - 一种视频数据高效编码的方法 - Google Patents

Abstract

本发明公开了一种视频数据高效编码的方法，该方法包括：基于帧间差图像的帧内编码框架，对视频数据进行帧内编码；或者，基于帧间差图像的帧间编码框架，对视频数据进行帧间编码。通过采用本发明公开的方法，减少了编码复杂度，降低了计算难度及编码比特流。

Description

一种视频数据高效编码的方法

技术领域

本发明涉及视频编码领域，尤其涉及一种视频数据高效编码的方法。 

背景技术

视频压缩算法一般通过一系列的帧间预测、帧内预测和变换编码消除视频的空间冗余、时间冗余、结构冗余等来达到压缩的目的。现阶段应用最广泛的H.264/AVC视频编解码标准能够在低带宽下提供优质视频，其标准自2003年被提出之后已被广泛应用于网络流媒体和各种高清晰度清度电视广播等领域。然而随着视频清晰度要求的进一步提高和海量视频数据对存储空间需求的增加，迫切需要对视频编码率的进一步提高。 

目前，新一代视频编解码标准HEVC/H.265已经获批，其沿用与H.264/AVC相同的编码框架，如图1所示。但是在相同的图像质量下，相比于H.264/AVC，通过HEVC/H.265编码的视频大小将减少大约39-44%。通过主观视觉测试得出的数据显示，在码率减少51-74%的情况下，HEVC/H.265编码视频的质量要优于H.264/AVC编码视频。但是HEVC/H.265编码性能的提高是以运算量的增加为代价的。相比于H.264/AVC，HEVC/H.265的计算量大大增加，以致严重影响实际的编码速度。 

针对监控视频的编解码研究，AVS（信息技术先进音视频编码）工作组曾采用一种背景帧技术来提高编码效率，其将获取的背景图像作为监控视频编码的长期参考帧，保存在编解码器中。为了实现此功能，其在I帧（关键帧）、B帧（双向预测帧）和P帧（前向预测帧）的基础上引入背景帧和背景预测帧两种新的帧类型。由于监控视频的实时场景受环境、光照等的影响较大，尤其在雨天、有雾等恶劣天气情况下，很难获得准确的背景帧。总之，单一的背景帧不可能适合各种条件下的监控场景，因此导致该背景帧技术的实际应用会受到一定的限制。 

在H.264/AVC编码框架下，针对监控视频的一些研究是基于运动目标的检测来达到高效压缩：首先检测和定位当前监控场景中的所有运动目标，然后实现监控视频的分层次压缩，即将监控场景划分为有用信息与无用信息，对无用的背景信息作高损失低比特率的压缩，而对运动区域信息做无损压缩或低损压缩，以达到提高监控视频整体压缩比 的目的。该方案通过多模高斯分布模型等方法实现背景的构建和更新，虽然可以有效的避免单一背景帧技术的不足，但模型的更新和目标的检测也增加额外的计算复杂度。 

现有技术中，对监控视频编码的研究多是利用背景帧技术在已有的编码标准如AVS，H.264/AVC基础上进行的，但依然存在诸多缺陷；目前对HEVC/H.265标准的研究也没有专门涉及监控视频的编解码领域。因此，基于HEVC/H.265标准实现监控视频的高效编码有待进一步的研究。 

发明内容

本发明的目的是提供一种视频数据高效编码的方法，减少了编码复杂度，降低了计算难度及编码比特流。 

本发明的目的是通过以下技术方案实现的： 

一种视频数据高效编码的方法，该方法包括： 

基于帧间差图像的帧内编码框架，对视频数据进行帧内编码； 

或者，基于帧间差图像的帧间编码框架，对视频数据进行帧间编码。 

由上述本发明提供的技术方案可以看出，采用帧间差法相对于背景差法，由于前后两帧时间间隔很短，受环境、光照等的影响小，不需要额外的离线处理，计算简单；充分利用帧间差信息对视频编码既能保证编码效果，同时又能减少了编码复杂度。 

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。 

图1为本发明实施例提供的一种视频数据高效编码的方法的流程图； 

图2为本发明实施例一提供的又一种视频数据高效编码的方法的流程图； 

图3为本发明实施例二提供的又一种视频数据高效编码的方法的流程图； 

图4为本发明实施例提供的一种LCU单元划分方式的示意图。 

图5为本发明实施例提供的实施例一所用方法和标准测试模型所需编码比特的比较结果示意图； 

图6为本发明实施例提供的实施例一所用方法和标准测试模型得到的峰值信噪比比较结果示意图； 

图7为本发明实施例提供的实施例一所用方法和标准测试模型所需编码时间的比较结果示意图； 

图8为本发明实施例提供的实施例二所用方法和标准测试模型所需编码比特的比较结果示意图； 

图9为本发明实施例提供的实施例二所用方法和标准测试模型得到的峰值信噪比比较结果示意图； 

图10为本发明实施例提供的实施例二所用方法和标准测试模型所需编码时间的比较结果示意图。 

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。 

在监控视频的编解码中，由于相邻视频帧的相似度高，通过相邻帧获得的帧间差图像可以很好的反映当前帧图像的背景区域和运动区域。其中，背景区域一般不会发生太大的变化，其差值为零或接近零，适合选择尺寸较大的CU（编码单元）为处理单元进行编码，节省编码开销；而运动区域变化较大，包含很多细节，是编码的重点，选择较小的CU进行预测，提高编码准确度，降低失真。背景区域和运动区域的区分，既符合CU的划分策略，又符合人眼对运动目标的关注的特点。 

本发明实施例基于帧间差图像对视频数据进行高效编码，如图1所示，其主要包括以下两种实现方式： 

1）基于帧间差图像的帧内编码框架，对视频数据进行帧内编码。 

2）基于帧间差图像的帧间编码框架，对视频数据进行帧间编码。 

为了便于理解，下面采用两个实施例对上述两种实现方式做详细说明。 

实施例一 

图2为本发明实施例提供的一种视频数据高效编码的方法的流程图，该方法基于帧间差图像的帧内编码框架，对视频数据进行帧内编码；具体的：将前后相邻两帧图像相减获得帧间差图像，对所述帧间差图像进行帧内编码获得重构后的帧间差图像，根据所述重构后的帧间差图像对所述前后相邻两帧图像中的后一帧图像进行重构。 

其主要通过如下步骤实现： 

步骤21、对第n-1帧图像F_n-1进行帧内编码（例如，基于HEVC/H.265标准的帧内编码），并进行滤波处理后，获得重构图像

并将所述重构图像

作为第n帧的参考图像。 

步骤22、将第n帧图像F_n与所述重构图像

相减，获得帧间差图像

步骤23、对所述帧间差图像D_n进行帧内预测和变换量化；一方面，将量化后的数据进行熵编码处理获得编码数据；另一方面，将量化后的数据进行反量化和反变换后得到帧间差图像D_n的重构图像D_n′； 

步骤24、将所述帧间差图像D_n的重构图像D_n′与所述重构图像

相加，获得第n帧图像F_n的初步重构图像

步骤25、对所述F_n′进行滤波处理（用于消除块效应和降低失真），获得第n帧图像F_n的重构图像

本发明实施例中n的取值不能小于2，即当n等于2时执行步骤21，则表示对当前视频数据第1帧开始处理。 

同时，本发明实施例中没有对重构图像D_n′做滤波处理，而是通过后，对第n帧图像F_n的初步重构图像F_n′进行滤波处理，其原因在于，对重构图像F_n′进行滤波处理得到的重构图像质量更好，且失真更小。 

进一步的，为了提高编码效率，本发明实施例采用周期性编码，即每隔一定帧数或时间重新开始此过程编码。 

实施例二 

图3为本发明实施例提供的一种视频数据高效编码的方法的流程图，该方法基于帧间差图像的帧间编码框架，对视频数据进行帧间编码；具体的：将前后相邻两帧图像相减获得帧间差图像，对所述帧间差图像进行帧间编码获得重构后的帧间差图像，根据所述重构后的帧间差图像对所述前后相邻两帧图像中的后一帧图像进行重构。 

其主要通过如下步骤实现： 

步骤31、对第n-1帧图像F_n-1进行帧内编码（例如，基于HEVC/H.265标准的帧内编码），并进行滤波处理后，获得重构图像并将所述重构图像

作为第n帧的参考图像。 

步骤32、将第n帧图像F_n与所述重构图像

相减，获得帧间差图像

步骤33、以D_n-1′为参考对所述帧间差图像D_n进行帧间预测编码，获得所述帧间差图像D_n的重构图像D_n′。 

其中，所述D_n-1′为帧间差图像D_n-1的重构图像。当所述n=3时，通过对帧间差图像D_n-1进行帧内预测和变换量化，再经过反量化和反变换后获得所述D_n-1′。 

本发明实施例中n的取值不能小于3，当n=3时，可以预先使用实施例一的步骤21-步骤23计算D₂′。即，采用本实施例的方法进行编码时，视频数据的第1与第2帧图像需利用步骤21-步骤22的方式进行；当执行步骤21-步骤23后，可获得第n（n=2）帧图像与第n-1帧数图像的帧间差图像D₂的重构图像D₂′；此后，对于n≧3的情况，可直接执行本方法的步骤。 

步骤34、将所述帧间差图像D_n的重构图像D_n′与所述重构图像

相加，获得第n帧图像F_n的初步重构图像

步骤35、对所述F_n′进行滤波处理，获得第n帧图像F_n的重构图像

本发明实施例中没有对重构图像D_n′做滤波处理，而是通过

后，对第n帧图像F_n的初步重构图像F_n′进行滤波处理，其原因在于，对重构图像F_n′进行滤波处理得到的重构图像质量更好，且失真更小。 

进一步的，为了提高编码效率，本发明实施例采用周期性编码，即每隔一定帧数或时间重新开始此过程编码。 

进一步的，为了减少编码计算量和降低编码复杂度，本发明实施例根据帧间差图像的特征设计了一种预先确定帧间编码CU块尺寸的方法。由于相邻视频帧的相似度高，其帧间差图像中背景区域灰度波动较小，变化较小的背景区域多选择较大的CU；而运动区域灰度值变化大，细节较多，波动较大，多选择较小的CU作为处理单元。根据此特性，本发明实施例利用视频图像中Luma（亮度）分量的差值信息，自适应地为背景区域选择较大的CU，为运动区域选择较小尺寸的CU，进行帧间预测编码。 

首先，对将待编码的帧间差图像进行划分： 

1）将待编码的帧间差图像划分为若干个LCU（最大划分单元），其大小为：64×64。 

2）将每一LCU单元划分为16个以4×4方式排列的子块A（如图4所示，包含16个编号分别为0-15的子块A），每一子块A的大小为：16×16。 

3）将所述16个以4×4排列的LCU单元划分为4等份，每一等份均包含4个以2×2方式排列的子块A；即0-3为一组，4-7为一组，8-11为一组，12-15为一组。 

4）逐一判断每一等份中4个子块A的亮度绝对差值的均值与阈值的大小，若小于所述阈值，则将所述4个子块A合并为一个子块B，所述子块B的大小为：32×32；否则，不进行合并。 

5）当所述4等分中的子块A均合并为子块B时，则当前LCU单元被划分为4个以2×2方式排列的子块B，判断4个子块B的亮度绝对差值的均值与阈值的大小，若小于所述阈值，则将所述4个子块B合并，获得未被划分的LCU单元；否则，不进行合并。 

再根据所述LCU单元中子块单元的大小确定编码单元CU的尺寸： 

当LCU单元中子块单元为子块A时，编码单元CU的尺寸为：16×16，8×8； 

当LCU单元中子块单元为子块B时，编码单元CU的尺寸为：32×32，16×16； 

当LCU单元未被划分时，编码单元CU的尺寸为：64×64，32×32。 

通过上述方法预先确定CU尺寸，减少CU划分，使编码计算量降低，提高编码效率。 

本发明实施例一与实施例二中，利用帧间差技术，在HEVC/H.265编码框架下实现对监控视频的编码，其优势在于：相对于现有的编码标准，基于HEVC/H.265标准的编码，其压缩比进一步提高；采用帧间差法相对于背景差，由于前后两帧时间间隔很短，受环境、光照等的影响小，不需要额外的离线处理，计算简单；充分利用帧间差信息对视频编码既能保证编码效果，同时又能减少了编码复杂度。 

其中，本发明实施例所提出的帧内编码技术，是对帧间差图像进行帧内编码，而不是直接对监控视频的原始图像编码。由于帧间差图像既有帧间预测的特点，又有小数据帧内编码的优势。在监控视频中，场景固定，利用前一帧图像计算得到当前的帧间差图像（具有帧间预测的特点），其大部分区域颜色分量为零或接近零（小数据更适合熵编码）。其中背景区域适合较大编码块（如64×64，32×32）编码，运动对象区域可采用较小编码块（16×16，8×8）编码，既能降低编码比特流，又能节约模式判断时间。 

同时，预先确定CU尺寸的帧间编码技术，充分利用监控视频的特点，根据帧间差图 像能够自适应地为背景区域选择较大的CU，为运动区域选择较小尺寸的CU，既减少了CU划分的计算量，又能保证了解码重构图像的质量。 

另一方面，为了进一步说明本发明实施例一与实施例二的编码方案优于现有技术。分别根据实施例一、实施例二及现有技术的方案进行了仿真试验。 

仿真试验的环境与测试数据如下： 

CPU：Intel Core(TM)i3-2100 3.10GHz 

内存：3.49GB 

操作系统：Win7 

编程软件：VS2010 

视频数据：分辨率176*144、352*288和704*576的YUV视频 

首先，基于实施例一的技术方案与现有技术的方案进行对比。其比较结果可参见附图5-附图7。从附图中可以看出，实施例一的方案PSNR（峰值信噪比）虽然略有下降，但编码时间以及编码所用数据显著降低。 

其次，基于实施例二的技术方案与现有技术的方案进行对比。其比较结果可参见附图8-附图10。从附图中可以看出，实施例二的方案得到的PSNR和码率同现有技术的结果保持一致，变化曲线相同，且几乎没有降低，但所用编码时间为原编码时间的一半左右，计算复杂度显著降低。 

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。 

Claims (8)

1.一种视频数据高效编码的方法，其特征在于，该方法包括：

基于帧间差图像的帧内编码框架，对视频数据进行帧内编码；

或者，基于帧间差图像的帧间编码框架，对视频数据进行帧间编码。

2.根据权利要求1所述的方法，其特征在于，所述基于帧间差图像的帧内编码框架包括：

将前后相邻两帧图像相减获得帧间差图像，对所述帧间差图像进行帧内编码获得重构后的帧间差图像，根据所述重构后的帧间差图像对所述前后相邻两帧图像中的后一帧图像进行重构。

3.根据权利要求1或2所述的方法，其特征在于，所述基于帧间差图像的帧内编码框架具体包括：

对第n-1帧图像F_n-1进行帧内编码，并进行滤波处理后，获得重构图像

将第n帧图像F_n与所述重构图像

相减，获得帧间差图像

对所述帧间差图像D_n进行帧内预测和变换量化；将量化后的数据进行熵编码处理获得编码数据；将量化后的数据进行反量化和反变换后得到所述帧间差图像D_n的重构图像D_n′；

将所述帧间差图像D_n的重构图像D_n′与所述重构图像

相加，获得第n帧图像F_n的初步重构图像

对所述F_n′进行滤波处理，获得第n帧图像F_n的重构图像

4.根据权利要求1所述的方法，其特征在于，所述基于帧间差图像的帧间编码框架包括：

将前后相邻两帧图像相减获得帧间差图像，对所述帧间差图像进行帧间编码获得重构后的帧间差图像，根据所述重构后的帧间差图像对所述前后相邻两帧图像中的后一帧图像进行重构。

5.根据权利要求1或4所述的方法，其特征在于，所述基于帧间差图像的帧间编码框架具体包括：

对第n-1帧图像F_n-1进行帧内编码，并进行滤波处理后，获得重构图像

将第n帧图像F_n与所述重构图像相减，获得帧间差图像

以D_n-1′为参考对所述帧间差图像D_n进行帧间预测编码，获得所述帧间差图像D_n的重构图像D_n′；其中，所述D_n-1′为帧间差图像D_n-1的重构图像；

将所述帧间差图像D_n的重构图像D_n′与所述重构图像

相加，获得第n帧图像F_n的初步重构图像

对所述F_n′进行滤波处理，获得第n帧图像F_n的重构图像

6.根据权利要求1所述的方法，其特征在于，所述对视频数据进行帧间编码之前还包括：

根据帧间差图像中背景区域与运动区域灰度值变化的大小，确定编码单元CU的尺寸。

7.根据权利6所述的方法，其特征在于，确定编码单元CU的尺寸之前包括：

将待编码的帧间差图像划分为若干个最大划分单元LCU，其大小为：64×64；

将每一LCU单元划分为16个以4×4方式排列的子块A，每一子块A的大小为：16×16；

将所述16个以4×4排列的LCU单元划分为4等份，每一等份均包含4个以2×2方式排列的子块A；

逐一判断每一等份中4个子块A的亮度绝对差值的均值与阈值的大小，若小于所述阈值，则将所述4个子块A合并为一个子块B，所述子块B的大小为：32×32；

当所述4等分中的子块A均合并为子块B时，则当前LCU单元被划分为4个以2×2方式排列的子块B，判断4个子块B的亮度绝对差值的均值与阈值的大小，若小于所述阈值，则将所述4个子块B合并，获得未被划分的LCU单元。

8.根据权利要求7所述的方法，其特征在于，根据所述LCU单元中子块单元的大小确定编码单元CU的尺寸：

当LCU单元中子块单元为子块A时，编码单元CU的尺寸为：16×16，8×8；

当LCU单元中子块单元为子块B时，编码单元CU的尺寸为：32×32，16×16；

当LCU单元未被划分时，编码单元CU的尺寸为：64×64，32×32。

Images