CN103002284A - 一种基于场景模型自适应更新的视频编解码方法 - Google Patents

Abstract

本发明提出了一种基于场景模型自适应更新的视频编解码方法。该方法首先计算出场景图像更新前若干帧，场景图像更新后若干帧，以及场景图像之间的码流大小关系，并以此作为依据来判断在当前位置上是否需要更新场景。然后，对于更新的场景，可以使用已编码的场景图像对其进行预测编码，从而减小场景更新代价。以动态自适用更新的场景为基础，输入的待编码图像可以选择性适用若干场景图像或普通参考图像作为参考图像进行预测编码。对应的，在解码过程中，首先解码场景更新标识，然后根据解码出的场景更新标识对场景图像进行解码，再根据解码出来的场景图像，对视频图像进行解码。

Description

一种基于场景模型自适应更新的视频编解码方法

技术领域

本发明涉及一种基于场景模型自适应更新的视频编解码方法，尤其涉及基于视频序列的码流大小信息，动态自适应的更新场景图像，进而使用更新场景图像完成更高效的预测编解码。属于数字媒体处理技术领域中的视频编解码技术。 

背景技术

视频编码技术是数字视频处理的关键技术，针对未压缩或已压缩视频文件，通过高性能、快速的编码算法，可以将较大的视频文件压缩为占用空间更小的二进制文件。目前，视频编码技术已经在许多领域都得到了广泛的应用，并经历着日新月异的高速发展。 

视频编解码性能的评测由压缩视频的质量和压缩视频的码率决定。压缩视频的质量分为主观评测和客观评测，码率客观的决定了视频压缩后的大小，因此视频编解码的目的是在视频质量不降低的基础上降低码率，或是在码率不升高的基础上提高视频质量。因此在视频编解码领域，一般用率失真曲线表示编码方法的编解码性能。率失真优化可以以图像为单位进行，降低视频中一些图像的率失真代价，同时不影响其他图像的编码性能，可以提高整体的编码性能。 

最近发展的视频编码技术证明，基于视频内容的场景建模编码技术， 相比不利用视频场景信息的一般的编码算法，可以实现较大的性能增益。针对视频场景特性，基于解码重建图像进行训练得到场景图像用于预测编码（黄铁军，张贤国，梁路宏，黄倩，高文.一种基于场景建模的静态摄像机视频压缩方法与系统.专利申请号201010034117.3）,该方法可以获得较高的性能提升，相比一般的编转码方式可以节省一半以上的码率。 

虽然基于视频内容的场景建模编转码技术可以获得较高的性能提升，但是目前基于该方法的编码方法均是采用固定帧数更新场景的方法。如果场景图像更新得太频繁，会导致场景图像过多的编入码流，从而会使编码码流变大；相反，如果场景图像长期才更新一次，会降低场景帧的参考价值。因此，利用码流大小关系，自适应动态更新场景很好地解决了以上问题。 

发明内容

本发明提出了一种基于场景模型自适应更新的视频编解码方法。该方法首先计算出场景图像更新前若干帧，场景图像更新后若干帧，以及场景图像之间的码流大小关系，并以此作为依据来判断在当前位置上是否需要更新场景。然后，对于更新的场景，可以使用已编码的场景图像对其进行预测编码，从而减小场景更新代价。以动态自适用更新的场景为基础，输入的待编码图像可以选择性适用若干场景图像或普通参考图像作为参考图像进行预测编码。对应的，在解码过程中，首先解码场景更新标识，然后根据解码出的场景更新标识对场景图像进行解码，再根据解码出来的场景图像，对视频图像进行解码。 

以上述算法思想为基础，本发明提出了一种基于场景模型自适应更新 的视频编解码方法，其特征在于使用自适应场景更新算法更新若干场景图像，并使用这些场景图像对视频图像进行编解码。 

根据本发明的其中一发明目的，其中提供一种基于场景模型自适应更新的视频编解码方法，包括如下步骤： 

首先计算出场景图像更新前若干帧，场景图像更新后若干帧，以及场景图像之间的码流大小关系； 

依据上述条件来判断在当前位置上是否需要更新场景； 

对于需要更新的场景，使用已编码的场景图像对其进行预测编码，从而减小场景更新代价； 

以动态自适用更新的场景为基础，输入的待编码图像可以选择性适用若干场景图像或普通参考图像作为参考图像进行预测编码； 

对应的，在解码过程中，首先解码场景更新标识，然后根据解码出的场景更新标识对场景图像进行解码，再根据解码出来的场景图像，对视频图像进行解码。 

根据本发明的又一发明目的，其中提供一种基于场景模型自适应更新的视频编解码方法，包括下列步骤： 

场景图像训练步骤：以若干已编码的重建图像为训练集，使用场景模型生成算法获得场景图像； 

场景图像编码步骤：采用传统的图像编码技术对场景图像进行编码； 

场景更新决策步骤：在场景图像编码之后，根据场景图像更新前若干帧；更新后若干帧，以及场景图像之间的码流大小关系判定是否需要更新当前场景； 

视频图像编码步骤：在编码更新之后的视频图像时，在最近更新的场景和之前的更新场景中选择较好的图像，和普通参考图像一起作为当前编码图像的预测参考。 

根据本发明进一步的发明目的，其中还在于场景图像编码步骤中，场景图像可以使用的编码方式包括： 

直接编码：采用传统的帧内预测编码方法编码该场景； 

或者场景图像预测编码：使用已编码场景图像做预测参考，编码该更新场景帧； 

如果编码方式可选，则需要将所采用的编码方式标志位编入码流。 

根据本发明进一步的发明目的，其中还在于场景图像预测编码包括以下步骤： 

宏块类别划分步骤：利用前一帧场景图像为参考，将当前需要更新的场景图像划分为不变宏块和变化宏块； 

基于分类宏块的高效编码：对于已划分类型的宏块，采取不同的编码方法，在保证编码质量的同时节省场景图像码率。 

根据本发明进一步的发明目的，其中还在于场景图像编码步骤中所包含的宏块类别划分步骤中，宏块划分方法包括： 

基于像素点分布的划分方法：对于每个宏块，比较该宏块与前一场景图像对应位置的宏块发生了像素值变化的像素点个数和分布，如果该个数大于设定阈值或者分布较为集中，则划分该宏块为变化宏块，否则划分该宏块为不变宏块； 

基于像素值差异的划分方法：对于每个宏块，比较该宏块与前一场景图像对应位置的宏块发生的像素值差异的累积结果，如果累计结果大于阈 值，则划分该宏块为变化宏块，否则划分该宏块为不变宏块。 

根据本发明进一步的发明目的，其中还在于场景图像编码步骤中所包含的基于分类宏块的高效编码步骤中，对变化宏块和不变宏块采用不同的编码方式： 

对于变化宏块，使用所有编码模式； 

对于不变宏块，只采用SKIP模式编码。 

根据本发明进一步的发明目的，其中还在于场景更新决策步骤中，当插入一帧场景图像之后，记录该场景图像的码流大小，并从该图像下一帧开始对码流大小进行累加计，比较累加值与场景图像的码流大小的比值与阈值的大小关系，如果大于阈值，则更新场景图像。 

根据本发明进一步的发明目的，其中还在于场景更新决策步骤中使用的阈值的计算方法包括： 

基于码流大小的更新：根据场景图像前N帧平均码流大小、场景图像后N帧平均码流大小和量化参数计算出阈值。 

根据本发明进一步的发明目的，其中还在于视频图像编码步骤中，对不同的参考图像进行择优选择的方法包括： 

场景择优选择方法：在编码普通图像时，要把更新之后的场景图像与更新前的场景图像、以及初始的场景图像作比较，使用相对于该普通图像具有最优参考价值的图像作为场景参考图像完成场景预测； 

参考帧数增加方法：增加若干场景图像作为每一个普通图像的预测单元可选的参考图像，在编码该普通图像时，每个预测单元会根据预测残差的代价函数决定选择哪个参考图像。 

根据本发明进一步的发明目的，其中还在于场景择优选择方法中包括以下步骤： 

计算与对应宏块的差别：计算当前帧的每个宏块与前一帧、初始场景帧和更新之后场景帧的对应宏块的像素值差值绝对值之和，分别记为d1、d2和d 3； 

计算与场景图像的差别：对于当前帧的每个宏块，取d1与d2的较小值进行累加得到SAD1，按照同样方法取d1与d3的较小值进行累加得到SAD2； 

比较并选择更优场景：比较SAD1与SAD2的值，若SAD1值比较小则选择初始场景图像，反之则选择更新之后的场景图像。 

根据本发明进一步的发明目的，其中在于它的解码过程主要包括以下步骤： 

场景更新标识解码：解码写入码流中的场景更新标识位，根据标志位判断场景图像使用的直接编码方法还是场景图像预测编码； 

场景图像解码：根据解码的场景更新标识，对场景图像进行解码； 

视频图像解码：根据解码出的场景图像，对视频图像进行解码。 

根据本发明进一步的发明目的，其中还在于它的场景解码过程中，如果根据标识位得到该场景图像是直接编码的，则使用传统的帧内预测解码方法解码该场景图像；如果根据标识位得到该场景图像是场景图像预测编码的，则以前一帧场景图像作为参考，解码当前场景图像。 

本局本发明的又一发明目的，其中还提供一种基于场景模型自适应更新的视频编解码设备，包括下列步骤： 

场景图像训练装置：以若干已编码的重建图像为训练集，使用场景模型生成算法获得场景图像； 

场景图像编码装置：采用传统的图像编码技术对场景图像进行编码； 

场景更新决策装置：在场景图像编码之后，根据场景图像更新前若干帧；更新后若干帧，以及场景图像之间的码流大小关系判定是否需要更新当前场景； 

视频图像编码装置：在编码更新之后的视频图像时，在最近更新的场景和之前的更新场景中选择较好的图像，和普通参考图像一起作为当前编码图像的预测参考。 

附图说明

图1是本发明提出的自适应场景更新方法的算法框架图； 

图2是本发明提出的编转码方法的实施步骤流程图； 

图3是本发明提出的场景更新决策步骤的实施流程图； 

图4是本发明提出的更新场景编码步骤的实施流程图; 

图5是本发明的场景择优选择模块的具体实施方法概括的框架图。 

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

本发明提出了一种基于码流比值大小的自适应场景更新方法，算法框架如图1所示，参照图1，它主要包括场景建模模块、初始场景编码模块、更新场景编码模块、场景更新决策模块，场景择优选择模块和帧编码模块等六个主要部分。 

其中，场景建模模块的主要功能是利用解码出来的视频重建帧，使用低复杂度的场景建模算法生成场景图像。 

初始场景编码模块的主要功能是编码初始场景帧，由于初始场景帧会被后续的许多场景帧参考，因此为保证该场景帧的图像质量，该模块采用传统的I帧编码方式进行编码。 

场景更新决策模块的主要功能是判定在当前帧位置是否需要插入一 帧场景帧，传统的场景更新方法都是间隔一定帧之后插入一帧场景，也就是说在编码视频文件之前就已经确定在什么位置更新场景，例如如果采用900帧更新一次的机制，就可以确定场景帧的更新位置为第900帧、第1800帧等。这种方法显然是不好的，它没有充分利用视频自身的特点，对所有的视频都是采用一样的更新策略。如果视频中场景的变化很频繁，900帧更新一次显然是不及时的，这样会导致场景的参考效果不够理想。相反，如果视频的场景的变化很少，但依然采取900帧更新一次的机制就会使码流总大小变得很大，因为这种情况下场景实际上是可以不用更新的。因此，该模块的提出就是为了解决上述问题。 

场景择优选择模块的主要功能是在更新的场景和初始场景中选择一个较好的场景帧为当前编码帧提供编码参考。一般情况下，根据视频的时间相关性，越靠近编码帧的场景参考效果越好，但是这是针对于大多数情况，并不能确保每一帧都是如此。因此为了在最大程度上提高编码的性能，使用场景择优选择模块来解决这一问题，具体实施方案后面有详细陈述。 

帧编码模块的主要功能就是采用传统编码器的编码方法编码每一帧。 

参照图3，场景更新决策模块中，包含码流比值计算和阈值计算步骤，码流的比值计算公式如下所示： 

${\mathrm{\δ}}_k=\left(\underset{i=t+1}{\overset{k}{\mathrm{\Σ}}}R\left(I_i\right)\right)/R\left(I_t\right),\mathrm{where}{I}_t=\mathrm{Bg};$

其中，δk表示在第k帧位置的比值因子，R(A)表示对于任意一帧输入图像A的编码码流大小，Bg表示当前场景帧。该公式表示的意义是从场景帧的下一帧开始计算起到当前位置的所有帧的编码码流大小之和与场景帧的编码码流大小的比值。从该公式可以看出，在编码一个序列时，每一个更新的时刻唯一对应于一个比值因子δ的值。 

阈值的具体计算方法如以下公式所示： 

$\mathrm{Th}=({(\frac{\mathrm{\α}}{\mathrm{QP}}-\mathrm{\β})}^2+\mathrm{\γ})\×\frac{F}{B}.;$

其中QP代表编码当前序列使用的量化参数QP的值，F表示插入场景帧前若干N帧的编码码流平均值，B表示插入场景帧后若干N帧的编码码流平均值，α是设定的可调参数值。 

根据上述计算的两个值，对每一帧图像都可以比较δk和Th的值，如果δk大于Th，则在当前位置更新场景。 

参照图4，需要更新的场景帧的编码方法包含宏块类别划分和基于分类宏块的高效编码方法，宏块类别划分的具体实施步骤如下： 

$\mathrm{\&Psi;}(i,j)=\left\{\begin{array}{cc}1,& \underset{k=1}{\overset{256}{\mathrm{\&Sigma;}}}\left(\mathrm{sgn}\left(\right|C_{i,j}\left(k\right)-{\mathrm{BG}}_{i,j}\left(k\right)|-\mathrm{\&eta;})\right)>\mathrm{\&epsiv;}\\ 0,& \underset{k=1}{\overset{256}{\mathrm{\&Sigma;}}}\left(\mathrm{sgn}\left(\right|C_{i,j}\left(k\right)-{\mathrm{BG}}_{i,j}\left(k\right)|-\mathrm{\&eta;})\right)<=\mathrm{\&epsiv;}\end{array}\right.$

在以上公式中，Ci,j(k)和BGi,j(k)分别表示当前场景帧和前一帧场景帧中位置为（i,j）的像素点的像素值，k表示一个宏块中第k个位置的像素点，η表示用来判定像素值是否变化的阈值。在计算完以上值之后，计数一个宏块中发生了变化的像素点的个数为t，如果t大于阈值ε，标记当前宏块为变化了的宏块，否则标记当前宏块为不变宏块。 

在完成了宏块类型的划分工作之后，下一步是基于分类宏块的高效编码方法。对于变化宏块，为保证编码质量，打开所有编码模式；而对于不变宏块，由于前一帧中该宏块已高效编码，为节省码率，该帧可以只采用SKIP模式编码，这种方法在节省了编码码率的同时也保证了编码图像的质量。该方法可概括为以下表达式： 

$\mathrm{MODE}=\left\{\begin{array}{cc}\mathrm{SKIP}& \mathrm{if}(\mathrm{MB}=\mathrm{unchangedMB})\\ \mathrm{ALL}& \mathrm{Otherwise}\end{array}\right.$

场景择优选择模块的具体实施方法可以概括为图5的框架图。 

该方法分为三个步骤，首先计算当前帧的每个宏块与前一帧、初始场景帧和更新之后场景帧的对应宏块的像素值差值绝对值之和，分别记为d1、d2和d3；然后对于当前帧的每个宏块，取d1与d2的较小值进行累加得到SAD1，按照同样方法取d1与d3的较小值进行累加得到SAD2；最后，比较SAD1与SAD2的值，若SAD1值比较小则说明初始场景帧的参考效果较好，反之则说明更新之后的场景帧的参考效果较好。 

下面举一个实例来说明本发明一种基于码流比值大小的自适应场景更新方法可能的一种实现方式。 

设定输入数据为由YUV4:2:0格式编码的位流，所用的场景建模方法为均值法。该实例的实现平台为JM17.2，基本的配置参数如表1所示。要评价一个场景更新的算法是否有效，需要用长序列进行测试，因此在该实例中，用来测试的序列均大于2500帧，视频序列的格式包含CIF和SD。 测试结果如表2所示。 

表1：配置参数 

从表2可以得出，与H.264/AVC baseline、固定帧更新场景算法和McFIS算法相比，对于cif序列，该实例分别节省了49.51%、19.09%和22.67%的码率；对于SD序列，该实例分别节省了53.85%、13.5%和17.72%的码率。由此得出本实例所提出的方法对编码性能有一定提高。 

表2：测试结果 

以上对本发明所提供的一种基于码流比值大小的自适应场景更新方法进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。 

本发明并非仅限于在此明确描述的实施例。虽然先前的描述和附图描述了本发明的优选实施例，但是可以理解：在不脱离本发明的精神的情况下，在此可以产生各种附加、修改和替换。本领域普通技术人员很清楚：在不脱离本发明的精神或本质特性的情况下，可以以其他特殊形式、结构、布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到：本发明可以使用发明实际中使用的结构、布置、比例、 材料以及部件和其他的许多修改，这些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此，当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。 

Claims (13)

1.一种基于场景模型自适应更新的视频编解码方法，包括如下步骤：

首先计算出场景图像更新前若干帧，场景图像更新后若干帧，以及场景图像之间的码流大小关系；

依据上述条件来判断在当前位置上是否需要更新场景；

对于需要更新的场景，使用已编码的场景图像对其进行预测编码，从而减小场景更新代价；

以动态自适用更新的场景为基础，输入的待编码图像可以选择性适用若干场景图像或普通参考图像作为参考图像进行预测编码；

对应的，在解码过程中，首先解码场景更新标识，然后根据解码出的场景更新标识对场景图像进行解码，再根据解码出来的场景图像，对视频图像进行解码。

2.一种基于场景模型自适应更新的视频编解码方法，包括下列步骤：

场景图像训练步骤：以若干已编码的重建图像为训练集，使用场景模型生成算法获得场景图像；

场景图像编码步骤：采用传统的图像编码技术对场景图像进行编码；

场景更新决策步骤：在场景图像编码之后，根据场景图像更新前若干帧；更新后若干帧，以及场景图像之间的码流大小关系判定是否需要更新当前场景；

视频图像编码步骤：在编码更新之后的视频图像时，在最近更新的场景和之前的更新场景中选择较好的图像，和普通参考图像一起作为当前编码图像的预测参考。

3.如权利要求2所述的基于场景模型自适应更新的视频编解码方法，其特征还在于场景图像编码步骤中，场景图像可以使用的编码方式包括：

直接编码：采用传统的帧内预测编码方法编码该场景；

或者场景图像预测编码：使用已编码场景图像做预测参考，编码该更新场景帧；

如果编码方式可选，则需要将所采用的编码方式标志位编入码流。

4.如权利要求3所述的基于场景模型自适应更新的视频编解码方法，其特征还在于场景图像预测编码包括以下步骤：

宏块类别划分步骤：利用前一帧场景图像为参考，将当前需要更新的场景图像划分为不变宏块和变化宏块；

基于分类宏块的高效编码：对于已划分类型的宏块，采取不同的编码方法，在保证编码质量的同时节省场景图像码率。

5.如权利要求4所述的基于场景模型自适应更新的视频编解码方法，其特征还在于场景图像编码步骤中所包含的宏块类别划分步骤中，宏块划分方法包括：

基于像素点分布的划分方法：对于每个宏块，比较该宏块与前一场景图像对应位置的宏块发生了像素值变化的像素点个数和分布，如果该个数大于设定阈值或者分布较为集中，则划分该宏块为变化宏块，否则划分该宏块为不变宏块；

基于像素值差异的划分方法：对于每个宏块，比较该宏块与前一场景图像对应位置的宏块发生的像素值差异的累积结果，如果累计结果大于阈值，则划分该宏块为变化宏块，否则划分该宏块为不变宏块。

6.如权利要求4所述的基于场景模型自适应更新的视频编解码方法,其特征还在于场景图像编码步骤中所包含的基于分类宏块的高效编码步骤中，对变化宏块和不变宏块采用不同的编码方式：

对于变化宏块，使用所有编码模式；

对于不变宏块，只采用SKIP模式编码。

7.如权利要求2所述的基于场景模型自适应更新的视频编解码方法的编码过程，其特征还在于场景更新决策步骤中，当插入一帧场景图像之后，记录该场景图像的码流大小，并从该图像下一帧开始对码流大小进行累加计，比较累加值与场景图像的码流大小的比值与阈值的大小关系，如果大于阈值，则更新场景图像。

8.如权利要求2所述的基于场景模型自适应更新的视频编解码方法的编码过程，其特征还在于场景更新决策步骤中使用的阈值的计算方法包括：

基于码流大小的更新：根据场景图像前N帧平均码流大小、场景图像后N帧平均码流大小和量化参数计算出阈值。

9.如权利要求2所述的基于场景模型自适应更新的视频编解码方法的编码过程，其特征还在于视频图像编码步骤中，对不同的参考图像进行择优选择的方法包括：

场景择优选择方法：在编码普通图像时，要把更新之后的场景图像与更新前的场景图像、以及初始的场景图像作比较，使用相对于该普通图像具有最优参考价值的图像作为场景参考图像完成场景预测；

参考帧数增加方法：增加若干场景图像作为每一个普通图像的预测单元可选的参考图像，在编码该普通图像时，每个预测单元会根据预测残差的代价函数决定选择哪个参考图像。

10.如权利要求9所述的基于场景模型自适应更新的视频编解码方法的编码过程，其特征还在于场景择优选择方法中包括以下步骤：

计算与对应宏块的差别：计算当前帧的每个宏块与前一帧、初始场景帧和更新之后场景帧的对应宏块的像素值差值绝对值之和，分别记为d1、d2和d3；

计算与场景图像的差别：对于当前帧的每个宏块，取d1与d2的较小值进行累加得到SAD1，按照同样方法取d1与d3的较小值进行累加得到SAD2；

比较并选择更优场景：比较SAD1与SAD2的值，若SAD1值比较小则选择初始场景图像，反之则选择更新之后的场景图像。

11.如权利要求2所述的基于场景模型自适应更新的视频编解码方法，其特征还在于它的解码过程主要包括以下步骤：

场景更新标识解码：解码写入码流中的场景更新标识位，根据标志位判断场景图像使用的直接编码方法还是场景图像预测编码；

场景图像解码：根据解码的场景更新标识，对场景图像进行解码；

视频图像解码：根据解码出的场景图像，对视频图像进行解码。

12.如权利要求2所述的基于场景模型自适应更新的视频编解码方法，其特征还在于它的场景解码过程中，如果根据标识位得到该场景图像是直接编码的，则使用传统的帧内预测解码方法解码该场景图像；如果根据标识位得到该场景图像是场景图像预测编码的，则以前一帧场景图像作为参考，解码当前场景图像。

13.一种基于场景模型自适应更新的视频编解码设备，包括下列步骤：

场景图像训练装置：以若干已编码的重建图像为训练集，使用场景模型生成算法获得场景图像；

场景图像编码装置：采用传统的图像编码技术对场景图像进行编码；

场景更新决策装置：在场景图像编码之后，根据场景图像更新前若干帧；更新后若干帧，以及场景图像之间的码流大小关系判定是否需要更新当前场景；

视频图像编码装置：在编码更新之后的视频图像时，在最近更新的场景和之前的更新场景中选择较好的图像，和普通参考图像一起作为当前编码图像的预测参考。

Images