CN104811729B - 一种视频多参考帧编码方法 - Google Patents
一种视频多参考帧编码方法 Download PDFInfo
- Publication number
- CN104811729B CN104811729B CN201510196594.2A CN201510196594A CN104811729B CN 104811729 B CN104811729 B CN 104811729B CN 201510196594 A CN201510196594 A CN 201510196594A CN 104811729 B CN104811729 B CN 104811729B
- Authority
- CN
- China
- Prior art keywords
- reference frame
- frame
- current
- motion vector
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种视频多参考帧编码方法，包括：确定当前帧类型及参考帧列表，如果当前帧是P帧，设定参考帧列表为前向列表List0；如果是B帧，设定参考帧列表为前向List0和后向List1两个列表；获得当前PU的相邻PU运动矢量差，并预测当前PU的运动矢量差MVDP；根据参考帧列表中的参考帧的存储顺序，依次选择每个参考帧；在所选的参考帧下，通过运动估计和运动补偿获得当前PU的运动矢量差Dc；根据MVDP和Dc，判断是否终止当前参考帧列表中其它参考帧的选择。本发明的多参考帧快速选择算法不改变码流结构，生成的码流可兼容任意标准解码，因此不需要对解码视频的播放客户端做修改，应用方便。
Description
技术领域
本发明涉及一种视频多参考帧编码方法。
背景技术
在过去的几十年里，人们对视频质量的要求越来越高，促进了视频编码技术的飞速发展，因而产生了许多优秀的视频编码标准，每一代视频编码的出现都让视频编码的效率得到质的提升。2013年1月，国际电信联盟ITU正式宣布推出新一代视频编解码标准HEVC(High Efficiency Video Coding)。HEVC提供了比H.264更加灵活、可靠和稳定的视频解决方案，对于相同质量的视频文件，使用HEVC标准编码的文件大小是H.264标准的一半，但是它使用的技术和算法比以往的标准更为复杂，视频压缩过程中需要更多的计算。
视频压缩的目的是为了减少视频中的冗余信息，方便视频更高效地进行存储和传输。视频编码器利用视频图像的空间相关性和时间的连续性来消除冗余信息，从而实现数据压缩的目的。当前视频编码框架仍然延用了H.264的基于残差变换、量化、熵编码的混合编码框架。HEVC采用了超大尺寸的四叉树结构单元，包含了通用的编码单元CU(CodingUnit)与预测单元PU(Prediction Unit)，还有用于Hadamard、DCT的变换单元TU(Transformunit)这3个基本单元。CU是编码的基本单元，它总是正方形的，大小从SCU(8x8)到LCU，CU从最大编码单元LCU(Largest Coding Unit)块开始递归划分，一个块被划分为四个大小相同的子块，通过率失真代价计算确定最终的编码方式。
PU用于表示预测信息的基本单元，它是在CU的基础上进行划分，可以是方形的，也可以不是方形的。为了让分块能更好地与图像中真实物体存在的边界匹配，每一个CU中可以包含一个或多个PU。在帧间、帧内预测编码中，有图1所示的8种帧间PU划分方式，2种帧内预测划分模式。Skip模式也是帧间预测模式中的一种，当残差系数和运动矢量差都为零，需要编码的运动信息只有运动参数及索引，编码残差信息不需要编码时为skip模式。
早期的视频编码标准只支持单个参考图像，从H.263+开始支持多参考帧技术，而H.264/AVC、HEVC标准最多可支持15个参考帧。随着参考帧数目的增加，编码效率也随之提高，但是提高的幅度逐渐减小。因此，为了权衡编码效率与编码复杂度，一般情况下采用4-8个参考帧。HEVC编码中参考帧选择的依据及流程如图2所示。视频图像 根据所处的时间和内容分为I、P、B帧，三者参考关系如图3所示。其中，I帧是帧内预测帧，而P、B帧是帧间预测帧。P帧的参考帧可以是已编码的I帧或P帧，B帧的参考帧可以是已编码的I帧或P帧或B帧。P帧的多参考帧选择如图4所示，对当前帧预测时使用的是已编码的前3帧。在B帧的预测过程中，可能使用到一个或两个参考图像，而这些参考图像可能是前向图像，也可能是后向图像。
在实际编码过程中，需要对列表List0和List1中所有帧做运动估计、运动补偿、变换、量化等计算，最后选择率失真代价最小的参考帧。在很多物体存在遮蔽或周期性运动等情况下，多参考帧技术的引入能够极大地提高预测准确性，从而提高编码效率。但是，由于在运动搜索过程中涉及大量复杂高的率失真代价计算，多参考帧技术使得该过程需要对所有的参考帧做相同的处理，急剧增加了参考帧选择过程中的计算复杂度。为了更好地推进HEVC的应用，在保证视频编码的高效率的前提下，研究多参考帧快速选择算法具有重要意义。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种视频多参考帧编码方法。
为解决上述技术问题，本发明所采用的技术方案是：一种视频多参考帧编码方法，包括以下步骤：
1)确定当前帧类型及参考帧列表，如果当前帧是P帧，设定参考帧列表为前向列表List0；如果是B帧，设定参考帧列表为前向List0和后向List1两个列表；
2)获得当前PU的相邻PU运动矢量差，并预测当前PU的运动矢量差MVDP；
3)根据参考帧列表中的参考帧的存储顺序，依次选择每个参考帧；
4)在所选的参考帧下，通过运动估计和运动补偿获得当前PU的运动矢量差Dc；
5)根据步骤2)和步骤4)得到的MVDP和Dc，判断是否终止当前参考帧列表中其它参考帧的选择，具体的判断方法为：若Dc＜MVDP，则终止当前参考帧列表内其它未被使用过的参考帧的选择，跳至步骤7)；否则，继续执行步骤6)；
6)判断当前参考帧列表内所有参考帧的使用情况，如果所有参考帧都被使用过，则继续执行步骤7)；否则，继续选择当前参考帧列表中的其它参考帧，重复步骤3)～6)；
7)判断当前帧类型及参考帧列表使用的情况，如果当前帧为P帧，则跳至步骤9)；否则，继续执行步骤8)；
8)判断两个列表都是否都被使用过，如果是，则跳至步骤9)；否则，继续参考下一个参考帧列表中的所有参考帧，重复步骤3)～8)；
9)结束多参考帧的选择。
运动矢量差DP的计算过程如下：
1)获得当前PU在空域中上边、左边、左上边的相邻PU的运动矢量差，以及当前PU时域中前一帧已编码帧相同位置块的运动矢量差，并分别标记为Da，Dl，Dla，
2)根据相邻块的运动矢量差预测当前PU的运动矢量差MVDP：
MVDP＝(Da+Dl+Dla+Dco)/N；
其中，N取值为4。
与现有技术相比，本发明所具有的有益效果为：本发明在设计多参考帧快速选择模块时充分利用了运动信息在时域、空域间的强相关性，提前跳过概率较小的参考帧的选择过程，有效地降低了多参考帧选择的计算法复杂度，提高了编码速度，同时又保证了编码效率损失在可接受的范围内。在HEVC参考软件HM上测试结果表明，对HEVC标准测试序列采用本发明的多参考帧快速选择算法可使编码时间平均减少16％左右，编码效率损失控制在0.6％以内；本发明的多参考帧快速选择算法可以通过调节参数、判断条件，控制算法复杂度和编码效率损失，适应不同计算复杂度的应用需求；本发明的多参考帧快速选择算法不改变码流结构，生成的码流可兼容任意标准解码，因此不需要对解码视频的播放客户端做修改，应用方便。
附图说明
图1为帧间、帧内PU划分方式；
图2为HEVC中多参考帧选择流程图；
图3为I、P、B帧参考关系图；
图4为P帧多参考帧图；
图5为本发明方法流程图；
图6为当前PU的时域和空域相邻块示意图。
具体实施方式
经过大量统计实验证实，在参考帧选择的过程中，参考帧列表中距离当前待编码帧 最近的已编码帧被选为最佳参考帧的概率比较高。根据这一现象，本发明提出了一种多参考帧快速决策方法。该方法根据当前PU在当前参考帧下得到的运动矢量差值与其相邻的若干PU运动矢量差之间的关系来确定是否终止当前参考帧所在参考帧列表中下一个参考帧的使用。本发明的方法流程如图5所示。
1)确定当前帧类型及参考帧列表，如果当前帧是P帧，设定参考帧列表为前向列表List0；如果是B帧，设定参考帧列表为前向List0和后向List1两个列表；
2)获得当前PU的相邻PU运动矢量差，并预测当前PU的运动矢量差MVDP，按以下步骤进行：
a)获得当前PU在空域中上边、左边、左上边相邻PU，以及时域中前一帧已编码帧相同位置块的运动矢量差MVDP，并分别标记为Da，Dl，Dla，这些邻块的时域、空域分布如图6所示：
b)根据相邻块的运动矢量差预测当前PU的运动矢量差MVDP，其计算公式如下：
MVDP＝(Da+Dl+Dla+Dco)/N
其中，N为邻块个数，取值为4。
3)根据参考帧列表中的参考帧的存储顺序，依次选择每个参考帧；
4)在所选的参考帧下，通过运动估计和运动补偿获得当前PU的运动矢量差Dc。
5)根据步骤2)和4)得到的MVDP和Dc，判断是否终止当前参考帧列表中其它参考帧的选择。具体的判断方法为：若条件Dc＜MVDP成立，则终止当前参考列表内其它未被使用过的参考帧的选择，跳至执行步骤7)；否则，继续执行步骤6)；
6)判断当前参考帧列表内所有参考帧的使用情况，如果所有参考帧都被使用过，则继续执行步骤7)；否则，参考列表中还有未被参考到的帧，继续选择当前参考帧列表中其它参考帧，重复步骤3)～6)；
7)判断当前帧类型及两个参考帧列表使用的情况，如果当前帧为B帧且两个列表都被使用过，则跳至步骤8)；否则，继续参考下一个参考帧列表中的所有参考帧，重复步骤3)～7)。
8)结束多参考帧的选择。
在HEVC参考软件HM上测试结果表明，对HEVC标准测试序列采用本发明的多参考帧快速选择算法可使编码时间平均减少16％左右，编码效率损失控制在0.6％以内。
Claims (2)
1.一种视频多参考帧编码方法，其特征在于，包括以下步骤：
1)确定当前帧类型及参考帧列表，如果当前帧是P帧，设定参考帧列表为前向列表List0；如果是B帧，设定参考帧列表为前向List0和后向List1两个列表；
2)获得当前PU在空域中上边、左边、左上边的相邻PU的运动矢量差，以及当前PU时域中前一帧已编码帧相同位置块的运动矢量差，并预测当前PU的运动矢量差MVDP；
3)根据参考帧列表中的参考帧的存储顺序，依次选择每个参考帧；
4)在所选的参考帧下，通过运动估计和运动补偿获得当前PU的运动矢量差Dc；
5)根据步骤2)和步骤4)得到的MVDP和Dc，判断是否终止当前参考帧列表中其它参考帧的选择，具体的判断方法为：若Dv＜MVDP，则终止当前参考帧列表内其它未被使用过的参考帧的选择，跳至步骤7)；否则，继续执行步骤6)；
6)判断当前参考帧列表内所有参考帧的使用情况，如果所有参考帧都被使用过，则继续执行步骤7)；否则，继续选择当前参考帧列表中的其它参考帧，重复步骤3)～6)；
7)判断当前帧类型及参考帧列表使用的情况，如果当前帧为P帧，则跳至步骤9)；否则，继续执行步骤8)；
8)判断两个列表都是否都被使用过，如果是，则跳至步骤9)；否则，继续参考下一个参考帧列表中的所有参考帧，重复步骤3)～8)；
9)结束多参考帧的选择。
2.根据权利要求1所述的视频多参考帧编码方法，其特征在于，运动矢量差MVDP的计算过程如下：
1)获得当前PU在空域中上边、左边、左上边的相邻PU的运动矢量差，以及当前PU时域中前一帧已编码帧相同位置块的运动矢量差，并分别标记为Dl，Dle，Dco；
2)根据相邻块的运动矢量差预测当前PU的运动矢量差MVDP：
MVDP＝(Ds+D1+Dle+Dco)/N；
其中，N取值为4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510196594.2A CN104811729B (zh) | 2015-04-23 | 2015-04-23 | 一种视频多参考帧编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510196594.2A CN104811729B (zh) | 2015-04-23 | 2015-04-23 | 一种视频多参考帧编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104811729A CN104811729A (zh) | 2015-07-29 |
| CN104811729B true CN104811729B (zh) | 2017-11-10 |
Family
ID=53696155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510196594.2A Active CN104811729B (zh) | 2015-04-23 | 2015-04-23 | 一种视频多参考帧编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104811729B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106507106B (zh) * | 2016-11-08 | 2018-03-06 | 中国科学技术大学 | 基于参考片的视频帧间预测编码方法 |
| CN109688407B (zh) * | 2017-10-18 | 2020-11-06 | 北京金山云网络技术有限公司 | 编码单元的参考块选择方法、装置、电子设备及存储介质 |
| CN110876059B (zh) * | 2018-09-03 | 2022-06-10 | 华为技术有限公司 | 运动矢量的获取方法、装置、计算机设备及存储介质 |
| WO2020140242A1 (zh) * | 2019-01-03 | 2020-07-09 | 北京大学 | 视频处理方法和装置 |
| CN109714598B (zh) * | 2019-01-31 | 2021-05-14 | 上海国茂数字技术有限公司 | 视频的编码方法、解码方法、处理方法以及视频处理系统 |
| CN110545425B (zh) * | 2019-08-21 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种帧间预测方法、终端设备以及计算机存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827269A (zh) * | 2010-01-15 | 2010-09-08 | 香港应用科技研究院有限公司 | 视频编码方法和装置 |
| WO2012103247A1 (en) * | 2011-01-26 | 2012-08-02 | Qualcomm Incorporated | Sub-slices in video coding |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102883160B (zh) * | 2009-06-26 | 2016-06-29 | 华为技术有限公司 | 视频图像运动信息获取方法、装置及设备、模板构造方法 |
-
2015
- 2015-04-23 CN CN201510196594.2A patent/CN104811729B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827269A (zh) * | 2010-01-15 | 2010-09-08 | 香港应用科技研究院有限公司 | 视频编码方法和装置 |
| WO2012103247A1 (en) * | 2011-01-26 | 2012-08-02 | Qualcomm Incorporated | Sub-slices in video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104811729A (zh) | 2015-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104811729B (zh) | 一种视频多参考帧编码方法 | |
| CN105959688B (zh) | 用于解码高分辨率图像的方法 | |
| CN103248893B (zh) | 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器 | |
| CN103891283B (zh) | 帧内预测的方法和设备 | |
| CN104769947B (zh) | 一种基于p帧的多假设运动补偿编码方法 | |
| CN108781284A (zh) | 具有仿射运动补偿的视频编解码的方法及装置 | |
| CN104038764B (zh) | 一种h.264到h.265的视频转码方法及转码器 | |
| CN104639940B (zh) | 一种快速hevc帧内预测模式选择方法 | |
| CN107087200B (zh) | 针对高效率视频编码标准的跳过编码模式提前判决方法 | |
| CN101569201B (zh) | 基于帧内预测进行编码和解码的方法和装置 | |
| CN105359511A (zh) | 为了自适应位速率流化而利用自适应量化编码多个视频流的系统和方法 | |
| CN105681797B (zh) | 一种基于预测残差的dvc-hevc视频转码方法 | |
| CN104079937B (zh) | 一种基于运动矢量分析的由h.264到hevc的快速帧间转码方法及转码装置 | |
| CN104539970B (zh) | 一种3d‑hevc帧间编码合并模式快速决策方法 | |
| CN107079165A (zh) | 使用预测残差的视频编码方法及装置 | |
| CN106888379B (zh) | 应用于h.264到hevc的帧间快速视频转码方法 | |
| CN106412611B (zh) | 一种高效视频编码的复杂度控制方法 | |
| CN105812797B (zh) | 一种编码单元选择方法及装置 | |
| CN102932642A (zh) | 一种帧间编码快速模式选择方法 | |
| CN108353175A (zh) | 使用系数引起的预测处理视频信号的方法和装置 | |
| CN110351552B (zh) | 视频编码中一种快速编码方法 | |
| CN108769696A (zh) | 一种基于Fisher判别式的DVC-HEVC视频转码方法 | |
| CN104883566B (zh) | 一种适用于hevc标准的帧内预测块大小划分的快速算法 | |
| CN106331700A (zh) | 参考图像编码和解码的方法、编码设备和解码设备 | |
| CN107295336B (zh) | 基于图像相关性的自适应快速编码单元划分方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180521 Address after: 412000 407 D, R & D center of China Power Valley, No. 899, Xianyue Ring Road, Tianyuan District, Zhuzhou, Hunan. Patentee after: HUNAN YUANJIAN VISUAL TECHNOLOGY CO., LTD. Address before: 410000 Hunan Changsha high tech Zone, No. 409, lujiaxhu West Road, 4 yuan 808 Patentee before: Hunan great Mu Information technology Co., Ltd |