CN1287600C - 一种树形块结构及多帧参考的运动估计方法和装置 - Google Patents
一种树形块结构及多帧参考的运动估计方法和装置 Download PDFInfo
- Publication number
- CN1287600C CN1287600C CN 200410043274 CN200410043274A CN1287600C CN 1287600 C CN1287600 C CN 1287600C CN 200410043274 CN200410043274 CN 200410043274 CN 200410043274 A CN200410043274 A CN 200410043274A CN 1287600 C CN1287600 C CN 1287600C
- Authority
- CN
- China
- Prior art keywords
- distortion value
- block
- motion vector
- tree
- sample block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 39
- 238000010586 diagram Methods 0.000 description 12
- 239000013074 reference sample Substances 0.000 description 9
- 230000004087 circulation Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Abstract
本发明涉及视频编码技术领域，提出一种树形块结构及多帧参考的运动估计方法和装置。包括：1)对H.264树形块结构及多帧参考的特征，将16×16的宏块划分为16个4×4样本块；2)计算每一个4×4样本块对应于某一运动矢量的失真值；3)使用4×4块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应运动矢量的失真值；4)通过比较选择最佳匹配的块形状及对应的运动矢量；5)通过可伸缩特性支持并行多帧参考运动估计；6)运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；7)与全搜索相比不损失预测精度。包括：树形结构计算单元和最佳匹配选择单元。
Description
技术领域
本发明涉及视频编码技术领域，特别是一种树形块结构及多帧参考的运动估计方法和装置。
背景技术
随着多媒体技术的飞速发展和广泛应用，各种视频数据得到越来越广泛的应用。由于原始视频数据所需带宽极大，同时又具有很大的冗余性，因此通常通过编码压缩后再存储或传输。视频编码计算复杂度庞大，要求对编码过程采用加速算法。
视频编码从80年代末开始，从MPEG-1、H.261到现在的MPEG-4、H.264已经有很长的研究历史，提出了很多国际标准，但是基本思想仍然是分块压缩和运动估计。由于软件编码速度慢的劣势，在实时性要求高的环境下多采用硬件编码，针对视频编码的特点已提出了很多硬件的优化加速算法。但是H.264树形块结构及多帧参考的运动估计的提出，在提高编码效率的同时，也增大了计算复杂度，在大画面情况下传统的硬件加速算法已不能满足实时性的要求，因此需要提出新的硬件优化加速算法，降低计算复杂度，提高视频编码速度。
发明内容
本发明的目的在于提供一种树形块结构及多帧参考的运动估计方法和装置。
一种H.264树形块结构及多帧参考的运动估计方法和装置，它能通过计算每一个4×4样本块对应于某一运动矢量(MV：Motion Vector)的失真值(Distortion)，然后采用树形结构计算出4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值，通过比较选择最佳匹配的块形状及对应的运动矢量，在不损失精度的前提下减少H.264树形块形状运动估计的计算量，提高运动估计速度，从而提高视频编码速度，并且通过可伸缩特性支持并行多帧参考运动估计。
本发明包括以下特征步骤：
1.对H.264树形块结构及多帧参考的特征，将16×16的宏块划分为16个4×4样本块；如图2所示；
2.计算每一个4×4块对应于某一运动矢量的失真值；
3.使用4×4块的失真值通过树形结构来计算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形状样本块对应于该运动矢量的失真值，由4×4块失真值计算8×4、4×8和8×8形状样本块失真值的树状结构如图6所示，包括锁存Latch0、Latch1、Latch2，4×4块失真值计算单元Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3，8×4块失真值计算单元Block8×4-0、Block8×4-1，4×8块失真值计算单元Block4×8-0、Block4×8-1，8×8块失真值计算单元Block8×8，Latch0、Latch1、Latch2依次相连传递运动矢量MV，Block4×4-0、Block4×4-1输出的失真值输入至Block8×4-0，Block4×4-2、Block4×4-3输出的失真值输入至Block8×4-1，Block4×4-0、Block4×4-2输出的失真值输入至Block4×8-0，Block4×4-1、Block4×4-3输出的失真值输入至Block4×8-1，Block8×4-0、Block8×4-1(或Block4×8-0、Block4×8-1，虚线表示)输出的失真值输入至Block8×8，由8×8块失真值计算16×8、8×16和16×16形状样本块失真值的树状结构如图8所示，与图6类似；
4.通过比较选择最佳匹配的块形状及对应的运动矢量；
5.通过可伸缩特性支持并行多帧参考运动估计；
6.运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；
7.与全搜索相比不损失预测精度。
该装置包括：计算4×4样本块失真值的单元；计算4×4以上形状样本块失真值的树形结构单元；比较各种块形状选择最佳匹配的单元；扩展支持并行多帧参考的单元。在计算样本块失真的单元中同时比较选择本样本块的最佳匹配。
附图说明
图1是运动估计示意图。
图2是H.264中宏块树形结构示意图。
图3是多帧参考示意图。
图4是宏块划分层次示意图。
图5是4×4形状样本块运算单元示意图。
图6是8×8形状样本块树状计算结构示意图。
图7是8×8形状样本块最佳匹配单元示意图。
图8是16×16宏块树状计算结构示意图。
图9是16×16宏块最佳匹配选择单元示意图。
图10是多帧参考运动估计示意图。
图11是运动矢量扫描方式示意图。(a)光栅扫描方式(b)“之”字型方式。
具体实施方式
图1为运动估计示意图。当对大小为N×N的当前样本块做运动估计，搜索范围为R时，以当前样本块左上角的样本坐标为原点，水平向左为X坐标正方向，垂直向下为Y坐标正方向，从(-R，-R)至(N+R，N+R)的范围内选择一个N×N的参考样本最佳匹配块，使得当前样本块与参考样本块之间的失真最小，或者在进行率失真优化的情况下选择编码效率最高的参考样本块。图1中两个粗黑线方块分别为对应运动矢量为(R，R)和(-R，-R)的参考样本块。
图2为H.264中宏块树形结构示意图。如(a)所示，一个16×16的宏块可以采用16×16、16×8、8×16和8×8四种运动估计模式。在16×8、8×16两种模式下每一子块单独进行运动估计。在8×8模式下，如(b)所示，每一子块又可分别采用8×8、8×4、4×8和4×4四种运动估计模式。
图3为多帧参考示意图。n为当前帧，n-1、n-2、n-3、n-4为参考帧。每一16×16的宏块可使用不同的参考帧进行运动估计，并且在一个16×16的宏块中，每一子块也可使用不同的参考帧进行运动估计，但在8×8模式下每一个8×8子块内必须采用相同的参考帧。
由以上说明可以看出，H.264标准中的运动估计十分复杂，若在硬件编码中采用传统的全搜索算法，在只使用单帧参考的情况下，每种块形状搜索一次，需要经过7次循环才能得到最优匹配，也就是计算时间要增加7倍。若使用多帧参考，则计算时间更加成倍增加。但是实际上，4×4以上样本块的失真值可以通过该块包含的4×4样本块的失真值累加得到，在循环中做了大量的重复计算。本发明提出了一种基于树状计算结构的运动估计方法和装置，可以消除重复计算，从而提高编码速度。
本发明的计算过程可分为以下几个步骤：
1.如图4所示，将一个16×16宏块划分为4个8×8样本块，再将每一个8×8样本块分为4个4×4子样本块，从而将一个16×16宏块划分为16个4×4子样本块。
2.如图5所示，对应4×4子样本块的运算单元输入为4×4子块的16个当前样本值Current Pixel、运动矢量MV及对应的16个参考样本值Reference Pixel，输出为当前样本和参考样本间的失真值，以及开始计算以来与对应4×4形状样本块最佳匹配的运动矢量和对应的失真值。
3.如图6所示，使用4个步骤2中描述的运算单元分别对应4个4×4子块，计算得出各4×4子块对应于运动矢量MV的失真值。Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3分别表示一个图5中的4×4形状样本块运算单元，MV输入至锁存Latch0。
4.如图6所示，根据4×4形状样本块的失真值分别计算得出8×4、4×8形状样本块的失真值，Block4×8-0的失真值为Block4×4-00和Block4×4-01失真值之和，其余类似。Latch0中保存的MV输入至锁存Latch1，使其与4×4块运算单元输出的失真值保持同步。在计算8×4、4×8形状样本块的失真值的同时，比较得出开始计算以来与对应样本块最佳匹配的运动矢量和对应的失真值。
5.如图6所示，根据4×8形状样本块(或8×4形状样本块)的失真值计算得出8×8形状样本块的失真值，Latch1中保存的MV输入至锁存Latch2，使其与4×8块运算单元输出的失真值保持同步。在计算8×8形状样本块的失真值的同时，比较得出开始计算以来与对应样本块最佳匹配的运动矢量和对应的失真值。树形结构计算单元由锁存器Latch和块失真值计算单元Block组成，锁存器Latch和块失真值计算单元Block采用流水线分级传递，当前帧图像和参考帧图像信号分别输入到第一级块失真值计算单元Block，MV信号输入到第一级锁存器Latch，每一级块失真值计算单元Block的输出相互组合输入到下一级块失真值计算单元Block，同时MV信号传递到下一级Latch。
6.如图7所示，选择8×8块的最佳匹配。最佳匹配选择单元的输入为图6中4个4×4形状块运算单元输出的最佳匹配、2个4×8形状块输出的最佳匹配、2个8×4形状块输出的最佳匹配和8×8形状块输出的最佳匹配，输出为该8×8块最佳匹配的块形状(4×4、4×8、8×4或8×8)，对应的运动矢量及失真值。
7.如图8所示，在计算8×8形状样本块失真值的基础上，通过与8×8形状样本块树状计算结构类似的计算结构，与步骤4、5类似的计算步骤，计算出8×16、16×8和16×16形状样本块的失真值。Block8×8-0、Block8×8-1、Block8×8-2、Block8×8-3分别表示一组图6中的8×8形状样本块树状计算结构和图7中的8×8形状样本块最佳匹配选择单元。
8.如图9所示，选择16×16宏块的最佳匹配。最佳匹配选择单元的输入为图8中4个8×8最佳匹配选择单元输出的最佳匹配、2个8×16形状块输出的最佳匹配、2个16×8形状块输出的最佳匹配和16×16形状块输出的最佳匹配，输出为该16×16宏块最佳匹配的运动估计模式(8×8、8×16、16×8或16×16)，对应的运动矢量及失真值，以及最佳匹配模式为8×8模式时各8×8子块的块形状及对应运动矢量。
9.如图10所示，以图8中的16×16宏块树状计算结构为基本模块，每一模块对应一个参考帧，对图9中的最佳匹配选择单元进行修改，输入中增加参考帧号，输出增加最佳匹配对应的参考帧号，则得到在多帧参考的情况下宏块的运动估计结果。树形块结构及多帧参考的运动估计装置，由多个树形结构计算单元和最佳匹配选择单元组成，树形结构计算单元连接于最佳匹配选择单元，当前帧和多个参考帧图像信号输入到树形结构计算单元，经过计算处理后输出到最佳匹配选择单元。
选择单元装置是输入块形状、运动矢量和对应的失真值，根据最小失真或率失真优化原则选择最佳运动估计，输出最佳运动估计的块形状、运动矢量和对应失真值的单元装置。
10.如图11所示，为减少对存储带宽的要求，增加数据复用率，运动矢量以光栅扫描方式或“之”字型方式在搜索范围内依次计算。图9(a)为光栅扫描方式，在每一行内从一个运动矢量变化到下一个运动矢量只需更新一列16个参考样本点，但在从一行变换到下一行时需要更新全部256个参考样本点。图9(b)为“之”字型方式，在每一行内与光栅扫描方式相同，在从一行变换到下一行时只需要更新一行16个参考样本点，比光栅扫描方式下的数据复用率高，相应的控制也更加复杂。
本发明适用于H.264及其它采用树形块结构及多帧参考运动估计的视频编码设计。
Claims (3)
1.一种H.264树形块结构及多帧参考的运动估计方法，它能通过计算每一个4×4样本块对应于某一运动矢量的失真值，然后采用树形结构计算出4×4以上8×4、4×8、8×8、16×8、8×16和16×16形状样本块对应于该运动矢量的失真值，通过可伸缩特性支持并行多帧参考运动估计，与全搜索相比不损失预测精度，本发明包括以下特征：
1)针对H.264树形块结构及多帧参考的特征，将16×16的宏块划分为16个4×4样本块；
2)计算每一个4×4样本块对应于某一运动矢量的失真值；
3)使用4×4块的失真值通过树形结构来计算4×4以上8×4、4×8、8×8、16×8、8×16和16×16形状样本块对应于该运动矢量的失真值；
4)通过比较选择最佳匹配的块形状及对应的运动矢量；
5)通过可伸缩特性支持并行多帧参考运动估计；
6)运动矢量在搜索范围内以光栅扫描或“之”字型扫描依次计算；
7)与全搜索相比不损失预测精度；
8)消除重复计算，一次计算得到结果。
2.根据权利要求1所述的运动估计方法设计的树形块结构及多帧参考的运动估计装置，包括：若干个计算4×4以及4×4以上形状样本块失真值的树形结构计算单元；比较各种参考帧和块形状选择最佳匹配的选择单元，树形结构计算单元的数目可调整，每一树形结构计算单元对应一个参考帧，通过并行多个树形结构计算单元可实现多帧参考的并行计算，并且可伸缩设计实现参考帧数量的调整，最佳匹配选择单元，输入参考帧、块形状、运动矢量和对应的失真值，根据最小失真或率失真优化原则选择最佳运动估计，输出最佳运动估计的参考帧、块形状、运动矢量和对应失真值。
3.根据权利要求2所述的树形块结构及多帧参考的运动估计装置，其特征在于，树形结构计算单元由锁存器Latch和块失真值计算单元Block组成，锁存器Latch和块失真值计算单元Block采用流水线分级传递，当前帧和参考帧信号分别输入到第一级块失真值计算单元Block，运动矢量MV信号输入到第一级锁存器Latch，第一级块失真值计算单元Block计算4×4形状样本块对应于运动矢量MV的失真值，每一级块失真值计算单元Block的输出相互组合输入到下一级块失真值计算单元Block，同时运动矢量MV信号传递到下一级Latch与失真值保持同步，失真值计算单元Block同时比较选择本形状样本块的最佳匹配运动矢量和对应失真值传递到最佳匹配选择单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410043274 CN1287600C (zh) | 2004-05-17 | 2004-05-17 | 一种树形块结构及多帧参考的运动估计方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200410043274 CN1287600C (zh) | 2004-05-17 | 2004-05-17 | 一种树形块结构及多帧参考的运动估计方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1581978A CN1581978A (zh) | 2005-02-16 |
| CN1287600C true CN1287600C (zh) | 2006-11-29 |
Family
ID=34582181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200410043274 Expired - Lifetime CN1287600C (zh) | 2004-05-17 | 2004-05-17 | 一种树形块结构及多帧参考的运动估计方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1287600C (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100531405C (zh) * | 2005-12-31 | 2009-08-19 | 中国科学院计算技术研究所 | 体育视频目标跟踪方法 |
| CN100558166C (zh) * | 2006-09-04 | 2009-11-04 | 中国科学院计算技术研究所 | 一种图形终端界面的编码和解码方法 |
| CN101625753B (zh) * | 2008-07-10 | 2012-11-21 | 辉达公司 | 图形处理中的光栅及光栅化方法 |
| CN101674487B (zh) * | 2008-09-10 | 2011-11-23 | 中兴通讯股份有限公司 | 视频编码方法和装置 |
-
2004
- 2004-05-17 CN CN 200410043274 patent/CN1287600C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1581978A (zh) | 2005-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Neural network-based arithmetic coding of intra prediction modes in HEVC | |
| CN111654698B (zh) | 一种针对h.266/vvc的快速cu分区决策方法 | |
| CN103517069A (zh) | 一种基于纹理分析的hevc帧内预测快速模式选择方法 | |
| CN110087087A (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
| CN108495135A (zh) | 一种屏幕内容视频编码的快速编码方法 | |
| CN109886391B (zh) | 一种基于空间正反对角卷积的神经网络压缩方法 | |
| CN1275469C (zh) | 一种复杂度可分级的帧内预测方法 | |
| CN107087171A (zh) | Hevc整像素运动估计方法及装置 | |
| CN1777289A (zh) | 利用选择性预测加快运动估计的方法 | |
| CN108596943A (zh) | 一种基于混沌差分进化粒子群的运动估计算法 | |
| CN1688164A (zh) | 基于对象边缘的形状快速运动估值的方法 | |
| CN1287600C (zh) | 一种树形块结构及多帧参考的运动估计方法和装置 | |
| CN1604650A (zh) | 用于分级运动估计的方法 | |
| CN115941943A (zh) | 一种hevc视频编码方法 | |
| CN113038125B (zh) | 帧内预测模式选择方法、装置、设备及存储介质 | |
| CN1946178A (zh) | 一种用于运动估计的vlsi装置及运动估计的方法 | |
| CN100474932C (zh) | 基于最佳预测模式概率的视频帧内图像快速编码方法 | |
| CN1317898C (zh) | 一种视频编解码过程中进行运动估计搜索计算的方法 | |
| CN1941912A (zh) | 影像传输系统及于影像传输过程中分析变动区块的方法 | |
| CN1585487A (zh) | 一种运动矢量预测的方法 | |
| CN110971896B (zh) | 一种h.265编码方法和装置 | |
| CN1263309C (zh) | 用于视频编码的运动矢量预测方法 | |
| CN1201589C (zh) | 运动估计方法和装置 | |
| CN114257819A (zh) | 基于时空深度信息的vcc编码单元快速划分方法 | |
| CN108012151B (zh) | 一种基于贝叶斯分类的自适应运动矢量精度快速选择方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: HUAWEI TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: INSTITUTE OF COMPUTING TECHNOLOGY, CHINESE ACADEMY OF SCIENCES Effective date: 20140212 |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100080 HAIDIAN, BEIJING TO: 518129 SHENZHEN, GUANGDONG PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20140212 Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee after: HUAWEI TECHNOLOGIES Co.,Ltd. Address before: 100080 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing Patentee before: Institute of Computing Technology, Chinese Academy of Sciences |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210430 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |