CN102196255B - 一种视频编码复杂度控制模型的形成方法 - Google Patents
一种视频编码复杂度控制模型的形成方法 Download PDFInfo
- Publication number
- CN102196255B CN102196255B CN201010122609.8A CN201010122609A CN102196255B CN 102196255 B CN102196255 B CN 102196255B CN 201010122609 A CN201010122609 A CN 201010122609A CN 102196255 B CN102196255 B CN 102196255B
- Authority
- CN
- China
- Prior art keywords
- complexity
- group
- patterns
- control model
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010845 search algorithm Methods 0.000 description 10
- 229910003460 diamond Inorganic materials 0.000 description 8
- 239000010432 diamond Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种视频编码复杂度控制模型的形成方法，包括如下步骤：输入宏块数据；对宏块数据进行帧内预测和帧间预测，对帧间预测的每组预测模式进行整象素运动估计和亚象素运动估计，在不同模式下进行交叉分组测试，得到每一分组的时间计算复杂度和编码效率；在同等计算复杂度条件下，保留编码效率最高的组，剔除其余组；计算归一化后的计算复杂度实际值，将该值由低到高进行排列并编号，生成C-R-D表；根据此数据拟合曲线，由此可得到控制模型的重要参数，从而完成视频编码复杂度控制模型的建立。根据本发明可使视频编码复杂度与当前电源供电状态达到匹配，在电源供电不足、必须降低视频编码复杂度时仍可保证获得最佳的重建视频质量。
Description
技术领域
本发明涉及视频处理领域，具体而言，本发明涉及一种视频编码复杂度控制模型的形成方法。
背景技术
视频具有直观生动、内容丰富等显著特点，是人类最重要的信息载体之一。随着信息技术的快速发展，无线多媒体通信、数字电视等各种视频应用对视频分辨率等要求越来越高，相应地，所获取的视频数据量也急剧增加，远远超过信道带宽和存储容量的增长速度。因此，视频编码技术已成为信息技术领域的重点研究课题，受到学术界和产业界的广泛关注。
视频领域的两大国际组织ISO-MPEG与ITU已经相继推出了一系列视频压缩标准如MPEG-1、MPEG-2和MPEG-4以及H.261、H.263、H.263+、H.264/AVC等，这些标准不断地提高了视频编码效率。最新的视频编码标准H.264/AVC是联合视频组JVT制定的，于2003年3月正式成为国际标准。H.264/AVC采用了一系列新技术，如整数块变换、块大小自适应的整象素/亚象素运动估计、多参考帧、基于率失真理论的模式选择、改进的循环滤波以及高效率的熵编码等，这些技术使得H.264/AVC标准能在恢复图像质量相同的前提下比H.263或MPEG-4节约大约40％～50％的码流量，或者在编码位率相同的情况下重建图像质量平均有2dB提高。
H.264是当前编码效率最高的视频编码标准，在相同的重建图像质量下，H.264比H.263+和MPEG-4减少了约50％的码率。但H.264编码效率的提高是以增加计算复杂度为代价而获得的，其编码的计算复杂度大约相当于H.263的3倍，解码复杂度大约相当于H.263的2倍。如此高的复杂度使得H.264难以使用在计算资源有限、实时性要求高的应用系统中。因此如何在不牺牲H.264的编码效率的前提下，降低其复杂度使其达到实用化的程度，成为目前重要的研究方向。
H.264/AVC采用的视频压缩技术包括：多模式帧内预测、多尺寸块运动估计、整象素与亚象素运动估计、多参考帧等。这些新技术的采用使得H.264/AVC编码器的计算复杂度急剧升高，超出了现有硬件平台的计算能力，高计算复杂度同时也意味着高功耗。然而在嵌入式应用特别是手持或移动式设备环境下，处理器不仅受处理能力限制，还常常受到电池供电能力限制，这些应用不能支持长时间的高功耗。在设计此类应用环境下的视频编码器时，不仅要考虑电池电量充足时的工作状态，还必须要考虑在电量不足，只有满载50％甚至30％时的系统工作状态。供电能力不足时，自然无法再继续保证视频编码器在传统的R-D性能上的最优，需要建立新的模型，以保证编码器的C-R-D性能达到最优。
通过对H.264/AVC编码器的详细测试，结果发现运动估计和运动补偿模块是最为耗时的部分，约占全部复杂度的70％，因此，控制视频编码器的复杂度，运动估计与运动补偿模块是无法回避的重点。事实上，运动估计与运动补偿模块的复杂度有多个参数决定，具体来说，就是所采用的整象素运动估计算法、亚象素运动估计算法、采用的参考帧数目以及运动补偿采用的块种类，即运动补偿块模式。
在当前的H.264/AVC编码器中，对于上述提到的几个环节，多数都实现了多种不同的算法，这同时也意味着当前的H.264/AVC编码器复杂度具有很大的伸缩性。这些不同算法的组合决定了编码器的复杂度，同时也对应一个或多个不同的编码器R-D性能。因此，需要考虑在一个给定的复杂度C情况下，在对应的众多R-D性能中，找到一个最优解。
发明内容
为解决上述问题，本发明的目的是提供一种视频编码复杂度控制模型的形成方法，通过采用不同的整象素运动估计算法、亚象素运动估计算法、参考帧数以及宏块编码模式等编码器内部参数来调整视频编码器复杂度，使其与当前的电源供电状态达到匹配，从而在电源供电不足、必须降低视频编码复杂度时仍可保证获得最佳的重建视频质量。
为实现上述目的，本发明实施例提供了一种视频编码复杂度控制模型的形成方法，包括如下步骤：
A1：输入宏块数据；
A2：对所述宏块数据进行帧内预测复杂度映射及帧间预测复杂度映射，对所述帧内预测及帧间预测的预测模式进行分组，对帧间预测的每组预测模式进行整象素运动估计复杂度映射和亚象素运动估计复杂度映射；
A3：根据所述帧内预测和帧间预测的模式分组，进行交叉分组测试，得到每组的计算复杂度和编码效率；
A4：根据所述计算复杂度和编码效率，在同等计算复杂度下，判断该组是否为编码效率最高的组，如果是，则保留所述编码效率最高的组，否则剔除所述组；
A5：计算所述计算复杂度的归一化值，将所述归一化的计算复杂度值由低到高进行编号，得到计算复杂度水平，生成对应于所述各个计算复杂度下的编码效率最高的组合的C-R-D表；
A6：根据所述归一化的计算复杂度值和所述计算复杂度水平拟合曲线，根据所述曲线计算所述视频编码复杂度控制模型的参数，得到所述视频编码复杂度控制模型。
根据本发明实施例提供的控制模型的形成方法，通过调整视频编码器的复杂度，使其与当前的电源供电状态达到匹配。从而在电源供电不足、必须降低编码复杂度时仍可保证获得较佳的重建视频质量。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的视频编码控制模型形成方法框图；
图2为根据本发明实施例的视频编码控制模型形成方法的流程图；
图3为根据本发明实施例的亮度4×4块帧内预测的预测模式；
图4为根据本发明实施例的亮度16×16块的帧内预测的预测模式；
图5为根据本发明实施例的亚象素运动估计的流程示意图；
图6为图5中亚象素运动估计精细搜索示意图；
图7为根据本发明实施例的P-R-D模型拟合曲线；
图8为根据本发明实施例P-R-D模型的FORMAN测试序列性能图；
图9为根据本发明实施例P-R-D模型的PARIS测试序列性能图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
为了实现本发明之目的，本发明公开了一种视频编码复杂度控制模型的形成方法，图1示出了该方法的框图，结合图1和图2所示，包括如下步骤：
A1：输入宏块数据。
向视频编码器中输入宏块数据。
A2：对宏块数据进行帧内预测复杂度映射及帧间预测复杂度映射，对帧内预测及帧间预测的预测模式进行分组，对帧间预测的每组预测模式进行整象素运动估计复杂度映射和亚象素运动估计复杂度映射。
具体的说，帧内预测编码就是用周围邻近的象素值来预测当前的象素值，然后对预测误差进行编码。这种预测是基于块的，对于亮度分量(luma)，块大小可以在16×16和4×4之间选择，16×16块有4种预测模式，4×4块有9种预测模式。除了均值预测外，其它每种预测模式对应不同方向上的预测。H.264参考软件JM采用穷尽式策略通过计算各种预测模式的代价函数值选择最优编码模式，时间复杂度非常高。
在本实施例中，帧内预测模式采用4×4亮度预测模式。4×4亮度预测模式：如图3中的(a)所示，4×4子块的预测块P由16个点a-p组成，当左边和上边的采样点A-M已经重建好后，它们就能作为预测象素生产参考子块。如图3中的(b)所示，4×4块共有9种预测方式，分别为：垂直预测，水平预测，均值预测，左下对角预测，右下对角预测，垂直向右预测，水平向下预测，垂直向左预测，水平向上预测。
从各视频序列的最终模式统计结果来看，各模式被选择为最优模式的比例之间相差不大，只是Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right占比稍高。由此，对帧内预测的9种预测模式做一个总体分组，共分4组。
第一组IG1：Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right；
第二组IG2：Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC；
第三组IG3：Diagonal_Down left，Vertical_Left Vertical，Vertical_Right，DC，Diagonal_Down_Right，Horizontal；
第四组IG4：Diagonal_Down left，Vertical_Left，Vertical，Vertical_Right，DC，Diagonal_Down_Right，Horizontal，Horizontal_Down，Horizontal_Up。
在本实施例中，帧内预测模式16×16亮度预测模式分为垂直预测(Vertical)、水平预测(Horizontal)、均值预测(DC)和平面预测(Plane)4种模式。如图4中所示，垂直预测，宏块上方各子块的采样值被用作宏块对应一整列的预测值；水平预测，宏块左边各子块采样值被用作宏块对应一整行的预测值；均值预测，宏块上方与左边各子块采样值的均值被用作宏块预测值；平面预测，宏块预测值右上方和左边各子块采样值用作宏块预测值。各种模式的插值方法。
综合考虑帧内预测的各模式复杂度及其对编码效率的贡献，将帧内预测的所有模式分为四类，分别对应表1中所示的电源水平(Power Mode)。其中，电源水平与计算复杂度水平呈线性正比关系。如表1中所示，电源水平为High表示当前电源电量充足；电源水平为Normal表示当前电源电量正常；电源水平为Low表示当前电源处于低电量状态；电源水平为Ultra-Low表示电源处于极低电量状态。
表1
| 电源水平 | 帧内预测模式分组 |
| High | Diagonal_Down left，Vertical_Left，Vertical，Vertical_Right，DC，Diagonal_Down_Right，Horizontal，Horizontal_Down，Horizontal_Up，Intra_16×16 |
| Normal | Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC，Diagonal_Down Right，Horizontal，Intra_16×16 |
| Low | Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC，Intra_16×16 |
| Ultra-Low | Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，Intra_16×16 |
对于帧间预测模式，将H.264/AVC的7种块大小模式以及SKIP模式作为帧间预测的全部模式。按其算法复杂度及对编码效率的贡献，将所有模式分为4组。
第一组PG1：SKIP与Inter16×16。若帧间预测只选取该组的两种模式，计算复杂度则急剧降低，但同时编码效率也较低；
第二组PG2：SKIP，Inter16×16，Inter16×8，Inter8×16。该组增加了两种模式，可大大提高编码效率，同时算法的计算复杂性有所提高；
第三组PG3：SKIP，Inter16×16，Inter16×8，Inter8×16，Inter8×8，事实上该组编码效率与选取全部模式相近，但算法复杂度与全模式相比又较低；
第四PG4：SKIP，Inter16×16，Inter16×8，Inter8×16，Inter8×8，Inter8×4，Inter4×8，编码效率最高，同时计算法复杂度也最高。
根据上述帧间预测模式的分组，对各个模式的分组采用整象素运动估计和亚象素运动估计。
具体的说，整象素运动估计复杂度映射的代表性快速算法包括，TSS算法(Three Step Search，三步搜索算法)，DS算法(Diamond search，菱形搜索算法)，FSS算法(Four step search，四步搜索算法)，NTSS算法(New Three stepsearch新三步搜索算法)、HEX算法(Hexagon search，六边形搜索算法)和UMH算法(Unsymmetrical-cross Muti-hexagon Search，非对称十字型多层次六边形格点搜索算法)等。
其中，DS算法(Diamond search，菱形搜索算法)利用运动矢量的统计特性和采用了大钻石和小钻石两种搜索块模式。NTSS算法(New Three stepsearch新三步搜索算法)利用运动矢量基于中心分布的特性和采用判断块为静止或是接近静止的中途停止策略。此外，HEX算法(Hexagon search，六边形搜索算法)，PMVFAST算法(Predictive Motion Vector Field Adaptive SearchTechnique)等算法为当较为成功的运动估计算法。
其中，DIA算法搜索点数最少，因此其速度最快，且其编码效率也损失不大与其他算法也非常接近，为通常情况下最常被采用的运动估计算法。EXA算法最为耗时，同时对于提升PSNR贡献不显著。因此，综合考虑编码效率与算法的时间计算复杂度，DIA算法、HEX算法及UMH算法成为较优选择，上述算法可在基本不损失PSNR性能的前提下大幅提高速度。
在实际视频序列中运动物体的位移很少正好是整数倍象素，因此需要采用亚象素运动估计。亚象素运动估计同样采样上述TSS算法(Three Step Search，三步搜索算法)，DS算法(Diamond search，菱形搜索算法)，FSS算法(Fourstep search，四步搜索算法)，NTSS算法(New Three step search新三步搜索算法)、HEX算法(Hexagon search，六边形搜索算法)和UMH算法(Unsymmetrical-cross Muti-hexagon Search，非对称十字型多层次六边形格点搜索算法)。
在本实施例中，为进一步节省搜索时间，采用先通过整象素运动估计确定起始点，然后在最优位置进行深度精细搜索来确定最终的最优点。根据模式选择后的精细化搜索，发现最佳位置后，在此位置周边再进行基于预定亚像素搜索次数的深度搜索。通过本方法进行亚象素运动估计，将在算法保持快速的前提下有效提高搜索准确度，提高编码效率。
具体地说，结合图5和图6所示，亚象素运动估计复杂度映射包括以下步骤：在经过上述整象素运动估计后，确定亚象素运动估计的起始点1。根据上述起始点做运动估计并进行模式选择；根据每种模式下的亚像素搜索次数(SME ITERATION TIME)和亚像素精细搜索次数(SME REFINEMENT)，对起始点1的周边进行基于所述亚像素搜索次数的搜索。在起始点1的周边位置搜索1/2象素点，得到1/2象素点2，以点2为起始点在其周边位置搜索1/4象素点，得到1/4象素点3。
结合表2所示，表中数据定义了1/2、1/4象素的亚像素搜索次数及亚像素精细搜索次数。亚像素搜索次数(SME ITERATION TIME)表明对任何一种模式，都将按定义的次数进行搜索。亚象素精细搜索次数(SMEREFINEMENT)定义了在按目前的模式搜索到最优点后，再在其周围搜索的点数。由不同的SME ITERATION TIME和SME REFINEMENT次数，构成了亚象素的复杂度水平以及编码效率。总体来说，SME_LEVEL越低，搜索点数越少的话，算法复杂度越低，编码效率也会最低。如表2中所示，亚象素运动估计水平从1到7排列，算法复杂度和编码效率同步增加。
表2
| 亚象素运动估计水平 | 亚象素搜索次数(1/2象素，1/4象素) | 模式选择 | 亚象素精细搜索次数(1/2象素，1/4象素) |
| 1 | (0，0) | SAD | (1，1) |
| 2 | (1，0) | SATD | (0，1) |
| 3 | (1，1) | SATD | (0，0) |
| 4 | (1，1) | SATD | (0，1) |
| 5 | (1，2) | SATD | (0，1) |
| 6 | (2，2) | SATD | (0，0) |
| 7 | (2，2) | SATD+RDO | (0，0) |
优选的，在帧间预测模式中，视频编码标准采用多个前向参考帧，从而增加运动矢量中时间轴的运动估计帧数。通过在多个参考帧中进行运动估计，寻找当前编码块的最佳匹配。采用多参考帧运动估计可以提高编码效率以及容错性能。在一些特定的场合比如存在周期运动、快速场景切换、物体存在遮蔽现象时，多参考帧的使用会有较好的效果，但与此同时也增加了缓存容量以及编码器复杂度。不同电源模式下的多参考帧数量如表3所示。如表3中所示，当电源模式为High时，选取多参考帧数量为5；当电源模式为Normal时，选取多参考帧数量为3；当电源模式为Low时，选取多参考帧数量为2；当电源模式为Ultra-Low时，选取多参考帧数量为1。
表3
| 电源水平 | 参考帧数量 |
| High | 5 |
| Normal | 3 |
| Low | 2 |
| Ultra-Low | 1 |
对于参考帧数目，可选取一个以上的个数。但根据统计结果，参考帧数目大于5对于提高编码效率的意义不大。
本发明实施例涉及的视频编码复杂度控制模型采用了可变块大小运动补偿模式的复杂度映射。
具体的说，由于基于块的运动模型假设块内的所有象素都做了相同的平移，在运动比较剧烈或者运动物体的边缘处这一假设会与实际出入较大，从而导致较大的预测误差，此时减小运动补偿的块大小可以使假设依然成立。另外小的块模式所造成的块效应相对也小，所以一般来说小的块模式可以改善预测效果。
为此，H.264/AVC将每个宏块按4种方式进行分割：1个16×16，或2个16×8，或2个8×16或4个8×8。其运动补偿也相应有4种。每个8×8子宏块还可以进一步以4种方式进行分割：1个8×8，或2个8×4，或2个4×8，或4个4×4。编码器按照图像内容在参考帧中进行搜索，找到与原始块最佳匹配的块进行编码传输。对于图像中变化平缓的区域，采用较大的分块尺寸比较合适；对于细节丰富的区域，采用较小的尺寸比较合适。
这种多模式的灵活、细微的宏块划分，更加切合图像中的实际运动物体的形状，大大提高了运动估计的精确度。与仅采用16×16宏块预测的传统方法相比，使用7种不同大小和形状的块可以节省码率15％以上。但块模式的增加也大大增加的编码器的计算复杂度，试验数据也表明，不同块模式在最终选择的模式中所占的比例也是存在非常大的差距的。总体来看，16×16模式使用最为频繁，而8×8以下的几种块模式使用频率较低，在运动较小，图像纹理不复杂的场景中很少用到。据此，如表4所示本发明提出了通过采用不同块模式组合来调节编码器复杂度的目的。
表4
| 分组索引号 | 帧间预测模式分组 | 模式分组 |
| 1 | SKIP，Inter16×16 | PG1 |
| 2 | SKIP，Inter16×16，Inter8×8 | PG2 |
| 3 | SKIP，Inter16×16，Inter16×8，Inter8×16 | PG2 |
| 4 | SKIP，Inter 16×16，Inter 16×8，Inter 8×16，Inter 8×8 | PG3 |
| 5 | SKIP，Inter 16×16，Inter 16×8，Inter8×16，Inter8×8，Inter4×4 | PG4 |
| 6 | SKIP，Inter16×16，Inter16×8，Inter8×16，Inter8×8，Inter8×4，Inter4×8，Inter4×4 | PG4 |
A3：根据上述帧内预测和帧间预测的模式分组，进行交叉分组测试，得到每组的计算复杂度和编码效率。
具体的说，根据步骤A2的不同算法和分组，进行交叉分组测试。
在本实施例中，交叉分组测试通过编码器实现，通过编码器输出每组的计算复杂度和编码效率。
A4：根据计算复杂度和编码效率，当计算复杂度相等时，判断该组是否为编码效率最高的组，如果是，则保留编码效率最高的组，否则剔除该组。
结合图1和图2所示，根据步骤A3中交叉分组测试得到的计算复杂度和编码效率。首先选出计算复杂度相等的组，在同等计算复杂度的前提下，如果只对应一组，则保留该组。如果对应有多个不同的算法组合，则判断该组是否为编码效率最高的组，如果是，则保留该组，剔除其他编码效率较低的组。
在本实施例中，计算复杂度通过在同等测试条件下所需的时钟周期计量。
由此，通过上述步骤得到相对于各个计算复杂度下编码效率最高的组合。
A5：对计算复杂度进行归一化，将归一化的计算复杂度值由低到高进行编号，得到计算复杂度水平，生成对应于各个计算复杂度下的编码效率最高的组合的C-R-D表。
根据步骤A4中得到的各个计算复杂度下的编码效率最高的组，将上述计算复杂度进行归一化。在所有分组中选取计算复杂度最高的一组，以该计算复杂度为基准，对计算复杂度进行归一化。将所有得到的归一化的复杂度值由低到高进行编号，得到计算复杂度水平(Complexity Level)。根据上述数据生成对应于不同算法组合的计算复杂度由低到高的C-R-D表。表5示出了上述C-R-D表。如表5中所示，C-R-D表包括计算复杂度水平(Complexity Level)、运动补偿块模式(MD Level)、亚象素运动估计水平(SME Level)、平均峰值信噪比差值(BDPSNR)以及归一化计算复杂度值(Normalized Complexity)。其中，BDPSNR为与基准组为依据计算得到的平均PSNR之差。基准组即为计算复杂度最高的一组。上述编码效率通过BDPSNR计量。
表5
| 计算复杂度水平 | 运动补偿块模式分组 | 亚象素运动估计水平 | BDPSNR(dB) | 归一化后的复杂度值 |
| 0 | SKIP | 0 | ||
| 1 | 1 | 1 | -0.76 | 0.228 |
| 2 | 2 | 1 | -0.59 | 0.246 |
| 3 | 3 | 1 | -0.46 | 0.265 |
| 4 | 4 | 1 | -0.44 | 0.283 |
| 5 | 6 | 1 | -0.53 | 0.359 |
| 6 | 3 | 2 | -0.3 | 0.397 |
| 7 | 4 | 2 | -0.26 | 0.438 |
| 8 | 3 | 3 | -0.2 | 0.491 |
| 9 | 3 | 4 | -0.18 | 0.528 |
| 10 | 3 | 5 | -0.16 | 0.544 |
| 11 | 4 | 3 | -0.15 | 0.577 |
| 12 | 4 | 4 | -0.13 | 0.614 |
| 13 | 4 | 5 | -0.12 | 0.637 |
| 14 | 5 | 3 | -0.12 | 0.707 |
| 15 | 5 | 4 | -0.1 | 0.745 |
| 16 | 5 | 5 | -0.08 | 0.775 |
| 17 | 6 | 3 | -0.03 | 0.918 |
| 18 | 6 | 4 | -0.02 | 0.955 |
| 19 | 6 | 5 | 0 | 1 |
A6：根据归一化的计算复杂度值和计算复杂度水平拟合曲线，根据上述曲线计算所述视频编码复杂度控制模型的参数，得到视频编码复杂度控制模型。
根据归一化复杂度值和计算复杂度水平拟合曲线，如图7所示，横轴为计算复杂度水平，纵轴为归一化的复杂度。根据上述拟合曲线计算视频编码复杂度控制模型的参数。
设视频编码复杂度控制模型为y＝ax+b，其中a，b为视频编码复杂度控制模型参数。在本实施例中，根据图7中拟合曲线进行计算，得到a＝0.045，b＝0.1389，由此可以得到视频编码复杂度控制模型为y＝0.045x+0.1389。
根据得到的视频编码复杂度控制模型，当输入计算复杂度水平x时，可以计算得到归一化的计算复杂度值y。
优选的，在不同的平台下，通过本实施例涉及的方法得到的拟合曲线，参数a和b亦可实施为其他值，由此得到视频编码复杂度控制模型仍属于本发明的保护范围。
由于计算复杂度水平与电源水平呈线性关系，通过上述方法得到的控制模型，亦可以表示在电源水平(Power)下的视频编码复杂度控制模型，即P-R-D模型。
图8为视频编码复杂度控制模型的Foreman测试序列性能图。如图8中所示，横轴为平均节省的CYCLE数，单位为％；纵轴为BDPSNR，单位为dB。图8中示出了四种模式下的测试序列性能。菱形点构成的曲线为本发明涉及的P-R-D模型下的测试序列性能，方形点构成的曲线为整象素运动估计下的测试序列性能；三角形点构成的曲线为亚象素运动估计下的测试序列性能；十字形点构成的曲线为整象素运动估计及亚象素运动估计下的测试序列性能。从图8中可以看出，在平均节省的CYCLE数相等的情况下，P-R-D模型下的测试序列性能的BDPSNR最高，即损失最小。
图9为视频编码复杂度控制模型的Paris测试序列性能图。如图9中所示，横轴为平均节省的CYCLE数，单位为％；纵轴为BDPSNR，单位dB。图9中示出了四种模式下的测试序列性能。菱形点构成的曲线为本发明涉及的P-R-D模型下的测试序列性能，方形点构成的曲线为整象素运动估计下的测试序列性能；三角形点构成的曲线为亚象素运动估计下的测试序列性能；十字形点构成的曲线为整象素运动估计及亚象素运动估计下的测试序列性能。从图9中可以看出，在平均节省的CYCLE数相等的情况下，P-R-D模型下的测试序列性能的BDPSNR最高，即损失最小。
综上，可以发现本发明实施例提供的P-R-D模型相对其他视频编码模型在平均节省的CYCLE数相等的情况下，损失失真最小。
通过本发明的实施例，在手持设备等存在电源约束的应用下，通过采用不同的整象素运动估计算法或亚象素运动估计算法、参考帧数以及宏块模式等编码器内部参数来调整视频编码器复杂度，使其与当前的电源供电状态达到匹配，从而在电源供电不足、必须降低视频编码复杂度时仍可保证获得最佳的重建视频质量。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种视频编码复杂度控制模型的形成方法，其特征在于，所述方法包括如下步骤：
A1：输入宏块数据；
A2：对所述宏块数据进行帧内预测复杂度映射及帧间预测复杂度映射，对所述帧内预测及帧间预测的预测模式进行分组，并对帧间预测的每组预测模式进行整像素运动估计复杂度映射和亚像素运动估计复杂度映射；
A3：根据所述帧内预测和帧间预测的模式分组，进行交叉分组测试，得到每组的计算复杂度和编码效率；
A4：根据所述计算复杂度和编码效率，在同等计算复杂度下，判断该组是否为编码效率最高的组，如果是，则保留所述编码效率最高的组，否则剔除所述组：
A5：计算所述计算复杂度的归一化值，将所述归一化的计算复杂度值由低到高进行编号，得到计算复杂度水平，生成对应于所述各个计算复杂度下的编码效率最高的组合的C-R-D表；
A6：根据所述归一化的计算复杂度值和所述计算复杂度水平拟合曲线，根据所述曲线计算所述视频编码复杂度控制模型的参数，得到所述视频编码复杂度控制模型。
2.如权利要求1所述的控制模型的形成方法，其特征在于，所述帧内预测采用4×4块，将4×4块的9种预测模式分为四组，包括：
第一组IG1：Diagonal_Down_left，Vertical_Lett，Vertical，Vertical_Right；
第二组IG2：Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC；
第三组IG3：Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC，Diagonal_Down_Right，Horizontal；
第四组IG4：Diagonal_Down_left，Vertical_Left，Vertical，Vertical_Right，DC，Diagonal_Down_Right，Horizontal，Horizontal_Down，Horizontal_Up。
3.如权利要求1所述的控制模型的形成方法，其特征在于，所述帧间预测模式包括Inter16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式以及SKIP模式，
并将所述帧间预测模式分为四组，包括：
第一组PG1：SKIP模式和Inter16×16模式；
第二组PG2：SKIP模式、Inter16×16模式、Inter16×8模式和Inter8×16模式；
第三组PG3：SKIP模式、Inter16×16模式、Inter16×8模式、Inter8×16模式和Inter8×8模式；
第四组PG4：SKIP模式、Inter16×16模式、Inter16×8模式、Inter8×16模式、Inter8×8模式、Inter8×4模式和Inter4×8模式。
4.如权利要求1所述的控制模型的形成方法，其特征在于，所述整像素运动估计复杂度映射和所述亚像素运动估计复杂度映射对一个以上参考帧进行运动估计。
5.如权利要求1所述的控制模型的形成方法，其特征在于，所述亚像素运动估计复杂度映射包括：
根据所述整像素运动估计结果确定亚像素运动估计的起始点；
就帧间预测进行运动估计并模式选择；
根据每种模式下的亚像素搜索次数和亚像素精细搜索次数，对所述起始点的周边进行基于所述亚像素搜索次数的精细搜索。
6.如权利要求1所述的控制模型的形成方法，其特征在于，计算所述计算复杂度的归一化值包括如下步骤：
在所述分组中，选取计算复杂度最高的一组，以该计算复杂度作为基准，对其他组的计算复杂度进行归一化计算。
7.如权利要求1所述的控制模型的形成方法，其特征在于，所述计算复杂度通过在同等测试条件下所需的时钟周期计量。
8.如权利要求1所述的控制模型的形成方法，其特征在于，所述编码效率通过BDPSNR计量，所述BDPSNR为与基准组为依据计算得到的平均PSNR之差，其中，基准组为计算复杂度最高的组。
9.如权利要求1所述的控制模型的形成方法，其特征在于，在所述步骤A4和步骤A5之间还包括保留所述编码效率最高的组后，剔除孤立点，执行步骤A5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010122609.8A CN102196255B (zh) | 2010-03-11 | 2010-03-11 | 一种视频编码复杂度控制模型的形成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010122609.8A CN102196255B (zh) | 2010-03-11 | 2010-03-11 | 一种视频编码复杂度控制模型的形成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102196255A CN102196255A (zh) | 2011-09-21 |
| CN102196255B true CN102196255B (zh) | 2013-04-10 |
Family
ID=44603545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010122609.8A Active CN102196255B (zh) | 2010-03-11 | 2010-03-11 | 一种视频编码复杂度控制模型的形成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102196255B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625293B (zh) | 2012-03-21 | 2014-11-05 | 华为技术有限公司 | 通知和获知地址信息失效的方法、装置及系统 |
| CN102740073B (zh) * | 2012-05-30 | 2015-06-17 | 华为技术有限公司 | 一种编码方法及装置 |
| CN104837027B (zh) * | 2015-04-20 | 2018-04-27 | 北京奇艺世纪科技有限公司 | 一种分像素的运动估计方法和装置 |
| WO2018023352A1 (zh) * | 2016-08-01 | 2018-02-08 | 南京信息工程大学 | 一种基于在线学习的快速运动估计方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101175212A (zh) * | 2007-10-15 | 2008-05-07 | 中兴通讯股份有限公司 | 一种低复杂度的帧内预测模式选择方法 |
-
2010
- 2010-03-11 CN CN201010122609.8A patent/CN102196255B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101175212A (zh) * | 2007-10-15 | 2008-05-07 | 中兴通讯股份有限公司 | 一种低复杂度的帧内预测模式选择方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴琼 等.基于H. 264 视频编码的关键技术及其复杂度测试.《现代电子技术》.2009,(第20期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102196255A (zh) | 2011-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104539962B (zh) | 一种融合视觉感知特征的可分层视频编码方法 | |
| CN103997645B (zh) | 一种快速的hevc帧内编码单元和模式决策方法 | |
| CN105959699B (zh) | 一种基于运动估计和时空域相关性的快速帧间预测方法 | |
| CN105141954A (zh) | 一种hevc帧间编码快速模式选择方法 | |
| CN105830444A (zh) | 进行视频编码时的热及功率管理 | |
| CN103384325A (zh) | 一种avs-m视频编码快速帧间预测模式选择方法 | |
| CN103327325A (zh) | 基于hevc标准的帧内预测模式快速自适应选择方法 | |
| CN104837019B (zh) | 基于支持向量机的avs到hevc优化视频转码方法 | |
| CN103634606A (zh) | 视频编码方法和装置 | |
| CN102196255B (zh) | 一种视频编码复杂度控制模型的形成方法 | |
| CN103384326A (zh) | 一种avs-m视频编码快速帧内预测模式选择方法 | |
| CN104601992B (zh) | 基于贝叶斯最小风险决策的skip模式快速选择方法 | |
| CN101304529A (zh) | 宏块模式的选择方法和装置 | |
| CN102811346A (zh) | 编码模式选择方法和系统 | |
| CN110351552B (zh) | 视频编码中一种快速编码方法 | |
| JP2024501929A (ja) | 動画予測符号化の方法および装置 | |
| CN110365975A (zh) | 一种avs2视频编解码标准优化方案 | |
| CN103384327A (zh) | 基于自适应阈值的avs快速模式选择算法 | |
| CN104581152A (zh) | 一种hevc帧内预测模式选择加速方法 | |
| CN101895761B (zh) | 一种快速帧内预测算法 | |
| CN104702959A (zh) | 一种视频编码的帧内预测方法及系统 | |
| CN101867818B (zh) | 宏块模式的选择方法和装置 | |
| CN109302616A (zh) | 一种基于rc预测的hevc帧间预测快速算法 | |
| CN100525454C (zh) | 帧间预测模式的选择方法 | |
| CN101854554A (zh) | 基于图像修复预测的视频编解码系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201221 Address after: 510000 601, building a, 136 Kaiyuan Avenue, Huangpu District, Guangzhou City, Guangdong Province Patentee after: AoXin integrated circuit technology (Guangdong) Co.,Ltd. Address before: 100029 Beijing city Chaoyang District Beitucheng West Road No. 3 Patentee before: Institute of Microelectronics of the Chinese Academy of Sciences |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220525 Address after: 510000 room 710, Jianshe building, No. 348, Kaifa Avenue, Huangpu District, Guangzhou, Guangdong Patentee after: Ruili flat core Microelectronics (Guangzhou) Co.,Ltd. Address before: 510000 601, building a, 136 Kaiyuan Avenue, Huangpu District, Guangzhou City, Guangdong Province Patentee before: AoXin integrated circuit technology (Guangdong) Co.,Ltd. |