CN105872545A - 一种随机接入视频编码中层次化时域率失真优化方法 - Google Patents

一种随机接入视频编码中层次化时域率失真优化方法 Download PDF

Info

Publication number
CN105872545A
CN105872545A CN201610247952.2A CN201610247952A CN105872545A CN 105872545 A CN105872545 A CN 105872545A CN 201610247952 A CN201610247952 A CN 201610247952A CN 105872545 A CN105872545 A CN 105872545A
Authority
CN
China
Prior art keywords
distortion
frame
coding
rpoc
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610247952.2A
Other languages
English (en)
Other versions
CN105872545B (zh
Inventor
朱策
高艳博
李帅
周益民
彭强
段昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610247952.2A priority Critical patent/CN105872545B/zh
Publication of CN105872545A publication Critical patent/CN105872545A/zh
Application granted granted Critical
Publication of CN105872545B publication Critical patent/CN105872545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于视频编码技术领域，尤其涉及随机接入视频编码中层次化时域率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每8帧为一个GOP，分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则，如图1所示，其中帧的编码顺序表示为EOC，各帧的播放顺序/时间顺序表示为POC。分析随机接入编码中编码单元间在同层及不同层的时域依赖性，并根据随机接入编码中时域依赖性建立嵌套的层次化时域传播链，如图3所示，进而进行层次化时域依赖性的率失真优化建模。求取传播因子κv和全局拉格朗日乘子λg。最后，本发明根据传播因子κv，仅通过对全局拉格朗日乘子λg的调整实现时域率失真优化。

Description

一种随机接入视频编码中层次化时域率失真优化方法
技术领域
本发明属于视频编码技术领域，尤其涉及随机接入视频编码中层次化时域率失真优化方法。
背景技术
为了应对视频高清化，新一代视频编码标准HEVC于2013年初制定完成，较前一代标准H.264/AVC性能提升了近1倍。在视频编解码器中，率失真优化技术是显著提升编码效率的重要组成部分，传统做法是独立优化各编码单元，然而由于帧内帧间预测的广泛使用，各编码单元之间具有依赖性，具体来说就是当前编码单元Ux的编码好坏会影响到空域或时域中下一个编码单元Ux+1，因此考虑进行联合优化，定义为全局率失真优化。目前多个文献对全局率失真优化进行探索，如文献“E.H.Yang and X.Yu,“Rate DistortionOptimization for H.264Interframe Coding:A General Framework and Algorithms”,IEEE Trans.Image Processing,vol.16,no.7,pp.1774-1784,July.2007”，该文献采用动态规划方法，复杂度高，无法实时实现，但该方法从侧面证明联合优化可以提升编码性能。
文献“T.W.Yang,C.Zhu and X.J.Fan,Q.Peng,“Source distortion temporalpropagation model for motion compensated video coding optimization,”IEEEInternational Conference on Multimedia and Expo(ICME 2012),Melbourne,Australia,Jul.2012,pp.85-90”提出了一种可实现的联合率失真优化方法，考虑时域上具有依赖性的编码单元的优化编码，其目标为其中X代表在整个序列中具有时域依赖性的编码单元个数(假设每帧一个)，Rx表示一个当前编码单元的码率，Dx表示当前编码单元的失真。使用拉格朗日乘子法转化为无约束问题，即ox表示第x个编码单元的编码参数，如编码模式，运动矢量，参考帧索引，量化参数，量化后的变换系数等，λg为全局拉格朗日乘子，根据H.264/AVC中编码结构，可以简化为*代表该编码模式为假设可以得到最优编码参数。
与H.264/AVC中编码结构不同，在新一代视频编码标准HEVC中，采用层次编码结构，该结构显著提升了编码效率。对于不同应用，在HEVC中，层次编码结构有两种固定的基本配置，即低延迟层次编码结构和随机接入层次编码结构。低延迟层次编码结构以实时编解码为目标，在一定程度下弱化层次编码结构，而随机接入层次编码结构层次性更强，允许相对频繁的随机接入点，提供更灵活的视频编解码方案，相较于低延迟编码结构具有更高的编码效率。随机接入层次编码结构需要预读多帧，且编码顺序与播放顺序不同，帧与帧间的关系更为复杂，不能简单套用上述第二个文献的工作，需要分析在相同层和不同层的各编码单元间的动态时域依赖性，进而在随机接入层次结构下进行层次化时域率失真优化。
发明内容
为了克服现有技术的缺陷，本发明通过探索随机接入视频编码中各编码单元间在相同层及不同层的时域关系提出了一种随机接入视频编码中层次化时域率失真优化方法。
本发明的技术方案为：
在HEVC随机接入视频编码默认配置中，采用循环的图像组(group of picture，GOP)结构，每8帧为一个GOP，分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则，如图1所示，其中帧的编码顺序表示为EOC，各帧的播放顺序/时间顺序表示为POC。分析随机接入编码中编码单元间在同层及不同层的时域依赖性，并根据随机接入编码中时域依赖性建立嵌套的层次化时域传播链，如图3所示，进而进行层次化时域依赖性的率失真优化建模。求取传播因子κv和全局拉格朗日乘子λg。最后，本发明根据传播因子κv，仅通过对全局拉格朗日乘子λg的调整实现时域率失真优化。
为了更好地说明本发明，首先对随机接入层次结构进行介绍。随机接入层次结构具体为：每8帧为一个GOP，将所述GOP内的帧分别分配到不同的层，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，每帧的EOC代表该帧在整个编码序列中的绝对编码顺序号，每帧的rEOC代表该帧在所属GOP中的相对编码顺序号，EOC＝feoc(POC)每个GOP的播放顺序下第一帧的rPOC＝1，该帧编码顺序为4，则rEOC＝4，(在随机接入视频编码中编码顺序和解码顺序不一致，需考虑前向参考及后向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)大于当前帧的POC，反之为后向参考)，其中，feoc(*)为POC与EOC的映射关系，具有相同rPOC或rEOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/二/三/四个参考帧，Delta POC代表当前帧及参考帧的POC之差，所述量化参数(quantization parameter，QP)分配规则具体为：Delta QP代表当前帧及I帧的QP之差，在第一层中的帧具有最小的Delta QP＝1，因此第1层拥有所有P/B帧中最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得所有P/B帧中相对最高的重建视频质量，所述参考帧管理规则为：每帧有三个或四个参考帧，参考帧POC由当前帧POC及DeltaPOC确定
一种随机接入视频编码中层次化时域率失真优化方法，具体步骤如下：
S1、根据随机接入视频编码中时域依赖性，建立嵌套的层次化时域传播链，所述嵌套的层次化时域传播链具有如下特性：所述随机接入视频编码中每个GOP中rPOC＝8的帧仅考虑前一key帧对其的影响，rPOC＝1、2、3、4、5、6、7的帧仅考虑相对质量较高的最近两帧对其的影响，如图3所示，通过统计实验得到各参考帧被参考比例，如表2所示：
对rPOC＝8的参考帧，Delta POC为(-4,-2,-1,1,2,4,8)的帧以rPOC＝8的帧为参考帧的比例相对最大，为rPOC＝8的参考帧的主要参考关系，即rPOC＝8的参考帧f8n+8，帧f8n+4,f8n+6,f8n+7,f8n+9,f8n+10,f8n+12,f8n+16中(其中，这些帧与f8n+8的Delta POC分别为-4,-2,-1,1,2,4,8)的编码单元选择参考帧f8n+8的比例相对最大，
对rPOC＝4的参考帧，Delta POC为(-2,-1,1,2)的帧以rPOC＝4的帧为参考帧的比例相对最大，为rPOC＝4的参考帧的主要参考关系，即rPOC＝4的参考帧f8n+4，帧f8n+2,f8n+3,f8n+5,f8n+6中(其中，这些帧与f8n+4的Delta POC分别为-2,-1,1,2)的编码单元选择参考帧f8n+4的比例相对最大，
对rPOC＝2的参考帧，Delta POC为(-1,1)的帧以rPOC＝2的帧为参考帧的比例相对最大，为rPOC＝2的参考帧的主要参考关系，即rPOC＝2的参考帧f8n+2，帧f8n+1,f8n+3中(其中，这些帧与f8n+2的Delta POC分别为-1,1)的编码单元选择参考帧f8n+2的比例相对最大，
对rPOC＝6的参考帧，Delta POC为(-1,1)的帧以rPOC＝6的帧为参考帧的比例相对最大，为rPOC＝6的参考帧的主要参考关系，即rPOC＝6的参考帧f8n+6，帧f8n+5,f8n+7中(其中，这些帧与f8n+6的Delta POC分别为-1,1)的编码单元选择参考帧f8n+6的比例相对最大，
n＝0,1,2,...,m,...,M，M代表在随机接入视频编码中整个序列中GOP的个数，
根据随机接入视频编码中主要参考关系，获得如图3所示嵌套的层次化时域传播链；
S2、层次化时域依赖性的率失真优化建模，具体为：
定义当前编码单元Us为帧fs中第a(a＝1,2,3,...,A)个编码单元，其中，s＝8n+8,8n+4,8n+2,8n+6,8n+1,8n+3,8n+5,8n+7，
S21、根据S1所述时域传播链，
当前编码单元U8n+8在rPOC＝8的key帧f8n+8中时，受所述U8n+8影响的时域上的编码单元为U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...，
当前编码单元U8n+4在rPOC＝4的非key帧f8n+4中时，受所述U8n+4影响的时域上的编码单元为U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7，
当前编码单元U8n+2在rPOC＝2的非key帧f8n+2中时，受所述U8n+2影响的时域上的编码单元为U8n+1,U8n+3，
当前编码单元U8n+6在rPOC＝6的非key帧f8n+2中时，受所述U8n+6影响的时域上的编码单元为U8n+5,U8n+7，
当前编码单元U8n+1在rPOC＝1的非key帧f8n+1中时，不存在受所述U8n+1影响的时域上的编码单元，
当前编码单元U8n+3在rPOC＝1的非key帧f8n+3中时，不存在受所述U8n+3影响的时域上的编码单元，
当前编码单元U8n+5在rPOC＝1的非key帧f8n+5中时，不存在受所述U8n+5影响的时域上的编码单元，
当前编码单元U8n+7在rPOC＝1的非key帧f8n+7中时，不存在受所述U8n+7影响的时域上的编码单元，
其中，8n+8、8n+4、8n+2、8n+1、8n+3、8n+6、8n+5、8n+7、8n+16代表当前编码单元所在帧的播放顺序；
S22、求时域率失真优化目标方程，包括：S21所述f8n+8中的U8n+8的时域率失真优化目标方程，S21所述f8n+4中的U8n+4的时域率失真优化目标方程，S21所述f8n+2中的U8n+2的时域率失真优化目标方程，S21所述f8n+6中的U8n+6的时域率失真优化目标方程，S21所述f8n+1中的U8n+1的时域率失真优化目标方程，S21所述f8n+3中的U8n+3的时域率失真优化目标方程，S21所述f8n+5中的U8n+5的时域率失真优化目标方程，S21所述f8n+7中的U8n+7的时域率失真优化目标方程；
S3、根据时域率失真优化目标方程，进行编码单元失真估计，估计受当前编码单元U8n+8影响的编码单元U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...的失真，估计受当前编码单元U8n+4影响的编码单元U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7的失真，估计受当前编码单元U8n+2影响的编码单元U8n+1,U8n+3的失真，估计受当前编码单元U8n+6影响的编码单元U8n+5,U8n+7的失真；
S4、将S3中所述编码失真估计代入到S22所述时域率失真优化目标方程，删除所有与当前编码单元的编码参数无关的中间值，得到其中，κv,v＝8n+8,8n+6,8n+4,8n+2，具体为：
A、当前编码单元U8n+8在rPOC＝8的key帧f8n+8中时，得到传播因子β为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.A所述；
B、当前编码单元U8n+4在rPOC＝4的非key帧f8n+4中时，得到传播因子其中，γ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.B所述；
C、当前编码单元U8n+2在rPOC＝2的非key帧f8n+2中时，得到传播因子κ8n+2＝τ8n+1+τ8n+3，其中，τ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.C所述；
D、当前编码单元U8n+6在rPOC＝2的非key帧f8n+6中，得到传播因子κ8n+6＝τ8n+5+τ8n+7，其中，τ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.D所述；
S5、求取全局拉格朗日乘子所有编码单元共享所述全局拉格朗日乘子λg，其中，λHM4为rPOC＝1帧中编码单元在HEVC中的预定义拉格朗日乘子，为偏导符号；
S6、将S4中所述变形为并结合S5中所述全局拉格朗日乘子λg及S4所述传播因子κv，进行层次化时域率失真优化，具体为：
对于在rPOC＝8的帧f8n+8中的编码单元U8n+8，采用进行时域率失真优化，
对于在rPOC＝4的帧f8n+4中的编码单元U8n+4，采用进行时域率失真优化，
对于在rPOC＝2的帧f8n+2中的编码单元U8n+2，采用进行时域率失真优化，
对于在rPOC＝6的帧f8n+6中的编码单元U8n+6，采用进行时域率失真优化，
对于在rPOC＝1的帧f8n+1中的编码单元U8n+1，采用S21所述进行时域率失真优化，
对于在rPOC＝3的帧f8n+3中的编码单元U8n+3，采用S21所述进行时域率失真优化，
对于在rPOC＝5的帧U8n+5中的编码单元U8n+5，采用S21所述进行时域率失真优化，
对于在rPOC＝7的帧U8n+7中的编码单元U8n+7，采用S21所述进行时域率失真优化；
S7、依次对rPOC＝8的帧f8n+8中所有编码单元(共A个编码单元)进行步骤S22.A、S3.A、S4.A、S5、S6的所述的率失真优化，
依次对rPOC＝4的帧f8n+4中所有编码单元(共A个编码单元)进行步骤S22.B、S3.B、S4.B、S5、S6的所述的率失真优化，
依次对rPOC＝2的帧f8n+2中所有编码单元(共A个编码单元)进行步骤S22.C、S3.C、S4.C、S5、S6的所述的率失真优化，
依次对rPOC＝6的帧f8n+6中所有编码单元(共A个编码单元)进行步骤S22.D、S3.D、S4.D、S5、S6的所述的率失真优化，
依次对rPOC＝1的帧f8n+1中所有编码单元(共A个编码单元)进行步骤S22.E、S5、S6的所述的率失真优化，
依次对rPOC＝3的帧f8n+3中所有编码单元(共A个编码单元)进行步骤S22.F、S5、S6的所述的率失真优化，
依次对rPOC＝5的帧f8n+5中所有编码单元(共A个编码单元)进行步骤S22.G、S5、S6的所述的率失真优化，
依次对rPOC＝7的帧f8n+7中所有编码单元(共A个编码单元)进行步骤S22.H、S5、S6的所述的率失真优化；
S8、对S1所述随机接入视频编码中其他帧进行步骤S2-S7的所述率失真优化处理。
进一步地，S22所述求解时域率失真优化目标方程具体为：
A、S21所述f8n+8中的U8n+8的时域率失真优化目标方程为
其中，Ofeoc(8n+8)代表的U8n+8编码参数集合，
B、S21所述f8n+4中的U8n+4的时域率失真优化目标方程为
C、S21所述f8n+2中的U8n+2的时域率失真优化目标方程为
D、S21所述f8n+6中的U8n+6的时域率失真优化目标方程为
E、S21所述f8n+1中的U8n+1的时域率失真优化目标方程为
F、S21所述f8n+3中的U8n+3的时域率失真优化目标方程为
G、S21所述f8n+5中的U8n+5的时域率失真优化目标方程为
H、S21所述f8n+7中的U8n+7的时域率失真优化目标方程为
其中，ofeoc(8n+4)代表的U8n+4编码参数，ofeoc(8n+2)代表的U8n+2编码参数，ofeoc(8n+6)代表的U8n+6编码参数，ofeoc(8n+1)代表的U8n+1编码参数，ofeoc(8n+3)代表的U8n+3编码参数，ofeoc(8n+5)代表的U8n+5编码参数，ofeoc(8n+7)代表的U8n+7编码参数，*代表该编码模式为假设可以得到最优编码参数。
进一步地，S3所述进行编码单元失真估计具体为：
A、以当前编码单元U8n+8为起点，估计受当前编码单元U8n+8影响的编码单元U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...的失真，
A1、受U8n+8影响的编码单元U8n+4的失真估计为其中，F代表前向运动补偿，B代表后向运动补偿，bi代表双向运动补偿， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+8无关的中间值， 且 为经验值；
A2、受U8n+8影响的编码单元U8n+2的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+2，则其中，为与o8n+8无关的中间值， 且
A3、受U8n+8影响的编码单元U8n+6的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+6，则其中，为与o8n+8无关的中间值， 且
A4、受U8n+8影响的编码单元U8n+1的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A2知D8n+2＝β8n+2·D8n+8+L8n+2，代入上述D8n+1，则其中，为与o8n+8无关的中间值， 且
A5、受U8n+8影响的编码单元U8n+3的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A2知D8n+2＝β8n+2·D8n+8+L8n+2，由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+3，则其中，为与o8n+8无关的中间值， 且
A6、受U8n+8影响的编码单元U8n+5的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，由A3知D8n+6＝β8n+6·D8n+8+L8n+6，代入上述D8n+5，则其中，为与o8n+8无关的中间值， 且
A7、受U8n+8影响的编码单元U8n+7的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由S233知D8n+6＝β8n+6·D8n+8+L8n+6，代入上述D8n+7，则其中，为与o8n+8无关的中间值， 且
A8、受U8n+8影响的所有在key帧中的后续编码单元U8y+16的失真可估计为其中，y(y≥n，整数)为该受到影响的编码单元所在GOP的序号，
为与o8n+8无关的中间值，B代表后向运动补偿，且
A9、同理，以A8中所述后续编码单元U8y+16为起点，依次进行A1、A2、A3、A4、A5、A6、A7所述步骤，并结合A8中所述后续编码单元U8n+16,U8n+24,...,U8y+8,U8y+16的失真及U8n+8的失真，求得U8y+16所在GOP其他帧中受影响编码单元的失真，进而得到后续β值，具体为：
在rPOC＝4中的受影响编码单元的β值为：
在rPOC＝6中的受编码单元的β值为：
在rPOC＝2中的受编码单元的β值为：
在rPOC＝1中的受编码单元的β值为：
在rPOC＝3中的受编码单元的β值为：
在rPOC＝5中的受编码单元的β值为：
在rPOC＝7中的受编码单元的β值为：
其中且
B、以当前编码单元U8n+4为起点，估计受当前编码单元U8n+4影响的编码单元U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7的失真，
B1、受U8n+4影响的编码单元U8n+2的失真估计为其中，H8n+2表示受当前编码单元U8n+4影响的编码单元U8n+2的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+4无关的中间值， 且 为经验值；
B2、受U8n+4影响的编码单元U8n+6的失真估计为其中，H8n+6表示受当前编码单元U8n+4影响的编码单元U8n+6的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+4无关的中间值， 且 为经验值；
B3、受U8n+4影响的编码单元U8n+1的失真估计为其中，H8n+1表示受当前编码单元U8n+4影响的编码单元失真U8n+1的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B1知E8n+2＝γ8n+2·E8n+4+I8n+2，代入上述E8n+1，则其中，为与o8n+4无关的中间值， 且 为经验值；
B4、受U8n+4影响的编码单元U8n+3的失真估计为其中，H8n+3表示受当前编码单元U8n+4影响的编码单元U8n+3的码率， ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B1知E8n+2＝γ8n+2·E8n+4+I8n+2，代入上述E8n+3，则其中，为与o8n+4无关的中间值， 且 为经验值；
B5、受U8n+4影响的编码单元U8n+5的失真估计为其中，H8n+5表示受当前编码单元U8n+4影响的编码单元U8n+5的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B2知E8n+6＝γ8n+6·E8n+4+I8n+6，代入上述E8n+5，则其中，为与o8n+4无关的中间值， 且 为经验值；
B6、受U8n+4影响的编码单元U8n+7的失真估计为其中，H8n+7表示受当前编码单元U8n+4影响的编码单元U8n+7的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B2知E8n+6＝γ8n+6·E8n+8+I8n+6，代入上述E8n+7，则其中，为与o8n+4无关的中间值， 且 为经验值；
C、以当前编码单元U8n+2为起点，估计受当前编码单元U8n+2影响的编码单元U8n+1,U8n+3的失真，
C1、受U8n+2影响的编码单元U8n+1的失真估计为其中，Q8n+1表示受当前编码单元U8n+2影响的编码单元U8n+1的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+2无关的中间值， 且 为经验值；
C2、受U8n+2影响的编码单元U8n+3的失真估计为其中，Q8n+3表示受当前编码单元U8n+2影响的编码单元U8n+3的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+2无关的中间值， 且 为经验值；
D、以当前编码单元U8n+6为起点，估计受当前编码单元U8n+6影响的编码单元U8n+5,U8n+7的失真，
D1、受U8n+6影响的编码单元U8n+5的失真估计为其中，Q8n+5表示受当前编码单元U8n+6影响的编码单元U8n+5的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+6无关的中间值， 且 为经验值；
D2、受U8n+6影响的编码单元U8n+7的失真估计为其中，Q8n+7表示受当前编码单元U8n+6影响的编码单元U8n+7的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+6无关的中间值， 且 为经验值。
进一步地，S5所述α为0.94±0.3。
进一步地，S5所述F(θ)的取值范围为(0,1]。
本发明的有益效果是：
与高复杂度的全局率失真优化方案不同，本发明提出了一种可实时实现的层次化时域率失真优化方案，并在新一代视频编码标准HEVC中随机接入层次结构下实现，在HEVC的随机接入通测条件下，包括19个测试序列，5种不同分辨率，获得平均增益1.4％，其中背景不变序列“BasketballDrill”编码增益最大，其编码增益为3.8％，本方案适用于背景不变或者运动缓慢的序列，如新闻、视频会议、监控视频等。
附图说明
图1随机接入层次编码结构。
图2随机接入视频编码中主要参考关系。
图3随机接入视频编码中时域传播链。
图4 BasketballDrill的率失真曲线图。
图5为本发明的流程图。
具体实施方式
下面结合实施例和附图，详细说明本发明的技术方案。
如图5所示，采用开发环境为Visual Studio2010,基于HEVC的参考软件HM16.0：
S1、分析随机接入编码中编码单元间在同层及不同层的时域依赖性，并根据随机接入编码中时域依赖性建立嵌套的层次化时域传播链，其中，所述随机接入层次结构具体为：每8帧为一个GOP，将所述GOP内的帧分别分配到不同的层，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，每帧的EOC代表该帧在整个编码序列中的绝对编码顺序号，每帧的rEOC代表该帧在所属GOP中的相对编码顺序号，EOC＝feoc(POC),即每个GOP的播放顺序下第一帧的rPOC＝1，该帧编码顺序为4，则rEOC＝4，(在随即接入视频编码中编码顺序和解码顺序不一致,需考虑前向参考及后向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)大于当前帧的POC，反之为后向参考)，其中，feoc(*)为POC与EOC的映射关系。
具有相同rPOC或rEOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示：
表1随机接入视频编码中参考帧集合
Ref 1/2/3/4代表第一/二/三/四个参考帧，Delta POC代表当前帧及参考帧的POC之差，所述量化参数(quantization parameter，QP)分配规则具体为：Delta QP代表当前帧及I帧的QP之差，在第一层中的帧具有最小的Delta QP＝1，因此第1层拥有所有P/B帧中最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得所有P/B帧中相对最高的重建视频质量，所述参考帧管理规则为：每帧有三个或四个参考帧，参考帧POC由当前帧POC及Delta POC确定，得到各参考帧被参考比例，其中，所述各参考帧被参考比例通过统计试验获取，为经验值，如表2所示。
表2各参考帧被参考比例
(a)rPOC为8的参考帧的被参考比例
Delta POC ‐7 ‐6 ‐5 ‐4 ‐3 ‐2
平均参考比例 0 0.11 0.04 0.68 0.05 0.77
Delta POC ‐1 1 2 3 4 5
平均参考比例 0.85 0.82 0.69 0.04 0.60 0.03
Delta POC 6 7 8 16 / /
平均参考比例 0 0 0.52 0.09 / /
(b)rPOC为4的参考帧的被参考比例
Delta POC ‐3 ‐2 ‐1 1 2 3 12
平均参考比例 0.10 0.71 0.88 0.88 0.74 0.07 0.10
(c)rPOC为2的参考帧的被参考比例
Delta POC ‐1 1 4
平均参考比例 0.75 0.88 0.11
(d)rPOC为6的参考帧的被参考比例
Delta POC ‐1 1 4 6 10
平均参考比例 0.87 0.86 0.10 0.14 0.15
rPOC＝8的key帧仅考虑最近前一key帧对其的影响，rPOC＝2、3、4的帧仅考虑相对质量较高的最近两帧对其的影响，连接考虑在内的时域关系，成嵌套的层次化时域传播链，如图3所示；
S2、层次化时域依赖性的率失真优化建模，具体为：
S21、根据S1所述时域传播链，考虑当前编码单元第8n+8个编码单元U8n+8在rPOC＝8的key帧f8n+8中，所述U8n+8的后向受影响编码单元为U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...(以编码先后顺序排列)，
当前编码单元第8n+4个编码单元U8n+4在rPOC＝4的非key帧f8n+4中，受所述U8n+4的影响编码单元为U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7(以编码先后顺序排列)，
当前编码单元第8n+2个编码单元U8n+2在rPOC＝2的非key帧f8n+2中，受所述U8n+2的影响编码单元为U8n+1,U8n+3(以编码先后顺序排列)，
当前编码单元第8n+6个编码单元U8n+6在rPOC＝6的非key帧f8n+6中，受所述U8n+6的影响编码单元为U8n+5,U8n+7(以编码先后顺序排列)，
当前编码单元第8n+1,8n+3,8n+5,8n+7个编码单元U8n+1,U8n+3,U8n+5,U8n+7在rPOC＝1、rPOC＝3、rPOC＝5、rPOC＝7的非key帧f8n+1,f8n+3,f8n+5,f8n+7中，不存在受所述U8n+1,U8n+3,U8n+5,U8n+7影响的编码单元，
其中，n＝0,1,2,…,M,M代表在整个序列中GOP的个数，8n+8、8n+4、8n+2、8n+1，8n+3、8n+6、8n+5、8n+7、8n+16代表当前编码单元所在帧的播放顺序；
S22、依次求解S21所述f8n+8中的U8n+8的时域率失真优化目标方程，S21所述f8n+4中的U8n+4的时域率失真优化目标方程，S21所述f8n+2中的U8n+2的时域率失真优化目标方程，S21所述f8n+6中的U8n+6的时域率失真优化目标方程，S21所述f8n+1中的U8n+1的时域率失真优化目标方程，S21所述f8n+3中的U8n+3的时域率失真优化目标方程，S21所述f8n+5中的U8n+5的时域率失真优化目标方程，S21所述f8n+7中的U8n+7的时域率失真优化目标方程；
S3、求传播因子κi,i＝8n+8,8n+6,8n+4,8n+2，具体步骤为
S31、当前编码单元U8n+8在rPOC＝8的key帧f8n+8中，得到影响因子其中β为相互依赖的两个编码单元之间影响程度，如S3.A所述；
S32、当前编码单元U8n+4分别在rPOC＝4的非key帧f8n+4中，其中，γ为相互依赖的两个编码单元之间影响程度，
其中，且 为经验值；
S33、当前编码单元U8n+2在rPOC＝2的非key帧f8n+2中，κ8n+2＝τ8n+1+τ8n+3，
其中，且 为经验值；
S34、当前编码单元U8n+6在rPOC＝2的非key帧f8n+6中，κ8n+6＝τ8n+5+τ8n+7， 其中，且 为经验值；
S4、进行率失真优化，具体步骤如下：
不同层的编码单元共享同一个全局拉格朗日乘子，即结合当前编码单元的影响因子κv，通过公式进行率失真优化，其中，λHM4为同在layer4中(如图1所示)编码单元在HEVC中的预定义拉格朗日乘子，为偏导符号。
表1中列出了一个GOP中8个帧的参考帧集合。在layer1-3中的帧可以作为参考帧，被其他帧选为参考帧的参考比例整理在表2中，Delta POC表示某帧与其参考帧的POC之差。对于layer1的key帧，即参考帧的rPOC为8的帧，与其Delta POC为(-4、-2、-1、1、2、4、8)的帧参考比例均大于0.5，依赖关系最高。仅考虑帧间最强依赖关系，各参考帧与其他帧的关系可表示成图2，将主要依赖关系链接起来得到如图3的随机接入视频编码中时域传播链。
根据时域传播链，将图像分成大小为16x16的不重叠块，沿着箭头方向做原始帧域的运动估计，获得每整块的运动矢量及原始帧运动补偿失真，即MVi、以在第8n+8帧的U8n+8及其后续受其影响的单元为例，说明后续受其影响的编码单元的确定方法。在第8n原始帧中找到与U8n+8具有相同位置的不重叠块，并借用其运动矢量MV8n，以U8n+8为起点，使用该运动矢量，在帧f8n中寻找最佳匹配块U8n，得到(因为第8n帧是第8n+8帧的后向(Backward)帧，因此上标中记作B)。分别以U8n及U8n+8为起点，在第8n+4原始帧中得到两个最佳匹配块，并分别得到和(因为第8n+8帧是第8n+4帧的前向(Forward)帧，因此上标中记作F)，以与两个匹配块最接近的U8n+4作为该帧中受编码U8n+8影响的块，并以U8n+4为起点在帧f8n+2,f8n+6,f8n+3,f8n+5中寻找受U8n+8影响的编码单元。同理，本GOP中受影响的编码块都可以通过双向运动估计确定位置，并得到相应的DOMCP,B,DOMCP,F。对于下一个GOP中，首先在第8n+16帧中寻找U8n+16，得到U8n+8与U8n+16共同确定在第8n+12帧中的受影响单元，并得到和同理，所有后续帧中的受影响单元都可以确定。
根据S21所述f8n+8中的U8n+8的时域率失真优化目标方程，估计当前编码单元U8n+8及后续受影响单元的失真。求以第8n帧为参考帧时，运动补偿失真根据D＝DMCP·β/α,βi＝α·F(θi),且其中量化步长Q与量化参数QP的关系是估计失真
估计U8n+4的失真，受到U8n+8和U8n的影响，可以得到和进而估计双向预测运动补偿失真通过大量实验发现，在全序列及不同量化参数QP下ω的平均值为0.3，具体的如表3所示。
表3全序列及不同量化参数QP下ω的平均值
QP Class A Class B Class C Class D Class F
22 0.27 0.31 0.27 0.25 0.27
27 0.28 0.31 0.28 0.28 0.28
32 0.29 0.31 0.30 0.31 0.29
37 0.31 0.32 0.31 0.33 0.30
选择最小的运动补偿失真估计值为U8n+4的运动补偿失真，即
根据公式D＝e-bRDMCP，求
根据估计
同时，均与o8n+8无关，为常数，因此可估计出U8n+4的失真，总结为D8n+4＝β8n+4·D8n+8+L8n+4，L8n+4与o8n+8无关，为常数。其中
估计U8n+6的失真，受到U8n+8和U8n+4的影响，可以得到和进而估计双向预测运动补偿失真
选择最小的运动补偿失真估计值为U8n+6的运动补偿失真，即
根据D＝e-bRDMCP，求
根据估计 同时， 均与o8n+8无关，为常数，估计出U8n+6的失真，即，D8n+6＝β8n+6·D8n+8+L8n+6，其中，β8n+6根据DMCP的大小选择，即L8n+6与o8n+8无关，为常数。
同理，可以估计出当前GOP中所有受影响块的失真，相关公式如S3.A所示。
估计U8n+16的失真(key帧，单向)，受到U8n+8的影响，可以得到根据D＝e-bRDMCP，得到其中，同理，可以估计出在key帧中任意受到影响的单元的编码失真，如第y(y≥n，整数)个单元U8y，即 与o8n+8无关，为常数。当得到U8n+16的失真估计值D8n+16后，可将U8n+16看作U8n+8，使用上面方法估计U8n+16所在GOP中其他受到影响编码单元失真。后续GOP中受到影响编码单元可依次估计得出。
将所有受到编码单元U8n+8影响的单元的编码失真带入S22所述f8n+8中的U8n+8的时域率失真优化目标方程，删除所有的与o8n+8无关的项，得到其中传播因子λg为layer4中编码帧的预定义拉格朗日乘子值。当编码单元在layer2、layer3时，可根据S22所述f8n+4中的U8n+4的时域率失真优化目标方程，S22所述f8n+2中的U8n+2的时域率失真优化目标方程，S22所述f8n+6中的U8n+6的时域率失真优化目标方程，分别估计受到影响单元的失真及相应的传播因子，最后结合layer4中拉格朗日乘子预定义值，进行率失真优化，即根据其中， 其中κ8n+2＝τ8n+1+τ8n+3和其中κ8n+6＝τ8n+5+τ8n+7。注意：在layer2和layer3的编码单元仅影响当前GOP内的其他单元。
本发明中，以16x16大小为基本单位，并计算相应的传播因子，而HEVC中基本编码单位CU大小是64x64，因此将其中的16个大小为16x16的基本单元的传播因子均值作为该CU的传播因子，并结合layer4的预定义拉格朗日乘子，对各CU进行优化编码。
实验使用JCT-VC的通用测试序列和随机接入通用测试条件,其中通用测试序列如表4，通用测试条件为使用随机接入推荐测试结构，QP采用27,32,37,42，每32帧插入一个I帧，相对比较结果为HEVC的参考软件HM16.0。测试结果如表4所示。
表4在随机接入通用测试条件下亮度码率节省
表5在随机接入通用测试条件下本发明测试时间比较(单位为小时，H)
从表4中可以看出采用该方法后可获得平均BD码率节省约1.4％，节省BD码率最高可达3.8％。表5给出了本发明测试时间比较，与HM16.0相比编码时间仅平均增长了4％。同时，本专利方案可以与QP调整方案相结合，如与多QP方案结合(QP变动范围为[-3,3])，与HM16.0相比可获得平均BD码率节省约3.8％。其中测试序列BasketballDrill的率失真曲线图如图4所示。由图4可以看出本方法的性能表现优于原始的HEVC参考软件HM16.0的性能。

Claims (5)

1.一种随机接入视频编码中层次化时域率失真优化方法，其特征在于，具体步骤如下：
S1、根据随机接入视频编码中时域依赖性，建立嵌套的层次化时域传播链，所述嵌套的层次化时域传播链具有如下特性：所述随机接入视频编码中每个GOP中rPOC＝8的帧仅考虑前一key帧对其的影响，rPOC＝1、2、3、4、5、6、7的帧仅考虑相对质量较高的最近两帧对其的影响，如图3所示，通过统计实验得到各参考帧被参考比例，如表2所示：
对rPOC＝8的参考帧，Delta POC为(-4,-2,-1,1,2,4,8)的帧以rPOC＝8的帧为参考帧的比例相对最大，为rPOC＝8的参考帧的主要参考关系，将主要参考关系连接成如图2(a)所示，即rPOC＝8的参考帧f8n+8，帧f8n+4,f8n+6,f8n+7,f8n+9,f8n+10,f8n+12,f8n+16中(其中，这些帧与f8n+8的Delta POC分别为-4,-2,-1,1,2,4,8)的编码单元选择参考帧f8n+8的比例相对最大，
对rPOC＝4的参考帧，Delta POC为(-2,-1,1,2)的帧以rPOC＝4的帧为参考帧的比例相对最大，为rPOC＝4的参考帧的主要参考关系，将主要参考关系连接成如图2(b)所示，即rPOC＝4的参考帧f8n+4，帧f8n+2,f8n+3,f8n+5,f8n+6中(其中，这些帧与f8n+4的Delta POC分别为-2,-1,1,2)的编码单元选择参考帧f8n+4的比例相对最大，
对rPOC＝2的参考帧，Delta POC为(-1,1)的帧以rPOC＝2的帧为参考帧的比例相对最大，为rPOC＝2的参考帧的主要参考关系，将主要参考关系连接成如图2(c)所示，即rPOC＝2的参考帧f8n+2，帧f8n+1,f8n+3中(其中，这些帧与f8n+2的Delta POC分别为-1,1)的编码单元选择参考帧f8n+2的比例相对最大，
对rPOC＝6的参考帧，Delta POC为(-1,1)的帧以rPOC＝6的帧为参考帧的比例相对最大，为rPOC＝6的参考帧的主要参考关系，将主要参考关系连接成如图2(c)所示，即rPOC＝6的参考帧f8n+6，帧f8n+5,f8n+7中(其中，这些帧与f8n+6的Delta POC分别为-1,1)的编码单元选择参考帧f8n+6的比例相对最大，
n＝0,1,2,...,m,...,M，M代表在随机接入视频编码中整个序列中GOP的个数，
根据随机接入视频编码中主要参考关系，获得如图3所示嵌套的层次化时域传播链；
S2、层次化时域依赖性的率失真优化建模，具体为：
定义当前编码单元Us为帧fs中第a(a＝1,2,3,...,A)个编码单元，其中，s＝8n+8,8n+4,8n+2,8n+6,8n+1,8n+3,8n+5,8n+7，
S21、根据S1所述时域传播链，
当前编码单元U8n+8在rPOC＝8的key帧f8n+8中时，受所述U8n+8影响的时域上的编码单元为U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...，
当前编码单元U8n+4在rPOC＝4的非key帧f8n+4中时，受所述U8n+4影响的时域上的编码单元为U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7，
当前编码单元U8n+2在rPOC＝2的非key帧f8n+2中时，受所述U8n+2影响的时域上的编码单元为U8n+1,U8n+3，
当前编码单元U8n+6在rPOC＝6的非key帧f8n+2中时，受所述U8n+6影响的时域上的编码单元为U8n+5,U8n+7，
当前编码单元U8n+1在rPOC＝1的非key帧f8n+1中时，不存在受所述U8n+1影响的时域上的编码单元，
当前编码单元U8n+3在rPOC＝1的非key帧f8n+3中时，不存在受所述U8n+3影响的时域上的编码单元，
当前编码单元U8n+5在rPOC＝1的非key帧f8n+5中时，不存在受所述U8n+5影响的时域上的编码单元，
当前编码单元U8n+7在rPOC＝1的非key帧f8n+7中时，不存在受所述U8n+7影响的时域上的编码单元，
其中，8n+8、8n+4、8n+2、8n+1、8n+3、8n+6、8n+5、8n+7、8n+16代表当前编码单元所在帧的播放顺序；
S22、求时域率失真优化目标方程，包括：S21所述f8n+8中的U8n+8的时域率失真优化目标方程，S21所述f8n+4中的U8n+4的时域率失真优化目标方程，S21所述f8n+2中的U8n+2的时域率失真优化目标方程，S21所述f8n+6中的U8n+6的时域率失真优化目标方程，S21所述f8n+1中的U8n+1的时域率失真优化目标方程，S21所述f8n+3中的U8n+3的时域率失真优化目标方程，S21所述f8n+5中的U8n+5的时域率失真优化目标方程，S21所述f8n+7中的U8n+7的时域率失真优化目标方程；
S3、根据时域率失真优化目标方程，进行编码单元失真估计，估计受当前编码单元U8n+8影响的编码单元U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...的失真，估计受当前编码单元U8n+4影响的编码单元U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7的失真，估计受当前编码单元U8n+2影响的编码单元U8n+1,U8n+3的失真，估计受当前编码单元U8n+6影响的编码单元U8n+5,U8n+7的失真；
S4、将S3中所述编码失真估计代入到S22所述时域率失真优化目标方程，删除所有与当前编码单元的编码参数无关的中间值，得到其中，κv,v＝8n+8,8n+6,8n+4,8n+2，具体为：
A、当前编码单元U8n+8在rPOC＝8的key帧f8n+8中时，得到传播因子β为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.A所述；
B、当前编码单元U8n+4在rPOC＝4的非key帧f8n+4中时，得到传播因子其中，γ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.B所述；
C、当前编码单元U8n+2在rPOC＝2的非key帧f8n+2中时，得到传播因子κ8n+2＝τ8n+1+τ8n+3，其中，τ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.C所述；
D、当前编码单元U8n+6在rPOC＝2的非key帧f8n+6中，得到传播因子κ8n+6＝τ8n+5+τ8n+7，其中，τ为相互依赖的两个编码单元之间影响程度，具体求解步骤如S3.D所述；
S5、求取全局拉格朗日乘子所有编码单元共享所述全局拉格朗日乘子λg，其中，λHM4为rPOC＝1帧中编码单元在HEVC中的预定义拉格朗日乘子，为偏导符号；
S6、将S4中所述变形为并结合S5中所述全局拉格朗日乘子λg及S4所述传播因子κv，进行层次化时域率失真优化，具体为：
对于在rPOC＝8的帧f8n+8中的编码单元U8n+8，采用进行时域率失真优化，
对于在rPOC＝4的帧f8n+4中的编码单元U8n+4，采用进行时域率失真优化，
对于在rPOC＝2的帧f8n+2中的编码单元U8n+2，采用进行时域率失真优化，
对于在rPOC＝6的帧f8n+6中的编码单元U8n+6，采用进行时域率失真优化，
对于在rPOC＝1的帧f8n+1中的编码单元U8n+1，采用S21所述进行时域率失真优化，
对于在rPOC＝3的帧f8n+3中的编码单元U8n+3，采用S21所述进行时域率失真优化，
对于在rPOC＝5的帧U8n+5中的编码单元U8n+5，采用S21所述进行时域率失真优化，
对于在rPOC＝7的帧U8n+7中的编码单元U8n+7，采用S21所述进行时域率失真优化；
S7、依次对rPOC＝8的帧f8n+8中所有编码单元(共A个编码单元)进行步骤S22.A、S3.A、S4.A、S5、S6的所述的率失真优化，
依次对rPOC＝4的帧f8n+4中所有编码单元(共A个编码单元)进行步骤S22.B、S3.B、S4.B、S5、S6的所述的率失真优化，
依次对rPOC＝2的帧f8n+2中所有编码单元(共A个编码单元)进行步骤S22.C、S3.C、S4.C、S5、S6的所述的率失真优化，
依次对rPOC＝6的帧f8n+6中所有编码单元(共A个编码单元)进行步骤S22.D、S3.D、S4.D、S5、S6的所述的率失真优化，
依次对rPOC＝1的帧f8n+1中所有编码单元(共A个编码单元)进行步骤S22.E、S5、S6的所述的率失真优化，
依次对rPOC＝3的帧f8n+3中所有编码单元(共A个编码单元)进行步骤S22.F、S5、S6的所述的率失真优化，
依次对rPOC＝5的帧f8n+5中所有编码单元(共A个编码单元)进行步骤S22.G、S5、S6的所述的率失真优化，
依次对rPOC＝7的帧f8n+7中所有编码单元(共A个编码单元)进行步骤S22.H、S5、S6的所述的率失真优化；
S8、对S1所述随机接入视频编码中其他帧进行步骤S2-S7的所述率失真优化处理。
2.根据权利要求1所述的一种随机接入视频编码中层次化时域率失真优化方法，其特征在于：S22所述求解时域率失真优化目标方程具体为：
A、S21所述f8n+8中的U8n+8的时域率失真优化目标方程为其中，代表的U8n+8编码参数集合，
B、S21所述f8n+4中的U8n+4的时域率失真优化目标方程为 min o f e o c ( 8 n + 4 ) D f e o c ( 8 n + 4 ) ( o f e o c ( 8 n + 4 ) ) + D f e o c ( 8 n + 2 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 2 ) * ) + D f e o c ( 8 n + 6 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 6 ) * ) + D f e o c ( 8 n + 1 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 2 ) * , o f e o c ( 8 n + 1 ) * ) + D f e o c ( 8 n + 3 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 2 ) * , o f e o c ( 8 n + 3 ) * ) + D f e o c ( 8 n + 5 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 6 ) * , o f e o c ( 8 n + 5 ) * ) + D f e o c ( 8 n + 7 ) ( o f e o c ( 8 n + 4 ) , o f e o c ( 8 n + 6 ) * , o f e o c ( 8 n + 7 ) * ) + λ g · R f e o c ( 8 n + 4 ) ( o f e o c ( 8 n + 4 ) ) ,
C、S21所述f8n+2中的U8n+2的时域率失真优化目标方程为
D、S21所述f8n+6中的U8n+6的时域率失真优化目标方程为
E、S21所述f8n+1中的U8n+1的时域率失真优化目标方程为
F、S21所述f8n+3中的U8n+3的时域率失真优化目标方程为
G、S21所述f8n+5中的U8n+5的时域率失真优化目标方程为
H、S21所述f8n+7中的U8n+7的时域率失真优化目标方程为
其中，代表的U8n+4编码参数，代表的U8n+2编码参数，代表的U8n+6编码参数，代表的U8n+1编码参数，代表的U8n+3编码参数，代表的U8n+5编码参数，代表的U8n+7编码参数，*代表该编码模式为假设可以得到最优编码参数。
3.根据权利要求1所述的一种随机接入视频编码中层次化时域率失真优化方法，其特征在于：S3所述进行编码单元失真估计具体为：
A、以当前编码单元U8n+8为起点，估计受当前编码单元U8n+8影响的编码单元U8n+4,U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7,U8n+16,...的失真，
A1、受U8n+8影响的编码单元U8n+4的失真估计为其中，F代表前向运动补偿，B代表后向运动补偿，bi代表双向运动补偿， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+8无关的中间值， 且为经验值；
A2、受U8n+8影响的编码单元U8n+2的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+2，则
其中，为与o8n+8无关的中间值， 且
A3、受U8n+8影响的编码单元U8n+6的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+6，则
其中，为与o8n+8无关的中间值， 且
A4、受U8n+8影响的编码单元U8n+1的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A2知D8n+2＝β8n+2·D8n+8+L8n+2，代入上述D8n+1，则
其中，为与o8n+8无关的中间值， 且
A5、受U8n+8影响的编码单元U8n+3的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A2知D8n+2＝β8n+2·D8n+8+L8n+2，由A1知D8n+4＝β8n+4·D8n+8+L8n+4，代入上述D8n+3，则其中，为与o8n+8无关的中间值， 且
A6、受U8n+8影响的编码单元U8n+5的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由A1知D8n+4＝β8n+4·D8n+8+L8n+4，由A3知D8n+6＝β8n+6·D8n+8+L8n+6，代入上述D8n+5，则其中，为与o8n+8无关的中间值， 且
A7、受U8n+8影响的编码单元U8n+7的失真估计为其中， ω为常数，α为常数，DOMCP代表在原始帧中的运动补偿失真，
且由S233知D8n+6＝β8n+6·D8n+8+L8n+6，代入上述D8n+7，则
其中，为与o8n+8无关的中间值， 且
A8、受U8n+8影响的所有在key帧中的后续编码单元U8y+16的失真可估计为其中，y(y≥n，整数)为该受到影响的编码单元所在GOP的序号，
为与o8n+8无关的中间值，B代表后向运动补偿，且
A9、同理，以A8中所述后续编码单元U8y+16为起点，依次进行A1、A2、A3、A4、A5、A6、A7所述步骤，并结合A8中所述后续编码单元U8n+16,U8n+24,...,U8y+8,U8y+16的失真及U8n+8的失真，求得U8y+16所在GOP其他帧中受影响编码单元的失真，进而得到后续β值，具体为：
在rPOC＝4中的受影响编码单元的β值为：
β 8 ( n + k ) + 4 = β 8 ( n + k ) + 4 F · Π t = n + 1 n + k β 8 t + 8 B i f D 8 ( n + k ) + 4 M C P = D 8 ( n + k ) + 4 M C P , F β 8 ( n + k ) + 4 F · Π t = n + 1 n + k - 1 β 8 t + 8 B i f D 8 ( n + k ) + 4 M C P = D 8 ( n + k ) + 4 M C P , B β 8 ( n + k ) + 4 b i · ω · Π t = n + 1 n + k - 1 β 8 t + 8 B · ( 1 + β 8 ( n + k ) + 8 B ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝6中的受编码单元的β值为：
β 8 ( n + k ) + 6 = β 8 ( n + k ) + 6 F · Π t = n + 1 n + k β 8 t + 8 B i f D 8 ( n + k ) + 6 M C P = D 8 ( n + k ) + 6 M C P , F β 8 ( n + k ) + 6 F · β 8 ( n + k ) + 4 i f D 8 ( n + k ) + 6 M C P = D 8 ( n + k ) + 6 M C P , B β 8 ( n + k ) + 6 b i · ω · ( Π t = n + 1 n + k β 8 t + 8 B + β 8 ( n + k ) + 4 ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝2中的受编码单元的β值为：
β 8 ( n + k ) + 2 = β 8 ( n + k ) + 2 F · β 8 ( n + k ) + 4 i f D 8 ( n + k ) + 2 M C P = D 8 ( n + k ) + 2 M C P , F β 8 ( n + k ) + 2 F · Π t = n + 1 n + k - 1 β 8 t + 8 B i f D 8 ( n + k ) + 2 M C P = D 8 ( n + k ) + 2 M C P , B β 8 ( n + k ) + 2 b i · ω · ( Π t = n + 1 n + k - 1 β 8 t + 8 B + β 8 ( n + k ) + 4 ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝1中的受编码单元的β值为：
β 8 ( n + k ) + 1 = β 8 ( n + k ) + 1 F · β 8 ( n + k ) + 2 i f D 8 ( n + k ) + 1 M C P = D 8 ( n + k ) + 1 M C P , F β 8 ( n + k ) + 1 B · Π t = n + 1 n + k - 1 β 8 t + 8 B i f D 8 ( n + k ) + 1 M C P = D 8 ( n + k ) + 1 M C P , B β 8 ( n + k ) + 1 b i · ω · ( Π t = n + 1 n + k - 1 β 8 t + 8 B + β 8 ( n + k ) + 2 ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝3中的受编码单元的β值为：
β 8 ( n + k ) + 3 = β 8 ( n + k ) + 3 F · β 8 ( n + k ) + 4 i f D 8 ( n + k ) + 3 M C P = D 8 ( n + k ) + 3 M C P , F β 8 ( n + k ) + 3 B · β 8 ( n + k ) + 2 i f D 8 ( n + k ) + 3 M C P = D 8 ( n + k ) + 3 M C P , B β 8 ( n + k ) + 3 b i · ω · ( β 8 ( n + k ) + 4 + β 8 ( n + k ) + 2 ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝5中的受编码单元的β值为：
β 8 ( n + k ) + 5 = β 8 ( n + k ) + 5 F · β 8 ( n + k ) + 6 i f D 8 ( n + k ) + 5 M C P = D 8 ( n + k ) + 5 M C P , F β 8 ( n + k ) + 5 B · β 8 ( n + k ) + 4 i f D 8 ( n + k ) + 5 M C P = D 8 ( n + k ) + 5 M C P , B β 8 ( n + k ) + 5 b i · ω · ( β 8 ( n + k ) + 6 + β 8 ( n + k ) + 4 ) e l s e k = 1 , 2 , ... , M - n ,
在rPOC＝7中的受编码单元的β值为：
β 8 ( n + k ) + 7 = β 8 ( n + k ) + 7 F · Π t = n + 1 n + k β 8 t + 8 B i f D 8 ( n + k ) + 7 M C P = D 8 ( n + k ) + 7 M C P , F β 8 ( n + k ) + 7 F · β 8 ( n + k ) + 6 i f D 8 ( n + k ) + 7 M C P = D 8 ( n + k ) + 7 M C P , B β 8 ( n + k ) + 7 b i · ω · ( Π t = n + 1 n + k β 8 t + 8 B + β 8 ( n + k ) + 6 ) e l s e k = 1 , 2 , ... , M - n ,
其中且
B、以当前编码单元U8n+4为起点，估计受当前编码单元U8n+4影响的编码单元U8n+2,U8n+1,U8n+3,U8n+6,U8n+5,U8n+7的失真，
B1、受U8n+4影响的编码单元U8n+2的失真估计为其中，H8n+2表示受当前编码单元U8n+4影响的编码单元U8n+2的码率， ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+4无关的中间值， 且为经验值；
B2、受U8n+4影响的编码单元U8n+6的失真估计为其中，H8n+6表示受当前编码单元U8n+4影响的编码单元U8n+6的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+4无关的中间值， 且为经验值；
B3、受U8n+4影响的编码单元U8n+1的失真估计为其中，H8n+1表示受当前编码单元U8n+4影响的编码单元失真U8n+1的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B1知E8n+2＝γ8n+2·E8n+4+I8n+2，代入上述E8n+1，则其中，为与o8n+4无关的中间值， 且为经验值；
B4、受U8n+4影响的编码单元U8n+3的失真估计为其中，H8n+3表示受当前编码单元U8n+4影响的编码单元U8n+3的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B1知E8n+2＝γ8n+2·E8n+4+I8n+2，代入上述E8n+3，则其中，为与o8n+4无关的中间值， 且为经验值；
B5、受U8n+4影响的编码单元U8n+5的失真估计为其中，H8n+5表示受当前编码单元U8n+4影响的编码单元U8n+5的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B2知E8n+6＝γ8n+6·E8n+4+I8n+6，代入上述E8n+5，则其中，为与o8n+4无关的中间值， 且为经验值；
B6、受U8n+4影响的编码单元U8n+7的失真估计为其中，H8n+7表示受当前编码单元U8n+4影响的编码单元U8n+7的码率，
ω为常数，α为常数，EMCP表示运动补偿失真，EOMCP代表在原始帧中的运动补偿失真，
且由B2知E8n+6＝γ8n+6·E8n+8+I8n+6，代入上述E8n+7，则其中，为与o8n+4无关的中间值， 且为经验值；
C、以当前编码单元U8n+2为起点，估计受当前编码单元U8n+2影响的编码单元U8n+1,U8n+3的失真，
C1、受U8n+2影响的编码单元U8n+1的失真估计为其中，Q8n+1表示受当前编码单元U8n+2影响的编码单元U8n+1的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+2无关的中间值， 且为经验值；
C2、受U8n+2影响的编码单元U8n+3的失真估计为其中，Q8n+3表示受当前编码单元U8n+2影响的编码单元U8n+3的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+2无关的中间值， 且为经验值；
D、以当前编码单元U8n+6为起点，估计受当前编码单元U8n+6影响的编码单元U8n+5,U8n+7的失真，
D1、受U8n+6影响的编码单元U8n+5的失真估计为其中，Q8n+5表示受当前编码单元U8n+6影响的编码单元U8n+5的码率，
ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+6无关的中间值， 且为经验值；
D2、受U8n+6影响的编码单元U8n+7的失真估计为其中，Q8n+7表示受当前编码单元U8n+6影响的编码单元U8n+7的码率， ω为常数，α为常数，GMCP表示运动补偿失真，GOMCP代表在原始帧中的运动补偿失真，
则其中，为与o8n+6无关的中间值， 且为经验值。
4.根据权利要求1所述的一种随机接入视频编码中层次化时域率失真优化方法，其特征在于：S5所述α为0.94±0.3。
5.根据权利要求1所述的一种随机接入视频编码中层次化时域率失真优化方法，其特征在于：S5所述F(θ)的取值范围为(0,1]。
CN201610247952.2A 2016-04-19 2016-04-19 一种随机接入视频编码中层次化时域率失真优化方法 Active CN105872545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610247952.2A CN105872545B (zh) 2016-04-19 2016-04-19 一种随机接入视频编码中层次化时域率失真优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610247952.2A CN105872545B (zh) 2016-04-19 2016-04-19 一种随机接入视频编码中层次化时域率失真优化方法

Publications (2)

Publication Number Publication Date
CN105872545A true CN105872545A (zh) 2016-08-17
CN105872545B CN105872545B (zh) 2019-03-29

Family

ID=56633506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610247952.2A Active CN105872545B (zh) 2016-04-19 2016-04-19 一种随机接入视频编码中层次化时域率失真优化方法

Country Status (1)

Country Link
CN (1) CN105872545B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197267A (zh) * 2017-06-28 2017-09-22 陕西师范大学 高效视频编码标准量化参数的分配方法
CN109819253A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
CN111149361A (zh) * 2017-09-26 2020-05-12 高通股份有限公司 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构
CN111918068A (zh) * 2020-08-05 2020-11-10 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
US11418795B2 (en) 2020-08-05 2022-08-16 University Of Electronic Science And Technology Of China Temporal domain rate distortion optimization based on video content characteristic and QP-λcorrection
CN111149361B (zh) * 2017-09-26 2024-05-31 高通股份有限公司 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094944A1 (zh) * 2011-01-10 2012-07-19 华为技术有限公司 视频编码方法、解码方法及终端
CN103281530A (zh) * 2013-05-07 2013-09-04 西安电子科技大学 基于率失真优化的hevc码率控制方法
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN104796703A (zh) * 2015-04-22 2015-07-22 哈尔滨工业大学 基于预测模式率失真分析的可伸缩视频编码的码率控制方法
CN105491402A (zh) * 2015-12-08 2016-04-13 中国电子科技集团公司第二十八研究所 一种基于部分协作通信协议的自适应可分级视频传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094944A1 (zh) * 2011-01-10 2012-07-19 华为技术有限公司 视频编码方法、解码方法及终端
CN103281530A (zh) * 2013-05-07 2013-09-04 西安电子科技大学 基于率失真优化的hevc码率控制方法
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN104796703A (zh) * 2015-04-22 2015-07-22 哈尔滨工业大学 基于预测模式率失真分析的可伸缩视频编码的码率控制方法
CN105491402A (zh) * 2015-12-08 2016-04-13 中国电子科技集团公司第二十八研究所 一种基于部分协作通信协议的自适应可分级视频传输方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI S等: "Lagrangian Multiplier Adaptation for Rate-Distortion Optimization With Inter-Frame Dependency", 《IEEE TRANSACTIONS ON CIRCUITS & SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197267A (zh) * 2017-06-28 2017-09-22 陕西师范大学 高效视频编码标准量化参数的分配方法
CN107197267B (zh) * 2017-06-28 2019-10-25 陕西师范大学 高效视频编码标准量化参数的分配方法
CN111149361A (zh) * 2017-09-26 2020-05-12 高通股份有限公司 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构
CN111149361B (zh) * 2017-09-26 2024-05-31 高通股份有限公司 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构
CN109819253A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
CN111918068A (zh) * 2020-08-05 2020-11-10 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
WO2022027881A1 (zh) * 2020-08-05 2022-02-10 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
CN111918068B (zh) * 2020-08-05 2022-03-08 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
US11418795B2 (en) 2020-08-05 2022-08-16 University Of Electronic Science And Technology Of China Temporal domain rate distortion optimization based on video content characteristic and QP-λcorrection

Also Published As

Publication number Publication date
CN105872545B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
CN105872544B (zh) 低延迟视频编码中时域率失真优化方法
CN105872545A (zh) 一种随机接入视频编码中层次化时域率失真优化方法
US9451266B2 (en) Optimal intra prediction in block-based video coding to calculate minimal activity direction based on texture gradient distribution
Liu et al. Bit allocation for spatial scalability coding of H. 264/SVC with dependent rate-distortion analysis
CN106888024B (zh) 一种基于双向最佳匹配的分布式视频压缩感知重构方法
WO2021196682A1 (zh) 一种基于失真类型传播分析的时域率失真优化方法
CN103546749B (zh) 利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法
CN105120282B (zh) 一种时域依赖的码率控制比特分配方法
CN104853191B (zh) 一种hevc的快速编码方法
CN105791877A (zh) 视频编解码中自适应环路滤波的方法
CN109889852B (zh) 一种基于邻近值的hevc帧内编码优化方法
Wang et al. Rate distortion optimization: A joint framework and algorithms for random access hierarchical video coding
De Abreu et al. Optimal Lagrange multipliers for dependent rate allocation in video coding
CN104796703B (zh) 基于预测模式率失真分析的可伸缩视频编码的码率控制方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN101860753B (zh) 一种基于分形的视频压缩与解压缩方法
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
Vanam et al. H. 264/MPEG-4 AVC encoder parameter selection algorithms for complexity distortion tradeoff
Kim et al. Low-complexity rate-distortion optimal macroblock mode selection and motion estimation for MPEG-like video coders
Wang et al. Lagrangian method based rate-distortion optimization revisited for dependent video coding
US7953147B1 (en) Iteration based method and/or apparatus for offline high quality encoding of multimedia content
Ingole et al. A review on fractal compression and motion estimation techniques
Kumar et al. High-Efficiency Video Coder in Pruned Environment Using Adaptive Quantization Parameter Selection.
CN114079770B (zh) 一种结合非局部低秩和自适应量化约束的hevc后处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant