CN107222742B - 基于时空域相关性的视频编码Merge模式快速选择方法及装置 - Google Patents

基于时空域相关性的视频编码Merge模式快速选择方法及装置 Download PDF

Info

Publication number
CN107222742B
CN107222742B CN201710542455.XA CN201710542455A CN107222742B CN 107222742 B CN107222742 B CN 107222742B CN 201710542455 A CN201710542455 A CN 201710542455A CN 107222742 B CN107222742 B CN 107222742B
Authority
CN
China
Prior art keywords
mode
coding unit
encoded
current
dist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710542455.XA
Other languages
English (en)
Other versions
CN107222742A (zh
Inventor
张昊
蒋冰玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201710542455.XA priority Critical patent/CN107222742B/zh
Publication of CN107222742A publication Critical patent/CN107222742A/zh
Application granted granted Critical
Publication of CN107222742B publication Critical patent/CN107222742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于时空域相关性的视频编码Merge模式快速选择方法及装置,该方法通过时域和空域的信息提前终止FRUC Merge模式,并且根据运动信息简化FRUC Merge的计算复杂度,在保证编码质量的同时,极大的减少了编码时间;本发明简单易用,结构简单,极大地提高了JEM的实用性。

Description

基于时空域相关性的视频编码Merge模式快速选择方法及 装置
技术领域
本发明属于视频解码领域,特别涉及一种基于时空域相关性的视频编码Merge模式快速选择方法及装置。
背景技术
FRUC(Frame-Rate Up Conversion)是将任意两种不同帧率的视频显示格式进行转换的技术。除此之外FRUC还可以应用于低比特率视频编码(LBR)中。在视频编码领域的许多学者早已研究过FRUC技术,而最近,在新一代视频编码标准的制定中,FRUC被再次提出来,并应用在新的标准中。
2015年ITU-T VCEG和ISO/IEC MPEG成立了一个专家小组JVET,开始研究一种新的视频编码标准,其压缩率将显著地超越现有的HEVC标准。JEM作为当下热烈讨论的最新编码软件,在编码框架上还是沿用了HEVC的框架,包括帧内预测、帧间预测、变换、量化、熵编码、以及环路滤波等模块,但在每个模块内部,引入了以往没有的技术和工具。由于这些工具的加入,JEM即新一代编码标准的编码器在编码性能,比如压缩率和视频质量,有着一定的提升,但同时极大地增加了JEM的复杂度,使得实际应用较为困难。在新标准制定的会议上已经人提出关于JEM复杂度的问题,并建议采取相应的改进。
JEM编码器的帧间预测流程如下:步骤一:进行Affine Merge模式,计算AffineMerge模式的率失真代价,并将Affine Merge模式设为最优模式;步骤二:判断最优模式是否为2Nx2N Merge模式,计算2Nx2N Merge模式的率失真代价,若2Nx2N Merge模式的率失真代价小于当前最优模式的率失真代价,则将2Nx2N Merge模式为最优模式;步骤三:判断最优模式是否为FRUC Merge模式,计算FRUC Merge模式的率失真代价,若FRUC Merge模式的率失真代价小于当前最优模式的率失真代价,则将FRUC Merge模式为最优模式;步骤四:判断最优模式是否为2Nx2N模式,计算2Nx2N模式的率失真代价,若2Nx2N模式的率失真代价小于当前最优模式的率失真代价,则将2Nx2N模式为最优模式;第五步:进行水平、垂直、四叉树分割。
由上述步骤可知,在JEM中采用了一个新的帧间预测模式,FRUC Merge模式,它是基于FRUC技术的一种模式。在这个模式中,一个编码单元的编码信息并不传输,而是在解码端直接获得。在FRUC Merge模式中,只有当2Nx2N Merge的标志位为真时,才会进行FRUCMerge模式。FRUC Merge模式主要包括两个步骤:第一步,检查2Nx2N Merge模式的运动矢量候选列表,并选出具有最小匹配误差的候选MV(运动矢量)作为起始点。第二步,根据Bilateral(双边匹配)模式或者Template(模版匹配)模式围绕起始点进行局部搜索,具有最小匹配误差的MV即为整个CU(编码单元)的MV。
第二步中的Bilateral模式和Template模式的具体过程如下:
如图1所示,Bilateral模式搜索是在当前帧(Cur Pic)的前后两个的参考帧(Ref0、Ref1)中,沿当前编码单元的运动轨迹(Motion trajectory),分别在两个不同的参考帧中找到最佳匹配的编码单元,由此获得一对运动向量(MV0、MV1)。假设运动轨迹是连续的,则运动矢量MV0和MV1将与当前图像和两个参考帧之间的时间距离TD0和TD1成正比。还有一种特殊情况,当当前帧在两个参考帧之间,并且从两参考帧到当前帧的时间距离相同时,Bilateral模式可获得基于镜像的双向MV。
如图2所示,Template模式是通过寻找当前编码块(Cur block)与当前帧(CurPic)和参考帧(Ref0)的模版(Template)之间的最佳匹配。
因为在进行FRUC Merge模式的第二步时会带来大量计算,且通过测试得知,JEM在LP(低延时)配置下,FRUC Merge模式时间占比为20%~30%,如何减少该模式不必要的使用和简化该算法,从而减少一定的编码时间,是急需解决的问题。
发明内容
本发明提供了一种基于时空域相关性的视频编码Merge模式快速选择方法及装置,其目的在于,通过时域和空域的信息提前终止FRUC Merge模式,并且根据运动信息简化FRUC Merge的计算复杂度,针对JEM编码器中的一个新工具FRUC,在保证编码质量的同时,减少编码时间,提高JEM的实用性。
一种基于时空域相关性的视频编码Merge模式快速选择方法,在JEM中,所有视频帧中的编码单元依次进行2Nx2N模式、2Nx2N Merge模式、Affine Merge模式和FRUC Merge模式,获得每个模式下编码单元的率失真代价,选择最小率失真代价对应的模式作为编码单元的编码模式;若当前视频帧中当前待编码的编码单元CU在2Nx2N Merge模式下的最优运动矢量MVBest=(0,0)且该编码单元CU的变换系数全0标志位CBFFlag=1,则当前待编码的编码单元CU不需进行FRUC Merge模式。
若当前视频帧不为B帧,则当前待编码的编码单元CU跳过FRUC Merge模式中的Bilateral模式,只进行FRUC Merge模式中的Template模式;
进一步地,若当前视频帧为B帧,在当前待编码的编码单元CU进行FRUC Merge模式中的Bilateral模式计算前,先计算当前待编码的编码单元CU的相邻编码单元的失真加权和DistTotal以及相邻编码单元中选择FRUC Merge模式中的Bilateral模式的编码单元数量Km,再判断是否满足:Km=0且DistTotal>TH,若满足,则当前待编码的编码单元CU跳过FRUCMerge模式中的Bilateral模式,直接进行Template模式,否则,依次进行FRUC Merge模式中的Bilateral模式和Template模式;
DistTotal=DistL*α+DistA*β+DistAL
其中,CUx表示当前待编码的编码单元的相邻单元,x∈{Left、AboveLeft、Above、Col},CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块,所述同位块是指处于参考帧中,且位置和当前待编码的编码单元在当前帧中的位置一样的编码单元;f(Mode(CUx)表示当前待编码的编码单元的相邻单元的模式标志,若属于Bilateral模式,取值为1,否则,取值为0;DistL、DistA、DistAL分别代表当前待编码的编码单元的的左邻块、上邻块、左上邻块所在当前模式的失真;α、β、γ分别为当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数,取值范围为0-1;TH表示加权和阈值,取值在5500~7500之间。
进一步地,所述当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数α、β、γ的取值分别为0.4,0.4,0.2。
进一步地,所述加权和阈值TH的取值为6000。
进一步地,编码单元CU在FRUC Merge模式中Bilateral模式下的率失真代价RDCostBi按照以下公式计算获得:
RDCostBi=D+λR
其中,λ为拉格朗日乘子,R为编码单元在Bilateral模式下的比特数,D是编码单元在Bilateral模式下的失真,取值为SADt
所述SADt是利用编码单元CU在2Nx2N模式下的最优运动矢量对对当前视频帧图像进行运动补偿,得到补偿图像Pic0、Pic1,并通过计算补偿图像Pic0、Pic1在编码单元CU范围内所有像素之间的绝对误差和。
一种基于时空域相关性的视频编码Merge模式快速选择装置,包括:
率失真代价计算单元,用于在JEM中,计算所有视频帧中的编码单元依次进行各种帧间预测模式的率失真代价;
所述帧间预测模式包括2Nx2N模式、2Nx2N Merge模式、Affine Merge模式和FRUCMerge模式;
选择单元,用于选择最小率失真代价对应的模式作为编码单元的编码模式;
跳过单元,对编码单元进行判断,若满足以下条件,则当前待编码的编码单元跳过FRUC Merge模式:
当前视频帧中当前待编码的编码单元CU在2Nx2N Merge模式下的最优运动矢量MVBest=(0,0)且该编码单元CU的变换系数全0标志位CBFFlag=1。
进一步地,按照以下规则对待编码的编码单元是否需要跳过FRUC Merge模式中的Bilateral模式进行判断:
若当前视频帧为B帧,在当前待编码的编码单元CU进行FRUC Merge模式中的Bilateral模式计算前,先计算当前待编码的编码单元CU的相邻编码单元的失真加权和DistTotal以及相邻编码单元中选择FRUC Merge模式中的Bilateral模式的编码单元数量Km,再判断是否满足:Km=0且DistTotal>TH,若满足,则当前待编码的编码单元CU跳过FRUCMerge模式中的Bilateral模式,直接进行Template模式,否则,依次进行FRUC Merge模式中的Bilateral模式和Template模式;
DistTotal=DistL*α+DistA*β+DistAL
其中,CUx表示当前待编码的编码单元的相邻单元,x∈{Left、AboveLeft、Above、Col},CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块,所述同位块是指处于参考帧中,且位置和当前待编码的编码单元在当前帧中的位置一样的编码单元;f(Mode(CUx)表示当前待编码的编码单元的相邻单元的模式标志,若属于Bilateral模式,取值为1,否则,取值为0;DistL、DistA、DistAL分别代表当前待编码的编码单元的的左邻块、上邻块、左上邻块所在当前模式的失真;α、β、γ分别为当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数,取值范围为0-1;TH表示加权和阈值,取值在5500~7500之间。
进一步地,所述当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数α、β、γ的取值分别为0.4,0.4,0.2。
进一步地,所述加权和阈值TH的取值为6000。
进一步地,所述率失真代价计算单元在FRUC Merge模式中Bilateral模式下计算编码单元的率失真代价RD CostBi时按照以下公式计算获得:
RDCostBi=D+λR
其中,λ为拉格朗日乘子,R为编码单元在Bilateral模式下的比特数,D是编码单元在Bilateral模式下的失真,取值为SADt
所述SADt是利用编码单元CU在2Nx2N模式下的最优运动矢量对对当前视频帧图像进行运动补偿,得到补偿图像Pic0、Pic1,并通过计算补偿图像Pic0、Pic1在编码单元CU范围内所有像素之间的绝对误差和。
有益效果
本发明提供了一种基于时空域相关性的视频编码Merge模式快速选择方法及装置,该方法通过时域和空域的信息提前终止FRUC Merge模式,并且根据运动信息简化FRUCMerge的计算复杂度,在保证编码质量的同时,极大的减少了编码时间,具体体现在以下几点:
1.通过2Nx2N Merge模式的MV以及CBF标志,避免了进行不必要的FRUC Merge模式,由此减少了编码时间,提高了编码效率;
2.通过2Nx2N模式所获得的运动信息,简化了FRUC Merge的计算过程,降低了FRUCMerge的计算复杂度,节省了编码时间;
3.通过判断邻块的最优模式是否全不为Bilateral模式,从而避免了进行不必要的FRUC Merge中的Bilateral模式,进一步获得了较大的时间减少量;
通过大量的实验表明,本发明所述的编码效果明显优于现有技术,且本发明简单易用,结构简单,极大地提高了JEM的实用性。
附图说明
图1为Bilateral模式结构示意图;
图2为Template模式结构示意图;
图3为本发明的整体流程图。
具体实施方式
下面将结合附图和实施例对本发明做进一步地说明。
本发明所述方案的主要过程为,首先获取当前CU在2Nx2N Merge模式下的运动信息,利用该信息来判断是否有必要进行FRUC Merge模式。如果2Nx2N Merge模式已经足够匹配,则再进行FRUC Merge模式为多余,经过测试多个序列判断准确度达到95%以上。由于视频内容具有空间相关性,又通过测试发现FRUC Merge模式中Bilateral模式时间占比较大,所以通过空域邻块的模式信息来判断是否进行Bilateral模式。最后,通过2Nx2N模式获得的运动矢量来简化Bilateral模式中的计算。
如图3所示,一种基于时空域相关性的视频编码Merge模式快速选择方法,包括以下步骤:
步骤1:JEM中,首先是进行2Nx2N Merge模式、Affine Merge模式和FRUC Merge模式。
为了在FRUC Merge模式中获得2Nx2N模式的运动矢量,需要先于FRUC Merge模式执行2Nx2N模式。
在2Nx2N模式中,会进行全搜索的运动估计,由此可以获得2Nx2N模式下的最优运动矢量,其中,运动矢量包含水平位移分量MVx和垂直位移分量MVy。
且如果当前帧为B帧,会对前后两个参考帧进行搜索,因此会得到一对运动矢量,否则只有一个。
步骤2:在2Nx2N Merge模式中,会根据时域和空域构建一个2Nx2N Merge模式的运动矢量候选列表,在计算率失真代价时,会对该列表中的每一个MV进行计算,得到率失真代价最小的MV,作为当前待编码的编码单元CU的2Nx2N Merge的最优运动矢量MVBest
CBFFlag为一个判断当前待编码的编码单元CU是否平滑的标志,即变换系数是否全为0,若CBFFlag=1则代表该CU较平滑,否则纹理较为复杂。若满足:
MVBest=(0,0)&&CBFFlag=1 (1)
则跳过FRUC Merge模式,即提前终止FRUC Merge模式,进入步骤9结束本算法直接进行后续模式;否则,进入步骤3;
步骤3:提取当前待编码的编码单元的相邻编码单元CULeft、CUAboveLeft、CUAbove、CUCol,分别代表当前CU的左邻块、左上邻块、上邻块以及同位块。
由于CULeft、CUAboveLeft、CUAbove、CUCol均已经完成编码,可以获得上述编码单元的最优模式Mode(CUx),x∈{Left、AboveLeft、Above、Col}。
DistTotal=DistL*α+DistA*β+DistAL*γ (4)
其中,λ为FRUC Merge模式中的Bilateral模式,Km为上述邻块CU中为Bilateral模式的个数总和,DistL、DistA、DistAL分别代表左、上、左上邻块当前模式的失真,DistTotal为上述邻块失真的加权和,经过大量测试得到α、β、γ的值分别为0.4,0.4,0.2时效果最佳。
若满足
Km=0&&DistTotal>TH (5)
(TH的取值在5500~7500之间,经测试得到为6000时效果最佳),则提前终止FRUCMerge中的Bilateral模式,转到步骤8直接进行Template模式;否则进行步骤4;
步骤4:如果当前帧为B帧(双向预测帧),则进行Bilateral模式的预处理并继续执行步骤5,否则执行步骤8;
步骤5:提取在2Nx2N模式中获得的一对最优运动矢量MV0、MV1;
步骤6:将当前待编码的编码单元CU投影到参考帧中得到CU′,根据最优运动矢量,对CU′进行运动位置补偿,具体公式如公式6、7所示:
其中,Pic0,Pic1代表补偿后的CU块,RefPic0、RefPic1代表当前待编码的编码单元CU在参考帧0和参考帧1上的投影,Scu为CU的范围。
由公式8计算绝对误差和SAD
得到Pic0、Pic1在当前CU范围内像素之间的计算绝对误差和SADt
步骤7:判断一个编码模式是否为最佳模式的主要依据是率失真代价RD Cost,如公式9所示。
RD Cost=D+λR (9)
其中λ为拉格朗日乘子,R为当前预测模式下的比特数,D是当前预测模式下的失真。
在计算Bilateral模式的率失真代价RD CostBi时,将公式8中得到的SADt带入到公式9中的D,避免了在计算RD Cost时需要进行运动搜索所带来的复杂计算。
步骤8:进行Template模式,在该模式中,有预先规定好的模版。分别对各个模版计算率失真代价RD Cost,选择RD Cost最小的一个作为Template模式的RD CostTemp
步骤9:结束算法进行后续其他模式。
一种基于时空域相关性的视频编码Merge模式快速选择装置,包括:
率失真代价计算单元,用于在JEM中,计算所有视频帧中的编码单元依次进行各种帧间预测模式的率失真代价;
所述帧间预测模式包括2Nx2N模式、2Nx2N Merge模式、Affine Merge模式和FRUCMerge模式;
选择单元,用于选择最小率失真代价对应的模式作为编码单元的编码模式;
跳过单元,对编码单元进行判断,若满足以下条件,则当前待编码的编码单元跳过FRUC Merge模式:
当前视频帧中当前待编码的编码单元CU在2Nx2N Merge模式下的最优运动矢量MVBest=(0,0)且该编码单元CU的变换系数全0标志位CBFFlag=1。
按照以下规则对待编码的编码单元是否需要跳过FRUC Merge模式中的Bilateral模式进行判断:
若当前视频帧为B帧,在当前待编码的编码单元CU进行FRUC Merge模式中的Bilateral模式计算前,先计算当前待编码的编码单元CU的相邻编码单元的失真加权和DistTotal以及相邻编码单元中选择FRUC Merge模式中的Bilateral模式的编码单元数量Km,再判断是否满足:Km=0且DistTotal>TH,若满足,则当前待编码的编码单元CU跳过FRUCMerge模式中的Bilateral模式,直接进行Template模式,否则,依次进行FRUC Merge模式中的Bilateral模式和Template模式;
DistTotal=DistL*α+DistA*β+DistAL
其中,CUx表示当前待编码的编码单元的相邻单元,x∈{Left、AboveLeft、Above,ColJ,CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块,所述同位块是指处于参考帧中,且位置和当前待编码的编码单元在当前帧中的位置一样的编码单元;f(Mode(CUx)表示当前待编码的编码单元的相邻单元的模式标志,若属于Bilateral模式,取值为1,否则,取值为0;DistL、DistA、DistAL分别代表当前待编码的编码单元的的左邻块、上邻块、左上邻块所在当前模式的失真;α、β、γ分别为当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数,取值范围为0-1;TH表示加权和阈值,取值在5500~7500之间。
在本装置中,所述当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数α、β、γ的取值分别为0.4,0.4,0.2;所述加权和阈值TH的取值为6000。
所述率失真代价计算单元在FRUC Merge模式中Bilateral模式下计算编码单元的率失真代价RD CostBi时按照以下公式计算获得:
RD CostBi=D+λR
其中,λ为拉格朗日乘子,R为编码单元在Bilateral模式下的比特数,D是编码单元在Bilateral模式下的失真,取值为SADt
所述SADt是利用编码单元CU在2Nx2N模式下的最优运动矢量对对当前视频帧图像进行运动补偿,得到补偿图像Pic0、Pic1,并通过计算补偿图像Pic0、Pic1在编码单元CU范围内所有像素之间的绝对误差和。
为了验证本方案的有效性,利用本方案和其他传统的编码器对测试序列进行编码进行比对实验,具体如表1所示。
表1实验结果
表1中QP为量化参数,ΔBits%为与传统的编码器相比比特率变化百分比,ΔPSNR/dB为与传统的编码器相比峰值信噪比变化,TS/%为与传统的编码器相比所节省的时间百分比。ΔBDBR表示了在同样的客观质量下,传统编码器和改进的编码器的码率节省情况。ΔBDBR越小说明算法效果越好。
通过在实验仿真,利用本发明所提出的最佳方案时,平均时间减少TS/%为12.96%,ΔBDBR/%为0.52。该算法在保证了视频质量的同时,减少了一定的编码时间,提高了编码效率。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于时空域相关性的视频编码Merge模式快速选择方法,在JEM中,所有视频帧中的编码单元依次进行2Nx2N模式、2Nx2N Merge模式、Affine Merge模式和FRUC Merge模式,获得每个模式下编码单元的率失真代价,选择最小率失真代价对应的模式作为编码单元的编码模式;其特征在于,若当前视频帧中当前待编码的编码单元CU在2Nx2N Merge模式下的最优运动矢量MVBest=(0,0)且该编码单元CU的变换系数全0标志位CBFFlag=1,则当前待编码的编码单元CU不需进行FRUC Merge模式;
若当前视频帧为B帧,在当前待编码的编码单元CU进行FRUC Merge模式中的Bilateral模式计算前,先计算当前待编码的编码单元CU的相邻编码单元的失真加权和DistTotal以及相邻编码单元中选择FRUC Merge模式中的Bilateral模式的编码单元数量Km,再判断是否满足:Km=0且DistTotal>TH,若满足,则当前待编码的编码单元CU跳过FRUC Merge模式中的Bilateral模式,直接进行Template模式,否则,依次进行FRUC Merge模式中的Bilateral模式和Template模式;
DistTotal=DistL*α+DistA*β+DistAL
Km=∑f(Mode(CUx))
其中,CUx表示当前待编码的编码单元的相邻单元,x∈{Left、AboveLeft、Above、Col},CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块,所述同位块是指处于参考帧中,且位置和当前待编码的编码单元在当前帧中的位置一样的编码单元;f(Mode(CUx)表示当前待编码的编码单元的相邻单元的模式标志,若属于Bilateral模式,取值为1,否则,取值为0;DistL、DistA、DistAL分别代表当前待编码的编码单元的的左邻块、上邻块、左上邻块所在当前模式的失真;α、β、γ分别为当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数,取值范围为0-1;TH表示加权和阈值,取值在5500~7500之间。
2.根据权利要求1所述的方法,其特征在于,所述当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数α、β、γ的取值分别为0.4,0.4,0.2。
3.根据权利要求1所述的方法,其特征在于,所述加权和阈值TH的取值为6000。
4.根据权利要求1所述的方法,其特征在于,编码单元CU在FRUC Merge模式中Bilateral模式下的率失真代价RD CostBi按照以下公式计算获得:
RD CostBi=D+λR
其中,λ为拉格朗日乘子,R为编码单元在Bilateral模式下的比特数,D是编码单元在Bilateral模式下的失真,取值为SADt
所述SADt是利用编码单元CU在2Nx2N模式下的最优运动矢量对对当前视频帧图像进行运动补偿,得到补偿图像Pic0、Pic1,并通过计算补偿图像Pic0、Pic1在编码单元CU范围内所有像素之间的绝对误差和。
5.一种基于时空域相关性的视频编码Merge模式快速选择装置,其特征在于,包括:
率失真代价计算单元,用于在JEM中,计算所有视频帧中的编码单元依次进行各种帧间预测模式的率失真代价;
所述帧间预测模式包括2Nx2N模式、2Nx2N Merge模式、Affine Merge模式和FRUCMerge模式;
选择单元,用于选择最小率失真代价对应的模式作为编码单元的编码模式;
跳过单元,对编码单元进行判断,若满足以下条件,则当前待编码的编码单元跳过FRUCMerge模式:
当前视频帧中当前待编码的编码单元CU在2Nx2N Merge模式下的最优运动矢量MVBest=(0,0)且该编码单元CU的变换系数全0标志位CBFFlag=1;
按照以下规则对待编码的编码单元是否需要跳过FRUC Merge模式中的Bilateral模式进行判断:
若当前视频帧为B帧,在当前待编码的编码单元CU进行FRUC Merge模式中的Bilateral模式计算前,先计算当前待编码的编码单元CU的相邻编码单元的失真加权和DistTota1以及相邻编码单元中选择FRUC Merge模式中的Bilateral模式的编码单元数量Km,再判断是否满足:Km=0且DistTotal>TH,若满足,则当前待编码的编码单元CU跳过FRUC Merge模式中的Bilateral模式,直接进行Template模式,否则,依次进行FRUC Merge模式中的Bilateral模式和Template模式;
DistTotal=DistL*α+DistA*β+DistAL
Km=∑f(Mode(CUx))
其中,CUx表示当前待编码的编码单元的相邻单元,x∈{Left、AboveLeft、Above、Col},CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块,所述同位块是指处于参考帧中,且位置和当前待编码的编码单元在当前帧中的位置一样的编码单元;f(Mode(CUx)表示当前待编码的编码单元的相邻单元的模式标志,若属于Bilateral模式,取值为1,否则,取值为0;DistL、DistA、DistAL分别代表当前待编码的编码单元的的左邻块、上邻块、左上邻块所在当前模式的失真;α、β、γ分别为当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数,取值范围为0-1;TH表示加权和阈值,取值在5500~7500之间。
6.根据权利要求5所述的装置,其特征在于,所述当前待编码的编码单元的的左邻块、上邻块、左上邻块的加权系数α、β、γ的取值分别为0.4,0.4,0.2。
7.根据权利要求5所述的装置,其特征在于,所述加权和阈值TH的取值为6000。
8.根据权利要求5所述的装置,其特征在于,所述率失真代价计算单元在FRUC Merge模式中Bilateral模式下计算编码单元的率失真代价RD CostBi时按照以下公式计算获得:
RD CostBi=D+λR
其中,λ为拉格朗日乘子,R为编码单元在Bilateral模式下的比特数,D是编码单元在Bilateral模式下的失真,取值为SADt
所述SADt是利用编码单元CU在2Nx2N模式下的最优运动矢量对对当前视频帧图像进行运动补偿,得到补偿图像Pic0、Pic1,并通过计算补偿图像Pic0、Pic1在编码单元CU范围内所有像素之间的绝对误差和。
CN201710542455.XA 2017-07-05 2017-07-05 基于时空域相关性的视频编码Merge模式快速选择方法及装置 Active CN107222742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710542455.XA CN107222742B (zh) 2017-07-05 2017-07-05 基于时空域相关性的视频编码Merge模式快速选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710542455.XA CN107222742B (zh) 2017-07-05 2017-07-05 基于时空域相关性的视频编码Merge模式快速选择方法及装置

Publications (2)

Publication Number Publication Date
CN107222742A CN107222742A (zh) 2017-09-29
CN107222742B true CN107222742B (zh) 2019-07-26

Family

ID=59951981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542455.XA Active CN107222742B (zh) 2017-07-05 2017-07-05 基于时空域相关性的视频编码Merge模式快速选择方法及装置

Country Status (1)

Country Link
CN (1) CN107222742B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174204B (zh) * 2018-03-06 2020-01-03 中南大学 一种基于决策树的帧间快速模式选择方法
CN108347616B (zh) * 2018-03-09 2020-02-14 中南大学 一种基于可选时域运动矢量预测的深度预测方法及装置
TWI719522B (zh) * 2018-06-30 2021-02-21 大陸商北京字節跳動網絡技術有限公司 用於視頻編碼的對稱性雙向預測模式
CN111193931B (zh) * 2018-11-14 2023-04-07 深圳市中兴微电子技术有限公司 一种视频数据的编码处理方法和计算机存储介质
CN112887712B (zh) * 2021-02-03 2021-11-19 重庆邮电大学 一种基于卷积神经网络的hevc帧内ctu划分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379323A (zh) * 2012-04-16 2013-10-30 乐金电子(中国)研究开发中心有限公司 一种先进运动矢量预测amvp的并行实现方法、装置及系统
CN104301739A (zh) * 2013-07-18 2015-01-21 联发科技(新加坡)私人有限公司 多视点视频编码方法
CN104539970A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种3d-hevc帧间编码合并模式快速决策方法
CN104601988A (zh) * 2014-06-10 2015-05-06 腾讯科技(北京)有限公司 视频编码器、方法和装置及其帧间模式选择方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP6422011B2 (ja) * 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US10136132B2 (en) * 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379323A (zh) * 2012-04-16 2013-10-30 乐金电子(中国)研究开发中心有限公司 一种先进运动矢量预测amvp的并行实现方法、装置及系统
CN104301739A (zh) * 2013-07-18 2015-01-21 联发科技(新加坡)私人有限公司 多视点视频编码方法
CN104601988A (zh) * 2014-06-10 2015-05-06 腾讯科技(北京)有限公司 视频编码器、方法和装置及其帧间模式选择方法和装置
CN104539970A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种3d-hevc帧间编码合并模式快速决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时空相关性的HEVC复杂度优化算法;陈超杰等;《计算机应用技术》;20161231;正文第3.3节

Also Published As

Publication number Publication date
CN107222742A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107222742B (zh) 基于时空域相关性的视频编码Merge模式快速选择方法及装置
CN107147911B (zh) 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
CN107396102B (zh) 一种基于Merge技术运动矢量的帧间模式快速选择方法及装置
CN103260031B (zh) 用于对运动矢量进行编码/解码的方法和设备
TW480885B (en) Fast motion-compensated video frame interpolator
CN101895751B (zh) 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN101860748A (zh) 基于分布式视频编码的边信息生成系统及方法
CN101022555B (zh) 帧间预测编码的模式快速选择方法
CN107888929A (zh) 视频编码解码方法、设备以及生成和存储比特流的方法
CN108012163A (zh) 视频编码的码率控制方法及装置
CN107040782B (zh) 基于拉格朗日方法的视频编码全局率失真优化方法
CN108289224B (zh) 一种视频帧预测方法、装置及自动补偿神经网络
CN106060539A (zh) 一种低传输带宽的视频编码方法
CN104811729B (zh) 一种视频多参考帧编码方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN106993187A (zh) 一种可变帧率的编码方法及装置
CN107071422A (zh) 基于图像相关模型的低复杂度hevc码率适配转换编码方法
CN110519591A (zh) 一种基于多用途编码中帧内编码的预测模式快速选择方法
CN101783956B (zh) 基于时空邻居信息的后向预测方法
Yang et al. Learned low bitrate video compression with space-time super-resolution
Katayama et al. Reference frame generation algorithm using dynamical learning PredNet for VVC
CN102342104B (zh) 预测图像数据块的方法、实现所述方法的解码和编码设备
CN103188490A (zh) 视频编码中的合并补偿模式
CN110392264B (zh) 一种基于神经网络的对齐外插帧方法
CN107124617A (zh) 运动估计运动补偿中随机矢量的生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant