CN114205622A - 一种基于HEVC标准的帧内预测的64x64 CU预处理方法 - Google Patents

一种基于HEVC标准的帧内预测的64x64 CU预处理方法 Download PDF

Info

Publication number
CN114205622A
CN114205622A CN202111546146.2A CN202111546146A CN114205622A CN 114205622 A CN114205622 A CN 114205622A CN 202111546146 A CN202111546146 A CN 202111546146A CN 114205622 A CN114205622 A CN 114205622A
Authority
CN
China
Prior art keywords
32x32cu
64x64cu
rate
mode
cost calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111546146.2A
Other languages
English (en)
Inventor
林志坚
丁永强
杨秀芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111546146.2A priority Critical patent/CN114205622A/zh
Publication of CN114205622A publication Critical patent/CN114205622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于HEVC标准的帧内预测的64x64 CU预处理方法。在进行64x64 CU的率失真代价计算时，跳过残差计算过程，直接使用4个32x32 CU的残差，来代替64x64 CU的残差。以减少残差计算需要的时间，达到加速帧内率失真优化的目的。同时，本发明还提供了一个对应的硬件设计框架，以帮助实现该发明的硬件设计。

Description

一种基于HEVC标准的帧内预测的64x64 CU预处理方法
技术领域
本发明属于视频编码解码技术领域，涉及一种基于HEVC标准的帧内预测的64x64CU预处理方法。
背景技术
视频编码，顾名思义，就是指将视频数据在保证一定视频质量的前提下通过一定手段进行编码压缩，以减少视频的存储和收发所需要的数据量。在这个信息技术飞速发展的数字时代，视频数据呈爆发式的增长，如视频分辨率从常用的720P发展到了现在最大的8K，帧率由曾经的十几帧到现在常用的60帧乃至更高。在视频质量的高速发展下，视频编码技术也经历了很多代国际标准，其中新一代高效视频编码(high efficiency videocoding,HEVC)，具有很高的压缩率，相比于其前一代H.264，其性能提升了40％左右。虽然性能提升了，但其编码复杂度有很大的升高。
在HEVC编码中，一帧视频会分成若干个树形编码单元(Coding Tree Unit,CTU)，CTU的尺寸最小为16x16最大为64x64。然后在CTU中会以四叉树的方式划分成若干个编码单元(Coding Unit，CU)，CU有8x8～64x64尺寸。在帧内预测时，会对所有尺寸的CU进行计算，这会占用很大的时间。
帧内预测是HEVC中非常重要且复杂的部分，整个过程会占用很大的时间。帧内预测有35种预测模式，分为DC模式、Planar模式和33种角度预测模式，每一种预测模式有不同的计算公式。在预测时，每一个预测单元(Prediction Unit,PU)均需要将35个预测模式全部计算一遍，与原始像素相减得到残差，然后计算其对应的编码代价，最后选择出代价最小的一个预测模式作为该PU的最佳预测模式。
现有的HEVC帧内预测技术的目的都是提高帧内预测的速度，而提高帧内预测的速度，一个是增加计算的并行度，一个就是发明一种估计算法来减少帧内预测的运算量来提高速度。而当前绝大多数都是以减少运算量来提高速度，即舍弃一些预测模式的计算，这样虽然能够提高速度，但是精度又有很大的降低。
现有的技术方案《一种快速HEVC帧内预测模式选择方法》，该方案在帧内预测过程中，利用视频纹理方向与预测模式角度的相关性，以及粗选过程中的基于哈达玛变换的代价的统计特性，在不同尺寸的情况下，设定对应不同的阈值，同时又通过粗选之后的帧内预测模式的连续性来反应预测单元的纹理方向，来减少粗选得到的帧内预测模式，以此减少帧内预测的计算量，提高帧内预测的速度。
可见，现有技术方案的目的都是通过减少帧内预测的计算量来减少帧内预测在选择最佳预测模式上所花费的时间，但是却增加了其图像纹理方向特征等数据的计算量，而且在进行预测时，由于有些预测模式没有计算，对最终编码后的视频质量难免会有一定的损失。
本提案同样是以减少帧内预测的计算量为目的来提高HEVC帧内预测的速度，提出一种基于HEVC标准的帧内预测的64x64 CU预处理方案，本发明不是以减少帧内预测模式的计算为代价，而是通过4个32x32的CU的预测值来代替64x64 CU的预测值，以此可以省去64x64 CU的帧内预测的像素预测过程，达到提高帧内预测速度的目的。
发明内容
本发明的目的在于减少帧内预测的计算量，提供一种基于HEVC标准的帧内预测的64x64CU预处理方法，通过将一个CTU中的4个32x32 CU的残差直接代替64x64 CU的残差，可以完全取消64x64 CU的预测过程；且由于变换单元(Trasition Unit,TU)的最大尺寸为32x32，因此可直接将4个32x32 CU的变换结果的所有绝对值之和进行相加来代替64x64CU的变换结果的绝对值之和。该方案对于预测单元较小的流水线硬件电路而言，仅需添加一个缓存累加模块，就能够节省很大的时钟数。如4x4块为一个预测单元，在单路预测模式的情况下，完成一个4x4块需要35个时钟才能完成，而完成整个64x64 CU的预测，则需要35x256＝8960个时钟，这在对时间要求紧迫的场合下是一个很可行的方案。
为实现上述目的，本发明的技术方案是：一种基于HEVC标准的帧内预测的64x64CU预处理方法，在进行64x64 CU的率失真代价计算时，跳过残差计算过程，直接使用4个32x32 CU的残差，来代替64x64 CU的残差，以减少残差计算需要的时间，达到加速帧内率失真优化的目的。
在本发明一实施例中，在进行64x64 CU的率失真代价计算时，跳过残差计算过程，直接使用4个32x32 CU的残差，来代替64x64 CU的残差具体实现方式为：
在进行64x64 CU的率失真代价计算时，64x64 CU直接省去SATD计算过程，直接使用4个32x32CU的SATD之和来代替，由此得到各模式的率失真代价：
Figure BDA0003414242190000021
其中，floor()为向下取整函数，λ的计算公式如下：
Figure BDA0003414242190000022
其中QP为量化步长，R的值与当前的预测模式是否在MPM(Most Probable Mode)表(MPM表是用当前PU(prediction unit)上方和左侧的最佳模式生成的最可能的模式列表，MPM列表共有3个模式)有关，若在MPM表中则R＝1，否则R＝7。
在本发明一实施例中，该方法还提供有对应的硬件框架结构，包括获取lambdaR电路、加法器单元、64CU代价计算电路、最佳模式选择器，当前层最佳模式列表输出经获取lambdaR电路、加法器单元分别与64CU代价计算电路、最佳模式选择器连接，4个32x32 CU的SATD值输入至加法器单元，第1个32x32 CU的SATD值经率失真代价计算后输入至64CU代价计算电路，第2至4个32x32 CU的SATD值输入至64CU代价计算电路，64CU代价计算电路输出与最佳模式选择器连接，最佳模式选择器输出与当前层最佳模式列表输入连接。
在本发明一实施例中，该方法具体实现方式如下：
1)输入第一个32x32 CU的SATD值，计算出各模式下的率失真代价，发送到最佳模式选择器中得出当前32x32 CU的最佳预测模式，同时将各模式下的率失真代价值发送到64CU代价计算电路中进行缓存；
2)输入第二个32x32CU的SATD值，直接发送到64CU代价计算电路中与缓存的值进行累加，继续缓存起来；同时计算出当前32x32 CU各模式下的率失真代价，发送到最佳模式选择器中得出当前32x32 CU的最佳预测模式；
3)重复步骤2)，将第三个、第四个32x32 CU的SATD值累加到64CU代价计算电路中，最终得到64x64 CU各模式下的率失真代价，之后将数据发送到最佳模式选择器中，得出64x64 CU的最佳预测模式；
在率失真代价计算上，64x64 CU与第一个32x32 CU使用的是同一个lambdaR，因此步骤1)输入到64CU代价计算电路中的数据是第一个32x32 CU各模式的率失真代价而不是SATD值。
在本发明一实施例中，lambdaR即获取lambdaR电路输出的值
Figure BDA0003414242190000031
相较于现有技术，本发明具有以下有益效果：本发明相比于现有的HEVC帧内预测技术，一方面克服现有技术通过减少帧内预测需要计算的模式数，而不能将全部模式计算一遍，而本发明可以将所有的模式全部计算一遍；另一方面现有技术不适合在硬件设计中实现，而本发明有提供一种硬件实现方案，对于其他的硬件实现非常有可借鉴的地方。
附图说明
图1为本发明64x64 CU预处理示例。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明一种基于HEVC标准的帧内预测的64x64 CU预处理方法，通过将一个CTU中的4个32x32 CU的残差直接代替64x64 CU的残差，可以完全取消64x64 CU的预测过程。且由于变换单元(Trasition Unit,TU)的最大尺寸为32x32，因此可直接将4个32x32 CU的变换结果的所有绝对值之和进行相加来代替64x64CU的变换结果的绝对值之和。该方案对于预测单元较小的流水线硬件电路而言，仅需添加一个缓存累加模块，就能够节省很大的时钟数。如4x4块为一个预测单元，在单路预测模式的情况下，完成一个4x4块需要35个时钟才能完成，而完成整个64x64 CU的预测，则需要35x256＝8960个时钟，这在对时间要求紧迫的场合下是一个很可行的方案。
本发明以一个硬件电路架构为例，来辅助说明实施方法。如图1所示，为一个CU最佳模式选择电路框架。由于在本发明的方案下，64x64 CU可直接省去SATD计算过程，直接使用4个32x32CU的SATD之和来代替。
模式通过如下公式得到对应模式的率失真代价：
Figure BDA0003414242190000041
其中，floor()为向下取整函数，λ的计算公式如下：
Figure BDA0003414242190000042
其中QP为量化步长，R的值与当前的预测模式是否在MPM表有关，若在MPM表中则R＝1，否则R＝7。
在图1电路中，lambdaR就是上面率失真代价计算公式中的加号右侧部分。预处理步骤如下：
第一步、输入第一个32x32 CU的SATD值，计算出各模式下的代价，分别发送到模式选择模块中得出当前32x32 CU的最佳预测模式和64CU代价计算电路中进行缓存。
第二步、输入第二个32x32CU的SATD值，直接发送到64CU代价计算电路中与缓存的值进行累加，继续缓存起来。同时计算出当前32x32 CU各模式下的代价，发送到模式选择模块中得出当前32x32 CU的最佳预测模式。
第三步、重复第二步，将第三个第四个32x32 CU的SATD值累加到64CU代价计算电路，最终得到64x64 CU的各模式的代价，之后将数据发送到模式选择电路中，得出64x64 CU的最佳预测模式。
在代价计算上，64x64 CU与第一个32x32 CU使用的是同一个lambdaR，因此第一步输入到64CU代价计算电路中的数据是第一个32x32 CU的各模式的代价而不是SATD值。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于HEVC标准的帧内预测的64x64CU预处理方法，其特征在于，在进行64x64CU的率失真代价计算时，跳过残差计算过程，直接使用4个32x32CU的残差，来代替64x64CU的残差，以减少残差计算需要的时间，达到加速帧内率失真优化的目的。
2.根据权利要求1所述的一种基于HEVC标准的帧内预测的64x64CU预处理方法，其特征在于，在进行64x64CU的率失真代价计算时，跳过残差计算过程，直接使用4个32x32CU的残差，来代替64x64CU的残差具体实现方式为：
在进行64x64CU的率失真代价计算时，64x64CU直接省去SATD计算过程，直接使用4个32x32CU的SATD之和来代替，由此得到64x64CU各模式的率失真代价：
Figure FDA0003414242180000011
其中，floor()为向下取整函数，λ的计算公式如下：
Figure FDA0003414242180000012
其中QP为量化步长，R的值与当前的预测模式是否在MPM表有关，若在MPM表中则R＝1，否则R＝7。
3.根据权利要求1所述的一种基于HEVC标准的帧内预测的64x64CU预处理方法，其特征在于，该方法还提供有对应的硬件框架结构，包括获取lambdaR电路、加法器单元、64CU代价计算电路、最佳模式选择器，当前层最佳模式列表输出经获取lambdaR电路、加法器单元分别与64CU代价计算电路、最佳模式选择器连接，4个32x32CU的SATD值输入至加法器单元，第1个32x32CU的SATD值经率失真代价计算后输入至64CU代价计算电路，第2至4个32x32CU的SATD值输入至64CU代价计算电路，64CU代价计算电路输出与最佳模式选择器连接，最佳模式选择器输出与当前层最佳模式列表输入连接。
4.根据权利要求3所述的一种基于HEVC标准的帧内预测的64x64CU预处理方法，其特征在于，该方法具体实现方式如下：
1)输入第一个32x32CU的SATD值，计算出各模式下的率失真代价，发送到最佳模式选择器中得出当前32x32CU的最佳预测模式，同时将各模式下的率失真代价值发送到64CU代价计算电路中进行缓存；
2)输入第二个32x32CU的SATD值，直接发送到64CU代价计算电路中与缓存的值进行累加，继续缓存起来；同时计算出当前32x32CU各模式下的率失真代价，发送到最佳模式选择器中得出当前32x32CU的最佳预测模式；
3)重复步骤2)，将第三个、第四个32x32CU的SATD值累加到64CU代价计算电路中，最终得到64x64CU各模式下的率失真代价，之后将数据发送到最佳模式选择器中，得出64x64CU的最佳预测模式；
在率失真代价计算上，64x64CU与第一个32x32CU使用的是同一个lambdaR，因此步骤1)输入到64CU代价计算电路中的数据是第一个32x32CU各模式的率失真代价而不是SATD值。
5.根据权利要求4所述的一种基于HEVC标准的帧内预测的64x64CU预处理方法，其特征在于，lambdaR即获取lambdaR电路输出的值。
CN202111546146.2A 2021-12-16 2021-12-16 一种基于HEVC标准的帧内预测的64x64 CU预处理方法 Pending CN114205622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111546146.2A CN114205622A (zh) 2021-12-16 2021-12-16 一种基于HEVC标准的帧内预测的64x64 CU预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111546146.2A CN114205622A (zh) 2021-12-16 2021-12-16 一种基于HEVC标准的帧内预测的64x64 CU预处理方法

Publications (1)

Publication Number Publication Date
CN114205622A true CN114205622A (zh) 2022-03-18

Family

ID=80654682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111546146.2A Pending CN114205622A (zh) 2021-12-16 2021-12-16 一种基于HEVC标准的帧内预测的64x64 CU预处理方法

Country Status (1)

Country Link
CN (1) CN114205622A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN103929652A (zh) * 2014-04-30 2014-07-16 西安电子科技大学 视频标准中基于自回归模型的帧内预测快速模式选择方法
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及系统
US20170127060A1 (en) * 2014-06-18 2017-05-04 Samsung Electronics Co., Ltd. Multi-layer video encoding method and multi-layer video decoding method using depth blocks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607590A (zh) * 2013-11-28 2014-02-26 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN103929652A (zh) * 2014-04-30 2014-07-16 西安电子科技大学 视频标准中基于自回归模型的帧内预测快速模式选择方法
US20170127060A1 (en) * 2014-06-18 2017-05-04 Samsung Electronics Co., Ltd. Multi-layer video encoding method and multi-layer video decoding method using depth blocks
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO HUANG 等: "Low-Complexity Rate-Distortion Optimization for HEVC Encoders", 《IEEE TRANSACTIONS ON BROADCASTING》, 31 August 2021 (2021-08-31), pages 721 - 735 *
董兰芳;高伟南;王建富;: "基于直方图分析和率失真代价统计的帧内编码快速算法", 电子技术, no. 02, 25 February 2016 (2016-02-25) *

Similar Documents

Publication Publication Date Title
JP7483035B2 (ja) ビデオ復号方法並びにその、ビデオ符号化方法、装置、コンピュータデバイス及びコンピュータプログラム
CN103931195B (zh) 用于对帧内预测模式进行解码的方法和设备
JP2021516016A (ja) 変換領域における残差符号予測のための方法および装置
US20150078446A1 (en) Method and apparatus for inter-layer intra prediction
CN1589576A (zh) 使用较大像素格栅运动补偿的降低复杂性视频解码
CN105306957A (zh) 自适应环路滤波方法和设备
CN115668952A (zh) 在神经图像压缩中使用图像替换的内容自适应在线训练
CN101790096B (zh) 基于二重预测的编解码方法及装置
CN1194544C (zh) 基于时空域相关性运动矢量预测的视频编码方法
CN113207002B (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN105791868A (zh) 视频编码的方法和设备
KR20130006578A (ko) 비표준 벡터 양자화 코더를 이용한 비디오 표준을 따르는 레지듀얼 코딩
CN114205622A (zh) 一种基于HEVC标准的帧内预测的64x64 CU预处理方法
CN101262607B (zh) 二重预测视频编解码方法和装置
JP2023520197A (ja) ビデオコーティングのための方法、及び装置
KR101688085B1 (ko) 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
CN114079773B (zh) 视频解码方法、装置、计算机可读介质及电子设备
KR101184571B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
US20220408084A1 (en) Method and apparatus for constructing motion information list in video encoding and decoding and device
Ingole et al. A review on fractal compression and motion estimation techniques
CN101184245A (zh) 一种视频编码的方法
CN116248886A (zh) 基于lcevc的增强层编码模式确定方法及装置
Bao et al. Block RLS algorithm for surveillance video processing based on image sparse representation
CN114205614A (zh) 一种基于hevc标准的帧内预测模式并行硬件方法
CN116980609A (zh) 视频数据处理方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination