CN112333446B - 一种帧内块复制参考块压缩方法 - Google Patents

一种帧内块复制参考块压缩方法 Download PDF

Info

Publication number
CN112333446B
CN112333446B CN202011212636.4A CN202011212636A CN112333446B CN 112333446 B CN112333446 B CN 112333446B CN 202011212636 A CN202011212636 A CN 202011212636A CN 112333446 B CN112333446 B CN 112333446B
Authority
CN
China
Prior art keywords
block
intra
frame
current
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011212636.4A
Other languages
English (en)
Other versions
CN112333446A (zh
Inventor
王军
胡纪元
钟光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011212636.4A priority Critical patent/CN112333446B/zh
Publication of CN112333446A publication Critical patent/CN112333446A/zh
Application granted granted Critical
Publication of CN112333446B publication Critical patent/CN112333446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内块复制参考块压缩方法，包括：获取当前帧可用于帧内块复制的重建区域，并将重建区域作为参考区域；将重建区域分成设定尺寸的图像块；将图像块根据编码压缩条件进行压缩，并将压缩后的数据存入片上缓存；当执行帧内块复制模式时，根据当前模式的块向量找到对应图像块的压缩数据，取出并解压得到需要参考的重建区域，继续进行帧内块复制的块向量估计和补偿，完成帧内块复制模式。本发明通过在帧内块复制中增加压缩和解压参考区域步骤，节省片上缓存空间、减小了对片上数据传输带宽的占用；此外在保持片上缓存空间不变时，增加压缩步骤可以存储更大的参考区域，从而提升帧内块复制中的压缩效率。

Description

一种帧内块复制参考块压缩方法
技术领域
本发明涉及视频编解码技术领域，更具体地，涉及一种帧内块复制参考块压缩方法。
背景技术
视频编解码技术的预测编码部分，主要分为帧内预测编码和帧间预测编码。帧间预测需要存储多个完整的参考帧，参考帧被放在片外的内存中，因为其体积较大，无法放在片上存储。帧内预测的帧内块复制技术，参考区域相对较小，小于1帧，具体大小因标准和实现而异，这使得放在片上存储成为可能。
帧内块复制需要在成本和压缩性能之间权衡。为了缩减硬件实现成本，H.266/多功能视频编码标准将帧内块复制的参考区域从整个当前帧已重建部分限制为当前CTU已重建的部分和左侧CTU部分区域，这样在硬件实现时可以把参考区域放到片上存储，同时保证成本在可以接受的范围内。
以H.266标准为例，视频被划分为CTU为单位来进行编解码，图1中黑色粗实线画出的大正方形为1个编码树单元(CodingTreeUnit，CTU)，大小为128*128，CTU被均分为4个64*64大小的区域，每个区域称为虚拟流水线数据单元(VirtualPipelineDataUnit，VPDU)，标准规定用4个VPDU做帧内块复制技术的片上缓存，缓存已经重建的用来做参考的区域。
图中1中(a)-(d)显示了处理过程中可用的参考区域。
当前编码块位于当前CTU左上部分时，可用的参考区域是左侧CTU右上、左下、右下部分和当前区域已重建部分。
当前编码块位于当前CTU右上部分时，可用的参考区域是左侧CTU左下、右下部分和当前CTU左上部分和当前区域已重建部分。
当前编码块位于当前CTU左下部分时，可用的参考区域是左侧CTU右下部分和当前CTU左上、右上部分和当前区域已重建部分。
当前编码块位于当前CTU右下部分时，可用的参考区域是当前CTU左上、右上、左下部分和当前区域已重建部分。
参考区域从整个当前帧已重建部分限制为当前CTU已重建的部分和左侧CTU区域后，压缩性能下降较多，限制了帧内块复制技术发挥应有的效果。即使做了这些限制，片上存储的消耗依然较高、占用较多的片上数据传输带宽。
现有技术中，公开号为CN106797475A的中国发明专利，于2017年5月31日公开了一种视频编码方法。视频编码方法利用用于图片的包括帧内块复制模式的多个编码模式。基于原始块向量，系统确定当前参考块是否在垂直方向上位于包含当前预测单元的当前编码单元的上方，以及当前参考块是否在水平方向上位于当前编码单元的左侧。如果两个结果都不为真，则将原始块向量剪切为剪切的块向量，使得对应于剪切的块向量的重新定位的参考块在垂直方向上在当前编码单元的上方或在水平方向上在当前编码单元的左侧。剪切的块向量用作用于当前块向量的编码或解码或用于当前预测单元的帧内块复制编码或解码的预测子。该方案没有解决片上空间和片上数据传输带宽占用较大的问题。
发明内容
本发明为克服上述现有技术中压缩编码时，参考区域没有压缩，占用片上空间和片上数据传输带宽较大的缺陷，提供一种帧内块复制参考块压缩方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种帧内块复制参考块压缩方法，包括以下步骤：
获取当前帧可用于帧内块复制技术的重建区域，并将重建区域作为参考区域；
将重建区域分成设定尺寸的图像块；
将图像块根据编码压缩条件进行压缩，并将压缩后的数据存入片上缓存；
当执行帧内块复制模式时，根据当前模式的块向量找到对应图像块的压缩数据，取出并解压得到需要参考的重建区域，继续进行帧内块复制的块向量估计和补偿，完成帧内块复制模式。
进一步地，所述的设定尺寸4像素x4像素。
进一步地，所述编码压缩条件包括有：压缩效率、计算复杂度、数据可以随机访问、硬件亲和度。
进一步地，当执行帧内块复制模式时仅采用当前CTU的左侧CTU和当前CTU已解码重建的区域作为参考区域。
进一步地，当使用帧内块复制模式进行编码时，在参考区域进行块向量估计，块向量估计时，循环尝试所有指向参考区域限制范围内的块向量，将每个块向量指向的参考块解压后作为当前编码块的预测值，并计算使用此块向量指向的参考块做预测时的代价，最终选择代价最小的块向量。
进一步地，当块向量指向的参考块跨越多个图像块时，则将多个图像块分别解压。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过在帧内块复制中增加压缩和解压参考区域的步骤，可以节省片上缓存空间、片上数据传输带宽的占用；如果保持片上缓存空间不变，增加压缩步骤可以存储更大的参考区域，从而提升帧内块复制技术的压缩效率。
附图说明
图1为现有的帧内块复制中参考区域处理示意图。
图2为简化的H.265标准屏幕内容编码扩展版本和H.266标准的编码过程示意图。
图3为本发明的帧内块复制参考块压缩方法流程图。
图4为视频编码在硬件芯片实现过程中的数据交换示意图。
图5为本发明中参考块压缩和解压过程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
用于编码器
图2示出了简化的H.265标准屏幕内容编码扩展版本和H.266标准的编码过程。帧内块复制技术包含了块向量估计和块向量补偿。滤波前的重建图像被用于帧内块复制，相比于传统帧内预测，帧内块复制过程需要缓存较多重建图像、频繁读取和写入片上存储，即使限制了参考区域，在硬件芯片实现时会占用大量的片上缓存、片上数据传输带宽。本方案在重建图像(参考区域)存入片上缓存之前对数据进行压缩，然后在用于块向量估计、块向量补偿时进行解压。(图中虚线框)
更具体的，如图3所示，本发明包括以下步骤：
S1：获取当前帧可用于帧内块复制的重建区域，并将重建区域作为参考区域；
S2：将已经生成的重建区域分成设定尺寸的图像块；
S3：将图像块根据编码压缩条件进行压缩，并将压缩后的数据存入片上缓存；
S4：当执行帧内块复制模式时，根据当前模式的块向量找到对应图像块的压缩数据，取出并解压得到需要参考的重建区域，继续进行帧内块复制的块向量估计和补偿，完成帧内块复制模式。
进一步地，所述的设定尺寸4像素x4像素。
进一步地，所述编码压缩条件包括有：压缩效率、计算复杂度、数据可以随机访问、硬件亲和度。
在一个具体的实施例中，编码压缩条件为：压缩效率较高、计算复杂度较低、数据可以随机访问、硬件亲和度高。
进一步地，当执行帧内块复制模式时仅采用当前CTU的左侧CTU和当前CTU已解码重建的区域作为参考区域。
进一步地，当使用帧内块复制模式进行编码时，在参考区域进行块向量估计，块向量估计时，循环尝试所有指向参考区域限制范围内的块向量，将每个块向量指向的参考块解压后作为当前编码块的预测值，并计算使用此块向量指向的参考块做预测时的编码代价，最终选择编码代价最小的块向量。
进一步地，当块向量指向的参考块跨越多个图像块时，则将多个图像块分别解压。
图4示出了视频编码在硬件芯片实现过程中的数据交换。视频编码核心部分会与片上缓存交换用于帧内块复制的参考区域，本方案在交换过程中，增加了压缩和解压过程，即视频编码核心将重建后的参考区域压缩后存入片上缓存，在视频编码核心的帧内块复制过程需要参考块时，将参考块取出后解压使用。
如图5所示，参考块具体的压缩和解压过程是先将参考区域划分成小块，对每一块使用适合的压缩算法进行存储，然后在帧内块复制技术需要使用BV指向的压缩参考块时，解压相应的参考块。如果BV指向的参考块跨越多个压缩参考块，则解压相应的多个参考块。在帧内块复制过程不断向前推进时，按照视频编码标准的规则丢弃过时的参考块，压缩保存新的可用参考块。
实施例2
用于解码器
解码器在对使用了帧内块复制技术编码的区域进行解码时，和编码器类似地，
将左侧CTU和当前CTU已解码重建区域划分成设定尺寸的图像块；
将图像块根据编码压缩条件进行压缩，并将压缩后的数据存入片上缓存；
当执行帧内块复制模式时，根据当前模式的块向量找到对应图像块的压缩数据，取出并解压得到需要参考的重建区域，继续完成帧内块复制的块向量补偿(无块向量估计过程)，则完成了帧内块复制的解码过程。
本方案适用但不限于H.265标准屏幕内容扩展版本、H.266标准，压缩时参考块划分的大小和所选用的压缩算法也可以因具体硬件实现难度而选择合适的，根据使用的压缩算法不同，使用场景也不同，如果使用无损压缩算法，则该方案可以独立使用在解码端，如果使用有损压缩算法，则编码端和解码端需要同时使用以保证编解码一致。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种帧内块复制参考块压缩方法，其特征在于，包括以下步骤：
获取当前帧可用于帧内块复制的重建区域，并将重建区域作为参考区域；
将重建区域分成设定尺寸的图像块；
将图像块根据编码压缩条件进行压缩，并将压缩后的数据存入片上缓存；
所述编码压缩条件包括有：压缩效率、计算复杂度、数据可以随机访问和硬件亲和度；
当执行帧内块复制模式时，根据当前模式的块向量找到对应图像块的压缩数据，取出并解压得到需要参考的重建区域，继续进行帧内块复制的块向量估计和补偿，完成帧内块复制模式；当执行帧内块复制模式时仅采用当前CTU的左侧CTU和当前CTU已解码重建的区域作为参考区域；
当使用帧内块复制模式进行编码时，在参考区域进行块向量估计，块向量估计时，循环尝试所有指向参考区域限制范围内的块向量，将每个块向量指向的参考块解压后作为当前编码块的预测值，并计算使用此块向量指向的参考块做预测时的编码代价，最终选择编码代价最小的块向量。
2.根据权利要求1所述的一种帧内块复制参考块压缩方法，其特征在于，所述设定尺寸为4像素x4像素。
3.根据权利要求1所述的一种帧内块复制参考块压缩方法，其特征在于，当块向量指向的参考块跨越多个图像块时，则将多个图像块分别解压。
CN202011212636.4A 2020-11-03 2020-11-03 一种帧内块复制参考块压缩方法 Active CN112333446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212636.4A CN112333446B (zh) 2020-11-03 2020-11-03 一种帧内块复制参考块压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212636.4A CN112333446B (zh) 2020-11-03 2020-11-03 一种帧内块复制参考块压缩方法

Publications (2)

Publication Number Publication Date
CN112333446A CN112333446A (zh) 2021-02-05
CN112333446B true CN112333446B (zh) 2022-11-15

Family

ID=74323368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212636.4A Active CN112333446B (zh) 2020-11-03 2020-11-03 一种帧内块复制参考块压缩方法

Country Status (1)

Country Link
CN (1) CN112333446B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556542B (zh) * 2021-07-16 2023-04-28 安谋科技（中国）有限公司 帧内块复制单元及方法
CN114079792A (zh) * 2021-07-22 2022-02-22 珠海市杰理科技股份有限公司 视频编码参考块的压缩方法、编码方法和装置
EP4304171A1 (en) * 2022-07-05 2024-01-10 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079161A (zh) * 2014-09-01 2017-08-18 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法
CN111432220A (zh) * 2014-06-19 2020-07-17 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN106303535B (zh) * 2015-06-08 2022-12-13 上海天荷电子信息有限公司 参考像素取自不同程度重构像素的图像压缩方法和装置
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
CN112997494B (zh) * 2018-10-08 2023-05-09 北京达佳互联信息技术有限公司 用于视频编码的运动矢量存储
CN117880497A (zh) * 2018-11-30 2024-04-12 腾讯美国有限责任公司 用于视频编解码的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432220A (zh) * 2014-06-19 2020-07-17 Vid拓展公司 采用块向量导出的帧内块复制编码的方法和系统
CN107079161A (zh) * 2014-09-01 2017-08-18 寰发股份有限公司 用于屏幕内容以及视频编码的帧内图片块复制的方法

Also Published As

Publication number Publication date
CN112333446A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112333446B (zh) 一种帧内块复制参考块压缩方法
KR101227667B1 (ko) 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱
US7924925B2 (en) Flexible macroblock ordering with reduced data traffic and power consumption
US7792385B2 (en) Scratch pad for storing intermediate loop filter data
JP3689334B2 (ja) ビデオシーケンス内の複数のビデオフレームを復号化する方法
US9509992B2 (en) Video image compression/decompression device
JP2007524309A (ja) ビデオ復号の方法
US7447266B2 (en) Decoding device and decoding program for video image data
US7925120B2 (en) Methods of image processing with reduced memory requirements for video encoder and decoder
WO2022104678A1 (zh) 视频编解码方法、装置、可移动平台和存储介质
JP2007258882A (ja) 画像復号装置
WO2022227082A1 (zh) 块划分方法、编码器、解码器以及计算机存储介质
JP7359653B2 (ja) 動画像符号化装置
US20110051815A1 (en) Method and apparatus for encoding data and method and apparatus for decoding data
CN109672889B (zh) 约束的序列数据头的方法及装置
CN107667529B (zh) 用于有效地对数据进行嵌入式压缩的方法、装置和计算机可读记录介质
US20240155137A1 (en) Multimedia data processing method and apparatus, computer device, computer-readable storage medium, and computer program product
RU2777923C1 (ru) Способы кодирования и декодирования, кодер и декодер, и носитель данных
KR100556341B1 (ko) 메모리 대역폭이 감소된 비디오 디코더 시스템
RU2795462C2 (ru) Способы кодирования и декодирования, кодер и декодер, и носитель данных
WO2022217442A1 (zh) 系数编解码方法、编码器、解码器以及计算机存储介质
WO2022206199A1 (zh) 在视频解码装置中进行图像处理的方法、装置及系统
KR20240033618A (ko) 비디오 디코딩 장치, 그의 동작 방법, 디스플레이 장치, 및 비디오 시스템
CN117651145A (zh) 视频解码装置及其操作方法和视频系统
KR100821922B1 (ko) 미디어 디코딩용 국부 메모리 관리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant