CN101448160A - 带重建数据反馈的像素重建方法及解码器 - Google Patents
带重建数据反馈的像素重建方法及解码器 Download PDFInfo
- Publication number
- CN101448160A CN101448160A CN 200710178318 CN200710178318A CN101448160A CN 101448160 A CN101448160 A CN 101448160A CN 200710178318 CN200710178318 CN 200710178318 CN 200710178318 A CN200710178318 A CN 200710178318A CN 101448160 A CN101448160 A CN 101448160A
- Authority
- CN
- China
- Prior art keywords
- prediction
- data
- reconstruction
- memory
- rebuild
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及多媒体视频领域，特别是一种视频解码中的带重建数据反馈的像素重建方法及采用该方法的视频解码器。其方法包括：重建模块接受预测残差数据和预测数据，计算重建结果并将部分重建结果反馈给帧内预测模块；在双向预测的情况下，缓存当前块的前向预测数据，在当前块后向预测数据到达时同时读出前向预测数据进行计算，得到当前块预测结果。采用该方法的视频解码器包括：重建控制器、预测残差存储器、预测残差反馈存储器、预测结果反馈存储器、前向预测数据存储器、预测数据计算器、预测结果存储器、重建计算器和重建反馈计算器。这种像素重建方法适用于采用帧内预测技术的运动视频标准解码过程。基于本方法的像素重建的VLSI(超大规模集成电路)实现，减少了与外部存储器之间的数据交换，节约了读取外部存储器时间；减小了像素重建模块所需要的存储器容量，减小了模块面积。
Description
技术领域
本发明涉及多媒体视频领域，特别是一种带重建数据反馈的像素重建方法及解码器。
背景技术
像素重建是视频解码器中一个重要组成部分，它接受反变换输出的预测残差结果和预测插值输出的预测数据，对这些数据进行相加，移位，饱和等一系列运算得到重建结果。由于在硬件设计过程中，预测残差和预测数据可能不是同步达到，所以重建模块需要用大容量存储单元来存储预测数据和预测残差数据。在解码器中，重建模块中往往占用面积比较大，运算量比较大，并且像素重建的延迟在解码系统的关键路径上，影响整个解码系统的性能。
以往的视频压缩MPEG2(运动图像专家组)等标准中，像素重建接受的预测数据来自帧间预测；而在AVS(信息技术先进音视频编码)等标准中，像素重建接受的预测数据可能来自帧内预测或帧间预测。而帧内预测在计算一个block(块)的预测数据时，可能需要使用以前block的重建数据结果，这些结果可以从外部存储器获取，也可以从重建模块中获取，也可以在帧内预测模块中产生，帧内预测算法的引入增加了解码器设计的复杂度。
如果帧内预测需要的重建结果从外部存储器(比如同步动态存储器SDRAM)获得，读取外部存储器需要往往花费比较长的时间(特别是SDRAM存储器)，在读取数据不连续的情况下访问外部存储器可能花费更长的时间，由于像素重建的延迟在系统的关键路径上，频繁读取外部存储器势必影响解码器性能的提高。
如果帧内预测需要的重建结果由帧内预测模块自身产生，则帧内预测需要接受预测残差数据和帧间预测数据，在帧内预测模块内部完成重建的功能，这要求帧内预测需要增加预测残差存储器、预测结果存储器和前向预测数据存储器。特别是在16x16块大小情况下，256个字节的前向预测数据存储器增加了帧内预测模块的面积，从而增加了解码器面积，提高了解码器成本。
发明内容
本发明提出一种视频解码中的带重建数据反馈的像素重建方法及采用该方法的视频解码器，其接受预测残差数据和预测数据，计算重建结果并将部分重建结果反馈给帧内预测模块；在双向预测的情况下，存储当前块的前向预测数据，在当前块后向预测数据到达时同时读出前向预测数据进行计算，得到当前块预测结果。这种像素重建方法适用于采用帧内预测技术的运动视频标准解码过程。基于这种方法的像素重建模块的VLSI实现，减少了解码器与外部存储器之间的数据交换，简化了解码器设计，同时节约了读取外部存储器时间，并且重建模块不需要存储全部块的前向预测数据，减小了像素重建模块所需要的存储器容量，减小了模块面积。具体方法如下：
一种带重建数据反馈的像素重建方法，其特征在于，在视频解码过程中，像素重建模块产生重建像素，并将部分重建像素反馈至帧内预测模块；具体步骤如下：
1)预测插值得到的预测数据和反变换输出的预测残差数据输入到重建控制器；
2)重建控制器将预测残差数据写入预测残差存储器，并将块数据的最后一列和最后一行的预测残差数据写入预测残差反馈存储器；
3)如果预测模式是双向预测，重建控制器将当前块的前向预测数据写入前向预测数据存储器，如果预测模式是单向预测，重建控制器将预测数据直接写入预测数据计算器；
4)如果预测模式是双向预测，在当前块后向预测数据到达时，重建控制器读取前向预测数据存储器的数据，并与当前块的后向预测数据一起送入预测数据计算器；
5)预测数据计算器将预测结果写入预测结果存储器，并将块的最后一列和最后一行需要反馈的预测结果送入重建控制器；
6)重建控制器将当前块需要反馈的最后一列和最后一行预测结果，将结果写入预测结果反馈存储器；
7)重建控制器将预测残差反馈存储器与预测结果反馈存储器的数据读出送入重建反馈计算器；
8)重建控制器将预测残差存储器与预测结果存储器的数据读出送入重建计算器；
9)重建反馈计算器输出反馈给帧内预测的重建结果，重建计算器输出重建数据结果。
进一步，如果所述块的大小为16x16，记块从上到下依次为0-15行，记块从左到右依次为0-15列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共31个重建像素给帧内预测模块。
进一步，如果所述块的大小为8x8，记块从上到下依次为0-7行，记块从左到右依次为0-7列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共15个重建像素给帧内预测模块。
进一步，如果所述块的大小为4x4，记块从上到下依次为0-3行，记块从左到右依次为0-3列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共7个重建像素给帧内预测模块。
进一步，反馈重建数据的计算过程不影响重建模块的正常重建操作。
一种实现带重建数据反馈的像素重建方法的视频解码器，其特征在于，包括：重建控制器、预测残差存储器、预测残差反馈存储器、预测结果反馈存储器、前向预测数据存储器、预测数据计算器、预测结果存储器、重建计算器和重建反馈计算器。
进一步，预测数据和预测残差数据输入到重建控制器；重建控制器将预测残差数据写入预测残差存储器，并将需要反馈的预测残差数据写入预测残差反馈存储器；如果是双向预测，重建控制器将当前块的前向预测数据写入前向预测数据存储器，并且在当前块后向预测数据到达时，将前向预测数据存储器的数据与后向预测数据送入预测数据计算器，预测计算器将预测结果写入预测结果存储器；如果是单向预测，重建控制器将预测数据直接写入预测数据计算器，预测数据计算器将预测结果写入预测结果存储器；预测结果存储器将反馈的预测结果送入重建控制器，重建控制器将反馈的预测结果写入预测结果反馈存储器；预测残差反馈存储器与预测结果反馈存储器将数据送入重建反馈计算器；预测残差存储器与预测结果存储器将数据送入重建计算器；重建反馈计算器输出反馈数据结果，重建计算器输出重建数据结果。
该方法采用了一种带重建数据反馈的重建模块设计，该模块与先前技术相比，加入了数据反馈的机制，即将重建模块将帧内预测需要的重建数据反馈给帧内预测模块。该方法的优点在于：帧内预测需要的重建数据不需要访问外部存储器，减小了重建模块的数据延迟；而相比帧内预测自身产生重建数据的解决方案，减少了帧内预测需要增加的一个前向预测数据存储器，减小了面积；该反馈机制的引入不影响像素重建的过程，不增加像素重建模块的额外的延迟，并且该方法有效利用了像素重建模块本身具有的前向预测数据存储器。在双向预测的情况下，该方法通过时序上的改进，用小容量的前向预测数据存储器(只需要存储一个块的前向预测数据)代替了大容量的前向预测数据存储器(需要存储全部块的前向预测数据)，减小了重建模块的存储器容量，从而减小了解码器面积。
附图说明
图1是带重建数据反馈的像素重建方法及结构示意图；
图2是反馈数据在NxN大小块中的位置。
具体实施方式
带重建数据反馈的像素重建方法及结构可参见附图1，其实施步骤可描述如下：
第一步：预测插值得到的预测数据和反变换输出的预测残差数据输入到重建控制器1。
第二步：重建控制器1将预测残差数据写入预测残差存储器2，并将块数据的最后一列和最后一行的预测残差数据写入预测残差反馈存储器测数据写入前向预测数据存储器3，如果预测模式是单向预测，重建控制器1将预测数据直接写入预测数据计算器4。
第四步：如果预测模式是双向预测，在当前块后向预测数据到达时，重建控制器读取前向预测数据存储器3的数据，并与当前块的后向预测数据一起送入预测数据计算器4。
第五步：预测数据计算器4将预测结果写入预测结果存储器5，并将块的最后一列和最后一行需要反馈的预测结果送入重建控制器1。
第六步：重建控制器1将当前块需要反馈的最后一列和最后一行预测结果，将结果写入预测结果反馈存储器7。
第七步：重建控制器1将预测残差反馈存储器6与预测结果反馈存储器7的数据读出送入重建反馈计算器9。
第八步：重建控制器1将预测残差存储器2与预测结果存储器5的数据读出送入重建计算器8。
第九步：重建反馈计算器9输出反馈给帧内预测的重建结果，重建计算器8输出重建数据结果。
虽然参照上述实施例详细地描述了本发明，但是应该理解本发明并不限于所公开的实施例，对于本专业领域的技术人员来说，可对其形式和细节进行各种改变。本发明意欲涵盖所附权力要求书的精神和范围内的各种变型。
Claims (7)
1.一种带重建数据反馈的像素重建方法，其特征在于，在视频解码过程中，像素重建模块产生重建像素，并将部分重建像素反馈至帧内预测模块；具体步骤如下：
1)预测插值得到的预测数据和反变换输出的预测残差数据输入到重建控制器；
2)重建控制器将预测残差数据写入预测残差存储器，并将块数据的最后一列和最后一行的预测残差数据写入预测残差反馈存储器；
3)如果预测模式是双向预测，重建控制器将当前块的前向预测数据写入前向预测数据存储器，如果预测模式是单向预测，重建控制器将预测数据直接写入预测数据计算器；
4)如果预测模式是双向预测，在当前块后向预测数据到达时，重建控制器读取前向预测数据存储器的数据，并与当前块的后向预测数据一起送入预测数据计算器；
5)预测数据计算器将预测结果写入预测结果存储器，并将块的最后一列和最后一行需要反馈的预测结果送入重建控制器；
6)重建控制器将当前块需要反馈的最后一列和最后一行预测结果，将结果写入预测结果反馈存储器；
7)重建控制器将预测残差反馈存储器与预测结果反馈存储器的数据读出送入重建反馈计算器；
8)重建控制器将预测残差存储器与预测结果存储器的数据读出送入重建计算器；
9)重建反馈计算器输出反馈给帧内预测的重建结果，重建计算器输出重建数据结果。
2.根据权利要求1所述的方法，其特征在于，如果所述块的大小为16x16，记块从上到下依次为0-15行，记块从左到右依次为0-15列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共31个重建像素给帧内预测模块。
3.根据权利要求1所述的方法，其特征在于，如果所述块的大小为8x8，记块从上到下依次为0-7行，记块从左到右依次为0-7列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共15个重建像素给帧内预测模块。
4.根据权利要求1所述的方法，其特征在于，如果所述块的大小为4 x 4，记块从上到下依次为0-3行，记块从左到右依次为0-3列，如果该块的像素重建完毕，重建模块输出最后一列像素和最后一行像素一共7个重建像素给帧内预测模块。
5.根据权利要求1所述的方法，其特征在于，所述反馈重建数据的计算过程不影响重建模块的正常重建操作。
6.一种实现权利要求1所述方法的视频解码器，其特征在于，包括：重建控制器、预测残差存储器、预测残差反馈存储器、预测结果反馈存储器、前向预测数据存储器、预测数据计算器、预测结果存储器、重建计算器和重建反馈计算器。
7.根据权利要求6所述的解码器，其特征在于，预测数据和预测残差数据输入到重建控制器；重建控制器将预测残差数据写入预测残差存储器，并将需要反馈的预测残差数据写入预测残差反馈存储器；如果是双向预测，重建控制器将当前块的前向预测数据写入前向预测数据存储器，并且在当前块后向预测数据到达时，将前向预测数据存储器的数据与后向预测数据送入预测数据计算器，预测计算器将预测结果写入预测结果存储器；如果是单向预测，重建控制器将预测数据直接写入预测数据计算器，预测数据计算器将预测结果写入预测结果存储器；预测结果存储器将反馈的预测结果送入重建控制器，重建控制器将反馈的预测结果写入预测结果反馈存储器；预测残差反馈存储器与预测结果反馈存储器将数据送入重建反馈计算器；预测残差存储器与预测结果存储器将数据送入重建计算器；重建反馈计算器输出反馈数据结果，重建计算器输出重建数据结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710178318 CN101448160B (zh) | 2007-11-28 | 2007-11-28 | 带重建数据反馈的像素重建方法及解码器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200710178318 CN101448160B (zh) | 2007-11-28 | 2007-11-28 | 带重建数据反馈的像素重建方法及解码器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101448160A true CN101448160A (zh) | 2009-06-03 |
| CN101448160B CN101448160B (zh) | 2010-06-02 |
Family
ID=40743507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200710178318 Active CN101448160B (zh) | 2007-11-28 | 2007-11-28 | 带重建数据反馈的像素重建方法及解码器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101448160B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102223525A (zh) * | 2010-04-13 | 2011-10-19 | 富士通株式会社 | 视频解码方法和系统 |
| CN102340661A (zh) * | 2010-07-23 | 2012-02-01 | 联合信源数字音视频技术（北京）有限公司 | 一种avs模式决策中反馈帧内预测重构数据的方法 |
| CN102843555A (zh) * | 2011-06-24 | 2012-12-26 | 中兴通讯股份有限公司 | 一种帧内预测方法和系统 |
| CN109491616A (zh) * | 2018-11-14 | 2019-03-19 | 三星（中国）半导体有限公司 | 数据的存储方法和设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1589028B (zh) * | 2004-07-29 | 2010-05-05 | 展讯通信（上海）有限公司 | 基于像素流水的帧内预测装置及预测方法 |
| CN1812583A (zh) * | 2005-09-22 | 2006-08-02 | 上海广电（集团）有限公司中央研究院 | 块组编码结构及基于该结构的自适应分阶段预测编码方法 |
-
2007
- 2007-11-28 CN CN 200710178318 patent/CN101448160B/zh active Active
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102223525A (zh) * | 2010-04-13 | 2011-10-19 | 富士通株式会社 | 视频解码方法和系统 |
| CN102223525B (zh) * | 2010-04-13 | 2014-02-19 | 富士通株式会社 | 视频解码方法和系统 |
| CN102340661A (zh) * | 2010-07-23 | 2012-02-01 | 联合信源数字音视频技术（北京）有限公司 | 一种avs模式决策中反馈帧内预测重构数据的方法 |
| CN102340661B (zh) * | 2010-07-23 | 2014-04-30 | 联合信源数字音视频技术（北京）有限公司 | 一种avs模式决策中反馈帧内预测重构数据的方法 |
| CN102843555A (zh) * | 2011-06-24 | 2012-12-26 | 中兴通讯股份有限公司 | 一种帧内预测方法和系统 |
| WO2012175023A1 (zh) * | 2011-06-24 | 2012-12-27 | 中兴通讯股份有限公司 | 一种帧内预测方法和系统 |
| CN109491616A (zh) * | 2018-11-14 | 2019-03-19 | 三星（中国）半导体有限公司 | 数据的存储方法和设备 |
| CN109491616B (zh) * | 2018-11-14 | 2022-05-24 | 三星（中国）半导体有限公司 | 数据的存储方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101448160B (zh) | 2010-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9351003B2 (en) | Context re-mapping in CABAC encoder | |
| CN101527849B (zh) | 集成视频解码器的存储系统 | |
| CN101252694B (zh) | 基于块的视频解码的帧存储压缩和地址映射系统 | |
| US9948934B2 (en) | Estimating rate costs in video encoding operations using entropy encoding statistics | |
| CN103609117B (zh) | 编码和解码图像的方法及装置 | |
| Bao et al. | A lossless frame recompression scheme for reducing DRAM power in video encoding | |
| US20170142411A1 (en) | Intra/inter mode decision for predictive frame encoding | |
| CN101193306A (zh) | 运动矢量检测装置和运动矢量检测方法 | |
| KR20070034231A (ko) | 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치 | |
| CN102113327B (zh) | 图像编码装置、方法、集成电路 | |
| CN101448160B (zh) | 带重建数据反馈的像素重建方法及解码器 | |
| US20020013633A1 (en) | Audio processor and audio data processing method | |
| CN103109535B (zh) | 图像再生方法、图像再生装置、摄像系统及再生系统 | |
| US20120147023A1 (en) | Caching apparatus and method for video motion estimation and compensation | |
| JPH10108199A (ja) | 画像符号化装置 | |
| CN100456832C (zh) | 用于手持装置的视频编码方法及编码器 | |
| CN101883276A (zh) | 软硬件联合解码的多格式高清视频解码器结构 | |
| CN104113759A (zh) | 视频系统、视频帧缓存再压缩/解压缩方法与装置 | |
| CN103327340B (zh) | 一种整数搜索方法及装置 | |
| CN110381323B (zh) | 基于帧间预测协助帧运动矢量信息无损压缩系统及方法 | |
| CN109005410A (zh) | 一种系数存取方法和装置及机器可读介质 | |
| CN103034455A (zh) | 基于预先解码分析的数据信息缓存管理方法及系统 | |
| Yang et al. | An effective dictionary-based display frame compressor | |
| CN100576917C (zh) | 逆扫描频率系数的方法和系统 | |
| KR102105644B1 (ko) | Mlc stt-mram에 영상을 저장하는 메모리 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220225 Address after: Room 108, floor 1, building 4, No. 2 dacuodeng Hutong, Dongcheng District, Beijing 100010 Patentee after: Beijing Zhongke micro Investment Management Co.,Ltd. Address before: 100029 Beijing city Chaoyang District Beitucheng West Road No. 3 Patentee before: Institute of Microelectronics, Chinese Academy of Sciences |