CN1965585B - 一种在存储器中存储影像的方法 - Google Patents
一种在存储器中存储影像的方法 Download PDFInfo
- Publication number
- CN1965585B CN1965585B CN2005800190838A CN200580019083A CN1965585B CN 1965585 B CN1965585 B CN 1965585B CN 2005800190838 A CN2005800190838 A CN 2005800190838A CN 200580019083 A CN200580019083 A CN 200580019083A CN 1965585 B CN1965585 B CN 1965585B
- Authority
- CN
- China
- Prior art keywords
- data block
- encoded data
- memory
- block
- cost function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000007906 compression Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 108091033380 Coding strand Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及在存储器中存储影像的方法,影像分成数据块,所述方法包括以下步骤:计算输入数据块的变换以产生包括一组n个已变换元素的已变换数据块,其中n为整数;熵编码已变换数据块的最前的m个已变换元素以产生已编码数据块,其中m是小于n的整数;计算以输入数据块与已编码数据块之间失真值的加权和以及在存储器中读或写已编码数据块所需的功率消耗为基础的代价函数;对不同的m值迭代熵编码和代价函数计算步骤,并且将对应最小化代价函数的m值的已编码数据块存储在存储器中。
Description
技术领域
本发明涉及用于在存储器中存储影像的方法和装置,所述影像根据基于预测块的技术进行了处理。
本发明可以应用在例如视频解码器、视频编码器或诸如个人数字助理或移动电话的便携设备中,所述设备适于解码或编码影像。
背景技术
低功率消耗是移动装置的关键特征。移动装置目前提供已知要耗散大量能量的视频编码和解码能力。因此需要所谓的低功率视频算法。
事实上,对于视频装置来说访问诸如SDRAM的外部存储器是一个瓶颈。这既是由于功率消耗的问题,如诸多存储器已知是系统中最耗电的装置,也是由于因中央处理器(CPU)与存储器之间可用于交换的带宽的原因而产生的速度限制。
在常规的视频解码器中,因为运动补偿单元不断地指向通常称作参考帧的像素块,因此它需要很多这种访问。要克服这个问题,提出了所谓“嵌入式压缩”。所述嵌入式压缩最初是由于参考帧的有损压缩而开发出来以便以质量下降为代价减少存储器大小。
图1示出了嵌入式压缩应用于H.264视频解码器的例子。所述视频解码器串联地包括:
可变长解码块VLD,适于解码已编码的比特流BS以便一方面产生已解码的数据块,另一方面产生已解码的运动向量MV,
逆量化块IQ,适于产生已量化的数据块,
逆变频块IT,例如在逆离散余弦变换块IDCT中,用于产生对应残余误差数据块e的相反交换的数据块
该视频解码器还包括用于把运动补偿数据块与残余误差数据块相叠加的加法器。运动补偿数据块由已修改的运动补偿单元MMC产生,该运动补偿单元串联地包括用于产生已编码的数据块的嵌入式编码单元eENC、用于存储所述已编码的数据块的图像存储器MEM、嵌入式解码单元eDEC和插值滤波器FIL。所述加法器的输出为输出已解码图像OF的已编码的数据块,该输出已解码图像之后传递用于显示(未表示)同时还传递给嵌入式编码单元eENC。
由A.Bourge和J.Jung撰写的论文《A Low-Power H.264Decoderwith Graceful Degradation》(Proceedings Of ElectronicImaging,VCIP,2004年1月)证实了若满足某些特殊的条件,则嵌入式压缩技术有助于减少存储器的传输并因此减少功率消耗。一个条件是压缩率映射存储器结构。该条件意即压缩后的块存储在存储器中方便的存取点上。例如,针对包括具有预定义长度(如16、32或64比特)的常规字的SDRAM存储器,各个编码后的数据块的开始地址进行了字对齐,那么,如果编码后的数据块的长度适合数据要求的长度,则编码后的数据块的长度就得到了最优化,即在一个读周期内1、2、4、6或8个字的字符组从存储器中提取出来。
遵守所述条件的常规方法能够为各个块设置固定的压缩率以便适配于数据突发(burst)。例如,参考帧分解成8×8的亮度Y像素和4×4的色度U和V像素,所述亮度和色度成分以8比特进行抽样。因此,数据块对应768未压缩比特。如果设置压缩系数为3,则一个数据块得到了基于256比特的比特预算分配的编码,其256比特的比特预算分配精确地匹配具有32比特数据总线的存储器平台的结构来接受8字的突发。
不过,这种固定压缩率的方法在视觉质量方面不是最优的。事实上,当一些不太复杂的数据块能够用低于会导致比特浪费的256比特进行无损编码时,而太少的比特用于正确地编码复杂的数据块又会导致大量的信息损失。
发明内容
本发明的一个目的是提出在存储器中存储影像的方法和装置,该方法和装置在保持合理的存储器功率消耗的前提下能够得到优于现有技术之一所能达到的视觉质量。
为此目的,依据本发明的方法,其特征在于该方法包括以下步骤:
计算输入数据块的变换以产生包括一组n个已变换元素的已变换数据块,其中n为整数,
熵编码已变换数据块的最前的m个已变换元素以产生已编码数据块,其中m是小于n的整数,
计算以输入数据块与已编码数据块之间失真值的加权和以及在存储器中读或写已编码数据块所需的功率消耗为基础的代价函数,
对不同的m值迭代熵编码和代价函数计算步骤,并且
将对应最小化代价函数的m值的已编码数据块存储在存储器中。
基于功率-率-失真准则(即依赖于失真和功率消耗的失真准则)的代价函数的引入使功率消耗、存储器带宽和视觉质量得到较佳的折衷。
有利的是,代价函数以失真值的加权和、功率消耗和已编码数据块的比特数为基础来计算。
本发明还涉及实现这种存储方法的存储装置。
根据本发明的实施例,在第一通路中对输入数据块进行变换和熵编码,所得到的已编码数据块在对应最小化代价函数的m值的比特位置处被截断,之后存储在存储器中。
根据本发明的另一实施例,每次新的已变换元素加入到当前已编码数据块时,代价函数的变化量都要进行计算,一旦该变化量为正,则将当前已编码数据块存储到存储器中。
根据本发明的另一实施例,该存储器通过预定长度的i个字突发来存取,其中i为可变整数,功率消耗由已编码数据块的比特数、i个字突发中每比特功率消耗、i的值、i个字突发数和字的长度来导出。在这种情况下,代价函数就特别地适配于存储器和数据总线的结构和特性。
本发明还涉及用于解码比特流的视频解码器,所述解码器包括用于提供错误数据块的解码单元,用于存储已编码数据块的所述存储装置,用于从存储器中提取至少一个已编码数据块和用于解码所述至少一个已编码数据块以便传递当前运动补偿数据块的装置,以及用于把当前错误数据块添加到当前运动补偿数据块的加法器,所述加法器的输出提供给存储装置的输入。
本发明还涉及用于编码影像序列的视频编码器,影像分成输入数据块,所述编码器包括用于提供已部分编码数据块的编码单元,用于从已部分编码数据块中提供已部分解码数据块的解码单元,串联地包括存储装置和用于从存储器中提取至少一个已编码数据块以及解码所述至少一个已编码数据块以便传递运动补偿数据块装置的预测单元,用于把运动补偿数据块添加到已部分解码数据块的加法器,所述加法器的输出提供给预测单元的输入,以及用于从输入数据块减去运动补偿数据快的减法器,所述减法器的输出提供给编码单元的输入。
本发明还涉及包括这种存储装置的便携设备。
所述发明最终涉及包括用于实现所述存储方法的程序指令的计算机程序产品。
本发明的这些和其他方面从下文中阐述的实施例会明显看到,并将参考下文中阐述的实施例进行阐述。
附图说明
现在将以举例的方式并且参照附图阐述本发明,其中:
图1示出了解码装置实施例的框图;和
图2示出了编码装置实施例的框图。
具体实施方式
本发明为视频解码器和编码器中的嵌入式压缩方案引入了处理功率消耗限制的新方法。如前所述,嵌入式压缩存在于预测式视频编码方案中的压缩参考帧。本发明建议执行基于功率-率-失真准则的嵌入式压缩方案的比特预算分配。
本发明能够应用于任何的序列需要存储于存储器中的视频编码或解码装置。事实上,已解码帧一般需要存储在存储器中以便其能够在之后被检索来通过运动补偿预测下一帧(数帧)。本发明特别地关注于在保持输出已解码图像的足够全面的图像质量的同时,缩减参考图像存储器的大小。为了清楚起见,我们将专注于针对常规的视频解码器(例如,MPEG-2、MPEG-4、H.264或诸如此类)情况的以下阐述。
再次认真考虑图1的视频解码器。所述视频解码器适配于解码包括已编码影像序列的比特流,所述已编码影像分成已编码数据块。为此目的,所述解码器包括:
解码单元,串联地包括可变长度解码块VLD、逆量化块IQ和逆变换块IT(如适于执行逆离散余弦变换IDCT),所述解码单元适于从比特流和已解码运动向量MV中提供错误数据块,
运动补偿单元MMC,用于执行基于已解码数据块和运动向量的运动补偿,以便传递运动补偿数据块,和
加法器,用于把当前已解码错误数据块添加到当前运动补偿数据块,以便传递当前已解码数据块。
之后,对应一组已解码数据块的已编码输出图像OF传递给显示器(未表示)。编码装置可选择地包括解块滤波器DF,所述滤波器是例如H.264标准中所建议的。
依据本发明的视频解码器的重构单元串联地包括嵌入式编码单元eENC、存储器MEM、嵌入式解码单元eDEC和插值滤波器FIL。
根据本发明的实施例,嵌入式编码单元eENC包括用于对输入数据块进行频率变换(如使用离散余弦变换DCT)以便产生已变换数据块的变换块,该已变换数据块在8×8像素的亮度块的情况下包括一组64个已变换系数(如DCT系数),各个系数以8比特抽样。
其还包括熵编码块,用于熵编码已变换数据块的最前的m个已变换元素以便产生已编码数据块,其中m为从1到n变化的整数,而n是已变换数据块中相关的已变换元素的总数。在所述实施例中,熵编码块基于比特平面编码。所述编码从最高有效比特开始,通过比特平面对DCT系数比特平面进行编码。这种编码方案在例如由R.J.van derVleuten撰写的《Low-complexity lossless and fine-granularityscalable near-lossless compression of color images》(Proceedings of the Data Compression Conference,2002年,4月,第477页)中进行了阐述。根据这种编码方案,DC系数被无损地编码。对于AC系数,通过区域编码来完成压缩:对于各个比特平面,由最大行Rmax和最大列Cmax来表示前面无价值系数的有效映射,其中比特等于1。超出该区域的数据不需要传输。由于能量通常位于低频系数,因此本技术意味着良好的比特率压缩。其最大优势在于提供了精细颗粒度可伸缩性。对于所述嵌入式编码方案,各个已变换元素是DCT系数的一个比特并且n最多等于512比特。
本视频编码器包括如处理器的计算装置(未表示),用于计算以输入数据块和相应的已编码然后已解码数据块之间失真值的加权和为基础的代价函数、已编码数据块的比特数、和/或对于在存储器中读或写已编码数据块所需的功率消耗。
代价函数c(i+1)如下列公式计算:
c(i+1)=λ1*size_in_bits+λ2*distortion+λ3*power_consumption
c(i+1)=(i)+δc
其中:
size_in_bits是下一个已变换元素a(i+1)加入当前已编码数据块时其下一个已编码数据块的比特数;
distortion是输入数据块与相应的已编码数据块的已解码版本之间差值(如均方误差MSE、差值绝对值之和SAD或诸如此类)的计算值;所述distortion无需解码已编码块也能够计算出来,例如在常规编码链DCT-Q-VLC的情况下,所述distortion从量化前后DCT系数之间的差值(如MSE)导出,其等同于输入数据块与已编码数据块的已解码版本之间的MSE;
power_consumption是用于在存储器中写已编码数据块和用于在进一步的运动补偿步骤中读已编码数据块的功率消耗的估计值或计算值;
c(i+1)表示当下一个数据块的一组(i+1)个已变换元素完成编码时的代价函数值,c(i)表示当当前数据块的一组i个已变换元素完成编码时的代价函数值,δc是这两个值之间的代价变量;
λ1、λ2和λ3是反映各个参数相对重要性的权重系数。
根据本发明的实施例,当且仅当δc为负值,下一个已变换元素a(i+1)才实际加入比特流中。它既依赖于经过参数size_in_bits、distortion和power_consumption的当前数据块特性,也依赖于经过λ1、λ2和λ3的编码策略。例如,当对已压缩帧的最终大小有较严格的要求时,即其大小不能超过例如SDRAM的总容量的预定大小,则需要较大的λ1值。较大的λ2值意味着视觉质量是主要的决定准则。最后,如果λ3值较高,则意味着功率消耗的增益比信息损失更为重要。使用这种方案有几个优点。
第一个优点是可视质量。视频解码器中使用嵌入式压缩会产生偏离标准解码的影像序列(所谓漂移效应),其意味着经过该组影像积累的质量劣化。对比如现有技术中所阐述的固定压缩率的解决方案,本建议的方法允许更灵活的比率分配,如常规的率-失真方案中一样给予更复杂的块以更多的比特。
另一优点是功率消耗和存储器结构。对比常规的率-失真准则,本建议的代价函数的使用考虑了由存储更多的比特而引起的功率消耗。在实践中,这种消耗由于本装置中实现的存储器的已知特性而计算(或测量)出来,该已知特性即诸如存储器的结构(即字长)、数据总线带宽、有效突发模式和各个突发模式(读或写)存取操作的能量消耗。因此,比特率分配操作不能偏向意味着较大能量损失的较小的率-失真增益。
又另一优点是功率可伸缩性。若需要,加权系数λ3根据设备电池的电量来自动调整。电量充足时,λ3值较小,则代价函数非常接近于最优化视觉质量的常规的率-失真准则。电量接近耗尽时,功率节省是关键的问题,因此λ3值设为最大的值。
本视频解码器包括存储器控制器(未表示),该控制器能够在存储器中写入对应最小化代价函数的m值的已编码数据块。根据以上阐述的实施例,每次新的元素加入比特流时,代价函数的变化量都要进行计算,一旦该变化量为正则操作停止。本方法的计算开销较低,但该操作会被代价函数的局部最小值所中断。根据本发明的另一实施例,在第一通路中对输入数据块进行完全编码,所得的比特流局部地存储在存储器的临时位置。对于各个m值,计算代价函数。比特流在对应代价函数最小化的最前的m个元素的比特位置处被截断,之后被写入存储器中。一方面,本方法是穷举的,并因此确保发现具有总体最小代价的截断点。另一方面,因为全部信息都要编码直到最后比特并且代价函数的全部值也要计算并存储,因此计算开销较大。
基于当前已解码运动向量MV,该存储器控制器能够从存储器中读至少一个已编码数据块。之后,嵌入式解码单元eDEC适配于解码至少一个已编码数据块。由嵌入式编码单元而定,嵌入式解码单元包括熵解码块和逆变换块IT,块相互串联。根据所属技术领域的专业人员公知的原理,至少一个已解码数据块最终由插值滤波器FIL处理以便传递当前运动补偿数据块mc。
根据本发明的另一实施例,嵌入式编码单元eENC包括常规的编码链,该编码链串联地含有变换块(如使用DCT)、量化块和熵编码块(如可变长度解码块VLC)。这种情况下,已编码数据块包括其为最前的m个DCT系数的最前的m个已变换元素,并把对应最小化代价函数的m值的已编码数据块存储在存储器中。之后,相应的嵌入式解码单元包括常规的解码链,该解码链串联地含有可变长度解码块VLD、逆量化块和IDCT块。
对于所属技术领域的专业人员来说很明显有可能存在其它的压缩方案。例如,嵌入式编码单元可以包括基于与VLC类型的熵编码块串联的差分脉冲编码调制DPCM变换块的变换块。
在本段落中,对代价函数的计算步骤作更详细地描述。参数size_in_bits通过构造在各个步骤中都是已知的。计算失真值以建立被截断的DCT系数并算出与原始值的差值(使用如基于均方误差MSE或差值绝对值之和SAD的算法)。
如下方法计算power_consumption。在当今的SDRAM中,数据能够通过i个字突发(例如i=1、2、4、6或8)来存取。一个字包含N比特(通常N=32,16和64是其它常用的值),N还是数据总线的带宽。已编码块使用8个字突发n8、6个字突发n6等等来写入或提取。各个突发模式对应不同的能量消耗。表1给出了具有32比特数据总线带宽的SDRAM、1字突发和8字突发情况下的每次存取消耗的例子。本数据是使用特殊模型的估计值。
每次存取的消耗 | 1字突发 | 8字突发 |
读 | 19020.7pj | 63943.2pj |
写 | 17848.8pj | 54568.0pj |
表1:SDRAM每次存取的消耗估计值
有一点要注意的是,8字突发的消耗远低于8次简单存取的消耗。因此,每传输比特的功率代价在各个模式下是不同的。对于给定的比特数(size_in_bits),因此要选择允许传输全部比特的突发与根据以下方程式得出的最小消耗的组合:
其中αi是通过存储器特性给出的突发模式i的每比特(或每字)的功率代价。
根据本发明的实施例,最优的{n8,n6,...,n1}配置是基于以下迭代方法来确定,其使用了自顶向下的方案假设αi以i递减,其在实践中总是这种情况。各个迭代中,要考虑两个向量候选:n(0)={n8 (0),n6 (0),...,n1 (0)}和n(1)={n8 (1),n6 (1),...,n1 (1)}。最前两个候选是:
n(0)={size_in_bits/(8*word_length),0,...,0}和
n(1)={1+size_in_bits/(8*word_length),0,...,0}。
若n(0)正好适合size_in_bits,则其为最佳候选,且进程停止。否则,n(0)对于满足方程式(1)的第一个条件来说太小,其中n(1)足够大。相应的功率消耗P(1)被计算。n(1)和P(1)作为最佳候选nbest和Pbest被存储起来。
s迭代时,n(0)和n(1)由(s-1)迭代的前一个向量n(0)来建立。(s-1)迭代的值n8 (0),n6 (0),...,and ni (0)被固定并明确地被选择。两个候选此刻具有了下列结构:
n(0)={n8 (0),n6 (0),...,ni (0),ni-1 (0),0,...,0}和
n(1)={n8 (1),n6 (1),...,ni (1),ni-1 (1),0,...,0}。
其中ni-1 (0)=δn/((i-1)*N)、ni-1 (1)=ni-1 (0)+1且δn为由(s-1)迭代的前一个向量n(0)遗留下的比特数。若n(0)正好适合size_in_bits,则其为最佳候选,且进程停止。否则,如第一次迭代一样,n(0)对于满足方程式(1)的第一个条件来说太小,其中n(1)足够大。相应的功率消耗P(1)被计算。若P(1)低于当前的Pbest,则n(1)和P(1)作为nbest和Pbest被存储。该进程一直继续直到达到最后的突发模式或n(0)正好适合size_in_bits。
尽管非最优化但较简单的解决方案存在于通过预设定的规则来直接建立突发配置,该规则如根据以下原理分解已编码数据块:具有n8=size_in_bits/(8*N)、ni=δni/(i*N)和δni的n={n8,n6,...,n1}是比特的剩余数;且在计算关联的功率消耗中。之后,该值代入代价函数。这种解决方案具有复杂性上代价很低的优点,但是它不能确保所选择的配置能够最小化用于传输(读/写)给定的已编码数据快的功率消耗。
以上两种解决方案之间的折衷将会在于预先建立用于全部size_in_bits值的优化配置并且存储在表中(例如ROM中)。总之,若有效突发模式的数量有限(其为在实践中的情况),则第一个阐述的方法不太复杂。
在前面的阐述中,已经假设若有的话,量化步骤都已被选择。如前所述,例如在VLC编码运行级耦合之后,所得到的比特流通过在相关的点上截断它已经制成。
根据另一或前面阐述之外的实施例,代价函数能够用于先验的选择量化步骤QP。使用QP和当前数据块的活动性(基于MSE或SAD的平均值)估计size_in_bits。从同样的两个参数估计失真。最后,如前所述使用估计的size_in_bits值来估计功率消耗。选择最小化代价估计的QP值。
图2示出了视频编码装置的例子。这种编码装置包括:
编码单元,串联地包括直接频率变换块(例如,直接离散余弦变换DCT)、适合于把输入视频数据IN变换为部分已编码数据块的量化块Q和适合于从部分已编码数据块产生比特流ES的可变长度编码块VLC;
解码单元,串联地包括逆量化块IQ、用于从部分已编码数据块提供部分已解码数据块的逆频率变换块IT(例如逆离散余弦变换块IDCT),
预测单元,串联地包括嵌入式编码单元eENC、存储器MEM、嵌入式解码单元eDEC和用于产生运动补偿数据块的向量补偿单元MC,根据依据本发明的方法由嵌入式编码单元产生的已编码数据块存储在存储器中,
加法器,用于把运动补偿数据块添加到部分已解码数据块,所述加法器的输出提供给预测单元的输入,和
减法器,用于从输入数据块中减去运动补偿数据块,所述减法器的输出提供给编码单元的输入。
以上仅以举例的方式阐述了本发明的几个实施例,并且所属技术领域的技术人员会明显地看到对所阐述的实施例的修改和改变不会脱离如所附的权利要求书所定义的本发明的范围。另外,在本权利要求书中,任何置于括号中的参考标记不应解释为对本权利要求的限制。术语“包括”不排除权利要求所列的那些以外的元素和步骤的出现。术语“一”或“一个”不排除多个。本发明能够借助包括几个独立元素的硬件和适合的编程计算机来实现。在列举几个装置的装置权利要求中,这些装置中的几个能够通过同一个硬件项来实现。仅凭着措施在相互不同的独立权利要求中被陈述的事实不表明这些措施的联合不能作为优点。
Claims (9)
1.一种在存储器中存储影像的方法,影像分成数据块,所述方法包括以下步骤:
计算输入数据块的交换,用于产生包括一组n个已变换元素的已变换数据块,其中n为整数,
比特平面编码已变换数据块的最前的m个已变换元素,用于产生已编码数据块,其中m是小于n的整数,
计算基于输入数据块与已编码数据块之间失真值以及在存储器中读或写已编码数据块所需的功率消耗的加权和的代价函数,
对不同的m值迭代比特平面编码和代价函数计算步骤,并且
将对应最小化代价函数的m值的已编码数据块存储在存储器中。
2.如权利要求1所述的方法,其中代价函数以失真值的加权和、功率消耗和已编码数据块的比特数为基础来计算。
3.如权利要求1所述的方法,其中在第一通路中对输入数据块进行交换和比特平面编码,并且其中所得到的已编码数据块在对应最小化代价函数的m值的比特位置处被截断,之后存储在存储器中。
4.如权利要求1所述的方法,其中每次新的已交换元素加入到当前已编码数据块时,代价函数的变化量都要进行计算,一旦该变化量为正,则将当前已编码数据块存储到存储器中。
5.如权利要求1所述的方法,其中该存储器通过预定长度的i个字突发来存取,其中i为可变整数,并且其中功率消耗由已编码数据块的比特数、i个字突发中每比特功率消耗、i的值、i个字突发数和字的长度来导出。
6.一种存储装置,用于在存储器中存储影像,影像分成数据块,所述装置包括:
嵌入式编码(eENC)单元,用于交换输入数据以便产生包括一组n个已变换元素的已变换数据块,其中n为整数,并且用于比特平面编码已变换数据块的最前的m个已变换元素以便产生已编码数据块,其中m是小于n的整数,
计算装置,用于计算基于输入数据块与已编码数据块之间失真值以及在存储器中读或写已编码数据块所需的功率消耗的加权和的代价函数,对不同的m值计算已编码数据块和代价函数,
存储器(MEM),用于存储对应最小化代价函数的m值的已编码数据块。
7.一种视频解码器,用于解码比特流,所述解码器包括:
解码单元(YLD、IQ、IT),用于从该比特流中提供错误数据块,如权利要求6所述的存储装置(eENC-MEM),用于存储已编码数据块,
装置(eDEC-INT),用于从该存储器中提取至少一个已编码数据块并用于解码所述至少一个已编码数据块以便传递当前运动补偿数据块(mc),和
加法器,用于把当前错误数据块(e)添加到当前运动补偿数据块,所述加法器的输出提供给存储装置的输入。
8.一种视频编码器,用于编码影像序列,影像分成输入数据块,所述编码器包括:
编码单元(T-Q),用于提供部分已编码数据块,
解码单元(IQ-IT),用于从部分已编码数据块提供部分已解码数据块,
预测单元(MEM-MC),串联地包括如权利要求6所述的存储装置和嵌入式解码单元(eDEC-INT),用于从该存储器中提取至少一个已编码数据块并用于解码所述至少一个已编码数据块以便传递运动补偿数据块(me),
加法器,用于把运动补偿数据块添加到部分已解码数据块,所述加法器的输出提供给预测单元的输入,和
减法器,用于从输入数据块中减去运动补偿数据块,所述减法器的输出提供给编码单元的输入。
9.一种使携设备,包括如权利要求6所述的存储装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04300323.5 | 2004-06-11 | ||
EP04300323 | 2004-06-11 | ||
PCT/IB2005/051845 WO2005122587A1 (en) | 2004-06-11 | 2005-06-07 | Method of storing pictures in a memory using compression coding and cost function including power consumption |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1965585A CN1965585A (zh) | 2007-05-16 |
CN1965585B true CN1965585B (zh) | 2010-09-29 |
Family
ID=34970217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005800190838A Expired - Fee Related CN1965585B (zh) | 2004-06-11 | 2005-06-07 | 一种在存储器中存储影像的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8665955B2 (zh) |
EP (1) | EP1759532A1 (zh) |
JP (1) | JP2008502261A (zh) |
KR (1) | KR20070028404A (zh) |
CN (1) | CN1965585B (zh) |
WO (1) | WO2005122587A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE602004017180D1 (de) * | 2003-06-27 | 2008-11-27 | Nxp Bv | Codierungsverfahren für tragbare vorrichtungen |
US20090074074A1 (en) * | 2007-06-29 | 2009-03-19 | The Hong Kong University Of Science And Technology | Multiple description encoder and decoder for transmitting multiple descriptions |
US8831101B2 (en) * | 2008-08-02 | 2014-09-09 | Ecole De Technologie Superieure | Method and system for determining a metric for comparing image blocks in motion compensated video coding |
US9100656B2 (en) | 2009-05-21 | 2015-08-04 | Ecole De Technologie Superieure | Method and system for efficient video transcoding using coding modes, motion vectors and residual information |
US8755438B2 (en) | 2010-11-29 | 2014-06-17 | Ecole De Technologie Superieure | Method and system for selectively performing multiple video transcoding operations |
US9807397B2 (en) * | 2011-04-11 | 2017-10-31 | Sharp Laboratories Of America, Inc. | System for power allocation |
EP2728872A4 (en) * | 2011-07-01 | 2016-05-11 | Samsung Electronics Co Ltd | VIDEO CODING METHOD WITH INTRAPRADICATION ON THE BASIS OF A TEST PROCESS FOR UNIFORM REFERENCE POSSIBILITY, VIDEO DECODING METHOD AND DEVICE THEREFOR |
US20130039431A1 (en) * | 2011-08-12 | 2013-02-14 | Electronics And Telecommunications Research Institute | Power-scalable encoding/decoding apparatus and method |
US20130243100A1 (en) | 2012-03-15 | 2013-09-19 | Mediatek Inc. | System and Method for Adaptive Frame Re-compression in Video Processing System |
JP2014123841A (ja) * | 2012-12-20 | 2014-07-03 | Jvc Kenwood Corp | 画像符号化装置および画像符号化方法 |
CN106162192A (zh) * | 2016-07-06 | 2016-11-23 | 华为技术有限公司 | 处理视频数据的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
CN1140003A (zh) * | 1994-12-01 | 1997-01-08 | 摩托罗拉公司 | 自适应编码/解码的方法和装置 |
CN1338093A (zh) * | 1999-02-01 | 2002-02-27 | 汤姆森许可贸易公司 | 显示装置的功率电平控制方法和实现该方法的装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5734755A (en) * | 1994-03-11 | 1998-03-31 | The Trustees Of Columbia University In The City Of New York | JPEG/MPEG decoder-compatible optimized thresholding for image and video signal compression |
US20030191876A1 (en) * | 2000-02-03 | 2003-10-09 | Fallon James J. | Data storewidth accelerator |
JP3934568B2 (ja) * | 2003-03-04 | 2007-06-20 | 松下電器産業株式会社 | 動画符号化方法および装置 |
JP2005005844A (ja) * | 2003-06-10 | 2005-01-06 | Hitachi Ltd | 計算装置及び符号化処理プログラム |
US7471724B2 (en) * | 2003-06-23 | 2008-12-30 | Vichip Corp. Limited | Method and apparatus for adaptive multiple-dimensional signal sequences encoding/decoding |
DE602004017180D1 (de) * | 2003-06-27 | 2008-11-27 | Nxp Bv | Codierungsverfahren für tragbare vorrichtungen |
US7386445B2 (en) * | 2005-01-18 | 2008-06-10 | Nokia Corporation | Compensation of transient effects in transform coding |
-
2005
- 2005-06-07 US US11/629,056 patent/US8665955B2/en not_active Expired - Fee Related
- 2005-06-07 WO PCT/IB2005/051845 patent/WO2005122587A1/en not_active Application Discontinuation
- 2005-06-07 CN CN2005800190838A patent/CN1965585B/zh not_active Expired - Fee Related
- 2005-06-07 EP EP05745105A patent/EP1759532A1/en not_active Ceased
- 2005-06-07 KR KR1020067025876A patent/KR20070028404A/ko not_active Application Discontinuation
- 2005-06-07 JP JP2007526645A patent/JP2008502261A/ja not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1102030A (zh) * | 1993-04-13 | 1995-04-26 | 三星电子株式会社 | 可按照频域能量特性改变量化级的编码方法及其装置 |
CN1140003A (zh) * | 1994-12-01 | 1997-01-08 | 摩托罗拉公司 | 自适应编码/解码的方法和装置 |
CN1338093A (zh) * | 1999-02-01 | 2002-02-27 | 汤姆森许可贸易公司 | 显示装置的功率电平控制方法和实现该方法的装置 |
Non-Patent Citations (2)
Title |
---|
CHADDHA N 等.A lower power video encoder with power,memory andbandwidth scalability.VLSI DESIGN,1996.PROCEEDINGS.,9TH INTERNATIONAL CONFERENCE ON BANGALORE,INDEIA 3-6 JAN.1996,IEEE COMPUT. SOC,US.1996,358-363. |
CHADDHA N等.A lower power video encoder with power,memory andbandwidth scalability.VLSI DESIGN,1996.PROCEEDINGS.,9TH INTERNATIONAL CONFERENCE ON BANGALORE,INDEIA 3-6 JAN.1996,IEEE COMPUT. SOC,US.1996,358-363. * |
Also Published As
Publication number | Publication date |
---|---|
EP1759532A1 (en) | 2007-03-07 |
WO2005122587A1 (en) | 2005-12-22 |
KR20070028404A (ko) | 2007-03-12 |
CN1965585A (zh) | 2007-05-16 |
US8665955B2 (en) | 2014-03-04 |
US20070230919A1 (en) | 2007-10-04 |
JP2008502261A (ja) | 2008-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1965585B (zh) | 一种在存储器中存储影像的方法 | |
CN101317463B (zh) | 在编解码中的实现量化的方法和装置 | |
JP5590133B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
CN101946513B (zh) | 用于量化的方法和设备以及用于反量化的方法和设备 | |
JP4545388B2 (ja) | フェーディング推定/補償によりビデオフレームを処理するシステムおよび方法 | |
CN101755464B (zh) | 基于行的视频码率控制和压缩 | |
CN104041035A (zh) | 用于复合视频的无损编码及相关信号表示方法 | |
CN103782598A (zh) | 用于无损编码的快速编码方法 | |
KR102390162B1 (ko) | 데이터 인코딩 장치 및 데이터 인코딩 방법 | |
CN102918564B (zh) | 具有变换选择的视频编码和解码的约束变换的方法和装置 | |
JP2008543183A (ja) | 複数の映像規格に従った映像符号化の際のブロックノイズ除去フィルタリング技術 | |
JP6568078B2 (ja) | 画像データを符号化するための方法および装置ならびに画像データを復号するための方法および装置 | |
CN105744280A (zh) | 用于媒体编码的4x4变换 | |
KR20110036914A (ko) | 부호화된 데이터의 압축 이득을 위한 피압축 도메인 시스템 및 방법 | |
KR20070034231A (ko) | 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치 | |
KR101182634B1 (ko) | 공간적으로 향상된 변환 부호화 | |
CN111213382A (zh) | 用于视频编码和解码中的自适应变换的方法和装置 | |
CN112771865A (zh) | 使用参数化模型对量化矩阵进行编解码 | |
CN102668570A (zh) | 图像处理设备及其方法 | |
CN113170137A (zh) | 降低本地邻域的使用的残差译码 | |
TWI498005B (zh) | 屬於一序列圖像的圖像段寫碼方法和碼式資料連流之解碼方法及其裝置 | |
KR100598093B1 (ko) | 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법 | |
CN1848960B (zh) | 使用非标准化矢量量化编码器的符合视频标准的残差编码 | |
KR101419689B1 (ko) | H.264/avc 복호기에서 역양자화 및 역변환을 수행하는 복호화 장치 및 이를 이용한 복호화 방법 | |
US20120027080A1 (en) | Encoder and encoding method using coded block pattern estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20070706 Address after: Holland Ian Deho Finn Applicant after: Koninkl Philips Electronics NV Address before: Holland Ian Deho Finn Applicant before: Koninklijke Philips Electronics N.V. |
|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 Termination date: 20110607 |