CN1864410B - 处理图像数据的方法和设备 - Google Patents
处理图像数据的方法和设备 Download PDFInfo
- Publication number
- CN1864410B CN1864410B CN2004800289228A CN200480028922A CN1864410B CN 1864410 B CN1864410 B CN 1864410B CN 2004800289228 A CN2004800289228 A CN 2004800289228A CN 200480028922 A CN200480028922 A CN 200480028922A CN 1864410 B CN1864410 B CN 1864410B
- Authority
- CN
- China
- Prior art keywords
- memory
- data
- view data
- memory sub
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000012545 processing Methods 0.000 title claims description 48
- 230000015654 memory Effects 0.000 claims abstract description 235
- 230000033001 locomotion Effects 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 15
- 230000009897 systematic effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101000979001 Homo sapiens Methionine aminopeptidase 2 Proteins 0.000 description 2
- 101000969087 Homo sapiens Microtubule-associated protein 2 Proteins 0.000 description 2
- 101000969594 Homo sapiens Modulator of apoptosis 1 Proteins 0.000 description 2
- 102100021118 Microtubule-associated protein 2 Human genes 0.000 description 2
- 102100021440 Modulator of apoptosis 1 Human genes 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 101100131116 Oryza sativa subsp. japonica MPK3 gene Proteins 0.000 description 1
- 101100456045 Schizosaccharomyces pombe (strain 972 / ATCC 24843) map3 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005039 memory span Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
一种MPEG解码器(100-180)能够在解码后续画面时候对参考画面使用图像数据存储器(150)的不同格式(线性，平铺等)。各种格式带来多种优缺点。本公开文本说明，不同的视频序列可以具有与一种图像缓存格式很好匹配而与另一种图像缓存格式不相配的特点，例如在图像之间有很多运动或几乎没有运动的情况下。有益地，解码器采用参数化图像缓存格式和输入流和/或测得解码性能(190)的分析，以便为当前的流部分动态选择(90，160，170)最佳图像缓存格式。还可以对高速缓存控制功能加以控制(198)，以适应所接收到的特定数据。
Description
技术领域
本发明涉及将图像数据安排在图像处理器的存储器内的方法和设备。本发明在对基于块编码的图像数据(比如MPEG视频流)进行解码的领域中有具体应用。
背景技术
数据传输和存储系统一般使用基于块的压缩(比如在公知的JPEG或MPEG格式中使用的基于块的压缩)在可用传输带宽和存储容量内实现可接受的图像质量。JPEG是基于对像素数据组或块进行离散余弦变换(DCT)的视频压缩系统。MPEG是基于同样原理的运动视频压缩，但是具有支持图像帧之间的运动的额外特征。为了实现实质性的数据压缩，要对描述像素的各个块的DCT系数进行自适应量化和可变长编码(VLE)。还要将这些块四个一组地进行组合，以形成“宏块”，并且按照对亮度(光亮度)分量规定的空间分辨率的一半来描述色度(颜色)分量。这些技术既可以应用在静止图像(JPEG)中又可以应用在运动视频(MPEG)中。对于运动的画面，确定图像帧之间的时间冗余度并且使用运动补偿帧间预测编码来明显降低该时间冗余度。
用于表述MPEG序列的术语包括“帧”和“场”，“帧”包含完整的图像，“场”是图像的一半，是隔行排列的。不过，解码的单位是画面，既可以是场构成的又可以是帧构成的。使用图像缓冲器来存储帧和/或场，存储帧还是场是由所采用的存储格式决定的。
使用三种图像画面类型(称为“I”、“B”和“P”画面)来构成图像序列，用来穿越编码器和解码器之间的受限通道传送数据。“通道”包括有限带宽通信链路和影像在诸如硬盘驱动器、光盘或录像带之类的大容量存储介质上的存储(在这种情况下，希望存储效率最大)。“I”画面帧是“内”帧，结构上与单独一个JPEG帧类似并且包含完整的、经过适度压缩的图像数据帧。“P”画面帧是“预测”帧，并且是参照视频流中之前的“I”或“P”帧(称为“关键帧”)加以编码的。“B”画面帧是“双向内插”帧，需要之前和之后的参考帧来加以编码。
为了支持MPEG图像序列的产生，必须将数据存储在图像存储器内。在正在产生“B”或“P”帧的时候，必须已经存储了一个或两个之前的源I或P图像，并且要参考所述I或P图像来给出运动预测数据。
进行MPEG处理的图像处理器的典型结构包括用于输入数据的模块、用于在模拟和数字域之间对图像进行转换(取决于处理器是编码器还是解码器，进行模数或数模转换)的模块、用于存储数据的模块、用于对数据进行压缩或解压缩的模块、用于对运动进行补偿的模块和用于输出数据以备后续使用(比如显示)的模块，这些模块是由硬件或软件构成的。
为了提供可靠的、高效的并且能够给出高质量输出的实现方式，必须将其设计成适合最坏情况的条件，这些最坏情况的条件是处理器过载的结果，可能会造成使图像质量下降的帧跳过或其它图像伪像。而且，对于硬件和软件两种实现方式，存储器带宽都是至关重要的问题。
为了最大化吞吐量(并且因此减小处理器过载的可能性)，处理器通常采用存取速度非常高的高速缓存存储器，使得处理器能够非常迅速地获得数据。将高速缓存设置成这样：使得尽可能多的数据来源于高速缓存，而不是来源于较慢地“外部”存储器。尤其是对于软件实现方式而言，高速缓存的大小和通信量通常是至关重要的决定性能的因素。最坏情况下的性能可能受到高速缓存行为的严重影响，因为预测数据可能来源于输入图像中分离很远的部分，造成严重的“高速缓存系统颠簸”(严重且实质上不必要的高速缓存使用和内容丢弃)。
通常将图像存储器设置为“分页”存储器，从而将画面的图像数据存储在很多页上，每一页由处理器通过页面存取进行存取。页面存取是非常快速的从分页随机存取存储器(RAM)中存取数据的方式，仅需要由处理器提供基地址，之后将数据按时钟顺序读出并且将其传送给处理器，而不需要对存储器提供进一步的寻址。不过，页面跨越是效率很差的，因为它们要求终止当前分页存储器的传送并且为下一组数据的传送产生新的寻址。
应当理解，在MPEG图像处理领域中，在使用分页存储器的时候，取决于正在进行处理的图像的内容，不同的存储格式提供不同的优 点。以线性为基础存储图像数据(例如，沿着光栅扫描进行存储)使之后显示图像所需的复杂程度最小。不过，当对用在运动补偿/重构中的图像数据的参考帧使用线性存储时，参考数据的取得可能需要很多次存储器页面跨越。另外，以“平铺格式(tile format)”存储参考图像数据(在这种情况下，将像素的二维块按照编码处理中所使用的样子按顺序存储在存储器内)通过利用图像像素天然具有二维空间关系这一实际情况，会减少页面跨越的次数。按照这种思路，美国专利US5912676介绍了一种可重新配置的图像存储器接口，用于按照不同的图像存储格式将图像数据存储到存储器中/从存储器中取得图像数据，比如按照扫描线(光栅)、平铺或“偏斜平铺”格式。不过，本发明人已经认识到，由于画面序列的内容在构成各个画面的帧或场之间的运动的数量和性质上变化很大，因此无法选择出对所有序列都最佳的参考数据存储器的结构。因此，该US专利给出了一个如果加以适当选择就会效果优异的结构范围，但是并没有定义什么是恰当的结构。也不能定义出单独一个在所有序列中都最佳的结构。最佳结构可能还取决于解码之后要对图像数据进行什么样的步骤。为了之后的处理阶段而转换成另一种格式这一要求可能例如会抵消掉因对运动估测阶段采用优选格式而产生的节约。
发明内容
本发明的目的是提供使用按照正在处理的图像流的检测到的特点自动选择的灵活且可动态重新配置的图像存储器存储格式对MPEG序列进行解码的方法和设备。
本发明在第一个方面中给出了一种在图像数据处理系统中的存储器子系统内排列表述运动画面序列的图像数据的方法，该方法包括按照下述特点中的至少一种特点动态选择所述序列的连续画面的图像数据在所述存储器内的排列方式：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像处理系统内的后续处理的已知特点。这样的排列方式使得系统设计者例如能够通过确保对给定的图像流、处理器性能和/或图像目的地使用最适合的存储器存储格式(例如，对于隔行和非隔行图像格式，需要使用不同的格式来使吞吐量最大)来优化高速缓存的使用和存储器子系统内的分页，从而提高吞吐量。
该存储器子系统可以包括由分页存储器构成的图像数据储存存储器。
所述存储器子系统除了主图像数据储存存储器之外还包括处理器高速缓存存储器。
选择图像数据在储存存储器内的排列方式的步骤包括在线性格式与至少一种类型的平铺格式之间进行选择，在线性格式的情况下，图像数据是基于一行接一行的形式存储在存储器内的，在平铺格式的情况下，在存储器内组成二维像素组。
在存储器子系统包括高速缓存存储器的情况下，所述平铺格式是这样定义的：一个平铺块的数据相当于全部多个高速缓存块。
该方法包括检测下列各项中的一项或多项作为影响存储器内数据排列方式的选择的图像数据的特点：
A.编码在所接收到的数据内的运动向量的可变性；
B.画面类型(I，B，P)；
C.序列中每画面的编码数据大小；
D.得出图像数据的画面的结构；
E.将图像存储在图像存储器内所采用的结构；
F.通过对图像流的序列头部进行解码而得到的流的恒定特点。
将会意识到，诸如P画面的运动向量的可变性这样的检测到的特点在正常情况下是不可用的，直到已经编码和存储了参考画面。因此，该方法可以在运动画面序列中进行预先考虑，以便为序列的给定部分检测图像数据的所述特点，并且在对该部分进行处理之前选择存储器排列方式。
可替换地或附加地，不过，有效地使用所检测到的序列中一部分处的图像数据的特点来预测序列的后续部分的特点，并且存储器排列方式是按照最近处理的序列部分的检测到的特点加以控制的。
可以对一段时间内的图像数据特点的检测结果求平均。
在运动向量的可变性是垂直和水平平面间独立地检测的情况下，各个检测结果对存储排列方式的选择具有不同的效果(单纯水平的可变性仍然倾向于线性存储格式)。
该方法包括检测下列各项中的一项或多项作为影响存储器内数据排列方式的选择的系统性能的特点：
G.存储器子系统内的数据高速缓存失速速率(stall rate)；
H.处理器利用情况；
I.所处理内容的终端用户能够感觉到的服务质量或进行其它这样的定性检测；
J.将数据馈送到所述图像处理器内或从所述图像处理器内馈出的链路的带宽。
在所述存储器子系统包括高速缓存存储器的情况下，系统性能的检测包括图像重构期间的数据高速缓存失速速率的检测。
系统性能可以是在处理数据之前使用数据样本基于测试而检测的。另外，在处理序列的第一部分时检测到的系统性能可以用于为序列的后续部分选择存储器排列方式。
该方法可替换地或附加地可以包括使用对后续处理步骤的了解来影响数据在存储器中的排列方式的选择。这可以用来考虑在用于不同类型的处理步骤的格式之间的转换的必要性。
存储器排列方式的选择可以是至少部分地通过改变由存储器存取程序代码使用的参数来实现的。另外，存储器排列方式的选择可以是至少部分地通过选择所要执行的代码的不同版本来实现的。取决于不同排列方式的数量和性质，这两种可选方案可以一起使用。
按照本发明的第二个方面，该第二个方面可以独立于或附加于前面提出的方面使用，本发明给出了一种对图像数据处理系统中的存储器子系统内的表述运动画面序列的图像数据进行处理的方法，该存储器子系统除了主图像数据储存存储器之外还包括处理器高速缓存存储器，该方法包括按照下列至少一项在程序控制下选择性地使用高速缓存运用功能：所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点。
某些类型的处理器给出了程序控制的高速缓存运用功能。例如，可以给出块分配功能，或预取操作。不过，本发明人已经认识到，和选择存储器排列方式一样，这些功能的用途不必对所有图像序列都相同，并且在某些环境下可能效果是相反的。
因此，可以按照所述检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主存储器内预先装载该高速缓存块。例如，可以在对存储使用平铺格式的 时候更加频繁地使用块分配，因此提高了处理器吞吐量。
此外，高速缓存预取可以是按照所检测到的特点选择性地启动的。预取有冒险的倾向，有浪费带宽的风险。不过，使用平铺格式意味着要处理比较少的高速缓存块，因此进行了预取的少量数据最终会遭到遗弃不用。
在一起使用本发明的第一和第二方面的情况下，存储器的排列方式的选择和使用高速缓存运用功能可以按照上面所列出的那些特点中的相同特点或不同特点来进行。
本发明此外还给出了一种图像数据处理系统，该处理系统包括存储器子系统和用于按照下列至少一项动态选择运动画面序列的连续帧的图像数据在所述存储器子系统内的排列方式的装置：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像处理系统内的后续处理的已知特点。
所述存储器子系统可以包括由分页存储器构成的图像数据储存存储器。
所述存储器子系统除了主图像数据储存存储器之外还包括处理器高速缓存存储器。
将用于选择图像数据在储存存储器内的排列方式的装置设置成在线性格式与至少一种类型的平铺格式之间进行选择，在线性格式的情况下，图像数据是基于一行接一行的形式存储在存储器内的，在平铺格式的情况下，在存储器内组成二维像素组。
在存储器子系统包括高速缓存存储器的情况下，所述平铺格式是这样定义的：一个平铺块的数据相当于全部多个高速缓存块。
所述选择装置可以包括用于检测下列各项中的一项或多项作为影响存储器内数据排列方式的选择的图像数据的特点的装置：
A.编码在所接收到的数据内的运动向量的可变性；
B.画面类型；
C.序列中每画面的编码数据大小；
D.得出图像数据的画面的结构；
E.将图像存储在图像存储器内所采用的结构；
F.通过对图像流的序列头部进行解码而得到的流的恒定特点。
可以将选择装置设置成在运动画面序列中进行预先考虑，以便为 序列的给定部分检测图像数据的所述特点，并且在对该部分进行处理之前选择存储器排列方式。
可替换地或附加地，可以将选择装置设置为这样：有效地使用所检测到的序列中一部分处的图像数据的特点来预测序列的后续部分的特点，并且存储器排列方式是按照最近处理的序列部分的检测到的特点加以控制的。
检测装置可以包括用于对一段时间内的图像数据特点的检测结果求平均的装置。
在将检测装置设置成检测运动向量的可变性的情况下，是将其设置成在垂直和水平平面间独立地检测运动向量的可变性的，各个检测结果对存储排列方式的选择具有不同的效果。
所述选择装置可替换地或附加地包括用于检测下列各项中的一项或多项作为影响存储器内数据排列方式的选择的系统性能的特点的装置：
G.存储器子系统内的数据高速缓存失速速率；
H.处理器利用情况；
I.所处理内容的终端用户能够感觉到的服务质量或进行其它这样的定性检测；
J.将数据馈送到所述图像处理器内或从所述图像处理器内馈出的链路的带宽。
在所述存储器子系统包括高速缓存存储器的情况下，将用于检测系统性能的装置设置成检测图像重构期间的数据高速缓存失速速率。
可以将用于检测系统性能的装置设置成在处理数据之前使用数据样本基于测试检测系统性能。
另外，可以将选择装置和用于检测系统性能的装置设置成这样：将在处理序列的第一部分时检测到的系统性能用于控制序列的后续部分的存储器排列方式。
可以将选择装置设置成使用对后续处理步骤的了解来影响数据在存储器中的排列方式的选择。
所述图像处理系统可以是至少部分地由程序代码和可编程处理单元实现的。
所述选择装置可以是至少部分地借助改变由所述程序代码在存取 所述存储器子系统的过程中使用的参数来实现的。另外，选择装置可以是至少部分地通过选择所要执行的代码的不同版本来实现的。
按照本发明的第三个方面，本发明还给出了一种图像处理系统，包括用于存储表述所要处理的运动画面序列的图像数据的存储器子系统，该存储器子系统除了主图像数据储存存储器之外还包括处理器高速缓存存储器，将该系统设置为，按照下列至少一项在程序控制下选择性地使用高速缓存运用功能：所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点。
可以将该系统设置成这样：按照所检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主存储器内预先装载该高速缓存块。
可以将该系统设置成这样：高速缓存预取是按照所检测到的特点选择性地启动的。
本发明此外还提供了一种计算机程序产品，处于物理存储装置上或通过其它一些渠道得到，包括用于使数据处理系统实现上面提出具体实现本发明的方法的步骤或设备的功能部件的指令。
附图说明
现在将通过参照附图仅以举例的方式介绍本发明的实施方式，其中：
附图1是MPEG图像解码器的功能框图；
附图2是实现附图1的解码器的处理系统的框图；
附图3表示附图1和2的解码器内的MEPG数据流的结构和其中表述的图像帧的序列；
附图4表示附图1和2的解码器的存储器内的线性图像存储格式；
附图5和6表示在线性图像存储格式内像素块的数据的可能位置；
附图7表示附图1和2的解码器的存储器内的平铺图像存储格式；和
附图8表示在平铺图像存储格式中像素块的数据位置；
附图9表示附图1和2的解码器的存储器内的偏斜平铺图像存储格式；和
附图10表示在偏斜平铺图像存储格式中像素块的数据位置。
具体实施方式
附图1表示进行MPEG解码的图像处理器和支持图像缓冲器的图像序列特征分析和动态重新配置以及高速缓存控制的各种模块。重新配置的更进一步的总体设想和详细内容将在下文中在独立标题下加以介绍。
将具有模拟视频信号或数字流形式的输入数据IN输入到接口块I/F中。该解码器此外还包括配置块MAP1 90、缓冲器BUFF 100、可变长解码器(VLD)110、反向扫描(IS)和反向量化器(IQ)120、反离散余弦变换(IDCT)130、运动补偿器(MC)140、图像存储器MEM150、配置块MAP2 160、配置块MAP3 170、图像存储器/输出接口180和统计处理器STATS 190。该解码器可以用专用软件来实现，或者可以由处理器按照一系列处理步骤来实现，或者由这二者的组合来实现。本公开文本假设这些步骤，尤其是VLD和IS/IQ步骤是通过程控微处理器来实现的，该微处理器可以是具有或不具有媒体处理扩展功能的通用微处理器。按照优选实现，处理器是对图像处理最优的VLIW处理器，比如Philips Semiconductors的TriMediaTM处理器系列。
所给出的步骤的作用为如下所述：
●附图标记80所指的接口用于将输入数据转换成适合于MEPG解码的数字格式。块IF 80中的没有示出的另外的级可以包括模拟到数字转换块、同步信号提取块、增益控制块等，但是取决于输入数据的格式，也可以包括用于转换数字信号的接口。
●附图标记100所指的输入位流缓冲BUFF用于接收视频流和形成时间上灵活的队列，以使得后续处理步骤能够以不同于输入视频速率的速率对视频信号进行解码(就这一点而言，可能要将音频和其它数据分开并且将其送到它自己的解码器)。
●附图标记110所指的可变长解码用于将可变长MPEG权标转换成它们的相应值，比如经过量化的DCT系数。
●附图标记120所指的反向量化依据所选择的量化和比例因子矩阵的值为DCT系数获取实际值，并且反向扫描步骤按照预定顺序(通常是之字形顺序)由权标流重新形成系数矩阵。
●反向离散余弦变换步骤130用于将DCT系数重组为它们所描述的像素值的块。
●在对图像进行了非帧内编码的情况下，在附图标记140所指的地方进行运动补偿，以将解码出来的像素值与来自参考画面的值组合起来，所述参考画面是之前进行了解码的图像序列中的相邻图像。
●配置块MAP1 90、MAP2 160和MAP 3 170用于依照来自STATS块190的控制信号对地址值进行平移，以更改存储器内数据的格式。下面将要进行详细解释，可以利用参数化存储器寻址由软件来实现这些块。这样，可以将定义图像数据的处理过程的程度代码写成与执行时实际使用的存储器格式无关，并且可以通过改变参数值来一次又一次地改变格式。
●存储器块150由运动补偿器MC 140用来支持诸如预测之类的功能，在这种情况下需要对数据进行临时存储。
●在150处进行图像存储器/输出接口连接，从而以适当的格式表述视频信号，比如存储器内的二维视频图像或数字视频流。
●最后，使用统计处理器STATS 190来监控在不同处理阶段得到的各种各样的实测数据，并且使合理的步骤更改数据在存储单元内的格式编排，以使数据通过解码器的吞吐量最大。这将称为“自适应格式编排”。
附图2表示进行MPEG解码的图像处理系统的物理实施方式。处理器200使用介于它与主存储器220之间的高速缓存210。高速缓存210和主存储器220构成了存储器子系统。高速缓存系统典型地按照与分页DRAM将可用存储器划分成多个页面相同的方式将存储器空间划分成多个高速缓存块。数据通常是一次一个高速缓存块地传送给高速缓存的。使所涉及的高速缓存块的数量最小常常会减小存储器系统的流量和处理器的延迟。这表明，高速缓存系统的效果非常类似于存储器分页系统的效果，因为都希望使高速缓存块的数量最小。
CPU 200可以是PC工作站的主处理器，或者也可以是专用于MPEG解码的辅处理器，或专用于一般性视频处理的辅处理器，比如前面提到的Tri MediaTM处理器。另外，处理器和存储器可以构成诸如DVD播放器、电视会议终端或游戏控制台之类的专用数字视频设备的一部分。CPU 200最好进行附图1的整个解码处理或至少附图1的解码处理的主要部分。为了对此进行解释说明，该附图示出了输入到处理器中的视频位流IN 230，不过用于输入数据的其它方法也是可行的，比 如向存储器内的DMA传递。类似地，示出了从存储器引出的视频输出OUT 240，不过要读取、格式化和输出数据实际上可能需要处理器相互作用。在操作过程中，程序、输入数据和由CPU产生的解码图像是保存在主存储器220内的。不过，众所周知，常用数据或处理步骤是装载到高速缓存210中并且从中提取的(在可用时)，优于通过较慢的存储器220实现同样的目的。处理器用来实现本文介绍的处理过程的程序代码(指令)可以是预先安装的(固件)，或者可以是在诸如CD-ROM或软盘250之类的记录载体上单独提供的。倘若一起进行的存储器存取操作是总体上针对相邻位置的，使用高速缓存会限制主存储器的带宽。
通过自适应格式编排，目标是以最适当的格式动态配置图像数据在各个存储器100、150、180中的存储，以使吞吐量最大，并且尤其是使高速缓存的效率最高。
该设备在所存储的程序的控制下，能够依据实测图像数据的特点、所实测的处理系统的性能的特点(这取决于图像数据的特点)和/或图像数据在图像处理器内的后续到达地点的特点，动态地选择图像数据在存储器内的安排方式。
按照这种方式加以动态配置的存储器是主存储器220，它用于为参考画面存储图像数据。也可以将该原理应用于存储器220的其它功能，甚至可以应用于处理器高速缓存210，虽然当前可以得到的允许改变高速缓存几何结构的产品数量非常少。图像数据储存存储器可以是静态RAM，不过更有可能是分页DRAM。
可以单独加以分析或以各种组合方式加以分析的实测特点包括：
A.检测所得出的运动向量的可变性。可以对一段时间内的运动向量可变性的检测结果进行求平均，结果用于确定对运动向量参考的参考画面最适当的存储格式。垂直和水平平面之间独立地检测可变性可以更为有效。其原因是：考虑线性格式，则(比如)8个像素的水平运动向量摄动不会很麻烦，因为高速缓存块给出了在水平方向上很大的区域(因此，很有可能处理器会从同一高速缓存块内存取数据)。在垂直的情况下，同样的摄动将会需要穿过存储器寻址很长的距离(对于768的存储器跨距，存储器地址的变化将会是768×8＝6144字节)，这将是很多高速缓存块的移动。垂直摄动很有可能造成高速缓存遗 漏。不过，如果格式是平铺格式，则水平和垂直运动向量摄动的效果是一样的、这些例子表明，水平和垂直运动向量变化的混用将会以不同的方式影响不同的存储器格式，并且会影响因之造成的某些情况下对单独检测可变性的需求。
B.依画面类型行事。例如，为了使处理关键画面(I或P)的效率最大，可以选择对其它画面进行预测而言效率较高的格式，比如平铺存储格式，这种格式在将关键画面用作后续P或B画面的参考数据时将会限制数据高速缓存失速速率。B画面可以全部按照线性格式(如果这是期望的输出格式)加以存储，因为这些画面在解码器中不会用作参考数据。如果实质上所有运动向量都是零，或者是恒定的，则可以对关键画面进行线性存储，因为在相对平滑的序列中需要参考数据。
C.可替换地(或附加地)，可以通过在穿过图像流之前进行分析来获得信息，以确定后续图像的特点，比如监控它们的压缩后大小。可以(单独地或与其它检测结果组合地)采用压缩后大小在很大程度上表明处理图像的困难程度。这反过来又能够表明哪种存储格式一般来说是最合适的。例如，数据量相对较小可以表明序列中的图像包括很小的运动，并且这反过来暗示着线性存储可能是最合适的。
D.检测(或从数据流内的头部信息中检测出)得出图像数据的图像的结构(例如，图像帧是按照非隔行画面扫描线的方式安排的还是按照隔行画面扫描线方式安排的)。
E.针对流的特点(比如图像分辨率)对图像流的序列头部进行解码。例如，可以通过对存储使用线性组织方式更为有效地处理具有低分辨率的图像，因为在数据高速缓存器内可以有很多显示线，并且这种安排对图像重构是最优的。不过，以平铺格式进行存储对高分辨率的图像是比较好的，能够将高速缓存器的减速程度降低到最小。
F.检测图像重构期间的数据高速缓存失速速率。不管当前存储器配置如何，很高的高速缓存失速速率都表明别的存储器结构更合适。
G.检测处理器的利用情况。在需要占用处理器的时间来进行一个或多个其它的“背景”任务的情况下，应当将图像数据在存储器内的安排方式控制成使处理器的使用量最小。所述处理器性能的另一种 实测特点可以包括检测处理器空闲时间所占百分比。
H.检测所处理内容的终端用户能够感觉到的服务质量或进行其它这样的定性检测，或者使用这些检测结果。这些检测对象的例子可以是由(例如)在处理器能力不足时放弃数据造成的块噪声，这种块噪声会在重构后的图像内产生可见的伪像。可以通过增大图像处理器的吞吐量来减少块噪声和其它这样的可见伪像。
I.依照预告信息响应于图像序列中即将到来的图像优化图像数据的存储。这样的方案的例子是，拥有与图像流的内容相关的关联数据文件。可以预先读取该数据文件，并且在对图像内容进行处理之前依据该数据文件消除由获得统计结果与优化图像处理器之间不可避免的迟滞造成的短期效果。
J.检测将数据馈送到图像处理器中或从图像处理器中馈出数据的链路的带宽或使用该检测结果。输入或输出链路的带宽通常是受到约束的，比如受到无线或通信链路的带宽的约束。在某些情况下，该带宽可以依链路完整性而变化。在配置图像处理器期间，也可以将这些因素考虑进来，不过在本实施方式中并没有这样做。
可以在一段时间内监测对图像数据在存储器中的排列方式进行动态选择的效果，将结用于调整后续的存储排列方式和使图像处理器的吞吐量和/或处理质量最大。例如，可以预先取得和处理少量宏块，利用所得到的检测结果给出性能统计结果，使用该结果来修整图像处理器的配置。已知的微处理器，比如Philips Tri MediaTM，通过允许程序监测高速缓存错漏和不成功预取尝试的数量，直接给出检测结果。
图像数据在存储器内的排列方式可以按照图像在图像处理器内的到达地点来加以选择。例如，如果图像要从图像处理器直接输出到监视器，则可以按线性排列方式对其进行存储，但是如果是要将图像送到处理过程中另一个使用平铺存储排列方式效果最好的阶段，则可以将图像数据的排列方式选择成平铺。也可以关注一下“偏斜平铺”格式，在这种情况下，块的相邻行彼此偏离块宽度的一部分。在前面的背景技术部分中提到的美国专利中详细地介绍了这些和其它的平铺格式。
附图3表示画面组(GOP)序列内画面的物理顺序和时间顺序之间的差别。众所周知，MPEG-2和其它现代数字格式中的画面是通过相互 参考来加以编码的，从而减小了时间冗余度。运动补偿由一个相邻画面或多个相邻画面的已经解码出来的内容给出一幅画面内容的估测。因此，画面组(GOP)典型地包括：帧内编码“I”画面，该画面是在不参考其它画面的情况下编码的；两个或三个“P”(预测)编码画面，这些画面是根据在前的I画面使用运动向量编码的；和双向预测“B”画面，这些画面是通过由序列中处于它们之前和之后的I和/或P画面进行预测来加以编码的。B画面所需的数据量少于P画面所需的数据量，P画面所需数据量又少于I画面所需的数据量。另一方面，由于P和B画面是仅仅参考其它画面加以编码的，因此只有I画面能够给出开始播放给定序列的入口点。而且，注意，I和P画面是在相应的B画面之前得到编码的，于是要在解码之后加以重新排序，才能实现正确的表达顺序。为了在P和B画面的解码过程中作为参考数据使用，必须要将I(和P)画面的解码图像数据保存或恢复到存储器中。
众所周知，关于画面组的结构和编码过程的信息包含在处于数据开端的GOP头部300中，而与各个画面的类型和编码过程有关的信息包含在处于各个画面数据的开端的画面头部302中。
下面将进一步讨论回顾地使用诸如上文介绍的那些技术之类的技术对存储器子系统进行组织控制以实现最佳性能的不同途径。
高效存储器布局
常规且显而易见的在存储器220中布置图像数据的方式是将完整的像素行按显示顺序存储在连续位置上。下文中将此称为“线性组织方式”。对本说明书而言，为了简明，仅仅考虑亮度。对色度数据或者将色度/亮度分量加以交织的情况应用同样的总体原则。对于给定宏块，前述色度数据或前述情况可以单独处理，或者与亮度信号一起处理。
附图4表示在水平分辨率为720(TV系统中的常规分辨率)和存储器子系统的高速缓存块大小为64字节的情况下亮度数据的例子中的线性安排方式，于是各亮度线占用11.25个高速缓存块(CB0、CB1等)。为了进行对相邻线没有影响的高速缓存控制操作，将图像这样存储在存储器中显然是很有益处的：在所存储的线之间有未用空间，从而存储器的“跨距”(两个相邻线的地址之间的地址差)是768(四舍五入为最接近的64的倍数)。EOL表示像素线的实际数据的结尾。
因此，各个宏块的处理会产生16×16输出数据区域，该区域占据16个高速缓存块。
预测数据的各个来源必须给出至少16×16预测数据块。由于运动向量中像素分辨率只有一半，因此在最坏的情况下这可能需要17×17源数据区域(在这种情况下，要设定运动向量的水平和垂直分量二者中的最低有效位)。
附图5表示位于17个单独的高速缓存块内的17×17像素数据块500。不幸的是，这个17×17数据块在分页存储器内的位置可能不是与高速缓存块对齐的。在所有17字节宽的源数据行都处于一个高速缓存块内的情况下(附图5)，为了可以使用所有数据，需要17个数据的高速缓存块。如果如附图6所示，这些行跨越了高速缓存块边界，则需要34个高速缓存块。很有可能，有接近25％的时间会发生这种跨越块的出现，因此平均块数是大约21个。
21个高速缓存块占用21×64＝1344字节的高速缓存。如果我们考虑双向预测，则存在两个数据源，这将会把源数据高速缓存占用量倍增到2688。目的数据占用16个高速缓存块，并且可以保证不会跨越高速缓存块(假设高速缓存与显示线对齐)，所以目的数据高速缓存占用量是16×64＝1024字节。从而，总高速缓存占用量是3712字节，这个数量小得足以处在很多处理器高速缓存之内。
在读取高速缓存块的时候，会将所有64字节的高速缓存块读取到高速缓存内，即使实际上仅需要16或17字节。如果在宏块之间运动向量不变，则对于该块未使用的数据将会用于以后的块。不过在运动向量变化很大的“困难”视频序列内，这一数据可以得到很好的使用。最坏的情况是，没有宏块使用任何读取出来但没有在之前的宏块的处理期间使用的数据，结果造成所读取的预测数据所需的存储器带宽变为原来的四倍。这还会造成数据高速缓存的用量明显增大，以致其它有用数据(预测源数据、预测输出数据或并非必然直接与运动重构相关的其它数据)可能从高速缓存中放弃掉，当再次需要这些数据时，会有相应的时间浪费。这种情况的明显后果是，如果不得不丢弃实时提供给序列的数据，图像质量将会降低。灵活的存储器寻址方案使得其它的存储器结构能够得以实现。附图7例如表示对图像数据进行组织以致各个高速缓存块包含亮度数据的8×8方形区域(“平铺块”) 的平铺布局。倘若是这种组织形式，由宏块覆盖的亮度的目的区域会占用所有四个高速缓存块(而不是16个块的一部分)。附图8表示16×16与17×17像素之间的各个源区域在一般情况下如何占用3×3＝9个高速缓存块(与附图5和6的线性排列情况下一般是21个相比，将在四到九的范围内变化)。
附图9和10表示这样的偏斜平铺布局：对图像数据再次进行组织，以致各个高速缓存块包含亮度数据的8×8方形区域(“平铺块”)，但是各个交错的行偏斜半个平铺块。这种布局可以进一步减少图像存储器页面跨越。
试验结果表明，正如所预期的那样，平铺组织形式在运动向量高度易变的时候提高了性能。不过，在运动向量恒定不变的情况下，简单的线性组织形式效果也很好，并且格式间转换的开销不能忽略。
高速缓存控制
很多处理器都有使得高速缓存的操作能够直接由程序员控制的指令。此处参照Philips TriMedia PNX1300处理器介绍两个例子。在附图1中，高速缓存控制功能是由从块STATS 190引到存储器子系统的线198代表的。其它的处理器可以为程序员提供控制高速缓存的等效或不同选项。
高速缓存块分配
当处理器执行存储指令时，效果是，将会对高速缓存块内的数据进行变更。如果进行变更的存储器数据已经在高速缓存内了，则将会全速进行变更。不过，如果不是这种情况，则必须分配新的高速缓存块，并且将所变更的字节写入到该块内。为了使该高速缓存块内的所述数据的遗留部分与存储器一致，必须有将数据读取到新分配的高速缓存块内的读取操作。
在某些情况下，程序员知道将会对高速缓存块内的所有字节进行重写，并且因此不必要进行这一读取操作。读取会占用存储器系统的带宽。在某些处理器设计中，这可能会延迟处理器。TriMedia“alloc”指令使新的高速缓存块得到分配，但是不从存储器对其进行填充，避免了这些问题。
不过“alloc”指令可能是有危险的。如果块内的部分数据没有由节目重写，则结果是该数据丢失。节目必须以这样的方式写入：确保 不会再次需要由高速缓存块覆盖的存储器区域内的现有数据。
针对前面介绍的两种存储器组织方式，我们可以观察到，第二种(平铺)组织方式就这一点而言要简单得多。各个完全解码的宏块覆盖四个高速缓存块。另一种组织方式部分地覆盖16个高速缓存宏块，这意味着需要更加复杂的运算来控制“alloc”的使用。在显示线的开头和结尾，这一运算可能尤其复杂。这一复杂运算的运算成本将会减小甚至完全破坏使用高速缓存管理指令得到的收益。
预取
这一操作请求存储器系统分配高速缓存线并且用来自指定存储器区域的数据装载该高速缓存线。优点是，可以在要求使用该数据之前调用这一操作。如果存储器系统在发出预取请求的时刻与要求使用数据的时刻之间有足够的空闲时间，则数据将会已经得到预取并且处理器不会因等待数据而发生延迟。
按照基于平铺的组织形式，会牵涉到相当少的高速缓存块，所以更加有可能用来进行预取的时间是足够的。有总数很少的数据要进行预取。这在运动向量恒定的情况下没有什么意义，但是在运动向量发生变化以致某些数据可能不能再使用的情况下却是很重要的。
总之，某些存储器组织形式，比如平铺格式，较之其它的组织形式更加容易实现成功的高速缓存优化。不过，转换到形成文件的格式中会牵涉到系统开销这一实际情况同样也意味着不必对所有帧使用这种格式都是效率高的。
参数化寻址
在正常情况下，不同的存储器组织形式需要采取不同方式写入的代码。避免这种情况的一种技术是用参数描述单独一个共用代码段，以使它能够应对各种各样的存储器组织形式。
例子说明了一种应用于TriMediaTM处理器的可行排列方式。这是32位处理器，因此它易于处理四个值的数据组。在这种情况下，各个字代表来自图像之一的四个相邻值(例如四个水平相邻像素的亮度值)。
参数化使用参数代替固定常数，以定义在沿着所要求的方向移动一定距离的时候应当使用的地址偏移。例如，右移四个值(一个数据字)或下移一行。可以将这些参数保存在处理器内，从而使用它们代 替常数偏移量的额外系统开销很小。
使用上面首先介绍的线性存储器布局(附图5和6)，在宏块内右移四个值需要将地址加四，而下移一行意味着加上存储器行跨越(例如上面讨论的768，此时线长度是720，为了高速缓存对齐，将线长度上舍入位768)。
存储器布局的介绍将会有助于理解第二种平铺存储器布局的操作。考虑亮度数据是以720×576的分辨率存储的例子，各个数据文件将代表这个图像的8×8区域。该图像是720/8＝90个平铺块宽和576/8＝72高。各个宏块覆盖16×16的亮度区域，所以在宽度和高度方向上都是两个平铺块。
附图7和8的平铺组织形式在存储器中将平铺块按顺序排列成多列。所以图像缓存器的第一个64字节(按照存储器的顺序的第一个平铺块)记述图像的左上角的平铺块。按存储器顺序的第二个64字节记述第一列平铺块中的第二个平铺块(它的第一个(左上端的)值处于水平像素位置零和垂直像素位置8上)。继续照此进行，直到记述了整个平铺块列。然后第二列平铺块列也是这样排列，等等，然后填充到亮度图像缓存器的结尾。在使用偏斜平铺格式的情况下，平铺块也是按顺序排列成列的，但是在交替的行中，各个平铺块相对于其它的平铺块是偏离的。
按照这种平铺组织形式，下移一行的存储器地址变化量是八。右移八个像素所需的存储器地址增量等于一个平铺块列的大小(72×8)。这种参数化方案的结果是，通过相同的代码为两个参数(下移一个像素的地址改变量和右移八个像素的地址改变量)给出不同的值，可以运用两种非常不同的存储器组织形式。在使用偏斜平铺格式的情况下，显然，取决于正在存取哪一行，要对行地址加上偏移量。
在这种情况下，使用多个或不同的参数可以实现其它可行布局。例如，平铺块不必是8×8方块，也可以是矩形的，比如16×4或4×16。在背景技术部分提到的美国专利介绍了更多的形状，包括三角形平铺块。
在某些情况下，可能需要相关代码的其它可选形式。例如，在某些情况下，参数化方法可能不起作用，因为仅对四个值的块有效。这种情况的例子是“半平面”格式，其中色度U和亮度V的值是交错的 (u0、v0、u1、v1、u2、v2、u3、v3)。按照这种格式，一组四个所产生的U值没有写成连续字节，所以一般的参数化代码不能发挥作用。输出帧转换
虽然上面介绍的存储器组织形式(比如平铺存储器组织形式)在MEPG解码器内在运算方面可以是很有效率的，但是它可能不是输出端所需的格式。线性组织形式可能更适合于输出。
因此，通过构成I和P画面来减小获取B画面构造中使用的预测数据的系统开销以使高速缓存活动最少，是很有益处的。在上面介绍的例子中，这可能意味着对这些画面使用平铺结构。另一方面，线性组织形式可以是在屏幕上形式图像或其它操作需要的组织形式。这意味着必须有取得按照不同形式组织的画面并且将其转换成所需的格式的转换操作。可以将这一转换组织形式安排成按照高速缓存块的顺序高效地读取和写入数据，并且使用高速缓存优化指令，比如“alloc”，以致转换的系统开销可以小于解码器中节省的处理时间。
如果可以将解码器中下一个处理阶段/模块设计成适应于不常用的结构，则可能不需要这样的转换。例如，在某些情况下，视频解码之后的下一个步骤可能是图像内容与字幕数据的混合。无需额外的成本，可以使这一混合处理适合于读取平铺格式的视频数据。
画面类型
使用MPEG-2解码作为例子，这种编码方法使用三种画面类型(I、P和B)。I和P画面是“关键”画面，这意味着它们可以用作运动预测的源。B画面不能这样使用，但是它们对解码通常是代价很高的，因为用于构成它们的预测数据量很大。
因此，在为I和P画面使用平铺格式的同时直接以所需的输出格式产生B画面是很有益处的。处理成本将会是对I和P画面发生的输出图像转换，这不会对性能造成什么问题。B画面处理将会得到这样的益处：在改良输入图像缓存格式的同时，不会负担输出图像缓存转换的系统开销。
这里，参数化寻址结构对使得相同的代码能够用在两种情况下是很有用处的。这减少了代码大小和代码维护成本。
某些序列是按场构成的。这意味着编码在流中的各个画面是图像的一个场(所有的奇数行或所有的偶数行)。为了对这种类型的序列 高效地起作用，有效的做法是，对存储器结构进行更改，以将这些场分离开，从而场预测将覆盖很少的高速缓存块。同样，这也可以通过对流加以分析并且动态选择最合适的图像缓存格式来得到。如果该序列是这样的：大部分预测是按场构成的，则最好将帧作为两个独立的场加以存储，而不是存储单独一个交织的(交错)帧。这是因为从按帧构成的缓存器内进行场预测仅仅会从相隔一行的数据中读取数据，这意味着需要存取两倍的平铺块来得到场预测数据(因为只有平铺块的一半是有用的)。对此的解决方案是，将两个场独立地保存在存储器内，使得缓存器内所有连续的行输入同一个场。
上面的说明书表明，某些序列可能具有与一种图像缓存器格式配合得很好而与另一种格式不匹配的特点。这可能因原始源视频素材的差异而发生或者可能是不同编码器策略的结果。有益地，参数化图像缓存格式支持输入流和/或测得解码性能指标的分析，以便为当前的流部分动态选择最佳图像缓存格式。高速缓存控制功能可以根据相同的检测结果或者独立地进行控制，以增加有益效果。
根据上面给出的检测结果和观察结果，本领域技术人员能够很容易地得出控制存储器子系统的完整算法范围。这些算法可以基于单独一个检测结果或者很多检测结果；它们可以是简单的，也可以是高度复杂的；它们可以基于固定的法则，也可以基于本身可以自动变更的法则，以便适应于系统的实际数据和响应。
在所附权利要求定义的本发明的思想和范围之内，这些和其它的修改都是可能存在的。
Claims (37)
1.一种在图像数据处理系统(200-220)中的存储器子系统(150，210，220)内排列表述运动画面序列(10，B1等)的图像数据的方法，该方法包括按照下述特点中的至少一种特点动态选择(190)所述序列的连续画面(10，B1等)的图像数据在存储器子系统(150，210，220)内的排列方式：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像数据处理系统内的后续处理的已知特点，其中选择图像数据在存储器子系统(150，210，220)内的排列方式的步骤包括在线性格式与至少一种类型的平铺格式之间进行选择，在线性格式的情况下，图像数据是基于一行接一行的形式存储在存储器子系统(150，210，220)内的，在平铺格式的情况下，在存储器子系统(150，210，220)内组成二维像素组。
2.按照权利要求1所述的方法，其中所述存储器子系统(150)包括由分页存储器构成的主图像数据储存存储器(220)。
3.按照权利要求1所述的方法，其中所述存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓冲存储器(210)。
4.按照权利要求1所述的方法，其中所述存储器子系统(150)包括高速缓冲存储器(210)的情况下，所述平铺格式是这样定义的：一个平铺块的数据相当于全部多个高速缓存块的数据。
5.按照前述任何一项权利要求所述的方法，其中该方法包括检测下列各项中的一项或多项作为影响存储器子系统(150，210，220)内数据排列方式的选择的图像数据的特点：
A.编码在所接收到的数据内的运动向量的可变性；
B.画面类型；
C.序列中每画面的编码数据大小；
D.得出图像数据的画面的结构；
E.将图像存储在图像存储器内所采用的结构；
F.通过对图像流的序列头部进行解码而得到的流的恒定特点。
6.按照权利要求5所述的方法，其中该方法在运动画面序列中进行预先考虑，以便为序列的给定部分检测图像数据的特点，并且在对该部分进行处理之前选择存储器排列方式。
7.按照权利要求5所述的方法，其中有效地使用所检测到的序列中一部分处的图像数据的特点来预测序列的后续部分的特点，并且存储器排列方式是按照最近处理的序列部分的检测到的特点加以控制的。
8.按照权利要求5所述的方法，其中对一段时间内的图像数据特点的检测结果求平均。
9.按照权利要求5所述的方法，其中在运动向量的可变性是在垂直和水平平面之间独立地检测的情况下，各个运动向量的可变性对存储排列方式的选择具有不同的效果。
10.按照权利要求1到4中任何一项所述的方法，其中所述方法包括检测下列各项中的一项或多项作为影响存储器子系统(150，210，220)内数据排列方式的选择的系统性能的特点：
G.存储器子系统内的数据高速缓存失速速率；
H.处理器利用情况；
I.所处理内容的终端用户能够感觉到的服务质量；
J.将数据馈送到处理器内或从处理器内馈出的链路的带宽，其中所述处理器用于对图像数据进行处理。
11.按照权利要求10所述的方法，其中在所述存储器子系统(150)包括高速缓存存储器(210)的情况下，系统性能的检测包括图像重构期间的数据高速缓存失速速率的检测。
12.按照权利要求10所述的方法，其中系统性能是在处理数据之前使用数据样本基于测试而检测的。
13.按照权利要求10所述的方法，其中在处理序列的第一部分时检测到的系统性能用于为序列的后续部分选择存储器排列方式。
14.按照权利要求1到4中任何一项所述的方法，其中该方法包括使用对后续处理步骤的知识来影响数据在存储器子系统(150，210，220)中的排列方式的选择。
15.按照权利要求1到4中任何一项所述的方法，其中存储器排列方式的选择是至少部分地通过改变由处理器(200)使用的参数来实现的。
16.一种对图像数据处理系统中的存储器子系统(150)内的表述运动画面序列的图像数据进行处理的方法，该存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓存存储器(210)，该方法包括按照下列至少一项在处理器(200)控制下选择性地使用高速缓存运用功能：权利要求5和10中的任何一项中所列出的那些特点当中的所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点，其中按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主图像数据储存存储器(220)内预先装载该高速缓存块。
17.按照权利要求16所述的方法，其中，此外，高速缓存预取是按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地启动的。
18.一种在图像数据处理系统中的存储器子系统(150，210，220)内排列表述运动画面序列(10，B1等)的图像数据的方法，该方法包括按照下述特点中的至少一种特点动态选择(190)所述序列的连续画面(10，B1等)的图像数据在存储器子系统(150，210，220)内的排列方式：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像数据处理系统内的后续处理的已知特点，其中选择图像数据在存储器子系统(150，210，220)内的排列方式的步骤包括在线性格式与至少一种类型的平铺格式之间进行选择，在线性格式的情况下，图像数据是基于一行接一行的形式存储在存储器子系统(150，210，220)内的，在平铺格式的情况下，在存储器子系统(150，210，220)内组成二维像素组；
其中，该存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓存存储器(210)，该方法包括按照下列至少一项在处理器(200)控制下选择性地使用高速缓存运用功能：权利要求5和10中的任何一项中所列出的那些特点当中的所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点，其中按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主图像数据储存存储器(220)内预先装载该高速缓存块。
19.一种图像数据处理系统，该处理系统包括存储器子系统(150，210，220)和用于按照下列至少一项动态选择运动画面序列(10，B1等)的连续帧的图像数据在所述存储器子系统(150)内的排列方式的装置(190，200)：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像数据处理系统内的后续处理的已知特点，其中将用于选择图像数据在存储器子系统(150，210，220)内的排列方式的装置(90，160，170，192，196，194)设置成在线性格式与至少一种类型的平铺格式之间进行选择，在线性的格式的情况下，图像数据是基于一行接一行的形式存储在存储器子系统(150，210，220)内的，在平铺格式的情况下，在存储器子系统(150，210，220)内组成二维像素组。
20.按照权利要求19所述的系统，其中所述存储器子系统(150)包括由分页存储器构成的主图像数据储存存储器(220)。
21.按照权利要求20所述的系统，其中所述存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓存存储器(210)。
22.按照权利要求19所述的系统，其中在存储器子系统(150)包括高速缓存存储器(210)的情况下，所述平铺格式是这样定义的：一个平铺块的数据相当于全部多个高速缓存块的数据。
23.按照权利要求19到22中任何一项所述的系统，其中选择装置(190)包括用于检测下列各项中的一项或多项作为影响存储器子系统(150)内数据排列方式的选择的图像数据的特点的装置(190)：
A.编码在所接收到的数据内的运动向量的可变性；
B.画面类型；
C.序列中每画面的编码数据大小；
D.得出图像数据的画面的结构；
E.将图像存储在图像存储器内所采用的结构；
F.通过对图像流的序列头部进行解码而得到的流的恒定特点。
24.按照权利要求23所述的系统，其中将选择装置(190)设置成在运动画面序列中进行预先考虑，以便为序列的给定部分检测图像数据的特点，并且在对该部分进行处理之前选择存储器排列方式。
25.按照权利要求23所述的系统，其中将选择装置(190)设置为这样；有效地使用所检测到的序列中一部分处的图像数据的特点来预测序列的后续部分的特点，并且存储器排列方式是按照最近处理的序列部分的检测到的特点加以控制的。
26.按照权利要求23所述的系统，其中检测装置(190)包括用于对一段时间内的所检测到的图像数据特点求平均的装置。
27.按照权利要求23所述的系统，其中在将检测装置(190)设置成检测运动向量的可变性的情况下，将其设置成在垂直和水平平面之间独立地检测运动向量的可变性，各个检测结果对存储排列方式的选择具有不同的效果。
28.按照权利要求19到22中任何一项所述的系统，其中选择装置(190)可替换地或附加地包括用于检测下列各项中的一项或多项作为影响存储器子系统(150)内数据排列方式的选择的系统性能的特点的装置(190)：
G.存储器子系统内的数据高速缓存失速速率；
H.处理器利用情况；
I.所处理内容的终端用户能够感觉到的服务质量；
J.将数据馈送到处理器内或从处理器内馈出的链路的带宽，其中所述处理器用于对图像数据进行处理。
29.按照权利要求28所述的系统，其中在所述存储器子系统(150)包括高速缓存存储器(210)的情况下，将用于检测系统性能的装置设置成检测图像重构期间的数据高速缓存失速速率。
30.按照权利要求28所述的系统，其中将用于检测系统性能的装置设置成至少部分地在处理数据之前使用数据样本基于测试检测系统性能。
31.按照权利要求28所述的方法，其中将选择装置和用于检测系统性能的装置设置成这样：将在处理序列的第一部分时检测到的系统性能用于影响序列的后续部分的存储器排列方式。
32.按照权利要求19到22中任何一项所述的系统，其中将选择装置设置成使用对后续处理步骤的知识来影响数据在存储器子系统(150)中的排列方式的选择。
33.按照权利要求19到22中任何一项所述的系统，其中图像数据处理系统是至少部分地由处理器(200)实现的。
34.按照权利要求19到22中任何一项所述的系统，其中选择装置是至少部分地借助改变由处理器(200)在存取所述存储器子系统(150)的过程中使用的参数来实现的。
35.一种图像数据处理系统，包括用于存储表述所要处理的运动画面序列的图像数据的存储器子系统(150)，该存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓存存储器(210)，将该处理系统设置为，按照下列至少一项在处理器(200)控制下选择性地使用高速缓存运用功能：权利要求23和28中的任何一项中所列出的那些特点当中的所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点，其中将该处理系统设置成这样：按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主图像数据储存存储器(220)内预先装载该高速缓存块。
36.按照权利要求35所述的图像数据处理系统，其中，将该处理系统设置成这样：高速缓存预取是按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地启动的。
37.一种图像数据处理系统，该处理系统包括存储器子系统(150，210，220)和用于按照下列至少一项动态选择运动画面序列(10，B1等)的连续帧的图像数据在所述存储器子系统(150)内的排列方式的装置(190，200)：所述图像数据的所检测到的特点、所述处理系统的性能的所检测到的特点和所述图像数据在所述图像数据处理系统内的后续处理的已知特点，其中将用于选择图像数据在存储器子系统(150，210，220)内的排列方式的装置(90，160，170，192，196，194)设置成在线性格式与至少一种类型的平铺格式之间进行选择，在线性的格式的情况下，图像数据是基于一行接一行的形式存储在存储器子系统(150，210，220)内的，在平铺格式的情况下，在存储器子系统(150，210，220)内组成二维像素组；
其中，该存储器子系统(150)除了主图像数据储存存储器(220)之外还包括处理器高速缓存存储器(210)，将该处理系统设置为，按照下列至少一项在处理器(200)控制下选择性地使用高速缓存运用功能：权利要求23和28中的任何一项中所列出的那些特点当中的所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点，其中将该处理系统设置成这样：按照所述图像数据的检测到的特点和所述处理系统的性能的检测到的特点选择性地使用块分配功能，在这种情况下，分配新的高速缓存块并且对其进行重写，而不用从主图像数据储存存储器(220)内预先装载该高速缓存块。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0323284.0 | 2003-10-04 | ||
| GBGB0323284.0A GB0323284D0 (en) | 2003-10-04 | 2003-10-04 | Method and apparatus for processing image data |
| PCT/IB2004/051944 WO2005034516A1 (en) | 2003-10-04 | 2004-10-01 | Method and apparatus for processing image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1864410A CN1864410A (zh) | 2006-11-15 |
| CN1864410B true CN1864410B (zh) | 2011-04-06 |
Family
ID=29415537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2004800289228A Expired - Fee Related CN1864410B (zh) | 2003-10-04 | 2004-10-01 | 处理图像数据的方法和设备 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8068545B2 (zh) |
| EP (1) | EP1673942A1 (zh) |
| JP (1) | JP2007510320A (zh) |
| KR (1) | KR20060133966A (zh) |
| CN (1) | CN1864410B (zh) |
| GB (1) | GB0323284D0 (zh) |
| WO (1) | WO2005034516A1 (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924914B2 (en) * | 2005-09-20 | 2011-04-12 | Intel Corporation | Dynamically configuring a video decoder cache for motion compensation |
| US7716551B2 (en) * | 2005-12-07 | 2010-05-11 | Microsoft Corporation | Feedback and frame synchronization between media encoders and decoders |
| KR100737741B1 (ko) * | 2006-01-05 | 2007-07-10 | 주식회사 텔레칩스 | 다차원 데이터 선인출 캐쉬를 이용한 메모리 장치 및 그제어 방법 |
| US8068541B2 (en) * | 2006-01-30 | 2011-11-29 | Jan Harding Thomsen | Systems and methods for transcoding bit streams |
| US20070177519A1 (en) * | 2006-01-30 | 2007-08-02 | Thomsen Jan H | Systems and methods for transcoding bit streams |
| JP4862566B2 (ja) * | 2006-09-04 | 2012-01-25 | 富士通株式会社 | 動画像処理装置及びプリフェッチ制御方法 |
| JP4762095B2 (ja) * | 2006-09-20 | 2011-08-31 | 株式会社東芝 | 画像復号装置及び画像復号方法 |
| KR100836617B1 (ko) | 2006-12-26 | 2008-06-10 | 삼성전자주식회사 | 이동통신 시스템의 원격 제어 장치 및 방법 |
| US20130101023A9 (en) * | 2007-03-12 | 2013-04-25 | Vixs Systems, Inc. | Video encoder with video decoder reuse and method for use therewith |
| JP4884290B2 (ja) * | 2007-05-07 | 2012-02-29 | パナソニック株式会社 | 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム |
| US8300697B2 (en) | 2007-05-10 | 2012-10-30 | Allgo Embedded Systems Private Limited. | Dynamic motion vector analysis method |
| US8477146B2 (en) | 2008-07-29 | 2013-07-02 | Marvell World Trade Ltd. | Processing rasterized data |
| KR101479011B1 (ko) * | 2008-12-17 | 2015-01-13 | 삼성전자주식회사 | 다중 대역 스케쥴링 방법 및 이를 이용한 방송 서비스 시스템 |
| JP5260757B2 (ja) * | 2010-01-19 | 2013-08-14 | ルネサスエレクトロニクス株式会社 | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
| US8379999B2 (en) * | 2011-01-18 | 2013-02-19 | Chanan Gabay | Methods, circuits, devices, apparatuses and systems for providing image composition rules, analysis and improvement |
| US8824569B2 (en) | 2011-12-07 | 2014-09-02 | International Business Machines Corporation | High bandwidth decompression of variable length encoded data streams |
| US9167296B2 (en) | 2012-02-28 | 2015-10-20 | Qualcomm Incorporated | Customized playback at sink device in wireless display system |
| US8823715B2 (en) | 2012-03-02 | 2014-09-02 | Adobe Systems Incorporated | Efficient writing of pixels to tiled planar pixel arrays |
| US8810587B2 (en) | 2012-03-02 | 2014-08-19 | Adobe Systems Incorporated | Conversion of contiguous interleaved image data for CPU readback |
| EP2928184A4 (en) * | 2012-11-29 | 2016-09-21 | Lg Electronics Inc | IMAGE ENCODING / DECODING METHOD AND DEVICE SUPPORTING A PLURALITY OF LAYERS |
| KR20160002679A (ko) * | 2013-05-01 | 2016-01-08 | 엘지전자 주식회사 | 신호 송수신 장치 및 신호 송수신 방법 |
| EP2814253B1 (en) | 2013-06-05 | 2015-09-16 | Axis AB | Method for encoding digital video data |
| US9374106B2 (en) | 2013-08-28 | 2016-06-21 | International Business Machines Corporation | Efficient context save/restore during hardware decompression of DEFLATE encoded data |
| US8933824B1 (en) | 2013-08-28 | 2015-01-13 | International Business Machines Corporation | Hardware decompression of deflate encoded data with multiple blocks |
| US9270999B2 (en) | 2013-09-25 | 2016-02-23 | Apple Inc. | Delayed chroma processing in block processing pipelines |
| US9299122B2 (en) | 2013-09-25 | 2016-03-29 | Apple Inc. | Neighbor context processing in block processing pipelines |
| US9305325B2 (en) | 2013-09-25 | 2016-04-05 | Apple Inc. | Neighbor context caching in block processing pipelines |
| US9571846B2 (en) | 2013-09-27 | 2017-02-14 | Apple Inc. | Data storage and access in block processing pipelines |
| US9215472B2 (en) | 2013-09-27 | 2015-12-15 | Apple Inc. | Parallel hardware and software block processing pipelines |
| US9218639B2 (en) | 2013-09-27 | 2015-12-22 | Apple Inc. | Processing order in block processing pipelines |
| US9800640B2 (en) | 2013-10-02 | 2017-10-24 | International Business Machines Corporation | Differential encoder with look-ahead synchronization |
| US9807410B2 (en) | 2014-07-02 | 2017-10-31 | Apple Inc. | Late-stage mode conversions in pipelined video encoders |
| US9396409B2 (en) | 2014-09-29 | 2016-07-19 | At&T Intellectual Property I, L.P. | Object based image processing |
| US9779471B2 (en) * | 2014-10-01 | 2017-10-03 | Qualcomm Incorporated | Transparent pixel format converter |
| CN104408055B (zh) * | 2014-10-29 | 2018-03-13 | 中国石油天然气股份有限公司 | 一种激光雷达点云数据的存储方法及装置 |
| JP6438777B2 (ja) * | 2015-01-30 | 2018-12-19 | ルネサスエレクトロニクス株式会社 | 画像処理装置および半導体装置 |
| US10771399B2 (en) * | 2018-07-30 | 2020-09-08 | Intel Corporation | Quality of service-aware processing of decoding tasks |
| CN110782389B (zh) * | 2019-09-23 | 2023-09-15 | 五八有限公司 | 一种图像数据字节对齐方法和终端 |
| US11367271B2 (en) * | 2020-06-19 | 2022-06-21 | Adobe Inc. | Similarity propagation for one-shot and few-shot image segmentation |
| CN114528031A (zh) * | 2020-10-30 | 2022-05-24 | 武汉斗鱼鱼乐网络科技有限公司 | 一种图片展示方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874995A (en) * | 1994-10-28 | 1999-02-23 | Matsuhita Electric Corporation Of America | MPEG video decoder having a high bandwidth memory for use in decoding interlaced and progressive signals |
| US5912676A (en) * | 1996-06-14 | 1999-06-15 | Lsi Logic Corporation | MPEG decoder frame memory interface which is reconfigurable for different frame store architectures |
| US6023295A (en) * | 1996-09-12 | 2000-02-08 | Sgs-Thomson Microelectronics S.R.L. | ADPCM recompression and decompression of a data stream of a video image and differential variance estimator |
| CN1290108A (zh) * | 1999-09-29 | 2001-04-04 | 松下电器产业株式会社 | 图象解码装置及方法 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719624A (en) * | 1989-07-18 | 1998-02-17 | Canon Kabushiki Kaisha | Image recording apparatus with arithmetic processing |
| US5420703A (en) * | 1990-02-01 | 1995-05-30 | Canon Kabushiki Kaisha | Color image processing system having multi-image processing capabilities |
| JP3302113B2 (ja) * | 1993-07-23 | 2002-07-15 | キヤノン株式会社 | 画像形成装置及び画像形成装置の出力特性設定方法 |
| US5920352A (en) | 1994-10-28 | 1999-07-06 | Matsushita Electric Industrial Co., Ltd. | Image memory storage system and method for a block oriented image processing system |
| US5909224A (en) | 1996-10-18 | 1999-06-01 | Samsung Electronics Company, Ltd. | Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment |
| US6005624A (en) | 1996-12-20 | 1999-12-21 | Lsi Logic Corporation | System and method for performing motion compensation using a skewed tile storage format for improved efficiency |
| AU9388298A (en) | 1997-09-19 | 1999-04-12 | Sony Electronics Inc. | Motion compensated digital video decoding with buffered picture storage memory map |
| US6449390B1 (en) * | 1997-09-24 | 2002-09-10 | Canon Kabushiki Kaisha | Image processing apparatus and method therefor |
| US6424752B1 (en) * | 1997-10-06 | 2002-07-23 | Canon Kabushiki Kaisha | Image synthesis apparatus and image synthesis method |
| US6046778A (en) * | 1997-10-29 | 2000-04-04 | Matsushita Electric Industrial Co., Ltd. | Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program |
| US6104416A (en) | 1997-11-18 | 2000-08-15 | Stmicroelectronics, Inc. | Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences |
| JP3595745B2 (ja) * | 1999-01-29 | 2004-12-02 | キヤノン株式会社 | 画像処理装置 |
| US7012623B1 (en) * | 1999-03-31 | 2006-03-14 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP3639464B2 (ja) | 1999-07-05 | 2005-04-20 | 株式会社ルネサステクノロジ | 情報処理システム |
| CN1220143C (zh) | 2001-01-12 | 2005-09-21 | 皇家菲利浦电子有限公司 | 存储器地址转换单元和方法以及包含这种单元的图像处理装置 |
| JP3962607B2 (ja) * | 2002-02-28 | 2007-08-22 | キヤノン株式会社 | 画像処理装置及び方法及びプログラム及び記憶媒体 |
| JP2004096500A (ja) * | 2002-08-30 | 2004-03-25 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置及び画像記録装置 |
-
2003
- 2003-10-04 GB GBGB0323284.0A patent/GB0323284D0/en not_active Ceased
-
2004
- 2004-10-01 KR KR1020067006535A patent/KR20060133966A/ko not_active Application Discontinuation
- 2004-10-01 JP JP2006530963A patent/JP2007510320A/ja active Pending
- 2004-10-01 EP EP04770149A patent/EP1673942A1/en not_active Withdrawn
- 2004-10-01 CN CN2004800289228A patent/CN1864410B/zh not_active Expired - Fee Related
- 2004-10-01 WO PCT/IB2004/051944 patent/WO2005034516A1/en active Application Filing
- 2004-10-01 US US10/574,143 patent/US8068545B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5874995A (en) * | 1994-10-28 | 1999-02-23 | Matsuhita Electric Corporation Of America | MPEG video decoder having a high bandwidth memory for use in decoding interlaced and progressive signals |
| US5912676A (en) * | 1996-06-14 | 1999-06-15 | Lsi Logic Corporation | MPEG decoder frame memory interface which is reconfigurable for different frame store architectures |
| US6023295A (en) * | 1996-09-12 | 2000-02-08 | Sgs-Thomson Microelectronics S.R.L. | ADPCM recompression and decompression of a data stream of a video image and differential variance estimator |
| CN1290108A (zh) * | 1999-09-29 | 2001-04-04 | 松下电器产业株式会社 | 图象解码装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| soderquist p et al.optimizing the data cache performance of a software mpeg-2video decoder.proceedings ACM multimedia 97. seattle, NOV.9-13,1997, reading, addison wesley, us5.1997,291-301. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060291560A1 (en) | 2006-12-28 |
| KR20060133966A (ko) | 2006-12-27 |
| US8068545B2 (en) | 2011-11-29 |
| EP1673942A1 (en) | 2006-06-28 |
| WO2005034516A1 (en) | 2005-04-14 |
| JP2007510320A (ja) | 2007-04-19 |
| CN1864410A (zh) | 2006-11-15 |
| GB0323284D0 (en) | 2003-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1864410B (zh) | 处理图像数据的方法和设备 | |
| CN101924945B (zh) | 具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器 | |
| US6549577B2 (en) | Computational resource allocation in an information stream decoder | |
| US5912676A (en) | MPEG decoder frame memory interface which is reconfigurable for different frame store architectures | |
| US7903739B2 (en) | Method and apparatus for VC-1 to MPEG-2 video transcoding | |
| US7881384B2 (en) | Method and apparatus for H.264 to MPEG-2 video transcoding | |
| EP0849953B1 (en) | System and method for performing motion compensation using a skewed tile storage format for improved efficiency | |
| US7912127B2 (en) | H.264 to VC-1 and VC-1 to H.264 transcoding | |
| US20120020579A1 (en) | Image encoder and decoder using unidirectional prediction | |
| CN100579225C (zh) | 图像数据的存取和解码方法及解码装置 | |
| CN103314581A (zh) | 使用列的图像分割方法和系统 | |
| US20070047655A1 (en) | Transpose buffering for video processing | |
| CN104396259A (zh) | 图像编码装置、图像编码方法及记录介质、图像解码装置、图像解码方法及记录介质 | |
| US20220159270A1 (en) | Image encoder and decoder using unidirectional prediction | |
| CN101707716B (zh) | 视频编码器和编码方法 | |
| US6205181B1 (en) | Interleaved strip data storage system for video processing | |
| JP4117044B2 (ja) | 映像信号符号化システムにおける量子化器 | |
| CN101193300A (zh) | Tv信号处理电路 | |
| US6456746B2 (en) | Method of memory utilization in a predictive video decoder | |
| JPH0865686A (ja) | 画像復号化装置 | |
| JP2863096B2 (ja) | 並列処理による画像復号装置 | |
| JPH0221776A (ja) | 予測性静止画像エンコーダ・デコーダ | |
| CN1323376C (zh) | 以编码信息为基础的运动自适应循序扫描装置及方法 | |
| US20090310683A1 (en) | Video coding device and video coding method | |
| CN103974073A (zh) | 影像数据处理方法以及影像处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: NXP CO., LTD. Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V. Effective date: 20071012 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20071012 Address after: Holland Ian Deho Finn Applicant after: Koninkl Philips Electronics NV Address before: Holland Ian Deho Finn Applicant before: Koninklijke Philips Electronics N.V. |
|
| ASS | Succession or assignment of patent right |
Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD. Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV Effective date: 20100825 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20100825 Address after: Grand Cayman, Cayman Islands Applicant after: Trident Microsystems (Far East) Ltd. Address before: Holland Ian Deho Finn Applicant before: Koninkl Philips Electronics NV |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: ENTROPY COMMUNICATION CO., LTD. Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD. Effective date: 20130218 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130218 Address after: American California Patentee after: Entropic Communications, Inc. Address before: Grand Cayman, Cayman Islands Patentee before: Trident Microsystems (Far East) Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110406 Termination date: 20141001 |
|
| EXPY | Termination of patent right or utility model |