CN101243690B - 保持高速缓存器位置的视频编码和解码方法 - Google Patents

保持高速缓存器位置的视频编码和解码方法 Download PDF

Info

Publication number
CN101243690B
CN101243690B CN2006800297666A CN200680029766A CN101243690B CN 101243690 B CN101243690 B CN 101243690B CN 2006800297666 A CN2006800297666 A CN 2006800297666A CN 200680029766 A CN200680029766 A CN 200680029766A CN 101243690 B CN101243690 B CN 101243690B
Authority
CN
China
Prior art keywords
image
memory
decoding
coding
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800297666A
Other languages
English (en)
Other versions
CN101243690A (zh
Inventor
吉尔·范德伦
亚伯拉罕·卡雷尔·雷蒙斯
弗雷德里克·简·德布鲁因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Trident Microsystems Far East Ltd Cayman Islands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37561067&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101243690(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Trident Microsystems Far East Ltd Cayman Islands filed Critical Trident Microsystems Far East Ltd Cayman Islands
Publication of CN101243690A publication Critical patent/CN101243690A/zh
Application granted granted Critical
Publication of CN101243690B publication Critical patent/CN101243690B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Abstract

本发明涉及一种对视频处理设备中包括多个图像(A、B、C)的视频流进行编码/解码的方法，视频处理设备具有与第一存储器(12)耦合的处理单元(11)，还包括第二存储器(13)，所述方法包括以下步骤：在第一存储器(12)中提供存储在第二存储器(13)中的图像数据的子集；通过对所述子集进行存取，对视频流的多于一个的图像(B、C)进行同时编码/解码，其中通过对至少一个图像(A)的存取共享来执行同时编码/解码。为了减少对第二存储器(13)的业务量或存取数量，提出了一种设备，包括处理单元(11)，用于执行视频数据的编码/解码过程；与处理单元(11)耦合的第一存储器(12)，用于存储对视频数据进行编码/解码所需的图像数据；第二存储器(13)，其中视频流包括多个图像(A、B、C)，第一存储器(12)适于将第二存储器(13)的图像数据的子集存储在第一存储器(12)中，以及处理单元(11)适于通过对第一存储器(12)中的图像数据的所述子集进行存取，来对多于一个的视频流图像(B、C)进行同时编码/解码，其中通过对至少一个图像的共享存取来执行同时编码/解码。

Description

保持高速缓存器位置的视频编码和解码方法
技术领域
本发明涉及一种用于对视频数据进行编码/解码的方法。此外，本发明还涉及一种对视频数据进行编码/解码的设备。
背景技术
在视频编码/解码中，使用参考帧。这种编码的典型示例是类似MPEG2、H.264等的标准。然而，在例如用于web cams的专利算法中，也使用参考帧。
通常，视频处理设备包括处理器，例如，用于基于未压缩和/或已编码的视频数据来执行编码/解码运算的数字信号处理器。有不同类型的存储器与该处理器连接。通常，视频数据存储在具有大存储容量的存储器中，因为对于高质量视频，需要处理大量数据。此外，有较小尺寸的存储器与处理器耦合，用作临时缓冲器。用于存储视频的较大尺寸的存储器经由连接与具有有限带宽的处理器耦合。用作临时缓冲器的存储器经由具有比大存储器连接更高的带宽的连接进行连接。大多数情况下，大存储器设置在包括存储器的芯片之外；因而将其称为芯片外存储器，其中，临时缓冲器位于相同的芯片上，因而被称为芯片上存储器。
典型地，用于编码/解码的参考图像过大而无法完全适合芯片上存储器。对于SD MPEG解码，需要存储1.2兆字节的参考图像数据。对于HD MPEG解码，需要存储多达6兆字节。对于MPEG编码，甚至需要更多的图像存储器以用于图像重新排序。所以为了使用这种参考图像，需要对芯片外存储器的存取。
然而，也作为长期技术进步的结果，特征尺寸减小，因而两种存储器均可以位于单个芯片上。此外在这种情况下，将构建多个等级的高速缓存。第一高速缓存等级将“靠近”处理单元，其中下一高速缓存等级将位于“较远距离”并具有较大的存储器尺寸。以下推论仍然成立：至下一等级高速缓存器的带宽明显小于至第一高速缓存等级的带宽。因而在未来的系统中，存储器瓶颈仍将是十分重要的问题。
图像分辨率增大的趋势使得参考帧在尺寸上变得更大，因而需要更多的存储器进行存储。从而可能在未来仍将参考帧存储在芯片外存储器中。这也导致了更高的芯片外存储器带宽。
此外，处理或计算能力与存储器通信之间的性能差距将随着硅技术的进步而增加。因而，带宽考虑和存储器访问延迟均将成为更加主要的设计参数。由于缺乏数据，二者均危及芯片上处理能力的有效利用率。
越来越多的信号处理功能设计用于明显强调功率消耗的移动应用程序。这提出了减少芯片外通信的额外要求，因为高带宽的芯片外通信需要大量的功率。
标准存储器组件通常符合提出了固定带宽限制的接口标准。这种瓶颈或有限带宽容量对于视频处理系统做出了非常严格的限制。为了放松这种限制，需要显著的成本增加。所以可以将芯片外存储器芯片的数量加倍以使总线带宽加倍。这增加了系统成本和硅区域以及芯片管脚计数。
作为这些趋势的结果，存储器瓶颈将在未来更加显著。
US 6,263,112 B1描述了一种运动矢量搜索设备和运动图像编码设备。该文献描述了降低视频处理的带宽需求。参考帧用于视频数据的编码/解码。应注意，B帧施加了最大的参考帧带宽负担，因为B帧编码典型需要两个参考帧，I帧和P帧。该文献公开了仅使用单个参考帧用于B帧编码，从而利用了先前计算出的运动矢量。运动矢量存储在运动矢量数据存储器中。带宽需求的降低降低了图像质量。此外，它仅可以应用于编码器上。另外，由于不能采用标准的所有特征，所以它还增加了比特速率。
发明内容
因此，本发明的目的是提供用于降低针对视频编码/解码的芯片外存储器业务量、而不会降低图像质量或增加比特速率的方法和设备。
本发明的目的通过独立权利要求的特征来实现。
本发明基于以下观察：对参考图像进行多次存取以处理连续图像。这对于解码和编码同样成立。在现有技术中，这些存取在时间上相距很远，并需要对芯片外存储器中的相同图像数据进行单独存取，或者需要将完整的参考图像在芯片上存储于第一存储器中。
本发明提出了利用对图像数据的子集的多次单一存取来处理多个图像，而不必在芯片上存储完整的参考图像。这通过同时处理连续图像来实现。
大多数压缩标准对于预测器使用运动补偿。因果性限制和运动矢量的差异防止了在时间上精确相同的时刻需要精确相同的数据用于同时处理的图像。为了克服该差异，仍需要小的芯片上缓冲器。该芯片上缓冲器在以下被称为第一存储器。第一存储器在最大矢量范围的量级内包含参考图像的窗或子集。将完整的参考图像存储在典型位于芯片外的大的第二存储器中。
由于第一存储器包含参考图像的相关部分，所以也可以使用第一存储器来补偿第二存储器的长时延。
该思想可以独立地应用于视频编码器和解码器。示例是MPEG和H.264。该思想在软件和硬件编码/解码实现中均是有用的。
在有利的实施例中，同时编码/解码的图像中的至少一个用作用于对其他同时编码/解码的图像中的至少一个进行编码/解码的参考图像。因此，还减少了芯片外存储器存取，并减少了处理时间和功耗。
在另一实施例中，优选地，同时编码/解码的图像共享对公共参考图像的存取。存储在第一存储器中的子集包括用于对同时编码/解码的图像进行编码/解码的公共参考图像的数据。
在优选实施例中，将数据写入第一存储器并将数据从第一存储器中读出是同步的，从而在开始对相关图像解码之前，已经对相关图像或其一部分的解码所需的参考图像的部分进行了解码。因而确保了在两个同时编码/解码的图像之间，写入在读取之前。
此外，有利地，需要使第一存储器中的存取同步，以确保同时编码/解码的图像的第一图像的解码/编码出现在第二图像的大致相等的图像位置上。因而使第一存储器中存储的数据量保持较小。
第一存储器中存取的同步确保了在对第一和第二图像进行同步编码/解码期间，对共享公共参考图像的存取出现在公共参考图像的大致相等的图像位置上。该同步确保了针对共享图像的两个读取存取大约在相同的位置上。
在另一优选实施例中，存取的同步基于用作公共参考图像的相应图像中的垂直位置。
优选地，存取之间的同步偏移基于运动矢量的最大垂直分量。同步偏移是指图像中写入第一图像的位置与处理第二图像的位置之间的垂直差。为了对第二图像进行解码，需要来自第一图像的数据。需要首先写入该数据。第一图像中的读取存取的精确位置取决于运动矢量。该运动矢量从第二图像的比特流中获得。根据现有技术，这将需要在第一图像中的每个读取操作处的检查和同步。这导致了许多的检查和同步行为，引起了大量额外操作和复杂度。然而，对于运动矢量通常存在最大值。通过使用该最大值作为同步标准，可以对所有可能的矢量值进行存取，并且同步不再取决于特定矢量值。
此外，通过仅使用最大矢量的垂直分量，仅需要在垂直地使图像前进时进行检查和同步。
在另一优选实施例中，执行搜索过程，在压缩数据内搜索下一图像的起始。因而可以对多个图像进行同步解码。
在另一优选实施例中，对于编码过程，并行对编码流进行编码。连接编码后的不同图像以根据标准产生图像顺序比特流。
在编码期间，还可以限制运动矢量的大小。从而可以考虑第一存储器的大小，使得数据的工作集合不会超过第一存储器的大小。
也通过视频处理设备来实现本发明的目的，该视频处理设备包括：处理单元，用于执行视频数据的编码/解码过程；与处理单元耦合的第一存储器，用于存储对视频数据进行编码/解码所需的图像数据；以及第二存储器，其中视频流包括多个图像，第一存储器适于将第二存储器的图像数据的子集存储在第一存储器中，以及处理单元适于通过对第一存储器中的图像数据子集进行存取，来对多于一个视频流图像同时进行编码/解码，其中通过共享对至少一个图像的存取来同时执行编码/解码。
在另一优选实施例中，设置多个处理单元，每个处理单元同时进行操作，并处理单个图像。这样，有效地利用了任务等级并行性来对单个视频流进行编码/解码。多个处理器将对单个第一存储器进行存取。
在另一实施例中，多个第一存储器可用，每个第一存储器靠近它们各自的处理单元。在这种情况下，在第一存储器之间需要有附加的通信装置，以在第一存储器上复制图像数据。这种系统的示例是多处理器系统，其中每个处理器配备了自己的等级0高速缓存器。高速缓存器相干硬件关注于在多个高速缓存器上复制图像数据。
本发明的其他目的和优点将在以下结合附图的讨论中变得显而易见。以下参考附图，仅通过示例详细描述本发明的优选实施例。
附图说明
图1是根据本发明的视频处理设备的示意性结构；
图2是图像相关性的示意图(GOP)；
图3是根据现有技术的对图像进行读取和写入以用于对如图2所示图像序列进行解码的图示；
图4是示出了限于图像窗口的根据现有技术的图3中部分的读取和写入存取的图示；
图5是示出了根据本发明的用于两个图像的同时计算/解码的重叠图像窗的图示；
图6是示出了在并行对两个图像进行解码时根据本发明的读取存取减少的图示；
图7表示具有多个第一存储器的多处理器配置。
具体实施方式
仅出于示意性目的而提供附图，附图并不一定按比例缩放地表示本发明的实际示例。
以下对本发明的各个示例性实施例进行描述。
尽管本发明可以应用于各种应用，但是将仅关注MPEG编码/解码应用。应用本发明的其他领域可以是H.264/AVC算法或任何其他使用参考图像的编码/解码算法。
图1示出了用于本发明的视频处理设备的结构。存在处理单元11，例如数字信号处理器或固定功能块，用于执行编码/解码过程。第一存储器12以大的带宽连接与处理单元11耦合。处理单元11可以直接控制存储器管理。未示出的其他控制单元也可以使用例如直接存储器存取(DMA)技术来控制存储器管理。作为另一可选项，第一存储器12可以用作第二存储器13的数据高速缓存器，通用高速缓存策略确定第一存储器12中有哪些数据可用。
第二存储器13可以设置在芯片10之外。第二存储器13具有比第一存储器11更大的存储容量。从第二存储器13至处理单元11的连接的带宽有限。在使用其他存储器控制单元的情况下，可以将数据直接从第二存储器13写入第一存储器11，而无需使用处理单元11。图1示出了解码方向，而相同的设备仅通过交换数据的输入和输出就可用于编码方向。
图2示出了MPEG2编码情况下的图像相关性。存在I-图像、B-图像和P-图像。不使用参考图像而对I-图像A进行解码。通过使用I-图像A作为参考图像来对P-图像B进行解码。为了对B-图像C进行解码，将解码后的P-图像B和解码后的I-图像A用作参考图像。这种图像序列被称为GOP(图像组)。IPBPBPB...序列被称为GOP结构。可以使用不同的GOP结构；例如可以应用本发明的IPBBPBBPBB...。P-图像取决于在先I-图像，以及B-图像取决于在先I-图像以及在先P-图像。
从已知的图像(也被称为帧)相关性开始，参照图3来解释用于对图2中示出的帧序列进行解码的写入/读取存取。将视频流编码为图像序列。通常，以接收数据的顺序对图像进行解码。当将参考图像A用于对图像B进行解码时，重新使用之前进行了解码的参考图像A。典型地，必须从芯片外或第二存储器13内重新读取该参考图像A，因为芯片上或第一存储器12并未大到足以将参考图像A保存在芯片上或第一存储器12中。如图3中所示，写入参考图像A一次，为了作为参考图像对图像B和图像C进行解码而读取参考图像A两次。这需要大量芯片外或第二存储器13的存取。
图4示出了图3的放大部分。图4示出了宏块M的计算。为了计算这种宏块，需要参考图像A的区域或部分。该存取区域或子集的大小取决于宏块的运动矢量V的最大大小。针对每个参考图像，可以识别这种“搜索数据”。当宏块位置在图像中向下行时，搜索区域也向下滑动。在现有技术的系统中，来自这些搜索区域窗的数据通常在本地缓冲器或高速缓存器中可用，这与本发明的第一存储器相类似。图4示出了读取来自图像A的数据一次，以产生图像B，并再读取一次以产生图像C。此外，在大致相同的输出图像位置处，各个存取区的内容示出了明显的重叠。如图5所示，在本发明中采用了该特性。
图5示出了根据本发明的用于同时对两个图像B和C进行解码的重叠时间窗。图像B和C均需要来自图像A的数据。当同时对图像B和C进行解码时，仅需要将该图像数据的子集从第二存储器13中读取一次至第一存储器12。然后，解码过程使用两次来自第一存储器12的该图像数据的子集。由于各个图像中的解码位置可以略有不同，所以组合存取区域与仅针对单个解码图像的存取区域相比略有扩大。图5示出了两个重叠存取区域，由灰色阴影来表示。较暗的灰色阴影指示两个区域的重叠。这种方式明显导致了针对图像A数据的第二存储器业务量的50％的下降。
同时对图像B和C进行解码。然而应注意，图像B也是图像C的参考图像。在本发明中，将所计算的图像B的图像数据存储在第一存储器12中，并复制到第二存储器13中。因而用于对图像C进行解码的图像B的存取区域在第一存储器12中立即可用。
传统的解码器需要将图像B写入第二存储器13，之后，当对图像C进行解码时，再次从第二存储器13中读取图像B。本发明避免了从第二存储器13中的读取，使得针对图像B数据的第二存储器业务量降低了50％。
针对图3的示例，应用同时对两个图像B和C进行解码的过程。在图6中示出了根据本发明的结果。在该图像中，块的水平宽度表示第二存储器13中的图像带宽。块的高度表示操作的持续时间。对第二存储器13的存取次数明显减少。
在如图3中示出的标准情况下，需要对第二存储器的五个完整的存取(读取A、写入B、读取A、读取B、写入C)，以对图像B和C进行解码。在根据图6中描述的本发明的情况下，仅需要对第二存储器13的三个完整的存取(读取A、写入B、写入C)。因而将芯片外带宽消耗减小了2/5＝40％。在该特定示例中，选择同时对两个图像B和C进行处理。也可以有其他选择，这取决于GOP结果和芯片上缓冲存储器或第一存储器12的可用性。因此，可以同时处理两个B图像。也可以同时处理I图像和P图像。此外，可以同时处理多于两个的图像。
应注意，带宽的减小出现在带宽峰值处。当对B-图像C进行解码时，需要三个存取来对单个图像进行解码(2x读取，1写入)。针对P-帧B，需要两个存取，针对I-帧A，仅需要单个存取。因此，作为附加优点，本发明平滑了时间上的带宽消耗。这放松了芯片外带宽的设计目标，因为系统必须支持最差情况的带宽消耗。此外，由于视频编码器/解码器更加恒定的带宽消耗，允许更好的调度和总线利用率。
该思想的实现使用了标准解码算法。与正常实现相比，仅需要附加的同步过程来确保图像B的解码在取决于参考图像B的图像C的计算之前。此外，参考图像B的解码并不提前很多，以确保当对取决于参考图像B的图像C进行解码时，参考图像B的数据仍在第一存储器12中。
此外，需要有效地扫描压缩视频流，以找到下一图像的开始，而不必首先对当前图像进行解码。实现中的这两个附加情况都相对易于实现。
以下将描述哪些数据在第一存储器12中：
1.同时解码的所有图像B和C的运动矢量。由于运动矢量对于每个宏块均可用，所以这仅需要图像存储容量的一部分。
2.针对同时解码的图像B、C的压缩视频数据(由于这是压缩域内的数据，所以仅需要图像存储器的一部分)。
3.如图5所示的存储参考图像的部分。所需第一存储器12的量取决于最大矢量大小。
将SD MPEG作为示例：与用作参考的P-图像同时计算B-图像。假设P-图像的运动矢量是至多64个像素。为了保持所需的I-图像，芯片上的数据需要128*720*1.5，等于135千字节。为了计算B-图像，需要P-图像作为参考。因为B-图像的解码典型在P-图像之后，所以还需要135千字节来容纳(host)P-图像参考数据，以及65千字节用于I图像的附加数据。总共需要335千字节。多于一个的B-图像并不会增加所需的第一存储器的量。多于两个参考图像(例如H.264)将增加所需的第一存储器的量。
以下对编码过程进行描述。针对视频编码，可以使用与解码相同的原理。可以对参考图像和取决于该参考图像的图像同时进行编码。与解码相比存在多个优点：可以自由地判断何时对正常图像或参考图像进行编码。
并行地产生编码流。必须以正确的顺序将不同图像的编码流连接。这比解码所需的解析简单，并且不需要大量的功率消耗。在编码期间，可以选择不使用标准的所有可能特征。这允许考虑了硬件结构特性的优化。一些示例是：
可以选择限制运动矢量，以使图像数据的工作集合不会超过芯片上缓冲器的大小。
还可以选择仅参照单个图像对B图像进行编码(所以该B图像使用与P图像类似的参考)。由于仅写入B图像，也读取了P图像，所以这减少了在本地存储器上的存取。这节约了本地缓冲器的带宽。
在一些情况下，需要额外的存储器(用于存储器消耗的交易带宽，这从成本角度来说仍是有利的)。
向解码器添加一些额外时延；在许多应用中，这根本不成问题(例如，DVD解码、广播等)。
在另一实施例中，多个处理单元11x、11y、11z和第一存储器12x、12y、12z可用，每个第一存储器12x、12y、12z均靠近它们各自的处理单元11x、11y、11z。在这种情况下，第一存储器12x、12y、12z之间的附加通信装置14关注在第一存储器上复制图像数据。这种系统的示例是多处理器系统，其中每个处理单元11x、11y、11z配备了自己的等级0高速缓存器。高速缓存器相干硬件关注在多个高速缓存器上复制图像数据。
图7示出了多个处理单元11x、11y、11z，每个处理单元11x、11y、11z与第一芯片上存储器12x、12y、12z连接。第一存储器与通信网络14连接，通信网络14也与芯片外第二存储器13连接。通信网络14支持从第一存储器12x、12y、12z至第二存储器13的数据传输，以及在第一存储器12x、12y、12z之间的数据传输。第一存储器12x、12y、12z可以位于靠近CPU 11x、11y、11z的位置以作为数据高速缓存器。在这种系统中，可以同时处理多个图像，从而单个处理单元11x、11y、11z对每个图像进行处理。例如，可以由处理器11x执行对图像B的解码，同时处理器11y正在对图像C进行解码。在该系统中需要对高速缓存器相干性进行处理。在单纯的分层存储器系统中，在第一存储器中没有高速缓存器总是导致第二存储器中的存取。然而，利用高速缓存相干性，首先检查数据是否已在其他芯片上高速缓存器中的任一高速缓冲器内可用。如果是这种情况，则使用其他芯片上高速缓存器而不是芯片外存储器。这样，仍可以减少对带宽受限的芯片外存储器的数据存取。例如，当在处理器11y上处理图像C时，来自图像A的数据用作参考图像，并载入第一存储器12y。同时，处理器11x正在处理图像B，还从图像A中读取图像数据。高速缓存器相干功能关注将该数据从第一存储器12y中取出，并载入对于处理器11x可用的第一存储器12x。这样，仍仅从芯片外第二存储器13读取图像A的图像数据一次，而用于同时对图像B和图像C进行解码。
通过使用本发明，可以提供以下优点：由于与需要对第二存储器进行5个存取的传统方法相比，仅需要对第二存储器的3个完整存取，所以实现了大约40％的典型MPEG编码/解码(IBPBPBP)的带宽减小。
在图像组中包括更多的B-图像的情况下(例如，IBBPBBPBBP的GOP结构)，通过增加同时处理的图像的数量，可以实现更大的带宽减小。
由于对第二存储器的存取量减小，降低了用于编码/解码的功耗，这对于移动编码来说十分有利。
带宽中的峰值降低，因而实现了更加连续的带宽的使用。
本发明可以应用于例如MPEG、H.264的标准。然而，也可以应用于解码器，与对数据进行编码的编码器无关，反之亦然。此外，还可以应用于SD至HD视频。
解码算法并未受到影响。对于编码算法没有或有极小的影响。为了实现本发明，需要对编码器或解码器的实现进行非常小的影响：需要在参考图像产生器和消耗器之间添加同步过程。此外，需要添加对压缩数据中的下一图像的起始的搜索，以开始同时对多个图像进行解码。当编码时，需要以正确的顺序连接同时产生的比特流段。所有这些操作都是相对直接的。
显而易见的是，在本发明中，可以在不偏离本发明范围的情况下使用广泛的不同的编码或解码方法。本发明并不受限于其特定编码/解码方法，而是受限于所附权利要求。
在所附权利要求中，括号“(”和“)”之间的数字或字母指代附图中的元素。它们仅用作示意和解释的目的，并不应理解为对本发明的限制。
本发明中描述的方法可以应用于包括专用硬件单元、或配备了用于所需功能的软件代码的可编程处理单元、或者配置用于所需功能的可编程硬件或其组合的设备中。

Claims (8)

1.一种对视频处理设备中包括多个图像(A、B、C)的视频流进行编码/解码的方法，所述视频处理设备具有与第一存储器(12)耦合的处理单元(11)，还包括第二存储器(13)，所述方法包括以下步骤：
-在第一存储器(12)中提供存储在第二存储器(13)中的图像数据的子集；
-通过对所述子集进行存取，对视频流的多于一个的图像(B、C)进行同时编码/解码，其中通过对至少一个图像(A)的存取共享来执行同时编码/解码；所述方法还包括：
使第一存储器(12)中的存取同步，以确保在共享图像(A)中相等的图像位置处进行存取；所述同步基于相应图像(A、B)中的垂直位置；其中同步偏移基于运动矢量(M)的最大垂直分量。
2.如权利要求1所述的方法，其中将同时编码/解码的图像(B、C)中的至少一个用作参考图像(B)，所述参考图像(B)用于对其他同时编码/解码的图像(C)中的至少一个进行编码/解码。
3.如权利要求1或2所述的方法，其中同时编码/解码的图像(B、C)共享对公共参考图像(A)的存取。
4.如权利要求1或2所述的方法，还包括：
使第一存储器(12)中的存取同步，以确保同时编码/解码的图像(B、C)的第一图像(B)的解码/编码在取决于所述第一图像(B)的第二图像(C)的计算之前。
5.如权利要求1或2所述的方法，用于对视频流进行解码，该方法还包括：搜索视频流以发现下一图像的开始，而无需对图像进行解码。
6.如权利要求1或2所述的方法，用于对视频流进行编码，其中，连接同时编码的图像(A、B、C)的数据，以产生图像顺序比特流。
7.一种视频处理设备，包括：
处理单元(11)，用于执行视频数据的编码/解码过程；
与所述处理单元(11)耦合的第一存储器(12)，用于存储对视频数据进行编码/解码所需的图像数据；
第二存储器(13)，其中视频流包括多个图像(A、B、C)，所述第一存储器(12)适于将所述第二存储器(13)的图像数据的子集存储在所述第一存储器(12)中，以及所述处理单元(11)适于通过对所述第一存储器(12)中的图像数据的所述子集进行存取，来对多于一个的视频流图像(B、C)进行同时编码/解码，其中通过对至少一个图像的共享存取来执行同时编码/解码；
第一存储器(12)被配置成允许存取同步，以确保在共享图像(A)中相等的图像位置处进行存取；所述同步基于相应图像(A、B)中的垂直位置；其中同步偏移基于运动矢量(M)的最大垂直分量。
8.如权利要求7所述的视频处理设备，具有多个处理单元，每个处理单元同时进行操作，并处理单个图像(A、B、C)，所述视频处理设备还包括多个第一存储器，每个第一存储器与相应的处理单元相关联，其中在第一存储器之间提供了通信单元(14)，以提供对没有直接与需要数据的处理单元相关联的第一存储器的数据存取。
CN2006800297666A 2005-08-17 2006-08-07 保持高速缓存器位置的视频编码和解码方法 Expired - Fee Related CN101243690B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP05107557.0 2005-08-17
EP05107557 2005-08-17
EP05108995 2005-09-29
EP05108995.1 2005-09-29
PCT/IB2006/052721 WO2007020560A1 (en) 2005-08-17 2006-08-07 Method video encoding and decoding preserving cahe localities

Publications (2)

Publication Number Publication Date
CN101243690A CN101243690A (zh) 2008-08-13
CN101243690B true CN101243690B (zh) 2011-02-23

Family

ID=37561067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800297666A Expired - Fee Related CN101243690B (zh) 2005-08-17 2006-08-07 保持高速缓存器位置的视频编码和解码方法

Country Status (7)

Country Link
US (1) US8184689B2 (zh)
EP (1) EP1917812B1 (zh)
JP (1) JP5043012B2 (zh)
CN (1) CN101243690B (zh)
AT (1) ATE448644T1 (zh)
DE (1) DE602006010402D1 (zh)
WO (1) WO2007020560A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910576B2 (ja) * 2006-09-04 2012-04-04 富士通株式会社 動画像処理装置
US9877033B2 (en) 2009-12-21 2018-01-23 Qualcomm Incorporated Temporal and spatial video block reordering in a decoder to improve cache hits
US8854382B2 (en) * 2010-12-10 2014-10-07 Vixs Systems, Inc. Multi-function encoder and decoder devices, and methods thereof
CN103385001B (zh) 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策
US20130156114A1 (en) * 2011-12-17 2013-06-20 Faramarz Azadegan Data Movement Reduction In Video Compression Systems
JP6330816B2 (ja) * 2013-09-12 2018-05-30 ソニー株式会社 符号化装置、送信装置および受信装置
US20150146784A1 (en) * 2013-11-26 2015-05-28 Vixs Systems Inc. Motion compensation with moving window
US11051026B2 (en) 2015-08-31 2021-06-29 Intel Corporation Method and system of frame re-ordering for video coding
CN107770565A (zh) * 2016-08-15 2018-03-06 联发科技股份有限公司 低延迟视频编码的装置与方法
CN109640111B (zh) * 2019-01-29 2021-02-02 视联动力信息技术股份有限公司 一种图片传输方法、装置和可读介质
CN115119048B (zh) * 2019-08-10 2024-02-23 荣耀终端有限公司 一种视频流处理方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589019A (zh) * 2004-08-05 2005-03-02 联合信源数字音视频技术（北京）有限公司 帧场视频解码中运动矢量存取的控制装置及其方法
CN1620817A (zh) * 2001-07-06 2005-05-25 皇家菲利浦电子有限公司 用受控向量统计特性进行运动估计和补偿

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2636192B1 (fr) * 1988-09-07 1992-07-24 Sanyo Electric Co Appareil de stockage de donnees d'image
US5521717A (en) * 1992-02-03 1996-05-28 Canon Kabushiki Kaisha Image processing apparatus and method therefor
JPH05290461A (ja) * 1992-04-06 1993-11-05 Mitsubishi Electric Corp 磁気記録再生装置
KR0129557B1 (ko) * 1992-10-07 1998-04-10 배순훈 움직임 보상을 이용한 동영상 신호처리기의 메모리 장치
EP0710028A3 (en) * 1994-10-28 2000-01-19 Kabushiki Kaisha Toshiba Image decoding apparatus
JP4294743B2 (ja) 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
JP4264571B2 (ja) 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
US6243140B1 (en) * 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
JP3861607B2 (ja) * 2001-02-22 2006-12-20 セイコーエプソン株式会社 画像信号復号装置
JP4195969B2 (ja) * 2002-08-05 2008-12-17 パナソニック株式会社 動きベクトル検出装置
JP4517592B2 (ja) * 2003-06-16 2010-08-04 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2005175997A (ja) 2003-12-12 2005-06-30 Sony Corp 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体
JP4180547B2 (ja) * 2004-07-27 2008-11-12 富士通株式会社 動画像データ復号装置、および復号プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620817A (zh) * 2001-07-06 2005-05-25 皇家菲利浦电子有限公司 用受控向量统计特性进行运动估计和补偿
CN1589019A (zh) * 2004-08-05 2005-03-02 联合信源数字音视频技术（北京）有限公司 帧场视频解码中运动矢量存取的控制装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
His-Kang Tsao, etc..An Efficient Macroblock-Sync DecodingArchitecture for MPEG-4 FGS Video.Circuits and Systems,2002,MWSCAS-2002. The 2002 45th Midwest Symposium on1.2002,1第I233页右栏第2段. *
Steven Ge, etc..Efficient Multithreading Implementation ofH.264 Encoder onIntel Hyper-Threading Architectures.Information,Communications and Signal Processing,2003 and the Fourth Pacific Rim Conference on Multimedia. Proceedings of the 2003 Joint Conference of the Fourth International Conference on1.2003,1第469页右栏最后1段,第471页右栏最后1段,472页右栏第2段第1行至473页左栏第1段第5行、图4-6. *

Also Published As

Publication number Publication date
EP1917812B1 (en) 2009-11-11
DE602006010402D1 (de) 2009-12-24
JP5043012B2 (ja) 2012-10-10
ATE448644T1 (de) 2009-11-15
EP1917812A1 (en) 2008-05-07
JP2009505549A (ja) 2009-02-05
US20080232462A1 (en) 2008-09-25
CN101243690A (zh) 2008-08-13
WO2007020560A1 (en) 2007-02-22
US8184689B2 (en) 2012-05-22

Similar Documents

Publication Publication Date Title
CN101243690B (zh) 保持高速缓存器位置的视频编码和解码方法
US9224187B2 (en) Wavefront order to scan order synchronization
US9336558B2 (en) Wavefront encoding with parallel bit stream encoding
US20070195882A1 (en) Video decoder with scalable compression and buffer for storing and retrieving reference frame data
EP0843485A2 (en) MPEG decoder unified memory
JP5309700B2 (ja) 動画像復号装置および符号化装置
US20140177710A1 (en) Video image compression/decompression device
US8699808B2 (en) Method and apparatus of temporary image frame compression
KR20070052311A (ko) 메모리 직접 접근 방식의 이미지 데이터 구조
JP2014239428A (ja) デジタルビデオデータを符号化するための方法
JPH08223571A (ja) 画像デコーダ
TWI637631B (zh) 影像處理裝置、影視子系統與影視處理電路
US8879629B2 (en) Method and system for intra-mode selection without using reconstructed data
US20080310515A1 (en) MPEG-2 2-Slice Coding for Simple Implementation of H.264 MBAFF Transcoder
US20080056381A1 (en) Image compression and decompression with fast storage device accessing
US20050168470A1 (en) Variable-length coding data transfer interface
US20150078431A1 (en) Method and apparatus of temporary image frame compression
US20110099340A1 (en) Memory access control device and method thereof
US20110096082A1 (en) Memory access control device and method thereof
CN102111615A (zh) 直接存储器存取搬移实现视频滤波的方法及系统
CN114374848A (zh) 一种视频编码优化方法和系统
JP4610523B2 (ja) 動画処理装置
Schreier et al. Architecture analysis for low-delay video coding
WO2022206212A1 (zh) 视频数据存储方法、装置、电子设备和可读存储介质
CN103155566A (zh) 动态图像编码方法以及动态图像编码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100825

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20100825

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident microsystem (Far East) Co.,Ltd.

Address before: Holland Ian Deho Finn

Applicant before: NXP B.V.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130428

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident microsystem (Far East) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180704

Address after: American Minnesota

Patentee after: Dynamic data technology LLC

Address before: California, USA

Patentee before: Entropic Communications, Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110223

Termination date: 20210807