CN1729690B - 多处理器环境的实时mpeg-4纹理解码的设备和方法 - Google Patents

多处理器环境的实时mpeg-4纹理解码的设备和方法 Download PDF

Info

Publication number
CN1729690B
CN1729690B CN2003801028926A CN200380102892A CN1729690B CN 1729690 B CN1729690 B CN 1729690B CN 2003801028926 A CN2003801028926 A CN 2003801028926A CN 200380102892 A CN200380102892 A CN 200380102892A CN 1729690 B CN1729690 B CN 1729690B
Authority
CN
China
Prior art keywords
data
macro block
independence
prediction
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2003801028926A
Other languages
English (en)
Other versions
CN1729690A (zh
Inventor
J·雍
T·亚马扎基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN1729690A publication Critical patent/CN1729690A/zh
Application granted granted Critical
Publication of CN1729690B publication Critical patent/CN1729690B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

描述了用于在处理视频比特流中的一系列宏块的视频解码器中执行纹理解码的设备及方法。创造性纹理解码极适合在结合了多个处理器的解码器中的实现。该方法将数据无关操作与数据相关(顺序)操作分离，其中，多处理可有效地用于处理数据无关宏块。该方法最好在数据相关操作的集合中进行关于预测方向的假设。然后进行预测确定，以及必要时采用对宏块进行操作的数据无关操作中的转置来校正假设。该方法降低了计算开销，并在多处理解码器中提供有效分段操作。

Description

多处理器环境的实时MPEG-4纹理解码的设备和方法
对相关申请的交叉引用
本申请要求2002年11月13日提交的美国申请10/294925的优先权，通过引用将其完整地结合于此。
关于联邦赞助的研究和开发的申明
不适用
对计算机程序附录的引用
不适用
受到版权保护的资料的注意事项
本专利文献中的一部分资料受到美国及其它国家的著作权法的著作权保护。著作权所有者不反对任何人复制本专利文献或专利公开，就象它出现在美国专利及商标局的公开文件或记录中那样，但在其它方面仍保留所有著作权。版权所有者在此没有放弃使此专利文献保密的任何权利，其中包括但不限于与37C.F.R.§1.14有关的权利。
技术领域
一般来说，本发明涉及视频解码，更具体来说，涉及执行极适用于多处理器环境中的解码操作的设备和方法。
背景技术
多种格式当前可用于对视频编码。这样一种格式是MPEG-4视频编码标准，它建立用于支持面向对象的编码机制。MPEG-4一般被认为是用于多种视频应用的极有发展前景的视频编码标准。MPEG-4的前景至少部分是当前可用于MPEG-4编码的许多工具的结果。除了提供面向对象的编码方案之外，相对编码比特率和视频质量，还可采用MPEG-4来实现高编码效率。MPEG-4的效率主要是结合了诸如MPEG-1和MPEG-2等其它视频编码标准中一直缺乏的先进编码方案的结果。但是，应当知道，这些先进编码技术的使用使MPEG-4中的解码过程以及类似体系结构的格式更为复杂，从而使得对这些视频比特流实时操作的解码器的实现更为复杂。
最近，工业资源一直越来越多地致力于设计快速解码器，例如对于MPEG-4，它可用来提供多种应用中的实时解码。但是，这些努力在很大程度上针对集成了单个快速处理元件或者一对快速处理元件的解码器，而没有针对解决伴随集成了任意数量的低成本处理器的解码器的使用的问题。
MPEG-4格式中采用的系数利用通常参考来自先前编码的宏块的信息的DC和AC预测来编码。因此，要知道，这些宏块的解码要求存取关于其它暂时移位宏块的信息。还以相似方式从相邻宏块的运动矢量中预测运动矢量。由于这类预测的原因，宏块的解码要求对来自先前解码的宏块的信息的存取。这种要求意味着，入局比特流中的宏块的解码必须从第一宏块到最后一个宏块依次执行，它针对视频对象平面(VOP)。传统的解码器一般限制到这种依次宏块处理范例。
图1说明对于MPEG-4比特流实现的解码器的一个实例，在其中，解码操作逐块执行。首标和数据信息通过可变长解码(VLD)从编码的MPEG-4比特流中首先解码，然后再确定预测方向(PDD)，供后续操作使用。该数据则通常经过逆扫描(IS)、逆DC预测(IDCP)、逆AC预测(IACP)、逆量化(IQ)、逆离散变换(IDCT)以及最后与视频对象平面(VOIP)关联的运动补偿。由于对预测方向的相关性，因此难以分隔在多个处理器中执行的解码操作来加速解码过程。
要知道，在解码过程中，逆扫描(IS)过程将解码的一维阵列转换为二维阵列以便进一步处理。MPEG-4比特流的语法提供至少三个不同的逆扫描方法，具体是：交错扫描、隔行水平扫描以及隔行垂直扫描。比特流本身没有包含关于应当选择哪种逆扫描方法的信息。但是，适当的扫描方法的选择应当基于解码器中的当前以及相邻块的解码DC系数的值。还应当注意，预测方向判定(PDD)必须从先前解码的块F[n]获取DC值。执行PDD所确定的预测方向用于逆DC预测(IDCP)操作和逆AC预测(IACP)操作中。在这两种程序中，除了也被使用的QFA[n-1]之外，还需要先前解码的数据F[n-1]。
传统解码器的设计受到编码比特流中的高层数据相关性的限制，它导致一般采用依次解码范例。但是，这种传统的依次解码范例不易于扩展到多处理解码器设计，尤其是结合任意数量的处理元件、如三个或三个以上处理器的那些解码器设计。先前已经考虑了一些解码器，它们保留这种依次范例，同时采用根据传统操作分片方法的一对处理器。这些分片方法显著地妨碍了可实现的性能增益，因为在对实质上顺序操作分片中涉及的高运行开销的缘故。在尝试发展到超过两个处理器时，运行开销急剧增加，它实质上限制了有效增益。
包括AC预测之前的预测方向确定的当前解码方法还影响解码性能，尤其是逆AC预测可能执行的速度。视频比特流往往采用DC和AC系数来编码，这些DC和AC系数随DC和AC预测来确定，从而提供高效编码方法。例如，DC和AC系数用于MPEG-4视频比特流中的内部宏块。但是，在解码器侧，预测方向必须在逆预测操作中采用这些DC和AC系数之前确定，如图1所示。
对于DC或AC，预测方向根据待解码块周围的水平和垂直DC梯度的比较来获得。图2说明当前块X，其左方由块A围绕，左上方由块B围绕，以及上方由块C围绕。由F[0][0]表示的先前解码的块的逆量化DC值用于按照以下所述来确定DC和AC预测的方向：
如果(|FA[0][0]-FB[0][0]|＜|FB[0][0]-FC[0][0]|)
从块C预测
否则
从块A预测
自适应DC预测方法涉及响应如以上所确定的方向而对直接在先块的F[0][0]值或者来自前一行块中的正上方的块的F[0][0]值的选择。
如果(预测从块C进行）
QFX[0][0]＝PQFX[0][0]+FC[0][0]//dc_scalar
否则
QFX[0][0]＝PQFX[0][0]+FA[0][0]//dc_scalar
在上述关系中，值dc_scalar通过步长的量化来获得，它采用适当的水平邻近块A和垂直邻近块C对于宏块中的每个块单独重复进行。
为了预测由X表示的当前块的同点AC系数，从第一行或第一列、从先前编码块使用系数。当根据块进行分析时，DC系数预测的最佳垂直或水平方向还用来选择AC系数预测的方向。要理解，例如，变得能够独立于给定宏块中先前相邻的垂直和水平块来预测每个块。图3说明AC预测中采用的相邻块和系数。
因此，需要一种纹理解码方法及AC预测方法，它可有效地应用于多处理解码器系统环境。本发明满足那些以及其它需求，并解决了先前开发的纹理解码方法的缺点。
发明内容
根据本发明的一种用于对视频纹理信息解码的设备，包括：用于从视频比特流中执行数据宏块相关操作以及产生可对其执行其余数据无关结构化宏块操作的宏块的数据结构的部件；用于在所述解码器中相对视频对象执行数据无关操作的部件；以及，传送缓冲器，通过所述传送缓冲器，所述数据无关结构化宏块从用于执行数据相关操作的所述部件传递到用于执行数据无关宏块操作的所述部件。
根据本发明的一种用于对视频纹理信息的多处理器解码的设备，包括：第一处理元件，适合执行必须顺序执行的数据相关宏块解码操作；其中，所述第一处理器适合构建用于保持相对视频对象的数据无关宏块信息的数据结构；传送缓冲器，适合接收所述数据无关宏块信息；以及，至少两个宏块处理元件，在操作上连接到所述传送缓冲器，接收所述数据无关宏块信息，并在其中执行附加解码操作。
根据本发明的一种在多处理解码器中对纹理信息解码的方法，包括：对第一处理器中的以预定视频格式编码的比特流所提供的一组数据执行数据相关宏块操作；从所述执行的数据相关宏块建构宏块数据结构，以构成数据无关结构化宏块；将所述数据无关结构化宏块传送给附加处理器；在每个所述附加处理器中执行所述数据无关宏块；以及，从所述附加处理器输出解码视频块。
根据本发明的一种在可采用多个处理元件的解码器中对纹理信息解码的方法，包括：在单个子过程中处理数据相关纹理解码操作；产生数据无关结构化宏块数据，用于在一个或多个其它子过程中进行处理；将所述结构化宏块数据传递给所述一个或多个子过程；关于视频对象对所述宏块数据执行数据无关操作；以及，响应所述宏块数据的执行而产生纹理解码输出。
描述一种对纹理信息解码的方法，其中，解码操作分布在多个子过程之间。该方法极适合用于多处理解码器中，以及极适合于具有至少三个处理元件的配置。与传统的顺序解码范例不同，本方法认识到，根据操作在应用于给定宏块时是否与来自对其它宏块执行的操作的数据的使用相关，纹理解码操作可分离为两个一般类：数据相关操作和数据无关操作。本发明针对来自第一子过程中执行的所接收视频比特流的数据相关操作，而其余数据无关解码操作则导向附加子过程。
该方法一般涉及在第一处理器中执行对视频比特流的一组数据相关操作，随后再将数据无关结构宏块传送到完成解码过程的附加处理器。附加处理器执行数据无关宏块，以及向视频对象平面(VOP)提供输出。传送缓冲器最好用于将数据无关宏块从第一处理器传递到附加处理器。当这些宏块变为可用时，这些附加处理器的每个可根据可用处理带宽从传送缓冲器中独立检索宏块。解码在每个处理器中完成，其输出被导向视频对象平面(VOP)。根据本发明在多个处理器上划分解码操作可减少开销数量，并使开销损失实质上与所结合的处理元件的数量无关。
本发明的另一个方面涉及一种用于根据采用预测方向假设来执行快速AC预测、然后再进行后续解码操作的方法。预测方向在稍后确定，以及如果不匹配最初假定预测方向，则对数据执行转置操作。该方法极适合用于多处理环境。
虽然预测方向可预先确定或随机选择，但最好是假定预测方向根据考虑哪个方向在执行逆AC预测时使得开销减小来选择。简化考虑事项可涉及执行预测的电路的结构属性或者系统的类似属性。作为实例而不是限制，预测方向假定为给定方向、例如AC预测的系数可从顺序存储单元加载的方向。垂直预测通常允许从顺序存储单元中检索系数，其中，处理器中的指令周期的数量可显著减少。
本发明的方法可引起多处理解码器的显著性能提高，其中，第一处理器用于执行顺序(数据相关)解码操作，而多个附加处理器可有效地用于处理块级数据。预测方向确定(PDD)的延期允许多个解码操作被推迟，以便由多个处理器其中之一进行处理，其中整体解码速度可得到增强。
本发明的一个目的是提高视频解码器中的纹理解码速度。
本发明的另一个目的是减小视频解码器中的纹理解码速度与处理器速度之间的相关性。
本发明的另一个目的是提供一种纹理解码方法，它可在多处理解码器中有效地执行。
本发明的另一个目的是消除多处理解码器中的指令流分片的必要性。
本发明的另一个目的是在解码之前消除预先扫描视频比特流的必要性。
本发明的另一个目的是提供一种多处理解码器体系结构，其中，数据传送机制的选择是灵活的。
本发明的另一个目的是提供一种纹理解码方法，它适用于多种视频格式，包括含MPEG-4和H.263在内的传统格式。
本发明的另一个目的是提供增强的多处理解码器性能。
本发明的另一个目的是提供一种执行AC预测的方法，它可在视频解码器中更方便地执行。
本发明的另一个目的是提供一种推迟预测方向的计算、使得可由多处理解码器中的多个处理器其中之一来执行的方法。
本发明的其它目的和优点将在说明的以下部分公布，其中，详细描述是为了没有对其限制地全面公开本发明的优选实施例。
附图说明
通过参照以下仅用于说明性的附图，将更全面的理解本发明。
图1是对编码比特流执行纹理处理操作的传统解码器的框图。
图2是数据图，其中表示宏块中的当前块和一组相邻块。
图3是数据图，表示相对当前块的每个块中的AC系数的预测。
图4是根据本发明的一个实施例的解码器的框图，采用数据相关及数据无关操作的独立处理部分来表示。
图5是根据本发明的一个实施例的纹理解码方法的流程图，说明根据数据相关性的解码操作的分离。
图6是根据本发明的一个实施例的纹理解码的流程图，它说明在多个处理元件上分配的纹理解码操作。
图7是数据块的数据图，在其中，垂直预测方向相对存储器中的系数的位置来表示。
图8是指令列表，它说明根据本发明的一个方面的SIMD指令的使用，采用用于计算四个系数的两个指令来表示。
图9是数据块的数据图，在其中，水平预测方向相对存储器中的系数的位置来表示。
图10是根据本发明的一个方面的预测方法的流程图，其中，PDD假设之后跟随校正解码数据所需的后续PDD计算和变换。
图11是根据本发明的一个方面的解码器的框图，表示了在顺序处理器中执行解码和预测、之后跟随在多个块级处理器执行的块操作。
图12是根据本发明的一个方面的预测方法的框图，采用在多处理解码器的多个独立宏块处理器中执行的AC和DC预测来表示。
具体实施方式
更明确地参照附图，为了说明性目的，本发明以如图4至图12一般表示的设备来体现。要理解，不背离本文所公开的基本概念，该设备可相对于配置以及相对于零件的细节而变化，以及该方法可相对于特定步骤和序列变化。
描述纹理解码器和解码方法，它可在可包括任何任意数量的处理元件的多处理解码器中有效地实现。另外，根据采用预测方向(PDD)假设更方便地实现AC预测来描述AC预测方法，其中在PDD表明假设无效时稍后再对数据进行变换。通过采用本创造性方法，对于诸如MPEG-4或H.263格式所例示的任何基本上面向对象的视频格式执行的解码操作可分为数据相关及数据无关操作。在阐明数据相关性及无关性之间的区别时，应当理解，对给定宏块执行的数据相关操作要求收集来自其它宏块的附加暂时移位信息作为执行数据相关操作的条件。因此，数据相关操作是顺序相关的，并且在针对单独宏块时可能不会适当执行，例如可在多个非同步处理元件其中之一中来处理。因此，数据相关操作取决于来自先前或以后的宏块的信息的获取。这种关键区别的识别产生本发明中的体系结构，它为多处理器视频解码提供多个显著优点。
图4说明解码器10，在其中，第一子过程12在处理元件中实现，以及它通过传送缓冲器20向例如在附加处理元件中运行的附加子过程14、16、18进行传递，其输出被导向视频对象平面(VOP)22。示范实施例认为每个子过程在独立处理元件中运行，但是，要知道，这些子过程不需要具有与处理元件的一一对应，只要保持了根据本发明的数据相关性和数据无关性的分离。在第一处理元件中运行的第一子过程12在本文中称作VLD_EXTENDED过程，它被创建用来执行所有数据相关操作，包括框24的VLD、框26的PDD、框28的IS、框30的IDCP、框34的IACP、以及框36的宏块构建器MB。
由IDCP从先前解码块中要求的逆量化之后的DC值从子过程VLD_EXTENDED 12中提供。本发明中的每个操作基于块级的信息。但是，本发明包括宏块构建器36，它将解码首标和数据信息转换成数据结构的规则格式(regular format)，使得能够均匀地传送到最好是执行数据无关宏块的多个处理器。在此过程中得到的数据结构还可作进一步处理，而不依赖于来自其它数据结构的信息。子过程VLD_EXTENDED分配给处理器元件之一、在本文中称作第一处理元件，表示为VLD_EXTENDED_processor。应当理解，描述为在VLD_EXTENDED_processor中执行的VLD_EXTENDED过程或者也可在一个以上处理器元件上划分，例如执行根据功能或分片管理来划分，而没有背离本发明的教导。
用于在解码器中执行数据无关宏块的附加处理元件的每个在本文中称作MB_processor，它们在本例中表示为三个处理元件14、16、18，作为实例表示在附图中。在多处理解码器10的实施例中，子过程直接与配置成运行单过程的各处理元件关联，因而与其同义。
结构化数据由称作MB_processor的子过程VLD_EXTENDED产生。由于VLD_EXTENDED过程产生的无关宏块数据已经消除了数据相关性，因此这些数据块可由任何数量的单独MB_processor独立处理。另外，要知道，VLD_EXTENDED过程产生的数据块不需要以任何特定顺序来处理。因此，各MB_processor可在结构化数据变为可用时、例如在完成先前宏块的处理之后从传送缓冲器中对它进行提取。宏块处理器当足够的处理带宽在MB_processor中变为可用时检索可用宏块。应当知道，数据无关结构化宏块的数据无关性减少了由其它处理元件以预定顺序执行无关宏块的必要性。通过执行一系列操作，例如逆量化(IQ)的一部分(最好是AC部分)38、依靠变换系数的逆离散变换(IDCT)操作40、以及取决于诸如来自VOP存储器22等的存储视频对象平面(VOP)数据的运动补偿(MC)42，MB_processor执行数据无关操作以便完成视频比特流、如MPEG-4的解码。
图5说明本发明的纹理解码方法中的处理的流程，它将解码操作分为数据相关操作和数据无关操作，它们可单独应用于例如可在多处理解码器的处理元件中实现的不同子过程。数据相关纹理解码操作在单个子过程(VLD_EXTENDED)中按照框50来执行，以及结构化宏块数据在框52产生，以便在其它子过程(MC)中处理，它们在框54被传递到子过程。相对于视频对象平面(VOP)对宏块数据执行数据无关操作，如框56所示，以及在框58响应宏块数据的执行而产生纹理解码输出。
图6在更概括地说明包括在具有多个处理元件的解码器中执行的本方法的操作。按照框70，在第一处理器中对于以预定视频格式编码的比特流执行一组数据相关操作。数据无关结构化宏块到附加处理器的传送如框72所示。在各附加处理器中对数据无关宏块执行解码操作由框74表示。最后，在框76，解码视频块从附加处理器输出。虽然最少一个附加处理器可用于处理数据无关宏块，但最好是至少三个处理元件在本解码器的解码器中可用，以便增强解码器的吞吐量。
本发明的所述多处理解码器及方法提供多个优点。首先，由于不要求“分片”体系结构来获得多处理的速度效益，因此所述体系结构适用于各种编码标准、如MPEG-4和H.263。要知道，在本发明中不需要预先扫描，以及支持灵活的数据传送机制。因此，传送缓冲器可利用高速数据缓存来实现以提高性能，或者可由低成本外部存储器组合。不管所用的存储器体系结构，数据传送的所需开销为最小。要知道，仅要求VLD表的单个副本供VLD_EXTENDED_processor使用，而其它MB_processor则不需要VLD表中的信息。因此要知道，由于采用本创造性方法，因此显著降低了数据高速缓存要求，并且提高了整体性能。
执行纹理解码的先前所述的多处理解码器及方法可用来提供附加好处。下面描述首先执行逆扫描然后再通过改变计算PDD的方式来确定AC预测的方法。
如果预测方向为垂直，则当前块的第一行从上方块的第一行来预测，如图7中所示。要知道，如前面所述，垂直预测可按照下式进行：
QFX[i]＝C[i]+P[i]//dc_scalar  对于i＝0至7
图8是指令列表，它说明本发明可如何部署在结合单指令多数据(SIMD)指令的多媒体处理元件中的一个实例。要知道，为了实现高性能数据处理，多个多媒体处理器结合单指令多数据(SIMD)指令。这些SIMD处理器可响应单指令来处理多个数据元。当实施本创造性方法时，SIMD指令的使用可增强视频格式(包括MPEG-4和类似体系结构的那些)中的AC预测的性能。
注意，前面所述的AC预测操作对于总共十四个指令周期需要七次除法和七次加法。但是，通过利用如图8所示的SIMD指令，所需指令的数量显著减少。附图中SIMD指令的使用使得只有两个指令周期需要用于计算四个系数，其中，只有四个指令周期需要用于执行AC预测。上述实例假设六十四位寄存器用于SIMD指令，其中各系数使用十六位。应当知道，本发明提供重构计算序列以便允许它在多处理环境中有效执行、以及提供利用处理器特定速度增强的能力的方法，如以上针对基于SIMD的处理器所述。本领域的技术人员会知道，本发明可在各种处理器体系结构中实施，并且不限于SIMD或类似体系结构。
图9说明转置的使用。如果预测方向为水平，则当前块的第一列从左方块的第一列来预测。逆扫描通常在对预测方向进行判定之后执行。但是，本发明推迟进行预测方向确定(PDD)，而是进行关于预测方向的假设。假定最好根据哪个方向将降低计算复杂度来进行，例如与系数的优选顺序加载相关联。然后再根据假设对数据进行扫描，其中，隔行水平扫描将应用于假定的垂直预测方向。应当知道，隔行水平扫描变为隔行垂直扫描。考虑给定实例，其中假定预测方向为垂直，如果实际预测为水平，则处理数据的转置而不是实际数据。但是，误差可通过执行对结果的转置在稍后的处理级进行校正。根据降低处理器开销选择优选方向、在执行数据无关操作的多个处理元件其中之一中稍后进行校正的能力可提高多处理效率，以及允许优化操作的顺序，使得系数加载损失以及其它操作的低效率可减小或消除。
图10说明用于通过对解码块重新排序来提供更快速解码的本发明的方法中的一般步骤。在框90对于视频比特流的数据假设预测方向，而无需首先计算预测方向。然后，按照框92根据假定预测方向执行扫描。可选解码器操作也可根据假定预测方向来执行，如框94所示。实际预测方向在框96计算。如果最初假设正确，如在框98确定的那样，则不需要变换，以及解码器操作可继续进行。但是，如果假没是不正确的，则对数据执行转置，如框100所示，此后，附加解码操作可依次执行，如框102所表示，它可包括诸如IQ、IDCT、MC等等的操作。
图11例示本发明的解码器110，它首先执行逆扫描，然后在多处理解码器中稍后再确定AC预测，其中，第一处理元件112与多个宏块处理元件114、116、118和120连接。用于在第一处理器元件与其余处理器元件之间传递数据无关宏块的传送缓冲器或者其它传送机制没有示出，但大家会知道，可采用任何传统形式的缓冲，例如传统的双缓冲。
说明实施例中的操作顺序，通过框122的VLD操作接收编码的MPEG-4视频流，其输出为OFS[n]，在框124对其进行隔行水平扫描以产生POF[n]。框124的输出经过接收来自前面框OFA[n-1]的信息的框126的逆AC预测操作，以及也经过接收来自先前框F[n-1]的信息的框128的逆DC预测操作。对数据的数据相关操作这时已经执行，以及数据OFA[n]被传递给宏块处理元件其中之一，例如表示为114、116、118或120的四个处理器元件其中之一。要知道，任何数量的宏块处理器元件可用来适合给定应用中的处理。为了提供有效的操作，一般优选至少两个宏块处理元件。
预测方向判定在宏块处理元件114中的框130执行，以及确定先前方向假设是否有效。如果方向判定为无效，则在框134的逆量化(IQ)之前在框132对数据执行转置。数据F[n]则经过框136的逆离散变换(IDCT)，其输出f[n]相对框140的视频对象平面(VOP)存储器进行框138的运动补偿(MC)处理。
预测方向判定(PDD)130可在附图中看到出现在框126的AC预测之后。因此，AC预测可根据假定方向执行。在先前实例之后，如果实际预测方向结果弄清为垂直，则对结果进行转置。本解码方法在用于所述多处理器解码器体系结构时极为有益。附图中的一个处理器表示为配置用于主要执行顺序过程，而附加处理器配置成执行宏块或块级处理。要知道，本领域的技术人员或者也可将用于执行顺序操作的处理器实现为少量处理器元件，它们以与单处理器类似的方式工作，并共享单指令流，例如通过传统分片操作。
考虑处理MPEG-4视频流的实例，主要执行顺序指令的处理器继续对可变长代码解码，并执行处理，其结果将在块级影响后续解码级，以及创建数据无关数据结构供进一步处理。所得数据无关数据结构被传送给其它处理器，在其中执行附加解码处理，例如逆量化(IQ)、逆离散变换(IDCT)操作以及运动补偿(MC)操作。要知道，本方法是可伸缩的，因为它没有限制用于处理宏块的处理器的数量。给定任何数量的宏块处理元件，多处理解码器系统中的整体解码速度因而通常受到用于顺序处理的处理器的速度的限制，降低顺序处理器的工作负荷将是最重要的考虑事项。
图12说明具有第一处理器152或等效物的解码器150，第一处理器152处理例示为VLD 122的数据相关操作以及扫描124，并将数据无关数据结构、如宏块传递给例示为四个处理元件154、156、158和160的一组数据无关处理元件。数据无关宏块的构建以及宏块传送机制在附图中没有示出。本解码器还采用将预测方向推迟到稍后级的所述方法。但是，解码器150配置成另外还推迟逆AC预测126以及逆DC预测128的执行，从而允许将计算负荷从顺序数据相关处理元件152转移给数据无关的多个处理元件，例如154、156、158、160。如前面所述，提供DC和AC预测所需的计算涉及许多算术运算，其中包括超长的除法运算。数据无关操作表示为包括逆AC预测(IACP)126、逆DC预测128、替换先前假设的预测方向判定(PDD)计算130、校正不正确假设所需的数据转置132、逆量化134、逆离散变换(IDCT)以及表示为相对视频对象平面140执行的运动补偿(MC)138。本创造性方法允许将这些超长的计算转移到其数量可根据需要增加的数据无关宏块处理器，从而提供预期的性能等级。
因此将会看到，本发明提供一种用于在多处理解码器中执行实时纹理解码的方法，它可采用本领域的技术人员非常清楚的众多变化来实现。具体来说，大家知道，描述为包括PDD、IS、IDCP和IACP的数据相关操作的所述集合可由本领域的技术人员进行改变或进一步划分，而没有背离本发明的教导。另外，将会看到，本发明描述一种用于执行涉及AC和DC预测的解码操作的方法。该方法例示为与MPEG-4比特流和一组解码操作配合使用，但是，大家知道，本发明的教导可由本领域的技术人员应用于其它面向对象的视频格式，以及根据在稍后级根据需要进行校正的预测方向的有利假设方便地执行逆AC预测的能力具有广泛的适用性应用。
虽然以上描述包含许多具体细节，但它们不应当被视作限制本发明的范围，而只是提供对本发明的当前优选实施例的部分的说明。因此，大家知道，本发明的范围完全包含对于本领域的技术人员可变得非常明显的其它实施例，以及本发明的范围只是相应地受到所附权利要求书的限制，其中，如果没有明确说明，以单数形式提到某个元件不是要表示“唯一的一个”，而是表示“一个或多个”。本领域的技术人员已知的上述优选实施例的元件的所有结构、化学和等效体通过引用明确地结合于此，并且意在包含于本权利要求书中。此外，不需要装置或方法针对通过本发明要解决的每个问题，因为它将包含在本权利要求书中。另外，本公开中没有元件、组件或方法步骤意在专用于公开场合，无论元件、组件或方法步骤是否在权利要求书中明确说明。本文中没有权利要求的元件依据35U.S.C.§112第六部分的条款进行解释，除非该元件采用词组“用于...装置”明确说明。

Claims (39)

1.一种用于对视频纹理信息解码的设备，包括：
用于从视频比特流中执行数据宏块相关操作以及产生可对其执行其余数据无关结构化宏块操作的宏块的数据结构的部件；
用于在解码器中相对视频对象平面执行数据无关宏块操作的部件；以及
传送缓冲器，通过所述传送缓冲器，所述数据无关结构化宏块从用于执行数据相关宏块操作的所述部件传递到用于执行数据无关宏块操作的所述部件。
2.如权利要求1所述的设备，其中，用于执行数据相关宏块操作的所述部件包括适合于执行解码操作的处理元件。
3.如权利要求2所述的设备，其中，用于执行数据相关宏块操作的所述部件执行从所述数据解码操作中选取的一个或多个数据相关解码操作，所述数据解码操作包括可变长解码VLD、预测方向判定PDD、逆扫描IS、逆DC预测IDCP、逆量化IQ、逆AC预测IACP、逆DC预测IDCP以及宏块构建MB。
4.如权利要求3所述的设备，其中，所述宏块构建将所解码首标和数据信息转换成数据结构的规则格式，其可传送到对所述数据执行数据无关宏块操作的多个处理器。
5.如权利要求1所述的设备，其中，用于执行数据相关宏块操作的所述部件包括适合于执行可变长解码VLD的处理元件，以及通过计算或通过假设达到预测方向判定PDD，随后逆扫描。
6.如权利要求1所述的设备，其中，用于执行数据无关宏块操作的所述部件包括适合于根据数据无关宏块结构执行解码操作的宏块处理元件。
7.如权利要求6所述的设备，其中，所述宏块处理元件执行从数据操作中选取的一个或多个数据无关解码操作，所述数据操作包括预测方向判定PDD、数据转置、逆AC预测IACP、逆DC预测IDCP、逆量化IQ、逆离散变换IDCT以及运动补偿MC。
8.如权利要求6所述的设备，其中，所述宏块处理元件适合计算预测方向判定PDD，采用数据转置操作来校正预测方向假设误差，计算逆量化IQ，计算逆离散变换IDCT，以及执行运动补偿MC。
9.如权利要求1所述的设备，其中，所述设备包括至少两个执行用于提高解码器吞吐量的数据无关宏块操作的所述部件。
10.一种用于对视频纹理信息的多处理器解码的设备，包括：
第一处理器，适合执行必须顺序执行的数据相关宏块解码操作；
其中，所述第一处理器适合构期于保持相对视频对象的数据无关宏块信息的数据结构；
传送缓冲器，适合接收所述数据无关宏块信息；以及
至少两个宏块处理元件，在操作上连接到所述传送缓冲器，接收所述数据无关宏块信息，并在其中相对视频对象平面执行数据无关宏块操作。
11.如权利要求10所述的设备，其中，所述数据相关宏块解码操作包括对给定宏块执行的操作，所述操作要求收集来自其它宏块的附加暂时移位信息作为执行所述数据相关宏块操作的条件，因此必须顺序进行处理。
12.如权利要求10所述的设备，其中，所述适于构建用于保持数据无关宏块信息的数据结构包括宏块构建器，它将解码首标和数据信息转换成数据结构的规则格式，用于传送给多个处理器。
13.如权利要求12所述的设备，其中，所述数据结构不要求所述多个处理器中的顺序处理。
14.一种在多处理解码器中对纹理信息解码的方法，包括：
对第一处理器中的以预定视频格式编码的比特流所提供的一组数据执行数据相关宏块操作；
从所述执行的数据相关宏块建构宏块数据结构，以构成数据无关结构化宏块；
将所述数据无关结构化宏块传送给附加处理器；
在每个所述附加处理器中相对视频对象平面执行数据无关宏块操作；以及
从所述附加处理器输出解码视频块。
15.如权利要求14所述的方法，其中，所述传送包括：
将所述数据无关结构化宏块载入传送缓冲器；以及
当执行带宽可用时，由所述附加处理器其中之一提取所述数据无关结构化宏块其中之一。
16.如权利要求15所述的方法，其中，所述数据无关结构化宏块的所述数据无关性减少了由所述附加处理器顺序执行所述无关宏块的必要。
17.如权利要求14所述的方法，
其中，所述数据相关宏块操作包括以假设方式进行预测方向判定PDD；
其中，在稍后执行包含于所述数据无关操作中的预测方向判定(PDD)时，根据需要采用变换来校正所述假设。
18.如权利要求14所述的方法，其中，所述数据相关宏块操作包括逆扫描IS，在其中，一维解码器阵列被转换为二维阵列用于进一步处理。
19.如权利要求14所述的方法，其中，所述数据相关宏块操作包括逆DC预测IDCP，在其中，来自所述预测方向判定(PDD)的预测方向用于进行所述DC预测。
20.如权利要求14所述的方法，其中，所述数据相关宏块操作包括逆AC预测IACP，在其中，来自所述预测方向判定PDD的预测方向用于进行所述AC预测。
21.如权利要求14所述的方法，其中，所述附加处理器包括至少两个用于执行所述数据无关宏块的处理元件。
22.如权利要求14所述的方法，其中，所述数据相关宏块操作包括预测方向判定PDD或预测方向假设、逆扫描IS、逆DC预测IDCP以及逆AC预测IACP。
23.如权利要求14所述的方法，其中，所述数据相关宏块操作包括取决于来自先前解码块的解码DC值的DC逆量化IQ-DC。
24.如权利要求14所述的方法，其中，所述数据无关宏块操作包括所述逆量化IQ操作的一部分。
25.如权利要求24所述的方法，其中，所述逆量化IQ操作的所述部分包括AC逆量化IQ-AC。
26.如权利要求14所述的方法，其中，所述数据无关宏块操作包括逆离散变换IDCT操作，其中，系数用于所述变换操作。
27.如权利要求14所述的方法，其中，所述数据无关宏块操作包括取决于所存储视频对象平面数据的运动补偿MC。
28.如权利要求14所述的方法，其中，所述比特流以面向对象的格式来编码。
29.如权利要求28所述的方法，其中，所述比特流以MPEG-4视频格式来编码。
30.如权利要求28所述的方法，其中，所述比特流以H.263视频格式来编码。
31.一种在可采用多个处理元件的解码器中对纹理信息解码的方法，包括：
在单个子过程中处理数据相关纹理解码操作；
产生数据无关结构化宏块数据，用于在一个或多个其它子过程中进行处理；
将所述结构化宏块数据传递给所述一个或多个子过程；
关于视频对象平面对所述宏块数据执行数据无关宏块操作；以及
响应所述宏块数据的执行而产生纹理解码输出。
32.如权利要求31所述的方法，其中，所述数据相关纹理解码操作包括一种操作，所述一种操作在针对第一宏块时要求从另一个宏块获取附加信息以完成所述一种操作。
33.如权利要求32所述的方法，其中，所述另一个宏块包括从所述第一宏块暂时移位的宏块。
34.如权利要求31所述的方法，其中，所述子过程的每个在所述解码器中的独立处理元件上执行。
35.如权利要求31所述的方法，其中，所述数据相关宏块子过程在单个处理元件中执行。
36.如权利要求31所述的方法，其中，在其中实现所述方法的所述解码器配置了至少三个处理元件。
37.如权利要求31所述的方法，其中，所述比特流以面向对象的格式来编码。
38.如权利要求37所述的方法，其中，所述比特流以MPEG-4视频格式来编码。
39.如权利要求37所述的方法，其中，所述比特流以H.263视频格式来编码。
CN2003801028926A 2002-11-13 2003-11-12 多处理器环境的实时mpeg-4纹理解码的设备和方法 Expired - Fee Related CN1729690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/294,925 US6931061B2 (en) 2002-11-13 2002-11-13 Method of real time MPEG-4 texture decoding for a multiprocessor environment
US10/294,925 2002-11-13
PCT/US2003/036314 WO2004045079A2 (en) 2002-11-13 2003-11-12 Method of real time mpeg-4 texture decoding for a multiprocessor environment

Publications (2)

Publication Number Publication Date
CN1729690A CN1729690A (zh) 2006-02-01
CN1729690B true CN1729690B (zh) 2010-05-26

Family

ID=32229822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2003801028926A Expired - Fee Related CN1729690B (zh) 2002-11-13 2003-11-12 多处理器环境的实时mpeg-4纹理解码的设备和方法

Country Status (7)

Country Link
US (2) US6931061B2 (zh)
EP (3) EP2416573A3 (zh)
JP (2) JP4524188B2 (zh)
KR (1) KR100974983B1 (zh)
CN (1) CN1729690B (zh)
AU (1) AU2003290861A1 (zh)
WO (1) WO2004045079A2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US6931061B2 (en) * 2002-11-13 2005-08-16 Sony Corporation Method of real time MPEG-4 texture decoding for a multiprocessor environment
US20050232350A1 (en) * 2004-03-30 2005-10-20 Mana Hamada Inverse prediction apparatus and decoding apparatus using the same
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
JP4491295B2 (ja) * 2004-07-22 2010-06-30 キヤノン株式会社 画像再生方法及び画像再生装置
KR101108681B1 (ko) * 2005-01-19 2012-01-25 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
JP4502203B2 (ja) 2005-03-17 2010-07-14 ルネサスエレクトロニクス株式会社 画像符号化装置、及び画像復号化装置
CN101185335B (zh) * 2005-04-22 2010-06-23 Nxp股份有限公司 高效视频解码加速器
US20060256854A1 (en) * 2005-05-16 2006-11-16 Hong Jiang Parallel execution of media encoding using multi-threaded single instruction multiple data processing
KR100654601B1 (ko) 2005-10-06 2006-12-08 주식회사 휴맥스 통합 코덱 장치 및 방법
US8000388B2 (en) 2006-07-17 2011-08-16 Sony Corporation Parallel processing apparatus for video compression
KR101520027B1 (ko) 2007-06-21 2015-05-14 삼성전자주식회사 움직임 추정 방법 및 장치
US20090010326A1 (en) * 2007-07-05 2009-01-08 Andreas Rossholm Method and apparatus for parallel video decoding
CN100591139C (zh) * 2007-09-30 2010-02-17 四川长虹电器股份有限公司 双核视频解码器解码任务分配方法
EP2290985B1 (en) * 2008-06-10 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus and image coding apparatus
KR101292668B1 (ko) * 2009-10-08 2013-08-02 한국전자통신연구원 멀티프로세서기반의 영상 복호화 장치 및 방법
KR101656881B1 (ko) * 2010-02-01 2016-09-12 삼성전자주식회사 데이터 처리 장치 및 방법
KR101219220B1 (ko) * 2010-10-20 2013-01-08 성균관대학교산학협력단 병렬 부호화를 위한 데이터 파티션 방법 및 이를 수행하는 프로그램을 기록한 기록매체
US8990351B2 (en) * 2011-04-20 2015-03-24 Mobitv, Inc. Real-time processing capability based quality adaptation
US10728575B2 (en) 2011-06-07 2020-07-28 Interdigital Vc Holdings, Inc. Method for encoding and/or decoding images on macroblock level using intra-prediction
CN104053000B (zh) * 2013-03-15 2018-12-25 英特希尔美国公司 使用平行译码路径的视频压缩（vc-2）译码
US9241163B2 (en) * 2013-03-15 2016-01-19 Intersil Americas LLC VC-2 decoding using parallel decoding paths

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154631A (zh) * 1995-04-14 1997-07-16 株式会社东芝 图象解码装置
US6385242B1 (en) * 1998-05-04 2002-05-07 General Instrument Corporation Method and apparatus for inverse quantization of MPEG-4 video

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02250581A (ja) * 1989-03-24 1990-10-08 Matsushita Electric Ind Co Ltd 映像信号の高能率符号化方法
US5001559A (en) * 1989-10-12 1991-03-19 International Business Machines Corporation Transform coding using coefficient prediction techniques
US5289577A (en) * 1992-06-04 1994-02-22 International Business Machines Incorporated Process-pipeline architecture for image/video processing
US5699460A (en) * 1993-04-27 1997-12-16 Array Microsystems Image compression coprocessor with data flow control and multiple processing units
US5754457A (en) * 1996-03-05 1998-05-19 Intel Corporation Method for performing an inverse cosine transfer function for use with multimedia information
US5737451A (en) * 1996-04-10 1998-04-07 Eastman Kodak Company Method and apparatus for suppressing blocking artifacts in block-transform coded images
US5818532A (en) * 1996-05-03 1998-10-06 Lsi Logic Corporation Micro architecture of video core for MPEG-2 decoder
ES2170744T3 (es) * 1996-05-28 2002-08-16 Matsushita Electric Ind Co Ltd Dispositivo de prediccion y de decodificado de imagen.
JP4166305B2 (ja) * 1996-09-20 2008-10-15 エイ・ティ・アンド・ティ・コーポレーション ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
KR100346728B1 (ko) * 1996-09-21 2002-10-12 삼성전자 주식회사 이산코사인변환의 dc 계수예측방법 및 이를 이용한 데이터 부호화방법
KR100346740B1 (ko) * 1996-09-21 2002-09-18 삼성전자 주식회사 이산코사인변환계수예측방법
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100239349B1 (ko) * 1996-12-20 2000-01-15 구자홍 역이산 코사인 변환기의 데이타 포멧 변환 회로
JP3235555B2 (ja) * 1997-05-14 2001-12-04 日本電気株式会社 信号復号装置及び信号復号方法並びに信号復号処理をコンピュータに行わせるためのプログラムを記録した記録媒体
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
EP1114395A1 (en) * 1998-06-19 2001-07-11 Equator Technologies, Inc. Decoding an encoded image having a first resolution directly into a decoded image having a second resolution
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
US6819803B2 (en) * 2001-07-02 2004-11-16 International Business Machines Corporation Faster lossless rotation of JPEG images
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100429020B1 (ko) * 2002-02-05 2004-04-29 (주)씨앤에스 테크놀로지 Ｍｐｅｇ－４ 영상의 복호 방법
US7376280B2 (en) * 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
US7379956B2 (en) * 2002-07-14 2008-05-27 Apple Inc. Encoding and decoding data arrays
US6931061B2 (en) * 2002-11-13 2005-08-16 Sony Corporation Method of real time MPEG-4 texture decoding for a multiprocessor environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1154631A (zh) * 1995-04-14 1997-07-16 株式会社东芝 图象解码装置
US6385242B1 (en) * 1998-05-04 2002-05-07 General Instrument Corporation Method and apparatus for inverse quantization of MPEG-4 video

Also Published As

Publication number Publication date
US20050238097A1 (en) 2005-10-27
WO2004045079A3 (en) 2005-02-10
KR100974983B1 (ko) 2010-08-09
US6931061B2 (en) 2005-08-16
JP2006506856A (ja) 2006-02-23
EP2416574A2 (en) 2012-02-08
US20040091052A1 (en) 2004-05-13
EP1561345A2 (en) 2005-08-10
EP1561345A4 (en) 2010-01-20
AU2003290861A8 (en) 2004-06-03
EP2416573A2 (en) 2012-02-08
EP2416574A3 (en) 2014-04-09
AU2003290861A1 (en) 2004-06-03
CN1729690A (zh) 2006-02-01
JP4950272B2 (ja) 2012-06-13
JP2010063191A (ja) 2010-03-18
KR20050086623A (ko) 2005-08-30
JP4524188B2 (ja) 2010-08-11
US7724820B2 (en) 2010-05-25
WO2004045079A2 (en) 2004-05-27
EP2416573A3 (en) 2014-04-09

Similar Documents

Publication Publication Date Title
CN1729690B (zh) 多处理器环境的实时mpeg-4纹理解码的设备和方法
CN1312938C (zh) 用于解码可变长度编码位流的方法和设备
Zhou et al. Implementation of H. 264 decoder on general-purpose processors with media instructions
KR100636225B1 (ko) 비디오 코딩시 정수 변환 행렬 선택 방법 및 관련 정수 변환 방법
KR100952861B1 (ko) 디지털 비디오 데이터 처리
KR100723411B1 (ko) 멀티 코덱용 변환 장치 및 방법과 멀티 코덱용 역변환 장치및 방법
JP2005269657A (ja) ビデオコーディング時、整数変換行列の選択方法及び関連整数の変換方法
CN104967857A (zh) 对图像进行编码/解码的方法和设备
CN100555253C (zh) 利用快速搜索块匹配的运动估计
CN1825964B (zh) 片上处理视频数据的方法和系统
CN113382265B (zh) 视频数据熵编码硬件实现方法、设备、介质及程序产品
CN102404561A (zh) 在cuda上实现mpeg4i帧编码的方法
JP2009170992A (ja) 画像処理装置およびその方法、並びにプログラム
Sayadi et al. CUDA memory optimisation strategies for motion estimation
CN106954070B (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器及方法
CN104602026B (zh) 一种适用于hevc标准下编码器中全复用的重建环路结构
TWI468015B (zh) 視訊解碼的平行處理裝置及方法
US9330060B1 (en) Method and device for encoding and decoding video image data
Araar et al. Low complexity image compression using pruned 8-point DCT approximation in wireless visual sensor networks
US20090201989A1 (en) Systems and Methods to Optimize Entropy Decoding
US6742010B1 (en) Dual-block discrete consine transform method
Choi et al. Real-time DSP implementation of motion-JPEG2000 using overlapped block transferring and parallel-pass methods
US20120051437A1 (en) Reducing reference frame data store bandwidth requirements in video decoders
CN116389740A (zh) 一种基于risc-v指令集的hevc视频编码器重构模块变换方法
Yao et al. Design of embedded electronic video processing system based on DM6467

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526