JP2008532405A - Adaptive fallback system for MPEG decoder - Google Patents

Adaptive fallback system for MPEG decoder Download PDF

Info

Publication number
JP2008532405A
JP2008532405A JP2007557605A JP2007557605A JP2008532405A JP 2008532405 A JP2008532405 A JP 2008532405A JP 2007557605 A JP2007557605 A JP 2007557605A JP 2007557605 A JP2007557605 A JP 2007557605A JP 2008532405 A JP2008532405 A JP 2008532405A
Authority
JP
Japan
Prior art keywords
mpeg
video stream
encoded video
decoder
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007557605A
Other languages
Japanese (ja)
Inventor
ゲラルド ウィレム ヤンセン ヨハン
ファレル ピンクストン ジーン
フィンク トルステン
マイ グンテル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NXP BV filed Critical NXP BV
Publication of JP2008532405A publication Critical patent/JP2008532405A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

適応的なフォールバックアーキテクチャにおける方法及び装置は、ＭＰＥＧデコーダが、例えば、ＭＰＥＧデコードの計算、メモリ記憶、及び／又はメモリ帯域幅要件を減少するための動作のモードに切り換えられる又は前記動作のモードから切り換えられることができる（２０８）ときの決定を可能にするように、ＭＰＥＧエンコードされたビデオストリームのプレパーズ（２０４）を提供する。プレパーサ１０４は、ＭＰＥＧストリームの一部のデコードの前に、前記ＭＰＥＧストリームにおける動きベクトルの量、種類、及び長さの少なくとも１つを評価し（３０４）、ＭＰＥＧデコーダ（１０６）への通信のための少なくとも１つの制御信号を生成し、ＭＰＥＧデコーダ（１０６）は、前記少なくとも１つの制御信号に応じて、所定のしきい値よりも下であるピークメモリ帯域幅要件を提供するデコードモードに切り換わる。  The method and apparatus in an adaptive fallback architecture allows an MPEG decoder to be switched to or from a mode of operation, for example, to reduce MPEG decoding computation, memory storage, and / or memory bandwidth requirements. A pre-parse (204) of the MPEG-encoded video stream is provided to allow a determination when it can be switched (208). The preparser 104 evaluates (304) at least one of the amount, type, and length of motion vectors in the MPEG stream prior to decoding a portion of the MPEG stream for communication to the MPEG decoder (106). And at least one control signal is generated, and the MPEG decoder (106) switches to a decode mode that provides a peak memory bandwidth requirement that is below a predetermined threshold in response to the at least one control signal. .

Description

本発明は、一般には、ＭＰＥＧエンコードされた入力ストリームのデコードに関し、より詳細には、ＭＰＥＧデコードのタスクの少なくとも一部に対する計算及びメモリ要件を減少する方法及び装置に関する。   The present invention relates generally to decoding MPEG-encoded input streams, and more particularly to a method and apparatus for reducing computation and memory requirements for at least some of the MPEG decoding tasks.

半導体技術及びデジタルシステムアーキテクチャにおける進歩は、計算能力を大幅させると同時に、前記のような計算能力のコストを減少してきた。低コスト高パフォーマンスの計算リソースは、幅広い様々な民生用電子製品の実施化を可能にしてきた。   Advances in semiconductor technology and digital system architecture have increased computational power while reducing the cost of such computational power. Low cost, high performance computing resources have enabled the implementation of a wide variety of consumer electronic products.

一般的な民生用電子製品の間で、ビデオデータを表示すると共に、典型的には音声も再生することができるものがある。前記民生用電子製品は、例えば、ワイヤレス伝送によって、又は予め記録されたビデオデータを検索することによって、表示されるべきビデオデータを受け取ることができる。ビデオデータに関して、ビデオデータの圧縮と解凍に関する様々な産業規格仕様が、開発されている。前記ビデオデータの圧縮及び解凍は、それぞれ符号化及びデコードともしばしば称される。記憶及び／又は伝送用にビデオデータを圧縮することにより、そうでない場合に必要とされる記憶及び伝送容量の量が、減少されることができる。音声／ビデオ圧縮及び解凍のために最も一般に使用されている規格のファミリーの一つは、ＭＰＥＧと称されるものである。   Some common consumer electronic products are capable of displaying video data and typically playing back audio. The consumer electronic product can receive video data to be displayed, for example, by wireless transmission or by retrieving pre-recorded video data. With respect to video data, various industry standard specifications for video data compression and decompression have been developed. The compression and decompression of the video data is often referred to as encoding and decoding, respectively. By compressing video data for storage and / or transmission, the amount of storage and transmission capacity that would otherwise be required can be reduced. One of the most commonly used standards for audio / video compression and decompression is what is referred to as MPEG.

ＭＰＥＧ圧縮（即ちエンコード）は、ビデオ信号を単純にデジタル化することにより、元のビデオ信号が必要としていたものよりも少量のデータによって前記ビデオ信号を表すように、入力ビデオ信号に対して複数の変換を実施する。ＭＰＥＧエンコードは、典型的にはフレームからフレームへと、前記フレームの全てのデータが変化するよりも少なく、データが変化する事実を利用している。フレーム間の様々な変化は、ベース画像フレームに適用される動きベクトルとしてエンコードされることができる。ＭＰＥＧデコードは、本質的には、元のビデオ入力を再生するように、前記のようなエンコード過程を逆行するものである。   MPEG compression (i.e., encoding) is a multiple digitization of an input video signal so that the video signal is represented by a smaller amount of data than the original video signal needed by simply digitizing the video signal. Perform the conversion. MPEG encoding takes advantage of the fact that data changes from frame to frame, typically less than all the data in the frame changes. Various changes between frames can be encoded as motion vectors applied to the base image frame. MPEG decoding essentially reverses the encoding process as described above to reproduce the original video input.

ＭＰＥＧデコードに必要な計算、メモリ記憶及びメモリ帯域幅のリソースの要件は、かなり重要である。   The computational, memory storage and memory bandwidth resource requirements necessary for MPEG decoding are quite important.

求められているのは、ＭＰＥＧデコードに必要な、必要とされる前記計算、メモリ記憶及びメモリ帯域幅のリソースうちの１つ以上を、たとえ一時的にであっても、減少する方法及び装置である。   What is needed is a method and apparatus for reducing one or more of the required computational, memory storage and memory bandwidth resources required for MPEG decoding, even temporarily. is there.

即ち、適応的なフォールバックアーキテクチャにおいて、ＭＰＥＧエンコードされたビデオストリームのプレパーズによって、例えば、ＭＰＥＧデコードの、計算、メモリ記憶及び／又はメモリ帯域幅の要件を減少するように、ＭＰＥＧデコーダが、動作のモードに切り換えられる又は動作のモードから切り換えられることができるときを決定することができる。プレパーサは、ＭＰＥＧストリームの一部をデコードする前に、該ＭＰＥＧストリーム内の動きベクトルの量、種類及び長さの１つ以上を評価し、ＭＰＥＧデコーダへの通信のための少なくとも１つの制御信号を生成し、該ＭＰＥＧデコーダは、前記少なくとも１つの制御信号に応じて、所定のしきい値よりも低いピークメモリ帯域幅要件を提供するデコードモードに切り換わる。   That is, in an adaptive fallback architecture, an MPEG decoder operates in a manner that reduces the computational, memory storage and / or memory bandwidth requirements of MPEG decoding, for example, by preparsing an MPEG encoded video stream. It can be determined when the mode can be switched to or from the mode of operation. The preparser evaluates one or more of the amount, type, and length of motion vectors in the MPEG stream before decoding a portion of the MPEG stream and provides at least one control signal for communication to the MPEG decoder. Generating and switching to a decoding mode that provides a peak memory bandwidth requirement lower than a predetermined threshold in response to the at least one control signal.

概ね、本発明は、ＭＰＥＧビデオストリームのデコードの少なくとも一部の間、前記ＭＰＥＧビデオストリームの様々なパラメータに依存して、ＭＰＥＧデコードのためのシステム負荷を減少する装置及び方法に関する。より詳細には、本発明は、ＭＰＥＧデコード過程が、ＭＰＥＧデコーダに、所定のピークメモリ帯域幅のような限界を超えるように要求することがないように、前記ＭＰＥＧデコードの過程を動的に適応化させる方法及び装置に関する。   In general, the present invention relates to an apparatus and method for reducing system load for MPEG decoding, depending on various parameters of the MPEG video stream, during at least part of the decoding of the MPEG video stream. More particularly, the present invention dynamically adapts the MPEG decoding process so that the MPEG decoding process does not require the MPEG decoder to exceed a limit such as a predetermined peak memory bandwidth. The present invention relates to a method and an apparatus.

本明細書における「一実施例」、「実施例」又は「類似の定式化」とは、前記のような実施例と関連して記載されている特定のフィーチャ、構造、動作又は特性を意味し、本発明の実施例の少なくとも１つに含まれている。従って、本明細書における前記のような語句又は定式化の出現は、必ずしも全て同じ実施例を参照しているわけではない。更に、様々な特定のフィーチャ、構造、動作又は特性が、１つ以上の実施例において、何らかの適切な態様で組み合わされることができる。   As used herein, “one embodiment”, “example” or “similar formulation” means a particular feature, structure, operation or characteristic described in connection with such an embodiment. Included in at least one of the embodiments of the present invention. Thus, the appearances of the phrases or formulations as described above in this specification are not necessarily all referring to the same embodiment. Moreover, various specific features, structures, operations or characteristics may be combined in any suitable manner in one or more embodiments.

ＭＰＥＧビデオストリームをデコードする際、前記計算、メモリ記憶及びメモリ帯域幅の要件は、前記ＭＰＥＧストリームの内容に大きく依存する。前記のようなストリームにおける前方を見ることによって、前記要件に関する情報が、実際のＭＰＥＧデコードが行われる前に判断されることができる。この情報は、前記システム負荷（例えば、計算、メモリ記憶及びメモリ帯域幅）を一時的に減少するために、ＭＰＥＧデコーダ内に組み込まれることができる又はＭＰＥＧデコーダ内に設けられることができるフォールバックモードを、オン／オフに動的に切り換えるのに使用されることができる。   When decoding an MPEG video stream, the computation, memory storage and memory bandwidth requirements are highly dependent on the content of the MPEG stream. By looking ahead in such a stream, the information about the requirement can be determined before the actual MPEG decoding is performed. This information can be embedded in an MPEG decoder or can be provided in an MPEG decoder to temporarily reduce the system load (eg, computation, memory storage and memory bandwidth). Can be used to dynamically switch on / off.

フォールバックシナリオ、又は動作モードは、前記システムに対する負荷を減少する近道を提供するために、ＭＰＥＧデコーダ内に設けられることができる。これらの近道は、主にソフトウェアのＭＰＥＧデコーダにおいて使用されている。しかしながら、前記ＭＰＥＧデコーダは、前記ＭＰＥＧデコーダのシステムに対して到来する負荷を判定するように、到来するビデオストリームをプレパーズしていない。   A fallback scenario, or mode of operation, can be provided in the MPEG decoder to provide a shortcut to reduce the load on the system. These shortcuts are mainly used in software MPEG decoders. However, the MPEG decoder does not pre-parse the incoming video stream so as to determine the incoming load on the MPEG decoder system.

本発明の実施例は、ＭＰＥＧストリームにおける前方を見ると共に、次いで、フォールバックシナリオが前記ＭＰＥＧデコーダにおいて稼動されるべきかどうかを、ＭＰＥＧストリームの１つ以上のシステムパラメータの値に依存して決定する機能を含んでいる。本発明によって提供される前方を見る（即ち、プレパーズする）前記機能がない場合、前記ＭＰＥＧデコーダにおける動作のフォールバックモードへ切り換わるための決定は、いくつかのパラメータについて、常に、遅すぎるであろう（例えば、帯域幅が、調整される必要がある場合）。   Embodiments of the present invention look ahead in the MPEG stream and then determine whether a fallback scenario should be run in the MPEG decoder, depending on the value of one or more system parameters of the MPEG stream. Includes functionality. In the absence of the forward looking (ie preparsing) function provided by the present invention, the decision to switch to the fallback mode of operation in the MPEG decoder is always too slow for some parameters. Wax (for example, if the bandwidth needs to be adjusted).

使用される際、本発明の実施例は、典型的には、ＭＰＥＧストリームの受信と、前記動きベクトルを調べるための前記ＭＰＥＧストリームのプレパーズと、前記動きベクトルの量、種類及び長さに、少なくとも部分的に基づく、前記ＭＰＥＧデコーダが所与のピクチャ又はピクチャの一部のために消費する前記ピークメモリ帯域幅の決定と、決定された前記ピークメモリ帯域幅が所定の値を超えている場合における、前記ＭＰＥＧデコーダの、前記所与のピクチャ又はピクチャの一部についての動作のフォールバックモードへの切り換えとを含むいくつかの動作を実施する。一実施例において、動作の前記フォールバックモードはＢピクチャの２つの予測のうちの一方のみを使用し、この結果、それぞれの前記ピクチャ又は前記ピクチャの一部のためのメモリ帯域幅に対する要件が減少される。   When used, embodiments of the present invention typically include at least the reception of an MPEG stream, the pre-parsing of the MPEG stream for examining the motion vector, and the amount, type and length of the motion vector. In part, based on the determination of the peak memory bandwidth that the MPEG decoder consumes for a given picture or part of a picture, and when the determined peak memory bandwidth exceeds a predetermined value , Performing a number of operations, including switching the operation of the MPEG decoder to a fallback mode for the given picture or part of a picture. In one embodiment, the fallback mode of operation uses only one of the two predictions of a B picture, resulting in reduced memory bandwidth requirements for each of the pictures or portions of the pictures. Is done.

図１を参照すると、本発明による、デマルチプレクサと、プレパーサと、ハードウェアＭＰＥＧエンコーダとを含む例示的な装置のハイレベルなブロック図が示されている。デマルチプレクサ１０２は、トランスポートストリームを受け取り、出力としてエレメンタリストリームを生じるように結合されている。この場合、前記トランスポートストリームは、エンコードされたピクチャデータを含んでいる。プレパーサ１０４は、前記エレメンタリストリームを受け取るように、デマルチプレクサ１０２に結合されている。本明細書において参照される前記ビデオストリームは、「高解像度」ＭＰＥＧストリーム、又は何らかの他のビデオストリームであってもよいことが分かるであろう。プレパーサ１０４は、前記エレメンタリストリームの内容を評価し、例えば、前記動きベクトルの量、種類及び長さに基づいて、前記ビデオストリームのこの部分をデコードするメモリ帯域幅要件のプロファイルを決定する。前記メモリ帯域幅要件が、所定の値を超えている場合、プレパーサ１０４は、動作のフォールバックモードが前記ビデオストリームのこの特定の部分のデコードにおいて使用されるべきであることを示す制御信号を出力する。この所定の値は、限界又はしきい値とも称される。プレパーサ１０４は、前記エレメンタリストリームの時間遅延されたバージョンも出力する。デコーダ１０６は、前記エレメンタリストリームの前記時間遅延されたバージョンと、前記制御信号との両方を、プレパーサ１０４から受け取るように結合されている。デコーダ１０６は、プレパーサ１０４によってデコーダ１０６に供給された制御信号の状態に依存して、所定のメモリ帯域幅要件内に残るのに適切なモードで動作する。一実施例において、デコーダ１０６は、プレパーサ１０４が、前記デコードの動作が、そうでない場合に、所定のメモリ帯域幅要件を超えるであろうと判断した場合、Ｂピクチャの２つの予測のうちの一方のみを使用する。デコーダ１０６は、デコードされた系列を出力するように更に適応化される。ＭＰＥＧエンコードされたビデオのような、エンコードされたビデオ系列のデコードは、よく知られており、このようなデコードの詳細は、本明細書においては更に記載されない。   Referring to FIG. 1, a high level block diagram of an exemplary apparatus including a demultiplexer, a preparser, and a hardware MPEG encoder according to the present invention is shown. The demultiplexer 102 is coupled to receive the transport stream and produce an elementary stream as output. In this case, the transport stream includes encoded picture data. The preparser 104 is coupled to the demultiplexer 102 to receive the elementary stream. It will be appreciated that the video stream referred to herein may be a “high resolution” MPEG stream, or some other video stream. The pre-parser 104 evaluates the content of the elementary stream and determines a profile of memory bandwidth requirements for decoding this portion of the video stream based on, for example, the amount, type and length of the motion vector. If the memory bandwidth requirement exceeds a predetermined value, the pre-parser 104 outputs a control signal indicating that a fallback mode of operation should be used in decoding this particular portion of the video stream To do. This predetermined value is also referred to as a limit or threshold. The preparser 104 also outputs a time delayed version of the elementary stream. The decoder 106 is coupled to receive both the time-delayed version of the elementary stream and the control signal from the pre-parser 104. The decoder 106 operates in an appropriate mode to remain within a predetermined memory bandwidth requirement, depending on the state of the control signal supplied to the decoder 106 by the pre-parser 104. In one embodiment, the decoder 106 only determines one of the two predictions for a B picture if the pre-parser 104 determines that the decoding operation would otherwise exceed a predetermined memory bandwidth requirement. Is used. The decoder 106 is further adapted to output the decoded sequence. The decoding of encoded video sequences, such as MPEG-encoded video, is well known and the details of such decoding are not further described herein.

上述の前記所定の値に関して、様々な実施例において、前記所定の値とは、固定された値か又はプログラム可能な値かのいずれであっても良い。概ね、前記所定の値は、例えば、ピークメモリ帯域幅のような、前記ＭＰＥＧデコーダのリソース限界に関するものである。しかしながら、前記ＭＰＥＧデコーダが、何らかの特定のフォールバックモードにおいて動作すべきであるかどうかについての決定において、いかなるいリソース限界も、考慮に入れられることができる。前記所定の値がプログラム可能である実施例において、この限界は、ユーザの嗜好、到来するビデオストリーム、又は何らかの考慮もしくは考慮の組み合わせに応じて、動的に設定されることができる。前記所定の値がピークメモリ帯域幅に関するものである、１つの例示的な実施例において、この値は、フレームが、前記ＭＰＥＧデコーダによってドロップされないように、選択されることもできる。代替的な実施例において、前記値は、ドロップレートからの平均を保持するように、選択されることもできる。更に他の代替的な実施例において、前記所定の値は、何らかの適切な設計の考慮又は設計の考慮の組み合わせに基づいて選択されることもできる。本発明は、前記所定の値を設定する何らかの特定の方式に制限されるものではない。更に他の代替的な実施例において、２つ以上のリソース限界（例えば、利用可能なメモリの記憶容量、及びピークメモリ帯域幅の利用可能性）に関する２つ以上の所定の値があっても良く、プレパーサ１０４は、フォールバックモードにおいて動作する前記ＭＰＥＧデコーダに関する決定を、前記のような２つ以上の値に基づいて、することができる。   With respect to the predetermined value described above, in various embodiments, the predetermined value may be either a fixed value or a programmable value. In general, the predetermined value relates to resource limits of the MPEG decoder, such as peak memory bandwidth. However, any resource limits can be taken into account in determining whether the MPEG decoder should operate in any particular fallback mode. In embodiments where the predetermined value is programmable, this limit can be set dynamically depending on user preferences, incoming video streams, or some consideration or combination of considerations. In one exemplary embodiment where the predetermined value is related to peak memory bandwidth, this value can also be selected so that frames are not dropped by the MPEG decoder. In an alternative embodiment, the value can be selected to keep an average from the drop rate. In still other alternative embodiments, the predetermined value may be selected based on any suitable design considerations or combination of design considerations. The present invention is not limited to any specific method for setting the predetermined value. In still other alternative embodiments, there may be more than one predetermined value for more than one resource limit (eg, available memory storage capacity and peak memory bandwidth availability). , The pre-parser 104 can make a decision regarding the MPEG decoder operating in the fallback mode based on two or more values as described above.

図２を参照すると、本発明による方法を示している流れ図が示されている。図２に示されている方法は、ビデオデコーダのための前記システム負荷を減少するものであり、エンコードされたビデオストリームを受け取るステップ２０２と、前記エンコードされたビデオストリームをプレパーズするステップ２０４と、前記エンコードされたビデオストリームにおける第１ピクチャの少なくとも第１部分のデコードに対するシステム負荷の要件を、前記エンコードされたビデオストリームの前記のようなプレパーズに少なくとも部分的に基づいて、決定するステップ２０６と、決定された前記システム負荷の要件が所定の値を超えている場合、ビデオストリームデコーダの動作モードをフォールバックモードに切り換えるステップ２０８とを含んでいる。前記プレパーズは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアとの組み合わせにおいて、実施化されることができることが分かるであろう。   Referring to FIG. 2, a flow diagram illustrating a method according to the present invention is shown. The method shown in FIG. 2 reduces the system load for a video decoder, receiving 202 an encoded video stream, preparsing 204 the encoded video stream, Determining 206 a system load requirement for decoding at least a first portion of the first picture in the encoded video stream based at least in part on such a pre-parse of the encoded video stream; Switching the video stream decoder operation mode to a fallback mode if the system load requirement is greater than a predetermined value. It will be appreciated that the prepaz can be implemented in hardware, software, or a combination of hardware and software.

図３を参照すると、本発明による方法を説明している流れ図が、示されている。図３に示されている方法は、ＭＰＥＧデコーダのための前記システム負荷を減少するものであり、ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給する前に、前記ＭＰＥＧエンコードされたビデオストリームをプレパーサに供給するステップ３０２と、前記ＭＰＥＧエンコードされたビデオストリームにおける複数の動きベクトルの量、種類及び長さの少なくとも１つを評価するステップ３０４と、前記ＭＰＥＧエンコードされたビデオストリームにおける少なくとも第１ピクチャ部分をデコードするために、非フォールバックモードで動作する前記ＭＰＥＧデコーダによって必要とされるピークメモリ帯域幅を、前記ＭＰＥＧエンコードされたビデオストリームの前記のような評価に少なくとも部分的に基づいて決定するステップ３０６と、前記所定のピークメモリ帯域幅の要件が、所定の値を超える場合、前記ＭＰＥＧデコーダの動作モードを、前記非フォールバックモードからフォールバックモードに切り換えるステップ３０８と、前記ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給するステップ３１０とを含んでいる。前記動きベクトルの評価は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実施化されることができることが分かるであろう。   Referring to FIG. 3, a flow diagram illustrating the method according to the present invention is shown. The method shown in FIG. 3 reduces the system load for an MPEG decoder, and before the MPEG encoded video stream is supplied to the MPEG decoder, the MPEG encoded video stream is used as a preparser. Providing 302, evaluating 304 at least one of the amount, type and length of a plurality of motion vectors in the MPEG encoded video stream; and at least a first picture portion in the MPEG encoded video stream. A peak memory bandwidth required by the MPEG decoder operating in non-fallback mode for decoding is determined based at least in part on the evaluation of the MPEG encoded video stream. Step 306; if the predetermined peak memory bandwidth requirement exceeds a predetermined value; step 308 switching the operation mode of the MPEG decoder from the non-fallback mode to the fallback mode; Providing a video stream to an MPEG decoder. It will be appreciated that the motion vector estimation can be implemented by hardware, software, or a combination of hardware and software.

本発明の様々な実施例は、エンコードされたビデオストリームの一部をデコードする前に、前記エンコードされたビデオストリームの前記一部を評価し、前記のような評価に基づいて、前記エンコードされたビデオストリームの前記一部のデコードのための前記システム負荷要件を、所定の値よりも低く保持するように、ビデオデコーダを動作の第１モードから動作の第２モードに切り換える方法及び装置を含んでいる。   Various embodiments of the present invention evaluate the portion of the encoded video stream before decoding the portion of the encoded video stream, and based on the evaluation, the encoded video stream. A method and apparatus for switching a video decoder from a first mode of operation to a second mode of operation so as to keep the system load requirement for decoding the portion of the video stream below a predetermined value. Yes.

本発明のいくつかの実施例の利点は、前記ビデオストリームのリアルタイムのデコードが、ピークメモリ帯域幅のような、システム負荷要件を、所定の値より下に減少することによって保持されることができることにある。   An advantage of some embodiments of the present invention is that real-time decoding of the video stream can be maintained by reducing system load requirements, such as peak memory bandwidth, below a predetermined value. It is in.

本発明は、上述の実施例に限定されるものではなく、添付請求項の範囲内のいかなる及び全ての実施例も含むことを理解されたい。   It is to be understood that the present invention is not limited to the above-described embodiments, but includes any and all embodiments within the scope of the appended claims.

本発明による、デマルチプレクサ、プレパーサ及びハードウェアＭＰＥＧデコーダを含むシステムのハイレベルなブロック図である。1 is a high level block diagram of a system including a demultiplexer, a preparser and a hardware MPEG decoder according to the present invention. 本発明による方法を説明している流れ図である。3 is a flow diagram illustrating a method according to the present invention. 本発明による方法を説明している流れ図である。3 is a flow diagram illustrating a method according to the present invention.

Claims (20)

ビデオデコーダのためのシステム負荷を減少する方法であって、エンコードされたビデオストリームを受け取るステップと、前記エンコードされたビデオストリームをプレパーズするステップと、前記エンコードされたビデオストリームの前記のようなプレパーズに少なくとも部分的に基づいて、前記エンコードされたビデオストリームの第１ピクチャの少なくとも第１部分をデコードするためのシステム負荷の要件を決定するステップと、決定された前記システム負荷の要件が所定の値を超えている場合、ビデオストリームデコーダの動作のモードを、フォールバックモードに切り換えるステップとを有する方法。   A method of reducing system load for a video decoder, comprising: receiving an encoded video stream; preparsing the encoded video stream; and preparsing such an encoded video stream. Determining, based at least in part, a system load requirement for decoding at least a first portion of a first picture of the encoded video stream; and the determined system load requirement has a predetermined value If so, switching the mode of operation of the video stream decoder to a fallback mode. 前記プレパーズするステップが、前記エンコードされたビデオストリームをデコードする前に、前記エンコードされたビデオストリームにおける１つ以上の動きベクトルを評価するステップを有する、請求項１に記載の方法。   The method of claim 1, wherein the preparsing step comprises evaluating one or more motion vectors in the encoded video stream before decoding the encoded video stream. 前記システム負荷の要件を決定するステップが、プレパーズされた前記動きベクトルの量、種類及び長さの少なくとも１つを評価するステップを有する、請求項２に記載の方法。   The method of claim 2, wherein determining the system load requirement comprises evaluating at least one of the amount, type, and length of the pre-parsed motion vector. 前記システム負荷の要件がメモリ帯域幅の要件を含んでいる、請求項３に記載の方法。   The method of claim 3, wherein the system load requirement includes a memory bandwidth requirement. 前記メモリ帯域幅の要件はピークメモリ帯域幅の要件である、請求項４に記載の方法。   The method of claim 4, wherein the memory bandwidth requirement is a peak memory bandwidth requirement. 前記エンコードされたビデオストリームは、ＭＰＥＧエンコードされたビデオストリームであり、前記デコーダはＭＰＥＧデコーダであり、前記フォールバックモードの動作は、減少された前記システム負荷の要件を生じる、請求項３に記載の方法。   4. The encoded video stream is an MPEG encoded video stream, the decoder is an MPEG decoder, and operation of the fallback mode results in reduced system load requirements. Method. 減少された前記システム負荷の要件は、減少されたメモリ帯域幅の要件である、請求項６に記載の方法。   The method of claim 6, wherein the reduced system load requirement is a reduced memory bandwidth requirement. 前記フォールバックモードの動作は、Ｂピクチャの２つの予測のうちの一方のみを使用する、請求項７に記載の方法。   The method of claim 7, wherein the fallback mode operation uses only one of two predictions of a B picture. 予め決定されている前記ピークメモリ帯域幅は、第２ピクチャの少なくとも第２部分をデコードすることによっては超えられないと判断された場合、前記ＭＰＥＧデコーダの前記動作のモードを、フォールバックモードから非フォールバックモードに切り換えるステップを更に有する、請求項８に記載の方法。   If it is determined that the predetermined peak memory bandwidth cannot be exceeded by decoding at least the second part of the second picture, the mode of operation of the MPEG decoder is changed from fallback mode to non- The method of claim 8, further comprising switching to a fallback mode. 前記第１ピクチャと前記第２ピクチャとが異なるピクチャである、請求項９に記載の方法。   The method according to claim 9, wherein the first picture and the second picture are different pictures. 前記ＭＰＥＧデコーダのための前記システム負荷を減少する方法であって、ＭＰＥＧエンコードされたビデオストリームをＭＰＥＧデコーダに供給する前に、前記ＭＰＥＧエンコードされたビデオストリームをプレパーサに供給するステップと、前記ＭＰＥＧエンコードされたビデオストリームにおける複数の動きベクトルの量、種類及び長さの少なくとも１つを評価するステップと、前記ＭＰＥＧエンコードされたビデオストリームの少なくとも第１ピクチャ部分をデコードするために非フォールバックモードで動作する前記ＭＰＥＧデコーダによって必要とされるピークメモリ帯域幅を、前記ＭＰＥＧエンコードされたビデオストリームの前記のような評価に少なくとも部分的に基づいて、決定するステップと、決定された前記ピークメモリ帯域幅の要件が所定の値を超えている場合、前記ＭＰＥＧデコーダの動作のモードを、前記非フォールバックモードからフォールバックモードへ切り換えるステップと、前記ＭＰＥＧエンコードされたビデオストリームを前記ＭＰＥＧデコーダに供給するステップとを有する方法。 A method of reducing the system load for the MPEG decoder, the step of supplying the MPEG encoded video stream to a pre-parser before supplying the MPEG encoded video stream to the MPEG decoder; Evaluating at least one of the amount, type and length of a plurality of motion vectors in the rendered video stream, and operating in a non-fallback mode to decode at least a first picture portion of the MPEG encoded video stream Determining a peak memory bandwidth required by the MPEG decoder based at least in part on the evaluation of the MPEG-encoded video stream; If the re-bandwidth requirement exceeds a predetermined value, the mode of operation of the MPEG decoder is switched from the non-fallback mode to the fallback mode; and the MPEG encoded video stream is sent to the MPEG decoder. Providing a method. 前記動作の前記フォールバックモードは、Ｂピクチャの前記２つの予測のうちの一方のみを使用する、請求項１１に記載の方法。 The method of claim 11, wherein the fallback mode of operation uses only one of the two predictions of a B picture. 前記ＭＰＥＧデコーダの前記動作のモードの前記フォールバックモードへ切り換えるステップは、前記第１ピクチャ部分のデコードの間の減少されたピークメモリ帯域幅の用件を生じる、請求項１２に記載の方法。   The method of claim 12, wherein switching the mode of operation of the MPEG decoder to the fallback mode results in reduced peak memory bandwidth requirements during decoding of the first picture portion. 前記ＭＰＥＧエンコードされたビデオストリームをデコードするステップと、前記フォールバックモードから前記非フォールバックモードに切り換わるステップを更に有する、請求項１３に記載の方法。   The method of claim 13, further comprising: decoding the MPEG encoded video stream; and switching from the fallback mode to the non-fallback mode. エンコードされたビデオストリームのデコードのシステム負荷の要件を減少する装置であって、第１データストリームを受け取り、第２データストリームを出力として生成するデマルチプレクサと、前記第２データストリームを受け取るように結合されており、かつ、第３データストリームを第１出力として生成するように動作可能であり、少なくとも１つの制御信号を第２出力として生成するのに更に動作可能なプレパーサと、前記第３データストリームと前記プレパーサからの前記少なくとも１つの制御信号とを受け取り、前記第２データストリームの時間遅延されたバージョンのデコードされたバージョンを生成するように結合されたデコーダであって、各モードの動作が異なるシステム負荷要件を有する、動作の少なくとも２つのデコードモードにおいて動作することができるデコーダとを有する装置において、前記第１データストリームは、エンコードされたピクチャデータを含んでおり、前記デコーダの動作のモードは、前記少なくとも１つの制御信号に応じて選択可能なものである、装置。   An apparatus for reducing system load requirements for decoding an encoded video stream, the demultiplexer receiving a first data stream and generating a second data stream as an output, coupled to receive the second data stream And a third parser that is operable to generate a third data stream as a first output and is further operable to generate at least one control signal as a second output; And at least one control signal from the pre-parser and coupled to produce a time-delayed decoded version of the second data stream, each mode operating differently At least two data in operation with system load requirements Wherein the first data stream includes encoded picture data, and the mode of operation of the decoder is selectable according to the at least one control signal Device. 前記第１データストリームはトランスポートストリームであり、前記第２データストリームはエレメンタリストリームであり、前記第３データストリームは、前記エレメンタリストリームの時間遅延されたバージョンであり、前記プレパーサは、少なくとも１つの所定のデコーダのリソース制限に少なくとも部分的に基づいて、前記少なくとも１つの制御信号を生成するように動作可能である、請求項１５に記載の装置。   The first data stream is a transport stream, the second data stream is an elementary stream, the third data stream is a time-delayed version of the elementary stream, and the preparser is at least 1 The apparatus of claim 15, wherein the apparatus is operable to generate the at least one control signal based at least in part on a resource limit of one predetermined decoder. 前記デコーダはＭＰＥＧデコーダであって、前記ＭＰＥＧデコーダの動作の１つのモードは、デコードに必要な前記メモリ帯域幅を減少するために、Ｂピクチャの２つの予測の一方のみを使用する、請求項１６に記載の装置。 17. The decoder is an MPEG decoder, and one mode of operation of the MPEG decoder uses only one of two predictions of a B picture to reduce the memory bandwidth required for decoding. The device described in 1. 前記ＭＰＥＧデコーダは、ピクチャベースによるピクチャに関する前記少なくとも１つの制御信号を前記プレパーサから受け取る、請求項１７に記載の装置。   The apparatus of claim 17, wherein the MPEG decoder receives the at least one control signal for a picture-based picture from the preparser. 前記ＭＰＥＧデコーダは、前記少なくとも１つの制御信号に応じて、動作の複数のフォールバックモードのうちの１つを選択するように動作可能である、請求項１７に記載の装置。   The apparatus of claim 17, wherein the MPEG decoder is operable to select one of a plurality of fallback modes of operation in response to the at least one control signal. 前記のような所定のリソース制限は、所定のフレームドロップレートに基づいて設定される、請求項１９に記載の装置。   20. The apparatus of claim 19, wherein the predetermined resource limit is set based on a predetermined frame drop rate.
JP2007557605A 2005-03-03 2005-03-03 Adaptive fallback system for MPEG decoder Pending JP2008532405A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2005/050801 WO2006092671A1 (en) 2005-03-03 2005-03-03 Adaptive fallback system for mpeg decoders

Publications (1)

Publication Number Publication Date
JP2008532405A true JP2008532405A (en) 2008-08-14

Family

ID=35134324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007557605A Pending JP2008532405A (en) 2005-03-03 2005-03-03 Adaptive fallback system for MPEG decoder

Country Status (3)

Country Link
JP (1) JP2008532405A (en)
CN (1) CN1977538A (en)
WO (1) WO2006092671A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520603A (en) * 2009-03-13 2012-09-06 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Method and apparatus for processing coded bit stream

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100463525C (en) * 2006-12-11 2009-02-18 浙江大学 Video frequency coding method and device capable of dynamic regulating computational complexity

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112972A (en) * 1997-09-30 1999-04-23 Matsushita Electric Ind Co Ltd Device and method for extracting combined processing amount information
JPH11122624A (en) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd Method and system for reducing video decoder processing amount
JPH11146398A (en) * 1997-11-04 1999-05-28 Matsushita Electric Ind Co Ltd Multimedia information processing unit
JPH11225339A (en) * 1997-10-24 1999-08-17 Matsushita Electric Ind Co Ltd Method for elegant degeneracy about calculation in audio visual compression system
JP2001515286A (en) * 1997-09-04 2001-09-18 韓國電子通信研究院＊ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ An Elegant Computation Reduction Method Using Priority Information in Multiple Object Environments
JP2004507985A (en) * 2000-08-29 2004-03-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ System and method for dynamically adaptively decoding scalable video to stabilize CPU load

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001515286A (en) * 1997-09-04 2001-09-18 韓國電子通信研究院＊ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ An Elegant Computation Reduction Method Using Priority Information in Multiple Object Environments
JPH11112972A (en) * 1997-09-30 1999-04-23 Matsushita Electric Ind Co Ltd Device and method for extracting combined processing amount information
JPH11122624A (en) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd Method and system for reducing video decoder processing amount
JPH11225339A (en) * 1997-10-24 1999-08-17 Matsushita Electric Ind Co Ltd Method for elegant degeneracy about calculation in audio visual compression system
JPH11146398A (en) * 1997-11-04 1999-05-28 Matsushita Electric Ind Co Ltd Multimedia information processing unit
JP2004507985A (en) * 2000-08-29 2004-03-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ System and method for dynamically adaptively decoding scalable video to stabilize CPU load

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520603A (en) * 2009-03-13 2012-09-06 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Method and apparatus for processing coded bit stream

Also Published As

Publication number Publication date
WO2006092671A1 (en) 2006-09-08
CN1977538A (en) 2007-06-06

Similar Documents

Publication Publication Date Title
US7340103B2 (en) Adaptive entropy encoding/decoding for screen capture content
US8731046B2 (en) Software video transcoder with GPU acceleration
US6507672B1 (en) Video encoder for digital video displays
US7596179B2 (en) Reducing the resolution of media data
US7715481B2 (en) System and method for allocation of resources for processing video
JPWO2005041420A1 (en) Decoding device or encoding device in which an intermediate buffer is inserted between an arithmetic code decoder or encoder and an inverse binarization converter or binarization converter
JP2009523337A (en) Image coding using adaptive color space transformation.
KR20030005319A (en) Device and method for compressing a signal
US20070217623A1 (en) Apparatus and method for real-time processing
JPH0686262A (en) Apparatus for encoding of image
JPH11501489A (en) Variable length decoder
JP2002515705A (en) Method and apparatus for reducing video decoder costs
US8199825B2 (en) Reducing the resolution of media data
US6751404B1 (en) Method and apparatus for detecting processor congestion during audio and video decode
JP2008532405A (en) Adaptive fallback system for MPEG decoder
JP2005210502A (en) Image recompression device and method
JP4613759B2 (en) Information processing apparatus and method, transmission apparatus and method, recording apparatus and method, and program
JP2000092485A (en) Encoding device, decoding device, image processor, and image processing system
JP4105676B2 (en) How to deblock and transcode media streams
JP3831411B2 (en) Method for constructing an encoded character bitstream
JP2016149770A (en) Minimization system of streaming latency and method of using the same
JPH11177436A (en) Data communication equipment
Lee et al. Channel-adaptive Image Compression for Wireless Transmission
US20060056718A1 (en) Method, device and computer program for encoding digital image
JP2004208280A (en) Encoding apparatus and encoding method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101102