JP2000511738A - Ｈｄｔｖビデオデコーダ及びデコーディング方法 - Google Patents

Abstract

(57)【要約】 ディジタルビデオデータの複数のマクロブロックを含むＭＰＥＧビットストリームを復号するマクロブロックレベル区分ＨＤＴＶビデオデコーダである。このデコーダは、ビットストリーム内のマクロブロック間の境界を識別し、識別した境界を示すマクロブロック境界情報を発生するビットストリームパーザと、マクロブロック境界情報をＭＰＥＧビットストリームと組み合わせて順次のマルチビット部分からなる複合ビットストリームを発生するビットストリームフォーマッタと、複合ビットストリームの順次のマルチビット部分を記憶するとともに複合ビットストリームの順次のマルチビット部分を順次に出力するレートバッファと、第１及び第２のＦＩＦＯメモリと、マクロブロック境界情報の検出に応答して第１及び第２のＦＩＦＯメモリを交互に書き込み可能にし、第１及び第２のＦＩＦＯメモリにレートバッファから順次に出力される複合ビットストリーム内の種々の順次のマクロブロックを交互に記憶させるＦＩＦＯコントローラと、第１及び第２のＦＩＦＯメモリによりそれぞれ記憶された複合ビットストリーム内の順次のマクロブロックを復号する第１及び第２の可変長デコーダとを具える。関連する復号方法も開示している。

Description

【発明の詳細な説明】 ＨＤＴＶビデオデコーダ及びデコーディング方法 発明の背景 本発明は、一般にディジタルビデオデコーダ、特にＨＤＴＶビデオデコーダ及 びデコーディング方法に関するものである。 ディジタルビデオデータ伝送システムでは、ビデオデータを受信機に送信する 前に符号化し、受信機は符号化されたディジタルビデオデータを復号する。次に 、復号化されたディジタルビデオデータを後続の信号処理段に出力する。このよ うなシステムのデータスループット及びメモリ効率を増大するために、統計的圧 縮アルゴリズムを用いてディジタルビデオデータを圧縮符号化している。このよ うな圧縮アルゴリズムの１つはハフマン符号化アルゴリズムである。このデータ 圧縮は代表的には固定長の符号語ではなく可変長の符号語にセグメント化された データストリームを生ずる。可変長デコーダにより圧縮データストリームを構成 する可変長符号語を復号する。 可変長符号語の系列を復号するために現在使用し得るいくつかの方法がある。 最も有効な方法はツリーサーチアルゴリズム及びテーブルルックアップ技術であ る。 ツリーサーチアルゴリズムは符号化ツリーのビット単位サーチを用いて入力ビ ットストリーム内の各符号語の終り及び値を見つけ出す。符号化ツリーは既知の 符号語の葉を含む。復号化処理は符号化ツリーの根から出発して１ビットづつ符 号化ツリーの異なる枝へ進み、最後に葉に到達し、符号語の終りが検出される。 次に符号語がビットストリームの残部からセグメント化され、検出した符号語の 値がルックアップされ、可変長デコーダから出力される。ツリーサーチアルゴリ ズムを用いるビットストリームの復号化は多くの高速アプリケーション用には遅 すぎる。その理由は復号化処理がシンボルレートではなくビットレートで行われ るためである。これに関連して、ビットレートでのビットストリームの復号化は ＨＤＴＶデコーダのピークシンボルレートを満足しない。 可変長デコーダのデータスループットを増大するために、テーブルルックアッ プデコーダが開発され、例えばサン等の米国特許第５，１７３，６９５号に開示 されている。この特許明細書に開示されたテーブルルックアップデコーダの入力 端子は、可変語長符号化ビットストリームを受信するレートバッファの出力端子 に接続され、このバッファはビットストリーム内の最大長の符号語に等しい長さ のビットシーケンスを並列に出力する。これらのシーケンスは従属接続のラッチ に読み込まれる。両ラッチ内の従属接続のシーケンスがバレルシフタに入力され る。このバレルシフタはそのマルチビット入力端からスライディング復号化窓を テーブルルックアップデコーダに提供する。各符号語の検出時に制御信号がバレ ルシフタの復号化窓の位置を直接シフトさせる。 各符号語を検出するために、復号化窓内の最初のビットがテーブルルックアッ プデコーダ内の符号語エントリーと比較される。符号語が検出されると、対応す る符号語長が先に累積された符号語長を有するアキュムレータの値に加算され、 復号化窓をたった今復号した語のビット数だけ直接シフトさせる制御信号を発生 する。第１ラッチ内の全ビットが復号されると、バッファ内の次のビットシーケ ンスが第２ラッチに入力されるとともに、第２ラッチ内の前ビットシーケンスが 第１ラッチに転送される。このとき復号化窓が未復号シーケンス内の次の符号語 の始点にシフトされる。復号化窓のシフト及び符号語の復号化は１クロックサイ クル内に行うことができる。その結果として、テーブルルックアップデコーダは そのビット長と無関係に１クロックサイクルにつき１つの符号語を復号すること ができるので、デコーダのデータスループットを以前の使用可能なツリーサーチ アルゴリズムデコーダに対し劇的に増大させることができる。 しかし、ピークシンボルレートが１００，０００，０００符号語／秒より高い コンシューマＨＤＴＶアプリケーションでは、単一可変長デコーダによりピクチ ャ（画像、画面）全体をシンボルレートで復号することは実現不可能である。Ｈ ＤＴＶシステムでは、ピクチャ全体をレートバッファから画像表示時間内に抽出 するのに可変長デコーダ（ＶＬＤ）を用いている。ＶＬＤはデータストリーム内 の語をピークシンボルレート（ＰＳＲ）で復号する必要があり、このピークシン ボルレートは表示解像度及び表示時間に依存する。ＭＰＥＧ（“Moving Picture Expert Group”）プロトコルを使用するＨＤＴＶでは、１００，０００，０００ 以上の符号語／秒より高いＶＬＤスループットが必要とされる。 このようなスループットを有するＶＬＤの実現と関連する技術的問題に加えて 、大きな容量のレートバッファを有する高速ＶＬＤインタフェースは現在使用し 得るメモリ技術では全く高価なものとなる。価額が重要である場合には、この問 題は一層厳しくなる。その理由は、非同期ＤＲＡＭのような低速で安価なメモリ ではなくスタティックランダムアクセスメモリ（ＳＲＡＭ）又はシンクロナスダ イナミックランダムアクセスメモリ（ＳＤＲＡＭ）のような高速で高価なメモリ 装置を使用する必要があるためである。メモリの価額はＨＤＴＶセットのような コンシューマ製品に対し特に重要な考慮すべき事項である。 現在の実現方法では、ＨＤＴＶビデオデコーダは通常多数の処理パスに区分化 され、多数のＶＬＤを用いて画像の種々の部分を並列に復号している。このよう な実現方法では、ＶＬＤが大きなボトルネックの１つになる。その理由は、ＶＬ Ｄが圧縮領域と圧縮解除領域との間の遷移点を構成するからである。画像の各区 分が画像情報の殆ど全部を含むことができるので、多数の専用ピンポンバッファ がすべてのＶＬＤとレートバッファとの間に必要とされるため、システムに必要 とされるビットストリームメモリの量が劇的に増大する。例えば、８個の並列Ｖ ＬＤを有する区分復号化システムはレートバッファの２倍の大きさを有する８個 のピンポンバッファを必要とするため、必要とされるバッファメモリの量が単一 ＶＬＤを有するシステムに対し１６倍に増大する。 ＨＤＴＶシステムでは、入力ビットストリームは通常ペイロードデータ及びセ ットアップデータを含むＭＰＥＧディジタルビデオデータストリームである。圧 倒的多量のデータ（データの約９５％）を構成するペイロードデータはＤＣＴ( ディスクリートコサイン変換)係数及び動きベクトルのような符号語により表さ れ、これらの符号語はそれぞれのルックアップテーブルを用いて復号される。デ ータの残部（データの約５％）を構成するセットアップデータはそれぞれ特定の 符号語により表され、これらの符号語は種々のルックアップテーブルを用いて復 号される。 本願発明者は多数のＶＬＤを用いる区分ＨＤＴＶビデオデコーダではなく単一 のＶＬＤを用いるＨＤＴＶビデオデコーダを実現するために種々の同時継続特許 出願において種々の技術を提案した。例えば、入力ビットストリームを事前タグ 付けし得るとともに同一タイプの連続する符号語を並列処理し得る可変長デコー ダを開発し、同時継続出願中のM．Bakhmutsky（本願発明者）による米国特許願 第０８／５８０，４０５号、１９８５年１２月２８日出願、“HIGH PERF0RMANCE VARIABLE LENGTH DECODER WITH ENHANCED THROUGHPUT DUETO TAGGING OF THE I NPUT BIT STREAM AND PARALLEL PROCESSING OF CONTIGUOUS CODE WORDS”、に開 示した。この出願に開示された可変長デコーダは高スループットと低クロックレ ートに対する優秀な解決を提供するが、ツリーサーチプレタギング回路及びレー トバッファと同一の大きさの追加のバッファメモリのオーバヘッドが製造コスト を増大し、少なくともいくつかのＨＤＴＶデコーダに許容し得ない。従って、こ の可変長デコーダのコストがその欠点となる。 そこで、コンシューマＨＤＴＶデコーダに対するこれらの厳しい要件を満足す る高性能可変長デコーダも開発し、同時継続出願中のM．Bakhmutsky（本願発明 者）による米国特許願第０８／５８０，４０７号、１９８５年１２月２８日出願 、“VARIABLE LENGTH DECODER WITH ADAPTIVE ACCELERATION IN PROCESS ING OF HUFFMAN ENCODED BIT STREAMS”、に開示した。この出願に開示された可 変長デコーダは、ハフマン符号化入力ビットストリーム内の規定の長さより短い 符号語の選択群からの２つ以上の符号語の組合せを組合せ値ルックアップテーブ ルを用いて１クロックサイクル中に復号することにより１サイクル当たりのスル ープットが選択群に応じて増大する。選択群内の符号語はハフマン符号化入力ビ ットストリーム内に統計的に最も頻繁に発生する符号語であるため、可変長デコ ーダはスループットを犠牲にすることなくピクチャ全体を低減クロックレートで 処理することができる。従って、選択群内の符号語の処理の適応加速により向上 した統計的性能が達成される。 しかし、この統計的性能向上メカニズムはピクチャ全体に対し最小平均符号語 長を保証するが、ピクチャのサイズより小さい画素をもっと高いスループットで 処理することを保証しない。ローカルアクティビティに関し高性能を保証し得な いことは、リアルタイム画像処理が損なわれるため、この可変長デコーダの欠点 になる。ローカルアクティビティの良好な処理は画像メモリを必要としないリア ルタイム画像処理に不可欠である。 高いハードウエア複雑度の犠牲を払うことなく且つ追加のメモリを必要とする ことなく高性能を達成する、２−ワードビットストリームセグメンテーションを 用いる高性能可変長デコーダ（及び方法）が、同時継続出願中のM．Bakhmutsky （本願発明者）による米国特許願第０８／６７２，２４６号、１９９６年６月２ ６日出願、“HIGH PERFORMANCE VARIABLE LENGTH DECODER WITH TWO-WORD BIT S TREAM SEGMENTATION AND RELATEDMETHOD”、に開示されている。この出願に開示 されたＶＬＤはマクロブロックを１００，０００，０００符号語／秒を超えるレ ートでリアルタイムに処理することができ、従ってＭＰＥＧ−２Main Profi1e， High Level準拠ＨＤＴＶビデオデコーダのような現代のディジタルＨＤＴＶビデ オデコーダのための厳しい要件を満足する。復号窓のビット幅を２つの最大符号 語を収容するのに十分な幅にすれば、修飾符号語をSun等の米国特許第５，１７ ３，６９５号に開示された慣例の単一パスＶＬＤに必要とされるクロックレート の約半分のレートで２倍のスループットで処理することが保証される。ＭＰＥＧ −２プロトコルでは最大サイズの修飾符号語（ＡＣ係数）は２４ビット長である 。従って、復号窓を４８ビット幅にすると、すべての修飾符号語に対し２倍のス ループットが保証される。 しかし、２−ワードビットセグメンテーションを用いる高性能ＶＬＤの実際の ハードウエア実現において、４８ビット幅の復号窓は不利となる。その理由は、 その結果として動作速度の低下及びシリコン内の高いゲート数を生じ、従って高 価になり、多くのコンシューマアプリケーションに好ましくなくなるためである 。復号窓の幅と、マクロブロッククロックサイクルアロケーション（ＶＬＤクロ ックレート）と、過度に多くの特定の修飾符号語対がそれらの合成語長が限定サ イズの復号窓を超えるために“ブレーク”される、即ち並列処理又は“ペアマッ チ”処理されない最悪の場合におけるＶＬＤ故障の許容頻度と間の許容し得る統 計的なトレードオフを構成するＶＬＤを実現することができるかもしれないが、 このＶＬＤの実現は“無故障”にならず、従っていくつかの現代のディジタルＨ ＤＴＶビデオデコーダの最も厳しい要件を満足しない。 ２−ワードビットストリームセグメンテーションを用いる上述の高性能ＶＬＤ の制限を克服するために、ペアマッチハフマントランスコーディングを用いる改 善方法が本願発明者により開発され、上述の米国特許出願第０８／６７２，２４ ６号のＣ-Ｉ-Ｐである同時継続出願中の米国と居出願第０８/７４９，０３９号 に開示されている。このＣ-Ｉ-Ｐ出願に開示された改良高性能ＶＬＤは最大長の 修飾符号語の長さの２倍より小さいビット幅を有する復号窓を用いるとともに、 ２倍のスループットとマクロブロックレベルでの無故障ビークブロック符号語の スループットとを同時に保証する。２−ワードビットストリームセグメンテーシ ョンを用いるこのような高性能ＶＬＤは高いスループットで、低コストで、無故 障で、“ブレーク不能な”ＶＬＤアーキテクチャをもたらし、これは現代のディ ジタルＨＤＴＶビデオデコーダの最も厳しい要件を最小のメモリオーバヘッドで 満足することができる。 しかし、本願発明者の上述した同時継続出願中の米国特許出願に開示された上 述の単一ＶＬＤ ＨＤＴＶビデオデコーダの実現は現在使用可能な技術では得ら れない多くの重要な利点をもたらすが、これらのデコーダの実現には、少なくと も現在のＶＬＳＩ技術のレベルにおいてコンシューマＨＤＴＶアプリケーション に望まれる以上の高い複雑度及びメモリの使用を必要とする。この点に関連して 、本願発明者の上述した同時継続出願中の米国出願に開示された単一ＶＬＤ実現 のどれよりも小さいメモリを使用する区分ＨＤＴＶビデオデコーダを実現するの が望ましい。更に、デコーダ全体を同一の低クロックに同期させ、レートバッフ ァへの複雑なマルチポートアクセスを除去するのが望ましい。また、レートバッ ファメモリアクセス速度要件を低減し、レートバッファメモリスペースを一層効 率よく使用するのが望ましい。更に、速度性能を向上させ、ＶＬＤのゲートカウ ントを減少させるのが望ましい。本発明のマクロブロックレベル区分ＨＤＴＶビ デオデコーダはこれらの所望の目標の各々を達成する。 一般に、ＨＤＴＶビデオデコーダを多数のＶＬＤに区分することは難しい。そ の理由は、符号化（圧縮）ディジタルビデオビットストリームの固定長デコーダ により識別し得る最小ビットストリーム単位がスライスであるためである。コン シューマレベルのＨＤＴＶシステムの標準であるＭＰＥＧ-２符号化プロトコル によれば、スライスは可変数のマクロブロックからなる。区分化の最小単位は、 スライスの群が個定数のマクロブロックからなる場合には、通常フルラスタを構 成するスライスの群とする。ＨＤＴＶビデオデコーダのこのような区分化はこれ らのビットストリーム単位（即ちスライスの群）を記憶する相当量のメモリを必 要とするとともに、レートバッファ内のダイナミックに変化するデータ位置への “同時”又はマルチポートアクセスを必要とする。本発明は現在使用可能な区分 ＨＤＴＶビデオデコーダのこれらの重要な欠点を克服するとともに上述した所望 の目標を達成するためにＨＤＴＶビデオデコーダの新規な区分化方法を提供する 。 発明の概要 以上要するに、本発明は、ＭＰＥＧ-２ディジタルビデオビットストリームを レートバッファに書き込む前にこのビットストリームのマクロブロック境界を復 号することによりＨＤＴＶビデオデコーダのマクロブロックでの効率的な区分化 を達成するものである。このときこのマクロブロック境界情報をビットストリー ムと一緒にレートバッファ内に書き込み、これによりレートバッファの単一出力 からビットストリームデータを受信する２つのシステム区分へのマクロブロック の経路指定を容易にする。この技術は、ＭＰＥＧ-２符号化プロトコルがマクロ ブロックに含み得るビット数に最大限界値を課している事実により可能になる。 特に、ＭＰＥＧ-２Main Profile，High Level準拠ＨＤＴＶデコーダに対するマ クロブロックの最大サイズは４６０８ビットである。ＭＰＥＧ−２ディジタルビ デオビットストリーム内の最悪の場合のマクロブロックはディスクリートコサイ ン変換（ＤＣＴ）係数の６個の８×８ブロックからなり、即ち全部で６×６４＝ ３８４個のＤＣＴ係数からなる。従って、最悪の場合のマクロブロックは１ＤＣ Ｔ係数につき平均で１２ビット以上の割当てを有する。これがため、最悪の場合 のマクロブロックを保持するのに４６０８ビットの小さなマクロブロック区分Ｆ ＩＦＯメモリで十分である。 レートバッファのバス幅がマクロブロック内の保証された平均最大ワード長（ １２ビット）の少なくとも２倍である場合には、２つの区分を有するＨＤＴＶビ デオデコーダにおいては２つのＦＩＦＯメモリ（各区分に１つづつ）にＭＰＥＧ −２ディジタルビデオビットストリームが復号される速度と同一の速度で十分 な量のデータが与えられ、従ってデコーダはレートバッファからピクチャ全体を リアルタイムに、即ちピクチャの表示時間の実際の持続時間中に抽出し復号する ことができる。例えば、レートバッファにより出力される全３２ビットをビット ストリームデータのために使用するとともに、ＦＩＦＯメモリの書込み及び読出 しサイクルを同一のクロックにより同期させる場合には、ＦＩＦＯメモリへのデ ータ書込み速度の実効値は単一ＶＬＤ区分による復号化の場合の速度より３２／ １２＝２．６７倍早くなる。この事実は本発明の実現可能性を支持する。 以上から、本発明の特徴の１つは、ディジタルビデオデータの複数のマクロブ ロックを含むＭＰＥＧビットストリームを復号するビデオデコーダであって、ビ ットストリーム内のマクロブロック間の境界を識別し、識別した境界を示すマク ロブロック境界情報を発生するビットストリームパーザと、マクロブロック境界 情報をＭＰＥＧビットストリームと組み合わせて順次のマルチビット部分からな る複合ビットストリームを発生するビットストリームフォーマッタと、複合ビッ トストリームの順次のマルチビット部分を記憶するとともに複合ビットストリー ムの順次のマルチビット部分を順次に出力するレートバッファと、第１及び第２ のＦＩＦＯメモリと、マクロブロック境界情報の検出に応答して第１及び第２の ＦＩＦＯメモリを交互に書き込み可能にし、第１及び第２のＦＩＦＯメモリにレ ートバッファから順次に出力される複合ビットストリーム内の種々の順次のマク ロブロックを交互に記憶させるＦＩＦＯコントローラと、第１及び第２のＦＩＦ Ｏメモリによりそれぞれ記憶された複合ビットストリーム内の順次のマクロブロ ックを復号する第１及び第２の可変長デコーダとを具えるマクロブロックレベル 区分ディジタルＨＤＴＶビデオデコーダを提供することにある。ビットストリー ムフォーマッタはＭＰＥＧビットストリーム内の各マクロブロックの始め及びＭ ＰＥＧビットストリーム内の対応するスタートコードを複数の可能な開始位置の 内の１つにバイト単位でアライメントさせるのが好ましい。マクロブロック境界 情報は複数のＩＤビットを含む(可能な４つの開始位置及び“無開始”位置に対 し３ビット)。システムクロックはＭＰＥＧビットストリームにより表されるピ クチャの画素レートの１／２にするのが好ましい。ＦＩＦＯコントローラは、更 に、スキップされたマクロブロックを検出し、検出したスキップマクロブロック を示 す制御信号をそれぞれの可変長デコーダに供給し、デコーダが供給される制御信 号に応答して検出したスキップマクロブロックの持続時間中所定の出力を発生す るようにするのが好ましい。ＦＩＦＯコントローラは、更に、スタートコード及 びマクロブロック開始位置を検出し、ＦＩＦＯコントローラがマクロブロックの 始め又はスタートコードをデータフィールドの中央で検出する場合にはレートバ ッファにより出力される合成ビットストリームの同一のマルチビット部分を第１ 及び第２のＦＩＦＯメモリの双方に記憶するようにするのが好ましい。 本発明は関連する復号方法も提供する。 図面の簡単な説明 本発明のこれらの特徴及び利点及び他の特徴及び利点は図面につき以下に記載 する詳細な説明を参照すると容易に理解される。図面において、 図１は本発明の好適実施例に従って構成されたマクロブロックレベル区分ＨＤ ＴＶビデオデコーダの機能ブロック図であり、 図２は図１に示すＨＤＴＶビデオデコーダのレートバッファに入力される入力 ビットストリームの３２ビット部分のデータ構造を示す図であり、 図３は図１に示すＨＤＴＶビデオデコーダ２つのＶＬＤのうちの１つの機能ブ ロック図である。 発明の詳細な説明 本発明を特定の用途向けの例示的実施例につき記載するが、本発明はこれに限 定されないものと理解されたい。当業者であれば、ここに与えられた技術に基づ いて、本発明の範囲内及び本発明を利用し得る追加の技術分野内において追加の 変更、用途及び実施例を認識し得る。 図１につき説明すると、この図は本発明の好適実施例に従って構成されたマク ロブロックレベル区分ＨＤＴＶビデオデコーダ１０の機能ブロック図を示す。ビ デオデコーダ１０はビットストリームパーザ１２を含む。このビットストリーム パーザ１２は入ＭＰＥＧ−２ディジタルビデオビットストリームを分析して入ビ ットストリーム内の各マクロブロックの始めを決定し、入ビットストリーム内の 各マクロブロックの始めを識別する出力(“マクロブロック境界情報”)を発生す る。このビットストリームパーザ１２は比較的低いビットレートで動作させるこ とができる。従って、ビットストリームパーザ１２はツリーサーチ状態マシーン として又は状態マシーン群として実現することができる。ビットストリームパー ザ１２は上述の機能のみを行うように実現することができる。ビットストリーム パーザ１２を専用装置として実現する場合には、これを適切に縮小することがで きる。しかし、本発明はビットストリームパーザの特定の実現例に限定されるも のではないこと明かである。 ビットストリームパーザ１２により出力されたマクロブロック境界情報はライ ン１４を経てビットストリームフォーマッタ１６の第１入力端子に供給され、入 ビットストリームがライン１８を経てこのビットストリームフォーマッタ１６の 第２入力端子に供給される。レートバッファ２０のバス幅は３２ビットであるも のとすると、ビットストリームフォーマッタ１６は入ビットストリーム内の各マ クロブロックの始め及び入ビットストリーム内の対応するスタートコードを開始 位置０、１、２及び３として示す４つの可能な開始位置の１つにバイト単位でア ライメントさせる。ビットストリームフォーマッタ１６により出力される入ビッ トストリームの連続する２９データビットの各部分に対する４つの可能な開始位 置のうちの１つを識別するために、本発明の本好適実施例では３ビットのＩＤコ ードを用いる。 従って、本実施例では、ビットストリームフォーマッタにより出力され、３２ ビット幅の入力バス２２を経てレートバッファ２０に供給される各連続３２ビッ トワードのうちの２９ビットがデータビットを含み、ビットストリームフォーマ ッタにより出力され、入力バス２２を経てレートバッファ２０に供給される各連 続３２ビットワードのうちの３ビットがこのワードの対応する開始位置を識別す るＩＤビットを含む。 得られるデータ構造を図２に示す。典型的な例では、ＩＤビット０〜２により 搬送される情報は次の通りである。 ０００ ビットストリームの現２９ビット部分内にマクロブロック又はスタ ートコードがないことを示す； ００１ 開始位置０にマクロブロック又はスタートコードがあることを示 す； ０１０ 開始位置１にマクロブロック又はスタートコードがあることを示 す； ０１１ 開始位置２にマクロブロック又はスタートコードがあることを示 す； １００ 開始位置３にマクロブロック又はスタートコードがあることを示 す； １０１ 予約済み； １１０ 予約済み； １１１ 予約済み； 入ビットストリーム内のスタートコードはマクロブロックの始めから容易に識 別することができる。その理由は、ＭＰＥＧ-２ハフマンルックアップテーブル 内の“マクロブロックアドレスインクリメント”コードワードはそのコードの先 行７ビットの中に少なくとも１つの非ゼロビットを有するためである。これはデ コーダ内の簡単な論理回路により復号することができるので、マクロブロックと スタートコードの双方を４つの３ビットＩＤコード００１〜１００により一意的 に識別するとともに、スタートコードの不在をＩＤ符号０００により識別するこ とができる。スタートコードの存在は３つのＩＤビットの論理和により識別し、 そのバイト位置はコード００１〜１００により一意的に識別することができる。 ＭＰＥＧ-２符号化プロトコルに従って、スタートコードは１が後続された２ ３の先行ゼロを含む３２のスタートコードビットからなる。スタートコードは３ つのＩＤビットにより識別されるため、これらは最早一意的にする必要はない。 従って、１６の先行ゼロは省略する、即ちストリームフォーマッタ１６により削 除することができので、レートバッファ２０のメモリ要件を低減するとともに後 述するＶＬＤ動作を簡単化することができる。先に述べたように、７つの先行ゼ ロをスタートコードとマクロブロックとの識別に使用する。 バイト単位アライメント処置のために必要とされる追加のレートバッファメモ リの量を最小にするためにマクロブロック及びスタートコードのバイト単位アラ イメントがビットストリームフォーマッタ１６により与えられる。バイト単位ア ライメントスキームによれば、マクロブロックの最終ビットがバイト内のランダ ムビット位置に入り得るために、各マクロブロックの記憶のために最大７ビット の追加のレートバッファメモリで済む。ＭＰＥＧ-２Main Profile，High Level 準拠ＨＤＴＶデコーダに対しては、このようなバイト単位アライメントスキーム は次のように計算される追加のレートバッファメモリの量を必要とする。特に、 １マクロブロックにつき必要とされる最大の追加のビット数（７）に最高解像度 のピクチャ内のマクロブロックの最大数(１９２０×１０８０／２５６＝８１０ ０)を乗算し、その積（５６，７００）にレートバッファに同時に記憶し得る最 大ピクチャ数(１５)を乗算すると、バイト単位アライメントスキームの使用に必 要とされるレートバッファメモリの追加のビット数は全部で５６，７００×１５ =８５０，５００になる。しかし、統計的には、バイト単位アライメントスキー ムの使用に必要とされる追加のメモリの量は上述した全く最悪の場合に必要とさ れる量の約半分になる。３２ビットアライメントスキームはデコーダを幾分簡単 化する。しかし、この場合には、３１ビットの追加のレートバッファメモリが１ マクロブロックごとに必要になるので、全部で３，７６６，５００ビットの追加 のレートバッファメモリが必要になる。 ＭＰＥＧ-２Main Profile，High Level準拠ＨＤＴＶデコーダは９，７８１， ２４８ビットのレートバッファサイズを有する必要がある。非同期ＤＲＡＭのよ うな有効メモリは２ⁿの増分(例えば４Ｍｂ、８Ｍｂ、１６Ｍｂ、６４Ｍｂ等)で 利用し得るのみであるため、最も近い有効メモリは１２Ｍｂメモリである。この メモリは３つの３９３，２１６×３２構成の４ＭｂＤＲＡＭとして、又は１６Ｍ ｂＤＲＡＭとして実現することができる。レートバッファ２０に記憶される入ビ ットストリームの各３２ビットの内の２９ビットのみがデータビットであるため に(残りの３ビットはＩＤビット)、全部で３９３，２１６×３＝１，１７９，６ ４８の追加のビットのレートバッファメモリがＩＤビットの収納に必要とされる 。従って、バイト単位アライメントスキーム及びＩＤビットを収納するのに必要 とされるレートバッファメモリの追加のビットの総数は１，１７９，６４８+８ ５０，５００=２，０３０，１４８になる。従って、１２Ｍｂレートバッファは 入ビットストリームデータの記憶用に（３９３，２１６×３２=１２，５８２， ９１２）−２，０３０，１４８=１０，５５２，７６４ビットの使用可能スペー スを有することになる。従って、１２ＭｂレートバッファはＭＰＥＧ-２Main Pr ofile，High Levelプロトコルにより必要とされるよりも、１０，５５２，７６ ４−９，７８１，２４８=７７１，５１６ビット（約０．７４Ｍｂ）だけ多いメ モリを有する。ＭＰＥＧ-２Main Profile，High Level準拠レートバッファは、 実際上、８Ｍｂより大きいメモリ、即ち９，７８１，２４８ビットのメモリを必 要とする事実のために、１２Ｍｂ又は１６ＭｂＤＲＡＭとして実現する必要があ るものと認められる。 レートバッファ２０により出力されるビットストリームの各３２ビット部分は ２９のデータビットと３つのＩＤビットを含む。本発明のマクロブロック区分Ｈ ＤＴＶビデオデータ１０は２つのマクロブロックＦＩＦＯメモリ３０、３２と２ つのＶＬＤ３４、３６を含む２つのシステム区分に区分される。後述するように スタートコード及びマクロブロック開始位置を検出するとともにスキップされた マクロブロックを検出するためにＦＩＦＯコントローラ３８が設けられる。レー トバッファ２０の出力（即ち連続する３２ビットワード）が３２ビット幅レート バッファ出力バス４０を経てＦＩＦＯメモリ３０、２のそれぞれの入力端子及び ＦＩＦＯコントローラ３８に供給される。これらのＦＩＦＯメモリ３０、３２の 所要のサイズは費用有効な区分ＨＤＴＶビデオデコーダの実現に対して重要なフ ァクタである。本発明では、デコーダをマクロブロックレベルで区分し、レート バッファ２０により順次に出力される各ワードは２９のデータビットと３つのＩ Ｄビット（全部で３２ビット）を含み、ＭＰＥＧ−２ビットストリームに対する 最大マクロブロックサイズは４６０８ビットであるため、この場合には各ＦＩＦ Ｏメモリ３０、３２は最大サイズのマクロブロックを構成するデータワードの記 憶用に４６０８／２９＝１５８．９のアドレス可能な記憶位置を有する必要があ る。３つのＩＤビットを収納するために、１６０×３２のメモリサイズが適当で ある。 更に、デコーダは２つの区分を有するため、入ＭＰＥＧ−２ビットストリーム 内の順次の各マクロブロックのリアルタイム復号化用の所要のクロックレートは 画素クロックレートの１／２、即ちＰＩＸ−ＣＬＫ／２になる。デコーダ全体は 同一の低クロックにより作動し、即ちＰＩＸ−ＣＬＫ／２がレートバッファ２０ 及びマクロブロックメモリ３０、３２を制御するＦＩＦＯコントローラ３８に供 給されるとともにＶＬＤ３４、３６に供給される。従って、デコーダのメモリ要 件及び所要のメモリアクセス速度を低減するとともにデコーダ全体を同一の低速 クロック（即ちＰＩＸ−ＣＬＫ／２）に同期させる所望の目標が達成される。 マクロブロックＦＩＦＯメモリ３０、３２の書込みサイクルはＦＩＦＯコント ローラ３８により制御され、このコントローラはマクロブロックの始め又はレー トバッファ２０から順次読み出される順次の各３２ビットワードの２９ビットデ ータ部分内のスタートコード（もしあれば）を識別（検出）するためにレートバ ッファ２０から順次読み出される順次の各３２ビットワードのＩＤビットを監視 する。先に述べたように、マクロブロックは最初の７ビットの内容に基づいてス タートコードと容易に区別することができる。ＦＩＦＯコントローラ３８は更に 順次のマクロブロックの検出に応答してＦＩＦＯメモリ３０、３２の書込みイネ ーブル制御信号をＩＤビットに基づいて交互にアクティブにして、順次のマクロ ブロックをＦＩＦＯメモリ３０、３２に交互にロードする。ＩＤビットがマクロ ブロックの始め又はスタートコードがデータフィールドの中央部にある（即ちス タート位置が図２の０でない）ことを識別する場合には、ＦＩＦＯコントローラ ３８は両ＦＩＦＯメモリ３０及び３２に供給される書込みイネーブル制御信号を アクティブにして、対応する３２ビットワードを両ＦＩＦＯメモリ３０及び３２ に書き込む。 スキップされたマクロブロックは、ＦＩＦＯコントローラ３８によって、ＭＰ ＥＧ−２プロトコルによれば各マクロブロック内の第１コードワードである“マ クロブロックアドレスインクリメント“コード値を復号することにより容易に検 出される。このコードはハフマンコードであるが、その値はＦＩＦＯコントロー ラ３８によって容易に決定することができる。その理由は、その位置がバイトの １つに整列し、ＩＤビットから有効であるためである。“マクロブロックアドレ スインクリメント”コードの値が１以外の値である場合には、スキップされたマ クロブロックの存在が検出され、ユニークコード値が対応するＦＩＦＯメモリに 書き込まれ、関連するＶＬＤに、このマクロブロックは復号する必要がないこと を知らせる(即ち関連するＶＬＤにこのマクロブロックはスキップするよう知ら せ る)。ＦＩＦＯコントローラ３８は、マクロブロック同期信号をカウントしこの カウントを復号した“マクロブロックアドレスインクリメント”コードの値と比 較することにより、このプロシージャを必要な回数だけ繰り返す。その結果とし て、両ＶＬＤ３４及び３６はピクチャ進行により識別される奇数又は偶数マクロ ブロックを受信し復号する。 図３につき説明すると、この図は２つのＶＬＤの１つ（３４又は３６）のブロ ック図を示す。両ＶＬＤ３４及び３６の構成及び動作は同一であるものと理解さ れたい。ＶＬＤ３４及び３６の基本設計及び動作は本発明者の先に引用した同時 継続出願中の米国特許出願に開示されているものと同様であり、ここでは簡単に 要約して述べるのみとする。特に、対応するマクロブロックＦＩＦＯメモリ（３ ０又は３２）により出力されるビットストリームの２９ビット幅データ部分は直 列接続のレジスタＡ及びＢにロードされる。５８ビット幅入力を有するバレルシ フタ５０が最大長のコードワード以上のビット幅を有する出力復号窓を供給する (最大長コードワードは、スタートコードが本発明の先に述べた特徴に従って先 行１６ゼロを除去することにより３２ビットから１６ビットに低減されているも のとすると、ＭＰＥＧ−２プロトコルでは２４ビットＤＣＴ係数である)。好適 実施例では、出力復号窓のビット幅は、１／２画素クロックレートでマクロブロ ックのリアルタイム復号を可能にするために２９ビットにする。 バレルシフタ５０は、アダ−ー２及びポインタレジスタ５４からなるアダー− アキュムレータ回路により発生される制御信号“ワードポインタ”に応答して、 その出力復号窓を、受信ビットストリーム内の各コードワードの検出ごとに、５ ８有効入力ビットの系列に沿って直接シフトさせる。各コードワードの復号後ご とに、出力復号窓はアダー−アキュムレータ回路により最終復号コードワードの 長さに対応するビット数だけシフトされる。アダー５２のオーバフローが“デー タ要求”信号の発生をトリガし、この信号が対応するＦＩＦＯメモリからの次の ３２ビットワードの読出しをトリガすると同時に、レジスタＡの内容の除去をト リガし、レジスタＢの内容をレジスタＡにシフトさせるとともに次の２９ビット データワード（対応するＦＩＦＯメモリから読み出された次の３２ビットワード に含まれている）をレジスタＢにロードさせる。受信ビットストリーム内の各コ ードワードのビット長がワード長デコーダ５８により決定され、受信ビットスト リーム内の各コードワードの値がワード値デコーダ６０により復号される。復号 状態マシン６２がＭＰＥＧ−２プロトコルに従って復号処理を制御する。 本発明では、マクロブロックの始め又はスタートコードが対応するＦＩＦＯメ モリから読み出される各３２ビットワードに含まれる３つのＩＤビットにより識 別される。対応するＦＩＦＯメモリから読み出された各３２ビットワードに含ま れる３つのＩＤビットは復号状態マシン６２に供給され、これがＩＤビットを復 号し、ポインタレジスタセット信号を発生し、この信号がライン６６を経てポイ ンタレジスタ５４のセット入力端子に供給され、ポインタレジスタ５４を図２に 示すスタート位置０〜３の内の１つに対応する値にセットする。ポインタレジス タ５４により発生された得られた“ワードポインタ”がバレルシフタ５０のシフ ト入力に供給され、このシフタがその出力復号窓を５８有効入力ビットの系列に 沿ってマクロブロック内の第１コードワードにシフトさせる。復号処理はこの時 点で開始する。 スキップされたマクロブロックは、ＶＬＤにより受信されるビットストリーム 内に、ＦＩＦＯコントローラ３８によりビットストリーム内に挿入されたユニー クコード値として現れる。この値は復号状態マシン６２により識別され、この状 態マシンがＶＬＤ出力を現マクロブロックの持続時間中ディセーブルにするか、 或いは現マクロブロックの持続時間中その出力端子にゼロ値の系列を発生させる 。この機構は自然のピクチャ進行を保証するとともにリアルタイム画像処理を可 能にする。 このＶＬＤアーキテクチャにより達成される追加の利点はバス幅の低減であり 、これによりＶＬＤハードウエアコストの低減及び動作速度の向上が得られる。 特に、バレルシフタのバス幅はビットストリーム内の最長ワードを収容する必要 があり、最長ワードはＭＰＥＧ−２ビットストリームでは３２ビットスタートコ ードである。しかし、（好適実施例のＶＬＤアーキテクチャでは）先に述べた本 発明の特徴に従ってスタートコードを３２ビットから１６ビットに短縮すること により２９ビット出力復号窓を有するバレルシフタの使用が可能になる。１９９ ５年１２月２８日に出願された本発明者の同時継続出願中の米国特許出願第０８ ／５ ８３，１４９号に開示されているバレルシフタマトリクス実現によれば、本発明 のＶＬＤ３４及び３６のバレルシフタに必要とされるゲートの数は２９²＝８４ １になる。従来のアーキテクチャは３２²＝１０２４ゲートを必要とする。従っ て、従来の実現に対しゲート数の１８％の節約が伝搬遅延の同等の低減とともに 得られる。 復号状態マシン６２をスタート−ストップモードで動作するようにすることに よりＤＣＴ係数に対するランレングスデコーディング（ＲＬＤ）機能をＶＬＤ３ ４及び３６に組み込むこともできる。これは規則正しいマクロブロック同期タイ ミングのために可能である。ＶＬＤ３４及び３６の出力端子からの奇数及び偶数 マクロブロックは固定タイミングを有するＨＤＴＶビデオデコーダの下流サブシ ステムに、もっと大きなサイズの区分、即ち最小サイズのフルラスタのスライス で動作する従来の区分ＨＤＴＶビデオデコーダと同様に、自然のピクチャ進行順 に供給する。ＶＬＤ３４及び３６の出力端子に２つの発生マクロブロックストリ ーム（“奇数”及び“偶数“）が同時に得られるため、ＨＤＴＶビデオデコーダ の他のタイミングクリティカル機能の区分化も可能である。 本発明のＨＤＴＶビデオデコーダ１０は現在入手し得るデコーダよりも優れた 下記のいくつかの利点を奏するが、これらの利点に限定されない。 (１)デコーダはマクロブロックレベルで区分され、メモリのシリコン使用量が 最小になる； (２)システム全体を画素レートの半分に等しいクロックに同期させることがで きる； (３)レートバッファへの複雑で高速な“同時”マルチポートアクセス及び関連 するメモリオーバヘッドが除去される； (４)所要のレートバッファメモリ速度の５０％の低減； (５)復号ピクチャ区分はピクチャ進行順である； (６)あらかじめ使用可能なレートバッファメモリや他の非使用（“空き”）レ ートバッファメモリの効率的な使用； (７)ＶＬＤ速度性能の向上； (８)ＶＬＤゲート数の節約； 以上、本発明の好適実施例を詳細に説明したが、上述した本発明のコンセプト の多くの変更及び／又は変形が当業者に明らかであり、これらも請求の範囲に特 定された本発明の範囲に含まれるものと理解されたい。例えば、区分（ＦＩＦＯ メモリ）に記憶されるマクロブロックの数、区分パスの数、クロック、及びレー トバッファに記憶されるデータ構造は本発明の範囲から逸脱することなく種々の 指定することができる。

───────────────────────────────────────────────────── 【要約の続き】 クを復号する第１及び第２の可変長デコーダとを具え る。関連する復号方法も開示している。

Claims (1)

1. 【特許請求の範囲】 1. 複数のデータブロックを含むビットストリームを復号する方法であって、 ビットストリーム内のデータブロック間の境界を識別し、識別した境界を示す ブロック境界情報を発生するステップと、 ブロック境界情報をビットストリームと組み合わせて複合ビットストリームを 発生するステツプと、 複合ビットストリームをレートバッファに記憶するステップと、 レートバッファから複合ビットストリームを読み出すステップと、 レートバッファから読み出した複合ビットストリームを復号するステップと、 を含むことを特徴とする復号方法。 2. ビットストリームはＭＰＥＧ−２ビットストリームであり、ブロックはマク ロブロックであることを特徴とする請求項１記載の方法。 3. 前記組み合わせステップはＭＰＥＧ−２ビットストリーム内の各マクロブロ ックの始め及びＭＰＥＧ−２ビットストリーム内の対応するスタートコードを複 数の可能な開始位置の内の１つにバイト単位でアライメントさせることにより実 行することを特徴とする請求項２記載の方法。 4. ブロック境界情報は複数の可能な開始位置の内の１つを識別する複数のＩＤ ビットを具えることを特徴とする請求項３記載の方法。 5. 前記復号ステップは少なくとも２つの可変長デコーダを用いて実行すること を特徴とする請求項１記載の方法。 6. 複合ビットストリーム内の順次のブロックをレートバッファとそれぞれの可 変長デコーダとの間に設けられた少なくとも２つのＦＩＦＯメモリに交互に記憶 することを特徴とする請求項５記載の方法。 7. レートバッファ、ＦＩＦＯメモリ、及び可変長デコーダの作動に共通のクロ ックを用いることを特徴とする請求項６記載の方法。 8. ブロック境界情報を可変長デコーダの各々に供給するステップを更に含み、 且つ 各可変長デコーダがこれに供給されたブロック境界情報に応答してその出力復 号窓を復号すべき次のデータブロックの開始にシフトさせることを特徴とする請 求項５記載の方法。 9. スキップされたマクロブロックを検出するステップと、 スキップされたマクロブロックを示す制御データを発生するステップと、 制御データをそれぞれの可変長デコーダに供給するステップと、 を更に含み、且つ 各可変長デコーダがこれに供給される制御データに応答して制御データにより 指示される検出されたスキップマクロブロックの持続時間中所定の出力を発生さ せることを特徴とする請求項５記載の方法。 10．複数のデータブロックを含むビットストリームを復号する装置であって、 ビットストリーム内のデータブロック間の境界を識別し、識別した境界を示す ブロック境界情報を発生する手段と、 ブロック境界情報をビットストリームと組み合わせて順次のマルチビット部分 からなる複合ビットストリームを発生する手段と、 複合ビットストリームの順次のマルチビット部分を記憶するとともに複合ビッ トストリームの順次のマルチビット部分を順次に出力するレートバッファと、 レートバッファから順次に出力される複合ビットストリームの順次のマルチビ ット部分を復号する手段と、 を含むことを特徴とする復号装置。 11．ビットストリームはＭＰＥＧ−２ビットストリームであり、ブロックはマク ロブロックであることを特徴とする請求項１０記載の装置。 12．前記組み合わせ手段はＭＰＥＧ−２ビットストリーム内の各マクロブロック の始め及びＭＰＥＧ−２ビットストリーム内の対応するスタートコードを複数の 可能な開始位置の内の１つにバイト単位でアライメントさせることを特徴とする 請求項１１記載の方法。 13．前記復号手段は少なくとも２つの可変長デコーダを具えることを特徴とする 請求項１０記載の方法。 14．レートバッファとそれぞれの可変長デコーダとの間に設けられた少なくとも ２つのＦＩＦＯメモリと、 複合ビットストリーム内の順次のブロックを少なくとも２つのＦＩＦＯメモリに 交互に記憶する手段と、 を更に具えることを特徴とする請求項１３記載の装置。 15．レートバッファ、ＦＩＦＯメモリ、及び可変長デコーダの作動に共通のクロ ックを用いることを特徴とする請求項１４記載の装置。 16．共通クロックはビットストリームにより表されるピクチャの画素レートの１ ／２であることを特徴とする請求項１５記載の装置。 17．ブロック境界情報を可変長デコーダの各々に供給する手段を更に含み、且つ 各可変長デコーダがこれに供給されたブロック境界情報に応答してその出力復号 窓を復号すべき次のデータブロックの開始にシフトさせることを特徴とする請求 項１３記載の装置。 18．更に、スキップされたマクロブロックを検出し、検出したスキップマクロブ ロックを示す制御データを発生するとともに制御データをそれぞれの可変長デコ ーダに供給する手段を含み、且つ 各可変長デコーダがこれに供給される制御データに応答して制御データにより 指示される検出されたスキップマクロブロックの持続時間中所定の出力を発生さ せることを特徴とする請求項１３記載の装置。 19．ディジタルビデオデータの複数のマクロブロックを含むＭＰＥＧビットスト リームを復号する装置であって、 ビットストリーム内のマクロブロック間の境界を識別し、識別した境界を示す マクロブロック境界情報を発生するビットストリームパーザと、 マクロブロック境界情報をＭＰＥＧビットストリームと組み合わせて順次のマ ルチビット部分からなる複合ビットストリームを発生するビットストリームフォ ーマッタと、 複合ビットストリームの順次のマルチビット部分を記憶するとともに複合ビッ トストリームの順次のマルチビット部分を順次に出力するレートバッファと、 第１及び第２のＦＩＦＯメモリと、 マクロブロック境界情報の検出に応答して第１及び第２のＦＩＦＯメモリを交 互に書き込み可能にし、第１及び第２のＦＩＦＯメモリにレートバッファから順 次に出力される複合ビットストリーム内の種々の順次のマクロブロックを交互に 記憶させるＦＩＦＯコントローラと、 第１及び第２のＦＩＦＯメモリによりそれぞれ記憶された複合ビットストリー ム内の順次のマクロブロックを復号する第１及び第２の可変長デコーダと、 を具えることを特徴とする復号装置。