JP2001508631A

JP2001508631A - Ｄｖｄビデオを処理する方法及び装置

Info

Publication number: JP2001508631A
Application number: JP52582899A
Authority: JP
Inventors: アレックスジョンヘーレラ
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-11-04
Filing date: 1998-11-02
Publication date: 2001-06-26
Also published as: KR20000069892A; CN1230790C; CN1249836A; US6538658B1; EP1002428A2; KR100604102B1; US6208350B1; WO1999023831A3; WO1999023831A2

Abstract

(57)【要約】３Ｄグラフィックアクセラレータ（８４）が、ＤＶＤデータストリームを再生するよう構成されたコンピュータシステム（８０）においてＭＰＥＧ−２ビデオ復号をサポートするように変更される。本方法及び装置は、３Ｄグラフィックアクセラレータ（８４）を動き補償及び／又はＹＵＶ4:2:0／ＹＵＶ4:2:2変換を実行するように変更する。該３Ｄグラフィックアクセラレータ（８４）により、サブコード混合も更にグラフィックスの発生とデジタルビデオ処理とをサポートする装置であって、該装置が−三次元空間内の三角形の画像を、該三角形にデジタルテクスチャがマップされた形で計算するテクスチャマッピングエンジンと、−圧縮された二次元デジタル画像情報を入力する手段であって、該情報がデジタル画像マップと該デジタル画像マップ内のブロックの時間的変位を表す少なくとも１つの動きベクトルとを符号化しているような手段と、を有する装置において、前記テクスチャマッピングエンジンが前記デジタル画像情報を伸張するように構成され、前記ブロックが変位した画像が、該ブロックを三次元空間内における三角形用のテクスチャマップとして使用することにより計算されることを特徴とする装置。サポートされる。

Description

【発明の詳細な説明】ＤＶＤビデオを処理する方法及び装置本発明は、コンピュータに係り、更に詳細にはコンピュータを用いてデジタル多目的ディスク（ＤＶＤ）のデータストリームを処理する方法及び装置に関する。ＤＶＤ（デジタル多目的ディスク）の出現は、パーソナルコンピュータ（ＰＣ）に対して大きな市場成長の機会をもたらした。また、ＤＶＤの出現は、高度に価格競争的なＰＣ市場への重大な技術的挑戦、即ちユーザが要求するデジタルビデオ性能及び品質を提供する一方、広い範囲の他のＰＣのアプリケーションをサポートするように充分に柔軟性を維持するような価格効果のあるＰＣアーキテクチャの提供、をもたらした。既知のように、ＤＶＤ技術は今日のマルチメディアＰＣ環境に対して大きな前進をもたらした。ＣＤ−ＲＯＭに対する後方互換性を提供することに加えて、現在のＤＶＤは４.７ＧＢと１７ＧＢとの間の記憶容量を提供し、該容量は典型的なＣＤの記憶容量の少なくとも約８倍である。このような増加された記憶容量をサポートするために、ＤＶＤ−ＲＯＭ駆動装置のようなＤＶＤ装置は、典型的には、１０Ｍｂ/sを越える帯域幅を備えている。ＤＶＤ技術をＭＰＥＧ−２ビデオ圧縮技術のようなビデオ圧縮技術並びにＭＰＥＧ−２及びＡＣ−３オーディオ技術のようなオーディオ圧縮技術と組み合わせることにより、ＰＣはビデオ表示装置及びオーディオ再生装置に対して放送よりも良好な品質のテレビジョン（ＴＶ）を供給することができる。ＤＶＤは、ＰＣ技術が種々の新たな市場領域に移転する道も開いている。ＤＶＤはＰＣ産業により歓迎されるのみならず、娯楽及び消費者向け電子産業によっても歓迎されている。そのようであるから、多くのＰＣ製造者及びソフトウェア開発者はＤＶＤがデスクトップＰＣを充分に育った娯楽装置に変える次の段階を代表していると考えている。例えば、娯楽ＰＣからセットトップＰＣまで及びＰＣ−ＴＶのあらゆるものと言われる新製品が宣伝され始めている。例示として、ゲートウェイ及びコンパックのような製造者は、ビデオ及びコンピュータに基づく娯楽を家庭に供給するように特別に仕立てられた製品の出荷を開始している。加えて、フィリップスは、居間用を目標とすると共に、且つ、ＰＣアーキテクチャに基づくようなDVX8000マルチメディアホームシアタ製品を最近発表した。このような傾向を認識すると共に促進して、マイクロソフトは“娯楽ＰＣ”なる斯かる新種に対するプラットフォーム要件の特異なセットを規定しようとしている。種々のＰＣプラットフォーム上のＤＶＤにとり、将来は明るいように見えるが、如何にして今日のＰＣアーキテクチャの制約及びＰＣ市場の価格に敏感な現実内で技術作業を行うかという当面の問題が存在する。ＭＰＥＧ−２規格は、典型的な５Ｍｂ／秒のＭＰＥＧ−２ビデオ信号を表示可能なビデオ信号に復号し且つ伸張するために必要とされる処理量故に、特に困難な問題を提起する。加えて、付随するオーディオ信号も復号され、且つ、多分伸張されねばならない。結果として、ＤＶＤ能力を有するＰＣアーキテクチャは、主流の市場にとってはコストが掛かり過ぎ、且つ／又は、充分に動作するための必要な性能に欠ける傾向にある。品質、記憶及びビットレートの目標を達成するため、ＤＶＤビデオ規格はＭＰＥＧ−２ビデオ並びにＡＣ−３及びＭＰＥＧ−２の両オーディオを含み、幾つかの既存のオーディオ及びビデオ圧縮及び伝送規格を梃子にする。例示として、図１は典型的なＤＶＤ処理パイプラインを図示し、該パイプラインにおいてＤＶＤデータストリームは例えばＤＶＤ−ＲＯＭ駆動装置及び／又は遠隔装置から入力され、復号され且つ伸張されたデジタルビデオ信号及び対応するデジタルオーディオ信号（又は複数の信号）に変換される。ＤＶＤデータストリームは連続したデータパケットからなり、各パケットは典型的には種々のシステム情報、ビデオ情報及びオーディオ情報を含んでいる。図１に図示されたビデオ復号パイプライン１０は、３つの高レベル処理段、即ち、システムストリーム解析段１２、ビデオ処理段１４及びオーディオ処理段１６に分割される。これらの処理段及び他のもの並びにＤＶＤ及びＭＰＥＧ−２規格に関する追加の情報は、ＤＶＤ仕様書なる題名の、１.０版、１９９６年８月のＤＶＤ仕様書、及びスイス国、ジュネーブ２０、ＣＨ１２１１、私書箱５６、ＩＳＯ／ＩＥＣ著作権オフィスから入力可能なＭＰＥＧ−２ビデオ仕様書ＩＳＯ／ＩＥＣ１３８１８−１、２、３に提供されている。これら文献の各々は、全体として且つ全ての目的において、参照することにより本明細書に組み込まれるものとする。システムストリーム解析段１２において、入力されるＤＶＤデータストリームは、例えばＣＳＳ解読技術を用いて、３つの独立したストリーム、即ちＭＰＥＧ −２ビデオストリーム１５、ＭＰＥＧ−２（又はＡＣ−３）オーディオストリーム１７及び副画像ストリーム１３、に分離又はデマルチプレクスされ及び／又はデスクランブルされる。例示として、或る実施例においては、ＭＰＥＧ−２ビデオストリーム１５は約９Ｍｂ／秒のビットレートを有することができ、オーディオストリーム１７（ＭＰＥＧ−２又はＡＣ−３）は約３８４Ｋｂ／秒のビットレートを有することができる。副画像ストリーム１３は、比較的低いビットレートを有する傾向があり、最終的デジタルビデオ信号にオンスクリーン表示（ＯＳＤ）として組み込むことができる、メニュ又は非公開字幕データ等の副画像情報を含む。ＭＰＥＧ−２ビデオストリーム１５及び副画像ストリーム１３は、次いで、更なる処理のためにビデオ処理段１４に供給される。同様に、オーディオストリーム１７も、更なる処理のためにオーディオ処理段１６に供給される。図１に図示したように、ビデオ処理段１４は、３つの副段を含んでいる。第１副段はＤＶＤ副画像復号段１８であり、該副段においては副画像ストリーム１３がＤＶＤ仕様に従って復号される。例えば、ＤＶＤは、１６色のパレットからの色からなるビットマップ系列に復号することが可能な３２個までの副画像ストリームを許容する。上述したように、復号された副画像は典型的には、メニュ、非公開字幕及び副題等のＯＳＤである。ＤＶＤ仕様に従い、上記副画像（又は複数の副画像）は、最終的デジタルビデオ信号における真の透過重ね書きのためにビデオと混合される。ビデオ処理段１４の第２副段はＭＰＥＧ−２復号副段２０であり、該副段ではＭＰＥＧ−２ビデオストリームが復号され及び伸張され、及びＹＵＶ４：２：２デジタルビデオ信号に変換される。ＭＰＥＧ−２仕様に従い、ＭＰＥＧ−２復号副段２０は、可変長復号（ＶＬＤ）２２、逆量子化（IQUANT）２４、逆離散コサイン変換（ＩＤＣＴ）２６、動き補償２８、及び平面ＹＵＶ４：２：０／インターリーブされた４：２：２変換３０を実行する。これらの処理副段は、ＭＰＥＧ −２がＩフレーム又はＩ画像と呼ばれる或る画像は全体の画像が８ｘ８のブロックに分割され、これらブロックが離散コサイン変換（ＤＣＴ）を介して処理されると共に単独で元の画像を表すような圧縮された係数の集合に量子化されるように“内部（intra）”符号化されることを規定しているため、必要である。ＭＰＥＧ−２仕様は、“Ｉ”画像の間に、予測される画像（“Ｐ”画像）及び／又は双方向補間された画像（“Ｂ”画像）の何れかとして知られている中間画像も許容している。これらの中間画像においては、殆どのビデオ場面で見付けられる時間的冗長性を利用するために、ブロックの全てのＤＣＴを介しての符号化よりも、むしろ動き補償情報が利用される。動き補償を使用することにより、ＭＰＥＧ −２は、画像の品質を大きく低下させることなく、必要とされるデータ記憶量及びそれに関連するデータビットレートを劇的に減少させる。このように、例えば、動き補償は、Ｐ又はＢ画像における１６ｘ１６の“マクロブロック”が以前の又は将来の画像におけるマクロブロックを参照することにより“予測”されるのを可能にする。動きベクトルと呼ばれる予測ポインタを符号化することにより、ＭＰＥＧ−２は高品質を維持しながら高い圧縮率を達成することができる。結果としてのＹＵＶ４：２：２信号及び復号された副画像デジタルビデオ信号は、次いで、ビデオ処理段１４の第３副段２１に供給され、上述し且つ上記ＤＶＤ仕様に詳細に記載されているように、これらＹＵＶ４：２：２信号及び復号された副画像信号はアルファ混合処理３２において一緒に混合されて、透過重ね書きを生成する。次に、該混合されたデジタルビデオ信号はＹＵＶ／ＲＧＢ変換処理３４に供給され、該処理においては上記混合されたデジタルビデオ信号はＹＵＶ形式から対応する赤緑青（ＲＧＢ）形式に変換される。結果としてのＲＧＢデジタルビデオ信号は次いで画像スケーリング処理３６に供給され、該処理において該ＲＧＢデジタルビデオ信号は表示用の特定の寸法に寸法決めされる。結果としての最終的デジタルビデオ信号は表示装置上に表示することができるか、又は、さもなければビデオ記録又は送出装置のような他の装置に供給することができる。例えば、上記の最終的なデジタルビデオ信号は、該最終デジタルビデオ信号（ＲＧＢ形式である）をアナログＲＧＢビデオ信号に更に変換することにより、モニタ又はＣＲＴ上に表示することができる。ＤＶＤ処理パイプライン１０に関連する上記処理段／副段は、極めて計算集約的な傾向にある。パイプライン１０の最も計算集約的な部分であるＭＰＥＧ−２ビデオフォーマットは、或る範囲の異なる表示フォーマットにわたって最良の品質を提供すると共にＤＶＤの高いビットレート及び記憶容量に良好に適合するので、ＤＶＤ技術用に選択されている。例えば、ＭＰＥＧ−２ビデオは柔軟性があり且つ拡大縮小が可能であると共に、標準のインターレースされたＮＴＳＣから高精細度の１６：９の順次走査までの広い範囲の表示フォーマット及びアスペクト比をサポートするために使用することができる。計算集約的なＭＰＥＧ−２表示フォーマットの一例は、メインプロファイル、メインレベル（ＭＰＭＬ）ＭＰＥＧ−２フォーマットであり、該フォーマットは６０フィールド／秒又は３０フレーム／秒（fps）で動作する７２０ｘ４８０ピクセルの表示をサポートする。図１に戻って、前記オーディオストリームはシステムストリーム解析段１２によりオーディオ処理段１６に供給される。オーディオ処理段１６は、ＮＴＳＣ準拠の装置で使用するよう規定された高品質サラウンドサウンド再生用の６チャンネル（即ち５.１チャンネル）のオーディオを伴うドルビＡＣ−３、又はＰＡＬ及びＳＥＣＡＭ準拠の装置用に規定されたＭＰＥＧ−２（７.１チャンネルまで）の何れかを復号する。結果としての最終的デジタルオーディオ信号は、例えば、アナログ信号への変換により再生されることが可能であり、該信号はサウンド発生装置のようなオーディオ再生装置に供給され、該装置は上記デジタルオーディオ信号をアナログ信号に変換し、該オーディオ信号を増幅し又は調節し、及び該信号を１以上のスピーカに供給する。予想されるように、上記オーディオストリームの復号は上記ビデオストリームを復号するよりも大幅に計算集約の程度が少ない。ＰＣ製造者にとり、及び消費者にとっても同様に、ＤＶＤ機能を設けることについての重要な考慮点は価格である。上述したＤＶＤ処理は計算集約的であるので、上記ＤＶＤ処理パイプラインの種々の段／副段に関連するコストを本質的に低減させるコスト効果のある解決策を引き出す必要がある。現在可能な解決策は、３つの基本型式の１つに分類することができる。第１の型式の解決策は、ＤＶＤ処理タスクをコンピュータ内のプロセッサに全面的に任せるもので、それ自体ソフトウェアのみの解決策である。ＰＣのプロセッサ上で走るソフトウェア（例えば、コンピュータ命令）を介して全てのＤＶＤパイプラインを完遂させることにより、殆どのＰＣアーキテクチャにおいては基本的に付加的なＤＶＤ関連ハードウェア部品を追加する必要はない。しかしながら、ＤＶＤ処理を成し遂げるために、ＰＣのプロセッサは充分に能力（例えば、演算速度）がなければならない。現在のところ、最新のインテルペンティアムII プロセッサに基づくプラットフォームは約２４フレーム／秒（fps）までのフレームレートを提供することができるのみである。２４fpsを越えるものを得るには、上記ペンティアムIIに基づくプラットフォームは、典型的には上記動き補償処理２８をなすために、追加のハードウェア支援を必要とする。しかしながら、過去及び将来で期待されるプロセッサの性能の改善が与えられれば、全フレームレートのＤＶＤ復号をＰＣのプロセッサを介して成し遂げることは直ぐに可能であるように見える。それにも拘わらず、斯かる現行技術のプロセッサに関する価格は、多くのＰＣ消費者にとり、手を出せない。加えて、ＤＶＤの再生は、ＰＣが該再生の間にそれ以上のことを殆どすることが不可能となる程、該ＰＣのプロセッサ並びに関連するバス（又は複数のバス）及びメモリに重荷を課すことになる。多くのユーザにとり、このような動作は許容できないことが分かるであろう。最近見られるように、ＤＶＤ仕様に従わない或る近道（short cut）をソフトウェアのみの解決策により採ることも、可能である。例えば、何らかのソフトウェアのみの解決策が、透過効果を得るために２つのピクセルを実際に一緒に混合させる代わりに、副画像ピクセル又はＭＰＥＧで導出されたピクセルの何れかを表示するためにピクセル毎の単位で単純に選択することにより、アルファ混合処理３６を単純化する。この場合においても、これらのような近道は、ＤＶＤ能力を低下させ、結果として準拠しない装置となり得る。第２の形式の解決策は、ＤＶＤ処理タスクを、プロセッサを必要とせずに、全体としてＰＣのハードウェアに任せるものである。このハードウェアのみの解決策は、プロセッサを解放する傾向にある。しかしながら、このような特化された回路（例えば、ＤＶＤデコーダ）を設けることは非常に高価であり、結果として大幅なコスト増加になり、これが高度に競争的な市場をくじく可能性がある。また、上記の特化された回路は、或るＰＣアーキテクチャにおいてはＰＣのバス（又は複数のバス）、インターフェース及びメモリ部品へのアクセスを必要とすることにより、ＰＣの性能を低減させる可能性もある。第３の形式の解決策は、最初の２つの形式の混成であり、ＤＶＤ処理タスクがＰＣのプロセッサ（即ち、ソフトウェア）と、処理の一部を扱うように構成された特別な回路（例えば、デコーダ）との間で分散されることを必要とする。該混成解決策は、所与のＰＣアーキテクチャ／アプリケーション用に精密に整合され且つ変更され得る異なる構成が可能になる点で柔軟性がある。しかしながら、依然として上記の特別な回路に関係する追加のコストが存在し、これが消費者のコストを上昇させ得る。かくして、ＤＶＤ再生機能を、例えば、ＰＣ等のコンピュータにおいて設けるための、コスト効果のある、改善された、且つ、準拠した方法及び装置に対する要求がある。本発明は、ＤＶＤデータストリームがコンピュータシステム内で再生されることを可能にするような方法及び装置の形で、改善された且つコスト効果のある混成解決策を提供するものである。本発明の一つの特徴によれば、上記方法及び装置は、命令信号に基づいてグラフィックスも発生することが可能なグラフィックスエンジン内で特定の復号処理を実行することにより、準拠したＤＶＤ及び／又はＭＰＥＧ−２ビデオ再生を可能にする。このように、本発明の一実施例によれば、プロセッサを有するコンピュータシステムにおいて使用されるような装置であって、グラフィックスの発生及びデジタルビデオ処理をサポートするような装置が提供される。該装置は、組立エンジン、変換器及びテクスチャマッピングエンジンを有する。上記組立エンジンは、上記プロセッサからの少なくとも１つの命令に応答するもので、該命令信号内の頂点情報を対応する三角形情報に変換する。該三角形情報は、三次元内で三角形を描く。上記変換器は該三角形用のデジタルピクセルデータを上記三角形情報に基づいて決定する。上記テクスチャマッピングエンジンは、該デジタルピクセルデータを上記三角形情報と少なくとも１つのデジタルテクスチャマップとに基づいて修正する。当該装置自体はグラフィックスの発生をサポートする。上記テクスチャマッピングエンジンは、デジタルビデオ処理をサポートするために、少なくとも１つのデジタル画像マップと少なくとも１つの動きベクトルとに基づいて動き補償されたデジタル画像データも発生する。本発明の或る実施例によれば、上記デジタル画像マップは、ＭＰＥＧにより発生されたＩ及び／又はＰ画像からのデジタルピクセルデータを含むマクロブロックである。本発明の他の実施例によれば、前記テクスチャマッピングエンジンは、第１及び第２のデジタルピクセルデータに基づいて、補間されたデジタルピクセルデータを決定する少なくとも１つの双線形補間器を有している。該双線形補間器自体は、副ピクセルサンプル点上にあるマクロブロックの双線形フィルタを実行して、ピクセルサンプル点上にある１つの予測されたマクロブロックを発生するために使用される。更に他の実施例おいては、上記テクスチャマッピングエンジンは、第１の動きベクトルに基づき第１の双線形フィルタを実行すると共に、第２の動きベクトルに基づき第２の双線形フィルタを実行し、且つ、第１の双線形フィルタの結果と第２の双線形フィルタの結果とを平均して、１つの予測されるマクロブロックを発生する。或る実施例では、当該装置は、ＩＤＣＴ係数を該テクスチャマッピングエンジンにより発生されたデジタルピクセルデータに加算するように構成される。かくして、本発明の或る実施例はＭＰＥＧ−２の動き補償処理をサポートすることができる。本発明の或る他の実施例によれば、当該装置は、垂直方向のアップスケーリングを行い、ＹＵＶ４：２：０にフォーマットされた画像のインターリーブにより、ＹＵＶ４：２：２にフォーマットされた画像を発生するように構成される。前述した要求及び他の要求は、本発明の一実施例によるコンピュータシステムであって、符号化されたデータストリームのビデオ再生を行うことができるシステムによっても満たされる。該コンピュータシステムは、プロセッサ、データバス機構、主メモリ、表示装置及びグラフィックスエンジンを含み、該グラフィックスエンジンは、上記プロセッサからの少なくとも１つの命令信号に基づいてデジタル画像データを発生し、動き補償されたデジタル画像データを少なくとも１つのデジタル画像と少なくとも１つの動きベクトルとに基づいて発生し、ＹＵＶ４：２：０にフォーマットされた画像をＹＵＶ４：２：２にフォーマットされた画像に変換し、該ＹＵＶ４：２：２にフォーマットされた画像をＲＧＢにフォーマットされた画像に変換し、該ＲＧＢにフォーマットされた画像を拡大縮小し、及び該ＲＧＢにフォーマットされた画像を表示装置上に表示することができるアナログ信号に変換するように構成される。本発明によれば、コンピュータシステム内でグラフィックスを発生し、及びデジタルビデオ信号を処理する方法が提供される。該方法は、グラフィックスエンジンを使用して、少なくとも１つの命令信号に基づき該命令信号内の頂点情報を対応する三角形情報に変換することによりデジタル画像データを発生させる過程と、該三角形情報に基づいて該三角形用のデジタルピクセルデータを決定する過程と、該デジタルピクセルデータを上記三角形情報と少なくとも１つのデジタルテクスチャマップとに基づいて修正する過程とを含んでいる。該方法は、更に、同じグラフィックスエンジンを使用し、少なくとも１つのデジタル画像マップと少なくとも１つの動きベクトルとに基づいて動き補償されたデジタル画像データを発生することにより、動き補償されたデジタル画像データを発生させる過程を含む。本発明の或る実施例によれば、当該方法は同じグラフィックスエンジンを使用して、ＹＵＶ４：２：０にフォーマットされた画像の少なくとも一部をオフセットすると共に該ＹＵＶ４：２：０にフォーマットされた画像のサンプルを対応する宛先画像に選択的にマップして垂直方向のアップスケーリングをする一方、上記宛先画像のバイトデータを選択的に配列して該バイトデータをインターリーブすると共にＹＵＶ４：２：２にフォーマットされた画像を発生することにより、ＹＵＶ４：２：０にフォーマットされた画像をＹＵＶ４：２：２にフォーマットされた画像に変換する過程を含む。本発明の上記及び他の機能、特徴及び利点は、添付図面を参照してなされる本発明の以下の詳細な説明から明らかとなるであろう。本発明が、限定としてではなく例示として添付図面の各図に図示されており、これらの図において類似する各部には同様の符号が付してある。図において、図１は、コンピュータと共に使用する典型的な従来のＤＶＤ処理パイプラインを図示するブロック図、図２Ａ及び図２Ｂは、図１のＤＶＤ処理パイプラインの全て又は一部を実行するよう構成された典型的な従来のコンピュータシステムを図示するブロック図、図３は、図１のＤＶＤ処理パイプラインの特定の部分を実行する例示的なコンピュータシステムの解析の結果を図示する表で、当該コンピュータシステムのプロセッサに掛かる相対的作業負荷の重さ（％）が、本発明の一実施例によりハードウェア構成のみにおいて実行される同一又は類似のＤＶＤ関連処理の相対的推定目安と共に掲載されている。図４は、図２に示すような、本発明によりコンピュータシステムで使用するための３Ｄグラフィックスエンジンを持つ例示的なグラフィックスアクセラレータを図示するブロック図、図５は、本発明による、図４のグラフィックスアクセラレータに使用するための例示的な３Ｄグラフィックス処理パイプラインを図示するブロック図、図６は、本発明による、図４のグラフィックスアクセラレータに使用するためのラスタライザを持つ例示的な３Ｄグラフィックスエンジンを図示するブロック図、図７は、本発明による、図６の３Ｄグラフィックスエンジンに使用する、走査テクスチャマッピングエンジン、ラスタ演算部及びピクセルパッキングロジックを持つ例示的なラスタライザを図示するブロック図、図８は、本発明の一実施例による、プロセッサ、変更されたグラフィックスアクセラレータ及びフレームバッファを持つコンピュータシステムを図示するブロック図、図９は、本発明の一実施例による、図８のコンピュータシステムのフレームバッファ内のメモリの割り付けを図示するブロック図、図１０Ａないし図１０Ｃは、本発明の一実施例による、図７のラスタライザのピクセルパッキングロジックによりマップされるＹ、Ｕ及びＶ画像データのマッピング順序を図示するブロック図、図１１は、本発明の一実施例による、図７のラスタライザのラスタ演算部を図示するブロック図、図１２は、本発明の一実施例による、Ｙ、Ｕ及びＶ画像データをマップするための複数のマルチプレクサを有する図７のピクセルパッキングロジックのブロック図である。本発明の方法及び装置の詳細な説明は、背景技術の部分で先に提示した情報に基づくもので、表題の付された小節に分割されている。ＶＤ再生をサポートする既存のＰＣアーキテクチャ前述した形式の解決策を更に示すために、図２Ａは、ＤＶＤ処理パイプラインコンピュータ命令セット４４により表されたソフトウェアのみの解決策で以て構成されたプロセッサ４２を有する典型的なＰＣシステム４０を図示している。プロセッサ４２は、例えばインテルのペンティアム系プロセッサ又はモトローラのパワーＰＣプロセッサのような１以上のプロセッサを表している。該プロセッサ４２はチップセット４６に結合されている。チップセット４６は、プロセッサ４２への／からのアクセス、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）４８等の主メモリへの／からのアクセス、並びに周辺機器構成装置インターフェース（ＰＣＩ）バス５０及び／又はＩＳＡバス５２等の１以上のデータバスへの／からのアクセスを提供する。図示のように、グラフィックスアクセラレータ５４はＰＣＩバス５０に結合されており、該ＰＣＩバス及びチップセット４６を介してプロセッサ４２及び／又はＤＲＡＭ４８とインターフェースし、又はＰＣＩバス５０及び／又はＩＳＡバス５２上の他の装置（図示略）とインターフェースするように構成されている。グラフィックスアクセラレータ５４は二重緩衝方式のフレームバッファ５６に結合されると共に、アナログビデオ信号をディスプレイ５８に出力するように構成されている。典型的にはＰＣＩバス５０よりは低いビットレートを持つＩＳＡバス５２は、該ＩＳＡバス５２に１以上の装置が結合され得るように設けられ、該バスを介して、これら装置はプロセッサ４２、ＤＲＡＭ４８又はＰＣＩバス５０及び／又はＩＳＡバス５２上の他の装置とインターフェースすることができる。例えば、サウンド再生装置６０がＩＳＡバス５２と結合されるように図示されている。本実施例においては、該サウンド再生装置６０はプロセッサ４２から最終的なデジタルオーディオ信号を入力し、対応するオーディオ音、即ちサウンドを出力するように構成されている。少なくとも１つの記憶装置６２も、ＩＳＡバス５２に結合されているように図示されている。記憶装置６２は、例えばディスクドライブ、テープドライブ、及び／又はＣＤ若しくはＤＶＤドライブのような光学記憶装置（例えば、読取専用メモリ（ＲＯＭ）及び／又はＲＡＭ）を含む種々の記憶装置を表している。図２Ａにおいて、例えば、記憶装置６２がＤＶＤ−ＲＯＭである場合は、再生の間にＤＶＤデータストリームがＩＡＳバス５２及びチップセット４６を介してプロセッサ４２に供給される。記憶装置６２により出力されるＤＶＤデータストリームは、典型的には、ＤＶＤから取り出され、プロセッサ４２に供給される前に、多分、記憶装置６２により解読され又は、それ以外に、処理されているであろう。ソフトウェアのみの解決策においては、プロセッサ４２がＤＶＤ処理パイプラインコンピュータ命令セット４４に従いＤＶＤ処理を成し遂げる。この処理は、典型的には、例えば処理の間の中間データを記憶又は取り出すために、チップセット４６を介してＤＲＡＭ４８にアクセスすることを含む。次いで、最終的なデジタルビデオ信号がプロセッサ４２によりチップセット４６及びＰＣＩバス５０を介してグラフィックスアクセラレータ５４に供給される。グラフィックスアクセラレータ５４は該最終デジタルビデオ信号をバッファ５６内に記憶し、次いで、該最終デジタルビデオ信号をバッファ５６から取り出すと共に、例えば、デジタル／アナログ変換器（ＤＡＣ）を用いて該最終デジタルビデオ信号を最終アナログビデオ信号に変換する。この最終アナログビデオ信号は、次いで、表示装置５８に供給される。また、プロセッサ４２は前記最終デジタルオーディオ信号をサウンド再生装置６０に供給し、該装置は上記最終デジタルオーディオ信号を音に変換する。図２Ｂは図２Ａに類似しており、同様の符号は同様の構成部分を示している。図２ＢはＰＣシステム４０'を図示し、該システムはハードウェアのみの解決策又は混成解説策の何れとしても構成することができる。図示のように、図２Ｂにおいては、デコーダ６４により表されているように、追加の特別な処理／回路が設けられている。システム４０'がハードウェアのみの解決策として構成される場合は、図１のＤＶＤ処理パイプラインの殆ど全てがデコーダ６４により達成される。混成解決策として構成される場合は、システム４０'はＤＶＤ処理パイプラインの一部（例えば、図１参照）を、デコーダ６４による部分的処理に先立ち、及び／又は、続いてプロセッサ４２により完了させる。例えば、デコーダ６４は動き補償処理２８をなすよう構成することができる。ＤＶＤ関連処理の解析前記３つの形式の解決策を考えると、ソフトウェアのみによる解決策の自然な利点は、コスト有効性である（プロセッサ４２のコストは無視する）。ソフトウェアのみによる解決策は、既存の処理能力を利用して（顧客が既に支払っている）、本質的にコストの増加なしでＤＶＤ再生をなす。欠点は、今日のソフトウェアのみによる解決策は、フレームレート、品質及び機能性が不足する傾向にあり、典型的なプロセッサにおいては処理速度の不足により制限される点にある。では滑らかな、放送品質のＤＶＤ再生を提供することはできない。ＤＶＤ処理パイプラインの全てを例えばシリコンにより実施するようなハードウェアのみによる解決策は、プロセッサへの負担を軽くすると共に、原題材に忠実に何のアーチファクトも伴わずに表示されるような、典型的な５Ｍｂ／秒のＤＶＤビデオに対して繋ぎ目のない全フレームの高品質なビデオを送出するのに使用することができる。しかしながら、単にハードウェアを追加することによる１つの問題はコストである。非常に競合的なＰＣグラフィックスコントローラの市場は、歴史的に、グラフィックスコントローラ及び追加デコーダに対する高価格に抵抗する。確かに、グラフィックスコントローラチップの価格は極めて平坦に留まっており、性能の増加にも拘わらず、時間につれて低下しさえもしている。このとが、グラフィックスアクセラレータ及び他の同様のチップの製造者に、どれだけ多くの機能をハードウェアに委ねるかについて極めて慎重であることを要求している。例えば、ハードウェアのみによる解決策に使用するためのデコーダ６４は、ＭＰＥＧ−２システム、オーディオ及びビデオ復号を効果的に処理するには、少なくとも約７２,０００論理ゲート（又は同等のもの）を消費するであろうと推定される。加えて、デコーダ６４の機能を既存のグラフィックスアクセラレータに追加することは合理的でないと思われる。何故なら、今日のコスト効果のあるＣＭＯＳ工程においては、この範囲のゲート数では、主流のＰＣグラフィックスアクセラレータチップに組み込むことを考えるには、通常、あまりにもコスト的に手を出せないからである。かくして、ハードウェアのみによる解決策でＤＶＤ再生をサポートすることは、ＰＣ市場の大部分にとって短期間内には実行可能な解決策になるとは思われない。理想的には、主流のデスクトップＰＣが、ハードウェアのみによる解決策の品質及び性能に、ソフトウェアにみによる構成のコスト効果を備えることである。これは、コスト効果のある混成解決策を必要とする。本発明は、ハードウェアのみによる解決策の性能にソフトウェア解決策のコスト及び簡素さを組み合わせる非常にコスト競争力のある混成解決策のための方法及び装置を提供する。本発明による最適な混成解決策への到達は、性能上の障害を識別し、上記パイプラインをハードウェアにより実施化する場合の複雑さ及びコストを評価したＤＶＤ処理パイプラインの徹底した解析の結果である。本発明の１つの特徴によれば、１つの重要な目標は、処理時間の多くの量を費やすタスクをハードウェアのコストを大幅に上昇させることなしにハードウェアに任せることであった。他の重要な目標は、殆ど全てのＰＣプラットフォームがグラフィックス表示をサポートするために必要とするグラフィックスアクセラレータチップを利用することであった。例示的なアーキテクチャに関する該解析の結果が図３の表に示され、該表は、左から右に処理タスク、プロセッサ負荷及びハードウェアコスト（ハードウェアコストは、Ｈ＝高い、Ｍ＝中程度、Ｌ＝低い、及びＥ＝既存のハードウェアで可能、に符号化されている）を各々表示する３つの欄を有している。この解析に基づいて、システム高レベル復号及び安全保護層並びにＭＰＥＧ−２ＶＬＤのはハードウェア構成の考慮から除外されるものと決定された。何故なら、これらのタスクは極めて計算集約的であるということではなく、例えば変更されたグラフィックスアクセラレータよりもプロセッサ２の汎用プログラム可能性により良く適合しているからである。同様に、ＩＤＣＴ及びＩＱＵＡＮＴ処理も考慮から削除された。何故なら、プロセッサのオーバーヘッドは比較的小さく、ハードウェアへの衝撃が重大であるからである。例えば、ＩＤＣＴ及びＩＱＵＡＮＴ処理は乗算、加算及び乗算−累算（ＭＡＣ）演算に大きく頼る傾向があるが、これら演算は例えばペンティアムＡＣ−３オーディオも、幾つかの理由で考慮から削除された。先ず、該オーデ因して、プロセッサ時間の大きな部分を必要とはしない。該オーディオ処理は少なからぬハードウェアの大きさ及び複雑さを必要とする傾向にある。今日の主流のＰＣアーキテクチャにおいては、オーディオ及びグラフィックス／ビデオは、通常、物理的に分離されているから、ＡＣ−３処理は、変更されたグラフィックスアクセラレータ内で実行しようと試みるよりも、むしろプロセッサ４２又はオーディオシステムに任せるほうが理にかなっている。このように、本発明の一実施例により、動き補償処理（Mot.）２８、ＹＵＶ４：２：０／４：２：２変換処理３０及びアルファ混合処理３２の除去が実施化コストでの最大の見返りを与えるようであると判定された。したがって、これらの処理は変更されたグラフィックスアクセラレータ８４に割り当てられた（図８参照）。事実、動き補償処理２８及び平面ＹＵＶ４：２：０／４：２：２変換処理３０を上記の変更されたグラフィックスアクセラレータ８４に移すことにより、秒（３０fps）なる最終目標を達成することができると期待される。アルファ混合処理３２をハードウェアに任せることにより、今日のプラットフォーム上でソフトウェアのみの解決策が動作する従来例とは対照的に、副画像の真の透過表示が可能となる。何故なら、典型的なアルファ混合処理３２は各ピクセルにつきテーブルのルックアップ、並びに２つの加算と２つの乗算（又は、シフト及び加算）を必要とするからである。このような計算集約的な処理の場合は、殆どのソフトウェアのみによる解決策は、ＯＳＤ機能を妥協し、意図するＤＶＤ仕様の透過表示よりも、代わりにビデオ上への副画像の不透明な“カラーキー ”の重ね書きを使用することを強制される。シリコンに任せる最も望ましい機能として識別された上記動き補償処理、ＹＵＶ４：２：０／４：２：２変換及びアルファ混合処理によれば、開示された実施例は簡素で、強固で且つコスト効果のある構成を提供する。現在のグラフィックスアクセラレータのアーキテクチャをこれら処理と比較することにより、既存のハードウェアは非常に少ないコストで該適切なＤＶＤ関連処理を提供するように変更することができることが分かった。変更されたグラフィックスアクセラレータを使用する提案された混成解決策の概要このように、開示される実施例の方法及び装置は、既存のグラフィックスアクセラレータのハードウェア及びソフトウェアドライバを事実上消費者に対する何の追加コストもなしで変更することにより、完全フレームの準拠したＤＶＤを達成する特異な混成解決策を提供する。本発明によれば、典型的なグラフィックスアクセラレータ内の既存の３Ｄエンジンの殆どにより典型的にはサポートされているような三次元（３Ｄ）テクスチャマッピング処理が、上記動き補償及びＹＵＶ４：２：０／４：２：２変換処理に類似していると識別された。これらの処理は、該既存の３Ｄグラフィックスエンジン内でサポートされている演算により、殆ど完全に実施することができる。これらの処理を完遂するに必要とされる全てのことは、変更されたグラフィックスアクセラレータがＭＰＥＧ −２復号に固有な或る場合を扱う方法を拡張するような２、３の付加回路を追加することである。その結果として得られるものは、適切なソフトウェアを用いて構成された場合にＤＶＤ再生用の最適な混成解決策を提供するように、ＰＣ当たり実質的に増加コストなしで、適切にプログラムされたプロセッサ４２と組み合わせることができるような完全な性能の変更されたグラフィックスアクセラレータである。図１Ａに類似した図８は、前記ＤＶＤ処理パイプラインの一部４４'を実行するよう構成されたプロセッサ４２と変更されたグラフィックスアクセラレータ８４とを有する、本発明の一実施例による改善されたコンピュータシステム８０を図示している。開示された実施例により、変更されたグラフィックスアクセラレータ８４内の３Ｄグラフィックスエンジンがどのように前記動き補償、ＹＵＶ４：２：０／４：２：２変換及び／又はアルファ混合処理を行うかを理解するために、以下、例示的な３Ｄグラフィックスエンジン／処理を詳細に説明する。例示的なグラフィックスアクセラレータ図４は、例示的なグラフィックスアクセラレータ５４のブロック図である。図示のように、グラフィックスアクセラレータ５４はシステムインターフェース９０を有し、該インターフェースはＰＣＩバス５０に、又はその代わりとしてチップセット４６上の先進グラフィックスポート（ＡＧＰ）に結合される。システムインターフェース９０はＰＣＩバス５０（又はＡＧＰ）に対するインターフェースを提供するように構成され、該インターフェースを介してグラフィックス発生命令が、例えば、プロセッサ４２から入力される。該システムインターフェース９０には３Ｄグラフィックスエンジン９２が結合されている。該３Ｄグラフィックスエンジン９２は３Ｄモデル化情報に基づいて２Ｄ画像を発生するように構成されている。３Ｄグラフィックスエンジン９２からの該２Ｄ画像は、典型的には、ＲＧＢフォーマットのデジタル画像である。３Ｄグラフィックスエンジン９２からの該２Ｄ画像はメモリコントローラ９４を介してフレームバッファ５６に記憶される。メモリコントローラ９４はフレームバッファ５６に対するインターフェースを提供する。２Ｄ画像がフレームバッファ５６に記憶された後、該２Ｄ画像は最終的にはメモリコントローラ９４により取り出され、デジタル／アナログ変換器（ＤＡＣ）９９に供給される。ＤＡＣ９９は、上記デジタルＲＧＢ信号を対応するアナログＲＧＢ信号に変換し、該アナログＲＧＢ信号は次いで表示装置５８に供給されて、該装置上に表示される。更に、グラフィックスアクセラレータ５４はＹＵＶ４：２：２にフォーマットされたデジタル画像の再生に使用されるＹＵＶ変換器９５を有するように図示されている。ＹＵＶ変換器９５はＲＧＢ変換器９６を含み、該ＲＧＢ変換器はメモリコントローラ９４に結合されると共に上記ＹＵＶ４：２：２にフォーマットされたデジタル画像を対応するＲＧＢデジタル画像に変換するように構成されている。該ＲＧＢ変換器９６の出力はスケーラ９８に供給され、該スケーラはＲＧＢ変換器９６に結合されると共に上記ＲＧＢデジタル画像を選択された表示装置５８に適した大きさに縮尺拡大するように構成されている。ＤＡＣ９９は、スケーラ９８の出力端に結合されると共に縮尺拡大されたＲＧＢデジタル画像を表示装置５８を駆動するのに適した対応するＲＧＢアナログ信号に変換するよう構成されている。図５は、プロセッサ４２及び３Ｄグラフィックスエンジン９２のソフトウェアにおいて典型的に見られる３Ｄグラフィックスパイプライン２００を図示している。３Ｄグラフィックスパイプライン２００は、一群の頂点又は同様の座標により定義される或る対象の３Ｄモデル２０２で開始する。例えば、家は、該家の多角形又は他の形状を規定する一群の頂点としてモデル化することができる。３Ｄモデル２０２の上記頂点は、典型的には、プロセッサ４２上で動作するアプリケーションソフトウェアにより出力される。該アプリケーションソフトウェアは、当該対象に関する照明２０４及び該当する観測視点２０６についての追加情報も規定する。例えば、家は太陽により照明され、該家及び太陽に対して特定の位置から見られているかも知れない。幾何学処理２０８は、上記３Ｄモデル２０２を視点２０６が存在する場所に本質的に調整する（例えば、位置決めし、寸法合わせをする）。照明処理２１０は、次いで、３Ｄモデル２０２の表面に対し照明源（又は複数の照明源）２０４の位置及び視点２０６を考慮して、これら表面の陰及び／又は色を、それに応じて調整する。次に、ビューポートへのマップ（map to view-port）処理２１２は、上記３Ｄ対象の可視領域の多角形又は頂点を二次元（２Ｄ）平面にマップして、２Ｄ画像を生成する。典型的なビューポートへのマップ処理２１２は、例えば表示装置上で見た場合に深さを有するように見えるような２Ｄ画像を生成する２Ｄ透視レンダリングアルゴリズムを含んでいる。三角形組立処理２１４は、これらの連続した表面を、どのようにして位置、色及びテクスチャ座標等のような特定の特性を持つ三角形として表すかを決定する。また、該三角形組立処理２１４は、当該三角形が視点２０６に対してどの様に傾けられているかに関しての情報を三角形ラスタ化処理（triangle rasterize p rocess）２１６に供給する。殆どの表示装置（例えば、５８）はピクセルの２Ｄアレイに基づくものであるから、上記各三角形を個別のピクセルに変換する必要がある。三角形ラスタ化処理２１６は、この機能を、上記三角形組立処理により規定された各三角形を、特定の色を持つ対応するピクセルに変換することにより実行する。これを達成するため、三角形ラスタ化処理２１６は、典型的には、走査変換処理（図示略）とテクスチャマッピング処理（図示略）とを含んでいる。上記走査変換処理は必要なピクセルを識別し、上記テクスチャマッピング処理は、これらピクセルの各々に対する特定の色を識別する。現在のところ、主流のＰＣ市場に関しては、幾何学２０８、照明２１０及び視点へのマップ２１２の各処理はアプリケーションソフトウェアが走るプロセッサ４２により果たされており、三角形組立２１４及び三角形ラスタ化２１６の各処理はグラフィックスアクセラレータ５４のハードウェア、特に３Ｄグラフィックスエンジン９２において実施されている。図６は、例示的な３Ｄグラフィックスエンジン９２内で実施化された三角形組立２１４及び三角形ラスタ化２１６の各処理を図示している。図示のように、命令は、システムインターフェース９０に結合された命令インターフェース１００により入力される。これら命令は、プロセッサ４２によりシステムインターフェース９０を介して供給される、３Ｄグラフィックス命令及び頂点情報のような関連するパラメータを含む。例えば、或る命令は“三角形を描け”であるかもしれない。これら命令は、特定の構成要素（又は複数の構成要素）に直接供給することもでき、又は命令レジスタ１０２に記憶することもできる。組立エンジン１０４は、命令インターフェース１００に結合され、典型的には該インターフェースに応答する。例えば、三角形組立エンジン１０４は、描かれるべき三角形に関する頂点情報を命令インターフェース１００から入力することができる。該頂点情報は、典型的には、位置座標（例えば、Ｘ、Ｙ及びＺ）、色、テクスチャ座標（Ｕ及びＹ、Ｕ及びＶはこの場合は色度を表さないことに注意）、均等パラメータ（Ｗ）及び多分他のパラメータを含む。三角形組立エンジン１０４は上記頂点情報を三角形情報へと処理し、該三角形情報は、例えば、当該三角形（例えば、頂点１、頂点２及び頂点３）、該三角形の辺（例えば、辺１、辺２及び辺３）及び傾き（例えば、dX/dY、dU/dY及びdV/dY）を含むことができる。ラスタライザ（rasterizer）１０６は、三角形組立エンジン１０４に結合され、上記三角形情報により定義された三角形を対応するデジタルＲＧＢピクセル情報に変換するように構成されている。例えば、前記テクスチャ座標及びこれら座標に関する傾きは、特定のテクスチャ形式を、当該描かれる三角形の表面に適用するために使用される。これを達成するため、ラスタライザ１０６は当該三角形を適切な数のピクセルに走査変換し、これらピクセルの各々に対して特定のテクスチャをマップすることに基づいて各ピクセルに対する特定の色を決定する。例えば、家の壁は表示される画像に適用されるべき木目模様を持つかも知れず、該壁を表す三角形又は複数の三角形は、該壁の所望の木目テクスチャ及び傾きのための対応するテクスチャ座標を有するであろう。このように、例えば、家の壁を表すテクスチャが付与された（例えば、木目を付与された）三角形の各々は、適切な数のＲＧＢピクセルに走査変換され、これらピクセルの各々は、特定のを設定するために当該ピクセルにマップされたテクセル（即ち、テクスチャ色の値）を有する。また、ラスタライザ１０６は結果としてのデジタルＲＧＢピクセル情報を、例えばメモリコントローラ９４を介して、フレームバッファ５６内の選択されたアドレスに記憶するよう構成されている。開示された本実施例の特別な利点は、ラスタライザ１０６及び該ラスタライザのマッピング能力である。図７は、一例としてのラスタライザ１０６を示すブロック図である。該ラスタライザ１０６は、典型的には、走査変換器１０８とテクスチャマッピングエンジン１１０とを有している。走査変換器１０８は、三角形組立エンジン１０４に結合され、該エンジンから例えば位置座標並びに辺及び傾き情報を含む三角形情報を入力する。該走査変換器１０８は、どのピクセルが当該三角形内に存在するかを決定すると共に、該三角形を表示するために使用される、フレームバッファ５６の“オンスクリーン”部分（図９参照）に関する対応するアドレスを確立する。図９において、フレームバッファ５６は、ラスタライザ１０６により構築されている現在の画像を含む“オンスクリーン”部分１２０と、該オンスクリーン部分１２０に記憶された現在の画像を作成／修正するために使用される、種々のテクスチャマップ１２４a〜１２４dのような中間データを含む“オフスクリーン” 部分１２２とに副分割されるように図示されている。図７の走査変換器１０８により決定されたアドレスは、例えば、該走査変換器１０８によりメモリコントローラ９４を介してフレームバッファ５６のオフスクリーン部分１２２に記憶することができる。これら三角形アドレスは、テクスチャマッピングエンジン１１０により使用されるであろう。図７に戻って、テクスチャマッピングエンジン１１０は走査変換器１０８に結合され、該変換器から例えばＵ、Ｖ、Ｗ及び関連傾き情報を含むテクスチャ関連の情報を入力するように構成されている。テクステャマッピングエンジン１１０は、各ピクセルのテクスチャアドレスを決定すると共に、フレームバッファ５６のオフスクリーン部分１２２内のテクスチャマップ（例えば、１２４a）からテクスチャ色を取り出す。該テクスチャマッピングエンジン１１０は、典型的には、Ｕ、Ｖ及びＷに関する開始点及び傾きに基づいて中間テクスチャ値を増分的に計算するように構成された複数の補間器１１２を有している。補間器１１２の結果に基づいて、テクセルがテクスチャマップ１２４aから取り出され、ピクセルの各々に割り当てられる。次いで、これらのピクセルの各々のテクセルは、テクスチャマッピングエンジン１１０によりメモリコントローラ９４を介して、各ピクセルに対してフレームバッファ５６のオンスクリーン部分１２０内の対応するアドレス（又は複数のアドレス）に記憶される。ＭＰＥＧ−２動き補償用の変更されたグラフィックスアクセラレータの使用ＭPＥＧ−２仕様に従い、B及びP画像用に、エンコーダによりマクロブロック毎に動き補償を選択することができ、典型的にはビットストリームを低減するために大いに使用される。動き補償されたマクロブロックの復号は、１以上の源から予測マクロブロックを計算し、該マクロブロックにＩＤＣＴ（好ましくは、プロセッサ４２により計算される）からの係数データ出力をピクセル毎に１係数ずつ加算することからなる。次いで、この処理はＹ、Ｕ及びＶサンプルの各平面につき繰り返される。ＭＰＥＧ−２仕様によれば、幾つかの符号化モードが、２つの基準マクロブロックを平均して１つの予測マクロブロックを生成することを可能にし、これらの基準の各々は1/2ピクセル境界に位置合わせすることができる。更に、ＭＰＥＧ −２はピクセル当たりのエラー係数に関して−２５６〜２５５の範囲を可能にする。これは、勿論、９ビットの精度となり、バイト整合された８ビットデータよりも扱うのが面倒である。最後に、ＭＰＥＧ−２はマクロブロックに対して２つの予測、即ちＰ画像用のデュアルプライム予測及びＢ画像用の双方向予測、を規定するモードをサポートしている。これらの場合、合成された予測を生成するため上記２つの予測は平均されなばならない。要約すると、下記の単純化された式１は２つの基準から各座標｛ｘ，ｙ｝に対する最終予測ピクセル値を算出する。また、式２は、ＩＤＣＴの出力に、各マクロブロック用の動き補正された出力に対するピクセル毎に、座標｛ｘ，ｙ｝におけるピクセルを加算する。 F_pred(x,y)=[F_pred1(x,y)+F_pred2(x,y)]/2 （１） F_mc(x,y)=F_pred(x,y)+F_IDCT(x,y) （２）市販のフィリップス９７２７グラフィックスアクセラレータは、典型的な現状技術のグラフィックスアクセラレータを代表し、該アクセラレータは例えばプロセッサ４２から入力される制御信号に基づいて３Ｄグラフィックスを発生することができる（図４〜７に示すように）。該フィリップス９７２７は、本説明では本発明の方法及び装置を提示するための一例としてのみ使用される。当業者であれば、本発明に基づいて、他の既存の又は将来のグラフィックスアクセラレータ及び／又は３Ｄグラフィックスエンジンも（場所に無関係に）、ＤＶＤ及び／又はＭＰＥＧ−２関連処理を提供するように変更及び／又は使用することができることを理解するであろう。動き補正の処理と３Ｄテクスチャマッピング処理との間には大きな類似性が存在することが分かった。事実、前者は後者の単なる下位部分であることが分かった。この共通性を利用すれば、本発明の方法及び装置は上記９７２７の３Ｄテクスチャマッピングエンジンを、幾つかの修正で、動き補償を実施するために使用することができる。特に、テクスチャマッピングエンジン１１０は、テクスチャを三角形に適用する場合に、ＭＰＥＧ−２ビデオの復号において動き補償処理２８のために必要とされるものと殆ど同一の動作を実行することが理解された。ＭＰＥＧ−２動き補正が、現在のＢ又はＰ画像を発生するために使用されるべき以前及び／又は後続の画像からのピクセル（即ち、画素（ペル））の方形状マクロブロックを識別するために動きベクトルを使用することを思い出されたい。これらの予測されたブロックは本質的にテクスチャであり、このようにして、これらの予測されたブロックが得られる上記Ｉ及び／又はＰ画像（又は複数の画像）は、本質的に、テクスチャマップ１２４a〜１２４nと同様のテクスチャマップである。このように、ＭＰＥＧ−２のこの形式の予測ブロックと前記ラスタライザに使用される三角形との間の唯一の差は、形状である。しかしながら、既知のように、何れの方形も２つの等しい三角形に分割することができ、したがってラスタライザ１０６内のテクスチャマッピングエンジン１１０は、動き補償処理２８の一部としてこの形式の予測されたブロックを決定するために使用することもできる。図９において、Ｉ画像１２６及びＰ画像１２８が、フレームバッファ５６のオフスクリーン部分１２２にテクスチャマップ１２４a〜１２４nと一緒に図示されている。典型的な現状技術のテクスチャマッピングエンジン１１０は、例えば視点がテクスチャを付与された表面に充分に近い（例えば、拡大）場合にテクセル色を向上させるために使用される双線形フィルタ能力（例えば、補間器１１２）を有する。例えば、家の木目付き壁の視点が該壁に非常に近い場合は、テクスチャマップ１２４a〜１２４nが当該壁に対して結果としての画像が粗く見えるようにマップされる傾向があり得る。これは、殆どテクスチャマップ１２４a〜１２４nの解像度が約１２８ｘ１２８テクセルであるからである。本質的に隣接するテクセルの間を補間する双線形なフィルタ能力を備えることにより、この可能性のある粗さが低減される。このように、双線形フィルタは単にテクスチャの双線形補間である。したがって、多くのＭＰＥＧ−２動きベクトルにより要求される1/2ピクセルサンプリングは、テクスチャマッピングエンジン１１０の双線形フィルタ能力によりサポートされることになる。ＭＰＥＧ−２動き補正の他の複雑さは、２つの動きベクトルが1/2ピクセル座標上に各々定義されることである。このように、テクスチャマッピングエンジン１１０は、これらの動きベクトルの各々を双線形フィルタすると共に、２つの結果を平均して予測されるブロックを生成する必要がある。現状技術のテクスチャマッピングエンジン１１０の機能の１つは、三角形に対して２つのテクスチャを混合し（例えば、テクセルを平均することにより）且つマップする能力である。例えば、家の木目の壁が木目テクスチャマップと照明マップとからマップされた混合テクスチャを含むようにして、幾らか明るい領域と幾らか暗い領域とを有する木目壁を生成することがある。したがって、テクスチャマッピングエンジン１１０の該多重テクスチャ能力は、動きベクトルの各々に関して双線形フィルタされたピクセルを単に平均して、動き補償されたピクセルを決定することにより、ＭＰＥＧ−２動き補償に適用することができる。前述したように、ＭＰＥＧ−２仕様によれば、動き補償されたマクロブロックも、エラー係数の組と共に、テクセル当たり１つずつ、ＩＤＣＴ２６処理からの出力として特定することができる。これらエラー係数（又は、マクロブロック係数）の各々は、対応するピクセルと加算されねばならない。しかしながら、典型的な３Ｄグラフィックスエンジン９２は、マクロブロック係数（−２５６と２５５との間であり得る）を加算するのに必要とされるように、符号付き加算機能を実行するようには構成されていない。このように、３Ｄグラフィックスエンジン９２を上記能力を備えるように修正する必要がある。これは、普通の３Ｄグラフィックスエンジン９２のリードモディファイライトとして知られている能力を利用することにより果たすことができ、該能力は、名前が意味する如く、メモリ内の以前の値に基づいて新たな又は修正された値を該メモリに記憶する。修正の形式は、典型的には、選択されたラスタ演算（ＲＯＰ）１１４に依存する。典型的な３Ｄグラフィックスエンジン９２においては、論理ＡＮＤ及び論理ＯＲのような幾つかのＲＯＰ（例えば、１１５ a〜１１５n）をサポートすることができる。新たなＲＯＰ（例えば、符号付き加算ＲＯＰ）を３Ｄグラフィックスエンジン９２に、特にラスタライザ１０６内のラスタ演算１１４に加えることにより、ＭＰＥＧ−２マクロブロック係数用に必要な符号付き加算ＲＯＰが設けられる。このように、本発明の一実施例にしたがい、マクロブロック係数の符号付き加算を扱うために、修正されたグラフィックスアクセラレータ８４内には“８ビット符号付き加算ＲＯＰ”が設けられる。図１１は、既存のＲＯＰ１１５a〜１１５nと、８ビットの符号付き加算器１３０とを有する例示的ラスタ演算部１１４を図示している。既存のＲＯＰ１１５a 〜１１５nと８ビット符号付き加算器１３０の出力とはマルチプレクサ１３２に供給され、該マルチプレクサは制御レジスタ１０２により制御され、上記ＲＯＰの間の選択を行う。上述したように、典型的なグラフィックスエンジン９２に対する変更（即ち、符号付き加算ＲＯＰを設けること）を行うと共に、（前述した）処理を達成するために要するグラフィックスアクセラレータのドライバソフトウェア８２を修正することにより、結果としての変更されたグラフィックスアクセラレータ８４は、ＭPＥＧ−２動き補償を提供する。これは、極めてコスト効果のある動き補償処理２８の実施化となる。このように、式２を完遂するために１つの僅かなハードウェアの修正しか必要とされない。そして、テクスチャマッピングエンジン１１０の出力を、ＤＡＲＭ４８又はフレームバッファ５６の何れかから取り込まれるＩＤＣＴ係数に加算するために、８ビット符号付き加算器ＲＯＰ１３０が設けられた。加えて、変更されたグラフィックスアクセラレータ８４は、ＭＰＥＧ−２により許容される、９ビットの完全なエラー係数をサポートするために、符号付き８ビットの他の組を介して第２のパスを実行するようプログラムすることもできる。非平坦化のための変更されたグラフィックスアクセラレータの使用当該グラフィックスアクセラレータに移されるべき次のＤＶＤ関係処理は、平面ＹＵＶ４：２：０／４：２：２変換処理である。典型的なグラフィックスアクセラレータはＹＵＶ４：２：２画像をとると共に該画像を対応するＲＧＢ画像に再フォーマットすることができるが、ＹＵＶ４：２：０からＹＵＶ４：２：２への変換は通常はサポートされておらず、従って、この機能は本発明にしたがい上記の変更されたグラフィックスアクセラレータに追加される必要がある。動き補償処理２８は、前述したように、３つの成分、輝度（Ｙ）及び色度（Ｕ及びＶ）に関する最終マクロブロックピクセル値を生成し、これら値は典型的には通常YＵＶ４：２：０と呼ばれる平面フォーマットで出力される。不運にも、今日のグラフィックスアクセラレータ（前記９７２７を含み）は、インターリーブされたＹＵＶ４：２：２からＲＧＢに変換する傾向があり、ここでＵ及びＶ面はＸ方向においては（水平方向には）輝度マトリクスの半分のサイズであるが、Ｙ方向では（垂直方向では）同じサイズである。一方、ＹＵＶ４：２：０はＵ、Ｖ面を使用し、これら面はＸ方向及びＹ方向の両方においてＹ面の解像度の半分の解像度を持つ。従って、ＹＵＶ４：２：０からＹＵＶ４：２：２フォーマットへの変換は、Ｙ方向における色度成分のアップサンプリングを必要とする。平面ＹＵＶ４：２：０をインターリーブされた４：２：２フォーマットに変換することは、送り元の平面から１バイトのデータを読み取り、該バイトを宛先の４：２：２面内の他の位置に書き込むことを含む。不運にも、これはピクセル当たりに数回の読み取り及び書き込みを必要とし、これは画像にわたる場合、図３の表内のプロセッサ利用数値により証明されているように、純粋にソフトウェアによる解決策の性能を著しく劣化させる。複雑なことに、ＭＰＥＧ−２の４：２：０平面方法は（水平方向では行うように）垂直方向ではピクセル中心上に色度サンプル点を特定していない。そのようであるから、インターレースされたビデオデータをアップサンプルするには、技術的に２タップの垂直フィルタを必要とし、該フィルタは、当該画像が奇数又は偶数フィールドであるか、及び当該ラインが当該フィールド内で奇数か偶数であるかに依存して、｛1/4，3/4｝、｛1/2，1/2｝又は｛3/4，1/4｝なる１対の重みで以て、垂直方向に隣接するピクセルの各々に１つずつ、１対の重みを使用する。これは、ピクセル当たりに、少なくとも２つのサンプル点の読み取りと、１つ又は２つの加算と、１つのシフトとを必要とし、これもソフトウェアにみによる解決策には負担が重過ぎる。従って、ソフトウェアにみによる解決策は、通常、最適な品質を妥協するよう強制され、最も近い色度サンプル点を選択し、必要に応じて垂直方向に折り返すことにより近道をとる。斯かる近似は輝度に正しく合致していない色となり、妥協的な画像品質の結果となる。幸運にも、平面ＹＵＶ４：２：０のインターリーブされた４：２：２への変換も、３Ｄグラフィックスエンジン９２内のテクスチャマッピングエンジン１１０を介して実行することが可能である。この場合、Ｙ、Ｕ及びＶ画像（又は面）は１辺の２乗となる正方形に分割することができる。各正方形が送り元のテクスチャとなり、該テクスチャが宛先のの４：２：２画像にマップされる。Ｕ及びＶの場合は、テクスチャマッピングエンジン１１０は、Ｙ方向に２Ｘにより拡大（アップスケール）するよう命令される。各Ｙ、Ｕ及びＶ画像を介しての１回のパスが当該タスクを完了するのに必要とされる。前記９７２７においてインタリーブのサポートを果たすのに、１個の変更のみが必要であった。テクスチャマッピングエンジン１１０に続く出力データ経路は、発生されたテクセルが特定のオフセット及び増分で特定のバイト通路に伝送されるようになされ、一方、他のバイト通路は上記宛先への書き込みの際に遮蔽されるように変更される。これは、Ｙ、Ｕ及びＶ値が、前のパスの結果に重ね書きすることなしに、それらの適切なバイト位置に書き込まれるのを可能にする。開示された実施例によれば、これは、前記ラスタ演算部１１４からの出力を入力するように結合されるピクセルパッキングロジック１１６に追加されるような形で、図１２に示すように、既存のデータ経路に４つの８ビットレジスタ１４０a〜１４０dを追加することに相当する。図１２は、ピクセルパッキングロジック１１６の一例を示し、該ロジックは４個の８ビットバイトを１つの３２ビットのワードに詰め込む。この場合、８ビットのバイトは、ラスタ演算部ユニット１４の出力端子からロード可能化信号ＬＥの制御の下で、レジスタ１４０a〜１４０dに順次ロードされる。制御レジスタからの信号が、上記バイトが何のレジスタに順次ロードされるかを決定する。各レジスタは、メモリに記憶される３２ビットワードの各位置に対応する。異なるワードにおける対応する位置がバイト通路を形成する。図１０Ａ、１０Ｂ及び１０Ｃは、Ｙ、Ｕ及びＶ用のバイト通路配列を図示している。図１０Ａにおいて、Ｙ値（Ｙ₀〜Ｙ₃）は選択的にマップされ（レジスタ１４０b、１４０d、１４０b及び１４０dを各々介して）、その結果、１つのＹ値が２バイト毎に１回配置されるようなオフセットパターン１５０aが得られる。図１０Ｂにおいては、Ｕ値（Ｕ₀〜Ｕ₃）が選択的にマップされ（レジスタ１４０c を介して）、その結果、１つのＵ値が４バイト毎に１回配置されるようなオフセットパターン１５０bが得られる。同様にして、図１０Ｃでは、Ｖ値（Ｖ₀〜Ｖ₃ ）が選択的にマップされ（レジスタ１４０aを介して）、その結果、Ｖ値が４バイト毎に１回配置されるようなオフセットパターン１５０cが得られる。２タップ垂直フィルタを介しての“適切な”アップサンプリングをサポートするという一見手に負えないように見える問題に関しては、この問題は単に双線形フィルタの変形と見ることができ、従って、テクスチャマッピングエンジン１１０により完全にサポートすることができることが分かった。送り元の４：２：０画像を指す開始テクスチャアドレスに｛1/4、1/2又は3/4｝なるオフセットを単に加算（又は、減算）することにより、テクスチャマッピングエンジン１１０は、全ての後続のテクスチャサンプル点をバイアスし、これが上記垂直フィルタの効果を本質的に模擬する。そのようであるので、競合する解決策とは異なり、本発明の方法及び装置は、ＭＰＥＧ−２仕様が意図するように、適切な、高品質なアップサンプリングを提供することができる。ＯＳＤ混合用の変更されたグラフィックスアクセラレータの使用最後の段階として、復号されたＭＰＥＧ−２ビデオは、副画像（又は、複数の副画像）とアルファ混合される必要がある。各画像内の各ピクセルに対して、ビデオ成分は副画像の成分と混合されて、以下の式を介して最終出力ピクセルを生成するようにしなければならず、ここで、“ａ”（アルファ）はビデオカラーと副画像のカラーとの間の１６レベルの混合を可能にする（可能な１６の色のうちの１つ）。 F_out(x,y)=F_YUV422(x,y)*a+F_subpict(x,y)*(1-a) （３）開示された実施例に従い、副画像アルファ混合処理が、３Ｄグラフィックスエンジン９２の既存のアーキテクチャに僅かな変更を行うことにより設けられ、該変更は表示リフレッシュ回路（図示略）を本質的に拡張する。前記９７２７の３Ｄグラフィックスエンジン９２における表示リフレッシュ回路は、例えば、２つのレイヤのビットマップデータ（１つはＹＵＶ４：２：２であり得、他のものは種々のＲＧＢフォーマットであり得る）の混合をサポートしている。従って、上記ＹＵＶ４：２：２はＲＧＢに変換され、ピクセル毎に第２ＲＧＢレイヤとカラーキーを介して混合される。このように、例えば、２つの並列な４ビット乗算器と１６エントリのルックアップテーブルとを追加することにより、既存の混合能力は、ビデオ上への副画像の真の透過重ねをサポートするよう拡張することが可能である。各副画像ピクセルは、上記テーブルに対する４ビットのインデックスと、付随する４ビットの混合値とを用いて表される。スクリーン上に描かれる各ピクセルに対して、当該３Ｄグラフィックスエンジンは、ＹＵＶ４：２：２ビデオピクセルをＲＧＢに変換し、副画像用のＲＧＢ値を得るためにテーブルのルックアップを行い、次いで、上記３式に示したように、２つの乗算器と加算器とを介して混合を実施する。結果として、本発明の方法及び装置は前記プロセッサと共にＤＶＤ再生を実行することも可能な変更されたグラフィックスアクセラレータ８４を提供する。一例として、前記９７２７グラフィックスアクセラレータは、２６６ＭＨｚのペンフレーム／秒までの再生を送出するために、動き補償、ＹＵＶ４：２：０／４：２：２変換及びアルファ混合をハードウェアで実施するよう変更された（上述したように）。以上本発明を詳細に説明したが、該説明は例示のみのためのものであり、限定をするためのものととってはならず、本発明の趣旨及び範囲は添付請求項のみにより限定されるものであることを明確に理解されたい。

───────────────────────────────────────────────────── 【要約の続き】ャマップとして使用することにより計算されることを特徴とする装置。サポートされる。

Claims

【特許請求の範囲】１．グラフィックスの発生とデジタルビデオ処理とをサポートする装置であって、該装置が − 三次元空間内の三角形の画像を、該三角形にデジタルテクスチャがマップされた形で計算するテクスチャマッピングエンジンと、 − 圧縮された二次元デジタル画像情報を入力する手段であって、該情報がデジタル画像マップと該デジタル画像マップ内のブロックの時間的変位を表す少なくとも１つの動きベクトルとを符号化しているような手段と、を有する装置において、前記テクスチャマッピングエンジンが前記デジタル画像情報を伸張するように構成され、前記ブロックが変位した画像が、該ブロックを三次元空間内における三角形用のテクスチャマップとして使用することにより計算されることを特徴とする装置。２．請求項１に記載の装置において、前記テクスチャマッピングエンジンが第１及び第２のデジタルピクセルデータに基づいて補間されたデジタルピクセルデータを決定するよう構成された少なくとも１つの双線形補間器を更に含み、該双線形補間器が副画像座標を持つ前記ブロックの双線形フィルタを実行してピクセル整列された座標を持つ１つの予測されたブロックを発生するよう構成されていることを特徴とする装置。３．請求項２に記載の装置において、前記テクスチャマッピングエンジンが、更に、第１動きベクトルに基づいて第１双線形フィルタを実行すると共に第２動きベクトルに基づいて第２双線形フィルタを実行し、且つ、前記第１双線形フィルタの結果と前記第２双線形フィルタの結果とを平均してピクセル整列された座標を持つ１つの予測されたマクロブロックを発生するように構成されていることを特徴とする装置。４．請求項１に記載の装置において、前記テクスチャマッピングエンジンに結合された少なくとも１つのラスタ演算部を更に有し、該ラスタ演算部は符号付き整数値を前記テクスチャマッピングエンジンにより発生された前記デジタルピクセルデータに加算するように構成されていることを特徴とする装置。５．請求項４に記載の装置において、前記符号付き整数がＩＤＣＴ係数であることを特徴とする装置。６．請求項１に記載の装置において、前記デジタル画像情報のストリームがＭＰＥＧ−２データストリームから発生されることを特徴とする装置。７．グラフィックスの発生とデジタルビデオ処理とをサポートする装置であって、該装置が − 三次元空間内の三角形の画像を、該三角形にデジタルテクスチャがマップされた形で計算するテクスチャマッピングエンジンと、 − デジタル画像マップを符号化しているような圧縮された二次元デジタル画像情報を入力する手段と、を有する装置において、前記テクスチャマッピングエンジンが、ＹＵＶ４：２：０にフォーマットされた画像から、該ＹＵＶ４：２：０の少なくとも一部を、該部分を三次元空間内の三角形用のテクスチャマップとして使用して変位及び拡大することにより、ＹＵＶ４：２：２にフォーマットされた画像を発生するように構成され、前記テクスチャマッピングエンジンにロジックが結合され、該ロジックが前記ＹＵＶ４：２：２にフォーマットされた画像のバイトデータを選択的に配列して、前記ＹＵＶ４：２：０にフォーマットされた画像からのバイトデータと前記ＹＵＶ４：２：０にフォーマットされた画像の変位とをインターリーブするように構成されている、ことを特徴とする装置。８．請求項７に記載の装置において、当該装置が更にメモリに結合され且つアクセスすることができ、前記テクスチャマッピングエンジンは前記ＹＵＶ４：２：０にフォーマットされた画像の少なくとも一部を、前記メモリに記憶された前記ＹＵＶ４：２：０にフォーマットされた画像用の開始アドレスを算術的に修正することによりオフセットすることを特徴とする装置。９．請求項７に記載の装置において、前記テクスチャマッピングエンジンが、第１及び第２のデジタルピクセルデータに基づいて補間されたデジタルピクセルデータを決定するよう構成された少なくとも１つの双線形補間器を更に含み、該双線形補間器が、前記ＹＵＶ４：２：０にフォーマットされた画像のＵ面及びＶ面の複数のサンプルを２Ｘ垂直アップスケーリングを行うことにより対応する宛先画像に選択的にマップするように構成されていることを特徴とする装置。１０．請求項７に記載の装置において、前記ロジックは少なくとも１つのレジスタを有し、該レジスタは宛先画像の特定のＹ、Ｕ及びＶバイトデータを対応するオフセット値及び対応する増分値に基づき選択的に供給して前記インターリーブされたＹＵＶ４：２：２にフォーマットされた画像を発生するよう構成され、該ＹＵＶ４：２：２にフォーマットされた画像が、各々が複数のバイト位置を有する複数のバイト通路を有していることを特徴とする装置。１１．請求項１０に記載の装置において、宛先画像のＹバイトデータ用の増分値が前記ロジックに対応するオフセット値に基づいて１バイト置きのバイト位置にＹバイトデータを挿入させ、前記宛先画像のＵバイトデータ用の増分値が前記ロジックに対応するオフセット値に基づいて４バイト毎のバイト位置にＵバイトデータを挿入させ、前記宛先画像のＶバイトデータ用の増分値が前記ロジックに対応するオフセット値に基づいて４バイト毎のバイト位置にＶバイトデータを挿入させることを特徴とする装置。１２．グラフィックスを発生し、デジタルビデオを処理する方法あって、 − 三次元空間内の三角形の画像を、該三角形にデジタルテクスチャがマップされた形で計算するテクスチャマッピングエンジンと、 − デジタル画像マップを符号化しているような圧縮された二次元デジタル画像情報を入力する手段と、を有する装置を使用するような方法において、前記デジタル画像情報の伸張が前記テクスチャマッピングエンジンを用いて、前記デジタル画像マップの少なくとも一部を三次元空間における三角形用のテクスチャマップとして使用することにより実行されることを特徴とする方法。