JP2003524954A - メディア処理システムおよび方法 - Google Patents

メディア処理システムおよび方法

Info

Publication number
JP2003524954A
JP2003524954A JP2001550706A JP2001550706A JP2003524954A JP 2003524954 A JP2003524954 A JP 2003524954A JP 2001550706 A JP2001550706 A JP 2001550706A JP 2001550706 A JP2001550706 A JP 2001550706A JP 2003524954 A JP2003524954 A JP 2003524954A
Authority
JP
Japan
Prior art keywords
data
pixel
processing
compressed
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001550706A
Other languages
English (en)
Inventor
ジー． ミラー、リチャード
エイ． カルディッロ、ルイス
ジー． マシソン、ジョン
アール． スミス、エリック
Original Assignee
ジェネシス マイクロチップ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネシス マイクロチップ コーポレイション filed Critical ジェネシス マイクロチップ コーポレイション
Publication of JP2003524954A publication Critical patent/JP2003524954A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 メディア処理システム（３０）は、該メディア処理システム（３０）によって処理されるデジタルデータを格納する複数個の格納位置（３４，４０，４６）を含むＤＲＡＭ（３４，４６）と、該デジタルデータが、標準化されたフォーマットに圧縮されるビデオ（３６）を含むことと、圧縮ビデオ画像と画像データ（３６）を生成するために、該標準化フォーマットの圧縮ビデオデータを含む該デジタルデータを処理するシステム（３０）と、フルモーションビデオピクセルデータを生成するために、該標準化フォーマットの圧縮ビデオデータを復号化するシステムと、該処理手段と該複合化手段との間で該ＤＲＡＭ（３４，４６）を共有するシステムとを含んで提供される。メディア処理（３０）は、並列にたがいに接続される複数個の処理要素（６６，６８，７０，７２）と、該処理要素（６６，６８，７０，７２）のそれぞれを制御し、それぞれに分配するシステムを有してもよい。

Description

【発明の詳細な説明】
【０００１】 （発明の背景） 本発明は、マルチメディアアプリケーションにおいて使用するための新規な処
理アーキテクチャに関する。詳細には、圧縮されたデジタルビデオおよび音声デ
ータを解凍し、デジタルビデオおよび音声データを他のデジタルデータとともに
処理し、コンピュータシステムまたはその他の適切なマルチメディア提示システ
ム上において提示するための高解像度カラーマルチメディアデータを生成するの
に適合された処理アーキテクチャおよび関連する方法に関する。
【０００２】 ＤＶＤ、ＣＤまたはコンピュータメモリなどの比較的狭い波長帯の媒体上での
デジタルビデオ画像の格納を容易にするためのフルモーションデジタル画像の圧
縮は周知である。コンピュータ画面用の典型的な単一の全画面ビデオフレームは
３００，０００ピクセルを超えるピクセルから成り、各ピクセルは、２４ビット
カラーシステムの１６７０万色のうちの１色により定義される。該単一のフルカ
ラー画像フレームは、約１００万バイト（１Ｍｂ）のメモリに格納され得る。ビ
デオゲームなどのアプリケーションで動画を実現するためもは、ビデオシステム
は毎秒約３０のカラーフレームを生成、表示しなければならない。よって、１分
間のフルモーションカラービデオのためには、システムは、好ましくは２ギガバ
イト（２Ｇｂ）の画像データを格納できなければならない。同様に、３００ドッ
ト／インチで走査されるフルカラーの静止フレーム画像は、２５メガバイトを超
えるメモリを必要とする。これらのメモリ要件は、非常に大きく、かかる大量の
データを格納できる格納装置は高価である。
【０００３】 さらに、フルモーションカラー画像を生成するため、格納装置からフルカラー
画像データが検索される速度は、ほとんどの現行の格納装置の有効データ転送速
度を上回る。例えば、典型的な格納装置が毎秒約２５０ＫＢの速度でデータを転
送できると想定すると、毎秒３０ＭＢの所要速度でのフルモーションカラービデ
オ画像の検索（毎秒３０個の１ＭＢフレーム）は達成できない。この仮説の格納
装置は１２０倍低速すぎる。
【０００４】 したがって、フルカラー画像を表すために必要なデータ量を減少でき、同時に
、十分な高品質画像を維持する画像圧縮手法が開発された。かかる手法のほとん
どにおいて、情報を除去し得る（すなわち人間の目がそれほど敏感ではない）場
所を特定化することで、大幅に画質を劣化させることなく、画像データ量が低減
される。例えば、人間の目は、カラーの詳細よりも白黒の詳細により敏感である
。かくして、多くの既知の手法は、画質における大幅な認識可能な低下を生じる
ことなく、画像において各ピクセルに関する色情報の量を低減する。
【０００５】 かかる既知の圧縮手法としては、差分パルスコード変調、動画エキスパートグ
ループ（ＭＰＥＧ）圧縮、およびＭＰＥＧ−２圧縮がある。ＭＰＥＧフォーマッ
トは、コンピュータシステムで使用されるデジタルフルモーションビデオおよび
音声データの圧縮と解凍の基準となるよう意図された。ＭＰＥＧ−２フォーマッ
トは、柔軟なデジタル・スケーラブルビデオ伝送を支援する、ＭＰＥＧフォーマ
ットの拡張版である。ＭＰＥＧおよびＭＰＥＧ−２フォーマットは、フルモーシ
ョンビデオ信号の圧縮および解凍の標準的な手法となってきている。
【０００６】 かかる手法を用いて画像が圧縮されると、次に、画像を表示するために、圧縮
画像データは一般に解凍され、場合によっては処理される。圧縮された画像デー
タの解凍および処理は、大量の処理能力を必要とし、大量のメモリも必要とする
。圧縮されたデジタルビデオ画像の復号化・解凍の従来のシステムは、圧縮され
たデジタルビデオ画像と、圧縮されていないデジタルビデオ画像の両方を保持す
るメモリと、画像を解凍し、メモリ内に画像を格納するデコーダとを備える。既
知の解凍システムは、ＰＣ、ＤＶＤプレーヤー、デジタル衛星テレビシステム、
ケーブルテレビシステムで使用され得る。かかる既知のシステムは、圧縮された
画像を復号化するためにメモリ集約的な演算を使用し、典型的に２ＭＢの格納空
間を必要とする。当業者なら理解するように、かかるシステムは、解凍に必要と
される大量のメモリにより高価になる傾向がある。さらに、かかるシステムは、
画像のみを解凍し、複合画像を生成するために、他のソースからのデジタルデー
タは処理しない。最終的に、データを解凍し、同時にビデオデータを処理するた
めには、追加のメモリおよび処理能力が必要とされ、それらは一般に従来のビデ
オ解凍システムでは利用可能ではない。
【０００７】 さらに、従来の処理システムは、ビデオ画像を生成するのに十分な処理能力を
有するものが存在するが、かかるシステムのいずれも、フルモーションカラー画
像を高速で効率よく解凍、処理するために最適化されていない。一般に、かかる
処理システムは、処理システムに付加された別個の解凍システムも必要とする。
【０００８】 最後に、フルモーションカラービデオゲーム、バーチャルリアリティシステム
、ケーブルテレビ受像機などの用途のために十分高速でメディアデータを解凍、
処理するようなこれら従来のシステムは存在しない。かかるシステムのいずれも
、統合されたフルモーション画像データ解凍および処理システムのいずれも含ま
ないため、かかるシステムのいずれも、廉価で完全に機能的なメディア処理シス
テムを提供しない。
【０００９】 したがって、公知の装置のこれらの不都合およびその他の不都合を回避するメ
ディア処理システムおよび方法が必要とされている。 （発明の概要） 本発明は、衛星デジタルテレビシステム、ビデオゲームシステム、ケーブルテ
レビシステムなどで使用され得るフルモーションカラー画像を生成するために、
ビデオデータの解凍および処理を同時に行うメディア処理システムを提供する。
該メディア処理システムは、システムの全体的なコスト削減のため、解凍システ
ムと処理システムとの間で共有されるメモリも有し得る。
【００１０】 本発明によると、メディア処理システムは、標準化されたフォーマットで圧縮
されたビデオデータを含むデジタルデータを格納するためのダイナミックランダ
ムアクセスメモリ（ＤＲＡＭ）またはその他の適切な格納装置を備え得る。該Ｄ
ＲＡＭは処理システムと復号化システムとによって共有される。前記デジタルデ
ータは処理されて、圧縮されたビデオ画像および画像データを生成する。次に、
圧縮されたビデオ画像は復号化されて、フルモーションビデオピクセルデータを
生成する。
【００１１】 次に、表示され得るフルモーションビデオ信号を生成するために、フルモーシ
ョンビデオピクセルデータが使用される。前記ＤＲＡＭは圧縮された音声データ
を備えてもよく、該圧縮された音声データは復号化され、次に、マルチメディア
データを生成するために、フルモーションビデオ信号と組み合わされ得る。メデ
ィア処理システムは、単一の処理サイクル内で２個のピクセルを乗算するか、ま
たは組み合わせてもよい。メディア処理システムは、単一の半導体チップ上に形
成されてもよい。
【００１２】 本発明のより完全な理解は、好ましい実施例の詳細な説明と特許請求の範囲を
、図面と関連して考慮することにより得られる。図面において、同一の参照番号
は同様の部分を示す。
【００１３】 （好ましい実施例の詳細な説明） 本発明は新規な処理アーキテクチャに関し、より詳細には、マルチメディア画
像を生成するため、同時またはほぼ同時にビデオデータを解凍し、処理すること
が可能な処理アーキテクチャに関する。本発明が説明されるのはこの状況におい
てである。ただし、本発明によるシステムおよび方法がより広い効用を有するこ
とは言うまでもない。
【００１４】 図１は、本発明にしたがってマルチメディアデータを生成するために、デジタ
ルデータを解凍し、処理するように構成されたシステム２０の全体ブロック図で
ある。該システムは、圧縮されたデジタルメディアストリームを生成または提供
し得るハードディスクドライブ、ケーブルテレビシステム、衛星受像機またはＣ
ＤまたはＤＶＤプレーヤーなどの圧縮画像発生器２５を備えることが好ましい。
システム２０は、解凍されたフルモーション画像を表示するディスプレイシステ
ム２６も備える。音声および視覚データを含み得る圧縮されたメディアストリー
ムは、該圧縮されたメディアストリームを解凍するように構成されたメディア処
理システム３０に入る。さらに、メディア処理システム３０は、圧縮されたメデ
ィアストリームを解凍すると同時に、圧縮されたデータストリームまたは別の格
納装置またはデジタルデータソースに含まれるデジタルデータを処理し得、かく
して、解凍されたメディアストリームと共に使用され得る他の種類のメディアデ
ータを生成する。例えば、対話型のカラー、フルモーションビデオゲームが生成
され得る。すべてのデータが解凍され、処理されると、データは、見るために表
示システム２６に出力される。ケーブルまたは衛星テレビシステム用には、メデ
ィア処理システム３０は、入力された圧縮デジタルデータを単に解凍し、本発明
の一実施例によるとテレビ画面であり得るディスプレイ２６上に画像を出力し得
る。
【００１５】 図２は、本発明の一実施例によるメディア処理システムのアーキテクチャのブ
ロック図である。メディア処理システム３０は、圧縮ビデオデータの解凍、フル
モーションカラー画像を生成するための解凍されたビデオデータおよび／または
他のデジタルデータを含むデジタルデータの処理、およびメディア処理システム
３０内での他の演算の制御などの複数の演算を実行可能なメディアプロセッサ３
２を備える。メディアプロセッサ３２は、単一の半導体チップ上に形成され得、
これに代わって、メディアプロセッサ３２の複数のコンポーネントが複数の半導
体チップまたはデバイスに区切られてもよい。
【００１６】 メディア処理システム３０は、ビデオまたは視覚データ、音声データおよび／
または圧縮データなどの種々のデジタルデータを一時的に格納するためのＤＲＡ
Ｍ、ＳＤＲＡＭ、フラッシュメモリ、またはその他の適切な格納装置などの１つ
以上の格納装置３４，４６を備えることも望ましい。ＤＲＡＭおよび／またはＳ
ＤＲＡＭはそのより高速なアクセス時間により、より迅速にアクセス可能である
ので、メディア処理システム３０によって処理または解凍されるいかなるデータ
も、メインメモリ（図示せず）からＤＲＡＭおよび／またはＳＤＲＡＭにロード
されることが好ましい。メディア処理システムによって処理されたデータは、デ
ィスプレイ上に表示される前またはメインメモリに戻される前のいずれかで、Ｄ
ＲＡＭおよび／またはＳＤＲＡＭに一時的に格納され得る。
【００１７】 マルチメディアデータを処理する際、メディアプロセッサ３２は、デジタル画
像データストリームおよびデジタル音声データストリームを生成するように構成
されている。ビデオエンコーダおよびデジタル−アナログコンバータ（ＤＡＣ）
３６はメディアプロセッサ３２から出力されるデジタル画像データを、テレビま
たはコンピュータモニタなどのディスプレイ装置上に表示できる複合ビデオ、ｓ
−ビデオ、コンポーネントビデオなどのアナログ画像信号に変換する。音声デジ
タル・アナログコンバータ（ＤＡＣ）３８は、メディアプロセサッサ３２によっ
て出力されたデジタル音声信号を、オーディオシステムなどによって放送可能な
アナログ音声信号（好ましくは約２〜８個の別個の音声チャネル）に変換する。
別の実施例によると、メディアプロセッサ３２は、ＩＥＣ−９５８ステレオ音声
またはコード化音声データ信号３９も出力し得る。この信号は内部音声デコーダ
またはデジタル・アナログコンバータ（ＤＡＣ）を有し得るシステムへの接続を
意図された音声出力信号である。
【００１８】 メディアプロセッサ３２は、メディア処理システム３０用のベーシック・イン
プット／アウトプット・オペレーティング・システム（ＢＩＯＳ）と、音声デー
タを解凍し、合成音声を生成するために使用され得る音声テーブルおよび／また
はメディアプロセッサ３２およびメディア処理システム３０によって使用される
その他の適切なソフトウェアまたはデータを格納するために使用され得るリード
オンリーメモリ（ＲＯＭ）などの第２格納装置４０も備える。さらに、メディア
プロセッサ３２はシステムバス４１に接続される拡張バス４２を備えてもよく、
それにより、１つ以上の拡張モジュール４３がメディアプロセッサ３２に接続さ
れ得る。拡張モジュール４３は、メディア処理システム３０の機能性を拡張する
ためのマイクロプロセッサ４４などの追加ハードウェアを備えてもよい。図２に
示されるように、追加メモリ４６を、拡張バス４２およびシステムバス４１を介
してプロセッサ３２に接続してもよい。
【００１９】 メディアプロセッサ３２は、メディアプロセッサ３２と、メディア処理システ
ム３０の他の部分との間の通信のための複数の通信接続を備えることが好ましい
。メディアデータ接続５０は、メディアプロセッサ３２と、圧縮画像発生器２５
（図１）などのその他のシステムとの間のメディアデータの転送を可能にする。
メディア制御接続５２は、メディアプロセッサ３２と、Ｉ２Ｃ互換性装置および
／またはシステムバス４１に接続されたインターフェースハードウェアなどの他
のシステムとの間で制御信号および／またはデータを転送する。ユーザインター
フェース接続５４は、メディアプロセッサ３２と、ジョイスティック、ＩＲリモ
コン装置などのユーザインターフェース周辺機器との間でユーザインターフェー
スデータを転送する。最後に、入出力チャネル接続５６は、システムのさらなる
拡張のための他のＩ／Ｏデバイスとの接続を可能にする。
【００２０】 メディア処理システム３０は、フルモーションカラービデオゲーム、ケーブル
テレビ受信機および衛星テレビ受信機、高解像度テレビ受信機、コンピュータシ
ステム、ＣＤおよびＤＶＤプレーヤーなどの種々の用途で使用される。例えば、
ビデオゲームアプリケーションで、地形、登場人物およびゲームのその他の視覚
的側面を表すデジタルデータは、メインメモリに格納され、周辺デジタルデータ
ソースから入力される。本発明のこの態様によると、メディア処理システム３０
、およびより詳細にはプロセッサ３２は、１乃至それ以上のデジタルデータソー
スからのデジタルデータを処理し、ビデオゲームディスプレイ上に表示されるイ
ンタラクティブなフルモーションカラー画像を生成する。メディア処理システム
３０は、ビデオゲームの音楽および音響効果を追加する音声信号も生成し得る。
【００２１】 ケーブルテレビ受信機または衛星テレビ受信機に対し、メディア処理システム
３０は、ケーブルヘッドエンドシステムか衛星送信機から受信した圧縮デジタル
ビデオ・音声信号を解凍し、解凍デジタルビデオ・音声信号を生成する。次に、
解凍デジタルビデオ・音声信号は、テレビディスプレイへの出力であるアナログ
信号に変換される。メディア処理システム３０はまた、任意の暗号化入力ケーブ
ルテレビまたは衛星テレビ信号を解読するように構成されてもよい。
【００２２】 ＤＶＤプレーヤー用には、メディア処理システム３０は、ＤＶＤまたはＣＤか
ら圧縮デジタルデータを受信し、データを解凍することが好ましい。同時に、メ
ディア処理システム３０はＲＯＭ、例えばＲＯＭ４０に格納されたデジタルデー
タまたは別のデジタルデータソースからの入力を受信し、解凍されたＤＶＤまた
はＣＤカラー画像が、ＲＯＭまたはその他のデジタルデータソースから受信され
たデータと共に表示されるビデオゲーム環境を生成し得る。かくして、インタラ
クティブなフルモーションカラーマルチメディアゲームが、メディア処理システ
ム３０によって動作され得る。
【００２３】 次に図３を参照すると、その他の多数の処理アプリケーションと同様に、上記
で概説したアプリケーションを実行するメディアプロセッサ３２の内部アーキテ
クチャを以下でさらに詳細に説明する。より詳細には、図３は、内部並列アーキ
テクチャを有するメディアプロセッサ３２のブロック図である。本発明の並列ア
ーキテクチャは、デジタルデータを解凍、処理するために必要な処理能力および
速度を提供し、フルモーションカラー画像を生成可能にする。並列アーキテクチ
ャは、様々なアプリケーションで利用され得るが、並列アーキテクチャは特に、
マルチメディア処理アプリケーションに適用可能である。
【００２４】 本発明の一実施例によると、メディアプロセッサ３２は、通信バス６０と、メ
インバス６２と、補助バス６４とから成り、これらのすべてが、プロセッサ３２
の種々の処理要素とサブシステム装置を接続するために用いられる。より詳細に
は、プロセッサ３２は、第１処理要素（ＭＰＥ０）６６と、第２処理要素（ＭＰ
Ｅ１）６８と、第３処理要素（ＭＰＥ２）７０と、第４処理要素（ＭＰＥ３）７
２と、復号支援装置７４と、音声映像Ｉ／Ｏシステムとからなることが好ましい
。本発明の一実施例によると、音声映像Ｉ／Ｏシステムは、音声Ｉ／Ｏ装置７６
と、ビデオＩ／Ｏ装置７８と、ビデオ時間ベース・表示発生器８０とからなる。
【００２５】 メインバス６２は、ＭＰＥメモリと外部ＳＤＲＡＭとの間か、または１個のＭ
ＰＥから別のＭＰＥへのいずれかにおける、約２１６Ｍバイト／秒の最大データ
転送速度を有する３２ビットバスである。該バスは、データのバーストの転送に
使用でき、バイリニア・アドレッシングおよびＺバッファ比較を含むピクセル転
送の広範なサポートを有する。これは、ビデオ・音声出力にも使用される。メデ
ィア処理システム３０は、このバスに接続される最低８ＭバイトのＳＤＲＡＭを
有することが好ましい。
【００２６】 補助バス６４は、１６ビットバスであることが好ましく、より単純で低速なメ
インバスのようなものである。補助バス６４は、システムバスメモリと、システ
ムバスに接続される他のデバイスとの通信用に使用され、線形データ伝送（ｌｉ
ｎｅａｒ ｄａｔａ ｔｒａｎｓｆｅｒ）を、約１０８Ｍバイト／秒の最高速度
で実行する。メディア処理システム３０は、該バスに接続される最低８Ｍバイト
のＤＲＡＭを有することが好ましい。
【００２７】 通信バス６０は、最大データ転送速度が約１７２Ｍバイト／秒の別の３２ビッ
トバスであることが好ましく、ＭＰＥ間で１２８ビットパケットの伝送に使用さ
れるか、ＭＰＥの周辺機器との通信を可能にするために使用される。通信バス６
０は低レイテンシーバスであって、プロセッサ間の通信に適している。通信バス
６０のより詳細な説明については、２０００年１月３日に出願され、「マルチプ
ロセッサシステム用の通信バス（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｂｕｓ ｆｏｒ
ａ Ｍｕｌｔｉ−Ｐｒｏｃｅｓｓｏｒ Ｓｙｓｔｅｍ）」と題された米国特許
出願第０９／４７６，９４６号（代理人明細書番号第１９２２３−０００６００
ＵＳ）を参照されたい。当該出願のすべては参照により本願に援用される。
【００２８】 データと命令が同じバスで伝送されなければならない、より標準的な単一バス
アーキテクチャと比較すると、制御信号／コマンドおよびデータが別のバス上で
通信されるために、該特定の並列バス構造は、メディア処理システム３０により
処理されるデータ量の増加を可能とする。処理要素とサブシステム装置との間で
伝送されるコマンドおよびデータの数を増やすことにより、システムの総処理能
力が増大される。
【００２９】 さらに図３で、処理要素およびサブシステム装置について以下により詳細に説
明する。特に、プロセッサ３２は、処理要素（ＭＰＥ）６６ ，６８，７０，
７２を備えることが好ましい。該処理要素の１つは、好ましくはプロセッサ３２
の処理全体を制御するために、少なくとも部分的に、制御処理要素として使用さ
れる。例えば、制御処理要素は、（１）各ＭＰＥと他のシステム装置の間におけ
る一部またはすべてのデータの移動を制御し、（２）ＭＰＥおよびシステム装置
が実行するタスクのスケジュールを決定し、（３）他の適切な制御機能を実行し
得る。このようにして、タスクが適切にスケジュール指定され、データが効率的
に利用されると、メディアプロセッサ３２内のすべてのＭＰＥとサブシステム装
置が常に、またはほとんど常にビジー状態に維持できる。メディアプロセッサ３
２内のすべてまたはほとんどのＭＰＥおよびサブシステム装置をアクティブ状態
に維持することで、より多くのデータおよびコマンドが処理され、かくして、シ
ステムの全体速度が増大する。
【００３０】 本発明はいかなる特定のアプリケーションまたはメディアシステムに限定され
ないが、プロセッサ３２の動作は、ＭＰＥＧビデオデータストリームの処理を例
に取って説明する。ＭＰＥＧフォーマットは、ＭＰＥＧ−１規格とＭＰＥＧ−２
規格とを有し、ＭＰＥＧ−２規格はその改良された画像圧縮能力により、この２
つの内でより広く用いられ始めている。ＭＰＥＧフォーマットは、特定のピクセ
ルの輝度に対応する輝度値で各ピクセルを表す。さらに、４個のピクセルの色を
表す２個のクロミナンスを生成するため４個ずつピクセルがサンプル抽出される
。かくして、４個のピクセルに関するデータを格納するため６バイトが使用され
る。該フォーマットは、４．２．０サブサンプリングフォーマットとして知られ
る。非圧縮の画像では、同じ４個のピクセルは、少なくとも１２バイトのメモリ
を要する。ＭＰＥＧデコーダは、ピクセルがディスプレイシステム上で表示され
得るように、４．２．０サブサンプルされた圧縮フォーマット信号を、複数個の
個々のピクセルを表す信号に変換し戻す。ＭＰＥＧおよびＭＰＥＧ−２の圧縮並
びに解凍手法は当業で周知であり、本願では詳細には説明しない。
【００３１】 図３に示されるように、すべてのメディア処理要素（ＭＰＥ）６６〜７２は、
バス６０〜６４のそれぞれに接続されることが好ましい。４個のＭＰＥが図示さ
れるが、本発明は、いかなる特定数のＭＰＥに限定されるものではなく、最低１
個のＭＰＥまたは多数のＭＰＥを有してもよい。ただし、本発明の一実施例によ
ると、４個のＭＰＥを用いるのが好ましい。前記で簡単に説明したように、かか
る４個のＭＰＥは、単一の半導体チップ上か、または多数のチップ上に形成され
得る。
【００３２】 本発明の一実施例によると、各ＭＰＥ６６〜７２は、他のすべてのＭＰＥから
独立して動作可能な単一命令多重データストリーム（ＳＩＭＤ）汎用ベリー・ロ
ング・インストラクション・ワード（ＶＬＩＷ）ＲＩＳＣである。したがって、
図３に図示される実施例によると、最高４個の個別の複雑な処理タスクが同時ま
たはほぼ同時に実行される。さらに、大きなより複雑なタスクでは、制御プロセ
ッサが同じタスク上で幾つかまたはすべてのＭＰＥを動作させる。例えば、３次
元画像を生成する場合、１個のＭＰＥは、実像を生成する多角形を計算し、同時
に別のＭＰＥは多角形を描画（表現）し得る。かくして、ＭＰＥは、タスクに応
じて、並列に独立して、あるいはたがいに協動して動作できる。このフレキシビ
リティは、メディア処理システムが、グラフィック処理、データベース検索、数
値処理などの様々な異なるタスクを処理することを可能にする。さらに、ＭＰＥ
６６〜７２の各々は、同じ汎用命令セットを利用することが好ましい。
【００３３】 本発明の一実施例によると、ＭＰＥＧ−２ビデオデータストリームを処理する
ために、ＭＰＥＧデータを復号化し、フルモーションカラー画像を生成するため
に必要なタスクは、複数のＭＰＥ間に分割されてもよい。したがって、例えば１
個のＭＰＥが音声データを処理し、１個のＭＰＥが圧縮ビデオデータを生成し、
１個のＭＰＥがデータストリームパーサーまたはマルチプレクサとして機能し、
別のＭＰＥが制御機能を実行し得る。
【００３４】 さらに図３を参照すると、プロセッサ３２が、ＭＰＥＧ−２データ、サブピク
チャデータ、オーバーレイデータ、および制御データなどを含むＤＶＤデータス
トリームを以下に処理するかの具体例を示している。本発明のこの特定例による
と、ＤＶＤデータストリームを処理するために、ＭＰＥ１６８は、データストリ
ームを受信し、データストリームを、圧縮ビデオデータコンポーネント、圧縮音
声データコンポーネント、サブピクチャデータコンポーネント、ナビゲーション
制御データコンポーネントなどの別々のコンポーネントに分割または分解するよ
うに構成されることが好ましい。ＤＶＤデータストリームが独立したコンポーネ
ントに分解されると、次にデータは、データバッファとして機能するメモリ内に
置かれる。データが提示された時点またはそれに近い時点で、ＭＰＥ１６８がメ
モリからデータを引き出し、処理のために、データの独立したコンポーネントを
異なるＭＰＥおよびサブシステム装置に送信することが好ましい。
【００３５】 この特定例によると、ＭＰＥ０６６はＭＰＥＧ−２データストリームの圧縮音
声部分を復号化および／または解凍するように構成されることが好ましい。同様
に、ＭＰＥ１６８、ＭＰＥ２７０およびデコーダ装置７４は、ＭＰＥＧ−２ビデ
オデータストリームの復号化または解凍を実行するように構成される。図３に図
示されるように、デコーダ装置７４は、デコーダ装置７４とＭＰＥ６８，７０と
の間のデータの高速転送を容易にするために、ＭＰＥ１６８とＭＰＥ２７０の両
方への直接的な接続を含む。さらに、デコーダ装置７４とメモリ、および他のＭ
ＰＥとサブシステム装置の間でのデータ転送を容易にするために、デコーダ装置
７４は、通信バス６０とメインバス６０に接続されることが好ましい。
【００３６】 ＭＰＥ１６８は、別のコンポーネントにＭＰＥＧ−２およびＤＶＤデータを解
析し、次に、残りの復号化機能のために、ビデオデータストリームをＭＰＥ２７
０とデコーダ装置７４に送信する。例えば、ＭＰＥ２７０は、ストリーム解析と
動作ベクトル復号化機能を実行するように構成され、一方デコーダ装置７４は、
逆離散余弦変換（ＩＤＣＴ）、逆定量化（ｄｅｑｕａｎｔｉｚａｔｉｏｎ）、お
よび動作予測機能などのＭＰＥＧ復号の下層部を実行するように構成される。図
３に図示されるように、ＭＰＥ２７０とデコーダ装置との直接的な接続は、該装
置間のデータの高速転送を可能にし、かくしてビデオデータストリームの高速復
号を容易にする。
【００３７】 ＭＰＥＧビデオストリームは復号された後、テレビまたはコンピュータモニタ
などの表示装置に提供されるまで格納されるメモリに送信されることが好ましい
。ＭＰＥ３７２は、サブピクチャ、メニュー、ナビゲーションおよびその他のビ
デオおよび音声制御機能を処理するように構成されることが好ましい。
【００３８】 すべての音声、ビデオおよびＤＶＤ情報が復号化され、メモリ内に置かれた後
に、表示発生器８０は、ビデオ、サブピクチャおよび制御情報をメモリから検索
し、幾つかの処理を実行する。例えば、本発明の一実施例によると、ビデオ情報
は４：２：０ＭＰＥＧフォーマットでメモリに格納される。表示発生器８０は、
４：２：０フォーマットをＣＣＩＲ６５６標準ビデオフォーマットに合致した４
：２：２フォーマットに変換することが好ましい。さらに、表示発生器８０は、
ビデオ情報をメニューなどのオーバーレイ情報およびサブピクチャチャネル情報
と組み合わせて、出力として情報の全パケットを提示することが好ましい。最後
に、表示発生器８０は、好ましくはビデオタイミングとリフレッシュ機能を実行
するように構成されて、サブピクチャ復号化動作の幾つかを実行し得る。表示発
生器８０が、サブピクチャ復号を実行するためにどのように１乃至それ以上のＭ
ＰＥと相互作用するかについてのより詳細な説明は、２０００年１月３日に出願
され、「サブピクチャ復号方法と装置（Ｓｕｂｐｉｃｔｕｒｅ Ｄｅｃｏｄｉｎ
ｇ Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ）」と題された米国特許出願
第０９／４７６，６９８号（代理人明細書第１９２２３−０００７００ＵＳ号）
に記載され、当該出願のすべては参照により本願に援用される。
【００３９】 前述の例は、ＤＶＤデバイスからのＭＰＥＧ−２ビデオストリームとその他の
情報の復号化として本願で記載されたが、当業者であれば、プロセッサ３２が、
処理機能、またはデジタル静止カメラ、デジタルビデオカメラ、ケーブルまたは
衛星テレビシステム、ＲＯＭまたはハードドライブ、あるいはその他の適切なデ
ータソースなどのいかなるソースからのメディアデータストリームを実行できる
ことは十分理解するであろう。さらに、プロセッサ３２は、メディアデータのみ
ならず、いかなるタイプのデータも処理するように構成され得る。最後に、前述
の例は、特定の機能について説明しており、ＭＰＥ６６〜７２と、デコーダ装置
７４および表示発生器８０などの他のサブシステム装置により実行されるが、当
業者であれば、本発明がこれらの特定の機能分類に限定されないことは十分理解
するであろう。ＭＰＥとサブシステム装置は、いかなる数の異なる機能を実行す
るようにも構成され得る。したがって、本発明は、本願に説明されるか、図３に
図示される例に限定されない。
【００４０】 プロセッサ３２は、メディア処理システム３０の通信バス６０、補助バス６４
およびシステムバス４１（図２）に電気的に接続されるシステムバスインターフ
ェース８２も備えてよい。システムバスインターフェース８２は、プロセッサ３
２と、メモリと、システムバス４１および／または拡張バス４２に接続される他
の周辺機器間に通信パスを提供する。例えば、図２に図示されるように、プロセ
ッサ３２は、システムインターフェース８２とシステムバス４１とを介して、Ｄ
ＲＡＭ４６および拡張モジュール４３に接続される。システムバスインターフェ
ース８２を利用することで、プロセッサ３２は、メモリ、外部プロセッサ、周辺
機器などを含む複数の異なるデバイスに接続され得る。
【００４１】 さらにメディアプロセッサ３２は、メインバス・オービトレーション・メモリ
アクセス装置８４を含む。装置８４のメインバスオービトレーション部は、メイ
ンバス６２上のバストラヒックを制御し、オービトレーションを行なうことが好
ましい。装置８４は、メモリ、例えば図２に図示されるメモリ３４にインターフ
ェースも提供することが好ましい。メモリ３４にアクセスするために、装置８４
は、メモリオービトレーションシステム（図示せず）と、直接メモリアクセス装
置（図示せず）および／またはＤＲＡＭインターフェース（図示せず）を備える
か、またはそれらと通信し得る。
【００４２】 前述のように、通信バス６０は、一般的に、プロセッサ３２内の種々のシステ
ム間、ならびにプロセッサ３２外部の種々のシステムおよびシステムインターフ
ェースとの制御信号およびデータの通信に使用される。例えば、ＲＯＭインター
フェース８８は、ＲＯＭ、例えば図２のＲＯＭ４０へのデータ転送および同ＲＯ
Ｍからのデータの転送のために、補助バス６４と通信バス６０に接続される。前
記で簡単に説明したように、該ＲＯＭは、メディアプロセッサ３２に固有のプロ
グラムコードおよびその他のデータを格納できる。また、一般入出力（Ｉ／Ｏ）
インターフェース９０が通信バス６０に接続されて、メディアプロセッサ３２と
、例えばユーザインターフェースまたはメディア制御システム（例えばキーボー
ド、ジョイスティック、マウス、およびその他の適切なユーザインターフェース
）との間に通信パスを提供し得る。
【００４３】 通信バス６０には、コード化データインターフェース９２と、通信バスオービ
トレーション装置９４も接続される。コード化データインターフェース９２は、
ＤＶＤプレーヤー、ケーブルまたは衛星ビデオフィードなどのソースから、ＭＰ
ＥＧビデオデータなどのコード化されたデータを受信し、１乃至それ以上のＭＰ
Ｅ６６〜７２、デコーダ装置７４および／またはメモリに通信バス６０を介して
データを通信することが好ましい。さらに、通信バスオービトレーション装置９
４は、通信バス６０を介したデータ通信の使用および制御のオービトレーション
を行うように構成されることが好ましい。
【００４４】 最後に、前記で簡単に説明したように、プロセッサ３２は音声Ｉ／Ｏ装置７６
およびビデオ入力装置７８を備え得る。音声Ｉ／Ｏ装置７６は、通信バス７６と
メインバス６２に接続され、マイク、ステレオシステムなどの外部音源から音声
デジタルビットストリーム入力を受信するように構成されることが好ましい。音
声Ｉ／Ｏ装置７６からの出力は、プロセッサ３２の音声出力であり、Ｉ２Ｓ、Ｉ
ＥＣ９５８、ＳＰ−ＤＩＦ、ＡＣ＿３、ＭＰＥＧ音声、ＭＰ３、ＤＴＳまたはそ
の他の公知の音声フォーマットなどの種々のデジタル音声出力フォーマットを含
む。ビデオ入力装置７８は、通信バスに接続され、例えばビデオカメラ、ＮＴＳ
ＣおよびＰＡＬデコーダなどからデジタルビデオ入力（例えばＣＣＩＲ６５６デ
ジタルビデオフォーマット）を受信するように構成されていることが好ましい。
【００４５】 要約すると、ＭＰＥ６６〜７２は汎用処理要素であるが、ＭＰＥは、好ましく
は、メディア処理アプリケーションを最適化するために使用できる特定の命令を
命令セット内に含む。かかる命令を以下により詳細に説明する。また、各ＭＰＥ
は、３次元画像を生成するためのメディア処理規格およびアルゴリズムが変化し
、向上する場合に、命令が新しいアルゴリズムを実行するために簡単に変更され
るために、ＭＰＥは最新の基準とアルゴリズムに順応できるという点で十分に一
般的である。このＭＰＥのフレキシビリティは、本発明によるメディア処理シス
テム３０が拡張し、ユーザの需要と将来的な革新に順応することを可能にする。
例えば、より優れた圧縮技術が開発されると、メディア処理システム３０に簡単
に組み込まれる。さらに、ＭＰＥのいずれも特に単一機能を実行するように構築
されていないために、処理機能のいずれか（例えば音声処理システム）で障害が
生じた場合、障害を軽減するために、音声データを処理するのに別のＭＰＥが使
用され得る。
【００４６】 前記でより詳細に説明されるように、各ＭＰＥ６６〜７２は単一命令多重デー
タストリーム（ＳＩＭＤ）内部ハードウェアアーキテクチャとベリー・ロング・
インストラクション・ワード（ＶＬＩＷ）アーキテクチャとからなることが好ま
しい。ＶＬＩＷアーキテクチャは、論理演算装置、乗算器などの複数個の並列処
理装置を備えるため、各処理装置がそれ自体のデータに関するそれ自体の命令を
実行できる。かくして、前述のように、メディアプロセッサ３２は並列アーキテ
クチャから成り、メディアプロセッサ３２内の各ＭＰＥ６６〜７２も並列アーキ
テクチャからなることが好ましく、よって、メディアプロセッサ３２およびメデ
ィア処理システム３０の全体的な処理能力がさらに向上する。
【００４７】 次に図４で、本発明の一実施例によるメディア処理要素（ＭＰＥ）６６，６８
，７０，７２の内部並列アーキテクチャ１００を図示するブロック図を示す。メ
ディアプロセッサ３２の並列バスアーキテクチャと同様に、各ＭＰＥ６６〜７２
は、命令バス１０２とデータバス１０４を有する並列バスアーキテクチャも含む
ことが好ましい。命令バス１０２は好ましくはＭＰＥの全体にわたって命令を送
信し、データバス１０４はＭＰＥ内の種々の装置へまた同装置からデータを送信
する。前述のように、命令およびデータが同じバスを通って伝送されないので、
並列な命令およびデータのバスアーキテクチャによりＭＰＥ速度が増大される。
【００４８】 ＭＰＥのアーキテクチャ１００は、実行制御装置（ＥＣＵ）１０６と、メモリ
処理装置（ＭＥＭ）１０８と、レジスタ制御装置（ＲＣＵ）１１０と、論理演算
装置（ＡＬＵ）１１２と、乗算処理装置（ＭＵＬ）１１４と、レジスタファイル
１１６などの複数個のサブユニットを有し得る。ＥＣＭ１０６と、ＭＥＭ１０８
と、ＲＣＵ１１０と、ＡＬＵ１１２と、ＭＵＬ１１４はすべてレジスタファイル
１１６を介して並列にともに接続されることが好ましい。命令解凍およびルーテ
ィング装置１１８は命令バス１０２を介して命令メモリ１２０に接続され、好ま
しくは命令を復号し、ＭＰＥ内の種々の処理装置へルートする。命令メモリ１２
０は、ＭＰＥ内の種々の処理装置を制御する複数個の命令を格納する。格納され
る命令は、好ましくはベリー・ロング・インストラクション・ワード（ＶＬＩＷ
）の形式であり、格納するために必要なメモリ量を低減するために圧縮されてい
る。ＶＬＩＷ圧縮のより詳細な説明を以下に説明する。
【００４９】 レジスタファイル１１６は、ＭＰＥの処理装置１０６〜１１４のいずれかによ
って処理されるデータを一時的に格納するために使用される。例えば、２つの数
を加算する際、各数はレジスタファイル１１６内のレジスタにロードされ、次に
、該レジスタが加算され、結果がレジスタに格納される。以下に説明するように
、レジスタファイル１１６は、ピクセルなどのビデオ処理に固有のデータタイプ
を含む種々のデータを格納するよう再構成され得る。
【００５０】 ＭＥＭ装置１０８は、データバス１０４によってＭＥＭ装置１０８に接続され
るデータメモリ１２２などのＭＰＥ内のいずれかの格納要素へのアクセスを制御
するように構成される。ＭＥＭ装置１０８は、別のＭＰＥまたは別のシステムか
らＭＰＥ内の適切なメモリまたはレジスタに伝送されるようにデータのルートを
決定し得る。例えば、ＭＰＥは、データインターフェース１３０〜１３８を介し
て、メモリから、または別のＭＰＥもしくは処理装置から直接データを受信でき
る。メインバス６２に接続されるＳＤＲＡＭからのデータは、メインバスＤＭＡ
インターフェース１３４を介して、ＭＰＥに伝送される。同様に、通信バス６０
と補助バス６４からのデータは、それぞれ通信バスインターフェース１３８と補
助バスＤＭＡインターフェース１３６を介して、ＭＰＥにより受信される。デー
タは、コプロセッサＤＭＡインターフェース１３２を介して、あるＭＰＥメモリ
１２２と、別のＭＰＥメモリ１２２またはシステム装置（例えばデコーダ支援装
置７４）の間で伝送され得る。同様に、ＭＰＥは、コプロセッサインターフェー
ス１３０を介して、別のＭＰＥまたはシステム装置（例えばデコーダ支援装置７
４）のレジスタまたはレジスタファイル内のデータにアクセスできる。図３に図
示される実施例によると、デコーダ支援装置７４は、コプロセッサＤＭＡインタ
ーフェース１３２を介して、ＭＰＥ１６８のデータメモリ１２２からデータから
引き出すことが可能である。同様に、ＭＰＥ７０は、コプロセッサインターフェ
ース１３０を介して、データ支援装置７４のレジスタにアクセスできる（逆もま
た同様である）。最後に、図４に図示されるように、アーキテクチャ１００は、
ＭＥＭ装置１０８からレジスタファイル１１６へデータを書き戻すことを可能に
する。
【００５１】 ＲＣＵ１１０は、対立がないように、専用レジスタのグループ（図示せず）へ
の処理装置の割当を制御する。ＡＬＵ１１２は、レジスタファイル１１６に典型
的に格納されるデータに対して演算および論理処理を実行し、また、以下にさら
に詳細に説明されるように、ピクセル演算のために最適化され得る。ＭＵＬ１１
４はレジスタライフ１１６に典型的に格納される２個のデータの乗算を実行し、
また、以下に説明されるように、ピクセル演算のために最適化され得る。図４に
示されるように、ＡＬＵ装置１１２およびＭＵＬ装置１１４は、両方とも、リタ
ーンレジスタファイルポート１２６，１２８をそれぞれ介して、レジスタファイ
ル１１６にデータを返信でき、よって生じたデータはレジスタファイルレジスタ
のいずれかに格納され得る。
【００５２】 図示される並列パイプラインＶＬＩＷアーキテクチャ１００のために、処理装
置１０６〜１１４のそれぞれが単一の独立命令を処理できるので、各ＭＰＥは、
各クロックサイクルで最高５個の独立命令を処理できる。３次元環境で多角形を
生成する、あるいは画像に陰影をつける命令のグループなどの、繰り返し実行さ
れる複雑なループ命令を有するグラフィックアプリケーションの場合、ループ内
のＶＬＩＷ命令のそれぞれが、各動作がＭＰＥ内の処理装置のそれぞれに対して
１個ずつで、最高５個の演算を含む。かくして、ＭＰＥの内部並列アーキテクチ
ャは、メディアプロセッサ３２とメディア処理システム３０の処理能力、特にグ
ラフィック処理能力をさらに増大させる。
【００５３】 ＭＰＥの並列アーキテクチャから実現可能な最適化の１例として、陰影をつけ
た物体上の平滑表面を生成するために使用できるプログラムコードの最適化につ
いて以下に説明する。本例では、三角形が、グーロー陰影法（Ｇｏｕｒａｕｄ
ｓｈａｄｉｎｇ）として知られる手法で陰影を付けられる。グーロー陰影法では
、表面が三角形などの複数個の多角形から構築される滑らかな表面陰影のモデル
化の試行において、隣接するピクセル強度は、頂点間で線形補完される。この例
を目的とし、増分値の設定は無視することにする。関数により使用される任意の
三角形の変数は以下のとおり。
【００５４】
【表１】 グールー陰影法を実行するために使用されるマイクロコードは以下のようであ
ってよい。
【００５５】
【表２】 ここで同じマイクロコードが図示される。中括弧｛ ｝がマイクロコードの部
分の周囲に置かれ、必要に応じて再配置され、前述のＭＰＥの並列アーキテクチ
ャ１００によって１回のクロックサイクルで実行される。
【００５６】
【表３】 図示されるように、「ｈｌｏｏｐ」内のすべての命令は、１個のクロックサイ
クル内で実行され得、よって、三角形からなる画像上にグーロー陰影法を実行す
るために必要な時間を短縮する。
【００５７】 図５は、本発明によるベリー・ロング・インストラクション・ワード（ＶＬＩ
Ｗ）１４０の例の図である。ＶＬＩＷ命令は可変長で、各クロックサイクルで、
各処理装置が個別の命令を実行できるように、処理装置のいずれかまたはすべて
の命令を含む。例えば、ＶＬＩＷ１４０は、ＥＣＵ装置１０６を制御するための
ＥＣＵ＿ＣＴＲＬ命令１４２と、ＭＵＬ装置１１４を制御するためのＭＵＬ＿Ｃ
ＴＲＬ命令１４４と、ＡＬＵ装置１１２を制御するためのＡＬＵ＿ＣＴＲＬ命令
１４６と、ＲＣＵ装置１１０を制御するためのＲＣＵ＿ＣＴＲＬ命令１４８と、
ＭＥＭ装置１０８を制御するためのＭＥＭ＿ＣＴＲＬ命令１５０とを含む。ＥＣ
Ｕ＿ＣＴＲＬ、ＭＵＬ＿ＣＴＲＬ、およびＡＬＵ＿ＣＴＲＬ命令は可変長で、こ
こでは例示を目的として、それぞれ長さ３２ビットとして示される。ＲＣＵ＿Ｃ
ＴＲＬおよびＭＥＭ＿ＣＴＲＬ命令も可変長で、ここでは例示を目的として、そ
れぞれ長さ１６ビットとして示される。かかる各命令の長さは、典型的に、処理
装置によって異なる。本例で、完全なＶＬＩＷ１４０の長さは１２８ビットであ
る。いずれのＶＬＩＷの長さも、使用される処理装置の数と、ＶＬＩＷが何らか
の方法にて圧縮されたか否かに依存する。
【００５８】 次に図６を参照すると、メディアプロセッサ３２および各ＭＰＥ６６〜７２に
よってサポートされる種々のデータタイプを図示する図が示されている。最も単
純なデータタイプは、３２ビットスカラ値であることが好ましいスカラタイプ１
６０である。スカラタイプ１６０は、すべての他のデータタイプがそれに基づく
、基本的なデータタイプを形成する。例えば、ベクトルデータタイプ１６２は４
個の３２ビットスカラデータタイプ１６４，１６６，１６８，１７０から成り、
ベクトルの全長は１２８ビットである。同様にスモールベクトル１７２も特定の
タイプの命令に定義され、４個の３２ビットスカラデータタイプ１７４，１７６
，１７８，１８０からなるという点でベクトルと似ている。しかし、スモールベ
クトルのデータ部は６４ビットでしかなく、したがって、陰影領域で示されるよ
うに、各スカラレジスタ１７４〜１８０の下半分が０に設定される。同様に、ピ
クセルデータタイプ１８２も４個のレジスタ１８４，１８６，１８８，１９０か
らなる。ピクセルは、各一次色（例えば、赤緑青）に対して１６ビット値として
一般に定義される。１ピクセルに対し、スカラレジスタ１８４，１８６，１８８
は０に設定される。さらに、３個の１６ビット値のみが典型的に必要であるため
に、最後のスカラレジスタ１９０のすべてのビットが０に設定されるか、または
ピクセルのＺ（深度）などの他の値を保持するために使用される。ピクセル全体
を１個のデータタイプに格納にでき、１個のクロックサイクルで操作または処理
できるので、ピクセルデータタイプ１８２の使用により、好ましくは、グラフィ
ックアプリケーションのためのプロセッサ３２、特にＭＰＥの処理速度が増大さ
れる。最後のデータタイプはハーフベクトル１９２で、２個の３２ビットスカラ
データタイプ１９４，１９６から成り、全長を６４ビットにすることが好ましい
。
【００５９】 すべてのデータタイプ１６０，１６２，１７２，１８２は、単一のレジスタと
して、あるいはグループレジスタの組み合わせとしてレジスタファイル１１６内
に格納され得る。レジスタファイル１１６内のレジスタの様々な使用が、以下の
表１に記載される。
【００６０】
【表４】 表１に示されるように、各メディア処理要素（ＭＰＥ）６６〜７２（図３）は
、スカラデータタイプを格納することが好ましい３２個の３２ビット物理レジス
タからなるレジスタファイル１１６を含むことが好ましい。前述のその他のデー
タタイプのいずれかを格納するために、３２ビット長さのレジスタを論理的に組
み合わせる。かくして、３２個の物理レジスタしかないが、かかる３２個の物理
レジスタが複数個のデータタイプを表すために用いられる。例えば、Ｒ０〜Ｒ３
は、第１ピクセルを格納するために組み合わされ、Ｒ４〜Ｒ７は第２ピクセルを
格納し、Ｒ８はスカラを格納し、Ｒ１２〜Ｒ１５は特定のクロックサイクル用に
ベクトルを格納する。次に、次のクロックサイクルで、かかる割当は変更され得
る。この物理レジスタのエイリアシングまたは論理的結合は、様々なデータデー
タタイプをサポートする能力を保持するとともに、レジスタファイルの全体サイ
ズを減少する。例えば、１２８ビットを要するベクトル値を格納するために、４
個の３２ビット物理レジスタが論理的に組み合わされる。かくして、第１定義論
理ベクトルレジスタＶ０は物理レジスタＲ０〜Ｒ３に格納される。各ベクトルデ
ータは４個の物理レジスタを必要とするために、１度に合計８個のベクトルレジ
スタが利用できる。同様に、前述のように、スモールベクトルとピクセルデータ
タイプも４個の物理レジスタに格納される。
【００６１】 ＭＰＥ内の処理装置による処理のためにデータを一時的に格納するデータレジ
スタに加え、幾つかのアドレスおよびシステムレジスタも存在する。例えば、Ｒ
Ｘ、ＲＹ、ＲＵおよびＲＶレジスタは、以下により詳細に説明するように、バイ
リニア・アドレッシングに利用されることが好ましい。レジスタＲＣ０とＲＣ１
は、処理装置１０６〜１１４（図４）のいずれかにより使用される汎用ダウンカ
ウンタである。ＳＰレジスタはスタックポインタで、メモリ内のシステムプログ
ラムスタックの先頭へのポインティングに使用される。ＲＺレジスタは、プログ
ラム内の制御が、サブルーチンリターン制御後に、レジスタＲＺ内に保存された
アドレスに戻されるように、呼び出しサブルーチン命令後のプログラム実行中に
アドレスを格納するために使用される。ＰＣレジスタは、プログラム実行を制御
し、追跡するために使用されるプログラムカウンタである。当業では周知である
ように、複数個の条件コードを格納するために使用されるＣＣレジスタもある。
【００６２】 バイリニア・アドレッシングスキームは、例えば、ピクセル操作命令の速度を
増大するためにピクセルをロードし、格納するために用いられる。例えば、ピク
セルロード命令は以下のバイリニア・アドレッシング形式、すなわちｌｄ＿ｐ（
ｘｙ），Ｐｉを有し得る。この特定の命令は、ＲＸとＲＹレジスタを一緒に使用
するが、命令中で（ｕｖ）と称されるＲＵおよびＲＶレジスタも使用できる。各
レジスタ対ＲＸ，ＲＹおよびＲＵ，ＲＶは、レジスタによって参照されるデータ
構造を定義する入出力レジスタの関連セットを有してもよい。例えば、６４ピク
セルマップ内のいずれかのピクセルを、単一のバイリニア・アドレッシング命令
を用いてロードまたは格納できるように、以下に説明されるようなピクセルマッ
プデータタイプを入出力レジスタによって定義できる。かくして、単一命令が任
意のピクセルをロードできるので、ピクセルの格納およびロード速度は低減され
る。
【００６３】 各メディア処理要素（ＭＰＥ）からメインＤＲＡＭへのピクセルデータタイプ
転送のフレキシビリティと速度をさらに増加するためには、複数の異なるピクセ
ルデータタイプがある。各ＭＰＥ内部のピクセルデータタイプの幾つかは、メデ
ィア処理システム３０のＤＲＡＭ内に格納されたデータタイプを変換することで
生成される。かかる変換は、以下に説明されるように、ＭＰＥが内部フォーマッ
トでピクセルデータをより高速で処理できるために、実行される。外部ＤＲＡＭ
ピクセルデータフォーマットの幾つかは、ＭＰＥＧフォーマットなどの工業規格
フォーマットであり、ＭＰＥがかかるフォーマットを操作することは困難である
。外部ＤＲＡＭピクセルデータタイプから内部ＭＰＥピクセルデータタイプへの
変換と、その反対の変換は、例えば図３の装置８２、装置８４または装置８６な
どのＤＭＡシステムによって実行される。
【００６４】 変換と、内部通常およびピクセルデータタイプを理解しやすくするために、表
２にピクセルデータタイプを示す。
【００６５】
【表５】 示されるように、ピクセルマップタイプ０は、１ピクセル当たり１６ビットで
ある。ＭＰＥＧピクセルは、輝度の線形解像度の半分で彩度（ｃｈｒｏｍａ）が
サンプル抽出され、したがってこの種のＭＰＥメモリ表象は、１２８ビットメモ
リ内に８個の８ビットの輝度（Ｙ）値と４個の８ビット彩度（ＣＲ、ＣＢ）対（
すなわち８ピクセル）を格納する。
【００６６】 示されるように、ピクセルマップタイプ１は、１ピクセル当たり４ビットであ
る。４ビットの値は、任意のカラー参照テーブル（ＣＬＵＴ）への索引を表すの
で、その値はピクセルの物理的外見と物理的関係を有さない。かかる４ビットピ
クセルマップは、前述のように、カラー参照テーブル内での索引付け後、ベクト
ルレジスタ内にロードされる。
【００６７】 ピクセルマップタイプ２は、１ピクセル当たり１６ビットで、ビットの値は、
いずれも５ビットである第１クロミナンス要素Ｃｂと、第２クロミナンス要素Ｃ
ｒと、６ビットである輝度要素Ｙとしてピクセルの色を表す。示されるように、
タイプ２ピクセルマップは１６ビットで、ＤＲＡＭに格納され、画面上に表示さ
れ、かつ／またはＭＰＥレジスタ内にロードされるが、このフォーマットでＭＰ
Ｅによって、レジスタからメモリ内に格納はできない。ＤＭＡシステムは、メモ
リからロードする際に、ピクセルマップタイプ４からピクセルマップタイプ２に
変換する。同様に、ＤＭＡシステムは、メモリ内に格納し戻す前に、ピクセルマ
ップタイプ２をピクセルマップタイプ４に変換できる。
【００６８】 示されるように、ピクセルマップタイプ３は、１ピクセルあたり８ビットであ
る。８ビットの値は任意のカラー参照テーブル（ＣＬＵＴ）への索引を表してい
るので、その値はピクセルの物理的外見と物理的関係を有さない。かかる８ビッ
トピクセルマップは、前述のように、カラー参照テーブル内での索引付けの後、
ベクトルレジスタ内にロードされる。
【００６９】 ピクセルマップタイプ４は、１ピクセル当たり３２ビットである。該ピクセル
マップの２４ビットは、ピクセルの実際の色を表す。示されるように、これらの
タイプのピクセルマップは、ＤＲＡＭからのピクセルのロード、ＤＲＡＭまたは
ＭＰＥメモリ内へのピクセルの格納に使用される。この種のピクセルマップはベ
クトルレジスタ内に格納される。タイプ４ピクセルマップは、色も表す１ピクセ
ル当たり３２ビットを有する。かかる３２ビットは、いずれも８ビットである第
１クロミナンス要素Ｃｂと、第２クロミナンス要素Ｃｒと、８ビットである輝度
要素Ｙに分割される。最後の８ビットは予備ビットで、他のピクセル属性に用い
られる。
【００７０】 タイプ５ピクセルマップは、１ピクセル当たり１６ビットで、１６ビット制御
値を有する。１６ビット制御値は、Ｚバッファ深度に用いられる。１ピクセル当
たりの１６ビットは、ピクセルマップタイプ４の場合と同じ様態でＣｂと、Ｃｒ
と、Ｙとに割り当てられる。
【００７１】 タイプ６ピクセルマップは、１ピクセル当たり３２ビットで、関連３２ビット
制御ワードを有する。制御ワードは、Ｚバッファ深さに用いられる。１ピクセル
当たりの１６ビットは、タイプ４ピクセルマップと同じ様に配される。
【００７２】 ここで、各ＭＰＥ６６〜７２内の処理装置１０６〜１１４の詳細なアーキテク
チャを、より詳細に説明する。 図７は、本発明による論理演算装置（ＡＬＵ）１１２の一実施例の詳細図であ
り、ピクセルデータに最適化されることが好ましい。以下に述べるように、ＡＬ
Ｕ１１２の入出力は種々の異なるソースとやり取りされるために、図示されるよ
うにＡＬＵ１１２はフレキシブルである。さらに、図８を参照して以下に説明す
るように、ＡＬＵ１１２は、追加加算器・減算器を備えるので、ＡＬＵ１１２は
、単一のクロックサイクルでピクセル全体に演算および論理処理を実行できる。
【００７３】 ＡＬＵ１１２は、ＡＬＵ１１２の複数のソース入力の１つからデータを選択す
るように構成された、マルチプレクサなどの複数個のスイッチ２１０，２１２，
２１４を含むことが好ましい。例えば、スイッチ２１０は、本発明によると、レ
ジスタのいずれかの１個に格納される３２ビットデータタイプであるＳｒｃＡか
ら、あるいはＡＬＵ命令に格納される即値データ（ＩｍｍＢ）からデータを選択
できる。同様に、第２スイッチ２１２は、ＳｒｃＡから、またはＡＬＵ命令に格
納される即値（ＩｍｍＡ）からデータを選択できる。ＩｍｍＡ即値データは、ス
イッチに入る前に符号拡張器２１６によって符号拡張され得る。ＩｍｍＡデータ
、ＳｒｃＢデータ、ＳｒｃＤデータ、またはＳｒｃＢデータの最上位ビットは第
３スイッチ２１４によって選択され得る。ＳｒｃＢデータの最上位ビットは、最
上位ビット（ＭＳＢ）装置２１７によって決定され得る。
【００７４】 第１スイッチ２１０および第２スイッチ２１２の出力は、シフタ２１８によっ
ていずれの方向にも変更または回転され得る。次に、シフタの出力が算術演算装
置（ＡＯＵ）２２０に送られる。ＡＯＵ２２０の他の入力は、第３スイッチの出
力である。かくして、ＡＯＵ２２０に入力するデータは、複数個の異なるソース
から選択され、複数の異なる動作が、ＡＯＵに入力する前に、データに実行され
る。このフレキシビリティにより、ＡＬＵ１１２は種々の異なるデータタイプを
処理可能となる。ＡＯＵ２２０は、加算、減算、論理積、論理和、および排他的
論理和を実行し得る。ＡＯＵ２２０の出力は、複数個の宛先に送られる３２ビッ
ト値である。ＡＬＵ１１２は、単一のクロックサイクルで単一のピクセルを処理
するためにも用いられ、図８を参照して以下に説明する。
【００７５】 図８を参照すると、本発明にしたがって、ピクセルを処理するように構成され
たＡＬＵ１１２の図が示されている。図示されるように、ＡＬＵ１１２はＡＯＵ
２２０と、付加的な加算器／減算器装置２２２を含む。付加的な加算器／減算器
２２２は、ＡＯＵ２２０と同じ演算を実行する。該演算において、要素Ｐ１，Ｐ ２ ，Ｐ３，Ｐ４を備えた第１ピクセルと、要素Ｓ１，Ｓ２，Ｓ３，Ｓ４を備えた
第２ピクセルが例えば加算される。要素Ｐ１は要素Ｓ１に加算されることが好ま
しく、要素Ｐ２は、３２ビット値を加算するＡＯＵ２２０によって要素Ｓ２に加
算されることが好ましい。かかる１６ビットピクセル要素を加算するために、Ａ
ＯＵ２２０の前進チェーンをビット１５とビット１６との間で切断する。各ピク
セル追加要素Ｐ３，Ｐ４，Ｓ３，Ｓ４を、他の要素が加算されると同時に、付加
的な加算器／減算器２２２によって加算する。かくして、本発明によると、ＡＬ
Ｕ１１２は、３次元画像処理などのピクセル集中アプリケーションの速度を増加
するために、１回のクロックサイクルで１個のピクセルを別のピクセルに演算的
、論理的に組み合わせることができる。
【００７６】 図９は、本発明の一実施例によるＭＵＬ装置１１４のアーキテクチャを示す図
である。ＭＵＬ装置１１４は、以下に説明するように、クロックサイクルごとに
ピクセルを高速処理するように構成される。図示されるように、ＭＵＬ１１４装
置は、２個の３２ビット数を乗算して６４ビットの結果を生成する３２ビット×
３２ビットマルチプライヤ２４０からなり得る。さらに、ＭＵＬ装置１１４は、
レジスタに書き戻すために、積のいずれかの３２ビットの部分を選択するシフタ
２４２からなる。ＭＵＬ装置１１４は、本発明によると、変数の高指数を迅速か
つ容易に計算し得る。例えば、ｘ３を計算する場合、ｘをｘで乗算してｘ２に等
しい出力を生成する。次に、ｘ２にふたたびｘを乗算してｘ３に等しい出力を生
成するために、ｘ２出力はＭＵＬ入力に戻される。ＭＵＬ装置１１４は、図１０
を参照して説明されるように、ピクセルデータタイプも迅速に処理され得る。
【００７７】 図１０は、本発明に従って、ＭＵＬ装置２１４がどのようにピクセルまたはス
モールベクトルデータタイプを処理するかを示す図である。３２ビット×３２ビ
ットＭＵＬ２１４は、ＭＵＬ装置１１４が４個の１６ビット×１６ビット乗算器
２４６，２４８，２５０，２５２に分解され得るように構成される。さらに、か
かる１６ビット×１６ビット乗算器は個々にアドレス指定可能である。したがっ
て、要素Ｐ１，Ｐ２，Ｐ３，Ｐ４を備えた第１ピクセルまたはスモールベクトル
を、要素Ｓ１，Ｓ２，Ｓ３，Ｓ４を備えた第２ピクセルまたはスモールベクトル
で乗算するために、要素Ｐ１とＳ１は、第１乗算器２４６によって乗算されるこ
とが好ましい。同時に、要素Ｐ２とＳ２は、第２乗算器２４８によって乗算され
、要素Ｐ３とＳ３は、第３乗算器２５０によって乗算され、要素Ｐ４とＳ４は、
第４乗算器２５２によって乗算される。かくして、ピクセルまたはスモールベク
トルの全体が、第２ピクセルまたはスモールベクトルの全体により、ＭＵＬ装置
１１４を用いて１回のクロックサイクル内で乗算され、したがって、ピクセルを
使用するグラフィックアプリケーション用のメディア処理システムの処理速度を
増加する。さらに、ＭＵＬ装置１１４は、２個の３２ビット値を乗算するように
構成されるとともに、２個のピクセルまたはスモールベクトルを一緒に乗算する
ように構成され得る。
【００７８】 さらに、本メディア処理システムは、ピクセルが処理される速度をさらに増加
するために幾つかの専用ピクセル命令も有することができる。例えば、ピクセル
データタイプを使用できるロードピクセル、格納ピクセル、乗算ピクセル、加算
ピクセル命令がある。さらに、前述のように、バイリニア・アドレッシングスキ
ームも、複数個のピクセルから構成される画像が処理される速度を増加できる。
【００７９】 要するに、本メディア処理システムのアーキテクチャは、画像などのピクセル
ベースデータを高速で処理できるようにするために、ピクセル処理の大幅な強化
を提供する。しかし、本メディア処理システムおよびＭＰＥは汎用であるために
、該メディア処理システムは、多くの他の速度および処理能力に集約的な演算に
も使用され得る。
【００８０】 以上は、本発明の特定の実施例を参照してきたが、当業者であれば、本発明の
原則と精神から逸脱することなく、本実施態様への変更が行なわれ得ることは十
分理解され、本発明の範囲は特許請求の範囲に定義される。
【図面の簡単な説明】
【図１】 メディア処理システムのブロック図。
【図２】 本発明によるメディアプロセッサを含むメディア処理システムを示
すブロック図。
【図３】 図２のメディアプロセッサのブロック図。
【図４】 図３に図示される処理要素の１つのより詳細なブロック図。
【図５】 処理要素の一部である種々の処理装置を制御できるベリー・ロング
・インストラクション・ワードの図。
【図６】 本発明によるメディアプロセッサにより利用される種々のデータタ
イプの図。
【図７】 本発明による論理演算装置（ＡＬＵ）のより詳細なブロック図。
【図８】 本発明により組み合わされる第１ピクセルと第２ピクセルの図。
【図９】 本発明による乗算器（ＭＵＬ）のより詳細なブロック図。
【図１０】 本発明によりたがいに乗算される２個のピクセルのブロック図。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ， ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，Ｊ Ｐ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，Ｒ Ｏ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＺ，ＶＮ， ＹＵ，ＺＡ，ＺＷ (72)発明者 カルディッロ、ルイス エイ． アメリカ合衆国 94306 カリフォルニア 州 パロ アルト ルーズベルト サーク ル 59 (72)発明者 マシソン、ジョン ジー． アメリカ合衆国 95033 カリフォルニア 州 ロス ガトス スカイ ビュー テラ ス 23538 (72)発明者 スミス、エリック アール． カナダ国 Ｂ３Ｋ ５Ｅ２ ノバ スコシ ア州 ハリファックス ウィンザー スト リート 2712 アパートメント 208 Ｆターム(参考） 5C059 KK13 MA00 MA23 MC11 PP16 SS02 SS11 UA05 UA29 UA31

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 メディア処理システムであって、 該メディア処理システムによって処理されるデジタルデータを格納する複数個
    の格納位置を有するＤＲＡＭと、前記デジタルデータが、標準化フォーマットで
    圧縮されるビデオデータを含むことと、 圧縮ビデオ画像および画像データを生成するため、前記標準化フォーマット圧
    縮ビデオデータを含む前記デジタルデータを処理する手段と、 フルモーションビデオピクセルデータを生成するため、該標準化フォーマット
    圧縮ビデオ画像を復号化する手段と、 前記処理手段と前記復号化手段との間で前記ＤＲＡＭを共有する手段と、 前記フルモーションビデオピクセルデータからフルモーションビデオ信号を生
    成する手段とを備えるシステム。
  2. 【請求項２】 請求項１に記載のシステムであって、前記圧縮ビデオデータ
    が複数個のピクセルを含み、前記標準化圧縮フォーマットが、各ピクセルについ
    て生成される輝度サンプルと、４個のピクセルごとに生成される２個のクロミナ
    ンスサンプルとを備えるシステム。
  3. 【請求項３】 請求項２に記載のシステムであって、前記復号化手段が、動
    画エキスパートグループデコーダを備えるシステム。
  4. 【請求項４】 請求項１に記載のシステムであって、前記圧縮ビデオデータ
    が複数個のピクセルを含み、前記処理手段が、前記処理手段の１回のクロックサ
    イクルにおいて、第１ピクセルを第２ピクセルで乗算する手段を備えるシステム
    。
  5. 【請求項５】 請求項４に記載のシステムであって、前記ピクセルが第１部
    分と、第２部分と、第３部分とを有し、ピクセルを乗算する前記手段が、第１ピ
    クセルのある部分を、第２ピクセルの対応する部分で乗算する手段を備えるシス
    テム。
  6. 【請求項６】 請求項１に記載のシステムであって、前記圧縮ビデオデータ
    が複数個のピクセルを含み、前記処理手段が、前記処理手段の１回のクロックサ
    イクルにおいて、第１ピクセルを第２ピクセルと組み合わせる手段を備えるシス
    テム。
  7. 【請求項７】 請求項６に記載のシステムであって、前記ピクセルが第１部
    分と、第２部分と、第３部分とを有し、ピクセルを組み合わせる前記手段が、第
    １ピクセルのある部分を、第２ピクセルの対応する部分と組み合わせる手段から
    なるシステム。
  8. 【請求項８】 請求項１に記載のシステムであって、前記処理手段が、互い
    に並列に接続される複数個の処理要素と、所定数の命令を有する命令語によって
    前記処理要素を制御する手段と、前記処理要素の各々に同時にデータを分配する
    手段とを備えるシステム。
  9. 【請求項９】 請求項８に記載のシステムであって、前記処理要素が複数個
    の処理装置から成り、前記処理装置の各々が、前記所定数の命令の１つによって
    制御されるシステム。
  10. 【請求項１０】 請求項１に記載のシステムであって、前記ＤＲＡＭが、標
    準化フォーマットで圧縮された音声データを格納し、非圧縮の音声データを生成
    するために、標準化フォーマットで圧縮された前記音声データを解凍する手段と
    、フルモーションマルチメディアデータを生成するために、前記フルモーション
    ビデオデータと前記非圧縮音声データとを組み合わせる手段とをさらに備えるシ
    ステム。
  11. 【請求項１１】 請求項９に記載のシステムであって、前記処理装置が、前
    記処理装置内の複数個の格納位置と、各格納位置が所定物理的サイズを有するこ
    とと、各格納位置の所定物理的サイズよりも大きいデータを格納する１つの格納
    位置を形成するために、前記複数個の格納位置を組み合わせる手段とを備えるシ
    ステム。
  12. 【請求項１２】 単一の半導体チップメディアプロセッサであって、 前記単一の半導体チップ内部にあり、標準化フォーマットで圧縮されたビデオ
    デジタルデータを含むデジタルデータを格納する半導体メモリと、 前記半導体メモリに一時的に格納されるカラーのフルモーションビデオデータ
    を生成するために、前記半導体メモリ内で前記圧縮ビデオデータを処理する手段
    と、 カラーのフルモーションビデオ画像データを生成するために、前記半導体メモ
    リ内に格納される前記カラーのフルモーションビデオデータを復号化する手段と
    、 カラーのフルモーションビデオ画像信号を生成する手段とからなるプロセッサ
    。
  13. 【請求項１３】 請求項１２に記載のプロセッサであって、前記圧縮ビデオ
    データが複数個のピクセルを含み、前記処理手段が、前記処理手段の１回のクロ
    ックサイクルにおいて、第１ピクセルを第２ピクセルで乗算する手段を備えるプ
    ロセッサ。
  14. 【請求項１４】 請求項１３に記載のプロセッサであって、前記ピクセルが
    第１部分と、第２部分と、第３部分とを有し、ピクセルを乗算する前記手段が、
    第１ピクセルのある部分を第２ピクセルの対応する部分で乗算する手段を備える
    プロセッサ。
  15. 【請求項１５】 請求項１４に記載のプロセッサであって、前記圧縮ビデオ
    データが複数個のピクセルを含み、前記処理手段が、前記処理手段の１回のクロ
    ックサイクルにおいて、第１ピクセルを第２ピクセルと組み合わせる手段を備え
    るプロセッサ。
  16. 【請求項１６】 請求項１５に記載のプロセッサであって、前記ピクセルが
    第１部分と、第２部分と、第３部分とを有し、ピクセルを組み合わせる前記手段
    が、第１ピクセルのある部分を、第２ピクセルの対応する部分と組み合わせる手
    段を備えるプロセッサ。
  17. 【請求項１７】 請求項１２に記載のプロセッサであって、前記処理手段が
    、互いに並列に接続される複数個の処理要素と、所定数の命令を有する命令語で
    前記処理要素を制御する手段と、前記処理要素の各々に同時にデータを分配する
    手段とを備えるプロセッサ。
  18. 【請求項１８】 請求項１７に記載のプロセッサであって、前記処理要素が
    複数個の処理装置から成り、前記処理装置の各々が、前記所定数の命令のうちの
    １つによって制御されるプロセッサ。
  19. 【請求項１９】 請求項１２に記載のプロセッサであって、前記ＤＲＡＭが
    、標準化フォーマットで圧縮された音声データを格納し、非圧縮の音声データを
    生成するために、標準化フォーマットで圧縮された前記音声データを解凍する手
    段と、フルモーションマルチメディアデータを生成するために、前記フルモーシ
    ョンビデオデータと前記非圧縮音声データとを組み合わせる手段とをさらに備え
    るプロセッサ。
  20. 【請求項２０】 請求項１８に記載のプロセッサであって、前記処理装置が
    、前記処理装置内の複数個の格納位置と、各格納位置が所定物理的サイズを有す
    ることと、各格納位置の所定物理的サイズよりも大きいデータを格納する格納位
    置を形成するために、前記複数個の格納位置を組み合わせる手段とを備えるプロ
    セッサ。
  21. 【請求項２１】 メディアを処理する方法であって、 前記メディア処理システムによって処理されるデジタルデータをＤＲＡＭ内に
    格納する工程と、前記デジタルデータが、標準化フォーマットで圧縮されたビデ
    オデータを含むことと、 圧縮ビデオ画像および画像データを生成するために、前記標準化フォーマット
    圧縮ビデオデータを含む前記デジタルデータを処理する工程と、 フルモーションビデオピクセルデータを生成するために、前記標準化フォーマ
    ット圧縮ビデオ画像を復号化する工程と、 前記処理手段と前記復号化手段との間で前記ＤＲＡＭを共有する工程と、 前記フルモーションビデオピクセルデータからフルモーションビデオ信号を生
    成する工程とからなる方法。
  22. 【請求項２２】 請求項２０に記載の方法であって、前記圧縮ビデオデータ
    が複数個のピクセルを含み、前記処理する工程が、１回のクロックサイクルにお
    いて、第１ピクセルを第２ピクセルで乗算する工程からなる方法。
  23. 【請求項２３】 請求項２１に記載の方法であって、前記圧縮ビデオデータ
    が複数個のピクセルを含み、前記処理工程が、１回のクロックサイクルにおいて
    、第１ピクセルを第２ピクセルと組み合わせる工程からなる方法。
JP2001550706A 2000-01-03 2001-01-03 メディア処理システムおよび方法 Pending JP2003524954A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/476,761 US6847365B1 (en) 2000-01-03 2000-01-03 Systems and methods for efficient processing of multimedia data
US09/476,761 2000-01-03
PCT/IB2001/000210 WO2001050419A1 (en) 2000-01-03 2001-01-03 A media processing system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007179901A Division JP2008017493A (ja) 2000-01-03 2007-07-09 メディア処理システムおよび方法

Publications (1)

Publication Number Publication Date
JP2003524954A true JP2003524954A (ja) 2003-08-19

Family

ID=23893153

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001550706A Pending JP2003524954A (ja) 2000-01-03 2001-01-03 メディア処理システムおよび方法
JP2007179901A Pending JP2008017493A (ja) 2000-01-03 2007-07-09 メディア処理システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2007179901A Pending JP2008017493A (ja) 2000-01-03 2007-07-09 メディア処理システムおよび方法

Country Status (5)

Country Link
US (1) US6847365B1 (ja)
EP (1) EP1264276A4 (ja)
JP (2) JP2003524954A (ja)
AU (1) AU4094801A (ja)
WO (1) WO2001050419A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017535A (ja) * 2007-05-25 2009-01-22 Nvidia Corp マルチメディア信号の符号化

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621918B1 (en) 1999-11-05 2003-09-16 H Innovation, Inc. Teleradiology systems for rendering and visualizing remotely-located volume data sets
US8091106B1 (en) * 2000-06-26 2012-01-03 Thomson Licensing Method and apparatus for using DVD subpicture information in a television receiver
US8370525B2 (en) * 2001-03-30 2013-02-05 Intel Corporation Transmitting new data format under existing infrastructure
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
US20030086595A1 (en) * 2001-11-07 2003-05-08 Hui Hu Display parameter-dependent pre-transmission processing of image data
US7026960B2 (en) * 2001-11-27 2006-04-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key data
JP4002502B2 (ja) * 2001-11-27 2007-11-07 三星電子株式会社 座標インタポレータの符号化／復号化装置及びその方法
US7006152B2 (en) * 2002-03-01 2006-02-28 Broadcom Corporation System and method for providing picture-in-picture timebase management
US7809204B2 (en) 2002-10-18 2010-10-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of coordinate interpolator
US20040161039A1 (en) * 2003-02-14 2004-08-19 Patrik Grundstrom Methods, systems and computer program products for encoding video data including conversion from a first to a second format
US7577824B2 (en) * 2003-09-08 2009-08-18 Altera Corporation Methods and apparatus for storing expanded width instructions in a VLIW memory for deferred execution
US20050226337A1 (en) * 2004-03-31 2005-10-13 Mikhail Dorojevets 2D block processing architecture
US7196708B2 (en) * 2004-03-31 2007-03-27 Sony Corporation Parallel vector processing
KR100678124B1 (ko) * 2006-01-26 2007-02-02 삼성전자주식회사 화상 통신 단말 및 화상 통신 단말의 화상 통신 데이터처리 방법
US8031197B1 (en) * 2006-02-03 2011-10-04 Nvidia Corporation Preprocessor for formatting video into graphics processing unit (“GPU”)-formatted data for transit directly to a graphics memory
US8184260B2 (en) * 2006-02-15 2012-05-22 Thomson Licensing Non-linear, digital dailies
US8023800B2 (en) * 2006-06-23 2011-09-20 Steve Concotelli Media playback system
US8515052B2 (en) 2007-12-17 2013-08-20 Wai Wu Parallel signal processing system and method
US8082381B2 (en) * 2008-09-02 2011-12-20 Nvidia Corporation Connecting a plurality of peripherals
US8103803B2 (en) * 2008-11-21 2012-01-24 Nvidia Corporation Communication between a processor and a controller
US8610732B2 (en) * 2008-12-11 2013-12-17 Nvidia Corporation System and method for video memory usage for general system application
US8677074B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Shared memory access techniques
CN102484791A (zh) * 2010-05-19 2012-05-30 三洋电机株式会社 基站装置
US9354875B2 (en) * 2012-12-27 2016-05-31 Intel Corporation Enhanced loop streaming detector to drive logic optimization
US9549196B2 (en) * 2014-02-04 2017-01-17 Microsoft Technology Licensing, Llc Data unit identification for compressed video streams
US9854261B2 (en) 2015-01-06 2017-12-26 Microsoft Technology Licensing, Llc. Detecting markers in an encoded video signal
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) * 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US12008677B2 (en) * 2022-03-17 2024-06-11 Qualcomm Incorporated Compatible compression for different types of image views

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081450A (en) * 1990-03-09 1992-01-14 International Business Machines Corporation Apparatus and method for compressing and expanding multibit digital pixel data
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
US5754186A (en) * 1993-05-10 1998-05-19 Apple Computer, Inc. Method and apparatus for blending images
US5510843A (en) * 1994-09-30 1996-04-23 Cirrus Logic, Inc. Flicker reduction and size adjustment for video controller with interlaced video output
JPH08235130A (ja) * 1995-02-24 1996-09-13 Sony Corp 並列プロセッサ
US5982459A (en) * 1995-05-31 1999-11-09 8×8, Inc. Integrated multimedia communications processor and codec
EP0747872B1 (en) * 1995-06-07 1999-03-03 International Business Machines Corporation Video processor with addressing mode control
US5742840A (en) * 1995-08-16 1998-04-21 Microunity Systems Engineering, Inc. General purpose, multiple precision parallel operation, programmable media processor
US6212681B1 (en) * 1995-12-01 2001-04-03 Matsushita Electric Industrial Co., Ltd. Information processing apparatus and method therefor in a data transfer network
US5847771A (en) * 1996-08-14 1998-12-08 Bell Atlantic Network Services, Inc. Digital entertainment terminal providing multiple digital pictures
US6002441A (en) * 1996-10-28 1999-12-14 National Semiconductor Corporation Audio/video subprocessor method and structure
US5892962A (en) * 1996-11-12 1999-04-06 Lucent Technologies Inc. FPGA-based processor
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
US6347344B1 (en) * 1998-10-14 2002-02-12 Hitachi, Ltd. Integrated multimedia system with local processor, data transfer switch, processing modules, fixed functional unit, data streamer, interface unit and multiplexer, all integrated on multimedia processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017535A (ja) * 2007-05-25 2009-01-22 Nvidia Corp マルチメディア信号の符号化

Also Published As

Publication number Publication date
JP2008017493A (ja) 2008-01-24
WO2001050419A1 (en) 2001-07-12
US6847365B1 (en) 2005-01-25
EP1264276A4 (en) 2009-11-11
EP1264276A1 (en) 2002-12-11
AU4094801A (en) 2001-07-16

Similar Documents

Publication Publication Date Title
JP2003524954A (ja) メディア処理システムおよび方法
KR101061345B1 (ko) 비디오 처리
US6041404A (en) Dual function system and method for shuffling packed data elements
US6275239B1 (en) Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing
Rathnam et al. An architectural overview of the programmable multimedia processor, TM-1
Lee et al. MediaStation 5000: Integrating video and audio
EP0715277B1 (en) Method of producing image data, image data processing apparatus, and recording medium
US7155601B2 (en) Multi-element operand sub-portion shuffle instruction execution
US5815421A (en) Method for transposing a two-dimensional array
WO1996009618A1 (en) Real time decompression and post-decompress manipulation
WO1997022938A1 (en) Manipulating video and audio signals using a processor which supports simd instructions
KR101002485B1 (ko) 비디오 처리
JP2003224862A (ja) グラフィックコントローラ及び表示メモリ容量低減方式
Purcell The impact of Mpact 2
Lee et al. Real-time MPEG video codec on a single-chip multiprocessor
US20140189311A1 (en) System and method for performing a shuffle instruction
JP2005086822A (ja) ビデオ・データおよびグラフィックス・データ処理用装置
JP3380236B2 (ja) 映像音声処理装置
US6307553B1 (en) System and method for performing a MOVHPS-MOVLPS instruction
JP2000030042A (ja) 表示処理装置
CN116018807A (zh) 图像空间函数传输

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070330

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414