JP2003528360A - 一般的三次元グラフィックスパイプラインを使用する低廉なデジタル・イメージ／ビデオの編集のための方法及び装置 - Google Patents

Abstract

(57)【要約】 本発明による方法は、標準的な三次元グラフィックスパイプライン（７０）を使用した、二次元画素アレイの操作を可能にする。この方法は、二次元イメージのワイヤーメッシュを形成するステップを含む。このワイヤーメッシュは、一組の三角形であって、三角形のすべての頂点及び側面が、ｘ、ｙ、ｚ座標空間における同じ平面上に位置するような一組の三角形を含む。二次元イメージは、次に、そのメッシュ中にマッピングされる。結果として得られるオブジェクトの表現は、三次元表現が三次元グラフィックスパイプラインによって操作されるのと同じ方法で、操作することができる。

Description

【発明の詳細な説明】

【０００１】 （発明の背景） 本発明は、デジタル・イメージ／ビデオの操作に関する。

【０００２】 イメージ／ビデオの編集の処理の間、例えば、イメージを画面のある部分から
他の部分に移動させること、イメージを回転させること、イメージを拡大するこ
と、又はイメージを縮小することによって、ビデオイメージの部分又は全部が変
更される。他のよくある操作には、イメージをゆがめること（すなわち、三次元
でイメージを変形させること）、イメージの部分を拡大すること、イメージへの
円柱面、球面、双曲線、若しくは放物線の変形（例えば、二次元イメージが、円
柱面、球面、双曲線状の面、又は放物線状の面の周囲に沿って曲がったりゆがん
で見えるようにすることなど）、イメージを融解することなどが含まれる。

【０００３】 しばしば、操作されるイメージは、画素のアレイの形態である。言い換えると
、イメージはデータ値のアレイとして記憶され、それぞれの値はイメージの小さ
い領域の色及び明るさに対応している。上述のビデオイメージの操作を実行する
とき、典型的には、イメージのどの画素も変換するために計算が実行される。例
えば、イメージのそれぞれの画素について、ビデオ画面上のその画素のための新
しい位置を決定するために計算が実行される。大きいイメージは、何百万もの画
素を含むことがある。更に、イメージのストリーム（例えば、ビデオイメージの
場合のような）の場合については、毎秒何十ものフレームを変換しなくてはなら
ない。このように、多く何百万もの画素を、それぞれの変換のために非常に短い
時間で、分析し、変更しなくてはならない場合がある。そのような変換のために
は、多数の画素を短い時間で変換できるように、非常に大きいＣＰＵリソースか
、専用のハードウェアが必要になる。

【０００４】 二次元イメージを編集及び／又は操作するための方法を提供することが望まれ
る。これは、例えばビデオイメージなどのイメージのストリームのような、毎秒
多くのフレームの二次元イメージを編集及び／又は操作することができるために
、特に望まれる。この目的専用の高価で高度なハードウェアを構成する必要なし
に、迅速かつ効率的にこれらの操作を実行することができることが望まれる。

【０００５】 （概要） 我々の発明に従った方法は、二次元イメージを三次元空間中に変換するステッ
プ及びそのイメージを操作するために三次元グラフィックスパイプラインを使用
するステップを含む。この方法は、ＣＰＵのリソースを開放し、イメージの操作
を実行するために必要な時間の量を減少させ、新しい特有の効果を可能にする。

【０００６】 我々の発明の１つの実施形態では、イメージは画素のアレイの形態で得られる
。これは、例えばイメージをデジタル化することによって実行することができる
。次に、三次元グラフィックスパイプラインを使用して、これらのイメージを三
次元空間中に「変換(transform)」する。グラフィックスパイプラインは、ソフ
トウェア又はハードウェア（例えば、三次元ハードウェアアクセラレータ）で、
完全に又は部分的に実施することができる。

【０００７】 画素のアレイを三次元空間中に変換する方法はいくつかある。典型的には、三
次元パイプラインは、それぞれのイメージの表面領域(image surface region)に
三次元座標系の位置が割り当てられているような、一組のイメージの表面領域を
画定する。しかし、我々の発明の１つの実施形態の場合では、すべての表面領域
は同じ平面上にある。１つの実施形態では、表面領域は、すべて、それぞれの三
角形がｘ、ｙ及びｚ座標によって位置を割り当てられた点の一組によって画定さ
れるような三角形などの多角形である。（すべての座標は、すべて同じ平面中に
位置するようにされている。）しかし、表面領域は、他のグラフィックス技術を
使用しても画定することができる。例えば、表面領域又は全体の表面は、空間中
の画素（表面領域）の位置が数学的方程式によって画定されるような、「陰関数
の(implicit)」技術を使用して画定することができる。

【０００８】 表面領域の組が作り出された後、二次元の画素アレイのイメージをその表面領
域の組の上にマッピングする。言い換えれば、二次元イメージの画面(picture)
の一部を表面領域のそれぞれに「結合(bind)」させる。このステップを実行した
後、所望のイメージ及び／又はビデオの編集を実行するために作り出したイメー
ジを操作するために三次元グラフィックスパイプラインを使用する。

【０００９】 我々は、この技術が多くの二次元イメージを迅速に処理するために極めて効率
的であることを発見した。例えばこの技術は、典型的には毎秒５９．９４フレー
ムであって、それぞれのフレームが大きい画素アレイに対応するようなフレーム
を含むビデオイメージストリームを処理するために使用することができる。この
技術は、例えばデジタルスキャナ、カメラ、インターネットからダウンロードさ
れたイメージファイル二次元イメージ、又はその他のソースのような、他のソー
スからの二次元イメージを操作するために使用することができる。

【００１０】 １つの実施形態では、現在存在する既製の三次元パイプライン及び／又は三次
元強化型プロセッサ(3D enhanced processor)が、この処理を実行するために使
用される。このように、我々は、最初から専用の処理ソフトウェア及び／又はハ
ードウェアを構成する必要が無い、二次元イメージを操作するための新しく低廉
な方法を発見した。

【００１１】 我々は三次元グラフィックスパイプラインを新規な方法で使用することが理解
されるであろう。以前は、グラフィックスパイプラインは、幾何学的なオブジェ
クトに特定の外観を与えるための方法として、そのようなオブジェクトの組を含
む新しい仮想的な環境を作り出すために、テクスチャ(texture)を幾何学的なオ
ブジェクト上にマッピングするために使用された。これは、新しい仮想的なイメ
ージを作り出すために、テクスチャ及び幾何学的配列(geometry)をグラフィック
スパイプラインに提供することによって実行された。これは、イメージを変換し
編集するために幾何学的配列を使用することとは対照的である。

【００１２】 我々の発明に従った方法の間に、我々は、三次元イメージを生成するために、
イメージ及び幾何学的配列を三次元グラフィックスパイプラインに適用する。次
に我々は、そのイメージを新規な方法で変換又は操作するために三次元グラフィ
ックスパイプラインを使用する。

【００１３】 イメージは、いくつかのテクスチャにおけるように、何度も反復されるパター
ン中の単なるセルではなく、ほとんど知覚できないような大きさのイメージでも
ない。イメージを構成する処理の間にテクスチャを表面に単に張り付けるのでは
なく、我々は、イメージを三次元空間中に配置するために、イメージを幾何学的
表面に張り付ける。そのイメージは、三次元オブジェクトの二次元の表現であっ
てもよい。

【００１４】 （詳細な説明） 上述のように、我々の発明に従った方法は、ビデオイメージストリームを含む
デジタルイメージの操作を容易にするために新規な方法で三次元グラフィックス
パイプラインを使用することを含む。我々は、最初に、三次元グラフィックスパ
イプラインは通常どのように使用されるかを説明していく。その後、我々は、我
々の発明に従った方法の間でのそれの使用を説明していく。

【００１５】 三次元グラフィックスパイプライン 本発明において言及される三次元グラフィックスパイプラインは、アクセラレ
ータとして知られるハードウェア要素と、時々ドライバと称されるものもあるソ
フトウェアとの組合わせによって実施することができる。ハードウェアとソフト
ウェアの間の区切りは、システム中の使用されるＣＰＵ及びグラフィックスカー
ドによって変化するが、全体のシステムが以下に述べる方法のステップを実行す
る。パイプラインのタスクのある部分は、ハードウェアより安価であるソフトウ
ェアによって実行することができるが、現在では一般的にハードウェアによる解
決法より低速である。以下に説明されるステップを実行するハードウェア及びソ
フトウェアは、そのような特定の区切りに関係なく、単にパイプラインと称する
。

【００１６】 以下は、三次元グラフィックスパイプラインの簡単で一般的な説明である。そ
れは、いずれか特定の製品（例えば、本発明において後で言及される製品）を説
明するものではない。反対に、以下の説明は、読者の理解を助けるための三次元
グラフィックスパイプラインの単なる一般的な説明である。

【００１７】 現在、三次元グラフィックスパイプラインを使用して作り出されたグラフィッ
クスオブジェクトは、一組の幾何学的表面として記述される。グラフィックスパ
イプラインで幾何学的表面を構成する１つの方法は、「プリミティブ(primitive
)」の「メッシュ(mesh)」を作り出すことである。「プリミティブ」は、一組の
頂点によって画定することができる小さい幾何学的表面である。例えば、プリミ
ティブは、それの角の位置（ｘ、ｙ及びｚ座標空間）すなわち頂点によってパイ
プライン内で画定される多角形（例えば、三角形、四辺形など）とすることがで
きる。一組のいくつかのプリミティブは、より大きい三次元の表面を画定するた
めに使用される。

【００１８】 多角形のようなプリミティブを使用する代わりに、他の方法で、例えば数学的
方程式によって画定される幾何学的表面領域を処理することができるグラフィッ
クスパイプラインもある。幾何学的表面を画定するこの技術は、「陰関数（impl
icit）」と呼ばれている。以下に説明するように、そのような表面領域を画定す
るための両方の技術を、我々の発明に従った方法を実行するために使用すること
ができる。

【００１９】 説明を明確にする目的で、我々は最初に、三角形のプリミティブを使用して幾
何学的表面領域を処理するグラフィックスパイプラインの説明をする。他のタイ
プのグラフィックパイプラインは、その後に説明することになる。

【００２０】 この最初の例では、三次元グラフィックスパイプラインは、二次元画素アレイ
（典型的には「テクスチャ・マップ」と呼ばれる）から、オブジェクトの三次元
イメージを構成する。図１Ａは、一組の「テクスチャ」の二次元イメージ２を示
す。（以下に説明するように、このテクスチャ・マップは、オブジェクト−この
例では家のイメージを作り出すために使用される。イメージ２は、れんがの外観
を有する部分２ａ、屋根板の外観を有する部分２ｂ、戸の外観を有する部分２ｃ
、窓の外観を有する部分２ｄを含む。）二次元イメージ２は、画素のアレイの形
態でデジタルメモリ中に記憶される。メモリ中のそれぞれの位置は、画素に対応
する色、彩度、及び明るさを示すデータの１つ以上のワードである画素を記憶す
る。アレイ内の画素の位置は、典型的にはｕ、ｖ座標（あるビデオ信号を記述す
るために使用されるＹ、Ｕ及びＶ信号の名前と混同すべきではない）と呼ばれる
。（ｕ、ｖ座標は、デカルト座標系のｘ、ｙ座標と同様である。図１Ａでは、画
素アレイは、ｎ及びｍを整数として、ｎ×ｍアレイである。） 上述のように、図１Ａは画素アレイを表わす。物理的には、そのアレイはメモ
リ中にロードされたデータから構成される。

【００２１】 処理における次のステップは、幾何学的表面を提供又は準備することである。
この例では、幾何学的表面は、三次元空間中のプリミティブ５のメッシュ４の形
態である（図１Ｂ）。図１Ｂの場合、プリミティブは三角形であるが、他のタイ
プの多角形を使用することもできる。プリミティブのメッシュは、三次元空間で
のオブジェクトＯの三次元形状（図１Ｂの場合、家の形状）を表わす。メッシュ
４内のそれぞれの三角形のそれぞれの頂点の位置は、オブジェクトに関連して、
ｘ、ｙ及びｚのデカルト座標の形態でメモリ中に記憶される。これらの座標は、
モデル座標（「ＭＣ(model coordinate)」）と呼ばれることがある。そのような
メッシュを準備する処理は周知であり、ロッキード・マーチン・コーポレーショ
ン(Lockheed Martin Corporation)によって１９９６年に出版されたリアル３Ｄ(
Real 3D)や、ニュー・ライダース・パブリッシング(New Riders Publishing)に
よって１９９７年に出版されたダイレクト３Ｄ(Direct 3D)のような標準的なグ
ラフィックスライブラリに記載されている。

【００２２】 図１Ｂのメッシュは、そのようには表示されない。そうではなく、図１Ｂのメ
ッシュは、デジタルメモリ中に記憶されているものの表現である。詳しくは、ｘ
、ｙ及びｚ座標によって、メモリはメッシュ４内のそれぞれの頂点の位置を記憶
する。

【００２３】 次のステップは、図１Ａの二次元テクスチャ・マップを図１Ｂのメッシュ４上
にマッピングする、すなわち「結合(bind)」させることである。これは、それぞ
れの三角形の頂点をテクスチャ・マップ中の位置にマッピングすることによって
実行される。実際には、メッシュ４のそれぞれの頂点を、図１Ａのテクスチャ・
マップ中の特定の点（画素）のｕ、ｖ座標に関連付ける、データ点(data point)
のリストが準備される。（頂点がそこに結合するような、テクスチャ・マップ中
の位置は、「制御点(control point)」と呼ばれることがある。） この部分の処理は、生地を選び、布張りをされているソファの角に釘を用いて
その生地を取り付ける椅子張り職人（釘は制御点のようなものである）におおよ
そ類似している。次に椅子張り職人は、彼の弟子にソファへの生地の取り付けを
終わらせるように言う。この場合、三次元グラフィックスパイプラインは、弟子
の代わりにその仕事を終わらせる。

【００２４】 図１Ａ及び１Ｂは、１つのテクスチャ・マップ（図１Ａ）が１つのオブジェク
トＯを表わす１つのメッシュ４上にマッピングされる処理を表現する。グラフィ
ックスパイプラインは、１つ又はいくつかのテクスチャ・マップを、同じ又はい
くつかの異なるオブジェクト上にマッピングすることができるし、またそうする
ことが多い。

【００２５】 処理の次のステップは、表示されることになる種々のオブジェクトの「ワール
ド座標モデル(world coordinate model)」を確立することである。これには、表
示されることになるそれぞれのオブジェクトについての位置及び方向を確立する
ことが必要になる。例えば、見られることになる２つのオブジェクト、四面体Ｔ
と立方体Ｃ（図１Ｃ）とがあると仮定する。処理のこのステップの間、パイプラ
インは立方体Ｃはある方向に向くように、ある基準のフレームに関して部分的に
四面体Ｔの前に位置するように命令される。図１Ｃの構造それ自身が表示されて
いないことは前述の通りである。しかし、グラフィックスパイプラインは、オブ
ジェクトの位置及び方向のパラメータに従って、モデルの座標の処理を行えるよ
うにする。

【００２６】 次のステップは、基準のフレームを選択することである。例えば、「見る人(v
iewer)」がワールド座標モデル（例えば、図１Ｄの位置Ｐ）の角に対応する位置
からオブジェクトを観察したいと決めるかもしれない。このように、仮想の視点
、見る方向及び開き口(aperture)が選択される。「見る人」に関連するパラメー
タは、画面座標（ＳＣ）(screen coordinate）系を画定する。更に、見る人は、
位置Ｌに配置された光源によってこれらのオブジェクトを観察するかもしれない
。グラフィックスパイプラインは、ワールド座標データを、位置Ｐの観察者によ
って知覚されるであろうイメージ（例えば、図１Ｄのイメージ）をコンピュータ
画面に表示させる画面座標データへと処理するための他の処理パイプを構成する
ことになる。言い換えれば、コンピュータ画面は、見る人が位置Ｐに立っており
、かつ光源が位置Ｌにある場合に、見る人によって観察されることになるように
、四面体Ｔ及び立方体Ｃのイメージを提供することになる。このイメージは、最
初はフレームバッファ中の画素アレイとして提供され、次にコンピュータ画面に
表示されることになる。フレームバッファ中のイメージは、パイプライン中にプ
ログラムされた仕様に従って、典型的には約毎秒５０から１２０回で、リフレッ
シュすなわち再生成される。パイプラインを最適化したり、立方体Ｃの見る人の
方を向いていない裏側のようなオブジェクトの見えない部分を処理する時間を最
少にしたりするための多くの異なる方法がある。そのようなものの詳細は、当業
者に周知であり、ここでは詳細には議論しない。

【００２７】 画素アレイを構成し、それをフレームバッファ中に提供する上述の処理の間に
、パイプラインは、ａ）メッシュ４の頂点に「結合(tack)」するテクスチャ・マ
ップ２の部分を取ってきて（そして、そのためそれぞれの三角形の上で広げられ
る）、ｂ）どのように、またどこに、見る人に関しての三角形の方向及び光源の
位置が与えられたテクスチャ・マップのその部分が現されるべきかを決定し、そ
してｃ）フレームバッファ中に記憶させるために、適当なビットマップ画素アレ
イを構成する。このフレームバッファの内容は、次にコンピュータ画面上のイメ
ージとして表示される。

【００２８】 その後、三次元グラフィックスアクセラレータは、表示されたオブジェクトを
所望の方法で操作することを可能にする。例えば、四面体Ｔのイメージを４５°
回転させたい場合（図１Ｅ）、三次元グラフィックスアクセラレータは、この操
作を簡単にする。四面体Ｔについての新しい位置及び方向を示す、グラフィック
スパイプラインのためのワールド座標モデルにおける新しいパラメータの組を提
供することによって実行される。これが起きた後、グラフィックスパイプライン
がフレームバッファ中に記憶されるイメージを再生成し、その次に再生成された
イメージが四面体Ｔのこの回転を反映することになる。

【００２９】 同様に、見る人が位置Ｐの彼の場所から１０歩前に歩いたとした場合に彼に見
えることになるものを表示しようとすることを考える。グラフィックスパイプラ
インがイメージを再生成した次に、それは、そのような見る人にとって見えるよ
うなものに対応する他の画素アレイを生成し、フレームバッファ中に記憶するこ
とになり、そしてこの画素アレイはコンピュータ画面上の他のイメージとして提
供される。

【００３０】 このように、グラフィックスパイプラインは、ゲームプレーヤがオブジェクト
の組を通り過ぎて歩き回ったいたとしたなら彼に見えることになるものをシミュ
レートすることが望まれるようなビデオゲームなどのアプリケーションにおいて
極めて有用であることが分かる。

【００３１】 上述のように、陰関数の技術(implicit technique)を使用して幾何学的表面の
モデルを作り出すグラフィックスパイプラインがある。これらの表面は、位置座
標の関数、すなわちｆ（ｘ，ｙ，ｚ）としてしばしば記述され、またいくつかの
頂点を含むこともできる。制御点及びそのような表面に関連する追加の方程式は
、デジタルの画素アレイ（例えば、図１Ａで示されるようなアレイ）を陰関数的
に画定される表面に結合させるために使用され、そしてその処理は上述のように
進行する。大きな違いは、頂点を有するプリミティブによって表面領域を画定す
る代わりに、表面領域は数学的方程式によって画定されることである。

【００３２】 二次元イメージの操作 我々の発明に従った処理は、二次元デジタルイメージ（例えば、図２Ａのイメ
ージ１０）を取得するステップから開始される。このステップは、例えば、写真
又は他の画像のようなイメージを通常のデジタルスキャナを使用してスキャナ入
力することによって実行することができる。デジタルイメージは、普通のデジタ
ルカメラからも取得することができる。イメージは、例えば、基本的には二次元
イメージの高速な連続である、ライブの又は記録されたビデオストリームからの
デジタルビデオイメージからも構成されることができる。しかし、どのような他
の二次元デジタルイメージも使用することができる。上述のように、デジタルイ
メージは、典型的には、デジタル値のアレイとしてメモリ中に記憶される。１つ
の実施形態では、デジタル値は、例えばＭＰＥＧ１又はＭＰＥＧ２又は他のフォ
ーマットのような圧縮技術を使用する、圧縮形態である。圧縮されたデジタル値
の場合、処理の前にそれらは圧縮解除されなければならない。スキャナ入力され
たイメージ、又はケーブルテレビ、アンテナ、カメラなどの任意のソースからの
デジタル化されたイメージを使用することもできる。

【００３３】 上述のように、ビデオイメージの場合については、毎秒何百万もの画素を含む
毎秒何十ものフレームを処理しなくてはならない。我々は、標準的なグラフィッ
クスパイプラインを、ビデオイメージを処理できるほど十分に速く、データのフ
レームを処理するために使用することができることを発見した。

【００３４】 例えば、半導体メモリ（ＳＲＡＭ、ＤＲＡＭ又は他の半導体メモリ）、磁気メ
モリ（例えば、ハードディスク、フレキシブルディスク、磁気テープ、または光
磁気ディスク）、または他のタイプのメモリデバイス（例えば、光ディスク）の
ような、任意のタイプのメモリを、デジタル二次元イメージを記憶するために使
用することができる。記憶されるイメージに対応する画素を、ＲＧＢ値（例えば
画素の色の赤、緑及び青の成分の強さ）、ＹＵＶ値又は他の値によって記憶する
ことができる。（ＹＵＶ値については、Ｙは画素値の強度すなわち明るさに対応
し、Ｕは色に対応し、そしてＶは彩度に対応する。）画素値は他の方法でもコー
ド化することができる。状況によって、さらなる処理の前に変換が必要になるか
もしれない。

【００３５】 次に、三次元グラフィックスパイプラインをセットアップする。これは、供給
されることになるデータに対して行われることになることに関して三次元グラフ
ィックスパイプラインに命令を与えることによって実施される。グラフィックス
パイプラインそれ自身をセットアップすることは、例えば、マイクロソフト・ダ
イレイクト(Microsoft Direct)３Ｄ ＳＤＫ(software developer kit)又はダイ
レクト３Ｄ(Direct 3D)に記載されているように、技術上周知である。

【００３６】 その後、平面の(planar)幾何学的表面のコンピュータモデルが生成される。こ
のコンピュータモデルは、例えば三角形のような多角形のようなプリミティブの
組を含むことができる。他の実施形態では、コンピュータモデルは、平らな(fla
t)幾何学的表面の陰関数記述(implicit description)を含むことができる。この
陰関数記述は、上述のように、典型的には数学的関数（例えば、ｘ、ｙ及びｚの
関数）である。

【００３７】 平面の幾何学的表面がプリミティブのメッシュを含むような場合については、
プリミティブの数及び形状、及びプリミティブのタイプを変えることができる。
図２Ｂは、我々の発明に従った方法を実行するために使用することができるメッ
シュ１２を示す。メッシュ１２は、上述のメッシュ４と似ている。しかし、メッ
シュ４と違って、メッシュ１２のすべての頂点は同じ平面上（又はほぼ同じ平面
上）にある。１つの実施形態では、メッシュ１２は、ビデオイメージを処理する
ことを許容し得るであろう、約５０００個の三角形を含む。もちろん、他の数の
プリミティブを使用することもできよう。

【００３８】 平面の幾何学的表面（例えばメッシュ１２）を構成した後、イメージ１０は平
らな幾何学的表面上にマッピングされ、結合される。これは以下の方法で実行さ
れる。平らな幾何学的表面がメッシュ１２のようなメッシュであるような場合に
ついては、平らな幾何学的表面のそれぞれの頂点（例えば三角形の頂点）は、イ
メージの画素の位置（すなわち制御点）に関連付けられている。このような、そ
れぞれの制御点は、画素に対応するテクスチャ座標（ｕ，ｖ）に関連付けられる
。それぞれの頂点及びそれに関連するｕ，ｖテクスチャ空間座標を記載するデー
タのテーブルがセットアップされる。これは「結合(binding)」と呼ばれる。（
カーメン(Kamen)による、ＩＥＥＥコンピュータ・ソサエティ(Computer Society
)の、ＩＥＥＥコンピュータ・グラフィックス・アンド・アプリケーションズ(Co
mputer Graphics and Applications)、１９９７年１〜２月、１７巻第１号を参
照する。）平らな幾何学的平面を画定するために陰関数の技術が使用されるよう
な場合については、陰関数的に画定された表面内の制御点は、上述の三角形に類
似した方法で、画素アレイ座標空間に結合させられる。

【００３９】 イメージ１０がメッシュ１２にマッピングされた後、ワールド座標を操作する
ことによって、オブジェクトを操作することができる。ワールド座標は、ｘ、ｙ
、ｚ空間中のどこにその平面が現れることになるのか、及びその方向はどのよう
になるのか（すなわち、見る人に関して、どのような角度を保持すべきであるか
）を記述する。更に、オブジェクトについての画面座標を変更することができる
。その結果、二次元イメージが最終的に準備されるとき、所望の操作を反映する
ような方法でそれを準備することができる。例えば、それは、任意の軸の回りで
回転させることや、拡大することや、縮小することなどができる。

【００４０】 ワールド座標モデル及び画面座標モデルを確立した後、パイプラインは、出力
フレームバッファ（ＯＦＢ）(output frame buffer)中に、操作されたテクスチ
ャによるメッシュ１２を表わす画素を含む画素のアレイを準備する。ＯＦＢ中の
画素のアレイは、ＣＲＴ又は他のタイプの画面上に表示される。

【００４１】 例えば、ワールド座標パラメータを変更すること、任意の軸（画面に垂直な又
は画面の平面中の軸を含む）に関してビデオイメージを傾斜させるようにパイプ
ラインに指示することによってビデオイメージを操作することができる。このよ
うに、パイプラインがＯＦＢ中に画素アレイを再生成するとき、再生成されたビ
デオイメージは、選択された軸に関して傾斜して見えることになる。パイプライ
ンは、使用されるシステムに従ったあらかじめプログラムされた速度(rate)でイ
メージを再生成することになるため、ライブビデオは、ライブビデオとして見え
ることになる。それは、新しい画素アレイが生成されるたびに、入力ビデオフレ
ームバッファを含むテクスチャ・マップは再び読み出され、パイプラインを通過
させられるからである。テクスチャ・マッピング処理は、画素補間の機能も含む
ため、自動的な解像度適応も起きる。

【００４２】 イメージがマッピングされた頂点を移動させることによって、イメージを曲げ
たりゆがめたりすることができる。このように、図２Ｂの平らな幾何学的平面を
変更し、それによってイメージをゆがめることができる。パイプラインがフレー
ムバッファ中で画素アレイを再生成するとき、イメージはゆがめられたように見
えることになる。

【００４３】 メッシュ１０が円柱になるように頂点を移動させることができる。パイプライ
ンがフレームバッファ中で画素アレイを再生成するとき、イメージは円筒の回り
でゆがめられたように見えることになる。（もちろん、メッシュ１０は、他の形
状に変更することができ、そしてイメージは当該他の形状の回りでゆがめられた
ように見えることになるであろう。）これらの変更は、イメージが徐々に折り込
まれていたような又はゆがめられていたような印象を見る人に生じさせるであろ
う。

【００４４】 頂点をお互いから離したり近づけたりすること、あるいはワールド座標システ
ムでイメージを見る人に近づけたり遠ざけたりすることによって、又はワールド
座標変換へとモデル座標を再パラメータ化することによって、イメージを拡大し
たり縮小したりすることができるであろう。

【００４５】 頂点を異なる速度で落下させることによって、イメージを「融解(melt)」させ
ることができるであろう。

【００４６】 可能な三次元操作の数は、それらをすべて試そうとするユーザのエネルギーに
よって制限されるだけである。

【００４７】 我々の発明に従った方法の実施形態を実行するためのハードウェア及びソフト
ウェア 我々の発明の１つの実施形態は、以下を有するＰＣを使用することによって実
行することができる： １．例えばインテル(Intel)（登録商標）によって製造されるセレロン(Celeron)
（登録商標）又はペンティアム(Pentium)（登録商標）、例えばＡＭＤ(Advanced
Micro Devices)（登録商標）によって製造されるＫ６（登録商標）プロセッサ
のようなＣＰＵ。 ２．３２ＭＢ以上のメモリ。 ３．三次元ＨＷ（ハードウェア）アダプタ。これは、現在市場で入手可能なグラ
フィックスカードの１つのタイプである。三次元ＨＷアダプタは、４ＭＢ（好適
には８ＭＢ）のメモリ及びＡＧＰ(advanced graphics port)インターフェースを
有しているべきである。（ＡＧＰインターフェースは、技術上周知のバス標準の
１つのタイプである。）他には、周辺機器接続インターフェース（「ＰＣＩ(per
ipheral connection interface)」）を、ＡＧＰの代わりに使用することができ
る。ＰＣＩは、技術上周知のバス標準の１つのタイプである。適当な三次元ＨＷ
アダプタの例には、Ｒｉｖａから入手可能なＴＮＴ−２、ＡＴＩ Ｒａｇｅ １
２８、Ｍａｔｒｏｘ Ｇ４００、Ｔｒｉｄｅｎｔ Ｂｌａｄｅ ３Ｄ及びＳ３
Ｓａｖａｇｅが含まれる。 ４．オペレーティング・システムは、Ｗｉｎｄｏｗｓ９５（登録商標）、Ｗｉｎ
ｄｏｗｓ９８（登録商標）、Ｗｉｎ２０００（登録商標）、又はｄｉｒｅｃｔ
３Ｄをサポートする他のオペレーティング・システムであればよい。Ｗｉｎｄｏ
ｗｓ（登録商標）オペレーティング・システムは、Ｄｉｒｅｃｔ Ｘ ｆｏｒ
Ｗｉｎｄｏｗｓ（登録商標）と呼ばれる標準化されたプラットフォームを含んで
いる。

【００４８】 １つの実施形態では、ユーザは、Ｄｉｒｅｃｔ ３Ｄ ｗｉｎｄｏｗｓ（登録
商標）の環境で、平らな幾何学的表面（例えば、三角形のメッシュ）を構成する
。次に命令のセットがグラフィックスパイプラインに与えられ、それによってレ
ンダリング処理が完了させられる。しかし他の環境では、ＰＣは、グラフィック
スカードの製造者によって提供されるソフトウェアインターフェースを使用して
直接ハードウェアのアクセラレータにアクセスすることを可能にするバイパス機
構を含む。

【００４９】 図３は、我々の発明に従った方法を実行するためのコンピュータシステム５０
のブロック図である。図３を参照すると、システム５０は、例えばペンティアム
II（登録商標）クラスのＣＰＵのような、キャッシュメモリ５２ａ、コア５２ｂ
、及びコア５２ｂとキャッシュ５２ａの間の通信を容易にするための内部バス５
２ｃを含むＣＰＵ５２を含む。コア５２ｂは、ＣＰＵバス５４を経由してシステ
ムコントローラ５６と通信する。システムコントローラ５６は、メモリバス６０
を経由してシステムメモリ５８と通信する。システムメモリ５８は、システムメ
モリプログラムを含む第１の部分５８ａと、上述のようなテクスチャ・マップを
記憶する第２の部分５８ｂを含む。

【００５０】 システム５０には、システムコントローラ５６と、Ｉ／Ｏデバイス６４、６６
及びディスクドライブ６８との間の通信を容易にするためのＰＣＩバス６２も含
まれる。１つの実施形態では、Ｉ／Ｏデバイス６６は、ドライバを有するビデオ
・キャプチャ・カードである。ビデオ・キャプチャ・カードからのデータは、Ｄ
ＭＡ(direct memory access)又はＣＰＵ５２のいずれかによって、典型的にはメ
インメモリ５８内のフレームバッファ中にロードされる。しかし、フレームバッ
ファは、システム５０内の他のメモリ中にあってもよい。

【００５１】 システム５０は、三次元アクセラレータを含むＡＧＰグラフィックスコントロ
ーラ７０も含む。１つの実施形態では、ＡＧＰグラフィックスコントローラ７０
は、ＡＧＰバス７２を経由してシステムコントローラ５６と通信する。他の実施
形態では、ＡＧＰグラフィックスコントローラ７０は、ＰＣＩバス６２を経由し
てシステムコントローラ５６と通信することができる（例えば、図３の想像線で
示されるように）。

【００５２】 グラフィックスコントローラ７０は、ビデオディスプレイユニット７６上に表
示されることになる画素アレイを生成し記憶するために、それ自身のローカルメ
モリ７４を使用する。

【００５３】 システム５０は、我々の発明に従った方法を実行するシステムの一例に過ぎな
いことを強調しておく。他のハードウェアも使用することができる。

【００５４】 発明の応用 我々の発明について多くの応用がある。例えば、我々の発明に従った方法は、
テレビジョン・イメージのようなイメージストリームを操作するために使用する
ことができる。ビデオイメージは北アメリカでは毎秒約６０フレームの速度の連
続するフレームを含んでいるため、我々の発明の方法は特に適している。例えば
、ＮＴＳＣの場合、毎秒約９．１Ｍバイトのスループットが必要とされる。（Ｎ
ＴＳＣは、「North American Television Standard for Color」の略語である。
それは、北アメリカでテレビジョン信号のために使用される標準である。） 我々の発明のための他の用途は、異なるビデオイメージ又は他のイメージの部
分を、ＰＣ画面のような画面異なる部分の上に移動させ、傾斜させることである
。イメージを、例えば多面体（例えば、立方体）の面上に現れるように変換する
ことができる。コンピュータディスプレイ上の適当なアイコンをクリックするこ
とによって、その多面体の種々の面上の異なるイメージを見るために、その多面
体を回転させることができるであろう。その多面体は、新しいタイプのコンピュ
ータのメニュの選択任意な表示として使用することができるであろう。

【００５５】 我々の発明に従って提供される操作されたイメージは、例えば、テレビジョン
画面、ビデオプロジェクタ、ＨＤＴＶモニタ、又はＰＣ画面のような、任意の適
当な出力デバイスに供給することができるであろう。我々の発明に従って操作さ
れるイメージは、例えば、アナログ又はデジタルのビデオ入力、ケーブルテレビ
入力、衛星放送入力、インターネット、デジタルスキャナ、デジタルカメラ、又
は多くの他のソースのような、多くのソースの中のいずれからも取得することで
切るであろう。（アナログ入力の場合、最初にイメージをデジタル化するであろ
う。）

【００５６】 本発明は、特定の実施形態に関して説明してきたが、当業者は、本発明の精神
及び範囲から逸脱することなく、形態及び詳細について変更を行うことができる
ことを理解するであろう。例えば、本発明は、二次元イメージを、正確な平面で
ある表面ではなく、ほぼ平面である表面上にマッピングするために使用すること
ができる。従って、すべてのそのような変更は、本発明内から生じるものである
。

【図面の簡単な説明】

【図１Ａ】 三次元グラフィックスパイプラインの動作を示す図である。

【図１Ｂ】 三次元グラフィックスパイプラインの動作を示す図である。

【図１Ｃ】 三次元グラフィックスパイプラインの動作を示す図である。

【図１Ｄ】 三次元グラフィックスパイプラインの動作を示す図である。

【図１Ｅ】 三次元グラフィックスパイプラインの動作を示す図である。

【図２Ａ】 我々の発明に従った方法を使用する二次元イメージの操作を表わす図である。

【図２Ｂ】 我々の発明に従った方法を使用する二次元イメージの操作を表わす図である。

【図３】 我々の発明に従った三次元グラフィックスパイプラインを有するグラフィック
スコントローラに結合したパーソナルコンピュータ(PC)の簡略なブロックダイヤ
グラムである。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/60 Ｇ０６Ｔ 3/60 Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＪＰ，Ｕ Ｓ (72)発明者 シャーマン レオン アメリカ合衆国 カリフォルニア州 94062 レッドウッド シティ セミノー ル ウェイ 870 Ｆターム(参考） 5B057 AA20 BA02 CA08 CA12 CA16 CB08 CB13 CB16 CC01 CD02 CD03 CD05 CD12 CD14 5B080 AA14 AA15 BA08 GA22 5C023 AA10 AA40 CA01 DA08

Claims (26)

【特許請求の範囲】
1. 【請求項１】 二次元イメージのデジタル表現を提供するステップと、 幾何学的表面のモデルを提供するステップと、 前記デジタル表現を前記幾何学的表面の前記モデルに結合させるステップと、 表示されることになるイメージに対応する画素のアレイを生成するステップと
   、 表示されることになるイメージに対応する画素のアレイを生成するステップで
   あって、表示されることになる当該イメージは前記幾何学的表面に張り付けられ
   た前記二次元イメージを含むような前記ステップと、を有することを特徴とする
   方法。
2. 【請求項２】 ディスプレイデバイス上に表示されることになる前記イメー
   ジを表示させるステップを更に含むことを特徴とする請求項１に記載の方法。
3. 【請求項３】 前記結合させるステップの間、前記幾何学的表面は、実質的
   に平らであることを特徴とする請求項１に記載の方法。
4. 【請求項４】 画素の前記アレイを生成する前記ステップの前に、前記幾何
   学的表面を変更し、それが実質的に平らではないようにし、それによって前記表
   示されるイメージは実質的に平らには見えないようにするステップを更に含むこ
   とを特徴とする請求項３に記載の方法。
5. 【請求項５】 表示されることになる前記イメージを、ゆがめること、大き
   さ変更すること、融解すること、及び回転させることの内の１つを含むデジタル
   操作処理を実行するステップを更に有することを特徴とする請求項２に記載の方
   法。
6. 【請求項６】 ワールド座標系における前記幾何学的表面の配置及び位置を
   確立するステップを更に有し、 画素の前記アレイを生成するステップは、前記ワールド座標系における前記幾
   何学的表面の配置及び位置を考慮することを特徴とする請求項２に記載の方法。
7. 【請求項７】 前記幾何学的表面は、一組の多角形を含むことを特徴とする
   請求項１に記載の方法。
8. 【請求項８】 前記幾何学的表面は、陰関数の技術によって画定されること
   を特徴とする請求項１に記載の方法。
9. 【請求項９】 生成する前記ステップは、三次元グラフィックスパイプライ
   ンを使用して実行されることを特徴とする請求項１に記載の方法。
10. 【請求項１０】 前記二次元イメージの前記表現は、ビデオイメージから取
    得されることを特徴とする請求項１に記載の方法。
11. 【請求項１１】 二次元イメージのデジタル表現を記憶するための第１のメ
    モリと、 幾何学的表面のモデルを記憶するための第２のメモリと、 表示されることになるオブジェクトの配置及び方向を表現するワールド座標系
    を記憶するための第３のメモリと、 前記幾何学的表面の前記モデルを前記二次元イメージに結合させ、表示される
    ことになるイメージに対応する画素アレイを生成するためのグラフィックス三次
    元パイプラインであって、前記イメージを生成する前記ステップは、前記二次元
    イメージに従ってテクスチャが張り付けられた前記幾何学的表面に少なくとも部
    分的に基づいており、前記イメージは前記ワールド座標系に従って方向づけられ
    、位置させられる、そのようなグラフィックス三次元パイプラインと、を有する
    ことを特徴とする構造。
12. 【請求項１２】 表示されることになる前記イメージを表示するためのディ
    スプレイを更に有することを特徴とする請求項１１に記載の構造。
13. 【請求項１３】 前記幾何学的表面は、実質的に平らであることを特徴とす
    る請求項１１に記載の構造。
14. 【請求項１４】 前記グラフィックスパイプラインは、表示されることにな
    る前記イメージが前記幾何学的表面を実質的に平らには表現しないように、前記
    実質的に平らな幾何学的表面の操作を可能にすることを特徴とする請求項１３に
    記載の構造。
15. 【請求項１５】 前記第１、第２及び第３のメモリは、同じメモリデバイス
    内の位置の異なる組を含むことを特徴とする請求項１１に記載の構造。
16. 【請求項１６】 イメージを三次元グラフィックスパイプラインに提供する
    ステップと、 幾何学的表面を前記三次元グラフィックスパイプラインに提供するステップと
    、 前記イメージの少なくとも一部を前記幾何学的表面に結合させることに基づい
    て画素アレイを生成するステップと、を有することを特徴とする方法。
17. 【請求項１７】 前記イメージは、ビデオイメージであることを特徴とする
    請求項１６に記載の方法。
18. 【請求項１８】 前記幾何学的表面が前記ビデオイメージに結合させられる
    ときに、前記幾何学的表面は平らな幾何学的表面であることを特徴とする請求項
    １７に記載の方法。
19. 【請求項１９】 二次元イメージを三次元グラフィックスパイプラインに提
    供するステップと、 実質的に平らな幾何学的表面を前記三次元グラフィックスパイプラインに提供
    するステップと、 前記二次元イメージの少なくとも一部を前記平らな幾何学的表面に結合させる
    ことに基づいて画素アレイを生成するステップと、を有することを特徴とする方
    法。
20. 【請求項２０】 前記二次元イメージを前記幾何学的表面に結合させ、その
    後に当該幾何学的表面を該幾何学的表面が実質的に平らではなくなるように変更
    するステップを有することを特徴とする請求項１９に記載の方法。
21. 【請求項２１】 前記二次元イメージは、デジタル化された写真であること
    を特徴とする請求項１又は１９に記載の方法。
22. 【請求項２２】 前記二次元イメージは、ビデオ・クリップからのものであ
    ることを特徴とする請求項１又は１９に記載の方法。
23. 【請求項２３】 前記二次元イメージは、三次元オブジェクトの二次元イメ
    ージであることを特徴とする請求項１又は１９に記載の方法。
24. 【請求項２４】 ビデオイメージのソースと、 当該ビデオイメージを受信し、及び、該ビデオイメージを幾何学的表面に結合
    させ、前記ビデオイメージの少なくとも一部の前記幾何学的表面への結合に基づ
    いて画素アレイを生成することによって該ビデオイメージを処理する三次元グラ
    フィックスパイプラインと、を有することを特徴とする構造。
25. 【請求項２５】 二次元イメージの表現を含むメモリと、 幾何学的表面を含むメモリと、 前記二次元イメージを前記幾何学的表面に結合させ、前記結合された二次元イ
    メージに対応する画素アレイを生成する三次元グラフィックスパイプラインと、
    を有することを特徴とする構造。
26. 【請求項２６】 前記幾何学的表面は実質的に平らであることを特徴とする
    請求項２５に記載の構造。