JP2004096730A - ビデオ処理方法及びビデオ処理装置 - Google Patents

Abstract

【課題】コンピュータソフトウェアとして家庭で使われる装置で実現できる特殊効果のためのビデオ処理方法を提供する。
【解決手段】ビデオ処理方法は、ワイプ始点軌跡及びワイプ終点軌跡からのワイプ進行方向に沿って正規化された表示距離に対して表示すべき第１及び第２のソース画像の割合を定義するワイプ制御信号を生成するステップと、各表示位置の透明度係数はその表示位置とワイプ始点軌跡との間及びその表示位置とワイプ終点軌跡との間のワイプ進行方向に沿って正規化された表示距離に対応するワイプ制御信号の値に依存して修正される場合に、表示メモリに保持された第１のソース画像の透明度係数を変更するステップと、第１のソース画像の各表示位置と関連付けられた透明度係数に依存して、第２のソース画像の画素により第１のソース画像が変更されるよう表示メモリ内の第１のソース画像を第２のソース画像で上書きするステップとを有する。
【選択図】図１６

Description

　本発明はビデオ信号を生成するビデオ処理方法及びビデオ処理装置に関する。

　「ビデオ効果」の用語は表示用ビデオ画像に応用できる様々な処理が含まれる。幾つかの例としては、いわゆる「ワープ」効果（例えば頁めくり、リップル効果）、イメージクロッピング、テクスチャリング、ピクチャインピクチャ、クロマキー処理及び光源レンダリング等が、より直接的なワイプのようなミキシング効果と共に存在する。現状の技術として、これらの効果がデジタル形式で頻繁に適用されており、これを行う装置は通常「デジタルビデオ効果（ＤＶＥ）」装置あるいは「デジタル多重効果（ＤＭＥ）」装置と呼ばれる。

　ＤＶＥ装置はリアルタイム型及び非リアルタイム型の２分類で考慮することができる。リアルタイムＤＶＥプロセッサは数千ポンド程度と高価になる傾向があり、業務用の市場をターゲットとしている。リアルタイム型ＤＶＥプロセッサの一例としては、ソニー株式会社が供給するＤＭＥ７０００がある。他方、家庭向け市場を狙う非リアルタイム型ＤＶＥ装置としては、適切なソフトウェアを備えたパーソナルコンピュータ（ＰＣ）周辺装置用カードの形態を取ることができる。このようなシステムは数百ポンド程度の価格であり、一般的にユーザは編集及び効果処理のためにビデオ素材（例えばカムコーダ素材）をアップロードすることができる。効果処理及び再現処理（レンダリング）が続いて非リアルタイムで行われるが、効果処理の複雑さ及びホストＰＣの処理速度に依存して通常何時間もかかる。最後にその再現された素材がテープあるいはその他の媒体に記録できるよう出力される。このタイプのシステムの一例は、ピナクル（Pinnacle）社が提供する「StudioDVPlus」である。

　ビデオゲームマシーンのような幾つかの装置は、ポリゴン（多角形）をベースとする再現法を用いてリアルタイムに表示用画像を生成する。生成あるいは再現される画像（イメージ）は、多数のモザイク状図形の基本要素であるポリゴンに分割される。それぞれのポリゴンは、例えば三角形集合の画素のような小さな画像領域である。例えば、ソニーコンピュータエンタテーメント社が供給するプレイステーション２は、数種の異なるタイプの図形要素を用いることができ、特に、点、線、帯線（終端を共有する連続線の集合）、三角形、三角帯（辺を共有する連続三角形の集合）、三角形翼（１つの頂点を共有する連続三角形の集合）及びスプライト（独立した長方形）を用いることができる。実際にプレイステーション２は、最大毎秒６６百万個の多角形の幾何学計算と、最大毎秒１６百万個の曲面生成処理を行うことができる。

　ワイプのようなミキシング効果を実施するためには、それぞれの表示点で２つのソース画像のうちどちらを表示するかを制御するキーイング信号を生成する必要がある。通常、キーイング信号は「ソフトエッジ」を持つように構成されており、これによれば、２つのソース画像間、つまりワイプの境界である表示面において、２つのソース画像が混合されたものが表示される。これにより、ワイプの境界では一方のソース画像から他方のソース画像へとより緩やかに変化させることができる。このキーイング信号は、ユーザの制御等によるワイプ境界の変更に対応して変化させる必要がある。

　ワイプ効果を実施する上での重要な機能はキーイング信号の生成である。水平あるいは垂直ワイプの境界の場合においては、これは相対的に単純な操作である。しかしながら、ワイプ境界が斜線あるいは円等である場合には、リアルタイムにその操作を行うことは困難である。

　なお、業務用のリアルタイム型ＤＶＥ装置（ＤＭＥ―７０００）は、円形ワイプを以下のように実施する。先ず、円形ワイプの中心に対応する画素位置を定義する。次に、その中心位置の周囲に直円錐を数学的に生成するが、これはすなわち各画素の位置には中心位置からのその画素半径におけるそのような円錐の高さを示す値が割り当てられていることである。次に２つの閾値が生成される。上限閾値以上の「円錐高さ」値を持つ画素位置に対しては一方のソース画像が表示され、下限閾値以下の「円錐高さ」値を持つ画素位置に対しては他方のソース画像が表示される。上限及び下限閾値間の「円錐高さ」値を持つ画素位置に対しては２つのソース画像を混合したものが表示される。しかし、円錐データの生成はどちらかといえばプロセッサ集約型であり、それぞれの表示画素ごとに１つの「円錐高さ」入力を記憶するフレームメモリが必要になる。更にこれらの従来技術は、上限及び下限閾値レベルに対応する画面表示位置において可視的な２次不連続性を発生させる可能性がある。素人や家庭用として利用可能な装置を用いて、リアルタイムに複雑なワイプ形状を実施するのに必要な処理を達成するためには、よりプロセッサ集約型ではない技術が必要となる。

　本発明は画面表示用の出力画像を生成するビデオ処理方法を提供する。本発明に係るビデオ処理方法は、その各出力画像は第１のソース画像から求められる１つ以上の領域と、それとはワイプ境界により分離される第２のソース画像から求められる１つ以上の領域とを持ち、それらソース画像の各表示位置には透明度係数が関連付けられるビデオ処理方法であり、
　表示メモリ内に表示用の第１のソース画像を用意するステップと、
　実質的に全ての出力画像が第１のソース画像から導出される時のワイプ境界を表すワイプ始点軌跡及び実質的に全ての出力画像が第２のソース画像から導出される時のワイプ境界を表すワイプ終点軌跡を定義するステップと、ここでワイプ終点軌跡上の点はワイプ始点軌跡上の点と関連付けがなされ、関連付けがなされた点の対がそれぞれのワイプ進行方向を定義する、
　ワイプ始点軌跡及びワイプ終点軌跡からのワイプ進行方向における正規化された表示距離に対応して表示すべき第１及び第２のソース画像の比率を定義するワイプ制御信号を発生するステップと、
　表示メモリに保持された第１のソース画像の透明度係数を変更するステップと、ここで各表示位置の透明度係数はその表示位置とワイプ始点軌跡間及びその表示位置とワイプ終点軌跡間のワイプ進行方向における正規化された表示距離に対応するワイプ制御信号の値に依存して変更される、
　第１のソース画像が、第１のソース画像の各表示位置と関連付けられた透明度係数に依存して第２のソース画像の画素により変更されるように、表示メモリ内で第１のソース画像を第２のソース画像で書き換えるステップとを有する。

　本発明は、コンピュータソフトウェアとして家庭で使われる装置で実現できる特殊効果のためのビデオ処理方法を提供することができ、それを実行するプログラムは、記憶媒体、ネットワークあるいはインターネット等の通信媒体を介して供給することができる。

　以下、本発明に係るビデオ処理方法及びビデオ処理装置を、図面を参照して、より詳細に説明する。　図１はプレイステーション２の全体的な構成を示すブロック図である。プレイステーション２は、エモーションエンジン１００と、図形合成装置２００と、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を有する音声処理装置（ＳＰＵ）３００と、リードオンリーメモリ（ＲＯＭ）４００と、コンパクトデスク（ＣＤ）及びデジタル多目的デスク（ＤＶＤ）装置４５０と、ランバスダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）装置５００と、専用ＲＡＭ７５０を備える入出力プロセッサ（ＩＯＰ）７００と、外部ハードデスク装置（ＨＤＤ）８００とを備える。

　エモーションエンジン１００は、ゲーム用の３次元図形の効率的シミュレーション用に特に設計された１２８ビットの中央処理装置（ＣＰＵ）である。エモーションエンジン１００のコンポーネントにはデータバス、キャッシュメモリ、レジスタが含まれ、これらは全て１２８ビットである。これにより大量のマルチメディアデータの高速処理が容易になる。比較として、従来のパーソナルコンピュータ（ＰＣ）は６４ビットデータ構成を基本とする。プレイステーション２の浮動小数点演算計算性能は６．２ＧＦＬＯＰｓである。エモーションエンジン１００は更に３次元図形データとＤＶＤデータの同時処理ができるＭＰＥＧ２デコーダ回路も備える。エモーションエンジン１００は数学変換及び並進移行を含む幾何計算を実行し更に、例えば２つの物体間の摩擦計算などの、シミュレーション物体の物性関連の計算にも使われる。エモーションエンジン１００は、図形合成装置２００により続いて用いられる一連の画像再現（レンダリング）命令を生成する。画像再現命令は表示リストの形で出力される。表示リストは、表示画面上にどのプリミティブ図形オブジェクト（例えば点、線、三角形、スプライト）をどの座標に描画するかを図形合成装置２００に指定する一連の描画命令である。かくして、表示リストは頂点を描画する命令、多角形の面に陰影を付ける、ビットマップを再現する命令等からなる。エモーションエンジン１００は、多数の表示リストを非同期に生成できる。

　図形合成装置２００は、エモーションエンジン１００により生成された表示リストの再現（レンダリング）を行うビデオアクセラレータである。図形合成装置２００は、多数の表示リストを処理、トラッキング及び管理するグラフィックインタフェース装置（ＧＩＦ）を含む。図形合成装置２００の再現（レンダリング）機能は、幾つかの代替規格出力画像フォーマット、すなわちＮＴＳＣ／ＰＡＬ、高精細デジタルＴＶ及びＶＥＳＡをサポートする画像データを生成できる。一般的に、図形システムの再現能力は、いずれもグラフィックプロセッサ内部に配置された、画素エンジンとビデオメモリ間のメモリ帯域幅で定義される。従来の図形システムは、利用できる帯域を制限する傾向のあるオフチップバスを介して画素ロジックに接続される外部ビデオランダムアクセスメモリ（ＶＲＡＭ）を使用する。しかしながら、プレイステーション２の図形合成装置２００は、比較的大きい毎秒３８．４ＧＢのメモリアクセス帯域が可能である単一高性能チップ上で画素ロジックとビデオメモリを提供する。図形合成装置２００は、理論的に毎秒最大７５百万個のポリゴンの描画能力を達成できる。テクスチャ、明暗、透明度のようなフルレンジの効果を盛り込んでも、毎秒２０百万個の一定の割合で多角形を連続的に描画できる。したがって、図形合成装置２００はフイルム写真品質の画像を再現できる。

　入出力プロセッサ（ＩＯＰ）７００は、２つのユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）ポートと１つのＩＥＥＥ１３９４ポート（ｉ−ＬＩＮＫはＩＥＥＥ１３９４規格のソニー（株）の導入例である）を備える。ＩＯＰ７００は、全てのＵＳＢ、ｉ−ＬＩＮＫ及びゲームデータの転送を取り扱う。例えば、ユーザがゲームをプレーしているとき、ＩＯＰ７００はゲームコントローラからデータを受け取りそれをエモーションエンジン１００に送り、それに従ってゲームの現在の状態をエモーションエンジン１００が更新する。ＩＯＰ７００は高速データ転送を容易にするためダイナミックメモリアクセス（ＤＭＡ）構成を持つ。ＤＭＡはＣＰＵを通さない主メモリからデバイスへのデータ転送に関わる。ＵＳＢインタフェースはオープンホストコントローラインタフェース（ＯＨＣＩ）との整合性がありかつ１．５Ｍｂｐｓ〜１２Ｍｂｐｓまでのデータ転送速度を処理できる。これらのインタフェースを備えることは、プレイステーション２が潜在的にビデオカセットレコーダ（ＶＣＲ）、デジタルカメラ、セットトップボックス（set-top-boxes）、プリンタ、キーボード、マウス及びジョイステックと適合することを意味する。

　音声処理装置（ＳＰＵ）３００は、実際にはデジタルシアター臨場音（ＤＴＳ：登録商標）のような３次元音響やデジタル多目的デスク（ＤＶＤ）用に用いられる音声フォーマットであるＡＣ−３（ドルビーデジタルとしても知られる）を認識できるシステムのサウンドカードである。

　エモーションエンジン１００をサポートする主メモリは、ラムバス社（ＲＡＭＢＵＳ社）が製造するＲＤＲＡＭ（ＲＡＭＢＵＳ−ＤＲＡＭ）装置５００である。このＲＤＲＡＭメモリサブシステムは、ＲＡＭ、ＲＡＭコントローラ及びそのＲＡＭとエモーションエンジン１００を接続するバスとから構成される。

　図２は図１のエモーションエンジン１００のアーキテクチャ（構成）を示すブロック図である。エモーションエンジン１００は、浮動小数点演算装置（ＦＰＵ）１０４と、中央処理装置（ＣＰＵ）コア１０２と、ベクトル装置（０）（ＶＵ０）１０６と、ベクトル装置（１）（ＶＵ１）１０８と、グラフィックインタフェース装置（ＧＩＦ）１１０と、割り込み制御装置（ＩＮＴＣ）１１２と、タイマ装置１１４と、ダイレクトメモリアクセスコントローラ（ＤＭＡＣ）１１６と、画像データ処理装置（ＩＰＵ）１１８と、ダイナミックランダムアクセスメモリコントローラ（ＤＲＡＭＣ）１２０と、サブバスインタフェース（ＳＩＦ）１２２と、これらコンポーネントの全てを接続介在する１２８ビットの主バス１２４とを備える。

　そのＣＰＵコア１０２は、３００ＭＨｚのクロックで動作する１２８ビットのプロセッサである。ＣＰＵコア１０２は、ＤＲＡＭＣ１２０を介して３２ＭＢの主メモリへアクセスする。ＣＰＵコア１０２の命令セットは、ＭＩＰＳIIIＲＩＳＣをベースにしているが、ＭＩＰＳIVＲＩＳＣインストラクション及びマルチメディアインストラクションも一部盛り込まれている。ＭＩＰＳIII及びＭＩＰＳIVは、ミップステクノロジーズ（MIPSTecnology）社が所有する縮小命令セットコンピュータ（Reduced Instruction Set Computer：ＲＩＳＣ）の命令セットである。標準命令は６４ビット、双方向スーパースカラで、これは２つの命令が同時に実行できることを意味する。一方、マルチメディア命令は２つのパイプラインを介した１２８ビット命令を使用する。ＣＰＵコア１０２は、１６ｋＢの命令キャッシュと、８ｋＢのデータキャッシュと、ＣＰＵの直接固有の使用目的に予約されたキャッシュの一部である１６ｋＢのスクラッチパッドＲＡＭとを備える。

　ＦＰＵ１０４は、ＣＰＵコア１０２に対する第１のコプロセッサとして動作する。ベクトル装置（０）１０６は、第２のコプロセッサとして動作する。ＦＰＵ１０４は、浮動小数点積和論理演算器（ＦＭＡＣ）と浮動小数点除算器（ＦＤＩＶ）とを備える。ＦＭＡＣとＦＤＩＶの両者は３２ビット値で動作するので、１２８ビット値（４つの３２ビット値で構成）で演算が行われるときには、４つの部分全てで同時に演算が実行できる。例えば２つのベクトルを一緒に加える場合同時に実行できる。

　ベクトル装置（０）１０６とベクトル装置（１）１０８は数理演算を行い、基本的にはベクトル等式の掛け算足し算評価が極めて高速な専用ＦＰＵである。それらは加算掛け算用の浮動小数点積和演算器（ＦＭＡＣ）であり且つ割り算及び平方根演算用の浮動小数点除算器（ＦＤＩＶ）である。それらはマイクロプログラムを格納する内蔵メモリとベクトルインタフェース装置（ＶＩＦ）を介してシステムの他の部分と接続するインタフェースを備える。ベクトル装置（０）１０６は専用の１２８ビットの主バス１２４を介してＣＰＵコア１０２に対しコプロセッサとして動作できるので、本質的には第２の専用ＦＰＵである。一方、ベクトル装置（１）１０８は図形合成装置２００への専用バスを備えるので、完全に別のプロセッサと見なすことができる。２つのベクトル装置１０６，１０８を備えることによりソフト開発者はその作業をＣＰＵの幾つかの異なる部分上に分割でき、且つそのベクトル装置１０６，１０８をシリアルあるいはパラレル接続の何れでも使用できる。

　ベクトル装置（０）１０６は４つのＦＭＡＣと１つのＦＤＩＶとを備える。ベクトル装置（０）１０６はコプロセッサ接続を介してＣＰＵコア１０２へ接続される。ベクトル装置（０）１０６はデータ用の４ｋＢのベクトル装置メモリと命令用の４ｋＢのマイクロメモリとを有する。ベクトル装置（０）１０６は表示用画像に関連する物性計算を実行するのに有用である。主にベクトル装置（０）１０６は非パターン化幾何学処理をＣＰＵコア１０２と共に実行する。

　ベクトル装置（１）１０８は５つのＦＭＡＣと２つのＦＤＩＶとを備える。ベクトル装置（１）１０８はＣＰＵコア１０２への直接パスは持たないが、ＧＩＦ装置１１０への直接パスを有する。ベクトル装置（１）１０８はデータ用の１６ｋＢのベクトル装置メモリと命令用の１６ｋＢのマイクロメモリとを備える。ベクトル装置（１）１０８は変換実行に有用である。主にベクトル装置（１）１０８はパターン化図形処理を実行し、生成された表示リストを直接ＧＩＦ１１０へ出力する。

　ＧＩＦ１１０は図形合成装置２００のインタフェース装置である。ＧＩＦ１１０は送られる表示リストパケットの最初にある仕様タグに基づいてデータを変換し、描画指令を図形合成装置２００へ転送する。そのとき多数の転送を相互に調整する。割込みコントローラ（ＩＮＴＣ）１１２は、ＤＭＡＣ１１６以外の周辺機器からの割込みを調整する。

　タイマ装置１１４は１６ビットカウンタの４つの独立したタイマからなる。タイマ装置１１４はバスクロック（１／１６又は１／２５６間隔）あるいは外部クロックにより駆動される。ＤＭＡＣ１１６は主メモリと周辺プロセッサ間あるいは主メモリとスクラッチパッドメモリ間のデータ転送を取り扱う。ＤＭＡＣ１１６は同時に主バス１２４の調整を行う。ＤＭＡＣ１１６の性能最適化がエモーションエンジン１００の性能改善の鍵となる。画像データ処理装置（ＩＰＵ）１１８は圧縮アニメーションやテクスチャ画像の解凍に使用される。画像データ処理装置１１８は、Ｉ−ＰＩＣＴＵＲＥマクロブロックデコーディング、カラー空間変換及びベクトル量子化を行う。最後に、サブバスインタフェース１２２はＩＯＰ７００へのインタフェース装置である。ＳＩＦ１２２はそれ自身のメモリとバスを備え、音声チップや記憶装置のような入出力装置を制御する。

　図３は図形合成装置２００の概略構成を示すブロック図である。その図形合成装置２００は、ホストインタフェース２０２と、画素パイプライン２０６及びメモリインタフェース２０８を含む設定及びラスタ化装置２０４と、フレームページバッファ２１４及びテクスチャページバッファ２１６を含むローカルメモリ２１２と、ビデオコンバータ２１０とを備える。

　ホストインタフェース２０２は、ホスト（この場合エモーションエンジン１００のＣＰＵコア１０２）とのデータ転送を行う。ホストからの描画データ及びバッファデータの両方がホストインタフェース２０２を通過する。ホストインタフェース２０２からの出力は図形合成装置２００へ供給され、図形合成装置２００は図形を展開して、エモーションエンジン１００から受け取った頂点情報に基づく画素を描画し、各画素に対するＲＧＢＡ値、深さ値（Ｚ値）、テクスチャ値及びフォグ値のような情報を計算する。ＲＧＢＡ値は赤、緑、青（ＲＧＢ）カラー成分を特定し、そのＡ（アルファ）成分は画像オブジェクトの不透明度を表す。そのアルファ値は完全な透明から完全な不透明の範囲で変化する。画素データは画素パイプライン２０６に供給され、画素パイプライン２０６はテクスチャマッピング、フォギング及びアルファ混合（以下に説明）のような処理を行い、計算された画素情報に基づき最終描画カラーを決定する。

　画素パイプライン２０６は、１６個の画素エンジンＰＥ１，ＰＥ２，・・・，ＰＥ１６から構成されるので最大１６画素を同時に処理できる。画素パイプライン２０６は３２ビットカラー及び３２ビットＺバッファを備え１５０ＭＨｚで動作する。メモリインタフェース２０８は図形合成装置２００のローカルメモリ２１２に対しデータの読出し、書込みを行う。メモリインタフェース２０８は画素演算の最後に描画画素値（ＲＧＢＡ値及びＺ値）をローカルメモリ２１２に書き込み、ローカルメモリ２１２のフレームページバッファ２１４の画素値を読み出す。フレームページバッファ２１４から読み出されたこれらの画素値は画素テストあるいはアルファ混合のために使用される。メモリインタフェース２０８は更にフレームページバッファ２１４の現在の内容であるＲＧＢＡ値をローカルメモリ２１２から読み出す。ローカルメモリ２１２は図形合成装置２００に内蔵される３２Ｍビット（４ＭＢ）メモリである。ローカルメモリ２１２は、フレームページバッファ２１４、テクスチャページバッファ２１６及び３２ビットのＺバッファ２１５の構成に纏めることができる。フレームページバッファ２１４はビデオメモリの一部でありカラー情報などの画像データが格納される。

　図形合成装置２００は、立体形状に可視的ディテールを加えるために２次元から３次元へのテクスチャマッピング処理を行う。それぞれのテクスチャを３次元画像オブジェクトに張り付け、ストレッチ、スキュウ処理を施して３次元画像効果を与える。テクスチャページバッファ２１６は画像オブジェクトのテクスチャ情報を格納するのに使用される。Ｚバッファ２１５（深さバッファに同じ）は画像の深さ情報を格納するのに利用できるメモリである。画像（イメージ）は図形基本要素（グラフィックプリミティブ）あるいはポリゴンとして知られる基本ビルディングブロックから構成される。１つのポリゴンがＺバッファリングを使って再現されると、そのポリゴン画素のそれぞれの深さ値がＺバッファ２１５に格納された対応する値と比較される。Ｚバッファ２１５に格納された値が新しい画素の深さに等しいか大きいとこの画素は可視と判断されて再現されることになりＺバッファ２１５はその新しい画素の深さ値で更新される。しかし、Ｚバッファ２１５の深さ値が新しい画素の深さ値よりも小さいとその新しい画素値は既に描画されているものの陰になり再現はされない。

　ローカルメモリ２１２は、フレームページバッファ２１４及びＺバッファ２１５アクセス用の１０２４ビット読出しポート、１０２４ビット書き込みポート及び、テクスチャ読出し用の５１２ビットポートとを備える。ビデオコンバータ２１０は、フレームメモリの内容を指定された出力フォーマットで表示するよう動作可能である。

　図４は図形合成装置２００により行われる描画処理を説明するためのブロック図である。その描画処理モジュールは、テクスチャマッピングモジュール２５２と、フォギングモジュール２５４と、アンチエイリアシングモジュール２５６と、画素テストモジュール２５８と、アルファ混合モジュール２６０と、フォーマティングモジュール２６２とを備える。

　上述のように、図形合成装置２００はエモーションエンジン１００から表示リストを受け取る。各表示リストは前処理を受け、図形要素の描画に適切な階調（例えば陰影係数）及びその他のパラメータが表示リストに含まれる頂点情報に基づき計算される。図形要素の画素はラスタライジングとして知られる処理中にデジタル微分アルゴリズム（ＤＤＡ）によって生成される。このラスタライジング処理は８〜１６画素に対する値の同時生成に関わる。本質的には３次元画像はカラー化された画素集合に変換され、それぞれの画素に割り当てられるカラーは光源、その画素が現すオブジェクトの位置、そのオブジェクトに適用されるテクスチャ等に依存する。各画素のＲＧＢＡ値、Ｚ値、テクスチャ値及びフォグ値は前処理中に計算された階調度に基づき計算され、このデータは画素パイプライン２０６へ送られる。

　テクスチャマッピングモジュール２５２は画素にテクスチャを写像する。各テクスチャにはカラールックアップテーブル（ＣＬＵＴ）を介して参照されるそれ固有の限定されたカラーパレットがある。カラールックアップテーブルは、例えば１６あるいは３２ビットカラー用ではなく４あるいは８ビットカラーに必要とされる。テクスチャマッピングモジュール２５２は、テクスチャページバッファ２１６から読み出したテクスチャＣＬＵＴ−ＲＧＢＡの値に対しテクスチャ関数を適用し更にＲＧＢＡの値（ＤＤＡを用いてそれぞれの図形要素の画素値に対し計算された値）にも適用する。フォギングモジュール２５４により実行されるフォギング処理とは画像シーンの一部を与えられたカラーで混合する処理を意味する。この技法はかぶり（もや）をかける、あるいは遠景の図形要素をフェージングさせるのに使用できる。

　アンチエイリアシングモジュール２５６はアンチエイリアシング処理を行うが、これは幾つかのカラーを混合することにより線分や曲線を滑らかにすることを意味する。それは画像あるいは図形中のフィルタされなかった角つき線分の望ましくないギザギザあるいは階段状の外見を見えなくすることを目的とする。完全に滑らかな斜線あるいは曲線を表示面上に描画するためには幾つかの画素の一部領域だけをその線に対応してカラー化する必要がある。しかし、表示面は不連続な画素集合から構成されておりある画素だけを部分的にカラー化することはできないので所望の円滑な連続線を表現するためには幾本かの小さい線を引かなければならない。例えば白色背景上に太い黒色の斜線を引く場合、この線が表示面の主斜線に平行でないとその線の両側端部はギザギザになる。アンチエイリアシングにより提供される解決法は、ギザギザの端部に関係する画素を様々なグレイ陰影でカラー化することにより、線分の端部をぼやかし且つ滑らかにする方法である。

　図形合成装置２００のアンチエイリアシングモジュール２５６は以下の図形要素に対するアンチエイリアシングを行うことができる。すなわち、線分、帯線、三角形、帯状三角形及び扇形三角形に対するアンチエイリアシング処理を行うことができる。図５を用いてこれらを以下に説明する。アンチエイリアシングは、実際の線分が図形要素の端部のそれぞれの画素を覆う面積の比率である「カバレッジ」を実際に計算することで行われる。カバレッジ値は画素のアルファ値とみなされ、アルファ混合（後述）として知られる処理が終点カラー（図形要素のバックグラウンドのカラー）と図形要素カラーについて行われる。適切なアンチエイリアシングを得るためには、図形要素を描画する場合に、観察者・表示面から見て背景側の最も遠い位置のものから始め最も近い位置のもので終わるような順序で行うのが適切である。アンチエイリアシングはそれぞれの図形要素の周辺部で個別に行われる。

　画素テストモジュール２５８は、ＲＧＢ値、アルファ値及びｘ、ｙ、ｚ画素座標を受け取る。アルファ値とＺ値は、画素テストモジュール２５８によりメモリインタフェース２０８を介してローカルメモリ２１２から検索される。画素テストモジュール２５８は、一連のテストを行ってそのＸＹＺ値及びＲＧＢＡ値に基づいて画素を描画するかどうかを決定する。その画素テストでは画素値は変更されない。その一連のテストは、シザリングテストと、アルファテストと、終点アルファテストと、深さテストとからなる。シザリングテストは描画すべき画素のＸＹＺ座標値がウィンドウ座標系で指定された長方形（シザリング）面内にあるかどうかをチェックする。シザリング面外と判定された画素はそれ以上処理されない。アルファテストは描画中の画素のアルファ値と予め設定された基準アルファ値との比較を意味する。その画素が所定の比較条件を満たせば処理が継続される。アルファ終点テストはフレームページバッファ２１４の描画画素のアルファ値をチェックする（すなわち、終点値をチェックする）。最後に、深さテストは描画画素のＺ値とＺバッファ２１５内の対応するＺ値とを比較する。

　アルファ混合モジュール２６０は、アルファブレンディングとして知られる処理を行うがこれは透明度効果を生むために使われる技法（すなわちガラス、霧あるいは水等を表現する技法）で、２つのテクスチャを混合あるいは下側のテクスチャの上にそれを完全には覆い隠さないように、もう１つのテクスチャをマッピングする技法である。より一般的には、このアルファブレンディングは既に再現されているもの（したがって既にフレームメモリに存在するもの）と別のテクスチャとを混合するのに使用できる。

　アルファ混合が行われると２つの色、ソースカラーと終点カラーとが組み合わされる。ソースカラーは（少なくとも一部は）透明な前景のオブジェクトから与えられるものである。終点カラーは検討中の画素位置に既に存在する色であり、したがって透明オブジェクトの後側に（隠れて）存在する別のオブジェクトを再現した結果である。この終点カラーは透明オブジェクトを通して見える色である。各テクスチャ内の各カラー化された画素は、その透明度を表すアルファ値が割り当てられる。そのアルファ値は次にそれぞれの画素に対する２つのテクスチャのカラーの重み付け平均の計算に用いられる。例えば以下のアルファ混合式を用いてもよい。

　最終カラー＝オブジェクトカラー×ソース混合係数＋画素カラー×終点混合係数
　ここでオブジェクトカラーは、現在の画素位置で再現されている図形要素からのもので、画素カラーは現在の画素位置におけるフレームページバッファ２１４からのもので、ソース混合係数及び終点混合係数は所定の重み付け係数である。アルファ混合モジュール２６０は、ローカルメモリ２１２からＲＧＢ値を検索する。現在再現中のオブジェクトの画素のＲＧＢ値とフレームページバッファ２１４内の対応するＲＧＢ値との混合は、その画素のアルファ値あるいはフレームページバッファ２１４内のアルファ値に応じて実施される。

　アルファ混合モジュール２６０による処理の後、データはフォーマッティングモジュール２６２へ供給され、そこで描画用画素値はフレームページバッファ２１４のデータフォーマットに変換される。この段階でディザリング処理とカラー固定（クランピング）処理も適用されてもよい。ディザリング処理は、既存の利用可能な幾つかのカラーを混ぜ合わせて新しいカラーを生み出す操作を意味する。この技法は実際には２５６色で再現された画像を６４Ｋ色で再現されたかのような錯覚を与えるのに利用できる。カラー固定は画素のＲＧＢ値を０〜２５５（８ビット値）の範囲内に制御する処理である。画素値はアルファ混合のような操作の後で時々この範囲を超えてしまうので、その処理結果はそれぞれのＲＧＢ値に対して９ビットで格納される。

　フォーマッティングモジュール２６２からの出力はメモリインタフェース２０８に供給され（図３）、それを介してローカルメモリ２１２への書込み及び読出しが行われる。メモリインタフェース２０８によりサポートされる操作には、画素操作の後の描画画素値、ＲＧＢＡ値及びＺ値のメモリへの書込み、例えば画素テスト及びアルファ混合処理中における画素値のフレームメモリへの読込み、画面表示用のメモリからのＲＧＢＡ値の読出しが含まれる。

　図５Ａ乃至図５Ｇは図形合成装置２００により選択使用される図形要素を説明するための図である。代替図形要素は、点、線、帯線、三角形、三角帯、三角扇形及びスプライトからなる。図５Ａは３つの独立した点を示し、これらのそれぞれは１つの頂点情報を使って描かれる。図５Ｂは２本の独立した線分を示し、これらのそれぞれは２個の頂点情報を使って描かれる。図５Ｃは終端点を共有する４本の線からなる帯線を示す。この場合、最初の線は２個の頂点情報で描かれるが、後続の線分は１個の頂点情報で描かれる。図５Ｄは２つの独立した三角形を示し、三角形のそれぞれは３個の頂点情報を使って描かれる。図５Ｅは辺を共有することで連続する５つの三角形からなる三角帯を示す。この場合、最初の三角形は３つの頂点を使って描かれるが、それに続くそれぞれの三角形は常に１個の頂点を追加して描かれる。図５Ｆは共通の頂角１を共有する５つの三角形からなる三角扇形を示す。最初の三角形は３個の頂点を必要とするが、後続の三角形は常に１個の頂点情報を追加して描かれる。図５Ｇは、スプライトとして知られる２つの独立した長方形を示す。各スプライトは長方形の対頂角を表す２個の頂点情報を用いて描かれる。

　図形合成装置２００により行われる一般的な描画手順は、先ず基本図形要素の種類を設定して頂点行列の条件を初期設定することと、第２に描画座標、頂点色、テクスチャ座標及びフォグ係数を含む頂点情報を頂点情報設定レジスタに設定することと、第３に「頂点キック」操作により当該点に設定された頂点情報を頂点行列内に配置してその行列を１つ進める操作と、最後に、適切な頂点情報が頂点行列内に配置されるとその描画処理を実行することとを含む。

　プレイステーション２にビデオ及びオーディオデータを取り込むためのインタフェースを設けることが適切である。ＨＤＤ８００は、ＭＰＥＧ２Ｉフレーム専用フォーマットのビデオデータとＰＣＭ（パルスコード変調）フォーマットのオーディオデータを必要とするので、ＤＶストリームあるいはアナログビデオ／オーディオをＨＤＤ８００が必要とするフォーマットに変換するハードウェアが必要となる。更にユーザがデジタル記録できるように、出力ビデオ及びオーディオをＤＶフォーマットに逆変換できるハードウェアも備えなければならない。

　図６はデジタルビデオ入出力用の周辺コンポーネント内部接続（ＰＣＩ）プラグインモジュールを有するシステムの概略構成を示すブロック図である。この装置は、音声処理装置（ＳＰＵ）３００と、ＩＯＰ７００と、図１で説明したプレイステーション２の主装置であるエモーションエンジン（ＥＥ）１００と、図形合成装置（ＧＳ）２００とを備える。図６に示す装置はハードディスク装置（ＨＤＤ）９０６とＤＶ／ＭＰＥＧ２プラグインモジュール９０８とからなるハードウェアモジュール９０４が接続されるＰＣＩインタフェース９０２も備える。そのＩＯＰ７００は、２つのＵＳＢポートと、２つのコントローラポート及び２つのメモリカードポートと、最高４００Ｍｂｐｓ速度のＩＥＥＥ１３９４（ｉ−ＬＩＮＫ）ポート７０２とを備える。ＤＶビデオは、カムコーダ及びビデオテープレコーダ用の圧縮規格である。ＤＶフォーマットデータはアナログフォーマットではなくバイナリフォーマットで格納される。ＭＰＥＧ２はムービングピクチャエクスパートグループ（Moving Pictures Expert Group）により開発された規格である。それは毎秒１５Ｍビットまでの可変エンコーディング速度でビデオ＋オーディオビットストリーム（ビデオの占める割合は毎秒９．８Ｍビットまで）をエンコードできるデジタルエンコーディング技術である。ＭＰＥＧ２エンコーディングはＤＶＤ上で使われる。

　いわゆる「ｉ−ＬＩＮＫ」はＩＥＥＥ１３９４高性能シリアルバス規格に対するソニー株式会社の導入例である。この規格は１つ以上の周辺装置とマイクロプロセッサ装置との間のシリアルバスあるいは経路を記述する。アイリンクは６３個までの周辺装置が接続できる単一プラグ、ソケット接続を提供する。ＩＯＰ７００のアイリンクポート７０２はＰＣＩインタフェース９０２で接続されたＤＶ／ＭＰＥＧ２プラグインモジュール９０８に送られるＤＶビデオをインポートするのに使うことができる。この装置を用いて出力ビデオはＭＰＥＧ２からＤＶへ変換されてアイリンクポート７０２を介して出力される。アナログ入力ビデオ／オーディオデータ（Ｓ−ビデオあるいは複合ビデオ及びステレオオーディオのような）の入力を容易にするために、付加コネクタ（図示せず）がハードウェアモジュール９０４に挿入されねばならない。

　ＤＶ／ＭＰＥＧ２プラグインモジュール９０８はＤＶフォーマットの入力ビデオデータをＭＰＥＧ２ビデオ及びＰＣＭ（パルスコード変調）オーディオに変換するのに用いられ、その後変換データはハードディスク装置９０６上に格納される。出力段でハードウェアモジュール９０４を使って出力ビデオ及びオーディオをアイリンクポート７０２を介して出力されるＤＶフォーマットに変換してもよい。

　図７はプレイステーション２内にビデオ及びオーディオデータを取り込むためのユニバーサルシリアルバス（ＵＳＢ）アナログ入力モジュールの構成を示すブロック図である。ＵＳＢは本質的にＩＥＥＥ１３９４規格と同じプラグアンドプレイ性能を提供し、且つより安価な技術である。しかしＵＳＢのデータ転送速度は１２Ｍｂｐｓに限定される。１２Ｍｂｐｓは１ＭＰＥＧ２Ｉ−フレーム圧縮ビデオストリームをサポートするには十分であるが、非圧縮ＭＰＥＧ２ストリームを変換用装置からＤＶ出力フォーマットへの再変換転送をサポートするのには十分な帯域幅ではない。ＵＳＢポートは小さな電力を周辺装置に供給できるがこの小さな電力ではＤＶコーデックやＭＰＥＧ２エンコーダを維持できない。

　図７に示されたＵＳＢモジュール１２００はそれでもアナログカムコーダとの使用には適している。それはＵＳＢの電力と帯域幅がアナログからＭＰＥＧ２への変換をサポートするのに十分だからである。ＵＳＢモジュール１２００は、アナログビデオデータを入力として取り込んでそれを順にビデオデコーダ１２０２、アナログデジタル変換器（ＡＤＣ）１２０４、専用ＲＡＭモジュール１２０８を有するＭＰＥＧ２エンコーダ１２０６へと供給する。左右（Ｌ、Ｒ）のオーディオチャンネルが先ずＡＤＣモジュール１２１２を通して供給され、そのデジタル出力は一時ＦＩＦＯバッファ１２１４に格納される。ＭＰＥＧ２エンコーダ１２０６により出力されるＭＰＥＧ２ビデオデータとＦＩＦＯバッファ１２１４からのデジタルオーディオデータの両方はＵＳＢコントローラ１２１０へ供給される。ＵＳＢコントローラ１２１０はそのデータをＵＳＢポートを介してプレイステーション２へ供給する。

　図８はリアルタイムビデオ編集を実行するのに必要な回路が標準的なパーソナルコンピュータ（ＰＣ）に適したＰＣＩカードで提供される本発明の実施例の概略を示す図である。この図８の構成は、モニタ１３１０と、キーボード１３２０と、システム装置１３３０と、システム装置１３３０内に挿入されたＰＣＩカード１３４０とからなる。この実施例においては、ＳＰＵ３００、ＩＯＰ７００、エモーションエンジン１００、図形合成装置２００及びＤＶ／ＭＰＥＧ２プラグインモジュール９０８の機能は全てＰＣＩカード１３４０を介して提供される。この場合、ＰＣ自体のハードディスク装置を使ってビデオ及びオーディオデータのシステムへの取り込みを行う。

　図９は本発明の実施例による円形ワイプ示す図である。特に、図９はそのワイプ進行の１つの段階、すなわち１つのスナップ写真を表す。この実施例においては、ワイプ進行度０％では第１のソース画像Ｓ_１が表示面全体を満たし、一方ワイプ進行度１００％では第２のソース画像Ｓ_２が表示面を完全に満たす。中間段階では第２のソース画像Ｓ_２が半径ｒを持つＳ_１の中心円部分を漸次置き換える。ワイプが進展するにつれて、半径ｒは表示面の全体が第２のソース画像Ｓ_２で満たされるまで増加する。

　なお、１００％ワイプ進行段階が必ずしも表示面が完全にソース画像Ｓ_２で満たされた状態に対応するとは限らない。別の実施例では、１００％ワイプ進行段階が、ソース画像Ｓ_１とソース画像Ｓ_２との表示面占有比率が例えば５０対５０に対応する場合もある。ワイプ進行は、一般的には編集者によって、例えば編集コンソールのようなユーザインタフェース上で提供されるユーザコントロールを介して制御される。あるいは、ワイプは所定の速度で自動的に進行するように設定することもできる（例えばソフト上で）。更に、実行するワイプの種類、例えば垂直、斜め、円形、時計回り、ハート型あるいは星型を選ぶことができるユーザコントロールが提供される。

　図９の円ワイプは「ワイプ始点軌跡」を持つが、これは以下に説明するワイプ境界を定義する円の中心点０である。それに代わるワイプ形状としては、そのワイプ始点軌跡は直線、曲線あるいは小さな固定寸法のそのワイプ形状自体の輪郭であってもよい。垂直ワイプは一般的に表示面の右端あるいは左端いずれか側に置かれた垂直線であるワイプ始点軌跡を持つ。斜線ワイプは正対角線であるワイプ始点軌跡を持つ。星型あるいはハート型のようなワイプ形状に対してはそのワイプ始点軌跡はそのワイプ進行の初期段階に対応する小さい星型あるいはハート型であると定義することができる。

　ワイプ進行の段階を決定するため、「ワイプ終点軌跡」Ｌ_ｄが定義される。ワイプ終点軌跡Ｌ_ｄは（少なくとも）ワイプ進行度１００％におけるワイプ境界線の位置であると定義される。ワイプ終点軌跡Ｌ_ｄは表示面上に限られることはなく、事実通常は表示面外に伸びた座標値となる。表示面外の座標値はプロットすることはできないが、そのワイプ実施に使われる数学的捨象（mathematicla-abstraction）として役立つ。図９における円ワイプ終点軌跡は半径ＯＰの円であり、これは表示面内に位置する。

　図９の円ワイプに対して、ｒ≦ｒ_ｉの内部画像領域内の表示画像は完全にＳ_２から求められ、他方ｒ≧ｒ_０の外部画像領域に表示された画像は完全にＳ_１から求められている。しかし、ｒ_ｉ＜ｒ＜ｒ_０に対しては、遷移領域Ｔが存在しそこで表示される画像は所定のＳ_１とＳ_２のミックス（混合）から求められる。そのミックスは第１のソース画像と第２のソース画像間の境界領域においてシャープな遷移ではなく滑らかな遷移効果を得られるように適切に制御される。名目「ワイプ境界線」ｂ_ｗは半径ｒ_ｂの円の円周により定義され、ここでは２つのソース画像の割合が等しくなる。一般に、対称境界領域に対してはそのワイプ境界は、外延放射状ワイプ進行方向に沿って測定される遷移領域の中心軌跡に対応する。「ワイプ進行方向」は任意のワイプ形状に対して、ワイプ始点軌跡Ｌ_ｏ上の最初の点（この場合、点０）とワイプ終点軌跡Ｌ_ｄ上の関連する第２の点とを結ぶことにより定義される。ワイプ始点軌跡の点とワイプ終点軌跡Ｌ_ｄ上の点との間のマッピングがある。このマッピングはワイプ進行に伴いワイプ境界がどのように展開するかを定義する。したがって、ワイプ始点軌跡０上の点からワイプ終点軌跡Ｌ_ｄ上の会合点への進行ベクトルがワイプ進行方向を決定する。水平、垂直及び斜線ワイプに対しては、ワイプ境界ｂ_ｗはワイプ始点軌跡からワイプ終点軌跡へのワイプ進行に伴い単純に並進移行される。ハート型や星型ワイプに対しては、ワイプ境界ｂ_ｗは、あたかも現在のワイプ境界の画像をより遠くの焦点面上に投射するかのように、ワイプ始点軌跡により形成される形状を連続的に拡大するように進展される。

　図９の実施例において、ワイプ境界と一致する表示画素に対するソース画像Ｓ_１とＳ_２との間の混合比は５０対５０である。ワイプ境界上の任意の点からワイプ進行方向Ｄ_ｐ（この場合、その任意の点を通過する外側へ向かう放射方向）に沿って遠ざかるにつれ、Ｓ_１の割合が遷移領域内で連続的に増加して遷移領域の境界線外側半径ｒ_０で１００％になる。反対方向のワイプ境界線からワイプ原点の方向へ移動するにつれ、Ｓ_２の割合が次第に増加し遷移領域境界線内側半径ｒ_１で１００％に達する。例えば、ワイプ境界線ｂ_ｗ上の点Ｂからそのワイプ進行方向ＯＰに移行する場合を考える。

　ワイプを行うためには、そのワイプの幾何形状、遷移領域ｒ_１とｒ_０の境界及び遷移領域における混合関数形態を定義するのが適切である。ワイプ終点軌跡及びワイプ始点軌跡を形成するための離散的点集合は、用意されたワイプ幾何形状メニューからのユーザ選択に応じてリアルタイムで生成されるかあるいはメモリから検索される。図９に示すように、ワイプ終点軌跡Ｌ_ｄは表示面の外側にあるように定義されているが、これは１００％のワイプ段階で表示面が完全にＳ_２で満たされた状態に確実に対応させるためである。

　図１０は本発明の実施例によるワイプ制御信号を示す図である。この場合、単パラメータとしてワイプ進行方向に沿って測定されるワイプ原点からある表示位置までの正規化された距離を決定し、図１０に示したワイプ制御信号の関数形式を用い、決定された距離に依存する表示位置に表示すべきそれぞれのソース画像の相対的割合を特定する。

　図９の円ワイプ幾何形状に対しては、与えられた表示位置におけるソース画像Ｓ_１及びＳ_２の相対的割合はワイプ進行方向に沿った絶対距離により矛盾無く定義できる。線分ＯＰ及びＯＱに沿った同じ絶対距離では同じ混合比が対応するのがその図から判る。図１３を用いて以下に説明するように、更に不規則なワイプ形状に対しては、同じ規則は適用されない。

　図９における線分ＯＰに沿った画素値のサンプル採取を考える。図１０のワイプ制御信号は、線分ＯＰに沿った距離ｘの関数として表示される画像のソース画像成分を定義する。したがって、ワイプ制御信号は０≦ｘ≦ｒ_ｉの領域（これは表示画像がＳ_２だけから求められる内部領域に対応）では勾配がゼロでｙが一定値ｙ_２（Ｓ_２と関連する）を持つ。同様に、ワイプ制御信号はｒ_０≦ｘ≦Ｐの領域（これは表示画像がＳ_１だけから求められる外部領域に対応）ではゼロ勾配で異なるｙの一定値ｙ_１（Ｓ_１と関連する）を持つ。しかし、ｒ_ｉ≦ｘ≦ｒ_０の領域ではワイプ制御信号は第１の一定値ｙ_２から第２の一定値ｙ_１へ滑らかに変化し、遷移領域移行に応じてＳ_１とＳ_２から導かれる画像の相対比率を決定する。例えば遷移領域内の混合比はαｙ_１＋（１−α）ｙ_２で定義できる。ここでαは、ｘ＝ｒ_ｉのときα＝０、ｘ＝ｒ_０のときα＝１、ｘがワイプ境界線のときα＝０．５の境界条件を満たす変数である。ここで、ｙ_ｉはソース画像Ｓ_ｉに対応するＲＧＢ値である。

　ワイプ制御信号の関数形式は図１０に示す関数形式には限定されない。別の実施例において、そのワイプ制御信号は内側及び外側の画像領域ではその勾配がゼロでなければならないものの、遷移領域では例えば正弦波としてｙ_１及びｙ_２の値を適当に選べることを特徴としてもよい。以下に説明するがワイプ制御信号のｙ値は、ワイプ実施中に第１のソース画像Ｓ_１の画素のアルファチャンネル値をフレームメモリ内で置き換えるのに使われる。

　既に説明したように、先行技術のシステムは円ワイプを直円錐を表す３次元ワイプ関数を用いて実施し、遷移領域の境界ｒ_ｉ及びｒ_０を円錐の上部及び下部の高さ閾値を用いて定義する。各画素に対する円錐高さの値はその画素のワイプ原点０からの半径に依存し、これにより最終的にその画素が内側画像領域に所属するか、外側画像領域かあるいは遷移領域に所属するかが決まる。それと対照的に、本発明のこの実施例では各画素で表示される２つのソース画像の相対比率を定義するのに、３次元円錐関数ではなく１次元のワイプ制御信号を用いる。このワイプ制御信号はスクリーンメモリ内の第１のソース画像のアルファチャンネルを変更するのに使われる。続いて変更されたアルファ値により定義された混合比に応じて第２のソース画像が適用される。

　図１１Ａは本発明の実施例による垂直ワイプを示す図である。この実施例では、第２のソース画像Ｓ_２がワイプ進行に伴い第１のソース画像Ｓ_１に漸次置き換わる。ワイプ境界は表示画面の右端側のワイプ始点軌跡から開始して画面の左端側のワイプ終点軌跡で終わる経路を描く。この場合、垂直線Ｌ_０はワイプ始点軌跡であり画面左端の平行線（図示せず）がワイプ終点軌跡である。名目ワイプ境界線ｂ_ｗは遷移領域の中心でワイプ原点及びワイプ終点軌跡に平行に定義される。この場合、与えられた点Ｐ_１に対して、その表示画像中のＳ_１及びＳ_２の相対比率はワイプ制御信号により決定される。ワイプ制御信号のｘ座標は、ベクトルＵ_３Ｗ_３で定義されるワイプ進行方向の正規化距離Ｕ_３Ｐ_３／Ｕ_３Ｗ_３で与えられる。図１１Ｂは表示点Ｐ_３に対応するワイプ制御信号の値を示す。

　図１２は本発明の実施例による斜線ワイプを示す図である。この実施例において、第２のソース画像Ｓ_２はワイプ進行に伴って次第に第１のソース画像Ｓ_１を置き換える。ワイプ始点軌跡は画面の右下側隅と交差する画面外の斜線である。ワイプ終点軌跡は同様に画面の左側上部隅と交差するワイプ始点軌跡に平行な画面外斜線である。ワイプ進行方向で測定される距離に対する正規化係数はベクトルＯＴの大きさである。円ワイプ及び垂直ワイプに関しては、それぞれのワイプ進行ベクトルは同じ正規化係数を持つ。図１１Ｂの場合、ワイプ制御信号を中心斜線ＯＴに関連付けてもよい。

　円ワイプ、垂直ワイプ及び斜線ワイプに関連する実施例においては、ワイプ始点軌跡上の全ての点のワイプ進行軌道には、単ワイプ制御信号が適用されるから、ワイプ進行方向の絶対距離を用いることにより与えられた表示位置をワイプ制御信号上の該当するアルファ値と相関させることができる。しかしながら、更に不規則なワイプ形状に対しては、正規化距離を定義することによって任意のワイプ進行段階で単ワイプ制御信号を用いることができるようにするのが適切である。図１３に示すハート型ワイプの場合、ワイプ進行方向の絶対距離と混合比との関係は、特定のワイプ進行軌道に、すなわち選択されたワイプ始点軌跡上の点とワイプ終点軌跡上の点の特定の対に等価的に依存する。例えば、先ず点Ｕ_１から点Ｗ_１へのベクトルで定義されるワイプ進行方向を考えて、これを、点Ｕ_２から点Ｗ_２のベクトルで定義されるワイプ進行方向と比較する。ワイプ境界線上の点、例えばＶ_１，Ｖ_２と一致するそれぞれの画素ではソース画像Ｓ_１とＳ_２との混合比は５０対５０となる。図１３から明らかなように、絶対距離Ｕ_１Ｖ_１は絶対距離Ｕ_２Ｖ_２よりはるかに小さい。ワイプ始点軌跡とワイプ終点軌跡間のマッピングにおける、全ての対の点に対して単ワイプ関数の使用を容易にするために、絶対距離ではなくワイプ方向の正規化距離が使われる。したがって、距離Ｕ_１Ｖ_１はベクトルＵ_１Ｗ_１の大きさでそれを割り算することにより正規化され、同様に距離Ｕ_２Ｖ_２はベクトルＵ_２Ｗ_２の大きさで割ることにより正規化される。このため、Ｕ_ｉＶ_ｉ：Ｕ_ｉＷ_ｉの比率は全ての点ｉに対して同じである。ここでＵ_ｉ，Ｖ_ｉ及びＷ_ｉは与えられたワイプ進行ベクトルｉに沿ったワイプ始点軌跡、ワイプ境界線及びワイプ終点軌跡上のそれぞれの点に対応する。

　図１４はクロックワイプを示す図である。この場合、ワイプ始点軌跡とワイプ終点軌跡とは一致し、ワイプ進行方向はワイプ始点軌道上の任意の点がそれ自身の場所まで画像面内の周行軌道によりマッピングする連続した時計回りの円経路により定義される。３つのワイプ周行軌道がワイプ始点軌跡点Ｃ_１，Ｃ_２，Ｃ_３に対応して示される。この実施例では、与えられたワイプ周行軌道に対する正規化距離はその軌道に相当する円の円周である。ワイプが進行するにつれてワイプ始点軌跡とワイプ境界により区分される表示画面のセグメントをソース画像Ｓ_２が占領し、次第にこのセグメントの寸法は大きくなり、ソース画像Ｓ_１の可視面積が減少して最終的にソース画像Ｓ_２が画面全体を占めるようになる。

　可視スクリーン画面を垂直中心分割線と水平中心分割線とで画面中心で収束する４つのセクションに等分することにより、交互にクロックワイプを実行することができる。そのワイプ境界はそれらセクションのどれか１つに存在する。他の３つのセクションはＳ_１あるいはＳ_２に設定されて、ワイプ境界を持つセクション内で単純斜線ワイプが実行される。その斜線ワイプではワイプ境界が表示画面の中心点からそのセクションを通ってクロックワイプの現在位置に対する修正角で伸びている。

　図１５Ａ乃至１５Ｃはワイプ効果を実現するための画像処理中にプレイステーション２がどのようにワイプ制御信号処理を実施するかを説明するための図である。テクスチャを図形要素に適用するのと同じ方法で、図形合成装置２００によりワイプ制御信号が画像の図形要素に対し適用される。図１５Ａは「テクスチャ空間」におけるテクスチャ関数を表し、図１５Ｂはそのテクスチャが適用される図形要素ＡＢＣＤを示す。

　図形合成装置２００は全ての図形要素に対しテクスチャマッピングを行う。一般的に、テクスチャマッピングは図形要素の各頂点に対応するテクスチャの座標値に基づく。テクスチャ関数は本質的には、テクスチャを適用すべき図形要素の現在の画素値に対する変更を指定する値の集合である。図４を用いて説明したラスタライゼーション処理中に、図形合成装置２００は図形要素の各画素に対するＲＧＢＡ値を生成する。

　テクスチャ関数が図形要素に適用されると、テクスチャ（Ｒ_ｔ，Ｇ_ｔ，Ｂ_ｔ、Ａ_ｔ）のＲＧＢＡパラメータが図形要素（Ｒ_ｐ，Ｇ_ｐ，Ｂ_ｐ，Ａ_ｐ）と関連付けられたパラメータと混合されて出力パラメータ（Ｒ_ｏ，Ｇ_ｏ，Ｂ_ｏ，Ａ_ｏ）を生成する。例えば、テクスチャ関数は次のように適用されてもよい。

　Ｒ_ｏ＝Ｒ_ｔ×Ｒ_ｐ、Ｇ_ｏ＝Ｇ_ｔ×Ｇ_ｐ、Ｂ_ｏ＝Ｂ_ｔ×Ｂ_ｐ、Ａ_ｏ＝Ａ_ｔ×Ａ_ｐ
　テクスチャマッピングを実行するためには、「テクスチャ空間」のテクスチャ座標値をディスプレイの「座標空間」（これは本実施例ではＰＡＬシステム用標準解像度の７２０×５７６の全画面寸法を有する）の図形要素の頂点にマッピングしなければならない。またテクスチャの寸法や向きを適用する図形要素に正しく合わせるためテクスチャのスケール調整及び回転を行う必要が生ずる場合がある。

　図１５Ｃに示すように、ワイプ制御信号は１次元テクスチャ関数として画像要素に与えられる。ワイプ制御信号はＲＧＢＡビデオパラメータのアルファチャンネルＡだけを変更するのに使われる。この実施例の場合、正規化距離＝０に対応して１次元テクスチャ関数により指定されたアルファ値が図形要素の線分ＡＤ上の全ての画素に適用され、一方正規化距離＝１に対応して１次元テクスチャ関数により指定されたアルファ値が、図形要素の線分ＢＣ上の全ての画素に適用される。したがって、画像要素内でそのアルファ値は、線分ＡＢに平行な方向において１次元関数に従って変化する。この実施例において、その図形要素はワイプの遷移領域を狭叉（またがる）していなければならない。図９の円ワイプの場合には、内部領域の全ての図形要素のアルファ値は高い透明度に対応して低い値に固定され、一方外部領域の図形要素のアルファ値は、不透明画像に対応して高い値に設定される。遷移領域では、画像ピクセルのアルファ値はワイプ進行方向に沿って（１次元テクスチャ関数がワイプ進行方向に沿って適用されるので）、ワイプ制御信号に応じて変化する。

　各図形要素に対する１次元テクスチャ関数は、関連表示点までの正規化距離を用いてグローバルワイプ制御信号から導出される。但し、表示される画像のアルファ値は適切な１次元テクスチャ関数（これはテクスチャ座標から画面座標へのマッピングにより定義される）に従って画素ごとに修正される。ワイプ制御信号はワイプ進行方向に対応するスクリーン上の画素に対するアルファ値を決定するのに使われる。

　ワイプ制御信号により特定されたアルファ値Ａ_{ｔｅｘｔｕｒｅ}は、１次元テクスチャとして図形要素に適用されて第１のソースビデオＳ_１のアルファチャンネルＡ_Ｓ１の値を書き換えるのに使われる。アルファチャンネル変換（Ａ_Ｓ１，Ｒ_Ｓ１，Ｇ_Ｓ１，Ｂ_ＳＩ）→（Ａ_{ｔｅｘｔｕｒｅ}，Ｒ_Ｓ１，Ｇ_Ｓ１，Ｂ_ＳＩ）は、フレームバッファメモリ内だけの値を変更することにより行われるので、この段階ではまだビデオ出力への変化はない。一旦、第１のソースビデオＳ_１のアルファチャンネルが置換されると、第２のソースビデオＳ_２がフレームバッファメモリのアルファチャンネル値Ａ_{ｔｅｘｔｕｒｅ}を使って適用されその混合が決まる。したがって、
　出力カラー＝Ａ_{ｔｅｘｔｕｒｅ}×Ｓ_１カラー＋（１−Ａ_{ｔｅｘｔｕｒｅ}）×Ｓ_２カラー
　ここで、Ｓ_１カラーはＲ_Ｓ１，Ｇ_Ｓ１，Ｂ_Ｓ１であり、Ｓ_２カラーはＲ_Ｓ２，Ｇ_Ｓ２，Ｂ_Ｓ２であり、出力カラーはその混合の結果表示された色である。上記式ではＡ_{ｔｅｘｔｕｒｅ}が正規化されているものとみなす。

　例えば、円ワイプに対して、Ｓ_１のアルファチャンネルを図１０のワイプ制御信号で特定された値Ａ_{ｔｅｘｔｕｒｅ}で置換すると、その結果、内部領域が高い透明度を持ち、遷移領域がｒ_１からｒ_２へ次第に減少する透明度を持ち、外部領域が不透明となる。このようにして、第２のソースビデオＳ_２が適用され上記式による混合が行われるときの、内部領域中でＳ_２の透明度が高いことは、その領域で見える画像がＳ_２に対応することを意味し、一方外部領域中でＳ_１が不透明であることは、Ｓ_２がその領域では見えないことを意味する。遷移領域においては、Ｓ_１は少なくとも部分的には透明であるので、表示された画像にはＳ_１及びＳ_２の両方の画素値が部分的に寄与し、その相対比率はワイプ制御信号により定義されたものである。

　図１６は、本発明の実施例によるワイプがどのように行われるかを説明するためのフローチャートである。ステップ１４１０において、エモーションエンジン１００はワイプ制御信号を発生する。ステップ１４２０において、エモーションエンジン１００はテクスチャ座標を計算し、それらを該当する表示画面座標にマッピングする。ステップ１４３０において、ワイプ制御信号がエモーションエンジン１００から図形合成装置２００にダウンロードされる。ステップ１４４０において、図形合成装置２００は各図形要素に対する１次元テクスチャ関数を生成することにより、画像の図形要素に対しワイプ制御信号を適用する。その１次元テクスチャ関数は、ワイプエッジに関連する図形要素の位置及び向きに依存してワイプ制御信号から導かれる。ステップ１４５０において、１次元テクスチャ関数を図形要素に適用した結果、第１のソースビデオＳ_１のアルファチャンネルＡ_ｓ１が１次元テクスチャ関数で特定された値Ａ_{ｔｅｘｔｕｒｅ}で置換される。ステップ１４６０において、スクリーンメモリからのアルファチャンネル値Ａ_{ｔｅｘｔｕｒｅ}を用いて第２のソースビデオＳ_２が適用される。ミキシングの結果はスクリーン上に表示され、特定のワイプ進行段階におけるワイプ実施効果を生成する。ワイプ制御信号の形態は表示画面上のワイプ境界の移動に従いながらワイプ進行に合わせて変化する。

　以上の説明で明らかなように、本発明は、コンピュータソフトウェアとして家庭で使われる装置で実現できる特殊効果のためのビデオ処理方法を提供することができ、それを実行するプログラムは、記憶媒体、ネットワークあるいはインターネット等の通信媒体を介して供給することができる。

プレイステーション２の全体的な構成を示すブロック図である。 エモーションエンジンの構成を示すブロック図である。 図形合成装置（グラフィックシンセサイザ）の構成を示すブロック図である。 図形合成装置により行われる描画処理を説明するためのブロック図である。 図形合成装置により使用される表示要素（プリミティブ）の図形オブジェクトを説明するための図である。 デジタルビデオ入出力用の周辺コンポーネント内部接続（ＰＣＩ）プラグインモジュールを備えたシステムの構成を示すブロック図である。 プレイステーション２内にビデオ及び音声データを取り込むためのＵＳＢアナログ入力モジュールの構成を示すブロック図である。 リアルタイムビデオ編集の実施に必要な回路が標準的なパソコンに適したＰＣＩカード上で提供される本発明の実施例の概略を示す図である。 本発明の一実施例による円形ワイプを示す図である。 本発明の一実施例によるワイプ制御信号を示す図である。 本発明の一実施例による垂直ワイプを示す図である。 本発明の一実施例による斜線ワイプを示す図である。 本発明の一実施例によるハート型ワイプを示す図である。 本発明の一実施例によるクロックワイプを示す図である。 （Ａ）はテクスチャ空間部分を示す図である。（Ｂ）は座標空間における表示図形要素（グラフィックスプリミティブ）を示す図である。（Ｃ）は表示図形要素に対しテクスチャ一次関数として適用されるワイプ制御信号を示す図である。 本発明の実施例によりワイプがどのように行われるかを説明するためのフローチャートである。

Claims (12)

1. 　各出力画像は第１のソース画像から得られる１つ以上の領域を持ち、それらは第２のソース画像から得られる１つ以上の領域とワイプ境界線で分離され、上記第１及び第２のソース画像の各表示位置は関連付けられた透明度係数を持つ表示用出力画像を生成するビデオ処理方法において、
   　表示用の上記第１のソース画像を表示メモリに用意するステップと、
   　ワイプ終点軌跡上の点はワイプ始点軌跡上の点と一致し、一致した対がそれぞれのワイプ進行方向を決定する場合、上記出力画像の実質的に全てが上記第１のソース画像から得られるときのワイプ境界を表すワイプ始点軌跡と、上記出力画像の実質的に全てが上記第２のソース画像から得られるときのワイプ境界を表すワイプ終点軌跡とを定義するステップと、
   　上記ワイプ始点軌跡及び上記ワイプ終点軌跡からの上記ワイプ進行方向に沿って正規化された表示距離に対して表示すべき上記第１及び第２のソース画像の割合を定義するワイプ制御信号を生成するステップと、
   　各表示位置の透明度係数は、その表示位置と上記ワイプ始点軌跡との間及びその表示位置と上記ワイプ終点軌跡との間の上記ワイプ進行方向に沿って正規化された表示距離に対応する上記ワイプ制御信号の値に依存して修正される場合に、上記表示メモリに保持された上記第１のソース画像の透明度係数を変更するステップと、
   　上記第１のソース画像の各表示位置と関連付けられた透明度係数に依存して上記第２のソース画像の画素により上記第１のソース画像が変更されるように、上記表示メモリ内の上記第１のソース画像を上記第２のソース画像で上書きするステップとを有するビデオ処理方法。
2. 　上記透明度係数を変更するステップは上記表示メモリに保持された上記第１のソース画像に対し１次元テクスチャ関数として上記ワイプ制御信号を適用するステップからなることを特徴とする請求項１に記載のビデオ処理方法。
3. 　上記透明度係数を変更するステップは上記表示メモリ内の上記第１のソース画像の各表示位置と関連付けられた上記透明度係数を上記ワイプ制御信号から導出された値で置換することを特徴とする請求項１又は２に記載のビデオ処理方法。
4. 　上記それぞれの透明度係数は上記記第１及び第２のソース画像の各画素と関連付けられることを特徴とする請求項１乃至３のいずれか１項に記載のビデオ処理方法。
5. 　上記記第１及び第２のソース画像のそれぞれから求められる出力画像の割合を変更するユーザワイプ制御を配置することを特徴とする請求項１乃至４のいずれか１項に記載のビデオ処理方法。
6. 　上記ワイプ始点軌跡が単点であり、上記ワイプ終点軌跡が円を定義することを特徴とする請求項１乃至５のいずれか１項に記載のビデオ処理方法。
7. 　上記ワイプ始点軌跡と上記ワイプ終点軌跡とが平行直線を定義することを特徴とする請求範囲１乃至５のいずれか１項に記載のビデオ処理方法。
8. 　請求項１乃至７いずれか１項に記載のビデオ処理方法を実行するプログラムコードを有するコンピュータソフトウェア。
9. 　請求項８に記載のコンピュータソフトウェアを提供する提供媒体。
10. 　上記提供媒体が伝送媒体であることを特徴とする請求項９に記載の提供媒体。
11. 　上記提供媒体が記憶媒体であることを特徴とする請求項９に記載の提供媒体。
12. 　各出力画像は第１のソース画像から得られる１つ以上の領域を持ち、それらは第２のソース画像から得られる１つ以上の領域とワイプ境界線で分離され、上記第１及び第２のソース画像の各表示位置は、透明度係数が付与されてなる表示用出力画像を生成するビデオ処理装置において、
    　表示メモリと、
    　表示用の上記第１の画像を上記表示メモリに用意する手段と、
    　ワイプ終点軌跡上の点はワイプ始点軌跡上の点と合致し、このような合致点の対がそれぞれのワイプ進行方向を決定する場合、上記出力画像の実質的に全てが上記第１のソース画像から得られるときのワイプ境界線を表すワイプ始点軌跡と、上記出力画像の実質的に全てが上記第２のソース画像から得られるときのワイプ境界線を表すワイプ終点軌跡とを定義する手段と、
    　上記ワイプ始点軌跡及び上記ワイプ終点軌跡からの上記ワイプ進行方向に沿って正規化された表示距離に対して表示すべき上記第１及び第２のソース画像の割合を定義するワイプ制御信号を生成する手段と、
    　各表示位置の透明度係数は、その表示位置と上記ワイプ始点軌跡の間及びその表示位置と上記ワイプ終点軌跡の間の上記ワイプ進行方向に沿って正規化された表示距離に対応する上記ワイプ制御信号の値に依存して修正される場合に、上記表示メモリに保持された上記第１のソース画像の透明度係数を変更する手段と、
    　上記第１のソース画像の各表示位置と関連付けられた透明度係数に依存して上記第１のソース画像が上記第２のソース画像の画素で変更されるように、上記表示メモリ内の上記第１のソース画像を上記第２のソース画像で書き換える手段とを備えるビデオ処理装置。
    

Images