JP2001519064A

JP2001519064A - コンポジット・イメージ中のマット・イメージを選択的にフェザリング処理する装置及び方法

Info

Publication number: JP2001519064A
Application number: JP54284598A
Authority: JP
Inventors: ゴンサルヴェス，ロバート; チョウ，チア−シェン
Original assignee: Avid Technology Inc
Current assignee: Avid Technology Inc
Priority date: 1997-04-04
Filing date: 1998-03-30
Publication date: 2001-10-16
Also published as: AU6788998A; WO1998046013A1; EP0972403A1; CA2285088A1; US6269195B1

Abstract

(57)【要約】コンポジット・イメージ（３８）の第１のイメージ（２４）及び第２のイメージ（２２）をフェザリング処理するための機構及び方法は、オリジナル・マット・イメージ（３２）を決定することを含んでいる。オリジナル・マット・イメージの一部分が水平方向及び垂直方向にボックス・フィルタリングされて、中間マット・イメージを生成する。中間マット・イメージの少なくとも一部分が水平方向及び垂直方向にボックス・フィルタリングされて、処理済マット・イメージを生成する。エッジ・バイアス関数が処理済マット・イメージに適用される。エッジ・バイアスはさらに、マット・イメージのコントラスト及び輝度を変更することによって、エッジのピクセル値を修正することを含んでいる。第１及び第２のイメージを含んでいるコンポジット・イメージは、ボックス・フィルタリングされた処理済マット・イメージにエッジ・バイアス関数を適用した後に、生成される。

Description

【発明の詳細な説明】コンボジット・イメージ中のマット・イメージを選択的にフェザリング処理する装置及び方法発明の技術分野本発明は、イメージ編集システムに関し、より詳細には、コンポジット・イメージ（複合イメージ）を生成するために２つのイメージを結合する等の、イメージのフェザリング処理のための技術に関する。発明の背景モーション(動画)・ビデオ・プログラムのプロデューサは、最終のビデオ製品を生成するために種々の特殊効果(special effect)を使用する。グラフィックス・エディタは、グラフィックス・ワークステーションを用いて、モーション・ビデオ・セグメントに特殊効果を付加するタスクを実行する。フェザリングは、ビデオ・イメージの１又は複数の部分をぼやけさせる特殊効果である。フェザリングは、前景イメージ及び背景イメージから複合ビデオ・イメージを生成するときに、使用される。グラフィックス・エディタは、これら２つのイメージが実際には１つのイメージとなるように、該イメージ間の境界をフェザリング処理してイメージを融合させる。例えば、２人の人間が歩いている前景イメージと砂漠のような荒原の背景イメージとのコンポジット・イメージは、フェザリング処理が行われると、２人の人間が砂漠を歩いている状態を表す。グラフィックス・エディタは、一般に、図１に示したように、コンポジット・イメージを生成するために複数のイメージを操作する。通常、グラフィックス・エディタは、第１のイメージ２０から前景イメージ２４を取り出し、第２のイメージ２８から背景イメージ２６を取り出し、そして、マット(艶消し)・イメージ３２を用いてこれらイメージを結合することにより、コンポジット・イメージ３８を生成する。マット・イメージは、コンポジット・イメージ３８を生成するために使用されるグレイ・スケール・イメージである。特に、マット・イメージの明るいエリアは、第１のイメージ２０のエリア２４が前景イメージとして使用され、かつ、エリア２２が無視されるべきであることを、表している。同様に、マット・イメージの暗いエリア３６は、第２のイメージ２８のエリア２６が背景イメージとして使用されるべきであることを表している。コンポジット・イメージ３８を生成する前に、グラフィックス・エディタは、マット・イメージを修正し、グラフィックス・ワータステーションにおいて、前景イメージ２４及び背景イメージ２６の間にフェザリング効果を生成するようにする。特に、マット・イメージの明るいエリアと暗いエリアとの間の境界にフィルタリングが施される。マット・イメージが０〜２５５階調範囲のグレイ・スケールを使用している場合、背景の暗いエリアは０であり、前景の明るいエリアは２５５となり、そして、これらエリアの間の境界エリアは、マット・イメージに施されたフィルタリングのタイプに応じて、０〜２５５の間の値をとる。コンポジット・イメージ３８における現実性は、フィルタリングのタイプに依存することが多々ある。フィルタリングが十分でないと、前景イメージと背景イメージとの間の境界３６を視聴者が感知してしまい、２つのイメージの対象物それぞれの間の相互作用の効果が減少するか、又は失われてしまう。汎用のフィルタはボックス・フィルタであり、該フィルタは、有限インパルス・レスポンス・フィルタ（ＦＩＲ）として、通常具現化されている。グラフィックス・エディタがボックス・フィルタによりマット・イメージをフィルタリングすると、該エディタは、マット・イメージ中の境界エリアを識別し、該境界エリアの各ピクセルにボックス・フィルタリングを行う。図２は、３×１ボックス・フィルタリング関数を表している。このボックス・フィルタリング関数では、現在処理されているピクセル値Ｐ_aを、ピクセル値Ｐ_a-1、Ｐ_a、Ｐ_a+1の平均値としている。各ピクセル値は、ボックス・フィルタリング関数の平坦なグラフから明らかなように、同一の重み付けがなされている。フィルタリングは２次元的に行うことができる。図３は、３×３ボックス・フィルタリング関数を表している。なお、中央のピクセルの値が、該中央のピクセル及びそれを取り囲む８つのピクセルの平均値として設定され、かつ、これらのピクセルは同一の重み付けがなされている。他のタイプのフィルタは、ガウス・フィルタであり、ＦＩＲフィルタとして通常構成されている。ガウス・フィルタは、図４に示すようなガウス関数によって規定される。ガウス・フィルタは、処理されるピクセルすなわち中央ピクセルへの近接度に応じて、各ピクセルが重み付けされる。図４は、３×１ガウス・フィルタの場合であり、ピクセルＰ_aが、隣接するピクセルＰ_a-1及び_Pa+1に比べて大きい重み付けがなされている。ガウス・フィルタは２方向ＦＩＲフィルタとして構成されており、その一方は水平方向であり、他方は垂直方向である。このようなフィルタリング技術を用いてコンポジット・イメージを生成することには、ある種の問題がある。特に、フェザリング処理されたコンポジット・イメージを生成するために汎用のボックス・フィルタリングされたマット・イメージを用いると、コンポジット・イメージの前景及び背景イメージにおけるそれぞれの対象物の間での相互作用が、必ずしも実際的な表現で提供されない、等の不所望の結果が生じてしまうことがある。また、ボックス・フィルタリングは、フィルタ幅が偶数ピクセルに規定されていると、バイアス状態を生じてしまう。例えば、４×１ボックス・フィルタは、現在ピクセル、現在ピクセルの左側のピクセル、現在ピクセルの右側の２つのピクセルを処理する。このような処理では、イメージ・データを不平衡に用いているので、１／２ピクセル分のシフトが生じてしまい、聴視者に感知されてしまう。特に、一連の複数のイメージを再生する場合、偶数幅のボックス・フィルタを用いるボックス・フィルタリングにより、ビデオ・イメージに部分的にジッタが現れてしまう。マット・イメージをガウス・フィルタリングして得られたコンポジット・イメージでは、一般に、良好な結果が得られている。すなわち、該コンポジット・イメージは、前景イメージ中の対象物が背景イメージ中に配置された実際的な表示が得られる。しかしながら、ガウス・フィルタリングにより、各ピクセル値に重み付け係数を乗算することから、処理時間が長くなってしまう。例えば、カリフォルニア州のキューパーティのアップル・コンピュータから入手可能な３２×３２ガウス・フィルタは、７２０×４８６ピクセルの大きさの一般的なマット・イメージを完全にフィルタリングするために、約１．５分かかる。したがって、ガウス・フィルタリングは、１００のイメージ、又は映画及びテレビジョン業界で所望されている１０００のイメージからなるイメージ・シーケンスをフェザリング処理するためには、実用的ではない。さらに、ガウス・フィルタの幅が増大すると、処理時間が増大する。特に、ガウス・フィルタの幅におけるピクセル増大は、処理すべき各ピクセル毎に、一つの経路(pass)につき１つの乗算演算を追加し、また一方向に付き１つの加算演算を追加することになる。上記したようにフィルタリングされたマット・イメージを用いることにより、前景イメージと背景イメージとで同一量のフェザリング処理されたコンポジット・イメージが得られる。しかしながら、場合によっては、該イメージに不所望の生成物が生じてしまうことがある。例えば、黄色のボールを灰色の空からなる背景に組み合わせる画像の場合、黄色のボールへの灰色の空のフェザリング処理は、ボールの周りにハロ(逆光)・イメージ（図１のイメージ３８に示したハロ効果を参照）を生じる等の、不所望の結果が得られてしまう。このような不所望の結果が得られないようにするための１つの方法として、イメージの処理エリアを描くアウトラインを変更するか、又は、付加的な数値演算となるイメージの再処理を行うことである。また、アウトラインにより注意深く処理エリアを規定しない場合は、正確なイメージとはならない。例えば、このようなイメージは、重なり合う部分、又は切り取られたコーナ部分を含んでしまうことになる。発明の概要他のフィルタの問題点は、水平方向及び垂直方向のテール・キャンセルにより、マット・イメージをボックス・フィルタリングすることによって、解消することができる。フィルタリング済のイメージは、イメージの内部及び外部のフェザリング処理量を制御するために調整される。この調整は、イメージを結合するためのマット・イメージを生成するために、フィルタリング済のイメージにエッジ・バイアス関数を適応することによって行われる。したがって、１つの観点では、コンポジット・イメージ中の第１のイメージ及び第２のイメージをフェザリング処理するためのコンピュータ実行方法は、オリジナル・マット・イメージを使用する。マット・イメージは、任意の方法で規定されるものであるが、通常、第１及び第２のイメージに応じて規定される。オリジナル・マット・イメージの一部分が水平方向及び垂直方向にボックス・フィルタリングされ、中間マット・イメージを生成する。中間マット・イメージの少なくとも一部分が水平方向及び垂直方向にボックス・フィルタリングされ、処理済マット・イメージを生成する。エッジ・バイアス関数が、該処理済マット・イメージに適用される。そして、エッジ・バイアス関数によって修正されたマット・イメージであるボックス・フィルタリング済マット・イメージを用いて、第１及び第２のイメージを含んでいるコンポジット・イメージが生成される。他の観点では、装置は、マット・イメージを用いて、コンポジット・イメージの第１及び第２のイメージをフェザリング処理する。該マット・イメージは、第１のイメージ、第２のイメージ、又は、これら両方のイメージに応じて決定され、若しくは、他のイメージに応じて決定される。オリジナル・マット・イメージの少なくとも一部分が水平方向及び垂直方向にボックス・フィルタリングされ、中間マット・イメージを生成する。該中間マット・イメージの少なくとも一部分がボックス・フィルタリングされて、処理済マット・イメージを生成する。該処理済マット・イメージにエッジ・バイアス関数が適用される。そして、ボックス・フィルタリングされた処理済マット・イメージであって、エッジ・バイアス関数が適用されたマット・イメージに基づいて、第１及び第２のイメージを含んでいるコンポジット・イメージが生成される。他の観点においては、オリジナル・マット・イメージ及び中間マット・イメージは、２次元（すなわちｎ×１及び１×ｍ）のボックス・フィルタを用いて、フィルタリングされる。別の観点では、エッジ・バイアスの所望レベルは、エッジ・バイアス値の範囲から選択され、エッジ・バイアス関数は、該エッジ・バイアスの所望レベルに基づいて生成される。他の観点においては、エッジ・バイアスの所望の方向を規定するときに、フェザリング・イン又はフェザリング・アウトすべき値に比例するエッジ・バイアスの所望レベルを特定すること、又は、同一フェザリングを特定することを含んでいる。他の観点では、エッジ・バイアス・テーブル中の値が、エッジ・バイアスの所望のレベルを表すスケーリング・ファクタである。他の観点においては、マット・イメージを選択的にフェザリング処理するプロセスによって、コンポジット・イメージが生成される。該マット・イメージは、マット・イメージをフィルタリングすることによって生成され、フェザリング処理済マット・イメージを生成する。エッジ・バイアス関数がフェザリング処理されたマット・イメージに適用され、得られたフェザリング処理済マット・イメージは、コンポジット・イメージを生成するために使用される。他の観点においては、方法が、コンポジット・イメージをフェザリング処理する際に用いるマット・イメージを生成するステップを含んでいる。フィルタリングされたマット・イメージが受け取られ、該マット・イメージにエッジ・バイアス関数が適用される。他の観点においては、エッジ・バイアスは、マット・イメージのエッジのコントラスト特性及び輝度特性を調整することによって、実行される。図面の簡単な説明図１は、フェザリング処理されたコンポジット・イメージを生成するためのプロセスを示すブロック図である。図２は、３×１ボックス・フィルタ関数を表すグラフである。図３は、３×３ボックス・フィルタ関数を表すグラフである。図４は、３×１ガウス・フィルタ関数を表すグラフである。図５は、コンポジット・イメージを生成するための複合システムの一実施例のブロック図である。図６は、一実施例に係る方法を説明するためのフローチャートである。図７ａは、一実施例に係る水平フィルタ関数のグラフである。図７ｂは、一実施例に係る垂直フィルタ関数のグラフである。図８ａは、エッジ・バイアスにおけるフェザリング処理の結果を示すグラフである。図８ｂは、同一エッジ・バイアスの結果を示すグラフである。図８ｃは、エッジ・バイアスをフェザリング・アウト処理した結果を示すグラフである。詳細な説明添付した図面を参照して以下の詳細な説明を読めば、本発明をより完全に理解できるであろう。一実施例は、コンポジット・イメージ中の２つのイメージを選択的にフェザリング処理するシステムに関しており、該システムを図５を参照して説明する。図５のモジュールの動作を、図６を参照して説明する。図５のシステムは、以下のように構成されている。該システムは、モジュールとして、グラフィカル・ユーザ・インターフェース５２を備え、該インターフェースは、ユーザ入力を受け取り、かつ、ディスプレイ・データ５４を出力して、ユーザがイメージ結合のために所望の特性を入力できるようにしている。ユーザは、グラフィカル・ユーザ・インターフェース・モジュール５２へのユーザ入力５０を介して、フェザリング情報５６を規定することができる。フェザリング情報５６は、マット・イメージ６４に適用されるフィルタリングのサイズ及びタイプを規定する情報を含んでおり、グラフィカル・ユーザ・インターフェース以外の他の複数のソース、すなわち、データ・ファイルを含むソースから生成される。他のモジュールとしてフィルタ５８が備えられ、該フィルタは、フェザリング情報５６を受け取って、マット・イメージ６４に対応するフィルタを適用してフェザリング処理済のマット・イメージ７０を出力する。エッジ・バイアス・モジュール６８は、ユーザ入力５０によって規定されるエッジ・バイアス・データ６６を、グラフィカル・ユーザ・インターフェース・モジュール５２を介して受け取る。エッジ・バイアス・モジュール６８は、さらに、フィルタ・モジュール５８から出力されるフェザリング処理済のマット・イメージ７０を受け取る。エッジ・バイアス・モジュール６８は、エッジ・バイアス・データ６６に基づいて、エッジ・バイアス関数をフェザリング処理済のマット・イメージ７０に適用して、選択的にフェザリング処理されたマット・イメージ７２を出力する。ブレンダ (混合)・モジュール７４は、イメージ６０及びイメージ６２に応じて選択的にフェザリング処理されたマット・イメージ７２を受け取って、コンポジット・イメージを生成する。図５に示したシステムを構成するためのコンピュータ・システムの一例は、ユーザに情報を表示する出力デバイスと、ユーザから入力を受け取る入力デバイスとの両方に接続された主ユニットを備えている。該主ユニットは、一般に、相互接続機構を介してメモリ・システムに接続されたプロセッサを含んでいる。入力デバイス及び出力デバイスも、相互接続機構を介してプロセッサ及びメモリ・システムに接続されている。１又は複数の出力デバイスがコンピュータ・システムに接続可能であることは、言うまでもない。出力デバイスとして、例えば、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ(ＬＣＤ)、プリンタ、モデム等の通信デバイス、及びオーディオ出力装置が含まれる。１又は複数の入力デバイスがコンピュータ・システムに接続可能であることも勿論である。入力デバイスとして、例えば、キーボード、キーパッド、トラック・ボール、マウス、ペン及びタブレット、通信デバイス、及びセンサ等のデータ入力デバイスが含まれる。図５のシステムは、コンピュータ・システムとともに用いられる入力及び出力デバイスに限定されるものではなく、また、本明細書に記載したデバイスに限定されるものではない。本発明に関するコンピュータ・システムは、コンピュータＣ言語等の高レベルのコンピュータ言語を用いてプログラム可能な汎用目的のコンピュータ・システムである。本発明に関するコンピュータ・システムは、図５に示した１又は複数のモジュールの機能を実行するために、特定の目的に合致してプログラムされたハードウエアとすることもできる。汎用目的のコンピュータ・システムにおいては、プロセッサは、通常、商業的に入手可能なプロセッサであり、インテル社から入手可能なｘ８６シリーズのプロセッサ、ＡＭＤ＆Ｃｙｒｉｘから入手可能な同様なデバイス、モトローラ社から入手可能な６８０ｘ０シリーズのマイクロプロセッサ、ＩＢＭ社から入手可能なパワーＰＣマイクロプロセッサ、及び、デジタル・イクイップメント社から入手可能なαシリーズ等を例として挙げることができる。他の多数のプロセッサも利用可能である。このようなマイクロプロセッサは、オペレーティング・システムをコールしてプログラムを実行するが、オペレーティング・システムとして、ウインドウズＮＴ、ＵＮＩＸ、ＤＯＳ、ＶＭＳ、及びＯＳ８等の、他のコンピュータ・プログラムの実行を制御し、スケジュール管理、デバッグ、入出力制御、会計、コンパイル、メモリ割り当て、データ管理及びメモリ管理、並びに通信制御及び関連サービス等を提供するオペレーティング・システムを用いることができる。プロセッサ及びオペレーティング・システムは、高レベルのプログラミング言語でアプリケーション・プログラムが書かれたコンピュータ・プラットフォームを規定する。メモリ・システムは、通常、コンピュータにより書込及びコンピュータから読出が可能な不揮発性記憶媒体を備えており、該記憶媒体は、磁気ディスク、フラッシュ・メモリ、及びテープ等である。磁気ディスクはフロッピィ・ディスクとして知られている着脱自在のもの、又は、ハード・ディスクとして知られている固定的なものを採用することができる。ディスクは、多数のトラックを有しており、通常バイナリ形態すなわち１又は複数のゾーンのシーケンスとしてインタープリートされた形態で、信号を記憶する。このような信号は、マイクロプロセッサによって実行すべきアプリケーション・プログラムを規定し、又は、該アプリケーション・プログラムによって処理すべきディスク上に記憶された情報を規定する。一般に、動作において、プロセッサは、データを不揮発性記憶媒体から読み出して集積回路メモリ要素に記憶する。該集積回路メモリ要素は、ＤＲＡＭ又はＳＲＡＭ等の揮発性ランダム・アクセス・メモリである。集積回路メモリ要素は、ディスクへのアクセスに比べて、プロセッサが情報により速くアクセス可能である。プロセッサは、集積回路メモリ要素内のデータを操作して、処理が完了したときに、ディスクにデータをコピーする。ディスクと集積回路メモリ要素との間のデータ転送を制御するための種々の機構が知られており、本発明はそれらに限定されるものではない。図５のシステムは、特定のメモリ・システムに限定されるものではないことは、明らかであろう。図５のシステムは、特定のコンピュータ・プラットフォーム、特定のプロセッサ、又は特定の高レベル・プログラミング言語に限定されるものではない。さらに、本発明に係るコンピュータ・システムは、マルチプロセッサ・コンピュータ・システムであってもよく、また、コンピュータ・ネットワータを介して接続された複数のコンピュータで構成されてもよい。ビデオ・データの２つのストリームの融合は、汎用目的の回路上で実行されるコンピュータ・プログラムによって実行されるか、又は、米国特許第５６４４３６４号(Kurtze)に開示されたようなコンピュータ・システムに付随する特定目的のハードウエアによって実行される。イメージを選択的にフェザリング処理するプロセスが、図６に示されている。ステップ８１において、マット・イメージが、前景イメージのエリア及び背景イメージのエリアを指示するよう異なるグレイ・スケール値を有するように、例えばグラフィックス・エディタ又は他の編集ツールを用いて形成される。通常、各イメージは、各ピクセルが値を有するビット・マップ画像として形成される。各ピクセルの値は、０又は１のスケール値を表し、０は完全透明カラーに対応し、１は完全不透明カラーに対応する。８ビット・システムでは、グレイ・スケールは０〜２５５階調範囲であり、マット・イメージは、背景イメージのエリア（マット・イメージ３２における暗い領域で示される）を表すために０を用い、前景イメージのエリア（明るい領域３０で示される）を表すためのに２５５を用いる。ステップ８２において、処理エリアが囲まれたボックスによって規定され、前景イメージと背景イメージとの間の境界によって画定されるエリアを含んでいる。該境界は、明るいエリアと暗いエリアとの間であり、グレイ・スケール値が０から２５５の間で変化する。境界エリアの周りの囲まれた矩形ボックスは、各方向に付き、ｎ個のピクセルの範囲であり、これにより処理領域を形成する。ステップ８４において、マット・イメージの処理エリアがフィルタリングされる。実施例においては、マット・イメージは、以下に説明するように、最初に水平方向にテール・キャンセルによりフィルタリングされ、次に垂直方向にテール・キャンセルによりフィルタリングされる。他の方式のフィルタリングも可能である。特に、処理エリアの各ピクセル行が、テール・キャンセル機能のｎ×１の水平ボックス・フィルタを用いてフィルタリングされる。値ｎは、一次元ボックス・フィルタのサイズである。処理エリアのピクセル行が水平方向にフィルタリングされた後、処理エリアの各ピクセル列が、テール・キャンセル機能の１×ｍ垂直ボックス・フィルタを用いてフィルタリングされる。ｎ×１ボックス・フィルタを用いて水平方向にフィルタリングする場合、各行すなわち水平ラインは、１度に１ライン処理される。特に、水平ラインの最初のピクセルＢ_a,bは、以下の式によって得られる中間合計Ｒ_a,bを計算し、それを用いて計算される。なお、Ａ_a,bは、ソース・イメージの入力ピクセル値である。マット・イメージのエッジを超えたピクセル位置に関しては、マット・イメージのエッジ・ピクセルの値をボックス・フィルタが使用する。中間合計Ｒ_a,bは、メモリに記憶されるか、又はプロセッサのレジスタにローカル記憶される。水平方向のフィルタリングによって得られた最初の出力ピクセルＢ_a,bは、次式を用いて平均ピクセル値に等しく設定される。そして、次のピクセルＢ_a+1,bの値が決定される。ｎ×１ボックス・フィルタは、新しい中間合計Ｒ_a+1,bを決定する。式（１）を用いて中間合計値Ｒ_a+1,bを計算する代わりに、以前に記憶された中間合計値Ｒ_a,bを用いて、該新中間合計値Ｒ_a+1,bを決定する。特に、新中間合計値Ｒ_a+1,bは、以下の式により決定される。式（３）において、ｎ×１ボックス・フィルタによってカバーされないピクセルの値は、減算され、かつ、ｎ×１ボックス・フィルタによってカバーされる新ピクセルの値に加算される。この種のフィルタリングは、「テール・キャンセル」と呼ばれており、この言い方は、ボックス・フィルタによってカバーされないピクセルの値がフィルタからドロップするからである。この新中間合計Ｒ_a+1, _b は、メモリに記憶され、ｎでＢ_a+1,bを除算することによってピクセルＢ_a+1,b の値を決定するために用いられる。テール・キャンセル処理は、その水平ラインの最後に到達するまで、新中間値（例えば，Ｒ_a+2,b）及び新ピクセル値（例えば、Ｂ_a+2,b）を決定する場合に、繰り返し実行される。そして、このプロセスは、次の水平ラインについて実行されるが、これは、式（１）と同様な計算により、最初の中間値Ｒ_a,b+1を決定することによって開始される。しかしながら、２番目以降の中間値の決定は、式（３）と同様な計算を用いて行われる。水平方向のフィルタリングは、処理エリアのピクセルが全てフィルタリングされた時点で終了する。次に、処理エリアは、１×ｍ垂直ボックス・フィルタの用いてテール・キャンセルにより垂直方向にフィルタリングされる。この処理は、上記した水平方向のフィルタリングと同様な手法で行われる。特に、処理エリアの列は、一度に１列処理される。最初のピクセルＣ_a,bは、以下の式に基づいて、中間合計Ｓ_a,bを計算し、これを用いて決定される。そして、イメージ可能式を用いてピクセルＣ_a,bの値が決定される。ピクセルＣ_a,bを決定した後、垂直フィルタは、垂直方向の新ピクセルＣ_a,b+1 を処理する。特に、以下の式を用いて、新中間合計Ｓ_a,b+1が決定される。減算されるピクセルは、次のピクセルＣ_a,b+1を処理するために垂直ボックス・フィルタを移動した後、該フィルタによってカバーされないピクセルに対応する。さらに、加算されるピクセルは、垂直ボックス・フィルタが次のピクセルＣ_a,b+1 を処理するよう移動した後、該フィルタによって新たにカバーされるピクセルに対応する。ピクセルＣ_a,b+1の値は、次の式によって決定される。ｎ×１水平ボックス・フィルタ及び１×ｍ垂直ボックス・フィルタにより処理エリアをボックス・フィルタリングすることにより得られた結果は、ｎｘｍボックス・フィルタにより処理エリアをボックス・フィルタリングすることにより得られた結果と同等である。明るいエリアと暗いエリアとの間の境界エリアであって、境界のピクセル値が線形に増大する境界エリアに、上記した処理の結果、ランプ効果が得られる。ステップ８６において、ｎ×１及び１×ｍのボックス・フィルタを用いて、テール・キャンセルにより、水平及び垂直方向に処理エリアをボックス・フィルタリングし、ピクセルＰ_a,bを生成する。これにより、暗いエリアと明るいエリアとの間の境界エリアのピクセルは、放物線状に増大する。フィルタにより２回の処理を行うことにより、暗いエリアと明るいエリアとの境界上により自然な融合を生じることができる。処理エリアを、ボックス・フィルタの２倍の幅の三角フィルタにより処理することにより、同様の数学的効果が得られる。このような三角フィルタは通常、より多くの重み付け係数演算を行うことから、より多くの処理時間を必要とする。上記したフィルタリングにより、コンポジット・イメージの２つのイメージのフェザリングを生成するために使用されるフィルタリング済マット・イメージを生成する。フェザリングは、マット・イメージ中の高周波成分を除去し、エッジを不鮮明化（ブロー）することによってイメージを平滑化する。しかしながら、フェザリング処理の方向を指定することによって、イメージを選択的にフェザリング処理することも可能である。フェザリング処理の方向とは、イメージ中の対象物の内側又は外側に生じるフェザリングの量を意味する。フェザリングの量は、イメージの対象物の外側のフェザリングの場合と平衡する、イメージの対象物の内側へのフェザリング量を含んでおり、即ち、背景イメージと前景イメージとの間の境界すなわちエッジである境界上に、つり合ったフェザリングの量を含んでいる。したがって、ステップ８１〜８６で実行される上記プロセスは、フェザリングの方向を規定するためのステップを含むエッジ・バイアス・ステップを含むように、拡張することができる。エッジ・バイアスは、エッジのフェザリング即ちブロー処理の後に、エッジのピクセル値を修正するステップを含み、該修正は、マット・イメージのコントラスト及び輝度を変更することにより、実行される。マット・イメージは、マット・イメージ中のピクセルの値を変化することによって調整されるが、これについては、以下に詳細に説明する。ステップ８７において、選択的なフェザリング処理は、数学的関数によって表される。この関数は、直接的な計算又はルックアップ・テーブルを作成して使用すること等の、種々の方法で実現される。この関数は、以下に説明するユーザ入力に基づいて生成され、マット・イメージのフェザリングが終了した後に、フェザリング処理済マット・イメージ上で行われるポスト処理ステップで使用される。実施例においては、ルックアップ・テーブルは、エッジ・バイアス関数に適用されるエッジ・バイアスの所定値に基づいて、２５６階調の値を含んでいる。該テーブル中の多数の値は、コンポジット・イメージを生成するために使用されるシステムのダイナミック・レンジに関連している。上述したように、８ビット・システムは０〜２５５階調のピクセル値を使用し、１０ビット・システムは０〜１０２３階調のピクセル値を使用する。エッジ・バイアスは、フェザリング・イン又はフェザリング・アウトの所定のレベルに対応するか、又は、前景イメージ及び背景イメージのエッジに沿ったフェザリング・インの量とフェザリング・アウトの量との比に対応する。実施例においては、ユーザは、グラフィカル・ユーザ・インターフェースに含まれるスライダを移動させることによって、エッジ・バイアスの量を選択することができる。選択可能なエッジ・バイアスの範囲は、例えば、−１００〜１００である。ユーザの選択量が例えば−１００のエッジ・バイアス値に近くて小さい場合、フェザリング・インの量は増大し、したがって、関連するフェザリング・アウトの量は減少する。これにより、得られるコンポジット・イメージに見られる前景イメージは、背景イメージよりも少ない状態で、前景にフェザリング処理される。ユーザが１００に近いエッジ・バイアス値を選択すると、フェザリング・オウトの量が増大し、よって、そのときのフェザリング・インの量が減少する。これにより、得られるコンポジット・イメージに見られる背景イメージは、前景イメージよりも少ないように、背景にフェザリング処理される。選択可能な範囲の中心、例えば０にエッジ・バイアス値を設定すると、フェザリング・インとフェザリング・アウトの量が同一になる。選択可能なエッジ・バイアス値の範囲は、任意のナンバリング方法で決定することができ、これにより、ユーザが、コンボジット・イメージに適用されるより大きなフェザリング・アウトで得られる範囲の一端を識別でき、かつ、より大きなフェザリング・インで得られる範囲の一端(e nd)を識別することが可能となる。実施例においては、ユーザ選択のエッジ・バイアス値とピクセル値に適用されるスケーリング値とは、線形関係にある。この関係は次式で表される。値Ｅは、ユーザによって選択されたエッジ・バイアスの量である。エッジ・バイアスは、ユーザが入力した値Ｅに基づいて、上記したフィルタリング・ステップにより決定されたピクセルＰ_a,bに適用される。Ｐ'_a,bは、得られたコンボジット・イメージのピクセルの値であって、選択されたエッジ・バイアスによりスケーリングされたものである。実施例においては、この関係は以下のように表される。エッジ・バイアス値Ｅ＝０のときエッジ・バイアス値Ｅ＜０のときエッジ・バイアス値Ｅ＞０のときただし、Ｐ'_a,b＞２５５のとき、Ｐ'_a,b＝２５５とし、Ｐ'_a,b＜０のとき、Ｐ'_a _,b ＝０とする。上記したように、ステップ８１〜８６においてマット・イメージ中のピクセルのフィルタリング処理後の値が決定された後、ステップ８８において、対応するエッジ・バイアス関数を用いて、フィルタリング済ピクセルの値（Ｐ_a,b）に所定のエッジ・バイアスを適用する。ルックアップ・テーブルを使用する実施例においては、マット・イメージの処理エリアの各ピクセルの値により、ステップ８８において、以下の式に従ってルックアップ・テーブルを参照する。このように、ピクセルＰ'_a,bは、フィルタリング後に所定のエッジ・バイアスに応じてスケーリングされたコンポジット・イメージのピクセルの値である。ピクセルＰ_a,bは、上述のフィルタリング・ステップによって決定され、ルックアップ・テーブルに提供されて、特定のエッジ・バイアスの作用を表す値Ｐ'_a,bを生成する。この実施例においては、ユーザが設定したエッジ・バイアス値とルックアップ・テーブル用のスケーリング値との間には線形関係がある。他の線形及び非線形の関係により規定してもよい。例えば、図８ａに示すように、得られたＰ'_a,bが、フィルタリング済ピクセル値Ｐ_a,b及び２５６の値のルックアップ・テーブルを考慮して示されており、ユーザ選択のエッジ・バイアス値−１００の場合を表している。この場合、上述したように、フェザリング・アウトの場合と比べて、フェザリング・インの特性が大きいイメージが得られる。図８ａに示すように、ルックアップ・テーブルへの入力のＰ_a,b＝０のとき、これはフェザリング・イン用のエッジ・バイアスであるが、Ｐ'_a,b＝０が得られる。Ｐ_a,b＝１２８のときＰ'_a,b＝０であり、Ｐ_a,b＝２５５のときＰ'_a,b＝２５５である。図８ｂは、ユーザ選択のエッジ・バイアス値が０の例を示しており、この例においては、ユーザが、フェザリング・イン及びフェザリング・アウトを等しい量とすることを表している。図８ｂに示すように、ルックアップ・テーブルへの入力Ｐ_a,b＝０のとき、エッジ・バイアスが０では、Ｐ'_a,b＝０の出力値が得られる。入力値Ｐ_a,b＝１２８のとき、Ｐ'_a,b＝１２８となり、Ｐ_a,b＝２５５のとき、Ｐ'_a,b＝２５５の出力値が得られる。図８ｃは、ユーザがエッジ・バイアス値１００を選択した例の結果を表しており、該例では、フェザリング・アウト特性がフェザリング・イン特性と比べて大きい場合のイメージを、ユーザが望んだ場合を示している。この選択により、ルックアップ・テーブルの入力値がＰ_a,b＝０のとき、出力値Ｐ'_a,b＝０である。乳緑地がＰ_a,b＝１２８のとき、出力値はＰ'_a,b＝２５５であり、入力値Ｐ_a,b＝２５５のとき、出力値はＰ'_a,b＝２５５である。図６を再度参照すると、ステップ９０において、グラフィックス・エディタが、カラー変更効果又は不透明（opacity）効果等の追加の特殊効果を組み込むように、望むことがある。このような効果を組み込むために、グラフィックス・エディタは、多重化作用又は最小化作用を用いて、ボックス・フィルタリングされたマット・イメージエリアを他のマット・イメージと結合する。ステップ９２において、汎用の方法による選択的にフェザリング処理済のマット・イメージを用いて、フェザリング処理されたコンポジット・イメージが生成される。図７ａ及び図７ｂを参照して、一例を説明する。図７ａは、５×１水平ボッタス・フィルタがどのようにピクセルＢ_a,bを計算するかを示している。この５ ×１ボックス・フィルタは、ピクセルＢ_a,bの値を平均値Ａ_a,bに設定し、該ピクセルの左隣の２つのピクセルをＡ_a-2,b及びＡ_a-1,bに、そして右隣の２つのピクセルをＡ_a+1,b及びＡ_a+2,bと設定する。各ピクセル値は同一の重み付けされる。そして、５×１ボックス・フィルタは、隣接するピクセルを処理するために、水平方向に進む。隣接するピクセルを処理するとき、テール・キャンセル動作を用いて計算された中間値を用いて、該ピクセルの値が決定される。特に、上記したように、ボックス・フィルタによってカバーされていないピクセルのピクセル値は、中間値から減算され、新たにカバーされたピクセルの値が中間値に換算される。図７ｂは、同様にしてピクセルＣ_a,bを計算するための垂直ボックス・フィルタを示している。テール・キャンセルによる５×１水平ボックス・フィルタ及び１×５垂直ボックス・フィルタを用いて処理エリアをフィルタリングすることは、５×５ボックス・フィルタにより処理エリアをフィルタリングすることと同等である。しかしながら、テール・キャンセル・プロセスにより処理時間が減少し、ピクセル値決定の殆どは、１つの減算プロセスと１つの加算プロセスと各経路（パス）ごとの分離動作とを含むだけである。図６に示したプロセスを用いて生成されたコンポジット・イメージは、通常、ボックス・フィルタによって１回だけ処理されたイメージの品質と比べて、高い品質となる。特に、図６のプロセスによって選られた結果は、ガウス・フィルタを用いて生成されたコンポジット・イメージと識別することが困難である。さらに、図６に示したプロセスを用いて処理エリアをボックス・フィルタで処理する時間は、汎用のボックス・フィルタ又はガウス・フィルタを用いた場合よりも、十分に短い。上述の実施例の変更及び改良が可能であり、該変更及び改良も本発明の範囲に含まれるものである。例えば、水平フィルタリングと垂直フィルタリングとの順番は入れ替え可能である。実施例においては、処理エリアに対して、テール・キャンセル機能の水平フィルタリングが実行される前に、テール・キャンセル機能の垂直フィルタリングが実行される。最初に垂直方向にボックス・フィルタリングし、次いで水平方向にボックス・フィルタリングすることによって得られた最終結果は、最初に水平方向に次いで垂直方向に処理エリアをフィルタリングする場合の結果と、同一である。さらに、ボックス・フィルタは、ある特定の方向にイメージをバイアスしない偶数フィルタ幅を有してもよい。特に、処理エリアをフィルタリングするとき、ボックス・フィルタによる最初の経路(パス)は、１つの方向、例えば左方向に各ピクセルをバイアスする必要がある。バックス・フィルタによる第２の経路は、反対方向、例えば右方向に各ピクセルをバイアスする必要がある。最終的に得られる結果は、全体的にバイアスが存在しないことになる。また、水平ボックス・フィルタ及び垂直ボックス・フィルタのフィルタ幅は、パフォーマンス特性を低下させることなく、拡張させることが可能である。特に、最初のピクセル値計算だけは影響を受け(affected)、すなわち、この計算では、１つの加算演算を追加することになる。経路毎にフィルタ幅を拡張するための、他の加算演算を必要としていない。さらに、１次元水平ボックス・フィルタのフィルタ幅と１次元垂直ボックス・フィルタのフィルタ幅とが同一である必要はない。異なるフィルタ幅の水平及び垂直ボックス・フィルタを用い、また、マット・イメージを最初に処理するときと次にマット・イメージを処理するときとで異なるフィルタ幅のボックス・フィルタを用いることにより、異なるフィルタ効果を得ることが可能である。さらにまた、実施例においては処理時間が低減されていることから、該実施例をリアル・タイム・アプリケーションに適用可能である。したがって、前景イメージと背景イメージとはリアル・タイムで融合される。本発明の幾つかの実施例について説明したが、以上の説明は例示的なものであってそれらに限定されるものではなく、単に例を挙げただけであることは、当業者には明らかであろう。多数の変更及び他の実施例が、当該技術の通常の技術の１つの範囲に含まれ、請求の範囲によって規定される範囲及びその均等の範囲に含まれるものである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＡＵ，ＣＡ，ＣＮ，ＤＥ，ＧＢ，ＪＰ (72)発明者チョウ，チア−シェンアメリカ合衆国マサチューセッツ州02140, ケンブリッジ，マサチューセッツ・アベニュー 2353，アパートメント・ナンバー61

Claims

【特許請求の範囲】１．オリジナル・マット・イメージを使用して第１及び第２のイメージをコンポジット・イメージ中にフェザリング処理する方法において、オリジナル・マット・イメージの少なくとも一部分を水平方向及び垂直方向にボックス・フィルタリングして、中間マット・イメージを生成するステップと、中間マット・イメージを水平方向及び垂直方向にボックス・フィルタリングして、処理済マット・イメージを生成するステップと、処理済マット・イメージにエッジ・バイアス関数を適用するステップと、エッジ・バイアス関数により修正されたボックス・フィルタリング済マット・イメージに応じて、第１及び第２のイメージを含むコンポジット・イメージを生成するステップとからなることを特徴とする方法。２．請求項１記載の方法において、エッジ・バイアス関数を適用するステップは、エッジ・バイアスの所望方向を選択するステップと、選択された所望方向に応じて、エッジ・バイアス値を生成するステップとからなることを特徴とする方法。３．請求項２記載の方法において、所望方向は、フェザリング・イン、フェザリング・アウト、及び、同一フェザリングの少なくとも１つを含んでいることを特徴とする方法。４．請求項２記載の方法において、エッジ・バイアス関数は、フェザリング処理済マット・イメージにおけるコントラスト及び輝度を変更することを特徴とする方法。５．請求項１記載の方法において、各マット・イメージは複数のピクセルを含み、ボックス・フィルタリングの少なくとも１つのステップはテール・キャンセルするステップであり、テール・キャンセルされたマット・イメージのピクセルの値は減算演算によって得られることを特徴とする方法。６．請求項１記載の方法において、オリジナル・マット・イメージをボックス・フィルタリングするステップは、第１の方向にバイアスされた偶数フィルタ幅を有する第１のボックス・フィルタによってオリジナル・マット・イメージを処理するステップを含み、中間マット・イメージをボックス・フィルタリングするステップは、第１の方向と反対の第２の方向にバイアスされた偶数フィルタ幅を有する第２のボックス・フィルタによって中間マット・イメージを処理するステップを含んでいることを特徴とする方法。７．請求項１記載の方法において、ボックス・フィルタリングする少なくとも１つのステップは、一次元ボックス・フィルタによりマット・イメージを処理するステップを含んでいることを特徴とする方法。８．請求項１記載の方法において、各マット・イメージは複数のピクセルを含み、該方法は更に、ボックス・フィルタのフィルタ幅を増大して、ボックス・フィルタがマット・イメージの行ピクセルの最初のピクセルの値を計算するときに、別の加算演算を実行し、マット・イメージの行のその他のピクセルの値を計算するときに、加算演算の数を保持することを特徴とする方法。９．請求項１記載の方法において、ボックス・フィルタリングの少なくとも１つのステップは、第１の幅を有する一次元垂直ボックス・フィルタによって、マット・イメージを処理するステップと、第１の幅と異なる第２の幅を有する一次元水平ボックス・フィルタによって、マット・イメージを処理するステップとからなることを特徴とする方法。１０．請求項１記載の方法において、ボックス・フィルタリングするステップとコンポジット・イメージを生成するステップはそれぞれ、リアル・タイムで実行され、該方法は更に、コンポジット・イメージをディスプレイにリアル・タイムで表示するステップを含んでいることを特徴とする方法。１１．第１及び第２のイメージをコンポジット・イメージにフェザリング処理する方法において、汎用目的のコンピュータであって、プログラムを記憶するメモリと、該プログラムを実行する際にオリジナル・マット・イメージを受け取り、オリジナル・マット・イメージの少なくとも一部分を水平方向及び垂直方向にボックス・フィルタリングして中間マット・イメージを生成し、中間マット・イメージの少なくとも１部分を水平方向及び垂直方向にボックス・フィルタリングして処理済マット・イメージを生成し、エッジ・バイアス関数を受け取り、エッジ・バイアス関数を処理済マット・イメージに適用し、ボックス・フィルタリングされた処理済マット・イメージにエッジ・バイアス関数を適用したものに基づいて、第１及び第２のイメージを含むコンポジット・イメージを生成するプロセッサとからなるコンピュータを備えていることを特徴とする装置。１２．請求項１１記載の装置において、各マット・イメージは複数のピクセルを含み、プロセッサは、マット・イメージをボックス・フィルタリングするときに、マット・イメージをテール・キャンセル処理し、テール・キャンセルされたマット・イメージのピクセルの値は、減算演算により得られることを特徴とする装置。１３．請求項１１記載の装置において、オリジナル・マット・イメージをボックス・フィルタリングするとき、プロセッサは、第１の方向にバイアスされた偶数フィルタ幅を有する第１のボックス・フィルタによって、オリジナル・マット・イメージを処理し、中間マット・イメージをボックス・フィルタリングするとき、プロセッサは、第１の方向とは逆の第２の方向にバイアスされた偶数フィルタ幅を有する第２のボックス・フィルタによって、中間マット・イメージを処理することを特徴とする装置。１４．請求項１１記載の装置において、プロセッサは、一次元バックス・フィルタを用いて、マット・イメージの少なくとも１つをボックス・フィルタリングすることを特徴とする装置。１５．請求項１１記載の装置において、各マット・イメージは複数行のピクセルを含み、プロセッサは、プログラムを実行するとき、マット・イメージの１行のピクセルの最初のピクセルの値を計算する際に追加の加算演算を行うことによってボックス・フィルタのフィルタ幅を増大し、マット・イメージの該行のピクセルの他のピクセルの値を計算する際に加算演算の数を保持することを特徴とする装置。１６．請求項１１記載の装置において、マット・イメージをボックス・フィルタリングするとき、プロセッサは、第１の幅を有する一次元垂直ボックス・フィルタによってマット・イメージを処理し、第１の幅と異なる第２の幅を有する一次元水平ボックス・フィルタによってマット・イメージを処理することを特徴とする装置。１７．請求項１１記載の装置において、プロセッサはリアル・タイムでプログラムを実行し、汎用目的のコンピュータはさらに、リアル・タイムでコンポジット・イメージを表示するディスプレイ・デバイスを備えていることを特徴とする装置。１８．マット・イメージを選択的にフェザリング処理するプロセスによって生成されたコンポジット・イメージであって、マット・イメージをフィルタリングしてフェザリング処理済マット・イメージを生成し、フェザリング処理済マット・イメージにエッジ・バイアス関数を適用し、コンポジット・イメージを生成するために、選られた選択的にフェザリング処理されたマット・イメージを用いたことを特徴とするコンポジット・イメージ。１９．請求項１８記載のコンポジット・イメージにおいて、エッジ・バイアス関数はエッジ・バイアスの所望レベルに応じて生成され、エッジ・バイアスの所望レベルはフェザリング・イン、フェザリング・アウト、及び、同一フェザリングの少なくとも１つを含んでいることを特徴とするコンポジット・イメージ。２０．請求項１９記載のコンポジット・イメージにおいて、エッジ・バイアス関数は、フェザリング処理済マット・イメージのコントラスト及び輝度を変更することを特徴とするコンポジット・イメージ。２１．オリジナル・マット・イメージを用いて、コンポジット・イメージをフェザリングする際に使用するためのマット・イメージを生成する方法において、フィルタリング済マット・イメージを受け取るステップと、該フィルタリング済マット・イメージにエッジ・バイアス関数を適用するステップとからなることを特徴とする方法。２２．請求項２１記載の方法において、フィルタリング済マット・イメージは、経路を水平方向にフィルタリングされ、経路を垂直方向にフィルタリングされ、しかも、各経路は２回フィルタリングされることを特徴とする方法。２３．請求項２１記載の方法において、エッジ・バイアス関数は、フィルタ済マット・イメージのフェザリング・イン、フェザリング・アウト、及び同一フェザリングの少なくとも１つに対して提供されることを特徴とする方法。