JP2001508986A - 画像混合方法および表示装置 - Google Patents

Abstract

(57)【要約】 本発明は異なる解像度を有する前景画像および背景画像を混合する方法を提供する。カラーがカラーキイーに応じる前景画像の部分は透明に示される。慣例の手段で透明部分を含む前景画像をスケーリングすることにより生じるアーティファクトは、前景画像の解像度および背景画像の解像度の最小公倍数にほぼ等しい中間解像度で前景画像および背景画像を混合することによって防止することができる。或は又、実際に画像を中間解像度にスケーリングする代わりに、位相テーブルを用いそのエントリにより背景画素を所定数の前景画素で組合せる手段を記述する。

Description

【発明の詳細な説明】 画像混合方法および表示装置発明の技術分野 本発明は前景画像の解像度が背景画像の関連する解像度と異なる前景画像およ び背景画像を混合するに当たり、前景画像の透明な部分を表わし、この前景画像 の透明な部分を前記背景画像の下側部分によって置換し、この前景画像および背 景画像を共通ターゲット解像度に変換するようにした前景画像および背景画像の 混合方法に関するものである。発明の背景 かかる方法はグラフィックス信号およびビデオ信号の混合信号を表示スクリー ンに表示するに好適な表示システムに広く用いられている。かかるシステムの一 例は米国特許出願US-A-5,621,428に開示されている。通常、これら信号の一つは 前景信号として示され、この信号により前景信号に関連する画像が画像の相互に 重なり合う箇所で他の信号に関連する他の画像を隠すようになる。カラーが所定 のカラーキーと適合する前景画像の部分は、表示スクリーンに透明部分として現 われ、従って他の画像の下側部分を示すようになる。一般に、グラフィックスお よびビデオ信号の各空間解像度は水平方向、垂直方向、または両方向に相互に異 なる。この場合には、信号は共通解像度にスケールする必要がある。 カラーキーイングを用いる異なる空間解像度の信号を混合する既知の方法の欠点 は、スケーリングを行うことによりカラーキーによって前景画像の隣接部分のカ ラーを混合し、前景画像の透明部分の緑部で可視アーティファクトを生じるよう になる。発明の概要 本発明の目的は前記アーティファクトを回避するカラーキーを用いる異なる空 間解像度の信号を混合する方法を提供せんとするにある。 この目的のため、本発明は前景画像の解像度が背景画像の関連する解像度と異 なる前景画像および背景画像を混合するに当たり、前景画像の透明な部分を表わ し、この前景画像の透明な部分を前記背景画像の下側部分によって置換し、この 前景画像および背景画像を共通ターゲット解像度に変換するようにした前景画像 および背景画像の混合方法において、前記前景画像の透明な部分の前記背景画像 の下側部分による置換は、前記ターゲット解像度とは相違し、かつ前記前景画像 の解像度および前記背景画像の関連する解像度の最小公倍数にほぼ等しい中間解 像度で有効に達成することを特徴とする。 中間解像度で前景画像および背景画像を混合することにより、画素を平均化する 必要はなく、従って、カラーキーおよび隣接部分のカラーは混合されなくなる。 本発明方法によれば、請求項２に規定したように、前景画像の解像度および背景 画像の解像度間の比例を表わす、即ち、概算する分数の分母および分子によって 画素をそれぞれ複製することにより前景画像および背景画像を中間解像度に実際 に比例させるようにする。これら画素を整数により複製することによりカラーキ ーの混合は起らなくなる。中間解像度では、前景画像起らなくなる背景画像の画 素は２個ずつ処理することができる。前景画素が不透明である場合には、関連す る背景画素を無効にする。前景画素が透明である場合には、関連する背景画素で 置換する。両画像を混合した後、合成画像をターゲット解像度に比例させるよう にする。 また、本発明は上述した本発明方法を実施する表示装置に関するものである。 本発明の他の方法によれば、請求項４に規定したように、係数のテーブルを予 め構成することによって中間解像度で画像を実際に混合する効果を予測する。前 景画像および背景画像を中間解像度に実際に比例させる代わりに、テーブルエン トリに含まれる係数により規定されている手段で、背景画像からの画素を前景画 像からの多数の画素と一度に１回合成する。出力画素が発生する度毎に、次のテ ーブルエントリを係数のソースとして選択する。最初、第１エントリを選択し、 最終エントリ後第１エントリを再び選択することにより処理を周期的に実行する 。図面の簡単な説明 図１は本発明表示装置の一例を示すブロック線図である。 図２は異なる解像度を有する２つの画像の画素を示す説明図である。 図３は中間解像度にスケールされた２つの画像の混合状態を示す説明図である。 図４は中間解像度における２つの画像の混合状態を示す説明図である。 図５は本発明表示装置の他の例を示すブロック線図である。 図６は比較的高い解像度を有する画像の画素を示す説明図である。 図７はテーブル係数を計算する方法を示すチャート図である。発明を実施するための最良の形態 図１は本発明表示装置の一例を示す。この表示装置は例えばマルチメディアコン ピュータシステムまたはTV/DVDシステムの一部とすることができる。入力端子１ はグラフィック信号を前景信号として受けるに好適とするが、入力端子２はビデ オ信号を背景信号として受けるに好適とする。カラーキーイング手段３は前景信 号の所定のカラー、カラーキーを透明であるものとして示す。カラーがカラーキ ーに従う前景画像の部分を下側の背景画像の部分によって置換する。多重カラー はこの場合カラーキーとして示す。 解像度に対する次の基準のすべては水平解像度に関するものとする。しかし、本 発明は垂直解像度が他の異なるか、または双方の組合せである画像に対しても適 用することができる。スケーリング方向が操作方向と相違すると云う事実を追加 の手段によって補償する必要がある。 記憶手段８は前記前景画像の水平解像度と前記背景画像の水平解像度との間の割 合に等しいかまたはほぼ近似する分数の分子および分母を記憶する記憶レジスタ を具える。スケーリング手段４は前記分数の分母に等しい数だけ画素を複製する ことによってグラフィックス画像をスケーリングするに好適である。スケーリン グ手段５は前記分数の分子に等しい数だけ画素を複製することによってビデオ画 像を中間解像度に比例させるに好適である。 混合手段６は前景画像のカラーキー部分を背景画像の下側部分により置換するこ とによって前景画像および背景画像を混合するに好適である。合成画像はスケー リング手段７に送出してこれにより合成画像を背景画像に変換する。スケーリン グ手段４、５および７並びに混合手段６は当業者に明らかな専用のハードウエア 回路によって実行することができる。或は又、これらはマイクロプロセッサによ り実行されるソフトウエアによって実現することができる。カラーキーイング手 段３の機能は１つ以上のカラーをカラーキーとして簡単に認識するように限定す ることができる。従って、これは、前景画像および背景画像を混合し得るように するために、カラーキーを認識する必要のある混合手段６の一部分である。 記憶手段８は種々の解像度を有するグラフィックスおよびビデオ信号の他の組 合せに対する他の分数を含むことができる。一般に、僅かな組の分数のみで充分 である。表１は多数の現在のグラフィックス解像度および720画素の水平ビデオ 解像度に対する分数を示す。 表１： 図２は1008画素の水平解像度を有する前景グラフィックス画像からの画素f1-f8 および720画素の水平解像度を有する背景ビデオ画像からの画素b1-b6を示す。前 景画像の解像度および背景画像の解像度間の比は7/5である。 図３は前景画素を５により複製し、背景画素を７により複製することによって これら画像をも中間解像度に比例させた後の同一画像の画素を示す。この解像度 またはその倍数では、各前景画素に対し関連する背景画素が存在する。２つの画 像を混合することは関連する画素を２つ宛処理し、各対が１つの出力画素を発生 することによって容易に達成することができる。透明な前景画素は関連する背景 画素により置換し、不透明な画素によってその関連する背景画素を完全に隠すよ うにする。 図４は前景画素f3およびf4が透明である場合の、中間解像度における合成画素 を示す。中間解像度で画像を斯様に混合することにより、カラーキーは隣接の画 素のカラーと混合することができない。その理由は混合前複製のみが行われ、画 素およびカラー間の一致が行われていないからである。混合後、出力画像は慣例 の手段によってターゲット解像度に変換される。本例では、ターゲット解像度は 背景画像の解像度に等しい。上記変換は７個の画素を一度に群別し平均化するこ とによって達成する。画素のカラーを平均化することによってアーティファクト をもはや発生し得なくなる。その理由はすべてのカラーキーが既に処理されてい るからである。 図５は本発明の好適な例による表示装置を示す。入力端子１および２、カラー キーイング手段３、およびスケーリング手段７は前述した例の場合と完全に同様 な機能を奏するものである。混合手段６は記憶手段９および計算手段１０をさら に具える。記憶手段９は係数のテーブルを記憶するリード−オンリーメモリまた はランダムアクセスメモリを具える。この係数のテーブルは、計算手段１０によ って前景画像および背景画像をこれらが実際に中間解像度に比例することなく混 合するために用いられる。実際上、本例によって前述した例の場合と同一の結果 が得られたが、これを簡単な手段で達成でき、例えば、高速スケーリング手段を 必要とすることはない。 画像を実際に比例させ、混合する代わりに、これらのステップを係数にコンパ イルする。 出力画像は背景画像と同一の解像度を有し、従って、この解像度がターゲット 解像度に等しい場合には、スケーリング手段７を必要としない。 これら係数は、前以て計算でき、且つ製造中リード−オンリーメモリに記憶す ることができ、或はこれら係数を初期化中または新たな対の解像度を必要とする 際に計算することができる。これら係数は、出力画像の１つの画素に対する前景 画像からの所定数の入力画素の寄与度を予測する重みファクタを具える。また、 これら係数はスキップファクタを具え、これによって前景画像からの多くの入力 画素が完全に処理される手段を決め、従って、次の出力画素に寄与しない。 係数を計算するために種々の方法を適用することができる。一例を後述する。 表２は1008画素の水平解像度を有する前景画像および720画素の解像度を有す る背景画像を混合して7/5の分数を形成する係数を示す。 表２： 表２の各行は異なる解像度における前景画像および背景画像からの入力画素に 基づく、混合画像の出力画素を発生するに必要な情報を提供する。第１の出力画 素は第１の行により計算し、第２の出力画素は第２の行により計算し、以下同様 に繰返す。処理は周期的に進行し、従って、第７番目の出力画素は再び第１行に よって計算する。 表２の第１、第２、第３列の係数は、前景画像からのそれぞれ第１、第２およ び第３入力画素の出力画素に及ぼす相対的寄与度を規定する重み係数である。例 えば、前景画像からの最初の３つの入力画素f1,f2およびf3が不透明である場合 には、第１出力画素o1は表２の第１行の重み係数に比例して入力画素を平均化す ることにより次式の余殃に表わすことができる。 o1=(5f1+2f2+0f3)/7 スケールファクタ'7'は他の記憶手段（図示せず）に記憶することができ、或 は又表２の全ての係数はこれらを７で除算することによって正規化することがで きる。第２の前景画素が透明である場合には、その寄与度を無視し、背景画像か らの第１入力画素b1の等価寄与度により置換して、次の出力画素を発生する。 o1=(5f1+2b1+0f3)/7 第１および第２前景画素の双方が透明である場合には、出力画素は第１背景画 素のコピーとなる。 第１列のスキップ係数は多くの入力画素が次の行で進行する前にスキップする 手段を示す。例えば、第１出力画素が発生した後、前景画素からの第１入力画素 の寄与度はもはや必要とせず、従ってこれをスキップすることができる。前景画 像からの全ての全ての関連する入力画素が不透明である場合には次の３つの出力 画素を次に示すように計算する（指標は画素の相対数を示す）。 o2=(3f2+4f3+0f4)/7 o3=(f3+5f4+f5)/7 o4=(4f5+3f6+of7)/7 第３出力画素が発生した後第３および第４入力画素からの寄与度はもはや必要 とせず、従って両画素をスキップすることができる。 最も最新の解像度に対しては、３つの重みファクタを必要とする。前景画像お よび背景画像間の比が１以下、例えば8/9である場合には、２つの重みファクタ で充分である。しかし、倍率が大きい場合には、第４或は第５重みファクタをも 必要とする。全ての場合に、次の公式によって与えられる多数の重み係数を適用 するに充分である。 重み係数の数＝天井（分子／分母）＋１ ここに‘天井’は上方に丸められた引数を発生する。分子モデュラス分母が零 または１つのに等しい場合には、重みファクタを１つ減らすだけでも充分である 。例えば、前景画像および背景画像間の比が7/2となる場合には、４つの入力画 素からの寄与度が各出力画素に対して必要となる。これを図６に示し、図中、点 線１１は７つの入力画素の群を示し、各群は１つの出力画素に寄与する。しかし 、これらの場合には、重みファクタの複製が常時行われるようになる。その理由 は２つ以上の入力画素が１つの出力画素に対して完全に寄与するからである。 計算手段１０はこの複製を処理するために容易に適用することができ、従って 、記憶手段９内の追加の記憶スペースを節炊くすることができる。 図７はテーブル係数を計算する方法を示す。すべての重み係数Weight〔e,w〕 が最初零にあり、ここに‘e’はエントリ番号を示し、‘w’は重み数を示すもの とする。各エントリ‘e’に対して、スキップ係数Skip〔e〕が存在する。シンボ ル‘num’および‘den’は前景画像および背景画像間の比を表わす分数の分子お よび分母をそれぞれ示す。シンボル‘＝’は割当演算を示すが、他の関係および 算術演算はその通常の意味を有する。長方形は１つ以上のステップのシーケンス を含むが、菱形は条件付表示を示す。表示が真実である場合には、‘T’マーク 付経路に従う必要があるが、表示が真実でない場合には、‘F’マーク付の経路 に従う必要がある。条件１２により制御される主ループは１つのテーブルエント リを計算するステップを具える。これは分母によって決まる固定数倍とするのが 好適である。シンボル‘i’は前景画像からの入力画素の処理をシミュレートす る計数器である。主ループは条件１３により制御される２つの異なる経路を具え 、この条件は分母が分子よりも大きい場合に、即ち、背景画像の解像度が前景画 像の解像度よりも高い場合にのみ真実となる。この場合には、１つの出力画素が 前景画像からの１つの画素によって完全に決まり、これは分子に等しい１つの重 みのみが存在することを意味する。第１入力画素が前の出力画素、例えば、図６ の第２群の入力画素f4に既に寄与している場合には条件１４は真実である。残り の部分 に対してはこれは現在の出力画素に寄与している。条件１５は、現在の出力画素 、例えば、図６の入力画素f1,f2およびf3に完全に寄与する入力画素を処理する 。条件１６は現在の出力画素に部分的に寄与し、且つ次の出力画素、例えば、図 ６の第１群の入力画素f4に部分的に寄与する 記憶手段９に記憶された係数のテーブルは種々の手段で実行する。例えば、テ ーブルは、エントリが背景信号および前景信号間の位相推移に従ってオーダされ る位相テーブルとして編成されている。追加のテーブルは順次の位相値およびス キップ値を提供することができる。最後に、あるまたは全てのテーブル係数は計 算手段１０によりリアルタイムに計算され従って記憶手段９の記憶スペースをさ らに節約することができる。 上述した例では、ターゲット解像度を背景画像の解像度に等しくした。逆の場 合は特にVGAコントローラに広く適用される。この場合には、本発明に記載され ているようにスケーリングと混合とを一回の処理で実行する必要はない。しかし 、本発明方法はこの場合に対処するように容易に拡張することができる。第１の 例は全く変化させる必要はない。第２の例では、計算手段１０は前景画像の不透 明画素を出力画素に全体としてコピーするように適合させるが、前景画像の透明 画素は背景画像からの所定数の画素の平均値によって完全に置換する。 要するに、本発明は異なる解像度を有する前景画像および背景画像を混合する 方法を提供する。カラーがカラーキイーに応じる前景画像の部分は透明に示され る。慣例の手段で透明部分を含む前景画像をスケーリングすることにより生じる アーティファクトは、前景画像の解像度および背景画像の解像度の最小公倍数に ほぼ等しい中間解像度で前景画像および背景画像を混合することによって防止す ることができる。或は又、実際に画像を中間解像度にスケーリングする代わりに 、位相テーブルを用いそのエントリにより背景画素を所定数の前景画素で組合せ る手段を記述する。

Claims (1)

1. 【特許請求の範囲】 １．前景画像の解像度が背景画像の関連する解像度と異なる前景画像および背景 画像を混合するに当たり、前景画像の透明な部分を表わし、この前景画像の透明 な部分を前記背景画像の下側部分によって置換し、この前景画像および背景画像 を共通ターゲット解像度に変換するようにした前景画像および背景画像の混合方 法において、前記前景画像の透明な部分の前記背景画像の下側部分による置換は 、前記ターゲット解像度とは相違し、かつ前記前景画像の解像度および前記背景 画像の関連する解像度の最小公倍数にほぼ等しい中間解像度で有効に達成するこ とを特徴とする前景画像および背景画像の混合方法。 ２．前記混合方法は、前記前景画像の解像度と前記背景画像の解像度との間の割 合をほぼ表わす分数を決め；前記前景画像の画素を前記分数の分母の所定倍に等 しい多数回複製するとともに前記背景画像の画素を前記分数の分子の所定倍に等 しい多数回複製して前記前景画像の解像度および前記背景画像の解像度を前記中 間解像度に対して評価し；この中間解像度において前記前景画像の透明画素を前 記背景画像の下側画素により置換して合成画像を形成し；中間解像度からの解像 度をターゲット解像度に変換するステップによって実現することを特徴とする請 求項１に記載の前景画像および背景画像の混合方法。 ３．前記所定の倍数は１とすることを特徴とする請求項１に記載の前景画像およ び背景画像の混合方法。 ４．前記混合方法は、各エントリが前記前景画像からの所定数の入力画素が合成 画像の出力画素に与える寄与度を規定する重みファクタを具え、これら重みファ クタは所定の手段で計算されて前記中間解像度における背景画像および前景画像 の混合の影響を予測するテーブルを構成するステップと、前記背景画像からの１ つの入力画素および前記前景画像からの所定数の入力画素を処理することによっ て前記合成画像を生成するステップとによって実現され、前記処理は、次のステ ップ：１）前景画像からの透明画素を背景画像からの画素で置換し、この置換に より前記透明画素と同一の重みファクタを有する置換画素を形成し、２）この置 換画素および前景画像からの不透明画素をそれぞれその重みファクタに比例して 平均化し、３）背景画像からの１つの入力画素および前景画像からの多数の入力 画素をスキップするステップ、を具えることを特徴とする請求項１に記載の前景 画像および背景画像の混合方法。 ５．各テーブルエントリは出力画素の発生後スキップする必要のある前記前景画 像からの入力画素の数を規定するスキップファクタをさらに具えることを特徴と する請求項４に記載の前景画像および背景画像の混合方法。 ６．前記ターゲット解像度は背景画像の解像度に等しくすることを特徴とする請 求項４乃至５の何れかの項に記載の前景画像および背景画像の混合方法。 ７．前景画像の解像度が背景画像の関連する解像度と異なる透明部分を有する前 景画像および背景画像を受ける第１および第２入力端子と；前記前景画像および 背景画像を共通ターゲット解像度に変換するスケーリング手段と；前記前景画像 の透明な部分を前景背景画像の下側部分によって置換することにより前記前景画 像および前記背景画像を混合する混合手段と；を具える表示装置において、前記 前景画像の解像度と前記背景画像の解像度との間の割合をほぼ表わす分数を記憶 する記憶手段と；前記前景画像の画素を前記分数の分母の所定倍に等しい多数回 複製するとともに前記背景画像の画素を前記分数の分子の所定倍に等しい多数回 複製して前記前景画像の解像度および前記背景画像の解像度を前記中間解像度に 対してスケーリングする他のスケーリング手段と；をさらに具えることを特徴と する表示装置。 ８．前記所定の倍数は１とすることを特徴とする請求項７に記載の表示装置。 ９．前景画像の解像度が背景画像の関連する解像度と異なる、透明部分を有する 前景画像および背景画像を受ける第１および第２入力端子と；前記前景画像およ び背景画像を共通ターゲット解像度に変換するスケーリング手段と；前記前景画 像の透明な部分を前景背景画像の下側部分によって置換することにより前記前景 画像および前記背景画像を混合する混合手段と；各エントリが前記前景画像から の所定数の入力画素が合成画像の出力画素に与える寄与度を規定する重みファク タを具え、これら重みファクタは所定の手段で計算されて前記中間解像度におけ る背景画像および前景画像の混合の影響を予測するテーブルを記憶する記憶手段 と；前記背景画像からの１つの入力画素および前記前景画像からの所定数の入力 画素を処理することによって前記合成画像の出力画素を生成する計算手段とを具 え、前記処理は、次のステップ：１）前景画像からの透明画素を背景画像からの 画素で置換し、この置換により前記透明画素と同一の重みファクタを有する置換 画素を形成し、２）この置換画素および前景画像からの不透明画素をそれぞれそ の重みファクタに比例して平均化し、３）背景画像からの１つの入力画素および 前景画像からの多数の入力画素をスキップするステップ、を具える表示装置。 １０，各テーブルエントリは出力画素の発生後スキップする必要のある前記前景 画像からの入力画素の数を決めるスキップファクタをさらに具えることを特徴と する請求項８に記載の表示装置。