JP2007226553A - 画像合成装置 - Google Patents

Abstract

【課題】グラフィクス画像を背景画像に重畳するに際して、グラフィクス画像の背景領域の背景色と背景画像の色とが異なる場合でも、グラフィクス画像の境界領域に現れるジャギーを目立たなくするようにする。
【解決手段】グラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を各画素の輝度データＩ_CC（ｘ，ｙ）、そのグラフィクス画像の背景領域の色データＢ及び背景画像の色データＩ_B（ｘ，ｙ）にしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、その描画色と背景色の中間色を配置する。
【選択図】図１

Description

この発明は、グラフィクス画像を背景画像に重畳して合成画像を表示する画像合成装置に関するものである。

近年、コンピュータの性能の向上に伴って、静止画像や動画像に対して、文字・図形・３ＤＣＧなどの様々な画像データをユーザーの要求に応じて実時間で合成することが可能になってきている。
その際、ブラックボックスな画像データ作成部が画像データを作成して、画像合成装置がその画像データ作成部により作成された画像データを取り込んで画像を合成する技術を確立することにより、画像合成装置の拡張がより容易になる。

画像合成装置が画像を合成するに際して、例えば、画像データ作成部により作成されたグラフィクス画像を他の画像上に背景を透過させて重畳する方法（以下、背景透過合成という）がある（例えば、特許文献１を参照）。
ここで、背景透過合成は、グラフィクス画像の一部を別の画像上に重畳するに際して、グラフィクス画像を表示しない領域（背景領域）を任意の指定色で描画するものである。

一方、色や形状などの情報にしたがってコンピュータにより作成されたグラフィクス画像を表示するに際して、そのグラフィクス画像を指定色のみで描画しようとすると、そのグラフィクス画像の形状の境界部分（境界領域）にジャギーが現れる。
この境界領域を滑らかに見せるために、グラフィクス画像の描画領域の描画色と、グラフィクス画像の背景領域の背景色との中間色を境界領域に配置する中間色作成処理が実施される。

このように、中間色作成処理を実施することにより、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができるが、背景透過合成を実施して、中間色作成処理後のグラフィクス画像を別の画像（背景画像）に重畳する場合、背景画像になる別の画像の色と、グラフィクス画像の背景領域の背景色とが異なると、中間色作成処理を実施して、グラフィクス画像の境界領域に配置した中間色が、別の画像の色とグラフィクス画像の描画色との関係では中間色ではなくなる。
そのため、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができなくなることがある（図９を参照）。

特開２００５−２９３１４２号公報（段落番号［００１１］、図１）

従来の画像合成装置は以上のように構成されているので、背景透過合成を実施して、中間色作成処理後のグラフィクス画像を別の画像（背景画像）に重畳する場合、背景画像になる別の画像の色と、グラフィクス画像の背景領域の背景色とが異なると、中間色作成処理を実施して、グラフィクス画像の境界領域に配置した中間色が、別の画像の色とグラフィクス画像の描画色との関係では中間色ではなくなる。その結果、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができなくなることがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、グラフィクス画像を背景画像に重畳するに際して、グラフィクス画像の背景領域の背景色と背景画像の色とが異なる場合でも、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができる画像合成装置を得ることを目的とする。

この発明に係る画像合成装置は、グラフィクス画像を構成する各画素の色データを各画素の輝度データ、そのグラフィクス画像の背景領域の色データ及び背景画像の色データにしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する色データ変更手段を設け、その色データ変更手段により色データが変更されたグラフィクス画像を背景画像に重畳するようにしたものである。

この発明によれば、グラフィクス画像を構成する各画素の色データを各画素の輝度データ、そのグラフィクス画像の背景領域の色データ及び背景画像の色データにしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する色データ変更手段を設け、その色データ変更手段により色データが変更されたグラフィクス画像を背景画像に重畳するように構成したので、グラフィクス画像を背景画像に重畳するに際して、グラフィクス画像の背景領域の背景色と背景画像の色とが異なる場合でも、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図であり、図において、記憶部１は背景画像を記憶するとともに、グラフィクス画像のレイアウト情報（例えば、グラフィクス画像を示す文字情報や図形情報のほか、グラフィクス画像を背景画像に重畳する位置情報など）を記憶しているメモリである。
レイアウト情報解析部２は記憶部１に記憶されているレイアウト情報を読み取り、そのレイアウト情報にしたがってグラフィクス画像を構成する各画素の色データの生成指令をグラフィクス画像生成部３に出力するとともに、グラフィクス画像を構成する各画素の輝度データの生成指令を輝度データ生成部４に出力する。また、レイアウト情報解析部２は背景画像の読込指令を画像読込部６に出力するとともに、グラフィクス画像の重畳位置を色データ変更部５及び画像重畳部７に出力するなどの処理を実施する。
なお、レイアウト情報解析部２は位置指定手段を構成している。

グラフィクス画像生成部３はレイアウト情報解析部２の指示の下、グラフィクス画像を構成する各画素の色データを生成する。
輝度データ生成部４はレイアウト情報解析部２の指示の下、グラフィクス画像を構成する各画素の輝度データを生成する。
色データ変更部５はグラフィクス画像生成部３により生成された各画素の色データを輝度データ生成部４により生成された各画素の輝度データと、そのグラフィクス画像の背景領域の色データと、背景画像の色データとにしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する。なお、色データ変更部５は色データ変更手段を構成している。

画像読込部６はレイアウト情報解析部２から背景画像の読込指令を受けると、記憶部１から背景画像の色データを読み込み、その背景画像の色データを色データ変更部５及び画像重畳部７に出力する。
画像重畳部７はレイアウト情報解析部２の指示の下、色データ変更部５により色データが変更されたグラフィクス画像を背景画像に重畳する合成処理を実施する。なお、画像読込部６及び画像重畳部７から画像合成手段が構成されている。
画像表示処理部８は画像重畳部７により合成処理された画像をディスプレイ９に表示する。なお、画像表示処理部８及びディスプレイ９から画像表示手段が構成されている。
図２はこの発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。

次に動作について説明する。
ここでは、図３に示すような背景画像が記憶部１に記憶されており、図４に示すような円形画像（グラフィクス画像）と、図６に示すような文字画像（グラフィクス画像）とを図３の背景画像に重畳する例を説明する。

レイアウト情報解析部２は、記憶部１に記憶されているレイアウト情報を読み取り、そのレイアウト情報を解析して、背景画像に重畳するグラフィクス画像の画像パラメータを取得する（ステップＳＴ１）。
例えば、グラフィクス画像が円形画像である旨を示すパラメータがレイアウト情報に含まれていれば、レイアウト情報解析部２は、そのレイアウト情報から円形画像の直径又は半径を示す画像パラメータ、その円形画像の輪郭の幅を示す画像パラメータ、その円形画像を重畳する位置を示す画像パラメータ、その円形画像の描画色を示す画像パラメータなどを取得する。
また、グラフィクス画像が文字画像である旨を示すパラメータがレイアウト情報に含まれていれば、レイアウト情報解析部２は、そのレイアウト情報から文字画像の文字を示すテキスト情報である画像パラメータ、その文字画像を重畳する位置を示す画像パラメータ、その文字画像の描画色を示す画像パラメータなどを取得する。

レイアウト情報解析部２は、上記のようにして、背景画像に重畳するグラフィクス画像の画像パラメータを取得すると、そのグラフィクス画像の画像パラメータ（円形画像であれば、直径又は半径を示す情報や輪郭の幅を示す情報、文字画像であれば、テキスト情報など）をグラフィクス画像生成部３に出力して、グラフィクス画像を構成する各画素の色データの生成を指示する。
グラフィクス画像生成部３は、レイアウト情報解析部２からグラフィクス画像を構成する各画素の色データの生成指令を受けると、レイアウト情報解析部２から出力されたグラフィクス画像の画像パラメータにしたがってグラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を生成する（ステップＳＴ２）。
図４は円形画像（グラフィクス画像）の色データＩ_RGB（ｘ，ｙ）を示し、図６は文字画像（グラフィクス画像）の色データＩ_RGB（ｘ，ｙ）を示している。

また、レイアウト情報解析部２は、背景画像に重畳するグラフィクス画像の画像パラメータを取得すると、そのグラフィクス画像の画像パラメータを輝度データ生成部４に出力して、グラフィクス画像を構成する各画素の輝度データの生成を指示する。
輝度データ生成部４は、レイアウト情報解析部２からグラフィクス画像を構成する各画素の輝度データ（例えば、白、グレー又は黒を表すグレースケール値）の生成指令を受けると、レイアウト情報解析部２から出力されたグラフィクス画像の画像パラメータにしたがってグラフィクス画像を構成する各画素の輝度データＩ_CC（ｘ，ｙ）を生成する（ステップＳＴ３）。

ただし、輝度データ生成部４は、グラフィクス画像の描画領域（例えば、円形画像であれば、輪郭を表す領域）の描画色Ｃ（グレースケール値）と、グラフィクス画像の背景領域（例えば、円形画像であれば、輪郭の内部や外部を表す領域）の背景色Ｄ（グレースケール値）が指定されている場合、その描画色Ｃと背景色Ｄにしたがって、以下に示すように、各画素の輝度データＩ_CC（ｘ，ｙ）を変換する。
・Ｃ≧Ｄの場合
Ｉ_CC（ｘ，ｙ）←（Ｉ_CC（ｘ，ｙ）−Ｄ）／（Ｃ−Ｄ）
・Ｃ＜Ｄの場合
Ｉ_CC（ｘ，ｙ）←（Ｉ_CC（ｘ，ｙ）−Ｃ）／（Ｄ−Ｃ）
図５は円形画像（グラフィクス画像）の輝度データＩ_CC（ｘ，ｙ）を示し、図７は文字画像（グラフィクス画像）の輝度データＩ_CC（ｘ，ｙ）を示している。

また、レイアウト情報解析部２は、背景画像に重畳するグラフィクス画像の画像パラメータを取得すると、背景画像の読込指令を画像読込部６に出力するとともに、グラフィクス画像の重畳位置を色データ変更部５及び画像重畳部７に出力する。
画像読込部６は、レイアウト情報解析部２から背景画像の読込指令を受けると、記憶部１から背景画像の色データＩ_B（ｘ，ｙ）を読み込み、その背景画像の色データＩ_B（ｘ，ｙ）を色データ変更部５及び画像重畳部７に出力する（ステップＳＴ４）。

色データ変更部５は、グラフィクス画像生成部３がグラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を生成し、輝度データ生成部４がグラフィクス画像を構成する各画素の輝度データＩ_CC（ｘ，ｙ）を生成し、また、レイアウト情報解析部２からグラフィクス画像の背景領域の色データＢを受け、画像読込部６から背景画像の色データＩ_B（ｘ，ｙ）を受けると、下記に示すように、グラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を各画素の輝度データＩ_CC（ｘ，ｙ）等にしたがって変更することにより、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する（ステップＳＴ５）。
Ｉ_RGB’（ｘ，ｙ）
＝（Ｉ_RGB（ｘ，ｙ）−（１−Ｉ_CC（ｘ，ｙ））×Ｂ
＋（１−Ｉ_CC（ｘ，ｙ））×Ｉ_B（ｘ，ｙ）
ただし、Ｉ_RGB’（ｘ，ｙ）はグラフィクス画像を構成する各画素の変更後の色データである。
なお、この例では、Ｉ_RGB（ｘ，ｙ）、Ｉ_CC（ｘ，ｙ）、Ｉ_B（ｘ，ｙ）及びＢは、０〜１．０の範囲の値である。

画像重畳部７は、画像読込部６から背景画像の色データＩ_B（ｘ，ｙ）を受け、色データ変更部５から変更後のグラフィクス画像の色データＩ_RGB’（ｘ，ｙ）を受けると、図８に示すように、レイアウト情報解析部２が指示する背景画像の重畳位置に、グラフィクス画像（円形画像、文字画像）を重畳する（ステップＳＴ６）。
即ち、画像重畳部７は、画像表示処理部８を制御して、背景画像の色データＩ_B（ｘ，ｙ）にしたがって背景画像をディスプレイ９に表示した後、レイアウト情報解析部２が指示する重畳位置に、グラフィクス画像の色データＩ_RGB’（ｘ，ｙ）にしたがって、グラフィクス画像をディスプレイ９に表示する。

以上で明らかなように、この実施の形態１によれば、グラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を各画素の輝度データＩ_CC（ｘ，ｙ）、そのグラフィクス画像の背景領域の色データＢ及び背景画像の色データＩ_Bにしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する色データ変更部５を設け、その色データ変更部５により色データが変更されたグラフィクス画像を背景画像に重畳するように構成したので、グラフィクス画像を背景画像に重畳するに際して、グラフィクス画像の背景領域の背景色と背景画像の色とが異なる場合でも、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができる効果を奏する。

なお、文字データのＲＧＢデータＡと背景画像のＲＧＢデータＢと透明度データαから、画像重畳後のＲＧＢデータＤを計算している技術が特開２００２−１０１２８７号公報に開示されているが、画像重畳後のＲＧＢデータＤを計算するに際して、文字データの背景領域（例えば、文字が“Ａ”であれば、“Ａ”の文字を表す線で囲まれている領域や、文字の外周の領域）のＲＧＢデータが考慮されていないので、文字データの背景領域が規定色以外の色で描画される場合には、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができなくなる。
Ｄ＝αＡ＋（１−α）Ｂ
これに対して、この実施の形態１では、グラフィクス画像の背景領域の色データＢを考慮して、グラフィクス画像を構成する各画素の色データＩ_RGB（ｘ，ｙ）を変更しているので、グラフィクス画像の背景領域がいかなる色で描画される場合でも、グラフィクス画像の境界領域に現れるジャギーを目立たなくすることができる。

この実施の形態１では、画像合成装置の構成要素であるレイアウト情報解析部２、グラフィクス画像生成部３、輝度データ生成部４、色データ変更部５、画像読込部６、画像重畳部７及び画像表示処理部８が専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）で構成されていることを想定しているが、画像合成装置がコンピュータで構成されている場合、レイアウト情報解析部２、グラフィクス画像生成部３、輝度データ生成部４、色データ変更部５、画像読込部６、画像重畳部７及び画像表示処理部８の処理内容が記述されているプログラムをコンピュータのメモリに格納し、そのコンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

実施の形態２．
上記実施の形態１では、レイアウト情報解析部２がグラフィクス画像を重畳する位置を指定するものについて示したが、記憶部１に記憶されているレイアウト情報が時々刻々と更新される場合、あるいは、時系列的に位置情報が変化するレイアウト情報が記憶部１に記憶されている場合、レイアウト情報解析部２がレイアウト情報にしたがってグラフィクス画像を重畳する位置を時々刻々と更新するようにしてもよい（例えば、垂直同期信号に同期して、表示内容を更新する）。
また、レイアウト情報解析部２がレイアウト情報にしたがってグラフィクス画像の大きさ等（例えば、円形画像の半径）を時々刻々と更新するようにしてもよい。
これにより、静止画のグラフィクス画像だけでなく、動画のグラフィクス画像を背景画像に重畳することができる。

なお、実施の形態１，２では、グラフィクス画像が円形画像と文字画像であるものについて示したが、これはあくまでも例示であり、ＲＧＢデータで表現されるものであれば、例えば、３ＤＣＧやフォントなどの画像や、ベクタ画像でもよい。

この発明の実施の形態１による画像合成装置を示す構成図である。 この発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。 背景画像を示す説明図である。 円形画像（グラフィクス画像）の色データＩ_RGB（ｘ，ｙ）を示す説明図である。 円形画像（グラフィクス画像）の輝度データＩ_CC（ｘ，ｙ）を示す説明図である。 文字画像（グラフィクス画像）の色データＩ_RGB（ｘ，ｙ）を示す説明図である。 文字画像（グラフィクス画像）の輝度データＩ_CC（ｘ，ｙ）を示す説明図である。 背景画像にグラフィクス画像が重畳された画像を示す説明図である。 従来の画像合成装置によって、背景画像にグラフィクス画像が重畳された画像を示す説明図である。

符号の説明

１ 記憶部、２ レイアウト情報解析部（位置指定手段）、３ グラフィクス画像生成部、４ 輝度データ生成部、５ 色データ変更部（色データ変更手段）、６ 画像読込部（画像合成手段）、７ 画像重畳部（画像合成手段）、８ 画像表示処理部（画像表示手段）、９ ディスプレイ（画像表示手段）。

Claims (2)

1. グラフィクス画像を構成する各画素の色データを各画素の輝度データ、そのグラフィクス画像の背景領域の色データ及び背景画像の色データにしたがって変更して、そのグラフィクス画像の描画領域と背景領域の境界領域に、そのグラフィクス画像の描画色と背景色の中間色を配置する色データ変更手段と、上記色データ変更手段により色データが変更されたグラフィクス画像を背景画像に重畳する合成処理を実施する画像合成手段と、上記画像合成手段により合成処理された画像を表示する画像表示手段とを備えた画像合成装置。
2. 背景画像に対するグラフィクス画像の重畳位置を画像合成手段に指定する位置指定手段を設けたことを特徴とする請求項１記載の画像合成装置。

Images