JP2006106989A - 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体 - Google Patents

Abstract

【課題】 前景画像と背景画像の合成時にアルファ値を再計算することなく高速処理が可能な画像合成装置を得る。
【解決手段】 画像合成装置１０は、入力された前景画像の各ドットに対してカラー情報の混合を行うと共にアルファ情報の混合をも行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理回路１１と、エリアシングを減じた前景画像のカラー情報を格納する前景用カラーバッファ１２と、エリアシングを減じた前景画像のアルファ情報を格納する前景用アルファバッファ１３と、背景画像のカラー情報を格納する背景用カラーバッファ１４と、エリアシングを減じた前景画像のアルファ情報を用いてエリアシングを減じた前景画像のカラー情報と背景画像のカラー情報とを合成する画像合成回路１５とを備える。
【選択図】 図１

Description

本発明は、例えば自然画像などの２次元画像を背景画像として、アンチエリアシング処理された３次元物体画像などの前景画像を合成する画像合成装置、これを搭載した例えば携帯ゲーム機など電子機器、これを用いた画像合成方法、これをコンピュータに実行させるための制御プログラムおよび、これを記録したコンピュータ読み出し可能な可読記録媒体に関する。

従来、デジタル画像において、自然画などの２次元画像を背景画像として、３次元物体画像などの前景画像を合成する場合に、その画像合成処理は例えば以下のようにして行われている。

まず、例えば風景などの背景画像と、例えば自動車の画像などの前景画像が準備されて、前景画像中で所定の領域を分離するマスク処理が行われる。このマスク処理では、例えば自動車部分だけが切り出される。

次に、前景画像中の切り出された領域を背景画像中に重ねるため、重ねる位置の指定、拡大縮小率の指定、切り出された領域の色調の調整などが行われた後、前景画像と背景画像とが合成される。

この画像合成処理において、前景画像の輪郭部が階段状に表示されたり、フリッカラインが生じるというエリアシングを減少させるために、前景画像の各画素（または各ドット）に対してカラー情報の混合（平均化）を行うアンチエリアシング処理が行われる。

例えばＭ×Ｎスーパーサンプリング法によるアンチエリアシング処理では、出力される前景画像のサイズ横Ｘドット×縦Ｙドットに対して、横Ｘ×Ｍドットで縦Ｙ×Ｎドットのサイズの前景画像データが入力される。出力画像データの各ドットに対してＭ×Ｎの入力画像データのカラー情報が平均化（混合）されて出力される。Ｍ×Ｎスーパーサンプリング法ではより広いデータを用いて前景画像の輪郭部がより正しく綺麗になる。

さらに、背景画像と前景画像との境界付近が不連続で不自然になることを改善するためにアルファ合成処理が行われる。

このアルファ合成処理では、例えばマスクの内側の画素が”１”、外側の画素が”０”として前景画像と背景画像の重み付けを表すアルファ値が設定され、このアルファ値を用いて背景画像のカラー情報と前景画像のカラー情報とが混合（重み付け平均）される。

従来から、例えば自然画像などの２次元画像に３次元物体画像を合成する場合には、前景画像となる３次元物体の輪郭部分と、背景画像となる２次元画像との合成比率をどのように設定するかということが課題となっている。

この課題を解決する手段として、例えば特許文献１には、前景画像の輪郭付近のマスク形状によってアルファ値を計算し、そのアルファ値を用いて前景画像と背景画像とを合成する方法が開示されている。
特開平４−３４０６７１号公報

しかしながら、上記特許文献１の構成では、前景画像の各ドットに対して画像合成前にアルファ値を再計算する必要があるため、画像合成に要する時間が増大するという問題があった。

しかも、このアルファ値を計算するために、輪郭部分の周囲のドット情報も必要となるため、ライン単位で処理を行う形式の描画システムに適用する場合にも、数ライン前の情報を保持しておく必要があるという問題があった。

本発明は、上記従来の問題を解決するもので、前景画像と背景画像の合成時にアルファ値を再計算することなく処理を高速化でき、また、ライン単位で処理を行う描画システムに対してもそのままの形態で適用可能な画像合成装置、これを搭載した電子機器、これを用いた画像合成方法、これをコンピュータに実行させるための制御プログラムおよび、これを記録したコンピュータ読み出し可能な可読記録媒体を提供することを目的とする。

本発明の画像合成装置は、背景画像中に前景画像を合成する画像合成装置において、該前景画像の各画素に対して、該前景画像のカラー情報の混合を行うと共に、該前景画像と該背景画像の重み付けを表すアルファ情報の混合を行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理を行うアンチエリアシング処理回路と、該エリアシングを減じた前景画像のカラー情報を格納する前景用カラー情報記憶手段と、該エリアシングを減じた前景画像のアルファ情報を格納する前景用アルファ情報記憶手段と、該背景画像のカラー情報を格納する背景用カラー情報記憶手段と、該エリアシングを減じた前景画像のアルファ情報を用いて、該エリアシングを減じた前景画像のカラー情報と該背景画像のカラー情報とを合成する画像合成処理を行う画像合成回路とを備えており、そのことにより上記目的が達成される。

本発明の画像合成装置は、背景画像中に前景画像を合成する画像合成装置において、該前景画像の各画素に対して、該前景画像のカラー情報の混合を行うと共に該前景画像と該背景画像の重み付けを表すアルファ情報の混合を行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理を行うアンチエリアシング処理手段と、該エリアシングを減じた前景画像のアルファ情報を用いて該背景画像のカラー情報と該エリアシングを減じた前景画像のカラー情報とを合成する画像合成処理を行う画像合成処理手段とを有し、そのことにより上記目的が達成される。

また、好ましくは、本発明の画像合成装置における前景画像として、入力画像の各画素に対してカラー情報およびアルファ情報を有する前景画像データが入力され、前記背景画像として、該入力画像の各画素に対してカラー情報を有する。

さらに、好ましくは、本発明の画像合成装置におけるアンチエリアシング処理は、出力される前景画像のサイズを横Ｘ画素（Ｘは自然数）で縦Ｙ画素（Ｙは自然数）とすると、横Ｘ×Ｍ画素（Ｍは自然数）で縦Ｙ×Ｎ画素（Ｎは自然数）サイズの前記前景画像データを入力として、Ｍ×Ｎスーパーサンプリング法により行う。

さらに、好ましくは、本発明の画像合成装置における前景画像データは、各画素ｄ（ｉ，ｊ）（ｉ＝０〜Ｘ×Ｍ−１、ｊ＝０〜Ｙ×Ｎ−１；Ｘ，Ｙ，Ｍ，Ｎは自然数）に対して、カラー情報ｃ（ｉ，ｊ）およびアルファ情報ａ（ｉ，ｊ）を有する。

さらに、好ましくは、本発明の画像合成装置におけるアルファ情報は、不透明を”１００”とし、透明を”０”とする。

さらに、好ましくは、本発明の画像合成装置におけるアルファ情報は、ある画像の一部を切り取って前景画像とする場合に、マスク情報を用いて、マスクされるドットを”０”、マスクされないドットを”１００”に変換した値とする。

さらに、好ましくは、本発明の画像合成装置におけるアルファ情報は、３次元物体を３次元画像処理回路からレンダリング出力する場合に、フレームバッファのアルファ値を全て”０”に初期化する。

さらに、好ましくは、本発明の画像合成装置におけるアルファ情報は、前記３次元物体を前記フレームバッファに描画する場合に、その描画される画素の前記アルファ値を”１００”とするか、または物体の不透明度を表す数値”１”〜”９９”とする。

さらに、好ましくは、本発明の画像合成装置におけるアンチエリアシング処理として、出力画像データの着目画素をＤ（ｐ，ｑ）（ｐ＝０〜Ｘ−１、ｑ＝０〜Ｙ−１）として、着目画素のカラー情報をＣ（ｐ，ｑ）、アルファ情報をＡ（ｐ，ｑ）とすると、
Ｃ（ｐ，ｑ）＝Σｃ’（ｉ，ｊ）／Ｍ×Ｎ ・・・（式１）
Ａ（ｐ，ｑ）＝Σａ（ｉ，ｊ）／Ｍ×Ｎ ・・・（式２）
但し、ｉ＝ｐ×Ｍ〜ｐ×Ｍ＋Ｍ−１、ｊ＝ｑ×Ｎ〜ｑ×Ｎ＋Ｎ−１、
ｃ’（ｉ，ｊ）はａ（ｉ，ｊ）＝０のときに０、それ以外のときにｃ（ｉ，ｊ）として、該（式１）および（式２）によりカラー情報の混合およびアルファ情報の混合を行う。

さらに、好ましくは、本発明の画像合成装置における画像合成処理として、出力画像データの着目ドットＲＤ（ｒ，ｓ）（ｒ＝０〜Ｘ−１、ｓ＝０〜Ｙ−１）として、着目画素のカラー情報ＲＣ（ｒ，ｓ）を、
ＲＣ（ｐ，ｑ）＝｛ＦＣ（ｒ，ｓ）×ＦＡ（ｒ，ｓ）＋ＢＣ（ｒ，ｓ）
×（１００−ＦＡ（ｒ，ｓ））｝／１００ ・・・（式３）
但し、ＦＣ（ｒ，ｓ）は前景画像のカラー情報、ＦＡ（ｒ，ｓ）は前景画像のアルファ情報、ＢＣ（ｒ，ｓ）は背景画像のカラー情報として該（式３）により算出する。

さらに、好ましくは、本発明の画像合成装置における前景用カラー情報記憶手段、前記前景用アルファ情報記憶手段および前記背景用カラー情報記憶手段はそれぞれ、所定画像サイズの全画素分の情報を保持可能なメモリ容量を有する。

さらに、好ましくは、本発明の画像合成装置におけるアンチエリアシング処理および画像合成処理は所定画像サイズ毎に処理を行う。

さらに、好ましくは、本発明の画像合成装置における前景用カラー情報記憶手段、前記前景用アルファ情報記憶手段および前記背景用カラー情報記憶手段はそれぞれ、所定画像サイズの１ライン分の情報を保持可能なメモリ容量を有する。

さらに、好ましくは、本発明の画像合成装置におけるアンチエリアシング処理および画像合成処理は所定画像サイズの１ライン毎に処理を行う。

さらに、好ましくは、本発明の画像合成装置における所定画像サイズは１画面である。

本発明の電子機器は、請求項１〜１６のいずれかに記載の上記画像合成装置を搭載して表示画面上で背景画像中に前景画像を表示可能とするものであり、そのことにより上記目的が達成される。

本発明の画像合成方法は、請求項２〜１６のいずれかに記載の上記画像合成装置を用いて、エリアシングを減じた前景画像を背景画像中に合成する画像合成方法であって、該前景画像のアンチエリアシング処理時に、該前景画像の各画素に対して該前景画像のカラー情報の混合を行うと共に、該前景画像のアルファ情報の混合を行うアンチエリアシング処理ステップと、該混合を行ったアルファ情報を用いて該背景画像と該前景画像とを合成する画像合成処理ステップとを有し、そのことにより上記目的が達成される。

本発明の制御プログラムは、請求項１８に記載の画像合成方法の各処理ステップをコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。

本発明の可読記録媒体は、請求項１９に記載の制御プログラムが記録されたコンピュータ読み出し可能とするものでありな媒体であり、そのことにより上記目的が達成される。
し、そのことにより上記目的が達成される。

上記構成により、以下に、本発明の作用について説明する。

本発明にあっては、背景画像のカラー情報と前景画像のカラー情報およびアルファ情報が入力されて、前景画像のアンチエリアシング処理時に前景画像のカラー情報の混合とアルファ情報の混合とが同時に行われて、その結果のカラー情報およびアルファ情報が記憶される。次に、画像合成処理時に背景画像のカラー情報とアンチエリアシング処理された前景画像のカラー情報とが、アンチエリアシング処理時に計算された前景画像のアルファ情報を用いて合成される。

アンチエリアシング処理時にアルファ値の計算も行われるため、アルファ値の計算に別途時間を必要とすることなく、特許文献１に記載されている従来技術のように画像合成時にアルファ値を再計算する必要もなく、高速に画像合成処理を行うことが可能となる。

さらに、前景用カラーバッファ、前景用アルファバッファおよび背景用カラーバッファに所定画像サイズ（例えば１画面）の１ライン分の情報を保持し、アンチエリアシング処理回路と画像合成回路とによって所定画像サイズの１ライン毎に処理を行うことにより、必要となる回路およびメモリ量がごくわずかになり、例えば携帯ゲーム機などの携帯用の電子機器に搭載してその表示画面上で背景画像中に前景画像が表示可能となる。

以上説明したように、本発明によれば、前景画像のアンチエリアシング処理時に前景画像のカラー情報の混合とアルファ情報の混合とが同時に行われ、画像合成処理時にはそのアンチエリアシング処理されたアルファ情報を用いて、背景画像のカラー情報とアンチエリアシング処理された前景画像のカラー情報とが合成されるため、アルファ値の計算に別途時間を必要とすることなく、従来技術のように画像合成のためにアルファ値を再計算することもなく、高速に画像合成を行うことができる。

また、１ライン分の情報を保持するバッファなどの記憶手段を設けて、１ライン毎に処理を行うことにより、必要となる回路や処理およびメモリ量を少なくして装置を小型化し、携帯用の電子機器に搭載するために適した画像合成装置を実現することができる。

以下に、本発明の画像合成装置の実施形態１，２について、図面を参照しながら説明する。
（実施形態１）
本実施形態１では、本発明の画像合成装置をハードウェアで構成する場合について説明する。

図１は、本発明の実施形態１である画像合成装置の構成例を示すブロック図である。

図１に示すように、本実施形態１の画像合成装置１０は、前景画像データが入力されるアンチエリアシング処理回路１１と、アンチエリアシング処理回路１１からのカラー情報を格納する前景用カラー情報記憶手段としての前景用カラーバッファ１２と、アンチエリアシング処理回路１１からのアルファ情報を格納する前景用アルファ情報記憶手段としての前景用アルファバッファ１３と、背景画像データが入力される背景用カラー情報記憶手段としての背景用カラーバッファ１４と、これらの前景用カラーバッファ１２、前景用アルファバッファ１３および背景用カラーバッファ１４からの各格納データが入力されて合成画像データを出力する画像合成回路１５とを有している。

アンチエリアシング処理回路１１では、各画素（または各ドット）のカラー情報および、背景画像との重み付けを表すアルファ情報を有する前景画像データがデジタルデータとして入力され、アンチエリアシング処理として、入力された前景画像データの各ドットに対してカラー情報の混合とアルファ情報の混合とが行われる。

これらのカラー情報の混合とアルファ情報の混合とを行う回路は、ハードウェア的に除算器や加算器などの各種論理回路を用いて高速演算処理が実現する。また、カラー情報の混合を行う演算回路と、アルファ情報の混合を行う演算回路とは同様の回路で構成できてそれらを共用できるというメリットがあるが、ここでは処理速度を重視するために、各演算回路を並列に設けて、カラー情報の混合とアルファ情報の混合とを同時に処理している。このように、アルファ情報の混合処理はカラー情報の混合処理時に行うので、アルファ情報の混合処理に時間を別途要することなく、従来のように前景画像と背景画像の合成時にアルファ値を再計算するこもなく、処理を高速化できる。

前景用カラーバッファ１２は、アンチエリアシング処理回路１１によってエリアシングを減じたアンチエリアシング処理結果のカラー情報が格納される。

前景用カラーバッファ１３には、アンチエリアシング処理回路１１によるアンチエリアシング処理結果のアルファ情報が格納される。

背景用カラーバッファ１４には、カラー情報を有する背景画像データがデジタルデータとして入力され、そのカラー情報が格納される。

画像合成回路１５では、背景用カラーバッファ１４に格納された背景画像データのカラー情報と、前景用カラーバッファ１２に格納された前景画像データのカラー情報とが、前景用アルファバッファ３に格納された前景画像データのアルファ情報を用いて合成され、その合成結果が合成画像データとして出力される。

上記構成により、以下に、本実施形態の画像合成装置１０を用いた画像合成方法について説明する。

まず、アンチエリアシング処理回路１１の動作について説明する。

図２は、図１のアンチエリアシング処理回路１１によって実行されるアンチエリアシング処理例の概要を示すフローチャートである。以下では、図２の各ステップにしたがって、順に説明する。

図２に示すように、まず、ステップＳ１において、アンチエリアシング処理回路１１に前景画像データが入力される。

本実施形態１では、アンチエリアシング手法の一例として、Ｍ×Ｎスーパーサンプリング法を用いて説明する。Ｍ×Ｎスーパーサンプリング法では、出力されるべき画像のサイズを横Ｘドットで縦Ｙドットとすると、横Ｘ×Ｍドットで縦Ｙ×Ｎドットのサイズの画像データが入力される。

また、本実施形態１では、予めアルファ情報を有する前景画像データが入力されることを想定している。このアルファ情報は、例えば不透明が”１００”、透明が”０”として設定される。また、ある画像の一部を切り取って前景画像とする場合には、一般にマスク情報と呼ばれる画像切り取り情報を用いて、マスクされるドットを”０”、マスクされないドットを”１００”と変換した値がアルファ情報として入力される。さらに、３次元物体を３次元画像処理回路からレンダリング出力する場合には、予めフレームバッファのアルファ値が全て”０”に初期化される。これは、フレームバッファにデータが残っていると、その残っているデータに悪影響されるからである。この３次元物体をフレームバッファに描画する際に、その描画されるドットのアルファ値が”１００”とされるか、または物体の不透明度を表す数値”１”〜”９９”としてアルファ情報が更新され、前景画像のアルファ情報が得られる。

このように、ステップＳ１では、入力画像の各ドットｄ（ｉ，ｊ）（ｉ＝０〜Ｘ×Ｍ−１、ｊ＝０〜Ｙ×Ｎ−１）に対して、少なくともカラー情報ｃ（ｉ，ｊ）およびアルファ情報ａ（ｉ，ｊ）を有する前景画像データがアンチエリアシング処理回路１１に入力される。

次に、ステップＳ２では、すべてのドットの計算が終了したか否かが判定される。すべてのドットの計算が終了していれば、アンチエリアシング処理が終了され、まだ計算が終了していない画素（またはドット）がある場合には、ステップＳ３の処理に進む。

さらに、ステップＳ３において、計算が終了してないあるドットに対して、アンチエリアシング処理が実行される。

ここでは、出力画像データの着目ドットをＤ（ｐ，ｑ）（ｐ＝０〜Ｘ−１、ｑ＝０〜Ｙ−１）として、着目ドットのカラー情報をＣ（ｐ，ｑ）、アルファ情報をＡ（ｐ，ｑ）とすると、
Ｃ（ｐ，ｑ）＝Σｃ’（ｉ，ｊ）／Ｍ×Ｎ ・・・（式１）
Ａ（ｐ，ｑ）＝Σａ（ｉ，ｊ）／Ｍ×Ｎ ・・・（式２）
（但し、ｉ＝ｐ×Ｍ〜ｐ×Ｍ＋Ｍ−１、ｊ＝ｑ×Ｎ〜ｑ×Ｎ＋Ｎ−１、
ｃ’（ｉ，ｊ）はａ（ｉ，ｊ）＝０のときに０、それ以外のときにｃ（ｉ，ｊ）とする）のように計算が行われて、カラー情報の混合およびアルファ情報の混合が行われる。

さらに、ステップＳ４において、カラー情報Ｃ（ｐ，ｑ）が前景用カラーバッファ１２の該当するメモリ領域ＦＭＣ（ｐ，ｑ）に格納され、アルファ情報Ａ（ｐ，ｑ）が前景用アルファバッファ１３の該当するメモリ領域ＦＭＡ（ｐ，ｑ）に格納される。再び、すべてのドットの計算が終了しているか否かの判定を行うためにステップＳ２の処理に戻る。

上記（式２）から明らかなように、本実施形態１では、アルファ情報も含めてアンチエリアシング処理が行われ、そのアルファ情報が前景用アルファバッファ１３に格納されることにより、画像合成時に再度アルファ情報の計算を行う必要がない。

次に、画像合成回路１５の動作について説明する。

図３は、図１の画像合成回路１５によって実行される画像合成処理例の概要を示すフローチャートである。以下では、図３の各ステップにしたがって、順に説明する。

図３に示すように、まず、ステップＳ１１において、すべての画素（またはドット）について処理が終了したか否かが判定される。すべてのドットについて処理が終了していれば画像合成の処理が終了し、まだ未処理のドットがあればステップＳ１２の処理に進む。

次に、ステップＳ１２において、まだ処理されていないあるドットを着目ドットＲＤ（ｒ，ｓ）（ｒ＝０〜Ｘ−１、ｓ＝０〜Ｙ−１）として、着目ドットのカラー情報ＲＣ（ｒ，ｓ）を、次の（式３）によって算出する。

ＲＣ（ｐ，ｑ）＝｛ＦＣ（ｒ，ｓ）×ＦＡ（ｒ，ｓ）＋ＢＣ（ｒ，ｓ）
×（１００−ＦＡ（ｒ，ｓ））｝／１００ ・・・（式３）
但し、ＦＣ（ｒ，ｓ）は前景用カラーバッファ１２に格納された前景画像のカラー情報、ＦＡ（ｒ，ｓ）は前景用アルファバッファ１３に格納された前景画像のアルファ情報、ＢＣ（ｒ，ｓ）は背景用カラーバッファ１４に格納された背景画像のカラー情報を示す。

上記（式３）から明らかなように、本実施形態では、前景画像のカラー情報と背景画像のカラー情報とが前景画像のアルファ情報の値によって混合されるため、前景画像の輪郭部分が不自然な色合いになることなく、前景画像と背景画像とを良好に合成することができる。

なお、本実施形態では、前景用カラーバッファ１２、前景用アルファバッファ１３および背景用カラーバッファ１４が、合成すべき画像サイズのドット分の情報を保持可能なメモリ容量を有することを前提として、アンチエリアシング処理回路１１および画像合成回路１５によって画像毎に処理を行っているが、前景用カラーバッファ１２、前景用アルファバッファ１３および背景用カラーバッファ１４として、画像の１ライン分の情報を保持可能なメモリ量を有するものを用いて、アンチエリアシング処理回路１１および画像合成回路１５によって画像の１ライン毎に処理を行うようにしてもよい。

この場合、まず、アンチエリアシング処理回路１１によって画像の１ライン分のアンチエリアシング処理を行い、前景用カラーバッファ１２および前景用アルファバッファ１３にアンチエリアシング処理されたデータを格納する。それと同時に前景画像と対応するラインの背景画像データを１ライン分だけ背景用カラーバッファ１４に格納しておく。次に、画像合成回路１５によって１ライン分の画像合成処理を行う。

このように、アンチエリアシング処理および画像合成処理を画像のライン数だけ逐次的に実行させることによって、回路規模やメモリ容量の制約が大きい携帯用電子機器に本発明の画像合成装置１０を搭載することが可能となる。
（実施形態２）
上記実施形態１では本発明の画像合成装置をハードウェアで構成する場合について説明したが、本実施形態２では、本発明の画像合成装置をソフトウェアで構成する場合について説明する。

図４は、本実施形態２の画像合成装置としてコンピュータによって処理する場合の構成例を示すブロック図である。

図４に示すように、本実施形態２の画像合成装置２０は、ＣＰＵ（中央演算処理装置）からなる制御手段２１と、本実施形態２の画像合成方法をコンピュータにより実行させるための処理手順（図２および図３の内容）が記述された制御プログラムおよびそのデータが格納されている可読記録媒体としてのＲＯＭ２２と、制御手段２１がワークメモリとして利用するＲＡＭ２３とを有している。

制御手段２１は、本発明の制御プログラムおよびそのデータに基づいて、前景画像のアンチエリアシング処理時に、前景画像の各画素（または各ドット）に対して前景画像のカラー情報の混合を行うと共に、前景画像のアルファ情報の混合を行うアンチエリアシング処理ステップ（図２参照）を実行するアンチエリアシング処理手段２１Ａと、この混合を行ったアルファ情報を用いて、背景画像と前景画像とを合成する画像合成処理ステップ（図３参照）を実行する画像合成処理手段２１Ｂとを有する。

可読記録媒体としては、各種ＩＣメモリ、光ディスク（例えばＣＤ）および磁気記録媒体（例えばＦＤ）などの小型携帯用記憶装置であり、本発明の制御プログラムおよびそのデータがコンピュータ読み取り可能な記録媒体であって、この記録媒体から読み取られた制御プログラムおよびそのデータがＲＯＭ２２からＲＡＭ２３内に格納されて制御手段２１によって実行される。

アンチエリアシング処理ステップは、出力される前景画像のサイズを横Ｘ画素で縦Ｙ画素とすると、横Ｘ×Ｍ画素で縦Ｙ×Ｎ画素のサイズの前記前景画像のデータを入力として、Ｍ×Ｎスーパーサンプリング法により行う。

前景画像データは、各画素ｄ（ｉ，ｊ）（ｉ＝０〜Ｘ×Ｍ−１、ｊ＝０〜Ｙ×Ｎ−１；Ｘ，Ｙ，Ｍ，Ｎは自然数）に対して、少なくともカラー情報ｃ（ｉ，ｊ）およびアルファ情報ａ（ｉ，ｊ）を有する。

アンチエリアシング処理ステップは、出力画像データの着目画素をＤ（ｐ，ｑ）（ｐ＝０〜Ｘ−１、ｑ＝０〜Ｙ−１）として、着目画素のカラー情報をＣ（ｐ，ｑ）、アルファ情報をＡ（ｐ，ｑ）とすると、
Ｃ（ｐ，ｑ）＝Σｃ’（ｉ，ｊ）／Ｍ×Ｎ ・・・（式１）
Ａ（ｐ，ｑ）＝Σａ（ｉ，ｊ）／Ｍ×Ｎ ・・・（式２）
但し、ｉ＝ｐ×Ｍ〜ｐ×Ｍ＋Ｍ−１、ｊ＝ｑ×Ｎ〜ｑ×Ｎ＋Ｎ−１、
ｃ’（ｉ，ｊ）はａ（ｉ，ｊ）＝０のときに０、それ以外のときにｃ（ｉ，ｊ）として、上記（式１）および（式２）によりカラー情報の混合およびアルファ情報の混合を行う。

これらのカラー情報の混合とアルファ情報の混合とを行う回路は、ソフトウェア的にプログラムに基づいて制御手段２１が実行する。また、カラー情報の混合を行う演算処理と、アルファ情報の混合を行う演算処理とは並列に同時処理する。このように、アルファ情報の混合処理はカラー情報の混合処理時に行うので、アルファ情報の混合処理に時間を別途要することなく、従来のように前景画像と背景画像の合成時にアルファ値を再計算するこもなく、処理を高速化できる。

また、画像合成処理ステップは、出力画像データの着目ドットＲＤ（ｒ，ｓ）（ｒ＝０〜Ｘ−１、ｓ＝０〜Ｙ−１）として、着目ドットのカラー情報ＲＣ（ｒ，ｓ）を、次の（式３）により算出する。

ＲＣ（ｐ，ｑ）＝｛ＦＣ（ｒ，ｓ）×ＦＡ（ｒ，ｓ）＋ＢＣ（ｒ，ｓ）
×（１００−ＦＡ（ｒ，ｓ））｝／１００ ・・・（式３）
但し、ＦＣ（ｒ，ｓ）は前景画像のカラー情報、ＦＡ（ｒ，ｓ）は前景画像のアルファ情報、ＢＣ（ｒ，ｓ）は背景画像のカラー情報とする。

以上により、本実施形態１，２によれば、画像合成装置１０、２０は、入力された前景画像の各ドットに対してカラー情報の混合を行うと共にアルファ情報の混合をも行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理と、エリアシングを減じた前景画像のアルファ情報を用いて、エリアシングを減じた前景画像のカラー情報と背景画像のカラー情報とを合成する画像合成処理とを行う。これによって、前景画像と背景画像の合成時にアルファ値を再計算することなく高速処理を行うことができる。

なお、図２と図３のフローチャートでは、すべてのドットとしているが、カラー情報の混合およびアルファ情報の混合や、画像合成は前景画像の輪郭部分のドットのみを検出して行ってもよい。

上記実施形態１では、アンチエリアシング手法の一例として、Ｍ×Ｎスーパーサンプリング法を用いて説明したが、その他のアンチエリアシング手法を用いて行ってもよいことは言うまでもないことである。

以上のように、本発明の好ましい実施形態１，２を用いて本発明を例示してきたが、本発明は、この実施形態１，２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１，２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、例えば自然画像などの２次元画像を背景画像として、アンチエリアシング処理された３次元物体画像などの前景画像を合成する画像合成装置、これを搭載した例えば携帯ゲーム機などの電子機器、この画像合成装置を用いた画像合成方法、これをコンピュータに実行させるための制御プログラムおよび、これを記録したコンピュータ読み出し可能な可読記録媒体の分野において、自然画像などの２次元画像を背景画像として、アンチエリアシング処理された３次元物体画像などの前景画像を合成する場合に、前景画像のアンチエリアシング処理時に前景画像のカラー情報の混合とアルファ情報の混合とが行われ、画像合成処理時にはそのアルファ情報を用いて背景画像のカラー情報とアンチエリアシング処理された前景画像のカラー情報とが合成されるため、従来技術のように画像合成のためにアルファ値を再計算することなく、高速に画像合成を行って、前景画像の境界部分が不自然な色合いとなることなく、良好な合成画像を得ることができる。また、１ライン分の情報を保持するバッファなどの記憶手段を設けて、１ライン毎に処理を行うことにより、必要となる回路や処理およびメモリ量を少なくして装置を小型化し、携帯ゲーム機などの携帯用電子機器に搭載するために適した画像合成装置を実現することができる。

本発明の実施形態１である画像合成装置の構成例を示すブロック図である。 図１のアンチエリアシング処理回路によって実行されるアンチエリアシング処理例を説明するためのフローチャートである。 図１の画像合成回路によって実行される画像合成処理例を説明するためのフローチャートである。 本実施形態２の画像合成装置としてコンピュータによって処理する場合の構成例を示すブロック図である。

符号の説明

１０，２０ 画像処理装置
１１ アンチエリアシング処理回路
１２ 前景用カラーバッファ（前景用カラー情報記憶手段）
１３ 前景用アルファバッファ（前景用アルファ情報記憶手段）
１４ 背景用カラーバッファ（背景用カラー情報記憶手段）
１５ 画像合成回路
２１ 制御手段（ＣＰＵ）
２１Ａ アンチエリアシング処理手段
２１Ｂ 画像合成処理手段
２２ ＲＯＭ（記憶手段）
２３ ＲＡＭ（記憶手段）

Claims (20)

1. 背景画像中に前景画像を合成する画像合成装置において、
   該前景画像の各画素に対して、該前景画像のカラー情報の混合を行うと共に、該前景画像と該背景画像の重み付けを表すアルファ情報の混合を行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理を行うアンチエリアシング処理回路と、
   該エリアシングを減じた前景画像のカラー情報を格納する前景用カラー情報記憶手段と、
   該エリアシングを減じた前景画像のアルファ情報を格納する前景用アルファ情報記憶手段と、
   該背景画像のカラー情報を格納する背景用カラー情報記憶手段と、
   該エリアシングを減じた前景画像のアルファ情報を用いて、該エリアシングを減じた前景画像のカラー情報と該背景画像のカラー情報とを合成する画像合成処理を行う画像合成回路とを備えた画像合成装置。
2. 背景画像中に前景画像を合成する画像合成装置において、
   該前景画像の各画素に対して、該前景画像のカラー情報の混合を行うと共に該前景画像と該背景画像の重み付けを表すアルファ情報の混合を行って、エリアシングを減じた前景画像を生成するアンチエリアシング処理を行うアンチエリアシング処理手段と、
   該エリアシングを減じた前景画像のアルファ情報を用いて該背景画像のカラー情報と該エリアシングを減じた前景画像のカラー情報とを合成する画像合成処理を行う画像合成処理手段とを有する画像合成装置。
3. 前記前景画像として、入力画像の各画素に対してカラー情報およびアルファ情報を有する前景画像データが入力され、前記背景画像として、該入力画像の各画素に対してカラー情報を有する背景画像データが入力される請求項１または２に記載の画像合成装置。
4. 前記アンチエリアシング処理は、出力される前景画像のサイズを横Ｘ画素（Ｘは自然数）で縦Ｙ画素（Ｙは自然数）とすると、横Ｘ×Ｍ画素（Ｍは自然数）で縦Ｙ×Ｎ画素（Ｎは自然数）サイズの前記前景画像データを入力として、Ｍ×Ｎスーパーサンプリング法により行う請求項３に記載の画像合成装置。
5. 前記前景画像データは、各画素ｄ（ｉ，ｊ）（ｉ＝０〜Ｘ×Ｍ−１、ｊ＝０〜Ｙ×Ｎ−１；Ｘ，Ｙ，Ｍ，Ｎは自然数）に対して、カラー情報ｃ（ｉ，ｊ）およびアルファ情報ａ（ｉ，ｊ）を有する請求項３または４に記載の画像合成装置。
6. 前記アルファ情報は、不透明を”１００”とし、透明を”０”とする請求項１〜５のいずれかに記載の画像合成装置。
7. 前記アルファ情報は、ある画像の一部を切り取って前景画像とする場合に、マスク情報を用いて、マスクされるドットを”０”、マスクされないドットを”１００”に変換した値とする請求項１〜５のいずれかに記載の画像合成装置。
8. 前記アルファ情報は、３次元物体を３次元画像処理回路からレンダリング出力する場合に、フレームバッファのアルファ値を全て”０”に初期化する請求項１〜５のいずれかに記載の画像合成装置。
9. 前記アルファ情報は、前記３次元物体を前記フレームバッファに描画する場合に、その描画される画素の前記アルファ値を”１００”とするか、または物体の不透明度を表す数値”１”〜”９９”とする請求項８に記載の画像合成装置。
10. 前記アンチエリアシング処理として、出力画像データの着目画素をＤ（ｐ，ｑ）（ｐ＝０〜Ｘ−１、ｑ＝０〜Ｙ−１）として、着目画素のカラー情報をＣ（ｐ，ｑ）、アルファ情報をＡ（ｐ，ｑ）とすると、
    Ｃ（ｐ，ｑ）＝Σｃ’（ｉ，ｊ）／Ｍ×Ｎ ・・・（式１）
    Ａ（ｐ，ｑ）＝Σａ（ｉ，ｊ）／Ｍ×Ｎ ・・・（式２）
    但し、ｉ＝ｐ×Ｍ〜ｐ×Ｍ＋Ｍ−１、ｊ＝ｑ×Ｎ〜ｑ×Ｎ＋Ｎ−１、
    ｃ’（ｉ，ｊ）はａ（ｉ，ｊ）＝０のときに０、それ以外のときにｃ（ｉ，ｊ）として、該（式１）および（式２）によりカラー情報の混合およびアルファ情報の混合を行う請求項４または５に記載の画像合成装置。
11. 前記画像合成処理として、出力画像データの着目ドットＲＤ（ｒ，ｓ）（ｒ＝０〜Ｘ−１、ｓ＝０〜Ｙ−１）として、着目画素のカラー情報ＲＣ（ｒ，ｓ）を、
    ＲＣ（ｐ，ｑ）＝｛ＦＣ（ｒ，ｓ）×ＦＡ（ｒ，ｓ）＋ＢＣ（ｒ，ｓ）
    ×（１００−ＦＡ（ｒ，ｓ））｝／１００ ・・・（式３）
    但し、ＦＣ（ｒ，ｓ）は前景画像のカラー情報、ＦＡ（ｒ，ｓ）は前景画像のアルファ情報、ＢＣ（ｒ，ｓ）は背景画像のカラー情報として該（式３）により算出する請求項１または２に記載の画像合成装置。
12. 前記前景用カラー情報記憶手段、前記前景用アルファ情報記憶手段および前記背景用カラー情報記憶手段はそれぞれ、所定画像サイズの全画素分の情報を保持可能なメモリ容量を有する請求項１に記載の画像合成装置。
13. 前記アンチエリアシング処理および画像合成処理は所定画像サイズ毎に処理を行う請求項１、２および１２のいずれかに記載の画像合成装置。
14. 前記前景用カラー情報記憶手段、前記前景用アルファ情報記憶手段および前記背景用カラー情報記憶手段はそれぞれ、所定画像サイズの１ライン分の情報を保持可能なメモリ容量を有する請求項１に記載の画像合成装置。
15. 前記アンチエリアシング処理および画像合成処理は所定画像サイズの１ライン毎に処理を行う請求項１、２および１４のいずれかに記載の画像合成装置。
16. 前記所定画像サイズは１画面である請求項１２〜１５のいずれかに記載の画像合成装置。
17. 請求項１〜１６のいずれかに記載の画像合成装置を搭載して表示画面上で背景画像中に前景画像を表示可能とする電子機器。
18. 請求項２〜１６のいずれかに記載の画像合成装置を用いて、エリアシングを減じた前景画像を背景画像中に合成する画像合成方法であって、
    該前景画像のアンチエリアシング処理時に、該前景画像の各画素に対して該前景画像のカラー情報の混合を行うと共に、該前景画像のアルファ情報の混合を行うアンチエリアシング処理ステップと、
    該混合を行ったアルファ情報を用いて該背景画像と該前景画像とを合成する画像合成処理ステップとを有する画像合成方法。
19. 請求項１８に記載の画像合成方法の各処理ステップをコンピュータに実行させるための制御プログラム。
20. 請求項１９に記載の制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体。

Images