JP2009094902A - 画像合成装置、画像合成方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 画像を拡大または縮小し、他の画像に合成するにあたって、簡易な処理でありながらも、画像のデザインが変化しないように補完を行い、合成後の画像が不自然にならないようにすることができる画像合成装置、画像合成方法、プログラムおよび記録媒体提供する。
【解決手段】 透明部分および不透明部分を含む画像に対し、拡大または縮小処理を行い、拡大または縮小処理が行われた後の画像における透明部分のうち不透明部分と隣接する画素に対して、この画素を中心として、拡大または縮小処理が行われた後の画像における透明部分の画素を含む予め定める微小領域に含まれる画素に基づいて、色情報の補正処理を行う画像処理部１０７と、画像処理部１０７によって補正された画像、および他の画像を合成する画像合成部１０３とを含む。
【選択図】 図１

Description

本発明は、透明部分を含む画像を拡大または縮小して、他方の画像と合成する画像合成装置、画像合成方法、プログラムおよび記録媒体に関する。

近年においては、地上デジタル放送、デジタルＣＳ（Communication Satellite)放送、およびデジタルＢＳ（Broadcast Satellite )放送などのデジタル放送は、一般的なサービスとなっている。さらに、ワンセグ放送（携帯電話・移動体端末向けの１セグメント部分受信サービス）など、携帯端末によってデジタル放送画像を視聴するも一般的となっている。さらには、インターネット上でサーバに保持された動画データをストリーミングあるいはダウンロードして端末装置内に格納し、視聴することも行われている。

これらの放送データあるいは動画データに対しては、フォーマット変換などを行い、必要に応じて別の画像を拡大もしくは縮小して合成し、合成した画像が端末の表示画面に表示されることが多い。たとえば、デジタル衛星放送ではデータ放送サービスが行われており、通常の番組画像に重ねて文字データが表示出力されるようになっている。

また、コンピュータおよび携帯端末などにおいて、背景画像または表示中の動画データと、各種機能を示すアイコン、バッテリの残量レベル、またはメールなどの文字列などとを、重畳して表示することは一般的に行われている。

前述した画像の拡大または縮小を行なう場合、最近傍法（Nearest Neighbor法）、または線形補間法（バイリニア法）などの手法を用いて、隣接あるいは周辺画素から画素を補間したり、画素を間引きしたりすることによって行われる。

前述した手法に加え、さらに画像補間処理を行う方法が提案されている。たとえば特許文献１には、互いに異なる透明度値を有する複数の原画素から補間画素を得る場合に、所定の規則に従って複数の原画素の中から特定原画素を選択し、この選択された原画素が有する透明度値あるいは色成分を補間画素に対して設定する手法が提案されている。

また、画像を合成する際の一般的な方法として、アルファブレンディングが知られている。アルファブレンディングとは、不透明度すなわち透過しない割合であるα値を計算し、一方の画像データに対してα値を乗算し拡大あるいは縮小処理を行い、（１−α）値を乗算された他方の画像データとを加算するようにした画像合成方法である。この方法おいては、画像の境界部分において、α値を連続的に変化させることで滑らかな表示を実現している。

しかしながら、アルファブレンディングを行った場合に発生する画像境界付近で色化けが発生する場合がある。そこで色ばけを防止する方法として、特許文献２において、以下のよう手法が提案されている。優先度の高い一方の画像データに対して不透明度α値を乗算してから拡大縮小し、（１−α）値が乗算されて拡大縮小された他方の画像データと加算する。この手法によれば、優先度の高い一方の画像データに対して不透明度α値を乗算しておくこと、画像境界付近での色化けの発生が防止できる。

特開２００３−１５８７４８号公報 特開２００３−３０９８６０号公報

画像の形状が意味を持つ場合、たとえばアイコン画像、あるいは、絵文字画像などにおいて、原画素を選択して補間する方法では、不自然感、違和感が発生する。

図１３は、従来の技術による画像の拡大処理を説明する図である。図１３（１）は、原画像であり、各画素において、色成分Ｒ（赤），Ｇ（緑），Ｂ（青）に各々に０〜２５５の範囲の色成分値が設定されている。原画像は、縦横に５×５の画素がマトリクス状に配列されて成る。またここでは、図１３（１）における原画像の左上の画素の座標を（１，１）としている。ここで座標を（ｘ，ｙ）としたときに、ｘは縦方向の位置を表し、ｙは横方向の位置を表す。各色成分Ｒ，Ｇ，Ｂは、最大２５６段階で表現され、その値が大きくなるほど、その色成分が濃いことを示している。たとえば、ある画素の色成分値が、［Ｒ＝２５５，Ｇ＝２５５，Ｂ＝２５５］であれば、その画素は白色であり、また、［Ｒ＝０，Ｇ＝０，Ｂ＝０］であれば黒色である。本例では、透明度（透過色）を示す情報は、各色成分Ｒ，Ｇ，Ｂの色成分値が予め定義された特定の値であれば、その画素は完全な透明であると定義しているが、透明度α値を定義しても同様に扱うことが可能である。図 において、黒塗り四角（■）は［Ｒ＝２５５，Ｇ＝０，Ｂ＝０］（不透明）の画素を表し、黒塗り菱形（◆）は［Ｒ＝１２８，Ｇ＝０，Ｂ＝１２８］（不透明）の画素を表し、黒丸（●）は［Ｒ＝０，Ｇ＝０，Ｂ＝２５５］（不透明）の画素を表し、白抜き四角（□）は透明色（透過色）の画素を表す。

図１３（１）に示される原画像を、この原画像の縦方向の長さを２倍、横方向の長さを２倍にし、面積が４倍となる画像に拡大する場合を考える。単純な画像拡大方法である最近傍法を適用すると、以下の計算式（１）〜（３）を用いて、拡大前の各画素の色成分値(Ｒ０，Ｇ０，Ｂ０)から、拡大後の画像の座標ｘ，ｙにおける画素が持つＲＧＢの色成分値(Ｒ１(ｘ，ｙ)，Ｇ１(ｘ，ｙ)，Ｂ１(ｘ，ｙ))が計算できる。
Ｒ１(ｘ，ｙ)＝Ｒ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（１）
Ｇ１(ｘ，ｙ)＝Ｇ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（２）
Ｂ１(ｘ，ｙ)＝Ｂ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（３）

ただし式（１）〜（３）において、「Ｒ０(ａ，ｂ)」は、拡大前画像のｘ＝ａ，ｙ＝ｂの画素における赤成分値を示し、同様に「Ｇ０(ａ，ｂ)」、「Ｂ０(ａ，ｂ)」は、拡大前の緑、青の色成分値をそれぞれ示す。また「ｉｎｔ(ａ)」は、ａの小数点以下を四捨五入し整数化した値を示す。

図１３（２）は、式（１）〜（３）を用いて求めた拡大画像を示す図である。この図１３（２）に示される拡大画像おいては、点線で囲まれた最小座標位置（１，５）と最大座標位置(６，１０)とを含む矩形領域Ｆ１において、対応する原画像の領域では不透明部分と透明部分との境界が、斜め４５度であるにもかかわらず、階段状となっており、ジャギー感（ギザギザ感）が感じられる問題点は明らかである。

次に、特許文献１に記載されている手法を用いて、原画像を同様に４倍に拡大した場合について説明する。拡大画像の画素(ｘ，ｙ)の各色成分は、原画像の画素が透過色か非透過（不透明）色かによって異なり、以下の計算式（４）〜（１５）によって求めることができる。

原画像の[(ｘ／２)，((ｙ−１)／２)]と[(ｘ／２)，((ｙ＋１)／２)]とが、ともに非透明色の場合は、以下の式（４）〜（６）を用いる。
Ｒ１(ｘ，ｙ)＝(Ｒ０(ｘ／２，(ｙ＋１)／２)
＋Ｒ０(ｘ／２，(ｙ＋１)／２))／２ …（４）
Ｇ１(ｘ，ｙ)＝(Ｇ０(ｘ／２，(ｙ＋１)／２)
＋Ｒ０(ｘ／２，(ｙ＋１)／２))／２ …（５）
Ｂ１(ｘ，ｙ)＝(Ｂ０(ｘ／２，(ｙ＋１)／２)
＋Ｒ０(ｘ／２，(ｙ＋１)／２))／２ …（６）

原画像の[(ｘ／２)，((ｙ−１)／２)]が透明色であり、[(ｘ／２)，((ｙ＋１)／２)]が非透明色の場合は、以下の式（７）〜（９）を用いる。
Ｒ１(ｘ，ｙ)＝Ｒ０(ｘ／２，(ｙ＋１)／２) …（７）
Ｇ１(ｘ，ｙ)＝Ｇ０(ｘ／２，(ｙ＋１)／２) …（８）
Ｂ１(ｘ，ｙ)＝Ｂ０(ｘ／２，(ｙ＋１)／２) …（９）

原画像の[(ｘ／２)，((ｙ−１)／２)]が非透明色であり、[(ｘ／２)，((ｙ＋１)／２)]が透明色の場合は、以下の式（１０）〜（１２）を用いる。
Ｒ１(ｘ，ｙ)＝Ｒ０(ｘ／２，(ｙ＋１)／２) …（１０）
Ｇ１(ｘ，ｙ)＝Ｇ０(ｘ／２，(ｙ＋１)／２) …（１１）
Ｂ１(ｘ，ｙ)＝Ｂ０(ｘ／２，(ｙ＋１)／２) …（１２）

原画像の[(ｘ／２)，((ｙ−１)／２)]および[(ｘ／２)，((ｙ＋１)／２)]がともに透明色の場合は、以下の式（１３）〜（１５）を用いる。
Ｒ１(ｘ，ｙ)＝Ｒ０(ｘ／２，(ｙ−１)／２) …（１３）
Ｇ１(ｘ，ｙ)＝Ｇ０(ｘ／２，(ｙ−１)／２) …（１４）
Ｂ１(ｘ，ｙ)＝Ｂ０(ｘ／２，(ｙ−１)／２) …（１５）

図１３（３）は、式（４）〜（１５）を用いて求めた拡大画像を示す図である。この図１３（３）に示される拡大画像おいても、明らかに図１３（２）に示される拡大画像と同様のジャギー感の問題が残っていることが判る。また、実線で囲まれた最小座標位置（５，１）と最大座標位置(７，４)とを含む矩形領域Ｆ２において、赤色[Ｒ＝２５５，Ｇ＝０，Ｂ＝０]の画素の横方法の幅が３ドットとなって、原画像の対応する部分と比較して３倍の幅となり、横方向に拡大すべき倍率である２倍よりも大きくなっており、原画像が保有している形状バランスを崩している問題点がある。

さらに、赤色の画素と青色[Ｒ＝０，Ｇ＝０，Ｂ＝２５５]の画素との境界領域に、それぞれの色成分が合成された紫色[Ｒ＝１２８，Ｇ＝０，Ｂ＝１２８]という、原画像には存在しなかった色を有する画素が出現している。

前述した手法以外に、画像の拡大方法として、バイリニアと呼ばれる線形補間方法が良く用いられている。これは変形後のあるピクセルが変形前のどの領域に相当するかを計算し、その領域内にあるピクセルの色の平均値を変形後のピクセルの色とする。この方法では、複数のピクセルの色の平均値を使うので、拡大または縮小後の画像には原画像には存在しなかった色が含まれることとなる。

また、原画像に透明部分と非透明部分とがある場合、透明部分の非透明部分との境界において、半透明の画素が生成される。この半透明の画素からなる半透明領域を持つ画像と、他の動画像とを、透過度を表すα値を用いて合成した場合、画像境界付近での色化けの問題が発生するのは特許文献２の説明にある通りである。この色化けは、特許文献２による手法で回避可能ではあるが、拡大または縮小画像に、元々の画像には存在しなかった色が含まれてしまう点は変わらない。

以上にように、最近傍法あるいは特許文献１の手法によって画像を拡大した場合はジャギーが残り、このジャギー感は、合成される画像が動画であれば、周囲の色が変化するのでより目立つことによって、より不自然さが強調されるのは明らかである。

また、線形補間法あるいは特許文献２における手法で、縮小拡大処理を行った場合、原画像になかった色が出現する。このことはアイコン画像および絵文字画像など、色が変わることで本来のデザインから逸脱し、不自然さの要因となっている。これは特に原画像の色数が少ないデータにおいて、色成分の境界位置に本来存在しない色が出現することでユーザに不自然さを感じさせる問題がある。

また特許文献１の手法では、たとえば絵文字画像などにおいて、縮小拡大される大きさによって線幅などのバランスが崩れ、デザインの統一性がなくなり、ユーザに不自然さおよび違和感を感じさせる問題がある。

図１４は、従来の技術を用いて画像の縮小処理を説明する図である。図１４（１）は、原画像と、この原画像を最近傍法を用いて縮小した縮小画像とを表し、図１４（２）は、原画像と、この原画像を周辺画素の色情報を用いて補間を行って縮小した縮小画像とを表す。このように画像の縮小においても、図１４（１）に示す最近傍による縮小では、本来連続している部分が欠ける現象が発生し、また図１４（２）に示す周辺画素の色情報を用いて補間を行う縮小では、本来存在しなかった色が発生する問題が存在する。

したがって本発明の目的は、前述した課題を考慮し、たとえば透明部分を有するアイコン画像および絵文字画像などの画像を拡大または縮小し、他の画像に合成するにあたって、簡易な処理でありながらも、画像のデザインが変化しないように補完を行い、合成後の画像が不自然にならないようにすることができる画像合成装置、画像合成方法、プログラムおよび記録媒体を提供することである。

透明部分および不透明部分を含む画像に対し、拡大または縮小処理を行う画像サイズ調整手段と、
拡大処理後または縮小処理前の画像における透明部分のうち不透明部分と隣接する画素に対して、この画素を中心として、拡大処理後または縮小処前の画像における透明部分の画素を含む予め定める微小領域に含まれる画素に基づいて、拡大または縮小処理後の画素における色情報の補正処理を行う画像補正手段と、
前記画像補正手段によって補正された画像、および他の画像を合成する画像合成手段とを含むことを特徴とする画像合成装置である。

また本発明は、前記画像補正手段は、前記予め定める微少領域を、前記透明画素部分に含まれる補正処理の対象となる画素に関して、この画素を囲む所定の領域の画素を含むように選ぶことを特徴とする。

また本発明は、前記画像補正手段は、前記予め定める微少領域を、拡大または縮小の倍率に応じて選ぶことを特徴とする。

また本発明は、前記画像補正手段は、拡大または縮小の倍率に応じて、前記補正処理を行う基準を変更することを特徴とする。

また本発明は、透明部分の画素を予め定義した色情報で表し、
前記画像補正手段は、前記色情報に基づいて透明部分の画素であるか、または不透明部分の画素であるかを判定することを特徴とする。

また本発明は、前記画像補正手段は、前記予め定める微少領域とすべき領域に関する領域情報を複数有し、相互に隣接する透明部分の画素および不透明部分の画素が変化する方向と、拡大処理の倍率とに応じて、前記複数の領域情報のうちのいずれかを選択して、選択された領域情報に関する領域を、予め定める微小領域とすることを特徴とする。

また本発明は、画像データを格納する画像格納部を含み、
画像サイズ調整手段は、前記画像格納部に格納されている画像データに対して、拡大または縮小処理を行うことを特徴とする。

また本発明は、前記画像格納部には、圧縮された画像データが格納され、
前記画像サイズ調整手段および前記画像補正手段が、前記圧縮された画像データに対して一連の連続した処理を行って、圧縮前の画像データに展開することを特徴とする。

また本発明は、前記画像格納部に格納された画像データは、機器の状態または操作ボタンを示すアイコン画像として表示される画像データを含むことを特徴とする。

また本発明は、前記画像格納部に格納された画像データは、絵文字画像として表示される画像データを含むことを特徴とする。

また本発明は、通信回線に接続され、前記拡大縮小処理手段によって拡大または縮小処理の対象となる画像データを、前記通信回線を経由して取得する通信手段を含むことを特徴とする。

また本発明は、前記通信手段は、画像、文字コードおよびメッセージ作成時における文字フォントの表示サイズに関する情報を取得し、
前記画像サイズ調整手段は、前記通信手段によって取得された情報に基づいて、メッセージ作成時における画像と文字との比率を維持するように拡大または縮小処理における倍率を決定することを特徴とする。

また本発明は、前記画像合成手段は、前記画像補正手段によって補正された画像を、透過度合いを示す透明度値に応じて合成することを特徴とする。

また本発明は、透明部分および不透明部分を含む画像に対し、拡大または縮小処理を行う画像処理工程と、
拡大または縮小処理が行われた後の画像における透明部分のうち不透明部分と隣接する画素に対して、この画素を中心として、拡大または縮小処理が行われた後の画像における透明部分の画素を含む予め定める微小領域に含まれる画素に基づいて、色情報の補正処理を行う画像補正工程と、
補正処理が行われた後の画像、および他の画像を合成する画像合成工程とを含むことを特徴とする画像合成方法である。

また本発明は、コンピュータを、前記画像合成装置として機能させるためのプログラムである。
また本発明は、前記プログラムを記録したコンピュータ読取り可能な記録媒体である。

本発明によれば、単純かつ高速に、拡大または縮小された画像における違和感を低減して、前記画像と他の画像とを合成することができる。画像の拡大処理または縮小処理は、最近傍法に代表される単純な手法を適用すればよく、たとえば原画像のうち、拡大または縮小後の画像の各画素の位置に相当する位置の近傍にある画素の色情報を取得し、拡大または縮小後の画素の色情報とする。特に拡大処理後または縮小処理前の画像において、透明部分のうち、不透明部分と隣接する透明画素部分に対してのみ色情報の補正処理を行うため、全ての画素に対して補正処理を行う場合に比較して処理量が極めて小さくなる。

さらに、特に絵文字画像など、大きさが変わることによって画像のデザインが変わってしまうと、ユーザが不自然さを感じる場合があるが、前述した予め定める微小領域に含まれる画素に基づいて、色情報の補正処理を行うことによって、この不自然さが生じてしまうことを解消あるいは低減することができる。また合成される他の画像が変化する場合であっても、ユーザに透明部分および不透明部分の境界におけるエッジ部分に発生する階段状のジャギー感を感じさせことを抑制して、拡大された画像と他の画像との合成が可能となる。

また本発明によれば、コンピュータを前記画像合成装置として機能せるためのプログラムを提供することができる。

また本発明によれば、前記プログラムを記録したコンピュータ読取可能な記録媒体として提供することができる。

以下に、本発明の実施の形態を、図面を参照しながら説明する。なお、以下の説明は一例であって、これらによって本発明の構成が限定されるものではない。

図１は、本発明の実施の一形態である画像合成装置１の構成を示す機能ブロック図である。画像合成装置１は、動画信号制御部１０１と、動画生成部１０２と、画像合成部１０３と、画像出力部１０４と、画像信号制御部１０５と、画像選択部１０９と、画像処理部１０７と、画像バッファ部１０８と、画像格納部１０９と、第１および第２入力端子１１０，１１１と、出力端子１１２とを含んで構成される。動画信号制御部１０１と、動画生成部１０２と、画像合成部１０３と、画像出力部１０４と、画像信号制御部１０５と、画像選択部１０９と、画像処理部１０７との各部は、たとえばマイクロコンピュータによって実現される。前記マイクロコンピュータは、中央演算処理装置（Central Processing Unit：ＣＰＵ）と予め定めるプログラムが記録されたメモリとを含んで構成され、ＣＰＵが予め定めるプログラムを実行することによって前記各部として機能する。画像バッファ部１０８と、画像格納部１０９とはメモリによって実現される。

第１入力端子１１０からは、動画像データを含む映像信号が入力される。この映像信号は、テレビジョン放送に代表される放送電波を受信することによって取得されてもよく、インターネットに代表されるネットワーク回線を介して取得されてもよく、画像合成装置１が設けられる端末内に格納された動画ファイルを読み出すことによって取得されてもよく、種別を問わない。第１入力端子１１０から入力された映像信号は、動画信号制御部１０１に与えられる。動画信号制御部１０１は、与えられた映像信号から表示に必要な信号を抽出して、動画生成部１０２に与える。動画生成部１０２は、動画信号制御部１０１から与えられる表示に必要な信号を、３原色コンポーネントデータＲ，Ｇ，Ｂによって表される動画像データに変換して、変換された動画像データを画像合成部１０３に与える。

第２入力端子１１１からは、静止画像データを含む画像信号が入力される。第２入力端子１１１から入力される画像信号は、画像信号制御部１０５に与えられる。画像信号制御部１０５は、与えられた画像信号から画像データを抽出して、画像選択部１０９に与える。画像格納部１０９は、画像データを記憶可能である。画像選択部１０９は、画像信号制御部１０５から与えられる画像データと、画像格納部１０９に格納された画像データとのいずれかを選択して、画像として表示する画像データを画像処理部１０７に与える。画像サイズ調整手段および画像補正手段である画像処理部１０７は、画像の拡大処理または縮小処理と、必要に応じて補間処理とを行って、拡大された画像（以下、拡大画像という）の画像データを画像バッファ部１０８に与える。画像処理部１０７における画像の拡大処理、縮小処理および補間処理の詳細については後述する。

画像バッファ部１０８は、与えられた拡大画像また縮小画像を格納する。画像合成部１０３は、動画生成部１０２によって生成された動画像データと、画像バッファ部１０８に格納されている画像データとの合成処理を行うことによって、動画像と拡大画像または縮小画像とを合成して、合成画像データを生成する。画像合成部１０３は生成した合成画像データを画像出力部１０４に与える。画像出力部１０４は、与えられた合成画像データを、出力端子１１２に与える。これによって出力端子１１２から合成画像データが出力され、図１には図示していないが、出力された合成画像データは、液晶表示装置などの表示装置に与えられて、画像として表示可能であり、また動画あるいは画像として記録装置に記録することも可能である。

図２は、画像合成装置１を含んで構成される電子機器２の構成の一例を示すブロック図である。電子機器２は、画像入力部２０１、表示部２０２、操作部２０３、ＲＡＭ( Random Access Memory)２０５およびＲＯＭ(Read Only Memory)２０７、付加装置２０６、および中央制御部２０４を備えて構成される。

画像入力部２０１は、テレビジョン（ＴＶ）放送を受信可能な受信機、あるいは、インターネットを経由して伝送されるストリーミング放送を受信可能な通信機を含んで構成され、デジタル動画データを含む映像信号を取得する。表示部２０２は、液晶パネルなどの表示装置を含んで構成され、合成画像データを画像として表示する。操作部２０３は、ユーザによる操作によって情報を入力する機能を有し、操作ボタンを含んで構成される。ユーザが操作ボタンを操作することによって、電子機器２の電源をオン／オフしたり、画像入力部２０１に含まれる受信機において受信される受信チャンネルの変更などを行ったりすることができる。また画像入力部２０１は、通信手段である通信装置を含んで構成され、インターネットなどの通信回線を経由して静止画像データを取得することができる。

また電子機器２は、付加装置２０６として、画像入力部２０１からの映像信号に含まれる画像データを、表示部２０２によって表示可能なデジタルデータに展開するデコーダを含むことが望ましい。このほか、電子機器２には、マイクロフォン、スピーカ、ライト、通信装置、およびメモリカードインタフェース（Ｉ／Ｆ）などの外部記憶装置との接続装置などを備える構成としてもよい。

ＲＡＭ（Random Access Memory）２０５は、表示する画像データを格納しているビデオメモリ２０５ａ、拡大または縮小した画像を格納する画像バッファ２０５ｂ、および中央制御部２０４がプログラムを実行するためのワークバッファ２０５ｃを備えて構成される。すなわち前述した画像バッファ部１０８は、ＲＡＭ２０５を含んで構成される。また、ＲＯＭ（Read Only Memory）２０７は、入力画像制御プログラムエリア２０７ａ、画像合成制御プログラムエリア２０７ｂ、画像処理制御プログラムエリア２０７ｃ、拡大または縮小する画像を予め格納した画像データエリア２０７ｄ、および、その他プログラムエリア２０７ｅを備えて構成される。すなわち前述した画像格納部１０９は、ＲＯＭ２０７を含んで構成される。

中央制御部２０４は、ＲＯＭ２０７の各エリアにそれぞれ格納されたプログラムに基づいて、前述した動画信号制御部１０１と、動画生成部１０２と、画像合成部１０３と、画像出力部１０４と、画像信号制御部１０５と、画像選択部１０９と、画像処理部１０７として機能し、また画像入力部２０１、表示部２０２、操作部２０３、ＲＡＭ２０５、ＲＯＭ２０７および付加装置２０６の各部の動作制御を行う。中央制御部２０４は、ＣＰＵを含んで構成される。入力画像制御プログラムエリア２０７ａには、入力された映像信号および画像信号を表示可能な画像データに変換する機能を制御する入力画像制御プログラムが格納され、付加装置２０６としてデコーダを利用している場合はデコーダの制御プログラムも格納される。入力画像制御プログラムが実行されることによって、動画信号制御部１０１、動画生成部１０２および画像信号制御部１０５が機能する。

画像合成制御プログラムエリア２０７ｂには、画像合成を制御する画像合成制御プログラムが格納され、画像合成プログラムが実行されることによって、画像合成部１０３が機能する。画像処理制御プログラムエリア２０７ｃには、画像の拡大処理および縮小処理を制御する拡大制御プログラムが格納され、画像処理制御プログラムを実行することによって、画像処理部１０７が機能する。その他プログラムエリア２０７ｅには、前記各プログラムによって実行される処理以外の処理を実行するための各種プログラムが格納され、これら各種プログラムが実行されることによって、画像出力部１０４および画像選択部１０９として機能させたり、ＲＡＭ２０５を画像バッファ部１０８として機能させたり、ＲＯＭ２０７を画像格納部１０９として機能させたりすることができる。また、画像データエリア２０７ｄには、機器の状態または操作ボタンを示すアイコン画像、絵文字画像などの画像データが格納されている。

次に、画像処理部１０７において行われる画像の拡大処理の方法および補間処理の方法について説明する。ここでは理解を容易にするために、図２に示される中央制御部２０４によって描画対象とすべき画像データを、ＲＯＭ２０７の画像データエリア２０７ｄから選択した後、その画像データを画像として表示したときのサイズを、縦方向（ｙ方向）に２倍で、かつ横方向（ｘ方向）に２倍で拡大し、すなわち画像の面積を４倍に拡大する場合について説明する。

まず、中央制御部２０４によって、画像データエリア２０７ｄ格納された画像データのうち、描画対象となる画像データを原画像データとして選択する。この原画像データは、各画素において、色成分値Ｒ（赤），Ｇ（緑），Ｂ（青）に各々に０〜２５５の範囲の値が設定されている。また、本実施の形態において、[Ｒ＝２４０，Ｇ＝０，Ｂ＝２４０]の場合は透明色を表すと定義しているが、透明色は任意に定義可能であり、透明色は利用されない色を指定すればよい。

次に、この原画像データを最近傍法によって拡大処理を行う。すなわち、拡大後のある画素の位置に相当する色情報は、拡大前の位置に最も近傍にある原画素の色成分情報を設定する。具体的には、以下の計算式（１６）〜（１７）に基づいて、拡大前の色成分値、(Ｒ０，Ｇ０，Ｂ０)から、拡大後の画像の座標ｘ，ｙにおける画素が持つＲＧＢの色成分値 (Ｒ１(ｘ，ｙ)，Ｇ１(ｘ，ｙ)，Ｂ１(ｘ，ｙ))が計算できる。
Ｒ１(ｘ，ｙ)＝Ｒ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（１６）
Ｇ１(ｘ，ｙ)＝Ｇ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（１７）
Ｂ１(ｘ，ｙ)＝Ｂ０(ｉｎｔ(ｘ／２)，ｉｎｔ(ｙ／２)) …（１８）

なお式（１６）〜（１８）において、「Ｒ０(ａ，ｂ)」は、拡大前画像のｘ＝ａ，ｙ＝ｂの画素における赤の色成分値を示し、同様に「Ｇ０(ａ，ｂ)」および「Ｂ０(ａ，ｂ)」は、拡大前の緑、青の色成分値をそれぞれ示す。また「ｉｎｔ(ａ)」は、ａの小数点以下を四捨五入し整数化した値を示す。

拡大処理の終了後、中央制御部２０４は、拡大された画像（以下、拡大画像という）の全画素を走査し、透明部分のうち不透明部分に隣接する透明な画素を抽出する。抽出された透明部分と不透明部分との境界の透明な画素に着目し、当該画素を中心とした予め定める微小領域に含まれる画素に基づいて、すなわち予め定める微小領域に含まれる画素の色情報に基づいて、着目した画素の色情報の補正処理（以下、補間処理という）を行う。

つまり中央制御部２０４は、拡大画像の座標ｘ、座標ｙについて、それぞれ最小座標から最大座標に向けて走査し、不透明部分の画素と隣接する透明部分の画素を選び出す。以下、不透明部分の画素を不透明画素といい、透明部分の画素を透明画素という場合がある。本実施の形態で、透明画素とは、予め定義した透明色と同じ色情報を持つ画素である。

図３および図４は、注目画素を中心とした予め定める微小領域に含まれる画像情報の一例を示す図である。図３では、縦が３画素であり横が３画素である３×３の領域を、予め定める微小領域として、この予め定める微小領域で切出された画像情報を示しており、７つのパターンについて、それぞれ補間処理前と、補間処理後との注目画素の状態について示している。また図４では、縦が５画素であり横が５画素である前記５×５の領域の各角に位置する画素を除く領域（以下、この領域を５×５の領域という場合がある）を、予め定める領域として、この予め定める微小領域で切出された画像情報を示しており、５つのパターンについて、それぞれ補間処理前と、補間処理後との注目画素の状態について示している。なお、図３および図４において、黒塗り四角（■）は［Ｒ＝０，Ｇ＝２５５，Ｂ＝０］（不透明）を表し、黒丸（●）は［Ｒ＝２５５，Ｇ＝０，Ｂ＝２５５］（不透明）の画素を表し、黒塗り菱形（◆）は［Ｒ＝２５５，Ｇ＝０，Ｂ＝０］（不透明）の画素を表し、白丸（○）は、透明色の注目画素を表し、白抜き四角（□）は透明色（透過色）の画素を表す。また図３（１）〜（４）は、注目画素の色情報が実際に変更される例を示しており、図３（５）〜（７）は、注目画素の色情報の変更が行われない例を示している。また図４（１）〜（４）は、注目画素の色情報が実際に変更される例を示しており、図４（５）は、注目画素の色情報の変更が行われない例を示している。

中央制御部２０４は、予め定める微小領域が３×３の領域に選ばれているとき、抽出した全ての画素について、それぞれを注目画素として中心に配置し、図３に示すような３×３の領域に着目する。そして、この３×３の領域に含まれる注目画素の近傍８点の色成分を調べ、予め定める第１規則に基づいて着目した画素の色情報の補正処理を行い、補間画素を設定する。前記予め定める第１規則は、注目画素を外囲する近傍８点の画素うち、注目画素のまわりでＮ個の画素が同色であった場合に、着目画素の色情報を、このＮ個の画素の色情報と同じ色情報に変更する。前記Ｎは、３〜５のうちのいずれか１つに選ばれ、本実施の形態では、Ｎは５に選ばれる。すなわち本実施の形態では、注目画素を外囲する近傍８点の画素うち、５つの画素が同色であった場合に、着目画素の色情報をこの５つの画素の色情報と同じ色情報に補正変更する。

また中央制御部２０４は、予め定める微小領域が５×５の領域に選ばれているとき、抽出した全ての画素について、それぞれを注目画素として中心に配置し、図４に示すようなのような５×５の領域に着目する。そして、この５×５の領域に含まれる注目画素の近傍２０点の色成分を調べ、予め定める第２規則に基づいて着目した画素の色情報の補正処理を行い、補間画素を設定する。前記予め定める第２規則は、注目画素を中心とした３×３の領域で、かつ注目画素を外囲する８つの画素のうち、注目画素のまわりに連続してＬ字状に５つの画素の色情報が等しく、かつＬ字状の５つの画素の端に位置する画素に連なって、Ｌ字状の直交する２つの方向のうちのいずれか一方のみに不透明の画素が隣接しているときに、注目画素の色情報を、前記５つの画素の色情報に補正変更する。このような規則を用いることによって、画像における十字状の交差部分付近などにおいて、過剰な補間を抑制することができ、この結果、ジャギーと呼ばれる階段状の部分は補間を行うが、線分の交差やＬ字状の形状を持つ画像に対して、交差および屈折部分の補間を抑制することができます。

図５（１）は、拡大前の原画像の画像情報を示す図であり、図５（２）は従来法によって原画像の縦横をそれぞれ２倍に拡大した拡大画像であり、図５（３）は予め定める微小領域として前記３×３の領域が選ばれ、かつＮ＝５としたとき（方式１）に、中央制御部２０４によって原画像の縦横をそれぞれ２倍に拡大した拡大画像であり、図５（４）は予め定める微小領域として前記５×５の領域が選ばれたとき（方式２）に、中央制御部２０４によって原画像の縦横をそれぞれ２倍に拡大した拡大画像である。図５を見ても明らかなように、方式１および方式２のいずれも、従来法と比較して、矢印の左の曲線が、原画像により忠実であり、さらに方式２は方式１と比較して、矢印の根元の部分がより原画像に忠実である。すなわち原画像の縦横をそれぞれ２倍に拡大するときは、予め定める微小領域を３×３の領域とするよりも、５×５の領域としたほうが、画像のエッジ部分をより正確に補間することができる。

予め定める微小領域が、３×３の領域の場合、前記Ｎは、３〜５のうちのいずれか１つに選ばれるが、Ｎは５に選ぶことが最も好ましい。

図６は、Ｎが３および５に選ばれたときの補間処理の結果を示す図である。図６（１）は、原画像を拡大した拡大画像を示し、図６（２）は、図６（１）の拡大画像に対して、Ｎを３としたときの補間処理（閾値３画素補間）の結果を示す図であり、図６（３）は、図６（１）の拡大画像に対して、Ｎを５としたときの補間処理（閾値５画素補間）の結果を示す図である。図６において、黒塗り星印（★）は、注目画素を示し、黒塗り四角（■）は青色の画素を表し、黒丸（●）は赤色の画素を表す。このように、Ｎを３に選ぶよりも、５に選んだ方が、色の境界にあたる部分の補正がより自然になることが判る。また、注目画素のまわりに同じ色情報を有する画素が６個あるときには、これら６個の画素は、形状として注目画素を囲む状態となっているため、Ｎを６に選ぶと、輪郭が潰れてしまうおそれがあるので、予め定める微小領域が、３×３の領域の場合には、Ｎは５に選ぶことが最も好ましいことがわかる。

本実施の形態では、操作部２０３から予め定める微小領域に関する情報を入力し、これに応じて中央制御部２０４が、ＲＯＭ２０７に格納されている予め定める微小領域に関する領域情報を選択して、予め定める微小領域を設定する。したがって、ユーザは必要に応じて、前述した３×３の領域を微小領域として用いるのか、また５×５の領域を微小領域として用いるのか、また、Nを３〜５のどの値に選ぶのかを選択することができる。

図７は、画像合成装置１において、図１３（１）に示される原画像を、この原画像の縦方向の長さを２倍、横方向の長さを２倍にし、面積が４倍となる画像に拡大し、補間処理を行った画像を示す。前記３×３の領域を微小領域とし、前記Ｎは、５に選んでいる。図７と、図１３（１）および（２）とを比較すると判るように、本発明の画像合成装置１によって原画像により忠実な拡大画像を得ることができる。

次に、画像処理部１０７において行われる画像の縮小処理の方法について説明する。ここでは理解を容易にするために、図２に示される中央制御部２０４によって描画対象とすべき画像データを、ＲＯＭ２０７の画像データエリア２０７ｄから選択した後、その画像データを画像として表示したときのサイズを、縦方向（ｙ方向）に１／２倍で、かつ横方向（ｘ方向）に１／２倍で縮小し、すなわち画像の面積を１／４倍に縮小する場合について説明する。まず、中央制御部２０４によって、画像データエリア２０７ｄ格納された画像データのうち、描画対象となる画像データを原画像データとして選択する。画像入力部２０１からインターネットなどの通信回線を経由して静止画像データを描画対象とすべき画像データとする場合については、処理対象となる画像データの取得経路が異なるのみであるので、説明を省略する。

図８は、原画像の画像情報と、縮小処理によって縮小した画像の画像情報とを示す図である。中央制御部２０４は、まず単純拡大縮小方法によって縮小処理を行う。すなわち、縮小後のある座標点に対応する原画像の座標点を求め、原画像の色情報を縮小後の座標点の色情報としてＲＡＭ２０５に格納する。その後、中央制御部２０４は、原画像の座標ｘ、座標ｙについて、それぞれ最小座標から最大座標に向けて走査し、不透明部分の画素と隣接する透明部分の画素を選び出す。そして中央制御部２０４は、原画像における微小領域を設定し、透明画素の上下左右方向に近接する４点中２点以上が同色であった場合、前記格納している色情報に代えて、透明画素の上下左右方向に近接する４点中２点以上が同色であったその色情報を設定することで実現する。

前述したように補間処理または縮小処理を行った後、中央制御部２０４は、処理された画像を、画像バッファ２０５ｂに格納し、画像入力部２０１から入力される他の画像、たとえば動画像と重ね合わせる合成処理を行った後、合成処理された画像データをビデオメモリ２０５ａに格納する。

画像合成部１０３として機能する中央制御部２０４は、透過度合いを示す透過度値αを用いて以下の計算式（１９）〜（２１）によって、画像を合成する。ここでのαは、０〜２５５の値をとり、２５５は全透過、０は透過しないことを意味する。透過度値αは、画像合成制御プログラムに予め設定されるか、あるいは、操作部２０３から透過度値αに関する情報を入力することによって設定してもよい。座標（x，ｙ）における出力画素情報のＲＧＢ値を（ＯＲ(ｘ，ｙ)，ＯＧ(ｘ，ｙ)，ＯＢ(ｘ，ｙ)）とすると、（ＯＲ(ｘ，ｙ)，ＯＧ(ｘ，ｙ)，ＯＢ(ｘ，ｙ)）は、合成前の画素（ＩＲ(ｘ，ｙ)，ＩＧ(ｘ，ｙ)，ＩＢ(ｘ，ｙ)）、および、本手法によって拡大されたｘ，ｙ座標に描画すべき画素(ＸＲ(ｘ，ｙ)，ＸＧ(ｘ，ｙ)，ＸＢ(ｘ，ｙ))から以下のように計算される。
ＯＲ(ｘ，ｙ)＝α・ＩＲ(ｘ，ｙ)＋（２５５−α）・ＸＲ(ｘ，ｙ) …（１９）
ＯＧ(ｘ，ｙ)＝α・ＩＧ(ｘ，ｙ)＋（２５５−α）・ＸＧ(ｘ，ｙ) …（２０）
ＯＢ(ｘ，ｙ)＝α・ＩＢ(ｘ，ｙ)＋（２５５−α）・ＸＢ(ｘ，ｙ) …（２１）

ビデオメモリ２０５ａに格納された画像データは、たとえば液晶表示装置などの表示装置によって表示される。他の画像は、ＴＶ放送、ストリーミング放送の他、ユーザが任意に設定した背景画像であっても同様の処理が可能である。

以上のような画像合成装置１では、単純かつ高速に、拡大または縮小された画像における違和感を低減して、前記画像と他の画像とを重畳して合成することができる。画像の拡大処理または縮小処理は、最近傍法に代表される単純な手法が適用され、原画像のうち、拡大または縮小後の画像の各画素の位置に相当する位置の近傍にある画素の色情報を取得し、拡大または縮小後の画素の色情報とする。特に拡大または縮小後の画像において、透明部分のうち、不透明部分と隣接する透明画素部分に対してのみ色情報の補正処理を行うため、全ての画素に対して補正処理を行う場合に比較して処理量が極めて小さくなる。

さらに、特に絵文字画像など、大きさが変わることによって画像のデザインが変わってしまうと、ユーザが不自然さを感じる場合があるが、前述した予め定める微小領域に含まれる画素に基づいて、色情報の補正処理を行うことによって、この不自然さが生じてしまうことを解消あるいは低減することができる。また合成される他の画像が変化する場合であっても、ユーザに透明部分および不透明部分の境界におけるエッジ部分に発生する階段状のジャギー感を感じさせことを抑制して、拡大された画像と他の画像との合成が可能となる。

また透明色を予め定義した色情報で表され、画素が透明であるのか不透明であるかの判定を行うことによって、画像データの容量削減を実現することができる。

また上記の構成によって拡大または縮小された画像を、他の画像、たとえば動画像と重ね合わせる合成処理を行うことで、透明部分を含む画像、たとえばアイコン画像、絵文字画像などの高速な拡大または縮小処理を行い、かつ、合成画像を見るユーザに違和感および不自然さを感じさせずに、高速に画像合成を行うことができる。

さらに高速かつ不自然さがない縮小および拡大を行えることから、アイコン画像、絵文字画像などのサイズバリエーションの多くを、機器のメモリに保持する必要がなくなり、機器のＲＯＭの容量の削減に繋がる。また、したがって電子機器２は、特に計算性能に制限がある携帯端末機器に有効に適用することができる。

また画像合成装置１では、透過度値αを用いた合成処理を行うが、画像全体で透過度値αを１つ設定するだけでよく、各々の画素に透過度値αを設定する場合に比べて計算量を削減することができる。

さらに、予め定める微小領域の大きさを変更することによって、直線の交差点における過剰な補間を防ぎ、拡大画像における外形を、原画像により忠実に表現することができる。

また、本発明の他の実施の形態において前述した予め定める微小領域の大きさは、拡大倍率に応じて増減させてもよい。たとえば、前述の実施の形態において、予め定める微小領域の大きさを拡大倍率によって増減させる指令情報を操作部２０３から入力することによって、中央制御部２０４は予め定める微小領域の大きさを、拡大倍率に応じて増減させる構成としてもよい。拡大倍率の指示情報は、操作部２０３から入力される。たとえば、予め定める微小領域の一辺の長さをＳとすると、Ｓの値を、縮小時は３に固定し、拡大時は下記のような式（２２）によって予め定める微小領域を決定してもよい。
Ｓ＝ｉｎｔ(ｎ)×２−１ …（２２）

なお「ｎ」は、拡大率（１は等しい倍率）を表し、「ｉｎｔ(ａ)」は、「ａ」の小数点以下を四捨五入し整数化した値を示す。また「ｎ」は、２または３が好ましく、３倍程度を超える拡大を行う場合は、画質低下が著しく補正のメリットは少なくなる。

このように予め定める微小領域の範囲を、拡大倍率に応じて設定することによって、より正確な補間が実現でき、ユーザに透明部分および不透明部分の境界におけるエッジ部分に発生する階段状のジャギー感を感じさせことをより抑制することができる。

また、本発明の実施のさらに他の形態においては、拡大倍率に応じて補正を行う基準を変更してもよい。たとえば、前述の実施の形態において、拡大倍率に応じて補正を行う基準を変更する指令情報を操作部２０３から入力することによって、中央制御部２０４は拡大倍率に応じて補正を行う基準を変更する構成としてもよい。拡大倍率の指示情報は、操作部２０３から入力される。具体的には拡大倍率が２倍を除く倍率の場合には、注目画素の近傍８画素のうち５画素が同じ色情報を有することを判定基準として用いる。一方、拡大倍率が２倍のとき、注目画素の８近傍の画素ではなく、８近傍の画素のうち注目画素から見て上下左右（縦および横方向）の画素を除いた残りの４画素のみを対象にして、この４画素のうち３画素が同じ色情報を有する場合は補間を行うように判定基準を変更する。このことによって判定に用いる画素が少なくなるので、メモリへのアクセス時間が減り処理の高速化が実現できる。

また、本実施の実施のさらに他の形態においては、予め定める微小領域の縦および横の範囲は、相互に隣接する透明画素と不透明画素との変化の方向と、拡大倍率とによって、定義してもよい。横方向（ｘ方向）が主走査方向の場合、横方向の予め定める微小領域の幅Ｓｘ、縦方向に含まれる微小領域の幅Ｓｙは以下の式（２３）〜（２６）のように定義できる。
透明画素と不透明画素とが横方向に変化した場合は、
Ｓｘ＝ｉｎｔ(ｎ)×２−１ …（２３）
Ｓｙ＝ｍａｘ((ｉｎｔ(ｎ)×２−３)，３) …（２４）
透明画素と不透明画素とが縦方向に変化した場合は、
Ｓｘ＝ｉｎｔ(ｎ)×２−１ …（２５）
Ｓｙ＝ｍａｘ((ｉｎｔ(ｎ)×２−３)，３) …（２６）

ここで、「ｍａｘ(ａ，ｂ)」は、「ａ」と「ｂ」とのうち、大きい方の値を示している。なお「ｎ」は、拡大率（１は等しい倍率）を表し、「ｉｎｔ(ａ)」は、「ａ」の小数点以下を四捨五入し整数化した値を示す。

ただし、特定倍率（２倍以下）かつ特定の規則（注目画素の８近傍のうち５画素の色情報が同一）の場合は、原画像の主走査方向に透明画素と不透明画素とが変化する場合のみを考えればよい。これは上記補間処理の予め定める規則に適合する画素は、原画像において、主、副のいずれの走査方向にも変化しているからである。

次に、本発明の実施の他の形態の画像合成装置について説明する。本実施の形態の画像合成装置の構成は、前述した画像合成装置１の構成と同様であるので、同様の構成には同様の参照符号を付し、異なる部分についてのみ説明する。本実施の形態の画像合成装置では、画像サイズ調整手段および前記画像補正手段である画像処理部１０７が、前記圧縮された画像データに対して一連の連続した処理を行って、圧縮前の画像データに展開する。

図９は、本実施の形態の画像処理部１０７における処理を説明する図である。図９（１）は、原画像の画像データの画像情報を示す図である。本実施の形態例においては、図９（１）で表される縦方向（ｙ方向）が６画素（ピクセル）であり、横方向（ｘ方向）が１３画素（ピクセル）であり、１画素あたり３バイトのＲＧＢの色成分情報を持つ原画像を、縦方向に２倍で、かつ横方向に２倍し、すなわち全体を４倍に拡大する場合について説明する。

図９（２）は、原画像の画像データを、色成分情報とランレングスによって圧縮した例を示す図である。図９（２）では、データ部分は１６進数で表記し、バイト境界は「，」で表記している。ここで４バイトが１セットのデータとなっており、最初の３バイトがそれぞれＲＧＢの色成分情報であり、残る１バイトがその色の連続ビット数である。この例では、原画像の容量は２３４バイト（６×１３×３）に対し、圧縮後は、１０４バイトに圧縮されている。本来は画像の大きさ（この例では縦方向に６ピクセルで、かつ横方向に１３ピクセル）の情報を別途保持する必要があるが、図９では省略している。また図９において、黒塗り四角（■）は［Ｒ＝０，Ｇ＝２５５，Ｂ＝０］（不透明）の画素を表し、黒丸（●）は［Ｒ＝２５５，Ｇ＝０，Ｂ＝２５５］（不透明）の画素を表し、黒塗り菱形（◆）は［Ｒ＝２５５，Ｇ＝０，Ｂ＝０］（不透明）の画素を表し、白抜き四角（□）は透明色（透過色）の画素を表す。

図９（３）〜（６）は、圧縮された画像の展開、拡大、補間の一連の処理を説明する図である。本実施の形態の画像合成装置では、原画像の横方向の１ライン分の画像データを格納できる第１バッファ１１および第２バッファ１２と、拡大描画用バッファ１３とを備えている。第１バッファ１１および第２バッファ１２は、画像バッファ部１０８に含まれ、また画像バッファ２０５ｂまたはワークバッファ２０５ｃに設けられ、拡大描画用バッファ１３は、画像バッファ２０５ｂに設けられる。

図９（３）で示すように、画像処理部１０７は、まず、原画像の圧縮データの色情報とランレングス情報とに基づいて、第１バッファ１１に展開する。次に第１バッファ１１に展開された原画像データをｘ方向に２倍して、矢符Ｆ３で示すように拡大描画用バッファ１３に原画像の１画素あたり２画素ずつｘ方向に沿って順番にコピーしていく。このようにしてｘ方向に２倍に拡大された１ライン分の画像を生成する。

このとき、原画像の第１ラインと展開画像の第１ラインとは、１：１で対応しているため、不透明画素との境界にある透明画素の補間処理は行わない。また、拡大描画用バッファ１３に他の画像が存在し、これに合成して描画する場合は、第１バッファ１１における色成分情報が透明色か否かを判定し、透明色であれば、元画素の色成分情報をコピーしない、すなわち描画しない処理とすることも可能である。

次に、図９（４）で示すように、原画像の第２ラインを第２バッファ１２に展開した後、第１バッファ１１に展開された原画像データに基づいて、図９（３）に示す処理と同様にｘ方向に２倍に拡大して拡大描画用バッファ１３に格納していく。この処理において、格納する画素が透明画素から非透明画素に変化したとき、透明画素と不透明画素との境界部分において、図示した注目画素Ｇを中心とし、透明画素を含み縦×横が仮想的に３×３画素となるような仮想の３×３マスク１４を想定し、検索対象画素の色成分、すなわち注目画素Ｇの８近傍の各画素の色成分を調べ、同一の色成分が５画素あれば、注目画素Ｇの色成分情報を前記同一の色成分の５つの画素と同一の色成分情報に変更し、補間を行う。仮想の３×３マスク１４によって規定される領域が、予め定める微小領域である。

図９（４）に示されるように、ｘ方向の左から右に向かう方向で、透明画素から不透明画素に変化する部分において補間処理を行い、不透明画素から透明画素に変化した部分については、仮想の３×３マスクに含まれる注目画素の８近傍について、同一の色成分の画素数が条件に満たないので、補間処理は行わない。

続いて、図９（５）に示されるように、第２バッファ１２の内容を第１バッファ１１にコピーし、第１バッファ１１に基づいて、図９（３）に示す処理と同様にｘ方向に２倍に拡大して拡大描画用バッファ１３に格納していく。この例では、補間処理の条件を満たす場合はないので、補間処理は行われない。

さらに、図９（５）に示されるように、原画像の第３ラインを第２バッファ１２に展開し、第１バッファ１１に展開された原画像データに基づいて、図９（３）に示す処理と同様にｘ方向に２倍に拡大して、補間の条件を満たす場合は、補間処理を行う。

以上の処理を繰り返して、圧縮された画像データの展開処理、拡大処理および補間処理を分割不可能な一連の処理として行う。

このように、原画像の２ライン分を格納した第１および第２バッファ１１，１２の画像情報から、原画像の２倍の画像情報、すなわち拡大画像の４ライン分の画像情報を求めることが可能である。すなわち第１バッファ１１に格納された原画像の第ｎ_１ラインの各画素の情報から、拡大画像の２ｎ_１ラインと２ｎ_１＋１ラインとの各画素の情報が計算でき、第２バッファ１２に格納された原画像のｎ_１＋１ラインの各画素の情報から、拡大画像の２（ｎ_１＋１）ラインと２（ｎ_１＋１）＋１ラインとの各画素の情報が計算できる。したがって、拡大後の２ｎ_１〜２ｎ_１＋２ライン、２ｎ_１＋１〜２ｎ_１＋３ラインのいずれの場合であっても、仮想の３×３マスクの微小領域の画素の情報を求めることができる。

以上によって、展開バッファは原画像の２行分のみで、すなわち第１および第２バッファ１１，１２だけで、画像の展開と補間を行うことができ、処理速度に影響を与えることなく、画像の展開に必要なワークメモリの領域を削減することで、機器に搭載するＲＡＭの容量を削減可能である。また、処理が簡便で高速なこととあいまって、画像処理専用のハードウェアを必要とせずに、ソフトウェアを用いて高速な処理を行うことが可能である。

また処理時間の違いは機器構成に依存するが、計算量としては、補間時の画像読み出し分、すなわち、拡大後の画像サイズ分のメモリアクセスの時間が増加する。たとえば、一例として１０００ピクセル×１０００ピクセルの画像を２倍に拡大する処理を、Ｐｅｉｎｔｉｕｍ４（Ｒ）３．４０ＧＨｚ、ＭＥＭ：２ＧＢ ＦｒｅｅＢＳＤ６．２Ｒ／ｇｃｃ−３．４．６を用いて行い、その処理時間を測定すると、拡大処理の後に補間処理を行った場合には、処理時間が０．８９４ｍｓとなり、本実施の形態のように拡大処理を行いながら補間処理を行った場合には、処理時間が０．７７３ｍｓとなった。したがって、処理時間が約０．８６倍となり、処理時間が短くなっていることがわかる。

また前記補間処理では、注目画素の８近傍の全てを検索対象画素として色成分を調べるのではなく、拡大画像におけるライン（ｙ座標）と、透明画素および不透明画素の変化の向きとによって、注目画素の８近傍のうちの一部を検索対象画素として予め設定しておくことで、検索対象画素の色成分を調べる計算量の削減が可能であり、補間処理にかかる時間を低減することができる。

図１０は、検索対象画素が予め設定された、縦横２倍拡大時の仮想の３×３マスクを示す図である。図１０において、黒塗り四角（■）は検索対象画素を表し、白丸（○）は、注目画素を表し、白抜き四角（□）は検索除外画素を表す。図１０（１）は、拡大画像における第（２ｎ_１）ライン（ｎ_１は、自然数）の注目画素に用いられ、ｘ方向の左から右に向かう方向で透明画素から不透明画素に変化する場合に用いられる仮想の３×３マスクを示す。図１０（２）は、拡大画像における第（２ｎ_１）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で不透明画素から透明画素に変化する場合に用いられる仮想の３×３マスクを示す。図１０（３）は、拡大画像における第（２ｎ_１＋１）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で透明画素から不透明画素に変化する場合に用いられる仮想の３×３マスクを示す。図１０（４）は、拡大画像における第（２ｎ_１＋１）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で不透明画素から透明画素に変化する場合に用いられる仮想の３×３マスクを示す。すなわちこれらの図１０に示すマスクが用いられる場合には、黒塗り四角（■）の部分の色成分のみを調べることになる。したがって色成分情報を調べなければならない探査対象画素が各々５画素だけになり、前述した近傍８の画素の全て探索対象画素とする場合に比べて、メモリアクセスおよび色成分情報の比較回数が削減され、合計の計算量を低減することができる。

また、前述したような仮想のマスクに予め検索対象画素を設定しておく方法は、原画像を４倍に拡大するとき以外にも応用可能であり、たとえば縦方向に３倍で、かつ横方向に３倍し、すなわち全体で９倍に拡大する場合についても、同様にして適用することができる。

図１１は、検索対象画素が予め設定された、縦横３倍拡大時の仮想の４×４マスクを示す図である。図１１において、黒塗り四角（■）は検索対象画素を表し、白丸（○）は、注目画素を表し、白抜き四角（□）は検索除外画素を表す。図１１（１）は、拡大画像における第（３ｎ_２）ライン（ｎ_２は、自然数）の注目画素に用いられ、ｘ方向の左から右に向かう方向で透明画素から不透明画素に変化する場合に用いられる仮想の４×４マスクを示す。図１１（２）は、拡大画像における第（３ｎ_２）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で不透明画素から透明画素に変化する場合に用いられる仮想の３×４マスクを示す。図１１（３）は、拡大画像における第（３ｎ_２＋１）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で透明画素から不透明画素に変化する場合に用いられる仮想の４×４マスクを示す。図１１（４）は、拡大画像における第（３ｎ_２＋１）ラインの注目画素に用いられ、ｘ方向の左から右に向かう方向で不透明画素から透明画素に変化する場合に用いられる仮想の４×４マスクを示す。すなわちこれらの図１１に示すマスクが用いられる場合には、黒塗り四角（■）の部分の色成分のみを調べることになる。

縦方向および横方向をそれぞれ３倍に拡大する場合、原画像を２ライン分格納した第１バッファ１１および第２バッファ１２の画像情報から、拡大画像における２ラインの３倍すなわち６ライン分の画像情報が抽出可能である。したがって、仮想の４×４マスクの微小領域については、拡大後の画像の４ライン分の情報があれば求めることが可能であり、拡大画像の６ライン分の情報があれば、１〜４ライン、２〜５ライン、３〜６ラインの全ての場合の４ライン分の色情報が抽出可能ある。図１１のようなマスクを設定し、検索対象画素の色画素成分の同一性を検査し、同一の色画素成分を持つ画素が規定数、本例では５を超えると、補間することで、原画像についての２行分のバッファで、画像の展開、拡大および補間を行うことが可能である。

次に、本発明の実施のさらに他の形態の電子機器について説明する。本実施の形態の電子機器は、前述した電子機器２の構成と同様であるので、同様の構成には同様の参照符号を付し、異なる部分についてのみ説明する。本実施の形態の電子機器は、通信を介して電子メールなどのメッセージ情報を受信可能なメッセージ受信機器である。メッセージ情報を送信する電子機器は、従来からのＰＣ（パーソナルコンピュータ）および携帯電話機などの通信機能をもつ機器であれば構成を問わない。

まず、メッセージ送信者は、自ら作成あるいは編集した画像を含む電子メッセージ（メッセージ情報）を作成し、通信機能を持つ機器を用いて作成した前記電子メッセージを送信する。送信された電子メッセージは、インターネットなどの通信回線を経由して本実施の形態の電子機器に配送される。この配送方法は、例えばＳＭＴＰ（Simple Mail Transfer Protocol）による電子メール配送プロトコルを利用するとよい。ただし、このとき電子メッセージの作成方法、通信方法はどのような方法であっても、本実施の形態に影響はない。その他プログラムエリア２０７ｅには、文字フォントが格納されている。

前記プロトコルによって配信された電子メッセージは、図１における画像信号制御部１０５において、文字コード列、画像データ、および作成時文字表示サイズ情報に分離する。ＳＭＴＰプロトコルを用いた電子メールの場合は、電子メールのヘッダー部に下記のような１行を追加するとよい。
Ｘ−ｆｏｎｔｓｉｚｅ：１６ｄｏｔ

ここで「ｄｏｔ」単位で表記したのは、画像は一般に「ｄｏｔ」単位で扱われているため、文字フォントのサイズで一般的に用いられているポイントあるいはパイカに比べて、文字フォントのサイズと画像のサイズの比率を正確に表現できるからである。

このようにして受け取った文字コード列を、画像処理部１０７は、受信ユーザが予め指定しておいた文字フォントサイズで、指定のフォントサイズに応じた画像サイズになるように画像を拡大または縮小する。具体的には、拡大率Ｌを下記の式（２７）で求める。拡大率Ｌが１未満の場合は縮小を意味している。
拡大率Ｌ＝表示フォントサイズ(ｄｏｔ)／作成時フォントサイズ …（２７）

たとえば、作成時フォントサイズは、上記ヘッダーの例のように１６ｄｏｔであり、表示フォントサイズが３２ｄｏｔであれば、拡大率Ｌは２となる。

このようにして求めた拡大率を用いて、前述した各実施の形態のいずれかで示される拡大または縮小処理を行った後、画像合成部１０３において任意の背景画像と合成し、表示部２０２である液晶表示パネルに合成した画像を表示する。

以上のような構成によって、作成者が意図した大きさの画像を、適切に表示部２０２に表示することが可能となる。

図１２（１）は、メッセージ作成者の電子機器において電子メッセージを表示した画面を示す図であり、小さな画面上で小さなフォントを用いてメッセージを作成している例を示している。図１２（２）は、メッセージ受信者の電子機器において前記電子メッセージを表示した画面を示す図であり、メッセージを受け取った電子機器において、画面に合わせて大きな文字フォントを用いたが、画像の拡大処理を行わなかった場合の例を示している。図１２（３）は、メッセージ受信者の電子機器であって、本実施の形態の電子機器において前記電子メッセージを表示した画面を示す図である。

電子機器では、各機種毎にあった大きさの文字フォントを内蔵しており、文字フォントの大きさの変更はなんら支障がない。しかしながらユーザ自身が作成したオリジナルの画像など、各機種間で共通に保持していない画像については共通の情報がなく、たとえば画像と文字コード列からなる電子メッセージが送られてきた場合、元のデザインを示す情報がなければ、図１２（２）に示すように送信者が意図したデザインで再現されないことが多い。本実施の形態の電子機器では、ある作成者が作成した透過色を含む画像を他の利用者の電子機器において受信して表示する場合、作成者と解像度の異なる電子機器を持つ利用者が、たとえ受け取った画像を拡大または縮小して表示を行ったとしても、本来の作成者のイメージを崩さずに、メッセージ作成者意図通りに表示させることができる。これによって、利用者間のコミュニケーションを円滑に行うことができるようになるという効果を達成することができる。また拡大率を表わす情報、あるいはフォントサイズと、画像サイズを表す情報とが電子メッセージに付与されて送られ、電子機器において受信される場合においても、本方式を適用することが可能である。

また本発明の実施の一形態のプログラムは、前述したＲＯＭ２０７に記憶される各種プログラムのうち、画像合成制御プログラムおよび画像処理制御プログラムを少なくとも含み、コンピュータを、前述した画像合成装置として機能させる。これらのプログラムは、コンピュータの記憶装置たとえば半導体メモリあるいはハードディスク装置などの記憶装置に記憶されているが、これらの記憶装置に限定されるものではなく、コンピュータで読取り可能な記録媒体に記録されていてもよい。記録媒体は、たとえば図示しない外部記憶装置としてプログラム読取装置を設け、そこに記録媒体を挿入することによって読取り可能な記録媒体であってもよいし、あるいは他の装置の記憶装置であってもよい。いずれの記録媒体であっても、記憶されているプログラムがコンピュータからアクセスされて実行される構成であればよい。

本体と分離可能に構成される記録媒体は、たとえば磁気テープ／カセットテープなどのテープ系の記録媒体、フレキシブルディスク／ハードディスクなどの磁気ディスクもしくはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）／ＭＯ（Magneto Optical disk）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）などの光ディスクのディスク系の記録媒体、ＩＣ（Integrated Circuit）カード（メモリカードを含む）／光カードなどのカード系の記録媒体、またはマスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）／フラッシュＲＯＭなどの半導体メモリを含む固定的にプログラムを担持する記録媒体であってもよい。したがって、本発明は、コンピュータに部品情報表示方法の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。

尚、ここまで挙げた実施形態における内容は、本発明の主旨を変えない限り、上記記載に限定されるものではない。

本発明の実施の一形態である画像合成装置１の構成を示す機能ブロック図である。 画像合成装置１を含んで構成される電子機器２の構成の一例を示すブロック図である。 注目画素を中心とした予め定める微小領域に含まれる画像情報の一例を示す図である。 注目画素を中心とした予め定める微小領域に含まれる画像情報の一例を示す図である。 拡大前の原画像の画像情報と、拡大画像の画像情報とを示す図である。 Ｎが３および５に選ばれたときの補間処理の結果を示す図である。 画像合成装置１において、原画像を、この原画像の縦方向の長さを２倍、横方向の長さを２倍にし、面積が４倍となる画像に拡大し、補間処理を行った画像を示す。 原画像の画像情報と、縮小処理によって縮小した画像の画像情報とを示す図である。 本実施の形態の画像処理部１０７における処理を説明する図である。 検索対象画素が予め設定された、縦横２倍拡大時の仮想の３×３マスクを示す図である。 検索対象画素が予め設定された、縦横３倍拡大時の仮想の４×４マスクを示す図である。 メッセージ作成者の電子機器において電子メッセージを表示した画面を示す図と、メッセージ受信者の電子機器において前記電子メッセージを表示した画面を示す図である。 従来の技術による画像の拡大処理を説明する図である。 従来の技術を用いて画像の縮小処理を説明する図である。

符号の説明

１ 画像合成装置
２ 電子機器
１１ 第１バッファ
１２ 第２バッファ
１３ 拡大描画用バッファ
１０１ 動画信号制御部
１０２ 動画生成部
１０３ 画像合成部
１０４ 画像出力部
１０５ 画像信号制御部
１０６ 画像選択部
１０７ 画像処理部
１０８ 画像バッファ部
１０９ 画像格納部
１１０ 第１入力端子
１１１ 第２入力端子
１１２ 出力端子
２０７ａ 入力画像制御プログラムエリア
２０７ｂ 画像合成制御プログラムエリア
２０７ｃ 画像処理制御プログラムエリア
２０７ｄ 画像データエリア
２０７ｅ 他プログラムエリア

Claims (16)

1. 透明部分および不透明部分を含む画像に対し、拡大または縮小処理を行う画像サイズ調整手段と、
   拡大処理後または縮小処理前の画像における透明部分のうち不透明部分と隣接する画素に対して、この画素を中心として、拡大処理後または縮小処前の画像における透明部分の画素を含む予め定める微小領域に含まれる画素に基づいて、拡大または縮小処理後の画素における色情報の補正処理を行う画像補正手段と、
   前記画像補正手段によって補正された画像、および他の画像を合成する画像合成手段とを含むことを特徴とする画像合成装置。
2. 前記画像補正手段は、前記予め定める微少領域を、前記透明画素部分に含まれる補正処理の対象となる画素に関して、この画素を囲む所定の領域の画素を含むように選ぶことを特徴とする請求項１に記載の画像合成装置。
3. 前記画像補正手段は、前記予め定める微少領域を、拡大または縮小の倍率に応じて選ぶことを特徴とする請求項１または２に記載の画像合成装置。
4. 前記画像補正手段は、拡大または縮小の倍率に応じて、前記補正処理を行う基準を変更することを特徴とする請求項１〜３のいずれか１つに記載の画像合成装置。
5. 透明部分の画素を予め定義した色情報で表し、
   前記画像補正手段は、前記色情報に基づいて透明部分の画素であるか、または不透明部分の画素であるかを判定することを特徴とする請求項１〜４のいずれか１つに記載の画像合成装置。
6. 前記画像補正手段は、前記予め定める微少領域とすべき領域に関する領域情報を複数有し、相互に隣接する透明部分の画素および不透明部分の画素が変化する方向と、拡大処理の倍率とに応じて、前記複数の領域情報のうちのいずれかを選択して、選択された領域情報に関する領域を、予め定める微小領域とすることを特徴とする請求項１〜５のいずれか１つに記載の画像合成装置。
7. 画像データを格納する画像格納部を含み、
   画像サイズ調整手段は、前記画像格納部に格納されている画像データに対して、拡大または縮小処理を行うことを特徴とする請求項１〜６のいずれか１つに記載の画像合成装置。
8. 前記画像格納部には、圧縮された画像データが格納され、
   前記画像サイズ調整手段および前記画像補正手段が、前記圧縮された画像データに対して一連の連続した処理を行って、圧縮前の画像データに展開することを特徴とする請求項７に記載の画像合成装置。
9. 前記画像格納部に格納された画像データは、機器の状態または操作ボタンを示すアイコン画像として表示される画像データを含むことを特徴とする請求項７または８に記載の画像合成装置。
10. 前記画像格納部に格納された画像データは、絵文字画像として表示される画像データを含むことを特徴とする請求項７または８に記載の画像合成装置。
11. 通信回線に接続され、前記拡大縮小処理手段によって拡大または縮小処理の対象となる画像データを、前記通信回線を経由して取得する通信手段を含むことを特徴とする請求項１〜６のいずれか１つに記載の画像合成装置。
12. 前記通信手段は、画像、文字コードおよびメッセージ作成時における文字フォントの表示サイズに関する情報を取得し、
    前記画像サイズ調整手段は、前記通信手段によって取得された情報に基づいて、メッセージ作成時における画像と文字との比率を維持するように拡大または縮小処理における倍率を決定することを特徴とする請求項１１に記載の画像合成装置。
13. 前記画像合成手段は、前記画像補正手段によって補正された画像を、透過度合いを示す透明度値に応じて合成することを特徴とする請求項１〜１２のいずれか１つに記載の画像処理装置。
14. 透明部分および不透明部分を含む画像に対し、拡大または縮小処理を行う画像処理工程と、
    拡大または縮小処理が行われた後の画像における透明部分のうち不透明部分と隣接する画素に対して、この画素を中心として、拡大または縮小処理が行われた後の画像における透明部分の画素を含む予め定める微小領域に含まれる画素に基づいて、色情報の補正処理を行う画像補正工程と、
    補正処理が行われた後の画像、および他の画像を合成する画像合成工程とを含むことを特徴とする画像合成方法。
15. コンピュータを、請求項１〜１３のいずれか１つに記載の画像合成装置として機能させるためのプログラム。
16. 請求項１５記載のプログラムを記録したコンピュータ読取り可能な記録媒体。

Images