JP2005100120A - 合成画像作成方法及び合成画像作成装置並びに合成画像作成プログラム - Google Patents

Abstract

【課題】 複数の素材画像を組み合わせてなる合成画像を誰でも容易に作成できる新規な合成画像作成方法及び合成画像作成装置並びに合成画像作成プログラムの提供。
【解決手段】サンプル画像Ｓにモザイク処理を施して複数のブロックからなるモザイク画像Ｍを形成すると共に、複数の素材画像Ｐ毎に代表色を決定し、モザイク画像Ｍの各ブロック上にそれらの色と近似する色の素材画像Ｐを選択して順次貼り付けて合成画像Ｇを形成する。これによって、完成後の合成画像Ｇ全体のバランス等を特に考慮しなくとも、近似する色を元に各ブロックに素材画像Ｐを貼り付けていくだけで、サンプル画像Ｓの配色やイメージを損なうことなく、優れた合成画像Ｇを容易に作成することが可能となる。
【選択図】 図１

Description

本発明は、複数の素材画像を用いて一つの合成画像を作成するようにした合成画像作成方法及び合成画像作成装置並びに合成画像作成プログラムに関するものである。

最近、雑誌の広告や、映画、新商品の販売促進用のポスター、パンフレット等のなかには、サムネイルのような小さなカラー写真やイラスト等の画像（以下、これを「素材画像」という）を多数組み合わせて作ったモザイク画像のような一枚の大きなカラー画像（以下、これを「合成画像」という）がしばしば見受けられる。
これは、素材となる小さな画像が有する代表色を経験的に決定し、その代表色を一つのドットとして扱い、このドットとなる素材画像を多数組み合わせることで意味のある一枚の大きなカラー合成画像を作成するようにしたものである。

そして、このような合成画像は、一般にそれを作成するデザイナや作成者等が自己の有するデザインスキルやセンスを駆使してその素材画像やサンプル画像を選択し、それら画像から手作業あるいは汎用のＤＴＰ（Desk Top Publishing）等を利用することで作成されるようになっている。
尚、以下の特許文献１には画像データや、文字データといった掲載データを割り付ける割付エリアのレイアウト変更を容易に行うことが可能なレイアウト処理装置が開示されている。
特開平８−１６７０４０号公報

ところで、このように複数の素材画像を組み合わせた合成画像を作成するには、各素材画像が醸し出す色や模様等に応じて各素材画像のサイズを適宜拡大・縮小したりして完成後の合成画像全体のバランス等を考慮しながら作成する必要があるため、その作業には非常に多くの時間と労力がかかるといった問題点がある。
また、バランスの良い美しい合成画像にするためには、ある程度の訓練やデザインセンス等が必要であり、初心者が直ぐに高度な合成画像を作成することは困難である。

そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、複数の素材画像を組み合わせてなる高度な合成画像を誰でも容易に作成することができる新規な合成画像作成方法及び合成画像作成装置並びに合成画像作成プログラムを提供するものである。

〔発明１〕
上記課題を解決するために発明１の合成画像作成方法は、
複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成方法であって、前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成すると共に、前記複数の素材画像毎に代表色を決定し、その後、前記モザイク画像の各ブロック上にそれら各ブロックの色と近似する代表色の前記素材画像を選択して順次貼り付けて前記合成画像を形成するようにしたことを特徴とするものである。

このように、合成画像の元となるサンプル画像をモザイク処理してモザイク画像を形成し、このモザイク画像の各ブロックに対してその各ブロックの色と近似する代表色の素材画像を選択して順次貼り付けるようにすれば、作成前や作成中等において、完成後の合成画像全体のバランス等を特に考慮しなくとも、サンプル画像の配色やイメージを損なわない優れた合成画像を誰でも容易に作成することが可能となる。

また、そのモザイク画像の各ブロックの大きさと各素材画像の大きさを予め合わせておけば、貼り付け作業中等に各素材画像のサイズをその都度拡大・縮小する等といった作業が不要となるため、バランスに優れた高度な合成画像をより簡単に作成することが可能となる。
〔発明２〕
発明２の合成画像作成方法は、
複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成方法であって、前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成した後、そのモザイク画像内を近似色によって複数の領域に分離したテンプレートを形成し、他方、前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分け、その後、これら各クラスと前記テンプレート内の各分離領域とを対応付けた後、前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて前記合成画像を形成するようにしたことを特徴とするものである。

これによって、複数の素材画像をそれが所属するクラスに対応したテンプレート内の所定の分離領域内にそれぞれ順に貼り付けていくだけで、バランスの良い高度な合成画像を誰でも容易に作成することができる。
〔発明３〕
発明３の合成画像作成方法は、
発明２に記載の合成画像作成方法において、前記各クラスと各分離領域との対応付けは、前記各分離領域毎の代表色と、前記各クラスの代表色とに基づいて行われるようになっていることを特徴とするものである。

このように各分離領域毎の代表色と前記各クラスの代表色とに基づいて両者を対応付ければ、サンプル画像が有する本来の色を活かしたバランスの良い高度な合成画像を誰でも容易に作成することができる。
〔発明４〕
発明４の合成画像作成方法は、
発明２に記載の合成画像作成方法において、前記各クラスと各分離領域との対応付けは、前記各分離領域毎の面積と、前記各クラスの素材画像の数とに基づいて行われるようになっていることを特徴とするものである。

すなわち、本発明は前記発明３が各クラスと各分離領域の対応付けを代表色によって行ったのに対し、その分離領域毎の面積と各クラスの素材画像の数によって対応付けしたものである。
これによって、サンプル画像本来の形状やイメージを残しつつ、違ったイメージの斬新な合成画像を誰でも容易に作成することができる。また、素材画像の数と分離領域の面積とに応じて両者を対応付けているため、素材画像が大きく過不足することがなくなり、全ての素材画像を効率的に活用することができる。

〔発明５〕
発明５の合成画像作成方法は、
発明２〜４のいずれかに記載の合成画像作成方法において、前記素材画像を貼り付ける前に、または貼り付けた後に、その素材画像を前記分離領域の大きさに応じて適宜拡大・縮小するようにしたことを特徴とするものである。

これによって、発明４と同様に、素材画像が大きく過不足することなく、全ての素材画像を効率的に活用することができる。例えば、各素材画像が対応する分離領域に対して不足している場合には、それらの素材画像を予め拡大してから貼り付ければ、存在する素材画像によって不足する画像を補うことができ、反対に、各素材画像が対応する分離領域に対して余っている場合には、それらの素材画像を予め縮小してから貼り付ければ、全てのあるいは殆どの素材画像を有効活用することができる。

また、各素材画像は、遠目から見るとそれぞれが一つのドットの如き作用を発揮することから、例えば、部分的に縮小した素材画像を多数利用することでより細かい表現を行うことも可能となる。
〔発明６〕
発明６の合成画像作成方法は、
発明２〜５のいずれかに記載の合成画像作成方法において、前記各分離領域毎に対応付けられたクラスの素材画像が足りないときは、そのクラス内のいずれかの素材画像を重複して使用するようにしたことを特徴とするものである。

すなわち、前記発明２〜５のように、各クラスと各分離領域とを対応させた場合には、必ずしも各クラスの素材画像の数が各分離領域の面積に対して一致するとは限らない。特に代表色に基づいてクラス分けした場合には、その不都合が顕著に現れる。
従って、本発明のように各分離領域毎に対応付けられたクラスの素材画像が足りないときは、そのクラス内のいずれかの素材画像を重複して使用すれば、不足する素材画像を迅速に補って高度な合成画像を容易に作成することができる。

〔発明７〕
発明７の合成画像作成方法は、
発明６に記載の合成画像作成方法において、前記素材画像を重複して使用するときは、重複して使用される素材画像が連続しないようにランダムに貼り付けるようにしたことを特徴とするものである。

すなわち、発明６のように素材画像を重複して使用した場合に、重複して使用される素材画像が連続すると、それがスジのように目立って合成画像の美観を損なう場合が考えられる。従って、発明６のように素材画像を重複して使用する場合には、本発明のように重複して使用される素材画像が連続しないようにランダムに貼り付けるようにすれば、そのような不都合を未然に回避することができる。

〔発明８〕
発明８の合成画像作成方法は、
発明１〜７のいずれかに記載の合成画像作成方法において、前記素材画像を前記分離領域に貼り付けた後、又は貼り付ける前にその分離領域の代表色に合わせて前記各素材画像の色補正処理を行うようにしたことを特徴とするものである。

このように分離領域の代表色に合わせて各素材画像の色補正処理を行うようにすれば、仮に素材画像が本来有する代表色が作成者が意図する色イメージと異なっていても、その代表色を作成者がイメージする色に近似又は一致させることができるため、作成者が意図する配色の合成画像を容易に作成することができる。
〔発明９〕
発明９の合成画像作成方法は、
発明１〜８のいずれかに記載の合成画像作成方法において、前記各素材画像を、前記サンプル画像の有するテーマに合わせて選択するようにしたことを特徴とするものである。

これによって、例えば、一つのテーマに沿ったメッセージ色の強いポスター等といった高度な合成画像を容易に作成することができる。
〔発明１０〕
発明１０の合成画像作成装置は、
複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成装置であって、前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成するモザイク画像作成手段と、そのモザイク画像を近似色によって複数の領域に分離したテンプレートを作成するテンプレート作成手段と、前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分けるクラスタリング手段と、前記クラスと前記テンプレート内の各分離領域とを対応付ける対応付け手段と、前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて合成する画像合成手段と、を備えたことを特徴とするものである。

これによって、合成画像の作成者は、基本的にテンプレートの元となるサンプル画像と、複数の素材画像を選択するだけで、前記発明２等と同様にバランスの良い高度な合成画像を自動的に作成することができる。
〔発明１１〕
発明１１の合成画像作成装置は、
発明１０に記載の合成画像作成装置において、前記対応付け手段は、前記各分離領域毎の代表色と、前記各クラスの代表色とに基づいて対応付けるようになっていることを特徴とするものである。

これによって、発明３と同様に、サンプル画像が有する本来の色を活かしたバランスの良い高度な合成画像を自動的に作成することができる。
〔発明１２〕
発明１２の合成画像作成装置は、
発明１０に記載の合成画像作成装置において、前記対応付け手段は、前記各分離領域毎の面積と、前記各クラスの素材の数とに基づいて対応付けるようになっていることを特徴とするものである。

これによって発明４と同様に、サンプル画像本来の形状やイメージを残しつつ、違ったイメージの斬新な合成画像を自動的に作成することができる。また、素材画像の数と分離領域の面積とに応じて両者を対応付けているため、素材画像が大きく過不足することがなくなり、全ての素材画像を効率的に活用することができる。
〔発明１３〕
発明１３の合成画像作成装置は、
発明１０〜１２のいずれかに記載の合成画像作成装置において、前記画像合成手段は、前記素材画像を貼り付ける前、または貼り付けた後に、その素材画像を前記分離領域の大きさに応じて適宜拡大・縮小するようになっていることを特徴とするものである。

これによって、発明４と同様に、素材画像が大きく過不足することなく、全ての素材画像を効率的に活用することができる。
〔発明１４〕
発明１４の合成画像作成プログラムは、
複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成プログラムであって、前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成するモザイク画像作成手段と、そのモザイク画像を近似色によって複数の領域に分離してテンプレートを作成するテンプレート作成手段と、前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分けるクラスタリング手段と、前記クラスと前記テンプレート内の各分離領域とを対応付ける対応付け手段と、前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて合成する画像合成手段とをコンピュータに機能させることを特徴とするものである。

これによって、発明１０と同様に、合成画像の作成者がテンプレートの元となるサンプル画像と複数の素材画像を選択するだけでバランスの良い高度な合成画像を自動的に作成することができることは勿論、汎用のパソコン等のコンピュータシステムを利用してそれらの機能を発揮することができるため、専用の装置を新たに作成して実施する場合に比べてより経済的に実現することができる。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は本発明に係る合成画像作成装置１００の実施の一形態を示すブロック図、図２は同じく本発明に係る合成画像作成方法の実施の一形態を示す概念図である。
図示するように、この合成画像作成装置１００は、複数の素材画像Ｐとサンプル画像Ｓとを組み合わせて一つの合成画像Ｇを作成するための装置であって、モザイク画像作成手段１０と、テンプレート作成手段２０と、クラスタリング手段３０と、対応付け手段４０と、画像合成手段５０と、画像入力手段６０と、画像保存手段７０と、画像出力手段８０とから主に構成されている。

先ず、このモザイク画像作成手段１０は、合成画像Ｇの元となるサンプル画像Ｓに対してモザイク処理を施して複数のブロックからなるモザイク画像Ｍを作成する機能を提供するようになっている。
このモザイク処理とは、例えば、利用するサンプル画像Ｓが図６に示すような、二つのハートと二つのリングが重なり合ったようなカラー画像であったとすると、そのカラー画像が有する形態を損なうことのない程度にこれを図７に示すような縦ｍ×横ｎのブロックに分割し、各ブロック内の画素の色情報Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の平均値（ｒ、ｇ、ｂ）を求めてその平均値を各ブロックの代表色として表示するようにしたものである。尚、このモザイク処理とは一般に不可逆的な画像処理であり、モザイク画像のみから原画像であるサンプル画像Ｓを得ることはできない。

テンプレート作成手段２０は、このようにモザイク処理を施されたモザイク画像Ｍに対してそのモザイク画像Ｍ内を近似色によるラベリング処理によって複数の領域に分離したテンプレートＴを作成する機能を提供するようになっている。
例えば、図６に示すようなサンプル画像Ｓを図７に示すようなｍ×ｎのブロックでモザイク処理したモザイク画像Ｍ内を近似色によるラベリング処理を施すと、そのサンプル画像Ｓ内の隣接する近似色のブロック同士が結合して複数のおおまかな領域、つまり図８の例では５つの領域（１，２，３，４，５）に領域分離されることになる。
このときの各ブロック結合の判定方法としては、隣接するブロックの色のＲＧＢ色空間における色差を用いるものとする。平均値（ｒ_Ａ、ｇ_Ａ、ｂ_Ａ）を持つブロックと隣接するブロックの平均値（ｒ_Ｂ、ｇ_Ｂ、ｂ_Ｂ）の色差は、以下の数式で表すことができる。

この色差が一定の閾値内に収まるものを一つのラベル領域として扱い、閾値内に収まらない場合は新たなラベル領域とする。尚、このようなラベリング手法は公知の技術であり、その内容については、例えば、「画像工学」（南敏・中村納共著、コロナ社、Ｐ１１５）等に詳しい。

次に、クラスタリング手段３０は、前記複数の素材画像Ｓに対してその素材画像Ｓ毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像Ｓを前記テンプレート作成手段２０で作成されたテンプレートＴの分離領域の数と同数のクラスに分ける機能を提供するようになっている。尚、その具体例については後述する。
対応付け手段４０は、クラスタリング手段３０で分けられた各クラスと前記テンプレートＴ内の各分離領域とをそれぞれ対応付ける機能を提供するようになっており、その具体例についてはクラスタリング手段３０と同様に後述する。

画像合成手段５０は、各クラスの素材画像をそれぞれ対応付けられた各分離領域に貼り付けて合成する機能を提供するものであり、これによって具体的な処理の殆どが終了して所望の合成画像Ｇが得られるようになっている。尚、この画像合成手段５０には、その素材画像Ｓの貼り付けに際してその素材画像Ｓを分離領域の大きさ等に応じて適宜拡大・縮小する機能も有するようになっている。

画像入力手段６０は、ユーザ等が指定する前記サンプル画像Ｓ、及び素材画像Ｐを取り込む機能を提供するものであり、取り込んだ各画像Ｓ、Ｐを画像保存手段７０に保存したり、サンプル画像Ｓを前記モザイク画像作成手段１０に、及び素材画像Ｐをクラスタリング手段３０にそれぞれ送付するようになっている。尚、この画像入力手段６０は、新たな画像Ｓ、Ｐを入力するだけでなく、ユーザ等の指定に応じて画像保存手段７０に保存された任意の画像Ｓ、Ｐを読み出して前記モザイク画像作成手段１０及びクラスタリング手段３０に対して提供する機能も発揮するようになっている。

ここで、この画像入力手段６０とは特に限定するものではないが、具体的には、スキャナやデジタルカメラ、デジタルビデオ等の画像を直接電磁的に入力する装置の他に、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の画像記憶媒体を読み込むＦＤＤ、ＣＤ−ＲＯＭドライブ、あるいはインターネットや形態電話網等のネットワークを介して入力する通信手段等が含まれる。また、画像保存手段７０は、画像を電磁的に記憶するものであれば特に限定されるものでなく、例えば、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリの他、ＣＤ−Ｒ、−ＲＷ、ＤＶＤ−ＲＡＭ、−ＲＷ等の適宜書き込み自在な記憶媒体等を利用することができる。

画像出力手段８０は、画像合成手段５０で作成された合成画像Ｇをユーザ等に対して視覚的に認識できるように出力表示する機能を提供するものであり、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（液晶ディスプレイ）等の各種ソフトコピー装置の他、レーザープリンタやインクジェットプリンタ等の各種ハードコピー装置等からなっている。
尚、前記モザイク画像作成手段１０、テンプレート作成手段２０、クラスタリング手段３０、対応付け手段４０、画像合成手段５０等は、中央処理装置（ＣＰＵ）と主記憶装置、及び入出力装置等からなるコンピュータシステム（ハードウェア）と、このコンピュータシステムを稼働する各種専用のコンピュータプログラム（ソフトウェア）とによってそれぞれの機能が実現されるようになっている。

次に、このような構成をした画像作成装置１００を用いた画像作成方法の一例を図３〜図５のフローチャート図等を主に参照しながら説明する。
本発明方法の基本的な流れは、図２に示すように合成画像Ｇを作成するユーザ等が任意に指定したサンプル画像Ｓをモザイク処理して所定のブロック数からなるモザイク画像Ｍを作成した後、そのモザイク画像Ｍを近似色によって複数の領域に分離したテンプレートＴを作成し、このテンプレートＴの各分離領域と、この分離領域数と同数に予めクラスに分けした素材画像Ｓとを対応付け、その後、前記各クラスの素材画像Ｓをそれぞれ対応付けられた前記各分離領域に貼り付けて合成画像Ｇを形成するようにしたものである。

図３は、このサンプル画像ＳからテンプレートＴの作成・格納までの処理の流れを示したものである。
先ず、本発明装置１００は、最初のステップＳ１０１においてその画像入力手段Ｓ１０１によってサンプル画像Ｓを読み込んでそのサンプル画像Ｓをそのままモザイク画像作成手段１０に送ると共に、ユーザの指定に応じてそのサンプル画像Ｓをコピーして画像保存手段７０内に保存しておく。

このようにサンプル画像Ｓの読み込みと同時にその保存を行うことにより、次回に同じサンプル画像Ｓを利用する際には、同様な入力操作を行うことなく、保存されたサンプル画像Ｓを読み出すだけで容易に再利用することができる。すなわち、ユーザが指定したサンプル画像Ｓが既に画像保存手段７０に保存されている場合には、その都度スキャナ等の撮像装置を利用してわざわざその都度、外部からサンプル画像Ｓを取り込むといった手間が不要となる。

次に、このようにして所定のサンプル画像Ｓを読み込んだなら、次のステップＳ１０３に移行してモザイク画像作成手段１０によってそのサンプル画像Ｓをモザイク処理してブロック数ｍ×ｎのモザイク画像Ｍを作成する。ここで、このモザイク処理時のブロック数（ｍ×ｎ）は特に限定されるものではないが、元の画像を形態を十分に認識できる程度で、かつ利用する素材画像Ｓと同数程度であることが好ましい。

その後、このようなモザイク化が行われたならば、次のステップＳ１０５に移行してテンプレート作成手段２０がそのモザイク画像Ｍをラベリング処理して近似色による領域分離を行ったテンプレートＴを作成してから、ステップＳ１０７に移行してそのラベリング処理についてラベル番号とラベル付けされた領域の面積（ブロック数）を画像保存手段７０等に格納しておく。

すなわち、このように近似色による領域分離が行われたテンプレートＴが例えば図８に示すように５つの領域からなっているとすると、それら各領域に対してそれぞれラベル番号１〜５を付与すると共に、図１０に示すようにそれぞれのラベル番号１〜５に対応する領域の面積をそのモザイクのブロック数で対応付けておく。図８及び図１０の例では、ラベル番号４００の「１」の領域の面積５００は、ブロック数「１７８」であって最も広く、ラベル番号「２」の領域がこれに続き、ラベル番号「５」の領域の面積５００は、ブロック数「３２」と、各領域の中で最も狭いことを表している。

次に、図４は、このテンプレートＴに合成される複数の素材画像Ｐの入力からクラスタリング結果の格納までの処理の流れを示したものである。
先ず、最初のステップＳ２０１において画像入力手段６０によって多数の素材画像Ｐを取り込んで、これを画像保存手段７０に順次蓄積しておく。尚、この素材画像Ｐの取り込みは、合成画像Ｇを作成するときのみならず、定期的にあるいは素材画像Ｐが発生したときに随時、画像保存手段７０に取り込んでおけば、ユーザの好みに応じた素材画像Ｐを必要な時に十分な数だけ用意することができる。また、ここで「十分な数」とは、図３のステップＳ１０３でモザイク化した際のブロック数ｍ×ｎよりも多い数をいい、例えば、ｍ×ｎが２０×２２で４４０ブロックであったとすると、素材画像Ｐの十分数は、少なくとも４４０枚以上ということになる。

次に、このようにして十分な数の素材画像Ｐが蓄積されたならば、ステップＳ２０３に移行して蓄積された素材画像Ｐを一枚ずつ読み込んでその代表色の決定処理を開始する。
この決定処理としては、先ず、次のステップＳ２０５において、その素材画像Ｐのサイズを一つのブロックのサイズと同じ大きさ（例えば１２０×１６０pixel）になるように適宜拡大・縮小といった変倍処理を行う。尚、この変倍処理時の変倍率は、特に限定されるものではなく、例えば一つのブロックに対して２つの素材画像Ｐを貼り付ける場合はその半分のサイズに、また、二つブロックに対して１つの素材画像Ｐを貼り付ける場合はその倍のサイズに変倍処理することになる。

次に、このような変倍処理が終了したならば、次のステップＳ２０７に移行してクラスタリング手段３０が変倍処理後の各素材画像Ｐの色情報を分析して、その素材画像Ｐ内の全画素Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の平均値（ｒ、ｇ、ｂ）を求めてその平均値をその素材画像Ｐの代表色とする。
その後、このようにしてその素材画像Ｐの代表色が得られたならば、次のステップＳ２０９に移行して対応付け手段４０がその素材画像Ｐとその代表色のそれぞれについて共通の識別符号ＩＤを付けて１対１の対応付けを可能にしておく。

そして、このような代表色の決定処理を順に他の素材画像Ｐに対しても行い、それぞれ素材画像Ｐの処理が終了する毎に、全ての素材画像Ｐについて処理が終了したか否かを判断（ステップＳ２１１）し、終了していないとき（Ｎｏ）は、ステップＳ２１３に移行して次の素材画像Ｐを読み込んで同様な処理を行うことになるが、全て素材画像Ｐについて処理が終了したと判断したとき（Ｙｅｓ）は、このループから抜け出して次のステップＳ２１５に移行する。

ステップＳ２１５では、このようにして得られた各素材画像Ｐの代表色（ｒ、ｇ、ｂの平均値）を特徴量として素材画像Ｐのクラスタリングを行う。このクラスタリングアルゴリズムとしては、例えばＫ平均アルゴリズム等の公知の手法を使用することができる。その後、このようにして各素材画像Ｐについてクラスタリングが終了したならば、ステップＳ２１７に移行して各クラスのクラスタ番号とそのクラス内に含まれる素材画像Ｐの枚数を計測してその結果を格納しておく。

例えば、図９に示すように、全ての素材画像Ｐをその代表色（ｒ、ｇ、ｂの平均値）を特徴量として５つのクラス（Ａ〜Ｅ）に分けた場合は、それらのクラスに対してそれぞれクラスタ番号（１〜５）を付与すると共に、そのクラスタ番号によって分類された各クラスの代表値と、そのクラスに属する素材画像Ｐの枚数を図１１のように対応付けておく。図１１の例では、素材画像Ｐの数が最も多いクラスＡに対してクラスタ番号６００の「１」を付与し、次に素材画像Ｐの数が多いクラスＢに対してクラスタ番号の「２」を付与し、次のクラスＣにクラスタ番号の「３」を、クラスＤにクラスタ番号の「４」を、クラスＥにクラスタ番号の「５」を順に付与すると共に、各クラスタの代表値７００としてそれぞれ（ｒ_１、ｇ_１、ｂ_１）、（ｒ_２、ｇ_２、ｂ_２）、（ｒ_３、ｇ_３、ｂ_３）、（ｒ_４、ｇ_４、ｂ_４）、（ｒ_５、ｇ_５、ｂ_５）と、画像枚数「１８０」、「１１０」、「８０」、「６０」、「４０」とを対応付けしてその結果を格納しておく。

次に、図５はこのようにしてクラスタリングされた素材画像Ｐと前記テンプレートＴを画像合成手段５０によって合成して一枚の合成画像を作成するに至るまでの処理の流れを示したものである。
この画像合成手段５０は先ず、最初のステップＳ３０１において、クラスタリングされた素材画像ＰをテンプレートＴ上に貼り付けるための位置決定のルールとして、i．色情報を優先するものと、ii．領域情報を優先するものとの２つのルールからいずれか一つをユーザの指示によって決定する。

そして、先ず、i．色情報を優先するものが選ばれた場合には、ステップＳ３０３側に移行して色情報による貼り込み位置の決定処理が行われる。
この位置決定方法としては、テンプレートＴ上を左上から右下への走査していきながら、各ブロックの持つ代表色と各素材画像Ｐの代表色の距離が最も近い値の素材画像Ｐを割り当てていく。尚、この時、素材画像Ｐが不足している場合は、いずれかの素材画像Ｐが重複して選択されることになるが、十分ある場合にはそれが重複して選択されることがないように一度貼り込まれた素材画像Ｐについては距離の算出に用いないものとする。また、素材画像Ｐが重複して選択される場合でも同じ素材画像Ｐが連続して配置されないように適当な乱数を発生させて配置を散らせるようにすることが望ましい。

一方、ii．領域情報を優先するものが選択された場合には、ステップＳ３０５側に移行して領域情報による貼り込み位置の決定処理が行われる。
この位置決定方法としては、図３のステップＳ１０７で格納しておいた図１０に示す領域面積５００とラベル番号４００とを対応させたものと、図４のステップＳ２１７で格納しておいた図１１に示す画像枚数８００とクラスタ番号６００とを対応させたものを用い、そのラベル番号４００とクラスタ番号６００とを対応させる。つまり、ラベル番号１が付与された領域にはクラスタ番号１に分類された素材画像Ｐを割り当て、ラベル番号２にはクラスタ番号２を、ラベル番号３にはクラスタ番号３を、ラベル番号４にはクラスタ番号４を、ラベル番号５にはクラスタ番号５をそれぞれ割り当てる。このため、各クラスに分類された各素材画像Ｐの数は、各領域の面積（ブロック数）とほぼ同じ数となる。尚、この時、領域の面積に対して各クラスの素材画像Ｐの数が不足している場合には、そのクラス内の素材画像Ｐのいずれかを重複して割り当てることになるが、その際には、前記方法と同様に同じ素材画像Ｐが連続して配置されないように適当な乱数を発生させて配置をランダムに散らせるようにすることが望ましい。

そして、このようにして各素材画像の割り当て位置が決定したならば、次のステップＳ３０７に移行して各素材画像ＰをテンプレートＴ上のそれぞれ割り当て位置に貼り付けて全ての画像を合成して合成画像Ｇを作成した後、次のステップＳ３０９に移行する。
ステップＳ３０９では、この合成画像Ｇを配色が自然であるか否かをチェックする。つまり、モザイク画像Ｍと素材画像Ｐとの色差が一定の閾値内である場合（Ｙｅｓ）は、そのまま処理を終了することになるが、閾値外である場合（Ｎｏ）は、ステップＳ３１１に移行してその不自然な素材画像Ｐに対して色補正を行う。

すなわち、素材画像Ｐの枚数が不足して重複して使用した場合等は各ブロックの持つ代表色と素材画像の代表色の距離があまりにもかけ離れていることがある。そのため、このステップ３１１では両者の距離縮めるように素材画像Ｐの色情報（Ｒ、Ｇ、Ｂ）について色補正処理を行うようにしたものである。尚、この色補正は、画像合成処理前の素材画像Ｐの割り当て処理時に行っても良い。

このように本発明は、サンプル画像Ｓにモザイク処理を施して複数のブロックからなるモザイク画像Ｍを形成すると共に、複数の素材画像Ｐ毎に代表色を決定し、モザイク画像Ｍの各ブロック上にそれらの色と近似する色の素材画像Ｐを選択して順次貼り付けて合成画像Ｇを形成するようにしたため、完成後の合成画像Ｇ全体のバランス等を特に考慮しなくとも、近似する色を元に各ブロックに素材画像Ｐを貼り付けていくだけで、サンプル画像Ｓの配色やイメージを損なうことなく、優れた合成画像Ｇを誰でも容易に作成することが可能となる。

尚、上記実施の形態では各クラスと各分離領域の対応付けを代表色によって行ったが、その分離領域毎の面積と各クラスの素材画像の数によって対応付けすれば、サンプル画像Ｓ本来の形状やイメージを残しつつ、違ったイメージの斬新な合成画像Ｇを容易に作成することができる。また、素材画像の数と分離領域の面積とに応じて両者を対応付けているため、素材画像が大きく過不足することがなくなり、全ての素材画像を効率的に活用できるといった利点も発揮することができる。

また、各素材画像Ｐを貼り付ける前のみならず、貼り付けた後にも適宜その素材画像Ｐを前記分離領域の大きさに応じて適宜拡大・縮小するようにすれば、素材画像Ｐが大きく過不足することなく、全ての素材画像を効率的に活用することができるだけでなく、縮小した素材画像Ｐを多数利用することでより細かい表現を行うことも可能となる。
各素材画像Ｐを選択するにあたっては、前記サンプル画像Ｓの有するテーマに合わせて選択するようすれば、一つのテーマに沿ったメッセージ色の強い合成画像や統一感に優れた高度な合成画像Ｇを作成することができる。例えば、あるアニメ映画のタイトルをサンプル画像Ｓとして選択した場合には、その素材画像Ｐとしてそのアニメ映画に登場するキャラクタの画像を選択したり、戦場や兵士の写真等からなる素材画像Ｐを選択して平和を訴える合成画像Ｇを作成する等である。

本発明に係る合成画像作成装置の実施の一形態を示すブロック図である。 本発明に係る合成画像作成方法の実施の一形態を示す概念図である。 サンプル画像からテンプレートの格納までの処理を示す流れ図である。 素材画像入力からクラスタリング結果格納までの処理を示す流れ図である。 合成画像の作成に至るまでの処理を示す流れ図である。 サンプル画像の一例を示す図である。 モザイク化するブロックの大きさの一例を示す概念図である。 テンプレートの一例を示す図である。 クラスタリングの一例を示す図である。 分離領域のラベル番号とその領域面積との対応の一例を示す図である クラスタ番号とその代表値とその素材画像枚数との対応を示す図である。

符号の説明

１０…モザイク画像作成手段、２０…テンプレート作成手段、３０…クラスタリング手段、４０…対応付け手段、５０…画像合成手段、６０…画像入力手段、７０…画像保存手段、８０…画像出力手段、１００…合成画像作成装置、Ｐ…素材画像、Ｓ…サンプル画像、Ｍ…モザイク画像、Ｔ…テンプレート、Ｇ…合成画像。

Claims (14)

1. 複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成方法であって、
   前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成すると共に、前記複数の素材画像毎に代表色を決定し、その後、前記モザイク画像の各ブロック上にそれら各ブロックの色と近似する代表色の前記素材画像を選択して順次貼り付けて前記合成画像を形成するようにしたことを特徴とする合成画像作成方法。
2. 複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成方法であって、
   前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成した後、そのモザイク画像を近似色によって複数の領域に分離したテンプレートを形成し、他方、前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分け、その後、これら各クラスと前記テンプレート内の各分離領域とを対応付けた後、前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて前記合成画像を形成するようにしたことを特徴とする合成画像作成方法。
3. 請求項２に記載の合成画像作成方法において、
   前記各クラスと各分離領域との対応付けは、前記各分離領域毎の代表色と、前記各クラスの代表色とに基づいて行われるようになっていることを特徴とする合成画像作成方法。
4. 請求項２に記載の合成画像作成方法において、
   前記各クラスと各分離領域との対応付けは、前記各分離領域毎の面積と、前記各クラスの素材画像の数とに基づいて行われるようになっていることを特徴とする合成画像作成方法。
5. 請求項２〜４のいずれかに記載の合成画像作成方法において、
   前記素材画像を貼り付ける前に、または貼り付けた後に、その素材画像を前記分離領域の大きさに応じて適宜拡大・縮小するようにしたことを特徴とする合成画像作成方法。
6. 請求項２〜５のいずれかに記載の合成画像作成方法において、
   前記各分離領域毎に対応付けられたクラスの素材画像が足りないときは、そのクラス内のいずれかの素材画像を重複して使用するようにしたことを特徴とする合成画像作成方法。
7. 請求項６に記載の合成画像作成方法において、
   前記素材画像を重複して使用するときは、重複して使用される素材画像が連続しないようにランダムに貼り付けるようにしたことを特徴とする合成画像作成方法。
8. 請求項１〜７のいずれかに記載の合成画像作成方法において、
   前記素材画像を前記分離領域に貼り付けた後、又は貼り付ける前にその分離領域の代表色に合わせて前記各素材画像の色補正処理を行うようにしたことを特徴とする合成画像作成方法。
9. 請求項１〜８のいずれかに記載の合成画像作成方法において、
   前記各素材画像を、前記サンプル画像の有するテーマに合わせて選択するようにしたことを特徴とする合成画像作成方法。
10. 複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成装置であって、
    前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成するモザイク画像作成手段と、
    そのモザイク画像内を近似色によって複数の領域に分離したテンプレートを作成するテンプレート作成手段と、
    前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分けるクラスタリング手段と、
    前記クラスと前記テンプレート内の各分離領域とを対応付ける対応付け手段と、
    前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて合成する画像合成手段と、を備えたことを特徴とする合成画像作成装置。
11. 請求項１０に記載の合成画像作成装置において、
    前記対応付け手段は、前記各分離領域毎の代表色と、前記各クラスの代表色とに基づいて対応付けるようになっていることを特徴とする合成画像作成装置。
12. 請求項１０に記載の合成画像作成装置でおいて、
    前記対応付け手段は、前記各分離領域毎の面積と、前記各クラスの素材の数とに基づいて対応付けるようになっていることを特徴とする合成画像作成装置。
13. 請求項１０〜１２のいずれかに記載の合成画像作成装置において、
    前記画像合成手段は、前記素材画像を貼り付ける前、または貼り付けた後に、その素材画像を前記分離領域の大きさに応じて適宜拡大・縮小するようになっていることを特徴とする合成画像作成装置。
14. 複数の素材画像を組み合わせて一つの合成画像を作成するようにした合成画像作成プログラムであって、
    前記合成画像の元となるサンプル画像に対して任意のブロック数のモザイク処理を施して複数のブロックからなるモザイク画像を形成するモザイク画像作成手段と、そのモザイク画像を近似色によって複数の領域に分離したテンプレートを作成するテンプレート作成手段と、前記複数の素材画像毎に代表色を決定すると共に、その代表色に基づいてそれら複数の素材画像を前記分離領域数と同数のクラスに分けるクラスタリング手段と、前記クラスと前記テンプレート内の各分離領域とを対応付ける対応付け手段と、前記各クラスの素材画像をそれぞれ対応付けられた前記各分離領域に貼り付けて合成する画像合成手段とをコンピュータに機能させることを特徴とする合成画像作成プログラム。

Images