JP2011054080A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より高品質なフォトモザイク画像を得ることができるようにする。
【解決手段】画像処理装置１１は、制作目標画像を任意の形状の複数のブロックに分割し、各ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する。切り出し部２８は、予め用意された素材画像から被写体を検出し、その被写体が、制作目標画像を分割するブロック内に収まるように、ブロックの形状および大きさに合わせて素材画像を拡大、縮小、変形、または回転する加工処理を施す。また、切り出し部２８は、加工処理を施した素材画像をブロックと同じ形状および大きさに切り出して、被写体が含まれる切り出し画像を生成する。そして、この切り出し画像が置換画像の候補とされてフォトモザイク画像が生成される。本発明は、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なフォトモザイク画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。

撮像された写真の効果的な提示方法として、フォトモザイク画像が知られている。フォトモザイク画像は、目標とする１つの画像（以下、制作目標画像と称する）を複数の矩形のブロックに分割し、各ブロックを、それらのブロックと色が類似する他の異なる画像（以下、置換画像と称する）に置き換えることにより得られる画像である。

したがって、フォトモザイク画像をある程度遠くから観察すると、観察者の目には制作目標画像上の被写体と同じ被写体が観察されるが、フォトモザイク画像をある程度近くから観察すると、並べられた複数の異なる置換画像が観察されることになる。

このようなフォトモザイク画像を生成する技術として、制作目標画像の各ブロックの色の代表値と、置換画像の候補となる各画像の色の代表値との距離を、重み付けを用いた計算により求めることで、各ブロックに配置される画像を選択する技術が知られている（例えば、特許文献１参照）。また、制作目標画像を色近似により複数ブロックからなる分離領域に分離するとともに、置換画像の候補を分離領域に対応するクラスに分類し、分離領域ごとに、対応するクラスに属す候補を用いてフォトモザイク画像を生成する技術もある（例えば、特許文献２参照）。

さらに、制作目標画像のブロックをさらに細かく分割して、置換画像の候補となる画像との照合を行うことにより、元の制作目標画像の色分布を維持しながらフォトモザイク画像を生成する方法も提案されている（例えば、特許文献３）。

さらにまた、予め用意されたテンプレートに従って、画像の予め定められた領域を切り出し、その結果得られた切り出し画像を各ブロックに割り当てる置換画像の候補として用い、フォトモザイク画像を生成する方法も提案されている（例えば、特許文献４）。この方法では、画像上の人の顔の領域が半分だけ切り出された場合など、フォトモザイク画像の品質、つまり見映えを劣化させる不適切な切り出し画像が得られた場合には、その切り出し画像が手動により、または自動的に置換画像の候補から除外される。

特開２０００−２９８７２２号公報 特開２００５−１００１２０号公報 特開平１１−３４１２６６号公報 特開平１１−３４５３１１号公報

ところで、フォトモザイク画像の生成には、多くの画像と、作成のためのノウハウが必要であった。そのため、フォトモザイク画像は、映画の宣伝用のポスタや企業のロゴなど、商用で利用されることはあったが、一般ユーザが、パーソナルコンピュータ等を利用して、高品質なフォトモザイク画像を生成することは容易ではなかった。

例えば、制作目標画像を矩形とは異なる形状のブロックに分割することで、各ブロックの形状により何らかのメッセージを表現し、より芸術性の高いフォトモザイク画像を生成しようとする場合、高品質なフォトモザイク画像を得ることは困難であった。

すなわち、上述した特許文献１乃至特許文献３に記載の技術では、各ブロックの形状が矩形であることが前提とされているため、制作目標画像を矩形とは異なる形状のブロックに分割してフォトモザイク画像を生成することはできなかった。

また、特許文献４に記載の技術では、テンプレートに従って画像の予め定められた領域を切り出して切り出し画像とするため、切り出し領域の形状を矩形とは異なる形状とすれば、ブロックを任意の形状とすることが可能である。

しかしながら、画像上の予め定められた領域が切り出し画像として切り出されるため、得られた切り出し画像の多くは、置換画像として用いることのできない不適切なものとなってしまう。そのため、置換画像の候補として用いることのできる切り出し画像の数が不足し、フォトモザイク画像の品質が低下してしまうおそれがあった。

具体的には、高品質なフォトモザイク画像、つまり見映えのよいフォトモザイク画像を得るには、制作目標画像の各ブロックに割り当てる置換画像を、なるべく重複しないように選択することが必要である。これは、制作目標画像の１つのブロックの近傍に、そのブロックに対して定められた置換画像と同じ画像がいくつか配置されると、得られたフォトモザイク画像は、近くから見ても、遠くから見ても見映えの悪いものとなってしまうからである。また、より高品質なフォトモザイク画像を得るには、制作目標画像の各ブロックに対して、そのブロックに色の分布が類似する置換画像を選択することも必要となる。

ところが、画像の一部を切り出して得られた切り出し画像に不適切なものが多いと、置換画像の候補として用いることのできる切り出し画像が不足することになる。そのような場合、同じ切り出し画像が置換画像として何度も重複して用いられたり、各ブロックと色が類似する切り出し画像を得ることができなかったりして、高品質なフォトモザイク画像を生成することができなくなってしまう。

本発明は、このような状況に鑑みてなされたものであり、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができるようにするものである。

本発明の一側面の画像処理装置は、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段とを備える。

前記加工手段には、前記加工処理として、前記素材画像の拡大処理、縮小処理、変形処理、または回転処理の少なくとも何れかの処理を前記素材画像に施させることができる。

画像処理装置には、前記素材画像上に生じたぼけを検出する検出手段と、前記ぼけを除去するフィルタ処理を前記素材画像に施すぼけ除去手段とをさらに設けることができる。

画像処理装置には、前記素材画像上のノイズを検出する検出手段と、前記ノイズを除去するフィルタ処理を前記素材画像に施すノイズ除去手段とをさらに設けることができる。

前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報を付加し、前記画像生成手段には、前記タグ情報が付加された前記切り出し画像を生成させ、前記切り出し画像に付加された前記タグ情報に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに設け、前記置換手段には、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成させることができる。

前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報を付加し、前記タグ情報に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに設け、前記加工手段には、前記選択手段により選択された前記素材画像に前記加工処理を施させることができる。

画像処理装置には、前記切り出し画像に基づいて、物体認識により前記切り出し画像上の前記被写体を識別し、その識別結果に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに設け、前記置換手段には、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択させて、前記フォトモザイク画像を生成させることができる。

画像処理装置には、前記素材画像に基づいて、物体認識により前記素材画像上の前記被写体を識別し、その識別結果に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに設け、前記加工手段には、前記選択手段により選択された前記素材画像に前記加工処理を施させることができる。

本発明の一側面の画像処理方法またはプログラムは、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理方法またはプログラムであって、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出し、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施し、前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成し、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成するステップを含む。

本発明の一側面においては、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理において、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体が検出され、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理が施され、前記加工処理された前記素材画像の前記被写体を含む領域が前記ブロックと同じ形状および大きさに切り出されて、前記被写体が含まれる切り出し画像が生成され、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像が前記置換画像とされ、前記ブロックが前記置換画像に置き換えられて前記フォトモザイク画像が生成される。

本発明の一側面によれば、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができる。

本発明を適用した画像処理装置の構成例を示す図である。 切り出し部の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 制作目標画像のブロックへの分割例を示す図である。 制作目標画像のブロックへの他の分割例を示す図である。 制作目標画像のブロックへの他の分割例を示す図である。 切り出し処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 切り出し部の他の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 切り出し処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［画像処理装置の構成］
図１は、本発明を適用した画像処理装置の構成例を示す図である。

画像処理装置１１は、目標とする１つの制作目標画像を任意の形状の複数のブロックに分割し、各ブロックを他の異なる画像に置き換えることにより、１つのフォトモザイク画像を生成する。

画像処理装置１１は、記録部２１、画像データベース記録部２２、切り出し形状メモリ２３、分割部２４、平均値算出部２５、中心値算出部２６、クラス分類部２７、切り出し部２８、クラス分類部２９、切り出し画像メモリ３０、置換画像決定部３１、画像置換部３２、表示制御部３３、および表示部３４から構成される。

記録部２１は、予め用意された複数の制作目標画像を記録し、制作目標画像を分割部２４に供給する。画像データベース記録部２２は、予め用意された複数の素材画像から構成される画像データベースを記録しており、素材画像を切り出し部２８に供給する。この素材画像は、制作目標画像の各ブロックに配置される置換画像の素材となる画像である。

切り出し形状メモリ２３は、制作目標画像を分割する各ブロックの形状および大きさと、それらのブロックの制作目標画像上の位置とを示すブロック形状情報を予め保持しており、ブロック形状情報を分割部２４または切り出し部２８に供給する。

ここで、ブロックの形状は矩形に限らず任意の形状とされ、制作目標画像上の各ブロックは、互いに異なる大きさまたは形状とされてもよい。但し、制作目標画像を分割するにあたり、敷き詰め条件が満たされるように、つまり制作目標画像が隙間なく複数ブロックに分割されるように、各ブロックの形状および大きさが予め定められている。換言すれば、制作目標画像上には、互いに隣接するブロック間に隙間が生じないように、各ブロックが配置される。

敷き詰め条件を満たすような制作目標画像の分割の例としては、正則分割条件を満たす、例えば互いに結合した複数の合同な多角形への分割などが挙げられる。正則分割条件を満たす画像の分割パターンは、例えば制作目標画像上にブロックとなる図形を配置し、その図形を幾何学運動により移動させ、移動後の図形の位置を新たなブロックの位置として、制作目標画像を複数ブロックで充填させることにより得ることができる。

ここでいう図形の幾何学運動とは、図形を上下左右の方向に平行移動させる並進、図形の一辺を軸として図形を折り返す鏡映、図形の頂点を中心としてその図形を回転させる回転、図形を鏡映してから平行移動させるすべり鏡や、それらの組み合わせなどである。

分割部２４は、切り出し形状メモリ２３に記録されているブロック形状情報を参照して、記録部２１からの制作目標画像を複数のブロックに分割し、平均値算出部２５に供給する。平均値算出部２５は、分割部２４から供給された各ブロックについて、ブロックの色に関する第１の特徴の特徴量として、ブロック内の画素の画素値の平均値を算出し、平均値と各ブロックとを中心値算出部２６に供給する。この平均値は、ブロックを構成する画素の平均的な色を示している。

なお、ブロックの平均値は、色に関する第１の特徴の特徴量、つまりブロックの代表値の一例であり、代表値としては、その他、ブロックの中央の座標の位置の画素値、ブロック内において予め定められた座標位置の画素の画素値の平均値などが考えられる。

中心値算出部２６は、平均値算出部２５からの各ブロックの平均値を用いて、ブロックのクラス分類に用いられる、各クラスの色に関する第１の特徴の特徴量である中心値を算出する。ここで、各クラスは、制作目標画像から抽出される色に関する第１の特徴の特徴量により定められ、各ブロックは、色に関する第１の特徴を指標として、最も類似しているクラスに属すように分類される。

また、クラス分類に用いられる中心値は、そのクラスに属すブロックの代表的（平均的）な色を示している。中心値算出部２６は、ブロックに分割された制作目標画像、各クラスの中心値、および各ブロックの平均値をクラス分類部２７に供給するとともに、各クラスの中心値をクラス分類部２９に供給する。

クラス分類部２７は、中心値算出部２６から供給されたクラスの中心値とブロックの平均値とを用いて、各ブロックを何れかのクラスに分類し、その分類結果と、複数ブロックに分割された制作目標画像を置換画像決定部３１に供給する。

切り出し部２８は、切り出し形状メモリ２３に記録されているブロック形状情報を参照して、画像データベース記録部２２に記録されている素材画像の一部の領域を切り出すことにより切り出し画像を生成し、クラス分類部２９に供給する。具体的には、素材画像上の被写体がブロック形状情報により示されるブロック内に収まるように、素材画像が適宜加工され、加工された素材画像上における、ブロックと同じ形状および大きさであり、被写体が含まれる領域が切り出されて、切り出し画像とされる。

クラス分類部２９は、中心値算出部２６から供給されたクラスの中心値を用いて、切り出し部２８からの切り出し画像をクラス分類し、その分類結果と、切り出し画像とを切り出し画像メモリ３０に供給し、記録させる。

置換画像決定部３１は、クラス分類部２７から供給された各ブロックのクラスの分類結果およびブロックと、切り出し画像メモリ３０に記録されている切り出し画像のクラス分類結果および切り出し画像とを用いて、各ブロックに割り当てる切り出し画像を決定する。各ブロックには、所定の条件を満たす切り出し画像のうち、色に関する第２の特徴、例えば色の構造（分布）がそのブロックと最も類似する切り出し画像が割り当てられる。

置換画像決定部３１は、クラス分類部２７から供給された、ブロックに分割された制作目標画像と、各ブロックに割り当てた切り出し画像とを画像置換部３２に供給する。なお、以下、各ブロックに割り当てられた切り出し画像を、置換画像とも称する。

画像置換部３２は、置換画像決定部３１から供給された制作目標画像の各ブロックを、それらのブロックに割り当てられた置換画像に置き換えることでフォトモザイク画像を生成し、表示制御部３３に供給する。表示制御部３３は、画像置換部３２から供給されたフォトモザイク画像を表示部３４に供給し、表示させる。表示部３４は、表示制御部３３の制御に従って各種の画像を表示する。

なお、最終的に得られたフォトモザイク画像は、表示されるだけでなく、印刷されたり、データとして記録媒体に記録されたり、画像処理装置１１と接続されている他の装置に転送されたりしてもよい。

［切り出し部の構成］
また、図１の切り出し部２８は、より詳細には図２に示すように構成される。

すなわち、切り出し部２８は、被写体検出部６１、ノイズ検出部６２、ノイズ除去部６３、ぼけ検出部６４、ぼけ除去部６５、および被写体領域切り出し部６６から構成される。

被写体検出部６１は、画像データベース記録部２２から取得した素材画像に基づいて、素材画像上の被写体の領域を検出し、その検出結果と素材画像とをノイズ検出部６２に供給する。ノイズ検出部６２は、被写体検出部６１からの素材画像からノイズを検出し、その検出結果と、素材画像および被写体の検出結果とをノイズ除去部６３に供給する。ノイズ除去部６３は、ノイズ検出部６２からのノイズの検出結果に基づいて、素材画像からノイズを除去し、ノイズの除去された素材画像と被写体の検出結果とをぼけ検出部６４に供給する。

ぼけ検出部６４は、ノイズ除去部６３からの素材画像からぼけを検出し、その検出結果と、素材画像および被写体の検出結果とをぼけ除去部６５に供給する。ぼけ除去部６５は、ぼけ検出部６４からのぼけの検出結果に基づいて、素材画像からぼけを除去し、ぼけの除去された素材画像と被写体の検出結果とを被写体領域切り出し部６６に供給する。

被写体領域切り出し部６６は、ぼけ除去部６５から供給された被写体の検出結果および素材画像と、切り出し形状メモリ２３に記録されているブロック形状情報とに基づいて、切り出し画像を生成し、クラス分類部２９に供給する。

また、被写体領域切り出し部６６は、加工部７１を備えている。加工部７１は、素材画像上の被写体の領域をブロック形状情報により示されるブロックの形状に切り出して切り出し画像とするときに、被写体がブロック内に収まるように、素材画像を適宜、加工する。ここで、素材画像の加工は、例えば素材画像の拡大、縮小、変形、回転などとされる。また、素材画像に加工が必要ない場合には、特に加工されなくてもよい。

なお、切り出し部２８には、素材画像から、ノイズを検出して除去する機構と、ぼけを検出して除去する機構とが設けられているが、何れか一方だけが設けられるようにしてもよい。

［フォトモザイク画像の生成処理の説明］
ところで、ユーザが画像処理装置１１を操作して制作目標画像を指定し、その制作目標画像を用いたフォトモザイク画像の生成を指示すると、画像処理装置１１は、ユーザの指示に応じてフォトモザイク画像の生成処理を行い、フォトモザイク画像を生成する。

以下、図３のフローチャートを参照して、画像処理装置１１によるフォトモザイク画像の生成処理について説明する。

ステップＳ１１において、分割部２４は、ユーザにより指定された制作目標画像を、記録部２１から読み込む。そして、ステップＳ１２において、分割部２４は、切り出し形状メモリ２３に記録されているブロック形状情報を参照して、読み込んだ制作目標画像を複数のブロックに分割する。すなわち、ブロック形状情報に示されるブロックの形状、大きさ、および配置で制作目標画像がブロックに分割される。

なお、切り出し形状メモリ２３に複数のブロック形状情報が記録されている場合には、何れのブロック形状情報が用いられるか、つまりどのようなブロックで制作目標画像を分割するか、ユーザにより指定されるようにしてもよい。

ここで、制作目標画像は、例えば図４や図５、図６に示すように、敷き詰め条件を満たした複数のブロックに分割される。

図４の例では、制作目標画像は、互いに隣接する、平行四辺形の形状をした複数のブロックのそれぞれに分割される。なお、図中、１つの平行四辺形は１つのブロックを示しており、ブロック内の文字「Ｆ」の向きは、そのブロックの向きを示している。つまり、図４の例では、同形状の複数ブロックが異なる方向に向くように並べられている。

また、図５の例では、制作目標画像は、形状の異なる複数のブロックに分割されており、制作目標画像上において、図中、左右方向に並ぶ各ブロックの形状は、その左右方向の位置に応じて変化している。このように所定方向に並べられたブロックの形状が、その方向の位置に応じて変化する模様は、メタモルフォーシスとも呼ばれている。

このようなメタモルフォーシスを利用すれば、最終的に得られるフォトモザイク画像において、ブロックの形状のみでメッセージを表現するだけでなく、ブロックの形状の変化によってもメッセージを表現することができる。

例えば、ブロックの形状を所定の生物の輪郭とする場合、所定方向に並ぶブロックの形状を、その位置により変化させることで、生物の成長過程を表現することができる。また、例えば、ブロックの形状が、父親の顔から子供の顔に変化したり、子供の時の顔から大人になったときの顔に変化したり、さらには、建て替え前の建物から建て替え後の建物に変化したりする例も考えられる。

このように、ブロックの形状を過去の形態から現在の形態に変化させながら並べるなど、その形状に変化を持たせることで、よりメッセージ表現の幅を広げることができ、フォトモザイク画像の芸術性をより高めることができる。

さらに、図６も図５と同様にメタモルフォーシスの例である。図６の例では、制作目標画像は、形状の異なる複数のブロックに分割されている。制作目標画像上においては、図中、左端側のブロックは、鬼の顔の輪郭の形状をしており、左端側から右端側のブロックになるにしたがって、そのブロックの輪郭の形状が馬の形状に変化している。

図３のフローチャートの説明に戻り、分割部２４は、制作目標画像を複数のブロックに分割すると、各ブロックを平均値算出部２５に供給する。

ステップＳ１３において、平均値算出部２５は、分割部２４から供給された各ブロックについて、ブロック内の画素の画素値の平均値を算出し、各ブロックと、ブロックごとの平均値を中心値算出部２６に供給する。例えば、制作目標画像の各画素は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各成分の画素値を有しており、それらのＲ，Ｇ，Ｂの成分ごとに平均値が算出される。なお、演算量の軽減のため、ブロックに対して画素の間引きを行い、間引きされたブロックの平均値が算出されるようにしてもよい。

ステップＳ１４において、中心値算出部２６は、平均値算出部２５から供給された各ブロックの平均値を用いて、各クラスの中心値を算出する。

例えば、クラスの数が予めｋ個と定められている場合、中心値算出部２６は、ｋ-ｍｅａｎｓ法により、ｋ個のクラスのそれぞれについて中心値を算出する。具体的には、まず、中心値算出部２６は、各クラスに対して中心値の初期値を定める。例えば、中心値は、Ｒ，Ｇ，Ｂの成分ごとに与えられる。

そして、中心値算出部２６は、各クラスの中心値と、各ブロックの平均値との距離を算出して、クラス分類を行う。ここで、制作目標画像のブロックは、算出された距離が最も近い（短い）クラスに分類される。また、距離の算出は、平均値と中心値とのＲ，Ｇ，Ｂの各成分の画素値の差分絶対値二乗和や、各成分の画素値の差分の重み付け加算などにより行われる。つまり、ブロックとクラスとの距離は、それらのブロックの平均的な色（平均値）が、クラスの代表的な色（中心値）に対して、どの程度類似しているかを示す値となる。

中心値算出部２６は、ブロックを何れかのクラスに分類すると、クラスごとに新たな中心値を求める。すなわち、クラスに属すブロックの平均値の平均値が算出され、得られた平均値が新たな中心値とされる。そして、このようにして中心値により各ブロックのクラス分類を行って、各クラスの中心値を更新する処理が規定回数だけ行われて、その結果得られた中心値が、最終的な各クラスの中心値とされる。

中心値算出部２６は、各クラスの中心値を求めると、その中心値をクラス分類部２９に供給するとともに、各クラスの中心値、各ブロックの平均値、およびブロックに分割された制作目標画像をクラス分類部２７に供給する。

ステップＳ１５において、クラス分類部２７は、中心値算出部２６からの平均値および中心値を用いて、ブロックの平均値とクラスの中心値との距離を算出し、各ブロックをｋ個のクラスのうちの何れかに分類する。ここで、距離の算出、およびクラスの分類は、中心値算出部２６における場合と同様の処理により行われる。すなわち、平均値と中心値との各成分の差分絶対値二乗和などにより距離が算出され、距離が最も近いクラスに各ブロックが分類される。

クラス分類部２７は、制作目標画像の各ブロックをクラスに分類すると、その分類結果と、ブロックに分割された制作目標画像とを置換画像決定部３１に供給する。

ステップＳ１６において、切り出し部２８は、切り出し処理を行って、切り出し画像を生成し、クラス分類部２９に供給する。すなわち、切り出し部２８は、画像データベース記録部２２に記録されている素材画像の被写体の領域を、切り出し形状メモリ２３に記録されているブロック形状情報に示されるブロックの形状に切り出して、切り出し画像とする。なお、切り出し処理の詳細は後述する。

また、ブロック形状情報により示されるブロックとして、互いに形状または大きさの異なる複数のブロックがある場合には、それらの形状または大きさごとに切り出し画像が生成される。例えば、ブロック形状情報により、三角形状および矩形状のブロックが示される場合には、１つの素材画像からは、その素材画像を三角形状に切り出して得られる切り出し画像と、素材画像を矩形状に切り出して得られる切り出し画像とが生成される。

ステップＳ１７において、クラス分類部２９は、切り出し部２８から供給された切り出し画像を、中心値算出部２６から供給された各クラスの中心値を用いてクラスに分類する。

具体的には、クラス分類部２９は、切り出し画像の色に関する第１の特徴の特徴量として、切り出し画像の画素の画素値の平均値を算出し、その平均値と、各クラスの中心値との距離を算出する。この距離は、クラス分類部２７における場合と同様の方法により算出される。なお、演算量の軽減のため、切り出し画像に対して画素の間引きを行い、間引きされた切り出し画像の平均値が算出されるようにしてもよい。

次に、クラス分類部２９は、求めた距離が予め定めた閾値以下であるクラスに、その切り出し画像を属させる。例えば、所定の切り出し画像の平均値とクラス１の中心値との距離、および切り出し画像の平均値とクラス２の中心値との距離がともに閾値以下であったとすると、その切り出し画像は、クラス１およびクラス２の両方に分類されることになる。

逆に、切り出し画像が、どのクラスの中心値との距離も閾値以下とならなかった場合には、その切り出し画像は、どのクラスにも分類されず、フォトモザイク画像の生成には用いられない。つまり、その切り出し画像の平均的な色は、どのクラスの色とも類似しないので、何れのクラスにも属さないとされる。どのクラスの色とも類似しない切り出し画像をフォトモザイク画像の生成に用いて、ブロックが非類似の色の切り出し画像に置き換えられると、フォトモザイク画像の品質が低下してしまうからである。

なお、距離の閾値は、必要に応じて変化するようにしてもよく、また１つの切り出し画像が１つのクラスに属すか、または何れのクラスにも属さないように分類されてもよい。そのような場合には、切り出し画像は、距離が閾値以下であるクラスのうち、距離が一番近いクラスに分類されることになる。

クラス分類部２９は、各切り出し画像をクラスに分類すると、その分類結果と切り出し画像とを切り出し画像メモリ３０に供給して記録させる。

ステップＳ１８において、置換画像決定部３１は、クラス分類部２７から供給された制作目標画像上の１つのブロックを選択する。

ステップＳ１９において、置換画像決定部３１は、切り出し画像メモリ３０に記録されている切り出し画像と、切り出し画像のクラス分類結果とを用いて、選択したブロックと切り出し画像との照合を行い、そのブロックに割り当てる切り出し画像を選択する。

具体的には、置換画像決定部３１は、切り出し画像メモリ３０に記録されている切り出し画像から、処理対象のブロックと同じ形状および大きさで、そのブロックと同じクラスに属し、かつまだそのクラスの他のブロックと置き換えられる置換画像として選択されていない切り出し画像を抽出する。

このように、処理対象のブロックと同じクラスに属す切り出し画像のみを抽出して処理対象とすることで、ブロックとの類似度が低く、置換画像として採用される可能性の低い切り出し画像を除外することができ、より迅速に適切な置換画像を選択することができる。また、同じクラスであっても、他のブロックの置換画像とされた切り出し画像を除外することで、切り出し画像が重複利用されることを防止することができ、より高品質なフォトモザイク画像を得ることができる。

このようにして切り出し画像が抽出されると、置換画像決定部３１は、抽出した各切り出し画像と処理対象のブロックとの照合を行う。すなわち、置換画像決定部３１は、次式（１）を計算して、ブロックの画素と、その画素と同じ位置にある切り出し画像の画素との差分ΔＣを算出する。

ここで、式（１）におけるｒ、ΔＲ、ΔＧ、およびΔＢは、それぞれ次式（２）乃至式（５）により求められる。

なお、式（２）乃至式（５）において、Ｃ１（Ｒ）、Ｃ１（Ｇ）、およびＣ１（Ｂ）は、それぞれブロックの画素のＲ、Ｇ、およびＢの成分の画素値を示している。同様に、式（２）乃至式（５）において、Ｃ２（Ｒ）、Ｃ２（Ｇ）、およびＣ２（Ｂ）は、それぞれ切り出し画像の画素のＲ、Ｇ、およびＢの成分の画素値を示している。

このようにして得られる差分ΔＣは、制作目標画像の画素と切り出し画像の画素との各成分の差分の２乗の値を重み付き加算して得られる値である。すなわち、差分ΔＣは、制作目標画像の画素と切り出し画像の画素との距離である。

したがって、差分ΔＣは、その値が小さいほど、制作目標画像のブロックと、切り出し画像との同じ位置にある画素の色が類似していることになる。置換画像決定部３１は、各画素について差分ΔＣを求め、それらの差分ΔＣの総和ΣΔＣを算出する。この差分の総和ΣΔＣは、その値が小さいほど切り出し画像の色の構造（分布）が処理対象のブロックに類似していることになる。

したがって、より差分の総和ΣΔＣが小さい切り出し画像を、処理対象のブロックの置換画像として採用すれば、より高品質なフォトモザイク画像が得られることになる。そこで、置換画像決定部３１は、抽出した切り出し画像のうち、最も総和ΣΔＣが小さい切り出し画像を選択し、その切り出し画像を置換画像として画像置換部３２に供給する。また、置換画像決定部３１は、各ブロックに分割された制作目標画像も画像置換部３２に供給する。

なお、照合の対象となる切り出し画像が抽出される場合に、同じクラスで１度、置換画像として使用された切り出し画像が、その後、全く使用されないようにするのではなく、１度使用されたブロックの近傍（例えば、２４近傍）でのみ再度使用されないようにしてもよい。これにより、フォトモザイク画像の品質の劣化を防止することができる。

また、同じクラスに属す切り出し画像の数が、そのクラスに属すブロックの数よりも少なく、それらの全ての切り出し画像が置換画像として使用されてしまった場合には、その後、そのクラスに属す全ての切り出し画像が、再び処理対象とされるようにしてもよい。すなわち、全ての切り出し画像が処理対象とされ、それらの切り出し画像のなかから、それ以降のブロックに対する置換画像が順次、選択されていく。この場合、再度、置換画像として選択された切り出し画像は、それ以降のブロックの置換画像の選択の対象から除外されてもよいし、除外されなくてもよい。

さらに、置換画像とする切り出し画像を選択する処理は、色に関する第２の特徴を指標とした場合に、処理対象のブロックと類似する切り出し画像、つまり代表色や色の分布（構造）が類似する切り出し画像が選択される処理であれば、どのような処理であってもよい。

また、例えば、差分の総和ΣΔＣの演算量を削減するため、ブロックと切り出し画像を画素の間引きや、縮小処理により同じ比率で縮小してから、各画素の差分ΔＣを算出するようにしてもよい。ここで縮小処理は、例えば、バイリニア法、バイキュービック法、ニアレストネイバー法などにより行うことができる。

また、処理対象のブロックと切り出し画像とを、射影関数や画素の配置変換などにより、矩形等の予め定められた形状に変形し、変形後のブロックおよび切り出し画像について、照合（総和ΣΔＣの演算）を行ってもよい。

ここで、予め定められた形状への変形には、画像の縮小または拡大が含まれるようにしてもよい。例えば、ブロックおよび切り出し画像を矩形の画像に変形してから照合の処理を行うと、任意の形状の画像を処理対象とする場合と比べて、処理し易くなり、より迅速に照合を行うことができる。

さらに、制作目標画像上のブロックを含む矩形の領域と、素材画像上の切り出し画像として切り出される領域を含む矩形の領域とを用いて、照合を行うようにしてもよい。この場合においても、演算量の削減のため、処理対象の矩形の領域が縮小されてもよい。なお、矩形の領域をそのまま用いる場合も、矩形の領域を縮小する場合でも、矩形の領域のうち、ブロックまたは切り出し画像の領域内の画素のみが用いられて照合が行われてもよく、矩形内の全ての画素が用いられて照合を行われてもよい。

以上のようにして、複数のブロックに分割された制作目標画像と、処理対象のブロックの置換画像とが置換画像決定部３１から画像置換部３２に供給されると、処理はステップＳ１９からステップＳ２０に進む。

ステップＳ２０において、画像置換部３２は、制作目標画像上の処理対象のブロックを、置換画像決定部３１から供給された置換画像に置き換える。

ステップＳ２１において、画像処理装置１１は、制作目標画像上の全てのブロックについて処理を行ったか否かを判定する。例えば、全てのブロックが置換画像に置き換えられてフォトモザイク画像が生成された場合、全てのブロックについて処理を行ったと判定される。

ステップＳ２１において、まだ全てのブロックについて処理を行っていないと判定された場合、処理はステップＳ１８に戻り、上述した処理が繰り返される。すなわち、次のブロックが選択され、そのブロックが置換画像に置き換えられる。

これに対して、ステップＳ２１において、全てのブロックについて処理を行ったと判定された場合、ステップＳ２２において、画像置換部３２は、ブロックの置換画像への置き換えにより得られたフォトモザイク画像を、表示制御部３３に出力する。そして、表示制御部３３の制御によりフォトモザイク画像が表示部３４に表示され、フォトモザイク画像の生成処理は終了する。

このようにして、画像処理装置１１は、素材画像の被写体の領域をブロックの形状および大きさに合わせて切り出して切り出し画像とし、各ブロックと切り出し画像のクラス分類結果に基づき、各ブロックを切り出し画像に置き換えてフォトモザイク画像を生成する。

このように、処理対象のブロックと同じクラスに分類された切り出し画像を対象として照合を行い、フォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。

なお、以上においては、制作目標画像のブロックと切り出し画像とをクラス分類し、処理対象のブロックと同じクラスの切り出し画像から、置換画像とするものを選択すると説明したが、クラス分類を行わないようにしてもよい。そのような場合、置換画像決定部３１は、分割部２４により分割された各ブロックについて、そのブロックと同じ形状および大きさの全ての切り出し画像を対象として照合を行い、置換画像とする切り出し画像を選択する。

［切り出し処理の説明］
次に、図７のフローチャートを参照して、図３のステップＳ１６の処理に対応する切り出し処理について説明する。

ステップＳ５１において、被写体検出部６１は、画像データベース記録部２２から、素材画像を読み込む。そして、ステップＳ５２において、被写体検出部６１は、読み込んだ素材画像に基づいて、物体認識などの処理により、その素材画像から被写体を検出する。

例えば、被写体検出部６１は、人の顔など特定の被写体（物体）について、それらの被写体の平均的な画像が有する特徴の特徴量を予め記録している。ここで平均的な画像が有する特徴とは、例えば画像上の特徴点間の相対的な距離や輝度分布などとされる。そして、被写体検出部６１は、素材画像から、その特徴の特徴量を抽出して、抽出した特徴量と、予め記録している各被写体の特徴量とを比較して、素材画像から被写体を検出する。

なお、素材画像からの被写体の検出は、テンプレートマッチングなどの処理により行われてもよいし、ユーザにより指定された領域を被写体の領域としてもよい。

被写体検出部６１は、画像データベース記録部２２から読み込んだ素材画像から被写体の領域を検出すると、その検出結果と素材画像とをノイズ検出部６２に供給する。

ステップＳ５３において、ノイズ検出部６２は、被写体検出部６１から供給された素材画像からスミアノイズなどのノイズを検出し、その検出結果と、被写体検出部６１から供給された素材画像および被写体の検出結果とをノイズ除去部６３に供給する。なお、被写体の検出結果が用いられて、素材画像における被写体の領域のみがノイズ検出の対象とされるようにしてもよい。

ステップＳ５４において、ノイズ除去部６３は、ノイズ検出部６２から供給されたノイズの検出結果を用いて、検出されたノイズを除去するフィルタを生成し、そのフィルタを用いたフィルタ処理により、ノイズ検出部６２からの素材画像からノイズを除去する。そして、ノイズ除去部６３は、ノイズが除去された素材画像と、ノイズ検出部６２からの被写体の検出結果とをぼけ検出部６４に供給する。

ステップＳ５５において、ぼけ検出部６４は、ノイズ除去部６３から供給された素材画像に基づいて、素材画像から、手振れに起因するぼけ（ぶれ）や、光学系のデフォーカスなどによるぼけを検出する。

例えば、手振れによるぼけの検出は、ケプストラム解析などにより行われる。すなわち、ぼけ検出部６４は、素材画像に対して高速フーリエ変換を施して、その結果得られた画像に対してさらに、対数演算および逆高速フーリエ変換を施してケプストラム画像を生成し、そのケプストラム画像に基づいて点広がり関数を求める。この点広がり関数は、理想的な点像がぶれ等によりぼけたときの輝度分布、つまり画像を撮像する撮像装置に加えられたぶれの軌跡を表している。したがって、点広がり関数から素材画像の被写体の輪郭がぶれにより広がった距離、すなわちぼけの大きさを知ることが可能である。

なお、被写体の検出結果が用いられて、素材画像における被写体の領域のみがぼけ検出の対象とされるようにしてもよい。

ぼけ検出部６４は、素材画像からぼけを検出すると、その検出結果と、ノイズ除去部６３からの被写体の検出結果および素材画像とをぼけ除去部６５に供給する。

ステップＳ５６において、ぼけ除去部６５は、ぼけ検出部６４から供給されたぼけの検出結果に基づいて、ぼけ検出部６４から供給された素材画像からぼけを除去する。例えば、ぼけ除去部６５は、ぼけの検出結果から、ぼけの特性の逆特性を有するフィルタを生成し、そのフィルタを用いたフィルタ処理を素材画像に施して、ぼけの除去を行う。

ぼけ除去部６５は、ぼけが除去された素材画像と、ぼけ検出部６４からの被写体の検出結果とを被写体領域切り出し部６６に供給する。

なお、素材画像上のノイズやぼけがある程度大きくなると、それらのノイズやぼけを除去した結果、かえって素材画像の画質が劣化してしまうことがある。そこで、フォトモザイク画像の品質の劣化を防ぐために、ノイズやぼけの大きさが所定の大きさ以上である場合には、その素材画像は、切り出し画像の生成に用いられないようにしてもよい。

また、素材画像の被写体の領域を対象として、ノイズやぼけが検出され、そのノイズやぼけの大きさが所定の大きさ以上である場合には、その素材画像から、別の被写体を検出し、その別の被写体からノイズやぼけを除去して切り出し画像の生成に用いてもよい。

ステップＳ５７において、被写体領域切り出し部６６の加工部７１は、切り出し形状メモリ２３に記録されている、ブロック形状情報に示されるブロックの形状および大きさに合わせて、ぼけ除去部６５からの素材画像を加工する。

具体的には、加工部７１は、素材画像上の被写体の領域のほぼ中心を、ブロックの中心位置に合わせて被写体の領域とブロックを重ね合わせた場合に、被写体全体がブロック内に収まるように、素材画像に対して縮小、拡大、変形（画像形状の変形）、回転等の処理を施す。例えば、被写体がブロックに対して小さ過ぎる場合、被写体がブロック内に収まり、かつブロックの大きさに対して適度な大きさとなるように、素材画像に加工処理として拡大処理が施される。このとき、素材画像上の被写体の領域は、ぼけ除去部６５から供給された、被写体の検出結果により特定される。

ステップＳ５８において、被写体領域切り出し部６６は、切り出し形状メモリ２３に記録されているブロック形状情報を参照して、加工部７１により加工された素材画像から、被写体を含む領域をブロックの形状に切り出して、切り出し画像を生成する。すなわち、加工された素材画像上の被写体を含む、ブロック形状情報により示されるブロックの大きさおよび形状の領域が、切り出し画像として切り出される。これにより、被写体全体を含む、ブロックと同じ大きさおよび形状の切り出し画像が得られる。

なお、被写体がブロックの枠から多少はみ出す程度であるなど、被写体がブロックに対して多少、大きい場合や小さい場合には、素材画像に特に加工処理が施されなくてもよい。また、被写体がブロックの枠に丁度収まる場合にも、特に素材画像に加工処理が施されなくてもよい。さらにブロック形状情報により、複数の形状または大きさのブロックが示されるときには、形状または大きさの異なるブロックのそれぞれについて、処理対象の素材画像からブロックと同じ形状および大きさの切り出し画像が生成される。

被写体領域切り出し部６６は、素材画像から切り出し画像を生成すると、その切り出し画像をクラス分類部２９に供給する。

ステップＳ５９において、切り出し部２８は、画像データベース記録部２２に記録されている全ての素材画像を処理したか否かを判定する。例えば、全ての素材画像から切り出し画像が生成された場合、全ての素材画像が処理されたと判定される。

ステップＳ５９において、まだ全ての素材画像が処理されていないと判定された場合、処理はステップＳ５１に戻り、上述した処理が繰り返される。すなわち、次の素材画像が処理対象とされて、その素材画像から切り出し画像が生成される。

これに対して、ステップＳ５９において、全ての素材画像を処理したと判定された場合、切り出し処理は終了し、処理は図３のステップＳ１７に進む。

このようにして、切り出し部２８は、素材画像から被写体を検出し、素材画像上の被写体がブロック内に収まるように適宜、素材画像を加工して、切り出し画像を生成する。

このように、被写体がブロック内に収まるように素材画像を加工し、素材画像上の被写体の領域をブロック形状に切り出して切り出し画像とすることで、より高品質なフォトモザイク画像を得ることができる。

すなわち、被写体がブロック内に収まるように素材画像を加工してから、素材画像の領域の一部を切り出し画像として切り出すことで、得られた切り出し画像には、必ず被写体のほぼ全体が含まれることになる。

したがって、このような切り出し画像を置換画像として用いれば、ブロックの形状によらず、常に画像の枠内に被写体が丁度収まった置換画像が並べられてできた、より見映えのよいフォトモザイク画像を得ることができる。

また、全ての切り出し画像は、切り出し画像内に被写体が丁度収まるように生成されるので、置換画像として使用することのできない切り出し画像が生成されてしまうこともない。そのため、切り出し画像が不足し、同じ切り出し画像が重複利用されてしまうことを抑制することができ、より見映えのよいフォトモザイク画像を得ることができる。

以上のように、被写体がブロック内に収まるように素材画像を加工してから切り出し画像を生成することで、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができる。

〈第２の実施の形態〉
［画像処理装置の構成］
なお、処理対象のブロックと、同じ形状および大きさで同じクラスに属す切り出し画像から、置換画像とする切り出し画像を選択すると説明したが、クラス分類を行わず、さらにブロックの形状と関連のある切り出し画像だけが置換画像の候補とされてもよい。

すなわち、処理対象のブロックと同じ形状および大きさで、かつ処理対象のブロックの形状と関連のある被写体が含まれた切り出し画像のなかから、そのブロックに対する置換画像とされる切り出し画像が選択される。

そのような場合、画像処理装置１１は、例えば図８に示すように構成される。なお、図８において、図１における場合と対応する部分には、同じ符号を付してあり、その説明は適宜、省略する。

図８の画像処理装置１１は、置換画像決定部３１に新たに選択部１１１が設けられており、平均値算出部２５乃至クラス分類部２７、およびクラス分類部２９が設けられていない点で図１の画像処理装置１１と異なり、その他の点は一致する。

図８の画像処理装置１１では、分割部２４により複数のブロックに分割された制作目標画像は、分割部２４から置換画像決定部３１に供給される。また、切り出し部２８において生成された切り出し画像は、切り出し部２８から切り出し画像メモリ３０に供給される。なお、この画像処理装置１１では、ブロックと切り出し画像のクラス分類は行われない。

さらに、画像データベース記録部２２に記録されている素材画像には、予め、その素材画像の被写体がどのようなものであるかを示すタグ情報が付加されている。例えば、素材画像の被写体が魚である場合には、タグ情報は被写体が魚であることを示す情報とされる。

また、例えば、素材画像がExif（Exchangeable Image File Format）などの規格に準拠する画像である場合には、素材画像に付加された付加情報（Exif情報）内の画像のタイトルなどがタグ情報として用いられるようにしてもよい。

切り出し部２８の被写体領域切り出し部６６は、生成した切り出し画像に、素材画像に付加されているタグ情報を付加し、タグ情報が付加された切り出し画像を切り出し画像メモリ３０に供給する。

置換画像決定部３１に設けられた選択部１１１は、予めブロックの形状と関連付けられたテーマに沿った被写体を示す関連情報を保持している。例えば、ブロックの形状が魚の輪郭である場合には、関連情報により示される被写体は「魚」や「海」などとされ、魚や海を被写体とする切り出し画像が、そのブロックについての置換画像の候補とされる。

選択部１１１は、保持している関連情報を用いて、切り出し画像メモリ３０に記録されている切り出し画像から、処理対象のブロックについての置換画像の候補とする切り出し画像を選択する。すなわち、処理対象のブロックの形状と関連のある被写体が含まれる切り出し画像が候補として選択される。

置換画像決定部３１は、処理対象のブロックについて、選択部１１１により選択された切り出し画像を対象として、ブロックと切り出し画像の照合を行い、置換画像とする切り出し画像を選択する。

［フォトモザイク画像の生成処理の説明］
次に、図９のフローチャートを参照して、図８の画像処理装置１１により行われるフォトモザイク画像の生成処理について説明する。

なお、ステップＳ８１乃至ステップＳ８４の処理のそれぞれは、図３のステップＳ１１、ステップＳ１２、ステップＳ１６、およびステップＳ１８の処理のそれぞれと同様の処理であるので、その説明は省略する。

すなわち、分割部２４により記録部２１からの制作目標画像が、切り出し形状メモリ２３のブロック形状情報に基づいて分割されて、各ブロックが置換画像決定部３１に供給される。また、切り出し部２８により、画像データベース記録部２２からの素材画像の被写体の領域が、切り出し形状メモリ２３のブロック形状情報に基づいて切り出され、切り出し画像とされ、切り出し画像メモリ３０に記録される。なお、切り出し画像には、予め素材画像に付加されているタグ情報が付加される。

ステップＳ８５において、選択部１１１は、保持している関連情報を参照して、処理対象となっているブロックの形状と関連のある切り出し画像を、置換画像の候補として選択する。

すなわち、選択部１１１は、処理対象となっているブロックに基づいて、そのブロックの形状を認識する。そして選択部１１１は、切り出し画像メモリ３０に記録されている切り出し画像のなかから、認識された処理対象のブロックの形状の関連情報により示される被写体を示す情報が、タグ情報に含まれており、かつブロックと同じ形状および大きさの切り出し画像を選択する。

例えば、処理対象のブロックの形状の認識の結果、そのブロックの形状が魚の輪郭であることが認識されると、そのブロック形状（魚）により特定される関連情報が参照される。そして、その関連情報により示される被写体が「魚」と「海」であったとすると、被写体が「魚」または「海」であることを示すタグ情報が付加された切り出し画像が、処理対象のブロックの置換画像の候補として選択される。

したがって、置換画像の候補として選択部１１１により選択された切り出し画像と、処理対象のブロックとの照合が行われ、それらの切り出し画像のうち、最も処理対象のブロックと色に関する第２の特徴が類似する切り出し画像が置換画像として選択されることになる。このようにして選択された切り出し画像（置換画像）の被写体と、処理対象のブロックの形状とは、ともに関連のあるものとなる。

その他、例えば、１つの制作目標画像に、魚の輪郭の形状のブロックと、鳥の輪郭の形状のブロックが含まれていたとする。この場合に、魚の形状のブロックには、魚に関連する被写体が含まれる、魚の形状の切り出し画像が割り当てられ、鳥の形状のブロックには、鳥に関連する被写体が含まれる、鳥の形状の切り出し画像が割り当てられる。

ブロックの形状と関連のある切り出し画像が選択されると、その後、ステップＳ８６乃至ステップＳ８９の処理が行われて、フォトモザイク画像の生成処理は終了するが、これらの処理は図３のステップＳ１９乃至ステップＳ２２の処理と同様であるので、その説明は省略する。

このようにして、画像処理装置１１は、処理対象のブロックと同じ形状および大きさの切り出し画像のうち、そのブロックの形状と関連のある被写体を含む切り出し画像を対象として、置換画像とする切り出し画像を選択する。

このように、ブロックの形状と関連のある被写体を含む切り出し画像を置換画像とすることで、切り出し画像の被写体や形状そのものだけでなく、切り出し画像の被写体と形状の組み合わせによっても、所望のテーマについてメッセージを表現することができる。これにより、フォトモザイク画像の芸術性をより高めることができる。

なお、以上においては、素材画像に、予め被写体を示すタグ情報が付加されていると説明したが、選択部１１１が切り出し画像から被写体を抽出するようにしてもよい。そのような場合、切り出し画像には、タグ情報は付加されていない。選択部１１１は、切り出し画像から物体認識により被写体を抽出（識別）し、その識別結果が、処理対象のブロック形状についての関連情報に示される被写体を示すものである場合、その切り出し画像を、置換画像の候補として採用する。

また、ブロック形状情報に、予め各ブロックの関連情報が含まれるようにし、分割部２４から置換画像決定部３１に、各ブロックと、それらのブロックの関連情報とが供給されるようにしてもよい。この場合、選択部１１１は、そのブロックの関連情報を参照すれば、ブロックの形状を認識する処理を行わなくてよい。

〈第３の実施の形態〉
［画像処理装置の構成］
さらに、ブロックの形状ごとに、そのブロックの形状と関連のある被写体を含む素材画像だけが用いられて、切り出し画像が生成されるようにしてもよい。

そのような場合、画像処理装置１１は、例えば図１０に示すように構成される。なお、図１０において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図１０の画像処理装置１１は、置換画像決定部３１に選択部１１１が設けられておらず、切り出し部２８に代えて新たに切り出し部１４１が設けられている点で、図８の画像処理装置１１と異なり、その他の点では一致する。

切り出し部１４１は、画像データベース記録部２２から、タグ情報が付加された素材画像を取得し、素材画像のうち、切り出し形状メモリ２３のブロック形状情報により示されるブロック形状と関連のある被写体を含む素材画像だけを用いて、切り出し画像を生成する。

［切り出し部の構成］
この切り出し部１４１は、より詳細には、図１１に示すように構成される。なお、図１１において、図２における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

切り出し部１４１においては、被写体検出部６１に新たに選択部１７１が設けられており、その他の点では、図２の切り出し部２８と同じ構成とされている。

選択部１７１は、予めブロックの形状と関連付けられたテーマに沿った被写体を示す関連情報を保持しており、この関連情報を用いて、取得された素材画像のうち、ブロック形状情報により示されるブロックの形状と関連のある素材画像を選択する。切り出し部１４１では、選択部１７１により選択された素材画像だけが用いられて、切り出し画像が生成される。

［フォトモザイク画像の生成処理の説明］
次に、図１２のフローチャートを参照して、図１０の画像処理装置１１によるフォトモザイク画像の生成処理について説明する。

なお、ステップＳ１３１およびステップＳ１３２の処理は、図９のステップＳ８１およびステップＳ８２の処理と同様であるので、その説明は省略する。

ステップＳ１３３において、切り出し部１４１は、切り出し処理を行って、画像データベース記録部２２から読み出した素材画像から切り出し画像を生成し、切り出し画像を切り出し画像メモリ３０に供給して記録させる。

ここで、図１３のフローチャートを参照して、ステップＳ１３３の処理に対応する切り出し処理について説明する。なお、ステップＳ１６１およびステップＳ１６２の処理は、図７のステップＳ５１およびステップＳ５２の処理と同様であるので、その説明は省略する。すなわち、被写体検出部６１は、画像データベース記録部２２から素材画像を読み込んで、素材画像から被写体を検出する。

ステップＳ１６３において、選択部１７１は、切り出し形状メモリ２３のブロック形状情報を参照して、素材画像から検出された被写体と、ブロック形状情報により示されるブロックの形状との関連の有無を検出する。

例えば、選択部１７１は、ブロック形状情報により示されるブロックの形状から、予め保持している関連情報のうち、そのブロックの形状により特定される関連情報を参照する。そして、選択部１７１は、関連情報により示される被写体と、素材画像に付加されたタグ情報により示される被写体とを比較して、ブロック形状情報により示されるブロックの形状と、素材画像上の被写体との関連の有無を検出する。

ステップＳ１６４において、選択部１７１は、関連の有無の検出の結果、ブロックの形状と素材画像の被写体とに関連があるか否かを判定する。例えば、関連情報とタグ情報とに同じ被写体「魚」を示す情報が含まれていれば、関連があると判定される。

ステップＳ１６４において、関連があると判定された場合、処理はステップＳ１６５に進む。そして、ステップＳ１６５乃至ステップＳ１７０の処理が行われ、素材画像から切り出し画像が生成される。

なお、これらのステップＳ１６５乃至ステップＳ１７０の処理は、図７のステップＳ５３乃至ステップＳ５８の処理と同様であるので、その説明は省略する。

これに対して、ステップＳ１６４において、関連がないと判定された場合、その素材画像は切り出し画像の生成には用いないので、ステップＳ１６５乃至ステップＳ１７０の処理は行われず、処理はステップＳ１７１に進む。すなわち、処理対象の素材画像が、切り出し画像の生成の対象から除外される。

ステップＳ１７０において切り出し画像が生成されたか、ステップＳ１６４において関連がないと判定されると、ステップＳ１７１において、切り出し部１４１は、画像データベース記録部２２に記録されている全ての素材画像を処理したか否かを判定する。

ステップＳ１７１において、まだ全ての素材画像が処理されていないと判定された場合、処理はステップＳ１６１に戻り、上述した処理が繰り返される。

これに対して、ステップＳ１７１において、全ての素材画像を処理したと判定された場合、切り出し処理は終了し、処理は図１２のステップＳ１３４に進む。

図１２のフローチャートの説明に戻り、ステップＳ１３３の切り出し処理が行われると、その後、ステップＳ１３４乃至ステップＳ１３８の処理が行われて、フォトモザイク画像の生成処理は終了する。

なお、ステップＳ１３４乃至ステップＳ１３８の処理は、図９のステップＳ８４、およびステップＳ８６乃至ステップＳ８９の処理と同様であるので、その説明は省略する。但し、ステップＳ１３５においては、切り出し画像メモリ３０に記録されている切り出し画像のうち、処理対象のブロックと同じ形状および大きさの切り出し画像について照合が行われ、それらの切り出し画像のなかから、置換画像とする切り出し画像が選択される。

このようにして、画像処理装置１１は、素材画像のうち、制作目標画像を分割するブロックの形状と関連のある素材画像だけを用いて、切り出し画像を生成する。これにより、切り出し画像の被写体や形状そのものだけでなく、切り出し画像の被写体と形状の組み合わせによっても、所望のテーマについてメッセージを表現することができ、フォトモザイク画像の芸術性をより高めることができる。

なお、以上においては、素材画像に、予め被写体を示すタグ情報が付加されていると説明したが、素材画像から被写体が抽出されるようにしてもよい。そのような場合、素材画像には、タグ情報は付加されていない。選択部１７１は、被写体検出部６１により行われた、物体認識による被写体の抽出（識別）結果が、ブロックの形状についての関連情報に示される被写体を示すものである場合、その素材画像を切り出し画像の生成に用いるものとして、ノイズ検出部６２に供給する。

また、図８および図１０に示した画像処理装置１１では、制作目標画像上のブロック、および切り出し画像について、クラスへの分類を行わない構成とされているが、図８および図１０の例においても、ブロックおよび切り出し画像がクラスに分類されるようにしてもよい。これにより、タグ情報や形状認識での切り出し画像の選別に加えて、置換画像の候補とすべき切り出し画像を、さらに絞り込むことができ、より迅速に適切な置換画像を得ることができる。また、ブロックや切り出し画像の形状が複数ある場合には、それらの形状ごとにクラスの分類が行われてもよい。

さらに、全ての素材画像を処理対象として、素材画像上の被写体の領域が切り出し画像として切り出されると説明したが、例えば、ブロックの形状が矩形である場合には、ユーザの指示等により、素材画像がそのまま切り出し画像とされるか、または素材画像の一部が切り出されて切り出し画像とされるようにしてもよい。また、このような場合において、クラス分類の結果、ブロックに対して、切り出し画像の数が不足するときに、さらに素材画像から、そのクラスに属す切り出し画像が得られるように、素材画像の領域が切り出し画像として切り出されてもよい。

なお、以上において説明した画像処理装置１１は、例えば、コンピュータにより構成されたり、撮像装置に内蔵されたりしてもよく、その他、画像処理装置１１は、各種の電子機器に搭載することも可能である。

さらに、以上において説明した素材画像および制作目標画像は、撮像装置により撮像された画像（写真）に限らず、絵などをスキャナで取り込んで得られた画像や、ＣＧ（Computer Graphics）など、どのような画像であってもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ２３ 切り出し形状メモリ， ２８ 切り出し部， ３１ 置換画像決定部， ３２ 画像置換部， ６１ 被写体検出部， ６６ 被写体領域切り出し部， ７１ 加工部， １１１ 選択部， １７１ 選択部

Claims (10)

1. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、
   前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、
   前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、
   前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、
   前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段と
   を備える画像処理装置。
2. 前記加工手段は、前記加工処理として、前記素材画像の拡大処理、縮小処理、変形処理、または回転処理の少なくとも何れかの処理を前記素材画像に施す
   請求項１に記載の画像処理装置。
3. 前記素材画像上に生じたぼけを検出する検出手段と、
   前記ぼけを除去するフィルタ処理を前記素材画像に施すぼけ除去手段と
   をさらに備える請求項２に記載の画像処理装置。
4. 前記素材画像上のノイズを検出する検出手段と、
   前記ノイズを除去するフィルタ処理を前記素材画像に施すノイズ除去手段と
   をさらに備える請求項２に記載の画像処理装置。
5. 前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報が付加されており、
   前記画像生成手段は、前記タグ情報が付加された前記切り出し画像を生成し、
   前記切り出し画像に付加された前記タグ情報に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに備え、
   前記置換手段は、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成する
   請求項２に記載の画像処理装置。
6. 前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報が付加されており、
   前記タグ情報に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに備え、
   前記加工手段は、前記選択手段により選択された前記素材画像に前記加工処理を施す
   請求項２に記載の画像処理装置。
7. 前記切り出し画像に基づいて、物体認識により前記切り出し画像上の前記被写体を識別し、その識別結果に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに備え、
   前記置換手段は、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成する
   請求項２に記載の画像処理装置。
8. 前記素材画像に基づいて、物体認識により前記素材画像上の前記被写体を識別し、その識別結果に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに備え、
   前記加工手段は、前記選択手段により選択された前記素材画像に前記加工処理を施す
   請求項２に記載の画像処理装置。
9. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、
   前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、
   前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、
   前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、
   前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段と
   を備える画像処理装置の画像処理方法において、
   前記被写体検出手段が、前記素材画像上の前記被写体を検出し、
   前記加工手段が、前記素材画像に前記加工処理を施し、
   前記画像生成手段が、前記加工処理された前記素材画像から前記切り出し画像を生成し、
   前記置換手段が、前記制作目標画像の前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する
   ステップを含む画像処理方法。
10. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理用のプログラムであって、
    前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出し、
    前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施し、
    前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成し、
    前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images