JP2011078077A

JP2011078077A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2011078077A
Application number: JP2010027198A
Authority: JP
Inventors: Akira Tokunaga; 陽徳永; Atsushi Murayama; 淳村山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-09-03
Filing date: 2010-02-10
Publication date: 2011-04-14
Also published as: JP2011078076A; JP2011078078A; JP5527592B2

Abstract

【課題】特別な装置やスキルなどを必要とせずに、所望の画像を素材として美しいフォトモザイク画像を生成することができるようにする。
【解決手段】指定画像挿入部１１０は、フォトモザイク画像の中にユーザが指定した画像をモザイクのタイルの画像として挿入するようになされている。指定画像挿入部１１０は、フォトモザイク画像生成部３０から、生成されたフォトモザイク画像と、制作目標画像の供給を受けて、指定画像を所定の領域内のブロックに挿入するようになされている。なお、供給される制作目標画像は、フォトモザイク画像生成部３０によりブロックに分割された制作目標画像とされる。
【選択図】図１６

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、特別な装置やスキルなどを必要とせずに、所望の画像を素材として美しいフォトモザイクを生成することができるようにする画像処理装置および方法、並びにプログラムに関する。

近年、デジタルカメラの普及などに伴い、多くの画像を簡単に撮影することが可能になってきている。

フォトモザイク画像は、多数の写真をモザイクのように組み合わせて作成した画像であり、従来は、例えば、映画の宣伝用のポスター、企業のロゴなどを用いた商用のものとして作成されることが多かった。フォトモザイク画像の作成には、多数の画像を用意し、モザイクのタイルとして使用する画像を適切に選択するなど高度な技術が求められる。

しかし、上述のようにデジタルカメラが普及したことや、情報技術の発展に伴い、一般のユーザでも、フォトモザイク画像を作成することが可能となってきた。

例えば、制作目標画像の各ブロックの代表値とデータベースの画像の各画像の代表値との間の距離を重み付けて計算することによって、制作目標画像の各ブロックに採用するデータベースの画像を決定することが提案されている（例えば、特許文献１参照）。

また、制作目標画像の各ブロックの代表値を算出し近似色により領域分離するとともに、データベースの画像を各画像の代表値によりクラスタリングし、制作目標画像の各ブロックの領域分離結果に対して、該当するクラスの画像を順次使用する技術も提案されている（例えば、特許文献２参照）。

さらに、制作目標画像の各ブロックをより細かく分割して照合することにより，元の画像の色の分布を維持しながらフォトモザイク画像を生成する技術も提案されている（例えば、特許文献３参照）。

また、制作目標画像の各ブロックをより細かく分割した小領域とデータベースの画像をより細かく分割した小領域の差分に対してユーザの指定した重みをかけ足し合わせた結果により、各タイルに採用するデータベースの画像を決定することも提案されている（例えば、特許文献４参照）。

さらに、平均輝度値、L*a*b*の平均距離によってデータベースの画像を選択することも提案されている（例えば、特許文献５参照）。

また、ネットワークを介して、サーバ上にある画像データベースの画像と制作目標画像のブロックを照合してサーバ上で画像データベースの画像の配置を決定し、クライアント側でフォトモザイク画像を生成することも提案されている（例えば、特許文献６参照）。
特開２０００−２９８７２２号公報

特開２００５−１００１２０号公報

特開平１１−３４１２６６号公報

特開２０００−２９５４５３号公報

特開平１１−３４１２６４号公報

特開２０００−２００２８３号公報

しかしながら、特許文献１の技術では、採用する画像データベースの画像を決定するにあたり代表値のみを使用しているため、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現できないことがある。また、特許文献１、特許文献３乃至６の技術では、制作目標画像の各ブロックについて、画像データベースの全画像との照合を行わなければならないので、演算量が多く、処理に時間がかかる。

さらに、特許文献２や特許文献６の技術を利用しても、制作目標画像の各ブロックの領域分離結果に対して、該当するクラスの画像が充分に用意されていない場合、多くの重複が発生し、生成されたフォトモザイク画像の品質が劣化するという問題があった。

また、現実的な処理時間を考慮すると、制作目標画像のブロックの個数をあまり多くすることには無理がある一方で、フォトモザイクとして生成された画像において、例えば、人の顔の目や口などの特徴的部分に配置されるべきブロックの個数を適切に調整する必要がある。このような特徴的部分を、例えば、１個のブロックで表現しようとしても、人の顔としては違和感のある画像となってしまうからである。

このため、フォトモザイク画像を作成する場合、モザイクのタイルとなる画像の大きさ（ブロックの大きさ）を考慮しつつ、制作目標画像のサイズを適切に調整する必要があり、このようなサイズの調整は、高いスキルが求められるものであった。

さらに、従来の技術では、画像データベースの画像の中で、どの画像がどのタイルとして採用されるかを制御できなかった。その結果、例えば、ユーザが希望する画像がほとんど採用されていないフォトモザイク画像が生成されてしまうこともあった。勿論、画像データベースの画像を予め選別するようにすれば、広義の意味でユーザが希望する画像を採用したフォトモザイク画像の生成を行うことはできる。しかし、このようにしても、フォトモザイク画像のどの部分にどの画像が採用されるか分からないし、また仮に、強制的に所定のタイルの画像が決められるようにすると、美しいフォトモザイク画像を生成することは難しい。

また、従来の技術では、そもそもモザイクのタイルとして不適切な画像が、モザイクのタイルとして採用されることを排除することができなかった。

本発明はこのような状況に鑑みてなされたものであり、特別な装置やスキルなどを必要とせずに、所望の画像を素材として美しいフォトモザイク画像を生成することができるようにするものである。

本発明の一側面は、入力画像を予め定められた形状の所定の画素数のブロックに分割する分割手段と、予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出する適正度算出手段と、前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定する挿入ブロック決定手段と、前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入する指定画像挿入手段とを備える画像処理装置である。

前記入力画像の中で前記指定画像を挿入すべき領域の指定を受け付ける領域指定手段をさらに備え、前記適正度算出手段は、前記指定画像と、前記分割された各ブロックの画像のうち、前記指定が受け付けられた領域に対応するブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を算出するようにすることができる。

前記ブロックと、前記入力画像の中の予め設定された位置のブロックとの距離に応じて設定される重みづけテーブルを用いて、前記ブロック毎に算出された適正度に重みづけをする重みづけ手段をさらに備えるようにすることができる。

指定画像挿入手段は、複数の前記指定画像のそれぞれを、複数の前記ブロックに挿入し、挿入ブロック決定手段は、所定の指定画像を挿入すべき前記ブロックに、挿入済であることを表すフラグを設定し、他の指定画像を挿入すべきブロックは、前記フラグが設定されたブロックの周囲の所定の範囲内に位置するブロック以外のブロックの中から決定するようにすることができる。

前記入力画像の各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定するフォトモザイク画像生成手段をさらに備えるようにすることができる。

複数の前記素材画像のうち、前記ブロックに貼り付ける素材画像の対象となる画像を選定する選定手段をさらに備えるようにすることができる。

前記選定手段は、ユーザが視覚を通じて違和感を覚える画像として予め選択された画像を、前記素材画像から除外することで、前記ブロックに貼り付ける素材画像の対象となる画像を選定するようにすることができる。

前記選定手段は、ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像を補正する補正手段と、前記補正手段により補正された画像を前記ユーザに提示する提示手段とを有し、前記提示手段に提示された画像のうち、前記ユーザが視覚を通じて違和感を覚える画像として選択した画像を、前記素材画像から除外することで、前記ブロックに貼り付ける素材画像の対象となる画像を選定するようにすることができる。

本発明の一側面は、分割手段が、入力画像を予め定められた形状の所定の画素数のブロックに分割し、適正度算出手段が、予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出し、挿入ブロック決定手段が、前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定し、指定画像挿入手段が、前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入するステップを含む画像処理方法である。

本発明の一側面は、コンピュータを、入力画像を予め定められた形状の所定の画素数のブロックに分割する分割手段と、予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出する適正度算出手段と、前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定する挿入ブロック決定手段と、前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入する指定画像挿入手段とを備える画像処理装置として機能させるようにすることができる。

本発明の一側面においては、入力画像が予め定められた形状の所定の画素数のブロックに分割され、予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度が前記ブロック毎に算出され、前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックが決定され、前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像が挿入される。

本発明によれば、特別な装置やスキルなどを必要とせずに、所望の画像を素材として美しいフォトモザイク画像を生成することができる。

本発明の一実施の形態に係るフォトモザイク画像生成装置の構成例を示すブロック図である。図１の制作目標画像処理部の詳細な構成例を示すブロック図である。入力された制作目標画像の例を示す図である。図１のフォトモザイク画像生成部の詳細な構成例を示すブロック図である。Ｎ近傍の制約を説明する図である。フォトモザイク画像生成処理の例を説明するフローチャートである。生成準備処理の例を説明するフローチャートである。画像生成処理の例を説明するフローチャートである。制作目標画像の例を示す図である。制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。クラス分類処理を説明するフローチャートである。図１０に示されるブロックのそれぞれがクラス分類された例を示す画像である。置換画像決定処理の例を説明するフローチャートである。フォトモザイク画像の例を示す図である。制作目標画像をブロック分割する場合の別の例を示す図である。本発明の一実施の形態に係るフォトモザイク画像生成装置の別の構成例を示すブロック図である。図１６の指定画像挿入部の詳細な構成例を示すブロック図である。図１６の構成に対応するフォトモザイク画像生成処理の例を説明するフローチャートである。指定画像挿入処理の例を説明するフローチャートである。図１６の指定画像挿入部の別の詳細な構成例を示すブロック図である。図２０の構成に対応する指定画像挿入処理の例を説明するフローチャートである。指定画像が挿入される前のフォトモザイク画像の例を示す図である。指定画像が挿入された後のフォトモザイク画像の例を示す図である。フレームが付された画像の例を示す図である。モザイクのタイルとして不適切な画像を用いて生成されたフォトモザイク画像の例を示す図である。本発明の一実施の形態に係るフォトモザイク画像生成装置のさらに別の構成例を示すブロック図である。図２６の画像選定部の詳細な構成例を示すブロック図である。図２６の構成に対応するフォトモザイク画像生成処理の例を説明するフローチャートである。画像選定処理の例を説明するフォローチャートである。パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係るフォトモザイク画像生成装置の構成例を示すブロック図である。

フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのように組み合わせて１枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、１枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が１枚1枚見えるように生成される。

同図に示されるように、フォトモザイク画像生成装置１０は、制作目標画像処理部２０、フォトモザイク画像生成部３０により構成されている。

制作目標画像処理部２０は、フォトモザイク画像として生成する画像の元となる画像である制作目標画像を入力画像として受け付けるようになされている。制作目標画像は、例えば、人物の画像などとされる。

制作目標画像処理部２０は、例えば、入力された制作目標画像から後述するように特徴領域を抽出する。制作目標画像が人物の画像である場合、特徴領域は、例えば、人物の顔の中の目、鼻、口などの部分とされる。

制作目標画像処理部２０は、抽出された特徴領域に割り当てるべきブロックの数を決定し、そのブロックの数に対応する大きさの画像となるように、特徴領域の画像を拡大または縮小する。そして、制作目標画像処理部２０は、その拡大または縮小の倍率に合わせて、制作目標画像全体を拡大または縮小するようになされている。

制作目標画像処理部２０は、このように、拡大または縮小された制作目標画像を、フォトモザイク画像生成部３０に供給する。

フォトモザイク画像生成部３０は、制作目標画像処理部２０の処理結果として得られた制作目標画像全体をブロックに分割する。ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。

そして、フォトモザイク画像生成部３０は、それらのブロックに相応しい画像を選択して張り付けるようになされている。

フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択する。あるいはまた、フォトモザイク画像生成部３０は、例えば、ネットワーク５２に接続されたサーバ５３に蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択する。

すなわち、画像データベース５１に蓄積されている画像、サーバ５３に蓄積されている画像は、モザイクのタイルとして利用するための画像であって、いわば、フォトモザイク画像の素材となる画像である。

フォトモザイク画像生成部３０は、後述するように、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行うようになされている。これにより、制作目標画像の各ブロックが、例えば、５つのクラスに分類される。また、フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像を同様の方式により、例えば、５つのクラスに分類する。

そして、フォトモザイク画像生成部３０は、制作目標画像の各ブロックの画像と、そのブロックのクラスに分類された画像データベース５１の画像との照合を行なって、画像データベース５１に蓄積された画像の中から１枚の画像を選択するようになされている。

フォトモザイク画像生成部３０は、上述のように選択された画像をモザイクのタイルとして制作目標画像の各ブロックに貼り付ける。これにより、出力画像としてフォトモザイク画像が出力されるようになされている。

図２は、図１の制作目標画像処理部２０の詳細な構成例を示すブロック図である。

特徴領域検出部２１は、入力された制作目標画像を解析して、特徴領域を抽出するようになされている。例えば、制作目標画像が人物の画像である場合、特徴領域検出部２１は、顔画像認識処理などを実行することにより、人物の顔を検出するとともに、顔の中の特徴的部分である目、口などを構成する領域を特定する。そして、目、口などその特徴領域を特定する情報、特定された領域の座標位置、面積などの情報が抽出された特徴領域の情報として取得されることになる。

特徴領域検出部２１は、例えば、画像から、肌色画素を抽出し、抽出した肌色画素からなる顔画像を抽出する。そして、特徴領域検出部２１は、顔画像における、水平方向に１列の画素に含まれる連続している肌色画素の数に基づいて横枠を決め、横枠の幅に、所定の係数を乗じて縦枠の高さとし、垂直基準点に対して所定の長さだけオフセットした位置を縦枠の中心とする。特徴領域検出部２１は、例えば、このようにして得られた横枠と縦枠に基づいて四角の枠の中の顔領域を抽出する。

そして、特徴領域検出部２１は、例えば、顔領域の画像と、標準的な顔画像のテンプレートとの一致の度合いを示す値などに基づいて、顔領域とされた画像が実際に顔画像であるか否かを判定し、顔画像であると判定された場合、目や口などを検出する。

特徴領域検出部２１は、例えば、顔領域の画素のうち、肌色画素に相当しない非肌色画素にラベリングし、オブジェクトを抽出する。そして、ラベルを参照して、顔領域の非肌色画素からなるオブジェクトのそれぞれの重心を算出し、オブジェクトのそれぞれの重心を示す重心データに基づいて目のオブジェクト、口のオブジェクトなどを検出する。

さらに、検出したオブジェクトの位置を特定するデータ（例えば、目のオブジェクトの重心の位置を示すデータ）に基づいてオブジェクト位置が、予め定めた所定の大きさの方形領域を設定し、その方形領域の画像を特徴領域とする。

なお、上述した特徴領域の抽出の方式は、一例であり、他の方式により特徴領域の抽出が行なわれるようにしても構わない。

特徴領域検出部２１は、上述したように抽出された特徴領域の情報を、倍率決定部２２に供給する。

図３は、入力された制作目標画像の例を示す図である。この例では、制作目標画像１００は人物の画像とされている。

特徴領域検出部２１は、例えば、図３において枠１０１で示される目の領域を特徴領域として抽出する。

倍率決定部２２は、抽出した特徴領域のサイズを検出する。ここで、サイズは、例えば、抽出した特徴領域の垂直方向および水平方向の画素数などとされる。

特徴領域データベース２４には、特徴領域に応じたブロックの配置方式が記憶されている。例えば、特徴領域データベース２４には、目の特徴領域に対応して、「水平方向３２０×４、垂直方向２４０×２」という情報が記憶されている。これは、目の特徴領域には、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックを、水平方向に４個、垂直方向に２個配置することを表している。すなわち、目の特徴領域には７６,８００（＝３２０×２４０）画素のブロックが合計８（＝４×２）個配置されることになる。

なお、例えば、プリンタやディスプレイなどの解像度やサイズ（用紙サイズ、アスペクト比など）、画像の向き（縦向きか横向きか）などによって、特徴領域に応じたブロックの配置方式がさらに異なるものとなるようにしてもよい。

同様に、特徴領域データベース２４には、例えば、口の領域に配置すべき水平方向のブロック数および垂直方向のブロック数からなる配置方式が記憶されている。すなわち、特徴領域データベース２４には、例えば、目、口、・・・などその特徴領域の種類に応じたブロックの配置方式がそれぞれ記憶されている。

なお、ブロックの画素数（いまの場合、３２０×２４０）は、例えば、画像データベース５１に記憶されている画像のサイズなどに基づいて定まるものとされる。

倍率決定部２２は、目、口などその特徴領域を特定する情報に基づいて、特徴領域データベース２４から、その特徴領域に対応するブロックの配置方式を読み出す。そして、上述したように検出した特徴領域のサイズと、特徴領域データベース２４から読み出したブロックの配置方式に基づいて、特徴領域の拡大または縮小倍率を算出する。

例えば、特徴領域として目が抽出された場合、制作目標画像から抽出された特徴領域のサイズを、水平方向の画素数IM_XEYE、垂直方向の画素数IM_YEYEで表すこととする。また、特徴領域データベース２４から読み出したブロックの配置方式に基づいて得られる水平方向の画素数をDB_XEYE、垂直方向の画素数をDB_YEYEで表すことにする。

いまの場合、倍率決定部２２は、垂直方向の変更率Vaと水平方向の変更率Haを式（１）および式（２）により求めて、特徴領域の拡大または縮小倍率を算出する。

Va＝DB_YEYE/IM_YEYE
・・・（１）
Ha=DB_XEYE/IM_XEYE
・・・（２）

倍率決定部２２は、上述のように求められた特徴領域の拡大または縮小倍率に基づいて、制作目標画像全体の拡大または縮小倍率を決定する。制作目標画像全体の拡大または縮小倍率は、特徴領域の拡大または縮小倍率と同じでもよい。また、上述した変更率Vaおよび変更率Haを、四捨五入、切り上げ、切り捨てなどしてもよい。さらに、変更率Vaおよび変更率Haが異なる場合、例えば、いずれか一方を選択したり、平均値を算出するなどして垂直方向の変更と水平方向の変更率が同じ値となるように加工されるなどしてもよい。

倍率決定部２２は、制作目標画像全体の拡大または縮小倍率を画像生成部２３に供給する。

画像生成部２３は、倍率決定部２２から供給された拡大または縮小倍率で、入力画像である制作目標画像を拡大または縮小するようになされている。

なお、特徴領域検出部２１により、特徴領域が複数抽出された場合(例えば、左右の目がそれぞれ抽出された場合)、倍率決定部２２は、それぞれのサイズを検出する。そして、例えば、平均値を算出するか、予め設定された基準に従っていずれか１つの特徴領域を選択するなどして、拡大または縮小倍率が算出されるようになされている。

上述した例において、特徴領域検出部２１は、入力された制作目標画像を解析して、特徴領域を自動的に抽出することを前提として説明したが、例えば、ユーザがマウスなどを用いて指定した領域が特徴領域として抽出されるようにしてもよい。

この場合、例えば、特徴領域を指定したユーザが、その特徴領域を特定する情報（例えば，目、鼻、口など）をさらに入力するようにする。あるいはまた、ユーザに対して特徴領域の候補リストが提示されるようにし、候補リストに基づいて選択した特徴領域がユーザにより指定されるようにしてもよい。

現実的な処理時間を考慮すると、制作目標画像のブロックの個数をあまり多くすることには無理がある一方で、フォトモザイクとして生成された画像において、例えば、人の顔の目や口などに配置されるべきブロックの個数を適切に調整する必要がある。このような特徴領域を、例えば、１個のブロック（モザイクのタイル）で表現しようとしても、人の顔としては違和感のある画像となってしまうからである。

これに対して本発明では、制作目標画像の特徴領域とブロックの大きさに基づいて制作目標画像が自動的に縮小または拡大されるようにすることができる。従って、特別なスキルなどを必要とせずに、短時間で美しいフォトモザイク画像を生成することができる。

図４は、図１のフォトモザイク画像生成部３０の詳細な構成例を示すブロック図である。

同図に示されるように、フォトモザイク画像生成部３０は、ブロック分割部３１、代表値決定部３２、クラスセンタ値算出部３３、および制作目標画像クラス分類部３４を含む構成とされている。また、フォトモザイク画像生成部３０はさらに、置換画像決定部３５、画像置換部３６、画像データベースクラス分類部３７、および蓄積メモリ３８を含む構成とされている。

ブロック分割部３１は、制作目標画像処理部２０により上述のように拡大または縮小された制作目標画像をブロックに分割する。上述したように、ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。

ブロック分割部３１は制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割するようになされている。

代表値決定部３２は、ブロック分割部３１により分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。

クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。後述する制作目標画像クラス分類部３４、および画像データベースクラス分類部３７では、クラスセンタ値算出部３３により算出されたセンタ値に基づくクラス分類が行われるようになされている。

制作目標画像クラス分類部３４、および画像データベースクラス分類部３７で５つのクラスに分類される場合、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれ５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。

クラスセンタ値算出部３３は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のＲＧＢ成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部３３は、最も距離の近いクラスにそのブロックを分類する。

このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部３３は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部３３は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。

クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として、制作目標画像クラス分類部３４、および画像データベースクラス分類部３７に供給するようになされている。

センタ値は、例えば、クラス毎にＲＧＢ成分のそれぞれの値として算出される。例えば、クラス１、クラス２、クラス３、・・・に分類される場合、クラス１のセンタ値は、(235.9444, 147.9211, 71.6848)とされ、クラス２のセンタ値は、(177.6508, 115.0474, 61.7452)とされ、クラス３のセンタ値は、(76.7123, 63.5517, 42.3792)とされ、・・・のように算出される。上述のセンタ値における３つの要素が、それぞれ、Ｒ成分、Ｇ成分、Ｂ成分の値を表している。

なお、上述したセンタ値の算出の方式は、一例であり、他の方式により各クラスのセンタ値が求められるようにしても構わない。

制作目標画像クラス分類部３４は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、ブロック分割部３１により分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。

画像データベースクラス分類部３７は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類するようになされている。

画像データベースクラス分類部３７による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることにより行なわれる。ただし、画像データベースクラス分類部３７による分類では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。

画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。

このように、画像データベースクラス分類部３７は、例えば、一度分類された画像の数をクラス毎にチェックし、所定のクラスに分類された画像の数が基準値に満たないと判定された場合は、閾値を変更して再度クラス分類を行うようにしてもよい。

なお、このように閾値を変更した結果、同一の画像が複数のクラスに属するように分類されてしまっても構わない。

画像データベースクラス分類部３７によりクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。

なお、画像データベース５１に記憶されている画像から、ブレやボケを除去するフィルタ処理がさらに施されて、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようにしてもよい。

このようにすることで、出来上がったフォトモザイク画像をさらに美しいものとすることができる。

置換画像決定部３５は、制作目標画像クラス分類部３４によりクラス分類されたブロックの画像と、蓄積メモリ３８に記憶されている画像であって、そのブロックのクラスの画像群とを、例えば、次に示されるような式を用いた計算により照合する処理を実行するようになされている。

画像を照合する処理では、例えば、まず式（３）の演算を行って、△ｃの算出が行なわれる。

・・・（３）

ここで、△Ｒ、△Ｇ、および△Ｂは、それぞれブロックの画像の所定の１つの画素と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲＧＢ成分の値の差分を表している。また、Ｃ_1RとＣ_2Rは、それぞれブロックの画像の所定の１つの画素のＲ成分の値と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲ成分の値を表している。

なお、式（３）により△ｃの算出は、例えば、ブロックの画像を構成する画素の全てについて行なわれる。例えば、ブロック内の座標位置xyで表される画素のそれぞれについて△ｃが算出される。

そして、画像を照合する処理では、式（４）の演算が行われてＣの算出が行なわれる。すなわち、式（３）により算出された△ｃがブロック内の全画素分合計される。

・・・（４）

式（４）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶され、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。すなわち、Ｃの値は、その画像が当該ブロックに貼り付ける画像としてどれだけ相応しいか（適正度）を表す値となり、Ｃの値が小さいほど適正な画像であるといえる。

なお、式（３）と式（４）の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。

また、上述した画像を照合する処理は一例であり、他の方式により画像の照合が行なわれるようにしてもよい。要は、代表値によりクラス分類された画像データベースの画像の中で、制作目標画像の各ブロックのテクスチャを表現するのに相応しい画像が当該ブロックに貼り付ける（置換する）画像として決定されるようにすればよい。

置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定するようになされている。置換画像決定部３５は、このように決定された画像を、画像置換部３６に供給する。

画像置換部３６は、置換画像決定部３５から供給された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像が置換画像決定部３５から供給された画像と置換されることによりモザイク画像が生成されるのである。

なお、置換画像決定部３５は、例えば、蓄積メモリ３８に記憶されている画像に所定のフラグを設定することにより、同じ画像が重複して使用されないように置換画像を決定するようになされている。例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。

あるいはまた、置換画像決定部３５が、フラグが設定された画像を全く使用しないのではなく、Ｎ近傍でのみ使用しないという制約を設けるようにしてもよい。ここでＮ近傍とは、１つのブロックに隣接するＮ個のブロックを意味している。Ｎの値としては、例えば、８、２４などが想定される。

例えば、Ｎの値が８である場合、Ｎ近傍の制約は、例えば、図５に示されるようになる。図５において、各矩形が制作目標画像の各ブロックを表している。例えば、図５に示されるように、図中中央の黒い矩形で示されるブロックに使用された画像は、図中ハッチングで示される８個のブロックには使用されないようになされている。すなわち、Ｎ近傍の制約がある場合、置換画像決定部３５が、図中ハッチングで示される８個のブロックに貼り付ける画像を、黒い矩形で示されるブロックに使用された画像以外の画像の中から決定することになる。

このようにすることで、例えば、モザイクのタイルとして使用できる画像の数が限られていても美しいモザイク画像を生成することが可能となる。

従来は、例えば、ブロックに貼り付ける画像データベースの画像を決定するにあたり代表値のみを使用しているため、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現できないことが多かった。また、制作目標画像のテクスチャを表現できるように、ブロックの画像と画像データベースの画像と照合する場合、制作目標画像の各ブロックについて、画像データベースの全画像との照合を行わなければならないので、演算量が多く処理に時間がかかっていた。

これに対して、本発明では、制作目標画像の各ブロックをクラス分類し、同じセンタ値を用いて画像データベースの画像をクラス分類し、同一のクラスの画像のみ照合するようにした。これにより、本発明では、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現でき、かつ演算量を削減し処理時間を短縮できるようになった。

また、従来、例えば、画像データベースの画像が充分に用意されていない場合、多くの重複が発生し、生成されたフォトモザイク画像の品質が劣化するという問題があった。

例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。

これに対して、本発明では、画像データベースクラス分類部３７による分類に用いられる閾値が、例えば、分類された画像の数に応じて変更されるようになされている。また、本発明では、置換画像決定部３５が、フラグを設定することにより、同じ画像が重複して使用されないように置換画像を決定するようにしたり、Ｎ近傍の制約が付されたりするようになされている。

これにより、本発明では、例えば、所定のクラスに分類された画像の数が少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。また、本発明では、所定のクラスに分類された画像の数が少ない場合でも、フラグ、Ｎ近傍の制約により、できるだけ同じ画像が重複して使用されることを回避することができる。

次に、図６のフローチャートを参照して、図１のフォトモザイク画像生成装置１０によるフォトモザイク画像生成処理について説明する。

ステップＳ２１において、制作目標画像処理部２０は、生成準備処理を実行する。これにより、制作目標画像が適切な大きさに拡大または縮小される。

ステップＳ２２において、フォトモザイク画像生成部３０は、画像生成処理を実行する。これにより、制作目標画像に対応するフォトモザイク画像が生成されることになる。

次に、図７のフローチャートを参照して、図６のステップＳ２１で実行される生成準備処理の詳細な例について説明する。

ステップＳ４１において、制作目標画像処理部２０の特徴領域検出部２１は、入力された制作目標画像を解析する。

このとき、例えば、制作目標画像が人物の画像である場合、特徴領域検出部２１は、顔画像認識処理などを実行することにより、人物の顔を検出するとともに、顔の中の特徴的部分である目、口などを構成する領域を特定する。

ステップＳ４２において、特徴領域検出部２１は、ステップＳ４１の解析結果に基づいて、特徴領域を抽出する。このとき、例えば、目、口などその特徴領域を特定する情報、特定された領域の座標位置、面積などの情報が抽出された特徴領域の情報として取得されることになる。例えば、図３において枠１０１で示される目の領域が特徴領域として抽出される。

なお、ユーザが特徴領域を指定するようにしてもよい。この場合、ユーザに指定された領域として、例えば、図３において枠１０１で示される目の領域が特徴領域として抽出されることになる。

ステップＳ４３において、倍率決定部２２は、ステップＳ４２の処理で抽出した特徴領域のサイズを検出する。ここで、サイズは、例えば、抽出した特徴領域の垂直方向および水平方向の画素数などとされる。

ステップＳ４４において、倍率決定部２２は、特徴領域を特定する情報に基づいて、特徴領域データベース２４から、その特徴領域に対応するブロックの配置方式を読み出す。上述したように、特徴領域データベース２４には、特徴領域に応じたブロックの配置方式が記憶されている。例えば、特徴領域データベース２４には、目の特徴領域に対応して、「水平方向３２０×４、垂直方向２４０×２」という情報が記憶されている。

ステップＳ４５において、倍率決定部２２は、ステップＳ４３の処理で検出した特徴領域のサイズ、およびステップＳ４４の処理で読み出した情報（ブロックの配置方式）に基づいて、拡大または縮小倍率を決定する。

このとき、倍率決定部２２は、例えば、上述したように、垂直方向の変更率Vaと水平方向の変更率Haを式（１）および式（２）により求めて、特徴領域の拡大または縮小倍率を算出する。そして、倍率決定部２２は、上述のように求められた特徴領域の拡大または縮小倍率に基づいて、制作目標画像全体の拡大または縮小倍率を決定する。

ステップＳ４６において、画像生成部２３は、ステップＳ４５の処理で決定された拡大または縮小倍率に従って、制作目標画像を拡大または縮小する。

このようにして、生成準備処理が実行される。

次に、図８のフローチャートを参照して、図６のステップＳ２２で実行される画像生成処理の詳細な例について説明する。

ステップＳ６１において、フォトモザイク画像生成部３０のブロック分割部３１は、図６のステップＳ２１の処理を経て拡大または縮小された制作目標画像をブロックに分割する。このとき、ブロック分割部３１は、制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割する。

ステップＳ６２において、代表値決定部６２は、ステップＳ６１の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。

図９と図１０は、ブロック分割および代表値の決定を説明する図である。

例えば、図９に示されるような画像が制作目標画像として入力された場合、ステップＳ６１の処理では、同図に示される画像が水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割される。いまの場合、人物の顔の画像である図９に示されるような画像が制作目標画像とされている。

そして、ステップＳ６２の処理では、各ブロックの代表値が決定される。図１０は、ブロックを分かり易くするために、制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。同図に示されるように、図９に示される人物の顔の画像が矩形のブロックに分割されている。

図８に戻って、ステップＳ６３において、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、クラス分類処理を実行する。このとき、クラスセンタ値算出部３３、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、ステップＳ６２の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース５１の画像をそれぞれクラス分類する。

ここで、図１１のフローチャートを参照して、図８のステップＳ６３のクラス分類処理の詳細な例について説明する。

ステップＳ８１において、クラスセンタ値算出部３３は、クラスを設定する。このとき、例えば、５つのクラスが設定される。

ステップＳ８２において、クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。

このとき、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれステップＳ８１の処理で設定された５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。

クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として特定する。

ステップＳ８２の処理では、例えば、このようにして各クラスのセンタ値が特定される。

ステップＳ８３において、制作目標画像クラス分類部３４は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、ステップＳ６１の処理で分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。

これにより、例えば、図１０に示されるように、ブロックに分割された画像の各ブロックが、図１２に示されるようにクラス分類される。図１２は、図１０に示されるブロックのそれぞれがステップＳ８３の処理を経てクラス分類された例を示す画像である。

同図においては、各ブロックのクラスを、図中のハッチングのパターンにより表現している。同図の例では、制作目標画像の各ブロックがクラス１乃至クラス５の５つのクラスに分類されている。

ステップＳ８４において、画像データベースクラス分類部３７は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類する。

このとき、画像データベースクラス分類部３７は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることによりクラス分類する。ただし、ステップＳ８４の処理では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。

なお、上述したように、画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。

ステップＳ８４の処理でクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。

このようにしてクラス分類処理が実行される。

図８に戻って、ステップＳ６３の処理の後、ステップＳ６４において、置換画像決定部３５は、置換画像決定処理を実行する。これにより、制作目標画像の各ブロックの画像が、画像データベース５１の画像に置き換えられて、フォトモザイク画像が生成されることになる。

ここで、図１３のフローチャートを参照して、図８のステップＳ６４の置換画像決定処理の詳細な例について説明する。

ステップＳ１０１において、置換画像決定部３５は、制作目標画像のブロックのうち、１つのブロックを抽出する。

ステップＳ１０２において、置換画像決定部３５は、ステップＳ１０１で抽出したブロックについて、ステップＳ６３の処理によりクラス分類されたクラスを特定する。

ステップＳ１０３において、置換画像決定部３５は、当該ブロックの画像と、画像データベース５１から読み出され、蓄積メモリ３８に記憶されている画像であって、ステップＳ１０２の処理で特定されたクラスの画像群とを照合する。

このとき、例えば、次のような計算により照合する処理が実行される。

例えば、上述したように、式（３）の演算を行って、△ｃの算出が行なわれ、式（４）の演算が行われてＣの算出が行なわれる。すなわち、式（３）により算出された△ｃがブロック内の全画素分合計される。

そして、このような照合がステップＳ１０２の処理で特定されたクラスに属する画像のそれぞれについて行われ、式（４）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶される。

ステップＳ１０４において、置換画像決定部３５は、ステップＳ１０３の処理結果に基づいて、当該ブロックに貼り付ける画像を選択する。

このとき、例えば、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。そして、置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定する。

ステップＳ１０５において、置換画像決定部３５は、ステップＳ１０４の処理で選択された画像にフラグを設定する。これにより、以後のステップＳ１０３の処理では、フラグが設定された画像は除外されて、照合が行なわれるようになる。

例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。

ステップＳ１０６において、置換画像決定部３５は、次のブロックがあるか否かを判定する。すなわち、まだ置換画像の決定（選択）がなされていない制作目標画像のブロックがあるか否かを判定する。

ステップＳ１０６において、次のブロックがあると判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。

ステップＳ１０６において、次のブロックがないと判定された場合、置換画像決定処理は終了する。

なお、ここでは、フラグが設定されることにより、同じ画像が重複して使用されないように置換画像を決定する例について説明したが、図５を参照して上述したＮ近傍の制約により同じ画像が重複して使用されないようにしてもよい。

このようにして、置換画像決定処理が実行される。

図８に戻って、ステップＳ６４の処理の後、ステップＳ６５において、画像置換部３６は、ステップＳ１０４の処理で選択された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像がステップＳ１０４の処理で選択された画像と置換されることによりフォトモザイク画像が生成されるのである。

これにより、例えば、図１４に示されるようなフォトモザイク画像が生成される。図１４は、図９の制作目標画像に対応するフォトモザイク画像の例を示す図である。

すなわち、図９に示される制作目標画像が、図１０に示されるようにブロックに分割され、図１２に示されるようにクラス分類される。そして、各ブロックの画像と、分類されたクラスの画像との照合が行われて、各ブロックの画像が、画像データベース５１の画像に置き換えられる。このようにして、図９に示される制作目標画像から、図１４に示されるようなフォトモザイク画像が生成されるのである。

このようにして、画像生成処理が実行される。

なお、図７を参照して上述した生成準備処理においては、制作目標画像が拡大または縮小されるとしたが、ブロックが拡大または縮小されるようにしても構わない。この場合、画像データベース５１に記憶されている画像も、ブロックのサイズに合わせて拡大または縮小されるようにすればよい。

すなわち、倍率決定部２２が、例えば、特徴領域の拡大または縮小倍率の逆数に基づいて、ブロックの拡大または縮小倍率を決定する。そして、画像生成部２３は、制作目標画像をもとの大きさのまま出力するとともに、上述したブロックの拡大または縮小倍率をフォトモザイク画像生成部３０に供給するようにする。フォトモザイク画像生成部３０は、供給されたブロックの拡大または縮小倍率によりブロックのサイズを拡大または縮小するとともに、画像データベース５１から取得した画像のそれぞれを、ブロックの拡大または縮小倍率により拡大または縮小するようにすればよい。

また、図８のステップＳ６１においては、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割されると説明したが、全て同一の矩形のブロックに分割されないようにしてもよい。

例えば、特徴領域検出部２１によって検出された特徴領域は、より小さいサイズのブロックに分割されるようにしてもよい。

図１５は、図９に示される制作目標画像を、ブロック分割する場合の別の例を示す図である。同図の例の場合、特徴領域である目の画像のみが、その周辺の画像より小さいサイズのブロックに分割されている。すなわち、図１５の目の部分の画像は、その周辺の画像のブロックの４分の1のサイズのブロックで分割されている。

このようにすることで、フォトモザイクとして生成された画像において、例えば、人の顔の目などの特徴的部分の画像のテクスチャがより詳細に表現されるようにすることができる。その結果、例えば、観察者が画像から離れてみた場合に、より制作目標画像に近い印象を与えるような、フォトモザイク画像を生成することができる。

さらに、図８のステップＳ６５の処理では、全てのブロックの画像がステップＳ１０４の処理で選択された画像と置換されることによりフォトモザイク画像が生成されると説明したが、必ずしも全てのブロックの画像が置換されないようにしてもよい。

例えば、ステップＳ１０３の処理の結果算出されたＣの値のうち、最小のものが閾値を超えるものであった場合、そのブロックの画像は置換されず、元の制作目標画像のブロックの画像のままとされるようにしてもよい。このようにすることで、例えば、所定のブロックの画像として置換すべき適切な画像が画像データベース５１に存在しないことなどにより、フォトモザイク画像の品質が劣化することを抑止することができる。

また、上述した例では、できるだけ同じ画像が重複して使用されないようにされる旨説明したが、例えば、類似する画像が隣接して配置されないようにすることも可能である。

例えば、似たような画像が隣り合うブロックに貼り付けられている場合、同じ画像が重複して使用された場合と同様な視覚的効果を奏する場合がある。似たような画像が隣り合うブロックに貼り付けられることを抑止するために、例えば、置換画像決定部３５が隣接するブロックに貼り付ける画像と当該ブロックに貼り付けられる画像との類似度を算出し、類似度が閾値以下の画像のみが置換画像とされるようにしてもよい。なお、画像の類似度は、例えば、ブロックマッチング法などにより求められる値を用いることができる。

さらに、上述した例では、ブロックに貼り付けられる画像が、主に画像データベース５１から取得される場合の例について説明したが、例えば、ネットワーク５２を介してサーバ５３から取得されるようにしてもよい。

あるいはまた、画像データベース５１から取得できない画像のみ、サーバ５３から取得されるようにしてもよい。

例えば、画像データベースクラス分類部３７によるクラス分類の結果、クラス３に分類された画像の枚数が少ない場合、フォトモザイク画像生成装置１０から、サーバ５３にクラス３の画像のリクエストのパケットが送信される。このとき、例えば、フォトモザイク画像生成装置１０から、クラス３のセンタ値と閾値がリクエストのパケットに含まれて送信される。また、必要とする画像の数、画像の種類（例えば、花の画像、山の画像、人の画像・・・などの種類）などを表すタグの情報などもリクエストパケットに含まれるようにしてもよい。

そして、サーバ５３は、自身が記憶する画像を、画像データベースクラス分類部３７と同様にクラス分類し、クラス３に分類された画像を、ネットワーク５２を介してフォトモザイク画像生成装置１０に送信するようにすればよい。

このようにすることで、さらに、品質の高いフォトモザイク画像を生成することが可能となる。

以上においては、フォトモザイク画像生成装置１０が、制作目標画像処理部２０およびフォトモザイク画像生成部３０により構成される例について説明したが、他の構成としても構わない。

例えば、制作目標画像処理部２０の機能を実現する装置が、従来のフォトモザイク画像生成装置に接続されるようにしても構わない。

上述したように、制作目標画像処理部２０により、制作目標画像の特徴領域とブロックの大きさに基づいて制作目標画像が自動的に縮小または拡大されるようにすることができる。従って、制作目標画像処理部２０を単体で使用した場合でも、例えば、特別なスキルなどを必要とせずに、短時間で美しいフォトモザイク画像を生成することができるという効果が期待できる。

また、例えば、制作目標画像処理部２０を設けずに、フォトモザイク画像生成部３０の機能を実現する装置のみを用いてフォトモザイク画像を生成することも可能である。

すなわち、フォトモザイク画像生成部３０を単体で使用した場合でも、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現でき、かつ演算量を削減し処理時間を短縮できるという効果が期待できる。また、例えば、できるだけ同じ画像が重複して使用されることを回避するという効果も期待できる。

さらに、フォトモザイク画像生成装置１０は、例えば、撮像装置に内蔵される構成とすることも可能である。

また、制作目標画像、画像データベース５１に記憶される画像は、例えば、写真だけではなく、絵などをスキャナで取り込んで得られた画像やＣＧ（Computer Graphics）など、どのような画像であってもよい。

さらに、以上においては、画像データベースクラス分類部３７によるクラス分類では、素材となる画像が所定の個数のクラスに分類されるものと説明したが、このクラスの個数は適応的に変更されるようにしてもよい。例えば、画像データベース５１に記憶される画像の代表値のヒストグラムを生成し、そのヒストグラムの分散値に基づいてクラス数が変更されるようにしてもよい。

このようにすることで、例えば、画像データベース５１に記憶される全ての画像において赤色の画素の割合が高い場合などであっても、不自然なクラス分類がなされることなく、適正なフォトモザイク画像の生成を行うことができる。

あるいはまた、例えば、制作目標画像のブロックの代表値のヒストグラムの分散値に基づいてクラスの個数が適応的に変更されるようにしてもよい。

また、図１の制作目標画像処理部２０とフォトモザイク画像生成部３０は、ネットワークを介して接続される構成とされてもよい。そして、例えば、ユーザが保持する携帯端末から、ネットワークを介してフォトモザイク画像の生成の指令を送信し、ネットワークに接続されたサーバなどによりフォトモザイク画像が生成され、携帯端末に送信されるようにすることも可能である。

すなわち、本発明のフォトモザイク画像生成装置１０の各機能ブロックが、例えば、ネットワークを介して接続される任意の数のサーバによって実現されるようにすることも可能である。

ところで、フォトモザイク画像を生成するユーザは、例えば、完成したフォトモザイク画像の中に自分が気に入った画像が採用されることなどを望む場合が多い。あるいはまた、所望の画像をフォトモザイク画像の中で観察者の目を引くような領域のタイルとして採用することにより、フォトモザイク画像のメッセージ性を高めたいと考えるユーザも多い。

そこで本発明では、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができるようにする。

図１６は、本発明の一実施の形態に係るフォトモザイク画像生成装置の別の構成例を示すブロック図である。同図に示されるフォトモザイク画像生成装置１０においては、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができるようになされている。

図１６は、図１に対応する図であり、図１の各部に対応する機能ブロックには、それぞれ同一の符号が付されている。図１６の例では、図１の場合と異なり、指定画像挿入部１１０が設けられている。図１６のそれ以外の部分の構成は、図１の場合と同様なので詳細な説明は省略する。

指定画像挿入部１１０は、フォトモザイク画像の中にユーザが指定した画像をモザイクのタイルの画像として挿入するようになされている。

指定画像挿入部１１０は、フォトモザイク画像生成部３０から、生成されたフォトモザイク画像と、制作目標画像の供給を受けるようになされている。なお、供給される制作目標画像は、ブロック分割部３１によりブロックに分割された制作目標画像とされる。

図１７は、指定画像挿入部１１０の詳細な構成例を示すブロック図である。同図に示されるように、指定画像挿入部１１０は、領域指定部１１４、指定画像挿入ブロック決定部１１５、画像置換部１１６、制作目標画像格納メモリ１１７、およびフォトモザイク画像格納メモリ１１８を有する構成とされている。

フォトモザイク画像生成部３０から供給された制作目標画像は、制作目標画像格納メモリ１１７に記憶される。また、フォトモザイク画像生成部３０から供給されたフォトモザイク画像は、フォトモザイク画像格納メモリ１１８に記憶される。

領域指定部１１４は、フォトモザイク画像の中において、ユーザが指定した画像（指定画像と称する）が挿入されるべき領域の指定を受け付けるようになされている。例えば、ユーザが所定のポインティングデバイスを用いて、フォトモザイク画像の中の任意の領域を選択することにより、指定画像が挿入されるべき領域の指定がなされる。

領域指定部１１４は、上述のようにして指定された領域を、制作目標画像のブロックと対応付けて、それらのブロックを特定する。

なお、ここでは、フォトモザイク画像の中で指定画像が挿入されるべき領域の指定を受け付け、その領域を制作目標画像のブロックと対応付けると説明したが、制作目標画像の中で指定画像が挿入されるべき領域の指定を受け付けるようにしてもよい。あるいはまた、直接、指定画像が挿入されるべきブロックが指定されるようにしてもよい。

指定画像挿入ブロック決定部１１５は、領域指定部１１４の処理を経て特定されたブロックのそれぞれの画像について、指定画像に対する適性度を算出する。適正度の算出は、例えば、図１３のステップＳ１０３における照合の処理に用いられた計算と同様の計算により行われる。適正度は、例えば、上述した式（４）により算出されたＣの値が用いられる。すなわち、上述した式（４）により、領域指定部１１４の処理を経て特定されたブロック毎に適正度が算出されることになる。

このとき算出された適正度は、各ブロックの画像と置換すべき画像としての、指定画像の適正度を意味することになる。例えば、制作目標画像の中のブロックＡの画像と指定画像とを照合して得られる適正度は、指定画像がブロックＡの画像に置換される画像としてどれだけ適切であるかを表している。しかし、換言すれば、指定画像を挿入すべきブロックとして、ブロックＡがどれだけ適切であるかを表しているとも考えることができる。つまり、指定画像挿入ブロック決定部１１５により算出された適正度は、指定画像に対する各ブロックの適正度と考えて差し支えない。

指定画像挿入ブロック決定部１１５は、算出された適正度が最も高いブロック（例えば、Ｃの値が最も小さいブロック）を、指定画像を挿入すべきブロックとして決定する。

なお、指定画像のデータは、予め指定画像挿入部１１０に供給されているものとする。

画像置換部１１６は、フォトモザイク画像格納メモリ１１８に記憶されているフォトモザイク画像において、指定画像挿入ブロック決定部１１５により決定されたブロックの画像を指定画像に置換する。

そして画像置換部１１６による置換後のフォトモザイク画像が出力画像としてフォトモザイク画像生成装置１０から出力されることになる。

このように、本発明のフォトモザイク画像生成装置１０においては、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができる。

なお、指定画像は、通常ユーザが選んだ任意の画像などとされるので、制作目標画像のブロックの画像（モザイクのタイル）として適切なものであるかどうかは分からない。従って、領域指定部１１４が、フォトモザイク画像の中において、指定画像が挿入されるべき領域の指定を受け付ける際に、指定された領域の面積が大きいほど、より美しいフォトモザイク画像を生成できる可能性が高い。一般に、適正度を算出する対象となるブロックの数が多いほど、より高い適正度を有するブロックの画像が存在する可能性も高くなるからである。

よって、指定画像が挿入されるべき領域の指定を受け付ける際に、指定された領域の面積が小さいと不自然なフォトモザイク画像が生成されてしまうことがある。例えば、このように指定された領域の面積が小さいものとなることを防止するために、領域指定部１１４により、所定の面積以下の領域の指定が受け付けられないようにしてもよい。

あるいはまた、所定のポインティングデバイスを用いて指定された点を基準に予め設定された面積の領域が自動的に指定されるようにしてもよい。さらにまた、所定のポインティングデバイスを用いて指定された点を基準に、制作目標画像のブロック数、画素数などに基づいて算出された面積の領域が自動的に指定されるようにしてもよい。

次に、図１６に示されるフォトモザイク画像生成装置１０により実行されるフォトモザイク画像生成処理の例について図１８のフローチャートを参照して説明する。

ステップＳ１２１およびステップＳ１２２の処理は、図６のステップＳ２１およびステップＳ２２と同様なので詳細な説明は省略する。

ステップＳ１２２の処理の後、ステップＳ１２３において、指定画像挿入部１１０は、図１９を参照して後述する指定画像挿入処理を実行する。

ここで、図１９のフローチャートを参照して、図１８のステップＳ１２３の指定画像挿入処理の詳細な例について説明する。

ステップＳ１５１において、領域指定部１１４は、フォトモザイク画像の中において、ユーザが指定した画像（指定画像と称する）が挿入されるべき領域の指定を受け付ける。このとき、例えば、ユーザが所定のポインティングデバイスを用いて、フォトモザイク画像の中の任意の領域を選択することにより、指定画像が挿入されるべき領域の指定がなされる。

ステップＳ１５２において、領域指定部１１４は、上述のようにして指定された領域を、制作目標画像のブロックと対応付けて、それらのブロックを特定する。

ステップＳ１５３において、指定画像挿入ブロック決定部１１５は、ステップＳ１５２の処理を経て特定されたブロックのそれぞれの画像について、指定画像に対する適性度を算出する。ここで、適正度は、例えば、上述した式（４）により算出されたＣの値が用いられる。

ステップＳ１５４において、指定画像挿入ブロック決定部１１５は、ステップＳ１５３の処理で算出された適正度が最も高いブロック（例えば、Ｃの値が最も小さいブロック）を、指定画像を挿入すべきブロックとして決定する。

ステップＳ１５５において、画像置換部１１６は、フォトモザイク画像格納メモリ１１８に記憶されているフォトモザイク画像において、指定画像挿入ブロック決定部１１５により決定されたブロックの画像を指定画像に置換する。

このようにして、指定画像挿入処理が実行される。

図１６を参照して上述した例では、ユーザが指定画像を挿入すべき領域を指定するようにしたが、このような領域の指定を都度、ユーザが行うことなく指定画像を挿入することができればさらに便利である。

例えば、制作目標画像の各ブロックについて全て適性度を算出し、最も適正度の高いブロックが指定画像を挿入すべきブロックとして特定されるようにすれば、自動的に指定画像が挿入されるようにすることも可能である。つまり、この場合、ユーザが領域を指定する必要はない。

しかしながら、このようにした場合、例えば、制作目標画像の端部に位置するブロックに指定画像が挿入されてしまうこともある。このような場合、ほとんどのユーザは生成されたフォトモザイク画像に満足するとは考え難い。

従って、自動的に指定画像が挿入されるようにする場合も、単に適正度を考慮して挿入するだけでなく、画像の中の領域が考慮されるようにすることが望ましい。

図２０は、図１６に示されるフォトモザイク画像生成装置１０における指定画像挿入部１１０の別の構成例を示すブロック図である。同図に示される指定画像挿入部１１０においては、図１７の場合と同様に、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができるが、具体的に領域を指定しなくてもよい構成とされている。すなわち、図２０の例の場合、指定画像挿入部１１０が自動的に指定画像を挿入するようになされており、この際、画像の中の領域が考慮されるようになされている。

図２０に示される指定画像挿入部１１０は、適正度算出部１２４、重みづけ部１２５、画像置換部１２６、制作目標画像格納メモリ１２７、およびフォトモザイク画像格納メモリ１２８を有する構成とされている。

フォトモザイク画像生成部３０から供給された制作目標画像は、制作目標画像格納メモリ１２７に記憶される。また、フォトモザイク画像生成部３０から供給されたフォトモザイク画像は、フォトモザイク画像格納メモリ１２８に記憶される。

適正度算出部１２４は、図１７の指定画像挿入ブロック決定部１１５と同様に、制作目標画像のブロックのそれぞれの画像について、指定画像に対する適性度をブロック毎に算出する。適正度算出部１２４は、例えば、制作目標画像の全てのブロックのそれぞれの画像について、適正度を算出する。適正度は、例えば、上述した式（４）により算出されたＣの値が用いられる。

そして、適正度算出部１２４は、算出した適正度を、ブロックの位置を特定する情報と対応付けて重みづけ部１２５に供給する。すなわち、重みづけ部１２５では、供給された適正度が制作目標画像のどのブロックに対応するものなのかを特定することができるようになされている。

重みづけ部１２５は、適正度算出部１２４から供給された適正度に対して、その適正度に対応付けられたブロックの位置に応じた重みづけを行う。重みづけ部１２５は、例えば、指定画像を挿入するのに最も相応しいブロックの位置と、適正度に対応付けられたブロックの位置との距離を算出し、その距離が大きいほど適正度が低くなるような重みづけをする。

例えば、指定画像を挿入するのに最も相応しいブロックは、制作目標画像の中心（重心）に位置するブロックとされる。この場合、仮に適正度算出部１２４により算出された適正度が同じであっても、中心から離れたブロックの適正度は低くなり（例えば、Ｃの値が大きくなり）、中心に近いブロックの適正度は高くなる（例えば、Ｃの値が小さくなる）ことになる。

重みづけ部１２５には、上述したように、ブロックの位置に応じた重みづけを行うための重みづけテーブルが記憶されている。重みづけテーブルは、例えば、制作目標画像のブロック数、画素数などに基づいて予め生成されたものを用いることもできるし、ユーザが都度設定するようにすることもできる。

なお、指定画像を挿入するのに最も相応しいブロックは、制作目標画像の中心（重心）以外の位置のブロックとされるようにしてもよい。例えば、指定画像を挿入するのに最も相応しいブロックは、制作目標画像の中で画素の輝度値の総和が最も大きいブロックとされるようにしてもよい。あるいはまた、特徴領域検出部２１により特定された特徴的部分（例えば、目、口など）を構成する領域のブロックとされるようにしてもよい。

さらに、指定画像を挿入するのに最も相応しいブロックとして１つのブロックが特定されるようにしてもよいし、複数の異なるブロックのそれぞれが指定画像を挿入するのに最も相応しいブロックとして特定されるようにしてもよい。

画像置換部１２６は、重みづけ部１２５の処理の結果重みづけがなされた適正度に基づいて指定画像を挿入すべきブロックを特定する。このとき、例えば、適正度が最も高い（例えば、重みづけがなされたＣの値が最も小さい）ブロックが指定画像を挿入すべきブロックとして特定される。そして、画像置換部１２６は、フォトモザイク画像格納メモリ１２８に記憶されているフォトモザイク画像において、その特定されたブロックの画像を指定画像に置換する。

そして画像置換部１２６による置換後のフォトモザイク画像が出力画像としてフォトモザイク画像生成装置１０から出力されることになる。

このようにすることで、自動的に指定画像が挿入されるようにする場合も、単に適正度を考慮して挿入するだけでなく、画像の中の領域が考慮されるようにすることが可能となる。

次に、図２０に示される指定画像挿入部１１０により実行される指定画像挿入処理の詳細な例について図２１のフローチャートを参照して説明する。この処理は、図１８のステップＳ１２３の処理として実行される。

ステップＳ１７１において、適正度算出部１２４は、適性度を算出する制作目標画像のブロックを特定する。このとき、制作目標画像の全てのブロックが適性度を算出するブロックとして特定されるようにしてもよいし、予め設定された位置のブロックが適性度を算出するブロックとして特定されるようにしてもよい。

ステップＳ１７２において、適正度算出部１２４は、ステップＳ１７１の処理で特定されたブロックのそれぞれの画像について、指定画像に対する適性度を算出する。適正度は、例えば、上述した式（４）により算出されたＣの値が用いられる。

また、適正度算出部１２４は、算出した適正度を、ブロックの位置を特定する情報と対応付けて重みづけ部１２５に供給する。

ステップＳ１７３において、重みづけ部１２５は、適正度算出部１２４から供給された適正度に対して、その適正度に対応付けられたブロックの位置に応じた重みづけを行う。このとき、例えば、指定画像を挿入するのに最も相応しいブロックの位置と、適正度に対応付けられたブロックの位置との距離が算出され、重みづけテーブルを参照してその距離に応じた重みづけがなされる。

ステップＳ１７４において、画像置換部１２６は、ステップＳ１７３の処理の結果重みづけがなされた適正度に基づいて指定画像を挿入すべきブロックを特定する。このとき、例えば、適正度が最も高いブロックが指定画像を挿入すべきブロックとして特定される。

ステップＳ１７５において、画像置換部１２６は、フォトモザイク画像格納メモリ１２８に記憶されているフォトモザイク画像において、ステップＳ１７４の処理で特定されたブロックの画像を指定画像に置換する。これにより、指定画像が所定のブロックに挿入されることになる。

このようにして、指定画像挿入処理が実行される。

図１６乃至図２１を参照して上述したように、本発明によれば、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができる。

図２２は、図１６のフォトモザイク画像生成部３０により生成されたフォトモザイク画像の例を示す図である。同図には、フォトモザイク画像１７１が示されている。

図２３は、図２２のフォトモザイク画像１７１に対して図１６の指定画像挿入部１１０の処理を施すことにより得られたフォトモザイク画像の例を示す図である。同図においては、フォトモザイク画像１７１の中のブロック１８１の画像が指定画像に置換されたものとされている。

以上においては、指定画像が１枚である場合を例として説明したが、勿論、複数の指定画像を挿入することも可能である。指定画像が複数ある場合、例えば、個々の指定画像毎に指定画像が挿入されるべき領域が指定されるようにすることも可能である。

また、指定画像が複数ある場合、例えば、指定画像を貼り付けたブロックにフラグが設定されることにより、所定の範囲内に指定画像が重複して貼り付けられないようすることが望ましい。例えば、１つの指定画像を挿入すべきブロックが決定された場合に、そのブロックについては指定画像を挿入済であることを表すフラグが設定されるようにする。そして、他の指定画像を挿入すべきブロックは、フラグが設定されたブロックの周囲の所定の範囲内に位置するブロック以外のブロックの中から決定されるようにすればよい。

また、以上においては、指定画像が画像データベース５１に含まれていない画像であることを前提に説明したが、画像データベース５１に含まれている画像が指定画像とされるようにしてもよい。その場合、例えば、指定画像挿入部１１０が、フォトモザイク画像生成部３０により生成されたフォトモザイク画像の中に指定画像が含まれているかを判定するようにする。そして、指定画像が含まれていないと判定されたときのみ、指定画像挿入部１１０が、図１９または図２１を参照して上述した指定画像挿入処理を実行するようにすればよい。

あるいはまた、複数の画像データベースを設けるようにしてもよい。例えば、画像データベースＡと画像データベースＢを設け、画像データベースＡは特にユーザがフォトモザイク画像に採用したい画像からなるデータベース、データベースＢは通常の画像からなるデータベースとする。そして、画像データベースＡの画像のみを用いてフォトモザイク画像の生成を試みて、適切な画像が得られなかったブロックの画像のみを、画像データベースＢの画像で置換するようにする。

この場合、例えば、最初にフォトモザイク画像生成部３０が画像データベースＡのみを用いてフォトモザイク画像を生成する。その際、フォトモザイク画像生成部３０は、適正度が閾値以上となる画像が画像データベースＡに存在しなかったブロックの画像の置換を行わないようし、それらのブロックを特定するフラグなどを設定する。

そして、フォトモザイク画像生成部３０は、フラグが設定されているブロック（画像が置換されていないブロック）のみを対象とし、画像データベースＢのみを用いて再度フォトモザイク画像の生成を行うようにする。

なお、このようにする場合、指定画像挿入部１１０を特に設ける必要はない。

このようにすることで、できる限りユーザが所望する画像を採用したフォトモザイク画像を生成することが可能となる。

以上においては、最初にフォトモザイク画像を生成してから指定画像が挿入される場合の例について説明したが、必ずしもこのような順番で処理が実行されるようにする必要はない。例えば、制作目標画像をブロックに分割した後、指定画像挿入部１１０により、所定のブロックの画像を指定画像に置換しておき、その後、フォトモザイク画像生成部３０により、他のブロックの画像を画像データベース５１の画像によって置換するようにしてもよい。

また、以上においては、フォトモザイク画像生成装置１０が、制作目標画像処理部２０、フォトモザイク画像生成部３０、および指定画像挿入部１１０により構成される例について説明したが、他の構成としても構わない。

例えば、指定画像挿入部１１０の機能を実現する装置が、従来のフォトモザイク画像生成装置に接続されるようにしても構わない。

指定画像挿入部１１０を単体で使用した場合でも、上述したように、例えば、ユーザが指定した画像が所定の領域においてモザイクのタイルとして利用されるようにすることができる。よって、特別な装置やスキルなどを必要とせずに、所望の画像を素材としてフォトモザイクの生成ができるという効果が期待できる。

ところで、上述した例では、画像データベース５１に記憶されている画像から、ボケなどを除去するフィルタ処理がさらに施されて、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようにしてもよいと説明した。

しかしながら、画像データベース５１に記憶されている画像にはノイズが含まれるものもある。画像の中のノイズ成分が極めて大きい場合、ノイズを補正してもアーティファクト（観察者の目につくような補正処理の痕跡など）が残ることが多い。このようなアーティファクトが残った画像をモザイクのタイルとして用いると不自然なフォトモザイク画像が生成されてしまう可能性が高い。

同様に、ぼけの度合いが極めて大きい場合もフィルタ処理によりぼけを除去したとしてもアーティファクトが残ってしまう。

さらに、例えば、画像にフレームが付されている場合、その画像をモザイクのタイルとして用いると不自然なフォトモザイク画像が生成されてしまう可能性が高い。

図２４は、フレームが付されている画像の例を示す図である。同図においては、花を被写体とした画像の四辺に白色のフレームが付されている。

図２５は、モザイクのタイルとして不適切な画像を用いて生成されたフォトモザイク画像の例を示す図である。同図において楕円で示される領域には、フレームが付された画像がモザイクのタイルとして用いられているので、全体として観察したときに不自然な印象を与えるフォトモザイク画像となっている。

そこで、本発明では、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像をモザイクのタイルとして採用しないようにする。

図２６は、本発明の一実施の形態に係るフォトモザイク画像生成装置のさらに別の構成例を示すブロック図である。同図に示されるフォトモザイク画像生成装置１０においては、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像をモザイクのタイルとして採用しないようにすることができるようになされている。

図２６は、図１に対応する図であり、図１の各部に対応する機能ブロックには、それぞれ同一の符号が付されている。図２６の例では、図１の場合と異なり、画像選定部２００が設けられている。図２６のそれ以外の部分の構成は、図１の場合と同様なので詳細な説明は省略する。

画像選定部２００は、モザイクのタイルとなる画像（素材画像）として不適切な画像の補正、選別などを行うようになされている。

画像選定部２００は、画像データベース５１に記憶されている画像の中で、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像を検出するようになされている。なお、いまの場合、例えば、ユーザが予め画像データベース５１の画像をチェックし、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像を抽出することとする。そして、ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像であることを表すフラグなどが設定されて画像データベース５１に記憶されているものとする。画像選定部２００は、例えば、画像に付されたフラグに基づいて、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像を検出する。

また、画像選定部２００は、上述したように検出された画像の補正を行うようになされている。画像選定部２００は、例えば、ノイズが含まれる画像からノイズを除去する補正を行い、ぼけた画像からぼけを除去する補正、およびフレームが付された画像からフレームを除去する補正を行うようになされている。

さらに、画像選定部２００は、ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像は、素材画像として不適切な画像と判定し、フォトモザイク画像生成部３０に供給しないようにすることもできるようになされている。

図２７は、画像選定部２００の詳細な構成例を示すブロック図である。同図に示されるように画像選定部２００は、ノイズ除去部２１２、ぼけ除去部２１４、フレーム除去部２１６、素材画像選別部２１７、および画像提示部２１８を有する構成とされている。

ノイズ除去部２１２は、例えば、εフィルタなどにより構成される。ノイズ除去部２１４は、ノイズが含まれる画像であることを表すフラグが設定された画像を検出し、その画像に対して、例えば、画素ごとにεフィルタの閾値を調整して、入力信号よりノイズ成分を取り除くフィルタ処理を施すようになされている。

ぼけ除去部２１４は、例えば、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式の逆関数による演算処理を施すフィルタなどとして構成される。ぼけ除去部２１４は、ぼけた画像であることを表すフラグが設定された画像を検出し、その画像に対して、例えば、画素ごとにぼけを取り除くフィルタ処理を施すようになされている。

なお、ぼけ除去部２１４とともに、一般的なブレ補正機能を有するブレ除去部を設けるようにしてもよい。

フレーム除去部２１６は、例えば、次のような処理により画像のフレームを除去するようになされている。フレーム除去部２１６は、画像の中で隣接する画素値の差分を検出し、隣接する画素値の差分が閾値以上となる画素を、フレームを構成する画素の候補として特定する。そして、その候補とされた画素値と同一（または一定の範囲内）の画素値を有する画素が水平または垂直方向に所定の個数以上連続して存在する場合、その連続して存在する部分の画素を、フレームを構成する画素として検出する。

すなわち、フレーム除去部２１６は、画像の中でほぼ同一の画素値からなる水平または垂直方向の、極端に明るい色、または暗い色の帯状のオブジェクトをフレームとして検出するのである。このようにした場合、例えば、被写体の背景として撮影された建物の一部や部屋の壁紙などもフレームとして誤検出されてしまうこともあり得る。しかしながら、仮にフレームでないとしても、そのような帯状のオブジェクトが存在する画像を素材画像としたフォトモザイク画像は、観察者に不自然な印象を与えることが多く、やはり素材画像として不適切と言える。

フレーム除去部２１６は、フレームが付された画像であることを表すフラグが設定された画像を検出し、上述のように検出されたフレーム（帯状のオブジェクト）の画素の値を、例えば、フレームに隣接する画素の値に置き換えることにより、フレームを除去するようになされている。

あるいはまた、例えば、画像のフレームが付された画像であることを表すフラグが設定された画像の四辺の端部の画素を一定幅で除去し、残った画素により構成される画像を、元の画像のサイズに拡大するなどしてフレームが除去されるようにしてもよい。

素材画像選別部２１７は、ノイズ除去部２１２、ぼけ除去部２１４、フレーム除去部２１６の処理を経て得られた画像を、画像提示部２１８に出力する。画像提示部２１８は、素材画像選別部２１７から供給された画像をディスプレイに出力することでユーザに提示し、ユーザの評価を受け付ける。例えば、素材画像として適切または不適切を表す評価をユーザから受け付ける。

ユーザは、画像を観察し、例えば、ノイズなどを除去する補正を施してもアーティファクトが残っている画像は、不適切と評価することができる。一方、補正によりノイズなどが適正に除去されている画像は、適切と評価することができる。

素材画像選別部２１７は、画像提示部２１８に出力した画像のうち、適切と評価された画像のみをフォトモザイク画像生成部３０に供給するようになされている。

また、素材画像選別部２１７は、ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像であることを表すフラグなどが設定された画像の全てを、フォトモザイク画像生成部３０に供給しないようにしてもよい。

このようにすることで、ノイズが含まれる画像、ぼけた画像、およびフレームが付された画像をモザイクのタイルとして採用しないようにすることができる。

なお、上述したように、例えば、補正によりノイズなどを除去することも可能であり、そのような補正を行ってもなおアーティファクトが残った画像も、モザイクのタイルとして採用しないようにすることができる。よって、より正確には、ユーザが視覚を通じて違和感を覚えるような画像をモザイクのタイルとして採用しないようにすることができるのである。

次に、図２６に示されるフォトモザイク画像生成装置１０により実行されるフォトモザイク画像生成処理の例について図２８のフローチャートを参照して説明する。

ステップＳ２０１の処理は、図６のステップＳ２１と同様なので詳細な説明は省略する。

ステップＳ２０２において、画像選定部２００は、図２９を参照して後述する画像選定処理を実行する。これにより、素材画像として適切な画像のみがフォトモザイク画像生成部３０に供給されることになる。

ステップＳ２０３の処理は、図６のステップＳ２２と同様なので詳細な説明は省略する。

次に、図２９のフローチャートを参照して、図２８のステップＳ２０２の画像選定処理の詳細な例について説明する。

ステップＳ２１１において、画像選定部２００は、画像データベース５１に記憶されている画像を取得する。

ステップＳ２１２において、ノイズ除去部２１４は、例えば、ノイズが含まれる画像であることを表すフラグが設定された画像を検出し、その画像からノイズ成分を除去するフィルタ処理を施す。

ステップＳ２１３において、ぼけ除去部２１４は、ぼけた画像であることを表すフラグが設定された画像を検出し、その画像に対して、ぼけを除去するフィルタ処理を施す。

ステップＳ２１４において、フレーム除去部２１６は、フレームが付された画像であることを表すフラグが設定された画像を検出し、フレーム（帯状のオブジェクト）の画素の値を、例えば、フレームに隣接する画素の値に置き換えることにより、フレームを除去する。

ステップＳ２１５において、素材画像選別部２１７は、ステップＳ２１２乃至Ｓ２１４の処理を経て得られた画像を、画像提示部２１８に出力する。このとき、画像提示部２１８は、素材画像選別部２１７から供給された画像をディスプレイに出力することでユーザに提示し、ユーザの評価を受け付ける。例えば、素材画像として適切または不適切を表す評価をユーザから受け付ける。

ユーザは、画像を観察し、例えば、ノイズなどを除去する補正を施してもアーティファクトが残っている画像など、視覚を通じて違和感を覚えた画像は、不適切と評価することができる。一方、補正によりノイズなどが適正に除去されている画像は、適切と評価することができる。ユーザの評価の結果は、例えば、画像にフラグとして付加される。

ステップＳ２１６において、素材画像選別部２１７は、ステップＳ２１５の処理でユーザに提示された画像は、素材画像として適切な画像であるか否かを判定する。

ステップＳ２１６において、素材画像として適切な画像であると判定された場合、処理は、ステップＳ２１７に進む。

ステップＳ２１７において、画像選定部２００は、当該画像をフォトモザイク画像生成部３０に供給する。

一方、ステップＳ２１６において、素材画像として適切な画像ではないと判定された場合、ステップＳ２１７の処理はスキップされる。

すなわち、画像提示部２１８に出力した画像のうち、不適切と評価された画像は、フォトモザイク画像生成部３０に供給される画像から除外され、適切と評価された画像のみがフォトモザイク画像生成部３０に供給されるのである。

あるいはまた、ステップＳ２１６において、素材画像選別部２１７は、ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像であることを表すフラグなどが設定された画像の全てを、素材画像として適切な画像ではないと判定と判定するようにしてもよい。

このようにする場合、ステップＳ２１２乃至ステップＳ２１５の処理は実行されないようにしてもよい。

このようにして画像選定処理が実行される。

以上においては、フォトモザイク画像生成装置１０が、制作目標画像処理部２０、フォトモザイク画像生成部３０、および画像選定部２００により構成される例について説明したが、他の構成としても構わない。

例えば、画像選定部２００の機能を実現する装置が、従来のフォトモザイク画像生成装置に接続されるようにしても構わない。

上述したように、画像選定部２００によりノイズが含まれる画像、ぼけた画像、およびフレームが付された画像をモザイクのタイルとして採用しないようにすることができる。従って、画像選定部２００を単体で使用した場合でも、例えば、特別なスキルなどを必要とせずに、美しいフォトモザイクを生成することができるという効果が期待できる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図３０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図３０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０フォトモザイク画像生成装置，２０制作目標画像処理部，２１特徴領域検出部，２２倍率決定部，２３画像生成部，２４特徴領域データベース，３０フォトモザイク画像生成部，３１ブロック分割部，３２代表値決定部，３３クラスセンタ値算出部，３４制作目標画像クラス分類部，３５置換画像決定部，３６画像置換部，３７画像データベースクラス分類部，３８蓄積メモリ，１１０指定画像挿入部，１１４領域指定部，１１５指定画像挿入ブロック決定部，１１６画像置換部，１１７制作目標画像格納メモリ，１１８フォトモザイク画像格納メモリ，１２４適正度算出部，１２５重みづけ部，２００画像選定部，２１２ノイズ除去部，２１４ぼけ除去部，２１６フレーム除去部，２１７素材画像選別部，２１８画像提示部

Claims

入力画像を予め定められた形状の所定の画素数のブロックに分割する分割手段と、
予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出する適正度算出手段と、
前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定する挿入ブロック決定手段と、
前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入する指定画像挿入手段と
を備える画像処理装置。
前記入力画像の中で前記指定画像を挿入すべき領域の指定を受け付ける領域指定手段をさらに備え、
前記適正度算出手段は、前記指定画像と、前記分割された各ブロックの画像のうち、前記指定が受け付けられた領域に対応するブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を算出する
請求項１に記載の画像処理装置。
前記ブロックと、前記入力画像の中の予め設定された位置のブロックとの距離に応じて設定される重みづけテーブルを用いて、前記ブロック毎に算出された適正度に重みづけをする重みづけ手段をさらに備える
請求項１に記載の画像処理装置。
前記指定画像挿入手段は、複数の前記指定画像のそれぞれを、複数の前記ブロックに挿入し、
挿入ブロック決定手段は、
所定の指定画像を挿入すべき前記ブロックに、挿入済であることを表すフラグを設定し、
他の指定画像を挿入すべきブロックは、前記フラグが設定されたブロックの周囲の所定の範囲内に位置するブロック以外のブロックの中から決定する
請求項１に記載の画像処理装置。
前記入力画像の各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、
前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、
前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定するフォトモザイク画像生成手段をさらに備える
請求項１に記載の画像処理装置。
複数の前記素材画像のうち、前記ブロックに貼り付ける素材画像の対象となる画像を選定する選定手段をさらに備える
請求項５に記載の画像処理装置。
前記選定手段は、ユーザが視覚を通じて違和感を覚える画像として予め選択された画像を、前記素材画像から除外することで、前記ブロックに貼り付ける素材画像の対象となる画像を選定する
請求項６に記載の画像処理装置。
前記選定手段は、
ノイズが含まれる画像、ぼけた画像、またはフレームが付された画像を補正する補正手段と、
前記補正手段により補正された画像を前記ユーザに提示する提示手段とを有し、
前記提示手段に提示された画像のうち、前記ユーザが視覚を通じて違和感を覚える画像として選択した画像を、前記素材画像から除外することで、前記ブロックに貼り付ける素材画像の対象となる画像を選定する
請求項６に記載の画像処理装置。
分割手段が、入力画像を予め定められた形状の所定の画素数のブロックに分割し、
適正度算出手段が、予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出し、
挿入ブロック決定手段が、前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定し、
指定画像挿入手段が、前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入するステップ
を含む画像処理方法。
コンピュータを、
入力画像を予め定められた形状の所定の画素数のブロックに分割する分割手段と、
予め指定された指定画像と、前記分割された各ブロックの画像とを予め決められた基準で照合することにより前記指定画像の適正度を前記ブロック毎に算出する適正度算出手段と、
前記算出された適正度に基づいて、前記指定画像を挿入すべきブロックを決定する挿入ブロック決定手段と、
前記決定されたブロックの画像を前記指定画像に置換することにより前記指定画像を挿入する指定画像挿入手段とを備える画像処理装置として機能させる
プログラム。