JP2011055398A - 撮像装置および方法、画像処理装置および方法、並びにプログラム - Google Patents

撮像装置および方法、画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2011055398A
JP2011055398A JP2009204424A JP2009204424A JP2011055398A JP 2011055398 A JP2011055398 A JP 2011055398A JP 2009204424 A JP2009204424 A JP 2009204424A JP 2009204424 A JP2009204424 A JP 2009204424A JP 2011055398 A JP2011055398 A JP 2011055398A
Authority
JP
Japan
Prior art keywords
image
class
block
request data
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009204424A
Other languages
English (en)
Inventor
Akira Tokunaga
陽 徳永
Atsushi Murayama
淳 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009204424A priority Critical patent/JP2011055398A/ja
Priority to US12/845,239 priority patent/US20110058057A1/en
Publication of JP2011055398A publication Critical patent/JP2011055398A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする。
【解決手段】フォトモザイク画像生成部３０は、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行い、画像データベース５１に蓄積されている画像を同様の方式によりクラス分類し、各ブロックに相応しい画像を選択する。画像要求処理部７０は、制作目標画像の各ブロックのクラス分類結果、および画像データベース５１に蓄積されている画像のクラス分類結果に基づいて、撮像装置１００に対する画像の取得要求のためのリクエストデータを送信する。撮像装置１００は、リクエストデータに基づいて、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置１０に送信する。
【選択図】図１

Description

本発明は、撮像装置および方法、画像処理装置および方法、並びにプログラムに関し、特に、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする撮像装置および方法、画像処理装置および方法、並びにプログラムに関する。
近年、デジタルカメラの普及などに伴い、多くの画像を簡単に撮影することが可能になってきている。
フォトモザイクは、多数の写真をモザイクのように組み合わせて作成した画像であり、従来は、例えば、映画の宣伝用のポスター、企業のロゴなどを用いた商用のものとして作成されることが多かった。フォトモザイクの作成には、多数の画像を用意し、モザイクのタイルとして使用する画像を適切に選択するなど高度な技術が求められる。
しかし、上述のようにデジタルカメラが普及したことや、情報技術の発展に伴い、一般のユーザでも、フォトモザイク画像を作成することが可能となってきた。
上述したように、フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのタイルとして組み合わせて１枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、１枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が１枚1枚見えるように生成される。
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
このため、高品質なフォトモザイク画像を生成するためには、モザイクのタイルとして用いることができる写真などの画像が数多く必要であり、このような画像を数多く記憶する画像データベースなどを構築することが求められる。
たとえば、予め用意されたタイル画像から部分画像を切り出すことにより複数のタイル画像を派生させ、モザイクのタイルとして用いる画像の数を増加させることを可能とし、フォトモザイク画像の品質を向上させる技術も提案されている（例えば、特許文献１参照）。
特開平１１−３４５３１１号公報
しかしながら、特許文献１の技術では、既に存在している画像から派生した画像が増えるだけなので、本来制作目標画像に用いるのに相応しい画像を増やすことが保証されていない。すなわち、フォトモザイク画像において制作目標画像のテクスチャを表現できるようにするためには、制作目標画像の各ブロックに貼り付けるのに相応しい画像を用意しておく必要がある。
また、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。
しかしながら、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
本発明はこのような状況に鑑みてなされたものであり、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにするものである。
本発明の第１の側面は、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置である。
前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類するようにすることができる。
前記判定手段は、前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備えるようにすることができる。
前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備えるようにすることができる。
本発明の第１の側面は、リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、提示手段が、前記判定結果をユーザに提示し、保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップを含む撮像方法である。
本発明の第１の側面は、コンピュータを、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させるプログラムである。
本発明の第１の側面においては、画像処理装置から出力されるリクエストデータが取得され、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かが判定され、前記判定結果がユーザに提示され、前記ユーザにより指令されたタイミングで前記入力画像が保存される。
本発明の第２の側面は、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置である。
前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段とをさらに備えるようにすることができる。
前記素材画像決定手段は、前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行うようにすることができる。
前記ブロック画像クラス分類手段は、前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、前記素材画像クラス分類手段は、前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類するようにすることができる。
本発明の第２の側面は、分割手段が、入力画像を、複数のブロックに分割し、ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップを含む画像処理方法である。
本発明の第２の側面は、コンピュータを、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させるプログラムである。
本発明の第２の側面においては、入力画像が、複数のブロックに分割され、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれが、予め設定された複数のクラスに分類され、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像が前記複数のクラスに分類され、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とが比較され、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数が特定され、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータが生成され、前記生成されたリクエストデータが、撮像装置に送出される。
本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができる。
本発明の一実施の形態に係るフォトモザイク画像生成システムの構成例を示すブロック図である。 図１のフォトモザイク画像生成部の詳細な構成例を示すブロック図である。 Ｎ近傍の制約を説明する図である。 図１の画像要求処理部の詳細な構成例を示すブロック図である。 画像生成処理の例を説明するフローチャートである。 制作目標画像の例を示す図である。 制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。 クラス分類処理の例を説明するフローチャートである。 図７に示されるブロックのそれぞれがクラス分類された例を示す画像である。 置換画像決定処理の例を説明するフローチャートである。 フォトモザイク画像の例を示す図である。 素材画像要求処理の例を説明するフローチャートである。 要求生成処理の例を説明するフローチャートである。 図１の撮像装置の詳細な構成例を示すブロック図である。 画像取得処理の例を説明するフローチャートである。 図１の撮像装置の別の詳細な構成例を示すブロック図である。 画像取得処理の別の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係るフォトモザイク画像生成システムの構成例を示すブロック図である。
フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのように組み合わせて１枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、１枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が１枚1枚見えるように生成される。
同図に示されるように、フォトモザイク生成システムは、フォトモザイク画像生成装置１０、および撮像装置１００により構成されている。
フォトモザイク画像生成装置１０のフォトモザイク画像生成部３０は、入力された制作目標画像をブロックに分割する。ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。
そして、フォトモザイク画像生成部３０は、それらのブロックに相応しい画像を選択して張り付けるようになされている。
フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択する。あるいはまた、フォトモザイク画像生成部３０は、例えば、ネットワークなどにより接続されたサーバに蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択するようにしてもよい。
すなわち、画像データベース５１に蓄積されている画像などの画像は、モザイクのタイルとして利用するための画像であって、いわば、フォトモザイク画像の素材となる画像である。
フォトモザイク画像生成部３０は、後述するように、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行うようになされている。これにより、制作目標画像の各ブロックが、例えば、５つのクラスに分類される。また、フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像を同様の方式により、例えば、５つのクラスに分類する。
そして、フォトモザイク画像生成部３０は、制作目標画像の各ブロックの画像と、そのブロックのクラスに分類された画像データベース５１の画像との照合を行なって、画像データベース５１に蓄積された画像の中から１枚の画像を選択するようになされている。
フォトモザイク画像生成部３０は、上述のように選択された画像をモザイクのタイルとして制作目標画像の各ブロックに貼り付ける。これにより、出力画像としてフォトモザイク画像が出力されるようになされている。
画像要求処理部７０は、フォトモザイク画像生成部３０による制作目標画像の各ブロックのクラス分類結果、および画像データベース５１に蓄積されている画像のクラス分類結果に基づいて、撮像装置１００に対する画像の取得要求のための情報を生成する。
画像要求処理部７０は、例えば、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とを比較する。そして、画像要求処理部７０は、画像データベース５１の画像において不足しているクラスを特定する。さらに、画像要求処理部７０は、不足しているクラスの画像を取得するために必要となる情報を、リクエストデータとして生成し、例えば、無線通信などを行うことで、撮像装置１００に送信する。
なお、画像処理部７０による撮像装置１００との通信は、有線通信、メモリカードなどを介して行われるようにしてもよい。
撮像装置１００は、例えば、デジタルカメラなどとして構成される。撮像装置１００は、フォトモザイク画像生成装置１０から送信されたリクエストデータに基づいて、画像を撮像して保存し、例えば、無線通信などにより、保存した画像をフォトモザイク画像生成装置１０に送信するようになされている。
撮像装置１００は、例えば、上述した不足しているクラスの画像を撮像できるようになされている。すなわち、撮像装置１００は、レンズなどを介して集光された光により構成される画像を、予めクラス分類するなどし、その画像が不足しているクラスの画像であるか否かを判定することができるようになされている。そして撮像装置１００は、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置１０に送信する。送信された画像は、フォトモザイク画像生成装置１０の画像データベース５１に記憶されるようになされている。
図２は、図１のフォトモザイク画像生成部３０の詳細な構成例を示すブロック図である。
同図に示されるように、フォトモザイク画像生成部３０は、ブロック分割部３１、代表値決定部３２、クラスセンタ値算出部３３、および制作目標画像クラス分類部３４を含む構成とされている。また、フォトモザイク画像生成部３０はさらに、置換画像決定部３５、画像置換部３６、画像データベースクラス分類部３７、および蓄積メモリ３８を含む構成とされている。
ブロック分割部３１は、制作目標画像をブロックに分割する。ここで、ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。
ブロック分割部３１は制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割するようになされている。
代表値決定部３２は、ブロック分割部３１により分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。後述する制作目標画像クラス分類部３４、および画像データベースクラス分類部３７では、クラスセンタ値算出部３３により算出されたセンタ値に基づくクラス分類が行われるようになされている。
制作目標画像クラス分類部３４、および画像データベースクラス分類部３７で５つのクラスに分類される場合、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれ５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。
クラスセンタ値算出部３３は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のＲＧＢ成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部３３は、最も距離の近いクラスにそのブロックを分類する。
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部３３は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部３３は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として、制作目標画像クラス分類部３４、および画像データベースクラス分類部３７に供給するようになされている。
また、クラスセンタ値算出部３３により算出された各クラスのセンタ値は、画像要求処理部７０にも供給されるようになされている。
センタ値は、例えば、クラス毎にＲＧＢ成分のそれぞれの値として算出される。例えば、クラス１、クラス２、クラス３、・・・に分類される場合、クラス１のセンタ値は、(235.9444, 147.9211, 71.6848)とされ、クラス２のセンタ値は、(177.6508, 115.0474, 61.7452)とされ、クラス３のセンタ値は、(76.7123, 63.5517, 42.3792)とされ、・・・のように算出される。上述のセンタ値における３つの要素が、それぞれ、Ｒ成分、Ｇ成分、Ｂ成分の値を表している。
なお、上述したセンタ値の算出の方式は、一例であり、他の方式により各クラスのセンタ値が求められるようにしても構わない。
制作目標画像クラス分類部３４は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、ブロック分割部３１により分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
制作目標画像クラス分類部３４による各ブロックの画像のクラス分類の結果は、置換画像決定部３５、および画像要求処理部７０に供給されるようになされている。
画像データベースクラス分類部３７は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類するようになされている。
画像データベースクラス分類部３７による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることにより行なわれる。ただし、画像データベースクラス分類部３７による分類では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
このように、画像データベースクラス分類部３７は、例えば、一度分類された画像の数をクラス毎にチェックし、所定のクラスに分類された画像の数が基準値に満たないと判定された場合は、閾値を変更して再度クラス分類を行うようにしてもよい。
なお、このように閾値を変更した結果、同一の画像が複数のクラスに属するように分類されてしまっても構わない。
画像データベースクラス分類部３７によりクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。
また、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類の結果は、画像要求処理部７０にも供給されるようになされている。
なお、画像データベース５１に記憶されている画像から、ブレやボケを除去するフィルタ処理がさらに施されて、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようにしてもよい。
このようにすることで、出来上がったフォトモザイク画像をさらに美しいものとすることができる。
置換画像決定部３５は、制作目標画像クラス分類部３４によりクラス分類されたブロックの画像と、蓄積メモリ３８に記憶されている画像であって、そのブロックのクラスの画像群とを、例えば、次に示されるような式を用いた計算により照合する処理を実行するようになされている。
画像を照合する処理では、例えば、まず式（１）の演算を行って、Δｃの算出が行なわれる。
Figure 2011055398
 ・・・（１）
ここで、ΔＲ、ΔＧ、およびΔＢは、それぞれブロックの画像の所定の１つの画素と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲＧＢ成分の値の差分を表している。また、Ｃ1RとＣ2Rは、それぞれブロックの画像の所定の１つの画素のＲ成分の値と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲ成分の値を表している。
なお、式（１）によりΔｃの算出は、例えば、ブロックの画像を構成する画素の全てについて行なわれる。例えば、ブロック内の座標位置xyで表される画素のそれぞれについてΔｃが算出される。
そして、画像を照合する処理では、式（２）の演算が行われてＣの算出が行なわれる。すなわち、式（１）により算出されたΔｃがブロック内の全画素分合計される。
Figure 2011055398
 ・・・（２）
式（２）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶され、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。すなわち、Ｃの値は、その画像が当該ブロックに貼り付ける画像としてどれだけ相応しいか（適正度）を表す値となり、Ｃの値が小さいほど適正な画像であるといえる。
なお、式（１）と式（２）の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
また、上述した画像を照合する処理は一例であり、他の方式により画像の照合が行なわれるようにしてもよい。要は、代表値によりクラス分類された画像データベースの画像の中で、制作目標画像の各ブロックのテクスチャを表現するのに相応しい画像が当該ブロックに貼り付ける（置換する）画像として決定されるようにすればよい。
置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定するようになされている。置換画像決定部３５は、このように決定された画像を、画像置換部３６に供給する。
画像置換部３６は、置換画像決定部３５から供給された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像が置換画像決定部３５から供給された画像と置換されることによりモザイク画像が生成されるのである。
なお、置換画像決定部３５は、例えば、蓄積メモリ３８に記憶されている画像に所定のフラグを設定することにより、同じ画像が重複して使用されないように置換画像を決定するようになされている。例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
あるいはまた、置換画像決定部３５が、フラグが設定された画像を全く使用しないのではなく、Ｎ近傍でのみ使用しないという制約を設けるようにしてもよい。ここでＮ近傍とは、１つのブロックに隣接するＮ個のブロックを意味している。Ｎの値としては、例えば、８、２４などが想定される。
例えば、Ｎの値が８である場合、Ｎ近傍の制約は、例えば、図３に示されるようになる。図３において、各矩形が制作目標画像の各ブロックを表している。例えば、図３に示されるように、図中中央の黒い矩形で示されるブロックに使用された画像は、図中ハッチングで示される８個のブロックには使用されないようになされている。すなわち、Ｎ近傍の制約がある場合、置換画像決定部３５が、図中ハッチングで示される８個のブロックに貼り付ける画像を、黒い矩形で示されるブロックに使用された画像以外の画像の中から決定することになる。
このようにすることで、例えば、モザイクのタイルとして使用できる画像の数が限られていても美しいモザイク画像を生成することが可能となる。
従来は、例えば、ブロックに貼り付ける画像データベースの画像を決定するにあたり代表値のみを使用しているため、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現できないことが多かった。また、制作目標画像のテクスチャを表現できるように、ブロックの画像と画像データベースの画像と照合する場合、制作目標画像の各ブロックについて、画像データベースの全画像との照合を行わなければならないので、演算量が多く処理に時間がかかっていた。
これに対して、本発明では、制作目標画像の各ブロックをクラス分類し、同じセンタ値を用いて画像データベースの画像をクラス分類し、同一のクラスの画像のみ照合するようにした。これにより、本発明では、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現でき、かつ演算量を削減し処理時間を短縮できるようになった。
図４は、図１の画像要求処理部７０の詳細な構成例を示すブロック図である。
同図に示されるように、画像要求処理部７０は、画像データベースカウンタ７１、制作目標画像カウンタ７２、比較部７３、および、要求生成部７４により構成されている。
画像データベースカウンタ７１は、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類の結果に基づいて、各クラスに分類された画像の数をカウントするようになされている。
制作目標画像カウンタ７２は、制作目標画像クラス分類部３４による各ブロックの画像のクラス分類の結果に基づいて、各クラスに分類されたブロックの数をカウントするようになされている。
比較部７３は、制作目標画像カウンタ７２によりカウントされたブロックの数と、画像データベースカウンタ７１によりカウントされた画像の数とを比較する。すなわち、比較部７３は、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とを比較する。そして、比較部７３は、画像データベース５１の画像において不足しているクラスを特定する。
比較部７３は、例えば、上述の比較の結果、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報を要求生成部７４に供給する。
要求生成部７４は、比較部７３から供給された情報と、クラスセンタ値算出部３３により算出された各クラスのセンタ値に基づいてリクエストデータを生成するようになされている。すなわち、要求生成部７４は、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値とを含むリクエストデータを生成する。なお、画像データベースクラス分類部３７による分類に用いられる閾値も、リクエストデータに含まれるようにしてもよい。
要求生成部７４により生成されたリクエストデータが、上述したように、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置１００に送信されることになる。
このように、画像要求処理部７０は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置１００に送信することができる。これにより、撮像装置１００は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を撮像して取得することができる。
従来、例えば、画像データベースの画像が充分に用意されていない場合、多くの重複が発生し、生成されたフォトモザイク画像の品質が劣化するという問題があった。
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
本発明では、例えば、所定のクラスに分類された画像の数が少ない場合などは、撮像装置１００に対して、そのクラスの画像の取得を要求することができる。
次に、図５のフローチャートを参照して、図１のフォトモザイク画像生成部３０による画像生成処理の詳細な例について説明する。
ステップＳ６１において、フォトモザイク画像生成部３０のブロック分割部３１は、制作目標画像をブロックに分割する。このとき、ブロック分割部３１は、制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割する。
ステップＳ６２において、代表値決定部６２は、ステップＳ６１の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
図６と図７は、ブロック分割および代表値の決定を説明する図である。
例えば、図６に示されるような画像が制作目標画像として入力された場合、ステップＳ６１の処理では、同図に示される画像が水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割される。いまの場合、人物の顔の画像である図６に示されるような画像が制作目標画像とされている。
そして、ステップＳ６２の処理では、各ブロックの代表値が決定される。図７は、ブロックを分かり易くするために、制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。同図に示されるように、図７に示される人物の顔の画像が矩形のブロックに分割されている。
図５に戻って、ステップＳ６３において、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、クラス分類処理を実行する。このとき、クラスセンタ値算出部３３、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、ステップＳ６２の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース５１の画像をそれぞれクラス分類する。
ここで、図８のフローチャートを参照して、図５のステップＳ６３のクラス分類処理の詳細な例について説明する。
ステップＳ８１において、クラスセンタ値算出部３３は、クラスを設定する。このとき、例えば、５つのクラスが設定される。
ステップＳ８２において、クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。
このとき、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれステップＳ８１の処理で設定された５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。
クラスセンタ値算出部３３は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のＲＧＢ成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部３３は、最も距離の近いクラスにそのブロックを分類する。
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部３３は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部３３は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として特定する。
ステップＳ８２の処理では、例えば、このようにして各クラスのセンタ値が特定される。
ステップＳ８３において、制作目標画像クラス分類部３４は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、ステップＳ６１の処理で分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
これにより、例えば、図７に示されるように、ブロックに分割された画像の各ブロックが、図９に示されるようにクラス分類される。図９は、図７に示されるブロックのそれぞれがステップＳ８３の処理を経てクラス分類された例を示す画像である。
同図においては、各ブロックのクラスを、図中のハッチングのパターンにより表現している。同図の例では、制作目標画像の各ブロックがクラス１乃至クラス５の５つのクラスに分類されている。
ステップＳ８４において、画像データベースクラス分類部３７は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類する。
このとき、画像データベースクラス分類部３７は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることによりクラス分類する。ただし、ステップＳ８４の処理では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
なお、上述したように、画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
ステップＳ８４の処理でクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。
このようにしてクラス分類処理が実行される。
図５に戻って、ステップＳ６３の処理の後、ステップＳ６４において、置換画像決定部３５は、置換画像決定処理を実行する。これにより、制作目標画像の各ブロックの画像が、画像データベース５１の画像に置き換えられて、フォトモザイク画像が生成されることになる。
ここで、図１０のフローチャートを参照して、図５のステップＳ６４の置換画像決定処理の詳細な例について説明する。
ステップＳ１０１において、置換画像決定部３５は、制作目標画像のブロックのうち、１つのブロックを抽出する。
ステップＳ１０２において、置換画像決定部３５は、ステップＳ１０１で抽出したブロックについて、ステップＳ６３の処理によりクラス分類されたクラスを特定する。
ステップＳ１０３において、置換画像決定部３５は、当該ブロックの画像と、画像データベース５１から読み出され、蓄積メモリ３８に記憶されている画像であって、ステップＳ１０２の処理で特定されたクラスの画像群とを照合する。
このとき、例えば、次のような計算により照合する処理が実行される。
例えば、上述したように、式（１）の演算を行って、Δｃの算出が行なわれ、式（２）の演算が行われてＣの算出が行なわれる。すなわち、式（１）により算出されたΔｃがブロック内の全画素分合計される。
なお、式（１）と式（２）の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
そして、このような照合がステップＳ１０２の処理で特定されたクラスの画像のそれぞれについて行われ、式（２）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶される。
ステップＳ１０４において、置換画像決定部３５は、ステップＳ１０３の処理結果に基づいて、当該ブロックに貼り付ける画像を選択する。
このとき、例えば、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。そして、置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定する。
ステップＳ１０５において、置換画像決定部３５は、ステップＳ１０４の処理で選択された画像にフラグを設定する。これにより、以後のステップＳ１０３の処理では、フラグが設定された画像は除外されて、照合が行なわれるようになる。
例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
ステップＳ１０６において、置換画像決定部３５は、次のブロックがあるか否かを判定する。すなわち、まだ置換画像の決定（選択）がなされていない制作目標画像のブロックがあるか否かを判定する。
ステップＳ１０６において、次のブロックがあると判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。
ステップＳ１０６において、次のブロックがないと判定された場合、置換画像決定処理は終了する。
なお、ここでは、フラグが設定されることにより、同じ画像が重複して使用されないように置換画像を決定する例について説明したが、図３を参照して上述したＮ近傍の制約により同じ画像が重複して使用されないようにしてもよい。
このようにして、置換画像決定処理が実行される。
図５に戻って、ステップＳ６４の処理の後、ステップＳ６５において、画像置換部３６は、ステップＳ１０４の処理で選択された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像がステップＳ１０４の処理で選択された画像と置換されることによりフォトモザイク画像が生成されるのである。
これにより、例えば、図１１に示されるようなフォトモザイク画像が生成される。図１１は、図６の制作目標画像に対応するフォトモザイク画像の例を示す図である。
すなわち、図６に示される制作目標画像が、図７に示されるようにブロックに分割され、図９に示されるようにクラス分類される。そして、各ブロックの画像と、分類されたクラスの画像との照合が行われて、各ブロックの画像が、画像データベース５１の画像に置き換えられる。このようにして、図６に示される制作目標画像から、図１１に示されるようなフォトモザイク画像が生成されるのである。
このようにして、画像生成処理が実行される。
なお、上述した画像生成処理は、フォトモザイク画像を生成するために必要となる画像が、画像データベース５１に既に蓄積されていることを前提に実行される。画像データベース５１の画像において、フォトモザイク画像を生成するために必要となる画像が不足している場合、画像生成処理に先立って、後述する素材画像要求処理が実行されるようになされている。
次に、図１２のフローチャートを参照して、フォトモザイク画像生成装置１０による素材画像要求処理の例について説明する。
ステップＳ１２１において、フォトモザイク画像生成部３０のブロック分割部３１は、制作目標画像をブロックに分割する。このとき、ブロック分割部３１は、制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割する。
ステップＳ１２２において、代表値決定部６２は、ステップＳ１２１の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
ステップＳ１２３において、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、クラス分類処理を実行する。このとき、クラスセンタ値算出部３３、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、ステップＳ１２２の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース５１の画像をそれぞれクラス分類する。
ステップＳ１２３のクラス分類処理は、図５を参照して上述したステップＳ６３のクラス分類処理と同様の処理なので詳細な説明は省略する。
ステップＳ１２４において、画像要求処理部７０は、図１３を参照して後述する要求生成処理を実行する。これにより、上述したリクエストデータが生成されて、撮像装置１００に送信される。
ここで、図１３のフローチャートを参照して、図１２のステップＳ１２４の要求生成処理の詳細な例について説明する。
ステップＳ１４１において、画像データベースカウンタ７１は、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類（図８のステップＳ８４の処理）の結果に基づいて、各クラスに分類された画像の数をカウントする。
ステップＳ１４２において、制作目標画像カウンタ７２は、制作目標画像クラス分類部３４による各ブロックの画像のクラス分類（図８のステップＳ８３の処理）の結果に基づいて、各クラスに分類されたブロックの数をカウントする。
ステップＳ１４３において、比較部７３は、ステップＳ１４２の処理でカウントされたブロックの数と、ステップＳ１４１の処理でカウントされた画像の数とを比較する。すなわち、ステップＳ１４３の処理では、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とが比較される。
ステップＳ１４４において、比較部７３は、ステップＳ１４３の比較の結果に基づいて、取得すべき画像の数をクラス毎に特定する。すなわち、比較部７３は、画像データベース５１の画像において不足しているクラスを特定し、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報を生成する。この情報は、要求生成部７４に供給される。
ステップＳ１４５において、要求生成部７４は、クラスセンタ値算出部３３により算出された（図８のステップＳ８２の処理）各クラスのセンタ値、および画像データベースクラス分類部３７による分類（ステップＳ８４の処理）に用いられた閾値を特定する。
ステップＳ１４６において、要求生成部７４は、ステップＳ１４４の処理により得られた情報と、ステップＳ１４５の処理により得られたセンタ値および閾値に基づいてリクエストデータを生成する。すなわち、ステップＳ１４６の処理では、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値（および閾値）とを含むリクエストデータが生成される。
なお、例えば、実際に不足している画像の枚数に対して所定の割合だけ増加させた枚数がリクエストデータにより送信されるようにしてもよい。このようにすることで、制作目標画像の各ブロックにより適した画像を収集することができると考えられるからである。
ステップＳ１４７において、ステップＳ１４６で生成されたリクエストデータが、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置１００に送信される。
このようにして、要求生成処理が実行される。
このようすることで、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置１００に送信することができる。これにより、撮像装置１００は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を撮像して取得することができる。
次に、撮像装置１００について説明する。図１４は、図１の撮像装置１００の詳細な構成例を示すブロック図である。
同図に示されるように、撮像装置１００は、画像取得部１２１、判定部１２２、判定結果出力部１２３、保存部１２４、画像取得スイッチ１２５、画像保存用メモリ１２６、保存画像送出部１２７、要求取得部１２８、および要求メモリ１２９を含む構成とされる。
要求取得部１２８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得するようになされている。要求取得部１２８は、例えば、無線通信、有線通信などによりフォトモザイク画像生成装置１０との間で情報の送受信を行う通信インタフェースとして構成される。あるいはまた、要求取得部１２８は、リクエストデータが記録されたメモリカードなどが装着されるドライブとして構成されるようにしてもよい。
要求メモリ１２９は、要求取得部１２８により取得されたリクエストデータを保持するようになされている。
画像取得部１２１は、例えば、ＣＣＤなどを用いた撮像素子などを含む構成とされ、図示せぬレンズを介して集光された光に対応する画像のデータを生成するようになされている。
判定部１２２は、要求メモリ１２９に保持されているリクエストデータの内容に基づいて、画像取得部１２１により取得された画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定する。
判定部１２２は、例えば、画像取得部１２１から動画像のデータとして供給されるデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１２２は、例えば、画像データベースクラス分類部３７と同様に、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１２２は、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１２２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
ここでは、判定部１２２による判定が、その画像は、不足しているクラスの画像に対応する画像であるか否かのみを判定するものである場合の例について説明したが、それ以外の条件について判定されるようにしてもよい。
例えば、判定部１２２は、既に撮像して保存した画像（画像保存用メモリ１２６の画像）と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部１２２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
例えば、フォトモザイク画像において、似たような画像が隣り合うブロックに貼り付けられている場合、同じ画像が重複して使用された場合と同様な視覚的効果を奏する場合がある。似たような画像ばかりが保存されてしまうことを抑止するために、例えば、画像保存用メモリ１２６の画像と、画像取得部１２１から得られた画像との類似度を算出し、類似度が閾値以下の画像のみがフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。なお、画像の類似度は、例えば、ブロックマッチング法などにより求められる値を用いることができる。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。
判定結果出力部１２３は、判定部１２２により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報がユーザに提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置１００の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
このとき、例えば、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置１０により要求されているものにどれだけ近い画像であるかを認識することができる。
画像取得部１２１から得られた画像のデータは、判定部１２２、判定結果出力部１２３を経て保存部１２４に供給される。
保存部１２４は、画像取得スイッチ１２５により指定されたタイミングで画像のデータを保存するようになされている。画像取得スイッチ１２５は、例えば、撮像装置１００のシャッタなどとして構成され、シャッタが押下されたとき、画像（静止画像）のデータが画像保存用メモリ１２６に保存されるのである。
ユーザは、例えば、上述した判定結果出力部１２３により提示された情報に基づいて画像取得スイッチ１２５を操作する。このようにして保存部１２４に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１２６に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、保存部１２４から出力される情報に基づいて、要求メモリ１２９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
なお、上述した判定結果出力部１２３により提示される情報は、不足している画像の枚数に応じて変化するようにしてもよい。このようにすることで、ユーザは、あとどれくらい画像を撮像する必要があるのかを認識することができる。
保存画像送出部１２７は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。画像の送出は、例えば、有線または無線の通信により行われるようにしてもよいし、メモリカードなどを介して行なわれるようにしてもよい。
このようにして送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
撮像装置１００は、このように構成されるので、フォトモザイク画像において制作目標画像のテクスチャを表現でき、制作目標画像の各ブロックに貼り付けるのに相応しい画像を適切に撮像することができる。
フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従来、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
これに対して、本発明では、撮像装置１００において、現在撮像されている画像が、フォトモザイク画像生成装置１０により要求されているものであるか否が判定され、判定結果が提示される。従って、本発明によれば、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。
その結果、本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
次に、図１５のフローチャートを参照して、撮像装置１００による画像取得処理について説明する。
ステップＳ２０１において、要求取得部１２８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得する。要求取得部１２８により取得されたリクエストデータは、要求メモリ１２９に保持される。
ステップＳ２０２において、画像取得部１２１は、画像を取得する。このとき、例えば、ＣＣＤなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
ステップＳ２０３において、判定部１２２は、ステップＳ２０１の処理で取得されたリクエストデータの内容に基づいて、ステップＳ２０２の処理で取得された画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定する。
このとき、判定部１２２は、例えば、ステップＳ２０１で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１２２は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１２２は、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１２２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
なお、例えば、判定部１２２は、既に撮像して保存した画像と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部１２２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。
ステップＳ２０４において、判定結果出力部１２３は、ステップＳ２０３の処理により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報が提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置１００の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
このとき、例えば、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置１０により要求されているものにどれだけ近い画像であるかを認識することができる。
ステップＳ２０５において、保存部１２４は、画像取得スイッチ１２５（シャッタ）が押されたか否かを判定し、押されていないと判定された場合、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返し実行される。ステップＳ２０５において、画像取得スイッチ１２５（シャッタ）が押されたと判定された場合、処理は、ステップＳ２０６に進む。
ステップＳ２０６において、保存部１２４は、画像のデータを保存する。ユーザは、例えば、ステップＳ２０４の処理で提示された情報に基づいて画像取得スイッチ１２５を操作する。シャッタが押下されたとき、画像（静止画像）のデータが保存部１２４に保存されるのである。保存部１２４に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１２６に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、保存部１２４から出力される情報に基づいて、要求メモリ１２９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
ステップＳ２０７において、保存画像送出部１２７は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
ステップＳ２０７の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
なお、ステップＳ２０７の処理により送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
このようにして、画像取得処理が実行される。このようにすることで、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。その結果、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
図１４と図１５を参照して上述した例においては、ユーザが、判定結果出力部１２３により提示された情報に基づいて画像取得スイッチ１２５を操作し、そのタイミングで画像が保存される例について説明した。
このようにすることで、例えば、スピーカから出力される音の高低などの変化に応じて、ユーザは適切なアングルを探して画像を撮像することができるので、例えば、適切なアングルを探す過程をゲーム感覚で楽しむことができる。
また、このようにすることで、例えば、ユーザは、撮像装置１００（カメラ）で写真を撮る都度、フォトモザイク画像のタイルとして用いる画像として相応しい画像の特徴を覚えていくことができる。フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従って、例えば、一見すると赤や青などの色の画像とは見えない画像であっても、離れて観察した場合、赤や青などの色の画像として見える画像がフォトモザイク画像のタイルとして用いる画像として相応しい画像と言える。
図１４と図１５を参照して上述した例においては、ユーザがこのような色感覚を身に付けることができるのである。
一方で、現在撮像されている画像がフォトモザイク画像生成装置１０により要求されているものである場合、撮像装置１００が自動的に保存してしまうようにすることも可能である。
図１６は、図１の撮像装置１００の別の詳細な構成例を示すブロック図である。
同図において、画像取得部１３１、判定部１３２は、それぞれ図１４の画像取得部１２１、判定部１２２と同様のものなので詳細な説明は省略する。また、図１６の画像保存用メモリ１３６乃至要求メモリ１３９は、それぞれ図１４の画像保存用メモリ１２６乃至要求メモリ１２９と同様のものなので詳細な説明は省略する。
図１６の例では、図１４の場合と異なり、判定結果出力部１２３乃至画像取得スイッチ１２５が設けられていない。また、図１６の例では、図１４の場合と異なり、自動保存部１３３が設けられている。
自動保存部１３３は、判定部１３２により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであると判定された場合、当該画像を自動的に保存するようになされている。
すなわち、図１６の例では、現在撮像されている画像がフォトモザイク画像生成装置１０により要求されているものである場合、撮像装置１００が自動的に保存してしまうのである。このようにすることで、例えば、ユーザは、撮像装置１００のレンズをいろいろな被写体に向けるだけで、自動的にフォトモザイク画像生成装置１０により要求されている画像が取得されるようにすることができる。
次に、図１７のフローチャートを参照して、図１の撮像装置１００が図１６のように構成される場合の画像取得処理について説明する。
ステップＳ２２１において、要求取得部１３８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得する。要求取得部１３８により取得されたリクエストデータは、要求メモリ１３９に保持される。
ステップＳ２２２において、画像取得部１３１は、画像を取得する。このとき、例えば、ＣＣＤなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
ステップＳ２２３において、判定部１３２は、ステップＳ２２１の処理で取得されたリクエストデータの内容に基づいて、ステップＳ２２２の処理で取得された画像を解析する。すなわち、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定するための解析が行われる。
このとき、判定部１３２は、例えば、ステップＳ２２１で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１３２は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１３２は、各クラスのセンタ値と画像取得部１３１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１３２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを解析する。
なお、例えば、判定部１３２は、既に撮像して保存した画像と類似する画像であるか否かをさらに解析するようにしてもよい。すなわち、判定部１３２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを解析するようにしてもよい。
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。
ステップＳ２２４において、自動保存部１３３は、ステップＳ２２３の処理により行なわれた解析結果に基づいて、ステップＳ２２２で取得した画像がフォトモザイク画像生成装置１０により要求されているものか否かを判定する。ステップＳ２２４において、フォトモザイク画像生成装置１０により要求されているものではないと判定された場合、処理は、ステップＳ２２２に戻り、それ以降の処理が繰り返し実行される。
ステップＳ２２４において、フォトモザイク画像生成装置１０により要求されているものであると判定された場合、処理は、ステップＳ２２５に進む。
ステップＳ２２５において、自動保存部１３３は、画像のデータを保存する。自動保存部１３３に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１３６に記憶されるようになされている。
なお、不足しているクラスの画像が保存された場合、自動保存部１３３から出力される情報に基づいて、要求メモリ１３９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
ステップＳ２２６において、保存画像送出部１３７は、画像保存用メモリ１３６に記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
ステップＳ２２６の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
なお、ステップＳ２２６の処理により送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
画像取得処理は、このように実行されるようにしてもよい。このようにすることで、例えば、図１５の例の場合と比較して、美しいフォトモザイクを生成するために必要となる画像をさらに簡単に収集することができる。
以上においては、撮像装置１００は、デジタルカメラなどにより構成されると説明したが、例えば、携帯電話など撮像部を含む電子機器により構成されるようにすることも勿論可能である。
また、制作目標画像、画像データベース５１に記憶される画像は、写真だけではなく、絵などをスキャナで取り込んで得られた画像やＣＧ（Computer Graphics）など、どのような画像であってもよい、
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図１８において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０ フォトモザイク画像生成装置， ３０ フォトモザイク画像生成部， ３１ ブロック分割部， ３２ 代表値決定部， ３３ クラスセンタ値算出部， ３４ 制作目標画像クラス分類部， ３５ 置換画像決定部， ３６ 画像置換部， ３７ 画像データベースクラス分類部， ３８ 蓄積メモリ， ５１ 画像データベース， ７０ 画像要求処理部， ７１ 画像データベースカウンタ， ７２ 制作目標画像カウンタ， ７３ 比較部， ７４ 要求生成部， １００ 撮像装置， １２１ 画像取得部， １２２ 判定部， １２３ 判定結果出力部， １２４ 保存部， １２５ 画像取得スイッチ， １２６ 画像保存用メモリ， １２７ 保存画像送出部， １２８ 要求取得部， １２９ 要求メモリ， １３３ 自動保存部

Claims (14)

  1. 画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
    前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
    前記判定結果をユーザに提示する提示手段と、
    前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段と
    を備える撮像装置。
  2. 前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、
    前記判定手段は、
    前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、
    前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定する
    請求項１に記載の撮像装置。
  3. 前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、
    前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類する
    請求項２に記載の撮像装置。
  4. 前記判定手段は、
    前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、
    前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定する
    請求項２に記載の撮像装置。
  5. 前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備える
    請求項２に記載の撮像装置
  6. 前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備える
    請求項１に記載の撮像装置。
  7. リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、
    判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、
    提示手段が、前記判定結果をユーザに提示し、
    保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップ
    を含む撮像方法。
  8. コンピュータを、
    画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
    前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
    前記判定結果をユーザに提示する提示手段と、
    前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させる
    プログラム。
  9. 入力画像を、複数のブロックに分割する分割手段と、
    前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
    前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
    前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
    前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
    前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
    前記生成されたリクエストデータを、撮像装置に送出する送出手段と
    を備える画像処理装置。
  10. 前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、
    前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段と
    をさらに備える請求項９に記載の画像処理装置。
  11. 前記素材画像決定手段は、
    前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行う
    請求項１０に記載の画像処理装置。
  12. 前記ブロック画像クラス分類手段は、
    前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、
    前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、
    前記素材画像クラス分類手段は、
    前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類する
    請求項９に記載の画像処理装置。
  13. 分割手段が、入力画像を、複数のブロックに分割し、
    ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、
    素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、
    比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、
    不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、
    リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、
    送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップ
    を含む画像処理方法。
  14. コンピュータを、
    入力画像を、複数のブロックに分割する分割手段と、
    前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
    前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
    前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
    前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
    前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
    前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させる
    プログラム。
JP2009204424A 2009-09-04 2009-09-04 撮像装置および方法、画像処理装置および方法、並びにプログラム Withdrawn JP2011055398A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009204424A JP2011055398A (ja) 2009-09-04 2009-09-04 撮像装置および方法、画像処理装置および方法、並びにプログラム
US12/845,239 US20110058057A1 (en) 2009-09-04 2010-07-28 Image capture device and method, image processing device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009204424A JP2011055398A (ja) 2009-09-04 2009-09-04 撮像装置および方法、画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2011055398A true JP2011055398A (ja) 2011-03-17

Family

ID=43647464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009204424A Withdrawn JP2011055398A (ja) 2009-09-04 2009-09-04 撮像装置および方法、画像処理装置および方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20110058057A1 (ja)
JP (1) JP2011055398A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054080A (ja) * 2009-09-04 2011-03-17 Sony Corp 画像処理装置および方法、並びにプログラム
US9141255B2 (en) * 2010-12-21 2015-09-22 Disney Enterprises, Inc. Mosaic generation from user-created content
US8849047B2 (en) 2012-07-10 2014-09-30 Facebook, Inc. Methods and systems for determining image similarity
CN102930521A (zh) * 2012-10-15 2013-02-13 上海电机学院 一种镶嵌图片的生成方法
US9251169B2 (en) * 2013-01-18 2016-02-02 UDC Software LLC Systems and methods for creating photo collages
US10311329B2 (en) * 2015-01-30 2019-06-04 International Business Machines Corporation Social connection via real-time image comparison

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JPH0951464A (ja) * 1995-08-08 1997-02-18 Canon Inc 映像入力装置
JP2980032B2 (ja) * 1996-08-15 1999-11-22 日本電気株式会社 コネクションレスデータ通信方式
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
EP0961228A3 (en) * 1998-05-29 2001-03-21 Canon Kabushiki Kaisha Image processing method and apparatus
US6633685B1 (en) * 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
US7012623B1 (en) * 1999-03-31 2006-03-14 Canon Kabushiki Kaisha Image processing method and apparatus
US6927874B1 (en) * 1999-04-02 2005-08-09 Canon Kabushiki Kaisha Image processing method, apparatus and storage medium therefor
US7542070B2 (en) * 2000-01-17 2009-06-02 Fujifilm Corporation Image processing apparatus, and photographing system for receiving and creating processing information
JP4066803B2 (ja) * 2002-12-18 2008-03-26 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
CA2442603C (en) * 2003-10-01 2016-11-22 Aryan Saed Digital composition of a mosaic image
ES2304225B1 (es) * 2007-03-15 2009-10-01 Vicente Atares Martinez Procedimiento para la confeccion de mosaicos.
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
CN101918979B (zh) * 2008-01-15 2012-05-23 佩特媒体株式会社 镶嵌图像生成装置、方法

Also Published As

Publication number Publication date
US20110058057A1 (en) 2011-03-10

Similar Documents

Publication Publication Date Title
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
JP5818799B2 (ja) デジタル画像の美的品質の推定方法
TWI338265B (en) System, apparatus, method and program for processing image
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
RU2636668C2 (ru) Способ и устройство для отображения изображений
US8290281B2 (en) Selective presentation of images
JP5527592B2 (ja) 画像処理装置および方法、並びにプログラム
US20110050723A1 (en) Image processing apparatus and method, and program
US7352898B2 (en) Image processing apparatus, image processing method and program product therefor
JP2011054081A (ja) 画像処理装置および方法、並びにプログラム
JP2008059081A (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2011055398A (ja) 撮像装置および方法、画像処理装置および方法、並びにプログラム
CN105323456A (zh) 用于拍摄装置的图像预览方法、图像拍摄装置
CN103201769A (zh) 图像处理装置、图像处理方法、程序、集成电路
CN108401112A (zh) 图像处理方法、装置、终端及存储介质
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP2011054080A (ja) 画像処理装置および方法、並びにプログラム
CN108353127A (zh) 基于深度相机的图像稳定
JP2007249434A (ja) アルバム作成システム、アルバム作成方法、及びプログラム
CN105580050A (zh) 提供图像中的控制点
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
JP7027101B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2014170979A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20121106