JP2010171676A - カメラ、画像表示装置、画像表示方法、およびプログラム - Google Patents

Abstract

【課題】衣服の画像に対して人物を入れ替えて、その衣装に最適な人物を簡単に探しできるようにしたカメラ、画像表示装置、画像表示方法、およびプログラムを提供する。
【解決手段】服２３の画像データを出力する撮像部と、画像データに基づいて服２３を表示する表示部と、服２３の画像データを取得するにあたって、服２３の一部を位置合わせするためのテンプレート２１を表示部にスーパーインポーズで表示させる表示制御部と、服２３の画像データを記録する記録部と、を有する。
【選択図】図２

Description

本発明は、カメラ、画像表示装置、画像表示方法、およびプログラムに関し、詳しくは、表示部を有するカメラの改良に関する。

近年、インターネットの普及によって、ユーザが不用品となったものを、ネットオークションを利用して売買することがしばしば行われている。この場合、衣服などの出品物をデジタルカメラで撮影し、このデジタル画像がネット上にアップし、出品物の紹介を行っている。また、若い女性は、ネット上のサービスで、自分の分身であるアバターなどに、気になる服の画像を着せてみて、自分に似合うかどうかといった擬似的な試着を楽しむのが普通に行われるようになっている。

衣服を試着した場合のシミュレーションは、従来から種々提案されている。例えば、特許文献１には、衣服のシミュレートなどの肖像画像の合成を、熟練オペレータなしでもできるように、自動あるいは簡易な操作でできるようにした画像合成装置が開示されている。また、特許文献２には、簡単な構成で自然に違和感なく画像合成を行うようにした試着シミュレーションシステムが開示されている。この試着シミュレーションシステムでは、画像入力手段により撮影した試着シミュレーションの対象人物の画像から顔部分を切り抜き、所望する衣服を着用したモデルの画像の顔部分と差し替えるようにしている。衣服の着用した画像データは多数蓄積されているので、対象人物の画像を撮影することにより、この対象人物に似合う衣服を探すことが容易となる。

特開平１０−２２２６４９号公報 特開平１１−２１３１３９号公報

衣服に関するシミュレーションを行うための装置は種々提案されているが、衣服に対して人物を入れ換えるようにしたシミュレーションは提案されていない。すなわち、特許文献１に開示の画像合成装置は、個々の顔画像や服装画像等を自ら選択し、それらを合成するものである。また、特許文献２に開示の試着シミュレーションシステムでは、対象人物に対して衣服を着せかえるようにしたものである。

本発明は、このような事情を鑑みてなされたものであり、衣服の画像に対して人物を入れ替えて、その衣装に最適な人物を簡単に探しできるようにしたカメラ、画像表示装置、画像表示方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、被写体の画像データを出力する撮像部と、上記画像データに基づいて上記被写体を表示する表示部と、上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするための指定部と、上記指定部に指定された部分を上記被写体と一緒に記録する記録部と、を有する。

第２の発明に係わるカメラは、上記第１の発明において、上記指定部は上記表示部の画面上にスーパーインポーズするテンプレートを有する。

第３の発明に係わるカメラは、被写体の画像データを出力する撮像部と、上記画像データに基づいて上記被写体を表示する表示部と、上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするためのテンプレートを上記表示部にスーパーインポーズで表示させる表示制御部と、上記被写体の画像データを記録する記録部と、を有する。

第４の発明に係わるカメラは、上記第３の発明において、上記記録部は、上記テンプレートを表示して上記被写体の画像データを記録したことを撮影情報として記録する。
第５の発明に係わるカメラは、上記第３の発明において、上記被写体を分類する画像分類部を有し、上記記録部は、上記分類部による被写体の分類を記録する。
第６の発明に係わるカメラは、上記第５の発明において、上記画像分類部は、少なくとも、服であることを分類できる。

第７の発明に係わるカメラは、被写体の画像データを出力する撮像部と、上記画像データに基づいて上記被写体を表示する表示部と、上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするための指定部と、上記指定部に指定された部分を上記被写体と一緒に記録する記録部と、上記記録部に記録された画像データの中から人物画像を検索する検索部と、を有する。

第８の発明に係わるカメラは、上記第７の発明において、上記指定部は、上記表示部の画面上に表示された顔画像の部分に位置合わせを行う。
第９の発明に係わるカメラは、上記第７の発明において、上記検索部は、予め記憶されている合成用のテンプレートの顔部分の、または取得した合成用顔画像の顔の大きさ、向き、角度情報を用い、上記記録部に記録されている複数被写体像の中から、略一致度の高い顔画像を検索し、さらに、上記検索部によって検索された顔画像に、上記合成用のテンプレートの顔部分、または合成用顔画像を合成する画像合成部と、を有する。
第１０の発明に係わるカメラは、上記第９の発明において、上記画像合成は、上記合成用テンプレートの顔部分、または上記合成用顔画像の顔部分を消去し、その消去部分に上記検索部によって検索された画像の顔部が略一致するように画像合成する。

第１１の発明に係わるカメラは、被写体の画像データを出力する撮像部と、上記画像データに基づいて上記被写体を表示する表示部と、上記被写体の画像データを記録する記録部と、上記記録部に記録された画像の中から、服に関する画像と、人物に関する画像とを少なくとも分類可能な画像分類部と、上記画像分類部によって服と分類された画像の中から選択する選択部と、上記記録部に記録された画像の中から、人物に関する画像を検索する検索部と、上記選択部によって選択された服画像に対して、上記検索部によって検索された人物の顔部分を合成する画像合成部と、上記画像合成部によって合成された画像を表示する表示部と、を有する。

第１２の発明に係わる画像表示装置は、被写体に関する画像データを記録する記録部と、上記記録部に記録された画像の中から、服に関する画像と、人物に関する画像とを少なくとも分類可能な画像分類部と、上記画像分類部によって服と分類された画像の中から選択する選択部と、上記記録部に記録された画像の中から、人物に関する画像を検索する検索部と、上記選択部によって選択された服画像に対して、上記検索部によって検索された人物の顔部分を合成する画像合成部と、上記画像合成部によって合成された画像を表示する表示部と、を有する。

第１３の発明に係わる画像表示方法は、記録画像の中から、服に関する画像と人物に関する画像とに少なくとも分類し、上記分類された画像の中から服画像を選択し、上記記録画像の中から、人物に関する画像を検索し、上記選択された服画像に対して、上記検索された人物の顔部分を画像合成し、上記画像合成された画像を表示する。

第１４の発明に係わるプログラムは、記録画像の中から、服に関する画像と人物に関する画像とに少なくとも画像分類し、上記分類された画像の中から服画像を選択し、上記記録画像の中から、人物に関する画像を検索し、上記選択された服画像に対して、上記検索された人物の顔部分を画像合成し、上記画像合成された画像を表示する、ことをコンピュータに実行させる。

本発明によれば、衣服の画像に対して人物を入れ替えて、その衣装に最適な人物を簡単に探しできるようにしたカメラ、画像表示装置、画像表示方法、およびプログラムを提供することができる。

本発明の一実施形態に係わるカメラにおける電気回路を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、撮影時に使用するテンプレートの例を示す図である。 本発明の一実施形態に係わるカメラにおいて、撮影した服に人物の画像を重ね合わせ合成した画像である。 本発明の一実施形態に係わるカメラにおいて、撮影した服に人物の画像を重ね合わせ合成した別の例の画像である。 本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおける画像分類の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、画像分類を行うにあたって使用する画像情報を説明する図である。 本発明の一実施形態に係わるカメラにおいて、検索結果の表示の変形例を示す図である。 本発明の一実施形態に係わるカメラにおいて、顔画像と服のマッチングを取るためにマネキンの特徴を説明する図である。 本発明の一実施形態に係わるカメラにおいて、顔画像と服のマッチングを取るために人物画像の顔の特徴を説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の一実施形態に係わるカメラの電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、ＧＰＳ（Global Positioning System 全地球測位システム）７、表示部８ａ、タッチパネル８ｂ、時計部９、通信部１２等から構成される。

撮像部２は、撮影レンズや、シャッタ等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。顔検出部３は、撮像部２で取得した画像データに基づいて、画像の中に顔の部分が含まれるか否かを判定する。撮像部２は顔検出部３において検出された顔部分にピントが合うようにピント合わせを行うこともできる。

画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、ライブビュー表示、記録部４への記録、再生表示等の画像処理を行う。画像処理及び制御部１内には、顔特徴抽出部１ｂ、顔位置・大きさ判定部１ｃ、画像検索部１ｄ、部分消去部１ｅ、テンプレート部５ａ、画像合成部５ｂ、表示制御部８を含む。

顔位置・大きさ判定部１ｃは、顔検出３によって検出された顔部分の位置と大きさを判定する。顔特徴抽出部１ｂは、顔検出部３や顔位置・大きさ判定部１ｃで判定された顔の情報に基づいて、顔の特徴を抽出する。顔特徴抽出部１ｂには予め家族や友人等の顔の特徴を記憶しておき、記憶された特徴と一致するか否かも判定することができる。後述するように、顔特徴抽出部１ｂにおいて、顔が向いている方向等の特徴を検出するようにしても良い。テンプレート部５ａは、例えば服だけを撮影する場合のように、顔部分のない画像もあることから、このような被写体の際に、合成時の基準を決めるためのテンプレート２１（図２参照）を記憶する。このテンプレートについては、図２を用いて後述する。

画像検索部１ｄは、後述するように、画像データは、服、スナップ、風景等に分類され、また顔の特徴等の情報と関連付けて記憶されるので、これらの情報を用いて画像検索を行う。部分消去部１ｅは、画像データの中から、顔にあたる部分等の所定部分を消去する。画像合成時に画像の重なりを防止するためである。画像合成部５は、顔画像を基準に行い、記録部４に記録されている複数の画像データから、画像検索部１ｄによって検索され、また部分消去部１ｅによって部分的消去された画像も用いて、画像の合成を行う。

表示制御部８は、画像合成部５ｂにおいて合成された画像データを表示部８ａにおける表示の制御を行う。なお、表示部８ａにおける表示としては、合成された画像以外にも、撮影前のライブビュー表示や、記録済みの画像の再生表示等がある。また、表示制御部８は、ライブビュー表示の際に、テンプレート２１を表示部８ａにスーパーインポーズ表示する。

記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。関連情報記録部４ｂは、前述したように、画像データは分類情報や顔の特徴等の情報と関連付けられており、この関連情報を記憶する。また、関連情報としては、上述の情報以外にも、後述するＧＰＳ７によって取得する撮影位置情報や、時計部９によって取得する撮影日時情報等も含まれる。

操作判定部６は、レリーズ釦、再生モード設定釦、テンプレート釦、着せ替えモード釦、やり直し操作スイッチ等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、画像処理及び制御部１に判定結果を送る。画像処理及び制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。ＧＰＳ７は、カメラ１０の位置を測定し、前述したように撮影時に撮影位置の情報を出力する。なお、位置を測定できるものであれば、ＧＰＳに限らず、例えば、携帯電話の中継局やホットスポット等の送信位置に基づいて位置を判定するようにしても良い。時計部９は、カレンダー機能や時計機能を有し、前述したように撮影時には撮影日時情報を出力する。これらの撮影位置情報や撮影日情報は、画像整理や画像検索の際に利用できる。

表示部８ａは、カメラ本体の背面等に配置され、液晶や有機ＥＬ等からなる表示画面を有する。前述したように、表示部８ａでは、合成画像の表示の他、ライブビュー表示や再生画像の表示等を行う。表示部８ａの表示面には、密着するように、タッチパネル８ｂが設けられている。タッチパネル８ｂは、ユーザのタッチ位置等を検出し、検出結果を画像処理及び制御部１に送信する。画像処理及び制御部１は、タッチ結果に応じて、カメラの制御を行う。また、画像検索の際には、タッチパネル８ｂ上でタッチしながら検索が可能である。

通信部１２は、有線または無線（赤外線等も含む）によって、外部と通信を行い、カメラ１０が取得した画像や合成画像を外部に出力可能である。例えば、外部装置として大型テレビと通信を行うことにより、カメラ１０で撮影した画像や合成した画像を大型テレビで観賞することができ、多くの人で楽しむことができる。また、外部装置として携帯電話と通信を行うことにより、友人等に画像を送信することがでる。

次に、本実施形態におけるカメラの使用について、図２ないし図４を用いて説明する。図２は服を撮影する際におけるテンプレートを撮影画面内に表示した図であり、図３は服を撮影後に、同一人物の顔と合成した合成画像の例を示し、図４は異なる人物と合成した合成画像の例を示す。

図２（ａ）は、テンプレート部５ａに記憶されているテンプレートの例を示す。この図２（ａ）に示すテンプレート２１は、ハンガー型をしており、人物の顔部分２１ａと肩部２１ｂとから構成されている。このテンプレート２１に沿って被写体の構図をとることにより、合成しやすい画像を撮影することができる。図２（ｂ）に、テンプレート２１に合わせずに服２３を撮影した場合の画像を示す。この場合には、顔の位置や手の位置が服２３の画像にあっておらず、人物を重ね合わせて合成することが困難である。

一方、図２（ｃ）は、テンプレート２１に合わせて服２３を撮影した場合の画像を示す。この場合には、服２３に対して人物の頭や手の位置を容易に決められるので、人物を服２３に重ね合わせて合成画像を容易に得ることができる。なお、テンプレート２１に合わせて撮影するか否かはユーザが選択することができる。また、テンプレート２１に合わせて服２３を撮影するには、撮影時に被写体距離や、焦点距離（ズーム）を適宜、調整すれば良い。

図２に示したように、テンプレート２１を用いて、服２３を撮影すると、次に、人物をこれに重畳させて、合成画像を得る。テンプレート２１を用いて撮影することにより、どこに顔を配置するかが自然に分かる。また、机や壁等、背景が一緒に映っている場合があるが、この場合には、テンプレート２１に重なる領域以外は、主要被写体（服）でないとして、画像から除去することができる。具体的には、クロマキー合成などの技術を使用するために、背景の色を特定色にし、特定色の部分は別画像に置き換えるように画像処理すれば良い。

このような画像処理を行うと、図３（ａ）〜（ｄ）に示すように、人物２５が服２３を着た画像を合成することができる。この画像合成にあたって、画像検索部１ｄは、記録部４に記録されている画像の中から人物の顔が含まれている画像を検索し、画像合成部５は、検索された画像と、服２３が撮影された画像と合成を行う。人物の画像の顔の部分をテンプレート２１の顔部分に位置させ、かつ顔の大きさを合わせるように拡大縮小を行う。これによって、図３に示すように、同じ人物２５でもいろいろな表情や角度で、服２３を着た画像を合成できる。画像を合成すると不自然な画像もあるが、多数合成することにより、自然に見えるものも出てくる。

また、合成する人物２５は同一人物である必要はない。図４（ａ）（ｂ）は、表情が異なる同一人物２５ａに服２４を画像合成した例であり、図４（ｃ）（ｄ）は、異なる人物２５ｂに服２４を画像合成した例である。このように、同一の服２３に対して、表情が異なる同一人物２５ａや、別の人物２５ｂに、画像合成し、表示部８ａに表示させることから、自分が似合う服なのかを、色々な画像で検証することができ、また、他人と比較することもできる。

なお、服の撮影にあたって、テンプレートを用いない方法もある。図２（ｄ）は、マネキン２２が着ている服２４を撮影する例である。この場合には、顔２２ａや手２２ｂと一緒に服２４が撮影されることから、テンプレート２１を用いなくても、人物との合成画像を容易に得ることができる。マネキン２２の顔部を検出することにより、顔の位置や大きさ等、検出結果に合致させるように、人物の顔画像を拡大や縮小し、また位置を移動させればよい。

次に、本実施形態におけるカメラ制御の動作を図５に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。

ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、ライブビュー表示を行う（Ｓ１０２）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８ａに毎秒３０コマ程度で被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。

ライブビュー表示を開始すると、次に、テンプレート表示を行うか否かの判定を行う（Ｓ１０３）。ここでは、ユーザが服等を撮影する場合に、テンプレート２１を表示部８ａに表示させるために、テンプレート釦等の操作部材を操作したか否かの判定を行う。この判定は、操作判定部６によって行われる。ステップＳ１０３における判定の結果、テンプレート表示を行う場合には、テンプレート部５ａに記憶されているテンプレート２１を読み出し、表示部８ａの画面内の所定位置にテンプレート２１を表示する（Ｓ１０４）。

ステップＳ１０４におけるテンプレート表示を行うと、またはステップＳ１０３における判定の結果、テンプレート表示を行わない場合には、次に、レリーズを行うか否かの判定を行う（Ｓ１０５）。ここでは、レリーズ釦が操作されたか否かを操作判定部６によって判定する。この判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。一方、ステップＳ１０５における判定の結果、レリーズであった場合には、次に、撮影・記録を行う（Ｓ１０６）。

ステップＳ１０６においては、撮像部２によって取得された画像データを、画像処理及び制御部１によって画像処理し、この画像処理された画像データを、記録部４に記録する。画像データの記録にあたっては、ＧＰＳ７によって取得した撮影位置や、時計部９によって取得した撮影日時情報を併せて記録する。

撮影・記録を行うと、次に、画像分類を行う（Ｓ１０７）。ここでは、撮影画像をスナップ、風景、服等の撮影主題ごとに分類し、また、撮影画像中の顔の数、位置、大きさ、特徴等を検出し、また、顔より下の部分の色、テンプレートの使用の有無等、種々の情報を得られるよう、画像分類を行う。画像分類を行うと、次に、分類結果の記録を行う（Ｓ１０８）。ステップＳ１０６において画像データを記録するが、ステップＳ１０８では、記録された画像データに関連付けて、後述する図７（ａ）に示すような表形式で関連情報記録部４ｂに記録する。分類結果の記録を行うと、ステップＳ１００に戻る。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１０）。この判定の結果、再生モードでなかった場合には、ステップＳ１００に戻る。一方、再生モードであった場合には、着せ替えモードか否かの判定を行う（Ｓ１１１）。ユーザが着せ替えモードで画像再生を行いたい場合には、着せ替えモード釦を操作するので、このステップでは、着せ替えモード釦を操作したか否かの判定を行う。着せ替えモードは、図３および図４を用いて説明したように、撮影した服に、人物を重畳させた合成画像を表示するモードである。ステップＳ１１１における判定の結果、着せ替えモードでなければ、通常の再生を行う（Ｓ１１２）。通常再生モードを行うと、ステップＳ１００に戻る。

ステップＳ１１１における判定の結果、着せ替えモードの場合には、次に、対象画像の選択を行う（Ｓ１１３）。ここでは、記録部４に記録されている撮影画像の中から、関連情報記録部４ｂに記録されている画像分類の中で、服が付与されている画像を、サムネイル画像形式で一覧表示し、ユーザは一覧表示されている服の中から、いずれかの服を選択する。

対象画像を選択すると、次に、人物画像の検索を行う（Ｓ１１３）。ここでは、記録された撮影画像の中から、関連情報記録部４ｂでの記録に基づいて、顔が写っている画像を検索する。人物画像検索を行うと、テンプレート撮影画像であるか否かの判定を行う（Ｓ１１５）。ここでは、ステップＳ１１３で選択された画像データに関連して関連情報記録部４ｂの関連情報中のテンプレート情報を参照する。図２（ｃ）に示すようなテンプレート２１を使用して撮影した場合には、テンプレート使用情報が記録されているので（図７（ａ）参照）、この情報に基づいて判定する。

ステップＳ１１５における判定の結果、テンプレート撮影画像であった場合には、対象画像の背景のローコントラスト部の画像を除去する（Ｓ１１６）。ここでは、背景にコントラストがない画像では、背景を除去し、服の部分を分離する。続いて、テンプレート顔部に人物の顔部を配置する（Ｓ１１７）。ここでは、テンプレートの顔部２１ａがあった位置に、ステップＳ１１４において検索された人物の顔部を当てはめる。続いて、人物に対象画像の合成を行い、これを表示部８ａに表示する（Ｓ１１８）。ステップＳ１１６、Ｓ１１７における処理により、服の部分を分離し、顔の位置を決めたことから、このステップＳ１１８において、人物の顔に服の部分を合成し、表示部８ａに表示する。

ステップＳ１１５における判定の結果、テンプレート撮影画像でなかった場合には、対象画像の顔部の除去を行う（Ｓ１２１）。この場合は、図２（ｄ）に示したような対象画像がマネキン２２であることから、顔検出部３および顔位置・大きさ判定部１ｃによってこのマネキン２２の顔と判定された部分を除去、または顔部分を所定の色に塗り替える。続いて、検索された画像の顔部分の判定を行う（Ｓ１２２）。ここでは、ステップＳ１１４において検索された人物画像の中から顔の部分を、顔検出部３および顔位置・大きさ判定部１ｃによって判定する。

次に、画像除去部に貼り付け、表示を行う（Ｓ１２３）。ここでは、ステップＳ１２１においてマネキン２２の顔の部分に、ステップＳ１２２において判定された顔の部分を、大きさを揃えて貼り付け画像を合成し、この合成画像を表示部８ａに表示する。なお、ステップＳ１２１〜Ｓ１２３は、実際には、顔検出部３、顔位置・大きさ判定部１ｃ、部分消去部１ｅ、画像合成部５ｂ等のハードウエアによって、顔部分を所定色に塗り替え、その所定色部に、検索された人物の顔部を嵌め込み、画像を合成する。また、全てをハードウエアで処理しなくても、顔検出部３によって検出された顔範囲を消去し、この消去部分に所定の顔条件を満たす画像の顔部を貼りつけるようプログラムで実施するようにしても良い。なお、より自然な画像合成を行うには、マネキン２２の顔の向いている方向と、顔の部分の向いている方向を一致させるようにしても良い。この点については、図９を用いて後述する。

ステップＳ１１８において人物に対象画像を合成すると、またはステップＳ１２３において画像除去部に貼り付け・表示を行うと、次に、やり直しか否かの判定を行う（Ｓ１２５）。本実施形態においては、やり直し操作スイッチを操作するたびに、別画像を合成するようにしており、このステップでは、やり直し操作スイッチが操作されたか否かの判定を行う。この判定の結果、やり直しであった場合には、次の候補に設定し（Ｓ１２６）、ステップＳ１１４に戻る。ステップＳ１１４に戻ると、次の人物画像を検索し、ステップＳ１１５以下で、検索された人物画像とステップＳ１１３で選択された対象画像との画像合成を行う。一方、ステップＳ１２５における判定の結果、やり直しでなければ、ステップＳ１００に戻る。

このように、ステップＳ１１１において、着せ替えモードを選択すると、ステップＳ１１３で選択した着せ替えを行わせる服が撮影されている対象画像を選択し、着せ替え対象の服に、ステップＳ１１４において検索した人物の顔を嵌め込み、画像を合成する。以後、やり直し操作が行われるたびに（Ｓ１２５→Ｙ）、次の人物を検索し（Ｓ１１４）、ステップＳ１１５以下で画像合成の処理を行う。

なお、この嵌め込み合成は、記録されている顔が一巡した後には、大きさを変えて合成したり、角度や位置を少しずつ変えて合成しても良い。また、やり直し操作スイッチが操作されるたびに（Ｓ１２５→Ｙ）、次の人物の画像合成を行っていたが、連続的に人物を検索して、次から次へと合成画像を表示するようにしても良い。

このカメラ制御のフローによれば、気になる服を撮影するだけで、自分が似合うかどうか試着した感じを確かめることができる。また、様々な顔画像を当てはめるので、輪郭判定のような厳密な画像合成を行わなくとも、顔画像の数が多ければ、自然に見えるケースが現れる。

次に、ステップＳ１０７における画像分類のサブルーチンについて、図６を用いて説明する。ステップＳ１１３において対象画像の一覧表示を行っており、またステップＳ１１４において人物画像の検索を行っている。これらの一覧表示や検索にあたっては、迅速に画像を探し出す必要があることから、本実施形態においては、画像分類部１ｅを設け、迅速に画像分類を行うようにしている。この画像分類は、主に撮影時に得られた撮影画像情報に基づいて、図７に示すような形式で、各画像と表形式で関連付け、その結果を記録部４中の関連情報記録部４ｂに記録している。

撮影画像の情報としては、撮影日時情報や撮影位置情報のみならず、図６に示す画像分類のサブルーチンによって、カテゴリー分けしておくことにより、検索の効率化に役立つ。このサブルーチンでは、撮像部２におけるピント合わせの信号等を利用し被写体距離情報で分類分けしている。また、撮影にあたってテンプレート２１を利用したか否か、画像の色情報や、顔検出部３による顔検出結果に基づいて画像に顔の部分が含まれるか否か、顔の大きさや数、顔の特徴などの情報に従って、人物が全身で背景も多く含むスナップ写真、顔の表情を中心としたポートレート写真、花の写真、服の写真、ペットの写真、風景写真等に判定している。

図６に示す画像分類のサブルーチンに入ると、まず、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、中央の人の顔の下の部分の色や、パターンを判定して記録する（Ｓ３０２）。顔の下の部分の色を見ているのは、服装の色として検出するためであり、また、服装のパターンも検出して、これらの情報を関連情報記録部４ｂに記録する。なお、マネキン２２の場合には、顔有りと判定され、ステップＳ３０２以下に進む。すなわち、マネキン２２の場合には、ステップＳ３０２において、顔の中心から顔の大きさ程度の下にある部分を服装と判定し、この服装のパターンを判定する。

次に、顔の大きさが大か否かの判定を行う（Ｓ３０３）。この判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０５）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０４）。したがって、ステップＳ３０３における判定値は、分類分けを行うに相応しい値とする。

ステップＳ３０４、Ｓ３０５において分類分けを行うと、次に、顔の数、位置、大きさ、特徴を検出し、判定する（Ｓ３０６）。ここでは、顔位置・大きさ判定部１ｃによる判定結果に基づいて、顔の数、位置、大きさを検出する。また、顔特徴抽出部１ｂによって、顔の特徴を抽出する。家族や友人等、撮影の可能性のある人物顔の特徴は、例えば、Ｐ−Ａ、Ｐ−Ｂのように、予め顔特徴抽出部１ｂに登録しておき、この登録された顔の特徴と一致するか否かを判定する。これら検出された結果は、関連情報記録部４ｂに記録される。

ステップＳ３０１における判定の結果、顔がなかった場合には、次に、主要色の判定を行う（Ｓ３１０）ここでは、画面中央等において、画面の主要な色を判定する。続いて、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離にあった場合には、画像は風景写真と判定する（Ｓ３１７）。

ステップＳ３１１における判定の結果、遠距離でなかった場合には、次に、マクロか否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、マクロ領域での撮影であった場合には、画像を花の写真と判定する（Ｓ３１７）。

ステップＳ３１２における判定の結果、マクロでなかった場合には、テンプレートを用いての撮影であったか否かの判定を行う（Ｓ３１３）。テンプレートを使用したか否かは、画像に関連付けて関連情報記録部４ｂに記録されているので、この情報に基づいて判定する。この判定の結果、テンプレートを用いていた場合には、服の写真と判定する（Ｓ３１４）。一方、判定の結果、テンプレートを用いていなかった場合には、人気のテーマの一つであるペットの写真と判定する（Ｓ３１５）。ペットの画像をさがす場合には、このペット分類から検索すれば、速く見つけることができる。

ステップＳ３０６、Ｓ３１４〜Ｓ３１７における処理が終わると、元のフローに戻る。このように、画像分類のフローでは、画像に顔があるか否かを判定し、顔がある場合には、その人物に関する情報を検出し、スナップ写真か、ポートレート写真のいずれかに分類する。また、画像に顔がなかった場合には、服、ペット、花、風景に分類する。

図７（ａ）は、画像分類のフローにおいて分類され、関連情報記録部４ｂに記録された情報の一例を示す。また、図７（ｂ）は、画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。また各領域Ａ１〜Ａ９では、顔の大きさをＤ１〜Ｄ３の３段階に分けている。図中、画像１は、スナップ写真であり、顔の数が２つあり、領域Ａ４に登録済みの人物Ｐ−Ａが顔の大きさＤ２で映っており、領域Ａ６には不明の人物Ｐ−Ｘがかの大きさＤ３で映っている。また、顔の下の色は青色であり、テンプレートは使用しておらず、撮影日時は９月１５日である。画像２〜画像４にも画像に関連付けて情報が、図７（ａ）に示すように、記録されている。なお、人物Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘ等は、顔特徴抽出部１ｂによって判定される。ここで、Ｐ−Ａ、Ｐ−Ｂは家族、友人等、予め登録されている人物であり、Ｐ−Ｘは登録人物ではない場合に付与される。

このような画像分類しておくと、画像検索を迅速かつ効率的に行うことができる。例えば、顔画像を探す場合には、Ｓ３１４〜Ｓ３１7において分類された画像は、検索対象外とすることができ、検索を迅速かつ効率化することができる。

次に、本実施形態における、合成画像の表示の変形例について、図８を用いて説明する。本発明の一実施形態においては、ステップＳ１１３において、選択された一つの対象画像に対して、ステップＳ１１８またはステップＳ１２３において、人物の顔部分を貼り付けた合成画像を表示していた。したがって、表示部８ａには、常に一つの合成画像が表示されていた。本変形例は、複数の合成画像をサムネイル形式で表示するようにしている。

図８（ａ）は、異なる人物の顔をマネキン２２が着ていた服２４に貼り付けて、あたかもショーウインドに飾られた服２４が誰に似合うかを比較できるように、表示部８ａに一覧表示した例である。このような表示を行うには、ステップＳ１２５（図５参照）において、サムネイル表示する際の画像数まで、自動的にステップＳ１１４に戻り、ステップＳ１１８またはＳ１２３において、合成画像をサムネイル表示するようにすれば良い。

図８（ｂ）は服の画像はいずれも異なり、異なる服に対して、同一人物２６を貼り付けるようにした例である。同一人物２６に対して、どの服が似合うかを判定することが簡単にできる。このような表示を行うには、ステップＳ１１３（図５参照）において人物画像を選択し、ステップＳ１１４において、対象画像（服）を検索するようにすれば良い。

次に、対象画像に人物画像の顔部を合成する際に、より自然なマッチングとなるようにした変形例を図９および図１０を用いて説明する。前述の本発明の一実施形態においては、マネキン２２や人物２５、２５ａ、２５ｂの向いている方向等については、考慮せず画像合成を行っていた。考慮しないと、以外な組み合わせにより楽しむこともできるが、本変形例においては、自然な組み合わせを優先したい場合に利用することができる。

図９（ａ）は、図２（ｄ）と同じくマネキン２２に服２４を着せた状態の画像である。このマネキン２２の顔２２ａの向いている方向等の特徴を、顔特徴抽出部１ｂによって検出する。まず、顔２２ａの輪郭線から、図９（ｂ）に示すように、楕円近似で顔輪郭３１を抽出する。この楕円の長軸と短軸の交点を求め、この交点を顔輪郭中心３２とする。また、マネキン２２の顔２２ａの陰影の交点、例えば、両目を結ぶ線と、鼻を結ぶ線の交点を顔陰影中心３４とする。それぞれの交点を通る線のズレから、目や鼻に相当する陰影のズレ量ΔＸ、ΔＹを求める。また、顔陰影中心３４を通る長軸方向の長さから顔の高さＦを求める。

また、画面上下ライン３５と、顔陰影中心３４を上下方向に通る顔陰影上下ライン３３（図９（ｂ）では中心３４を通るラインと平行なラインで示している）との傾きθを求める。これらのΔＸ、ΔＹ、Ｆ、θは、マネキン２２の顔２２ａの特徴を表しているので、これらの特徴値を服２４の画像に関連付けて記憶し、この特徴値と略一致する人物の顔を検索して、画像合成すれば、自然な合成となる。なお、図２（ａ）に示したようなテンプレート２１を用いて服２３を撮影する場合にも、顔部２１ａについて求めたΔＸ、ΔＹ、Ｆ、θ等の特徴値を固定値として記憶しておけば良い。

次に、人物画像の特徴値について、図１０を用いて説明する。人物画像の特徴値もマネキン２２の顔２２ａと同じ考え方で求めることができる。図１０（ａ）に示すような人物を含む画像が取得された場合、この中から人物２７を図１０（ｂ）に示すように抽出する。続いて、人物２７の顔の輪郭線から、図１０（ｂ）（ｃ）に示すように、楕円近似で顔輪郭３１を抽出する。この楕円の長軸と短軸の交点を求め、この交点を顔輪郭中心３２とする。また、人物２７の顔の陰影の交点、例えば、両目を結ぶ線と、鼻を結ぶ線の交点を顔陰影中心３４とする。それぞれの交点を通る線のズレから、目や鼻に相当する陰影のズレ量ΔＸ、ΔＹを求める。また、顔陰影中心３４を通る長軸方向の長さから顔の高さＦを求める。

また、画面上下ライン３５と、顔陰影中心３４を上下方向に通る顔陰影上下ライン３３（図１０（ｃ）では中心３４を通るラインと平行なラインで示している）との傾きθを求める。これらのΔＸ、ΔＹ、Ｆ、θは、マネキン２２の場合と同様、人物２７の顔の特徴を表しているので、これらの特徴値を図１０（ａ）の画像に関連付けて記憶し、この特徴値と略一致する服を検索して、画像合成すれば、自然な合成となる。

なお、服や人物の顔の画像はデジタル画像であることから、服や顔の画像の拡大・縮小は任意に行うことができる。顔の高さＦが異なる場合であっても、高さＦでΔＸ、ΔＹを除算した値で比較し、傾きθが略同じであれば、合成可能と判断しても良い。マネキン画像と人物画像が合成可能の場合には、マネキン２２の顔の高さＦに合わせて人物の顔の大きさを補正してから画像合成を行う。また、テンプレート２２で撮影された服の画像と人物画像が合成可能の場合には、テンプレート２２の顔の高さＦを、人物の顔の高さＦと一致するように、服の画像を拡大または縮小を行う。

このように、本発明の変形例では、服の画像に人物の顔を合成した場合に、不自然な画像となることを防止することができる。なお、このような顔の向きを略一致させる着せ替え表示モードと、顔の向きを考慮しない着せ替え表示モードを選択できるようにしても良い。

以上説明したように、本発明の実施形態においては、撮影するにあたって、被写体の一部を位置合わせする指定部（テンプレート）を設けたので、衣服の画像に対して人物を入れ替えて、その衣装に最適な人物を簡単に探すことができる。また、本発明の実施形態においては、衣服の映っている画像を選択すると、それに合わせて人物を検索し、衣装の映っている画像に人物を画像合成している。この場合も、衣服の画像に対して人物を入れ替えて、その衣装に最適な人物を簡単に探すことができる。

さらに、本実施形態においては、撮影画像を用いて着せ替えモード表示することにより、様々な楽しみを提供することができ、例えば、どの服装が誰に似合うかなど、会話を促すコミュニケーション機器としてカメラ等を利用することができる。また、マネキン２２の代わりに、友人の撮影画像を利用すれば、友人の服を自分が着たらどうなるかを試して楽しむこともできる。

なお、本発明の実施形態においては、カメラにおいて撮影を行うと共に、撮影後に記録画像から着せ替えで再生表示を行うようにしていた。しかし、これに限らず、画像データを再生装置に格納し、この格納された画像データに基づいて着せ替えで再生表示を行うようにしても構わない。また、再生装置としてはパーソナルコンピュータでも良く、また再生専用装置であっても構わない。また、本発明の実施形態においては、撮影時に画像分類を行い、画像分類結果も画像データと一緒に記録していた。しかし、これに限らず、画像分類は、再生時に行うようにしても勿論かまわない。

また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理及び制御部、１ｂ・・・顔特徴抽出部、１ｃ・・・顔位置・大きさ判定部、１ｄ・・・画像検索部、１ｅ・・・部分消去部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・関連情報記録部、５ａ・・・テンプレート部、５ｂ・・・画像合成部、６・・・操作判定部、７・・・ＧＰＳ、８・・・表示制御部、８ａ・・・表示部、８ｂ・・・タッチパネル、９・・・時計部、１０・・・カメラ、１２・・・通信部、２１・・・テンプレート、２１ａ・・・顔部、２１ｂ・・・肩部、２２・・・マネキン、２２ａ・・・顔、２２ｂ・・・手、２３・・・服、２４・・・服、２５・・・人物、２６・・・人物、２７・・・人物、３１・・・顔輪郭、３２・・・顔輪郭中心、３３・・・顔陰影上下ライン、３４・・顔陰影中心、３５・・・画面上下ライン

Claims (14)

1. 被写体の画像データを出力する撮像部と、
   上記画像データに基づいて上記被写体を表示する表示部と、
   上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするための指定部と、
   上記指定部に指定された部分を上記被写体と一緒に記録する記録部と、
   を有することを特徴とするカメラ。
2. 上記指定部は上記表示部の画面上にスーパーインポーズするテンプレートを有することを特徴とする請求項１に記載のカメラ。
3. 被写体の画像データを出力する撮像部と、
   上記画像データに基づいて上記被写体を表示する表示部と、
   上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするためのテンプレートを上記表示部にスーパーインポーズで表示させる表示制御部と、
   上記被写体の画像データを記録する記録部と、
   を有することを特徴とするカメラ。
4. 上記記録部は、上記テンプレートを表示して上記被写体の画像データを記録したことを撮影情報として記録することを特徴とする請求項３に記載のカメラ。
5. 上記被写体を分類する画像分類部を有し、
   上記記録部は、上記分類部による被写体の分類を記録することを特徴とする請求項３に記載のカメラ。
6. 上記画像分類部は、少なくとも、服であることを分類できることを特徴とする請求項５に記載のカメラ。
7. 被写体の画像データを出力する撮像部と、
   上記画像データに基づいて上記被写体を表示する表示部と、
   上記被写体の上記画像データを取得するにあたって、上記被写体の一部を位置合わせするための指定部と、
   上記指定部に指定された部分を上記被写体と一緒に記録する記録部と、
   上記記録部に記録された画像データの中から人物画像を検索する検索部と、
   を有することを特徴とするカメラ。
8. 上記指定部は、上記表示部の画面上に表示された顔画像の部分に位置合わせを行うことを特徴とする請求項７に記載のカメラ。
9. 上記検索部は、予め記憶されている合成用のテンプレートの顔部分の、または取得した合成用顔画像の顔の大きさ、向き、角度情報を用い、上記記録部に記録されている複数被写体像の中から、略一致度の高い顔画像を検索し、
   さらに、上記検索部によって検索された顔画像に、上記合成用のテンプレートの顔部分、または合成用顔画像を合成する画像合成部と、
   を有することを特徴とする請求項７に記載のカメラ。
10. 上記画像合成は、上記合成用テンプレートの顔部分、または上記合成用顔画像の顔部分を消去し、その消去部分に上記検索部によって検索された画像の顔部が略一致するように画像合成することを特徴とする請求項９に記載のカメラ。
11. 被写体の画像データを出力する撮像部と、
    上記画像データに基づいて上記被写体を表示する表示部と、
    上記被写体の画像データを記録する記録部と、
    上記記録部に記録された画像の中から、服に関する画像と、人物に関する画像とを少なくとも分類可能な画像分類部と、
    上記画像分類部によって服と分類された画像の中から選択する選択部と、
    上記記録部に記録された画像の中から、人物に関する画像を検索する検索部と、
    上記選択部によって選択された服画像に対して、上記検索部によって検索された人物の顔部分を合成する画像合成部と、
    上記画像合成部によって合成された画像を表示する表示部と、
    を有することを特徴とするカメラ。
12. 被写体に関する画像データを記録する記録部と、
    上記記録部に記録された画像の中から、服に関する画像と、人物に関する画像とを少なくとも分類可能な画像分類部と、
    上記画像分類部によって服と分類された画像の中から選択する選択部と、
    上記記録部に記録された画像の中から、人物に関する画像を検索する検索部と、
    上記選択部によって選択された服画像に対して、上記検索部によって検索された人物の顔部分を合成する画像合成部と、
    上記画像合成部によって合成された画像を表示する表示部と、
    を有することを特徴とする画像表示装置。
13. 記録画像の中から、服に関する画像と人物に関する画像とに少なくとも分類し、
    上記分類された画像の中から服画像を選択し、
    上記記録画像の中から、人物に関する画像を検索し、
    上記選択された服画像に対して、上記検索された人物の顔部分を画像合成し、
    上記画像合成された画像を表示する、
    ことを特徴とする画像表示方法。
14. 記録画像の中から、服に関する画像と人物に関する画像とに少なくとも画像分類し、
    上記分類された画像の中から服画像を選択し、
    上記記録画像の中から、人物に関する画像を検索し、
    上記選択された服画像に対して、上記検索された人物の顔部分を画像合成し、
    上記画像合成された画像を表示する、
    ことをコンピュータに実行させることを特徴とするプログラム。