JP2004318603A - 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム - Google Patents

Abstract

【課題】簡単に撮影者が自分あるいは自分を含むグールプを撮影した画像に関するメタデータを付与し、画像の検索、分類をすることを可能にする。
【解決手段】メタデータ付与部１１０は、撮影者が自分あるいは自分を含むグループを撮影したか否かを判定し、画像のメタデータとして付与し、また、画像を撮影したカメラの所有者情報を取得し、画像のメタデータとして付与し、画像データベース１２０に格納する。検索部１３０は、撮影者が自分あるいは自分を含むグループを撮影した画像の被写体は、カメラの所有者か、カメラの所有者を含むグループであると推定して、画像データベース１２０を検索する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像の検索や分類（以下、検索で総称）処理に関し、詳しくは、人物の顔が含まれる画像、いわゆる顔画像に対しメタデータを付与して検索する画像検索方法、それに用いる自分撮り推定装置および方法、並びに自分撮り推定プログラムに関する。
【０００２】
【従来の技術】
画像に対してメタデータを付与することは、画像を様々な観点から検索、分類する上で重要である。特に、人物の顔の画像（以下、顔画像）が含まれる画像に対して、誰の顔画像が含まれる画像かという被写体に関するメタデータを付与することで、画像を人名というキーで検索、分類することが可能となる。
【０００３】
従来、顔画像から個人を識別する方法としては、予め人名と対応付けて登録してある顔画像と、評価対象の顔画像を比較して、最も類似する顔画像を抽出し、対応する人名を評価対象の顔画像の人名として割り当てるようなパターン認識によるアプローチが主流となっている。しかし、登録時の画像と評価時の画像では、姿勢、表情、照明、髪型、帽子、めがね等の条件が異なることが多く、識別を困難にしている。
【０００４】
なお、このパターン認識によるアプローチにおいて、顔の向きなどの姿勢変動にロバスト（頑健）な顔画像による個人識別を実現するための従来技術としては、例えば３次元スキャナーにより計測した顔の３次元モデルを基にした方法がある（非特許文献１参照）。
【０００５】
【非特許文献１】
赤松茂ら著「３次元ＣＧモデルを用いた顔画像のロバストな認識系実現への試み」，情報処理学会研究報告コンピュータビジョン，Ｎｏ．７２−３，１９９１
【０００６】
【発明が解決しようとする課題】
パターン認識によるアプローチでは、第一に、前提として人名に対応する画像のパターンを登録する必要がある。このため、これらの登録情報が存在しないと機能しないため、すくなくとも事前準備が必要である。
第二に、パターン認識によるアプローチでは、姿勢、表情、照明、髪型、帽子、めがね等の登録時と評価時の条件の相違を克服するために、条件が変わってもロバストに識別可能な特徴により画像を記録する必要がある。しかし、非特許文献１に記載のように、３次元モデルを記録し、処理するためには、処理時間や使用メモリ量等の処理コストが高くなるという問題がある。
第三に、特に髪型、帽子、めがねなど、登録時と評価時の変化が激しくなると、精度が悪くなるのは、パターン認識アプローチにとって必然的である。
【０００７】
一方で近年、カメラの小型化により、携帯電話のような端末にカメラが付与されたカメラ付き携帯端末が普及してきた。カメラ付き携帯端末では、離れた場所からでも、恋人や友人等に、自分が今体験した事件、驚き、感動を伝えるために、撮影した静止画や動画を、携帯端末の電子メール機能で送信することが可能である。
【０００８】
カメラ付き携帯端末の利用者は、上述のような簡易な現場リポートを実現するために、自分自身で自分の姿を撮影する、いわゆる「自分撮り」を行うことが多い。自分撮りでは、片手にカメラを持ち、レンズを自分に向け、自分の顔画像と、背景を組合せたレイアウトで撮影する。端末も、レンズを回転可能にしたり、プレビュー画面の背面と前面の両方にレンズを付加し、レンズの向きをプレビュー画面の向きにし、自分撮りをする時でも、プレビュー画面を確認しながら自分撮りができるような機能を備えたものが登場してきた。これにより、自分撮りがしやすい環境が益々整ってきている。ここで「プレビュー画面」とは、カメラで撮影する前や、撮影中に撮影イメージをチェックするために、現在レンズに映っている画像を撮影者に見せるための画面のことをいう。
【０００９】
自分撮りにより撮影された画像には、２つの特徴がある。第一に、自分撮りで撮影された顔画像は、撮影者、あるいは撮影者を含むグループである。カメラ付き携帯電話のような端末では、端末が個人専用であるため、撮影者と所有者が同一人物である場合が多く、電話番号やメールアドレスにより端末所有者を容易に把握可能である（他人の端末を借りて、自分撮りをすることも可能であるが、確率としては低い）。第二に、複数人で撮影する場合には、被写体同士が体を寄せ合わないと画面に被写体が入りきらないため、このグループは、恋人や極親しい友人等である場合が多い。
【００１０】
本発明は、従来のパターン認識によるアプローチの課題である事前準備が必要である、処理コストが高くなる、登録時と評価時の状態変化により精度が悪くなる等に鑑みなされたもので、上述のカメラ付き携帯端末などで自分撮りした画像の特徴を利用して、簡単に画像にメタデータを付与し、画像を検索する方法を提供することを目的とする。
【００１１】
本発明の他の目的は、カメラ付き携帯電話のような端末などで撮影した画像を対象として、簡単に自分撮りを推定する装置および方法、並びにそのプログラムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、画像にメタ情報を付与し、検索、分類するシステムにおいて、画像中に人物の顔画像が含まれている場合に、撮影者が自分あるいは自分を含むグループを撮影したか否かを判定し、画像のメタデータとして付与し、画像を撮影したカメラの所有者情報を取得し、画像にメタデータとして付与する。検索は、撮影者が自分あるいは自分を含むグループを撮影した画像の被写体は、カメラの所有者か、カメラの所有者を含むグループであると推定して画像を検索する。
【００１３】
これにより、事前準備がいらなく、処理コストが低く、登録時、評価時の状態変化にロバストな方法で、撮影者が、自分、あるいは自分を含むグループを撮影した画像に対して被写体に関するメタデータを付与し、画像の検索、分類をすることが可能となる。
【００１４】
また、本発明では、画像を電子メールとして受信した送受信者する場合に、電子メールから受信者情報を取得して画像にメタデータとして付与する。さらに、画像中に、何人分の顔画像が含まれるかを算出し、画像のメタデータとして付与する。検索は、撮影者が自分あるいは自分を含むグループを撮影した画像で、１人分の顔画像が存在する場合に、顔画像の被写体を、当該画像を撮影したカメラ所有者として画像を検索、分類し、さらには、撮影者が自分あるいは自分を含むグループを撮影した画像で、２人以上分の顔画像が存在する場合に、顔画像の被写体を、カメラ所有者を含み、電子メール受信者、あるいはカメラ所有者と電子メール受信者の知人からなるグループであると推定して画像を検索、分類する。
【００１５】
これにより、被写体が１人の場合と、２人以上の場合とに分けて、各被写体に関するメタ情報を付与し、画像を検索、分類することができる。
【００１６】
また、本発明では、画像を撮影したカメラの所有者が分かっている場合に、特に、画像から顔画像を抽出し、顔画像が存在したら、顔画像の大きさを評価し、顔画像の大きさが閾値以上の場合に、撮影者が自分、自分を含むグループを撮影していると推定する。
【００１７】
これにより、画像だけを手掛かりにして、撮影者が自分、あるいは自分を含むグループを撮影しているか否かを推定することができる。
【００１８】
また、本発明では、カメラ付き携帯端末のように、カメラレンズとプレビュー画面の方向が検知できる場合に、撮影を検知すると、カメラレンズの方向とプレビュー画面の方向を比較し、カメラレンズの方向とプレビュー画面の方向が同じである場合に、撮影者が自分、自分を含むグループを撮影していると推定する。
【００１９】
これにより、撮影時のカメラの使い方をもとにして、撮影者が自分、自分を含むグループを撮影しているか否かを推定することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態について図面により説明する。
【００２１】
＜実施例１＞
本実施例は、事前準備がいらなく、処理コストが低く、登録時、評価時の状態変化にロバスト（頑健）な方法で、撮影者が、自分、あるいは自分を含むグループを撮影した画像に対して被写体に関するメタデータを付与し、画像の検索、分類をすることを可能とするものである。
【００２２】
図１は本実施例の構成図であり、メタデータ付与部１１０、画像データベース１２０、検索部１３０から構成され、メタデータ付与部１１０は、自分撮り判定部１１１とカメラ所有者取得部１１２から構成される。この構成は、例えばカメラ付き携帯電話などの端末内や電子メールのやり取りを中継するメールサーバ内などに実装される。
【００２３】
メタデータ付与部１１０において、自分撮り判定部１１１は、撮影された画像に対して、撮影者が、自分で自分自身を撮影する、いわゆる自分撮りした画像か否かを判定し、その結果をメタデータとして画像データベース１２０に記録する。画像が自分撮りか否かは、撮影された評価対象画像の特徴を利用する方法や、撮影時に判定する場合には、カメラの使い方の特徴を利用する方法が考えられているが、その詳細については後述する（実施例３、４）。
【００２４】
カメラ所有者取得部１１２は、カメラの所有者に関する情報を取得し、その情報をメタデータとして画像データベース１２０に記録する。カメラ付き携帯電話などの端末内に実装する場合は、端末に登録されている氏名、電話番号、電子メールアドレスなど個人を特定できる情報を取得する。また、電子メールの送信者のメールアドレスや氏名から、画像を撮影したカメラの所有者を取得する場合もある。
【００２５】
画像データベース１２０は、画像の実体およびそのメタデータを記録する。図２に示すように、本実施例では、メタデータとして、少なくとも自分撮りか否か、カメラ所有者、画像ファイル名を記録する。なお、メタデータは、動画を撮影する場合は、各フレームを静止画像と見なして、各フレームごとに付与する。これは、次の実施例２でも同様である。
【００２６】
検索部１３０は、被写体に関する情報をもとに検索、分類要求を受けると、検索条件を翻訳し、翻訳した検索条件で画像データベース１２０を検索し、結果を要求元に返す。例えば、「被写体にＸさんを含む画像」が欲しいという要求が来たら、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである」という条件で、画像データベース１３０から画像を抽出し、結果を返す。
【００２７】
図３はメタデータ付与部１１０の処理フローチャートである。まず、自分撮り判定部１１１が、撮影された評価対象の画像に対して、自分撮りした画像か否かを判定する（Ｓ１１）。そして、自分撮りした画像であれば、該評価対象の画像のメタデータとして、自分撮りであるという情報を付与し（Ｓ１２）、自分撮りした画像でなければ、評価対象の画像のメタデータとして、自分撮りではないという情報を付与する（Ｓ１３）。次に、カメラ所有者取得部１１２が、カメラの所有者に関する情報を取得し、その情報を該評価対象の画像のメタデータとして付与する（Ｓ１４）。これらメタデータは、画像と対応づけて画像データベース１２０に記録される（図２）。
【００２８】
メタデータ付与部１１０は、全画像データを処理したかを判定し、全データを処理したらメタデータ付与の処理を終了し、そうでない場合は、ステップＳ１１に戻る。
【００２９】
上記メタデータを付与する処理は、画像データベース１２０に既に蓄積された画像を対象としてもよく、また、画像を撮影するごと、あるいは写真付きメールを送信、受信、中継するごとのいずれでも可能である。これは、次の実施例２でも同様である。
【００３０】
図４は検索部１３０の処理フローチャートである。検索部１３０が、「被写体にＸさんを含む画像」が欲しいという要求を受信すると（Ｓ２１）、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである」という条件で、画像データベース１２０から画像を抽出し、結果を要求元へ返す（Ｓ２２）。
【００３１】
＜実施例２＞
本実施例は、被写体が１人の場合と、２人以上の場合とに分けて、各被写体に関するメタ情報として、画像の添付された電子メールの受信者情報及び画像中の人数を更に付与して、画像を検索、分類することを可能とするものである。
【００３２】
図５は本実施例の構成図であり、メタデータ付与部２１０、画像データベース２２０、検索部２３０の基本構成は図１と同様であるが、メタデータ付与部２１０は、自分撮り判定部２１１、カメラ所有者取得部２１２、電子メール受信者取得部２１３、人数算出部２１４から構成される。先の図１と同様に、この構成の場合も、カメラ付き携帯電話などの端末内や電子メールのやり取りを中継するメールサーバ内などに実装することができる。
【００３３】
自分撮り判定部２１１は、撮影された画像に対して、自分撮りした画像かを判定し、その結果をメタデータとして画像データベース２２０に記録する。自分撮り判定の詳細については後述する。
【００３４】
カメラ所有者取得部２１２は、カメラの所有者に関する情報を取得し、その情報をメタデータとして画像データベース２２０に記録する。本実施例では、電子メールで送受信される画像を処理の対象としている。このため、電子メールの送信者のメールアドレスや氏名から、画像を撮影したカメラの所有者を取得する。
【００３５】
電子メール受信者取得部２１３は、画像が添付された電子メールを受信する受信者に関する情報を取得し、その情報をメタデータとして画像データベース２２０に記録する。電子メールの送受信履歴が利用可能な場合には、当該電子メールの受信者の情報をそのまま利用する。
【００３６】
人数算出部２１４は、図６に示すように、画像中に顔画像が存在する場合に、画像中に存在する被写体の人数を算出し、その情報をメタデータとして画像データベース２２０に記録する。自動で算出する場合には、顔画像を認識し、その数を算出する。管理者が黙視で数えて登録するような手動による方式でもよい。
【００３７】
画像データベース２２０は、画像の実体およびそのメタデータを記録する。図７に示すように、本実施例では、メタデータとしては、少なくとも自分撮りか否か、人数、カメラ所有者、受信者、画像ファイル名を記録する。本実施例では、電子メールで送受信される画像を処理の対象としているため、電子メールの送信者のメールアドレスや氏名から、画像を撮影したカメラの所有者を取得する。
【００３８】
検索部２３０は、被写体とその人数に関する情報をもとに検索、分類要求を受けると、検索条件を翻訳し、翻訳した検索条件で画像データベース２２０を検索し、結果を返す。例えば、「Ｘさんが１人で映っている画像」が欲しいという要求が来たら、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである、かつ、人数＝＝１人」という条件で画像データベース２２０から画像を抽出し、結果を要求元へ返す。また、「Ｘさんが含まれていて、Ｙさん、あるいは、あるいはＸさんとＹさんの知人が一緒に映っている画像」が欲しいという要求が来たら、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである、かつ、人数＞＝２人、かつ、受信者＝＝Ｙさん」という条件で画像データベース２３０から画像を抽出し、結果を要求元へ返す。
【００３９】
図８はメタデータ付与部２１０の処理フローチャートである。まず、自分撮り判定部２１１が評価対象の画像に対して、自分撮りした画像か否か判定し（Ｓ３１）、自分撮りした画像であれば、該評価対象の画像のメタデータとして自分撮りであるという情報を付与し（Ｓ３２）、自分撮りした画像でなければ、自分撮りではないという情報をメタデータとして付与する（Ｓ３３）。これは先の実施例１と同様である。
【００４０】
次に、カメラ所有者取得部２１２が、カメラの所有者に関する情報を取得し、その情報をメタデータとして付与する（Ｓ３４）。本実施例では、電子メールで送受信される画像を処理の対象としている。このため、電子メールの送信者のメールアドレスや氏名から、画像を撮影したカメラの所有者を取得してメタデータとする。次に、電子メール受信者取得部２１３が、画像が送受信される電子メールから該電子メールを受信する受信者に関する情報を取得し、その情報をメタデータとして付与する（Ｓ３５）。次に、人数算出部２１４が、画像中に顔画像が存在する場合に、該画像中に存在する被写体の人数を算出し、メタデータとして付与する（Ｓ３６）。これらのメタデータは、画像と対応づけて画像データベース２２０に記録される（図７）。
【００４１】
その後、メタデータ付与部２１０は、全画像データを処理したかを判定し、全データを処理したらメタデータ付与の処理を終了し、そうでない場合はステップＳ３１に戻る。
【００４２】
図９は検索部２３０の処理フローチャートである。検索部２３０は、被写体とその人数に関する情報をもとに検索、分類要求を分類する（Ｓ４１）。例えば、「Ｘさんが１人で映っている画像」が欲しいという要求が来たら、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである、かつ、人数＝＝１人」という条件で画像データベース２２０から画像を抽出し、結果を要求元へ返す（Ｓ４２）。また、「Ｘさんが含まれていて、Ｙさん、あるいは、あるいはＸさんとＹさんの知人が一緒に映っている画像」が欲しいという要求が来たら、「カメラ所有者＝＝Ｘさん、かつ、自分撮りである、かつ、人数＞＝２人、かつ、受信者＝＝Ｙさん」という条件で画像データベース２２０から画像を抽出し、結果を要求元へ返す（Ｓ４３）。
【００４３】
＜実施例３＞
これは、図１や図５における自分撮り判定部１１１、２１１に好適な一実施例であり、特に画像だけを手掛かりにして、撮影者が自分、あるいは自分を含むグループを撮影しているか否かを推定することを可能とする構成例である。
【００４４】
図１０は本実施例の構成図であり、自分撮り推定装置３００は、画像入力部３０１、顔画像抽出部３０２、顔画像評価部３０３、評価結果出力部３０４から構成される。
画像入力部３０１は、評価対象の画像を入力する。本実施例では、画像データベースに既に蓄積されている画像、いま撮影した画像、電子メールで送受信される画像等、いずれでも適用することができる。
【００４５】
顔画像抽出部３０２は、入力された評価対象画像から顔画像を抽出する。顔画像の抽出は、顔画像の特徴、例えば丸くて、肌色であるといった特徴を利用して、既知の画像処理により自動で抽出することができる。
【００４６】
顔画像評価部３０３は、顔画像抽出部３０２が抽出した顔画像の大きさを評価し、あらかじめ定めた閾値以上の大きさである場合に、自分撮りをしたと推定し、そうでない場合は、自分撮りでないと推定する。複数ある場合は、一番大きな顔画像で評価する。なお、この顔画像評価部３０３では、顔画像抽出部３０２において評価対象画像から顔画像が抽出されなかった場合（顔画像抽出部３０２が顔画像成しを通知）にも、自分撮りではないと推定する。
【００４７】
評価結果出力部３０４は、顔画像評価部３０３での評価結果、すなわち、自分撮りあるいは自分撮りでないという推定結果を出力する。出力先は、例えば図１や図５に示す画像データベース１２０、２２０であり、画像と対応づけて当該画像のメタデータとして記録される。
【００４８】
図１１に従来（通常）の相手撮りの撮影方法と自分撮りによる撮影方法およびそれぞれの画像レイアウトを示す。従来の撮影方法（ａ−１）と異なり、自分撮りによる撮影方法（ｂ−１）では、撮影者は片手でカメラ付き携帯電話などの端末を持ってレンズを自分に向ける。そのため、レンズと被写体である顔の距離は、腕の長さ以上にはならない。したがって、顔画像の大きさが一定以上の大きさになる（ｂ−２）。一方、従来の撮影方法では、人物全体の画像、自分撮りと同様な顔が像の接写、人物以外の風景等など、映る画像の自由度は高い（ａ−２）。このため、顔画像の大きさが一定以上であっても、自分撮りではない可能性もある。しかし、カメラ付き携帯端末における撮影方法として、自分撮りが多いと仮定すると、ある程度顔画像の大きさという判定基準で、自分撮りであると推定してもよいことがわかる。本実施例はこの考えに基づいている。
【００４９】
図１２は、本実施例の自分撮り推定装置３００の処理フローチャートである。画像入力部３０１が評価対象画像を入力し、顔画像抽出部３０２に渡す（Ｓ５１）。顔画像抽出部３０２が、評価対象画像から顔画像を抽出し、顔画像評価部３０３に渡す（Ｓ５２）。顔画像評価部３０３は、顔画像抽出部３０２が顔画像を抽出したか判定し（Ｓ５３）、顔画像を抽出した場合には、該顔画像の大きさを評価し（Ｓ５４）、顔画像が閾値以上の大きさである場合には自分撮りであると判定し（Ｓ５５）、閾値以上の大きさでない場合には自分撮りでないと判定する（Ｓ５６）。また、顔画像評価部３０３では、顔画像抽出部３０２において顔画像が抽出されなかった場合にも（顔画像抽出部３０２が顔画像なしを通知）、自分撮りではないと判定する（Ｓ５６）。評価結果出力部３０４は、顔画像評価部３０３の評価結果（判定結果）を出力する。
【００５０】
＜実施例４＞
これは、図１や図５における自分撮り判定部１１１、２１１に好適な別の実施例であり、特に撮影時のカメラの使い方をもとにして、撮影者が自分、自分を含むグループを撮影しているか否かを推定することを可能とする構成例である。本実施例は、カメラ付き携帯電話などの端末において、撮影した画像に即座に自分撮りか否かの情報をメタデータとして付与して記録する場合に有効である。
【００５１】
図１３は本実施例の構成図であり、自分撮り推定装置４００は、撮影検知部４０１、カメラ方向検知部４０２、評価結果出力部４０３から構成される。
【００５２】
撮影検知部４０１は、カメラで撮影が行われたことを検知し、レンズ方向検知部４０２に、プレビュー画面方向の検知要求を出す。撮影が行われたか否かは、例えばカメラのスタートボタンが押下されたか否かで検知する。
【００５３】
レンズ方向検知部４０２は、撮影検知部４０１からプレビュー画面方向の検知要求を受けると、端末の現在のプレビュー画面が、レンズ方向と同じ方向であるか否かを比較し、同じ方向であったら自分撮りであると推定し、そうでない場合は、自分撮りでないと推定する。例えば、レンズあるいはプレビュー画面が回転する端末の場合には、両者が同じ方向に向いているように部位が回転されているか否かによって推定する。また、プレビュー画面の裏と表両方にレンズがついている端末の場合には、撮影時にプレビュー画面の表側についているレンズを利用したか否かによって推定する。なお、動画を撮影する場合には、１フレーム（１コマ）を１つの画像とし、１フレーム毎に、その時点のレンズ方向とプレビュー画面方向を比較して自分撮りか否か推定（評価）すればよい。
【００５４】
評価結果出力部４０３は、レンズ方向検知部４０２での評価結果、すなわち、自分撮りあるいは自分撮りでないという推定結果を出力する。先の実施例３と同様に、出力先は、例えば図１や図５に示す画像データベース１２０、２２０であり、画像と対応づけて当該画像のメタデータとして記録される。
【００５５】
図１４は、本実施例の自分撮り推定装置４００の処理フローチャートである。撮影検知部４０１が、カメラで撮影が行われたことを検知し、レンズ方向検知部４０２にプレビュー画面方向の検知要求を出す（Ｓ６１）。レンズ方向検知部４０２が、撮影検知部４０１からプレビュー画面方向の検知要求を受けると、現在のプレビュー画面が、レンズ方向と同じ方向であるかを比較し（Ｓ６２）、同じ方向であったら自分撮りと推定し（Ｓ６３）、同じ方向でなかったら自分撮りではないと推定する（Ｓ６４）。評価結果出力部４０３が、レンズ方向検知部４０２の推定結果（評価結果）を出力する（Ｓ６５）。
【００５６】
なお、図１、図５、図１０、図１３などに示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図３、図４、図８、図９、図１２、図１４などで示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００５７】
【発明の効果】
本発明によれば、以下のような効果が得られる。
（１）事前準備がいらなく、処理コストが低く、登録時、評価時の状態変化にロバスト（頑健）な方法で、撮影者が、自分、あるいは自分を含むグループを撮影した画像に対して被写体に関するメタデータを付与し、画像の検索、分類をすることが可能となる。
（２）被写体が１人の場合と、２人以上の場合とに分けて、各被写体に関するメタ情報を付与し、画像を検索、分類することができる。
（３）画像だけを手掛かりにして、撮影者が自分、あるいは自分を含むグループを撮影しているか否かを推定することができる。
（４）撮影時のカメラの使い方をもとにして、撮影者が自分、自分を含むグループを撮影しているか否かを推定することができる。
【図面の簡単な説明】
【図１】
本発明の画像検索方法を実現する実施例１の構成図である。
【図２】
実施例１における画像データベースのメタデータ例である。
【図３】
実施例１におけるメタデータ付与の処理フローチャートである。
【図４】
実施例１における検索の処理フローチャートである。
【図５】
本発明の画像検索方法を実現する実施例２の構成図である。
【図６】
１人分の顔画像と２人分の顔画像の一例である。
【図７】
実施例２における画像データベースのメタデータ例である。
【図８】実施例２におけるメタデータ付与の処理フローチャートである。
【図９】実施例２における検索の処理フローチャートである。
【図１０】本発明の自分撮り推定装置を示す実施例３の構成図である。
【図１１】従来の撮影方法と自分撮りによる撮影方法およびそれぞれの画像レイアウトの一例である。
【図１２】実施例３の処理フローチャートである。
【図１３】本発明の自分撮り推定装置を示す実施例４の構成図である。
【図１４】実施例４の処理フローチャートである。
【符号の説明】
１１０ メタデータ付与部
１１１ 自分撮り判定部
１１２ カメラ所有者取得部
１２０ 画像データベース
１３０ 検索部
２１０ メタデータ付与部
２１１ 自分撮り判定部
２１２ カメラ所有者取得部
２１３ 電子メール受信者取得部
２１４ 人数算出部
２２０ 画像データベース
２３０ 検索部
３００ 自分撮り推定装置
３０１ 画像入力部
３０２ 顔画像抽出部
３０３ 顔画像評価部
３０４ 評価結果出力部
４００ 自分撮り推定装置
４０１ 撮影検知部
４０２ レンズ方向検知部
４０３ 評価結果出力部

Claims (7)

1. 画像にメタデータを付与し、前記メタデータを利用して画像を検索する画像検索方法において、
   画像が撮影者自身あるいは該撮影者を含むグループを撮影した画像（以下、自分撮り）であることを表わす自分撮り情報と、前記画像を撮影したカメラの所有者情報とを、メタデータとして前記画像に対応づけて格納し、
   前記自分撮り情報と前記カメラの所有者情報を利用して画像を検索する、
   ことを特徴とする画像検索方法。
2. 請求項１記載の画像検索方法において、
   画像を送受信する電子メールから受信者情報を取得し、画像中に含まれる顔画像から人数を取得し、前記受信情報者及び前記人数の情報を更にメタデータとして画像に対応付けて格納し、
   前記自分撮り情報と前記カメラの所有者情報の他に、前記受信者情報と前記人数の情報も利用して画像を検索する、
   ことを特徴とする画像検索方法。
3. 画像から顔画像を抽出する手段と、顔画像が存在したら、顔画像の大きさを閾値と比較し、顔画像の大きさが閾値以上の場合に、撮影者が自分あるいは自分を含むグループを撮影していると推定する手段とを備えることを特徴とする自分撮り推定装置。
4. 画像から顔画像を抽出するステップと、顔画像が存在したら、顔画像の大きさを閾値と比較するステップと、顔画像の大きさが閾値以上の場合に、撮影者が自分あるいは自分を含むグループを撮影していると推定するステップと、
   を有することを特徴とする自分撮り推定方法。
5. カメラの撮影を検知する手段と、前記撮影を検知すると、カメラレンズの方向とプレビュー画面の方向を比較し、カメラレンズの方向とプレビュー画面の方向が同じである場合に、撮影者が自分あるいは自分を含むグループを撮影していると推定する手段とを備えることを特徴とする自分撮り推定装置。
6. カメラの撮影を検知するステップと、前記撮影を検知すると、カメラレンズの方向とプレビュー画面の方向を比較するステップと、カメラレンズの方向とプレビュー画面の方向が同じである場合に、撮影者が自分あるいは自分を含むグループを撮影していると推定するステップとを有することを特徴とする自分撮り推定方法。
7. 請求項４あるいは６に記載の自分撮り推定方法をコンピュータで実行させるための自分撮り推定プログラム。

Images