JP2010523034A - デジタル写真のコンテンツ情報サービス - Google Patents

デジタル写真のコンテンツ情報サービス Download PDF

Info

Publication number
JP2010523034A
JP2010523034A JP2010500371A JP2010500371A JP2010523034A JP 2010523034 A JP2010523034 A JP 2010523034A JP 2010500371 A JP2010500371 A JP 2010500371A JP 2010500371 A JP2010500371 A JP 2010500371A JP 2010523034 A JP2010523034 A JP 2010523034A
Authority
JP
Japan
Prior art keywords
image
person
database
data
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010500371A
Other languages
English (en)
Other versions
JP5016101B2 (ja
Inventor
トマス カール−アクセル ウェシングボ,
グナー クリングフルト,
ジョハン エフ. ガリクソン,
エラル デニス フォクセンランド,
ランディー−リーセ ヒェルメランド アルモス,
アンナ−マリア ラジェステッド,
Original Assignee
ソニー エリクソン モバイル コミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エリクソン モバイル コミュニケーションズ, エービー filed Critical ソニー エリクソン モバイル コミュニケーションズ, エービー
Publication of JP2010523034A publication Critical patent/JP2010523034A/ja
Application granted granted Critical
Publication of JP5016101B2 publication Critical patent/JP5016101B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

サーバが、デジタル写真に描かれている画像に関係する選択情報を含む情報記録を提供する。サーバはデータベースと認識アプリケーションとを有することができる。データベースは、複数のテーマの各々に関連して、i)画像内のテーマを認識するための認識データと、ii)テーマに関連する情報とを保存することができる。認識アプリケーションはリモートクライアントシステムから要求を受信することができる。この要求には少なくともデジタル写真の一部を具現化するデジタル画像が含まれている。認識アプリケーションは認識データをデジタル画像に適用する。選択されたテーマはデジタル画像に描かれているテーマである。認識アプリケーションはデータベースから選択情報を取得する。選択情報は選択済みテーマに関連する情報であってもよい。次いで、応答がリモートクライアントシステムへ返信される。この応答には選択情報を含む情報記録が含まれている。

Description

本発明は、デジタル写真のコンテンツに関連する情報を提供する自動化システムに関し、特に、デジタル写真に描かれている画像に関連する情報を提供するサービスを提供する自動化システムに関する。
過去数年でデジタル写真の利用が著しく拡大した。デジタルカメラ部品の製造コストの低下と相まってデジタル写真システムの品質が進歩したことによって、デジタルカメラが広範に使用されるようになった。さらに、品質の進歩及びコストの低下と相まってサイズが縮小したことによって、移動電話機及び携帯情報端末(PDA)のような種々の携帯用電子装置の中へデジタルカメラを一体化することが可能となった。
個々の撮影済み写真に関連して消費フィルムのコストがかかる従来のフィルム写真とは異なり、デジタル写真の場合、個々の写真に関連してコストが増加することはない。したがって、デジタルカメラのユーザは、従来のフィルムカメラを用いてユーザが撮影していた場合よりも多くの写真を撮影することが多くなる。
多くのデジタル写真の撮影に関連して生じる挑戦すべき課題として、写真(又は写真のグループ)のロケーションがすぐにわかるように(ファイルとして保存された)写真の編成及び管理を行うことがある。デジタル写真の編成と管理を行うための1つの明らかなアプローチとして、写真の画像コンテンツを特定するのに役立つファイル名とディレクトリ名とを付したネストされたディレクトリ内でファイルの編成を行うというアプローチがある。しかしながら、このような解決策は有用なものではあるが、最適のものではない。このような解決策は、適当なディレクトリ名とファイル名とが知られていなければ、デジタル写真のサーチ又はロケーションの発見は容易ではない。
「写真アルバム」ソフトウェアアプリケーションの複数のプロバイダがデジタル写真の編成を容易にしている。例えば、アドビシステム(Adobe Systems)(登録商標)から入手可能なフォトショップ(登録商標)では、ユーザがテキストベースのタグを個々の写真と関連付けることができるようになっている。この場合、サーチ機能によって、そのようなテキストに基づいてサーチを行うことができるようになっている。この種の解決策はサーチを容易にするものではあるが、一方で、個々の写真に関連するテキストを手を使ってタイピングすることは、時間がかかる上に、やっかいな作業となる。
テキストベースのタグを個々の写真と関連付けるステップを支援するために顔認識技術を用いる方法が提案された。非特許文献1において、その著者たちは、顔の画像を写真から自動的に抽出する顔面検出器の利用を提案している。次いで、顔の画像は、選択済みのモデルとの類似度によってソートされる。ユーザインタフェースがソートされた顔の画像を提示して、ユーザが顔の画像をある人物に割り当てる(例えば顔の画像に対してラベル付けを行う)ことができるようにする。顔の画像に割り当てられたラベルは、顔の画像が抽出された抽出元の写真に関連付けられる。ユーザが抽出した顔の画像にラベルがつけられると、この顔の画像は、追加の顔の画像をソートするために用いるモデルとなる。上述の顔認識技術に対する1つの挑戦すべき課題には、認識が、データベース内の利用可能なモデルの人物に限定されるという点がある。
「写真の発見及び編成のための顔認識技術の活用(Leveranging Face Recognition Technology to Find and Organize Photos)」、アンドレアス ギルゲンソーン(Andreas Girgensohn)、ジョン アドコック(John Adcock)、リン ウィルコックス(Lynn Wilcox)著、2004年に発表
テキストベースのメタデータをデジタル写真と自動的に関連付けることによって、デジタル写真のコレクションを編成するための改善されたシステム及び方法が必要とされている。特に、デジタル写真のコレクションを管理するデバイスに限定されたデータベース内で利用可能なデータに基づく制限された自動認識を用いることなく、テキストベースのメタデータをデジタル写真と自動的に関連付けるためのネットワークベースのサービスとして実現されるシステム及び方法が必要とされている。
本発明の第1の側面は、デジタル写真に描かれている画像と関係する選択情報を含む情報記録を提供するサーバを備えるものである。このサーバはデータベースと認識アプリケーションとを有することができる。
データベースは、複数のテーマの各々に関連して、i)画像内のテーマを認識するための認識データと、ii)テーマに関連する情報とを保存することができる。
その認識アプリケーションはリモートクライアントシステムから要求を受信することができる。この要求には少なくともデジタル写真の一部を具現化するデジタル画像が含まれている。認識アプリケーションは認識データをデジタル画像に適用し、選択テーマを決定する。その選択テーマはデジタル画像に描かれているテーマである。
認識アプリケーションはさらに、選択情報をデータベースから取得する。この選択情報は選択テーマに関連する情報であってもよい。次いで、応答が、リモートクライアントシステムへ返信される。その応答は上記選択情報を含む情報記録を有する。
第1の実施例では、データベースは人物の識別データベースを含むことができる。この人物の識別データベースは、複数の人物のそれぞれについて、i)人物の画像を認識するための識別データと、ii)人物に関する個人情報とを関連付ける。個人情報は人物の氏名、及び、電子メールアドレス、テキストメッセージ交換用アドレス、電話番号、個人用ウェブサイトのURLなどのような人物の連絡先情報を含むことができる。
このような実施例において、認識データをデジタル画像に適用して、選択テーマを決定することは、デジタル画像の顔の画像を識別データと比較して、選択対象人物を特定することを含む。その選択対象人物はデジタル画像の内部に描かれている画像の複数の人物のうちの一人である。さらに、選択情報をデータベースから取得することは、人物に関する個人情報を取得することを含むことができる。
1つの副次的な実施例では、人物の識別データベースはさらに、複数の人物に関する個人情報を受信する権限が与えられたグループのID(identification)とこれらの人物各々を関連付けても良い。この副次的な実施例では、要求は要求のソースを特定する認証データを含むと良く、要求のソースが選択対象人物に関する個人情報を受信する権限が与えられたグループ内にあれば、サーバは、選択対象人物に関連する個人情報を単に返信すれば良い。
さらに別の副次的な実施例では、人物の識別データベースはさらに、複数の人物が自分の描かれている写真を取得することを所望しているか否かを特定する写真共有要求インジケータと該複数の人物各々を関連付けることができる。この副次的な実施例では、応答は選択対象人物に関連付けられた写真共有要求インジケータをさらに有する。その個人情報には、自分の顔が描かれている写真が送信されることを所望する選択対象人物へのネットワークアドレスが含まれている。サーバか、リモートクライアント装置のいずれかがこのようなネットワークアドレスへ写真を送信することができる。
第2の実施例では、データベースは、複数のロケーションのそれぞれについて、i)所定のロケーションから見ることができる複数のアトラクション各々を認識する識別データと、ii)所定のロケーションから見ることができる複数のアトラクション各々に関する記述データとを関連付けるアトラクションデータベースを含むことができる。アトラクションとは、ビル、建築構造物又は芸術的構造物、認識可能な自然の風景の特徴、又は、典型的には写真のような写真撮影者が情報を欲しがる対象となるその他のアトラクションを含むものであってもよい。
第2の実施例では、要求はさらに、(デジタル画像が保存されている場所であるロケーションなどの)写真のロケーションを特定しても良い。このような特定はGPS座標によって行うことも可能である。
さらに、選択テーマを決定するために認識データをデジタル画像に適用することは、i)所定の選択ロケーションが写真のロケーションに対応する所定のロケーションとなり得る、所定の選択ロケーションを決定することと、ii)所定の選択ロケーションから見ることができるアトラクション用の識別データとデジタル画像を比較して、選択アトラクションを決定することとを含むことが可能である。この選択アトラクションは、所定のロケーションから見ることができ、かつ、デジタル画像に描かれている複数のアトラクションのうちの1つであってもよい。
さらに、データベースから選択情報を取得することは、選択されたアトラクションに関連付けられた記述データを取得することを含む。記述データはこのアトラクションを特定することが可能であり、アトラクションが行われる(国、州、市、街路、地域、又はディズニー(登録商標)パークのような)ロケーションを人間の認識が可能な術語の形で特定することが可能であり、さらに、アトラクションに関するその他の事実、統計、又は他の情報あるいはアトラクションに関する追加情報用のURLさえも特定することが可能である。
第3の実施例では、データベースはワインラベルのデータベースを含むことができる。ワインラベルのデータベースは、複数の等級のワインの各々を、i)ワインの等級に関連付けられたラベルの画像の認識用データと、ii)ワインの等級に関する情報とに関連付けることができる。
第3の実施例では、認識データをデジタル画像に適用し、選択テーマを決定することは、ラベルの画像の認識用データとデジタル画像を比較して、選択されたワインの等級を特定することを含むことができる。選択されたワインの等級は、デジタル画像に描かれているラベルに関連付けられた複数のワインの等級のうちの1つである可能性がある。テーマに関するデータには選択されたワインの等級に関する情報が含まれている。
本発明の第2の側面では、データベースは、i)デジタル画像が画像カテゴリ内に存在するかどうかを判定するためのコンテンツ認識データと複数の画像カテゴリの各々を関連付けるカテゴリ化レベルのデータベースと、ii)個々の画像カテゴリ内について、画像カテゴリ内にあるテーマをテーマに関するデータと関連付けるIDレベルのデータベースとを含むことができる。
この面からすると、選択テーマを決定するために認識データをデジタル画像に適用することは、選択画像カテゴリを決定するためにデジタル画像をコンテンツ認識データと比較することを含むことができる。選択画像カテゴリはデジタル画像が一致するコンテンツ認識データを含む画像カテゴリであってもよい。次いで、選択テーマを決定するために、デジタル画像は選択された画像カテゴリ内のテーマと比較される。選択テーマはデジタル画像に描かれているテーマである。さらに、この側面では、選択情報をデータベースから取得することは選択テーマに関するデータを取得することを含む。
第2の側面の第1の実施例では、画像カテゴリは人物の画像カテゴリであってもよい。第1の実施例では、IDレベルのデータベースは人物の画像カテゴリに関連付けられた人物の識別データベースを含むものとなる。この人物の識別データベースは、複数の人物のそれぞれについて、i)人物の画像を認識するための識別データを人物に関する個人情報と関連付ける。個人情報は人物の氏名及び連絡先情報を含むことができる。
さらに、デジタル画像を選択された画像カテゴリ内のテーマと比較することは、デジタル画像の顔の画像を人物の識別データベースの識別データと比較して、選択対象人物を特定することを含むことができる。選択対象人物はデジタル画像内に描かれている画像の複数の人物のうちの一人である。選択テーマに関するデータには選択対象人物に関連する個人情報が含まれている。
また、1つの副次的な実施例では、人物の識別データベースはさらに、複数の人物各々をその人物に関する個人情報を受信する権限が与えられたグループのIDと関連付けることができる。この副次的な実施例では、要求は要求のソースを特定する認証データを含むと良く、要求のソースが選択対象人物に関する個人情報の受信権限が与えられているグループ内にあれば、サーバは選択対象人物に関連する個人情報を単に返信すれば良い。
別の副次的な実施例でもまた、人物の識別データベースはさらに、複数の人物各自が自分の描かれている写真の取得を所望しているか否かを特定する写真共有要求インジケータと該複数の人物各々を関連付けることができる。この副次的な実施例では、応答は選択対象人物に関連付けられた写真共有要求インジケータをさらに含み、その個人情報には、自分の顔が描かれている写真が送信されることを所望する選択対象人物へのネットワークアドレスが含まれている。サーバか、リモートクライアント装置のいずれかが写真を上記のようなネットワークアドレスへ送信することができる。
第2の側面の第2の実施例では、画像カテゴリはアトラクションの画像カテゴリであってもよい。第2の実施例では、IDレベルのデータベースには、アトラクションの画像カテゴリに関連付けられたアトラクションデータベースが含まれている。第2の実施例では、データベースは、複数の所定のロケーションのそれぞれについて、i)所定のロケーションから見ることができる複数のアトラクション各々を認識するための識別データと、ii)所定のロケーションから見ることができる複数のアトラクションの各々に関する記述データとを関連付けるアトラクションデータベースを含む。
第2の実施例では、要求は、(デジタル画像が保存されている場所であるロケーションなどの)写真のロケーションを例えばGPS座標によってさらに特定することができる。
選択された画像カテゴリ内のデジタル画像をテーマと比較することには、i)所定の選択ロケーションが写真のロケーションに対応する所定のロケーションとなる所定の選択ロケーションを決定することと、ii)所定の選択ロケーションから見ることができるアトラクション用の識別データとデジタル画像を比較して、選択アトラクションを決定することとが含まれる。この選択アトラクションは、デジタル画像に描かれている所定のロケーションから見ることができる複数のアトラクションのうちの1つである。選択テーマに関するデータには上記選択アトラクションに関連する記述データが含まれている。
第2の側面の第3の実施例では、画像カテゴリはワインラベルの画像カテゴリであってもよい。第3の実施例では、IDレベルのデータベースには、ワインラベルのデータベースの画像カテゴリに関連付けられたワインラベルのデータベースが含まれている。ワインラベルのデータベースは、複数の等級のワインの各々を、i)ワインの等級に関連付けられたラベルの画像の認識用データと、ii)ワインの等級に関する情報とに関連付ける。
さらに、第3の実施例では、選択した画像カテゴリ内でデジタル画像をテーマと比較することは、ラベルの画像の認識用データとデジタル画像を比較することを含む。選択したワインの等級は、デジタル画像が一致するラベルに関連付けられた複数の等級のワインのうちの1つである。テーマに関するデータには選択したワインの等級に関する情報が含まれる。
上述の目的及び関連する目的を達成するために、本発明は、以下十分に説明し、請求項において特に指摘される特徴を有するものとなる。以下の説明及び添付図面において本発明の或る実施例を詳細に説明する。しかし、これらの実施例は、本発明の原理を採用することが可能な種々の方法のうちの2、3の方法のみを示すものである。図面と共に考察するとき、本発明の別の目的、効果及び新規の特徴は本発明についての以下の詳細な説明から明らかになる。
この明細書で使用される場合、「有する/有している(comprises/comprising)」という用語は、言及された特徴、整数、ステップ又は構成の存在を特定するために用いられるが、これら以外の特徴、整数、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない、という点に留意されたい。
本発明の一実施例に従う写真管理システムを実現する代表的な携帯機器を表す図である。 本発明の一実施例に従う代表的なデジタル写真を表す図である。 本発明の一実施例に従う代表的なメタデータレコードを表す図である。 本発明の一実施例に従う代表的なデジタル写真を表す図である。 本発明の一実施例に従う代表的なメタデータレコードを表す図である。 本発明の一実施例に従う代表的なデジタル写真を表す図である。 本発明の一実施例に従う代表的なメタデータレコードを表す図である。 本発明の一実施例に従う代表的なデジタル写真を表す図である。 本発明の一実施例に従う代表的なメタデータレコードを表す図である。 本発明の一実施例に従う代表的なコンテンツデータベースを描くテーブルを表す図である。 本発明の一実施例に従う写真管理アプリケーションの代表的な処理動作を示すフローチャートである。 本発明の一実施例に従う写真管理アプリケーションの代表的な処理動作を示すフローチャートである。 本発明の一実施例に従う写真管理アプリケーションの代表的な処理動作を示すフローチャートである。 本発明の一実施例に従う写真管理システムを実現する代表的な携帯機器の代表的なユーザインタフェースを表す図である。 本発明の一実施例に従う写真管理システムを実現する代表的な携帯機器の代表的なユーザインタフェースを表す図である。 情報記録がリモートディレクトリサーバから取得される本発明の実施例の代表的なアーキテクチャーを描く図である。 本発明の1つの実施例に従う「人物」のカテゴリに関連付けられた代表的な識別データベースを描く図である。 本発明の1つの実施例に従う「人物」のカテゴリに関連付けられた代表的な識別データベースを描く図である。 本発明の1つの実施例に従う「アトラクション」のカテゴリに関連付けられた代表的な識別データベースを描く図である。 本発明の1つの実施例に従う「ワインの等級」のカテゴリに関連付けられた代表的な識別データベースを描く図である。 本発明の1つの実施例に従う「人物」のカテゴリに関連付けられた代表的な応答メタデータ構造を描く図である。 本発明の1つの実施例に従う「犬」のカテゴリに関連付けられた代表的な応答メタデータ構造を描く図である。 本発明の1つの実施例に従う「アトラクション」のカテゴリに関連付けられた代表的な応答メタデータ構造を描く図である。 本発明の1つの実施例に従う「ワインラベル」のカテゴリに関連付けられた代表的な応答メタデータ構造を描く図である。
この明細書で言及される「電子機器」という用語は携帯用無線通信機器を含むものとする。「携帯用無線通信機器」という用語は、ここでは、移動電話機、ページャ、電子手帳、携帯情報端末(PDA)、スマートフォン等のコミュニケータのようなすべての機器を含む「移動無線端末」又は「移動機器」も意味するものとする。
この明細書で上述した要素の多くは、それらの呼称が「システム」、「モジュール」、「回路」あるいは同様の呼称の如何に関らず、(1つ或いは複数の)ハードウェア回路、ソフトウェアコードを実行するプロセッサの形で実装するか、コードを実行するハードウェア回路とプロセッサとを組み合わせた形で実装することが可能である。したがって、この明細書を通じて用いられているような回路という用語は、(個別の要素又は一体化された回路ブロックの如何に関らず)ハードウェア回路、コードを実行するプロセッサ、コードを実行するハードウェア回路とプロセッサとの組み合わせ、並びに、当業者には公知の上記のその他の組み合わせの包含を意図するものである。
図面において、参照番号が付された個々の要素は、参照番号に後続するいずれの文字指定とも関係なく、同じ参照番号が付された他の要素と類似した要素である。本文において、参照番号に後続してある特定の文字指定が付された参照番号は番号と文字指定が付された特定の要素を意味し、ある特定の文字指定が付されていない参照番号は、参照番号に後続するいずれの文字指定とも関係なく、図面内の同じ参照番号が付されたすべての要素を意味するものとする。
図1を参照すると、代表的な携帯機器10が、移動電話機、移動PDA、又はネットワーク通信システム22、並びに、電話アプリケーション24と、電子メールアプリケーション26と、ネットワーク通信システム22が互換性を有している広域ネットワーク30を介して行われる他のデバイスとの通信用メッセージングアプリケーション28とのうちの少なくともいずれか1つのアプリケーションを含むことができる他の携帯機器の形で具現化されている。代表的な実施例では、広域ネットワーク30は、無線電話機サービスプロバイダネットワークと、インターネットサービスプロバイダネットワークと、広域データネットワークと、公衆インターネットとのうちの少なくともいずれかのネットワークの任意の組み合わせであってもよい。
携帯機器10は複数の契約レコード34を含む連絡先ディレクトリ32を含むことができる。個々の連絡先レコード34は、人物の氏名、住所、電話番号、電子メールアドレス、テキストメッセージアドレス、誕生日などのような従来の連絡先情報フィールド36を含むことができる。契約ディレクトリ32は、連絡先レコード34内の特定済み人物に関連付けられた(電話番号、電子メールアドレス、テキストアドレスなどの)ネットワークアドレスを提供して、電話アプリケーション24、電子メールアプリケーション26、又はメッセージングアプリケーション28のうちのいずれかのアプリケーションが、ネットワーク通信システム22を介してネットワークアドレスへの通信(メッセージ又はセション)の起動を可能にするという上記契約ディレクトリの従来の目的に役立つものである。
さらに、個々の連絡先レコード23は連絡先の顔の画像である発信回線ID写真58を含むことができる。代表的な実施例では、電話アプリケーション24は、発信回線の発呼者ID信号が、発信回線ID写真58が含まれている連絡先レコード34内の電話番号に一致すると、ユーザインタフェース21を駆動して、発信回線ID写真58を表示する。
携帯機器10はデジタルカメラシステム12と写真管理用アプリケーション42とをさらに有する。一般に、デジタルカメラシステム12は、デジタル写真14を保存するために用いられるものであり、さらに、写真管理用アプリケーション42は、i)デジタル写真に関連する情報を含む情報記録を取得し、ii)テキストベースのメタデータとして、デジタル写真に関連する情報の少なくとも一部を撮られた写真14と関連付けるものである。テキストベースのメタデータは、デジタル写真14に描かれているコンテンツを特定し、それによって、(メタデータを用いてサーチ又はソートされた)コンテンツに基づいて、写真コレクションのサーチかソートの少なくともいずれかを容易に行うことができるようにする。
少し図2aへ戻ると、個々のデジタル写真14は、中心ゾーンすなわちプロミネントゾーン16内の一次コンテンツ15を含むことが可能であることが予見される。図2aの例では、プロミネントゾーン16は一般にデジタル写真14の中心範囲内に存在し、一次コンテンツ15は人物(複数の顔の画像212a、212b、及び212cなど)である。
少し図2bへ戻ると、写真14に関連付けられる代表的なメタデータ44をXMLレコード47として構造化することができる。代表的なXMLメタデータレコード47は、i)写真14が撮影された日付を特定する日付要素51と、ii)写真14が撮影された時刻を特定する時刻要素52と、iii)写真が撮影されたロケーションを特定するロケーション要素53であって、GPS緯度/経度と、国と、市と、「ディズニー(登録商標)」のようなアトラクションを示すIDのような他のロケーション識別情報とのうちの少なくともいずれかの任意の並べ替えを示すIDを含むものであってもよいロケーション要素53と、iv)カテゴリ識別要素55とを含み、一次コンテンツカテゴリが「人物」である本例では、写真14に描かれている個々の人物について、人物を特定する人物識別要素56a、56b、56cを含むことができる一次コンテンツ要素54を含むことができる。さらに、電子メールアドレスのような人物に関係する追加情報要素も含むことができる。正体不明の人物は人物識別要素56cによって表されているように「身元確認不能(unidentified)人物」として人物識別要素で特定することができると理解すべきである。
図3aは、デジタル写真14がプロミネントゾーン16内に犬を描いている一次コンテンツ15を含む一例を表す図である。簡単に図3bを参照すると、代表的なXMLメタデータレコード47は、i)撮影された写真14を特定する日付要素51と、ii)撮影された写真14を特定する時刻要素52と、iii)写真が撮影された場所を特定するロケーション要素53と、iv)カテゴリ識別要素55とを含み、一次コンテンツカテゴリが「犬」であるこの例では、血統種、犬の品種名、所有者の氏名のような犬のカテゴリ内のテーマをさらに特定するサブデータ要素57を含むことができる。
図4aは、デジタル写真14がアトラクションを描く一次コンテンツ15(ビル、建築構造物又は芸術的構造物、顕著な自然の風景の特徴、船舶、又は他の関心のある物体のうちのいずれであってもよい)を含む一例を表す図である。簡単に図4bを参照すると、代表的なXMLメタデータレコード47は、i)写真14が撮影された日付を特定する日付要素51と、ii)写真14が撮影された時刻を特定する時刻要素52と、iii)写真が撮影された場所を特定するロケーション要素53と、iv)カテゴリ識別要素55とを含み、一次コンテンツカテゴリが「アトラクション」であるこの例では、アトラクションと、アトラクションに関するさらに多くの情報を取得するための事実と、統計と、URLとのうちの少なくともいずれかのようなアトラクションに関する追加情報219を特定するアトラクション識別要素218のようなサブデータ要素を含むことができる。
図5aはデジタル写真14がプロミネントゾーン16内にワインのボトルラベル220を描いている一次コンテンツ15を含む一例を表す図である。簡単に図5bを参照すると、代表的なXMLメタデータレコード47は、i)写真14が撮影された日付を特定する日付要素51と、ii)写真14が撮影された時刻を特定する時刻要素52と、iii)写真が撮影された場所を特定するロケーション要素53と、iv)カテゴリ識別要素55とを含み、一次コンテンツカテゴリが「ワインラベル」であるこの例では、ワインの等級、ブドウ園の所在地、ワインの等級によって獲得した賞、及びワインの鑑定家がワインの等級に関して通常知りたいと思うような他のデータを特定するワインの等級データ要素221を含むことができる。
図2b、図3b、図4b、及び図5bに描かれている代表的なメタデータレコード47を写真コレクション内の個々のデジタル写真と関連付けることにより、(例えば、テキストベースのメタデータを用いてサーチ又はソートされた)コンテンツに基づいて、コレクションが容易にサーチされたり、ソートされたりすることの内、少なくともいずれかが可能になることを理解すべきである。
図1に戻ると、写真管理用アプリケーション42は、i)デジタル写真が撮影された日付と時刻を特定するための内部クロックシステム(不図示)を参照することによって、及び、ii)デジタル写真が撮影されたロケーションを取得するために全地球測位システム(GPS)46を参照することによって、個々のXMLメタデータレコードを作成するための情報記録を取得することが可能である。
さらに、国、州、市、街路、地域、アトラクション、又は人間の認識が可能な他の術語の形でデジタル写真が撮影されたロケーションを示すIDを取得するために、写真管理用アプリケーション42は、GPS座標を上記のような人間の認識が可能な術語と関連付けるGPSデータベース49を参照することができる。1つの実施例では、GPSデータベース49は携帯機器10内に在るローカルなデータベースであってもよい。上記とは別に、リモートディレクトリサーバ13においてGPSデータベース49を処理することが可能である。
デジタル写真14の一次コンテンツ15をカテゴリ化するために、写真管理用アプリケーション42は、携帯機器10においてやはりローカルなものであるか、リモートディレクトリサーバ13において処理される一次コンテンツデータベース43にアクセスすることができる。
少し図6へ戻ると、代表的な一次コンテンツデータベース43は、個々の複数の所定のカテゴリ238について、人物、犬、アトラクション、及びワインラベルのような複数の所定のカテゴリ238のうちの1つのカテゴリの範囲内で一次コンテンツ15をカテゴリ化するためのコンテンツ認識データ45を含むことができる。コンテンツ認識データ45は、プロミネントゾーン16内の画像を比較する対象となるモデル写真の形のものであってもよい。上記とは別に、コンテンツ認識データ45は、一次コンテンツ15がどのカテゴリに最もよく一致しているかを決定するために、プロミネントゾーン16から得られる抽出済みの特徴に適用することができる、(人物、犬、アトラクション、及びワインラベルなどの)カテゴリを表す特徴を示すデータの形のものであってもよい。
図1に戻ると、デジタル写真14の一次コンテンツ15のカテゴリを決定した後、写真管理用アプリケーション42は、携帯機器10によって記憶されているデータにアクセスするか、このような追加情報をディレクトリサーバ13から取得するかのいずれかを行うことによって、デジタル写真14に描かれているテーマに関する追加情報(テーマに関するカテゴリ固有の情報など)を取得することができる。
1つの特定の実施例では、写真管理用アプリケーション42は、デジタル写真14に描かれている人物の画像を発信回線ID写真58と比較して、デジタル写真14に描かれている人物を特定することを目的として、デジタル写真14、特に連絡先ディレクトリ32の発信回線ID写真58に描かれている人物を連絡先ディレクトリ32にアクセスすることによって特定することができる。
図7のフローチャートは、写真管理用アプリケーション32の動作の代表的な面を表わしており、i)デジタル写真に関連する情報を含む情報記録を取得するためと、ii)図2b、図3b、図4b、及び図5bのいずれかに描かれているように、情報記録の少なくとも一部をXMLメタデータレコード47としてデジタル写真に関連付けるためのフローチャートである。
図1と共に図7を参照するとわかるように、ステップ100はカメラシステム12から写真14を受信するステップを表す。
ステップ101は、デジタル写真14が保存された日付と時刻とを決定するために内部クロック(不図示)を参照し、次いで、デジタル写真14に関連付けられたメタデータレコード47(図2b、図3b、図4b、及び図5b)に日付要素51及び時間要素52を書き込むことによって、このような日付と時刻とをデジタル写真14に関連付けるステップを表わしている。
ステップ102は、ロケーション要素53をメタデータレコード47へ書き込むことによって、デジタル写真14が保存されたロケーションをデジタル写真14と関連付けるステップを表す。上述したように、携帯機器10は、GPS衛星からの信号を検出するGPSシステム46を含み、GPS衛星からのロケーション(典型的には携帯機器10の経度、緯度、標高)を計算することができる。写真管理用アプリケーション42は、(ローカルな又は遠隔地にある)ロケーションデータベース49にアクセスして、ロケーションの参照に役立つ、国、州、市、街路、地域、街路の番地、主なアトラクション、又は人間の認識が可能な他のテキストベースのデータの形でロケーションIDを取得することが可能である。ステップ102は、デジタル写真14に関連付けられたメタデータレコード47を示す適用可能なロケーション要素53(図2b、図3b、図4b、図5b)へこのようなテキストベースのロケーションデータを書き込むステップを表す。
ステップ103は、一次コンテンツ15が配置されているプロミネントゾーン16を特定するステップを表す。プロミネントゾーン16は典型的には写真14の中心部であるが、中心部からオフセットされたゾーンであってもよい。オフセットされている場合、プロミネントでないバックグラウンドの場合とは異なり、顕著な特徴を示す包有物によってプロミネントゾーン16を認識することができる。
ステップ104は、一次コンテンツ15がどの分類に最もよく一致するかを決定するために、(ローカルな又は遠隔地にある)一次コンテンツデータベース43を参照することによって、プロミネントゾーン16内の一次コンテンツ15をカテゴリ化するステップを表す。
上述したように、一次コンテンツデータベース43は、人物、ビル、馬、及びワインラベルのような複数の所定のカテゴリのうちの1つの範囲内にある一次コンテンツ15を分類するためのコンテンツ認識データ45を含むことができる。写真管理用アプリケーション42は、プロミネントゾーン16内の画像をコンテンツ認識データ45と比較して、所定のカテゴリのどのカテゴリに一次コンテンツ15が最もよく一致するかを決定することができる。
さらに、ステップ104において一次コンテンツのカテゴリを特定できない場合(例えば一次コンテンツが一次コンテンツデータベース43内の所定のカテゴリのうちのいずれにも対応しないような場合)には、写真管理用アプリケーション32はユーザインタフェース21を駆動して、ステップ113で新たなカテゴリを入力するようにユーザにプロンプトを出すようにすることができる。次いで、新たな所定のカテゴリを特定するためにユーザにより入力されたテキストは、(デジタル写真14から得られる)画像を表すデータと共に一次コンテンツデータベース43に追加されて、このようなカテゴリに対して、以降の写真コンテンツをカテゴリ化するためのモデルとして用いられることになる。
(既存の所定のカテゴリの場合に特定されるか、新たなカテゴリの場合に入力されるかのいずれかの)一次コンテンツカテゴリは、(メタデータとして)写真14と関連付けられる。この処理は、カテゴリ要素55をメタデータレコード47へ書き込むステップ(図2b、図3b、図4b、及び図5b)を含むことができる。
デジタル写真14をカテゴリ化した後、種々のステップを個々のカテゴリに関連付けて、デジタル写真との関連付けを行うためのテーマに関するさらなる情報の取得を図るようにすることが可能となる。
例えば、一次コンテンツが「人物」としてカテゴリ化されている場合、さらなる情報は、図2bを参照して上述したように、デジタル写真14に描かれている人物の各々のIDを含むことができる。一次コンテンツが「犬」としてカテゴリ化されている場合、図3bを参照して上述したように、さらなる情報は犬の品種名、血統種などによる犬のIDを含むことができる。一次コンテンツが「アトラクション」としてカテゴリ化されている場合、図4bを参照して上述したように、さらなる情報はアトラクションを示すIDを含むことができる。一次コンテンツが「ワインラベル」としてカテゴリ化されている場合、図5bを参照して上述したように、さらなる情報はワインの等級データを示すIDを含むことができる。ステップ106a、106b、及び106cは、一次コンテンツのカテゴリに基づいてこのようなさらなる情報を取得するためのカテゴリ固有の実行を一般的に表すステップである。
一次コンテンツ15が「人物」としてカテゴリ化されているとき、デジタル写真14内の人物を特定するために実行されるステップ107〜111を含むステップ106cは特定の関連性を有するステップである。ステップ107〜111は、デジタル写真14のプロミネントゾーン16に描かれている個々の人物に対して反復して実行され、このような個々の人物を特定することが可能となる。
ステップ107は(図2aの顔の画像212aなどの)人物の顔の画像をデジタル写真14から抽出するステップを表す。
ステップ108は、抽出済みの顔の画像212aを連絡先ディレクトリ32の発信回線ID写真58と比較して、抽出された顔の画像212aが既存の連絡先に対応しているかどうかを判定する写真管理用アプリケーション42を表す。
抽出済みの顔の画像212aがレコード34の発信回線ID写真58に一致する場合、このような記録は選択済みの連絡先レコードと呼ぶことができる。写真管理用アプリケーション42は、ステップ109において、写真14を含む選択済みの連絡先レコードから、選択済みの連絡先レコードを情報記録として取得し、(人物の氏名などの)連絡先情報36の少なくとも一部をデジタル写真14と関連付ける。図2bを参照して上述したように、このステップは人物識別要素56をメタデータレコード47に書き込むステップを含むことができる。人物の電子メール、電話番号などのような他の連絡先情報36を適当な要素タグを付けたメタデータレコード47へ書き込むことも可能であることがさらに予見される。
ステップ110は、写真共有ステップが、写真と関連付けられた連絡先情報により表される人物に対してアクティブであるかどうかをステップ109において判定するステップを表す。連絡先ディレクトリ32の個々のレコード34は、写真共有設定をアクティブか、非アクティブなものとして特定するステップを含むことができる。アクティブな設定は、写真共有インジケータ40のフィールド内における、「電子メール」のID又は適当にフォーマットされた「電子メールアドレス」の包有物によって特定することが可能である。設定がアクティブである場合、写真管理用アプリケーション42は、選択済みの連絡先レコード34の中に含まれる(かつ写真共有インジケータ40のフィールドにおいて特定される)ネットワークアドレスのうちの1つのアドレスに対して、ネットワーク通信システム22(又はこの明細書で上述したローカル通信システム50)を介して通信を起動し、次いで、ステップ111においてデジタル写真14をこのようなネットワークアドレスへ送信する。したがって、デジタル写真14に描かれている人物はデジタル写真14のコピーを受信することになる。
ステップ108に戻ると、抽出された顔の画像212aが既存の連絡先レコード34のいずれの発信回線ID写真58にも一致しなかった場合、(ステップ112によって表される)代替の特定ステップが、人物を特定し、写真14との関連付けを行うための連絡先情報を取得するために用いられるかもしれない。
図1に関連して少し図8aと図9aへ戻ると、人物を特定し、連絡先情報を取得する代替の特定ステップを示す1つの代表的な実施例は、i)ステップ120において抽出済みの顔の画像212aを(サムネイル写真として)(ディスプレイ21上に)表示するステップと、ii)携帯機器10の周りの領域によって画定された通信ゾーン11内に存在する複数のリモート携帯機器19のリスト150を表示するステップを含むことができる。この領域内において、携帯機器10はローカル通信システム50を用いてステップ122で通信セションを確立することができる。
さらに詳細には、ローカル無線通信システム50は、Bluetooth(登録商標)無線、赤外線通信モジュール、近距離場通信(NFC)モジュール又は他の互換機デバイスとの短距離通信のための他のシステムであってもよい。写真管理用アプリケーション42は、ローカル通信システム50を駆動して、通信ゾーン11内に他の携帯機器を発見し、ネットワーク名、ネットワークアドレス、又は個々のこのようなデバイスの他のIDを表示する。ローカル通信システム50がBluetooth(登録商標)無線である例では、Bluetooth(登録商標)ディスカバリプロトコルを用いることができる。
ステップ124は、リスト150(図9a)に示す特定済みのリモート移動装置のうちの1つのユーザ選択についてプロンプトを出す写真管理用アプリケーション42を表す。ユーザは、抽出済みの顔の画像、撮影済みの人物のうちの一人として認識された人物を閲覧し、次いで、デジタル写真14に描かれている当該人物によって所有されているリモート携帯機器を選択されたリモート携帯機器として特定することができる。
ステップ126において、写真管理用アプリケーション42は、上記選択されたリモート携帯機器を用いて(セション又はメッセージ交換のいずれかの)通信を起動し、次いで、選択済み携帯機器のユーザによって電子名刺を配信する権限が携帯機器に与えられていれば、選択済みの携帯機器から(電子名刺などの)個人用連絡先記録を取得する。携帯機器10はまた、元の選択された携帯機器へ(電子名刺のような)所有者のID記録18を返信として提供することができることも予見される。
新規の連絡先レコード34(及び発信回線ID写真58としてこのような新規の連絡先レコードに追加される抽出済みの顔の画像212a)として、ステップ128で個人用連絡先記録を連絡先ディレクトリ32に追加することができる。
図7に戻ると、ステップ109は再び連絡先情報(この場合、新規の連絡先レコードからの情報)の少なくとも一部をステップ109で写真14と関連付けるステップを表す。
図9bに関連して少し図8bへ戻ると、連絡先情報を取得する代替ステップを示す他の代表的な実施例は、ステップ130において(サムネイル写真として)抽出済みの顔の画像212aを表示するステップを含む。抽出済みの顔の画像212aの表示と共に、手作業で入力を行うデータエントリフィールド150を表示して、抽出済みの顔の画像212aに描かれている人物と関連付けるために連絡先情報の選択/入力を行うようにステップ132でユーザにプロンプトで要求することも可能である。
ステップ134は、選択済み/入力済みの連絡先情報を連絡先ディレクトリ32の新規の連絡先レコード34へ書き込むステップを表す。図7に戻ると、ステップ109は再び(手作業で入力される)連絡先情報をメタデータとして写真14と関連付ける。再び、抽出済みの顔の画像212aは、発信回線ID写真58としてこのような新規の連絡先レコード34に追加することができる。
図10は、写真管理用アプリケーション42の動作についての代表的な面を表わしており、i)デジタル写真に関連する情報を含む情報記録を取得するためと、ii)このような情報記録の情報がリモートディレクトリサーバ13によって提供されるとき、図2b、図3b、図4、及び図5bのいずれかに描かれているように、情報記録の少なくとも一部をXMLメタデータレコード47としてデジタル写真と関連付けるための図である。
ステップ224は、カメラシステム12から写真14を受信する写真管理用アプリケーション42を表す。
ステップ226は、デジタル写真14が保存された日付と時刻とを決定するために内部クロック(不図示)を参照し、次いで、デジタル写真14に関連付けられたメタデータレコード47(図2b、図3b、図4b、及び図5b)に日付要素51と時間要素52とを書き込むことによって、このような日付と時刻とをデジタル写真14と関連付けるステップを表す。
ステップ228は、一次コンテンツ15が配置されているプロミネントゾーン16を特定するステップを表す。プロミネントゾーン16は、典型的には写真14の中心部であるが、中心部からオフセットされたゾーンであってもよい。オフセットされている場合、プロミネントでないバックグラウンドの場合とは異なり、顕著な特徴を含む包有物によってプロミネントゾーン16を認識することができる。
ステップ230はディレクトリサーバ13へ転送する要求200を構成する写真管理用アプリケーション42を表す。要求200は、i)ディレクトリサーバが要求200のソースを特定し、認証することを可能にするための認証データ202を含むことができる。そして、ii)少なくともデジタル写真の一部14を含むデジタル画像204がプロミネントゾーン16の形で具現化される。さらに、利用可能であれば、要求200は(デジタル写真を保存したデバイスにより測定されたGPSロケーションなどの)写真を撮影したロケーションを特定するロケーションID206を含むものであってもよい。
要求200の受信に応答して、ディレクトリサーバ13の認識アプリケーション210は応答208の形で情報記録を返信する。応答208の情報記録は、図2b、図3b、図4b、及び図5bに描かれているようにデジタル写真14との関連付けを行うためのメタデータレコード47を配置するために写真管理用アプリケーションに役立つ情報が含まれているXMLレコードのようなメタデータ構造209であってもよい。
少し図2aへ戻ると、第1の例として、デジタル写真14が人物を示す一次コンテンツを含む場合、要求200は、一次コンテンツのデジタル画像204として、デジタル写真14又は1以上の抽出済みの顔の画像212a、212b、及び212cの並べ替えを含んでも良く、個々の画像はデジタル写真14に描かれている人物のうちの一人の画像を表す。
図12aを簡単に参照すると、カテゴリが「人物」である場合、応答メタデータ構造209として返送することができる代表的なXMLレコード217は、i)「人物」としてカテゴリを特定するカテゴリ識別要素55と、ii)写真が撮られたロケーションを、国、市、州、街路の番地、地域、又は「ディズニー(登録商標)パーク」のような人間の認識が可能な他の術語の形で特定するロケーション要素53と、iii)認識アプリケーション210が特定できる(デジタル画像204の中に含まれている個々の顔の画像などの)個々の人物についての人物識別要素211と、iv)特定された人物が加入者IDの解除を行う権限を要求200のソースに与えた対象ロケーションとを含むことができる。
XMLレコード217は、個々の特定可能な人物について、i)人物の電子メールアドレスを特定する電子メール要素212と、ii)各人が自分の描かれている写真のコピーを持つことを所望しているか否かを特定する写真共有要素213とをさらに含むことができる。写真共有要素213はまた、写真のコピーが送信される送信先の(電子メールアドレスのような)ネットワークアドレスのIDを含むこともできる。XMLレコード217はまた、電話番号、テキストメッセージ、アドレスなどのような、開示する権限が特定の人物に与えられている他の個人情報と連絡先情報の少なくともいずれかの情報を特定する追加要素を含むこともできることが予見される。
さらに、(1つ或は複数の)デジタル画像204は、i)認識アプリケーション210によって特定されることができないか、ii)描かれている人物がその個人情報の開示権限を要求200のソースに与えなかった人物の画像が含まれている状況において、XMLレコード217は、その人物の個人データの代わりに「身元確認不能/アクセス権限無し」を示すデータ要素215を含むことができる。
少し図3aへ戻ると、第2の例としてデジタル写真14が犬を示す一次コンテンツを含む場合、要求200は該一次コンテンツのデジタル画像204として、デジタル写真14か、犬を描いているプロミネントゾーン16の少なくとも一部を含むことができる。
図12bを簡単に参照すると、カテゴリが「犬」であるとき、応答メタデータ構造209として返信することができる代表的なXMLレコード217は、i)「犬」としてカテゴリを特定するカテゴリ識別要素55と、ii)ロケーション要素53と、iii)血統種、犬の品種名のような犬のカテゴリ内のテーマをさらに特定するサブデータ要素57とを含むことができる。
第3の例として、図1に関連して少し図4aへ戻ると、デジタル写真14が、船舶、ビル、建築構造物又は芸術的構造物、あるいはアトラクションを描く他の構造物や関心のある物のようなアトラクションを示す一次コンテンツを含む場合、要求200は該一次コンテンツのデジタル画像204として、デジタル写真14又はプロミネントゾーン16の少なくとも一部を含むことができる。
図12cを簡単に参照すると、カテゴリが「アトラクション」であるとき、メタデータ構造209として返信することができる代表的なXMLレコード217は、i)「アトラクション」としてカテゴリを特定するカテゴリ識別要素55と、ii)ロケーション要素53と、iii)デジタル画像204に描かれているアトラクション216を特定するアトラクション識別要素218と、iv)事実、統計、及びアトラクションに関するさらに多くの情報を求めるためのURLのようなアトラクション216に関する追加情報要素221と、を含むことができる。
図1に関連して少し図4aへ戻ると、第3の例としてデジタル写真14がワインのボトルラベル220の一次コンテンツを含む場合、要求200は、デジタル画像204として、デジタル写真14又はラベル220を描いているデジタル写真の少なくとも一部を含むことができる。
図12dを簡単に参照すると、カテゴリが「ワインラベル」であるとき、メタデータ構造209として返信することができる代表的なXMLレコード217は、i)「ワインラベル」としてカテゴリを特定するカテゴリ識別要素55と、ii)ロケーション要素53と、iii)ラベル220に関連付けられたワインを特定するワインの等級識別要素222と、iv)ワインの等級に関する他のデータ要素224、226、228とを含むことができる。その他のデータ要素224、226、及び228は、i)ブドウ園の所在地(データ要素224)と、ii)ワインの等級によって獲得した賞(データ要素226)と、iii)ワインの鑑定家が典型的に知りたいと思うようなワインの等級に関する他の有益な情報(データ要素228)としてこのような情報を特定することができる。
図10に戻ると、応答208を受信した後、写真管理用アプリケーション42は、(図2b、図3b、図4b、及び図5bを参照して上述したように)、該アプリケーションに含まれている情報をステップ232でデジタル写真14と関連付け、それによってデジタル写真14がデジタル写真のコレクションの中に含まれるようにする。このコレクションは、該コレクションと関連付けられたメタデータを用いて、保存されるか、カタログ化されるか、ソートされるか、サーチされるかの内の少なくともいずれかが行われる。
ディレクトリサーバ13は、図12a、図12b、図12c、及び図12dを参照して説明したメタデータ構造209の提供が認識アプリケーション210によって可能となるように、認識アプリケーション210の動作をサポートするデータベース234を含むことができる。代表的な実施例では、データベース234には、i)GPS座標を人間の認識可能な形でロケーションデータと関連付けるロケーションデータベース49と、ii)図6を参照して上述したように、デジタル画像204がカテゴリ内に存在しているかどうかを判定するために、複数のカテゴリ238各々をコンテンツ認識データ45と関連付けるコンテンツデータベース43と、iii)複数のカテゴリ専用のIDレベルのデータベース242とが含まれる。さらに詳細には、個々のカテゴリ238は、そのカテゴリ238について、画像カテゴリ内のテーマをテーマに関するデータと関連付けるIDレベルのデータベース242に関連付けられる。
例えば、図11aを簡単に参照すると、「人物」を示す代表的な画像カテゴリに関連付けられた代表的な識別データベース242aが示されている。識別データベース242aは複数のレコード244を含むことが可能であり、このレコードの個々は人物に関連付けられる。したがって、このレコードは、i)人物の画像を認識するための識別データ246と、ii)人物の氏名248a、電子メールアドレス248b、電話番号248c、及び他のデータ248dのような人物に関する個人情報248と、iii)自分が描かれている写真のコピーを保有することをその人物が所望しているかどうかを示す写真共有インジケータ250(写真のコピーが送信される送信先の電子メールアドレスのようなネットワークアドレスのIDを含む)と、iv)ソース、ソースのカテゴリ、ソースのグループ又は、このような要求のデジタル画像204に人物が描かれているなら、その個人情報248を受信する権限が要求元200(図10)に与えられているかどうかを判定するためのその他の基準を特定するグループ認証データ252とが上記人物に関連付けられることになる。
グループ認証データ252は、ソース、ソースのカテゴリ、ソースのグループ又は他の基準を特定することを目的として、i)このような特定を目的としてソーシャルネットワーキングウェブサイトから得られる人物の友人/知人/連絡先リストの特定と参照の少なくともいずれかを行うか、ii)このような特定を目的として、クラブ、グループ、又は組織あるいはこれらのメンバーリストの特定を行うかの少なくともいずれかを行うことができる。
図11bを参照すると、「犬」を示す代表的な画像カテゴリとに関連付けられた代表的な識別データベース242bが示されている。識別データベース242bは、一例として、複数の血統種268に関連付けられたレコードを含むことができる。i)犬の画像が血統種を描いているか否かを特定するための識別データ269と、ii)図12bを参照して説明したXMLレコードの要素57の配置に役立つ、血統種268に関する記述データ271とを個々の血統種268と関連付けることが可能である。
図11cを参照すると、「アトラクション」を示す代表的な画像カテゴリに関連付けられた代表的な識別データベース242cが示されている。識別データベース242cは複数の所定のロケーション256のうちの1つのロケーションと個々に関連付けられた複数のアトラクションリスト254を含むことができる。
個々のアトラクションリスト254は、リスト254が関連付けられた、所定のロケーション256から見ることができる複数のアトラクションのID(アトラクションID255)を含む。デジタル画像204内のアトラクションの画像を特定するための識別データ258と、アトラクションに関する記述データ260とはアトラクションID255に関連付けられる。
例えば、所定のロケーション(ロケーション256a)のうちの1つのロケーションは、(要求200(図10)のロケーションID206を上記ロケーションと関連付けることができるように特定される)フロリダ州、オーランドにあるディズニー(登録商標)パークを含むことが可能である。したがって、フロリダ州、オーランドにあるディズニー(登録商標)パークと関連付けられたアトラクションリスト254は、フロリダ州、オーランドにあるディズニー(登録商標)パークにある上記アトラクションを特定するか、フロリダ州、オーランドにあるディズニー(登録商標)パークから見ることができる、海賊船のようなアトラクションを特定するかの少なくともいずれかを行うことが可能となる。海賊船の例では、識別データ258は、船舶の画像を特定するための特徴データ又は画像データを含むことができる。記述データ260は、船舶、統計、及びさらに多くの情報を取得するためのURLについてのいずれかの事実を含むことができる。
図11dを参照すると、「ワインの等級」を示す代表的な画像カテゴリに関連付けられた代表的な識別データベース242dが示されている。識別データベース242dは、複数の記録262を含むことが可能であり、個々の記録はワインの等級に関連付けられる。個々の記録262は、ワインの等級を、要求200(図10)のデジタル画像204内のワインの等級のボトルラベルを特定する識別データ264、並びに、図4bを参照して上述したように、ブドウ園の所在地224、ワインの等級226によって獲得した賞、及び、ワインの鑑定家が典型的に知りたいと思うようなワインの等級に関するその他の有益な情報228のような、ワインの等級に関する記述データ266と関連付ける。
図10に戻ると、認識アプリケーション210は典型的には以下のように動作する。要求200を受信すると、認識アプリケーション210はステップ270において要求200のソースを認証する。種々の代表的な実施例において、ソースの認証は、認証済みのTCP/IPセションと(SOAPメッセージ交換などの)ウェブサービスセションとのうちの少なくともいずれかを確立することと、要求200を該セションと共に転送することとを含むことができる。
ステップ271は、ロケーションデータベース49を参照して、(人間の認識が可能な術語の形で)ロケーション要素53を配置して、図12a、図12b、図12c、図12dを参照して説明した代表的なメタデータ構造に変えるためのロケーションデータの取得を図るステップを表す。
ステップ272は、コンテンツデータベース236のコンテンツ認識データ45をデジタル画像204に適用して、選択画像カテゴリを決定することによって、要求200のデジタル画像204の選択済み画像カテゴリを決定するステップを表す。この選択済み画像カテゴリは、デジタル画像204に対応する画像カテゴリ238である。上述したように、上記ステップは、デジタル画像204のカテゴリを決定するために、デジタル画像204の特徴を個々のカテゴリ238のコンテンツ認識データ45の特徴と比較するステップを含むことができる。
ステップ274は、要求200のデジタル画像204を選択済みの画像カテゴリに関連付けられた識別データベース242内のテーマと比較するステップを表すが、このステップは、i)選択テーマを決定し、ii)選択したテーマに関する選択情報を取得することを目的とするものである。選択テーマとは、(デジタル画像14に描かれているテーマなどの)デジタル画像と一致するテーマである。選択情報とは、図12a、図12b、図12c、及び図12dを参照して解説した応答メタデータ構造209を構成するために用いられる情報である。
例えば、ステップ272において、カテゴリが「人物」と決定された場合、ステップ274において、デジタル画像204は、識別データベース242a(図11a)の識別データ246の個々の記録244と比較されて、デジタル画像204に描かれている(一人或いは複数の)人物を特定する。選択情報は、特定された人物に関連付けられた記録244の個人情報248の少なくとも一部であってもよい。
別の例として、ステップ272において、カテゴリが「犬」と決定された場合、ステップ274において、デジタル画像204は個々の血統種268についてIDデータ269と比較され、デジタル画像204の血統種に描かれている犬が決定される。選択情報は、特定された血統種に関連付けられた記述データ271の少なくとも一部であってもよい。
さらに別の例として、ステップ272においてカテゴリが「アトラクション」と決定された場合、ステップ274においてデジタル画像204は、要求のロケーションID206に対応する所定のロケーション256に対応するアトラクションリスト254内の識別データ258と比較されて、デジタル画像204に描かれているアトラクションを特定する。選択情報は特定されたアトラクション255に関連付けられた記述データ260であってもよい。
さらに別の例として、ステップ272においてカテゴリが「ワインラベル」と決定された場合、ステップ274において、デジタル画像204は、個々のワインの等級について識別データ264と比較されて、画像204に描かれているラベル220(図5a)と一致するワインの等級を決定する。選択情報はこのようなワインの等級と関連付けられた記述データ266の少なくとも一部であってもよい。
上記の例のすべてにおいて、ステップ276は、応答メタデータ構造を構成し、次いで、該メタデータ構造の要求に対する応答208として写真管理用アプリケーション42への該メタデータ構造の復帰を開始するステップを表す。
或る好ましい実施例に関連して本発明を図示し、説明したが、この明細書を読み、理解するとき、当業者がその均等物及び変更例を想起するであろうことは明らかである。1例として、図2a、図2b、図2c、及び図2dに表されているメタデータ構造はXMLレコードとして表されている。このような表示は単に例示にすぎず、添付の請求の範囲に記載しているような本発明の範囲を限定することを意図するものではない。当業者であれば、他の均等なメタデータ構造が存在すること、並びに、デジタル写真のコンテンツを記述するメタデータのための、デジタル写真と関連付けられた任意の特定のデータ構造の選択が設計上の選択の問題であることを認識するであろう。
第2の例して、図7のフローチャートは、デジタル写真との関連付けのための情報記録が携帯機器にとってローカルな情報ソースから取得される代表的な実施例を描くものであり、さらに、図10は、情報記録(又は情報記録の一次コンテンツの少なくとも一部)がリモートディレクトリサーバから取得される代表的な実施例を描くものである。当業者であれば、(カテゴリのような)情報記録の一部をローカルなデータソースから取得するステップと、情報記録の一部をリモートサーバから取得するステップとの組み合わせは設計上の選択の問題であることを認識するであろう。例えば、デジタル写真が人物のカテゴリ内に存在することを決定するためにローカルなソースが利用可能であること、並びに、写真に描かれている複数の人物を特定するために遠隔地にあるソースが利用可能であることが予見される。しかし、デジタル写真に描かれている追加の人物はディレクトリサーバによって特定することができる。
さらに第3の例として、図10は、クライアントがディレクトリサーバに対して要求を生成するとき、携帯機器の写真管理用アプリケーションとやりとりを行うディレクトリサーバを表わしている。当業者であれば、ディレクトリサーバはまた、従来のアルバム、写真集、従来のデスクトップ型又はノート型コンピュータ上で動作する写真帳アプリケーションのうちのいずれから要求を受信することができると共に、従来のアルバム、写真集、従来のデスクトップ型又はノート型コンピュータ上で動作する写真帳アプリケーションのうちのいずれかに対して応答を行うこともできることを認識するであろう。
本発明は、すべてのこのような均等物並びに変更例を含むものであり、請求の範囲によってのみ限定されるものである。

Claims (26)

  1. デジタル写真に描かれている画像に関係する選択情報を含む情報記録を提供するサーバであって、
    複数のテーマの各々に関連したデータベースと、
    認識アプリケーションとを有し、
    前記データベースは、
    画像内の前記テーマを認識するための認識データと、
    前記テーマに関連する情報とを格納し、
    前記アプリケーションは、
    デジタル画像を含む要求をリモートクライアントシステムから受信し、
    前記デジタル画像に描かれている前記テーマである選択されたテーマを決定するために前記認識データを前記デジタル画像に適用し、
    前記選択されたテーマに関連する情報である選択情報を前記データベースから取得し、
    前記選択情報を含む前記情報記録が含まれている応答を前記リモートクライアントシステムへ返信することを特徴とするサーバ。
  2. 前記データベースは人物の識別データベースを含み、前記人物の識別データベースは、複数の人物のそれぞれについて、
    前記人物の画像を認識するための識別データと、前記人物の氏名を含む、前記人物に関する個人情報とを関連付け、
    選択されたテーマを決定するために前記認識データを前記デジタル画像に適用することは、前記デジタル画像内に画像が描かれている前記複数の人物のうちの一人である選択対象人物を識別するために、前記デジタル画像の顔の画像を前記識別データと比較することを含み、
    選択情報を前記データベースから取得することは、前記人物に関する前記個人情報を取得することを含むことを特徴とする請求項1に記載のサーバ。
  3. 前記人物に関する前記個人情報は、前記人物の連絡先情報をさらに含むことを特徴とする請求項2に記載のサーバ。
  4. 前記人物の識別データベースはさらに、前記人物に関する前記個人情報を受信する権限が与えられたグループのIDと前記複数の人物各々を関連付け、
    前記要求は該要求のソースを特定する認証データを含み、さらに、
    前記要求の前記ソースが、前記選択対象人物に関する個人情報の受信権限が与えられている前記グループ内に存在すれば、前記サーバは単に前記選択対象人物に関する前記個人情報を返信することを特徴とする請求項2に記載のサーバ。
  5. 前記人物の識別データベースはさらに、前記複数の人物が自分の描かれている写真の取得を所望しているか否かを特定する写真共有要求インジケータと前記複数の人物各々を関連付け、
    前記応答はさらに、前記選択対象人物に関連付けられた前記写真共有要求インジケータを含み、
    前記個人情報には、自分の顔が描かれている前記写真が送信されることを所望する前記選択対象人物へのネットワークアドレスが含まれていることを特徴とする請求項2に記載のサーバ。
  6. 前記要求はさらに、写真のロケーションを特定し、該写真のロケーションは前記デジタル画像が撮られたロケーションであり、
    前記データベースはアトラクションデータベースを含み、前記アトラクションデータベースは、複数の所定のロケーションのそれぞれについて、
    前記所定のロケーションから見ることができる複数のアトラクション各々を認識するための識別データと、
    前記所定のロケーションから見ることができる前記複数のアトラクション各々に関する記述データとを関連付け、
    選択テーマを決定するために前記認識データを前記デジタル画像に適用することは、
    前記写真のロケーションに対応する前記所定のロケーションとなる選択された所定のロケーションを決定することと、
    前記デジタル画像と前記選択された所定のロケーションから見ることができる複数のアトラクションに関する識別データとを比較し、前記所定のロケーションから見ることができる前記複数のアトラクションのうちの1つのアトラクションであり、前記デジタル画像に描かれている選択アトラクションを決定することとを含み、
    前記データベースから選択情報を取得することは、前記選択アトラクションに関連付けられた記述データを取得することを含むことを特徴とする請求項1に記載のサーバ。
  7. 前記データベースはワインラベルのデータベースを含み、該ワインラベルのデータベースは、複数の等級のワインの各々を、
    前記ワインの等級に関連付けられたラベルの画像を認識するデータと、
    前記ワインの等級に関する情報とに関連付け、
    選択テーマを決定するために前記認識データを前記デジタル画像に適用することは、前記デジタル画像に描かれているラベルに関連付けられた前記複数の等級のワインのうちの1つとなる選択ワインの等級を特定するために、前記デジタル画像をラベルの画像を認識するデータと比較することを含み、
    前記テーマに関する前記データには、前記選択されたワインの等級に関する情報が含まれていることを特徴とする請求項1に記載のサーバ。
  8. 前記データベースは、
    前記デジタル画像が前記画像カテゴリ内に存在するかどうかを判定するためのコンテンツ認識データと複数の画像カテゴリ各々を関連付けるカテゴリ化レベルのデータベースと、
    個々の画像カテゴリに関して、前記画像カテゴリ内のテーマを前記テーマに関するデータと関連付けるIDレベルのデータベースとを含み、
    選択テーマを決定するために認識データをデジタル画像に適用することには、
    前記デジタル画像が対応するコンテンツ認識データを含む前記画像カテゴリとなる選択画像カテゴリを決定するために、前記デジタル画像を前記コンテンツ認識データと比較することと、
    前記デジタル画像に描かれている前記テーマである選択テーマを決定するために前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較することとを含み、
    選択情報を前記データベースから取得することには、前記選択テーマに関する前記データを取得することを含むことを特徴とする請求項1に記載のサーバ。
  9. 前記画像カテゴリのうちの1つは人物の画像カテゴリであり、
    前記IDレベルのデータベースは、前記人物の画像カテゴリに関連付けられた人物の識別データベースを含み、前記人物の識別データベースは、複数の人物のそれぞれについて、前記人物の画像を認識するための識別データを前記人物に関する個人情報と関連付け、該個人情報は前記人物の氏名と連絡先情報とを含み、
    前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較することは、前記デジタル画像内において画像が認識される前記複数の人物のうちの一人である選択対象人物を特定するために、前記デジタル画像の顔の画像を前記人物の識別データベースの前記識別データと比較することを含み、
    前記選択テーマに関する前記データには、前記選択された人物に関連する個人情報を含むことを特徴とする請求項8に記載のサーバ。
  10. 前記人物の識別データベースはさらに、前記人物に関する前記個人情報を受信する権限が与えられたグループのIDと前記複数の人物各々を関連付け、
    前記要求は該要求のソースを特定する認証データを含み、
    前記要求の前記ソースが、前記選択対象人物に関する個人情報の受信権限が与えられている前記グループ内に存在すれば、前記サーバは単に前記選択対象人物に関する前記個人情報を返信することを特徴とする請求項9に記載のサーバ。
  11. 前記人物の識別データベースはさらに、前記複数の人物が自分の描かれている写真の取得を所望しているか否かを特定する写真共有要求インジケータと前記複数の人物各々を関連付け、
    前記応答は前記選択対象人物に関連付けられた前記写真共有要求インジケータをさらに含み、
    前記個人情報は、自分の顔が描かれている前記写真が送信されることを所望する前記選択対象人物へのネットワークアドレスを含むことを特徴とする請求項9に記載のサーバ。
  12. 前記画像カテゴリのうちの1つはアトラクションの画像カテゴリであり、
    前記要求は写真のロケーションをさらに特定し、該写真のロケーションは前記デジタル画像が撮られたロケーションであり、
    前記IDレベルのデータベースは、前記アトラクションの画像カテゴリに関連付けられたアトラクションデータベースを含み、該アトラクションデータベースは、複数の所定のロケーションのそれぞれについて、
    前記所定のロケーションから見ることができる複数のアトラクション各々を認識する識別データと、
    前記所定のロケーションから見ることができる前記複数のアトラクション各々に関する記述データとを関連付け、
    前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較することには、
    前記写真のロケーションに対応する所定のロケーションとなる所定の選択ロケーションを決定することと、
    前記デジタル画像と前記選択された所定のロケーションから見ることができる前記複数のアトラクションについての識別データとを比較し、前記デジタル画像内で認識される前記所定のロケーションから見ることができる前記複数のアトラクションのうちの1つとなる選択アトラクションを決定することとを含み、
    前記選択テーマに関する前記データには、前記選択アトラクションに関連する記述データを含むことを特徴とする請求項8に記載のサーバ。
  13. 前記画像カテゴリのうちの1つはワインラベルの画像カテゴリであり、
    前記IDレベルのデータベースは前記ワインラベルの画像カテゴリに関連付けられたワインラベルのデータベースを含み、該ワインラベルのデータベースは、複数の等級のワイン各々を、
    前記ワインの等級に関連付けられたラベルの画像を認識するデータと、
    前記ワインの等級に関する情報とに関連付け、
    前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較することには、前記デジタル画像が対応するラベルに関連付けられた前記複数のワインの等級のうちの1つである選択されたワインの等級を特定するために、前記デジタル画像をラベルの画像を認識するデータと比較することを含み、
    前記テーマに関する前記データは、前記選択されたワインの等級に関する情報をが含むことを特徴とする請求項8に記載のサーバ。
  14. デジタル写真に描かれている画像に関係する選択情報を含む情報記録を提供するサーバを動作させる方法であって、
    複数のテーマの各々に関連して、画像内の前記テーマを認識するための認識データと、前記テーマに関連する情報とを格納するデータベースを維持する工程と、
    デジタル画像を含む要求をリモートクライアントシステムから受信する工程と、
    前記デジタル画像に描かれている前記テーマである選択テーマを決定するために前記認識データを前記デジタル画像に適用する工程と、
    前記選択テーマに関連する情報である選択情報を前記データベースから取得する工程と、
    前記選択情報を含む前記情報記録が含まれている応答を前記リモートクライアントシステムへ返信する工程とを有することを特徴とする方法。
  15. 前記データベースは人物の識別データベースを含み、前記人物の識別データベースは、複数の人物のそれぞれについて、
    前記人物の画像を認識するための識別データと、
    前記人物の氏名を含む、前記人物に関する個人情報とを関連付け、
    前記選択テーマを決定するために前記認識データを前記デジタル画像に適用する工程は、前記デジタル画像内に画像が描かれている前記複数の人物のうちの一人である選択対象人物を特定するために、前記デジタル画像の顔の画像を前記識別データと比較する工程を含み、
    前記選択情報をデータベースから取得する工程は、人物に関する個人情報を取得する工程を含むことを特徴とする請求項14に記載の方法。
  16. 前記人物に関する前記個人情報はさらに、前記人物の連絡先情報を含むことを特徴とする請求項15に記載の方法。
  17. 前記人物の識別データベースは、前記人物に関する前記個人情報を受信する権限が与えられたグループのIDと前記複数の人物各々をさらに関連付け、
    前記要求は該要求のソースを特定する認証データを含み、
    前記要求の前記ソースが、前記選択対象人物に関する個人情報の受信権限が与えられている前記グループ内に存在すれば、前記サーバは単に前記選択対象人物に関する前記個人情報を返信することを特徴とする請求項15に記載の方法。
  18. 前記人物の識別データベースはさらに、前記複数の人物が自分の描かれている写真の取得を所望しているか否かを特定する写真共有要求インジケータと前記複数の人物各々を関連付け、
    前記応答はさらに、前記選択対象人物に関連付けられた前記写真共有要求インジケータを含み、
    前記個人情報は、自分の顔が描かれている前記写真を送信されることを所望する前記選択対象人物へのネットワークアドレスを含むことを特徴とする請求項15に記載の方法。
  19. 前記要求はさらに写真のロケーションを特定し、該写真のロケーションは前記デジタル画像が撮られたロケーションであり、
    前記データベースは人物の識別データベースを含み、前記人物の識別データベースは、複数の人物のそれぞれについて、
    前記所定のロケーションから見ることができる複数のアトラクション各々を認識する識別データと、
    前記所定のロケーションから見ることができる前記複数のアトラクション各々に関する記述データとを関連付け、
    前記選択テーマを決定するために前記認識データを前記デジタル画像に適用する工程は、
    前記写真のロケーションに対応する前記所定のロケーションとなる所定の選択ロケーションを決定する工程と、
    前記所定のロケーションから見ることができ、前記デジタル画像に描かれている前記複数のアトラクションのうちの1つのアトラクションとなる選択アトラクションを決定するために、前記デジタル画像を前記所定の選択ロケーションから見ることができる前記複数のアトラクションについての識別データと比較する工程とを含み、
    前記データベースから選択情報を取得する工程は、前記選択アトラクションに関連付けられた記述データを取得する工程を含むことを特徴とする請求項14に記載の方法。
  20. 前記データベースはワインラベルのデータベースを含み、該ワインラベルのデータベースは、複数の等級のワインの各々を、
    前記ワインの等級に関連付けられたラベルの画像の認識用データと、
    前記ワインの等級に関する情報とに関連付け、
    前記選択テーマを決定するために前記認識データを前記デジタル画像に適用する工程は、前記デジタル画像に描かれているラベルに関連付けられた前記複数の等級のワインのうちの1つとなる選択ワインの等級を特定するために、前記デジタル画像をラベルの画像を認識するデータと比較する工程を含み、
    前記テーマに関する前記データは、前記選択されたワインの等級に関する情報を含むことを特徴とする請求項14に記載の方法。
  21. デジタル写真と関連付けるための選択情報を特定するためにサーバを動作させる方法であって、
    デジタル画像を含む要求をリモートクライアントシステムから受信する工程と、
    前記デジタル画像と一致するコンテンツ認識データを含む画像カテゴリとなる選択画像カテゴリを決定するために、前記デジタル画像と、前記デジタル画像が前記画像カテゴリ内に存在するかどうかを判定するためのコンテンツ認識データと複数の画像カテゴリ各々とを関連付けたカテゴリ化レベルのデータベースから得られるコンテンツ認識データとを比較する工程と、
    前記デジタル画像と一致するテーマとなる選択テーマを決定するために、前記選択された画像カテゴリに関連付けられた、前記画像カテゴリに関して、該画像カテゴリ内のテーマを前記テーマに関するデータと関連付けたIDレベルのデータベースから得られるテーマと前記デジタル画像を比較する工程と、
    前記リモートクライアントシステムに対する、前記選択テーマに関する前記データを含む応答を生成する工程とを有することを特徴とする方法。
  22. 前記画像カテゴリのうちの1つは人物の画像カテゴリであり、
    前記IDレベルのデータベースは、前記人物の画像カテゴリに関連付けられた人物の識別データベースを含み、前記人物の識別データベースは、複数の人物のそれぞれについて、前記人物の画像を認識するための識別データを前記人物に関する個人情報と関連付け、該個人情報は前記人物の氏名と連絡先情報とを含み、
    前記選択された画像カテゴリ内の前記IDレベルのデータベースから得られるテーマと前記デジタル画像とを比較する工程は、前記デジタル画像内において画像が認識される前記複数の人物のうちの一人である選択対象人物を特定するために、前記デジタル画像の顔の画像を前記人物の識別データベースの前記識別データと比較する工程を含み、
    前記選択テーマに関する前記データは、前記選択対象人物に関連付けられた個人情報を含むことを特徴とする請求項21に記載の方法。
  23. 前記人物の識別データベースはさらに、前記人物に関する前記個人情報を受信する権限が与えられたグループのIDと前記複数の人物各々を関連付け、
    前記要求は該要求のソースを特定する認証データを含み、
    前記要求の前記ソースが、前記選択対象人物に関する個人情報の受信する権限が与えられたグループ内に存在すれば、前記サーバは単に前記選択対象人物に関する前記個人情報を返信することを特徴とする請求項22に記載の方法。
  24. 前記人物の識別データベースはさらに、前記複数の人物が自分の描かれている写真の取得を所望しているか否かを特定する写真共有要求インジケータと前記複数の人物各々を関連付け、
    前記応答はさらに、前記選択対象人物に関連付けられた前記写真共有要求インジケータを含み、
    前記個人情報は、自分の顔が描かれている前記写真が送信されることを所望する前記選択対象人物へのネットワークアドレスを含むことを特徴とする請求項22に記載の方法。
  25. 前記画像カテゴリのうちの1つはアトラクションの画像カテゴリであり、
    前記要求は写真のロケーションをさらに特定し、該写真のロケーションは前記デジタル画像が撮られたロケーションであり、
    前記IDレベルのデータベースは、前記アトラクション画像カテゴリに関連付けられたアトラクションデータベースを含み、該アトラクションデータベースは、複数の所定のロケーションのそれぞれについて、
    前記所定のロケーションから見ることができる複数のアトラクション各々を認識する識別データと、
    前記所定のロケーションから見ることができる前記複数のアトラクション各々に関する記述データとを関連付け、
    前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較する工程は、
    前記写真のロケーションに対応する所定のロケーションとなる所定の選択ロケーションを決定する工程と、
    前記デジタル画像内で認識される前記所定のロケーションから見ることができる前記複数のアトラクションのうちの1つとなる選択アトラクションを決定するために、前記所定の選択ロケーションから見ることができる前記アトラクション用の識別データと前記デジタル画像を比較する工程とを含み、
    前記選択テーマに関する前記データは、前記選択アトラクションに関連する記述データを含むことを特徴とする請求項21に記載の方法。
  26. 前記画像カテゴリのうちの1つはワインラベルの画像カテゴリであり、
    前記IDレベルのデータベースは前記ワインラベルの画像カテゴリに関連付けられたワインラベルのデータベースを含み、該ワインラベルのデータベースは、複数のワインの等級各々を、
    前記ワインの等級に関連付けられたラベルの画像を認識するデータと、
    前記ワインの等級に関する情報とに関連づけ、
    前記デジタル画像を前記選択された画像カテゴリ内のテーマと比較する工程は、前記デジタル画像が一致するラベルに関連付けられた前記複数のワインの等級のうちの1つである選択されたワインの等級を特定するために、前記デジタル画像をラベルの画像を認識するデータと比較する工程を含み、
    前記テーマに関する前記データは、前記選択されたワインの等級に関する情報を含むことを特徴とする請求項21に記載の方法。
JP2010500371A 2007-03-29 2007-09-28 デジタル写真のコンテンツ情報サービス Expired - Fee Related JP5016101B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/692,944 US9075808B2 (en) 2007-03-29 2007-03-29 Digital photograph content information service
US11/692,944 2007-03-29
PCT/IB2007/002853 WO2008120040A1 (en) 2007-03-29 2007-09-28 Digital photograph content information service

Publications (2)

Publication Number Publication Date
JP2010523034A true JP2010523034A (ja) 2010-07-08
JP5016101B2 JP5016101B2 (ja) 2012-09-05

Family

ID=38895702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010500371A Expired - Fee Related JP5016101B2 (ja) 2007-03-29 2007-09-28 デジタル写真のコンテンツ情報サービス

Country Status (6)

Country Link
US (1) US9075808B2 (ja)
EP (1) EP2143020B1 (ja)
JP (1) JP5016101B2 (ja)
CN (1) CN101636734B (ja)
BR (1) BRPI0721506A2 (ja)
WO (1) WO2008120040A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513162A (ja) * 2012-06-29 2015-04-30 ▲華▼▲為▼▲終▼端有限公司 情報を関連付ける方法および端末
JP2017531975A (ja) * 2015-07-31 2017-10-26 小米科技有限責任公司Xiaomi Inc. 写真共有方法、装置、プログラム及び記録媒体

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280405B2 (en) * 2005-12-29 2012-10-02 Aechelon Technology, Inc. Location based wireless collaborative environment with a visual user interface
US7831141B2 (en) 2007-03-29 2010-11-09 Sony Ericsson Mobile Communications Ab Mobile device with integrated photograph management system
KR101364044B1 (ko) * 2007-04-13 2014-02-17 삼성전자주식회사 이동통신 단말기 및 그의 호에 따른 영상 표시 방법
US20090063514A1 (en) * 2007-08-30 2009-03-05 International Business Machines Corporation System and method for generating files having categorization architectures for digital images
KR101432177B1 (ko) * 2008-01-21 2014-08-22 삼성전자주식회사 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템
JP2010134910A (ja) * 2008-11-07 2010-06-17 Fujifilm Corp ペット画像検出システムおよびその動作制御方法
US8457366B2 (en) * 2008-12-12 2013-06-04 At&T Intellectual Property I, L.P. System and method for matching faces
US20100216441A1 (en) * 2009-02-25 2010-08-26 Bo Larsson Method for photo tagging based on broadcast assisted face identification
US20110013810A1 (en) * 2009-07-17 2011-01-20 Engstroem Jimmy System and method for automatic tagging of a digital image
US20110022312A1 (en) * 2009-07-23 2011-01-27 Fmr Llc Generating and Tracking Activity Patterns for Mobile Devices
US20110022540A1 (en) * 2009-07-23 2011-01-27 Fmr Llc Location-Based Address Determination and Real Estate Valuation
KR101778135B1 (ko) * 2009-08-24 2017-09-14 삼성전자주식회사 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
US20110078097A1 (en) * 2009-09-25 2011-03-31 Microsoft Corporation Shared face training data
US9319625B2 (en) * 2010-06-25 2016-04-19 Sony Corporation Content transfer system and communication terminal
CN110049431B (zh) * 2011-09-09 2021-07-23 交互数字专利控股公司 用于直接通信的方法和设备
CN103207870B (zh) * 2012-01-17 2020-06-02 华为技术有限公司 一种照片分类管理方法、服务器、装置及系统
CN103324634A (zh) * 2012-03-22 2013-09-25 百度在线网络技术(北京)有限公司 为用户提供当前媒体文件所对应的查询结果的方法与装置
JP2013219608A (ja) * 2012-04-10 2013-10-24 Canon Inc 情報処理装置、情報処理装置の制御方法、プログラム
CN102682111A (zh) * 2012-05-11 2012-09-19 广东欧珀移动通信有限公司 一种图片检索方法
US9171015B2 (en) * 2012-09-14 2015-10-27 At&T Intellectual Property I, L.P. Sharing asserted media
CN103167146A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 基于人脸识别技术实现数据传输匹配的系统及方法
US9990373B2 (en) * 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
KR102067057B1 (ko) * 2013-07-24 2020-01-16 엘지전자 주식회사 디지털 디바이스 및 제어 방법
US20150039607A1 (en) * 2013-07-31 2015-02-05 Google Inc. Providing a summary presentation
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
US20150085146A1 (en) * 2013-09-23 2015-03-26 Nvidia Corporation Method and system for storing contact information in an image using a mobile device
CN103995889B (zh) * 2014-06-03 2017-11-03 广东欧珀移动通信有限公司 图片分类方法及装置
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
US10863003B2 (en) 2015-09-10 2020-12-08 Elliot Berookhim Methods, devices, and systems for determining a subset for autonomous sharing of digital media
SG10201912947XA (en) 2015-10-21 2020-02-27 15 Seconds Of Fame Inc Methods and apparatus for false positive minimization in facial recognition applications
US10936692B2 (en) * 2016-09-22 2021-03-02 K-Notices, LLC Contact information management systems and methods using unique identifiers and electronic contact cards
CN106682683B (zh) * 2016-11-03 2020-09-29 知酒(上海)网络科技有限公司 一种酒标图片的识别方法以及装置
US10891359B2 (en) * 2017-12-21 2021-01-12 Mastercard International Incorporated Management systems for personal identifying data, and methods relating thereto
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
CN110072071B (zh) * 2019-05-31 2023-05-05 广东图盛超高清创新中心有限公司 一种视频录制交互控制方法、设备及计算机可读存储介质
CN110535750A (zh) * 2019-08-14 2019-12-03 北京超凡视幻网络科技有限公司 一种识图聊天系统及方法
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296674A (ja) * 1998-03-16 1999-10-29 Hewlett Packard Co <Hp> 人物識別管理システム
JP2002169823A (ja) * 2000-12-01 2002-06-14 Minolta Co Ltd データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2005215922A (ja) * 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6779178B1 (en) * 1997-03-07 2004-08-17 Signature Mail. Com, Llc System and method for personalizing electronic mail messages
JPH10301953A (ja) * 1997-04-28 1998-11-13 Just Syst Corp 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6396963B2 (en) * 1998-12-29 2002-05-28 Eastman Kodak Company Photocollage generation and modification
US7096426B1 (en) * 1999-05-07 2006-08-22 Catherine Lin-Hendel Clustered presentation of objects with group and individual identity in, and virtual layered composition of, electronically recorded, computer presented media
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US8472606B2 (en) 2001-02-27 2013-06-25 Verizon Data Services Llc Methods and systems for directory information lookup
US6977679B2 (en) 2001-04-03 2005-12-20 Hewlett-Packard Development Company, L.P. Camera meta-data for content categorization
US7249182B1 (en) 2002-02-27 2007-07-24 Nokia Corporation Personal profile sharing and management for short-range wireless terminals
SE524936C2 (sv) 2002-10-23 2004-10-26 Softhouse Nordic Ab Mobil likhetsbedömning av objekt
KR20050094041A (ko) 2003-01-21 2005-09-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 화상들에 대한 메타데이터 부가
JP4374610B2 (ja) 2003-04-18 2009-12-02 カシオ計算機株式会社 撮像装置、画像データ記憶方法、及び、プログラム
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US7460737B2 (en) * 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
WO2005114476A1 (en) 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US20070053335A1 (en) 2005-05-19 2007-03-08 Richard Onyon Mobile device address book builder
WO2007117334A2 (en) * 2006-01-03 2007-10-18 Kyos Systems Inc. Document analysis system for integration of paper records into a searchable electronic database
US7668507B2 (en) 2006-06-15 2010-02-23 Sony Ericsson Mobile Communications Ab Short range connectivity usability by using contact information
KR100856407B1 (ko) * 2006-07-06 2008-09-04 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
US20080153465A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Voice search-enabled mobile device
US8453170B2 (en) * 2007-02-27 2013-05-28 Landmark Digital Services Llc System and method for monitoring and recognizing broadcast data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296674A (ja) * 1998-03-16 1999-10-29 Hewlett Packard Co <Hp> 人物識別管理システム
JP2002169823A (ja) * 2000-12-01 2002-06-14 Minolta Co Ltd データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置
JP2005215922A (ja) * 2004-01-29 2005-08-11 Zeta Bridge Corp 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513162A (ja) * 2012-06-29 2015-04-30 ▲華▼▲為▼▲終▼端有限公司 情報を関連付ける方法および端末
JP2017531975A (ja) * 2015-07-31 2017-10-26 小米科技有限責任公司Xiaomi Inc. 写真共有方法、装置、プログラム及び記録媒体
US10313288B2 (en) 2015-07-31 2019-06-04 Xiaomi Inc. Photo sharing method and device

Also Published As

Publication number Publication date
US20080243861A1 (en) 2008-10-02
US9075808B2 (en) 2015-07-07
EP2143020A1 (en) 2010-01-13
CN101636734B (zh) 2012-05-23
JP5016101B2 (ja) 2012-09-05
EP2143020B1 (en) 2019-03-20
BRPI0721506A2 (pt) 2014-02-11
WO2008120040A1 (en) 2008-10-09
CN101636734A (zh) 2010-01-27

Similar Documents

Publication Publication Date Title
JP5016101B2 (ja) デジタル写真のコンテンツ情報サービス
USRE45369E1 (en) Mobile device with integrated photograph management system
US10628480B2 (en) Linking tags to user profiles
US11243912B2 (en) Context-based file selection
US20080270425A1 (en) System and method for connecting individuals in a social networking environment based on facial recognition software
US7068309B2 (en) Image exchange with image annotation
US7765231B2 (en) System and method for accessing electronic data via an image search engine
US20160070809A1 (en) System and method for accessing electronic data via an image search engine
US20110022529A1 (en) Social network creation using image recognition
US20090217199A1 (en) Information Retrieving and Displaying Method and Computer-Readable Medium
US20060080286A1 (en) System and method for storing and accessing images based on position data associated therewith
JP2011003212A (ja) 場所参照式写真リポジトリ
JP2003298991A (ja) 画像整理方法および装置並びにプログラム
US20080126960A1 (en) Context server for associating information with a media object based on context
JP2008242639A (ja) 登録制コミュニケーションサイトの提供装置及び方法
WO2007113462A1 (en) Content processing
JP2002016956A (ja) 位置情報取得システム及び位置情報取得方法
US20160034496A1 (en) System And Method For Accessing Electronic Data Via An Image Search Engine
JP5272107B2 (ja) 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
JP5535671B2 (ja) 情報提供装置、情報提供処理プログラム、及び情報提供方法
JP2004038392A (ja) 名刺情報を用いた管理システム、該システムの機能を実現するプログラム及び記録媒体
JP2002041526A (ja) 情報発信および検索方法、情報発信および受信装置、データベースサーバ、情報発信および受信プログラムを記録した記録媒体
WO2016103109A1 (en) A system and method for storing and securely sharing of information through an unique id
Aarbakke M2S and CAIR. Image based information retrieval in mobile environments.
JP2006065645A (ja) 情報提供方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5016101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees