JP2014532228A - 画像回収 - Google Patents

Abstract

システムには、装置に関する第１の情報の情報であって、第１の情報には装置の位置及びこの位置に装置が存在した時刻に対応するデータが含まれていることを特徴とする第１の情報を受け取るステップと、第１の情報の範囲内にある、第２の情報と関連付けられた１以上の画像を特定するステップであって、画像についての第２の情報には画像をとらえた位置及び画像をとらえた時刻に対応するデータが含まれ、画像をとらえた位置及び画像をとらえた時刻は、装置の位置及びこの位置に装置が存在した時刻の範囲内であることを特徴とする、ステップと、第２の情報と関連付けられた１以上の画像を回収するステップと、を含めることができる。【選択図】なし

Description

本出願は、２０１１年９月２９日に出願された米国特許出願番号１３／２４８，４１９、表題「画像回収（ＲＥＴＲＩＥＶＩＮＧ ＩＭＡＧＥＳ）」に基づく優先権を主張するものであり、この米国特許出願を参照として本出願にすべて組み込むものとする。

本明細書は一般に、例えば、いつどこで画像をとらえたのかを特定するメタデータに基づく画像回収に関する。

画像取込装置、例えば、ディジタルカメラは、一般的に、メタデータを取り込んだ画像に関連付ける。実施例において、このメタデータにより、画像をとらえた装置を特定することができる。メタデータにより、画像をとらえた時刻、画像をとらえた位置、例えば、地理座標を特定することもできる。ネットワーク、例えば、インターネットに蓄えられた画像は、このタイプのメタデータでタグ付けされる。

いくつかの計算装置、例えば、携帯電話は、ユーザが作動させた場合、所定の時間間隔で装置の位置（例えば、地理座標で）を記録する機能を有することがある。結果として得られた情報は装置のログファイルに蓄え、必要に応じてユーザが利用することができる。

画像回収システムには、装置に関する第１の情報の情報であって、該第１の情報には前記装置の位置及び該位置に前記装置が存在した時刻に対応するデータが含まれていることを特徴とする第１の情報を受け取るステップと、前記第１の情報の範囲内にある、第２の情報と関連付けられた１以上の画像を特定するステップであって、画像についての該第２の情報には該画像をとらえた位置及び該画像をとらえた時刻に対応するデータが含まれ、前記画像をとらえた位置及び前記画像をとらえた時刻は、前記装置の位置及び該位置に前記装置が存在した時刻の範囲内であることを特徴とする、ステップと、前記第２の情報と関連付けられた１以上の画像を回収するステップとを含めることができる。ここに記載した特徴、又はその一部は、前記システムに組み込まれ、実施例は以下の通りである。

前記１以上の画像を特定するステップには、前記第２の情報を探し出すために、前記第１の情報を用いて前記ネットワーク上の１以上のサーバを検索することを含めることができる。前記画像は、前記１以上のサーバから回収することができる。前記第１の情報は、前記装置から受け取ったログファイルの一部とすることができる。

前記システムには、サンプル画像を受け取るステップと、該サンプル画像を前記１以上の回収した画像と比較するステップを含めることができる。前記システムには、前記１以上の回収した画像に現れた対象を特定するために、前記１以上の回収した画像に顔認知処理を行うステップを含めることができる。

前記第１の情報には、前記装置の地理座標を含めることができ、前記第２の情報には、前記画像をとらえた地理座標を含めることができ、前記範囲には、前記装置の地理座標を囲む地理的な領域とすることができる。前記第１の情報には、前記装置から入力されたチェックイン情報を含めることができ、該チェックイン情報は、前記位置にあるランドマークを特定し、該ランドマークのところに前記装置が存在する時刻を特定する。

画像回収を行うシステムには、装置が存在していた位置及び該位置に装置が存在していた時刻を特定するステップと、該位置及び時刻に対応するメタデータを有する画像についての１以上のネットワークサーバを検索するステップと、該１以上のネットワークサーバからの各種画像を回収するステップと、認証のために該各種画像を表示するステップと、認証された画像を計算装置に送るステップとを含めることができる。ここに記載した特徴、又はその一部は、前記システムに組み込まれ、実施例は以下の通りである。

すべての位置は、地理座標により特定することができ、前記位置及び時刻に関するメタデータには、前記装置の地理座標のあらかじめ定めた範囲内にある地理座標が含まれる。前記各種画像には、前記画像のサムネイルを含めることができる。

システムには、あらかじめ定めた対象と実質的に一致する対象を有する候補画像を、１以上のネットワークサーバで検索するステップを含めることができる。前記候補画像を、前記位置及び時刻に対応するメタデータを有する画像を見つけるために、検索する。

システムには、前記１以上の蓄えられた画像中の対象を認知するために１以上の蓄えられた画像に認知処理を行うステップを含めることができる。

システムには、時間順アルバム又は表題別アルバムに、認証された画像を配置するステップを含めることができる。

本明細書に記載した２以上の特徴、及びその一部は、この概要を含め、組み合わせることで、ここに詳述されていない実施の形態を形成することができる。

ここに記載したシステム及び技術、又はその一部は、１以上の機械で読み取り可能な一時的ではない記憶装置媒体に蓄えられ、１以上の処理装置で実行可能な命令を含むコンピュータプログラム製品として実施することができる。ここに記載したシステム及び技術、又はその一部は、１以上の処理装置及び記載の機能を実施するための実行可能な命令を蓄えるメモリを含めることができる装置、方法、又は電子システムとして実施することができる。

１以上の実施の形態の詳細を、添付図及び以下の説明により記述する。他の特徴、目的、及び利点は、この記載及び図面、及び特許請求の範囲から明らかであろう。

画像をとらえた時と場所に基づく画像回収の例示的処理の概念図である。 図１の処理を実施するために用いることのできる例示的ネットワーク及び構成要素のブロック図である。 図１の処理の一例を示すフロー線図である。 図１〜図３に示した処理又はその構成要素を実施するために用いることのできるコンピュータ装置の例を示す。

種々の図面において類似の参照番号は類似の構成要素を示す。

例えば、画像をとらえた時と場所を特定するメタデータに基づく画像回収のシステムをここに記載する。１つの実施の形態において、システムには、携帯計算装置（又は、簡単に「携帯装置」）、例えば携帯電話、が存在する位置及びその装置がその位置にあるときに対応する時刻を特定するステップが含まれる。システムは、例えば１以上のネットワークサーバのオンライン検索を行い、その位置と時刻に対応するメタデータを有する画像を見つけ、この１以上のネットワークサーバからこれらの各種画像（例えば、サムネイル版）を回収する。幾種かの画像は認証のためにユーザに提示される。認証された画像は改修され、例えば、ユーザのその場の計算装置に蓄えられる。

前記システムには利点がある。例えば、携帯装置が存在していた場所で、及び携帯装置がその位置に存在していた時刻にとらえた画像を探し出すに用いることができる。従って、例えば、特定の日の特定の時刻に特定の地理座標（例えばエッフェル塔の近く）に携帯装置が存在すると知った場合、システムは、同じ日に、同じ時刻のころに、近くの位置でとらえられた画像をオンラインで検索することができる。このようにして、ユーザは、持ち合わせの画像よりもユーザとの個人的関係が深い画像を回収することができる。このシステムは、例えば、ユーザが休暇を取り自分のカメラを紛失し、従って、カメラに撮った画像をなくした場合に役立てることができる。

携帯装置、例えば携帯電話の所有者が、携帯電話が存在する位置及びその位置に存在する時刻を、携帯電話が提示するような機能を選んだ場合、このシステムを実行することができる。ユーザは、携帯装置がそのような位置と時刻の記録を保持せず、及び／又は、この位置と時刻に関する情報を受け取らないように、このような機能を除外することができる。前記処理は、しかしながら、人が人為的に、その人がいる特定の位置と時刻を特定するために用いることができる。

図１は、概念的に、前記システムがどのように動作することができるかを示す。図１の例では、携帯装置は携帯電話１００である。携帯電話１００は、携帯電話が存在する位置、及びこの携帯電話がこの位置にいるときの日付けと時刻の記録を含有するログファイルをこの携帯電話に保持することのできる機能を有するスマートフォンとすることができる。ユーザはこのロギング機能を選択することも除外することもできる。ユーザがこの機能を除外した場合、携帯電話１００はログファイルを保持しない。

いくつかの実施例では、携帯電話１００と一体となった衛星利用測位システム（ＧＰＳ）は、所定の時間間隔で地理座標のログファイル１０２を整備する。この時間間隔は、携帯電話に適用した設定に応じて、秒単位、分単位、又は時間単位とすることができる。ログファイル１０２は、携帯電話のメモリ内で維持され、ここに記載した処理を行うためにを含む種々の理由で、ユーザがアクセスすることができる。１つの実施の形態において、ログファイルは、ユーザのみがアクセス可能であり、ユーザの肯定的動作及び／又はユーザの同意がなければ取得できない。

図１の例では、ログファイル１０２には、項目１０４〜１０６が含まれる。例示として、各項目（例えば１０４）には、日付１０７、時刻１０９、及び地理座標１１０が含まれる。地理座標１１０は携帯電話１００の地理的位置を特定し、対応する日付１０７及び時刻１０９は、携帯電話１００が地理座標１１０に対応する地理的位置にいた時刻を特定する。適切な他の情報は、各ログ項目に含めることができ、携帯電話及びＧＰＳシステムから得られる形式の情報に依存する。

携帯電話１００のユーザは、ログファイル又はその一部を、例えばインターネットのようなネットワーク１１４を介してアクセス可能なサービス（例えば、ウェブベースのサービス）１１２に送ることができる。このサービス１１２は、送られてきたログファイル１０２又はその一部を、ログファイルの各項目について、日付、時刻、及び地理座標を特定するために、構文解析することができる。このサービスは、日付、時刻、及び地理座標を用いて、この特定された日付、時刻、及び地理座標の範囲内にあるメタデータ画像を見つけるためにネットワーク１１４を検索することができる。

サービス１１２により用いられる範囲は、ケース毎にユーザあらかじめ定めるか又は設定することができる。さらに、この範囲は、単一の範囲（単一の変数）又は範囲を組み合わせたもの（複数の変数）とすることができる。例えば、この範囲として、ログファイル１０２からの座標の周りに所定の半径を定めることができる。この範囲として、ログファイルからの時刻より前及び／又はその後の記録の数を特定することができる。この範囲として、ログファイル中の日付より前及び／又はその後の日数を特定することができる。ログファイルが含有する他の情報についても、その情報の変化を考慮に入れることができる。

検索により、各ログ項目に対応する１以上の画像を特定することができる。例えば、検索により、ログ項目からの情報と種々の画像について蓄えられたメタデータとを比較し、ログ項目からの情報と合致するか又は類似するメタデータの候補画像を特定する。これらの画像のサムネイル版をユーザに提示することができ、ユーザは、必要なら、どの画像をダウンロードするかを選択することができる。選択した画像は、ユーザのその場の計算装置にダウンロードすることができる。図１の例では、ユーザのその場の計算装置は携帯電話１００であり、画像はユーザの写真ライブラリ１２０にダウンロードされる。他の例では、ユーザのその場の計算装置はユーザの携帯電話以外の計算装置とすることができる。例えば、ユーザは、デスクトップコンピュータを用いて携帯電話のログファイルを取得することができ、デスクトップコンピュータを用いて前記サービス１１２とやり取りすることができる。

前記処理により、ユーザは、ユーザが訪れた位置でユーザがそこにいた時と同じ時刻にとらえた画像を見つけ回収することができる。従って、図１の例では、携帯電話１００のユーザは、ユーザがパリのランドマークにいた時とほぼ同じ時刻に撮ったランドマークの画像を取得することができる。例えば、ログ項目１０４の日付１０７と画像の日付１２２との間、ログ項目１０４の時刻１０９と画像の時刻１２４との間、及びログ項目１０４の地理座標１１０と画像の地理座標１２６との間の適切な類似性（例えば、すべて所定の容認可能な範囲内にある）により、エッフェル塔の画像１２１を回収するためにログファイル１０２を用いることができる。同様にして、ログ項目１０６をサクレ・クール寺院の画像１２７を回収するために用いることができ、ログ項目１０５を凱旋門の画像１２７を回収するために用いること、等、ができる。上述の通り、これらの画像は、インターネット（又は、他のネットワーク）に蓄えることができ、適切なログファイルの項目中の情報を用いてメタデータの検索を行うことにより回収することができる。

ユーザがログファイル機能を除外した実施の形態では、ユーザは手でサービス１１２に日付、時刻、及び地理座標を入力することができ、それにより、しかるべき特徴と合致する画像を取得することができる。

例示的実施の形態において、画像認知処理は、サービス１１２の一部として用いられる。例えば、ユーザは、ログファイル情報と共に、検索対象の画像を提出することができる。サービス１１２は、提出された画像及びその検索を通じて特定された画像に画像認知処理を行い、正しい画像が特定され正しい画像の種類が回収されたことを確認することができる。ログファイル情報を用いて特定した画像中の人物を特定するために顔認知処理を用いることもできる。例えば、携帯電話のユーザ携帯電話のカメラを用いて自分自身の写真を撮りその画像をサービスに提出することができる。サービス１１２は、ログファイル情報を用いて特定された画像中のユーザを特定しようとして、１以上の顔認知作業を行うことができる。ダウンロードする画像と共にユーザが存在するときに、そのユーザを含む画像のサムネイル版にフラグ付けすることができる。

適切な画像を検索するためのログファイル情報に加えて、又はこのログファイル情報に代えてチェックイン情報を用いることができる。チェックインサービスには、スマートフォン又は他の装置でユーザがイベント又は目的地を調べるサービスを含めることができる。そのようなチェックインサービスでは、ユーザのチェックイン情報を共有するオプションをユーザに提供することができる。ユーザが自分のチェックイン情報（例えば、ユーザが立ち会ったイベント及びその時刻を特定する情報）、を共有することを選択した場合、この情報は、ユーザの関心がある画像を探し出すためにサービス１１２で用いることができる。例えば、ユーザが２０１１年７月２９日の午後７：００にボストンレッドソックスの試合にチェックインした場合、この情報は、ユーザが関心を持つ画像を検索するためにサービス１１２により（ユーザの認証を条件として）用いることができる。この情報は、単独に、又は先のログファイル情報と組み合わせて用いることができる。例えば、ログファイル情報は、ユーザが座っていた場所を特定するために用いることができ、それにより、その座っていた場所から撮った画像にオンライン検索の焦点を絞ることができる。

図１に関して説明した処理は、適切な装置と計算機と共に、適切なネットワーク上で実行することができる。

図２は、図１に概略的に示した処理を実行することができる例示的なシステム２００のブロック線図である。携帯装置２０１は、図１で用いることのできる形式の携帯装置１００の１つの例である。携帯装置２０１は、種々の形状の携帯計算装置を代表することができる。携帯装置の例として、携帯電話、個人用の携帯情報端末（ＰＤＡ）、タブレットコンピュータ、及びスマートフォンを含めることができる。携帯装置２０１は、１以上のネットワークを含むことができる、ネットワーク２０９を介してサーバ２０３〜２０６と通信することができる。

携帯装置２０１には、１以上処理装置２１０、メモリ２１１、及び記憶システム２１２を含めることができる。記憶システム２１２には、オペレーティングシステム（ＯＳ）２１４、及びここに記載の画像検索を開始させるためのアプリケーション（ａｐｐ）２１５を含めることができる。記憶システム２１２はまた、ここに記載された画像ライブラリ２１９の形式についてのログファイル２１８も蓄える。

携帯装置２０１は、ここに記載の画像検索を開始させるためのソフトウェアを含有する計算装置２１７とのインターフェースを行うことも行わないこともできる。計算装置２１７には、１以上の処理装置を含めることができ、ラップトップコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、ネットワーク機器、カメラ、エンハンスト・ジェネラル・パケット・ラジオ・サービス（ＥＧＰＲＳ）携帯電話、メディアプレイヤー、ナビゲーション装置、Ｅメール装置、ゲーム機、又は、これらのデータ処理装置又は他のデータ処理装置の２以上の組み合わせとすること、又は、これらを含めることができる。いくつかの実施の形態では、計算装置には、自動車（例えば、乗用車、緊急車両（例えば、消防車、救急車）、バス）の一部を含めることができる。いくつかの実施の形態において、計算装置は、デスクトップコンピュータの一部とすることができる。

計算装置２１７には、１以上の処理装置、メモリ、及び記憶システムが含まれる。記憶システムには、オペレーティングシステム（ＯＳ）、及びインターネットにアクセスするためのウェブブラウザを含めることができる。

サーバ２０３は、例えば、ウェブサーバ、アプリケーションサーバ、プロキシサーバ、ネットワークサーバ、又はサーバファームのような、種々の形式のサーバを表すことができる。サーバ２０３には、１以上の処理装置２２０、メモリ２２１、及び記憶システム２２２を含めることができる。記憶システム２２には、オペレーティングシステム（ＯＳ）２２４と、図１関して説明した画像検索を開始させるためのウェブサイトを受け入れるためのウェブサーバプログラム２１５とを含めることができる。サーバ２０３にはまた、図１のサービス１１２の一例である画像検索サービス２２７を実行するためのコンピュータプログラムを蓄えることができる。この例では、コンピュータプログラムには、上述のように、携帯装置のログファイル及び／又はチェックイン情報から取得した情報を用いて、インターネット（又は、他のネットワーク）の検索を行うための検索エンジン２２９が含まれる。比較エンジン２３０は、検索エンジンから検索結果を取得し、この検索結果が、所定の許容範囲内であるかどうかを判断する。例えば、上述したように、特定の画像がログファイルに記載した時刻の前後のある時間範囲内に特定の画像をとらえたかどうかの判断を行うことができる。回収エンジン２３１は、比較エンジンにより選択されたサムネイル及びフルサイズの画像を取得し、これらの画像を適切なユーザの計算装置に送る。比較エンジン２３０及び回収エンジン２３１は、検索エンジン２２９の一部（例えば、検索エンジンのモジュール及びその所定の仕事）とすることができ、或いは、検索エンジン２２９とは別とすることができる。

サーバ２０４〜２０６は、種々の形式のサーバ、例えば、ウェブサーバ、アプリケーションサーバ、プロキシサーバ、ネットワークサーバ、又はサーバファームを表すことができる。各サーバの画像ライブラリは、メタデータでタグ付けした画像を蓄えることができる。画像は、サーバが受け入れたウェブサーバの一部とすることができ、或いは、（例えば、ファイルサーバのような場合）ユーザによりアップロードされたものとすることができる。上述のように、メタデータは、画像をとらえた装置、画像をとらえた日付、画像をとらえた時刻、及び画像をとらえた位置、例えば、地理座標、を特定することができる。他の情報をメタデータに含めることもできる。サーバ２０４〜２０６のそれぞれに、ウェブブラウザ又は適切なウェブサービスを用いて、ネットワーク２０９（例えば、インターネット）を介してアクセスすることができる。

ネットワーク２０９は、装置（例えば、携帯装置２０１）が、必要な場合はディジタル信号処理回路を含めることができる通信インターフェース（不図示）を介して無線で通信できるようにする通信ネットワークを表すことができる。ネットワーク２０９には、装置２０１及び２１７により、サーバ２０３との通信に用いることのできる、１以上のネットワークを含めることができる。ネットワークは、中でも、例えば、グローバル・システム・フォア・モービル・コミュニケーション（ＧＳＭ）ボイスコール、ショート・メッセージ・サービス（ＳＭＳ）、エンハンスド・メッセージング・サービス（ＥＭＳ）、又はマルチメディア・メッセージング・サービス（ＭＭＳ）メッセージング、コード・ディビジョン・マルチプル・アクセス（ＣＤＭＡ）、タイム・ディビジョン・マルチプル・アクセス（ＴＤＭＡ）、パーソナル・ディジタル・セルラー（ＰＤＣ）、ワイドバンド・コード・ディビジョン・マルチプル・アクセス（ＷＣＤＭＡ）、ＣＤＭＡ２０００、又はグローバル・パケット・ラジオ・システム（ＧＰＲＳ）のような、種々のモード又はプロトコルで通信を行うことができる。例えば、通信として、ラジオ周波数のトランシーバを介して行うものが存在する。加えて、ブルートゥース、ＷｉＦｉ、又は他のこのようなトランシーバを用いた短距離通信が存在する。

図３は、処理３００のフローチャートであり、図２に示したシステム上で実施することのできる一例を図１に関して概念的に説明している。処理３００の少なくとも一部は、サーバ２０３（又は他の適切なところ）からダウンロードされたａｐｐ２１５を用いて、又はサーバ２０３により受け入れられたウェブサイトにアクセスすることにより実施することができる。

動作中、計算装置、例えば、携帯装置２０１は、例えば、携帯装置の位置、携帯装置がその位置にあったときの日付及び時刻の記録を含有するログファイルを取得する（３０１）。携帯装置がある位置の記録は地理座標又は他の適切な識別情報で表現することができる。ログファイルは、図３の処理を行う同じ装置で管理し蓄えることができ、又は、別の携帯装置からログファイルを取得することができる。

処理３００によれば、ログファイルからの情報（ログファイル情報）は、ログファイルの構文解析を行うことにより取得することができる（３０１）。これは、携帯装置２０１又はサービス２２７により行うことができる。例えば、ログファイルは、コンピュータが解読できるマークアップ言語、例えば、コンピュータに組み込んだ適切な処理を行うことで構文解析可能な拡張可能マークアップ言語（ＸＭＬ）に蓄えられる。この例では、ログファイル情報を取得し、ログファイル情報に対応するメタデータ（例えば、携帯装置のある位置、その位置にあるときの日付及び時刻の記録）を有するオンライン画像の検索を行う指令と共に、サーバ２０３で動作しているサービス２２７に送る。

サービス２２７では、ログファイル情報を受け取り（３０３）、検索エンジン２２９を用いて、受け取ったログファイル情報に対応するメタデータを有する画像を見つけるためにネットワーク２０９の検索（３０４）を行う。１つの例では、検索により、ログファイルから取得した位置、日付及び／又は時刻に一致するか又はそれらに近似するメタデータを有する画像を特定することができる。その結果特定された画像は、回収候補となる。サービス２２７では、これらの候補となった画像を取得し（３０５）、例えば、ユーザが検索のための要求として設定した範囲内又は検索サービスによりあらかじめ設定した範囲内に入っている候補画像がもしあるなら、そのような画像を特定する（３０６）。例えば、特定の時刻から１時間以内で半径５０フィート（１５．２４メートル）以内でとらえられた画像は条件を満たすと設定することができる。これに関し、適切な範囲の日付、時刻、及び距離を用いることができる。

サービス２２７では、候補画像と関連付けられたメタデータを、ログファイルから得られた適切な情報と比較するために比較エンジン２３０を用いる。設定した範囲内のメタデータを有する候補画像はこのようにして特定され（３０６）携帯装置２０１に出力される。この例では、回収エンジン２３１は、これらの候補画像のサムネイル版を取得し（３０７）、これらのサムネイル版を携帯装置２０１に送る（３０８）。

携帯装置２０１は、サムネイル版を受け取り表示する（３０９）。携帯装置２０１は、ユーザ選択用サムネイル版を受け取り（３１０）、これらの選択用サムネイル版をサーバ２０３に送る（３１１）。サービス２２７では、この選択用サムネイル版を受け取り（３１２）、画像全体版を取得し（３１３）、全体版を携帯装置２０１に送る（３１４）。携帯装置２０１は、全体版を、受け取り（３１５）、蓄え、及び／又は、ディスプレイ画面に表示する。

処理３００の実施の形態には、追加の機能及び／又は上述したものとは異なる機能を含めることができる。例えば、処理３００では、ログファイル情報と共に、又は、別の時刻に、検索の一部となる画像を受け取ることができる。１つの例において、その画像はその検索に関連するランドマーク（例えば、エッフェル塔）又は他の物体の画像とすることができる。処理３００では、受け取った画像及び候補画像に画像認知処理を施し、画像が検索に関連するものであることを確認することができる。検索に関連する画像は候補画像として指定することができ、検索と関連するものでない画像は無視することができる。

他の例示的実施の形態では、受け取った画像は人物とすることができる。例えば、ユーザは、そのユーザを含むオンラインに掲示した画像の特定を試みたいと思うかも知れない。処理３００では、候補画像に受け取った画像に描かれた人物が、もし含まれていれば、それを特定するために、受け取った画像及び候補画像に顔認知処理を施すことができる。そのような画像のサムネイル版に計算装置でフラグ付けすることができる。

他の例示的実施の形態では、チェックイン情報は、サービス２２７で受け取られるログファイル情報（３０３）の代用とすることができ、又は、これを増強することができる。さらに具体的には、いくつかのソーシャルネットワークサービスでは、ユーザが、例えばイベントの位置にチェックインすることができる。この情報は、チェックインが行われた携帯計算装置に蓄えることができ、又は、この情報は、ユーザの許可のもとでユーザのアカウントから得ることができる。チェックイン情報は、地理座標を含むことも含まないこともできる。１つの例では、チェックイン情報で、単に、イベント又はサイト（例えば、レッドソックスのゲーム）、及び、ユーザが自分の携帯装置を用いてチェックインした時刻を特定することができる。この情報単独で、検索（３０４）に用いることができる。追加の情報、例えば地理座標が有効な場合、その情報は、検索（３０４）時にチェックイン情報を補強するために用いることができる。この追加情報は、チェックインしたときにユーザがいる場所（例えば、ユーザが座った場所）を極めて具体的に特定するために用いることができる。

処理３００を画像のアルバムを生成するために用いることができる。例として、計算装置のログファイルからの情報には多数の時刻及び地理座標（例えば、図１参照）が含まれることがある。この情報は、携帯装置が訪れた場所に対応する複数の画像を回収するために用いることができる。処理３００に従って回収された画像は、例えば、装置の写真ライブラリにダウンロードされ、画像のアルバムとして蓄えられる。画像は、時刻、及び／又は、日付、又は地理的位置の順序に並べることができる。このように、アルバムは時間順又は表題順とすることができる。例えば、装置を持ったユーザがパリへ旅行した時、エッフェル塔に複数回訪れた場合、アルバム中でエッフェル塔の写真をグループ化することができる。或いは、ユーザがこれらの場所を訪れたときをベースにグループ化することができる。

図４は、携帯装置側での動作、計算装置側での動作、及びサーバ側での動作、を含めた、上述の処理及びそれに変更を加えた処理を行うために用いることのできる、汎用コンピュータ装置４００及び汎用携帯コンピュータ装置４５０の例を示す。計算装置４００は、種々の形式のディジタル計算機、例えば、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及びその他の適切な計算機、を表すことを意図する。計算装置４５０は、種々の形式の携帯装置、例えば、携帯情報端末、携帯電話、スマートフォン、タブレット、及び他の類似する計算装置、を表すことを意図する。ここに示す構成要素において、接続及び関係、及び機能は、例示として意味をなすものであり、本明細書に添付した特許請求の範囲を限定するものではない。

計算装置４００は、種々の形式のディジタル計算機、例えば、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及びその他の適切な計算機、を表すことを意図する。計算装置４５０は、種々の形式の携帯装置、例えば、携帯情報端末、携帯電話、スマートフォン、及び他の類似する計算装置、を表すことを意図する。ここに示す構成要素において、接続及び関係、及び機能は、例示として意味をなすものであり、本明細書に添付した特許請求の範囲を限定するものではない。

計算装置４００には、プロセッサ４０２と、メモリ４０４と、記憶装置４０６と、メモリ４０４及び高速拡張ポート４１０に接続された高速インターフェース４０８と、低速バス４１４及び記憶装置４０６に接続された低速インターフェース４１２とが含まれる。構成要素４０２、４０４、４０６、４０８、４１０、及び４１２は、種々のバスを用いて相互に接続され、共通のマザーボード上又は適当な方法で取り付けることができる。プロセッサ４０２は、メモリ４０４又は記憶装置４０６に蓄えられた命令を含む、計算装置４００内で実行する命令の処理を行い、外部の入出力装置で、例えば、高速インターフェース４０８に接続されたディスプレイ４１６で、グラフィカルユーザインターフェースを行うためにグラフィカルに情報を表示させることができる。他の実施の形態では、必要に応じて、複数のメモリ及び複数の形式のメモリと共に、複数のプロセッサ及び／又はマルチバスを用いることができる。また、複数の計算装置４００は、（例えば、サーババンクとして、ブレードサーバのグループとして、又は、マルチプロセッサシステムとして）必要な動作部分を提供するそれぞれの装置と接続することができる。

メモリ４０４は、計算装置４００内に情報を蓄える。１つの実施の形態では、メモリ４０４は、揮発性メモリである。他の実施の形態では、メモリ４０４は、不揮発性メモリである。メモリ４０４は、他のコンピュータ読み取り可能媒体であってもよく、その例として、磁気ディスクや光ディスクが含まれる。

記憶装置４０６は、計算装置４００に大きな記憶容量をもたらすことができる。１つの実施の形態において、記憶装置４０６は、例えば、ストレージエリアネットワーク又はその他の構成を含む、フロッピーディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリ、又は他の同様の半導体メモリ装置、又は装置の配列のようなコンピュータ読み取り可能媒体とすること又はこの媒体を含めることができる。コンピュータプログラム製品は、情報の担体として明確に具体化することができる。コンピュータプログラム製品には、実行させたとき、上述した方法を含めて１以上の方法を実行する命令を含めることができる。情報の担体は、一時的ではない、コンピュータ読み取り可能媒体又は機械読み取り可能媒体、例えば、メモリ４０４、記憶装置４０６、プロセッサ４０２上のメモリとすることができる。例えば、情報の担体は、一時的ではない、機械読み取り可能記憶媒体とすることができる。

高速コントローラ４０８は、計算装置４００に対する帯域幅消費型動作を管理する、一方、低速コントローラ４１２は、帯域幅消費の少ない動作を管理する。このような機能の割りつけは１つの例である。１つの実施の形態では、高速コントローラ４０８は、種々の拡張カード（不図示）を必要とすることがあるが、メモリ４０４、ディスプレイ４１６（例えば、グラフィックプロセッサ又はグラフィックアクセレレータを介して）、及び、高速拡張ポート４１０と接続される。この実施の形態において、低速コントローラ４１２は、記憶装置４０６及び低速拡張ポート４１４と接続される。低速拡張ポートは、種々の通信ポート（例えば、ＵＳＢ、ブルートゥース、イーサーネット、無線イーサーネット）を含むことができ、１以上の入出力装置と、その例として、キーボード、ポインティング装置と、スキャナ、又はネットワーク装置と、例えば、スイッチ又はルータと、例えば、ネットワークアダプタを介して、接続されることがある。

計算装置４００は、図示のように、多くの異なる形態で実施することができる。例えば、標準的なサーバ４２０として実施し、又はそのようなサーバのグループ内で複数回実施することができる。また、ラックサーバシステム４２４の一部として実施することもできる。加えて、例えば、ラップトップコンピュータ４２２のような、パーソナルコンピュータで実施することもできる。代替的に、計算装置４００の構成要素を携帯装置（不図示）、例えば、装置４５０の他の構成要素と結合させることができる。このような装置の各々は、１以上の計算装置４００及び４５０を含有し、全体のシステムは、相互に通信する複数の計算装置４００及び４５０で作り上げることができる。

計算装置４５０には、他の構成要素に交じって、プロセッサ４５２、メモリ４６４、入出力装置、例えば、ディスプレイ４５４、通信インターフェース４６６、及び、トランシーバ４６８が含まれる。計算装置４５０は、記憶装置例えば、マイクロドライブ又は他の装置を追加記憶装置として、付属させることもできる。構成要素４５０、４５２、４６４、４５４、４６６、及び４６８は、種々のバスを用いて相互に接続され、いくつかの構成要素は、共通マザーボード上に又は他の適切な方法で取り付けることができる。

プロセッサ４５２は、計算装置４５０で、メモリ４６４内に蓄えられた命令を含む命令を実行することができる。プロセッサは、別個の複数のアナログプロセッサ及びディジタルプロセッサを含むチップのチップセットとして組み立てられる。プロセッサは、例えば、装置４５０の他の構成要素と連携させるために、例えば、ユーザインターフェース、装置４５０で動作するアプリケーション、及び、装置４５０による無線通信をコントロールするために、備えられる。

プロセッサ４５２は、コントロールインターフェース４５８及びディスプレイ４５４と接続されたディスプレイインターフェース４５６を介して、ユーザと意思疎通を行うことができる。ディスプレイ４５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ駆動液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術によるものとすることができる。ディスプレイインターフェース４５６は、ユーザにグラフィカルな情報及び他の情報を提示するディスプレイ４５４を駆動する適切な回路を具備することができる。コントロールインターフェース４５８は、ユーザからの指令を受け取り、それをプロセッサ４５２に提出するために変換することができる。加えて、外部インターフェース４６２は、プロセッサ４５２と通信し、他の装置と装置４５０近接領域での通信を可能にするために、備えることができる。外部インターフェース４６２は、例えば、いくつかの実施の形態において、有線通信を行うため、又は他の実施の形態で無線通信を行うため備えることができ、多数のインターフェースを用いることもできる。

メモリ４６４は、計算装置４５０内に情報を蓄える。メモリ４６４は、１以上のコンピュータ読み取り可能媒体、揮発性メモリユニット、又は、不揮発性メモリユニットとして導入することができる。拡張メモリ４７４を備えることもでき、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含む、拡張インターフェース４７２を介して装置４５０に接続することができる。このような拡張メモリ４７４は、装置４５０への特別な記憶空間をもたらすことができ、或いは、装置４５０にアプリケーション又は他の情報を蓄えるようにすることができる。具体的には、拡張メモリ４７４には、上述の処理を実行又は補完するための命令を含めることができ、安全情報も含めることができる。従って、例えば、拡張メモリ４７４は、装置４５０の保安モジュールとして備えることができ、装置４５０の安全な利用を可能とする命令をプログラムすることができる。加えて、例えば、ハッキングできないような方法で識別情報をＳＩＭＭカードに加えることのような、付加情報と共に、安全なアプリケーションをＳＩＭＭカードにより提供することができる。

メモリには、例えば、下記のようなフラッシュメモリ及び／又はＮＶＲＡＭメモリを含めることができる。１つの実施の形態では、コンピュータプログラム製品が情報担体で明確に具体化される。コンピュータプログラム製品は、実行したとき、例として上述のものが含まれる、１以上の方法を遂行する命令を含有する。情報担体は、コンピュータ読み取り可能媒体又は機械読み取り可能媒体であり、例えば、メモリ４６４、拡張メモリ４７４、プロセッサ４５２上のメモリである。

装置４５０は、必要な場合ディジタル信号処理回路を含むことのできる通信インターフェース４６６を介して無線通信することができる。通信インターフェース４６６は、例としてとりわけ、ＧＳＭボイスコール、ＳＭＳ、ＥＭＳ、又はＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ、ＣＤＭＡ２０００、又はＧＰＲＳを含む、種々のモジュール又はプロトコルによる通信を提供することができる。このような通信は、例えばラジオ周波数トランシーバ４６８を介して行われる。加えて、短距離通信は、例えば、ブルートゥース、Ｗｉ−Ｆｉ、又は、その他トランシーバ（不図示）等を用いて行われる。加えて、ＧＰＳ（衛星利用測位システム）受信モジュール４７０により、付加的な運航に関する及び位置に関する無線データを装置４５０に提供することができ、これを装置４５０で動作するアプリケーションにより適切に用いることができる。

装置４５０はまた、オーディオコーディック４６０を用いて可聴通信を行うことができ、ユーザからの発声情報を受け取り、利用可能なディジタル情報に変換するっことができる。オーディオコーディック４６０は、同様にユーザに対して、例えば、装置４５０の受話器中の、例えば、スピーカを介して可聴音を作ることができる。そのような音声として、音声電話コールからの音声を含めること、録音した音声（例えば、ボイスメッセージ、音楽ファイル、等）を含めること、及び、装置４５０を動作させるアプリケーションにより作られた音声を含めることができる。

計算装置４５０は、図に示すように、多くの異なる形態で導入することができる。例えば、携帯電話４８０として導入することができる。また、スマートフォン４８２、携帯情報端末、又は類似する他の携帯装置の一部として導入することができる。

ここに記載したシステムの種々の実施の形態及び技術は、ディジタル電子回路、集積回路、特別に設計したＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又は、これらの組み合わせにより実現することができる。これらの種々の実施の形態には、データと命令を受け取り、データを記憶システム、少なくとも１つの入力装置、及び、少なくとも１つの出力装置に伝達する、専用又は汎用の、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行可能、及び／又は、解釈可能な１以上のコンピュータプログラムでの実施の形態を含むことができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られている）には、プログラマブルプロセッサの機械語命令が含まれ、高レベル手続き言語及び／又はオブジェクト指向プログラミング言語、及び／又は、アセンブリ言語／機械言語に組み込むことができる。ここで用いられているように、用語「機械読み取り可能媒体」「コンピュータ読み取り可能媒体」は、機械に対する命令及び／又はデータをプログラマブルプロセッサに提供する、コンピュータプログラム製品、機器及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ））を意味し、機械読み取り可能信号として機械語命令を受け取る機械読み取り可能媒体を含むものである。用語「機械読み取り可能信号」は、機械語命令及び／又はデータをプログラマブルプロセッサへ提供するために用いられる信号を意味する。

ユーザとのやり取りを行うようにするため、ここに記載のシステム及び技術は、ユーザ情報を提示するためのディスプレイ装置（例えば、ＣＲＴ（ブラウン管）モニタやLCD（液晶ディスプレイ）モニタ）、及び、ユーザがコンピュータに入力することができるようにするためのキーボード及びポインティング装置（例えば、マウスやトラックボール）を有するコンピュータに組み込むことができる。他の種類の装置も同様にユーザとのやり取りを行うようにするために用いることができる。例えば、ユーザへのフィードバックは感覚によるフィードバック（例えば、視覚によるフィードバック、音声によるフィードバック、又は触覚によるフィードバック）の形式とすることができる。そして、ユーザからの入力は、音声、言語、又は触覚の開始期で受け取ることができる。

ここに記載のシステム及び技術は、後置構成要素（例えば、データサーバとして）を含む計算機システムに、又は、ミドルウェア構成要素（例えば、アプリケーションサーバとして）を含む計算機システムに、又は、前置構成要素（例えば、グラフィカルユーザインターフェースを有するクライアントコンピュータ、又は、システムの実施の形態及びここに記載の技術を介してユーザがやり取りすることができるウェブブラウザ）を含むコンピュータステムに、又は、このような、後置構成要素、ミドルウェア構成要素、又は、前置構成要素の組み合わせを含むコンピュータステムに組み込むことができる。システムの構成要素は、ディジタルデータ通信（例えば、通信ネットワーク）の形で相互に接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び、インターネットが含まれる。

計算機システムにはクライアントとサーバを含むことができる。クライアントとサーバは、一般に相互に離れていて、通常通信ネットワークを介してやり取りを行う。クライアントとサーバとの関係は、相互にクライアント・サーバの関係を有する、それぞれのコンピュータで動作しているコンピュータプログラムにより生じる。

加えて、好ましい結果を得るためには、図面に描いたロジックの流れは図示のような特定の順序、又は、シーケンシャルな順序にする必要はない。加えて、図示の流れに他のステップを提供してもよく、また、記載の流れからステップを削除しても良く、そして記載のシステムに他の構成要素を追加しても削除しても良い。従って、他の実施の形態も添付の特許請求の範囲に含まれる。

ここに記載のシステムで収集したユーザの個人情報（例えば、位置）を収集する状況について、個人情報を収集することがあるプログラム又は特徴を、選択する／除外する機会をユーザに与えることができる。加えて、個人を特定することのできる情報を除去するために、蓄えられ又は用いられる前に１以上の方法で特定のデータを匿名化することができる。例えば、ユーザについての個人を特定することのできない情報とするため、及び、特定のユーザと関係付けるのではなく、ユーザの特定又はユーザのやり取りの一般化（例えば、ユーザの人口統計に基づく一般化）を行うため、ユーザの身分を匿名化することができる。最終的に、ログに蓄えられた情報は、一定の時間が経過した後消去することができる。

加えて、好ましい結果を得るためには、図面に描いたロジックの流れは図示のような特定の順序、又は、シーケンシャルな順序にする必要はない。加えて、図示の流れに他のステップを提供してもよく、また、記載の流れからステップを削除しても良く、そして記載のシステムに他の構成要素を追加しても削除しても良い。従って、他の実施の形態も添付の特許請求の範囲に含まれる。

ここに記載の処理は、ここに記載のプロトコルに限定されない。例えば、他の通信プロトコルをＨＴＴＰと置き換えることができる。例えば、ＨＴＴＰ通信の代わりに、ＨＴＴＰＳ通信、ＴＣＰ通信、ＵＤＰ通信、又はＩＰ通信を用いることができる。

ここに記載の別の実施の形態の要素を組み合わせて、具体的に上述していない他の実施の形態を形成することができる。要素は、これらの動作に悪影響を与えることなく、記載された処理、コンピュータプログラム、ウェブページ、等から除外することができる。さらに、種々の別々の要素を組み合わせて、ここに記載の機能を実行するために１以上の個々の要素にすることができる。

ここに具体的に記載されていない他の実施の形態も、添付の特許請求の範囲に含まれる。

Claims (18)

1. 装置に関する第１の情報の情報であって、前記第１の情報は前記装置の位置及び前記位置に前記装置が存在した時刻に対応するデータを具備することを特徴とする第１の情報を受け取るステップと、
   前記第１の情報の範囲内にある、第２の情報と関連付けられた１以上の画像を特定するステップであって、画像についての前記第２の情報は前記画像をとらえた位置及び前記画像をとらえた時刻に対応するデータを具備し、前記画像をとらえた位置及び前記画像をとらえた時刻は、前記装置の位置及び前記位置に前記装置が存在した時刻の範囲内であることを特徴とする、ステップと、
   前記第２の情報と関連付けられた１以上の画像を回収するステップと、
   を具備することを特徴とする方法。
2. 前記１以上の画像を特定するステップは、前記第２の情報を探し出すために、前記第１の情報を用いて前記ネットワーク上の１以上のサーバを検索するステップを具備し、
   前記画像は、前記１以上のサーバから回収することを特徴とする請求項１に記載の方法。
3. 前記第１の情報は、前記装置から受け取ったログファイルの一部であることを特徴とする請求項１に記載の方法。
4. サンプル画像を受け取るステップと、
   前記サンプル画像を前記１以上の回収した画像と比較するステップと、
   をさらに具備することを特徴とする請求項１に記載の方法。
5. 前記１以上の回収した画像に現れた対象を特定するために、前記１以上の回収した画像に顔認知処理を行うステップをさらに具備することを特徴とする請求項１に記載の方法。
6. 前記第１の情報は、前記装置の地理座標を具備し、前記第２の情報は、前記画像をとらえた地理座標を具備し、前記範囲は、前記装置の地理座標を囲む地理的な領域を具備することを特徴とする請求項１に記載の方法。
7. 前記第１の情報は、前記装置から入力されたチェックイン情報を具備し、前記チェックイン情報は、前記位置にあるランドマークを特定し、前記ランドマークのところに前記装置が存在する時刻を特定することを特徴とする請求項１に記載の方法。
8. 装置が存在していた位置及び前記位置に装置が存在していた時刻を特定するステップと、
   前記位置及び前記時刻に対応するメタデータを有する画像についての１以上のネットワークサーバを検索するステップと、
   前記１以上のネットワークサーバからの各種画像を回収するステップと、
   認証のために前記各種画像を表示するステップと、
   認証された画像を計算装置に送るステップと、
   を具備することを特徴とする方法。
9. すべての位置は、地理座標により特定することができ、前記位置及び時刻に関するメタデータは、前記装置の地理座標のあらかじめ定めた範囲内にある地理座標を具備することを特徴とする請求項８に記載の方法。
10. 前記各種画像は、前記画像のサムネイルであることを特徴とする請求項８に記載の方法。
11. あらかじめ定めた対象と実質的に一致する対象を有する候補画像を、１以上のネットワークサーバで検索するステップであって、
    前記候補画像を、前記位置及び時刻に対応するメタデータを有する画像を見つけるために検索することを特徴とするステップを
    さらに具備することを特徴とする請求項８に記載の方法。
12. 前記１以上の蓄えられた画像中の対象を認知するために１以上の蓄えられた画像に認知処理を行うステップをさらに具備することを特徴とする請求項８に記載の方法。
13. 時間順アルバムに認証された画像を配置するステップをさらに具備することを特徴とする請求項８に記載の方法。
14. 表題別アルバムに認証された画像を配置するステップをさらに具備することを特徴とする請求項８に記載の方法。
15. 装置に関する第１の情報の情報であって、前記第１の情報は前記装置の位置及び前記位置に前記装置が存在した時刻に対応するデータを具備することを特徴とする第１の情報を受け取るステップと、
    前記第１の情報の範囲内にある、第２の情報と関連付けられた１以上の画像を特定するステップであって、画像についての前記第２の情報は前記画像をとらえた位置及び前記画像をとらえた時刻に対応するデータを具備し、前記画像をとらえた位置及び前記画像をとらえた時刻は、前記装置の位置及び前記位置に前記装置が存在した時刻の範囲内であることを特徴とする、ステップと、
    前記第２の情報と関連付けられた１以上の画像を回収するステップと
    を具備することを特徴とする操作を行うことができる命令を蓄えた、機械読み取り可能な一時的ではない１以上の記憶媒体。
16. 装置が存在していた位置及び前記位置に装置が存在していた時刻を特定するステップと、
    前記位置及び前記時刻に対応するメタデータを有する画像についての１以上のネットワークサーバを検索するステップと、
    前記１以上のネットワークサーバからの各種画像を回収するステップと、
    認証のために前記各種画像を表示するステップと、
    認証された画像を計算装置に送るステップと、
    からなる操作を行うことができる命令を蓄えた、機械読み取り可能な一時的ではない１以上の記憶媒体。
17. 装置に関する第１の情報の情報であって、前記第１の情報は前記装置の位置及び前記位置に前記装置が存在した時刻に対応するデータを具備することを特徴とする第１の情報を受け取るための、検索エンジンと
    前記第１の情報の範囲内にある、第２の情報と関連付けられた１以上の画像を特定するための比較エンジンであって、画像についての前記第２の情報は前記画像をとらえた位置及び前記画像をとらえた時刻に対応するデータを具備し、前記画像をとらえた位置及び前記画像をとらえた時刻は、前記装置の位置及び前記位置に前記装置が存在した時刻の範囲内であることを特徴とする比較エンジンと、
    前記第２の情報と関連付けられた１以上の画像を回収するための回収エンジンと、
    を具備することを特徴とするシステム。
18. 検索エンジンのためのコードを蓄えるためのメモリと、
    装置が存在していた位置及び前記位置に装置が存在していた時刻を特定するステップと、
    前記位置及び前記時刻に対応するメタデータを有する画像についての１以上のネットワークサーバを検索するステップと、
    前記１以上のネットワークサーバからの各種画像を回収するステップと、
    認証のために前記各種画像を表示するステップと、
    認証された画像を計算装置に送るステップと
    からなる操作を行うために、前記コードを実行するための１以上の処理装置と、
    を具備することを特徴とするシステム。

Images