JP2018518742A - ジオロケーションを使用して位置決めされた画像を用いた施設の固定 - Google Patents

Abstract

本技術は、ジオロケーションに施設の存在を決定することに関する。コンピューティングデバイスは、第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を受け取ることができる。場所情報および1つまたは複数の施設に関連付けられた1つまたは複数の識別マークを含む画像のセットも受け取る。コンピューティングデバイスは、第1の画像を画像のセットと比較し、第1の画像が1つまたは複数の識別マークのうちの1つを含むか否かを判定するとともに、第1の画像に含まれる1つまたは複数の識別マークのうちの1つに関連付けられた1つまたは複数の施設のうちの1つが、第1の画像の場所の設定された近傍内に現在位置すると決定する。コンピューティングデバイスはまた、第1の画像の場所の設定された近傍内の場所に1つまたは複数の施設のうちの1つを関連付けることによって、ロケーションデータベースを更新することができる。

Description

本発明は、地ジオロケーションを使用して位置決めされた画像を用いた施設の固定に関する。

関連出願
本出願は、参照により本明細書に組み込まれる2015年8月3日に出願された出願番号14/816,574号の米国特許出願の継続出願である。

レストラン、ガソリンスタンド、食料品店、および他のそのような企業などの施設は、常に開店、閉店、および異なる場所への移転している。したがって、施設の場所を追跡する商工人名録(ディレクトリ)は、正確な施設の場所を維持するための更新が常に必要である。いくつかの例では、不正確な施設がある場所にリンクされているとき個人がディレクトリを手動で更新する必要がある場合がある。手動入力の必要により、遅延または不正確な施設の場所を生じるディレクトリの更新の失敗さえ生じることがある。

本開示内の実施形態は、概してある場所に施設を固定することに関する。ある態様は、地理的場所に施設の存在を決定および更新するための方法を含む。第1の画像のキャプチャに関連付けられた場所データを含む第1の画像は、1つまたは複数の処理デバイスによって受け取られ、場所データが第1の画像の場所を含み得る。1つまたは複数の処理デバイスは、画像のセットを識別し、画像のセットのうちの各画像は地理的場所情報と1つまたは複数の識別マークを含み、各識別マークは1つまたは複数の施設に関連付けられ、1つまたは複数の処理デバイスは、画像のセットと第1の画像を比較し、比較に基づいて、第1の画像が画像セットのうちの任意の画像の1つまたは複数の識別マークのうちの1つを含むと決定し、第1の画像に含まれる1つまたは複数の識別マークのうちの1つに関連付けられた1つまたは複数の施設のうちの1つが、第1の画像の設定された近傍内に現在位置すると決定し、第1の画像の場所の設定された近傍内の設定された場所に1つまたは複数の施設のうちの1つを関連付けることによってロケーションデータベースを更新する。

別の実施形態では、地理的場所に施設の存在を決定および更新するためのシステムを提供する。該システムは、1つまた複数のプロセッサを有する1つまたは複数のコンピューティングデバイスと、1つまたは複数のプロセッサに実行可能な命令を格納するメモリとを具備する。該命令は、第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を受け取るステップであって、場所データが第1の画像の場所を含む、ステップと、画像のセットを、1つまたは複数の処理デバイスによって識別するステップであって、画像のセットの各画像が地理的場所情報および1つまたは複数の識別マークを含み、各識別マークが、1つまたは複数の施設と関連付けられる、ステップと、記第1の画像と画像のセットを比較するステップと、比較に基づいて、第1の画像が1つまたは複数の識別マークの1つを含むことを決定するステップと、第1の画像に含まれる1つまたは複数の識別マークのうちの1つに関連付けられた1つまたは複数の施設のうちの1つが、第1の画像の場所がキャプチャされた場所の設定された近傍内に現在位置すると決定するステップと、1つまたは複数の施設のうちの1つを第1の画像の場所の設定された近傍内の設定された場所に関連付けることによって、場所データベースを、1つまたは複数の処理デバイスによって更新するステップとを含む。

別の実施形態では、命令を格納する非一時的コンピュータ可読記憶媒体を提供する。命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を、1つまたは複数の処理デバイスによって受け取るステップであって、場所データが第1の画像の場所を含む、ステップと、画像のセットを、1つまたは複数の処理デバイスによって識別するステップであって、画像のセットの各画像が地理的場所情報および1つまたは複数の識別マークを含み、各識別マークが、1つまたは複数の施設と関連付けられる、ステップと、第1の画像と画像のセットを、1つまたは複数の処理デバイスによって比較するステップと、比較に基づいて、第1の画像が1つまたは複数の識別マークの1つを含むことを、1つまたは複数の処理デバイスによって決定するステップと、第1の画像に含まれる1つまたは複数の識別マークのうちの1つに関連付けられた1つまたは複数の施設のうちの1つが、第1の画像がキャプチャされた場所の設定された近傍内に現在位置すると、第1つまたは複数の処理デバイスによって決定するステップと、1つまたは複数の施設のうちの1つを第1の画像の場所の設定された近傍内の最後の場所に関連付けることによって、場所データベースを、1つまたは複数の処理デバイスによって更新するステップとを実行させる。

本開示の態様による例示的なシステムの機能を示す図である。 図１の例示的なシステムの絵図である。 本開示の態様による画像に関連する例示的なウェブサイトの図である。 本開示の態様によるデータベースの例を示す図である。 本開示の態様による画像および追跡特徴の例を示す図である。 本開示の態様による画像内画像検索(image-within-image search)の例を示す図である。 キャプチャ画像から所定の距離内にある画像を決定および比較する例を示す図である。 本開示の態様によるフロー図である。

概要
本技術は、特定の地理的場所に施設が存在することを決定することに関する。例えば、ウェブベースの画像または様々なソースから受け取った画像などの画像は、ジオロケーション情報などの場所情報を含むことがある。これらの画像は、1つまたは複数の処理デバイスによって分析され、画像が施設を示す任意の識別マークを含むか否かを判定され得る。そのような識別マークを含むすべての画像に対して、画像が識別マークを含むことを示すロゴラベルが画像に関連付けられてよい。別の例では、ロゴラベル付けされた画像が、ロゴなどの識別マークの画像を格納するストレージシステムから取り出されてよい。さらに、識別マークに関連付けられた施設がまた、画像に関連付けられてよい。

既知の場所で撮られたキャプチャ画像は、キャプチャ画像の場所から所定の距離内の場所に関連付けられたロゴラベル付けされた画像のセットと比較され得る。
これに関して、キャプチャ画像は、ロゴラベル付けされた画像のセット内の任意の識別マークについて検索され得る。一致した識別マークが見つかると、一致した識別マークに関連付けられた施設の存在がキャプチャ画像の場所に固定され得る。

ある場所に施設を関連付けるために、またはある場所から施設との関連付けを解除するために、例えばインターネットからウェブベースの画像などの公開された利用可能な画像が集められてよい。これに関して、ウェブサイトからの画像が集められ、データベース、キャッシュなどに格納されてよい。例えば、ウェブクローラはインターネットウェブサイトを常にクロール(crawl)し、見つけたすべての画像を格納し得る。さらに、ウェブクローラは、画像が見つかったウェブアドレスに関連付けて画像を格納できる。別の例では、画像は、様々なタイプの画像を格納する、またはロゴなどの識別マークの画像を特に格納する1つまたは複数のストレージシステムから取り出されてもよい。

各画像は、画像の内容を識別、示唆、そうでなければ示すラベルを割り当てられ得る。例えば、自動写真ラベル付け技術により、信頼度レベルとともに各画像にラベルを付けることができる。いくつかの実施形態では、ロゴ、商号、看板などの施設の識別マークを含む画像は、「ロゴ」としてラベル付けされ得る。

ロゴとしてラベルされた各画像は、住所やジオロケーションなどの場所に関連付けられてもよい。これに関して、ロゴラベル付けされた各画像は、暗示的なまたは明示的な場所情報を含んでもよい。

従って、任意のウェブベースの画像について、各ウェブベースの画像は、そのウェブベースの画像が見つかったまたは見つけられるウェブサイト上に見られるアドレスに関連付けられ得る。ロゴラベル付けされたウェブベースの画像に関連付けられた1つまたは複数のウェブサイトは、ウェブベースの画像内の識別マークに対する信頼できるウェブページであるとみなされ得る。

その後、キャプチャ画像はロゴラベル付けされた画像と比較され得る。これに関して、1つまたは複数の処理デバイスは、画像内画像検索(image-within-image search)を実行して、キャプチャ画像の任意の部分がロゴラベル付けされた画像内に見られる任意の識別マークに一致するか否かを判定する。画像内画像検索は、画像一致アルゴリズムを使用して実行されてよい。画像内画像検索を実行する一方、変化したキャプチャ画像および/またはロゴラベル付けされた画像も比較されてよい。

キャプチャ画像は、ロゴラベル付けされた画像のセットと比較されてもよい。これに関して、キャプチャ画像は、キャプチャ画像から所定の距離内にあるロゴラベル付けされた画像のセットとだけ比較されてもよい。

キャプチャ画像とロゴ画像の1つとの間に一致した識別マークが見つかると、一致した識別マークに関連付けられた施設が、キャプチャ画像の場所の設定された近傍内の場所に固定される、または場所と関連付けられてよい。そうすると、マッピングデータ、ビジネスディレクトリなどの場所データが、更新されて、一致した識別マークに関連付けられた施設に関する現在の場所情報を提供し得る。さらに、識別マークが信頼できるウェブサイトに関連付けられ、かつキャプチャ画像の場所が信頼できるウェブサイト上で見つかった場所にまたは該場所の近くである場合、施設は高い信頼度とともに固定され得る。

一例では、施設が移転または閉店する場合、新しいキャプチャ画像が過去のキャプチャ画像に存在する識別マークを含まないことがある。従って、新しいキャプチャ画像をロゴラベル付けされた画像と比較すると、以前に存在しなかった識別マークが表れ始めることがあり、以前の識別マークはもはや存在しないことがある。このことは、以前の識別マークに関連付けられた施設が閉店または移転されたとマークされるべきであることを示し得る。そうして、マッピングデータ、ビジネスディレクトリ、および他の場所依存データなどが、途切れることなく更新されて、場所に現在適した施設が提供され得る。

加えて、そのような閉店の表示は、以前の識別マークおよび新しい識別マークの信頼できるウェブページを検索することによってさらに確認され得る。新しい識別マークの信頼できるページが第1の場所を示し、かつ古い識別マークの信頼できるページが第1の場所とは異なる場所を示す場合、高い信頼度で、新しい施設が第1の場所に存在すると推察され得る。

例示的なシステム
図1および図2は、上述した特徴が実装され得る例示的なシステム100を含む。該システムは本明細書に記載の特徴の開示または有益性の範囲を限定するものとみなすべきではない。この例では、システム100は、コンピューティングデバイス110、120、130、140、およびストレージシステム150を含むことができる。各コンピューティングデバイス110は、1つまたは複数のプロセッサ112、メモリ114、および汎用コンピューティングデバイスに一般に存在する他の構成要素を含み得る。各コンピューティングデバイス110、120、130、140のメモリ114は、1つまたは複数のプロセッサ112によって実行され得る命令116を含む、1つまたは複数のプロセッサ112によってアクセス可能な情報を格納し得る。

メモリはまた、プロセッサによって取り出され、操作され、または格納され得るデータ118を含むことができる。メモリは、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、および読み取り専用メモリなどの、プロセッサによってアクセス可能な情報を格納できる任意の非一時的タイプのメモリであり得る。

命令116は、1つまたは複数のプロセッサによって、機械語などの直接的に実行される、またはスクリプトなど間接的に実行される任意の命令のセットであり得る。それについて、「命令」、「アプリケーション」、「ステップ」、および「プログラム」という用語は、本明細書では互換可能に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコードフォーマットに、またはスクリプトあるいはオンデマンドに解釈されるまたは予めコンパイルされた独立したソースコードのモジュールのコレクションを含む、任意の他のコンピューティングデバイス言語に格納され得る。命令の関数、メソッド、ルーチンは以降により詳細に説明される。

データ118は、命令116に従って1つまたは複数のプロセッサ112によって取り出され、格納され、または変更され得る。例えば、本明細書に記載の主要事項は、任意の特定のデータ構造によって限定されないが、データは、コンピュータレジストリに、多数の異なるフィールドおよびレコードを有するテーブルとしてリレーショナルデータベースに、またはXMLドキュメントに格納され得る。データはまた、限定しないがバイナリ値、ASCII、またはユニコードなどの任意のコンピューティングデバイスが読み取り可能な形式でフォーマットされ得る。さらに、データは、番号、説明文、専用コード、ポインタ、他のネットワークロケーションなどの他のメモリに格納されたデータへの参照、または関連データを計算する関数によって使用される情報など、関連情報を識別するのに十分な任意の情報を有することができる。

1つまたは複数のプロセッサ112は、市販で利用可能なCPUなど任意の従来のプロセッサであり得る。代わりに、特定用途向け組み込み回路（「ASIC」）または他のハードウェアベースのプロセッサなど専用の構成要素であり得る。必須ではないが、1つまたは複数のコンピューティングデバイス110は、特化されたハードウェア構成要素を含み、ビデオの復号、画像とのビデオフレームのマッチング、ビデオの変形、変形ビデオの符号化などの特定のコンピューティング処理をより高速により効率的に実行し得る。

図1は、コンピューティングデバイス110の、プロセッサ、メモリ、および他の要素を同一のブロック内にあるように機能的に示しているが、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリは、実際、同じ物理的ハウジング内に格納されてもよいし、されなくてもよい、複数のプロセッサ、コンピュータ、コンピューティングデバイス、またはメモリを含み得る。例えば、メモリは、コンピューティングデバイス110のハウジングとは異なるハウジングに位置するハードウェアドライブまたは他のストレージ媒体であることができる。従って、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリは、並列に動作してもよいし、しなくてもよい、プロセッサ、コンピュータ、コンピューティングデバイス、またはメモリのコレクションを指すことを含むことが理解される。例えば、コンピューティングデバイス110は、負荷分散サーバファーム、分散システムなどとして動作するサーバコンピューティングデバイスを含み得る。またさらに、以降に記述するいくつかの機能は、単一のプロセッサを有する単一のコンピューティングデバイス上で行われるとして示されるが、以降に記述する主要事項の様々な態様は、例えば、ネットワーク1160を介して情報を通信する複数のコンピューティングデバイスによって実装され得る。

コンピューティングデバイス110の各々は、ネットワーク160の異なるノードに位置し、ネットワーク160の他のノードと直接または間接的に通信することができる。少数のコンピューティングデバイスのみが図1および図2に明示されているが、一般のシステムは、異なるコンピューティングデバイスの各々がネットワーク160の異なるノードに位置しながら、多数の接続されたコンピューティングデバイスを含み得ると理解されるべきである。本明細書に記載のネットワーク160および中間ノードは、ネットワークがインターネット、ワールドワイドウェブ、特定のイントラネット、ワイドエリアネットワーク、またはローカルネットワークの一部であるように、様々なプロトコルおよびシステムを使用して相互接続され得る。ネットワークは、イーサネット(登録商標)、WiFi、およびHTTPなどの標準の通信プロトコル、1つまたは複数の企業専用のプロトコル、および上述したものの様々な組み合わせを利用できる。情報が上述のように送信または受信されるときに一定の利点が得られるが、本明細書に記載の主要事項の他の態様は情報の送信の任意の特定の方法に限定されない。

例として、コンピューティングデバイス110の各々は、ネットワークを介して、ストレージシステム150ならびにコンピューティングデバイス120、130、および140と通信できるウェブサーバを含み得る。例えば、1つまたは複数のサーバコンピューティングデバイス110はネットワーク160を使用して、ユーザ220、230、または240などのユーザに情報を送信するとともに、該情報をコンピューティングデバイス120、130、または140のディスプレイ122、132、または142などのディスプレイ上に提示することができる。これに関して、コンピューティングデバイス120、130、または140は、クライアントコンピューティングデバイスと考えられてよく、本明細書に記載の特徴のすべてまたはいくつかを実行し得る。

クライアントコンピューティングデバイス120、130、または140の各々は、サーバコンピューティングデバイス110と同様の構成であってよく、上述した1つまたは複数のプロセッサ、メモリ、および命令を有する。各クライアントコンピューティングデバイス120、130または140は、ユーザ220、230、または240によって使用されるためのパーソナルコンピューティングデバイスであってよく、中央処理ユニット(CPU)、データおよび命令を格納するメモリ（例えば、RAMおよび内蔵ハードディスク）、ディスプレイ122、132、または142などのディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能な他のデバイス）、およびユーザ入力デバイス124（例えば、マウス、キーボード、タッチスクリーン、またはマイク）などの、パーソナルコンピューティングデバイスと接続して通常使用される構成要素のすべてを有する。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するおよび/または画像をキャプチャするためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含み得る。

クライアントコンピューティングデバイス120、130、および140はそれぞれ、フルサイズのパーソナルコンピューティングデバイスを有するが、代わりにインターネットなどのネットワークを介してサーバとデータをワイヤレスに交換できるモバイルコンピューティングデバイスを含んでもよい。単なる例として、クライアントコンピューティングデバイス120は、携帯電話、あるいはワイヤレス対応のPDA、タブレットPC、またはインターネットを介して情報を取得できるネットブックなどのデバイスであってよい。別の例では、クライアントコンピューティングデバイス130は、ヘッドマウントコンピューティングシステムであってよい。例として、ユーザは、小型キーボード、キーパッド、マイクを使用して、カメラを用いた視覚信号を使用して、またはタッチスクリーンを使用して情報を入力できる。

メモリ114と同様に、ストレージシステム150は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、および読み取り専用メモリなどの、サーバコンピューティングデバイス110によってアクセス可能な情報を格納できる任意のタイプのコンピュータ化ストレージであることができる。加えて、ストレージシステム150は、同じまたは異なる地理的場所に物理的に位置し得る複数の異なるストレージデバイス上にデータが格納される分散ストレージシステムを含み得る。ストレージシステム150は、図1に示されるようにネットワーク160を介してコンピューティングデバイスに接続されてよく、および/またはコンピューティングデバイス110、120、130、および140のいずれかに直接接続されてもよい（図示せず）。

ストレージシステム150は、様々な画像を格納し得る。これらの画像は、インターネットから集められた、または集められ得るウェブベースの画像を含み得る。これに関して、ウェブサイトから画像が集められるとともに、ストレージシステム150に格納され得る。例えば、ウェブクローラは、インターネットウェブサイトにわたって途切れなくクロールし、見つけた画像のすべてを格納する。さらに、ウェブクローラは、画像が見つかったウェブアドレスに関連付けて画像を格納し得る。別の例では、画像は、様々なタイプの画像および関連EXIFデータを格納したストレージシステムのような、および/またはロゴなどの識別マークの画像を特に格納するストレージシステムのような、1つまたは複数の他のストレージシステムから取り出されてよい。これに関して、各ロゴ画像は、商号に対応するロゴまたはロゴが見つけられ得る場所についての住所または場所情報に関連付けられ得る。

例示的方法
ある場所に施設を関連付けるために、またはいくつかのケースではある場所から施設との関連付けを解除するために、複数の画像が集められ得る。一例では、ウェブベースの画像は、インターネットから集められ、ウェブベースの画像のコレクションとして格納され得る。これに関して、ウェブクローラは、インターネットウェブサイトにわたって途切れなくクロールし、見つけた画像のすべてを格納する。ウェブサイトからの画像が集められるとともに、ストレージシステム150のデータベース、キャッシュなどに格納され得る。
図3は、「Circle Pies」という企業のウェブサイト300の例を示す。ウェブクローラは、Circle Piesのウェブアドレス310に行くことによって、ウェブサイト300をクロールし得る。ウェブクローラはウェブサイト300上のデータをレビューし、ウェブサイト300が2つのウェブベースの画像320および330を含むと決定し得る。この決定に基づいて、ウェブクローラは、例えばストレージシステム150にウェブベースの画像320および330を格納し得る。いくつかの実施形態では、ウェブクローラは、一定のウェブサイトを訪問することをブロックされてよい。これに関して、ウェブクローラは、1つまたは複数のウェブサイトをクロールすることを避けるようにプログラムされ得る。

ウェブクローラはまた、画像が見つかったウェブサイトのウェブアドレスに関連付けてウェブベースの画像を格納することができる。例えば、ウェブサイト300が「http://www.a.com/circlepies」というウェブアドレス310に位置してもよい。ウェブベースの画像320および330は、ストレージシステム150に格納されたウェブベースの画像のコレクションに、ウェブアドレス310に関連付けて格納され得る。

別の例では、画像は、様々なタイプの画像および関連EXIFデータを格納したストレージシステムのような、および/またはロゴなどの識別マークの画像を特に格納するストレージシステムのような、1つまたは複数の他のストレージシステムから取り出されてよい。この例では、各ロゴ画像は、商号に対応するロゴまたはロゴが見つけられ得る場所についての住所または場所情報に関連付けられ得る。集められた画像および/または取り出された画像の各々は、画像の内容を示すラベルを割り当てられ得る。例えば、自動写真ラベル付け技術により、信頼度レベルとともに各ウェブベースの写真にラベルを付け得る。ラベルは、個人の画像について「個人」を含み、自動車を識別する画像について「自動車」を含み得る。信頼度レベルは、0〜1、1〜100、または1〜10の値などの順位付け、あるいは他のそのような順位付けシステムを含んでよく、画像のうちの1つに適用されるラベルが画像の内容の正しい記述である可能性を示す。

画像は、1つまたは複数のサーバコンピューティングデバイス110のプロセッサ112などの1つまたは複数のプロセッサによって分析され、画像が施設を示す任意の識別マークを含むか否かが判定され得る。施設は、企業、団体、組合、マンションなどを含み得る。これに関して、写真ラベル付け技術が使用されて、識別マークを含む画像を決定するとともに、画像が識別マークを含むことを示すロゴラベルが割り当てられてよい。ロゴ、商号、クリップアート、看板などの施設の識別マークを含む画像は、自動写真ラベル付け技術によって「ロゴ」としてラベル付けされてよい。いくつかの実施形態では、施設の識別マークを含む画像は、画像が識別マークを含むことを示すために「ロゴ」以外のラベルを割り当てられてよい。例えば、施設の識別マークを含む画像は、「商号」、「看板」、「クリップアート」などのラベルをもつ画像のグループにクラスタリングされてもよい。別の例として、画像は、EXIFデータ内に識別するなど、ロゴを含む画像として画像を識別する情報にすでに関連付けられていてよい。この情報は、例えばロゴラベルに画像を関連付けるなど、ロゴを含むように画像をラベル付けするために使用されてもよい。

さらに、識別マークに関連付けられた施設は、画像に関連付けられてもよい。例えば、自動写真ラベル付け技術は、1つまたは複数のサーバコンピューティングデバイス110のプロセッサ112などの1つまたは複数のプロセッサに実施され、画像330がピザの画像であることを見つけ、したがって、自動写真ラベル付け技術は画像330に「食べ物」のラベルを割り当てる。一例では、自動的に言語学的に写真にインデックス付けをする統計的分類法を利用する技術など、写真内の内容を分析して、写真に内容を記述する注意書きを割り当てる技術が、自動的に写真にラベル付けするために使用されてもよい。いくつかの実施形態では、基準分類法に関連する手動でラベル付けされた画像に対して、機械学習モデルが訓練されてもよい。訓練された機械学習モデルは、基準分類法に従って画像に自動的にラベルを割り当てることができる。画像320について、自動写真ラベル付け技術は、画像320が施設Circle Piesに対するロゴであると決定し、従ってロゴラベルが画像320に割り当てられ得る。さらに、画像320はまた、Circle Piesの施設に関連付けられ得る。

ロゴとしてラベル付けされた各画像はまた、住所やジオロケーションなどの場所と関連付けられ得る。これに関して、ロゴラベル付けされた画像の各々は、ロゴラベル付けされた各画像に関連して格納されたメタデータ内に直接格納された明示的な場所情報を含み得る。例えば、ロゴラベル付けされた画像は、EXIF情報などの画像のメタデータ内に明示的な経度と緯度測定値を含み得る。EXIFデータは画像がキャプチャされた場所を提供し得る。

明示的な場所情報の代わりに、またはそれに加えて、暗示的な場所情報は、各画像がキャプチャされた物体の場所を決定することから導出されてよい。例えば、画像がキャプチャされた自由の女神像を有することがある。自由の女神像の場所は既知であり、既知の場所に基づいて画像がキャプチャされた場所の推定ができる。これに関して、場所の推定は、画像がキャプチャされたときの方向など画像データに基づいて精度を高めることができる。別の実施形態では、ウェブベースの画像についての暗示的な画像の場所データが、ウェブベースの画像が見つかったウェブサイトから推察されてよい。例えば、ウェブベースの画像を有するウェブサイトは住所を含むことがある。ウェブサイト上の住所は、ウェブサイト上のウェブベースの画像に関連付けられ得る。

加えて、各ウェブベースの画像は、ウェブベースの画像が見つけられた、または見つけられるウェブサイト上の住所に関連付けられ得る。例えば、図3では、ウェブサイト300が通りの住所340を含む。ロゴラベル付けされたウェブベースの画像320は、画像の場所として通りの住所340と関連付けられ得る。

ロゴラベル付けされたウェブベースの画像に関連付けられた1つまたは複数のウェブサイトは、ウェブベースの画像内の識別マークに対する信頼できるページとして考えられてよい。言い換えると、信頼できるページは、それぞれのウェブベースの画像内に見つかる識別マークに関連付けられた施設の公式なまたは非公式なウェブページであり得る。例えば、ウェブサイト300は、施設Circle Piesのための公式ウェブページであり得る。これに関して、ウェブアドレス310のウェブサイト300は、施設Circle Piesに属する識別マークを含むウェブベースの画像320に対する信頼できるページとされ得る。従って、ウェブベースの画像320は、信頼できるページ上に見つけられたという指標に関連付けられ得る。いくつかの実施形態では、著作権または独占的な資料を含むウェブサイトは信頼できるページとして使用できないことがある。

画像に対応する情報は、ストレージシステム150に画像のコレクションに関連付けて格納され得る。例えば、各ウェブベースの画像は、ウェブベースの画像が見つかったウェブアドレス、画像がキャプチャされた場所、信頼できるページ指標、ウェブベースの画像に割り当てられたラベルなどに関連付けて格納され得る。図4は、ウェブベースの画像420ならびにウェブベースの画像410のコレクションの一部を格納するストレージシステム150の例示的なブロック図を示す。ここで、画像420ならびにいくつかのまたはすべてのウェブベースの画像410のコレクションの他の画像は、場所、ウェブアドレス、信頼できるページ指標、およびラベルを含む対応情報に関連付けされて格納される。

画像のコレクションの一部ではないキャプチャ画像が、識別され、例えば、1つまたは複数のサーバコンピューティングデバイス110のプロセッサ112などの1つまたは複数のプロセッサで入力として受け取られ得る。キャプチャ画像は、キャプチャ画像が撮られた日時を示すタイプスタンプ、およびキャプチャ画像が撮られた場所を示す場所情報を含み得る。図5に示すように、施設、ここではピザレストランを含むシーン500の画像570がキャプチャされ得る。画像570は、看板510とともに、ピザ屋の表玄関を含み得る。看板は、ピザ屋のロゴ520を含み得る。キャプチャ画像は、例えば、ストリートレベルの写真、旅行者の写真、個人的な写真などを含み得る。

キャプチャ画像は、ロゴラベル付けされた画像と比較され得る。1つまたは複数のサーバコンピューティングデバイス110のプロセッサ112などの1つまたは複数のプロセッサは、画像内画像検索を実行して、キャプチャ画像の任意の部分が画像410のコレクションのロゴラベル付けされた画像のいずれかに見つけられる任意の識別マークに一致するか否かを判定し得る。画像内画像検索は、量子断熱アルゴリズムなどの画像マッチングアルゴリズムを使用して実行されてもよい。図5を再び参照すると、ピザ屋のロゴ520を含む画像の一部570は、ロゴラベル付けされた画像内に見つかる画像データと比較され得る。

画像内画像検索を実行する一方、変化したキャプチャ画像およびロゴラベル付けされた画像は、互いに比較されてもよい。これに関して、画像の、高コントラストバージョン、色反転バージョン、白黒バージョン、および/または白黒反転バージョンが使用されてよい。図6は、使用され得る画像の変形例を示す。例えば、ロゴラベル付けされた画像640および660の高コントラストバージョン642および662は、キャプチャ画像520の高コントラストバージョン650と比較され得る。別の例では、ロゴラベル付けされた画像640および660の白黒バージョン641および661は、キャプチャ画像520の白黒バージョン651と比較され得る。

いくつかの例では、画像410のコレクション内のすべての画像と比較されるのではなく、キャプチャ画像は、ロゴラベル付けされた画像の特定のセットと比較され得る。ロゴラベル付けされた画像のこのセットは、画像410のコレクション内の画像についての対応する情報に基づいて識別され得る。すべてのそのような画像ではなく、ロゴラベル付けされた画像のセットとキャプチャ画像を比較することによって、より少ない数の画像がキャプチャ画像と比較されるので処理電力および処理時間が節約され得る。

一例では、キャプチャ画像は、キャプチャ画像から所定の距離内の場所またはジオロケーションに関連付けられるロゴラベル付けされた画像のセットとのみ比較されてよい。例えば、既知の場所で撮られたキャプチャ画像は、キャプチャ画像から所定の距離内の場所に関連付けられたロゴラベル付けされた画像のセットと比較され得る。

図7に示すように、キャプチャ画像は、場所710でキャプチャされたとされる。ロゴラベル付けされた画像は、場所740〜790でキャプチャされたか、そうでなければ場所740〜790に関連してストレージシステム150に格納されている。ロゴラベル付けされた画像のセットは、場所710から所定の距離720内にあると決定され得る。従って、場所710の半径730内に見つかるロゴラベル付けされた画像は、ロゴラベル付けされた画像のセットに加えられるか含まれ得る。ゆえに、ジオロケーション740〜760でキャプチャされたロゴラベル付けされた画像は、キャプチャ画像と比較されるロゴラベル付けされた画像のセットに加えられるか含まれ得る。

加えてまたは代わりに、ロゴラベル付けされた画像のセットは、画像の信頼度レベルに基づいて識別されてもよい。これに関して、所与のロゴラベル付けされた画像は、所与のロゴラベル付けされた画像の割り当てられた信頼度レベルが最低限のしきい値を満たすまたは超える場合、ロゴラベル付けされた画像のセットに加えられるか含まれ得る。

キャプチャ画像とロゴラベル付けされた画像のうちの1つの間に一致する識別マークが見つかるとき、1つまたは複数のサーバコンピューティングデバイス110のプロセッサ112などの1つまたは複数のプロセッサは、一致した識別マークに関連付けられた施設をキャプチャ画像の場所に固定するかまたは関連付けることができる。いくつかの例では、施設は、キャプチャ画像の場所の設定されたまたは所定の近傍内の設定された場所に固定または関連付けられ得る。他の実施形態では、設定された場所は通りの住所であってよい。そうして、マッピングデータ、ビジネスディレクトリなどの、ロケーションデータベースに格納された場所データは、一致した識別マークに関連付けられた施設についての現在の場所情報を提供するために更新され得る。

固定が高信頼度でなされることを確実にするために、キャプチャ画像の場所に識別マークを固定する前に満たすべき一定の基準が要求されてよい。例えば、識別マークが信頼できるウェブサイトに関連付けられ、キャプチャ画像の場所が信頼できるウェブサイト上に見られる場所である、あるいは該場所の近くである場合、施設の固定は高い信頼度でなされ得る。別の例では、高い信頼度を確実にするために施設がキャプチャ画像の場所に固定される前に、5つまたはそれより多くのあるいはそれより少ないなどの、設定された数の新しいキャプチャ画像が同じ一致する識別マークを有することを必要としてもよい。

一例では、施設が移転または閉店する場合、新しいキャプチャ画像は、過去のキャプチャ画像に存在する識別マークを含まないことがある。従って、新しいキャプチャ画像がロゴラベル付けされた画像のセットと比較されると、以前に存在しなかった識別マークが表れ始めることがあり、以前の識別マークはもはや存在しないことがある。このことは、以前の識別マークに関連付けられた施設が閉店または移転されたとマークされるべきであることを示し得る。

加えて、そのような閉店の表示は、以前の識別マークおよび新しい識別マークの信頼できるウェブページを検索することによってさらに確認され得る。新しい識別マークの信頼できるページが第1の場所を示し、古い識別マークの信頼できるページが第1の場所と異なる場所を示す場合、高い信頼度で新しい施設が第1の場所に存在することが推察され得る。

図8のフロー図は、クライアントコンピューティングデバイス110〜140などの1つまたは複数のコンピューティングデバイスによって実行され得る上述の態様のいくつかについての例示的なフロー図である。この例では、ブロック1002において、第1の画像および関連する場所情報が受け取られる。ブロック1004において、ジオロケーション情報を含む画像のセットと、1つまたは複数の施設に関連付けられた1つまたは複数の識別マークとが受け取られ得る。その後、ブロック1006に示されるように、第1の画像が画像のセットと比較され得る。比較の間、ブロック1008に示されるように、第1の画像が画像のセットに見られる1つまたは複数の施設に関連付けられた1つまたは複数の識別マークのうちの1つを含むか否かが判定され得る。第1の画像が1つまたは複数の識別マークのうちの1つを含む場合、ブロック1010に示されるように、1つまたは複数の識別マークに関連付けられた施設が第1の画像の場所の設定された近傍内にあると決定され得る。ブロック1012に示されるように、ロケーションデータベースは更新されて、第1の画像の場所の設定された近傍内の設定された場所に施設を関連付け得る。

上述した例では、複数の画像は画像以外のイメージまたは画像に追加したイメージであってもよい。例えば、複数の画像は、1つまたは複数の画像のそれぞれがキャプチャされた場所を示す対応する場所情報、対応するEXIFデータを有する画像のセットなど、および上述したものの様々な組み合わせに関連付けて、ストレージシステム150などのストレージデバイス内に格納された1つまたは複数の画像を含み得る。

上述の変形例の大部分は、相互に排他的ではなく、ユニークな利点を達成するために様々な組み合わせで実装され得る。これらの変形、他の変形、および上述の特徴の組み合わせは、特許請求の範囲に明示される主要事項から逸脱せずに利用されることができ、実施形態の上述した説明は、特許請求の範囲に明示される主要事項の限定ではなく説明として考えられるべきである。例として、前述の動作が上述した正確な順序で実行される必要はない。さらに、様々なステップは逆の順序などの異なる順序で、あるいは同時に扱われ得る。ステップは、そうでないと記載されない限り省略することもできる。加えて、本明細書に記載の例の条件、ならびに「など」、「を含む」などの節のフレーズは、特許請求の範囲の主要事項を具体例に限定すると解釈されるべきではなく、むしろ多くの可能な実施形態のただ一つを説明するために例が示されている。さらに異なる図面における同じ参照番号は、同じまたは同様の要素を特定できる。

100 システム
110、120、130、140 コンピューティングデバイス
112 プロセッサ
114 メモリ
116 命令
118 データ
122 ディスプレイ
124 ユーザ入力デバイス
150 ストレージシステム
160 ネットワーク
220 ユーザ
300 ウェブサイト
320、330 画像
340 住所

Claims (20)

1. 地理的場所に施設の存在を決定および更新するためのコンピュータによって実施される方法であって、前記方法は、
   第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を、1つまたは複数の処理デバイスによって受け取るステップであって、前記場所データが第1の画像の場所を含む、ステップと、
   画像のセットを、1つまたは複数の処理デバイスによって識別するステップであって、前記画像のセットの各画像が地理的場所情報および1つまたは複数の識別マークを含み、各識別マークが、1つまたは複数の施設と関連付けられる、ステップと、
   前記第1の画像を前記画像のセットと、前記1つまたは複数の処理デバイスによって比較するステップと、
   前記比較に基づいて、前記第1の画像が前記画像のセットのうちの任意の画像の前記1つまたは複数の識別マークの1つを含むことを、前記1つまたは複数の処理デバイスによって決定するステップと、
   前記第1の画像に含まれる前記1つまたは複数の識別マークのうちの1つに関連付けられた前記1つまたは複数の施設のうちの1つが、前記第1の画像の場所の設定された近傍内に現在位置すると、前記第1つまたは複数の処理デバイスによって決定するステップと、
   前記1つまたは複数の施設のうちの1つを前記第1の画像の場所の前記設定された近傍内の設定された場所に関連付けることによって、場所データベースを、前記1つまたは複数の処理デバイスによって更新するステップと
   を含む方法。
2. 前記比較するステップは、前記画像のセットによって前記第1の画像の画像内画像検索を実行するステップを含む、請求項1に記載の方法。
3. 前記比較するステップは、前記第1の画像と前記画像のセットのうちの画像の1つとの間の共通の識別マークについて画像内画像検索を実行するステップをさらに含む、請求項2に記載の方法。
4. 前記第1の画像を比較するステップが前記第1の画像の1つまたは複数の編集バージョンを前記画像のセットと比較するステップを含み、前記第1の画像の前記編集バージョンは、
   高コントラストバージョン、
   色反転バージョン、
   白黒バージョン、および
   白黒反転バージョン
   のうち1つから選択される、請求項1に記載の方法。
5. 前記画像のセットを識別するステップの前に、画像のコレクションを、前記1つまたは複数の処理デバイスによって受け取るステップと、
   前記1つまたは複数の識別マークのうちの1つを含む画像の前記コレクション内の各画像に、第1のラベルを割り当てるステップであって、前記画像のセットが前記第1のラベルを有する画像の前記コレクションからの画像を含む、ステップと
   をさらに含む、請求項1に記載の方法。
6. 前記画像のセットを識別するステップは、前記画像のセットの各画像の前記地理的場所情報が前記第1の画像の場所の設定された半径内であると決定するステップをさらに含む、請求項1に記載の方法。
7. 前記第1の画像がキャプチャされた前記場所に施設を関連付けるステップの前に、前記第1の画像の前記場所が信頼できるページ上のリストされた場所に一致すると決定するステップであって、前記信頼できるページが前記1つまたは複数の識別マークのうちの1つを含む前記画像を含む、ステップと、
   前記第1の画像の前記場所が信頼できるページ上のリストされた場所に一致すると決定するとき、高信頼度レベルを割り当てて、前記施設を前記設定された場所に関連付けるステップとを含む、請求項1に記載の方法。
8. 地理的場所に施設の存在を決定および更新するためのシステムであって、前記システムは、
   1つまた複数のプロセッサを有する1つまたは複数のコンピューティングデバイスと、
   前記1つまたは複数のプロセッサに実行可能な命令を格納するメモリとを具備し、前記命令は、
   第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を受け取るステップであって、前記場所データが第1の画像の場所を含む、ステップと、
   画像のセットを、1つまたは複数の処理デバイスによって識別するステップであって、前記画像のセットの各画像が地理的場所情報および1つまたは複数の識別マークを含み、各識別マークが、1つまたは複数の施設と関連付けられる、ステップと、
   前記第1の画像を前記画像のセットと比較するステップと、
   前記比較に基づいて、前記第1の画像が前記1つまたは複数の識別マークの1つを含むことを決定するステップと、
   前記第1の画像に含まれる前記1つまたは複数の識別マークのうちの1つに関連付けられた前記1つまたは複数の施設のうちの1つが、前記第1の画像の場所がキャプチャされた場所の設定された近傍内に現在位置すると決定するステップと、
   前記1つまたは複数の施設のうちの1つを前記第1の画像の場所の前記設定された近傍内の設定された場所に関連付けることによって、場所データベースを、更新するステップと
   を含むシステム。
9. 前記命令は、前記画像のセットによって前記第1の画像の画像内画像検索を実行することによって、前記画像のセットと前記第1の画像を比較するステップをさらに含む、請求項8に記載のシステム。
10. 前記命令は、前記第1の画像と前記画像のセットのうちの画像の1つとの間の共通の識別マークについて画像内画像検索を実行するステップをさらに含む、請求項9に記載のシステム。
11. 前記第1の画像を比較するステップが前記第1の画像の1つまたは複数の編集バージョンを前記画像のセットと比較するステップを含み、前記第1の画像の前記編集バージョンは、
    高コントラストバージョン、
    色反転バージョン、
    白黒バージョン、および
    白黒反転バージョン
    のうち1つから選択される、請求項8に記載のシステム。
12. 前記命令は、
    前記画像のセットを受け取るステップの前に、画像のコレクションを、前記1つまたは複数の処理デバイスによって受け取るステップと、
    前記1つまたは複数の識別マークのうちの1つを含む画像の前記コレクション内の各画像に、第1のラベルを割り当てるステップであって、前記画像のセットが前記第1のラベルを有する画像の前記コレクションからの画像を含む、ステップと
    をさらに含む、請求項8に記載のシステム。
13. 前記画像のセットを識別するステップは、前記画像のセットの各画像の前記地理的場所情報が前記第1の画像の場所の設定された半径内であると決定するステップをさらに含む、請求項8に記載のシステム。
14. 前記命令は、
    前記第1の画像がキャプチャされた前記場所に施設を関連付けるステップの前に、前記第1の画像の前記場所が信頼できるページ上のリストされた場所に一致すると決定するステップであって、前記信頼できるページが前記1つまたは複数の識別マークのうちの1つを含む前記画像を含む、ステップと、
    前記第1の画像の前記場所が信頼できるページ上のリストされた場所に一致すると決定するとき、高信頼度レベルを割り当てて、前記施設を前記設定された場所に関連付けるステップとを含む、請求項8に記載のシステム。
15. 命令を格納する非一時的コンピュータ可読記憶媒体であって、
    前記命令は、1つまたは複数のプロセッサによって実行されるときに、前記1つまたは複数のプロセッサに、
    第1の画像のキャプチャに関連付けられた場所データを含む第1の画像を、1つまたは複数の処理デバイスによって受け取るステップであって、前記場所データが第1の画像の場所を含む、ステップと、
    画像のセットを、1つまたは複数の処理デバイスによって識別するステップであって、前記画像のセットの各画像が地理的場所情報および1つまたは複数の識別マークを含み、各識別マークが、1つまたは複数の施設と関連付けられる、ステップと、
    前記第1の画像を前記画像のセットと、前記1つまたは複数の処理デバイスによって比較するステップと、
    前記比較に基づいて、前記第1の画像が前記1つまたは複数の識別マークの1つを含むことを、前記1つまたは複数の処理デバイスによって決定するステップと、
    前記第1の画像に含まれる前記1つまたは複数の識別マークのうちの1つに関連付けられた前記1つまたは複数の施設のうちの1つが、前記第1の画像がキャプチャされた場所の設定された近傍内に現在位置すると、前記第1つまたは複数の処理デバイスによって決定するステップと、
    前記1つまたは複数の施設のうちの1つを前記第1の画像の場所の前記設定された近傍内の最後の場所に関連付けることによって、場所データベースを、前記1つまたは複数の処理デバイスによって更新するステップと
    を実行させる、非一時的コンピュータ可読記憶媒体。
16. 前記命令は、
    前記画像のセットによって前記第1の画像の画像内画像検索を実行することによって、前記画像のセットと前記第1の画像を比較するステップをさらに含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
17. 前記命令は、
    前記画像のセットを受け取るステップの前に、画像のコレクションを、前記1つまたは複数の処理デバイスによって受け取るステップと、
    前記1つまたは複数の識別マークのうちの1つを含む画像の前記コレクション内の各画像に、第1のラベルを割り当てるステップであって、前記画像のセットが前記第1のラベルを有する画像の前記コレクションからの画像を含む、ステップと
    をさらに含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
18. 前記命令は、
    前記画像のセットを受け取るステップの前に、画像のコレクションを、前記1つまたは複数の処理デバイスによって受け取るステップと、
    前記1つまたは複数の識別マークのうちの1つを含む画像の前記コレクション内の各画像に、第1のラベルを割り当てるステップであって、前記画像のセットが前記第1のラベルを有する画像の前記コレクションからの画像を含む、ステップと
    をさらに含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
19. 前記画像のセットを識別するステップは、前記画像のセットの各画像の前記地理的場所情報が前記第1の画像の場所の設定された半径内であると決定するステップをさらに含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
20. 前記1つまたは複数の施設のうちの1つを前記第1の画像の場所の前記設定された近傍内の最後の場所に関連付けることは、前記1つまたは複数の施設のうちの1つを前記第1の画像の場所の前記設定された近傍内の通りの住所に関連付けることをさらに含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。

Images