JP2014524062A

JP2014524062A - ライブビューの拡張

Info

Publication number: JP2014524062A
Application number: JP2014513617A
Authority: JP
Inventors: ラムクマー、グラマーシー; スタシオール、ウィリアム・エフ．; フェルドマン、ブライアン・イー．; デューア、アーナブ・エス．; センサミル、ナリン・プラディープ
Original assignee: エー９．・コム・インコーポレーテッド
Priority date: 2011-05-27
Filing date: 2012-05-25
Publication date: 2014-09-18
Anticipated expiration: 2032-05-25
Also published as: WO2012166577A1; EP2715521B1; US9547938B2; US9911239B2; JP5951759B2; EP2715521A1; CN103733177B; EP2715521A4; US20120299961A1; CN103733177A; CN107122380A; US20170116786A1

Abstract

関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するための技法が開示される。一実施形態において、画像を拡張する方法は、実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信することと、受信された情報に基づいて、サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定することと、決定された情報を複数の品目を定義する記憶された情報と一致させて、捕捉されたオブジェクトと一致した品目を見つけることと、一致した品目に関連付けられたコンテンツを読み出すことと、電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供することとを含む。読み出されたコンテンツは、電子デバイス上に表示される捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングされ得る。レンダリングされたコンテンツは、ユーザが該コンテンツと対話できるように構成される。
【選択図】図２

Description

様々な従来のコンテンツ配信システムは、コンピューティングデバイス（例えば、スマートフォン）のユーザが、例えば、そのコンピューティングデバイスのカメラを用いて画像を捕捉することによって、ユーザが提供した画像に関連したコンテンツを得ることを可能にする。例えば、ユーザは、カメラを用いて映画のポスターの画像を捕捉し、その捕捉された画像をコンテンツ配信システムにアップロードすることができる。次いで、コンテンツ配信システムは、映画のポスターに関連付けられた映画に関連したコンテンツ（例えば、映画の情報、マルチメディアコンテンツ等）を返す。

アップロードされた画像に関連したコンテンツを配信するために、従来のコンテンツ配信システムは、クライアントデバイスから受信される画像をコンテンツ配信システムの画像データベースに記憶された画像と一致させようとする。画像データベースは、雑誌、ポスター、新聞、インターネット等からの何千もの画像を記憶することができる。例えば、画像データベースは、特定の映画「Ｘ」に対応する壁用ポスターおよびビルボード広告の画像を記憶することができる。したがって、コンテンツ配信システムが通信デバイスから映画「Ｘ」のポスターの画像を受信するとき、このシステムは、受信された画像をその画像データベースに記憶されたすべての画像と一致させようとする。このような手段は、非常に資源集約的であり得、ユーザが分析されなければならない多くの画像とともに要求をシステムに依頼するときに、かなりの時間のずれをもたらし得る。

様々な実施形態が実装され得る環境を説明する。図１との関連で上で説明され、かつ様々な実施形態に従って使用され得る１つ以上のコンポーネントを組み込み得る環境の図表示を説明する。ある実施形態に従う、電子デバイス上でレンダリングされるときに関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張する例を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのプロセスフロー図を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像の拡張に用いられる検出技法の例のプロセスフロー図を説明する。ある実施形態に従う、サーバ側のオブジェクト認識技法のプロセスフロー図を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像の拡張に用いられる認識技法の例のプロセスフロー図を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像の拡張に用いられるオーバーレイ技法の例のプロセスフロー図を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像の拡張に用いられるタグ付け技法の例のプロセスフロー図を説明する。ある実施形態に従う、関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像の拡張に用いられる電子デバイスの例示のコンポーネントを説明する。ある実施形態に従う、電子デバイス上でレンダリングされる関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張する別の例を説明する。

本発明の詳細な説明

様々な実施形態は、画像情報の一致に応答してコンテンツを配信するための方法および／またはシステムを提供する。具体的には、コンテンツは、通信デバイスから提供される画像に応答して、コンピューティングデバイスまたはクライアントシステム等の通信デバイスに配信され得る。画像は、少なくとも１つの関心のあるオブジェクトを含有し得、１つ以上のそのオブジェクトの画像は、実質的にリアルタイムで通信デバイスによって捕捉およびアップロードされ得る（例えば、画像が捕捉後間もなくアップロードされる）。画像情報は、関連付けられたコンテンツを決定するために使用され得るオブジェクトの身元または他の情報を決定するために、リアルタイムで捕捉されたオブジェクト（複数を含む）を一致させる画像データベース内の情報と比較され得る。検出および認識コンポーネントを用いて、通信デバイスによってアップロードされた画像情報を分析して、この画像が任意の品目、製品、または例えば、コンテンツリポジトリに記憶される他の種類のコンテンツと一致するかを判定することができる。コンテンツリポジトリは、コンテンツプロバイダによって最新のコンテンツで定期的に更新され得る。

様々な実施形態は、例えば、検出および認識コンポーネントがオブジェクトに関連付けられたコンテンツを決定するときに、その関連付けられたコンテンツを読み出し、その関連付けられたコンテンツを通信デバイスに実質的にリアルタイムで提供するオーバーレイサービスも包含する。少なくともいくつかの実施形態において、コンテンツが、通信デバイスによって捕捉される現在表示されるオブジェクトの画像を、例えば、ビデオフレーム内に拡張する（例えば、オーバーレイする）ように、コンテンツがレンダリングされ得る。コンテンツオーバーレイ要素は、異なる形状および形態であり得、例えば、ボックス、ボタン、三次元構造、アニメーション等を含み得る。コンテンツオーバーレイは、オーバーレイが、例えば、ユーザがレンダリングされたコンテンツにアクセスし、コンテンツを編集し、レンダリングされたコンテンツに基づいて検索を行い、コンテンツを仲間と共有し、コンテンツをエクスポートすることを可能にし得るように、対話型であり得る。

図１は、様々な実施形態に従う態様を実装するための環境１００の例を説明する。理解されるように、ウェブベースの環境が説明目的に使用されるが、必要に応じて、異なる環境を使用して様々な実施形態を実装してもよい。環境１００は、電子クライアントデバイス１０２を含み、これは、適切なネットワーク１０４上で要求、メッセージ、または情報を送受信し、かつ情報をデバイスのユーザに戻して伝達するよう動作する任意の適切なデバイスを含み得る。このようなクライアントデバイスの例には、パーソナルコンピュータ、携帯電話、携帯用メッセージングデバイス、ラップトップコンピュータ、セットトップボックス、個人デーアシスタント、電子ブックリーダー等が挙げられる。ネットワークは、インターネット、セルラーネットワーク、ローカルエリアネットワーク、または任意の他のそのようなネットワークもしくはそれらの組み合わせを含む、任意の適切なネットワークを含み得る。そのようなシステムに用いられるコンポーネントは、少なくともある程度、ネットワークの種類および／または選択される環境に依存し得る。そのようなネットワークを介した通信用のプロトコルおよびコンポーネントは周知であり、本明細書で詳細に論じられない。ネットワークを介した通信は、有線または無線接続、およびそれらの組み合わせによって可能にされ得る。この例において、ネットワークは、インターネットを含み、環境は、要求を受信し、かつそれに応答してコンテンツを提供するために、ウェブサーバ１０６を含むが、他のネットワークの場合、当業者には明らかであるように、同様の目的を果たす代替のデバイスが使用され得る。

例示的な環境は、少なくとも１つのアプリケーションサーバ１０８およびデータストア１１０を含む。いくつかのアプリケーションサーバ、層、もしくは他の要素、プロセス、またはコンポーネントが存在し得、これらは、チェーン接続されるか、またはさもなければ構成され得、これらは、対話して適切なデータストアからデータを得る等のタスクを実行し得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、データにアクセスし、かつデータを読み出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の標準、分散型、またはクラスタ化環境において、任意の組み合わせおよび任意の数のデータサーバ、データベース、データ記憶デバイス、およびデータ記憶媒体を含み得る。アプリケーションサーバは、必要に応じてデータストアと統合して、クライアントデバイスの１つ以上のアプリケーションの態様を実行するために、任意の好適なハードウェアおよびソフトウェアを含み得、アプリケーションのデータアクセスおよびビジネスロジックの大部分を処理する。アプリケーションサーバは、データストアと協働してアクセス制御サービスを提供し、ビューアに転送されるテキスト、画像、音声、および／またはビデオ等のコンテンツを生成することができ、これらは、この例において、ＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形態でウェブサーバによってビューアに提供され得る。すべての要求および応答の処理、ならびにクライアントデバイス１０２とアプリケーションサーバ１０８との間のコンテンツの配信は、ウェブサーバによって処理され得る。本明細書で論じられる構造化されたコードが、本明細書の他の箇所で論じられる任意の適切なデバイスまたはホスト機械上で実行され得るため、ウェブサーバおよびアプリケーションサーバは必須ではなく、単に例示のコンポーネントにすぎないことを理解されたい。

データストア１１０は、いくつかの別個のデータ表、データベース、または他のデータ記憶機構、および特定の態様に関連するデータを記憶するための媒体を含み得る。例えば、説明されるデータストアは、生産データ１１２およびユーザ情報１１６を記憶する機構を含み、生産側にコンテンツを提供するために使用され得る。データストアは、ログデータ１１４を記憶するための機構を含むようにも示され、報告、統計データ生成、および他のそのような目的のために使用され得る。ページ画像情報およびアクセス権情報等のデータストアに記憶される必要があり得る多くの他の態様が存在し得、それらは、必要に応じて上に列記される機構のうちのいずれか、またはデータストア１１０内のさらなる機構に記憶され得ることを理解されたい。データストア１１０は、それに関連付けられるロジックを介して、動作可能にアプリケーションサーバ１０８からの命令を受信し、それに応答してデータを得るか、更新するか、またはさもなければ処理する。一例において、ビューアは、ある種類の品目に対する検索要求を提示し得る。この場合において、データストアは、ユーザ情報にアクセスしてビューアの身元を確認し得、カタログ詳細情報にアクセスしてその種類の品目についての情報を得ることができる。その後、その情報は、ビューアがユーザデバイス１０２上のブラウザを介して見ることができるウェブページ上の結果リスト等でビューアに戻され得る。関心のある特定の品目の情報を、ブラウザの専用ページまたはウィンドウで見ることができる。

それぞれのサーバは、典型的には、実行可能なプログラム命令をそのサーバの一般管理および動作に提供するオペレーティングシステムを含み、かつ典型的には、サーバのプロセッサによって実行されるときに、サーバがその目的とする機能を実行することを可能にする命令を記憶するコンピュータ可読媒体を含む。サーバのオペレーティングシステムおよび一般機能に好適な実装例は既知であるか、または市販されており、特に本明細書における開示に照らして、当業者によって容易に実装される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を用いた、通信リンクを介して相互接続されるいくつかのコンピュータシステムおよびコンポーネントを利用する分散型コンピューティング環境である。しかしながら、当業者であれば、そのようなシステムが、図１に説明されるコンポーネントよりも少ない数または多い数のコンポーネントを有するシステムにおいても同等にうまく動作し得ることを理解する。したがって、図１におけるシステム１００の描写は、本質的に例示であり、本開示の範囲を限定するものではないと見なされるべきである。

図２は、様々な実施形態が実践され得る例示の環境２００を示す。環境２００が、図１に関連して上に記載される環境のコンポーネントのうちの１つ以上を利用することが理解され得る。環境２００は、「拡張現実」環境の例を表す。拡張現実（ＡＲ）は、それらの要素が音声または画像等のコンピュータによって生成された感覚入力によって拡張される、物理的な現実世界の環境の直接または間接ライブビュー用の用語である。拡張は、環境要素を用いてリアルタイムおよび意味的文脈で従来方式で行われる。進化したＡＲ技術を利用して、ユーザの周囲の現実世界についての情報は、対話型になり、かつデジタル的に操作可能になる。環境およびそのオブジェクトについての人工的な情報は、現実世界上にオーバーレイされ得る。

環境２００は、ある実施形態において、クライアントコンピューティング（通信）デバイス２０２および２０４を用いて様々なコンテンツプロバイダのコンテンツをブラウズするために、インターネット２０６等のネットワークを利用する複数のユーザ２０１および２０３を含む。環境２００は、インターネットをネットワークとして利用し得るが、他のネットワークがインターネットの代替物として、またはインターネットに加えて使用され得ることを理解されたい。他のネットワークの例には、モバイルネットワーク、イントラネット、および一般に任意の好適な通信ネットワークが挙げられる。いくつかのユーザおよび関連付けられたコンピューティングデバイスが変化し得、関連付けられたコンピューティングデバイス２０２および２０４を有するユーザ２０１および２０３が、単に例示目的のために示されることを理解する。

上述のように、クライアントコンピューティングデバイス２０２または２０４は、画像捕捉要素を装備した任意のモバイル通信デバイス、例えば、携帯電話、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、拡張現実（ＡＲ）有効化メガネ、頭装着型ディスプレイ等であり得る。デバイス２０２および２０４は、とりわけ、デスクトップコンピュータ、ノートブックコンピュータ、電子ブックリーダー、パーソナルデータアシスタント、ビデオゲームコンソールまたはコントローラ、テレビセットトップボックス、およびポータブルメディアプレーヤーも含み得る。通信デバイス２０２または２０４は、通常動作下で、（例えば、デバイス２０４が説明するように、表示画面と同一側のコンピューティングデバイス上の）表示画面に向かうユーザ（またはビューア）に情報を表示する表示画面を有し得る。拡大版クライアントコンピューティングデバイスの表示画面は、要素２５２および２６２によって示される。

通信デバイスは、１つ以上の画像捕捉要素、例えば、そのデバイスの前部に２つの画像捕捉要素、およびそのデバイスの後部に２つの画像捕捉要素を含み得るが、さらに多いか、または少ない数の画像捕捉要素が利用されてもよく、かつそのデバイスの側面、隅部、もしくは他の位置に同様に、または代替的に設置され得ることを理解されたい。画像捕捉要素は、同様の型または異なる型のものでもあり得る。それぞれの画像捕捉要素は、例えば、カメラ、電荷結合デバイス（ＣＣＤ）、動作検出センサ、もしくは赤外線センサであり得るか、または他の画像捕捉技術を利用してもよい。コンピューティングデバイスは、音声データを捕捉することができる少なくとも１つのマイクロホンまたは他の音声捕捉要素、ならびに加速度計、ジャイロスコープ、コンパスデジタル、または慣性センサ等の１つ以上の方位決定要素も含み得、これらは、動作および／もしくは方位決定を支援し得る。クライアントコンピューティング（通信）デバイスを備えるコンポーネントは、図８を参照してより詳細に説明される。

図２に戻って参照して、ある実施形態において、ユーザ２０１および２０３は、例えば、コンテンツを消費し、情報を検索し、消費または販売のために売り出される品目を購入し、ソーシャルネットワーキング等に関与するために、コンテンツプロバイダによって提供されるコンテンツにアクセスし得る。図２に示されるように、環境２００は、オーバーレイサービスプロバイダ２４４によって動作される通信サーバ２４２、およびコンテンツプロバイダ２４８によって動作されるコンテンツプロバイダサーバ２４６を含み得る。以下でより詳細に説明されるように、バックエンドサーバは、いくつかの実施形態において、記載される機能性を提供および支援するのに必要ではない場合がある。サーバ２４２および２４６によって提供される機能性は、示されるように、それらのサーバ間に分散され得る。概して、１つ以上のサーバは、サーバ２４２および２４６上で実装される機能性を提供するように構成され得る。したがって、サーバ２４２および２４６は、単に例示目的のために、２つの別個の要素として図２に示される。理解されるように、単一の電子実体（図示されず）は、システム要素２４２、２４４、２４６、および２４８を動作し得る。あるいは、異なる実体は、要素２４２、２４４、２４６、および２４８を制御し得る。１つの電子実体または複数の電子実体は、いくつかの異なる方法で、プロバイダ２４８のうちの１つ以上を動作するか、それらと提携するか、またはそれらと関連付け得る。

ある実施形態において、環境２００は、デバイス画面２５２および２６２上のオーバーレイ要素２５６および２６６にレンダリングされるコンテンツを生成するためのコンポーネントおよび命令を含む。コンテンツプロバイダ２４８は、コンピュータゲーム、ニュース、ビデオ、ショッピングまたは他のサービス、検索エンジンサービス、音声、ソーシャルネットワーキングサービス等の様々な種類のコンテンツを提供し得る。任意の種類のコンテンツが環境２００またはその変形に含まれ得ることを理解されたい。コンテンツは、アプリケーションインタフェースを介して、またはウェブサイトに適切に分類されない場合がある他の機構を介して等、様々な方法で提供され得る。図２で説明される例において、コンテンツプロバイダ２４８は、コンテンツサーバ２４６を介して、それらの画像捕捉要素を介してそれぞれデバイス２０２および２０４によって捕捉されるオブジェクト２０８および２１０の画像２５４および２６４と併せて画面２５２および２６２上にレンダリングされるコンテンツ２５６および２６６を提供する。

図２に示されるように、ユーザ２０１は、画面２５２上に後に表示されるオブジェクトの画像（２５４）を捕捉するために、自身のデバイス２０２をオブジェクト２０８に向ける。同様に、ユーザ２０３は、画面２６２上に後に表示されるオブジェクトの画像（２６４）を捕捉するために、自身のデバイス２０４をオブジェクト２１０に向ける。この時点で、検出コンポーネント２１８および認識コンポーネント２２０は、デバイス２０２（２０４）に関連付けられた画像捕捉要素によって捕捉されるオブジェクト２０８（２１０）が識別可能であるかを決定するために起動される。ある実施形態において、オブジェクトは、画面２５２（２６２）上、例えば、デバイス２０２（２０４）のカメラ（すなわち、画像捕捉要素）のカメラビューに表示され得る。オブジェクトが検出および認識コンポーネント２１８および２２０によって識別される場合、通信サーバ２４２および／またはコンテンツプロバイダサーバ２４６に関連付けられるオーバーレイサービス２４４は、コンテンツリポジトリ２５０からオブジェクトに関連付けられた情報を読み出し、特別な形態、例えば、オーバーレイ要素２５６（２６６）で、オブジェクトに関連付けられた情報を提供して、画面２５２（２６２）上で画像オブジェクト２５４（２６４）をオーバーレイする。

検出コンポーネント２１８、認識コンポーネント２２０、およびオーバーレイサービス２４４は、いくつかの異なる方法でシステム２００に関連付けられ得る。例えば、これらの要素の一部またはすべてを実行する命令は、クライアントデバイス２０２および２０４上に存在し得、かつその上で実行し得る。あるいは、上述のコンポーネントの一部またはすべては、通信サーバ２４２および／またはコンテンツプロバイダサーバ２４６を用いたネットワーク２０６を介したアクセスであり得る。一実施形態において、オーバーレイサービスは、サーバ上ではなく、クライアントデバイス上に存在し得る。さらに、リポジトリに関連付けられるデータの一部またはすべては、以下でより詳細に説明されるように、クライアントデバイス２０２（２０４）上に存在するローカルリポジトリ２７０（２８０）に記憶（キャッシュ）され得る。検出、認識、およびオーバーレイ機能性、ならびにそれらの適用は、図３〜７を参照して、以下でより完全に論じられる。

図３は、ある実施形態に従う、電子デバイス上にレンダリングされるときに関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張する例を説明する。関心のあるオブジェクト３０２（本「ＷａｒａｎｄＰｅａｃｅ」）は、カメラを起点に興味のあるオブジェクトを指す２つの矢印で説明されるように、電子デバイス３０６の画像捕捉要素（例えば、カメラ３０４）で捕捉される。電子デバイスディスプレイ３０８は、画像捕捉要素３０４で撮影されたオブジェクト３０２の画像３１０をレンダリングする。画像３１０は、図２を参照して上で説明されるように、オーバーレイサービスに対するオブジェクト識別および提示に応答して、実質的にリアルタイムでレンダリングされた製品情報３１４を含有するオーバーレイ要素３１２で拡張される。ある実施形態において、画像およびオーバーレイ要素は、以下で詳細に説明されるように、コンピュータ計算されたバウンディングボックス３１６内でレンダリングされ、これは、少なくともいくつかの実施形態において、表示される画像情報における決定されたオブジェクトの境界線に近づける。この例において、オーバーレイ要素３１２は、長方形であり、本３０２の画像３１０を部分的にオーバーレイし、境界ボックス内に含有される。いくつかの実施形態において、境界ボックスが計算され得るが、必ずしもエンドユーザに表示されるわけではないことを理解されたい。

図４は、関連コンテンツを有するカメラのライブビューにおける画像をオーバーレイするための方法を説明するプロセスフロー図４００である。プロセス４００は、オブジェクトがデバイスカメラビュー内で見つけられるブロック４０２から始まる。言い換えると、ユーザは、ユーザデバイスに関連付けられたカメラを特定のオブジェクト（例えば、本棚の本）に向け、オブジェクトを有するフレームがカメラビューに表示される。判定ブロック４０６において、検出アルゴリズムを用いて任意のオブジェクト特徴が検出されたかが判定される。特徴が検出されない場合、プロセスはブロック４２２に進む。少なくとも１つのオブジェクト特徴が検出された場合、判定ブロック４１０において、判定される特徴に関連付けられたオブジェクトが識別されるかが判定される。オブジェクトが識別されない場合、プロセス４００は、ブロック４２２に進む。オブジェクトが識別された場合、プロセスは、オブジェクトが品目リポジトリに記憶される製品または品目と比較されるブロック４１４に進む。一実施形態において、品目または製品情報は、クライアントデバイスに関連付けられた記憶装置にキャッシュされ得る。判定ブロック４１４において、一致が見つけられない場合、プロセスは、ブロック４２２に進む。一致が見つけられた場合、ブロック４１８において、製品情報がユーザにレンダリングされる。ブロック４２２において、フレームまたはフレーム内の選択された特徴は、さらなるオブジェクト認識のためにサーバに送信される。したがって、ローカルクライアント側オブジェクト認識およびサーバ側オブジェクト認識は、２段階で生じ得る。一実施形態において、オブジェクト認識に関連付けられたすべてのタスクは、オブジェクトの画像を含有するフレームがサーバに送信されるとき、サーバ側で起こる。その後、プロセス４００は終了する。

図５は、ある実施形態に従う、サーバ側のオブジェクト認識技法の例を説明するプロセスフロー図である。プロセス５００は、サンプリングされたフレームがクライアントデバイスから受信されるブロック５０２から始まる。ブロック５０６において、サンプルフレーム内で判定されたオブジェクト認識は、記憶された品目（製品）のオブジェクト認識と比較される。検出／認識技法は、以下で詳細に説明される。判定ブロック５１０において、記憶されたオブジェクトのうちのいずれかとの一致が見つけられるかが判定される。一致が見つけられた場合、ブロック５１４で、一致した製品に関連付けられた情報は、オーバーレイのためにクライアントデバイスに送信される。その後、プロセス５００は終了する。

図６は、オブジェクト特徴検出ルーチン６００の例を説明するプロセスフロー図である。プロセス６００は、オブジェクトを指すデバイスが、オブジェクト検出および認識の成功をもたらす質の良い撮影画像を保証する安定した状態であると判定するブロック６０２から始まる。カメラが安定しているかの判定は、様々な技法を用いて、例えば、加速度計、ソリッドステートコンパス、ジャイロスコープ等に関連付けられたセンサ入力を用いて行われ得る。ブロック６０６において、現在のフレーム内の関心点が識別される。関心点は、例えば、ハリス関心点検出アルゴリズム、モラベックコーナー検出アルゴリズム、ＦＡＳＴ等の関心点検出アルゴリズムを用いて識別され得る。

ブロック６１０において、それぞれの関心点に対応する特徴がコンピュータ計算される。特徴は、あるアプリケーションに関連したコンピュータによるタスクの解決と関連性のある１つの情報である。より具体的には、特徴は、画像、または画像自体における特定の構造（点もしくは縁等の単純な構造からオブジェクト等のより複雑な構造に及ぶ）に適用される一般近傍演算（特徴抽出器もしくは特徴検出器）の結果を指し得る。特徴の他の例は、画像シーケンスにおける動作、異なる画像領域間の曲線もしくは境界線に関して定義される形状、またはそのような領域の特性に関連する。それぞれの関心点における特徴は、例えば、累積された符号付きの勾配（ＡＳＧ）等の特徴コンピュータ計算アルゴリズムを用いてコンピュータ計算され得る。ブロック６１６において、現在のサンプリングされたフレームおよび以前にサンプリングされた（例えば、最後にサンプリングされた）フレームにおける特徴間の一致がコンピュータ計算される。特徴間の一致を用いて、同形異義性、すなわち、特徴点間の幾何学的に一致した変換を判定することができる。同形異義性が、一組の特徴点を所定の位置から新たに変換された位置に変換するマトリックスであることは、当業者には既知である。より一般的には、同形異義性は、実射影平面から直線間をマッピングする射影平面への可逆的な変換である。コンピュータビジョンの分野において、同一の空間平面の任意の２つの画像は、同形異義性によって関連付けられる。ブロック６１８において、画像特徴が追跡される。画像特徴は、同形異義性を用いて追跡され得る。同形異義性は、例えば、ＲＡＮＳＡＣアルゴリズムを用いてコンピュータ計算され得る。以前に追跡されたフレームからの同形異義性が十分に大きい場合、フレームは、選択され、図７を参照して下に記載される認識段階に備える。

どのオブジェクトがフレーム内に表示されるかを示すのに役立ち得るいくつかの一般的な種類の情報が存在する。１つのそのような例は、オブジェクトを一意に識別するバーコードである。したがって、判定ブロック６３０において、バーコードがフレーム内で検出された場合、ブロック６２２において、バーコード画像データが準備され、認識アルゴリズムに提示される。オブジェクトを識別するのに役立ち得る別の一般的な種類の情報は、テキスト情報である。したがって、バーコードが検出されない場合、６３４ブロックにおいて、任意のテキストが画像内に存在するかが決定される。テキストが検出された場合、テキストは、その後の検索に備える。別の共通の種類の情報は、フレーム内の画像（例えば、人の顔）である。テキストが検出されない場合、判定ブロック６３８において、画像内の任意の顔が検出されるかが判定される。顔が検出されない場合、プロセスは終了する。顔が実際に検出された場合、その顔を含有する画像は、図６を参照して下で説明される顔認識アルゴリズムに備える。その後、６００は終了する。バーコード、テキスト情報、および顔画像が上で論じられるが、フレーム内の他の種類の情報を用いてフレーム内のオブジェクトを検出することができる。

図７は、ある実施形態に従うオブジェクト認識の例を説明するプロセスフロー図である。プロセス７００は、バーコード画像データが処理されるブロック７０２から始まる。判定ブロック７０６において、バーコードが有効であるかが判定される。その目的のために、バーコードは、バーコード解読技法を用いて解読され得、その後、バーコード有効性は、ＵＰＣ−Ａ、ＵＰＣ−Ｅ、またはその他の既知のバーコード基準を介して確認され得る。バーコードが有効でない（または判読不能である）場合、プロセスは、ブロック７１４に進む。バーコードが有効である場合、そのバーコードに関連付けられた製品情報が読み出される。製品情報は、ある実施形態において、製品のタイトルおよび製品の価格を含む、製品（すなわち、オブジェクト）についての様々なデータを含み得る。

判定ブロック７１４において、任意の追跡された特徴が、図６を参照して上で説明される検出アルゴリズムによって見つけられるかが判定される。そのような特徴が見つけられない場合、プロセスは、判定ブロック７４２に進む。任意の特徴が見つけられた場合、ブロック７１８において、その特徴は、クライアントデバイスに関連付けられたローカルリポジトリに記憶された製品特徴と比較される。判定ブロック７２２において、任意の追跡された特徴が、ローカルリポジトリに記憶された以前に検出された製品の特徴と一致するかが判定される。一致が見つけられた場合、ブロック７２６において、キャッシュされた製品情報がローカルリポジトリから読み出される。一致が見つけられない場合、７３０において、画像フレームは、その後、サーバに送信され、サーバは、フレーム内の追跡された特徴を、クライアントデバイスからリモートのリポジトリに記憶された製品特徴と比較する。必要とされる製品情報を判定する迅速な方法であるため、製品を検出し、関連付けられた製品情報をローカルリポジトリから読み出すことは、有利であり得る。製品情報がローカルリポジトリで見つけられない場合、画像フレームは、さらなる検出／認識のためにサーバに送信される。判定ブロック７３４において、追跡された特徴とリモートリポジトリに記憶された製品の特徴との間の任意の一致（または許容レベルの相互関係）が見つけられるかが判定される。一致（相互関係）が見つけられない場合、プロセスは、判定ブロック７４２に進む。一致（相互関係）が見つけられた場合、一致した特徴を有する製品に関連付けられた製品情報がブロック７３８で読み出され、プロセスは終了する。

上述のように、テキストデータ、バーコードデータ、または顔データを含む、オブジェクトを検出するために使用されるいくつかの一般的な種類の情報が存在する。判定ブロック７４２において、任意のテキストデータが受信されるかが判定される。テキストデータが受信された場合、そのテキストは、有効化され得、有効な状態で見つけられた場合、ブロック７３８において、認識されたテキストを用いて、認識されたテキストに関連付けられた製品情報を読み出すことができる。テキストデータが読み出されない場合、判定ブロック７４６において、顔データが受信されるかが判定される。顔データが判定ブロック７６０で受信されない場合、その顔が認識されるかが判定され、その顔が認識された場合、ブロック７６８において、認識された顔に関連付けられた情報が識別される。一実施形態において、情報は、顔が識別された人に関連するデータを含み得る。顔がブロック７６４で認識されない場合、ユーザは、今後の認識目的のためにユーザのカメラビューに表示される顔に関連名で注釈を付けることが許可される。その後、プロセス７００は終了する。

一実施形態において、認識アルゴリズムは、排他的に適用され得る。

具体的には、認識アルゴリズムが、ＣＰＵ使用を最適化するためにユーザデバイス上で実行される場合、認識アルゴリズムの一方の部分が進行中であるとき（例えば、バーコード認識として）、他方の部分（例えば、製品カバー認識）は実行され得ない。

図８は、オーバーレイルーチン８００の例を説明するプロセスフロー図である。プロセス８００は、最初の境界ブロックがコンピュータ計算されるブロック８０２から開始する。最初の境界ボックスは、画像一致の成功によって暗示される同形異義性を用いて、リポジトリで見つけられたオブジェクトの画像の隅部をクエリで提示される画像にマッピングすることによってコンピュータ計算され得る。ブロック８０６において、境界ブロックは更新される。それぞれのフレームに対して更新された境界ボックスは、追跡から最初の境界ボックスの隅部まで同形異義性を適用することによってコンピュータ計算され得る。実際には、コンピュータ計算は、ユーザビューにおける画像周囲に境界ボックスを描くことを目的とする。

境界ボックスコンピュータ計算は、必ずしも信頼できるとは限らない。例えば、少しの特徴点しか追跡に利用可能でない場合があるか、それらの特徴点が画像のごく一部しかカバーしない場合があるか、または同形異義性が不安定である場合がある。境界ボックスの一貫性のない変形を制限するために、同形異義性の有効性は、そのボックスが、特定の（例えば、所定の）レベルを超える透視歪みを有さず、かつ境界が非現実的に変化しないように確認され得る。境界ボックスは、境界ボックスをより自然に見せるように、最近接の鋭い隅部に「スナップ」され得る。

ブロック８１４において、オーバーレイコンテンツは、ユーザビューにおいてオーバーレイされ得る。ほんの一例として、オーバーレイコンテンツは、ユーザがカメラビュー内で１回のクリックかつ最小労力で表示画面に表示される製品を購入し得るように、選択可能なコンテンツ（例えば、「購入」ボタン）であり得る。この技法は、「拡張現実におけるワンクリック」と称され得る。

ブロック８１８において、読み出された製品情報は、計算された境界ボックス内で、ユーザビューにおける画像を拡張（オーバーレイ）し得る。製品情報は変化し得る。例えば、製品情報は、品目価格、カスタマー評価、レビュー、説明、他のフォーマットでの同一の製品への特価提供品および販売促進品のリンク、デジタルダウンロードへのリンク、リスト、カスタマー間の議論、そのオブジェクト（製品）を購入したカスタマーが購入した他の製品に関連する情報等を含み得るが、これらに限定され得ない。ブロック８１８においてオーバーレイされる情報は、任意的である。

ブロック８２２において、オーバーレイコンテンツ要素は、境界ボックスにフォーマットされる。ある実施形態において、これは、「不動産」という表示をうまく利用するために、三次元フォーマットで行われ得る。例えば、オーバーレイ要素は、デバイスのディスプレイ上のユーザビュー内のオブジェクトの画像をオーバーレイし得る三次元構造（立方体等）を含み得る。立方体のそれぞれの壁は、製品（オブジェクト）に関連するコンテンツを含有し得、例えば、１つの壁は、製品の価格を表示し得、別の壁は、製品のレビューを表示し得る。製品情報に加えて、または製品情報の代わりに、選択可能なコンテンツ要素（例えば、「購入」、「カートに追加」、または「選択」ボタン）は、ユーザが表示されるコンテンツと対話できるように、オーバーレイ要素（例えば、上述の三次元構造）に追加され得る。

他の種類のコンテンツ（上述のもの以外）は、ユーザビューに表示される画像をオーバーレイし得る。例えば、製品のビデオプレビューは、ブロック８２６において示されるオブジェクトの画像の境界内でユーザに表示され得る。ある実施形態において、その画像がユーザビューに表示されるＤＶＤの映画プレビューが提供され得、表示されるおもちゃのゲームプレビューが提供され得、ある特定の製品の使用法を説明するビデオが提供され得る。ブロック８３０において、製品に関連する三次元アニメーションもユーザに提供され得る。例えば、その画像が捕捉されたオブジェクトが本の場合、その本の表紙が開いて本の内容を表示するように示すアニメーションが提供され得る。上述のように、選択可能な（「クリック可能な」）コンテンツ要素は、アニメーションに追加され得、ブロック８３４において示されるように、ユーザがコンテンツと対話できるように、詳細およびさらなるコンテンツへのリンク等にされ得る。したがって、上の例において、追加された選択可能なコンテンツ要素を有するアニメーションは、ユーザが表示された本のページを「めくる」ことを可能にし、それぞれのめくられたページのコンテンツを示し得る。その後、プロセス８００は終了する。

図９は、ユーザに提示されるオブジェクト（例えば、品目または製品）をタグ付けするための方法を説明するプロセスフロー図である。タグ付け品目は、ユーザが製品のリストを作成し、その作成されたリストから情報を抽出することを可能にし得る。作成されたリストまたはそのリスト内の個別の製品は、例えば、ソーシャルネットワーキング（例えば、フェイスブック（登録商標）またはツイッター（登録商標）を介して）を用いて他のユーザと共有され得る。プロセス９００は、製品が図３〜５を参照して上で説明されるように識別されるブロック９０２から始まる。判定ブロック９０６において、製品が認識されるかが判定される。製品が認識された場合、ブロック９０８において、認識された品目は、例えば、現在の位置およびタイムスタンプでタグ付けされる。製品が認識されない場合、ブロック９１２において、ユーザは、タグを製品に追加する、例えば、製品の定義または説明を手動で追加することが許可される。

ブロック９１６において、さらなる対話能力がユーザに提供される。例えば、ユーザは、表示された製品をクリックし、製品を友人と共有し、製品を位置またはキーワードで読み出し、製品をサムネイルとしてライブ表示ビューで表示し、ユーザがサムネイルをクリックして詳細を見ることを可能にし、ユーザによって用いられる製品のリストをエクスポートし（例えば、Ｅメールまたはファイルとして）、テキストラベルを追加すること等を許容される。上述の本の例において、ユーザは、その本がユーザの友人に貸し出されていること、またはその本がユーザのライブラリに属することを提示するラベルを製品に追加し得る。その後、プロセス９００は終了する。

図１０は、図２に関して説明されるデバイス２０２等の通信デバイス１０００の１組の基本的なコンポーネントを説明する。この例において、デバイスは、メモリデバイスまたは要素１００４に記憶され得る命令を実行するために、少なくとも１つのプロセッサ１００２を含む。命令は、上述の検出、認識、およびオーバーレイコンポーネントに関連する命令を含み得る。デバイスは、プロセッサ１００２によって実行されるプログラム命令のための第１のデータ記憶装置、画像またはデータに用いられ得る同一もしくは別個の記憶装置、他のデバイスと情報を共有するために利用可能であり得る取り外し可能なメモリ、および他のデバイスと情報を共有するために利用可能であり得る任意の数の通信手段等の多くの種類のメモリ、データ記憶装置、またはコンピュータ可読媒体を含み得る。ポータブルメディアプレーヤー等のデバイスが、他の手段を介して、例えば、音声スピーカーを介して情報を伝達し得るが、デバイスは、典型的には、タッチスクリーン、電子インク（ｅ−ｉｎｋ）、有機発光ダイオード（ＯＬＥＤ）、または液晶ディスプレイ（ＬＣＤ）等の少なくとも１種類の表示要素１００６を含む。

上述のように、多くの実施形態におけるデバイスは、ビューアの相対位置を決定するために位置付けされる少なくとも１つの画像捕捉要素、およびデバイスの近くでユーザ、人々、または他の可視的オブジェクトを画像化するよう動作する少なくとも１つの画像捕捉要素等の少なくとも２つの画像捕捉要素１００８を含む。画像捕捉要素は、ユーザがデバイスを動作するときにユーザの画像を捕捉するために、十分な解像度、集束範囲、および可視領域を有するＣＣＤ画像捕捉要素等の任意の適切な科学技術を含み得る。コンピューティングデバイスを有する画像捕捉要素を用いて画像またはビデオを捕捉するための方法は、当技術分野で既知であり、本明細書で詳細に論じられない。画像捕捉が、単一の画像、複数の画像、定期的な画像化、連続的な画像捕捉化、画像ストリーミング等を用いて実行され得ることを理解されたい。

デバイスは、デバイスの運動または他の方向変化の判定を支援し得る少なくとも１つの方向決定要素１０１０、例えば、加速度計、デジタルコンパス、電子ジャイロスコープ、または慣性センサを含み得る。デバイスは、従来の入力をユーザから受信することができる少なくとも１つのさらなる入力デバイス１０１２を含み得る。この従来の入力は、例えば、プッシュボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、または任意の他のそのようなデバイスもしくは要素を含み得、それによって、ユーザがコマンドをデバイスに入力することができる。これらの入出力デバイスは、いくつかの実施形態において、無線赤外線もしくはＢｌｕｅｔｏｏｔｈ（登録商標）または他のリンクによっても接続され得る。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含み得ず、ユーザがデバイスを制御することができるように、デバイスとの接触を必要とすることなく、視覚コマンドおよび音声コマンドの組み合わせを介してのみ制御され得る。

図１１は、図６を参照して詳細に説明されるある実施形態に従う、電子デバイス上にレンダリングされる関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張する例１１００を説明する。電子デバイス表示１１０２は、図８を参照して上で説明されるもの等の電子デバイスの画像捕捉要素（例えば、カメラ）で撮影されたオブジェクトの画像１１０４を含む。この例におけるオーバーレイ要素は、画像１１０４をオーバーレイする立方体１１０６形状の三次元構造である。示されるように、立方体のすべての側面は、本に関連する異なる情報（ＬｅｏＴｏｌｓｔｏｙ、ＷａｒａｎｄＰｅａｃｅ）を表示する。例えば、側面１１０８は、様々な版（キンドル（登録商標）、ハードカバー、およびペーパーバック）の本の価格を含む。側面１１１０は、本に関するレビューにリンクする「編集レビュー」という名称の選択可能な要素を含む。側面１１１２は、この本を購入したユーザが購入した本の説明（例えば、ＬｅｏＴｏｌｓｔｏｙのＡｎｎａＫａｒｅｎｉｎａ）を含む。立方体は、ユーザによって移動させられ得、異なる側面は、図７を参照して上で説明されるように、異なる製品情報を示し得る。したがって、図１１に提示されるオーバーレイの例は、ユーザがオーバーレイされたコンテンツと対話し、立方体のすべての側面が、製品の表示された画像に関連付けられた様々な製品情報を示し、かつ表示し得るように、オーバーレイ要素（立方体１１０６）を表示画面中で移動させることを可能にする。

上述のように、様々な実施形態は、多種多様の動作環境において実装され得、これらは、ある場合には、いくつかのアプリケーションのうちのいずれかを動作するために使用され得る１つ以上のクライアントコンピュータ、コンピューティングデバイス、またはプロセッシングデバイスを含み得る。クライアントデバイスは、標準のオペレーティングシステムを起動するデスクトップまたはラップトップコンピュータ、ならびにモバイルソフトウェアを起動し、かついくつかネットワーキングおよびメッセージングプロトコルを支援することができる携帯電話、無線、および携帯用デバイス等のいくつかの汎用パーソナルコンピュータのうちのいずれかを含み得る。このようなシステムは、開発およびデータベース管理等の目的のために、様々な市販のオペレーティングシステムおよび他の既知のアプリケーションのうちのいずれかを起動するいくつかのワークステーションも含み得る。これらのデバイスは、ダミーターミナル、シンクライアント、ゲーミングシステム、およびネットワークを介して通信することができる他のデバイス等の他の電子デバイスも含み得る。

様々な態様も少なくとも１つのサービスまたはウェブサービスの一環として実装され得、例えば、サービス中心のアーキテクチャの一環であり得る。ウェブサービス等のサービスは、任意の適切な種類のメッセージングを用いて、例えば、拡張マークアップ言語（ＸＭＬ）フォーマットのメッセージを用いて通信し、ＳＯＡＰ（「シンプル・オブジェクト・アクセス・プロトコル」に由来する）等の適切なプロトコルを用いて交換され得る。そのようなサービスによって提供または実行されるプロセスは、ウェブサービス記述言語（ＷＳＤＬ）等の任意の適切な言語で書かれ得る。ＷＳＤＬ等の言語の使用は、様々なＳＯＡＰフレームワークにおけるクライアント側コードの自動生成等の機能を可能にする。

大抵の実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋ等の様々な市販のプロトコルのうちのいずれかを用いた通信を支援するために、当業者に既知の少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。

ウェブサーバを利用する実施形態において、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバを含む様々なサーバまたはミッドティアアプリケーションのうちのいずれかを起動することができる。サーバ（複数を含む）は、例えば、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等の任意のプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれる１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行することによって、クライアントデバイスからの要求に応答してプログラムまたはスクリプトを実行することもでき得る。サーバ（複数を含む）は、制限なく、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販のものを含むデータベースサーバも含み得る。

環境は、上述の様々なデータストアならびに他のメモリおよび記憶媒体を含み得る。これらは、様々な位置、例えば、コンピュータのうちの１つ以上にローカル（かつ／もしくはそこに存在する）、またはネットワーク上のコンピュータのうちのいくつかもしくはすべてからリモートの記憶媒体上に存在し得る。特定の組の実施形態において、情報は、当業者に既知のストレージエリアネットワーク（「ＳＡＮ」）に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスによる機能を実行するための任意の必要なファイルは、必要に応じて、ローカルおよび／またはリモートに記憶され得る。システムがコンピュータ化されたデバイスを含む場合、それぞれのそのようなデバイスは、バスを介して電気的に結合され得るハードウェア要素を含み得、これらの要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド）、および少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカー）を含む。そのようなシステムは、１つ以上の記憶デバイス、例えば、ディスクドライブ、光学式記憶デバイス、およびソリッドステート記憶デバイス、例えば、ランダムアクセスメモリ（「ＲＡＭ」）または読み出し専用メモリ（「ＲＯＭ」）、ならびに取り外し可能な媒体デバイス、メモリカード、フラッシュカード等も含み得る。

そのようなデバイスは、上で説明されるように、コンピュータ可読記憶媒体リーダ、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス）、およびワーキングメモリも含み得る。コンピュータ可読記憶媒体リーダは、コンピュータ可読記憶媒体と接続され得るか、またはコンピュータ可読記憶媒体を受信するよう構成され得、リモート、ローカル、固定、および／または取り外し可能な記憶デバイス、ならびにコンピュータ可読情報を一時的および／またはより恒久的に含有し、記憶し、伝送し、かつ読み出すための記憶媒体を表す。システムおよび様々なデバイスは、典型的には、いくつかのソフトウェアアプリケーション、モジュール、サービス、またはオペレーティングシステムおよびアプリケーションプログラム、例えば、クライアントアプリケーションまたはウェブブラウザを含む少なくとも１つのワーキングメモリデバイス内で見つけられる他の要素も含む。代替の実施形態が、上述のものからの多数の変形を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、かつ／または特定の要素は、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、もしくはこれら両方において実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続が用いられ得る。

コードまたはコードの一部を含有するための記憶媒体およびコンピュータ可読媒体は、情報の記憶および／もしくは伝送のための任意の方法または科学技術において実装される揮発性および不揮発性の取り外し可能および取り外し不可能な媒体、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、またはＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ科学技術を含む他のデータ、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用され得、かつシステムデバイスによってアクセスされ得る任意の他の媒体等であるが、これらに限定されない記憶媒体および通信媒体を含む、当技術分野で既知であるか、または使用される任意の適切な媒体を含み得る。本明細書に提供される本開示および教示に基づいて、当業者であれば、様々な実施形態を実装する他の様式および／または方法を理解する。

付記
１．関連付けられたコンテンツとともに実質的にリアルタイムで捕捉および表示されるオブジェクトの画像または一連の画像を拡張するためのコンピュータにより実装される方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、
ユーザによって動作される電子デバイスの画像捕捉要素を用いて、オブジェクトの一連の画像中の少なくとも１つの画像を捕捉することと、
前記電子デバイスの表示要素上に前記捕捉された少なくとも１つの画像を表示することと、
１つ以上の特徴が、前記オブジェクトの前記少なくとも１つの画像に由来する、前記オブジェクトを定義する前記１つ以上の特徴を決定することと、
前記オブジェクトを定義する前記決定された１つ以上の特徴を、品目リポジトリに記憶される複数の品目を定義する特徴と一致させることと、
一致が見つけられたときに、前記ユーザによって選択可能なコンテンツ要素を含む前記一致した品目に関連付けられたコンテンツを前記品目リポジトリから読み出すことと、
オーバーレイ要素が、前記電子デバイスの前記表示要素上に表示される前記画像を拡張するように、実質的にリアルタイムで、前記電子デバイスの前記表示要素上に前記オーバーレイ要素内の前記読み出されたコンテンツを表示することと、を含み、
前記ユーザは、前記ユーザによって選択可能な前記コンテンツ要素にアクセスすることによって、前記オーバーレイ要素中に表示される前記読み出されたコンテンツと対話することができる、コンピュータにより実装される方法。
２．前記オーバーレイ要素は、前記画像をオーバーレイすることによって前記画像を拡張し、前記オーバーレイ要素は、ボックス、ボタン、三次元構造、アニメーション、音声、ビデオ、ウェブページ、または対話型ユーザインタフェースのうちの１つから選択される、付記１に記載のコンピュータにより実装される方法。
３．前記電子デバイスの画像捕捉要素は、ビデオカメラまたはフォトカメラのうちの１つから選択される、付記１に記載のコンピュータにより実装される方法。
４．関連付けられたコンテンツとともに実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータにより実装される方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、
実質的にリアルタイムで電子デバイスによって捕捉されるサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されたオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉されたオブジェクトと一致した品目を見つけることと、
前記一致した品目に関連付けられたコンテンツを読み出すことと、
前記電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実装される方法。
５．前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも１つを含む、付記４に記載のコンピュータにより実装される方法。
６．前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供品および販売促進品、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも１つのコンテンツ要素のうちの少なくとも１つを含む前記品目に関連付けられた情報を含む、付記４に記載のコンピュータにより実装される方法。
７．前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、付記４に記載のコンピュータにより実装される方法。
８．前記決定された情報は、前記電子デバイスからリモートに記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、付記４に記載のコンピュータにより実装される方法。
９．付記４に記載のコンピュータにより実装される方法であって、
複数の一致が１つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、コンピュータにより実装される方法。
１０．前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも１つでタグ付けすることをさらに含む、付記４に記載のコンピュータにより実装される方法。
１１．関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータにより実装される方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、
捕捉された画像が、電子デバイスによって表示される、オブジェクトの少なくとも１つの画像を前記電子デバイスで捕捉することと、
前記オブジェクトの前記少なくとも１つの捕捉された画像に少なくともある程度基づいて、前記オブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目のそれぞれの品目を定義する記憶された情報と一致させることと、
前記一致した品目に関連付けられたコンテンツを前記リポジトリから読み出すことと、
前記読み出されたコンテンツが、少なくとも１つの選択可能なコンテンツ要素を含む、前記捕捉された画像をオーバーレイ要素内でレンダリングされる前記読み出されたコンテンツでオーバーレイすることと、
前記少なくとも１つの選択可能なコンテンツ要素を選択するユーザに応答して、前記捕捉された画像を前記コンテンツ要素に関連付けられたコンテンツでオーバーレイすることと、を含む、コンピュータにより実装される方法。
１２．前記ユーザが第２のオーバーレイ要素に入り、前記オブジェクトを前記第２のオーバーレイ要素内の前記オブジェクトに関連するさらなるコンテンツでタグ付けすることを可能にすることをさらに含む、付記１１に記載のコンピュータにより実装される方法。
１３．前記オーバーレイ要素内の検索クエリに入る前記ユーザに応答して、前記検索クエリに対応する検索結果を読み出すことをさらに含む、付記１１に記載のコンピュータにより実装される方法。
１４．前記オーバーレイ要素は、ボックスを含む、付記１１に記載のコンピュータにより実装される方法。
１５．関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリ、とを備え、前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉されたオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
１６．前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも１つを含む、付記１５に記載のコンピュータシステム。
１７．前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供品および販売促進品、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも１つのコンテンツ要素のうちの少なくとも１つを含む前記品目に関連付けられた情報を含む、付記１５に記載のコンピュータシステム。
１８．前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも１つでタグ付けさせる、付記１５に記載のコンピュータシステム。
１９．前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉された画像をオーバーレイする、付記１６に記載のコンピュータシステム。
２０．関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータ実行可能な命令を有するコンピュータ可読記憶媒体であって、コンピュータによって実行されるときに、前記コンピュータに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉されたオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータ可読記憶媒体。
２１．前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも１つを含む、付記２０に記載のコンピュータ可読記憶媒体。
２２．前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供品および販売促進品、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも１つのコンテンツ要素のうちの少なくとも１つを含む前記品目に関連付けられた情報を含む、付記２０に記載のコンピュータ可読記憶媒体。
２３．前記オーバーレイ要素は、ボックスである、付記２０に記載のコンピュータ可読記憶媒体。
２４．前記コンピュータ実行可能な命令はさらに、前記コンピュータに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉された画像をオーバーレイする、付記２１に記載のコンピュータ可読記憶媒体。
２５．前記タグ付けされた品目をクエリして、前記品目の現在の位置を決定することをさらに含む、付記１０に記載のコンピュータにより実装される方法。

したがって、本明細書および図面は、限定的意味ではなく、例示的意味であると見なされるべきである。しかしながら、特許請求の範囲で説明されるより広範の精神および本開示の範囲から逸脱することなく、様々な修正および変更をそれに加えることができることは明らかである。

Claims

関連付けられたコンテンツとともに実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータにより実装される方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉されたオブジェクトと一致した品目を見つけることと、
前記一致した品目に関連付けられたコンテンツを読み出すことと、
前記電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実装される方法。
前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも１つを含む、請求項１に記載のコンピュータにより実装される方法。
前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供品および販売促進品、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも１つのコンテンツ要素のうちの少なくとも１つを含む前記品目に関連付けられた情報を含む、請求項１に記載のコンピュータにより実装される方法。
前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカル保存場所に記憶される、請求項１に記載のコンピュータにより実装される方法。
前記決定された情報は、前記電子デバイスからリモートに記憶された情報と一致し、複数の品目を定義する情報は、リモート保存場所に記憶される、請求項１に記載のコンピュータにより実装される方法。
複数の一致が１つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、請求項１に記載のコンピュータにより実装される方法。
前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも１つでタグ付けすることをさらに含む、請求項１に記載のコンピュータにより実装される方法。
関連付けられたコンテンツとともにリアルタイムで捕捉および表示されるオブジェクトの画像を拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリと、を備え、前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉されたオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉された画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉された画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも１つを含む、請求項８に記載のコンピュータシステム。
前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供品および販売促進品、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも１つのコンテンツ要素のうちの少なくとも１つを含む前記品目に関連付けられた情報を含む、請求項８に記載のコンピュータシステム。
前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも１つでタグ付けさせる、請求項８に記載のコンピュータシステム。
前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉された画像をオーバーレイする、請求項９に記載のコンピュータシステム。