JP2014524062A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2014524062A5 JP2014524062A5 JP2014513617A JP2014513617A JP2014524062A5 JP 2014524062 A5 JP2014524062 A5 JP 2014524062A5 JP 2014513617 A JP2014513617 A JP 2014513617A JP 2014513617 A JP2014513617 A JP 2014513617A JP 2014524062 A5 JP2014524062 A5 JP 2014524062A5
- Authority
- JP
- Japan
- Prior art keywords
- content
- information
- item
- computer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005070 sampling Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 47
- 238000003860 storage Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000003190 augmentative Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000875 corresponding Effects 0.000 description 3
- 230000002452 interceptive Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001131 transforming Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular Effects 0.000 description 1
- 230000001815 facial Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000000737 periodic Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible Effects 0.000 description 1
- 230000001953 sensory Effects 0.000 description 1
- 229920000638 styrene acrylonitrile Polymers 0.000 description 1
- 235000010384 tocopherol Nutrition 0.000 description 1
- 235000019731 tricalcium phosphate Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
様々な従来のコンテンツ配信システムは、コンピューティングデバイス(例えば、スマートフォン)のユーザが、例えば、そのコンピューティングデバイスのカメラを用いて画像を捕捉することによって、ユーザが提供した画像に関連したコンテンツを得ることを可能にする。例えば、ユーザは、カメラを用いて映画のポスターの画像を捕捉し、その捕捉した画像をコンテンツ配信システムにアップロードすることができる。次いで、コンテンツ配信システムは、映画のポスターに関連付けられた映画に関連したコンテンツ(例えば、映画の情報、マルチメディアコンテンツ等)を返す。
アップロードされた画像に関連したコンテンツを配信するために、従来のコンテンツ配信システムは、クライアントデバイスから受信される画像をコンテンツ配信システムの画像データベースに記憶された画像と一致させようとする。画像データベースは、雑誌、ポスター、新聞、インターネット等からの何千もの画像を記憶することができる。例えば、画像データベースは、特定の映画「X」に対応する壁用ポスターおよびビルボード広告の画像を記憶することができる。したがって、コンテンツ配信システムが通信デバイスから映画「X」のポスターの画像を受信するとき、このシステムは、受信された画像をその画像データベースに記憶されたすべての画像と一致させようとする。このような手段は、非常に資源集約的であり得、ユーザが分析されなければならない多くの画像とともに要求をシステムに依頼するときに、かなりの時間のずれをもたらし得る。
様々な実施形態は、画像情報の一致に応答してコンテンツを配信するための方法および/またはシステムを提供する。具体的には、コンテンツは、通信デバイスから提供される画像に応答して、コンピューティングデバイスまたはクライアントシステム等の通信デバイスに配信され得る。画像は、少なくとも1つの関心のあるオブジェクトを含有し得、1つ以上のそのオブジェクトの画像は、実質的にリアルタイムで通信デバイスによって捕捉およびアップロードされ得る(例えば、画像が捕捉後間もなくアップロードされる)。画像情報は、関連付けられたコンテンツを決定するために使用され得るオブジェクトの身元または他の情報を決定するために、リアルタイムで捕捉したオブジェクト(複数を含む)を一致させる画像データベース内の情報と比較され得る。検出および認識コンポーネントを用いて、通信デバイスによってアップロードされた画像情報を分析して、この画像が任意の品目、製品、または例えば、コンテンツリポジトリに記憶される他の種類のコンテンツと一致するかを判定することができる。コンテンツリポジトリは、コンテンツプロバイダによって最新のコンテンツで定期的に更新され得る。
様々な実施形態は、例えば、検出および認識コンポーネントがオブジェクトに関連付けられたコンテンツを決定するときに、その関連付けられたコンテンツを読み出し、その関連付けられたコンテンツを通信デバイスに実質的にリアルタイムで提供するオーバーレイサービスも包含する。少なくともいくつかの実施形態において、コンテンツが、通信デバイスによって捕捉される現在表示されるオブジェクトの画像を、例えば、ビデオフレーム内に拡張する(例えば、オーバーレイする)ように、コンテンツがレンダリングされ得る。コンテンツオーバーレイ要素は、異なる形状および形態であり得、例えば、ボックス、ボタン、三次元構造、アニメーション等を含み得る。コンテンツオーバーレイは、オーバーレイが、例えば、ユーザがレンダリングされたコンテンツにアクセスし、コンテンツを編集し、レンダリングされたコンテンツに基づいて検索を行い、コンテンツを仲間と共有し、コンテンツをエクスポートすることを可能にし得るように、対話型であり得る。
図1は、様々な実施形態に従う態様を実現するための環境100の例を説明する。理解されるように、ウェブベースの環境が説明目的に使用されるが、必要に応じて、異なる環境を使用して様々な実施形態を実現してもよい。環境100は、電子クライアントデバイス102を含み、これは、適切なネットワーク104上で要求、メッセージ、または情報を送受信し、かつ情報をデバイスのユーザに戻して伝達するよう動作する任意の適切なデバイスを含み得る。このようなクライアントデバイスの例には、パーソナルコンピュータ、携帯電話、携帯用メッセージングデバイス、ラップトップコンピュータ、セットトップボックス、個人デーアシスタント、電子ブックリーダー等が挙げられる。ネットワークは、インターネット、セルラーネットワーク、ローカルエリアネットワーク、または任意の他のそのようなネットワークもしくはそれらの組み合わせを含む、任意の適切なネットワークを含み得る。そのようなシステムに用いられるコンポーネントは、少なくともある程度、ネットワークの種類および/または選択される環境に依存し得る。そのようなネットワークを介した通信用のプロトコルおよびコンポーネントは周知であり、本明細書で詳細に論じられない。ネットワークを介した通信は、有線または無線接続、およびそれらの組み合わせによって可能にされ得る。この例において、ネットワークは、インターネットを含み、環境は、要求を受信し、かつそれに応答してコンテンツを提供するために、ウェブサーバ106を含むが、他のネットワークの場合、当業者には明らかであるように、同様の目的を果たす代替のデバイスが使用され得る。
例示的な環境は、少なくとも1つのアプリケーションサーバ108およびデータストア110を含む。いくつかのアプリケーションサーバ、層、もしくは他の要素、プロセス、またはコンポーネントが存在し得、これらは、チェーン接続されるか、またはさもなければ構成され得、これらは、対話して適切なデータストアからデータを得る等のタスクを実行し得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、データにアクセスし、かつデータを読み出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の標準、分散型、またはクラスタ化環境において、任意の組み合わせおよび任意の数のデータサーバ、データベース、データ記憶デバイス、およびデータ記憶媒体を含み得る。アプリケーションサーバは、必要に応じてデータストアと統合して、クライアントデバイスの1つ以上のアプリケーションの態様を実行するために、任意の好適なハードウェアおよびソフトウェアを含み得、アプリケーションのデータアクセスおよびビジネスロジックの大部分を処理する。アプリケーションサーバは、データストアと協働してアクセス制御サービスを提供し、ビューアに転送されるテキスト、画像、オーディオ、および/またはビデオ等のコンテンツを生成することができ、これらは、この例において、HTML、XML、または別の適切な構造化言語の形態でウェブサーバによってビューアに提供され得る。すべての要求および応答の処理、ならびにクライアントデバイス102とアプリケーションサーバ108との間のコンテンツの配信は、ウェブサーバによって処理され得る。本明細書で論じられる構造化されたコードが、本明細書の他の箇所で論じられる任意の適切なデバイスまたはホスト機械上で実行され得るため、ウェブサーバおよびアプリケーションサーバは必須ではなく、単に例示のコンポーネントにすぎないことを理解されたい。
データストア110は、いくつかの別個のデータ表、データベース、または他のデータ記憶機構、および特定の態様に関連するデータを記憶するための媒体を含み得る。例えば、説明されるデータストアは、生産データ112およびユーザ情報116を記憶する機構を含み、生産側にコンテンツを提供するために使用され得る。データストアは、ログデータ114を記憶するための機構を含むようにも示され、報告、統計データ生成、および他のそのような目的のために使用され得る。ページ画像情報およびアクセス権情報等のデータストアに記憶される必要があり得る多くの他の態様が存在し得、それらは、必要に応じて上に列記される機構のうちのいずれか、またはデータストア110内のさらなる機構に記憶され得ることを理解されたい。データストア110は、それに関連付けられるロジックを介して、動作可能にアプリケーションサーバ108からの命令を受信し、それに応答してデータを得るか、更新するか、またはさもなければ処理する。一例において、ビューアは、ある種類の品目に対する検索要求を提示し得る。この場合において、データストアは、ユーザ情報にアクセスしてビューアの身元を確認し得、カタログ詳細情報にアクセスしてその種類の品目についての情報を得ることができる。その後、その情報は、ビューアがユーザデバイス102上のブラウザを介して見ることができるウェブページ上の結果リスト等でビューアに戻され得る。関心のある特定の品目の情報を、ブラウザの専用ページまたはウィンドウで見ることができる。
それぞれのサーバは、典型的には、実行可能なプログラム命令をそのサーバの一般管理および動作に提供するオペレーティングシステムを含み、かつ典型的には、サーバのプロセッサによって実行されるときに、サーバがその目的とする機能を実行することを可能にする命令を記憶するコンピュータ可読媒体を含む。サーバのオペレーティングシステムおよび一般機能に好適なインプリメンテーションは既知であるか、または市販されており、特に本明細書における開示に照らして、当業者によって容易に実現される。
一実施形態における環境は、1つ以上のコンピュータネットワークまたは直接接続を用いた、通信リンクを介して相互接続されるいくつかのコンピュータシステムおよびコンポーネントを利用する分散型コンピューティング環境である。しかしながら、当業者であれば、そのようなシステムが、図1に説明されるコンポーネントよりも少ない数または多い数のコンポーネントを有するシステムにおいても同等にうまく動作し得ることを理解する。したがって、図1におけるシステム100の描写は、本質的に例示であり、本開示の範囲を限定するものではないと見なされるべきである。
図2は、様々な実施形態が実践され得る例示の環境200を示す。環境200が、図1に関連して上に記載される環境のコンポーネントのうちの1つ以上を利用することが理解され得る。環境200は、「拡張現実」環境の例を表す。拡張現実(AR)は、それらの要素がオーディオまたは画像等のコンピュータによって生成された感覚入力によって拡張される、物理的な現実世界の環境の直接または間接ライブビュー用の用語である。拡張は、環境要素を用いてリアルタイムおよび意味的文脈で従来方式で行われる。進化したAR技術を利用して、ユーザの周囲の現実世界についての情報は、対話型になり、かつデジタル的に操作可能になる。環境およびそのオブジェクトについての人工的な情報は、現実世界上にオーバーレイされ得る。
環境200は、ある実施形態において、クライアントコンピューティング(通信)デバイス202および204を用いて様々なコンテンツプロバイダのコンテンツをブラウズするために、インターネット206等のネットワークを利用する複数のユーザ201および203を含む。環境200は、インターネットをネットワークとして利用し得るが、他のネットワークがインターネットの代替物として、またはインターネットに加えて使用され得ることを理解されたい。他のネットワークの例には、モバイルネットワーク、イントラネット、および一般に任意の好適な通信ネットワークが挙げられる。いくつかのユーザおよび関連付けられたコンピューティングデバイスが変化し得、関連付けられたコンピューティングデバイス202および204を有するユーザ201および203が、単に例示目的のために示されることを理解する。
上述のように、クライアントコンピューティングデバイス202または204は、画像捕捉要素を装備した任意のモバイル通信デバイス、例えば、携帯電話、タブレットPC、パーソナルデジタルアシスタント(PDA)、拡張現実(AR)有効化メガネ、頭装着型ディスプレイ等であり得る。デバイス202および204は、とりわけ、デスクトップコンピュータ、ノートブックコンピュータ、電子ブックリーダー、パーソナルデータアシスタント、ビデオゲームコンソールまたはコントローラ、テレビセットトップボックス、およびポータブルメディアプレーヤーも含み得る。通信デバイス202または204は、通常動作下で、(例えば、デバイス204が説明するように、表示画面と同一側のコンピューティングデバイス上の)表示画面に向かうユーザ(またはビューア)に情報を表示する表示画面を有し得る。拡大版クライアントコンピューティングデバイスの表示画面は、要素252および262によって示される。
通信デバイスは、1つ以上の画像捕捉要素、例えば、そのデバイスの前部に2つの画像捕捉要素、およびそのデバイスの後部に2つの画像捕捉要素を含み得るが、さらに多いか、または少ない数の画像捕捉要素が利用されてもよく、かつそのデバイスの側面、隅部、もしくは他の位置に同様に、または代替的に設置され得ることを理解されたい。画像捕捉要素は、同様の型または異なる型のものでもあり得る。それぞれの画像捕捉要素は、例えば、カメラ、電荷結合デバイス(CCD)、動作検出センサ、もしくは赤外線センサであり得るか、または他の画像捕捉技術を利用してもよい。コンピューティングデバイスは、オーディオデータを捕捉することができる少なくとも1つのマイクロホンまたは他のオーディオ捕捉要素、ならびに加速度計、ジャイロスコープ、コンパスデジタル、または慣性センサ等の1つ以上の方位決定要素も含み得、これらは、動作および/もしくは方位決定を支援し得る。クライアントコンピューティング(通信)デバイスを備えるコンポーネントは、図8を参照してより詳細に説明される。
図2に戻って参照して、ある実施形態において、ユーザ201および203は、例えば、コンテンツを消費し、情報を検索し、消費または販売のために売り出される品目を購入し、ソーシャルネットワーキング等に関与するために、コンテンツプロバイダによって提供されるコンテンツにアクセスし得る。図2に示されるように、環境200は、オーバーレイサービスプロバイダ244によって動作される通信サーバ242、およびコンテンツプロバイダ248によって動作されるコンテンツプロバイダサーバ246を含み得る。以下でより詳細に説明されるように、バックエンドサーバは、いくつかの実施形態において、記載される機能性を提供および支援するのに必要ではない場合がある。サーバ242および246によって提供される機能性は、示されるように、それらのサーバ間に分散され得る。概して、1つ以上のサーバは、サーバ242および246上で実現される機能性を提供するように構成され得る。したがって、サーバ242および246は、単に例示目的のために、2つの別個の要素として図2に示される。理解されるように、単一の電子実体(図示されず)は、システム要素242、244、246、および248を動作し得る。あるいは、異なる実体は、要素242、244、246、および248を制御し得る。1つの電子実体または複数の電子実体は、いくつかの異なる方法で、プロバイダ248のうちの1つ以上を動作するか、それらと提携するか、またはそれらと関連付け得る。
ある実施形態において、環境200は、デバイス画面252および262上のオーバーレイ要素256および266にレンダリングされるコンテンツを生成するためのコンポーネントおよび命令を含む。コンテンツプロバイダ248は、コンピュータゲーム、ニュース、ビデオ、ショッピングまたは他のサービス、検索エンジンサービス、オーディオ、ソーシャルネットワーキングサービス等の様々な種類のコンテンツを提供し得る。任意の種類のコンテンツが環境200またはその変形に含まれ得ることを理解されたい。コンテンツは、アプリケーションインタフェースを介して、またはウェブサイトに適切に分類されない場合がある他の機構を介して等、様々な方法で提供され得る。図2で説明される例において、コンテンツプロバイダ248は、コンテンツサーバ246を介して、それらの画像捕捉要素を介してそれぞれデバイス202および204によって捕捉されるオブジェクト208および210の画像254および264と併せて画面252および262上にレンダリングされるコンテンツ256および266を提供する。
図2に示されるように、ユーザ201は、画面252上に後に表示されるオブジェクトの画像(254)を捕捉するために、自身のデバイス202をオブジェクト208に向ける。同様に、ユーザ203は、画面262上に後に表示されるオブジェクトの画像(264)を捕捉するために、自身のデバイス204をオブジェクト210に向ける。この時点で、検出コンポーネント218および認識コンポーネント220は、デバイス202(204)に関連付けられた画像捕捉要素によって捕捉されるオブジェクト208(210)が識別可能であるかを決定するために起動される。ある実施形態において、オブジェクトは、画面252(262)上、例えば、デバイス202(204)のカメラ(すなわち、画像捕捉要素)のカメラビューに表示され得る。オブジェクトが検出および認識コンポーネント218および220によって識別される場合、通信サーバ242および/またはコンテンツプロバイダサーバ246に関連付けられるオーバーレイサービス244は、コンテンツリポジトリ250からオブジェクトに関連付けられた情報を読み出し、特別な形態、例えば、オーバーレイ要素256(266)で、オブジェクトに関連付けられた情報を提供して、画面252(262)上で画像オブジェクト254(264)をオーバーレイする。
検出コンポーネント218、認識コンポーネント220、およびオーバーレイサービス244は、いくつかの異なる方法でシステム200に関連付けられ得る。例えば、これらの要素の一部またはすべてを実行する命令は、クライアントデバイス202および204上に存在し得、かつその上で実行し得る。あるいは、上述のコンポーネントの一部またはすべては、通信サーバ242および/またはコンテンツプロバイダサーバ246を用いたネットワーク206を介したアクセスであり得る。一実施形態において、オーバーレイサービスは、サーバ上ではなく、クライアントデバイス上に存在し得る。さらに、リポジトリに関連付けられるデータの一部またはすべては、以下でより詳細に説明されるように、クライアントデバイス202(204)上に存在するローカルリポジトリ270(280)に記憶(キャッシュ)され得る。検出、認識、およびオーバーレイ機能性、ならびにそれらの適用は、図3〜7を参照して、以下でより完全に論じられる。
図3は、ある実施形態に従う、電子デバイス上にレンダリングされるときにリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張する例を説明する。関心のあるオブジェクト302(本「War and Peace」)は、カメラを起点に興味のあるオブジェクトを指す2つの矢印で説明されるように、電子デバイス306の画像捕捉要素(例えば、カメラ304)で捕捉される。電子デバイスディスプレイ308は、画像捕捉要素304で撮影されたオブジェクト302の画像310をレンダリングする。画像310は、図2を参照して上で説明されるように、オーバーレイサービスに対するオブジェクト識別および提示に応答して、実質的にリアルタイムでレンダリングされた製品情報314を含有するオーバーレイ要素312で拡張される。ある実施形態において、画像およびオーバーレイ要素は、以下で詳細に説明されるように、コンピュータ計算された境界ボックス316内でレンダリングされ、これは、少なくともいくつかの実施形態において、表示される画像情報における決定されたオブジェクトの境界線に近づける。この例において、オーバーレイ要素312は、長方形であり、本302の画像310を部分的にオーバーレイし、境界ボックス内に含有される。いくつかの実施形態において、境界ボックスが計算され得るが、必ずしもエンドユーザに表示されるわけではないことを理解されたい。
図4は、関連コンテンツを有するカメラのライブビューにおける画像をオーバーレイするための方法を説明するプロセスフロー図400である。プロセス400は、オブジェクトがデバイスカメラビュー内で見つけられるブロック402から始まる。言い換えると、ユーザは、ユーザデバイスに関連付けられたカメラを特定のオブジェクト(例えば、本棚の本)に向け、オブジェクトを有するフレームがカメラビューに表示される。判定ブロック406において、検出アルゴリズムを用いて任意のオブジェクト特徴が検出されたかが判定される。特徴が検出されない場合、プロセスはブロック422に進む。少なくとも1つのオブジェクト特徴が検出された場合、判定ブロック410において、判定される特徴に関連付けられたオブジェクトが識別されるかが判定される。オブジェクトが識別されない場合、プロセス400は、ブロック422に進む。オブジェクトが識別された場合、プロセスは、オブジェクトが品目リポジトリに記憶される製品または品目と比較されるブロック414に進む。一実施形態において、品目または製品情報は、クライアントデバイスに関連付けられた記憶装置にキャッシュされ得る。判定ブロック414において、一致が見つけられない場合、プロセスは、ブロック422に進む。一致が見つけられた場合、ブロック418において、製品情報がユーザにレンダリングされる。ブロック422において、フレームまたはフレーム内の選択された特徴は、さらなるオブジェクト認識のためにサーバに送信される。したがって、ローカルクライアント側オブジェクト認識およびサーバ側オブジェクト認識は、2段階で生じ得る。一実施形態において、オブジェクト認識に関連付けられたすべてのタスクは、オブジェクトの画像を含有するフレームがサーバに送信されるとき、サーバ側で起こる。その後、プロセス400は終了する。
図5は、ある実施形態に従う、サーバ側のオブジェクト認識技法の例を説明するプロセスフロー図である。プロセス500は、サンプリングされたフレームがクライアントデバイスから受信されるブロック502から始まる。ブロック506において、サンプルフレーム内で判定されたオブジェクト認識は、記憶された品目(製品)のオブジェクト認識と比較される。検出/認識技法は、以下で詳細に説明される。判定ブロック510において、記憶されたオブジェクトのうちのいずれかとの一致が見つけられるかが判定される。一致が見つけられた場合、ブロック514で、一致した製品に関連付けられた情報は、オーバーレイのためにクライアントデバイスに送信される。その後、プロセス500は終了する。
図6は、オブジェクト特徴検出ルーチン600の例を説明するプロセスフロー図である。プロセス600は、オブジェクトを指すデバイスが、オブジェクト検出および認識の成功をもたらす質の良い撮影画像を保証する安定した状態であると判定するブロック602から始まる。カメラが安定しているかの判定は、様々な技法を用いて、例えば、加速度計、ソリッドステートコンパス、ジャイロスコープ等に関連付けられたセンサ入力を用いて行われ得る。ブロック606において、現在のフレーム内の関心点が識別される。関心点は、例えば、ハリス関心点検出アルゴリズム、モラベックコーナー検出アルゴリズム、FAST等の関心点検出アルゴリズムを用いて識別され得る。
ブロック610において、それぞれの関心点に対応する特徴がコンピュータ計算される。特徴は、あるアプリケーションに関連したコンピュータによるタスクの解決と関連性のある1つの情報である。より具体的には、特徴は、画像、または画像自体における特定の構造(点もしくは縁等の単純な構造からオブジェクト等のより複雑な構造に及ぶ)に適用される一般近傍演算(特徴抽出器もしくは特徴検出器)の結果を指し得る。特徴の他の例は、画像シーケンスにおける動作、異なる画像領域間の曲線もしくは境界線に関して定義される形状、またはそのような領域の特性に関連する。それぞれの関心点における特徴は、例えば、累積された符号付きの勾配(ASG)等の特徴コンピュータ計算アルゴリズムを用いてコンピュータ計算され得る。ブロック616において、現在のサンプリングされたフレームおよび以前にサンプリングされた(例えば、最後にサンプリングされた)フレームにおける特徴間の一致がコンピュータ計算される。特徴間の一致を用いて、同形異義性、すなわち、特徴点間の幾何学的に一致した変換を判定することができる。同形異義性が、一組の特徴点を所定の位置から新たに変換された位置に変換するマトリックスであることは、当業者には既知である。より一般的には、同形異義性は、実射影平面から直線間をマッピングする射影平面への可逆的な変換である。コンピュータビジョンの分野において、同一の空間平面の任意の2つの画像は、同形異義性によって関連付けられる。ブロック618において、画像特徴が追跡される。画像特徴は、同形異義性を用いて追跡され得る。同形異義性は、例えば、RANSACアルゴリズムを用いてコンピュータ計算され得る。以前に追跡されたフレームからの同形異義性が十分に大きい場合、フレームは、選択され、図7を参照して下に記載される認識段階に備える。
どのオブジェクトがフレーム内に表示されるかを示すのに役立ち得るいくつかの一般的な種類の情報が存在する。1つのそのような例は、オブジェクトを一意に識別するバーコードである。したがって、判定ブロック630において、バーコードがフレーム内で検出された場合、ブロック622において、バーコード画像データが準備され、認識アルゴリズムに提示される。オブジェクトを識別するのに役立ち得る別の一般的な種類の情報は、テキスト情報である。したがって、バーコードが検出されない場合、634ブロックにおいて、任意のテキストが画像内に存在するかが決定される。テキストが検出された場合、テキストは、その後の検索に備える。別の共通の種類の情報は、フレーム内の画像(例えば、人の顔)である。テキストが検出されない場合、判定ブロック638において、画像内の任意の顔が検出されるかが判定される。顔が検出されない場合、プロセスは終了する。顔が実際に検出された場合、その顔を含有する画像は、図6を参照して下で説明される顔認識アルゴリズムに備える。その後、600は終了する。バーコード、テキスト情報、および顔画像が上で論じられるが、フレーム内の他の種類の情報を用いてフレーム内のオブジェクトを検出することができる。
図7は、ある実施形態に従うオブジェクト認識の例を説明するプロセスフロー図である。プロセス700は、バーコード画像データが処理されるブロック702から始まる。判定ブロック706において、バーコードが有効であるかが判定される。その目的のために、バーコードは、バーコード解読技法を用いて解読され得、その後、バーコード有効性は、UPC−A、UPC−E、またはその他の既知のバーコード基準を介して確認され得る。バーコードが有効でない(または判読不能である)場合、プロセスは、ブロック714に進む。バーコードが有効である場合、そのバーコードに関連付けられた製品情報が読み出される。製品情報は、ある実施形態において、製品のタイトルおよび製品の価格を含む、製品(すなわち、オブジェクト)についての様々なデータを含み得る。
判定ブロック714において、任意の追跡された特徴が、図6を参照して上で説明される検出アルゴリズムによって見つけられるかが判定される。そのような特徴が見つけられない場合、プロセスは、判定ブロック742に進む。任意の特徴が見つけられた場合、ブロック718において、その特徴は、クライアントデバイスに関連付けられたローカルリポジトリに記憶された製品特徴と比較される。判定ブロック722において、任意の追跡された特徴が、ローカルリポジトリに記憶された以前に検出された製品の特徴と一致するかが判定される。一致が見つけられた場合、ブロック726において、キャッシュされた製品情報がローカルリポジトリから読み出される。一致が見つけられない場合、730において、画像フレームは、その後、サーバに送信され、サーバは、フレーム内の追跡された特徴を、クライアントデバイスからリモートのリポジトリに記憶された製品特徴と比較する。必要とされる製品情報を判定する迅速な方法であるため、製品を検出し、関連付けられた製品情報をローカルリポジトリから読み出すことは、有利であり得る。製品情報がローカルリポジトリで見つけられない場合、画像フレームは、さらなる検出/認識のためにサーバに送信される。判定ブロック734において、追跡された特徴とリモートリポジトリに記憶された製品の特徴との間の任意の一致(または許容レベルの相互関係)が見つけられるかが判定される。一致(相互関係)が見つけられない場合、プロセスは、判定ブロック742に進む。一致(相互関係)が見つけられた場合、一致した特徴を有する製品に関連付けられた製品情報がブロック738で読み出され、プロセスは終了する。
上述のように、テキストデータ、バーコードデータ、または顔データを含む、オブジェクトを検出するために使用されるいくつかの一般的な種類の情報が存在する。判定ブロック742において、任意のテキストデータが受信されるかが判定される。テキストデータが受信された場合、そのテキストは、有効化され得、有効な状態で見つけられた場合、ブロック738において、認識されたテキストを用いて、認識されたテキストに関連付けられた製品情報を読み出すことができる。テキストデータが読み出されない場合、判定ブロック746において、顔データが受信されるかが判定される。顔データが判定ブロック760で受信されない場合、その顔が認識されるかが判定され、その顔が認識された場合、ブロック768において、認識された顔に関連付けられた情報が識別される。一実施形態において、情報は、顔が識別された人に関連するデータを含み得る。顔がブロック764で認識されない場合、ユーザは、今後の認識目的のためにユーザのカメラビューに表示される顔に関連名で注釈を付けることが許可される。その後、プロセス700は終了する。
一実施形態において、認識アルゴリズムは、排他的に適用され得る。
具体的には、認識アルゴリズムが、CPU使用を最適化するためにユーザデバイス上で実行される場合、認識アルゴリズムの一方の部分が進行中であるとき(例えば、バーコード認識として)、他方の部分(例えば、製品カバー認識)は実行され得ない。
図8は、オーバーレイルーチン800の例を説明するプロセスフロー図である。プロセス800は、最初の境界ブロックがコンピュータ計算されるブロック802から開始する。最初の境界ボックスは、画像一致の成功によって暗示される同形異義性を用いて、リポジトリで見つけられたオブジェクトの画像の隅部をクエリで提示される画像にマッピングすることによってコンピュータ計算され得る。ブロック806において、境界ブロックは更新される。それぞれのフレームに対して更新された境界ボックスは、追跡から最初の境界ボックスの隅部まで同形異義性を適用することによってコンピュータ計算され得る。実際には、コンピュータ計算は、ユーザビューにおける画像周囲に境界ボックスを描くことを目的とする。
境界ボックスコンピュータ計算は、必ずしも信頼できるとは限らない。例えば、少しの特徴点しか追跡に利用可能でない場合があるか、それらの特徴点が画像のごく一部しかカバーしない場合があるか、または同形異義性が不安定である場合がある。境界ボックスの一貫性のない変形を制限するために、同形異義性の有効性は、そのボックスが、特定の(例えば、所定の)レベルを超える透視歪みを有さず、かつ境界が非現実的に変化しないように確認され得る。境界ボックスは、境界ボックスをより自然に見せるように、最近接の鋭い隅部に「スナップ」され得る。
ブロック814において、オーバーレイコンテンツは、ユーザビューにおいてオーバーレイされ得る。ほんの一例として、オーバーレイコンテンツは、ユーザがカメラビュー内で1回のクリックかつ最小労力で表示画面に表示される製品を購入し得るように、選択可能なコンテンツ(例えば、「購入」ボタン)であり得る。この技法は、「拡張現実におけるワンクリック」と称され得る。
ブロック818において、読み出された製品情報は、計算された境界ボックス内で、ユーザビューにおける画像を拡張(オーバーレイ)し得る。製品情報は変化し得る。例えば、製品情報は、品目価格、カスタマー評価、レビュー、説明、他のフォーマットでの同一の製品への特価提供および販売促進のリンク、デジタルダウンロードへのリンク、リスト、カスタマー間の議論、そのオブジェクト(製品)を購入したカスタマーが購入した他の製品に関連する情報等を含み得るが、これらに限定され得ない。ブロック818においてオーバーレイされる情報は、任意的である。
ブロック822において、オーバーレイコンテンツ要素は、境界ボックスにフォーマットされる。ある実施形態において、これは、「不動産」という表示をうまく利用するために、三次元フォーマットで行われ得る。例えば、オーバーレイ要素は、デバイスのディスプレイ上のユーザビュー内のオブジェクトの画像をオーバーレイし得る三次元構造(立方体等)を含み得る。立方体のそれぞれの壁は、製品(オブジェクト)に関連するコンテンツを含有し得、例えば、1つの壁は、製品の価格を表示し得、別の壁は、製品のレビューを表示し得る。製品情報に加えて、または製品情報の代わりに、選択可能なコンテンツ要素(例えば、「購入」、「カートに追加」、または「選択」ボタン)は、ユーザが表示されるコンテンツと対話できるように、オーバーレイ要素(例えば、上述の三次元構造)に追加され得る。
他の種類のコンテンツ(上述のもの以外)は、ユーザビューに表示される画像をオーバーレイし得る。例えば、製品のビデオプレビューは、ブロック826において示されるオブジェクトの画像の境界内でユーザに表示され得る。ある実施形態において、その画像がユーザビューに表示されるDVDの映画プレビューが提供され得、表示されるおもちゃのゲームプレビューが提供され得、ある特定の製品の使用法を説明するビデオが提供され得る。ブロック830において、製品に関連する三次元アニメーションもユーザに提供され得る。例えば、その画像が捕捉されたオブジェクトが本の場合、その本の表紙が開いて本の内容を表示するように示すアニメーションが提供され得る。上述のように、選択可能な(「クリック可能な」)コンテンツ要素は、アニメーションに追加され得、ブロック834において示されるように、ユーザがコンテンツと対話できるように、詳細およびさらなるコンテンツへのリンク等にされ得る。したがって、上の例において、追加された選択可能なコンテンツ要素を有するアニメーションは、ユーザが表示された本のページを「めくる」ことを可能にし、それぞれのめくられたページのコンテンツを示し得る。その後、プロセス800は終了する。
図9は、ユーザに提示されるオブジェクト(例えば、品目または製品)をタグ付けするための方法を説明するプロセスフロー図である。タグ付け品目は、ユーザが製品のリストを作成し、その作成されたリストから情報を抽出することを可能にし得る。作成されたリストまたはそのリスト内の個別の製品は、例えば、ソーシャルネットワーキング(例えば、フェイスブック(登録商標)またはツイッター(登録商標)を介して)を用いて他のユーザと共有され得る。プロセス900は、製品が図3〜5を参照して上で説明されるように識別されるブロック902から始まる。判定ブロック906において、製品が認識されるかが判定される。製品が認識された場合、ブロック908において、認識された品目は、例えば、現在の位置およびタイムスタンプでタグ付けされる。製品が認識されない場合、ブロック912において、ユーザは、タグを製品に追加する、例えば、製品の定義または説明を手動で追加することが許可される。
ブロック916において、さらなる対話能力がユーザに提供される。例えば、ユーザは、表示された製品をクリックし、製品を友人と共有し、製品を位置またはキーワードで読み出し、製品をサムネイルとしてライブ表示ビューで表示し、ユーザがサムネイルをクリックして詳細を見ることを可能にし、ユーザによって用いられる製品のリストをエクスポートし(例えば、Eメールまたはファイルとして)、テキストラベルを追加すること等を許容される。上述の本の例において、ユーザは、その本がユーザの友人に貸し出されていること、またはその本がユーザのライブラリに属することを提示するラベルを製品に追加し得る。その後、プロセス900は終了する。
図10は、図2に関して説明されるデバイス202等の通信デバイス1000の1組の基本的なコンポーネントを説明する。この例において、デバイスは、メモリデバイスまたは要素1004に記憶され得る命令を実行するために、少なくとも1つのプロセッサ1002を含む。命令は、上述の検出、認識、およびオーバーレイコンポーネントに関連する命令を含み得る。デバイスは、プロセッサ1002によって実行されるプログラム命令のための第1のデータ記憶装置、画像またはデータに用いられ得る同一もしくは別個の記憶装置、他のデバイスと情報を共有するために利用可能であり得る取り外し可能なメモリ、および他のデバイスと情報を共有するために利用可能であり得る任意の数の通信手段等の多くの種類のメモリ、データ記憶装置、またはコンピュータ可読媒体を含み得る。ポータブルメディアプレーヤー等のデバイスが、他の手段を介して、例えば、オーディオスピーカーを介して情報を伝達し得るが、デバイスは、典型的には、タッチスクリーン、電子インク(e−ink)、有機発光ダイオード(OLED)、または液晶ディスプレイ(LCD)等の少なくとも1種類の表示要素1006を含む。
上述のように、多くの実施形態におけるデバイスは、ビューアの相対位置を決定するために位置付けされる少なくとも1つの画像捕捉要素、およびデバイスの近くでユーザ、人々、または他の可視的オブジェクトを画像化するよう動作する少なくとも1つの画像捕捉要素等の少なくとも2つの画像捕捉要素1008を含む。画像捕捉要素は、ユーザがデバイスを動作するときにユーザの画像を捕捉するために、十分な解像度、集束範囲、および可視領域を有するCCD画像捕捉要素等の任意の適切な科学技術を含み得る。コンピューティングデバイスを有する画像捕捉要素を用いて画像またはビデオを捕捉するための方法は、当技術分野で既知であり、本明細書で詳細に論じられない。画像捕捉が、単一の画像、複数の画像、定期的な画像化、連続的な画像捕捉化、画像ストリーミング等を用いて実行され得ることを理解されたい。
デバイスは、デバイスの運動または他の方向変化の判定を支援し得る少なくとも1つの方向決定要素1010、例えば、加速度計、デジタルコンパス、電子ジャイロスコープ、または慣性センサを含み得る。デバイスは、従来の入力をユーザから受信することができる少なくとも1つのさらなる入力デバイス1012を含み得る。この従来の入力は、例えば、プッシュボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、または任意の他のそのようなデバイスもしくは要素を含み得、それによって、ユーザがコマンドをデバイスに入力することができる。これらの入出力デバイスは、いくつかの実施形態において、無線赤外線もしくはBluetooth(登録商標)または他のリンクによっても接続され得る。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含み得ず、ユーザがデバイスを制御することができるように、デバイスとの接触を必要とすることなく、視覚コマンドおよびオーディオコマンドの組み合わせを介してのみ制御され得る。
図11は、図6を参照して詳細に説明されるある実施形態に従う、電子デバイス上にレンダリングされるリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張する例1100を説明する。電子デバイス表示1102は、図8を参照して上で説明されるもの等の電子デバイスの画像捕捉要素(例えば、カメラ)で撮影されたオブジェクトの画像1104を含む。この例におけるオーバーレイ要素は、画像1104をオーバーレイする立方体1106形状の三次元構造である。示されるように、立方体のすべての側面は、本に関連する異なる情報(Leo Tolstoy、War and Peace)を表示する。例えば、側面1108は、様々な版(キンドル(登録商標)、ハードカバー、およびペーパーバック)の本の価格を含む。側面1110は、本に関するレビューにリンクする「編集レビュー」という名称の選択可能な要素を含む。側面1112は、この本を購入したユーザが購入した本の説明(例えば、Leo TolstoyのAnna Karenina)を含む。立方体は、ユーザによって移動させられ得、異なる側面は、図7を参照して上で説明されるように、異なる製品情報を示し得る。したがって、図11に提示されるオーバーレイの例は、ユーザがオーバーレイされたコンテンツと対話し、立方体のすべての側面が、製品の表示された画像に関連付けられた様々な製品情報を示し、かつ表示し得るように、オーバーレイ要素(立方体1106)を表示画面中で移動させることを可能にする。
上述のように、様々な実施形態は、多種多様の動作環境において実現され得、これらは、ある場合には、いくつかのアプリケーションのうちのいずれかを動作するために使用され得る1つ以上のクライアントコンピュータ、コンピューティングデバイス、またはプロセッシングデバイスを含み得る。クライアントデバイスは、標準のオペレーティングシステムを起動するデスクトップまたはラップトップコンピュータ、ならびにモバイルソフトウェアを起動し、かついくつかネットワーキングおよびメッセージングプロトコルを支援することができる携帯電話、無線、および携帯用デバイス等のいくつかの汎用パーソナルコンピュータのうちのいずれかを含み得る。このようなシステムは、開発およびデータベース管理等の目的のために、様々な市販のオペレーティングシステムおよび他の既知のアプリケーションのうちのいずれかを起動するいくつかのワークステーションも含み得る。これらのデバイスは、ダミーターミナル、シンクライアント、ゲーミングシステム、およびネットワークを介して通信することができる他のデバイス等の他の電子デバイスも含み得る。
様々な態様も少なくとも1つのサービスまたはウェブサービスの一環として実現され得、例えば、サービス中心のアーキテクチャの一環であり得る。ウェブサービス等のサービスは、任意の適切な種類のメッセージングを用いて、例えば、拡張マークアップ言語(XML)フォーマットのメッセージを用いて通信し、SOAP(「シンプル・オブジェクト・アクセス・プロトコル」に由来する)等の適切なプロトコルを用いて交換され得る。そのようなサービスによって提供または実行されるプロセスは、ウェブサービス記述言語(WSDL)等の任意の適切な言語で書かれ得る。WSDL等の言語の使用は、様々なSOAPフレームワークにおけるクライアント側コードの自動生成等の機能を可能にする。
大抵の実施形態は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、およびAppleTalk等の様々な市販のプロトコルのうちのいずれかを用いた通信を支援するために、当業者に既知の少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。
ウェブサーバを利用する実施形態において、ウェブサーバは、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Java(登録商標)サーバ、およびビジネスアプリケーションサーバを含む様々なサーバまたはミッドティアアプリケーションのうちのいずれかを起動することができる。サーバ(複数を含む)は、例えば、Java(登録商標)、C、C#、もしくはC++等の任意のプログラミング言語、またはPerl、Python、もしくはTCL等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれる1つ以上のスクリプトまたはプログラムとして実現され得る1つ以上のウェブアプリケーションを実行することによって、クライアントデバイスからの要求に応答してプログラムまたはスクリプトを実行することもでき得る。サーバ(複数を含む)は、制限なく、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、およびIBM(登録商標)から市販のものを含むデータベースサーバも含み得る。
環境は、上述の様々なデータストアならびに他のメモリおよび記憶媒体を含み得る。これらは、様々な位置、例えば、コンピュータのうちの1つ以上にローカル(かつ/もしくはそこに存在する)、またはネットワーク上のコンピュータのうちのいくつかもしくはすべてからリモートの記憶媒体上に存在し得る。特定の組の実施形態において、情報は、当業者に既知のストレージエリアネットワーク(「SAN」)に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスによる機能を実行するための任意の必要なファイルは、必要に応じて、ローカルおよび/または遠隔に記憶され得る。システムがコンピュータ化されたデバイスを含む場合、それぞれのそのようなデバイスは、バスを介して電気的に結合され得るハードウェア要素を含み得、これらの要素は、例えば、少なくとも1つの中央処理ユニット(CPU)、少なくとも1つの入力デバイス(例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド)、および少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタ、またはスピーカー)を含む。そのようなシステムは、1つ以上の記憶デバイス、例えば、ディスクドライブ、光学式記憶デバイス、およびソリッドステート記憶デバイス、例えば、ランダムアクセスメモリ(「RAM」)または読み出し専用メモリ(「ROM」)、ならびに取り外し可能な媒体デバイス、メモリカード、フラッシュカード等も含み得る。
そのようなデバイスは、上で説明されるように、コンピュータ可読記憶媒体リーダ、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス)、およびワーキングメモリも含み得る。コンピュータ可読記憶媒体リーダは、コンピュータ可読記憶媒体と接続され得るか、またはコンピュータ可読記憶媒体を受信するよう構成され得、リモート、ローカル、固定、および/または取り外し可能な記憶デバイス、ならびにコンピュータ可読情報を一時的および/またはより恒久的に含有し、記憶し、伝送し、かつ読み出すための記憶媒体を表す。システムおよび様々なデバイスは、典型的には、いくつかのソフトウェアアプリケーション、モジュール、サービス、またはオペレーティングシステムおよびアプリケーションプログラム、例えば、クライアントアプリケーションまたはウェブブラウザを含む少なくとも1つのワーキングメモリデバイス内で見つけられる他の要素も含む。代替の実施形態が、上述のものからの多数の変形を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、かつ/または特定の要素は、ハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、もしくはこれら両方において実現され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続が用いられ得る。
コードまたはコードの一部を含有するための記憶媒体およびコンピュータ可読媒体は、情報の記憶および/もしくは伝送のための任意の方法または科学技術において実現される揮発性および不揮発性の取り外し可能および取り外し不可能な媒体、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、またはRAM、ROM、EEPROM(登録商標)、フラッシュメモリ、もしくは他のメモリ科学技術を含む他のデータ、CD−ROM、デジタル多用途ディスク(DVD)、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用され得、かつシステムデバイスによってアクセスされ得る任意の他の媒体等であるが、これらに限定されない記憶媒体および通信媒体を含む、当技術分野で既知であるか、または使用される任意の適切な媒体を含み得る。本明細書に提供される本開示および教示に基づいて、当業者であれば、様々な実施形態を実現する他の様式および/または方法を理解する。
付記
1.実質的にリアルタイムで捕捉および表示されるオブジェクトの画像または画像のストリームを関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
ユーザによって動作される電子デバイスの画像捕捉要素を用いて、オブジェクトの画像のストリーム中の少なくとも1つの画像を捕捉することと、
前記電子デバイスの表示要素上に前記捕捉した少なくとも1つの画像を表示することと、
1つ以上の特徴は、前記オブジェクトの前記少なくとも1つの画像から導出される、前記オブジェクトを定義する前記1つ以上の特徴を決定することと、
前記オブジェクトを定義する前記決定された1つ以上の特徴を、品目リポジトリに記憶される複数の品目を定義する特徴と一致させることと、
一致が見つけられたときに、前記ユーザによって選択可能なコンテンツ要素を含む前記一致した品目に関連付けられたコンテンツを前記品目リポジトリから読み出すことと、
オーバーレイ要素が、前記電子デバイスの前記表示要素上に表示される前記画像を拡張するように、実質的にリアルタイムで、前記電子デバイスの前記表示要素上に前記オーバーレイ要素内の前記読み出されたコンテンツを表示することと、を含み、
前記ユーザは、前記ユーザによって選択可能な前記コンテンツ要素にアクセスすることによって、前記オーバーレイ要素中に表示される前記読み出されたコンテンツと対話することができる、コンピュータにより実現される方法。
2.前記オーバーレイ要素は、前記画像をオーバーレイすることによって前記画像を拡張し、前記オーバーレイ要素は、ボックス、ボタン、三次元構造、アニメーション、オーディオ、ビデオ、ウェブページ、または対話型ユーザインタフェースのうちの1つから選択される、付記1に記載のコンピュータにより実現される方法。
3.前記電子デバイスの画像捕捉要素は、ビデオカメラまたはフォトカメラのうちの1つから選択される、付記1に記載のコンピュータにより実現される方法。
4.実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
実質的にリアルタイムで電子デバイスによって捕捉されるサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉したオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけることと、
前記一致した品目に関連付けられたコンテンツを読み出すことと、
前記電子デバイス上に前記捕捉した画像とともに表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実現される方法。
5.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記4に記載のコンピュータにより実現される方法。
6.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記4に記載のコンピュータにより実現される方法。
7.前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、付記4に記載のコンピュータにより実現される方法。
8.前記決定された情報は、前記電子デバイスから遠隔に記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、付記4に記載のコンピュータにより実現される方法。
9.付記4に記載のコンピュータにより実現される方法であって、
複数の一致が1つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、コンピュータにより実現される方法。
10.前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けすることをさらに含む、付記4に記載のコンピュータにより実現される方法。
11.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
捕捉した画像が、電子デバイスによって表示される、オブジェクトの少なくとも1つの画像を前記電子デバイスで捕捉することと、
前記オブジェクトの前記少なくとも1つの捕捉した画像に少なくともある程度基づいて、前記オブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目のそれぞれの品目を定義する記憶された情報と一致させることと、
前記一致した品目に関連付けられたコンテンツを前記リポジトリから読み出すことと、
前記読み出されたコンテンツが、少なくとも1つの選択可能なコンテンツ要素を含む、前記捕捉した画像をオーバーレイ要素内でレンダリングされる前記読み出されたコンテンツでオーバーレイすることと、
前記少なくとも1つの選択可能なコンテンツ要素を選択するユーザに応答して、前記捕捉した画像を前記コンテンツ要素に関連付けられたコンテンツでオーバーレイすることと、を含む、コンピュータにより実現される方法。
12.前記ユーザが第2のオーバーレイ要素に入力し、前記第2のオーバーレイ要素内の前記オブジェクトに関する追加的なコンテンツにより前記オブジェクトをタグ付けすることを可能にすることをさらに含む、付記11に記載のコンピュータにより実現される方法。
13.前記ユーザが前記オーバーレイ要素内に検索クエリを入力することに応答して、前記検索クエリに対応する検索結果を読み出すことをさらに含む、付記11に記載のコンピュータにより実現される方法。
14.前記オーバーレイ要素は、ボックスを含む、付記11に記載のコンピュータにより実現される方法。
15.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリとを具備し、
前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉した画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
16.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記15に記載のコンピュータシステム。
17.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記15に記載のコンピュータシステム。
18.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けさせる、付記15に記載のコンピュータシステム。
19.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、付記16に記載のコンピュータシステム。
20.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータ実行可能な命令を有するコンピュータ可読記憶媒体であって、コンピュータによって実行されるときに、前記コンピュータに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータ可読記憶媒体。
21.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記20に記載のコンピュータ可読記憶媒体。
22.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む、前記品目に関連付けられた情報を含む、付記20に記載のコンピュータ可読記憶媒体。
23.前記オーバーレイ要素は、ボックスである、付記20に記載のコンピュータ可読記憶媒体。
24.前記コンピュータ実行可能な命令はさらに、前記コンピュータに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、付記21に記載のコンピュータ可読記憶媒体。
25.前記タグ付けされた品目をクエリして、前記品目の現在の位置を決定することをさらに含む、付記10に記載のコンピュータにより実現される方法。
1.実質的にリアルタイムで捕捉および表示されるオブジェクトの画像または画像のストリームを関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
ユーザによって動作される電子デバイスの画像捕捉要素を用いて、オブジェクトの画像のストリーム中の少なくとも1つの画像を捕捉することと、
前記電子デバイスの表示要素上に前記捕捉した少なくとも1つの画像を表示することと、
1つ以上の特徴は、前記オブジェクトの前記少なくとも1つの画像から導出される、前記オブジェクトを定義する前記1つ以上の特徴を決定することと、
前記オブジェクトを定義する前記決定された1つ以上の特徴を、品目リポジトリに記憶される複数の品目を定義する特徴と一致させることと、
一致が見つけられたときに、前記ユーザによって選択可能なコンテンツ要素を含む前記一致した品目に関連付けられたコンテンツを前記品目リポジトリから読み出すことと、
オーバーレイ要素が、前記電子デバイスの前記表示要素上に表示される前記画像を拡張するように、実質的にリアルタイムで、前記電子デバイスの前記表示要素上に前記オーバーレイ要素内の前記読み出されたコンテンツを表示することと、を含み、
前記ユーザは、前記ユーザによって選択可能な前記コンテンツ要素にアクセスすることによって、前記オーバーレイ要素中に表示される前記読み出されたコンテンツと対話することができる、コンピュータにより実現される方法。
2.前記オーバーレイ要素は、前記画像をオーバーレイすることによって前記画像を拡張し、前記オーバーレイ要素は、ボックス、ボタン、三次元構造、アニメーション、オーディオ、ビデオ、ウェブページ、または対話型ユーザインタフェースのうちの1つから選択される、付記1に記載のコンピュータにより実現される方法。
3.前記電子デバイスの画像捕捉要素は、ビデオカメラまたはフォトカメラのうちの1つから選択される、付記1に記載のコンピュータにより実現される方法。
4.実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
実質的にリアルタイムで電子デバイスによって捕捉されるサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉したオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけることと、
前記一致した品目に関連付けられたコンテンツを読み出すことと、
前記電子デバイス上に前記捕捉した画像とともに表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実現される方法。
5.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記4に記載のコンピュータにより実現される方法。
6.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記4に記載のコンピュータにより実現される方法。
7.前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、付記4に記載のコンピュータにより実現される方法。
8.前記決定された情報は、前記電子デバイスから遠隔に記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、付記4に記載のコンピュータにより実現される方法。
9.付記4に記載のコンピュータにより実現される方法であって、
複数の一致が1つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、コンピュータにより実現される方法。
10.前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けすることをさらに含む、付記4に記載のコンピュータにより実現される方法。
11.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
捕捉した画像が、電子デバイスによって表示される、オブジェクトの少なくとも1つの画像を前記電子デバイスで捕捉することと、
前記オブジェクトの前記少なくとも1つの捕捉した画像に少なくともある程度基づいて、前記オブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目のそれぞれの品目を定義する記憶された情報と一致させることと、
前記一致した品目に関連付けられたコンテンツを前記リポジトリから読み出すことと、
前記読み出されたコンテンツが、少なくとも1つの選択可能なコンテンツ要素を含む、前記捕捉した画像をオーバーレイ要素内でレンダリングされる前記読み出されたコンテンツでオーバーレイすることと、
前記少なくとも1つの選択可能なコンテンツ要素を選択するユーザに応答して、前記捕捉した画像を前記コンテンツ要素に関連付けられたコンテンツでオーバーレイすることと、を含む、コンピュータにより実現される方法。
12.前記ユーザが第2のオーバーレイ要素に入力し、前記第2のオーバーレイ要素内の前記オブジェクトに関する追加的なコンテンツにより前記オブジェクトをタグ付けすることを可能にすることをさらに含む、付記11に記載のコンピュータにより実現される方法。
13.前記ユーザが前記オーバーレイ要素内に検索クエリを入力することに応答して、前記検索クエリに対応する検索結果を読み出すことをさらに含む、付記11に記載のコンピュータにより実現される方法。
14.前記オーバーレイ要素は、ボックスを含む、付記11に記載のコンピュータにより実現される方法。
15.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリとを具備し、
前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉した画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
16.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記15に記載のコンピュータシステム。
17.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記15に記載のコンピュータシステム。
18.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けさせる、付記15に記載のコンピュータシステム。
19.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、付記16に記載のコンピュータシステム。
20.リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータ実行可能な命令を有するコンピュータ可読記憶媒体であって、コンピュータによって実行されるときに、前記コンピュータに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータ可読記憶媒体。
21.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記20に記載のコンピュータ可読記憶媒体。
22.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む、前記品目に関連付けられた情報を含む、付記20に記載のコンピュータ可読記憶媒体。
23.前記オーバーレイ要素は、ボックスである、付記20に記載のコンピュータ可読記憶媒体。
24.前記コンピュータ実行可能な命令はさらに、前記コンピュータに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、付記21に記載のコンピュータ可読記憶媒体。
25.前記タグ付けされた品目をクエリして、前記品目の現在の位置を決定することをさらに含む、付記10に記載のコンピュータにより実現される方法。
したがって、本明細書および図面は、限定的意味ではなく、例示的意味であると見なされるべきである。しかしながら、特許請求の範囲で説明されるより広範の精神および本開示の範囲から逸脱することなく、様々な修正および変更をそれに加えることができることは明らかである。
Claims (12)
- 実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけることと、
前記一致した品目に関係付けられたコンテンツを読み出すことと、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実現される方法。 - 前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、請求項1に記載のコンピュータにより実現される方法。
- 前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、請求項1に記載のコンピュータにより実現される方法。
- 前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、請求項1に記載のコンピュータにより実現される方法。
- 前記決定された情報は、前記電子デバイスから遠隔に記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、請求項1に記載のコンピュータにより実現される方法。
- 複数の一致が1つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、請求項1に記載のコンピュータにより実現される方法。
- 前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けすることをさらに含む、請求項1に記載のコンピュータにより実現される方法。
- リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリと、を備え、前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関係付けられたコンテンツを読み出させ、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。 - 前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、請求項8に記載のコンピュータシステム。
- 前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、請求項8に記載のコンピュータシステム。
- 前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けさせる、請求項8に記載のコンピュータシステム。
- 前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、請求項9に記載のコンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/117,527 US9547938B2 (en) | 2011-05-27 | 2011-05-27 | Augmenting a live view |
US13/117,527 | 2011-05-27 | ||
PCT/US2012/039521 WO2012166577A1 (en) | 2011-05-27 | 2012-05-25 | Augmenting a live view |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014524062A JP2014524062A (ja) | 2014-09-18 |
JP2014524062A5 true JP2014524062A5 (ja) | 2015-10-29 |
JP5951759B2 JP5951759B2 (ja) | 2016-07-13 |
Family
ID=47218937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014513617A Expired - Fee Related JP5951759B2 (ja) | 2011-05-27 | 2012-05-25 | ライブビューの拡張 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9547938B2 (ja) |
EP (1) | EP2715521B1 (ja) |
JP (1) | JP5951759B2 (ja) |
CN (2) | CN103733177B (ja) |
WO (1) | WO2012166577A1 (ja) |
Families Citing this family (208)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
US8908995B2 (en) | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
US8121618B2 (en) | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
US9484046B2 (en) | 2010-11-04 | 2016-11-01 | Digimarc Corporation | Smartphone-based methods and systems |
KR101062929B1 (ko) * | 2011-01-04 | 2011-09-07 | (주)올라웍스 | 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
US9218364B1 (en) | 2011-01-28 | 2015-12-22 | Yahoo! Inc. | Monitoring an any-image labeling engine |
US20120233033A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Assessing environmental characteristics in a video stream captured by a mobile device |
US9406031B2 (en) | 2011-03-08 | 2016-08-02 | Bank Of America Corporation | Providing social impact information associated with identified products or businesses |
US9224166B2 (en) | 2011-03-08 | 2015-12-29 | Bank Of America Corporation | Retrieving product information from embedded sensors via mobile device video analysis |
US9317835B2 (en) | 2011-03-08 | 2016-04-19 | Bank Of America Corporation | Populating budgets and/or wish lists using real-time video image analysis |
US9773285B2 (en) | 2011-03-08 | 2017-09-26 | Bank Of America Corporation | Providing data associated with relationships between individuals and images |
US9317860B2 (en) | 2011-03-08 | 2016-04-19 | Bank Of America Corporation | Collective network of augmented reality users |
US9547938B2 (en) | 2011-05-27 | 2017-01-17 | A9.Com, Inc. | Augmenting a live view |
US10796494B2 (en) * | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US8498404B2 (en) * | 2011-06-20 | 2013-07-30 | Avaya Inc. | Methods and systems for monitoring contact center operations |
US20150040074A1 (en) * | 2011-08-18 | 2015-02-05 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
US8963956B2 (en) * | 2011-08-19 | 2015-02-24 | Microsoft Technology Licensing, Llc | Location based skins for mixed reality displays |
US9639857B2 (en) * | 2011-09-30 | 2017-05-02 | Nokia Technologies Oy | Method and apparatus for associating commenting information with one or more objects |
US9418292B2 (en) * | 2011-10-04 | 2016-08-16 | Here Global B.V. | Methods, apparatuses, and computer program products for restricting overlay of an augmentation |
US9255813B2 (en) | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
US9536251B2 (en) * | 2011-11-15 | 2017-01-03 | Excalibur Ip, Llc | Providing advertisements in an augmented reality environment |
JP6208151B2 (ja) * | 2012-02-06 | 2017-10-04 | ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド | 拡張現実のためのブックオブジェクト |
US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
US9007368B2 (en) | 2012-05-07 | 2015-04-14 | Intermec Ip Corp. | Dimensioning system calibration systems and methods |
US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
US8988556B1 (en) * | 2012-06-15 | 2015-03-24 | Amazon Technologies, Inc. | Orientation-assisted object recognition |
US20130346258A1 (en) * | 2012-06-26 | 2013-12-26 | Arish Ali | Interactive digital catalogs for touch-screen devices |
US20140002643A1 (en) * | 2012-06-27 | 2014-01-02 | International Business Machines Corporation | Presentation of augmented reality images on mobile computing devices |
US20140002580A1 (en) * | 2012-06-29 | 2014-01-02 | Monkeymedia, Inc. | Portable proprioceptive peripatetic polylinear video player |
US20140032359A1 (en) * | 2012-07-30 | 2014-01-30 | Infosys Limited | System and method for providing intelligent recommendations |
JP2014035656A (ja) * | 2012-08-09 | 2014-02-24 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
US9841311B2 (en) | 2012-10-16 | 2017-12-12 | Hand Held Products, Inc. | Dimensioning system |
US9224105B2 (en) * | 2012-10-21 | 2015-12-29 | Concept.Io, Inc. | Method and system of automatically downloading media content in a preferred network |
US9064168B2 (en) | 2012-12-14 | 2015-06-23 | Hand Held Products, Inc. | Selective output of decoded message data |
US9728008B2 (en) * | 2012-12-10 | 2017-08-08 | Nant Holdings Ip, Llc | Interaction analysis systems and methods |
US20140214541A1 (en) * | 2013-01-30 | 2014-07-31 | Kiosked Oy | Method and system for user-controlled rendering of mobile advertisements |
US9633272B2 (en) | 2013-02-15 | 2017-04-25 | Yahoo! Inc. | Real time object scanning using a mobile phone and cloud-based visual search engine |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
US20140314327A1 (en) * | 2013-03-13 | 2014-10-23 | Build-A-Bear Workshop, Inc. | Systems and Methods for Computer Recognition of Plush Toys |
US9262865B2 (en) | 2013-03-15 | 2016-02-16 | Daqri, Llc | Content creation tool |
US9070217B2 (en) | 2013-03-15 | 2015-06-30 | Daqri, Llc | Contextual local image recognition dataset |
US10223755B2 (en) * | 2013-04-12 | 2019-03-05 | At&T Intellectual Property I, L.P. | Augmented reality retail system |
US20150019341A1 (en) * | 2013-04-29 | 2015-01-15 | Kiosked Oy Ab | System and method for displaying information on mobile devices |
US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
US9239950B2 (en) | 2013-07-01 | 2016-01-19 | Hand Held Products, Inc. | Dimensioning system |
US11042607B2 (en) | 2013-08-23 | 2021-06-22 | Nant Holdings Ip, Llc | Recognition-based content management, systems and methods |
US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
US9292764B2 (en) | 2013-09-17 | 2016-03-22 | Qualcomm Incorporated | Method and apparatus for selectively providing information on objects in a captured image |
US9245192B2 (en) * | 2013-09-20 | 2016-01-26 | Here Global B.V. | Ad collateral detection |
US9495699B2 (en) * | 2013-10-11 | 2016-11-15 | Mastercard International Incorporated | Method and system for purchasing of goods and services via image recognition |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
JP6264014B2 (ja) * | 2013-12-17 | 2018-01-24 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
JP6331374B2 (ja) * | 2013-12-17 | 2018-05-30 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US20160353157A1 (en) * | 2014-01-07 | 2016-12-01 | Alcatel Lucent | Providing information about an object in a digital video sequence |
US9460366B2 (en) * | 2014-02-19 | 2016-10-04 | Nant Holdings Ip, Llc | Invariant-based dimensional reduction of object recognition features, systems and methods |
GB2525034A (en) * | 2014-04-11 | 2015-10-14 | David Michael Fenlon | System for trading |
EP3138284A4 (en) * | 2014-04-30 | 2017-11-29 | Aurasma Limited | Augmented reality without a physical trigger |
US9361732B2 (en) * | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
EP3201857A1 (en) * | 2014-09-29 | 2017-08-09 | Aurasma Limited | Augmented reality consumption data analysis |
US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
US9569692B2 (en) * | 2014-10-31 | 2017-02-14 | The Nielsen Company (Us), Llc | Context-based image recognition for consumer market research |
WO2016098091A1 (en) * | 2014-12-15 | 2016-06-23 | Pt. Wir Asia | Network integrated interactive display system with augmented reality |
US20160189268A1 (en) * | 2014-12-31 | 2016-06-30 | Saumil Ashvin Gandhi | Wearable device for interacting with media-integrated vendors |
US20160343054A1 (en) * | 2015-05-18 | 2016-11-24 | Status Quo Innovation, Llc | Image acquisition and feature extraction apparatus, method of feature extraction and feature identification, and method for creating and providing advertisement content |
US10015364B2 (en) * | 2015-05-11 | 2018-07-03 | Pictureworks Pte Ltd | System and method for previewing digital content |
US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
EP3118576B1 (en) | 2015-07-15 | 2018-09-12 | Hand Held Products, Inc. | Mobile dimensioning device with dynamic accuracy compatible with nist standard |
US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
RU2597462C1 (ru) * | 2015-07-17 | 2016-09-10 | Виталий Витальевич Аверьянов | Способ отображения объекта на пространственной модели |
US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
US9928658B2 (en) * | 2015-11-02 | 2018-03-27 | International Business Machines Corporation | Overlay for camera field of vision |
US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
US11037015B2 (en) | 2015-12-15 | 2021-06-15 | Cortica Ltd. | Identification of key points in multimedia data elements |
US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
US9904990B2 (en) * | 2015-12-18 | 2018-02-27 | Ricoh Co., Ltd. | Single image rectification |
US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
US10366144B2 (en) | 2016-04-01 | 2019-07-30 | Ebay Inc. | Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image |
US10417695B1 (en) * | 2016-04-15 | 2019-09-17 | Amazon Technologies, Inc. | Method and system for displaying items provided by a merchant |
US20190012834A1 (en) * | 2016-05-23 | 2019-01-10 | Mouse Prints Press Bv | Augmented Content System and Method |
US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
US10943398B2 (en) * | 2016-07-15 | 2021-03-09 | Samsung Electronics Co., Ltd. | Augmented reality device and operation thereof |
WO2018031050A1 (en) * | 2016-08-09 | 2018-02-15 | Cortica, Ltd. | System and method for generating a customized augmented reality environment to a user |
US10460171B2 (en) * | 2016-08-31 | 2019-10-29 | Facebook, Inc. | Systems and methods for processing media content that depict objects |
US10692290B2 (en) | 2016-10-14 | 2020-06-23 | Tremolant Inc. | Augmented reality video communications |
US10628869B2 (en) * | 2016-10-17 | 2020-04-21 | Jamie Daniel Braxton | System and method for real-time video processing to find and display related social content, related videos, and related images |
US10424121B1 (en) * | 2016-11-06 | 2019-09-24 | Oded Melinek | Generated offering exposure |
GB2555841A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
JP6694112B2 (ja) * | 2017-03-17 | 2020-05-13 | マクセル株式会社 | Ar表示装置及びar表示方法 |
US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
CN110546676A (zh) * | 2017-03-30 | 2019-12-06 | 株式会社OPTiM | 电子书显示系统、电子书显示方法以及程序 |
US10380721B2 (en) * | 2017-04-27 | 2019-08-13 | Adobe Inc. | Adjusting blurry vector-based lines during movement |
US10782822B2 (en) * | 2017-06-08 | 2020-09-22 | Walmart Apollo, Llc | Augmented touch-sensitive display system |
WO2019008581A1 (en) | 2017-07-05 | 2019-01-10 | Cortica Ltd. | DETERMINATION OF DRIVING POLICIES |
EP3425483B1 (en) * | 2017-07-07 | 2024-01-10 | Accenture Global Solutions Limited | Intelligent object recognizer |
US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
US10657596B1 (en) | 2017-08-31 | 2020-05-19 | United Services Automobile Association (Usaa) | Systems and methods for providing currency exchange information via augmented reality |
CN109582122B (zh) * | 2017-09-29 | 2022-05-03 | 阿里巴巴集团控股有限公司 | 增强现实信息提供方法、装置及电子设备 |
US11436585B2 (en) * | 2017-12-19 | 2022-09-06 | American Express Travel Related Services Company, Inc. | Virtual point of sale |
CN108363489A (zh) * | 2018-02-13 | 2018-08-03 | 五车科技(北京)有限公司 | 基于纸质图书封面的数据交互处理方法及装置 |
US10558857B2 (en) * | 2018-03-05 | 2020-02-11 | A9.Com, Inc. | Visual feedback of process state |
US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
CN108952673B (zh) * | 2018-06-22 | 2023-09-26 | 中国石油天然气股份有限公司 | 抽油机井工况检查方法及装置 |
US11023944B2 (en) * | 2018-07-10 | 2021-06-01 | Target Brands, Inc. | Mobile device for retrieving product information associated with scanned barcode data when the mobile device is connected to a network |
US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
CN109344923A (zh) * | 2018-08-27 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 关联物体的显示方法、装置及电子设备 |
US20200082576A1 (en) * | 2018-09-11 | 2020-03-12 | Apple Inc. | Method, Device, and System for Delivering Recommendations |
US10573019B1 (en) | 2018-09-25 | 2020-02-25 | Ebay Inc. | Augmented reality digital content search and sizing techniques |
US10482675B1 (en) | 2018-09-28 | 2019-11-19 | The Toronto-Dominion Bank | System and method for presenting placards in augmented reality |
US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
WO2020086323A1 (en) * | 2018-10-23 | 2020-04-30 | Nichols Steven R | Ar system for enhanced book covers and related methods |
US10748038B1 (en) | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
US11270132B2 (en) | 2018-10-26 | 2022-03-08 | Cartica Ai Ltd | Vehicle to vehicle communication and signatures |
US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
US20200310601A1 (en) * | 2019-03-29 | 2020-10-01 | Snap Inc. | Dynamic media selection menu |
US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
US11270367B2 (en) * | 2019-04-19 | 2022-03-08 | Apple Inc. | Product comparison techniques using augmented reality |
US20200349188A1 (en) * | 2019-05-02 | 2020-11-05 | Oath Inc. | Tagging an object within an image and/or a video |
US11244319B2 (en) | 2019-05-31 | 2022-02-08 | The Toronto-Dominion Bank | Simulator for value instrument negotiation training |
US11189103B2 (en) * | 2019-08-01 | 2021-11-30 | Apple Inc. | Visual search refinement for computer generated rendering environments |
US11042259B2 (en) * | 2019-08-18 | 2021-06-22 | International Business Machines Corporation | Visual hierarchy design governed user interface modification via augmented reality |
US10699124B1 (en) | 2019-09-09 | 2020-06-30 | Ar, Llc | Augmented reality content selection and display based on printed objects having security features |
US11961294B2 (en) * | 2019-09-09 | 2024-04-16 | Techinvest Company Limited | Augmented, virtual and mixed-reality content selection and display |
US10997418B2 (en) | 2019-09-09 | 2021-05-04 | Ar, Llc | Augmented, virtual and mixed-reality content selection and display |
BR112022004650A2 (pt) * | 2019-09-12 | 2022-05-31 | Ramirez Juan Gabriel | Sistema de gerenciamento de multimídia interativo para aprimorar uma experiência de usuário e métodos do mesmo |
US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
US11734767B1 (en) | 2020-02-28 | 2023-08-22 | State Farm Mutual Automobile Insurance Company | Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote |
US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
US11663550B1 (en) | 2020-04-27 | 2023-05-30 | State Farm Mutual Automobile Insurance Company | Systems and methods for commercial inventory mapping including determining if goods are still available |
CN111246118B (zh) * | 2020-04-27 | 2020-08-21 | 成都派沃特科技股份有限公司 | Ar元素的显示方法、装置、设备及存储介质 |
US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
US11533467B2 (en) * | 2021-05-04 | 2022-12-20 | Dapper Labs, Inc. | System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements |
CN113658297A (zh) * | 2021-08-17 | 2021-11-16 | 百度在线网络技术(北京)有限公司 | 信息展现方法、装置、设备、存储介质以及程序产品 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08190640A (ja) * | 1995-01-12 | 1996-07-23 | Hitachi Ltd | 情報表示方法および情報提供システム |
US5960411A (en) * | 1997-09-12 | 1999-09-28 | Amazon.Com, Inc. | Method and system for placing a purchase order via a communications network |
GB9930850D0 (en) * | 1999-12-24 | 2000-02-16 | Koninkl Philips Electronics Nv | 3D environment labelling |
JP3946676B2 (ja) * | 2003-08-28 | 2007-07-18 | 株式会社東芝 | 撮影画像処理装置及びその方法 |
US7734729B2 (en) * | 2003-12-31 | 2010-06-08 | Amazon Technologies, Inc. | System and method for obtaining information relating to an item of commerce using a portable imaging device |
JP4413633B2 (ja) * | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム |
US7751805B2 (en) | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
US20050289590A1 (en) | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Marketing platform |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US20080300780A1 (en) * | 2005-02-07 | 2008-12-04 | Dmitry Domnin | Method for automating task with portable device |
KR101019569B1 (ko) | 2005-08-29 | 2011-03-08 | 에브릭스 테크놀로지스, 인코포레이티드 | 모바일 이미지 인식을 통한 상호작용 |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
US7995861B2 (en) * | 2006-12-13 | 2011-08-09 | Adobe Systems Incorporated | Selecting a reference image for images to be joined |
JP2008190640A (ja) | 2007-02-06 | 2008-08-21 | Soki Hs Kk | 多段式調節装置 |
US8644842B2 (en) | 2007-09-04 | 2014-02-04 | Nokia Corporation | Personal augmented reality advertising |
CN101458814B (zh) * | 2007-12-13 | 2012-02-01 | 东软集团股份有限公司 | 一种用于从图像中分割对象感兴趣区域的方法和装置 |
US20110131106A1 (en) * | 2009-12-02 | 2011-06-02 | George Eberstadt | Using social network and transaction information |
US8711176B2 (en) * | 2008-05-22 | 2014-04-29 | Yahoo! Inc. | Virtual billboards |
US20100084470A1 (en) * | 2008-10-03 | 2010-04-08 | Microsoft Corporation | Two-dimensional barcode localization for camera based devices |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
US20100107187A1 (en) * | 2008-10-24 | 2010-04-29 | At&T Intellectual Property I, L.P. | System and Method of Displaying Advertising Content |
JP2012529685A (ja) | 2009-06-05 | 2012-11-22 | モザイク マルチメディア インコーポレイテッド | スマートコンテンツをタグ付けし、スマートコンテンツと対話するためのエコシステム |
US9087059B2 (en) | 2009-08-07 | 2015-07-21 | Google Inc. | User interface for presenting search results for multiple regions of a visual query |
US8645220B2 (en) | 2009-08-28 | 2014-02-04 | Homer Tlc, Inc. | Method and system for creating an augmented reality experience in connection with a stored value token |
US8370358B2 (en) * | 2009-09-18 | 2013-02-05 | Microsoft Corporation | Tagging content with metadata pre-filtered by context |
US9547938B2 (en) | 2011-05-27 | 2017-01-17 | A9.Com, Inc. | Augmenting a live view |
-
2011
- 2011-05-27 US US13/117,527 patent/US9547938B2/en active Active
-
2012
- 2012-05-25 CN CN201280025710.9A patent/CN103733177B/zh active Active
- 2012-05-25 WO PCT/US2012/039521 patent/WO2012166577A1/en unknown
- 2012-05-25 EP EP12792261.5A patent/EP2715521B1/en active Active
- 2012-05-25 CN CN201710081885.6A patent/CN107122380A/zh active Pending
- 2012-05-25 JP JP2014513617A patent/JP5951759B2/ja not_active Expired - Fee Related
-
2017
- 2017-01-09 US US15/402,016 patent/US9911239B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5951759B2 (ja) | ライブビューの拡張 | |
JP2014524062A5 (ja) | ||
US11227326B2 (en) | Augmented reality recommendations | |
JP6803427B2 (ja) | コンテンツトランザクションアイテムの動的バインド | |
US9842172B2 (en) | Method, client device and server of accessing network information through graphic code | |
US20180336734A1 (en) | Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment | |
US8745502B2 (en) | System and method for interfacing interactive systems with social networks and media playback devices | |
CN103369049B (zh) | 移动终端和服务器交互方法及其系统 | |
US8451266B2 (en) | Interactive three-dimensional augmented realities from item markers for on-demand item visualization | |
US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
US20140079281A1 (en) | Augmented reality creation and consumption | |
WO2016033495A2 (en) | Methods and arrangements including data migration among computing platforms, e.g., through use of steganographic screen encoding | |
US9047326B2 (en) | Index configuration for searchable data in network | |
US9600720B1 (en) | Using available data to assist in object recognition | |
US20140078174A1 (en) | Augmented reality creation and consumption | |
US10282904B1 (en) | Providing augmented reality view of objects | |
US10424009B1 (en) | Shopping experience using multiple computing devices | |
US10600060B1 (en) | Predictive analytics from visual data | |
US9349139B1 (en) | Fine art samples | |
US10733637B1 (en) | Dynamic placement of advertisements for presentation in an electronic device | |
US9870347B1 (en) | Network site conversion with respect to a development toolkit | |
AU2012205152B2 (en) | A platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text |