JP2013539090A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2013539090A5 JP2013539090A5 JP2013517419A JP2013517419A JP2013539090A5 JP 2013539090 A5 JP2013539090 A5 JP 2013539090A5 JP 2013517419 A JP2013517419 A JP 2013517419A JP 2013517419 A JP2013517419 A JP 2013517419A JP 2013539090 A5 JP2013539090 A5 JP 2013539090A5
- Authority
- JP
- Japan
- Prior art keywords
- information
- layer
- user
- display
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 description 80
- 230000000875 corresponding Effects 0.000 description 49
- 230000003190 augmentative Effects 0.000 description 41
- 238000004590 computer program Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 19
- 239000000203 mixture Substances 0.000 description 17
- 230000004044 response Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001413 cellular Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000003247 decreasing Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
本発明の実施形態は、大きくはユーザインタフェース技術に関し、より具体的には、拡張現実環境において、提案する一つまたは複数の情報レイヤを自動的に生成する方法や装置、コンピュータプログラムに関する。
通信の新しい時代は、有線及び無線ネットワークの著しい拡張をもたらしている。コンピュータネットワークやテレビジョンネットワーク、電話ネットワークは、ユーザの要求に応えて、以前であれば予測できなかったような技術的発展を経験している。無線・移動ネットワーク技術は、ユーザの要求に応えつつも、より柔軟且つ即時的な情報伝達を可能としている。
現在の、また将来のネットワーク技術は、情報伝送の容易さやユーザの利便性を向上させることを続けていくだろう。最近の電子通信機器のユビキタス性のために、年代や教育レベルに関わらず、全ての人々が電子機器を利用して、他の人々や関係先と通信したり、サービスを受け取ったり、情報やメディア等のコンテンツを共有したりしている。情報伝送をますます容易にすることの要求が存在する領域の一つは、移動端末のユーザにサービスを配信する分野である。このようなサービスは、例えば、ユーザが所望の特定のメディアや通信アプリケーションの形態を有していることがあり、例えばミュージックプレイヤーやゲームプレイヤー、電子ブック、ショートメッセージ、電子メール、コンテンツ共有などである。上記のようなサービスはインタラクティブなアプリケーションの形態を有していることがあり、そのような場合、ユーザは、タスクを遂行したり目的を達成したりするために、ネットワークデバイスに応答する。上記のようなサービスは、ネットワークサーバなどのネットワーク装置によって提供されることがあり、場合によっては、携帯電話や携帯テレビ、携帯ゲーム機などのような移動端末によって提供されることもある。
ある状況において、移動端末は、ユーザとそのユーザの環境との相互作用を拡張することがある。ユーザとユーザローカル環境との相互作用を拡張するために移動端末を利用するというコンセプトに関連して、非常に多くの開発例が存在する。例えばバーチャルツアーガイドや、現実にミックスすることを伴うアプリケーションである。現実にミックスすることは、現実世界とバーチャル世界とを融合することを伴う。ある事例では、現実にミックスすることは、現実世界のイメージデータにバーチャルなオブジェクトをミックスし、現実のオブジェクトとデジタルのオブジェクトが共に存在し(できればそれらが実時間で相互作用するような)環境を生成して視覚化する。現実にミックスする技術には、拡張現実(Augmented Reality;ARや強化現実とも呼ばれる)、すなわち現実のイメージを拡張したり現実のイメージに追加したりするためにデジタルのイメージを使用する技術や、バーチャルリアリティ、すなわちコンピュータシミュレーションを使って現実世界の環境を刺激する技術が含まれる。
拡張現実は急速に発展している分野である。拡張現実は、シンビアンTMやアンドロイド(登録商標)、iPhone(登録商標)、Windows MobileTMなど、多くのモバイルプラットフォームで利用可能になっている。拡張現実のコンセプトは、コミュニケーションデバイスのカメラで撮影した生のビデオストリームや静止画に、グラフィックや情報を重ね合わせることである。このグラフィックや情報は如何なるものであってもよい。拡張現実において、環境やオブジェクトについてのグラフィックや情報は、現実世界のビューの上の情報レイヤとして保存されたり呼び出されたりすることができる。
拡張現実技術について共通に用いられていることは、ビデオストリームや静止画の上に興味のあるポイント(Point Of Interest; POI)を重ね合わせることである。これらのPOIは、ランドマークのような静止した情報であることができ、また、座標を含むジオコードで符号化された情報でもよい。拡張現実の使用の一例が図1に描かれている。ここでは、Wikipedia(登録商標)で提供される情報やTwitter(登録商標)で提供されるツイートが、コミュニケーションデバイスのカメラの映像に重ね合わされている。
利用者が、例えばWikipediaのアイコンのいずれかを押すと、その選択されたアイコンに関連する記事についての多くの情報がユーザに提示される。例えば拡張現実は、ユーザがはじめての場所におり、彼らは見ているものについての情報を得ようとするときに利用される。観光アトラクションの前に立ち、それにカメラを向けると、ユーザは、そのアトラクションについての情報を得ることができる。
拡張現実に関連して行われた利用者についての調査によると、拡張現実ブラウザを利用するユーザにとって最も重要な特徴の一つは、ユーザは、デバイスのカメラのビューに表示されるコンテンツを選択したいと欲することであった。
デバイスのカメラのビューに表示されるコンテンツをユーザが選択できるようにすることの問題の一つは、ユーザの現在位置では利用可能な情報が全くない情報レイヤをイネーブルにすることであろう。ユーザによってイネーブルにされた情報レイヤは、ユーザの通常の環境では適切な情報を有するが、例えば休日や仕事でユーザが別の場所に移動すると、その情報レイヤは適切でなくなるかもしれない。例えば、その情報レイヤはユーザが見ているものについて何の情報も有していないか非常に少ない情報しか有していないかもしれない。
そのような状況においては、拡張現実ブラウザは単なるカメラのビューしか提供しないので、拡張現実ブラウザは何ら価値を提供しないとユーザに思わせてしまうかもしれない。そのような状況が図2に示されている。図2の例においても、ユーザは画像に興味を覚えているかもしれない。そこでユーザは、コミュニケーションデバイスのカメラビューに表示されている拡張現実アプリケーションに画像を提供している、当該コミュニケーションデバイスの情報レイヤをイネーブルにするかもしれない。図2の例において、ユーザは、コミュニケーションデバイスを通じて"flicker.com"の情報レイヤをイネーブルにしたとしよう。しかし残念ながら、ユーザの現在位置では、"flicker.com"から提供される画像や情報はほとんどない。そのためユーザは、図2に示されるように、カメラビューにおいて、"flicker.com"から提供される情報(例えば画像)に関連するたった一つのアイコン3しか見ることができない。
ユーザの現在位置では利用可能な情報を有しない情報レイヤをユーザがイネーブルにすることに関連する上述の問題は、現在のところ、拡張現実アプリケーションによって提供される既知の複数の情報レイヤをマニュアルで一つ一つ選択しうるようにコミュニケーションデバイスを構成することにより、解決されている。しかしこの場合、ユーザは通常、情報レイヤをイネーブルにし、現在位置において情報を得られるか否かをチェックするという試行錯誤を繰り返す必要がある。ユーザの現在位置においてある情報レイヤが何の情報をも有していない場合、ユーザは通常、別の情報レイヤを試してみる必要があり、拡張現実ブラウザがユーザが望むレベルの情報を提供するまで、それを繰り返す必要がある。
このようなプロセスはユーザにとって面倒なものであり、ユーザの位置において多くの情報レイヤが利用可能である場合には時間もかかってしまう。イネーブルにされた情報レイヤが提供しうる情報がないという問題が生じている場合において、有用な情報を見つけるまでの試行に10分や30分などという時間を使うことなく、必要な情報をできるだけ早く得ることは、ユーザにとって非常に重要であろう。このように、試行錯誤に基づくアプローチはユーザにとって耐え難いものであり、ユーザを満足することはできないであろう。
上述の欠点に鑑みると、コミュニケーションデバイスのユーザに情報レイヤを提供する別のメカニズムを提供することが望ましいであろう。
そこで、拡張現実において、提案する一つまたは複数の情報レイヤを自動的に生成する方法や装置、コンピュータプログラムを提供する。情報レイヤは、地理的位置のデータやその他のデータを有する情報のアイテムの集まりであって、コンテンツプロバイダやサービスプロバイダによって提供される情報のアイテムの集まりであってもよい。地理的位置のデータは、ディスプレイ上に、情報のアイテムに対応するもの(例えばバーチャル情報)を提供するために利用されることができる。ここで、情報のアイテムは現在表示されている現実世界のオブジェクトに重ね合わせられることができる。
例示的実施形態のあるものは、ユーザによってイネーブルにされた情報レイヤが、例えば、コミュニケーションデバイスの現在位置やそのコミュニケーションデバイスが現在表示している現実世界のオブジェクトの位置に関連して、情報を提供するか否かを決定することができる。イネーブルにされた情報レイヤの情報が所定の閾値より少ない場合、例示的実施形態のあるものは、その位置に関連して情報を有する一つまたは複数の情報レイヤを自動的に提案することができる。当該位置はユーザが選択したものであることができる。ここで、例示的実施形態のあるものは、提案するレイヤやオプションのレイヤのリストをユーザに表示することができる。そのようなレイヤは、現在位置の情報を有するか、又はその情報に関連付けられるレイヤである。位置に関連する情報はバーチャル情報、例えば、グラフィック要素のようなバーチャルオブジェクトであることができ、それは、現在表示されている現実世界において対応するオブジェクトの上に重ね合わせられてもよい。提案された情報レイヤのいずれかを選択すると、選択された(一つまたは複数の)情報レイヤに対応する情報が提供されディスプレイ上に表示される。このようにして、例示的実施形態のあるものは、現在位置に関する重要な情報を得るためにユーザが試行錯誤プロセスを利用する必要がなくなるように、拡張現実やバーチャル情報をユーザ選択できるようにデバイスに供給する効率的なメカニズムを提供することができる。
提案される情報レイヤは、ユーザにより選択されるためにデバイスに表示されるが、そのような情報レイヤは、イネーブルにされた情報レイヤの情報と同じカテゴリの情報に関連するものであってもよい。ここで、例示的実施形態のあるものは、イネーブルにされた情報レイヤの情報と同じ種類の情報を提供する情報レイヤを自動的に提案し選択できるようにしてもよい。そのような情報は、例えば画像やビデオであることができる。本発明の実施形態のあるものを利用することにより、現在位置でユーザが得られる利用可能な情報が全く無いか極めて少ないという問題が軽減される。ユーザは、対応する情報を見るために、提案された情報レイヤの一つまたは複数を選択してもよい。したがって、例示的実施形態のあるものは、ユーザが、どの情報がディスプレイに表示されるべきかを制御することを許している。
ある例示的実施形態では、拡張現実において情報レイヤを自動的に提案する方法が提供される。この方法は、複数の情報レイヤの提供を容易にすることを含む。情報のレイヤは、装置の現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。この方法はさらに、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを決定することを含んでもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応していてもよい。上記の方法はさらに、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを判断することを含んでもよい。上記の方法はさらに、一つ又は複数の他の情報レイヤを選択のために自動的に提案することを含んでもよい。
ある別の実施形態では、拡張現実において情報レイヤを自動的に提案する装置が提供される。この装置はコンピュータプログラムコードを格納するメモリとプロセッサを備えてもよい。このメモリ及びコンピュータプログラムコードは、プロセッサと共に、前記装置に、複数の情報レイヤの提供を容易にすることを含む処理を少なくとも実行させるように構成される。情報のレイヤは、装置の現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。前記コンピュータプログラムコードはさらに、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを前記装置に決定させるように構成されてもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応していてもよい。前記コンピュータプログラムコードはさらに、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを前記装置に判断させるように構成されていてもよい。前記コンピュータプログラムコードはさらに、前記装置に、一つ又は複数の他の情報レイヤを選択のために自動的に提案させるように構成されていてもよい。
さらに別の実施形態では、拡張現実において情報レイヤを自動的に提案するコンピュータプログラム製品が提供される。このコンピュータプログラム製品は、少なくとも一つのコンピュータ読み取り可能な記憶媒体を備え、その媒体はコンピュータ実行可能なプログラムコード部分を格納している。このコンピュータ実行可能なプログラムコード命令は、複数の情報レイヤの提供を容易にするプログラムコード命令を含んでいる。情報のレイヤは、現在位置を示す情報に対応するバーチャル情報の一つ又は複数のアイテムに部分的に関連してもよい。上記のコンピュータコード命令はまた、バーチャル情報のアイテムの一つ又は複数を表示のために供給すべく、情報のレイヤの少なくとも一つがイネーブルにされたことを決定してもよい。バーチャル情報のアイテムは、現在位置又はその近傍の現実世界のオブジェクトの位置に対応している。上記プログラムコード命令はまた、イネーブルにされた情報のレイヤのバーチャル情報の数が所定の閾値より少ないという判断に基づいて、一つ又は複数の他の情報レイヤが現在位置のコンテンツに関連付けられるがどうかを判断してもよい。上記プログラムコード命令はまた、一つ又は複数の他の情報レイヤを選択のために自動的に提案してもよい。
実施形態によっては、本発明は、デバイスの現在位置においてレイヤがバーチャル情報を有するがどうかを推測するために時間を使う代わりにに、現実世界のオブジェクトに重ね合わせられてもよいバーチャル情報に集中することができてもよいため、優れたユーザ体験を提供しうる。その結果、デバイスのユーザは、そのデバイスを通じてアクセス可能なサービスやアプリケーションに関して、改善された機能を楽しむことが可能になりうる。
本発明のいくつかの実施形態を一般的な用語で説明してきたが、ここで添付の図面を参照する。これらの図面は正しいスケールで描かれているとは限らないことに注意されたい。
以下、本発明のいくつかの実施形態を、添付図面を参照しつつ、より詳細に説明する。ただし、本発明の全ての実施形態が紹介されるわけではない。事実、本発明の様々な実施形態が、多くの異なる形態で実施されることが可能であり、本発明の実施形態がここで説明されるものに限定されると受け取られるべきではない。本明細書及び図面において、同じような符号は同様の要素を表す。本明細書において、"データ"や"コンテンツ"、"情報"のような用語は、本発明の実施形態に従って送信されたり受信されたり、または格納されたりすることができるデータを表すために、言い換え可能に使用されている場合がある。さらに、本明細書で使用される"例示的"との語句は、何らかの定性的評価を表現するために使用されているわけではなく、ただ例を示すことを表現するために使用されているにすぎない。したがって、これらいかなる用語の使用も、本発明の実施形態の思想や範囲を制限するものとして捉えられるべきではない。
さらに、本明細書において、"回路(circuitry)"との語句は、(a)ハードウェアのみにより実装された回路、例えばアナログ回路やデジタル回路による実装や、(b)回路とコンピュータプログラムとの組み合わせを表すことができる。このコンピュータプログラムは一つ又は複数のコンピュータ読み取り可能なメモリに格納されるソフトウェアやファームウェア命令を含み、それらは、本明細書で説明される一つ又は複数の機能を装置に実行させるために協働する。また本明細書における"回路(circuitry)"との語句は、(c)マイクロプロセッサやマイクロプロセッサの一部のような回路を表してもよい。これらマイクロプロセッサ等は、ソフトウェアやファームウェアが物理的に存在しなかったとしても、動作するためにはソフトウェアやファームウェアを必要とする要素である。さらなる例として、本明細書で使用される"回路(circuitry)"との語句は、一つ又は複数のプロセッサや一つ又は複数のプロセッサの部分、及び付随するソフトウェアファームウェアを含む実装を表してもよい。さらに別の例として、携帯電話のためのベースバンド集積回路やアプリケーションプロセッサ集積回路を表してもよく、また、サーバやセルラネットワークデバイス、その他のネットワークデバイス、その他のコンピューティング装置における同様の集積回路を表してもよい。
本明細書で定義される"コンピュータ読み取り可能な記憶媒体"は、非一時的で物理的又は触れることのできる記憶媒体であり、例えば揮発性又は非揮発性のメモリデバイスであり、電磁波信号を表す"コンピュータ読み取り可能な伝送媒体"の形態とは区別可能なものである。
また、本明細書で使用される"レイヤ","情報レイヤ","情報のレイヤ"は、ディスプレイに表示される情報のレイヤであることができる。情報のレイヤは、一つ又は複数のコンテンツプロバイダによって提供されてもよく、また、バーチャルオブジェクトなどのバーチャル情報のアイテムに対応していてもよい。ここで、情報のレイヤは、個々のグラフィック要素が情報を特定するバーチャルオブジェクトのレイヤであることができる(ただしそのようなレイヤに限られるわけではない)。バーチャルオブジェクトは、例えば、アイコンや絵文字などのグラフィック要素であってもよい。情報レイヤ情報は、例えば地理的座標やその他の適当なデータのような位置情報に関連付けられたものであってもよい。ここで地理的座標は、例えば緯度や経度、高度のような座標であってもよい。例えば、バーチャル情報のアイテムは、デバイスの現在位置またはデバイスに現在表示されている現実世界のオブジェクトの現在位置を特定する位置情報の受信に関係していてもよい。ある実施形態において、情報のレイヤは、重ね合わせられた同じものの部分として一緒に表示されるべきもののような形で関連付けられる情報であってもよい。異なるレイヤは異なるコンテンツプロバイダによって提供されてもよく、また、異なるバーチャルオブジェクトに対応していてもよい。
限定のためではなく例示の目的で、情報のレイヤは、コンテンツプロバイダによって提供される情報に関連付けられるアイコンのレイヤであってもよい。ここで例えば、コンテンツプロバイダはWikipediaのウェブサイトであり、情報はWikipediaの記事であり、アイコンはWikipediaのアイコンであることができる。
さらに、本明細書で使用される、"カメラビューアングル"や"カメラビューフィールド"は、ディスプレイに表示されるカメラのアングルを表してもよい。"情報ポイント"や"興味のあるポイント(POI)"、"拡張現実(AR)情報のアイテム"、"AR情報"、"バーチャル情報"、"バーチャル情報のアイテム"は、何らかの情報を含むか何らかの情報に関連付けられる、空間の中のポイント表すものとして、互いに言い換え可能に使用される場合がある。ここで空間とは、例えば緯度や経度、高度のような座標であることができ、何らかの情報とは、例えばテキストやオーディオデータ、画像や写真、ビデオのようなメディアコンテンツであることができる。情報ポイントやPOI、AR情報のアイテム、AR情報、バーチャル情報、バーチャル情報のアイテムは、例えばアイコンや絵文字のようなバーチャルオブジェクト(例えばグラフィック要素)によって、ディスプレイ上でマークされてもよい。
図3は、例示的な通信環境の中に移動端末10のようなデバイスが示されている、一般的なシステムを説明するための図である。図3に描かれるように、本発明の例示的実施形態に従うシステムの実施例は、例えば移動端末10のような第1の通信デバイスと、第2の通信デバイス20とを有してもよく、これらはネットワーク30を介して互いに通信可能である。本発明の実施形態によっては、一つ又は複数のさらなる通信デバイスを含んでいてもよい。それらのうちの一つは第3の通信デバイス25として図3に描かれている。実施形態によっては、本発明の実施形態を用いる全てのシステムが、ここで図示される全てのデバイスを含んでいるわけではない。携帯端末10や、第2及び第3の通信デバイス20,25の実施形態が、本願において図示されまた説明されるが、それは例示目的のためであり、他のタイプの端末が、本発明の実施形態を容易に利用可能である。このようなタイプ端末とは、例えばPDA、ポケットベル、携帯テレビ、移動電話、ゲーム機、ラップトップコンピュータ、カメラ、ビデオレコーダ、オーディオ・ビデオプレーヤ、ラジオ、GPS(全地球測位システム)デバイス、Bluetooth(登録商標)ヘッドセット、USBデバイスであることができ、またこれらの組合せが、その他のタイプの音声及びテキストコミュニケーションシステムであってもよい。また、移動タイプではないデバイス、例えばサーバやパーソナルコンピュータも、本発明の実施形態を容易に利用可能である。
ネットワーク30は、対応する有線及び/又は無線インタフェースを介して互いに通信している、様々に異なるノードやデバイス、機能の集合である。ノードの一例は、第2及び第3の通信デバイス20,25である。このように、図3は、システムのある要素の大まかな見方の例であると理解されるべきものであって、システム又はネットワーク30の包括的又は詳細な図であるとは理解されるべきではない。実施形態によっては、ネットワーク30は、第1世代(1G)、第2世代(2G)、2.5G、第3世代(3G)、3.5G、3.9G,第4世代(4G)の移動通信プロトコル、ロング・ターム・エボリューション(LTE)、及び/又は同様のもののうちの一つ又は複数のものに従う通信をサポートする能力を有する。なお必ずそのような能力を有さなければならないと言うわけではない。実施形態によっては、ネットワーク30は、ポイント・ツー・ポイント(P2P)ネットワークである。
移動端末10や第2,第3の通信デバイス20,25のような、一つ又は複数の通信デバイスは、ネットワーク30を介して互いに通信し、それぞれ一つ又は複数のアンテナを、基地局との信号の送受信のために備えている。基地局は、例えば、一つ又は複数のセルラネットワークや移動ネットワークの一部をなすものであってもよい。基地局はまた、ローカルエリアネットワーク(LAN)や都市規模ネットワーク(MAN)、インターネットなどを広域ネットワーク(WAN)などのデータネットワークの一部をなすものであってもよい。同様に、パーソナルコンピュータやサーバコンピュータ、また同様のもののような処理要素のような他のデバイスが、ネットワーク30を介して、移動端末10や第2,第3の通信デバイス20,25に接続されていてもよい。移動端末10や第2,第3の通信デバイス20,25、また他のデバイスを、直接的又は間接的にネットワーク30に接続することにより、移動端末10や第2,第3の通信デバイス20,25は、互いに又は他のデバイスと通信することが可能になる。この通信は、様々な通信プロトコルに従って行うことができる。そのようなプロトコルには、ハイパーテキスト・トランスファー・プロトコル(HTTP)や同様のものがある。それによって、移動端末10や第2,第3の通信デバイス20,25との間で様々な通信や機能を実行することができる。
さらに、図3には描かれていないが、移動端末10や第2,第3の通信デバイス20,25は、例えばRFや近距離無線通信(NFC)、Bluetooth(BT)、赤外線(IR)などの、様々な有線又は無線通信技術によって通信してもよい。このような通信技術には、ローカルエリアネットワーク(LAN)や無線LAN(WLAN)、WiMAX、WiFi,ウルトラワイドバンド(UWB)、Wibree技術や、それらと同様のものが含まれる。このように、移動端末10や第2,第3の通信デバイス20,25は、非常に多くの様々なアクセス機構によって、ネットワーク30及び互いに対して通信可能に構成されうる。例えば、W−CDMAやCDMA2000、GSM、GPRSといったものや同様のものがサポートされることができ、また、WLANやWiMAXといったものや同様のもののような無線アクセス技術がサポートされてもよく、デジタル加入者回線(DSL)やケーブルモデム、イーサネットといったものや同様のもののような有線アクセス技術がサポートされてもよい。
ある政治的実施形態では、第1の通信デバイス(例えば移動端末10)は、移動通信デバイスであり、例えば、無線電話やその他のデバイス、例えば、PDAや移動コンピューティング装置、カメラ、ビデオレコーダ、オーディオ又はビデオプレーヤ、測位装置、ゲーム機、テレビ、ラジオといった、様々なデバイスであることができ、また、これらの組合せであることができる。第2の通信デバイス20や第3通信デバイス25は、移動通信デバイスや固定的な通信デバイスであることができる。一例では、第2の通信デバイス20や第3通信デバイス25は、サーバやリモートコンピュータ、端末などであり、例えば、パーソナルコンピュータ(PC)やラップトップコンピュータのようなものであってもよい。
ある実施形態において、ネットワーク30は、スマートスペースであるように構成されたアドホックネットワークや分散ネットワークであることができる。したがって、ネットワーク30に出入りするデバイスやネットワーク30デバイスは、その動作を、他のデバイスの出入りに基づいて調節する機能を有してもよく、それによって、デバイスやノードの増減やそれらの応答可能性を考慮するようにされてもよい。実施形態によっては、ネットワーク30と通信を行なう一つ又は複数のデバイスは、図4のレイヤ提案モジュール78のようなレイヤ提案モジュールを採用してもよい。レイヤ提案モジュールは、一つ又は複数の情報レイヤの提案を生成してもよい。提案された情報レイヤは、デバイス(例えば移動端末10)のディスプレイ(例えば図4のディスプレイ85)に表示されてもよい。提案された情報レイヤは、デバイスの現在位置に対応する情報(例えばジオコードにより符号化された情報)に関連付けられていてもよい。実施形態によっては、提案された情報レイヤは、ディスプレイのカメラビュー上のバーチャルオブジェクト(例えばアイコン)として、レイヤ提案モジュールによって表示されてもよい(なお、必ず表示されなければならないという訳ではない)。これらのバーチャルオブジェクトの一つ又は複数を選択することにより、バーチャルオブジェクトに関連付けられた情報が供給され、ディスプレイに表示されてもよい。
実施形態によっては、移動端末10や第2・第3の通信デバイス20・25は、レイヤ提案モジュールを有するように構成される。しかし、別の実施形態においては、移動端末10はレイヤ提案モジュールを有するが、第2・第3の通信デバイス20・25はサーバ又は同様のネットワーク要素であり、互いに及び/又は移動端末10と通信するように構成される。例えば、ある例示的実施形態では、第2の通信デバイス20は特定の情報ソースやサービスに関連した専用のサーバ又はサーババンクであり、又は第2の通信デバイス20は、一つ又は複数の機能又はサーバに関連するバックエンドサーバであってもよい。ここで、上記のサービスは、例えば、ローカライズされた拡張現実サービスや、地図サービス、検索サービス、メディア提供サービスなどでありうる。このように、第2の通信デバイス20は、複数のことのサービスや情報のソースのためのホストである可能性があるものとして表されてもよい。実施形態によっては、第2の通信デバイス20の機能は、ハードウェア及び/又はソフトウェア要素によって提供され、これらは、通信デバイスのユーザで情報を提供するための既知の技術にしたがって動作するように構成される。しかし、第2の通信デバイス20によって提供される機能の少なくともいくつかは、本発明の例示的実施形態に従って提供される情報である。
実施形態によっては、第2の通信デバイス20は、ローカライズされた拡張現実サービスを提供する装置をホストしてもよい。及び/又は第2の通信デバイスは、本発明を実施するにあたって、情報(例えばパノラマイメージ)をデバイス(例えば移動端末10)に提供する提供サービスをホストしてもよい。ローカライズされた拡張現実サービスは、デバイス(例えば移動端末10)のカメラビューに表示された環境や、環境の現実のオブジェクトについてのバーチャル情報のアイテムを提供してもよい。
第3通信デバイス25もまた、多くの機能や、様々な情報ソースやサービスへの接続を提供するサーバであってもよい。そのようなサービスには、例えば、ローカライズされたバーチャルリアリティ/拡張現実サービスや、地図サービス、検索サービス、メディア提供サービスなどがある。ここで第3の通信デバイス25は、バーチャルリアリティ/拡張現実情報を第2の通信デバイス20に提供する装置をホストしてもよい。それによって第2の通信デバイスは、本発明のある実施形態を実施するにあたって、デバイス(移動端末10)に、バーチャルリアリティ/拡張現実情報を提供することができるようになってもよい。第3の通信デバイス25によって第2の通信デバイス20に提供されるバーチャルリアリティ/拡張現実情報は、デバイス(例えば移動端末10)のカメラビューに表示された環境や、環境の現実のオブジェクトについてのバーチャル情報のアイテムを提供してもよい。
実施形態によっては、携帯電話10が、それ自身で、例示的実施形態を実行する。実施形態によっては、第2・第3の通信デバイス20・25が、他のデバイス(例えば移動端末10)における例示的実施形態の実行を、例えば拡張現実情報の提供などによって、手助けする。さらに別の実施形態では、第2・第3の通信デバイス20・25は全く含められなくともよい。
図4は、本発明の例示的実施形態に従い、拡張現実において一つ又は複数の情報レイヤの提案を自動的に生成する装置の概要を説明するブロックダイヤグラムである。以下、本発明のある例示的実施形態を、図4を参照して説明する。ここでは、装置50のある要素が示されている。図4の装置50は、例えば、移動端末10に利用されてもよい。及び/又は、第2の通信デバイス20や第3の通信デバイス25に利用されてもよい。又は、装置50は、ネットワーク30のネットワークデバイスとして具現化されてもよい。しかしながら装置50は、他の様々なデバイスとして具現化されてもよく、それは移動デバイスでも固定的なデバイスでもよく、例えば、本明細書の前の方で挙げられた如何なるデバイスとして具現化されてもよい。ある場合では、複数のデバイスの組み合わせにおいて、実施形態が用いられてもよい。このように、本発明の実施形態は、その全てが単一のデバイス(例えば移動端末10)において具現化されてもよく、また、複数のデバイスによる分散した形態で(例えばP2Pネットワークにおける一つ又は複数のデバイスの上で)具現化されてもよく、また、クライアントサーバの関係を有する複数のデバイスによって具現化されてもよい。さらに、以下に説明されるデバイスや要素は、必須的なものではない場合があり、実施形態によってはそれらは省略されてもよい。
図4を参照すると、装置50はプロセッサ70やユーザインタフェース67、通信インタフェース74、メモリデバイス76、ディスプレイ85、方位モジュール71.レイヤ提案モジュール78、測位センサ72、カメラモジュール36を備えてもよく、又はそうでなければ、これらの要素と通信してもない。メモリデバイス76は、例えば、揮発性又は非揮発性のメモリを含んでもよい。メモリ76は、例えばプロセッサ70等のコンピューティング装置のような機械によって呼び出されることが可能なデータ(例えばビット)を格納するように構成されるゲートを備える、電子的な記憶デバイス(例えばコンピュータ読み取り可能な記憶媒体)であってもよい。例示的実施形態によっては、メモリデバイス76は、触ることができるメモリデバイスであり、一時的なものではない。メモリデバイス76は、情報やデータ、ファイル、アプリケーション、命令といったものや同様のものを格納するように構成され、それによって、装置が、本発明の例示的実施形態に従う様々な機能を遂行しうるようにされている。メモリデバイス76は、例えば、プロセッサ70によって処理される入力データをバッファするように構成されることができる。さらに、又は代替的に、メモリデバイス76は、プロセッサ70によって実行される命令を格納するように構成されることができる。さらに別の代替例では、メモリデバイス76は、(例えば写真やビデオなどの)メディアコンテンツや情報を格納するデータベースのうちの一つであってもよい。
メモリデバイス76は、ジオコードによって符号化された情報であって、例えば緯度や経度、高度といった、現実世界のオブジェクトの座標に対応する位置情報に関連付けられる情報を格納してもよい。ジオコードにより符号化された情報は、プロセッサ70及び/又はレイヤ提案モジュール78によって評価されてもよく、ジオコードにより符号化された情報に関連するデータが、ディスプレイのカメラビューに提供されてもよい。実施形態によっては、プロセッサ70及び/又はレイヤ提案モジュール78は、ディスプレイのカメラビューに表示された現実世界のオブジェクトの位置が、ジオコードにより符号化された情報の位置情報に一致するという判断に応じて、ジオコードにより符号化された情報に関連する情報をディスプレイのカメラビューに提供してもよい。
プロセッサ70は、様々に異なる方法により具現化されることができる。例えばプロセッサ70は、次の様々な処理手段の一つ又は複数によって具現化されることができる。このような手段には、コプロセッサやマイクロプロセッサ、コントローラ、デジタルシグナルプロセッサ(DSP)、DSPを有する又は有さない処理回路、その他の処理デバイスが含まれる。その処理デバイスには、ASIC(特定用途向け集積回路)やFPGA、マイクロコントローラユニット(MCU)、ハードウェアアクセラレータ、特定用途向けコンピュータチップ、又は同様の集積回路が含まれる。歴史的な実施形態によっては、プロセッサ70は、メモリデバイス76又はプロセッサ70がアクセス可能なメモリデバイスに格納された命令を実行するように構成される。このように、ハードウェアにより構成されるかソフトウェア的な方法で構成されるか、又はこれらの組み合わせによって構成されるかに関わらず、プロセッサ70は、本発明の実施形態に従う処理を実行するように構成されることもでき、また、そのような処理を実行することが可能な要素(例えば回路に物理的に具現化された要素)を表してもよい。したがって、例えば、プロセッサ70が、ASICやFPGAのようなもので具現化されるとき、プロセッサ70は、本明細書で説明される処理を遂行するために特別に構成されたハードウェアでありうる。又は、別の実施例では、プロセッサ70がソフトウェア命令の実行要素として具現化される場合は、そのような命令は、実行されることによって本明細書で説明されるアルゴリズムや処理をプロセッサ70に遂行させるように特別に構成されてもよい。しかしながら、ある場合においては、プロセッサ70は、移動端末やネットワークデバイスなどの特定のデバイスのプロセッサであり、本明細書で説明されるアルゴリズムや処理を遂行するための命令によって構成することにより、本発明の実施形態を用いるように適合されたプロセッサであってもよい。プロセッサ70は、とりわけ、プロセッサ70の処理をサポートするように構成される、クロックや論理演算ユニット(ALU)、ロジックゲートを備える。
実施形態によっては、プロセッサ70は、ブラウザや拡張現実(AR)ブラウザ、ウェブブラウザや、同様のもののような接続プログラムを動作させるように構成されてもいる。ここで、接続プログラムは、装置50がウェブコンテンツを送受信することを可能にしてもよい。このようなウェブコンテンツには、例えば、位置ベースのコンテンツや他の適当なコンテンツであることができ、例えば、ワイヤレスアプリケーションプロトコル(WAP)に従うコンテンツであってもよい。ARブラウザは、物理的な現実世界環境のビューの中のオブジェクトを情報を用いて探索することを補助するユーザインタフェースであってもよいことは注意すべきである。そのような情報は、例えば、一つまたは複数の情報レイヤであってもよく、そのような情報レイヤは、周囲の現実世界のオブジェクトについてのデータを提供することにより、何らかの形で付加、拡張または変化させられた情報レイヤであってもよい。情報レイヤは、現実世界のビューの前面に表示されてもよい(必ずしもそうでなくともよい)。ARブラウザは、プロセッサ70によって、一つまたは複数の拡張現実アプリケーションを実行することを助けるために使用されてもよい。プロセッサ70は又、ディスプレイ85と通信してもよく、データやコンテンツ(例えばメディアコンテンツ)又は同様のもののような適当な情報を描くようにディスプレイに指示してもよいことは、述べておく必要があるだろう。
一方、通信インタフェース74は、装置50と通信している他のデバイスやネットワークとの間でデータを送受信しうるように構成されるハードウェアやコンピュータプログラム製品、またはハードウェアとソフトウェアの組み合わせとして具現化されるデバイスや回路のような、どのような手段であってもよい。ここで通信インタフェース74は、例えば、一つまたは複数のアンテナや、無線通信ネットワーク(例えばネットワーク30)との通信を可能とするようなサポートハードウェアやソフトウェアを備えてもよい。固定ネットワークの環境においては、通信インタフェース74は、代替的にまたは一緒に有線通信をサポートしてもよい。ここで通信インタフェース74は、通信モデムや、ケーブルによる通信をサポートするその他のハードウェアやソフトウェア、デジタル加入者回線(DSL)、USB、イーサネットまたは他の通信機構のいずれか一つ以上を含んでいてもよい。
ユーザインタフェース67は、ユーザインタフェース67でなされるユーザ入力を表す情報を受け取ったり、可聴的・視覚的・機械的・またはその他の出力をユーザに提供したりするために、プロセッサ70と通信する。ここでユーザインタフェース67は、例えば、キーボードやマウス、ジョイスティック、ディスプレイ、タッチスクリーン、マイクロホン、スピーカ、またはその他の入力/出力機構を含んでもよい。装置がサーバやその他のネットワークデバイスとして具現化される例示的実施形態によっては、ユーザインタフェース67は制限されたものであったり、離れたところに設けられていたり、取り除かれていたりしてもよい。プロセッサ70は、ユーザインタフェースの一つまたは複数の要素の少なくとも何らかの機能を制御するように構成されるユーザインタフェース回路を有していてもよい。そのような要素には、例えば、スピーカやリンガ、マイクロホン、ディスプレイ、及びそれらと同様のものの、一つ以上がある。プロセッサ70や、プロセッサ70有するユーザインタフェース回路は、プロセッサ70がアクセス可能なメモリ(例えばメモリデバイス706など)に格納されるコンピュータプログラム命令(例えばソフトウェアやファームウェア)を通じてユーザインタフェースの一つまたは複数の要素の一つまたは複数の機能を制御するように構成されてもよい。
装置50は、カメラモジュール36のようなメディアキャプチャ要素を含む。カメラモジュール36はプロセッサ70やディスプレイ85と通信するカメラモジュールやビデオモジュール、オーディオモジュールのいずれか一つ以上を含んでもよい。カメラモジュール36は、保存、表示、または送信するために、画像やビデオ、オーディオのいずれか一つ以上をキャプチャする、如何なる手段であってもよい。例えばカメラモジュールは、キャプチャしたイメージからデジタル画像ファイルを形成する能力を有するデジタルカメラを含んでもよい。ここでカメラモジュール36は、レンズやその他の光学部品のような全てのハードウェアと、キャプチャされたイメージからデジタル画像ファイルを形成するために必要なソフトウェアを含んでもよい。別の実施例では、カメラモジュール36は、イメージを見るために必要なハードウェアしか有しておらず、メモリデバイス76などの、装置50のメモリデバイスが、キャプチャされたイメージからデジタル画像ファイルを形成するために必要なソフトウェアの形態で、プロセッサに実行されるための命令を格納していてもよい。例示的実施形態によっては、カメラモジュール36は、プロセッサ70が画像データを処理することを補助するコプロセッサや、画像データを圧縮・伸長するためのエンコーダ及び/又はデコーダのような処理要素をさらに含んでいてもよい。エンコーダ及び/又はデコーダは、JPEG標準フォーマットやその他の同様のフォーマットに従ってエンコーダやデコードを行ってもよい。ある例では、カメラモジュール36はイメージデータをリアルタイムでディスプレイ85に提供してもよい。ここでカメラモジュール36は、リアルタイムのイメージデータや静止画像データ、動画データ、又は他の適当なデータを表示すべく、ディスプレイ85にカメラビューを実装したりその補助をしたりしてもよい。さらに、実施形態によっては、ディスプレイ85は装置のある側面に設けられてもよく、カメラモジュール36は、ディスプレイ85に関して装置50の反対側の側面に設けられるレンズを備えてもよい。それによって、装置50の一方の側のイメージをキャプチャすることができ、装置50の他方の側にいるユーザに、当該イメージの現在のビューを提示することができる。
さらに装置50、測位センサ72を備えていてもよい。測位センサ72は、例えば、全地球測位システム(GPS)センサやアシスト型GPSセンサ、Bluetooth(BT)−GPSモジュール、その他のGPS又は測位受信機や同様のものを含んでいてもよい。ある実施例においては、測位センサ72は歩数計又は慣性センサを備えていてもよい。ここで測位センサ72は、装置50の位置を決定する能力を有していてもよい。決定される位置は、例えば、装置50の経度や緯度の方向や、目的地や出発地のような基準値からの相対的な位置のようなものであってもよい。測位センサ72はまた、装置50の高度を決定する能力を有していてもよく、装置50の位置を決定するために高度情報を使用してもよい。測位センサ72からの情報は、装置50のメモリ又はその他のメモリデバイスに送信され、位置の履歴や位置情報として格納される。ここで、例えば、位置履歴は各時間における装置50の位置に対応するデータポイントの組を定めてもよい。装置50の様々なイベントやアクティビティが、測位センサ72によって提供される位置の履歴や位置情報に関連付けられて記録されてもよい。
実施形態によっては、装置50はさらに、方位モジュール71を備える(又はそれと通信する)。方位モジュール71は、装置50又は装置50のカメラモジュール36の視野の方位を決定するように構成される、ハードウェアやハードウェア及びソフトウェアの組み合わせとして具現化されるデバイスや回路などの如何なる手段であってもよい。方位モジュール71はレイヤ提案モジュール78と通信してもよい。
方位モジュール71は、ある基準に対する装置50の方位を決定するように構成されてもよい。ある例において、この基準は、北や他の基本方位などの特定の方角であってもよい。別の基準が用いられてもよい。ある実施例では、方位モジュール71は、装置50が向いている方角や、カメラモジュール36のレンズがポイントしている方向を決定するように構成される、コンパスやその他の方位センサを備えてもよい。方角や向きは、基準からオフセットした角度(例えば0から360度)の観点で決定されてもよい。ある例においては基準は固定されている。例えば固定された基準の方角がある。別の例では、基準は場合に応じた基準(reference of opportunity)であり、例えば、カメラモジュールでキャプチャされたイメージ中で最も目を引く特徴や、または単純に初めの方角などであることができる。実施形態によって、方位モジュール71は電子コンパスや水平センサ、重力センサ、加速度計、ジャイロスコープ、磁力計、及び/又は同様のものや、方位情報を決定するのに有用でありうる如何なるセンサを含んでもよい。
実施形態よっては、プロセッサ70は、レイヤ提案モジュール78として具現化されてもよく、またはそれを含むように、またはそれを制御するように、具現化されてもよい。ある実施形態では、プロセッサ70は、本明細書で説明されるような、レイヤ提案モジュール78による様々な機能の実行や発現を、行わせると表現されたり、命令するまたは制御すると表現されたりしてもよい。レイヤ提案モジュール78は、本明細書で説明されるような、レイヤ提案モジュールの対応する機能をデバイスや回路に遂行させるように構成される、(ソフトウェアに従って制御される)デバイスや回路のような手段であってもよく、またはハードウェアやハードウェア及びソフトウェアの組み合わせとして具現化されてもよい。例えば、ソフトウェアの制御下で動作するプロセッサ70や、本明細書で説明される処理を実行するように特別に構成されたASICやFPGAなどとして構成されたプロセッサ70や、これらの組み合わせとして具現化されてもよい。ソフトウェアが用いられる実施例では、当該ソフトウェアを実行するデバイスまたは回路(その一例はプロセッサ70であるが)は、上記のような手段に関連する構成を形成する。
実施例によっては、レイヤ提案モジュール78は、装置50の現在の場所(や位置)を表す位置情報や、装置50に現在表示されている現実世界のオブジェクトの場所(や位置)を表す位置情報を受け取るように構成されてもよい。そのような情報は、例えば測位センサ72から得られてもよい。レイヤ提案モジュールはまた、例えば方位モジュール71から、現在の場所に関する装置50の方位を示す方位情報を受け取るように構成されてもよい。すなわち、装置50が現在位置において期待しうる視野(field of view)を、現在位置と方位の情報に基づいて決定しうるように、レイヤ提案モジュール78は、(ある基準に対する移動端末10の方位を示す情報または記述する情報)を受け取ってもよい。レイヤ提案モジュール78は、その後、拡張現実情報/バーチャルリアリティ情報(以下、AR情報とも称される)を、ARリポジトリ84から呼び出す(または要求する)。ARリポジトリ84は、現在位置と方位情報とを相互に関連付けている。本明細書で言及されるとき、AR情報は、現実世界のオブジェクトの位置情報に対応する、ジオコードにより符号化された情報を含んでもよい。なおAR情報との語句は、本明細書においてバーチャル情報と言い換え可能に使用されている。また、上記の位置情報は、例えば経度や緯度、高度の座標であることができ、上記の現実世界のオブジェクトは、例えば建物やランドマークなどであることができる。AR情報は、一つまたは複数の情報レイヤを含んでもよい。現実世界のオブジェクトは、カメラモジュール36のカメラビューやディスプレイ85に表示された、装置50の現在位置の中のオブジェクトに関連付けられてもよい。情報レイヤは、例えばアイコン、絵文字、イメージといったものや同様のもののような、一つまたは複数のバーチャルオブジェクトに関連付けられてもよい。情報レイヤはまた、一つまたは複数のコンテンツプロバイダにより提供されてもよい(必ずしも提供されなくともよいが)情報やコンテンツ、データといったものや同様のものに対応するものであってもよい。上記のコンテンツプロバイダは、例えばサービスプロバイダであってもよく、例えば、Wikipedia(登録商標)やTwitter(登録商標)、YouTube(登録商標)、Picasa(登録商標)のようなもののサービスプロバイダであってもよい。
実施形態によっては、ARリポジトリ84は、メモリデバイス76の一部分であってもよく、または、複数のAR情報を格納する外部のメモリまたはデータベースであってもよい。代替的に、ARリポジトリ84は、レイヤ提案モジュール78に結びついていてもよい。
ARリポジトリ84は一つまたは二つの情報レイヤや、AR情報のアイテムなどのAR情報、またその他の適切なデータに関連する情報を格納してもよいことは述べておくべきであろう。AR情報は、例えばテキストやオーディオ、イメージ、画像、写真、動画データなどのようなデータを含むか又はそのようなデータに関連付けられる、ジオコードにより符号化された情報を含んでもよい。なお、必ずしも含まなくてもよい。ジオコードにより符号化された情報は、例えば経度や緯度、高度の座標のような、位置情報に対応する地理的座標を含んでもよい。ある例示的実施形態において、ARリポジトリ84に格納されるイメージは、特定の場所や方角に関連するパノラマ画像である。
ある実施形態では、レイヤ提案モジュール78は、位置情報及び方位情報を受信した後に、ARリポジトリ84からAR情報を選択してもよい。しかし別の実施形態では、いくつかのイメージが、おそらく方位情報が知られる前に又は特定のAR情報が要求される前に、位置情報に基づいて、プリフェッチされてもよい。プリフェッチされたAR情報は、リモートのソースから受信されローカルに格納されてもよい。そのようにすれば、検索処理の間に取り扱わなければならないであろうAR情報のセットが小さくて済むため、AR情報を検索しなければならないとき、現在の位置や方位情報に適合する特定のAR情報を検索するのに必要な計算リソースの消費量が少なくてすむだろう。
ある例示的実施形態のレイヤ提案モジュール78は、提案する情報レイヤを一つ又は複数自動的に生成するために、測位センサ72により提供される位置情報、及び/又は、方位モジュール71から提供される方位情報を利用してもよい。提案される情報レイヤは、例えばバーチャルオブジェクトであることができ、それは、例えばコンテンツプロバイダの情報に対応するアイコンであることができる。提案される情報レイヤは、カメラモジュールのカメラビューやディスプレイ85に表示されうる、装置50の環境中の現実世界のオブジェクトに対応する情報に関連したものであってもよい。提案される情報レイヤは、リスト中に提供されてもよい(必ずしもそうでなくてもよい)。提案される情報レイヤは、ユーザにより選択されるためのアイコンによるオプションレイヤであってもよい。
ある例示的実施形態において、提案されるレイヤは、レイヤ提案モジュール78によってディスプレイ85のカメラビューに提供される。提案されるレイヤは、現在イネーブルにされている情報レイヤが所定の閾値以上の所定のAR情報を提供しない場合に、ユーザの選択に供される。この閾値は、例えば、AR情報のアイテム数(例えばアイコンの数)が30個などと設定することができる。例えばユーザは現在、Wikipediaのアイコンに関連付けられるバーチャルオブジェクトを提供すべく、Wikipediaの情報レイヤを選択しているとしよう。このような状況において、現在イネーブルにされている情報レイヤに対応するAR情報が、所定の閾値より少ない場合は、レイヤ提案モジュール78は、ディスプレイ85のカメラビューに提案するレイヤを自動的に提供し、選択に供してもよい。一方、現在イネーブルにされている情報レイヤのAR情報が所定の閾値以上である場合、ユーザが満足するに十分な程度のAR情報が提供されているであろうと考えられるため、レイヤ提案モジュール78は、ディスプレイ85のカメラビューにレイヤ提案を提供し選択に供することはしないであろう。
レイヤ提案モジュール78がディスプレイ85のカメラビューに情報レイヤの提案を提供する場合、装置50のユーザは、提案された情報レイヤの一つを選択してもよい。提案された情報レイヤ(例えばコンテンツプロバイダのバーチャルオブジェクト)の一つを選択することに応じて、選択された情報レイヤに関連する情報がディスプレイ85のカメラビューに提供され、表示されてもよい。イネーブルにされている情報レイヤのAR情報が所定の閾値以下である場合にレイヤ提案モジュール78によって提供される提案レイヤは、イネーブルにされている情報レイヤのAR情報と同じカテゴリ(例えば写真やイメージ)に対応してもよいことは、述べておくべきであろう。この点について以下により詳細に説明する。
本発明の例示的実施形態の一つが、図5を参照して説明される。限定の目的ではなく例示の目的のために、装置50のユーザがカメラモジュール36を現実世界の環境に向けて、ディスプレイ85のカメラビューに表示されているであろうイメージやライブビデオをキャプチャするという例を考えてみよう。ここで、測位センサ72はレイヤ提案モジュールに、経度や緯度、高度の座標などの位置情報を提供してもよく、方位モジュール71は、方角情報などの方位情報をレイヤ提案モジュール78及び/又はプロセッサ70に提供してもよい。これらの情報は、装置の現在位置や、ディスプレイ85のカメラビューに表示されている現実世界のオブジェクトの現在位置に基づいて提供されてもよい。
装置50のユーザが、例えばユーザインタフェース67のポインティングデバイスなどのユーザインタフェース67を、情報レイヤを選択してイネーブルにするために利用したとさらに仮定しよう。この例では、ユーザは、カメラモジュール36を現実世界の環境に向ける前に、対応する情報レイヤをイネーブルにするためにユーザインタフェース67を利用したかもしれない。ユーザは情報レイヤを、ディスプレイ85に提供されるメニューやフォルダ、ボタン、また同様のものを用いて、情報レイヤを選択したかもしれない。この例示的実施形態では、コンテンツプロバイダであるFlickr(登録商標)によって提供される、flickr.com,に対応する情報レイヤを選択しイネーブルにしている。コンテンツプロバイダFlickrは、ジオタグが付されたイメージやビデオのサービスを提供しているだろう。
ジオタグが付されたイメージやビデオは、例えば経度や緯度、高度の座標などの位置情報に関連付けられていてもよい。ジオタグが付されたイメージやビデオは、ディスプレイ85のカメラビューに表示された現実世界のオブジェクトの中で、前記ジオタグが付されたイメージやビデオの位置情報に対応するオブジェクトの位置情報が表示されるときに、ディスプレイ85のカメラビューに提供されてもよい。すなわち、ディスプレイ85のカメラビューに表示された現実世界のオブジェクトの位置情報が、Flickrで提供される、ジオタグが付されたイメージビデオの一つ又は複数の位置情報に一致したり又は事実上似ていたりする場合に、ジオタグが付されたイメージやビデオのうち対応するものが、ディスプレイ85に提供されてもよい。
位置情報及び/又は方位情報を測位センサ72や方位センサ71からそれぞれ受信することに基づいて、レイヤ提案モジュール78はARリポジトリ84にアクセスし、イネーブルにされた情報レイヤ(例えばflickr.com)に、ディスプレイ85のカメラビューに表示された現実世界環境のオブジェクトに対応するAR情報(例えばジオタグがされたイメージやビデオなど)が存在するかどうかを判断する。この例示的実施形態においては、レイヤ提案モジュール78は、ディスプレイ85のカメラビューに表示された現実世界の環境の位置情報に関連する、位置情報を有するAR情報のアイテムを一つ決定する。ここでレイヤ提案モジュール78は、現実世界の環境の位置情報に関連するAR情報5のアイテム(例えばflickr.comが提供するアイコン)をディスプレイ85に提供し、表示されるようにしてもよい。
レイヤ提案モジュール78は、ディスプレイ85に表示されるAR情報のアイテムが一つしかないため、イネーブルにされた情報レイヤに対応するAR情報が、所定の閾値より少ないことを決定してもよい。この閾値は、例えば、AR情報のアイテムが30個又は40個などとしてもよく、又はさらに別の適当な値としてもよい。ここでレイヤ提案モジュール78は、ディスプレイ85に提供して選択に供すべく、提案する情報レイヤを一つ又は複数自動的に生成してもよい。ここでレイヤ提案モジュール78は、ARリポジトリ84をチェックして、ディスプレイ85のカメラビューに表示されている現実世界環境の位置情報に対応する他の情報レイヤに関連して、ジオコードにより符号化されたAR情報が存在するかどうかを決定してもよい。例示的実施形態によっては、レイヤ提案モジュールは、ユーザによりイネーブルにされた情報レイヤと同じカテゴリの中の情報レイヤに関連するAR情報のために、ARリポジトリ84をチェックする。レイヤ提案モジュール78は、データのプロバイダにより生成されたかもしれない、AR情報に関連するデータの説明を解析して、AR情報をカテゴリ化してもよい。この例では、拡張現実において一つ又は複数の画像や写真、ビデオを提供することに関連しうる、flickr.comのような情報レイヤをユーザはイネーブルにしている。
上記のように、レイヤ提案モジュール78は、ユーザによって選択されイネーブルにされた情報レイヤのカテゴリと同じカテゴリの情報レイヤを一つ又は複数提案してもよい。例えば、レイヤ提案モジュール78は、PicasaやYouTubeのようなコンテンツプロバイダに対応する情報レイヤのために、ディスプレイのカメラビューに表示された現実世界環境の位置情報に対応する、ジオコードにより符号化された情報があるかどうかを判断してもよい。なお上記位置情報や、ジオコードにより符号化された情報は、例えば、経度や緯度、高度の少なくとも一つの座標であることができる。ここで、レイヤ提案モジュール78は、Picasa情報レイヤ7やYouTube情報レイヤ9を自動的にユーザに提案してもよい。この提案は、図5に描かれるように、情報レイヤ7及び9を、装置50のユーザの選択に供されるようにディスプレイ85に提供することにより行われてもよい。Picasa及びYouTube情報レイヤ7,9は画像や写真、ビデオ等を提供することに関してもよく、レイヤ提案モジュール78は、Picasa情報レイヤ7やYouTube情報レイヤ9のAR情報が、同じく画像や写真、ビデオ等を提供するサービスに関するFlickr情報レイヤ5と同じカテゴリに属することを決定してもよい。
レイヤ提案モジュール78によってディスプレイ85に提供された、提案された情報レイヤ7及び9は、半透明のバーチャルオブジェクトであってもよく、例えばそのようなアイコンや絵文字、その他の適当なグラフィック要素などであることができる。提案された情報レイヤ7及び9のバーチャルオブジェクトは、これらがまたアクティブになっていないことを示すために、図5に示されるように半透明に表示されていてもよい。例示的実施形態によっては、情報レイヤ7や9は、装置50のユーザにより選択されたときにアクティブになってもよい。この点につき、ユーザは、ポインティングデバイスなどのユーザインタフェース67を、ディスプレイ85に表示される情報レイヤ7及び9の一つ又は複数を選択するために利用してもよい。代替的に又は追加的に、ディスプレイ85がタッチディスプレイ又はタッチスクリーンとして構成されうる実施形態においては、ユーザは、情報レイヤ7及び9の一つ又は複数を選択するために、指や同様のものを利用してもよい。
この例では、ユーザはPicasa情報レイヤ7を選択し(すなわちPicasaのアイコンを選択し)、Picasa情報レイヤ7をアクティブにして、Picasa情報レイヤ7のAR情報がユーザにとって重要で興味のあるものであるかを判断してもよい。装置50のユーザは、レイヤ提案モジュール78のユーザ設定にアクセスして、情報レイヤの提案を生成する機能をアクティブにしてもよい。さらにユーザは、ユーザ設定にアクセスして、情報レイヤの提案を生成する機能を非アクティブにしてもよい。この場合、レイヤ提案モジュール78は、現在イネーブルにされている情報レイヤ(例えばFlickr情報レイヤ5)がコンテンツ(例えばAR情報)を全く提供しないか又はほとんど提供しない場合であっても、ユーザの選択に供する情報レイヤを提案しなくともよい。
図6を参照して、提案された情報レイヤのうち選択されたものに関連付けられるグラフィック要素であって、現実世界のオブジェクトに重ね合わせられたグラフィック要素の例示的実施形態を紹介する。図6は、上述の図5の例において、レイヤ提案モジュール78によって提案されたPicasa情報レイヤ7をユーザ選択した状況を描いている。図6に示されるように、提案された情報レイヤ(すなわちPicasa情報レイヤ)の選択に応じて、レイヤ提案モジュール78は、対応するAR情報のアイテム11,15,17,19,21を、ディスプレイ85のカメラビューに提供してもよい。この例において、ディスプレイ85のカメラビューに提供されるAR情報のアイテム11,15,17,19は、例えばアイコンや絵文字などのグラフィック要素のような、提案され選択されたPicasa情報レイヤ7に関連する一つ又は複数のバーチャルオブジェクトであってもよい。(なお、そうでなくてもよい。)図6に描かれるように、レイヤ提案モジュール78は、提案したPicasa情報レイヤ7の選択に応じて、該Picasa情報レイヤ7を、非透明的な形でディスプレイ85のカメラビューに提供する。提案したPicasa情報レイヤ7を透明ではない形態でディスプレイ85のカメラビューに提供することは、Picasa情報レイヤ7がアクティブであることを示してもよい。Picasa情報レイヤ7に関連するAR情報のアイテムもまた、レイヤ提案モジュール78によってディスプレイ85のカメラビューに提供されてもよい。それは、情報のアイテムがアクティブであり、AR情報のアイテム11,15,17,19,21に関連するデータやコンテンツを取得するために選択可能であることを示してもよい。
AR情報のアイテム11,15,17,19,21は、例えばARリポジトリ84のような記憶装置から、レイヤ提案モジュール78によって検索し読み出されてもよい(すなわちリトリーブされてもよい)。この点につき、レイヤ提案モジュール78は、AR情報のアイテム11,15,17,19,21が、ディスプレイ85のカメラビューに表示される現実世界環境の現在位置情報に対応する、ジオコードにより符号化されたコンテンツに部分的に関連するデータに対応するかどうかを判断してもよい。例えば、レイヤ提案モジュール78は、AR情報のアイテム11,15,17,19,21の座標が、ディスプレイ85に表示されている現実世界のオブジェクトの座標と同じであるか又は近いかを判断してもよい。ここで上記の座標は、例えば緯度や経度、高度のいずれか一つ以上であってもよい。
AR情報のアイテム11,15,17,19,21のいずれかを選択することは、レイヤ提案モジュール78に、当該選択されたアイテムに関連する情報を、ディスプレイ85のカメラビューに提供することを可能にし、又はその契機となってもよい。AR情報のアイテムは、ユーザインタフェース67を介してユーザによって選択されてもよい。例えばユーザインタフェース67のポインティングデバイスを用いて選択されてもよい。また、ディスプレイ85がタッチディスプレイやタッチスクリーンを有する場合は、上述のように、指などを用いて選択されてもよい。
ここで、AR情報のアイテム11,15,17,19,21のうち選択された一つ又は複数のアイテムに関連するコンテンツやデータは、ディスプレイ85カメラビューに提供されてもよい。これらコンテンツやデータは、例えば、ディスプレイ85に表示される現実世界のオブジェクトについての記事であってもよい。ある例示的実施形態では、AR情報のアイテム11,15,17,19,21のうち選択された一つ又は複数のアイテムに関連するコンテンツは、ディスプレイ85のカメラビューに表示された現実世界のオブジェクトに対応する領域に重ね合わせられて表示されてもよい。(なお、必ずしもそうでなくてもよい。)別の例示的実施形態では、AR情報のアイテム11,15,17,19,21のうち選択された一つ又は複数のアイテムに関連するコンテンツは、カメラビューに表示される現実世界のオブジェクトのビューは無しに、それ自体でディスプレイ85に表示されてもよい。このような例が便利な場合があり、例えば、AR情報のアイテムのうち選択されたものに関連するデータが、カメラモジュール36でキャプチャされている現実世界のオブジェクトのリアルタイムのイメージやビデオに重ね合わせには大き過ぎる場合に便利である。
レイヤ提案モジュール78は、オフラインモードでもオンラインモードでも動作可能であってもよいことは、述べておく必要があるだろう。オフラインモードでは、装置50は、例えばネットワークデバイスのようなリモートソースのAR情報にアクセスするためのネットワーク30との接続を有していないかも知れない。(上記のリモートソースは、例えば第2通信デバイス20のようなサーバであることができる。)この場合、レイヤ提案モジュール78は、提案した一つ又は複数の情報レイヤに関連する情報や、対応するAR情報のアイテムを、ARリポジトリ84から得てもよい。ここで、提案した情報レイヤに関連する情報やAR情報のアイテムは、メモリデバイス76のARリポジトリに予めロードされておいてもよい。加えて、提案した一つ又は複数の情報レイヤに関連する情報や対応するAR情報のアイテムは、パーソナルコンピュータなどの他のデバイスを用いてネットワーク30を介してダウンロードされ、例えばUSBメモリデバイスなどを使って装置50に転送され、メモリデバイス76に格納されてもよい。
オンラインモードでは、装置50は、ネットワーク30を介して一つ又は複数のデバイス(例えば第2・第3の通信デバイス20・25)と通信することができてもよく、装置50のユーザに提案された一つ又は複数の情報レイヤに関する情報や、対応するAR情報のアイテムを取得することができてもよい。例えば、図7に描かれるように、装置50は、ユーザに提案された一つ又は複数の情報レイヤに関する情報や、対応するAR情報のアイテムを受信するために、指定されたネットワークデバイス108(例えば第2通信デバイス20のようなサーバ)と通信することができてもよい。ここで、レイヤ提案モジュール78は、ネットワークデバイス108にクエリを送信し、一つ又は複数の情報レイヤに関する情報や、対応する情報アイテムを要求してもよい。クエリは、装置50の現在位置や、ディスプレイ85のカメラビューに表示される現実世界のオブジェクトの位置を特定するために、測位センサ72から供給される位置情報を含んでもよい。
クエリの受信に応じて、ネットワークデバイス108は、そのメモリの一つ(例えば図8のメモリ96)を分析して、情報レイヤ(例えばWikipediaやTwitter,Picasaなどのコンテンツプロバイダの情報レイヤ)に関連する何らかの情報や、装置50のレイヤ提案モジュール78から提供された位置情報に対応する、前記情報レイヤに対応するAR情報を有しているか否かを判断してもよい。ネットワークデバイス108が、位置情報に関連する情報レイヤや対応するAR情報に関係する情報を有していると判断したときは、ネットワークデバイス108は、レイヤ提案モジュール78に、その情報を送信してもよい。この場合、レイヤ提案モジュール78は、ディスプレイ85のカメラビューに、一つまたは複数の情報レイヤを自動的に提案するために、受信した情報を利用する。また、提案した情報レイヤのひとつ又は複数が選択されたことを知ることに応じて、レイヤ提案モジュール78は、一つ又は複数の対応するAR情報アイテムを、ディスプレイ85に提供する。
一方、ネットワークデバイス108が、クエリにより提供される位置情報に関連する情報を何も持っていないと判断した場合は、ネットワークデバイス108は、一つ又は複数の他のネットワークデバイス110,112(例えば第3の通信デバイス25)に、位置情報を含むクエリを送信してもよい。ネットワークデバイス108によって送信されたクエリは、レイヤ提案モジュール78が所望している情報レイヤや対応するAR情報アイテムに関連する情報のリクエストを含んでもよい。ネットワークデバイス110,112の一つ又は複数のものから、情報レイヤのデータやAR情報を受信することに応じて、ネットワークデバイス108は、受信した情報をレイヤ提案モジュール78に送信してもよい。送信された情報は、レイヤ提案モジュール78によって、上述のように、情報レイヤを提案するために使用されてもよい。
一つ又は複数のネットワークデバイスのために、提案した一つ又は複数の情報レイヤや対応するAR情報アイテムに関する情報を得ることの利点は、装置50と各ネットワークデバイスとの間で必要な情報のみが送信されればよいので、使用する帯域幅が最小限となりうることである。例えば、装置50がネットワークデバイス110,112と直接通信し、情報レイヤや対応するAR情報アイテムに関連する情報を得ようとすると、装置は、ネットワークデバイス110,112へのクエリの全てを生成しなければならない可能性があるので、必要とされる帯域幅はかなり大きなものになりうる。また、クエリに対するネットワークデバイス110,112からの応答も、多くの場合、必要とされるものよりもかなり多い情報を含むことがあり、それらを装置50が選別するには、全ての情報が装置50に送信される必要があるだろう。
このように、装置50がネットワーク(例えばネットワーク30)との通信接続を有するような場合は、装置50にとって、一つ又は複数の情報レイヤを自動的に提案し、対応するAR情報アイテムを提供するために使用しうる情報を受け取るために、指定されたネットワークデバイスと通信することは、有益なことであってもよい。
図8は、例えば図7のネットワークデバイス108,110,112のような、ネットワーク要素の例示的実施形態のブロックダイヤグラムである。図8に示されるように、例えばサーバなどのネットワーク要素は、一般的に、プロセッサ94と、それに関連付けられるメモリ96とを有する。メモリ96は揮発性及び/又は非揮発性のメモリを含んでもよく、コンテンツやデータ、及び/又は同様のものを格納してもよい。メモリ96は、クライアントアプリケーションや命令、及び/又は同様のものを格納してもよく、これらは、ネットワーク要素の様々な処理を実行するために、プロセッサ94により用いられる。
プロセッサ94は、少なくとも一つの通信インタフェース98や、コンテンツやデータ及び/又は同様のものを表示したり、送信及び/又は受信したりするためのその他の手段に接続されていてもよい。ユーザ入力インタフェース95は、ネットワーク要素がユーザからのデータを受信すること可能にするいくつもの数のデバイスを含んでいてもよい。例えば、キーパッドやタッチディスプレイ、ジョイスティック、その他の入力デバイスを含んでいてもよい。ここでプロセッサ94は、ユーザ入力インタフェースの一つ又は複数の要素の少なくともいずれかの機能を制御するように構成されるユーザインタフェース回路備えていてもよい。プロセッサ及び/又は当該プロセッサのユーザインタフェース回路は、プロセッサによりアクセス可能なメモリに格納されたコンピュータプログラム命令を通じて、ユーザインタフェースの一つ又は複数の要素の一つ又は複数の機能を制御するように構成されてもよい。このようなコンピュータプログラム命令は、例えばソフトウェア及び/又はファームウェアであることができる。当該メモリは、例えば、揮発性、非揮発性、及び/又は同様のものであることができる。
ネットワーク要素は、例えばある実施例の装置50やネットワークデバイス108のようなデバイスから、情報レイヤや対応するAR情報アイテムに対応する情報についての一つ又は複数のクエリを受信してもよい。このようなクエリは、装置50の現在位置を示す位置情報や、ディスプレイ(例えばディスプレイ85)のカメラビューの中の現実世界オブジェクトに関連する位置情報を含んでもよい。メモリ96から関連する情報を検索し読み出すことに応じて、ネットワーク要素のプロセッサ94は、読み出された情報を、ネットワークデバイス(その情報をさらに装置50に送信しうるネットワークデバイス)に送信することを行なえるようにする。別の例では、プロセッサ94は、読み出した情報を、直接装置50に送信してもよい。それによって、レイヤ提案モジュール78は、前述のように、一つ又は複数の情報レイヤの提案を自動的に生成し、関連するAR情報アイテムを表示のために提供するために、当該情報を使用してもよい。
図9は、ある例示的実施形態のフローチャートであって、拡張現実において、一つ又は複数の情報レイヤの提案を自動的に生成する処理のフローチャートである。処理900において、イネーブルにされている情報レイヤが、所定の閾値より多いAR情報を提供しているかどうかを判断するための手段を含んでもよい。このような手段は、例えばレイヤ提案モジュール78やプロセッサ70、及び/又は同様のものであることができる。イネーブルにされている情報レイヤは、例えばFlickr情報レイヤ5であることができ、所定の閾値は、例えば、AR情報アイテム(例えばアイコン)の数が30であることができる。装置50のレイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような上記手段が、イネーブルにされている(一つ又は複数の)情報レイヤのAR情報アイテムが所定の閾値より多いと判断した場合は、処理は終了してもよい。装置50のレイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような上記手段が、イネーブルにされている(一つ又は複数の)情報レイヤのAR情報アイテムが所定の閾値より少ないと判断した場合は、処理905において、レイヤ提案モジュール78やプロセッサ70及び/又は同様のものは、イネーブルにされている(一つ又は複数の)情報レイヤと同じカテゴリの一つ又は複数の情報レイヤについて、現在位置に対応する情報(例えばAR情報)が利用可能であるかどうかを判断する。
装置50のレイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような手段が、イネーブルにされている(一つ又は複数の)情報レイヤと同じカテゴリの一つ又は複数の情報レイヤについて、現在位置に対応する情報が利用可能であると判断することに応じて、処理910では、レイヤ提案モジュール78やプロセッサ70及び/又は同様のものが、自動的に、一つ又は複数の情報レイヤを提案する。提案される情報は、例えば、Picasa情報レイヤ7及び/又はYouTube情報レイヤ9であることができる。提案された情報レイヤは、選択に供されるために提供されてもよい。ある例示的実施形態では、装置50は、提案した情報レイヤを、選択に供するべくデバイス(例えばディスプレイ85)に提供するために、レイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような手段を有する。装置50のレイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような手段が、イネーブルにされている情報レイヤと同じカテゴリの一つ又は複数の情報レイヤにおいて情報が利用可能でないと判断する場合は、処理は終了してもよい。
提案された一つ又は複数の情報レイヤの選択を受け取ることに応じて、処理915において、装置50は、選択された情報レイヤをアクティブにし、一つ又は複数の対応するAR情報のアイテム(例えばAR情報のアイテム11,15,17,19,21)を選択に供するべく提供することができるように、レイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような手段を有する。対応するAR情報アイテムは、ディスプレイ(例えばディスプレイ85)のカメラビューに、上述のような形態で、選択に供されるべく提供されてもよい。
例えばAR情報のアイテム11,15,17,19,21のような、AR情報の一つ又は複数のアイテムの選択を受け取ることに応じて、処理920において、装置50は、選択された一つ又は複数のAR情報アイテムに対応するデータをデバイス(例えばディスプレイ85)に提供するために、レイヤ提案モジュール78やプロセッサ70及び/又は同様のもののような手段を有する。ある実施例では、AR情報のアイテムの選択に対応するデータは、ディスプレイのカメラビューに現在表示されている現実世界の対応するオブジェクトに重ね合わせられてもよい。
図9は、本発明の例示的実施形態に従うシステムや方法、コンピュータプログラム製品のフローチャートであることは述べておく必要があるだろう。フローチャートの各ブロックや、フローチャートの複数のブロックが組み合せられたものは、例えばハードウェアやファームウェア、一つ又は複数のコンピュータプログラム命令を含むコンピュータプログラム製品など、様々な手段によって実装されうる。例えば上に説明された一つ又は複数の処理は、コンピュータプログラム命令にて具現化されてもよい。ここで、ある例示的実施形態では、上述の処理を具現化するコンピュータプログラム命令は、例えばメモリデバイス76,96などのメモリデバイスに格納され、プロセッサ70やレイヤ提案モジュール78、プロセッサ94などに実行される。理解されうるように、これらいかなるコンピュータプログラム命令も、コンピュータ又はその他のプログラム可能な装置(例えばハードウェア)にロードされて機械を生成することができる。すなわち、コンピュータや他のプログラム可能な装置で実行される命令は、フローチャートに特定される機能が実装されるようにする。ある実施形態において、コンピュータプログラム命令は、コンピュータ読み取り可能なメモリに格納され、コンピュータ又はその他のプログラム可能な装置が特定の仕方で機能するように指示することができる。すなわち、コンピュータ読み取り可能なメモリに格納された命令は、フローチャートのブロックで特定される機能を実装する命令を含む製品を生成する。コンピュータプログラム命令はまた、コンピュータ又はその他のプログラム可能な装置にロードされて、処理のシリーズをこれらの装置上で実行されるようにし、それによって、コンピュータにより実装される処理が生成される。すなわち、コンピュータ又は他のプログラム可能な装置で実行される命令は、フローチャートブロックで特定される機能を実装する。
このように、フローチャートブロックは、特定の機能を実行する手段の組み合わせをサポートする。理解されうるように、一つ又は複数のフローチャートのブロックやこれらの組み合わせは、専用目的のためのハードウェアベースのコンピュータシステムによって実装されることもできる。そのようなシステムは、特定の機能を実行する。一つ又は複数のフローチャートのブロックやこれらの組み合わせは、専用目的のためのハードウェアとコンピュータ命令の組み合わせによって実装されることもできる。
ある例示的実施形態において、上述の図9の方法を実行する装置は、上述の処理900−920のそれぞれ又はいくつかを実行するように構成される処理装置を備えてもよい。そのような処理装置は、例えば、プロセッサ70、レイヤ提案モジュール78、プロセッサ94であってもよい。処理装置は、例えば、ハードウェアにより実装された論理機能を実行することや、格納された命令を実行すること、又は、各処理を実行するためのアルゴリズムを実行することによって、処理900−920を実行するように構成されてもよい。別の形態では、装置は、上述の各処理を実行する手段を備えていてもよい。ここで、ある例示的実施形態に従うと、処理900−920を実行する手段の例は、例えば、レイヤ提案モジュール78,プロセッサ94,及び/又は命令を実行する回路や装置、又は上述のような情報処理を行なうアルゴリズムを実行する回路や装置を含んでもよい。
上述の説明や添付の図面に示される教示から利益を受ける、これらの発明に関する当業者の頭には、本明細書で説明された発明についての様々な変形や他の実施形態が浮かぶであろう。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、それらの変形や他の実施形態も、添付の請求項の範囲に含まれることが意図されていることを理解されたい。さらに、上述の説明や関連する図面は、例示的実施形態を、ある例示的な要素及び/又はこれらの組み合わせという文脈で説明しているが、これらの要素や機能の別の組み合わせも、添付の請求項の範囲を逸脱せずに、別の実施形態によって提供されることができることは理解されたい。ここで、例えば、上に例示的に説明されたものとは異なる、要素又は機能の組み合わせが、添付の請求項のいずれかに記載されうることがあることが想定されている。本明細書では具体的な用語が用いられているが、それらは一般的に説明するために用いられているおり、限定の目的のために用いられているわけではない。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/827,417 US9910866B2 (en) | 2010-06-30 | 2010-06-30 | Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality |
US12/827,417 | 2010-06-30 | ||
PCT/FI2011/050120 WO2012001219A1 (en) | 2010-06-30 | 2011-02-10 | Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013539090A JP2013539090A (ja) | 2013-10-17 |
JP2013539090A5 true JP2013539090A5 (ja) | 2014-07-03 |
JP5671137B2 JP5671137B2 (ja) | 2015-02-18 |
Family
ID=45399371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013517419A Active JP5671137B2 (ja) | 2010-06-30 | 2011-02-10 | 拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9910866B2 (ja) |
EP (1) | EP2588944A4 (ja) |
JP (1) | JP5671137B2 (ja) |
CN (1) | CN103069370B (ja) |
CA (1) | CA2804096C (ja) |
WO (1) | WO2012001219A1 (ja) |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10896327B1 (en) * | 2013-03-15 | 2021-01-19 | Spatial Cam Llc | Device with a camera for locating hidden object |
KR101606727B1 (ko) * | 2010-06-25 | 2016-03-28 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
KR101719982B1 (ko) * | 2010-07-19 | 2017-03-27 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9069760B2 (en) * | 2010-08-24 | 2015-06-30 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
US9727128B2 (en) * | 2010-09-02 | 2017-08-08 | Nokia Technologies Oy | Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode |
KR101357260B1 (ko) * | 2010-10-22 | 2014-02-03 | 주식회사 팬택 | 증강 현실 사용자 인터페이스 제공 장치 및 방법 |
US8972895B2 (en) | 2010-12-20 | 2015-03-03 | Target Brands Inc. | Actively and passively customizable navigation bars |
KR101324336B1 (ko) * | 2010-12-28 | 2013-10-31 | 주식회사 팬택 | 증강 현실 제공 단말기 |
KR101770262B1 (ko) * | 2011-03-16 | 2017-08-22 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
US9639857B2 (en) | 2011-09-30 | 2017-05-02 | Nokia Technologies Oy | Method and apparatus for associating commenting information with one or more objects |
USD715818S1 (en) | 2011-12-28 | 2014-10-21 | Target Brands, Inc. | Display screen with graphical user interface |
USD705790S1 (en) | 2011-12-28 | 2014-05-27 | Target Brands, Inc. | Display screen with graphical user interface |
USD703686S1 (en) | 2011-12-28 | 2014-04-29 | Target Brands, Inc. | Display screen with graphical user interface |
USD705792S1 (en) | 2011-12-28 | 2014-05-27 | Target Brands, Inc. | Display screen with graphical user interface |
USD703687S1 (en) | 2011-12-28 | 2014-04-29 | Target Brands, Inc. | Display screen with graphical user interface |
US9024954B2 (en) * | 2011-12-28 | 2015-05-05 | Target Brands, Inc. | Displaying partial logos |
USD706794S1 (en) | 2011-12-28 | 2014-06-10 | Target Brands, Inc. | Display screen with graphical user interface |
USD705791S1 (en) | 2011-12-28 | 2014-05-27 | Target Brands, Inc. | Display screen with graphical user interface |
USD712417S1 (en) | 2011-12-28 | 2014-09-02 | Target Brands, Inc. | Display screen with graphical user interface |
USD711400S1 (en) | 2011-12-28 | 2014-08-19 | Target Brands, Inc. | Display screen with graphical user interface |
USD711399S1 (en) | 2011-12-28 | 2014-08-19 | Target Brands, Inc. | Display screen with graphical user interface |
USD703685S1 (en) | 2011-12-28 | 2014-04-29 | Target Brands, Inc. | Display screen with graphical user interface |
USD701224S1 (en) | 2011-12-28 | 2014-03-18 | Target Brands, Inc. | Display screen with graphical user interface |
USD706793S1 (en) | 2011-12-28 | 2014-06-10 | Target Brands, Inc. | Display screen with graphical user interface |
EP2803064A4 (en) | 2012-01-09 | 2015-11-18 | Nokia Technologies Oy | METHOD AND APPARATUS FOR CREATING AN ARCHITECTURE TO PROVIDE MIXED REALITY CONTENT |
KR101303166B1 (ko) * | 2012-01-26 | 2013-09-09 | 엘지전자 주식회사 | 이동 단말기 및 그의 사진 검색방법 |
JP5891843B2 (ja) * | 2012-02-24 | 2016-03-23 | ソニー株式会社 | クライアント端末、サーバ、およびプログラム |
EP2820576A4 (en) | 2012-02-29 | 2015-11-18 | Nokia Technologies Oy | METHOD AND DEVICE FOR PRESENTING OBJECTS AT A USER INTERFACE |
WO2013154562A1 (en) * | 2012-04-12 | 2013-10-17 | Intel Corporation | Techniques for augmented social networking |
KR20130118820A (ko) * | 2012-04-20 | 2013-10-30 | 삼성전자주식회사 | 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치 |
KR101899977B1 (ko) * | 2012-07-10 | 2018-09-19 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
US20140053099A1 (en) * | 2012-08-14 | 2014-02-20 | Layar Bv | User Initiated Discovery of Content Through an Augmented Reality Service Provisioning System |
US9424472B2 (en) * | 2012-11-26 | 2016-08-23 | Ebay Inc. | Augmented reality information system |
US9104293B1 (en) * | 2012-12-19 | 2015-08-11 | Amazon Technologies, Inc. | User interface points of interest approaches for mapping applications |
US9812046B2 (en) * | 2013-01-10 | 2017-11-07 | Microsoft Technology Licensing, Llc | Mixed reality display accommodation |
JP2014182597A (ja) * | 2013-03-19 | 2014-09-29 | Yasuaki Iwai | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
CN105814626B (zh) * | 2013-09-30 | 2018-03-13 | Pcms控股公司 | 用于提供增强信息的方法和设备 |
US9329286B2 (en) * | 2013-10-03 | 2016-05-03 | Westerngeco L.L.C. | Seismic survey using an augmented reality device |
WO2015116183A2 (en) | 2014-01-31 | 2015-08-06 | Empire Technology Development, Llc | Subject selected augmented reality skin |
EP3100256A4 (en) | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
US9953462B2 (en) | 2014-01-31 | 2018-04-24 | Empire Technology Development Llc | Augmented reality skin manager |
EP3100240B1 (en) | 2014-01-31 | 2018-10-31 | Empire Technology Development LLC | Evaluation of augmented reality skins |
US9600720B1 (en) * | 2014-03-18 | 2017-03-21 | Amazon Technologies, Inc. | Using available data to assist in object recognition |
US10216996B2 (en) | 2014-09-29 | 2019-02-26 | Sony Interactive Entertainment Inc. | Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition |
US10335677B2 (en) * | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
JP6586758B2 (ja) * | 2015-03-31 | 2019-10-09 | ソニー株式会社 | 情報処理システム、情報処理方法及びプログラム |
RU2602386C1 (ru) | 2015-05-26 | 2016-11-20 | Общество с ограниченной ответственностью "Лаборатория 24" | Способ визуализации объекта |
US10452690B2 (en) | 2015-06-10 | 2019-10-22 | Bin Wu | Online sites with associated fictitious geographical locations |
EP3314581B1 (en) * | 2015-06-23 | 2019-09-11 | Signify Holding B.V. | Augmented reality device for visualizing luminaire fixtures |
RU2597462C1 (ru) | 2015-07-17 | 2016-09-10 | Виталий Витальевич Аверьянов | Способ отображения объекта на пространственной модели |
WO2017066801A1 (en) * | 2015-10-16 | 2017-04-20 | Bent Image Lab, Llc | Augmented reality platform |
US10334134B1 (en) | 2016-06-20 | 2019-06-25 | Maximillian John Suiter | Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction |
US10638256B1 (en) | 2016-06-20 | 2020-04-28 | Pipbin, Inc. | System for distribution and display of mobile targeted augmented reality content |
US11044393B1 (en) | 2016-06-20 | 2021-06-22 | Pipbin, Inc. | System for curation and display of location-dependent augmented reality content in an augmented estate system |
US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
US10805696B1 (en) | 2016-06-20 | 2020-10-13 | Pipbin, Inc. | System for recording and targeting tagged content of user interest |
US11201981B1 (en) | 2016-06-20 | 2021-12-14 | Pipbin, Inc. | System for notification of user accessibility of curated location-dependent content in an augmented estate |
US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
US10372127B2 (en) | 2016-07-18 | 2019-08-06 | International Business Machines Corporation | Drone and drone-based system and methods for helping users assemble an object |
US10157498B2 (en) * | 2016-08-18 | 2018-12-18 | Robert Bosch Gmbh | System and method for procedurally generated object distribution in regions of a three-dimensional virtual environment |
CN107037395A (zh) * | 2016-11-29 | 2017-08-11 | 中国电子科技集团公司第二十九研究所 | 一种基于图像融合的无线电测向定位方法 |
CA3046329A1 (en) * | 2016-12-06 | 2018-06-14 | Donn M. GURULE | Systems and methods for a chronological-based search engine |
US20190347541A1 (en) * | 2016-12-30 | 2019-11-14 | Nokia Technologies Oy | Apparatus, method and computer program product for deep learning |
US10867181B2 (en) * | 2017-02-20 | 2020-12-15 | Pcms Holdings, Inc. | Dynamically presenting augmented reality information for reducing peak cognitive demand |
IT201700058961A1 (it) | 2017-05-30 | 2018-11-30 | Artglass S R L | Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo |
US11068137B2 (en) * | 2017-12-18 | 2021-07-20 | Facebook, Inc. | Systems and methods for augmenting content |
WO2019215527A1 (ru) * | 2018-05-10 | 2019-11-14 | ГИОРГАДЗЕ, Анико Тенгизовна | Способ отображения информации об активности пользователя |
KR102021492B1 (ko) * | 2018-05-25 | 2019-09-16 | (주)아라커뮤니케이션즈 | 드론을 통한 실시간 영상 제공 시스템 및 방법 |
US11321411B1 (en) * | 2018-12-28 | 2022-05-03 | Meta Platforms, Inc. | Systems and methods for providing content |
RU2716415C1 (ru) * | 2019-02-04 | 2020-03-12 | Общество с ограниченной ответственностью "Сити Консьерж" | Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью |
JP2022505999A (ja) * | 2019-10-15 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 拡張現実データの提示方法、装置、機器および記憶媒体 |
US11836826B2 (en) * | 2020-09-30 | 2023-12-05 | Snap Inc. | Augmented reality content generators for spatially browsing travel destinations |
US11538225B2 (en) | 2020-09-30 | 2022-12-27 | Snap Inc. | Augmented reality content generator for suggesting activities at a destination geolocation |
US11809507B2 (en) | 2020-09-30 | 2023-11-07 | Snap Inc. | Interfaces to organize and share locations at a destination geolocation in a messaging system |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6219045B1 (en) | 1995-11-13 | 2001-04-17 | Worlds, Inc. | Scalable virtual world chat client-server system |
US6025843A (en) * | 1996-09-06 | 2000-02-15 | Peter Sklar | Clustering user interface |
US9183306B2 (en) | 1998-12-18 | 2015-11-10 | Microsoft Technology Licensing, Llc | Automated selection of appropriate information based on a computer user's context |
CN1297856C (zh) | 1999-03-25 | 2007-01-31 | 西门子公司 | 具有多层信息结构的特别用于技术和工业应用的文件处理系统和方法 |
US6405129B1 (en) | 2000-11-29 | 2002-06-11 | Alpine Electronics, Inc. | Method of displaying POI icons for navigation apparatus |
WO2002061658A2 (en) | 2001-01-30 | 2002-08-08 | Personal Genie, Inc. | System and method for matching consumers with products |
US20040068758A1 (en) | 2002-10-02 | 2004-04-08 | Mike Daily | Dynamic video annotation |
US20040243307A1 (en) * | 2003-06-02 | 2004-12-02 | Pieter Geelen | Personal GPS navigation device |
JP5325368B2 (ja) | 2005-07-04 | 2013-10-23 | 株式会社ゼンリンデータコム | 地図表示システム、地図表示方法および地図表示装置 |
US8280405B2 (en) * | 2005-12-29 | 2012-10-02 | Aechelon Technology, Inc. | Location based wireless collaborative environment with a visual user interface |
US8060499B2 (en) | 2006-09-25 | 2011-11-15 | Nokia Corporation | Simple discovery UI of location aware information |
JP4870546B2 (ja) | 2006-12-27 | 2012-02-08 | 株式会社岩根研究所 | レイヤー生成・選択機能を備えたcvタグ映像表示装置 |
US20080268876A1 (en) | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
JP5184217B2 (ja) | 2007-05-31 | 2013-04-17 | パナソニック株式会社 | 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム |
JP4248602B2 (ja) | 2007-07-12 | 2009-04-02 | パナソニック株式会社 | 旅程提示装置および旅程提示方法 |
US20090027418A1 (en) | 2007-07-24 | 2009-01-29 | Maru Nimit H | Map-based interfaces for storing and locating information about geographical areas |
KR20090071076A (ko) | 2007-12-27 | 2009-07-01 | 엘지전자 주식회사 | 네비게이션 장치 및 이의 관심 지점 정보 제공방법 |
CN101482864B (zh) | 2008-01-08 | 2012-07-25 | 国际商业机器公司 | 用于检验gis数据的正确性的方法和装置 |
WO2009132677A1 (en) | 2008-05-02 | 2009-11-05 | Tomtom International B.V. | A navigation device and method for displaying map information |
KR20100066606A (ko) | 2008-12-10 | 2010-06-18 | 삼성전자주식회사 | 컨텐츠 검색 방법 및 장치 |
US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
US9488488B2 (en) * | 2010-02-12 | 2016-11-08 | Apple Inc. | Augmented reality maps |
-
2010
- 2010-06-30 US US12/827,417 patent/US9910866B2/en active Active
-
2011
- 2011-02-10 CA CA2804096A patent/CA2804096C/en active Active
- 2011-02-10 EP EP11800230.2A patent/EP2588944A4/en not_active Ceased
- 2011-02-10 JP JP2013517419A patent/JP5671137B2/ja active Active
- 2011-02-10 CN CN201180041542.8A patent/CN103069370B/zh active Active
- 2011-02-10 WO PCT/FI2011/050120 patent/WO2012001219A1/en active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671137B2 (ja) | 拡張現実において、提案する情報レイヤを自動的に生成する方法・装置・コンピュータプログラム | |
JP6259493B2 (ja) | 拡張現実において、一定のレベルの情報を提供する方法・装置・コンピュータプログラム | |
JP2013539090A5 (ja) | ||
JP5604594B2 (ja) | 拡張現実中のコンテンツをグループ化する方法・装置・コンピュータプログラム製品 | |
US10740978B2 (en) | Surface aware lens | |
KR102272256B1 (ko) | 가상 비전 시스템 | |
KR102125556B1 (ko) | 주변 위치 정보의 증강 현실 배치 | |
KR20220128665A (ko) | 온 디맨드로 프레임들을 렌더링하기 위한 비디오 생성 시스템 | |
KR20220128664A (ko) | 온 디맨드로 생성되는 비디오에 포함될 아바타들의 선택 | |
US11592311B2 (en) | Method and apparatus for displaying surrounding information using augmented reality | |
WO2019108666A1 (en) | Media collection generation and privacy mechanisms | |
KR20220133249A (ko) | 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템 | |
US20230418636A1 (en) | Contextual navigation menu | |
KR20130136925A (ko) | 좌표 부여된 데이터 검출 및 좌표 부여된 데이터 검출을 위한 사용자 인터페이스들 | |
CN111597466A (zh) | 展示方法、装置和电子设备 | |
CN111652675A (zh) | 展示方法、装置和电子设备 | |
US20140015851A1 (en) | Methods, apparatuses and computer program products for smooth rendering of augmented reality using rotational kinematics modeling | |
JP2015102742A (ja) | 画像処理装置及び画像処理方法 | |
JP6323446B2 (ja) | 情報処理装置、情報処理方法、及び情報処理システム |