JP2012513642A - 関心のあるオブジェクトを指定することにより動作を開始しフィードバックを提供するシステム及び方法 - Google Patents

Abstract

空間オブジェクト又は特徴物と関連付けられたアプリケーション又はサービスに関係するコマンド文の形にフィードバックを編集し、関心のあるオブジェクトを識別するためにこのような空間オブジェクト又は特徴物をポインティングし、そして、システムサーバでコマンド文を実行し、システムサーバのデータベースの中でこのオブジェクト又は特徴物の表現にフィードバックされた情報を添付するシステム及び方法が記載される。
【選択図】図５

Description

関連する出願への相互参照
本願は、合衆国法典第３５巻第１１９条（ｅ）の下で、２００８年１２月２２日付けで出願された、名称が「関心のあるオブジェクトを指定することによりフィードバックを提供するシステム及び方法（Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅｅｄｂａｃｋ ｂｙ Ｐｏｉｎｔｉｎｇ ａｔ Ｏｂｊｅｃｔ ｏｆ Ｉｎｔｅｒｅｓｔ）」であり、参照によって本明細書中に内容全体が組み込まれる米国仮出願第６１／１３９８４３号の優先権を主張する。

本発明は、一般に、空間オブジェクト（空間に存在する対象物）、要素、又は、空間オブジェクトに関連した機能的人工物に関係するフィードバックを提供し、空間オブジェクトの機能的依存性において実行されるアクション（動作）又はサービスを制御するシステム及び方法に関する。より詳しくは、本発明は、現実世界において関心のある空間オブジェクト又は特徴物をポインティング（指定）することにより、データベースシステムにおける空間オブジェクトの表現に対して、アクティビティ（作業）及びサービスを開始又は操作し、ブックマークを付け、又は、コメント、ハイパーリンク、格付け（レイティング）、若しくは、マルチメディアを添付する分散システム及び方法に関する。

ジオタギング及びジオブロギングは、各種の媒体に位置情報を添付する人気が高まっている手法である。ジオタギングは、時にジオコーディングと呼ばれることもあるが、典型的には、地理的な空間のメタデータ（付加的なデータ）の形をした地理識別メタデータをウェブサイト、ＲＳＳ（リッチサイトサマリー）フィード、又は、画像のような媒体に付加するプロセスである。しかし、ジオタギングとジオコーディングとの間にはいくつかの相違点がある。一般に、位置と関連付けられたジオタギング情報は、高度、方位及び地名情報を含むこともある緯度及び経度座標で構成される。これに対し、ジオコーディングは、郵便宛先のような、座標に基づいていない（非座標ベースの）地理的な識別子を採用し、地理座標をこれらの地理的な識別子に（又は、逆に）割り当てるプロセスを指す。

ジオタギング媒体は、システムユーザが多種多様の位置の特定情報を見つけるために役立つ。例えば、システムユーザは、緯度及び経度座標をジオタギングが使用可能な画像検索エンジンに入力することにより、所定の位置近くで撮影された画像を見つけることができる。ジオタギングが使用可能な情報サービスは、位置に基づいたニュース、ウェブサイト、又は、その他のリソースを見つけるためにも使用できる可能性がある。

ジオブロギングは、ジオタギングとは違って、特定の地理的な位置情報をブログエントリに添付する。地理的な位置情報は、典型的に、通常は緯度及び経度情報で構成されたジオタグによって識別される。ジオタグ技術を使用してタグ付けされたブログ及びピクチャのリストの検索は、システムユーザが対話型の地図上で自分にとって特定の関心があるエリアを選択することを可能にさせる。

ジオタギング及びジオブロギングと同様に、「ポインティング」技術の使用は、システムユーザがデータベースに記憶された空間オブジェクト及び特徴物に関連した情報を取り出すために空間オブジェクト及び特徴物を指示することを可能にさせる。この技術は、主に、ロケーションベースサービス（ＬＢＳ）又はゲームのような領域において人気が高くなる。

携帯電話機及び個人情報端末（ＰＤＡ）のような現世代のハンドヘルド機器は、システムユーザのポインティングの位置及び方向を導き出すため必要な構成要素及びセンサと、情報蓄積データベースとのワイヤレス通信（無線通信）用のモジュールとのすべてを含む。これらの構成要素は、データベースにおける環境の３次元表現と一緒になって、単に空間オブジェクト又は特徴物をポインティングすることによって空間オブジェクト又は特徴物の識別を可能にさせる。

一般に、従来型のポインティング技術方法は、ポインティングされているオブジェクト（対象物）に関する情報を取り出すが、システムユーザと空間オブジェクトとの間に二方向通信は存在しない。システムユーザと空間オブジェクトとの間に双方向通信チャネルを確立することは、システムユーザと環境との間の相互作用を許し、ハンドヘルド機器又はその他の機器のシステムユーザの周辺の環境において空間オブジェクト又は特徴物と関連付けられた情報及びサービスのより効率的及び効果的な使用をもたらす。

本発明のシステム及び方法は、空間オブジェクト又は特徴物と関連付けられたアプリケーション又はサービスに関係するフィードバック及び／又はコマンド文を編集し、関心のあるオブジェクトを識別するために空間オブジェクト又は特徴物をポインティングし、システムサーバ上でコマンド文を実行するか、又は、システムサーバ上のシステムのデータベースにおいてオブジェクト又は特徴物の表現にフィードバックを添付することに向けられる。

フィードバック（修正・調節のために出力を入力側に戻すこと）は、本発明によれば、限定されることなく、ハイパーリンクと、コメント及び逸話と、格付けと、タグと、キーワードと、画像及びスケッチと、オーディオ又はボイスノートと、関心のある空間オブジェクト又は特徴物に関係するビデオとを含むあらゆる形態のシステムユーザの入力を包含する。コマンド文は、本発明によれば、アクション（動作）が情報を関心のある空間オブジェクト又は特徴物に関係させ、そして、関心のある空間オブジェクト又は特徴物と関係付けるために使用されるシステムサーバ上の機器、アプリケーション、又は、サービスに関係する限り、あらゆる形態のアクションを含む。コマンド文は、限定されることなく、関心のあるオブジェクトにブックマークを付けること、オブジェクト又は特徴物に関連したアプリケーション又はサービスを開始すること、又は、オブジェクト又は特徴物と関連付けられた何らかのアプリケーション又は機器の状態に関係するコンフィギュレーション文を含む。本明細書中で使用されるアプリケーションとは、限定されることなく、情報システムと、データベース管理システムと、ウェブアプリケーションと、専用及び組み込みアプリケーションと、機能し、そして、コンピュータによって作動されるその他のツールとを含む。本明細書中で使用される機器（アプライアンス）とは、限定されることなく、現金自動預け払い機と、メータと、自動ドア、照明及びディスプレイシステムと、家庭用機器と、特定の目的を達成するための手段として設計又は使用される他の電気及び機械器具又は装置とを含む。本明細書中で使用されるサービスとは、限定されることなく、ウェブサービスと、ブックマーキング及び登録サービスと、電子カウンターサービスと、自動現金預け払いサービスと、自動販売及び発券サービスと、ネットワークを介して相互運用可能な機械対機械の相互作用を支援するため設計されたその他のソフトウェアシステムとを含む。

本発明によれば、関心のあるオブジェクトは、このオブジェクトをポインティングすることによってシステムユーザによって識別される。オブジェクトをポインティングすることにより、システムユーザのポインティングの位置及び方向が３次元空間の中に光線を作成するため使用され、この光線は、その後に、システムユーザの現在の場（場面、シーン）の２次元投影と交差させられる。この場の中で、ポインティングされたオブジェクトは、続いて識別され、システムサーバ上の機能ユニットを関連させるためにディスパッチャ（発送係）として使用される。現在の場の２次元投影は、システムサーバ上のデータベースの中に蓄積された環境の表現から生成される。システムサーバ上で環境を定義するオブジェクト又は特徴物のこの表現は、情報、アプリケーション、サービス、機器、及び、個々のオブジェクト又は特徴物に関係するその他の機能ユニットとリンクされる。

本発明によるシステムクライアントは、システムユーザがコマンド文を選択するか、又は、ハイパーリンク、格付け若しくはコメント、又は、マルチメディアのような何らかの形でフィードバックを編集することを可能にするユーザインターフェイスで構成される。フィードバックは、地理的な空間の中に存在する対応するオブジェクト又は特徴物と関連付けられている限り、オブジェクト、特徴物、サービス、又は、機能のため提供されることがある。フィードバックの例には、美術館に関するコメント、記念碑の写真、建物、橋、道路のビデオなどだけでなく、レストラン内の食品又はサービスのためのオーディオタグ、ある交通要素と関連付けられた問題の注釈（見えない幹線道路速度標識）、又は、さらにその他の空間オブジェクト又は特徴物と関連付けられた経験又は出来事に関する個人的コメントを含む。フィードバックは、短期間しか表示されないが、しかし、表示されたアイテム又はアーティストの出来栄え又は嗜好に関するフィードバックを収集することを望む特定の史跡又は展示に適するように合わされることもある。

コマンド文は、例えば、ユーザインターフェイス上のボタン、又は、メニュー項目のような様々な形式で選択のためシステムユーザに提示されることがある。コマンド文は、システムサーバ上又はシステムのデータベースの中の空間オブジェクト又は特徴物の表現との対応する関連性を通じて、現実世界における空間オブジェクト又は特徴物と関連付けられた機器、アプリケーション、又は、サービスへ直接的に向けられることがある。こういう種類のコマンド文の例は、（ｉ）単に現実世界における建物をポインティングすることにより建物の照明のオンとオフを切り替えること、（ｉｉ）現実世界におけるオブジェクトをポインティングすることにより現実世界のオブジェクトをソーシャルブックマークサービスに登録すること、又は、（ｉｉｉ）システムサーバ上で動くが、現実世界における空間オブジェクト又は特徴物をポインティングすることにより空間オブジェクト又は特徴物の表現と関連付けられた仮想サービスを開始、停止、又は、休止することである。

システムクライアント、典型的に、モバイル機器は、システムユーザの環境を表現する空間オブジェクト及び特徴物を格納し、関連付けられた機能ユニットにリンクする仮想システム又はデータベースとの無線通信のために適合している。システムサーバ上で関心のある空間オブジェクト又は特徴物を識別するため、システムクライアントは、例えば、屋外位置決めのためのＧＰＳ、若しくは、屋内位置決めのためのＷＬＡＮ（ワイヤレスローカルエリアネットワーク）三角測量のような位置情報と、方向情報、すなわち、電子コンパス、ピッチ及びヨーとを獲得するモジュールを含む。

動作中、システムユーザは、現在位置及び方向情報を収集するために関心のある空間オブジェクト又は特徴物をポインティングする。この情報は、その後、コマンド文又はシステムユーザが生成するフィードバック及び状況情報と共に、システムサーバへ送信される。システムサーバでは、この情報は適切なセグメントに分離される。これらのセグメントは、（ｉ）関心のある空間オブジェクト又は特徴物を識別し、（ｉｉ）コマンド又はフィードバックの型を識別し、そして、（ｉｉｉ）関連付けられた実行ユニットへコマンドを発送するか、又は、システムのデータベースに蓄積された関心のある空間オブジェクト又は特徴物の表現にフィードバックを添付するため使用される。

本発明の代表的な実施例は以下の通りである。

第一の実施例として、人物ＡがレストランＣで夕食を摂り、この夕食が美味しい場合、人物Ａは、他者と体験を共有したいと思うことがある。これまでのところ、人物Ａの選択肢は、（ｉ）素晴らしい食事の体験を口頭でレストラン所有者に伝えるか、又は、手紙若しくは電子メールを送ること、（ｉｉ）自宅又はどこか他の場所でインターネットにアクセスし、例えば、レストランＣのウェブページを訪問し、ゲストブックにコメントを載せることによって、レストランＣでの素晴らしい食事の体験に関するコメントを載せること、或いは、（ｉｉｉ）体験に関してブログに載せることに限定される。

本発明は、人物ＡのようなシステムユーザがレストランＣのようなレストランの前に立ち、自分のハンドヘルド機器で素晴らしい食事体験に関するコメント又は注釈をタイプし、そして、コメント又は注釈をシステムサーバへ投稿するためレストランＣをポインティングすることを可能にさせる。システムサーバでは、コメント又は注釈を格納するメッセージはポインティング情報に分離され、このポインティング情報からオブジェクトが識別され、システムユーザのコメント又は注釈は、その後、関心のある空間オブジェクト又は特徴物に添付される。関心のある空間オブジェクト又は特徴物に関する情報は、続いて、オブジェクト又は特徴物に関する情報を取り出すためにウェブを閲覧するか、又は、史跡でこのオブジェクト又は特徴物をポインティングする誰でも利用できる。

第二の実施例は、不動産及び住宅購入に関係する。人物Ｋは、新しい住宅を求めて近所を探索している。近所を探索する間に、人物Ｋは、売り出し中の住宅に注意を払う。これらの住宅のうちのある住宅は、他の住宅より興味深く、そして、注釈を付け、様々な不動産業者との打ち合わせに備えて、人物Ｋは、業者の電話番号と共に、対応する住所を飽き飽きしながら書き留める。本発明を用いると、人物Ｋは、何も書き留める必要なしに、単に関心のある建物をポインティングし、この建物をブックマークサービスに登録するであろう。帰宅して、人物Ｋは、ブックマークされた住宅の住所のリスト、又は、ブックマークされた住宅を担当している業者の電話番号のリストを生成するために、ブックマークサービスを使用することができる。

本発明は、システムユーザが、単に地理的な位置情報を媒体に添付するのではなく、情報又は媒体をデータベースの中の空間オブジェクト又は特徴物に追加することを可能にさせる新しいシステム及び方法を規定するためにポインティング、ジオタギング、及び、ジオブロギングを組み合わせる。したがって、本発明は、限定されることはないが、位置情報を特定の媒体に添付するのではなく、単に現実世界の中の空間オブジェクト又は特徴物をポインティングすることによって媒体をデータベースの中の空間オブジェクト又は特徴物の表現に添付することを含めて、数多くの点でジオタギング及びジオブロギングとは異なる。さらに、本発明は、システムユーザが参照オブジェクト又は特徴物をポインティングし、このオブジェクト又は特徴物に関する情報をシステムのデータベースに蓄積されたこのオブジェクト又は特徴物の表現に添付することによりシステムユーザの視野内のオブジェクト又は特徴物にシステムユーザを向けることを可能にすることによって、ジオタギング及びジオブロギングを拡張する。

本発明は、単にオブジェクト又は特徴物をポインティングすることによりシステムユーザの視野内のオブジェクト又は特徴物にブックマークを付けることを可能にする方法によって、ソーシャルブックマークサービスをさらに拡張する。本発明は、システムユーザと現実世界のオブジェクト又は特徴物の表現との間の相互作用を可能にさせるポインティングメカニズムによって現実世界のオブジェクト又は特徴物との空間相互作用を拡張する。

本発明は、システムユーザが現実世界の中の対応物をポインティングすることによってシステムサーバ上の空間オブジェクト又は特徴物の表現と関連付けられたコマンドを実行することを可能にする。本発明は、現実世界の中のオブジェクト又は特徴物をポインティングすることにより、機器、アプリケーション、又はサービスの制限及び管理を可能にすることによって、サービス又は機器の遠隔制御を拡張する。

本発明は、図面を参照して明細書の以下の部分でより詳細に記述される。

図１は、本発明を実施する典型的なシステムのブロック図である。 図２は、本発明の方法を実施する典型的なフローチャートである。 図３は、関心のある特定の空間オブジェクト又は特徴物に関するフィードバックを提供するシステムクライアントのための典型的なユーザインターフェイスを示す図である。 図４は、近い場所及び遠い場所に関係する典型的な略図である。 システムユーザがポインティングによってフィードバックを提供するため使用することがある視覚的な場の典型的な実施例を示す図である。 システムユーザが生成するフィードバックが添付されることがある空間オブジェクト及び特徴物と関連付けられたレベルの典型的な実施例を示す図である。 システムユーザが生成するフィードバック情報を添付するため建物の様々な要素をポインティングする典型的な実施例を示す図である。 システムユーザが生成するフィードバック情報を添付するため建物の様々な要素をポインティングする典型的な実施例を示す図である。 システムユーザが生成するフィードバックが添付されることがある建物の要素の代表的な実施例を示す図である。

本発明のシステム及び方法は、空間オブジェクト又は特徴物と関連付けられたアプリケーション又はサービスに関係するフィードバック又はコマンド文を編集し、関心のあるオブジェクト又は特徴物を識別するために空間オブジェクト又は特徴物をポインティングし、システムサーバ上でコマンド文を実行するか、又は、システムサーバ上のシステムデータベースの中でこのオブジェクト又は特徴物の表現にフィードバックを添付するためのものである。

図１は、一般的に１００で、本発明のシステムの一般的な概要を示す。図１は、本発明のシステムの要素間での一般的な情報データフローを示す。さらに、図１は、後でより詳細に記述される本発明の方法による基本ワークフローを示す。

図１を参照すると、本発明のシステム１００は、現実世界１０２に関連して示される。現実世界１０２は、システムユーザによって眺められることになる視覚的な場を表現する。システム１０４は、システムクライアント１０６と、システムサーバ１０８と、蓄積及び実行環境１１０とを含む。１０２で示されるように、システムユーザ１２４は、環境１２２に位置し、環境１２２の一部である視覚的な場１２０を見ることがある。視覚的な場１２０は、システムユーザ１２４によってポインティングされるかもしれない一つ以上の空間オブジェクト１２６を含む。

上述の通り、システム１０４は、システムクライアント１０６と、システムサーバ１０８と、蓄積及び実行環境１１０とを含む。システムユーザ１２４は、ユーザインターフェイス及びフィードバックエディタ１３２と、ポジショニング及びポインティングモジュール１３４とを含むシステムクライアント１０６と直接的に相互に作用する。システムユーザ１２４は、主として、ユーザインターフェイス及びフィードバックエディタ１３２でシステムクライアント１０６と相互に作用する。システムユーザ１２４が空間オブジェクト１２６でシステムクライアント１０６をポインティングするとき、ポジショニング及びポインティングモジュール１３２は、ポインティングされている特定の空間オブジェクト又は特徴物の位置を判定でき、ポインティングされたオブジェクト又は特徴物の識別に関係することがあるこの情報をシステムユーザ１２４への表示のためユーザインターフェイス及びフィードバックエディタ１３２へ供給する。

システムサーバ１０８は、システムユーザ１２４が位置している環境１２２に関係する地図型情報を受信する。より具体的には、システムサーバ１０８は、１３６で、システムクライアント１０６の位置及びポインティング方向に基づく環境１２２に関する３次元（３Ｄ）表現情報を受信する。地理的な位置は、例えば、システムクライアント１０６と関連付けられたＧＰＳセンサによって、システムサーバ１０８に提供されることがある。環境シーンを判定する他の方法が使用されてもよく、それは本発明の範囲内にある。

環境１２２の３次元表現は、１３６で、シーン発生（場の発生、シーンジェネレータ）及びオブジェクト識別の手段１４０に提供される。ユーザインターフェイス及びフィードバックエディタ１３２は、システムユーザ１２４によってポインティングされている関心のある空間オブジェクト又は特徴物の識別のシステムユーザ要求をコマンドパーサ及びフィードバックプロセッサ１３８へ送信する。コマンド構文解析ツール（コマンドパーサ）及びフィードバックプロセッサ１３８は、この要求がコマンド文だけであるかどうか、又は、要求の一部としてフィードバック文が存在するかどうかを判定する。コマンドパーサ及びフィードバックプロセッサ１３８は、コマンド文をユーザ情報及び相互作用エンジン１４２へ送信し、フィードバック文をシーン発生及びオブジェクト識別の手段１４０へ送信する。

シーン発生及びオブジェクト識別の手段１４０は、関心のあるオブジェクト又は特徴物の識別情報及び正確な識別の可能性をフィードバックリンカ（リンケージエディタ）及びコマンドディスパッチャ１４４へ提供する。フィードバックリンカ及びコマンドディスパッチャ１４４の目的は、システムユーザが生成するフィードバック又はアクションを蓄積及び実行環境１１０における関心のあるオブジェクト又は特徴物のための実行されるインスタンス（実体、メモリ上のデータ集合）へ発送すること、及び／又は、不正確なオブジェクト又は特徴物識別の場合に別個のシステムユーザのためのフィードバックを生成することである。フィードバックリンカ及びコマンドディスパッチャ１４４は、オブジェクト又は特徴物に関係する蓄積情報と、１４６で機器、アプリケーション、及び、サービスによって実行されるべきコマンドとのリンクのため、システムユーザが生成するフィードバックをシステムのデータベース１４６へ送信する。フィードバックリンカ及びコマンドディスパッチャ１４４は、コマンドパーサ及びフィードバックプロセッサ１３８へ情報をさらに送信し、ユーザ情報及び相互作用エンジン１４２にオブジェクト識別のプロセスの性能と、対応するインスタンスへのシステムユーザが生成するフィードバック及びコマンドの発送及びリンクの成功、失敗又は状態とを通知する。ユーザ情報及び相互作用エンジン１４２は、オブジェクト又は特徴物識別、及び／又は、発送及びリンク動作の結果に関する情報をユーザインターフェイス及びフィードバックエディタ１３２へ送信する。この情報の一部は、ユーザインターフェイス及びフィードバックエディタ１３２のユーザインターフェイスに表示されることがある。例えば、ユーザインターフェイス及びフィードバックエディタ１３２は、オブジェクト又は特徴物識別の成功又は失敗、フィードバックリンクの状態、及び／又は、コマンド実行の進行を表示してもよい。他の情報は、ユーザ情報及び相互作用エンジン１４２から表示のためのユーザインターフェイス及びフィードバックエディタ１３２へ送信されてもよく、依然として本発明の範囲内にある。

上述の通り、フィードバックリンカ及びコマンドディスパッチャ１４４は、システムユーザが生成するコマンドと、必要に応じて、オブジェクト又は特徴物の識別情報とを機器、アプリケーション、及び、サービス１４８へ送信する。ほんの一例として、機器、アプリケーション、及び、サービスは、限定されることなく、関心のあるオブジェクト又は特徴物の範囲内で制御される電子機械機器（例えば、自動のドア解放手段）と、関心のあるオブジェクトと関連付けられたソフトウェアアプリケーション（例えば、電子メータ）と、専用若しくは汎用ブックマーク又は登録サービスとを含む。その他の機器、アプリケーション、及び、サービスが適用されることがあり、依然として本発明の範囲内にある。

システムサーバ１０８の要素は、別個のモジュールでもよく、又は、一つ以上のモジュールに一体化されてもよく、そして、依然として本発明の範囲内にあることが分かる。クライアントサーバ１０６の要素は、別個のモジュールでもよく、又は、一つ以上のモジュールに一体化されてもよく、そして、依然として本発明の範囲内にあることがさらに分かる。蓄積及び実行環境１１０の要素は、別個のモジュールでもよく、又は、一つ以上のモジュールに一体化されてもよく、そして、依然として本発明の範囲内にあることがさらに分かる。

図２を参照すると、２００で一般的に示された、本発明の方法のステップが記述される。図２による本発明のステップを記述する際に、図１及び３も参照される。

一般的に、２０２のステップ１は、関心のある空間オブジェクト又は特徴物と関連付けられたコマンド文又はフィードバックと共にオブジェクト又は特徴物識別のためのポインティング情報を入力するためのものである。このステップは、ユーザインターフェイス及びフィードバックエディタ１３２（図１）のようなシステムクライアント１０６のユーザインターフェイス（「ＵＩ」）を使用して特定の情報を入力することにより、コマンド文を選択するか、又は、フィードバックを生成するシステムユーザによって実行される。このＵＩは、システムユーザが複数又は特定の型だけのコマンド又はフィードバックを挿入できるように適合している。コマンド文の実施例は、（ｉ）「アプリケーション又はサービス」の「開始」、「停止」、「休止」、（ｉｉ）「項目のブックマーク付け」、又は、（ｉｉｉ）コンフィギュレーション文である。機器、アプリケーション、又は、サービスに関するコマンド文の目的は、これらのエントリを制御、操作、及び／又は、通知することである。与えられたコマンド文は、単なる一例であり、限定ではない。その他のコマンド文が使用されてもよく、本発明の範囲内にあることが分かる。フィードバックの実施例は、限定されることなく、状況の範囲及び目的に依存して、ハイパーリンク若しくはＵＲＬと、格付けと、コメントと、タグと、キーワードと、あらゆる型の媒体項目と、又は、これらの組み合わせとを含む。

好ましくは、コマンド文は、ドロップダウンリストから、若しくは、ＵＩに置かれたメニュー項目からシステムユーザによって選択されることがあり、又は、システムクライアント１０６のコンソールインターフェイス上でシステムユーザによってタイプされることがある。フィードバック生成は、しかし、好ましくは、特定アプリケーション向けのシステムユーザインターフェースを使用して実施される。フィードバック生成のための特定用途向けのシステムユーザインターフェースの実施例は、図３では３００に一般的に示される。

図３を参照すると、特定の空間オブジェクト又は特徴物に関するフィードバックを提供するための好ましい特定アプリケーション向けのシステムユーザインターフェースが３００に示される。特定アプリケーション向けのシステムユーザインターフェース３００は、システムユーザが様々な型のフィードバックを追加することを可能にする。図３には、「ポインティングによるフィードバック」という表題が付けられたインターフェイスが３０２に示される。このインターフェイスは、４個のセクションを使って示される。１番目は、ハイパーリンクセクション３０６であり、２番目は、格付けセクション３０８であり、３番目は、コメントセクション３１０であり、４番目は、マルチメディアセクション３１２である。このインターフェイスと関連付けられるセクションの数は４個より増減してもよく、依然として本発明の範囲内にあることが分かる。

システムユーザインターフェース３００の下部には、ポインティングされている空間オブジェクト又は特徴物に関係するシステムユーザが生成するフィードバックをシステムサーバ１０８へアップロードするためのボタン３０４がある。このボタンの作動は、続いてより詳細に記述される。

ハイパーリンク型セクション３０６を参照すると、システムユーザは、ポインティングされている空間オブジェクト又は特徴物に関してハイパーリンクを入力できる。例えば、システムユーザが食事を楽しんだレストランの外部に貼り出されたメニューを読んでいる場合、システムユーザは、ハイパーリンク型メニュー３０６の中のメニューにレストランのハイパーリンクを入力できる。図３には、ハイパーリンクを入力するための４個のスペースが設けられている。ハイパーリンクを入力するためのスペースは４個より増減してもよく、依然として本発明の範囲内にあることが分かる。

格付けセクション３０８で、システムユーザは、自らの体験に基づいてオブジェクト又は特徴物に関する格付けを入力できる。なお、格付けセクション３０８は、オブジェクト又はサービスを「格付けＡ」、「格付けＢ」又は「格付けＣ」で格付けするスペースを設ける。これらの３個より多くの格付けが使用されてもよく、依然として本発明の範囲内にあることが分かる。

コメントセクション３１０は、空間オブジェクト又は特徴物に関係している自分のもつ何らかのコメントを入力するためシステムユーザによって使用される。コメントは、提供された領域に限定されてもよく、又は、システムユーザのコメントの完全な範囲を獲得するためスクロール画面を用いて無制限でもよい。

マルチメディアセクション３１２は、関心のあるオブジェクトと関連付けられたマルチメディアを入力するためにシステムユーザによって使用される。マルチメディアには、写真のリスト、ビデオ、ボイスノート、又は、オブジェクト又は特徴物に関係する利用できることがある情報のその他のマルチメディア源が含まれることがある。システムユーザが写真を追加するため、システムユーザは、写真ダウンロードのためボタン３１４を作動することになる。同様に、システムユーザは、ビデオを追加するためボタン３１６を作動し、ボイスノートを追加するためボタン３１８を作動することになる。他の型のマルチメディア源情報がインターフェイスを介して追加されるべき場合、その目的のためインターフェイス上のボタンが利用できるようになる。マルチメディア情報を追加するため、マルチメディア情報を追加するための３個のボタン，すなわち、ボタン３１４、３１６及び３１８だけが示されているが、マルチメディア情報を追加するための３個より増減するボタンがインターフェイス上で利用されてもよく、依然として本発明の範囲内にあることが分かる。

システムユーザがインターフェイス３００を使用して空間オブジェクトに関するフィードバック情報を入力し、このフィードバック情報をシステムサーバのデータベースの中の空間オブジェクト又は特徴物の表現にリンクすることを望むとき、システムユーザは、関心のあるオブジェクト又は特徴物をポインティングし、ポイント＠イットボタン３０４を作動する。これは、フィードバック情報をシステムサーバ１０８へアップロードすることになる。システムユーザは、フィードバックデータを編集する前に、関心のあるオブジェクトで特定のアプリケーション向けのシステムユーザインターフェース３００を有している機器をポインティングでき、このことは依然として本発明の範囲内にあることがさらに分かる。

図１を参照すると、ポイント＠イットボタン３０４が作動されるとき、システムクライアント１０６は、ポジショニング及びポインティングモジュール１３４に接続し、システムクライアント１０６の（ｉ）緯度、経度、高度、又は、ｘｙｚ座標系でのｘ、ｙ及びｚポジショニングによる位置と、（ｉｉ）ヨー及びピッチの方向とを抽出する。これらの測定量は、システムユーザのフィードバック又はコマンド文と共に、その後、さらなる処理のためのシステムサーバへの「要求」として提示される。この要求は、システムユーザが生成するフィードバック又はコマンド文を含み、かつ、システムクライアント１０６からシステムサーバ１０８へ送信される。好ましくは、この要求は、ＢＮＦ（「バッカスナウア記法」）で表記された少なくとも以下の構成要素を含むことになる。

＜Ｒｅｑｕｅｓｔ＞ ：：＝
＜Ｃｏｎｔｅｘｔ＞
（＜Ｆｅｅｄｂａｃｋ＞｜＜Ｃｏｍｍａｎｄ＿Ｓｔａｔｅｍｅｎｔ＞）
（＜ＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞｜＜ＴＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞）
＜Ｃｏｎｔｅｘｔ＞ ：：＝
＜Ｐｅｒｓｏｎａｌ＞
＜Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ＞
＜Ｅｎｖｉｒｏｎｍｅｎｔａｌ＞
＜Ｔｅｍｐｏｒａｌ＞
＜Ｐｅｒｓｏｎａｌ＞ ：：＝ ‘ユーザＩＤ、名前、年齢、性別、関心など’
＜Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ＞ ：：＝ ‘ネットワークの型、帯域幅など’
＜Ｅｎｖｉｒｏｎｍｅｎｔａｌ＞ ：：＝ ‘天候、騒音、その他の感覚入力’
＜Ｔｅｍｐｏｒａｌ＞ ：：＝ ‘日付、時間、この位置までのユーザの経路など’
＜Ｆｅｅｄｂａｃｋ＞ ：：＝
＜ＵＲＩ＞ ［＜ＵＲＩ＞］
＜Ｃｏｍｍｅｎｔ＞ ［＜Ｃｏｍｍｅｎｔ＞］｜
＜Ｔａｇ＞ ［＜Ｔａｇ＞］｜
＜Ｋｅｙｗｏｒｄ＞ ［＜Ｋｅｙｗｏｒｄ＞］｜
＜Ｒａｔｉｎｇ＞ ［＜Ｒａｔｉｎｇ＞］｜
＜Ｍｕｌｔｉｍｅｄｉａ＞ ［＜Ｍｕｌｔｉｍｅｄｉａ＞］
＜ＵＲＩ＞ ：：＝ ‘任意のＵＲＩ’
＜Ｃｏｍｍｅｎｔ＞ ：：＝ ‘任意のコメント又は特定アプリケーション向けスキームベース・コメント’
＜Ｒａｔｉｎｇ＞ ：：＝ ‘任意の格付け又は特定アプリケーション向けスキームベース・格付け’
＜Ｔａｇ＞ ：：＝ ‘オブジェクトと関連付けられた任意のタグ’
＜Ｋｅｙｗｏｒｄ＞ ：：＝ ‘オブジェクトと関連付けられた任意のキーワード’
＜Ｍｕｌｔｉｍｅｄｉａ＞ ：：＝ ‘マルチメディア項目又はファイルの任意のリスト’
＜Ｃｏｍｍａｎｄ＿Ｓｔａｔｅｍｅｎｔ＞ ：：＝
＜Ｃｏｍｍａｎｄ＞ ［＜Ｏｐｔｉｏｎ＞［＜Ｏｐｔｉｏｎ＞］］
［＜Ｃｏｍｍａｎｄ＞ ［＜Ｏｐｔｉｏｎ＞［＜Ｏｐｔｉｏｎ＞］］］
＜Ｔａｒｇｅｔ＞ ［＜Ｔａｒｇｅｔ＞］
＜Ｃｏｍｍａｎｄ＞ ：：＝ ’オブジェクトと関連付けられた任意のコマンド、例えば、開始、停止、休止、構成’
＜Ｏｐｔｉｏｎ＞ ：：＝ ’コマンドと関連付けられた任意のオプション、例えば、タイムスタンプ’
＜Ｔａｒｇｅｔ＞ ：：＝ ’ターゲット機器、アプリケーション、又は、サービス、例えば、ブックマークサービス’
＜ＨＥＲＥ Ｌｏｃａｔｉｏｎ＞ ：＝＝ ‘関心のある特徴物を識別するユーザの現在位置’
＜ＴＨＥＲＥ Ｌｏｃａｔｉｏｎ＞ ：＝＝ ’関心のあるオブジェクトの識別のためのポインティングデータ’

上述のフィードバック文を参照すると、この文の３つの主要な構成要素がある。これらの構成要素は、（ｉ）コンテキスト（状況）、（ｉｉ）フィードバック又はコマンド文、及び、（ｉｉｉ）ヒア（こちらの）又はゼア（あちらの）位置である。

状況の構成要素（コンテキストコンポーネント）は、システムユーザの識別情報及び関心と、フィードバック文が編集され、システムサーバ１０８へ提出された個人、社会基盤（インフラストラクチャ）、環境、及び、時間的特徴とを記述する特性の組を示す。

フィードバック文の構成要素（フィードバックコンポーネント）は、任意のＵＲＬ、コメント、格付け、文書、マルチメディア、又は、システムユーザが関心のあるオブジェクトに添付したいと思うその他の情報とで構成される。好ましくは、コマンド文の構成要素は、オブジェクト又は特徴物をポインティングするときに操作される必要があるターゲット機器、アプリケーション、又は、サービスと、関連したオプションとに関する情報を含む３値的な文である。関連したオプションに言及する際、付加的なコマンド属性（例えば、ユーザ名）、制御パラメータ（例えば、安全実行のみ）、又は、時間依存性実行（例えば、今すぐ、又は、特定の日付／時間）などのようなパラメータ又は属性を精緻化する随意的なコマンドを意味することが分かる。

ヒア又はゼア位置の構成要素は、関心のあるオブジェクト又は特徴物を識別するため要求される情報を含む。ヒア位置は、システムユーザの現在位置に位置している空間オブジェクト又は特徴物を指す。ゼア位置は、離れた位置に位置している空間オブジェクト又は特徴物を指す。このことが図４に図形的に示される。

図４を参照すると、一般的に４００で、ヒア位置及びゼア位置が詳細に記述される。システムユーザ４０２は、システムユーザ位置４０６に立っている。この位置は、緯度、経度及び高度を有していることがある。システムユーザの位置の周りの所定の距離は、ヒア位置４０４を定義する。停止標識４０８のような空間オブジェクトがヒア位置４０４に位置している場合、この空間オブジェクトは、システムサーバによってヒア位置にあるオブジェクトとして識別することができる。ヒア位置のサイズの定義は、大きくても小さくてもよく、図４に示された形状とは異なる形状を対象としてもよく、依然として本発明の範囲内にあることが分かる。

再び図４を参照すると、システムユーザ４０２が建物４１４のような関心のある離れたオブジェクト又は特徴物を識別することを望む場合、ヒア位置４０４でシステムユーザ４０２は、建物４１４に向かって方向４１０に沿ってシステムクライアント１０６をポインティングすることになる。離れた建物４１４は、ゼア位置４１２に位置しているであろう。

再び図２を参照すると、２０４のステップ２は、システムユーザを取り囲む環境の３次元（３Ｄ）モデルからシステムユーザの視覚的な場の２次元（２Ｄ）表現を生成する。図４におけるヒア位置４０４とは異なって、ゼア位置４１２は、異なる識別方法を使用する。関心のある離れたオブジェクトを識別するこの方法は、蓄積及び実行環境１１０（図１）のシステムのデータベース１４６に蓄積された環境の表現から２Ｄのデジタルのシーン（場）を生成する。このデジタルシーンは、システムユーザの現在視野を表現することになる。このシーン内で、本発明のシステム及び方法は、システムユーザの現在位置及びポインティング方向によって定義される光線をシーン内の空間オブジェクト又は特徴物と交差させることになる。これによって、関心のあるオブジェクト又は特徴物が識別される。

図２を参照して、本発明の２０６でのステップ３が記述される。ステップ３で、関心のあるオブジェクト又は特徴物が識別される。例えば、システムクライアント１０６がポインティングされている他のオブジェクトから空間的に分散した単一のオブジェクトが存在する場合、生成された２Ｄシーンだけがこのオブジェクト又は特徴物を示し、このオブジェクト又は特徴がシステムのデータベースに蓄積された情報から正確に識別できる。しかし、関心のあるいずれの空間オブジェクト又は特徴物の識別も十分な正確さ及び確かさのレベルで実施できない程度まで、システムユーザは、このことをシステムによって通知され、要求を再提示するか、又は、可能なオブジェクトのリストから選択オブジェクトを選定するように求められる。この方法の識別は、図５を参照してより詳細に記述される。

図５を参照すると、一般的に５００で、システムクライアント１０６のポインティング方向に２つ以上のオブジェクトが存在する場合に、関心のあるオブジェクト又は特徴物を識別する記述が与えられる。ポインティングシステム５０２は、ｘｙｚ座標系５０４に基づいている。座標系５０４に基づいて、システムユーザ５０６は、緯度、経度及び高度を有することになる。特定の方向にシステムクライアント１０６をポインティングすることにより、システムユーザに位置と関連付けられたヨー及びピッチが生成される。図５に示されるように、システムユーザが方向５１６にポインティングすることにより、２Ｄ視覚的な場５０８が生成される。この視覚的な場の中に、建物５１０及び貯蔵庫５１２がある。現実世界表現５１８に示されるように、建物５１０及び貯蔵庫５１２は、空間的に離れている異なるオブジェクトであるが、２Ｄの視覚的な場５０８では、これらは重なり合っている。付加的な情報なしで、システムユーザ５０６が建物５１０をポインティングしているか、又は、貯蔵庫５１２をポインティングしているかを確かに判定することはできない。

本発明の方法によれば、オブジェクト又は特徴物の識別は、ポインティングの信頼度を評価するため、統計的方法及び誤差伝搬原理を使用して実施される。統計的方法及び誤差伝搬原理の実施例は、ポインティング方向と有望なターゲットオブジェクト又は特徴物の対応付けのための以下のｔ検定と、視覚的な場におけるＧＰＳ誤差及びコンパス誤差の伝搬を評価する測地学的方法とである。十分でないとしても、システムユーザに同じことを通知し、識別が行われ、確認ができる前に付加的な情報を必要とするシステムのため設定されたデフォルト信頼度規準が存在することもある。

図２を参照すると、判定ポイント２０８で、本発明のシステム及び方法は、関心のあるオブジェクトの識別がシステム設定値に応じて十分な正確さで行われたかどうかを判定する。返答が「否定」である場合、システム及び方法は、２２０のステップ７へ進み、識別が付加的な情報なしに行えなかったことをシステムユーザに通知する。返答が「肯定」である場合、システム及び方法は、２１０のステップ４へ進むことになる。

図２において２１０のステップ４を参照して、状況の情報の伝搬が記述される。システムクライアント１０６を使用してシステムユーザによって提供されたフィードバックデータに関して検討されたように、システムサーバへ提示されたフィードバック文の３個の主要な構成要素が存在し、そのうちの一つが状況の情報である。

状況の情報がシステムユーザによってシステムクライアント１０６へ入力されたとき、この状況の情報は、システムサーバ１０８へ提示されたコマンド文又はフィードバック文の一部として付加されるように処理される。状況の情報の正確な捕捉は、空間オブジェクト又は特徴物に添付されたデータの品質を保証するために重要である。例えば、システムユーザＡ及びシステムユーザＢが「不安要因」を格付けし、両者が公園の横断を経験する場合、両者の横断の状況は、両者の公園の格付けに影響を与える。システムユーザＡが日中に公園を横断し、公園を開放的かつ友好的として格付けする場合、この格付けは、横断の日時を反映することになる。しかし、システムユーザが夜間に公園を横断し、多くの照明が見当たらないため公園を暗くて怖いとして格付けする場合、この状況は、システムユーザＡによって経験された状況とは非常に異なることとなる。したがって、各横断の状況の情報が格付けに添付される場合、これらの格付けの差は、明瞭に理解され、説明できることになる。したがって、各フィードバック項目と共に蓄積された状況の情報は、システムユーザのフィードバックが生成された状況に関する見識を与える。

再び図２を参照すると、２１０のステップ４は、含まれることがある個人の状況データの実施例を提供する。この情報は、システムユーザの名前、年齢、性別、又は、その他の個人情報のようなシステムユーザのデータを含むことがある。社会基盤の状況データは、電話機、ＰＤＡ、又は、その他の機器のような使用されているシステムクライアント機器の型でもよい。環境の状況データは、天候条件、又は、その他の環境条件若しくは因子を含むことがある。時間の状況データは、日時を含むことがある。上記実施例は、限定であることが意図されず、その他の情報が提供されることがあり、そして、依然として本発明の範囲内にあることが分かる。

判定ポイント２１２で、本発明は、システムサーバ１０８へ提示されたものがコマンド文であるか、又は、フィードバック文であるかどうかを判定する。この判定は、コマンドパーサ及びフィードバックプロセッサ１３８でシステムサーバによって実施されることになる。判定ポイント２１２で、システムクライアント１０６からシステムサーバ１０８によって受信されたものがフィードバック文であると判定された場合、本発明は、２１４のステップ５へ進むことになる。しかし、システムクライアント１０６からシステムサーバ１０８によって受信されたものがコマンド文である場合、本発明は、２１６のステップ６へ進むことになる。

２１４におけるステップ５をより詳細に検討する前に、一般的に、ステップ５は、システムユーザによって生成された個別のフィードバック情報を２０６におけるステップ３で識別された関心のある空間オブジェクト又は特徴物にリンクすることに向けられている。これらの空間オブジェクト又は特徴物は、システムユーザによって視覚的又はそれ以外の方法で認識され、システムのデータベースの中でマップ化（地図化）された要素であればよい。これらの空間オブジェクト又は特徴物は、ヒア位置、システムユーザの現在位置、又は、ゼア位置、システムユーザがポインティングしているオブジェクト又は特徴物を用いて識別されることもある。この型の空間オブジェクト又は特徴物は、限定されることなく、田舎のオブジェクト、都会のオブジェクト、及び、屋内のオブジェクトさえ含む。一例として、都会のオブジェクトは、これに限定されることなく、湖若しくは池のような水状のオブジェクト、建物若しくは橋のような一般都市のオブジェクト、横断歩道若しくは信号機のような都市の特徴物、又は、区域のような都市のオブジェクト群を含む。

フィードバックシステムの基礎として役立つことがある地理的な空間のオントロジー（概念化のための仕様）は、一般的に６００で、図６に示されたクラス図（階級図）に表現されている。この地理情報のオントロジーは、単なる一例として役立つことが意図され、不完全なオントロジーであることが分かる。情報がこのオントロジーを完成させるためこのオントロジーに追加されてもよく、このオントロジーが本発明の範囲内にあることがさらに分かる。

図６の６０２を参照すると、任意の空間オブジェクト又は特徴物と関連付けられた構成要素の情報がいわゆる「凡例」６０１の中に示される。これらの構成要素は、６０４におけるシステムのデータベース及び６０６におけるシステムユーザが生成するフィードバックの内容である。これらの２つの構成要素は、空間オブジェクト又は特徴物を見つけ、そして、定義するため使用されることになる。凡例６０１に記載された情報を取得するため、＜＜特徴物＞＞／空間オブジェクト、として示された６０６で蓄積された情報をリンクすることが必要である。クラスインスタンスは、フィードバック情報が添付される様々なクラスレベルを含む。例えば、一つのクラスレベルは、レリーフ（浮き彫り）の特徴物６３４、史跡６４２、水状のオブジェクト６３６、都市のオブジェクト群６４４、一般都市のオブジェクト６３８、輸送のオブジェクト６４６、及び、都市の特徴物６４０を含む特徴物クラスである。この特徴物クラスは、空間オブジェクト６０６のすべての特性を継承することになる。例示の目的で、図６を参照して、関心のある特徴物であることが意図された都会オブジェクトが記述される。

第一のクラスレベルで、オブジェクトは、田舎オブジェクト６２２、都会オブジェクト６２４、屋内オブジェクト６２６、又は、その他のオブジェクト６２８である。田舎オブジェクト６２２は、６３０に点線で示されたようなその他の下位の特徴物によってさらに定義されることがある。同様に、屋内オブジェクト６２６は、６３２に点線で示された下位の特徴物によってさらに定義されることがある。

都会オブジェクト６２４は、考えられる下位の特徴物（副特徴物）を用いて示される。この第二のレベル、すなわち、サブレベルでは、考えられる定義用の下位の特徴物は、レリーフの特徴物６３４、史跡の特徴物６４２、水状のオブジェクト６３６、都市のオブジェクト群６４４、一般都市のオブジェクト６３８、輸送のオブジェクト６４６、又は、都市の特徴物６４０である。都会のオブジェクト６２４は、これらの特徴物のうちの少なくとも一つを含むことになる。例示の目的で、関心のある特徴物は、特定の美術館であり、特徴物は、６３８のような一般都市のオブジェクトということになる。システムのデータベースに蓄積されたこの美術館に関する情報は、この特徴物に関係する３次元の地理的な特徴物と美術館の型及び機能とに関係する情報が提供される６０８へ送信されることになる。

次に、ユーザのフィードバック情報が６１２でのシステムユーザ情報と、６１４でシステムユーザによって提供されたコメントと、６１８での美術館に関する格付け情報と、６２０での画像、オーディオ又はビデオ情報のような媒体情報と、又は、６１６でのその他の情報とに基づいて６１０で生成される。システムユーザのフィードバックは、６０６で空間オブジェクトに添付される。６０６及び６０８でのこの情報の結合は、データベース内容６０２及びシステムユーザ生成入力６０４を含む凡例６０１を生成することになる。

以上の通り、システムユーザの入力に基づいてシステムユーザによって６１０で生成されたフィードバック文は、特徴物のクラスの粒度のレベルに基づいて空間オブジェクトの情報に添付される。空間オブジェクト又は特徴物のレベル粒度は、システムの設定値又はシステムユーザによる判定に基づくことがある。一例として、システムの設定値は、空間オブジェクトのための最も精細な粒度が建物ブロックのレベルであると規定することがあるので、システムユーザが建物の一部である装飾をポインティングするとき、フィードバックを建物に添付するという結果をもたらすことがある。これに反して、システムの設定値が、建物の装飾が最高粒度レベルを定義するようにされている場合、フィードバックは、建物ブロック自体でなく、装飾に添付されることになる。したがって、定義されたクラスレベルは、情報が添付される場所を判定することになる。このことは、図７及び８を参照してより詳細に説明される。

図７Ａを参照すると、一般的に７００で、ポインティング位置が建物であるシーンの第一の表現７０２が示される。図７Ｂを参照すると、一般的に７０１で、ポインティング位置が建物の正面ドアである同じシーンの第二の表現７０３が示される。図７Ａ及び７Ｂを参照すると、両方の図は、それぞれに、建物７０４及び貯蔵庫７０６を含むシーンの２Ｄ表現を示す。図７Ａでは、ポインティング位置７０８は、建物７０４又は建物７０４の正面である。この場合、粒度のクラスレベルは、建物ブロック、又は、建物ブロックの直ぐ下のレベル（建物７０４の正面）であろう。したがって、フィードバック文の情報は、建物７０４又は建物７０４の正面に添付することになる。図７Ｂでは、ポインティング位置は、正面ドア７１２である。このことは、粒度のレベルが、建物７０４の装飾、又は、建物７０４の正面の特徴物であることを意味することになる。したがって、フィードバック文情報は、建物の特徴物としての正面ドア７１２、又は、建物の正面に添付することになる。

図８を参照すると、一般的に８００で、フィードバック情報が添付される建物７０４の特徴物が示される。例えば、フィードバック情報は、（ｉ）クラスレベル１：８０２での建物の立体形状、（ｉｉ）クラスレベル２：８０４での前壁面１又は８０６での前壁面２、又は、（ｉｉｉ）クラスレベル３：前壁面２の窓８０８若しくは前壁面２の正面ドア７１２に添付することがある。

判定２１２において、２１０のステップ４から与えられた状況の情報がフィードバック文なしのコマンド文であると判定された場合、本発明は、２１６にあるステップ６へ進むことになる。ステップ６の目的は、コマンド文を解析し実行することである。

上述の通り、コマンド文は、１３８でシステムサーバ１０４によって処理され、コマンド文情報が処理のためユーザ情報及び相互作用エンジン１４２へ送信される。ユーザ情報及び相互作用エンジン１４２は、コマンド情報を処理し、命令をシステムクライアント１０６のユーザインターフェイス及びフィードバックエディタ１３２（図２）へ送信する。コマンド文から解析され送信されたコマンド情報は、限定されることなく、「アプリケーション又はサービス」の「開始」、「停止」、「休止」、「項目のブックマーク付け」、又は、コンフィギュレーション文を含むことがある。これらの文は、システムユーザ、関心のあるオブジェクト、及び、実行用エンティティの間の仲介としてフィードバックリンカ及びコマンドディスパッチャ１４４を使用して、関心のあるオブジェクト又は特徴物と関連付けられた機器、アプリケーション、及び、サービス１４６による実行のためユーザ情報及び相互作用エンジン１４２から始動される。

より詳細には、ステップ６によれば、関連付けられた機器、アプリケーション、又は、サービスを関与させるため、着信コマンド文が解析され、関心のある空間オブジェクト又は特徴物と関連付けられる。これは、コマンドパーサ１３６と、シーン発生及びオブジェクト識別の手段１４０と、ユーザ情報及び相互作用エンジン１４２と、フィードバックリンカ及びコマンドディスパッチャ１４４とを関与させる同期プロセスによって実施される。

コマンド文の解析中に、コマンド文は、コアコマンドと、このコマンドに付随するオプションと、コマンド文によって扱われたターゲット機器、アプリケーション、又は、サービス１４８とに解析される。この情報は、解析されたコマンドをフィードバックリンカ及びコマンドディスパッチャ１４４へ転送するユーザ情報及び相互作用エンジン１４２に送信される。この情報は、その後、実行のため蓄積及び実行環境１１０の中の機器、アプリケーション、及び、サービスに転送される（図１）。１４８で実行エンジンは、次に、関心のあるオブジェクト又は特徴物と関連付けられたターゲットアプリケーション又はサービスを関与させ、このことがこれらのアプリケーション又はサービスをシステムユーザによる要求に応じて挙動させる。以下は、コマンド解析及び実行に関する本発明のシステムの動作の実施例である。

以下の実施例は、不動産業者のためのポインティングに基づくダイヤルサービスを対象にする。従来通り、新しい住宅を求めて近所を探索するとき、システムユーザは、関心のある住宅を管理する業者の電話番号を見つけ、業者に電話するため番号をダイヤルしなければならない。ポインティングに基づくダイヤルサービスの場合、システムユーザは、関心のある不動産の場所で携帯電話機のようなシステムクライアント機器をポインティングし、画面上の「ポインティングによるダイヤル」ボタンを押すだけになる。コマンド文は、１４２で呼び出しを自動的に始動するため、例えば、「業者に電話をかける」といったターゲットアプリケーション（目的のアプリケーション）の「開始」のようなコアコマンドと、１４８で実行エンジンに十分な情報を提供する被参照オブジェクトとを含むことになる。呼び出しが始動されると、制御は、１３２でユーザインターフェイスを使用するさらなる対処のためにシステムユーザへ戻される。

本発明の方法によれば、２１４におけるステップ５又は２１６におけるステップ６のいずれかによる処理が存在すると、この方法は、２２０のステップ７へ進む。ステップ７で、システムフィードバック及びユーザ情報が生成される。システムフィードバックは、システムユーザの入力に基づいて生成され、２０６でのステップ３、２１０でのステップ４、２１４でのステップ５、及び、２１６でのステップ６の成否をシステムユーザに通知することが意図されたフィードバック情報である。

関心のあるオブジェクト又は特徴物がステップ３で十分な信頼度で識別されたとき、コマンドがステップ６によって実行されるか、又は、フィードバックがステップ５によって空間オブジェクト又は特徴物にリンクされ、システムユーザはステップ７で動作の成功が通知される。関心のある空間オブジェクトが十分な信頼度で認識できない状況では、システムは、ステップ４、５及び６を回避し、システムユーザは、識別失敗が通知される。失敗のある状況では、システムサーバは、可能性のある空間オブジェクト又は特徴物のリストが提供される。これらのオブジェクト又は特徴物は、システムクライアント１０６に表示され、システムユーザに正しい空間オブジェクト又は特徴物を選択し、要求を再提示する機会を提供する。本発明は、システムクライアント１０６を介して付加的なオプションをさらに提供する。このオプションは、システムユーザが２度目に関心のあるオブジェクト又は特徴物をポインティングし、この要求を再提示するためのものである。

フィードバックシステムは、屋外又は屋内のいずれかで教育目的に使用するためさらに適合することがある。典型的に、教育システムは、複数の選択テストの結果、又は、その他の型の結果のようなユーザ入力を取得し、正しい回答に関してこのフィードバックを評価し、適切なフィードバックをシステムユーザに提供する。本発明は、これらの型の教育システムを組み込むため適合していると考えられる。より具体的には、本発明は、所定の値と対照してシステム・ユーザ・フィードバックを検査することを必要とするアプリケーションが実施されるように構成されることがある。一例として、教授は、自分のクラスを実地研究で史跡又は博物館へ連れて行くことを決めることがある。学生を試験するため教室へ戻る代わりに、教授は、現場で学生の知識をテストしたいと思うことがある。本発明のフィードバックシステムは、この型の教育活動を実施することができ、この特定の目的のためシステムをセットアップするために必要とされる構成要素の全部を提供する。

本発明のシステムの要素は、有線又は無線接続によって電子的に接続されることがあり、依然として本発明の範囲内にあることが分かる。

本発明のシステム及び方法の実施形態又は実施形態の一部分は、コンピュータハードウェア、ファームウェア、及び／又は、プロセッサとプロセッサによって読み取り可能な（揮発性メモリ及び不揮発性メモリ、及び／又は、記憶素子を含む）記憶媒体とをそれぞれに含むプログラマブルコンピュータ又はサーバ上で動くコンピュータプログラムで実施されることがある。コンピュータプログラムはどれでも、コンピュータに基づくシステムの内部又は外部で通信するため、高水準の手続型又はオブジェクト指向型プログラミング言語で実施されることがある。

コンピュータプログラムはどれでも、記憶媒体（例えば、ＣＤ−ＲＯＭ、ハードディスク、又は、磁気ディスケット）、又は、機器（例えば、コンピュータ周辺機器）のような製造品に記憶されることがあり、これらの記憶媒体又は機器は、実施形態の機能を実行するためコンピュータによって読まれるとき、コンピュータを構成し動作させるため汎用又は専用プログラマブルコンピュータによって読み取り可能である。実施形態又は実施形態の一部分は、コンピュータプログラムを用いて構成された機械読み取り可能な記憶媒体としてさらに実施されることがあり、実行中にコンピュータプログラム中の命令は、上述の実施形態の機能を実行するように機械を動作させる。

上述の本発明のシステム及び方法の実施形態又は実施形態の一部分は、多種多様のアプリケーションで使用されることがある。実施形態又は実施形態の一部分は、この点で限定されることはないが、実施形態又は実施形態の一部分は、数ある電子的な構成要素の中でも、マイクロコントローラ、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピューティング（ＲＩＳＣ）、及び、複雑命令セットコンピューティング（ＣＩＳＣ）においてメモリ機器と共に実施されることがある。さらに、上述の実施形態又は実施形態の一部分は、マイクロプロセッサによって実行されるべき電子命令を記憶するか、又は、算術演算で使用されることがあるデータを記憶するメインメモリ、キャッシュメモリ、又は、その他の型のメモリと称される集積回路ブロックを使用して実施されることもある。

説明は、いずれのコンピューティング環境又は処理環境においても適用できる。実施形態又は実施形態の一部分は、ハードウェア、ソフトウェア、又は、両者の組み合わせで実施されることがある。例えば、実施形態又は実施形態の一部分は、プログラマブルロジック（例えば、ＡＳＩＣ）、ロジックゲート、プロセッサ、及び、メモリのうちの一つ以上のような回路構成を使用して実施されることがある。

開示された実施形態への種々の変形が当業者に明白であり、後述される一般的な原理がその他の実施形態及びアプリケーションに適用される。このように、本発明は、本明細書中に示され、又は、記述された実施形態に限定されることが意図されていない。

Claims (28)

1. 電子ポインティング機器を用いて現実世界のシーンの中のオブジェクトを指定し、システム記憶装置に蓄積された前記オブジェクトのデジタル表現の中で、前記オブジェクトにフィードバックを電子的に添付することにより前記オブジェクトを識別するコンピュータで実施される方法であって、
   少なくとも一つのオブジェクトを格納する前記現実世界シーンの三次元の表現を地図化し、そして、前記三次元の表現をシステムサーバへ送信するステップ（Ａ）と、
   前記少なくとも一つのオブジェクトに関係するフィードバックを前記ポインティング機器に入力するステップ（Ｂ）と、
   前記少なくとも一つのオブジェクトに関するコマンド文を前記ポインティング機器に入力するステップ（Ｃ）と、
   前記ポインティング機器で少なくとも前記フィードバック及び前記コマンド文を含む要求を生成し、そして、ポインティング機器の測地学的位置及びポインティング方向と共に前記要求を前記システムサーバへ送信するステップ（Ｄ）と、
   ステップ（Ｅ）であって、前記システムサーバが、
   ステップ（Ａ）で地図化された３次元のシーンの２次元デジタル表現であって、前記少なくとも一つのオブジェクトの少なくともデジタル表現を含む二次元のデジタル表現を生成するサブステップ（１）と、
   前記二次元のデジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて、前記少なくとも一つのオブジェクトを識別するサブステップ（２）と、
   前記要求を処理し、前記要求からコマンド文及びフィードバックを分離するサブステップ（３）と、
   前記要求が少なくとも前記コマンド文だけを含む場合、前記少なくともコマンド文を実行し、次に、サブステップ（Ｅ）（７）を実行するサブステップ（４）と、
   前記要求がフィードバックだけを含む場合、前記フィードバックをシステム記憶装置に蓄積された前記少なくとも一つのオブジェクトの前記デジタル表現にリンクさせ、次に、サブステップ（Ｅ）（７）を実行するサブステップ（５）と、
   前記要求が少なくとも一つのコマンド文及びフィードバックを含む場合、前記少なくとも一つのコマンド文を実行し、そして、フィードバックをシステム記憶装置に蓄積された前記少なくとも一つのオブジェクトの前記デジタル表現にリンクさせ、次に、サブステップ（Ｅ）（７）を実行するサブステップ（６）と、
   前記システムサーバが前記少なくとも一つのコマンド文の実行及び／又はフィードバックのリンクを前記ポインティング機器に通知するサブステップ（７）と、
   を実行するステップ（Ｅ）と、
   を備えていることを特徴とする方法。
2. 前記ポインティング機器とシステムサーバとは、有線又は無線で通信することを特徴とする請求項１に記載の方法。
3. 前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含んでいることを特徴とする請求項１に記載の方法。
4. 前記要求は、状況の情報を含んでいることを特徴とする請求項１に記載の方法。
5. 状況の情報をフィードバックに付加するステップをさらに備えていることを特徴とする請求項４に記載の方法。
6. 前記システム記憶装置は、前記ポインティング機器の測地学的位置と、ポインティング方向に応じて現実世界のシーン及び前記現実世界のシーンに格納されたオブジェクトの二次元表現を生成するため環境情報と、を蓄積していることを特徴とする請求項１に記載の方法。
7. コマンド文は、前記少なくとも一つのオブジェクトの現実世界の状態に影響を与えるコマンドを備えていることを特徴とする請求項１に記載の方法。
8. 前記少なくとも一つのオブジェクトが関心のあるオブジェクトとして識別されたとき、前記少なくとも一つのオブジェクトに関係するフィードバックを取り出すステップをさらに備えていることを特徴とする請求項５に記載の方法。
9. フィードバックを取り出すステップは、前記少なくとも一つのオブジェクトにリンクされ、そして、前記システム記憶装置に蓄積されたフィードバックを取り出すステップを含んでいることを特徴とする請求項８に記載の方法。
10. フィードバックを取り出すステップは、状況の情報を取り出すステップを含んでいることを特徴とする請求項９に記載の方法。
11. フィードバックをリンクさせるステップは、フィードバックを前記少なくとも一つのオブジェクトの一部分にリンクさせるステップを含んでいることを特徴とする請求項１に記載の方法。
12. 前記ポインティング機器は、モバイル機器を含んでいることを特徴とする請求項１に記載の方法。
13. 電子ポインティング機器を用いて現実世界のシーン内のオブジェクトを指定し、システム記憶装置に蓄積された前記オブジェクトのデジタル表現の中で前記オブジェクトにフィードバック情報を電子的に添付することにより前記オブジェクトを識別するコンピュータで実施される方法であって、
    少なくとも一つのオブジェクトを格納する前記現実世界シーンの三次元の表現を地図化し、そして、前記三次元の表現をシステムサーバへ送信するステップ（Ａ）と、
    前記少なくとも一つのオブジェクトに関係するフィードバックを前記ポインティング機器に入力するステップ（Ｂ）と、
    前記ポインティング機器で、ステップ（Ｂ）で入力された少なくとも前記フィードバックを含む要求を生成し、そして、測地学的ポインティング機器位置及びポインティング方向と共に前記要求を前記システムサーバへ送信するステップ（Ｃ）と、
    ステップ（Ｄ）であって、前記システムサーバが、
    ステップ（Ａ）で地図化された三次元のシーンの二次元デジタル表現であって、前記少なくとも一つのオブジェクトの少なくともデジタル表現を含む二次元のデジタル表現を生成するサブステップ（１）と、
    前記二次元のデジタル表現に適用されたポインティング機器の測地学的位置及びポインティング方向に応じて、前記少なくとも一つのオブジェクトを識別するサブステップ（２）と、
    前記フィードバックをシステムサーバに蓄積された前記少なくとも一つのオブジェクトの前記デジタル表現にリンクさせるサブステップ（３）と、
    前記システムサーバがフィードバックのリンクを前記ポインティング機器に通知するサブステップ（４）と、
    を実行するステップ（Ｄ）と、
    を備えていることを特徴とする方法。
14. 前記ポインティング機器とシステムサーバとは、有線又は無線で通信することを特徴とする請求項１３に記載の方法。
15. 前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含んでいることを特徴とする請求項１３に記載の方法。
16. 前記要求は、状況の情報を含んでいることを特徴とする請求項１３に記載の方法。
17. 状況の情報をフィードバックに付加するステップをさらに備えていることを特徴とする請求項１６に記載の方法。
18. 前記システム記憶装置は、前記ポインティング機器の測地学的位置及びポインティング方向に応じて、現実世界シーン及び前記現実世界シーンに格納されたオブジェクトの三次元表現を生成するため環境情報を蓄積することを特徴とする請求項１３に記載の方法。
19. 前記少なくとも一つのオブジェクトが関心のあるオブジェクトとして識別されたとき、前記少なくとも一つのオブジェクトに関係するフィードバックを取り出すステップをさらに備えていることを特徴とする請求項１７に記載の方法。
20. フィードバックを取り出すステップは、前記少なくとも一つのオブジェクトにリンクされ、そして、前記システム記憶装置に蓄積された少なくともフィードバックを取り出すステップを含んでいることを特徴とする請求項１９に記載の方法。
21. フィードバックを取り出すステップは、状況の情報を取り出すステップを含んでいることを特徴とする請求項２０に記載の方法。
22. フィードバックをリンクさせるステップは、フィードバックを前記少なくとも一つのオブジェクトの一部分にリンクさせるステップを含んでいることを特徴とする請求項１３に記載の方法。
23. 前記ポインティング機器は、モバイル機器を含んでいることを特徴とする請求項１３に記載の方法。
24. 現実世界のシーンの中のオブジェクトを識別し、このオブジェクトにフィードバックを添付するシステムであって、
    現実世界シーンの中の関心のあるオブジェクトを指定し、前記関心のあるオブジェクトに関するフィードバック及び／又はコマンド文を入力させるポインティング機器であって、 前記ポインティング機器は、ポインティング機器の測地学的位置及びポインティング方向を判定し、フィードバック及び／又はコマンド文を含む要求を生成し、前記要求とポインティング機器の測地学的位置及びポインティング方向とをシステムサーバへ通信し、
    前記システムサーバは、
    前記関心のあるオブジェクトを含む前記現実世界のシーンを格納する三次元の表現を受信して処理する地図化モジュールと、
    前記地図化モジュールに接続し、前記地図化モジュールからの出力を受信し、前記関心のあるオブジェクトを含む前記現実世界のシーンの二次元デジタル表現を生成し、前記二次元のデジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて前記関心のあるオブジェクトを識別するシーン発生手段と、
    前記要求からのフィードバックをシステム記憶装置に蓄積された前記関心のあるオブジェクトの前記デジタル表現にリンクさせるリンカモジュールと、
    前記要求からのコマンド文を解析するコマンド構文解析モジュールと、
    前記ポインティング機器から、要求と前記ポインティング機器の測地学的位置及びポインティング方向とを受信し、そして、少なくとも取り出されたフィードバック及びコマンド文実行状態を前記ポインティング機器へ送信する通信モジュールと、
    をさらに備えており、
    前記システムは、
    前記システムサーバと通信して、前記関心のあるオブジェクトを含むオブジェクトに関係するフィードバックと、前記関心のあるオブジェクトを含むオブジェクトを格納する前記現実世界シーンに関係する二次元のデジタルの環境情報とを蓄積するシステム記憶装置と、
    前記システムサーバと通信して、前記関心のあるオブジェクト又は前記関心のあるオブジェクトの一部分の現実世界の状態に影響を与えるコマンド文を実行する実行モジュールと、
    を備えていることを特徴とするシステム。
25. 前記ポインティング機器は、モバイル機器を含んでいることを特徴とする請求項２４に記載のシステム。
26. 前記システム記憶装置は、システムのデータベースを備えていることを特徴とする請求項２４に記載のシステム。
27. 前記実行モジュールは、機器、アプリケーション、又はサービスと関連付けられたコマンドを実行することを特徴とする請求項２４に記載のシステム。
28. 前記システムサーバとポインティング機器とは、有線又は無線で通信することを特徴とする請求項２４に記載のシステム。

Images