JP2015531510A

JP2015531510A - 対話型表示システムにおける絶対的および相対的位置決めセンサ連携

Info

Publication number: JP2015531510A
Application number: JP2015531198A
Authority: JP
Inventors: ソロモン，ヨラム; キサカニン，ブラニスラブ
Original assignee: インターフェイズ・コーポレーション
Priority date: 2012-09-06
Filing date: 2013-09-05
Publication date: 2015-11-02
Also published as: CN104620203A; US20140062881A1; US9024876B2; EP2893422A1; EP2893422A4; KR20150053955A; WO2014039685A1

Abstract

無線のポインティング・デバイスと、ポインティング・デバイスが照準を定めたディスプレイにおける絶対および相対位置を決定することができる位置決め回路とを含む対話型表示システムである。絶対位置と該絶対位置の時点での推定または実際の相対位置との間の誤差値が決定される。補償係数が当該誤差値が決定され、後続の相対位置決めの結果に適用される。【選択図】図４

Description

本発明は、対話型表示システムの技術分野におけるものである。本発明の実施形態は、より詳細には、コンピュータ・システムにおける対話型動作の間に制御デバイスがポイントしているディスプレイの位置についての位置決めに向けられる。

話者がメッセージを聴衆に伝達できる機能は、通常、視覚情報を話し言葉と組み合わせて用いることによって強化される。現代においては、例えば、マイクロソフト社から入手可能なパワーポイント・プレゼンテーション・ソフトウェア・プログラムのようなアプリケーションにより、視覚情報を聴衆向けに生成および表示するために、コンピュータおよびこれに付随する表示システムを使用するのは、通常行われていることである。例えばオーディトリアム環境のような大きな聴衆向けの表示システムは、通常、投影システム（正面または背面投影のいずれか）である。近年、会議室または教室の環境といったより少ない聴衆用の、特に、フラット・パネル（例えば、液晶）ディスプレイについてのコストが下落すると共に、フラット・パネル・ディスプレイが普及してきた。例えば小型プロジェクタ（「ピコ(pico)・プロジェクタ」）といった、現在、特別なスクリーンを必要とすることのないより容易に開発される新しいディスプレイ技術が市場で浸透しつつある。非常に小規模の聴衆（例えば、１人か２人）に対するプレゼンテーション向けとしては、視覚情報を提示するのにラップトップ・コンピュータのグラフィクス・ディスプレイで十分である。いずれにしても、コンピュータ・パワーの増大と、より改良され且つより大きなディスプレイとを組み合わることで、数々のコンテキスト（例えば、ビジネス、教育、法律、娯楽）において、より少ないコストでのコンピュータ・ベースのプレゼンテーション・システムの使用が増加している。

典型的なコンピュータ・ベースのプレゼンテーションは、視覚情報について聴衆の視界を遮らないように、話者を表示システムから離れて起立させることを伴う。視覚によるプレゼンテーションは、コンピュータによって生成され、且つコンピュータによって制御されるものであるため、プレゼンテーションは対話により制御することができ、プレゼンテーションの間、視覚情報についての特定の聴衆、注釈または説明に対し、話者により、特に重要な視覚コンテンツの選択、ズーム、プレゼンテーションの他の情報へのリンクの選択（即ち、オンライン）、ならびに１つの表示位置から他のところまでの表示要素の移動などといった効果を施すことが必要になる。この対話性により、プレゼンテーションが非常に強化され、聴衆により興味深く関与させる。

したがって、話者が、表示された視覚コンテンツと距離をおいて対話する機能ことが望まれる。より具体的には、遠隔に位置する操作者が、表示される情報をポイント(point to)し、およびそれと対話するように使用することができるハンドヘルド・デバイスが、望まれる。

「Interactive Display System（対話型表示システム）」と称される米国特許第８,２１７,９９７号（２０１２年７月１０日に発行）は、譲渡され、参照により本願明細書に組み込むが、これには、カメラやその他の動画キャプチャ・システムを含んだハンドヘルド・ポインティング・デバイスとして構成される無線ヒューマン・インタフェース・デバイス（ＨＩＤ）を含んだ対話型表示システムについて記載している。ポインティング・デバイスは、コンピュータによって表示されるイメージをキャプチャする。当該イメージは、コンピュータによって表示されたイメージ・データに挿入される、人間には知覚できない１つ以上の位置決め(positioning)ターゲットを含む。回復した位置決めターゲットが有する位置、サイズ、および方向により、ディスプレイに対して遠隔ポインティング・デバイスが照準を定めたポイントを識別する。ポインティング・デバイスを位置決め(position)するために、（人により認知可能かまたは人により認知不可能な）位置決めターゲットの時間的配列(temporal sequencing)についても記載される。

先に参照した米国特許第８,２１７,９９７号に記載される手法によってポインティング・デバイスの照準ポイントの位置決めは、表示システムのフレーム・レートに対応するレートで実行される。より具体的には、新規の位置は、各新規のデータのフレームが表示されるときに、新規のフレーム（およびその位置決めターゲット）並びに直前のフレーム（およびその補完による位置決めターゲット）を結合することにより、決定することができる。この手法は、多くの状況、特に、アイコンのポイントおよび「クリック」、並びに表示されたウィンドウおよびフレームに伴うクリック・アンド・ドラッグ動作のような、コンピュータ・システムでのグラフィカル・ユーザ・インタフェースをナビゲートおよびコントロールするコンテキストにおいて、非常に良く機能する。米国特許第８,２１７,９９７号に記載されているこの手法の特別の利点は、決定の結果がディスプレイ上（例えばピクセル座標系）の特定の位置となるという意味で、位置決めが「絶対的」であるということである。この手法に従って実行される位置決めの正確性は、例えば、表示スクリーンとの物理的接触から何十フィート離れるに至るまでの範囲の、ディスプレイとハンドヘルド・デバイスの間の広範囲な距離にわたり非常によい正確性となる。

しかし、位置決めレートの表示フレーム・レートへの依存のために、この手法の性能には限界がある。例えば、電子的な対話型「ホワイト・ボード」アプリケーションにおける表示スクリーン上での「書き込み」の間のようなハンドヘルド・デバイスの迅速な移動は、そのフレーム・レートでの位置決めにより十分にはキャプチャできない動きを提示することができる。加えて、ハンドヘルド・デバイスの移動と表示応答の間のタイム・ラグは、状況によっては、ユーザおよび聴衆に対して顕著なものとなり得る。

動きセンサに基づく通常のヒューマン・インタフェース・デバイスは公知である。例えば、動きセンサは、例えばサンプリング時間の間に、時間とともにデバイスの動きを検出する。動きセンサの例には、加速度計のような慣性センサ、ジャイロスコープ、磁力計のような磁気電界センサ、おおよび光学マウスで使用されるそれのような資格システムが含まれる。動きセンサに基づく位置決めの結果は、ディスプレイの絶対位置が直接的には決定されず、寧ろ、位置決めセンサが以前の時点での位置に対してポイントされた位置を決定するという意味で相対的なものである。しかしながら、動きセンサ・ベースのポインティング・デバイスが動作するサンプル・レートは、ディスプレイのフレーム・レートによって制限されず、相対的な位置決めについて適切な登録を想定すると非常により高いものとなる。加えて、相対的な位置決めの結果を引き出すのに、絶対的な位置決めについて必要とされるのと比べて、より少ない計算を必要とする。しかしながら、残念なことに、これらのデバイスによって提供される位置決めは相関的なものであるために、ドリフトまたは他の誤差が時間と共に累積することができる。検出された加速度を線形距離に変換するために２回の積分を必要とするので、誤差は、加速度計の動き検出に依存するデバイスに対して悪化する。このように、動きセンサに基づく相対的な位置決めの正確性は、通常、絶対的の位置決め手法のそれよりも劣るものとなる。

要約すると、ヒューマン・インタフェース・デバイスがポイントするディスプレイの位置を決定する絶対的および相対的なシステムは公知である。絶対的な位置決めは、比較的に遅い最大レートでは正確である一方で、相対的な位置決めは高いレートで動作することができるが誤差の影響を受けやすい。

本発明の実施形態は、対話型表示システムの動作の間にハンドヘルド・ヒューマン・インタフェースがポイントしているディスプレイの位置を迅速且つ正確に位置決めするためのシステムおよび方法を提供する。

本発明の実施形態は、このような位置決めが、ディスプレイを物理的に接触しているデバイスから大規模な部屋で動作しているデバイスまでの範囲の距離範囲にわたって実行できるシステムおよび方法を提供する。

本発明の実施形態は、可視コンテンツが欠如する(absent)ことがある対話型ホワイト・ボード・アプリケーションにおいて有用なシステムおよび方法を提供する。

本発明の実施形態は、相対的な動きサンプル時間に対して生成されるデバイスの位置の間の位置を補間することができ、入来する(incoming)位置を予測できるシステムおよび方法を提供する。

本発明の実施形態は、以前に計算した位置を後方補正して(back-correct)、デバイスによって示される経路を正しく表示することができるシステムおよび方法を提供する。

本発明の実施形態の他の目的および利点は、次の明細書を図面と共に参照することによって当業者に明確なものとなるであろう。

本発明の実施形態は、対話型表示システムおよび該システムを動作させる方法において実施することができる。ここでは、遠隔ヒューマン・インタフェース・デバイスはイメージ・キャプチャ・サブシステムを含み、そこからデバイスがポイントしているディスプレイの絶対位置を決定することができる。また、遠隔ヒューマン・インタフェース・デバイスは１つ以上の動きセンサを含み、そこから相対的な位置決めの結果を決定することができる。絶対的および相対的な位置決め回路は、位置決めシステム若しくは表示される情報を生成するコンピュータ・システム内に、対話型デバイス自体に、またはその両方の組み合わせに配置することができる。位置決めシステムは、ある時点においてポイントされた絶対位置を決定し、同一の時点での位置に対応する相対位置を計算する。計算される絶対位置および相対位置の間の差分に対応する誤差値が決定され、動きセンサに基づいて位置決めシステムによって生成される相対位置を調整するのに使用される。

図１ａは、本発明の実施形態による対話側表示システムを用いて実行されている話者プレゼンテーションについての概略斜視図である。図１ｂは、本発明の実施形態による対話側表示システムを用いて実行されている話者プレゼンテーションについての概略斜視図である。図２ａは、本発明の実施形態による対話型表示システムについてブロック形態で示した電気図である。図２ｂは、本発明の実施形態による対話型表示システムについてブロック形態で示した電気図である。図３ａは、位置決めデバイスの移動における実際の経路に対し、絶対的および相対的な位置決めによってそれぞれ決定されるデバイスの推定経路を示したプロットである。図３ｂは、位置決めデバイスの移動における実際の経路に関連して、絶対的および相対的な位置決めによってそれぞれ決定されるデバイスの推定経路を示したプロット線である。図３ｃは、本発明の実施形態により決定される位置決めデバイスの推定経路を示したプロット線である。図４は、本発明の実施形態による対話型表示システムにおける位置決めサブシステムの機能的なアーキテクチャについてブロック形態で示した機能図である。図５は、本発明の実施形態により図４のアーキテクチャの動作について示したフロー図である。図６ａは、２つの相対的位置決めサンプル・ポイント間においてイメージ・キャプチャ時間での相対位置の決定について示すプロット線である。図６ｂは、２つの相対的位置決めサンプル・ポイント間においてイメージ・キャプチャ時間での相対位置の決定について示すプロット線である。図６ｃは、イメージ・フレーム中の絶対位置における位置による補償加重係数の依存関係について示す。図７は、本発明の実施形態による動的較正方法の動作について示すフロー図である。図８は、本発明の実施形態による絶対的位置決めおよび相対的位置決めの間で協力して使用されるポインティング・デバイスの指向軸線についての斜視図である。図９ａは、本発明の実施形態による視覚上の相対的位置決め方法の動作について示すディスプレイにおける図である。図９ｂは、本発明の実施形態による視覚上の相対的位置決め方法の動作について示すディスプレイにおける図である。図９ｃは、本発明の実施形態による視覚上の相対的位置決め方法の動作について示すディスプレイにおける図である。

本発明は、その実施形態、即ち、聴衆による可視表示を含むコンピュータにより処理されるプレゼンテーション・システムで実施される１またはそれ以上の実施形態に関して説明する。何故ならば、本発明は、このようなシステムに適用されるときに特に有用であると考えられるからである。しかしながら、本発明はまた、例えば、ゲーム・システムのような他の適用、およびユーザによるコンピュータ・システムへの全般的な入力などに関しても有用なものとすることができるとも考えられる。したがって、以下の説明は例示のためだけに提供されるものであり、特許請求されるような本発明の真の範囲を限定することを目的としないことが理解されるべきである。

図１ａは、本発明の実施形態が有用となる環境について簡略化した例を示している。図１ａに示すように、話者ＳＰＫＲは、視覚的補助(visual aid)を用いて、聴衆Ａにライブでのプレゼンテーションを提供している。この場合、視覚的補助は、コンピュータ２２によって生成され、聴衆Ａに可視なようにルームサイズのグラフィック・ディスプレイ２０上に表示された、コンピュータ・グラフィック・テキストの形態である。公知なように、このようなプレゼンテーションは、特定の聴衆のサイズおよびシステム要素が大きく変更しながら、ビジネス、教育、娯楽および他のコンテキストにおいて共通である。図１の簡略化された例は、ビジネス環境について示しており、聴衆Ａは、プレゼンテーションを視聴している数人またはそれ以上のメンバを含む。勿論、環境のサイズは、何百人もの聴衆メンバを着席させたオーディトリアムから、聴衆Ａが単一の人から構成される単一の机またはテーブルにいたるまで変更することができる。

視覚補助を聴衆Ａに提示するために使用されるタイプのディスプレイ２０は、しばしば、プレゼンテーション環境のサイズに応じて変更することもできる。会議室から大規模なオーディトリアムまでの範囲の部屋では、ディスプレイ２０は、表示スクリーンの前方または後方のいずれかに配置されるプロジェクタを含んだ投影による表示とすることができる。その環境では、コンピュータ２２は、補助イメージ・データを生成し、それをプロジェクタに転送することになる。より小規模環境では、ディスプレイ２０は、プラズマまたは液晶（ＬＣＤ）といったタイプの外部フラット・パネル・ディスプレイとすることができ、コンピュータ２２のグラフィックス・アダプタによって直接駆動される。１人か２人の聴衆メンバに対するプレゼンテーションでは、ラップトップまたはデスクトップ・コンピュータの形態のコンピュータ２２が、単にそれ自身のディスプレイ２０を使用して視覚情報を提示することができる。また、より少数の聴衆Ａのために、ハンドヘルド・プロジェクタ（例えば、「ポケット・プロジェクタ」または「ピコ(pico)・プロジェクタ」）がより一般的になりつつある。この場合には、表示スクリーンは壁またはホワイト・ボードとするとよい。

プレゼンテーションのコンテキストでのグラフィクスおよびテキストを生成および提示するコンピュータ・プレゼンテーション・ソフトウェアの使用は、今やありきたりのことである。このようなプレゼンテーション・ソフトウェアの公知の例は、マイクロソフト社から入手可能なＰＯＷＥＲＰＯＩＮＴソフトウエア・プログラムである。図１ａの環境では、このようなプレゼンテーション・ソフトウェアは、この例に示されるディスプレイ２０上に表示されるプレゼンテーションの各スライドを用いて、コンピュータ２２により実行されることになる。勿論、特定の視覚情報は、コンピュータ２２において実行する事前作成されたプレゼンテーションである必要がなく、代替として、コンピュータ２２を介してアクセスされるウェブ・ページや、アイコン、プログラム・ウインドウおよびアクション・ボタンを含むデスクトップ表示、コンピュータ２２によって読み出されているＤＶＤまたは他の記憶デバイスからのビデオ・コンテンツ若しくは動画コンテンツとすることができる。本発明の実施形態の点で有用な他のタイプの視覚情報について、当業者は本明細書を参照することで明らかなものとなろう。

図１ａでは、話者ＳＰＫＲは、ディスプレイ２０から離れて起立しており、その結果、聴衆Ａの視覚を遮断することがなく、また聴衆Ａをより良く関与させることができる。本発明の実施形態によれば、話者ＳＰＫＲは、遠隔ヒューマン・インタフェース・デバイス（ＨＩＤ）を使用し、ポインティング・デバイス１０の形態で、ディスプレイ２０においてコンピュータ２２により表示される視覚コンテンツと遠隔で対話することができる。ディスプレイ２０によって表示される視覚情報のこの対話性の使用は、特定の聴衆Ａと共にプレゼンテーションを有用なものとして即興的に実施する能力を話者ＳＰＫＲに提供して、（例えば、インターネット・リンク、アクティブ・アイコン、仮想ボタン、ストリーミング・ビデオなどの）アクティブ・コンテンツとインタフェースし、また、話者ＳＰＫＲに着席させること、さもなければコンピュータ２２に「縛り付ける(pinned)」ことを要求することなく、プレゼンテーションについて進歩したグラフィクスおよびコントロールを作動させる。

図１ｂは、本発明の実施形態のシステムおよび方法の他の使用について示す。ここでは、話者ＳＰＫＲはディスプレイ２０の近くに接近して視覚コンテンツと対話することができる。この例では、ディスプレイ２０は「ホワイト・ボード」として動作しており、「ホワイト・ボード」上で、または、図１ｂに示唆されるようにブランクのスクリーン上で、話者ＳＰＫＲはポインティング・デバイス１０を用いて「描画(draw)」または「書き込み(write)」を行うことができ、表示されたコンテンツへの注記としてコンテンツを能動的に描画することができる。この「描画」および「書き込み」は、概して、ポインティング・デバイス１０を、ディスプレイ２０と実際に物理的に接触している、または少なくともディスプレイ２０に近接して配置している間に行われることになる。図１ｂの適用例におけるディスプレイ２０を含むハードウェアは、図１ａのプレゼンテーションの例でのものと同一であってもよい。実際のところ、本発明の実施形態により、同一の話者ＳＰＫＲが、図１ａに示される距離から且つ図１ｂに示されるディスプレイ２０における双方で同一の聴衆の前方で対話するのを可能にする。

いずれにせよ、先に組み込んだ米国特許番号第８,２１７,９９７号に更に詳細に説明されるように、また、本発明の特定の実施形態に関連して次に説明するように、話者ＳＰＫＲはポインティング・デバイス１０によりこの対話を実行する。ポインティング・デバイス１０は、ディスプレイ２０におけるイメージの全部または一部をキャプチャすることができ、そして、ポイント先の(pointed-to)（即ち、照準を定めた(aimed-at)）そのイメージのターゲット位置と対話することができる。図１ａおよび図１ｂの例でのポインティング・デバイス１０は、ディスプレイ２０においてこのポイントされた位置および話者ＳＰＫＲからの他のユーザ命令を、受信機２４に無線で伝達し、つまりコンピュータ２２に伝達する。このように、本発明の実施形態によれば、コンピュータ２２との遠隔での対話性が実施される。

図２ａを参照する。本発明の実施形態により図１ａおよび図１ｂに示したような環境で有用な対話型表示システムに関する構成の一般化された例をこれより説明する。図２ａに示すように、この対話型表示システムは、ポインティング・デバイス１０、プロジェクタ２１，および表示スクリーン２０を含む。本発明の実施形態では、コンピュータ２２は、プロジェクタ２１によって表示スクリーン２０で表示されることになる「ペイロード」イメージを生成するための適切な機能性を含む。このペイロード・イメージは聴衆による視聴を意図したものである。本発明の実施形態によれば、これらのペイロード・イメージのコンテンツは、ポインティング・デバイス１０を介して人間のユーザとの対話により制御される。そのために、コンピュータ２２は位置決め回路２５と協働する。位置決め回路２５は、ポインティング・デバイス１０がポイントしている表示スクリーン２０の位置を決定する。次の説明からも明らかなように、この位置決めによる決定は、ポインティング・デバイス１０が表示スクリーン２０に表示された１つ以上の位置決めターゲットを検出することに基づく。

このペイロード・イメージ生成機能において、コンピュータ２２は、表示されることになる視覚情報（すなわち視覚「ペイロード」イメージ）を生成し、この視覚情報へのアクセス権を有することになる。例えば、メモリ内に事前に生成したプレゼンテーション・ファイルの形態、または、コンピュータ２２がネットワークやインターネットを介して検索できるアクティブ・コンテンツの形態である。「ホワイト・ボード」アプリケーションに対し、ペイロード・イメージは、ポインティング・デバイス１０を介してユーザによって供給され、通例はブランクの背景に表示される入力を含むことになる。コンピュータ２２からのヒューマン可視のペイロード・イメージ・フレーム・データは、ターゲット生成機能２３によって生成される位置決めターゲット・イメージ・コンテンツと一緒に結合されることになる。ターゲット生成機機能２３は、グラフィックス・ディスプレイ２０において表示されるときに、ポインティング・デバイス１０がキャプチャし、また位置決め回路２５が使用することができる。その結果、ポインティング・デバイス１０によってポイントされる位置を推定することができる。グラフィック・アダプタ２７は、イメージ・データのフレームのシーケンスをプロジェクタ２１に提示するのに適切な機能を含む。このイメージ・データは、ペイロード・イメージ・データと位置決めターゲット・イメージ・コンテンツとの組合せを適切な表示形態で含む。プロジェクタ２１は、次いで、この投影の例では表示スクリーン２０において対応するイメージＩを投影する。

コンピュータ２２、位置決め回路２５、ターゲット生成機回路２３、およびグラフィックス・アダプタ２７の具体的な構成は、広く変更することができる。例えば、適切な処理回路（ＣＰＵまたはマイクロプロセッサ）およびメモリを含む、単一のパーソナル・コンピュータまたはワークステーション（デスクトップ、ラップトップまたは他の適切な形態）は、ペイロード・イメージを生成し、位置決めターゲットを生成し、グラフィクス・アダプタ２７より前方に若しくはグラフィクス・アダプタ２７によって当該２つを結合し、またポインティング・デバイス１０からデータを受信および処理するために、構成およびプログラムすることができ、その結果、表示されるイメージにおけるポイント先位置を決定することができるものと考察される。代替としては、コンピュータ２２の外部の別個の機能システムがターゲット生成機２３、受信機２４、および位置決め回路２５の内１またはそれ以上を実行できる。その結果、コンピュータ２２は修正することなく従来のコンピュータが動作するように実現できるものと考察される。この場合は、グラフィックス・アダプタ２７は、それ自体で外部機能を構成することができる（若しくは、ターゲット生成機２３、受信機２４、位置決め回路２５が有する他の機能の内１つ以上を結合することができる）。または代替として、ターゲット生成機２３からの出力が提示されるコンピュータ２２内に実現することができる。これら機能についての他の様々な代替の実装についてもまた考察される。いかなる場合においても、コンピュータ２２、位置決め回路２５、ターゲット生成機２３、およびグラフィックス・ディスプレイ２０において表示されるイメージならびに位置決めターゲットの生成に伴う他の機能は、コンピュータ・プログラム命令を格納するコンピュータ可読媒体の形態で適切なプログラム・メモリを含むことができるものと考察される。このコンピュータ・プログラム命令は、その処理回路によって実行されるときに、本明細書で説明する本発明の実施形態についての様々な機能や動作を実行することになる。本明細書を参照する当業者にとって、不当な実験をすることなく、本発明のこれら実施形態を実施するための適切なコンピュータ・ハードウェアおよび対応するコンピュータ・プログラムを容易に配置することが可能なものと考察される。

この例では、ポインティング・デバイス１０は、光学システム１２およびイメージ・センサ１４からなるカメラ機能を含む。ディスプレイ２０に照準を定めるポインティング・デバイス１０を用い、ポインティング・デバイス１０およびディスプレイ２０の間の距離、光学システム１２内のレンズの焦点距離等に従い、イメージ・センサ１４は、ディスプレイ２０でのイメージＩの全部または一部に対応するキャプチャ・イメージによって露出(expose)される。イメージ・キャプチャ機能１６は、ユーザによって選択される特定の時点でキャプチャされる、または、一連のサンプリング時間の各々でキャプチャされるキャプチャ・イメージのデジタル表現を取得および格納するための適切な従来技術の回路を含む。ポインティング・デバイス１０はまた、アクチュエータ１５を含む。当該アクチュエータ１５は、従来型の押しボタンまたはその他のスイッチであり、それを通じて、ポインティング・デバイス１０のユーザは、イメージ・キャプチャを作動させるための、または、以下に説明するような当業者にとって明らかなような他の機能に対する、マウス・ボタンの性質を帯びているユーザ入力を提供することができる。この例では、１またはそれ以上の慣性センサ１７がまた、ポインティング・デバイス１０内に含まれており、表示されるコンテンツとのユーザ対話を補助および強化する。このような慣性センサの例には、加速度計、磁気センサ（すなわち、地球の磁場に関連する方向を検知するためのもの）、ジャイロスコープ、およびその他の慣性センサが含まれる。

この図２ａの例では、ポインティング・デバイス１０は、位置決め回路２５に、イメージ・キャプチャ・サブシステム１６によって取得されるキャプチャ・イメージに対応する信号を送るように動作可能である。この伝達機能は、ポインティング・デバイス１０の無線送信機１８によってその内部アンテナＡと共に実行され、それを経由して、無線周波信号（例えば、ブルートゥースまたは適切なＩＥＥＥ８０２．１１規格といった従来規格によるもの）が送信される。送信機１８は、キャプチャしたイメージ・データを、他のユーザ入力および適用可能な無線プロトコルを介した制御信号と共にコード化、変調、および送信するための従来の構成および動作を有するものと考察される。この例では、受信機２４は、そのアンテナＡを介してポインティング・デバイス１０からの送信信号を受信すること、並びに、復調し、復号化し、フィルタリングし、およびその他受信信号を位置決め回路２５による処理に適したベースバンドの形態に処理することができる。

本発明の実施形態の対話型表示システムの位置決め回路２５の特定の位置はシステムからシステムへと変更することができるものと考察される。一般的な意味では、どのハードウェア・サブシステム（即ち、ディスプレイ、ポインティング・デバイス、ビデオ・データ経路の別個のサブシステム、またはこれらの幾らかの組み合わせ）がディスプレイ２０でのポイント先の位置の決定を実行するかは特段重要ではない。図２ａに示される例では、先に説明したように、表示されたイメージＩを生成する機能と表示されたイメージＩでの位置を決定する機能を組み合わせるシステムにおいて、位置決め回路２５はコンピュータ２２およびターゲット生成機能２３の組み合わせで展開される。イメージＩでは、ポインティング・デバイス１０が当該システムの同一エレメントに照準を定める（また、それに関連付けられる命令をデコードする）。

図２ｂでは、本発明の実施形態による、対話型表示システムに関する代替の一般化した配置について示す。このシステムは、図２ｂの例に示すプロジェクタ２１およびディスプレイ２０を含む。先に説明したように、プロジェクタ２１はペイロードしたイメージ・コンテンツを投影し、またコンピュータ２２が生成したターゲット・イメージ・コンテンツを位置決めする。この例では、ポインティング・デバイス１０'は、現在ポイントしているディスプレイ２０における位置を決定することに伴う計算の一部または全部を実行する。このように、カメラ（レンズ１２、イメージ・センサ１４およびイメージ・キャプチャ１６）に加えて、ポインティング・デバイス１０’は、無線送信機１８と共に位置決め回路２５’を含む。逆に、既に説明したとおり、コンピュータ２２は受信機２４に結合される。代替として、送信機１８および受信機２４は、それぞれ、相互に無線通信の送信および受信の双方を行うことができる送受信機として実装することができ、その場合には、ディスプレイ２０で表示される位置決めターゲットのサイズ、形状および位置に対応するデータを、比較するためにポインティング・デバイス１０’に送信することができる。

いずれにせよ、次に詳細を説明するように、位置決め回路２５，２５’（以降において包括的に位置決め回路２５と称する。）は、ポインティイング・デバイス１０，１０’（以降において包括的にポインティング・デバイス１０と称する。）が照準を定めたディスプレイ２０での位置を決定する。

先に組み込んだ米国特許第８,２１７,９９７号に説明される位置決めは、ディスプレイでのポイント先の位置が、イメージ内の特定のピクセル位置を参照して決定されるという点で「絶対的な」位置決めである。換言すれば、絶対的な位置決めは、ディスプレイそれ自体の基準フレームに関する特定位置の決定である。加えて、当該位置決めは、米国特許第８,２１７,９９７号に記載したように実行され、２またはそれ以上のフレームの位置決めターゲットの取得に依存し、フレーム・レートに対応する最大レートで実施することができる。従来の他の絶対的な位置決め技術は、理論的には、（ポインティング・デバイスでのイメージ・キャプチャ、レート、ディスプレイのフレーム・レート、またはその両方に依存して）より早く実行することができるものの、著しく計算の複雑さを伴う。実際のところ、米国特許第８,２１７,９９７号に記載されている手法に従って説明される位置決めの判断についての計算時間は、位置決め回路の計算性能に依存してフレーム・レートよりも、より遅い位置決めレートという結果となり得る。また、絶対的な位置決めが特定の程度の確実性を越えて適合するイメージを必要とすることになるために、不完全な適合に因る否定的な結果が幾らかの例で生じることがあり得る。そして、このことはまた、２つの連続して成功した位置決定の間の時間を拡張することにもなる。いずれにせよ、ポインティング・デバイスが照準を定めるディスプレイでの位置についての位置決めは非常に正確なものとすることができる一方で、絶対的な位置決めが実行できるレートは制限されることになり得る。

通常の絶対的位置決め技術から利用可能な当該低い位置決めレートの結果、ポインティング・デバイス１０を有するユーザの移動をレンダリングするのに解像度が貧弱になり得る。図３ａは、この制限された解像度の例について示す。ここでは、曲線３０は、例えば１６０ミリ秒のスパンにわたり、ユーザが移動する際のポインティング・デバイスの実際の経路を表す。複数の点３２は、フレーム・レートが６０Ｈｚである場合について、米国特許第８,２１７,９９７号に記載されている手法に従って実行される絶対的な位置決めの結果を表している。この例では、絶対的な位置決めの結果は、複数のサンプル・ポイントで生成され得る。当該サンプル・ポイントは（良くても）１６ミリ秒間隔である。このように、１１個の絶対的な位置決め点３２は、１６０ミリ秒の期間にわたる経路３０（エンドポイントで含む）のために生成され、これから推定経路３０’をレンダリングすることができる。しかしながら、図３からも明らかなように、経路３０は（周波数ドメインの意味での）より高周波数成分を含む。当該高周波数成分は、６０Ｈｚでの絶対的な位置決めによっては正確にはレンダリングすることができない。絶対的な位置決めは、経路３０に対してその点３２の配置において優れた正確性を提供する。しかしながら、図３ａから明らかなように、経路３０におけるより高周波数のエクスカーションは、推定経路３０’において忠実には再現されていない。経路３０’のフィルタリングは、経路３０’をより喜ばしい形態となるように滑らかにはするものの、勿論、高周波数のエクスカーションを再現することに失敗する。対話による「ホワイト・ボード」のようなアプリケーションでは特に、実際の経路３０と比較した経路３０’の相違(discrepancy)がしばしば顕著となることになり、幾らかの場合では許容することができない場合もある。

本発明の実施形態によれば、ポインティング・デバイス１０はまた、ディスプレイ２０においてポイントされた位置について「相対的な」位置決めを実行する機能も含む。相対的な位置決めは、以前の位置に対する特定位置の決定である。図２ａおよび図２ｂの対話型システムのコンテキストにおいて、相対的な位置決めは、例えばサンプル時間の間に対する１つの位置から別の位置までのポインティング・デバイスの動きに基づいて実行される。公知のように、また先に言及したように、相対的な位置決めは相対的に高いレートにおいて実施することができる。何故ならば、その計算要件は通例的な位置決めほどは重要ではなく、且つフレーム・レートによって必ずしも制約されないからである。

相対的な位置決めが動き検出に基づくので、本発明の実施形態によれば、動き検出機能は、ポインティング・デバイス１０内の１つ以上の様々な手法で実装される。動きセンサの１つの種類は、従来技術では慣性センシングと称され、これにより、デバイスの物理的な運動が直接検出される。通例では、慣性センサは運動における３軸の各々に対して配備される。図２ａおよび図２ｂは、それぞれ、ポインティング・デバイス１０の慣性センサの任意の実施態様を示す。本発明の実施形態により実装できる慣性センサ１７の例には、加速度計、ジャイロスコープ、磁力計のような磁場センサが含まれる。慣性センサ１７の代替として、または、慣性センサ１７に加えて、視覚上の動き検出は、ポインティング・デバイス１０のイメージ・キャプチャ・サブシステム１６によって実行することができる。視覚上の動き検出への様々な手法が従来技術で公知である。例えば、オブジェクト登録、従来の光学トラックボールおよびマウスによって用いられる他の技術等がある。

しかしながら、相対的な位置決めの結果はディスプレイでは絶対位置に固定されないので、相対的な位置決めの誤差は時間と共に累積され得る。誤差に対するこの脆弱さは、加速度計のような特定の種別の慣性センサに対して高められる。加速度計は動きの加速度を測定し、つまり、当該測定した加速度を変位（そして、位置に）に変換するために２回の積分を必要とする。図３ｂは、経路３０に適用される相対的な位置決めの使用の例示であり、また１６０ミリ秒に対して拡張している。この例では、図３ａに示した絶対的な位置決めのレートよりも非常に高いレート（例えば、約４倍）で、相対的な位置決め点３４が生成される。当該より高い位置決めのレートのために、実際の経路３０におけるより高い周波数成分は、相対的な位置決め点３４に対応する推定経路３０’’において上手く再現される。しかしながら、図３ｂから明らかなように、相対的な位置決めに基づく推定経路３０’’は、経路３０における１６０ミリ秒に対して累積された誤差の影響を含む。当該累積された誤差は、経路３０の端部に達する頃には著しくΔｐのずれに達する。この累積された誤差は多くの場合、特にユーザが「ホワイト・ボード」のコンテキストでディスプレイ上に走り書きや大きな図を描画するのを試みる場合に、顕著なものとなり得る。図３ｂが一次元のみで生じたドリフトおよびその結果としてのずれを示す一方で、相対的な位置決めの結果におけるドリフトおよびずれは、勿論、ｘｙ次元の双方の成分を有することができる。

本発明の実施形態によれば、絶対的および相対的の双方の位置決めが実行され、それらの結果が、図２ａおよび図２ｂに示した対話型表示システムにおける位置決めの反応および正確性を改良するようにして結合される。これより図４および図５を参照する。本発明の実施形態による、位置決め回路２５の機能的および論理的なアーキテクチャ、並びに、絶対的および相対的な位置決めの結果の組み合わせに基づいて位置決めを実行する動作についてこれより説明する。先に述べたように、位置決め回路２５は、コンピュータ２２における若しくはこれに接続されるプログラム可能な論理回路による、ポインティング・デバイス１０内のプログラム可能な論理回路による、またはこれらの組み合わせによることを含む様々な方法で実装することができる。プログラム可能な論理回路が位置決め回路２５の全部または一部を実現する実装態様では、位置決め回路２５は、プログラム可能な論理回路で実行されると、図５に関連して後述する位置決め動作を実行するプログラム命令を格納するための適切なプログラム・メモリを含み、またはこれにアクセスすることになるものと考察される。これらの動作は、一連のイメージが、表示システムに適したフレーム・レートでディスプレイ２０においてコンピュータ２２によって提示される時間にわたり実行される。

図４に視覚センサ３５を示す。視覚センサ３５は、本発明の実施形態による位置決め回路２５内で絶対的位置決めサブシステム３７に結合される。本発明の実施形態では、視覚センサ３５は、イメージ・センサ１４およびイメージ・キャプチャ・サブシステム１６（図２ａおよび２ｂ）に対応し、各イメージ・キャプチャ時間において（例えば、ディスプレイ２０のフレーム・レートにしたがって定期的に）ディスプレイ２０でのキャプチャ・イメージＩ内に収容される位置決めターゲット・イメージ・コンテンツをキャプチャするように動作可能である。図５のプロセス４２では、視覚のセンサ３５は、イメージ・キャプチャ・サンプル時間においてディスプレイ２０のイメージを感知およびキャプチャする。これらイメージは（ヒューマン可視またはヒューマン非可視の）位置決めターゲット情報を含み、これから、プロセス４４では、イメージ・キャプチャ時間での絶対位置が、絶対的位置決めシステム３７によって決定される。本発明の実施形態によれば、位置決めターゲット・イメージ・コンテンツはヒューマン可視コンテンツとすることができ、幾らかの例ではディスプレイ２０に表示されるペイロード・イメージ・データを含む。代替として、位置決めターゲット・イメージ・コンテンツは、「マシン可視」であるもののヒューマン非可視のコンテンツとすることができ、これによって、ディスプレイ７０でのポイント先の位置を、聴衆に表示される情報を中断することなく決定することができる。次に詳述するように、位置決めのためのヒューマン可視コンテンツの使用は「ホワイト・ボード」アプリケーションにおいて特に有用である。各イメージ・キャプチャ時間についてのこれらのイメージ・データは、プロセス４４におけるディスプレイ２０でのポイント先の絶対位置の決定のために、絶対的位置決めサブシステム３７に伝達される。ディスプレイ２０では、イメージがキャプチャされた時間においてポインティング・デバイス１０が照準を定める。

位置決めターゲットがヒューマン非可視となる本発明のそれら実施形態によれば、絶対的位置決めサブシステム３７は、参照により本明細書に組み込んだ米国特許第８,２１７,９９７号に記載されるように構成および動作することができる。当該米国特許第８,２１７,９９７号に記載される手法によれば、包括的には、位置決めターゲットは、同一のパターンが後続するものの連続フレームでの逆変調により、視覚ペイロードの１つの表示フレームにおける強度についてパターン化された変調（例えば、ピクセル強度の変化）として提示される。２つのイメージ・フレームは、ポインティング・デバイス１０の視覚センサ３５によってキャプチャされる。本手法によるプロセス４４では、絶対的位置決め回路３７は、キャプチャされたイメージ・データをこれら２つのフレームから相互に減算する。減算した結果、キャプチャされたイメージ内のヒューマン可視要素は、減算の結果として相互に取り除くことになる。しかしながら、補完による位置決めターゲット・イメージは、相互に補強することになり、「可視」となり、位置決めターゲットを回復させる。回復した位置決めターゲットの位置、サイズおよび配向は、ディスプレイ２０に関連してポインティング・デバイス１０が照準を定めた点を識別する。図４に示される位置決め回路２５の機能的なアーキテクチャによれば、ポインティング・デバイス１０によるポイント先の絶対位置は、信号ＡＢＳを介して絶対的な位置決めサブシステム３７によってセンサ連携サブシステム４０にタイムスタンプと共に出力される。タイムスタンプは、好ましくは、イメージ・キャプチャ時間に対応する（即ち、視覚センサがイメージをキャプチャした時間、つまりポインティング・デバイス１０が絶対位置信号ＡＢＳによって示される位置へポイントした時間に対応する）。先に述べたように、絶対的位置決めサブスシステム３７は、代替では、他の従来の位置決め技術やアルゴリズムによって、ディスプレイ２０での出力に含まれる可視位置決めターゲットに基づいて絶対位置ＡＢＳを生成することができる。いずれにせよ、プロセス４２，４４は、先に述べたように例えばイメージ・データの次のフレームの表示の時間で繰り返される。

図４のアーキテクチャの動きセンサ３６は、その動きを検知するポインティング・デバイス１０内のセンサに対応し、その検知した動きを、ディスプレイ２０でのポイント先の位置における相対位置の決定のために相対的位置決めサブシステム３８に伝達する。図２ａおよび図２ｂを参照すると、動きセンサ３６は慣性センサ１７の形態で実装することができる。動きセンサ３６に替えて、またはこれと組み合わせて、視覚センサ３５はまた、ディスプレイ２０からキャプチャされるイメージ・データから相対的な動きを検出するように動作させることもできる。この場合、相対的な動きの感知は、フレーム・レートよりも高いレートでイメージ・データをキャプチャおよび処理する（ディスプレイ２０での同一フレームからの一連のイメージをキャプチャする）視覚センサ３５によって実行される。相対的な動きのこの視覚感知は、図４において視覚センサ３５の相対的位置決めサブシステム３８への任意の接続によって示される。いずれにせよ、図４を参照すると、動きセンサ３６若しくは視覚センサ３５（またはその両方）は、プロセス４８において一連のサンプル時間の各々で測定値を取得するように動作し、それら感知した測定値を適切な形態で相対的位置決めサブシステム３８に伝達する。次いで、プロセス５０において以前のサンプル時間に対して直近のサンプル時間での位置の変化を決定する。

相対的位置決めサブシステム３８は論理回路によって実現することができ、位置決め回路２５内のまたはこれにアクセス可能なプログラム・メモリに格納されるプログラム命令を実行するプログラム可能論理回路を含む。プログラム命令は、例えば、相対的な動きの位置決めについての従来のアルゴリズムにより、プロセス５０の相対的な動きの位置決めを実行する。この例は従来技術では「オブジェクト登録」と称されるものである。本明細書を参照する当業者にとって、不当な実験をすることなく、特定の実装のために最適な手法で、相対位置指示サブシステム３８のプログラム命令または論理回路を容易に実装できることになるものと考察される。相対的な位置決めプロセス５０の例が完了すると、相対的位置決めサブシステム３８によって生成される相対的な位置決めの結果、およびその相対的な位置決めの結果についてのサンプル時間（即ち、相対位置を計算するためのサンプル時間）を示す対応するタイムスタンプは、信号ＲＥＬを介してセンサ連携サブシステム４０に伝達される。先に述べたように、相対的位置決めサブシステム３８は、絶対的位置決めサブシステム３７が絶対位置の結果を伝達するのよりも高いレートで相対位置を伝達することになる。

本発明の実施形態によれば、センサ連携サブシステム４０は、誤差値ＥＶを決定する。誤差値ＥＶは、ポインティング・デバイス１０が特定の時点で照準を定めた、絶対的位置決めシステム３７により決定されるディスプレイ２０の位置と、それと同一の時点での相対的位置決めサブシステム３８によって決定される位置との間の差分に対応する。本発明の実施形態によれば、センサ連携サブシステム４０は論理回路として実装することができ、位置決め回路２５内またはそれにアクセス可能なプログラム・メモリに格納されるプログラム命令を実行するプログラム可能論理回路を含む。当該プログラム命令は、次に説明する手法で、信号ＡＢＳ、ＲＥＬに基づいて誤差値ＥＶを生成するための動作および機能を実行するものと考察される。本明細書を参照する当業者にとって、不当な実験をすることなく、特定の実装のために最適な手法で、センサ連携サブシステム４０のプログラム命令または論理回路を容易に実装できることになるものと考察される。

先に説明したように、絶対的位置決めサブシステム３７は、相対的位置決めサブシステム３８よりも正確な位置を提供することになり、その結果、誤差値ＥＶは、所与の時間での相対位置がその時間での絶対位置とは異なる分の距離となることになる。しかしながら、視覚センサ３５よりも非常に高いレートでサンプルする通常の動きセンサ３６の場合に、プロセス４４で絶対位置を取得したイメージ・キャプチャ時間は、プロセス５０で相対位置を取得したサンプル時間と時間合わせしなくてもよい。絶対的位置決めシステムおよび相対的位置決めシステムの間の同期が無いことは、慣性センサ１７を動きセンサ３６として使用する実装では特に現れることになる。正確な誤差値ＥＶを導出するために、それ故、相対的位置決めの結果および相対的位置決めの結果を共通の時間で合わせる必要が生じる。従って、本発明の実施形態によれば、誤差値ＥＶを決定する際のセンサ連携サブシステム４０の動作は、プロセス５２で開始される。ここでは、イメージ・キャプチャ時間での相対位置は、そのイメージ・キャプチャ時間の近辺の２つのサンプル時間での相対位置に基づいて計算される（例えば、イメージ・キャプチャ時間より前の１つのサンプル時間およびそれより後のサンプル時間）。プロセス５２のイメージ・キャプチャ時間での相対位置の当該決定は、プロセス５４の誤差値ＥＶの計算を容易にする。

プロセス５２の調整計算がセンサ連携サブシステム４０によって実行されることになる手法は、誤差値ＥＶを決定する所望の手法に依存する。本発明の実施形態によれば、プロセス５２は、相対位置の線形時間補間に基づいてもよく、または代替として相対的な動きの速度に基づいてもよい。

図６ａは、プロセス５２に適用される線形時間補間を例示するものである。この例では、相対的位置決めシステム３８は、サンプル時間ｔ_１での相対位置（ｘ_ｒ（ｔ_１），ｙ_ｒ（ｔ_１）、およびサンプル時間ｔ_２での相対位置（ｘ_ｒ（ｔ_２），ｙ_ｒ（ｔ_２）を識別している。この例では、プロセス５２は、サンプル時間ｔ_１，ｔ_２の間にあるイメージ・キャプチャ時間ｔ_ＩＣでの相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））を補間することを目的する。線形時間補間は、この例では、ｘおよびｙ方向（次元）の各々において、イメージ・キャプチャ時間ｔ_ＩＣおよびサンプル時間ｔ_１，ｔ_１の間の時間の差分にしたがって決定される。本発明のこの実施形態では、相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））は、プロセス５２においてセンサ連携サブシステム４０によって次のように計算される。

要約すると、プロセス５２のこれらの計算は、イメージ・キャプチャ時間ｔ_ＩＣでの相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））を、イメージ・キャプチャ時間および２つの相対位置サンプル時間の間の時間差によって加重された２つの相対位置の線形平均として計算する。この手法は、相対動きサンプル時間ｔ_１とｔ_２の間の時間期間が短い（その結果、これら２つのサンプル時間の間の動きが短距離にわたる）場合、またはその区間にわたる動きが線形的で一定速度の場合に最も正確であると考えることができる。

しかしながら、時間期間が比較的長い場合、または動きが線形でも一定側でもない場合は、プロセス５２における計算は誤差値ＥＶの決定に付加的な誤差を挿入することがある。図６ｂは、サンプル時間ｔ_１，ｔ_２の間の動きが、実際の経路５３に示すように線形ではない場合についての当該誤差について示したものである。この例では、点５１は、上記の線形補間手法を使用してイメージ・キャプチャ時間ｔ_ＩＣでの相対位置を推定したのを示し、その一方で点５５はイメージ・キャプチャ時間ｔ_ＩＣでの実際の相対位置を示す。図６ｂから明らかなように、（ｙ方向の）重大な誤差が非線形の動きの結果として存在する。

プロセス５２に有用な役立つ速度ベースの手法によれば、イメージ・キャプチャ時間ｔ_ＩＣに近い方のサンプル時間での速度を用いて、感知した動きの速度に基づいてイメージ・キャプチャ時間での相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））の決定を推定することができる。図６ｂの例では、イメージ・キャプチャ時間ｔ_ＩＣは、サンプル時間ｔ２よりかサンプル時間ｔ１の方が近い。よって、速度ベクトル５７がプロセス５２で決定され、サンプル時間ｔ_１での動きの速度に対応付ける。本発明の当該実施形態では、動きセンサ３６および相対的位置決めサブシステム３８が、各サンプル時間で動きの速度を計算しているか、さもなければ決定しているのが有用である。例えば、加速度が動きセンサ３６の加速度計で測定される場合、速度の当該計算は、測定した加速度について単一の積分のみによる量となり、また、測定した加速度からの変位を計算する際に必要となる第２の積分によって生じる付加的な誤差の可能性を回避することになる。いずれにせよ、ここで重要な速度は、ディスプレイ２０でのポイント先の位置がディスプレイ２０で移動する速度である。このように、重要となる速度は、必ずしも、ポインティング・デバイス１０自身が空間で移動する速度である必要はない。本明細書を参照する当業者にとって、このような計算をプロセス５０で容易に実装することができることになる。

速度ベクトル５７は、それぞれｘ方向およびｙ方向に２つの速度成分ｖ_ｘ（ｔ_１），ｖ_ｙ（ｔ_１）を含む。これらの速度成分に基づいて、イメージ・キャプチャ時間での相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））は、容易に次のように計算できる。

イメージ・キャプチャ時間がサンプル時間ｔ_２よりもサンプル時間ｔ_１の方に近い場合である。イメージ・キャプチャ時間がサンプル時間ｔ_１よりもサンプル時間ｔ_２の方に近い場合は、サンプル時間ｔ_２での速度ベクトル５７は、成分ｖ_ｘ（ｔ_２），ｖ_ｙ（ｔ_２）を有し、イメージ・キャプチャ時間ｔ_ＩＣでの相対位置（ｘ_ｉ（ｔ_ＩＣ），ｙ_ｉ（ｔ_ＩＣ））を次のように補間するのに用いる。

更なる代替として、速度ベクトル５７はサンプル時間ｔ_１およびｔ_２での速度ベクトルの平均から決定することができる。この平均速度は、必要に応じて、サンプル時間ｔ_１，ｔ_２の一方または他方に対するイメージ・キャプチャ時間ｔ_ＩＣの近接度に基づいて加重してもよい。

図５に戻り、プロセス５２でイメージ・キャプチャ時間ｔ_ＩＣでの相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））が一旦計算されると、センサ連携サブシステム４０は次いで、当該相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））をプロセス４４で決定した絶対位置（ｘ_ａ（ｔ_ＩＣ），ｙ_ａ（ｔ_ＩＣ））と同時に比較することにより誤差値ＥＶを決定することができる。当該誤差値はｘ方向およびｙ方向の２次元で反映されるものと考察される。

誤差値ＥＶ成分は、符号付きの値と考えられる。図４のアーキテクチャを参照すると、当該誤差値ＥＶは、センサ連携サブシステム４０から相対的位置決めサブシステム３８に伝達により戻されて、動きセンサによる測定に基づく過去、現在、および将来の相対位置が補償される。

本発明の実施形態によれば、相対的な位置決めのプロセス５０の結果は、プロセス５４で決定される誤差値ＥＶに対応する補償係数によって補償される。図５の例では、プロセス５６は、当該補償係数を引き出すために、相対的位置決めサブシステム３８によって（代替として、センサ連携サブシステム４０によって）実行される。プロセス５６に対する単純な手法は、プロセス４４で生成される絶対位置が厳密に正確であると想定し、また、誤差値ＥＶが、以前の誤差値の決定以降では累積された相対位置の結果のドリフトに対応すると想定することである。この単純な手法では、補償係数は、誤差値ＥＶと同一となるようにプロセス５６において取るに足りずに(trivially)決定される。この単純な例についてプロセス５８では、相対的位置決めサブシステム３８は、次のように補償係数を１つ以上の相対位置の結果（ｘ_ｉ（ｔ_ｋ），ｙ_ｉ（ｔ_ｋ））に付加的に適用する。

ここで、←は置換演算子であり、ＥＶ_ｘ（ｔ_ＩＣ），ＥＶ_ｙ（ｔ_ＩＣ）は直近のイメージ・キャプチャ時間での誤差値成分である。

本発明に関連し、絶対的位置決めサブシステム３７によって決定される絶対位置は、それが計算される時間ごとに精密に正確でなくてもよいことが考察されてきた。その場合、補償係数として誤差値ＥＶを単に適用することは、相対位置を誤って補償することになり得る。加えて、絶対位置の結果が精密に正確な場合でも、相対位置の結果に対する大きな補償が突然適用されると、ユーザおよび聴衆を混乱させる場合がある。したがって、幾らかの場合では、次の加重係数ｗを用いてプロセス５６で補償係数を計算するのが好ましいことがある。

ここで、ｗは０から１までの定数である。この手法では、低い加重係数ｗは少量の補償だけを適用することになる一方で、より高い加重係数ｗはより強度が大きい補償を適用することになる。

本発明の実施形態によれば、補償係数の計算における加重係数ｗは、特定の要件または他の係数に依存する。例えば、絶対的位置決めサブシステム３７で決定される絶対位置の正確性は、キャプチャ・イメージ内の位置決めターゲットの位置に従って変化させることができる。この場合は、加重係数ｗは、補償係数計算プロセス５６のインスタンス毎に求められるイメージ領域の中心点への位置決めターゲットの近接度の関数となる。加えて、またはこれに替えて、ｘ方向およびｙ方向は、例えばキャプチャ・イメージ領域が正方形でなはい場合に、異なる加重係数ｗ_ｘ，ｗ_ｙを受けてもよい。図６ｃは、イメージ・キャプチャ・エリア内の位置決めターゲットの位置によって調整された加重係数ｗ_ｘ，ｗ_ｙの例を示したものである。先に述べたように、適用した補償の量は加重係数ｗの増加と共に増加し、その結果、補償は、位置決めターゲットがイメージ・キャプチャ領域の周縁または角により近く、且つ、位置決めターゲットの位置がイメージ・キャプチャ・エリアの角により近くなるにつれてより高くインスタンスについて、より低いものとなる。

相対的な位置決めの指示結果に適用された補償係数を決定するために、非線形加重係数もまた用いることができる。例えば、加重係数は、誤差値ＥＶの大きさに依存する手法で計算することができる。この非線形加重への単純なアプローチでは、誤差値成分ＥＶ_ｘ，ＥＶ_ｙのそれぞれの大きさに直接比例するように加重係数ｗ_ｘ，ｗ_ｙを計算することになる。

更なる代替では、プロセス５６での補償係数の計算は、加重係数を用いなくてもよい。補償係数は、単に、固定ステップ（例えば、固定ピクセル数）、誤差値ＥＶの両極性に従い増加若しくは減少するステップ・サイズ（例えば、特定方向の誤差の第１インスタンスについての２つのピクセル、当該方向での誤差の第２インスタンスの後の４つのピクセル等）、または閾値補償（即ち、誤差値ＥＶが特定の閾値未満のときは補償せず）等としてもよい。ＡＤＰＣＭ変調、カールマン・フィルタリング等で用いられるような他の補償方法を代替として適用してもよい。

図４に戻り、プロセス５８の相対位置の決定に適用されている所望の補償に応じて、補償された位置決めの結果は、信号ＦＰＯＳを介してコンピュータ２２に伝達される。本発明の実施形態によれば、通常の相対的な位置決めシステムで使用可能であるが、当該通常の相対的な位置決めシステムで利用可能なものと同様の正確ではない比較的高いサンプル・レートでポインティング・デバイス１０によってポイントされたディスプレイ２０での信号ＦＰＯＳによる位置が提示される。これらプロセスは、付加的なサンプリングおよび位置決めの測定について時間と共に繰り替えされるよう継続する。

図３ｃは、本発明の実施形態により、図４および図５のアーキテクチャおよび方法に従って導出される補償についての例を示すものである。ポインティング・デバイス１０によってポイントされた先の位置の実際の経路３０が、白抜き丸によって示される絶対位置点３２と共に図３ｃに例示される。図３ｃから明らかなように、絶対位置点３２は、実際の経路３０に対して非常に正確である。しかしながら、相対位置点３４はｘ方向にドリフトを累積することを伴い、その結果、当該相対位置点３４によって示される経路３０’が実際の経路３０から著しく逸脱し始める。しかしながら、点ＣＶでは、図４および図５のアーキテクチャおよび方法の動作は、実際の経路３０上に当該点での（時間ｔ_Ｃでの）相対位置点３４を配置するのに十分な補償係数を適用する。時間ｔ_Ｃの後の相対的な位置点３４が、同一のまたは後進された補償係数によって補償され、その結果、推定経路３０’を実際の経路３０と接近して一致させることができる。本発明の実施形態によって導出された補償係数が時間ｔ_Ｃで適用された後に、補償した相対位置点３４が十分に高いサンプル・レートで提供され、図３ｃに示すように実際の経路３０においてより高い周波数特性を正確にレンダリングすることができる。

現在の技術によれば、絶対的な位置決めプロセス４４に伴う計算は、ディスプレイ２０のフレーム・レートに関連して、重大な時間を消費することがある。例えば、先に組み込んだ米国特許第８,２１７,９９７号におけるヒューマン非可視の位置決め方法による絶対的な位置決めは、位置決めターゲットを回復させるために、２つの直近のキャプチャ・イメージの分析を必要とする。このように、取得される誤差値ＥＶが寧ろ「停滞している(stale)」ものになり得て、その結果、絶対位置以降に生じた誤差の最近の増加（例えば、ドリフトの累積）が、絶対的な位置決めおよび相対的な位置決めの間の差分を十分には補償しないものと判定されるような幾らかの状況が見込まれる。

この問題は、プロセス４４での絶対的な位置決めの計算がイメージ・キャプチャ時間の内１つと関連して完了する時間を検査することによって対処することができる。例えば、米国特許第８,２１７,９９７号による方法では、プロセス４４が完了する時間は、関係する２つのフレームの第２のイメージ・キャプチャ時間の後に、選択された遅延時間に対して比較されることができる。プロセス４４がと閾値時間より前に完了する場合は、そのように決定された絶対位置の値は比較的「新しい」ものであり、当該絶対位置はプロセス５２から５８のためにセンサ連携サブシステム４０に伝達される。その一方で、当該閾値時間の経過後までにプロセス４４が完了しない場合は、絶対位置の値は「停滞している」(stale)とみなされ、その結果はプロセス５２のためにセンサ連携サブシステム４０には転送されない。この場合は、絶対的な位置決めプロセス４４は、次のイメージ・キャプチャ時間の後に直ちに繰り返され、次いで、新規の結果がプロセス５２以下を参照して誤差値ＥＶを決定するために用いられる。

上記の本発明の実施例によれば、エラーがすでに発生した（例えば、時間ｔ_Ｃより前の図３ｃに示すように）あと補償係数が引き出されるという点で、相対的な位置結果の補償は相対的な位置指示の「静的」較正と思われることができる。より詳しくは、この較正の静的性質は、相対的位置決めサブシステム３８がサンプル時間の間にポインティング・デバイス１０の検出される動きに基づいて相対位置を決定する手法による結果となる。

通常の動きセンサ、特に慣性センサ、および対応する相対的位置決めシステムは通例、ピクセルとしてではなく、規格化された距離測定値（例えばディスプレイ２０でのｍｍまたはｃｍ）に関して位置を計算する。これらの距離のピクセルへの変換は、次のような変換乗数(transformation multiplier)Ｔ_ｘの適用を必要とする。

ここで、ｘ_ｒ ^ｐは、ピクセルで表現される相対位置であり、ｘ_ｒ ^ｄは、距離で表現される相対位置であり、Ｔ_ｘは変換乗数（即ちピクセル・ピッチ）である。先に説明した「静的」較正のコンテキストでは、変換乗数Ｔ_ｘ，Ｔ_ｙは定数であり、プロセス５０での相対位置の変更の決定において適切なものとして適用される。

しかしながら、変換乗数Ｔ_ｘ，Ｔ_ｙは状況によっては必ずしも定数を維持する必要がないことが考察されてきた。第一に、ポインティング・デバイス１０は必ずしもディスプレイ２０と物理的に接触する必要があるわけではないので、ポインティング・デバイス１０の異なる線形物理的移動が異なるピクセル・ベースの移動、特にポインティング・デバイス１０のディスプレイ２０からの異なる距離、またはディスプレイ２０への異なる角度の移動に変換されることがある。このような移動は結果として異なる見通しになる。第二に、慣性センサの物理的測定値への変換結果の正確性について、加速度を変位に変えるのに要求される２回の積分が時間と共に変化することを考慮すると、これは妥当ではないことがある。したがって、その変換乗数Ｔ_ｘ，Ｔ_ｙを定数に維持するのを想定することは常には有効でないことがある。本発明の他の実施形態によれば、計算される相対位置の「動的」な較正は、時間と共に、例えばプロセス４４で絶対位置が決定される毎に、変換乗数Ｔ_ｘ，Ｔ_ｙを修正することにより実装される。このようにして、図７に関連してこれより説明するように、相対位置の結果を補正するのに使用される補償係数は、例えば現在のイメージ・キャプチャ時間での相対位置が計算されるプロセス５２において、「静的」な較正の場合のようなファクトの後というよりは寧ろ、相対対絶対(relative-to-absolute)の位置誤差が生じる時間よりも前に決定されることになる。

本発明の本実施形態によるプロセス５２は、プロセス４４によって新規の絶対位置の計算に応答して実行されて、つまり、図２ａおよび図２ｂの対話型表示システムの動作の間に実行される、時間とともに反復的なプロセスである。図７のプロセス６０では、現在のイメージ・キャプチャ時間での相対位置（即ち、新規の絶対位置に対応するもの）が、例えば本プロセスの以前のインスタンスで決定された変換乗数Ｔ_ｘ，Ｔ_ｙの値を用いて計算される。プロセス６２では、現在のイメージ・キャプチャ時間ｔ_ｋおよび以前のイメージ・キャプチャ時間ｔ_ｋ−１についてプロセス６０で計算された相対位置の間の差分が次のように（ｘ方向およびｙ方向の両方で）決定される。

ここで、変換乗数Ｔ_ｘ（ｔ_ｋ−１），Ｔ_ｙ（ｔ_ｋ−１）は以前のイメージ・キャプチャ時間ｔ_ｋ−１から決定された変換乗数である。プロセス６４では、現在および以前のイメージ・キャプチャ時間ｔ_ｋ，ｔ_ｋ−１についてプロセス４４で決定された絶対位置の変化が、サイドｘ方向およびｙ方向において計算される。次いで、プロセス６２，６４の結果は、現在のキャプチャ時間について新規の変換乗数Ｔ_ｘ（ｔ_ｋ），Ｔ_ｙ（ｔ_ｋ）は次のような導出に適用される。

ここでｘ_ｖ（ｔ_ｋ），およびｙ_ｖ（ｔ_ｋ）は、現在のイメージ時間でのｘ方向およびｙ方向のそれぞれ絶対位置である。以前のイメージ・キャップチャ時間ｔ_ｋ−１での相対位置（ｘ_ｒ（ｔ_ｋ−１），ｙ_ｒ（ｔ_ｋ−１））は、補正した相対位置に対応するか、またはその代わりに未補正の相対位置としてもよい。

この手法によれば、慣性センサ３６によって測定値から計算された動きの距離が、同一の時点での絶対位置によって示されるものよりも大きい場合は、次いで、変換乗数Ｔ_ｘ，Ｔ_ｙはプロセス６６において減少することになる。反対に、絶対位置によって示される動きが、感知および計算された相対位置よりも大きい場合は、変換乗数Ｔ_ｘ，Ｔ_ｙはプロセス６６によって減少することになる。

変換乗数の当該変化は、プロセス６８において現在のイメージ・キャプチャ時間について計算された相対位置に適用されることになる。変換乗数Ｔ_ｘ，Ｔ_ｙがプロセス６６の直近のインスタンスで変化した程度に、プロセス６０で計算される相対位置はプロセス６８で調整されることになる。当該補正された相対位置は、次いで、先に説明したように、誤差値ＥＶの決定のためにプロセス５４（図５）に転送されることになる。

変換乗数Ｔ_ｘ，Ｔ_ｙの変化は十分に大きくなり、ディスプレイ２０において可視の結果は、補正ステップとして適用される場合に、目立って混乱させることになるものと考察される。この動的な較正手法の代替の実施によれば、加重係数ｗ_Ｔｘ，ｗ_Ｔｙを、プロセス６６において変換乗数の計算に含めることができる。

加重係数ｗ_Ｔｘ，ｗ_Ｔｙは、絶対的な位置決めでの低い信頼性を示す低レベル０（そのために、変換乗数において変化することがない）から、絶対的な位置決めでの高い信頼し得を示す高レベル１（そしてそのために、変換係数において最大変化が適用されることになる）まで変化させることができる。２次元の加重係数ｗ_Ｔｘ，ｗ_Ｔｙは、所望であれば相互に異なるものとすることができる。

先に説明したように、新規の変換乗数Ｔ_ｘ，Ｔ_ｙは次いで、これら変換乗数の次の更新まで、例えば、（プロセス４４からの）次の絶対位置の受け取りまでに、現在のイメージ・キャプチャ時間ｔ_ｋでの相対位置、および相対的位置決めサブシステム３８で生成した相対位置値に適用される。

先に説明したプロセスの他の代替および変形例がまた、本発明に関連して考察される。１つのこのような変形例は、視覚センサ３５で決定される絶対位置の分析を含む。本発明に関連して、絶対位置の結果の誤差が数多くの要因に因り引き起こされ得ることを考察してきた。重大な誤差が絶対位置の決定時に存在する場合には、相対位置が「補正」されて(corrected)当該誤った絶対位置の結果に適合する場合に、誤差が倍加されることになる。例えば、ポインティング・デバイス１０が６０ピクセル分だけ上へ、且つ２０ピクセル分だけ右への距離に移動したと絶対位置の変化が示す一方で、その時間による相対位置の変化が１２ピクセル分だけ上、且つ３ピクセル分だけ左の移動を示した場合に、２つの検出モードの間の重大な誤差から導出される補償係数は、特に「ホワイト・ボード」アプリケーションにおいて、結果として表示された結果の重大な誤差という結果となり得る。類似の誤差が、プロセス６６における変換乗数の生成における誤った補正から発生する場合があり、類似の誤差は新規の位置の計算に適用される。

先に説明したプロセスの変形例によれば、プロセス４４で生成される絶対位置値の重大な誤差は、閾値に対して誤差値ＥＶを比較することによって検出される。閾値は、静的な値とすることができ、例えば以前の誤差ＥＶの±３０％以上の変更としてもよい。代替として、閾値は、動作の間、例えば数多くの直近のサンプルにわたる静的な誤差値に基づいて、動的に調整することができる。誤差値ＥＶが閾値を超過する場合、誤差値ＥＶの重大な変化を引き起こす絶対位置は放棄して、当該誤差値をプロセス５６での補償係数のセットおよび更新またはプロセス６６での新規の変換乗数の計算には用いないようにしてもよい。当該閾値プロセスの変形例は、誤った絶対位置が予期しない大きな誤差値ＥＶを生じさせたと想定する前に、直近の相対位置が以前の位置と整合しないように出現するかどうかについて決定するために、相対位置値の振る舞いを分析するためのものとなる。当該閾値手法の他の変更例は、本明細書を参照する当業者にとって明らかなものとなる。

先に説明し、図３ｃの例に示したように、本発明の実施形態は、比較的高いサンプル・レートで生成される相対位置の値のリアルタイムでの補償機能を提供し、つまり、対話型表示システムにおいて遠隔のポインティング・デバイスによってポイントされる先の位置の移動を追跡する。しかしながら、本発明の実施形態は、このような対話型システムの位置決めにおける他の種別の補正を行うように用いることができる。

これに関する１つの変形例は、ディスプレイでのポイント先の位置によって追従される推定経路に沿って、「仮想」の相対位置点を挿入する機能を提供する。相対的な位置決めサンプル・レートが（サンプル・レートに制約される）絶対的な位置決めレートよりも著しく高い場合、幾らかの状況では、見かけの位置レートを尚もさらに（「スムージング」なものに）改良するのに役立つことがある。これらの状況の例は、動きの速度（例えばポインティング・デバイス１０を用いたユーザの「筆跡」(handwriting)の速度が高いときに生じさせることができ、その結果、相対位置の間の時間および距離は長く、経路について変わりやすい区分的線形表現の結果となる。本発明の実施形態によれば、プロセス５２（図５）で計算された相対位置と同一の手法で「仮想的」な相対位置を、実際の位置の値および相対的な位置の値の間で補間することができる。先に説明したように、実際の相対位置の間の当該「仮想的」なサンプル時間の１つ以上での相対位置は、線形時間補間により、または代替として相対的な動きのサンプル時間（または２つの平均）のいずれかでの感知した速度ベクトルに基づいて導出することができる。

同様に、本発明の他の実施形態によれば、予測される「仮想的」な相対位置は、現在のポイント先の位置に先立つ（即ち、直近の相対位置に先立つ）点に対して予測される。本発明の当該実施形態では、直近の相対位置のサンプル点での速度ベクトル、または速度ベクトルの大きさ若しくは方向の最近の変化を用いて、動きセンサ３６および相対位置サブシステム３８がその相対位置の値を生成するように動作する時間よりも以前に、仮想的な相対位置を推定することができる。仮想的な相対位置は、その時またはその後に、真の補正相対位置の決定に応じて置換または調整することができる。しかしながら、予測による相対的位置決めは、ポインティング・デバイス１０を用いて「書く」という自然な感覚を改良する効果を有する。何故ならば、予測した位置は、ポインティング・デバイス１０の移動と描かれた線のレンダリングとの間の感知されるタイム・ラグを排除することができるからである。

本発明の他の実施形態によれば、本発明の実施形態により導出される補償係数がまた、ポインティング・デバイス１０の以前の相対位置の後方補正(back-correct)に使用することもできるものと考察される。当該後方補正は、所与の数の相対位置、例えば、最後の絶対位置イメージ・キャプチャ時間以降の全てのサンプル時間での位置をメモリに格納し、次いで、当該格納した相対位置をプロセス５６の直近のインスタンスで決定した新規の補償係数に基づいて補正することにより組み込むことができる。線または経路がそれらの相対位置に基づいてディスプレイ２０上に描画される場合に、以前の相対位置の補正は、必要に応じて、その経路を描画し直すのにも用いることができる。更にまた、当該補正は、補正への注意を喚起できる劇的なまたは唐突の手法というよりかは寧ろ、精細に行うのに有用である。補償係数は「全体」（即ち、同一の補償係数は全ての以前の位置を補正するのに使用される）にわたり、または、位置が正確とみなされる基準位置から距離（若しくは時間間隔）が離れると共に適用する補償係数を０から増加させる段階的な手法で適用することができる。

図４に関して先に説明したように、信号は、絶対的位置決めシステム３７と相対的位置決めサブシステム３８の間で、これらシステムの各々からの情報が他方によって実行される位置決めのタスクにおいて支援できるような方法で強化することができる。本発明の幾らかの実施形態によれば、絶対的位置決めシステム３７は、ディスプレイ２０の一部または全部からのキャプチャ・イメージを分析することによって動作して、そこに位置する位置決めターゲット・パターンを識別することができる。可視要素はまた、当該キャプチャ・イメージ・データから識別することもできる。先に説明したように、これらのイメージ・キャプチャ時間は、動作の全体にわたり、例えばディスプレイ２０のフレーム・レート順のレートで周期的に継続する。本発明の当該実施形態では、絶対的位置決めシステム３７は、キャプチャ・イメージ・データ内で要素を識別する性能を有し、１つのイメージ・キャプチャ時間から次のものまでの当該要素を比較する性能を有する。当該要素に対応するデータは、相対的な位置決めプロセスにおいて支援するのに用いることができる。

図８を参照する。ポインティング・デバイス１０は、要素７０を表示しているディスプレイ２０をビューしている。要素７０は、ヒューマン可視またはヒューマン非可視のいずれかである。イメージ・キャプチャ時間の間で、ポインティング・デバイス１０がディスプレイ２０に向かって、または遠ざかって（即ち、ディスプレイ２０の平面に垂直であるｚ軸に沿って）移動する場合、キャプチャ・イメージ・データ内の要素７０はサイズを変更することになる。当該サイズは絶対的位置決めサブシステム３７によって検出することができる。本発明の実施形態によれば、絶対的位置決めサブシステム３７は、相対的位置決めサブシステム３８に対し、信号ＳＩＺＥ，ＳＨＡＰＥを伝達する。信号ＳＩＺＥ，ＳＨＡＰＥは、位置決めターゲットまたは相対時間間隔にわたる別の表示要素の大きさおよび形状の変化をそれぞれ示す。大きさおよび形状の変化についての当該指標は、サブシステム３８によって実行される相対的な動きの位置決めにおいて、ポインティング・デバイス１０の距離および角度をそれぞれ決定するのを支援できる。当該支援は、検出された相対的な動きを確認する性質を有することができ、代替として、相対的位置決めサブシステム３８によって実行されることになる必要な分析を限定することにより、相対的な位置決めの計算を高速化することができる。

これとは逆に、相対的位置決めサブシステム３８によって感知および分析される動きは、絶対的位置決めサブシステム３７によって実行される計算に有用なものとすることができる。図４に示すように、相対的位置決めサブシステム３８は、絶対的位置決めサブシステム３７に信号Ｒ＿Ｐ＿ＹおよびＸ＿Ｙ＿Ｚを伝達する。信号Ｒ＿Ｐ＿Ｙは、ポインティング・デバイス１０のロール、ピッチおよびヨー運動を示し、相対的位置決めサブシステム３８によって分析される慣性センサ３６によって直接検出出可能である。図８のコンテキストでは、ロールは、ｚ軸（即ちディスプレイ２０に対して垂直な軸）の回りのポインティング・デバイスの回転に関連する。ｚ軸は、図８に示す手法では、ディスプレイ２０で直接ポイントされるときのポインティング・デバイス１０の長手方向の軸となる。ピッチは、ｘ軸の回りのポインティング・デバイス１０の回転に関連する。ｘ軸は、この例ではディスプレイ２０の平面に平行な水平軸となる。同様に、ヨーは、ｙ軸の回りのポインティング・デバイス１０の回転に関連する。ｙ軸はこの例ではディスプレイ２０の平面に平行な垂直軸となる。一般に、ポインティング・デバイス１０は、ロール、ピッチおよびヨーの各々が非ゼロとなる姿勢にあることになる。信号Ｘ＿Ｙ＿Ｚは、一方で、ｘｙｚ軸のそれぞれに沿った線形の動きを示す。ロール、ピッチ、およびヨーの変化、並びに３軸の各々に沿った線形の動きは、絶対的な位置決めの計算において有用なものとなる。何故ならば、ポインティング・デバイスの姿勢は、ポイントしているディスプレイの位置を示すからである。本発明の当該実施形態によれば、信号Ｒ＿Ｐ＿ＹおよびＸ＿Ｙ＿Ｚは、相対的位置決めサブシステム３８から絶対的位置決めサブシステム３７まで直接伝達されて、計算時に支援することができる。

ロール角、ピッチ角、およびロー角についてのナレッジにより、ポインティング・デバイス１０内のカメラが０度のヨー、ピッチ、およびロールでイメージを見るかのように現れるまで、絶対的位置決めサブシステム３７がキャプチャ・イメージを補正するのを可能にする。当該補正は、ターゲット検出プロセスを単純化することになる。何故ならば、キャプチャ・イメージ内の位置決めターゲットは相互により接近して一致することになるからである。例えば、ロール角が時計回りに３０度である場合、第２のキャプチャ・イメージは第１のキャプチャ・イメージに関連して３０度反時計回りでイメージ・センサ１４上に現れることになる。この場合、ターゲット検出を単純化するために、絶対的位置決めサブシステム３７は、最初に第２のフレーム３０についてキャプチャ・イメージを３０度だけ時計回りに回転させ、イメージ内の要素が第１のキャプチャ・イメージに関連して０度の相対的なロールとし、次いで、相対的なロール無しでのイメージの一致を探すことのみを行うことになる。慣性センサ１７で検出される線形の動きはまた、方向を設けることによって絶対的位置決めプロセスを支援する。ここでは、絶対的位置決めサブシステムは以前のフレームから識別されている第２のキャプチャ・イメージ内のオブジェクトを探すことができる。

先に説明したように、ポインティング・デバイス１０の相対的な動きは、視覚上の相対的な動き感知の使用を通じて検出することができる。この手法では、キャプチャ・イメージ・データは、表示されたイメージの要素の移動を決定するために分析される。そして、当該移動から、相対的位置決めサブシステム３８は、以前の位置に対するポイント先の新規の位置を推測することができる。例えば、図８のポインティング・デバイス１０がディスプレイ２０の左手上の角の方に向けてポイント先の位置を移動する場合、要素７０は、以前にキャプチャされたイメージに関連して、キャプチャ・イメージ・データにおいて下に且つ右に動いて出現することになる。新規のポイント先の位置は、例えば、オブジェクト登録のように公知のアルゴリズムによって、当該検出した相対的な動きから決定することができる。

当該視覚上の相対的な動き感知は、当該相対的な動きを推測するために用いることができるディスプレイ２０で表示されるイメージにおいて「テクスチャ」を必要とする。この可視テクスチャは、勿論、テキスト、グラフィックス、ディスプレイ２０の物理属性、ディスプレイ外部のオブジェクト等のようなヒューマン可視のコンテンツによって構成することができる。しかしながら、先に説明したように、本発明の実施形態による対話型表示システムはまた、「ホワイト・ボード」アプリケーションでの使用も意図される。ここでは、ユーザは、さもなければブランクのディスプレイ２０上に書くまたは描画することができる。可視の「コンテキスト」はブランクの表示スクリーンに存在しなくてもよいが、ポインティング・デバイスが照準を定めたディスプレイの位置における正確な位置決めが尚も要求される。

先に組み込んだ米国特許第８,２１７,９９７号に記載される位置決めの手法では、連続した表示フレームにおけるターゲット・パターンの補完による変調の形態でヒューマン非可視の位置決めターゲットを使用することを通じて、「ホワイト・ボード」アプリケーションにおいてポイント先の位置の正確な位置決めを可能とする。図９ａおよび図９ｂは、この位置決め手法に従って表示されたデータの連続フレームを示したものである。例えば、図９ａに示したターゲット・パターン７５ａは、第１のフレームのディスプレイ２０での所与の位置の背景パターンおけるより暗い変調の形態である。図９ｂに示したターゲット・パターン７５ｂは、背景パターンにおけるより明るい変調の形態で、次の連続したフレームの同一の位置決めターゲットを示す。先に組み込んだ米国特許第８,２１７,９９７号の絶対的な位置決め方法によれば、これらの２つのフレームからイメージ・フレーム・データを減算することは、背景イメージ・データを相殺することになるものの、差分の変調を補強することになり、ターゲット・パターン７５ａ，７５ｂの両方にあるディスプレイ２０のピクセルをハイライトする。

しかしながら、図９ａ、図９ｂを比較しても明らかなように、ターゲット・パターン７５ｂは、２つのイメージ・キャプチャ時間の時間間隔に間におけるポインティング・デバイス１０の移動（この例では、より上の左手角へ）のためにターゲット・パターン７５ａと比較して異なる位置（より低く右側）にある。ターゲット・パターン７５ａと比較してターゲット・パターン７５ｂの相対的な動きの正確な検出は、後の時間においてポインティング・デバイス１０の相対位置を提供する。通常の視覚上の相対的な動きアルゴリズムは、通例、表示された要素の角および他の特徴を探すことにより、可視イメージ・データ特徴内の移動についてこのような分析を即座に実行することができる。しかしながら、図９ａおよび図９ｂのコンテキストでは、位置決めターゲット７５ａ，７５ｂの補完による変調は、通常の視覚上の相対的な位置決めアルゴリズムによるのと同一の要素として認識することにはならない。このように、相対的位置決めサブシステム３８は、図９ａおよび図９ｂのキャプチャ・イメージからの相対的な動きを検知することにはならない。

本発明の実施形態によれば、視覚上の相対的な位置決めは、キャプチャ・イメージ・データ・フレームをスキップすることによって実行される。図９ｃは、図９ｂでフレームに続く次の連続フレームである第３のフレームのディスプレイ２０を示すものである。先に組み込んだ米国特許第８,２１７,９９７号の手法によれば、図９ｃからも明らかなように、ターゲット・パターン７５ｃは、ディスプレイ２０の背景パターンについて再びより暗い変調となる。図９ａおよび図９ｃの（第１および第３の）フレームを代替する通常の視覚上の相対的な位置決めアルゴリズムの適用は、両方のキャプチャ・イメージに現れる同一の特徴（ターゲット・パターン７５ａ，７５ｃ）により、相対的な動きの検出という結果に帰する。このようなアルゴリズムを実行する相対的位置決めサブシステム３８は、代替フレームの間のポインティング・デバイス１０の上方左への移動を容易に検出することになる。

しかしながら、本発明の実施形態による相対的な位置決め手法の結果として、相対的な動き計算における周波数が１／２に（１／２フレーム・レートのレートまで）減少されることになる。当該相対的な位置決めレートを改善するために、視覚上の相対的な位置決めアルゴリズムは、相対的位置決めサブシステム３８によって第２のフレーム（即ち図９ｂのフレーム）に、次いで、図９ｃの第２のフレームの直後の第４のフレームに適用することができる。当該２つのフレームは、位置決めターゲットの位置での背景のより明るい変調を含み、且つ相対的な動きアルゴリズムによって同一のパターンとして識別することになる。したがって、相対的な動きの別の推定は、図９ｃの第３のフレームに直ちに続く次のフレーム（即ち、第４のフレーム）で決定されることができる。相対的な位置決めは、つまり、ディスプレイ２０のフレーム・レートで動作させることができる。

加えて、本発明の当該実施形態によれば、相対的な動きは、視覚上の相対的な位置決めにおいて使用される２つのフレーム（例えば、図９ａおよび図９ｃのフレーム）間でスキップされたフレームについて推定することができる。推定は、速度および動きの方向が分析された２つのフレーム間で一定という想定に基づくものとすることができる。例えば、第１のフレームおよび第３のフレームの間でのポインティング・デバイス１０の動きの速度および方向は一定であると想定される場合は、第２のフレームと第３のフレームの間の相対的な動きΔｘ_２−３，Δｙ_２−３は、第１のフレームおよび第３のフレームの間の動きΔｘ_１−３，Δｙ_１−３の１／２と推定することができる。

同様に、第２および第４のフレームの間の動きの速度および方向が一定であると想定される場合は、第３および第４のフレームの間の相対的な動きは、第２および第４のフレームの間のものの１／２と推定することができる。

代替のフレームでの位置決めターゲットの視覚上の方向に基づき相対的な移動を計算する他の手法がまた考察される。例えば、速度ベクトルが第２のフレームの時に計算される場合、中間の第３の中間フレームの時間における相対的な動きは、第２のフレームの間のイメージ・キャプチャ時間および第３のフレームの間のイメージ・キャプチャ時間の間の時間間隔にわたる速度ベクトルを適用することによって推定することができる。反対に、第３のフレームの時間での相対的な動きは、第４のフレームの間のイメージ・キャプチャ時間に計算される速度ベクトルを適用することによって、また、第３のフレームの間のイメージ・キャプチャ時間に間に合うように(in time)補間することによって推定することができる。更に代替として、第２のフレームと第４のフレームについての２つの速度ベクトルは、第３の中間フレームの時間での相対位置を補間するように用いることができる。これらの相対位置を推定するための他の変更例がまた考察される。いずれにせよ、これらの推定が２つの代替フレームの間の動きに基づくものであっても、これらの推定により視覚上の相対的な動きのサブシステムがフレーム毎に位置決め情報を提供することができる。

本発明の実施形態によれば、それ故、遠隔のポインティング・デバイスが照準を定めるグラフィクス・ディスプレイでの位置についての正確且つ迅速の両方の位置決めが達成される。この優れた位置決めは、ポインティング・デバイスとディスプレイの間の距離の範囲にわたり実行することができ、また、電子「ホワイト・ボード」の「低テクスチャ」アプリケーションを含む幅広い範囲のアプリケーションで使用するのに適した手法で実行することができる。本発明の実施形態は、これら「ホワイト・ボード」アプリケーションで特に有用なように、位置決めの結果について予測可能且つ後方補正(back-corrective)による補正を可能にする。

本発明についてその実施形態によって説明してきた一方で、勿論、本発明の利点および利益を獲得する修正や代替のような、これら本発明の修正態様や代替態様は、本明細書および図面を参照した当業者にとって明らかであると考察される。このような修正態様や代替態様は、以降の特許請求される本発明の範囲に含まれるものと考察される。

Claims

ハンドヘルド・ヒューマン・インタフェース・デバイスを含むコンピュータ・システムを動作させる方法であって、
ディスプレイ上でイメージ・フレーム・データを表示するステップと、
ハンドヘルド・ヒューマン・インタフェース・デバイスにおいて前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
前記デバイスがイメージ・キャプチャ時間でポイントしている前記ディスプレイの絶対位置を決定するステップと、
前記デバイスの１つ以上の動きセンサから取得した測定値に基づいて前記ハンドヘルド・デバイスの動きを評価するステップと、
複数のサンプル時間のそれぞれについて、以前のサンプル時間に対する前記デバイスの前記評価された動きに基づいて、前記デバイスがポイントしている前記ディスプレイの相対位置を決定するステップと、
前記イメージ・キャプチャ時間での前記絶対位置と第１サンプル時間および第２サンプル時間での前記相対位置から計算される前記イメージ・キャプチャ時間での計算された相対位置との間の誤差値を決定するステップと、
１つ以上の相対位置を前記誤差値に対応する補償値で調整するステップと
を含む、方法。
請求項１記載の方法において、
前記イメージ・キャプチャ時間が前記第１サンプル時間および前記第２サンプル時間の間に生じ、
前記誤差値が、第１直交方向および第２直交方向のそれぞれの誤差値成分を含み、
前記誤差値を決定するステップが、
前記第１サンプル時間および前記第２サンプル時間の間の差分に対する、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分で乗算される前記第１サンプル時間での前記第１方向における相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分で乗算される前記第２サンプル時間での前記第１方向における相対位置とを加えたものの比率として、前記第１方向における前記イメージ・キャプチャ時間での相対位置を計算するステップと、
前記第１サンプル時間および前記第２サンプル時間の間の差分に対する、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分で乗算される前記第１サンプル時間での前記第２方向における相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分で乗算される前記第２サンプル時間での前記第２方向における相対位置とを加えたものの比率として、前記第２方向における前記イメージ・キャプチャ時間での相対位置を計算するステップと、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定するステップと、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定するステップと
を含む、方法。
請求項１記載の方法において、前記イメージ・キャプチャ時間が前記第１サンプル時間の後で且つ前記第２サンプル時間の前に生じ、
前記誤差値が第１直交方向および第２直交方向の各々において誤差値成分を含み、
前記誤差値を決定するステップが、
前記デバイスの相対動きセンサから取得した測定値に基づいて、前記第１サンプル時間での前記第１方向および前記第２方向における速度を計算するステップと、
前記第１サンプル時間での前記第１方向における前記相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分によって乗算される前記第１サンプル時間での前記第１方向における速度の積とを加えたものとして、前記イメージ・キャプチャ時間での前記第１方向における前記相対位置を計算するステップと、
前記第１サンプル時間での前記第２方向における前記相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分によって乗算される前記第１サンプル時間での前記第２方向における速度の積とを加えたものとして、前記イメージ・キャプチャ時間での前記第２方向における前記相対位置を計算するステップと、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定するステップと、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定するステップと
を含む、方法。
請求項１記載の方法において、前記イメージ・キャプチャ時間が前記第１サンプル時間の後で且つ前記第２サンプル時間の前に生じ、
前記誤差値が第１直交方向および第２直交方向の各々において誤差値成分を含み、
前記誤差値を決定するステップが、
前記デバイスの相対動きセンサから取得した測定値に基づいて、前記第２サンプル時間での前記第１方向および前記第２方向における速度を計算するステップと、
前記第２サンプル時間での前記第１方向における前記相対位置から、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分によって乗算される前記第２サンプル時間での前記第１方向における速度を引いたものとして、前記イメージ・キャプチャ時間での前記第１方向における前記相対位置を計算するステップと、
前記第２サンプル時間での前記第２方向における前記相対位置から、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分によって乗算される前記第２サンプル時間での前記第２方向における速度を引いたものとして、前記イメージ・キャプチャ時間での前記第２方向における前記相対位置を計算するステップと、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定するステップと、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定するステップと
を含む、方法。
請求項１記載の方法において、前記１つ以上の相対位置を調整するステップが、
加重係数および前記誤差値の積から前記補償値を決定するステップと、
前記補償値を前記１つ以上の相対位置の各々に加算するステップと
を含む、方法。
請求項５記載の方法において、前記補償値を決定するステップが、
第１方向についての第１の補償値を、前記第１方向についての第１加重係数と前記第１方向における前記誤差値の成分とを乗算することによって生成するステップと、
第１方向とは直交する第２方向についての第２の補償値を、前記第２方向についての第２加重係数と前記第２方向における前記誤差値の成分とを乗算することによって生成するステップであって、前記第２加重係数が前記第１加重係数とは異なるステップと
を含み、
前記加算するステップが、
前記第１補償値を、前記第１方向における選択された時点での相対位置の成分に加算するステップと、
前記第２補償値を、前記第２方向における選択された時点での相対位置の成分に加算するステップと
を含む、方法。
請求項５記載の方法において、前記補償値を決定するステップが、
前記キャプチャするステップでキャプチャされた前記ディスプレイの部分内の位置決めターゲット・パターンを回復することにより前記絶対位置を決定するステップを含み、更に、
前記ディスプレイの前記キャプチャされた部分内の前記位置決めターゲット・パターンの位置に応じて前記加重係数を生成するステップを含む、方法。
請求項１記載の方法において、前記キャプチャするステップが、
複数のフレームのシーケンスにわたり、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、前記位置決めターゲット・パターンが、前記シーケンスの連続フレームについて１つ以上の選択されるピクセル位置での補完的な強度の分散に対応する、ステップを含み、
前記ディスプレイにおいて前記絶対位置を決定するステップが、
前記ディスプレイから遠隔でビューされる前記位置決めターゲット・パターンを回復するために、前記キャプチャされたイメージ・データの第１の連続フレーム・データおよび第２の連続フレーム・データを相互から減算するために、イメージ・データを処理するステップと、
前記回復した位置決めターゲット・パターンに応じて、前記ディスプレイでの第１のポイント先の位置を決定するステップと、
前記第１ポイント先の位置を決定するステップが前記第２フレームからイメージ・データのキャプチャに続いて選択される遅延時間内に完了するのに応じて、前記絶対位置として前記第１ポイント先の位置と前記第１サンプル時間としてイメージ・データが前記第２フレームからキャプチャされた時間とを選択するステップと、
前記第１ポイント先の位置を決定するステップが前記第２フレームからイメージ・データのキャプチャに続く前記選択した遅延時間の後に完了するのに応じて、
前記ディスプレイから遠隔でビューされる前記位置決めターゲット・パターンを回復するために、前記第２フレームと前記キャプチャされたイメージ・データの第３の連続フレームとを相互から減算するために、イメージ・データを処理するステップと、
前記回復される位置決めターゲット・パターンに応じて、前記ディスプレイでの第２のポイント先の位置を決定するステップと、
前記絶対位置として前記第２ポイント先の位置と前記第１サンプル時間としてイメージ・データが前記第３フレームからキャプチャされた時間とを選択するステップと
を含む、方法。
請求項１記載の方法において、前記調整するステップが複数の相対位置について繰り返されて複数の補正される位置を導出し、当該方法が更に、
前記補正される位置の内の連続する１つの間の時点において少なくとも１つの仮想の補正される位置を補間するステップを含む、方法。
請求項１記載の方法において、前記調整するステップが複数の相対位置について繰り返されて複数の補正される位置を導出し、当該方法が更に、
前記補正した位置の内の直近の１つよりも後の時点において少なくとも１つの仮想の補正される位置を予測するステップを含む、方法。
請求項１記載の方法であって、更に、
前記デバイスが前記第１サンプル時間よりも前の時にポイントしている前記ディスプレイの複数の相対位置を決定するステップと、
前記誤差値を決定するステップの後に、前記第１サンプル時間によりも前の複数の相対位置のそれぞれを、前記誤差値に対応する補償値で調整するステップと
を含む、方法。
請求項１記載の方法において、前記相対位置を決定するステップが、
相対位置が決定された以前のサンプル時間に対するサンプル時間での前記デバイスの移動の距離を検出するステップと、
前記距離を変換乗数で乗算することによって、前記検出した距離を前記ディスプレイのピクセルの数に変換するステップと、
前記ピクセルの数を前記以前のサンプル時間での前記相対位置に加算するステップと
を含む、方法。
請求項１２記載の方法であって、更に、
第１方向におけるピクセル密度を、２つのサンプル時間の間の前記第１方向における絶対位置の変更についての前記２つのサンプル時間の間の前記第１方向における相対位置の変更に対する第１比率で乗算することによって、前記第１方向について第１変換乗数を生成するステップと、
前記第１方向に直交する第２方向におけるピクセル密度を、２つのサンプル時間の間の前記第２方向における絶対位置の変更についての前記２つのサンプル時間の間の前記第２方向における相対位置の変更に対する第２比率で乗算することによって、前記第２方向について第２変換乗数を生成するステップと
を含み、
前記検出するステップが、前記第１方向および前記第２方向のそれぞれの移動の距離を検出し、
前記変換するステップが、
前記第１方向の距離を前記第１変換乗数で乗算するステップと、
前記第２方向の距離を前記第２変換乗数で乗算するステップと
を含む、方法。
請求項１３記載の方法において、
前記第１変換乗数を生成するステップが更に、
前記第１方向のピクセル密度および前記第１比率の積を第１加重係数で乗算するステップを含み、
前記第２変換乗数を生成するステップが更に、
前記第２方向のピクセル密度および前記第２比率の積を第２加重係数で乗算するステップを含む、方法。
請求項１記載の方法であって、更に、
前記誤差値が許容限界を超過することに応じて、前記誤差値を決定するステップでの使用から前記絶対位置を放棄するステップを含む、方法。
請求項１記載の方法であって、更に、
後のサンプル時間についての前記誤差値の決定を繰り返すステップであって、前記第１および前記第２サンプル時間と前記後のサンプル時間との間の時間期間が前記誤差値の大きさに対応する、ステップを含む、方法。
請求項１記載の方法において、前記キャプチャするステップが、
第１のフレームおよび第２のフレームを含む複数のフレームのシーケンスにわたり、位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
前記ディスプレイの前記絶対位置を決定するステップが、
前記動きセンサからの測定値に基づく前記デバイスのロール、ピッチおよびヨー、並びに線形の動きの内の１つ以上を決定するステップと、
前記デバイスのロール、ピッチおよびヨー、並びに線形の動きの内の１つ以上に応じて、前のフレームに対するフレームの１つから前記キャプチャされたイメージ・データの前記位置決めターゲット・パターンを補正するステップと、
前記ディスプレイからリモートでビューされる前記位置決めターゲット・パターンを回復させるために、前記キャプチャされたイメージ・データの連続する第１フレームおよび第２フレームからキャプチャされたイメージ・データを処理するステップと、
前記回復した位置決めターゲット・パターンに応じて、前記ディスプレイの前記絶対位置を決定するステップと
を含む、方法。
請求項１記載の方法において、前記１つ以上の動きセンサが、３直交方向での相対的な動きを感知するための複数の慣性センサを備え、該慣性センサが、加速度計、ジャイロスコープ、磁場センサ、およびその組み合わせからなる群から選択される、方法。
請求項１８記載の方法において、前記１つ以上の動きセンサが更に、イメージ・キャプチャ・サブシステムを備える、方法。
請求項１記載の方法において、前記１つ以上の動きセンサがイメージ・キャプチャ・サブシステムを備える、方法。
請求項１記載の方法において、
前記キャプチャするステップが、
複数のフレームのシーケンスにわたり、位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップを含み、
前記デバイスがイメージ・キャプチャ時間でポイントする前記ディスプレイの絶対位置を決定するステップが、
前記シーケンスの１つのフレームから前記キャプチャされたイメージ・データの要素を識別するステップと、
前記選択した部分の前記要素を識別するために、前記シーケンスにおける別の後のフレームから前記キャプチャされたイメージ・データの一部を分析するステップであって、前記一部が前記評価するステップの結果に応じて選択される、ステップと、
それらの前記フレームから前記キャプチャされたイメージ・データ内の要素の一致から、前記ディスプレイの前記絶対位置を決定するステップと
を含む、方法。
請求項１記載の方法において、
前記キャプチャするステップが、
複数のフレームのシーケンスにわたり、位置決めターゲット・パターンを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップであって、前記位置決めターゲット・パターンが、前記シーケンスの連続フレームについて１つ以上の選択されるピクセル位置での補完的な強度の分散に対応する、ステップを含み、
前記ディスプレイの前記相対位置を決定するステップが、
前記シーケンスにおける第１フレームおよび第３フレームの表示の間のサンプル時間において前記位置決めターゲット・パターンを含むイメージ・データをキャプチャするステップであって、前記第１フレーム、前記第２フレーム、および前記第３フレームが前記シーケンスにおいて時間連続的である、ステップと、
前記第１フレームおよび前記第３フレームから前記キャプチャされたイメージ・データにおける前記位置決めターゲット・パターンの位置を比較することによって、前記位置決めターゲット・パターン内の位置の変更を検出するステップと
を含む、方法。
請求項２２記載の方法であって、更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの相対位置を決定するステップと、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記相対位置の間の線形補間によって前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定するステップと
を含む、方法。
請求項２２記載の方法であって、更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定するステップと、
前記動きセンサの前記測定値に基づいて、第１フレームの時間での前記デバイスの動きの速度を決定するステップと、
前記決定した速度と前記第１フレームおよび前記第２フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定するステップと
を含む、方法。
請求項２２記載の方法であって、更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定するステップと、
前記相対的な動きセンサの前記測定値に基づいて、前記第３フレームの時間での前記デバイスの動きの速度を決定するステップと、
前記決定した速度と前記第２フレームおよび前記第３フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定するステップと
を含む、方法。
請求項２２記載の方法であって、更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定するステップと、
前記相対的な動きセンサの前記測定値に基づいて、前記第１フレームおよび前記第３フレームのそれぞれの時間での動きの速度を決定するステップと、
前記第１フレームの時間で前記決定した速度と前記第１フレームおよび前記第２フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの第１の位置を推定するステップと、
前記第３フレームの時間で前記決定した速度と前記第２フレームおよび前記第３フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの第２の位置を推定するステップと、
前記第１位置および前記第２位置の平均に基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定するステップと
を含む、方法。
請求項２２記載の方法であって、更に、
前記シーケンスにおける前記第２フレームおよび第４フレームの表示の間にサンプル時間で前記位置決めターゲット・パターンを含むイメージ・データをキャプチャするステップであって、前記第４フレームが前記シーケンスでの前記第３フレームと時間連続的である、ステップと、
前記動きセンサから取得した測定値に基づいて、前記シーケンスにおける前記第２フレームおよび前記第４フレームに対応する時間の間の前記デバイスの動きを検出するステップと、
前記第２フレームおよび前記第４フレームに対応する前記時間の間での前記デバイスの前記検出した動きから、前記第３フレームに対応する時間での動きの角度を決定するステップと、
前記第３フレームに対応する前記時間での前記動きの前記検出した角度から、前記第２フレームに対応する前記時間での動きの角度を推定するステップと、
前記動きについて前記推定した角度に基づいて、前記第２フレームに対応する前記時間で前記デバイスがポイントしている前記ディスプレイの位置を決定するステップと
を含む、方法。
対話型表示システムであって、
ディスプレイに表示されることになる表示イメージ・データを生成するコンピュータと、
表示に適した形態で前記表示イメージ・データに対応するグラフィクス出力信号を生成するグラフィクス出力回路と、
ポインティング・デバイスであって、
ハンド・ヘルドのハウジングと、
前記ハウジングに配置されたイメージ・センサと、
１つ以上の動きセンサと、
前記イメージ・センサによって取得されるイメージ・データをキャプチャするイメージ・キャプチャ回路と
を備える、ポインティング・デバイスと、
前記ディスプレイの位置を決定する位置決め回路であって、前記ポインティング・デバイスが複数の動作を実行することにより照準を定め、前記動作が、
前記デバイスがイメージ・キャプチャ時間でポイントしている前記ディスプレイの絶対位置を決定する動作と、
前記動きセンサから取得した測定値に基づいて前記ハンドヘルド・デバイスの動きを評価する動作と、
複数のサンプル時間のそれぞれについて、以前のサンプル時間に対する前記デバイスの前記評価された動きに基づいて、前記デバイスがポイントしている前記ディスプレイの相対位置を決定する動作と、
前記イメージ・キャプチャ時間での前記絶対位置と第１サンプル時間および第２サンプル時間での前記相対位置から計算される前記イメージ・キャプチャ時間での計算された相対位置との間の誤差値を決定する動作と、
１つ以上の相対位置を前記誤差値に対応する補償値で調整する動作と
を含む、位置決め回路と
を備える、システム。
請求項２８記載のシステムにおいて、前記１つ以上の動きセンサが、３直交方向の相対的な動きを感知するための複数の慣性センサを備え、該慣性センサが、加速度計、ジャイロスコープ、磁場センサ、およびその組み合わせからなる群から選択される、システム。
請求項２９記載のシステムにおいて、前記１つ以上のセンサが更に、
前記イメージ・センサと、
前記イメージ・キャプチャ・サブシステムと
によって具備される、システム。
請求項２８記載のシステムにおいて、前記１つ以上のセンサが、
前記イメージ・センサと、
前記イメージ・キャプチャ・サブシステムと
によって具備される、システム。
請求項２８記載のシステムにおいて、前記イメージ・キャプチャ時間が前記第１サンプル時間および前記第２サンプル時間の間に生じ、
前記誤差値が、第１直交方向および第２直交方向のそれぞれの誤差値成分を含み、
前記誤差値を決定する動作が、
前記第１サンプル時間および前記第２サンプル時間の間の差分に対する、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分で乗算される前記第１サンプル時間での前記第１方向における相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分で乗算される前記第２サンプル時間での前記第１方向における相対位置とを加えたものの比率として、前記第１方向における前記イメージ・キャプチャ時間での相対位置を計算する動作と、
前記第１サンプル時間および前記第２サンプル時間の間の差分に対する、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分で乗算される前記第１サンプル時間での前記第２方向における相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分で乗算される前記第２サンプル時間での前記第２方向における相対位置とを加えたものの比率として、前記第２方向における前記イメージ・キャプチャ時間での相対位置を計算する動作と、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定する動作と、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定する動作と
を含む、システム。
請求項２８記載のシステムにおいて、前記イメージ・キャプチャ時間が前記第１サンプル時間の後で且つ前記第２サンプル時間の前に生じ、
前記誤差値が第１直交方向および第２直交方向の各々において誤差値成分を含み、
前記誤差値を決定する動作が、
前記デバイスの相対動きセンサから取得した測定値に基づいて、前記第１サンプル時間での前記第１方向および前記第２方向における速度を計算する動作と、
前記第１サンプル時間での前記第１方向における前記相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分によって乗算される前記第１サンプル時間での前記第１方向における速度の積とを加えたものとして、前記イメージ・キャプチャ時間での前記第１方向における前記相対位置を計算する動作と、
前記第１サンプル時間での前記第２方向における前記相対位置と、前記イメージ・キャプチャ時間および前記第１サンプル時間の間の差分によって乗算される前記第１サンプル時間での前記第２方向における速度の積とを加えたものとして、前記イメージ・キャプチャ時間での前記第２方向における前記相対位置を計算する動作と、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定する動作と、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定する動作と
を含む、システム。
請求項２８記載のシステムにおいて、前記イメージ・キャプチャ時間が前記第１サンプル時間の後で且つ前記第２サンプル時間の前に生じ、
前記誤差値が第１直交方向および第２直交方向の各々において誤差値成分を含み、
前記誤差値を決定する動作が、
前記デバイスの相対動きセンサから取得した測定値に基づいて、前記第２サンプル時間での前記第１方向および前記第２方向における速度を計算する動作と、
前記第２サンプル時間での前記第１方向における前記相対位置から、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分によって乗算される前記第２サンプル時間での前記第１方向における速度を引いたものとして、前記イメージ・キャプチャ時間での前記第１方向における前記相対位置を計算する動作と、
前記第２サンプル時間での前記第２方向における前記相対位置から、前記第２サンプル時間および前記イメージ・キャプチャ時間の間の差分によって乗算される前記第２サンプル時間での前記第２方向における速度を引いたものとして、前記イメージ・キャプチャ時間での前記第２方向における前記相対位置を計算する動作と、
前記第１方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第１方向における前記絶対位置との間の差分として前記第１方向での前記誤差値を決定する動作と、
前記第２方向における前記計算した相対位置と前記イメージ・キャプチャ時間での前記第２方向における前記絶対位置との間の差分として前記第２方向での前記誤差値を決定する動作と
を含む、システム。
請求項２８記載のシステムにおいて、前記１つ以上の相対位置を調整する動作が、
加重係数および前記誤差値の積から前記補償値を決定する動作と、
前記補償値を前記１つ以上の相対位置の各々に加算する動作と
を含む、システム。
請求項３５記載のシステムにおいて、前記補償値を決定する動作が、
第１方向についての第１の補償値を、前記第１方向についての第１加重係数と前記第１方向における前記誤差値の成分とを乗算することによって生成する動作と、
第１方向とは直交する第２方向についての第２の補償値を、前記第２方向についての第２加重係数と前記第２方向における前記誤差値の成分とを乗算することによって生成する動作であって、前記第２加重係数が前記第１加重係数とは異なる、動作と
を含み、
前記加算する動作が、
前記第１補償値を、前記第１方向における選択された時点での相対位置の成分に加算する動作と、
前記第２補償値を、前記第２方向における選択された時点での相対位置の成分に加算する動作と
を含む、システム。
請求項３５記載のシステムにおいて、前記補償値を決定する動作が、
前記キャプチャする動作でキャプチャされた前記ディスプレイの部分内の位置決めターゲット・パターンを回復することにより前記絶対位置を決定する動作を含み、
前記複数の動作が、更に、
前記ディスプレイの前記キャプチャされた部分内の前記位置決めターゲット・パターンの位置に応じて前記加重係数を生成する動作を含む、システム。
請求項２８記載のシステムにおいて、前記キャプチャする動作が、
複数のフレームのシーケンスにわたり、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャする動作であって、前記位置決めターゲット・パターンが、前記シーケンスの連続フレームについて１つ以上の選択されるピクセル位置での補完的な強度の分散に対応する、動作を含み、
前記ディスプレイにおいて前記絶対位置を決定する動作が、
前記ディスプレイから遠隔でビューされる前記位置決めターゲット・パターンを回復するために、前記キャプチャされたイメージ・データの第１の連続フレーム・データおよび第２の連続フレーム・データを相互から減算するために、イメージ・データを処理する動作と、
前記回復した位置決めターゲット・パターンに応じて、前記ディスプレイでの第１のポイント先の位置を決定する動作と、
前記第１ポイント先の位置を決定する動作が前記第２フレームからイメージ・データのキャプチャに続いて選択される遅延時間内に完了するのに応じて、前記絶対位置として前記第１ポイント先の位置と前記第１サンプル時間としてイメージ・データが前記第２フレームからキャプチャされた時間とを選択する動作と、
前記第１ポイント先の位置を決定する動作が前記第２フレームからイメージ・データのキャプチャに続く前記選択した遅延時間の後に完了するのに応じて、
前記ディスプレイから遠隔でビューされる前記位置決めターゲット・パターンを回復するために、前記第２フレームと前記キャプチャされたイメージ・データの第３の連続フレームとを相互から減算するために、イメージ・データを処理する動作と、
前記回復される位置決めターゲット・パターンに応じて、前記ディスプレイでの第２のポイント先の位置を決定する動作と、
前記絶対位置として前記第２ポイント先の位置と前記第１サンプル時間としてイメージ・データが前記第３フレームからキャプチャされた時間とを選択する動作と
を含む、システム。
請求項２８記載のシステムにおいて、前記調整する動作が複数の相対位置について繰り返されて複数の補正される位置を導出し、当該システムが更に、
前記補正される位置の内の連続する１つの間の時点において少なくとも１つの仮想の補正される位置を補間する動作を含む、システム。
請求項２８記載のシステムにおいて、前記調整する動作が複数の相対位置について繰り返されて複数の補正される位置を導出し、当該システムが更に、
前記補正した位置の内の直近の１つよりも後の時点において少なくとも１つの仮想の補正される位置を予測する動作を含む、システム。
請求項２８記載のシステムにおいて、前記複数の動作が更に、
前記デバイスが前記第１サンプル時間よりも前の時にポイントしている前記ディスプレイの複数の相対位置を決定する動作と、
前記誤差値を決定する動作の後に、前記第１サンプル時間によりも前の複数の相対位置のそれぞれを、前記誤差値に対応する補償値で調整する動作と
を含む、システム。
請求項２８記載のシステムにおいて、前記相対位置を決定する動作が、
相対位置が決定された以前のサンプル時間に対するサンプル時間での前記デバイスの移動の距離を検出する動作と、
前記距離を変換乗数で乗算することによって、前記検出した距離を前記ディスプレイのピクセルの数に変換する動作と、
前記ピクセルの数を前記以前のサンプル時間での前記相対位置に加算する動作と
を含む、システム。
請求項４２記載のシステムにおいて、前記複数の動作が、更に、
第１方向におけるピクセル密度を、２つのサンプル時間の間の前記第１方向における絶対位置の変更についての前記２つのサンプル時間の間の前記第１方向における相対位置の変更に対する第１比率で乗算することによって、前記第１方向について第１変換乗数を生成する動作と、
前記第１方向に直交する第２方向におけるピクセル密度を、２つのサンプル時間の間の前記第２方向における絶対位置の変更についての前記２つのサンプル時間の間の前記第２方向における相対位置の変更に対する第２比率で乗算することによって、前記第２方向について第２変換乗数を生成する動作と
を含み、
前記検出する動作が、前記第１方向および前記第２方向のそれぞれの移動の距離を検出し、
前記変換する動作が、
前記第１方向の距離を前記第１変換乗数で乗算する動作と、
前記第２方向の距離を前記第２変換乗数で乗算する動作と
を含む、システム。
請求項４３記載のシステムにおいて、
前記第１変換乗数を生成する動作が更に、
前記第１方向のピクセル密度および前記第１比率の積を第１加重係数で乗算する動作を含み、
前記第２変換乗数を生成する動作が更に、
前記第２方向のピクセル密度および前記第２比率の積を第２加重係数で乗算する動作を含む、システム。
請求項２８記載のシステムであって、更に、
前記誤差値が許容限界を超過することに応じて、前記誤差値を決定する動作での使用から前記絶対位置を放棄する動作を含む、システム。
請求項２８記載のシステムであって、更に、
後のサンプル時間についての前記誤差値の決定を繰り返す動作であって、前記第１および第２サンプル時間と前記後のサンプル時間との間の時間期間が前記誤差値の大きさに対応する、動作を含む、システム。
請求項２８記載のシステムにおいて、前記キャプチャする動作が、
第１のフレームおよび第２のフレームを含む複数のフレームのシーケンスにわたり、位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャする動作と、
前記ディスプレイの前記絶対位置を決定する動作が、
前記動きセンサからの測定値に基づく前記デバイスのロール、ピッチおよびヨー、並びに線形の動きの内の１つ以上を決定する動作と、
前記デバイスのロール、ピッチおよびヨー、並びに線形の動きの内の１つ以上に応じて、前のフレームに対するフレームの１つから前記キャプチャされたイメージ・データの前記位置決めターゲット・パターンを補正する動作と、
前記ディスプレイからリモートでビューされる前記位置決めターゲット・パターンを回復させるために、前記キャプチャされたイメージ・データの連続する第１フレームおよび第２フレームからキャプチャされたイメージ・データを処理する動作と、
前記回復した位置決めターゲット・パターンに応じて、前記ディスプレイの前記絶対位置を決定する動作と
を含む、システム。
請求項２８記載のシステムにおいて、
前記キャプチャする動作が、
複数のフレームのシーケンスにわたり、位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャする動作を含み、
前記デバイスがイメージ・キャプチャ時間でポイントする前記ディスプレイの絶対位置を決定する動作が、
前記シーケンスの１つのフレームから前記キャプチャされたイメージ・データの要素を識別する動作と、
前記選択した部分の前記要素を識別するために、前記シーケンスにおける別の後のフレームから前記キャプチャされたイメージ・データの一部を分析する動作であって、前記一部が前記評価する動作の結果に応じて選択される、動作と、
それらの前記フレームから前記キャプチャされたイメージ・データ内の要素の一致から、前記ディスプレイの前記絶対位置を決定する動作と
を含む、システム。
請求項２８記載のシステムにおいて、
前記キャプチャする動作が、
複数のフレームのシーケンスにわたり、位置決めターゲット・パターンを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャする動作であって、前記位置決めターゲット・パターンが、前記シーケンスの連続フレームについて１つ以上の選択されるピクセル位置での補完的な強度の分散に対応する、動作を含み、
前記ディスプレイの前記相対位置を決定する動作が、
前記シーケンスにおける第１フレームおよび第３フレームの表示の間のサンプル時間において前記位置決めターゲット・パターンを含むイメージ・データをキャプチャする動作であって、前記第１フレーム、前記第２フレーム、および前記第３フレームが前記シーケンスにおいて時間連続的である、動作と、
前記第１フレームおよび前記第３フレームから前記キャプチャされたイメージ・データにおける前記位置決めターゲット・パターンの位置を比較することによって、前記位置決めターゲット・パターン内の位置の変更を検出する動作と
を含む、システム。
請求項４９記載のシステムにおいて、前記複数の動作が更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの相対位置を決定する動作と、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記相対位置の間の線形補間によって前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定する動作と
を含む、システム。
請求項４９記載のシステムにおいて、前記複数の動作が更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定する動作と、
前記動きセンサの前記測定値に基づいて、第１フレームの時間での前記デバイスの動きの速度を決定する動作と、
前記決定した速度と前記第１フレームおよび前記第２フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定する動作と
を含む、システム。
請求項４９記載のシステムにおいて、前記複数の動作が更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定する動作と、
前記相対的な動きセンサの前記測定値に基づいて、前記第３フレームの時間での前記デバイスの動きの速度を決定する動作と、
前記決定した速度と前記第２フレームおよび前記第３フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの前記位置を推定する動作と
を含む、システム。
請求項４９記載のシステムにおいて、前記複数の動作が更に、
前記第１フレームおよび前記第３フレームのそれぞれに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定する動作と、
前記相対的な動きセンサの前記測定値に基づいて、前記第１フレームおよび前記第３フレームのそれぞれの時間での動きの速度を決定する動作と、
前記第１フレームの時間で前記決定した速度と前記第１フレームおよび前記第２フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの第１の位置を推定する動作と、
前記第３フレームの時間で前記決定した速度と前記第２フレームおよび前記第３フレームに対応する時間の間の時間差とに基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの第２の位置を推定する動作と、
前記第１位置および前記第２位置の平均に基づいて、前記第２フレームに対応する時間で前記デバイスがポイントしている前記ディスプレイの位置を決定する動作と
を含む、システム。
請求項４９記載のシステムにおいて、前記複数の動作が更に、
前記シーケンスにおける前記第２フレームおよび第４フレームの表示の間にサンプル時間で前記位置決めターゲット・パターンを含むイメージ・データをキャプチャする動作であって、前記第４フレームが前記シーケンスでの前記第３フレームと時間連続的である、動作と、
前記動きセンサから取得した測定値に基づいて、前記シーケンスにおける前記第２フレームおよび前記第４フレームに対応する時間の間の前記デバイスの動きを検出する動作と、
前記第２フレームおよび前記第４フレームに対応する前記時間の間での前記デバイスの前記検出した動きから、前記第３フレームに対応する時間での動きの角度を決定する動作と、
前記第３フレームに対応する前記時間での前記動きの前記検出した角度から、前記第２フレームに対応する前記時間での動きの角度を推定する動作と、
前記動きについて前記推定した角度に基づいて、前記第２フレームに対応する前記時間で前記デバイスがポイントしている前記ディスプレイの位置を決定する動作と
を含む、システム。