JP2015535378A - 対話型表示システムにおける動き補償 - Google Patents

Abstract

無線ポインティング・デバイス、並びに、該ポインティング・デバイスが照準を定めるディスプレイの絶対的および相対的位置を決定することができる位置決め回路を含む対話型表示システム。ポインティング・デバイスはコンピュータによって表示されるイメージをキャプチャする。当該イメージは、１つ以上のヒューマン非感知の位置決めターゲットを含む。位置決めターゲットは、視覚上のペイロード表示フレームの強度のパターン化した調整（ピクセル強度の変動）として提示される。当該パターン化した調整は、連続フレームの逆の調整に続く。少なくとも２つのキャプチャしたイメージ・フレームは、相互に差し引きされ、キャプチャした視覚データ内で位置決めターゲットを復元させ、また、表示したイメージ・ペイロードを削除する。２つのフレーム間のポインティング・デバイスの動きは、相対的動きセンサによって検出され、それらフレームについてのキャプチャしたイメージの位置決めターゲットの位置を整列するのに用いられて、差し引きに続く復元した位置決めターゲットの正確性を改善する。

Description

本発明は、対話型表示システムの技術分野におけるものである。本発明の実施形態は、より詳細には、コンピュータ・システムにおける対話型動作の間に制御デバイスがポイントしているディスプレイの位置についての位置決めに関するものである。

話者がメッセージを聴衆に伝達できる機能は、通常、視覚情報を話し言葉と組み合わせて用いることによって強化される。現代においては、例えば、マイクロソフト社から入手可能なパワーポイント・プレゼンテーション・ソフトウェア・プログラムのようなアプリケーションにより、視覚情報を聴衆向けに生成および表示するために、コンピュータおよびこれに付随する表示システムを使用することは、通常行われている。例えばオーディトリアム環境のような大きな聴衆向けの表示システムは、通常、投影システム（正面または背面投影のいずれか）である。近年、会議室または教室の環境といったより少ない聴衆用の、特に、フラット・パネル（例えば、液晶）ディスプレイについてのコストが下落すると共に、フラット・パネル・ディスプレイが普及してきた。例えば小型プロジェクタ（「ピコ(pico)・プロジェクタ」）といった、現在、特別なスクリーンを必要とすることのないより容易に開発される新しいディスプレイ技術が市場で浸透しつつある。非常に小規模の聴衆（例えば、１人か２人）に対するプレゼンテーション向けとしては、視覚情報を提示するのにラップトップ・コンピュータのグラフィクス・ディスプレイで十分である。いずれにしても、コンピュータ・パワーの増大と、より改良され且つより大きなディスプレイとを組み合わることで、数々のコンテキスト（例えば、ビジネス、教育、法律、娯楽）において、より少ないコストでのコンピュータ・ベースのプレゼンテーション・システムの使用が増加している。

典型的なコンピュータ・ベースのプレゼンテーションは、視覚情報について聴衆の視界を遮らないように、話者を表示システムから離れて起立させることを伴う。視覚によるプレゼンテーションは、コンピュータによって生成され、且つコンピュータによって制御されるものであるため、プレゼンテーションは対話により制御することができ、プレゼンテーションの間、視覚情報についての特定の聴衆、注釈または説明に対し、話者により、特に重要な視覚コンテンツの選択、ズーム、プレゼンテーションの他の情報へのリンクの選択（即ち、オンライン）、ならびに１つの表示位置から他のところまでの表示要素の移動などといった効果を施すことが必要になる。この対話性により、プレゼンテーションが非常に強化され、聴衆により興味深く関与させる。

したがって、話者が、表示された視覚コンテンツと距離をおいて対話する機能が望まれる。より具体的には、遠隔に位置する操作者が、表示される情報に向けてポイント(point to)し、それと対話するように使用することができるハンドヘルド・デバイスが、望まれる。

「Interactive Display System（対話型表示システム）」と称される米国特許第８,２１７,９９７号（２０１２年７月１０日に発行）は、譲渡され、参照により本願明細書に組み込むが、これには、カメラやその他の動画キャプチャ・システムを含んだハンドヘルド・ポインティング・デバイスとして構成される無線ヒューマン・インタフェース・デバイス（「ＨＩＤ」）を含んだ対話型表示システムについて説明している。ポインティング・デバイスは、コンピュータによって表示されるイメージをキャプチャする。当該イメージは、コンピュータによって表示されたイメージ・データに挿入される、人間には知覚できない１つ以上の位置決め(positioning)ターゲットを含む。復元した位置決めターゲットが有する位置、サイズ、および方向により、ディスプレイに対して遠隔ポインティング・デバイスが照準を定めたポイントを識別する。

先に参照した米国特許第８,２１７,９９７号に記載される手法によるポインティング・デバイスの照準ポイントの位置決めは、表示システムのフレーム・レートに対応するレートで実行される。より具体的には、新規の位置は、各新規のデータのフレームが表示されるときに、新規のフレーム（およびその位置決めターゲット）並びに直前のフレーム（およびその補完による位置決めターゲット）を組み合わせることにより、決定することができる。この手法は、多くの状況、特に、アイコンのポイントおよび「クリック」、並びに表示されたウィンドウおよびフレームに伴うクリック・アンド・ドラッグ動作のような、コンピュータ・システムでのグラフィカル・ユーザ・インタフェースをナビゲートおよびコントロールするコンテキストにおいて、非常に上手く機能する。米国特許第８,２１７,９９７号に説明されるこの手法についての特別の利点は、決定の結果がディスプレイ上（例えばピクセル座標系）の特定の位置となるという意味で、位置決めが「絶対的」であるということである。この手法に従って実行される位置決めの正確性は、例えば、表示スクリーンとの物理的接触から何十フィート離れるに至るまでの範囲の、ディスプレイとハンドヘルド・デバイスの間の広範囲な距離にわたり非常によい正確性となる。

動きセンサに基づく通常のヒューマン・インタフェース・デバイスは公知である。動きセンサは、一連のサンプリング時刻にわたり、デバイスの動きを検出する。動きセンサの例には、加速度計のような慣性センサ、ジャイロスコープ、磁力計のような磁気電界センサ、および光学マウスで使用されるような視覚システムが含まれる。動きセンサに基づく位置決めの結果は、ディスプレイの絶対位置が直接的には決定されず、寧ろ、位置決めセンサが、デバイスの位置および姿勢を、以前の時点での位置に対するポイント先の位置から決定するという意味では相対的なものである。しかしながら、動きセンサ・ベースのポインティング・デバイスが動作するサンプル・レートは、ディスプレイのフレーム・レートによって制限されず、相対的位置決めについて適切な登録を想定すると非常により高いものとなる。加えて、相対的位置決めの結果を引き出すのに、絶対的位置決めについて必要とされる計算と比べて、より少ない計算を必要とする。しかしながら、残念なことに、これらのデバイスによって提供される位置決めは相関的なものであるために、ドリフトまたは他の誤差が時間と共に累積することができる。検出された加速度を線形距離に変換するために２回の積分を必要とするので、誤差は、加速度計の動き検出に依存するデバイスに対して悪化する。このように、動きセンサに基づく相対的な位置決めの正確性は、通常、絶対的の位置決め手法のそれよりも劣るものとなる。

２０１３年９月５日に出願中の米国特許出願第１４／０１８，６９５は、本参照により本明細書に共通に譲渡されて組み込まれるが、無線ポインティング・デバイス、および該ポインティング・デバイスが照準を定めるディスプレイの絶対位置および相対位置の両方を決定することが可能な位置決め回路を含んだ対話型表示システムについて説明する。所与の時刻での絶対位置および相対位置の間の補償が、動きセンサによって決定される相対位置を補償するのに使用され、動きセンサによって提供される迅速且つ頻度の高い位置決め、および絶対位置決めによって提供される優れた高精度の両方を可能にする。

本発明の実施形態は、ハンドヘルド・ヒューマン・インタフェースが対話型表示システムの動作の間にポイントしているディスプレイの位置についての絶対位置を迅速且つ正確に決定するためのシステムおよび方法を提供する。

本発明の実施形態は、このような絶対的位置決めが、ポインティング・デバイスをユーザが迅速に移動させているような状況であっても、表示システムのフレーム・レートで取得される視覚情報を用いるシステムにおいて実行できるようなシステムおよび方法を提供する。

本発明の実施形態の他の目的および利点は、以降の明細書を図面と共に参照することによって当業者にとって明らかなものとなろう。

本発明の実施形態は、対話型表示システムおよびこれを動作させる方法に実装することができる。ここでは、遠隔のヒューマン・インタフェース・デバイスは、デバイスがポイントしているディスプレイでの絶対的位置を識別するためのイメージ・キャプチャ・サブシステム、また、ポインティング・デバイスの相対的動きを検出するための１つ以上の動きセンサを含む。絶対的位置決めは、第１フレームおよび第２のフレームで表示される補完的な位置決めターゲットを感知することに基づく。フレーム・データを第１フレームおよび第２フレームから差し引くことにより、ヒューマン可視コンテンツを相殺しながら位置決めターゲット・パターンを復元させる。動きセンサによって感知されるポインティング・デバイスのフレーム間の動きは、後の１つのフレーム内の位置決めターゲットの位置を補償して、第１フレームおよび第２フレームの位置決めターゲットを整列することができ、絶対的位置決めの決定を容易にする。

図１ａは、本発明の実施形態による対話型表示システムを用いて実施されている話者プレゼンテーションの概要斜視図である。 図１ｂは、本発明の実施形態による対話型表示システムを用いて実施されている話者プレゼンテーションの概要斜視図である。 図２ａは、本発明の実施形態による対話型表示システムをそれぞれブロック形態で示した電気線図である。 図２ｂは、本発明の実施形態による対話型表示システムをそれぞれブロック形態で示した電気線図である。 図３ａから図３ｄは、本発明の実施形態が実施される、視覚上の絶対的位置決めシステムの動作について示したディスプレイの図である。 図４ａから図４ｄは、本発明の実施形態が実施される、相対的動きの文脈における視覚上の絶対的位置決めシステムの動作について示したディスプレイの図である。 図５は、本発明の実施形態による対話型表示システムの位置決めサブシステムについての機能的アーキテクチャをブロック形態で示した機能図である。 図６は、本発明の実施形態により、図４のアーキテクチャにおける動作を示したフロー図である。 図７は、本発明の実施形態により、絶対的位置決めおよび相対的位置決めの間の協働において用いられるポインティング・デバイスの指向軸線の斜視図である。 図８は、本発明の代替の実施形態による対話型表示システムの位置決めサブシステムの機能的アーキテクチャについてブロック形態で示した機能図である。 図９は、本発明の代替の実施形態により、図４のアーキテクチャの動作について示したフロー図である。 図１０ａは、１フレームのイメージ・キャプチャ時刻での位置を、当該フレームの一方側に対してフレーム間で感知される相対的動きに基づいて決定することを示したプロット図である。 図１０ｂは、１フレームのイメージ・キャプチャ時刻での位置を、当該フレームの一方側に対してフレーム間で感知される相対的動きに基づいて決定することを示したプロット図である。 図１０ｃは、本発明の実施形態の代替の実装により、図４のアーキテクチャの相対的位置決めサブシステムの動作について示したフロー図である。 図１１は、本発明の実施形態の代替の実装により、図４のアーキテクチャの相対的位置決めサブシステムの動作について示したフロー図である。

発明の詳細な説明

本発明は、その実施形態、即ち、聴衆により可視なディスプレイを含む、コンピュータにより処理されるプレゼンテーション・システムにおいて実施される１またはそれ以上の実施形態に関して説明するものである。何故ならば、本発明は、このようなシステムに適用されるときに特に有用であると考えられるからである。しかしながら、本発明はまた、例えば、ゲーム・システムのような他の適用、およびユーザによるコンピュータ・システムへの全般的な入力などに関しても有用なものとすることができるとも考えられる。したがって、以下の説明は例示のためだけに提供されるものであり、特許請求したような本発明の真の範囲を限定することを目的としないことが理解されるべきである。

図１ａは、本発明の実施形態が有用となる環境について簡略化した例を示している。図１ａに示すように、話者ＳＰＫＲは、視覚的補助(visual aid)を用いて、聴衆Ａにライブでのプレゼンテーションを提供している。この場合、視覚的補助は、コンピュータ２２によって生成され、聴衆Ａに可視なようにルームサイズのグラフィック・ディスプレイ２０上に表示された、コンピュータ・グラフィック・テキストの形態である。公知なように、このようなプレゼンテーションは、特定の聴衆のサイズおよびシステム要素が大きく変更しながら、ビジネス、教育、娯楽および他のコンテキストにおいて共通である。図１の簡略化された例は、ビジネス環境について示しており、聴衆Ａは、プレゼンテーションを視聴している数人またはそれ以上のメンバを含む。勿論、環境のサイズは、何百人もの聴衆メンバを着席させたオーディトリアムから、聴衆Ａが単一の人から構成される単一の机またはテーブルにいたるまで変更することができる。

視覚補助を聴衆Ａに提示するために使用されるタイプのディスプレイ２０は、しばしば、プレゼンテーション環境のサイズに応じて変更することもできる。会議室から大規模なオーディトリアムまでの範囲の部屋では、ディスプレイ２０は、表示スクリーンの前方または後方のいずれかに配置されるプロジェクタを含んだ投影による表示とすることができる。その環境では、コンピュータ２２は、補助イメージ・データを生成し、それをプロジェクタに転送することになる。より小規模環境では、ディスプレイ２０は、プラズマまたは液晶（ＬＣＤ）といったタイプの外部フラット・パネル・ディスプレイとすることができ、コンピュータ２２のグラフィックス・アダプタによって直接駆動される。１人か２人の聴衆メンバに対するプレゼンテーションでは、ラップトップまたはデスクトップ・コンピュータの形態のコンピュータ２２が、単にそれ自身のディスプレイ２０を使用して視覚情報を提示することができる。また、より少数の聴衆Ａのために、ハンドヘルド・プロジェクタ（例えば、「ポケット・プロジェクタ」または「ピコ(pico)・プロジェクタ」）がより一般的になりつつある。この場合には、表示スクリーンは壁またはホワイト・ボードとするとよい。

プレゼンテーションの文脈でグラフィクスおよびテキストを生成および提示するコンピュータ・プレゼンテーション・ソフトウェアの使用は、今やありきたりのことである。このようなプレゼンテーション・ソフトウェアの公知の例は、マイクロソフト社から入手可能なＰＯＷＥＲＰＯＩＮＴソフトウエア・プログラムである。図１ａの環境では、このようなプレゼンテーション・ソフトウェアは、この例に示されるディスプレイ２０上に表示されるプレゼンテーションの各スライドを用いて、コンピュータ２２により実行されることになる。勿論、特定の視覚情報は、コンピュータ２２において実行する事前作成されたプレゼンテーションである必要がなく、代替として、コンピュータ２２を介してアクセスされるウェブ・ページや、アイコン、プログラム・ウインドウおよびアクション・ボタンを含むデスクトップ表示、コンピュータ２２によって読み出されているＤＶＤまたは他の記憶デバイスからのビデオ・コンテンツ若しくは動画コンテンツとすることができる。本発明の実施形態の点で有用な他のタイプの視覚情報について、本明細書を参照する当業者にとって明らかなものとなろう。

図１ａでは、話者ＳＰＫＲは、ディスプレイ２０から離れて起立しており、その結果、聴衆Ａの視覚を遮断することがなく、また聴衆Ａをより良く関与させることができる。本発明の実施形態によれば、話者ＳＰＫＲは、遠隔のヒューマン・インタフェース・デバイス（ＨＩＤ）を使用し、ポインティング・デバイス１０の形態で、ディスプレイ２０においてコンピュータ２２により表示される視覚コンテンツと遠隔で対話することができる。ディスプレイ２０によって表示される視覚情報のこの対話性の使用は、特定の聴衆Ａと共にプレゼンテーションを有用なものとして即興的に実施する能力を話者ＳＰＫＲに提供して、（例えば、インターネット・リンク、アクティブ・アイコン、仮想ボタン、ストリーミング・ビデオなどの）アクティブ・コンテンツとインタフェースし、また、話者ＳＰＫＲに着席させること、さもなければコンピュータ２２に「縛り付ける(pinned)」ことを要求することなく、プレゼンテーションについて進歩したグラフィクスおよびコントロールを作動させる。

図１ｂは、本発明の実施形態のシステムおよび方法の他の使用について示す。ここでは、話者ＳＰＫＲはディスプレイ２０の近くに接近して視覚コンテンツと対話することができる。この例では、ディスプレイ２０は「ホワイト・ボード」として動作しており、「ホワイト・ボード」上で、または、図１ｂに示唆されるようにブランクのスクリーン上で、話者ＳＰＫＲはポインティング・デバイス１０を用いて「描画(draw)」または「書き込み(write)」を行うことができ、表示されたコンテンツへの注記としてコンテンツを能動的に描画することができる。この「描画」および「書き込み」は、概して、ポインティング・デバイス１０を、ディスプレイ２０と実際に物理的に接触している間、または少なくともディスプレイ２０に近接して配置している間に行われることになる。図１ｂの適用例におけるディスプレイ２０を含むハードウェアは、図１ａのプレゼンテーションの例でのものと同一であってもよい。実際のところ、本発明の実施形態により、同一の話者ＳＰＫＲが、図１ａに示される距離から且つ図１ｂに示されるディスプレイ２０における双方で同一の聴衆の前方で対話するのを可能にする。

いずれにせよ、上記組み込んだ米国特許番号第８,２１７,９９７号に更に詳細に説明されるように、また、本発明の特定の実施形態に関連して以降で説明するように、話者ＳＰＫＲはポインティング・デバイス１０によりこの対話を実行する。ポインティング・デバイス１０は、ディスプレイ２０におけるイメージの全部または一部をキャプチャすることができ、そして、ポイント先の(pointed-to)（即ち、照準を定めた(aimed-at)）そのイメージのターゲット位置と対話することができる。図１ａおよび図１ｂの例でのポインティング・デバイス１０は、ディスプレイ２０でのこのポイント先の位置および話者ＳＰＫＲからの他のユーザ命令を、受信機２４に無線で通信し、つまりコンピュータ２２に通信する。このように、本発明の実施形態によれば、コンピュータ２２との遠隔での対話性が実施される。

図２ａを参照する。本発明の実施形態により図１ａおよび図１ｂに示したような環境で有用な対話型表示システムに関する構成の一般化された例をこれより説明する。図２ａに示すように、当該対話型表示システムは、ポインティング・デバイス１０、プロジェクタ２１、および表示スクリーン２０を含む。本発明の実施形態では、コンピュータ２２は、プロジェクタ２１によって表示スクリーン２０に表示されることになる「ペイロード」イメージを生成するための適切な機能性を含む。このペイロード・イメージは聴衆による視聴を意図したものである。本発明の実施形態によれば、これらのペイロード・イメージのコンテンツは、ポインティング・デバイス１０を介して人間のユーザとの対話により制御される。そのために、コンピュータ２２は位置決め回路２５と協働する。位置決め回路２５は、ポインティング・デバイス１０がポイントしている表示スクリーン２０の位置を決定する。次の説明からも明らかなように、当該位置決めによる決定は、ポインティング・デバイス１０が表示スクリーン２０に表示された１つ以上の位置決めターゲットを検出することに基づくものである。

このペイロード・イメージ生成機能において、コンピュータ２２は、表示されることになる視覚情報（すなわち視覚「ペイロード」イメージ）を生成し、この視覚情報へのアクセス権を有することになる。例えば、メモリ内に事前に生成したプレゼンテーション・ファイルの形態、または、コンピュータ２２がネットワークやインターネットを介して検索できるアクティブ・コンテンツの形態である。「ホワイト・ボード」アプリケーションに対し、ペイロード・イメージは、ポインティング・デバイス１０を介してユーザによって供給され、通例はブランクの背景に表示される入力を含むことになる。コンピュータ２２からのヒューマン可視のペイロード・イメージ・フレーム・データは、ターゲット生成機能２３によって生成される位置決めターゲット・イメージ・コンテンツと一緒に組み合わせることになる。ターゲット生成機機能２３は、グラフィックス・ディスプレイ２０において表示されるときに、ポインティング・デバイス１０がキャプチャし、また位置決め回路２５によって使用することができる。その結果、ポインティング・デバイス１０によってポイントされる位置を推定することができる。グラフィック・アダプタ２７は、イメージ・データのフレームのシーケンスをプロジェクタ２１に提示するのに適切な機能を含む。このイメージ・データは、ペイロード・イメージ・データと位置決めターゲット・イメージ・コンテンツとの組み合わせを適切な表示形態で含む。プロジェクタ２１は、次いで、この投影の例では表示スクリーン２０において対応するイメージＩを投影する。

コンピュータ２２、位置決め回路２５、ターゲット生成機回路２３、およびグラフィックス・アダプタ２７の具体的な構成は、広く変更することができる。例えば、適切な処理回路（ＣＰＵまたはマイクロプロセッサ）およびメモリを含む、単一のパーソナル・コンピュータまたはワークステーション（デスクトップ、ラップトップまたは他の適切な形態）は、ペイロード・イメージを生成し、位置決めターゲットを生成し、グラフィクス・アダプタ２７より前方に若しくはグラフィクス・アダプタ２７によって当該２つを組み合わせ、またポインティング・デバイス１０からデータを受信および処理するために、構成およびプログラムすることができる。その結果、表示されるイメージにおけるポイント先位置を決定することができるものと考察される。代替としては、コンピュータ２２の外部の別個の機能システムがターゲット生成機２３、受信機２４、および位置決め回路２５の内１またはそれ以上を実行できる。その結果、コンピュータ２２は修正することなく従来のコンピュータが動作するように実現できるものと考察される。この場合は、グラフィックス・アダプタ２７は、それ自体で外部機能を構成することができる（若しくは、ターゲット生成機２３、受信機２４、位置決め回路２５が有する他の機能の内１つ以上を結合することができる）。または代替として、ターゲット生成機２３からの出力が提示されるコンピュータ２２内に実現することができる。これら機能についての他の様々な代替の実装についてもまた考察される。いかなる場合においても、コンピュータ２２、位置決め回路２５、ターゲット生成機２３、およびグラフィックス・ディスプレイ２０において表示されるイメージならびに位置決めターゲットの生成に伴う他の機能は、コンピュータ・プログラム命令を格納するコンピュータ可読媒体の形態で適切なプログラム・メモリを含むことができるものと考察される。このコンピュータ・プログラム命令は、その処理回路によって実行されるときに、本明細書で説明する本発明の実施形態についての様々な機能や動作を実行することになる。本明細書を参照する当業者にとって、不当な実験をすることなく、本発明のこれら実施形態を実施するための適切なコンピュータ・ハードウェアおよび対応するコンピュータ・プログラムを容易に配置することが可能なものと考察される。

この例では、ポインティング・デバイス１０は、光学システム１２およびイメージ・センサ１４からなるカメラ機能を含む。ディスプレイ２０に照準を定めるポインティング・デバイス１０を用い、ポインティング・デバイス１０およびディスプレイ２０の間の距離、光学システム１２内のレンズの焦点距離等に従い、イメージ・センサ１４は、ディスプレイ２０でのイメージＩの全部または一部に対応するキャプチャ・イメージによって露出(expose)される。イメージ・キャプチャ機能１６は、ユーザによって選択される特定の時点でキャプチャされる、または、一連のサンプリング時刻の各々でキャプチャされるキャプチャ・イメージのデジタル表現を取得および格納するための適切な従来技術の回路を含む。ポインティング・デバイス１０はまた、アクチュエータ１５を含む。当該アクチュエータ１５は、従来型の押しボタンまたはその他のスイッチであり、それを通じて、ポインティング・デバイス１０のユーザは、イメージ・キャプチャを作動させるための、または、以下に説明するような当業者にとって明らかなような他の機能に対する、マウス・ボタンの性質を帯びているユーザ入力を提供することができる。この例では、１またはそれ以上の慣性センサ１７がまた、ポインティング・デバイス１０内に含まれており、表示されるコンテンツとのユーザ対話を補助および強化する。このような慣性センサの例には、加速度計、磁気センサ（すなわち、地球の磁場に関連する方向を検知するためのもの）、ジャイロスコープ、およびその他の慣性センサが含まれる。

当該図２ａの例では、ポインティング・デバイス１０は、位置決め回路２５に、イメージ・キャプチャ・サブシステム１６によって取得されるキャプチャ・イメージに対応する信号を送るように動作可能である。この伝達機能は、ポインティング・デバイス１０の無線送信機１８によってその内部アンテナＡと共に実行され、それを経由して、無線周波信号（例えば、ブルートゥースまたは適切なＩＥＥＥ８０２．１１規格といった従来規格によるもの）が送信される。送信機１８は、キャプチャしたイメージ・データを、他のユーザ入力および適用可能な無線プロトコルを介した制御信号と共にコード化、変調、および送信するための従来の構成および動作を有するものと考察される。この例では、受信機２４は、そのアンテナＡを介してポインティング・デバイス１０からの送信信号を受信すること、並びに、復調し、復号化し、フィルタリングし、およびその他受信信号を位置決め回路２５による処理に適したベースバンドの形態に処理することができる。

本発明の実施形態の対話型表示システムの位置決め回路２５の特定の位置はシステムからシステムへと変更することができるものと考察される。一般的な意味では、どのハードウェア・サブシステム（即ち、ディスプレイ、ポインティング・デバイス、ビデオ・データ経路の別個のサブシステム、またはこれらの幾らかの組み合わせ）がディスプレイ２０でのポイント先の位置の決定を実行するかは特段重要ではない。図２ａに示される例では、先に説明したように、表示されたイメージＩを生成する機能と表示されたイメージＩでの位置を決定する機能を組み合わせるシステムにおいて、位置決め回路２５はコンピュータ２２およびターゲット生成機能２３の組み合わせで展開される。イメージＩでは、ポインティング・デバイス１０が当該システムの同一エレメントに照準を定める（また、それに関連付けられる命令をデコードする）。

図２ｂでは、本発明の実施形態による、対話型表示システムに関する代替の一般化した構成について示す。このシステムは、図２ｂの例に示すプロジェクタ２１およびディスプレイ２０を含む。先に説明したように、プロジェクタ２１はペイロードしたイメージ・コンテンツを投影し、またコンピュータ２２が生成したターゲット・イメージ・コンテンツを位置決めする。この例では、ポインティング・デバイス１０’は、現在ポイントしているディスプレイ２０における位置を決定することに伴う計算の一部または全部を実行する。このように、カメラ（レンズ１２、イメージ・センサ１４およびイメージ・キャプチャ１６）に加えて、ポインティング・デバイス１０’は、無線送信機１８と共に位置決め回路２５’を含む。逆に、既に説明したとおり、コンピュータ２２は受信機２４に結合される。代替として、送信機１８および受信機２４は、それぞれ、相互に無線通信の送信および受信の双方を行うことができる送受信機として実装することができ、その場合には、ディスプレイ２０で表示される位置決めターゲットのサイズ、形状および位置に対応するデータを、比較するためにポインティング・デバイス１０’に送信することができる。

いずれにせよ、以下に詳細を説明するように、位置決め回路２５，２５’（以降において包括的に位置決め回路２５と称する。）は、ポインティイング・デバイス１０，１０’（以降において包括的にポインティング・デバイス１０と称する。）が照準を定めたディスプレイ２０での位置を決定する。上記組み込んだ米国特許第８,２１７,９９７号に説明されるように、位置決め回路２５は、ディスプレイでのポイント先の位置が、表示されたイメージ内の特定のピクセル位置を参照して決定されるという点で「絶対的な」位置決めを実行する。米国特許第８,２１７,９９７号に説明されるように、イメージ・キャプチャ・サブシステム１６は、２つ以上のフレームからのイメージをキャプチャする。これらのイメージは、１つ以上の位置決めターゲットを含み、視覚的ペイロードの１つの表示フレームにおいてパターン化した強度の調整(patterned modulation of the intensity)（例えばピクセル強度の変動）として提示される。引き続き、同一のパターンであるものの、後の（例えば次の連続する）フレームでは反対の調整を有する。

図３ａから図３ｄは、ポインティング・デバイスが動いていない状態にある場合について、位置決め回路２５によって実施される絶対的位置決めの例を示す。図３ａは、コンピュータ２２およびターゲット生成器２３によって生成され、ディスプレイ２０においてグラフィクス・アダプタ２７を通じて表示され、フレームｋでのイメージ・キャプチャ・サブシステム１６の視界によってキャプチャされるイメージを示す。この例では、イメージは、ターゲット６０（ｋ）および可視要素６２（ｋ）を収容し、ターゲット６０（ｋ）および可視要素６２（ｋ）のそれぞれは、キャプチャしたイメージ内の背景よりも暗い。図３ｂは、次に表示されるフレームｋ＋１において生成および表示され、そして、イメージ・キャプチャ・サブシステム１６によってキャプチャされるイメージについて示す。当該イメージは、位置決めターゲット６０（ｋ）および可視要素６２（ｋ）を含む。ポインティング・デバイス１０はフレームｋ，ｋ＋１の時刻の間では移動していないので、位置決めターゲット６０（ｋ），６０（ｋ＋１）は、両フレームのイメージにおいて、可視要素６２（ｋ），６２（ｋ＋１）とそれぞれ同一の位置にある。上記組み込んだ米国特許第８，２１７，９９７に説明されるように、位置決めターゲット６０（ｋ）がフレームｋでの背景よりも暗いのとほぼ同一の量だけ、位置決めターゲット６０（ｋ＋１）はフレームｋ＋１の背景よりも明るい。可視要素６２（ｋ），６２（ｋ＋１）は、図示のように両フレームの背景よりも暗い。

図３ｃは、例えば、ディスプレイ２０での一連のイメージを人間がビューすることによって自然になされるように、図３ａおよび図３ｂでのキャプチャされたイメージ部分を相互に平均化して示す。位置決めターゲット６０（ｋ），６０（ｋ＋１）が両フレームｋ，ｋ＋１について同一の位置にあるものの、相互に補完する手法で背景を調整するので、２つの位置決めターゲット６０（ｋ），６０（ｋ＋１）の平均イメージＡＶＧ６０は、単に、表示されるイメージの背景のレベルであり、（図３ｃにおいて位置ＡＶＧ６０で点線によって示唆されるように）可視調整を有さない。他方、フレームｋ，ｋ＋１の平均フレームＡＶＧ（ｋ，ｋ＋１）は、結果として、背景に対してより暗い要素ＡＶＧ６２となる。要素６２は可視であり、また、位置決めターゲット６０は、意図されるようにディスプレイ２０の聴衆の人間に対して非可視である。

米国特許第８，２１７，９９７に説明される手法によれば、位置決め回路２５は、キャプチャしたイメージ・データをこれら２つのフレームｋ，ｋ＋１からそれぞれ差し引く。図３ｄは、このような差し引きの結果の差分フレームΔ（ｋ，ｋ＋ｌ）を示す。図３ｄからも明らかなように、（一定の）背景イメージが相殺され、可視ではない。同様に、要素６２（ｋ），６２（ｋ＋１）は、差分フレームΔ（ｋ，ｋ＋１）において相互に相殺し、従って、図３ｄの差分要素Δ６２によって示されるように、要素６２は位置決めタスクのために非可視である。一方、両フレームｋ，ｋ＋１のキャプチャ・フレームの同一の位置において、位置決めターゲット６０（ｋ），６０（ｋ＋１）は相互に補完する手法で背景を調整するので、フレームｋ＋１のキャプチャ・フレームについてフレームｋのものからの差し引きは調整を補強するように供し、図３ｄに示すように、マシン可視ターゲット・パターンΔ６０の復元を可能にする。米国特許第８，２１７，９９７に説明されるように、位置決め回路２５は次いで、位置、大きさ、および、差分フレームΔ（ｋ，ｋ＋１）の位置決めターゲット・パターンΔ６０の位置からの方向を決定することができ、従って、ディスプレイ２０に対するポインティング・デバイス１０の照準ポイントを識別することができる。

図３ａから３ｄおよび上記の説明から明らかなように、ポインティング・デバイス１０が１つのフレームの時刻から次フレームの時刻まで著しく移動しない場合に、位置決め回路２５は、ヒューマン非可視の位置決めターゲット６０を識別する際に非常に上手く動作する。しかしながら、フレームの間におけるポインティング・デバイス１０の迅速なフレーム間の動きは、１つのフレームから次のフレームまでのキャプチャ・イメージ部分における位置決めターゲット６０の位置を移動させることになる。当該移動は、図４ａから図４ｄに関連して説明されるように、絶対的位置決めの決定の困難性を生じさせることが認められてきた。

図４ａは、コンピュータ２２およびターゲット生成器２３によって生成され、ディスプレイ２０においてグラフクス・アダプタ２７を通じて表示され、そして、位置決めターゲット６０（ｊ）および可視要素６２（ｊ）を収容するフレームｊについてイメージ・キャプチャ・サブシステム１６によってキャプチャされるイメージを示す。位置決めターゲット６０（ｊ）および可視要素６２（ｊ）のそれぞれは、キャプチャ・イメージの背景よりも暗い。図４ｂは、生成および表示されるイメージを示す。イメージは、イメージ・キャプチャ・サブシステム１６によって次の表示フレームｊ＋１からキャプチャされる。ここでは、位置決めターゲット６０（ｊ＋１）および可視要素６２（ｊ＋１）が視界内にある。上述したように、位置決めターゲット６０（ｊ）がフレームｊでの背景よりも暗いのとほぼ同一の量だけ、位置決めターゲット６０（ｊ＋１）は、フレームｊ＋１での背景よりも明るく、可視要素６２（ｊ），６２（ｊ＋１）は両フレームの背景よりも暗く、その結果ヒューマン可視である。しかしながら、この例では、ユーザがフレームｊの時刻からフレームｊ＋１の時刻まで上方および左にポインティング・デバイス１０を移動させたので、位置決めターゲット６０（ｊ＋１）および可視要素６２（ｊ＋１）は、フレームｊでの位置決めターゲット６０（ｊ）および可視要素６２（ｊ）の位置に対して、視界のわずかに下方および右の位置でフレームｊ＋１のキャプチャ・イメージに出現する。この例では、位置のシフト（すなわち、大きさおよび方向）は、ベクトルΔによって示される。

図４ｃは、米国特許第８，２１７，９９７号にて説明したように、絶対的位置の決定における、フレームｊ＋１のイメージ・データのフレームｊのイメージ・データからの差し引きの結果に対応する差分フレームＡ（ｊ，ｊ＋１）について示す。ポインティング・デバイス１０がフレームｊ，ｊ＋１の時刻の間に移動したので、位置決めターゲット６０（ｊ），６０（ｊ＋１）、および可視要素６２（ｊ），６２（ｊ＋１）は、必ずしも相互に重複しない。その結果、位置決めターゲット・パターンΔ６０は、フルサイズを有さず（即ち、位置決めターゲット６０と同一の大きさではない）、ある程度歪曲される。位置決めターゲット・パターンΔ６０の形状の歪曲は、その予想される形状から、通常はポインティング・デバイス１０の移動の方向や、ポインティング・デバイス１０の姿勢が当該移動によって変更されたかに依存することになる。キャプチャ・イメージにおける位置決めターゲット・パターンΔ６０の位置を適切に識別するための位置決め回路２５の機能は、つまり、ポインティング・デバイス１０の当該動きによってデグレードされ、その結果、位置決めターゲット・パターンを全く認識することができず、位置決め回路２５がディスプレイ２０でのポイント先の位置を正確に計算することができないようにレンダリングする。加えて、可視要素６２（ｊ），６２（ｊ＋１）は必ずしも相互に重複しないので、差分フレームΔ（ｊ，ｊ＋１）に示されるフレームｊ＋１のイメージ・データのイメージ・データｊからの差し引きは、これらの要素６２を完全には相殺しない。図４ｃに示すように、差分要素Δ６２は、可視要素６２（ｊ），６２（ｊ＋１）を十分にはオーバーレイせず、差分フレームΔ（ｊ，ｊ＋ｌ）において位置決め回路２５に対し可視のままとなる残存を残す。これら残存的な可視要素６２（ｊ），６２（ｊ＋１）は、特に、当該残存が位置決めターゲット６０の特徴に幾分か類似する場合、または位置決めターゲット６０に重複つまり歪曲させる場合に、絶対的位置決めの判定を複雑化させる。いずれにせよ、位置決め回路２５が位置決めターゲット・パターンを識別し、正確な位置を計算する可能性を低減させる。

図４ｄに示すように、当該問題は、より大きなフレーム間の動きによって悪化する。この例では、フレームｊ，ｊ＋１間のポインティング・デバイス１０のより急速な移動は、図４ｄの差分フレームΔ（ｊ，ｊ＋１）における位置決めターゲット６０（ｊ），６０（ｊ＋１）および可視要素６２（ｊ），６２（ｊ＋１）の位置の間の（図４ｂおよび図４ｃのベクトルΔと同一方向であるが３倍の大きさを有する）ベクトル３Δによって示されるシフトに達する。この３Δの移動は著しく大きく、位置決めターゲット６０（ｊ），６０（ｊ＋１）が差分フレームΔ（ｊ，ｊ＋１）では全く重複しない。その結果、位置決めターゲット・パターンΔ６０を全く検出することができない。同様に、可視要素６２（ｊ），６２（ｊ＋１）は、ポインティング・デバイス１０が３Δ移動する場合、相互に重複しない。その結果、いずれもが部分的にすら相殺されず、共に、絶対的位置決めの判定のために位置決め回路２５に存在したままとなる。この状況での絶対的位置決めは、つまり、間違った可視要素に基づく場合に、良くても誤ってレンダリングされるが、最悪の場合は有効な位置決めターゲットが検出されないためにレンダリングは不可能となる。

ポインティング・デバイスが移動している場合の当該手法による有効な位置決めターゲット・パターンについてのこの萎縮(shrinking)および歪曲（除外までとは言わないが）について考察されてきた。その結果、計算負荷を増大させ、位置決めの誤差を生じさせ、また、場合によっては絶対位置決め機能を完全に故障させることになっている。本発明の実施形態は、この問題に対処するものであり、以降に説明する。

本発明の実施形態によれば、位置決め回路２５は、ポインティング・デバイス１０によってポイントされるディスプレイ２０での位置について「相対的」位置決めを実行する性能を有する。上記組み込んだ特許出願１４／０１８，６９５で説明されるように、相対的位置決めは、以前の位置に関する特定の位置についての決定である。図２ａおよび図２ｂの対話型システムの文脈では、相対的位置決めは、例えばサンプル時刻の間における１つの位置から別のものまでのポインティング・デバイス１０の動きに基づいて実行される。公知なように、また上述したように、相対的位置決めは比較的高いレートで実施することができる。何故ならば、通例、絶対的位置決めに対してその計算要件がそれ程重要ではなく、必ずしもフレーム・レートに制約される訳ではないからである。

本発明の実施形態によれば、相対的な位置決めが動き検出に基づくので、動き検出機能は、ポインティング・デバイス１０内の１つ以上の様々な手法で実装される。動きセンサの１つの種類は、従来技術では慣性感知と称され、これにより、デバイスの物理的な運動が直接検出される。通例では、慣性センサは運動における３軸の各々に対して配備される。図２ａおよび図２ｂは、それぞれ、ポインティング・デバイス１０の慣性センサの任意の実施態様を示す。本発明の実施形態により実装できる慣性センサ１７の例には、加速度計、ジャイロスコープ、磁力計のような磁場センサが含まれる。慣性センサ１７の代替として、または、慣性センサ１７に加えて、視覚上の動き検出は、ポインティング・デバイス１０のイメージ・キャプチャ・サブシステム１６によって実行することができる。視覚上の動き検出への様々な手法は従来技術であり公知である。例えば、オブジェクト登録、従来の光学トラックボールおよびマウスによって用いられる他の技術等がある。

上記組み込んだ米国特許出願第１４／０１８，６９５に説明されるように、図２ａおよび図２ｂのシステムにおいて位置決め回路２５によって生み出される絶対的位置決めおよび相対的位置決めの結果は、組み合わされて最終的な位置決めの結果を生み出す。相対的な動き感知および位置決めによって可能となる迅速且つ頻繁な位置決めは、絶対的位置決めの精度と組み合わされて、対話型表示システムについて改良した位置決め性能を提供する。

本発明の実施形態はまた、この相対的動き感知性能を利用して、ポインティング・デバイス１０が連続したフレームの時刻の間で移動する状況、特に、絶対的位置決め手法が、ヒューマン非可視の位置決めターゲット・パターンを検出するために、フレーム・データの差し引きを伴う場合において、絶対的位置決めの迅速且つ正確な決定を支援する。絶対的位置決めの決定の結果を改良することは、上記組み込んだ米国特許出願第１４／０１８，６９５に説明されるセンサ連携手法を利用するシステムおよび方法において相乗効果を生じさせ、利益がある。何故ならば、（相対的動き感知によって改良される）絶対位置決めの結果は、相対的動き感知自体の誤差を補償するのに用いられるからである。

本発明の実施形態によれば、それ故、絶対的位置決めおよび相対的位置決めの両方が実行され、対話型表示システムでの位置決めの反応および精度を改良するようにして、それらの結果が組み合わされる。図５は、位置決め回路２５の機能的または論理的なアーキテクチャについて示す。上述したように、位置決め回路２５は、コンピュータ２２における、若しくはこれに接続されるプログラム可能な論理回路、もしくはポインティング・デバイス１０におけるもの、またはこれらの組み合わせによる方法を含む様々な方法で実装することができるものと考察される。プログラム可能な論理回路が位置決め回路２５の全部または一部を識別する実施態様では、位置決め回路２５は、プログラム可能論理回路によって実行されるときに次に説明する位置決め動作を実行するプログラム命令を格納する適切なプログラム・メモリを含み、またはこれにアクセスすることになるものと考察される。これらの動作は、一連のイメージが、ディスプレイ２０においてコンピュータ２２によって表示システムに適切なフレーム・レートで提示される時間の間に実行される。

図５は、本発明の本実施形態による、位置決め回路２５内の絶対的位置決めサブシステム３７に結合される視覚センサ３５を示す。本発明の実施形態では、視覚センサ３５は、イメージ・センサ１４およびイメージ・キャプチャ・サブシステム１６（図２ａおよび２ｂ）に対応し、ディスプレイ２０に表示されるイメージ部分をキャプチャするように動作可能である。当該部分は、各イメージ・キャプチャ時刻（例えば、ディスプレイ２０のフレーム・レートに従って定期的に）での位置決めターゲット・イメージ・コンテンツを含む。本発明の実施形態によれば、図３ａから図３ｄ、および図４ａから図４ｄに関して上述したように、位置決めターゲット・イメージ・コンテンツは、「マシン可視」であるもののヒューマン非可視のコンテンツとすることができる。これにより、聴衆に表示される情報を中断することなく、ディスプレイ７０でのポイント先の位置を決定することができる。位置決めのためのヒューマン可視コンテンツの使用は「ホワイト・ボード」アプリケーションにおいて特に有用である。各イメージ・キャプチャ時刻のこれらのイメージ・データは、ディスプレイ２０での位置についての絶対的位置決めの決定のために、絶対的位置決めサブシステム３７に伝達される。ディスプレイ２０では、イメージがキャプチャされた時刻においてポインティング・デバイス１０が照準を定める。

図５のアーキテクチャの動きセンサ３６は、その動きを検知するポインティング・デバイス１０内のセンサに対応し、その検知した動きを、ディスプレイ２０でのポイント先の位置における相対的位置の決定のために相対的位置決めサブシステム３８に伝達する。図２ａおよび図２ｂを参照すると、動きセンサ３６は慣性センサ１７の形態で実装することができる。動きセンサ３６に替えて、またはこれと組み合わせて、視覚センサ３５は、ディスプレイ２０からキャプチャされるイメージ・データから相対的動きを検出するように作動させることができる。この場合、相対的動きの感知は、フレーム・レートよりも高いレートでイメージ・データをキャプチャおよび処理する視覚センサ３５によって実行することができる。相対的動きについての当該視覚上の感知は、図５では、視覚センサ３５の相対的位置決めサブシステム３８に対する任意の接続によって示される。いずれにせよ、図５を参照すると、動きセンサ３６または視覚センサ３５は、様々なサンプル時刻で測定値を取得するように動作し、それら測定値を適切な形態で相対的位置決めサブシステム３８に伝達する。相対的位置決めサブシステム３８は、ポイント先の位置における位置の変化を決定するように動作する。

相対的位置決めサブシステム３８は論理回路によって実現することができ、位置決め回路２５内のまたはこれにアクセス可能なプログラム・メモリに格納されるプログラム命令を実行するプログラム可能な論理回路を含む。プログラム命令は、例えば、相対的な動きの位置決めについての従来のアルゴリズムにより、相対的な動き位置決めを実行する。この例は従来技術では「オブジェクト登録」と称されるものである。本明細書を参照する当業者にとって、不当な実験をすることなく、特定の実装のために最適な手法で、相対位置指示サブシステム３８のプログラム命令または論理回路を容易に実装できるものと考察される。相対的位置決めサブシステム３８による相対的な動きの決定、および、センサ連携により絶対的位置決めサブシステム３７からの絶対的位置決めの結果と組み合わされる相対的位置決めの結果の使用についての特定の例は、上記組み込んだ米国特許出願第１４／０１８，６９５に説明される。

本発明の実施形態によれば、相対的位置決めサブシステム３８は、その相対的位置決めの結果を直接または間接に絶対的位置決めサブシステム３７に伝達する。図５では、当該伝達について、相対的位置決めサブシステム３８および絶対的位置決めサブシステム３７の間で信号線ＳＨＦＴを介して実行されるものとして示す。相対的な動きの結果が絶対的位置決めサブシステム３７に伝達される他の方法について以下により詳細に説明する。

これより図６を参照する。本発明の実施形態により、相対的な動きを利用して絶対的位置決め機能を支援する際の位置決め回路２５の動作について、以下に詳細に説明する。プロセス４１では、（図２ａおよび２ｂの例の）グラフィックス・アダプタ２７およびプロジェクタ２１がディスプレイ２０での位置決めターゲット・パターン・イメージと組み合わされるペイロード・イメージ・データを表示する。ペイロード・イメージ・データは、ヒューマン可視コンテンツ、例えば、プレゼンテーションに役立つプレゼンテーション・スライドやコンピュータ・スクリーンなどを含むことができる。代替として、ペイロード視覚イメージ・データは、単にブランクの「ホワイト・ボード」としてもよく、「ホワイト・ボード」上でユーザは、当該技術分野で公知な中間色の背景に現れる、感知された書き込み、または描画されたコンテンツのみを用いて、「書き込み」または「描画」を行うことができる。本発明の実施形態によれば、上記組み込んだ米国特許第８,２１７,９９７号に説明されるように、位置決めターゲット・パターン・イメージは、補完的調整(complementary modulations)の形態における、ペイロードまたは連続フレームの背景イメージ・データである。

プロセス４２では、ディスプレイ２０でのイメージは、ディスプレイ２０のフレーム・レートに全般的に対応するサンプル・レートにおいて、視覚センサ３５（即ち、イメージ・キャプチャ・サブシステム１６）によって定期的に感知される。その間に、プロセス４６では、ポインティング・デバイス１０の相対的な動きが、場合によって動きセンサ３６または視覚センサ３５によって定期的に検知される。プロセス４６での相対的動きサンプリングは、全般的に定期的である一方で、プロセス４２のイメージ・キャプチャとは非同期で、また、これよりも著しく高いサンプリング周波数とすることができるものと考察される。しかしながら、いずれの場合でも、それぞれサンプルしたデータ(datum)は、タイムスタンプ値と関連付けられることになり、絶対的測定および相対的測定の間の相関を促進できるものと考察される。

プロセス４８では、相対的位置決めサブシステム３８は、サンプル時刻の間において、プロセス４６で動きセンサ３６または視覚センサ３５で感知さるポインティング・デバイス１０の相対位置の変化を測定する。プロセス４８は、数多くの従来技術の任意の１つに従って実行することができ、勿論、ポインティング・デバイス１０に展開される動きセンサ３５の種別や、視覚センサ３５が上記に検討した相対的動きの決定に関与するかに依存するものと考察される。要するに、ポインティング・デバイス１０内の動きセンサ３６がプロセス４８での相対的動きの決定に用いられる場合は、相対的決定の当該決定は、ポインティング・デバイス１０自体の相対的動き（即ち、ポインティング・デバイス１０の「本体フレーム」(body frame)の移動）についてディスプレイ２０のピクセルの距離への変換を含むことになる。上記組み込んだ特許出願第１４／０１８，６９５に説明されるように、ディスプレイ２０からポインティング・デバイス１０までの距離は、以前の絶対的位置決めの結果によって（例えば、イメージ・キャプチャ・サブシステム１６の視界における位置決めターゲットの大きさに基づいて）決定され、ディスプレイ２０でのポイント先の位置の相対的な動きに本体フレームの移動を変換するのに用いることができる。反対に、視覚センサ３５が相対的動きの決定に用いられる場合は、プロセス４８は、ピクセル・ベースの距離への本体フレームの動きを転換することなく実行することができる。

プロセス５０では、相対的位置決めサブシステム３８は、イメージが、ディスプレイ２０に表示される一組のプレームにおいて視覚センサ３５によってキャプチャされる時刻の間でのポインティング・デバイス１０の相対的動きを計算する。実施形態の中には、これら２つの時刻が連続フレームｊ，ｊ＋１の時刻に対応することになり、補完的位置決めターゲット６０が表示およびキャプチャされるものもある。２つのサンプリング種別が事実上同期している（例えば、相対的動きがフレームｊ，ｊ＋１内のイメージ・キャプチャ時刻に対応するサンプリング時刻で感知される）場合は、これら２つのフレームｊ，ｊ＋１の時刻間の相対的動きの計算は、容易に決定することができる。

しかしながら、上述したように、プロセス４６の相対的動きの感知は、プロセス４２のイメージ・キャプチャ時刻によって非同期とすることができる。この場合、動きセンサ３６によって感知されるように、各フレーム時刻ｊ，ｊ＋１での位置の推定は、イメージ・キャプチャ時刻の一方の側のサンプル時刻で感知される動きから導出することになる。例えば、プロセス５０は、相対的位置の線形時間補間を用いて、または、相対的動きの計算速度を代替として用いて、これら２つのフレーム時刻での相対的位置を推定することができる。これら２つの手法は、上記組み込んだ特許出願第１４／０１８，６９５に説明される。要約すると、相対的動き感知サンプル時刻ｔ_１，ｔ_２の間のイメージ・キャプチャ時刻ｔ_ＩＣでの相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））についての線形時間補間が決定される。線形時刻補間は、ｘおよびｙ方向（次元）の各々において、イメージ・キャプチャ時刻ｔ_ＩＣおよびサンプル時刻ｔ_１，ｔ_２の間の時間の差分にしたがって決定される。本発明の当該実施形態では、相対的位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））は、プロセス５０において次のように計算される。

ここで、相対的位置（ｘ_ｒ（ｔ_１），ｙ_ｒ（ｔ_１））は、サンプル時刻ｔ_１で感知された相対的位置であり、相対的位置（ｘ_ｒ（ｔ_２），ｙ_ｒ（ｔ_２））は、サンプル時刻ｔ_２で感知された相対的位置である。プロセス５０での当該計算は、イメージ・キャプチャ時刻ｔ_ＩＣでの相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））を、イメージ・キャプチャ時刻および２つの相対的位置のサンプル時刻の間の時間差によって加重された２つの相対的位置の線形平均として計算する。この手法は、相対的動きサンプル時刻ｔ_１とｔ_２の間の時間期間が短い（その結果、これら２つのサンプル時刻の間の動きが短距離にわたる）場合、またはその区間にわたる動きが線形的で一定速度の場合に、最も正確であるものと考えることができる。

プロセス５０における有用な速度ベースの手法によれば、イメージ・キャプチャ時刻ｔ_ＩＣに近い方のサンプル時刻での速度を用いて、動きセンサ３６が感知した動きの速度に基づいてイメージ・キャプチャ時刻ｔ_ＩＣでの相対的位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））の決定を推定することができる。例えば、イメージ・キャプチャ時刻ｔ_ＩＣが、サンプル時刻ｔ_２よりかサンプル時刻ｔ_１の方に近い場合は、サンプル時刻ｔ_１におけるディスプレイ２０でのポイント先の位置の動きの速度のベクトルが決定される。加速度が動きセンサ３６の加速度計で測定される場合は、当該速度ベクトルは、単一の積分動作によって決定することができる。当該速度ベクトルは、それぞれｘ方向およびｙ方向に２つの速度成分ｖ_ｘ（ｔ_１），ｖ_ｙ（ｔ_１）を含む。これらの速度成分に基づいて、イメージ・キャプチャ時刻での相対位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））は、容易に次のように計算することができる。

イメージ・キャプチャ時刻がサンプル時刻ｔ_２よりもサンプル時刻ｔ_１の方に近い場合である。
イメージ・キャプチャ時間ｔ_ＩＣがサンプル時刻ｔ１よりもサンプル時刻ｔ２の方に近い場合は、サンプル時刻ｔ２での速度ベクトルは、成分ｖ_ｘ（ｔ_２），ｖ_ｙ（ｔ_２）を有し、イメージ・キャプチャ時刻ｔ_ＩＣでの相対的位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））について次のように補間するのに用いる。

更なる代替として、速度ベクトルはサンプル時刻ｔ_１およびｔ_２での速度ベクトルの平均から決定することができる。この平均速度は、必要に応じて、サンプル時刻ｔ_１，ｔ_２の一方または他方に対するイメージ・キャプチャ時刻ｔ_ＩＣの近接度に基づいて加重してもよい。

線形補間に基づくか、または速度ベースの補間に基づくかに拘わらず、補間される相対的位置（ｘ_ｒ（ｔ_ＩＣ），ｙ_ｒ（ｔ_ＩＣ））の値は、フレームｊおよびｊ＋１の両方のイメージ時刻ｔ_ＩＣに対して計算される。上述したように、イメージ・キャプチャ時刻に対し、動きセンサ３６によって感知される相対的位置を補間することに対するこれら手法は、上記組み込んだ米国特許出願第１４／０１８，６９５に更に詳細に説明される。

いずれの場合でも、プロセス５０は、相対的位置決めシステム３８が、イメージ・フレーム・データがプロセス４２のインスタンスで取得された、フレームｊでのイメージ・キャプチャ時刻およびフレームｊ＋１でのイメージ・キャプチャ時刻の間で、ディスプレイ２０のポイント先の位置の動きを計算することによって完了される。当該計算された動きは、位置決めターゲット、およびキャプチャ・イメージ・フレーム・データの可視要素の相対的移動に非常に近接することになる。勿論、プロセス５０で計算された動きの両極性(polarity)は、表示要素の移動（即ち、ディスプレイ２０でのポイント先の位置の移動の方向がポインティング・デバイス１０の移動の方向とは反対となる）に対応するために、必要に応じて反転(invert)されることになる。

方法５０で決定されるフレーム時刻ｊとｊ＋１間の相対的動きは、次いで、当該２つのフレームからキャプチャしたイメージ・データの要素を整列し、登録するのに利用可能となる。図５を参照する。この相対的動きは、信号線ＳＨＦＴを介して相対的位置決めサブシステム３８によって絶対的位置決めサブシステム３７に伝達される。プロセス５２では、絶対的位置決めサブシステム３８は、ＳＨＦＴの線で伝達される相対的動きを用いて、フレームｊ，ｊ＋１のイメージ・フレーム・データを相互に配置する。図４ａ〜４ｃの例について、フレームｊにおけるディスプレイ２０でのポイント先の位置の絶対的位置を決定するように適用され、フレームｊ＋１のキャプチャ・イメージ・データは、ベクトル−Δ（即ち、図４ｂおよび図４ｃに示したベクトルΔのマイナス）に対応する大きさおよび方向によって、上方および左にシフトされることになる。より具体的には、位置決めターゲット６０（ｊ＋１）および可視要素６２（ｊ＋１）は、ベクトル−Δの要素に対応する量だけ、ｘ方向およびｙ方向のそれぞれにシフトされることになる。反対に、プロセス５２がフレームｊ＋１においてディスプレイ２０でのポイント先の位置の絶対的位置を決定することになる場合は、フレームｊでキャプチャしたイメージ・データの位置決めターゲット６０（ｊ）および可視要素６２（ｊ）は、ベクトル−Δの要素の合計に対応する大きさおよび方向によって、下方および右にシフトされることになる。更なる代替として、決定されることになる絶対的位置がフレームｊ，ｊ＋１についてのイメージ・キャプチャ時刻ｔ_ＩＣの間の中間時点または他の時刻におけるものである場合に、フレームｊ，ｊ＋１の両方のキャプチャ・イメージ・データにおける位置決めターゲット６０（ｊ），６０（ｊ＋１）および可視要素６２（ｊ），６２（ｊ＋１）は、プロセス５０において、（フレームｊについて）ベクトルΔおよび（フレームｊ＋１について）ベクトル−Δの大きさおよび方向の分割(fraction)によって相互にシフトされることになる。いずれにせよ、プロセス５２の動作は、位置決めターゲット６０（ｊ），６２（ｊ＋１）を相互に、および可視要素６２（ｊ），６２（ｊ＋１）を相互に整列させるように供する。

フレーム間のディスプレイ２０でのポイント先の移動の大きさおよび方向に加えて、他の箇所でのポインティング・デバイス１０の本体フレームの移動を整列プロセス５２に組み込むこともできる。図７を参照する。ポインティング・デバイス１０は、所与の時点におけるディスプレイ２０での要素７０をビューするものとして示される。ポインティング・デバイス１０がディスプレイ２０に向けて、またはそれから離れて移動する（即ち、ディスプレイ２０の平面に垂直であるｚ軸に沿って）場合、動きセンサ３６（および、相対的動きの決定で用いられる場合はまた視覚センサ３５も）は、当該動きを感知することになる。ｚ軸に沿ったこのような動きは、キャプチャしたイメージ・データの要素７０によって、フレームからフレームまでサイズの変更を示される(exibit)。

同様に、動きセンサ３６として供する従来型の慣性センサは、通例、ポインティング・デバイス１０のロール、ピッチおよびヨー移動を感知することができ、姿勢の変化を相対的位置決めサブシステム３８によって分析することができる。図７の文脈では、ロールは、ｚ軸（即ちディスプレイ２０に対して垂直な軸）の回りのポインティング・デバイス１０の回転に関連する。ピッチは、ｘ軸の回りのポインティング・デバイス１０の回転に関連する。ｘ軸は、この例ではディスプレイ２０の平面に平行な水平軸となる。同様に、ヨーは、ｙ軸の回りのポインティング・デバイス１０の回転に関連する。ｙ軸はこの例ではディスプレイ２０の平面に平行な垂直軸となる。一般に、ポインティング・デバイス１０は、ロール、ピッチおよびヨーの各々が非ゼロとなる姿勢にあることになる。ユーザがポインティング・デバイスを移動させて、ロール、ピッチ、およびヨーの変化を生じさせた場合は、このような移動はまた、連続フレームｊ，ｊ＋１においてイメージ・キャプチャ・サブシステム１６によってキャプチャされたイメージ・フレーム・データの要素７０の指向および形状の相違に反映されることになる。

本発明の実施形態の中には、ロール、ピッチ、およびヨーによって生じさせる（位置決めターゲット６０を含む）要素７０の外観の変化、およびディスプレイ２０に垂直な（即ち、ｚ軸に沿った）線形移動は、上述したようにｘ方向およびｙ方向の線形の動きと組み合わされ、整列プロセス５２によって考慮され得る。ｚ方向の線形の動きが、動きセンサ３６からの入力に基づく相対的位置決めサブシステム３８によって検出される場合は、フレームｊ，ｊ＋１の一方または双方からキャプチャしたイメージ・データの位置決めターゲット６０および可視要素６２は、感知したｚ方向の動きにしたがってそのサイズがスケールされることになる。フレームｊ，ｊ＋１のイメージ・キャプチャ時刻の間におけるポインティング・デバイスのｚ軸回りのロールが相対的位置決めサブシステム３８によって検出される場合は、整列プロセス５２は、フレームｊ，ｊ＋１の一方または双方からキャプチャしたイメージ・データの回転を含めることになり、ターゲット６０および可視要素６２を相互に配列する。フレームｊ，ｊ＋１のイメージ・キャプチャ時刻の間のポインティング・デバイス１０のピッチまたはヨーが相対的位置決めサブシステム３８によって検出される場合は、整列プロセス５２は、フレームｊ，ｊ＋１の一方または双方からキャプチャしたイメージ・データを歪曲する(skew)ことになり、それ故に歪曲を訂正する（このような歪曲は、特に、矩形のオブジェクトにおける台形の歪曲を訂正するときに、「キーストニング」(keystoning)と時折称される。）。その結果、位置決めターゲット６０および可視要素６２は、その時間間隔にわたりポインティング・デバイス１０の姿勢の変化に拘わらず、相互により上手く一致させることになる。

いずれにせよ、整列プロセス５２に続いて、位置決めターゲット６０（ｊ），６０（ｊ＋１）は、要素６２（ｊ），６２（ｊ＋１）が相互に対して可視であるように、相互に近接してオーバーレイすることになる。絶対的位置決めサブシステム３７は次いで、上記組み込んだ米国特許第８,２１７,９９７号に説明される手法で差し引きのプロセス５４を実行することができる。例えば、フレームｊ＋１についての処理済みのイメージ・フレーム・データをフレームｊのものから差し引きし、その結果、図３ｄに示すように、位置決めターゲット６０（ｊ），６０（ｊ＋１）の補完による調整が、２つのフレームｊ，ｊ＋１の背景イメージ・データおよび可視要素６２（ｊ），６２（ｊ＋１）を相殺しながら相互に補強される。プロセス５６が次いで、絶対的位置決めサブシステム３７によって実行されて、差分フレーム・イメージ・データの位置決めターゲット・パターンの位置を識別することができる。それに続いて、ディスプレイ２０でのポイント先の位置の絶対的位置を、プロセス５８において、上記組み込んだ米国特許第８,２１７,９９７号にも説明される手法で決定することができる。

本発明の当該実施形態によれば、ある速度かつシステムのフレーム・レートに対して重大な距離にわたり、ユーザがポインティング・デバイス１０を移動させている状況においてでさえも、人間の聴衆に非可視であり、「ホワイト・ボード」アプリケーションで適切に使用される位置決めターゲットおよびイメージを用いることで、位置決め回路２５は、正確で精度のよい手法で、ポインティング・デバイス１０によるポイント先のディスプレイ２９での位置を決定することができる。絶対的位置決めプロセスに適用される動きについての当該補償は、聴衆に供される経験と同様に、対話型表示システムの動作を著しく改善することになる。

上述したように、上記組み込んだ米国特許出願第１４／０１８，６９５は、図２ａおよび図２ｂのシステムの位置決め回路２５によって生み出される絶対的および相対的位置決めの結果が組み合わされて、最終的な位置決めの結果を生じさせるシステムおよび方法について説明する。図８は、米国特許出願第１４／０１８，６９５に説明される手法による、また、本発明の一実施形態による、位置決め回路２５’の構成をブロック図の形態で示す。図８に示す本発明の当該実施形態では、センサ連携サブシステム４０は誤差値ＥＶを決定する。誤差値ＥＶは、ポインティング・デバイス１０が特定の時点で照準を定めた、絶対的位置決めシステム３７により決定されるディスプレイ２０での位置と、それと同一の時点での相対的位置決めサブシステム３８によって決定される位置との間の差分に対応する。米国特許出願第１４／０１８，６９５に説明されるように、センサ連携サブシステム４０は論理回路として実装することができ、位置決め回路２５内またはそれにアクセス可能なプログラム・メモリに格納されるプログラム命令を実行するプログラム可能論理回路を含む。そして、当該プログラム命令は、絶対的位置決めサブシステム３７からの絶対的位置決め信号ＡＢＳおよび相対的位置決めサブシステム３８からの相対的位置決め信号ＲＥＬに基づいて、誤差値ＥＶを生み出すための動作および機能を実行するものと考察される。当該誤差値ＥＶは、センサ連携サブシステム４０によって、相対的位置決めサブシステム３８に戻されるように伝達される。相対的位置決めサブシステム３８は、当該誤差値ＥＶに対応する補償係数を相対的位置決めプロセスの結果に適用する。即ち、相対的位置決めが提供する、ポインティング・デバイス１０によるポイント先のディスプレイ２０での位置について迅速且つ頻繁な位置決めを可能にするものの、絶対的位置決めが提供する正確な結果に基づく精度を有する。

図８に示し、また上記組み込んだ米国特許出願第１４／０１８，６９５に説明されるように、絶対的位置決めサブシステム３７はまた、相対的位置決めサブシステム３８に対し、信号ＳＩＺＥ，ＳＨＡＰＥも伝達する。信号ＳＩＺＥ，ＳＨＡＰＥは、位置決めターゲットまたは相対時間間隔にわたる別の表示要素の大きさおよび形状の変化をそれぞれ示す。大きさおよび形状の変化についての当該指標は、サブシステム３８によって実行される相対的動きの位置決めにおいて、ポインティング・デバイス１０の距離および角度をそれぞれ決定するのを支援することができる。当該支援は、検出された相対的な動きを確認する性質を有することができ、代替として、相対的位置決めサブシステム３８によって実行される必要な分析を限定することにより、相対的位置決めの計算を高速化することができる。加えて、図８に示し、また上記組み込んだ米国特許出願第１４／０１８，６９５に説明されるように、相対的位置決めサブシステム３８から絶対的位置決めサブシステム３７に対して、信号Ｒ＿Ｐ＿ＹおよびＸ＿Ｙ＿Ｚが直接伝達されて、その計算を支援する。特に、信号Ｒ＿Ｐ＿Ｙは、ポインティング・デバイス１０のロール、ピッチおよびヨー運動を示し、相対的位置決めサブシステム３８によって分析される慣性センサ３６によって直接検出出可能である。また、信号Ｘ＿Ｙ＿Ｚは、ｘｙｚ軸のそれぞれに沿った線形の動きを示す。ロール、ピッチ、およびヨーの変化、並びに３軸の各々に沿った線形の動きは、絶対的位置決めの計算において有用なものとなる。何故ならば、ポインティング・デバイスの姿勢は、ポイントしているディスプレイでの位置を示すからである。

本発明の当該実施形態によれば、センサ連携サブシステム４０はまた、イメージ・キャプチャ・サブシステム１６が絶対的位置決めの決定のために適用されるイメージ・フレーム・データを取得するフレーム間において、感知および計算される相対的動きに対応する信号ＳＨＦＴを生成する。この点に関し、センサ連携サブシステム４０は、上述したプロセスにしたがって相対的動きの決定に基づいて、これら信号ＳＨＦＴを生成する。これは、移動した距離およびポインティング・デバイス１０の姿勢の変化として表される相対的動きについて、ポインティング・デバイス１０によるポイント先のディスプレイ２９での位置の移動として表される、例えばｘ方向およびｙ方向のピクセルの数として表現される相対的動きへの変換へと続く。代替として、図８に示すように、感知および計算された、（物理的な動きからピクセル内の動きに変換された）フレーム間の相対的動きに対応する信号ＳＨＦＴ’は、その代わりにまたはそれに加えて、相対的位置決めサブシステム３８から絶対的位置決めサブシステム３７に伝達することができる。加えて、本発明の幾らかの実施形態では、上述した手法で相対的位置決めサブシステム３８によって生成されるそれらフレーム時刻の間の相対的動きが、センサ連携サブシステム４０によって生成される誤差値ＥＶにしたがって補償されるそれら相対的位置決めの結果に基づき、その結果、それらフレーム時刻の間に感知および計算される相対的動きに対応する信号ＳＨＦＴ，ＳＨＦＴ’自体は、その手法で補償されるものと考察される。このような補償は、位置決めターゲットが数多くの状況で相互に配列される精度を更に改良し、位置決めターゲット・パターンの検出の可能性を改良でき、また、ディスプレイ２０での「固定された」（即ちヒューマン可視の）視覚要素から生じるノイズや見込まれる誤差を低減させるものと考察される。

上述したように、相対的位置決めサブシステム３６は、視覚センサ３５（即ちイメージ・キャプチャ・サブシステム１６）からのデータおよび信号に応答して、その機能を実行することができる。当該手法では、キャプチャしたイメージ・データは、表示されたイメージの要素の移動を決定するために分析され、そこから、相対的位置指決めサブシステム３８は、以前の位置に関連したポイント先の位置について新規位置を導出することができる。例えば、図７のポインティング・デバイス１０がディスプレイ２０の左手上の角の方に向けてポイント先の位置を移動する場合、要素７０は、以前にキャプチャしたイメージに対して、キャプチャ・イメージ・データにおいて下に且つ右に移動するように出現することになる。新規のポイント先の位置は、例えば、オブジェクト登録のような公知のアルゴリズムによって、また、ＫＬＴ，ＳＵＲＴ，ＳＩＦＴおよびＯＲＢのような他の公知のアルゴリズムによって、当該検出した相対的動きから決定することができる。

しかしながら、本発明に関連して、表示された要素を識別するこのような視覚上の相対的動きの性能は、表示されたコンテンツの性質のため、幾らかの状況では困難である場合もある。このような困難な状況の１つは、「ホワイト・ボード」の文脈であり、ディスプレイ２０は単一の色（例えば、白色を含む中間色）であり、その結果、表示されるいずれの要素も可視にはならはないということである。

視覚上の相対的動き感知が困難になる他の状況は、本発明の実施形態に関して用いられるヒューマン非可視の位置決めターゲットに関して提示される。上述したように、例えば図３ａおよび図３ｂを参照すると、１つおきのフレーム（即ちその他全てのフレーム）での位置決めターゲット６０は、背景イメージについて逐次に(incrementally)より明るくなるように調整することを通じて表示される。位置決めターゲット６０（ｋ＋１）は、このような逐次により明るくなる位置決めターゲットの例である。上記に要約したように、視覚上の相対的動き感知は、連続フレームのサンプル時刻の間で対応する表示した要素の位置の変化を検出することによって動作する。本発明に関連して、位置決めターゲット６０（ｋ＋１）のような当該逐次により明るくなる位置決めターゲットの「色」が、隣接フレームでの位置決めターゲット６０（ｋ）のような対応するより暗いターゲットとは異なるので、多くの視覚上の相対的動きアルゴリズムは、位置決めターゲット６０（ｋ＋１）を位置決めターゲット６０（ｋ）と「同一」の特徴(feature)とは認識することができず、その逆もまた然りである。相互に対応する連続フレームからキャプチャしたフレーム・データでの表示要素の幾らかは識別することができないという性能は、幾らかの状況では、著しく且つ否定的に、相対的動き感知の結果に影響することもある。

本発明の他の実施形態によれば、位置決め回路２５は、視覚上の相対的動き感知を用いるように動作して、特に、幾らかのフレームでの位置決めターゲット要素が必ずしも「可視」ではなく、またはさもなければ相対的位置決めサブシステム３８にとって有用ではないような状況において、絶対的位置決め機能を容易にする。特に、本発明の当該実施形態は、１フレームから次フレームまでの動きを推定し、その結果、２つのフレームの時刻にわたり発生して視覚的に感知された動きから、２つのフレームについてのイメージ・フレーム・データをシフトまたは配列させることができる。当該手法では、ヒューマン非可視の位置決めターゲットが連続フレームの補完による調整を用いて生成される場合についてでさえも、１つおきのフレームｋ，ｋ＋２に表示される同一の位置決めターゲット・パターンの位置は比較されることになる。本発明の当該実施例による、当該手法での位置決め回路２５の動作について、これより図９を参照して詳細に説明する。

図９に要約される位置決め回路２５の動作は、図６に関して上述したものと類似している。このように、類似のプロセスは、図６および図９の両方において同一の参照符号で参照される。上述したように、プロセス４１において、ペイロード視覚イメージ・データは、連続フレームのペイロードまたは背景イメージ・データについて補完的な調整の形態で位置決めターゲット・パターンと組み合わされて、ディスプレイ２０に投影され、或いは、ディスプレイ２０によって表示される。表示された位置決めターゲット・パターン・イメージは、図４ａおよび図４ｂの位置決めターゲット６０（ｋ），６０（ｋ＋１）に対し、連続フレームｋ，ｋ＋１の背景（即ち、ペイロード）イメージの補完的な調整で表示される要素の形態で対応する。勿論、補完的調整は、フレームｋ＋１の後続のフレームに対しても継続し、フレームｋ＋２の位置決めターゲット６０（ｋ＋２）は背景イメージを逐次により暗く調整するように出現し、フレームｋ＋３の位置決めターゲット６０（ｋ＋３）は背景イメージを逐次により明るく調整するように出現するなどとなる。このように、偶数番号の１つおきのフレーム（即ち、ｋ，ｋ＋２，ｋ＋４，ｋ＋６等）での位置決めターゲット６０は背景を逐次により明るく調整するように出現することになると共に、奇数番号の１つおきのフレーム（即ち、ｋ＋１，ｋ＋３，ｋ＋５，ｋ＋７等）での位置決めターゲットは背景をより明るく調整するように出現することになる。プロセス４２において、ディスプレイ２０でのイメージは、ディスプレイ２０のフレーム・レートに対応する、タイムスタンプ値に関連するサンプル時刻において視覚センサ３５（即ち、イメージ・キャプチャ・サブシステム１６）によって定期的に感知される。そして、結果が絶対的位置決めサブシステム３７に転送され（プロセス５２）、また本発明の実施形態によればフレーム間の相対的動きを識別するのに用いるために、相対的位置決めサブシステム３８に転送される。

プロセス６４では、相対的位置決めサブシステム３８は、プロセス４２のイメージ・キャプチャ・サブシステム１６によってキャプチャされるイメージ・フレーム・データを受け取り、１つおきのフレームに現れるそれらデータの１つ以上の類似の要素を識別する。この文脈では、これら「１つおき」(alternating)のフレームは、２つのフレーム、例えば連続する奇数フレーム（フレームｋ＋１およびｋ＋３、フレームｋ＋３およびｋ＋５等）または連続する偶数フレーム（フレームｋおよびｋ＋２，フレームｋ＋２およびｋ＋４等）の時刻によって分離されるイメージに関連する。上述したように、ヒューマン非可視のポジショニング・ターゲット６０は連続フレームの背景を補完的に調整する形態であるので、１つおきのフレームでのこれら位置決めターゲット６０は、同一の調整両極性（即ち、両方とも背景よりも逐次暗くする、または両方とも背景よりも逐次明るくする）を有することになる。その結果、イメージ・データにおいて共通の特徴を識別する従来型のアルゴリズムでは、それら１つおきのフレームに現れる同一の位置決めターゲット６０を特定することが可能になる。

プロセス６６では、相対的位置決めサブシステム３８は、所与のフレームｊの時刻および１つおきの次のフレームｊ＋２の時刻の間に、ポインティング・デバイス１０によるポイント先のディスプレイ２０の位置の相対的動きを決定する。当該決定は、当該技術分野で公知のように、オブジェクト登録、ＫＬＴ，ＳＵＲＦ，ＳＩＦＴおよびＯＲＢのような数多くの相対的視覚上の動きアルゴリズムのいずれか１つによって実行することができる。上述したように、１つおきのフレームは同一の調整両極性を有する位置決めターゲット６０を収容するので、これら従来型のアルゴリムズは、当該２つの１つおきのフレームｊ，ｊ＋２にわたる動きの大きさおよび方向を容易に決定することができるものと考察される。

プロセス６６での相対的動きの決定に続き、上述したプロセス６４，６６で用いたフレーム・インデックスｊはインクリメントされることになり、識別プロセス６４および決定プロセス６６は、１つおきのフレームｊ，ｊ＋２の次の組について繰り返すことになる。本発明の当該実施形態によれば、インデックスｊは、１フレームずつインクリメントすることができ、その結果、識別プロセス６６は、以前の繰り返しにおけるものとは反対の調整両極性を有する類似の位置決めターゲットを識別することになる。あるいは、インデックスｊは２フレームずつインクリメントすることができ、その結果、同一の調整両極性を有する位置決めターゲット６０は次の繰り返しで識別されることになる。勿論、フレーム・インデックスｊの１つずつのインクリメントが時間とともにプロセス６６での相対的動きの決定における解像度を改良することになり、速度の急速な変化をより良く検出できるようになるものと考察される。

プロセス６４，６６の各繰り返しの後に、相対的位置決めサブシステム３８はプロセス６８を実行して、１つおきのフレームの組にわたり生じるものとして決定される相対的動きに基づいて、連続フレームの間の相対的動きを導出する。換言すれば、上述したように、ヒューマン非可視位置決めターゲット６０を用いた絶対的位置決めの決定は、イメージ・フレーム・データの連続フレームから差し引くことによって実行される。１つおきの(alternating)フレームの視覚上の相対的動き感知を用いて当該絶対的位置決めを支援するために、プロセス６８では、フレームｊおよび連続するフレームｊ＋１の時刻の間で生じる動きの推定を決定することができる。その結果、図３ａから図３ｄまでに関して上述したように、差し引きがされることになるそれら２つのフレームからのイメージ・データにより、ヒューマン非可視の位置決めターゲットを復元させるのを可能にする。本発明の実施形態によれば、フレームｊ，ｊ＋１の間の相対的な動きの当該推定は、これより図１０ａおよび図１０ｂを参照して説明するように、フレームｊおよびｊ＋２の間の相対的動きの補間に基づく。

本発明の本実施例の１つの実施によれば、補間プロセス６８は、表示２０でに示された位置の線形評価として実行される。図１０ａは、フレームｊの時刻での検出した相対的位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））、およびフレームｊ＋２の時刻での位置（ｘ（ｔ_ｊ＋２），ｙ（ｔ_ｊ＋２））について示す。この例では、相対的位置決めサブシステム３８は、フレーム・レートを一定（即ち、フレームｊ＋１のイメージ・キャプチャ時刻がフレームｊおよびｊ＋２のイメージ・キャプチャ時刻の間の時刻で正確に生じる）ものとして、位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））および（ｘ（ｔ_ｋ＋２），ｙ（ｔ_ｊ＋２））の中間時点における、フレームｊ＋２の時刻で生じたディスプレイ２０でのポイント先位置についての位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１））を推定する。補完した位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１）は次いで、絶対的位置決めサブシステム３７へのセンサ連携サブシステム４０からのシフト信号ＳＨＦＴ（または、場合によっては相対的位置決めサブシステム３８からのシフト信号ＳＦＦＴ’）の生成に用いられ、プロセス５２において、フレームｊ，ｊ＋１のイメージ・フレーム・データの一方または双方をシフトするのに使用される。当該線形の補間は、この時間にわたりポインティング・デバイス１０の動きは、ポインティング・デバイスがポイントするディスプレイ２０での位置が実質的に線形的に方法で移動するようになるとの想定に基づく。当該線形の想定は、全般的に、視覚上の相対的動き感知だけが実行されるそれらシステムで為されるものである。

代替として、図１０ｂに示すように、プロセス６８は、ポインティング・デバイス１０の動きの線形性が想定されないやり方で実行することができる。例えば、図１０ｂに示すように、ポインティング・デバイス１０の動きが非線形であり、ディスプレイ２０でのポイント先の位置の真の経路が、フレームｊの時刻で検出した相対的位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））とフレームｊ＋２の時刻で検出した相対的位置（ｘ（ｔ_ｊ＋２），ｙ（ｔ_ｊ＋２））の間の経路５３を追従する場合は、図示のように、フレームｊ＋１について線形で補間した位置５１および真の経路５３に沿った真の位置５５との間には重大な誤差が生じる結果となり得る。

当該代替の実装態様によれば、慣性センサ１７（図２ａおよび図２ｂ、即ち図４の動きセンサ３６）は、１つおきのフレームｊ，ｊ＋２の間の時刻での付加的な相対的動き情報を提供するのに使用される。上述したように、慣性センサ１７の例には、加速度計、ジャイロスコープ、磁力計のようなデバイスが含まれる。例えば、慣性センサとして加速度計を想定すると、ポインティング・デバイスの移動の加速度が感知される。動きの速度が次いで、単一の積分を通じて決定することができる。本代替の実装形態によれば、補間プロセス３８が、フレームｊの時刻におけるポイント先の位置についての位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））を決定することによって、また、図１０ｂに示すように、その時刻でのその位置の動きについての速度ベクトル５７を推定すること、例えば慣性センサ１７からの測定値を積分することによって、相対的位置決めシステム３８により実行される。推定した速度ベクトル５７（即ち、大きさと方向の両方を有するもの）に基づいて、相対的位置決めサブシステム３８は、次いで、フレームｊ＋１に対応する時刻において、速度ベクトル５７の方向に沿って位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１））を推定する。図１０ｂから明らかなように、当該推定した位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１））は、真の経路５３に沿った真の位置５５に対し、線形で補間した位置５１よりも非常に近いものとすることができる。

図１０ｂに示される当該実装態様の例は、フレームｊの時刻での位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））の「出発」(departure)速度ベクトル５７を計算する一方で、他の速度ベースの補間手法が代替として使用することができる。プロセス６８のこのような１つの代替の実装態様は、フレームｊ＋２の時刻での位置（ｘ（ｔ_ｊ＋２），ｙ（ｔ_ｊ＋２））での測定した加速度を積分することによって、「到着」(arrival)速度ベクトルの決定を含むことになる。この場合、フレームｊ＋１での位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１））を決定する補間処理は、到着速度ベクトルに沿って時間上逆戻る「逆補間」(back-interpolation)となる。プロセス３８への別の代替の手法は２つの補間を含む。１つの補間は、位置（ｘ（ｔ_ｊ），ｙ（ｔ_ｊ））での出発速度ベクトル５７に基づき、もう１つは、位置（ｘ（ｔ_ｊ＋２），ｙ（ｔ_ｊ＋２））での到着速度ベクトルに基づき、引き続き、２つの補間の結果を平均化する。出発速度および到着速度の両方に基づいて補間結果を平均化することは、結果として、全般的に、フレームｊ＋１での位置（ｘ（ｔ_ｊ＋１），ｙ（ｔ_ｊ＋１））の最良の推定となるが、潜在的に増大した計算コストとなるものと考察される。

視覚上の相対的動き感知への他の代替の手法は、これより図１０ｃを参照して説明するように、補間プロセスでの連続フレームの組の使用を伴う。当該説明から明らかなものとなるように、当該代替の実装態様は、全てのフレームからのイメージ・フレーム・データを、隣接フレームで実行される補間を支援する１つおきのフレームの各組と共に使用する。プロセス７２では、相対的位置決めサブシステム３８は、１つおきの一組のフレームｊ，ｊ＋２についてイメージ・キャプチャ・サブシステム１６からキャプチャしたイメージ・フレーム・データを受け取る。そして、上述したような従来のアルゴリズムを用いて、それら２つのフレームの共通のイメージ要素から相対的動きを決定する。プロセス７４では、相対的位置決めサブシステム３８は、隣接する１つおきの一組のフレームｊ＋１，ｊ＋３についてイメージ・キャプチャ・サブシステム１６からキャプチャしたイメージ・フレーム・データを受け取る。そして、それら２つのフレームの共通のイメージ要素から相対的動きを決定する。このように、プロセス７２，７４に続き、相対的位置決めサブシステム３８は、隣接し重複する１つおきの一組のフレームにおける相対的動きについての推定を導出した。相対的位置決めサブシステム３８は、次いで、プロセス７６を実施して、プロセス７４で決定した隣接する１つおきのフレームｊ＋１，ｊ＋３間の相対的動きの方向として、フレームｊ＋２の時刻での相対的動きの角度（即ち、方向）を推定することができる。上述したように、フレームｊ＋１，ｊ＋３の間の相対的動きの当該方向は、それら２つのフレームからのイメージ・フレーム・データの共通の表示要素の位置を比較することに基づいて、基本的には線形方向となる。フレームｊ＋２の時刻での相対的動きについての当該推定した方向は、次いで、プロセス６８’においてフレームｊ＋１での位置の逆補間、つまり、フレームｊ＋２の時刻での動きの方向を提供することによるフレームｊおよびｊ＋１の間の相対的動きにおいて使用される。図１０ｃに示した当該プロセスは、次いで、例えばインデックスｊを１だけインクリメントし、プロセス７４，７６，６８’を繰り返すことによって（一組のフレーム間の相対的動きは既にプロセス７４の以前の繰り返しで決定されている）、フレームの次の組について繰り返される。図１０ｃのプロセスの各繰り返しは、つまり、上述したように、プロセス５２での位置決めターゲット６０の整列で使用するために、フレームｊ，ｊ＋１の間の相対的動きの推定値を生み出す。

当該代替の実装態様は、視覚上の動き感知に単に基づき各フレーム時刻での速度の方向を提供するのに特に有用であるものと考察される。したがって、慣性センサ１７の存在を必要とすることなく、線形補間の手法と比較して、補完的な位置決めターゲット・イメージの位置の推定において改善した精度を提供することができる。

図１１は、本発明の当該実施形態における他の代替の実装態様により、連続フレームでの補完調整における位置決めターゲットに関して用いられる、視覚上の相対的動き感知を実行する相対的位置決めサブシステム３８の動作を示す。当該代替のプロセスは、プロセス８０で始まり、ここでは、位置決めサブシステム３８は、上述した方法によりプロセス４２でイメージ・キャプチャ・サブシステム１６によってキャプチャした一組の連続フレームｊ，ｊ＋１からイメージ・フレーム・データを受け取る。プロセス８２では、それら２つのフレームの内の１つ（例えばフレームｊ＋１）からキャプチャしたイメージ・データが「反転」(invert)され、基本的にはキャプチャしたそのイメージ・フレーム・データの「負性」(negative)を供給する。本発明は、輝度（即ち、グレースケール・イメージにおける）に適用可能である共に、色イメージ（例えば、ＲＧＢの全域、または他の色スペース）にも適用可能であるものと考察される。プロセス８２での当該反転は、イメージを変換する第１ステップを意図し、その結果、フレームｊ＋１の位置決めターゲットの調整の両極性は、フレームｊでの位置決めターゲットのそれに一致する。例えば、フレームｊの位置決めターゲットが、イメージの背景に対してより暗く調整され、フレームｊ＋１の位置決めターゲットが、背景に対してより明るく調整される場合は、プロセス８２でのフレームｊ＋１についてのフレーム・データの反転は、結果として、位置決めターゲット要素がその背景に対してより明るい調整を有することになる。

勿論、プロセス８２でのフレームｊ＋１のイメージ・データの反転はまた、背景フレーム・データも反転させる。背景が中性（即ち、中間範囲）ではない程度でのプロセス８２における反転は、反転したフレームｊ＋１の背景をフレームｊの背景とは異なるようにさせる。このことは、表示要素の一致での偶発的な識別において重大な混乱を生じさせることになる。それ故、プロセス８４では、イメージ処理はフレームｊ＋１の反転したイメージに適用され、その輝度、色、コントラストおよび他の属性を、例えば、基準に関して、またはフレームｊのイメージ・データ全体の同一の属性と類似の別の方法でバランスし、つまり、背景イメージ・データの反転を補償する。本明細書を参照した当業者にとって、プロセス８４でのこのような処理を容易に実装できるものと考察される。

プロセス８２，８４の結果として、フレームｊおよびｊ＋１のイメージ・フレーム・データは、ターゲット・パターンが補完調整を用いてディスプレイ２０で表示され、その形態でキャプチャされるとしても、これからは位置決めターゲット６０に対応する一致した要素を収容しなければならない。その結果、従来型の視覚上の相対的動きアルゴリズムは、次いでプロセス８６を実行することができ、プロセス８６で位置決め目標６０のこれら一致要素を識別することができ、また、プロセス８８でフレームｊ，ｊ＋１の時刻の間に、それらの位置決めターゲット６０の相対的動きを決定することができる。プロセス８８で決定したフレームｊ，ｊ＋１の間の当該相対的動きは、次いで、図５および図６に関連して上述したように、絶対的位置決めプロセスのプロセス５２で位置決めターゲット６０を整列するのに使用するために、絶対的位置決めサブシステム３７に転送される。

本発明の実施形態によれば、それ故、位置決め回路２５は、システムのフレーム・レートに対して著しい速度且つ距離でポインティング・デバイス１０を移動させている状況であっても、人間の聴衆には非可視な位置決めターゲットおよびイメージを用いて、ポインティング・デバイスによるディスプレイ２０でのポイント先の位置を正確且つ迅速な手法で決定することができ、つまり「ホワイト・ボード」アプリケーションで使用するのに適している。絶対的位置決めプロセスに適用される動きの当該補償は、対話型表示システムの動作を、聴衆に対して供される体験と同様に著しく改善することになる。

本発明についてその実施形態によって説明してきた一方で、勿論、本発明の利点および利益を獲得する修正や代替のような、これら本発明の修正態様や代替態様は、本明細書および図面を参照した当業者にとって明らかなものと考察される。このような修正態様や代替態様は、以降の特許請求される本発明の範囲に含まれるものと考察される。

Claims (20)

1. ハンドヘルド・ヒューマン・インタフェース・デバイスを含むコンピュータ・システムを動作させる方法であって、
   視覚上のペイロード・イメージ・フレーム・データを生成するステップと、
   連続する第１のフレームおよび第２のフレームに適用される、前記視覚上のペイロード・イメージ・フレーム・データの１つ以上の選択したピクセル位置での補完強度調整(complementary intensity variance)に対応する少なくとも１つの位置決めターゲット・パターンを、前記視覚上のペイロード・イメージ・フレーム・データと組み合わせるステップと、
   前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンをディスプレイに表示するステップと、
   前記ハンドヘルド・ヒューマン・インタフェース・デバイスにおいて、前記第１フレームおよび前記第２フレームの各々から、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップと、
   前記デバイスの１つ以上の動きセンサから取得される測定値に基づいて、イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出するステップと、
   前記検出した相対的な動きに基づいて、前記第１フレームおよび前記第２フレームのイメージ・データを整列するステップと、
   前記第１フレームおよび前記第２フレームから前記整列したイメージ・データを、相互から差し引いて、前記デバイスでビューされる前記位置決めターゲット・パターンを復元させるステップと、
   前記復元した位置決めターゲット・パターンに応じて、前記デバイスが前記第１フレームおよび前記第２フレームの内の１つの時刻においてポイントしている前記ディスプレイでの位置を決定するステップと
   を含む、方法。
2. 前記１つ以上の動きセンサがイメージ・キャプチャ・サブシステムを備える、請求項１記載の方法。
3. 前記１つ以上の動きセンサが、３つの直交方向での相対的な動きを感知するための複数の慣性センサを備える、請求項１記載の方法。
4. 前記１つ以上の相対的な動きセンサが、更に、イメージ・キャプチャ・サブシステムを備える、請求項３記載の方法。
5. 請求項１記載の方法において、前記整列するステップが、前記検出した相対的な動きに対応する大きさおよび方向で、前記第１フレームおよび前記第２フレームの内の１つについての前記キャプチャしたイメージ・データの要素の位置をシフトするステップを含む、方法。
6. 請求項５記載の方法において、前記整列するステップが、更に、前記ディスプレイに垂直な方向で前記検出した相対的な動きにしたがって、前記第１フレームおよび前記第２フレームの内の１つについて前記キャプチャしたイメージ・データの要素の大きさをスケールするステップを含む、方法。
7. 請求項５記載の方法において、前記整列するステップが、更に、前記ディスプレイに垂直な方向軸の回りで前記デバイスについて前記検出した相対的な動きに対応する量で、前記第１フレームおよび前記第２フレームの内の１つについて前記キャプチャしたイメージ・データの要素を回転させるステップを含む、方法。
8. 請求項５記載の方法において、前記整列するステップが、更に、前記ディスプレイに平行な１つ以上の軸の回りで前記デバイスについて前記検出した相対的な動きに対応する量で、前記第１フレームおよび前記第２フレームの内の１つについて前記イメージ・データの要素を歪曲させるステップを含む、方法。
9. 請求項１記載の方法において、前記組み合わせるステップが、
   前記キャプチャしたイメージ・データを前記第２フレームから反転させるステップと、
   前記第１フレームおよび前記第２フレームから前記整列したイメージ・データを付加して、前記デバイスでビューされる前記位置決めターゲット・パターンを復元させるステップと
   を含む、方法。
10. 請求項１記載の方法であって、更に、
    前記ハンドヘルド・ヒューマン・インタフェース・デバイスにおいて、第３フレームから、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャするステップを含み、
    前記イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出する前記ステップが、
    イメージ・データが前記第１フレームおよび前記第３フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出するステップと、
    イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを、前記第１フレームおよび前記第３フレームの間において前記検知したデバイスの相対的な動きから検出するステップと
    を含む、方法。
11. 対話型表示システムであって、
    ディスプレイに表示されることになる表示イメージ・データを生成するコンピュータと、
    前記表示イメージ・データに対応するグラフィクス出力信号を表示に適したフォーマットで生成するグラフィクス出力回路と、
    ポインティング・デバイスであって、
    ハンドヘルド・ハウジングと、
    該ハウジングに配置されるイメージ・センサと、
    １つ以上の動きセンサと、
    前記イメージ・センサによって取得されるイメージ・データをキャプチャするイメージ・キャプチャ回路と
    を含む、ポインティング・デバイスと、
    前記ポインティング・デバイスが複数の動作を実行することにより照準を定める前記ディスプレイ上の位置を決定する位置決め回路であって、前記複数の動作が、
    視覚上のペイロード・イメージ・フレーム・データを生成し、
    連続する第１のフレームおよび第２のフレームに適用される、前記視覚上のペイロード・イメージ・フレーム・データの１つ以上の選択したピクセル位置での補完強度調整(complementary intensity variance)に対応する少なくとも１つの位置決めターゲット・パターンを、前記視覚上のペイロード・イメージ・フレーム・データと組み合わせ、
    前記組み合わせた視覚上のペイロード・イメージ・フレーム・データおよび位置決めターゲット・パターンをディスプレイに表示し、
    前記ハンドヘルド・ヒューマン・インタフェース・デバイスにおいて、前記第１フレームおよび前記第２フレームの各々から、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャし、
    前記デバイスの１つ以上の動きセンサから取得される測定値に基づいて、イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出し、
    前記検出した相対的な動きに基づいて、前記第１フレームおよび前記第２フレームのイメージ・データを整列し、
    前記第１フレームおよび前記第２フレームから前記整列したイメージ・データを、相互から差し引いて、前記デバイスでビューされる前記位置決めターゲット・パターンを復元させるステップと、
    前記復元した位置決めターゲット・パターンに応じて、前記デバイスが前記第１フレームおよび前記第２フレームの内の１つの時刻においてポイントしている前記ディスプレイでの位置を決定する
    ことを含む、位置決め回路と
    を備える、対話型表示システム。
12. 前記１つ以上の動きセンサが前記イメージ・キャプチャ回路によって具備される、請求項１１記載のシステム。
13. 前記１つ以上の動きセンサが、３つの直交方向での相対的な動きを感知するための複数の慣性センサを備える、請求項１１記載のシステム。
14. 前記１つ以上の相対的な動きセンサが前記イメージ・キャプチャ回路によって具備される、請求項１３記載のシステム。
15. 請求項１１記載のシステムにおいて、前記整列する動作が、前記検出した相対的な動きに対応する大きさおよび方向で、前記第１フレームおよび前記第２フレームの内の１つについての前記キャプチャしたイメージ・データの要素の位置をシフトすることを含む、システム。
16. 請求項１５記載のシステムにおいて、前記整列する動作が、更に、前記ディスプレイに垂直な方向で前記検出した相対的な動きにしたがって、前記第１フレームおよび前記第２フレームの内の１つについて前記キャプチャしたイメージ・データの要素の大きさをスケールすることを含む、システム。
17. 請求項１５記載のシステムにおいて、前記整列する動作が、更に、前記ディスプレイに垂直な方向軸の回りで前記デバイスについて前記検出した相対的な動きに対応する量で、前記第１フレームおよび前記第２フレームの内の１つについて前記キャプチャしたイメージ・データの要素を回転させることを含む、システム。
18. 請求項１５記載のシステムにおいて、前記整列する動作が、更に、前記ディスプレイに平行な１つ以上の軸の回りで前記デバイスについて前記検出した相対的な動きに対応する量で、前記第１フレームおよび前記第２フレームの内の１つについて前記イメージ・データの要素を歪曲させることを含む、システム。
19. 請求項１１記載のシステムにおいて、前記組み合わせる動作が、
    前記キャプチャしたイメージ・データを前記第２フレームから反転させ、
    前記第１フレームおよび前記第２フレームから前記整列したイメージ・データを付加して、前記デバイスでビューされる前記位置決めターゲット・パターンを復元させる
    ことを含む、システム。
20. 請求項１１記載のシステムであって、前記複数の動作が、更に、
    前記ハンドヘルド・ヒューマン・インタフェース・デバイスにおいて、第３フレームから、前記位置決めターゲットを含む前記ディスプレイの少なくとも一部を表すイメージ・データをキャプチャすることを含み、
    前記イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出する動作が、
    イメージ・データが前記第１フレームおよび前記第３フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを検出し、
    イメージ・データが前記第１フレームおよび前記第２フレームからキャプチャされる時刻の間において前記デバイスの相対的な動きを、前記第１フレームおよび前記第３フレームの間において前記検知したデバイスの相対的な動きから検出すること
    を含む、システム。

Images