JP2009545786A - インタラクティブな位置コード化パターンがプリントされたホワイトボード - Google Patents

Abstract

【課題】 インタラクティブな位置コード化パターンがプリントされたホワイトボードを提供することである。
【解決手段】 ディスプレイ表面にプリントされた位置コード化パターンを具備しているインタラクティブディスプレイシステムである。電子ペンは、復号化リアルタイムプロセッサを備えている；表面パターンの複合化がパターンの中に埋め込まれた所定の（ｘ、ｙ）座標のセットを表す。これらが投影しているデバイスに通常取り付けられるホストＰＣに無線通信を介してすぐ送られときに、リアルタイムプロセッサは、（ｘ、ｙ）座標を復号化するように同時に作動する。
【選択図】

Description

処理装置管理、および、ディスプレイシステム
本発明は、マイクロプロセッサベースのインタラクティブ（interactive：双方向）ディスプレイシステムの分野に関し、特に、位置が符号化されたパターンを利用するこのようなシステムだけに限られず、コンピュータベースのアプリケーション、および、プログラムでユーザとの対話処理を促進するためのプロジェクション（投影法）ベースのディスプレイ装置に関連する位置検出デバイスに関する。

本出願の請求項は、２００６年６月１６日に出願の仮出願番号ＵＳ第６０／８０４,９６９号の基づく優先権を主張し、その全体の内容は参照によって本願明細書に引用したものとする。

「ホワイトボード」は、学校教室、プレゼンテーションシアター、および、仕事場において代表的に見られる平凡な視覚的なコミュニケーション補助器具である。標準のホワイトボードは、通常、「乾式ワイプ（ｄｒｙ―ｗｉｐｅ）」マーカと呼ばれる消去可能なマーカペンで書き込みを容易に利用できる剛体面を具備する。

近年、いわゆる「インタラクティブホワイトボード」の導入は、標準のホワイトボードを使用する視覚ベースの情報のプレゼンテーションと、ユビキタスパソコンの機能性との間のリンクを提供している。その結果として、インタラクティブホワイトボードは、標準のホワイトボードに対する自然の後継者であって、および、仕事場を含むいかなる環境に対して、更に、デジタルメディアが増強ラーニング、および、コミュニケーションのために非常に使用されるｅ−ラーニングとして世界的に知っているラーニングエコシステムに対して、ゲートウェイとしての機能を果たすことができる効果的なコミュニケーション手段を提供することができる。

図１は、プロジェクタで操作されるときに、空間相互作用と組み合わされた投映スクリーンがインタラクティブホワイトボードになることによって、インタラクティブホワイトボードの概念を示す。

既存の最先端の技術であるインタラクティブホワイトボードディスプレイシステムは、特別なインタラクティブホワイトボードペン、消しゴム、スタイラス、ポインタ、および、関連した視覚のプレゼンテーション補助器具ツール（集合的に、「インタラクティブホワイトボードペン」として以下で称される）であって指示すること、示すこと、教示すること、書き込むこと、ポインティングすること、選択すること、アクチベーティングすること、および、描画することのためのインタラクティブホワイトボードとして関連して使用される全ての位置を検出する手段としての働きをする特製の表面の使用する。

最先端の技術であるインタラクティブホワイトボードシステムで使用される「インタラクティブホワイトボードペン」の位置検出技術のために、それらは、「タッチベース」として従来技術にて一般に呼ばれ、および、一般的に、接触がインタラクティブホワイトボードペンを使用してなされるタッチセンシティブな表面を有するディスプレイまたはスクリーン手段を含む。

一般的に、ホストＰＣに接続されるプロジェクタ手段は、ホストＰＣのプログラム動作からとられた画像（image）を投影するために使用される。その後、入力と、動きとの間の相互作用は、インタラクティブホワイトボードペンを使用させ、および、ＰＣは、インタラクティブホワイトボード自体と、ＰＣとの間の接続を介して伝導される。このような接続は、直接的なケーブル、および、ワイヤレスコミュニケーション手段を含むことができる。

インタラクティブホワイトボードの特別な構造、および、表面は、最後にインタラクティブホワイトボードペンの相対的運動と、デディケートされたホストパソコン（「ＰＣ」）上で制御され、またはアクティブにされる関係関数（associated functions）との間のリンクを提供する。

このようなタッチ表面を有するポインタコンタクトは、検出されて、および、コンタクトされるタッチ表面のエリアに従い対応する出力を生成するために使用される。それは、最先端技術のインタラクティブホワイトボードシステムの機能性に特性を与え、および、本質的にそれらの物理的な、および、機能的な制限を命令するこの表面ベースの調整検出技術（this surface based coordinate-detecting technology）である。

このような最先端技術のインタラクティブホワイトボード表面は、一般的に、ホワイトボードの表面上のインタラクティブホワイトボードペンのコンタクトの相対位置を特定するために、アナログ電気抵抗、電磁気、容量性、音響、または、機械視覚特性を利用する。その後、必要とされる位置情報は、ホストＰＣに伝えられ、このことにより、ホストＰＣからインタラクティブホワイトボードへと投影される画像と、インタラクティブホワイトボードペン（すなわち色、消去容量、個々のアイコンベースの機能などの選択）と関係している機能または複数の機能との間に必要とされる関係を提供する。

その結果として、最先端技術のシステムにおいて使用される利用できる技術のために、商標ｓｍａｒｔｂｏａｒｄ（登録商標）（ｗｗｗ.ｓｍａｒｔｔｅｃｈ.ｃｏｍを参照）の下で市場に提供されるようなインタラクティブホワイトボードの関連した物理的なディメンションが、約３０ｍｍの厚さに到達することができて、および、加えて、インタラクティブホワイトボード表面上に「電子的に」書き込むときに、デディケートされたインタラクティブホワイトボードペンが異なった色を表すことを要する機能性を提供することを必要とする。

最先端技術のインタラクティブホワイトボードシステムの物理的な制限は、一般的に、固体壁または他の表面（すなわちプレゼンテーションシアターなど）に固定されることを必要とするデディケートされたインタラクティブホワイトボードディスプレイ表面を使用するのに特定の要求と関連し、または、代わりとして、教室間またはオフィス間等を移送するための可動フレームシステムに取り付けられる。

その結果として、それらのまさしくその性質によって、このようなシステムは、そこにおいて、具備されるポインタ検出技術と関係している重量、および、物理的寸法のために容易に移動可能でないか、または、移送可能でない。

最先端技術のインタラクティブホワイトボードシステムによって明白な他の制限は、下にあるポインタ検出装置を具備している表面ベースのセンシング技術の厚さ、および、非透過性質のために、ホワイトボードの表面への画像を投影するようにフロント照明ベースの方法を使用する要件と関連づける。この制限は、このことにより、システムを使用するそれらによってインタラクティブホワイトボード表面上へ投影された画像全体に投じられているシャドウの可能性を導く。

筆跡が手の動きを転写する特別なペンを介してコンピュータにおいてデジタル的に貯蔵されることができることが（通常自動転写と呼ばれている）、公知技術である。結果として２つのメインアプリケーション、すなわち、手書き文字認識、および、アーカイビングに対する処理のためコンピュータ内へ画像を転送する。

この機能性は、保持し、書き込み、および、ポインティングするペン手段（以下にて「電子ペン（electronic pens）」と称する）で具備される効果的な技術を使用して、現在達成される。そこにおいて、電子ペンチップ（tip）の移動は検出されて、および、したがって、測定される。ペンの動きを検出し、測定する最先端技術の「電子ペン」を利用した効果的な技術は、機械的なアクセロメータ、ジャイロスコープ、および、光学パターン認識装置、および、超音波振動子を含むが、これに限定されるものではない。そして、全てが電子ペン、および、一般的に前記ペンのチップの移動を検出するように構成された。

筆跡の自動的認識、および、コンピュータベースの記憶装置（storage）のために使用される最も共通の技術は、視覚ベースのセンサ、および、「デジタル紙」として一般的に公知技術の紙を備えている特別なペンを使用する。その表面は、位置コード化パターニングによってカバーされ（以下に「ＰＣＰ（position coded pattern）」と称する）、それは紙の独特なそれぞれの（ｘ、ｙ）位置を提供することができる。このような視覚ベースのセンサ、および、プロセッサを備えている電子ペンが、このような紙上を通過するときに、プロセッサ手段は、紙上のパターンの撮影画像（captured image）を復号化（decode）するために利用され、そして、その後、補助システムが結果としての座標を決定するか、無線又は有線接続を介してコンピュータへのデータ伝送を介してそれらを電子文書の特定の位置に移送する。

表面から視覚ベースのパターンのコード化された媒体の取り込み、および、処理を容易にする「ペン」に似ているコンピューティング装置の使用は、ワングその他（Wang et al）（米国特許ＵＳ2004／０１４０９６４ Ａ1 名称「表面アプリケーションのための汎用コンピューティング装置」、米国一部継続出願ＵＳ特許出願番号１０／２４８、４１７、続いて、許可された米国７００９，５９４ Ｂ2 名称「汎用コンピューティング装置」）にさまざまに記載されている。

ワングその他は、このようなペン（「電子的インク」の技術として呼ばれる）で最適に視覚パターンのコード化された媒体表面上、例えば特別に適合するホワイトボード上に作られるストロークの筆跡を取り込むように設計されたペンに似ている携帯コンピューティング装置の使用を記載する。そして、その後、テキストまたはグラフィックベースの文書を作成するかまたは更新するためにＰＣベースのデバイスに前記「電子的インク」ストロークの無線通信を容易にし、および、同上を前記保存された文書に集積化する。

ワングその他の本発明は、コンピュータファイル（すなわちＭｉｃｒｏｓｏｆｔ Ｗｏｒｄ、ＣＡＤ図面など）において保持されるテキスト、および、線図の電子的作成、および、補正を、ペンが動かされる「ページ」またはホワイトボードの表面上の視覚的にコード化されたパターンの使用を介して、電子ページ上のその真の位置に関してその物理的な参照情報を取得する「電子的インク」ペンの使用に基づいて、提供する。

ワングその他に記載されている本発明の「テキスト、および、図面」ベースの補正機能性の更なる証拠は、ペンチップの幅、使用される色、および、電子的インク消しゴムの提供を特定するシステムの能力に関する参照（リファレンス）で支えられる。

ワングその他に記載されている本発明によって対象にされない主要な課題は、ホストＰＣ上で作動する何らかのアプリケーションの実際の可視表現による手書き「電子ペン」のストローク、および、入力の統合化（インテグレーション）に関連する。この事実は、ワングその他の参照による範囲外で生じており、そして、このようなペンの動きを追うために、コード化されたメディアの使用は従来のホワイトボードを越えるところに存在する。そこは、ホストＰＣのスクリーン上に、ホワイトボード上への表示された何らかの形状または表現のリアルタイムプロジェクションを目的とする関連した参照ではない。

多数の視覚的なベースの位置コード化パターンは、このような「デジタル紙」ベースのアプリケーションために、提案され、ＷＯ０１／２６０３２に見付けることができる１つの実施例である。それは、しかしながら、位置のコード化パターンの多くの他のタイプ、および、形状は、本発明のために利用することができ、その全ては、ここで記載され意図された本発明の権利範囲（スコープ）、および、機能性の範囲内に存在することに留意するべきである。

Ｌｙｎｇｇａａｒｄの米国特許出願番号７，２０２，８６１ Ｂ2は、いわゆる「インテリジェントホーム」（すなわちコンピュータ制御の加熱、点燈、テレビなど）の中でマイクロプロセッサベースのユニットを制御するために使用されるグラフィックインターフェースシステムを記載する。ここにおいて、個々のユニットのリモート制御は、ハンドヘルドの「ペン状」センサの相互作用を介して提供され、それは、一体のマイクロプロセッサを具備している視覚捕捉デバイスと、ＰＣ型ディスプレイスクリーンからユニットのグラフィック表現をポイントし、選択するのに使用されるセンサと、位置コード化パターンを具備しているスクリーンによるセンサによって、独自に識別可能な個々のユニットのグラフィック表現の識別とを具備する。

しかしながら、Ｌｙｎｇｇａａｒｄによって提供するようにディスプレイスクリーン上に位置のコード化パターンの特定のエリアの関連を介して制御タスクの視覚ベースの選択の使用は、プレゼンテーションを作成するためにホワイトボードのコンテキストに用いられる必要とされる機能性を提供しない。ここで後述する本発明によって提供される新規な、および、発明の解に必要とされる機能性は、「電子的読み取りペン」（すなわちコンピュータマウスなどの方法でアプリケーション、および、プログラムを変更すること）の使用を介して、ＰＣベースのコマンド機能を制御することと、前記ペンの走り書きの動きの位置の識別の提供および取り込みとの両方の能力を含まなければならない。

ワングその他、および、Ｌｙｎｇｇａａｒｄによって提供されるこのような最先端技術のシステムは、それらが対象にする個々の目的に対して適切であることができる反面、どちらの開示も、タッチにセンシティブなインタラクティブホワイトボード表面上に表示されない投影画像（projected images）上の「電子的読み取りペン」の特定の位置の間の適切な相互作用を提供する技術的問題に解を提供しない。

従来の技術にて現状存在する従来のホワイトボード、インタラクティブホワイトボード、および、補助システムの周知の型において本来の前述の不利な点からみて、ここで記載されている本発明は、いかなる表面上へも投影されるホストＰＣからの画像を介してホストＰＣと相互に作用するために電子的読み取りペンを利用する新規なインタラクティブホワイトボードシステムを提供する。前記表面は、映像に関する電子的読み取りペンの位置に関する特定の位置、および、関連したホストＰＣの機能情報を提供するように、位置のコード化パターンを具備する。

本発明の一般の目的は、引き続きより詳細に記載され、ここで記載されている利点の多く、および、多くの新規な形態を有する新しいインタラクティブホワイトボードシステムを提供する。それは、いずれの従来の技術対話型ディスプレイによっても、単独または何らかの組合せのどちらであっても、予想も、明確に提供も、提案も、暗示さえもされない、新しいインタラクティブホワイトボードシステムを結実させるものである。

ここで請求される本発明の第１の態様によれば、プロセッサによって提供されるインタラクティブプロジェクションディスプレイシステムを制御する方法は提供される。そしてそれは、位置コード化パターン表面技術と連動する電子的読み取りペン手段の使用を具備する。

ここで記載されている本発明は、ユーザに位置コード化パターン（ＰＣＰ）を具備している何らかの表面上へ投影されるホストコンピュータスクリーンの画像を見ることができ、そして、その後、さまざまな機能、および、利用できるプログラムによって、前記画像が投影されるＰＣＰ表面上のタッチスクリーン装置の手法で前記ペンを用いて「電子的読み取りペン」の使用を介してホストコンピュータに相互に作用する。

したがって、本発明を利用することによって、ＰＣＰ表面上へホストＰＣから投影されるデスクトップアイコンは、その後「電子的読み取りペン」を用いて選ばれることができ、コンピュータスクリーン上のアイコンと関係している個々の機能またはプログラムは、選ばれることができ、最後に、アクティブにされることができる。この新規な機能性を利用することによって、コンピュータアプリケーションの多数は、開かれることができて、および、ＰＣＰを具備している何らかの表面を有する電子的読み取りペン手段の相互作用を介して操作されることができる。

パソコンのアプリケーションソフトウェアは、電子ペンから、したがって、ＰＣＰディスプレイ表面上の電子的読み取りペンをポイントし、および／または、タッチするアクションから受信される入力に従って翻訳（interpret）し、操作を実行するように、設計されている。ホストパソコンは、オープンしメニューを表示し、プログラムをアクティブにし、アイコンをドラッグし、書き込みをし、実行し、ソフトウェアを操作し相互に作用することを含むがこれに限られないその操作上の機能の全てを実行するように制御されることができる。

これを達成するために、本発明は、一般的に、電子的読み取りペンと、表面、例えば壁、板、ホワイトボードまたはスクリーン手段上へ固定的にまたは解放可能に取り付けられることができるＰＣＰ（位置コード化パターン：position coded pattern）映写面とを具備する。電子的読み取りペンは、一般的には、他の機能要素、および、実施形態に関連する位置復号化デバイス（position decoding device）と、使用されるＰＣＰを認識することが可能なＣＣＤデバイスのようなカメラ手段または他の何らかの視覚認識手段と、映写面が結合ヘッドから有限距離であるときに、ペンヘッドの下のＰＣＰを翻訳する（interpreting）ことが可能な埋込み型プロセッサとを備えている。

ＰＣＰ表面は、印刷パターンにコード化される独特な位置について情報伝達することが可能な最適に耐久性があるプロジェクション材料から成る。そして、その認識、翻訳、処理、および、引き続きホストＰＣへの伝達が、電子的読み取りペンを搭載するシステムによって通常実行される。

したがって、ＰＣＰディスプレイ表面上の、若しくは、表面の上方の電子ペンの実際のチップ位置は、本発明に係る電子記録ペンによって決められることができる。前記チップの相対的な（ｘ,ｙ）座標は、このことによりホストコンピュータ上の表示画像を参照して決められることができる。そして、その後、電子的読み取りペンは、前記ホストコンピュータによって提供される投影画像と相互作用するように使用されることができる。

ＰＣＰ表面からペンチップ位置を取得するために、ペンチップが前記表面をタッチするときに、このような事象はペンヘッドの赤外線電荷結合デバイス（ＣＣＤ）カメラのような特別な感知装置がＰＣＰ表面を、次の翻訳のために、読み込むことを可能にすることが、理解される。

一般的に、本発明に係る電子記録ペンは、パターンそれ自身内に埋められた所定の（ｘ、ｙ）座標のセット決めるように、ＰＣＰ表面パターンに含まれる情報を復号化するために、リアルタイムプロセッサを備えている。

その後、リアルタイムプロセッサは、無線通信等を介してプロジェクタに通常取り付けられるホストＰＣに送信される（ｘ、ｙ）座標を復号化（decode）するために、同時に機能する。

本発明に係るインタラクティブホワイトボードシステムを操作するときに、投影画像をホストＰＣに表示される画像のそれと調整、および、較正することを容易にするために、ユーザは、一般的に、ＰＣＰディスプレイ表面上の所定のポイントに電子記録ペンでポイントし、および、タッチすることを必要とする。これらのアクションは、投影画像のディメンション、および、スケールが、関連したホストＰＣスクリーン上の画像に比例して、および、このことによりホストＰＣインターフェースプログラムに電子記録ペンによって理解されることを確実にするためにホストＰＣ上の画像のそれとＰＣＰディスプレイ表面に投影されるイメージとの相対座標の較正を提供する。

適当な較正の後、電子記録ｐｅｎ―ｔｏ―ＰＣＰシステムオペレーションは、ホストＰＣディスプレイスクリーン上のマウスカーソルのそれと同じであるように表面上に投影された表示の電子記録ペンチップ（ｐｅｎ―ｔｉｐ）位置としての正確な位置を示す。

本発明は、位置による従来技術の自動転写技術を利用するものである。そこにおいて、この技術は本来ペンの動きを追跡する目的で開発されたものであり、明らかに、異なる目的のために位置情報を伝えることを利用するものではない。全く異なり、不測のコンテキストの位置情報を利用し、このことにより、関連した技術に対して新規なアプリケーションを提供することは、本発明の主要な態様である。

本発明の更に他の実施形態によれば、適切なプロジェクション基板（substrate）上に位置コード化パターンをプリントすることによって作成されることができるインタラクティブプロジェクションシステムは、提供される。

本発明の目的は、ＰＣＰ映写面位置（projection surface locations）を電子的読み取りペンでインタラクティブエリアに変換する（transforming）ためのインタラクティブプロジェクションシステムを提供することである。

別の目的は、プロジェクタと連動して作動するインタラクティブ映写面を提供するインタラクティブプロジェクションシステムを提供することである。

本発明の目的は、通常の広いフォーマットプリンタまたはその他のプリント設備によって容易に製造される映写面を有するインタラクティブプロジェクションシステムを提供することである。

本発明の目的は、電子的読み取りペンを介してリアルタイム無線位置データのストリーミングを利用するインタラクティブプロジェクションシステムを提供することである。

別の目的は、表面／ディスプレイスクリーンのさまざまなサイズ、スタイル、および、型（タイプ）をインタラクティブ正面（facades）に変換することが可能であるインタラクティブプロジェクションシステムを提供することである。

本発明の別の目的は、前もって割り当てられていたホストＰＣ上の機能であるＰＣＰ表示手段から分離するＰＣＰ媒体の使用を介して、コンピュータアプリケーションにアクセスするように使用されることができる物理的なショートカットを使用するインタラクティブプロジェクションシステムを提供することである。

別の目的は、最先端技術のインタラクティブホワイトボードディスプレイシステムに比較して軽量で、ポータブルで、コンパクトであるインタラクティブプロジェクションシステムを提供することである。

別の目的は、透明なＰＣＰ基板を利用する可能性によるリヤプロジェクション照明と干渉しないインタラクティブプロジェクションシステムを提供することである。

別の目的は、透明なＰＣＰ表面およびＵＶのような不可視のパターンまたは他の不可視のインクタイプを使用するインタラクティブタッチスクリーンを提供することである。

別の目的は、その表面上にＰＣＰを有し、および、電子的読み取りペンと機能する普通サイズのマウスパッドだけを具備される無線マウスパッドを提供することである。

別の目的は、ステッカーロールとして、または、剛性映写面として利用されることができ、および、剥離可能な接触媒質、例えば粘着テープまたは接着剤、磁石、固定面、例えばＶｅｌｃｒｏ（登録商標）などによって提供することができるインタラクティブプロジェクションシステムを提供することである。

別の目的は、軽量であるインタラクティブプロジェクションシステムを提供することである。本発明の他の目的および利点は、読者にとって明らかになり、および、これらの目的および利点が本発明の範囲内であることを意図される。

適当な構成、および、変更態様によって、本発明の好ましい実施態様を記載することで、より明白にされ、ＰＣＰ技術に基づく新規なインタラクティブホワイトボードは、従来の技術デバイスの全ての利点を具備して、および、あらかじめ言及される周知の不利な点、および、制限から解き放される。

これらの点において、本発明によるインタラクティブディスプレイシステムは実質的に従来の概念および、従来技術のデザインから離れ、特別な映写面上のコンピュータ投影画像、および、電子的読み取りペンと相互に作用するために主に開発される装置を提供する。

上記の、および、関連した目的の成果として、本発明が添付の図面に示される形状において実施されることができるが、しかしながら、その図面は単に図示するだけで、示された特定の構造において変更がなされることができるという事実に留意する。

ここで、その詳細な説明がよりよく理解されることができるために、および、技術に対する本願の寄与がよりよく理解されることができるために、より重要な本発明の特徴は、概説がされたものであり、むしろ概論されたものである。

以下において、記載される本発明の追加の特徴がある。それは、実質的に本願明細書に示される本発明が必要とされる対話性（interactivity）を達成するために使用された技術から逸脱する点に留意する必要がある。

本発明は、次の明細書において説明される、または、図面において示される構造の詳細に、および、構成部分の配置によって、そのアプリケーションが制限されないことは、理解されることになっている。本発明は、他の実施形態で、および、熟練していることで可能であり、および、さまざまな方法で実行される。また、ここで使用される語、および、技術用語が明細書のためであって、および、制限するものとして考えられるべきでないことは、理解されることになっている。同様に、よりよく理解されるように、添付の図面とともに考慮されるときに、本発明のさまざまな他の目的、形態、および、効果は完全に理解される。参照符号がいくつかの図の全体を通して、同じであるか類似の部分を示すように附される。

インタラクティブホワイトボードの概念の説明的なダイアグラムである インタラクティブホワイトボードの作業を示しているワークフローダイアグラムである。 反射投影（front projection）モードの教室作業セットアップの本発明の側面図である。 反射投影モードの教室作業セットアップの本発明の正面図である。 リヤプロジェクションモードの本発明の側面図である。 リヤプロジェクションモードの本発明の正面図である。 反射投影モードにおいて使用されるＰＣＰ表面のプロジェクション層の二分、および、正面の透視図である。 リヤプロジェクションモードにおいて使用されるＰＣＰ表面のプロジェクション層の二分、および、正面の透視図である。 本発明において特徴としたＰＣＰインタラクティブホワイトボードのステッカーロールバージョンである。 本発明の可能なパッケージング構成である。 本発明において利用されることができる異なるパターン型のセットの図である。 電子的読み取りペンのメインのコンポーネントを示すダイアグラムである。 電子的読み取りペンの全てのコンポーネントの内部解剖を示している本発明の分解図である。 本発明のリダクションに使われた実際の電子的読み取りペンセットの実際の写真である。 本発明の実際のリダクションに使用されたサンプルソフトウェアドライバを示しているコンピュータデスクトップのスナップショットである。 本発明の作業において使用された一組のさまざまな物理的なショートカットである。 物理的なショートカット上のアクション中のペンを示す図である。 絵、および、描画パレットの物理的なショートカットである。 可動ＰＣＰマウスパッドを示す図である。 ＰＣＰプリントされたキーボードの物理的なショートカットである。 ペンノズルから取り外されたペン取り外し可能スタイラスヘッドを示す図である。 ２つのペンヘッドを示し、ステンレススタイラスであるペンヘッド１、および、インクカートリッジボールペンであるペンヘッド２である。 アクションにおける本発明のＰＣＰ表面である。 読み取り電子ペンを有する本発明にて書き込んでいるユーザを示す図である。

本発明の好ましい実施態様において、ディスプレイスクリーンからＰＣＰ読み取りが可能なＰＣＰ映写面、および、電子的読み取りペンを具備するインタラクティブディスプレイシステムは、提供される。

プロジェクタがスクリーンから間隔をおいて配置される適切な距離で配置されるときに、映写面はプロジェクタ画像を示すことが可能な適切なプロジェクション材料を具備する。

電子的読み取りペンには、ＰＣＰの詳細を７０フレーム／秒まで取り込むことができるＣＣＤ赤外線カメラを具備する。その後、電子的読み取りペンはパターン画像情報を復号化するペン内部の復号化プロセッサに画像ショットを渡すことが可能であり、および、ペンカメラがパターンから観測している画像に関連する（０、０）参照なしで絶対（ｘ、ｙ）位置データを出力する。

本発明に係る反射投影インタラクティブホワイトボードディスプレイシステムを使用するときに、典型的なセットアップは図３．０で示される。このようなセットアップは、一般的に、ディスプレイプロセスを制御し、アプリケーションを操作するためのホストＰＣを具備し、ホストＰＣからＰＣＰコード化ディスプレイスクリーンへと画像を投影するための正面（front）のプロジェクタは、電子的読み取りペンを使用して相互に作用するのに使用される。

同様に、図４．０に示すようにリヤプロジェクションセットアップを採用するときに、プロジェクタは、半透明なＰＣＰコード化のプリントされた表面のうしろに位置づけられる。リヤプロジェクションベースの画面のセットアップを利用するときに、リヤプロジェクションフィルム映写機（プロジェクタ）などは公知技術であり、反射鏡の使用を介して画像を投影する。あらかじめ、最先端技術のインタラクティブディスプレイシステムを利用するときに、電子ペンと、本質的に不透明であるタッチベースのセンシング技術を介して制御されるホワイトボードとの間の相互作用の要求に対して、このようなシステムは可能でなかった。

リヤプロジェクションセットアップと組み合わされて本発明を使用することは、ユーザの経験にとって、インタラクティブホワイトボードディスプレイの機能性が付加された利点で利用されることができるという事実による独特な利点を提供する。それは、ユーザは正面の位置のプロジェクタから通常到着しているスクリーン上への画像を投影している投影入射光と干渉され得るからである。

ＰＣＰ表面の構造の実施例は、図５Ａに示される。ダイアグラムは、支持基板（supporting substrate）を提供するベース層、ＰＣＰ表面を乗せている中間の層、および、アセンブリのための保護層を提供する上部または正面の層の３枚の層で構成される組成を示す。

リアＰＣＰ表面の類似の配置が図5Ｂに示され、その支持基板が半透明の表面材料上へプリントされたＰＣＰ表面を有する周縁フレームまたは透明な剛体面であることが異なっている。

筆記面は、選ばれた表面への単なる付着である、その底面のｓｔｉｃｋｅｒ―ｌｉｋｅな、自動接着性、または、磁気特性によって提供されることができる密着紙のような基板（contact paper-like substrate）の形であり得るが、しかし、それに制限されるものではない。

電子的読み取りペンチップ（すなわちセンサ）は、ペンチップが実際は前記表面と接触することを確認して、そして、それゆえに、ＰＣＰディスプレイ表面からそれぞれの（ｘ、ｙ）座標の読み取り、保存、および、処理を開始するように圧力感応（pressure sensitive）でありえる。

実質的にリアルタイムにペンチップの位置を復号化することによって、ディスプレイ表面に接触している可動電子的読み取りペンチップは、ＰＣＰ表面上の瞬間のペンチップ位置を表す座標（ｘ、ｙ）のシーケンスを生成する。典型的なインタラクティブコンピュータマウスとして作動しているペンの効果で、読み込まれた座標は、その後ホストＰＣにリアルタイムで渡される。

このような電子的読み取りペンが、「ダブルクリック」、「左、右クリック」のような制御信号を送るように構成されることができるように、このようなコマンドは、ペン本体のサイドに沿ったボタンから、または、代わって、ペンチップに集積化される適切なセンサによって受けられ、処理される検知信号をダブルクリックすることによって開始されることができる。

このようなコマンドは、それゆえに、標準のコンピュータマウスを用いて対応されるのと同一の方法でホストＰＣ上のコンピュータアプリケーションの制御に使われることができる。

本発明の別の実施形態において、電子的読み取りペンは、音声入力を取り込んで、および、前記ホストＰＣに有線、または、無線手段によって前記音声入力を伝えるように設計されている。そこにおいて、前記音声入力は、コンピュータープログラム、例えばワードプロセッシングアプリケーション等に関係した入力またはコマンドとしてホストＰＣによって処理されることができ、および、認識されることができる。したがって、ユーザは、ワード、レターまたはコマンドを入力してホストＰＣ上で動作しているアプリケーションと相互作用するために、電子的読み取りペンを利用することができる。スクリーン、表示手段、筆記面および／または他の表面等に表示される前記ワードレターまたはコマンドは本発明に係り、利用されるものである。別の形態として、取り込まれた音声入力は、プロセッサ手段によって処理されることができ、または、電子的読み取りペンに接続されることができ、そして、その後、前記ホストＰＣに伝えられることができる。

ししたがって、このような電子的読み取りペンは、センシティブなマイクロホン、および、ワイヤレスインターネットアダプタ（ＩＥＥＥ ８０２．１１ａ／ｂまたはｇ、ＷｉＦｉとして知られている）を備えることができる。それは、それにインストールされるいくつかの個々のソフトウェアによって、ペンが使用可能であり、周知のボイスオーバオーインターネットプロトコル（ＶｏＩＰ：）技術を使用して、ペンのメモリ内に音声を保存することを必要とすることなくリアルタイムの口頭の音声を転送する。

実際のコンピュータスクリーンスケールと位置コード化パターン（ＰＣＰ）ディスプレイスクリーンの較正に適合させることは、保証されなければならない。なぜなら電子的読み取りペンから受信される入力が、ペンのチップがＰＣＰ表面上の特定の位置でポイントするときに（すなわち保存ボタン上のダブルクリックをいう）、前記コンピュータアプリケーションスクリーン上の関心領域にポイントするために開始されるアクションに適合させるコマンドとして翻訳されるからである。

較正コマンドは、ＰＣＰスクリーン上に投影されているアプリケーション上の重畳回線されたペンチップの意図されたそれぞれの位置で行われる。そして、それ故、コマンドアクションに実際に実行される。

図８、および、図９は、本発明に係るシステムの２つの基本となる構成要件を示す、すなわち、；
1 映写面にプリントされた位置コード化パターンと、
2 電子的読み取りペンと、である。

図８-１において、最先端技術のＰＣＰは、本発明の実施化（reduction to practice）において利用された。パターンは、パターン内に配置される小さい点を具備し、それは、所定のアルゴリズム的テーマに従い、図８-２に示すように、復号化されるときに、（ｘ、ｙ）座標の絶対位置に関する独特な情報を表す。

何らかのディスプレイ表面上にプリントされるかまたは堆積することが可能な他のＰＣＰパターンは、本発明によって容易に使用され、含むことができ、しかし、図８．３、および、図８．４で示されるＸｅｒｏｘデータグリフパターンに限定されず、および、最近のパターンは、図８．５、および、図８．６で示されるマイクロソフトに属する。

このような位置コーディングパターン系統は、一般的に、パターンが塗布されることになっているかまたはプリントされることになっている表面の上の位置情報を復号化する方法でパターンを生成することができ、分配することができるアルゴリズムを有する同じ原則に従う。

ＰＣＰ符号化情報を復号化するために使用されるプロセスに関しては、図９-１は、Ａｎｏｔｏによって作成される読み取りペンの実施例を示す。この電子的読み取りペンは、ＡｎｏｔｏのＰＣＰパターンに埋められるコード化された位置情報を復号化する機能を有する。この機能を実行するために、ペンは、ある意味でペンの目、および、脳として機能する２つの鍵となる機能原則を具備する。２つの機能は、ＰＣＰのドットパターンを読み込む赤外線ＣＣＤカメラの使用、および、このカメラによって読み込まれている画像を復号化するプロセッサを介して達成される。

無線伝送を介してコンピュータに、復号化（ｘ、ｙ）位置情報は、リアルタイム（すなわち同時に復号化される）で送られる。

図９-２は、Ａｎｏｔｏの互換性がある電子的読み取りペン、すなわち、ＤＰ-２０１ Ｒ ４．１ストリーミングペンの半分分解図を示す。

図１０Ａは、類似の電子的読み取りペン、例えばＭａｘｅｌｌまたはＬｏｇｉｔｅｃｈによって作成されるそれらを示す。そして、それは、圧力感応ペンチップ、保存メモリーチップ、ユーザに物理的な振動フィードバックを提供するためのバイブレータ、無線データ伝送、および、レセプションのためのブルートゥースアンテナを含む付加的な機能的コンポーネントを支持する。

図１０Ｂにおいて、Ｍａｘｅｌｌ ＤＰ-２０１のＲ ４．１と関係しているドライバソフトウェアは、示される。ブルートゥースを介して電子的読み取りペンに接続を可能にするように、ＳＰＰブルートゥースサービスのための読み取りポートを含む（図10Ｂ.1に示す）。加えて、ドライバは、較正、スクリーン上の読み取り、および、モードスイッチングのような実行機能のためのタスクバーを含む（図10Ｂ.2に示す）。

本発明の独特な実施形態は、図11Ａ、Ｃ、Ｄに示される物理的なショートカット仮想ボタンである。これらは、紙にプリントされるＰＣＰまたは何らかの適切な表面の小さいエリアを利用することによって、その上にプリントされる所望のサムネイル画像で提供される。

ドライバソフトウェアは、電子的読み取りペンを使用して選ばれる（すなわち、クリックすることによって）ときに、それらをアプリケーション内部の特殊関数に、または、全体のアプリケーションを実行するようにリンクするこれらの物理的なショートカットとして、プログラミングによって割り当てられる絶対アドレスを認識するように構成される。

図11Ｃは、広いＰＣＰ表面または他のいかなる表面にも投影されるＰＣスクリーンを遠隔制御するために使用することができるマウスパッドを示す。図11Ｄにおいて、ホストＰＣベースのプログラム、および、マイクロソフトのようなアプリケーションの色にブラシをかける一組の物理的なショートカットとしてカラーパレットはデザインされている。

図11Ｂは、ユーザによって規定された物理的なショートカット上の操作の間に、ペンが動作中であることを示すＭａｘｅｌｌ ＤＰ-２０１ Ｒ4.1 電子的読み取りペン上のストリーミング「データ送信」の光点滅を示す。

図11Ａ、Ｂにいて、本発明の好ましい実施態様は、壁に固定されて示され、ホストＰＣを動作しているプログラムＳｍａｒｔ（登録商標）Ｎｏｔｅｂｏｏｋを使用してＰＣＰ表面上に電子的読み取りペンで書き込まれるワード「位置コード化パターン（position coded pattern）」を示す。

物理的なショートカットの概念に対する付加的な、および、重要な延長は、２つをハイパーリンクすることによって、実数物理エンティティをサイバースペースアイテムと関連づけている。これは、図１２に示されるプリントされたキーボードとして示される。

ここで記載した各種実施形態が追加された本発明の使用、および、操作の方法に関する更なる議論については、同じことは、前記説明から明瞭であるべきである。

本発明の部分としてその最適ディメンションの関係、サイズ、材料、形状、形態、操作の機能および方法、アセンブリ、および、使用の変更を含むことは、当業者に直ちに明らかであり、直ちに明らかであり、および、当業者にとって明白にりかいされると考えられる。および、図面において示されて、および、明細書に記載されているそれらに対する全ての同等の関係は本発明によって包含されることを意図される。

それゆえに、本発明の原則だけを示すように、前述の明細書、および、好ましい実施態様は解釈されるべきである。多数の変更態様、および、変化が当業者に容易になされるという理由から、更に、ここで請求される本発明は、図と共に記載される正確な構造および作動に制限されないかまたは拘束されるというわけでなく、および、したがって、全ての適切な変更態様、および、本発明の範囲内であるような均等物は、訴えられることができ、そのように解釈される。

Claims (21)

1. プロセッサ手段によって作成される画像が投影されることができる表面であって、この表面が光学的に識別可能なパターンまたは装飾を備えており、前記パターンまたは装飾が前記表面の位置に関して独特な位置参照情報および／または制御情報を提供することが可能なコード化された特徴を有するものである前記表面と；
   センサ手段であって、前記表面上の前記光学的に識別可能な前記パターンまたは装飾に関するその位置に関係する前記独特な位置参照および／または制御情報を取り込むように構成されており、前記それぞれの位置参照情報をプロセッサ手段に伝送する前記センサ手段と；
   プロセッサ手段であって、前記センサ手段から前記位置参照および／または制御情報を受けるように操作可能である前記プロセッサ手段と；を具備し、
   前記プロセッサ手段は、前記プロセッサ手段で操作可能な少なくとも１つのコンピュータープログラムに関する機能を有する前記位置参照および／または制御情報に対応するように操作可能である、インタラクティブディスプレイデバイスを制御する装置。
2. 前記表面は、投影された画像を表示するように構成される表面を実質的に具備する請求項１に記載された装置。
3. 前記表面は、実質的にフレキシブルである請求項１または２に記載の装置。
4. 前記表面は、実質的に透明である請求項１〜３のいずれか１項に記載の装置。
5. リヤプロジェクションディスプレイスクリーンを具備している請求項１〜４のいずれか１項に記載の装置。
6. 前記表面は、前記プロセッサ手段と関係しているプログラムまたはアプリケーションの使用のために、ＰＣＰコード化された制御コマンドを表している１つ以上の画像を具備する請求項１〜５のいずれか１項に記載の装置。
7. 前記表面は、自動接着性のバックを具備する請求項１〜６のいずれか１項に記載の装置。
8. 前記表面は、別の表面に解放可能で取り付け可能である請求項１〜７のいずれか１項に記載の装置。
9. 前記センサ手段は、電荷結合デバイスを具備する請求項１〜８のいずれか１項に記載の装置。
10. 前記センサ手段は、プロセッサ手段を具備する請求項１〜９のいずれか１項に記載の装置。
11. 前記センサ手段は、音声受信機手段、および、取り込まれた音声情報を前記プロセッサ手段に伝送する手段を具備する請求項１〜８のいずれか１項に記載の装置。
12. コンピュータープログラムは、インタラクティブディスプレイデバイスを制御するコンピュータ読み取り可能なメディアに保存されるコンピュータプログラムのプロダクトであって、
    インタラクティブディスプレイデバイスを制御する命令を具備し、
    前記命令は、
    ディスプレイ表面にセンサデバイスの位置に関する位置参照および／または制御情報の形で少なくとも１つの入力をプロセッサに受けさせ、前記ディスプレイ表面が前記プロセッサによって制御された画像が表示される光学的に識別可能なパターンまたは装飾を備えている、命令と；
    こうして受けられた前記少なくとも１つの位置参照および／または制御入力に基づく特定のプロセッサアクション、または、機能を実行する命令とを備えている、コンピュータプログラムのプロダクト。
13. 請求項１〜１１のいずれか１項に記載の装置を使用することを具備するインタラクティブディスプレイデバイスを制御する方法。
14. プロセッサ手段によって生成される画像が投影されることができるディスプレイ表面に関するセンサ手段の位置に関係する位置参照および／または制御情報を検出する工程であって、前記ディスプレイ表面が光学的に識別可能なパターンまたは装飾を備え、前記パターンまたは装飾が前記ディスプレイ表面の位置に関して独特な位置参照情報を提供することが可能なコード化された特徴を有している、検出する工程と；
    前記センサ手段から前記プロセッサ手段へ前記位置参照および／または制御情報を伝送する工程と；
    前記プロセッサ手段で位置参照および／または制御情報を受ける工程と；を具備し、
    前記プロセッサ手段は、前記位置参照および／または制御情報を受ける操作可能であって、前記プロセッサ手段で操作可能な少なくとも１つのコンピュータープログラムに関する機能と同様に対応する、インタラクティブディスプレイデバイスを制御する方法。
15. 少なくとも１つの入力を伝送し／受ける処理装置と；
    前記処理装置と相互に作用するセンサデバイスと；
    前記処理装置によって制御される画像が表示されることができるディスプレイ表面とを具備するインタラクティブディスプレイデバイスを制御するコンピュータシステム。
16. 前記処理装置は、表示デバイスに接続されている請求項１５に記載のコンピュータシステム。
17. 前記センサは、前記処理装置に無線デバイスを介して情報を伝送し／受ける請求項１５または１６に記載のコンピュータシステム。
18. 前記処理装置は、前記ディスプレイ表面に無線デバイスを介して情報を伝送し／受ける請求項１５〜１７のいずれか１項に記載のコンピュータシステム。
19. 処理装置は、表示デバイスに無線デバイスを介して情報を伝送し／受ける請求項１５〜１８のいずれか１項に記載のコンピュータシステム。
20. 前記伝送し／受けている機能は、リアルタイムに動作する請求項１５〜１９のいずれか１項に記載のコンピュータシステム。
21. 前記センサは、リアルタイムで前記処理装置と相互に作用する請求項１５〜２０のいずれか１項に記載のコンピュータシステム。

Images