JP2004164609A

JP2004164609A - 汎用入力デバイス

Info

Publication number: JP2004164609A
Application number: JP2003342616A
Authority: JP
Inventors: Jian Wang; チアンワン; Chunhui Zhang; チュイホイチャン
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2002-10-31
Filing date: 2003-09-30
Publication date: 2004-06-10
Also published as: CN1499446A; BR0304250A; EP1416423A3; KR101026630B1; US20060109263A1; EP1416423A2; US7009594B2; CN1320506C; KR20040038643A; US20040085286A1

Abstract

【課題】汎用入力デバイスを提供する。
【解決手段】汎用入力デバイスは、その入力デバイスが上部に位置するオブジェクトのエリアの画像を取り込み、取り込まれた画像データを生成するための画像取り込みユニットと、取り込まれた画像データを処理するプロセッサを有する。汎用入力デバイスは、印刷されたドキュメントを含め、様々な異なるコンピューティングプラットフォームに対する共通のユーザインターフェースを提供する。本システムを使用すると、汎用入力デバイスを使用して、様々なコンピューティングデバイスを制御することができ、また手書きの電子インクを取り込み、電子インクが、新しいドキュメントまたは記憶されているドキュメントに関連付けられるようにすることができる。
【選択図】図２

Description

本発明は、滑らかな電子インクを生成するためのコンピュータ入力デバイスに関する。より詳細には、本発明は、一般的なユーザインターフェースを提供しながら、多様なプラットフォーム上で使用することができる入力デバイスに関する。

コンピューティングシステムは、人々の生活の仕方を劇的に変化させている。コンピュータの第一波は、法外に高価であり、またビジネス環境においてだけ費用対効果が大きかった。コンピュータがより手頃になるにつれ、職場でも家庭でもパーソナルコンピュータの使用は、とても広く普及し、コンピュータは、オフィスにおける机や家庭における台所用テーブルと同じぐらい一般的になっている。マイクロプロセッサが、テレビジョンおよびその他の娯楽システムにおける使用から自動車の動作を調整するためのデバイスに至るまで、人々の日常生活のすべての態様に組み込まれている。

大型オフィス施設の数フロア全体を占有してデータを超高速処理する装置（ｄａｔａｃｒｕｎｃｈｉｎｇｄｅｖｉｃｅ）からラップトップコンピュータまたはその他の携帯コンピューティングデバイスに至るまでコンピューティングデバイスの進展は、ドキュメントが生成され、情報が記憶される仕方に劇的な影響を及ぼしている。そのような携帯コンピューティングにより、個人が、オフィス以外の場所で、それらのコンピューティングデバイスを使用して手紙をタイプし、覚書の草稿を作成し、メモを取り、画像を作成し、多数の作業を行うことが可能になった。専門化（玄人）も専門化でない人も同様に、自身のコンピューティングの要求をあらゆる場所で満たすデバイスを使用して移動中に、作業を行う能力が与えられている。

通常のコンピュータシステム、特にＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ（登録商標）などのグラフィカルユーザインターフェース（ＧＵＩ）システムを使用するコンピュータシステムは、ユーザ選択を行なうための１つまたは複数のボタンを備えたキーボード（テキスト（文章）を入力するための）やポインティングデバイス（マウスなどの）などの１つまたは複数の個別の入力デバイスからユーザ入力を受け入れるのに適するように最適化されている。

コンピューティング世界の最初の目標の１つは、すべての机上にコンピュータが置かれるようにすることであった。大体において、この目標は、パーソナルコンピュータが事務の仕事場（ｏｆｆｉｃｅｗｏｒｋｐｌａｃｅ）に遍在するようになることによって実現されている。ノートブックコンピュータおよび高機能パーソナルデータアシスタント（ＰＤＡ）の登場で、事務の仕事場は、作業が達せられる様々な従来にはなかった現場を含むように拡張されている。ますます、コンピュータユーザは、自身のコンピューティングデバイスのそれぞれに関する多様なユーザインターフェースの達人にならなければならない。標準のパーソナルコンピュータに対するマウスおよびキーボードのインターフェースから、パーソナルデータアシスタントの簡略化された抵抗式スタイラス（ｒｅｓｉｓｔｉｖｅｓｔｙｌｕｓ）や、さらにはセルラー電話機の最小限のキーに至るまで、ユーザは、基礎的な技術を使用することができる前に、習熟する必要がある様々なユーザインターフェースに直面させられている。

技術の進歩にもかかわらず、ほとんどのユーザは、自身の主な編集ツールとして紙に印刷されたドキュメントを使用する傾向がある。印刷された紙のいくつかの利点には、その読みやすさ、および持ち運びやすさが含まれる。その他の利点には、注釈付きの紙のドキュメントを共用できること、および印刷された紙を容易に記録文書として保管（ａｒｃｈｉｖｅ）できることが含まれる。高性能のコンピューティングシステムと印刷された紙の機能の間の隔たりを埋める１つのユーザインターフェースが、スタイラスベースのユーザインターフェースである。スタイラスベースのユーザインターフェースに関する１つの手法は、（今日のＰＤＡでの一般的な）抵抗技術を使用することである。別の手法は、ノートブックコンピュータ内の能動センサ（アクティブセンサ）を使用することである。コンピューティング世界の次の目標の１つは、コンピュータを操作するためのユーザインターフェースをユーザに取り戻すことである。

スタイラスの使用に関連する欠点は、そのようなデバイスが、センサボードを含むコンピューティングデバイスに結び付いていることである。言い換えれば、スタイラスは、必須のセンサボードと併せて使用された場合にだけ、入力を生成するのに使用することができる。さらに、スタイラスの検出は、感知ボード（センサボード）に対するスタイラスの近接の度合いによって影響を受ける。

当該技術分野において、様々なコンピューティングデバイスのいずれの１つに対しても入力デバイスとして機能することができ、様々な状況において動作することができる携帯コンピューティングデバイスの必要性が存在する。

本発明は、以上に確認した課題の１つまたは複数に対処し、これにより、多様なコンピューティングプラットフォームにわたって共通のユーザインターフェースをユーザに提供する。

本発明の態様は、データが向けられているデバイスとは独立して、電子インクを生成し、かつ／またはその他の入力を生成するための入力デバイスを提供する。この入力デバイスは、ペンの形状に形成することが可能であり、また慣れ親しんだ形で入力デバイスの動きを円滑にするインクカートリッジを含むことも、含まないことも可能である。

本発明の態様の以上の概要、ならびに様々な実施形態の以下の詳細な説明は、添付の図面と併せて読むことでよりよく理解される。添付の図面は、請求する本発明に関する限定としてではなく、例示のために含めている。

本発明の態様は、デスクトップコンピュータまたはノートブックコンピュータを制御すること、ホワイトボード上に書込みを行うこと、ＰＤＡまたはセルラー電話機を制御すること、または以上のプラットフォームのいずれにも移植することができる電子インクを生成することから、様々な異なるコンピューティングプラットフォームにおいて使用することができる入力デバイスに関する。以下の説明は、次のいくつかの項目に分かれている。すなわち、用語、汎用動作環境、汎用ペンおよび汎用カメラ、能動的符号化、受動的符号化、慣性センサ、付加的な構成部品、サンプルとしての実施形態である。

用語
ペン：インクを蓄える能力を含むことも含まないことも可能な任意の書込み用具。一部の例では、インク能力を全く有さないスタイラス（針筆）を本発明の実施形態によるペンとして使用することができる。

カメラ：画像取り込み系
能動的符号化（アクティブコーディング）：適切な処理アルゴリズムを使用して入力デバイスの位置および／または動きを特定する目的で入力デバイスが上部に位置しているオブジェクト（対象）内または表面の符号を取り込むこと。

受動的符号化（パッシブコーディング）：適切な処理アルゴリズムを使用して入力デバイスが上部で動かされるオブジェクトまたは表面から得られた、入力デバイスの動き／位置を検出する目的で取り込まれる符号以外の、画像データを利用して入力デバイスの動き／位置を検出すること。

入力デバイス：情報を生成し、処理するために構成されることが可能な情報を入力するためのデバイス
能動的入力デバイス（アクティブ入力デバイス）：入力デバイス内部に組み込まれたセンサを使用して標識（ｓｉｇｎａｌ）を能動的に測定し、入力デバイスの位置および／または動きを示すデータを生成する入力デバイス。

受動的入力デバイス（パッシブ入力デバイス）：入力デバイス内部以外に組み込まれたセンサを使用して動きが検出される入力デバイス。
コンピューティングデバイス：デスクトップコンピュータ、ラップトップコンピュータ、Ｔａｂｌｅｔ(タブレット) ＰＣ（商標）、パーソナルデータアシスタント、電話機、または入力デバイスを含む情報を処理するように構成された任意のデバイス。

汎用動作環境
図１は、本発明の様々な態様を実施するのに使用することができる汎用デジタルコンピューティング環境の例を示す機能ブロック図である。図１で、コンピュータ１００は、処理ユニット１１０と、システムメモリ１２０と、システムメモリから処理ユニット１１０までを含む様々なシステム構成部品を接続するシステムバス１３０とを含む。システムバス１３０は、様々なバスアーキテクチャの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造の任意のものであることが可能である。システムメモリ１２０は、読取り専用メモリ（ＲＯＭ）１４０およびランダムアクセスメモリ（ＲＡＭ）１５０を含む。

起動中などにコンピュータ１００内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入力／出力システム１６０（ＢＩＯＳ）が、ＲＯＭ１４０の中に記憶されている。また、コンピュータ１００は、ハードディスク（図示せず）に対して読取りおよび書込みを行うためのハードディスクドライブ１７０、取外し可能な磁気ディスク１９０に対して読取りおよび書込みを行うための磁気ディスクドライブ１８０、およびＣＤＲＯＭまたはその他の光媒体などの取外し可能な光ディスク１９２に対して読取りおよび書込みを行うための光ディスクドライブ１９１も含む。ハードディスクドライブ１７０、磁気ディスクドライブ１８０、および光ディスクドライブ１９１は、それぞれ、ハードディスクドライブインターフェース１９２、磁気ディスクドライブインターフェース１９３、および光ディスクドライブインターフェース１９４によってシステムバス１３０に接続される。以上のドライブおよび関連するコンピュータ可読媒体により、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性記憶がパーソナルコンピュータ１００に提供される。磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）などのコンピュータがアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も、例示的な動作環境において使用できることが、当分野の技術者には認められよう。

オペレーティングシステム１９５、１つまたは複数のアプリケーションプログラム１９６、その他のプログラムモジュール１９７、およびプログラムデータ１９８を含め、いくつかのプログラムモジュールが、ハードディスクドライブ１７０、磁気ディスク１９０、光ディスク１９２、ＲＯＭ１４０、またはＲＡＭ１５０に記憶されていることが可能である。ユーザは、キーボード１０１やポインティングデバイス１０２などの入力デバイスを介してコマンドおよび情報をコンピュータ１００に入力することができる。その他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ（衛星放送受信アンテナ）、スキャナ等が含まれることが可能である。以上の入力デバイス、およびその他の入力デバイスは、しばしば、システムバスに接続されたシリアルポートインターフェース１０６を介して処理ユニット１１０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）（ＵＳＢ）などの他のインターフェースで接続してもよい。さらに、以上のデバイスは、適切なインターフェース（図示せず）を介してシステムバス１３０に直接に接続してもよい。また、モニタ１０７、またはその他のタイプの表示デバイスも、ビデオアダプタ１０８などのインターフェースを介してシステムバス１３０に接続される。モニタに加えて、パーソナルコンピュータは、通常、スピーカやプリンタなどのその他の周辺出力デバイス（図示せず）も含む。好ましい実施形態では、ペンデジタイザ１６５および付随するペンまたはスタイラス１６６が、手書きの入力をデジタル式に取り込むために提供される。ペンデジタイザ１６５とシリアルポートの間で直接の接続を示しているが、実際には、ペンデジタイザ１６５は、当技術分野で周知のとおり、パラレルポートまたはその他のインターフェース、およびシステムバス１３０を介して処理ユニット１１０に直接に接続することも可能である。さらに、デジタイザ１６５をモニタ１０７とは別に示しているが、デジタイザ１６５の使用可能な入力エリアは、モニタ１０７の表示エリアと同一の広がりを有することが好ましい。さらに、デジタイザ１６５は、モニタ１０７に組み込むこと、またはモニタに添えられている、または別の仕方で取り付けられる別個のデバイスとして存在することが可能である。

コンピュータ１００は、遠隔コンピュータ１０９などの１つまたは複数の遠隔コンピュータに対する論理接続を使用するネットワーク化された環境において動作することが可能である。遠隔コンピュータ１０９は、サーバ、ルータ、ネットワークＰＣ、ピアデバイス（対等装置）、またはその他の一般的なネットワークノードであることが可能であり、通常、コンピュータ１００に関連して前述した要素の多く、またはすべてを含むが、メモリ記憶デバイス１１１だけを図１に示している。図１に描いた論理接続は、ローカルエリアネットワーク（ＬＡＮ）１１２およびワイドエリアネットワーク（ＷＡＮ）１１３を含む。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータ網、イントラネット（企業内ネットワーク）、およびインターネットにおいて一般的である。

ＬＡＮネットワーキング環境で使用される場合、コンピュータ１００は、ネットワークインターフェースまたはネットワークアダプタ１１４を介してローカルネットワーク１１２に接続される。ＷＡＮネットワーキング環境で使用される場合、パーソナルコンピュータ１００は、通常、インターネットなどのワイドエリアネットワーク１１３を介して通信を確立するためのモデム１１５、またはその他の手段を含む。内部にあることも外部にあることも可能なモデム１１５は、シリアルポートインターフェース１０６を介してシステムバス１３０に接続される。ネットワーク化された環境では、パーソナルコンピュータ１００に関連して描いたプログラムモジュール、またはプログラムモジュールの部分は、遠隔のメモリ記憶デバイスの中に記憶されることが可能である。

図示したネットワーク接続は例示的なものであり、コンピュータ間で通信リンクを確立するための他の技術も使用できることが認められよう。ＴＣＰ／ＩＰ、イーサネット（登録商標）、ＦＴＰ、ＨＴＴＰなどの様々な周知のプロトコルの任意のものの存在が想定されており、またシステムは、ユーザがＷｅｂベースのサーバからＷｅｂページを取り出すことが可能になるように、クライアント−サーバ構成で動作させることが可能である。様々な従来のＷｅｂブラウザの任意のものを使用して、Ｗｅｂページ上のデータの表示および操作を行うことができる。

汎用のペンおよびカメラ
図２は、本発明の様々な態様に従って使用するための入力デバイスの例示的な実施形態を提示している。以下に、いくつかの異なる要素および／またはセンサについて述べる。様々なセンサの組合せを使用して本発明の態様を実施することができる。さらに、磁気センサ、加速度計、ジャイロスコープ、マイクロホン、あるいは表面またはオブジェクト（対象）に対する入力デバイスの位置を検出することが可能な任意のセンサを含む、追加のセンサも含まれることが可能である。図２で、ペン２０１は、インクカートリッジ２０２と、圧力センサ２０３と、カメラ２０４と、誘導素子２０５と、プロセッサ２０６と、メモリ２０７と、トランシーバ２０８と、電源２０９と、ドッキングステーション２１０と、キャップ２１１と、ディスプレイ２１２とを含む。様々な部品が、例えば、図示していないバスを使用して、必要に応じて電気的に接続されることが可能である。ペン２０１は、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、パーソナルデータアシスタント、電話機、または情報を処理し、かつ／または表示することができる任意のデバイスを含む一連のデバイスに対する入力デバイスの役割をすることが可能である。

入力デバイス２０１は、定番のペンと紙の筆記または描画を行うためのインクカートリッジ２０２を含むことが可能である。さらに、ユーザは、ペン特有の仕方で入力デバイスを操作しながら、デバイスを使用して電子インクを生成することが可能である。したがって、インクカートリッジ２０２は、紙の上に手書きのストロークを生成するための快適な慣れ親しんだ媒体を提供する一方、ペンの動きが記録されて、電子インクを生成するのに使用される。インクカートリッジ２０２は、いくつかの周知の技術の任意のものを使用して後退位置から書込み位置に動かすことができる。代替として、インクカートリッジ２０２は、丸い先端部を有するプラスチックカートリッジなどのインクを含まないが、ユーザが、ペンまたは表面に損傷を与えることなく、表面にペンを動かすことを可能にするカートリッジで置き換えることができる。さらに、例えば、スタイラスによって生成される信号と同様の仕方で入力デバイスを示す信号を提供することにより、入力デバイスの相対的な動きを検出するのを助ける誘導素子または誘導素子群も含まれることが可能である。オブジェクト上に位置している間にペンが押圧された際に示されるであろう入力を示すための圧力センサ２０３も含まれ、それは、例えば、マウスボタンの入力を選択することによって達せられるようなオブジェクトの選択または指示を円滑にすることが可能である。代替として、圧力センサ２０３が、生成される電子インクの幅を変化させる際に使用するために、ユーザがペンを使用してストロークを形成する押し下げ力（押圧力）を検出することが可能である。さらに、センサ２０３は、カメラの動作を起動させることが可能である。代替の様式では、カメラ２０４は、圧力センサ２０３の設定とは独立に動作してもよい。

さらに、スイッチとして動作することが可能な圧力センサに加えて、入力デバイスの動作を制御するための様々な設定を行う追加のスイッチも含まれることが可能である。例えば、１つまたは複数のスイッチが、入力デバイスの外側上に備えられて、入力デバイスに電源投入する、カメラまたは光源を起動する、センサの感度、または光源の明るさを制御する、テキストへの変換が行われないスケッチモード（素描モード）に入力デバイスを設定する、入力データを内部に記憶するようにデバイスを設定する、入力データを処理し、記憶する、入力デバイスが通信することができる相手のコンピューティングデバイスなどの処理ユニットにデータを伝送する、または所望されることが可能なあらゆる設定を制御するのに使用されることが可能である。

カメラ２０４が、ペンが上部で動かされる表面の画像を取り込むように含められることが可能である。また、誘導素子２０５も、誘導システムにおけるスタイラスとして使用される場合に、ペンのパフォーマンス（性能）を向上させるように含まれることが可能である。プロセッサ２０６は、以下により詳細に説明するとおり、本発明の様々な態様に関連する機能を行うための任意の周知のプロセッサから構成されることが可能である。同様に、メモリ２０７は、データを記憶するためのＲＡＭ、ＲＯＭ、および／またはデバイスを制御するため、またはデータを処理するためのソフトウェアを格納するための任意のメモリデバイスを含むことが可能である。入力デバイスは、トランシーバ２０８をさらに含むことが可能である。トランシーバは、他のデバイスとの情報交換を可能にする。例えば、Ｂｌｕｅｔｏｏｔｈ技術、またはその他の無線技術を使用して通信を円滑にすることができる。その他のデバイスには、入力デバイスをさらに含めることが可能なコンピューティングデバイスが含まれることが可能である。

電源２０９が含まれることが可能であり、ペン２０１がホスト装置とは独立に、またはホスト装置から遠隔で使用される場合、データが処理され、記憶され、かつ／または表示されるデバイスに電力を供給することができる。電源２０９は、あらゆる位置で入力デバイス２０１に組み込まれることが可能であり、電源が取替え可能である場合、即時の取替えに合わせて配置され、あるいは電源が充電可能である場合、充電を容易にするように配置されることが可能である。代替として、ペンは、カーバッテリにペン２０１を電気的に接続するためのアダプタや壁コンセント（ｗａｌｌｏｕｔｌｅｔ）に接続された充電器などの代替の電源、コンピュータの電源、または任意の他の電源に接続することができる。

ドッキングステーションリンク２１２を使用して、入力デバイスと、外部ホストコンピュータなどの第２のデバイスの間で情報を転送することができる。ドッキングステーションリンクは、図示していないドッキングステーションに接続された際、または電源に接続された際に電源２０９を再充電するための構造も含むことが可能である。ＵＳＢ、またはその他の接続が、ドッキングステーションリンクを介して、または代替のポートを介して入力デバイスをホストコンピュータに取外し可能なように接続することが可能である。代替として、データを転送するため、または受信するために有線による接続（ｈａｒｄｗｉｒｅｃｏｎｎｅｃｔｉｏｎ）を使用してペンをデバイスに接続することもできる。有線によって接続された構成では、ドッキングステーションリンクは、入力デバイスをホストに直接に有線によって接続する方を選んだときは取り除かれる。ドッキングステーションリンクは、別のデバイスと通信するための別のシステム（例えば、Ｂｌｕｅｔｏｏｔｈ８０２．１１６）を使用して除外すること、または置き換えることができる。

入力デバイス２０１は、入力デバイス２０１を、例えば、感知ボードを含むデバイスとともに使用することができるように、抵抗方式の感知を容易にするための金属先端部を備えていることが可能な取外し可能なキャップ２１１をさらに含むことが可能である。入力デバイス２０１の胴は、プラスチック、金属、樹脂、またはこれらの組合せ、あるいは入力デバイスの構成部品に、または全体的な構造に保護を提供することができる任意の材料から構成されることが可能である。胴体（ｃｈａｓｓｉｓ）は、デバイスの敏感な電子構成部品のいくつか、またはすべてを電気的に遮蔽するための金属製仕切り（隔壁）を含むことが可能である。入力デバイスは、ペンの形状に対応することが可能な細長い形状であることが可能である。ただし、デバイスは、入力デバイスおよび／またはインク生成デバイスとしてのデバイスの使用に適合する色々な形状で形成することができる。

図３Ａ〜図３Ｃは、本発明の態様に従って使用するためのカメラの３つの例示的な実施形態を描いている。前述したとおり、入力デバイス２０１は，例えば、カメラを使用してペンの動きを検出することによって電子インクを生成するのに使用することができる。カメラ３０４が、ペンが上部で動く表面の画像を取り込み、画像解析を介して、走査されている表面上のペンの動きの量を検出するように含めることが可能である。動きは、ドキュメント（文書）に相関させられ、電子インクをドキュメントに電子式に移す、追加する、または関連させる（例えば、入力された注釈を元のドキュメントとは別に記憶する）ことが可能である。

図３Ａに示すとおり、一実施形態では、カメラ３０４は、例えば、画像感知素子アレイ（撮像素子アレイ）から構成されるイメージセンサ３２０を含む。例えば、カメラは、縦１．７９ｍｍ横１．７９ｍｍの正方形のエリア（局所、区域）を縦３２ピクセル横３２ピクセルの解像度で走査する能力を有するＣＭＯＳイメージセンサから構成されることが可能である。そのような１つのイメージセンサに関する最小露出フレームレート（画面書き換え速度）は、およそ３３０Ｈｚであるが、例示的なイメージセンサは、１１０Ｈｚの処理速度で動作することができる。選択されるイメージセンサは、カラーイメージセンサ、グレースケールイメージセンサを含むこと、または単一のしきい値を超える輝度を検出するように動作することが可能である。ただし、カメラ、またはカメラの構成部品の選択は、カメラに関連する所望の動作パラメータに基づき、パフォーマンス（性能）やコスト（費用）などの考慮、または入力デバイスの位置を正確に計算するのに必要とされる解像度などの要因によって規定される可能性があるようなその他の考慮に基づき、異なるであろう。

光源３２１が、入力デバイスがその上部で移動する表面に対して照明することが可能である。その光源は、例えば、単一の発光ダイオード（ＬＥＤ）、ＬＥＤアレイ、またはその他の発光デバイスから構成されることが可能である。光源は、白を含め、単色の光を生成すること、または複数の色を生成することが可能である。要望通に光を方向付けるように、ハーフミラー３２２がカメラ内部に含まれることが可能である。カメラ３０４は、光源３２１からの光を走査される表面３２４に集束させるため、かつ／またはその表面から反射された光をイメージセンサ３２０に集束させる１つまたは複数の光学デバイス３２３をさらに含むことが可能である。

図３Ａに示すとおり、光源３２１から放出された光は、入射光の方向に応じて光を反射し、あるいは透過させるミラーであるハーフミラー３２２によって反射される。反射された光は、次に、レンズ系３２３に向けられ、その下の反射面まで送られる。光は、次に、その表面で反射され、レンズ系３２３を通り、ミラーを通過する透過角度でハーフミラー３２２に当たり、感知アレイ３２０に入射する。もちろん、より少ない、またはより多い数の構成部品を組み込んだカメラを含め、多種多様な構成部品を含むカメラを使用して画像データを取り込むことができる。構成部品の構成の変形も、多数であることが可能である。単に一例を提示すると、単純化された構成では、光源と感知アレイを一緒に配置して、光源と感知アレイの両方が画像の取り込まれるべき表面に位置するようにすることができる。その場合、カメラ内部で反射は全く必要ないので、システムからハーフミラーを取り除くことができる。図３Ｂに示すとおり、単純化された構成では、光源３２１は、レンズ３２３およびセンサ３２０からある距離で配置される。さらに単純化された構成では、図３Ｃに示すとおり、光源を取り除くことができ、オブジェクトの表面で反射される周辺光が、レンズ３２３によってセンサ３２０上に集束させられる。

したがって、カメラに組み込まれる構成部品、または構成部品の配置の変形を、本発明の態様に適合する仕方で使用することができる。例えば、カメラおよび／またはカートリッジの配置および／または向きは、多種多様なカメラおよび／またはインクの構成および向きを可能にするように、図２に示したものとは異なることが可能である。例えば、カメラ３０４、またはカメラ３０４の構成部品の任意の部品を、図示したのと同じ開口内にではなく、インクカートリッジのために設けられた開口に隣接する開口内に配置することが可能である。さらなる例として、カメラ３０４を入力デバイスの中心に配置して、インクカートリッジをカメラの脇に配置することができる。同様に、光源３２１を、カメラの残りの構成部品を収納する構造内に組み込むこと、または１つまたは複数の構成部品をその他の構成部品と分離して配置することが可能である。さらに、光源および／または光学系を使用し、必要に応じて図示した構成部品に追加の構成部品および／またはソフトウェアを備え、あるいは変更を加えて、投影機構（ｌｉｇｈｔｐｒｏｊｅｃｔｉｎｇｆｅａｔｕｒｅ）も使用可能にすることができる。

能動的符号化
入力デバイスの検出および／または位置決定を助けるため、入力デバイスが上部に置かれるオブジェクトの表面には、その表面のエリアの相対位置を表す画像データを含むことが可能である。１つの例示的な実施形態では、走査される表面は、ホストコンピュータまたはその他の外部コンピューティングデバイスのディスプレイを含むことが可能であり、このディスプレイは、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、パーソナルデータアシスタント、電話機、デジタルカメラ、または情報を表示することができる任意のデバイスのモニタに対応することが可能である。したがって、ＴａｂｌｅｔＰＣ（商標）の画面上に生成された書き込み用紙またはその他の画像が、ドキュメント全体の中のドキュメントのその部分の相対位置を表わす符合に対応する、または画像の任意の他の部分に関するデータを含むことが可能である。情報は、相対位置を示すのに使用することができる英数字、符号化パターン、または画像データの任意の判別可能なパターンを含むことが可能な画像から成ることが可能である。オブジェクトの表面内のエリアの場所を指定する際に使用するために選択される画像または画像群は、センサのピクセル解像度、および／または走査される表面内に含まれる画像データのピクセル解像度などの、カメラに組み込まれる走査デバイスの感度に依存することが可能である。オブジェクトから抽出された位置情報は、次に、オブジェクト上の入力デバイスの動きを追跡するのに使用することができる。その情報を使用して、入力デバイスの動きに対応する電子インクまたはその他の情報を正確に生成することができる。位置情報は、入力が行われるべき画像内の位置を検出することにも、オブジェクト表面上の入力デバイスの動きの表示を提供することにも使用することができる。例えば、もたらされる情報をワードプロセッシングソフトウェアと対話形式で使用して、ドキュメント（文書）における変更を生成することができる。

代替の実施形態では、入力デバイスと組合せで使用されるオブジェクトは、例えば、背景に位置情報が含められている用紙から成ることが可能である。位置情報は、入力デバイスに関連するセンサによって感知され、用紙上の特定の部位の相対位置を表わすのに使用することができる任意の形態の符号、光学表現、またはその他の形態で組み込むことが可能である。

図４は、ドキュメントの位置を符号化するための例示的な技術を示している。この例では、画像の背景は、大きい集まりで見た場合、迷路様のパターンを形成する細線を含むことが可能である。固有の向きと相対位置を有するいくつかの細線から成る迷路デザイン内の線のそれぞれの集まりは、例えば、ドキュメントの他の部分に対する迷路パターンのその部分の位置を示すことが可能である。取り込まれた画像の中で見られる迷路パターンの復号化は、多数の復号化スキームに従って行うことができる。一実施形態では、線の特定の構成および集まりを復号化して位置情報を生成することができる。別の実施形態では、取り込まれたデータの位置の指示を、サンプリングされたパターンに対応する符号を画像から抽出し、その符号を使用して、そのエリアの場所を特定するデータを含むルックアップテーブルのアドレスを参照することによって導出することができる。

受動的符号化
位置符号が存在しない場合でも、イメージセンサによって取り込まれた画像を解析して、画像取り込みの時点における入力デバイスの位置を割り出すことができる。連続する画像を使用して、異なる時点における入力デバイスの相対位置を計算することができる。この情報の相関により、担体（ｓｕｂｓｔｒａｔｅ）上における入力デバイスの正確な軌跡がもたらされることが可能である。この軌跡情報を使用して、例えば、手書きのストロークを正確に表わす電子インクを生成することができる。

図５は、これを元にして電子インクを生成することができる軌跡パターンを例示している。この例では、第１の取り込まれた画像は、第１の時刻ｔ_１における入力デバイスの第１の位置ｐ_１を示す迷路パターンの部分を含むことが可能である。次の取り込まれた画像は、第２の時刻ｔ_２における第２の位置ｐ_２の位置情報を提供する、この例では迷路パターンの異なる部分である符号化された画像データの一部分を含むことが可能である。第３の取り込まれた画像は、迷路パターンの第３の部分を含み、これにより、第３の時刻ｔ_３における第３の位置ｐ_３にある入力デバイスの位置を示すことが可能である。このデータを使用して、以上３つのポイントが、時刻ｔ_１からｔ_３までの入力デバイスの軌跡を示すことが可能である。入力デバイスが辿ったインキング（ｉｎｋｉｎｇ）パターンを推定するためのアルゴリズムを適用して、電子インクを生成することができる。適用されるアルゴリズムの複雑さにより、生成されるインクの正確さが規定されることが可能である。例えば、基本的なインキングアルゴリズムは、単にドットを変化しない太さの直線でつなぐことが可能である。前回のサンプリングポイント、サンプリング間の時間、または入力が動かされた速度または加速を示すその他のデータ、使用された押圧の力を示すデータ、あるいは任意の他の妥当なデータを考慮に入れるアルゴリズムを処理して、入力デバイスの実際の動き（例えば、他のセンサからの）をより正確に表わす電子インクを提供することが可能である。

カメラ３０４によって行われる光学走査は、様々な時点における入力デバイスの位置と特定するのに必要なデータを生成することができ、その情報を使用して電子インクを生成することができる。１つの例示的な実施形態では、時刻ｔ_１に取り込まれた画像を時刻ｔ_２に取り込まれた画像と比較することにより、ｔ_１からｔ_２までの期間中にペンがあるポイントから別のポイントに動いた距離を示すデータが提供されることが可能である。次に、以上２つのデータポイント、および／または動いた相対距離を使用して、手書きのストロークを表わす電子インクを生成するために入力デバイスの動きの軌跡を生成することができる。相対的な動きを計算するために、２つまたは多数の画像、あるいは取り込まれた画像の部分を比較することは、異なる解析によって実行することも可能である。その場合、複数の画像の中に現れる特徴を比較することができ、それらの画像内のある場所から別の場所への特徴または特徴群の相対的な動きにより、ペンの動きの正確な指示が提供されることが可能である。不規則なサンプリング周期が使用される場合、サンプリング周期の変動を補償するように処理アルゴリズムを変更して、入力デバイスの動きと、それぞれの動きに要する実際の時間の間の相関をより正確に示すことができる。動きの速度を示す情報が、適切な太さの電子インクを生成するのに役立つ可能性がある。

そのような実施形態によれば、入力デバイスが上部で動く表面には、コンピューティングデバイスのディスプレイ、マウスパッド、デスクトップ、あるいはその表面上の入力デバイスの動きを示すオブジェクトまたは画像データが抽出されることが可能な任意の一様でない反射面が含まれることが可能である。取り込まれた画像データを処理することができる追跡アルゴリズムは、固定であること、または取り込まれた画像の特性に応じて異なることも可能である。単純な追跡アルゴリズムを使用して、プロセッサは、例えば、デスクトップの木材の木目を検出することができ、カメラによって取り込まれたイメージシーケンスの比較に基づき、連続する画像内における木目の特定のパターンの相対位置を使用して、様々な時点における入力の位置、および／またはその表面上の入力デバイスの相対的な動きを検出することができる。画像内の特徴がそれほど容易に判別されず、画像が一様である場合、より複雑な追跡アルゴリズムが必要とされる可能性がある。

ハードウェアアーキテクチャ
図６は、本発明の一実施形態によるシステムのハードウェアアーキテクチャを示す図である。前述の実施形態で示したのと同じ、または関連する構成部品の多くを同様の符号を使用して表わす。プロセッサ６０６は、本発明の様々な態様に関連する機能を行うための任意の周知のプロセッサから成ることが可能である。例えば、プロセッサは、ＦＰＳＬＩＣＡＴ９４Ｓ４０を含むことが可能であり、ＡＶＲコアを有するＦＰＧＡから成ることが可能である。この特定のデバイスは、２０ＭＨｚクロックを含み、２０ＭＩＰＳの速度で動作することが可能である。もちろん、入力デバイス６０１内部で使用するためのプロセッサの選択は、システムのコストおよび／または処理速度要件によって規定される可能性がある。プロセッサ６０６は、入力デバイス内部で画像解析が行われる場合、そのような解析を行うことができる。代替として、処理は、デバイス６０１に組み込まれたデジタル信号プロセッサ（ＤＳＰ）などの第２のプロセッサによって行われることが可能である。プロセッサ６０６は、入力デバイスが非アクティブであるときに様々な構成部品の電力を遮断するなどの、電源６０９に蓄えられた電力を保存するように電力消費を低減することに不可欠なステップを行うようにさらに動作することが可能であり、入力デバイスが非アクティブであることは、デバイスの動きおよび／または位置を示すデータに基づくことが可能である。プロセッサ６０６は、例えば、光源の輝度に合わせて調整すること、またはカメラの感知アレイ６０４の感度に合わせて調整することを含め、様々な構成部品のパフォーマンス（性能）を較正し、調整するようにさらに動作することが可能である。また、プロセッサ、または連結されたデジタル信号プロセッサは、複数の記憶されている画像処理アルゴリズムのなかから選択を行うことが可能であり、また例えば、デバイスが上部で動かされる表面に関連する特性に従って動きを検出するのに最も適した画像解析アルゴリズムを選択するように制御されることが可能である。したがって、アルゴリズムは、入力デバイスにプログラミングされた動作の考慮事項に基づいて自動的に選択されることが可能である。代替として、入力デバイスは、例えば、力センサの作動を介して入力された、またはコマンドに対応する手書きのストロークに基づいて入力されたユーザの選択に基づいて制御され、設定が確立されることが可能である。

一実施形態では、メモリ６０７は、１つまたは複数のＲＡＭ、ＲＯＭ、フラッシュメモリ、あるいはデータを記憶するため、デバイスを制御するためのソフトウェアを記憶するため、またはデータを処理するためのソフトウェアを記憶するための任意のメモリデバイスまたはメモリデバイス群を含むことが可能である。前述したとおり、位置情報を表わすデータは、入力デバイス６０１内部で処理され、ホストコンピュータ６２０に転送するためにメモリ６０７の中に記憶されることが可能である。代替として、取り込まれた画像データは、処理するため、または別の目的でホスト装置６２０に転送するために入力デバイス６０１内部のメモリ６０７の中にバッファリングされることが可能である。

トランシーバ、つまり通信ユニット６０８は、送信ユニットと受信ユニットとを含むことが可能である。前述したとおり、電子インクを生成し、かつ／または表示するのに適した形態に処理された、または別の形に処理された入力デバイスの動きを表わす情報が、前述したデスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、パーソナルデータアシスタント、電話機、あるいはユーザ入力および電子インクが有用である可能性がある他のそのようなデバイスなどのホストコンピュータ６２０に伝送されることが可能である。トランシーバ６０８は、短距離無線通信、赤外線通信を行うための、ブルートウス（Ｂｌｕｅｔｏｏｔｈ）技術を含む任意の無線通信技術を使用して、あるいはセルラー技術または他の長距離無線技術さえ使用して外部デバイスと通信することができる。代替として、トランシーバ６０８は、ＵＳＢ接続を介するなどのホストコンピュータに対する直接リンクを介して、またはドッキングクレイドル（ｄｏｃｋｉｎｇｃｒａｄｌｅ）６３０を介して間接的にデータの伝送を制御することが可能である。また、入力デバイスは、専用接続を使用して特定のホストコンピュータに有線で接続することも可能である。また、トランシーバ６０８を使用して情報および／またはソフトウェアを受信することもでき、この情報および／またはソフトウェアを、一実施形態では、入力デバイスのパフォーマンスを向上させるために使用することが可能である。例えば、プロセッサの制御機能を更新するためのプログラム情報を前述した技術の任意のものを介してアップロードすることができる。さらに、画像データを解析するため、および／または入力デバイスを較正するためのソフトウェアを含め、ソフトウェアを入力デバイスに伝送することも可能であり、外部デバイスからダウンロードすることができる。

プロセッサ６０６は、対話モデルに従って動作することが可能である。対話モデルは、ユニットが入力デバイスの機能をする外部デバイスに関わらず電子インクが生成される一貫した体験（ｅｘｐｅｒｉｅｎｃｅ）が保たれるようにするためのソフトウェアの形態で実装することができる。対話モデルは、デスクトップコンピュータ、ラップトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、パーソナルデータアシスタント、電話機、ホワイトボードを含むあらゆるホスト装置上で、または入力デバイスを介して入力されたデータを記憶する、表示する、または記録することが可能な任意のデバイス上で使用するのに全般的に適した形態に変換するために、取り込まれたデータを処理することができる。プロセッサ６０６は、自らが接続されている先のデバイス、または手書きの入力を表わすデータを対象としているデバイスを認識することができ、そのような認識に基づき、認識された特定のデバイスに適切な形態に入力データを変換する処理を選択することができる。その場合、それぞれの受け手となる可能性があるコンピューティングデバイスに役立つ形態への変換は、入力デバイス内部に含まれ、必要に応じて供与される。対象とする受取り側デバイスの認識は、デバイスが無線で、または直接に接続されている場合、デバイス間の通信の結果として達成することができる。代替として、ユーザが、データが向けられているデバイスまたはデバイス群の識別を入力デバイスに直接に入力することができる。もちろん、入力デバイスがディスプレイを含む場合、そのディスプレイおよび／または多数の他のデバイスで使用するのに適したデフォルトの処理アルゴリズムを使用してデータを処理することができる。

慣性センサ
図７に示すとおり、入力デバイス７０１は、同様の符号で表わされる前述した構成部品に加えて、ペンの動き、位置、または向きを感知するための１つまたは複数の慣性センサ７１５も含むことが可能である。例えば、入力デバイス７０１は、複数の方向におけるペンの角速度を表わすデータを提供するためのジャイロスコープを含むことが可能である。入力デバイス７０１は、ペンにかかる加速度または重力を測定する１つまたは複数の加速度計、または加速度計のセットを含むことが可能である。また、ペンの動きを表わすデータは、地球の磁場の測定値の変動を検出することによってペンの動きを測定する磁気センサを使用して得ることも可能である。このセンサは、画像データ以外のデータに基づいて入力デバイスの動きを検出するため、慣性センサとして本明細書で説明している。ジャイロスコープ、加速度計、磁気センサ、誘導素子、あるいは入力デバイスの動きを測定するための任意のデバイスまたはデバイス群を含むことが可能な入力デバイスとともに、または入力デバイス内部に組み込まれる慣性センサのいずれか、または任意のものからのデータをカメラからのデータと組合せで使用して、入力デバイスの動きまたは位置を表わすデータを得ることができ、これにより、電子インクを生成するためのデータを生成することができる。

サンプルとしての実施形態
Ｉ．入力デバイスは、能動的符号化を使用して動作することができる
Ａ．能動的符号化は、ディスプレイ上、または他の書込み面上の入力情報のエントリに関する位置情報を提供する
前述したとおり、入力デバイスが上部に置かれ、かつ／または動かされるオブジェクトの表面が、その表面内の各エリアの場所または相対位置を示す符号化された画像データを含むことが可能である。オブジェクトはラップトップコンピュータのようなコンピューティングデバイスのディスプレイを含むことが可能である。一実施形態では、ドキュメントが、メモリから呼び出され、画面上に表示されることが可能である。そのドキュメント内では、背景などに、ドキュメントの各エリアの位置を示す符号化された情報が符号化されていることが可能である。例えば、ドキュメントの背景は、迷路パターン（ｍａｚｅｐａｔｔｅｒｎ）を含み、そのパターンの十分に大きい部分が、ドキュメント全体における各エリアを一意的に特定していることが可能である。入力デバイスをこの符号化された位置情報と組合せで使用して、ラップトップのディスプレイが画面上の入力デバイスの動きを検出するためのセンサを含まない場合でも、指定された位置でドキュメントに注釈または編集を加えることが可能である。したがって、入力デバイスは、入力デバイスに関連するセンサが、このデバイスの位置または場所を示すデータを生成するように「能動的入力デバイス」として機能することが可能である。

一例では、入力デバイスに組み込まれたイメージセンサが、入力デバイスが上部に置かれ、かつ／または動かされる表示画面の表面を表わす画像データを取り込む。センサは、入力デバイスの相対位置を示す位置コードを含む画像を取り込む。ユーザが、表示された画像上を動かし、表示されている電子ドキュメントに注釈を入力し、かつ／または編集を行うと、入力デバイスは、その入力、およびその入力が組み込まれるべきドキュメント内の場所を表わすデータを表わす信号を生成する。ラップトップの制御は、マウスの代わりに、入力デバイスを使用して行うこともでき、あるいはカーソルの動き、および選択の作動を含む他の標準の入力機能を行うことができる。

入力デバイスをワードプロセッシングソフトウェアと組合せで使用して、例えば、テキストを削除し、新しいテキストを挿入することによってドキュメントを編集することができる。コンピューティングデバイスの画面上に表示されたドキュメントを編集するのに、ユーザは、所望の位置で画面上に入力デバイスを置く。テキストを削除するのに、ユーザは、画面の近くに入力デバイスを位置させ、表示されているテキストの画像を取消す動作でデバイスを動かすことができる。位置コードを感知することにより、画像を処理して、ペンが取消しの動きで動かされたことを判定することができるとともに、ユーザが入力デバイスを動かした場所に対応するテキストを特定することができる。したがって、入力はそのデータを消去するために使うことが可能である。

次に、ユーザは、新しいテキストを挿入することを望む可能性がある。慣れ親しんだ仕方で、ユーザは、新しいテキストが挿入されるべき位置に、「キャロット（ｃａｒｒｏｔ）」、つまり逆さまの「Ｖ」などのテキストを挿入するための記号を描くことができる。入力デバイスまたはホストコンピュータの中に記憶された入力を画像データおよび／またはコマンドに変換するための処理ソフトウェアが、その記号をテキストを挿入するための制御信号として認識する。次に、入力デバイスの助けを借りて、ユーザは、挿入されるべきテキストを手で書き込むことができる。

代替の実施形態では、ユーザは、注釈が関係する原文を指し示すハイライトで注を追加することができる。例えば、ユーザは、画面上に表示されるプルダウンメニュー、またはハイライトボタンを使用して、ハイライトされるべきテキスト（文章）を選択することができる。次に、入力デバイスは、ハイライトのために選択されるべきテキスト上にドラッグされる。次に、ハイライトされた／選択されたテキストに関連付けられるべきコメントが、ハイライトされたテキストに隣接した位置でディスプレイの画面上に書き込まれることが可能である。操作が完了した際、ユーザは、注釈の入力を完了するために必要なプロンプトを選択することができる。ドキュメントに対する以上の変更のすべては、ディスプレイが入力デバイスの動きを検出するためのセンサを含むかどうかに関わらず、入力デバイスを使用して生成することができる。

ドキュメントに対する変更は、テキストに変換される画像データ、電子インク、またはデータの形態でドキュメント内に表示し、かつ／または組み込むことができる。入力をテキストに変換することは、ユーザに見えない形で行われ、したがって、テキストが、入力されたとおりに画面上のドキュメントの表示において現れることが可能である。代替として、ユーザの手書きが、ドキュメントの本文内で現れることが可能である。編集の即時表示を実現するのに、ペンの動き、およびそのような編集の場所を表わす情報が、継続的にラップトップデバイスに伝送されることが可能である。

前述したとおり、入力を行う個人の身元も記録されることが可能である。例えば、入力デバイスは、ユーザおよび／または特定の入力デバイスを識別する情報を生成することが可能である。識別情報は、生成された入力データに付加されることが可能である。代替として、そのような識別情報が、ホスト装置に伝送される別個の信号として提供されることも可能である。

前述の例示的な実施形態は、入力デバイスが上部で動かされる表面をラップトップデバイスのディスプレイとして特定したが、入力デバイスは、デバイスが上部で動かされることが可能な任意のオブジェクトの表面内に組み込まれた符号を使用して位置を検出するように機能することも可能である。したがって、入力デバイスをデスクトップコンピュータ、ＴａｂｌｅｔＰＣ（商標）、パーソナルデータアシスタント、電話機、または情報を表示することができる任意のデバイスのモニタと組合せで使用して、位置符号を組み込んだ画像を生成し、かつ／または編集することができる。また、符号化された情報は、そのようなデバイスの表示画面上に置かれた透明シート内に組み込むこと、または保護フィルムを含め、ディスプレイと組合せで使用することができる表面内に組み込むことも可能である。

また、符号化された情報は、用紙などの書込み面上、または書込み材料上に、その表面上の位置を一意的に特定するように組み込むことも可能である。例えば、用紙の背景に位置情報を組み込むことが可能である。前述したとおり、位置情報は、用紙上の特定の部位の相対位置を表わす任意の形態の指示または符号を含むことが可能である。したがって、入力デバイスを符号化された用紙に関連して使用して、適切な位置でユーザの手書きに対応する情報を記録することができる。例えば、入力デバイスと、符号化された位置情報を組み込んだ書込み面だけを装備して、タクシーに乗りながら、入力デバイスを使用して顧客に対する手紙の草稿を作成することができる。入力デバイスを使用して用紙に書込みを行うと、テキストまたはその他の入力情報に対応するジェスチャ（振る舞い）は、ある時点における入力デバイスの位置の変化を検出することによって認識される。次に、入力は、そのジェスチャに対応する情報を生成するのに使用するために電子インクまたはその他の電子データに変換されることが可能である。入力の変換は、入力デバイス内部で、または入力デバイスに接続されたホストコンピューティングデバイスによって受信された場合に、入力が生成されるにつれて行われることが可能である。代替として、そのような変換は、後の時点で行われることも可能である。例えば、入力デバイスを使用して生成された情報が、後の時点における適切な処理のためにメモリの中に記憶され、受け手および／またはホストコンピュータに伝送されることが可能である。

入力デバイスを使用して生成されたデータは、手書きの手紙であるか、記号であるか、単語であるか、または他の書かれた画像であるかに関わらず、位置符号によって特定された位置でドキュメント内に組み込むことができる。したがって、フォーマットされたテンプレートが存在しない場合でも、前述した手紙などのドキュメントのレイアウトを、情報が入力されるべきドキュメント内の位置を割り出す位置情報を使用して実現することができる。例えば、起草者の住所、受取人の住所、手紙の本文と結び、および残りの構成部品が、適切な位置で用紙に入力されることが可能である。スキャナ（画像読み取り部）によって取り込まれ符号化された位置情報を使用して、電子ドキュメントに対応する内容を形成する語またはその他の画像が適切な位置で組み込まれる。

また、検出された位置情報を使用して、入力デバイスは、コマンドを入力すること、選択を行うこと等のためにホストコンピューティングデバイスと対話することもできる。コンピューティングデバイスがＷｅｂブラウズ特性を有する携帯カメラまたは電話機である場合、入力デバイスをスタイラスまたはマウスのように使用して、表示されたボタンまたはメニューから選択を行うことができる。したがって、入力デバイスを使用してホストコンピュータのブラウザを起動し、前述したドキュメントなどのファイルを、遠隔で記憶されているファイルでさえ、取り出すためのオプションを選択することができる。入力デバイスを使用して、ユーザは、自身が必要とする情報を含むファイルのダウンロードを選択することができる。次に、ユーザは、入力デバイスを介してダウンロードされたファイルまたはファイル群に注釈を入力することができる。入力デバイスが遠隔コンピューティングデバイスと通信を行う備えを有する場合、それらの編集をファイルのダウンロード元である遠隔の場所に伝送することができる。代替として、入力デバイスがホストコンピューティングデバイスと通信していると想定すると、その編集を使用して入力デバイスおよび／またはホストコンピューティングデバイスの内部に記憶されたファイルを編集することができる。

別の実施形態では、ホストコンピューティングデバイスのモニタ上に表示されるファイルは、ＥＸＣＥＬ（商標）などの表計算ソフトウェアを使用して生成されたスプレッドシートであることが可能である。位置符号を使用して位置をスプレッドシート（表計算シート）内の所与のセルに関連付けることができる。ユーザは、画面上に表示されたセルの中に数字エントリを入力することが可能である。その時点で、入力デバイスが、入力デバイスの位置に関連する画像を取り込み、その情報をホストコンピューティングデバイスに伝送する。例えば、ホストコンピューティングデバイス内にあり、スプレッドシートソフトウェアと組合せで動作している処理ソフトウェアが、検出された位置符号に基づいてエントリのために選択されたセルの識別を特定し、それに応じてスプレッドシートドキュメントを変更する。

また、入力デバイスを使用して、特定のジェスチャ、または特定のジェスチャの組合せに関連する画像、または他のあらかじめ記憶された情報を呼び出すこともできる。例えば、入力デバイスを使用して、処理アルゴリズムデバイスが認識するようにプログラミングされている記号を描くことが可能である。迷路パターンを使用して、そのパターン上の入力デバイスの動きを正確に検出し、その動きに関連する特定の記号を検出できるようにすることが可能である。例えば、ユーザが、入力デバイスを制御して、会社のロゴに関連付けられるように自身が以前に特定した記号を用紙上に描くことが可能である。迷路パターンにより、文字「Ｍ」の直後に続く文字「Ｓ」に対応する動きの組合せが、マイクロソフトコーポレーションのロゴの入力を指定する命令として識別されることが可能である。この結果、そのようなあらかじめ記憶された情報が、以前の入力のシーケンスの入力によってドキュメント内に入力されることが可能である。

Ｂ．能動的符号化は、ホストコンピューティングデバイスが入力デバイスの動きを感知するセンサを含む場合、位置情報を提供することが可能である
入力デバイスは、受動的入力デバイスとしても使用することができる。この様式では、入力デバイスは、例えば、抵抗方式の感知を使用する入力デバイスの動きを感知するコンピューティングデバイスと組合せで使用することができる。ＴａｂｌｅｔＰＣ（商標）またはパーソナルデータアシスタントなどの入力デバイスの動きを検出するためのセンサボードを含むデバイスと組合せで使用される場合、入力デバイスは、スタイラスのように機能することが可能である。入力デバイスを使用すると、入力デバイスが画面に非常に近接に位置付けられて、電子インクまたはその他の画像データが生成されることが可能である。また、制御機能も同様の仕方で入力することができる。さらに、特定のコンピューティングデバイスのモニタ上に表示される画像は、ドキュメントのその部分の相対位置を表わす符号に対応するデータを含むことも可能である。次に、カメラを使用してオブジェクトから抽出される位置情報を、コンピューティングデバイスのセンサを使用して検出される動きの代わりとして、またはそれと組合せで使用して入力デバイスの動きを追跡することができる。

例えば、ユーザが、ＴａｂｌｅｔＰＣ（商標）またはパーソナルデータアシスタントなどの入力デバイスの位置を検出する能力を既に含む携帯コンピューティングデバイス上で画像を生成する、または変更することを望む可能性がある。入力デバイスは、入力デバイスの動きを表わす情報が、コンピューティングデバイスによって生成されるように、受動的入力デバイスとしてだけ機能することが可能である。ただし、コンピューティングデバイスのセンサは、所与の状況においてユーザが必要とする範囲のペンの動きを検出する能力を有さない可能性がある。例えば、ユーザが不安定な車両の中で移動している場合、ユーザ入力の正確な検出が妨げられる可能性がある。ユーザが、コンピューティングデバイスのディスプレイの画面上で入力デバイスを動かすことによってファイルを編集する際、入力デバイスが、揺さぶられて、センサボード（感知盤）から相当な距離をずらされる可能性がある。コンピューティングデバイスのセンサによって生成される信号がそれほど正確でなくなっていても、入力デバイスによって取り込まれた画像データを使用して、コンピューティングデバイスの表面に水平な平面内の入力デバイスの動きを検出することができる。コンピュータデバイスのセンサが、もはや入力デバイスの動きを検出することができない場合でも、入力デバイスのイメージセンサは、ユーザの意図する入力を反映するように入力デバイスの動きの正確な表現を維持するのに十分なだけの情報を生成することができる。したがって、入力デバイスの動きを感知する能力を含むコンピューティングデバイスと組合せで使用される場合でも、入力デバイスは、受動的入力デバイス、または能動的入力デバイスとして機能することができる。

ＩＩ．入力デバイスは、受動的符号化技術を使用して動作することができる
Ａ．受動的符号化は、ディスプレイ上またはその他の書込み面上で入力情報を入力するための位置情報を提供する
入力デバイスを任意の用紙、書込み面、またはその他の担体に関連して使用して、ユーザの手書きに対応する情報を記録することも可能である。この場合も、入力デバイスおよび書込み面だけを装備して、入力デバイスを使用してクライアントに対する手紙の草案を書くことができる。この場合、入力デバイスの動きが、担体の表面の画像内に埋め込まれた符号以外を使用して検出されて、ジェスチャが、受動的符号化に依拠して検出される。例えば、ユーザが、無地の用紙上に文字を下書きすることが可能である。ユーザが入力デバイスを使用して書き込むと、イメージセンサが、用紙の画像を取り込む。画像内のオブジェクトが特定されることが可能であり、一連の取り込まれた画像内のオブジェクトの動きが、動きを示す。感知されるオブジェクトには、用紙の透かし、またはその他の欠陥に対応することが可能な用紙の表面上のアーチファクトまたはその他のオブジェクトが含まれることが可能である。代替として、用紙は、やはり表面上のペンの動きを計算するのに使用することができる罫線を含むことが可能である。用紙が存在しない場合でも、入力デバイスの相対的な動きを特定することが可能である。入力デバイスを机の表面上で動かし、木材の木目が、入力デバイスの相対的な動きを検出するのに必要なオブジェクトを提供することが可能である。前述したのと同様のやり方で、ユーザは、用紙上、または上部で動きが光学的に検出されることが可能な任意の表面上に文字を下書きすることができる。入力デバイスの動きが、メモリの中に記憶され、かつ／またはそのジェスチャを表わす情報に変換されることが可能である。

さらに別の実施形態では、携帯デバイスを携帯コンピューティングデバイスの代替品として使用することが可能である。例えば、技術者が、設計チームの残りのメンバに会うために列車で移動している際、自身の会社のペースメーカに関連する回路障害に対する解決策をうまく作りあげたものの、ラップトップ、またはその他のコンピューティングデバイスが利用できず、自身の考えを記録するための適切な代替品として自身の入力デバイスを利用することが可能である。利用できる時間を最大限に活用して（また、インクカートリッジを取外し、あるいはキャップをはめて）、ユーザは、自身の目の前の椅子の背に、問題の疑われる電気回路に対する変更を表わすスケッチを書く。ユーザは、入力デバイスを起動し、スケッチを生成するのに良いモードに入力デバイスを設定し（これは、例えば、変換が作動しないようにすることを含む可能性がある）、問題に対する解決策を表わす単純化された図案をスケッチすることを始める。すると、入力デバイスが、手書きのストロークを表わすファイルを記憶することができる。スケッチモードから切り替えて、スケッチの妥当な部分の隣に注釈およびリファレンス（基準、参照）を書き留めることができ、そのエントリが、画像ファイル内に組み込まれる。例えば、ユーザは、文字に対応するジェスチャが認識される注釈モードに切り替えることができる。これにより、ユーザは、自らが提案した解決策の説明をスケッチとともに組み込むことができる。医療研究センタに到着するまで待つ代わりに、操作者は、予定の会合に先立つ熟考のために、図面を設計チームの残りのメンバに伝送することを選択することができる。そのような伝送は、入力デバイスから修正されたドキュメントをセルラー電話機などの携帯無線装置にアップロードすることを含め、あらゆる仕方で実行することが可能である。次に、その情報を使用して、ＶＩＳＩＯ（商標）ドキュメントなどの画像ファイルを生成することができる。

チームの残りのメンバに伝送されると、図面のスケッチに対応する前述したファイルが、チームメンバのホストコンピューティングデバイスのモニタ上に表示されることが可能である。例えば、画像をよび付随するテキストをデスクトップコンピュータのディスプレイ上に提示することができる。モニタ上に表示されるファイルの画像に近接して入力デバイスを位置付けることにより、表示されている注釈にさらなる注釈を追加することができる。その場合、入力デバイスの動きは、入力デバイスの光学センサによって取り込まれた画像内のオブジェクトの相対的な動きを測定することによって検出されることが可能である。入力デバイスによって生成された信号は、入力デバイス内部に記憶されたソフトウェアによって処理されること、または処理のためにホストコンピューティングデバイスに伝送されることが可能である。検出された動きの処理により、入力デバイスを介して入力された電子インク、テキスト、または注釈を表わすその他のデータが生成されることが可能である。

Ｂ．受動的符号化は、ホストコンピューティングデバイスが入力デバイスの動きを感知するためのセンサを含む場合、位置情報を提供することができる
入力デバイスは、位置符号が存在しない場合でも、入力デバイスの動きを検出するためのセンサを有するコンピューティングデバイスと併せて使用することが可能である。例えば、入力デバイスは、スタイラスとともに使用するように設計されたパーソナルデータアシスタント上またはその他のコンピューティングデバイス上で手書きの注釈を生成するためのソースとして使用することができる。したがって、ユーザは、用事を済ませている最中に、既存の「所用リスト（ｔｏｄｏｌｉｓｔ）」のことを思い出させられて、項目を追加することを所望することが可能である。ユーザは、パーソナルデータアシスタントなどのホストコンピューティングデバイスの中に記憶されたリストを取り出す。入力デバイスの先端をパーソナルデータアシスタントのディスプレイ上に位置付けて、ユーザは、メニューを渉り、所望されるリストを取り出す選択を行うことができる。そのリストが提示されると、ユーザは、ホスト装置の画面上で、既に完了したタスクの記述の隣に位置する空のボックスの中にチェックを入力することができる。入力デバイスは、ボックスに対応するデータを含む画面の画像を取り込み、そのデータをホストコンピューティングデバイスに伝送する。次に、画像データを解析するための処理アルゴリズムを使用して、ホストコンピューティングデバイスは、ボックスの形状を入力が行われることが可能なオブジェクトとして検出する。うまくチェックマークを入力するため、画像データは、「チェック」の認識される形状を形成するジェスチャであるボックスのエリア上、およびエリア内のペンの動きを検出するように処理される。次に、ホスト装置は、ボックス内にチェックの表示を含めるようにリストに関連するファイルを変更する。リスト内の最後の項目に続くスペース上に入力デバイスを位置付けて、ユーザは、追加の項目を記述するテキストを入力する。ホスト装置のセンサが、入力デバイスの動きを検出し、その入力を表わすデータを生成する。入力は、テキストに変換され、空のボックスとともにユーザに表示される。

同様に、例えば、宿題の小説を読んでいる学生などのＭｉｃｒｏｓｏｆｔＲｅａｄｅｒのユーザが、該当するテキストの隣に注釈を書き留めることを望む可能性がある。携帯ホスト装置のモニタ上に表示された画像に、入力デバイスを使用して注釈が書き込まれる。例えば、ユーザは、ホストコンピュータ、例えば、ＴａｂｌｅｔＰＣ（商標）のモニタ上に入力デバイスを位置させ、該当するテキストの隣に手書きの注釈を入力する。このジェスチャが、ホスト装置のセンサによって検出され、画像データに変換され、画面上で表示される電子データとして記憶される。注釈は、手書きの形態のままであること、または英数字に変換されることが可能である。注釈は、添付されたコメントを閲覧することを作動されること、あるいは注釈が存在することのハイライトまたは何らかの他の指示の上に入力デバイスを位置付けることなどの追加の機能を起動することなしには、見られないことが可能である。したがって、覚書は、別個のファイルの中に記憶されること、またはホストコンピュータ内部に記憶された小説の電子バージョンのコピーとともに記憶されることが可能である。

ＩＩＩ．追加のセンサは、入力デバイスの相対位置を示す追加の情報を生成することが可能である
さらに別の実施形態では、入力デバイスの一部を形成する追加のセンサからの情報を使用して、他の形態の動き検出を補完する、または他の形態の動き検出に完全に取って代わることが可能である。そのような追加のセンサは、入力デバイスの直線加速、速度、回転、押圧の力、傾き、電磁場の変化、または入力デバイスの動きまたは位置の任意の感知される指示を検出することができる。そのような情報は、より正確な動き検出を生成しようとする取り組みに役立つ可能性がある。代替として、追加のセンサは、所与の時点で入手可能な情報だけを提供することが可能である。例えば、入力デバイスを何も書き込まれていない用紙などの全体的に一様な表面と併せて使用することができる。そのような場合、光学センサによって取り込まれた画像により、入力デバイスの動きをむらなく正確に検出するには不十分である情報が提供される可能性がある。入力デバイスの動きを追跡するためのオブジェクトを検出することがより困難になった場合など、光学式の動き検出がより困難になった場合、動きを光学式に検出するための一実施形態によれば、追加のセンサからの追加の情報を使用してより精度の高い動き検出を提供することができる。具体的には、位置および／または動きを特定するのに使用されるアルゴリズムまたはアルゴリズム群が、追加の情報を考慮に入れる計算を組み込み、これにより、光学式の動き検出の場合、動きおよび／または位置の検出を補完することが可能である。

光学検出が有用な結果を提供することができない場合、追加のセンサが、動きを検出するのに使用される情報だけを提供することが可能である。例えば、ユーザが、ラミネート加工された調理台の一様な白い台上に描画をスケッチしようと試みた場合、光学感知システムは、動きを表わす十分なデータを提供できない可能性がある。その場合、追加のセンサが、入力情報の一応は満足できる正確な表現を生成するのに十分な情報を提供することが可能である。

例えば、入力デバイスが、走査されている表面から十分な距離を離れた場合、光学センサユニットは、提供された画像の正確な表現を取り込まない可能性がある。その場合、追加のセンサからの追加の情報を使用して、入力デバイスが上部で動かされるオブジェクトの画像によって獲得されるデータを補足することができる。したがって、入力デバイスが、入力デバイスが上部で動かされるディスプレイから１インチ（２．５４ｃｍ）以上離れた（ｚ軸）場合でも、入力デバイス内部のセンサは、ディスプレイの平面内の、すなわち、水平方向および垂直方向のペンの動きの指示を提供することができる。

例えば、ラップトップコンピュータと併せて使用される入力デバイスが、ユーザの前の折りたたみ式台上に置かれる。迷路パターンが背景に組み込まれたドキュメントの画像が、ラップトップの画面上に表示される。ユーザによって入力された注釈が、ベタのブルーのインクで示されることが可能である。飛行機が乱気流に遭遇してシートベルトのサインが点灯される。ユーザがラップトップコンピュータのキーボードに手を伸ばし、別の語を注釈に追加する際、ユーザの手が、画面の表面から急にそれる。イメージセンサは、表示された迷路パターンを形成する線を正確に検出することができない可能性があるが、ｘ軸およびｙ軸の動きが、入力デバイス内部に組み込まれた追加のセンサによって測定される。

ドキュメントの寿命に対する入力デバイスの影響
図８は、様々な環境において入力デバイスを使用してドキュメントが作成され、伝送され、編集される際の本発明の例示的な実施形態による入力デバイスの使用を示している。以下の説明は、入力デバイスの使用の単なる例示であり、本発明の構造または機能を制限するものではない。

入力デバイスを使用して、多種多様な環境において、多数のデバイスに関連して使用するためのドキュメントの作成および／または編集を可能にすることにより、ドキュメントの寿命を延長することができる。入力デバイス８０１を使用して、ドキュメント８０２を図示するＴａｂｌｅｔＰＣ８０３などの１つのコンピューティングデバイスの画面上で電子式に作成することができる。例えば、入力デバイスを使用してドキュメントの手書きの草稿を生成することができる。ＴａｂｌｅｔＰＣ８０３の画面上で入力された情報に対応する電子インクが、入力デバイスがＴａｂｌｅｔＰＣ８０３のためのスタイラスとして機能して生成される。電子インクは、テキストの形態に変換して、ＴａｂｌｅｔＰＣ８０３の中に記憶することができる。

ドキュメントを表わす電子ファイルをデスクトップＰＣ８０４などの第２のコンピューティングデバイスに伝送することができる。この環境では、ドキュメントは、独立の入力ユニットとして動作する入力デバイスを使用してデスクトップデバイスの画面上で編集することができる。入力デバイスは、ドキュメントの表示された画像内の入力デバイスの相対位置を感知するため、ディスプレイが入力デバイスの位置を感知するために要素を含まない場合でも、デスクトップデバイスの画面上で入力された編集が電子ドキュメントの中で反映されることが可能である。入力デバイスを使用して生成される編集は、生成されるにつれてデスクトップＰＣ８０４に伝送すること、または後の時点で任意のＰＣに伝送するために入力デバイス内部に記憶することが可能である。編集は、デスクトップＰＣ８０４の中に記憶されたドキュメントのバージョンに入力することができる。

また、作成されたドキュメントは、デスクトップＰＣ８０４にリンクされたプリンタ８０５などのプリンタによってハードコピー（ｈａｒｄ−ｃｏｐｙ）として出力することも可能である。ハードコピー８０６バージョンのドキュメントは、例えば、迷路パターンを使用して、ドキュメントの中の任意の位置における入力デバイスの相対位置を指定する情報または符号を含むことが可能である。ハードコピーは、入力デバイスを各人が有する１名または複数名のユーザによって加筆されることが可能であり、各ユーザの編集は、別個の入力デバイスによって生成される。編集を表わす情報とともに、その編集を生成するのに使用されたペンを特定する情報も提供されることが可能である。例えば、入力は、ドキュメントに加えられた変更を追跡するためのアプリケーションで見られるような下線が引かれた色付きのテキストを使用して反映されることが可能である。編集／入力は、そのドキュメントに組み込むために、デスクトップＰＣ８０４からＴａｂｌｅｔＰＣ８０３に転送されることが可能である。代替として、編集は、入力デバイス内部に記憶して、後の時点でアップロードすることが可能である。

また、ドキュメントは、無地の用紙上に出力すること、または入力デバイスの相対位置の指示を含まない任意の担体上に出力することもできる。この場合も、ハードコピーは、入力デバイスを有する１名または複数名のユーザによって加筆されることが可能であり、各ユーザの編集は、入力デバイスによって生成される。この例では、ペンの位置および動きは、用紙上の入力デバイスの動きを光学式に感知するための符号化技術を使用して特定することができる。前述したとおり、位置／動きは、画像データの各フレーム内のオブジェクトの相対位置が検出され、入力デバイスの動きを特定するのに使用される比較アルゴリズムを使用して特定することができる。結果の編集は、例えば、元のデータファイルを更新するために、ドキュメントが由来するコンピューティングデバイスに伝送することができる。編集は、無線通信また有線通信を介して、あるいは編集を含むデバイスをコンピューティングデバイスにドッキングした際に、宛先デバイスに伝送するためにポケットＰＣ８０７などのコンピューティングデバイスを介して伝送することができる。

また、電子ドキュメントは、図示したＴａｂｌｅｔＰＣなどの第２のコンピューティングデバイスに伝送することも可能である。その環境では、ドキュメントは、簡単なスタイラスなどの入力デバイスを使用してタブレットデバイスの画面上で編集することが可能である。その入力を、例えば、ドキュメントに対する注釈として、またはドキュメントに組み込むための編集として、ＴａｂｌｅｔＰＣから、そのドキュメントの元のコピーを記憶しているコンピューティングデバイスに転送することができる。

追加の構成部品
以上の説明および添付の図は、特定の構成部品を利用する実施形態を描いたが、構成部品の追加、および／または描いた任意の構成部品の除去も本発明の範囲に含まれる。同様に、入力デバイス構造内部の様々な構成部品の再配置も、カメラまたは慣性センサがペンの動きを検出し、電子インクを生成する精度に大きい影響を与えることなく、実施することができる。例えば、イメージセンサは、入力デバイスが上部で動かされることが可能な表面またはオブジェクトの特性を検出するための感知デバイスで置き換えること、または補完することが可能である。したがって、可視光スペクトル外のエネルギーの放射に基づいてパターンを検出することが可能なようにオブジェクトの表面上に迷路パターンが形成された場合、オブジェクトに伝わったそのようなエネルギーの反射率、またはそのような感知技術で表面の任意の特性の感知を検出し、オブジェクトの表面上の入力デバイスの位置および／または動きを特定するのに使用することが可能である。さらなる例として、マイクロホンが、入力デバイスが上部に置かれたオブジェクトからの音響反射または音響放出を検出するようにマイクロホン感知システムを使用することが可能である。

以上に説明し、示した例示的な実施形態は、ペンの形状で実施される入力デバイスを説明した。ただし、本発明の態様は、あらゆる形状およびサイズの入力デバイスに適用可能である。

そのような入力デバイスの使用により、あらゆる場所でパーソナルコンピューティングが可能になるはずである。したがって、説明した入力デバイスを備えたユーザは、どこにいるかに関わらず、データファイルを生成すること、または編集することができる。オフィス環境で、教室で、ホテルで、移動中に、または浜辺でも、ドキュメントおよびその他の情報を生成すること、編集すること、または記録することが可能である。

前述したとおり、入力デバイスは、適切なディスプレイを含むことが可能である。代替として、ホストコンピューティングデバイスのディスプレイを使用して、作成されたドキュメントおよび画像を閲覧することができる。ユーザは、テキストなどの情報が入力される前、または入力された後にドキュメントのフォーマットを選択すること、またはドキュメントを閲覧し、ドキュメントのフォーマットに変更を加えることが可能である。前述の例の文脈では、そのようなディスプレイ上で作成されたドキュメントを見ることで、ユーザは、自分の住所を含むヘッダを適切な位置で挿入することができる。

本発明は、特許請求の範囲を使用して定義されているが、本発明は、任意の組合せで、または部分的な組合せ（ｓｕｂｃｏｍｂｉｎａｔｉｏｎ）で本明細書に説明した要素およびステップを含むものとされることが可能であるということから、特許請求の範囲は、例示的である。したがって、説明、特許請求の範囲、図面を含め、様々な組合せ、または部分的な組合せで本明細書からの１つまたは複数の要素を組み込んだ本発明を定義するためのあらゆる代替の組合せが存在する。本明細書に鑑みて、本発明の態様の代替の組合せを独立で、または本明細書に定義する１つまたは複数の要素またはステップと組合せで、本発明の変更形態または代替形態として、または本発明の一部として利用できることが、当分野の技術者には明白であろう。本明細書に含まれる本発明の記載した説明は、すべてのそのような変更形態および代替形態を範囲に含むものとされることが可能である。例えば、様々な実施形態において、データのある順序を示した。ただし、データのあらゆる並べ替えが、本発明によって包含される。また、サイズ（例えば、バイトまたはビットの）などの特性のある単位が使用される場合、あらゆる他の他にも想定されている。

本発明の実施形態と併せて使用することができるコンピュータの一般的な構成を示すブロック図である。本発明の例示的な実施形態による入力デバイス（構成部品のすべてを含む）を示す模式図である。本発明の態様に従って使用するためのカメラシステムの３つの例示的な実施形態の一つを示す模式図である。本発明の態様に従って使用するためのカメラシステムの３つの例示的な実施形態の他の一つを示す模式図である。本発明の態様に従って使用するためのカメラシステムの３つの例示的な実施形態の他の一つを示す模式図である。ドキュメントの位置を符号化するための例示的な技術（迷路パターン）を示す図である。これを元にして電子インクを生成することができる軌跡パターンを示す図である。本発明の一実施形態によるシステムのハードウェアアーキテクチャを示すブロック図である。別の例示的な実施形態に従って電子インクを生成するための入力デバイスに組み込まれた構成部品のさらなる組合せを示す模式図である。本発明のいくつかの例示的な実施形態による入力デバイスの使用例を示す説明図である。

符号の説明

１０１キーボード
１０２マウス
１０６シリアルポートインターフェース
１０７モニタ
１０８ビデオアダプタ
１０９遠隔コンピュータ
１１０処理装置
１１１メモリ
１１２ローカルエリアネットワーク
１１３ワイドエリアネットワーク
１１４ネットワークインターフェース
１１５モデム
１２０システムメモリ
１３０システムバス
１６５デジタイザ
１６６スタイラス
１９２ハードディスクインターフェース
１９３磁気ディスクドライブインターフェース
１９４光ドライブインターフェース
１９５オペレーティングシステム
１９６アプリケーションプログラム
１９７他のプログラムモジュール
１９８プログラムデータ
２０１，７０１ペン（入力デバイス）
２０２，７０２インクカートリッジ
２０３，７０３圧力センサ
２０４，７０４カメラ
２０５誘導素子
２０６，７０６プロセッサ
２０７，７０７メモリ
２０８，７０８トランシーバ
２０９電源
２１０ドッキングステーション
２１１キャップ
２１２ドッキングステーションリング（ディスプレイ）
３０４カメラ
３２０イメージセンサ（感知アレイ）
３２１光源
３２２ハーフミラー
３２３レンズ系（レンズ）
３２４表面
６０１入力デバイス
６０４感知アレイ（イメージセンサ）
６０６プロセッサ
６０７メモリ
６０８トランシーバ（通信ユニット）
６０９電源
６２０ホスト装置（ホストコンピュータ）
６３０ドッキングクレイドル
７１５慣性センサ
８０１入力デバイス
８０２ドキュメント
８０３ＴａｂｌｅｔＰＣ（第１のコンピューティングデバイス）
８０４デスクトップＰＣ（第２のコンピューティングデバイス）
８０５プリンタ
８０６ハードコピー
８０７ポケットＰＣ

Claims

手書きのストロークを表わすデータを生成するための入力デバイスであって、
該入力デバイスが上部に位置するオブジェクトのエリアの画像を取り込み、取り込まれた画像データを生成するための画像取り込みユニットと、
前記取り込まれた画像データを処理するプロセッサと、
前記データを記憶するメモリと
を具備することを特徴とする入力デバイス。
前記入力デバイスが上部に位置する前記エリアの前記画像は、前記オブジェクトの前記エリアの位置を表わす画像データを含むことを特徴とする請求項１に記載の入力デバイス。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす画像パターンを含むことを特徴とする請求項２に記載の入力デバイス。
前記オブジェクトの前記エリアの前記位置を表わす前記画像パターンは、迷路様のパターンの一部分を含むことを特徴とする請求項３に記載の入力デバイス。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす符号化されたリファレンスを含むことを特徴とする請求項２に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わすデータを検出することを特徴とする請求項１に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像内のデータを検出し、そのデータを処理して前記オブジェクトの前記エリアの位置を割り出すことを特徴とする請求項１に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像データを処理して、手書きの入力を表わす画像ファイルを生成することを特徴とする請求項１に記載の入力デバイス。
前記画像取り込みユニットは、前記オブジェクトの多数のエリアの多数の画像を取り込み、
前記プロセッサは、前記取り込まれた画像を処理し、前記取り込まれた画像内の入力デバイスが上部に位置する前記エリアの前記位置を表わすデータを検出し、前記検出されたデータを処理してユーザ入力を表わす情報を生成することを特徴とする請求項１に記載の入力デバイス。
前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わす前記データは、前記オブジェクトの各エリアの各位置を表わす画像パターンを含むことを特徴とする請求項９に記載の入力デバイス。
前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わす前記データは、迷路様のパターンの一部分を含むことを特徴とする請求項９に記載の入力デバイス。
前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わす前記データは、前記オブジェクトの前記エリアの前記位置を表わす符号化されたリファレンスを含むことを特徴とする請求項９に記載の入力デバイス。
前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わす前記データは、複数の取り込まれた画像の中で出現する前記オブジェクトの形態を含むことを特徴とする請求項９に記載の入力デバイス。
前記プロセッサは、多数の取り込まれた画像の中で前記オブジェクトの形態の前記位置の比較を行い、前記オブジェクト上の入力デバイスの動きを特定することを特徴とする請求項１３に記載の入力デバイス。
前記オブジェクトは、コンピューティングデバイスのディスプレイを含むことを特徴とする請求項１に記載の入力デバイス。
前記オブジェクトは、ディスプレイ内のエリアの位置を表わす画像パターンを含むコンピューティングデバイスのディスプレイを含むことを特徴とする請求項１５に記載の入力デバイス。
前記ディスプレイ内のエリアの位置を表わす前記画像パターンが、前記コンピューティングデバイスの前記ディスプレイ上で生成される画像の一部として生成されることを特徴とする請求項１６に記載の入力デバイス。
前記ディスプレイ内のエリアの位置を表わす前記画像パターンが、前記ディスプレイの機構内で形成されることを特徴とする請求項１６に記載の入力デバイス。
前記オブジェクトは、書込み面を含むことを特徴とする請求項１に記載の入力デバイス。
前記書込み面は、前記書込み面内のエリアの位置を表わす画像パターンを含むことを特徴とする請求項１９に記載の入力デバイス。
前記オブジェクトは、一様でない反射面を含むことを特徴とする請求項１に記載の入力デバイス。
前記入力デバイスの動きを表わす補完的データを生成するための慣性センサをさらに含むことを特徴とする請求項１に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像データ、および前記補完的データを処理し、手書きの入力を表わす画像ファイルを生成することを特徴とする請求項２２に記載の入力デバイス。
手書きの入力を表わす信号を生成するために、前記入力デバイスの動きを表わすデータを外部処理装置に伝送する通信ユニットをさらに含むことを特徴とする請求項１に記載の入力デバイス。
手書きの入力を表わすデータを外部処理装置に伝送する通信ユニットをさらに含むことを特徴とする請求項１０に記載の入力デバイス。
前記入力デバイスがペンの形状であることを特徴とする請求項１に記載の入力デバイス。
手書きのストロークに基づいてユーザ入力を生成するための入力デバイスであって、
入力デバイスが上部に位置するオブジェクトのエリアの画像を取り込み、取り込まれた画像データを生成するための画像取り込みユニットと、
前記画像取り込みユニットを制御するコントローラと、
前記取り込まれた画像を表わすデータを記憶するメモリと、
前記取り込まれた画像データを処理するプロセッサと、
外部処理装置と通信する通信ユニットと
を具備することを特徴とする入力デバイス。
前記入力デバイスが上部に位置する前記オブジェクトの前記画像は、前記オブジェクトの前記エリアの位置を表わす画像データを含むことを特徴とする請求項２７に記載の入力デバイス。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす画像パターンを含むことを特徴とする請求項２８に記載の入力デバイス。
前記オブジェクトの前記エリアの前記位置を表わす前記画像パターンは、迷路様のパターンの一部分を含むことを特徴とする請求項２９に記載の入力デバイス。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす符号化されたリファレンスを含むことを特徴とする請求項２８に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わすデータを検出することを特徴とする請求項２７に記載の入力デバイス。
前記取り込まれた画像データを処理する前記プロセッサは、前記取り込まれた画像内のデータを検出し、そのデータを処理して前記オブジェクトの前記エリアの位置を割り出すことを特徴とする請求項２７に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像データを処理して、手書きの入力を表わす画像ファイルを生成することを特徴とする請求項２７に記載の入力デバイス。
前記オブジェクトは、コンピューティングデバイスのディスプレイを含むことを特徴とする請求項２７に記載の入力デバイス。
前記オブジェクトは、ディスプレイ内のエリアの位置を表わす画像パターンを含むコンピューティングデバイスのディスプレイを含むことを特徴とする請求項３５に記載の入力デバイス。
前記ディスプレイ内のエリアの位置を表わす前記画像パターンが、前記コンピューティングデバイスの前記ディスプレイ上で生成される画像の一部として生成されることを特徴とする請求項３５に記載の入力デバイス。
前記ディスプレイ内のエリアの位置を表わす前記画像パターンが、前記ディスプレイの機構内で形成されることを特徴とする請求項３５に記載の入力デバイス。
前記オブジェクトは、書込み面を含むことを特徴とする請求項２７に記載の入力デバイス。
前記書込み面は、前記書込み面内のエリアの位置を表わす画像パターンを含むことを特徴とする請求項３９に記載の入力デバイス。
前記オブジェクトは、一様でない反射面を含むことを特徴とする請求項２７に記載の入力デバイス。
前記入力デバイスの動きを表わす補完的データを生成するための慣性センサをさらに含むことを特徴とする請求項２７に記載の入力デバイス。
前記プロセッサは、前記取り込まれた画像データ、および前記補完的データを処理し、ユーザ入力を表わす画像ファイルを生成することを特徴とする請求項４２に記載の入力デバイス。
前記通信ユニットは、手書きの入力を表わす信号を生成するために、前記入力デバイスの動きを表わすデータを前記外部処理装置に伝送することを特徴とする請求項２７に記載の入力デバイス。
前記通信ユニットは、手書きの入力を表わすデータを前記外部処理装置に伝送することを特徴とする請求項２７に記載の入力デバイス。
前記入力デバイスがペンの形状であることを特徴とする請求項２７に記載の入力デバイス。
ユーザ入力を表わす画像情報を生成するための方法であって、
オブジェクトのエリア上に入力デバイスを位置するステップと、
前記入力デバイスが上部に位置する前記オブジェクトの前記エリアの画像を取り込むステップと、
取り込まれた画像に基づいて前記入力デバイスの前記位置を表わすデータを生成するステップと、
前記データを基に画像ファイルを生成するステップと
を含むことを特徴とする方法。
前記取り込まれた画像は、前記オブジェクトの前記エリアの位置を表わす画像データを含むことを特徴とする請求項４７に記載の方法。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす画像パターンを含むことを特徴とする請求項４８に記載の方法。
前記オブジェクトの前記エリアの前記位置を表わす前記画像パターンは、迷路様のパターンの一部分を含むことを特徴とする請求項４９に記載の方法。
前記オブジェクトの前記エリアの位置を表わす前記画像データは、前記オブジェクトの前記エリアの前記位置を表わす符号化されたリファレンスを含むことを特徴とする請求項４８に記載の方法。
前記取り込まれた画像に基づいて前記入力デバイスの前記位置を表わすデータを生成するステップは、前記取り込まれた画像内の前記オブジェクトの前記エリアの位置を表わすデータを検出するステップをさらに含むことを特徴とする請求項４７に記載の方法。
前記取り込まれた画像に基づいて前記入力デバイスの前記位置を表わすデータを生成するステップは、前記取り込まれた画像内のデータを検出し、そのデータを処理して前記オブジェクトの前記エリアの位置を割り出すステップをさらに含むことを特徴とする請求項４７に記載の方法。
前記画像ファイルを生成するステップは、手書きの入力を表わす画像ファイルを生成するステップをさらに含むことを特徴とする請求項４７に記載の方法。
前記オブジェクトの多数のエリア上で前記入力デバイスを動かすステップと、
前記入力デバイスが上部で動かされる前記オブジェクトの多数のエリアの多数の画像を取り込むステップと、
前記取り込まれた画像内の前記入力デバイスが上部に位置する前記エリアの前記位置を表わすデータを検出するステップと、
ユーザ入力を表わす情報を生成するステップと
をさらに含むことを特徴とする請求項４７に記載の方法。
前記オブジェクトのエリア上に前記入力デバイスを位置するステップは、コンピューティングデバイスのディスプレイ上に前記入力デバイスを位置するステップを含むことを特徴とする請求項４７に記載の方法。
前記コンピューティングデバイスは、前記入力デバイスを検出するためのセンサを含むことを特徴とする請求項５６に記載の方法。
前記オブジェクトのエリア上に前記入力デバイスを位置するステップは、前記ディスプレイ内のエリアの位置を表わす画像パターンを含むコンピューティングデバイス上に前記入力デバイスを位置するステップを含むことを特徴とする請求項４７に記載の方法。
前記オブジェクトのエリア上に前記入力デバイスを位置するステップは、書込み面上に前記入力デバイスを位置するステップを含むことを特徴とする請求項４７に記載の方法。
前記オブジェクトのエリア上に前記入力デバイスを位置するステップは、一様でない反射面上に前記入力デバイスを位置するステップを含むことを特徴とする請求項４７に記載の方法。
前記入力デバイスの動きを表わす補完的データを生成するステップをさらに含むことを特徴とする請求項４７に記載の方法。
前記画像ファイルを生成するステップは、前記取り込まれた画像データ、および前記補完的データを処理し、手書きの入力を表わす画像ファイルを生成するステップを含むことを特徴とする請求項６１に記載の方法。
前記補完的データが、画像を取り込むためのセンサに追加されたセンサによって生成されることを特徴とする請求項６２に記載の方法。
前記追加のセンサが、前記入力デバイスが上部に位置する前記オブジェクトの一部として形成されていることを特徴とする請求項６３に記載の方法。
前記入力デバイスが上部に位置する前記オブジェクトは、前記入力デバイスの動きを感知するためのセンサを含むディスプレイを含むことを特徴とする請求項６４に記載の方法。
前記追加のセンサが、前記入力デバイスの一部として形成されていることを特徴とする請求項６３に記載の方法。
前記取り込まれた画像を表わすデータを前記入力デバイスから外部処理装置に伝送するステップと、
前記伝送されたデータに基づいて前記入力デバイスの位置を表わすデータを生成するステップと、
前記入力デバイスの位置を表わすデータを基に手書きのユーザ入力を表わす画像を生成するステップと
をさらに含むことを特徴とする請求項４７に記載の方法。
前記手書きのユーザ入力を表わす画像データを外部処理装置に伝送するステップをさらに含むことを特徴とする請求項４７に記載の方法。
複数のコンピューティングデバイス上でユーザ入力を表わす画像情報を生成するための方法であって、
オブジェクトのエリア上に入力デバイスを位置するステップと、
前記入力デバイスの前記位置を表わす情報を含む、前記入力デバイスが上部に位置する前記オブジェクトの前記エリアの画像を取り込むステップと、
前記取り込まれた画像データをコンピューティングデバイス上で使用するためのフォーマットに変換するステップと
を含むことを特徴とする方法。
前記取り込まれた画像データをコンピューティングデバイス上で使用するためのフォーマットに変換するステップは、前記画像データを複数のコンピューティングデバイス上で使用するのに適切なフォーマットに変換するステップを含むことを特徴とする請求項６９に記載の方法。
前記取り込まれた画像データをコンピューティングデバイス上で使用するためのフォーマットに変換するステップは、前記画像データが向けられたコンピューティングデバイスを検出するステップを含むことを特徴とする請求項６９に記載の方法。
前記画像データが向けられたコンピューティングデバイスを検出するステップは、前記入力デバイスと前記コンピューティングデバイスの間の通信に基づくことを特徴とする請求項７１に記載の方法。
前記画像データが向けられたコンピューティングデバイスを検出するステップは、前記入力デバイスに対する前記ユーザによる入力に基づくことを特徴とする請求項７１に記載の方法。
前記取り込まれた画像データに基づいて前記入力デバイスの前記位置を表わすデータを生成するステップをさらに含むことを特徴とする請求項６９に記載の方法。