JP2007128485A - ユーザ記述をユーザ筆記可能エレメントと関連付ける方法及び装置 - Google Patents

Abstract

【課題】ユーザ記述をユーザ筆記可能エレメントと関連付ける方法及び装置
【解決手段】
方法は、ユーザ筆記可能なエレメントを表面上に描くようユーザに可聴的にプロンプトする工程を含む。ユーザ記述が表面上で検出される。ユーザ記述の表面上の位置が記録される。この位置はユーザ筆記可能エレメントと関連付けられる。
【選択図】図１３Ａ

Description

本発明の実施例は、インタアクティブなデバイスの分野に関する。特に、本発明の実施例は、ペン・ベースのインタアクティブなデバイスに関する。

光学式読み取り装置や光学式ペンなどのデバイスは、通常、検出器やイメージャに向けて表面を反射する光を発出する。デバイスを表面に向けて（か、その逆に）移動させると、連続した画像がすばやく捕捉される。画像を解析することによって、表面に対する、光デバイスの移動を追跡することができる。

１つのタイプの光学式ペンは、非常に小さな点が上に印刷される紙に用いる。点は、ページ上に、間隔がわずかに約０．３ミリメートルであるパターンで印刷される。ページ上の何れかの領域内の点のパターンは、その領域に一意である。光学式ペンは事実上、場合によっては一秒間に１００回以上表面のスナップショットを得るものである。各スナップショットにおいて捕捉される点位置を解釈することによって、光学式ペンは、その、ページに対する位置を高精度で判定することができる。

表面に対する光学式ペンの位置についての情報を利用するアプリケーションが考え出されてきたか、考え出されている。ブルートゥースや他の無線機能を備える光学式ペンを、他のデバイスにリンクし、電子メールやファクシミリを送るのに用いることができる。

組み込みコンピュータ・システムの能力と、そうしたシステムが実施することができる機能の複雑度との増大によって、より直感的かつユーザ・フレンドリなかたちでそうした能力をアクセスすることに対する必要性が生まれた。従来技術の光学式ペンは通常、ユーザが光学式ペンの１つ若しくは複数のボタン／スイッチ又は制御部を操作して１つ又は複数のソフトウェア・プログラム、ルーチン、組み込みデバイス等を起動させることによってその意図された機能を実施するものである。ペンは、コンピュータ・システムを含むか、コンピュータ・システムと通信することがあり得る。そうした制御部を駆動させると、ペン・デバイスはその意図された機能を行う。ペン自体の上に備える限定された数及び構成のスイッチ、ボタン等や、何れかの遠隔結合コンピュータ・システム・デバイスによって、一層能力が増大している光学式ペンの機能をアクセスすることは、十分な解決策ではない。

従来技術の解決策の１つは、光学式ペンを用いてユーザ定義コマンドを認識し、そのコマンドを用いてペンの特定の機能を引き起こす（例えば、ＰＣＴ出願公開０１／４８５９０Ａ１。）例えば、ユーザの記述は、（例えば、リアルタイムで）認識され、光学式ペンに対するコマンドとして解釈され得る。この解決策の欠点は、ペンの機能の相互作用及び制御が、ユーザの手書きが（例えば、ユーザが紙上にコマンドを筆記するにつれて）リアルタイムで認識されることを必要とすることを伴う。この解決策は、光学式ペンのより複雑な機能との相互作用が、ユーザが１つ又は複数のコマンドを繰り返し筆記してペンによって備えられる種々の選択、オプション又は機能をアクセスすることを必要とすることが理由で、満足なものでない。更に、記述の認識を必要とすることは、計算量的に集約的であり、かなりの電力資源を消費し得る。更に、認識は、既知の文字にのみ適用可能であり、画像、作図や他の認識不能な記号には利用可能でない。

よって、ユーザ記述をユーザ筆記可能エレメントと関連付ける効率的なユーザ・インタフェースを備えるインタアクティブなデバイスに対する必要性が存在する。この必要性を満たし、ユーザ筆記可能エレメントをユーザが描くよう可聴的にプロンプトするインタアクティブなデバイスに対する必要性も存在する。前述の必要性を満たし、ユーザ記述の処理や認識を必要としないインタアクティブなデバイスに対する必要性も存在する。

本発明、すなわち、ユーザ記述をユーザ筆記可能エレメントと関連付ける方法を本明細書及び特許請求の範囲に記載する。ユーザは、ユーザ筆記可能エレメントを表面上に描くよう可聴的にプロンプトされる。ユーザ筆記可能エレメントは、テキスト列、語、記号、グラフィック・エレメント、画像や、ユーザが描いた何れかの他のアイテムに限定されないがそれらを含み得る。一実施例では、ユーザは、表面の特定の領域内にユーザ筆記可能エレメントを描くよう可聴的にプロンプトされる。

ユーザ記述が表面上で検出される。ユーザ記述の存在のみが検出され、ユーザ記述は処理も認識もされない。一実施例では、ユーザ記述は、可聴プロンプトの直後の最初の記述である場合に、可聴プロンプトに応じたものとして判定される。表面上のユーザ記述の位置が記録される。この位置は、ユーザ筆記可能エレメントに関連付けられる。一実施例では、ユーザ記述との相互作用の検出に応じて、ユーザ記述可能エレメントに関する動作が実行される。

一実施例では、入力機能に関連した第２のユーザ記述が表面上で認識される。一実施例では、第２のユーザ記述はチェックマークである。一実施例では、第２のユーザ記述との相互作用の検出に応じて、ユーザ筆記可能エレメントに関連した入力機能が実行される。

別の実施例では、本発明は、ユーザ筆記可能エレメントとユーザ記述を関連付ける上記方法を実施するよう動作可能な、バスと、プロセッサと、メモリ装置と、オーディオ出力装置と、筆記具エレメントと、光検出器とを含むインタアクティブなデバイスを備える。別の実施例では、本発明は、ユーザ記述をユーザ筆記可能エレメントと関連付ける前述の方法をコンピュータ・システムに行わせるコンピュータ判読可能プログラム・コードを中に実施させた、コンピュータによって利用可能な媒体を備える。

概して、本明細書及び特許請求の範囲は、ユーザ記述をユーザ筆記可能エレメントと関連付ける方法及び装置を教示する。この方法は、ユーザ筆記可能エレメントを表面上でユーザが描くよう可聴的にプロンプトする工程を含む。ユーザ記述は表面上で検出される。ユーザ記述の表面上の位置が記録される。この位置はユーザ筆記可能エレメントと関連付けられる。

本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。

例を添付図面に示す、本発明、すなわち、表面上に記述された選択可能アイテムをユーザが作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスの種々の実施例を次に、詳細に参照する。本発明は、こうした実施例に関して説明するが、そうしたものは、そうした実施例に本発明を限定することを意図するものでない。逆に、本発明は、本特許請求の範囲記載の、本発明の技術思想内及び範囲内に含まれ得る代替、修正及び均等物を包含することが意図されている。更に、本発明の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施し得るということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分、及び回路は、本発明の局面を不必要にわかりにくくすることがないように、詳細には説明していない。

以下の、詳細な説明の一部分は、コンピュータ・メモリに対して行うことができる、データ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が当該技術分野の他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものと考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数、又は同様なものとして表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。

しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「プロンプト」、「検出」、「記録」、「結合」、「処理」、「実行」、「認識」、又は同様なものなどの語を利用した記載は、電子的デバイスのレジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、電子的デバイスのメモリ内、レジスタ内や他のそうした情報記憶デバイス内、情報伝送デバイス内や情報表示デバイス内の物理的数量として同様に表す他のデータに変換する、電子システム（例えば、図１のインタアクティブなデバイス１００）や同様な電子計算機装置の動作及び処理を表す。

本発明、すなわち、ユーザ記述をユーザ筆記可能エレメントと関連付ける方法及び装置の種々の実施例を本明細書及び特許請求の範囲に記載する。一実施例では、前述の実施例は、ユーザが、表面上に記述される選択可能なアイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイス内で実施される。本発明は、電子ディスプレイを、紙などの筆記可能な表面によって置き換える表面をユーザに備える。ユーザは、関連した機能を実行し、かつ／又は、ユーザ記述データ、例えば、語、文字、数字、記号等を表す記述アイテムを表面上に作成し得る。ユーザ記述は、表面上で永続的なものであり、それによって、インタアクティブなデバイスの操作にわたって種々のユーザ記述と関連した動作をユーザが実行することが可能になる。一実施例では、ユーザ筆記可能エレメントをユーザが表面上で描くよう可聴的にプロンプトすることに応じて、ユーザ記述が、ユーザ筆記可能エレメントであるということの確認なしで検出される。表面上のユーザ記述の位置が記録され、その位置は、ユーザ筆記可能エレメントと関連付けられる。この「プロンプト及び確信」機能によって、インタアクティブ・デバイスがユーザ記述を、プロンプトされたユーザ筆記可能エレメントと、ユーザ記述の認識を行うことなく関連付けることが可能になる。

図１は、本発明の実施例によるインタアクティブなデバイス１００を示す。インタアクティブなデバイス１００は、プロセッサ１１２と、メモリ装置１１４と、オーディオ出力装置１１６と、筆記具エレメント１１８と、光検出器１２０とをハウジング１３０内に有する。一実施例では、プロセッサ１１２、メモリ装置１１４、オーディオ出力装置１１６、及び光検出器１２０は、通信するようバス１２２を介して結合される。

一実施例では、ハウジング１３０は、スタイラス又は（例えばペンに似た）筆記用具の形態での形状を有する。ユーザは、スタイラスを持つのと同様にインタアクティブ・デバイス１００を持ち得る。筆記具エレメント１１８は、ユーザが筆記具エレメント１１８を筆記可能表面（図示せず）に接触させて置くことができるようにハウジング１３０の一方端部に配置される。筆記具エレメント１１８は、ペン、鉛筆、マーカ、クレヨンや何れかの他のマーキング用具を含み得る。なお、筆記具エレメント１１８は、非マーキング先端部も含み得る。使用中、ユーザはインタアクティブなデバイス１００を持ち、筆記用具と同様に用いて、紙上などの表面上に筆記することができる。

筆記具エレメント１１８を用いて、表面上にユーザ記述される選択可能なアイテムを作成し得る。「ユーザ記述される選択可能なアイテム」は、ユーザによって作成される何れかのマーキングを含み得る。マーキングが表面上（例えば、紙上）に作成される場合、ユーザ記述される選択可能なアイテムは印刷エレメントであり得る。ユーザ記述される選択可能なアイテムは、レター及び／又は数字、文字、語、形状、線等などの記号、しるしに限定されないがそうしたものを含む。それらは、形状が正則のものであっても正則でないものであってもよく、通常、スタイラスを用いて作成される。

インタアクティブなデバイス１００によって、インタアクティブなデバイス１００が備える別々の機能を表すユーザ記述される選択可能なアイテムをユーザが作成することが可能になる。一実施例では、ユーザ記述される選択可能アイテムは、プロセッサ１１２によって実行可能なアプリケーション・プログラム（例えば、電卓アプリケーションや辞書アプリケーション）の記号表現を含む。別の実施例では、ユーザ記述される選択可能アイテムは、ナビゲーション・アイテム（例えば、メニュー）、プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテム、アプリケーション・オプション・セレクタ、又はデータのインスタンス（例えば、語）を含み得る。

一部の実施例では、ユーザ記述される選択可能なアイテムは、回りに線が描かれたレター又は数字を含み得る。レター又は数字の回りに描かれた線は、円形、楕円形、方形、多角形等であり得る。そうしたユーザ記述される選択可能なアイテムは、通常のレター及び数字の代わりにユーザによって選択することができる「ボタン」に似たもののように見える。この種のユーザ記述される選択可能なアイテムを作成することによって、ユーザは、機能アイコンなどのユーザ記述される選択可能なアイテムを通常のレター及び数字から視覚的に区別することができる。更に、この種のユーザ記述される選択可能なアイテムを作成することによって、インタアクティブなデバイス１００は、機能的タイプ又はメニュー・アイテム・タイプのユーザ記述される選択可能なアイテムを、非機能的タイプ又は非メニュー・アイテム・タイプのユーザ記述されるアイテムからよりうまく区別ことができる場合もある。例えば、ユーザは、インタアクティブな「メニュー」アイコンを作成するよう回りに描かれた円を有するレター「Ｍ」であるユーザ記述される選択可能なアイテムを作成し得る。インタアクティブなデバイス１００は、語内のレター「Ｍ」から区別されるものとしての機能的なユーザ記述される選択可能なアイテムとして、中にレター「Ｍ」を備える重なる円形又は方形を認識するようプログラムし得る。そうした機能的なユーザ記述される選択可能なアイテムを認識し、そうしたものを他の非機能的なユーザ記述されるアイテムと区別するコンピュータ・コードは、インタアクティブなデバイス１００内のメモリ装置１１４に存在し得る。

図２Ａ及び図２Ｂは、本発明の実施例による、紙上の例示的なユーザ記述される選択可能なアイテムを示す。図２Ａを参照すれば、ユーザ記述される選択可能なエレメント２０６は、回りに円２０４を備えるレター「Ｍ」２０２である。ユーザ記述される選択可能なアイテム２０６は、インタアクティブなデバイスの筆記具エレメント（例えば、図１の筆記具エレメント１１８）によって紙２００上に描かれる。

一実施例では、ユーザ記述される選択可能なアイテム２０６は、インタアクティブなデバイスのメニュー機能を表す。特定なメニュー・アイテム、ディレクトリ、又はサブディレクトリの選択を示すために、ユーザは、別のユーザ記述される選択可能なアイテムを作成してもよく、インタアクティブなデバイス１００によってジェスチャを行ってもよい。例えば、ユーザがメニューのサブディレクトリを下に進みたい場合、紙２００上にチェックマーク２１０を描いて、選択が行われた旨を示し得る。チェックマークを描いた後、ユーザ選択可能なアイテム２０６と関連付けられるメニュー・アイテムは、紙上２００のユーザ記述される選択可能なアイテム２０６近くでのインタアクティブなデバイス１００の後の選択又は「下方接触」の各々の後、オーディオ出力装置１１６によって可聴的にレンダリングし得る。チェックマーク２１０との相互作用によって更に、可聴的にレンダリングされた最後のオプションが選択される。例えば、「電卓」の語の暗唱をユーザが聴いた後、「電卓」機能を更に選択して、インタアクティブなデバイス１００の処理のモードを電卓機能に切り換えることができる。

図２Ｂは、空白の紙２００上に紙電卓を作成することができる。この例では、前述のような「電卓」機能をユーザが選択した後、インタアクティブなデバイス１００は、数字０乃至９と、演算子＋、−、×、／、及び＝とをユーザが筆記するよう可聴的にプロンプトする。例えば、ユーザを、加算、減算、乗算、除算、及び等号などの演算のための数字及び算術演算子を含むユーザ記述される選択可能なアイテム２２０を作成するようプロンプトし得る。これらは、表面上に強く描かれる。インタアクティブなデバイス１００は、作成されたグラフィック・エレメントの位置を認識し、作成された実際のユーザ記述される選択可能なアイテムを認識する。ユーザは更に、少なくとも２つのユーザ記述される選択可能なアイテムを選択して、そうした少なくとも２つのグラフィック・エレメントの選択に関するオーディオ出力を受信することができる。例えば、ユーザは、グラフィカル・エレメントの系列「４」、「＋」、「７」、「＝」を選択して、インタアクティブ装置１００が結果「１１」の暗唱を聴き得る。

ユーザ記述される選択可能なアイテム２０６によって表されるメニューと、ユーザ記述される選択可能アイテム２２０によって表される紙電卓は、後に再使用することができるが、それは、インタアクティブなデバイス１００が、ユーザ記述された選択可能なアイテムの位置をメモリ装置１１４に記憶したからである。更に、ペンのユーザ記述される選択可能なアイテム２２０との相互作用によって、電卓機能が自動的に引き起こされることになる。

図２Ｂも、データ２３０を含む。図２Ｂに示す例では、データ２３０は、「ＣＡＴ」の語である。なお、データ２３０は、インタアクティブなデバイス１００上で動作するアプリケーションによって用い得る何れかの情報（例えば、英数字記号、画像、作図、マーキング等）であり得る。記述されると、テキスト列ＣＡＴは、猫という語として自動的に認識される。表面上のその位置も記録される。インタアクティブなデバイス１００のこのテキスト列との相互作用によって、識別された語ＣＡＴが自動的に呼び戻される。

光検出器１２０は、スタイラス形状のインタアクティブなデバイス１００の一方端部にある。光検出器１２０は、表面上の情報を検出するよう動作可能である。例えば、光検出器１２０は、電荷結合素子を備え得る。一実施例では、インタアクティブなデバイスは、光検出器１２０によって検出される表面の一部分を照射する光エミッタも備える。光検出器１２０によって検出された情報は、プロセッサ１１２に送信される。

プロセッサ１１２は、インタアクティブなデバイス１００の機能を実施するうえで何れのエレクトロニクスを有してもよい。プロセッサ１１２は、ユーザ記述される選択可能なアイテムを認識することができ、インタアクティブなデバイス１００が種々の処理を行うことができるようにユーザ記述される選択可能なアイテムの位置を識別することができる。こうした実施例では、メモリ装置１１４は、ユーザによって生成される何れかのユーザ記述される選択可能なアイテムを、表面上の位置と関係付けるコンピュータ・コードを備え得る。

メモリ装置１１４は、インタアクティブなデバイス１００の機能の何れかを行うコンピュータ・コードを備える。一実施例では、メモリ装置１１４に記憶され、プロセッサ１１２上で実施されるコンピュータ・コードは、ユーザ記述される選択可能なアイテムのユーザ選択に応じ、選択に応じて、ユーザ記述される選択可能なアイテムに関連した機能を実行するよう動作可能である。別の実施例では、メモリ装置１１４に記憶され、プロセッサ１１２上で実施されるコンピュータ・コードは、考えられるユーザ記述される選択可能なアイテムのリストを可聴的にレンダリングするようオーディオ出力装置１１６に指示するよう動作可能であり、プロセッサ１１２は、複数のユーザ記述される選択可能なアイテムをユーザが記述したということを検出するよう動作可能であり、プロセッサ１１２は、複数のユーザ記述される選択可能なアイテムのうちの１つ又は複数のユーザ記述される選択可能なアイテムのユーザ選択に応じて、選択されるユーザ記述される選択可能なアイテムの各々に関連した別々の機能を実行するよう動作可能である。

一実施例では、プロセッサ１１２は、記号認識又は文字認識を用いた選択に応じてユーザ記述される選択可能なアイテムを自動的に識別するよう動作可能である。別の実施例では、プロセッサ１１２は、上に記述されると表面上のユーザ記述される選択可能なアイテムの表面位置を自動的に記録するよう動作可能である。プロセッサ１１２は、ユーザ記述される選択可能なアイテムの検出される表面位置に基づいたユーザ選択に応じて、ユーザ記述される選択可能なアイテムを自動的に識別するよう動作可能である。

一実施例では、本発明は、インタアクティブなデバイス１００のオペレーティング・システムを備える。オペレーティング・システムは、表面上のユーザ記述される選択可能なアイテムを検出し、ユーザ記述される選択可能なアイテムを機能と関連付け、ユーザ記述される選択可能なアイテムとのユーザ相互作用に応じて、関連付けられた機能を実行するよう動作可能である。

他の実施例では、メモリ装置１１４は、印刷文字を認識するコンピュータ・コードと、ユーザの手書きを認識し、ユーザの手書きを解釈するコンピュータ・コード（例えば、手書き文字認識ソフトウェア）と、物体上の位置を各々の印刷エレメントと関係付けるコンピュータ・コードと、文字を音声に変換するコード（例えば、文字・音声変換エンジン）と、メニュー・アイテムを暗唱するコンピュータ・コードと、言語の翻訳を行うコンピュータ・コード（例えば、英語から外国語に翻訳する辞書）等を備え得る。文字を音声に変換するソフトウェアは、いくつかの別々のベンダーから市場で入手可能である。

メモリ装置１１４は、オーディオ出力及び視覚出力のコードも備え得る。例えば、音響効果のコード、語の発話のコード、授業計画及び教育のコード、質問のコード等を全て、メモリ装置１１４に記憶し得る。これらのものなどのオーディオ出力のコードは、物品自体上ではなく、インタアクティブな装置がオフにされてもデータが確保されるように永続的又は半永続的に）非揮発性メモリに記憶し得る。本願に記載する前述及び他のコンピュータ・コードは、メモリ装置１１４に含めることができ、Ｃ、Ｃ＋＋等を含む何れかの適切なプログラミング言語を用いて作成することができる。

メモリ装置１１４は、ＲＯＭやフラッシュ・メモリ・カートリッジなどの取り外し可能なメモリ装置であり得る。他の実施例では、メモリ装置１１４は、１つ又は複数のメモリ装置（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）を備え得る。メモリ装置１１４は、何れかの適切な磁気的、電子的、電磁気的、光学的、又は光電子的データ記憶装置を備え得る。例えば、１つ又は複数の半導体ベースの装置がメモリ装置１１４内にあり得る。

オーディオ出力装置１１６は、イヤピース若しくはヘッドセットに結合するスピーカ又はオーディオ・ジャック（及び、例えば、イヤピース・ジャック若しくはヘッドセット・ジャック）を含み得る。一実施例では、オーディオ出力装置１１６は、考えられるユーザ記述された選択可能アイテムのリストを可聴的にレンダリングするよう動作可能である。オーディオ出力装置１１６は、ユーザ記述された選択可能アイテムのユーザ選択に応じて情報を可聴的にレンダリングするよう動作可能でもあり得る。

なお、インタアクティブなデバイス１００は、表面上に予め印刷された選択可能アイテムに関連した機能を認識し、実行するよう動作可能でもある。一実施例では、表面上の予め印刷された選択可能アイテムのユーザ選択に応じて、プロセッサ１１２は、予め印刷された選択可能アイテムのユーザ選択に応じて、予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能である。一実施例では、プロセッサ１１２は、記号認識を用いて予め印刷された選択可能物を自動的に識別するよう動作可能である。別の実施例では、プロセッサ１１２は、予め印刷された選択可能アイテムの、検出された表面位置に基づいて、予め印刷された選択可能アイテムを自動的に識別するよう動作可能である。更に、別の実施例では、プロセッサ１１２は、別々の有界領域が別々のアプリケーション・プログラムと関連付けられるように、表面の特定の有界領域に基づいてアプリケーション・プログラムを識別するよう動作可能である。

一部の実施例では、表面は、予め印刷された選択可能アイテムを備える紙であり得るものであり、予め印刷された選択可能アイテムを備えるものでない紙であり得る。アカウントは、本発明の一実施例による、マークのパターンを備えた紙１５を示す。図３の実施例では、紙１５には、マーク１８のパターンから成る光学的に読み取り可能な位置コード１７の形式でのコード化パターンが備えられる。図３中のマーク１８は、分かりやすくするよう大きく拡大している。実際には、マーク１８は、人間の視覚系によって容易に識別可能なものでなく、紙１５上ではグレイスケールとして見え得る。一実施例では、マーク１８は点として実施される。しかし、本発明はそのように限定されるものでない。

図４は、図３の位置コード１７の拡大部分１９を示す。インタアクティブなデバイス１００（図１）などのインタアクティブなデバイスは、位置コード１７の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点２２で交差するラスタ線２１を備えるラスタの形式での基準系にマーク１８を合わせる。マーク１８の各々は、ラスタ点２２に関連付けられる。例えば、マーク２３はラスタ点２４に関連付けられる。画像／ラスタ内のマークについて、マークに関連付けられたラスタ点からのマークのずれが判定される。こうしたずれを用いて、画像／ラスタ内のパターンが、基準系内のパターンと比較される。基準系内の各パターンは、表面７０上の特定の位置と関連付けられる。よって、画像／ラスタ内のパターンを基準系内のパターンと照合することによって、表面７０上のパターンの位置、と、よって、表面７０に対する光デバイスの位置を判定することができる。

一実施例では、紙１５上のマークのパターンは、実質的に不可視のコードである。コードは、ユーザの目に対して「実質的に不可視」であり、ページ上の選択可能アイテムの絶対位置又は相対位置に相当し得る。「実質的に不可視」は、ユーザの目に対して完全に不可視であるかわずかに不可視であるコードも含む。例えば、ユーザの目に対してわずかに不可視である点コードが紙にわたって印刷されている場合、紙は、通常の観察距離で観察すると淡い灰色の色合いを有しているように見え得る。場合によっては、ユーザが、インタアクティブなデバイス１００によってコードを走査した後、インタアクティブなデバイス１００内のオーディオ出力装置１１８は、コードと関連付けられたユーザ記述された選択可能アイテムに相当する（、ビープ音のような、識別できないオーディオ出力とは対照的な、）一意のオーディオ出力を生成する。

一実施例では、実質的に不可視であるコードは、点パターンによって実施される。可視の印刷ドット・パターン、又は「潜在意識に印象付ける」印刷がされた点パターンを読み取る技術は、市場で入手可能である。こうした印刷点パターンは、（通常のバーコードとは違って）点パターン内に存在するコードがユーザの目によって通常の使用において検出できないようにユーザの目に対して実質的に不可視である。点パターンは、例えば、２値コード化におけるように１及び０を表すことができる小型点と大型点との特定の組み合わせによって実施することができる。点パターンは、印刷エレメントを印刷するのに用いるインクとは異なるインクによって印刷できるので、インタアクティブなデバイス１００は点パターンを特に読み取ることができる。

スウェーデンの企業であるアノト社は、多くの文書群にわたって競合なしで用いる一意のデータ空間が非常に大きくなることを可能にするパターンを生成するアルゴリズムを用いる技術を用いる。このパターンは、完全に印刷されると、７０兆の２１６ｍｍ×２７９．５ｍｍ（レターサイズ）のページに及び、何れかのページ上の何れかの２センチメートルの方形が一意に認識されるものである。特定の点パターンを含む紙は、アノト社から、市場で入手可能である。米国特許第６，５０２，７５６号明細書と、西暦２００２年６月２６日付出願の米国特許出願第１０／１７９，９６６号明細書と、国際公開第０１／９５５５９号パンフレットと、国際公開第０１／７１４７３号パンフレットと、国際公開第０１／７５７２３号パンフレットと、国際公開第０１／２６０３２号パンフレットと、国際公開第０１／７５７８０号パンフレットと、国際公開第０１／０１６７０号パンフレットと、国際公開第０１／７５７７３号パンフレットと、国際公開第０１／７１４７５号パンフレットと、国際公開第０１／７３９８３号パンフレットと、国際公開第０１／１６６９１号パンフレットとの特許及び特許出願はアノト社に譲渡されており、この基本技術を記載しており、全て、あらゆる目的でそれらの全体を本明細書及び特許請求の範囲に援用する。

一部の実施例では、点パターンは、データ・ブロックのマーカを表すデータ、オーディオ・データ、及び／又はエラー検出データなどの他のタイプのデータがない状態にあり得る。前述のように、インタアクティブなデバイス１００内のプロセッサ１１２はルックアップ・テーブルを用いてスタイラスの位置を判定することができ、オーディオを、位置情報に基づいて取り出し、再生することができる。このことは利点を有する。例えば、マーカのデータ、オーディオのデータ、及びエラー検出のデータを上に印刷させた紙と比較すれば、本発明の実施例は少ない点を必要とするが、それは、マーカのデータ、オーディオのデータ、及びエラー検出のデータを紙上に印刷しなくてよいからである。例えば、オーディオ・データを紙から省くことによって、紙上のより多くの空間をインタアクティブにレンダリングすることができるが、それは、実際のオーディオ・データが紙上の空間を占めなくてよいからである。更に、オーディオのコンピュータ・コードが本発明の実施例におけるインタアクティブなデバイス１００に記憶されるので、生成されるオーディオが、例えば、紙におけるしわや破れによって損傷又は改変されることになる可能性は低い。

なお、点パターン・コードを本明細書中で特に説明したが、他のタイプの実質的に不可視であるコードを本発明の他の実施例に用い得る。例えば、赤外線バーコードを、物品上のアレイ内に配置される場合に用い得る。例証すれば、紙は、各コードが紙上の別々のｘ−ｙ位置に関連付けられた、１００×１００のアレイの実質的に不可視であるバーコードを含み得るものである。アレイ内のバーコードの相対位置又は絶対位置をインタアクティブ・デバイス１００内のメモリ装置１１４に記憶し得る。

前述のように、一部の実施例では、実質的に不可視であるコードは、紙上の複数の場所及び／又は何れかの選択可能アイテムの位置に直接的又は間接的に関係し得る。一部の実施例では、実質的に不可視であるコードは、紙上（や他の表面上）の複数の場所の位置に直接関係し得る。こうした実施例では、紙上の別々の場所の位置をコード自体によって備え得る。例えば、第１の場所にある第１のコードは紙上の第１の場所の空間座標（例えば、特定のｘ−ｙ位置）のコードを含み得る一方、第２の場所にある第２のコードは紙上の第２の場所の空間座標のコードを含み得る。

別々のユーザ記述された選択可能アイテムは、紙上の別々の場所にあり得る。これらのユーザ記述された選択可能アイテムは、コードを覆って形成し得る。例えば、第１のユーザ記述された選択可能アイテムは、第１のコードに重なる第１の場所で形成し得る。第２のユーザ記述された選択可能アイテムは、第２のコードに重なる第２の場所で形成し得る。ユーザが第１のユーザ記述された選択可能アイテムを形成すると、走査装置は、形成された第１の印刷エレメントを認識し、形成された第１のユーザ記述された選択可能アイテムに関連した第１のコードを実質的に同時に走査する。インタアクティブなデバイス１００内のプロセッサ１１２は、第１の場所の特定の空間座標を判定することができ、第１のユーザ記述された選択可能アイテムを空間座標と関係付けることができる。

ユーザが第２のユーザ記述された選択可能アイテムを形成すると、走査装置は、形成された第２のユーザ記述された選択可能アイテムを認識し、第２のコードを実質的に同時に走査する。プロセッサ１１２は、更に、第２の場所の空間座標を判定することができ、第２のユーザ記述された選択可能アイテムを空間座標と関係付けることができる。ユーザは更に、インタアクティブなデバイス１００を用いて第１のユーザ記述された選択可能アイテム及び第２のユーザ記述された選択可能アイテムを後に選択することができ、インタアクティブなデバイス１００は、更なる動作を行うことができる。例えば、この方法論を用いて、ユーザは、空白の紙上にユーザ定義インタフェース又は機能的デバイスを作成することができる。

インタアクティブ・デバイス１００は、相対位置又は絶対位置を、形成されたユーザ記述された選択可能アイテムとメモリ装置１１４内でマッピングする、すなわち関係付ける機構も含み得る。この機構は、物品上の特定のユーザ記述された選択可能アイテムに関するデータを、物品上の特定の位置に関係付けるルックアップ・テーブルであり得る。このルックアップ・テーブルをメモリ装置１１４に記憶することができる。プロセッサ１１２は、プロセッサ１１２が後の動作を行うことができるように、ルックアップ・テーブルを用いて、特定の位置で、ユーザ記述された選択可能アイテムを識別することができる。

実質的に不可視であるコードを備えた表面は、何れかの適切な形態のものであり得る。例えば、表面は、単一の紙、メモパッド、ルーズリーフ用紙、ポスター、プラカード、メニュー、スティッカー、タブ、商品の包装、箱、トレーディング・カード、磁石（例えば、冷蔵雇用磁石）、ホワイトボード、テーブルの天板等であり得る。更に、表面は、紙、木、金属、プラスチック等に限定されないがそれらを含む何れかの材料から成り得る。前述及び他のタイプのうちの何れかの表面を、予め印刷された選択可能アイテムとともに用いることができ、予め印刷された選択可能アイテムなしで用いることができる。表面がシートである場合、シートは何れかの適切なサイズのものであり得るものであり、何れかの適切な材料でできたものであり得る。例えば、シートは紙ベースのものであってもプラスチック・フィルムであってもよい。一部の実施例では、表面は、３次元の表面を備える３次元の物品であり得る。３次元の表面は、人体、動物（例えば、恐竜）、車両、キャラクターの成形フィギャアや、他のフィギャアを含み得る。

一部の実施例では、表面はシートであり、シートは、印刷されたレター又は数字などの予め印刷された選択可能エレメント（例えば、ユーザ記述された選択可能アイテムをユーザがシート上に作成する前に作成されたマーキング）がない状態にあり得る。他の実施例では、予め印刷された選択可能アイテムは（例えば、ユーザ記述された選択可能アイテムをユーザがシート上に作成する前に）シート上にあり得る。予め印刷された印刷エレメントは、数字、アイコン、レター、円、語、記号、線等を含み得る。例えば、本発明の実施例は、予め印刷された注文伝票や投票用紙などの予め印刷された用紙を利用することができる。

インタアクティブなデバイス１００は何れかの適切な形態のものであり得る。一実施例では、インタアクティブなデバイス１００は、スタイラスの形状をした走査装置である。一実施例では、インタアクティブなデバイス１００は、小型のものである。スタイラスは、プラスチック又は金属でできていることがあり得るスタイラス・ハウジングを含む。グリップ部分は、スタイラス・ハウジング上にあり得る。

図５は、本発明の一実施例による、表面上の、ユーザによって描かれた選択可能アイテムとの相互作用を容易にする処理５００の工程の流れ図を示す。処理５００は、本発明の一実施例による、ユーザ記述された選択可能アイテム、グラフィック・エレメント、筆記、マーク等の形式のユーザ入力を解釈し、要求された機能をユーザに提供するにつれての、インタアクティブなデバイス（例えば、インタアクティブなデバイス１００）によって実施されるユーザ・インタフェース処理の基本動作工程を示す。

工程５１０では、デバイス１００のコンピュータ実施機能は記述可能表面上でユーザ記述された選択可能アイテムを検出する。工程５１２では、ユーザ記述された選択可能アイテムが、ユーザ記述された選択可能アイテムの機能とともに認識される。この機能は、例えば、ユーザによって後に起動される機能（例えば、メニュー選択）の所定のリストを発音することができるメニュー機能であり得る。工程５１４では、ユーザによって描かれた選択可能アイテムとの相互作用が検出される。この相互作用は、ユーザ記述された選択可能アイテムの記述と、インタアクティブなデバイスによるユーザ記述された選択可能アイテムとの相互作用（例えば、ユーザ記述された選択可能アイテムに軽く触れること）、又は、関連したユーザ記述された選択可能アイテム（図２Ｂのチェックマーク２１０）との相互作用を含み得る。この機能は、ユーザ記述された選択可能アイテムと永続的に関係付けられ、それによって、グラフィカル・エレメント・アイコンの後の相互作用（例えば、軽く触れること）による機能の後の（例えば、後の特定時点での）アクセスが可能になる。例えば、メニュー機能の場合、リストされたメニュー選択は、メニューのグラフィック・エレメントのアイコンを単に駆動させる（例えば、そのアイコンに軽く触れる）ことによって後の特定の時点でユーザによって後にアクセスすることができる。

このようにして、本発明の実施例は、ペン及び紙のタイプのインタフェースを用いてインタアクティブなデバイス（例えば、図１のインタアクティブなデバイス１００）の機能をたどるユーザ・インタフェース手段を実施する。ユーザ記述された選択可能アイテムによって実施されるユーザ・インタフェースは、インタアクティブなデバイス１００内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、インタアクティブなデバイス１００への入力は、ユーザ記述された選択可能アイテムをユーザが作成すること、又は、ユーザ記述された選択可能アイテム若しくは予め印刷された選択可能アイテムなどのユーザ動作を含む。ペンからの出力はオーディオ出力であり、よって、ユーザ・インタフェース手段によって、ペンのアプリケーション及び機能とユーザが「対話」を行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペンがお互いに相互作用することが可能になる、表面上のユーザ記述された選択可能アイテムなどのお互いに認識されるアイテムをユーザが作成することが可能になる。前述のように、お互いに認識されるアイテムは、通常、紙上などの表面上にユーザが描く記号又はマーク若しくはアイコンである。

本発明の別の実施例
図６は、本発明の他の実施例を実施することができるペン・デバイス１５０の構成図である。一般的には、ペン・デバイス１５０は、光デバイスとして表し、特に、光学式読み取り装置、光学式ペン、又はディジタル・ペンとして表し得る。デバイスは、上に常駐するコンピュータ・システム及びオペレーティング・システムを含み得る。アプリケーション・プログラムも上にあり得る。

図６の実施例では、ペン・デバイス１５０は、プロセッサ３２をハウジング６２内に含む。一実施例では、ハウジング６２は、ペンや他の筆記若しくはマーキングの器具又は用具の形態を有する。プロセッサ３２は、以下に説明するペン・デバイス１５０の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。

本発明では、ペン・デバイス１５０は、プロセッサ３２に結合されたオーディオ出力装置３６及び表示装置４０を含み得る。別の実施例では、オーディオ出力装置及び／又は表示装置は、ペン・デバイス１５０と物理的に離れているが、有線接続又は無線接続を介してペン・デバイス１５０と通信する。無線通信の場合、ペン・デバイス１５０は、送受信器又は送信器（図６に示していない。）を含み得る。オーディオ出力装置３６は、スピーカ又は（例えば、イヤフォン用若しくはヘッドフォン用の）オーディオ・ジャックを含み得る。表示装置４０は、液晶ディスプレイ（ＬＣＤ）又は特定の他の適切なタイプのディスプレイであり得る。

図６の実施例では、ペン・デバイス１５０は、ペン・デバイス１５０を駆動させ、制御するプロセッサ３２に結合される入力ボタン３８を含み得る。例えば、入力ボタン３８によって、ユーザが、情報及びコマンドをペン・デバイス１５０に入力するか、ペン・デバイスをオン若しくはオフにすることが可能になる。ペン・デバイス１５０は、バッテリなどの電源３２も含む。

ペン・デバイス１５０は、プロセッサ３２に結合された、光源すなわち光エミッタ４４と、光センサすなわち光検出器４２も含む。光エミッタ４４は、例えば、発光ダイオード（ＬＥＤ）であり得るものであり、光検出器４２は、例えば、電荷結合素子（ＣＣＤ）であっても相補型金属酸化物半導体（ＣＭＯＳ）イメージャ・アレイであってもよい。光エミッタ４４は、表面７０、又はその一部分を照射する。表面７０を反射する光は、光検出器４２で受けられ、光検出器４２によって記録される。

表面７０は紙であり得るが、本発明はそのように限定されるものでない。例えば、表面７０は、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（陰極線管）、タッチスクリーンや他の同様なタイプの能動的電子表面（例えば、ラップトップ型ＰＣやタブレット型ＰＣのディスプレイ）であり得る。同様に、表面７０は、電子インクを備える表面でも、再構成可能な紙を備えた表面でも、あり得る。

一実施例では、マーキングのパターンが表面７０上に印刷される。光エミッタ４４及び光検出器４２を収容する、ペン・デバイス１５０の端部が、表面７０に対して、又は表面７０の近くに配置される。ペン・デバイス１５０を表面７０に対して動かすにつれ、マーキングのパターンが、光エミッタ４４及び光検出器４２によって読み取られ、記録される。更に詳細に前述したように、一実施例では、表面７０上のマーキングを用いて、表面に対するペン・デバイス１５０の位置を判定する（図３及び図４参照。）。別の実施例では、表面７０上のマーキングを用いて、情報をコード化する（図８及び図９参照。）。表面７０の捕捉画像をペン・デバイス１５０によって解析（処理）してマーキングを復号化し、符号化情報を復元することができる。

情報のコード化のための表面マーキングと、電子デバイスによるそうしたマーキングの読み取り／記録とに関する更なる記載は、アノト社に譲渡され、内容全体を本明細書及び特許請求の範囲に援用する、米国特許第６，５０２，７５６号明細書、西暦２００２年６月２６日付出願の米国特許出願公開１０／１７９，９６６号明細書、国際公開第０１／９５５５９号パンフレット、国際公開第０１／７１４７３号パンフレット、国際公開第０１／７５７２３号パンフレット、国際公開第０１／２６０３２号パンフレット、国際公開第０１／７５７８０号パンフレット、国際公開第０１／０１６７０号パンフレット、国際公開第０１／７５７７３号パンフレット、国際公開第０１／７１４７５号パンフレット、国際公開第０１／７３９８３号パンフレット及び国際公開第０１／１６６９１号パンフレットに見出し得る。

図６のペン・デバイス１００は、プロセッサ３２に結合されるメモリ装置４８も含む。一実施例では、メモリ装置４８は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置４８は、プロセッサ３２用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。

図６の実施例では、ペン・デバイス１５０は、光検出器４２及び光エミッタ４４と同じ、ペン・デバイス１５０の端部に配置される筆記具エレメント５２を含む。筆記具エレメント５２は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント５２は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント５２を用いて、レター、語、数字、数学記号等などの文字を含む、表面７０上のマーク（例えば、グラフィカル・エレメント、又はユーザ記述された選択可能アイテム）を作成することができる。こうしたマークを、走査（イメージング）し、表面７０上の位置によって、ペン・デバイス１５０によって解釈することができる。ユーザ作成マークの位置は、表面７０上に印刷されるマーク・パターンを用いて判定することができる。図３及び４の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識（ＯＣＲ）手法を用いてペン・デバイス１５０によって解釈することができる。

前述のように、表面７０は、例えば紙などの、上に記述するのに適切な何れかの表面であり得るが、紙以外の材料から成る表面も用い得る。更に、表面７０は平坦であってもなくてもよい。例えば、表面７０は、球体の表面として実施し得る。更に、表面７０は通常の（例えば、２１６ｍｍ×２７９．５ｍｍ（レターサイズ）の）紙ページに対して大きくても小さくてもよい。

図７は、本発明の実施例を実施することができる別のデバイス２５０の構成図である。デバイス２５０は、本明細書に前述した、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８、メモリ装置４８、光検出器４２、光エミッタ４４及び筆記具エレメント５２を含む。しかし、図７の実施例では、光検出器４２、光エミッタ４４及び筆記具エレメント５２は、ハウジング６２内に光デバイス２５１として実施され、プロセッサ３２、電源３４、オーディオ出力装置３６、入力ボタン３８及びメモリ装置４８は、ハウジング７４内にプラットフォーム２０２として実施される。本実施例では、光デバイス２５１は、ケーブル１０２によってプラットフォーム２５２に結合される。しかし、無線接続をかわりに用いることができる。図７によって示すエレメントは、上記のもの以外の組み合わせで光デバイス２５１とプラットフォーム２５２との間に分布させ得る。

図６をもう一度参照すれば、表面７０上の４つの位置又は領域をレターＡ、Ｂ、Ｃ及びＤによって示す（こうした文字は、表面７０上に印刷されないが、表面７０上の位置を示すのに本明細書では用いている。）。表面７０上にはそうした領域が多く存在し得る。表面７０上の各領域と関連付けられるのは、一意のマーク・パターンである。表面７０上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。

図６の例では、ペン・デバイス１５０を用いて（特に、筆記具エレメント５２を用いて）、ユーザは、例えば、表面７０上の位置Ａにある、丸を付けたレター「Ｍ」から成る文字を作成し得る（一般的に、ユーザは、表面７０上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をペン・デバイス１５０からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、ペン・デバイス１５０は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。ペン・デバイス１５０は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「Ｍ」の上にペン・デバイス１５０が後に配置されると、ペン・デバイス１５０は、それと関連付けられるマーク・パターンを認識し、丸を付した「Ｍ」と関連付けられるものとして位置を認識する。事実上、ペン・デバイス１５０は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。

一実施例では、上記文字は、ペン・デバイス１５０の１つ又は複数のコマンドに関連した
「グラフィック・エレメント」を備える。コマンドを備える、ペン・デバイス１５０によって実施される機能と関連付けられ、そうした機能をアクセスするのに用いるそうしたグラフィック・エレメントは、ペン・デバイス１５０の機能又はアプリケーションをアクセスすることに関連しない他の記述された文字、マーク等と区別するために、以降、「グラフィック・エレメント・アイコン」として表す。直近で説明した例では、ユーザは、特定のコマンドを識別するグラフィック・エレメント・アイコンを作成（記述）することができ、グラフィック・エレメント・アイコン（例えば、記述された文字）の上にペン・デバイス１５０を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。一実施例では、筆記器具が、グラフィカル文字の上に配置される。すなわち、ユーザは、コマンドをペン・デバイス１５０によって引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対するグラフィック・エレメント・アイコンを一度、記述し、記述された同じグラフィック・エレメント・アイコンを用いて繰り返しコマンドを引き起こすことができる。この属性は、「永続性」として表し、以下に更に詳細に説明する。このことは、ユーザによって記述されないが、表面上に予め印刷され、しかし、ペン・デバイス１５０によって選択可能であるグラフィカル・エレメント・アイコンに関してもあてはまる。

一実施例では、グラフィック・エレメント・アイコンは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうしたグラフィック・エレメントは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類のグラフィック・エレメント・アイコンを作成することによって、ユーザは、機能的アイコンなどのグラフィック・エレメント・アイコンを、ペン・デバイス１５０によってデータとして扱われ得る通常のレターや数字から視覚的に区別することができる。更に、こうした類のグラフィック・エレメント・アイコンを作成することによって、ペン・デバイスは、機能的タイプ又はメニュー・アイテム・タイプのグラフィック・エレメントを、非機能的タイプ又は非メニュー・アイテム・タイプのグラフィック・エレメントからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・グラフィック・エレメント・アイコンをもたらすレター「Ｍ」であるグラフィック・エレメント・アイコンを作成し得る。

ペン・デバイス１５０は、語におけるレター「Ｍ」と区別されたものとして、中にレター「Ｍ」を備える、重なる円形又は正方形を、機能的なグラフィック・エレメントとして認識するようプログラムし得る。グラフィック・エレメント・アイコンは、特定距離（例えば、２，５ｃｍ、３．７５ｃｍ等）内にそれに隣接する小さい「チェックマーク」記号も含み得る。チェックマークは、グラフィック・エレメント・アイコンと関連付けられることになる。そうした機能的なグラフィック・エレメントを認識し、それを他の、非機能的なグラフィック・エレメントと区別するコンピュータ・コードは、ペン・デバイス内のメモリ装置に存在し得る。プロセッサは、ペン・デバイス１５０が、関連した種々の機能、動作等を行うことができるように、グラフィック・エレメント・アイコンを認識し、そうしたグラフィック・エレメント・アイコンの位置を識別することができる。こうした実施例では、メモリ装置は、ユーザによって生成される何れかのグラフィック・エレメントを、表面上のその位置と相互に関係させるコンピュータ・コードを備え得る。ペン・デバイス１５０は、（例えば、ユーザが記述し始める際に）表面上の「ダウンタッチ」若しくは「ダウンストローク」又は、表面上に下ろされることを認識し、（例えば、ユーザが記述し終わる際に）表面からの「アップストローク」又は、表面から引き上げられることを認識する。そうしたダウンストローク及びアップストロークは、ペン・デバイス１５０によって、例えば、特定の機能が引き起こされる時点と、引き起こされる特定の機能／アプリケーション（例えば、ＯＣＲ処理を引き起こすこと）とのインディケータとして解釈することができる。特に、アップストロークがすばやく続くダウンストローク（例えば、表面上にペン・デバイスが軽く触れること）は、アプリケーション（例えば、グラフィック・エレメント・アイコン、テキスト列等の選択）によって特定の動作と関連付けることができる。

なお、「グラフィック・エレメント」という汎用語は、ユーザによって作成される何れかの適切なマーキング（例えば、ユーザ記述された選択可能アイテム）を含み得るものであり、デバイスの１つ又は複数の機能をアクセスするのに用いる、機能的グラフィック・エレメントを表すグラフィック・エレメント・アイコンと区別できる。

上記の通り、グラフィック・エレメント・アイコンは、ペン・デバイス１５０によって作成される（例えば、ユーザによって描かれる）ことがあり得るものであり、予め存在するもの（例えば、紙上に印刷されたエレメント）でもあり得る。グラフィック・エレメントの例は、記号や、レター及び／又は数字などのしるし、文字、語、形状、線等を含むが、こうしたものに限定されるものでない。上記エレメントは、形状が正則でも非正則でもあり得る。ユーザ記述／ユーザ作成のグラフィック・エレメントは、通常、ペン・デバイス１５０を用いて作成される。更に、グラフィック・エレメント・アイコンは、常にではないが通常は、文字（例えば、レター「Ｍ」）の周りに外接する線（例えば、円）を組み入れて、そうしたグラフィック・エレメント・アイコンの、ユーザとペン・デバイス１５０とに対する区別性を高める。例えば、一実施例では、文字の周りの円を終えた後のアップストロークによって、グラフィカル・エレメント・アイコンをユーザが直近で作成したということをペン・デバイス１５０に特に示し得る。

図８は、本発明の一実施例による、コンピュータによって実施される処理５５０の工程の流れ図を示す。処理５５０は、本発明の一実施例による、デバイス（例えば、ペン・デバイス１５０）によって実施されるユーザ・インタフェース処理の基本動作工程を、グラフィック・エレメント、記述、マーク等の形式でのユーザ入力を解釈し、要求される機能をユーザに備えるにつれ、表す。

処理５５０は工程５５１から始まり、工程５５１では、ペン・デバイス１５０のコンピュータ実施機能が、（例えば、ユーザによって作成される、）作成グラフィック・エレメント・アイコンを認識する。あるいは、グラフィック・エレメントは、表面上に予め印刷され得るものであり、その位置はペン・デバイス１５０が分かっているものであり得る。工程５５１では、ユーザが、初めてグラフィック・エレメントを記述する場合、ペン・デバイス１５０は、光センサ及びプロセッサを用いて記述に対してＯＣＲ（光学式文字認識）を行って、ユーザ記述グラフィカル・エレメントを識別する。一実施例では、表面上のその一意の位置も更に記録される。工程５５２では、グラフィカル・エレメント・アイコンに関する機能は、認識されると、アクセスされる。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択又はサブメニュー・オプション）を発音（例えば、可聴的にレンダリング）し得るメニュー機能であり得る。工程５５３では、機能によるオーディオ出力が備えられる。このオーディオ出力は、例えば、選択リスト内でユーザがいる特定の選択の発音であり得る。工程５５４では、機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の駆動（例えば、ペン・デバイス１５０によって軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、駆動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。

なお、複数の別々のグラフィカル・エレメントが、表面上に、かつ、いつでも存在し得るものであり、それらの選択が、ペン・デバイス１５０によって実行する対象の種々の機能を、例えば、引き起こしたアプリケーション、引き起こしたサブメニュー・オプション等に備え得る。

なお、ペン・デバイス１５０の出力は、オーディオ出力に加えてか、オーディオ出力のかわりに、視覚出力（例えば、ディスプレイを介したもの、指示灯等）であり得る。視覚出力及び／又はオーディオ出力は、ペン・デバイス１５０から直接来るものでもよく、通信するようペン・デバイス１５０に結合される別の装置（例えば、パソコン、スピーカ、ＬＣＤディスプレイ等）からのものでもよい。

このようにして、本発明の実施例は、コンピュータ・システム、特に、例えばペン・デバイス１５０を備えるペン・ベースのコンピュータ・システムの機能をたどるユーザ・インタフェース手段を実施する。グラフィカル・エレメント・アイコンによって実施されるユーザ・インタフェースは、ペン・デバイス１５０内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、ペン・デバイス１５０からの出力は、オーディオ出力を含み得るものであり、よって、ユーザ・インタフェース手段によって、ペン・デバイス１５０のアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペン・デバイス１５０がお互いに相互作用することを可能にする、グラフィック・エレメント・アイコンなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、表面上、通常、紙上でユーザが描く記号若しくはマーク又はアイコンである。

別々のグラフィック・エレメント・アイコンは、別々の意味と、別々の、ユーザとの相互作用の方法とを有する。一般的には、特定のグラフィック・エレメント・アイコンについて、相互作用の方法によって、ペン・デバイスの、別々のコンピュータ実施機能が呼び出されることになる。例証的な目的で、上記メニュー例の場合、メニュー機能によって、グラフィック・エレメントに関する機能リストをユーザが繰り返す（例えば、メニュー上で軽く触れる回数、グラフィック・エレメント・アイコンが機能リストを繰り返す）ことが可能になる。ペン・デバイスからのオーディオは、軽く触れるにつれて機能又はモードを発音することができる。発音された機能／モードのうちの１つを更にユーザによって、（例えば、グラフィック・エレメント・アイコンに関連した、先行して描かれたチェックマーク・グラフィック・エレメントを描くか選択する）更なる特定の相互作用を介して選択することができる。選択されると、選択された特定の機能の機能性、オプション、及び更なるサブメニューを更にユーザによってアクセスすることができる。あるいは、可聴的にレンダリングされるサブオプションのうちの１つ自体がメニュー・グラフィカル・アイコンである場合、表面上のその表現をユーザが描き、それを選択することによって選択することができる。

図９は、本発明の一実施例による処理６５０の、コンピュータによって実施される工程の流れ図を示す。処理６５０は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス１５０）の、ネストされたいくつかの階層機能をアクセスする（例えば、たどる）ユーザ・インタフェース処理の基本動作工程を表す。処理６５０は、図１１Ａ、１１Ｂ及び１１Ｃを参照しながら説明する。

処理６５０は工程６５１から始まり、工程６５１では、ペン・デバイス１５０の、コンピュータによって実施される機能は、メニュー・アイコン「Ｍ」として図１１Ａに示す作成グラフィック・エレメント・アイコンを認識する。工程５５１と同様に、グラフィック・エレメント・アイコンは、表面上に、ユーザが記述してもよく、予め印刷してもよい。１つのケースでは、グラフィック・エレメント・アイコンは、それに関連付けられ、それ自体が更なる選択を備え得る更なるグラフィック・エレメント・アイコン（例えば、階層配置）の選択のリストを備え得る。工程６５２では、かつ、図１１Ａに示すように、認識されると、グラフィック・エレメント・アイコンに関する第１の階層的な機能メニューがアクセスされる。この例では、認識されると、工程６５１のメニュー・アイコン「Ｍ」によって、図１１Ａに示すように、サブオプションのリスト（例えば、システム「Ｓ」、ゲーム「Ｇ」、参考書「Ｒ」及びツール「Ｔ」）が１度に１つのオプションについて（例えば、可聴プロンプトを介して）可聴的にレンダリングされる。オプションは、ペン・デバイス（例えば、ペン・デバイス１５０）による工程６５１のメニュー・アイコンの連続した選択に応じてレンダリングされる。

工程６５３では、かつ、図１１Ｂに示すように、発音される機能のうちの１つ、この例では参考書グラフィック・エレメント・アイコン「Ｒ」が、メニュー・グラフィック・エレメント・アイコンの適切な数の駆動（例えば、軽く触れる動作）によって選択され、駆動は、チェックマーク・アイコン８７０に関連する。工程６５４では、機能の起動によって、第２の階層的な機能メニューについて第２のグラフィック・エレメント・アイコンの作成をプロンプトし得る。第２のグラフィック・エレメント・アイコン、この例では参考書アイコン「Ｒ」は更に、ユーザによって表面上に描かれ得る。図１１Ｃに示すように、その選択によって、上記のように（例えば、可聴プロンプトを介して）第２のサブメニュー・アイテム・リスト（例えば、類語辞典「ＴＨ」、辞書「Ｄ」及びヘルプ「Ｈ」）が可聴的にレンダリングされる。その後、工程６５５で、第２のグラフィック・エレメント・アイコンの発音された機能のうちの１つを、適切な数の駆動によって起動させて、第２の階層レベル機能のうちの１つを選択する。

このようにして、１つのメニューによって、それら自体が更なるサブメニューを有するいくつかのサブメニューを呼び出すことができる。よって、別々のレベルのグラフィック・エレメント・アイコンを階層的に配置することができる。一般的に、機能メニューを呈示する最上位レベルのグラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンとして表す。アプリケーション・グラフィック・エレメント・アイコンは、特定のアプリケーションについて構成オプション又はアプリケーション設定のメニューを一般的に呈示する第２レベルのグラフィック・エレメント・アイコンである。例えば、アプリケーション・グラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンの特別ケースと見なし得る。一般的に、アプリケーション・グラフィック・エレメント・アイコンは、それに関連した専門アプリケーション関連のデフォールト特性を有する。

このようにして、ユーザは、メニュー・アイテム・リストからメニュー・アイテムを更に選択し得る。メニュー・アイテムは、ディレクトリ名、サブディクトリ名、アプリケーション名、又は特定データ群名を含み得る。ディレクトリ名又はサブディレクトリ名の例は、「ツール」（例えば、多くの別々の状況下で適用可能な、有用なインタアクティブ機能）と、「参考書」（例えば、辞書などの参考マテリアル）と、（例えば、種々のゲーム用の）「ゲーム」等とに限定されないがこれらを含む。特定のアプリケーション名（又はサブディレクトリ名）の例は、「電卓」、「スペルチェック」及び「翻訳」を含む。特定のデータ群例は、外国語の語とその定義との群、電話帳、カレンダー、予定表等を含み得る。更なるメニュー・アイテム例を、以下図１０に示す。

特定のオーディオ命令を種々のメニュー・アイテムに備え得る。例えば、ユーザが「電卓」というメニュー・アイテムを選択した後、ペン・デバイスは、紙上に数字０乃至９と、演算子「±」、「−」、「×」、「／」及び「＝」とを描き、更に数字を選択して数値計算を行うようユーザに命令し得る。別の例では、ユーザが「翻訳」というメニュー・アイテムを選択した後、ペン・デバイスは、第２の言語名を記述し、それに丸を付けることをユーザに命令し得る。ユーザがこれを行った後、ペン・デバイスは更に、英語で語を筆記し、更に、丸を付けた第２の言語を選択して、筆記された語の第２の言語への翻訳を聴くようユーザに命令し得る。そうした後、ペン・デバイス内のオーディオ出力装置は、第２の言語でその語を復唱し得る。

図１０は、各オプションのグラフィカル・エレメント・アイコン表現を含む、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニュー・グラフィック・エレメント・アイコンから始めて、オーディオ・メニューを実施することができる。図１０の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリとなる。ツールＴのサブディレクトリの下には、翻訳ＴＲのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師ＴＵの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能があることになる。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳ＰＬ及び予定表ＴＤの機能又はサブディレクトリがあることになる。参考書Ｒのサブディクトリの下には、類語辞典ＴＨの機能と、辞書Ｄのサブディレクトリと、ヘルプＨの機能があり得る。辞書Ｄのサブディレクトリの下には、英語Ｅの機能、スペイン語ＳＦの機能、及びフランス語ＦＲの機能があり得る。ゲームＧのサブディレクトリの下には、ワードスクラブルＷＳ、青色ポテトＦＰや手書きメモＤＯなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。

上記ディレクトリ、サブディレクトリ及び機能の一部に関する詳細は、以下に備える。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進むか、たどり得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の「ダウンタッチ」（例えば、ダウンストローク）によってオーディオ・メニューをペン・デバイスにスクロールさせることができる。「ダウンタッチ」は、ペン・デバイス内のエレクトロニクスによって、何れかの適切な機構による「駆動」として認識し得る。例えば、ペン・デバイスを、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。

別の例では、圧力感応型スイッチを、ペン・デバイスの端部によって、紙に圧力が印加されると圧力スイッチが起動するようにペン・デバイスに備え得る。これによって、オーディオ・メニューをスクロールする旨をペン・デバイスに通知する。例えば、ペン・デバイスによって、丸を付したレター「Ｍ」を選択し（、それによってペン・デバイス内の圧力スイッチを起動させ）た後、ペン・デバイス内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「Ｍ」の２度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、走査装置によって特定のジェスチャを備え得るものでもある。例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「Ｍ」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別のグラフィック・エレメント又は別のジェスチャの作成を用いて、ペン・デバイスを上方にスクロールさせ得る。あるいは、ボタンや他のアクチュエータをペン・デバイス内に備えて、メニューをスクロールし得る。「ツール」は、選択されると、前述の通りにではあるが、そのサブディレクトリ・メニューに関して動作することになる。

他の実施例では、メニュー・グラフィック・エレメント・アイコン（例えば、丸を付したレター「Ｍ」）を作成した後、ユーザは、メニュー・グラフィック・エレメント・アイコンを選択し得る。走査装置内のソフトウェアは、丸を付したレターをメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。オーディオ命令は、ユーザに備え得る。例えば、ペン・デバイスは、「「ツール」ディレクトリを選択するために、レター「Ｔ」を記述し、それに丸を付ける」と言うことがあり得る。メニュー・アイテムを選択するために、ユーザは、レター「Ｔ」を作成し、それに丸を付け得る。このことは、サブディレクトリ「ツール」をユーザが選択したということをペン・デバイスに示す。更に、ペン・デバイスは、ユーザに、「ツール」ディレクトリの下にあるメニュー・アイテムを復唱することができる。よって、メニュー・アイテム・ツリーにおける特定のディレクトリ、サブディレクトリ又は機能に、そのディレクトリ、サブディレクトリ又は機能を表すグラフィック・エレメントをシート上に作成し、それと相互作用することによって直接進むことが可能である。あるいは、メニュー・アイテムが表面上に既に存在する場合、ユーザはそれといつでも相互作用してその機能を選択することができる。

なお、図１０に表すグラフィック・エレメント・アイコンの、ディレクトリ内、サブディレクトリ内、オプション・メニュー等内のアイテムの順序は、ユーザによって変えることができる。例えば、ユーザは、特定のアプリケーションをアクセスし、そのアプリケーションを用いて、１つ又は複数のディレクトリ、サブディレクトリ等のアイテムが可聴的にレンダリングされる順序を変えることができる。同様に、ユーザは、特定のディレクトリ／サブディレクトリ等内の１つ又は複数のアイテムに関連した特定のオーディオ出力を変えることができる、例えば、ユーザは、アイテムの可聴的にレンダリングされる出力によって、アイテムについて自分の声を録音し、予め録音された楽曲（例えば、ＭＰ３等）を用いること等を行うことができる。更に、１つ又は複数のディレクトリ、サブディレクトリ等に対して更なるアイテムを、例えば、ペン・デバイスに備えられるソフトウェア及び／又はファームウェアの更新（例えば、新たなソフトウェアをベースとした機能のアップロード）によって追加することができる。

なお、グラフィック・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個別の状態は、特定のインスタンス各々と永続的に関連付けることができる。例えば、２つ以上のグラフィック・エレメント・アイコンが、（例えば、ユーザによって作成されるか、予め印刷される等の、）共通の表面上に存在する場合、それらの状態又は、オプションのディレクトリ内の特定の位置をアイコン毎に記憶し得る。例えば、第１のメニュー・アイコンが現在、オプション３（例えば、「ゲーム」）上にあり、第２のメニュー・アイコンが現在、オプション１（例えば、「ツール」）上にある場合、ユーザは、分岐し、他のアプリケーション（例えば、電卓、辞書等）を用いた他のタスクを行い、第１のメニュー・アイコン又は第２のメニュー・アイコンに、後の特定時点で戻ることができ、それらは、自らの最新状態（例えば、第１のメニュー・アイコンの場合は「ゲーム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。

同様に、グラフィカル・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個別の状態を複数のインスタンス間で連携させ、特定のインスタンス各々と永続的に関連付けることができる。（例えば、ユーザによって作成されたか、予め印刷された等の、）共通の表面上に２つ以上のグラフィック・エレメント・アイコンが存在する、連携された状態の場合、それらの状態をアイコン毎に記憶することができるが、各インスタンスにオプションが及ぶようにそうした状態を連携させることができる。例えば、第１のメニュー・アイコンが、オプション２（例えば、「システム」）上に現在ある場合、第２のメニュー・アイコンは、オプション３（例えば、「ツール」）上になるようにその状態を連携させることになる。ユーザは、他の介入タスクを行い、後の特定時点で、第１のメニュー・アイコン又は第２のメニュー・アイコンに戻ることができ、それらは、連携された状態（例えば、第１のメニュー・アイコンの場合は「システム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。

図１２は、本発明の一実施例による、上にいくつかのグラフィック・エレメント・アイコンを記述させた表面９１０（例えば、紙）を示す。図１２は、グループ・グラフィック・エレメント・アイコン（例えば、メニュー・アイコン「Ｍ」と、ゲーム・アイコン「Ｇ」）及びアプリケーション・アイコン（例えば、電卓アイコン「Ｃ」）との例を示す。グラフィック・エレメント・アイコンは、ユーザが紙９１０上に記述してもよく、予め印刷してもよい。上記のように、グループ・グラフィック・エレメント・アイコンは一般的に、リスト・オプションを可聴的にレンダリングする。例えば、位置９０１にペン・デバイス１５０によって繰り返し軽く触れることによって、図１０記載の、メニュー・ディレクトリのオプション（例えば、システム、ゲーム、参考書、及びツール）を進む。例えば、メニュー・アイコンに２回軽く触れることによって、ペン・デバイス１５０に「システム」を可聴的にレンダリングさせ、更に、ゲーム・サブディレクトリの選択を示す、「ゲーム」の可聴的なレンダリングを行わせることになる。ゲーム・サブディレクトリを更に、位置９０２（例えば、チェックマーク）に触れることによって起動させることができ、起動は、オーディオ音によってユーザに向けて確認することができる。

後に、ペン・デバイス１５０は、図１２に示すゲーム・グラフィック・エレメント・アイコンを、作成する（例えば、描く）ことをユーザに可聴的にプロンプトする。位置９０３にあるゲーム・アイコンにペン・デバイス１５０によって繰り返し軽く触れることによって更に、図１０記載のように、ゲーム・サブディレクトリのオプション（例えば、ワードスクラブル、青色ポテト、及び手書きメモ）にペン・デバイス１５０に進めさせる。ゲーム・サブディレクトリ・アイテムのうちの選択された１つは更に、位置９０４（例えば、ゲームに関連したチェックマーク）に軽く触れることによって選択し得るものであり、あるいは、まだその場所にない場合、チェックマークを描くことによっても選択し得る。

なお図１２を参照すれば、電卓アイコン「Ｃ」を軽く触れることによって、電卓アプリケーションが起動される。このようにして、電卓アイコンは、メニュー・アイテムやサブディレクトリのオプションのリストをレンダリングするものでないが、むしろ、アプリケーション自体、この場合、電卓アプリケーションを直接、起動させる。電卓アプリケーションが呼び出されると、ペン・デバイス１５０は、（例えば、オーディオ音をレンダリングすることによって）起動を確認し、（例えば、ユーザに、表面上に数字０乃至９と、演算子「±」、「−」、「×」、「／」及び「＝」とを描き、更に、数字を選択して数値計算を行うようユーザに命令することによる、）電卓の使用に備えるうえでの一連の動作によってユーザに可聴的にプロンプトする。

重要なことは、上記例では、ＯＣＲ（光学式文字認識）処理は、ユーザによる初めての記述（例えば、図１２に示す「Ｍ」）が行われると、一度だけ、マーク、単一の文字（例えば、レター「Ｍ」）又はテキスト列（例えば、語）に対して行う必要がある。上記のように、ペン・デバイス１５０は、表面９１０上のグラフィック・エレメントの位置が、表面９１０上にコード化されたデータをペン・デバイス１５０が読み取ることによって判定することができる機能を含む。これによって、ペン・デバイス１５０が、特定の文字、特定の記号、特定のテキスト列等の位置を記憶することが可能になる。ペン・デバイス１５０はよって、（例えば、ユーザがペン・デバイス１５０で後の特定時点で特定の語の上に触れると、）表面上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザが語を後に選択すると、先行して行われたＯＣＲ処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）ＯＣＲ処理の結果を記憶することと、後の時点で１つ又は複数のアプリケーションに用いるよう、これらの結果を後に呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能が大いに向上する。リソース集約性を有するＯＣＲ処理は、ペン・デバイス１５０のコンピュータ・システム・リソースによって一度のみ行えばよい。

図１２は、ペン・デバイス１００の「プロンプト及び信頼」機能を用いて作成される、ユーザによって記述される語９０６（例えば、テキスト列）も示す。本発明の実施例によれば、一部の語、テキスト列、マーク、記号や他のグラフィック・エレメントは、ＯＣＲを用いて処理されなくてよい。例えば、特定の語、グラフィック・エレメント等をユーザによって、ペン・デバイス１５０からの可聴プロンプトに応じて作成することができ、ペン・デバイスは、特定の語（例えば、「大統領」）を記述し、（例えば、プロンプトからの）関連付けとともに、記述された語の位置を後に記憶する旨をユーザにプロンプトする。作成された語の後の選択は、上記のように位置によって認識される。例えば、ペン・デバイス１５０は、「大統領」９０６という語を記述する旨をユーザに命令することができる。プロンプトに応じて、ユーザは、「大統領」という語を記述し、ペン・デバイス１５０は、語が後に選択されると、プロンプトに応じてユーザが記述したことは実際に「大統領」という語であったと、みなす、すなわち信頼することになる。アプリケーションに応じて、語に下線を引くこと、語の周りに箱、さもなければ、特定の特徴的なマーク／グラフィック・エレメントを配置させることをユーザはプロンプトされ得る。

図１３Ａ及び図１３Ｂは、本発明の一実施例による、ユーザ記述をユーザ筆記可能エレメントと関連付ける、コンピュータによって実施可能な処理１３００の流れ図を示す。一実施例では、処理１３００は、本発明の一実施例による、デバイス（例えば、図１のインタアクティブなデバイス１００）によって実施されるユーザ筆記可能エレメントとユーザ記述を関連付ける処理の基本動作工程を表す。特定の工程を処理１３００に記載しているが、そうした工程は例示的なものである。すなわち、本発明の実施例は、図１３Ａ及び図１３Ｂ記載の工程の種々の他の工程又は変形を行うのにうまく適している。

処理１３００の工程１３１０では、ユーザは、表面上にユーザ筆記可能エレメントを描くよう可聴的にプロンプトされる。一実施例では、図１のプロセッサ１１２は、可聴プロンプトを可聴的にレンダリングするようオーディオ出力装置１１６に指示する。なお、可聴プロンプトは、特定のアプリケーションに関してレンダリングし得る。例えば、電卓機能内のユーザを、数字「１」を描くようプロンプトし得る。別の例では、教育アプリケーション内でユーザを、旗、ログ小屋、トップ・ハットなどの種々の画像を描くようプロンプトし得る。なお、ユーザ筆記可能エレメントは、テキスト列、語、記号、グラフィック・エレメント、画像や何れかの他の、ユーザによって描かれたアイテムに限定されないが、それらを含み得る。

一実施例では、ユーザは、表面の特定の領域内のユーザ筆記可能エレメントを描くよう可聴的にプロンプトされる。例えば、ユーザは、紙（例えば、表面）の上部の近くに「北」という語を描き、紙の下部の近くに「南」という語を描くようプロンプトし得る。

一実施例では、ユーザがユーザ記述を終えると、インタアクティブなデバイス１００は、例えば、動作していない状態（例えば、ユーザがもう記述していないこと）をデ―タ入力終結イベントとして認識することによってユーザが終えたことを認識する。このようにして、「タイムアウト」機構を用いて、データ入力の最後を認識することができる。別の終結イベントとして、上記のように、１つ又は複数のレターの周りの円をユーザが描き終えることがあり得る。終結イベントの更なる例は、内容を全て、本明細書及び特許請求の範囲に援用する、「ＴＥＲＭＩＮＡＴＩＯＮ ＥＶＥＮＴＳ」と題する、Ｊａｍｅｓ Ｍａｒｇｇｒａｆｆ他による西暦２００５年１月１２日付出願の、本発明の譲受人に譲渡された米国特許出願第１１／０３５，００３号（代理人ドケット番号ＬＥＡＰ−Ｐ０３２０）に記載されている。

工程１３２０では、ユーザ記述が表面上で検出される。一実施例では、ユーザ記述が、図１のプロセッサ１１２とともに光検出器１２０を用いて検出される。なお、ユーザ記述の存在のみが検出され、ユーザ記述は処理も認識もされない。すなわち、ユーザ記述がユーザ筆記可能エレメントであるということの確認はない。特に、ユーザ記述は、ＯＣＲ処理にかけられない。一実施例では、ユーザ記述は、可聴プロンプトの直後の最初の記述である場合に、可聴プロンプトに応じたものとして判定される。

工程１３３０では、表面上のユーザ記述の位置が記録される。一実施例では、表面には、図３及び図４に関して前述したマーク・パターンから成る光学的に読み取り可能な位置コードの形式でのコード・パターンが備えられる。光学的に読み取り可能な位置コードを用いて、光検出器（例えば、図１の光検出器１２０）は、ユーザ記述の位置を読み取り、記録するよう動作可能である。

工程１３４０では、位置は、ユーザ筆記可能エレメントと関連付けられる。すなわち、プロンプトされる、ユーザ筆記可能エレメントの機能は、ユーザ記述が実はユーザ筆記可能エレメントであるということを確認しないで、記録された位置でのユーザ記述と関連付けられる。例えば、「北」という語を記述するようプロンプトされるユーザは、レター「Ｎ」を実際に記述し得る。ユーザ記述、例えば、レター「Ｎ」は、ユーザ筆記可能エレメント、例えば、「北」という語と関連付けられる。特に、インタアクティブなデバイス（例えば、図１のインタアクティブなデバイス１００）は、ユーザ記述の認識を何ら行わない。基本的に、ユーザは特定のアイテムを描くようプロンプトされ、実際に記述されたものにかかわらず、特定のアイテムが記述されたということがインタアクティブ・デバイスによって確信される。ユーザ記述の位置は、プロンプトされたユーザ筆記可能エレメントと関連付けられる。よって、ユーザ記述との何れかの相互作用は、ユーザ筆記可能エレメントとの相互作用によって行われる。

図１４は、本発明の一実施例による、上にいくつかのユーザ記述を記述させた表面１４００（例えば、紙）を示す。例えば、牛を描くようユーザにプロンプトする。ユーザは、プロンプトに応じてユーザ筆記１４１０を描く。インタアクティブなデバイスは、ユーザ記述１４１０の位置を牛と関連付ける。インタアクティブなデバイスは、ユーザ記述１４１０が実際に牛であるということを検証するものでない。

図１３Ａを参照すれば、工程１３５０で、一実施例において、ユーザ記述との相互作用の検出に応じて、ユーザ筆記可能エレメントに関連した動作を実行する。一実施例では、相互作用は、その場所でユーザ記述に筆記具エレメントが接触することを含む。例えば、電卓機能の数字及び演算と関連した複数のユーザ記述が存在する場合、加算関数に関連したユーザ記述とユーザが相互作用することによって、加算関数が実行されることになる。別の例では、アプリケーションによって、「コンパスの頂点が示す方向は？」などの質問によってユーザをプロンプトし得る。ユーザ筆記可能エレメント「北」に関連したユーザ記述とユーザが相互作用することによって、正しい回答をユーザが選択した旨を示すプロンプトが行われることになる。同様に、何れかの他のユーザ記述とのユーザの相互作用によって、正しくない応答をユーザが選択した旨を示すプロンプトが行われることになる。更に、別々のユーザ筆記可能エレメントを表す別々の正しくないユーザ記述とユーザが相互作用することによって、インタアクティブなデバイスからの種々のプロンプトが行われることになる。例えば、ユーザ筆記可能エレメント「南」に関連したユーザ記述とユーザが相互作用することによって、「近いですが、逆方向を試してみましょう。」などのプロンプトを行い得る一方、犬に関連したユーザ筆記可能エレメントに関連したユーザ記述とユーザが相互作用することによって、「どの方向でもありません、もう一度試してみましょう。」などのプロンプトを行い得る。

図１４をもう一度参照すれば、ユーザ記述１４１０乃至１４４０には、動物学習アプリケーションが含まれている。例えば、ユーザ記述１４１０乃至１４４０とのユーザの相互作用は、動物が発する音によってプロンプトし得る。ユーザ記述１４１０との相互作用によって、音「モー」を可聴的にレンダリングし得る。同様に、ユーザ記述１４２０（例えば、羊）に関連した動物音、ユーザ記述１４３０（例えば、豚）に関連した動物音、及びユーザ記述１４４０（例えば、鳥）に関連した動物音を、各々のユーザ記述との相互作用に応じてレンダリングし得る。

図１３Ｂを参照すれば、工程１３２０で、一実施例では、入力機能に関連した第２のユーザ記述が表面上で認識される。一実施例では、第２のユーザ記述はチェックマークである。入力機能は、ユーザ記述がされたアプリケーションの更なる機能を備える。一実施例では、インタアクティブなデバイスは、ユーザ記述が選択される場合（例えば、ユーザ記述との相互作用が行われる場合）、１つの動作を行い得るものであり、関連した第２のユーザ記述が選択される場合、入力タイプの機能を行い得る。例えば、入力タイプの機能は、データの受け入れ、データの選択、又はコマンドの選択を示し得る。

工程１３７０では、一実施例において、第２のユーザ記述との相互作用の検出に応じて、ユーザ筆記可能エレメントに関連した入力機能が実行される。工程１３６０で前述したように、入力機能は、アプリケーションの更なる機能を備える。

図１４は、動物学習アプリケーションに関連したユーザ記述１４１０及び１４４０を示す。チェックマーク１４５０は、動物学習アプリケーションの入力タイプ機能を備える。例えば、ユーザは、ユーザ記述１４２０及びユーザ記述１４４０を選択し、（例えば、ユーザ記述１４２０及びユーザ記述１４４０と相互作用し、）更に、チェックマーク１４５０を選択し得る。こうしたユーザ相互作用によって、ユーザ記述１４２０に関連した羊の鳴き声と、ユーザ記述１４４０に関連した鳥のさえずり声とをインタアクティブなデバイスが可聴的にレンダリングすることをもたらし得る。入力機能によって、ユーザが、ユーザ記述の部分集合を選択し、選択されたユーザ記述に関連した情報（例えば、動物音）を備えることが可能になる。

このようにして、本発明の実施例のプロンプト及び信頼の機能によって、ユーザとペン・デバイス１５０との間で相互に分かる意味を有するグラフィック・エレメントの作成が可能になる。重要なことは、大統領という語に対してＯＣＲ処理は何ら行われないということである。「プロンプト及び信頼」の機能を用いて作成されたグラフィック・エレメントは、他のアプリケーション、オプション、メニュー、機能等に関連付けることができ、それによって、（例えば、軽く触れることによって）プロンプト及び信頼のグラフィック・エレメントを選択することによって、上記のうちの何れかを引き起こすことができる。何れかのＯＣＲ処理の要件をなくすことによって、ペン・デバイス１５０に対する計算量上の要求が軽減され、よって、ユーザ・インタフェースの応答性が向上する。

本発明の実施例を、マーキングによってコード化された表面を用いてペン・デバイスの位置を判定する意味合いで説明したが、本発明の実施例は、表面のコード化を必要としない他の手段を用いて位置を判定するペン・デバイスに用いるのに適している。例えば、一実施例では、ペン・デバイスは、例えば、動きセンサ、ジャイロスコープ等などの１つ又は複数の位置特定機構を組み入れることができ、特定の表面（例えば、紙）の正確な場所を高精度で記憶するよう構成することができる。表面の正確な場所は、例えば、表面（例えば、矩形の紙）の対向する隅部に順次触れることによって記憶することができる。ペン・デバイスは、記憶された正確な表面の位置をその位置判定手段の結果と比較することによって表面上の、ユーザによって記述されたグラフィック・エレメントの場所を更に認識する。

本発明、すなわち、ユーザ記述をユーザ筆記可能エレメントと関連付ける方法、の実施例をよって記載した。本発明は特定の実施例において記載したが、本発明はそうした実施例によって限定されるものとして解釈されるべきでなく、本特許請求の範囲によって解釈されるべきである。

本発明の実施例によるインタアクティブなデバイスを示す図である。 本発明の実施例による、紙上の例示的なユーザ記述された選択可能アイテムを示す図である。 本発明の実施例による、紙上の例示的なユーザ記述された選択可能アイテムを示す図である。 本発明の一実施例による、マークのパターンが備えられた例示的な紙を示す図である。 本発明の一実施例による、例示的な紙上のマークのパターンを示す拡大図である。 本発明の一実施例による、表面上にユーザが描いた選択可能なアイテムとの相互作用を容易にする処理の工程の流れ図である。 本発明の実施例を実施することができる別のデバイスの構成図である。 本発明の実施例を実施することができる別のデバイスの構成図である。 本発明の一実施例による、デバイス・ユーザ・インタフェース処理の工程の流れ図である。 本発明の一実施例による階層デバイス・ユーザ・インタフェース処理の工程の流れ図である。 本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す図である。 本発明の一実施例によるメニュー・アイテム可聴プロンプト処理を示す図である。 本発明の一実施例によるメニュー・アイテム選択処理を示す図である。 本発明の一実施例によるサブ・メニュー・アイテム選択処理を示す図である。 本発明の一実施例による、表面上の複数の各種グラフィカル・アイテム・アイコンを示す図である。 本発明の一実施例による、ユーザ筆記可能エレメントとユーザ記述を関連付ける処理を示す流れ図である。 本発明の一実施例による、ユーザ筆記可能エレメントとユーザ記述を関連付ける処理を示す流れ図である。 本発明の一実施例による、上にいくつかのユーザ記述を有する表面を示す図である。

符号の説明

１５ 紙
１７ 位置コード
１８ マーク
１９ １７の拡大部分
２１ ラスタ線
２２ ラスタ点
２３ マーク
２４ ラスタ点
３２ プロセッサ
３４ 電源
３６ オーディオ出力装置
３８ 入力ボタン
４０ 表示装置
４２ 光検出器
４４ 光エミッタ
４８ メモリ装置
５２ 筆記具エレメント
６２ ハウジング
７０ 表面
７４ ハウジング
１００ インタアクティブなデバイス
１０２ ケーブル
１１２ プロセッサ
１１４ メモリ装置
１１６ オーディオ出力装置
１１８ 筆記具エレメント
１２０ 光検出器
１２２ バス
１３０ ハウジング
１５０ デバイス
２００ 紙
２０２ レター
２０４ 円
２０６ ユーザ記述される選択可能アイテム
２１０ チェックマーク
２２０ ユーザ記述される選択可能アイテム
２３０ データ
２５０ デバイス
２５１ 光デバイス
２５２ プラットフォーム
３０２ グラフィック・エレメント
３０４ チェックマーク
３０５ グラフィック・エレメント
３０６ 線
３０８ 語
３１０ テキスト列
８７０ チェックマーク・アイコン
９０１ 位置
９０２ 位置
９０４ 位置
９０６ 語
９１０ 表面
１４００ 表面
１４１０ ユーザ記述
１４２０ ユーザ記述
１４３０ ユーザ記述
１４４０ ユーザ記述
１４５０ チェックマーク

Claims (16)

1. ユーザ記述をユーザ筆記可能エレメントと関連付ける方法であって、
   ユーザ筆記可能エレメントを表面上にユーザが描くよう可聴的にプロンプトする工程と、
   前記表面上のユーザ記述を検出する工程と、
   前記表面上の前記ユーザ記述の位置を記録する工程と、
   前記位置を前記ユーザ筆記可能エレメントと関連付ける工程とを備えることを特徴とする方法。
2. ユーザ記述をユーザ筆記可能エレメントと関連付ける方法をコンピュータ・システムに行わせるコンピュータ判読可能プログラム・コードを中に実施させた、コンピュータによって利用可能な媒体であって、前記方法が、
   請求項１記載の工程を備えることを特徴とする、コンピュータによって利用可能な媒体。
3. 請求項１若しくは２記載の方法又は媒体であって、前記表面上の前記ユーザ記述の検出が、前記ユーザ記述を処理することなく行われることを特徴とする方法又は媒体。
4. 請求項１若しくは２記載の方法又は媒体であって、前記位置にある前記ユーザ記述との、筆記具エレメントによる接触を備える、前記ユーザ記述との相互作用の検出に応じた、前記ユーザ筆記可能エレメントに関連した動作の実行を更に備えることを特徴とする方法又は媒体。
5. 請求項１若しくは２記載の方法又は媒体であって、前記ユーザ筆記可能エレメントは、テキスト列と、語と、記号と、グラフィック・エレメントとのうちの少なくとも１つであることを特徴とする方法又は媒体。
6. 請求項１記載の方法であって、前記検出する工程において、該検出が、前記可聴的なプロンプトに応じて、前記ユーザ記述が前記ユーザ筆記可能エレメントであるということを確認することなく、かつ、前記ユーザ記述との相互作用の検出に応じて行われ、前記相互作用は、筆記具エレメントが前記位置にある前記ユーザ記述に接触し、前記ユーザ筆記可能エレメントに関連した動作を実行することを備えることを特徴とする方法。
7. 請求項１、２若しくは６記載の方法又は媒体であって、
   前記表面上の入力機能に関連した第２のユーザ記述の認識と、
   該第２のユーザ記述との相互作用の検出に応じた、前記ユーザ記述可能エレメントに関連した入力機能の実行とを備えることを特徴とする方法又は媒体。
8. 請求項１、２若しくは６記載の方法又は媒体であって、前記表面上の前記ユーザ筆記可能エレメントを前記ユーザに描くよう可聴的にプロンプトすることが、前記表面の特定の領域内の前記ユーザ筆記可能エレメントを前記ユーザに描くよう可聴的にプロンプトすることを備えることを特徴とする方法又は媒体。
9. 請求項１、２若しくは７記載の方法又は媒体であって、前記第２のユーザ記述がチェックマークを備えることを特徴とする方法又は媒体。
10. インタアクティブなデバイスであって、
    バスと、
    該バスに結合されたオーディオ出力装置と、
    記述可能表面にユーザが記述することを可能にするユーザ筆記具エレメントと、
    前記バスに結合され、前記記述可能表面に対する、前記ユーザ筆記具エレメントの位置を検出する光検出器と、
    前記バスに結合されたプロセッサと、
    前記バスに結合されたメモリ装置とを備え、該メモリ装置は、ユーザ記述をユーザ筆記可能エレメントと関連付ける方法を、実行されると前記プロセッサに実施させる命令を記憶しており、前記方法は、
    表面上のユーザ筆記可能エレメントをユーザに描くよう可聴的にプロンプトする工程と、
    前記表面上のユーザ記述を検出する工程と、
    前記表面上の前記ユーザ記述の位置を記録する工程と、
    前記ユーザ筆記可能エレメントと前記位置とを関連付ける工程とを備えることを特徴とするインタアクティブなデバイス。
11. 請求項１０記載のインタアクティブなデバイスであって、前記表面上の前記ユーザ記述を検出する工程が、前記ユーザ記述を処理することなく行われることを特徴とするインタアクティブなデバイス。
12. 請求項１０記載のインタアクティブなデバイスであって、前記方法は、前記位置にある前記ユーザ記述を筆記具エレメントが接触する、前記ユーザ記述との相互作用の検出に応じて、前記ユーザ筆記可能エレメントに関連した動作を実行する工程を更に備えることを特徴とするインタアクティブなデバイス。
13. 請求項１０記載のインタアクティブなデバイスであって、前記方法は、
    前記表面上の入力機能に関連した第２のユーザ記述を認識する工程と、
    前記第２のユーザ記述との相互作用の検出に応じて、前記ユーザ筆記可能エレメントに関連した入力機能を実行する工程とを更に備えることを特徴とするインタアクティブなデバイス。
14. 請求項１３記載のインタアクティブなデバイスであって、前記第２のユーザ記述は、チェックマークを備えることを特徴とするインタアクティブなデバイス。
15. 請求項１０記載のインタアクティブなデバイスであって、前記表面上に前記ユーザ筆記可能エレメントを描くよう前記ユーザに可聴的にプロンプトする工程が、前記表面の特定の領域内に前記ユーザ筆記可能エレメントを描くよう前記ユーザに可聴的にプロンプトする工程を備えることを特徴とするインタアクティブなデバイス。
16. 請求項１０記載のインタアクティブなデバイスであって、前記ユーザ筆記可能エレメントが、テキスト列と、語と、記号と、グラフィック・エレメントとのうちの少なくとも１つであることを特徴とするインタアクティブなデバイス。

Images