JP2006197596A - 記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースの提供 - Google Patents

記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースの提供 Download PDF

Info

Publication number
JP2006197596A
JP2006197596A JP2006004149A JP2006004149A JP2006197596A JP 2006197596 A JP2006197596 A JP 2006197596A JP 2006004149 A JP2006004149 A JP 2006004149A JP 2006004149 A JP2006004149 A JP 2006004149A JP 2006197596 A JP2006197596 A JP 2006197596A
Authority
JP
Japan
Prior art keywords
item
user
interactive device
selectable
selectable user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006004149A
Other languages
English (en)
Other versions
JP2006197596A5 (ja
Inventor
James Marggraff
マーググラフ ジェイムズ
Alexander Chisholm
チショルム アレキサンダー
Tracy L Edgecomb
エル エッジコム トレイシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leapfrog Enterprises Inc
Original Assignee
Leapfrog Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leapfrog Enterprises Inc filed Critical Leapfrog Enterprises Inc
Publication of JP2006197596A publication Critical patent/JP2006197596A/ja
Publication of JP2006197596A5 publication Critical patent/JP2006197596A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Abstract

【課題】ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイス。
【解決手段】本発明は、紙などの何れかの表面によって電子ディスプレイを置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、選択可能なユーザ記述アイテムを表面上に作成し得る。選択可能なユーザ記述アイテムは、表面上で永続的なものであり、それによって、インタアクティブなデバイスの動作を通して、選択可能な別々のアイテムに関連した機能をユーザが実行することが可能になる。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関した柔軟性の向上をユーザに備える、インタアクティブなデバイスを備える一意のユーザ・インタフェースを備える。
【選択図】図８

Description

本書面の実施例は、インタアクティブなデバイスに関する。特に、本書面の実施例は、インタアクティブな、ペン・ペースのデバイスに関する。
この20年の間に、デスクトップ型コンピュータ・システム、ラップトップ型コンピュータ・システム、ハンドヘルド型コンピュータ・システム及びタブレット型コンピュータ・システムなどのパーソナル・コンピューティング・デバイスの利用は、こうしたデバイスが我々の社会において遍在するほどに成長してきた。こうしたパーソナル・コンピューティング・デバイスによって、ビジネス機能、通信能力及び、娯楽の可能性を大幅に拡充させる、信じられない範囲のインタアクティブなアプリケーションがユーザに提供されている。
現行のパーソナル・コンピューティング・デバイスは、ユーザ・インタフェースを用いることによってこうしたインタアクティブなアプリケーションへのアクセスを備える。通常のコンピューティング・デバイスは、モニタや表示画面などの表示デバイスを用いて情報をユーザに呈示し、かつ、マウス、キーボード、ジョイスティックやスタイラスなどの入力デバイスを用いてユーザから情報を受信するグラフィカル・インタフェースを有する。
ペンや紙の利用は、識字社会では、コンピューティング・システムよりもなお、遍在している。現行のコンピューティング・デバイスのグラフィカル・ユーザ・インタフェースは、多くのコンピューティング・アプリケーションとの効果的な相互作用を備える一方、通常のグラフィカル・ユーザ・インタフェースは、ペン又は鉛筆と、紙との通常の利用を模倣するのが困難である。例えば、デスク型コンピュータ・システム及びラップトップ型コンピュータ・システムは通常、ペンに似たインタフェースを有するものでない。更に、コンピュータへの入力は、電子ディスプレイ上に示され、かつ、紙上に記述される情報のように永続的でかつアクセス可能であるという訳でない。更に、パームトップ型コンピュータ・システム又はタブレット型コンピュータ・システムの画面は筆記具エレメントの利用を模倣し得るが、入力は、電子的に記憶され、かつ、永続的でもアクセス可能でもない。
よって、表面上の印刷アイテムとインタフェースして、印刷アイテムと関連付けられる機能を起動させるインタアクティブなデバイスに対する必要性が存在する。この必要性を満たし、機能と関連した、表面上の、選択可能なユーザ記述アイテムをユーザが作成することを可能にするインタアクティブなデバイスに対する必要性も存在する。上記必要性を満たし、かつ、選択可能なユーザ記述アイテムのユーザ選択に応答して関連機能を実行するインタアクティブなデバイスに対する必要性も存在する。
ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を、本明細書及び特許請求の範囲に記載する。本発明は、電子ディスプレイを紙などの何れかの表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、表面上の、選択可能なユーザ記述アイテムを作成し得る。表面は、関連機能を実行する、予め印刷された選択可能アイテムも含み得る。選択可能なユーザ記述アイテムと、予め印刷された選択可能アイテムは、インタアクティブなデバイスの動作を通して、選択可能な種々のアイテムに関連した機能をユーザが実行することを可能にして、表面上で永続的なものである。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上をユーザに提供する、インタアクティブなデバイスを備える一意のユーザ・インタフェースを設ける。
一実施例では、本発明は、バスと、プロセッサと、メモリ装置と、オーディオ出力装置と、筆記具エレメントと、光検出器とを含むインタアクティブなデバイスを備える。一実施例では、オーディオ出力装置は、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能である。筆記具エレメントによって、表面上に、選択可能なユーザ記述アイテムをユーザが作成することが可能になる。光検出器は、表面上の情報を検出するためのものである。プロセッサ上で実施されるソフトウェアは、選択可能なユーザ記述アイテムのユーザ選択に応答し、かつ、選択に応じて、選択可能なユーザ記述アイテムに関連した機能を実行するよう動作可能である。
一実施例では、プロセッサは、記号認識を用いた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。一実施例では、プロセッサは、表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。一実施例では、プロセッサは、選択可能なユーザ記述アイテムの検出表面位置に基づいた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。一実施例では、ソフトウェアは、更に、表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、かつ、予め印刷された選択可能アイテムをユーザが選択することに応じて、予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能である。
別の実施例では、本発明は、コンピュータ・システムのオペレーティング・システムを備え、オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムを検出し、選択可能なユーザ記述アイテムを機能と関連付け、選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、機能を実行するよう動作可能である。一実施例では、オペレーティング・システムは、記号認識を用いて選択可能なユーザ記述を自動的に識別するよう動作可能である。一実施例では、オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。一実施例では、オペレーティング・システムは、選択可能なユーザ記述アイテムの表面位置に基づいたユーザ相互作用に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。
別の実施例では、本発明は、表面上の、選択可能なユーザ記述アイテムとの相互作用を容易にする方法を備える。機能に関連した少なくとも１つの、選択可能な記述アイテムが検出される。選択可能なユーザ記述アイテムとの相互作用が検出される。相互作用に応じて、機能が実行される。
種々の実施例では、選択可能なユーザ記述アイテムは、プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタと、選択可能な別のアイテムとのうちの１つを含む。
概して、本書面は、ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスを開示する。本発明は、電子ディスプレイを、紙などの何れかの表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行する、表面上の、選択可能なユーザ記述アイテムを作成し得る。選択可能なユーザ記述アイテムは、表面上で永続的なものであり、インタアクティブなデバイスの動作を通して、選択可能な種々のアイテムに関連した機能をユーザが実行することが可能になる。ユーザが紙と直接、相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上をユーザに提供する、インタアクティブなデバイスを備える一意のユーザ・インタフェースを設ける。
本明細書に組み入れられ、本明細書の一部を構成する添付図面は、本発明の実施例を示し、本明細書とともに本発明の原理を説明する役目を担う。
次に、例を添付図面に示す、ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を詳細に参照することとする。本発明はこうした実施例に関して説明するが、こうした実施例は、本発明をそうした実施例に限定することを意図するものでないこととする。むしろ、本発明は、本特許請求の範囲記載の本発明の技術思想及び範囲の中に含み得る代替、修正及び均等物を包含することが意図されている。更に、本発明の以下の詳細な説明では、数多くの特定の詳細を表して、本発明が徹底的に分かるようにしている。しかし、本発明を、こうした特定の詳細なしで実施してもよいということが当業者によって認識されるものである。一方、周知の方法、手順、構成部分及び回路は、本発明の局面を不必要にわかりにくくすることがないように、詳細には説明していない。
以下の、詳細な説明の特定部分は、コンピュータ・メモリ上で行うことができる、データ・ビットに対する演算の手順、工程、論理ブロック、処理や他の記号表現によって表す。こうした記述や表現は、成果の本質を最も効果的にデータ処理技術分野の当業者が他の当業者に伝えるのに用いる手段である。手順、コンピュータ実行工程、論理ブロック、処理等は、本明細書及び特許請求の範囲でも一般的にも、所望の結果につながる、自己整合性を有する一連の工程や命令であるものと考えられている。工程は、物理的数量の物理的操作を必要とするものである。必然的にではないが通常は、こうした数量は、コンピュータ・システムでの記憶、転送、合成、比較や他の方法による操作が可能な電気信号又は磁気信号の形式を呈する。こうした信号をビット、値、要素、記号、文字、項、数等として表すことが場合によっては主に、慣用の理由で好都合であることが明らかになった。
しかし、こうした語や同様な語は、適切な物理的数量と関連付けられることとし、こうした数量に付される好都合なラベルに過ぎないということを念頭におくこととする。以下の記載から明らかであるように、別途明記しない限り、本発明を通して、「検出」、「実行」、「識別」、「レンダリング」、「選択」、「認識」、「関連付け」、「記録」、「指示」等などの語を利用した記載は、電子デバイスのレジスタ内及びメモリ内の物理的（電子的）数量として表すデータを操作し、電子デバイスのメモリ内若しくはレジスタ内や、他のそうした情報記憶装置内、伝送装置内又は表示装置内に物理的数量として同様に表す他のデータに変換する、電子システム（例えば、図1のインタアクティブなデバイス100）の動作及び処理や、同様な電子計算機装置の動作及び処理を表すということが分かる。
ユーザが、表面上に記述された選択可能アイテムを作成し、そうしたアイテムと相互作用することを可能にするインタアクティブなデバイスという本発明の種々の実施例を本明細書及び特許請求の範囲に記載する。本発明は、電子ディスプレイを、紙などの何れかの記述可能な表面によって置き換えるインタフェースをユーザに備える。ユーザは、関連した機能を実行し、かつ/又は、ユーザ記述データ、例えば、語、文字、数字、記号等を表す、表面上の、選択可能なユーザ記述アイテムを作成し得る。表面は、関連した機能を実行する、予め印刷された選択可能アイテムも含み得る。選択可能なユーザ記述アイテムと、予め印刷された選択可能アイテムは、表面上で永続的なものであり、インタアクティブなデバイスの動作を通して種々の選択可能アイテムと関連した機能をユーザが実行することが可能になる。ユーザが直接、紙と相互作用することを可能にすることによって、本発明は、選択可能なユーザ記述アイテムの作成と、こうしたアイテムに関連した機能の実行とに関する柔軟性の向上とをユーザに備える、インタアクティブなデバイスを備える一意のユーザ・インタフェースを備える。
図1は、本発明の実施例によるインタアクティブなデバイス100を示す。インタアクティブなデバイス100は、プロセッサ112と、メモリ装置114と、オーディオ出力装置116と、筆記具エレメント118と、光検出器120とをハウジング130内に含む。一実施例では、プロセッサ112と、メモリ装置114と、オーディオ出力装置116と、光検出器120は、通信するよう、バス122を介して結合される。
一実施例では、ハウジング130は、スタイラス又は（例えば、ペンに似た）筆記器具の形状を有する。ユーザは、スタイラスを持つのと同様にインタアクティブなデバイス100を持ち得る。筆記具エレメント118は、ユーザが筆記具エレメント118を、記述可能な表面（図示せず）と接触させて配置させることができるようにハウジングの一方端部に配置される。筆記具エレメント118は、ペン、鉛筆、マーカ、クレヨンや何れかの他のマーキング用具を含み得る。なお、筆記具エレメント118は、非マーキング先端部も含み得る。使用中、ユーザは、インタアクティブなデバイス100を持ち、それを筆記具と同様に用いて、紙上などの表面上に記述することができる。
筆記具エレメント118は、表面上の、選択可能なユーザ記述アイテムを作成するのに用い得る。「選択可能なユーザ記述アイテム」は、ユーザによって作成される何れかのマーキングを含み得る。マーキングが表面上（例えば、紙上）に行われる場合、選択可能なユーザ記述エレメントは、印刷エレメントであり得る。選択可能なユーザ記述アイテムは、記号や、レター及び/又は数字、文字、語、形状、線等などのしるしを含むが、そうしたものに限定されるものでない。上記アイテムは、形状が正則でも非正則でもよく、通常、スタイラスを用いて作成される。
インタアクティブなデバイス100によって、インタアクティブなデバイス100によって備えられる種々の機能を表す選択可能なユーザ記述アイテムをユーザが作成することが可能になる。一実施例では、選択可能なユーザ記述アイテムは、プロセッサ112によって実行可能なアプリケーション・プログラム（例えば、電卓アプリケーションや辞書アプリケーション）の記号表現を含む。別の実施例では、選択可能なユーザ記述アイテムは、ナビゲーション・アイテム（例えば、メニュー）、プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテム、アプリケーション・オプション・セレクタや、データのインスタンス（例えば、語）を含み得る。
一部の実施例では、選択可能なユーザ記述アイテムは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうした選択可能なユーザ記述アイテムは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類の、選択可能なユーザ記述アイテムを作成することによって、ユーザは、機能的アイコンなどの選択可能なユーザ記述アイテムを通常のレターや数字から視覚的に区別することができる。更に、こうした類の、選択可能なユーザ記述アイテムを作成することによって、インタアクティブなデバイス100も、機能的タイプ又はメニュー・アイテム・タイプの、選択可能なユーザ記述アイテムを、非機能的タイプ又は非メニュー・アイテム・タイプのユーザ記述アイテムからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・アイコンを作成するレター「M」である、選択可能なユーザ記述アイテムを作成し得る。インタアクティブなデバイス100は、語におけるレター「M」と区別されたものとして、中にレター「M」を備える、重なる円形又は正方形を、機能的な、選択可能なユーザ記述アイテムとして認識するようプログラムし得る。そうした機能的な、選択可能なユーザ記述アイテムを認識し、それを他の、非機能的なユ―ザ記述アイテムと区別するコンピュータ・コードは、インタアクティブ・デバイス100内のメモリ装置114に存在し得る。
図2A及び図2Bは、本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す。図2Aを参照すれば、選択可能なユーザ記述エレメント206は、レター「M」202の周りに丸204を備えるレター「M」202である。選択可能なユーザ記述アイテム206が、インタアクティブなデバイスの筆記具エレメント（例えば、図1の筆記具エレメント118）によって紙200上に描かれる。
一実施例では、選択可能なユーザ記述アイテム206は、インタアクティブなデバイスのメニュー機能を表す。特定のメニュー・アイテム、ディレクトリやサブディレクトリの選択を示すために、ユーザは、選択可能な別のユーザ記述アイテムを作成してもよく、インタアクティブなデバイス100によってジェスチャを行ってもよい。例えば、ユーザが、メニューのサブディレクトリの先に進みたい場合、ユーザは更に、紙200上にチェックマーク210を描いて、選択が行われたということを示し得る。チェックマークを描いた後、選択可能なユーザ記述アイテム206に関連したメニュー・アイテムを、紙200上で、選択可能なユーザ記述アイテム206近くでインタアクティブなデバイス100の後の選択すなわち「ダウンタッチ」各々の後にオーディオ出力装置116によって可聴的にレンダリングし得る。チェックマーク210との相互作用によって更に、可聴的にレンダリングされた最後のオプションを選択する。例えば、ユーザが「電卓」の語の復唱を聴いた後に、インタアクティブなデバイス100の動作のモードを「電卓」機能を変更するよう更に選択し得る。
図2Bは、紙200のブランク部分上に、紙電卓を作成し得る方法を示す。この例では、ユーザが上記「電卓」機能を選択した後、インタアクティブなデバイス100は、数字0乃至9と演算子「+」、「−」、「×」、「/」及び「=」を筆記する旨をユーザに可聴的にプロンプトする。例えば、ユーザは、数字と、加算、減算、乗算、除算や等号などの演算用の算術演算子とを含む、選択可能なユーザ記述アイテム220を作成するようプロンプトされ得る。これらは、表面上に鋭く描かれる。インタアクティブなデバイス100は、作成されたグラフィック・エレメントの位置を認識し、作成された実際の選択可能なユーザ記述アイテムを認識する。ユーザは更に、選択可能な少なくとも２つのユーザ記述アイテムを選択して、そうした少なくとも２つのグラフィック・エレメントの選択に関するオーディオ出力を受けることができる。例えば、ユーザは、「4」「+」「7」「=」というグラフィック・エレメント系列を選択して、インタアクティブな装置100が「11」という結果の復唱を聴くことがあり得る。
選択可能なユーザ記述アイテム206によって表されるメニューと、選択可能なユーザ記述アイテム220によって表される紙電卓は、後の時点に再使用することができるが、それは、インタアクティブなデバイス100が、選択可能なユーザ記述アイテムの位置をメモリ装置114に記憶したからである。更に、ペンと、選択可能なユーザ記述アイテム220との相互作用によって、電卓機能が自動的に呼び出されることになる。
図2Bも、データ230を含む。図2Bに示す例では、データ230は、「CAT」という語である。なお、データ230は、インタアクティブなデバイス100上で動作するアプリケーションによって用い得る何れかの情報（例えば、英数字記号、画像、図形、マーキング等）であり得る。記述されると、「CAT」というテキスト列は猫という語として自動的に認識される。表面上のその位置も記録される。インタアクティブなデバイス100のこのテキスト列との相互作用によって、「CAT」という、識別された語が自動的に呼び出される。
光検出器120は、スタイラス形状のインタアクティブなデバイス100の一方端部にある。光検出器120は、表面上の情報を検出するよう動作可能である。例えば、光検出器120は電荷結合素子を備え得る。一実施例では、インタアクティブなデバイスは、光検出器120によって検出される表面部分を照射する光エミッタも備える。光検出器120によって検出される情報は、プロセッサ112に送信される。
プロセッサ112は、インタアクティブなデバイス100の機能を実施するうえで適切な何れかのエレクトロニクスを含み得る。プロセッサ112は、インタアクティブなデバイス110が種々の動作を行うことができるように、選択可能なユーザ記述アイテムを認識することができ、そうした選択可能なユーザ記述アイテムの位置を識別することができる。こうした実施例では、メモリ装置114は、ユーザによって作成された何れかの、選択可能なユーザ記述アイテムを表面上の位置と相互に関係させるコンピュータ・コードを備え得る。
メモリ装置114は、インタアクティブなデバイス100の機能の何れかを行うコンピュータ・コードを備える。一実施例では、メモリ装置114に記憶され、プロセッサ112上で実施されるコンピュータ・コードは、選択可能なユーザ記述アイテムのユーザ選択に応答し、選択可能なユーザ記述アイテムに関連した機能を選択に応じて実行するよう動作可能である。別の実施例では、メモリ装置114に記憶され、プロセッサ112上で実施されるコンピュータ・コードは、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングする旨をオーディオ出力装置114に指示するよう動作可能であり、プロセッサ112は、選択可能な複数のユーザ記述アイテムをユーザが記述したということを検出するよう動作可能であり、選択可能な複数のユーザ記述アイテムのうちの、選択可能な1つ又は複数のユーザ記述アイテムのユーザ選択に応じて、選択された、選択可能なユーザ記述アイテムの各々に関連した別々の機能を実行するよう動作可能である。
一実施例では、プロセッサ112は、記号認識又は文字認識を用いた選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。別の実施例では、プロセッサ112は、記述される表面上の、選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能である。プロセッサ112は、選択可能なユーザ記述アイテムの検出表面位置に基づいたユーザ選択に応じて、選択可能なユーザ記述アイテムを自動的に識別するよう動作可能である。
一実施例では、本発明は、インタアクティブなデバイス100のオペレーティング・システムを備える。オペレーティング・システムは、表面上の、選択可能なユーザ記述アイテムを検出し、選択可能なユーザ記述アイテムを機能と関連付け、選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、関連付けられた機能を実行するよう動作可能である。
他の実施例では、メモリ装置114は、印刷文字を認識するコンピュータ・コードと、ユーザの手書きを認識し、ユーザの手書きを解釈するコンピュータ・コード（例えば、手書き文字認識ソフトウェア）と、物品上の位置を各々の印刷エレメントと相互に関係させるコンピュータ・コードと、テキストを音声に変換するコード（例えば、テキスト・ツー音声エンジン）と、メニュー・アイテムを復唱するコンピュータ・コードと、言語の翻訳を行うコンピュータ・コード（英語・外国語辞書）等を備え得る。テキストを音声に変換するソフトウェアは、いくつかの別々のベンダから市場で入手可能である。
メモリ装置114は、オーディオ出力及び視覚出力用のコードも備え得る。例えば、音響効果用コード、発話用コード、授業計画及び指導用コード、質問用コード等を全て、メモリ装置114に記憶し得る。こうしたものなどのオーディオ出力用コードは、物品自体の上ではなく、（インタアクティブな装置がオフにされてもデータが保持されるように永続的又は半永続的に）非揮発性メモリに記憶し得る。本願記載のこうした機能及び他機能用コンピュータ・コードは、メモリ装置114に含め得るものであり、C、C++等を含む何れかの適切なプログラミング言語を用いて作成することができる。
メモリ装置114は、ROMカートリッジやフラッシュ・メモリ・カートリッジなどの取り外し可能なメモリ装置であり得る。他の実施例では、メモリ装置114は、1つ又は複数のメモリ装置（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）を備え得る。メモリ装置114は、何れかの適切な磁気的、電子的、電磁気的又は電気光学的なデータ記憶装置を備え得る。例えば、1つ又は複数の半導体ベースの装置がメモリ装置114内にあり得る。
オーディオ出力装置116は、スピーカ又は、イヤピース若しくはハンドセットに結合するオーディオ・ジャック（例えば、イアピース・ジャックやヘッドフォン・ジャック）を含み得る。一実施例では、オーディオ出力装置116は、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能である。オーディオ出力装置116も、選択可能なユーザ記述アイテムのユーザ選択に応じて情報を可聴的にレンダリングするよう動作可能であり得る。
なお、インタアクティブなデバイス100も、表面上の、予め印刷された選択可能アイテムに関連した機能を認識し、実行するよう動作可能である。一実施例では、表面上の、予め印刷された選択可能アイテムのユーザ選択に応じて、プロセッサ112は、予め印刷された選択可能アイテムをユーザが選択することに応じて、予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能である。一実施例では、プロセッサ112は、記号認識を用いて、予め印刷された、選定可能なものを自動的に識別するよう動作可能である。別の実施例では、プロセッサ112は、予め印刷された選択可能アイテムの検出表面位置に基づいて、予め印刷された選択可能アイテムを自動的に識別するよう動作可能である。更に、別の実施例では、プロセッサ112は、別々の有界領域が、別々のアプリケーション・プログラムと関連付けられるように、表面の特定の有界領域に基づいてアプリケーション・プログラムを識別するよう動作可能である。
一部の実施例では、表面は、予め印刷された選択可能アイテムを備えているか備えていない紙であり得る。図3は、本発明の一実施例による、マークのパターンを備えた紙15を示す。図3の実施例では、紙15は、マーク18のパターンから成る光学的に読み取り可能な位置コード17の形式のコード化パターンを備える。図3のマーク18は、分かりやすくするために大いに拡大されている。実際には、マーク18は、人間の視覚系によって容易に区別可能でないことがあり得るものであり、紙15上ではグレイスケールとして見えることがあり得る。一実施例では、マーク18は点として実施される。しかし、本発明はそのように限定されるものでない。
図4は、図3の位置コード17の拡大部分19を示す。インタアクティブなデバイス100（図1）などのインタアクティブなデバイスは、位置コード17の領域の画像を記録するよう配置される。一実施例では、光デバイスは、ラスタ点22で交差するラスタ・ライン21を備えるラスタの形式の基準系にマーク18を合わせる。マーク18の各々は、ラスタ点22と関連付けられる。例えば、マーク23は、ラスタ点24と関連付けられる。画像/ラスタ内のマークについて、マークに関連付けられるラスタ点からのマークの変位が判定される。こうした変位を用いて、画像/ラスタ内のパターンが、基準系におけるパターンと比較される。基準系におけるパターン各々は、表面70上の特定の位置と関連付けられる。よって、画像/ラスタ内のパターンを基準系におけるパターンと照合することによって、表面70上のパターンの位置と、よって、表面70に対する光デバイスの位置とを判定することができる。
一実施例では、シート15上のマークのパターンは、実質的に非可視的なコードである。コードは、ユーザの目に対して「実質的に非可視的」であり、ページ上の選択可能なアイテムの絶対位置又は相対位置に相当し得る。「実質的に非可視的」であることは、ユーザの目に対して完全に非可視的であるかわずかに非可視的であるコードも含む。例えば、ユーザの目に対してわずかに非可視的である点コードが、紙の上じゅうに印刷されている場合、紙は垂直の視距離から視ると淡いグレイシェードを有するように見えることがあり得る。場合によっては、ユーザがコードをインタアクティブなデバイス100によって走査した後、インタアクティブなデバイス100内のオーディオ出力装置116は、（ビープ音等の無差別のオーディオ出力ではなく、）コードに関連した選択可能なユーザ記述アイテムに相当する一意のオーディオ出力を生成する。
一実施例では、実質的に非可視的なコードは、点パターンによって実施される。可視的であるか「サブリミナル」印刷された点パターンを読み取る技術が存在し、こうした技術は市場で入手可能である。こうした印刷された点パターンは、点パターン内に存在するコードが、（通常のバーコードと違って）通常の使用においてはユーザの目によって検出することができないほど、ユーザの目に対して実質的に非可視的である。点パターンは、例えば、2進コ―ド化のように1及び0を表すことができる、小さい点と大きい点との特定の組み合わせによって実施することができる。点パターンは印刷エレメントを印刷するのに用いるインクとは異なるインクによって印刷することができるので、インタアクティブなデバイス100は点パターンを明確に読み取ることができる。
スウェーデンの企業であるアノト社は、非常に大きな一意のデータ空間を多数の文書群にわたって競合せずに使用することができるパターンを生成するアルゴリズムを用いる技術を利用する。完全に印刷される場合、そのパターンは、何れかのページ上の何れかの、辺が2センチメートルの正方形が一意に認識される、70兆の、216mm×279.5mmの（レターサイズの）ページに及ぶことになる。特定の点パターンを含む紙は、アノト社から市場で入手可能である。米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットに記載の特許及び特許出願は、アノト社に譲渡されており、この基本技術を記載しており、全ての目的で、全ての内容を本明細書及び特許請求の範囲に援用する。
一部の実施例では、点パターンは、データ・ブロック、オーディオ・データ及び/又はエラー検出データ用のマーカを表すデータなどの他のタイプのデータがないものであり得る。前述の通り、インタアクティブなデバイス100内のプロセッサ112は、ルックアップ・テーブルを用いてスタイラスの位置を判定することができ、オーディオを、位置情報に基づいて取り出し、再生することができる。このことは利点を有する。例えば、マーカ、オーディオ及びエラー検出用のデータを上に印刷させた紙と比較して、本発明の実施例が必要とする点の数はより少ないが、それは、マーカ、オーディオ及びエラー検出用のデータを紙上に印刷しなくてよいからである。例えば、オーディオ・データを紙から削除することにより、インタアクティブにレンダリングすることができる、紙上の空間は増えるが、それは、実際のオーディオ・データが紙上の空間を埋めなくてよいからである。更に、オーディオ用コンピュータ・コードが、本発明の実施例におけるインタアクティブなデバイス100に記憶されるので、生成されるオーディオが、例えば、紙におけるしわや裂け目によって損なわれるか改変されることになる可能性は低くなる。
なお、点パターン・コードを本明細書及び特許請求の範囲で説明するが、他のタイプの実質的に非可視的なコードも本発明の他の実施例に用い得る。例えば、バーコードが物品上のアレイ内に配置されている場合、赤外線バーコードを用い得る。例証的には、紙は、100x100の、実質的に非可視的なバーコードのアレイを含み得るものであり、各コードは、紙上の別々のx‐y位置と関連付けられる。アレイ内のバーコードの相対位置又は絶対位置は、インタアクティブなデバイス100内のメモリ装置114に記憶し得る。
なお、一部の実施例では、実質的に非可視的なコードは、紙上の、複数の場所及び/又は何れかの選択可能なアイテムの、位置に直接的又は間接的に関係し得る。一部の実施例では、実質的に非可視的なコードは、紙上（や他の表面上）の複数の場所の位置に直接関係し得る。こうした実施例では、紙上の別々の場所の位置は、コード自体によって備え得る。例えば、第１の場所での第１のコードは、紙上の第１の場所の空間座標（例えば、特定のx‐y位置）のコードを含み得る一方、第２の場所での第２のコードは、紙上の第２の場所の空間座標のコードを含み得る。
別々の、選択可能なユーザ記述アイテムは、紙上の別々の場所にあり得る。こうした選択可能なユーザ記述アイテムは、コードにわたって形成し得る。例えば、第１の選択可能なユーザ記述アイテムは、第1のコードと重なる第１の場所で形成し得る。第２の選択可能なユーザ記述アイテムは、第２のコードと重なる第２の場所で形成し得る。ユーザが第１の選択可能なユーザ記述アイテムを形成すると、走査装置は、形成された第１の印刷エレメントを認識し、形成された第１の選択可能なユーザ記述アイテムに関連付けられる第１のコードを実質的に同時に走査する。インタアクティブ・デバイス100内のプロセッサ112は、第１の場所の特定の空間座標を判定することができ、第１の選択可能なユーザ記述アイテムを空間座標と相互に関係させることができる。
ユーザが第２の選択可能なユーザ記述アイテムを形成すると、走査装置は、形成された第２の選択可能なユーザ記述アイテムを認識し、第２のコードを実質的に同時に走査する。プロセッサ112は更に、第２の場所の空間座標を判定することができ、第２の選択可能なユーザ記述アイテムを空間座標と相互に関連させることができる。ユーザは更に、第１の選択可能なユーザ記述アイテムと第２の選択可能なユーザ記述アイテムとをインタアクティブなデバイス100を用いて選択することができ、インタアクティブなデバイス100は、更なる動作を行うことができる。例えば、この方法論を用いれば、ユーザは、ブランクの紙上にユーザ定義インタフェース又は機能的デバイスを作成することができる。
インタアクティブなデバイス100は、メモリ装置114内の形成された選択可能なユーザ記述アイテムと、相対位置又は絶対位置をマッピングするか、相互に関係させる機構も含み得る。この機構は、物品上の特定の選択可能なユーザ記述アイテムに関したデータを、物品上の特定の位置に相互に関係させるルックアップ・テーブルであり得る。このルックアップ・テーブルは、メモリ装置114に記憶し得る。プロセッサ112は、プロセッサ112が後の動作を行うことができるように、ルックアップ・テーブルを用いて、特定の位置で、選択可能なユーザ記述アイテムを識別することができる。
実質的に非可視的なコードを備える表面は、何れかの適切な形態のものであり得る。例えば、表面は、単一の紙、メモ帳、濾紙、ポスター、プラカード、メニュー、ステッカ、タブ、製品パッケージ、箱、トレーディングカード、磁石（例えば、冷蔵庫の磁石）、ホワイトボード、天板等であり得る。更に、表面は、紙、木、金属、プラスチック等に限定されないがそれらを含む何れかの材料から成るものであり得る。何れかの、こうしたタイプや他のタイプの表面を、予め印刷された選択可能アイテムとともに用い得るものであり、そうしたアイテムなしでも用い得る。表面がシートの場合、シートは、何れかの適切なサイズのものであり得るものであり、何れかの適切な材料でできたものであり得る。例えば、シートは紙ベースのものであってよく、プラスチック・フィルムであってもよい。一部の実施例では、表面は、3次元の表面を備える3次元の物品であり得る。3次元の表面は、人体、動物（例えば、恐竜）、車両、キャラクターや他のフィギュアの成形フィギュアを含み得る。
一部の実施例では、表面はシートであり、シートは、印刷されたレター又は数字（例えば、選択可能なユーザ記述アイテムをシート上にユーザが作成する前に作成されるマーキング）などの予め印刷された選択可能なエレメントがないものであり得る。別の実施例では、予め印刷された選択可能アイテムは、（例えば、選択可能なユーザ記述アイテムをシート上にユーザが作成する前の）シート上にあり得る。予め印刷された印刷エレメントは、数字、アイコン、レター、丸、語、記号、線等を含み得る。例えば、本発明の実施例は、予め印刷された注文伝票や投票用紙などの予め印刷された帳票を利用し得る。
インタアクティブなデバイス100は、何れかの適切な形態のものであり得る。一実施例では、インタアクティブなデバイス100は、スタイラスとしての形状を有する走査装置である。一実施例では、インタアクティブなデバイス100はポケット・サイズのものである。スタイラスは、プラスチック又は金属でできたものであり得るスタイラス・ハウジングを含む。グリップ部分がスタイラス・ハウジング上にあり得る。
図5は、本発明の一実施例による、表面上の、ユーザが描いた選択可能アイテムとの相互作用を容易にする処理500の工程の流れ図を示す。処理500は、本発明の一実施例による、インタアクティブなデバイス（例えば、インタアクティブなデバイス100）によって実施されるユーザ・インタフェース処理の基本動作工程を、ユーザが記述した、選択可能なアイテム、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
工程510では、デバイス100のコンピュータ実施機能が記述可能な表面上の選択可能なユーザ記述アイテムを検出する。工程512では、選択可能なユーザ記述アイテムが、選択可能なユーザ記述アイテムの機能とともに認識される。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択）を発音し得るメニュー機能であり得る。工程514では、ユーザが描いた選択可能なアイテムとの相互作用が検出される。この相互作用は、選択可能なユーザ記述アイテムを記述する工程、選択可能なユーザ記述アイテムと、インタアクティブなデバイスによって、相互作用する（例えば、選択可能なユーザ記述アイテムに軽く触れる）工程、又は関連した選択可能なユーザ記述アイテム（例えば、図2Bのチェックマーク210）と相互作用する工程を含み得る。機能は、選択可能なユーザ記述アイテムと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の相互作用（例えば、軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、起動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
このようにして、本発明の実施例は、ペン及び紙のタイプのインタフェースを用いてインタアクティブなデバイス（例えば、図1のインタアクティブなデバイス100）の機能をたどるユーザ・インタフェース手段を実施する。選択可能なユーザ記述アイテムによって実施されるユーザ・インタフェースは、インタアクティブなデバイス100内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、インタアクティブなデバイス100への入力は、選択可能なユーザ記述アイテムをユーザが作成することや、ユーザ記述アイテム又は、予め印刷された選択可能なアイテムとユーザが相互作用することなどのユーザ動作を含む。ペンからの出力は、オーディオ出力であり、よって、ユーザ・インタフェース手段によって、ペンのアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペンがお互いに相互作用することを可能にする、表面上の、選択可能なユーザ記述アイテムなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、通常、紙上などの表面上でユーザが描く記号若しくはマーク又はアイコンである。
本発明の他の実施例
図6は、本発明の他の実施例を実施することができるペン・デバイス150の構成図である。一般的に、ペン・デバイス150は、光デバイス、特に、光学式読み取り装置、光学式ペン若しくはディジタル・ペンとして表し得る。デバイスは、上に常駐した、コンピュータ・システム及びオペレーティング・システムを含み得る。アプリケーション・プログラムも上に常駐しているものであり得る。
図6の実施例では、ペン・デバイス150は、ハウジング62内にプロセッサ32を含む。一実施例では、ハウジング62は、ペンや他の筆記若しくはマーキングの用具又は器具の形態を有する。プロセッサ32は、以下に記載する、ペン・デバイス150の機能を実施するのに用いる情報及び命令を処理するよう動作可能である。
本実施例では、ペン・デバイス150は、プロセッサ32に結合される、オーディオ出力装置36及び表示装置40を含み得る。他の実施例では、オーディオ出力装置及び/又は表示装置は、ペン・デバイス150とは物理的に分離されている一方、有線接続又は無線接続によってペン・デバイス150と通信する。無線通信の場合、ペン・デバイス150は、送受信器又は送信器（図６に示していない）を含み得る。オーディオ出力装置36は、スピーカ又はオーディオ・ジャック（例えば、イヤフォン用若しくはヘッドフォン用）を含み得る。表示装置40は、液晶表示や特定の他の適切なタイプの表示であり得る。
図6の実施例では、ペン・デバイス150は、プロセッサ32に結合され、ペン・デバイス150を駆動させ、制御する入力ボタン38を含み得る。例えば、入力ボタン38によって、ユーザが、情報及びコマンドをペン・デバイス150に入力するか、ペン・デバイス150をオン/オフにすることが可能になる。ペン・デバイス150は、バッテリなどの電源34も含む。
ペン・デバイス150は、プロセッサ32に結合される、光源又は光エミッタ44及び、光センサ又は光検出器42も含む。光エミッタ44は、例えば発光ダイオード(LED)であってよく、光検出器42は、例えば、電荷結合素子(CCD)や相補型金属酸化物半導体(CMOS)のイメ―ジャ・アレイであってよい。光エミッタ44は表面70又はその一部分を照射する。表面70を反射する光は、光検出器42によって受光され、記録される。
表面70は、紙であり得るが、本発明はそのように限定されるものでない。例えば、表面70は、LCD（液晶ディスプレイ）、CRT（陰極線管）、タッチスクリーンや他の同様なタイプのアクティブな電子表面（例えば、ラップトップ型PCやタブレット型PCのディスプレイ）であり得る。同様に、表面70は、電子インクを備える表面や再構成可能なペーパーを備える表面であり得る。
一実施例では、マーキングのパターンが表面70上に印刷される。光エミッタ44及び光検出器42を収容するペン・デバイス150の端部は、表面70に押し当てられるか表面70の近くに配置される。ペン・デバイス150が表面70に対して移動するにつれ、マーキングのパターンが光エミッタ44及び光検出器42によって読み取られ、記録される。以下に更に詳細に記載するように、一実施例では、表面70上のマーキングを用いて、表面に対するペン・デバイス150の位置を判定する（図3及び4）。別の実施例では、表面70上のマーキングを用いて情報をコード化する（図8及び9）。表面70の捕捉画像は、ペン・デバイス150によって解析（処理）して、マーキングを復号化し、コード化情報を復元することができる。
情報をコード化する表面マーキングと、電子デバイスによるそうしたマーキングの読み取り/記録とに関する更なる記載は、アノト社に譲渡されており、全ての内容を本明細書及び特許請求の範囲に援用する、米国特許第6,502,756号明細書、西暦2002年6月26日付出願の米国特許出願公開10/179,966号明細書、国際公開第01/95559号パンフレット、国際公開第01/71473号パンフレット、国際公開第01/75723号パンフレット、国際公開第01/26032号パンフレット、国際公開第01/75780号パンフレット、国際公開第01/01670号パンフレット、国際公開第01/75773号パンフレット、国際公開第01/71475号パンフレット、国際公開第01/73983号パンフレット及び国際公開第01/16691号パンフレットで見つけ得る。
図6のペン・デバイス150は、プロセッサ32に結合されるメモリ装置48も含む。一実施例では、メモリ装置48は、メモリ・カートリッジ又はメモリ・カードとして実施される取り外し可能なメモリ装置である。別の実施例では、メモリ装置48は、プロセッサ32用情報及び命令を記憶するランダム・アクセス（揮発性）メモリ（ＲＡＭ）並びに読み取り専用（非揮発性）メモリ（ＲＯＭ）を含む。
図6の実施例では、ペン・デバイス150は、光検出器42及び光エミッタ44と同じ、ペン・デバイス150の端部に配置される筆記具エレメント52を含む。筆記具エレメント52は、例えば、ペン、鉛筆、マーカ等であり得るものであり、格納式であってもなくてもよい。特定のアプリケーションでは、筆記具エレメント52は必要でない。他のアプリケーションでは、ユーザは、筆記具エレメント52を用いて、レター、語、数字、数学記号等などの文字を含む、表面70上のマーク（例えば、グラフィカル・エレメントや、選択可能なユーザ記述アイテム）を作成することができる。こうしたマークを、走査（イメージング）し、表面70上の位置によって、ペン・デバイス150によって解釈することができる。ユーザ作成マークの位置は、表面70上に印刷されるマーク・パターンを用いて判定することができる。上記図3及び4の記載参照。一実施例では、ユーザ作成マーキングは、手書き文字を認識する光学式文字認識(OCR)手法を用いてペン・デバイス150によって解釈することができる。
前述のように、表面70は、例えば、紙などの、上に記述するのに適した何れかの表面であり得るが、紙以外の材料から成る表面も用い得る。更に、表面70は平坦であってもなくてもよい。例えば、表面70は、球体の表面として実施し得る。更に、表面70は通常の（例えば、216mm×279.5mm（レターサイズ）の）ページに対して大きくても小さくてもよい。
図7は、本発明の実施例を実施することができる別のデバイス250の構成図である。デバイス250は、本明細書に前述した、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38、メモリ装置48、光検出器42、光エミッタ44及び筆記具エレメント52を含む。しかし、図7の実施例では、光検出器42、光エミッタ44及び筆記エレメント52は、ハウジング62内に光デバイス251として実施され、プロセッサ32、電源34、オーディオ出力装置36、入力ボタン38及びメモリ装置48は、ハウジング74内にプラットフォーム252として実施される。本実施例では、光デバイス251は、ケーブル102によってプラットフォーム252に結合される。しかし、無線接続をかわりに用いることができる。図7によって示すエレメントは、上記のもの以外の組み合わせで光デバイス251とプラットフォーム252との間に分布させ得る。
図6をもう一度参照すれば、表面70上の4つの位置又は領域をレターA、B、C及びDによって示す（こうした文字は、表面70上に印刷されないが、表面70上の位置を示すのに本明細書では用いている。）表面70上にはそうした領域が多く存在し得る。表面70上の各領域と関連付けられるのは、一意のマーク・パターンである。表面70上の領域は重なり得るが、それは、重なる領域間で一部のマークが共有されても、領域内の、マークのパターンは、その領域になお一意であるからである。
図6の例では、ペン・デバイス150を用いて（特に、筆記具エレメント52を用いて）、ユーザは、例えば、表面70上の位置Aにある、丸を付けたレター「M」から成る文字を作成し得る（一般的に、ユーザは、表面70上の何れかの位置に文字を作成し得る。）。ユーザは、そうした文字をペン・デバイス150からのプロンプト（例えば、可聴プロンプト）に応じて作成し得る。ユーザが文字を作成すると、ペン・デバイス150は、文字が作成される位置に一意に存在するマーキング・パターンを記録する。ペン・デバイス150は、このマーキング・パターンを、直近に作成された文字と関連付ける。丸を付した「M」の上にペン・デバイス150が後に配置されると、ペン・デバイス150は、それと関連付けられるマーク・パターンを認識し、丸を付した「M」と関連付けられるものとして位置を認識する。事実上、ペン・デバイス150は、文字自体を認識することによるのではなく、文字が配置される位置にあるマーキング・パターンを用いて文字を認識する。
一実施例では、上記文字は、ペン・デバイス150の1つ又は複数のコマンドに関連した
「グラフィック・エレメント」を備える。コマンドを備える、ペン・デバイス150によって実施される機能と関連付けられ、そうした機能をアクセスするのに用いるそうしたグラフィック・エレメントは、ペン・デバイス150の機能又はアプリケーションをアクセスすることに関連しない他の記述された文字、マーク等と区別するために、以降、「グラフィック・エレメント・アイコン」として表す。直近で説明した例では、ユーザは、特定のコマンドを識別するグラフィック・エレメント・アイコンを作成（記述）することができ、グラフィック・エレメント・アイコン（例えば、記述された文字）の上にペン・デバイス150を単に配置させることによって繰り返しそのコマンドを引き起こすことができる。
一実施例では、筆記器具が、グラフィカル文字の上に配置される。すなわち、ユーザは、コマンドをペン・デバイス150によって引き起こすこととする都度、コマンドに対する文字を記述しなくてよい。その代わりに、ユーザは、コマンドに対するグラフィック・エレメント・アイコンを一度、記述し、記述された同じグラフィック・エレメント・アイコンを用いて繰り返しコマンドを引き起こすことができる。この属性は、「永続性」として表し、以下に更に詳細に説明する。このことは、ユーザによって記述されないが、表面上に予め印刷され、しかし、ペン・デバイス150によって選択可能であるグラフィカル・エレメント・アイコンに関してもあてはまる。
一部の実施例では、グラフィック・エレメント・アイコンは、線がレター又は数字に外接して描かれたレター又は数字を含み得る。レター又は数字に外接して描かれた線は、円形、楕円形、正方形、多角形等であり得る。そうしたグラフィック・エレメントは、通常のレターや数字の代わりに、ユーザによって選択することができる、「ボタン」に似たものに見える。こうした類のグラフィック・エレメント・アイコンを作成することによって、ユーザは、機能的アイコンなどのグラフィック・エレメント・アイコンを、ペン・デバイス150によってデータとして扱われ得る通常のレターや数字から視覚的に区別することができる。更に、こうした類のグラフィック・エレメント・アイコンを作成することによって、ペン・デバイスは、機能的タイプ又はメニュー・アイテム・タイプのグラフィック・エレメントを、非機能的タイプ又は非メニュー・アイテム・タイプのグラフィック・エレメントからより好適に区別することもでき得る。例えば、ユーザは、周りに円を有して、インタアクティブな「メニュー」・グラフィック・エレメント・アイコンをもたらすレター「M」であるグラフィック・エレメント・アイコンを作成し得る。
ペン・デバイス150は、語におけるレター「M」と区別されたものとして、中にレター「M」を備える、重なる円形又は正方形を、機能的なグラフィック・エレメントとして認識するようプログラムし得る。グラフィック・エレメント・アイコンは、特定距離（例えば、2,5cm、3.75cm等）内にそれに隣接する小さい「チェックマーク」記号も含み得る。チェックマークは、グラフィック・エレメント・アイコンと関連付けられることになる。そうした機能的なグラフィック・エレメントを認識し、それを他の、非機能的なグラフィック・エレメントと区別するコンピュータ・コードは、ペン・デバイス内のメモリ装置に存在し得る。プロセッサは、ペン・デバイス150が、関連した種々の機能、動作等を行うことができるように、グラフィック・エレメント・アイコンを認識し、そうしたグラフィック・エレメント・アイコンの位置を識別することができる。こうした実施例では、メモリ装置は、ユーザによって生成される何れかのグラフィック・エレメントを、表面上のその位置と相互に関係させるコンピュータ・コードを備え得る。ペン・デバイス150は、（例えば、ユーザが記述し始める際に）表面上の「ダウンタッチ」若しくは「ダウンストローク」又は、表面上に下ろされることを認識し、（例えば、ユーザが記述し終わる際に）表面からの「アップストローク」又は、表面から引き上げられることを認識する。そうしたダウンストローク及びアップストロークは、ペン・デバイス150によって、例えば、特定の機能が引き起こされる時点と、引き起こされる特定の機能/アプリケーション（例えば、ＯＣＲ処理を引き起こすこと）とのインディケータとして解釈することができる。特に、アップストロークがすばやく続くダウンストローク（例えば、表面上のペン・デバイスに軽く触れること）は、アプリケーション（例えば、グラフィック・エレメント・アイコン、テキスト列等の選択）によって特定の動作と関連付けることができる。
なお、「グラフィック・エレメント」という汎用語は、ユーザによって作成される何れかの適切なマーキング（例えば、選択可能なユーザ記述アイテム）を含み得るものであり、デバイスの1つ又は複数の機能をアクセスするのに用いる、機能的グラフィック・エレメントを表すグラフィック・エレメント・アイコンと区別できる。
上記の通り、グラフィック・エレメント・アイコンは、ペン・デバイス150によって作成される（例えば、ユーザによって描かれる）ことがあり得るものであり、予め存在するもの（例えば、紙上に印刷されたエレメント）でもあり得る。グラフィック・エレメントの例は、レター及び/又は数字、文字、語、形状、線等などのしるしを含む。上記エレメントは、形状が正則でも非正則でもあり得る。ユーザ記述/ユーザ作成のグラフィック・エレメントは、通常、ペン・デバイス150を用いて作成される。更に、グラフィック・エレメント・アイコンは、常にではないが通常は、文字（例えば、レター「Ｍ」）の周りに外接する線（例えば、円）を組み入れて、そうしたグラフィック・エレメント・アイコンの、ユーザとペン・デバイス150とに対する区別性を高める。例えば、一実施例では、文字の周りの円を終えた後のアップストロークによって、グラフィカル・エレメント・アイコンをユーザが直近で作成したということをペン・デバイス150に特に示し得る。
図8は、本発明の一実施例による、コンピュータによって実施される処理550の工程の流れ図を示す。処理550は、本発明の一実施例による、デバイス（例えば、ペン・デバイス150）によって実施されるユーザ・インタフェース処理の基本動作工程を、グラフィック・エレメント、筆跡、マーク等の形式でのユーザ入力をそれが解釈し、要求される機能をユーザに備えるにつれ、表す。
処理550は工程551から始まり、工程551では、ペン・デバイス150のコンピュータ実施機能が、（例えば、ユーザによって作成される、）作成グラフィック・エレメント・アイコンを認識する。あるいは、グラフィック・エレメントは、表面上に予め印刷され得るものであり、その位置はペン・デバイス150が分かっているものであり得る。工程551では、ユーザが、初めてグラフィック・エレメントを記述する場合、ペン・デバイス150は、光センサ及びプロセッサを用いて記述に対してＯＣＲ（光学式文字認識）を行って、ユーザ記述グラフィカル・エレメントを識別する。一実施例では、表面上のその一意の位置も更に記録される。工程552では、グラフィカル・エレメント・アイコンに関する機能は、認識されると、アクセスされる。この機能は、例えば、ユーザが後に起動する所定の機能リスト（例えば、メニュー選択又はサブメニュー・オプション）を発音（例えば、可聴的にレンダリング）し得るメニュー機能であり得る。工程553では、機能によるオーディオ出力が備えられる。このオーディオ出力は、例えば、選択リスト内でユーザがいる特定の選択の発音であり得る。工程554では、機能は、グラフィカル・エレメント・アイコンと永続的に関連付けられ、それによって、グラフィカル・エレメント・アイコンの後の駆動（例えば、軽く触れること）による、（例えば、後の特定時点での、）機能の、後のアクセスが可能になる。例えば、メニュー機能の場合、リスト化されたメニュー選択を、メニュー・グラフィック・エレメント・アイコンを単に、駆動させる（例えば、それに軽く触れる）ことによって後の特定の時点でユーザが後にアクセスすることができる。
なお、複数の別々のグラフィカル・エレメントが、表面上に、かつ、いつでも存在し得るものであり、それらの選択が、ペン・デバイス150によって実行する対象の種々の機能を、例えば、引き起こしたアプリケーション、引き起こしたサブメニュー・オプション等に備え得る。
なお、ペン・デバイス150の出力は、オーディオ出力に加えてか、オーディオ出力のかわりに、視覚出力（例えば、ディスプレイを介したもの、指示灯等）であり得る。視覚出力及び/又はオーディオ出力は、ペン・デバイス150から直接来るものでもよく、通信するようペン・デバイス150に結合される別の装置（例えば、パソコン、スピーカ、LCDディスプレイ）からのものでもよい。
このようにして、本発明の実施例は、コンピュータ・システム、特に、例えばペン・デバイス150を備えるペン・ベースのコンピュータ・システムの機能をたどるユーザ・インタフェース手段を実施する。グラフィカル・エレメント・アイコンによって実施されるユーザ・インタフェースは、ペン・デバイス150内で実行するいくつかのソフトウェア・アプリケーションと相互作用する方法を備える。前述のように、ペン・デバイス150からの出力は、オーディオ出力を含み得るものであり、よって、ユーザ・インタフェース手段によって、ペン・デバイス150のアプリケーション及び機能と「対話」をユーザが行うことが可能になる。すなわち、ユーザ・インタフェースによって、ユーザ及びペン・デバイス150がお互いに相互作用することを可能にする、グラフィック・エレメント・アイコンなどの相互に認識されるアイテムをユーザが作成することが可能になる。前述のように、相互に認識されるアイテムは、表面上、通常、紙上でユーザが描く記号若しくはマーク又はアイコンである。
別々のグラフィック・エレメント・アイコンは、別々の意味と、別々の、ユーザとの相互作用の方法とを有する。一般的には、特定のグラフィック・エレメント・アイコンについて、相互作用の方法によって、ペン・デバイスの、別々のコンピュータ実施機能が呼び出されることになる。例証的な目的で、上記メニュー例の場合、メニュー機能によって、グラフィック・エレメントに関する機能リストをユーザが繰り返す（例えば、メニュー上で軽く触れる回数、グラフィック・エレメント・アイコンが機能リストを繰り返す）ことが可能になる。ペン・デバイスからのオーディオは、上記のようにメニュー上で軽く触れるにつれて機能又はモードを発音することができる。発音された機能/モードのうちの１つを更にユーザによって、（例えば、グラフィック・エレメント・アイコンに関連した、先行して描かれたチェックマーク・グラフィック・エレメントを描くか選択する）更なる特定の相互作用を介して選択することができる。選択されると、選択された特定の機能の機能性、オプション、及び更なるサブメニューを更にユーザによってアクセスすることができる。あるいは、可聴的にレンダリングされるサブオプションのうちの1つ自体がメニュー・グラフィカル・アイコンである場合、表面上のその表現をユーザが描き、それを選択することによって選択することができる。
図9は、本発明の一実施例による処理650の、コンピュータによって実施される工程の流れ図を示す。処理650は、本発明の一実施例による、インタアクティブなデバイス（例えば、ペン・デバイス150）の、ネストされたいくつかの階層機能をアクセスする（例えば、たどる）ユーザ・インタフェース処理の基本動作工程を表す。処理650は、図11A、11B及び11Cを参照しながら説明する。
処理650は工程651から始まり、工程651では、ペン・デバイス150の、コンピュータによって実施される機能は、メニュー・アイコン「M」として図11Aに示す作成グラフィック・エレメント・アイコンを認識する。工程551と同様に、グラフィック・エレメント・アイコンは、表面上に、ユーザが記述してもよく、予め印刷してもよい。1つのケースでは、グラフィック・エレメント・アイコンは、それに関連付けられ、それ自体が更なる選択を備え得る更なるグラフィック・エレメント・アイコン（例えば、階層配置）の選択のリストを備え得る。工程652では、かつ、図11Aに示すように、認識されると、グラフィック・エレメント・アイコンに関する第１の階層的な機能メニューがアクセスされる。この例では、認識されると、工程651のメニュー・アイコン「M」によって、図11Aに示すように、サブオプションのリスト（例えば、システム「S」、ゲーム「G」、参考書「R」及びツール「T」）を1度に1つのオプションについて（例えば、可聴プロンプトを介して）可聴的にレンダリングされる。オプションは、ペン・デバイス（例えば、ペン・デバイス150）による工程651のメニュー・アイコンの連続した選択に応じてレンダリングされる。
工程653では、かつ、図１１Bに示すように、発音される機能のうちの１つ、この例では参考書グラフィック・エレメント・アイコン「R」が、メニュー・グラフィック・エレメント・アイコンの適切な数の駆動（例えば、軽く触れる動作）によって選択され、駆動は、チェックマーク・アイコン870に関連する。工程654では、機能の起動によって、第２の階層的な機能メニューについて第２のグラフィック・エレメント・アイコンの作成をプロンプトし得る。第２のグラフィック・エレメント・アイコン、この例では参考書アイコン「R」は更に、ユーザによって表面上に描かれ得る。図11Cに示すように、その選択によって、上記のように（例えば、可聴プロンプトを介して）第２のサブメニュー・アイテム・リスト（例えば、類語辞典「TH」、辞書「D」及びヘルプ「H」）が可聴的にレンダリングされる。その後、工程655で、第２のグラフィック・エレメント・アイコンの発音された機能のうちの１つを、適切な数の駆動によって起動させて、第２の階層レベル機能のうちの１つを選択する。
このようにして、１つのメニューによって、それら自体が更なるサブメニューを有するいくつかのサブメニューを呼び出すことができる。よって、別々のレベルのグラフィック・エレメント・アイコンを階層的に配置することができる。一般的に、機能メニューを呈示する最上位レベルのグラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンとして表す。アプリケーション・グラフィック・エレメント・アイコンは、特定のアプリケーションについて構成オプション又はアプリケーション設定のメニューを一般的に呈示する第２レベルのグラフィック・エレメント・アイコンである。例えば、アプリケーション・グラフィック・エレメント・アイコンは、グループ・グラフィック・エレメント・アイコンの特別ケースと見なし得る。一般的に、アプリケーション・グラフィック・エレメント・アイコンは、それに関連した専門アプリケーション関連のデフォールト特性を有する。
このようにして、ユーザは、メニュー・アイテム・リストからメニュー・アイテムを更に選択し得る。メニュー・アイテムは、ディレクトリ名、サブディクトリ名、アプリケーション名又は特定データ群名を含み得る。ディレクトリ名又はサブディレクトリ名の例は、「ツール」（例えば、多くの別々の状況下で適用可能な、有用なインタアクティブ機能）と、「参考書」（例えば、辞書などの参考マテリアル）と、（例えば、種々のゲーム用の）「ゲーム」等とに限定されないがこれらを含む。特定のアプリケーション（又はサブディレクトリ）の例は、「電卓」、「スペルチェック」及び「翻訳」を含む。特定のデータ群例は、外国語の語とその定義との群、電話帳、カレンダー、予定表等を含み得る。更なるメニュー・アイテム例を、以下図10に示す。
特定のオーディオ命令を種々のメニュー・アイテムに備え得る。例えば、ユーザが「電卓」というメニュー・アイテムを選択した後、ペン・デバイスは、紙上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に数字を選択して数値計算を行うようユーザに命令し得る。別の例では、ユーザが「翻訳」というメニュー・アイテムを選択した後、ペン・デバイスは、第２の言語名を記述し、それに丸を付けることをユーザに命令し得る。ユーザがこれを行った後、ペン・デバイスは更に、英語で語を筆記し、更に、丸を付けた第２の言語を選択して、筆記された語の第２の言語への翻訳を聴くようユーザに命令し得る。そうした後、ペン・デバイス内のオーディオ出力装置は、第２の言語でその語を復唱し得る。
図10は、各オプションのグラフィカル・エレメント・アイコン表現を含む、本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す。メニュー・アイテム・ツリー・ディレクトリは、メニュー・グラフィック・エレメント・アイコンから始めて、オーディオ・メニューを実施することができる。図10の最上部から始めれば、第１のオーディオ・サブディレクトリは、ツールＴのサブディレクトリとなる。ツールＴのサブディレクトリの下には、翻訳TRのサブディレクトリ、電卓Ｃのサブディレクトリ、スペルチェックＳＣのサブディレクトリ、秘書ＰＡのサブディレクトリ、目覚まし時計ＡＬのサブディレクトリ、及び家庭教師Ｔの機能があり得る。翻訳ＴＲのサブディレクトリの下には、スペイン語ＳＰの翻訳機能、フランス語ＦＲの翻訳機能、及びドイツ語ＧＥの翻訳機能があることになる。秘書ＰＡのサブディレクトリの下には、カレンダーＣ、電話帳PL及び予定表ＴＤの機能又はサブディレクトリがあることになる。参考書Rのサブディクトリの下には、類語辞典THの機能と、辞書Dのサブディレクトリと、ヘルプHの機能があり得る。辞書Dのサブディレクトリの下には、英語Eの機能、スペイン語SFの機能、及びフランス語FRの機能があり得る。ゲームGのサブディレクトリの下には、ワードスクラブルWS、青色ポテトFPや手書きメモDOなどのゲームがあり得る。他のゲームも本発明の別の実施例にあり得る。システムＳのサブディレクトリの下には、セキュリティＳＥの機能と、個人化Ｐの機能があり得る。
上記ディレクトリ、サブディレクトリ及び機能の一部に関する詳細は、以下に備える。メニュー・アイテム・ツリー・ディレクトリによって示されるように、ユーザは、種々のメニュー・アイテムの復唱を聴き、更に、所望のメニュー・アイテムを選択することによって何れかの所望のパスを先に進むか、たどり得る。所望のメニュー・アイテムの後の選択は、何れかの適切な方法で行い得る。例えば、一部の実施例では、ユーザは、作成グラフィック・エレメント上の「ダウンタッチ」（例えば、ダウンストローク）によってオーディオ・メニューをペン・デバイスにスクロールさせることができる。「ダウンタッチ」は、ペン・デバイス内のエレクトロニクスによって、何れかの適切な機構による「駆動」として認識し得る。例えば、ペン・デバイスを、選択グラフィック・エレメントに向けてそれを下方に移動させることに関連した画像の変化を認識するようプログラムし得る。
別の例では、圧力感応型スイッチを、ペン・デバイスの端部によって、紙に圧力が印加されると圧力スイッチが起動するようにペン・デバイスに備え得る。これによって、オーディオ・メニューをスクロールする旨をペン・デバイスに通知する。例えば、ペン・デバイスによって、丸を付したレター「Ｍ」を選択した後、（又は、丸を付したレター「Ｍ」を選択して、それによってペン・デバイス内の圧力スイッチを起動させた後、）ペン・デバイス内のオーディオ出力装置は、「ツール」のみを復唱し得る。ユーザは、丸を付したレター「M」の2度目の選択を行って、「参考書」というメニュー・アイテムをオーディオ出力装置に復唱させ得る。このことを、所望の回数、繰り返してオーディオ・メニューをスクロールし得る。特定のメニュー・アイテムを選択するために、ユーザは、紙上に特徴的なマークを作成し得るものであり、走査装置によって特定のジェスチャを備え得るものでもある。例えば、ユーザは、「ツール」という語を聴いた後に、丸を付したレター「M」の隣に「チェックマーク」（や他のグラフィック・エレメント）を描いてサブディレクトリ「ツール」を選択し得る。こうしたものなどの方法を用いて、ユ―ザは、メニュー・アイテム・ツリー内を、意図されたディレクトリ、サブディレクトリ又は機能に向けてたどり得る。別のグラフィック・エレメント又は別のジェスチャの作成を用いて、ペン・デバイスを上方にスクロールさせ得る。あるいは、ボタンや他のアクチュエータをペン・デバイス内に備えて、メニューをスクロールし得る。「ツール」は、選択されると、前述の通りにではあるが、そのサブディレクトリ・メニューに関して動作することになる。
他の実施例では、メニュー・グラフィック・エレメント・アイコン（例えば、丸を付したレター「Ｍ」）を作成した後、ユーザは、メニュー・グラフィック・エレメント・アイコンを選択し得る。走査装置内のソフトウェアは、丸を付したレターをメニュー記号として認識し、ユーザによるダウンタッチなしで、「ツール」と、「参考書」と、「ゲーム」と、「システム」とのメニュー・アイテムを順次にかつ、間を空けた時間間隔で走査装置に復唱させる。オーディオ命令は、ユーザに備え得る。例えば、ペン・デバイスは、「「ツール」ディレクトリを選択するために、レター「Ｔ」を記述し、それに丸を付ける」と言うことがあり得る。メニュー・アイテムを選択するために、ユーザは、レター「Ｔ」を作成し、それに丸を付け得る。このことは、サブディレクトリ「ツール」をユーザが選択したということをペン・デバイスに示す。更に、ペン・デバイスは、ユーザに、「ツール」ディレクトリの下にあるメニュー・アイテムを復唱することができる。よって、メニュー・アイテム・ツリーにおける特定のディレクトリ、サブディレクトリ又は機能に、そのディレクトリ、サブディレクトリ又は機能を表すグラフィック・エレメントをシート上に作成し、それと相互作用することによって直接進むことが可能である。あるいは、メニュー・アイテムが表面上に既に存在する場合、ユーザはそれといつでも相互作用してその機能を選択することができる。
なお、図10に表すグラフィック・エレメント・アイコンの、ディクトリ内、サブディレクトリ内、オプション・メニュー等内のアイテムの順序は、ユーザによって変えることができる。例えば、ユーザは、特定のアプリケーションをアクセスし、そのアプリケーションを用いて、1つ又は複数のディレクトリ、サブディレクトリ等のアイテムが可聴的にレンダリングされる順序を変えることができる。同様に、ユーザは、特定のディレクトリ./サブディレクトリ等内の1つ又は複数のアイテムに関連した特定のオーディオ出力を変えることができる、例えば、ユーザは、アイテムの可聴的にレンダリングされる出力によって、アイテムについて自分の声を録音し、予め録音された楽曲（例えば、MP3等）を用いること等を行うことができる。更に、1つ又は複数のディレクトリ、サブディレクトリ等に対して更なるアイテムを、例えば、ペン・デバイスに備えられるソフトウェア及び/又はファームウェアのアップデート（例えば、新たなソフトウェアをベースとした機能のアップロード）によって追加することができる。
なお、グラフィック・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態は、特定のインスタンス各々と永続的に関連付けることができる。例えば、2つ以上のグラフィック・エレメント・アイコンが、（例えば、ユーザによって作成されるか、予め印刷される等の、）共通の表面上に存在する、連携された状態では、それらの状態又は、オプションのディレクトリ内の特定の位置をアイコン毎に記憶し得る。例えば、第１のメニュー・アイコンが現在、オプション3（例えば、「ゲーム」）上にあり、第２のメニュー・アイコンが現在、オプション1（例えば、「ツール」）上にある場合、ユーザは、分岐し、他のアプリケーション（例えば、電卓、辞書等）を用いた他のタスクを行い、第1のメニュー・アイコン又は第２のメニュー・アイコンに、後の特定時点で戻ることができ、それらは、自らの最新状態（例えば、第１のメニュー・アイコンの場合は「ゲーム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
同様に、グラフィカル・エレメント・アイコンの複数のインスタンス（例えば、複数のメニュー・アイコン）の個々の状態を複数のインスタンス間で連携させ、特定のインスタンス各々と永続的に関連付けることができる。（例えば、ユーザによって作成されたか、予め印刷された等の、）共通の表面上に2つ以上のグラフィック・エレメント・アイコンが存在する、連携された状態の場合、それらの状態をアイコン毎に記憶することができるが、各インスタンスにオプションが及ぶようにそうした状態を連携させることができる。例えば、第１のメニュー・アイコンが、オプション2（例えば、「システム」）上に現在ある場合、第２のメニュー・アイコンは、オプション3（例えば、「ツール」）上になるようにその状態を連携させることになる。ユーザは、他の介入タスクを行い、後の特定時点で、第１のメニュー・アイコン又は第２のメニュー・アイコンに戻ることができ、それらは、連携された状態（例えば、第１のメニュー・アイコンの場合は「システム」であり、第２のメニュー・アイコンの場合は「ツール」である。）を正しく保持することになる。
図12は、本発明の一実施例による、上にいくつかのグラフィック・エレメント・アイコンを記述させた表面910（例えば、紙）を示す。図12は、グループ・グラフィック・エレメント・アイコン（例えば、メニュー・アイコン「M」と、ゲーム・アイコン「G」）及びアプリケーション・アイコン（例えば、電卓アイコン「C」）との例を示す。グラフィック・エレメント・アイコンは、ユーザが紙910上に記述してもよく、予め印刷してもよい。上記のように、グループ・グラフィック・エレメント・アイコンは一般的に、リスト・オプションを可聴的にレンダリングする。例えば、位置901にペン・デバイス150によって繰り返し軽く触れることによって、図10記載の、メニュー・ディレクトリのオプション（例えば、システム、ゲーム、参考書及びツール）を進む。例えば、メニュー・アイコンに2回軽く触れることによって、ペン・デバイス150に「システム」を可聴的にレンダリングさせ、更に、ゲーム・サブディレクトリの選択を示す、「ゲーム」の可聴的なレンダリングを行わせることになる。ゲーム・サブディレクトリを更に、位置902（例えば、チェックマーク）に触れることによって起動させることができ、起動は、オーディオ音によってユーザに向けて確認することができる。
後に、ペン・デバイス150は、図12に示すゲーム・グラフィック・エレメント・アイコンを、作成する（例えば、描く）ことをユーザに可聴的にプロンプトする。位置903にあるゲーム・アイコンにペン・デバイス150によって繰り返し軽く触れることによって更に、図10記載のように、ゲーム・サブディレクトリのオプション（例えば、ワードスクラブル、青色ポテト及び手書きメモ）にペン・デバイス150に進めさせる。ゲーム・サブディレクトリ・アイテムのうちの選択された１つは更に、位置904（例えば、ゲームに関連したチェックマーク）に軽く触れることによって選択し得るものであり、あるいは、まだその場所にない場合、チェックマークを描くことによっても選択し得る。
なお図12を参照すれば、電卓アイコン「C」を軽く触れることによって、電卓アプリケーションが起動される。このようにして、電卓アイコンは、メニュー・アイテムやサブディレクトリのオプションのリストをレンダリングするものでないが、むしろ、アプリケーション自体、この場合、電卓アプリケーションを直接、起動させる。電卓アプリケーションが呼び出されると、ペン・デバイス150は、（例えば、オーディオ音をレンダリングすることによって）起動を確認し、（例えば、ユーザに、表面上に数字0乃至9と、演算子「±」、「−」、「×」、「/」及び「=」とを描き、更に、数字を選択して数値計算を行うようユーザに命令することによる、）電卓の使用に備えるうえでの一連の動作によってユーザに可聴的にプロンプトする。
重要なことは、上記例では、OCR（光学式文字認識）処理は、ユーザによる初めての記述（例えば、図12に示す「M」）が行われると、一度だけ、マーク、単一の文字（例えば、レター「M」）又はテキスト列（例えば、語）に対して行う必要がある。上記のように、ペン・デバイス150は、表面910上のグラフィック・エレメントの位置が、表面910上にコード化されたデータをペン・デバイス150が読み取ることによって判定することができる。これによって、ペン・デバイス150が、特定の文字、特定の記号、特定のテキスト列等の位置を記憶することが可能になる。ペン・デバイス150はよって、（例えば、ユーザがペン・デバイス150で後の特定時点で特定の語の上に触れる際に）表面上の特定の語の同じ位置を認識することによって特定の語の後の選択を識別することができる。ユーザが語を後に選択すると、先行した行われたOCR処理の結果が呼び出され、こうした結果が、例えば、アクティブなアプリケーション（例えば、辞書）によって用いられる。よって、（例えば、語、文字、数字等に対する）OCR処理の結果を記憶することと、後の時点で1つ又は複数のアプリケーションに用いるよう、これらの結果を後に呼び出すことができることによって、本発明の実施例によって実施されるユーザ・インタフェースの応答性及び性能が大いに向上する。リソース集約性を有するＯＣＲ処理は、ペン・デバイス150のコンピュータ・システム・リソースによって一度のみ行えばよい。
図12は、ペン・デバイス150の「プロンプト・信頼」機能を用いて作成される、ユーザによって記述される語906（例えば、テキスト列）も示す。本発明の実施例によれば、一部の語、テキスト列、マーク、記号や他のグラフィック・エレメントは、OCRを用いて処理されなくてよい。例えば、特定の語、グラフィック・エレメント等をユーザによって、ペン・デバイス150からの可聴プロンプトに応じて作成することができ、ペン・デバイスは、特定の語（例えば、「大統領」）を記述し、（例えば、プロンプトからの）関連付けとともに、記述された語の位置を後に記憶する旨をユーザにプロンプトする。作成された語の後の選択は、上記のように位置によって認識される。例えば、ペン・デバイス150は、「大統領」906という語を記述する旨をユーザに命令することができる。プロンプトに応じて、ユーザは、「大統領」という語を記述し、ペン・デバイス150は、語が後に選択されると、プロンプトに応じてユーザが記述したことは実際に「大統領」という語であったと、みなす、すなわち信頼することになる。アプリケーションに応じて、語に下線を引くこと、語の周りに箱、さもなければ、特定の特徴的なマーク/グラフィック・エレメントを配置させることをユーザはプロンプトされ得る。
プロンプトされた語をユーザが記述し終わると、ペン・デバイス150は、例えば、動作がないこと（例えば、ユーザがもう記述していないこと）をデータ入力終結イベントとして認識することによってユーザが終えているということを認識する。このようにして、「タイムアウト」機構を用いて、データ入力の最後を認識することができる。別の終結イベントとして、上記のように、語に下線が引かれているか、語の周りに箱があるケースがあり得る。終結イベントの更なる例は、内容を全て、本明細書及び特許請求の範囲に援用する、「TERMINATION EVENTS」と題する、Marggraff他による西暦2005年1月12日付出願の、本発明の譲受人に譲渡された米国特許出願公開（代理人ドケット番号LEAP-P0320）に記載されている。
このようにして、本発明の実施例のプロンプト・信頼機能によって、ユーザとペン・デバイス150との間で相互に分かる意味を有するグラフィック・エレメントの作成が可能になる。重要なことは、大統領という語に対してＯＣＲ処理は何ら行われないということである。「プロンプト・信頼」機能を用いて作成されたグラフィック・エレメントは、他のアプリケーション、オプション、メニュー、機能等に関連付けることができ、それによって、（例えば、軽く触れることによって）プロンプト・信頼グラフィック・エレメントを選択することによって、上記のうちの何れかを引き起こすことができる。何れかのＯＣＲ処理の要件をなくすことによって、ペン・デバイス150に対する計算量上の要求が軽減され、よって、ユーザ・インタフェースの応答性が向上する。
本発明の実施例は、マーキングによってコード化された表面を用いて、ペン・デバイスの位置を判定するという状況で説明したが、本発明の実施例は、コード化された表面を必要としない他の手段を用いて位置を判定するペン・デバイスに用いることが適切である。例えば、一実施例では、ペン・デバイスは、例えば、モーションセンサ、ジャイロスコープ等などの1つ又は複数の位置特定機構が組み入れられ得るものであり、特定の表面（例えば、紙）の正確な位置を高精度で記憶するよう構成され得る。表面の正確な位置は、例えば、表面（例えば、矩形の紙）の、対向する隅部を順次触ることによって記憶することができる。ペン・デバイスは更に、記憶された正確な表面位置を、その位置判定手段の結果と比較することによって表面上の、ユーザによって記述されたグラフィック・エレメントの位置を認識することになる。
記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースを備える、本発明の種々の実施例をよって説明する。本発明は、特定の実施例において説明したが、本発明は、そうした実施例によって限定されるものとして解されないこととし、むしろ、本特許請求の範囲によって解されることとする。
本発明の実施例によるインタアクティブなデバイスを示す図である。 本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す図である。 本発明の実施例による、紙上の例示的な、選択可能なユーザ記述アイテムを示す別の図である。 本発明の一実施例による、マークのパターンを備える例示的な紙を示す図である。 本発明の一実施例による、例示的な紙上のマークのパターンを示す拡大図である。 本発明の一実施例による、表面上の、選択可能なユーザ描写アイテムとの相互作用を容易にする処理の工程を示す流れ図である。 本発明の実施例を実施することができる別のデバイスを示す構成図である。 本発明の実施例を実施することができる別のデバイスを示す構成図である。 本発明の一実施例によるデバイス・ユーザ・インタフェース処理の工程を示す流れ図である。 本発明の一実施例による階層的デバイス・ユーザ・インタフェース処理の工程を示す流れ図である。 本発明の実施例によるメニュー・アイテム・ツリー・ディレクトリを示す図である。 本発明の一実施例によるメニュー・アイテム可聴プロンプト処理を示す図である。 本発明の一実施例によるメニュー・アイテム選択処理を示す図である。 本発明の一実施例によるサブメニュー・アイテム選択処理を示す図である。 本発明の一実施例による、表面上の、複数の各種グラフィカル・アイテム・アイコンを示す図である。
符号の説明
15 紙
17 位置コード
18 マーク
19 17の拡大部分
21 ラスタ・ライン
22 ラスタ点
23 マーク
24 ラスタ点
32 プロセッサ
34 電源
36 オーディオ出力装置
38 入力ボタン
40 表示装置
42 光検出器
44 光エミッタ
48 メモリ装置
52 筆記具エレメント
62 ハウジング
70 表面
74 ハウジング
100 インタアクティブなデバイス
102 ケーブル
112 プロセッサ
114 メモリ装置
116 オーディオ出力装置
118 筆記具エレメント
120 光検出器
122 バス
130 ハウジング
150 デバイス
200 紙
202 レター
204 丸
206 選択可能なユーザ記述アイテム
210 チェックマーク
220 選択可能なユーザ記述アイテム
230 データ
250 デバイス
251 光デバイス
252 プラットフォーム
870 チェックマーク・アイコン
901 位置
902 位置
903 位置
904 位置
906 語

Claims (43)

  1. インタアクティブなデバイスであって、
    バスと、
    該バスに結合されるプロセッサと、
    前記バスに結合されるメモリ装置と、
    前記バスに結合されるオーディオ出力装置と、
    表面上に、選択可能なユーザ記述アイテムをユーザが作成することを可能にする筆記具エレメントと、
    前記バスに結合され、前記表面上の情報を検出する光検出器とを備え、
    前記プロセッサ上に実施されるソフトウェアは、前記選択可能なユーザ記述アイテムのユーザ選択に応答し、かつ、該選択に応じて、前記選択可能なユーザ記述アイテムと関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
  2. 請求項1記載のインタアクティブなデバイスであって、
    前記プロセッサは、記号認識を用いた前記選択に応じて前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  3. 請求項1記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記表面上の、前記選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう動作可能であることを特徴とするインタアクティブなデバイス。
  4. 請求項1又は3記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記選択可能なユーザ記述アイテムの前記表面位置又は前記選択可能なユーザ記述アイテムの検出表面位置に基づいた前記選択に応じて前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  5. 請求項1記載のインタアクティブなデバイスであって、
    前記オーディオ出力装置は、前記表面上の選択可能な１つのユーザ記述アイテムとの相互作用に応じて、選択可能なユーザ記述アイテムとして考えられるもののリストを可聴的にレンダリングするよう動作可能であることを特徴とするインタアクティブなデバイス。
  6. 請求項5記載のインタアクティブなデバイスであって、
    前記オーディオ出力装置は、前記選択可能なユーザ記述アイテムとして考えられるものを描く方法を説明する指示を可聴的にレンダリングすることを特徴とするインタアクティブなデバイス。
  7. 請求項1記載のインタアクティブなデバイスであって、
    前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
  8. 請求項1記載のインタアクティブなデバイスであって、
    前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
  9. 請求項1記載のインタアクティブなデバイスであって、
    前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするインタアクティブなデバイス。
  10. 請求項1記載のインタアクティブなデバイスであって、
    前記バスと、前記プロセッサと、前記メモリ装置と、前記オーディオ出力装置と、前記光検出器と、前記筆記具エレメントには、ペン形状の単一のハウジングを備えることを特徴とする請求項1記載のインタアクティブなデバイス。
  11. 請求項1記載のインタアクティブなデバイスであって、
    前記ソフトウェアは、前記選択可能なユーザ記述アイテムの前記選択に応じて情報を可聴的にレンダリングするよう前記オーディオ出力装置に指示するよう動作可能であることを特徴とするインタアクティブなデバイス。
  12. 請求項1記載のインタアクティブなデバイスであって、
    前記光検出器は、前記表面上の、前記選択可能なユーザ記述アイテムを検出するためのものであることを特徴とするインタアクティブなデバイス。
  13. 請求項1記載のインタアクティブなデバイスであって、
    前記ソフトウェアは、前記表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
  14. 請求項13記載のインタアクティブなデバイスであって、
    前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムが、前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムのオプションが、前記予め印刷された選択可能アイテムと前記選択可能なユーザ記述アイテムとに及ぶように状態において連携されることを特徴とするインタアクティブなデバイス。
  15. 請求項13記載のインタアクティブなデバイスであって、
    前記ソフトウェアは、記号認識を用いて前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  16. 請求項13記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記予め印刷された選択可能アイテムの表面位置に基づいて前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  17. 請求項1記載のインタアクティブなデバイスであって、
    前記光検出器は、前記表面上の位置に基づいて前記選択可能なユーザ記述アイテムを認識するうえでの情報を前記プロセッサに備えるよう動作可能であり、かつ、前記プロセッサが、前記位置に基づいた前記選択可能なユーザ記述アイテムの選択を認識することができるような情報を前記プロセッサに備えるよう動作可能であることを特徴とするインタアクティブなデバイス。
  18. 請求項1記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記表面の特定の有界領域の選択に基づいてアプリケーション・プログラムを識別するよう動作可能であり、
    別々の有界領域が、別々のアプリケーション・プログラムと関連付けられることを特徴とするインタアクティブなデバイス。
  19. コンピュータ・システムのオペレーティング・システムであって、
    該オペレーティング・システムは、記述可能な表面上の、選択可能なユーザ記述アイテムを検出し、該選択可能なユーザ記述アイテムを機能と関連付け、前記選択可能なユーザ記述アイテムとのユーザ相互作用に応じて、前記機能を自動的に実行するよう動作可能であることを特徴とするオペレーティング・システム。
  20. 請求項19記載のオペレーティング・システムであって、
    前記ユーザ相互作用は、前記選択可能なユーザ記述アイテムを筆記器具によってユーザが接触させるというものであることを特徴とするオペレーティング・システム。
  21. 請求項19記載のオペレーティング・システムであって、
    記号認識を用いて前記選択可能なユーザ記述アイテムを自動的に検出するよう更に動作可能であることを特徴とするオペレーティング・システム。
  22. 請求項19記載のオペレーティング・システムであって、
    前記表面上の前記選択可能なユーザ記述アイテムの表面位置を自動的に記録するよう更に動作可能であることを特徴とするオペレーティング・システム。
  23. 請求項19記載のオペレーティング・システムであって、
    前記選択可能なユーザ記述アイテムの表面位置に基づいた前記ユーザ相互作用に応じて前記選択可能なユーザ記述アイテムを自動的に検出するよう更に動作可能であることを特徴とするオペレーティング・システム。
  24. 請求項23記載のオペレーティング・システムであって、
    前記表面は記述可能な表面であり、前記ユーザ相互作用は、前記選択可能なユーザ記述アイテムを筆記器具によってユーザが接触させるというものであることを特徴とするオペレーティング・システム。
  25. 請求項19記載のオペレーティング・システムであって、
    前記ユーザ作用に応じて前記選択可能なユーザ記述アイテムに関連した情報を可聴的にレンダリングすることをオーディオ出力装置に指示するよう更に動作可能であることを特徴とするオペレーティング・システム。
  26. 請求項19記載のオペレーティング・システムであって、
    前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記オペレーティング・システムに関連したメニュー・アイテムの階層構造におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とするオペレーティング・システム。
  27. 請求項19記載のオペレーティング・システムであって、
    前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするオペレーティング・システム。
  28. 請求項19記載のオペレーティング・システムであって、
    前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするオペレーティング・システム。
  29. 請求項19記載のオペレーティング・システムであって、
    前記コンピュータ・システムは、光検出器と、オーディオ出力装置と、筆記具エレメントと、プロセッサと、メモリ装置とを備える、ペン・ベースのデバイスであることを特徴とするオペレーティング・システム。
  30. 記述可能な表面上の、選択可能なユーザ記述アイテムとの相互作用を容易にする方法であって、
    機能に関連した、選択可能な少なくとも１つのユーザ記述アイテムを検出する工程を備え、
    前記選択可能なユーザ記述アイテムは前記記述可能な表面上にあり、
    更に、前記選択可能なユーザ記述アイテムとの相互作用を検出する工程を備え、
    前記相互作用は、前記選択可能なユーザ記述アイテムを筆記具エレメントが接触することを備え、
    更に、前記相互作用に応じて、ペン・デバイスがプロセッサを備え、前記筆記具エレメントが前記機能を実行することを特徴とする方法。
  31. 請求項30記載の方法であって、
    前記選択可能なユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとのうちの少なくとも１つを備えることを特徴とする方法。
  32. 請求項30記載の方法であって、
    前記選択可能なユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とする方法。
  33. 請求項30記載の方法であって、
    前記機能は、アプリケーションと、ナビゲーション・アイテムのリストを備えるメニューの可聴的なレンダリングとのうちの少なくとも一方であることを特徴とする方法。
  34. 請求項30記載の方法であって、
    前記選択可能な少なくとも１つのユーザ記述アイテムの識別情報を可聴的にレンダリングすることを特徴とする方法。
  35. インタアクティブなデバイスであって、
    バスと、
    該バスに結合されるプロセッサと、
    前記バスに結合されるメモリ装置と、
    前記バスに結合されるオーディオ出力装置と、
    記述可能な表面上に、選択可能なユーザ記述アイテムをユーザが作成することを可能にする筆記具エレメントと、
    前記バスに結合され、前記記述可能な表面上の情報を検出する光検出器とを備え、
    前記プロセッサ上に実施されるソフトウェアは、選択可能なユーザ記述アイテムであることが考えられるものを識別するリストを可聴的にレンダリングするよう前記オーディオ出力装置に指示するよう動作可能であり、
    前記プロセッサは、選択可能な複数のユーザ記述アイテムをユーザが記述したということを検出するよう動作可能であり、
    前記プロセッサは、前記選択可能な複数のユーザ記述アイテムのうちの、選択可能な1つ又は複数のユーザ記述アイテムのユーザ選択に応答し、かつ、
    前記選択可能なユーザ記述アイテムの各々に関連した別々の機能を、前記選択可能なユーザ記述アイテムの各々の選択に応じて実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
  36. 請求項35記載のインタアクティブなデバイスであって、
    前記ユーザ選択は、前記筆記具エレメントによる、前記選択可能なユーザ記述アイテムとの接触を備えることを特徴とするインタアクティブなデバイス。
  37. 請求項35記載のインタアクティブなデバイスであって、
    前記プロセッサは、記号認識を用いた前記ユーザ選択に応じて前記選択可能な複数のユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  38. 請求項35記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記表面上に、前記選択可能な複数のユーザ記述アイテムの表面位置を自動的に記録するよう動作可能であることを特徴とするインタアクティブなデバイス。
  39. 請求項35記載のインタアクティブなデバイスであって、
    前記プロセッサは、前記選択可能なユーザ記述アイテムの検出表面位置に基づいた前記ユーザ選択に応じて1つ又は複数の前記選択可能なユーザ記述アイテムを自動的に識別するよう動作可能であることを特徴とするインタアクティブなデバイス。
  40. 請求項35記載のインタアクティブなデバイスであって、
    前記選択可能な複数のユーザ記述アイテムは、前記プロセッサによって実行可能なアプリケーション・プログラムの記号表現と、前記プロセッサによって実行可能なアプリケーション・プログラムのメニュー・アイテムと、前記インタアクティブなデバイスのオペレーティング・システムに関連したメニュー・アイテムの階層関係におけるメニュー・アイテムの階層のメニュー・アイテムとを備えることを特徴とするインタアクティブなデバイス。
  41. 請求項35記載のインタアクティブなデバイスであって、
    前記選択可能な複数のユーザ記述アイテムは、ナビゲーション・アイテムと、データと、アプリケーション・オプション・セレクタとのうちの少なくとも１つを備えることを特徴とするインタアクティブなデバイス。
  42. 請求項35記載のインタアクティブなデバイスであって、
    前記表面は、コード化された紙上のパターンに表面位置情報をコード化させた、コード化された紙を備えることを特徴とするインタアクティブなデバイス。
  43. 請求項35記載のインタアクティブなデバイスであって、
    前記ソフトウェアは、前記表面上の、予め印刷された選択可能アイテムのユーザ選択に応答し、かつ、前記予め印刷された選択可能アイテムをユーザが選択することに応じて前記予め印刷された選択可能アイテムに関連した機能を実行するよう動作可能であることを特徴とするインタアクティブなデバイス。
JP2006004149A 2005-01-12 2006-01-11 記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースの提供 Pending JP2006197596A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/034,489 US20060067576A1 (en) 2004-03-17 2005-01-12 Providing a user interface having interactive elements on a writable surface

Publications (2)

Publication Number Publication Date
JP2006197596A true JP2006197596A (ja) 2006-07-27
JP2006197596A5 JP2006197596A5 (ja) 2007-09-27

Family

ID=36676945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006004149A Pending JP2006197596A (ja) 2005-01-12 2006-01-11 記述可能な表面上にインタアクティブなエレメントを有するユーザ・インタフェースの提供

Country Status (7)

Country Link
US (1) US20060067576A1 (ja)
EP (1) EP1681621A1 (ja)
JP (1) JP2006197596A (ja)
KR (1) KR100815534B1 (ja)
CN (1) CN1862473A (ja)
CA (1) CA2532612A1 (ja)
WO (1) WO2006076076A2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
CN101707867B (zh) * 2007-05-09 2012-08-15 亚达普斯公司 支持数字纸的产品及其相关方法
US8284951B2 (en) * 2007-05-29 2012-10-09 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
WO2008150887A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
WO2008150924A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Animation of audio ink
US20090021495A1 (en) * 2007-05-29 2009-01-22 Edgecomb Tracy L Communicating audio and writing using a smart pen computing system
US8254605B2 (en) * 2007-05-29 2012-08-28 Livescribe, Inc. Binaural recording for smart pen computing systems
US8416218B2 (en) * 2007-05-29 2013-04-09 Livescribe, Inc. Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
US20090021494A1 (en) * 2007-05-29 2009-01-22 Jim Marggraff Multi-modal smartpen computing system
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
US8638319B2 (en) * 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
US20090236152A1 (en) * 2008-03-21 2009-09-24 Leapfrog Enterprises, Inc. System and method for data organization by identification
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US7810730B2 (en) 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010015881A1 (en) * 2008-08-05 2010-02-11 Mehdy Davary Dolat Abady Position encoding using an invisible pattern data matrix
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US11876795B2 (en) 2021-08-27 2024-01-16 Bank Of America Corporation Resource processing terminal device with enhanced secure resource transmissions based on image capture

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3782734A (en) * 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
NL7904469A (nl) * 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US4604065A (en) * 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) * 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4627819A (en) * 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US4748318A (en) * 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4787040A (en) * 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) * 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
GB2207027B (en) * 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US4841387A (en) * 1987-12-15 1989-06-20 Rindfuss Diane J Arrangement for recording and indexing information
GB2214635B (en) * 1988-01-14 1992-06-10 Kwang Chien Fong Optical input device
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US5007085A (en) * 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5184003A (en) * 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
US5128525A (en) * 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
US5168147A (en) * 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
JPH04121923A (ja) * 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5117071A (en) * 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
US5574804A (en) * 1990-12-21 1996-11-12 Olschafskie; Francis Hand-held scanner
US5301243A (en) * 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
JPH04274510A (ja) * 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5221833A (en) * 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5294792A (en) * 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
US5314336A (en) * 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
US5788508A (en) * 1992-02-11 1998-08-04 John R. Lee Interactive computer aided natural learning method and apparatus
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5438430A (en) * 1992-09-25 1995-08-01 Xerox Corporation Paper user interface for image manipulations such as cut and paste
US5739814A (en) * 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
WO1994015272A1 (en) * 1992-12-22 1994-07-07 Morgan Michael W Pen-based electronic teaching system
US5510606A (en) * 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
US6119944A (en) * 1997-02-03 2000-09-19 Symbol Technologies, Inc. Down-loadable hand-held optical reader
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5604517A (en) * 1994-01-14 1997-02-18 Binney & Smith Inc. Electronic drawing device
US5561446A (en) * 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
US5480306A (en) * 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5574519A (en) * 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5649023A (en) * 1994-05-24 1997-07-15 Panasonic Technologies, Inc. Method and apparatus for indexing a plurality of handwritten objects
US5932863A (en) * 1994-05-25 1999-08-03 Rathus; Spencer A. Method and apparatus for accessing electric data via a familiar printed medium
US5624265A (en) * 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) * 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
WO1996015837A1 (en) * 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
FI103837B1 (fi) * 1994-12-22 1999-09-30 Nokia Mobile Phones Ltd Tiedonsiirto- ja käsittelymenetelmä
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5635726A (en) * 1995-10-19 1997-06-03 Lucid Technologies Inc. Electro-optical sensor for marks on a sheet
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5697793A (en) * 1995-12-14 1997-12-16 Motorola, Inc. Electronic book and method of displaying at least one reading metric therefor
US5694102A (en) * 1995-12-21 1997-12-02 Xerox Corporation Vector reconstruction of asynchronously captured tiled embedded data blocks
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5877458A (en) * 1996-02-15 1999-03-02 Kke/Explore Acquisition Corp. Surface position location system and method
US5973420A (en) * 1996-10-03 1999-10-26 Colortronics Technologies L.L.C. Electrical system having a clear conductive composition
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
SE509327C2 (sv) * 1996-11-01 1999-01-11 C Technologies Ab Sätt och anordning för registrering av tecken med hjälp av en penna
JP2002515149A (ja) * 1996-11-08 2002-05-21 ネオメディア テクノロジーズ，インク． 印刷文書の機械可読コードによる電子情報の自動アクセス
US6215901B1 (en) * 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
US5945656A (en) * 1997-05-27 1999-08-31 Lemelson; Jerome H. Apparatus and method for stand-alone scanning and audio generation from printed material
US6215476B1 (en) * 1997-10-10 2001-04-10 Apple Computer, Inc. Flat panel display with integrated electromagnetic pen digitizer
US6377288B1 (en) * 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6313853B1 (en) * 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6199042B1 (en) * 1998-06-19 2001-03-06 L&H Applications Usa, Inc. Reading system
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
JP4785310B2 (ja) * 1999-05-28 2011-10-05 アノト アクティエボラーク 情報の記録に用いられる製品
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
WO2000073983A1 (en) 1999-05-28 2000-12-07 Anoto Ab Position determination
RU2002101922A (ru) 1999-06-28 2003-08-10 Аното Аб (Se) Запись информации
EP1214641B1 (en) 1999-08-30 2010-05-05 Anoto AB Electronic notepad
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US6593908B1 (en) * 2000-02-16 2003-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for using an electronic reading device on non-paper devices
SE0000949L (sv) * 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
FR2807267B1 (fr) * 2000-03-28 2002-12-06 Schlumberger Systems & Service Reseau de radiotelephonie mobile etendu et publiphone pour la mise en oeuvre d'un tel reseau
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US6304667B1 (en) * 2000-06-21 2001-10-16 Carmen T. Reitano System and method for incorporating dyslexia detection in handwriting pattern recognition systems
US20020023957A1 (en) * 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6592039B1 (en) * 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
DE10148260A1 (de) * 2001-09-30 2003-04-17 Siemens Ag Polarisationsverwürfler und Verfahren für eine Polarisationsverwürfelung
MXPA04007716A (es) * 2002-02-06 2004-12-06 Leapfrog Entpr Inc Aparato y metodo interactivo de escritura.
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7555705B2 (en) * 2003-09-10 2009-06-30 Microsoft Corporation Annotation management in a pen-based computing system

Also Published As

Publication number Publication date
WO2006076076A3 (en) 2008-11-13
US20060067576A1 (en) 2006-03-30
CA2532612A1 (en) 2006-07-12
KR100815534B1 (ko) 2008-03-20
WO2006076076A2 (en) 2006-07-20
EP1681621A1 (en) 2006-07-19
CN1862473A (zh) 2006-11-15
KR20060082405A (ko) 2006-07-18

Similar Documents

Publication Publication Date Title
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
KR100806241B1 (ko) 기록된 그래픽 장치용의 사용자 인터페이스
KR100847851B1 (ko) 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스
US7853193B2 (en) Method and device for audibly instructing a user to interact with a function
KR100806240B1 (ko) 데이터 입력의 종료를 식별하는 시스템 및 방법
US20060033725A1 (en) User created interactive interface
EP1681623A1 (en) Device user interface through recognized text and bounded areas
WO2006076118A2 (en) Interactive device and method
CA2535505A1 (en) Computer system and method for audibly instructing a user

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080805