JP2009516261A - 電子ペン装置における情報管理 - Google Patents
電子ペン装置における情報管理 Download PDFInfo
- Publication number
- JP2009516261A JP2009516261A JP2008539981A JP2008539981A JP2009516261A JP 2009516261 A JP2009516261 A JP 2009516261A JP 2008539981 A JP2008539981 A JP 2008539981A JP 2008539981 A JP2008539981 A JP 2008539981A JP 2009516261 A JP2009516261 A JP 2009516261A
- Authority
- JP
- Japan
- Prior art keywords
- pen
- electronic pen
- page
- pen device
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
- G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
Abstract
電子ペン(101)は、基準面(106)上の別々の位置領域(104’、105A’、105B’)に関係した情報の関連付けを制御する情報管理の方法を実行する。基準面は、個々にアドレス可能な複数の位置ページ(105A’、105B’)を含む。ペンは基準面上の位置を検出するための位置検出器を有し、それぞれの位置が記録時間と関連付けられる。ペンはまた、基準面上の少なくとも1つの選択領域(104’)を定義する定義データを保持するためのメモリ(108)も有する。ペン内の位置プロセッサは、検出された位置を定義データと対照してマッピングする。位置プロセッサは、検出位置が選択領域(104’)内に入ることを確認したとき、さらなる検出位置に基づいて、および、時間的選択基準に従って、位置ページ(105A’、105B’)のうちの少なくとも1つを選択する。この基準は、通常、分析すべきさらなる位置がどれか、および、位置ページを選択するためにそれらをどのように分析するか、をプロセッサに伝える。選択領域(104’)は、選択された位置ページ(105A’、105B’)に関して位置プロセッサによって行われるべき所定の動作と関連付けることができる。例えば、タイムスタンプされたデータ項目を選択された位置ページ(105A’、105B’)と関連付け、および/または、このようなデータ項目を引き出す。
Description
本発明は、概して電子ペン装置における情報管理に関し、特に、基準面上の別々の位置領域に関係した情報の関連付けを制御することに関する。
従来、手書き情報を管理する情報管理システムが知られている(例えば、米国特許出願公開第2003/0061188号、米国特許出願公開第2003/046256号、および米国特許出願公開第2002/0091711号など参照)。これらのシステムでは、電子ペンが、位置コードを備えた製品上で作成されるペンストロークを記録する。この位置コードは、その製品上の複数の絶対位置をコード化する。ペンは、位置コードをペンの先端で画像化することによって、またコード化された位置をデコードすることによって製品面上のペンストロークを記録し、その結果、ペンの移動を表す一連のタイムスタンプされた位置が得られるようになる。
各製品上の位置コードは、位置の仮想面または基準面を画定するずっと大きな抽象位置コーディングパターンの小さな部分にすぎない。
電子ペンの動作は、ペン内に記憶された定義データに基づいて制御される。この定義データは、基準面の別々の領域を異なるペン機能と関連付ける。このような領域は、機能領域または「ピジェット(pidget)」と表される。ペン機能は、聴覚、視覚または触覚によるフィードバックをユーザに与えること、検出した位置を外部デバイスに出力すること、ペンメモリからペンストロークを削除することなどを含むことができる。いかなる機能とも関連しない基準面上の残りの領域は、ペンのデフォルト動作がペンストロークを記録することになるので、「書込み領域」と表される。したがって、定義データと対照して検出位置をマッピングすることによって、ペンは自動的に制御されてペンストロークを記録し、選択的に機能を実行する。
多くの場合これらの機能は、検出位置の特定のセットに対して動作する。本出願者によって開発され、前述の米国特許出願公開第2003/0061188号に記載の商業用の実施形態では、定義データは、書込み領域とピジェットの間の予め定められた関連付けを含む。より具体的には、抽象パターンは、所与のサイズのいわゆるパターンページに分割される。通常、各パターンページは、書込み領域、および1つまたは複数のピジェットを含む。この場合、ピジェット機能は、ピジェットを含むパターンページ内で、またはこのパターンページと関連するパターンページのセット(例えば、複数のパターンページからなる「ブック」)内で検出された位置で動作する。したがって、起動されたピジェット機能によって処理されるべき位置の選択は、予め定められた空間的基準に基づいている。
コード化された製品は、特定のパターンページの1つまたは複数の部分に対応する位置コードを、例えば紙、プラスチック、厚紙などのシートであるベース面に付けることによって生成される。したがって、特別なペン機能を実行したい製品設計者は、対応する位置コードを例えば印刷によってベース面に付けるだけでよい。
この実装は、通常のペンおよび紙を用いるように電子ペンを用いて作業できるユーザにからペン動作を見えないように(トランスペアレントに)するが、製品設計を過度に制限しないように、多くの異なるピジェットにパターンページが対応する必要もある。
製品設計に関してより適応性のある代替の解決策が、本出願者によって米国特許出願公開第2002/0011989号で提案されている。ここでは、製品面上のピジェットおよび書込み領域は、基準面の空間的に離れた部分から取り込まれる。ピジェットと書込み領域は、ペンユーザが製品面上で一方から他方に実線を引くことによって動的に結び付けることができる。その結果得られる電子ペンストロークは、空間的に非連続であるジャンプを基準面上に含むことになる。ペンは、このようなジャンプを確認するたびに、接続された書込み領域上に記録されたあらゆるペンストロークを引き出し、次に、これらのストロークに結び付けられたピジェットの機能を動作させる。
米国特許出願公開第2003/0107558号では、位置データを関連付ける別の技術を開示している。上記のパターンページは別として、その基準面は設定ページを含む。このページ上では、異なる領域が、記録されたペンストロークの異なる視覚特性などのシステム内の異なる設定と関連付けられる。記録された全ペンストロークが、セッション識別子と関連付けてペンメモリ内に記憶される。このセッション識別子は、ペンストロークがその間に記録された作業セッションを識別する。特定のパターンページ上でペンストロークを処理するようにペンが命令された場合、ペンはまた、特定のパターンページのペンストロークのセッション識別子に対して該当セッション識別子を有する任意のペンストロークを設定ページから引き出す。それによって、ペンまたは受信デバイスは、選択された任意の設定を識別し、セッション識別子、および異なるペンストロークの記録時間に基づいて、これらの設定をパターンページ上の適切なペンストロークに割り当てることができる。選択された設定をペンストロークと関連付けるこの技術は、選択された設定が同じ作業セッション全体を通して、または別の設定が選択されるまで、その後に記録されるペンストロークすべてに適用可能であることを想定している。
本発明の目的は、基準面上の各位置領域に関係した情報を関連付ける代替技術を提供することである。
別の目的は、一般的で適応性のあるそのような技術を提供することである。
本発明のこれらの目的は、請求項1に記載の電子ペン装置、請求項25に記載の方法、請求項36に記載のコンピュータ可読記憶媒体、および請求項37によるデバイスを用いて少なくとも部分的に達成される。
次に本発明について、添付の概略図を参照し例を用いてより詳細に説明する。
以下の説明は、本発明の一実施形態のいくつかの基本原理を説明することから始める。次に、これらの原理を実施する情報管理システムを詳細に説明し、そこでは本発明の様々な使用法を例示的に示す。
(一般)
図1Aは、電子記録および手書き処理のシステムを示す。このシステムは電子ペン101を含む。この電子ペンは、データ転送チャネル102を介してバックエンド装置103に転送するデータを記録し出力する。システムはさらに、時間選択フィールド104、および複数の入力フィールド105A、105B(2つだけ示す)を含む。すべてのフィールド104、105A、105Bは、1つまたは複数の有形の製品の上、例えば紙、厚紙、プラスチックのシート、表示画面の上などに設けられる。システムはまた基準面106を含む。この基準面106は、システム内で使用可能な位置を画定する座標系の電子的表示である。具体的には、フィールド104、105A、105Bには、互いに一意の位置のセットを割り当てられる。それぞれの位置のセットは、基準面106上の限定された位置領域に対応する。例えば、時間選択フィールド104の位置は、時間選択領域104’に属する。また、入力フィールド105A、105Bの位置はは、それぞれ入力領域105A’、105B’に属する。
図1Aは、電子記録および手書き処理のシステムを示す。このシステムは電子ペン101を含む。この電子ペンは、データ転送チャネル102を介してバックエンド装置103に転送するデータを記録し出力する。システムはさらに、時間選択フィールド104、および複数の入力フィールド105A、105B(2つだけ示す)を含む。すべてのフィールド104、105A、105Bは、1つまたは複数の有形の製品の上、例えば紙、厚紙、プラスチックのシート、表示画面の上などに設けられる。システムはまた基準面106を含む。この基準面106は、システム内で使用可能な位置を画定する座標系の電子的表示である。具体的には、フィールド104、105A、105Bには、互いに一意の位置のセットを割り当てられる。それぞれの位置のセットは、基準面106上の限定された位置領域に対応する。例えば、時間選択フィールド104の位置は、時間選択領域104’に属する。また、入力フィールド105A、105Bの位置はは、それぞれ入力領域105A’、105B’に属する。
入力フィールド105A、105B上での書込みに使用されている間、ペン101は、その位置を基準面106上で感知する。それに基づいて、ペンは、入力フィールド105A、105Bの上でペンによって作成された物理的ストローク107を表す電子位置列を生成する。このような電子ペンストロークの各々は、ペンの内部メモリ108内に記録時間とともに記憶され、その位置の内容を介して、もととなる入力領域105A’、105B’と一意に関連付けられる。
ペン101は、入力領域によって照合されたペンストロークを出力する。入力領域105A’、105B’は、タイムスタンプされたペンストロークの入れ物としてシステム内で機能する。以下で説明するように、時間選択領域104’は、特定の入力領域をペンに示すために使用することができる。
ペン101は、時間選択領域104’の位置を感知することができる。ペン101は、領域104’のある位置を感知したとき、自動的に、先行および/または後続の位置を分析することによって複数の入力領域105A’、105B’のうちの1つまたは複数を選択することを試みるようになる。入力領域105A’、105B’の選択は、分析すべきさらなる位置がどれか、またそれらをどのように分析するかをペンに明示する時間的基準または時間関連基準に基づく。例えば、ペンは、直前または直後のストロークのもととなる入力領域105A’、105B’を選択することができる。時間的基準は、領域104’内で検出される位置を基準にして時間窓を定める。ペンは、この時間窓内で検出されたさらなる位置を分析することによって、その入力領域の選択を行うことができるようになる。この時間窓は、例えば、基準時間フレーム内のいくつかの時間単位(例えば秒またはミリ秒)、いくつかの検出位置、またはいくつかの検出ストロークとして与えることができる。時間窓が領域104’の検出から時間的に前方に延びるものであれば、ユーザには直感的に理解しやすい。しかし、時間窓がそのような検出から時間的に後方に、または両方に延びる可能性もある。ペンは、例えば、この時間窓内で最も新しく検出された位置/ペンストローク、または最も前に検出された位置/ペンストロークに基づいて入力領域を選択することができる。
図1Bは、上記の機能を図1Aのシステム内で実現できる位置プロセッサ110の一実施形態を示す。プロセッサ110は、位置生成回路112から位置を受け取るための第1インターフェース111と、定義データリポジトリ114にアクセスするための第2インターフェース113と、領域選択のための構成要素115とを含む。位置プロセッサ110は、例えば正規データプロセッサの一部としてペン101内に実装することができる。リポジトリ114は、前述のメモリ108(図1A)の一部である。
リポジトリ114は、基準面106上の領域104’、105A’および105B’の範囲および場所を定義する定義データを保管する。領域選択の構成要素115は、回路112から受け取った位置をリポジトリ114の定義データと対照してマッピングするように、ハードウェアおよび/またはソフトウェア内で構成される。受け取った位置が領域104’内に入ることを構成要素115が確認した場合、構成要素115は、1つまたは複数の入力領域105A’、105B’を前述の時間的選択基準に基づいて選択する。
位置プロセッサ110はまた、選択された入力領域105A’、105B’内、および/または領域104’内の1つまたは複数のペンストロークに対してある機能を働かせるようにすることもできる。このような機能には、例えば、選択された入力領域におけるペンストロークをペンから出力すること、ペンメモリ108からストロークを削除すること、およびストロークを手書き文字認識(HWR)処理にかけることが含まれる。この機能は、その代わりに、ペンをバーコード読取りモードまたは音声記録モードに設定することによって、ペンの内部動作に影響を及ぼすこともできる。時間選択領域104’は、ペンの機能を特定することができる。その代わりに、この機能は、時間選択領域104’の前後にペン101で接触した機能選択領域(図示せず)によって与えられてもよい。あるいは、この機能は、音声コマンドやペン上の専用ボタンを介して、領域104’内または選択された入力領域105A’、105B’内などで所定のジェスチャーを形成するペンの記録位置によって、ペンに対して特定することができる。
別法として、または追加として、特定のデータ項目を選択入力領域105A’、105B’と関連付けることを位置プロセッサ110にさせることができる。このデータ項目は、上記の機能の結果であってもよい。例えば、手書き文字認識処理から得られる機械コード化文字、あるいはペンによって記録されたバーコードまたは音声データなどである。あるいは、データ項目は、領域104’および/または前述の機能選択領域に直接結び付けられてもよい。例えば、データ項目は、領域104’の一意の予め定められた識別子や、1つまたは複数の機械コード化文字など、領域104’内で検出されたペンストローク、または領域104’と関連したデータを含むことができる。データ項目は、代わりに、ペンの属性(ペン識別子、ソフトウェアバージョンなど)またはペンユーザの属性(自宅の住所、電子メールアドレス、銀行口座番号、電話番号など)を示すためにペンメモリ108内に事前に記憶されるパラメータ値でもよい。データ項目が、ペンによって記録される画像であることもまた可能である。
適切には、データ項目には、ペンストロークと同じ基準時間フレーム内でタイムスタンプが割り当てられる。そのため、処理装置103、またはペン101自体が、特定の入力領域105A’、105B’のペンストロークおよびデータ項目が生成された順序を、後で再びたどることができるようになる。
上記のシステムは、その様々な態様において明白な利点をもたらす。とりわけ、基準面上で領域を選択し関連付けること、選択されたペンストロークで機能を働かせること、およびデータ項目を入力領域と関連付けることに関し依然として適応性を与えながら、システム設計者が入力領域をペンストロークの入れ物として使用することが可能になる。
(コーディングパターンによるペン制御)
次に、本発明の一実施を、本出願者によって開発された特別なペンと紙の基本構造に組み込まれたものとして説明する。この基本構造は、米国特許第6663008号、米国特許第6674427号、および米国特許第6667695号に開示された抽象的な位置コーディングパターンを使用することに基づく。このパターンは、上記の基準面を一緒に構成する非常に多数の固有な絶対位置をコード化することができる。基準面の領域は、実際に考えられるどんな製品の領域よりもはるかに大きい。製品上にコード化された位置は、この基準面上の位置であり、位置座標の原点は基準面の原点である。
次に、本発明の一実施を、本出願者によって開発された特別なペンと紙の基本構造に組み込まれたものとして説明する。この基本構造は、米国特許第6663008号、米国特許第6674427号、および米国特許第6667695号に開示された抽象的な位置コーディングパターンを使用することに基づく。このパターンは、上記の基準面を一緒に構成する非常に多数の固有な絶対位置をコード化することができる。基準面の領域は、実際に考えられるどんな製品の領域よりもはるかに大きい。製品上にコード化された位置は、この基準面上の位置であり、位置座標の原点は基準面の原点である。
図2は、基準面200、すなわちコーディングパターンが、複数のページユニット群の階層内で個別にアドレス可能な複数のページユニットにどのように分割されるかを示す。図2の例では、基準面200は「セグメント」210を含み、これはいくつかの「シェルフ」211に分割される。それぞれのシェルフはいくつかの「ブック」212を含み、ブックはいくつかの前述のページユニット213に分割される。ページユニットは、「パターンページ」とも呼ばれる。適切には、すべてのパターンページが、ページユニット群の階層内のある特定のレベル内で同じフォーマットを有する。例えば、他のセグメントはA5フォーマットのパターンページで構成されるが、いくつかのセグメントはA4フォーマットのパターンページで構成されてもよい。基準面上のある特定のパターンページの場所は、「セグメント.シェルフ.ブック.ページ」という形式、例えば「99.5000.1.1500」という形式のページアドレスとして表すことができる。これは、いくぶんIPアドレスに似ている。処理効率の理由により、ページアドレスの内部の表現はこれと異なるものでもよく、例えば64ビットの所定の長さの整数として与えられる。
一例では、1つまたは複数のセグメントは26000000パターンページ以上で構成され、それぞれが約50×50cm2のサイズを有する。商業用の実施形態では、少なくとも1つのそのようなセグメントが5175シェルフに分割され、それぞれが、2517ページをそれぞれ有する2つのブックで構成される。
各パターンページ213は、コーディングパターンの実際のサブセットとみなすことができ、あるいはサブセットでコード化された絶対位置とみなすことができる。このような各絶対位置は、基準面200の座標系214での広域位置として、あるいは、論理位置として、すなわち、ページアドレスおよび関連のあるパターンページにおける所定の座標系215での局所位置として、表すことができる。
通常、ベース面に印刷された対応する位置コードによって、製品が1つまたは複数のパターンページを含むように形成される。しかし、製品上の位置コードはパターンページに一致する必要がないことに注意されたい。したがって、1つまたは複数のパターンページからの1つまたは複数のサブセットは、製品上で任意に配置することができる。
適切な電子ペンは、製品上での動きを、位置コードをその製品上で感知することによって記録する。ペンは、基準面(図2参照)の領域分割を表す定義データを記憶する。この定義データに基づいて、ペンは、位置コードによってコード化された広域位置を論理位置に変換することができる。すなわち、この定義データに基づいて、ペンは、ページアドレスおよび局所位置を計算する。各ペンストロークは、ページアドレスおよび一連の局所位置としてペンメモリ内に記憶される。したがって、パターンページはペンストロークの入れ物として機能し、このような入れ物の各々がそのページアドレスによって特定される。
このペンの機能は、ペンの別々の機能と関連付けられたコード化された位置によって、製品上のパターンにより少なくとも部分的に制御される。この目的のために、ペンによって記憶された定義データは、1つまたは複数のテンプレート定義(「テンプレート」)を含む。これは、位置コーディングパターンの別々の部分から検出された情報に対してペンがどのように動作すべきかを定義する。図示の基本構造では、ページ階層(セグメント、シェルフ、ブック、ページ)の特定のサブセットが所与のテンプレートと関連付けられる。したがって、このテンプレートは、その特定のサブセット内のすべてのパターンページに有効である。テンプレートは、ペンの動作に影響を及ぼしうる機能領域のどれでも特定する。このような機能領域は「ピジェット」と表される。
図3はさらに、テンプレート300とパターンページ302と実体のある製品306との間の相互関係を示す。製品306は、1つまたは複数のパターンページ302(図3には1つだけ示す)内の位置を定義する位置コードPを含む。ピジェット304は、パターンページ302内では予め定められた配置およびサイズになっているが、製品306上では任意の配置とすることができる。したがって、パターンページの一部は「切り抜き」し、製品上でどのようにも組み立て直すことができる。製品のコード化された部分上にペンが下ろされるたびに、ペンは広域位置を記録して、この位置を関連するテンプレートと相関させ、その位置と関連するいかなる機能でも特定することができる。この製品はまた、処理装置(図1Aの103)にだけ知られているフィールド308を含むこともでき、この処理装置は、専用の処理命令をこのようなフィールド308と関連付けることができる。
具体的には、テンプレートは、ピジェット識別子(ピジェットID)によって各ピジェット304を特定し、また局所位置でのサイズおよび配置をパターンページの局所座標系(図2の215)内で特定する。ピジェット識別子、はペンの制御システムにより実行されるべき専用命令セットを示すことによってピジェット機能を決定する識別子である。
ピジェット304は、トリガ機能、サービス選択機能、デバイス選択機能、局所動作機能、データ選択機能、解釈機能、またはフィードバック機能などを示すことができる。トリガ機能は、ペンがデータを出力し、あるいは別のデータ取得モード(音声データやバーコードデータの記録など)に入るようにすることができる。サービス選択機能は、サービスを特定する。このサービスは、ペンの検出位置処理に影響を及ぼすコンテキスト情報(例えば電子メール、ファックス、SMS)を伝達し、かつ/または、処理されるべき位置のペンの選択(例えば、サービス選択ピジェットが属するページ、ブックまたはシェルフから生じるすべての位置をペンに選択させる)に影響を及ぼす内容情報(例えば、「ページ」、「ブック」、「シェルフ」などのページ階層におけるレベルを示す)を伝達することができる。デバイス選択機能は、ペンの接続デバイス(例えばパーソナルコンピュータ、移動デバイス、LANアクセスポイント)を特定する。局所動作機能は、ストロークの削除など、ペンメモリに影響を及ぼす動作を始動する。データ選択機能は、ペン常駐データに検出位置をマッピングする。例えば、キーボードピジェットは、ペンメモリ内の文字に位置をマッピングすることができる。あるいは、ショートカットピジェットは、ペンメモリ内の通信アドレスに位置をマッピングすることができる。解釈機能は、ピジェット内の1つまたは複数のストロークを機械コード化された文字に変換する動作をすることができる。フィードバック機能は、バイブレータ、表示灯、表示装置、またはスピーカなどの内部マンマシンインターフェースをペンに起動させることができる。
1つの同じピジェットに複数の機能を事前に割り当てることもまた可能である。例えば、ある特定の「送信」ピジェットを、トリガ機能とだけでなく、デバイス選択機能およびフィードバック機能とも関連付けることができる。
これらのピジェット機能は、ペンメモリ内に記憶されたすべてのペンストローク、またはその特定のサブセットに対して動作することができる。このサブセットは一般に、そのもととなるパターンページ、すなわちピジェット機能を始動するピジェットが含まれるパターンページによって与えられる。例えば、サブセットは、もととなるパターンページ上で、または、このページを含むブックやシェルフなどの一群のページ上で、検出されるペンストロークであってよい。
テンプレートでは、パターンページ302内のいかなるピジェットにも占有されていないすべての位置は、描画領域または書込み領域に属すると定義される。描画領域で検出された位置は、タイムスタンプされたペンストロークとして記録されペンメモリ内に記憶されるべきであると、ペンによって解釈される。
ピジェット機能の特別なタイプは時間選択機能である。これは、例えば上述の時間的選択基準のうちのいずれか1つに基づいて、少なくともペンが1つまたは複数のパターンページを選択するようにする。ピジェットには、時間選択機能に加えて、上記で論じたピジェット機能など他の1つまたは複数のピジェット機能を事前に割り当てることもできる。時間選択ピジェットに割り当てられたこうした他のどんなピジェット機能も、選択パターンページ、または時間選択ピジェットと関連して動作することができる。時間選択ピジェットにはまた、選択パターンページと関連したデータ項目を保管する保管機能を事前に割り当てることもできる。このデータ項目は、上述の他のピジェット機能から得ることができる。
この複数の機能の事前割当ての代替実施形態として、時間選択機能は、他の機能が動的に割り当てられるように設計することもできる。この目的のために、時間選択機能は、時間的基準の限度内で検出された他のピジェットの機能を実行することを含むことができる。例えば、ペンは、上述の時間窓内で検出された他のすべてのピジェットの機能を組み合わせることができる。あるいは、ある時間選択ピジェットの検出とある描画領域の検出との間、またはその逆(ある描画領域の検出とある時間選択ピジェットの検出との間)に検出された他のすべてのピジェットの機能を組み合わせることができる。
時間選択ピジェットは、基準面の特定の部分に限定することができる。したがって、ペンは、この特定の部分の専用の時間選択テンプレートを記憶することができる。しかし、時間選択ピジェットは、基準面のパターンページのいずれか1つに対して定義され、したがって、ペンによって記憶されたテンプレートのいずれか1つに含まれることも考えられる。
時間選択機能を有するピジェットの様々な態様は、別の使用例を参照して以下にさらに説明する。
(電子ペン)
図4は、上述のペン400の一実施形態を示す。ペン400は、ペン形のケースすなわち外郭402を有する。このケースは、画像がそれを通して記録される窓すなわち開口404を画定する。また、このケースは、カメラシステム、電子システム、および電源を収容する。
図4は、上述のペン400の一実施形態を示す。ペン400は、ペン形のケースすなわち外郭402を有する。このケースは、画像がそれを通して記録される窓すなわち開口404を画定する。また、このケースは、カメラシステム、電子システム、および電源を収容する。
カメラシステム406は、少なくとも1つの照明光源、レンズ装置、および光学画像読取装置(図示せず)を含む。光源には、発光ダイオード(LED)またはレーザダイオードが適しており、窓404を通して見える領域の一部を赤外線放射によって照らす。見えた領域の画像は、レンズ装置によって画像読取装置に投影される。この画像読取装置は、2次元のCCDまたはCMOS検出器であってよく、これは、通常では約70〜100Hzの固定または可変のレートで画像を取り込むようにトリガされる。
センサデバイス用の電源は、有利にはバッテリ408であるが、これは別法として主電源(図示せず)で置換または補助することもできる。
電子システムは、メモリブロック412に接続された制御ユニット410を含む。制御ユニット410は、電子ペンの様々な機能にかかわり、有利には、CPU(中央処理装置)などの市販のマイクロプロセッサ、DSP(デジタル信号プロセッサ)、またはFPGA(利用者書込み可能ゲートアレイ)など他のいずれのプログラム可能論理デバイスによって実装することができる。あるいは別法として、ASIC(特定用途向け集積回路)、個別のアナログおよびデジタル構成要素、または上記のいずれかの組合せによって実装することができる。メモリブロック412は、好ましくは、作業メモリ(例えばRAM)や、プログラムコードおよび永続記憶メモリ(不揮発性メモリ、例えばフラッシュメモリ)など、異なる種類のメモリを含む。関連するソフトウェアは、メモリブロック412内に格納されており、電子ペンを動作させるペン制御システムを実現するために、制御ユニット410によって実行される。ペン制御システムは、ペンストロークを記録し、記憶し、ピジェットを特定し、対応するピジェット機能を実行することができる。
制御ユニット410は、上述の基準時間フレームをペン内で定めるためのタイミング回路を含む。このタイミング回路から出力される時間値に基づいて、制御ユニット410は、タイムスタンプを各検出位置またはペンストロークに割り当てる。これはまた、以下でさらに論じるように、メモリブロック412内に記憶されるべき他のあらゆるデータ項目にも時間値を割り当てることができる。
ケース402はまたペン先414も保持する。これによりユーザは、表面に付着する顔料ベースの不変色インクで、表面に物理的に書き込み、または描くことができる。不変色インクは、電子ペン内の光学電子検出に干渉しないように、照射光が適切に透過する。接触センサ416は、ペンをいつ押し当て(ペンダウン)および/またはいつ持ち上げたか(ペンアップ)を検出するように、また任意選択的に押圧力の測定を可能にするように、ペン先414に動作可能に接続される。接触センサ416の出力に基づいて、カメラシステム406は、ペンダウンとペンアップの間に画像を取り込むように制御される。制御ユニット410は、これらの画像を処理して、物理的なペンストロークを電子的に表す一連の時間的にまとまった(コヒーレントな)位置を生成する。制御ユニット410はまた、カメラシステム406によって与えられた画像からバーコードデータを生成することもできる。
電子システムはさらに、コンピュータ、携帯電話、携帯情報端末、ネットワークサーバなど、近傍または遠隔の装置にデータを出力するための通信インターフェース418を備える。通信インターフェース418では、有線または無線の短距離通信(例えば、USB、RS232、無線伝送、赤外線伝送、超音波伝送、誘導結合など)のための構成要素、および/または、通常ではコンピュータ、電話、または衛星通信ネットワークを介する有線または無線の遠隔通信のための構成要素を設けてもよい。
ペンはまた、ユーザのフィードバックに対して選択的に起動するMMI(マンマシンインターフェース)420を含むこともできる。このマンマシンインターフェースは、表示装置、表示灯、バイブレータ、スピーカなどを含んでよい。
ペンはさらに、ペンを起動および/または制御できる1つまたは複数のボタン422、ならびに音声データの記録のためのマイクロフォン424を含んでもよい。
(例示的使用法)
図5A〜5Dは、図2〜4を参照して上記で説明したシステム内での関連付けを行うために時間選択ピジェットを使用する様々な方法を例示する。
図5A〜5Dは、図2〜4を参照して上記で説明したシステム内での関連付けを行うために時間選択ピジェットを使用する様々な方法を例示する。
図5Aでは、ペンユーザが、ペンストロークS1を時間ピジェット500上に作成し、ペンストロークS2をパターンページ502上に作成する。時間的基準Tを介して、ペンがピジェット500をパターンページ502上で動作させるようになる。例えば、ピジェット500のストロークS1または識別子をパターンページ502と関連付けることによって、および/または、時間ピジェット500の機能をストロークS2上で動作させることによって、ペンがピジェット500をパターンページ502上で動作させるようになる。また、任意選択的に、パターンページ502上で検出された他の任意のペンストローク上で動作させることによって、および/または、この動作の結果をパターンページ502と関連付けることによって、ペンがピジェット500をパターンページ502上で動作させるようになる。
図5Bでは、ペンユーザが、ペンストロークS1を時間ピジェット504上に作成し、ペンストロークS2を時間ピジェットであってもなくてもよいピジェット506上に作成し、ペンストロークS3をパターンページ508上に作成する。一つの変形例における使用では、ペンがピジェット504、506の機能を組み合わせ、その組み合わされた機能をパターンページ508上で動作させるようにする。例えば、ペンは、時間ピジェット504の検出に続いて、描画領域が検出されるまですべての検出ピジェットの機能を組み合わせるように制御できる。あるいは、ペンは、次のペンストロークが時間ピジェットをヒットする限り機能を組み合わせるように制御できる。別の変形例における使用では、ペンがピジェット506のピジェット機能をパターンページ508上で動作させるようにする。すなわち、最後に検出された時間ピジェットの機能だけがパターンページ508上で動作するようになる。
図5Cでは、ペンユーザがいくつかのペンストロークS1〜S3を時間ピジェット510上に作成し、続いていくつかのペンストロークS4〜S6をパターンページ512上に作成する。こうすることにより、ペンがペンストロークS1〜S3を記録し、それをパターンページ512と関連付けするようにできる。このような使用例では、ピジェット機能は、ペン制御ユニットが時間ピジェット510内のペンストロークに続いてパターンページを選択するときを除いて、時間ピジェット510内のペンストロークに時間ピジェット510内の別のペンストロークが続いているときはいつでも、パターンページを選択するいかなる試行も終止してよい。
図5Dでは、ペンユーザがペンストロークS1を時間ピジェット514上に作成し、続いて、ペンストロークS2をパターンページ516上に作成し、ペンストロークS3をパターンページ518上に作成する。ここでは、ペンは、ピジェット514のペンストロークS1または識別子を、パターンページ516、518の両方と関連付けるように制御されてよい。あるいは、例えば、ピジェット514が、所与の時間窓内でペンが接触したすべてのパターンページを関連付ける機能を割り当てられている場合などには、ペンは、パターンページ516をパターンページ518と関連付けるように制御されてもよい。
以上が、使用例ではあるが、機能および時間的選択基準であることを理解されたい。さらに、各使用例で、ピジェットには、ユーザの観点から1つの同じ結果を実現するための他の機能を割り当てることもできる。
時間選択ピジェットをフィードバック機能と関連付けることもまた有利なことがある。フィードバック機能は、時間選択ピジェットのそれぞれの検出、および/またはパターンページのそれぞれの関連付けの選択を、選択的にマンマシンインターフェースを起動させることによって、適切にユーザに知らせるようにペンを制御する(図4の420)。例えばペンは、ピジェットの検出時、およびパターンページの選択時に振動することができる。
図6A〜6Eは、時間選択ピジェットが使用できる様々な状況を示す。
図6Aでは、紙キーボード600が用紙602と一緒に使用される。このキーボードは、時間選択機能と関連したピジェットである。キーボードは、それぞれの文字またはキーボード操作(シフト、キャプスロック、スペースなど)を指定するキー604を定義する。ペンユーザは、用紙上の特定の欄に一連の文字、例えば「名前」または「年齢」を入力したいときに、ペン608を使用してキーボード上の該当するキー604をたたき、それから用紙602上の該当する欄606をたたく。
このようにして、キーボードピジェット600は、キーボードピジェット上で作成されるすべてのストロークを組み合わせ、次に、これらのストロークをキーボードピジェット600の外側での最初の後続ペンストロークのパターンページと関連付けるようにペン608を制御する機能と関連付けられる。すべてのストロークがタイムスタンプされる。次に、用紙602のすべてのデータを受け取るバックエンド処理装置(図示せず)は、用紙602と関連したストロークからキーボードピジェット600を特定し、キーボードピジェット600の定義を検索し、その定義を用いてペンストロークを文字にマッピングすることができる。文字の順序は、ペンストロークのタイムスタンプによって処理装置に与えられる。処理装置はまた、キーボードストロークに続く最初のペンストロークの位置に基づいて、得られた文字のセットを用紙602上の該当する欄と関連付けることもできる。
あるいは、この機能は、実際のペンストロークの代わりに、ペンでヒットしたそれぞれのキー604のタイムスタンプされた識別子を記憶するようにペン608を制御してもよい。
さらに別の実施形態では、ペン608のメモリユニットがキーボード定義を含むことができる。これにより、ペン制御ユニットがキーボードピジェット600内のペンストロークを文字にマッピングすることができる。この場合には、その機能は、機械コード化された文字のタイムスタンプされたセットを用紙602のパターンページと関連付けるように、ペンを制御してもよい。
図6Bでは、ショートカットリスト610が電子メール用紙612と一緒に使用される。このショートカットリストは、いくつかの時間選択ピジェット614を含む。時間選択ピジェット614の各々が一意の識別子を有し、電子メールアドレスと関連付けられる。この関連付けは、ペン616またはバックエンド処理装置(図示せず)によって記憶されてもよい。ペンユーザは、用紙612上のメッセージ欄617に記録されたペンストロークを電子メール受信者まで送信したいときに、ペン616を使用して、意図した受信者の1つまたは複数のショートカットピジェット614をたたき、次に、用紙上の宛先欄618をたたけばよい。その後、ペンユーザは、用紙612に関連するデータを出力するようにペン616に指示する。図6Aの例のように、ペン616は、ショートカットピジェット614内のペンストローク、ショートカットピジェット614の識別子、または電子メールアドレス自体のいずれかを電子メール用紙612のパターンページと関連付けるように制御されてよい。
図6Cでは、バーコード620が用紙622および時間選択ピジェット624と一緒に使用される。バーコードは、用紙622自体の上、または別の物622’の上に配置することができる。ペンユーザは、バーコードデータを入力したいときに、ペン626を使用して時間選択ピジェット624をたたき、次に、ペン626をバーコード620の上に配置し、または横切って移動させ、最後に、用紙622上をたたく、または書き込む。バーコードピジェット624は、ペン626をバーコード読取りモードに設定する機能と関連している。このモードでは、制御ユニットがバーコードデータを1つまたは複数の記録画像からデコードする。得られたバーコードデータは、ペンの基準時間フレーム内のタイムスタンプを備えてもよく、ピジェット624の時間的選択基準を介して用紙622のパターンページと関連付けられる。
バーコード620は、Data Matrix、MaxiCode、PDF417、Aztecコードなど他の任意の1次元または2次元コード、ならびに本出願者によって開発され、米国特許出願公開第2001/0038349号および国際公開WO2006/001769号に記載のドットコードと置換できることを理解されたい。
図6Dでは、音声データ630は、ペン634内のマイクロフォン632によって記録され、用紙636と関連付けられる。ペンユーザは、音声データを記録したいときに、ペン634を使用して時間選択ピジェット638をたたき、次に、マイクロフォン632に向かって話し、最後に用紙636上をたたく、または書き込む。このようにして、音声ピジェット638は、マイクロフォン632を介して音声データ630を記録するようにペン634を制御する機能と関連付けられる。得られた音声データ630は、ペンの基準時間フレーム内のタイムスタンプを備えてもよく、ピジェット638の時間的選択基準を介して用紙636のパターンページと関連付けられる。
あるいは、音声ピジェット638は、最も新しく記録された音声データを引き出し、このデータを音声ピジェット638の時間的選択基準に基づいて選択されるパターンページと関連付けるようにペン632を制御する機能と関連付けられてもよい。
図6Eは、いわゆる複写された用紙642、643を区別するための時間選択ピジェット640の使用法を示す。複写された用紙はすべて、基準面R上の1つの同じパターンページ644からの位置コードを含む。したがって、ペンまたはバックエンド処理装置は、このような用紙の別々のインスタンスから記録されたデータを区別することができない。このために、それぞれの用紙インスタンスは、一意の時間選択ピジェット640、641を備える。用紙642、643に記入する際、ペンユーザはまた、ペン636で時間選択ピジェット640、641をたたく。こうするとペン646が、ピジェット640、641内のペンストローク、またはピジェット640、641の一意の識別子どちらかを用紙642、643のパターンページ644と関連付けるようになる。それによって、ペンおよび/またはバックエンド処理装置は、一方の用紙インスタンスを他方と区別することができる。
本明細書で説明したすべての実施形態、使用例および使用状況において、ペンのメモリユニットは、それぞれ個別の時間選択ピジェット640、641の位置を一意のピジェット識別子と明示的に関連付けるテンプレートを保持してもよい。メモリ効率の理由で、このテンプレートは代わりに、所与の位置をそのようなピジェット識別子に変換するアルゴリズムを含んでもよい。図6Eに例示されたように、基準面R上の限られた領域648は、所与の配列(アレイ)のサブ領域648’に分割することができる。各サブ領域648’がピジェットを表し、一意の位置のセットを含む。アルゴリズムは、配列のレイアウト648を、それの含まれた位置に関して表すものである。限られた領域648内の任意の位置に基づいて、アルゴリズムは、該当のサブ領域648’またはピジェットを特定する一意の値を出力する。
時間選択ピジェットに静的または動的に割り当てることができる機能には、例えば以下のように、他にも多数の例がある。
・ペンストロークの視覚特性(例えば色、線幅など)をペンまたはバックエンド処理装置に設定する。
・ペンからペンストロークを出力する。
・処理装置内でペンストロークの処理に使用するために、様々な外部保管データ(例えば社会保障番号または個人番号、電話番号、銀行口座番号)へのアクセスを認める。
・ペンまたは処理装置で手書き文字認識をペンストロークに対して動作させる。
・手書き文字認識用の解釈コンテキストを設定する(例えば数字、文字、銀行口座番号、電子メールアドレス、小文字、大文字など)。
・ページ様式パラメータ(改ページ、ページ段組、ページ余白)を入力する。
・ペンストロークをペンメモリから削除、または処理装置で削除する。一つの例では、時間選択ピジェットは、選択されたパターンページ上のすべてのペンストロークを削除する機能を割り当てられる。別の例では、ピジェットは、選択されたパターンページ上の所定の欄内のペンストロークだけを削除する機能を割り当てられ、この欄は、選択ペンストロークの位置によって与えられる。すなわち、ペンユーザは、時間選択ピジェット(「削除」ピジェット)をたたき、次に、ペンストロークが削除されるべき特定の欄をたたけばよい。
・ペンメモリから特定のパラメータ値(例えばペン識別子、ユーザの電子メールアドレス、ユーザの名前、ペンソフトウェアバージョンなど)を引き出す。
・ペンストロークの視覚特性(例えば色、線幅など)をペンまたはバックエンド処理装置に設定する。
・ペンからペンストロークを出力する。
・処理装置内でペンストロークの処理に使用するために、様々な外部保管データ(例えば社会保障番号または個人番号、電話番号、銀行口座番号)へのアクセスを認める。
・ペンまたは処理装置で手書き文字認識をペンストロークに対して動作させる。
・手書き文字認識用の解釈コンテキストを設定する(例えば数字、文字、銀行口座番号、電子メールアドレス、小文字、大文字など)。
・ページ様式パラメータ(改ページ、ページ段組、ページ余白)を入力する。
・ペンストロークをペンメモリから削除、または処理装置で削除する。一つの例では、時間選択ピジェットは、選択されたパターンページ上のすべてのペンストロークを削除する機能を割り当てられる。別の例では、ピジェットは、選択されたパターンページ上の所定の欄内のペンストロークだけを削除する機能を割り当てられ、この欄は、選択ペンストロークの位置によって与えられる。すなわち、ペンユーザは、時間選択ピジェット(「削除」ピジェット)をたたき、次に、ペンストロークが削除されるべき特定の欄をたたけばよい。
・ペンメモリから特定のパラメータ値(例えばペン識別子、ユーザの電子メールアドレス、ユーザの名前、ペンソフトウェアバージョンなど)を引き出す。
アプリケーション開発者は、同じサイズと異なるサイズの両方の複数の時間選択ピジェットを含むパターンページにアクセスすることができる。アプリケーション開発者にピジェットの組合せを提供するために、時間的選択基準は、これらのピジェットの間で異なることがある。これらのピジェットのいくつかは、ペン制御ユニットによって実行されるべき所定の機能、例えば上記で例示したものを割り当てられてよい。しかし、他のピジェットは、選択パターンページと関連して、時間選択ピジェット内で検出されたペンストローク、またはそのピジェット識別子を記憶する機能だけを割り当てられてよい。次に、アプリケーション開発者は、ペンにとって未知の外部機能をこれらのピジェットに割り当てることができる。これらの外部機能はバックエンド処理装置にだけ知られている。したがって、バックエンド処理装置は、適切なペンストロークに対して、それらがペンによって検出された順序を再現した後で、外部機能を動作させることができる。
外部機能の使用法をさらに例示するために、ある特定のパターンページからの描画領域、および2つの時間選択ピジェットを含む用紙を考える。ピジェットの一方は、用紙上の「選択ストローク」と呼ばれ、他方は用紙上の「削除」と呼ばれる。ユーザは、以前に描画領域に入力したどれかのストロークを削除したいときはいつも、「選択ストローク」ピジェットをたたき、削除すべきストロークに丸をつけ、それから「削除」ピジェットをたたく。「選択ストローク」ピジェットは、ペンがこのピジェットの識別子を丸がついたストロークのパターンページと関連付けるようにし、「削除」ピジェットは、ペンがこのピジェットの識別子を直前のストロークのパターンページと関連付けるようにする。したがって、ペンは、描画領域のパターンページに属するデータを出力するときに、以前に入力されたペンストローク、「選択ストローク」ピジェットの識別子、丸をつけるストローク、および「削除」ピジェットの識別子を出力する。バックエンド処理装置は、「選択ストローク」ピジェットの識別子を外部機能と関連付け、この外部機能は、次のペンストロークを丸をつけるペンストロークとして扱い、また丸をつけるペンストローク内の他のどんなペンストロークも見つける。この処理装置は、「削除」ピジェットの識別子を、他のどのようなペンストロークも削除する外部機能と関連付ける。明らかに、処理装置は、ユーザが意図した動作を実行することができる。
(パターンページへのデータの関連付け)
上記の例において、ペンは、別々のデータ項目を1つまたは複数のパターンページと関連付ける。この関連付けは、関連付けデータ項目を選択パターンページのページアドレスと一緒にペン制御ユニットに格納することによって、実現することができる。これにより、ペン制御ユニットは、後でページアドレスに基づいてペンメモリをサーチして、例えば出力用に該当データをコンパイルすることができる。あるいは、ペン制御ユニットは、ペンメモリ内でこのページアドレスに割り当てられたファイル内に、関連付けデータ項目を直接組み込む。
上記の例において、ペンは、別々のデータ項目を1つまたは複数のパターンページと関連付ける。この関連付けは、関連付けデータ項目を選択パターンページのページアドレスと一緒にペン制御ユニットに格納することによって、実現することができる。これにより、ペン制御ユニットは、後でページアドレスに基づいてペンメモリをサーチして、例えば出力用に該当データをコンパイルすることができる。あるいは、ペン制御ユニットは、ペンメモリ内でこのページアドレスに割り当てられたファイル内に、関連付けデータ項目を直接組み込む。
ペンがトリガされてデータを出力するとき、ペン制御ユニットは、ペンの通信インターフェースを介してファイルまたはhttp要求を出力することができる。このファイル/要求は、該当ペンストロークも任意の関連付けデータ項目(関連付けデータ)を含む。一実施形態では、関連付けデータは、ファイル/要求の専用の部分に配置される。以下でさらに説明する別の実施形態では、関連付けデータは代わりに、特定のパターンページ上にペンストロークデータとしてコード化される。これにより、関連付けデータは、ペンストロークデータの転送用に設計された既存の転送システムを介して転送することが可能になる。
次に図7を参照して、関連付けデータをペンストロークデータとしてコード化する一例を示す。この例では、コード化処理は電子ペンにおいて実行される。より具体的には、コード化処理はコード化モジュールにおいて実行されることができる。このモジュールは、入力として関連付けデータを受け取り、出力としてペンストロークコード化された関連付けデータを出力する。この実施形態では、関連付けデータは2値データ、または、2値データに変換されるものであるとする。
図7の左側に、余白702を有するパターンページ700の一部を概略的に示す。パターンページ700内の位置(x/y座標)は、局所座標系703で定義される。この実施形態では、パターンページ700の左上隅部の32×32の座標領域704が、ペンストロークコード化関連付けデータのために確保されている。この領域704は、以下で明らかになる理由で4つの象限704a〜704dに分割され、それぞれが16×16のx/y座標からなる。4つの象限は、図7の右側に縮尺を拡大して示されている。
2値の関連付けデータを受け取ると、ペンは、その2値データの各バイトを次式に示すx/y座標データに変換する。
上式で、CI(座標指数)は、x/y座標(バイト)の並びにおけるx/y座標(バイト)の順序数を示し、「int」は「整数部」を意味し、「mod」は「モジュロ」を意味する。したがって、関連付けデータバイトの4つの最下位ビットはx座標としてコード化され、その4つの最上位ビットはy座標としてコード化される。
このコード化によって各x/y座標は、図7の拡大部に示されるように象限704a〜704dのそれぞれに順次に配置される。この図で、十文字形706a〜706gは7つのx/y座標を表し、その座標をつなぐ破線は対応するストロークを表す。データのバイト数は、32×32の座標領域内の「ストローク」の長さを定義する。
各位置でより多くのデータビットをコード化する必要がある場合には、象限のサイズを増大させることができる。
位置領域704の4つの象限に順次に座標を配置する1つの理由は、どの3つの連続した座標も直線を形成しないようにすることによって、確実に座標が座標縮小の対象にならないようにすることであるといえる。別の理由は、ストロークを、非ペンストロークデータを含むストロークとして適格なものにすることであるといえる。
例えばバーコードデータ、キーボードデータ、ペンストロークデータ、ピジェット識別子データ、ペンパラメータデータなど、どの種類の関連付けデータが余白ストロークにコード化されているかを表示することが有益でありうる。このために、コード化処理では、データの種類を示すデータのバイトを、余白内にコード化されるべきデータ列に付加することがある。このような付加バイトは、x/y座標へのデータと同じように変換することができる。このx/y座標は、x/y座標の並び(座標列)において所定の位置を有してよい。
2値データがx/y座標列に変換されると、この座標列は、通常のペンストロークと全く同じように記憶し処理することができる。
ペンストロークコード化関連付けデータは、システムの受信側(例えば図1Aの処理装置103)で受け取られたとき、その座標が属する座標領域からの関連付けデータとして認識される。座標が2値データにデコードされる前に、座標はすべて、第1象限704a内の座標に変換される。これは次式のように行われる。
上式で、q1は象限1、qiは象限i(i=1、2、3、4)であり、「int」は「整数部」を意味し、「mod」は「モジュロ」を意味する。
次に、得られた象限1の各座標が、次式に示すように2進データにデコードされる。
バイト=16・(y mod 16)+x mod16
バイト=16・(y mod 16)+x mod16
明らかなことには、隅部領域の使用は一例にすぎない。他の余白領域もまた使用することができる。1つの例は、上部余白で4096×16の座標領域を使用し、左の余白で16×4096の座標領域を使用し、これら2つの座標領域内の位置としてバイトまたは他のデータのまとまりを交互にコード化することである。さらに、関連付けデータの種類が余白内のその位置によって与えられるように、異なる余白領域を別々の種類の関連付けデータのために確保することもできる。さらに、非余白領域がシステム内の通常のペンストロークに対して無効であるならば、このような非余白領域は、関連付けデータを転送するために使用することもできる。一実施形態では、異なる領域が別々の種類の非ペンストロークデータのために確保される。
非ペンストロークデータを座標にコード化する他の方式もまた、使用することができる。
ペンは、特定の状況のもとで、パターンページの余白内に通常のペン位置を生成することがある。このようなペンストローク位置は、関連付けデータの転送を妨害しないようにするために、ペン内でフィルタリング除去することができる。それらが送信器側でフィルタリング除去されない場合は、受信器側で除去することができる。バックエンド処理装置は、例えばこのようなペンストローク位置を、前または後の位置とのそれらの関係から認識することができる。
上記の例では、関連付けデータは、通常のペンストロークと区別可能な別個のペンストロークとして転送される。代替形態として、例えば通常のペンストローク内の各位置の最下位ビットを関連付けデータの転送のために割り当てることによって、通常のペンストロークを関連付けデータの転送のために使用することができる。
上述の実施形態では、時間選択ピジェットの検出、および結果としてのあらゆる処理すべてがペンの制御ユニット内で行われる。しかし、ペンの動作は、ペンと、ローカルコンピュータ、携帯電話、携帯情報端末など、あらゆる外部ユニットとの間で任意に分散されて行われ、ペンと外部ユニットがペン装置を形成することができる。図示の実施形態と反対の極端な場合では、ペンは、記録画像データを外部ユニットに出力するように構成されるだけである。この外部ユニットは、画像データからの位置またはバーコードデータのデコーディング、ピジェットの検出、および結果としてのあらゆる処理を実行する。
上記の実施形態では、基準面の分割は動的であり、デコードされた広域位置からその論理位置が計算される。代替実施形態では、コーディングパターンは論理位置を直接コード化する。例えば、米国特許第6330976号は、コーディングセルが製品面の全体にわたってタイル張りされ、各セルが局所位置とページ識別子の両方をコード化するコーディングパターンを開示している。したがって、このようなコーディングパターンに基づいて、ペン装置がこうして論理位置を直接検出することができる。このようなペン装置では、定義データにアクセスして前述のピジェットを検出し、特定することができる。
Claims (37)
- 個々にアドレス可能な複数の位置ページを含む基準面上の位置であって、それぞれが記録時間と関連付けられる前記位置を検出する位置検出器と、
前記基準面の少なくとも一部を表す定義データであって、前記基準面上の少なくとも1つの選択領域を定義する前記定義データを保持するメモリと、
前記定義データと対照して検出位置をマッピングするように構成され、前記少なくとも1つの選択領域内に検出位置が入ることを確認したときに、時間的選択基準に従って前記位置ページの少なくとも1つを選択するように構成された位置プロセッサと、
を備えることを特徴とする電子ペン装置。 - 前記時間的選択基準は、前記選択領域内における前記検出位置の前記記録時間と、前記複数の位置ページ内における1つまたは複数の検出位置とに基づくものである、請求項1に記載の電子ペン装置。
- 前記時間的選択基準は、前記選択領域位置の前記記録時間に関して時間窓を定義する、請求項2に記載の電子ペン装置。
- 前記時間窓は、前記選択領域位置の前記記録時間から時間的に前方に延びる、請求項3に記載の電子ペン装置。
- 前記時間的選択基準は、前記時間窓内で検出されたさらなる位置を分析することを含む、請求項3または4に記載の電子ペン装置。
- 前記分析は、前記複数の位置ページ内で最も新しい検出位置を見つけることを含み、前記最も新しい検出位置は、前記選択された位置ページを特定するものである、請求項5に記載の電子ペン装置。
- 前記分析は、前記複数の位置ページ内で最も古い検出位置を見つけることを含み、前記最も古い検出位置は、前記選択された位置ページを特定するものである、請求項5に記載の電子ペン装置。
- 前記少なくとも1つの選択領域は、前記複数の位置ページの外側に配置される、請求項1〜7のいずれか一項に記載の電子ペン装置。
- 各選択領域は、前記選択された位置ページに関して前記位置プロセッサによって行われるべき所定の動作と関連付けられる、請求項1〜8のいずれか一項に記載の電子ペン装置。
- 前記動作は、データ項目を前記選択された位置ページと関連付けることを含む、請求項9に記載の電子ペン装置。
- 前記動作はさらに、前記データ項目を引き出すことを含む、請求項10に記載の電子ペン装置。
- 前記データ項目は、
前記少なくとも1つの選択領域内で検出された少なくとも1つの位置と、前記少なくとも1つの選択領域の一意の識別子と、バーコードデータと、音声データと、画像データと、前記基準面上の1つまたは複数の専用領域と関連付けられた1つまたは複数の機械コード化された文字と、ペン装置またはそのユーザの属性を示すために前記メモリ内に事前記憶された1つまたは複数のパラメータ値と、からなる群に含まれる、請求項10または11に記載の電子ペン装置。 - 前記動作はさらに、各データ項目を記録時間と関連付けることを含む、請求項10〜12のいずれか一項に記載の電子ペン装置。
- 検出位置のもととなる位置ページと関連付けて前記位置検出器が検出位置を格納し、かつ、前記選択された位置ページと関連付けて前記位置検出器がデータ項目を格納する記憶装置をさらに含む、請求項10〜13のいずれか一項に記載の電子ペン装置。
- 前記データ項目を前記選択された位置ページ内で検出された位置とともに出力するインターフェースをさらに含む、請求項10〜14のいずれか一項に記載の電子ペン装置。
- 前記出力されたデータ項目は、前記選択された位置ページ内の位置として表される、請求項15に記載の電子ペン装置。
- 前記出力されたデータ項目は、前記位置検出器が有効な位置を記録できない前記選択された位置ページの所定部分内の位置として表される、請求項16に記載の電子ペン装置。
- 前記検出位置のもととなる位置ページと関連付けて、前記位置検出器が前記検出位置を格納する記憶装置をさらに含み、
前記動作は、前記特定された位置ページと関連付けて格納された1つまたは複数の位置を前記記憶装置から引き出すことを含む、請求項9に記載の電子ペン装置。 - 前記動作はさらに、前記引き出した位置を前記記憶装置から削除することを含む、請求項18に記載の電子ペン装置。
- 前記定義データは、時間選択領域のセットを定義するものであり、前記セット内の各時間選択領域は、一意の識別子を含むものである、請求項1に記載の電子ペン装置。
- 前記セット内の各時間選択領域は、前記検出された時間選択領域の識別子を前記選択された位置ページと関連付けることを前記位置プロセッサに実行させる動作と関連付けられる、請求項20に記載の電子ペン装置。
- マンマシンインターフェースをさらに含み、
前記位置プロセッサは、前記選択領域内の検出位置の確認と同時に前記マンマシンインターフェースを起動させるものである、請求項1〜21のいずれか一項に記載の電子ペン装置。 - マンマシンインターフェースをさらに含み、
前記位置プロセッサは、前記位置ページの選択と同時に前記マンマシンインターフェースを起動させるものである、請求項1〜22のいずれか一項に記載の電子ペン装置。 - 前記位置検出器は、製品面上に配置された位置コーディングパターンの画像に基づいて前記位置を検出する、請求項1〜23のいずれか一項に記載の電子ペン装置。
- 個々にアドレス可能な複数の位置ページを含む基準面上で検出された位置であって、それぞれが記録時間と関連付けられた前記位置を受け取ることと、
前記基準面の少なくとも一部を表す定義データであって、前記基準面上の少なくとも1つの選択領域を定義する前記定義データと対照して、前記検出位置をマッピングすることと、
前記少なくとも1つの選択領域内に検出位置が入ることを確認したときに、時間的選択基準に従って前記位置ページの少なくとも1つを選択することと、
を含むことを特徴とする電子ペン装置における方法。 - 前記選択領域について、前記定義データに基づき、前記選択された位置ページに関して行われるべき所定の動作を特定することをさらに含む、請求項25に記載の方法。
- 前記動作を実行することをさらに含み、
前記動作は、データ項目を前記選択された位置ページと関連付けることを含む、請求項26に記載の方法。 - 前記動作はさらに、前記データ項目を前記電子ペン装置が引き出すようにすることを含む、請求項27に記載の方法。
- 前記データ項目が、
前記少なくとも1つの選択領域内で検出された少なくとも1つの位置と、前記少なくとも1つの選択領域の一意の識別子と、バーコードデータと、音声データと、画像データと、前記基準面上の1つまたは複数の専用領域と関連付けられた1つまたは複数の機械コード化された文字と、ペン装置またはそのユーザの属性を示すために前記メモリ内に事前記憶された1つまたは複数のパラメータ値とからなる群に含まれる、請求項27または28に記載の方法。 - 前記動作はさらに、各データ項目を記録時間と関連付けることを含む、請求項27〜29のいずれか一項に記載の方法。
- 前記データ項目を前記選択された位置ページ内で検出された位置とともに出力することをさらに含む、請求項27〜30のいずれか一項に記載の方法。
- 前記出力されたデータ項目を、前記選択された位置ページ内の位置として表すことをさらに含む、請求項31に記載の方法。
- 前記出力されたデータ項目を、前記電子ペン装置が有効な位置を記録できない前記選択された位置ページの所定部分内の位置として表すことをさらに含む、請求項32に記載の方法。
- 前記選択領域内の検出位置の確認と同時にマンマシンインターフェースを起動させることをさらに含む、請求項25〜33のいずれか一項に記載の方法。
- 前記位置ページの選択と同時にマンマシンインターフェースを起動させることをさらに含む、請求項25〜34のいずれか一項に記載の方法。
- プロセッサによって実行されたときに、請求項25〜35のいずれか一項に記載の方法を実行する命令のセットを含むことを特徴とするコンピュータ可読記憶媒体。
- 個々にアドレス可能な複数の位置ページを含む基準面上で検出された位置であって、それぞれが記録時間と関連付けられた前記位置を受け取る第1入力部と、
前記基準面の少なくとも一部を表す定義データであって、前記基準面上の少なくとも1つの選択領域を定義する前記定義データにアクセスする第2入力部と、
前記定義データと対照して検出位置をマッピングし、前記少なくとも1つの選択領域内に検出位置が入ることを確認したときに、時間的選択基準に従って前記位置ページの少なくとも1つを選択するように構成されたページ選択部と、
を備えることを特徴とする電子ペン装置内のデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0502487 | 2005-11-11 | ||
US73589405P | 2005-11-14 | 2005-11-14 | |
PCT/SE2006/001270 WO2007055639A1 (en) | 2005-11-11 | 2006-11-09 | Information management in an electronic pen arrangement |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009516261A true JP2009516261A (ja) | 2009-04-16 |
Family
ID=38023524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008539981A Withdrawn JP2009516261A (ja) | 2005-11-11 | 2006-11-09 | 電子ペン装置における情報管理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20090127006A1 (ja) |
EP (1) | EP1955133A1 (ja) |
JP (1) | JP2009516261A (ja) |
WO (1) | WO2007055639A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015187830A (ja) * | 2014-03-12 | 2015-10-29 | パナソニックIpマネジメント株式会社 | 表示制御システム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008150911A1 (en) * | 2007-05-29 | 2008-12-11 | Livescribe, Inc. | Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains |
US20090241041A1 (en) * | 2008-03-20 | 2009-09-24 | Leapfrog Enterprises, Inc. | Position code based content development method and tool |
US8723820B1 (en) * | 2011-02-16 | 2014-05-13 | Google Inc. | Methods and apparatus related to a haptic feedback drawing device |
JP5306528B1 (ja) * | 2012-09-19 | 2013-10-02 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
US9582230B1 (en) * | 2015-10-09 | 2017-02-28 | Xerox Corporation | Method and system for automated form document fill-in via image processing |
CN109782924B (zh) * | 2019-01-09 | 2022-09-06 | 深圳腾千里科技有限公司 | 复合码书写页面生成方法、设备、存储介质及装置 |
IT202000006793A1 (it) * | 2020-03-31 | 2021-10-01 | Milano Politecnico | Strumento di scrittura, sistema e metodo per il monitoraggio e l'analisi trasparente della scrittura |
JP7348368B1 (ja) * | 2022-09-21 | 2023-09-20 | レノボ・シンガポール・プライベート・リミテッド | 情報処理システム、情報処理装置、プログラム、および、制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030061188A1 (en) * | 1999-12-23 | 2003-03-27 | Linus Wiebe | General information management system |
US6992655B2 (en) * | 2000-02-18 | 2006-01-31 | Anoto Ab | Input unit arrangement |
US7094977B2 (en) * | 2000-04-05 | 2006-08-22 | Anoto Ip Lic Handelsbolag | Method and system for information association |
SE520485C2 (sv) * | 2001-11-13 | 2003-07-15 | Anoto Ab | Anordning och datorprogramprodukt för frigöring av minnesutrymme i en anordning med begränsat minnesutrymme |
US7321692B2 (en) * | 2001-11-13 | 2008-01-22 | Anoto Ab | Method, device and computer program product for processing information in a memory |
US7385595B2 (en) * | 2001-11-30 | 2008-06-10 | Anoto Ab | Electronic pen and method for recording of handwritten information |
-
2006
- 2006-11-09 JP JP2008539981A patent/JP2009516261A/ja not_active Withdrawn
- 2006-11-09 EP EP06812993A patent/EP1955133A1/en not_active Withdrawn
- 2006-11-09 US US12/084,638 patent/US20090127006A1/en not_active Abandoned
- 2006-11-09 WO PCT/SE2006/001270 patent/WO2007055639A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015187830A (ja) * | 2014-03-12 | 2015-10-29 | パナソニックIpマネジメント株式会社 | 表示制御システム |
Also Published As
Publication number | Publication date |
---|---|
WO2007055639A1 (en) | 2007-05-18 |
US20090127006A1 (en) | 2009-05-21 |
EP1955133A1 (en) | 2008-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009516261A (ja) | 電子ペン装置における情報管理 | |
CN100390720C (zh) | 交互式设备和方法 | |
JP4982486B2 (ja) | 位置および情報の符号を組み合わせるための方法およびシステム | |
US7281664B1 (en) | Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer | |
US20060078866A1 (en) | System and method for identifying termination of data entry | |
CN1862473A (zh) | 在可写表面上提供具有交互式元素的用户接口 | |
KR20040038643A (ko) | 범용 컴퓨팅 장치 | |
US8982057B2 (en) | Methods and systems for processing digitally recorded data in an electronic pen | |
JP2007079943A (ja) | 文字読取プログラム、文字読取方法および文字読取装置 | |
CN101387932A (zh) | 显示系统 | |
KR101229566B1 (ko) | 전자 펜의 데이터 관리 방법 및 장치 | |
EP1782172A1 (en) | Data processing in an electronic pen | |
US20070246539A1 (en) | Data Processing in an Electric Pen | |
JP5084087B2 (ja) | 手書きコマンド | |
CN108664869A (zh) | 点阵识别系统 | |
JP4934669B2 (ja) | 非ペンストロークデータの転送に関する方法および装置 | |
US7671269B1 (en) | Methods and systems for graphical actuation of a velocity and directionally sensitive sound generation application | |
JP2019008728A (ja) | 文書管理システムおよび文書管理装置 | |
JP2014044471A (ja) | 端末装置、電子ペンシステム及びプログラム | |
JP2012063974A (ja) | ストローク表示システム及びプログラム | |
JP2013016079A (ja) | コンピュータ装置及びプログラム、並びにノート | |
JP2009187235A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP6442995B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2014225095A (ja) | サーバ装置及びプログラム | |
CN108664149A (zh) | 一种信息记录方法、介质和信息记录设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091106 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20110329 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110405 |