JP2004303254A - 電子文書操作システム、電子文書操作方法及び筆記装置 - Google Patents

Abstract

【課題】 簡単なシステムを用いて文書と電子化文書との間でのデータの変換を可能にする。
【解決手段】 文書１０上に筆記可能なペン先１１６を備え、筆記動作に伴う自らの動きを電気信号に変換し生成するペン装置９１を設ける。そして、このペン装置９１で生成された電気信号を通信チャンネルを介して親機処理ユニットに送信し、親機処理ユニットでペン装置９１の筆記内容を認識し記憶する。したがって、親機処理ユニットに記憶された内容をアウトプットすることで、ペン装置９１による筆記された内容を容易に可視化することができる。
【選択図】 図６

Description

本発明は、同一文書のハードコピーバージョンと電子バージョンとの双方と同時に対話することをユーザに許容することにより行われるハードコピー文書とこれに対応する電子バージョンとの取り扱いの分野に関する。

文書を読んだり文書に注釈を付ける等のある種の作業には多くの人がハードコピー文書を好む一方で、電子化文書は、保存、検索、通信等の作業に好ましいと思われる。そこで、両方の方法のユーザフレンドリーな面を最大限に拡張する文書システムを提供することが望まれる。

残念ながら、ハードコピー文書と電子化文書との間には大きな技術的障害が存在している。例えば、電子的記号は紙面に容易に変換することができるが、印刷した文書はコンパクトな電子記号へ容易に変換されない。また、それぞれの媒体とのヒューマン・インタフェースも根本的に異なり、紙面（または類似の表面）に書き込むことは子供にとっても自然であるが、電子化文書を作成するには、一般に、アプリケーション・ソフトウェア、キーボード、マウス、ディスプレイ等の使用を必要とする。

そこで、本発明は、
（ａ）小型かつ可搬型であること
（ｂ）ペンを使用するのと同様に自然であること
（ｃ）電子化文書および紙面の両方で機能すること
（ｄ）大型スキャナやデジタル・パッドのような装置が持つ複雑さや不便さを回避可能なこと
というような条件を満たすヒューマン・インタフェース入出力装置としての電子文書操作システム及び電子文書操作方法を提供することを目的とする。

結果的に、ユーザは、紙面文書の作成や取り扱いを容易に行うことができ、一方では、作成され取り扱われた紙面文書に対応する電子符号化画像を同時に作成することができる。これは、紙面に書き込むことができ、同時に書き込み状態を検出することができ、そして、書き込まれたマーキングを解釈しこれを電子符号化文書とすることができるような手持ちのペン様の装置によって達成される。また、画像の検出は、手書き変更を受けさせる文書形式の識別をシステムに許容する。

請求項１記載の電子文書操作システムの発明は、人の手による筆記内容を認識しデータ処理する電子文書操作システムであって、
（ａ）通信チャンネルと、
（ｂ）多次元空間内での自分自身の動きを検出し、自分の動きを表わす電気信号を生成する少なくとも１つの変換器と、前記通信チャンネル上に前記電気信号を送出するための通信インタフェースとを有する筆記装置と、
（ｃ）中央処理ユニットとメモリとを有し、前記通信チャンネルを介して前記筆記装置より送信された前記電気信号を通信インタフェースにより受信し、前記中央処理ユニットの制御下で前記メモリに前記電気信号を記憶させ、前記筆記装置の動きを再構成するために前記メモリの記憶内容を取り出せるようにした親機処理ユニットと、
を備える。

したがって、筆記装置を持って筆記動作をすると、その筆記動作が筆記装置の多次元空間内での動きとして変換器により検出され、これが電気信号の形態で生成される。そして、生成された電気信号は、通信インタフェースによって通信チャンネル上に送出される。一方の親機処理ユニット側では、筆記装置より通信チャンネル上に送出された電気信号を通信インタフェースにより受信し、受信した電気信号をメモリに記憶する。このメモリの記憶内容は所望により取り出すことができ、これにより、筆記装置の動きを再構成し、筆記内容を電子化文書として再現することが可能となる。

このような請求項１記載の発明において、親機処理ユニットは、筆記装置に内蔵され、他の装置の制御及びデータ通信のためにＣＰＵを外部バスに接続するための第２の通信チャンネルインタフェースを備えていても良い。

また、自分自身の動きを検出する筆記装置の変換器は、多次元空間内の動き成分をそれぞれの信号が表わす一組の電気信号を生成するようなもの、例えば、速度ジャイロスコープとして構成されたり、加速度計として構成されたり、あるいは、少なくとも１つの速度ジャイロスコープと少なくとも１つの加速度計との組み合わせによって構成される。他の例として、筆記装置が位置する領域を走査する筆記装置の外部の所定位置に配置された少なくとも２つの赤外線受信走査ステーションをシステムが更に含み、筆記装置の変換器は、三角法技術により筆記装置の位置を決定する赤外線受信ステーションで検出された赤外線信号を送信する赤外線送信器として構成されていても良い。更に他の例として、筆記装置を照明するために筆記装置の外部の所定の位置に配置された少なくとも２つの赤外線放射走査供給源をシステムが更に含み、筆記装置の変換器は、三角法技術により筆記装置の位置を決定するそれぞれの外部赤外線供給源により照明を検出する赤外線検出器により構成されていても良い。

また、請求項１記載の発明において、筆記装置は、筆記装置であっても良く、ポインタであっても良い。

請求項２記載の電子文書操作システムの発明は、人の手による筆記内容を自動的に解釈し、解釈された筆記内容から対応する電子化文書を符号化し作成する電子文書操作システムであって、
（ａ）筆記に適した表面を有する文書と、
（ｂ）通信チャンネルと、
（ｃ）視認可能な書き込み媒体を使用して前記文書のページ上にデータを書き込むためのペン先を有し、書き込み時の自分自身の物理的動作を表わす電気信号を生成する少なくとも１つの変換器と、前記通信チャンネル上に前記電気信号を送出するための通信インタフェースとを有する筆記装置と、
（ｄ）前記通信チャンネルとインタフェースして前記筆記装置からの電気信号を受信する通信インタフェースと、前記電気信号を変換する信号調整ユニットと、変換された前記電気信号を記憶するメモリを有して前記筆記装置から受信した前記電気信号に対応して前記メモリ内に記憶された文書の更新制御を行なう中央処理ユニットとを有する親機処理ユニットと、
を備える。

したがって、文書に対して筆記装置により筆記をすると、筆記内容が文書に記録される。同時に、その際の筆記動作が筆記装置の動きとして変換器により検出され、これが電気信号の形態で生成される。そして、生成された電気信号は、通信インタフェースによって通信チャンネル上に送出される。一方の親機処理ユニット側では、筆記装置より通信チャンネル上に送出された電気信号を通信インタフェースにより受信し、受信した電気信号が信号調整ユニットによって２進符号化されたデータに変換され、このデータが中央処理ユニットによってメモリに格納される。これにより、メモリに格納されたデータが更新される。そして、メモリの記憶内容は所望により取り出すことができ、これにより、筆記装置の動きを再構成し、筆記内容を電子化文書として再現することが可能となる。

このような請求項２記載の発明において、文書のページは、文書のページが意図する用途を支持する予め印刷されたデータと、親機処理ユニットに記憶された対応画像とを有するものであっても良い。例えば、文書のページがカレンダーページの場合、このページには日付に関するデータ（文書のページが意図する用途を支持する予め印刷されたデータ）が予め印刷され、親機処理ユニットに記憶された罫線（親機処理ユニットに記憶された対応画像）が対応画像として記録されていても良い。この場合、文書のページは、用途を識別するための視覚的な２進符号化された信号（例えば、バーコード）を有し、視覚的に２進符号化された信号は筆記装置に配置した光学センサー（例えば、バーコードリーダ）を用いて読み取るのに適しているようなものであっても良い。この場合、文書のページはカレンダーページであって、視覚的に２進符号化された信号は文書のページで表わされるカレンダー部分としてカレンダー部分を識別するようなものであっても良い。この場合、文書ページは文書のページ上の所定の用途領域の位置を識別するために筆記装置に配置した光学センサを用いて読み取るのに適している第２の視覚的に２進符号化された信号を有していても良い。更にこの場合、第２の視覚的に２進符号化された信号は文書のページにおけるカレンダー部分の一部であるカレンダー部分として所定の用途の位置を識別するものであっても良い。

また、文書のページは、文書のページに関連するユーザを識別する視覚的に２進符号化した信号を有していても良い。

また、筆記装置の視認できる書き込み媒体としては、例えば、インク、鉛筆芯、チョーク等が用いられる。

また、筆記装置は、文書のページに印刷された視覚的に２進符号化された信号を読み取る光学検出装置を更に含んでいても良い。この場合、光学検出装置は、例えば、電荷結合素子（ＣＣＤ）である。

また、筆記装置の変換器の組としては、例えば、一組の加速度計、一組の速度ジャイロスコープ、少なくとも１つの速度ジャイロスコープと少なくとも１つの加速度計とを含むものが用いられる。

また、筆記装置は、文書のページ表面に書き込む場合に筆記装置のペン先に印加される圧力を表わす電気信号を生成するための圧力変換器を含んでも良い。

また、圧力変換器は、文書のページ表面における２つの直交成分と表面に直交する第３の成分からなる筆記装置ペン先に印加される圧力の３つの直交する成分を表わす一組の電気信号を生成するように配置された一組の歪みゲージであっても良い。

また、筆記装置は、筆記装置のペン先の付近で局部的光学画像を読み取るため筆記装置のペン先近くに配置された光学アレイセンサーを含んでいても良い。この場合の光学アレイセンサーとしては、例えば、電荷結合素子アレイが用いられる。

また、通信チャンネルとしては、例えば、無線リンクや赤外線チャンネルが用いられる。

請求項３記載の電子文書操作方法の発明は、文書に筆記するためのペン先を有する筆記装置を使用して筆記内容を自動的に解釈し、筆記内容を取り込むことにより対応する電子化文書を更新するシステムであって、前記文書は文書識別のためのコードを含む所定の印刷様式を有し、前記文書を記憶するメモリと、前記筆記装置に作用する物理的な力を検出して筆記内容を認識する手段と、前記文書識別のためのコードを読み取る手段とを含む電子文書操作システムを使用し、前記筆記装置を用いて前記コードを読み取るステップと、筆記中の前記筆記装置に作用する力を検出するステップと、前記検出した力から筆記内容を再構成するステップと、前記文書を記憶するメモリへ前記再構成した書き込みデータを重ね合せるステップと、を備える。したがって、メモリの記憶内容を所望により取り出し、これにより、筆記装置の動きを再構成し、筆記内容を電子化文書として再現することが可能となる。

このような請求項３記載の発明において、再構成された筆記内容のデータは、例えば、筆記中に文書を横断したペン先の筆跡を表わす。また、再構成された筆記内容のデータは、例えば、筆記内容の英数字解釈である。

請求項４記載の発明は、文書に筆記するためのペン先を有する筆記装置を使用して筆記内容を自動的に解釈し、筆記内容を取り込むことにより対応する電子化文書を更新するシステムであって、前記文書は文書識別のためのコードを含む所定の印刷様式を有し、前記文書を記憶するメモリと、前記筆記装置に作用する物理的な力を検出して筆記内容を認識する手段と、前記文書識別のためのコードを読み取る手段とを含む電子文書操作システムであって、前記筆記装置を用いて前記コードを読み取る手段と、筆記中の前記筆記装置に作用する力を検出する手段と、前記検出した力から筆記内容を再構成する手段と、前記文書を記憶するメモリへ前記再構成した書き込みデータを重ね合せる手段と、を備える。

本発明は、上述のように構成したので、筆記装置の多次元空間内での動き、つまり筆記動作を電気信号として記憶するメモリの記憶内容を所望により取り出すことで、筆記装置の動きを再構成し、筆記内容を電子化文書として再現することができる。したがって、
（ａ）小型かつ可搬型であること
（ｂ）ペンを使用するのと同様に自然であること
（ｃ）電子化文書および紙面の両方で機能すること
（ｄ）大型スキャナやデジタル・パッドのような装置が持つ複雑さや不便さを回避可能なこと、というような条件を満たすヒューマン・インタフェース入出力装置としての電子文書操作システム及び電子文書操作方法を提供することが可能となる。

Ａ．応用範囲
ペン様の装置やペン装置に基づく対話型文書システムは、以下のようなシステムに限定されるわけではないが、それらのシステムを含む多数の文書システムに応用される。

〈カレンダーブック〉
予定表の物理的なページに入力されたアポイントメントを検出し、解釈し、電子予定表にも同様の内容を記録するようなシステムである。

〈様式処理〉
指定様式の書き込みによって対応する電子様式を作成するシステムであり、必要に応じて紙面を法的根拠又は安全のために保存する。このシステムにより、コンピュータデータ入力における大幅なコスト削減が得られる。

〈署名確認〉
署名を特徴付けている空間的位置、筆圧、時間の経過、方向性というパラメータに関連付けて署名を記憶する。そして、実際の署名時の動作と記憶内容とを参照し、署名の真偽を判別するシステムである。このようなシステムにより、署名認識の信頼性が向上する。特に、記憶内容のパラメータは署名を外部から観察しただけでは判断できないので、署名の偽造が困難となる。

〈双方向ファクシミリ〉
ユーザがウェブファックスに類似の「リンク」を用いて文書を受信できるようにするファクシミリシステムである。このシステムでは、宛先が検出解釈されれば通信リンクが提供される。したがって、発信元のユーザが単に所望する宛先を書き込むだけで、選択したユーザに書面が転送される。また、ユーザは文書に注釈をつけ、ファクシミリスキャナを使用せずにその注釈付きの文書を送信又は保存することができる。

〈文書編集〉
単語に×印をつけたり、他の編集操作のために印刷上の記号表記を使用することによって、紙面文書を編集し、注釈を付け、他の場所へ送信することができるようにしたシステムである。紙面の変更は電子化文書に直ちに影響を及ぼすため、その文書へのアクセス又はその文書の通信が全ての編集又は注釈を反映することになり、これによって電子化文書を真の元文書として用いることができる。

〈情報管理〉
参照文書の記述を走査することにより、複写をすることなく、指定されたファイルに格納されたその文書（又はその参照）を得ることができるようにしたシステムである。

〈文書検索〉
幾つかのキーワードや大まかな説明を書き込むか又は○で囲むかすることにより、又は図形を描くことにより、電子データベースを検索するシステムである。この場合、書込内容が解釈されるとデータ位置が提供される。

〈ノートブック〉
紙面にノートをとるための用途と、紙面にそれまでに書き込まれたノートを電子的に取り込むための用途とを持つペン装置を使用し、順番通りに（あるいは何らかの構成に従い）電子メモリファイルに記載事項を記憶するシステムである。
Ｂ．システムの詳細
Ｂ１．カレンダーブック
Ａ．の項で概略説明したように様々な文書システムが考えられるので、当業者に他の応用例への拡張が容易に理解されるような単一の応用例、ここでは物理的文書としてのカレンダーブックを例に挙げて本発明の詳細を説明する。

ここで、カレンダーブックと称するものは、日、週、月、又は年等の通常の暦時の一部分を表わすページを有する通常のカレンダーに類似している。それぞれの時間部分はさらに必要に応じて細分化され、一年は月と週に、１月は週と日に、日は時間とその小区分に分けられている。そして、デジタル的に符号化された情報が各ページに印刷され、これにより、ペン装置は、そのページの様式とそのページに展開された暦時の区分とを識別する適切なデジタル符号を読み取ることができる。

図１は、１ページ１日の様式を用いるカレンダーブックのページ２０を示す。このバージョンでは、それぞれの日毎に、選択可能な情報オプションを印刷することができる。日付（年月日）とユーザＩＤとを特定するためのバーコードであるバーコード識別子１３のための領域の脇には、ある領域２１が設けられている。この領域２１には、日付（年号は任意）も印刷されている。各欄２２，２２’の長方形部分は、適切なマーク（例えばチェックマーク）を記入することにより、時間を選択し識別するように利用することができる。それらの欄２２、２２’は、同一の意味を有し、半分の幅を使用して分割線２３で分割されるように示され、１５分毎に分けられた２つの記入事項がそれぞれに記入できるように設けられている。例えば、ベーカー氏とのアポイントメントは午前１０時に表示され、チャーリー氏とのアポイントメントは１０時１５分に示されている。換言すると、この例では、１時間が１５分の区画に分割されている。もちろん、その他の増分、例えば１時間３０分や１０分というような時間を指定しても良い。ユーザの選択は、供用しようとする用途と利用できる紙面の寸法（ならびにその詳細）に制限されるのみである。１日の時刻は、決められたカレンダーページの様式に対して書き込まれた記入事項の位置でも示される。ペン装置は、書き込みのためのペン先を備え、コンピュータに伝達して解釈、記憶、グラフィック表示するための光学的データ、位置的データ、及び書き込み筆圧データを得る。

グラフィック表示は、陰極管（ＣＲＴ）ディスプレイを使用して即座にフィードバックを提供することができる。つまり、ここでいうフィードバックというのは、ペン装置の位置的ペン先筆圧データ又はそのデータについての文字認識装置による書き込みメッセージの解釈に基づく書き込みメッセージの単純な再現を意味する。後者の場合、正しく認識されなかった書き込みデータは抹消又は上書きされる。

バーコードは、ペン装置の側面のバーコードスキャナによって読み込まれる。バーコード認識装置は、正規バーコードの検索において一定に走査するか、あるいは、ペン装置がバーコードの読み取りに適した水平位置に向いていることを位置センサが示している場合に動作する。
Ｂ２．動作モード
図２は、特定のカレンダーブックの基本的動作モードを説明するフローチャートである。動作はステップ５００で始まり、一定様式が指定されておりその内容がそのカレンダーブックについての構成情報とともに記憶されていると仮定している。構成データはカレンダーの種類、時間間隔や部分と書き込み空間を定義する時刻レイアウトを含む。また、有効性の検査としてバーコードＩＤを調べるユーザリストを記憶してある。

ステップ５０１では、ペン装置が水平方向に移動し、カレンダーブック操作が領域１３に配置されたバーコードの読み取りで開始されたかをコンピュータが調べる。違う場合、システムは、ペン装置の動きを監視する待機ループに進む。適当な水平方向の動きが検出されると、ペン装置でバーコード領域１３が走査されることによりバーコードＩＤが読み取られるステップ５０２に処理が進む。有効なバーコード信号が発生した場合、ステップ５０３からステップ５０５に進み、それ以外の場合にはステップ５０４へ進んでアクセスが拒否されたことをユーザに通知するための聴覚的、視覚的警報を設定し、システムがステップ５０１に復帰する。バーコードは正規符号のリストと比較することもでき、一致した場合にはカレンダーブックアクセス要求が有効とみなされて処理を５０５に進めることができる。この分岐で、ペン装置のユーザは、バーコードの読み込みを再試行したり、バーコードの読み込みに失敗した原因をシステムに問い合せることができる。

ステップ５０５では、カレンダーブックのページの電子紙面が画面（ＣＲＴ又はＬＣＤ）に表示され、表示にはそのページの先行する全ての入力内容が含まれる。書き込み筆圧信号が閾値を越えたかを調べるテストステップ５０６を通り、処理は別の待機ループに入る。閾値を越えた場合にはペン装置の操作が開始されたことの指標と捉えて処理はステップ５１１へ進み、それまでの待機ループインデックス（ステップ５０７）をクリアする。それ以外の場合には、ループが横断したパス（又は時間）の量をカウントするステップ５０７を含む待機ループへ入る。ステップ５０８では予め設定してある時間を超過したかを調べ、超過していない場合にはステップ５０６に戻る。それ以外の場合、ステップ５０７のループカウントインデックスがステップ５０９でクリアされてステップ５０１に戻る前にステップ５１０で表示が中断される。

ステップ５１２は、ジャイロスコープ速度情報を用いることで書き込みエントリの位置を設定する。バーコードページ識別の位置を調べジャイロスコープ速度情報と組み合わせることにより、筆圧がかけられる位置をステップ５０６で知ることができる。この情報は電子グラフィックディスプレイ上での対応する電子入力を特定するために使用する。

ステップ５１２から、処理はステップ６００に進み、カレンダーブックのページにペン装置で入力したメッセージを解釈する。この処理は図３にさらに詳細に図示してある。ペン装置からの複数センサ出力信号は、電気的形状、好ましくは２進符号化データである。この例では、４種類のデータを使用し処理している。プロセッサステップ６０１でのペン装置圧力処理、プロセッサステップ６０２でのジャイロスコープ復元力、プロセッサステップ６０３でのペン装置で書き込んだメッセージを表わす光学データ、及びプロセッサステップ６０４での印刷済みカレンダーブックのページからのカレンダー及び位置データを識別するための特別なキューを表わす補助データ信号の４種類である。それぞれのプロセッサステップ６０１〜６０４は、関連するデータ供給源から信号の特徴を抽出する。特定の書き込みデータ入力は、例えば印刷済みカレンダーブックのページに由来する時間符号、名前と場所を含む書き込み部分等の多数の独立したメッセージ単位を含むことがある。メッセージ入力シーケンスは、ベクトルプロセッサステップ６０５で各種処理したプロセッサステップ６０１〜６０４でのデータを使用してメッセージ部分に解析される。つまり、ペン先から紙面への筆圧が一定時間に渡り存在していることで、メッセージ部分の書き込みを表わす。圧力間隔の間のギャップは、部分の間のギャップを表わすことができる。ギャップは、単語を書き込んだ後、例えば、「ｔ」の交差を記載したことや、「ｉ」の点（・）を打ったことも表わすことができる。後者の場合、ジャイロスコープデータがペン装置の後退移動とそれに続けて固定位置の点打ち動作又は「ｔ」の横棒の前方掃引に結合したペン装置の加圧を確認できる。時間的に同期した複数センサデータを使用することにより、ペン装置で書き込んだメッセージを使用して独立して解釈可能な動作へと入力メッセージを解析できる。図示しないベクトル解析プロセッサは、プロセッサステップ６０１〜６０４で得られたデータを使用してベクトル解析処理をし（６０５）、解析したベクトルに基づき得られた標本を記憶し（６０６）、記憶された標本、つまり、解析したベクトルを図示しない標本記憶ユニットに予め記憶されている標本毎の組と比較器ステップ６０７で比較することにより識別されるそれぞれの書き込み部分を表わす一組のベクトルを発生する。ステップ６０８では、それぞれの解析した部分が考えられる解析メッセージ部分に対応する一組の候補ベクトルを生成し、これが生起確率の降順に、すなわち正しいメッセージ部分となるように配列されるのが好ましい。

メッセージ選択ステップ６０８からの生起可能な候補メッセージ単位はシーケンスインデックス０＜ｋ＜Ｋ−１によって配列され、Ｋメッセージ部分の発生順序を表わす。ｋ番目のメッセージ単位は、０＜ｌk ＜Ｌk −１であるようなインデックスｌk で表わされる生起候補Ｌk を有し、ｌk はｌk の値の増加で生起確率の減少を表わす。

書き込みメッセージのファクシミリ再構成を表示するための手段をシステムが提供すべきであることから、解析ベクトルプロセッサ６０５の出力はジャイロスコープと筆圧データについて演算を行なって書き込み中のペン先の筆跡を再構成する筆跡再構成ジェネレータ６０９の出力も提供する。デジタル化した筆跡は衝突の解決のため図４の入力点Ｅに渡される。幾つかの用途では、元の書き込みメッセージのファクシミリが好適であり、それ以外の用途では文字パターン認識技術に基づく英数字解釈した表現のバックアップを提供する。

ステップ７００は、図４に図示したように多ステップ処理である。ステップ７０１では、メッセージ単位インデックスｋと生起候補インデックスｌk がクリアされる（ｋ＝０、ｌk ＝０）。ステップ７０２ではｋ番目のメッセージ単位のｌk 候補がメモリから取り出されステップ７０３でペン装置により実際のカレンダーのページへ書き込まれたメッセージに対応する位置で、適切なカレンダーブックのページに重ね合される試行メッセージ単位としてグラフィック表示される。この時点で、カレンダーブックユーザはテストステップ７０４において試行メッセージ単位を検証することができる。ステップ７０４からは３種類の分岐出力が提供される。テストステップ７０４で候補試行メッセージ単位が正しいかどうかが不明な場合、待機ループインデックスステップ７０５と、図２の入力Ｂに戻るかステップ７０４に戻るかすることで処理を中断すべきかを決定するための待機ループインデックスを調べるテストステップ７０６とからなる待機ループに入る。

候補試行メッセージ単位が正しいことを適切なペン装置の動き（例えば正しい場合にはチェックマーク、正しくなければ×印を書く真似をするか又は実際に書き込むなど）でユーザがペン装置により示した場合、処理はステップ７１０に進み、待機ループインデックスをリセットし、さらにステップ７１１でインデックスｋをインクリメントし、ｌk を０に設定する。ステップ７１２で全てのメッセージ単位が表示されたかを調べるテストを行ない、表示されていない場合にはステップ７０２に戻る。

テストステップ７０４で候補試行メッセージ単位が正しくないことをユーザが示した場合、処理はステップ７０７に進み、待機ループインデックスをクリアしてさらにステップ７０８に進み生起候補インデックスｌk をインクリメントする。ステップ７０９では、ｌk を調べて全ての候補が終了したかを決定し、違う場合には処理はステップ７０２に戻る。全ての候補が終了した場合、処理は図２の入力Ｂを経由して始めに戻る。

全てのメッセージ単位がステップ７１２で分類されると（画面上のグラフィックメッセージが正しいことを前提として）、処理は２つのイベントが同じ時刻にスケジュールに組み込まれているため何らかの衝突が存在するかを調べる。衝突が存在していない場合、ステップ７１４でカレンダーブック入力を記憶し処理は図２の入力Ｂに進む。衝突が存在する場合、衝突警報を画面表示に提供するか何らかの他の手段例えば聴覚的アラーム（ステップ７１５）を提供し、待機ループでユーザに応答する時間を与える（ステップ７１７、７１８）。時間内に応答がない場合、処理は図２の入力Ｂに戻って中断する。新規メッセージを入力しないことをユーザが示す場合には、ステップ７１６が図２の入力Ｂに戻り処理を中断する。ステップ７１６で新規エントリを入力するとユーザが示した場合には、ステップ７１９でそれまでのメッセージを消去するかを問い合せしてから新規エントリを入力する。ペン装置からの適当な信号によりそれまでのメッセージを上書きするとユーザが示した場合には、処理はステップ７２０に進み、それ以外は書き込みメッセージの両方の態様がステップ７２１で保持される。

図４のステップ７００は、ステップ７０４の手書き文字認識装置からの正しく識別された候補を選択するように設計されている。しかし、変形例として、図３の処理ステップ６０１〜６０４の処理済みデータ出力を任意の書き込みシミュレーションステップ６０９に送信し、処理済みセンサデータを使用して手書き認識処理ステップを使用することなくユーザの書き込みメッセージの複製を生成し、文書への手書きメッセージの複製として表示するステップを設けても良い。また、両方の態様の書き込みメッセージ（メッセージのＡＳＣＩＩ符号化した解釈ともとのメッセージの複製）を将来の参照のために保持しておき、カレンダーブックディスプレイ上に選択的に表示することもできる。このオプションを提供することにより、手書き認識処理は１００％正確である必要がなくなる。

この方法において、電子的に記憶したバージョンのカレンダーブックは、紙面と筆跡が極めて一致している本物の元文書として用いることができる。紙面が多数の変更で管理できなくなった時は、何もエントリがない新規ページ又は全ての最新エントリを有する新規ページであるそのページの新規印刷出力を入手することができる。

元文書が電子的態様で存在しているので、電子的エージェントがこの情報を用いて例えばユーザにアポイントメントを思い出させ、別のエージェントとスケジュールのグループ分けを実行し、一連のスケジュールを検討し、任意のアポイントメントに関する支援情報を提供することにより、ユーザを補助することができる。
Ｂ３．カレンダーブックシステム
図５に図示したカレンダーブックシステムは、次の４種類の主要ハードウェア要素を含む。

（１）前述したようなカレンダーブックのページ１０又は２０
（２）ユーザにデータ入力手段（印刷したデジタルと手書きの両方の）を提供する手動装置・筆記装置としてのペン装置９１
（３）ペン装置９１から受信したデータを電子的に処理記憶し、信号調整ユニット９６と任意のグラフィック画面ディスプレイ９５とを含む親機処理ユニットとしての親機９２
（４）ペン装置９１と親機９２との間の通信チャンネル９３
Ｂ３．１ ペン装置９１
ペン装置９１は、「通常の」ペン、すなわち筆記装置として構成され、図６に図示するように、カレンダーブックのページ１０に書き込むために便利に保持し使用できるようにしてある。インク（又はその他の書き込み媒体）を接触により紙面に提供するためのペン先を提供することに加えて、ペン装置９１は電池電源２５０と、ユーザが書き込んだデータ又は印刷済みのデジタル情報をカレンダーブックのページから解釈するための情報を提供する変換器とを含み、変換器は以下を含む。

位置センサ２１０：回転部材が部材に力が加えられ部材が加速されない限り固定された回転軸の周囲を回転し続けるようなジャイロスコープ（ジャイロ）で慣性基準系が構成される。ジャイロ方向変換器（フリージャイロ）は、自由度２度でペン装置９１の３つの方向、ピッチ、ヨー、ロール（又はｘ、ｙ、ｚ軸）のうちのそれぞれ２つについて出力を提供するために使用する。速度ジャイロは方向速度変換器で角速度（方向変化の時間率）に比例した出力信号を提供する。カレンダーブックのページの平面を表わす２軸の変化速度は、ペン装置９１の使用に関連する動きと相対的位置を解釈するために使用する。加速度計は加速度信号の２重積分により位置センサでも使用する。

ペン装置９１に赤外線（ＩＲ）検出器を装備した場合、所定位置に配置してある２つ又はそれ以上の外部ＩＲ放射走査供給源を使用して、それぞれのＩＲ走査供給源がペン装置９１を照明する角度を測定する三角法技術によりペン装置９１の位置を追跡することができる。これ以外にも赤外線送信機をペン装置９１に装備し所定位置に配置した２つ又はそれ以上の外部走査受信機を用いて三角法でペン装置９１の位置を追跡するために用いることもできる。図７は、それぞれ５０１、５１１、５２１と表記してある３つの外部位置を用いるＩＲ追跡システムの配置を示す。それぞれの位置は、位置５０１、５１１、５２１にそれぞれ関連した指向性走査ビーム（受信又は送信）５０２、５１２、５２２を有する。５３０で表わしてある斜線の領域はビームの交差を表わし予測されるペン装置９１の位置に対応する。

圧力センサ１００：ペン装置９１のペン先の軸に接続してある歪みゲージ（又はピエゾ電気又は復元力変換器）を使用して、ペン軸が接続されたペン装置９１の内壁に取り付けてある可撓性ダイアフラムに取り付けられダイアフラム１１２の中心を直角に通過する４対の直交する歪みゲージにかかる力を測定することによりペン先へ印加される力を記録する。図８は、圧力センサをペン装置９１に取り付ける方法を示す。このような構造の動作は、クレインら（Crane et al.）の米国特許第２９７６５号に説明されている。

図８は、インクタンクを含むペン軸１１４の下端にペン先としてのボールペン先１１６を内蔵するペン装置９１の円筒状の下端部１１０を示す。円筒状の下端部１１０の内壁に取り付けてある非伝導性可撓性ダイアフラム１１２で支持された軸は、ボールペン先１１６に力がかかった時にダイアフラム１１２を変形させる。その結果、ダイアフラム１１２に固定してある歪みゲージ１２１〜１２８がペン先１１６にかかる力に応じてダイアフラム１１２の変形に従い曲げられ（又は圧縮され）る。このようにして、ペン先１１６にかかる力が歪みゲージ１２１〜１２８の抵抗変化に変換される。

歪みゲージは対にしてダイアフラム１１２の対向する側面に取り付けられているので、それぞれの対（１２１、１２２）、（１２３、１２４）、（１２５、１６）、（１２７、１２８）には上下の歪みゲージに対向する力（張力対圧縮力）がかかるようになる。ｘ−ｙ面（カレンダーブックのページの紙面）でペン先１１６に力がかかる場合、対角線方向に対向する対に対向する張力と圧縮力がかかる。しかしｘ−ｙ平面に対して直角に力がかかる場合、全ての対が同様の歪みを受ける。このような特性によって、ＸとＹをｘ−ｙ平面またＺをｘ−ｙ平面に直角とする３つの直交成分（Ｘ，Ｙ，Ｚ）にペン先の力の分離が可能となる。つまり、図９に図示してあるように歪みゲージ１２１〜１２８を接続して歪みゲージ接続を図１０に図示する複数ブリッジ回路に印加することにより、ペン先圧力がそれぞれＸ，Ｙ，Ｚ成分として出力端子１５２、１７４、１６０で分解される。

図１０の歪みゲージブリッジ回路は対雑音性を大きくするためペン装置ユニット内部に取り付けるのが好ましい。

図８では、ペン軸１１４がｚ’軸に平行でｘ’−ｙ’平面に直角に図示してあるが、カレンダーブックのページの書き込み表面（ｘ−ｙ面）は、「自然に」保持したペン装置がペン軸１１４とカレンダーブックのページ表面の間に９０度以下の内角を形成するため、一般にｚ’軸に直角にはならない。共通の原点（ペン先）を共有する２つの座標系（ｘ，ｙ，ｚ）と（ｘ’，ｙ’，ｚ’）の変換は以下のベクトル比例式にしたがって簡単に実現できる。

ここで、［λn 、μn 、γn ］は１≦ｎ≦３で（ｘ，ｙ，ｚ）単位ベクトルの（ｘ’，ｙ’，ｚ’）単位ベクトルに対する方向コサインベクトルを表わす（例えば、「科学技術のための数学ハンドブック」、コーン＆コーン著、マグロウヒルブック社、１９６１年、３．１節〜３．１２節「直交デカルト座標系の変換と回転」を参照のこと）。

カレンダーブックのページ（ｘ−ｙ面）に対するペン軸１１４の角度方向と力の（ｘ’，ｙ’，ｚ’）成分を知ることで、（ｘ，ｙ，ｚ）系での水平と垂直の力が容易に得られる。また、慣性系（ジャイロ）に対するペン装置９１座標の回転も上記変換の使用で対応することができる。

ペン軸１１４の角度回転はペン装置９１が任意のユーザにより使用されるたびに同じになる。これによってシステムは、任意のユーザがページにそれぞれ垂直方向の力を加え、横方向に線を引き、長手方向に線を引く場合のそれぞれで、方向コサイン値の正しい値又は等価に回転方向の正しい値を、垂直方向の力（ｚ）、横方向に垂直方向を加えた力（ｘ、ｚ）、及び長手方向と垂直方向の合力（ｙ、ｚ）のサンプルを取り出すことにより、「学習」することができる。

ペン先応力の座標変換はベクトルの情報内容が直線座標変換で変化しないことから重要ではない。しかし、力の正規化を行なってペン装置がどのように保持されたかとは関係しないようにするためには有用であろう。もっとも、非正規化応力はどのようにペン装置を保持し使用したかに関係するパラメータが付加されることで署名の検証に有用である。

圧力センサ情報はカレンダーブックのページへの手書き入力を行なう時の認識のためと容易にメッセージ認識をするためエントリをメッセージ単位に解析するために有用である。また署名の検証にも有用である。

光学センサ２２０，２４０，２６０：電荷結合素子（ＣＣＤ）光学走査変換器はＣＣＤアレイで包含されるカレンダーブックのページの走査部分からの反射光の変化を読み取るために使用する。変換器を使用して識別するカレンダーブックのページのバーコードを走査する。ＣＣＤアレイはペン装置９１の幾つかの異なる領域に配置されている。

（ａ）ペン装置９１の長さに沿って直線的な側面に取り付けたＣＣＤアレイ２２０はページの大きい部分を走査するために有用である。

（ｂ）ペン装置９１ペン先又はペン先の一側面に取り付けたＣＣＤアレイ２６０は予め印刷してあるマークを認識することにより文書の局部的内容とペン装置９１のペン先の正確な位置を識別するために有用である。

（ｃ）ペン装置９１の後方（すなわち「消しゴム」側）端部に取り付けたＣＣＤアレイ２４０は側面に取り付けたアレイより直感的に受け入れ易い。

位置とは関係なく、ＣＣＤセンサはデジタル的に符号化され予め印刷された情報を読み取り少なくとも初歩的な光学文字認識（ＯＣＲ）を支持できなければならない。ＣＣＤの特定の選択によって関連する照明条件が設定される。

通信チャンネル９３は、ペン装置９１とペン装置センサの信号処理の大半を行なう親機９２を連結するために必要である。ペン装置９１を親機９２に接続する細いリード線を使用する有線通信リンクを用いることもできるが、赤外線又は無線技術のどちらかを使用する無線接続が好適である。この目的で送信機・受信機ユニット２３０がペン装置９１に内蔵されている。

図１１は、ペン装置９１の電子システムのブロック図で、動きに関連した力、書き込みによるペン先の応力、光学的読み取りのための反射光を含むシステムへの物理的入力を左側に示してある。これらの物理的入力は位置センサ２１０、圧力センサ１００、光学センサ２２０、２４０、２６０にそれぞれ印加される。センサ出力はマルチプレクサ（ＭＵＸ）２７５により図示しない通信インタフェースを備えた送信機２３０の変調器へ多重化される。ＭＵＸ２７５は時分割又は周波数分割マルチプレクサのどちらでも良い。ペン装置９１のシステム全体の制御は制御装置２７０によって提供される。
Ｂ３．２ 親機９２
図１２に図示する親機９２は、制御処理ユニット９４と信号処理ユニット９６とから構成されている。信号処理ユニット９６は、ペン装置９１と通信し、センサ信号を受信し、センサ信号を処理してグラフィック画面ディスプレイ９５等のフィードバック装置を駆動する。制御処理ユニット９４は、ＣＰＵ９４０、キーボード９４３、メモリ９４２を含み、グラフィック画面ディスプレイ９５と接続するノートブック型キーボードコンピュータと類似している。さらに、信号調整ユニット９６は、通信リンク９３及びデマルチプレクサ９６２との通信インタフェースである通信チャンネルインタフェース９６１の一部としての送受信機と、インタフェース９６１とアナログ−デジタル変換器からのセンサ信号を予備調整してデジタル化したセンサ関連信号をマルチプレクサ９６７経由でＣＰＵ９４０へ供給して処理するための信号調整電子回路（９６３〜９６６）とを含む。親機９２は、Ｉ／Ｏインタフェース９４４経由で広帯域ネットワーク（ＷＡＮ）とも接続でき、ユーザの文書の電子化文書を取り込み変更することができる。任意の補助プロセッサ９４１（破線で図示してある）を使用して通常ＣＰＵで行なわれるよりも集中的なデジタル信号処理を要求する手書きメッセージ認識アルゴリズムを実行させることができる。

マイクロ電子技術の進歩によって親機の機能の大半をペン装置９１のユニットに組み込むことができるようになる。特に、センサ信号の調整、２進符号化した信号生成、及びバッファリングと一時記憶のためのキャッシュメモリを組み込むことができる。
Ｃ．その他の用途と変形
ペン装置と親機システムを使用するカレンダーブックシステムの上記の説明は手書き入力対話型紙面及び電子化文書取り扱い処理システムの動作を説明するための利便な手段として用いた。

詳細な説明のＡ項に列挙したようなその他の用途のいずれも有することに注意すべきであり、基本的システム設定は同一である。

（ａ）書き込み表面と予め印刷してある情報を有する物理的文書と、
（ｂ）予め印刷してある情報（バーコード）を読み取り、筆圧を検出し、ペン装置の動きを検出し、手書き文字を検出し、及び情報を親機に送信するペン装置と、
（ｃ）ペン装置が生成した情報を受信し、情報を解釈して物理的文書の電子化し記憶してある文書を変更し、解釈した結果をユーザに表示して訂正を受け入れる親機と、
を含む。

したがって、カレンダーブックシステムの説明は一般的に手書き入力対話型紙面及び電子化文書取り扱い処理システムを支持するために充分な媒介物として用いた。特化したアプリケーション・プログラム・パッケージでそれぞれ別個の用途と文書形式について前述したシステムをカスタマイズすることになろう。

ペン装置９１とこれの使用についての前述の説明では文書表面の光学的読み取りとメッセージ書き込みを強調したが、ペン装置９１はこれのジャイロスコープ及び／又は加速度計から文書への物理的書き込みに関連しない非接触動作を表わすための情報も提供できる。システムへの入力のこの態様の例を２つ列挙すると、肯定（正しい）を表わす「チェック」信号と否定（間違い）を表わす「×」信号がある。その他の動作も任意の状況において特殊なメッセージ（例えば、編集において、横方向への揺れる動きがそれまでに書き込まれているメッセージの上で実行された場合には抹消を表わし、書き込まれたメッセージの上ではなくメッセージの下で行なわれた場合には「下線」を表わすことができる等）を表わすように指定することもできる。

色の選択的使用も認証されたそれぞれのユーザのペン装置９１について書き込み開始時にＩＤ符号を生成することにより複数ユーザから識別するために使用することもできる。カラーディスプレイはそれぞれのユーザについて異なる色符号化を用いることでエントリの供給源を容易に識別できよう。

１つ又はそれ以上のボタンを設けてバーコードを読み取ることを表わす等の幾つかの動作を開始することができる。

ペン装置９１は書き込み以外の目的にも使用することができる。例えば、ペン装置９１はポインタとして、又はグラフィックディスプレイ上のスレーブマウス・カーソルを駆動する「マスターマウス」として、又は３次元仮想現実ディスプレイを移動するために使用することができる。ボタンはマウスボタンとして使用できる。

ペン装置９１のさらに別の変形は、三角法技術を使用する位置特定のため複数の（赤外線）送信機の出力を受信するための受信機を有することができる。この変形は黒板への書き込み又はその他の大きな表面への書き込みならびに盤面表示に使用できる。

以上、実施の形態として本発明を説明したが、各種の変更や前述したような変形は、特許請求の範囲に記載されている本発明の広範な趣旨と範囲から逸脱することなく本発明に含まれることが明らかであろう。したがって、明細書及び図面中に記載された実施の形態は、本発明の範囲を制限するものではない。

カレンダーブックのページの様式を示す平面図である。 カレンダーブックシステムの基本的動作の流れを示すフローチャートである。 ペン装置の入力データを解釈するためのステップ６００のフローチャートである。 入力選択ステップ７００のフローチャートである。 カレンダーブックシステムの概略構成を示す模式図である。 ペン装置の構造を示す斜視図である。 赤外線ペン装置方位測定システムのジオメトリを示す模式図である。 ペン装置の歪みゲージトランスデューサの構成を示す斜視図である。 可撓性ダイアフラムの歪みゲージの相互接続を示す回路図である。 歪みゲージトランスデューサデータを処理し、ｘ，ｙ，ｚ軸応力成分を発生するために用いられる３重ブリッジ回路を示す回路図である。 ペン装置のブロック図である。 親機処理ユニットのブロック図である。

符号の説明

１０，２０ 文書
１３ バーコード
９１ 筆記装置
９２ 親機処理ユニット
９３ 通信チャンネル
９６ 通信調整ユニット
１００，２１０ 変換器
１１６ ペン先
２３０，９６１ 通信インタフェース
９４２ メモリ

Claims (4)

1. 人の手による筆記内容を認識しデータ処理する電子文書操作システムであって、
   （ａ）通信チャンネルと、
   （ｂ）多次元空間内での自分自身の動きを検出し、自分の動きを表わす電気信号を生成する少なくとも１つの変換器と、前記通信チャンネル上に前記電気信号を送出するための通信インタフェースとを有する筆記装置と、
   （ｃ）中央処理ユニットとメモリとを有し、前記通信チャンネルを介して前記筆記装置より送信された前記電気信号を通信インタフェースにより受信し、前記中央処理ユニットの制御下で前記メモリに前記電気信号を記憶させ、前記筆記装置の動きを再構成するために前記メモリの記憶内容を取り出せるようにした親機処理ユニットと、
   を備えることを特徴とする電子文書操作システム。
2. 人の手による筆記内容を自動的に解釈し、解釈された筆記内容から対応する電子化文書を符号化し作成する電子文書操作システムであって、
   （ａ）筆記に適した表面を有する文書と、
   （ｂ）通信チャンネルと、
   （ｃ）視認可能な書き込み媒体を使用して前記文書のページ上にデータを書き込むためのペン先を有し、書き込み時の自分自身の物理的動作を表わす電気信号を生成する少なくとも１つの変換器と、前記通信チャンネル上に前記電気信号を送出するための通信インタフェースとを有する筆記装置と、
   （ｄ）前記通信チャンネルとインタフェースして前記筆記装置からの電気信号を受信する通信インタフェースと、前記電気信号を変換する信号調整ユニットと、変換された前記電気信号を記憶するメモリを有して前記筆記装置から受信した前記電気信号に対応して前記メモリ内に記憶された文書の更新制御を行なう中央処理ユニットとを有する親機処理ユニットと、
   を備えることを特徴とする電子文書操作システム。
3. 文書に筆記するためのペン先を有する筆記装置を使用して筆記内容を自動的に解釈し、筆記内容を取り込むことにより対応する電子化文書を更新するシステムであって、前記文書は文書識別のためのコードを含む所定の印刷様式を有し、前記文書を記憶するメモリと、前記筆記装置に作用する物理的な力を検出して筆記内容を認識する手段と、前記文書識別のためのコードを読み取る手段とを含む電子文書操作システムを使用し、
   前記筆記装置を用いて前記コードを読み取るステップと、
   筆記中の前記筆記装置に作用する力を検出するステップと、
   前記検出した力から筆記内容を再構成するステップと、
   前記文書を記憶するメモリへ前記再構成した書き込みデータを重ね合せるステップと、
   を備えることを特徴とする電子文書操作方法。
4. 文書に筆記するためのペン先を有する筆記装置を使用して筆記内容を自動的に解釈し、筆記内容を取り込むことにより対応する電子化文書を更新するシステムであって、前記文書は文書識別のためのコードを含む所定の印刷様式を有し、前記文書を記憶するメモリと、前記筆記装置に作用する物理的な力を検出して筆記内容を認識する手段と、前記文書識別のためのコードを読み取る手段とを含む電子文書操作システムであって、
   前記筆記装置を用いて前記コードを読み取る手段と、
   筆記中の前記筆記装置に作用する力を検出する手段と、
   前記検出した力から筆記内容を再構成する手段と、
   前記文書を記憶するメモリへ前記再構成した書き込みデータを重ね合せる手段と、
   を備えることを特徴とする電子文書操作システム。
   

Images