JP2009086769A - 筆跡入力システム - Google Patents

Abstract

【課題】筆跡を入力する為に、入力部と表示部を一体化したものでの、自由な操作性を実現する。
【解決手段】利用者が手書きで紙などに筆記可能でその位置座標の取得ができるペンと、ペンの位置座標を検出し座標を計算機に出力する受信装置と、位置座標から筆跡を表示する表示装置をもつ筆跡入力システムにおいて、ペンが最初に押下した位置に対する相対座標を計算し、予め定められたペンの位置座標データ数毎若しくはペンの押下回数毎に、得られたペンの相対座標の表示されている筆跡データの最大値及び最小値から筆跡の字高を決定し、表示装置の表示枠内に収まりかつ適正な大きさで表示できるよう自動的に拡大縮小して表示し、その表示されている筆跡データを他の処理に転送し、表示枠内の筆跡の表示を消去する筆跡入力システム。
【選択図】図１

Description

本発明は、少なくとも、利用者が手書きで筆跡を入力するためのペンと、ペンの位置座標を検出し、座標を出力する受信装置と、その座標出力を用いて筆跡を表示する表示装置をもつ計算機を備えた筆跡入力システムに関する。

従来、液晶装置などにペンの座標入力の為の受信装置等を備え、入力部と表示部を一体とし、手書き入力を、入力部の所定の枠内で行うことにより、手書きの筆跡データを保存及び表示したり、その手書きの筆跡データを受信装置及び液晶装置に接続した計算機内の文字認識プログラムにて文字認識を行う筆跡入力システムが知られている。これらは、パーソナルコンピュータの液晶装置にペンの入力部を備えたり、小型のポケットコンピュータ等に広く採用され利用されている。

特開平９−６９１９号公報（段落１〜段落５、図２、図１１）

特許文献に於いては、入力枠を予め定めた場所に設けるのでなく、逐次入力され文字認識を通して出力されたテキストの近傍に入力枠を必要最低限設けて入力枠の面積を多くとる方法が記載されている。しかし、このように入力部と表示部を一体化したものでは、利用者が液晶装置に表示された文字記入枠内へ直接入力することが必要となり、入力される手書き文字の大きさが、液晶装置に表示された文字記入枠に収まるように入力しなくてはならなかった。また、液晶装置に取り付けられた入力装置に入力することは、実際に紙とペンを用いて筆記を行う感覚とは異なり、ペンにスタイラスなど先端に筆記を行わない摩擦の少ない樹脂などを配置し、液晶面などにペンを滑らせながら入力する為、筆記感が紙とペンによる手書きを行うこととは異なり、利用者が自然且つ高速にペンによる入力を行うことができなかった。また、液晶面にペンの入力枠を伴う場合、入力装置の重量増加が伴うため、自由な位置に配置して利用者が入力を行ったり、液晶表示の視野角度により、自由な角度での利用ができなかった。

本発明は、上記問題を解決するために成したもので、手書きで紙に筆記可能な筆記体を有するペンであり且つ、ペンの位置座標の取得ができるペンと、ペンから位置座標取得のための信号を受信し、ペンの位置座標を検出し座標を計算機に出力する受信装置と、受信装置からのペンの位置座標から、筆跡を表示する表示装置をもつ計算機を備えた筆跡入力システムにおいて、ペンが最初に押下した位置座標を基準とする相対座標を計算し、予め定められたペンの位置座標データ数毎若しくは、予め定められたペンの押下回数毎に、得られたペンの座標値の相対座標の表示されている筆跡データの最大値及び最小値から求められる座標の範囲を計算することで筆跡の字高を決定し、表示装置に設けられた筆跡の表示枠内に収まりかつ適正な大きさで表示できるようペンの相対座標値を表示枠座標に自動的に拡大縮小して表示し、その表示されている筆跡データを他の処理に転送し、表示枠内の筆跡の表示を消去する筆跡入力システムを提案するものである。

本発明では、前記筆跡システムを構築することにより、利用者は、ペンの位置座標の出力範囲内であれば、筆記位置や文字の高さを意識することなく従来通りの紙にペンを用いて筆記することで、計算機に筆記中の筆跡を入力することができ、表示装置に現在筆記を行っている文字を随時表示することにより、正しく筆跡が入力されていることを確認することができる。

ペンの座標を取得する為には、ペンに超音波発信機を内蔵し、受信装置に超音波を送信し、その超音波を受信装置にて受信することにより、超音波の到達時間によってペンの位置座標を取得する超音波方式や、ペンの入力範囲内に静電容量検出用の導電パターンを配置し、ペンに容量変化の為の回路を設けペンの位置座標を取得する静電容量方式や、ペンの入力範囲内に抵抗膜を配置し、ペン筆記によるペン先の圧力を検知して抵抗値の変化によりペンの位置を検出する抵抗膜方式などが存在する。超音波方式や静電容量方式においては、ペンに発信用の回路を内蔵する必要がある。

ペンには、筆記可能なボールペンのリフィル等の筆記具が取り付けられており、ペンが用紙などに押下された場合、筆記具内のインキなどにより用紙に筆記を行うことができる。
発振回路を内蔵するペンは、ペン内部に筆記具と接続された圧力検出のセンサを内蔵することで用紙にペン先が押下されたことを検出し、受信装置にペンの位置座標を検出するための信号を発信する。また、ペン内部の発振回路は、電源を必要とするためペン内部に内蔵された電池もしくは、電磁誘導方式もしくは、ケーブル接続によって電源が供給される。ペンは、インキ切れなど際、筆記具を交換できる機能が必要となる。

受信装置には、座標取得のための方式に応じた受信回路が内蔵されている。受信回路では、方式による位置取得方法によって、ペンの入力範囲内のあらかじめ定められた位置を原点とし予め定められた分解能／品位の数値をＸＹ２次元の絶対座標値として取得される。
取得される位置座標の品位は、一般的な筆記の５ｍｍ程度の文字を取得するため、５０dpi以上の品位で出力されることが望ましい。また、ペンが紙に押下されたり（筆記状態）、ペンが紙面から離れた状態（非筆記状態）になった場合のペンの状態情報なども同時に出力される。また、座標出力の時間間隔は、筆跡を失わないために毎秒３０回以上が望まれる。

受信装置と計算機は、通信接続されている。接続方式は、ＵＳＢやＲＳ−２３２Ｃ等の有線ケーブルによる通信や無線ＬＡＮ及びＢＬＵＥＴＯＯＴＨ等の無線による通信を用いることができる。筆記を行ってから筆跡のデータが画面に表示されるまでの時間を少なくする為、３２ｋｂｐｓ以上の通信速度が要求される。

計算機は、表示装置と接続されていて、ペンからの筆記が表示できるようにドット表示によるグラフィック表示が可能となっている。計算機は、複数のアプリケーションプログラムが同時に起動して表示装置に複数表示されることが望ましい。表示装置に表示される個々のアプリケーションプログラムは、任意の位置に表示可能で表示サイズは、自由に変更できることと表示／非表示を切り替えられることが必要となる。

計算機内では、受信装置から送られるペンの位置座標を受け取る通信部があり、予め起動されているペンの座標入力プログラムがペンの位置座標を計算機内の記憶装置に記憶する。ペンからの位置座標が表示された場合に記憶された位置座標は、予め起動している筆跡表示のプログラムに送られ、筆跡で得られたＸＹ座標値データを表示領域の座標値に変換し、ペンからの筆記状態から非筆記状態までの座標値を連続線として表示装置内のグラフィックメモリに連続して予め定めた線幅にてドット群として書き込み、入力されたＸＹ座標値が筆跡の線として表示される。点間の線の結び方は、スプライン補間などの補間処理をペンの座標値に行った場合、連続線が滑らかに表示されるため表示品質を上げることができる。また、ノイズなどによって明らかに領域外のデータや前点位置との差分が大きな場合などの異常データがあった場合、表示前にデータを自動的に廃棄することが望ましい。

また、計算機内で動作している筆跡表示用のプログラムでは、利用者が入力した直前に入力した、筆跡が表示装置のプログラムの表示枠内に表示される。これは、用紙に記入したデータをすべて表示を行うと、表示装置の解像度やサイズによって広範囲な用紙の全データを表示することなり、直前に入力された筆跡が小さく表示されるため、筆跡の細部を確認することができない。また、表示装置には、他のアプリケーションプログラムも動作しており、筆跡の表示のために、表示装置のすべての画面領域を使用することができない。その為、直前に入力された筆跡を画面領域を多く使用することなく表示する必要がある。この為、表示装置の画面領域の一部に筆跡の表示領域を設け、直前に入力された筆跡を表示することが必要となる。しかし、ペンの座標入力範囲内に自由に筆記が可能な筆跡入力システムにおいて、ペンの座標位置から、表示領域への座標値の拡大率を一定にすると大きなサイズにて文字を記入した場合、表示枠の範囲を超えてる為、文字の一部が表示されたり、小さなサイズの文字を記入した際には、表示枠に余白を残して小さく表示されるため、筆跡の確認が困難となっていた。

本発明では、あらかじめ基準となるペンの位置座標から表示枠への座標値の変換の際に用いる拡大率を定めている。これは、一般的に筆記する際の文字高さを7mm程度と定め、ペンにて7mm程度の文字高さの文字が記入された際に、表示枠高さに収まるように拡大率を初期値として定めた。表示枠の高さは、利用者の操作により自由に変更できるため、拡大率は、表示枠の高さを変更した場合でも変化する。しかし、利用者が7mm以上の文字高さの字を記入した際に、表示枠外に表示する点が存在した場合、筆跡の一部が表示されなくなる。これを避けるため本発明では、表示枠の拡大率見直しを予め設定値として保存された設定値を利用して筆跡の座標値の数が設定値を上回った場合、そこまで入力された座標のＹ値の最大値から最小値を差し引き文字の高さを計算し、表示枠幅との比率から拡大率を再決定し、表示されている筆跡の表示を新しい拡大率にて再表示を行う。拡大率を見直す間隔を規定する設定値は、ペン押下からの経過時間であってもよい。表示枠の拡大率を毎回変更すると筆跡の入力の際、一般的に最初の数ストロークだけでは、本来の文字の高さを決めるＹ値の最大値を示す筆跡まで座標データの出力がなされていないため、頻繁に拡大率の変更が起こり、頻繁な表示枠の再描画による利用者が筆跡の視認がしにくくなったり、計算機の処理の負荷が高くなるためである。

しかし、利用者が筆跡を行っているとまれに前記の拡大率では、表示枠外が表示する点が発生する場合がある。これは、例えば文字高さが小さい文字「一」などを連続した後に記入して文字高さの高い文字を続けて記入した場合など表示枠の拡大率が不適切となる。これを避けるためには、前記拡大率決定後に表示枠外が表示する点が発生した場合に再度拡大率の計算を行い再描画することもできる。また、例えば文字高さが予め設定指定最小の文字高さより低い文字が入力された場合、文字高さとしてペン押下されたＸ値から紙面から離れた状態のＸ値を差し引き文字幅を求め、それを代用の文字高さとして利用することもできる。

表示されている位置座標データは、利用者が筆跡の入力を確認後、消去を行う必要がある。消去を行うタイミングは、利用者が表示の消去ボタンを押してもよいし、ペンが紙面から離れた状態が予め設定された設定時間経過した場合、自動的に表示されている筆跡を画面から消去してもよい。

得られたペンの位置座標データは、計算機上で動作している他の処理に送られる。ペンの位置座標データを他の処理に送る間隔は、表示を行う際に随時データを送信してもよいし、前記表示されている筆跡の消去の間隔で送信してもよい。このペンの位置座標データを受け取る他の処理としては、ペンの位置座標データを計算機内の補助記憶装置へ保管する処理であったり、ペンの位置座標データを筆跡データを文字コードに変換する文字認識処理であってもよい。

例えば、得られたペンの位置座標データを利用して文字認識処理を行う場合、計算機上で文字認識プログラムを起動させ、逐次文字認識処理を行うことで認識結果として文字コードを出力することで、テキストデータとして出力し、他のアプリケーションでも利用することもできる。この際、ペンの位置データは、連続して送られる為、１文字の入力途中に文字認識プログラムにペンの位置座標データを送ると誤認識の原因となる。これを防ぐためには、文字間隔から文字の区切りを判別してデータを送信してもよいし、ペンが紙面より離れてから予め定めて記憶している設定値の時間経過した場合、文字の記入途中ではないと判断し、文字認識プログラムにペンの座標データを送ってもよい。

また、例えば筆跡が横書きに文字記入が行われる場合、文字の記入は、左から右に行われ、次の行に記載する際にペンの位置座標を大きく右側から左側に変化する。このペンの位置座標のＸ値が予め定めた既定値より、大きく変化した場合、ペンで記入している行が変化したと判断し、前記文字認識プログラムの出力する文字コードに改行コードを挿入することによって筆跡の改行と同様に文字コードによる改行を行うことができる。

以下、実施例により本発明を更に詳細に説明する。
図１〜２は、装置図面が煩雑にならないよう構成を模式的に表現したものである。本発明は、以下の実施例に限定されるものでなく、本発明の技術範囲において、種々の変形例を含むものである。また、各実施例において、同じ構成については同じ参照符号を付けた。

図１に、本発明の筆跡入力システムの一例を示す。ペン１は、複数個の赤外線発光素子２及び、超音波発信素子３を持ち、筆記状態であることを検知できるセンサ及びそれらを制御する回路基板（図示せず）が内蔵されている。ペン１のペン先には、ボールペンなどのリフィルが挿入されており、筆記した際に内部のセンサが加重により筆記状態の検出を行う。筆記状態が検出されるとペン１の回路は、赤外線発生素子２及び超音波発信素子３に定期的に信号を与えて赤外線の発光と超音波の発信を同時に行わせる。受信装置４は、ペン１からの赤外線発光を赤外線受光素子６にて受信し、内蔵されたタイマをスタートさせる。遅れて到着する超音波を複数の超音波受信素子５が受信し、赤外線信号受信から超音波信号受信までの時間を測定する。測定された各時間を距離に換算し、各超音波受信素子の位置関係から３角法を用いて２次元のペンの位置座標データに変換する。得られた位置座標は、受信装置４から通信ケーブル９を通じて計算機１０に送られる。実施例では、受信装置４から計算機１０までの通信は、ＵＳＢ通信によって接続されている。パーソナルコンピュータなどの計算機１０では、筆跡入力システム専用に作成された筆跡処理用のプログラムが動作しており、ペンの位置座標データを受信している。表示装置１１は、計算機１０に接続され筆跡の表示や他のアプリケーションプログラムの表示が行われている。

図２に、本発明の計算機における筆跡の表示の為のプログラムのフローチャート図の一例を示す。まず、表示枠に何も表示されていない状態からペンが紙面に押下されペンの位置座標が受信装置４に受信され通信により計算機１０にペンの位置座標が入力されるまで待機する判断をステップ１で行う。次にステップ２では、ペンの位置座標が入力され最初の点を相対座標の原点としてペンの位置座標を記憶し保管する。次にステップ３では、表示の為の拡大率を予め定めて記憶してある初期値に設定する。ステップ４では、次のペンの位置座標が出力されているかを判断し、ステップ５にてペンの位置座標を記憶する。ステップ６では、ステップ５にて記憶したペンの位置座標からステップ２にて記憶したペンの位置座標を引くことで、最初のペンの押下位置を原点とする相対座標値をステップ６にて計算する。ステップ７では、記憶されている拡大率をステップ６にて計算した相対座標値に乗じ、これに表示枠の表示原点位置をオフセット値として足す。オフセット値を足すのは、筆跡が必ず右上点から始まるとは限らないため、筆跡の原点より、ＸＹ座標とも―側への筆記が考えられるためである。ステップ８では、ステップ７の前回と今回の表示位置座標値の２点間を連続線となるように表示装置１１の画面のメモリに設定し描画する。これによって、筆跡が表示装置１１に表示される。

次に表示の拡大率を変更するステップを示す。ステップ４にて、ペンが紙に押下されていないと判断した場合、ステップ９にて表示されている筆跡の消去を行うかをペンが紙面から離れてからの経過時間により判断し、表示されている筆跡の消去がされない場合、
ステップ１０にてペンの押下から紙面から離れた回数をストローク数として記憶し、ストローク数が予め定めたストローク数を上回った場合、ステップ６にて記憶した相対座標値のＸＹ座標値それぞれの最大値と最小値を求め、相対座標値の幅と高さを求める。次に表示枠の幅と高さから相対座標値の幅と高さを割ることで新たな拡大率を決定する。ステップ１２では、ステップ１１にて変更された新たな拡大率にて表示されている筆跡の表示位置座標値の再計算を行う。ステップ１３では、以前の筆跡を消去してステップ１２にて求めた新たな拡大率に基づく筆跡の再描画を行う。

次に表示の消去を行う変更するステップを示す。ステップ９にてペンが紙面から離れて予め定めて設定時間以上経過した場合、利用者が入力を中断若しくは、文字の記入を終了したと判断し、ステップ１４にて表示中の筆跡を消去する。計算機１０では、予めペンの位置データから文字コードに変換する文字認識処理を行うプログラムが起動しており、ステップ１５にてペンの位置座標のデータを次の処理である文字認識処理に送信する。

図３に、本発明の表示枠の図を示す。この表示枠２７は、利用者が横書きにて文字を記入した際の例を示す。表示枠が消去状態にある場合、最初にペンを押下した表示点３０は、予め定めた設定値である表示枠座標のオフセット量Ｘ３１及びオフセット量Ｙ３２の位置に描画される。続いて、入力されるペンの位置座標は、相対座標値として連続に描画される。オフセット量Ｘ３１は、利用者が入力する文字により、最初にペンを押下した表示点３０より左側に筆記される場合があるために、表示のための余白を作る為である。また、オフセット量Ｙ３２は、表示枠の中心付近からやや上方の位置に設定されている。これは、経験値上、文字の入力は、上方から下方に書かれることが多いためであるが、筆記体の英小文字「ｌ」（エル）や書き順の値間違いなど下方から筆跡を書き始めることがあるため、表示枠高さ２８の中心付近に設定することが望ましい。

また、表示枠高さ２８や表示枠幅２９は、利用者が自由に設定することができる。この表示枠高さ２８や表示枠幅２９が変更された際、前述の拡大率を変更するステップを行うことで筆跡の表示を追従して描画することができる。

本実施例の筆跡入力システム構成図 本発明の計算機における筆跡の表示の為のプログラムのフローチャート 本発明の表示枠の図

符号の説明

１ ペン
２ 赤外線発光素子
３ 超音波発信素子
４ 受信装置
５ 超音波受信素子
６ 赤外線受光素子
７ ボード
８ 用紙
９ 通信ケーブル
１０ 計算機
１１ 表示装置
１２ ステップ１
１３ ステップ２
１４ ステップ３
１５ ステップ４
１６ ステップ５
１７ ステップ６
１８ ステップ７
１９ ステップ８
２０ ステップ９
２１ ステップ１０
２２ ステップ１１
２３ ステップ１２
２４ ステップ１３
２５ ステップ１４
２６ ステップ１５
２７ 表示枠
２８ 表示枠高さ
２９ 表示枠幅
３０ 最初にペンを押下した表示位置座標
３１ オフセット量Ｘ
３２ オフセット量Ｙ

Claims (3)

1. 手書きで紙に筆記可能な筆記体を有するペンであり且つ、ペンの位置座標の取得ができるペンと、ペンから位置座標取得のための信号を受信し、ペンの位置座標を検出し座標を計算機に出力する受信装置と、受信装置からのペンの位置座標から、筆跡を表示する表示装置をもつ計算機を備えた筆跡入力システムにおいて、ペンが最初に押下した位置座標を基準とする相対座標を計算し、予め定められたペンの位置座標データ数毎若しくは、予め定められたペンの押下回数毎に、得られたペンの座標値の相対座標の表示されている筆跡データの最大値及び最小値から求められる座標の範囲を計算することで筆跡の字高を決定し、表示装置に設けられた筆跡の表示枠内に収まりかつ適正な大きさで表示できるようペンの相対座標値を表示枠座標に自動的に拡大縮小して表示し、その表示されている筆跡データを他の処理に転送し、表示枠内の筆跡の表示を消去することを特徴とする筆跡入力システム。
2. 請求項１記載の筆跡入力システムに於いて、計算機内に筆跡の座標データから文字コードに変換する文字認識プログラムを実行し、ペンが筆記面から離れた状態を検知し、受信装置若しくは、表示装置に内蔵されたタイマーを起動して、ペンが筆記面から離れた状態を予め定められた時間経過した場合、入力された筆跡の座標データを文字認識プログラムに送信する筆跡入力システム。
3. 請求項１記載の筆跡入力システムに於いて、計算機内に筆跡の座標データから文字コードに変換する文字認識プログラムを実行し、ペンの筆跡の座標データが予め定めたＸ座標値及びＹ座標値を超える場合、改行がなされたと判断し、文字コードに改行コードを自動的に付加する筆跡入力システム。