JP2010108452A - 手書き入力システム - Google Patents

Abstract

【課題】オフラインでもオンラインと同じようにボタン等の操作の必要がなく、手書きならではの筆記しやすさとジェスチャーによる入力支援が行える手書き入力システムを提供する。
【解決手段】電子ペンの位置座標を筆跡データに変換する情報処理装置からなる手書き入力システムであって、電子ペンは、筆跡検出に使用する超音波信号と赤外線信号を送信した後の非筆記時に、電子ペンの動きの軌跡をジェスチャーデータとして超音波信号と赤外線信号を自動的に受信装置に送信し、前記情報処理装置は受信装置から送信された筆跡データとジェスチャーデータを受信し、受信した筆跡データを表示用の表示データに変換し、また、ジェスチャーデータを情報処理装置に予め格納されているジェスチャーの軌跡と比較し、前記受信装置から送信したジェスチャーデータが、予め情報処理装置に格納されているジェスチャーの軌跡に合致した場合に、対応したコマンドを実行する。
【選択図】図６

Description

本発明は、少なくとも、超音波信号を送信する超音波送信機と、赤外線信号を送信する赤外線送信機を備えた電子ペンと、この電子ペンにより送信される超音波信号と赤外線信号を受信し、超音波信号と赤外線信号の到達時間差から電子ペンの位置座標を検出することのできる受信装置を持つ手書き入力システムに関する。

従来、赤外線と超音波を送信する送信機とペン先が筆記状態であることを検知できるセンサを備えた電子ペンと、該電子ペンから送信される赤外線信号を受信する赤外線受信機と、超音波信号を受信する複数の超音波受信機を組み込んだ受信装置を有する手書き入力システムが開発されている。この手書き入力システムにおいては、電子ペンで筆記すると受信装置が、電子ペンから送信された超音波信号と赤外線信号とを複数の受信機により受信し、電子ペンの位置座標を計測し、筆跡データを連続的に検出することにより、書いた文字や図形等を手書き筆跡データとして認識する。また受信装置が前記した手書き筆跡データとして認識した後、受信装置からデータ通信を用いてパソコン等の情報処理装置に筆跡データを転送できる手書き入力システムが開発されている。

パソコンなどの情報処置装置にオンラインで接続して使用する入力装置として、電子ペンの入力モードを切替える切替ボタンを設けたペン入力装置がある。前記ペン入力装置の切替ボタンの押下時に、入力ペンの入力軌跡の形状を少なくとも１種類以上のジェスチャーとしてパソコン等の情報処置装置が認識し、このジェスチャーにより、マウスやキーボードを使用したときと同じように入力が行われたことを示すイベントに変換を行うペン入力装置が知られている。

また情報処置装置と手書き入力装置がオフラインで使用される場合、例えば外出先などで情報処置装置のない場所で手書き入力装置による筆跡データの入力を行う場合には、情報処置装置に接続されているキーボードやマウスなどの入力装置は使用できない。そこで、電子ペンにより筆記された筆跡データを、受信装置と接続したパソコン等の情報処理装置にその筆跡データをデータ通信により情報処理装置に転送する手書き筆跡入力装置で、無地用紙の下に情報処理装置で実行するためのコマンドが割り当てられた機能欄を印刷した下敷きをあてがい、下敷きの機能欄を無地用紙ごしに操作者が透過確認し、電子ペンで当該機能欄に筆跡記入する事により機能欄の位置座標に対応したコマンドを実行できるものが知られている。
特開２００１−１１７６８６号 特開２００５−３０１８６０号

例えば情報処置装置と手書き筆跡入力装置がオフラインで使用される手書き入力システムにおいて、手書きをする用紙に従来の筆跡データとコマンドを入力する場合には、機能欄が印刷された下敷きおよび、当該機能欄上の用紙に筆跡とは別に、目的のコマンドが割り当てられた機能欄にペンで記入しなければならず、用紙に余計な記入をしてしまい、用紙を汚してしまうという課題があった。またこの場合、用紙のサイズ毎に機能欄が印刷された下敷きが必要である。また用紙の一部のエリアが機能欄として使用されるため、機能欄として認識されるエリアに誤って筆記してしまうと筆跡データはコマンド入力として誤って実行されてしまうため機能欄上の用紙には筆跡入力が行えないという課題があった。

また筆跡入力システムにおいては情報処置装置と手書き筆跡入力装置がオフラインでも、情報処置と手書き筆跡入力装置がオンライン状態の場合と同じように筆跡データやジェスチャーを入力できる入力ペンの入力モードを切替える切替ボタンを設けているが、これらの切替ボタンの操作の必要がない手書きならではの筆記しやすい入力支援機能を具備した手書き入力システムが求められていた。

本発明は、超音波信号を発信する超音波発信素子と、トリガ信号を発信する複数個の赤外線発光素子を備え更に先端には筆記を行うための筆記体を有し、筆記を行っているか否かを検出するセンサが設けられた電子ペン、並びに前記電子ペンの超音波発信素子から発信される超音波信号と複数個の赤外線発光素子から発信されるトリガ信号を受信し、前記超音波信号とトリガ信号の到達時間差から、前記電子ペンの位置座標を検出する受信装置、並びに前記受信装置から送信される前記電子ペンの位置座標を筆跡データに変換する情報処理装置からなる手書き入力システムであって、前記電子ペンは、筆跡検出に使用する超音波信号と赤外線信号を送信した後の非筆記時に、前記電子ペンの動きの軌跡をジェスチャーデータとして超音波信号と赤外線信号を自動的に前記受信装置に送信し、前記情報処理装置は受信装置から送信された筆跡データとジェスチャーデータを受信し、受信した筆跡データを表示用の表示データに変換し、また、ジェスチャーデータを情報処理装置に予め格納されているジェスチャーの軌跡と比較し、前記受信装置から送信したジェスチャーデータが、予め情報処理装置に格納されているジェスチャーの軌跡に合致した場合に、対応したコマンドを実行する手書き入力システムを提案するものである。

本発明の手書き入力システムによれば、用紙全域を筆記に使用でき、コマンドを入力するための筆記による用紙を汚すこともなく、オフラインでもオンラインと同じようにボタン等の操作の必要がなく手書きならではの筆記しやすさとジェスチャーによる入力支援が行える手書き入力システムを実現できる。

図１に、本発明の手書き入力システムの一例を示す。電子ペンは、赤外線送信機及び、超音波送信機を持ち、筆記状態であることを検知できる感圧センサ及びそれらを制御する制御回路と電池が内蔵されている。電子ペンのペン先には、ボールペンなどのリフィルが挿入されており、筆記した際に内部の感圧センサが加重により筆記状態か否かの検出を行う。筆記状態が検出されると電子ペンに設けられている制御回路は、赤外線送信機及び超音波送信機に信号を与えて赤外線信号の送信と超音波信号の送信を行わせる。また電子ペンは筆記終了が検出された後の極短い時間に次の筆記が検出されない場合、一定時間ジェスチャー用の赤外線信号と超音波信号の送信を行わせる。受信装置は、電子ペンからの赤外線信号と遅れて到着する超音波信号を受信し、赤外線信号受信から超音波信号受信までの時間差を測定する。測定された時間を距離に換算し、各超音波受信素子の位置関係から３角法を用いて２次元もしくは３次元の電子ペンの位置座標データを算出する。また電子ペンは位置座標を得るために定期的な時間間隔内に赤外線信号を短時間に２回以上送信している。その赤外線信号間の時間間隔から筆跡データとジェスチャーデータを識別する。
受信装置で得られた筆跡データとジェスチャーデータは、受信装置から通信ケーブルを通じて情報処理装置に送られる。受信装置から報処理装置までの通信は、ＵＳＢ通信によって接続されている。情報処理装置では、筆跡入力システム専用に作成された筆跡処理用のプログラムとジェスチャーの入力軌跡の形状を少なくとも１種類以上のコマンドとして認識するプログラムが動作しており、筆跡からテキスト文字への変換認識や、ジェスチャーによるコマンドを実行し、情報処理装置に設けられている記憶装置に保存し、情報表示装置に接続されている画面に表示することができる。

以下、実施例により本発明を更に詳細に説明する。図１〜７は、装置図面が煩雑にならないよう単純な構成を模式的に表現した物である。本発明は、以下の実施例に限定される物ではなく、本発明の技術範囲において、種々の変形例を含むものである。また、各実施例において、同じ構成については同じ参照符号を付けた。

図１は本発明の手書き入力システム構成の一例を示す斜視図である。電子ペン１は、赤外線送信機（図示せず）及び、超音波送信機（図示せず）を持ち、電子ペンの挿入されているボールペンなどのリフィルによって用紙に筆記されたことを検知できる感圧センサ（図示せず）、及びそれらを制御する制御回路（図示せず）と電源として電池（図示せず）が内蔵されている。また電子ペン１から送信された信号は受信装置２に具備されている赤外線受信機（図示せず）と二つの超音波受信機（図示せず）が受信する。受信装置２で得られたデータは通信ケーブル４を通じて情報処理装置５に送られる。

図２に、電子ペン１のブロック図を示す。電子ペン１は、赤外線送信機６及び、超音波送信機７を持ち、筆記状態を検知できる感圧センサ８及びそれらを制御する制御回路９および電子ペン１に電源を供給する電池１０のブロックによって構成される。

赤外線発送信機６は波長が約0.72μmから1mmまでの可視光線より波長が長い電磁波を送信可能な赤外線送信機である。

超音波送信機７は人間の可聴限界である約２０ｋＨｚよりも高い４０ｋHｚ〜１２０ｋHｚの音波または信号を生成し、実施形態ではＬＣ共振回路を駆動させることで約８０ｋHｚの超音波を送信できる。

感圧センサ８は、電子ペン１のペン先にボールペンなどのリフィルが挿入されている。実施例ではリフィルにボールペンを使用して用紙に対して筆記が行われる。感圧センサ８はリフィル先端が用紙に対して筆記している状態（ＯＮ）と筆記していない状態（ＯＦＦ）の圧力を検出し、感圧センサ８は検出したＯＮ／ＯＦＦを制御回路９に送る。また感圧センサ８はリフィル先端が筆記などによって発生する力が加わるような形でリフィル後端の電子ペン１内に配置されている。

電池９の電圧は電池電圧検出回路で監視され、規定された電圧以下になると制御回路１０に警報を出す。

制御回路１０にはマイクロコンピュータ１１が搭載されている。マイクロコンピュータ１１は赤外線送信機６から送信される赤外線信号を、図３に示す信号表の情報１〜情報４から感圧センサ８および電池９の状態に対応して選択し、これを図４に示す赤外線送信信号タイミング図に従い赤外線信号の送信を行う。
またマイクロコンピュータ１１は、電子ペン１の筆記による感圧センサ８のＯＮ状態の検出を受けると、赤外線信号と超音波信号の到達時間差から電子ペンの位置座標の検出ができるように超音波送信機７から超音波信号送信し、赤外線送信機６から図４に示されている赤外線送信信号タイミングに従って赤外線信号を送信させる。
またマイクロコンピュータ１１は、電子ペン１による筆記が行われ、感圧センサ８が筆記によるＯＮ状態から筆記していないＯＦＦ状態への検出を受けた場合、マイクロコンピュータ１１は予め設定された一定時間の間、赤外線信号と超音波信号の到達時間差から電子ペンの位置座標の検出ができるように超音波送信機７から超音波信号送信し、赤外線送信機６から前記赤外線送信信号タイミング図に従って赤外線信号を送信させる。（ここで筆記していない状態で得られる位置座標のデータ（軌跡）をジェスチャーデータと呼ぶこととする。）

次に、図５の受信装置２のブロック図について説明する。受信装置２は赤外線受信機１２と、二つの超音波受信機１３ａ超音波受信機１３ｂ、マイクロコンピュータ１４、メモリ１５と電源１６のブロックから構成されている。

二つの超音波受信機１３ａ超音波受信機１３ｂは、超音波送信機７から送信された超音波信号を受信するものである。電子ペン１が発信する超音波信号を遮られることなく受信できるように、受信装置２に開口部を設けて配置する。また赤外線受信機１２は、電子ペン１の赤外線送信機６から送信された赤外線信号を受信するものである。

マイクロコンピュータ１４は、赤外線受信機１２が最初に受信した一回目の赤外線信号の到達時間と、二つの超音波受信機１３ａ超音波受信機１３ｂにおける超音波信号の到達時間の到達時間差及び音速を用いて電子ペン１から超音波受信機１３ａ超音波受信機１３ｂまでの距離を計算する。電子ペン１の位置座標は、電子ペン１と二つの超音波受信機１３ａ超音波受信機１３ｂの位置を頂点とする三角形を想定して、三辺測量法の理論を用いて計算する。
またマイクロコンピュータ１４は赤外線受信機１２が受信した赤外線信号の一回目の信号と二回目の信号の時間間隔を測定し、図４に示した赤外線送信信号タイミング表から図３に該当する情報１〜情報４を選択し、受信した赤外線信号を識別する。
マイクロコンピュータ１４は前記の計算によって得られた位置座標と前記赤外線信号の信号表により筆跡データとジェスチャーデータに分類することができる。またマイクロコンピュータは筆跡データとジェスチャーデータをメモリ１５に保存する。
電源１６は受信装置２に電源を供給する。

受信装置２で保存された筆跡データとジェスチャーデータは、受信装置２から通信ケーブル４を通じて情報処理装置５に送られる。実施例では、受信装置２から報処理装置５までの通信は、ＵＳＢ通信によって接続されている。パーソナルコンピュータなどの情報処理装置５では、筆跡入力システム専用に作成された筆跡処理用のプログラムとジェスチャーの入力軌跡の形状を少なくとも１種類以上のコマンドとして認識するプログラムが動作しており、筆跡からテキスト文字への変換認識や、ジェスチャーによるコマンドを実行し、情報処理装置５の記憶装置に保存し、画面に表示することができる。

図６は受信装置２から情報処理装置５に転送された筆跡データとジェスチャーデータの流れを表したフローチャートである。電子ペン１による筆記があったら（S101）筆跡データを処理し（S102）続けてジェスチャーが認識された場合は（S103）情報処理装置１０はジェスチャーに対応したコマンドを実行できる。（S104）

図７は紙面へ電子ペン１での筆記とジェスチャーによる軌跡が入力された例である。図６のように手書き入力装置で入力が行われた時。オフラインで筆跡データとジェスチャーデータを保存した後情報処理装置５へ転送した場合、または受信装置２から筆跡データとジェスチャーデータを情報処理装置５にオンラインで転送した場合において図５のフローチャートの流れに沿って処理される。そのとき図６の電子ペン１で筆記したＡＢＣを筆記１７とし、ペンを紙面から浮かせてジェスチャーとして一筆書きで四角形を描いた軌跡１８と、その後１２３と筆記した筆跡１９が行われた場合、受信装置４は筆跡データとジェスチャーデータを情報処理装置５へ転送する。情報処理装置５で筆跡処理とジェスチャー処理用のプログラムが動作しており、その動作している筆跡処理用のプログラムが文字認識を行い、ＡＢＣの筆跡１７をABCの文字として入力する処理（S102）をし、情報処理装置５のジェスチャーの四角形に割り当てられた実行コマンドがスペースを入力するコマンドであった場合、情報処理装置５はジェスチャー軌跡１８を四角形と認識し対応したコマンドとしてABCのあとにスペースを入力する処理（S103）をする。引き続きスペースの後には筆跡処理用のプログラムが文字認識を行い１２３の筆跡１９を１２３の文字として入力する処理（S102）をすることができる。

本実施例の手書き入力システム構成図 本実施例の電子ペンのブロック図 本実施例の信号表 本実施例の赤外線発光信号１タイミング図 本実施例の受信機のブロック図 本実施例のデータ処理のフローチャート 本実施例の手書き文字とジェスチャーの例

符号の説明

１ 電子ペン
２ 受信装置
３ 用紙
４ USBケーブル
５ 情報処理装置
６ 赤外線送信機
７ 超音波送信機
８ 感圧センサ
９ 電池
１０ 制御回路
１１ マイクロコンピュータ
１２ 赤外線受信機
１３ａ 超音波受信機
１３ｂ 超音波受信機
１４ マイクロコンピュータ
１５ メモリ
１６ 電源
１７ 筆跡
１８ ジェスチャー軌跡
１９ 筆跡

Claims (1)

1. 超音波信号を発信する超音波発信素子と、トリガ信号を発信する複数個の赤外線発光素子を備え更に先端には筆記を行うための筆記体を有し、筆記を行っているか否かを検出するセンサが設けられた電子ペン、並びに前記電子ペンの超音波発信素子から発信される超音波信号と複数個の赤外線発光素子から発信されるトリガ信号を受信し、前記超音波信号とトリガ信号の到達時間差から、前記電子ペンの位置座標を検出する受信装置、並びに前記受信装置から送信される前記電子ペンの位置座標を筆跡データに変換する情報処理装置からなる手書き入力システムであって、前記電子ペンは、筆跡検出に使用する超音波信号と赤外線信号を送信した後の非筆記時に、前記電子ペンの動きの軌跡をジェスチャーデータとして超音波信号と赤外線信号を自動的に前記受信装置に送信し、前記情報処理装置は受信装置から送信された筆跡データとジェスチャーデータを受信し、受信した筆跡データを表示用の表示データに変換し、また、ジェスチャーデータを情報処理装置に予め格納されているジェスチャーの軌跡と比較し、前記受信装置から送信したジェスチャーデータが、予め情報処理装置に格納されているジェスチャーの軌跡に合致した場合に、対応したコマンドを実行することを特徴とする手書き入力システム。