JP2010128891A - 手書き入力システム - Google Patents

Abstract

【課題】用紙を汚すことなく、手書きならではの筆記しやすさと入力支援機能を具備した手書き入力システムを提供する。
【解決手段】筆跡データとジェスチャーデータを記録・認識し、筆跡データによって電子ペンが描いた筆跡が検出され、また、ジェスチャーデータにより情報処理部に予め格納されているジェスチャーの入力軌跡に合致した場合に対応したコマンド入力ができる、手書きならではの筆記しやすさと入力支援機能を具備した手書き入力システム。
【選択図】図１

Description

本発明は、少なくとも、超音波信号を送信する超音波送信機と、赤外線信号を送信する赤外線送信機を備えた電子ペンと、この電子ペンにより送信される超音波信号と赤外線信号を受信し、超音波信号と赤外線信号の到達時間差から電子ペンの位置座標を検出する受信装置を持つ手書き入力システムに関する。

従来、赤外線と超音波を送信する送信機とペン先が筆記状態であることを検知するセンサを備えた電子ペンと、該電子ペンから送信される赤外線信号を受信する赤外線受信機と、超音波信号を受信する複数の超音波受信機を組み込んだ受信装置を有する手書き入力システムが開発されている。この手書き入力システムにおいては、電子ペンで筆記すると受信装置が、電子ペンから送信された超音波信号と赤外線信号とを複数の受信機により受信し、電子ペンの位置座標を計測し、筆跡データを連続的に検出することにより、書いた文字や図形等を手書き筆跡データとして認識する。また受信装置が前記した手書き筆跡データとして認識した後、受信装置からデータ通信を用いてパソコン等の情報処理装置に筆跡データを転送できる手書き入力システムが開発されている。

パソコンなどの情報処置装置にオンラインで接続して使用する入力装置として、電子ペンの入力モードを切替える切替ボタンを設けたペン入力装置がある。前記ペン入力装置の切替ボタンの押下時に、入力ペンの入力軌跡の形状を少なくとも１種類以上のジェスチャーとしてパソコン等の情報処置装置が認識し、このジェスチャーにより、マウスやキーボードを使用したときと同じように入力が行われたことを示すイベントに変換を行うペン入力装置が知られている。

また情報処置装置と手書き入力装置がオフラインで使用される場合、例えば外出先などで情報処置装置のない場所で手書き入力装置による筆跡データの入力を行う場合には、情報処置装置に接続されているキーボードやマウスなどの入力装置は使用できない。そこで、電子ペンにより筆記された筆跡データを、受信装置と接続したパソコン等の情報処理装置にその筆跡データをデータ通信により情報処理装置に転送する手書き筆跡入力装置で、無地用紙の下に情報処理装置で実行するためのコマンドが割り当てられた機能欄（データのセーブや次ページへの移動や前ページへの移動等。）を印刷した下敷きをあてがい、下敷きの機能欄を無地用紙ごしに操作者が透過確認し、電子ペンで当該機能欄に筆跡記入する事により機能欄の位置座標に対応したコマンドを実行するものが知られている。
特開２００１−１１７６８６号 特開２００５−３０１８６０号

例えば情報処置装置と手書き筆跡入力装置がオフラインで使用される手書き入力システムにおいて、手書きをする用紙に従来の筆跡データとコマンドを入力する場合には、機能欄が印刷された下敷きおよび、当該機能欄上の用紙に筆跡とは別に、目的のコマンドが割り当てられた機能欄にペンで記入しなければならず、用紙に余計な記入をしてしまい、用紙を汚してしまうという課題があった。またこの場合、用紙のサイズ毎に機能欄が印刷された下敷きが必要である。また用紙の一部のエリアが機能欄として使用されるため、機能欄として認識されるエリアに誤って筆記してしまうと筆跡データはコマンド入力として誤って実行されてしまうため機能欄上の用紙には筆跡入力が行えないという課題があった。

また筆跡入力システムにおいては情報処置装置と手書き筆跡入力装置がオフラインでも、情報処理装置と手書き筆跡入力装置がオンライン状態の場合と同じように筆跡データやジェスチャーを入力できる入力ペンの入力モードを切替える切替ボタンを設けているが、これらの切替ボタンの操作の必要がない手書きならではの筆記しやすい入力支援機能を具備した手書き入力システムが求められていた。

本発明は、超音波信号を発信する超音波発信素子と、トリガ信号を発信する複数個の赤外線発光素子を備えた電子ペンを使用する手書き入力システムであり、該電子ペンの先端には筆記を行うための筆記体と、前記電子ペンが筆記を行っているか否かを検出するセンサを設け、電子ペンから発せられる超音波信号とトリガ信号である赤外線信号を受信装置に送信し、前記両信号の到達時間差から、前記電子ペンの位置座標を検出する手書き入力システムであって、前記電子ペンは、筆跡検出に使用する超音波信号と赤外線信号を受信装置に送信した後の非筆記時に、前記電子ペンの動きの軌跡をジェスチャーデータとして超音波信号と赤外線信号を前記受信装置に送信し、前記受信装置内のデータ処理用の情報処理部にて、前記筆跡データとジェスチャーデータを記録・認識し、筆跡データによって前記電子ペンが描いた筆跡が検出され、また、ジェスチャーデータにより前記情報処理部に予め格納されているジェスチャーの入力軌跡を認識するプログラムにより、ジェスチャーが、予め情報処理部に格納されているジェスチャーの入力軌跡に合致した場合に対応したコマンドを実行する手書き入力システムを提案するものである。

本発明の手書き入力システムによれば、用紙全域を筆記に使用でき、コマンドを入力するための筆記による用紙を汚すこともなく、ボタン等の操作の必要がないので、手書きならではの筆記しやすさとジェスチャーによる入力支援が行える手書き入力システムを実現できる。

図１に、本発明の手書き入力システム構成図の一例を示す。本システムは電子ペン１と受信装置２と用紙３で構成される。
図３に電子ペンのブロック図を示す。電子ペン１は、赤外線送信機６及び、超音波送信機７を持ち、筆記状態であることを検知できる感圧センサ８及びそれらを制御する制御部１０と電池９が内蔵されている。電子ペン１のペン先には、ボールペンなどのリフィルが挿入されており、筆記した際に内部の感圧センサ８が加重により筆記状態か否かの検出を行う。筆記状態が検出されると電子ペン１に設けられている制御部１０は、赤外線送信機６及び超音波送信機７に信号を与えて赤外線信号の送信と超音波信号の送信を行う。また電子ペン１は筆記状態の終了が検出された後、次の筆記状態が検出されるまでの短い時間の間、一定時間（１０秒から１分の間。）ジェスチャー用の赤外線信号と超音波信号の送信を行う。受信装置２は、電子ペン１からの赤外線信号と遅れて到着する超音波信号を受信し、赤外線信号受信から超音波信号受信までの時間差を測定する。測定された時間を距離に換算し、各超音波受信素子の位置関係から３角法を用いて２次元の電子ペン１の位置座標データを算出する。また電子ペン１は位置座標を得るために定期的な時間間隔内に赤外線信号を短時間に２回以上送信している。その赤外線信号間の時間間隔から筆跡データとその筆圧そしてジェスチャーデータを識別する。
受信装置２で得られた筆跡データとジェスチャーデータは、受信装置内の情報処理部に送られる。情報処理部では、筆跡入力システム専用に作成された筆跡処理用のプログラムとジェスチャーの入力軌跡の形状を少なくとも１種類以上のコマンドとして認識するプログラムが動作しており、筆跡データの保管や、ジェスチャーによるコマンドを実行し、受信装置２に設けられている記憶部１４（図６参照）に保存し、状態表示部１５に表示することができる。また、この記憶した情報を図２に示すように、手書き入力システムをＵＳＢケーブル４にてパソコン５等に接続し、パソコン５上で筆跡データからテキスト文字への文字認識やワードやエクセルへの情報の伝達を行うことができる。

以下、実施例により本発明を更に詳細に説明する。図１〜８は、装置図面が煩雑にならないよう単純な構成を模式的に表現した物である。本発明は、以下の実施例に限定される物ではなく、本発明の技術範囲において、種々の変形例を含むものである。また、各実施例において、同じ構成については同じ参照符号を付けた。

図１は本発明の手書き入力システム構成の一例を示す斜視図である。電子ペン１は、赤外線送信機６（図３参照）及び、超音波送信機７を持ち、電子ペン１に挿入されているボールペンなどのリフィルによって用紙に筆記されたことを検知できる感圧センサ８、及びそれらを制御する制御部１０と電源として電池９が内蔵されている。また電子ペン１から送信された信号は受信装置２に具備されている赤外線受信機１２（図６参照）と二つの超音波受信機１３a、１３bが受信する。受信装置２で得られたデータは、処理後ケーブル等（図示せず）で接続されたパソコン（図示せず）に送られる。

赤外線発送信機６は波長が約0.72μmから1mmまでの可視光線より波長が長い電磁波を送信可能な赤外線送信機である。

超音波送信機７は人間の可聴限界である約２０ｋＨｚよりも高い４０ｋHｚ〜１２０ｋHｚの超音波信号を生成し、実施形態ではＬＣ共振回路を駆動させることで約８０ｋHｚの超音波を送信できる。

感圧センサ８は、電子ペン１のペン先にボールペンなどのリフィルが挿入され、筆圧を計測する。実施例ではリフィルにボールペンを使用して用紙に対して筆記が行われ、感圧センサ８はリフィル先端が用紙に対して筆記している状態（ＯＮ）と筆記していない状態（ＯＦＦ）の圧力を検出し、感圧センサ８は検出したＯＮ／ＯＦＦ状態と筆圧を制御部１０に送る。また感圧センサ８はリフィル先端が筆記などによって発生する力が加わるような形でリフィル後端の図１の電子ペン１内に配置されている。

電池９は、図３の電子ペン１内の回路全てに電力を供給する。

制御部１０にはマイクロコンピュータが搭載されている。そのマイクロコンピュータとプログラムにより制御部１０は赤外線送信機６から送信される赤外線信号を、図５に示す信号表の情報１と情報２から感圧センサ８の状態に対応して選択し、これを図５に示す赤外線送信信号タイミング図に従い赤外線信号の送信を行う。
制御部１０は、電子ペン１の筆記による感圧センサ８のＯＮ状態の検出を受けると、赤外線信号と超音波信号の到達時間差から電子ペンの位置座標の検出ができるように超音波送信機７から超音波信号送信し、赤外線送信機６から赤外線信号を送信する。また制御部１０は感圧センサ８の抵抗を測定し筆圧を検出する。その検出された筆圧に対応したタイミングで１ｍｓｅｃから３ｍｓｅｃの間で再度、赤外線送信機６から赤外線信号を送信する。これは、図５に示した赤外線送信信号タイミング図の感圧センサＯＮのタイミングで赤外線信号の送信を行う。これを１０ｍｓｅｃごとに繰返す。
また制御部１０は、電子ペン１による筆記が行われ、感圧センサ８が筆記によるＯＮ状態から筆記していないＯＦＦ状態への検出を受けた場合、制御部１０は予め設定された一定時間（１０秒から６０秒）の間、１０ｍｓｅｃごとに赤外線信号と超音波信号の到達時間差から電子ペンの位置座標の検出ができるように超音波送信機７から超音波信号送信し、赤外線送信機６から図５に示した赤外線送信信号タイミング図の感圧センサＯＮ→ＯＦＦに従って赤外線信号を５ｍｓｅｃ後に赤外線信号の送信を行う。（ここで筆記していない状態で得られる位置座標のデータ（軌跡）をジェスチャーデータと呼ぶこととする。

次に、図６の受信装置２のブロック図について説明する。受信装置２は赤外線受信機１２、二つの超音波受信機１３ａ超音波受信機１３ｂ、情報処理部１１、記憶部１４、状態表示部１５、電源１６、ＵＳＢ Ｉ．Ｆ．のブロックから構成されている。

二つの超音波受信機１３ａ超音波受信機１３ｂは、電子ペン側の超音波送信機７から送信された超音波信号を受信するものである。電子ペン１が発信する超音波信号を遮られることなく受信できるように、受信装置２に開口部を設けて配置する。また赤外線受信機１２は、電子ペン１の赤外線送信機６から送信された赤外線信号を受信するものである。電子ペン１が発信する赤外線信号を遮られることなく受信できるように、受信装置２に赤外線透過部を設けて配置する。

情報処理部１１は、赤外線受信機１２が最初に受信した一回目の赤外線信号の到達時間と、二つの超音波受信機１３ａ超音波受信機１３ｂにおける超音波信号の到達時間の到達時間差及び音速を用いて電子ペン１から超音波受信機１３ａ超音波受信機１３ｂまでの距離を計算する。電子ペン１の位置座標は、電子ペン１と二つの超音波受信機１３ａ超音波受信機１３ｂの位置を頂点とする三角形を想定して計算する。
また情報処理部１１は赤外線受信機１２が受信した赤外線信号の一回目の信号と二回目の信号の時間間隔を測定し、図５に示した赤外線送信信号タイミング表から図４に該当する情報１と情報２を選択し、受信した赤外線信号を識別する。
情報処理部１１は前記の計算によって得られた位置座標と前記赤外線信号の信号表により筆跡データとジェスチャーデータに分類することができる。また情報処理部１１は筆跡データとジェスチャーデータを記憶部１４に保存する。
電源１６は受信装置２に電源を供給する。

図７と図８は、ジェスチャーによる軌跡が入力された例である。図１のように手書き入力装置で入力が行われた時、情報処理部１１が筆跡データとジェスチャーデータを記憶部１４へ転送した場合、以下の流れに沿って処理される。
図７のように電子ペン１で、電子ペン１を紙面から浮かせてジェスチャーとして一筆書きで、下方から上方向に２０度から７０度の範囲で１０ｍｍ以上、移動させ、右方向に直径５ｍｍ以上３０ｍｍ以内の閉空間を描くように移動させ、その後下方から上方向に２０度から７０度の範囲で１０ｍｍ以上、移動させ、電子ペン１の動きを停止する。このとき、受信装置２は、ジェスチャーデータとして電子ペン１の移動データを測定し続け記憶部１４に保管している。
情報処理部１１は上記処理を実行しながら、記憶部１４に保管されている一筆書きジェスチャーデータに交点が発生するか常時監視している。交点が発生すると、一筆書きジェスチャーデータに書かれたデータを確認する。確認方法は、下方から上方向に２０度から７０度の範囲で１０ｍｍ以上移動し、右方向に直径５ｍｍ以上３０ｍｍ以内の閉空間を描くように移動し、その後下方から上方向に２０度から７０度の範囲で１０ｍｍ以上移動していることを確認し、全ての条件を満足した場合、改ページの処理を実行する。また改ページ処理をジェスチャーデータから実行することを入力者に認識させ確認を取るために状態表示部１５に改ページ処理を実行することを表示し実行する。改ページの処理は、それまでの筆跡データに改ページのコマンドを追加し記憶部１４に保管する。また、パソコン接続時に改ページ処理をパソコンに実行させる。その後、それまでのジェスチャーデータを消去する。

図８のように電子ペン１で、ペンを紙面から浮かせてジェスチャーとして一筆書きで、上方から下方向に２０度から７０度の範囲で１０ｍｍ以上、移動させ、右方向に直径２０ｍｍ以上６０ｍｍ以内の閉空間を描くように移動させ、その後上方から下方向に２０度から７０度の範囲で１０ｍｍ以上、移動させ、ペン先端を停止する。このとき、受信装置２は、ジェスチャーデータとしてペン先端の移動データを測定し続け記憶部１４に保管している。
情報処理部１１は上記処理を実行しながら、記憶部１４に保管されている一筆書きジェスチャーデータに交点が発生するか常時監視している。交点が発生すると、一筆書きジェスチャーデータに書かれたデータを確認する。確認方法は、上方から下方向に２０度から７０度の範囲で１０ｍｍ以上移動し、右方向に直径２０ｍｍ以上６０ｍｍ以内の閉空間を描くように移動し、その後上方から下方向に２０度から７０度の範囲で１０ｍｍ以上移動していることを確認し、全ての条件を満足した場合、動作完了の処理を実行する。また動作完了処理をジェスチャーデータから実行することを入力者に認識させ確認を取るために状態表示部１５に動作完了処理を実行することを表示し実行する。動作完了の処理は、それまでの筆跡データに改ページのコマンドを追加し記憶部１４に保管する。また、パソコン接続時に改ページ処理をパソコンに実行させる。その後、それまでのジェスチャーデータを消去し、電源をオフし動作を終了する。

また、新しい筆跡データが開始された場合は、それまでのジェスチャーデータは消去する。

受信装置２で保存された筆跡データは、受信装置２からＵＳＢケーブル４を通じてパソコン５に送られる。実施例では、受信装置２からパソコン５までの通信は、ＵＳＢ通信によって接続されている。パソコン５では、筆跡入力システム専用に作成された筆跡処理用のプログラムが動作しており、筆跡からテキスト文字への変換認識や、ジェスチャーデータによるコマンドを実行し、パソコン５で処理・保管し、画面に表示することができる。

本実施例の手書き入力システム構成図 本実施例の手書き入力システムパソコン接続図 電子ペンのブロック図 送信情報 赤外線送信信号タイミング図 本体側のブロック図 本実施例のジェスチャー例１ 本実施例のジェスチャー例２

符号の説明

１ 電子ペン
２ 受信装置
３ 用紙
４ USBケーブル
５ パソコン
６ 赤外線送信機
７ 超音波送信機
８ 感圧センサ
９ 電池
１０ 制御部
１１ 情報処理部
１２ 赤外線受信機
１３ａ 超音波受信機
１３ｂ 超音波受信機
１４ 記憶部
１５ 状態表示部
１６ 電源
１７ ＵＳＢ Ｉ．Ｆ．

Claims (1)

1. 超音波信号を発信する超音波発信素子と、トリガ信号を発信する複数個の赤外線発光素子を備えた電子ペンを使用する手書き入力システムであり、該電子ペンの先端には筆記を行うための筆記体と、前記電子ペンが筆記を行っているか否かを検出するセンサを設け、電子ペンから発せられる超音波信号とトリガ信号である赤外線信号を受信装置に送信し、前記両信号の到達時間差から、前記電子ペンの位置座標を検出する手書き入力システムであって、前記電子ペンは、筆跡検出に使用する超音波信号と赤外線信号を受信装置に送信した後の非筆記時に、前記電子ペンの動きの軌跡をジェスチャーデータとして超音波信号と赤外線信号を前記受信装置に送信し、前記受信装置内のデータ処理用の情報処理部にて、前記筆跡データとジェスチャーデータを記録・認識し、筆跡データによって前記電子ペンが描いた筆跡が検出され、また、ジェスチャーデータにより前記情報処理部に予め格納されているジェスチャーの入力軌跡を認識するプログラムにより、ジェスチャーが、予め情報処理部に格納されているジェスチャーの入力軌跡に合致した場合に対応したコマンドを実行することを特徴とする手書き入力システム。