JP2000268130A - 文字軌跡検出方法、文字軌跡検出装置および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 空中に文字を筆記した場合にも効果的に筆記
文字の始点と終点を検出できるようにすること 【解決手段】 文字の筆記の開始時点では筆記方向に大
きな加速度（速度）が発生する。また、文字の筆記終了
時点では筆記が一旦停止または停止に近い状態になる。
かかる加速度や速度を所定のしきい値と比較することに
よって、文字筆記の開始、終了を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字軌跡検出方法
に関し、特に、空中に文字を筆記した場合にも効果的に
筆記文字の始点と終点を検出できる文字軌跡検出方法に
関する。

【０００２】

【従来の技術】タブレットを要しないペン入力の文字入
力装置としてペンに内蔵された加速度センサやジャイロ
センサによって座標を入力して、文字を認識する電子ペ
ン（特開平６−６７７９９号記載）が提案されている。

【０００３】この電子ペンで文字を筆記する場合、机上
など平面物体上で筆記するため、筆圧によってペン先の
スイッチが押されるようになっており、これによって、
ストロークの筆記中か、ペンが上がっているかを検出で
きる。最初にペン先のスイッチが押された時点を文字の
筆記開始とし、ペンが上がってペン先のスイッチがＯＦ
Ｆされた状態が一定時間以上経過すると文字の筆記の終
了と判断できる。そして、文字の筆記開始から終了まで
の筆跡に基づいて文字を認識するようになっている。

【０００４】この電子ペンを用い、空中で文字を筆記し
て文字入力することが考えられる。かかる場合、文字中
のストローク間については、ペン先のＯＮ／ＯＦＦがな
くても、一筆書きされたものとして認識処理を行えば、
正しく文字認識できる。しかしながら、空中ではペン先
のスイッチがＯＮ／ＯＦＦされないため、電子ペンの動
作において、どこからどこまでが一文字の筆記動作か判
定できない。このように、一文字の筆記がどこからどこ
までなのかが分からないと、認識の対象がはっきりせ
ず、正しく文字認識できない。

【０００５】これに対し、電子ペンにペン先スイッチと
は別のスイッチを設け、文字を筆記する間だけ筆記者が
そのスイッチを押すようにすることが考えられるが、そ
のスイッチ操作は煩わしい。特に、文字列を筆記する場
合に、１文字づつスイッチをＯＮ／ＯＦＦするのは極め
て煩雑である。したがって、このようなスイッチ操作が
なく、空中に筆記したとしても、容易に意図した文字、
文字列、記号等を検出できるようにするのが望ましい。

【０００６】

【発明が解決しようとする課題】複数の文字を筆記する
場合、電子ペンの筆記軌跡の中には、ある位置から文字
の筆記開始までの余分な動作、一文字の筆記終了から、
別の文字の筆記開始までの文字間の動作、全ての文字の
筆記終了以降の無意味な動作（軌跡）が含まれている。
したがって、文字の筆記動作を認識するためには、かか
る無意味な動作を除去し、文字の筆記動作だけを検出す
る必要がある。同様に、１文字だけ筆記する場合におい
ても、ある位置から文字の筆記開始までの余分な動作、
文字の筆記終了以降の無意味な動作がある。

【０００７】また、アルファベットの単語を筆記体で筆
記する様に、ほぼ一筆書きで筆記する場合には、単語の
筆記の開始から終了までが分かれば、文字間の候補に対
する認識候補を組み合わせて言語処理辞書と照合するこ
とによって筆記された単語を認識できるため、あえて文
字間の軌跡を取り除く必要がないが、単語間の軌跡は取
り除く必要がある。

【０００８】しかし、単純に座標位置だけから、これら
の余分な動作を取り除き、文字の部分だけを切り出すの
は、極めて困難である。

【０００９】また、１文字づつ同じ場所で文字を筆記す
る場合、つまり文字を次々と上書きの状態で筆記してい
く場合には、その上書きされた文字列の中から１文字づ
つ切り出すこと、つまり、文字の終点から次の文字の始
点までの余分な軌跡を、座標だけで検出するのは極めて
困難である。

【００１０】かかる不都合は、指で文字を筆記し、その
指の動きをビデオカメラなどで撮影した画像に基づい
て、文字を認識する場合にも同様に生じる。

【００１１】そこで、本発明は、ペンや指で空中に筆記
したとしても、容易に意図した文字、文字列を認識でき
る方法を実現することを課題とする。

【００１２】

【課題を解決するための手段】文字の筆記の開始時点で
は筆記方向に大きな加速度（速度）が発生すること、お
よび文字の筆記終了時点では筆記が一旦停止または停止
に近い状態になることに着目し、かかる加速度や速度に
よって、文字筆記の開始、終了を検出する。さらに、文
字の筆記開始直前では、筆記が一旦停止または停止に近
い状態になるので、かかる検出を上記加速度の検出に併
せて行えば、より正確に筆記開始を検出できる。

【００１３】請求項１の発明は、筆記の速度または加速
度を検出するステップと、前記速度または加速度を所定
のしきい値と比較することにより文字あるいは文字列の
筆記動作の開始および終了を検出するステップと、当該
筆記動作の開始から終了までの筆記動作に基づいて前記
文字または文字列の筆記軌跡を検出するステップとを有
することを特徴とする。

【００１４】請求項２の発明は、請求項１において、筆
記動作が一定期間ほぼ停止した後に、所定のしきい値に
達する加速度が生じた時点近傍から文字、文字列の筆記
開始と判定することを特徴とする。

【００１５】請求項３の発明は、請求項１または２にお
いて、文字または文字列の筆記開始検出後に、ペンある
いは指の動作が一定期間ほぼ停止した場合に、文字ある
いは文字列の筆記終了と判定することを特徴とする。

【００１６】請求項４の発明は、筆記加速度を検出する
ステップと、前記筆記加速度に基づいて筆記速度を算出
するステップと、前記筆記加速度に基づいて筆記軌跡上
の座標点を算出するステップと、前記筆記加速度が所定
の加速度しきい値に達したときの座標点またはその近傍
の座標点を筆記文字の始点として設定するステップと、
前記始点の設定がなされたのち前記筆記速度が一定期間
所定の終点速度しきい値を下回ったときの座標点または
その近傍の座標点を筆記文字の終点として設定するステ
ップと、前記始点および終点の間に算出された座標点を
筆記文字軌跡の座標点として設定するステップとを有す
ることを特徴とする。

【００１７】請求項５の発明は、請求項４において、前
記始点の設定は、前記筆記速度が一定期間所定の始点速
度しきい値を下回ったのちに前記筆記加速度が前記加速
度しきい値に達したときの座標点またはその近傍の座標
点をもって設定されることを特徴とする。

【００１８】請求項６の発明は、筆記速度を検出するス
テップと、前記筆記速度に基づいて筆記軌跡上の座標点
を算出するステップと、前記筆記速度が第１の始点速度
しきい値に達したときの座標点またはその近傍の座標点
を筆記文字の始点として設定するステップと、前記始点
の設定がなされたのち前記筆記速度が一定期間所定の終
点速度しきい値を下回ったときの座標点またはその近傍
の座標点を筆記文字の終点として設定するステップと、
前記始点および終点の間に算出された座標点を筆記文字
軌跡の座標点として設定する。

【００１９】請求項７の発明は、請求項６において、前
記始点の設定は、前記筆記速度が一定期間第２の始点速
度しきい値を下回ったのちに前記第１の速度しきい値に
達したときの座標点またはその近傍の座標点をもって設
定されることを特徴とする。

【００２０】請求項８の発明は、請求項４または５にお
いて、始点の設定は、筆記加速度が加速度しきい値を超
えたときの座標点よりも一つ前の座標点をもって始点の
座標点とすることを特徴とする。

【００２１】請求項９の発明は、請求項６または７にお
いて、始点の設定は、筆記速度が第１の始点速度しきい
値を超えた座標点よりも所定数だけ前の座標点をもって
始点の座標点とすることを特徴とする。

【００２２】請求項１０の発明は、上記請求項１〜９の
内、少なくとも一つの文字軌跡検出方法を実現する制御
手段を有する文字軌跡検出装置である。

【００２３】請求項１１の発明は、上記請求項１〜９の
内、少なくとも一つの文字軌跡検出方法を実行するため
のプログラムを記憶した記憶媒体である。

【００２４】

【発明の実施の形態】以下、本発明に係る好ましい実施
の形態について説明する。

【００２５】図２に本発明による一実施例の基本構成を
示す。

【００２６】図において、１は電子ペン本体であり、そ
の中に、加速度センサ４、ＣＰＵ２、メモリ（ＲＯＭ）
３１、メモリ（ＲＡＭ）３２、通信回路５が内蔵され、
また、アンテナ６が装着されている。

【００２７】加速度センサ４は、Ｘ方向の加速度を検出
するＸ方向加速度センサ４１とそれとは直交するＹ方向
の加速度を検出するＹ方向加速度センサ４２により構成
される。加速度センサ４で検出されたＸ，Ｙ方向の加速
度データは、ＣＰＵ２に入力される。メモリ（ＲＯＭ）
３１には、ＣＰＵ２の主制御プログラム、文字認識プロ
グラムが格納されている。

【００２８】ＣＰＵ２は、加速度センサ４で検出され
た、一定時間間隔の加速度データ列（Ｘ、Ｙ方向の加速
度データ列）に基づいて、速度（Ｘ、Ｙ方向の速度）と
座標位置（Ｘ、Ｙ位置）を算出すると共に、当該速度と
加速度から筆記開始と終了を検出する。また、その期間
の座標データ列は、メモリ３２（ＲＡＭ）に一時的に記
憶され、ＣＰＵ２は、その座標データ列に基づいて文字
を認識処理を行う。当該認識結果は、通信回路５はアン
テナ６によって無線で出力され、図示しないパソコンに
接続された受信装置を介して、パソコンに入力される。

【００２９】図１に、本発明の実施例の基本動作を示
す。

【００３０】図は、前の文字を筆記し終わった後から、
文字「あ」を筆記した時のペンの軌跡を示している。Ｐ
０１は、前の文字を筆記し終わった位置であり、Ｐ０２
は文字「あ」の筆記開始位置であり、Ｐ０３は文字
「あ」の筆記終了位置である。Ｐ０１からＰ０２までの
軌跡Ｗ０１は、前の文字の筆記終了位置から文字「あ」
を書くためにペンＰＥＮを移動させた軌跡である。

【００３１】筆記開始位置Ｐ０２では、軌跡Ｗ１上での
位置の加速度に比べ、通常、大きな加速度が生じる。上
記ＣＰＵ２は、その加速度の変化によって新たな文字の
筆記開始を検出する。また、筆記開始位置Ｐ０２では直
前にペンが停留するため、その速度（停留）と加速度
（大きな加速度）を組み合わせて検出すると、より正確
に筆記開始を検出できる。その後、筆記が継続され、筆
記終了時点Ｐ０３で、ペンＰＥＮは停留する。ストロー
クの「止め」で終わる文字だけでなく、文字「し」のよ
うにストロークを流して筆記を終わる文字であっても、
多くのケースでは、その流しの後、ペンＰＥＮは停留す
る。例え、流したまま次の文字を書く方が楽な人がいた
としても、筆記終了時にはペンＰＥＮを止めるようにす
ることは、大きな筆記制限にはならない。よって、ＣＰ
Ｕ２は、筆記の速度が予め設定された時間だけ所定のし
きい値を下回った場合に、筆記の終了を検出する。な
お、かかるＣＰＵ２における処理方法の詳細については
後述する。

【００３２】以上、前の文字の筆記終了時点から次の文
字の筆記を開始する例を挙げたが、前の文字の筆記終了
時点以外、たとえば任意の位置に筆を休めている状態か
ら最初の１文字目を筆記する場合や、所定のポインテイ
ング操作の終了位置から新たに文字の筆記へ移る場合も
同様である。

【００３３】図３に、本実施の形態における文字認識処
理のフローチャートを示す。

【００３４】まず、処理の開始時点で停留カウントを０
に設定する（ステップＳ１０１）。そして、上記加速度
センサ４に基づき、加速度検出（ステップＳ１０２）、
速度の算出（ステップＳ１０３）、座標位置の算出（Ｓ
１０４）を行う。ここで、速度は、初速度を０とし、加
速度の単位時間での累積、つまり加速度の積分で求めら
れる。また、座標位置は、速度の単位時間での累積、つ
まり速度の積分で求められる。

【００３５】上記ステップにおける座標位置を座標Ｓと
する。算出した速度と始点停留検出用速度しきい値とを
比較（ステップＳ１０５）し、しきい値より小さい速度
が検出・算出されるまで、ステップＳ１０１からＳ１０
４が繰り返される（ステップＳ１０５：Ｎｏ）。しきい
値より小さい速度が検出されると（ステップＳ１０５：
Ｙｅｓ）、停留カウントを＋１し（ステップＳ１０
６）、その停留カウントの値が始点検出用停留カウント
しきい値以上になるまで、ステップＳ１０２からＳ１０
６を繰り返す（ステップＳ１０７：Ｎｏ）。

【００３６】停留カウントの値が当該しきい値以上にな
ると（ステップＳ１０７：Ｙｅｓ）、引き続き加速度の
検出（ステップＳ１０８）、速度の算出（ステップＳ１
０９）、および座標位置（座標Ｓ）の算出（ステップＳ
１１０）を行い、加速度を始点検出用しきい値と比較す
る（ステップＳ１１１）。加速度がしきい値より小さけ
れば、ステップＳ１０１からＳ１１０を繰り返す（ステ
ップＳ１１１：Ｎｏ）。加速度が当該しきい値以上にな
ると（ステップＳ１１１：Ｙｅｓ）、筆記開始と判断
し、当該座標より一つ前の座標を文字の始点（Ｓ０）と
してメモリ３２（ＲＡＭ）に記憶する。そして、現座標
を始点の次の座標（継続点Ｍ）としてメモリ３２（ＲＡ
Ｍ）に記憶する。以降、終点になるまで、座標を文字の
継続点としてメモリ３２（ＲＡＭ）に記憶していく。

【００３７】図４（ａ）に、筆記開始位置における筆記
軌跡と座標点との関係を模式的に示す。図において、座
標点ＳないしＳ０は、ステップＳ１０７にてＹｅｓと判
断された後、ステップＳ１１１にてＮｏと判断さている
期間における算出座標点である。ここで、Ｖは各座標点
における筆記速度、ＶｓはステップＳ１０５のしきい
値、Ａは各座標点における筆記の加速度、Ａｓはステッ
プＳ１１１におけるしきい値である。同図では、座標点
Ｍ１において筆記の加速度Ａがしきい値Ａｓ以上となっ
た。したがって、当該文字の開始点は、当該座標点Ｍ１
の一つ前の座標点Ｓ０と設定される。

【００３８】次に、終点検出のために、停留カウントを
０にする（ステップＳ１１４）。そして、加速度検出
（ステップＳ１１５）、速度算出（ステップＳ１１
６）、座標位置（座標Ｍ）の算出（ステップＳ１１７）
を行い、その都度、現座標（座標Ｍ）を文字の継続点と
してメモリ３２（ＲＡＭ）に記憶していく。そして、速
度が終点停止検出用速度しきい値以下になるまで、ステ
ップＳ１１４からＳ１１８まで繰り返す（ステップＳ１
２１：Ｎｏ）。速度がしきい値より小さければ（ステッ
プＳ１２１：Ｙｅｓ）、停留カウントを＋１し（ステッ
プＳ１２０）、その停留カウントの値と終点検出用停留
カウントしきい値とを比較する（ステップＳ１２１）。

【００３９】停留カウントの値が当該しきい値より小さ
ければ（ステップＳ１２１：Ｎｏ）、ステップＳ１１５
からＳ１２０を繰り返す。停留カウントがしきい値以上
になると（ステップＳ１２１：Ｙｅｓ）、筆記終了とみ
なし、前座標（座標Ｍ）を終点とする（ステップＳ１２
２）。つまり、継続点としてメモリ３２に記憶した最後
の座標を終点とする。

【００４０】図４（ｂ）に、筆記終了位置における筆記
軌跡と座標点との関係を模式的に示す。図において、座
標点Ｍ、Ｍ…は、ステップＳ１１９にてＹｅｓと判断さ
れた後、ステップＳ１２１にてＮｏと判断さている期間
における算出座標点である。ここで、Ｃは、停留カウン
トの値、ＣｓはステップＳ１２１におけるしきい値であ
る。同図では、座標点Ｅにおいて筆記の停留カウントの
値Ｃがしきい値Ｃｓ以上となった。したがって、当該文
字の終了点は、当該座標点Ｅと設定される。

【００４１】以上のようにして、文字の始点と終点が検
出されると、当該始点と終点の間にメモリ３２（ＲＡ
Ｍ）に記憶された筆記座標データ（始点から終点までの
時系列座標データ）に基づいて、文字認識処理を実行す
る（ステップＳ１２３）。認識処理は、一旦、筆記座標
データをビットマップデータに変換し、そのビットマッ
プデータから方向特徴を抽出し、あらかじめメモリ３１
（ＲＯＭ）に格納されている文字認識辞書内の全文字の
方向特徴とを照合し、最も照合度の高い文字を認識結果
とする。ここで、認識辞書は、文字を続け字として筆記
した場合に対応したものである。

【００４２】なお、方向特徴を用いた文字認識について
は、”手書き漢字の方向パターン・マッチング法による
解析”（電子情報通信学会,Vol.J65-D,No.5,pp.550-55
7,1982.5)に詳述されている。

【００４３】文字認識処理の後、文字認識結果は、通信
回路５、アンテナ６によって介して出力される（ステッ
プ１２４）。そして、メモリ３２（ＲＡＭ）に一時的に
記憶していた座標点列（筆記データ）をクリアする。そ
して、次の文字の筆記の開始を検出するため、ステップ
Ｓ１に戻る。

【００４４】尚、以上の処理は、電子ペン１に付属する
図示しない電源スイッチがＯＮされると開始され、ＯＦ
Ｆされると、処理を終了する。

【００４５】このフローチャートにおける、各しきい値
（始点停留検出用速度しきい値、始点検出用加速度しき
い値、終点停止検出用速度しきい値、終点検出用停留カ
ウントしきい値）は、複数人（または１人）の事前の筆
記操作における、検出・算出した加速度、速度の統計分
布に基づいて設定する。

【００４６】ところで、上記のフローチャートにおいて
は、文字軌跡の始点を文字の筆記加速度と筆記速度の両
方に基づいて検出しているが、文字の筆記加速度のみに
よって検出するようにしてもよい。すなわち、図３のフ
ローチャートにおいて、ステップＳ１０１〜Ｓ１０７を
省略するようにしても良い。また、上記フローチャート
では、加速度が始点検出用加速度しきい値を超えたとき
の座標点よりも一つ前の座標点をもって始点としたが、
当該しきい値を超えたときの座標点またはその後の座標
点を始点としても良い。要するに、加速度が始点検出用
加速度しきい値を超えたときの座標点の近傍にある座標
点を始点とすれば、実際の筆記文字の始点とそれほど大
きなズレは生じず、文字認識処理等においても誤認識を
引き起こすものではない。

【００４７】さらに、上記実施の形態では、文字軌跡処
理が開始されてから最初に筆記加速度が始点検出用加速
度しきい値を超えたときに文字軌跡の始点としたが、筆
記加速度の代わりに筆記速度を利用して始点検出を行う
こともできる。すなわち、文字軌跡処理が開始されてか
ら最初に筆記速度が所定のしきい値を超えたときに文字
軌跡の始点とする。ただし、この場合には、上記加速度
が始点検出用加速度しきい値を超えたタイミングよりも
遅れて筆記速度が前記しきい値を超える場合が想定さ
れ、このため、始点としては、上記筆記加速度を利用し
た場合よりも、時間的に遅れた座標点となってしまう場
合が有り得る。かかる場合には、しきい値を適当に調整
するか、あるいはしきい値の調整では対応できない場合
には、筆記速度が所定のしきい値を超えたタイミングよ
りも数個前の座標点を始点として設定するようにすれば
良い。

【００４８】図５、図６に本発明の実施例の使用シーン
を示す。

【００４９】図５は、操作者が、本実施例による電子ペ
ンを使って、表示スクリーンＳＣに向かってカーソルＣ
Ｐを動かし、図６に説明する操作を行っている様子を示
している。上記電子ペンによる加速度検出、座標位置算
出結果、文字の筆記の開始、終了、および認識結果は、
受信部ＲＣＶを経由して、パソコンに入力され、その結
果が表示スクリーンＳＣに反映されるようになってい
る。

【００５０】図６は、表示スクリーンＳＣの表示内容を
示す。図中、Ｍ１、Ｍ２、Ｍ３は機能指定用のメニュー
である。Ｋは、文字の入力領域である。

【００５１】まず、ペンの開始スイッチをＯＮすると、
表示スクリーンＳＣの左上隅にカーソルが表示される。
しかる後、ペンを動かすと、上記実施の形態における加
速度センサによる加速度の検出、および当該加速度に基
づく速度、座標位置の算出に応じて、カーソル位置がペ
ンの移動に伴って移動する。このようにして、カーソル
位置（ポインティグ用カーソル位置）をＰ０からＫ内の
Ｐ１位置に移動し、Ｗ１の記号（文字入力指示を示すの
記号）を筆記する。すると、Ｐ１での筆記開始からＰ２
における筆記終了を判断し、その記号Ｗ１を文字認識
し、これに応じて、文字入力用のカーソルがＣ１に表示
され、文字入力用カーソルが１文字分右に移動する。

【００５２】その後、Ｐ２からＰ３までペンを動かし、
Ｐ３からＰ４までによって、文字「文」を筆記する。す
ると、Ｐ２を筆記開始、Ｐ３を筆記終了と判断し、文字
「文」Ｗ３を認識し、その結果Ｒ１がＣ１の位置に入力
される。そして、次の文字を筆記するため、ペンを動か
し、カーソルがＰ４からＰ５まで移動する。そして、文
字「字」を筆記する。すると、Ｐ５を筆記開始、Ｐ６を
筆記終了と判断し、文字「字」Ｗ４が認識され、その認
識結果Ｒ２が文字入力用カーソル位置に入力され、文字
入力用カーソルが１文字分右（Ｃ２）の位置に移動す
る。文字「文字」を筆記した後、メニューＭ１を指示す
るため、ペンを動かし、Ｐ６からＰ７へ移動し、Ｗ７の
記号（選択を示す記号）を筆記する。すると、Ｐ７を筆
記開始、Ｐ８を筆記終了と判断し、メニューＭ１が選択
される。

【００５３】図７は、アルファベットの単語を筆記体で
筆記した場合の例を示す。この例は、「Thank you」の
文章を、「Thank」の筆記と「You」筆記の２回で書いた
例である。ペンをＱ０からＱ１に移動し、Ｑ１から「Th
ank」を筆記しはじめ、Ｑ２で筆記終了し、Ｑ２からＱ
３にペンを移動し、Ｑ３から「you」を筆記しはじめ、
Ｑ４で筆記終了している。Ｑ１からＱ２までのＷ１を筆
記区間として検出し、単語「Thank」として認識し、Ｑ
３からＱ４までのＷ３を筆記区間として検出し、単語
「you」と認識した例である。

【００５４】以上の実施例では、電子ペンの動き全ての
中から文字の筆記部分の検出を行っているが、図示しな
いスイッチを電子ペンに設け、そのスイッチを押してい
る間だけを対象に、文字の筆記部分の検出を行ってもよ
い。これにより、ペンを不用意にぶらぶらさせたりした
時の誤入力を防止できる。文字を入力しようと意識した
時だけ、また何か操作をしょうとした時だけ、スイッチ
を押せばよいので、文字や文字列を筆記する度にスイッ
チを押す必要がないので、殆どその操作は苦にならな
い。

【００５５】また、上記実施例では、電子ペンに内蔵の
加速度センサを用いて、加速度の検出、速度、座標の算
出を行ったが、加速度を求める手段は加速度センサに限
定されるものではない。例えば、ジャイロセンサによる
角加速度であってもよい。

【００５６】また、本実施例の本体１を電話機とし、通
信回路５を電話回路とすれば、電話機で空中で電話番号
を書いてオートダイヤルしたり、文字を相手先電話に送
ることができる。

【００５７】また、以上は電子ペンを用いた場合の実施
例を示したが、空中で指で文字を筆記し、その指の動き
を、ビデオカメラで撮影し、その画像に基づいて、その
指の動きの加速度、速度、座標を算出することで、以降
の処理は、電子ペンの場合と同じ処理で、加速度、速
度、座標によって、筆記の開始、終了、文字認識を行う
ことができる。図示しないビデオカメラをパソコンＰＣ
に接続することで、図６に示した操作は可能である。こ
の実施例の場合は、筆記開始、終了の検出、文字認識の
処理は、パソコン側のＣＰＵで行う。

【００５８】たとえば、操作者がビデオカメラに正対し
て自己の指を使って文字を空間に筆記したとする。パソ
コンでは、かかる撮像画像を画像処理し、画像の変化し
た部分、すなわちこの場合では腕、手、指の部分をエッ
ジ検出し、さらに、この内、例えば、所定の幅以下の太
さで肌色近傍の色成分を持つ部分をさらに切り出す。こ
れにより、指部分のみを切り出すことができる。そし
て、この指部分の移動軌跡を撮像画像の変化に基づいて
検出し、この移動軌跡に応じた移動加速度、移動速度、
時系列座標点を算出する。かかる移動か速度、移動速
度、および時系列座標点が、上記実施の形態における筆
記の加速度、速度、座標点に相当する。しかして、これ
らのデータに対し、上記実施の形態と同様の処理を施す
ことにより、上記実施の形態と同様の文字認識を行うこ
とができる。

【００５９】また、かかる撮像画像の処理による実施の
形態は、ビデオカメラやディジタルカメラ等の遠隔操作
に用いることもできる。たとえば、ビデオカメラやディ
ジタルカメラに向かって、急しゅんな指の動き（例え
ば、くるっと指を回した合図）を行い、これにより操作
指示の入力開始とし、その後の指の動きによる指示をカ
メラ本体に認識させることにより、例えば、カメラの方
向、ピント合わせ等を実行させることができる。

【００６０】

【発明の効果】１文字毎のスイッチによる煩わしい操作
がなく、ペンや指によって空中で筆記された文字の筆記
開始位置と終了位置を加速度や速度で自動的に検出でき
るので、ペンや指で空中でも容易に意図した文字、文字
列を入力できる。

【図面の簡単な説明】

【図１】 実施の形態を説明するための図

【図２】 実施の形態に係るブロック図

【図３】 実施の形態に係る文字認識処理を示すフロー
チャート

【図４】 実施の形態にかかる筆記軌跡と始点および終
点の関係を示す図

【図５】 実施の形態の使用シーンの一例を示す図

【図６】 実施の形態の使用シーンの一例を示す図

【図７】 実施の形態の使用シーンの一例を示す図

【符号の説明】

１ 電子ペン本体 ２ ＣＰＵ ３１ メモリ（ＲＯＭ） ３２ メモリ（ＲＡＭ） ４ 加速度センサ ５ 通信回路

Claims (11)

【特許請求の範囲】
1. 【請求項１】 筆記の速度または加速度を検出するステ
   ップと、前記速度または加速度を所定のしきい値と比較
   することにより文字あるいは文字列の筆記動作の開始お
   よび終了を検出するステップと、当該筆記動作の開始か
   ら終了までの筆記動作に基づいて前記文字または文字列
   の筆記軌跡を検出するステップとを有することを特徴と
   する文字軌跡検出方法。
2. 【請求項２】 請求項１において、筆記動作が一定期間
   ほぼ停止した後に、所定のしきい値に達する加速度が生
   じた時点近傍から文字、文字列の筆記開始と判定するこ
   とを特徴とする文字軌跡検出方法。
3. 【請求項３】 請求項１または２において、文字または
   文字列の筆記開始検出後に、ペンあるいは指の動作が一
   定期間ほぼ停止した場合に、文字あるいは文字列の筆記
   終了と判定することを特徴とする文字軌跡検出方法。
4. 【請求項４】 筆記加速度を検出するステップと、前記
   筆記加速度に基づいて筆記速度を算出するステップと、
   前記筆記加速度に基づいて筆記軌跡上の座標点を算出す
   るステップと、前記筆記加速度が所定の加速度しきい値
   に達したときの座標点またはその近傍の座標点を筆記文
   字の始点として設定するステップと、前記始点の設定が
   なされたのち前記筆記速度が一定期間所定の終点速度し
   きい値を下回ったときの座標点またはその近傍の座標点
   を筆記文字の終点として設定するステップと、前記始点
   および終点の間に算出された座標点を筆記文字軌跡の座
   標点として設定するステップとを有することを特徴とす
   る文字軌跡検出方法。
5. 【請求項５】 請求項４において、前記始点の設定は、
   前記筆記速度が一定期間所定の始点速度しきい値を下回
   ったのちに前記筆記加速度が前記加速度しきい値に達し
   たときの座標点またはその近傍の座標点をもって設定さ
   れることを特徴とする文字軌跡検出方法。
6. 【請求項６】 筆記速度を検出するステップと、前記筆
   記速度に基づいて筆記軌跡上の座標点を算出するステッ
   プと、前記筆記速度が第１の始点速度しきい値に達した
   ときの座標点またはその近傍の座標点を筆記文字の始点
   として設定するステップと、前記始点の設定がなされた
   のち前記筆記速度が一定期間所定の終点速度しきい値を
   下回ったときの座標点またはその近傍の座標点を筆記文
   字の終点として設定するステップと、前記始点および終
   点の間に算出された座標点を筆記文字軌跡の座標点とし
   て設定するステップとを有することを特徴とする文字軌
   跡検出方法。
7. 【請求項７】 請求項６において、前記始点の設定は、
   前記筆記速度が一定期間第２の始点速度しきい値を下回
   ったのちに前記第１の速度しきい値に達したときの座標
   点またはその近傍の座標点をもって設定されることを特
   徴とする文字軌跡検出方法。
8. 【請求項８】 請求項４または５において、始点の設定
   は、筆記加速度が加速度しきい値を超えたときの座標点
   よりも一つ前の座標点をもって始点の座標点とすること
   を特徴とする文字軌跡検出方法。
9. 【請求項９】 請求項６または７において、始点の設定
   は、筆記速度が第１の始点速度しきい値を超えた座標点
   よりも所定数だけ前の座標点をもって始点の座標点とす
   ることを特徴とする文字軌跡検出方法。
10. 【請求項１０】 上記請求項１〜９の内、少なくとも一
    つの文字軌跡検出方法を実現する制御手段を有する文字
    軌跡検出装置。
11. 【請求項１１】 上記請求項１〜９の内、少なくとも一
    つの文字軌跡検出方法を実行するためのプログラムを記
    憶した記憶媒体。