JP2013125487A - 空間手書きシステム及び電子ペン - Google Patents

Abstract

【課題】自然な動作で文字ストロークや文字、単語の切れ目を表現することができ、文字ストロークや文字、単語の切れ目が正確な反映された手書き画像を表示／保存する。
【解決手段】
外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、一文字単位の仮想平面を作成する仮想平面作成部と、３次元空間の座標の変化に基づいて、仮想平面の法線方向のペン先の動作を検出し、その動作に基づいて、文字ストローク及び文字の切れ目を認識する文字ストローク検出部と、文字ストロークの切れ目から次の切れ目までの、連続する文字ストロークのペン先の軌跡を示す３次元空間の座標を、仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した平面座標の情報を、外部機器に出力する通信部とを備える。
【選択図】図２

Description

本発明は、空間手書きシステム及び電子ペンに関し、特に、仮想平面上に手書きした文字を表示／保存可能にする空間手書きシステム及び仮想平面上に文字を手書きする電子ペンに関する。

アイデアを書き留める方法として、ペンとノートを用いる方法が一般的である。しかしながら、この方法では、どこで思いつくか分からないアイデアを書き留めるために、常にペンとノートを携帯しなければならず不便である。このような背景から、電子ペンを用いて空中に手書きした画像を表示したり保存したりする技術が提案されている。

例えば、下記特許文献１には、所望の空間に設定した仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力手段と、前記書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出手段と、前記手書き画像の書き込み位置に関する相対座標を検出する相対座標検出手段と、前記手書き画像を前記相対座標とともに記録する画像記録手段と、前記手書き画像を表示する画像表示手段及び該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子を少なくとも有する手書き画像表示装置とを備え、前記手書き画像表示装置の使用者から見て前記半透過型光学素子よりも前方の実視野に前記画像表示手段が表示する手書き画像の虚像を重畳して表示する手書き画像表示システムが開示されている。また、下記特許文献２にも、同様の手書き画像表示システムが開示されている。

また、下記特許文献３には、指先に装着されるセンサと、このセンサの移動に伴う空間位置に対応する空間座標を順次検出する検出手段と、この検出手段により順次検出される空間座標により、上記センサの移動速度と加速度とを測定する測定手段と、この測定手段により測定された移動速度と加速度とにより、上記センサにより描かれるトレース像を抽出する抽出手段と、この抽出手段により抽出されたトレース像を記憶する記憶手段と、を具備した空間手書き文字図形入力装置が開示されている。

また、下記特許文献４には、仮想対象に対するジェスチャーに従う制御を行うシステムであって、前記仮想対象に対するジェスチャーを撮影する撮影手段と、前記仮想対象の位置を表す情報を含んだ仮想対象情報を記憶する記憶手段と、前記撮影手段により取得された撮影画像と、前記仮想対象情報とを基に、ジェスチャーでの操作部の前記仮想対象に対する交差度合いを特定する交差度合い特定手段と、特定された交差度合いに応じた出力を操作者に対して行う出力制御手段とを備える制御システムが開示されている。

特開２００６−１５４９００号公報 特開２００６−１５４９０２号公報 特開平６−２８０９６号公報 特開２０１０−２０５２２３号公報

上述したように、特許文献１、２には、カメラからの入力画像に対して画像処理で手書き軌跡を抽出して手書き画像を取得し、その手書き画像を透明タイプのＨＭＤ（Head Mounted Display）で表示する方法が開示されているが、この方法では、文字ストロークの切れ目を検出していないため、手書きした文字を正確に表示することができない。

この課題に対して、特許文献３では、指先と一体に移動するセンサの移動速度や加速度を測定して指先の軌跡を抽出し、センサと一体に移動する指先をトレースして、その軌跡を記録し、所定速度以下の状態が所定時間以上続いた場合に文字ストロークの切れ目と判断しているが、この方法では、自分では分かりにくい時間を用いて文字ストロークの切れ目を識別するため、ユーザが意図した通りに文字を認識させることができないという問題がある。

また、特許文献４では、ユーザが所望の仮想平面を指定し、その仮想平面に対するジェスチャーをカメラで撮影し、その画像を基にジェスチャー操作部の仮想平面に対する交差度合いに応じた出力をユーザに対して行っているが、この方法では、仮想平面に接触している感覚をユーザにフィードバックすることができないため、ユーザは文字ストロークの切れ目を認識して手書きすることができないという問題がある。

また、文字ストロークの切れ目を認識できたとしても、描く文字数が多い場合は、文字の軌跡が重ならないように描く必要があるため、広い空間が必要になる。例えば、プレゼンテーションのシーン等で、大きな部屋で大きなジェスチャーを交えて文字を書く場合は、文字の軌跡が重ならないように描くことは可能であるが、電車の中等の限られたスペースで思いついたアイデア等を書き留めるようなシーンでは、空間を十分に確保することができず、文字が重なって誤認識してしまうという問題もある。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、自然な動作で文字ストロークや文字、単語の切れ目を表現することができ、文字ストロークや文字、単語の切れ目が正確に反映された手書き画像を表示／保存することができる空間手書きシステム及び電子ペンを提供することにある。

上記目的を達成するため、本発明は、電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、前記電子ペンは、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、一文字単位の仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第１の閾値を超えた場合に、文字ストロークの切れ目として認識すると共に、前記電子ペンの状態に基づいて、文字の切れ目を認識する文字ストローク検出部と、前記文字ストロークの切れ目から次の切れ目までの、連続する文字ストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を、前記表示装置に出力する通信部と、を備え、前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示するものである。

また、本発明は、外部機器と通信可能な電子ペンであって、ペン先の３次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて、一文字単位の仮想平面を作成する仮想平面作成部と、前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第１の閾値を超えた場合に、文字ストロークの切れ目として認識すると共に、前記電子ペンの状態に基づいて、文字の切れ目を認識する文字ストローク検出部と、前記文字ストロークの切れ目から次の切れ目までの、連続する文字ストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した前記平面座標の情報を、前記外部機器に出力する通信部とを備えるものである。

本発明の空間手書きシステム及び電子ペンによれば、自然な動作で文字ストロークや文字、単語の切れ目を表現することができ、文字ストロークや文字、単語の切れ目が正確な反映された手書き画像を表示／保存することができる。

その理由は、電子ペンは、３次元空間に作成した仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に直交する方向（法線方向）のペン先の移動量や移動速度、移動加速度に基づいて文字ストロークや文字、単語の切れ目を検出し、連続して描画された文字を区別できるようにするからである。

本発明の一実施例に係る空間手書きシステムの構成を模式的に示す図である。 本発明の一実施例に係る電子ペンの主要構成を示すブロック図である。 絶対座標軸と仮想平面座標軸の関係を説明する図である。 仮想平面上の電子ペンの動作を説明する図である。 仮想平面を作成する方法を示す図である。 単語の切れ目を判定する方法の一例を示す図である。 単語の切れ目を判定する方法の他の例を示す図である。 単語の切れ目を判定する方法の他の例を示す図である。 新規文字の平面を作成する方法の一例を示す図である。 文字並びを判定する方法の一例を示す図である。 本発明の一実施例に係る空間手書きシステム（電子ペン）の動作を示すフローチャート図である。

背景技術で示したように、３次元空間に電子ペンで手書きした時のペン先の移動軌跡をヘッドマウントディスプレイなどの表示装置に表示する技術が提案されているが、従来の技術では、文字ストロークの切れ目を正確に判断することができず、また、仮想平面に接触している感覚をユーザにフィードバックすることができないという問題があった。

そこで、本発明の一実施の形態では、まず、電子ペンのペン先の３次元空間の座標を検出して１又は複数のポイントを特定し、特定したポイントに基づいて、３次元空間内に２次元の仮想平面を作成する。例えば、３次元空間の２つのポイントを特定し、その２つのポイントを繋ぐ直線から垂直下方向もしくは水平方向に面を作成し、その面を仮想平面とする。

そして、上記手法で作成した仮想平面上で電子ペンを動かして文字を手書きするが、その際、文字ストロークの切れ目が不明確であると、手書きした文字を正確に表示することができない。一方、文字ストロークの切れ目を表現する方法として、紙面上にペンで手書き（若しくはタッチパネル上にタッチペンで手書き）する時と大きく異なる方法を採用した場合、実平面（紙面上やタッチパネル上）に手書きするときと近い感覚で仮想空間上に文字を手書きすることができず、使い勝手が悪くなる。

そこで、仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してペン先をＺ軸方向（仮想平面の法線方向）に動かす動作（好ましくは、実平面に手書きする時のように手前側に引く動作）を検出し、Ｚ軸方向の移動量が第１境界を超えた場合に文字ストロークの切れ目であると判断し、文字ストロークの切れ目までを連続して描画された線として区別できるようにする。また、Ｚ軸方向の移動量が第２境界を超えた場合に文字の切れ目であると判断し、その後、再度第１境界内にペン先が入ったことを検出したら、その時点のペンのＸＹ方向の位置を新た文字の開始点とし、その点から再度描画空間を作成する。更に、Ｚ軸方向の移動量が第３境界を超えた場合や文字ストロークを包含する所定範囲の矩形エリア以外の平面座標にペン先が置かれたことを検出した場合に、単語（文字の集合体）の切れ目であると判断する。

また、ペン先の仮想平面に対するＺ軸方向（法線方向）の動作に応じて、電子ペンを振動させたり音や光を発生させたりする等のフィードバック機能を持たせ、ペン先が仮想平面から離れたこと、若しくは、ペン先が仮想平面に接していることをユーザに明示的に知らせる。

これにより、空中に複数の文字を連続的に描く作業を行う時に、一文字程度の狭い空間だけを確保すればよいため、限られた空間の中で文字を描く場合のユーザの利便性を向上させることできる。例えば、スペースの限られた電車の中等のシーンでも、文字を誤認識することなく、簡便かつ確実に文字を描画することができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る空間手書きシステム及び電子ペンについて、図１乃至図１１を参照して説明する。図１は、本実施例の空間手書きシステムの構成を模式的に示す図であり、図２は、本実施例の電子ペンの主要構成を示すブロック図である。また、図３は、絶対座標軸と仮想平面座標軸の関係を説明する図であり、図４は、仮想平面上の電子ペンの動作を説明する図、図５は、仮想平面の作成方法の一例を示す図である。また、図６乃至図８は、単語の切れ目を判定する方法を示す図であり、図９は、新規文字の平面を作成する方法を示す図、図１０は、文字並びを判定する方法を示す図である。また、図１１は、本実施例の空間手書きシステム（電子ペン）の動作を示すフローチャート図である。

なお、本実施例において、文字ストロークとは、文字を構成する線を描画する動作を指し、文字ストロークの切れ目とは、文字を構成する任意の線と次の線の間の描画しない場所を指す。また、複数の文字ストロークを結合したものが１つの文字であり、複数の文字を結合したものが１つの単語である。

図１（ａ）に示すように、本実施例の空間手書きシステム１０は、電子ペン２０と表示装置３０などで構成され、これらは、Bluetooth（登録商標）に代表される短距離無線通信や赤外線通信、有線通信などにより接続されている。

上記空間手書きシステム１０の概略動作について図１（ｂ）を参照して説明すると、３次元空間に作成した仮想平面上でユーザが電子ペン２０を動かして文字などを手書きすると、電子ペン２０は、ペン先の移動軌跡を示す座標情報を出力する。その際、ペン先の移動軌跡は一筆書きのように繋がった状態になっているため、仮想平面上に手書きした文字を正確に表せないことから、後述する手法を用いて、自然な動作で文字ストロークの切れ目を表現できるようにする。

一方、表示装置３０（ここでは、サングラス型のＨＭＤ）は、電子ペン２０から座標情報を受信すると、座標情報に基づいて連続する文字ストロークを順次表示し、仮想平面上に手書きした文字を閲覧できるようにする。また、必要に応じて、文書保存サーバ４０は、電子ペン２０から座標情報を受信して保存し、文書保存サーバ４０と通信可能に接続されたコンピュータ装置などを用いて、仮想平面上に手書きした文字を利用できるようにする。

なお、電子ペン２０は、ペン先の移動軌跡を示す座標情報を送信する機能を備えていればよく、ボールペンのような筆記用具としての機能を備えていてもよいし、筆記用具としての機能を備えていなくてもよい。また、電子ペン２０は、ボールペンのような形状に限定されず、その先端が認識できる形状であればよく、例えば、指先に嵌めるキャップのような形状としてもよい。

また、図１では、表示装置３０としてサングラス型のＨＭＤを示しているが、表示装置３０は、電子ペン２０から受信した座標情報に基づいて手書き画像を表示可能な携帯型の装置であればよく、例えば、携帯電話機やタブレット端末などとしてもよい。また、表示装置３０は、手書き画像を表示するのみならず、手書き画像のデータを保存する機能を備えていてもよく、この場合は、文書保存サーバ４０を省略することもできる。

また、図１（ａ）では、空間手書きシステム１０に表示装置３０を含めているが、手書き画像をその場で閲覧する必要がない場合は、表示装置３０を省略することもできる。その場合は、電子ペン２０から送信される座標情報を文書保存サーバ４０に保存してもよいし、電子ペン２０の記憶部に座標情報を保存してもよい。

図２は、電子ペン２０の主要構成を示すブロック図である。本実施例の電子ペン２０は、操作部２１と、センサ２２と、３次元座標検出部２３ａと、３軸加速度検出部２３ｂと、移動量検出部２３ｃと、仮想平面及びデータ作成部２４と、文字ストローク検出部２５と、平面座標変換部２６と、仮想面接地フィードバック部２７と、通信部２８と、図示しない電源（蓄電池）などで構成される。

操作部２１は、スイッチやボタンなどのハードＳＷ２１ａを含み、電子ペン２０の電源のＯＮ／ＯＦＦ、手書き動作の開始指示、平面作成モード（指定したポイントに基づいて仮想平面を作成するモード）と、文字描画モード（仮想平面上でペン先を移動させて文字を手書きするモード）との切り替え指示などの操作を可能にする。

センサ２２は、ペン先の３次元空間の座標や加速度、電子ペン２０の中心軸の傾きなどを検出するセンサであり、例えば、３軸ジャイロセンサと３軸加速度センサなどで構成される。

３次元座標検出部２３ａは、センサ２２（３軸ジャイロセンサ）の出力に基づいて、ペン先の３次元空間の座標を検出する。

３軸加速度検出部２３ｂは、センサ２２（３軸加速度センサ）の出力に基づいて、ペン先の３軸の加速度を検出する。

移動量検出部２３ｃは、３次元座標検出部２３ａで検出した３次元空間の座標に基づいて、単位時間あたりのペン先の移動量（すなわち、ペン先の移動速度）を検出する。

仮想平面及びデータ作成部２４は、電子ペン２０で指定された３次元空間のポイント、ペン先の移動軌跡、電子ペン２０の中心軸の傾きなどに基づいて、３次元空間内に２次元の仮想平面を作成する。また、文字の切れ目と判断した場合、描画された文字を含む所定のエリアを１文字分の描画エリアとして切り取り、１文字分の描画像データを作成して表示装置３０に送信すると共に、ネットワーク上にある文書保存サーバ４０に登録する。

文字ストローク検出部２５は、仮想平面とペン先の座標の交差度合と、仮想平面に対してのＺ軸方向（仮想平面の法線方向）の移動量、移動速度ならびに加速度を検出し、予め定めた第１の閾値と比較することによって、文字ストロークの切れ目を検出する。また、文字ストローク検出部２５は、仮想平面に対してのＺ軸方向の移動量、移動速度ならびに加速度を検出し、第２の閾値と比較することによって、文字の切れ目を検出する。更に、文字ストローク検出部２５は、仮想平面に対してのＺ軸方向の移動量、移動速度ならびに加速度を検出し、第３の閾値と比較することによって、若しくは、文字ストローク及び文字の切れ目を検出する手法とは異なる手法を用いて、単語の切れ目を検出する。

平面座標変換部２６は、文字ストローク検出部２５から仮想平面に接しており、文字描画中と判断されているときのペン先の３次元座標を仮想平面の左上を基準とした２次元座標に変換し、変換した２次元座標を仮想平面及びデータ作成部２４に通知する。

仮想面接地フィードバック部２７は、文字ストローク検出部２５から仮想平面に接しており、文字描画中と判断されているとき、もしくは、文字の切れ目を検出してから次にペン先が仮想平面に接したと判断するまでの状態時に、ユーザに対して各状態が区別できるように、駆動モータ２７ａなどを用いてバイブレータを振動させたり、スピーカから音を発生させたり、ランプを点灯／点滅させたりして、ユーザにその旨を通知して、ペン先が仮想面から離れている状態をフィードバックする。なお、本実施例では、ペン先が仮想平面から離れた状態をフィードバックする構成としているが、文字ストローク検出部２５が文字ストロークの切れ目を検出していない時（すなわち、ペン先が仮想平面に接しており、文字の描画中と判断されている時）に、ユーザにその旨を振動や音、光等で通知して、ペン先が仮想面に接地している状態をフィードバックする構成としてもよい。

通信部２８は、表示装置３０や文書保存サーバ４０との通信を確立し、平面座標変換部２６で変換した２次元座標を表示装置３０に送信したり、仮想平面及びデータ作成部２４で作成した手書き画像のデータを文書保存サーバ４０に送信したりする。

なお、図２は、本実施例の電子ペン２０の一例であり、ペン先のＺ軸方向（仮想平面の法線方向）の動作に基づいて文字ストロークや文字、単語の切れ目を検出できる限りにおいて、その構成は適宜変更可能である。例えば、図２では、３次元座標検出部２３ａと３軸加速度検出部２３ｂと移動量検出部２３ｃとを設けたが、３次元座標検出部２３ａが時刻に関連付けられた座標情報から移動量や移動速度、移動加速度を算出する構成としてもよく、その場合は、３軸加速度検出部２３ｂや移動量検出部２３ｃは省略することができる。また、図２では、仮想平面及びデータ作成部２４が、仮想平面の作成と文字の描画像データの作成を行う構成としているが、仮想平面及びデータ作成部２４を、仮想平面の作成を行う仮想平面作成部と文字の描画像データの作成を行うデータ作成部とに分割してもよい。また、電子ペン２０に記憶部を設けて、文字の描画像データを記憶しておき、電子ペン２０と通信可能な機器を認識した時や蓄電池の充電時に、その機器に文字の描画像データを送信する構成としてもよい。

また、３次元座標検出部２３ａ、３軸加速度検出部２３ｂ、移動量検出部２３ｃ、仮想平面及びデータ作成部２４、文字ストローク検出部２５、平面座標変換部２６、仮想面接地フィードバック部２７、通信部２８などはハードウェアとして構成してもよいし、ソフトウェアとして構成してもよい。

以下、上記構成の電子ペン２０を用いて仮想平面に手書きする具体的な方法について説明する。

まず、３次元空間と仮想平面との関係について説明する。図３は、絶対座標軸と仮想平面座標軸との関係を説明する図であり、センサ２２で検出した３次元座標（ＸＹＺ座標）は、平面座標変換部２６により、仮想平面の面をＸＹ軸とし、仮想平面に対して垂直方向（法線方向）をＺ軸とした座標（Ｘ’Ｙ’Ｚ’座標）に変換される。

図４は、仮想平面上の電子ペン２０の動作を説明する図である。図４（ａ）に示すように、文字ストローク検出部２５は、Ｚ’軸方向における電子ペン２０の移動量、移動速度、加速度等に基づいて仮想平面からの電子ペン２０の離れ具合を判断して、その判断結果から文字ストロークや文字、単語の切れ目を検出する。その際、ユーザは仮想平面を正確に認識できる訳ではないため、移動量、移動速度、加速度等に対して閾値を設定し、この閾値に基づいて文字ストロークや文字、単語の切れ目を判断する。

例えば、図４（ｂ）に示すように、第１境界から第２境界までの間の領域での移動速度や加速度が所定値以上の場合、若しくは、ペン先の座標が第１境界を超えた場合に、文字ストロークの切れ目と判断することができる。また、第２境界から第３境界までの間の領域での移動速度や加速度が所定値以上の場合、若しくは、ペン先の座標が第２境界を超えた場合に、文字の切れ目と判断し、新規仮想平面を作成することができる。

次に、３次元空間内に２次元の仮想平面を作成する方法について説明する。図５は、文字ストロークから仮想平面を作成する例を示している。この例では、電子ペン２０の起動時の最初の座標（ポイント１）を原点として、所定時間経過後に検出したペン先の座標（ポイント２）とを繋ぐ直線をＸ’軸とする。また、電子ペン２０の中心線をＺ’軸とし、Ｘ’軸及びＺ’軸に対してそれぞれ９０度の角度を持つ直線をＹ’軸とする。そして、上記原点を基点として、Ｘ’軸方向、Ｙ’軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面とする。

なお、仮想平面を作成する方法は上記に限らず、例えば、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｙ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面としたり、ポイント１とポイント２を繋ぐ直線をＸ’軸として、ポイント１からポイント２までをＸ’軸方向の長さ、Ｚ軸方向を所定の長さとする２次元平面を特定し、その２次元平面を仮想平面としたりすることもできる。また、ユーザが３つのポイントを設定し、ポイント１とポイント２を繋ぐ直線をＸ’軸とし、Ｘ’軸と垂直、かつ、ポイント１を原点とするポイント３方向の直線をＹ’軸として、ポイント１、２、３に外接する２次元平面を特定し、その２次元平面を仮想平面とすることもできる。更に、電子ペン２０の起動時の最初の座標（ポイント１）を通り、電子ペン２０の中心線に直交する面（若しくは所定の角度で傾斜する面）を特定し、その面を仮想平面とすることもできる。

また、図４（ｂ）では、法線（Ｚ‘軸）方向の第１境界を基準にして文字ストロークの切れ目を判断し、第２境界を基準にして文字の切れ目を判断したが、更に第３境界を基準にして複数の文字からなる単語の切れ目を判断することもできる。図６は、単語の切れ目の判定方法の一例を示している。この例では、第２境界で文字の切れ目を検出した後、ペン先が法線（Ｚ‘軸）方向の第３境界を越えた場合に単語の切れ目と判断している。

図７及び図８は、単語の切れ目の判定方法の他の例を示している。図７では、第２境界で文字の切れ目を検出した後、その文字の文字ストロークを包含する所定範囲の矩形エリアを越えてペン先が移動した場合に単語の切れ目と判断している。また、図８では、第２境界で文字の切れ目を検出した後、ペン軸の角度が所定角度を越えて変化した場合に単語の切れ目と判断している。

図９は、新規文字の仮想平面の作成方法の一例を示している。第２境界で文字の切れ目を検出した後、再度文字ストロークの開始を検出すると、新たな文字作成であると認識し、新たな一文字単位の仮想平面を作成する。この例では、新規の仮想平面は図のポイント４を新たな起点（原点）とした座標になる。

図１０は、文字並びの判定方法の一例を示している。図１０（ａ）に示すように、ポイント１を起点として「ア」という文字を描画した後、ペン先が第２境界を越えるように電子ペン２０をＺ軸方向に動かし、新規文字ポイント（ｘ４，ｙ４，０）を起点として「フ」という文字を描画したとする。この場合に、例えば、前の文字の起点を中心とした円弧の下部の特定角度エリア外に新規文字の起点座標（ｘ４’，ｙ４’，０）が存在する場合は横並び（新規文字の起点座標が右側であれば右側並び、新規文字の起点座標が左側であれば左側並び）の文字と判断する（図１０（ｂ）参照）。また、上記特定角度エリア内に新規文字の起点座標（ｘ４”，ｙ４”，０）が存在する場合は下側並びと判断する（図１０（ｃ）参照）。

以下、本実施例の空間手書きシステム１０（電子ペン２０）の動作について、図１１のフローチャート図を参照して説明する。なお、以下の説明では、図１（ｂ）のシステムを前提とし、文字の切れ目を検出する度にデータを出力するものとする。

まず、仮想平面及びデータ作成部２４は、操作部２１の所定のスイッチ（手書き動作の開始を指示する起動スイッチ）がＯＮであるかを判断する（Ｓ１０１）。起動スイッチがＯＮの場合は、仮想平面及びデータ作成部２４は、ユーザが操作部２１を操作して設定した電子ペン２０のモードが、仮想平面を作成する平面作成モードであるか、仮想平面上に文字などを手書きする描画モードであるかを判断する（Ｓ１０５）。

平面作成モードの場合は、仮想平面及びデータ作成部２４は、ポイントが指定されているかを判断する（Ｓ１０６）。ポイントが指定されていない場合は、ポイントが指定されるのを待ち、ポイントが指定されている場合は、仮想平面及びデータ作成部２４は、図５に示す手法などを用いて、２次元の仮想平面を作成する（Ｓ１０７）。そして、作成した仮想平面の座標軸情報（原点位置、座標軸の方向、仮想平面のサイズなど）を記憶すると共に、文字ストローク検出部２５及び平面座標変換部２６に通知する（Ｓ１０８）。次に、文字ストローク検出部２５は、前文字の起点（最初の文字ストロークの描画開始位置）を中心とした特定角度のエリア内に新規文字の起点が存在しているかを判断し（図１０参照）、新規文字の起点が下側のエリアに存在していれば下側並び、それ以外に存在していれば右側並びであることを表示装置３０に通知し（Ｓ１０９）、仮想平面の作成日時、描画サイズ、作成開始時の絶対座標位置を属性とする新規文書を作成し（Ｓ１１０）、Ｓ１０１に戻る。

一方、描画モードの場合は、仮想平面及びデータ作成部２４は、仮想平面が設定済みであるかを判断し（Ｓ１１１）、仮想平面が未設定の場合はＳ１０５に戻り、平面作成モードに設定されるのを待つ。仮想平面が設定済みの場合は、３次元座標検出部２３ａ及び３軸加速度検出部２３ｂは、センサ２２の出力に基づいて、各々、３次元座標と３軸加速度を検出し、移動量検出部２３ｃは、３次元座標検出部２３ａが検出した３次元座標に基づいて単位時間当たりのペン先の移動量（移動速度）を検出する（Ｓ１１２）。

次に、平面座標変換部２６は、３次元座標検出部２３ａが検出した３次元座標を順次、仮想平面上の座標に変換する（Ｓ１１３）。そして、文字ストローク検出部２５は、仮想平面座標のＺ軸方向への移動量、移動速度、加速度と予め定めた閾値とを比較して、文字ストロークの切れ目が発生したかを判断し（Ｓ１１４）、文字ストロークの切れ目が発生してなければ、Ｓ１０１（起動ＳＷはＯＮ、モードは描画モード、仮想平面は設定済みであるため、Ｓ１１２）に戻って同様の処理を繰り返す。

一方、文字ストロークの切れ目が発生した場合は、平面座標変換部２６は、仮想平面の座標に変換されたペン先のＸ’Ｙ’座標を連続する文字ストロークの軌跡として記憶する（Ｓ１１５）。そして、必要に応じて、仮想面接地フィードバック部２７は、仮想平面との交差度合（ｚ軸方向の移動量や移動速度、加速度）に応じて電子ペン２０を振動させたり、音や光を発生させたりして、ユーザに文字ストロークの切れ目を意識させる（Ｓ１１６）。

その後、仮想平面及びデータ作成部２４は、仮想平面の所定の位置（例えば、左上）を原点として、連続する文字ストロークのペン先のＸ’Ｙ’座標を描画ポイントとしてプロットした描画像データを作成する（Ｓ１１７）。

次に、文字ストローク検出部２５は、仮想平面座標のＺ軸方向への移動量、移動速度、加速度と予め定めた閾値とを比較して、文字の切れ目が発生したかを判断し（Ｓ１１８）、文字の切れ目が発生してなければ、Ｓ１０１（起動ＳＷはＯＮ、モードは描画モード、仮想平面は設定済みであるため、Ｓ１１２）に戻って同様の処理を繰り返す。

一方、文字の切れ目が発生した場合は、必要に応じて、仮想面接地フィードバック部２７は、仮想平面との交差度合（ｚ軸方向の移動量や移動速度、加速度）に応じて電子ペン２０を振動させたり、音や光を発生させたりして、ユーザに文字の切れ目を意識させる（Ｓ１１９）。

次に、仮想平面及びデータ作成部２４は、文字の切れ目から文字の切れ目までの文字ストローク描画エリアを含む所定のエリアを１文字分の描画エリアとし、その描画エリアに手書きされた文字ストロークの描画像データをまとめて表示装置３０に送信し（Ｓ１２０）、表示装置３０は、受信した描画像データに基づいて画面上に、Ｓ１０９で通知された並び方向に従って、一文字単位で文字を表示する。その後、新規文字を手書きするために電子ペン２０のモードを平面作成モードに設定する（Ｓ１２１）。

次に、文字ストローク検出部２５は、前の文字の仮想平面領域に次の文字の開始点の座標が入っているかいないか（又は、ペン先が法線（Ｚ‘軸）方向の第３境界を越えたか否か、又は、ペン先が第２境界を越え、ペン軸の角度が所定角度を越えて変化したか否か）を判断する（Ｓ１２２）。仮想平面領域に次の文字の開始点の座標が入っている（又は、ペン先が第３境界を越えていない、又は、ペン軸の角度が所定角度を越えて変化していない）場合は、単語の切れ目ではないと判断し、Ｓ１０１（起動ＳＷはＯＮ、モードは平面作成モードであるため、Ｓ１０６）に戻って同様の処理を繰り返す。

一方、仮想平面領域に次の文字の開始点の座標が入っていない（又は、ペン先が第３境界を越えた、又は、ペン軸の角度が所定角度を越えて変化した）場合は、単語の切れ目と判断し、必要に応じて、仮想面接地フィードバック部２７は、仮想平面との交差度合（ｚ軸方向の移動量や移動速度、加速度）に応じて電子ペン２０を振動させたり、音や光を発生させたりして、ユーザに単語の切れ目を意識させる（Ｓ１２３）。そして、仮想平面及びデータ作成部２４は、単語の切れ目を表示装置３０に通知し（Ｓ１２４）、Ｓ１０１（起動ＳＷはＯＮ、モードは平面作成モードであるため、Ｓ１０６）に戻って同様の処理を繰り返す。

起動スイッチがＯＦＦになるまで、文字ストロークの切れ目で分割された描画像データを表示装置３０に送信し、起動スイッチがＯＦＦになったら、仮想平面及びデータ作成部２４は、複数の連続する文字ストロークの軌跡を結合して手書き画像（文字又は単語）のデータを作成し、手書き画像のデータに、仮想平面の作成日時情報や電子ペン２０の識別情報、描画時の位置情報や日時情報などの属性を関連付ける（Ｓ１０２）。そして、未送信の手書き画像のデータがあるかを判断し（Ｓ１０３）、未送信の手書き画像のデータがある場合は、その手書き画像のデータを文書保存サーバ４０に送信し（Ｓ１０４）、文書保存サーバ４０は手書き画像のデータを上記属性に関連付けて保存する。

なお、上記フローでは、１文字単位で文字ストロークの軌跡を示す描画像データをまとめて表示装置３０に送信する構成としたが、文字ストローク単位で描画像データを表示装置３０に送信し、表示装置３０では文字の切れ目が通知されたら１文字単位で表示するようにしてもよい。また、時系列のペン先のＸ’Ｙ’座標と文字ストロークの切れ目を示す情報とを表示装置３０に送信し、表示装置３０が受信した情報に基づいて複数の連続する文字ストロークの軌跡を特定して表示する構成としてもよい。また、電子ペン２０が複数の文字を結合した単語単位で描画像データをまとめて表示装置３０に送信する構成としてもよい。

このように、２次元の仮想平面上のペン先の移動軌跡を示す座標情報を送信する際に、仮想平面に対してＺ軸方向に動かす動作（好ましくは、手前側に引く動作）に基づいて文字ストロークや文字切れ目を判断し、Ｚ軸方向に動かす動作やこの動作とは異なる他の動作に基づいて単語の切れ目を判断することにより、自然な動作で文字を表示／保存することができる。また、文字ストロークや文字、単語の切れ目で電子ペン２０を振動させたり、音や光を発生させたりすることにより、ユーザは文字ストロークや文字、単語の切れ目を認識することができ、正確に文字を描画することができる。また、仮想平面上の電子ペン２０の軌跡を表示装置２０に表示したり、手書き画像のデータを文書保存サーバ４０などに保存したりすることにより、場所を問わずに、必要な時に必要な情報を書き留めることができ、ユーザの利便性を向上させることができる。

なお、本発明は上記実施に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例では、２次元の仮想平面から電子ペン２０を手前側に引く動作を行った時に文字ストロークの切れ目であると判断したが、２次元の仮想平面に対して電子ペン２０を押し込む動作を行った時に文字ストロークの切れ目であると判断してもよい。

本発明は、ペン先の移動軌跡を示す座標情報を送信可能な電子ペンを含むシステムに利用可能である。

１０ 空間手書きシステム
２０ 電子ペン
２１ 操作部
２１ａ ハードＳＷ
２２ センサ
２３ａ ３次元座標検出部
２３ｂ ３軸加速度検出部
２３ｃ 移動量検出部
２４ 仮想平面文書作成部
２５ 文字ストローク検出部
２６ 平面座標変換部
２７ 仮想面接地フィードバック部
２７ａ 駆動モータ
２８ 通信部
３０ 表示装置
４０ 文書保存サーバ

Claims (14)

1. 電子ペンと表示装置とが通信可能に接続された空間手書きシステムであって、
   前記電子ペンは、
   ペン先の３次元空間の座標を検出する座標検出部と、
   空間内に設定されたポイントに基づいて、一文字単位の仮想平面を作成する仮想平面作成部と、
   前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第１の閾値を超えた場合に、文字ストロークの切れ目として認識すると共に、前記電子ペンの状態に基づいて、文字の切れ目を認識する文字ストローク検出部と、
   前記文字ストロークの切れ目から次の切れ目までの、連続する文字ストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
   変換した前記平面座標の情報を、前記表示装置に出力する通信部と、を備え、
   前記表示装置は、前記平面座標の情報を受信して、前記仮想平面上のペン先の軌跡を画面上に表示する、
   ことを特徴とする空間手書きシステム。
2. 前記文字ストローク検出部は、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第２の閾値を超えた場合に、文字の切れ目として認識する、
   ことを特徴とする請求項１に記載の空間手書きシステム。
3. 前記電子ペンは、前記座標変換部で変換した前記平面座標の情報を、一文字単位で、前記表示装置に出力し、
   前記表示装置は、前記仮想平面上のペン先の軌跡を、一文字単位で、画面上に表示する、
   ことを特徴とする請求項１又は２に記載の空間手書きシステム。
4. 前記文字ストローク検出部は、前の文字と次の文字との３次元空間の描画開始座標の位置関係に基づいて、文字の並び方向を決定し、
   前記表示装置は、前記電子ペンから通知された並び方向に従って、文字を並べて表示する、
   ことを特徴とする請求項３に記載の空間手書きシステム。
5. 仮想平面作成部は、前記文字ストローク検出部が文字の切れ目を検出後に、再度文字ストロークを検出した場合に、新たな文字の作成であると認識し、新たな仮想平面を一文字単位で作成する、
   ことを特徴とする請求項１乃至４のいずれか一に記載の空間手書きシステム。
6. 前記文字ストローク検出部は、前記第２の閾値に基づいて文字の切れ目を検出した後、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第３の閾値を超えた場合、又は、当該文字の文字ストロークを包含する所定範囲の矩形エリア以外を越えてペン先が移動した場合、又は、前記電子ペンの中心軸の角度が所定角度を超えて変化した場合に、単語の切れ目として認識する、
   ことを特徴とする請求項１乃至５のいずれか一に記載の空間手書きシステム。
7. 前記電子ペンは、更に、
   前記文字ストロークの切れ目、前記文字の切れ目、前記単語の切れ目の少なくとも一つを認識した場合に、振動又は音又は光によって、前記文字ストロークの切れ目、前記文字の切れ目、前記単語の切れ目のいずれを認識したかを識別可能にユーザに通知するフィードバック部を備える、
   ことを特徴とする請求項１乃至６のいずれか一に記載の空間手書きシステム。
8. 外部機器と通信可能な電子ペンであって、
   ペン先の３次元空間の座標を検出する座標検出部と、
   空間内に設定されたポイントに基づいて、一文字単位の仮想平面を作成する仮想平面作成部と、
   前記３次元空間の座標の変化に基づいて、前記仮想平面の法線方向のペン先の動作を検出し、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第１の閾値を超えた場合に、文字ストロークの切れ目として認識すると共に、前記電子ペンの状態に基づいて、文字の切れ目を認識する文字ストローク検出部と、
   前記文字ストロークの切れ目から次の切れ目までの、連続する文字ストロークのペン先の軌跡を示す３次元空間の座標を、前記仮想平面の特定点を原点とする平面座標に変換する座標変換部と、
   変換した前記平面座標の情報を、前記外部機器に出力する通信部と、を備える、
   ことを特徴とする電子ペン。
9. 前記文字ストローク検出部は、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第２の閾値を超えた場合に、文字の切れ目として認識する、
   ことを特徴とする請求項８に記載の電子ペン。
10. 前記電子ペンは、前記座標変換部で変換した前記平面座標の情報を、一文字単位で、前記外部機器に出力する、
    ことを特徴とする請求項８又は９に記載の電子ペン。
11. 前記文字ストローク検出部は、前の文字と次の文字との３次元空間の描画開始座標の位置関係に基づいて、文字の並び方向を決定する、
    ことを特徴とする請求項１０に記載の電子ペン。
12. 仮想平面作成部は、前記文字ストローク検出部が文字の切れ目を検出後に、再度文字ストロークを検出した場合に、新たな文字の作成であると認識し、新たな仮想平面を一文字単位で作成する、
    ことを特徴とする請求項８乃至１１のいずれか一に記載の電子ペン。
13. 前記文字ストローク検出部は、前記第２の閾値に基づいて文字の切れ目を検出した後、前記法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた第３の閾値を超えた場合、又は、当該文字の文字ストロークを包含する所定範囲の矩形エリア以外を越えてペン先が移動した場合、又は、前記電子ペンの中心軸の角度が所定角度を超えて変化した場合に、単語の切れ目として認識する、
    ことを特徴とする請求項８乃至１２のいずれか一に記載の電子ペン。
14. 前記文字ストロークの切れ目、前記文字の切れ目、前記単語の切れ目の少なくとも一つを認識した場合に、振動又は音又は光によって、前記文字ストロークの切れ目、前記文字の切れ目、前記単語の切れ目のいずれを認識したかを識別可能にユーザに通知するフィードバック部を更に備える、
    ことを特徴とする請求項８乃至１３のいずれか一に記載の電子ペン。

Images