JP2005267257A - 手書き情報入力システム - Google Patents

Abstract

【課題】
カメラ(センサ)と複数のレーザポインタから構成されるペン型入力装置により、従来のペン型入力装置と異なり、書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力できるシステムを提供する。
【解決手段】
ペン先の３次元位置を、書画面との相対移動量（移動量を積分することでペン先の位置が取得可能）、書画面からの高さの２つに分けて取得する。特に、書画が曲面上の場合は、局所形状推定するために、パターン光を書画面に投影し、カメラセンサにより得られた画像から投影されたパターンを抽出する。あらかじめパターン光投影装置とカメラとの位置関係を事前に求めておくことにより、三角測量の原理から、カメラ座標系におけるパターン上の特徴点の３次元位置を測定して、カメラ座標系における書画面の形状(方程式)を求め、これによりペン先の相対的な移動量を算出する。
【選択図】図２

Description

本発明は、手書きの文字、記号等の筆跡情報を検出及び認識する、又はコンピューターに入力するためのペン型の手書き入力装置に関するものであり、特に、ペン型入力装置であって、ペンから照射されるビーム光と、カメラセンサ画像とから、ユーザの手書き情報を情報処理端末（ＰＣ等）に入力するシステムに関するものである。

手書き情報には、文字や図形といった多種多様な情報を表現できるといった自由度の高さと、フォーマットに縛られず、手近にある紙を記録媒体とすることができ、また、いろいろな場所で利用可能といったような有用点がある。この有用な手書き情報のデジタル化により、文字認識や図形認識による清書、情報の一元管理(散逸の防止)、ネットワークによる遠隔地への伝送などといった利点が生じる。

この手書き情報をデジタル化するためには、ペンが書画面上に接地している状態でのペンの書画面上の位置に加えて、ペンの書画面との接触／非接触状態の認識が必要である。書画面座標系におけるペン先の3次元座標を知ることにより、これら２つの情報を得ることができる。そのために、書画面側にセンサを準備したり、書画面に特殊な模様を付加するといった手法が提案されているが、書画面側に条件を設けると、使用環境を限定してしまうため、「いつでも、どこででも」という“ウェアラブル”環境下で、手書き情報を入力することが困難である。

従来から、書画面側に特に条件を設けるのではなく、ペンのみで、ペン先の位置を得ることができる装置が数多く提案されている。タブレット等を用いず、より携帯性が優れたペン型入力装置については、例えば、ペンから照射されるレーザスポットやペン先を、カメラ（センサ）で撮像し、ユーザの手書き動作をＰＣ等に入力するものがある（特許文献１）。
また、ペンの挙動を、ペン型入力装置に付属するセンサ（ジャイロ、圧力、超音波等）によって検出し、ユーザの手書き動作をＰＣ等に入力するものがある。例えば、装置に内設した加速度センサにより装置自体の筆記時の運動情報を検知し、筆記情報をコンピューターに入力し処理する提案（特許文献２、特許文献３、特許文献４）、筆記時のペンにかかる各指圧を検知する装置の提案（特許文献５）等が挙げられる。

しかし、ペンのみで、ペン先の位置を得ることができるペン型入力装置であって、書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力できるものは見当たらない。「いつでも、どこででも」という“ウェアラブル”環境下で手書き情報を入力するためには、書画面が机上の如く平面である場合に対応できるのみならず、書画面が曲面を有するものである場合などにも対応できる必要がある。

特開平１１−７５２５号公報 特開平８−０７６９１４号公報 特開平７−１１０７３７号公報 特開平４−２５６００９号公報 特開平６−０９５８００号公報

本発明の目的とするところは、ウェアラブルな環境に適したペン型入力装置であって、カメラ(センサ)と複数のレーザポインタから構成されるもので、従来のペン型入力装置と異なり、書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力できる手書き情報入力システムを提供するものである。

本発明者らは、鋭意研究及び試作による実験を重ねた結果、カメラ(センサ)と複数のレーザポインタから構成されるペン型入力装置により、書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力できる手書き情報入力システムを完成した。
本発明に係る手書き情報入力システムは、ペン、ペン先を撮影するカメラ等の光学センサ、ペン先の方向を照射する少なくとも３点以上のレーザポインタ及び画像情報処理端末（ＰＣ等）で構成される。

レーザポインタを複数配置することで、ペンが傾斜したときに、紙面に照射されるレーザポインタのスポット像から、ペンの傾きとペン先を高さの認識が行える。すなわち、複数のレーザポインタが書画面に生成する輝点の位置をカメラセンサを用いて取得し、ペン型入力装置と書画面との位置関係を取得している。

本発明に係る手書き情報入力システムでは、ペン先の３次元位置を、書画面と平行方向の相対移動量（移動量を積分することでペン先の位置が取得可能）、書画面からの高さの２つに分けて得るものとする。

平行方向の相対移動量は、ペンに取り付けたカメラによって書画面を撮像し、得られた結果の時間変化から取得することとしている。この際、画像の移動量と実空間の移動量との関連付けのために、書画面からのペン先の高さとペンの垂直方向からの傾き（すなわちペンに取り付けたカメラの姿勢情報）が必要となる。

また、カメラによって撮像した各フレームで得られる画像間のブロックマッチングを取るためにも、カメラの姿勢情報(垂直方向からの傾き)が必要となる。

つまり、ペンに取り付けたカメラの画像により、書画面と平行方向のペン先の相対移動量を、実用的な精度を有して取得するためには、ペン先の高さと方向（ペンに取り付けたカメラ姿勢情報）が不可欠なのである。

ここで、ペン先の高さと方向を求めるための手段について説明する。レーザーポインタなどの集光性の高い光源を用いることにより、書画面上に複数の輝点を発生させる。この光源はペンに取り付けられており、光源とカメラとの位置関係が固定されているため、画像中の輝点の座標とカメラからの距離は一対一に対応する。輝点の座標を画像中から抽出することにより、各輝点までの距離を計測することができる。

各点までの距離が得られれば、カメラ座標系における書画平面の方程式が求まる。平面の方程式から、カメラと書画面との法線方向の距離、すなわち高さと、カメラと書画面とのなす角度、すなわちカメラ姿勢を求めることができる。

次に、任意の曲面上での手書き情報を入力する手段について説明する。上述の如く、レーザーポインタの輝点の座標を画像中から抽出することにより、各輝点までの距離を得て、カメラ座標系における書画平面の方程式を求めるのであるが、書画が曲面上の場合、パターン光を書画面に投影することで、書画面の局所形状の方程式を求めることができる。

パターン光投影手段(レーザーポインタなど)は、ペンに装着するものとし、書画面に投影するパターンは、格子などの抽出が容易で規則性を持つものであることが望ましく、また、書画面本来のパターンを隠してしまうほど密であってはならない。

以上の手段を用いることにより、カメラ(センサ)と複数のレーザポインタから構成されるペン型入力装置により、書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力することが可能となる。

本発明に係る手書き情報入力システムは、以下に示す効果を有する。書画面が平面上のみならず、任意の曲面上においても、手書き情報を入力できることにより、「いつでも、どこででも」という“ウェアラブル”環境下において使用でき、モバイル性の高いペン型入力装置を提供することができる。

レーザーポインタの輝点もしくはパターン光の座標を画像中から抽出することにより、各輝点もしくはパターンの特徴点までの距離を得て、カメラ座標系における書画平面もしくは局所形状の方程式を求めることで、ペンを傾けてもペン先の軌跡を正確に認識でき、また、書画面からペンを持ち上げているか否か判断できるという効果を有する。

また、どの程度ペンを持ち上げたら紙面に書いていないのか、といった基準を任意に設定可能であり、ペン型入力装置を扱う人の個人差に応じて、チューニング可能といった効果を有する。

その他の効果として、基本的に、カメラセンサからの画像処理により、ペン先の高さや方向（ペンの傾き）、ペン先の軌跡などを全て計測できることから、圧力センサや加速度センサは不要であり、必要とするセンサの数を最小限に抑える効果を有する。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１に、本発明に係る手書き情報入力システムの概念図を示す。ウェアラブルな環境に適したペン型入力装置と、画像処理を行うウェアラブルＰＣと、手書き情報を表示するＨＭＤ(ヘッド・マウンテッド・ディスプレイ)で構成される。

次に、図２に、本発明に係る手書き情報入力システムにおけるペン型入力装置の模式図を示す。図に示すように、ペン型入力装置は、カメラセンサとパターン光を投影するレーザポインタから構成されている。なお、カメラセンサは書画面の上方から書画面を鉛直下向きに撮像している。

図３に、本発明に係る手書き情報入力システムの特徴であり、従来技術にはない効果であるところの、任意の曲面上で手書きを行った場合において、ペン型入力装置が手書き情報を生成する主な処理フローを示している。

先ず、ペンに装着したパターン光投影装置(レーザーポインタなど)からパターン光を書画面に投影する。投影するパターンは、格子などの抽出が容易で規則性を持つものであることが望ましく、また、書画面本来のパターンを隠してしまうほど密でないものである。このパターン光投影により書画面の局所形状を推定するために、パターン光の抽出を行う。カメラセンサにより得られた画像から投影されたパターンを抽出する。あらかじめパターン光投影装置とカメラとの位置関係を事前に求めておくことにより、三角測量の原理から、カメラ座標系におけるパターン上の特徴点の３次元位置を測定できるのである。測定された３次元位置を元に、下記の式で表されるカメラ座標系における書画面の形状の方程式を求める。

ここで、ｘ，ｙ，ｚはカメラ座標系での位置、ｔはフレームである。書画面の方程式は、ｚ軸をカメラの光軸方向とすると、zの一価関数となり、その中に含まれる複数のパラメータを特徴点の３次元位置から求める。書画面の方程式の例としては、特徴点の１次補間や、スプライン関数による補間、直交基底関数による展開などが挙げられる。

次に、複数点のテンプレートマッチングによるペン先の相対移動量推定を行う。
先ず、テンプレートマッチングによる相対移動量の推定について説明する。カメラセンサから得られる現撮像フレームの歪の少ない中心部分の正方ブロックをテンプレート、前フレームのテンプレートより大きいサイズの正方ブロックを注目ブロックとする。注目ブロック内でのテンプレートの対応点をラスタ走査で探索する。画像間で差分の絶対値和を取得して、絶対値和の最小点を対応点としている。そして、現フレームの中心の座標と対応点の座標の変化をペン先の相対移動量として取得するのである。

ここで、カメラセンサの位置は固定ではないため、単純に得られる映像の各フレームに対し、テンプレートマッチングを行い、カメラ画像内での相対移動量を取得すると精度の高い結果が得られない。得られる画像と書画面が透視投影の関係にあるとすると、カメラの高さに応じて映される書画面の領域が変化するため、高さ毎に相対移動量も変化してしまうからである。このため、複数のレーザポインタによる輝点のカメラ画像内での位置によって、ペン型入力装置と書画面との位置関係を取得し、ペン先の高さ毎に変化する相対移動量の補正を行っている。

複数点のテンプレートマッチングにおいては、前フレーム(時刻ｔ−１)の画像において、パターン光が投影されている部分を除き、書画面上の特徴を持った点を抽出する。抽出の手法としては一般的な画像処理で用いられているフィルタリング、具体的には SUSANオペレータなどを用いることが考えられる。画像上の抽出された点を P1(t-1)，P2(t-1)，・・・，Pｎ(t-1)とする。

そして、現フレーム(時刻ｔ)の画像において、前フレームでの特徴点P1(t-1)，P2(t-1)，・・・，Pｎ(t-1)の移動先をテンプレートマッチングにより検出する。具体的には、前フレームにおける各点Pi(ｔ−１)の周囲領域をテンプレートとし、現フレームの画像においてテンプレートとマッチングする領域を探索し、その中心を移動先とする。検出された各点をP1(t)，P2(t)，・・・，Pｎ(t)とする。

カメラの内部パラメータが求まっていることから、画像上の１点は、カメラ座標系におけるカメラ中心を通る直線と対応付けられる。これらの直線と、各フレームにおける推定された書画面との交点を求めることで、各フレームで検出した書画面の特徴点の３次元位置を推定する。具体的には、下記の式で示されるカメラ中心を通る直線の式と、各フレームでの書画面の局所形状を表す方程式を連立させることにより求める。

ここで、ベクトル変数は画像上の特徴点 Pi(t) とカメラの画角によって決まる直線の向きを表す単位ベクトルである。

カメラ座標系における書画面の特徴点の移動量から、ロバスト推定あるいはシミュレーティッド・アニーリング法などを用いて変化量を表す行列を求めることで、カメラの位置姿勢の変化を求める。

事前に求めておいたカメラ座標系におけるペン先の相対位置から、ペンの相対移動量を計算する。また、カメラ座標系におけるペン先の位置と、推定された書画面の局所形状の位置関係から、ペンと書画面との接触状態を判断する。

図４は、本発明に係る手書き情報入力システムの処理フローを示す図である。以下、図を参照しながら本システムの処理手順について詳述していく。あらかじめ、図４における既知パターンの観測手順Ａにより、レンズ歪み補正のためのパラメータを、形状が既知のパターンを観測することにより算出しておく。

先ず、マーカー投射手順Ｂは、ペンに装着した微焦点照射装置（レーザなど）から、マーカーとなる輝点（ポイント）を書画面に投射する。次に、書画面上パターン生成手順Ｃは、ペンに装着したパターン光投影装置(レーザーポインタなど)からパターン光を書画面上に生成する。その後、画像取得手順Ｄにより、ペンに装着したカメラセンサにより、書画面の画像を取得する。

次に、レンズ歪み補正手順Ｅにより、取得した書画面の画像に対し、既知パターン手順Ａで算出したレンズ歪み補正を行い、正規化画像を取得する。複数点マッチング手順Ｆでは、前時刻と現時刻のフレーム間で、ブロックマッチングを行い、画像上の対応点座標を取得する。正確なマッチングを行うために、カメラの姿勢情報に基づく取得画像のアフィン変換により、垂直上方から見た画像を生成し、その画像間でのマッチングを行うのが好ましい。

また、パターン光抽出手順Ｇでは、レンズ歪み補正手順Ｅにより取得した正規化画像から、パターン光を抽出し、局所３次元形状を算出する。対応点３次元座標算出手順Ｈは、画像上の対応点座標と局所３次元形状から、対応点３次元座標を算出している。

ペン相対移動量算出手順Ｉは、得られた対応点３次元座標からフレーム間のペン先の相対的な移動量を、カメラの書画面からの高さおよび姿勢情報を用いて、実空間での移動量に変換する。そして、ペン先位置更新手順Ｊは、実空間での移動量を現在のペン先位置に加えることにより、ペン先の位置を更新する。

現フレームの画像保存手順Ｋは、現時刻の画像(レンズ歪み補正後)を、次フレームでの移動量算出に使用するために保存している。その後、マーカー投射手順Ｂに戻る。これら一連の処理をカメラセンサのフレームレート（例えば、１０ｆｐｓ）に応じて実施することで、素早くペンを移動した場合においても精度よく手書き情報を入力できる。

ペン先位置からの手書き情報を生成する方法を説明する。ここでは、ペンを紙面に降ろしてから離すまでに描画された線をストロークと呼ぶとする。手書き情報は、ストロークの集合だと考えることができる。ペン先の高さがある閾値より低くなった場合を、ペンが紙面に接地したとみなし、ストロークの開始とする。ストローク描画中に、ペンの高さがある閾値より高くなった場合を、ストロークの終了とする。この閾値は、任意に設定可能であり、ペンを扱う人の個人差に応じて、チューニングすることとしている。

書画面側に特殊な工夫が不要で、手書きの文字、記号等の筆跡情報を検出及び認識して、コンピューターに入力できることにより、手書きにより多種多様な情報を表現できるといった自由度の高さと、フォーマットに縛られず、手近にある紙を記録媒体とすることができ、また、いろいろな場所で利用可能といったような利用がある。

また、手書き情報のデジタル化により、文字認識や図形認識による清書、情報の一元管理(散逸の防止)、ネットワークによる遠隔地への伝送などといった応用が考えられる。

さらに、任意の曲面上においても、手書き情報を入力できるため、「いつでも、どこででも」という“ウェアラブル”環境下に適するため、モバイル端末、ウェアラブル・コンピュータへの応用が考えられる。

本発明に係る手書き情報入力システムの概念図を示す。 本発明に係る手書き情報入力システムにおけるペン型入力装置の模式図を示す。 本発明に係る手書き情報入力システムの特徴であり、従来技術にはない効果であるところの、任意の曲面上で手書きを行った場合において、ペン型入力装置が手書き情報を生成する主な処理フローを示している。 本発明に係る手書き情報入力システムの処理フローを示す図である。

符号の説明

１ ペン
２ カメラセンサ
３ パターン光投影装置兼レーザポインタ
４ パターン光
５ 書画面

Ａ 既知パターンの観測手順
Ｂ マーカー投射手順
Ｃ 書画面上パターン生成手順
Ｄ 画像取得手順
Ｅ レンズ歪み補正手順
Ｆ 複数点マッチング手順
Ｇ パターン光抽出手順
Ｈ 対応点３次元座標算出手順
Ｉ ペン相対移動量算出手順
Ｊ ペン先位置更新手順
Ｋ 現フレームの画像保存手順

Claims (2)

1. ペン代用スティックと、前記スティックの先端付近を照射する複数のビーム照射装置（レーザポインタ）と、前記スティックの先端と前記ビーム照射装置からの輝点を撮像する画像入力装置（カメラセンサ）と、前記画像入力装置からの画像情報を処理する情報処理装置（ＰＣ）から構成される手書き情報入力システムにおいて、
   （ａ）前記画像入力装置からの画像情報から、複数のビーム照射装置から照射された輝点の位置を測定し、その値から前記スティックの書画面からの高さとスティックの姿勢を算出する手段と、
   （ｂ）前記算出したスティックの姿勢に応じて前記画像情報を前記スティックを所定のポジションに配置した状態となるように画像を補正する手段と、
   （ｃ）前記スティックが書画面に接していると前記画像情報から判断した場合に、前記スティックの画像内の位置情報を記憶する手段とを備えたことを特徴とする手書き情報入力システム。
2. 前記請求項１記載の手書き情報入力システムにおいて、さらに、
   （ａ）規則性を有するパターン光を投影する手段と、
   （ｂ）前記カメラセンサにより撮影された書画面の画像から前記パターンを抽出する手段と、
   （ｃ）カメラ座標系におけるパターン上の特徴点の３次元位置を測定する手段と、
   （ｄ）前記特徴点の３次元位置からカメラ座標系における書画面の形状を求める手段と、
   （ｅ）前フレーム(時刻ｔ−１)の画像において、パターン光が投影されていない部分の画像から、書画面上の特徴点を抽出する手段と、
   （ｆ）現フレーム(時刻ｔ)の画像において、前フレームの特徴点の移動先をテンプレートマッチングにより算出する手段と、
   （ｇ）カメラ座標系における書画面の特徴点の移動から、カメラ位置姿勢の変化を算出する手段と、
   （ｈ）事前に求めたカメラ座標系におけるペン先の相対位置から、ペンの相対移動量を算出する手段とを有し、任意の曲面上においても手書き情報を生成できることを特徴とする手書き情報入力システム。