JP2006500680A

JP2006500680A - ３次元手書き認識のための方法及びシステム

Info

Publication number: JP2006500680A
Application number: JP2004539329A
Authority: JP
Inventors: ドゥ，ヨンガン; ツゥ，ジアウェン; フェン，レイ; シャオ，シャオリン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-09-28
Filing date: 2003-09-18
Publication date: 2006-01-05
Also published as: EP1546993A1; US8150162B2; WO2004029866A1; CN1485711A; EP1546993B1; US20060149737A1; CN100377043C; AU2003260877A1

Abstract

本発明は、ユーザが、３Ｄ空間において、何も触らずに、また、パッド又はタブレットといった物理媒体を必要とせず言葉又は文字を自由に書くことを可能にする３Ｄ手書き認識システムを提供する。ユーザの３Ｄ空間における手書き入力は、システムの入力装置により追跡され、入力装置は、対応３Ｄ動作データを生成し、この３Ｄ動作データをシステムの認識装置にワイヤレスに転送する。３Ｄ動作データは変換され、２Ｄ面上にマッピングされ、手書き認識のための対応２Ｄ画像を生成する。このようにして、ユーザの入力は、任意の画面、パッド、又は平面に決して制限されることなく、ユーザは、より多くの柔軟性とより楽しい書込み経験を有することになる。

Description

本発明は、一般的に、手書き認識技術に係わり、より具体的には、３次元（３Ｄ）手書き認識方法及びシステムに係る。

手書き認識は、手によって書かれた文字及び他の記号をインテリジェンスシステムが認識することを可能にする技術である。この技術は、ユーザをキーボードから解放し、ユーザがより自然な方法で書いたり描いたりすることを可能にするので非常に人気がある。ユーザからの要求の増加と共に、現在では多くの装置が手書き認識システムを内蔵し、それにより、ユーザに自然な入力経験を与えている。手書き認識は、例えば、漢字といった従来のキーボードを用いた入力では非常に時間のかかる複雑な構造を有する言葉の手書き認識を与える様々な手持ち式装置において特に人気である。

手書き入力装置は、ユーザにフレンドリな情報入力方法を与える。現在において、入力装置に対する最小要件は、マウスである。マウスで文字を書くには、ユーザは、１次マウスボタンを押さえ付け、次に、言葉又は文字の一筆を形成するようマウスポインタを動かし、最終的な言葉又は文字を生成する必要がある。ペンスタイラス及びタブレットといった人気のある手書き入力装置は、ＰＤＡといった従来の手持ち式装置に用いられるか、又は、シリアル又はＵＳＢポートを介してコンピュータに接続される。手持ち式装置は、しばしばペンスタイラスとパッドとしてのタッチスクリーンを用い、それにより、ユーザが認識機能を実行することを可能にする。ＰＤＡといった多くの手持ち式装置は、このような種類の入力装置が具備されている。

別の種類の手書き入力装置としては、適当な紙の上に自然な手書きで書いたり又は描いたりすることによって、携帯電話、ＰＣＤ、又はＰＣといった受信ユニットにユーザがデータを転送することを可能にするペンが挙げられる。

現在のところ、全ての従来の手書き入力装置は、２次元入力方法を採用している。ユーザは、タブレット、タッチスクリーン、又はメモ帳といった物理媒体上に文字を書かなければならない。これは、ユーザにとって利用可能な選択肢を制限してしまう。例えば、ユーザが、プレゼンテーション又は講義の間に意見を書きたい場合、ユーザは、まず、例えば、机、メモ帳等といった物理媒体を見つける必要がある。これは、プレゼンテーション又は講義をしている間に部屋内に立っているユーザにとっては非常に不都合である。更に、自動車、バス、又は地下鉄内といったように移動環境では、スタイラスを用いて物理媒体上に「書く」ことは非常に不都合である。

従って、ユーザにより多くの柔軟性及び利便性を与え、また、２次元手書き認識では必要とされる物理媒体からユーザを解放する改良された手書き認識システムを提供する必要がある。

本発明によると、入力装置と、入力装置と通信する認識装置を有する手書き認識システムを提供する。入力装置は、３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する。１つの実施例では、動作検出センサは、３Ｄ動作データを生成するために、Ｘ、Ｙ、及びＺ軸方向における３Ｄ動作の加速度を測定する。認識装置は、入力装置から３Ｄ動作データを（例えば、ワイヤレス手段により）受信し、その３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される。

本発明の１つの実施例によると、認識装置は、３Ｄ動作データに基づいて対応３Ｄ座標を計算し、３Ｄ座標に基づいて対応３Ｄトラックを構成し、そして、３Ｄトラックを手書き認識のために２Ｄ面上にマッピングすることにより３Ｄトラックから対応２Ｄ画像を導き出す。

本発明の他の目的及び成果は、本発明の完全な理解と共に、添付図面と共に考慮される以下の説明及び特許請求の範囲を参照することにより明らか且つ理解されるであろう。

本発明を、例示的に、添付図面を参照しながら更に説明する。

全図において、同じ参照番号は、同様の又は対応する特徴又は機能を示す。

図１は、本発明の１つの実施例による３次元手書き認識システム１０を示す。図示するように、システム１０は、手書き入力装置２０、認識装置３０、及び出力装置４０を有する。入力装置２０は、３Ｄ動作検出センサ２２、制御回路２６、及び通信インタフェース２８を有する。認識装置３０は、プロセッサ３２、メモリ３４、記憶装置３６、及び通信インタフェース３８を有する。簡略化のために、他の従来技術の構成要素は、図１には示さない。

動作時には、ユーザは、入力装置２０を自由に動かして、例えば、空中である３Ｄ空間において自由に言葉又は文字を書く。動作検出センサ２２は、３Ｄ動作を検出し、次に、ブルートゥース、ジグビー、ＩＥＥＥ８０２．１１、赤外線、又はＵＳＢポートといった通信インタフェース２８を介して、３Ｄ動作データとサンプリングレートを、手書き認識のために認識装置３０に通信する。サンプリングレートは、システムの処理能力といったファクタに基づきエンドユーザ又は製造業者により設定された所定値であり得る。或いは、サンプリングレートは、例えば、動作の速度に基づいて動的に決定及び調整されてもよい。これは、例えば、手書きに関連付けられる初期動作の速度を最初に決定することにより行われることが可能である。次に、認識装置は、最後のサンプリングポイントにおける動作の速度に基づいてサンプリングレートを動的に調整することが可能である。速度が速いほどサンプリングレートも高い。また、速度が遅いほどサンプリングレートも低い。サンプリングレートを動的に調整することにより、手書き認識の精度は改善することが可能である。というのは、言葉又は文字を構成するために最適のサンプリングポイント数のみが用いられるからである。更に、低電力消費量も必要である。

入力装置２０からの動作データ及びサンプリングレートに基づいて、プロセッサ３２は、Ｘ、Ｙ、及びＺ軸上の対応３Ｄ座標を計算し、この座標を、記憶装置３６内に格納する。プロセッサ３２は、計算された座標を用いて、対応３Ｄトラックを構成する。３Ｄトラックは、２Ｄ画像を形成するよう２Ｄ面上に投影され、その２Ｄ画像は、従来の手書き認識ソフトウェアを用いて認識される。最終的な結果が、出力装置４０上に表示される。

３Ｄ手書きは、連続的な過程であるので、入力装置２０の制御回路２６は、ユーザにより与えられる外部入力に応じて、インタフェース２８を介して、認識装置３０に、個々の言葉又は文字の分離を示す制御信号を供給する。例えば、ユーザは、制御ボタンを押して、制御回路２６に、言葉又は文字の書込みの完了後、制御信号を生成させてもよい。

本発明の１つの特定の実施例では、動作検出センサ２２は、Ｘ、Ｙ、及びＺ軸に沿っての動作の加速度を測定することにより３Ｄ動作を検出する。一例として、日立金属（東京、日本）から販売されるピエゾ抵抗型３軸加速度センサを、動作検出センサ２２として用いてもよい。このＩＣチップ形状の加速度センサは、３軸方向（Ｘ、Ｙ、及びＺ）における加速度を同時に検出する能力を有する。このセンサは、非常に敏感で且つ衝撃耐性があり、また、非常に小さく且つ薄い半導体型の３軸加速度センサである。この加速度センサに関する詳細な情報は、ウェブサイトhttp://www.Hitachi- metals.co.jp/e/prod/prod06/p06_10.htmlを参照されたい。このウェブサイトは本願に参考として組み込む。

図２は、本発明の１つの実施例による、認識装置３０により行われる認識処理１００を説明するフローチャートである。図２において、認識装置３０は、３Ｄ動作データ（例えば、Ｘ、Ｙ、及びＺ方向における動作の加速度データ）とサンプリングレートを、入力装置２０から受信する（段階１０２）。受信した情報に基づいて、プロセッサ３２は、動作の開始点を起点として用いて各サンプリングポイントに対しＸ、Ｙ、及びＺ軸上の対応３Ｄ座標を計算する（段階１０６）。各サンプリングポイントも、後続のサンプリングポイントの座標を計算するための基準点として用いられる。

３Ｄ座標の計算は、プロセッサ３２が制御信号の受信を検出するまで、入来３Ｄ動作データに基づいて連続的に行われる（段階１１２）。制御信号は、言葉又は文字の書込みの完了を示す。対応３Ｄトラックが、３Ｄ座標を用いて構成され（段階１１６）、次に、そのトラックは、２Ｄ面上にマッピングされる（段階１２２）。その後、従来の２Ｄ手書き認識が行われる（段階１２６）。

上述した認識処理１００において、段階１２２において３Ｄトラックを２Ｄ面上にマッピングするためには、最初に適切な２Ｄ投影面を見つける必要がある。本発明の１つの好適な実施例では、適切な２Ｄ投影面は、各言葉又は文字に対し別々に導き出される。

幾何学的な原則によると、適切な２Ｄ投影面とは、各サンプリングポイントの二乗の距離の和が、最小である平面である。ｎ個のサンプリングポイントの座標は、（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２），・・・（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）として既知であり、平面の式は、Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０として既知であり、ただし、

であるとする。ここで、Ａ、Ｂ、Ｃ、Ｄの値を決定する必要がある。１つの点（ｘ_１，ｙ_１，ｚ_１）から平面への距離は、

として与えられ、Ｆ（Ａ，Ｂ，Ｃ，Ｄ）により表される和

は、以下の通り表現される。

Ａ、Ｂ、Ｃ、Ｄの値は、中国においてフダン・ユニバーシティ・プレス（Fudan University Press）により出版されたOuyang Guangzhongによる「Mathematics Analysis」に記載されるラグランジ（Lagrange）乗算方法を以下のように用いて決定することが可能である。この出版物は本願に参考として組み込む。従って、Ａ^２＋Ｂ^２＋Ｃ^２＝１の制約下で、

となる。この式から、以下の式が導き出される。

ただし、λは、ラグランジ乗数であり、定数である。次に、偏微分関数を、Ａ、Ｂ、Ｃ、及びＤに対し、Ｇ（Ａ，Ｂ，Ｃ，Ｄ）に以下の通り行う。

上の４つの式から、以下の式が得られる。

式（４）は、以下のように書き換えることが可能である。

式（６）を式（１）、（２）、及び（３）に組み込むことにより、以下が得られる。

従って、上述の式から、Ａ、Ｂ、Ｃ、及びＤの値が得られる。

１つの例として、全部で１３のサンプリングポイントに対し以下の３Ｄ座標が、１つの漢字に対して得られた。

上述したラグランジ乗算方法を用いることにより、以下が得られる。

上の式から、Ａ、Ｂ、Ｃ、及びＤの値は、以下の通り決定される。

Ａ＝０．００４５Ｂ＝０．００２３Ｃ＝０．９９９９Ｄ＝−０．０１７７７
従って、２Ｄ投影面の式は、０．００４５ｘ＋０．００２３ｙ＋０．９９９９ｙ−０．０１７７７＝０である。投影面の式Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０と、投影面に対し垂直な線の式

から、以下の式が導き出せる。

これらの式は、各３Ｄサンプリングポイントに対する対応２Ｄ座標を得るのに用いることができる。この例では、以下の対応２Ｄ座標が得られた。

これらの２Ｄ座標に基づいて、対応２Ｄ画像が、２Ｄ投影面上に投影される。この漢字の結果を図３Ａに示す。最終的な結果は、図３Ｂに示すように、従来の２Ｄ手書き認識処理を用いて生成される。

上記では、Ａ、Ｂ、Ｃ、及びＤの値を得るために、ラグランジ乗算方法を用いた。線形回帰方法といった他の方法を用いてもよい。

図４は、本発明の１つの実施例による３Ｄ手書き入力装置２００の外部設計を示す。図４に示すように、入力装置２００は、装置の電子部品部（例えば、３Ｄ動作検出センサＩＣチップ）を有するハウジング２１０、ユーザが言葉又は文字の書込みの終了を示すための制御信号を入力することを可能にする制御ボタン２１２、及び、入力装置２００をユーザの指に取付けるためのバンド２２０を有する。

図５は、入力装置２００が取付けられる様子を示す。図５では、装置２００は、ユーザの手２３０の指２３２に取付けられる。装置２００を指に取付けることによって、ユーザは単純に指を動かして３Ｄ空間内に任意の言葉又は文字を書くことができる。３Ｄ動作データは、手書き認識のために、ワイヤレスで認識装置に伝送される。

本発明では、入力装置及び認識装置は、上述した方法と同じように動作する単一のユニット（例えば、ペン）として一体にされることが可能である。最終認識結果は、ＰＤＡ、ラップトップコンピュータ、ＰＣ等のインテリジェント装置に伝送される。

本発明は更に、ユーザが選択する場合には、２Ｄ面上で用いることも可能である。そのような場合、計算される座標は、２Ｄ面に対してのものであり、３Ｄトラックを２Ｄ面上にマッピングする段階は省略される。

本発明は、特定の実施例と共に説明したが、多くの代替、変更、及び変形が、上述の説明により当業者には明らかであることは明確であろう。従って、本願はそのような全ての代替、変更、及び変形を、それらが本発明の精神及び特許請求の範囲内にある限り含むものとする。

本発明の１つの実施例による３次元手書き認識システムを示す図である。本発明の１つの実施例による認識処理を説明するフローチャートである。３Ｄトラックを２Ｄ投影面にマッピングすることにより導き出される漢字の２Ｄ画像を示す図である。図３Ａにおける２Ｄ画像に基づいた手書き認識処理の最終結果を示す図である。本発明の１つの実施例による３Ｄ手書き入力装置の外部設計を示す図である。入力装置が取付けられる様子を示す図である。

Claims

３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する入力装置と、
前記入力装置と通信し、前記３Ｄ動作データを受信し、前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される認識装置と、
を有する手書き認識システム。
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１記載のシステム。
前記認識装置は、
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する手段と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する手段と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す手段と、
を有する請求項１記載のシステム。
前記対応２Ｄ画像を導き出す手段は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする手段を有する請求項３記載のシステム。
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項３記載のシステム。
前記対応３Ｄ座標を計算する手段は、前記３Ｄ動作データと選択されたサンプリングレートとに基づいて各サンプリングポイントの前記対応３Ｄ座標を計算する請求項４記載のシステム。
前記認識装置は更に、前記動作の速度に基づいて前記サンプリングレートを動的に調整する手段を有する請求項６記載のシステム。
前記対応２Ｄ画像を導き出す手段は、各サンプリングポイントの二乗の距離の和が最小である平面として前記２Ｄ面を導き出す手段を有する請求項６記載のシステム。
前記入力装置は更に、ユーザのコマンドに応答し、言葉又は文字の書込みの完了を示すために前記認識装置に伝送するための制御信号を生成するよう構成される制御回路を有する請求項３記載のシステム。
前記動作検出センサは、前記３Ｄ動作データを生成するためにＸ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する請求項３記載のシステム。
前記手書き認識の最終結果を表示する出力装置を更に有する請求項５記載のシステム。
前記入力装置は更に、ユーザのコマンドに応答し、言葉又は文字の書込みの完了を示すために前記認識装置に伝送するための制御信号を生成するよう構成される制御回路を有する請求項１記載のシステム。
前記動作検出センサは、前記３Ｄ動作データを生成するためにＸ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する請求項１記載のシステム。
前記入力装置は、前記３Ｄ動作データを前記認識装置にワイヤレスで伝送する請求項１記載のシステム。
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１記載のシステム。
メモリと、
３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する入力装置と、
前記メモリに動作可能に結合され且つ前記入力装置と通信し、前記３Ｄ動作データを受信し、前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される認識装置と、
を有するコンピュータシステム。
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１６記載のシステム。
前記認識装置は、
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する手段と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する手段と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す手段と、
を有する請求項１６記載のシステム。
前記対応２Ｄ画像を導き出す手段は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする手段を有する請求項１８記載のシステム。
３Ｄ動作に応答して３Ｄ動作データを生成する段階と、
前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出す段階と、
を有する手書き認識方法。
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２０記載の方法。
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する段階と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する段階と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す段階と、
を更に有する請求項２０記載の方法。
前記対応２Ｄ画像を導き出す段階は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする段階を有する請求項２２記載の方法。
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２２記載の方法。
各サンプリングポイントの前記対応３Ｄ座標は、前記３Ｄ動作データと選択されたサンプリングレートとに基づいて計算される請求項２３記載の方法。
前記動作の速度に基づいて前記サンプリングレートを動的に調整する段階を更に有する請求項２５記載の方法。
前記対応２Ｄ画像を導き出す段階は、各サンプリングポイントの二乗の距離の和が最小である平面として前記２Ｄ面を導き出す段階を更に有する請求項２５記載の方法。
ユーザのコマンドに基づいて、言葉又は文字の書込みの完了を示す指示を生成する段階を更に有する請求項２２記載の方法。
Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する段階を更に有し、
前記３Ｄ動作データは、前記Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の前記加速度に基づいて生成される請求項２２記載の方法。
前記手書き認識の最終結果を表示する段階を更に有する請求項２４記載の方法。
前記３Ｄ動作データをワイヤレスで伝送する段階と、
前記３Ｄ座標を計算するために前記３Ｄ動作データをワイヤレスで受信する段階と、
を更に有する請求項２０記載の方法。
Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する段階を更に有し、
前記３Ｄ動作データは、前記Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の前記加速度に基づいて生成される請求項２０記載の方法。
前記３Ｄ動作データをワイヤレスで伝送する段階と、
前記３Ｄ座標を計算するために前記３Ｄ動作データをワイヤレスで受信する段階と、
を更に有する請求項２０記載の方法。
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２０記載の方法。