JP2004280834A - 仮想筆記平面を用いたモーション認識システム及びその認識方法 - Google Patents

Abstract

【課題】 ３次元空間上のモーションを２次元平面上の筆記のように認識でき、別の筆記面なしに空間における筆記動作について認識能力を向上させられる空間モーション認識システム及びその認識方法を提供する。
【解決手段】 空間モーション認識 システムは、 モーション検出部から検出されたシステム胴体の位置変化情報に基づき空間上で発生したシステム胴体のモーションを認識した後、認識されたモーション情報をディスプレイに表示させたり送受信部を通して認識されたモーション情報またはモーション情報に対応する制御信号を外部装置に転送する。この際、システム胴体のモーションを認識するためにモーション検出部を通して検出された位置変化情報から仮想筆記平面を生成する過程と生成された仮想筆記平面にシステム胴体の軌跡情報を投影させる過程を有する。また、システムは得られたモーション情報をディスプレイ上に空間上のモーションによる内容を表示するために３次元情報を２次元情報に変換させる仮想筆記平面回転変換過程を有する。
【選択図】 図６

Description

本発明はモーション認識システムに係り、特に空間上で発生されたモーションを認識するシステム及びその認識方法に関する。

最近、ＰＤＡ、携帯電話、ノート型パソコンなど個人用モバイル機器市場が広範に拡大しつつある。このような個人用モバイル機器は携帯が簡便なのでいつ何処でも情報を活用しようとするユビキタス（ubiquitous）環境下に最も当てはまると言える。すなわち、最近のモバイル機器は従前の情報利用環境が宅内に設けられたデスクトップＰＣなどに限定されたものから移動中にも情報を利用できるようにすることで、いつ何処でも情報を活用できるようにしている。

しかし、このようなモバイル機器は携帯が簡便になるよう全体として体積が減少することによってユーザがディスプレイを通した認識及び命令入力などに多少不便を感じる問題点があった。このようにモバイル機器においては携帯の容易性と情報入出力の容易性が相反されるため、これを克服するための方法が持続的に研究開発されている。
最近、モバイル機器を一層便利に利用するための一案として、ペンタイプ入力システムが台頭してきている。一般のペンタイプ入力システムはペンなどの道具を通して２次元平面上に入力された筆記動作または選択動作を認識し、認識した情報に基づいて画面に内容を表示したり、対応する動作を行なうよう設計されている。

図１は従来のペンタイプ入力システムの入力形態を示す図である。ペンタイプ入力システムは、ユーザが手で握って筆記または選択動作が行なえるスタイラスペン１０、及びディスプレイ２２を有し、ディスプレイ２２の２次元平面上にペン１０の一部が接触した状態からメニュー選択命令及び/または筆記動作を認識してメニュー選択による対応動作または筆記内容をディスプレイ２２に表示するＰＤＡ２０で構成されている。ここで、ペン１０は別の電気的な手段なしに、単なるポインティング道具または筆記道具としての役割を果たし、ＰＤＡ２０はペン１０先部の接触部位に対応する信号処理を行なう。

前述したようなペン入力システムでは、ディスプレイ２２の有する２次元平面にペンが接触する状態によって入力情報を判断する。すなわち、ＰＤＡ２０はディスプレイに表示された現在画面がメニューを表示する画面の場合、ペン１０先部が接触する領域に対応する情報をメニュー選択情報と判断し、選択された位置情報に基づき該当する命令を実行する。また、ＰＤＡ２０は筆記内容を認識できる画面を表示した状態では、ペン１０の接触位置が連続的に変化する情報を取得し、取得した情報から筆記内容をディスプレイ２２画面に表示する。

しかし、前述したようなペンタイプ入力システムでは、ディスプレイ２２画面内の限定された平面においてメニュー選択または筆記動作を行なう必要があり、相変わらず入力動作においてユーザをして不便さを感じさせる問題点を抱えている。
一方、従来のペンタイプ入力システムの他の類型として、ペン先部の座標変化をペン外部で三角測量方式または超音波などを通して検出する方式が提案されている。また、ＣＣＤカメラを用いてペン先部の変化を検出する方式も提案されている。また、従来のペンタイプ入力システムのさらに他の類型として、ペンが２次元平面または３次元上で動く動作によってペンの内部でモーション情報を抽出して入力情報を認識するシステムが特許文献１〔アメリカ特許ＵＳ６１８１３２９(公開日、２００１年１月３０日)〕及び特許文献２〔ＵＳ６２１２２９６(公開日、２００１年４月３日)〕に提案されている。

しかし、三角測量方式、超音波利用方式、ＣＣＤカメラ利用方式などペンの外部で座標変化を抽出するようにしたシステムはユーザの手などによってペンが遮られる場合、認識エラーが発生する恐れがあるという問題点を有する。また、前述の特許文献１および特許文献２に開示されたペンタイプ入力システムは２次元平面または３次元空間で行なわれたペンの動きによるモーション情報を抽出してモーションを認識していて、ユーザが筆記面積に制限されず情報を入力できるが、実質的に３次元空間でペンの動きが発生する場合、ユーザが空間上の任意の平面上に正確に筆記動作を行なえないため、復元される筆記内容がユーザの意図とは違って歪んで現れる恐れがあるという問題点があった。すなわち、ユーザが空間上で図２のように数字‘２'を筆記する動作を行なった時、数字‘２'の軌跡を所定時間間隔に区分した時現れる点の位置は一致するいずれか１つの平面上に存在しないため、認識方向によって多少狭く現れたり全く違う形態の記号として現れる場合もあって、やはり認識エラー発生の可能性が高いという問題点があった。

図３は図１の筆記動作による数字２の軌跡を他の方向から見た時の形態を示す図である。従って、前記公開された特許文書に開示されたペン入力システムはできる限りペン先部が２次元の筆記面に接触されてこそ認識エラーを減少させられ、空間上で活用し難い問題点があった。
米国特許第６１８１３２９号明細書 米国特許第６２１２２９６号明細書

本発明は前述した問題点を解決するために案出されたもので、その目的は別の筆記面なしに空間における筆記動作について認識能力を向上させられる空間モーション認識システム及びその認識方法を提供するところにある。

前述した目的を達成するための本発明の空間モーション認識システムは、空間上でシステム胴体の動きによる位置変化を電気的信号として出力するモーション検出部、及び前記モーション検出部から出力された電気的信号から前記システム胴体の３次元軌跡を追跡し、追跡を通して取得した３次元軌跡情報から所定時間間隔における位置それぞれについて距離が最小になる仮想筆記平面を生成し、前記所定時間間隔における位置をそれぞれ前記仮想筆記平面に投影させ前記空間上の軌跡を復元する制御部とを含む。

また、前記制御部は前記仮想筆記平面に投影された軌跡を２次元平面上で再生するために前記仮想筆記平面の軌跡についてｘ-ｙ軸の２次元平面に回転変換するように構成できる。
一方、前述した目的を達成するための本発明の空間モーション認識方法は、空間上でシステム胴体の３次元軌跡情報を取得する段階と、前記取得した３次元軌跡情報から所定時間間隔における位置それぞれについて距離が最小になる仮想筆記平面を生成する段階、及び前記所定時間間隔における位置をそれぞれ前記仮想筆記平面に投影して前記空間上の動きを復元する段階とを含む。

また、前記空間モーション認識方法は、前記仮想筆記平面に投影された軌跡を２次元平面上で再生するために前記仮想筆記平面上の軌跡についてｘ−ｙ軸の２次元平面に回転変換する段階をさらに含む。
以上のような本発明の空間モーション認識システム及び方法によれば、ユーザの空間における筆記動作についてあたかも平面上で筆記したように復元できて、筆記面積を問わず情報を入力できるのみならず、別の筆記面なしに空間上の筆記動作についても正確なモーション認識が可能になる。

以上のような本発明の空間モーション認識システム及び認識方法は、空間上のモーションに対する認識をあたかも２次元で行なった筆記動作のように認識することから、正確にモーション認識が可能なので別の筆記面を要求しなくてユーザの便宜を図ることができ、筆記面積に関係なく情報を入力することができてユビキタス環境下で情報入力への問題点を画期的に改善できるようになる。

また、空間上の筆記体動作についてあたかも既存の２次元平面上の筆記体動作のように認識するので、不明な筆記体認識問題を解決することができる。

以下、添付した図面に基づき本発明を詳述する。

図４は本発明の実施例による空間モーション認識システムの概略的なブロック図である。システム１００は、モーション検出部１１０、ディスプレイ１２０、送受信部１３０、制御部１４０を含む。
モーション検出部１１０は、システム胴体の位置変化を連続的に検出するものであり、複数のジャイロセンサ、複数の加速度センサ及び各センサから伝達された電気的信号から演算処理を行なう演算回路を含む構成を有する。

ディスプレイ１２０は、システム胴体のモーションを画面で表示する。ここで、ディスプレイ１２０は１つの胴体を有する認識システム内に装着することができ、他のシステム内に装着された画面表示可能な手段を含む構成とすることができる。
送受信部１３０は、制御部の制御下に認識されたモーション情報またはモーション情報に対応する制御信号を外部の他のシステムに転送する。

制御部１４０は、モーション検出部１１０から検出されたシステム胴体の位置変化情報に基づき空間上で発生したシステム胴体のモーションを認識した後、認識したモーション情報をディスプレイ１２０に表示させたり、送受信部１３０を通して認識したモーション情報またはモーション情報に対応する制御信号を他のシステムに転送する。この際、制御部１４０はシステム胴体のモーションを認識するためにモーション検出部１１０を通して検出された位置変化情報から仮想筆記平面を生成する過程と生成された仮想筆記平面にシステム胴体の軌跡情報を投影する過程を有する。また、制御部１４０は取得したモーション情報をディスプレイ１２０に表示するために仮想筆記平面に投影された軌跡を２次元平面に回転変換する過程を有する。

制御部１４０において仮想筆記平面を生成する過程は、まず３次元空間上の筆記軌跡を点の集合に設定した状態で、各点に最も近接した平面を探す過程であると言える。これは、２次元平面上の軌跡による各点について距離が最小になる直線を探す過程を３次元に拡張することによって達成できる。
まず、２次元平面上に筆記された軌跡を通して取得した点がＰ_ｉ=(ｘ_ｉ、ｙ_ｉ)、ｉ=１、…、ｍとする際、Ｐ_ｉから距離が最小になる直線は図５のようにｙ＝ａｘ＋ｂの直線で表せる。そして、２次元平面上に筆記された動作によって取得した点の座標値から次の数式１及び数式２を用いてｙ=ａｘ＋ｂの直線を求めることができる。

{Ｅ: 各点がｙ＝ａｘ＋ｂの直線と離隔された距離二乗和
ａ: 傾き
ｂ: ｙの切片}

すなわち、ｙ＝ａｘ＋ｂの直線は各点から仮想の線までの距離二乗和（Ｅ）を算出した後、Ｅをａ、ｂで偏微分することによって求められる。
しかし、３次元空間に筆記動作を行なう時、ユーザは空間上に自分なりに仮想の平面を仮定した状態で筆記動作を行なうが、実質的に筆記軌跡を所定時間間隔で区分した時現れる点は、ユーザが仮定した仮想の平面に一致しなくなる。図６はユーザの３次元空間筆記動作による軌跡を仮想筆記平面を基準に点で示した図である。従って、本発明ではユーザの３次元空間における筆記動作についてあたかも２次元平面で筆記動作のように認識するために仮想の筆記平面を生成する。仮想の筆記平面を探す過程は２次元平面上の点から線形回帰を用いて距離が最小の直線を探す過程を３次元に拡張して求められる。

３次元空間における筆記動作による仮想筆記平面を生成する過程は、３次元空間上に筆記された動作によって獲得された点がＰ_i＝(ｘ_i、ｙ_i、ｚ_i)、ｉ=１、…、ｍとする際、仮想筆記平面は次の数式３として仮定することができる。

そして、３次元空間上のｍ個の点から仮想の平面まで距離二乗和を求める。３次元空間上のｍ個の点から仮想の平面まで距離二乗和は次の数式４で表せる。

そして、前記Ｅ値が仮想筆記平面のパラメータであるα、β、γについて最小値を有するためには、次の数式５を満たすべきである。

そして、上記数式３、４、５から仮想筆記平面のパラメータα、β、γは次の数式６を通して求められる。

{ｘ_i、ｙ_i、ｚ_i : ３次元空間でシステム胴体の追跡された所定時間の座標、
α、β、γ: 仮想筆記平面のパラメータ }
このように仮想筆記平面のパラメータが求められると、制御部１４０は３次元軌跡に別の点について距離が最小の仮想平面を有するようになる。その後、制御部１４０は３次元軌跡による各点について図７のように仮想筆記平面上の最も近い点に投影させる過程を行なう。３次元軌跡による点から仮想筆記平面に至る最も近い距離は図８のように各点で仮想筆記平面に対する法線ベクトルのスカラ倍になるため、次の数式７のように表せる。

{Ｐ: ３次元空間上の軌跡によるベクトル、
Ｐ': 仮想筆記平面に投影されたベクトル、
Ｎ: 仮想筆記平面の法線ベクトル}
そして、蒸気数式７によって仮想筆記平面に投影された点Ｐ_i'(ｘ_i'、ｙ_i'、ｚ_i')、ｉ=１、…、ｍ)は次の数式８を通して求められる。

前述したような投影過程は空間上の軌跡を平面上の軌跡に復元する。
その後、制御部１４０は仮想筆記平面上の軌跡について２次元平面上に再生できるよう仮想筆記平面上の軌跡をｙ軸にθほど回転し、ｘ軸にΦほど回転する過程を有する。

回転変換された軌跡は次の数式９を通して得る。

{ｘ_i'、ｙ_i'、ｚ_i':軌跡を所定時間間隔に区分した後、ｉ番目位置ｘ_i、ｙ_i、ｚ_iを仮想筆記平面上に投影した時の３次元座標、
ｘ_i"、ｙ_i"、ｚ_i": 投影された軌跡のｉ番目位置をｙ軸にθだけ回転し、ｘ軸にΦだけ回転した点の座標}
ここで、回転変換点はｘ-ｙ平面上にあるのでｚ_ｉの値はゼロ(０)である。

前述したようにｘ-ｙ軸の２次元平面に仮想筆記平面の軌跡情報を回転移動させると、追って制御部１４０は回転移動された情報を通してディスプレイ１２０画面上に３次元モーションについて２次元情報として表示できるようになり、送受信部１３０を通して他のシステムに転送して他のシステムで２次元情報として再生することもできる。
以上、本発明の望ましい実施例について説明したが、本発明は前述した実施例に限定されることなく、特許請求の範囲で請求する本発明の要旨を逸脱せず当該発明の属する技術分野において通常の知識を持つ者ならば誰でも変形実施が可能であろう。

本発明はモーション認識システムに係り、特に空間上で発生されたモーションを認識するシステム及びその認識方法に適用される。

従来のペンタイプ入力システムの入力形態例を示す図である。 空間上に数字‘２'の筆記動作を示す図である。 図２の筆記動作について別の方向から観測した時を示す図である。 本発明の実施例による空間モーション認識システムのブロック図である。 ２次元平面上の軌跡で各点と最小距離を有する直線を探す過程を説明する図である 図４の空間モーション認識システムで仮想の筆記平面を探す過程を示す図である。 図４の空間モーション認識システムで３次元軌跡の投影過程を示す図である。 ３次元軌跡について仮想筆記平面に投映させるために投影位置を求めるベクトル関係を示す図である。

符号の説明

１０:スタイラスペン
２０: ＰＤＡ
２２: ディスプレイ面
１００: システム
１１０: モーション検出部
１２０: ディスプレイ
１３０: 送受信部
１４０: 制御部

Claims (10)

1. 空間上でシステム胴体の動きによる位置変化を電気的信号として出力するモーション検出部と、
   前記モーション検出部から出力された電気的信号から前記システム胴体の３次元軌跡を追跡し、追跡を通して取得した３次元軌跡情報から所定時間間隔における位置それぞれについて距離が最小になる仮想筆記平面を生成し、前記所定時間間隔における位置をそれぞれ前記仮想筆記平面に投影させ前記空間上の軌跡を復元する制御部と、
   を含むことを特徴とする空間モーション認識システム。
2. 前記制御部は前記所定時間間隔の位置について距離が最小になる前記仮想筆記平面を次の数式:
   

   

   {ｘ_i、ｙ_i、ｚ_i:３次元空間でシステム胴体の追跡された所定時間の座標
   α、β、γ:仮想筆記平面のパラメータ}
   によって算出することを特徴とする請求項１に記載の空間モーション認識システム。
3. 前記制御部は前記所定時間間隔の位置がそれぞれ前記仮想筆記平面に投影される軌跡を次の数式:
   

   

   {ｘ_i、ｙ_i、ｚ_i:３次元空間でシステム胴体のモーション発生によって獲得された電気的信号を所定時間間隔に区分した時の３次元座標、
   ｘ_i'、ｙ_i'、ｚ_i':所定時間間隔における任意の位置ｘ_i、ｙ_i、ｚ_iを仮想筆記平面に投影した時の座標、
   ａ、ｂ、ｃ、ｄ:仮想筆記平面のパラメータ}
   によって算出することを特徴とする請求項１に記載の空間モーション認識システム。
4. 前記制御部は、前記仮想筆記平面に投影された軌跡を２次元平面上で再生するために前記仮想筆記平面の軌跡についてｘ−ｙ軸の２次元平面に回転変換することを特徴とする請求項１に記載の空間モーション認識システム。
5. 前記制御部は、前記回転変換された軌跡を次の数式:
   

   

   {ｘ_i'、y_i'、ｚ_i': 軌跡を所定時間間隔に区分した後、ｉ番目位置ｘ_i、ｙ_i、ｚ_iを仮想筆記平面上に投影した時の３次元座標、
   ｘ_i"、ｙ_i"、ｚ_i": 投影された軌跡のｉ番目位置をｙ軸にθほど回転し、ｘ軸にΦど回転した点の座標}
   によって算出することを特徴とする請求項４に記載の空間モーション認識システム。
6. 空間上でシステム胴体の３次元軌跡情報を取得する段階と、
   前記取得した３次元軌跡情報から所定時間間隔における位置それぞれについて距離が最小になる仮想筆記平面を生成する段階と、
   前記所定時間間隔における位置をそれぞれ前記仮想筆記平面に投影して前記空間上の動きを復元する段階とを含むことを特徴とする空間モーション認識方法。
7. 前記仮想筆記平面は次の数式:
   

   

   {ｘ_i、ｙ_i、ｚ_i : ３次元空間でシステム胴体の追跡された所定時間の座標、
   α、β、γ: 仮想筆記平面のパラメータ }
   によって算出することを特徴とする請求項６に記載の空間モーション認識方法。
8. 前記所定時間間隔の位置がそれぞれ前記仮想筆記平面に投影される位置は次の数式:
   

   

   {ｘ_i、ｙ_i、ｚ_i: ３次元空間でシステム胴体のモーション発生によって追跡された所定時間の座標、
   ｘ_i'、ｙ_i'、ｚ_i': ｘ_i、ｙ_i、ｚ_iが仮想筆記平面に投影された時の座標、
   ａ、ｂ、ｃ、ｄ: 仮想筆記平面のパラメータ }
   によって算出することを特徴とする請求項６に記載の空間モーション認識方法。
9. 前記仮想筆記平面に投影された軌跡を２次元平面上で再生するために前記仮想筆記平面上の軌跡についてｘ−ｙ軸の２次元平面に回転変換する段階をさらに含むことを特徴とする請求項６に記載の空間モーション認識方法。
10. 前記回転変換された軌跡は次の数式:
    

    

    {ｘ_i'、ｙ_i'、ｚ_i':軌跡を所定時間間隔に区分した後、ｉ番目位置ｘ_i、ｙ_i、ｚ_iを仮想筆記平面上に投影した時の３次元座標、
    ｘ_i"、y_i"、z_i":投影された軌跡のｉ番目位置をｙ軸にθほど回転し、ｘ軸にΦほど回転した点の座標}
    によって算出することを特徴とする請求項９に記載の空間モーション認識方法。

Images