JP2020098614A - ユーザー基準空間座標系上におけるジェスチャー検出方法および装置 - Google Patents

Abstract

【課題】ユーザーを基準とする空間座標系を利用してユーザーのモーションからジェスチャーを正確に検出する方法および装置を提供する。【解決手段】ユーザー基準空間座標系上におけるジェスチャー検出方法は、ユーザーの第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を設定しＳ１１０、ユーザー基準空間座標系上において、ユーザーの第２身体部位に対応する第２身体座標の時間による移動ベクトルの状態を分析しＳ１３０、移動ベクトルの状態の変化に基づいてユーザーのジェスチャーを検出するＳ１４０。【選択図】図１８

Description

本発明はユーザー基準空間座標系上におけるジェスチャー検出方法に関するもので、より詳細には、ユーザーの身体の３次元座標検出手段（例えば３Ｄカメラなど、以下「３次元座標検出手段」という）に対するユーザー間の幾何学的な配置（位置および方向）とは無関係に、ユーザーを基準とする空間座標系を利用してユーザーのモーションからジェスチャーを正確に検出する方法および装置に関するものである。

身体部位の移動（モーション）を通じてのジェスチャーは、３次元座標検出手段を通じて行われ得る。例えば、３次元座標検出手段のうち３Ｄカメラ（ＴｏＦ、ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ、Ｓｔｅｒｅｏ、Ｄｕａｌ Ａｐｅｒｔｕｒｅ）、Ｒａｄａｒ、Ｌｉｄａｒなどは、外部でユーザーの身体座標の位置を検出する方式である。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＩＰＳ（Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）、ジャイロセンサー、加速度センサー、磁場センサーなどはユーザーが着用したセンサーから身体の３次元座標を検出することもできる。

ところで、従来のジェスチャー認識技術は、ユーザーが３次元座標検出手段に正確に向かい合っていない方向でモーションを行う場合、ユーザーの位置や方向によってユーザーのモーションを誤認識したり認識できない短所があった。特に一台の３次元座標検出手段で複数台の機器を制御しなければならない場合、それぞれの機器に向かってジェスチャーを行う度に３次元座標検出手段とユーザー間の幾何学的な配置（位置および方向）が変わってしまい、ユーザーのモーションを正しいジェスチャーとして認識できない短所があった。

図１は、従来のジェスチャー認識技術の問題点を例示した図面である。

図１では、ユーザー（１１）が３次元座標検出手段（１０）に正確に向かい合っていない状態で、斜線方向で指を最初の位置（１０１）の横（１０３）に移動させる場合を例示する。従来のジェスチャー認識技術は、このような移動を表わす空間ベクトル（１０５）をユーザーの意図とは異なり、指の前進や後進を意味するものと誤認識する可能性がある。またはユーザーの意図通りに認識をするとしても、認識率が非常に低くなる問題点もある。

したがって、３次元座標検出手段とユーザー間の幾何学的な配置とは無関係に、ユーザーのモーションからジェスチャーを正確に検出する技術が要請された。

本発明は、前記のような要請に応じて案出されたもので、ユーザーを基準とする空間座標系を利用してユーザーのモーションからジェスチャーを正確に検出する方法および装置を提供することを目的とする。

発明の一側面に係るユーザー基準空間座標系上におけるジェスチャー検出方法は、ユーザーの第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を設定する段階、ユーザー基準空間座標系上において、ユーザーの第２身体部位に対応する第２身体座標の時間による移動ベクトルの状態を分析する段階、移動ベクトルの状態の変化に基づいてユーザーのジェスチャーを検出する段階を含み、ユーザー基準空間座標系を設定する段階は、第１身体座標と第２身体座標とを連結する直線を基準として、ユーザー基準空間座標系の前後軸を生成する段階、生成された前後軸に直交するように、ユーザー基準空間座標系の左右軸および上下軸を生成する段階をさらに含み、ユーザー基準空間座標系の左右軸は、ユーザー基準空間座標系の上下軸に直交し、ユーザー基準空間座標系の左右軸は、ユーザーの頭の傾き、または、ユーザーが傾斜面に立っているかを参照して作成され、ユーザーが傾斜面に立っている場合、左右軸は、第１身体座標を通り、地面と平行するように生成され、上下軸は、第１身体座標を通るように生成され、ユーザーの頭が傾いている場合、上下軸は、第１身体座標を通り、第１身体座標で第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交するように生成され、左右軸は、第１身体座標を通るように生成される。

発明の他の側面に係るユーザー基準空間座標系上におけるジェスチャー検出装置は、外部の３次元身体座標検出手段から、ユーザーの第１身体部位および第２身体部位を含む複数の身体部位に対応する複数の身体座標を受信する３次元身体座標受信部、複数の身体座標に基づいて、第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を生成するユーザー基準空間座標系設定部、時間による、第２身体部位に対応する第２身体座標の移動ベクトルを生成し、移動ベクトルの状態を判断する移動ベクトル分析部、および移動ベクトルの状態の変化に基づいてユーザーのジェスチャーを検出するジェスチャー検出部を含み、ユーザー基準空間座標系は、第１身体座標および第２身体座標を連結する直線基準として、ユーザー基準空間座標系の前後軸を生成するように構成される前後軸設定部、生成された前後軸に直交するように、ユーザー基準空間座標系の左右軸を生成するように構成される左右軸設定部、生成された前後軸に直交するように、ユーザー基準空間座標系の上下軸を生成するように構成される上下軸設定部を含み、ユーザー基準空間座標系の左右軸は、ユーザー基準空間座標系の上下軸に直交し、ユーザー基準空間座標系の左右軸は、ユーザーの頭の傾き、または、ユーザーが傾斜面に立っているかを参照して作成され、ユーザーが傾斜面に立っている場合、左右軸は、第１身体座標を通り、地面と平行するように生成され、上下軸は、第１身体座標を通るように生成され、ユーザーの頭が傾いている場合、上下軸は、第１身体座標を通り、第１身体座標で第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交するように生成され、左右軸は、第１身体座標を通るように生成される。

本発明を利用すれば、３次元座標検出手段−ユーザー間の幾何学的な配置（位置および方向）とは無関係に、ユーザーを基準とする空間座標系を利用してユーザーのモーションからジェスチャーを正確に検出する方法および装置を具現することができる効果がある。

従来のジェスチャー認識技術の問題点を例示した図面。 ユーザー基準空間座標系の一例を示した図面。 図２のユーザー基準空間座標系の三軸をｘ軸、ｙ軸およびｚ軸に対応させた図面。 ユーザー基準空間座標系の上下軸と左右軸を設定する方法の一例を示した図面。 ユーザー基準空間座標系の上下軸と左右軸を設定する方法の他の例を示した図面。 ユーザー基準空間座標系の上下軸と左右軸を設定する方法のさらに他の例を示した図面。 ユーザー基準空間座標系における移動ベクトルを例示した図面。 図７の移動ベクトルを球面座標で表現した図面。 ｚ軸となす移動ベクトルのθ成分の大きさと移動ベクトルの方向の関係を示した図面。 ｘ軸となす移動ベクトルのφ成分の大きさと移動ベクトルの方向の関係を示した図面。 移動ベクトルの移動状態を示した状態図（ｓｔａｔｅ ｄｉａｇｒａｍ）。 仮想球面上でユーザーのジェスチャーを検出する方法を例示した図面。 多重仮想球面上でユーザーのジェスチャーを検出する方法を例示した図面。 ユーザー基準空間座標系上におけるジェスチャー検出装置の一例を示したブロック図。 図１４のジェスチャー検出装置のユーザー基準空間座標系設定部をさらに詳細に示したブロック図。 図１４のジェスチャー検出装置の移動ベクトル分析部をさらに詳細に示したブロック図。 図１４のジェスチャー検出装置のジェスチャー検出部をさらに詳細に示したブロック図。 ユーザー基準空間座標系上におけるジェスチャー検出方法の一例を示したフローチャート。

以下、発明の内容を図面を参照してより具体的に説明する。

図２は、ユーザー基準空間座標系の一例を示した図面である。

図２に例示した通り、本発明はユーザーを基準として空間座標系を形成する。ユーザーを基準として空間座標系を形成することによって、カメラとユーザー間の幾何学的な配置に無関係にユーザーのモーションをユーザーの意図通りに解釈することができる。

ユーザー基準空間座標系では、まずユーザーの第１身体部位の座標と第２身体部位の座標を連結する直線を「前後軸」に設定する。

明細書全体において、第１身体部位の座標はユーザー基準空間座標系の原点になる。第１身体部位は例えば、ユーザーの両眼のうち片方の目を選択することができる。しかし、ユーザー基準空間座標系の原点として機能することができるのであれば、いずれの身体部位でも第１身体部位に指定され得る。また、第２身体部位はモーションがなされる身体部位となる。第２身体部位のモーションからジェスチャーが検出される。第２身体部位は例えば、ユーザーの特定の指先を選択することができる。しかし、時間の流れにつれてモーションがなされるのであれば、いずれの身体部位でも第２身体部位に指定され得る。

次に、第１身体部位で前後軸と直交する平面上で「左右軸」と「上下軸」を設定する。左右軸を先に設定すれば、上下軸は前後軸および左右軸にそれぞれ直交する軸に決定される。場合により、上下軸を先に設定し、左右軸が前後軸および上下軸にそれぞれ直交する軸に決定されるようにすることもできる。

左右軸は、ユーザーが水平と認識する軸を意味する。左右軸によってユーザーの空間は左側と右側に分割される。

また、上下軸はユーザーが垂直と認識する軸を意味する。上下軸によってユーザーの空間は上方と下方に分割される。

また、前後軸はユーザーが前後と認識する軸を意味する。前後軸によってユーザーの空間は前方と後方に分割される。

また、左右軸、上下軸および前後軸は、一般の空間座標系の表記方式においてそれぞれ、ｘ軸、ｙ軸およびｚ軸に対応させることができる。

図３は、図２のユーザー基準空間座標系の三軸を、ｘ軸、ｙ軸およびｚ軸に対応させた図面である。

図２の左右軸２１は図３に示した通り、ｘ軸３１に対応させることができる。例えば、ｘ軸３１の正（＋）の方向はユーザー基準空間座標系においてユーザーの「右側」に該当する。

上下軸２２はｙ軸３２に対応させることができる。例えば、ｙ軸３２の正（＋）の方向はユーザー基準空間座標系においてユーザーの「上方」に該当する。前後軸２０はｚ軸３０に対応させることができる。例えば、ｚ軸３０の正（＋）の方向はユーザー基準空間座標系においてユーザーの「後方」に該当する。

図４は、ユーザー基準空間座標系の上下軸と左右軸を設定する方法の一例を示した図面である。

図４に示したユーザー基準空間座標系は、左右軸が前後軸および重力方向と直交し、上下軸は前後軸および左右軸と直交するように設定される。ユーザーが平地に立っている場合であれば、（１）第１身体部位４００を通り、（２）重力方向と垂直であり、（３）前後軸と第１身体部位４００で直交するように左右軸を先に設定することによって、ユーザーが認識する左右方向と左右軸の方向を一致させることができる。同様に、（１）第１身体部位４００を通り、（２）地表面と平行し、（３）前後軸と第１身体部位４００で直交するように左右軸を設定することによって、ユーザーが認識する左右方向と左右軸の方向を一致させることもできる。

上下軸は原点４００で左右軸および前後軸にそれぞれ直交する直線に決定される。

図５は、ユーザー基準空間座標系の上下軸と左右軸を設定する方法の別の例を示した図面である。

ユーザーが傾斜面に立っている場合であれば、重力方向とユーザーが認識する上下軸方向は一致しなくなる。

したがって、ユーザーが傾斜面に立っている場合に備えて、（１）第１身体部位５００を通り、（２）地表面と平行し、（３）前後軸と第１身体部位５００で直交するように左右軸を設定することによって、地表面５３と平行するように左右軸を先に設定することによってユーザーが認識する左右方向と左右軸の方向を一致させることができる。

この場合、上下軸は原点５００で左右軸および前後軸にそれぞれ直交する直線に決定される。

図６は、ユーザー基準空間座標系の上下軸と左右軸を設定する方法のさらに他の例を示した図面である。

ユーザーの頭が傾くとユーザーが認識する左右の方向が地表面と平行する方向とならない可能性がある。

ユーザーの頭が傾いてもユーザーが認識する左右軸と上下軸が不変となるように、（１）第１身体部位（例えば、左眼）（ユーザーの両眼のうち基準とするいずれか一方の眼であれば、右眼でも左眼でもよい。さらに、ユーザーの両眼のうち優れている眼を第１身体部位に使うこともできる。以下、この明細書全体において同じである。）６００を通り、（２）第１身体部位６００で、第１身体部位（すなわち、ユーザー基準空間座標系の原点になる身体部位。例えば左眼）６００と第３身体部位（例えば、右眼）６０４の延長線６３と直交し、（３）第１身体部位６００で前後軸６０と直交するように、上下軸６２を設定する。

左右軸６１は原点６００で前後軸６０および上下軸６２にそれぞれ直交する直線に決定される。

図７は、ユーザー基準空間座標系における移動ベクトルを例示した図面である。

移動ベクトル７００は、ユーザーの第１時刻における第２身体部位７０２と第１時刻に続く第２時刻における第２身体部位７０４間のモーションを表わすベクトルである。ユーザー基準空間座標系内で時間による移動ベクトルを解釈することによって、ユーザーの意図にさらに符合するようにユーザーのジェスチャーの意味を把握することができる。

この時、ユーザー基準空間座標系の左右軸、上下軸および前後軸は図面に示した通り、それぞれ直交座標系の、ｘ軸、ｙ軸およびｚ軸で表示する。（一方、ｚ軸の正の方向はユーザーの後方に対応する）

下記の図８以降では、移動ベクトルの解釈を通じてジェスチャーを検出する方法をさらに具体的に説明する。

図８は、図７の移動ベクトルを球面座標で表現した図面である。

本発明者は、図７に例示した移動ベクトルをユーザー基準空間座標系で球面座標で表現することによって、ジェスチャーの意味を移動ベクトルに基づいて非常に容易に解釈できることを発見した。

図７でのユーザーの第１時刻における第２身体部位７０２の座標をユーザー基準空間座標系においてｘ１、ｙ１、ｚ１に、第２時刻における第２身体部位７０４の座標をｘ２、ｙ２、ｚ２に、それぞれ表示することにする。

この時、第１時刻から第２時刻までの時間の間ユーザーの第２身体部位の移動を表わす移動ベクトルをＶ＝（ｒ、θ、φ）と表現することができる。

ｒは第１時刻から第２時刻までの時間の間ユーザーの第２身体部位の移動距離を表わす。θは前後軸の正の方向となす角度を意味する。φはｘ−ｙ平面に投影した移動ベクトルが左右軸の正の方向となす角度を意味する。（０°≦φ≦３６０°、０°≦θ≦１８０°）

また、移動ベクトルＶは、下記の数学式１のように表わすことができる。

［数学式１］

表１は移動ベクトルの方向とθおよびφの大きさの関係を例示した表である。

図９は、ｚ軸となす移動ベクトルのθ成分の大きさと移動ベクトルの方向の関係を示した図面である。

図１０は、ｘ軸となす移動ベクトルのφ成分の大きさと移動ベクトルの方向の関係を示した図面である。

表１、図９および図１０の例において、移動ベクトルの移動方向は、前方（Ｆｏｒｗａｒｄ）、後方（Ｂａｃｋｗａｒｄ）、左側（Ｌｅｆｔ）、右側（Ｒｉｇｈｔ）、上方（Ｕｐｗａｒｄ）、下方（Ｄｏｗｎｗａｒｄ）の６種類でのみ定義される。すなわち、表１ではその他の移動方向は説明の単純化のために省略することにする。

ユーザーは直線または完全な円を描くように身体を移動させることはできない。ユーザーの意図が指先を左側に移動させるものであったとしても、実際には正確に左側に移動するのではなく、若干傾いて移動するであろう。したがって、ユーザーのモーションを解釈するためには若干の誤差を勘案する必要がある。

このような誤差を勘案して、θの範囲が０°≦θ≦４５°の領域９００は後方と定義される。この範囲においてφの値と無関係に移動ベクトル（すなわち、ユーザーの指先）は後方移動をしたと解釈される。

同様に、θの範囲が１３５°≦θ≦１８０°の領域９２０は前方と定義される。この範囲においては、φの値と無関係に移動ベクトル（すなわち、ユーザーの指先）は前方移動をしたと解釈する。

θの範囲が４５°＜θ＜１３５°の領域９１０は前方でも後方でもないと定義される。したがって、θの範囲が４５°＜θ＜１３５°であると、φの範囲によって、１３５°≦φ≦２２５°の領域１０３０は左側、３１５°≦φ≦４５°の領域１０２０は右側、４５°≦φ≦１３５°の領域１０００は上方、２２５°≦φ≦３１５°の領域１０１０は下方と、それぞれ定義される。

すなわち、θの範囲が領域９１０にあると、φの範囲が領域１０００、領域１０１０、領域１０２０または領域１０３０に属する移動ベクトルは、それぞれ上方、下方、右側または左側移動をしたと解釈する。

表２は移動ベクトルの方向をさらに細分してθおよびφの大きさとの関係を例示した表である。

表１では移動ベクトルの方向が６種類でのみ定義された。しかし、６種類の方向だけでは指先の移動を定義するのに不充分であり得る。したがって、表２では移動ベクトルの方向を１８種類に細分して定義した。

表２に示した通り、時間（ t2-t1）の間移動ベクトルのθおよびφの大きさの関係により移動ベクトルの移動方向を判断することができる。

例えば、移動ベクトルのθが１３０°であり、φが１°であれば、時間（ t2-t1）の間ユーザーの指先は前右側（Ｆｏｒｗａｒｄ−Ｒｉｇｈｔ）方向に移動したと判断することができる。

図１１は、移動ベクトルの移動状態を示した状態図（ｓｔａｔｅ ｄｉａｇｒａｍ）である。

前記図７で説明した通り、移動ベクトルは特定の時区間の間の変位で定義される。例えば、単位時間当たり指先の変位が移動ベクトルで定義される。

移動ベクトルの運動状態は図１１に示した通り、大きく四つの状態（ｓｔａｔｅ）に区分することができる。

第１状態Ｓ０は、移動ベクトルが停止した状態である。例えば、単位時間の間ユーザーの指先が事実上停止した状態が状態Ｓ０に該当する。

第２状態Ｓ１は、移動ベクトルが前進運動する状態である。例えば、ユーザーが単位時間の間指先を基準身体部位である第１身体部位（すなわち、ユーザー基準空間座標系の原点になる身体部位。例えば左眼）から遠ざかる方向（すなわち、前方）に移動させるモーションが状態Ｓ１に該当する。

第３状態Ｓ２は、移動ベクトルが後方移動する状態である。例えば、ユーザーが単位時間の間指先を基準身体部位である第１身体部位（すなわち、ユーザー基準空間座標系の原点になる身体部位。例えば左眼）に近づく方向（すなわち、後方）に移動させるモーションが状態Ｓ２に該当する。

第４状態Ｓ３は、移動ベクトルが表面移動する状態である。例えば、ユーザーが単位時間の間指先を基準身体部位である第１身体部位（すなわち、ユーザー基準空間座標系の原点になる身体部位。例えば左眼）と近くも遠くもならない距離で移動させるモーションが状態Ｓ３に該当する。また、上下左右運動はすべて状態Ｓ３に該当する。

さらに具体的に、四つの状態を説明する。

ユーザーのジェスチャーを検出するための装置は、定められた時間間隔で毎時刻ごとにユーザーの第１身体部位（すなわち、ユーザー基準空間座標系の原点になる身体部位。例えば左眼）と第２身体部位（すなわち、ユーザー基準空間座標系でジェスチャー検出の対象となる身体部位。例えば特定の指先）の３次元座標情報の入力を受けて、毎時刻ごとに第２身体部位の移動ベクトルＶ＝（ｒ、θ、φ）を求める。

例えば、ＴｏＦ方式の３Ｄカメラは、光が反射して帰ってくる時間を測定する方式で取得した３Ｄ映像を一定時間の間隔毎に１フレームずつ保存し、保存された毎イメージフレームごとに第１身体部位、第２身体部位を検出し、第１身体部位および第２身体部位に対する３次元座標を生成する。

または、Ｓｔｅｒｅｏ Ｃａｍｅｒａ方式の３Ｄカメラは、左側と右側の映像センサーから入力を受けた２枚の映像が有するようになる時差（Ｄｉｓｐａｒｉｔｙ）を利用して取得した３Ｄ映像を一定時間の間隔毎に１フレームずつ保存し、保存された毎イメージフレームごとに第１身体部位、第２身体部位を検出し、第１身体部位および第２身体部位に対する３次元座標を生成する。

または、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式の３Ｄカメラは、一つの位置から投射したＳｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔを他の位置で入力を受けて投射したパターンと入力として入ってきたパターンの差を分析して３Ｄ情報を取得する。このように取得した３Ｄ映像を一定時間の間隔毎に１フレームずつ保存し、保存された毎イメージフレームごとに第１身体部位、第２身体部位を検出し、第１身体部位および第２身体部位に対する３次元座標を生成する。

または、３次元座標提供手段がレーダー（Ｒａｄａｒ）の場合、一定時間の間隔で直進性を有するマイクロ波を発散した後、反射して帰ってきた電磁気波を測定して３次元座標がわかる手段である。このように毎周期ごとに検出された情報から第１身体部位、第２身体部位を検出し、第１身体部位および第２身体部位に対する３次元座標を生成する。または、３次元座標提供手段がライダー（Ｌｉｄａｒ）の場合、一定時間の間隔で回転しながら直進性を有するレーザー光線を発散した後、反射して帰ってきた光を測定して３次元座標がわかる手段である。このように毎回転周期ごとに検出された情報から第１身体部位、第２身体部位を検出し、第１身体部位および第２身体部位に対する３次元座標を生成する。

または、第１身体部位および第２身体部位にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を着用した場合、毎フレームごとに互いに異なる位置から送信される電波の到達時間を測定して距離を計算し、各送信点を基準点とし、到達距離を半径とした球を生成して、球が重なる部分を位置と決定して第１身体部位と第２身体部位に対する３次元座標を生成する。

または、第１身体部位および第２身体部位にＩＰＳ（Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を着用した場合、毎フレームごとに互いに異なる位置から送信される電波および超音波の到達時間を測定して距離を計算するか、互いに異なる位置から送信される電波および超音波の受信強度を測定（ＲＳＳＩ、Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）して距離を計算し、各送信点を基準点とし、到達距離を半径とした球を生成して、球が重なる部分を位置と決定して第１身体部位と第２身体部位に対する３次元座標を生成する。

または、第１身体部位および第２身体部位に９軸センサー（ジャイロセンサー、加速度センサー、磁場センサー）とＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機またはＩＰＳ（Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を一緒に着用した場合、ＧＰＳまたはＩＰＳを通じて生成した３次元座標を９軸センサーを通じて入力された姿勢および運動情報を通じて補正することによって、より正確な第１身体部位と第２身体部位に対する３次元座標を生成する。

第１状態Ｓ０となるために、ユーザーの第２身体部位は必ずしも完全に停止している必要はない。「実質的に」停止した状態でさえあれば、第１状態Ｓ０に該当するとみなす。このようにする理由は、前述したように、ユーザーの意図と実際のモーションの間に存在する若干の誤差を考慮するためである。

すなわち、第１状態Ｓ０となるためには、下記の数学式２を満足しなければならない。

［数学式２］
ｖ（ｔ）＝ｒ＜Ｔｈ１

この時、ｖ（ｔ）は時刻ｔにおける移動ベクトルの大きさである。すなわち、移動ベクトルの定義により、ｖ（ｔ）は時刻ｔにおける第２身体部位の速度の大きさを意味する。このｖ（ｔ）が第１臨界値（Ｔｈ１）より小さいと、移動ベクトルが実質的に停止した状態であると定義することができる。第１臨界値（Ｔｈ１）は十分に小さい値である必要がある。また、移動ベクトルの大きさが非常に小さいことが求められるだけで、移動ベクトルのθおよびφが備えるべき条件はない。

第２状態Ｓ１となるために、ユーザーの第２身体部位は所定の大きさ、すなわち第２臨界値（Ｔｈ２）以上の大きさを有する速度を有すると共に、前方移動をするためのθおよびφの条件を満足しなければならない。

第２臨界値（Ｔｈ２）は第１臨界値（Ｔｈ１）と比べて顕著に大きな値である必要がある。

例えば、前記表１でのように、上下左右前後の６種類の移動方向が定義された場合、状態Ｓ１を満足するための条件は、下記の数学式３のとおりである。

［数学式３］
ｖ（ｔ）＝ｒ≧Ｔｈ２ ａｎｄ １３５°≦θ≦１８０°

第３状態Ｓ２となるために、ユーザーの第２身体部位は所定の大きさ、すなわち第３臨界値（Ｔｈ３）以上の大きさを有する速度を有すると共に、後方移動をするためのθおよびφの条件を満足しなければならない。

例えば、前記表１でのように、上下左右前後の６種類の移動方向が定義された場合、状態Ｓ２を満足するための条件は下記の数学式４のとおりである。

［数学式４］
ｖ（ｔ）＝ｒ≧Ｔｈ３ ａｎｄ ０°≦θ≦４５°

第４状態Ｓ３となるために、ユーザーの第２身体部位は所定の大きさ、すなわち第４臨界値（Ｔｈ４）以上の大きさを有する速度を有すると共に、表面移動をするためのθおよびφの条件を満足しなければならない。

例えば、前記表１でのように上下左右前後の６種類の移動方向が定義された場合、状態Ｓ３を満足するための条件は下記の数学式５〜数学式８のとおりである。

ｉ）上方移動である場合（Ｕｐｗａｒｄ Ｍｏｔｉｏｎ）：
［数学式５］
ｖ（ｔ）＝ｒ≧Ｔｈ４ ａｎｄ ４５°≦θ≦１３５° ａｎｄ ４５°≦φ≦１３５°

ｉｉ）下方移動である場合（Ｄｏｗｎｗａｒｄ Ｍｏｔｉｏｎ）：
［数学式６］
ｖ（ｔ）＝ｒ≧Ｔｈ４ ａｎｄ ４５°≦θ≦１３５° ａｎｄ ２２５°≦φ≦３１５°

ｉｉｉ）左向き移動である場合（Ｌｅｆｔｗａｒｄ Ｍｏｔｉｏｎ）：
［数学式７］
ｖ（ｔ）＝ｒ≧Ｔｈ４ ａｎｄ ４５°≦θ≦１３５° ａｎｄ １３５°≦φ≦２２５°

ｉｖ）右向き移動である場合（Ｒｉｇｈｔｗａｒｄ Ｍｏｔｉｏｎ）：
［数学式８］
ｖ（ｔ）＝ｒ≧Ｔｈ４ ａｎｄ ４５°≦θ≦１３５° ａｎｄ （３１５°≦φｏｒφ≦４５°）

ジェスチャーは、複数の状態Ｓ０、状態Ｓ１、状態Ｓ２、状態Ｓ３の組み合わせに基づいて検出される。

例えば、ユーザーの指先が動かない「ホールド（ｈｏｌｄ）」ジェスチャーは、時間の流れにつれて状態Ｓ０が２以上組み合わせられていることに基づいて検出することができる。

または、ユーザーの指先がある地点を「タッチ（ｔｏｕｃｈ）」するジェスチャーは、状態Ｓ１に続いて状態Ｓ０が組み合わせられていることに基づいて検出することができる。

または、ユーザーの指先がある地点から落ちる「リリース（ｒｅｌｅａｓｅ）」ジェスチャーは、状態Ｓ０に続いて状態Ｓ２が組み合わせられていることに基づいて検出することができる。

または、ユーザーの指先がある地点を「クリック（ｃｌｉｃｋ）」するジェスチャーは、状態Ｓ１に続いて（状態Ｓ０を経由するかまたは経由せずに）状態Ｓ２が組み合わせられていることに基づいて検出することができる。

または、ユーザーの指先が第１身体座標から遠くも近くもならないまま、上下左右のうちいずれかの方向に移動する「ドラッグ（ｄｒａｇ）」ジェスチャーは、状態Ｓ３が２以上組み合わせられていることに基づいて検出することができる。一方、状態Ｓ３において、具体的にいずれの方向の移動であるかは前記数学式５〜数学式８で示したφの範囲を通して知ることができる。

図１２は、仮想球面上でユーザーのジェスチャーを検出する方法を例示した図面である。

もし、移動ベクトルが前進または後進しないのであれば（すなわち、上下左右の運動のみをするのであれば）、移動ベクトルの軌跡は第１身体部位１２０１を中心とする仮想球面１２００を形成するようになる。

図１２では、このような仮想球面１２００上でのユーザーのジェスチャーをいくつか例示した。

ユーザーの移動ベクトルが、状態Ｓ０から、時刻Ｔ０から時刻Ｔ１の間に状態Ｓ１に変更され、また時刻Ｔ１で状態Ｓ０に変更されたのであれば、時刻Ｔ１に「タッチ（ｔｏｕｃｈ）」ジェスチャーが発生したと判断することができる。

時刻Ｔ１から時刻Ｔ２の間に移動ベクトル１２２０の状態が状態Ｓ１から（状態Ｓ０を経由するかまたは経由せずに）状態Ｓ３に変更されたのであれば、この時区間では仮想球面を上下左右などに「ドラッグ（ｄｒａｇ）」ジェスチャーが発生したと判断することができる（具体的にいずれの方向の移動であるかは前記数学式５〜数学式８で示したφの範囲を通して知ることができる）。

時刻Ｔ２に移動ベクトル１２３０の状態が状態Ｓ３から（状態Ｓ０を経由するかまたは経由せずに）状態Ｓ２に変更されたのであれば、時刻Ｔ２に「リリース（ｒｅｌｅａｓｅ）」ジェスチャーが発生したと判断することができる。

さらに、時刻Ｔ０から時刻Ｔ３の間に移動ベクトル１２１０、１２２０、１２３０がこの順で組み合わせられたのであれば、これを通じて、例えばあるオブジェクトを選択し（「タッチ（ｔｏｕｃｈ）」ジェスチャー）、特定のフォルダにドラッグして移動させた後（「ドラッグ（ｄｒａｇ）」ジェスチャー）、そのフォルダにドロップする（「リリース（ｒｅｌｅａｓｅ）」ジェスチャー）一連の動作を具現することができる。

図１３は、多重仮想球面上でユーザーのジェスチャーを検出する方法を例示した図面である。

共通の中心を有する仮想球面は複数個存在し得る。また、ジェスチャーを組み合わせて多段階の仮想球面の間を行き来することができる。

このような特性を活用すれば、「ディープタッチ（ｄｅｅｐ ｔｏｕｃｈ）」ジェスチャーを具現し、これを検出することも可能である。

共通の中心１３０１を有する第（ｎ−１）番目の仮想球面１３００、第ｎ番目の仮想球面１３０２、第（ｎ＋１）番目の仮想球面１３０３を例にして説明する（ただし、ｎ≧２、ｎは整数）。

時刻Ｔ０から時刻Ｔ１の間で移動ベクトル１３１０の状態変化に基づいてタッチ（ｔｏｕｃｈ）ジェスチャーが検出されると、ユーザーの第２身体部位は第（ｎ−１）番目の仮想球面１３００の表面に位置するようになる。

以後、時刻Ｔ１から時刻Ｔ２の間に移動ベクトル（図示されず）の状態変化に基づいてホールド（ｈｏｌｄ）ジェスチャーが検出されると、ユーザーの第２身体部位は依然として第（ｎ−１）番目の仮想球面１３００の表面に留まる（移動ベクトルを図示していない理由は、停止状態での移動ベクトルの大きさは実質的に０に近いためである）。

もし、時刻Ｔ２から時刻Ｔ３の間に移動ベクトル１３２０の状態変化に基づいて再びタッチ（ｔｏｕｃｈ）ジェスチャーが検出されると、ユーザーの第２身体部位は第（ｎ−１）番目の仮想球面１３００から第（ｎ）番目の仮想球面１３０２の表面に移動する。

この状態で、時刻Ｔ３から時刻Ｔ４の間に移動ベクトル１３３０の状態変化に基づいてドラッグ（ｄｒａｇ）ジェスチャーが検出されると、ユーザーの第２身体部位は第（ｎ）番目の仮想球面１３０２の表面で上下左右などの運動をするのを検出できるようになる（具体的にいずれの方向の移動であるかは前記数学式５〜数学式８で示したφの範囲を通して知ることができる。）。

以後、時刻Ｔ４で移動ベクトル１３４０の状態変化に基づいてリリース（ｒｅｌｅａｓｅ）ジェスチャーを検出すると、第２身体部位は再び第（ｎ−１）番目の仮想球面１３００の表面に移動することができる。

再び、時刻Ｔ５から時刻Ｔ６の間に移動ベクトル１３５０の状態変化に基づいてタッチ（ｔｏｕｃｈ）ジェスチャーを検出すると、第２身体部位は第（ｎ）番目の仮想球面１３０２の表面に移動することができる。

以後、時刻Ｔ６から時刻Ｔ７の間に移動ベクトル（図示されず）の状態変化に基づいてホールド（ｈｏｌｄ）ジェスチャーが検出されると、ユーザーの第２身体部位は依然として第（ｎ）番目の仮想球面１３０２の表面に留まる。

同様に、時刻Ｔ７から時刻Ｔ８の間に移動ベクトル１３６０の状態変化に基づいてタッチ（ｔｏｕｃｈ）ジェスチャーを検出すると、第２身体部位は第（ｎ＋１）番目の仮想球面１３０３の表面に移動することができる。

以後、時刻Ｔ８から時刻Ｔ９の間に移動ベクトル（図示されず）の状態変化に基づいてホールド（ｈｏｌｄ）ジェスチャーが検出されると、ユーザーの第２身体部位は依然として第（ｎ＋１）番目の仮想球面１３０３の表面に留まる。

このようにすれば、多段階の仮想球面上で具現されるジェスチャーが可能である。

図１４は、ユーザー基準空間座標系上におけるジェスチャー検出装置の一例を示したブロック図である。

ジェスチャー検出装置１４００は、３次元身体座標受信部１４１０、ユーザー基準空間座標系設定部１４２０、移動ベクトル分析部１４３０およびジェスチャー検出部１４４０を含んでからなる。ジェスチャー検出装置１４００は、一種のセットトップボックスや制御ボックスの形態で具現され得る。しかし、このような形態に限定されず、ネットワーク上で動作するサーバーの形態で具現されてもよい。または多様な家庭用機器に組み込まれて（ｅｍｂｅｄ）具現されてもよい。

３次元身体座標受信部１４１０は外部の３次元身体座標検出手段から、ユーザーの第１身体部位（例えば片方の眼）および第２身体部位（例えばモーションを行う指先）を含む複数の身体部位に対応する複数の身体座標を受信する。

３次元身体座標検出手段は前述した通り、３Ｄカメラやレーダー、ライダなどの多様な装置となり得る。

３次元身体座標受信部１４１０は、３次元身体座標検出手段からユーザーの身体座標を無線データ通信または有線データ通信方式で受信できる入出力装置（Ｉ／Ｏ）の形態で具現される。また、図面に図示してはいないが、時間の流れにつれて毎フレームごとに受信する複数の身体座標を一時保存するための保存部（メモリー装置など）をさらに含むこともできる。

ユーザー基準空間座標系設定部１４２０は、３次元身体座標受信部１４１０で受信した複数の身体座標に基づいて、ユーザーの第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を生成する。

移動ベクトル分析部１４３０はジェスチャー検出の対象となる、第２身体座標の時間による移動ベクトルを生成し、移動ベクトルの状態を判断する。

ジェスチャー検出部１４４０は、移動ベクトルの状態の変化に基づいてユーザーのジェスチャーを検出する。

図１５は、図１４のジェスチャー検出装置のユーザー基準空間座標系設定部をさらに詳細に示したブロック図である。

ユーザー基準空間座標系設定部１４２０は、前後軸設定部１４２２、左右軸設定部１４２４および上下軸設定部１４２６をさらに含む。

前述した通り、前後軸設定部１４２２はユーザー基準空間座標系においてユーザーの前方と後方を示す前後軸を設定する。

具体的には、前後軸設定部は第１身体座標および第２身体座標をすべて通る直線をユーザー基準空間座標系の前後軸に設定する。

前後軸は、ユーザー基準空間座標系でｚ軸に対応でき、ユーザーの後方がｚ軸の正（＋）の方向となり得ることは前述した通りである。

図１６は、図１４のジェスチャー検出装置の移動ベクトル分析部をさらに詳細に示したブロック図である。

移動ベクトル分析部１４３０は、移動ベクトル生成部１４３２および移動ベクトル状態判断部１４３４をさらに含む。

移動ベクトル生成部１４３２は、第１時刻（ｔ＝ｔ１）の第２身体座標ｘ１、ｙ１、ｚ１および第２時刻（ｔ＝ｔ２）の第２身体座標ｘ２、ｙ２、ｚ２に対して、移動ベクトルＶを数学式１および図８のような球面座標を有するように生成する。

移動ベクトル状態判断部１４３４は、球面座標で表現された移動ベクトルのｒ、θ、φ成分の値に基づいて移動ベクトルの状態を前述のように判断する。その結果として、移動ベクトルの状態は、停止状態Ｓ０、前進状態Ｓ１、後進状態Ｓ２および表面移動状態Ｓ３のうちいずれか一つに特定される。

図１７は、図１４のジェスチャー検出装置のジェスチャー検出部をさらに詳細に示したブロック図である。

ジェスチャー検出部１４４０は、移動ベクトルモニタリング部１４４２、ジェスチャー保存部１４４４およびジェスチャー判断部１４４６をさらに含む。

移動ベクトルモニタリング部１４４２は、該当時刻に移動ベクトルの状態に変化があるかをモニタリングする。

例えば、時刻（ｔ＝ｔ１）に移動ベクトルの状態は状態Ｓ０であるが、所定の時区間を遡った時点には状態Ｓ１であったとすると、移動ベクトルモニタリング部１４４２は移動ベクトルの状態が状態Ｓ１から状態Ｓ０に変化したことを把握する。

ジェスチャー保存部１４４４は、移動ベクトルの状態の変化の類型ごとに各変化の類型に対応するジェスチャーの類型を保存する。

例えば、直前の例において状態Ｓ１から状態Ｓ０に変化する類型（パターン）は「タッチ」ジェスチャーに対応する。物理的には、ユーザーの指先（第２身体部位）が一定時間の間前進してから停止する状態を意味する。すなわち、ユーザーが指先で仮想球面の一地点をタッチする行為に対応する。

このように、多様な移動ベクトルの状態の組み合わせは多様なジェスチャーに対応し、ジェスチャー保存部１４４４には移動ベクトルの状態の組み合わせとこれに対応するジェスチャーの関係に関する情報が保存される。ジェスチャー保存部１４４４は各種メモリー装置で具現され得る。

ジェスチャー判断部１４４６は、移動ベクトルモニタリング部１４４２で得た移動ベクトルの状態の変化の類型（パターン）に対応するジェスチャーの類型を、ジェスチャー保存部１４４４を参照して判断する。最終的に、ジェスチャー判断部１４４６は、そのジェスチャーがユーザーが該当時刻に行ったジェスチャーであると判断し、ジェスチャーの検出過程を終了する。

図１８は、ユーザー基準空間座標系上におけるジェスチャー検出方法の一例を示したフローチャートである。

段階（Ｓ１００）では、毎時刻に対応する身体座標を受信する。もし、外部の３次元身体座標検出手段が３Ｄカメラと同じであれば、毎時刻に対応するイメージフレームごとにユーザーの身体座標を受信するようになる。

段階（Ｓ１１０）では、受信された身体座標に基づいて前後軸、上下軸および左右軸が設定されることによってユーザー基準空間座標系が設定される。

段階（Ｓ１２０）では、ユーザー基準空間座標系内でモーションおよびジェスチャー検出の対象となる第２身体座標に関する移動ベクトルが生成される。

段階（Ｓ１３０）では、移動ベクトルの毎時刻の状態が判断される。

段階（Ｓ１４０）では、移動ベクトルの状態の変化に基づいて、ジェスチャーが検出される。

このような段階（Ｓ１００）〜段階（Ｓ１４０）の流れは、ジェスチャー検出装置が動作し続ける間は繰り返し行われる。

したがって、ジェスチャー検出装置はユーザーに対するジェスチャー検出を行い続けるかを判断し（Ｓ１５０）、もし、行い続ける場合には（Ｓ１５２）段階（Ｓ１００）に復帰する。もし、ジェスチャー検出を終了したい場合には（Ｓ１５４）、それ以上身体座標を受信せずに、動作を終了する。

以上のように発明の詳細な内容を図面および多様な実施例を通じて詳察した。

しかし、このような内容は発明を説明するための例示に過ぎないものである。すなわち、発明は図面と実施例の場合にのみ限定されず、特許請求の範囲に属する実施例およびその他のいかなる変形実施例も発明の権利範囲に属することは自明である。
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］
ユーザーの第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を設定する段階、
前記ユーザー基準空間座標系上において、前記ユーザーの第２身体部位に対応する第２身体座標の時間による移動ベクトルの状態を分析する段階、
前記移動ベクトルの状態の変化に基づいて前記ユーザーのジェスチャーを検出する段階を含む、
ユーザー基準空間座標系上におけるジェスチャー検出方法。
［２］
前記ユーザー基準空間座標系は、前後軸、左右軸および上下軸を含み、
前記ユーザー基準空間座標系を設定する段階は、前記第１身体座標および前記第２身体座標を通るように前記前後軸を生成する段階をさらに含む、
［１］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［３］
前記ユーザー基準空間座標系を設定する段階は、前記第１身体座標を通り、前記前後軸と直交し、地面と平行するように前記左右軸を生成する段階、および
前記第１身体座標を通り、前記前後軸および前記左右軸とそれぞれ直交するように前記上下軸を生成する段階、
をさらに含む、［２］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［４］
前記ユーザー基準空間座標系を設定する段階は、前記第１身体座標を通り、前記第１身体座標で前記第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交し、前記第１身体座標で前記前後軸と直交するように前記上下軸を生成する段階、および
前記第１身体座標を通り、前記前後軸および前記上下軸とそれぞれ直交するように前記左右軸を生成する段階、
をさらに含む、［２］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［５］
前記移動ベクトルの状態を分析する段階は、
前記第２身体部位の第１時刻の前記第２身体座標ｘ１、ｙ１、ｚ１および第２時刻の前記第２身体座標ｘ２、ｙ２、ｚ２に対して、移動ベクトルＶを

の球面座標を有するように生成する段階をさらに含む、［１］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［６］
前記移動ベクトルの状態を分析する段階は、
前記移動ベクトルのｒ、θおよびφに基づいて前記移動ベクトルの状態を停止状態、前進状態、後進状態および表面移動状態のうちいずれか一つに特定する段階をさらに含む、［５］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［７］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記前進状態から前記停止状態に変化した場合、タッチジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［８］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記後進状態に変化した場合、リリースジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［９］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記前進状態から前記停止状態を経て前記後進状態に変化するか、前記前進状態から前記後進状態に変化した場合、クリックジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［１０］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記表面移動状態に変化した場合、仮想球面の表面に対するドラッグジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［１１］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記停止状態を維持する場合、ホールドジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［１２］
前記ユーザーのジェスチャーを検出する段階は、
前記移動ベクトルの状態が前記前進状態−前記停止状態−前記前進状態−前記停止状態の順に変化した場合、ディープタッチ（ｄｅｅｐ ｔｏｕｃｈ）ジェスチャーが発生したと判断する段階をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出方法。
［６］
外部の３次元身体座標検出手段から、ユーザーの第１身体部位および第２身体部位を含む複数の身体部位に対応する複数の身体座標を受信する３次元身体座標受信部、
前記複数の身体座標に基づいて、前記第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を生成するユーザー基準空間座標系設定部、
時間による前記第２身体座標の移動ベクトルを生成し、移動ベクトルの状態を判断する移動ベクトル分析部、および
前記移動ベクトルの状態の変化に基づいて前記ユーザーのジェスチャーを検出するジェスチャー検出部を含む、ユーザー基準空間座標系上におけるジェスチャー検出装置。
［１４］
前記ユーザー基準空間座標系設定部は、
前記第１身体座標および前記第２身体座標を通るように前記ユーザー基準空間座標系の前後軸を設定する前後軸設定部をさらに含む、［６］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。
［１５］
前記ユーザー基準空間座標系設定部は、
前記第１身体座標を通り、前記前後軸と直交し、地面と平行するように前記左右軸を生成する左右軸設定部、および
前記第１身体座標を通り、前記前後軸および前記左右軸とそれぞれ直交する上下軸を生成する上下軸設定部をさらに含む、［１４］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。
［１６］
前記ユーザー基準空間座標系設定部は、前記第１身体座標を通り、前記第１身体座標で前記第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交し、前記第１身体座標で前記前後軸と直交するように前記上下軸を生成する上下軸設定部、および
前記第１身体座標を通り、前記前後軸および前記上下軸とそれぞれ直交するように前記左右軸を生成する左右軸設定部をさらに含む、［１４］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。
［１７］
前記移動ベクトル分析部は、
前記第２身体部位の第１時刻の前記第２身体座標ｘ１、ｙ１、ｚ１および第２時刻の前記第２身体座標ｘ２、ｙ２、ｚ２に対して、移動ベクトルＶを

の球面座標を有するように生成する移動ベクトル生成部をさらに含む、［１３］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。
［１８］
前記移動ベクトル分析部は、
前記移動ベクトルのｒ、θおよびφに基づいて前記移動ベクトルの状態を停止状態、前進状態、後進状態および表面移動状態のうちいずれか一つに特定する移動ベクトル状態判断部をさらに含む、［１７］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。
［１９］
前記ジェスチャー検出部は、前記移動ベクトルの状態の変化をモニタリングする移動ベクトルモニタリング部、および
前記移動ベクトルの状態の変化の類型ごとに前記類型に対応するジェスチャーの類型を保存したジェスチャー保存部、および
前記ジェスチャー保存部に基づいて、前記移動ベクトルの状態の変化に対応する前記ユーザーのジェスチャーの類型を判断する、ジェスチャー判断部をさらに含む、［１８］に記載のユーザー基準空間座標系上におけるジェスチャー検出装置。

Claims (2)

1. ユーザーの第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を設定する段階、
   前記ユーザー基準空間座標系上において、前記ユーザーの第２身体部位に対応する第２身体座標の時間による移動ベクトルの状態を分析する段階、
   前記移動ベクトルの状態の変化に基づいて前記ユーザーのジェスチャーを検出する段階を含み、
   前記ユーザー基準空間座標系を設定する段階は、
   前記第１身体座標と前記第２身体座標とを連結する直線を基準として、前記ユーザー基準空間座標系の前後軸を生成する段階、
   生成された前記前後軸に直交するように、前記ユーザー基準空間座標系の左右軸および上下軸を生成する段階をさらに含み、
   前記ユーザー基準空間座標系の前記左右軸は、前記ユーザー基準空間座標系の前記上下軸に直交し、
   前記ユーザー基準空間座標系の前記左右軸は、前記ユーザーの頭の傾き、または、前記ユーザーが傾斜面に立っているかを参照して作成され、
   前記ユーザーが前記傾斜面に立っている場合、
   前記左右軸は、前記第１身体座標を通り、地面と平行するように生成され、
   前記上下軸は、前記第１身体座標を通るように生成され、
   前記ユーザーの頭が傾いている場合、
   前記上下軸は、前記第１身体座標を通り、前記第１身体座標で前記第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交するように生成され、
   前記左右軸は、前記第１身体座標を通るように生成される、
   ユーザー基準空間座標系上におけるジェスチャー検出方法。
2. 外部の３次元身体座標検出手段から、ユーザーの第１身体部位および第２身体部位を含む複数の身体部位に対応する複数の身体座標を受信する３次元身体座標受信部、
   前記複数の身体座標に基づいて、前記第１身体部位に対応する第１身体座標を原点とするユーザー基準空間座標系を生成するユーザー基準空間座標系設定部、
   時間による、前記第２身体部位に対応する第２身体座標の移動ベクトルを生成し、移動ベクトルの状態を判断する移動ベクトル分析部、および
   前記移動ベクトルの状態の変化に基づいて前記ユーザーのジェスチャーを検出するジェスチャー検出部を含み、
   前記ユーザー基準空間座標系は、
   前記第１身体座標および前記第２身体座標を連結する直線基準として、前記ユーザー基準空間座標系の前後軸を生成するように構成される前後軸設定部、
   生成された前記前後軸に直交するように、前記ユーザー基準空間座標系の左右軸を生成するように構成される左右軸設定部、
   生成された前記前後軸に直交するように、前記ユーザー基準空間座標系の上下軸を生成するように構成される上下軸設定部を含み、
   前記ユーザー基準空間座標系の前記左右軸は、前記ユーザー基準空間座標系の前記上下軸に直交し、
   前記ユーザー基準空間座標系の前記左右軸は、前記ユーザーの頭の傾き、または、前記ユーザーが傾斜面に立っているかを参照して作成され、
   前記ユーザーが前記傾斜面に立っている場合、
   前記左右軸は、前記第１身体座標を通り、地面と平行するように生成され、
   前記上下軸は、前記第１身体座標を通るように生成され、
   前記ユーザーの頭が傾いている場合、
   前記上下軸は、前記第１身体座標を通り、前記第１身体座標で前記第１身体座標および第３身体部位に対応する第３身体座標を連結する直線と直交するように生成され、
   前記左右軸は、前記第１身体座標を通るように生成される、
   ユーザー基準空間座標系上におけるジェスチャー検出装置。

Images