JP2013519933A - ３次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法 - Google Patents

Abstract

本発明は、３次元移動空間におけるジェスチャ（３Ｄジェスチャ）の非接触検出および認識の方法であって、３次元移動空間を規定する電気近接場において、少なくとも１つの物体、例えば、３次元移動空間における１本または２本の指の移動によって行われ得る電気近接場の変形が検出され、少なくとも１つの移動経路が、検出された電気近接場の変形から生成され、変形は、３次元移動空間における少なくとも１つの物体の移動に対応し、移動経路における移動経路の生成中に、ジェスチャ開始が決定され、ジェスチャ開始を発端に、ジェスチャが、移動経路から抽出される方法に関する。本発明はまた、３次元移動空間におけるジェスチャの非接触検出および認識のためのシステムに関する。

Description

本発明は、３次元移動空間における少なくとも１つの物体の移動によって実行される、３次元移動空間におけるジェスチャの非接触検出および認識のためのシステムおよび方法に関する。

先行技術から、ジェスチャの非接触検出および認識の方法およびシステムは、公知である。したがって、例えば、光学方法に基づく解決策が公知である。それらにおいては、連続的に画像が撮影され、画像は、画像処理にフィードされる。画像処理は、撮影された画像から、例えば、手または指を表すデータを抽出するように設計される。抽出されたデータから、手または指の移動が、決定される。決定された移動は、分析を受け、分析は、ジェスチャ認識を行い、その結果、ジェスチャまたは認識されたジェスチャに対する情報を提供する。しかしながら、そのようなシステムおよび方法は、非常に高価かつ計算集約的であって、異なるまたは悪照明条件の場合、問題につながる場合が多い。さらに、例えば、カメラシステム等、本目的のために必要とされる撮像ユニットは、携帯用用途に好適ではないため、そのようなシステムは、ほとんどの場合、固定動作にのみ好適である。

携帯用用途に対しては、本目的のために、手または指の移動を認識するための付加的認識システムが必要ではないので、例えば、タッチセンサ式ディスプレイ等のタッチセンサ式システムが、より好適である。しかしながら、周知のタッチセンサ式認識システムは、移動を認識するために、一方では、例えば、タッチセンサ式ディスプレイとの接触が、必要であって、他方では、２次元、すなわち、ＸまたはＹ方向における移動のみ、入力表面上で可能であるという不利点を有する。したがって、移動を認識するための本方法は、２自由度に限定され、３次元（Ｚ方向）を伴う、移動またはジェスチャは、考慮することができない。

したがって、本発明の目的は、一方では、空間ジェスチャの検出および認識を可能にし、他方では、また、携帯用デバイスまたはシステムにおいて使用するために好適である、ジェスチャの非接触検出および認識の方法ならびにシステムを提供することである。

本目的は、独立請求項による、ジェスチャの非接触検出および認識のためのシステムならびに方法を伴う、本発明に従って、達成される。

それらによると、３次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
−３次元移動空間を規定する電気近接場において、３次元移動空間における少なくとも１つの物体の移動によってもたらされ得る、電気近接場の変形が認識され、
−３次元移動空間における少なくとも１つの物体の移動に対応する、少なくとも１つの移動経路が、認識された電気近接場の変形から生成され、
−移動経路の生成中に、ジェスチャの開始が、移動経路内で決定され、ジェスチャの開始を発端に、ジェスチャが、移動経路から抽出される、
方法が提供される。

このように、例えば、カメラシステム等の独自の撮像デバイスを提供する必要なく、３次元空間内の移動を検出し、それらからジェスチャを認識することが初めて可能となり、本方法はまた、特に、例えば、携帯電話およびゲームコンソールにおける携帯用用途に非常に好適である。

少なくとも１つの移動経路の生成は、少なくとも１つの物体の少なくとも１つの物体特性を考慮し、少なくとも１つの物体特性は、電気近接場の変形から導出され得る。

本発明による方法の精度は、移動空間内の各移動が、評価されるべき移動経路につながるわけではないため、このように、明らかに改善することができる。このように、また、認識速度が向上され得る。

少なくとも１つの物体特性の導出は、移動経路の生成のステップに提供されるであろう、アドバンス情報（ａｄｖａｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を考慮し得る。したがって、例えば、測定誤差は、少なくとも部分的に、アドバンス情報の支援によって、補償することができるため、移動経路は、より効率的に、すなわち、より高速かつより精密に、生成され得る。

物体特性は、物体の形態、物体のサイズ、物体の数、基準表面に対する物体の配向、電気材料特性、およびそれらの組み合わせのうちの１つを含み得る。このように、移動経路は、より精密に、決定することができる。

特に、移動経路は、物体特性およびアドバンス情報が、移動経路の認識において考慮される場合、非常に正確かつ非常に高速に、決定することができる。

好ましくは、少なくとも１つの所定の変形基準を満たす、そのような電気近接場の変形のみ、移動経路の生成において、考慮される。したがって、例えば、近接場の外縁ゾーン内の変形は、考慮されないままであり得る。

変形基準は、以下であり得る。
−変形を生じさせる物体の基準表面に対する距離
−絶対的および／または相対的電場変動
−経時的電場変動の１次および／または２次の偏差
−および／またはそれらの組み合わせ。

移動経路の各点に、いくつかの移動特性を割り当てることは、有利であることが証明されている。

移動特性は、以下を含み得る。
−基準表面に対する物体の位置
−移動空間に対する物体の配向
−物体の速度
−物体の加速度、および／または
−それらの組み合わせ。

移動経路からのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含み得る。

特に、文脈情報をジェスチャの抽出に割り当てることは、有利である。このように、一方では、識別率を大幅に向上させることができる。他方では、識別速度もまた、大幅に向上させることができる。

文脈情報は、離散ジェスチャが抽出されるべきことを示す、第１の文脈情報と、連続ジェスチャが抽出されるべきことを示す、第２の文脈情報とを含み得る。

割り当てられた第１の文脈情報では、移動経路からのジェスチャの抽出は、移動経路からジェスチャ終了を認識するためのステップを含み得る。

ジェスチャの開始および／またはジェスチャの終了は、少なくとも１つの移動特性を少なくとも１つの閾値と比較することによって、決定され、閾値超過／未達は、ジェスチャの終了および／またはジェスチャの開始を示し得る。

閾値超過／未達は、所定の持続時間の間、閾値超過／未達である時、ジェスチャの開始および／またはジェスチャの終了を示し得る。したがって、非常に短い閾値超過／未達が、ジェスチャの開始および／またはジェスチャの終了と誤認識されることが防止される。

いくつかの移動特性の場合、それぞれの閾値超過／未達は、それぞれの閾値が、所定の順序において、超過／未達である時、ジェスチャの開始および／またはジェスチャの終了を示し得る。

文脈情報が、一式の基準ジェスチャを含む、第３の文脈情報を含む場合、有利であって、一式の基準ジェスチャは、どのジェスチャが抽出されるべきかを示し、基準ジェスチャは、好ましくは、ジェスチャ文法に従って、記述される。

したがって、いくつかの基準ジェスチャのみ、ジェスチャ認識のために使用されるため、識別率および識別速度は、さらに、大幅に向上されることができる。特定の実施形態では、ジェスチャ認識は、認識されるべきジェスチャが、任意の基準ジェスチャに割り当てることができない場合、ジェスチャの終了前でも、中断され得る。

ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含み得る。

抽出された離散ジェスチャは、ジェスチャの終了が決定されるとすぐに、パターン認識に完全に転送され得る。

ジェスチャ開始の認識後、移動経路はまた、パターン認識に連続的にフィードされ、連続的にフィードされた移動経路はまた、基準ジェスチャから、連続的にフィードされた移動経路に対応する基準ジェスチャを決定するために、連続的に、パターン認識によって、基準ジェスチャの部分的ジェスチャと比較され得る。

パターン認識は、ジェスチャを個々のジェスチャセグメントにセグメント化するステップを含み、次いで、ジェスチャセグメントは、対応する基準ジェスチャのジェスチャセグメントと比較され得る。

少なくとも１つの移動経路の生成では、補償方法が、実行され、それによって、移動空間内の物体の偶発的移動に対応するセグメントが、移動経路から排除され得る。このように、認識におけるエラー公差およびジェスチャ認識は、大幅に向上されることができる。補償方法は、好ましくは、移動経路を認識する際に実行される。

電気近接場は、少なくとも１つの電極上に放出され、電気近接場の変形は、少なくとも１つの電極によって、認識され、交流電場は、所定の周波数、好ましくは、周波数１０ｋＨｚから３００ｋＨｚ、特に好ましくは、周波数２０ｋＨｚから２００ｋＨｚ、最も特に好ましくは、周波数７５ｋＨｚから１２５ｋＨｚで放出され得る。

電気近接場の変形の認識は、それぞれの電極において受信または放出される、交流電場の変化を測定することによって、行われ、変化は、位相、振幅、および／または周波数の変化を含み得る。

少なくとも１つの物体は、手、指、四肢、および／または指先を含み得る。

本発明の好ましい実施形態では、移動経路の生成は、１本または数本の区別可能な指を伴う、手の移動において、１本の指または数本の区別可能な指の指先に対応する１つまたはいくつかの移動経路を生成するために設計される。

したがって、３次元空間における複数の指のジェスチャは、例えば、カメラ等のさらなる手段を必要とすることなく、初めて、捕捉および認識することができる。

ジェスチャは、いくつかの移動経路から抽出されたいくつかのジェスチャ（部分的ジェスチャ）によって形成され、これは、同時に、数本の指によって、ジェスチャが、入力される場合、特に、有利であって、入力ジェスチャは、全体的ジェスチャの構成要素であり得る。

また、ジェスチャおよび／または基準ジェスチャを記述するための文脈自由文法が、本発明によって提供される。ジェスチャ文法によって記述された基準ジェスチャの使用は、本発明による技術的方法におけるジェスチャ認識が、特に、単純様式において実現され得るという利点を有する。有利には、基準ジェスチャは、データベース内に記憶され、基準ジェスチャに関する基準ジェスチャのセグメントにわたって、索引順アクセスが行われ得る。既に認識されたジェスチャセグメントに基づく関連基準ジェスチャは、単純データベース照会によって、フィルタリングされ得るため、索引順アクセスは、特に、連続的、すなわち、逐次的ジェスチャ認識の場合、有利であることが証明されている。データベースは、特に、マイクロコントローラ内で実現されるために好適である、内蔵データベースであってもよく、本発明による方法もまた、マイクロコントローラ内で実現されるために好適である。

本発明によって、また、３次元移動空間におけるジェスチャの非接触認識のためのシステムであって、
−移動空間を規定する、電気近接場を生成する手段と、
−移動空間内の少なくとも１つの物体の移動によって生じる、電気近接場の変形を認識する手段と、
−少なくとも１つの物体の移動に対応する、認識された電気近接場の変形から少なくとも１つの移動経路を生成する手段と、
−移動経路が生成されている間に、移動経路におけるジェスチャ開始を認識する手段と、
−ジェスチャ開始を発端に、移動経路からジェスチャを抽出する手段と
を備えている、システムが提供される。

電気近接場を生成する手段は、交流電場が放出され得る、少なくとも１つの送信電極と、少なくとも１つの送信電極を電気交流信号で充電するために、少なくとも１つの送信電極と連結されている、少なくとも１つの信号発生器とを含み得る。

電気近接場の変形を認識する手段は、少なくとも１つの受信電極と、受信電極に連結されている交流電場あるいは受信電極において放出される交流電場の周波数、振幅および／または位相の変化を認識するために、それに連結されている評価デバイスとを含み得る。

好ましくは、電気交流信号の周波数、振幅、および／または位相は、調節可能である。

本発明によるシステムは、特定用途向け集積回路（ＡＳＩＣ）として実装され得る。

また、電気近接場によって規定される、３次元移動空間内において非接触移動を検出するための方法であって、少なくとも、
−３次元移動空間における少なくとも１つの物体の移動によってもたらされ得る、電気近接場の変形の認識と、
−少なくとも１つの物体の移動に対応する、認識された電気近接場の変形からの少なくとも１つの移動経路の生成と
を含む、方法が提供される。

さらに、少なくとも１つの移動経路からジェスチャを認識する方法が、本発明によって提供され、少なくとも１つの移動経路は、非接触移動を検出するための本発明による方法によって検出可能であり、方法は、少なくとも１つの移動経路からの少なくとも１つのジェスチャの抽出のためのステップを含む。

本発明のさらなる効果および有利な実施形態は、説明、図面、および請求項からもたらされる。

図面中、実施形態は、図式的に簡略化された方法において例証され、以下の説明により詳細に説明される。
図１は、ジェスチャの非接触検出および認識のための本発明による方法の流れ図である。 図２は、電気近接場によって生成される移動空間ならびに移動空間内に配置される認識空間の空間図である。 図３は、電気近接場によって生成される移動空間、移動空間内に配置される認識空間、ならびに各々、１つのアクションが割り当てられる、認識空間内に配置されるいくつかの活性領域である。 図４は、ジェスチャの開始および終了を決定するための閾値法の第１の実施例である。 図５は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の第２の実施例である。 図６は、ジェスチャの開始およびジェスチャの終了を決定するための閾値法の別の実施例である。 図７ａは、ジェスチャアルファベットのいくつかのジェスチャセグメントから成るジェスチャの実施例である。 図７ｂは、補正可能である、不完全セグメントを伴う、移動経路の実施例である。 図８は、移動経路の分割（セグメント化）のためのヒットボックスの実施例である。 図９ａは、ジェスチャ認識に対して、Ｚ方向のみ、関連する、移動の実施例である。 図９ｂは、ジェスチャ認識に対して、Ｘ方向のみ、関連する、移動の実施例である。 図１０は、ジェスチャ認識に対して、ＸおよびＹ方向（座標）のみ、関連する、３次元空間内の移動経路の実施例である。 図１１は、２つの移動経路から抽出される、ジェスチャ（２本の指のジェスチャ）の実施例である。 図１２ａ−１２ｃは、いくつかの１本の指のジェスチャおよび２本の指のジェスチャを伴う、ジェスチャ一覧である。 図１２ａ−１２ｃは、いくつかの１本の指のジェスチャおよび２本の指のジェスチャを伴う、ジェスチャ一覧である。 図１２ａ−１２ｃは、いくつかの１本の指のジェスチャおよび２本の指のジェスチャを伴う、ジェスチャ一覧である。 図１２ｄは、いくつかの手ジェスチャを伴う、ジェスチャ一覧である。

図１は、ジェスチャの非接触検出および認識の方法の流れ図を示す。

第１のステップ１００では、電極システムによって、好ましくは、基準表面、例えば、画面またはタブレットＰＣに対する移動空間を規定する準静的交流電場として形成される、電気近接場が生成される。

交流電場の周波数ｆは、電場変動の交流電場の周波数ｆに対応する周期Ｔ（Ｔ＝１／ｆ）が、光がストレッチＬを網羅するために必要とする時間より遥かに短くなるように選択されるべきであって、Ｌは、基準表面のサイズに対応し、すなわち、電磁波の波長は、周波数Ｆの場合、システムサイズＬより遥かに大きい（Ｔ＞＞Ｌ／ｃまたはｆ＜＜ｃ／Ｌ、式中、ｃは、光の速度である）。周波数１０ｋＨｚから３００ｋＨｚ、好ましくは、周波数７５ｋＨｚから１００ｋＨｚが、特に、好適であることが証明されている。周波数約１００ｋＨｚは、基準表面のサイズを遥かに超える、約３ｋｍの波長に対応する。

近接場は、電場が、電磁波としてではなく、準静的電場として見なされ得るような、電場源からの距離が、波長より遥かに短い、領域である。電極システムにおける電場強度は、約１／ｒから１／ｒ^２に比例して、電極システムの電極からの距離ｒに伴って減少する。これは、また、電極システムの感度が、距離に伴って、減少することを示す。したがって、電極システム感度領域は、電極に「近接」する空間に限定される。

基準表面は、例えば、携帯デバイス、例えば、携帯電話またはタブレットＰＣのディスプレイデバイスであり得る。ディスプレイデバイスはまた、ジェスチャの非接触検出および認識に加え、また、タッチ式ディスプレイデバイスによる入力も認識することができるように、タッチセンサ式であり得る。基準表面、また、「不活性」表面として、本発明によるシステムとともに、入力表面にされ得る、例えば、キャビネットドアの表面が、提供され得る。

以下、電気近接場と呼ばれる、準静的交流電場の生成のために、各々、交流電場が放出される、相互に離間されたいくつかの電極が提供され得る。１つまたはいくつかの発生器によって提供される、それぞれの電極に供給される、電気交流信号は、電極において放出される電気交流電場が、結合して、電極基準表面に対して、電極の周囲の移動空間に及び得るように設定される。

移動空間では、次のステップ２００において、例えば、移動空間内の少なくとも１つの物体の移動によって生成される、電気交流電場の力線の変形が認識される。例えば、力線の変形は、移動空間内の１本の指または数本の指の移動によって生じ得る。力線の変形は、電極と連結されたそれぞれの発生器における負荷の変化を決定することによって、電気交流電場が放出される、電極において認識され得る。電気交流電場の力線の変形は、以下、電気近接場の変形と呼ばれる。電気交流電場の生成および電気近接場の力線の変形の認識のためのさらなる実施形態は、図２に関連して示される。

認識された変形から、次のステップ３００では、例えば、移動空間内の指の移動に対応する、移動経路が生成される。したがって、本発明によると、また、例えば、数本の指が、移動空間内で移動する場合、いくつかの移動経路が、生成され得る。

移動経路の生成において、移動空間内を移動する物体の１つ以上の物体特性が、考慮され得る。例えば、移動経路の生成のために、物体の形態が、考慮され得る。これは、例えば、伸展された人指し指を伴う手が、移動空間に浸漬し、したがって、手全体が、電気近接場の変形を生じさせる時、必要である。形態に関わらず、実質的に、移動空間内を移動する手の重心の移動に対応する、移動経路が生成されるであろう。そのように生成された移動経路は、可能性として、手の重心の移動が、常に、伸展された人指し指の移動に対応するわけではないため、不完全なジェスチャ認識につながり得る。

これを回避するために、移動空間内を移動する手の形態が、移動経路の生成において、考慮され、手の形態が、順に、電気近接場の変形から導出される。次いで、手の形態から、指先の移動に対応する、移動経路が、決定され得るように、伸展された指の指先が決定され得る。

本発明のさらなる実施形態では、数本の指の移動もまた、認識および評価されてもよく、各伸展された指に対して、指先が決定される。

本発明による移動経路の生成では、所定の基準を満たす、そのような電気近接場の変形のみ、考慮される。基準は、例えば、基準表面からの変形を生じさせる物体の距離であり得る。したがって、例えば、移動空間の外縁の領域内で行われる移動は、移動経路の生成において、考慮されないことが保証される。

移動経路の生成において、移動空間内で達成された移動から、１つ以上のジェスチャが確実に抽出され得るように、移動経路の各点は、いくつかの移動特性が割り当てられる。そのような移動特性は、例えば、基準表面に対する、物体、例えば、人指し指の指先の位置、移動空間に対する手または人指し指の配向、指先の速度、指先の加速度、またはそれらの組み合わせであり得る。図４から６に関連してより詳細に説明されるように、これらの移動特性はまた、１つまたはいくつかのジェスチャのジェスチャの開始およびジェスチャの終了の決定のために使用され得る。

ステップ４００では、１つ以上のジェスチャが、生成された移動経路から抽出される。本発明による離散ジェスチャおよび／または連続ジェスチャが、抽出され得る。

離散ジェスチャは、ジェスチャ開始、ジェスチャ終了、およびジェスチャ開始とジェスチャ終了との間の移動によって、特徴付けられる。連続ジェスチャは、ジェスチャ開始およびジェスチャ開始後の移動によって、特徴付けられるが、連続ジェスチャは、必ずしも、ジェスチャ終了を有していなければならないわけではない。

移動経路からジェスチャを抽出する時、最初に、離散ジェスチャおよび連続ジェスチャの両方に対して、移動経路において、ジェスチャ開始が決定される。ジェスチャ開始は、移動経路の生成中に決定される。ジェスチャ開始が決定されるとすぐに、ジェスチャ開始を発端に、ジェスチャが抽出され得る。ジェスチャ開始を認識するための具体的方法は、図４から６を参照して、より詳細に説明される。

パターン認識の支援によって、抽出されたジェスチャが、認識され得る。パターン認識のために、例えば、隠れマルコフモデル、ビタビアルゴリズム、および／またはベイジアンネットワークが使用され得る。本発明による別の認識方法は、図７に関して、より詳細に説明される。

離散ジェスチャが、検出および認識されるべき場合、各々、ジェスチャ移動経路から抽出された１つの完全なジェスチャがパターン認識にフィードされることができる。これは、例えば、ジェスチャの終了が決定されるとすぐに、行われ得る。ジェスチャ終了の認識もまた、図４から６に関連して、より詳細に説明される。

連続ジェスチャが認識されるべき場合、ジェスチャ開始検出後、ジェスチャ開始後の移動経路が、パターン認識に連続的にフィードされる。連続的にフィードされた移動経路はまた、パターン認識によって、ジェスチャ認識を連続的に受ける。

連続および離散ジェスチャを認識するために、基準ジェスチャが提供され、パターン認識によってフィードされた移動経路とのパターン比較のために使用される。基準ジェスチャは、例えば、デバイスのあるユーザ文脈（ｕｓｅｒ ｃｏｎｔｅｘｔ）におい許容可能である、ジェスチャであり得る。ユーザ文脈において、例えば、決定された文字の入力のみ、許容可能である場合、基準ジェスチャは、許容された文字を表す、ジェスチャを含む。

パターン比較は、移動経路の個々のセグメントが、基準ジェスチャの対応する部分的ジェスチャと比較されるように、実行され得る。部分的ジェスチャは、基準ジェスチャのセグメントである。移動経路の個々のセグメントが、各々、基準ジェスチャの部分的ジェスチャと一致する場合、移動経路は、認識されたジェスチャとして、解釈され得る。

本発明の一実施形態では、比較された移動経路のセグメントの数の増加に伴って、その対応する部分的ジェスチャが、既に比較された移動経路のセグメントと一致しない、ジェスチャ比較のためのそれらの基準ジェスチャはすべて、除外されるので、一式の可能性のある基準ジェスチャは、対応する部分的ジェスチャとの移動経路のセグメントの各比較後、削減され得る。このように、また、移動経路のセグメントが、もはや対応する基準ジェスチャの部分的ジェスチャに割り当てられ得なくなるとすぐに、認識の中断が行われ得る。

移動経路からの１つまたはいくつかのジェスチャの抽出のためステップ４００は、文脈情報（ｃｏｎｔｅｘｔ ｉｎｆｏｒｍａｔｉｏｎ）を割り当てられることができ、それによって、抽出ステップ４００は、抽出されるべきジェスチャが、離散ジェスチャまたは連続ジェスチャであるかどうか判断することができる。したがって、文脈情報は、どの種類のジェスチャが、評価されなければならないかを示す。文脈情報は、実質的に、本発明による方法が使用される、具体的用途に依存する。例えば、ディスプレイ／入力デバイスにおいて、手の移動の支援によって、接触することなく、左または右に移動されなければならない、スライド制御が視覚化される場合、文脈情報「連続ジェスチャ」が、抽出ステップ４００に割り当てられ得る。次いで、スライド制御に割り当てられる、移動空間内の手の移動は、実質的に、ディスプレイデバイスにおける手の移動と同期して移動し得るように、連続的に評価される。

例えば、入力デバイスにおける文字または数字の入力が予測される場合、文脈情報「離散ジェスチャ」が、抽出ステップ４００に割り当てられ得る。ここでは、ジェスチャ開始とジェスチャ終了との間の移動経路は、ジェスチャ終了が、移動経路内で認識されるとすぐに、パターン認識にフィードされる。代替として、離散ジェスチャの移動経路もまた、ジェスチャ開始が認識されるとすぐに、パターン認識に連続的にフィードされてもよく、これは、ジェスチャが完了する前であっても、ユーザが行おうとするジェスチャに関して、ステートメントが作成され得るという利点を有する。

抽出ステップ４００に割り当てられる文脈情報はまた、例えば、どのジェスチャが、文脈において許容可能であるかを示す、一式の基準ジェスチャを含み得る。

これは、例えば、入力デバイスが、数字の入力を予測する時、有利である。文脈情報は、この点において、基準ジェスチャとして、数字「０」から「９」を含み得る。したがって、例えば、文字「Ａ」に対応するであろう、移動空間内の人指し指の移動は、本発明による方法によって、許容されていないジェスチャとして、認識されることができる。それぞれの文脈において許容されるジェスチャを規定する、基準ジェスチャを使用することによって、ジェスチャ認識における誤った解釈の確率を大幅に低下させることができる。

さらに、例えば、ジェスチャ開始とジェスチャ終了との間の移動経路が、基準ジェスチャのいずれにも割り当てることができないが、しかしながら、移動経路が、基準ジェスチャに類似する時、エラー補正が行われ得る。類似の程度は、調節可能であって、例えば、基準ジェスチャの数に応じて、設定され得る。少数の基準ジェスチャでは、低程度の類似性が設定されてもよく、これは、非常に不正確に行われた移動でさえ、確実に、正確に認識されたジェスチャにつながり得るという利点を有する。

例えば、移動経路からジェスチャを抽出する際、移動空間内の指による、偶発的移動を無視するために、移動経路の生成（ステップ３００）中に、移動経路から、移動空間内の指の偶発的移動に対応する、それらのセグメントを排除する、補償方法が提案される。本目的のために、例えば、移動空間内の指の速度および／または加速度が使用されてもよく、既定速度または既定加速度超過または未達は、指の偶発的移動を示し得る。移動経路から、そのようなセグメントを抽出することによって、また、ステップ４００における、移動経路からのジェスチャの抽出の認識程度が向上される。

図２は、典型的には、電気センサシステムの４つの電極を伴う、移動空間内の移動の非接触検出のための本発明によるシステムの構造を示す。

例えば、ディスプレイデバイスであり得る、長方形基準表面Ｂの４つの縁の領域には、各々、電気センサシステムの構成要素である、１つの電極が、配置される。電極Ｅは、基準表面Ｂのそれぞれの縁の全長にわたって延在する。電極Ｅにはそれぞれ、交流電場が照射され、４つの照射された電気交流電場はともに、移動空間１０を規定する。

図２に示される４つのストライプ形状の電極Ｅの代わりに、基準表面Ｂの縁に、各々、１つの点状の電極が、配置されてもよく、これは、空間座標、例えば、移動空間１０内の指先の認識を改善させることを可能にする。また、基準表面の各縁には、認識精度をさらに向上させるために、いくつかの点状の電極が存在し得る。

点状の電極はまた、基準表面Ｂの隅に配置され得る。点状の電極は、例えば、約０．５ｃｍ^２から５ｃｍ^２の表面を備えている、平坦金属板によって、形成され得る。具体的形態では、点状の電極は、１ｃｍ^２の表面を呈する。

単一電極が、送信電極および／または受信電極として、動作され得る。

例えば、図２に示される電極のうちの１つは、交流電場が放出される、送信電極（発生器電極）として動作され得る。３つの他の電極は、送信電極によって放出された交流電場が受信または連結されている、受信電極として動作され得る。受信電極に連結された交流電場から、電気近接場の変形が決定され得る。個々の受信電極は、受信電極で測定された信号が、時間的に順次、評価ユニットにフィードされるように、多重化方式で動作され得る。

受信電極における信号もまた、同時に測定され、これは、信号対雑音比（ＳＮＲ）の改善につながる。

代替実施形態では、図２に示される電極のうちの１つは、受信電極として動作され得る。他の３つの電極は、各々、受信電極に連結され、それぞれ、交流電場が放出される、送信電極として動作され得る。送信電極において放出される交流電場は、各々、異なる周波数および／または異なる位相を有し得る。

しかしながら、送信電極において放出される交流電場はまた、同一周波数および同一位相を有してもよく、送信電極は、有利には、時分割多重方式において、動作される。

また、空間分解能が、さらに向上され得るように、いくつかの送信電極およびいくつかの受信電極を提供することが可能である。

さらなる実施形態では、少なくとも１つの電極はまた、送信電極および受信電極の両方として、動作されてもよく、力線の変形は、交流電圧を生成する発生器において、交流電場の負荷によって、決定される。

交流電場内の指の位置を認識するためのシステムの具体的実現化は、本出願人による、独国特許出願第ＤＥ １０ ２００７ ０２０ ８７３号に説明されている。

移動空間はさらに、再分割され得る。移動空間１０内側には、移動空間１０より小さい、検出空間２０が規定される。移動空間１０内側の検出空間２０は、移動経路の生成中に、考慮される空間である、すなわち、検出空間２０内側の移動に対してのみ、移動経路が生成される。

手Ｈまたは指先が、移動空間１０内に進入する場合、手Ｈまたは指先は、電気近接場の変形を伴う。本発明のある実施形態によると、電気近接場の変形から、移動経路が導出されるが、しかしながら、指または手Ｈが、検出空間２０に入ってすぐのみにおいてである。これは、例えば、指先と基準表面Ｂとの間の距離ｄを評価することによって、行われ得る。指先と基準表面Ｂとの間の距離ｄが、その内側において、移動経路が認識された電気近接場の変形から導出される、基準表面Ｂに対する距離を示す、距離Ｄより小さい場合、指先の移動は、そのように生じた電気近接場の変形からの移動経路の推測につながる。

検出空間２０を提供することは、移動空間の縁ゾーン内の電気近接場の変形が、移動経路の生成において、考慮されないままであるという利点を有する。代替として、検出空間２０外側の電気近接場の変形はまた、例えば、例えば、スリーピングモードから動作モードに変更するために、入力表面をアクティブ化するためにも使用される。

図３は、基準表面に対する活性領域を規定する可能性を示す。図３に示される実施例では、９つの活性領域が、基準表面Ｂに割り当てられる。活性領域のそれぞれに対して、対応する活性領域が、例えば、指先によって選択されるとすぐに果たされる、機能が割り当てられ得る。選択は、対応する活性領域に指先を接近させることによって、行われ得る。活性領域３０は、好ましくは、検出空間２０内側にあるように、規定される。活性領域３０は、活性領域に割り当てられる空間によって、規定される。

図３では、活性領域は、概略断面図に示される。手Ｈの人指し指の先端が、活性領域３０の空間に進入するとすぐに、指先のＸおよびＹ座標が、活性領域３０を規定するＸまたはＹ座標内側にあることが認識される。さらに、活性領域３０の空間内の指先の進入は、入力表面Ｂからの指先の距離（Ｚ座標）が、所定の値より小さいという事実によって、認識される。したがって、本発明による方法は、移動空間１０または検出空間２０内の指あるいは指先のＸ、Ｙ、およびＺ座標を評価することによって、活性領域の選択を検出することができる。Ｘ、Ｙ、またはＺ座標は、交流電場の時間的変化から導出される、移動経路から決定される。

活性領域３０の選択の確認は、指先を排除する、またはＺ方向に活性領域３０の外に移動させることによって、生じ得る。そのような確認が認識されるとすぐに、活性領域３０に割り当てられた対応する機能が、実行され得る。選択の確認によって、すなわち、Ｚ方向に指先を移動させることにおいて、また、移動の速度および／または加速度が、考慮され得る。したがって、例えば、正のＺ方向における移動は、移動が、所定の速度または所定の加速度を超える場合のみ、確認として解釈されることが前提とされ得る。

代替として、確認はまた、活性領域から外側へとＸまたはＹ方向に指先を移動させることによって、生じ得る。確認はまた、指先が、所定の期間の間、活性領域３０の場内に残存する方法で生じることができる。したがって、例えば、指は、入力表面Ｂにわたって移動され、次いで、異なる活性領域に進入してもよく、対応する活性領域の選択の確認は、指先が、対応する活性領域内にあって、所定の時間の間、活性領域の内側で移動されない場合のみ、行われる。

活性領域３０の選択の選択または確認のために、入力表面Ｂをタッチすることは必要ではない。それでもなお、入力表面Ｂは、ジェスチャの非接触検出および認識の方法またはシステムとともに、機能性を拡張するために、入力表面として、形成され得る。

しかしながら、活性領域は、それぞれの活性領域３０に割り当てられる決定された機能性の選択のためだけに提供される必要はない。活性領域３０はまた、活性領域内側の移動を検出し、本発明による方法に従って、１つ以上のジェスチャを検出するために提供され得る。文脈情報とともに、例えば、第１の活性領域３０は、数字を入力するために、提供されてもよく、第２の領域は、例えば、文字を入力するために、提供されてもよく、第３の活性領域は、前述のように、選択のみ行うために、提供され得る。

以下では、本発明に従って、移動経路内のジェスチャ開始およびジェスチャ終了が、どのように決定され得るかについて、図４から６に関してより詳細に論じられる。移動空間内で検出された移動をパターン認識にフィードするために、最初に、少なくとも、ジェスチャ開始を検出する必要がある。基本的には、また、ジェスチャ開始前に生じる移動も、パターン認識にもたらされ得るが、しかしながら、パターン認識が、ジェスチャに属さない移動を考慮しないように設計されていない場合、ジェスチャ開始前の移動は、不完全なジェスチャ認識につながり得るという不利点を有するであろう。パターン認識の完全なジェスチャが考慮されるべき場合、また、移動経路内のジェスチャ終了を検出する必要がある。

例えば、移動空間内の指先の移動中に、１つまたはいくつかの移動特性が、所定の時間間隔、例えば、５ｍｓの時間間隔において、電気センサ電子機器の支援によって、検出され、移動経路の対応する点に割り当てられる。時間間隔はまた、用途の具体例に応じて、より大きくまたはより小さく選択され得る。移動特性は、例えば、以下であり得る。
−基準表面、例えば、タッチセンサ式ディスプレイの入力表面に対する指先の位置、すなわち、位置は、入力表面に対するＸ、Ｙ、および／またはＺ座標によって、示され得る。
−移動空間に対する指または手の配向
−指の移動の速度
−指の移動の際の加速度
−および／またはそれらの組み合わせ
ジェスチャ開始またはジェスチャ終了を決定するために、これらの移動特性のいくつかまたはそれらの組み合わせのいずれかが、使用され得る。

また、移動空間内側の移動全体が、ジェスチャとして評価されるべきであることが前提とされ得る。ここでは、センサ電極によって認識された電気信号から、直接、ジェスチャ開始またはジェスチャ終了を測定することが有利である。電気近接場の変形を示す、信号変化が発生するとすぐに、これは、ジェスチャ開始と解釈され得る。同じことは、ジェスチャ終了にも当てはまる。電極において測定された電気信号が、電気近接場の変形が存在しないことの事実を表すとすぐに、これは、ジェスチャ終了と解釈され得る。

代替として、本発明によるジェスチャ認識システムの開始時においてさえ、連続ジェスチャ認識が、開始され得る。そこでは、移動経路は、連続的に分析される。所定のコマンドジェスチャが、移動経路内で認識されるとすぐに、移動経路から抽出された以下のジェスチャは、行われるべき対応する機能が割り当てられる。すなわち、時間的に、コマンドジェスチャ前に認識されたジェスチャは、考慮されないままである。同じ方法はまた、例えば、所定のコマンドジェスチャの支援によって、ジェスチャ入力を終了するために、実施され得る。この点において、コマンドジェスチャは、移動経路から抽出され、他のジェスチャと同様に、認識され得る。

代替として、ジェスチャ開始および／またはジェスチャ終了はまた、移動空間内の物体の電気特性を変化させることによって、決定することができる。例えば、ユーザは、ショーウィンドウの正面において、電気交流電場内で手を移動させてもよい。ユーザが、同時に、他の手によって、接地表面を触れる、または同時に、ショーウィンドウ前のアース表面を踏む場合、これは、交流電場の力線の変形につながり、ジェスチャ開始として認識され得る。

別の実施形態では、ジェスチャ開始および／またはジェスチャ終了はまた、ユーザが制御要素を動作させることによって、決定され得る。

図４は、移動の際、基準表面からの指先の距離（Ｚ方向における距離）の時間の推移を示す。基準表面からの指先の距離は、ジェスチャの開始および終了を決定するために、基準として、使用され得る。本目的のために、閾値が、規定され、その未達または超過は、ジェスチャの開始あるいは終了を決定する。図４に示されるように、基準表面から４ｃｍの距離が、閾値として規定される。また、図４に見られ得るように、指先は、連続的に、閾値に接近する。基準表面からの指先の距離が、４ｃｍより短くなるとすぐに、対応する点４０ａが、移動経路４０内において、ジェスチャ開始として、マークされる。基準表面からの指先の距離が、再び、４ｃｍの閾値を超えるとすぐに、対応する点４０ｂが、移動経路内において、ジェスチャ終了として、マークされる。ジェスチャは、ここで、ジェスチャ開始４０ａとジェスチャ終了４０ｂとの間の移動経路によって、形成される。本移動経路は、既に前述のように、パターン認識にフィードされ得る。

当然ながら、図４に示されるものと異なる閾値が、基準表面からの指先の距離によって、ジェスチャ開始またはジェスチャ終了を決定するために使用され得る。これは、最終的に、本発明による方法の用途の具体例に依存する。基準表面からの指先の距離は、例えば、それぞれのセンサ電極において検出された電気近接場の変形からの三角測量によって、決定され得る。

図５は、移動空間内の指の移動のジェスチャ開始およびジェスチャ終了を決定するための本発明による第２の閾値法を示す。移動特性として、基準表面に対する指先の速度が使用され、図５では、Ｘ方向における指の移動の速度の時間の推移が示される。

図５に示される実施例では、また、Ｘ方向における指先の速度の推移が、ジェスチャ開始またはジェスチャ終了の特徴として、評価され、所定の速度（閾値）超過は、ジェスチャ開始を規定し、所定の閾値未達は、ジェスチャ終了を規定する。同様に、図４による閾値法に従って、また、ここでも、移動経路５０の点５０ａは、ジェスチャ開始マークが割り当てられ、点５０ｂは、ジェスチャ終了マークが割り当てられ得る。ジェスチャ終了とジェスチャ開始との間の移動経路は、再び、パターン認識にフィードされ得る。

速度の推移はまた、移動経路からの偶発的移動を除去するために使用され得る。本目的のために、例えば、第２の閾値が、提供されてもよく、その超過は、移動が意図されていないものであって、移動空間内の偶発的移動（例えば、手の震え）または信号（例えば、システム近傍に位置する携帯電話、蛍光灯等からの）妨害信号である証拠である。移動経路５０の対応する点５１ａは、第２の閾値の超過を示す、対応する情報が割り当てられ得る。移動速度が、再び、本第２の閾値未達となる場合、本点５１ｂはまた、第２の閾値未達に対する移動経路５０の対応する情報が割り当てられ得る。

図５に示される実施例では、移動経路５０はまた、２つのジェスチャ、すなわち、点５０ａと５１ａとの間の移動経路によって形成されるジェスチャと、点５１ｂと５０ｂとの間の移動経路によって形成される第２のジェスチャとを含む。図５に示される実施例によると、移動経路５０からの２つのセグメントが、パターン認識にフィードされる。偶発的移動を表す、セグメント５１は、パターン認識にフィードされず、必要に応じて、拒否され得る。

代替として、図５に示される移動経路の２つのセグメント（５０ａから５１ａまたは５１ｂから５０ｂ）から、再び、点５０ａと５０ｂとの間の単一移動経路を生成することができ、これは、次いで、パターン認識にフィードされ得る。本目的のために、点５１ａと５１ｂとの間の移動経路５０は、補間され得る。点５１ａと５１ｂとの間の補間されたセグメントは、引用記号５２によって、図５に示される。補間のために、本質的に、周知の補間方法、例えば、三次スプライン補間が使用され得る。したがって、偶発的移動は、この点において、２つまたはいくつかのジェスチャを誤って捉えることなく、かつ移動経路内の異常値が、以下のパターン認識に悪影響を及ぼすことなく、効率的に、移動経路において補償され得る。

特に、一般的補償方法によって、また、単純な一連のジェスチャのみ認識することができるだけではなく、他方では、エラーの観点から、ジェスチャ認識において、より寛容である、そのようなジェスチャ認識システムが、実現され得る。したがって、また、例えば、疾患（例えば、パーキンソン病）による障害のため、運動機能が非常に制限された人用のジェスチャの３次元認識のためのジェスチャ認識システムが、提供され得る。

Ｘ方向における速度の推移の代わりに、また、Ｙ方向および／またはＺ方向における速度の推移が、評価され得る。代替として、また、ジェスチャ開始またはジェスチャ終了を決定するために、全３方向における速度の推移が、考慮され得る。経時的速度の推移の代わりに、また、経時的加速度の推移が、ジェスチャ開始またはジェスチャ終了を決定するために、使用され得る。

図６は、移動経路内のジェスチャ開始またはジェスチャ終了を決定するためのなおもさらなる方法を示す。

図６は、４つのセンサ電極を伴うセンサシステムにおけるセンサ電極と移動する指の指先との間の距離の時間経過を示す。例えば、推移６０ａは、第１のセンサ電極に対する指先の距離の時間の推移に対応する。また、ここでは、閾値も、規定され、その超過または未達は、ジェスチャの開始またはジェスチャの終了を決定する。本発明によると、ジェスチャ開始は、図６に示される４つの経過のうちの少なくとも１つが、既定閾値未達となる時、現れる。したがって、ジェスチャ終了は、全４つの経過が、再び、対応する閾値超過となる時、存在し得る。

図４から６に示される閾値法は、ジェスチャの開始またはジェスチャの終了を決定するために、個々に、または組み合わせて、使用され得る。同様に決定され得る付加的条件として、超過または未達が、ジェスチャ開始またはジェスチャ終了として解釈されるように、図４から６に示される閾値のうちの１つ以上が、所定の期間にわたって、超過または未達でなければならない。また、図４から６に示される閾値は、ジェスチャ開始またはジェスチャ終了を検出するために、所定の順序において、超過または未達でなければならないことが想定される。

以下では、図７ａを参照して、移動空間１０または検出空間２０内の指先の移動に対応する移動経路から、ジェスチャを認識するための方法が、説明されるが、ＸおよびＹ座標のみ、考慮される。ユーザは、移動空間１０または検出空間２０内の移動によって、数字「２」を入力する。対応する移動経路（ジェスチャ開始またはジェスチャ終了が、認識された後）は、図７ａにおいて、引用記号７０によって示される。ジェスチャ認識の目的のために、移動経路は、最初に、セグメントに分割される。個々のセグメントへの移動経路の分割のために、例えば、ほとんどの部分に対して、移動経路からのそれぞれのセグメントを包囲する、標準化されたヒットボックス７５（図８参照）が、使用され得る。３次元ジェスチャのジェスチャ認識では、すなわち、加えて、また、Ｚ座標も考慮される、移動の場合、ヒットボックスの代わりに、好ましくは、ほとんどの部分に対して、移動経路のそれぞれのセグメントを包囲する、境界ボックスが、使用される。

標準化されたヒットボックス７５は、所定の幅および長さを伴う、所定の数の長方形であって、各長方形は、所定の角度だけ傾斜される。単純な例では、移動経路をセグメント化するために、８つのヒットボックスで十分である。８つの可能性のあるヒットボックスが、図８に関して示される。各ヒットボックスは、一式の利用可能ジェスチャセグメントから、それぞれ、反対方向に進む、２つのジェスチャセグメントを記述するため、移動経路の方向は、セグメント化のために重要ではない。

第１のステップでは、移動経路の第１のセグメントを可能な限り完全に囲む、ヒットボックスが選択される。検討される例では、図８に示されるヒットボックスから、ヒットボックスＨＢ１が、選択され、対応する移動経路のセグメントに割り当てられる。本方法は、ヒットボックスの支援によって、移動経路全体が、セグメントに分割されるまで、継続される。移動経路の方向が既知であるため、次のステップでは、各ヒットボックスが、一式の利用可能ジェスチャセグメント７２から、対応するジェスチャセグメントが割り当てられる。この場合、ヒットボックスＨＢ１は、ジェスチャの方向を考慮して、移動経路のセグメント（Ａ）割り当てられる。本方法は、各ヒットボックスに、対応するジェスチャセグメントが割り当てられるまで、反復される。そのような割当の結果は、図７ａにおいて、引用記号７１によって示される。

そのように生成されたジェスチャセグメントのシーケンスは、一式の基準ジェスチャから、対応するジェスチャを選択するために、使用される。本目的のために、基準ジェスチャはそれぞれ、好ましくは、ジェスチャセグメントのシーケンスから、記述される。好ましくは、本発明による基準ジェスチャは、以下により詳細に説明される、ジェスチャの文脈自由（ｃｏｎｔｅｘｔ ｆｒｅｅ）記述のための文法に従って、記述される。

ジェスチャ認識における分解能を向上させるために、付加的ヒットボックスおよび対応する関連付けられたジェスチャセグメントが、提供され得る。ヒットボックス自体もまた、より小さく選択されてもよく、これは、ジェスチャ認識において、また、より高い分解能につながる。

移動経路を個々のセグメントに分割し、対応するヒットボックスを割り当てることによって、ジェスチャを認識するための前述の方法はまた、第１のヒットボックスを検出後、次いで、本ヒットボックスに、対応するジェスチャセグメントが割り当てられるように、行われ得る。本手順は、既に、第１の検出されたジェスチャセグメント後、その第１のジェスチャセグメントが、検出された第１のジェスチャセグメントに対応しない、それらの基準ジェスチャすべてが、ジェスチャ認識に対して、排除され得るという利点を有する。

具体例では、既に検出されたジェスチャセグメントによって、また、決定されたジェスチャセグメントが、ジェスチャセグメントに従い得る場合のみ、可能性のある前述のジェスチャセグメントの数が、限定され得る。これは、図７ａに示される実施例によって、説明される。一式の基準ジェスチャのみ、数字の２を記述する、図７ａに示される基準ジェスチャ７１を構成すると仮定する。この場合、第１のジェスチャセグメント（ａ）後、ジェスチャセグメント（ｂ）のみ、続くジェスチャセグメントであることができる。ここで、ユーザが、第１のジェスチャセグメントにおいて、例えば、ジェスチャセグメント（ｅ）に対応するように移動空間内への移動を継続する場合、入力または移動は、許容不可能として、認識され得る。

以下では、例えば、基準ジェスチャを記述するために、ジェスチャ認識に対して、本発明による方法において使用され得る、ジェスチャの文脈自由記述のための文法が示される。

ジェスチャ文法は、ＥＢＮＦ表記法において示される。

本文脈自由ジェスチャ文法は、以下の意味を有する。
ジェスチャＧは、ジェスチャ開始Ａ後、ジェスチャセグメントＳが続き、随意に、いくつかのさらなるジェスチャセグメントが続いてもよく、随意に、さらに、ジェスチャ終了Ｅが続くことから構成される。ジェスチャセグメントＳは、一式のジェスチャセグメント｛Ｓ_１、Ｓ_２、．．．、Ｓ_ｎ｝からのジェスチャセグメントから形成される。

ジェスチャセグメントＳＩは、例えば、記号

等によって表される。

したがって、連続ジェスチャは、常に、ジェスチャ終了を有する必要はないため、ジェスチャ終了は、随意である。

ジェスチャ開始は、初期特徴ＡＭ後、随意に、演算子ＯＰ後、初期特徴ＡＭが続くことによって形成される、１つまたはいくつかのシーケンスが続くことから構成される。

本実施例における演算子は、「ＡＮＤ」または「ＯＲ」であり得る。

ジェスチャの開始の一形態は、例えば、「Ｚ＜２ｃｍ ＡＮＤ Ｖｘ＞４ｃｍ／ｓ」となるであろう。本形態は、例えば、基準表面からの指先の距離が２ｃｍ未満である場合、かつ、基準表面に対する指先の速度が４ｃｍ／ｓ超である場合、ジェスチャ開始が、移動経路内に存在することを規定する。

ジェスチャ終了Ｅは、終了特徴ＥＭ後、随意に、演算子ＯＰ後、終了特徴ＥＭが続くことによって形成される、１つまたはいくつかのシーケンスが続くことから構成される。

離散と連続ジェスチャとの間の区別もまた、以下の文法の拡張によって、記述され得る。

さらに、本ジェスチャ文法は、各ジェスチャが、少なくとも１つのジェスチャセグメントから構成されることを含意する。

本ジェスチャ文法によると、すべてのジェスチャは、それぞれの文脈から独立して、記述され得る。

したがって、例えば、正方形を表すジェスチャは、例えば、以下のように、前述のジェスチャ文法を使用することによって、記述され得る。

本文法によって、また、空間コマンドジェスチャ、例えば、前述の開始ジェスチャが、記述され得る。

本発明による方法において、本ジェスチャ文法に従って記述される、基準ジェスチャの使用は、ジェスチャ認識に対して、いくつかの効果を有する。
−基準ジェスチャは、本発明による方法が、ジェスチャ認識に対して使用される、文脈から独立して、記述され得る。
−基準ジェスチャのジェスチャセグメントのシーケンスはまた、データベース内に記憶されてもよく、それぞれの基準ジェスチャを保存する際、文法は、維持されるであろう。データベース内に記憶される基準ジェスチャは、全体的シーケンスの観点からと、個々のジェスチャセグメントの観点からの両方において、インデックスされ得、特に、図７ａおよび７ｂに説明される方法に関して、対応する基準ジェスチャが、データベースへの索引順アクセスによって決定され得るので、ジェスチャ認識に対して、有意な速度効果を伴う。
−基準ジェスチャは、非常に空間節約的方法において記憶され得、これは、特に、小容量のみを処理する、内蔵システムにおいて、有利である。

図７ｂは、移動経路からのジェスチャの抽出の際または抽出後、実施され得る、エラー補正方法の実施例を示す。エラー補正方法は、移動経路が、図７ａに関して説明されたセグメント化方法に従って、一式の基準ジェスチャからのジェスチャのいずれのジェスチャセグメントにも割り当てることができない、セグメントを含む場合でも、ジェスチャを正確に認識することができるという利点を有する。

本目的のために、図７ａに説明されるように、移動経路は、ヒットボックスの支援によって、セグメントに分割される。各ヒットボックスは、対応するジェスチャセグメントが割り当てられる。

しかしながら、数字「２」に対応すべき移動経路は、点Ｐ１とＰ２との間のくぼみを呈し、これは、移動経路内において、２つのヒットボックスＨＢ４ａおよびＨＢ４ｂが、くぼみを記述するジェスチャセグメントに割り当てられることを伴うが、しかしながら、第４および第５のジェスチャセグメントとして、対応するジェスチャセグメントを備えている、基準ジェスチャは、存在しない。いずれの基準ジェスチャも割り当てられ得ず、このように認識されたジェスチャは、ここで、非認識ジェスチャとして、拒絶され得る。しかしながら、正しく認識されたジェスチャを得るために、そのような誤入力を補正することができることが望ましい。

本発明の一実施形態では、エラー補正方法は、最初に、認識されたジェスチャセグメントのシーケンスと、基準ジェスチャのジェスチャセグメントとの間の類似性比較が、実行されるように、形成され得る。そうすることによって、認識されたジェスチャセグメントの最初の３つのジェスチャセグメントおよび最後の４つのジェスチャセグメントが、数字「２」によって記述される、基準ジェスチャの対応するジェスチャセグメントと等しいことが確立される。類似性比較が、１つのみの類似基準ジェスチャにつながる場合、ヒットボックスＨＢ４ａおよびＨＢ４ｂに割り当てられたジェスチャセグメントは、ジェスチャセグメント（ｄ）と置換され得る。次いで、置換は、正確に認識されたジェスチャにつながる。

ジェスチャセグメントの置換の代替として、対応するジェスチャセグメントは、認識されたジェスチャから、完全に除去され得る。次いで、以下のステップでは、図５に関して既に説明されたように、点Ｐ１とＰ２との間において、補間方法が、実行され得る。次いで、そのような方法において生じる、点Ｐ１とＰ２との間の補間された移動経路は、再び、ヒットボックスの支援によって、セグメント化を受け得る。

本エラー補正方法は、例えば、エラー補正後、依然として、さらに存在するエラーを補正するために、再帰的に使用され得る。

本エラー補正方法では、最大再帰深度もまた、事前設定され得、それに到達すると、エラー補正は、中断される。エラー補正の中断後、依然として、ジェスチャを完全に認識することができない場合、ジェスチャは、拒絶されるか、またはユーザは、認識されたジェスチャに対する提案が提供され得る。代替として、エラー閾値もまた、提供されてもよく、その未達は、ジェスチャが、正確に認識されたとして、容認されることを伴う。エラー閾値は、例えば、基準ジェスチャを参照して、認識されたジェスチャセグメントの程度において、示され得る。例えば、基準ジェスチャのジェスチャセグメントの８０％が、抽出されたジェスチャのジェスチャセグメントと一致する場合、認識されたジェスチャは、基準ジェスチャに対応すると想定され得る。

図９ａおよび図９ｂは、３次元ジェスチャ認識のための２つの実施例を示し、移動経路からのジェスチャの抽出の際、各々、１つの文脈情報が、考慮される。

図９ａは、入力表面Ｂを示し、その上には、確認ボタン（ＯＫボタン）が、視覚化されている。電気近接場によって広がる、移動空間内には（図９ａに図示せず）、確認ボタンに割り当てられる、検出空間２０が、規定される。検出空間２０内で生じる手Ｈの指先の移動は、確認ボタンに属する移動として解釈される。すなわち、検出空間２０内側にある、移動経路の一部は、検出空間２０に属する移動経路として解釈される。

確認ボタンまたは検出空間２０は、確認ボタンが、ボタンに接近し、その後、ボタンから離脱することによって、動作され得る、選択ボタンであるという情報を、文脈情報として、割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、実質的に、Ｚ方向に関してのみの移動経路の評価に限定することができる。次いで、本評価の結果から、確認ボタンが動作されているかどうかについて、結論付けられ得る。確認ボタンが、動作されている場合、確認を示す信号が、提供され得る。

移動経路のＸまたはＹ方向は、指先が、側方方向に、検出空間２０から離れるかどうかを検証するためにのみ、評価される必要がある。指先が、非常に短時間の間のみ、側方方向に、検出空間２０から離れ、その後、検出空間２０に戻る場合、これは、検出空間２０を偶発的に離れたと解釈され得る。移動経路が、検出空間２０から離れる、または、再び、検出空間２０に進入する場所間において、移動経路は、例えば、図５に関して示されたように、Ｚ方向に関して補間され得る。指先が、かなり長時間の間、側方方向に、検出空間２０を離れる場合、これはまた、ユーザによる、意図的ジェスチャの中断として解釈され得る。

図９ｂは、Ｘ方向に、左または右にシフトされ得る、スライド制御を伴う、入力表面Ｂを示す。スライド制御は、検出空間２０が割り当てられる。検出空間２０またはスライド制御は、Ｘ方向にのみ移動され得る、スライド制御であることを示す、文脈情報が割り当てられる。本文脈情報に基づいて、ジェスチャ認識は、検出空間２０内側の移動経路のＸ座標のみの評価に限定され得る。ここに示されるスライド制御では、連続的に、移動経路のＸ座標を評価することが有利である。このように、スライド制御の移動は、ユーザが、その移動に関して、直接フィードバックを得るように、指先の移動と同期され得る。

また、ここでは、Ｙ方向またはＺ方向における、検出空間２０からの指先の短期間の離脱は、検出空間２０内への復帰が、所定の期間内に行われる限り、検出空間２０からの望ましくない離脱として解釈され得る。指先が、本所定の期間内に、検出空間２０に進入しない場合、検出空間２０からの離脱は、入力の中断として、解釈され得る。次いで、スライド制御は、その元の位置に復帰し得る。スライド制御の代わりに、例えば、指先の円形移動によって移動され得る、回転ノブが、提供され得る。

入力表面Ｂ上には、さらなる入力要素、例えば、選択フィールド（チェックボタン）または選択リスト（コンボボックス）が、示されてもよく、例えば、接近によって、オープンとなり、オープン状態では、対応する移動によって、ナビゲートすることができる。すべての入力要素は、入力表面Ｂ上において、個別に、または組み合わせて、表示され得る。各入力要素は、対応する検出空間２０が割り当てられる。各入力要素または各検出空間２０はまた、対応する移動経路が、どのように評価されるか、またはどのジェスチャが、それぞれの検出空間２０内側において、許容可能であるかを示す、対応する文脈情報が割り当てられ得る。前述の入力要素に加え、入力表面Ｂには、また、図７に関して既に説明されたように、記号（例えば、文字または数字）を入力するための入力フィールドが、提供され得る。

図１０は、一例として、Ｚ方向における指の移動が、評価されるべきジェスチャに関連しない時、移動空間および／または認識空間内側の移動あるいは移動経路が、どのように評価されるかを示す。その場合、したがって、最終的には、２次元ジェスチャとなり、移動経路の評価は、２次元評価に換算され得る。３次元移動経路の２次元移動経路への換算は、実質的に、Ｘ／Ｙ平面上への移動経路の投影に対応する。次いで、換算された移動経路上において、例えば、図７に関して説明されたように、２次元ジェスチャ評価が、実行され得る。このように、例えば、また、３次元ジェスチャの場合または移動空間内側の３次元移動の場合、その場合、例えば、Ｚ方向における移動は、評価に関連せず、３次元評価が、２次元評価に換算されてもよく、ジェスチャ認識に対して、少ない演算能力を必要とする。これは、特に、小演算能力のみ処理する、携帯端末の場合、重要であり得る。

図１１は、２つの異なる移動経路（２つの指のジェスチャ）から抽出される、ジェスチャの実施例を示す。移動空間内では、手Ｈ１の人指し指による第１の移動が実行される。第２の手Ｈ２の人指し指によって、第２の移動が、移動空間内で実行される。両方の移動から、各々、第１の移動経路ＢＰ１および別の移動経路ＢＰ２が、生成される。次いで、２つの移動経路のそれぞれから、複合ジェスチャの部分的ジェスチャとして解釈され得る、ジェスチャが、抽出される。部分的ジェスチャの抽出または部分的ジェスチャの認識において、Ｚ座標が、考慮されない場合、両方の部分的ジェスチャはそれぞれ、図１１に現れるように、円形のセグメントを表す。したがって、２つの部分的ジェスチャから生じるジェスチャ全体は、円形に対応する。２つの部分的ジェスチャが、複合ジェスチャの構成要素であるかどうかについて、これは、例えば、第２のジェスチャのジェスチャ終了からの第１のジェスチャのジェスチャ開始の距離に応じて、判断することができる。距離が、所定の閾値を下回る場合、部分的ジェスチャは、ジェスチャ全体を構成する。値が、閾値を下回らない場合、２つの部分的ジェスチャは、分離ジェスチャとして、解釈され得る。

図１２ａから図１２ｃは、いくつかの１本の指のジェスチャおよび２本の指のジェスチャを伴う、ジェスチャ一覧の選択を示す。本発明の実施形態では、図１２ｂおよび１２ｃに示される文字または数字は、移動方向に依存せず、認識され得る。例えば、文字「Ｖ」は、左上から右上、またはまた、右上から左上に入力され得る。

図１２ｄは、いくつかの手のジェスチャを伴う、ジェスチャ一覧の選択を示す。そのような手のジェスチャは、例えば、移動空間内における僅かな移動のみ、考慮される必要がある時、提供され得る。

Claims (26)

1. ３次元移動空間におけるジェスチャの非接触検出および認識の方法であって、
   前記３次元移動空間（１０）を規定する電気近接場において、前記３次元移動空間（１０）における少なくとも１つの物体の移動によってもたらされる前記電気近接場の変形が検出され（２００）、
   少なくとも１つの移動経路が、前記検出された電気近接場の変形から生成され（３００）、前記変形は、前記３次元移動空間（１０）における少なくとも１つの物体の移動に対応し、
   前記移動経路における前記移動経路の生成（３００）中に、ジェスチャ開始が決定され、前記ジェスチャ開始を発端に、前記ジェスチャが、前記移動経路から抽出される、
   方法。
2. 前記少なくとも１つの移動経路の生成（３００）は、前記少なくとも１つの物体の少なくとも１つの物体特性を考慮し、前記少なくとも１つの物体特性は、前記電気近接場の変形から導出される、請求項１に記載の方法。
3. 前記少なくとも１つの物体特性の導出によって、アドバンス情報が考慮され、前記アドバンス情報は、前記移動経路の生成（３００）のためのステップに提供される、請求項２に記載の方法。
4. 前記物体特性は、前記物体の形態、前記物体のサイズ、物体の数、基準表面に対する前記物体の配向、電気材料特性、およびそれらの組み合わせを含む群のうちの少なくとも１つを含む、請求項２または３に記載の方法。
5. 前記移動経路の生成において、少なくとも１つの所定の変形基準を満たす電気近接場の変形のみが考慮され、前記変形基準は、変形を生じさせる前記物体の前記基準表面に対する距離、絶対的および／または相対的電場変動、経時的電場変動の１次および／または２次偏差、およびそれらの組み合わせを含む群のうちの少なくとも１つを含む、請求項１から請求項４のいずれかに記載の方法。
6. 前記移動経路の各点は、いくつかの移動特性が割り当てられ、前記移動特性は、
   −前記基準表面に対する前記物体の位置、
   −前記３次元移動空間に対する前記物体の配向、
   −前記物体の速度、
   −前記物体の加速度、および
   −それらの組み合わせ
   の群のうちの少なくとも１つを含む、請求項１から請求項５のいずれかに記載の方法。
7. 前記移動経路からの少なくとも１つのジェスチャの抽出は、離散ジェスチャの抽出および連続ジェスチャの抽出を含む、請求項１から請求項６のいずれかに記載の方法。
8. 前記ジェスチャの抽出のためのステップは、文脈情報が割り当てられる、請求項１から請求項７のいずれかに記載の方法。
9. 前記文脈情報は、離散ジェスチャが抽出されるべきことを示す第１の文脈情報と、連続ジェスチャが抽出されるべきことを示す第２の文脈情報とを含む、請求項８に記載の方法。
10. 前記移動経路における前記移動経路の生成（３００）中に、割り当てられた第１の文脈情報において、ジェスチャ終了が決定される、請求項９に記載の方法。
11. 前記ジェスチャ開始および／または前記ジェスチャ終了は、少なくとも１つの移動特性と少なくとも１つの閾値との比較によって決定され、前記閾値超過／未達は、前記ジェスチャ開始および／またはジェスチャ終了を示す、請求項６から１０のいずれかに記載の方法。
12. 前記閾値超過／未達は、前記閾値が、所定の持続時間の間、超過／未達である場合、前記ジェスチャ開始および／またはジェスチャ終了を示す、請求項１１に記載の方法。
13. いくつかの移動特性の場合、それぞれの閾値が所定の順序で超過／未達である場合に、前記それぞれの閾値超過／未達は、前記ジェスチャ開始および／またはジェスチャ終了を示す、請求項１１または１２に記載の方法。
14. 前記文脈情報は、一式の基準ジェスチャを含む第３の文脈情報を含み、前記一式の基準ジェスチャは、どのジェスチャが検出され得るかを示し、前記基準ジェスチャは、好ましくは、ジェスチャ文法に従って記述されている、請求項８から１３のいずれかに記載の方法。
15. 前記ジェスチャの抽出は、抽出されたジェスチャを認識するためのパターン認識を含む、請求項１から請求項１４のいずれかに記載の方法。
16. 離散ジェスチャは、前記ジェスチャのジェスチャ終了が決定されるとすぐに、前記パターン認識に完全にフィードされる、請求項１５に記載の方法。
17. 前記ジェスチャ開始の検出後、前記ジェスチャは、前記パターン認識に連続的にフィードされ、連続的にフィードされたジェスチャは、前記パターン認識によって、基準ジェスチャの部分的ジェスチャと連続的に比較され、前記基準ジェスチャから、前記連続的にフィードされたジェスチャに対応する基準ジェスチャを検出する、請求項１５に記載の方法。
18. 前記パターン認識は、前記ジェスチャをジェスチャセグメントに分割し、前記ジェスチャセグメントを基準ジェスチャのジェスチャセグメントと比較する、請求項１５から１７のいずれかに記載の方法。
19. 前記少なくとも１つの移動経路の生成によって、補償プロセスが実行され、前記補償プロセスによって、前記３次元移動空間における前記物体の偶発的移動に対応するセグメントが、前記移動経路から排除される、請求項１から請求項１８のいずれかに記載の方法。
20. 前記移動経路の生成は、互に区別可能な１本または数本の指を伴う手の前記３次元移動空間における移動において、前記区別可能な１本の指または数本の指の指先に対応する１つまたはいくつかの移動経路を生成するように適合されている、請求項１から請求項１９のいずれかに記載の方法。
21. 複合ジェスチャが、いくつかの移動経路から抽出されたいくつかのジェスチャによって形成される、請求項１から請求項２０のいずれかに記載の方法。
22. 請求項１から請求項２１のいずれかに記載の方法において使用するためのジェスチャの記述のための文脈自由文法。
23. ３次元移動空間（１０）におけるジェスチャの非接触検出および認識のためのシステムであって、
    前記３次元移動空間（１０）を規定する電気近接場を生成する手段と、
    前記３次元移動空間（１０）における少なくとも１つの物体の移動によって生じる前記電気近接場の変形を検出する手段と、
    前記検出された電気近接場の変形から少なくとも１つの移動経路を生成する手段であって、前記変形は、前記少なくとも１つの物体の移動に対応する、手段と、
    前記移動経路が生成されている間に、前記移動経路におけるジェスチャ開始を検出する手段と、
    前記ジェスチャ開始を発端に、前記移動経路から前記ジェスチャを抽出する手段と
    を備えている、システム。
24. 前記電気近接場を生成する手段は、交流電場が放出され得る少なくとも１つの送信電極と、少なくとも１つの信号発生器とを含み、前記信号発生器は、前記少なくとも１つの送信電極と連結され、前記少なくとも１つの送信電極を電気交流信号で充電する、請求項２３に記載のシステム。
25. 前記変形を検出する手段は、前記電気近接場の少なくとも１つの受信電極と、前記少なくとも１つの受信電極に連結されている評価デバイスとを含み、前記評価デバイスは、前記受信電極に連結されている交流電場または前記受信電極において放出される交流電場の周波数、振幅および／または位相の変化を検出する、請求項２３または２４に記載のシステム。
26. 前記交流信号の周波数、振幅、および／または位相は、調節可能である、請求項２４または２５のいずれかに記載のシステム。

Images