JP2007533043A - 両手動作の追跡 - Google Patents

Abstract

【課題】像一体中及び前後に両手を追跡し、ジェスチャを認識する方法を提供する。
【解決手段】像一体期間中、像が一体となった二つの手の動作を一つの単位として追跡する。像一体期間中の像が一体となった二つの手の特徴である同期のタイプを、像が一体となった二つの手の追跡された動作に基づいて検出する。検出された同期のタイプに基づいて、像が一体となった二つの手のそれぞれの移動方向が、像一体期間中に変化したかを判断する。幾つかの実施形態は、第一の方向から来た第一の手と、第二の方向から来た第二の手とが像一体期間中に像一体状態にあると判断し得る。該二つの手の特徴である検出された同期のタイプと、該二つの手の挙動とに基づいて、像一体期間後に、第一の手を、第二の手から区別できる。

Description

本発明は、データ処理に関する。

コンピュータとの相互作用は、マウス及びキーボードに限定されない。ジェスチャを認識するために人物の動きを感知することは、ヒューマンコンピュータインタラクション及びコンピュータビジョンにおける広範な研究の対象となっている。特に、人間の手のジェスチャを認識することは、コンピュータに自然なコミュニケーション方法を提供する。医療から監視及びセキュリティに至る用途において、本明細書で説明する技術を使用し得る。手の動作を学習し認識することは、こうした技術の重要な要素である。

両手の動作は、一般に、全ての手の動作のうち大きな部分を成し、この動作においては、タスクを行うために或いは意味を示唆するために、両手が同時に動く。拍手、瓶の開栓、キーボードを使ったタイピング、及びドラム演奏は、一般的な両手動作である。また、手話は、両手動作を使用して、コミュニケーションのための複数組のジェスチャを提供する。

通常、手の動作の認識の必要なものは、追跡である。物体は、ステレオイメージングを使用して追跡し得る。

追跡に使用される二種類の一般的な手法は、カルマン（Kalman）フィルタリング及び粒子フィルタリングである。粒子フィルタリングは、像一体（occlusion）の問題の追跡及び解消に使用し得る。他の追跡アルゴリズムは、例えば、ベイジアンネットワーク（Bayesian Network）と、確率的追跡関数に基づくオブジェクトモデルマッチングと、コスト関数の最小化と、分析的モデルマッチング等の手法を使用してよい。幾つかの追跡アルゴリズムは、非線形最適化を備える。

《関連出願への相互参照》
本出願は２００４年４月１５日出願の米国仮特許出願第６０／５６２，３２６号の利益を主張する通常の特許出願である。この出願を本明細書に援用する。

後述する一つ以上の実施形態は、像一体（又は像の合体；occlusion）前に両手を追跡し、該像一体をそれとして特定し、該像一体後、個別の手を再認識し追跡することを可能にする。追跡は、カメラの視野と、手の形状と、例えば、指が動いている時に生じるような変化する手の形状とに依存しない。加えて、手が行っているジェスチャを、像一体前、間、及び後のジェスチャ部分を含め、認識し得る。

一つ以上の追跡アルゴリズムは、像一体にリアルタイムに対処し、人間の手等の非剛体の物体を追跡することが可能であり、カメラの位置の移動により生じる変化を許容する。特に、一方の手が別の手と像一体状態になった場合、一つ以上の後述するシステムは、像一体が終了した時に両手を再認識可能であり、両手に異なる色の手袋をはめる必要なく、これを実行できる。

一つ以上の開示したシステムは、物体の非剛体性質による物体の形状の可変性に対処する。こうしたシステムは、物体の形状が素早く変化した時に、必ずしも追跡の手掛かりを失わない。

一つ以上の開示したシステムは、カメラの視野方向に依存しない追跡アルゴリズムを使用する。そのため、視野方向の変化は、アルゴリズムにおいて許容される。これの興味深い応用として、カメラ移動中の手の追跡がある。カメラ位置の動的変化は、移動可能ロボット等の能動的視野用途においてしばしば不可避である。

一連の画像で手を追跡した後、様々な開示したシステムでは、ジェスチャを認識する。一つ以上のシステムでは、認識のためにニューラルネットワークが、ベイジアンネットワーク、特に隠れマルコフモデル（HMM）と同様に使用される。

一つ以上の開示した実施形態では、両方の手の像一体を許容する認識手法を使用する。両手動作中に、一方の手が他方の手を部分的に又は完全に覆う場合がある。

一つ以上の開示した実施形態では、手が着目領域外へ一時的に移動することを許容する認識手法を使用する。こうした場合、二つの手が、両手ジェスチャの全期間に渡って存在するわけではない。また、開示した認識手法は、人物の体等、他の物体と手が像一体状態となることも許容する。

一つ以上の開示した実施形態は、連続した（連結された）周期的両手動作を認識する認識手法である。拍手のような周期的両手動作は、通常、数回反復される二つの手の動作の短いサイクルを含む。多くの仮想現実の用途では、仮想環境と対話するために、幾つかの両手動作が連結され、これらの動作が認識され、動作の遷移が検出される。

一つ以上の実施形態は、人の両手を追跡し、像一体が存在する状態で左手と右手とを区別し、両手動作を認識する認知システムを提示する。場面はデジタル化され、人の両手は、一つ以上の神経科学現象に基づく斬新な追跡アルゴリズムによって追跡される。その後、ジェスチャ認識アルゴリズムは、各手の動作を認識し、その結果を組み合わせて実行された両手動作を認識する。本システムは、コンピュータとの対話、耳の不自由な人による他者とのコミュニケーション、及びセキュリティ用途のために、手の動作を追跡及び認識するのに有用となり得る。

本発明の一般的な態様によれば、像が一体となった二つの手を一つの単位として、像一体期間において該像が一体となった二つの手の動作を追跡する。前記像が一体となった二つの手の前記追跡された動作に基づいて、前記像一体期間における前記二つの手の特徴である同期のタイプを検出する。前記検出された同期のタイプに基づいて、前記像が一体となった二つの手のそれぞれの移動方向が、前記像一体期間中に変化したか否かを判断する。

実施形態は、次の特徴の一つ以上を含んでもよい。方向が変化したか否かの前記判断は、前記像が一体となった二つの手の前記追跡された動作に更に基づいて行われる。方向が変化したか否かの前記判断は、前記像一体期間中に前記二つの手が互いを通過したか、休止したか、互いに衝突したかを判断することを含む。

方向が変化したか否かの前記判断は、前記二つの手がそれぞれ、前記像一体期間後、元来た方向へ戻ったか、元来た方向と反対の方向へ移動したかを判断することを含んでもよい。前記二つの手が元来た前記方向は、垂直方向、水平方向、及び対角線方向のうち一つ以上を含んでよい。

同期のタイプの前記検出は、前記二つの手が正に同期しているか、負に同期しているかを判断することを含み、方向が変化したか否かの前記判断は、前記二つの手が負に同期しているか否かに更に基づいて行われてもよい。同期のタイプの前記検出は、前記像が一体となった二つの手の速度の値を検出することを含んでもよい。前記速度値は、前記像が一体となった二つの手を囲むよう形成された長方形の平行辺同士の速度の差の標準偏差を含んでもよい。

前記像が一体となった二つの手の動作の前記追跡は、前記像が一体となった二つの手を囲むよう形成された長方形の動きを追跡することを含み、方向が変化したか否かの前記判断は、前記長方形の一つ以上の辺の速度に基づいて、前記像が一体となった二つの手の速度の値を検出することを含んでもよい。方向が変化したか否かの前記判断は、前記速度値が閾値を下回っているか否かに基づいて行われてもよい。前記速度値は、前記長方形の平行辺同士の速度の二乗の和の平方根であってもよい。

方向が変化したか否かの前記判断は、前記速度値の一つ以上の確率分布に基づいて行われてもよい。前記速度値は、前記長方形の平行辺同士の速度の差であってもよい。前記一つ以上の確率分布は、第一の速度パターンに関連する第一の組の分布と、第二の速度パターンに関連する第二の組の分布とを含んでもよい。前記第一の速度パターンは、前記像一体期間中に前記二つの手が互いを通過したことを表し、前記第二の速度パターンは、前記像一体期間中に前記二つの手が互いを通過しなかったことを表してもよい。

方向が変化したか否かの前記判断は、第一の確率と第二の確率とを計算することと、前記第一の確率を前記第二の確率と比較することとを更に含んでもよい。前記第一の速度パターンが前記像が一体となった二つの手の前記速度値を生成した第一の確率を前記第一の組の分布に基づいて計算してもよい。前記第二の速度パターンが前記像が一体となった二つの手の前記速度値を生成した第二の確率を前記第二の組の分布に基づいて計算してもよい。前記比較の結果に基づいて、前記像が一体となった二つの手が前記像一体期間中に互いを通過したか否かを判断する。

本発明の別の態様によれば、第一の方向から来た第一の手の像と、第二の方向から来た第二の手の像とが一体となっていると判断する。前記像が一体となった二つの手を一つの単位として該像が一体となった二つの手の動作を追跡する。前記像が一体となった二つの手の前記追跡された動作に基づいて、前記像が一体となった二つの手の特徴である同期のタイプを検出する。前記第一の手と前記第二の手とが像一体ではなくなったと判断する。前記第一の手と前記第二の手とが像一体ではなくなったと判断した後、前記検出された同期のタイプに基づいて前記第一の手を前記第二の手から区別する。

態様、特徴、及び実施形態は、例えば、方法と、方法を実行するための命令群を含むデバイスと、その他のやり方で方法を実行するように構成されたデバイスと、これらデバイスのいずれかを含むシステムとして実現してよい。一つ以上の実施形態の詳細が、添付図面及び以下の説明に記載されている。他の特徴は、説明及び図面と特許請求の範囲とから明らかとなるであろう。

図１（ａ）を参照すると、一つ以上の開示した実施形態は、三つの基本要素、即ち、知覚データを扱う低レベル処理１１０と、右手から左手を見分けるためのインテリジェントハンドトラッキング１２０と、動作を認識するための両手動作認識１３０とを伴う両手動作を学習し理解するための認知システム１００を備える。

低レベル処理１１０では、両手を画像から抽出する。例えば、カラー画像での皮膚色検知、或いはハイコントラスト白黒画像でのグレイレベル検知を使用して、両手を背景から抽出する。

第二の要素１２０は、手の追跡を含む。手の追跡は両方の手の像が一体となることにより複雑になる場合がある。一方の手が他方の手を部分的に又は完全に覆う場合、像一体の終了時には、二つの手の像を正確に再取得するべきである。様々な開示された実施形態では、再取得プロセスのために、一つ以上の神経科学現象を活用する。

神経科学における特定の研究により、両手動作において、二つの手が時間的及び空間的に協調することが明らかになっている。加えて、手の構成要素も、時間的に協調する。この時間的及び／又は空間的協調は、両方の手の像一体が発生した時に手を追跡及び再取得するためのアルゴリズムの基盤となりうる。一般には、協調により、二つの手は同時に動作を開始し、休止し、終了する。更に、両手動作中の手の速度同士は、かなり正確に同期する場合が多い。この速度の協調は、例えば、両手でのピアノ演奏を学習する初心者にとっての困難の原因となり得る。

実施形態においては、カルマンフィルタリングに基づく手法を使用して、両方の手の速度を監視し、休止を検出し、手の間の同期を認識する。特に両方の手の像一体期間中に、同期及び休止を検出することで、実施形態の追跡アルゴリズムは、像一体の終了時に左手から右手を見分ける。

一実施形態の追跡アルゴリズムは、更に、両手動作をセグメント化するために使用される。セグメント化により、両手動作の各部分は、その部分が像一体セグメントか、非像一体セグメントかを示す標識を受取る。非像一体カテゴリは、三つの異なるセグメント、即ち、開始、中間、及び終了セグメントを含んでいるかもしれない。そのため、本実施形態の追跡アルゴリズムは、両手動作の性質に応じて、両手動作を四つまでのセグメントに分割する。

一実施形態において、追跡アルゴリズムは、追跡問題の一般的な視点を取り入れる。例えば、純粋なパターン認識の視点において、異なる視野方向から見る時、動作は、異なって認識される場合がある。概ね視野方向から独立した一般的な動作モデル群は、異なる複数の視角から見た時に両手動作のモデルが発見できるように定義される。

また、両手の同期の使用により、一つ以上の開示した実施形態の追跡アルゴリズムは、手の形状に依存しないものとなり得る。手の形状及び視野方向への非依存性により、追跡アルゴリズムは、移動ビジョン用途（例えば、ロボット工学における能動的ビジョン）において有用となり得る。

一実施形態の追跡アルゴリズムは、手の実際の位置及び速度に依存しないモデルを含む。結果として、この追跡アルゴリズムは、視覚システムが移動又は回転する用途において使用できる。例えば、カメラを移動ロボットに設置したと仮定すると、追跡者は、ロボットの移動中に被写体の手を追跡できる。

第三の要素１３０は、ジェスチャ認識を含み、図１（ｂ）を参照すると、階層認知システム１４０によって表現され得る。システム１４０は、底部レベル１５０において手の形状を分析し、底部レベル１５０では、手の形状の抽出及び検出のために画像分析及びパターン認識を使用する。システム１４０は、中間レベル１６０において、例えば、時空間的片手ジェスチャ認識を使用して、各手の個別の部分動作を学習する。システム１４０は、上部レベル１７０において、それらの部分動作を組み合わせて、動作全体を認識する。

主成分分析及び隠れマルコフモデル等の、統計的及び時空間的パターン認識方法は、システム１４０の底部レベル１５０及び中間レベル１６０において使用してよい。上部レベルのベイジアンインタフェースネットワークは、認識された一組の部分的な手の動作の組み合わせとして、動作を知覚し得る。両手動作は、二つの手の個別の動作に分割し得る。手が部分的に又は完全に重ねられる場合があること、或いは別の物体によって覆われるために手が消える可能性があることを考慮して、底部レベルの融合ネットワークは、こうしたケースに対処できるように設計される。動作の像一体及び非像一体部分は、異なるセグメントとして扱われ、別々に認識されてよい。中間レベルの隠れマルコフモデルのモデル群を、手のジェスチャのセグメント群に割り当ててよい。これらのＨＭＭモデル群を使用して、中間レベルにおいて、部分動作を認識する。該部分動作を認識するために、一実施形態では、着目する画像シーケンスの各フレームにおいて、手の形状と、各手の動作とを認識しラベルを付ける。認識及びラベル付けは、階層の底部レベルにおいて、主成分分析及び動きベクトル分析を使用して行われる。

一実施形態において、システム１４０は、単一動作を学習し、単一の両手動作及び連続した（連結された）周期的両手動作の両方を学習するように作成されている。前述したように、連続した動作の認識は、仮想現実及び没入型技術を用いた仮想環境との対話において特に有用となり得る。

手のジェスチャの認識は、両手を追跡し、何らかの重複を考慮に入れる時、更に現実的となり得る。両手動作において、両手のジェスチャは、通常、一緒に単一のジェスチャを形成する。他方の手の前での一方の手の動作は、両手動作における像一体の原因の一つである。更に、動作の重要部に像一体が存在しない場合の両手動作では、カメラの視野方向を変えることにより、両方の手の像が一体となる可能性がある。

ピクセルのグレイレベルの検出を使用することで、手を黒の背景から抽出し得る。抽出された画像では、非ゼロ値を有するピクセルのみが、手に属することが可能である。手を抽出するために、グラスファイヤアルゴリズムを使用してよい。グラスファイヤは、領域ラベル付け又はブロブ分析アルゴリズムであると説明することができ、グラスファイヤアルゴリズムは、画像を左から右、上から下へスキャンして、手のグレイレベルの範囲内の値を有する接続された領域のピクセルを見つける。該アルゴリズムは、その範囲内で最初に見つかったピクセルの周りを回って他のピクセルを見つける。該アルゴリズムは、全ての接続された領域を見つけ、ラベル付けすることを試みる。

両手を追跡するために、像一体を検出する。ここでは二種類の像一体を考慮する。第一は、両方の手の像が一体となる場合であり、両手の像一体と呼ぶ。第二は、他の何かが手と像一体となるか、或いは手が身体等の他の物体の後に部分的又は完全に隠れる場合である。両方の手の像が一体となる場合には、像一体の開始点を検出し、他方の像一体から、両手の像一体を区別することができる。これについて、以下のモデルを導入する。

図２を参照すると、画像内の各手の回りに長方形２１０、２２０が構築されている。長方形の辺は、対応する手のブロブの上下左右の縁を表す。従って、手を移動させると、長方形は同じように移動する。これらの長方形を追跡することで、両手の像一体の開始点及び終了点を検出する。開始点を検出するために、長方形の動きに注目する。いずれかの段階において、両方の長方形間に何らかの交差が存在する場合は、像一体として認識されうる。しかしながら、図３を参照すると、場合によっては、像一体のない長方形の交差も存在し得る。また、図４を参照すると、ウィンドウ４１０で時間ｔにおいて、長方形２１０及び２２０の交差が存在せず、ウィンドウ４２０で時間ｔ＋１において、像一体が発生し、一つの大きなブロブのみが存在すると仮定すると、そのブロブの周りに一個の長方形４３０が構築される。これが発生するのは、両方の手の形状が一緒に接続され、グラスファイヤアルゴリズムが両手の接続された領域を単一のブロブとして抽出するためである。両手の像一体は、着目領域外への片方の手の移動、或いは体の一部の影に隠れることに類似している場合があるため、他の像一体と、両手の像一体とを必ずしも区別できる訳ではない。この問題に対処するため、各手の将来の移動を予測するモデルを使用する。

運動学の運動方程式と、カルマンフィルタリングとに基づく動的モデルを使用して、動作を追跡し、長方形の将来の位置を予測する。これにより、可能性のある長方形の交差を数ステップ前に予測し、起こりそうな両手の像一体についての警報を提供することが可能となる。

一般的なカルマンフィルタは、部分的に次の数式によって表現可能である。

ここで、
ｘ_ｋ：時間ｔ_ｋにおける処理の状態ベクトル、
Φ_ｋ：ｘ_ｋをｘ_ｋ＋１に関連付けるマトリクス、
ｗ_ｋ：公知の共分散構造のホワイトノイズシーケンス、
ｚ_ｋ：時間ｔ_ｋにおける測定されたベクトル、
Ｈ_ｋ：時間ｔ_ｋにおける測定されたベクトルと状態ベクトル間のノイズレス接続を与えるマトリクス、
ｖ_ｋ：公知の共分散構造のホワイトノイズシーケンスであると仮定される測定誤差である。

画像内で追跡した全ての長方形は、次の数式によってモデル化される。

ここで、ｘ_ｋは、時間ｋにおける長方形を表す状態ベクトル、Φは、長方形の二つの連続する位置を関連付けるマトリクス、ｗ_ｋは、ゼロ平均ガウスホワイトシステムノイズである。

図５を参照すると、長方形２２０は、二本の垂直辺ｘ^１ _１及びｘ^１ _２と、二本の水平辺ｙ^１ _１及びｙ^１ _２とを含む。同様に、長方形２２０は、二本の垂直辺ｘ^２ _１及びｘ^２ _２と、二本の水平辺ｙ^２ _１及びｙ^２ _２とを含む。長方形の移動は、その辺の移動によってモデリングされる（図５参照）。したがって、式３は、次のように展開される。

ここで、ｘ^ｉ _１，ｋ、ｘ^ｉ _２，ｋ、ｙ^ｉ _１，ｋ、及びｙ^ｉ _２，ｋは、時間ｋにおける長方形ｉの辺であり、即ち、時間ｋにおける長方形ｉの辺の位置を表す。

ｘ_（ｔ）がこれらの長方形の一つの辺の移動の軌道を示し、ｔは時間変数であるとする。この関数は、ｆ＝１／ｈ（h＞０）でサンプリングすることで離散化される。ｆはサンプリングレート、ｈはサンプル間隔を表す。したがって、ｘ_ｋ＝ｘ_（ｋｈ）、ｋ＝０，１，．．．となる。

ｘ_（ｔ）は連続な一次及び二次導関数を有すると仮定する。ここで、ｘ_（ｔ）は位置であり、ｘ_（ｔ）の一次及び二次導関数は、それぞれ速度及び加速度である。小さな値のｈの場合、位置、速度、及び加速度ベクトルは、次のように計算される。

ここで
ｘ^・ _ｋ：速度（一次導関数）
ｘ^・・ _ｋ：加速度（二次導関数）
ｘ^・ _ｋ＝ｘ^・ _（ｋｈ） ｋ＝０，１，．．．
ｘ^・・ _ｋ＝ｘ^・・ _（ｋｈ） ｋ＝０，１，．．．

この動的モデルを使用して、式４のモデルは、ｉ＝１，２の場合、式７に展開される。

ここでｘ^ｉ _１、ｘ^ｉ _２、ｙ^ｉ _１、ｙ^ｉ _２は、一点付き及び二点付きの変数により表される連続な一次及び二次導関数を有すると仮定する。ｈ＞０はサンプリング時間である。

観測方程式２では、長方形の位置のみが観測され、速度及び加速度が計算される。したがって、マトリクスＨを、次のように定義する。

ここでＨは、測定されたベクトルｚ^ｉ _ｋと状態ベクトルｘ^ｉ _ｋ間のノイズレス接続を次のように与える。

ここで、ｘ^ｉ _ｋ＝［ｘ^ｉ _１，ｋ ｘ^・ｉ _１，ｋ ｘ^・・ｉ _１，ｋ ｘ^ｉ _２，ｋ ｘ^・ｉ _２，ｋ ｘ^・・ｉ _２，ｋ ｙ^ｉ _１，ｋ ｙ^・ｉ _１，ｋ ｙ^・・ｉ _１，ｋ ｙ^ｉ _２，ｋ ｙ^・ｉ _２，ｋ ｙ^・・ｉ _２，ｋ］^Tであり、ｖ_ｋは、ゼロ平均ガウスホワイト測定ノイズである。カルマンフィルタリングモデルは、ｉ＝１，２の場合、次の確率的記述となる。

このモデルにおいて、将来の予測は、式１１により現在の状態を投影することで実行される。

式１１は、ベクトルｘの次の状態を一ステップ前に予測する。言い換えると、数式１１は、長方形ｉの位置を一ステップ前に予測する。予測は、Φの指数部分を増加させることで、二ステップ以上の場合でも実行できる。

図６を参照すると、時間「ｔ_１」における長方形２１０及び２２０の位置を示すウィンドウ６１０から、引続く時間「ｔ＋１」における長方形２１０及び２２０の位置を示すウィンドウ６２０まで間に、長方形２１０及び２２０間の交差が本アルゴリズムによって予測される場合、像一体警報を発生させる。該予測は、次のステップ、或いは多数ステップ先に対するものであってよい。像一体警報を発生させたので、手の形状が結合するとすぐに、像一体が検出される。したがって、両手の像一体を捕捉し、他方の種類の像一体と区別できる。

一実施例の像一体検出アルゴリズムは、次のようにまとめられる。
アルゴリズム１：
１．グラスファイヤを使用することで手のブロブを抽出し、長方形を構築する。
２．動的モデルを各長方形に適用し、将来の位置を予測する。
３．予測された長方形間に何らかの交差がある場合、像一体警報を発生させる。
４．次のキャプチャ画像において、一方の手のみがグラスファイヤにより検出され、像一体警報が既に発生している場合、両手の像一体が発生していると仮定される。そうでない場合、片方の手が画像内に見え、像一体警報が発生していない場合、他方のタイプの像一体（例えば、体の一部との像一体、或いは場面内にない）が発生していると仮定される。一つ以上の変数を、特定のタイプの像一体が検出されたことを示すように設定してよい。
５．画像のキャプチャを継続する。
６．一つの手のみを検出後、後続のいずれかのステップにおいて、像一体変数が（その前のキャプチャ画像のために）セット状態の間に、画像内に二つの手が検出された場合、像一体の終了が検出される。

このアルゴリズムを使用することで、像一体の開始及び終了を検出する。
像一体を検出するための解決策があるので、手を追跡し、像一体期間毎の終了時に両手を再取得することになる。

手抽出アルゴリズム（グラスファイヤ）において、画像において見つけた第一の形状は、第一の手としてラベル付けされる。図７を参照して、左から右、上から下への検索を想定すると、時間「ｔ」のウィンドウは、検索により手７２０が最初に見つかるため「１」とラベル付けされた手７２０と、検索により手７３０が二番目に見つかるため「２」とラベル付けされた手７３０とを示す。ウィンドウ７４０は、手７３０が「１」、手７２０が「２」とラベル付けされているように、時間「ｔ＋１」において、手７２０が僅かに下へ移動し、手７３０が僅かに上へ移動し、左から右、上から下への検索により手７３０が最初に、手７２０が二番目に見つかることを示している。こうした手７２０及び７３０の再ラベル付けは、混乱を引き起こし得るが、手７２０及び７３０を追跡すれば回避し得る。

別の実施形態では、手の重心を使用して、一連の画像で手を追跡する。重心に基づくアルゴリズムでは、手の重心を発見し、連続する二フレームにおいて比較する。この手法を使用することで、何かと手の像が一体となった場合でも、手を正確に追跡することができる。例えば、一方の手が少しの間、体と重なるか、或いは完全に隠れた後、再び現れる場合、像一体の前の最後の位置と他方の手の位置とを記録することで、正確に追跡できる。このように期待できるのは、手が体のような別の物体の後ろに移動するか、或いは画像フレームの外へ移動する時は、像一体前の最後の位置に近い領域に現れる可能性が最も高いためである。他方の手も、像一体期間に渡って追跡する。したがって、どこかの時点で、画像内に一方の手のみが存在する場合、本アルゴリズムは、手の追跡を適切に混乱なく続け得る。その他の実施形態では、重心以外の指標を使用して手を追跡する。

両手動作において、一方の手が完全に又は部分的に他方の手を覆う時、前記手抽出アルゴリズムは、画像内に一つの大きなブロブを検出する。この場合、多くの用途では、画像内のどの手が右手で、どの手が左手かを知るために、像一体の終わりに正確に両手を識別することが求められる。手を追跡するために、各手の動作の経路に基づいて、両手動作を分類する。図８を参照すると、動作は、次のように分類される。

クラス１：両手が互いに向かって移動し、少しの間、一方が他方と重なり、通り過ぎる。図８（ａ）、（ｃ）、（ｄ）、及び（ｈ）に提示したモデルａ、ｃ、ｄ、及びｈ。
クラス２：両手が互いに向かって移動し、衝突し、反対方向へ戻る。図８（ｂ）、（ｇ）、（ｋ）、及び（ｌ）に図示したモデルｂ、ｇ、ｋ、及びｌ。
クラス３：両手が移動し、どこかの時点で、一方が他方と衝突せずに重なり、両方の手が前の側へ戻る。図８（ｅ）、（ｆ）、（ｉ）、及び（ｊ）に図示したモデルｅ、ｆ、ｉ、及びｊの動作。
クラス４：両手が両手の像一体となること無く移動する。時々、一方の手が、部分的又は完全に、何かと重なる場合がある。図８（ｍ）及び（ｎ）に図示したモデルｍ及びｎの動作。

第一のクラスにおいては、両手は、衝突せずに滑らかな移動を継続する。第二のクラスにおいては、手は衝突し、経路を変える。第三のクラスにおいては、手は衝突しないが、経路を変更する。第四のクラスでは、両手の像一体はない。一実施形態において、追跡システムは、これらのクラスを認識し、像一体の終了時に両手を正しく特定する。

例えば、拍手はモデルｇ、結び目を作るのはモデルｊによって表すことが可能である。像一体期間終了時に両手を再取得することを目標とする。したがって、一実施形態では、両手の像一体期間中の手の挙動を理解するために、動作が属するクラスを見つける。

一実施形態では、神経科学の視点から問題に取り組む。これは、像一体期間中の手の挙動を、これにより理解できる場合があるためである。

神経科学の研究は、両手動作において、手は無意識に同期する傾向があることを示している。この同期は、時間的及び空間的形態の両方で現れる。時間的には、二つの手が異なる目標を持って動く時、動作は、同時に開始及び終了される。例えば、人が両手で叩く時、叩き方はかなり正確に同期する。空間的には、人は一方の手で円を描き、同時に他方の手で長方形を描くことは殆ど不可能である。

時間的協調は、両手動作において、両手の速度が同期することを示唆する。更に、両手の休止は、同時に発生する。像一体の状態で両手を追跡するために、両手の時間的協調を利用することができる。

休止を検出するために、両手の速度を監視する。円描画と呼ばれる周知の実験は、両手動作において両手の速度がかなり正確に同期することを示す。前述の導入された動的モデルと、上述した両手協調現象とに基づく追跡手法を導入する。

図９を参照すると、前述同様、長方形が各手の周囲に構築されている。像一体検出アルゴリズムにより像一体が検出されるとすぐに、大きなブロブの周囲に長方形９１０が形成される。長方形９１０を、像一体長方形と呼ぶ。

動的モデルを使用して、像一体長方形をモデリングする。したがって、長方形の全ての辺について、位置ｘ、速度ｘ^・、及び加速度ｘ^・・がモデルに含まれる。両手の水平移動は、図９の垂直辺ｃ及びｄによって、垂直運動は、水平辺ａ及びｂによってモデリングされる。簡略化のため、次の補助変数を定義する。
ν_ａ＝ｘ^・ _ａ：辺ａの速度
ν_ｂ＝ｘ^・ _ｂ：辺ｂの速度
ν_ｃ＝ｘ^・ _ｃ：辺ｃの速度
ν_ｄ＝ｘ^・ _ｄ：辺ｄの速度

次に、次の手休止モデルを定義し、垂直及び水平方向における手の「速度」をモデリングする。

ここで、下付き文字ｋは離散時間指数を示し、定義された記号は「速度」と呼ばれる。

手が衝突又は休止する動作（例えばクラス２及び３）において、手は、像一体期間の前に手が存在したのと同じ側へ戻る。これらの動作において、水平又は垂直方向にある長方形の平行な辺は、両手が休止又は衝突する時に休止する。例えば、ｅ、ｆ、及びｌのモデルにおいて、両手は、水平方向に休止して前の側へ戻る。ｇ及びｊにおいて、両手は、水平及び垂直方向の両方に休止して戻る。両手の水平方向の休止は、像一体長方形の垂直辺の休止によって表現され、両手の垂直方向の休止は、像一体長方形の水平辺の休止によって表現される。両手の協調のため、平行な辺の休止は、通常、同時である。言い換えると、両手が水平又は垂直方向に休止する場合、両手の水平及び垂直運動に関連する平行な辺は、同時に休止する。例えば、モデルｉ及びｋにおいて、像一体中に両手が垂直方向に休止又は衝突する時、像一体長方形の水平辺は、通常、同時に休止する。この場合、像一体長方形の水平辺の速度はゼロに達する。これは、手休止モデルのν_ｖ，ｋにより表現される。実際に、小さな閾値ε＞０は、安全なマージンを提供可能である。これは、離散時間において処理を行っており、画像が時間の離散点で取り込まれるためである。ν_ｖ，ｋまたはν_ｈ，ｋが閾値を下回る場合、両手が垂直又は水平方向に休止したと結論する。水平又は垂直方向の休止を検出することで、両手が休止又は衝突し、その方向の像一体前と同じ側に戻ったと結論してよい。

両手が互いを通過する動作では、休止又は衝突は検出されないが、速度の符号の変化が観測される。図１０を参照すると、符号の変化は、互いを通過する時に、両手が辺同士を反対方向へ押しやることによって生じる。ウィンドウ１０１０は、二つの手１０２０及び１０３０が互いに接近し、その結果、垂直辺「ｃ」及び「ｄ」が互いに接近することを示している。ウィンドウ１０４０は、ウィンドウ１０１０より後の時点で、手１０２０及び１０３０が互いを通過して押し進み、そのため垂直辺「ｃ」及び「ｄ」が互いから押し離されることを示している。したがって、速度の符号は、ゼロを通過することなく変化する。手の休止が検出されない場合、両手が互いを通過したと結論する。

通常の動作において、手の形状は、像一体期間中に変化し得る。例えば、手が移動する動作では、指も同時に移動して、手の形状が変化し得る。この場合、指の動作は、手の同時休止を検出する試みにおいて考慮してよい。

研究では、一方の手の動作において、指及び手も協調することが明らかである。言い換えると、手と指とは、時間的に同期する。我々の実験は、手の速度と、指の速度とは、位相差が殆どない状態で高度に同期することを示している。したがって、手の休止と、手の形状を変化させる指の休止とは、同時に発生すると予想し得る。手と指との協調は、通常、長方形の平行な辺の速度が同期し、指の動きが手の形状の変化を引き起こすか否かに関係なく、休止が同時に発生することを保証する。この現象により、通常、アルゴリズムは手の形状に依存しない。

手が複数の水平（モデルｄ及びｌ）又は垂直（モデルｃ、ｉ、及びｋ）動作を有する幾つかのモデルでは、静的方向（垂直又は水平）の速度が式１２により小さくなることから、垂直又は水平方向で不要な休止が検出される場合がある。例えば、手が水平方向のみに移動する場合（図８（ｄ）参照）、垂直方向で手の大きな移動がなく、垂直辺の速度がゼロに達し得ることから、垂直方向の休止が検出され得る。

また、像一体長方形の一対の平行辺が上下左右のいずれか同じ方向に移動し（例えば、モデルａ、ｂ、及びｅの水平辺）、ゼロ速度（休止）が検出されないモデルでは、速度が閾値を下回らない場合があるため、その方向（モデルａ、ｂ、及びｅの垂直方向）で手が互いを通過したと誤って結論する恐れがある。更に、同じ方向での移動が低速である場合、式１２が提示する速度は閾値を下回り、その方向での休止を誤って示す恐れがある。

こうした問題を解消するために、手の速度の同期を二つのクラス、正及び負に分類する。二つの手が反対方向（例えば、左と右）に移動する動作において、速度は負に同期し、手が同じ方向（例えば、下）に移動する動作において、速度は正に同期する。

正及び負の同期を識別するために、平行辺同士の相対速度の標準偏差である次の速度同期モデルを定義する。

ここで、Ｎは、像一体期間中の画像（フレーム）数であり、ｉ及びｊは、フレーム指数であり、ｖ_ａ，ｋ、ｖ_ｂ，ｋ、ｖ_ｃ，ｋ、及びｖ_ｄ，ｋは、両手の像一体中のｋ番目のフレームにおける辺ａ、ｂ、ｃ、及びｄの速度である。

このモデルは、純粋に水平方向又は純粋に垂直方向の移動と、平行辺同士が正に同期する動作とにおいて小さな標準偏差を生じる。例えば、モデルｃの動作において、像一体長方形の垂直辺は、像一体期間中に殆ど移動しない。したがって、速度同期モデル（式１３）のＳ_ｈは小さくなる。モデルｅにおいて、像一体長方形の水平辺同士は、正に同期する。この場合のＳ_ｖは小さくなる。しかしながら、像一体長方形の平行辺の速度が負に同期する時には（例えば、モデルｆ）、この場合、平行辺同士の速度が異なる符号を有する反対の方向となるため、標準偏差が大きくなる。小さなｓ_ｈ及びｓ_ｖの閾値は、実験により決定してよい。

手の休止を検出する前に、速度同期モデルを使用して、像一体期間中に像一体長方形の平行辺の可能性のある任意の正の同期を捕捉する。平行辺の任意のペアの正の同期が観測される場合、追跡は、像一体長方形のその他の辺の休止に基づいて実行される。例えば、小さなＳ_ｖが観測された場合、その他の辺ｃ及びｄの休止に基づいて追跡する。速度同期モデルにおける小さな標準偏差は、像一体中に長方形の一対の平行辺が非常に近い速度を有し正に同期していることを意味する。したがって、像一体後に左右の手を識別するための所望の情報を得るに、像一体中の像一体長方形のその他の辺の休止に注目するべきである。

速度同期及び手休止モデルに基づいて、手追跡アルゴリズムは次のようにまとめられる。
アルゴリズム２：
１．長方形の水平辺同士が像一体期間中に正に同期する場合（小さなｓ_ｖ）、
１．Ａ．像一体中にｖ_ｈ，ｋ＜εとなるようなｋが存在する場合、両方の手は水平に元の位置／側（例えば、左又は右）へ戻る。
１．Ｂ．その他の場合、両方の手は水平に互いを通過する。
２．そうでなく、長方形の垂直辺同士が像一体期間中に正に同期する場合（小さなｓ_ｈ）、
２．Ａ．像一体中にｖ_ｖ，ｋ＜εとなるようなｋが存在する場合、両方の手は垂直に元の位置／側（例えば、上又は下）へ戻る。
２．Ｂ．その他の場合、両方の手は垂直に互いを通過する。
３．上のいずれでもなく、隠蔽中にｖ_ｈ，ｋ＜εとなるようなｋが存在する場合、両方の手は水平に元の位置／側へ戻る。
４．上のいずれでもなく、像一体中にｖ_ｖ，ｋ＜εとなるようなｋが存在する場合、両方の手は垂直に元の位置／側へ戻る。
５．上のいずれでもない場合、両方の手は互いを通過する。

上記アルゴリズムは、両手の像一体中に両方の手を追跡し、像一体前のそれらの位置に対する像一体終了時の両方の手の位置を決定する。上記アルゴリズム２は、像一体後の両手の位置の情報を提供するために、様々な形で変更してよい。上記のアルゴリズム２は、通常、像一体後に左右の手を識別するのに十分な情報を提供する。

アルゴリズム２及び他のアルゴリズムの実施形態は、（１）ステップ１において垂直辺同士が負に同期していること、及び／又は（２）ステップ２において水平辺同士が負に同期していることを検証することで、堅牢性を増加させることができる。別の実施形態では、異なる手休止及び手通過検出方法の追跡アルゴリズムを使用する。

像一体期間中、画像数は、理想的には、手の衝突及び休止の場合に速度がゼロに収束するように、十分に大きい必要がある。本アルゴリズムは、衝突又は休止が発生した場合に長方形の辺の速度がゼロに達するように、十分な時間及び画像数を必要とする。提案されたカルマンフィルタは、運動学の運動方程式に基づいている。したがって、（画像数が不十分な）高速運動において、像一体長方形の全ての辺は、素早く停止するのではなく、更に移動する可能性がある。即ち、サンプル同士が遠く離れすぎている時は、閾値を下回る速度を見逃す場合がある。

移動の速度が増加すると、長方形の辺の推定速度は、厳密にはゼロに達しない場合がある。この問題は、カメラが低速（低フレームレート）で動作している場合、より困難になる。そのため、アルゴリズムは、衝突及び休止を正確に検出しない場合がある。更に、視覚システムが移動する幾つかの応用（例えば、能動的ビジョン）において、速度は、厳密にゼロに達しない場合がある。そのため、本アルゴリズムを実際の速度から独立させる手法を開発し、像一体長方形の辺の速度変化を調べる。

休止が発生する時、推定速度はゼロになる傾向を有する。両手は、殆ど一定の速度で互いに対して移動すると仮定する。加速度は、殆どゼロである。休止が発生する時は、速度をゼロにするために、加速度が負の方向で増加する。

休止後、長方形の辺同士は、反対方向に移動する。それらの速度は、負の方向で同様に変化する。そのため、図１１（ａ）を参照すると、像一体期間中の１つの速度は、グラフ１１１０のようになる。また、図１１（ｂ）を参照すると、両手が互いを通過する場合、長方形の１つの辺の速度は、グラフ１１２０のようになる。グラフ内の急速な符号の変化は、図１０に示したように、両手が互いを通過する時に、長方形の辺同士を反対方向へ押しやることによる。様々な実施形態において、グラフ１１２０は、階段関数となり得るが、両手の通過は、図示のような非階段関数を発生させる場合がある。

神経科学の理論によれば、人間の神経系における運動指令にはノイズが存在する。こうしたノイズが存在する状態で、意図した運動指令は、数回反復した場合、手の位置と速度の確率分布を発生させる。この理論に従って、ガウス分布により速度変化をモデリングする。異なる動作における速度群を取り込むことで、両手の休止及び両手の通過の各挙動タイプについて、一連の二次元ガウス分布を構築する。像一体長方形の一対の平行辺を表すために、次の関数を定義する。

ここでｖ_１（ｔ）及びｖ_２（ｔ）は、時間ｔにおける一対の平行辺の速度である。両手が負に同期する時には、この関数は、個別の速度の合計に等しい速度となる。この関数の重要な特徴は、本アルゴリズムを実際の速度から独立にすることである。そのため、幾つかの応用（例えば、能動的ビジョン）では、両方の速度に追加された一定値の効果が除去される。

図１２を参照すると、関数１４の連続値のガウス分布を示している。図１２（ａ）は、休止が検出された動作の場合の分布１２０５〜１２４０を示している。図１２（ｂ）は、両手が互いを通過する動作の場合の分布１２４５〜１２８０を示している。図１２（ａ）及び（ｂ）において、各楕円１２０５〜１２８０は、二次元ガウス分布を表す。

両手が互いを通過したか、休止して戻ったかの判断は、着目する動作の関数１４が図１２（ａ）及び（ｂ）の二種類のパターンのそれぞれに一致する確率に基づいて行われる。確率は、次の数式を使用して計算される。

ここで、ｖ_ｏは、関数１４により計算された、着目する像一体期間中の観測された速度群を表し、ｖ_ｏ ^ｊ＝ｖ（ｊ）は、像一体中の時間ｊにおいて観測された速度であり、Ｈ_ｉ ^ｋは、パターンＨ_ｉにおけるｋ番目のガウス分布であり、Ｐ（ｖ_ｏ ^ｊ｜Ｈ_ｉ ^ｋ）は、次の多次元ガウス確率密度関数を使用して計算される。

ここで、σ_ｋ，ｌは、ｋ番目の分布のｌ番目の主軸の周りの分布Ｈ_ｌ ^ｋの標準偏差を表し、μ_ｋ，ｌは、ｋ番目の分布のｌ番目の主軸の周りの分布の平均を表し、ｖ_ｌ ^ｊは、分布のｌ番目の主軸に投影された点ｖ^ｊ＝ｖ（ｊ）の成分を表す。

例えば、ガウス分布群が図１２（ａ）及び（ｂ）に示す通りであり、Ｈ１（休止、図１２（ａ））及びＨ２（通過、図１２（ｂ））の両方に対してｋ＝８であると仮定して、式１５及び１６を観測された速度群に適用してよい。各観測された速度に対して、その速度の確率を最大化する分布１２０５〜１２４０を決定し、これら確率を乗算する。分布１２４５〜１２８０を使用して同じことを行い、より大きな積を発生させる結果（休止又は通過）を選択する。

分布をトレーニングするために、パターンＨ_ｌ内のガウス分布Ｈ_ｌ ^ｋ毎に速度点を分類する。ベクトル量子化（ＶＱ）は、ガウス分布毎のデータ点群をクラスタ化する教師なしクラスタリング手法である。ＶＱを各パターン内の一組のトレーニング用速度データ点群に適用することで、各分布のデータ点群は、複数の領域に分類される。次に、主成分分析を使用することで、各領域のガウス分布のパラメータ（標準偏差及び平均）を決定する。このパターンマッチング手法を使用することで、速度がゼロに収束しない場合でも、手の休止を検出できる。

このアルゴリズムは、次のようにまとめられる。
アルゴリズム３：
像一体検出手法を使用して、像一体期間の開始及び終了を検出する。
１．長方形の水平辺同士が像一体期間中に正に同期する場合（小さなｓ_ｖ）、
１．Ａ．手休止クラスの垂直辺の確率（式１５）が手通過クラスの場合よりも高い場合、両手は水平に元の側へ戻る。
１．Ｂ．その他の場合、両手は、水平に互いを通過する。
２．そうでなく、長方形の垂直辺同士が像一体期間中に正に同期する場合（小さなｓ_ｈ）、
２．Ａ．手休止クラスの水平辺の確率（式１５）が手通過クラスの場合よりも高い場合、両手は垂直に元の側へ戻る。
２．Ｂ．その他の場合、両手は、垂直に互いを通過する。
３．上のいずれでもなく、手休止クラスでの垂直辺の確率（式１５）が手通過クラスの場合よりも高い場合、両手は水平に元の側へ戻る。
４．上のいずれでもなく、手休止クラスでの水平辺の確率（式１５）が手通過クラスの場合よりも高い場合、両手は垂直に元の側へ戻る。
５．その他の場合、両手は互いを通過する。

例えば、上記の追跡アルゴリズムの一つのような追跡アルゴリズムを使用することで、両手動作全体を理解するために、両手を互いから分離し、各手の動作を個別に見ることができる。両手の動作の意味は、両手動作が単一の存在として認識されるように組み合わされる。両手動作の認識にはベイジアンネットワークを導入する。しかし、最初に、両手動作を像一体部分と非像一体部分とに分ける。

両手を分離するために、提案した追跡アルゴリズムの一つを使用して、一連の画像において両手を個別に追跡し得る。したがって、両手の像一体が存在しない間、各手の動作は分離可能である。しかしながら、像一体が存在する時、両手は別々に認識されない。したがって、両手の動作の分離は行わない。

一実施形態では、像一体部分を考慮に入れて、両手を別々に認識する。両手動作全体を理解するために、分離された両手の認識された個別の動作と、像一体部分とを融合する。

図１３を参照すると、各手を追跡し、空白の一連の画像に別々に投影する。例えば、画像１３３０上の二つの手１３１０及び１３２０を、それぞれ、個別の画像１３４０及び１３５０上に別々に投影する。手の動作を画像フレームに対して保存するため、各手の移動方向を記録する。図１４を参照すると、移動方向を記録するために、画像フレーム１４１０の二次元空間を、八個の均等領域１４２０〜１４５５に分割する。分割されたフレーム１４１０を、領域マップと呼ぶ。各領域のインデックス（１〜８）は、その領域での移動方向を表す。ゼロのインデックス（フレーム１４１０において不図示）は、静止した手を表す。

各手の中心の移動を追跡することで、全ての単一フレームにおいて、移動を表すベクトルが抽出される。このベクトルは、直前の画像から現在の画像までの移動を表す。図１５を参照すると、時間「ｔ」における手１５１０をフレーム１５２０に、時間「ｔ＋１」におけるのをフレーム１５３０に示している。時間「ｔ」から時間「ｔ＋１」までの手１５１０の移動は、ウィンドウ１５５０のベクトル１５４０により表される。水平軸線に対するベクトルの角度は、ベクトルがマッピングされる領域マップ内の領域を決定する。領域インデックスは、該移動について時間ｔ毎に記録される。両手の像一体を含む部分的シーケンスについても、大きな像一体ブロブの移動の方向ベクトルを抽出し、領域インデックスを記録する。幾つかの実施形態においては、例えば、ベクトル１５４０の適切な大きさを決定及び分析することで、ジェスチャの速度を考慮してもよい。

両手動作は、片方の手の像が一体となる像一体部分と、その他の部分との二種類の部分グループにより構成される。両手を別々に認識可能な部分は、非像一体部分と呼ばれる。両手動作は拍手のような周期的動作である可能性があるため、セグメントと呼ばれる様々な部分に分離する。次の四種類のセグメントが得られる。
Ａ．ジェスチャの開始から第一の像一体部分までの開始セグメント
Ｂ．一方の手が他方と像が一体である像一体セグメント
Ｃ．二つの連続する像一体セグメントの間のジェスチャ部分である中間セグメント
Ｄ．最後の像一体セグメントからジェスチャの終了までの終了セグメント

図１６を参照すると、セグメント化された両手動作の例を、ウィンドウ１６１０内の時間軸上に示している。図１６では、動作が非像一体セグメントで開始及び終了すると仮定しているが、他の実施形態では、本アルゴリズムを他の場合に適用する。また、像一体セグメントが観測されないジェスチャの場合、ジェスチャ全体でセグメントは一つだけ（開始セグメント）となるが処理は同じになる。

両手動作では、幾つかの像一体及び中間セグメントが存在する可能性がある。例えば、図１６では、「Ｂ」と標示された三つの像一体セグメントと、「Ｃ」と標示された二つの中間セグメントと、「Ａ」と標示された開始セグメントと、「Ｄ」と標示された終了セグメントとが存在する。したがって、本実施形態は、両手動作全体を理解するために、多数の像一体及び中間セグメントと、開始及び終了セグメントとに対処できる。

セグメント内の一つの手の動作（又は像一体セグメント内の二つの手の動作）は、該セグメントの画像シーケンスに現れる単一の動作として扱われる。これらの動作は、隠れマルコフモデルによりモデリング及び認識されるが、他のモデルを使用してもよい。したがって、両手動作に対して、二つの手のそれぞれの認識された動作群と、像一体部分の認識された動作とが得られる。これらの情報を組み合わせて、両手動作を認識する。

一実施形態では、ジェスチャ全体を二つの手の動作に分割するベイジアンネットワークを使用する。図１７を参照すると、各手の動作は、ＢＥＧ、ＭＩＤ、ＯＣＣ、及びＥＮＤの証拠ノードを介して、更に四種類のセグメントに分割される。ジェスチャの像一体部分は、両手に共通の部分である。したがって、単一の共有ノードＯＣＣを考慮する。具体的には、ツリー１７００は、左手ジェスチャノード１７１０及び右手ジェスチャノード１７１５を含む上部ノード「両手ジェスチャ」１７０５を含む。左手ジェスチャノード１７１０及び右手ジェスチャノード１７１５は、それぞれ、ＢＥＧ証拠ノード１７２０及び１７５０と、ＭＩＤ証拠ノード１７２５及び１７４５と、ＥＮＤ証拠ノード１７３０及び１７４０とを含み、共通のＯＣＣノード１７３５を共有する。

このツリーの各ノードは、ノードが受け入れることが可能なケースの数に依る多価変数を表す。したがって、ｇの両手ジェスチャを含むボキャブラリの場合、全てのノードは、ベクトル１７２０ａ、１７３５ａ、及び１７５０ａで示すように、長さｇのベクトルである。両手ジェスチャ、左手ジェスチャ、及び右手ジェスチャの三つの上部ノードは、証拠ノードにより通信されたメッセージにより更新される非証拠ノードである。証拠ノードは、モデル１７５５ａ、１７５５ｇ、１７６０ａ、１７６０ｇ、１７６５ａ、及び１７６５ｇで示すように、異なるセグメントの隠れマルコフモデルにより個別に供給される。

図１８を参照すると、ジェスチャの開始、中間、及び終了セグメントは時間的に重複しないという事実のため、セグメントが等しい重みであると仮定すると、因果ツリー１７００は、非像一体セグメントノード（ＮＳノード）１８１０及び１８２０と、像一体セグメントノード（ＯＳノード１８３０）とを含むツリー１８００へと抽象化できる。ノード１８１０は、ベクトル１８１０ａと、モデル１８４０ａ〜１８４０ｇとに関連する。同様に、ノード１８３０は、ベクトル１８３０ａと、モデル１８５０ａ〜１８５０ｇとに関連する。ＮＳノード１８１０及び１８２０は、各手の異なる時間における開始、中間、及び終了セグメントの証拠（尤度）を表す。これらの証拠は、ネットワークの最下レベルにおいて隠れマルコフモデルによって提供された尤度の正規化されたベクトルである。これらの値はそれぞれ、（任意の非像一体セグメント内の動作を含む）着目する部分的ジェスチャが、対応するセグメントのボキャブラリ内の複数のジェスチャの１つであることの尤度を表す。

動作全体を認識するために、各セグメントの部分的ジェスチャを個別に認識する。このために、各手に対する固有空間を構築する。固有空間を、着目するセグメント内にある一つの手の一組のトレーニング用画像と、主成分分析とを使用して形成する。一組の画像の共分散行列を作成し、共分散行列の固有値及び固有ベクトルを計算する。最大の固有値に関連する一組の固有ベクトルを選択して、固有空間を形成する。一組のトレーニング用画像を固有空間へ投影したものが主成分である。また、像一体セグメントに対しても、別の固有空間を形成する。これらの固有空間は、該一組のトレーニング用画像内の動作により形成される。一つの手の全画像をその固有空間に投影することで、点の集合が形成される。また、部分空間には、領域マップを使用して抽出した運動ベクトルである１つの次元が追加される。

ベクトル量子化を使用して、固有空間毎に一組のコードワードを抽出する。各固有空間の一組の抽出されたコードワードは、トレーニング及び認識の両方に使用される。ジェスチャの１つのセグメントを対応する固有空間に投影することで、一連のコードワードが抽出される。

図１９を参照すると、非像一体セグメント内の各手に、二状態の左から右への隠れマルコフモデル１９９０が割り当てられる。セグメント内の手の部分的動作は通常は短い動作であるという事実のため、二状態ＨＭＭは、通常、部分的動作を表現するのに適している。ジェスチャの全てのセグメントは、個別のＨＭＭを有する。したがって、両手動作のボキャブラリ内のジェスチャ毎に、七つのＨＭＭが割り当てられ、二つの手の開始セグメントに対して二つ、像一体セグメントに一つ、中間セグメントに二つ、終了セグメントに二つが割り当てられる。抽出された一連のコードワードを使用することで、セグメント内の各手のＨＭＭをトレーニングする。像一体セグメントの全てのＨＭＭは、対応する固有空間への投影された画像の抽出された一連のコードワードによってトレーニングされる。例えば、１０個の両手動作からなるボキャブラリの場合、７０個のＨＭＭが生成及びトレーニングされる。

認識段階において、同じ手順が実行される。着目するジェスチャをセグメント化する。各セグメントの画像は、対応する固有空間へ投影され、一連のコードワードが抽出される。該トレーニングされたＨＭＭを利用することで、セグメント内の各手の部分的ジェスチャが認識される。しかしながら、我々は、これらのＨＭＭを使用して、着目する部分的ジェスチャが該ボキャブラリ内の対応する複数の部分的ジェスチャのそれぞれであることの尤度群を計算する。セグメント内の着目する部分的ジェスチャに対する尤度の規格化されたベクトルは、図１８のベイジアンネットワーク内の証拠ノードの一つに渡される。例えば、左手のＮＳベクトル１８１０ａの二番目のスカラ量は次の尤度である。
・開始セグメントにおいて：該着目する部分的ジェスチャが、ボキャブラリ内のジェスチャ番号２の左手の開始セグメントのＨＭＭにより計算されたジェスチャ番号２の開始セグメントであることの尤度、
・中間セグメントにおいて：該着目する部分的ジェスチャが、ボキャブラリ内のジェスチャ番号２の左手の中間セグメントのＨＭＭにより計算された、ジェスチャ番号２の中間セグメントであることの尤度、
・その他。

像一体セグメントのＨＭＭの尤度が供給される像一体ベクトルは、二つの手の証拠（尤度）として、ＬＨ及びＲＨノード、最終的には、ＢＧノードへ通信される共有メッセージである。ＬＨ、ＲＨ、及びＢＧノードは、例えば、周知のビリーフ伝播アルゴリズムを使用して、ビリーフ、即ち、可能なジェスチャの尤度のベクトルを計算する。

一例として、一実施形態では、三組のトレーニング用画像（左、右、及び像一体）がジェスチャの映像から抽出される。各画像は、例えば、１０２４ピクセルを含んでよい。空間の次元を減らすために、トレーニングデータのための、低い次元の固有空間を決定する。該トレーニングデータを該固有空間に投影し、次元を減らしたトレーニングデータを生成する。認識段階での計算数を減らすために、該固有空間に対して一連のコードワードを決定する。次に、着目するジェスチャのために、該トレーニングデータの適切なセグメントに対応する一連のコードワードを使用して、ＨＭＭを作成する。

次に、着目するジェスチャの画像群を該適切な固有空間に投影し、最も近いコードワード群を検出することで、ジェスチャのセグメントに対応する画像群に対する一連のコードワードを生成する。次に、該一連のコードワードを適切なＨＭＭ（セグメント及びジェスチャに特定の）に供給し、該セグメントがトレーニングされた該複数のジェスチャのそれぞれに属する尤度群を生成する。これらの尤度群を、その後、例えばビリーフ伝播アルゴリズムを使用して組み合わせる。

該ネットワークは、ループ式である（ループを含む）ように見える。ノードＢＧ、ＬＨ、ＯＳ、及びＲＨはループを形成する。そのため、該ネットワークが単一に接続されているとは見えず、メッセージは無期限に循環し得る。しかしながら、ノードＯＳは、証拠ノードである。ベイジアンネットワークのビリーフ伝播規則を参照すると、証拠ノードは、メッセージを受領せず、常に同じベクトルを送信する。そのため、ＮＳ及びＯＳノードは、ＬＨ及びＲＨノードのメッセージにより更新されない。実際、ＬＨ及びＲＨノードは、証拠ノードにメッセージを送信しない。そのため、ネットワークはループ式ネットワークに見えるものの、ＯＳの像一体ノードは、そのループを断ち切り、メッセージは該ループを循環することはない。これにより、単一に接続されたネットワークのビリーフ伝播規則が、このネットワークにおいて使用可能となる。

両手動作を認識するために、部分的ジェスチャ群を認識し、提案したベイジアンネットワークによりそれらの結果を融合する本実施形態の手順は、次のアルゴリズムにまとめられる。
アルゴリズム４：
１．両手ジェスチャを追跡アルゴリズムによりセグメント化する。
２．開始セグメント
２．１．各手ごとに、開始セグメントをその手の固有空間へ投影する。
２．２．例えば、主成分及び動きベクトルを使用して、各手ごとに一連のコードワードを抽出する。
２．３．各手の開始セグメントのＨＭＭを利用することで、尤度のベクトルを計算し規格化する。
２．４．該尤度のベクトルを対応するＮＳノードに渡し、一方、像一体ノードのベクトルに、オール１のベクトルを設定する。
２．５．ビリーフ伝播アルゴリズムにより、全ノードのビリーフを更新する。
３．像一体セグメント
３．１．セグメントの画像シーケンスを、像一体セグメントの固有空間に投影する。
３．２．主成分及び動きベクトルを使用して、一連のコードワードを抽出する。
３．３．対応するＨＭＭ群を使用して、尤度のベクトルを計算し規格化する。
３．４．該ベクトルをＯＳノードに渡す。
３．５．ビリーフ伝播アルゴリズムにより、全ノードのビリーフを更新する。
４．中間セグメント
４．１．各手ごとに、対応する画像シーケンスを対応する固有空間に投影する。
４．２．主成分及び運動ベクトルを使用して、一連のコードワードを抽出する。
４．３．対応するＨＭＭ群を使用して、尤度のベクトルを計算し規格化する。
４．４．該尤度のベクトルを対応するＮＳノードに渡す。
４．５．ビリーフ伝播アルゴリズムにより、全ノードのビリーフを更新する。
５．第二のタイプの像一体セグメント（像一体セグメント中に一方の手のみが場面に存在する別のタイプの像一体が検出される場合）
５．１．場面に存在する手について、対応する画像シーケンスを対応する固有空間に投影する。
５．２．主成分及び動きベクトルを使用して、一連のコードワードを抽出する。
５．３．対応するＨＭＭ群を使用して、尤度のベクトルを計算し規格化する。
５．４．該尤度のベクトルを対応するＮＳノードに渡す。
５．５．ビリーフ伝播アルゴリズムにより、全ノードのビリーフを更新する。
６．像一体及び中間セグメントが更に存在する間、本アルゴリズムのパート３〜５を繰返す。
７．終了セグメント
７．１．各手ごとにて、画像シーケンスを対応する固有空間へ投影する。
７．２．主成分及び動きベクトルを使用して、一連のコードワードを抽出する。
７．３．終了セグメントのＨＭＭ群を使用して、尤度のベクトルを計算し規格化する。
７．４．該ベクトルを対応するＮＳノードに渡す。
７．５．ビリーフ伝播アルゴリズムにより、全ノードのビリーフを更新する。
８．ルートノードの局所的ビリーフ内の最も高い確率のジェスチャが最善の一致である。

多くの両手動作は、本質において周期的である。拍手及びドラム演奏がその例である。仮想現実等、両手動作が通信方法として使用される環境では、連結された周期動作を認識することになる。

一実施形態では、前述のベイジアンネットワークを使用して、連結された周期動作を認識する。動作は、反復期間全体に渡って正確に認識し得る。更に、異なる動作が連結された時に、ジェスチャの変化を検出し得る。実施形態を説明するために、実験を提示する。

拍手する、英国手話で水曜日の手話をする、紐を結ぶ、本のページをめくる、及び他の手話言語からの幾つかの動作等、通常の日常動作を手が行っているかのような、１５種類の両手動作を作成した。各動作ごとに、１０個のサンプルを取り込み、合計１５０個のサンプル、即ち、それぞれが多数の画像（データポイント）を含む１５０件の映像を取り込んだ。サンプルの半分（７５個）をトレーニングセットとして扱い、即ち、各ジェスチャの五件の映像をトレーニングデータとして使用した。主成分分析を使用することで、固有空間を形成した。ベクトル量子化を適用することで、各固有空間ごとに１２８のコードワードを抽出した。この数により、各コードワードは、約１００個のデータポイントを表す。手のジェスチャの各セグメントに対して、二状態の左から右への隠れマルコフモデルを作成した。ジェスチャの各セグメントのＨＭＭを、トレーニングセット内の該五個のサンプルによりトレーニングした。

三つの両手動作を選択し、連結された周期両手動作を作成した。１５種類の動作から、最初にジェスチャ番号３を五回繰り返した。次にジェスチャ番号２を３０回、その後、ジェスチャ番号５を４１回繰り返した。第一のジェスチャは、１１のセグメントに分割され、開始セグメントと、四つの中間セグメントにより分離された五つの像一体セグメントと、終了セグメントとを含む。第二のジェスチャは、６１のセグメントに分割され、開始セグメントと、３０の像一体セグメントと、２９の中間セグメントと、終了セグメントとを含む。第三のジェスチャは、８３のセグメントに分割され、開始セグメントと、４１の像一体セグメントと、４０の中間セグメントと、終了セグメントとを含む。局所的ビリーフのグラフ内の第一のセグメントは初期設定のビリーフを表す事実を考慮すると、第一のジェスチャ遷移は、１３番目のセグメント（第二のジェスチャの開始セグメント）に、第二の遷移は、７４番目のセグメント（第三のジェスチャの開始セグメント）に現れるはずである。

図２０（ａ）を参照すると、ルートノードの局所的ビリーフ（local belief）がプロットされている。プロット２０１０は、多数のグラフ（１５グラフ）を示しており、ほぼセグメント（segment）２で約１のビリーフまで上昇し、ほぼセグメント１２で約０のビリーフまで低下する第一のジェスチャに対する第一のグラフ２０２０が含まれる。プロット２０１０は、更に、ほぼセグメント１３で約１のビリーフまで上昇し、ほぼセグメント７３で約０のビリーフまで低下する第二のジェスチャに対する第二のグラフ２０３０を示す。プロット２０１０は、更に、ほぼセグメント７４で約１のビリーフまで上昇し、ほぼセグメント１５６で止まる第三のジェスチャに対する第三のグラフ２０４０を示す。

プロット２０１０は、例えば、セグメント４０周辺で正のビリーフを有する第四のグラフ２０５０を示す。また、第二のグラフ２０３０は、特にセグメント４０周辺に、幾つかの下落を有する。重要なことに、セグメント４０周辺の様々なポイントにおいて、ビリーフは、第二のジェスチャよりも、第四のグラフ２０５０のジェスチャの方が高くなっている。これらのジェスチャは、殆どの時間で正確に認識されている。また、ジェスチャの遷移が適切に検出されている。しかしながら、上述のように、特に第二のジェスチャのグラフにおいて、ビリーフはあまり安定しておらず、幾つかのポイントにおいて、他のジェスチャのグラフより低い。これは、一方又は両方の手の部分的ジェスチャが誤って認識された時に起こる。混乱は一時的なスパイクとして扱うことが可能だが、アルゴリズムは、幾つかのポイントでジェスチャが変化したと判断するかも知れない。グラフ２０２０、２０３０、２０４０、及び２０５０をそれぞれ図２０（ｂ）〜図２０（ｅ）に分離する。

１つの実施形態においては、ビリーフ伝播アルゴリズムを変更することで、これらの紛らわしいスパイクを回避する。具体的には、ルートノードの以前のビリーフに大きな重みを与えて、一時的な紛らわしい証拠（尤度）がビリーフを容易に変化させることがないようにする。

以前のビリーフに大きな重みを与えるために、該ネットワークのルートノードにメモリを追加する。これは、例えば、ルートノードの現在のビリーフを、次のステップにおける該ノードの前の確率として扱うことで行なわれる。仮説（ボキャブラリ内のジェスチャの一つが正しいジェスチャである）がＨＭＭから受領したメッセージによって多数回強化される時、このビリーフを変えるには、多くの強力な証拠が必要となる。

しかしながら、ルートノードの前の確率を該ノードのビリーフにより置き換えることで、ジェスチャが数回反復される際に数値のアンダフローが発生する可能性がある。これにより、ジェスチャの遷移の検出には遅延が生じ得る。数値のアンダフローと紛らわしいスパイクとを回避するために、メモリを制限してよい。この制限により、ルートノードの前の確率は、特定の限界を下回らなくなる。図２１を参照すると、１０^−３の限界を有するメモリを備えたネットワークの結果が提示されている。

図２１のプロット２１１０では、紛らわしいスパイクが回避され、一方、遷移ポイントの検出における遅延は、数単位（セグメント）である。第一及び第二の遷移は、それぞれ、実際の遷移ポイントの一セグメント及び二セグメント後で検出される。図２１は、第一、第二、及び第三のジェスチャに対応する第一のグラフ２１２０、第二のグラフ２１３０、及び第三のグラフ２１４０を示している。

図２２を参照すると、撮像デバイス２２４０（例えば、ＣＣＤカメラ）は、両手動作を行う人物の一連の画像を取り込む。これらの画像は、上記のアルゴリズムを実行する計算デバイス２２１０へ転送される。メモリ２２２０は、アルゴリズムに必要な情報を記憶し、例えばデータベース等の記憶デバイス２２３０は、追跡及び認識アルゴリズムが必要とするトレーニング情報を記憶する。記憶デバイス２２３０は、更に、アルゴリズムのコードを格納してもよい。

トレーニング段階の間、閾値及び分布を含む追跡アルゴリズムのトレーニング情報は、記憶デバイス２２３０に格納される。提案したベイジアンネットワークのＨＭＭ及び遷移値も、トレーニングされ、記憶デバイス２２３０に格納される。

認識段階において、該データベースからのトレーニングされた情報は、部分的に又は完全に抽出され、メモリ２２２０に格納されるため、計算デバイス２２１０は、該情報に非常に迅速にアクセスして、リアルタイムで手を追跡し、動作を認識できる。認識の結果は、出力デバイス２２５０へ転送される。

図２３を参照すると、プロセス２３００は、両手ジェスチャを認識するために使用し得るものであり、本開示で説明した多くのステップを含んでいる。プロセス２３００は、両手ジェスチャの一連の画像を受領、或いはそれらにアクセスする（２３１０）ことを含む。受領した画像から左手及び右手を抽出及び追跡し（２３２０）、両手の像一体を予測する（２３３０）。両手の像一体が検出され（２３４０）、像一体が存在する画像から両手を含む単一のブロブを抽出及び追跡する（２３４５）。像一体時の左手及び右手の同期を検出し（２３５０）、両手の挙動（互いを通過したか、或いは休止／衝突して戻ったか）を認識し（２３５５）、像一体終了後に左手及び右手を特定する（２３６０）。像一体後に左手及び右手を抽出及び追跡する（２３６５）。各セグメント（像一体前、像一体、及び像一体後）における動作を認識し、ジェスチャ全体を認識する（２３７０）。

左手及び右手の同期の検出（２３５０）は、一般に、二つの手の間の何らかの関係を検出することを含んでもよい。該関係は、例えば、上述のように、ブロブを囲む長方形の平行辺群の成分速度間の関係であってもよい。しかしながら、別の実施形態において、該関係は、両手又はブロブの他の特性に関係する。

プロセス２３００の一変形は、両手ジェスチャ認識エンジンへのプラグインにより実行してよい。該プラグインは、ブロブを追跡すること（２３４５）、同期の種類を検出すること（２３５０）、及び像一体期間中に二つの手が移動方向を変えたかを判断することの何らかの変形を実行する。このようなプラグインは、両手の像一体に対処できないジェスチャ認識エンジンと一緒に使用してよい。このようなシナリオにおいて、該ジェスチャ認識エンジンは、両手の像一体が発生するまで左手及び右手を追跡し、次に、該プラグインを呼び出してよい。該プラグインは、ブロブを追跡し、像一体中に二つの手が方向を変えたかを判断し、次に、制御を該ジェスチャ認識エンジンに返えす。ジェスチャ認識エンジンへ制御を返す際に、プラグインは、像一体中に二つの手が方向を変えたかを、ジェスチャ認識エンジンに伝えてもよい。したがって、ジェスチャ認識エンジンは、左手及び右手を再取得し、二つの手の追跡を継続できる。

実施形態においては、二つの像が一体となった手が互いを通過したか、互いに衝突したか、或いは単に休止したかの識別を試みてもよい。休止の結果は、通常、元来た方向へ両方の手が戻る衝突の結果と同じになり得る。「休止」の速度プロフィールは、「衝突」の速度プロフィールと類似である場合があり、いかなる差異も予期されるノイズを考慮すると重要でない場合がある。しかしながら、他の実施形態は、「衝突」と「休止」とを別個に検出することを試みてもよい。

様々な実施形態において言及した方向とは、例えば、速度ベクトルの方向、或いは速度ベクトルの成分の方向を指す。速度ベクトルの方向は、例えば、左方向、右方向、上方向、下方向、又は対角線方向であるとして説明される。速度ベクトルの成分は、例えば、水平成分と垂直成分とを含んでよい。

実施形態は、単一の人物が、その人物の左手及び右手を使用して実行する両手ジェスチャの追跡に応用し得る。他の実施形態は、例えば、それぞれ片方の手を使用する二人の人間、一個以上のジェスチャデバイスを使用する一台以上のロボット、或いは、人間とロボット又は機械との組み合わせによって行われているジェスチャに対して、特に、両手協調に類似する協調が手と手の間に存在する場合に応用し得る。

実施形態は、例えば、プロセス、デバイス、又はプロセスを実施するためのデバイスを含んでよい。例えば、実施形態は、一つ以上のプロセスを実行するように構成された一個以上のデバイスを含んでよい。デバイスは、例えば、個別の、或いは統合された、ハードウェア、ファームウェア、及びソフトウェアを含んでよい。デバイスは、例えば、計算デバイス２２１０を含んでよく、或いは、特に、一つ以上の説明したプロセス又はその変形を実行するようにプログラムされている場合、その他の計算又は処理デバイスを含んでよい。こうした計算又は処理デバイスは、例えば、プロセッサ、集積回路、プログラム可能論理デバイス、パーソナルコンピュータ、携帯情報端末、ゲーム機、携帯電話、及びソフトウェアアプリケーションを備えたデバイスを含んでよい。

実施形態は、一つ以上のプロセスを実行する命令群を記憶した一つ以上のコンピュータ読み取り可能な媒体を備えたデバイスにおいて実現されてもよい。コンピュータ読み取り可能な媒体は、例えば、記憶デバイス２２３０、メモリ２２２０、及び命令群を符号化又は送信するフォーマットされた電磁波を含んでよい。コンピュータ読み取り可能な媒体は、例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ、読み出し専用メモリ、及びコンパクトディスケットといった様々な不揮発性又は揮発性メモリを含んでよい。命令群は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は電磁波の形態であってよい。

したがって、計算デバイス２２１０は、説明した実施形態を実行するようにプログラムされた計算デバイスの実施例を表し、記憶デバイス２２３０は、説明した実施形態を実行するための命令群を格納するコンピュータ読み取り可能な媒体を表す。

多数の実施形態について説明したが、様々な変更を施し得ることは理解されよう。例えば、一つ以上の実施形態の要素群は、組み合わせ、削除、変更、又は補足されて更なる実施形態を形成してもよい。したがって、他の実施形態も、添付の特許請求の範囲に定義された本発明の範囲に含まれる。

両手動作を認識するための特定のシステムの主要な三要素を示す図である。 両手動作を認識するための階層の主要な三要素を示す図である。 二つの手のそれぞれを囲む長方形を示す図である。 両手の像一体がない状態で重複する図２の長方形を示す図である。 両手の像一体を生成する図２の長方形の移動の進行を示す図である。 辺によってモデリングされた図２の長方形を示す図である。 二つの長方形の交差の予測を示す図である。 二枚の連続する画像において、二つの手が相互に交換可能にラベル付けされ得るシナリオを示す図である。 両手動作の１４種類のモデルを示す図である。Ｈ１及びＨ２は、手番号１及び手番号２を表す。太い楕円は、像一体領域を表し（ａ、ｃ、ｄ、ｅ、ｆ、ｈ、ｉ、ｊ、及びｎ）、実線の小さな長方形は、衝突を表す（ｂ、ｇ、ｋ、及びｌ）。 両手の大きなブロブの周囲に形成された像一体長方形を示す図である。 両手が互いを通過し、垂直辺を反対方向へ押しやるために、像一体長方形の垂直辺が押し戻される画像の進行を示す図である。 両手が休止／衝突して戻る場合の動作の速度変化を示す図である。 両手が互いを通過する場合の動作の速度変化を示す図である。 両手休止時の像一体長方形の辺の速度をモデリングする一連のガウス分布を示す図である。 両手通過時の像一体長方形の辺の速度をモデリングする一連のガウス分布を示す図である。 両手の動作を分離して空白の一連の画像に投影することを説明する図である。 動作の方向を表すために八個の等しい領域に分割された画像フレームを示す図である。 手の動作を示す一連の画像と、抽出された動きのベクトルとを示す図である。 ある期間に亘る両手動作のセグメント化を示す図である。セグメントＡ、Ｃ、及びＤにおける二つの線は、分離した二つの手を示す。セグメントＢにおける重なった線は、両手の像一体を示す。 両手動作の認識のための隠れマルコフモデル群を融合するベイジアンネットワークを示す図である。 両手動作を認識するための図１７に基づく抽象化されたベイジアンネットワークを示す図である。 部分的ジェスチャに割り当てた二状態左右隠れマルコフモデルを示す図である。 三つの連結両手動作の、ルートノードの局所的ビリーフ（local belief）を示すグラフである。 図２０（ａ）から特定のジェスチャに関連したグラフを取り出した図である。 図２０（ａ）から特定のジェスチャに関連したグラフを取り出した図である。 図２０（ａ）から特定のジェスチャに関連したグラフを取り出した図である。 図２０（ａ）から特定のジェスチャに関連したグラフを取り出した図である。 図２０（ａ）の三つの連結両手動作の、限定されたメモリを有するルートノードの局所的ビリーフを示すグラフである。 ハードウェア実施形態を示す図である。 両手ジェスチャを認識するためのプロセスを示す図である。

Claims (20)

1. 像が一体となった二つの手を一つの単位として、像一体期間において該像が一体となった二つの手の動作を追跡することと、
   前記像が一体となった二つの手の前記追跡された動作に基づいて、前記像一体期間における前記二つの手の特徴である同期のタイプを検出することと、
   前記検出された同期のタイプに基づいて、前記像が一体となった二つの手のそれぞれの移動方向が、前記像一体期間中に変化したか否かを判断することと
   を含む方法。
2. 方向が変化したか否かの前記判断は、前記像が一体となった二つの手の前記追跡された動作に更に基づいて行われる請求項１記載の方法。
3. 方向が変化したか否かの前記判断は、前記像一体期間中に前記二つの手が互いを通過したか否かを判断することを含む請求項１記載の方法。
4. 方向が変化したか否かの前記判断は、前記像一体期間中に前記二つの手が一回以上休止または互いに衝突したか否かを判断することを含む請求項１記載の方法。
5. 方向が変化したか否かの前記判断は、前記二つの手がそれぞれ、前記像一体期間後、元来た方向へ戻ったか否かを判断することを含む請求項１記載の方法。
6. 前記二つの手が元来た前記方向は、垂直方向、水平方向、及び対角線方向のうち一つ以上を含む請求項５記載の方法。
7. 方向が変化したか否かの前記判断は、前記二つの手のそれぞれが、前記像一体期間後、元来た方向と反対の方向へ移動したか否かを判断することを含む請求項１記載の方法。
8. 同期のタイプの前記検出は、前記二つの手が正に同期しているか、負に同期しているかを判断することを含み、
   方向が変化したか否かの前記判断は、前記二つの手が負に同期しているか否かに更に基づいて行われる請求項１記載の方法。
9. 同期のタイプの前記検出は、前記像が一体となった二つの手の速度の値を検出することを含む請求項１記載の方法。
10. 前記速度値は、前記像が一体となった二つの手を囲むよう形成された長方形の平行辺同士の速度の差の標準偏差を含む請求項９記載の方法。
11. 前記像が一体となった二つの手の動作の前記追跡は、前記像が一体となった二つの手を囲むよう形成された長方形の動きを追跡することを含み、
    方向が変化したか否かの前記判断は、前記長方形の一つ以上の辺の速度に基づいて、前記像が一体となった二つの手の速度の値を検出することを含む請求項１記載の方法。
12. 方向が変化したか否かの前記判断は、前記速度値が閾値を下回っているか否かに基づいて行われる請求項１１記載の方法。
13. 前記速度値は、前記長方形の平行辺同士の速度の二乗の和の平方根である請求項１２記載の方法。
14. 方向が変化したか否かの前記判断は、前記速度値の一つ以上の確率分布に基づいて行われる請求項１１記載の方法。
15. 前記速度値は、前記長方形の平行辺同士の速度の差である請求項１４記載の方法。
16. 前記一つ以上の確率分布は、第一の速度パターンに関連する第一の組の分布と、第二の速度パターンに関連する第二の組の分布とを含む請求項１４記載の方法。
17. 前記第一の速度パターンは、前記像一体期間中に前記二つの手が互いを通過したことを表し、前記第二の速度パターンは、前記像一体期間中に前記二つの手が互いを通過しなかったことを表す請求項１６記載の方法。
18. 方向が変化したか否かの前記判断は、
    前記第一の速度パターンが前記像が一体となった二つの手の前記速度値を生成した第一の確率を前記第一の組の分布に基づいて計算することと、
    前記第二の速度パターンが前記像が一体となった二つの手の前記速度値を生成した第二の確率を前記第二の組の分布に基づいて計算することと、
    前記第一の確率を前記第二の確率と比較することと、
    前記比較の結果に基づいて、前記像が一体となった二つの手が前記像一体期間中に互いを通過したか否かを判断することと
    を更に含む請求項１７記載の方法。
19. 像が一体となった二つの手を一つの単位として、像一体期間において該像が一体となった二つの手の動作を追跡することと、
    前記像が一体となった二つの手の前記追跡された動作に基づいて、前記像一体期間における前記二つの手の特徴である同期のタイプを検出することと、
    前記検出された同期のタイプに基づいて、前記像が一体となった二つの手のそれぞれの移動方向が、前記像一体期間中に変化したか否かを判断することと
    を少なくとも実行する命令群が格納されたコンピュータ読み取り可能な媒体を備えるデバイス。
20. 第一の方向から来た第一の手の像と、第二の方向から来た第二の手の像とが一体となっていると判断することと、
    前記像が一体となった二つの手を一つの単位として該像が一体となった二つの手の動作を追跡することと、
    前記像が一体となった二つの手の前記追跡された動作に基づいて、前記像が一体となった二つの手の特徴である同期のタイプを検出することと、
    前記第一の手と前記第二の手とが像一体ではなくなったと判断することと、
    前記第一の手と前記第二の手とが像一体ではなくなったと判断した後、前記検出された同期のタイプに基づいて前記第一の手を前記第二の手から区別することと
    を含む方法。

Images