JP2010500645A - 視覚ディスプレイのためのバーチャルコントローラ - Google Patents

Abstract

視覚ディスプレイのためのバーチャルコントローラを説明する。１つの実施形態において、カメラが背景に対する手の画像をキャプチャする。当該画像は手の領域と背景領域とに区分される。様々な手及び指のジェスチャは背景の一部を独立領域に分離する。その後、これらの独立領域には視覚ディスプレイを操作するためのコントロールパラメータが割り当てられる。複数のコントロールパラメータは、クリック、選択、実行、水平動作、垂直動作、スクロール、ドラッグ、回転動作、ズーム、最大化、最小化、ファイル機能の実行、及びメニュー選択の実行を含む、高度なコントロールのために、２つの手によって形成された複数の独立領域の特性と関連させられ得る。

Description

手の動き及び手の合図は、人間の表現及びコミュニケーションの自然な形態である。人間とコンピュータとの対話に対するこの知識の応用は、コンピュータ入力としての人間のジェスチャを提供する視覚ベースのコンピュータ技術の発展を導く。コンピュータの視覚は、人間ジェスチャ入力システムの実施ために、人間の手または体の重荷にならない動作のキャプチャの到達点を提供する。しかし、現在開発されている視覚ベースの技術の多くは、不自然な手のジェスチャ及び追加的な装置を必要とする不格好な動きを伴う。これらの技術は複雑かつ大がかりなものであり得、結果として、通常のコンピュータ使用位置から離れた繰り返しの手の動きによって効率性の減少をもたらす。

現在のコンピュータ入力方法は、概してキーボードを使用したテキスト入力及びマウスまたはスタイラスペンを介したカーソル操作の両方を伴う。キーボードとマウスとの間の繰り返しの切り替えは、ユーザに対する効率性を時間の経過に従って減少させる。コンピュータ視覚技術は、人間のコンピュータ入力タスクの非効率性を、入力として手の動きを使用することで改善する試行を行ってきた。この手の動きの使用は、キーボードの様な、コンピュータ使用中の通常の手の位置で検出が行われるならば、最も効果的であろう。現在の視覚ベースのコンピュータ技術の多くは、指差しまたは広げられた指を入力ジェスチャとして使用する。この手のジェスチャをキーボード上またはキーボード近傍で検出することの困難性は、タイピング中の自然な手の状態と指差しジェスチャとの類似性によって生ずる。

最近のコンピュータ視覚技術は、手のジェスチャ及び動きを感知するためのジェスチャ検出及びトラッキングパラダイムを使用する。これらの検出及びトラッキングパラダイムは、手の形及び位置を再生する高度なパターン認識技術を使用するので複雑である。検出及びトラッキングは、利便性のあるコンピュータの複雑さの達成の困難性、人間の手の動き及びジェスチャの曖昧さによる実際の検出の問題、及び２以上のユーザインタラクションを許容する技術に関するサポートの欠如を含む、様々な要因によって制限される。

本概要は、以下の発明を実施する形態でさらに詳細に説明される視覚ディスプレイのためのバーチャルコントローラの単純化された特徴及び概念を紹介するために提供される。本概要は、クレーム発明の本質的な特徴を特定することを意図するものでもなく、クレーム発明の範囲の画定に使用されることも意図されていない。

視覚ディスプレイのためのバーチャルコントローラの１つの実施形態において、カメラまたはその他のセンサが、背景に対する（バックグランドを背景に）１または複数の手の画像を検出する。画像は、手の領域と背景領域とに区分され、閉じたリングを作る親指及び他の指によって画像内で形成された異なる独立した背景領域、すなわち「穴」が様々な時間間隔（interval）でカウントされる（例えば、１つの穴は各々の手によって形成され得る）。このような態様で使用される場合の親指及び人差し指は、「親指及び人差し指インタフェース」（ＴＡＦＦＩ：thumb and forefinger interface）として参照される。他のタイプの手及び指インタフェースも可能である。少なくとも１つのコントロールパラメータが、キャプチャされた画像内において認識された穴または独立した背景領域に割り当てられ、コントロールパラメータは、スクリーンまたはモニタ上に表示された画像のいくつかの特徴をユーザの手が操作することを許容する。例えば、手の親指と人差し指とが互いに触れて視覚的に独立した背景領域を形成するときに、マウスクリック機能がコントロールパラメータとして割り当てられる。コントロールパラメータが割り当てられて、当該コントロールパラメータに関連する独立した領域の形状及び／または位置における各々の変化に関連して、または独立した領域の形成または不形成（親指と人差し指が触れているときがハイ状態、親指と人差し指が開いているときがロー状態である）に関連して、表示された画像が変化し得る

図面を通して、同じ参照番号は同じ特徴及び同じ要素を参照する。

視覚ディスプレイのための例示的なバーチャルコントローラが実装され得る例示的なコンピュータベースシステムの概略図である。 例示的なバーチャルコントローラシステムのブロック図である。 図２のバーチャルコントローラシステムの例示的セグメンタで使用される画像区分の概略図である。 例示的な親指及び人差し指インタフェースコントロールの概略図である。 手及び指のジェスチャで視覚ディスプレイをコントロールする例示的な方法のフロー図である。

＜概略＞
本開示は、視覚ディスプレイのためのバーチャルコントローラを説明する。１つの実施形態において、例示的なシステムは、手及び指のジェスチャに適用される視覚ベースのコンピュータ技術を使用することによって、コンピュータモニタに特有の視覚ユーザインタフェースのようなディスプレイのナビゲーションを提供する。１つの実施形態において、ユーザはキーボード上でタイピングして、例えば、キーボードタイピングを中断して単に片方の手の親指及び指を（あたかも小さなスタイラスペンを持つように）触れさせることによって「親指及び人差し指インタフェース」すなわち「ＴＡＦＦＩ」を起動する。例示的なシステムは、この事象を感知し、指のジェスチャによって形成された独立した背景領域の属性にコントロールパラメータを割り当てて、視覚ディスプレイ上の画像をコントロールする。

「バーチャルコントローラ」の「バーチャル」とは、ユーザの手との物理的接触において装置が存在しないことを言及している。従って、１つの実施形態において、バーチャルコントローラは、手及びキーボード上に位置してユーザの手の視覚画像によって１または複数のインタフェースを導くロジックに関連するカメラから成る。区分は、手のオブジェクトを背景（例えばキーボードを含む）から分離する。ユーザが人差し指を親指に触れさせた場合（上記ＴＡＦＦＩ）、システムは、手のジェスチャによって作成された独立した背景領域を認識しかつタビュレート（tabulate）する。すなわち、システムは、接触して背景領域の楕円形の「ドーナッツホール」を囲んでいる完全に閉じた「リング」を形成する親指及び人差し指によって、背景の一部が、残りの主たる背景から視覚的に分離されていることを認識する。コンピュータカメラ以外の手段によって視覚画像を検出することも可能である。例えば、キーボードまたはテーブルに埋め込まれている電極またはアンテナの２Ｄのアレイは、静電気またはＲＦ技術を使用した「イメージング」が可能であり、カメラによる画像のキャプチャと同様の態様において処理されることが可能である。

１つの実施形態において、視覚オブジェクトが手の領域によって、または１つ変形例においては画像内の手の領域及び／または画像の縁によって、背景の他の部分から視覚的に断絶、すなわち分離されたときに、独立した背景領域が区別可能な視覚オブジェクトとしてみなされる。手及び指の画像（群）が独立した背景領域の境界を特定するための区切りエンティティである場合、親指と人差し指とが「閉じた」（互いに触れた）ときに形成される手の親指と人差し指との間の楕円領域は、ほぼ親指と人差し指が触れた瞬間に新しい独立背景領域として適切にカウントされる。新しい独立背景領域は、連結コンポーネント解析の技術において「連結コンポーネント」(connected component)と考えられ得る。このような連結コンポーネントまたは独立背景領域「穴」は、本明細書において「独立背景領域」または単に「独立領域」と称される。この技術用語は、例えば、連結コンポーネント（群）解析の技術において区別可能とみなされる視覚オブジェクトを意味することを理解されたい。

親指と人差し指とが「開いた」場合、新しく形成された独立背景領域は消滅し、再度さらに大きな独立背景領域の一部となる。

連結コンポーネント解析の技術に関して、連結コンポーネントは、属性の類似性を考慮して共にグループ化された類似属性を有するバイナリ画像内のピクセル群である。連結コンポーネントの各々は、人間の観測者によって観測されるような区別可能な視覚オブジェクトにしばしば対応する。画像の手または指の領域部分によって他の背景部分から視覚的に独立している背景の部分の各々は、独立領域または、連結コンポーネント解析の用語では背景連結コンポーネントから区別可能な新たに形成された連結コンポーネントとして定義される。

当然ながら、他の実施形態は、手の他の指の動きまたは接触を使用して「穴」または「独立領域」を形成しても良い。従って、「ＴＡＦＦＩ」は、背景の一部を残りの全体的な背景から分離する指（群）及び手（群）の構成を意味すると大まかに解釈される。例えば、人間の手の親指及び任意の他の指、または親指を除いた２本の指も「ＴＡＦＦＩ」インタフェースを形成可能である。しかしながら、説明を簡素化するために、実施形態は全体として「親指及び人差し指」に関して説明される。

一旦、検出モジュールが全体の背景領域から新しい独立背景領域を識別すると、システムは新たに認識された独立領域に、視覚ユーザインタフェース上に表示された画像を操作することをユーザに可能とさせる１または複数のコントロールパラメータを関連付ける。視覚ユーザインタフェース上に表示された画像は、独立背景領域の位置、形状、さらには存在がトラッキングされるときにコントロールパラメータを介して変化させられ得る。

１つの実施形態において、例示のシステムは、複数のコントロールパラメータにわたって表示された画像のユーザコントロールを許容する１以上の独立領域の検出を提供し、ここにおいて片方または両方の手が関連することが可能である。複数のコントロールパラメータと複数の独立領域との関連付けは、検出された独立領域の各々の形状、位置、及び存在の変化に関連する表示された画像のコントロールを可能とする。従って、表示された画像の操作は、クリック、選択、実行、水平動作、垂直動作、スクロール、ドラッグ、回転動作、ズーム、最大化及び最小化、ファイル機能、メニューの展開及び使用等を含み得る。さらに、コントロールパラメータは認識された複数の独立領域間の関係にも割り当てられる。従って、例えば、２つの独立領域が互いの関係において移動するときには、様々なコントロールパラメータがそれらの間の距離に付随せしめられる。例えば、各々の手の独立領域が互いから離れるように移動するときには、画像は、ズームまたは引き伸ばす(stretch)ことができる、すなわち変化する独立領域間の距離の次元(dimension)もしくはベクトルにおいて延伸し得る。

記載したバーチャルコントローラのためのシステム及び方法の特徴及びコンセプトは、多くの異なった環境において実施されることができ、バーチャルコントローラの実施は、以下の例示的なシステム及び環境との関連において説明される。

＜例示的環境＞
図１は、例示的システム１００を図示していて、そこにおいて上述された親指及び人差し指インタフェース、「ＴＡＦＦＩ」の様なバーチャルコントローラインタフェース技術が実施され得る。例示的システム１００は、視覚ユーザインタフェース（モニタ、スクリーンまたは「ディスプレイ」１０３）上の「ディスプレイ画像」１０２、コンピューティングデバイス１０５と結合されているカメラ１０４、マウス１０６、キーボード１０８、文脈の中で示されているユーザの手１１０（もちろんシステムハードウェアの一部ではない）、及びＴＡＦＦＩとして使用されるユーザの手１１０（１）によって形成された視覚的に独立した領域１１２を含む。カメラは、例示的ＴＡＦＦＩエンジン１１５によって使用されるキャプチャされた手の画像１１４を取得する。（キャプチャされた画像１１４は、説明の目的のためだけに図示され、例示的システム１００はカメラがキャプチャしたものを表示する必要はない。）ＴＡＦＦＩエンジン１１５をホスティングするコンピューティングデバイス１０５は、デスクトップ、ラップトップ、ＰＤＡまたは他のコンピューティングデバイス１０５であることができ、これはカメラ１０４からの入力を良好に受け入れ、ＴＡＦＦＩエンジン１１５は特定の手のジェスチャを検知してこれらをユーザインタフェースの入力として使用する。

カメラ１０４は、片方の手１１０（２）が「通常の」（非ＴＡＦＦＩの）タイピング位置であるときに、ＴＡＦＦＩを含むもう片方の手１１０（１）の画像をキャプチャする。キャプチャされた画像１１４は、ＴＡＦＦＩを形成する手１１０（１）に関する独立領域１１２の検知を示す。しかし、追加的な入力エントリのために未だにタイピングしているまたはマウスを使用している手１１０（２）に関する独立領域１１２は検知しない。カメラ１０４による独立領域１１２の検知は、キャプチャされた画像１１４の中で、暗くされた領域（１１２）として表示される。このキャプチャされた画像１１４は、更に後に説明されるプロセスのフェイズを示している。ここにおいて、例示的システム１００は、手１１０と背景とを、大きな背景領域と、手の領域と、手１１０（１）のＴＡＦＦＩによって形成された独立領域１１２を構成する小さい背景領域と、の様に連続的で区分化された領域に分離する。

システム１００は、視覚ベース（コンピュータビジョン）システムであり得、このシステムはカメラ１０４またはその他のセンサによって検知された手のジェスチャ入力を介して視覚ユーザインタフェースのコントロールを提供する。換言すれば、例示的システム１００は、コンピューティングデバイス上で動作させられ得る多数の異なったタイプのプログラムまたはアプリケーションの視覚ユーザインタフェースディスプレイ出力をコントロールしても良く、これにはウェブベースのディスプレイを含む。従って、例示的システム１００は、マウス１０６、およびもし必要ならば、視覚ユーザインタフェース１０２内に表示されるオブジェクトの選択、移動、及び変更、または更にはテキスト入力の機能を含むキーボード１０８の様な従来のユーザ入力デバイスにとって代わり得る。

バーチャルコントローラは、特定の手のジェスチャ及び動きをユーザ入力として検知する。示された実施形態において、検知のために使用されるカメラ１０４は、手及びキーボードの上のどこかに配置され、ディスプレイ１０３に取り付けられる。この位置に配置されるカメラ１０４は、キーボード１０８の大部分を少なくとも覆う視野を有していて、通常のタイピング位置内のユーザの手１１０の平面において粗く焦点が合されている。１つの実施形態において、赤外線または可視光ＬＥＤの様な光源が配置され、手１１０及びキーボード１０８を照らすことができ、周囲の照明の変化の影響を軽減することができる。いくつかのケースにおいて、周囲の照明は十分であり、画像を取得するためにカメラに対して追加の光源は必要ない。変形例において、カメラ１０４及び／または追加の光源は、キーボード１０８の様々なキーの間に配置されることができ、カメラ１０４は上方を向いていて、キーボード１０８上の手のジェスチャ及び動きを検知することが可能である。

示された例示的システム１００において使用され得る例示のカメラ１０４は、３０Ｈｚのレートにおいてグレイスケール画像の最大解像度を確保できるＬＯＧＩＴＥＣＨ社（カリフォルニア州、フリーモント）のウェブカメラ１０４である。カメラ１０４は、キーボード１０８もしくはディスプレイ１０３または適当な場所に取り付けられ得る。

例示的システム１００において、ユーザの手１１０（１）はＴＡＦＦＩを形成し得る。ＴＡＦＦＩは、親指と人差し指とが接触したときに残りの背景領域から独立した視覚領域を形成する。１つの実施形態において、潜在的なＴＡＦＦＩ及び１つまたは複数の独立領域１１２の存在または不在は、例えば、手１１０がタイピング中なのか入力のためのジェスチャを形成しているのかの様な両方の手１１０の状態の連続的な監視及び判定をするリアルタイム画像処理ルーチンによって検出され、これはコンピューティングデバイス１０５において実行される。この処理ルーチンは、最初にユーザの親指と人差し指とが接触中かどうかを判定する。指が接触中で、ＴＡＦＦＩ構造の独立領域１１２が認識されている場合、接触部の位置は２次元的にトラッキングされる。例えば、親指と人差し指との接触の位置は指示矢印の位置またはカーソルの位置としてコンピュータ１０５内に登録され得る。従って、１つの実施形態において、このＴＡＦＦＩ構造位置及びそれらに関連する独立領域１１２の認識は、カーソルの位置を定めるためかつ表示された画像をコントロールするために使用される。

ある時間間隔内で独立領域１１２が形成されて解消され、その後再び形成される独立領域１１２を形成する素早い手の動きは、マウスの「クリック」を模擬つまり再現し得、ユーザに表示されたアイテムの選択を許容する。独立領域１１２の素早い形成、解消、再形成は、さらにユーザに、表示された画像の選択された部分のドラッグまたはスクロール、表示された画像１０２の水平、垂直または斜め方向の移動、回転、ズーム等を許容する。さらに、１つの実施形態において、独立領域１１２を形成したＴＡＦＦＩがカメラ１０４に接近または離間する動きは、表示された画像のズームイン及びズームアウトを惹起する。

複数のＴＡＦＦＩを介した表示画像のコントロールは、複数の手１１０を含む。説明された図１の例示的システム１００は、ＴＡＦＦＩコントロールの実施形態であって、そこにおいて、画像操作は１つの手１１０（１）のＴＡＦＦＩから進行され、その間、反対の手１１０（２）は、キーボード１０８においてタイピングをして他の入力作業を実行する。しかし、ＴＡＦＦＩコントロールの他の実施形態において、両方の手１１０は各々のＴＡＦＦＩを形成することができ、カメラ１０４によって少なくとも２つの独立領域１１２が検知され得る。２つの手のＴＡＦＦＩコントロールは、視覚ユーザインタフェースの良好に調整されたナビゲーションのための入力コントロールを提供し得る。両方の手のアプローチは、ズームイン、ズームアウト及び回転する動作に加えて複数方向の画像操作を提供し、ここにおいて、複数のＴＡＦＦＩの独立領域１１２の互いの関係における相互作用の故にこの画像操作はさらに高度化される。

＜例示的システム＞
図２は、例示的バーチャルコントローラシステム１００の様々なコンポーネントを図示している。図示されたバーチャルコントローラシステム１００の構成は、１つの例示的な構成にすぎない。示されたコンポーネントまたは他の類似のコンポーネントの多数の構成は本発明の範囲内で可能である。例示のバーチャルコントローラシステム１００は、ＴＡＦＦＩエンジン１１５の様ないくつかのコンポーネントを有し、これらはハードウェア、ソフトウェアまたはハードウェア、ソフトウェア、ファームウェアの組み合わせ等において実行され得る。

例示的システム１００は、カメラ１０４または他の画像センサのようなハードウェア２０２、キーボード１０８及びディスプレイ１０３を含む。ＴＡＦＦＩエンジン１１５は、画像セグメンタ２０４、独立領域トラッカ２０６、リンクモジュール２１０を含むコントロールパラメータエンジン２０８の様な他のコンポーネントを含む。

１つの実施形態において、カメラ１０４は、背景に対する１または複数の手１１０と解釈される画像を検知する。キャプチャされた画像１１４のピクセルは、画像内の背景領域（群）から画像内の手１１０を識別するために使用されるであろう属性の対比値を含む。背景と手を対比するのに望ましい属性は、明度、グレイスケール、色コンポーネント強度、色平面値、ベクトルピクセル値、色マップインデックス値等を含み得る。例えば、変形例において、赤外線照明が典型的な可視スペクトル照明の代わりに使用されるような場合、カメラ１０４はこれらの属性の１またはその他の特性を使用して背景ピクセルから手ピクセルを識別する。ときどき、赤外線を使用したキャプチャされた画像１１４の取得は、異なった肌の色調の多くの人間の手が、人種の違い、日焼け等によって可視スペクトルにおいて様々な色及び色調であるにもかかわらず、背景に対して同様のコントラストに見えるという結果を招く。従って、画像における背景に対する手の検出は、眼に見える肌の色調に関わらず赤外線において容易に達成され得る。

従って、セグメンタ２０４は、例えば、上述したコントラストまたは明度属性に従ったバイナリ画像区分によって、キャプチャされた画像１１４を１つまたは複数の手の領域１１０及び背景エリア（群）に分離する。バイナリ画像区分は、キャプチャされた画像１１４に存在する任意の他の（前方にある）オブジェクトまたは領域のピクセルから背景領域のピクセルを識別する。１つの実施形態において、セグメンタ２０４は、背景領域に対応する第１の判定ピクセルによって画像を分離する。背景領域のピクセルには、バイナリ「１ｓ」のような値が各々割り当てられる。キャプチャされた画像１１４の残りのピクセルには、「０ｓ」の様な異なる値が各々割り当てられる。

図３は、セグメンタ２０４によって実行されるバイナリ画像区分の例３００を図示している。キャプチャされた画像１１４は、背景オブジェクト３０２及び手前にある手オブジェクト３０４を含む。様々な技術が区分された画像を生成するために存在し、そのほとんどが当該分野で良く知られている。１つの実施形態において、セグメンタ２０４は、キャプチャされた画像１１４すなわち例３００内に存在する任意の他のオブジェクトまたは領域から背景領域を認識する。バイナリ画像内でピクセルを区別することは、背景に対応するピクセルの各々を「オン」または「１」の様な特定の値として考慮することで達成される。その後、画像内の他のピクセルの値の各々は、保存されている背景画像の値と比較され得る。対応する背景ピクセルの値よりも著しく明るい任意の他のピクセル値は、新しい領域または画像オブジェクトの一部とみなされ、「オフ」と分類されるかまたは「０」の様な異なる値を与えられる。

例３００は、背景領域３０２の画像の他の領域からの色の相違における区別も示している。背景領域３０２は、第１の値と同等とされる暗い色として示されている。手のオブジェクト３０４は、第２の値と同等とされる明るい色として示され、背景領域３０２から区別される。

図２に戻ると、独立領域トラッカ２０６は、背景の独立領域１１２の数を固定の時間間隔で判定する。非背景の手の領域（すなわち画像の境界）の少なくとも一部によって背景の他の部分から視覚的に独立している背景の各々の部分は、独立領域１１２として定義される。検知された独立領域１１２の各々に関して、独立領域トラッカ２０６は、「０」ピクセルに完全に囲まれた「１」ピクセルの領域を発見する（すなわち、主要な背景を含む残りの「１」ピクセルにもはや連続的に接続されていない）。換言すれば、独立領域トラッカ２０６は、ＴＡＦＦＩの親指と人差し指との接触ジェスチャによって囲まれた隔離された背景の領域を発見する。

例えば、ディスプレイ１０３上のオブジェクトを選択するユーザの意図を示す背景の分離された領域としての独立領域１１２の正確な検出は、カメラ１０４によって検出されたキャプチャ画像１１４内に独立領域が完全に入っている場合に保証される。すなわち、キャプチャ画像１１４の境界上に独立領域１１２の部分がない場合である。

１つの実施形態において、独立領域１１２の一部が「オフスクリーン」すなわちキャプチャ画像１１４の一部にとして含まれていない場合でも、独立領域トラッカ２０６の変形例は独立領域１１２を検出できる。このことは、手１１０の一部によって、またはキャプチャ画像１１４の境界の一部によって、主要な背景から切り離された背景の領域として独立領域１１２を定義することによって達成され得る。しかし、これは単に、背景の独立領域を区切る方法の１つの変形例である。

１または複数の独立領域の存在が一旦確立されると、リンクモジュール２１０は、ユーザインタフェース上の視覚画像ディスプレイ１０２の操作に関するコントロールパラメータを、カウントされた独立領域の各々に関連付ける。操作は、視覚ユーザインタフェース内のカーソルコントロールを含む多数の機構を含む。視覚画像ディスプレイ１０２のカーソルコントロールは、独立領域が検出されてコントロールパラメータに関連付けられた場合にのみ達成され得る。独立領域の検出が停止する場合、コントロールパラメータとの関連付けは停止してカーソルコントロール及び操作は不能化される。カーソルコントロールは、マウスからの入力を模擬する「クリック」動作を含む多数の操作を含む。クリック動作は、視覚画像ディスプレイ１０２の所望の部分の選択、トラッキング及びドラッグ、並びにカーソルの複数方向の移動及びコントロールを提供する。

リンクモジュール２１０は、特定のコントロールパラメータと手もしくは指のジェスチャまたはジェスチャの変化との関連付けを提供する。一度、特定のパラメータが手または指のジェスチャに割り当てられ、または、関連付けられると、コントロールパラメータエンジン２０８は、手のジェスチャとコントロールパラメータとが互いにどのように関連しているかについてさらに特定の意味を持たせる。例えば、親指と人差し指との単なる接触は、「オン‐オフ」、バイナリ、「ハイ‐ロー」またはその他の２状態のインタフェースもしくはスイッチとして使用され得る。その一方で、連続的に変化可能な手のジェスチャ属性が割り当てられて、連続体にわたるディスプレイ画像１０２の緩やかな移動の様なディスプレイ画像操作にわたる様々なコントロールが提供され得る。

リンクモジュール２１０が、様々なコントロールパラメータを割り当てて、例えば対応する独立領域の部分または形状の変化に関して表示された画像１０２のコントロールをする場合、独立領域の各々に属する全てのピクセルの平均位置を計算し、手がＴＡＦＦＩを形成したときに作成された形状の部分の変化のトラッキングをすることで変動性アスペクトが得られる。手の動きは、独立領域の楕円体の形状の方向を変え、割り当てられたコントロールパラメータに関連する表示属性の対応する変化を引き起こす。

＜表示された画像のコントロール＞
図４は、キャプチャ画像１１４のコンテキスト内で説明された例示のＴＡＦＦＩ４００を示している。キャプチャ画像１１４の図示された部分は、背景領域３０２、手のオブジェクト領域１１０、独立領域１１２、及び画像境界４０８を含む。領域３０２、１１０、及び４０６の各々は、他と区別可能な連結された領域すなわち連結コンポーネントとして説明され得る。ＴＡＦＦＩエンジン１１５は、独立領域１１２を他の連結コンポーネント３０２及び１１０から識別する。

従って、ＴＡＦＦＩエンジン１１５は、画像の連結コンポーネントの計算結果を、視覚ディスプレイのバーチャルコントローラの実施の基礎として使用し得る。さらに詳しくは、連結コンポーネントは、ピクセルのサブセット、すなわち画像の領域であり、そこにおいてピクセルの各々はサブセット内で他のピクセルと「連結されている」。「連結されている」という用語は、ピクセルのセットを示し、そのピクセルのセットは、そのセットに属するピクセルを横切ることによって任意の他のピクセルから全てのピクセルに達し得るピクセルのセットである。効率的な技術は、画像内の連結コンポーネントのセットの計算に関して現在存在している。連結コンポーネントの技術は、画像内の形状の特性を判定するために有効な手段である。なぜならば、それらは画像全体のピクセル内の多くのピクセルから成るコンポーネントの小さなセットの検査を許容するからである。

連結コンポーネントの計算プロセスは、非本質的（extraneous）な連結コンポーネントの検出を生じ得る。これらの必要のない検出は、ＴＡＦＦＩまたはその他の例示的なインタフェースによって形成された関連する独立領域の判定を混乱させる可能性があり、バーチャルコントローラの実施を妨げる。１つの実施形態において、余分な連結コンポーネントの非本質的な検出は、所定の許容できる閾値より少ないピクセル数を有する連結コンポーネントを放棄することで克服され得る。

１つの実施形態において、ＴＡＦＦＩエンジン１１５は、認識された独立領域１１２が画像の境界内部に完全に位置していること、すなわち背景領域３０２の境界内に完全に位置していることを検証する。時として、この十分なサイズでありかつ画像の境界４０８上のピクセルを含まない独立領域の制限的な検出は、所望の独立領域４０６の信頼性のある識別を強化する。この１つの実施形態において、偽の連結コンポーネント候補、すなわち画像内に完全に位置しておらずかつ画像の境界４０８上の部分を含んでいる候補を排除することで、適切な検出が達成される。

更なる他の実施形態において、ＴＡＦＦＩエンジン１１５は、キャプチャ画像１１４内の独立領域１１２の部分及び当該画像の境界４０８を覆うオフ‐スクリーンに位置する部分を検出することで独立領域１１２を検出する。この実施形態において、連結コンポーネント解析は、独立領域１１２が画像の境界４０８に達する、かつ／または境界４０８を越えるまで連続的である限り、進行する。このことは、手がＴＡＦＦＩを形成し、かつ独立領域１１２がカメラの視野内に部分的に存在することで検出画像内に部分的に存在するだけの場合に発生し得る。

１つの実施形態において、ＴＡＦＦＩエンジン１１５は、独立領域１１２の中心を使用して表示された画像１０２内のカーソル位置及びカーソルコントロールを確立する。ＴＡＦＦＩエンジン１１５は、認識された独立領域１１２の各々に関して統計的な解析を実行することができ、そこにおいて独立領域トラッカ２０６は、独立領域１１２の各々に属するピクセルの全ての「セントロイド」（centroid）または平均ピクセル位置を演算する。この演算された位置は、多数のピクセル位置の合計であり、この実施形態の安定性と精密性に帰結する。平均ピクセル位置は、連結コンポーネントの演算と同一のステージにおいて演算されることができ、低い演算コストで迅速な結果を提供する有効な技術に帰結する。

視覚ディスプレイのコントロール手段としての独立領域４０６の出現と消滅に関連して、１つの実施形態において、独立領域１１２に属するピクセルの全ての平均ピクセル位置は、繰り返し検出プロセスの１つの時間間隔中に新たに独立領域１１２が検出された場合にのみカーソル位置及びコントロールを確立する。

独立領域４０６の検出を伴うカーソルコントロールは、マウス入力デバイスを模擬し得る。マウス１０６と類似して、カーソル操作に関する相対的な動きは、ＴＡＦＦＩ４００によって形成された検出された独立領域１１２の現時点及び過去の位置から演算され得る。親指と人差し指の結合は、楽なつかむ動作を許容する自然な動きであり、マウス入力デバイスと同様である。ＴＡＦＦＩ検出にカルマンフィルタ（Kalman filter）を使用することは、視覚ディスプレイ１０３上のカーソルの動作をスムーズにし得る。

例示のＴＡＦＦＩエンジン１１５は、閾値の時間間隔内で独立領域１１２を素早く形成、解消、再形成することによって、表示された画像１０２のオブジェクトを選択することをサポートする。これらの動作は、機能の「選択」または「実行」のためのマウスボタンの「クリック」を模擬し、選択されたオブジェクトのトラッキングからドラッグの遷移をサポートし得る。例えば、ドラッグは、独立領域１１２の最新の形成の直後に「マウス‐ダウン」イベントを模擬することで実行される。対応する「マウス‐アップ」イベントは、親指と人差し指を開くことによって独立領域１１２が消滅する時に生成される。例えば、独立領域の形成の瞬間において、視覚ユーザインタフェースディスプレイ上のドキュメント内のスクロールバーの様なオブジェクトが選択され得る。この選択の直後、独立領域１１２を形成する手の部分が、ドキュメント内で下方にスクロールさせるためにマウス１０６が動かされるように動くことができる。

ＴＡＦＦＩエンジン１１５は、単に従来のマウスベースの機能を模擬するよりも、視覚ディスプレイ１０２の更なるコントロールを提供し得る。独立領域１１２（連結コンポーネント）のピクセル位置の平均値及び共分散は、ピクセル位置の共分散マトリクスの固有ベクトルを演算することによって、独立領域１１２の形状の方向性のある楕円体モデルに関連させることが可能である。固有ベクトルの大きさの平方根が、その長軸及び短軸の空間的な広がりを与える一方で、楕円の方向は、１つの固有ベクトルの１８０度の不定値（ambiguity）までの逆正接として定義される。結果としての不定値は、演算された方向または＋１８０度回転させられた方向を使用して前のフレームからの方向における差異を最小化することで処理され得る。

ＴＡＦＦＩエンジン１１５は、例示的なＴＡＦＦＩ４００によって作成された独立領域１１２の楕円体モデルから、位置、方向、及び大きさにおいて同時に起こる変化を演算し得る。様々な実施形態において、大きさの変化は、カメラへ向かう手の動き及びカメラから離れる手の動きを検出するために使用される。このことは、独立領域１１２を形成するユーザの手が通常はカメラ１０４からの距離の固定幅内に保持されていて、独立領域１１２のサイズ及び形状は許容範囲内でのみ変化し、方向における視覚的変化は背景領域３０２またはキーボードの平面に若干制限されることを前提とする。１つの実施形態において、重要な考慮事項は、インタラクションを通して、ユーザがカメラまたはキーボードに対して手を上げたり下げたりする時に、ユーザは独立領域のサイズ、すなわちＴＡＦＦＩ４００によって形成された楕円体の穴のサイズを維持しなければならないことである（すなわち、いくつかの実施形態において、高さの変化は独立領域形状の実際の変化と混同されてしまう）。他の実施形態において、ＴＡＦＦＩエンジン１１５は、コンピュータ視覚理論を使用して、手が上ったときまたは下がったときの独立領域のサイズの変化を補正する。

１つの実施形態において、ＴＡＦＦＩエンジン１１５は、WINDOWS（登録商標）LIVE VIRTUAL EARTH（登録商標）ウェブサービスまたは他の類似のインターネットマップサービス（ワシントン州 レッドモンド）で提供されるような、空中及び衛星イメージの片手ナビゲーションのために独立領域１１２の楕円体モデルを使用する。バーチャルマップの視野全体にわたる動きによるナビゲーションは、テーブルまたはキーボードの様な背景領域３０２にわたって動く独立領域を有するＴＡＦＦＩ４００によって達成され得る。マップ全体の回転は、キーボードの２次元平面内の独立領域を形成する手の回転によって達成され得る。その一方で、ズームイン及びズームアウト機能は、手をカメラ１０４に近づけるかまたは遠ざける様に動かすことで達成される。

ＴＡＦＦＩエンジン１１５は、カーソルコントロール及びナビゲーションのために２またはそれ以上の手の使用が可能である。フレームとフレーム（frame-to-frame）との対応規範（strategy）は、独立領域１１２の各々が、カメラによって検出される第１領域、第２領域、第３領域等として、入力に関して連続的にトラッキングされることを許容する。カメラによる検出に対する背景領域３０２に対する両手の配置、及び背景領域３０２に関連するその後の動きは、独立領域４０６の楕円体モデルの方向を変更して、リンクモジュール２１０によって割り当てられたコントロールパラメータを介した手の動きの位置及び配置に関連した視覚ユーザインタフェースディスプレイの動作を生起する。

複数の手または指のジェスチャに対応する複数のコントロールパラメータの同時に行われるトラッキングは、種々の両手インタラクションを可能とする。インターネットバーチャルマップの例をもう一度参照すると、バーチャルマップのナビゲーションのための２つの手の入力は、ディスプレイ１０３上のマップ視野の回転、並行移動、及びスケーリングにおける同時変化を許容する。独立領域４０６に関する配置評価が手の位置から導かれるので、両手技術は、片手技術の動きの評価よりもさらに安定した動きの評価を提供することが可能である。従って、両手技術は以下の操作を提供する：同じ回転方向において同時に両方の手が動くことによる時計回り及び反時計回り回転動作；両方の手が所望の方向に動くことによる視覚ユーザインタフェースディスプレイの視野全体の垂直または水平方向の動作；並びに、両方の手が互いに近づきその後に互いに離れて広がることで達成される視覚ユーザインタフェースのズームイン、及び別々のスタート位置から手を１つにすることによって実行される視覚ユーザインタフェースのズームアウトといったズーム機能。

独立領域１１２の楕円体モデルから演算される位置、方向、及び大きさの同時変化は、標準のコンピューティングデバイス環境以外の実施において使用され得る。例えば、ＴＡＦＦＩエンジン１１５は、カメラ及びテーブル上のプロジェクタを含むが、マウス、タッチパネル、またはキーボードの様な従来的な入力デバイスを含まないインタラクティブテーブル表面システムをコントロールし得る。ユーザはテーブルの表面上に手を配置して独立領域４０６を形成し、テーブル表面及び当該表面上に表示される要素（material）に関する操作及びインタラクションを提供する。類似の実施形態は壁にディスプレイ画像を投影するシステムを含み、そこにおいてユーザはＴＡＦＦＩ４００としての手及び指を介してディスプレイ画像とインタラクションしかつそれをコントロールする。例えば、ＴＡＦＦＩエンジン１１５は、ユーザに投影プレゼンテーション中のスライドの変更を許容し得る。

＜例示的方法＞
図５は、手または指のジェスチャを介した視覚ディスプレイの例示的コントロール方法５００を示している。当該フローチャートにおいて、動作は個々のブロック内に要約されている。実施形態によれば、例示的方法５００は、ハードウェア、ソフトウェアまたはハードウェア、ソフトウェア、ファームウェア等の組み合わせによって、例えば、例示的なバーチャルコントロールシステム１００及び／または例示的ＴＡＦＦＩエンジン１１５のコンポーネントによって実行され得る。

ブロック５０２において、カメラ１０４を介した背景に対する１または複数の手１１０の画像がキャプチャされる。コントラスト、色、または明度は、手と周囲の背景領域とを識別可能なピクセル属性であり得る。手は、コントラストのある背景に対してさらに容易に検知される。手の検知に関する１つのシナリオは、キーボード１０８におけるタイピング中になされる。カメラ１０４は、手１１０及び背景領域部分として検知されるキーボード１０８の画像をキャプチャする。赤外線ＬＥＤ照明もこの方法に使用されることができ、これらは、肌の色調においてカメラ１０４と同様に手を最も良く見えるようにするコントロールされた照明法を提供する。

ブロック５０４において、画像はバイナリ区分によって手のオブジェクトと背景領域とに区分される。例えば、背景領域ピクセルは、画像内の任意の他のオブジェクトまたは領域から識別されかつ区別される。その後、背景領域ピクセルは値によって分類される。画像内の他のオブジェクトまたは領域のピクセルは、続いて識別されて、保存された背景画像のピクセルの値と比較される。対応する背景ピクセル値よりも著しく明るい任意のピクセル値は、新しい領域または画像の一部と分類されて、背景領域ピクセルと異なる値が与えられる。この画像の異なった領域の区別及び分類は、画像のバイナリ区分である。

ブロック５０６において、背景の多数の独立領域は繰り返しの検出時間間隔内でカウントされる。独立領域４０６は、１つの手のオブジェクト１１０の少なくとも一部によって背景の他の部分から視覚的に独立している背景３０２の部分の各々として定義される。例えば、手が親指及び人差し指インタフェースすなわちＴＡＦＦＩとして働くとき、手の親指と人差し指とは囲まれた領域を形成し、残りの全体の背景領域から独立する。この囲まれた領域は、新しい独立領域１１２を形成して、これに視覚ディスプレイを操作するためのコントロールパラメータが割り当てられ得る。１つの実施形態において、本発明の方法は、検出された独立領域は本当に独立しているかどうか、換言すれば、場合において、独立領域が画像の境界上のピクセルを有しているかをテストする。

ブロック５０８において、ディスプレイ上の画像の操作のためのコントロールパラメータは、考慮された独立領域の各々またはそれらの属性に関連付けられている。例えば、ＴＡＦＦＩとして使用された手によって形成された独立領域１１２は、カメラ１０４によって検知され、かつユーザにユーザインタフェースディスプレイ上のオブジェクトを選択することを可能とさせるコントロールパラメータと相互に関連付けられる。続いて、第２番目に検知された独立領域１１２が、ユーザに、前もって選択されたオブジェクトをユーザインタフェースディスプレイ上の異なった位置に移動させることを可能とするユーザインタフェースコントロールパラメータと相互に関連付けられる。この迅速な第１及び第２番目の独立領域１１２の検出の継続は、独立領域４０６の素早い形成、解消、再形成の結果であり得ることができ、検知された独立領域１１２に関連してマウスの様な「クリック」機能に帰結する。

ブロック５１０において、表示された画像は、コントロールパラメータに割り当てられた独立領域の属性の変化の各々に関連して、コントロールパラメータを介して変化させられる。例えば、独立領域１１２の位置は、検知カメラ１０４に関連して左右に移動することができ、表示された画像１０２はそれに従い得る。検知された独立領域１１２とコントロールパラメータとの関連付けは、ＴＡＦＦＩとして使用されている手の動き、位置及び関係に従った表示された視覚画像１０２の操作を許容する。

上述の方法５００及び他の関連する方法は、コンピュータ実行可能命令を組み合わせることによって実施されても良い。一般的に、コンピュータ実行可能命令は、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手順、モジュール、ファンクション及びそれに類したものを含み得、それらは特定の機能を実行するまたは特定のアブストラクトデータタイプを実施するものである。本発明の方法は、通信ネットワークを介して接続されているリモート処理デバイスによって機能が実行される分散型のコンピューティング環境において実行されても良い。分散型のコンピューティング環境において、コンピュータ実行可能命令は、メモリ記録デバイスを含むローカル及びリモートコンピュータ記憶媒体の両方に配されていても良い。

＜結語＞
例示的システム及び方法が、構造的特徴及び／または方法論的な動作に特化して説明されてきたが、添付の特許請求の範囲内で画定される本発明は、説明された特定の特徴または動作によって制限されるべきでないと理解されるべきである。むしろ、特定の特徴及び動作は、クレームされた方法、デバイス、システム等の実施の例示的形態として開示されている。

Claims (20)

1. カメラを介して背景に対する１または複数の手の画像を検出するステップ（５０２）と、
   前記画像を手の領域と背景領域とに区分するステップ（５０４）と、
   時間間隔毎に前記背景の多数の独立領域をカウントするステップ（５０６）であって、前記手の領域の１つの少なくとも一部によって前記背景の他の部分から視覚的に独立している前記背景の部分の各々が、独立領域として定義される、ステップと、
   ユーザインタフェース上に表示された画像を操作するためのコントロールパラメータを、カウントされた独立領域の各々と関連付けるステップ（５０８）と、
   前記コントロールパラメータに関連付けられる前記独立領域の形状及び／または位置の変化の各々に関連して前記コントロールパラメータを介して前記表示された画像を変化させるステップ（５１０）と、
   を含むことを特徴とする方法。
2. 前記独立領域が再度連結した場合に、関連する独立領域からコントロールパラメータを切り離すステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記コントロールパラメータは、閾値時間間隔内で独立領域が形成、解消、および再形成した場合に、マウスボタンの動作をエミュレーションすることを含むことを特徴とする請求項１に記載の方法。
4. 前記コントロールパラメータは、マウスポインタのエミュレーション及び動作を含むことを特徴とする請求項１に記載の方法。
5. 前記コントロールパラメータは、カーソルの動作を含むことを特徴とする請求項１に記載の方法。
6. 前記コントロールパラメータは、前記ユーザインタフェースに関して前記ディスプレイ画像の動作を含むことを特徴とする請求項１に記載の方法。
7. 前記動作は、垂直動作、水平動作、または回転動作のうちの１つを含むことを特徴とする請求項６に記載の方法。
8. 前記コントロールパラメータは、前記ユーザインタフェース上の前記ディスプレイ画像のサイズをズームまたは縮小することを含むことを特徴とする請求項１に記載の方法。
9. 前記コントロールパラメータと、各々の手の画像によって各々形成される２つの独立領域間の関係と、を関連付けるステップをさらに含むことを特徴とする請求項１に記載の方法。
10. 前記コントロールパラメータは、前記２つの独立領域間の距離の変化に関連して表示された画像を引き延ばすこと含むことを特徴とする請求項９に記載の方法。
11. ２つの独立領域間の関係と関連付けられた前記コントロールパラメータは、
    前記２つの独立領域間のラインの回転に関連して前記表示された画像が回転することと、
    両方の独立領域が同様のアーク方向に動く場合に時計回りまたは反時計回り方向に前記表示された画像が回転することと、
    両方の独立領域が同じ方向に同時に移動する場合に前記表示された画像全体が移動することと、
    独立領域間の距離が変化する場合に前記表示された画像をズーミングすること、
    の１つを制御することを特徴とする請求項９に記載の方法。
12. 前記手の領域の１つの親指領域及び人差し指領域は、親指及び人差し指インタフェース（ＴＡＦＦＩ）を定義し、前記親指領域及び前記人差し指領域は、視覚的に互いに接触して前記背景の一部を前記背景の他の部分から視覚的に切り離して独立領域を形成することを特徴とする請求項１に記載の方法。
13. 背景に対する１または複数の手を含む画像を検出する画像センサ（１０４）と、
    前記画像を１つまたは複数の手の領域と前記背景とに区分する画像セパレータ（２０４）と、
    時間間隔毎に前記背景の多数の独立領域をカウントするトラッカ（２０６）であって、 前記手の領域の１つの少なくとも一部によって前記背景の他の部分から視覚的に独立している前記背景の部分の各々が、独立領域としてされる、トラッカと、
    ユーザインタフェース上に表示された画像を操作するためのコントロールパラメータとカウントされた独立領域の各々とを関連付けるリンクモジュール（２１０）と、
    を備えたシステムであって、
    前記コントロールパラメータに関連付けられる前記独立領域の形状、位置、またはその両方の各々の変化は前記コントロールパラメータを介して前記表示された画像を変形させることを特徴とするシステム。
14. 前記独立領域が再度連結された場合に、前記リンクモジュールは、前記それぞれのコントロールパラメータを切り離すことを特徴とする請求項１３に記載のシステム。
15. 前記リンクモジュールは、閾値時間間隔内において独立領域が形成、解消、および再形成した場合、マウスボタンの動作をエミュレーションするコントロールパラメータを関連付けることを特徴とする請求項１３に記載のシステム。
16. 前記リンクモジュールは、コントロールパラメータに関連付けてマウスポインタの画像、カーソルの画像、及び前記ディスプレイ画像の少なくとも一部から成る視覚インジケータ群のグループから選択された視覚インジケータの動作をエミュレーションし、前記動作は、垂直動作、水平動作、回転動作、ズームイン動作、およびズームアウト動作から成る動作のグループから選択された動作を含むことを特徴とする請求項１３に記載のシステム。
17. 前記リンクモジュールは、前記コントロールパラメータと、各々の手の画像によって各々形成される２つの独立領域間の関係と、を関連付けすることを特徴とする請求項１３に記載のシステム。
18. 前記リンクモジュールは、コントロールパラメータを関連付けして、前記２つの独立領域間の距離の変化に関連して前記表示された画像を引き伸ばすことを特徴とする請求項１７に記載のシステム。
19. 前記リンクモジュールは、コントロールパラメータを関連付けして、前記２つの独立領域間のラインの回転に関連して前記表示された画像を回転させることを特徴とする請求項１７に記載のシステム。
20. 手の動作に割り当てられたコントロールパラメータを介してユーザインタフェース上に表示された画像を変化させるシステムであって、
    背景に対する１つまたは複数の手の画像を検出する手段（１０４）と、
    前記画像を１つまたは複数の手の領域と前記背景とに区分する手段（２０４）と、
    固定された時間間隔で前記背景の多数の独立領域をカウントする手段（２０６）であって、手の領域の少なくとも一部によって前記背景の他の部分から視覚的に独立している前記背景の部分の各々は独立領域として定義される、手段と、
    ユーザインタフェース上に表示された画像を操作するためのコントロールパラメータとカウントされた独立領域の各々とを関連付けて、前記コントロールパラメータに関連付けられた前記独立領域の形状及び／または位置における変化の各々に関連して前記コントロールパラメータを介して前記表示された画像を変化させる手段と、
    を備えることを特徴とするシステム。

Images