JP2014179072A - 三次元指先トラッキング - Google Patents

Abstract

【課題】入力ソースで受信される手又は手セグメントの存在、位置、指示方向、及び／又は動きを検出し、トラッキングするためのシステムおよび方法を提供する。
【解決手段】手、手セグメント及び指先の位置特定ステップ２０４およびトラッキング・ステップ２０６は、ボール・フィット手法を用いて行うことができる。手、手セグメント、及び指先の位置、及びトラッキング・データ２１０の分析結果２１４は、種々のシステムおよび装置の入力として用いることができる。
【選択図】 図２

Description

本出願は、概して、コンピュータ・ビジョンおよび関連技術に関し、より詳細には、指先トラッキングのための、手、手セグメント、および手セグメントの下位部分の特定に関する。

特定のテクノロジーに対するユーザ満足の大部分は、ユーザ・インターフェースに依る使いやすさに基づいている。ユーザインタフェースの設計によって、ユーザが、システムに入力を行い、システムからの出力を解釈するために費やさなければならない手間の大きさ、そして、この方法の学習に必要な労力の大きさが影響を受ける。

多くの機器は、物理的なノブ、スライダー、ボタン、又はタッチ・スクリーンやソフト・ボタンなどの仮想制御手段を用いて制御される。しかしながら、これらの機構は、しばしば、ユーザの視覚的注意を必要とし、運転中の操作は非常に困難であり、危険でさえある。

運転者は、運転方向の情報を必要とし、また周囲環境に関するその他の情報を望むだろうが、その情報にアクセスするための選択肢は限られている。ほとんどのオンボード・ナビゲーション・システムは車両が走行中は使用不能になり、米国の多くの州では、運転中の携帯電話の使用を禁止する不注意運転に関する法律を制定している。基本的な安全運転の知恵では、運転者の手はステアリング・ホイールにおき、目は道路に向けることを教えている。しかし、運転者には、依然として、タイムリーな情報およびリアル・タイムでの運転者支援機能に対するニーズがある。

ユーザと技術を結ぶインターフェースには、技術がユーザからの入力を受け入れられるように様々な手段が集積されている。インターフェース設計者によって追求されてきた一つの方向は、ジェスチャ認識および同様の技術である。モーションやジェスチャは、特定され分析されて、様々な機器に関する動作を起動することができる。特に、従来の機器制御手段（例えば、キーボード、マウス）が実用的ではない事例では、人間のモーションやジェスチャを用いた機器への入力伝達によって、機器を制御するためのスピーディで直感的な手段を提供することができる。

明らかな利点があるにもかかわらず、指先特定は、指先特定を使用するシステムの分解能によって制限される場合が多い。例えば、従来のモーション・センサでは、フレーム内（例えば、指先位置のトラッキングに関連する入力を収集することができる一つ以上のセンサの「視野」範囲内）の手の存在は認識可能であるが、指先の位置と向きの正確な検出は容易ではない。現在のシステムでは、正確に指先位置を特定しトラッキングするための性能と精度が欠けており、指先特定の利用は大きく制限されている。

既存のジェスチャートラッキング技術は、指先の精密な三次元の位置、指示方向および動きを正確に検出することができず、ジッタや出力の不正確さを引き起こすノイズに対するセンサ入力の感度に関連する問題を抱えている。従来の指先位置トラッキングの主要な欠点は、指示方向の正確な推定が困難なことであり、これは、特定およびトラッキングの正確さのばらつき、そして、指示方向推定の信頼度の低さに起因している。

以下では、本発明のいくつかの態様の基本的な理解のために、本発明の概略を簡単に示す。この概略は、本発明の全体の概要の拡張ではない。この概略は、本発明の鍵となる又は重要な要素を特定すること、又は本発明の範囲を概括するようなことは意図していない。その唯一の目的は、後で提供される、より詳細な説明への前置きとして簡略化した形で本発明のいくつかの概念を示すことである。

本明細書で開示され、特許請求されている発明には、一面において、入力ソースで受信される、手や指や指先の存在、位置、指示方向及び／又は動きを検出し、トラッキングし、そして分析するためのシステムおよび方法が含まれる。このような分析の応用としては、たとえば、ナビゲーション・システム、情報システム、エンターテイメント・システム、スマート・フォン又はその他の携帯機器等のシステム又は機器に対する入力としての使用がある。

特定の実施形態では、手、手セグメント、指や指の一部分（例えば、指先）を含む手セグメントの一部分の検出と特定は、三次元位置データを検出しトラッキングするために行うことができる。三次元指先トラッキング・データは、広範なシステムおよび機器への入力として使用することができる。

入力ソースで受信される手および手の部分（例えば、指、指先）の特定、分析、およびトラッキングは、例えば、ボール・フィット手法すなわちボール・フィット・アルゴリズムや、前記入力ソースで受信されると予想される、身体に関連する様々な計算技術を用いて行われる。特定情報、分析情報、及びトラッキング情報は、機器との相互交信その他の目的に使用することができる。

上記目的および関連する目的を達成するために、本発明のいくつかの説明用の態様が、以下の記載および別紙の図面と関連付けて本明細書に記載されている。しかしながら、これらの態様は、本発明の原理を使用することができる様々な方法のいくつかのみについて示しており、本発明の主題の開示は、すべてのそのような態様およびそれらの均等物を含むことを意図している。その他、本発明の利点および新規な特徴は、図面と併せて検討すると、以降にある本発明の詳細な説明から明らかになるであろう。

ジェスチャ認識を支援するシステムを示すブロック図の一例である。 一つ以上の移動体の動きを認識するためにユーザに提供するシステムを示すブロック図の一例である。 本願で開示されたシステムおよび方法を説明する実施形態を示すブロック図の一例である。 本願発明の主題の開示に基づく三次元指先トラッキング・システムの使用例を示す図である。 本願発明の主題の開示に基づく三次元指先トラッキング・システムおよび方法の態様を示す図である。 従来の指先特定方法の一例を示す図である。 本願発明の主題の開示に基づく三次元指先トラッキング・システムおよび方法の態様の一例を示す図である。 本願発明の主題の開示に基づく三次元指先トラッキング・システムおよび方法の態様の一例を示す図である。 本明細書に記載の態様と組み合わせて使用することができるコンピューティング・システムの一例を示すブロック図である。 本明細書に記載の態様と組み合わせて用いることができるネットワーク・システムの一例を示すブロック図である。 開示されたシステムおよび方法の実施形態に従って得られたテスト結果を示すグラフである。 開示されたシステムおよび方法の実施形態に従って得られたテスト結果を示すグラフである。 開示されたシステムおよび方法の実施形態に従って得られたテスト結果を示すグラフである。 開示されたシステムおよび方法の実施形態に従って得られたテスト結果を示すグラフである。

以降、例えば図面や本明細書に記載の他の態様を参照して、本発明の詳細を述べる。以下の説明および図面（本明細書に組み込まれている）においては、本発明の主題の開示内容を完全に理解してもらう目的で、多くの特別な事項が、説明のために記載されている。しかしながら、本発明は、これらの特別な詳細説明なしに実施可能であることは明らかであろう。他の例においては、周知の構造および機器が、本発明の説明を容易にするためにブロック図の形で示されている。

一つの実施形態では、三次元指先トラッキングを行うための、コンピュータで実行される方法は、一つ以上のプロセッサ、および前記一つ以上のプロセッサによって実行される一つ以上のプログラムを格納するメモリを用いるステップを含み、前記一つ以上のプログラムは、手に対応付けられたセンサ・データを受信する命令と、前記センサ・データ内の手セグメントを特定する命令と、略円形の観測領域を生成する命令と、前記特定された手セグメントの軸に沿って前記観測領域を進める命令と、前記観測領域内の前記手セグメントに対応するデータを計算する命令と、前記観測領域の位置に少なくとも部分的に基づいて三次元指先位置を決定する命令とを含む。

他の実施形態では、三次元指先トラッキング・システムは、フレーム内の少なくとも一つの手セグメントを記録する画像検出コンポーネントと、前記少なくとも一つの手セグメントの指先位置を検出する指先特定コンポーネントと、そして、前記少なくとも一つの手セグメントの分析に基づいて指先の動きをトラッキングする指先トラッキング・コンポーネントとを含む。

さらに別の実施形態では、指先トラッキング・システムは、少なくとも一つの手セグメントの少なくとも一つの画像と、前記画像内の指先位置を検出する指先特定コンポーネントと、指先位置と、音声コマンド、ユーザ位置又はデータベース情報のうちの少なくとも一つとを受信して処理する処理コンポーネントと、前記処理された指先位置及び、音声コマンド、ユーザ位置又はデータベース情報に少なくとも部分的に基づいて出力を提供する出力コンポーネントを含む。

本願で使用する場合、用語「コンポーネント」および「システム」は、コンピュータ関連エンティティ、あるいは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかを指している。例えば、コンポーネントは、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行中のスレッド、プログラム、及び／又はコンピュータであり得るが、これらに限定されない。例えば、サーバ上で実行中のアプリケーションおよびサーバの両方／又はどちらかはコンポーネントであり得る。一つ以上のコンポーネントが実行中の一つのプロセス及び／又はスレッド内に存在することができる。一つのコンポーネントを、一つのコンピュータに局在させ、及び／又は二つ以上のコンピュータ間に分散させることができる。

コンピュータベースの態様に対しては、様々な実装が当業者によって想到されるであろう。いくつかの実施形態では、ディスプレイを含む又はディスプレイと接続された様々な処理及び／又は記憶用の機器が、本明細書の態様と共に使用することができる。例えば、本明細書のいくつかの態様では、少なくとも部分的にコンピュータ化された機能を用いて、手のうちの手セグメント及び、指先の位置及び／又は動きを特定することができる。一つの実施形態では、車両内の「ヘッド・アップ・ディスプレイ（Ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ、ＨＵＤ）」（例えば、運転中に通常の視野内で見ることのできるディスプレイ）には、指先の位置及び／又は動きから得られた動作を反映することができる。代替又は補完的な実施形態では、自動車内におかれた、従来の制御機器や表示機器（例えば、ダッシュ・ボード下のメーターやゲージ、センター・コンソールと結合されたディスプレイ、シフター、操舵装置、スロットル、ナビゲーション・システム、エンターテインメント・システム）に、指先の位置及び／又は動きによってもたらされる変化を反映することができる。

一つの実施形態では、指先の位置及び／又は動きの解析を、音声コマンドやＧＰＳ情報及び／又はデータベース情報の少なくとも一つと組み合わせて出力を生成することができる。一つの実施形態においては、前記システムおよび方法は、情報を、運転方向、世界オブジェクトの認識、及び運転者に有用な他の情報の配信の形で、提供することができる。

本明細書で使用するときには、用語「手セグメント」は、指先の位置特定及び／又はトラッキングを行うことができる画像、フレーム又は視覚内の手や手の部分とする。例えば、カメラ、又は他のセンサの視野内を移動している手は、特に断りのない限り、本明細書における開示の目的および特許請求の範囲に対応する手セグメントである。説明のために、手の指は、同様に、一つ以上の手セグメントとすることができる。

しかし、手セグメントという用語の使用は、人（又は他の動物）の身体全体の他の部分（例えば、目と鼻と口のような頭部の下位部分を含む頭部、胴体、腕（腕と上腕部（肘上の腕）と前腕部（肘下の腕）と手のような腕の一部を含む）、脚（大腿部（膝から上の脚）と膝から下の脚と足部などの脚の一部を含む）を除外すると解釈されるべきではない。本明細書の開示では、人体全体の位置及び／又は運動を検出しトラッキングするために人体全体の動きを分析する実施例又は実施形態をサポートしている。指や指先を特定及び／又は区別するために記載した技術と同じ技術を、手足および人体の他の部分を特定するために使用することができる。

本明細書で使用する際には、用語「世界オブジェクト」は、ほとんどの任意の実在物、又は実在物の一部であり、実在物の例としては、道路、橋、標識、建物、記念碑、車両、事業所、あるいは、その他のほとんど任意の実在物や関心のある地点が含まれるが、これに限定されない。

指先の位置は、ボール・フィット認識技術及び／又は他の技術を用いて特定され、トラッキングすることができる。ボール・フィットによる検知は、概略的には、センサにより検出された物体を認識し特徴的な側面を区別するための、コンピュータ・ビジョンやマシン・ビジョンにおける一連の技術とアルゴリズムを指している。本明細書で説明されている技術は、特に、指先特定とトラッキングの方法を指しているが、他の手段（例えば、局所的極値の特定）を代替的に又は付属的に用いることができる。身体を特定する、又は特定精度を向上するための他の技術としては、様々な処理アルゴリズムの使用を含むことができる。ボール・フィット技術の出力（例えば、指先の位置、指示方向、及び／又は動きに関連するデータ）は、他のシステムに対する入力として使用することができる。例えば、指先位置、指示方向及び／又は動きは、音声コマンド、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報及び／又はデータベース情報の少なくとも一つと組み合わせて出力を生成することができる。

各種の入力、画像、データ、及び／又は情報は、複数のバージョンで、又は以前には未定義のバージョンに関して記述されることがある。当業者であれば、本明細書における画像処理および入力を変形する他の態様全体を通して、変形前からの情報を保持しながらコピーを生成し変形することができることを理解するであろう。本明細書の実施形態は、入力の「前」のバージョンと「後」のバージョン（例えば、元の画像と特定のパラメータを適用した画像、パラメータを適用した画像）の比較およびクロス処理に依拠することができる。明示的に説明されないかぎり、以前のバージョン（又は、明示的に記載されていない、変更版、代替版及び／又は改定版を表す他の用語で表されるもの）は、一つの方法の完了まで又は一つのシステムの利用中は、回復可能であり、使用されていると理解されるべきである。

本明細書に記載の技術が機能する例において、三次元指先トラッキングを実現することができる。撮像手段、例えば、ステレオ・カメラを用いて、認識、位置特定及び／又はトラッキングされるべき指先の少なくとも一つの遠近図を含むビデオ又は一連の静止フレームを撮影することができる。

いくつかの実施形態では、指の画像撮影用に別の代替え手段を用いることができる。例えば、画像フレームの変化に加えて、光や影のような画像フレームの付随的な側面を分析することができる。他の実施形態では、空間での動きを測定するために、電界の変化を検出することができる。

代替的な又は補完的な実施形態では、温度変化又は熱の検知に関する技術を用いることができる。一つ以上の追加の実施形態で、反射エネルギー（例えば、音波や赤外線）を用いて、手セグメントの存在及び／又はある空間を通る動きを検出することができる。一つ以上の実施形態で、空間内での動きを特定するために、振動や圧力の検出を用いることができる。

センサ、又は撮像手段、例えば、ステレオ・カメラ又はデプス・カメラを用いて、認識、位置特定及び／又はトラッキングされるべき指先の、少なくとも一つの遠近図を含むフレームを取得することができる。オブジェクト（例えば、手、手セグメント、又は手セグメントの一部）が空間内で検出されると、指先の特定及び／又はトラッキングを始まることができる。

デプス画像や視差マップ、およびこれらの連続したものは、撮像手段を介して取得した画像フレームから組み立てることができる。手に対応する画像の一部を抽出し、一本の指に対応する手セグメント、又は骨格を認識することができる。骨格は、物体の認識と表現において重要な形状記述手段である。骨格には、単純な形で物体のトポロジーおよび形状に関する本質的な情報が取り込まれる。従来のアルゴリズムは、手セグメントの骨格を認識するために使用することができる。

指先位置特定に関する従来の技術は、単に、認識された手セグメント又は骨格の極値点、例えば、デプス画像での最上位点、最左点、又は最近接点等を選択し、指先として指定する。しかしながら、これらの単純な技術は、少なくとも部分的には、センサ入力がノイズを受けやすいという理由で精度を欠いており、このため、出力におけるジッタの原因となり、結果としてできるデプス画像又はマップでの指の輪郭が滑らかでなくなる。非平滑な画像から極値点を選択し指先として指定すると、結果的に、不正確さの程度が変化し予測不可能になる。本願発明の主題の開示によって、正確で安定しておりかつノイズの影響を受けにくい、正確な指先位置特定とトラッキングのためのシステムおよび方法が提供される。

指先位置を正確に特定しトラッキングするために、ボール・フィット手法を用いることができる。ボール・フィット手法は、デプス画像内にある、手セグメント、又は骨格を認識すること、そして、手セグメントの長さに沿って手セグメントの幅を計算することを含む。半径が手セグメントの平均幅の約半分の、ボール、すなわち略円形の観測領域が生成される。前記ボールは、手セグメントの軸に沿って、手セグメントの先端に向かって連続して動かし、「転がす」、又は進めることができる。ボールが、手セグメントに沿って、転がり、又は移動すると、ボール内に入り、手に対応する画素の数を計数することができる。前記ボールは、ボールすなわち観測領域内の手の画素数がボール内の全画素数の約９０％以下になるまで、手セグメントの端点の方へ進むことができる。前記ボールが停止したときには、ボールの中心点として指先位置を設定することができる。

他の実施形態では、前記ボールは、手セグメントの軸に沿って、手セグメントの先端から手セグメントのつけ根の方向に連続した動作で、転がる、又は進むことができる。ボールが、手セグメントに沿って、転がる、又は移動すると、ボール内に入る画素で、かつ手に対応する画素の数を計数することができる。例えば、前記ボールは、ボールすなわち観測領域内の手に対応する画素の数がボール内の全画素数の約９０％以上になるまで、指先から指のつけ根の方向へ軸に沿って進むことができる。前記ボールが停止したときには、指先位置をボールの中心点として設定することができる。

一つの実施形態では、ボール・フィット技術で特定される指先の位置及び／又は動きを、音声コマンド、ＧＰＳ情報及び／又は他の情報と組み合わせて、出力を生成することができる。例えば、運転者が指差しをして、「この建物は何か？」というような音声コマンドを指先トラッキング・システムに発行することができる。前記システムは、指先位置情報、音声コマンド、ＧＰＳ位置、地図データ及び／又は他の情報を処理して、応答出力を生成することができる。前記出力は、たとえば、音声や視覚的な出力である。本実施例では、システムは、例えば、「公共駐車場、午後４時以降は無料」というような音声出力で応答することができる。他の実施形態では、システムは、経路案内、又は位置や目的地の確認を示す出力を生成することができる。前記システムは、標識情報、ショッピング情報、観光情報、広告、その他の、関心のあるほとんど全ての情報に関する出力を得るために使用することができる。

一つの実施形態によれば、システムは、運転者にリアル・タイムな地域固有の情報へのアクセスおよび運転支援を提供することができる。運転中に、運転者は、ステアリング・ホイールに手をおいたまま、単に関心のある対象の方向を指差すだけで情報にアクセスすることができる。

さらに別の実施形態では、例えば、後の視聴のために、位置データを記録し物体又は出来事の写真、音声及び／又は動画を撮ることによって、ボール・フィット技術によって特定された指先の位置及び／又は動きを三次元ブック・マーキングに利用することができる。例えば、運転者や乗客が物体又は出来事を指し示すと、システムは、前記物体又は出来事に関連した、ＧＰＳ位置データ、音声、ビデオ、静止画、そして、興味のあるほとんどすべての他の情報を記録することができる。三次元ブック・マーキングは、運転者や乗客が他の方法で記録することが困難又は危険な情報を事後参照用に記録するために有用である。

上記の例は、上記開示で知得可能なすべての技術を包括的、余すところなく詳述するために提供するものではなく、本発明の技術的思想を示すものであるが、本明細の他の態様の範囲を制限するように解釈されるべきではない。当業者であれば、様々な代替的、補完的な技術を、本発明の範囲から逸脱することなく、上記に記載の一つ以上の態様に対して類似の効果又は補完的な効果を得るために用いることができると理解するであろう。以降、応用例を、図面との関連で説明する。

図１は、三次元指先トラッキング支援システム１００の一例を示すブロック図である。システム１００は、画像検出コンポーネント１０２と、指先特定コンポーネント１０４と、指先トラッキング・コンポーネント１０６を含む。

画像検出コンポーネント１０２は、少なくとも一つの画像又は他のセンサ・データを受信し人間の手の少なくとも一部を撮像するセンサ（例えば、ステレオ・カメラ、デプス・カメラ、電荷結合素子、相補型金属酸化物半導体アクティブ画素センサ、赤外線及び／又は熱センサ、イメージ増倍管関連のセンサ、その他のイメージセンサ）を含むことができる。一つ以上の実施形態では、画像検出コンポーネント１０２は、他のコンポーネント（例えば、１０４、１０６）の中に組み込んで又は組み合わせて一体化することができる。画像、例えば、手又は手の一部の記録やフレームは、指先位置及び／又は指示方向の三次元特定を支援する処理のために、指先特定コンポーネント１０４に供えることができる。

指先特定コンポーネント１０４には、一つ以上の手セグメントを特定するための様々な認識技術を用いることができる。例えば、手セグメント、及び／又は指が画像検出コンポーネント１０２によって走査されるフレーム又は空間内に存在することがある。指先特定コンポーネント１０４は、手の一部、例えば、手セグメント、指、又は指先を特定するために、ボール・フィット手法又はその他のアルゴリズムを用いることができる。いくつかの実施形態では、指先特定コンポーネント１０４は、撮像した指先の位置の、異なる、又は連続する複数のバージョンを、特定された指先の動きをトラッキング可能な指先トラッキング・コンポーネント１０６に提供することができる。

図２は、三次元指先トラッキングと、少なくとも部分的には指先位置に基づいた出力を支援するシステム２００の一例を示すブロック図である。システム１００は、画像検出コンポーネント２０２と、指先特定コンポーネント２０４と、指先トラッキング・コンポーネント２０６と、処理コンポーネント２０８と、データ・コンポーネント２１０と、出力コンポーネント２１２とを含む。

画像検出コンポーネント２０２と、指先特定コンポーネント２０４、および、指先トラッキング・コンポーネント２０６は、図１と関連付けて上記で説明した、画像検出コンポーネント１０２と、指先特定コンポーネント１０４、および指先トラッキング・コンポーネント１０６と同一又は類似の方法で、三次元指先トラッキングを支援することができる。

処理コンポーネント２０８は、指先トラッキング・コンポーネント２０６から指先トラッキング情報を受信し処理することができる。処理コンポーネント２０８は、また、データ・コンポーネント２１０から、他の形態の他の種類の情報を受け取ることができる。処理コンポーネント２０８は、音声コマンドを受信し処理可能なハードウェア及び／又はソフトウェア、例えば、音声認識や会話認識を実行可能なハードウェア及び／又はソフトウェアを含むことができる。

データ・コンポーネント２１０は、前記処理コンポーネント２０８に、ＧＰＳ情報及び／又はデータベース情報を提供することができる。一つの実施形態では、データ・コンポーネント２１０は、ＧＰＳ位置に関連する情報、地図データ、及び／又は関連する他の情報又は地点を含むことができる。

出力コンポーネント２１２は、前記処理コンポーネント２０８から入力を受け取り、応答時に、音声、映像、又は他の出力２１４を提供することができる。例えば、出力コンポーネント２１２は、経路案内と、位置や目的地の確認、及び世界オブジェクトの認識を含む、一つ又は複数の出力２１４を提供することができる。他の実施形態では、出力コンポーネント２１２は、標識情報、ショッピング情報、観光情報、広告、および関心のある他の情報を示す出力２１４を提供することができる。一つの実施形態では、出力コンポーネント２１２は、車両内のヘッド・アップ・ディスプレイ（ＨＵＤ）上で観察することが可能な、あるいはヘッド・アップ・ディスプレイ（ＨＵＤ）を制御するための出力２１４を提供することができ、又は、他の制御機器や表示器（例えば、ダッシュ・ボード下のメーターやゲージ、センター・コンソールやシフター、操舵装置、スロットル、ナビゲーション・システム、エンターテイメント・システム、等に対応するディスプレイ等）を管理するために使用することができる。

図３は、三次元指先トラッキングのためのボール・フィット手法３００の一例を示すブロック図の例である。３０２において方法３００が起動されると、入力データ受信処理３０４に進む。入力データには、少なくとも一つの手が描かれている、一つ以上の画像、又はセンサ・データが含まれる。３０６において、少なくとも一つの手セグメント、例えば指が特定される。いくつかの実施形態では、手セグメントの骨格を認識することができる。

３０８では、略円形の観測領域、言いかえるとボールを算出することができる。観測領域の半径は、３０６で特定された手セグメントの平均幅に基づいて計算することができる。観測領域は、手セグメントの平均幅の約半分の半径を有するように算出される。

３１０で、観測領域が生成される。観測領域の中心点は、特定された手セグメントの軸に合わせられる。手セグメントの軸は、指の骨格でよい。

３１２で、観測領域、すなわちボールは、手セグメントの軸に沿って手セグメントの先端の方向に、一定距離を転がる、又は進むことができる。

３１４で、観測領域内のデータが計算される。一つの実施形態においては、デプス画像の観測領域内にある手セグメントに対応する画素が計数される。

３１６で、前記の計算したデータが解析される。一つの実施形態では、３１４で算出された観測領域内の手セグメントに対応する画素が、観測領域内の画素の総数と比較される。手セグメントに対応する観測領域内の画素の数が、ボール内の全画素の約９０％より大きい場合、観測領域は、３１２で、手セグメントの先端の方向へ進む。手セグメントに対応付けられた観測領域内の画素の数が、ボール内の全画素の約９０％以下の場合、ボールが停止し、指先の位置を特定することができる。

３１８で、指先の位置を特定することができる。一つの実施形態では、ボールが停止したとき、指先位置は、ボール、すなわち観測領域の中心点として特定することができる。その後、方法３００は３２０の終了処理へ進むことができる。指先位置は、指先の動きをトラッキングするために、連続する画像又はフレーム内で特定することができる。一つの実施形態では、指先位置は、入力として働き、他の情報、データ、システム、および方法と組み合わせて出力を生成することができる。例えば、指先位置情報及び／又はトラッキング情報は、音声コマンド、ＧＰＳ情報及び／又はデータベース情報の少なくとも一つと組み合わされて、出力を生成することができる。さらに別の実施形態においては、前記方法は、経路案内、世界オブジェクトの認識又は関連する他の情報の形で、音声及び／又は視覚情報を提供することができる。

本発明の主題の方法３００の実施例は、人の手との関連で提示されているが、四肢の先端の特定に関連する他の技術は、本明細書の方法３００や他の例の諸側面によって容易に実現できることが理解されよう。

ボール・フィット手法は、指先位置を正確に特定しトラッキングするために使用することができる。ボール・フィット手法には、デプス画像内で、手セグメント、又は骨格を特定すること、そして、手セグメントの長さ方向に沿って手セグメントの幅を計算することを含む。半径が手セグメントの平均幅の約半分である、ボール、すなわち略円形の観測領域を生成する。ボールを、手セグメントの先端に向かって、手セグメントの軸に沿って連続して、転がし、又は進ませることができる。ボールが、手セグメントに沿って、ある距離を転がる又は移動すると、ボール内に入り、かつ手に対応する画素の数を計数する。ボールは、ボールすなわち観測領域内の手の画素の数が、ボール内の総画素数の約９０パーセント以下になるまで、手セグメントの終端に向かって進むことができる。ボールが停止したとき、指先位置がボールの中心として設定されることができる。

図４は、本発明の主題の開示に基づく三次元指先トラッキング・システムの典型的な使用例を示している。一つの実施例では、運転者（あるいは乗員）は、関心のある物体４０４に人差し指４０２を向ける。前記システムは、指先位置および指先の向きを特定して、前記関心のある物体に関連する情報を提供することができる。こうして、運転者は、ステアリング・ホイールに両手をおいたまま、現時点の周囲に関する情報にアクセスすることができる。一つの実施形態では、指先位置データは音声コマンド又は他の入力と組み合わせることができ、そして、前記システムは指先位置および他の入力に基づく出力を提供することができる。

本発明のシステムおよび方法は、リアル・タイムの情報及び／又は運転者支援機能を提供することができる。指先位置、および、ＧＰＳ位置や他の関連データ等の任意の他の入力に応答して、前記システムは、例えば、経路案内情報の提供や、現在位置や道路標識情報の確認を行うことができる。前記システムは、運転者によって指し示された世界オブジェクトに関する情報を提供することができる。一つの実施形態では、システムは、例えば、開店時間、レストランのメニュー、価格、及び／又は感想等のショッピング情報を提供することができる。さらに他の実施形態では、システムは、例えば、関心のある地点に関する情報、歴史的建造物、イベント情報、広告、及び観光のヒント等の観光情報を提供することができる。指先トラッキング・システムおよび方法は、運転者の指先の位置や動きに応答して、静止画像、又は動画を撮影することができる。

図５は、ステアリング・ホイール５０４の後ろにいる運転者５０２が、人差し指５０６で指差しているデプス画像の一例を示す図である。ステレオ・カメラ５０８は、指先トラッキングに用いるために、運転者の手５１０の画像、フレーム、又は連続画像を撮影することができる。一つの実施形態では、カメラ５０８、又は他の撮像機器は、運転者の手が通常ステアリング・ホイールを握る位置から約４０〜８０ｃｍの距離に配置することができる。画像又は連続画像は、少なくとも部分的にはボール・フィット手法に基づいて分析され、指先の正確な三次元位置が特定されトラッキングされる。本明細書では特定の指示方向や組み合わせが記載されているが、本願発明の技術的思想から逸脱することなく他の構成を用いることができることが理解されよう。

図６は、ステアリング・ホイール６０２の後ろにいる運転者が人差し指６０４で指差しているデプス画像の一例を示す図である。センサ入力でのスプリアス・ノイズによって、出力やデプス画像内に非平滑な輪郭６０６が発生する可能性がある。説明のため、手セグメントや指のデプス画像には、一般的には入力機器又は撮像機器のノイズに起因する、非平滑な輪郭６０８を含むことがあるとする。手セグメント又は指のデプス画像は、指の平滑な輪郭６１０を含むことがある。画像が非平滑な輪郭を含む場合、従来の指先認識技術は、不正確になりやすい。例えば、従来の技術では、手セグメントの最も左の端点６１２を指先として特定する可能性があるが、前記の端点はノイズを示している。

図７は、指先位置を精密にトラッキングするためのボール・フィット・システムおよび方法の一例を示す図である。ボール・フィット手法は、デプス画像７０４内にある手セグメント７０２又は骨格を認識することと、手セグメントの長さに沿って手セグメントの幅７０６を算出することを含む。半径が手セグメントの平均幅の約半分である、ボール７０８、つまり略円形の観測領域が設定される。前記ボールは、連続的に動きながら、手セグメントの軸に沿って手セグメントの先端に向かって、転がり、又は進むことができる。一つの実施形態では、ボールがそれに沿って転がる軸線は、特定された手セグメント又は骨格の軸に対応する。手の骨格は、従来のアルゴリズムを用いて認識することができる。手セグメントは一本の指であることがある。

ボールが手セグメントに沿って転がる、又は進むとき、ボール内に入り、かつ手に対応する画素の数を計数することができる。前記ボールは、ボール、すなわち観測領域内の手の画素数がボール内の全画素の約９０％以下になるまで、手セグメントの終点７１０の方向へ進む。ボールが停止するとき、指先位置は、ボール７１２の中心点として設定することができる。

図８は、従来の指先位置検出技術と本発明のシステムおよび方法を用いた指先トラッキングの結果の例の比較を示す図である。本発明のシステムおよび方法は、精密でノイズに強いボール・フィット手法に基づいて、指先位置８０２を特定し、トラッキングすることができる。指先位置検出のための従来の技術では、単純に、デプス画像の中の最上位又は最左端にあるような、認識された手セグメント又は骨格８０６の端点８０４を選択し、指先として指定する。しかしながら、手セグメントのデプス画像は、入力でのノイズに起因する非平滑な輪郭８０８を含むことがありうる。ノイズは、たとえば、物体からの反射、光源からの影、背景照明、および、物体の色パターンによって引き起こされることがある。センサ入力（例えば、撮像機器、カメラ等）はノイズを受けやすく、前記ノイズは、出力におけるジッタ、結果として得られるデプス画像や視差マップ内の非平滑な指の輪郭８０８の原因になる。指先位置検出のための従来技術は、非平滑になっている可能性のある画像から端点を選択して、指先として指定することに基づいているので、不正確さの度合が予測不可能になりやすい。

図９は、本発明の主題の開示における様々な態様を実装可能な、適切なコンピューティング環境の全体図の概略を示しており、図１０は、本発明の主題の開示における様々な態様を実現可能なクライアント−サーバ・コンピューティング環境の概略図を示す。

図９では、本発明の様々な態様を実装するための例示的な環境９００は、コンピュータ９０２を含み、該コンピュータ９０２は、処理ユニット９０４、システム・メモリ９０６およびシステム・バス９０８を含んでいる。システム・バス９０８は、システム・メモリ９０６を含むシステム・コンポーネントを処理ユニット９０４に接続する。システム・コンポーネントはシステム・メモリ９０６には限定されない。処理ユニット９０４は、市販の様々なプロセッサのいずれかでよい。また、デュアル・マイクロプロセッサおよび他のマルチ・プロセッサアーキテクチャを、処理ユニット９０４として用いることができる。

システム・バス９０８は、メモリバスに、さらに、周辺機器用バス、および市販の様々な任意のバス・アーキテクチャを用いるローカル・バスを（メモリ・コントローラの有無にかかわらず）相互接続可能なバス構造のタイプのうち任意のものでよい。システム・メモリ９０６には読み出し専用メモリ（ＲＯＭ）９１０およびランダム・アクセス・メモリ（ＲＡＭ）９１２が含まれる。基本入出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ９１０に格納される。前記ＢＩＯＳには、例えば、スタートアップ中に、コンピュータ９０２内の構成要素間での情報転送を支援する基本ルーチンが含まれている。また、ＲＡＭ９１２は、データ・キャッシング用のスタティックＲＡＭのような高速ＲＡＭを含むことができる。

コンピュータ９０２は、さらに、内蔵ハード・ディスク・ドライブ（ＨＤＤ）９１４（例えば、ＥＩＤＥ、ＳＡＴＡなど）を含む。代替的に又は追加で、外付けハード・ディスク・ドライブ９１５を、外部使用目的で適切なシャーシ（図示せず）に配置することができる。フロッピー（登録商標）・ディスク・ドライブ（ＦＤＤ）９１６（例えば、取り外し可能なフロッピー・ディスク９１８の読み書き用）として記載されている磁気ディスク・ドライブや、光ディスク・ドライブ９２０（例えば、ＣＤ−ＲＯＭディスク９２２の読み取り、又は、ＤＶＤなどの他の大容量光メディアへの読み書き用）も配置することができる。ハード・ディスク・ドライブ９１４、９１５、磁気ディスク・ドライブ９１６、および光ディスク・ドライブ９２０は、それぞれ、ハード・ディスク・ドライブ・インターフェース９２４、磁気ディスク・ドライブ・インターフェース９２６および光ドライブ・インターフェース９２８によってシステム・バス９０８に接続することができる。外付けドライブ実装用のインターフェース９２４には、ユニバーサル・シリアル・バス（ＵＳＢ）、ＩＥＥＥ１３９４インターフェース技術、及び／又は他の外部ドライブ接続技術が含まれる。

ドライブおよび対応するコンピュータ可読媒体は、データ、データ構造、コンピュータ実行可能命令などを格納する不揮発性記憶を提供する。コンピュータ９０２用に、前記ドライブおよび媒体には、適切なデジタル・フォーマットの任意のデータの記憶領域が含まれる。上記のコンピュータ可読媒体の説明では、ＨＤＤ、取り外し可能な磁気ディスケット、およびＣＤ又はＤＶＤなどの取り外し可能な光媒体について言及したが、例えば、ＺＩＰドライブ、磁気カセット、フラッシュ・メモリ・カード、カートリッジ等の、コンピュータで読み取り可能な、他の任意のタイプのメディアも、例示の動作環境において使用することができること、さらに、そのような任意の媒体には、本明細で開示している方法を実行するためのコンピュータ実行可能命令を含むことが、当業者には理解されよう。

オペレーティング・システム９３０、一つ以上のアプリケーション・プログラム９３２、その他のプログラム・モジュール９３４、およびプログラム・データ９３６を含む、数多くのプログラム・モジュールを、前記ドライブおよびシステム・メモリ９０６に格納することができる。前記オペレーティング・システム、アプリケーション、モジュール、及び／又はデータのすべて又は一部は、また、ＲＡＭ９１２にキャッシュすることができる。本発明は、様々な市販のオペレーティング・システム又はオペレーティング・システムの組み合わせで実装できることが理解されよう。

ユーザは、一つ又は複数の有線／無線入力機器、例えば、キーボード９３８やマウス９４０のようなポインティング・デバイスを介してコンピュータ９０２にコマンドおよび情報を入力することができる。他の入力機器（図示せず）には、マイクロフォン、ＩＲリモート・コントローラ、ステレオ・カメラ、センサ、ジョイスティック、ゲーム・パッド、スタイラス・ペン、タッチ・スクリーンなどがある。上記のおよび他の入力機器は、多くの場合、システム・バス９０８に接続された入力機器インターフェース９４２を介して処理ユニット９０４に接続されるが、パラレル・ポート、ＩＥＥＥ１３９４シリアル・ポート、ゲーム・ポート、ＵＳＢポート、ＩＲインターフェースなどのような他のインターフェースによって接続することもできる。

モニタ９４４又は他のタイプの表示機器もまた、ビデオ・アダプタ９４６などのインターフェースを介してシステム・バス９０８に接続される。モニタ９４４に加えて、コンピュータには、通常、スピーカ、プリンタなどの他の出力周辺機器（図示せず）を備える。

コンピュータ９０２は、リモート・コンピュータ９４８として示されている一つ又は複数のリモート・コンピュータへの有線及び／又は無線通信を介した論理的接続を用いるネットワーク環境で動作することができる。リモート・コンピュータ９４８（複数可）は、ワークステーション、サーバ、ルータ、パーソナル・コンピュータ、ポータブル・コンピュータ、マイクロプロセッサ・ベース娯楽機器、ピア機器又は他の共通のネットワーク・ノードであってよい。そして、典型的には、コンピュータ９０２との関連で説明した構成要素の大部分又はすべてを含むが、簡潔にするために、メモリ／記憶装置９５０のみが示されている。前述の論理的接続には、ローカル・エリア・ネットワーク（ＬＡＮ）９５２及び／又はより大きなネットワーク、例えば、ワイド・エリア・ネットワーク（ＷＡＮ）９５４への有線／無線接続がある。このようなＬＡＮおよびＷＡＮのネットワーク環境は、オフィスや企業では一般的であり、例えば、イントラネットなどの企業規模のコンピュータ・ネットワーク構築を容易化する。これらは全て、例えば、インターネットのような地球規模の通信ネットワークに接続することができる。

ＬＡＮネットワーク環境で使用される場合、コンピュータ９０２は、有線及び／又は無線通信ネットワーク・インターフェース又はアダプタ９５６を介してローカル・ネットワーク９５２に接続される。アダプタ９５６は、ＬＡＮ９５２への有線又は無線通信を支援することができる。ＬＡＮ９５２は、無線アダプタ９５６との通信のために配置される無線アクセス・ポイントを備えることができる。

ＷＡＮネットワーク環境で使用する場合、コンピュータ９０２は、モデム９５８を備えるか、ＷＡＮ９５４上の通信サーバに接続されるか、又はインターネットなど、ＷＡＮ９５４上で通信を確立するための他の手段を備えることができる。モデム９５８は、内蔵用又は外付け用どちらでもよく、そして、有線機器又は無線機器のどちらであってもよいが、前述のように、シリアル・ポート・インターフェース９４２を介して、システム・バス９０８に接続される。但し、モデム９５８は、ＵＳＢ接続や、ＰＣＭＣＩＡ接続、又は他の接続プロトコルを介して接続することができることが理解されるべきである。ネットワーク環境では、コンピュータ９０２に関連して示したプログラム・モジュール、又はその一部は、遠隔のメモリ／記憶装置９５０に格納することができる。図示のネットワーク接続は例示であり、コンピュータ間の通信リンクを確立する他の手段を用いることができることを理解されたい。

コンピュータ９０２は、任意の無線機器や、無線通信で操作可能に接続されたもの、例えば、プリンタ、スキャナ、カメラ、デスクトップ及び／又はポータブル・コンピュータ、ポータブル・データ・アシスタント、通信衛星、無線で検出可能なタグと対応付けられた任意の装置や場所（例えば、キオスク、ニュース・スタンド、化粧室）、および電話等と通信動作が可能である。これには、少なくともＷｉ−ＦｉおよびＢｌｕｅｔｏｏｔｈ（登録商標）の無線技術が含まれる。このように、通信は、通常のネットワークと同様に事前に定義された構造、又は単に、少なくとも二つの機器間の一時的な（ａｄｈｏｃ）通信とすることができる。

Ｗｉ−Ｆｉ、あるいはＷｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙは、家庭のソファや、ホテルの部屋のベッド、又は職場の会議室から無線でインターネットへの接続を可能にする。Ｗｉ−Ｆｉは、携帯電話で使用される無線技術と同様の技術であり、例えばコンピュータのような機器が屋内外、基地局の範囲内の任意の場所、とデータを送受信できるようにする。Ｗｉ−Ｆｉネットワークは、ＩＥＥＥ８０２．１１（ａ、ｂ、ｇ、ｎ等）と呼ばれる無線技術を用い、安全で信頼性の高い、高速な無線接続を提供する。Ｗｉ−Ｆｉネットワークを用いて、コンピュータを、相互に、そして、インターネットおよび有線ネットワーク（ＩＥＥＥ８０２．３つまりイーサネット（登録商標）を用いる）に接続することができる。

図１０は、前述の方法の態様を実施するために用いることができる、例示的なコンピューティング環境１０００の概略ブロック図である。前記システム１０００には、一つ又は複数のクライアント（群）１００２が含まれる。クライアント（群）１００２は、ハードウェア及び／又はソフトウェア（例えば、スレッド、プロセス、コンピューティング機器）である。システム１０００は、また、一つ又は複数のサーバ１００４を含む。サーバ１００４も、また、ハードウェア及び／又はソフトウェア（例えば、スレッド、プロセス、コンピューティング機器）である。サーバ（群）１００４には、例えば、本明細書に記載のコンポーネントを用いて変換を実行するスレッドを組み込むことができる。クライアント１００２とサーバ（群）１００４間で可能な通信の一つは、二つ以上のコンピュータ・プロセス間での送信に適合したデータ・パケットの形でありうる。このシステム１０００は、クライアント（群）１００２とサーバ（群）１００４との間の通信を支援するために用いることができる通信フレームワーク１００６を含む。クライアント（群）１００２は、クライアント（群）１００２に局在する情報を格納するために用いることができる、一つ又は複数のクライアント用データ記憶装置（群）１００８に動作可能に接続される。同様に、サーバ（群）１００４は、サーバ群１００４に局在する情報の格納に用いることができる、一つ又は複数のサーバ用データ記憶装置（群）１０１０に動作可能に接続される。

＜試行結果＞

以下の実施例は、単に、三次元指先トラッキングについてさらに説明するために記載されている。本説明例は、指先トラッキングのシステムや方法を何らかのやり方で限定していると解釈されてはならない。

図１１は、本発明の主題のボール・フィット手法を用いて生成された三次元の指先位置データ１１０２と、グランド・トルース１１０４、すなわち指先の実測位置との比較を、四つのグラフで表したものである。各例で、ボール・フィット手法が、実測された指先位置に追従していることがわかる。

図１２は、本発明のボール・フィット手法を用いて収集した、指先位置の三次元の画素データと、従来の指先位置特定技術を用いて収集した指先位置の画素データとの比較を示すグラフである。ボール・フィットによる指先位置の画素データを破線で示し、従来の指先位置特定による画素情報は実線で示している。ボール・フィット手法を用いて収集したデータから生成された軌跡の線は、従来の技術を用いて収集したデータから生成された軌跡の線（偏向や逸脱を数多く示している）よりもはるかに滑らかであることが分かる。ボール・フィット手法によるデータの軌跡の相対的な滑らかさは、本発明の主題のシステムと方法の強力なノイズ耐性に帰することができる。

図１３は、平滑性試験の結果をグラフで表わしている。一つの指先が左から右へ、水平線１３０２、１３０４、１３０６に沿って移動し、指先位置の軌跡がポリラインとして画面上にプロットされている。ボール・フィット手法を用いて生成したポリライン１３０８は、従来の技術を用いて収集したデータの軌跡、すなわち、ポリライン１３１０よりも偏向及び／又は逸脱が少ないことが観察できる。ボール・フィットで得られた軌跡１３０８の相対的な滑らかさは、本発明の主題のシステムおよび方法の強力な耐ノイズ性によるものである。

図１４は、平滑性試験の結果をグラフで示している。この平滑性試験は、指先を自由に動かし、指先位置の軌跡を一連の連続した線分やポリラインとして画面上にプロットすることによって行なわれた。ポリライン１４０２および１４０４の両方とも、同じ入力データ又は撮像データに基づいている。ボール・フィット手法を用いて生成されたポリラインの一部１４０６は、従来の技術を用いて生成された指先位置データのポリラインの一部１４０８よりも偏向及び／又は逸脱が少ないことがわかる。ボール・フィットによる軌跡の相対的な滑らかさは、本発明の主題のシステムおよび方法の強力なノイズ耐性によるものである。

ボール・フィット手法を用いる指先位置特定と、従来の単純な方法を用いる指先位置特定に対する安定性の指標係数を決定するためのテストを実施した。指先位置特定手段の安定性の指標係数を決定するテスト方法は、ディスプレイ上の特定の着色セルを覆うように指を動かすことにより行った。前記セルを指差したままこの指のフレーム・データを収集する間、手は静止したまま保持されている。前記セルを別の位置に移動し、指を新たなセルの位置に移動する。指のフレーム・データはそれぞれの場所で撮像される。前記安定性指標係数は、以下のように算出できる。
ここで、ｐ１〜ｐｉは画素位置であり、ｐ＿ａｖｇはｐｉの平均値であり、そして、Ｎはｐｉの長さである。一つの単純な方法を用いて特定された指先位置の安定性指標係数は、上記の式に従って計算され、２．１３になった。本発明の方法を用いて特定された指先位置の安定性指標係数は、上記の式に従って計算され、１．４０になった。安定性指標係数が小さいほど安定性の増加を示すので、テスト結果からは、空間の特定位置を指差しているときの指先特定は、ボール・フィット手法の方が従来の単純な方法より安定していることが確認できる。

上記で説明したものには、様々な変形例がある。もちろん、様々な変形を説明する目的で、構成要素や方法の、想到し得るあらゆる組み合わせを記載することはできないが、本発明の技術分野の当業者には、多くの別の組合せや置換が可能であることがわかるであろう。したがって、本発明の主題の明細書には、添付の特許請求の範囲の技術的思想および特許請求の範囲内にある、前述の改変や変形および変化例をすべて包含するように意図されている。

本明細書に記載されている本願の発明主題の態様は完全自動化されたシステムに焦点を当てているが、前記態様は、一部自動化された態様や手動の態様を本発明の主題の開示範囲から除外していると解釈されるべきではない。いくつかの実施形態の一部又は全てを手動で実施することは、開示されている本発明の主題の技術的思想に反しない。

特に、上記のコンポーネント、機器、回路、システムなどによって実行される様々な機能に関連して、このようなコンポーネントを説明するために使用される用語（「手段」という呼び方を含む）は、特に明記しない限り、たとえ本明細書で説明された典型的な態様における機能を実行する構造と構造的には同じでなくても、説明しているコンポーネントの特定の機能を実行する任意のコンポーネント（例えば、機能的同等物）に対応するように考慮されている。この点で、上記の様々な態様には、上記様々な方法の動作及び／又はイベントを実行するためのコンピュータ実行可能な命令を格納するコンピュータ可読媒体並びにシステムを含むことを認識されたい。

さらに、いくつかの実装のうちの一つの実装に関連してある特定の特徴が開示されていることがあるが、このような特徴は、他の実装の他の特徴の一つ以上と組み合わせて、与えられた又は特定のアプリケーションのいずれに対しても望ましくかつ有利であるようにすることができる。用語「含む（ｉｎｃｌｕｄｅ、ｉｎｃｌｕｄｉｎｇ）」、およびこれらの変形が、詳細な説明又は特許請求の範囲において使用される限り、これらの用語は、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、「非排他的（ｉｎｃｌｕｓｉｖｅ）」であることを意味している。さらに、用語「又は（ｏｒ）」は、詳細な説明や特許請求の範囲のいずれかで使用される場合は、「非排他的な『又は』」であることを意味する。

上記例示システムを見るかぎり、開示された本願発明の主題に従って実装することのできる方法を、いくつかのフロー図を参照して説明してきた。説明を簡単にするために、上記方法は、一連のブロックとして記載されているが、特許請求されている主題事項は上記ブロックの順序によって限定されないこと、いくつかのブロックは、ここに図示および記載されている順序とは異なる順序で及び／又は他のブロックと同時に発生することができると理解し、解釈されたい。また、本明細書に記載される方法を実施するために、図示されたすべてのブロックを必要としなくてもよい。さらに、本明細書に開示された方法は、コンピュータへの移送、転送を容易にするために、製品に格納することが可能である。製品という用語は、本明細書で使用される場合、任意のコンピュータ可読機器、キャリア、又は媒体からアクセス可能なコンピュータプログラムを含むことを意味している。

１００： 三次元指先トラッキング支援システム
１０２： 画像検出コンポーネント
１０４： 指先特定コンポーネント
１０６： 指先トラッキング・コンポーネント
２００： 三次元指先トラッキング並びに指先位置に基づく出力支援システム
２０２： 画像検出コンポーネント
２０４： 指先特定コンポーネント
２０６： 指先トラッキング・コンポーネント
２０８： 処理コンポーネント
２１０： データ・コンポーネント
２１２： 出力コンポーネント
２１４： 音声、映像等の出力
３００： 三次元指先トラッキングのためのボール・フィット手法
３０２： 開始処理
３０４： 入力データ受信処理
３０６： 手セグメントの特定処理
３０８： 観測領域の算出処理
３１０： 観測領域の設定処理
３１２： 観測領域の前進処理
３１４： 観測領域内データの算出処理
３１６： 観測領域内データの解析処理
３１８： 指先位置の特定処理
３２０： 終了処理
４０２： 人差し指
４０４： 関心のある物体
５０２： 運転者
５０４： ステアリング・ホイール
５０６： 人差し指
５０８： カメラ
５１０： 運転者の手
６０２： ステアリング・ホイール
６０４： 運転者の人差し指
６０６： デプス画像内の非平滑な輪郭
６０８： 非平滑な輪郭
６１０： 指の平滑な輪郭
６１２： 手セグメントの最も左の端点
７０２： 手セグメント
７０４： デプス画像
７０６： 手セグメントの幅
７０８： ボール
８０２： 指先位置
８０４： 端点
８０６： 骨格
８０８： 非平滑な輪郭
９００： 本発明の実装環境
９０２： コンピュータ
９０４： 処理ユニット
９０６： システム・メモリ
９０８： システム・バス
９１０： 読み出し専用メモリ（ＲＯＭ）
９１２： ランダム・アクセス・メモリ（ＲＡＭ）
９１４： ディスク・ドライブ
９１５： 外付けハード・ディスク・ドライブ
９１６： フロッピー・ディスク・ドライブ（ＦＤＤ）
９１８： リムーバブル・フロッピー・ディスク
９２０： 光ディスク・ドライブ
９２２： ＣＤ−ＲＯＭディスク
９２４： ハード・ディスク・ドライブ・インターフェース
９２６： 磁気ディスク・ドライブ・インターフェース
９２８： 光ドライブ・インターフェース
９３０： オペレーティング・システム
９３２： アプリケーション・プログラム
９３４： プログラム・モジュール
９３６： プログラム・データ
９３８： キーボード
９４０： マウス
９４２： 入力機器インターフェース
９４４： モニタ
９４６： ビデオ・アダプタ
９４８： リモート・コンピュータ
１０００： コンピューティング環境
１００２： クライアント
１００４： サーバ
１００６： 通信フレームワーク
１００８： クライアント用データ記憶装置（群）
１０１０： サーバ用データ記憶装置（群）
１１０２： ボール・フィット手法を用いて生成された三次元の指先位置データ
１１０４： グランド・トルース
１３０２、１３０４、１３０６： 水平線
１３０８： ボール・フィット手法を用いて生成したポリライン
１３１０： 従来の技術を用いて生成したポリライン
１４０２： ボール・フィット手法を用いて生成されたポリライン
１４０４： 従来の技術を用いて生成された指先位置のポリライン
１４０６： ボール・フィット手法を用いて生成されたポリラインの一部
１４０８： 従来の技術を用いて生成された指先位置のポリラインの一部

Claims (20)

1. 三次元指先トラッキングのための、コンピュータで実行される方法であって、一つ以上のプロセッサ、及び前記一つ以上のプロセッサによって実行される一つ以上のプログラムを格納するメモリを用いるステップを含み、
   前記一つ以上のプログラムは、
   手に対応するセンサ・データを受信する、
   前記センサ・データ内の手セグメントを特定する、
   略円形の観測領域を生成する、
   前記特定された手セグメントの軸に沿って前記略円形の観測領域の少なくとも一部分を進める、
   前記観測領域内の前記手セグメントに対応づけられたデータを計算する、そして
   前記計算したデータおよび前記観測領域の位置に少なくとも部分的に基づいて三次元指先位置を決定する、命令を含むことを特徴とする、三次元指先トラッキング方法。
2. 前記略円形の観測領域を生成する命令は、
   前記手セグメントの平均幅を計算する、そして
   前記手セグメントの前記計算された平均幅の約半分の半径を有する前記略円形の観測領域を生成する、命令を含むことを特徴とする、請求項１に記載の指先トラッキング方法。
3. 前記手セグメントが前記手に付随する指であることを特徴とする、請求項２に記載の指先トラッキング方法。
4. 前記センサ・データには、デプス・マップに対応付けられたデータを含むことを特徴とする、請求項１に記載の指先トラッキング方法。
5. 前記観測領域内の前記手セグメントに対応付けられたデータを計算する命令は、前記観測領域内の前記手セグメントに対応する画素の割合を計算する命令を含むことを特徴とする、請求項４に記載の指先トラッキング方法。
6. 前記指先位置を決定する命令は、前記観測領域内の前記手セグメントに対応する画素の前記計算された割合が約９０％未満であるときに、前記略円形の観測領域の中心として三次元指先位置を設定する命令を含むことを特徴とする、請求項５に記載の指先トラッキング方法。
7. 前記指先トラッキング方法は、ある間隔で三次元指先位置を特定することに、少なくとも部分的に基づいて指先の動きをトラッキングするステップを、さらに含むことを特徴とする、請求項１に記載の指先トラッキング方法。
8. 前記指先トラッキング方法は、
   ユーザの位置を設定するステップと、
   前記ユーザから音声コマンドを受信するステップと、
   前記ユーザの位置に関する情報を記憶する少なくとも一つのデータベースにアクセスするステップと、
   前記指先位置と、前記音声コマンド、前記ユーザ位置又は前記データベース情報の少なくとも一つとに基づいた応答を出力するステップと、をさらに含むことを特徴とする、請求項１に記載の指先トラッキング方法。
9. 前記応答を出力するステップは、音声応答又は視覚的応答のうちの少なくとも一つを提供するステップを含むことを特徴とする、請求項８に記載の指先トラッキング方法。
10. 前記応答を出力するステップは、前記三次元の指先位置によって特定された世界オブジェクトに関連する情報を提供するステップを含むことを特徴とする、請求項８に記載の指先トラッキング方法。
11. 三次元指先トラッキング・システムであって、
    フレーム内の少なくとも一つの手セグメントを記録する画像検出コンポーネントと、
    前記少なくとも一つの手セグメント内の指先位置を検出する指先特定コンポーネントと、
    前記少なくとも一つの手セグメントの分析に基づいて指先の三次元の動きをトラッキングする指先トラッキング・コンポーネントと、を含むことを特徴とする、三次元指先トラッキング・システム。
12. 前記指先特定コンポーネントは、
    前記フレーム内の手セグメントを特定し、
    略円形の観測領域を生成し、
    前記特定された手セグメントの軸に沿って前記観測領域を進め、
    前記観測領域内の手セグメントに対応するデータを算出し、
    前記観測領域の位置に基づいて指先位置を決定する、ことを特徴とする、請求項１１に記載の指先トラッキング・システム。
13. 前記指先特定コンポーネントは、前記観測領域内の前記手セグメントに対応する画素の割合が前記観測領域内の画素の約９０パーセント未満であることを前記算出されたデータが示すときに、指先位置を前記略円形の観測領域の中心として決定することを特徴とする、請求項１１に記載の指先トラッキング・システム。
14. 前記画像検出コンポーネントは、一連のフレームを撮像するステレオ・カメラを含むことを特徴とする、請求項１１に記載の指先トラッキング・システム。
15. 前記指先トラッキング・コンポーネントは、撮像した一連のフレーム内の指先位置をある間隔で検出することに、少なくとも部分的に基づいて指先の動きをトラッキングすることを特徴とする、請求項１１に記載の指先トラッキング・システム。
16. 前記指先トラッキング・システムは、
    指先位置と、音声コマンド、ユーザの位置、又はデータベース情報のうちの少なくとも一つと、を受信して処理する処理コンポーネントと、
    前記処理された指先位置と、前記音声コマンド、ユーザの位置、又はデータベース情報と、に基づいて出力を提供する出力コンポーネントと、をさらに含むことを特徴とする、請求項１１に記載の指先トラッキング・システム。
17. 前記出力コンポーネントの前記出力は、指先位置によって指定された世界オブジェクトに関連する情報を含むことを特徴とする、請求項１６に記載の指先トラッキング・システム。
18. 指先トラッキング・システムであって
    少なくとも一つの手セグメントの少なくとも一つの画像と、
    前記画像内の指先位置を検出する指先特定コンポーネントと、
    指先位置と、音声コマンド、ユーザの位置又はデータベース情報のうちの少なくとも一つと、を受信して処理する処理コンポーネントと、
    前記処理された指先位置、音声コマンド、ユーザ位置又はデータベース情報に少なくとも部分的に基づいて出力を提供する出力コンポーネントと、を含むことを特徴とする、指先トラッキング・システム。
19. 前記指先特定コンポーネントは、
    前記画像中の手セグメントを特定し、
    略円形の観測領域を生成し、
    前記観測領域内の前記手セグメントに対応するデータを計算し、
    前記観測領域内の前記手セグメントに対応する計算されたデータが約９０パーセント未満になるまで、特定された手セグメントの軸に沿って前記略円形の観測領域を進め、
    前記指先位置を前記略円形の観測領域の中心として決定すること、を特徴とする、請求項１８に記載の指先トラッキング・システム。
20. 前記出力は、指先位置によって特定された世界オブジェクトに関連する情報を含むことを特徴とする、請求項１８に記載の指先トラッキング・システム。