JP2011517584A - 目的物及び動作検出 - Google Patents

Abstract

例えば、人間の手のモーション、位置、若しくは構成は、夫々の時間フレームで複数の送信信号を送信するステップ、複数の受信信号を受信するステップ、送信信号及び受信信号を利用して複数のチャネルインパルス応答を判別するステップ、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップ、及び、モーション、位置、若しくは構成に対応するパターン（２２）に対する上記マトリクスを分析するステップによって、認識され得る。

Description

本発明は、特に、もっとも排他的ではないが、超音波を用いた、一つ若しくはそれ以上の目的物の検出、配置及び／又は追跡に関する。

三角測量若しくは他の幾何学的交差技術と組み合わされた飛行時間測定法を用いて、超音波送信器及び複数の受信器により一つ若しくはそれ以上の目的物を追跡することが可能であることは周知である。大抵の画像技術と同様に、解像度は利用するセンサの数により増加する。特に、一つの目的物からの信号を別の目的物からの信号と分離することができる十分な解像度を与えることには、多数のセンサが要求される。十分な多数のセンサにより、パーソナルコンピュータとの相互作用に対して、手の指などの複数の目的物を追跡することが可能になることが分かる。実際に、例えば、Ａｐｐｌｅによる米国特許出願２００６／０１６１８７１（特許文献１）やＮａｖｉｓｅｎｓｅによる米国特許出願２００７／０１２１０９７（特許文献２）などで、上記のような追跡のための種々の提案が為されている。しかしながら、これら提案のいずれも欠点を有する。特に、多数の目的物を正確に追跡するために多数のセンサを利用すると、相当に高い程度のシステムの複雑性及び著しいコストを生じてしまう。

米国特許出願２００６／０１６１８７１ 米国特許出願２００７／０１２１０９７ ＷＯ２００６／０６７４３６

本発明は、異なるアプローチを採ることを目的とする。

第１の形態から精査して、本発明は、人間の手の動きを認識する方法において、
夫々の時間フレームで複数の送信信号を送信するステップと、
複数の受信信号を受信するステップであって、上記受信信号のうち少なくとも一部は上記手から反射されたものである、ステップと、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定するステップと、
近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
上記手の動きに対応するパターンに対する上記マトリクスを分析するステップと
を含む方法である。

本発明は、人間の手の動作を認識するための装置において、
夫々の時間フレームで複数の送信信号を送信するように構成された送信手段と、
上記手から反射された上記受信信号のうち少なくとも一部にて、複数の受信信号を受信するように構成された受信手段と、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記手の動きに対応するパターンに対する上記マトリクスを分析するように、構成された処理手段と
を含む装置にまで、及ぶ。

本発明は、コンピュータ上で稼動する際、人間の手の動作を認識するように構成されたコンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにおいて、
ソフトウエアが、
夫々の時間フレーム内の複数の送信信号と、複数の受信信号とに対するインプットを有し、
更に、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記手の動きに対応するパターンに対する上記マトリクスを分析するように、構成されたロジックを含む、
コンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにまで、及ぶ。

よって、本発明において、連続の時間フレーム内で手からの反射から生じるインパルス応答に対応するパターンにより手の動作が表されるマトリクスが、構築されることは、当業者には理解され得る。このことにより、本発明の種々の実施形態において、人間の手の動作の認識が可能になり、物理的接触が要求されないコントロールインタフェース、即ち、タッチレスインタフェースで利用することが可能になる。例えば、動作の認識は、指の動作を追跡すること、手全体で為されるジェスチャを探索すること、手の形状、方向若しくは構成の変化を探索すること、又は、これらの組み合わせ、などである。本明細書で開示する多くの形態及び特徴が達成する助けとなる重要な利点は、上述の動作認識は、高画像解像度無しで達成され得るということである。ノイズに対する許容性、及び、より低い解像度から生じる特有の曖昧さは、うまく提供され得る。

本発明の概念は、手により制御される無生物の目的物の動作、又は、人間の手以外の目的物の動作、例えば、別の人間の身体部分の動作、若しくは、動物の体の部分の動作を、認識することを含む。動作以外の、特定の位置、形状、及び構成を認識することも含む。よって、第２の形態から精査して、本発明は、画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定する方法において、
夫々の時間フレームで複数の送信信号を送信するステップと、
複数の受信信号を受信するステップと、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定するステップと、
近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するステップと
を含む方法である。

次に本発明は、画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定する装置において、
夫々の時間フレームで複数の送信信号を送信するように構成された送信手段と、
複数の受信信号を受信するように構成された受信手段と、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するように、構成された処理手段と
を含む装置に、及ぶ。

本発明は同様に、コンピュータ上で稼動する際、画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定するように構成されたコンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにおいて、
ソフトウエアが、
夫々の時間フレームの複数の送信信号と、複数の受信信号とに対するインプットを有し、
更に、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するように、構成されたロジックを含む、
コンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにまで、及ぶ。

本発明の好適な実施形態では、上記方法及びソフトウエアは、コンピュータ、ＰＤＡ、携帯電話、ディスプレイ機器、ＡＶ機器、若しくは音声再生機器などである電子装置を制御するのに利用される。なお、これらは限定的な例示ではない。よって、本発明は、本明細書に開示される方法及びソフトウエアにより制御される電子装置にまで及ぶ。

送信信号の特質は適宜選択され得る。簡単な実施形態では、送信信号は、単一のインパルス若しくはスパイク、即ち、利用可能な帯域幅の制約の範囲内でディラックデルタ関数を概算することを、含むことができる。これは、インパルス応答を計算するのに“生の信号”の処理を殆ど必要としない（純粋なインパルスの理論的ケースでは、計算は要求されない）という意味で利点があるが、意図的な短い送信のために、貧弱なＳ／Ｎ比しか与えない。別の実施形態では、送信信号は、一連の若しくはひとつながりのパルスで構成され得る。このことにより、必要とされる計算を大きく増やすこと無く、単一パルスよりもより良いＳ／Ｎ比を得られる。別の実施形態では、送信信号は、一つ若しくはそれ以上のチャープ、即ち、周波数が増える、若しくは減る信号を含む。これらにより、Ｓ／Ｎ比は良好となり、更にこれらのことは、“生の”受信信号に適用される対応するデチャープ関数を用いてインパルス応答を計算するためには、合理的なものである。

マトリクスは、計算装置のメモリ若しくは他の格納媒体内に記録されるデータを含む論理的構成である。同様に、マトリクスの値を画像内の明るさレベルに対応させて、画像として見ることができる。いずれの表現でも、夫々の時間フレームに対するインパルス応答は、静止の目的物に対する応答が水平ラインにより表されるように、調整される。しかしながら、このことは本質的なことではない。例えば、サンプリングスキーム及びマトリクスは、平方若しくは方形である必要は無い。六角形などの異なる形状であってもよい。概略、マトリクスは、異なる時間のインパルス応答のサンプルから成り、この場合インパルス応答はそれ自身時間の関数である。

出願人は、（実際に画像として表されていても、いなくても）画像として表され得るようにインパルス応答を体系化することにより、画像の強力な分析を利用でき、よって目的物の有用な情報を推測できる。このような分析について以下で説明する際には、インパルス応答画像と称することとする。しかしながら、当業者にとっては当然のことながら、そのような分析は、マトリクスのデータがそのように格納されていてもいなくても、純粋な論理的構成であってもなくても、マトリクスのデータに関して同様に実行され得るものであり、現実の画像若しくは他の表現の生成を要求することに本発明を本質的に限定して、解釈することは本明細書では行なわない。

本明細書にてインパルス応答及びインパルス応答画像を参照する場合、これらの用語は、逆変換や線形スケール変換などの、受信されたインパルス応答の簡素な線形変換を含むと理解されるべきである。以下における、インパルス応答及びインパルス応答画像の用語は、このような均等物を全て含むと解釈されるべきである。

周知のシステムでは、目的物追跡は、反射された信号の連続的なペアを（例えば、それらの位相を比較するなど、）比較することにより、実行される。これは、“生の信号”領域として考慮され得る。しかしながら、出願人は、本発明に従ってインパルス応答画像領域内で追跡を実行することにより、重要な利点が現実のものとなり得ることに気付いた。例えば、多数の小さいパルスを分離する要求、若しくは、“生の信号”領域内で操作する際よりも波形の前縁を見つける要求は、より少ない。本発明の好適な実施形態により、“シーン”の概観が可能になり、更にこのことにより、特定の目的物及びそれらの動作を伴う画像部分の識別について、より質の高い評価をすることが可能になる。このことは、所与の時間に“サーチ”操作を単に行なうのとは異なるものである。

目的物及びそれらの動作に対応するインパルス応答“画像”内のパターンは、通常、複数の連続的時間間隔からのインパルス応答から成るものである。簡単な最大値、最小値、ゼロ位相ポイント若しくはコラムペア位相、又は時間遅延と対照して、本発明に係るパターンを利用することにより、画像の範囲内のより正確且つ信頼性の高い傾向の分析が可能になり、そのことにより今度は、目的物についての信頼性の高い識別、配置及び／又は追跡が可能になる。本発明に係る実施形態では、インパルス応答画像により、マルチフレームモーション評価を行なうことが可能になる。即ち、モーションがフレーム毎から計算され更に可能であればフレームに渡って平均されるに過ぎないのではなく、モーションが将に最初から複数フレームを用いて計算される、というモーション評価である。このことは、“抽出の前に”統合を実施することとして実効的に理解され得るのであり、データが“飛行中に”抽出され続いてフィルタされ、平均され若しくは平滑化される従前の技術とは、基本的に異なる。

しかしながら、このことは、本発明の或る形態では本質的ではない。複数の目的物及び／又は単一の目的物の範囲内の複数のピクセルに対する可能な動作が計算されるモーション評価、即ちマルチピクセル／マルチ候補のモーション評価も、インパルス応答のペア若しくはその倍数に対して計算される場合でも、インパルス応答により可能になる。そのようなモーション評価は、２つ若しくはそれ以上の連続時間から、インパルス応答サンプルを利用し得る。実際には、目的物の表面の異なるポイントは、目的物のサイズ及び方向によって、異なるモーションパターンを有することがある、ということを我々の研究は示した。例えば、受信器／送信器セットアップの直ぐ前で、手を一定の速度で直線に沿って動かしていると、その手の一方の側の反射ポイント若しくは部分的目的物は、手の他方の側のポイント若しくは部分的目的物とは、受信器／送信器セットアップに対して同じ一連の距離を有するわけではない。

それに反して、先行技術の中には、一つのフレームから次のフレームへの信号の位相遅延を計算することに基づくものがある。これは、単一の“平均”位相遅延、若しくは“重心の”位相遅延があることを仮定する。それは、全体として目的物を表すものである。しかしながら、出願人は、追跡される目的物の形状に拠っては、このことは正確な仮定ではないことがあることに気付いた。追跡カーブにおける望まれない作為などの、曖昧さが発生し得、このことにより、特に２Ｄや３Ｄ位置が計算されるとき、目的物の位置の動作について混乱が生じよって不正確な位置となってしまうおそれがある。

それ故に、本発明の少なくともいくつかの実施形態は、インパルス応答画像内の目的物の多数の反射ポイント若しくは部分に対して、動作情報を与え得る。これらのポイントの動作は、インパルス応答マトリクスの一つのコラムから次のコラムへの特に局所的に“明るい”若しくは“暗い”ピクセルの移動に関連する。インパルス応答内のこの“ピクセルの動作”は“光学流れ場”とも形容され得る。

よって、好適な実施形態において、インパルス応答画像は、単一の（事実上、ポイントの）目的物を追跡するための多数フレームを利用し得る、若しくは、有限のサイズの複数目的物、若しくは目的物の複数部分を追跡するための２つ若しくはそれ以上のフレームを利用し得る、又は、これらの組み合わせを利用し得る。

一つの時点にて目的物を実効的に配置しようとし、更に、例えば、位相遅延技術を用いて、次の時点までの配置の変化を探索することで目的物の移動を追跡しようとする、従来技術の追跡アプローチと、このアプローチは対照され得る。位相遅延は、インパルス応答のペアに対して計算され、続いてこれは経時的に平均される。しかしながら、各々のこのペアワイズ比較は、（特にノイズインパルス応答を生じるノイズのバーストがあるならば）ノイズ及びエラーに対して敏感であるので、このプロセスの変化は（ゼロ平均を有する場合であっても）経時的に大きくなる傾向がある。結果は、個々のチャネルに関する追跡飛行時間内のドリフトの傾向の発生であり、このことは、空間における二次元若しくは三次元位置を判別するためにこれらの位置を組み合わせる試みが為される場合に、より厄介な作為となってしまうことがある。このドリフトを訂正するいくつかの方法はあるが、このドリフトを回避し、よってこのような訂正を適用する必要性を除去するにあたり、本発明の実施形態は有用である。

更に、先行技術のアプローチは、フィールド内の別の目的物に接近し過ぎた追跡目的物について、十分には処理することができない。更に、２つの目的物が空間上相互に近接していなくても、２つの目的物が送信器・受信器のペアから相互に同じような飛行距離にあるとき、それらアプローチは十分には処理できない。少なくとも、多数フレームモーション評価を採用する好適な実施形態における本発明は、代わりに複数のエコーインパルス応答を共通して利用することにより、エコー若しくはインパルス応答の、エラーの生じやすい最新式のペアワイズの比較に対して、利点を有する。

好適な実施形態では、パターンは、強度輪郭を含む。この輪郭の微細構造は、送信信号の性質に依存することは明白であり、オーバラップするラインの間の干渉は揺らぎを生じ得るので、これら輪郭は静的ではない。しかしながら、輪郭は、ラインにより近似し得る。これらラインは直線でも曲線でもよく、好適な実施形態では、ライン自身は、複数のラインセグメントにより近似される。

簡易な適用例では、例えば、目的物を示す画像の所定の領域内で十分に突出するラインを探索することにより、本発明の実施形態は存在検出に用いられ得る。ラインの性質、例えば、それらの広がり若しくはパターンは、周囲の目的物と比較して、例えば、目的物のサイズ、形状若しくは反射性などの、特性を判別するのに用いられ得る。概略、画像フィールド内に目的物が存在する場合、インパルス応答画像は、エネルギと明確な方向（例えば、静止目的物に対しては水平であり動く目的物に対しては角度を為すなど、）の両方を伴う特性を含む。一方でノイズはエネルギを有するが、認識される方向を有さない傾向にある。

静止の目的物がインパルス応答画像内で水平ラインとして表されるならば、動く目的物は非水平ラインにより表される。送信器から目的物まで及び受信器に戻るまでの、飛行時間を一定割合で延ばす若しくは縮める動作は、水平に対して角度を持つ直線として表される。一方で、他の動作は曲線により表される。出願人は、これらのラインの分析が目的物の動作を判別するのに利用され得ることを、結果として理解した。更に、目的物の動作の物理的原理から導出される幾つかの簡単なルールを適用することにより、複数の目的物の動きは、所与の瞬間に目的物を区別できる解像度が不十分であっても、追跡することができることを、更に理解した。

目的物がオーバラップしているときであっても、目的物を分離して画像化し得る十分な解像度と通常考えられる程度でなくとも目的物を分離できるキー原理として、目的物の動作を理解できる。このことは、エコー配置のプロセスが線形であるという観察から始まる。一つの目的物からのエコーは別の目的物のエコーの上に重ね合わせされ、全体画像を、シーン内の種々の反射体の動作から始まる“透過的な”インパルス応答画像の和とする。よって、本発明の好適な実施形態は、多数フレーム透過モーション評価を用いる。このことを可視化する簡単な方法は、相互の上に敷かれた透過シート上にプリントされた異なるテキストを考察することである。シートが相互に静止していれば、どのテキストも読むことが困難若しくは不可能である。しかしながら、それらシートが相互に動いていれば、ずっと読むことが容易である。

モーションを用いて、近接離隔する若しくはオーバラップする目的物を分離するという概念は、時間領域でより高い解像度を活用することにより、空間領域で貧弱な解像度を強化することとして、理解され得る。

更なる形態から精査して、本発明は、一つ若しくはそれ以上の他の目的物が存在する画像フィールド内の目的物を追跡する方法において、
エネルギを上記画像フィールド内に送信するステップと、
上記画像フィールドから反射されたエネルギを受信するステップと、
連続する時間間隔で一連のインパルス応答を計算するステップと、
連続動作に対応する上記インパルス応答のサブセットを選択するステップと
を含む方法を与える。本発明は、その方法を実行するように構成された装置にまで及び、上記計算するステップと上記選択するステップとを実行するように構成されたコンピュータソフトウエアプロダクトにまで及ぶ。

送信されるエネルギは、（規則的に、若しくは不規則的に）間欠的であり、例えば、個別のパルス、パルストレーン、チャープ等の形態であり、又は、連続的である。

このことが意味するところは、少なくとも好適な実施形態では、他のケースよりも、本発明により、より少ないセンサで多数の目的物の移動を追跡することができる、ということである。本発明に係る技術により、目的物のオーバラップにも拘らず、必要な完全な画像無しで、実効的にモーションを検出できる。第１の目的物の動作に対応するインパルス応答画像内のパターンは、分離して識別可能であり、インパルス応答画像のサブセット（例えば、ライン）として分離することができる。このことは、合成画像を、独立のモーションに対応する独立の層に実効的に分解することである。もちろん、目的物に対するパターンがオーバラップする場合、上述の画像“サブセット”の一部は、他の目的物のモーションに対する対応する“サブセット”にも属する。

物理的原理の利用の例をインパルス応答画像に適用して、追跡される目的物が手の指であるならば、所定の速度及び／又は加速度以下で、連続的な移動のみを考察することにより、移動についてインテリジェントな評価を為すことができる。これは、インパルス応答画像内のラインの特性に翻訳され得る。ラインは連続であり、しきい値以下の勾配を有し、またしきい値以下の曲率を有することがある。この最後の基準は、最良適合の線形セクションに対する勾配の最大限の変化として、適用され得る。もちろん、一つ以上の送信器受信器のペアを有するシステム内の異なる“チャネル”の各々に対して、異なる勾配及び異なるしきい値が適用され得る。

インパルス応答画像が分析されて目的物のモーションを判別する、多くの方法がある。ある状況では、相対的に大まかな分析が十分であることもある。例えば、システムは、変化の正確な性質、若しくは変化を生じた移動を判別する必要無く、しきい値以上の、インパルス応答における、若しくはその所定の部分における集合的な変化を検出するように、構成されている。このことに関して一つだけ例をとると、所与の期間に渡りインパルス応答が１０％以上変化すれば、それは移動として解釈される、と判別され得る。

より識別性のある分析が要求されるならば、利用可能な多数の様々なアプローチが存在する。例えば、どのセットのフィルタも、又は、線形若しくは非線形変換も、利用可能であり、以下のものを含むがそれらに限定されない。曲線−線形フィルタ、ハフ変換、ランダム変換、ピタウ（ｐｉ−ｔａｕ）変換、及び、フーリエ変換若しくは非整数次フーリエ変換、これらはインパルス応答画像全体若しくはそれらの部分に適用される。別の形態では、上記画像のサブブロックを基本画像ブロックのセットに適合する、若しくは、上記画像のサブブロックを基本画像ブロックのセットにスライドすることにより、突起アプローチは採用され得る。

別の形態では、順応フィルタ、若しくは他の適切な数学的技術が、２つ若しくはそれ以上の目的物のモーションに対応する２つ若しくはそれ以上の層を“分解する”ために、適用され得る。

更に別の形態では、画像は、関数データ分析を用いて表され得る。更に別の形態では、インパルス応答コラムのシフト及び移動平均を含む、フーリエ変換領域、非整数次フーリエ変換領域、若しくは時間領域で、フィルタが実現され得る。ある実施形態では、アップサンプリング、ダウンサンプリング、若しくはリサンプリングにより、インパルス応答画像が変換され得る。ある実施形態では、インパルス応答領域にコンボリューションする前に、受信した信号（即ち、“生の”信号領域）に、フィルタが適用され得る。

複数のそのような分析は単一のインパルス応答画像に対して組み合わせ可能であり、例えば、一つ若しくはそれ以上のフィルタがインパルス応答画像に適用される。結果としてフィルタされた画像は、ウエーブレット変換により変換される。一つ若しくはそれ以上の更なるフィルタが変換された画像に適用される。逆変換が適用される。そして一つ若しくはそれ以上の更なるフィルタがインパルス応答画像領域に適用される。

しかしながら、目的物の静止状態及びモーションは、インパルス応答画像から、より速やかに明白であるから、例えば、計算の簡素性の意味で、（変換された領域内ではなく）インパルス応答画像内で或る分析を行なうことは、有利である、ということを、出願人は理解した。

方法の好適な実施形態の一つの設定は、一つ若しくはそれ以上のラインフィルタを画像に適用することを含む。ラインフィルタは、画像の残部に対して所与のライン上に配置する画像の部分を強化するアルゴリズムである。これは、それら部分の元の強度からそれら部分を強化すること、他の部分の強度を減少すること、若しくはその二つを組み合わせることにより、達成され得る。ラインフィルタの更なる利点は、マトリクス内に“悪いコラム”を発生させ、従来の飛行時間追跡システムを混乱させるような、チャネルノイズのスプリアスの、一時的バーストの効果を減少するのに、効果的であることである。

実施形態の好適な設定では、直線フィルタが採用される。これらは、比較的簡単な計算を与えるという利点を有するが、にもかかわらず、万一必要であれば順次の曲線適合を介して非線形モーションを概算するのに利用され得る。例えば、特定の動きのみを探索するシステムのために、単一のフィルタを利用することができるが、複数の異なるフィルタが適用されるのが好ましい。個々のフィルタにより鉄製される結果は、比較されて“勝利者”、即ち、所与の領域全体で若しくは所与の領域の範囲内で、最も強い結果を与えるものを、判別できる。しきい値結果の強度は適用され、例えば、対象の目的物が存在しない場合に誤り整合を回避できる。

ラインフィルタマスクは、その端部にてロールオフを伴って構成され、即ち、シャープな境界ではなく、ラインに垂直な方向（即ち、水平ラインであれば上と下）と、ラインの端部から離れる方向の両方で、ラインの中心から離れて差異エンハンスメントの減少があるのが望ましい。

合計や平均を含む、簡単なラインフィルタは、画像への線形操作として理解され得る。しかしながら、合計や平均に先立って、ノイズピクセルが他のピクセルと汚すことを回避するために、ノイズの可能性の高いコラム、ロー若しくはピクセルを除去する適応異常値フィルタを備えることによりパフォーマンスを向上するなどの、フィルタに対する簡素な若しくは複雑な非線形の改良を、想定することができる。

更に若しくは一方で、エッジフィルタが利用される。線形バンドの厚さの範囲内のどこでも整合する、ラインフィルタとは対照的に、エッジフィルタはそのバンドの２つの境界の一つ若しくは両方にのみ整合する。よって、エッジフィルタは、概略、高い大きさの領域と低い大きさ（例えば、ゼロ近く）の領域（インパルス応答の絶対値の大きさ）の近傍を要求する。エッジフィルタは水平でもよいが、所定の角度があるのが好ましい。所定のタイプのモーションの早期の判別で、通常有用である。インパルス応答画像の範囲内のラインのエッジのみに強く整合するからである。これは目的物の前面若しくは背面の検出に対応しうるのであり、例えば、人間の指を位置付けるのに有効に用いられ得る。

更に若しくは一方で、フィルタマスクのコラムは送信信号の帯域幅を表すシンク信号でコンボルーションされ得る。このことにより、近傍のラインからの情報が組み合わされ、これにより、より可視的なラインが抽出される。

更に若しくは一方で、目的物のモーションの位相、方向、及び振幅の両方を捕らえる複素フィルタも利用され得る。

ある状況では、フィルタマスクがインパルス応答画像内の複数のラインを組み合わせて、より少ないライン、例えば、単一のラインを与えることもできる。例えば、対象の目的物が、強い反射体、例えば、コンピュータスクリーン近くで動いているならば、インパルス応答画像は、目的物から直接反射する信号と、夫々スクリーンも介して反射した信号とに対応する、類似のラインを含む。

ある利用例では大量の計算資源を要求する２次元フィルタマスクを計算することは、必ずしも必要ではなく、例えば、別のものが、ローリング平均、有限インパルス応答フィルタ、若しくはサブバンドコーディングラフィックに基づくフィルタを利用する、ということを、出願人は更に理解した。当然のことながら、そのようなフィルタが、二つ若しくはそれ以上の連続的なインパルス応答からの情報に作用し得る。

更に、直線フィルタを利用することは本質的ではない。例えば、特定の曲線に対応するフィルタ、即ち、曲線−線形フィルタが、代わりに若しくは加えて、適用され得る。更に別途、特に、複数の移動する目的物のケースで、例えば、ジェスチャ認識で、特定の動作を探索するために、より複雑なマスクが用いられてもよい。このことの例は、往復する目的物の動作、例えば、手を振ること、を検出する正弦関数フィルタである。

しかしながら、比較的複雑な形状のマスクを用いる代わりに、インパルス応答画像内のパターンは、簡単なフィルタがインパルス応答に適合する順番を記録することにより、判別され得る、ということを出願人は理解した。このことにより、ジェスチャなどの、特定タイプの動作が、ジェスチャに関する特定の位置、方向若しくは速度に拘らず、インパルス応答画像内の対応するパターンにより、検出され得る。よって、好適な実施形態の設定は、インパルス応答画像の夫々の部分に適合するフィルタのシーケンスを記録するステップ、及び、上記シーケンスを一つ若しくはそれ以上の所定のシーケンスと比較して、例えば、特定のジェスチャに対応する、インパルス応答内の特徴パターンを識別するステップを、含む。所定のシーケンスは、特定の所定のフィルタを含み得るが、正しいセットからのフィルタがシーケンスを満足し得るフィルタのセットのシーケンスを含んでもよい。

一つの例では、水平フィルタが続き、更には下方スロープフィルタが続く、上方スロープフィルタを含む所与の一連のフィルタにより、正のフィルタが適合するならば、振動などの通常のモーションが推測され得る。この技術は、例えば、振り若しくは招きジェスチャの、リズミカルな小刻みな動きである、一つ若しくはそれ以上の人間の指を検出するのに、利用され得る。そのような特定のジェスチャを検出して、接続された電子システムはジェスチャに対応する特定の作用を行なうことができる。適合したものから比較的簡単なフィルタのシーケンスを識別するこのアプローチは、正弦関数ラインフィルタなどの、一つの複雑なフィルタを適用するよりも、通常、計算上廉価である。特に、曲線を追跡することのみに必要であるラインフィルタを適用することに加えて、このことが為される場合は、そうである。例えば、正弦関数ラインフィルタは、トレース内の変動の周波数の狭い範囲にのみ整合するので、より多用途でもある。このアプローチは、ラインフィルタ、エッジフィルタ、目的物に関する方向の情報を捕らえる他のフィルタ、又はこれらの一部若しくは全ての組み合わせによって、適用され得る。

概略、フィルタマスクの形状は、様々に変化し得る。例えば、特定のラインを強化することに加えて、又は、その代わりに、例えば、対象でない、ノイズ、干渉、若しくは移動に関する周知の、若しくは予め識別されたソースに対応する、インパルス応答画像の特定領域を抑圧する、若しくはより強く抑圧するのに、用いられ得る。

その最も簡単な実施形態では、本発明は、単一の送信器及び単一のセンサ／受信器のみを用いる単一の若しくは多数の本体の存在若しくは動作に関する有用な情報を与えるのに、用いられ得る。しかしながら、複数の送信器及び／又は複数の受信器が設けられてもよい。

本発明のある実施形態は、単一の送信器及び受信器のペアのみを利用し得る。これらは、物理的に独立したトランスデューサであるか、若しくは、単一の及び／又はトランスデューサにより与えられる。しかしながら、少なくとも或る実施形態では、複数の受信器が与えられる。インパルス応答画像が個々のセンサに対して構築されるのが、好ましい。一つ若しくはそれ以上の“勝ち”ラインは、これら画像の各々から判別可能であり、何らかの方法で組み合わされたラインは２Ｄ若しくは３Ｄ空間で全体ラインを与える。しかしながら、個々の特定のセンサチャネルに対する共通速度の推測から適合されるフィルタ、例えば、ラインフィルタが、適用される。言い換えれば、システムは、前の軌道及び物理的ルールと一致する目的物に対する速度を推測し、個々のセンサチャネルに対するライン（若しくは他の）フィルタのセットに、この速度の推測を変換するのが、好ましい。個々のセンサチャネルは、所与の軌道に対して異なるフィルタを要求する。目的物に対するセンサの様々な位置に依存して、インパルス応答画像の一つのコラムと次のコラムの間に、夫々が、僅かに異なる変化を与えるためである。

少なくとも或る好適な実施形態では、複数の送信器が利用される。好適な実施形態の一つのうちの設定では、個々のセンサに対する送信信号に対して、異なる遅延が加えられる。他のセンサに対する位置に依存する、個々のセンサに対する適切な時間遅延により、例えば、全方向性送信信号でも、送信信号の狭い“ビーム”を共通して送信でき、よってビームの経路の目的物のみが検出され若しくは追跡される。このことは、モバイルのバッテリ電源デバイスの場合に重要である、全体より少ない送信器パワーが用いられ得ることにつき利点がある。このことの理由は、ビーム形成はより大きい選択性をもたらし、そのため、所与の最小限Ｓ／Ｎ比を達成するのに全体より少ないパワーが要求されるに過ぎないことである。

同様の概念が、複数のセンサに適用され得る。よって、複数のセンサを含む好適な実施形態では、人為的な遅延が、少なくとも一部のセンサのインパルス応答に加えられ、よってシステムは、センサの位置及び夫々の時間遅延により規定される対応するビームの範囲内から発するエコーにのみ、感受性が有ることになる。ビームの方向は、適用される遅延のパターンを変化することにより、勿論整合的に変化し得る。その集束の属性は、適切な重みを適用することによっても変わり得る。ビームの方向は、追跡される目的物の予測されたモーションに基づいて、決定されるのが好ましい。前述のように、そのような予測は、前の軌道と、動作の連続性及び最大限の加速度に基づく簡単な物理法則とに、基づく。多数の送信器の場合のように、そのようなビーム形成により、対象でない方向から生じる信号を効果的に抑圧でき、よって、対象の目的物のより正確な追跡が可能になる。

例えば、比較的低い解像度で十分であるような、実施形態では、本発明に係る送信信号は、非送信の期間が散在された離散インパルスを含み得る。例えば、より大きい解像度が要求される、他の実施形態では、連続送信が利用される。これは、時間スロットの期間も、別の期間も、その多数を規則正しく繰り返す。当然ながら、連続送信が用いられる場合、時間スロットは、送信される物理信号に関係なく、純粋に理論的に構築され得る。このような場合、“時間スロット”は、インパルス応答画像が構築されるとき、インパルス応答を特定のサンプリング間隔に関連付けるラベルに過ぎない。

インパルス応答は、適切な技術を用いて計算され得る。例えば、離散パルスが送信されるならば、信号が周知の技術により分離され得る限りにおいてのみ、エコーが干渉しない若しくは干渉する、十分な時間がパルス間に存在することがある。パルスがより近接した上で離隔する場合、若しくは連続送信が用いられる場合、ＷＯ２００６／０６７４３６（特許文献３）で開示される相互相関若しくは連続反転技術などの、他の方法が利用され得る。

マルチフレーム若しくはマルチポイントで利用するためのインパルス応答画像の利用により、モーション評価は、それ自体で新規性及び進歩性があると考えられ、よって、更なる形態から精査すると、本発明は、画像フィールド内の一つ若しくはそれ以上の目的物の動作を判別する方法において、
連続の若しくは非連続の送信信号を送信するステップと、
複数の受信信号を受信するステップと、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別するステップと、
夫々の時間間隔に対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するステップと
を含む方法を、提供する。

本発明は、画像フィールド内で一つ若しくはそれ以上の目的物の動作を判別する装置において、
連続の若しくは非連続の送信信号を送信するように構成された送信手段と、
複数の受信信号を受信するように構成された受信手段と、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するように、構成された処理手段と
を含む装置にまで、及ぶ。

本発明は、コンピュータ上で稼動する際、画像フィールド内で一つ若しくはそれ以上の目的物の動作を判別するように構成されたコンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにおいて、
ソフトウエアは、
連続の若しくは非連続の送信信号と複数の受信信号とに対するインプットを有し、
更に、
上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するように、構成されたロジックを含む、
コンピュータソフトウエア、及びそれを坦持するキャリアにまで、及ぶ。

本発明の全ての前述の形態によると、インパルス応答情報は、既に説明したように、時間領域でのみ分析され得る。しかしながら、更に若しくは一方で、本発明の或る実施形態では、インパルス応答は周波数領域で分析される。このことは、インパルス応答の少なくともいくつかに関して、フーリエ変換、好ましくは高速フーリエ変換を実施することにより、達成される。出願人は、このような周波数領域分析から更なる情報が得られることを理解した。例えば、目的物の回転運動と並進運動との間で区別をすることができる。回転運動は振幅スペクトラムのゼロポイント内に（相殺的干渉に起因する）シフトを生じるのに対し、並進運動はそうではないからである。よって、好適な実施形態は、周波数領域での振幅スペクトラクを分析することを含む。

更に、絶対エネルギレベルは送信器／受信器への距離に依存するのであるが、並進運動する単一の目的物に対して周波数スペクトラムの形状（個々の周波数の相対的量）は一定のままであることが、分かった。しかしながら、多数の目的物が運動していれば、周波数スペクトラムの形状は経時的に変化する。この情報は、例えば、より正確に若しくは効果的に時間領域内で運動をいかに分析するかを決定するのに利用され得る。このように周波数スペクトラムでの経時的な変化が判別される。

画像フィールドの目的物が、観察の時間ウインドウの間にサイズ若しくは形状において変わるならば、その周波数スペクトラムは変化する。例えば、サイズの変化は、周波数におけるシフトを生じる。このことは、例えば、個々の指の位置を詳細に追跡すること無く、閉じた構成から開いた構成へ手が開くことを検出するための、簡素なアルゴリズムで利用され得る。

目的物がその形状を変化するならば、インパルス応答画像の対応する部分におけるその対応する周波数表現も変化する。フーリエ変換を利用する周波数情報の応用例は、目的物はその形状を変えつつあるもしくはその形状を変えていた、ということを、単に検出し得るということである。親指を突き出す若しくは引っ込めるなど、目的物がその形状を変化するならば、このことは、インパルス応答の対応する部分の周波数スペクトラム及び位相を変化させる。次にこのことは、コンピュータが特定の作用を行なうコマンドとして、例えば、マウスクリックとして作用を取り扱うコマンドとして、捉えられ得る。このことは、インパルス応答の変化のしきい値レベルが検出される、若しくは適切なフィルタを用いて“ヒット”のシーケンスが検出される、時間領域での、前述の分析の周波数領域のコロラリである。

時間領域の分析と概略同様に、目的物のサイズ、形状若しくは絶対位置を知ること無く、周波数領域の分析を利用して、特定タイプのモーションを識別すること、及び／又は、目的物を追跡することが、可能である。このことは、ポイント毎の“決定性”の追跡アプローチとは対照的に、“確率的”追跡アプローチとして。理解され得る。

周波数領域の分析は、それ自体で新規性及び進歩性を有すると考えられ、よって別の形態から精査すると、本発明は、目的物の所定の動作を識別する方法において、
送信信号を送信するステップと、
第１の時間間隔の間に第１の受信信号を受信するステップと、
上記第１の受信信号の第１の周波数構成を判別するステップと、
第２の時間間隔の間に第２の受信信号を受信するステップと、
上記第２の受信信号の第２の周波数構成を判別するステップと、
上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するステップと
を含む方法を、提供する。

本発明は、目的物の所定の動作を識別する装置において、
送信信号を送信するように構成された送信手段と、
第１の時間間隔の間に第１の受信信号を受信し、第２の時間間隔の間に第２の受信信号を受信するように構成された受信手段と、
上記第１の受信信号の第１の周波数構成を判別し、上記第２の受信信号の第２の周波数構成を判別し、更に、上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するように、構成された処理手段と
を含む装置にまで、及ぶ。

本発明は更に、コンピュータ上で稼動する際、目的物の所定の動作を識別するように構成されたコンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにおいて、
ソフトウエアは、
第１の時間間隔の間の第１の受信信号と、第２の時間間隔の間の第２の受信信号とに対するインプットを有し、
更に、
上記第１の受信信号の第１の周波数構成を判別し、上記第２の受信信号の第２の周波数構成を判別し、更に、上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するように、構成されたロジックを含む
コンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにまで、及ぶ。

上記の概念は、共通して収集され分析される、多数の信号若しくは多数のインパルス応答を対象にするように拡張され得る。時間領域で、インパルス信号の周波数領域表現が例えば、マトリクスで調整されるので、本明細書に記載の分析技術が利用可能であり、例えば、ラインフィルタが、スペクトラムパターンでの最小値若しくは最大値のモーションを抽出するのに利用され得る。

部分フーリエ領域やウエーブレット領域などの、時間と空間の間の他の中間領域も、分析のために利用され得る。それら中間領域により、目的物のモーションの時間若しくは周波数局面に関する更なる情報が与えられ得る。よって、更なる形態から、本発明は、目的物の所定の動作を識別する方法において、
送信信号を送信するステップと、
第１の時間間隔の間に第１の受信信号を受信し、第２の時間間隔の間に第２の受信信号を受信するステップと、
上記第１の受信信号を所定の領域に変換するステップと、
上記第２の受信信号を上記所定の領域に変換するステップと、
上記領域の範囲内で上記第１の信号と上記第２の信号の間に所定の差異が存在するかどうか判別するステップと
を含む方法を、提供する。

本発明は、上記の方法を実行するように構成された装置、並びに、上記の変換するステップと判別するステップを実行するように構成された、コンピュータソフトウエアプロダクト、及び、それを坦持するキャリアにまで、及ぶ。

領域は、前述のように周波数領域であればよいが、一方で、部分フーリエ領域、ウエーブレット領域、若しくは他のどんな適切な領域であってもよい。

好適な実施形態の設定では本明細書に記載の方法は、人間の手のモーション若しくはその一部を追跡するのに利用される。これは、視覚ディスプレイを伴う装置を含むがそれに限定されない電子装置を制御するのに、用いられるのが好ましい。ここで、視覚ディスプレイを伴う装置は、計算装置、モバイル装置、携帯電話、ＰＤＡ、ラップトップコンピュータ、デスクトップコンピュータ、テレビジョン、ミュージックシステム、又は、これら若しくは他の機能に組み合わせを実行する固定式の若しくは携帯式の装置などである。ユーザの指の運動を追跡して、計算装置上のカーソル、若しくは、グラフィックユーザインタフェース（ＧＵＩ）を伴う他の装置を制御することは、一つの特定の、非限定の例示である。

特に好適な実施形態の一つの設定では、本発明に係る方法は、手のジェスチャを識別するステップを含む。これらジェスチャに対する多数の可能性がある。それらの例を少し以下に示す。しかしながら、本発明の実施形態によって達成し得る原理及び利点が有用に若しくは可能にする、可能な代替策が多数あることは、当業者には明白であろう。

一つの例では、システムは、一緒に若しくは離れて（即ち、集まって、若しくは分離して）動く２本の指を検出するように構成される。もちろん、機能の制御に対する特定のジェスチャのマッピングは、特定例に従って決定され得る。しかしながら、このジェスチャは、例えば、スクリーン目的物が夫々ズームアウト若しくはズームインされるべきことを示すのに利用され得る。好適な実施形態では、前述のジェスチャは、インパルス応答画像の夫々の半分若しくは一部にて、異なる方向の運動から識別される。当然のことながら、本発明のこの実施形態により、この識別が実行され得る。インパルス応答画像により、未分析レベルの空間分解能によるモーション識別が可能になるからである。更に、手の指のどれも、正確な位置を決定する必要が無い。その代わりに、（正確な“決定性の追跡”と対照的な）“確率的追跡”アプローチを利用して、相対的に分離するのか集まるのか、決定される必要がある。例えば、指先の運動に対応しやすい高反射エネルギの領域を識別することにより、画像の或るプレフィルタリングが利用され得る。

実施形態の設定では、目的物の形状の変化が、時間領域内で検出される。或る実施形態では、このことは、インパルス応答内の所定の変形をモニタすることにより、達成される。所与の時間フレーム内のインパルス応答の個別の部分が、近接するタイムフレーム内で逸脱するときに、変形が発生する。このことは、一つの時間フレームからのインパルス応答が、時間方向での単純なシフトにより、次の時間フレームからのインパルス応答に、整合できないことを意味する。インパルス応答画像で見ると、これは、発散する若しくは集束する個別のラインとして表れる。それに反して、形状を変化しない動作中の目的物を表すラインは、ライン間の一定の分離を維持する。この技術は強力である。目的物の個別の部分が追跡されて相対的運動が計算される決定性アプローチに依存するのではなく、位置、方向、若しくは開始時の形状にかかわらず、（拡張や収縮を含む）形状の一般的変化が検出され得るからである。このことにより、決定性の指追跡に必要な計算器資源を要求すること無く、ジェスチャを検出することが有用となる。

手の構成を検出できることが利用される別の方法が、運動がいつ追跡されるのかいつ追跡されないのか、判別するのに利用される。システムが意図的なコマンドのみに応答すること、及び感度のゼロ近くの故意でない運動には応答しないことを、保証するタッチレスコントロールシステムに関する一般的な問題がある。このことに関して複数の方法が提案されてきた。その一つは、感度ゾーンの境界の存在に関するユーザに対する物理的構造若しくは表示を利用し、ゾーンに外部で検出される運動を無視することである。別のアプローチは、そのようなゾーンを“仮想的に”即ち、輪郭を書く物理的構造無しに設けるが、ゾーン内部で運動が検出された場合或る種のフィードバックを与える、というものである。しかしながら、本発明の想定される実施形態により、手の構成は、運動若しくはジェスチャがシステムにより解釈され得るかどうか判別するのに、用いられ得る。一つの非限定的な例であるが、後者の構成において追跡され若しくは解釈される手による、ジェスチャ若しくは運動のみによって、開いた手と、一本の突き出された指を伴う閉じた手との間を、区別するように、システムは構成され得る。そのような概念は、ユーザフレンドリ性が高く、故意でない運動の解釈の機会を大きく減らす。

更なる形態から精査すると、本発明は、第１の構成内の手の運動に応答するが、手が第２の構成内に有るとき手の運動を無視するように、構成された、タッチレスコントロールシステムを、設ける。

別の例では、手の回転が検出される。このことは、例えば、コンピュータゲームで利用され得る。インパルス応答画像は、この例では多くのオーバラップするラインを含むことがあるが、にもかかわらず、好適な実施形態によると、例えば、適切に設計されたフィルタによって、及び／又は周波数領域分析を用いて、そのような運動は区別され得る。

別の例では、親指の運動が検出される。このことは、例えば、コンピュータマウスボタンのクリックをエミュレートするのに用いられ得る。インパルス応答画像では、そのような運動は、（手の残部に対応する）グループの残部と対照して、（親指に対応する）複数ラインの間の差分勾配として示される。このことは、目的物の形状の変化を判別するためにインパルス応答内の所与の変形が検出される上述の特徴の例である。十分な大きさを有する、言い換えれば、ポイント目的物として近似できない、目的物の運動を追跡若しくは検出するのに、本発明に係る方法が用いられ得る、ということを示す。

より一般的に、コンピュータインタフェースで、マウスクリックと均等なものなどの作用を促進するために親指のモーションを用いることは、人差し指のタッピングを用いる前述の案に対して、優位性がある、ということを、出願人は理解した。タッピングの間の人差指の動作は、検出された指の横位置における意図しない動作を生じることがあり、意図した作用が実行されないことを意味する、対応する、カーソルの意図しない動作の原因となることがある。このことは、ユーザにとって非常にフラストレーションが増し得ることである。

更なる形態から精査して、本発明は、デバイスを制御する装置において、上記デバイスの第１の作用を制御するための第１の指の動作を検出する手段と、上記デバイスの第２の作用を制御するための、上記第１の指に対する第２の指の動作を検出する手段とを含む装置を、提供する。

上記第１の作用は、複数の別途の位置間で選択器を動かすことを含む。これは、例えば、カーソル若しくはメニュであってもよい。上記第２の作用は、上記選択器の位置に対応する作用を含む。

第１の指は人差し指であってもよい。第２の指は親指であってもよい。人差し指は、移動やポインティングに自然に利用され、親指は、“クリック”作用で、他の指とは独立して、容易に且つ自然に動作し得ることが、見出されている。手が表面上に有るときに、このことは特に自然である。好適な実施形態では、第１の指が静止している場合のみ、上記第２の作用が実施される。

第１の指に対する第２の指の動作を検出する手段は、相対モーションを検出するための確率的アプローチを用いることができることが、わかる。第１と第２の指の絶対位置を独立して判別しこれらを比較することにより、相対的モーションを検出しないのが好ましい、ということを意味する。

概略、本発明の好適な実施形態によって、並進、若しくは回転、又は目的物の異なる部分間の相対的動作などの、或るタイプの動作が、目的物の正確な形状やサイズを知ること若しくは計測すること無く、検出され得る、ということを、前述は示す。このことは、明確な計算上の利点があるが、広汎な範囲の目的物が、最小限の“学習”で、若しくは“学習”が無くても、認識され得ることを意味する。

上述のように、インパルス応答画像を構築しこれらのライン及び謙譲を分析する技術は、本発明の好適な実施形態において、重要な利点を生じるものである。しかしながら、そのような分析を実行するのに利用されるキー原理の一つは、つまり、オーバラップした若しくは未分解の目的物を分解するため物理法則に従うモーションを利用することは、別の状況でも適用され得る。例えば、画像システムでは、“未分解の”若しくはオーバラップした目的物は、識別されること若しくは追跡されることが可能である。インパルス応答画像ではないシステムが必然的に構築される場合、（例えば、多数のセンサからの）複数のチャネルに渡るインパルス応答は、組み合わされて、個々の時間間隔において、目的物の位置の２次元若しくは３次元画像を、又は、シーン内の全ての反射ポイントの反射性の２次元の若しくは３次元のマップを、生成し得る。これに関連して利用されるが好適な実施形態ではディレイアンドサム画像が利用される、複数のビーム形成若しくは画像の技術が存在する。

そのような画像の変化は、前述のモーション分離技術を用いて、経時的に分析され得る。言い換えれば、それら技術がインパルス応答画像に適用可能であるように、目的物の物理的位置のマップに適用可能である。

更なる形態から精査すると、本発明は、目的物を識別する若しくは追跡する方法において、
継続的に若しくは連続的に送信信号を送信するステップと、
複数の時間間隔にて、センサで上記目的物から反射された信号を受信するステップと、
上記複数の時間間隔からの受信信号に基づいて画像を構築するステップと、
上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するステップと
を含む方法を、提供する。

本発明は、目的物を識別する若しくは追跡する装置において、
継続的に若しくは連続的に送信信号を送信する手段と、
複数の時間間隔にて、センサで上記目的物から反射された信号を受信する手段と、
上記複数の時間間隔からの受信信号に基づいて画像を構築し、上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するように構成された処理手段と
を含む装置にまで、及ぶ。

本発明は、コンピュータ上で稼動する際、目的物を識別する若しくは追跡するように構成されたコンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにおいて、
ソフトウエアは、
複数の時間間隔にて、センサで上記目的物から反射された信号に対するインプットを有し、
更に、
上記複数の時間間隔からの受信信号に基づいて画像を構築し、上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するように構成されたロジックを含む
コンピュータソフトウエアプロダクト、及びそれを坦持するキャリアにまでも及ぶ。

本発明の前述の形態のように、ラインフィルタを利用して、即ち、所定の動作と一致する画像の部分のみを選択して、画像を比較することができる。もちろん、分析は通常、２つ以上の時間間隔からの結果を利用し、このことはもちろん、目的物を追跡する正確性を強化する。時間間隔のローリングウインドウが用いられてもよい。

反射体の物理的マッピングの利点は、（他のチャネルは同じ物理的目的物から反射を受けているので）他のチャネルからのデータと調和しない、例えば、一つのチャネルからの、“非物理的な”データ若しくは不正データを、マッピングプロセスが自動的に処理することである。このことは、データのプレフィルタリングの要素を効果的に与える。

更に本発明の前述の形態のように、反射体の物理的マッピングは、可視的に表される必要は無いが、可視的表現が導出され得るデータを含んでも良い。

本発明の前述の形態の好適な若しくは可能な特徴として明細書に記載する他の特徴は、いずれも前述の物理的画像に均等に適用され得る。

本明細書の方法の全てにおいて、結果は揮発性若しくは不揮発性メモリに格納されるのが好ましい。更に若しくは一方で、それら結果はディスプレイ装置に表示される。よって、それら方法は、ディスプレイ装置に対するディスプレイ信号を提供するステップを含んでもよい。更に若しくは一方で、該方法は外部装置を制御するのに用いられる。よって、それら方法は、外部装置に対する制御信号を提供するステップを含んでもよい。

本発明の方法は、計算手段、計算機、データ処理装置、若しくは格納された命令を実行信号できる他の装置を用いて、実施されても良い。本発明はモバイル装置でも等しく利用されても良いが、上記のような装置は、静的なものであってもよい。絶対的方向や位置には不耐性であるが、異なるモーションを分離できる、本発明の少なくとも一部の実施形態によって達成され得る利点は、モバイル装置で利用するのに特に適切であることである。よって別の形態から精査して、本発明は、超音波送信器及び分離／統合超音波受信器を含むモバイルデバイスであって、上記に記載した方法のいずれにも従って、ユーザのテーブルトップの動作を判別することによって、少なくとも一つの操作が制御されるように構成されている、モバイルデバイスを、提供する。

信号が送信され、目的物で反射され、そして受信される構成を本明細書で参照しているが、検出され若しくは追跡される目的物自身が送信器を含み信号が目的物で反射されるのではなく目的物から発生する、“アクティブの目的物”にも、その原理は、等しく適用される。

本発明の全ての形態において、信号は超音波であることが好ましい。このことは、通常の人間の可聴域より高い周波数の音響による信号を意味する。通常、このことは、信号が２０ｋＨｚより大きい、例えば、３０〜５０ｋＨｚの間の、周波数、ベースの若しくはメジアンの周波数を有することを、意味する。

本発明の好適な実施形態は、例示としてのみ記載されるものであり、添付の図面を参照するものである。

本発明において、連続の時間フレーム内で手からの反射から生じるインパルス応答に対応するパターンにより手の動作が表されるマトリクスが、構築されることは、当業者には理解され得る。このことにより、本発明の種々の実施形態において、人間の手の動作の認識が可能になり、物理的接触が要求されないコントロールインタフェース、即ち、タッチレスインタフェースで利用することが可能になる。例えば、動作の認識は、指の動作を追跡すること、手全体で為されるジェスチャを探索すること、手の形状、方向若しくは構成の変化を探索すること、又は、これらの組み合わせ、などである。本明細書で開示する多くの形態及び特徴が達成する助けとなる重要な利点は、上述の動作認識は、高画像解像度無しで達成され得るということである。ノイズに対する許容性、及び、より低い解像度から生じる特有の曖昧さは、うまく提供され得る。

超音波複数目的物追跡システムの主要部を示す概略図である。 単一の静止目的物を示すインパルス応答画像の略図である。 目的物がサンプリングウインドウの間に動いているとき、インパルス応答画像がどのように変化するかを示す。 複数のフレームに渡って特定の動きがどのように識別され得るのかに係る概略図である。 ある動きに対するエネルギ分布を示す。 動きの変動に対するエネルギ分布を示す。 相互に渡って動作する２つの目的物に対応するインパルス応答画像の略図である。 ラインフィルタが適用された後の、図５のインパルス応答を示す。 エッジフィルタが適用された後の、図５のインパルス応答を示す。 “親指クリック”に対応するインパルス応答画像の略図である。 “ズームアクション”に対応するインパルス応答画像の略図である。 ラインフィルタを適用した後の、図８Ａのインパルス応答を示す。 更にラインフィルタを適用した後の、図８Ｂのインパルス応答を示す。

先ず図１を参照して、コンピュータのグラフィックユーザインタフェースのタッチレスコントロールに対する、本発明の原理の実施例を以下に記す。信号生成器２は、超音波送信器４により超音波に変換される超音波周波数の信号を生成する。これらの波は、手などの、追跡される目的物６で反射する。同様にその近傍の障害物でも反射する。反射したエネルギは、プロセッサ１０に通されるべきアナログ電気信号にエネルギを変換し戻す一つ若しくはそれ以上の超音波受信器６により、受信される。後でより詳細に説明するように、プロセッサ１０は、インパルス応答を計算し、フィルタリングを実行し、２Ｄ若しくは３Ｄ画像等となるようにインパルス応答画像を組み合わせ、最終的に目的物６の動作を決定する。目的物６の存在及び位置に関する情報は、カーソル１４の動きを制御するためのディスプレイ１２に通される。ディスプレイは、独立のシステムでも、プロセッサ１０が設けられたコンピュータの一部であってもよい。カーソル１４は、スクリーン上の目的物の動作を再生する。

プロセッサ１０は、プロセッサが正確な送信時間、信号コード、若しくは必要であれば他のパターンを制御するために、信号生成器３に結合される。

超音波受信器８によりアウトプットされるアナログ信号は、超音波送信器４、対象の目的物６を含む画像フィールド及び超音波受信器を含む“チャネル”のために、“インパルス応答”を計算するのに用いられる。

チャネルインパルス応答を評価する一つの方法は、信号の中に短インパルスを駆動し、受信したエコーをリッスンし、エネルギを受信した経路に向くことである。しかしながら、送信器に“ショック”を与えること無くそのような信号を送信することは困難であるので、インパルス応答が評価する帯域以外の周波数成分を含むことが、求められる。相互相関やパルス圧縮技術などの、他の技術も適切である。

先ず、チャネルに渡る信号の送信は以下のモデル式に従うと仮定できる。

ここで、
ｘ（ｔ）は送信信号、ｙ（ｔ）は受信信号、ｈ（ｔ）はチャネルのインパルス応答、ｎ（ｔ）は環境ノイズ項、＊は畳み込み演算子である。

送信された信号は、時系列として、即ち、規則正しい時間間隔での一連の離散信号値として、表される。受信された信号も、サンプリングされた信号となるので、時系列で表される。インパルス応答ｈ（ｔ）は、計測することが求められるものである。チャネルｈ（ｔ）は、少なくとも、実際に用いられる時間ウインドウの範囲内では、一定値である、若しくは、ｘ（ｔ）及びｙ（ｔ）の変化に対して非常に緩慢に変化すると仮定される。時間変化するチャネルは計測できないということではなく、少なくとも好適な実施形態では、本発明は、チャネルが時間に関してどのように変化するかに関する。チャネル変化が信号変化に比べて緩慢であるということである。

チャネルは、Ｑタップ有限インパルス応答（ＦＩＲ）フィルタとして表される。周知のように、これは、チャネルｈ（ｔ）がインプット信号の前のＱ時間サンプルに適用される一連の重みとして見られる構造である。信号ｘ（ｔ）がラウドスピーカを介して送信されたと仮定すると、ｙ（ｔ）としてマイクロホンを介して受信される。受信された信号ｙ（ｔ）は、以下のように、送信された信号ｘ（ｔ）に関連して捉えられる。

即ち、ｙ（ｔ）のサンプルは、線形重みが“フィルタ係数”ｈ（０），・・・ｈ（Ｋ−１）で与えられるｘ（ｔ）のＫラストサンプルの線形組み合わせである。チャネルを評価するために、これらのフィルタ係数を評価することが必要である。この技術では、マイナス無限大からプラス無限大までの全てのｔに対して、信号ｘ（ｔ）は“ホワイト”である、と仮定される。換言すると、全ての非ゼロシフトに対して信号は自分自身と無相関である、と仮定される。以下の式でこれを表現する。

ここで、Ｐは実数の、正の数であり、ｘ（ｔ）は有限サポートを有する、即ち、ｔの大きい＋／−値に対してゼロであり、そうでなければ有限値を有する、と仮定する。信号をそれ自身の時間反転と畳み込むことは、信号自身との相関をとること、即ち、信号の自動相関を計算することと同じである。ｘ（ｔ）が本当にホワイトであると仮定すると、ｘ（ｔ）につきそれ自身と相関をとると、０のタイムラグに対して正の値Ｐとなり、それ以外ではゼロとなる。このことを別途表現すると、以下のようになる。

ここで∂（ｔ）は、ディラクデルタ関数である。数３も、時間のポイントｔ０周りで、Ｎ＋１サンプルの長さとｘ（ｔ）の時間ウインドウにより、有効であり、従って、以下のようになると仮定される。

ｔ_０周りでｙ（ｔ）をｘ（−ｔ）で畳み込むと、以下のようになる。

更に、和の内部項を計算すると以下のようになる。

従って、以下のようになる。

上記数５から分かるように、数８のブラケット内の項は、（近似的に）Ｐであり、ｌ＝ｉのときのみ（近似的に）０である。よって、ｌ＝１を選択することにより、畳み込み[ｙ（ｔ）＊ｘ（−ｔ）]_ｔ０（ｌ）の結果は、Ｐ×ｈ（１）であり、ｌ＝２ならば、Ｐ×ｈ（２）である。このように、フィルタ係数ｈ（．）は、在る“中心の”タイムサンプルｔ_０の周りでｘ（ｔ）のウインドウを畳み込むことによって、評価され得る。

たくさんのエコーがあり、インパルス応答に周波数更新が望ましい状況では、エコーに関して問題は、次のフレーム内の受信信号ｙ（ｔ）内にリークする過去のアウトプット信号ｘ（ｔ）から生じる。この問題を克服する方法は、個々のサブセクションが可及的に相互に直交すること、即ち、ゼロの相互相関関数を有する、駆動信号ｘ（ｔ）を利用することである。所与の時間ステップでインパルス応答を評価すると、相関は、対象の時間スパンの間にアウトプットされたｘ（ｔ）の部分についてのみ為される。実際、ウインドウ化されたスナップショットが直交である信号ｘ（ｔ）を構成することは困難であることがある。ＷＯ２００６／０６７４３６（特許文献３）では、ｘ（ｔ）の完全な区分的直交信号セクションに対する必要なく、チャネルインパルス応答を連続的に評価するための異なるモデルを用いることにより、この問題を克服する方法を提示していた。本発明は、この方法、又は、インパルス応答のシーケンスを評価し続いてインパルス応答画像にそれらを収集し追跡、モーション評価、検出若しくはモーション特徴抽出のためにこれを利用する、他の方法を、含むものである。

上述で計算したように、近傍の時間スロットに対するインパルス応答は、相互に近傍に配置され、インプット応答画像を形成することが可能である。単一のインパルス応答画像の視覚表示が、図２に示される。計算されたインパルス応答に関する関連分析は、それらを表示すること無く実施され得るので、実際のシステムでは、このような視覚表示はおそらく必要では無い。画像のピクセルの個々の垂直コラムは、一つのサンプリングウインドウ若しくは時間スロットを示す。よって、垂直スケールはフィルタタップ数である。水平スケールはサンプル数である。インパルス応答画像は従って、インパルス応答の連続時間ラインをサンプルウウインドウの長さに等しい長さに細分し、相互にその長さを配置する結果として、考えられ得る。

図２では、単一の静的目的物を画像フィールドに置いて（しきい値フィルタを適用して明瞭さを拡張した後に）得られたインパルス応答画像を概略示す。下方のセットのライン１６は、目的物、例えば、手に対するインパルス応答である。目的物は静的であるので、時間スロットの夫々においてインパルス応答は同じであり、よってライン１６は直線で水平である。

上方のセットのライン１８は、直接経路信号、即ち、送信器から受信器へ真っ直ぐに行く信号に対応する。インパルス応答画像に対する、直接経路のこの寄与１８、及び、場合によっては、例えば、装置の一部からの背景反射は、都合の良いことに、多数の方法で除去され得る。一つの簡単な方法は、例えば、平均、メジアン、最大値のコラムなどの、コラムのセットからインパルス応答の“代表的な”コラムを計算して、コラムの各々からこれを引くことである。これは、送信と受信の間のブランキング期間が用いられる、即ち、インパルス応答が、所与の時間スロットにおける最初の数フィルタタップに対しては計算されない、周知の構成に対する改良である。周知の構成は理想的ではない。なぜなら、対象の目的物からの反射と、直接経路若しくは背景反射のいずれかとの間で、オーバラップが発生し得る状況が存在するからである。もちろん、画像に対する直接経路の寄与が、移動する目的物からのエコーの寄与にオーバラップする状況で分離するために、より進歩的な技術も用いられ得る。

図３は、（上述のように）直接経路信号が除去され手がトランスデューサセットアップの前面で振られるときに、図２の概略のインパルス応答画像がどのように変わるか、を示す。ライン２０は、連続を維持するが、対応するプロフィールを有する。ライン２０の正の勾配は、受信器に向かう動きを示し、負の勾配は、離れる動きを示す。

インパルス応答画像が自動的に分析され画像フィールド内の目的物の存在若しくは動きを判定する、多数の様々な方法がある。このことを為すためのラインフィルタの利用の説明を、以下行う。

ラインフィルタは、インパルス応答画像に適用され、所与の勾配の直線上に存在しない画像の部分を抑える、即ち、残りの画像の残部に対するラインに沿って存在する画像の部分を強める、アルゴリズムである。ラインフィルタは、その端部にて、鋭利な境界ではなく、ロールオフを有する上記マトリクスの所与の領域。更に、フィルタマスクの個々のコラムは、送信信号の帯域幅を示すシンク関数で、コンボリューションされる。これは、近傍のラインからの情報を組み合わせて、より可視的なラインを抽出する。

図４Ａから図４Ｃは、図３の画像が分析される一つの方法を示す。インパルス応答画像２２は、フィルタバンク２４を介して送信され、ラインフィルタされた画像２６を生成する。各々に対してフィルタが適用されている。もちろん、個々のフィルタは元の画像の別の部分を取り上げるので、フィルタされた画像の各々は異なるものである。

所与の時間ステップｔに対して、即ち、フィルタされた画像２６の各々に沿う所与の水平位置において、画像の全体セットを介する“スラブ”カットが取られ、以下でＺ（ｔ）と表すマトリクス２８内に集められる。最も左のコラムが、ラインフィルタ内のラインが上方に鋭く傾く（フィルタバンク２４内の最上のライン）ラインフィルタインパルス応答画像２６に対応し、最も右のコラムが、ラインが下方に鋭く傾く（フィルタバンク２４内の最下のライン）ラインフィルタに対応するように、Ｚ（ｔ）は構成される。中間のコラムは、インパルス応答画像２２２に適用される中間のラインフィルタを示す。

この表示は、特定の動作傾向を検出するのに有用である。例えば、マトリクスＺ（ｔ）が図４Ｂで示すような広範なレイアウトを有するならば、シーンの上方部分にて、送信器／受信器（ＴＸ／ＲＸ）セットアップに近接する目的物の表示は、これら目的物の動作がＴＸ／ＲＸセットアップに向かっていることを示す。画像の下方部分にて、ＴＸ／ＲＸセットアップから離れる目的物の表示は、目的物がＴＸ／ＲＸから離れて動いていることを示す。図４Ｃに示すように、状況もより局所化できる。ここで、ＴＸ／ＲＸセットアップに非常に近接して、若しくは、非常に離れて、進行しているものではない。しかしながら、中央部分では、ＴＸ／ＲＸへ近接して動く目的物があり、更に離れて動く目的物が僅かに更に離れている。これは、マトリクスＺ（ｔ）上にフィルタＦを用いて検出され得、以下のように示される。

ここで、Ｆは二次元マスクであり、コラムとローが入れ替わることを除いて、図４Ｃに示すレイアウトの中央部分と通常同じである。この技術は、整合フィルタリングとして知られている。通常、Ｆは、Ｚ（ｔ）と同じ数のコラムを有するものであり、従って、コンボルーションの法的部分に単一のコラムベクトルをアウトプットさせるものである。このコラムベクトルの個々の要素は、予測されるジェスチャの存在の程度を示すスコアを含む。全揃いのフィルタは、同じジェスチャの変動を検出するのに、若しくは、多くのジェスチャ間で分離するのに、利用され得るのは明白である。更に、Ｚ（ｔ）は、種々のラインフィルタでフィルタされたインパルス応答画像の（生の）フィルタリングの結果であるから、このマトリクスのエンベロープを計算することが有用である。値それ自身が正と負の値の間で迅速に変動する傾向があるからである。そのようなエンベロープ抽出は、以下の数１０を計算することで為され得る。

ここで｜．｜は、マトリクスの絶対値を抽出し対応するマトリクスにそれらを配置する演算子、即ち、要素毎の絶対値演算子であり、Ｂは二次元若しくは一次元のマスクであり、ガウシアンであればよい。Ｂが二次元マスクであるならば、類似のラインフィルタによりフィルタされるインパルス応答画像を不鮮明にし、よって、類似のライン間での区別の欠如を示すのであるが、利用例によっては都合のよいこともある。Ｂが一次元垂直マスクであれば、このことは生じない。ラプラス変換によるエンベロープ抽出などの、他のフィルタリング手段も、等しく適用され得る。

上述の“モーションフィルタ”アプローチは、ラインフィルタされたインパルス応答画像から始まるマトリクスＺ（ｔ）に関して、それらの利用を超えて拡張する。背景データがインパルス応答画像ではなく、代わりに反転などにより形成される、二次元若しくは三次元画像であるならば、フィルタマスクＢ及びＦは、２又は３の空間次元と一つの時間次元でのフィルタリングを表す、３元若しくは４元のフィルタマスクである。この変形は、３次元空間での目的物の回転の方向など、単一のＴＸ／ＲＸチャネルからのインパルス応答を考慮することで即座には特定できない状況を検出するために、若しくは、指が離れる動きが生じる正確な軸を検出するために、有用である。フィルタマスクＦがリニアフィルタでなくてもよいこと、及び、畳み込み演算子“＊”がリニアフィルタ演算子を示すことに限定されないことも、明白である。最大／最小若しくは平均フィルタなどの、非リニアフィルタ、若しくはフィルタの組み合わせも用いられ得る。ウインドウの上方部分で最大値を抽出することや、下方部分で最小値を抽出することなどの、フィルタの種々の局所的な組み合わせも用いられ得る。更に、フィルタリング演算は、下部のデータ実体のリニア抽出若しくは非リニア抽出を用いて実施され得る。要素毎の絶対値｜．｜演算子は一例に過ぎない。

ラインフィルタに加えて、若しくはラインフィルタに代えて、エッジフィルタがフィルタバンク２４に含まれ得る。エッジフィルタは、インパルス応答画像に適用され、且つ、所与の勾配の直線のエッジ上に存在しない画像の部分を抑える、即ち、フィルタと平行である画像内部のラインのエッジを強める、アルゴリズムである。これは、エッジフィルタの勾配に直交する勾配に沿った強度変化のしきいレートとして、実装され得る。これは、目的物の周辺を追跡するのに有用である。特に、目的物が送信器／受信器に近づく若しくは遠ざかる際の、目的物の表面の前縁若しくは後縁を追跡するのに有用である。ある状況では、どの方向付けのエッジ若しくはラインもパスする、非方向性エッジ若しくはラインを適用するのに有用である。

図５は、離れて移動し、サイドを交換し、更に元の構成に戻るべく交換する、２つの目的物に対応するインパルス応答画像の概略図である。これにより、目的物が“飛行時間”方向に離れて動き始めるポイントＡにて、画像の左手エッジにおける平行ラインのセットが分岐することが、わかる。所与の飛行時間と、（通常は物理的に離れている）それらの間の送信器及び受信器は、２つの焦点における送信器と受信器による楕円を規定する。検出される動きは、目的物と楕円の中心とを繋ぐラインに沿う実際の動きの成分である。このことは、飛行時間の方向として考慮され得る。

２つの目的物は続いて再び共に動き、サイドを交換して再びポイントＢにて離れる。その後、それらは再び夫々を越えて交換し、それらが静止を維持する元の位置（ポイントＣ）に戻り、その後ラインは再び水平となる。

図６Ａは、ラインフィルタが適用された後の、図５のインパルス応答画像を示す。図から分かるように、結果の画像は、ソフトウエアが読み解くのにより容易なものである。フィルタ（及び、適用され得る、様々なスプープによる類似のフィルタ）により強調されるエネルギパターンは、予想される場所内でエネルギを探すアルゴリズムにより解釈され得る。

図６Ｂは、エッジフィルタが適用された後の、図５のインパルス応答画像を示す。ラインフィルタと同様に、エッジフィルタにより強調されるエネルギパターンは、予想される場所内でエネルギを探すアルゴリズムにより解釈され得る。

図７は、“親指クリック”に対応するインパルス応答画像を示す。それは、人差し指が他の指の前でテーブルに僅かに触れ、テーブル上を動く、手である。画像の上方部分が平坦である部位３０、３２では、前の指はじっとしたままであるが、手の残部に対する親指の動き３４、３６が見られる。

図８Ａは、離れて動く二本の指の例を示す。「３８」は、最も前の指の曲線を示し、「４０」は、他の方向に動く別の指が殆ど見えない状況を指し示す。「４２」は、絵の中に連続して存在する重いラインを示す。それらは“手の残部”に関するインパルス応答内のピーク値を表し、その“手の残部”は多かれ少なかれ静止しており、一方、二本の指は動く。それらの分離及び検出は、画像内でズームする、又は（共に挟んで）目的物をつかむ、若しくは（指を離して）目的物を開放する、コンピュータに対する信号として、捉えられ得る。

図８Ｂは、図８Ａのインパルス応答画像を示すが、（静止する要素に対応する）水平ラインが適切なフィルタにより除去されている。ここでは上昇及び下降の両方の動きが、見られる。

図８Ｃは、適切なラインフィルタを適用した後の、インパルス応答画像を示す。対象の動きは明確に可視的であり、非常に混乱している元のインパルス応答画像（図８Ａ）から抽出されているものである。

これらの簡単な例は、本発明の実施形態により、比較的複雑なジェスチャが、簡単なエネルギパターンマッチングアルゴリズムを用いて自動的に解釈され得ることを示す。上述のアプローチは、個々の指を分析的に追跡しておらず、（よって、解像度及び計算パワーに対する要求は、そのような追跡を為す場合よりも、ずっと低いものであり、）トランスデューサからの手の距離、動きの速度、手の形状及び方向、更に画像フィールド内の他の目的物の存在などのファクタに対する、許容範囲の程度は高い。しかしながら、当然のことながら、必要であれば若しくは所望であれば、本発明の原理は、追跡され得る指などの個々の目的物の動きを分離するのにも適用され得る。

上述のラインフィルタアプローチをより分析的に考慮すると、ラインフィルタは、空間方向Δｘ（ｔ）に移動する、位置ｘ（ｔ）における反射体の存在を判定するのに、通常利用され得る。

方向Δｘ（ｔ）を伴って空間を移動する、位置ｘ（ｔ）における反射体が存在すると仮定すると、空間における次の点は以下のようになる。
ｘ（ｔ＋１）＝ｘ（ｔ）＋Δｘ（ｔ）
ここで、局所的な線形移動を仮定している。ｘ（ｔ）及びｘ（ｔ＋１）の両方は、個々の送信器／受信器のペアに対して、即ち、個々のチャネルｋに対して、飛行時間｛ｄ_ｋ（ｔ）｝及び｛ｄ_ｋ（ｔ＋１）｝を生じる。特定のチャネルｋに対して、ｄ_ｋ（ｔ）からｄ_ｋ（ｔ＋１）への時間遅延の変化は、インパルス応答画像内のラインと協調（一致）するのであり、以下の角を有する。
α_ｋ＝ｔａｎ^−１｛ｄ_ｋ（ｔ＋１）−ｄ_ｋ（ｔ）｝
従って、ｘ（ｔ）に位置する反射体が方向Δｘ（ｔ）に実際に動いているかどうかをテストする方法は、インパルス応答画像Ｚ_１、Ｚ_２・・・Ｚ_ｋをチェックすることであり、個々の画像Ｚ_ｋは、勾配角α_ｋのラインを有するラインフィルタでフィルタされており、時間インデクスｔに対するコラム内の高エネルギを反射体が有するかどうかを見る。

Ｗ_ｋ＝Ｆ（Ｚ_ｋ，α_ｋ）
上式が、画像Ｚ_ｋのフィルタリングについて、α_ｋに等しい勾配の角度を有するラインフィルタを示すものであるとすると、画像Ｗ_１、Ｗ_２・・・Ｗ_ｋが、時間インデクスｔに対応するコラムの高エネルギを有するかどうかが、チェックされなければならない。正確に言うと、Ｗ_ｋ（ｔ，ｄ）は、ｔ番目の時間フレーム、並びに、送信器、可能な反射ポイント及び受信器の間の（サンプルの）移動時間ｄにより対応する、フィルタされた画像Ｗ_ｋの値を示す。次に、テストのためのテストオブザーバは以下のようになる。

この視覚コンテンツ２１０コアが高ければ、方向Δｘ（ｔ）により移動する、位置ｘ（ｔ）における反射目的物が存在する可能性が高い。テストオブザーバに対して下部の分布を見出すために、ｚ｛ｘ（ｔ），Δｘ（ｔ）｝の分布は、アコースティックシーンにおける“空領域”でサンプルされ得る。

初期位置ｘ（ｔ_０）が見出されると、このテストはシーン全体を通じて目的物を追跡するのに用いられ得ることが明白である。一つのフレームから次のフレームへポイントが除去されたところに関して、テストが行われ得るからである。追跡の質を向上するために、限定された数の異なるΔｘ（ｔ）を個別のステージで試用できる。即ち、可能な物理的動作における合理的推量に対応するもののみ試用できる。時間ステップから時間ステップへ、加速度が無限となり得ないことは、明白である。

追跡プロセスが、ポイント｛ｘ_ｉ（ｔ）｝の近傍にも適用可能であり、これにより、特に、システムの周波数帯の範囲内でポイント反射体として表されない反射体に対して、追跡プロセスのロバスト性が改良される。反射ポイント｛ｘ_ｉ（ｔ）｝の可能なセットは、追跡される目的物の予備的知識に関連し得る。例えば、それらは、指が或る方向にのみ曲がり得ることを特定することなどにより、手若しくは指のセットのモデルを表すことができる。そのようなモデルは静的である必要は無く、能動的な形状モデル、統計的な形状モデル、能動的な概観モデル、スネークブロブ、若しくは“能動的なブロブ”などの、可撓性のあるモデルであればよい。インパルス応答ドメインで追跡するそのような動作モデルにより、特定の目的物のより正確な追跡が可能になる。２Ｄ若しくは３Ｄの画像ドメインで適用可能である。

最新技術に関する前述のアプローチを利用する利点は、多数の反射ポイントが、一つ若しくはそれ以上のチャネル内で同じ飛行時間若しくはチャネル遅延を生じるとしても、多数の反射ポイントはシーン内で同時に追跡され得ることである。対応する重複曲線がラインフィルタを用いて“分解”されるので、このことが可能になる。特に、一つの目的物を追跡するとき、Δｘ（ｔ）の狭い範囲のみが特定の目的物の動きに対してテストされるので、２つの目的物は、どの目的物がどの飛行時間のシーケンスに属するかに関して混乱を生じること無く、個々の他の経路とより頻繁に交差し得る。このことは、シーン内で多数の手、指、スタイラス若しくは目的物を追跡する際に、利点である。

ラインフィルタの利用の更なる利点は、空間上物理的“方向”を有する目的物のインパルス応答画像エネルギを、一般的なノイズから分離できることである。アコースティックシーン内で目的物の存在及び初期位置を検出する際、このことは重要である。なぜなら、この動作情報フィルタリングを用いなければ、追跡システムは、シーン内での反射体の存在及び位置についての誤検出の兆候を示すからである。特に、手から突き出る指、即ち、手の残部よりもＴＸ／ＲＸセットアップにより近い指を、追跡することを求められる。しかしながら、指がポイントアウトして、手がアコースティックシーン内に移動するとき、指の動きが、手の動きと通常大きく異なるということはない。従って、動作情報は、区分の目的のために、即ち、特定の方向に特定の速度で動作する目的物（の全体）を識別するために、実効的に利用され得る。移動するセグメントとして識別される、或るサイズの目的物の検出は、追跡を開始するキューとして捉えられ得る。このことにより、例えば、アコースティックシーン内に挿入される手、指、又は、より小さい若しくはより大きい目的物の間で、システムが区別をすることが、可能になる。別の利点は、指先などの、シーンの中に移動する目的物の外側を配置する助けになり得る、ということである。よって指先はセグメントの最も前の部分として定義可能であり、セグメントは特定の方向及び速度を伴って移動するポイントの収集として定義され得る。

本発明のある特徴に関するある実施形態では、動作分離のための前述の技術は、例えば、ディレイアンドサム画像により形成されるシーンの三次元画像に適用され得る。この技術の背後の原理は、３次元グリッドのポイントの反射性を評価することである。よって、これらのグリッドポイントは３次元シーンの実効的な表現となり、グリッドポイントは３次元画像の“ボクセル”（２次元画像のピクセルの３次元における等価物）に関するものとなる。

ディレイアンドサム画像が以下に稼動するかを説明するために、位置ｒ_１，ｒ_２・・・ｒ_Ｎに配置された、Ｎ個の球面の受信器と、原点に配置された単一の送信器があると、先ず仮定される（概念は一つ以上の送信器を利用する可能性をカバーするように拡張され得るのは、明白である。）。目的は、空間の種々のポイントｘ_１，ｘ_２，・・・ｘ_Ｑにおける“ボクセル”値を計算すること、即ち、これらポイントにおける反射性を示す値を計算することである。インパルス応答は、送信器によるパルス発信を介して、若しくは前述の他の手段により計算されて、個々の受信器において記録され／計算される。これらは、ｉ_１（ｓ），ｉ_２（ｓ），・・・ｉ_Ｎ（ｓ）として定義される。

ここで、位置ｘ_ｋに配置された反射ポイントが存在するのかどうか、及び、どの程度までであるのかが、チェックされ得る。

原点の送信器から、仮定された反射ポイントｘ_ｋ及び受信器ｒ_ｊまで、アコースティック信号により移動する距離は、以下の式で表される。

実際、選択されたポイントにおいて反射体があれば、この距離は、どの所与の受信器ｊに対してもインパルス応答内の“ピーク”と一致する。反射体の存在に対する作業仮説は、“（ａ）パルスが時刻ゼロにて送信され、（ｂ）ｘ_ｋに配置される反射体で跳ね返るのであれば、音が反射体にヒットした後の所与の時間において、受信器の各々はエネルギのバーストを検出する”ということである。ｆ／ｃを掛け合わせることにより、距離は（多数のサンプルで計測される）タイミングに変換され得る。ここで、ｆはサンプリング周波数であり、ｃは音速である。

換言すれば、以下の式の値は、どのｊに対しても大きい値である。インパルス応答は、時間における所与のサンプリングポイントにてどれだけ多くのエネルギが受信されたかを単に計測するに過ぎないからである。

ｆ／ｃによる乗算は、移動距離を、インパルス応答におけるサンプルインデクスに変換するに過ぎない。従って、ポイントｘ_ｋにおける反射キャパシティの評価は以下の式となる。

ポイントｘ_１，ｘ_２，・・・ｘ_Ｑに対応する、反射キャパシティ値、即ち、“ボクセル”強度値Ｅ_１，Ｅ_２，・・・Ｅ_Ｑを計算して、ディレイアンドサム画像が終了する。サンプリングポイントの選択が画像の質にとって重要であることは明白であり、個々の受信器（及び／又は送信器）の位置も同様に重要であることも明白である。サンプル以下のアレイが利用されるならば問題となり得る“サイドローブ”及び“格子ローブ”の効果を最小限にするためには、信号の帯域幅も重要である。

２・・・信号生成器、
４・・・超音波送信器、
６・・・目的物、
８・・・超音波受信器、
１０・・・プロセッサ、
１２・・・ディスプレイ、
１４・・・カーソル。

Claims (101)

1. 人間の手の動きを認識する方法において、
   夫々の時間フレームで複数の送信信号を送信するステップと、
   複数の受信信号を受信するステップであって、上記受信信号のうち少なくとも一部は上記手から反射されたものである、ステップと、
   上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定するステップと、
   近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
   上記手の動きに対応するパターンに対する上記マトリクスを分析するステップと
   を含む方法。
2. 画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定する方法において、
   夫々の時間フレームで複数の送信信号を送信するステップと、
   複数の受信信号を受信するステップと、
   上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定するステップと、
   近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
   上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するステップと
   を含む方法。
3. 個々の送信信号が、一連のパルスである、請求項１又は２に記載の方法。
4. 個々の送信信号が、一つ若しくはそれ以上のチャープを含む、請求項１又は２に記載の方法。
5. 計算装置の格納媒体内のデータとして上記マトリクスを記録するステップを含む、請求項１乃至４のうちのいずれか一に記載の方法。
6. 夫々の時間フレームに対するインパルス応答は、静止の目的物に対応するパターンが水平ラインであるように、調整されている、請求項１乃至５のうちのいずれか一に記載の方法。
7. インパルス応答マトリクスから、目的物の複数の反射ポイント若しくは部分のための動作情報を判別するステップを更に含む、請求項１乃至６のうちのいずれか一に記載の方法。
8. パターンが強度輪郭を含む、請求項１乃至７のうちのいずれか一に記載の方法。
9. 更に、直線ライン若しくは曲線ラインにより上記輪郭を概算するステップを含む、請求項８に記載の方法。
10. 上記ラインの一つが複数のラインセグメントにより概算される、請求項９に記載の方法。
11. 上記一つ若しくはそれ以上の目的物の動作を判別するために、上記ラインを分析する、請求項９又は１０に記載の方法。
12. 連続性があるライン、勾配しきい値より低い勾配を有するライン、及び、曲率しきい値より低い曲率を有するラインからなるグループから選択された、上記ラインの一つの特性を識別するステップを、更に含む請求項９乃至１１のうちのいずれか一に記載の方法。
13. 上記マトリクスを分析することにより複数の目的物の動作を追跡するステップを、更に含む請求項１乃至１２のうちのいずれか一に記載の方法。
14. しきい値以上の、チャネルインパルス応答、若しくはそのうちの所定の部位における、集合的変化を検出することにより、目的物の動作を判別するステップを、更に含む請求項１乃至１３のうちのいずれか一に記載の方法。
15. 上記一つ若しくはそれ以上の目的物のサイズ、形状若しくは反射率を判別するステップを、更に含む請求項１乃至１４のうちのいずれか一に記載の方法。
16. 曲線フィルタ、ラインフィルタ、直線フィルタ、正弦曲線フィルタ、エッジフィルタ、アップサンプリングフィルタ、ダウンサンプリングフィルタ、リサンプリングフィルタ、ハフ変換、ウエーブレット変換、ランダム変換、ピタウ（ｐｉ−ｔａｕ）変換、フーリエ変換、非整数次フーリエ変換、コラム−シフト、コラムの移動平均、ローリング平均、無限インパルス応答フィルタ、及びサブバンドコーディングに基づくフィルタからなるグループから選択された一つ若しくはそれ以上の関数を、上記マトリクス若しくは上記マトリクスの一部に適用するステップを、含む請求項１乃至１５のうちのいずれか一に記載の方法。
17. 非水平平均フィルタを、上記マトリクス若しくは上記マトリクスの一部に適用するステップを、含む請求項１乃至１６のうちのいずれか一に記載の方法。
18. 複数のフィルタを上記マトリクスに適用するステップと、
    上記マトリクスの所与の領域の全体において、若しくは上記マトリクスの所与の領域の範囲内で、最も強い結果を与えるフィルタを判別するために、上記複数のフィルタのアウトプットを比較するステップと
    を含む請求項１乃至１７のうちのいずれか一に記載の方法。
19. 上記マトリクスに適用されたフィルタのアウトプットがしきい値をこうるかどうかを判別するステップを含む、請求項１乃至１８のうちのいずれか一に記載の方法。
20. 上記ラインのエッジにおいて、ロールオフを有するラインフィルタを上記マトリクスに適用するステップを含む、請求項１乃至１９のうちのいずれか一に記載の方法。
21. しきい値確率を超えるノイズの確率を有するコラム、ロー若しくはエントリを除去する適応異常値フィルタを上記マトリクスに適用するステップを含む、請求項１乃至２０のうちのいずれか一に記載の方法。
22. 上記マトリクスのサブブロックを基本ブロックのセットに適合する、若しくは、上記マトリクスのサブブロックを基本ブロックのセットにスライドするステップを、含む請求項１乃至２１のうちのいずれか一に記載の方法。
23. フィルタマスクを、送信信号の帯域幅を表すシンク信号により畳み込むステップと、上記畳み込まれたフィルタマスク上記マトリクスに適用するステップを、含む請求項１乃至２２のうちのいずれか一に記載の方法。
24. 目的物の動作の位相、方向及び振幅を捕らえる複素フィルタを上記マトリクスに適用するステップを含む請求項１乃至２３のうちのいずれか一に記載の方法。
25. 上記マトリクスの複数のラインを組み合わせてより少ない数のラインとするフィルタマスクを上記マトリクスに適用するステップを含む、請求項１乃至２４のうちのいずれか一に記載の方法。
26. 上記マトリクスを、フーリエ変換領域、非整数次フーリエ変換領域、若しくは時間領域に変換するステップと、上記変換されたマトリクスにフィルタを適用するステップを、含む 請求項１乃至２５のうちのいずれか一に記載の方法。
27. フィルタを一つ若しくはそれ以上の受信信号に適用するステップと、上記フィルタされた受信信号を用いてインパルス応答のマトリクスを定義するステップを、含む請求項１乃至２６のうちのいずれか一に記載の方法。
28. パターンに対する上記マトリクスを分析する上記のステップは、上記マトリクスの夫々の部位に整合されたフィルタのシーケンスを記録するステップと、上記マトリクス内の特徴パターンを特定するために上記シーケンスを一つ若しくはそれ以上の所与のシーケンスと比較するステップを、含む請求項１乃至２７のうちのいずれか一に記載の方法。
29. 上記特徴パターンは、特定のジェスチャに対応する、請求項２８に記載の方法。
30. 上記特定のジェスチャは、人間の指若しくは手による、リズミカルな振り若しくは招きジェスチャである、請求項２９に記載の方法。
31. 上記所定のシーケンスが、フィルタのセットのシーケンスを含み、的確な上記セットからのどのフィルタもシーケンスを満足し得る、請求項２８乃至３０のうちのいずれか一に記載の方法。
32. フィルタの上記シーケンスが、所定の角度におけるラインフィルタのシーケンスから成る、請求項２８乃至３１のうちのいずれか一に記載の方法。
33. 上記マトリクスの特定領域を抑えるために、フィルタをマトリクスに適用するステップを含む、請求項１乃至３２のうちのいずれか一に記載の方法。
34. 複数の受信手段の各々において、複数の受信信号を受信するステップと、個々の受信手段に対するインパルス応答のマトリクスを規定するステップを、含む請求項１乃至３３のうちのいずれか一に記載の方法。
35. フィルタを上記マトリクスの各々に適用するステップを含み、ここで個々のマトリクスに適用されるフィルタは、上記一つ若しくはそれ以上の目的物に対する共通速度推測から適合される、請求項１乃至３４のうちのいずれか一に記載の方法。
36. 複数の受信手段の各々において、複数の受信信号を受信するステップと、夫々の人為的遅延を受信手段の少なくとも一部のインパルス応答に加え、これにより、受信手段の位置と夫々の遅延により規定される対応するビームの範囲内から発するエコーにのみ、上記分析が、感度を有することとなる、ステップを、含む請求項１乃至３５のうちのいずれか一に記載の方法。
37. 上記人為的遅延のパターンを順応的に変更するステップを含む、請求項３６に記載の方法。
38. 上記人為的遅延のパターンに重み付けを適用する、請求項３６又は３７に記載の方法。
39. 目的物を追跡するステップと、追跡される目的物の予測された動作を判別するステップと、上記予測された動作に基づいて上記対応するビームの方向を調整するステップと、を含む請求項３６乃至３８のうちのいずれか一に記載の方法。
40. 夫々の異なる遅延の後、複数の送信手段の各々から複数の送信し信号ン号を送信するステップを含む、請求項１乃至３９のうちのいずれか一に記載の方法。
41. 上記複数の送信信号は、非送信の期間が散在する離散インパルスを含む、請求項１乃至４０のうちのいずれか一に記載の方法。
42. 上記複数の送信信号は、連続送信を構成する、請求項１乃至４０のうちのいずれか一に記載の方法
43. 。
    上記連続送信は、時間スロットの期間に基づいて、若しくは、時間スロットの多数の期間に基づいて、定期的に繰り返す、請求項４２に記載の方法。
44. 請求項１乃至４４のうちのいずれか一に記載の方法を用いるステップを含む、電子装置の少なくとも一つの操作を制御する方法。
45. 人間の手の動作を認識するための装置において、
    夫々の時間フレームで複数の送信信号を送信するように構成された送信手段と、
    上記手から反射された上記受信信号のうち少なくとも一部にて、複数の受信信号を受信するように構成された受信手段と、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記手の動きに対応するパターンに対する上記マトリクスを分析するように、構成された処理手段と
    を含む装置。
46. 画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定する装置において、
    夫々の時間フレームで複数の送信信号を送信するように構成された送信手段と、
    複数の受信信号を受信するように構成された受信手段と、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するように、構成された処理手段と
    を含む装置。
47. 複数の送信器及び受信器のペアを含む、請求項４５又は４６に記載の装置。
48. コンピュータ上で稼動する際、画像フィールド内の一つ若しくはそれ以上の目的物の状態を判定するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    夫々の時間フレームの複数の送信信号と、複数の受信信号とに対するインプットを有し、
    更に、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記一つ若しくはそれ以上の目的物に対応するパターンに対する上記マトリクスを分析するように、構成されたロジックを含む、
    コンピュータソフトウエアプロダクト。
49. 一つ若しくはそれ以上の他の目的物が存在する画像フィールド内の目的物を追跡する方法において、
    エネルギを上記画像フィールド内に送信するステップと、
    上記画像フィールドから反射されたエネルギを受信するステップと、
    連続する時間間隔で一連のインパルス応答を計算するステップと、
    連続動作に対応する上記インパルス応答のサブセットを選択するステップと
    を含む方法。
50. 上記送信されたエネルギが間欠的である、請求項４９に記載の方法。
51. 一つ若しくはそれ以上の他の目的物が存在する画像フィールド内の目的物を追跡する装置において、
    エネルギを上記画像フィールド内に送信するように構成された送信手段と、
    上記画像フィールドから反射されたエネルギを受信するように構成された受信手段と、
    連続する時間間隔で一連のインパルス応答を計算し、連続動作に対応する上記インパルス応答のサブセットを選択するように構成された、処理手段と
    を含む装置。
52. コンピュータ上で稼動する際、一つ若しくはそれ以上の他の目的物が存在する画像フィールド内の目的物を追跡するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    エネルギの送信と反射されたエネルギの受信とに対するインプットを有し、
    更に、
    連続する時間間隔で一連のインパルス応答を計算し、連続動作に対応する上記インパルス応答のサブセットを選択するように、構成されたロジックを含む、
    コンピュータソフトウエアプロダクト。
53. 画像フィールド内の一つ若しくはそれ以上の目的物の動作を判別する方法において、
    連続の若しくは非連続の送信信号を送信するステップと、
    複数の受信信号を受信するステップと、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別するステップと、
    夫々の時間間隔に対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定するステップと、
    上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するステップと
    を含む方法。
54. 周波数領域で上記インパルス応答を分析するステップを含む、請求項１乃至４４、４９、５０、５３のうちのいずれか一に記載の方法。
55. 周波数領域で上記インパルス応答の振幅スペクトラムを分析するステップを含む、請求項１乃至４４、４９、５０、５３、５４のうちのいずれか一に記載の方法。
56. 上記インパルス応答の周波数スペクトラムにおける経時的な変化を判別するステップを含む、請求項１乃至４４、４９、５０、５３のうちのいずれか一に記載の方法。
57. 周波数領域で上記インパルス応答を分析するステップと、そこから目的物がその形状を変化させていること若しくは変化させていたことを判別するステップを含む、請求項１乃至４４、４９、５０、５３乃至５６のうちのいずれか一に記載の方法。
58. 一つ若しくはそれ以上の目的物が、人間の手若しくはその一部を含む、請求項１乃至４４、４９、５０、５３乃至５７のうちのいずれか一に記載の方法。
59. 目的物を追跡するステップと、上記追跡するステップに応答して電子装置を制御するステップを、含む請求項１乃至４４、４９、５０、５３乃至５８のうちのいずれか一に記載の方法。
60. ユーザの指の動作を追跡するステップと、上記追跡するステップに応答してグラフィックユーザインタフェースにより装置上のカーソルを制御するステップを、含む請求項１乃至４４、４９、５０、５３乃至５９のうちのいずれか一に記載の方法。
61. 一緒に若しくは離れて動作する２本のユーザの指を検出するステップを含む、請求項１乃至４４、４９、５０、５３乃至６０のうちのいずれか一に記載の方法。
62. 上記の一緒に若しくは離れて動作することが、上記マトリクスの夫々の半分若しくは一部で、異なる方向の動作から識別される、請求項６１に記載の方法。
63. 時間領域で目的物の形状の変化を検出するステップを含む、請求項１乃至４４、４９、５０、５３乃至６２のうちのいずれか一に記載の方法。
64. 形状の変化を検出する上記ステップは、インパルス応答内の所定の変形をモニタするステップを含む、請求項６３に記載の方法。
65. 画像フィールド内で一つ若しくはそれ以上の目的物の動作を判別する装置において、
    連続の若しくは非連続の送信信号を送信するように構成された送信手段と、
    複数の受信信号を受信するように構成された受信手段と、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するように、構成された処理手段と
    を含む装置。
66. コンピュータ上で稼動する際、画像フィールド内で一つ若しくはそれ以上の目的物の動作を判別するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    連続の若しくは非連続の送信信号と複数の受信信号とに対するインプットを有し、
    更に、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判別し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記目的物の一つの動作に対応するパターンを上記マトリクスから分離するように、構成されたロジックを含む、
    コンピュータソフトウエア。
67. 目的物の所定の動作を識別する方法において、
    送信信号を送信するステップと、
    第１の時間間隔の間に第１の受信信号を受信するステップと、
    上記第１の受信信号の第１の周波数構成を判別するステップと、
    第２の時間間隔の間に第２の受信信号を受信するステップと、
    上記第２の受信信号の第２の周波数構成を判別するステップと、
    上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するステップと
    を含む方法。
68. 夫々の時間フレームで複数の送信信号を送信するステップと、
    複数の受信信号を受信するステップと、
    受信信号の夫々の周波数構成を判別するステップと、
    近接する時間フレームに対する周波数構成を相互に近接させて、周波数構成のマトリクスを規定するステップと、
    上記マトリクスを分析するステップと
    を含む請求項６７に記載の方法。
69. 上記所定の動作が、人間の手若しくはその一部のジェスチャである、請求項６７又は６８に記載の方法。
70. ユーザのテーブルトップの構成を識別するステップと、上記構成から動作若しくはジェスチャが所定の動作として識別可能であるかどうか判別するステップと、を含む請求項６７乃至６９のうちのいずれか一に記載の方法。
71. 目的物の所定の動作を識別する装置において、
    送信信号を送信するように構成された送信手段と、
    第１の時間間隔の間に第１の受信信号を受信し、第２の時間間隔の間に第２の受信信号を受信するように構成された受信手段と、
    上記第１の受信信号の第１の周波数構成を判別し、上記第２の受信信号の第２の周波数構成を判別し、更に、上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するように、構成された処理手段と
    を含む装置。
72. コンピュータ上で稼動する際、目的物の所定の動作を識別するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    第１の時間間隔の間の第１の受信信号と、第２の時間間隔の間の第２の受信信号とに対するインプットを有し、
    更に、
    上記第１の受信信号の第１の周波数構成を判別し、上記第２の受信信号の第２の周波数構成を判別し、更に、上記第１の周波数構成と上記第２の周波数構成の間に所定の差異が存在するかどうか判別するように、構成されたロジックを含む
    コンピュータソフトウエアプロダクト。
73. 目的物の所定の動作を識別する方法において、
    送信信号を送信するステップと、
    第１の時間間隔の間に第１の受信信号を受信し、第２の時間間隔の間に第２の受信信号を受信するステップと、
    上記第１の受信信号を所定の領域に変換するステップと、
    上記第２の受信信号を上記所定の領域に変換するステップと、
    上記領域の範囲内で上記第１の信号と上記第２の信号の間に所定の差異が存在するかどうか判別するステップと
    を含む方法。
74. 上記所定の領域が非整数次フーリエ領域若しくはウエーブレット領域である、請求項７３に記載の方法。
75. 目的物の所定の動作を識別する装置において、
    送信信号を送信するように構成された送信手段と、
    第１の時間間隔の間に第１の受信信号を受信し、第２の時間間隔の間に第２の受信信号を受信するように構成された受信手段と、
    上記第１の受信信号を所定の領域に変換し、上記第２の受信信号を上記所定の領域に変換し、更に、上記領域の範囲内で上記第１の信号と上記第２の信号の間に所定の差異が存在するかどうか判別するように構成された処理手段と
    を含む装置。
76. コンピュータ上で稼動する際、目的物の所定の動作を識別するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    第１の時間間隔の間の第１の受信信号と、第２の時間間隔の間と第２の受信信号とに対するインプットを有し、
    更に、
    上記第１の受信信号を所定の領域に変換し、上記第２の受信信号を上記所定の領域に変換し、更に、上記領域の範囲内で上記第１の信号と上記第２の信号の間に所定の差異が存在するかどうか判別するように構成されたロジックを含む
    コンピュータソフトウエアプロダクト。
77. 第１の構成の手の動作に応答するが、第２の構成にあるときテーブルトップの動作を無視するように、構成されているタッチレスコントロールシステム。
78. 手の回転を検出するように構成されている請求項７７に記載のシステム。
79. 親指の動作を検出するように構成されている請求項７７又は７８に記載のシステム。
80. 上記の親指の動作を検出すると、コンピュータマウスボタンのクリックをエミュレートするように構成された請求項７９に記載のシステム。
81. デバイスを制御する装置において、
    上記デバイスの第１の作用を制御するための第１の指の動作を検出する手段と、上記デバイスの第２の作用を制御するための、上記第１の指に対する第２の指の動作を検出する手段と
    を含む装置。
82. 上記第１の作用が、複数の選択位置の間でセレクタを動かすことを含む、請求項８１に記載の装置。
83. 上記第２の作用が、上記セレクタの位置に対応する作用を含む、請求項８２に記載の装置。
84. 第１の指が人差し指である、請求項８１乃至８３のうちのいずれか一に記載の装置。
85. 第２の指が親指である、請求項８１乃至８４のうちのいずれか一に記載の装置。
86. 第１の指が静止しているときのみ、上記第２の作用が実行される、請求項８１乃至８５のうちのいずれか一に記載の装置。
87. 目的物を識別する若しくは追跡する方法において、
    継続的に若しくは連続的に送信信号を送信するステップと、
    複数の時間間隔にて、センサで上記目的物から反射された信号を受信するステップと、
    上記複数の時間間隔からの受信信号に基づいて画像を構築するステップと、
    上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するステップと
    を含む方法。
88. ラインフィルタを上記画像に適用するステップを含む請求項８７に記載の方法。
89. 上記分析するステップが、時間間隔の回転ウインドウを用いる、請求項８７又は８８に記載の方法。
90. 目的物を識別する若しくは追跡する装置において、
    継続的に若しくは連続的に送信信号を送信する手段と、
    複数の時間間隔にて、センサで上記目的物から反射された信号を受信する手段と、
    上記複数の時間間隔からの受信信号に基づいて画像を構築し、上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するように構成された処理手段と
    を含む装置。
91. コンピュータ上で稼動する際、人間の手の動作を認識するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    夫々の時間フレーム内の複数の送信信号と、複数の受信信号とに対するインプットを有し、
    更に、
    上記送信信号と上記受信信号を利用して、複数のチャネルインパルス応答を判定し、近接する時間フレームに対するインパルス応答を相互に近接させて、インパルス応答のマトリクスを規定し、更に、上記手の動きに対応するパターンに対する上記マトリクスを分析するように、構成されたロジックを含む、
    コンピュータソフトウエアプロダクト。
92. コンピュータ上で稼動する際、目的物を識別する若しくは追跡するように構成されたコンピュータソフトウエアプロダクトにおいて、
    ソフトウエアは、
    複数の時間間隔にて、センサで上記目的物から反射された信号に対するインプットを有し、
    更に、
    上記複数の時間間隔からの受信信号に基づいて画像を構築し、上記目的物の所定の動作に対応する一つ若しくはそれ以上のパターンに対する上記画像を分析するように構成されたロジックを含む
    コンピュータソフトウエアプロダクト。
93. 上記信号が超音波信号である、請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９のうちのいずれか一に記載の方法。
94. 上記信号が超音波信号である、請求項４５乃至４７、５１、６５、７１、７５、８１乃至８６、９０のうちのいずれか一に記載の装置。
95. 請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９、９０のうちのいずれか一に記載の方法を用いて、電子装置の少なくとも一つの操作を制御する方法。
96. 更に、メモリ内に結果を格納するステップを含む、請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９、９３、９５のうちのいずれか一に記載の方法。
97. 更に、ディスプレイ装置のためのディスプレイ信号を与えるステップを含む、請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９、９３、９５、９６のうちのいずれか一に記載の方法。
98. 更に、外部装置のための制御信号を与えるステップを含む、請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９、９３、９５乃至９７のうちのいずれか一に記載の方法。
99. 請求項４５乃至４７、５１、６５、７１、７５、８１乃至８６、９０、９４のうちのいずれか一に記載の装置を含む、少なくとも一つのその装置の動作を制御するための電子デバイス。
100. 超音波送信器及び分離／統合超音波受信器を含むモバイルデバイスであって、
     請求項１乃至４４、４９、５０、５３乃至６４、６７乃至７０、７３、７４、８７乃至８９、９３、９５乃至９７のうちのいずれか一に記載の方法に従って、ユーザのテーブルトップの動作を判別することによって、少なくとも一つの操作が制御されるように構成されている、
     モバイルデバイス。
101. 請求項４８、５２、６６、７２、７６、９１、９２のうちのいずれか一に記載のコンピュータソフトウエアプロダクトを坦持するキャリア。

Images