JP2015180869A - 受動型単画素熱センサシステムによる動作及びジェスチャ認識 - Google Patents

Abstract

【課題】温かい物体により行われるジェスチャを認識するシステム及び方法を提供する。【解決手段】熱エネルギを受け取ると直ちに低周波数又は直流信号を発生させるように構成された熱センサ１０２を備える。熱センサ１０２と温かい物体との間には空間的変調光学素子１０４が配設される。光学素子１０４は、熱センサ１０２により受け取った熱エネルギを熱センサ１０２に対する温かい物体の配向に応じて変調するように構成されている。熱センサ１０２と接続された電子機器ユニット１０６はメモリとプロセッサとを備える。プロセッサはメモリにより構成され、熱センサ信号の変化を検出するとともに、熱センサ信号の特性を認識する。【選択図】図１

Description

本発明は熱センサに関し、より詳細には赤外線検知型近接検出器に関する。

動作検出器は通常、動いている人物又は他の温かい物体からの熱を検出して電気信号を発生させる受動型赤外線（ＩＲ）センサを利用する。そのような検出器は、焦電材料と、しばしばフレネルレンズと称される、２つの焦電素子上に交互に集光する多重変調光学素子とを備えるのが典型的である。入熱流束が経時変化すると、これらの焦電素子が電気信号を発生させる。したがって、焦電検出器は、ある典型的な周波数範囲を上回って発生する動作に対して感受性を有することによって、自然の電気ハイパスとして作用する。検知素子の大きさに応じて、カットオフ周波数は、比較的大きな素子寸法については０．４Ｈｚ程度の低さであってもよく、あるいは比較的小さな素子についてはもっと高くてもよい。一般的に人物の動作は約０．４Ｈｚ乃至４Ｈｚの範囲内で起こるので、近接検出器の素子及び信号処理エレクトロニクスは通常、この範囲に同調されている。何十年もの間、焦電赤外線（ＩＲ）検出器は、電灯スイッチ及び警報器のための動作検知に対する最も容易なアプローチであると考えられていた。なぜなら、焦電赤外線検出器は、当時利用可能であったアナログエレクトロニクスにより処理可能な高い信号レベルを伝達するためである。

昨今では、単画素熱センサは、センサの視野（ＦＯＶ）全体にわたって信号を変調する多素子変調光学素子と組み合わせて、定常状態熱流束（直流（ＤＣ））までの周波数応答を検出するように開発されている。そのような装置はさらに広い周波数範囲における動作を検出することができ、これは静止物体の検出（「存在検出」）に対応するＤＣまで、あるいは手振りや他のジェスチャといった人物のより速い身体動作の検出を追加的に可能にする比較的高い周波数までにさえ及ぶ。

以前、ジェスチャ認識技術は概して結像技術と非結像技術とに分類されていた。結像技術は通常、ＦＯＶを異なる画素上にマッピングする光学素子を備えた多画素センサを用いる。そのため、動作及びジェスチャを画像処理方法によって評価することが可能である。結像法の多くは動作を二次元平面で評価するが、結像は奥行き情報を含む三次元で行われてもよく、これは飛行時間、ステレオ画像、構造化光パターン認識、又は他のものなどの様々な方法により実現可能である。

非結像ジェスチャ認識技術が使用されることは少なかった。ある非結像技術は電界を利用し、その場合変化は検知平面内の容量検出器アレイによって検出される。別の非結像法は、ＩＲ発光ダイオード（ＩＲ ＬＥＤ）により送出された赤外線ビームの反射を利用する。このビームは物体で反射して１つ以上のフォトダイオードにより検出される。これらの非結像法は多画素センサ又は多電極センサを備える。非結像ソリューションは、シーンの画像を作成しない。なぜなら、特定のＦＯＶセグメントと特定の検出器画素との間には定義された関係が存在しないためである。

非結像検知装置の出力における周波数パターンの分析は公知である。例えば、モバイル機器において該機器の動作の検出のために一般に用いられているような慣性センサは、周波数及び振幅パターン、ならびに特定の検出された物理的動作の特徴（fingerprint）を探すソフトウェアを有し得る。したがってこのソフトウェアは、例えば、モバイル機器を持ち運んでいるユーザが歩いているのか、自動車を運転しているのか、それとも列車に乗っているのかを判断することができる。また、該機器が電話に出るために持ち上げられてユーザの耳のところに置かれるかどうかを、慣性センサ出力信号の周波数及び振幅パターンをジェスチャ署名のライブラリにあるものと比較するだけで判断することも可能である。そのようなパターン認識ソフトウェアは自己学習型であってもよく、ライブラリはユーザの他の行動から共通のパターンを抽出することによって拡張又は調整可能である。しかしながら、非結像センサの出力は、多次元の動き又はジェスチャを認識するには不十分であった。

したがって、業界では、上述の欠点のうち少なくともいくつかに対処するジェスチャ認識ソリューションが求められている。

本発明の実施形態は、受動型単画素熱センサシステムによる動作及びジェスチャ認識を提供する。簡潔に述べれば、本発明は、温かい物体によって行われたジェスチャを認識するように構成されたシステムに関するものであって、熱エネルギを受け取ると直ちに低周波数及び／又は直流信号を発生させるように構成された熱センサと、熱センサと温かい物体との間に配設され、熱センサにより受け取った熱エネルギを熱センサに対する温かい物体の配向に応じて変調するよう構成された空間的変調光学素子と、熱センサと接続された電子機器ユニットと、を備える。電子機器ユニットは、メモリと、メモリと接続されたプロセッサと、を備えている。プロセッサはメモリにより構成され、熱センサ信号の変化を検出するステップ及び熱センサ信号の特性を認識するステップを実行する。

本発明の第２の態様は、監視空間内で運動する温かい物体のジェスチャを認識する方法に関する。本方法は、監視空間内の変調光学素子の視野からの入射熱エネルギを、複数のレンズ及び／又は開口を備えた変調光学素子で受け取るステップと、変調光学素子により受け取った入射熱エネルギを、変調光学素子に光学的に結合された温度検出器に向けるステップと、温度検出器を用いて、変調光学素子によって温度検出器に向けられている熱エネルギの量に比例するレベルに維持された直流出力信号を生成するステップと、出力信号を温度検出器と接続された電子機器ユニットに提供するステップと、を備える。電子機器ユニットは、メモリと、メモリと接続されたプロセッサと、を備えている。プロセッサはメモリにより構成され、信号の特性を分離し、この信号の特性を基準特性と比較する。

本発明の他のシステム、方法及び特徴は、以下の図面及び詳細な説明を検討すれば、当業者には明らかであるか、又は明らかになるであろう。そのような追加的なシステム、方法及び特徴はすべて、本明細書に含まれるものであって、本発明の範囲内にあり、添付の請求項により保護されることが意図されている。

添付の図面は本発明のさらなる理解をもたらすために備えられているものであり、本明細書に組み込まれ、その一部を構成する。これらの図面は本発明の実施形態を図示するとともに、明細書と併せて本発明の原理の説明に資する。

ジェスチャ検出器の第１の実施形態の概略側断面図である。 図１の変調検出器光学素子の一例の部分上面図である。 図１の検出器の機能性を実行する例示的なシステムを示す概略図である。 従来技術による、センサの視域を調べる光学素子を有さない単画素熱センサからの信号出力のグラフである。 センサの視域を調べる変調光学素子を備えた図１の単画素熱センサからの信号出力のグラフである。 バンドパスフィルタ処理後の図４Ｂの信号である。 図１の単画素熱センサにより検出された手のジェスチャによって生成された時間領域波形の説明図である。 図１の単画素熱センサとともに用いられる例示的な光学素子において用いられる３つの変調パターンのグラフである。 監視空間内での運動ジェスチャを認識する例示的な方法のフローチャートである。

以下の定義は、本明細書に開示されている実施形態の特徴に適用されている用語の解釈に有用であり、本開示内の要素を定義することのみを意図されている。これによる特許請求の範囲において用いられる用語の限定は全く意図されておらず、また何ら限定が導き出されるべきではない。添付の特許請求の範囲において用いられている用語は、当該技術における慣習的な意味によってのみ限定されるべきものである。

本開示において用いられる「レンズ」とは、それを通じて伝達される電磁放射線又は光の量及び／又は方向に影響を与える光学素子を指す。レンズは、開口の大きさ及び／又は形状と、放射線透過媒体、例えばガラスの形及び間隔と、に基づいて透過放射線に影響を与えてもよい。本明細書においては、レンズは受動光学素子又は能動光学素子を指してもよい。

本開示において用いられる「温かい物体」とは、熱存在検出器によって検出可能な熱を発する物体を指す。温かい物体とは通常、人物又は動物を指す。

「監視空間」という言い回しは、一般的に、存在検出器が設置されており該検出器が温かい物体を検出できる可能性のある物理的な区域（例えば部屋、廊下、屋外の区域など）を指す。しかしながら、監視空間とは、検出器の視野の少なくとも一部を含む熱画像装置の近傍の小さな領域を指してもよい。

次に本発明の実施形態を詳細に参照する。これらの実施形態の例を添付の図面に図示する。図面及び明細書において同一又は同様の部分の参照には、可能な限り同一の参照番号を用いる。

適切な評価及び光学素子を用いた単画素熱センサシステムによるジェスチャ認識の方法及び装置の実施形態を示す。ジェスチャ認識システムの例示的な一実施形態は、変調光学素子を有する熱検出器を備える。検出器のＦＯＶの空間変調は、検出器による運動信号出力を強化し、例えば特定の周波数帯域において認識され得る署名を提供してもよい。そのような署名は、ソフトウェア又は適切なハードウェアによって評価可能である。

図１は例示的な検出器１００の第１の実施形態の概略側断面図である。この検出器１００は、検出器１００が設置されており検出器１００が温かい物体を検出できる可能性のある監視空間内においてその温かい物体により引き起こされた、検出された存在、位置、動作及び／又は動作の方向に基づいて、ジェスチャを認識するよう構成されている。

検出器１００は、温度検出器１２０、例えばサーモパイルを備えたセンサモジュール１０２と、少なくとも部分的にセンサモジュール１０２を覆う強度変調光学素子１０４と、を有する。光学素子１０４は、各々が監視空間からの入射熱エネルギをセンサモジュール１０２の少なくとも一部に向けるよう配置された複数のレンズから成っていてもよい。いくつかの実装例においては、変調光学素子１０４の個々のレンズが監視空間内の複数の異なる物理ゾーンのうち１つからの入射熱エネルギをセンサモジュール１０２に向ける。そのような物理ゾーンは、検出器１００の前の角度範囲及び検出器１００からの距離のいずれに関しても、重複していても重複していなくてもよい。

変調光学素子１０４は、図示するように検出器１００に直接取り付けられていてもよいし、あるいは検出器に対して距離を置いて搭載されていてもよい。検出器１００内には光学素子１０４をセンサモジュール１０２から分離する空洞１１４があってもよく、あるいは光学素子１０４がセンサモジュール１０２に直接当接してもよい。変調光学素子は、後述するように多くの形を想定することができる。

温度検出器１２０は通常、温度検出器１２０で受け取る熱エネルギ（破線矢印で示す）の量に概ね比例する直流（ＤＣ）出力を生成するよう動作可能である。この温度検出器１２０により生成されたＤＣ出力は、温度検出器１２０に伝達される熱エネルギの量が略一定のままである限りは、概して一定のままである。温度検出器１２０に伝達される熱エネルギの量が増大すると、通常、検知装置１２０により生成されるＤＣ出力は比例して増大する。同様に、温度検出器１２０に伝達される熱エネルギの量が低減すると、通常、検知装置１２０により生成されるＤＣ出力は比例して低減する。第１の実施形態では、温度検出器１２０は単画素熱センサである。温度検出器１２０からのＤＣ出力は、ＤＣ電圧又はＤＣ電流のいずれかであってもよい。

熱センサモジュール１０２は単画素温度検出器１２０を有するが、代替的な実施形態は、各々が１つ以上の画素を有する２つ以上の温度検出器１２０を備えていてもよい。もっとも、後述するジェスチャ認識の機能性は、１つの単画素温度検出器１２０のみを有する検出器１００で達成され得る。通例、サーモパイルが熱エネルギを電気エネルギに変換する電子機器である。サーモパイルは一般的に、通常は直列に、あるいはそれほど一般的ではないが並列に接続されたいくつかの熱電対から成り、単一の直流（ＤＣ）出力を生成する。

上述のように、いくつかの実装例においては、熱センサモジュール１０２は複数の温度検出器１２０（例えば複数のサーモパイル）を有する。いくつかの実装例においては、センサモジュール１０２内の温度検出器のすべてが電気的に接続され、センサモジュール１０２から単一のＤＣ出力信号を生成する。いくつかの実装例においては、温度検出器１２０は、センサモジュール１０２から複数の異なるＤＣ出力信号を生成するよう構成される。

第１の実施形態において図示されるように、センサモジュール１０２は基板又はハウジング１１０内に埋め込まれ、変調光学素子１０４はセンサモジュール１０２の上方、任意の脚１１５と基板１１０との上に支持される。光学素子１０４は様々な構成を有し得る。例えば、光学素子１０４は、フレネルレンズ又は他のレンズ、フレネルゾーン、ゾーンプレート、ホログラフィック光学素子、回折光学素子、屈折光学素子、バイナリ光学素子、単なる開口、及びこれらの任意の組み合わせ、又は空間的に運動する物体による強度変調をもたらす任意の他の配置を含むことができる。また、変調光学素子１０４は、追加的な要素を含んでもよい。これは例えば、開口間が全遮光又は部分遮光されている空間的な開口アレイ、格子、符号化板又はディスク、あるいはセンサモジュール１０２の前に任意に適切に配置した任意の組み合わせである。

図２は、図１の検出器１００の部分上面図である。ここに示す図は、検出器１００の変調光学素子１０４の一実装例を示すものである。光学素子１０４の機能は、監視空間を異なるセグメントに分割することである。このセグメント化は、変調光学素子上に、特定のセグメントからの放射線のみをモジュール１０２内の特定の温度検出器１２０に向ける光学素子を有することによって達成される。これらの光学素子は、図２に図示されるように離散した物理的領域と一致していてもよいが、例えばホログラフィック光学素子を使用する場合のように、変調光学素子１０４表面の全体にわたって分布していてもよい。

各光学素子は通常、監視空間をセグメントに分割するだけでなく、そのセグメントから特定の温度検出器１２０に入射する放射線を束ねる（図１）。ある温かい物体、例えば人物の手がセグメント内を移動する場合、各温度検出器１２０によって発生された信号は、低いレベルで開始し、手がそのセグメントの中央又は中央付近にあるときに最大に達する。手がさらに移動すると、信号レベルは再び低いレベルへと低下する。したがって、手が複数のゾーン内を移動すると、完全にセグメント内での最大信号とセグメント間の境界での最小信号とによって出力パターンの変化が生まれる。

監視空間セグメントの総数は、変調光学素子の光学領域の数、センサモジュール１０２内の温度検出器１２０の数の２倍に等しいか、又はそれよりも少ない。一実施形態においては、変調光学素子１０４は比較的高い透過性の領域と比較的低い透過性の領域とを交互に有する。一般的に、比較的高い透過性の領域は、入射熱エネルギの比較的大きな断片を関心波長でセンサモジュール１０２へ通過させ、その一方で、比較的低い透過性の領域は、熱エネルギの比較的小さな断片を関心波長でセンサモジュール１０２へ通過させる。別の実施形態においては、図２に示すように、各レンズ２１４の中心部２１６が比較的高い出力信号を生成する領域を形成し、各レンズ２１４の周辺部及び隣接するレンズ２１４の間の空間が検知装置からの比較的低い出力信号を有する領域を形成する。

比較的高い出力信号の領域と比較的低い出力信号の領域とが交互であることは、動作検出の容易化に役立つ。なぜなら、変調光学素子１０４の真下の熱センサモジュール１０２に届く温かい物体からの熱エネルギの断片は、その物体が監視空間内を、例えば変調光学素子１０４の比較的高い出力信号の領域に対応する空間から変調光学素子１０４の比較的低い出力信号の領域へと移動するにつれて、変化するからである。実際、変調光学素子１０４は物体の一定の熱エネルギを取り、それを変調して検知装置１２０で交流信号を形成する。

一般に、「関心波長」という位相は、温度検出器１２０が反応する波長又は波長範囲を指す（すなわち、どのような波長でも温度検出器からのＤＣ出力に影響を及ぼし得る）。ある典型的な実装例においては、関心波長は、温かい（生きている）物体によって放射される熱エネルギに対応する。いくつかの実装例においては、関心波長は４μｍ乃至２０μｍである。

再び図１を参照すると、図示されている検出器１００は、様々な実装例においてコンピュータベースのプロセッサ、コンピュータベースのメモリ記憶装置、及び／又は他の回路を形成して本明細書に記載の機能性のうち１つ以上を実行及び／又は支援し得る集積回路１０６を有する。導電体、例えば基板１１０の上面及び／又は下面に沿って延出する配線、基板を貫通して延伸するビア１０８、はんだバンプ１１２等が設けられて、検出器１００の内部電気部品を接続するとともに、検出器１００を外部コンポーネントと接続する。

上記で詳述した機能性を実行する例示的なシステムはコンピュータであってもよく、その一例を図３の概略図に示す。図３に示すブロックの物理的な配置は２つ以上のコンポーネントにわたって分布していてもよく、したがって例えば、プロセッサ３０２及び／又はメモリ３０６が検出器から離れて位置している一方で、センサモジュール１０２は検出器１００内に位置していてもよいことに注意しなければならない。

例示的な配置は、プロセッサ３０２と、記憶装置３０４と、上述の機能性のうち少なくとも一部を定義するソフトウェア３０８を格納しているメモリ３０６と、入出力（Ｉ／Ｏ）装置３１０（又は周辺機器）と、センサモジュール１０２と、検出器１００のサブコンポーネントにまたがる通信を可能とするローカルバス又はローカルインタフェース３１２と、を示す。

ローカルインタフェース３１２は、例えば、１つ以上のバス又は他の有線又は無線接続であってもよい。ローカルインタフェース３１２は、通信を可能にするためのコントローラ、バッファ（キャッシュ）、ドライバ、リピータ、及びレシーバといった追加的な要素を有していてもよく、これらは簡略化のため省略されている。また、ローカルインタフェース３１２は、前述のサブコンポーネント間での適切な通信を可能にするためのアドレス、制御、及び／又はデータ接続を含んでいてもよい。

プロセッサ３０２は、メモリ３０６に格納されたソフトウェアやファームウェアなどのソフトウェアを実行するハードウェアデバイスである。プロセッサ３０２は、任意の特別注文あるいは市販のシングルコア又はマルチコアプロセッサ、中央処理装置（ＣＰＵ）、検出器１００と関連するいくつかのプロセッサのうち１つの補助プロセッサ、（マイクロチップ又はチップセットの形をした）半導体ベースのマイクロプロセッサ、マクロプロセッサ、又は一般的にソフトウェア又はファームウェア命令を実行する任意のデバイスであってもよい。プロセッサ３０２は、例えば図１の集積回路１０６に組み込み可能である。

メモリ３０６は、揮発性メモリ素子（例えばランダムアクセスメモリ（ＤＲＡＭ，ＳＲＡＭ，ＳＤＲＡＭなどのようなＲＡＭ））及び／又は不揮発性メモリ素子（例えばＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭなど）のうちいずれか一方又はこれらの組み合わせ、あるいは外部サーバへのネットワーク接続を備えることができる。さらに、メモリ３０６は、電子、磁気、光学式、及び／又は他の種類の記憶媒体を内蔵してもよい。メモリ３０６は分散型アーキテクチャを有することができ、ここで種々のコンポーネントは互いに離れて位置しているがプロセッサ３０２によりアクセス可能である点に留意のこと。メモリ３０６は、例えば、図１の集積回路１０６に組み込み可能である。

通常、ソフトウェア３０８は、プロセッサ３０２によって実行されたときに、本明細書に開示されている検出器１００（図１）の機能性のうち１つ以上をプロセッサ３０２に実行させる命令を含んでいる。メモリ３０６内のソフトウェア３０８は１つ以上の別々のプログラムを備えていてもよく、その各々が実行可能な命令の順序付きのリストを含んでいる。メモリ３０６はオペレーティングシステム（Ｏ／Ｓ）３２０を含んでいてもよい。オペレーティングシステムは、検出器１００（図１）におけるプログラムの実行を制御するよう動作可能であってもよく、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、及び通信制御及び関連のサービスを提供してもよい。

Ｉ／Ｏ装置３１０は、収集したデータ又は命令を種々の周辺コンポーネントに出力することを可能にするべく、外部装置へのインタフェースを備えていてもよい。また、Ｉ／Ｏ装置３１０は、ソフトウェア等の検出器１００（図１）へのアップロードを容易化し得る。

センサモジュール１０２は、例えば、赤外線センサ又は熱エネルギに反応するどんな種類のセンサであってもよい。センサモジュール１０２は単一素子センサ又は２つ以上のセンサ素子を含むセンサアレイを備えていてもよい。センサアレイは、単一の筐体内に複数のセンサ素子を備えていてもよいし、あるいは複数の筐体を備え、各筐体が２つ以上のセンサ素子を収容していてもよい。センサモジュール１０２は、赤外線放射のみを検出するように構成されてもよく、あるいはより広い帯域を受信するよう調整されてもよい。センサモジュール１０２はさらに、電圧調整及びノイズ低減部品を備えていてもよい。センサモジュール１０２は、例えば周囲温度や検知された物体の温度といった検知パラメータを、ローカルインタフェース３１２を介してプロセッサ３０２へと伝達してもよい。

同様に、アレイセンサについては、センサモジュール１０２は、個々のアレイ素子のパラメータを伝達してもよいし、あるいは個々のアレイセンサ素子のすべてから照会された派生パラメータを送信してもよい。センサモジュール１０２は、例えば信号をアナログ形式とデジタル形式との間で変換するためのアナログ・デジタル変換器を備えていてもよい。また、センサモジュール１０２は、例えば起動直後及びパラメータ変動が検出されたときに、あるいは定期的なパラメータレポートを送信することによって、自律的に情報を伝達するよう構成されていてもよい。センサモジュール１０２は、例えばプロセッサ３０２からの問い合わせ又はポーリングがあったときにパラメータ情報を伝達するよう構成されていてもよい。

記憶装置３０４はどんな種類のメモリ記憶装置であってもよい。通常、記憶装置３０４は、検出器１００が本明細書に開示される１つ以上の機能性を実行するのに役立つであろう任意のデータを記憶するよう動作可能である。記憶装置３０４は、図１の集積回路１０６に組み込まれてもよい。

検出器１００（図１）の動作時、プロセッサ３０２は、メモリ３０６に格納されたソフトウェア３０８を実行し、メモリ３０６及び記憶装置３０４へ／からのデータを通信し、一般的には検出器１００（図１）の動作を制御する。いくつかの実施形態においては、例示的な実施形態における１つ以上の素子が存在しないかもしれないことに注意すべきである。また、いくつかの実装例においては、例示的な実施形態における１つ以上の素子が検出器１００（図１）の外部に位置していてもよい。

検出器１００（図１）は、ジェスチャ認識を（動作及び存在検出の改良されたモードとして）真の単画素センサを通じて提供するために用いられてもよい。第１の実施形態では、ジェスチャ認識は、空間的変調光学素子１０４を通じて観察を行うセンサモジュール１０２によって生成された出力信号の周波数及び振幅スペクトルを分析することにより達成され得る。検出器１００（図１）のＦＯＶ内の温かい物体の動作又は存在のみを検出する従来技術とは対照的に、ジェスチャ認識機能は、例えば速い、遅い、近い、遠い、方向といった動作の性質などの追加的な情報を導き出し、あるいは、例えば腕や手の振り、拳を作ること、又は手を円を描くように動かすなどの図形の形成といった具体的なジェスチャを特定しさえする。

図４Ａは、何ら特別な光学素子（変調光学素子１０４）を用いずにセンサモジュール１０２のＦＯＶを調べる単画素熱センサからの信号出力のグラフである。ＦＯＶは例えば５０°乃至１２０°であってもよく、検出器１００（図１）から１ｍ又は２ｍの距離でこのＦＯＶに沿って通り過ぎる人物が信号を発生させる。ここで、信号振幅は人物と検出器１００（図１）との間の距離によって決まる。信号は、人物が検出器１００（図１）の前約１ｍを通過するときに第１のピーク４１０を示し、人物が検出器１００（図１）の前約２ｍを通過するときに第２のピーク４２０を示す。

図４Ｂは、図４Ａのグラフにおいて検出されたものと同一の動作の存在下でセンサの視域を調べる図１の単画素熱センサからの信号出力のグラフであり、ここで検出器１００は変調光学素子１０４（図１）も備えている。変調光学素子１０４の追加によって、人物の動作の結果として得られる信号は、検出器１００（図１）のＦＯＶを通過する際に変調される。変調光学素子１０４（図１）は、結果として得られる出力信号の周波数コンテンツを強調する。

図４Ｃは、動作ベースの信号変調を出力信号に変える（数値）バンドパスフィルタでフィルタ処理した後の図４Ｂの出力信号を示す。この信号が動作を決定し、その振幅レベルが距離についての情報を提供する。図４Ｃは例示的なバンドパスフィルタ処理済みの生データを示し、フィルタ処理がどのように可検出性を高めるかを明らかにしている。従来技術の動作検出器においては、この時点で、フィルタ処理された信号が積分され、動作が生じたか否かを決定する閾値と比較されてもよい。バンドパスフィルタ処理操作は、例えばソフトウェア３０８（図３）により構成されたプロセッサ３０２（図３）によって、あるいは別のコンポーネント、例えばローカルバス３１２（図３）と接続された専用の信号プロセッサ（図示しない）によって実行されてもよい。

このシステムによって、センサモジュール１０２からの信号の他の信号処理、例を挙げると、例えば高速フーリエ変換（ＦＦＴ）プロセッサを介した時間領域から周波数領域への変換が実行されてもよい。信号フィルタ処理、信号平滑化、ノイズ低減及び他の信号処理機能も可能である。バンドパスフィルタ処理と同様に、この信号処理は、ソフトウェア３０８（図３）により構成されたプロセッサ３０２（図３）によって、あるいは１つ以上のコンポーネント、例えば専用の信号プロセッサ又はフィルタによって実行されてもよい。

しかしながら、第１の実施形態でのジェスチャ認識については、周波数パターンで搬送される追加的な情報を用いてジェスチャを識別してもよい。特定の動作又は動作のシーケンスが検出器１００（図１）からの出力信号における一定の時間及び／又は周波数パターンを示してもよい。一例として、図５は、拳を作っている手が受信ＩＲ信号５００において異なるパターン５１０，５２０を有することを示している。拳は面積が小さいため、信号５００の振幅が急落５２０を示している。そのようなパターンは、時間領域信号又は周波数領域のいずれかにおいて認識され得る。こうしたジェスチャの認識を、ソフトウェア３０８（図３）により構成されたプロセッサ３０２（図３）によって実行されるジェスチャ認識処理が利用してもよい。例えば、ジェスチャは、コンピュータマウスの機能に取って代わる「クリック」イベントとして認識されてもよい。

パターン認識は、ソフトウェア３０８（図３）により構成されたプロセッサ３０２（図３）によって実行されてもよい。例えば、プロセッサ３０２（図３）は、検出器（図１）の出力信号を処理して、周波数領域及び／又は時間領域におけるセンサモジュール１０２からの信号の特性を分離してもよい。プロセッサ３０２（図３）は、周波数領域及び／又は時間領域における２つ以上の特性の間の相関関係を識別してもよい。その場合、プロセッサはこれらの特性及び／又は相関関係を見て、先に記憶されているパターンと一致させてもよい。これは例えばメモリ３０６（図３）に格納されている基準パターンであって、署名とも称される。署名は近くに格納されていても、あるいは、遠くに、例えば署名のライブラリへのアクセスを有する遠隔サーバに格納されていてもよい。署名は、単一の信号特性、複数の特性、及び例えば、時間、振幅、及び／又は周波数の特性間の関係を含んでいてもよい。周波数及び時間領域の特性の相関関係は、例えばジェスチャの速度又は動作の繰り返しを判断するために用いられてもよい。

プロセッサ３０２（図３）が一致を断定するには、一連の分析された特性と格納された署名との正確な一致は不要であってもよい。例えば、署名の特性と分析された信号の特性との間の相関関係が設定可能な閾値を上回る場合には、一致を断定してもよい。分析された特性と格納された署名との照合は、署名ライブラリモジュールによって実行され得る。

上述のように、変調光学素子１０４は、開口と放射線成形コンポーネントとの組み合わせを備えていてもよい。簡単な動作検出の場合、物体をセンサモジュール１０２上に投影する光学素子が観察方向に応じた変調パターンを示すと、変調光学素子１０４の視野内の特定のジェスチャパターンが強化される。この変調は、フレネルレンズの代わりに、別の種類のマイクロレンズアレイ、あるいはより多くの又はより少ない透過領域を備えたレンズアレイ１０４といった他の信号変調パターンであり得る。変調光学素子１０４のそうした変調パターンは、撮像センサを使用することなく、センサモジュール１０２にジェスチャ認識に使用可能な信号を生成させる。

一定の動作又はジェスチャを判断するには単一の画素で十分であるが、場合によって、例えば運動の方向を判断することによりジェスチャの認識が容易化されるのであれば、多画素ソリューションの利用も有利であり得ることに留意すべきである。それでも、物点と画素との間には何ら特異な関係がないため、そのような認識は撮像センサを用いることなく行われるということを再確認することが重要である。

センサモジュール１０２に対する変調パターンの空間距離は、動作の速度との組み合わせにより、結果として得られる、センサ１０２によって検出される周波数パターンを提供する。図６のグラフ６００により示されるように強度変調がいくつかの異なる強度変調の周期を有する場合には、変調光学素子１０４の配列が用いられてもよい。グラフ６００は、高透過性の領域６６０を白いブロックとして、低透過性の領域６７０を斜線を施したブロックとして示している。この例においては、センサ１０２について、３つの異なる高透過パターン及び低透過パターン６１０，６２０，６３０がｘ軸に沿って配置されており、したがってｘ方向の運動は透過パターン６１０，６２０，６３０に対応する３つの異なる周波数によって変調される。これにより、ジェスチャ認識モジュールによる可検出性が高められるとともに、検出用に認識可能な特徴（指紋）を判断するための詳細が提供される。グラフ６００は透過性の２つのレベル６６０，６７０のみを示すよう簡略化されているが、３つ以上の透過性のレベルを有するパターンでも構わない。同様に、グラフ６００は簡単な線状のパターンを示しているが、変調光学素子１０４はより複雑な透過性パターンを有していてもよく、これは線状であってもなくてもよい。

多モード光学素子を用いて熱放射を変調することにより、単画素熱検出器の出力信号に追加的な情報が提供され、以前、特に非結像センサ、光学赤外線検出器には利用できなかったジェスチャ認識技術が可能となる。

図７は監視空間における運動ジェスチャを認識する例示的な方法のフローチャートである。フローチャート中のどの処理の説明又はブロックも、その処理における特定の論理機能を実行する１つ以上の命令を含むモジュール、セグメント、符号の一部、又はステップを表すものとして理解されるべきであることに注意しなければならない。また、本発明の当業者には理解されるであろうように、略同時にあるいは逆の順序で実行される場合も含め、関係する機能性に応じて、図示又は議論されたものにそぐわない機能が実行される代替的な実装例は、本発明の範囲内に含まれる。

入射熱エネルギは、ブロック７１０により示されるように、変調光学素子１０４（図１）で受け取られる。例えば、熱エネルギは、変調光学素子１０４（図１）のＦＯＶ内でジェスチャをしている人物から受け取られ得る。変調光学素子１０４（図１）は、ブロック７２０により示されるように、変調光学素子１０４（図１）が受け取った入射熱エネルギを温度検出器１０２（図１）に向ける。温度検出器１０２（図１）は、ブロック７３０により示されるように、変調光学素子１０４（図１）により温度検出器１０２（図１）に向けられた熱エネルギの量に比例する直流出力信号を生成する。

変調光学素子１０４（図１）は異なる熱透過特性を有する領域を備えていてもよく、例えば個々の領域に、受け取った熱エネルギの異なる変調を、温度検出器１０２（図１）の異なる又は重複する領域へと透過させる。こうした様々な変調は、温度検出器１０２（図１）の出力信号で示されてもよい。変調光学素子１０４（図１）は、温度検出器１０２（図１）が受け取った熱エネルギを、ジェスチャを行っている物体の熱センサに対する配向に応じて変調するよう構成されている。そのような配向は、例えば距離、角度、動作の速度、及び／又は動作の方向であってもよい。

ブロック７４０により示されるように、信号の１つ以上の特性が分離されてもよい。例えば、信号は、時間領域における振幅及びイベント間の時間、ならびに周波数領域における周波数コンポーネントといった特性を分離するよう処理され得る。この特性の分離は、先に述べたように、ソフトウェア制御のプロセッサ、ハードウェア信号処理コンポーネント、又はこれら２つの組み合わせによって実行されてもよい。この信号の１つ以上の特性は、ブロック７５０により示されるように、１つ以上の基準特性と比較される。基準特性は、ローカルメモリ、例えば基準特性ライブラリに格納されてもよいし、あるいは離れて格納されてもよい。１つ以上の特性が１つ以上の基準特性に十分に類似していれば、その１つ以上の基準特性と関連付けられたジェスチャが認識されたものと見なされる。特性が十分に類似しているかどうかを判断する閾値は制御可能であってもよい。例えば、ジェスチャが認識されたと判断される前に一定の数の特性、又は一定の類似度の特性が照合されなければならない場合には、レベル閾値が規定されてもよい。

要約すると、本発明の構造に対して、本発明の範囲又は精神から逸脱することなく様々な変形及び変更が行われ得ることは、当業者には明らかであろう。前述に鑑みて、以下の特許請求の範囲及びその均等物の範囲内に該当するならば、本発明は本発明の変形及び変更も包含することが意図されている。

Claims (18)

1. 温かい物体によって行われたジェスチャを認識するよう構成されたシステムであって、
   熱エネルギを受け取ると直ちに低周波数及び／又は直流信号を発生させるように構成された熱センサと、
   前記熱センサと前記温かい物体との間に配設され、前記熱センサにより受け取った前記熱エネルギを前記熱センサに対する前記温かい物体の配向に応じて変調するように構成された空間的変調光学素子と、
   前記熱センサと接続された電子機器ユニットと、を備え、
   前記電子機器ユニットは、メモリと、前記メモリと接続されたプロセッサと、をさらに備え、
   前記プロセッサは、前記メモリにより構成され、前記熱センサ信号の変化を検出するステップと、前記熱センサ信号の特性を認識するステップと、を実行する、システム。
2. 前記熱センサは、少なくとも４μｍ乃至２０μｍの範囲内の波長を有する放射線を検出するように構成されている、請求項１に記載のシステム。
3. 前記熱センサは、サーモパイルと、微小電子機械（ＭＥＭＳ）赤外線センサと、焦電センサと、ボロメータと、真性赤外線半導体と、赤外線不純物半導体と、から成る群のうち１つである、請求項１に記載のシステム。
4. 前記空間的変調光学素子は、接地又は成形マルチレンズアレイと、成形フレネルレンズアレイと、マルチレンズ及びフレネルレンズアレイの組み合わせと、から成る群のうち１つを備える、請求項１に記載のシステム。
5. 前記空間的変調光学素子は、開口間が全遮光又は部分遮光されている空間的な開口アレイと、格子と、符号化板又はディスクと、から成る群のうち１つ以上をさらに備える、請求項１に記載のシステム。
6. 前記特性は、前記時間領域において検出される、請求項１に記載のシステム。
7. 前記プロセッサは、さらに前記メモリにより構成され、前記熱センサ信号を時間領域信号から周波数領域信号へと変換することを含むステップを実行する、請求項１に記載のシステム。
8. 前記特性は、前記周波数領域において検出される、請求項７に記載のシステム。
9. 前記特性は、周波数領域イベントと時間領域イベントとの間の相関関係を含む、請求項７に記載のシステム。
10. 前記熱センサ及び前記電子機器ユニットは、単一の装置内の同一場所に配置される、請求項１に記載のシステム。
11. 前記熱センサと前記空間的変調光学素子と前記電子機器ユニットとは、単一の装置内の同一場所に配置される、請求項１に記載のシステム。
12. 前記熱センサ及び前記空間的変調光学素子ユニットは、単一の装置内の同一場所に配置される、請求項１に記載のシステム。
13. 監視空間内で運動する温かい物体のジェスチャを認識する方法であって、
    前記監視空間内の変調光学素子の視野からの入射熱エネルギを、複数のレンズ及び／又は開口を備えた前記変調光学素子で受け取るステップと、
    前記変調光学素子により受け取った前記入射熱エネルギを、前記変調光学素子に光学的に結合された温度検出器に向けるステップと、
    前記温度検出器を用いて、前記変調光学素子によって前記温度検出器に向けられている熱エネルギの量に比例するレベルに維持された直流出力信号を生成するステップと、
    前記出力信号を前記温度検出器と接続された電子機器ユニットに提供するステップと、を備え、
    前記電子機器ユニットは、メモリと、前記メモリと接続されたプロセッサと、をさらに備え、
    前記プロセッサは、前記メモリにより構成され、前記信号の特性を分離するステップと、前記信号の前記特性を基準特性と比較するステップと、を実行する、方法。
14. 前記変調光学素子は、光学ゾーンに、個別のゾーンを介して可変出力信号を提供することにより、前記入射熱エネルギへの出力信号が比較的高い領域と前記入射熱エネルギへの出力信号が比較的低い領域とを交互に作り出す、請求項１３に記載の方法。
15. 前記温度検出器は、微小電子機械（ＭＥＭＳ）赤外線センサと、サーモパイルと、ボロメータと、焦電及び半導体ベースの赤外線センサと、から成る群から選択される、請求項１３に記載の方法。
16. 前記変調光学素子の前記レンズは、フレネルレンズアレイと、フレネルゾーンアレイと、ホログラフィック光学素子と、回折光学素子と、屈折光学素子と、バイナリ光学素子と、から成る群から選択される、請求項１３に記載の方法。
17. 前記空間的変調光学素子は、開口間が全遮光又は部分遮光されている空間的な開口アレイと、格子と、符号化板又はディスクと、から成る群のうち１つ以上をさらに備える、請求項１３に記載の方法。
18. 前記直流信号出力は、４μｍ乃至２０μｍの波長で前記温度検出器に向けられている熱エネルギの量に比例するレベルに維持される、請求項１３に記載の方法。

Images