JP2017512327A - 制御システム及び制御システムの動作方法 - Google Patents

Abstract

装置を制御するための制御システムを動作させる方法であって、前記制御システムは、モーションキャプチャ装置と、前記装置の１又は複数の装置機能を制御するための制御信号を供給するコントローラと、を有し、前記方法は、前記モーションキャプチャ装置によって、空間のモーションピクチャイメージを取得するとともに、前記コントローラに前記モーションピクチャイメージを供給するステップと、前記空間におけるユーザからのユーザ入力を検出するため、前記コントローラによって、前記モーションピクチャイメージを分析するとともに、前記コントローラによって、前記ユーザによって実行されたジェスチャを検出するステップと、前記１又は複数の装置機能の選択された装置機能を制御するため、前記コントローラによって、前記ジェスチャの前記検出に応じて、前記装置に制御信号を供給するステップと、を有し、前記分析するステップは、前記コントローラが前記モーションピクチャイメージにおける１又は複数のジェスチャゾーンをモニタすることによって、実行され、前記ジェスチャゾーンの各々は、前記１又は複数の装置機能の各装置機能と関連付けられており、前記制御信号を供給するため、前記コントローラは、前記ジェスチャゾーンを決定し、前記ジェスチャは、前記選択された装置機能を制御するために検出される。

Description

本発明は、概して、装置を制御するための制御システムの動作方法に関する。当該制御システムは、モーションキャプチャ装置と、装置の１又は複数の装置機能を制御するための制御信号を供給するためのコントローラと、を有する。上記方法は、モーションキャプチャ装置によって、空間のモーションピクチャイメージを取得するとともに、コントローラにモーションピクチャイメージを供給するステップと、空間におけるユーザからのユーザ入力を検出するため、コントローラによって、モーションピクチャイメージを分析するとともに、コントローラによって、ユーザによって実行されたジェスチャを検出するステップと、１又は複数の装置機能の選択された装置機能を制御するため、コントローラによって、ジェスチャの検出に応じて、装置に制御信号を供給するステップと、を有する。また、本発明は、かかる方法を実行するための制御システム、及び、コンピュータプログラム製品に関する。

ジェスチャにより装置を動作させるための方法及びシステムが、様々なアプリケーション分野において利用可能である。かかるシステムの早期実現は、単純に、装置を動作させるため、モーションセンサによるモーションの検出に依存する。しかしながら、技術は進化しており、現在では、特定のモーションパターンを検出したり、ユーザが特定のジェスチャによって装置の動作を対象にできるようにしたり、センサの前における任意の種類のモーションしか感知しない装置を動作させたりすることを許容している。

上記機能を可能とするため、イメージ分析アルゴリズムが、ジェスチャ認識を実行するために適用され得る。かかるイメージパターン認識方法は、機能性を増すために、ますます正確であり、信頼性を高めることを目的とする。これに関し、ジェスチャ認識は、より正確なだけとはならない。ジェスチャ認識は、より複雑でもあり、制御システムの演算能力をより多く必要とする。これにより、システムは、アイドル状態において、より多くのエネルギーを消費し、又は、機能性に関してトレードオフを必要とする。

同時に、従来のスイッチより様々な制御態様を所望又は必要とする、ますます多くのシステムが利用可能になる。現代の家庭では、様々な装置が、スマートフォンの使用を通じて、制御可能になっている。しかしながら、スマートフォンは、常に手元にあるわけではないため、この分野では、ジェスチャベースの制御の使用が登場している。例えば、かかる装置は、ジェスチャ制御可能な照明、テレビ、コンピュータなどを含んでいてもよい。ジェスチャベースの制御を当てにし得る装置の増加により、ジェスチャベースの制御システム及び方法の上述の複雑性も増加している事実がある。

洗練されたジェスチャ認識システムの一例として、米国特許出願公開第２０１１／０１９３９３９号明細書は、ユーザの物理的相互作用ゾーンが、ユーザ及び他の要因のサイズに基づいて規定される、デプスカメラを持つモーションキャプチャシステムに言及している。当該相互作用ゾーンは、ユーザに固定されることができ、対応する動作にモーションをマッピング可能とするため、独自の調整システムを持つよう、適切に形作られ得る。当該システムは、ユーザの手（又は、他の身体部分）の動きを追跡し、それを、ディスプレイ上の対応する動作に変換する。

米国特許出願公開第２０１１／２９６３５３号明細書、米国特許出願公開第２００９／０２７３３７号明細書、及び、米国特許出願公開第２０１３／００９８６１号明細書は、ユーザ入力に基づいてジェスチャを適用する他の制御システムについて言及している。

本発明の目的は、進化したレベルの複雑性、及び、複雑性の許容レベルにおけるユーザ快適性を供給する装置制御方法を提供することである。

本発明は、装置を制御するための制御システムを動作させる方法を提供するという点で、これらの目的及び他の目的を達成する。上記方法によって動作される制御システムは、モーションキャプチャ装置と、装置の１又は複数の装置機能を制御するための制御信号を供給するコントローラと、を有する。上記方法は、モーションキャプチャ装置によって、空間のモーションピクチャイメージを取得するとともに、コントローラにモーションピクチャイメージを供給するステップを有する。また、上記方法は、空間におけるユーザからのユーザ入力を検出するため、コントローラによって、モーションピクチャイメージを分析するとともに、コントローラによって、ユーザによって実行されたジェスチャを検出するステップを有する。ジェスチャの上記検出に応じて、上記方法に係る制御システムは、１又は複数の装置機能の選択された装置機能を制御するため、装置に制御信号を供給する。特に、本発明によれば、上記モーションピクチャイメージを分析するステップは、コントローラがモーションピクチャイメージにおける１又は複数のジェスチャゾーンをモニタすることによって、実行され、ジェスチャゾーンの各々は、１又は複数の装置機能の各装置機能と関連付けられている。装置に制御信号を供給するため、コントローラは、ジェスチャゾーンを決定し、ジェスチャは、選択された装置機能を制御するために検出される。

本発明は、ユーザによる特定のコマンド又は命令を区別するため、手（又は、他の身体部分）がした正確な動きを正確に認識するための複雑なジェスチャ認識システムが、多様な装置機能が単純なジェスチャにより制御されるようにするためには必要でないという見識に基づいている。本発明では、ジェスチャは、制御システムによってモニタされるジェスチャゾーンを規定するとともに、特定の装置機能に各ジェスチャゾーンを割り当てることによって、互いに区別される。上記制御システムは、制御システムが制御される装置機能を直接的に区別できるようにするため、規定されたジェスチャゾーンにおける身体の活動を検出する必要があるだけである。

当然のことながら、特定のジェスチャゾーンにおけるユーザの不測の動きによって任意の装置機能が予期せず活性化又は不活性化されることを回避するため、上記制御システムは、好ましくは、ジェスチャゾーンにおけるモーションを実行する身体部分を区別し得る。さらに、ジェスチャゾーンは、モニタされる空間における特定の物体（例えば、椅子又はテーブル）に固定されてもよく、人にさえ固定されてもよい。物体又は人への上記固定は、リンク付けされる物体又は人に関する固定位置に相対的に配置されるようにジェスチャゾーンを規定することによって、実装され得る。

上記制御システムは、同時に複数のジェスチャゾーンをモニタしてもよく、モーションが、これらのジェスチャゾーンの１又は複数において検出されるとすぐに、対応する動作を実行してもよい。物体又は人に固定される代わりに、ジェスチャゾーンは、空間を規定する環境の特定の空間的特徴に固定されてもよい。例えば、制御システムは、部屋の中ほど、又は、部屋の入口の真正面、又は、窓に対する固定位置、に配置されたジェスチャゾーンをモニタしてもよい。ジェスチャゾーンが物体に固定された場合、ジェスチャゾーンは、例えば、テーブルの上、長椅子又はシートの横、ランプの下の領域、又は、空間における物体に対して任意の他の適切な位置、に配置されることができる。ジェスチャゾーンが人に固定された場合、ジェスチャゾーンは、例えば、ユーザの肩の上の頭の左又は右、人のお腹の前、人の脚の左側又は右側（例えば、膝あたり）、又は、ユーザによって便利に達することができる任意の他の適切な位置、に配置されることができる。

本出願において、「エンティティ」なる用語は、エンティティ、即ち、ジェスチャゾーンが固定される、物体、空間的特徴、又は、人（ユーザ又は他の人）を示すために使用されている。当然のことながら、複数のジェスチャゾーンが、同一のエンティティに固定されてもよく、状況又はユーザによって設定された嗜好に依存して異なるエンティティに固定されてもよい。あるいは、又は、加えて、複数のジェスチャゾーンが、単一のエンティティに固定されてもよい。

異なるジェスチャゾーンは、制御システムが、検出されたジェスチャを制御される正しい装置機能と関連付けることができるように、制御システムによって区別されなければならない。このため、ジェスチャゾーンを重ねることは、逆効果であり得る。しかしながら、共通の境界を有する、隣接した接触しているジェスチャゾーンは、例えば、２Ｄ又は３Ｄにおいて、区別されることができる。

制御システム自体は、モーションキャプチャ装置（例えば、カメラ）に対して、ジェスチャゾーン及びモーションキャプチャ装置と位置決めされた異なるジェスチャゾーンを区別可能とするために、これらのジェスチャゾーンが、モーションキャプチャ装置に対して、異なる（即ち、重ならない）距離に配置されている限り、深さ追跡機能を備えていてもよい。かかる深さ追跡機能は、例えば、空間の３Ｄ情報を取得するため、異なる位置から空間をモニタする複数のカメラからなるモーションキャプチャ装置により実装されてもよい。あるいは、モーションキャプチャ装置は、単一のカメラからなっていてもよく、この場合、制御システムは、イメージ分析アルゴリズムにより深さを区別するように構成される。

例えば、深さは、単一のカメラが空間を移動しながら、人又は物体のサイズをモニタすることによって、区別され得る。モーションキャプチャ装置がユーザをモニタする場合、単純に移動中大きくなったり小さくなったりする人のサイズをモニタすることによって、ユーザが、カメラの近くで、又は、カメラから遠くで、ジェスチャを実行するかどうかを区別することが可能である。ユーザ（足、膝、尻、肩、肘、手、及び、頭の位置など）からの骨格情報を追跡することによって、制御システムは、人が、モーションキャプチャ装置の前に、立っているのか、座っているのか、寝ているのかを識別することができる。上記情報のいずれも、複雑なモーション又はイメージ分析アルゴリズムに頼る必要なく、ユーザによる特定の入力を更に区別するために使用されることができる。

制御システムが、ジェスチャゾーンをモニタできるようにするために、ジェスチャゾーンのジェスチャゾーン定義データが、メモリなどのデータリポジトリにアクセスすることによって、又は、リモートサーバなどの無線又は有線ネットワークを通じてジェスチャゾーン定義データを受信することによって、制御システムのコントローラにより取得され得る。このジェスチャゾーン定義データは、任意の時間において、ユーザ又はオペレータによって制御システムに供給されたユーザ嗜好から受信された入力に基づいていてもよい。

上述したことに加えて、他の実施形態によれば、コントローラは、モーションピクチャイメージからユーザ又は他の人を認識するために、モーションピクチャイメージから補助情報を供給すべく、パターン認識解析を実行してもよい。例えば、コントローラは、制御システムが様々な人からの入力を区別することを可能とするため、顔認証を実行するようにプログラムされてもよい。顔認証を実行する代わりに、当該情報は、イメージから区別可能なユーザ又は他の人の身体の他の特徴を認識することによって、取得されてもよい。

しかしながら、制御システム及び方法が、ユーザ又は他の人を認識するのに適している場合、コントローラは、当該実施形態によれば、認識されたユーザと関連付けられたジェスチャゾーンプロファイルにアクセスしてもよい。ここで、ジェスチャゾーンプロファイルは、認識されたユーザのためにカスタマイズされたジェスチャゾーン定義データを含み、ジェスチャゾーンプロファイルは、認識されたユーザによるユーザ入力を検出するため、モーションピクチャイメージの分析を実行するためのコントローラによって用いられる。換言すれば、第１のユーザは、１又は複数の装置を制御するための優先的なジェスチャゾーンを定義することができ、これらのジェスチャゾーンは、当該ユーザによって適切と考えられるエンティティに配置、ひも付けされる。例えば、子供は、大人よりも地面に近い物体にひも付けされた、部屋の照明を制御するためのジェスチャゾーンを持つことができる。このことは、子供が照明を容易に制御できるようにする。

更に他の実施形態では、コントローラによってモニタされるジェスチャゾーンの１又は複数の位置、形状、又は、有無が、コントローラによって認識される１又は複数のユーザ及び／又は他の人の有無に依存していてもよく、コントローラは、当該認識に依存する様々なジェスチャゾーン定義データを用いる。例えば、コントローラは、ユーザが知らない人の存在を認識してもよく、これに基づいて、ユーザに訪問者がいることを決定してもよい。これに応じて、制御システムは、照明状態を調整してもよいし、又は、音楽を再生するためのオーディオシステムをオンにしてもよい。

他の実施形態によれば、上記方法は、２人のユーザ及び／又は他の人の間の距離を決定するステップを有し、コントローラによってモニタされるジェスチャゾーンの１又は複数の位置、形状、又は、有無のうちの少なくとも１つが、当該距離に依存する。例えば、幾つかのジェスチャゾーンが、２人の人が互いの近くに立っている場合にのみ現れてもよい。又は、２人の人の間のジェスチャゾーンが、互いに対する２人の人の相対位置に依存したサイズで調整されてもよい。

本発明の他の実施形態によれば、上記方法は、コントローラが、空間において現在行なっている活動の認識のためのモーションピクチャイメージの１又は複数について、パターン認識解析を実行するステップを有する。この実施形態では、コントローラによってモニタされるジェスチャゾーンの１又は複数の位置、形状、又は、有無のうちの少なくとも１つが、活動の認識に依存し、コントローラは、活動の認識に依存する様々なジェスチャゾーン定義データを用いる。例えば、制御システム及びコントローラは、モーションピクチャイメージに見えている人がテーブルの周囲に座っていることを認識し、これに依存して、ジェスチャゾーンの位置及びサイズを調整してもよい。例えば、照明を制御するためのジェスチャゾーンが、初期設定で、チャンバの入口近くに配置されている場合、制御システムは、制御システムが、ユーザ又は他の人がテーブルの周囲に座っていることを検出した場合に、このジェスチャゾーンの位置をテーブルの上の領域に調整してもよい。

第２の態様によれば、本発明は、通信ネットワークからダウンロード可能な、及び／又は、コンピュータ読み取り可能な媒体及び／又はマイクロプロセッサ実行可能な媒体上に格納された、コンピュータプログラム製品に関し、当該製品は、本発明の第１の態様に従った方法を実装するためのプログラムコード命令を有する。さらに、本発明は、かかるコンピュータプログラム製品を有するデータキャリアに関する。

第３の態様によれば、本発明は、装置を制御するための制御システムであって、前記制御システムは、モーションキャプチャ装置と、前記装置の１又は複数の装置機能を制御するための制御信号を供給するコントローラと、を有し、前記モーションキャプチャ装置は、空間のモーションピクチャイメージを取得するとともに、前記コントローラに前記モーションピクチャイメージを供給するように構成され、前記コントローラは、前記空間におけるユーザからのユーザ入力を検出するため、前記モーションピクチャイメージを分析するとともに、前記ユーザによって実行されたジェスチャを検出するように構成され、前記コントローラは、前記１又は複数の装置機能の選択された装置機能を制御するため、前記ジェスチャの前記検出に応じて、前記装置に制御信号を供給するように構成され、前記分析を実行するため、前記コントローラは、前記モーションピクチャイメージにおける１又は複数のジェスチャゾーンをモニタするように構成され、前記ジェスチャゾーンの各々は、前記複数の装置機能の各装置機能の１つと関連付けられており、前記制御信号を供給するため、前記コントローラは、前記ジェスチャゾーンを決定するように構成され、前記ジェスチャは、前記選択された装置機能を制御するために検出される、制御システムに関する。

以下では、本発明が、添付の図面を参照して、本発明の幾つかの特定の実施形態によって説明される。
図１は、本発明の一実施形態に係る方法を概略的に図示している。 図２Ａは、本発明の制御システムのモーションキャプチャ装置によって取得されるビデオイメージを概略的に図示している。 図２Ｂは、本発明の制御システムのモーションキャプチャ装置によって取得されるビデオイメージを概略的に図示している。 図３は、図２Ａ及び図２Ｂに図示される状況において使用される、本発明の制御システムを概略的に図示している。 図４は、本発明の制御システムにおいて使用されるモーションキャプチャ装置におけるカメラ装置の視野を概略的に図示している。 図５は、本発明の制御システムにおけるモーションキャプチャ装置におけるカメラ装置が深さ情報を供給するために協調する方法を概略的に図示している。

本説明において、モーションピクチャイメージなる用語は、モーションキャプチャ装置によって撮影されるイメージを示すために使用されている。モーションピクチャなる用語は、これにより、イメージ上に記録されたシーンで起こる任意のモーションが識別され得る、一連の連続的に記録されたイメージを意味するものであると理解されるべきである。本発明の多くの実施形態において、モーションキャプチャ装置は、ビデオカメラ装置であり、モーションピクチャイメージは、１又は複数のカメラによるシーン（即ち、部屋又は他のモニタされる空間）の記録などのビデオイメージである。他の実施形態では、モーションキャプチャ装置は、熱センサ、熱カメラ、又は、又は、モーションが登録され得るイメージを登録することができる他のタイプのセンサなどの感熱式モーション記録手段を有していてもよい。本発明の詳細な説明では、ビデオイメージ及びビデオキャプチャ装置について言及がなされる。しかしながら、本発明は、一般的なビデオキャプチャ装置に限定されず、ここで示されるように、様々なモーションキャプチャ装置を含むことができることが理解されるべきである。このため、ビデオキャプチャ装置も含むような「モーションキャプチャ装置」なる用語、及び、ビデオイメージも含むような「モーションピクチャイメージ」なる用語を用いる請求項について言及がなされる。

図１、図２Ａ、図２Ｂ、及び、図３は、本発明が適用され得る典型的な状況において使用されるような、本発明の方法、キャプチャされたビデオイメージ、及び、制御システムを概略的に図示している。図３に図示されるように、制御システム６０は、少なくともコントローラ６２を有し、オプションで、メモリ６３を有する。制御システム内のメモリの形式であるデータリポジトリの使用が好ましいが、制御システム６０は、追加的又は代替的に、例えば、データネットワークを通じてアクセス可能な外部メモリ、又は、任意の他の入力装置、又は、代替的に定義データが取得され得るサーバを利用してもよい。

制御システム６０は、無線信号７２を用いて、無線ネットワークの無線ルータ６６と通信する。あるいは、制御システム６０は、有線ネットワーク（図示省略）に接続されていてもよく、又は、制御システム６０のカメラ装置６８，６９によって形成されるビデオキャプチャ装置と直接ケーブル接続されていてもよい。図３に図示される実施形態では、ビデオキャプチャ装置カメラ装置６８，６９は、コントローラ６２との無線データ接続を通じてビデオイメージを交換するため、無線信号７３，７４ひいては無線ルータ６６と通信する。図３の実施形態では、ビデオキャプチャ装置６８，６９は、図２Ａ及び図２Ｂに示されるように、居間３０のビデオイメージを取得するための２つのカメラ装置からなる。あるいは、異なる数のカメラ装置が、ビデオイメージを取得するために適用されてもよい。例えば、制御システム６０は、ビデオイメージを取得する単一のカメラ装置に基づいていてもよい。さらに、図３の実施形態では、カメラ装置が用いられているが、代替的に、記録、配置、及び／又は、合図可能な適切なタイプのセンサが、ビデオイメージを取得するために適用され得る。図３のシステムでは、２つのカメラ６８，６９が、ビデオイメージから深さ情報を取得するために付与されている。

図２Ａは、ユーザ４４が存在している居間３０から、カメラ６８，６９の１つによってキャプチャされたビデオイメージを図示している。居間３０では、制御システムを通じて制御され得る複数の装置が設置されている。例えば、居間は、ランプ４３、テレビセット３５、及び、スピーカ４０ａ，４０ｂに接続されたオーディオシステム３８を有している。また、居間３０では、テーブル３３、及び、オーディオシステム３８が置かれたキャビネット３７が存在している。

図１は、本発明の方法１を概略的に図示している。本発明の方法は、図２Ａ、図２Ｂ、及び、図３を参照して、以下説明される。本発明の方法では、ステップ３において、カメラ装置６８，６９からなるビデオキャプチャ装置が、ビデオイメージをキャプチャし、キャプチャしたビデオイメージを、無線ルータ６６及び無線信号７２〜７４を介して、制御システム６０のコントローラ６２に供給する。カメラの１つによってキャプチャされた典型的なイメージが、図２Ａに図示されており、上記において簡潔に説明されてきた。コントローラ６２は、受信されたビデオイメージの各々において、永続的に、複数のジェスチャゾーン４８〜５２、５５、及び、５６をモニタする。このモニタリングは、上記方法のステップ５において、ビデオキャプチャ装置カメラ装置６８，６９によってキャプチャされたビデオイメージを分析することにより、実行される。当該ジェスチャゾーンが、図２Ａに示されている。ユーザ４４に固定された複数のジェスチャゾーン４８、４９、５０、５１、及び、５２が、規定されている。ジェスチャゾーンを固定することによって、ジェスチャゾーン４８〜５２の各々が、ユーザ４４に対する固定の相対位置に配置されている。ジェスチャゾーン４８及び５２が、ユーザの足の上側の近くの、ユーザ４４の左側及び右側に配置されている。ジェスチャゾーン４９及び５１が、ユーザ４４の頭の左側及び右側に配置されている。そして、ジェスチャゾーン５０が、ユーザ４４の頭の上に配置されている。ユーザ４４に固定されたジェスチャゾーン４８〜５２の各々は、ユーザが、居間３０における様々な装置３５、３８、及び、４３の装置機能を容易に制御できるように、ユーザがアクセスするのに便利な位置に配置されている。また、ジェスチャゾーンは、異なる位置において定義されている。例えば、ジェスチャゾーン５６は、テレビ３５の前に定義されており、ジェスチャゾーン５５は、テーブル３３の上に定義されている。

ジェスチャゾーン４８〜５２、５５、及び、５６の各々をモニタするためのコントローラ６２によって用いられるジェスチャゾーン定義データは、メモリ６３からコントローラ６２によって取得されてもよい。このジェスチャゾーン定義データは、システムを設置するとともに、嗜好を示す一方、ユーザ４４（又は、任意の他のオペレータ）から受信される入力に基づいていてもよいし、又は、予め格納されていてもよい。

方法１のステップ７において、分析中、制御システムは、ジェスチャゾーン４８〜５２、５５、及び、５６のいずれかにおいて現在行なわれているジェスチャの認識によって、ユーザ入力が受信されるかどうかを決定する。何のユーザ入力又はジェスチャも検出されない場合、続く枝８において、ステップ５及び７におけるモニタリング及び分析が続けられる。ステップ７においてジェスチャが検出された場合、上記方法は、枝９に進む。枝９は、枝１０と枝１１とに分かれている。ここで、枝１１は、受信されるジェスチャが処理される一方で、ジェスチャゾーンのモニタリングが続けられることを保証する。枝１０は、受信されたジェスチャの処理と関連付けられている。

ステップ１５において受信されたジェスチャを処理するため、コントローラ６２は、ジェスチャが検出された正確なジェスチャゾーンを決定する。ジェスチャゾーン４８〜５２、５５、及び、５６の各々は、制御システム６０によって制御される装置３５、３８、及び、４３の１つの装置機能と関連付けられている。好ましくは、単一の装置機能が、複数のジェスチャゾーンと関連付けられ得る。結果、これらの関連付けられたジェスチャゾーンのいずれかにおいてジェスチャを検出することが、装置機能の制御をトリガする。しかしながら、装置機能は、単一のジェスチャゾーンと関連付けられていてもよい。当然のことながら、複数の装置機能を単一のジェスチャゾーンに関連付けることは、逆効果である。この場合、１つのジェスチャゾーンにおいて受信されたジェスチャが、当該ジェスチャゾーンと関連付けられた第１又は第２の装置機能を制御するものであるかどうかを決定するために、他の分析が必要となるためである。本発明の最も基本的な実施形態では、受信されるジェスチャに関する任意の他の情報を取得するために、如何なる他の分析も実行されず、ジェスチャゾーンは、１つの装置機能とのみ関連付けられるが、複数のジェスチャゾーンが、単一の装置機能と関連付けられていてもよい。

図２Ｂは、ジェスチャゾーン４９の中に手５８を挙げているユーザ４４を図示している。制御システム６０は、手５８がジェスチャゾーン４９の中に挙げられていることを、単純に検出する。ユーザ４４が、ジェスチャゾーン４９と関連付けられた装置機能を制御しようとしていることを単に検出するために、手５８によって実行される任意のモーションの他の分析は、必要ではない。ジェスチャゾーン４９は、ランプ４３のオンオフ切り替えと関連付けられている。従って、ジェスチャゾーン４９の中へ手５８を挙げることによって、ランプ４３が、点灯される。このことが、図２Ｂにおいて、符号５９で概略的に示されている。

図１の方法では、ステップ７において、ジェスチャゾーン４８〜５２、５５、又は、５６の１つが、ユーザ入力を受信したことが検出される。次いで、枝１０において、ユーザ入力の処理が、ステップ１５において始まる。一方、システムは、ステップ５及び７におけるモニタリング及び分析を続ける。ステップ１５において、制御システム６０は、手５８がジェスチャゾーン４９において挙げられていることを決定し、メモリ６３から、コントローラが、ジェスチャゾーン４９がランプ４３のオンオフ切り替えと関連付けられていることを示すデータを取得する。上記方法１のステップ２３において、ランプ４３をオンに切り替えるための対応する制御信号が、無線信号７２，７５によって、ランプ４３に送信される。

重要なことに、以下で説明されるステップ１７〜２０は、方法１に対して、オプションのステップであることに留意すべきである。図１において、これらのステップ１７〜２０は、例示的な目的のために図示されている。しかしながら、図１の方法１は、異なる実施形態において、ステップ１７〜２０を省略し、ステップ１５からステップ２３へジャンプすることができる。

ステップ１７〜２０は、キャプチャされたビデオイメージから追加的な情報を取得するために、制御システムのコントローラ６２によって実行され得るオプションの追加的なステップを示している。例えば、ステップ１７において、コントローラ６２は、イメージからユーザ４４を認識するために、受信されたビデオイメージについてパターン認識解析を実行する。ステップ１７によって、制御システム６０は、どのユーザがどの入力を供給したのかを認識することができる。又は、代替的に、入力が既知のユーザから受信されたのか、又は、ビデオイメージに存在している未知の人から受信されたのかを認識することができる。この情報は、例えば、システムを各ユーザのためにパーソナライズするため、パーソナライズされたジェスチャゾーンのためのジェスチャゾーン定義データが存在するユーザプロファイルの使用を可能にするために使用されてもよい。例えば、ユーザ４４は、図２Ａ及び図２Ｂにおいて示されるように定義された自身のジェスチャゾーンを持っていてもよい。しかしながら、異なるユーザが、彼／彼女にとってより便利な異なる位置において定義されたジェスチャゾーンを持っていてもよい。また、入力が既知のユーザ又は未知の人から受信されたかどうかの検出を可能とすることによって、上記システムは、この情報に依存して異なるように作動してもよい。例えば、上記システムは、既知のユーザからの入力のみを許容するために、未知の人からの入力を無視するようにプログラムされてもよい。あるいは、上記システムは、未知の人が、既知のユーザが利用可能な全ての装置機能のうちの限られた数の装置機能のみを制御可能にするようにプログラムされてもよい。

ステップ１８において、コントローラは、イメージにおける２人のユーザ又は他の人の間の距離を決定する。あるいは、システムは、ユーザとイメージにおける物体などとの間の距離を決定してもよい。これは、例えば、コントローラによってモニタされるジェスチャゾーンの１又は複数の位置、形状、又は、有無を、距離に依存させるために使用され得る。例えば、テレビ３５からの特定の距離以内にユーザ４４が居る場合にのみ、図２Ａ及び図２Ｂにおけるジェスチャゾーン５６などの特定のジェスチャゾーンが、モニタされてもよい。

ステップ１９において、コントローラ６２は、モニタされる空間３０において現在行なわれている活動を認識するため、ビデオキャプチャ装置カメラ装置６８，６９から受信した１又は複数のビデオイメージのパターン認識解析を実行してもよい。例えば、ステップ１９において、コントローラ６２は、ユーザ４４が、テーブル３３の方へ歩いていくのを検出してもよく、これに応じて、モニタリングのため、テーブル３３の上のジェスチャゾーン５５を活性化させてもよい。あるいは、コントローラ６２は、ステップ１９において、ユーザ又は他の人がシート又はテーブル３３近くの他のシートに座っているかどうかを検出してもよく、これに応じて、ジェスチャゾーン５５を活性化させてもよい。当然のことながら、他の現在行なわれている活動の検出、及び、それに対する所望の反応が、ステップ１９を通じて実装されてもよい。

ステップ２０において、コントローラ６２は、カメラ装置６８，６９から受信したビデオイメージから深さ情報を確立する。これは、様々な態様においてなされ得る。深さ情報は、単一のビデオキャプチャ装置カメラ装置を用いてキャプチャされたビデオイメージから取得され得る。このことが、図４及び図５を参照して、以下説明される。

図１において、ステップ１７〜２０は、（互いに並行して）同時に実行されるように、概略的に図示されている。当然のことながら、ステップ１７〜２０は、本発明にとってそれぞれ完全にオプションであり、任意の所望の順序で連続的に実施されてもよい。本発明は、図１に図示されるこれらのステップの特定の順序及びタイミングに限定されない。

図４は、ただ１つのカメラ装置８０しかない場合に、どのようにして、ビデオキャプチャ装置カメラ装置が、キャプチャされたイメージから深さ情報を取得することができるのかを概略的に図示している。カメラ装置８０は、人８３をモニタする。図４に示される位置において、人８３は、カメラ装置８０によってキャプチャされるイメージを下から上まで完全に満たしている。人８３の高さが、Ｈで示されている。人８３は、カメラ装置８０から距離Ｄ１の位置に立っている。カメラ８０の視野は、８５で示されている。カメラ８０は、地面の上、高さ８１に位置している。人８３´は、人８３と同じ人である。ただし、人８３´は、カメラ８０から更に後ろの距離Ｄ２の位置にいる。人８３´によって示される位置において、人の足から頭までの高さＨは、イメージのより小さい領域を満たしており、従って、人は、カメラ装置８０によってキャプチャされたイメージ上でより小さくなる。高さＨを知ることによって、又は、イメージに対して人が移動した場合の相対的な高さを比較することによって、カメラ装置８０によってキャプチャされたイメージから、深さ情報が、制御システムによって、取得されることができる。第１の位置における人８３の距離、第２の位置における人８３´の距離、及び、後ろの壁８８の距離が、それぞれ、Ｄ１、Ｄ２、Ｄ３で示されている。

図５は、ビデオキャプチャ装置を形成している２つのカメラ装置９０，９１を用いる場合、どのようにして、イメージから深さ情報が取得されるのかを概略的に図示している。カメラ装置９０の視野が、点線９２ａ、９２ｂで概略的に示されている。また、カメラ装置９１の視野が、点線９４ａ、９４ｂで概略的に示されている。（概略的に図示された）２人の人９５，９６が、カメラ９０とカメラ９１との両方の視野において立っている。カメラ９０のイメージ上の人９５のエッジが、実線１０７−１、１０７−２で示されている。また、カメラ９０のイメージ上の人９６のエッジが、実線１０８−１、１０８−２で示されている。カメラ９１のイメージにおいて、実線１０２−１、１０２−２は、人９５の輪郭を示しており、実線１０３−１、１０３−２は、人９６の輪郭を示している。人９５と人９６との間において、モニタされるジェスチャゾーン１００が、存在している。

明らかに、カメラ９１のイメージにおいて、人９５と人９６とを区別することは困難であり、不可能でさえある。これは、人９６が、人９５のずっと後ろに立っているためである。さらに、人９６がジェスチャゾーン１００へ手を伸ばした場合、このことは、カメラ９１によって検出されない。ジェスチャゾーン１００は、人９５の後ろに配置されており、見えないためである。カメラ９０のイメージにおいて、人９５と人９６との両方、及び、ジェスチャゾーン１００が、完全に見えている。従って、ジェスチャゾーン１００へ手を伸ばして人９６によって実行されたジェスチャは、カメラ９０によってキャプチャされたビデオイメージから検出されることができる。カメラ９０，９１によってキャプチャされたビデオイメージから、異なる人９５，９６を区別可能とするための深さ情報が取得されることができ、ジェスチャ１００が常にモニタされ、オブジェクト間の距離情報（例えば、人９５と人９６との間の距離）さえ抽出できる。

本発明の方法及びシステムは、従来技術のジェスチャベースの制御システム及び方法より優れた、様々な利点を供給する。例えば、本発明のシステムは、イメージにおいてパターン認識を実行するための先進的な分析アルゴリズムを基本的に必要とせずに、多くの装置機能を制御することができる。ジェスチャゾーンにおいて身体（手など）を単純に検出することは、制御される装置機能を識別するのに十分である。ブールパラメータ（０又は１、左又は右など）によって制御される装置機能のため、ジェスチャゾーンにおいて身体の存在を単に検出することは、機能の完全な制御を供給するのに十分である。さらに、ジェスチャゾーンのモニタのみを必要とすることによって、他のタスクのために多くの演算能力が節約され、エネルギー消費を減少させる。これは、ジェスチャゾーンの検出のために完全なイメージのモニタを必要としないためである。より進んだ設定では、ジェスチャゾーンのみ、又は、そのうちの小さな領域のみをモニタし、より小さな領域において一旦活動が検出されるとモニタリングの領域を拡大することも可能である。これは、例えば、活動の単純検出を最初に実行することを可能にし、活動が検出された後で進んだ分析を追加することを可能にする。上記のより進んだ分析は、モーションパターンの認識、又は、図１と関連して上述されたステップ１７〜２０のいずれかを含むことができる。さらに、これらのステップ１７〜２０は、既に上述したような制御システムを動作させるために実装される標準プロセスの一部であってもよい。

本発明が、本発明の特定の実施形態と関連して説明されてきた。当然のことながら、図面に示され、ここで説明された実施形態は、例示の説明のみのために意図されており、本発明を限定する意図は決してない。ここで議論された本発明の文脈は、添付の請求項の範囲によって単に限定される。

Claims (15)

1. 装置を制御するための制御システムを動作させる方法であって、前記制御システムは、モーションキャプチャ装置と、前記装置の１又は複数の装置機能を制御するための制御信号を供給するコントローラと、を有し、前記方法は、
   前記モーションキャプチャ装置によって、空間のモーションピクチャイメージを取得するとともに、前記コントローラに前記モーションピクチャイメージを供給するステップと、
   前記空間におけるユーザからのユーザ入力を検出するため、前記コントローラによって、前記モーションピクチャイメージを分析するとともに、前記コントローラによって、前記ユーザによって実行されたジェスチャを検出するステップと、
   前記１又は複数の装置機能の選択された装置機能を制御するため、前記コントローラによって、前記ジェスチャの前記検出に応じて、前記装置に制御信号を供給するステップと、
   を有し、
   前記分析するステップは、前記コントローラが前記モーションピクチャイメージにおける１又は複数のジェスチャゾーンをモニタすることによって、実行され、前記ジェスチャゾーンの各々は、前記１又は複数の装置機能の各装置機能の１つと関連付けられており、前記制御信号を供給するため、前記コントローラは、前記ジェスチャゾーンを決定し、前記ジェスチャは、前記選択された装置機能を制御するために検出される、方法。
2. 前記モニタされるジェスチャゾーンの少なくとも１つが、前記空間に存在するエンティティと固定されるとともに、前記モーションピクチャイメージの少なくとも１つにおいて可視的であり、前記エンティティが、物体又は空間的特徴の少なくとも１つであり、前記空間的特徴が、前記空間を規定している環境の特徴である、請求項１記載の方法。
3. 前記モニタされるジェスチャゾーンの少なくとも１つが、前記空間に存在するエンティティと固定されるとともに、前記モーションピクチャイメージの少なくとも１つにおいて可視的であり、前記エンティティが、前記ユーザ又は他の人の少なくとも１つである、請求項１又は２に記載の方法。
4. 複数のジェスチャゾーンが、前記ユーザに固定されており、これにより、前記固定されたジェスチャゾーンの各々が、前記ユーザに対して異なる位置に配置され、前記固定されたジェスチャゾーンが、つながっておらず、且つ、重なっていない、請求項３記載の方法。
5. 前記モニタされるジェスチャゾーンのジェスチャゾーン定義データが、前記コントローラによる、前記ジェスチャゾーン定義データを含むデータリポジトリへのアクセス、あるいは、無線又は有線ネットワークを通じた前記ジェスチャゾーン定義データの受信、の少なくとも１つによって、取得される、請求項１乃至４のいずれか１項に記載の方法。
6. 前記ユーザ又は他の人の認識のため、前記コントローラによって、前記モーションピクチャイメージの１又は複数について、パターン認識解析を実行するステップを更に有する、請求項１乃至５のいずれか１項に記載の方法。
7. 前記ユーザを認識する際、前記コントローラが、前記認識されるユーザと関連付けられたジェスチャゾーンプロファイルにアクセスするステップを更に有し、前記ジェスチャゾーンプロファイルが、前記認識されるユーザのためにカスタマイズされたジェスチャゾーン定義データを含み、前記ジェスチャゾーンプロファイルが、前記認識されるユーザによるユーザ入力を検出するための前記モーションピクチャイメージの前記分析を実行するため、前記コントローラによって用いられる、請求項６記載の方法。
8. 前記コントローラによってモニタされる前記ジェスチャゾーンの１又は複数の位置、形状、又は、有無のうちの少なくとも１つが、前記コントローラによって認識される１又は複数のユーザ及び／又は他の人の有無に依存しており、前記コントローラが、前記認識に依存する様々なジェスチャゾーン定義データを用いる、請求項６又は７に記載の方法。
9. ２人のユーザ及び／又は他の人の間の距離を決定するステップを更に有し、前記コントローラによってモニタされる前記ジェスチャゾーンの１又は複数の位置、形状、又は、有無のうちの少なくとも１つが、前記距離に依存する、請求項６乃至８のいずれか１項に記載の方法。
10. 前記コントローラが、前記空間において現在行なっている活動の認識のための前記モーションピクチャイメージの１又は複数について、パターン認識解析を実行するステップを更に有し、
    前記コントローラによってモニタされる前記ジェスチャゾーンの１又は複数の位置、形状、又は、有無のうちの少なくとも１つが、前記活動の前記認識に依存し、前記コントローラが、前記活動の前記認識に依存する様々なジェスチャゾーン定義データを用いる、請求項１乃至９のいずれか１項に記載の方法。
11. 前記モーションピクチャイメージから深さ情報を確立するステップを更に有し、前記方法が、
    前記分析するステップが、前記モーションピクチャイメージから深さ情報を取得するための２以上のカメラユニットを用いて取得されたモーションピクチャイメージを分析することによって実行される、
    前記分析するステップが、前記深さ情報を確立するために、前記モーションピクチャイメージにおける物体及び／又はユーザ及び／又は他の人のサイズ分析を行なうステップを有する、
    のうちの少なくとも１つを有する、請求項１乃至１０のいずれか１項に記載の方法。
12. モーションキャプチャ装置と、装置の１又は複数の装置機能を制御するための制御信号を供給するためのコントローラと、を有する制御システム上で実行される場合、請求項１乃至１１のいずれか１項に記載の方法に従って、前記制御システムを動作させることが可能である、コンピュータプログラム製品。
13. 装置を制御するための制御システムであって、前記制御システムは、モーションキャプチャ装置と、前記装置の１又は複数の装置機能を制御するための制御信号を供給するコントローラと、を有し、
    前記モーションキャプチャ装置は、空間のモーションピクチャイメージを取得するとともに、前記コントローラに前記モーションピクチャイメージを供給するように構成され、
    前記コントローラは、前記空間におけるユーザからのユーザ入力を検出するため、前記モーションピクチャイメージを分析するとともに、前記ユーザによって実行されたジェスチャを検出するように構成され、
    前記コントローラは、前記１又は複数の装置機能の選択された装置機能を制御するため、前記ジェスチャの前記検出に応じて、前記装置に制御信号を供給するように構成され、
    前記分析を実行するため、前記コントローラは、前記モーションピクチャイメージにおける１又は複数のジェスチャゾーンをモニタするように構成され、前記ジェスチャゾーンの各々は、前記複数の装置機能の各装置機能の１つと関連付けられており、前記制御信号を供給するため、前記コントローラは、前記ジェスチャゾーンを決定するように構成され、前記ジェスチャは、前記選択された装置機能を制御するために検出される、制御システム。
14. 前記コントローラによってモニタされる前記ジェスチャゾーンのジェスチャゾーン定義データを格納するためのデータリポジトリ、
    前記コントローラによってモニタされる前記ジェスチャゾーンのジェスチャゾーン定義データを受信するための無線又は有線通信ユニット、
    のうちの少なくとも１つを更に有する、請求項１３記載の制御システム。
15. 前記モーションキャプチャ装置が、１又は複数のカメラユニットを含み、前記コントローラが、前記１又は複数のカメラユニットによって受信されるモーションピクチャイメージから深さ情報を確立するように構成される、請求項１３又は１４に記載の制御システム。

Images