JP2012185833A - ジェスチャ入力装置およびジェスチャ入力装置の制御方法 - Google Patents

Abstract

【課題】ユーザの意図しない動作を有効なジェスチャとして誤認識することを防ぐ。
【解決手段】ユーザのジェスチャに基づいて制御対象機器３を制御するジェスチャ入力装置１は、カメラ２が撮像した画像から検出したジェスチャに判定ジェスチャが含まれているか否かを判断する判定ジェスチャ判断部３２と、カメラ２が撮像した画像から検出したジェスチャに操作ジェスチャが含まれているか否かを判断する操作ジェスチャ判断部３４と、判定ジェスチャの認識期間中に、操作ジェスチャ判断部が含まれていると判断した操作ジェスチャに対応付けられている制御信号を生成し、制御対象機器３に生成した制御信号を送信する機器制御部２３とを備える。
【選択図】図１

Description

本発明は、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成するジェスチャ入力装置およびジェスチャ入力装置の制御方法に関するものである。

近年、カメラを用いたユーザのジェスチャによる情報入力装置は、次世代インターフェースとして期待されている。この情報入力装置においては、ユーザのジェスチャを正確に認識できることが望ましい。そこで、従来、ユーザのジェスチャを高精度に認識するための技術が開発されている。

例えば、特許文献１には、ユーザが所持するペンライトの点灯によりジェスチャの開始を認識し、当該ペンライトの消灯によりジェスチャの終了を認識するジェスチャ認識装置であって、上記開始から終了までのペンライトの移動状態に基づいてジェスチャの種別を認識するジェスチャ認識装置が記載されている。

また、上記特許文献１に記載の技術の課題を解決するものとして、特許文献２に記載の技術がある。特許文献２には、周期性のある手のジェスチャ認識に関して、隠れマルコフモデルを利用して、特許文献１に記載の技術のように、ユーザがジェスチャの始点および終点を提示しなくても、連続したジェスチャを高精度に認識するジェスチャ認識装置が記載されている。

さらに、特許文献３には、カメラで撮像されたユーザの画像からユーザのジェスチャおよび視線を検出し、検出したジェスチャが選択ジェスチャであって、ユーザの視線が選択ジェスチャで選択した制御機器に向いている場合、当該制御機器を操作対象として選択し、検出したジェスチャが操作ジェスチャの場合、操作対象とした制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作ジェスチャ認識装置が記載されている。

特開平９−３１１７５９号公報（１９９７年１２月２日公開） 特開２００７−８７０８９号公報（２００７年４月５日公開） 特開２００９−３７４３４号公報（２００９年２月１９日公開）

しかしながら、上述のような従来技術は、それぞれ下記の問題がある。

ジェスチャによる入力装置は、ユーザがリモコンやキーボード等の入力装置を所持または使用することなく、機器を制御できるという利点を有している。しかしながら、特許文献１に記載の技術では、ジェスチャの開始と終了のタイミングを認識するために、ペンライト等の所定の物体を利用している。そのため、上記のジェスチャによる入力装置の利点を得ることができず、特許文献１に記載のジェスチャ認識装置は、ユーザにとって不便なものである。

また、特許文献２に記載の技術では、ジェスチャを認識するための物を必要としないが、ユーザの意図しない動作も、制御対象機器を操作するためのジェスチャとして認識するため、制御対象機器が誤動作する虞がある。

また、特許文献３に記載の技術は、所定のジェスチャを認識し、かつ、制御機器の方向にユーザの顔が向いている場合、当該制御機器を制御する対象の機器として選択したり、ジェスチャに基づく制御を実行したりする。特許文献３には、ユーザが操作対象の制御機器の方向を向いた状態で行われたジェスチャは、ユーザが意図したジェスチャである可能性が高いと記載されている。

しかしながら、制御機器が動作中の場合、ユーザが制御機器を見ている（監視している）ことは普通に考えられることであり、ユーザの視線が制御機器を向いている場合であっても、ユーザが意図せず制御機器を操作するためのジェスチャを行ってしまうことは十分に考えられる。

例えば、制御機器がテレビの場合、テレビが動作中、ユーザの顔はテレビの方向に向いていることが多く、ユーザの視線方向を検出することでは、ジェスチャがユーザの意図したものであるか否かを正確に判別することは難しい。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザの意図しない動作を有効なジェスチャとして誤認識することを防ぐジェスチャ入力装置およびジェスチャ入力装置の制御方法を実現することにある。

本発明に係るジェスチャ入力装置は、上記課題を解決するために、ユーザのジェスチャ動作に基づいて制御機器を制御するジェスチャ入力装置であって、カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出手段と、上記ジェスチャ検出手段が検出したジェスチャから第１ジェスチャが含まれていることを判断する第１ジェスチャ判断手段と、上記ジェスチャ検出手段が検出したジェスチャから第２ジェスチャが含まれていることを判断する第２ジェスチャ判断手段と、上記第１ジェスチャが含まれていると上記第１ジェスチャ判断手段が判断している期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に上記第２ジェスチャが含まれていると上記第２ジェスチャ判断手段が判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成手段と、上記制御信号生成手段が生成した制御信号を上記制御機器に送信する送信手段とを備えることを特徴としている。

本発明に係るジェスチャ入力装置の制御方法は、上記課題を解決するために、ユーザのジェスチャ動作に基づいて制御機器を制御するジェスチャ入力装置の制御方法であって、カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出ステップと、上記ジェスチャ検出ステップにおいて検出されたジェスチャに第１ジェスチャが含まれていることを判断する第１ジェスチャ判断ステップと、上記ジェスチャ検出ステップにおいて検出されたジェスチャに第２ジェスチャが含まれていることを判断する第２ジェスチャ判断ステップと、上記第１ジェスチャ判断ステップにおいて上記第１ジェスチャが含まれていると判断されている期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に、上記第２ジェスチャ判断ステップにおいて上記第２ジェスチャが含まれていると判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成ステップと、上記制御信号を上記制御機器に送信する送信ステップとを含むことを特徴としている。

上記の構成によれば、上記制御信号生成手段は、上記第２ジェスチャ判断手段が、上記第２ジェスチャ有効期間中に、上記ジェスチャ検出手段の検出したジェスチャに含まれていると判断した第２ジェスチャを、上記制御信号を生成するための有効なものとする。そして、上記制御信号生成手段は、上記第２ジェスチャ判断手段が、上記第２ジェスチャ有効期間中に、含まれていると判断した第２ジェスチャに対応する制御信号を生成し、上記送信手段が当該制御信号を制御機器に送信する。

換言すると、上記制御信号生成手段は、上記第２ジェスチャ有効期間中に上記第２ジェスチャ判断手段が判断したものでなければ、上記第２ジェスチャ判断手段が含まれていると判断した第２ジェスチャであっても、当該第２ジェスチャに基づいて上記制御信号を生成しない。

そのため、ユーザが意図せず第２ジェスチャをしたとしても、ユーザが同時に第１ジェスチャをしていなければ、上記制御信号生成手段が当該第２ジェスチャに基づいて制御信号を生成することはない。従って、上記ジェスチャ入力装置は、第１ジェスチャを認識している期間中の第２ジェスチャのみを有効とするという処理によって、ユーザが意図せず第２ジェスチャをしたことによる誤動作を防ぐことができる。

本発明に係るジェスチャ入力装置は、上記制御信号生成手段は、上記第２ジェスチャと上記制御機器を制御するための制御信号とが対応付けられている制御信号テーブルを参照して、上記制御信号を生成することが好ましい。

上記の構成によれば、上記制御信号生成手段は、上記制御信号テーブルを参照し、上記第２ジェスチャ判断手段が、上記第２ジェスチャ有効期間中に、上記ジェスチャ検出手段の検出したジェスチャに含まれていると判断した第２ジェスチャに対応する制御信号を生成する。そのため、予め、制御機器の各種の制御内容を規定する各制御信号に対して、それぞれ異なる第２ジェスチャを対応付けたものを上記制御信号テーブルとして設定することにより、ユーザは、所定の第２ジェスチャを実行することによって、当該第２ジェスチャに対応する制御内容の示す動作を制御機器に実行させることができる。

本発明に係るジェスチャ入力装置は、上記第１ジェスチャと上記制御機器とが対応付けられている機器選択テーブルを参照して、上記第１ジェスチャ判断手段が含まれていると判断した第１ジェスチャに対応する上記制御機器を特定する制御機器特定手段をさらに備え、上記送信手段は、上記制御機器特定手段が特定した制御機器に対して、上記制御信号を送信することが好ましい。

上記の構成によれば、上記制御機器特定手段は、上記機器選択テーブルを参照して、上記第１ジェスチャ判断手段が上記ジェスチャ検出手段の検出したジェスチャに含まれていると判断した第１ジェスチャに対応する上記制御機器を特定し、上記送信手段は、上記制御機器特定手段の特定した制御機器に対して、上記制御信号生成手段が生成した制御信号を送信する。すなわち、上記送信手段は、上記第１ジェスチャ判断手段の判断した第１ジェスチャに対応する上記制御機器に対してのみ、制御信号を送信することができる。

そのため、ユーザは、予め上記第１ジェスチャと上記制御機器の対応関係を知る（設定する）ことによって、第２ジェスチャを有効にするための第１ジェスチャを用いて、所望の制御機器のみを動作させることができる。従って、ユーザは、動作対象の制御機器を選択するために余分な操作（例えば、他のジェスチャ）をすることなく、所望の制御機器のみを動作させることができる。

本発明に係るジェスチャ入力装置は、上記ジェスチャ検出手段が検出したジェスチャから第３ジェスチャが含まれていることを判断する第３ジェスチャ判断手段と、上記第３ジェスチャと上記制御機器とが対応付けられている機器選択テーブルを参照して、上記第３ジェスチャ判断手段が含まれていると判断した第３ジェスチャに対応する上記制御機器を特定する制御機器特定手段とをさらに備え、上記送信手段は、上記制御機器特定手段が特定した制御機器に対して、上記制御信号を送信することが好ましい。

上記の構成によれば、上記制御機器特定手段は、上記機器選択テーブルを参照して、上記第３ジェスチャ判断手段が上記ジェスチャ検出手段の検出したジェスチャに含まれていると判断した第３ジェスチャに対応する上記制御機器を特定し、上記送信手段は、上記制御機器特定手段の特定した制御機器に対して、上記制御信号生成手段が生成した制御信号を送信する。すなわち、上記送信手段は、上記第３ジェスチャ判断手段の判断した第３ジェスチャに対応する上記制御機器に対してのみ、制御信号を送信することができる。

そのため、ユーザは、予め上記第３ジェスチャと上記制御機器の対応関係を知る（設定する）ことによって、第３ジェスチャを用いて所望の制御機器のみを動作させることができる。従って、ユーザは、所望の制御機器を選択して、選択した制御機器のみを動作させることができる。

本発明に係るジェスチャ入力装置は、ユーザを認証するユーザ認証手段をさらに備え、
上記ジェスチャ検出手段は、上記ユーザ認証手段が認証したユーザのジェスチャを検出することが好ましい。

上記の構成によれば、上記ジェスチャ検出手段は、上記ユーザ認証手段が認証したユーザのジェスチャを検出する。換言すると、上記ジェスチャ検出手段は、上記ユーザ認証手段が認証したユーザのジェスチャのみを検出する。

そのため、仮に、上記カメラが撮像した画像に、他の人物のジェスチャや、ジェスチャとして誤検出してしまう背景画像等が含まれていたとしても、上記ジェスチャ検出手段は、上記カメラが撮像した画像のうち、上記ユーザ認証手段が認証したユーザの身体画像のみをジェスチャの検出対象領域とする。従って、上記ジェスチャ入力装置（上記ジェスチャ検出手段、上記第１ジェスチャ判断手段および上記第２ジェスチャ判断手段）が実行する処理負荷を低減することができる。

本発明に係るジェスチャ入力装置は、上記ユーザ認証手段は、上記カメラが撮像した画像に基づいて、ユーザを認証することが好ましい。

上記の構成によれば、上記ユーザ認証手段は、上記カメラが撮像した画像に基づいてユーザを認証する。換言すると、上記ユーザ認証手段は、ユーザのジェスチャを認識するための画像に基づいてユーザを認証する。そのため、ユーザの画像を利用しないでユーザを認証する他の認証方法と比較して、ユーザを認証するための装置の構成を簡素化することができる。

なお、上記ジェスチャ入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ入力装置の各手段として動作させることにより、上記ジェスチャ入力装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係るジェスチャ入力装置は、カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出手段と、上記ジェスチャ検出手段が検出したジェスチャから第１ジェスチャが含まれていることを判断する第１ジェスチャ判断手段と、上記ジェスチャ検出手段が検出したジェスチャから第２ジェスチャが含まれていることを判断する第２ジェスチャ判断手段と、上記第１ジェスチャが含まれていると上記第１ジェスチャ判断手段が判断している期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に上記第２ジェスチャが含まれていると上記第２ジェスチャ判断手段が判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成手段と、上記制御信号生成手段が生成した制御信号を上記制御機器に送信する送信手段とを備えている構成である。

また、本発明に係るジェスチャ入力装置の制御方法は、カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出ステップと、上記ジェスチャ検出ステップにおいて検出されたジェスチャに第１ジェスチャが含まれていることを判断する第１ジェスチャ判断ステップと、上記ジェスチャ検出ステップにおいて検出されたジェスチャに第２ジェスチャが含まれていることを判断する第２ジェスチャ判断ステップと、上記第１ジェスチャ判断ステップにおいて上記第１ジェスチャが含まれていると判断されている期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に、上記第２ジェスチャ判断ステップにおいて上記第２ジェスチャが含まれていると判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成ステップと、上記制御信号を上記制御機器に送信する送信ステップとを含む。

従って、上記ジェスチャ入力装置は、第１ジェスチャを認識している期間中の第２ジェスチャのみを有効とするという簡単な処理によって、ユーザが意図せず第２ジェスチャをしたことによる誤動作を防ぐことができる。

本発明の第１の実施形態を示すものであり、ジェスチャ入力装置の要部構成の一例を示すブロック図である。 上記ジェスチャ入力装置が備える記憶部に格納されている判定ジェスチャ情報の一例を示す図である。 上記記憶部に格納されている操作ジェスチャ情報の一例を示す図である。 上記記憶部に格納されている制御信号テーブルの一例を示す図である。 上記ジェスチャ入力装置におけるジェスチャ認識処理の一例を示すフローチャートである。 上記ジェスチャ入力装置が制御信号を送信する送信先である制御対象機器の記憶部に格納されている処理制御テーブルの一例を示す図である。 上記ジェスチャ入力装置が備える記憶部に格納されている操作ジェスチャテーブルの一例を示す図である。 本発明の第２の実施形態を示すものであり、ジェスチャ入力装置の要部構成の一例を示すブロック図である。 上記ジェスチャ入力装置が備える記憶部に格納されている機器選択テーブルの一例を示す図である。 上記ジェスチャ入力装置におけるジェスチャ認識処理の一例を示すフローチャートである。 本発明の第３の実施形態を示すものであり、ジェスチャ入力装置の要部構成の一例を示すブロック図である。 上記ジェスチャ入力装置が備える記憶部に格納されている個人特定テーブルの一例を示す図である。 上記ジェスチャ入力装置におけるジェスチャ認識処理の一例を示すフローチャートである。 上記ジェスチャ入力装置が備える記憶部に格納されている判定ジェスチャテーブルの一例を示す図である。

＜第１の実施形態＞
本発明の第１の実施形態について図１から図７に基づいて説明すると以下の通りである。

〔ジェスチャ入力装置の構成〕
図１は、ジェスチャ入力装置１の要部構成の一例を示すブロック図である。図１に示すように、ジェスチャ入力装置１は、制御部１１、記憶部１２、画像入力部１３および通信部１４を備えている。なお、ジェスチャ入力装置１は、表示部、操作部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

画像入力部１３は、カメラ２が撮像した画像を取得するものである。本発明では、カメラ２は、ユーザの全身またはその一部を撮像するものであり、画像入力部１３は、ユーザの全身またはその一部を含む画像を取得する。

通信部１４は、無線通信手段または有線通信手段によって、制御対象機器（制御機器）３等の他の装置と通信を行い、制御部１１の指示に従って、データのやりとりを行うものである。具体的には、通信部１４は、制御部１１の指示に従って、制御対象機器３に制御信号を送信する。

制御対象機器３とは、例えば、テレビ、エアコン、ＰＣ等の家電機器である。ただし、これに限るものではなく、制御信号を受信し、受信した制御信号に基づいて処理を実行する機器であれば何でもよい。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ入力装置１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、判定ジェスチャ認識部２１、操作ジェスチャ認識部２２および機器制御部（制御信号生成手段、送信手段）２３を備える構成である。これらの制御部１１の各機能ブロック（２１〜２３）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

判定ジェスチャ認識部２１は、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを検出し、検出したジェスチャに判定ジェスチャが含まれているか否かを判断するものである。

ここで、ユーザのジェスチャとは、顔（目、口等）、手、腕、胴、脚等のユーザの身体の所定の形状もしくは所定の動作、または、それらの組み合わせを意味する。例えば、ジェスチャの例として、左手の掌を握った状態（握り拳）、右手の掌を開いた状態で上下に振る動作、左足を上げた状態、顔の向き（視線方向）、目の開閉動作（まばたき）、口を開く動作等がある。

また、判定ジェスチャ（第１ジェスチャ）とは、予め定めた１つまたは複数の所定のジェスチャであって、後述の操作ジェスチャの認識を有効にするためのジェスチャである。

判定ジェスチャ認識部２１は、具体的には、特定部位情報取得部（ジェスチャ検出手段）３１および判定ジェスチャ判断部（第１ジェスチャ判断手段）３２を備えている。

特定部位情報取得部３１は、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成するものである。特定部位情報取得部３１は、生成した特定部位情報を判定ジェスチャ判断部３２に出力する。

なお、特定部位情報とは、換言すると、顔（目、口等）、手、腕、胴、脚等のユーザの特定の部位の形状または動作を示す情報である。つまり、特定部位情報とは、ユーザの所定のジェスチャを示す情報である。

判定ジェスチャ判断部３２は、特定部位情報取得部３１から特定部位情報を取得し、また、記憶部１２から判定ジェスチャを示す判定ジェスチャ情報４１を読み出す。そして、判定ジェスチャ判断部３２は、取得した特定部位情報の示すジェスチャが、読み出した判定ジェスチャ情報４１の示す判定ジェスチャと一致するか否かを判断するものである。

判定ジェスチャ判断部３２は、取得した特定部位情報の示すジェスチャが、読み出した判定ジェスチャ情報４１の示す判定ジェスチャと一致すると判断した場合、その旨（判定ジェスチャ有効通知）を操作ジェスチャ認識部２２に通知する。

ここで、判定ジェスチャ有効通知は、判定ジェスチャ判断部３２が一致すると判断した判定ジェスチャを示す判定ジェスチャ情報を含むものである。

操作ジェスチャ認識部２２は、判定ジェスチャ判断部３２（判定ジェスチャ認識部２１）から判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを検出し、検出したジェスチャに操作ジェスチャが含まれているか否かを判断するものである。

ここで、操作ジェスチャ（第２ジェスチャ）とは、予め定めた１つまたは複数の所定のジェスチャであって、制御対象機器を制御するためのジェスチャである。

操作ジェスチャ認識部２２は、具体的には、特定部位情報取得部（ジェスチャ検出手段）３３および操作ジェスチャ判断部（第２ジェスチャ判断手段）３４を備えている。

特定部位情報取得部３３は、判定ジェスチャ判断部３２から判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得する。そして、特定部位情報取得部３３は、取得した画像からユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成するものである。特定部位情報取得部３３は、生成した特定部位情報を操作ジェスチャ判断部３４に出力する。

操作ジェスチャ判断部３４は、特定部位情報取得部３３から特定部位情報を取得し、また、記憶部１２から操作ジェスチャを示す操作ジェスチャ情報４２を読み出す。そして、操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャ情報４２の示す操作ジェスチャと一致するか否かを判断するものである。

操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャ情報４２の示す操作ジェスチャと一致すると判断した場合、その旨（操作ジェスチャ有効通知）を機器制御部２３に通知する。

ここで、操作ジェスチャ有効通知は、操作ジェスチャ判断部３４が一致すると判断した操作ジェスチャを示す操作ジェスチャ情報を含むものである。

機器制御部２３は、操作ジェスチャ判断部３４（操作ジェスチャ認識部２２）から操作ジェスチャ有効通知を受信すると、記憶部１２から制御信号テーブル４３を読み出す。そして、機器制御部２３は、読み出した制御信号テーブル４３において、受信した操作ジェスチャ有効通知に含まれる操作ジェスチャ情報の示す操作ジェスチャに対応付けられている制御信号を生成するものである。

機器制御部２３は、生成した制御信号を通信部１４を介して制御対象機器３に送信する。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の判定ジェスチャ情報４１、操作ジェスチャ情報４２、制御信号テーブル４３等を格納している。

記憶部１２に格納されている判定ジェスチャ情報４１、操作ジェスチャ情報４２および制御信号テーブル４３についてそれぞれ図２〜４に基づいて説明する。図２は、記憶部１２に格納されている判定ジェスチャ情報４１の一例を示す図である。また、図３は、記憶部１２に格納されている操作ジェスチャ情報４２の一例を示す図である。また、図４は、記憶部１２に格納されている制御信号テーブル４３の一例を示す図である。

図２に示す例では、記憶部１２に、「左手の握り拳」のジェスチャを示す判定ジェスチャ情報４１と、「右目の開閉動作」のジェスチャを示す判定ジェスチャ情報４１とが格納されている。すなわち、図２に示す例では、判定ジェスチャとして、「左手の握り拳」のジェスチャと、「右目の開閉動作」のジェスチャとが予め定められている。

また、図３に示す例では、記憶部１２に、「右手の人差指のみを立てた状態」のジェスチャを示す操作ジェスチャ情報４２と、「左手を上下に振る動作」のジェスチャを示す操作ジェスチャ情報４２と、「右手を左右に振る動作」のジェスチャを示す操作ジェスチャ情報４２とが格納されている。すなわち、図３に示す例では、操作ジェスチャとして、「右手の人差指のみを立てた状態」のジェスチャと、「左手を上下に振る動作」のジェスチャと、「右手を左右に振る動作」のジェスチャとが予め定められている。

また、図４に示すように、制御信号テーブル４３は、制御信号と操作ジェスチャとが対応付けられているものである。図４に示す例では、制御信号「Ｓ０１」と「右手の人差指のみを立てた状態」のジェスチャとが対応付けられており、制御信号「Ｓ０２」と「左手を上下に振る動作」のジェスチャとが対応付けられており、制御信号「Ｓ０３」と「右手を左右に振る動作」のジェスチャとが対応付けられている。

図２〜４に示す判定ジェスチャ情報４１、操作ジェスチャ情報４２および制御信号テーブル４３が記憶部１２に格納されている場合、例えば、判定ジェスチャ認識部２１が「左手の握り拳」のジェスチャおよび「右目の開閉動作」のジェスチャの少なくとも何れか１つを認識している間に、操作ジェスチャ認識部２２が「右手の人差指のみを立てた状態」のジェスチャを認識すると、機器制御部２３は、制御信号「Ｓ０１」を制御対象機器３に送信する。

このように、記憶部１２に判定ジェスチャ情報４１が複数格納されている場合、判定ジェスチャ認識部２１が何れかの判定ジェスチャを認識している期間が、操作ジェスチャ認識部２２による操作ジェスチャの認識を有効にする期間である。

なお、図２および３に示す例では、記憶部１２に判定ジェスチャ情報４１および操作ジェスチャ情報４２がそれぞれ複数格納されているが、これに限るものではない。判定ジェスチャおよび操作ジェスチャは、それぞれ、少なくとも１つ予め定められていればよいため、記憶部１２は、少なくとも１つの判定ジェスチャ情報４１および操作ジェスチャ情報４２をそれぞれ格納していればよい。

〔ジェスチャ認識処理〕
次に、第１の実施形態に係るジェスチャ入力装置１におけるジェスチャ認識処理について図５に基づいて説明する。図５は、第１の実施形態に係るジェスチャ入力装置１におけるジェスチャ認識処理の一例を示すフローチャートである。

ここで、ジェスチャ認識処理とは、ジェスチャ入力装置１がカメラ２から画像を取得し、取得した画像から判定ジェスチャおよび操作ジェスチャを認識し、認識した操作ジェスチャに基づく制御信号を制御対象機器に送信するまでの一連の処理を示す。

図５に示すように、画像入力部１３は、カメラ２が撮像した画像を取得する（Ｓ１）。次に、判定ジェスチャ認識部２１の特定部位情報取得部３１は、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成する（Ｓ２）。特定部位情報取得部３１は、生成した特定部位情報を判定ジェスチャ判断部３２に出力する。

判定ジェスチャ判断部３２は、特定部位情報取得部３１から特定部位情報を取得し、また、記憶部１２から判定ジェスチャを示す判定ジェスチャ情報４１を読み出す。そして、判定ジェスチャ判断部３２は、取得した特定部位情報の示すジェスチャが、読み出した判定ジェスチャ情報４１の示す判定ジェスチャと一致するか否かを判断する（Ｓ３）。

ここで、取得した全ての特定部位情報の示すジェスチャが、読み出した（何れかの）判定ジェスチャ情報４１の示す判定ジェスチャと一致しないと判定ジェスチャ判断部３２が判断した場合（Ｓ３でＮＯ）、Ｓ１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。一方、取得した何れかの特定部位情報の示すジェスチャが、読み出した（何れかの）判定ジェスチャ情報４１の示す判定ジェスチャと一致すると判定ジェスチャ判断部３２が判断した場合（Ｓ３でＹＥＳ）、判定ジェスチャ判断部３２は、判定ジェスチャ有効通知を操作ジェスチャ認識部２２に通知する。

操作ジェスチャ認識部２２の特定部位情報取得部３３は、判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成する（Ｓ４）。特定部位情報取得部３３は、生成した特定部位情報を操作ジェスチャ判断部３４に出力する。

操作ジェスチャ判断部３４は、特定部位情報取得部３３から特定部位情報を取得し、また、記憶部１２から操作ジェスチャを示す操作ジェスチャ情報４２を読み出す。そして、操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャ情報４２の示す操作ジェスチャと一致するか否かを判断する（Ｓ５）。

ここで、取得した全ての特定部位情報の示すジェスチャが、読み出した（何れかの）操作ジェスチャ情報４２の示す操作ジェスチャと一致しないと操作ジェスチャ判断部３４が判断した場合（Ｓ５でＮＯ）、Ｓ１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。一方、取得した何れかの特定部位情報の示すジェスチャが、読み出した（何れかの）操作ジェスチャ情報４２の示す操作ジェスチャと一致すると操作ジェスチャ判断部３４が判断した場合（Ｓ５でＹＥＳ）、操作ジェスチャ判断部３４は、一致した操作ジェスチャを示す操作ジェスチャ情報を含む操作ジェスチャ有効通知を機器制御部２３に通知する。

機器制御部２３は、操作ジェスチャ判断部３４から操作ジェスチャ有効通知を受信すると、記憶部１２から制御信号テーブル４３を読み出す。そして、機器制御部２３は、読み出した制御信号テーブル４３において、受信した操作ジェスチャ有効通知に含まれる操作ジェスチャ情報の示す操作ジェスチャに対応付けられている制御信号を生成する（Ｓ６）。

機器制御部２３は、生成した制御信号を通信部１４を介して制御対象機器３に送信する（Ｓ７）。この後、Ｓ１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。

ところで、機器制御部２３から制御信号を受信した制御対象機器３は、受信した制御信号に基づいて所定の処理を実行する。具体的には、例えば、制御対象機器３は、不図示の記憶部を備えており、制御信号を受信すると、当該記憶部から処理制御テーブルを読み出し、読み出した処理制御テーブルにおいて、受信した制御信号に対応付けられている処理を実行する。

より詳細には、例えば、機器制御部２３が制御信号「Ｓ０１」を送信し、制御対象機器３の上記記憶部に図６に示す処理制御テーブルが格納されている場合、制御対象機器３は、図６に示す処理制御テーブルにおいて、制御信号「Ｓ０１」に対応付けられている処理「電源のＯＮ／ＯＦＦの切替」を実行する。

このように、機器制御部２３は、判定ジェスチャ認識部２１（判定ジェスチャ判断部３２）が判定ジェスチャを認識している期間中に、操作ジェスチャ認識部２２（操作ジェスチャ判断部３４）が認識した操作ジェスチャに基づいて、制御信号を生成する。換言すると、機器制御部２３は、判定ジェスチャ認識部２１が判定ジェスチャを認識している期間中に、操作ジェスチャ認識部２２が認識した操作ジェスチャを、上記制御信号を生成するための有効なものとする。

つまり、機器制御部２３は、判定ジェスチャ認識部２１が判定ジェスチャを認識している期間中に操作ジェスチャ認識部２２が認識した操作ジェスチャでなければ、操作ジェスチャ認識部２２が認識した操作ジェスチャであっても、当該操作ジェスチャに基づいて制御信号を生成しない。

そのため、ユーザが意図せず操作ジェスチャをしたとしても、ユーザが同時に判定ジェスチャをしていなければ、機器制御部２３が当該操作ジェスチャに基づいて制御信号を生成することはない。従って、ジェスチャ入力装置１は、判定ジェスチャを認識している期間中の操作ジェスチャのみを有効とするという簡単な処理によって、ユーザの意図しない動作（操作ジェスチャ）を有効なジェスチャとして誤認識することを防ぐ。

〔変形例１〕
本実施形態では、図１に示すように、ジェスチャ入力装置１と、カメラ２と、制御対象機器３とが別体となっているが、これに限るものではない。例えば、ジェスチャ入力装置１は、カメラ２もしくは制御対象機器３と一体となっていてもよいし、カメラ２および制御対象機器３と一体となっていてもよい。

〔変形例２〕
また、本実施形態では、記憶部１２に操作ジェスチャ情報４２が格納されているが、操作ジェスチャ情報４２の代わりに、操作ジェスチャテーブルが格納されていてもよい。操作ジェスチャテーブルとは、操作ジェスチャと判定ジェスチャとが対応付けられているものである。

この場合、操作ジェスチャ判断部３４は、特定部位情報取得部３３から特定部位情報を取得し、また、記憶部１２から操作ジェスチャと判定ジェスチャとが対応付けられた操作ジェスチャテーブルを読み出すと共に、判定ジェスチャ判断部３２から判定ジェスチャ有効通知を受信する。そして、操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャテーブルにおいて、判定ジェスチャ有効通知に含まれる判定ジェスチャ情報の示す判定ジェスチャに対応付けられている操作ジェスチャと一致するか否かを判断する。

操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャテーブルにおいて、判定ジェスチャ有効通知に含まれる判定ジェスチャ情報の示す判定ジェスチャに対応付けられている操作ジェスチャと一致すると判断した場合、その旨（操作ジェスチャ有効通知）を機器制御部２３に通知する。

例えば、記憶部１２に図７に示す操作ジェスチャテーブルが格納されているとする。このとき、判定ジェスチャ判断部３２が「左手の握り拳」の判定ジェスチャを認識した場合、操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、「左手の握り拳」の判定ジェスチャに対応付けられている「右手の人差指のみを立てた状態」のジェスチャか、もしくは、「左手を上下に振る動作」のジェスチャであれば、一致した操作ジェスチャを示す操作ジェスチャ情報を含む操作ジェスチャ有効通知を機器制御部２３に通知する。

また、判定ジェスチャ判断部３２が「左手の握り拳」の判定ジェスチャを認識した場合、操作ジェスチャ判断部３４の取得した特定部位情報の示すジェスチャが「右手を左右に振る動作」のジェスチャであったとしても、操作ジェスチャ判断部３４は、操作ジェスチャと一致していないと判断する。

なお、操作ジェスチャテーブルは、図７に示すように、操作ジェスチャと判定ジェスチャとが１対１または１対多で対応付けられていてもよいし、例示していないが、操作ジェスチャと判定ジェスチャとが多対１または多対多で対応付けられていてもよい。

〔変形例３〕
また、本実施形態では、判定ジェスチャ認識部２１が判定ジェスチャを認識しているときに、操作ジェスチャ認識部２２が操作ジェスチャの認識処理を実行しているが、これに限るものではない。例えば、判定ジェスチャ認識部２１の判定ジェスチャの認識処理と、操作ジェスチャ認識部２２の操作ジェスチャの認識処理を並列に実行させてもよい。

この場合、判定ジェスチャ認識部２１および操作ジェスチャ認識部２２は、それぞれ、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを検出し、検出したジェスチャに判定ジェスチャ、操作ジェスチャが含まれているか否かを判断する。判定ジェスチャ認識部２１および操作ジェスチャ認識部２２は、それぞれ、判定ジェスチャ、操作ジェスチャが含まれていると判断すると、その旨を示す判定ジェスチャ有効通知、操作ジェスチャ有効通知を機器制御部２３に送信する。

機器制御部２３は、判定ジェスチャ有効通知および操作ジェスチャ有効通知の両方を受信している場合、受信した操作ジェスチャ有効通知の示す操作ジェスチャに基づいて、制御信号を生成する。

換言すると、機器制御部２３は、判定ジェスチャ認識部２１が判定ジェスチャを認識している期間を、操作ジェスチャ認識部２２による操作ジェスチャの認識を有効とする操作ジェスチャ有効期間（第２ジェスチャ有効期間）として設定する。そして、機器制御部２３は、操作ジェスチャ認識部２２が上記操作ジェスチャ有効期間中に認識した操作ジェスチャに基づいて制御信号を生成する。

なお、制御信号テーブルにおいて制御信号と操作ジェスチャと判定ジェスチャとが対応付けられている場合、機器制御部２３は、受信した判定ジェスチャ有効通知の示す判定ジェスチャ、および、受信した操作ジェスチャ有効通知の示す操作ジェスチャに基づいて、制御信号を生成してもよい。
＜第２の実施形態＞
本発明の第２の実施形態について図８から図１０に基づいて説明すれば、以下のとおりである。

第２の実施形態に係るジェスチャ入力装置は、判定ジェスチャに基づいて、複数の制御対象機器の中から１つ選択し、選択した制御対象機器に対して操作ジェスチャに基づく制御信号を送信するものである。第２の実施形態に係るジェスチャ入力装置は、判定ジェスチャを認識している期間中にのみ、操作ジェスチャの認識を有効にするという点では、第１の実施形態に係るジェスチャ入力装置と同じである。以下では、第２の実施形態に係るジェスチャ入力装置において、第１の実施形態に係るジェスチャ入力装置と異なる特徴について、主に説明する。

なお、説明の便宜上、上記の第１の実施形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。また、上記の第１の実施形態において定義した用語については、特に断らない限り本実施の形態においてもその定義に則って用いるものとする。

〔ジェスチャ入力装置の構成〕
図８は、第２の実施形態に係るジェスチャ入力装置１ａの要部構成の一例を示すブロック図である。図８に示すように、ジェスチャ入力装置１ａは、制御部１１ａ、記憶部１２ａ、画像入力部１３および通信部１４を備えている。

第２の実施形態では、ジェスチャ入力装置１ａによって制御する対象である制御対象機器３が複数ある。図８に示す例では、制御対象機器３として、テレビ３ａ、エアコン３ｂおよびＰＣ３ｃがある。

制御部１１ａは、記憶部１２ａから一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ入力装置１ａが備える各部を統括的に制御するものである。

本実施形態では、制御部１１ａは、機能ブロックとして、判定ジェスチャ認識部２１、操作ジェスチャ認識部２２、機器制御部２３ａおよび機器選択部（制御機器特定手段）２４を備える構成である。これらの制御部１１ａの各機能ブロック（２１、２２、２３ａおよび２４）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部に読み出して実行することで実現できる。

機器選択部２４は、判定ジェスチャ判断部３２から判定ジェスチャ有効通知を受信すると、記憶部１２ａから機器選択テーブル４４を読み出す。そして、機器選択部２４は、読み出した機器選択テーブル４４において、受信した判定ジェスチャ有効通知に含まれる判定ジェスチャ情報の示す判定ジェスチャに対応付けられている制御対象機器を、制御信号の送信先の制御対象機器として特定するものである。

ここで、機器選択部２４が特定した制御信号の送信先の制御対象機器を信号送信先機器と称する。機器選択部２４は、特定した信号送信先機器を示す信号送信先機器情報を機器制御部２３ａに送信する。

機器制御部２３ａは、操作ジェスチャ判断部３４（操作ジェスチャ認識部２２）から操作ジェスチャ有効通知を受信すると、記憶部１２ａから制御信号テーブル４３を読み出す。そして、機器制御部２３ａは、読み出した制御信号テーブル４３において、受信した操作ジェスチャ有効通知に含まれる操作ジェスチャ情報の示す操作ジェスチャに対応付けられている制御信号を生成するものである。

機器制御部２３ａは、機器選択部２４から信号送信先機器情報を受信し、受信した信号送信先機器情報の示す制御対象機器３に、生成した制御信号を、通信部１４を介して送信する。

記憶部１２ａは、制御部１１ａが参照するプログラムやデータ等を格納するものであり、例えば、上記の判定ジェスチャ情報４１、操作ジェスチャ情報４２、制御信号テーブル４３、機器選択テーブル４４等を格納している。

記憶部１２ａに格納されている機器選択テーブル４４について図９に基づいて説明する。図９は、記憶部１２ａに格納されている機器選択テーブル４４の一例を示す図である。

図９に示すように、機器選択テーブル４４は、判定ジェスチャと制御対象機器３とが対応付けられているものである。図９に示す例では、「左手の握り拳」のジェスチャと制御対象機器「テレビ」とが対応付けられており、「右目の開閉動作」のジェスチャと制御対象機器「エアコン」とが対応付けられており、「左手の人差指および中指のみが立てられた状態」のジェスチャと制御対象機器「ＰＣ」とが対応付けられている。

記憶部１２ａに図９に示す機器選択テーブル４４が格納されている場合、例えば、判定ジェスチャ認識部２１が判定ジェスチャとして「左手の握り拳」のジェスチャを認識すると、機器選択部２４は、信号送信先機器としてテレビ３ａを特定する。

〔ジェスチャ認識処理〕
次に、第２の実施形態に係るジェスチャ入力装置１ａにおけるジェスチャ認識処理について図１０に基づいて説明する。図１０は、第２の実施形態に係るジェスチャ入力装置１ａにおけるジェスチャ認識処理の一例を示すフローチャートである。

図１０に示すＳ１１〜Ｓ１３までの処理は、図５に示すＳ１〜Ｓ３までの処理と同様であるため、説明を省略する。

ここで、Ｓ１３において、取得した何れかの特定部位情報の示すジェスチャが、読み出した（何れかの）判定ジェスチャ情報４１の示す判定ジェスチャと一致すると判定ジェスチャ判断部３２が判断した場合（Ｓ１３でＹＥＳ）、判定ジェスチャ判断部３２は、判定ジェスチャ有効通知を操作ジェスチャ認識部２２および機器選択部２４に通知する。

機器選択部２４は、判定ジェスチャ判断部３２から判定ジェスチャ有効通知を受信すると、記憶部１２ａから機器選択テーブル４４を読み出す。そして、機器選択部２４は、読み出した機器選択テーブル４４において、受信した判定ジェスチャ有効通知に含まれる判定ジェスチャ情報の示す判定ジェスチャに対応付けられている制御対象機器を、制御信号の送信先の制御対象機器（信号送信先機器）として特定する（Ｓ１４）。

機器選択部２４は、特定した信号送信先機器を示す信号送信先機器情報を機器制御部２３ａに送信する。

次に、操作ジェスチャ認識部２２の特定部位情報取得部３３は、判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得して、取得した画像からユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成する（Ｓ１５）。これ以降の図１０に示すＳ１５〜Ｓ１７までの処理は、図５に示すＳ４〜Ｓ６までの処理と同様であるため、説明を省略する。

Ｓ１７において、機器制御部２３ａは、操作ジェスチャ判断部３４（操作ジェスチャ認識部２２）から操作ジェスチャ有効通知を受信すると、記憶部１２ａから制御信号テーブル４３を読み出す。そして、機器制御部２３ａは、読み出した制御信号テーブル４３において、受信した操作ジェスチャ有効通知に含まれる操作ジェスチャ情報の示す操作ジェスチャに対応付けられている制御信号を生成する。

そして、機器制御部２３ａは、機器選択部２４から信号送信先機器情報を受信し、受信した信号送信先機器情報の示す制御対象機器３に、生成した制御信号を、通信部１４を介して送信する（Ｓ１８）。この後、Ｓ１１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。

このように、機器選択部２４は、機器選択テーブル４４を参照して、判定ジェスチャ認識部２１（判定ジェスチャ判断部３２）が認識した判定ジェスチャに対応する制御対象機器３を特定し、機器制御部２３ａは、機器選択部２４の特定した制御対象機器３に対して、生成した制御信号を送信する。すなわち、機器制御部２３ａは、判定ジェスチャ認識部２１の認識した判定ジェスチャに対応する制御対象機器３に対してのみ、制御信号を送信することができる。

そのため、ユーザは、予め判定ジェスチャと制御対象機器３の対応関係を知る（機器選択テーブル４４を設定する）ことによって、操作ジェスチャを有効にするための判定ジェスチャを用いて、所望の制御対象機器３のみを動作させることができる。従って、ユーザは、動作対象の制御対象機器３を選択するために余分な操作（例えば、他のジェスチャ）をすることなく、所望の制御対象機器３のみを動作させることができる。

〔変形例４〕
第２の実施形態では、機器選択部２４は、判定ジェスチャに基づいて制御対象機器を選択しているが、これに限るものではない。例えば、機器選択部２４は、操作ジェスチャに基づいて制御対象機器を選択してもよい。この場合、機器選択テーブル４４は、操作ジェスチャと制御対象機器とが対応付けられているものである。

なお、機器選択部２４が操作ジェスチャに基づいて制御対象機器を選択する代わりに、制御信号テーブル４３に含まれる制御信号が、制御対象機器ごとの制御内容を示すものであってもよい。つまり、機器制御部２３ａは、制御信号テーブル４３を参照して、操作ジェスチャに対応する制御信号を、当該制御信号の示すまたは対応付けられている制御対象機器に対して送信すればよい。

また、機器選択部２４は、判定ジェスチャおよび操作ジェスチャと異なる選択ジェスチャ（第３ジェスチャ）に基づいて制御対象機器を選択してもよい。この場合、制御部１１ａが選択ジェスチャを認識する選択ジェスチャ認識部（特定部位情報取得部および選択ジェスチャ判断部（第３ジェスチャ判断手段））を備えていてもよいし、判定ジェスチャ認識部（第３ジェスチャ判断手段）２１または操作ジェスチャ認識部（第３ジェスチャ判断手段）２２が選択ジェスチャを認識してもよい。
＜第３の実施形態＞
本発明の第３の実施形態について図１１から図１４に基づいて説明すれば、以下のとおりである。

第３の実施形態に係るジェスチャ入力装置は、まずユーザの認証を行い、認証したユーザのジェスチャのみを検出するものである。第３の実施形態に係るジェスチャ入力装置において、認証したユーザのジェスチャのみを検出した後の処理、つまり、判定ジェスチャおよび操作ジェスチャの認識に関する処理、並びに、制御信号の生成および送信に関する処理は、第１の実施形態に係るジェスチャ入力装置における処理と同じである。以下では、第３の実施形態に係るジェスチャ入力装置において、第１の実施形態に係るジェスチャ入力装置と異なる特徴について、主に説明する。

なお、説明の便宜上、上記の第１の実施形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。また、上記の第１の実施形態において定義した用語については、特に断らない限り本実施の形態においてもその定義に則って用いるものとする。

〔ジェスチャ入力装置の構成〕
図１１は、第３の実施形態に係るジェスチャ入力装置１ｂの要部構成の一例を示すブロック図である。図１１に示すように、ジェスチャ入力装置１ｂは、制御部１１ｂ、記憶部１２ｂ、画像入力部１３および通信部１４を備えている。

制御部１１ｂは、記憶部１２ｂから一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ入力装置１ｂが備える各部を統括的に制御するものである。

本実施形態では、制御部１１ｂは、機能ブロックとして、判定ジェスチャ認識部２１ｂ、操作ジェスチャ認識部２２ｂ、機器制御部２３および顔認識部（ユーザ認証手段）２５を備える構成である。これらの制御部１１ｂの各機能ブロック（２１ｂ、２２ｂ、２３および２５）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部に読み出して実行することで実現できる。

顔認識部２５は、画像入力部１３から画像を取得して、取得した画像から人物の顔を検出し、検出した顔が登録されているユーザの顔と一致するか否かを判定し、登録されているユーザを認証するものである。具体的には、顔認識部２５は、画像入力部１３から画像を取得して、取得した画像から人物の顔を検出し、検出した顔を示す顔情報を生成する。そして、顔認識部２５は、記憶部１２ｂから個人特定テーブルを読み出し、生成した顔情報が、読み出した個人特定テーブルに含まれる顔情報と一致するか否かを判定する。

顔認識部２５は、生成した顔情報が読み出した個人特定テーブルに含まれる顔情報と一致すると判定した場合、一致した顔情報の示す顔の上記画像における位置を示す顔位置情報を含むユーザ認証情報を判定ジェスチャ認識部２１ｂおよび操作ジェスチャ認識部２２ｂに送信する。

なお、顔情報は、人物の顔の画像データであってもよいし、人物の顔の画像データから抽出した特徴量を示すデータであってもよい。顔認識部２５が実行する顔の認証処理に合わせて、顔情報を適宜設定すればよい。

判定ジェスチャ認識部２１ｂは、顔認識部２５から登録されているユーザを認証したことを示すユーザ認証情報を受信すると、画像入力部１３から画像を取得して、取得した画像から顔認識部２５の認証したユーザのジェスチャを検出し、検出したジェスチャに判定ジェスチャが含まれているか否かを判断するものである。判定ジェスチャ認識部２１ｂは、具体的には、特定部位情報取得部３１ｂおよび判定ジェスチャ判断部３２を備えている。

特定部位情報取得部３１ｂは、顔認識部２５からユーザ認証情報を受信すると、画像入力部１３から画像を取得する。次に、特定部位情報取得部３１ｂは、受信したユーザ認証情報に含まれる顔位置情報の示す画像の位置に基づいて、取得した画像における顔認識部２５の認証したユーザの（身体の）位置を特定する。そして、特定部位情報取得部３１ｂは、取得した画像の中の特定したユーザの位置部分から顔認識部２５の認証したユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成するものである。特定部位情報取得部３１ｂは、生成した特定部位情報を判定ジェスチャ判断部３２に出力する。

操作ジェスチャ認識部２２ｂは、顔認識部２５から登録されているユーザを認証したことを示すユーザ認証情報を受信し、さらに、判定ジェスチャ判断部３２（判定ジェスチャ認識部２１ｂ）から判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得して、取得した画像から顔認識部２５の認証したユーザのジェスチャを検出し、検出したジェスチャに操作ジェスチャが含まれているか否かを判断するものである。操作ジェスチャ認識部２２ｂは、具体的には、特定部位情報取得部３３ｂおよび操作ジェスチャ判断部３４を備えている。

特定部位情報取得部３３ｂは、顔認識部２５からユーザ認証情報を受信し、さらに、判定ジェスチャ判断部３２から判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得する。そして、特定部位情報取得部３３ｂは、受信したユーザ認証情報に含まれる顔位置情報の示す画像の位置に基づいて、取得した画像における顔認識部２５の認証したユーザの（身体の）位置を特定する。そして、特定部位情報取得部３３ｂは、取得した画像の中の特定したユーザの位置部分から顔認識部２５の認証したユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成するものである。特定部位情報取得部３３ｂは、生成した特定部位情報を操作ジェスチャ判断部３４に出力する。

記憶部１２ｂは、制御部１１ｂが参照するプログラムやデータ等を格納するものであり、例えば、上記の判定ジェスチャ情報４１、操作ジェスチャ情報４２、制御信号テーブル４３、個人特定テーブル４５等を格納している。

記憶部１２ｂに格納されている個人特定テーブル４５について図１２に基づいて説明する。図１２は、記憶部１２ｂに格納されている個人特定テーブル４５の一例を示す図である。

図１２に示すように、個人特定テーブル４５は、ユーザ名とユーザを認証するための顔情報とが対応付けられているものである。図１２に示す例では、ユーザ名「Ａさん」と顔情報「Ａ１２３４」とが対応付けられており、ユーザ名「Ｂさん」と顔情報「Ｂ２３４５」とが対応付けられており、ユーザ名「Ｃさん」と顔情報「Ｃ３４５６」とが対応付けられている。

〔ジェスチャ認識処理〕
次に、第３の実施形態に係るジェスチャ入力装置１ｂにおけるジェスチャ認識処理について図１３に基づいて説明する。図１３は、第３の実施形態に係るジェスチャ入力装置１ｂにおけるジェスチャ認識処理の一例を示すフローチャートである。

図１３に示すように、画像入力部１３は、カメラ２が撮像した画像を取得する（Ｓ２１）。次に、顔認識部２５は、画像入力部１３から画像を取得して、取得した画像から人物の顔を検出し、検出した顔を示す顔情報を生成する（Ｓ２２）。そして、顔認識部２５は、記憶部１２ｂから個人特定テーブルを読み出し、生成した顔情報が、読み出した個人特定テーブルに含まれる顔情報と一致するか否かを判定する（Ｓ２３）。

顔認識部２５は、生成した顔情報が読み出した個人特定テーブルに含まれる顔情報と一致しないと判定した場合（Ｓ２３でＮＯ）、Ｓ２１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。一方、顔認識部２５は、生成した顔情報が読み出した個人特定テーブルに含まれる顔情報と一致すると判定した場合（Ｓ２３でＹＥＳ）、一致した顔情報の示す顔の上記画像における位置を示す顔位置情報を含むユーザ認証情報を判定ジェスチャ認識部２１ｂおよび操作ジェスチャ認識部２２ｂに送信する。

判定ジェスチャ認識部２１ｂの特定部位情報取得部３１ｂは、顔認識部２５からユーザ認証情報を受信すると、画像入力部１３から画像を取得する。次に、特定部位情報取得部３１ｂは、受信したユーザ認証情報に含まれる顔位置情報の示す画像の位置に基づいて、取得した画像における顔認識部２５の認証したユーザの（身体の）位置を特定する。そして、特定部位情報取得部３１ｂは、取得した画像の中の特定したユーザの位置部分から顔認識部２５の認証したユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成する（Ｓ２４）。特定部位情報取得部３１ｂは、生成した特定部位情報を判定ジェスチャ判断部３２に出力する。

判定ジェスチャ判断部３２は、特定部位情報取得部３１ｂから特定部位情報を取得し、また、記憶部１２ｂから判定ジェスチャを示す判定ジェスチャ情報４１を読み出す。そして、判定ジェスチャ判断部３２は、取得した特定部位情報の示すジェスチャが、読み出した判定ジェスチャ情報４１の示す判定ジェスチャと一致するか否かを判断する（Ｓ２５）。

ここで、取得した全ての特定部位情報の示すジェスチャが、読み出した（何れかの）判定ジェスチャ情報４１の示す判定ジェスチャと一致しないと判定ジェスチャ判断部３２が判断した場合（Ｓ２５でＮＯ）、Ｓ２１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。一方、取得した何れかの特定部位情報の示すジェスチャが、読み出した（何れかの）判定ジェスチャ情報４１の示す判定ジェスチャと一致すると判定ジェスチャ判断部３２が判断した場合（Ｓ２５でＹＥＳ）、判定ジェスチャ判断部３２は、判定ジェスチャ有効通知を操作ジェスチャ認識部２２ｂに通知する。

操作ジェスチャ認識部２２ｂの特定部位情報取得部３３ｂは、判定ジェスチャ有効通知を受信すると、画像入力部１３から画像を取得する。そして、特定部位情報取得部３３ｂは、受信したユーザ認証情報に含まれる顔位置情報の示す画像の位置に基づいて、取得した画像における顔認識部２５の認証したユーザの（身体の）位置を特定する。そして、特定部位情報取得部３３ｂは、取得した画像の中の特定したユーザの位置部分から顔認識部２５の認証したユーザのジェスチャを１つまたは複数検出し、検出したジェスチャを示す特定部位情報を１つまたは複数生成する（Ｓ２６）。特定部位情報取得部３３ｂは、生成した特定部位情報を操作ジェスチャ判断部３４に出力する。

操作ジェスチャ判断部３４は、特定部位情報取得部３３ｂから特定部位情報を取得し、また、記憶部１２ｂから操作ジェスチャを示す操作ジェスチャ情報４２を読み出す。そして、操作ジェスチャ判断部３４は、取得した特定部位情報の示すジェスチャが、読み出した操作ジェスチャ情報４２の示す操作ジェスチャと一致するか否かを判断する（Ｓ２７）。

ここで、取得した全ての特定部位情報の示すジェスチャが、読み出した（何れかの）操作ジェスチャ情報４２の示す操作ジェスチャと一致しないと操作ジェスチャ判断部３４が判断した場合（Ｓ２７でＮＯ）、Ｓ２１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。一方、取得した何れかの特定部位情報の示すジェスチャが、読み出した（何れかの）操作ジェスチャ情報４２の示す操作ジェスチャと一致すると操作ジェスチャ判断部３４が判断した場合（Ｓ２７でＹＥＳ）、操作ジェスチャ判断部３４は、一致した操作ジェスチャを示す操作ジェスチャ情報を含む操作ジェスチャ有効通知を機器制御部２３に通知する。

機器制御部２３は、操作ジェスチャ判断部３４から操作ジェスチャ有効通知を受信すると、記憶部１２ｂから制御信号テーブル４３を読み出す。そして、機器制御部２３は、読み出した制御信号テーブル４３において、受信した操作ジェスチャ有効通知に含まれる操作ジェスチャ情報の示す操作ジェスチャに対応付けられている制御信号を生成する（Ｓ２８）。

機器制御部２３は、生成した制御信号を通信部１４を介して制御対象機器３に送信する（Ｓ２９）。この後、Ｓ２１に戻って、画像入力部１３は、カメラ２が撮像した次の画像を取得する。

このように、顔認識部２５は、カメラ２が撮像した画像に基づいてユーザを認証し、特定部位情報取得部３１ｂおよび３３ｂは、顔認識部２５が認証したユーザのジェスチャを検出する。すなわち、特定部位情報取得部３１ｂおよび３３ｂは、顔認識部２５が認証したユーザのジェスチャのみを検出する。

そのため、仮に、カメラ２が撮像した画像に、他の人物のジェスチャや、ジェスチャとして誤検出してしまう背景画像等が含まれていたとしても、特定部位情報取得部３１ｂおよび３３ｂは、カメラ２が撮像した画像のうち、顔認識部２５が認証したユーザの身体画像のみをジェスチャの検出対象領域とする。従って、ジェスチャ入力装置１ｂ（判定ジェスチャ認識部２１ｂおよび操作ジェスチャ認識部２２ｂ）が実行する処理負荷を低減することができる。

また、本実施形態に係るジェスチャ入力装置は、家庭等におけるセキュリティに利用することができる。具体的には、家の玄関扉にカメラを設置しておき、操作ジェスチャを玄関扉の開錠するための鍵として使用する。すなわち、まずユーザを認証し、その後、ユーザが所定の判定ジェスチャおよび操作ジェスチャを行うことにより、ユーザは玄関扉を開くことができる。

〔変形例５〕
第３の実施形態では、顔認識部２５は、ユーザ認証情報に顔位置情報を含めているが、これに加えて、個人特定テーブルにおいて一致した顔情報に対応付けられているユーザ名を示すユーザ名情報を含めてもよい。すなわち、ユーザ認証情報が顔位置情報およびユーザ名情報を含んでいてもよい。

この場合に、記憶部１２ｂに格納されている判定ジェスチャ情報４１の代わりに、個人別判定ジェスチャ情報が格納されていてもよい。個人別判定ジェスチャ情報とは、判定ジェスチャとユーザ名とが対応付けられているものである。個人別判定ジェスチャ情報は、例えば、図１４に示すようなデータであってよい。

ユーザ認証情報が顔位置情報およびユーザ名情報を含み、記憶部１２ｂに個人別判定ジェスチャ情報が格納されている場合、判定ジェスチャ判断部３２は、特定部位情報取得部３１ｂから認証したユーザのジェスチャを示す特定部位情報を取得し、また、記憶部１２ｂから個人別判定ジェスチャ情報を読み出し、さらに、顔認識部２５からユーザ認証情報を受信する。そして、判定ジェスチャ判断部３２は、取得した特定部位情報の示す認証したユーザの示すジェスチャが、読み出した個人別判定ジェスチャ情報において、受信したユーザ認証情報に含まれるユーザ名情報の示すユーザ名に対応付けられている判定ジェスチャと一致するか否かを判断してもよい。

また、ユーザ名と判定ジェスチャとを対応付けるだけではなく、ユーザ名と、判定ジェスチャと、操作ジェスチャとを対応付けたテーブルを記憶部１２ｂに格納しておいてもよい。

〔変形例６〕
また、第３の実施形態では、顔認識部２５がカメラ２から取得した画像に基づいて、ユーザを認証しているが、これに限るものではない。本実施形態において、例えば、ＩＤカードによる認証、指紋認証、静脈認証等、公知の個人を認証する方法を利用することができる。カメラ２から取得した画像以外の情報に基づいてユーザを認証する場合、特定部位情報取得部３１ｂおよび３３ｂは、ユーザが存在すると考えられる（認証装置の位置等から推測される）画像上の位置から、認証したユーザの（身体の）位置を特定してもよい。また、特定部位情報取得部３１ｂおよび３３ｂは、カメラ２から取得した画像から所定の物体（ＩＤカード等）を検出し、その検出した位置に基づいて認証したユーザの（身体の）位置を特定してもよい。また、記憶部１２ｂに予めユーザと当該ユーザの身体を示す画像（顔画像等）とを対応付けたユーザ画像テーブルを格納しておき、特定部位情報取得部３１ｂおよび３３ｂは、記憶部１２ｂから読み出したユーザ画像テーブルに基づいて、カメラ２から取得した画像における認証したユーザの（身体の）位置を特定してもよい。
＜補足＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、ジェスチャ入力装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、ジェスチャ入力装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ入力装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ入力装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、ジェスチャ入力装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、ユーザが電子機器を制御するために使用する入力インターフェース（入力装置）に利用することができる。

１、１ａ、１ｂ ジェスチャ入力装置
２ カメラ
３ 制御対象機器（制御機器）
３ａ テレビ
３ｂ エアコン
３ｃ ＰＣ
１１、１１ａ、１１ｂ 制御部
１２、１２ａ、１２ｂ 記憶部
１３ 画像入力部
２１、２１ｂ 判定ジェスチャ認識部
２２、２１ｂ 操作ジェスチャ認識部
２３、２３ａ 機器制御部（制御信号生成手段、送信手段）
２４ 機器選択部（制御機器特定手段）
２５ 顔認識部（ユーザ認証手段）
３１、３１ｂ 特定部位情報取得部（ジェスチャ検出手段）
３２ 判定ジェスチャ判断部（第１ジェスチャ判断手段、第３ジェスチャ判断手段）
３３、３３ｂ 特定部位情報取得部（ジェスチャ検出手段）
３４ 操作ジェスチャ判断部（第２ジェスチャ判断手段、第３ジェスチャ判断手段）

Claims (5)

1. ユーザのジェスチャ動作に基づいて制御機器を制御するジェスチャ入力装置であって、
   カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出手段と、
   上記ジェスチャ検出手段が検出したジェスチャから第１ジェスチャが含まれていることを判断する第１ジェスチャ判断手段と、
   上記ジェスチャ検出手段が検出したジェスチャから第２ジェスチャが含まれていることを判断する第２ジェスチャ判断手段と、
   上記ジェスチャ検出手段が検出したジェスチャから第３ジェスチャが含まれていることを判断する第３ジェスチャ判断手段と、
   上記第１ジェスチャが含まれていると上記第１ジェスチャ判断手段が判断している期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に上記第２ジェスチャが含まれていると上記第２ジェスチャ判断手段が判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成手段と、
   上記第３ジェスチャと上記制御機器とが対応付けられている機器選択テーブルを参照して、上記第３ジェスチャ判断手段が含まれていると判断した第３ジェスチャに対応する上記制御機器を特定する制御機器特定手段と、
   上記制御機器特定手段が特定した制御機器に、上記制御信号生成手段が生成した制御信号を送信する送信手段とを備えることを特徴とするジェスチャ入力装置。
2. 上記制御信号生成手段は、上記第２ジェスチャと上記制御機器を制御するための制御信号とが対応付けられている制御信号テーブルを参照して、上記制御信号を生成することを特徴とする請求項１に記載のジェスチャ入力装置。
3. ユーザを認証するユーザ認証手段をさらに備え、
   上記ジェスチャ検出手段は、上記ユーザ認証手段が認証したユーザのジェスチャを検出することを特徴とする請求項１または２に記載のジェスチャ入力装置。
4. 上記ユーザ認証手段は、上記カメラが撮像した画像に基づいて、ユーザを認証することを特徴とする請求項３に記載のジェスチャ入力装置。
5. ユーザのジェスチャ動作に基づいて制御機器を制御するジェスチャ入力装置の制御方法であって、
   カメラが撮像した画像から、ジェスチャを検出するジェスチャ検出ステップと、
   上記ジェスチャ検出ステップにおいて検出されたジェスチャに第１ジェスチャが含まれていることを判断する第１ジェスチャ判断ステップと、
   上記ジェスチャ検出ステップにおいて検出されたジェスチャに第２ジェスチャが含まれていることを判断する第２ジェスチャ判断ステップと、
   上記ジェスチャ検出ステップにおいて検出されたジェスチャに第３ジェスチャが含まれていることを判断する第３ジェスチャ判断ステップと、
   上記第１ジェスチャ判断ステップにおいて上記第１ジェスチャが含まれていると判断されている期間を上記第２ジェスチャの認識を有効とする第２ジェスチャ有効期間とし、上記第２ジェスチャ有効期間中に、上記第２ジェスチャ判断ステップにおいて上記第２ジェスチャが含まれていると判断したときに、当該第２ジェスチャに基づいて制御信号を生成する制御信号生成ステップと、
   上記第３ジェスチャと上記制御機器とが対応付けられている機器選択テーブルを参照して、上記第３ジェスチャ判断ステップにおいて含まれていると判断された第３ジェスチャに対応する上記制御機器を特定する制御機器特定ステップと、
   上記制御機器特定ステップにおいて特定された制御機器に、上記制御信号生成ステップにおいて生成された上記制御信号を送信する送信ステップとを含むことを特徴とするジェスチャ入力装置の制御方法。

Images