JP2011232894A - インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム - Google Patents

Abstract

【課題】従来のインタフェース装置では、ジェスチャ指示を与える操作物の特定が困難な問題があった。
【解決手段】本発明のインタフェース装置は、ジェスチャ指示に基づき操作される操作対象装置３０に操作信号ＣＮＴを出力するインタフェース装置であって、撮影部２０により撮影された画像ＦＰから予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報Ｐ１を生成する基準物検出部１２と、基準情報Ｐ１に基づき、画像ＦＰから、基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定すると共に、操作物を特定する操作物情報Ｐ２を抽出する操作物特定部１４と、特定した操作物の位置変移に基づいてジェスチャ指示の検出を開始し、ジェスチャ指示に応じた操作信号ＣＮＴを生成する操作信号生成部１５と、を有する。
【選択図】図２

Description

本発明はインタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラムに関し、特に人の動きに応じて操作対象装置に指示を与える操作信号を生成するインタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラムに関する。

近年、キーボードやマウス等の入力装置を必要とせず、操作者が機器を簡単に操作することができるインタフェース装置が開発されている。例えば、特許文献１には、撮影部と、撮影部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、動作認識部によって認識した物体の形状及び動きを表示する表示部と、を備えるインタフェース装置が記載されている。具体的には、特許文献１に記載のインタフェース装置は、操作者の手を認識し、手の動きから動作を認識する。そして、特許文献１に記載のインタフェース装置では、操作者の手振りをすることで、表示画面上に表示した仮想スイッチ等を選択することが記載されている。

特開平８−０４４４９０号公報

特許文献１に記載のインタフェース装置では、操作者を特定するための情報としてある特定の対象物を撮影画像中から認識する必要がある。ここで、特許文献１に記載のインタフェース装置では、対象物として操作者の手を認識する。このような操作者の特定方法を用いた場合、操作者及び操作者によるジェスチャ動作の認識に高い演算能力が必要になる問題がある。

より具体的には、手は、操作者によって形状あるいは色に差がある。また、手は、撮影する方向によって形状が異なる。そのため、手の形状に基づいて、撮像画像から手を検出するためには高度な情報処理を行う必要がある。また、画像中に操作者の候補となる者が複数人いる場合、これら複数の候補者のうちいずれの者が操作者であるのかを特定するのは難しい。また、操作者は操作指示を意味する動作（ジェスチャ）以外の動作を行うことも多く、ジェスチャがいつ開始されたかを常に監視しなければならず、その監視のために常に高い演算能力が必要になる。特許文献１では、これらの問題を解決することができない問題がある。

本発明にかかるインタフェース装置の一態様は、ジェスチャ指示に基づき操作される操作対象装置に操作信号を出力するインタフェース装置であって、撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成する基準物検出部と、前記基準情報に基づき、前記画像から、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定すると共に、前記操作物を特定する操作物情報を抽出する操作物特定部と、前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を開始し、前記ジェスチャ指示に応じた前記操作信号を生成する操作信号生成部と、を有する。

本発明にかかるジェスチャ認識方法の一態様は、ジェスチャ指示に基づき操作される操作対象装置に指示を与えるインタフェース装置におけるジェスチャ認識方法であって、撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成し、前記画像と前記基準情報とに基づき、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定し、前記操作物を特定する操作物情報を抽出し、前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を開始し、前記ジェスチャ指示に応じた前記操作信号を生成する。

本発明にかかるジェスチャ認識プログラムの一態様は、撮影部において取得された画像に基づき認識されるジェスチャ指示に基づき操作される操作対象装置に操作指示を与える操作信号を生成する演算回路において実行されるジェスチャ認識プログラムであって、前記撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成し、前記画像と前記基準情報とに基づき、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定し、前記操作物を特定する操作物情報を抽出し、前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を前記演算回路に実行させ、前記ジェスチャ指示に応じた前記操作信号を前記演算回路から出力させる。

本発明にかかるインタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラムでは、予め特徴が特定されている基準物に基づき１つの特徴物を操作物として検出する。そして、操作物が特定されたことに基づきジェスチャ指示の検出動作を行う。つまり、本発明にかかるインタフェース装置及びジェスチャ認識方法によれば、認識が容易な基準物との相対的な関係が特定条件を満たす物を操作物とする。これにより、本発明にかかるインタフェース装置及びジェスチャ認識方法では、操作者あるいは操作物の認識を少ない演算処理で容易に行うことができる。

本発明にかかるインタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラムによれば、ジェスチャ認識を少ない処理により行うことができる。

実施の形態１にかかるジェスチャ制御システムのブロック図である。 実施の形態１にかかるインタフェース装置のブロック図である。 実施の形態１にかかるインタフェース装置の動作を示すフローチャートである。 実施の形態２にかかるインタフェース装置の動作を示すフローチャートである。 実施の形態３にかかるインタフェース装置のブロック図である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１に実施の形態１にかかるインタフェース装置を含むジェスチャ制御システム１のブロック図を示す。図１に示す例では、テレビをジェスチャ指示に基づく制御対象とした。なお、ジェスチャ指示とは、制御対象の装置を人の動きに応じて制御する場合における人の動きである。また、テレビに限らず、ビデオ再生装置、ＰＣ（Personal Computer）、オーディオ機器、エアコン等を操作対象装置とすることが可能である。図１に示すように、ジェスチャ制御システム１は、インタフェース装置１０、撮影部２０、操作対象装置３０を有する。

撮影部２０は、例えば、カメラであって、操作対象装置３０を操作する操作者が存在する領域の画像を撮影する。ここで、撮影部２０は、所定の間隔で撮影を行い、１つの撮影タイミングで撮影された画像をフレームと称す。

インタフェース装置１０は、撮影部２０が撮影した画像をフレーム毎に取り込み、取り込んだ画像に基づき操作者のジェスチャ指示を認識する。また、インタフェース装置１０は、認識したジェスチャ指示に基づき操作信号ＣＮＴを出力する。

操作対象装置３０は、操作対象制御部３１及び表示部３２を有する。操作対象装置３０は、操作信号ＣＮＴに基づき変化する表示制御信号ＶＰを生成する。表示部３０は、表示制御信号ＶＰに応じて生成された映像を映し出す。なお、表示部３２に表示される映像は、操作者が視聴するものである。

ジェスチャ制御システム１は、操作者の動きに応じて表示部３２に表示される映像を変化させる。例えば、ジェスチャ制御システム１では、表示部３２に操作メニューを表示し、ジェスチャ指示に応じて、選択する操作メニューを変更する、操作メニューを選択する操作カーソルを移動させる、テレビの選択チャンネルを変更する、音量を調節する等の操作を可能にする。

ここで、実施の形態１にかかるジェスチャ制御システム１では、インタフェース装置１０におけるジェスチャ認識方法に特徴の１つを有する。そこで、インタフェース装置１０の詳細について説明する。なお、以下で説明するインタフェース装置１０は、ハードウェアの構成によりジェスチャ認識機能を実現するものである。しかし、ジェスチャ認識機能は、例えば、汎用のマイクロコンピュータにおいて当該機能を実現するためのソフトウェア（ジェスチャ認識プログラム）を実行することによっても実現できる。

インタフェース装置１０のブロック図を図２に示す。図２に示すように、インタフェース装置１０は、フレームメモリ１１、基準物検出部１２、設定値格納部１３、操作物特定部１４、操作信号生成部１５、操作物情報格納部１６、位置履歴情報格納部１７を有する。なお、フレームメモリ１１、設定値格納部１３、操作物情報格納部１６及び位置履歴情報格納部１７は、専用のメモリ領域として設ける必要はなく、１つのメモリ内の所定の領域であっても良い。つまり、インタフェース装置１０がマイクロコンピュータによって実現される場合、当該マイクロコンピュータによって用いられるメモリでも良い。

フレームメモリ１１は、撮影画像ＣＰをフレーム毎に格納する。また、フレームメモリ１１が格納する撮影画像ＣＰは、現フレームの撮影画像ＣＰと、過去のフレームの撮影画像ＣＰを含む。

基準物検出部１２は、フレームメモリ１１に格納された画像から参照画像ＦＰとして、現フレームの画像を読み出す。そして、基準物検出部１２は、読み出した画像を解析し、予め決められた設定値ＳＥ１に近似する特徴を有する基準物を検出して基準物を特定する基準情報Ｐ１を生成する。この設定値ＳＥ１は、設定値格納部１３から読み出されるものである。実施の形態１にかかるインタフェース装置１０では、基準物として人の顔を用いるものとする。そこで、実施の形態１における設定値ＳＥ１は、人の顔を認識できる特徴の情報を含む。特徴としては、人の顔の色、形状、濃淡の分布の特徴などを用いることができる。基準物は、人の顔に限られる物ではなく、例えば、撮影領域内に置かれる固定物などであっても構わない。また、基準情報Ｐ１には、基準物の位置情報が含まれるものとする。

操作物特定部１４は、参照画像ＦＰと基準情報Ｐ１とに基づき、基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定すると共に、操作物を特定する操作物情報Ｐ２を抽出する。実施の形態１では、特定条件として、基準情報により与えられた基準物の少なくとも一部を覆ったことを用いる。つまり、実施の形態１にかかる操作物特定部１４は、基準物の少なくとも一部を覆った候補特徴物を操作物として特定する。このような処理により特定される操作物は、撮影部２０と基準物との間において、撮影部２０から見て基準物の少なくとも一部を覆う物である。また、単に基準物の少なくとも一部を覆う候補特徴物を操作物として特定した場合、誤認識を生じる恐れがある場合は、当該操作物の特定条件にさらに追加条件を設定しても良い。追加条件としては、最初に特定された特徴物を候補操作物とし、当該候補操作物が特定の位置変位条件（例えば、左右に揺れる動作）を満たしたことなどを用いることができる。

このような処理を行うため、操作物特定部１４は、参照画像ＦＰとして、現フレームの画像と前フレームの画像とを読み込む。そして、操作物特定部１４は、現フレームの画像中の基準物と前フレームの画像中の基準物とを比較し、基準物の一部を覆う物を認識する。基準物の一部を覆ったか否かは、例えば、基準物が顔であれば、形状が円で色が肌の色である物が基準物となり、その一部を手で覆った場合、顔の形状を覆った手の形状及び色を操作物として認識する。そして、操作物特定部１４は、操作物として特定された物を特定する操作物情報Ｐ２を参照画像ＦＰから抽出する。上記例では、操作物情報Ｐ２として、操作物として認識された部分の形状及びその部分の色の情報を含む。

操作信号生成部１５は、操作物の特定に応じて操作対象制御部３１に対する操作物の位置変位に基づくジェスチャ指示の検出動作を開始し、操作対象制御部３１にジェスチャ指示に基づく操作信号ＣＮＴを出力する。より具体的には、操作信号生成部１５は、操作物特定部１４から操作物情報Ｐ２が入力されると、操作物情報Ｐ２を操作物情報格納部１６に登録する。また、操作信号生成部１５は、参照画像ＦＰとして現フレームの画像を読み込む。そして、操作信号生成部１５は、操作物情報Ｐ２に基づき参照画像ＦＰから操作物の位置情報を抽出して位置履歴情報ＣＨを生成して、位置履歴情報ＣＨに基づき操作信号ＣＮＴを生成する。より具体的には、操作信号生成部１５は、参照画像ＦＰから現フレームにおける操作物の位置情報と、位置履歴情報格納部１７に格納されている位置履歴情報ＣＨとの差分から操作物の位置変位情報を抽出し、当該位置変位情報を操作信号ＣＮＴとして操作対象制御部３１に出力する。また、操作信号生成部１５は、操作信号ＣＮＴを生成した後に参照画像ＦＰから抽出した操作物の位置情報により位置履歴情報ＣＨを更新する。この位置履歴情報ＣＨは、操作物の位置変位を時系列に沿って保存するものでも良く、直前のフレームの位置情報のみを保存するものであっても良い。

操作信号生成部１５は、操作物情報Ｐ２に基づき操作物の追跡を行うが、予め設定された解除条件を満たす場合、操作物の登録を解除する。例えば、操作物を示す特徴がタイムアウト時間を経過しても検出されないこと、操作物がタイムアウト時間を超えて位置変位を示さないこと、あるいは、操作物が特定の動作（例えば、一定時間内に手で十字を描く）を行ったこと等がこの解除条件として用いられる。そして、操作信号生成部１５は、例えば、操作物情報格納部１６に格納される操作物情報Ｐ２をクリアすることで操作物の登録の解除を行う。なお、操作信号生成部１５は、操作物が検出されなかった時間を計測するカウンタ（不図示）と、タイムアウト時間の設定値を格納する格納部と、を有するものとする。

上記のように、インタフェース装置１０は、操作物の位置変位に基づき操作信号ＣＮＴを生成する。そして、操作対象制御部３１は、操作信号ＣＮＴに基づき表示制御信号ＶＰに変化を与える。例えば、操作対象制御部３１は、操作信号ＣＮＴとして操作物の位置変位ベクトル情報に基づき操作カーソルを移動させる等の操作を行う。また、操作対象制御部３１は、操作信号ＣＮＴの履歴情報から操作物の移動軌跡を生成し、当該移動軌跡の情報に基づきテレビの選択チャンネルを切り換える等の操作を行うこともできる。

ここで、インタフェース装置１０の動作についてさらに詳細に説明する。インタフェース装置１０の動作を示すフローチャートを図３に示す。なお、図３に示す例では、基準物の一部を覆ったことのみを操作物を特定するための特定条件とし、また、タイムアウト時間を超えて操作物が位置変位を示さなかったことのみを解除条件とした。しかし、特定条件及び解除条件は、これらに限らず上記した他の条件を用いることも可能である。

図３に示すように、インタフェース装置１０では、動作を開始するとまず、フレームメモリ１１に格納されている画像が更新されているか（最新フレームの画像が更新されているか）を確認する（ステップＳ１）。ステップＳ１の処理は、例えば、基準物検出部１２が行う。そして、ステップＳ１において、画像が更新されていることが確認されるまで、ステップＳ１の処理が継続する（ステップＳ１のＮＯの枝）。一方、ステップＳ１において画像が更新されていることが確認された場合（ステップＳ１のＹＥＳの枝）、ステップＳ２の処理に進む。

ステップＳ２では、すでに前の処理において操作物が特定され、その操作物に関する操作物情報が登録されているか否かを確認する。このステップＳ２の処理は、例えば、基準物検出部１２が操作物情報格納部１６を参照することで行われる。ステップＳ２において、操作物の操作物情報が登録されていないと判断された場合（ステップＳ２のＮＯの枝）、基準物及び操作物の特定処理（ステップＳ３〜Ｓ５）に移行する。一方、ステップＳ２において、操作物の操作物情報が登録されている判断された場合（ステップＳ２のＹＥＳの枝）、操作物の追跡処理（ステップＳ６〜Ｓ１２）に移行する。

操作物及び操作物の特定処理では、まず、基準物検出部１２が参照画像ＦＰと設定値ＳＥ１とに基づき基準物を特定する基準情報Ｐ１を生成する（ステップＳ３）。このステップＳ３の処理は、基準物検出部１２が行う。ステップＳ３において画像中に基準物となる物（例えば、人の顔）がなかった場合（ステップＳ３のＮＯの枝）、ステップＳ１の処理に戻る。一方。ステップＳ３において画像中に基準物となる物があった場合（ステップＳ３のＹＥＳの枝）、ステップＳ４の処理に進む。

ステップＳ４では、操作物の特定及び操作物を特定する操作物情報Ｐ２を生成する。より具体的には、ステップＳ４では、参照画像ＦＰと基準情報Ｐ１とに基づき、基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定し、操作物を特定する操作物情報を抽出する。実施の形態１では、基準物の一部を覆う物を操作物として特定するため、このステップＳ４では、このような特定条件を満たす物の有無を判断する。このステップＳ４の処理は、操作物特定部１４により行われる。ステップＳ４において、参照画像ＦＰ内に操作物として特定される物がない場合（ステップＳ４のＮＯの枝）、ステップＳ１の処理に戻る。一方、ステップＳ４において、参照画像ＦＰ内に操作物として特定される物がある場合（ステップＳ４のＹＥＳの枝）、ステップＳ５の処理に進む。

ステップＳ５では、ステップＳ４において抽出された操作物情報Ｐ２を操作物情報格納部１６に登録する。このステップＳ５の処理は、操作信号生成部１５により行われる。また、操作信号生成部１５は、操作物特定部１４から操作物情報Ｐ２を受信したことをトリガとして操作物の追跡処理（ステップＳ６〜Ｓ１２）を行う。

操作物の追跡処理は、操作信号生成部１５により行われる処理である。操作物の追跡処理では、まず、登録済みの操作物情報Ｐ２を参照して参照画像ＦＰ（現フレームの画像）中から操作物の位置情報を抽出する（ステップＳ６）。ここで、操作物の追跡処理では、ステップＳ６において参照画像ＦＰ中に操作物となる物があるか否かを判断する（ステップＳ７）。このステップＳ７において、操作物がないと判断された場合（ステップＳ７のＮＯの枝）、操作物が検出されなかった未検出時間が予め設定されたタイムアウト時間を超えているか否かを判断する（ステップＳ１１）。ステップＳ１１において未検出時間がタイムアウト時間を超えていると判断された場合（ステップＳ１１のＹＥＳの枝）、操作物特定部１４は、操作物情報格納部１６に格納されている操作物情報Ｐ２をクリアして、処理をステップＳ１に戻す（ステップＳ１２）。一方、ステップＳ１１において未検出時間がタイムアウト時間を超えていないと判断された場合（ステップＳ１１のＮＯの枝）、ステップＳ１の処理に戻る。

ステップＳ７において、操作物があると判断された場合（ステップＳ７のＹＥＳの枝）、操作信号生成部１５は未検出時間をクリアする。そして、位置履歴情報格納部１７に格納されている位置履歴情報ＣＨとステップＳ６において抽出された位置情報とに基づき操作信号ＣＮＴを生成し、出力する（ステップＳ９）。そして、操作信号生成部１５は、ステップＳ６において抽出された操作物情報Ｐ２により位置履歴情報ＣＨを更新して、処理をステップＳ１に戻す（ステップＳ１０）。

上記説明より、実施の形態１にかかるインタフェース装置１０は、基準物との相対的な関係が特定条件を満たすものを操作物として認識する。このとき、基準物としては、特徴の変化が操作物よりも少ない物、あるいは、操作物よりも特徴の強い（多い）物を設定することができる。つまり、インタフェース装置１０は、特徴の認識に多くの処理が必要となる操作物を特定が容易な基準物との相対関係に基づき認識することで、この操作物を少ない処理で認識することができる。

また、インタフェース装置１０では、基準物との相対関係が特定条件を満たす物を操作物と認識する。そのため、インタフェース装置１０では、操作物を常に監視する必要がなく、操作物の追従にかかる処理を削減することができる。

また、インタフェース装置１０では、操作物が特定されるまでは、操作信号生成部１５による操作物の追従処理を行わない。つまり、インタフェース装置１０では、操作者がジェスチャ処理を意図的に行わない限り追従処理による操作信号ＣＮＴの生成が行われない。これにより、インタフェース装置１０では、ジェスチャ指示の開始のタイミングを容易に特定することが可能になる。

また、インタフェース装置１０では、基準物との特定の相対関係を有する物として操作物を認識する。これにより、インタフェース装置１０は、操作物が手などの形状、色等の特徴の変化が大きなものであっても、その認識を容易に行うことができる。また、インタフェース装置１０では、認識された操作物に基づき操作物を特定する操作物情報を生成するため、操作物の形状等の特徴を予め設定する必要がない。つまり、インタフェース装置１０では、操作物として用いられる物が特定されないため、より柔軟なジェスチャ指示を行うことが可能になる。

また、インタフェース装置１０では、操作物を基準物との相対関係に基づき特定するため、操作者が変わった場合においても、それぞれの操作者を個別に認識する必要がない。これにより、インタフェース装置１０は、より汎用性の高いシステムを容易に構築することができる。この場合、基準物の設定値として操作者の一般的な特徴を設定するのみで良いためである。

また、インタフェース装置１０では、複雑に形状等が変化する操作物を常に監視することなく、操作物を特定することができる。これにより、インタフェース装置１０は、演算処理が多くなる期間を短くできるため、ジェスチャ認識にかかる消費電力を削減することができる。

実施の形態２
実施の形態２では、実施の形態１とは異なる操作物の特定方法について説明する。実施の形態２にかかる操作物の特定方法では、操作物を特定するための特定条件として操作物と基準物との位置関係を用いる。つまり、実施の形態２では、操作物は、基準物を覆う必要はなく、所定の位置関係を有していれば良い。

より具体的には、基準物との距離が所定の範囲内にあり、かつ、操作物の候補となる特徴物と基準物とを結ぶ直線の傾きが撮影部２０の撮影領域の水平方向に対して所定の範囲内にあるものを操作物として特定する。例えば、基準物を人の顔、操作物を人の手とした場合、人が手を挙げた場合、顔と手とには所定の位置関係が生じる。そこで、このような位置関係を有する特徴物を操作物として特定することができる。

なお、実施の形態２にかかるインタフェース装置では、操作物として用いられると予想される物の特徴を予め候補特徴物として設定する。この候補特徴物の設定値としては、操作物となり得る物の色、形状（簡単化した形状）、濃淡の分布情報等が考えられる。また、実施の形態２にかかるインタフェース装置では、基準物との間に所定の位置関係にある特徴物が決められた時間以内に決められた位置変位条件（左右に振るなど）を満たした候補特徴物を操作物することもできる。

ここで、実施の形態２にかかるインタフェース装置の動作を示すフローチャートを図４に示す。図４に示すように、実施の形態２にかかるインタフェース装置では、ステップＳ４ａ以外の処理は、実施の形態１にかかるインタフェース装置１０の動作と同じである。そして、実施の形態２にかかるインタフェース装置は、ステップＳ４ａにおいて、基準物と操作候補物との位置関係に基づく操作物の特定を行う。また、ステップＳ４ａにおいて、基準物の間に所定の位置関係を有する候補特徴物のその後の動きを監視し、予め決められた動きを示した候補特徴物を操作物として特定することもできる。

上記説明より、本発明にかかる操作物の特定方法は、基準物と操作物として用いることができる特徴物との相対関係に基づき操作物を特定するものであることがわかる。そして、当該相対関係については、システムの仕様、システムの利用形態に応じて様々な条件を設定することができることがわかる。

実施の形態３
実施の形態３では、実施の形態１にかかるインタフェース装置１０の別の形態について説明する。実施の形態３にかかるインタフェース装置４０を図５に示す。インタフェース装置４０は、操作者の個別情報（例えば、設定値ＳＥ２）を操作信号ＣＮＴと共に出力する。

そのため、インタフェース装置４０は、設定値格納部１３に代えて設定値格納部４１を有し、操作物特定部１４に代えて操作物特定部４２を有し、操作信号生成部１５に代えて操作信号生成部４３を有する。設定値格納部４１には、設定値ＳＥ１として操作を行う複数の候補者のそれぞれに対応した特徴に関する複数の設定値を含む。操作物特定部４２は、操作物を特定した場合に、設定値ＳＥ１からその操作物の特定元となった基準物に関する設定値ＳＥ２を抽出する。そして、操作物特定部４２は、設定値ＳＥ２共に操作物情報Ｐ２を出力する。操作信号生成部４３は、操作物特定部４２から通知された設定値ＳＥ２と共に操作信号ＣＮＴを出力する。

操作物の特定元となった基準物の設定値ＳＥ２は、操作者を特定する物として利用することができる。そのため、設定値ＳＥ２を操作対象制御部３１に入力することで、操作対象制御部３１は、設定値ＳＥ２に基づき操作者毎に異なる操作を実行することができる。例えば、操作対象制御部３１は、操作者が子供である場合はペアレンタルガードが設定された操作メニューを提示し、操作者が大人である場合はペアレンタルガードが設定されていない操作メニューを提示することができる。また、操作対象制御部３１は、操作者が老人である場合は操作メニューに表示される文字を大きくするなどの操作を行うことができる。

上記説明より、実施の形態３にかかるインタフェース装置４０によれば、操作者を特定することが可能になる。そして、実施の形態３にかかるインタフェース装置４０を用いたジェスチャ制御システムでは、操作者毎に異なる操作を提供することができる。また、インタフェース装置４０では、このような操作者の特定を行う場合においても、基準物との相対関係に基づき操作物を認識する処理を行うことで、当該操作者の特定処理を少ない演算処理で実現することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、インタフェース装置と操作対象装置内の操作対象制御部とは、１つのマイクロコンピュータにより実現することが可能である。また、インタフェース装置は、操作対象装置と一体に形成されていても良く、また、別の装置として形成されていても構わない。

１ ジェスチャ制御システム
１０、４０ インタフェース装置
１１ フレームメモリ
１２ 基準物検出部
１３、４１ 設定値格納部
１４、４２ 操作物特定部
１５、４３ 操作信号生成部
１６ 操作物情報格納部
１７ 位置履歴情報格納部
２０ 撮影部
３０ 操作対象装置
３１ 操作対象制御部
３２ 表示部
ＳＥ１、ＳＥ２ 設定値
ＣＰ 撮影画像
ＣＮＴ 操作信号
ＶＰ 表示制御信号
ＦＰ 参照画像
Ｐ１ 基準情報
Ｐ２ 操作物情報
ＣＨ 位置履歴情報

Claims (13)

1. ジェスチャ指示に基づき操作される操作対象装置に操作信号を出力するインタフェース装置であって、
   撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成する基準物検出部と、
   前記基準情報に基づき、前記画像から、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定すると共に、前記操作物を特定する操作物情報を抽出する操作物特定部と、
   前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を開始し、前記ジェスチャ指示に応じた前記操作信号を生成する操作信号生成部と、
   を有するインタフェース装置。
2. 前記操作信号生成部は、前記操作物情報を登録すると共に、前記操作物情報に基づき前記画像から前記操作物の位置情報を抽出して位置履歴情報を生成又は更新し、前記位置履歴情報に基づき前記操作信号を生成する請求項１に記載のインタフェース装置。
3. 前記操作信号生成部は、前記操作物が予め設定された解除条件を満たした場合、前記操作物の登録を解除する請求項１又は２に記載のインタフェース装置。
4. 前記基準物は、操作を行う複数の候補者であって、前記設定値は、複数の候補者のそれぞれに対応した特徴に関する複数の設定値を含み、
   前記操作物特定部は、前記操作物の特定元となった前記基準物の設定値と共に前記操作物の前記操作物情報を前記操作信号生成部に通知し、
   前記操作信号生成部は、前記操作信号生成部から通知された設定値と共に前記操作信号を出力する請求項１乃至３のいずれか１項に記載のインタフェース装置。
5. 前記画像をフレーム毎に格納するフレームメモリと、
   前記位置履歴情報を格納する位置履歴格納部と、
   前記操作物情報を格納する操作物情報格納部と、を有し、
   前記基準物検出部は、前記フレームメモリに格納された画像に基づき前記基準対象物を検出し、
   前記操作物特定部は、前記フレームメモリに格納された画像のうち時間的に前後する複数の画像に基づき前記操作物の特定と、前記操作物の前記操作物情報の抽出を行い、
   前記操作信号生成部は、フレーム毎に前記操作物情報により前記位置履歴情報を更新すると共に、前記位置履歴情報に基づき前記操作信号を生成する請求項１乃至４のいずれか１項に記載のインタフェース装置。
6. 前記基準物検出部及び前記操作物特定部は、前記画像中の色情報に基づき前記基準情報と前記操作物情報とを抽出する請求項１乃至５のいずれか１項に記載のインタフェース装置。
7. 前記操作物特定部は、前記基準物の少なくとも１部を遮蔽した候補特徴物を前記操作物として特定する請求項１乃至６のいずれか１項に記載のインタフェース装置。
8. 前記操作物特定部は、予め定められた操作物の候補値に基づき前記画像中から前記操作物の候補となる少なくとも１つの候補特徴物を抽出し、前記候補特徴物のうち前記基準対象物との位置関係が前記特定条件を満たす候補特徴物を前記操作物として特定する請求項１乃至６のいずれか１項に記載のインタフェース装置。
9. 前記操作物特定部は、前記候補特徴物のうち、予め定められた位置変位条件を示す物を最終的な操作物として特定する請求項７又は８に記載のインタフェース装置。
10. 前記基準物は人の顔であり、前記操作物は人の手である請求項１乃至９のいずれか１項に記載のインタフェース装置。
11. 請求項１乃至１０のいずれか１項に記載のインタフェース装置は、前記操作対象制御部と、前記操作対象制御部によって制御され、ユーザーインタフェース画像を表示する表示部と、を含む操作対象装置に内蔵される。
12. ジェスチャ指示に基づき操作される操作対象装置に指示を与えるインタフェース装置におけるジェスチャ認識方法であって、
    撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成し、
    前記画像と前記基準情報とに基づき、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定し、
    前記操作物を特定する操作物情報を抽出し、
    前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を開始し、
    前記ジェスチャ指示に応じた前記操作信号を生成するジェスチャ認識方法。
13. 撮影部において取得された画像に基づき認識されるジェスチャ指示に基づき操作される操作対象装置に操作指示を与える操作信号を生成する演算回路において実行されるジェスチャ認識プログラムであって、
    前記撮影部により撮影された画像から予め決められた設定値に近似する特徴を有する基準物を検出して前記基準物を特定する基準情報を生成し、
    前記画像と前記基準情報とに基づき、前記基準物との相対的な関係が予め決められた特定条件を満たす特徴物を操作物として特定し、
    前記操作物を特定する操作物情報を抽出し、
    前記特定した操作物の位置変移に基づいて前記ジェスチャ指示の検出を前記演算回路に実行させ、
    前記ジェスチャ指示に応じた前記操作信号を前記演算回路から出力させるジェスチャ認識プログラム。

Images