JP2015184972A - 動き検出装置、画像表示装置、及び、動き検出方法 - Google Patents

Abstract

【課題】ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる動き検出装置を提供する。
【解決手段】プロジェクター１００が表示する画像からジェスチャーを検出する第１検出部１２３と、プロジェクター１００により表示された表示画像を含む範囲を撮影する撮像部１６０と、撮像部１６０の撮影画像からジェスチャーを検出する第２検出部１２４と、第２検出部１２４により検出されたジェスチャーの有効性を、第１検出部１２３の検出結果に基づいて判定する判定部１２５とを備える。
【選択図】図２

Description

本発明は、動き検出装置、画像表示装置、及び、動き検出方法に関する。

スクリーン等に表示された画像の近傍で行うユーザーのジェスチャー操作を、カメラにより撮影して検出する技術が知られている（例えば、特許文献１参照）。カメラの撮影範囲内に表示画像が含まれる場合、ジェスチャーの検出においては、表示画像における動きとユーザーのジェスチャーとを区別する必要がある。例えば、特許文献１では、スクリーンに表示された表示画像のデータと、カメラで撮影した撮影画像データとの差分を求め、求めた差分からジェスチャーを検出する。特許文献１によれば、画像データの差分を求めることで表示画像に動きがある場合のジェスチャーの誤検出を防止できるとされている。

特開２０１１−１８８００８号公報

しかしながら、撮影画像のデータと表示画像のデータの差分を求めたとしても、ユーザーのジェスチャー以外の成分を完全に排除することは困難であった。例えば、撮影画像には室内灯や窓から差し込む外光等が写り込むことがあり、これらの影響を排除しつつ、撮影画像から表示画像の動きを排除することは複雑な画像処理を伴い、現実的でない。
本発明は上記事情に鑑みてなされたものであり、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる動き検出装置、画像表示装置、及び、動き検出方法を提供することを目的とする。

上記目的を達成するために、本発明の動き検出装置は、画像表示装置が表示する画像からジェスチャーを検出する第１検出部と、前記画像表示装置により表示された表示画像を含む範囲を撮影する撮影部と、前記撮影部の撮影画像からジェスチャーを検出する第２検出部と、前記第２検出部により検出されたジェスチャーの有効性を、前記第１検出部の検出結果に基づいて判定する判定部と、を備えることを特徴とする。
本構成によれば、表示される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとを比較することにより、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる。

また、本発明は、上記動き検出装置において、前記判定部は、前記第２検出部により検出され、前記第１検出部では検出されないジェスチャーを有効なジェスチャーと判定することを特徴とする。
本構成によれば、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる。

また、本発明は、上記動き検出装置において、前記判定部は、前記第２検出部によりジェスチャーが検出され、前記ジェスチャーの検出の前後所定時間の間に、前記ジェスチャーと同一のジェスチャーを前記第１検出部が検出しない場合に、前記第２検出部の検出した前記ジェスチャーを有効なジェスチャーと判定することを特徴とする。
本構成によれば、表示される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとに時間差がある場合であっても、ユーザーが表示画像の近傍で行うジェスチャーを高精度で検出できる。

また、本発明は、上記動き検出装置において、前記判定部は、前記第２検出部によりジェスチャーが検出され、前記ジェスチャーの検出の前後所定時間の間に、前記ジェスチャーと同一のジェスチャーを前記第１検出部が検出した場合に、前記第２検出部の検出した前記ジェスチャーを無効なジェスチャーと判定することを特徴とする。
本構成によれば、表示される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとに時間差がある場合であっても、ユーザーが表示画像の近傍で行うジェスチャーを高精度で検出できる。

本発明の画像表示装置は、画像を表示する表示部と、前記表示部が表示する画像からジェスチャーを検出する第１検出部と、前記表示部により表示された表示画像を含む範囲を撮影する撮影部と、前記撮影部の撮影画像からジェスチャーを検出する第２検出部と、前記第２検出部により検出されたジェスチャーの有効性を、前記第１検出部の検出結果に基づいて判定する判定部と、前記判定部により有効と判定されたジェスチャーに応じた処理を行う処理部とを有することを特徴とする。
本構成によれば、表示される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとを比較することにより、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる。

本発明の動き検出方法は、画像表示装置が表示する画像からジェスチャーを検出する第１検出ステップと、前記画像表示装置により表示された表示画像を含む範囲を撮影する撮影ステップと、撮影画像からジェスチャーを検出する第２検出ステップと、前記第２検出ステップにより検出されたジェスチャーの有効性を、前記第１検出ステップの検出結果に基づいて判定する判定ステップと、を有することを特徴とする。
本構成によれば、表示される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとを比較することにより、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる。

本発明によれば、ユーザーが表示画像の近傍で行うジェスチャーを、効率よく、高精度で検出できる。

本発明を適用したプロジェクターを含むシステムの構成例を示す図である。 プロジェクターの機能的構成の一例を示すブロック図である。 制御部の処理手順を示すフローチャートである。 制御部の処理手順を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。
図１に、本発明の実施形態に係るプロジェクターを含むシステムの構成例を示す。このシステムは、プロジェクター１００と、画像供給装置３００とを通信ケーブル２００を介して接続した構成を備えている。プロジェクター１００は、動き検出装置、画像表示装置として機能し、画像供給装置３００から供給される画像データに基づく画像をスクリーンＳＣ（投射面）に投射して表示する装置である。画像供給装置３００としては、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューター等が挙げられる。

図２に、プロジェクター１００の機能的構成の一例を示す。
プロジェクター１００は、外部の装置に接続するインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１５１を備える。Ｉ／Ｆ部１５１には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部１５１には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部１５１には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部１５１は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置３００に接続される構成としてもよい。なお、Ｉ／Ｆ部１５１は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。
なお、以下の説明では、通信ケーブル２００を介して画像供給装置３００から入力する、アナログ及びデジタルの映像信号を総称して画像データという。

画像処理部１５２は、Ｉ／Ｆ部１５１を介して入力した画像データをフレームメモリー１５３に展開する。画像データには、１フレーム毎のデータの集まりによってそれぞれ構成されており、当該画像データには、同期信号（垂直同期信号及び水平同期信号）が含まれている。画像処理部１５２は、フレームメモリー１５３に展開された画像データを解析して、この画像データのデータフォーマットに対応して予め設定された画像処理を行う。画像処理には、例えば、解像度変換処理、アスペクト比変更処理、フレームレート変換処理、減色処理、増色処理、画像補正処理等が含まれる。画像処理部１５２は、画像処理を行って、光変調装置１１２の表示画素数に対応する解像度の表示画像データを生成する。光変調装置駆動部１４２は、画像処理部１５２から入力した表示画像データに基づいて、光変調装置１１２を駆動する。

撮像部１６０は、プロジェクター１００の前面、即ち、プロジェクター１００がスクリーンＳＣに向けて画像を投射する方向、範囲（投射範囲）を撮像可能な位置に設けられている。撮像部１６０は、所定の投射距離においてスクリーンＳＣ上に投射された投射画像の全体が少なくとも撮像範囲内に入るように、撮影方向及び画角が設定されている。

プロジェクター１００は、光学的な画像の形成を行う投射部１１０（表示部）を備える。投射部１１０は、光源を備える光源部１１１と、液晶パネル等を備えた光変調装置１１２と、ズームレンズを備える投射光学系１１３とを備えている。

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、レーザー光源等からなる光源を備えている。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１１は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等を備えたものであってもよい。

光変調装置１１２は、例えば透過型液晶パネルを備えて構成され、この液晶パネルに後述する画像処理系からの信号を受けて画像を形成する。この場合、光変調装置１１２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルを備え、光源部１１１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。
なお、光変調装置１１２は、３枚の透過型液晶パネルを用いた構成に限らず、例えば３枚の反射型の液晶パネルを用いることも可能である。また、光変調装置１１２は、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のＤＭＤ(Digital Mirror Device)を用いた方式、１枚のＤＭＤとカラーホイールを組み合わせた方式等により構成してもよい。ここで、光変調装置１１２として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

投射光学系１１３は、投射する画像の拡大・縮小及びフォーカスの調整を行うズームレンズを備えている。また、投射光学系１１３は、ズームの度合いを調整するためのズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えていてもよい。投射光学系１１３は、光変調装置１１２で変調された入射光を、ズームレンズを用いてスクリーンＳＣ上に投射し、結像させる。

投射光学系１１３には、レンズ駆動部１４１が接続されている。レンズ駆動部１４１は、制御部１２０の制御に従って投射光学系１１３が備える各モーターを駆動する。光変調装置１１２には、光変調装置駆動部１４２が接続されている。光変調装置駆動部１４２は、画像処理部１５２から入力した表示画像データに基づいて、光変調装置１１２を駆動する。光源部１１１には、光源駆動部１４３が接続されている。光源駆動部１４３は、制御部１２０の制御に従って光源部１１１の光源を駆動する。

プロジェクター１００は、画像処理系を備える。画像処理系は、プロジェクター１００全体を統合的に制御する制御部１２０を中心に構成される。画像処理系には、その他に、記憶部１３０、画像処理部１５２、光変調装置駆動部１４２等を備える。

制御部１２０は、ＣＰＵ、不揮発性メモリー、ＲＡＭ等（いずれも不図示）を備え、記憶部１３０の記憶する制御プログラム１３１を読み出して実行し、プロジェクター１００の各部を制御する。ＣＰＵ、ＲＡＭ等のハードウェアと、ＲＯＭに記憶したプログラムとの協働によって、図１に示す制御部１２０内に示す機能ブロックが実現される。本実施形態の制御部１２０は、機能ブロックとして、投射制御部１２１、撮影制御部１２２、第１検出部１２３、第２検出部１２４及び判定部１２５を備えている。
記憶部１３０は、制御部１２０が処理するデータや制御部１２０が実行する制御プログラム１３１を記憶している。また、記憶部１３０は、ジェスチャー検出に使用するジェスチャーパターン辞書１３２を記憶する。ジェスチャーパターン辞書１３２には、各ジェスチャーの動作パターンと、制御命令とが対応付けられて登録されている。

投射制御部１２１は、投射部１１０による画像の投射動作を制御する。具体的には、投射制御部１２１は、プロジェクター１００の電源オン又はオフに伴い光源駆動部１４３を制御して、光源部１１１を点灯又は消灯させる制御、Ｉ／Ｆ部１５１から出力された画像データを画像処理部１５２に処理させる制御等を行う。また、投射制御部１２１は、操作パネル１５４又はリモコン（不図示）から入力される操作信号に基づいてユーザーが行った操作の内容を検出し、この操作に応じて画像処理部１５２、レンズ駆動部１４１、光変調装置駆動部１４２及び光源駆動部１４３を制御する。また、投射制御部１２１は、判定部１２５が判定したユーザーのジェスチャー操作に応じて画像処理部１５２、レンズ駆動部１４１、光変調装置駆動部１４２及び光源駆動部１４３を制御する。

撮影制御部１２２は、撮像部１６０を制御して、投射画像を含む撮像範囲を撮像部１６０に撮影させる。撮像部１６０により撮影された撮影画像データは、撮影制御部１２２の制御により記憶部１３０に記憶される。

第１検出部１２３は、画像処理部１５２から表示画像データを入力し、入力した表示画像データに対してジェスチャー検出を行う。第１検出部１２３は、一般的に知られた方法を用いてジェスチャーを検出する。例えば、第１検出部１２３は、表示画像データから人物領域を検出して、検出した領域における人物の動作特徴（例えば、動きベクトル）を、手、腕といった体のパーツごとに抽出する。そして、第１検出部１２３は、抽出した各パーツの動作特徴を、ジェスチャーパターン辞書１３２に登録されているジェスチャーの動作パターンと比較することで、ジェスチャーを検出する。また、特開２０１１−２０９７７３号公報に開示があるように、人物の顔の向きを検出して、人物が一定時間以上正面を向いている場合に人物の手の位置及び動きを検出してもよい。第１検出部１２３が検出するジェスチャーのパターンには、例えば、手をあげる、手を下げる、手を左回りに回す、手を右回りに回す等の動作が含まれる。第１検出部１２３は、ジェスチャーを検出すると、ジェスチャーの検出記録をＲＡＭ等のメモリー部（不図示）に記録する。ジェスチャーの検出記録には、例えば、検出したジェスチャーパターンを示すパターン情報と、ジェスチャーを検出した時刻情報とが含まれる。

第２検出部１２４は、撮像部１６０の撮影画像データからジェスチャーを検出する。記憶部１３０には、スクリーンＳＣの投射範囲を撮影した撮影画像データが記憶されている。第２検出部１２４は、記憶部１３０から撮影画像データを読み出して、ジェスチャーを検出する。第２検出部１２４も第１検出部１２３と同様に、ジェスチャーパターン辞書１３２を使用してジェスチャーを検出する。また、第２検出部１２４は、特開２０１１−２０９７７３号公報に開示された技術を用いてジェスチャーを検出してもよい。第２検出部１２４は、ジェスチャーを検出すると、検出したジェスチャーのパターン情報を判定部１２５に渡す。

判定部１２５は、第２検出部１２４からジェスチャーのパターン情報を取得すると、第２検出部１２４のジェスチャー検出から所定時間前まで遡って、メモリー部に、第１検出部１２３のジェスチャー検出記録が保存されているか否かを判定する。判定部１２５は、メモリー部に、第１検出部１２３のジェスチャー検出記録が保存されている場合、このジェスチャー検出記録を参照して、ジェスチャーのパターンが同一であるか否かを判定する。判定部１２５は、ジェスチャー検出記録を参照して、第１検出部１２３の検出したジェスチーと、第２検出部１２４が検出したジェスチャーとが同一パターンのジェスチャーであるか否かを判定する。第１検出部１２３と第２検出部１２４との検出したジェスチャーが同一パターンのジェスチャーである場合、判定部１２５は、第２検出部１２４の検出したジェスチャーを無効と判定する。すなわち、判定部１２５は、第２検出部１２４が検出したジェスチャーを、表示画像データに基づいてスクリーンＳＣに投射された画像から検出されたジェスチャーであると判定する。また、第１検出部１２３がジェスチャーを検出していない場合、若しくは第１検出部１２３及び第２検出部１２４の検出したジェスチャーパターンが異なる場合、判定部１２５は、第２検出部１２４の検出したジェスチャーを有効と判定する。すなわち、判定部１２５は、第２検出部１２４が検出したジェスチャーを、スクリーンＳＣの近傍に立って、スクリーンＳＣに投射された画像の説明等を行うユーザー３５０（図１参照）が行ったジェスチャーであると判定する。判定部１２５は、ユーザー３５０のジェスチャーであると判定すると、パターン情報に基づいてジェスチャーパターン辞書１３２を参照し、ジェスチャーに対応付けられた制御命令を取得する。判定部１２５は、取得した制御命令を投射制御部１２１に渡す。
なお、判定部１２５は、第２検出部１２４からジェスチャーのパターン情報を取得した場合、第２検出部１２４のジェスチャー検出から所定時間後まで追跡して、メモリー部に、第１検出部１２３のジェスチャー検出記録が保存されているか否かを判定してもよい。また、第２検出部１２４のジェスチャー検出の前後所定時間の間の第１検出部１２３のジェスチャー検出記録が、メモリー部に保存されているか否かを判定してもよい。

投射制御部１２１は、判定部１２５から制御命令を取得すると、取得した制御命令に応じた処理を行う。例えば、投射制御部１２１は、スクリーンＳＣへの画像投射の終了、ズームイン、ズームアウト、電源オフ等の制御を行う。

プロジェクター１００の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル１５４が配置されている。操作パネル１５４は制御部１２０に接続されており、制御部１２０の制御により、プロジェクター１００の動作状態や設定状態に応じたインジケーターランプが適宜点灯或いは点滅される。また、操作パネル１５４のスイッチが操作されると、操作されたスイッチに対応する操作信号が制御部１２０に出力される。
また、プロジェクター１００は、ユーザーが使用するリモコン（不図示）を有する。リモコンは各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１００の本体には、リモコンが発する赤外線信号を受光するリモコン受光部１５５が配置されている。リモコン受光部１５５は、リモコンから受光した赤外線信号をデコードして、リモコンにおける操作内容を示す操作信号を生成し、制御部１２０に出力する。

次に、図３及び図４に示すフローチャートを参照しながら制御部１２０の処理手順を説明する。まず、図３を参照しながら第１検出部１２３の処理手順について説明する。
第１検出部１２３は、まず、画像処理部１５２から表示画像データを入力したか否かを判定する（ステップＳ１）。第１検出部１２３は、表示画像データを入力すると（ステップＳ１／ＹＥＳ）、入力した表示画像データからジェスチャーを検出する（ステップＳ２）。第１検出部１２３は、表示画像データから人物領域を検出して、検出した領域における人物の動作特徴（例えば、動きベクトル）を、手、腕といった体のパーツごとに抽出する。そして、第１検出部１２３は、抽出した各パーツの動作特徴を、ジェスチャーパターン辞書１３２に登録されたジェスチャーの動作パターンと比較して、ジェスチャーを検出する。第１検出部１２３は、ジェスチャーを検出した場合（ステップＳ３／ＹＥＳ）、検出したジェスチャーのパターン情報と、ジェスチャーを検出した時刻情報とをメモリー部に保存する（ステップＳ４）。また、第１検出部１２３は、ジェスチャーを検出できなかった場合（ステップＳ３／ＮＯ）、入力した表示画像データに対するジェスチャー検出が終了であるか否かを判定する（ステップＳ５）。第１検出部１２３は、表示画像データに対するジェスチャー検出が終了であると判定すると（ステップＳ５／ＹＥＳ）、この処理フローを終了させる。また、第１検出部１２３は、表示画像データに対するジェスチャー検出が終了ではないと判定する場合（ステップＳ５／ＮＯ）、ステップＳ３に戻り、ジェスチャー検出を再度行う。

次に、図４に示すフローチャートを参照しながら撮影制御部１２２、第２検出部１２４、及び判定部１２５の処理手順を説明する。
投射制御部１２１の制御によりスクリーンＳＣに表示画像データに基づく画像が表示されると、撮影制御部１２２は、撮像部１６０を制御してスクリーンＳＣを含む投射範囲の撮影を開始する（ステップＳ１１）。撮影制御部１２２は、撮像部１６０を制御して、所定時間ごとに、スクリーンＳＣを含む投射範囲を撮影する。撮像部１６０により撮影された撮影画像データは、撮影制御部１２２の制御により記憶部１３０に記憶される。次に、第２検出部１２４は、記憶部１３０から撮影画像データを読み出して、撮影画像データからユーザー３５０のジェスチャーを検出する（ステップＳ１２）。第２検出部１２４は、例えば、撮影画像データから抽出した人物の動作特徴を、ジェスチャーパターン辞書１３２に登録されたジェスチャーの動作パターンと比較することで、ジェスチャーを検出する。第２検出部１２４は、ジェスチャーを検出できない場合（ステップＳ１３／ＮＯ）、他の撮影画像データが、記憶部１３０に記憶されているか否かを判定する（ステップＳ１６）。撮影画像データが、記憶部１３０に記憶されている場合（ステップＳ１６／ＹＥＳ、第２検出部１２４は、記憶部１３０から他の撮影画像データを読み出して、撮影画像データからユーザー３５０のジェスチャーを検出する（ステップＳ１２）。また、ステップＳ１３においてジェスチャーを検出した場合（ステップＳ１３／ＹＥＳ）、第２検出部１２４は、検出したジェスチャーのパターン情報を判定部１２５に渡す。判定部１２５は、第２検出部１２４からジェスチャーのパターン情報を取得すると、第２検出部１２４のジェスチャー検出から所定時間前まで遡って、メモリー部に、パターン情報が同一のジェスチャー検出記録が保存されているか否かを判定する。すなわち、判定部１２５は、ほぼ同時に第１検出部１２３により表示画像データから同一のジェスチャーが検出されたか否かを判定する。判定部１２５は、メモリー部に、パターン情報が同一のジェスチャー検出記録が保存されている場合（ステップＳ１４／ＹＥＳ）、第２検出部１２４の検出したジェスチャーを無効と判定する。すなわち、判定部１２５は、第２検出部１２４が検出したジェスチャーを、表示画像データに基づいてスクリーンＳＣに投射された画像から検出されたジェスチャーであると判定する。また、メモリー部に、パターン情報が同一のジェスチャー検出記録が保存されていない場合（ステップＳ１４／ＮＯ）、判定部１２５は、第２検出部１２４の検出したジェスチャーを有効と判定する。すなわち、判定部１２５は、第２検出部１２４が検出したジェスチャーを、ユーザー３５０（図１参照）のジェスチャーであると判定して、検出したジェスチャーに応じた制御命令をジェスチャーパターン辞書１３２から取得する。判定部１２５は、取得した制御命令を投射制御部１２１に渡す。投射制御部１２１は、判定部１２５から制御命令を取得すると、取得した制御命令に応じた処理を行う（ステップＳ１５）。例えば、投射制御部１２１は、制御命令に応じて、スクリーンＳＣへの画像投射の終了、ズームイン、ズームアウト、電源オフ等の制御を行う。

以上説明したように本実施形態は、スクリーンＳＣを撮影した撮影画像データと、スクリーンＳＣに投射させる投射画像との両方からジェスチャー検出を行って、撮影画像データから検出するジェスチャーの有効性を判定している。すなわち、撮影画像データからは検出され、投射画像からは検出されないジェスチャーを、ユーザーが行った有効なジェスチャーと判定する。従って、投射画像における人の動きを、ユーザーのジェスチャーと誤って判定してしまう可能性を低減することができ、ジェスチャー検出の精度を向上させることができる。

本実施形態のプロジェクター１００は、第１検出部１２３と、撮像部１６０と、第２検出部１２４と、判定部１２５とを備えている。第１検出部１２３は、スクリーンＳＣに表示される画像からジェスチャーを検出する。撮像部１６０は、スクリーンＳＣ上の投射画像を含む範囲、すなわち画像が表示されたスクリーンＳＣを含む範囲を撮影する。第２検出部１２４は、撮影画像からジェスチャーを検出する。判定部１２５は、第２検出部１２４により検出され、第１検出部１２３では検出さないジェスチャーを有効なジェスチャーと判定する。このように、プロジェクター１００が投射する画像（表示用の画像）から検出したジェスチャーと、スクリーンＳＣを含む範囲の撮影画像から検出したジェスチャーとを比較することにより、効率よく、高精度でジェスチャーを検出できる。

また、判定部１２５は、第２検出部１２４のジェスチャー検出から所定時間前までの間に、第２検出部１２４が検出したジェスチャーと同一のジェスチャーを第１検出部１２３が検出していない場合に、第２検出部１２４が検出したジェスチャーを有効と判定する。また、判定部１２５は、第２検出部１２４のジェスチャー検出から所定時間後までの間、第２検出部１２４が検出したジェスチャーと同一のジェスチャーを第１検出部１２３が検出していない場合に、第２検出部１２４が検出したジェスチャーを有効と判定する。従って、投射される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとに時間差がある場合であっても、ユーザーが行うジェスチャーを高精度で検出できる。

また、判定部１２５は、第２検出部１２４のジェスチャー検出から所定時間前までの間に、第２検出部１２４が検出したジェスチャーと同一のジェスチャーを第１検出部１２３が検出している場合に、第２検出部１２４が検出したジェスチャーを無効と判定する。また、判定部１２５は、第２検出部１２４のジェスチャー検出から所定時間後までの間に、第２検出部１２４が検出したジェスチャーと同一のジェスチャーを第１検出部１２３が検出している場合に、第２検出部１２４が検出したジェスチャーを無効と判定する。従って、投射される画像から検出したジェスチャーと撮影画像から検出したジェスチャーとに時間差がある場合であっても、ユーザーが行うジェスチャーを高精度で検出できる。

なお、上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。上記実施形態では、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００によって、スクリーンＳＣに画像を投射し、ユーザーがスクリーンＳＣの近傍で行うジェスチャーを検出する態様について説明した。本発明はこれに限定されず、プロジェクター１００以外の画像表示装置が表示する表示画像の近傍でユーザーが行うジェスチャーを検出する態様であってもよい。プロジェクター１００以外の画像表示装置としては、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターが挙げられる。また、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を画像表示装置として用いることができる。

また、プロジェクター１００が検出するジェスチャーは、ユーザーの手、腕といった体の一部、或いは体全体の動作に限定されない。例えば、棒形状やペン型の指示体の動きをジェスチャーとして検出してもよいし、レーザーポインターの指示点の動きをジェスチャーとして検出してもよい。
また、上記実施形態では、プロジェクター１００が備える撮像部１６０によりスクリーンＳＣを撮影して、ジェスチャーを検出する構成を例示したが、本発明はこれに限定されない。例えば、撮像部１６０をプロジェクター１００本体とは別体として配置してもよいし、撮像部１６０がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部１６０を配置し、これら複数の撮像部１６０の撮影画像データに基づいて、ジェスチャーを検出してもよい。
また、図２に示したプロジェクター１００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１００…プロジェクター（動き検出装置、画像表示装置）、１１０…投射部（表示部）、１１１…光源部、１１２…光変調装置、１１３…投射光学系、１２０…制御部、１２１…投射制御部（処理部）、１２２…撮影制御部、１２３…第１検出部、１２４…第２検出部、１２５…判定部、１３０…記憶部、１３１…制御プログラム、１３２…ジェスチャーパターン辞書、１４１…レンズ駆動部、１４２…光変調装置駆動部、１４３…光源駆動部、１５１…Ｉ／Ｆ部、１５２…画像処理部、１５３…フレームメモリー、１５４…操作パネル、１５５…リモコン受光部、１６０…撮像部（撮影部）、２００…通信ケーブル、３００…画像供給装置、３５０…ユーザー、ＳＣ…スクリーン（投射面）。

Claims (6)

1. 画像表示装置が表示する画像からジェスチャーを検出する第１検出部と、
   前記画像表示装置により表示された表示画像を含む範囲を撮影する撮影部と、
   前記撮影部の撮影画像からジェスチャーを検出する第２検出部と、
   前記第２検出部により検出されたジェスチャーの有効性を、前記第１検出部の検出結果に基づいて判定する判定部と、
   を備えることを特徴とする動き検出装置。
2. 前記判定部は、前記第２検出部により検出され、前記第１検出部では検出されないジェスチャーを有効なジェスチャーと判定することを特徴とする請求項１記載の動き検出装置。
3. 前記判定部は、前記第２検出部によりジェスチャーが検出され、前記ジェスチャーの検出の前後所定時間の間に、前記ジェスチャーと同一のジェスチャーを前記第１検出部が検出しない場合に、前記第２検出部の検出した前記ジェスチャーを有効なジェスチャーと判定することを特徴とする請求項２記載の動き検出装置。
4. 前記判定部は、前記第２検出部によりジェスチャーが検出され、前記ジェスチャーの検出の前後所定時間の間に、前記ジェスチャーと同一のジェスチャーを前記第１検出部が検出した場合に、前記第２検出部の検出した前記ジェスチャーを無効なジェスチャーと判定することを特徴とする請求項２又は３記載の動き検出装置。
5. 画像を表示する表示部と、
   前記表示部が表示する画像からジェスチャーを検出する第１検出部と、
   前記表示部により表示された表示画像を含む範囲を撮影する撮影部と、
   前記撮影部の撮影画像からジェスチャーを検出する第２検出部と、
   前記第２検出部により検出されたジェスチャーの有効性を、前記第１検出部の検出結果に基づいて判定する判定部と、
   前記判定部により有効と判定されたジェスチャーに応じた処理を行う処理部と、
   を有することを特徴とする画像表示装置。
6. 画像表示装置が表示する画像からジェスチャーを検出する第１検出ステップと、
   前記画像表示装置により表示された表示画像を含む範囲を撮影する撮影ステップと、
   撮影画像からジェスチャーを検出する第２検出ステップと、
   前記第２検出ステップにより検出されたジェスチャーの有効性を、前記第１検出ステップの検出結果に基づいて判定する判定ステップと、
   を有することを特徴とする動き検出方法。

Images