JP2016012203A - 表示装置、表示方法およびプログラム - Google Patents

Abstract

【課題】操作性の優れた表示装置、表示方法およびプログラムを提供する。【解決手段】本発明に係る表示装置は、範囲検出部と動作検出部と制御部とを備える。範囲検出部は、投影対象の画像データを示す投影画像データと、投影画像データを投影面に投影した画像を示す投影画像、および、投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する。動作検出部は、撮像画像データに基づいて、ユーザの動作を検出する。制御部は、動作検出部で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定動作に対応する特定の処理を実行する制御を行う。【選択図】図１

Description

本発明は、表示装置、表示方法およびプログラムに関する。

従来、機器操作のための情報（特定の処理の実行を指示する指示情報であると考えることもできる）を指示棒やレーザーポインタの軌跡、ユーザのジェスチャーモーションなどで表し、カメラによる撮像で得られた画像に基づいて、機器操作のための情報を表す動作を検出した場合、その情報を通知する技術が知られている（例えば特許文献１、２、３参照）。

例えばプロジェクタなどの表示装置の操作を行う場合、投影した画面上の表示に対する操作と、表示画像とは関係なしに実行したい機器操作があるが、操作内容すべてに異なるモーションパターンをあてはめるとユーザが覚える必要のあるモーションの数が増えてしまい、操作性が悪いという問題がある。

また、例えばカメラの撮像範囲の全域が、機器操作のための情報を表す動作を検出する範囲として設定される場合においては、ユーザが、特定の処理を実行させることを意識していなくても、カメラの撮像範囲で、その特定の処理の実行を指示する指示情報を表す動作が検出された場合は、ユーザの意図とは無関係に、その特定の処理が実行されてしまい、操作性が悪いという問題がある。

上述した課題を解決し、目的を達成するために、本発明は、投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出部と、前記撮像画像データに基づいて、ユーザの動作を検出する動作検出部と、前記動作検出部で検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御部と、を備える表示装置である。

本発明によれば、表示装置の操作性を向上させることができるという有利な効果を奏する。

図１は、第１実施形態の表示装置の構成の一例を示す図である。 図２は、特定範囲の検出方法を説明するための図である。 図３は、範囲検出部の動作例を示すフローチャートである。 図４は、撮像センサーで撮像した画像を模式的に示す図である。 図５は、動作検出部の動作例を示すフローチャートである。 図６は、特定の処理の一例を示す図である。 図７は、第２の処理の一例を示す図である。 図８は、第３の処理の一例を示す図である。 図９は、第２実施形態の表示装置の構成例を示す図である。 図１０は、パターン投影画像データを用いて特定範囲の検出方法を説明するための図である。 図１１は、別のパターン投影画像データを用いて特定範囲の検出方法を説明するための図である。 図１２は、別のパターン投影画像データを用いて特定範囲の検出方法を説明するための図である。 図１３は、第３実施形態の表示装置の構成例を示す図である。 図１４は、操作範囲表示画像が投影面に投影される様子を示す図である。 図１５は、第４実施形態の表示装置の構成例を示す図である。 図１６は、投影画像の表示サイズの拡大に連動して特定範囲も変更される様子を示す図である。 図１７は、投影画像データに警告メッセージを合成した画像データが投影面に投影される様子を示す図である。 図１８は、第６実施形態の表示装置の構成例を示す図である。

以下、添付図面を参照しながら、本発明に係る表示装置、表示方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される表示装置として、画像投影装置の一例であるプロジェクタを例に挙げて説明するが、これに限られるものではない。

（第１実施形態）
図１は、本実施形態の表示装置１の構成の一例を示す図である。図１に示すように、表示装置１は、画像投影部１０と、投影画像検出部２０と、画像処理部３０と、操作パネル４０と、を備える。

画像投影部１０は、ＰＣやサーバ装置などの外部装置から受信した投影対象の画像データを示す投影画像データを、例えばスクリーンなどの投影面に投影する手段である。投影画像検出部２０は、投影画像データを投影面に投影した画像を示す投影画像、および、投影面のうち投影画像が表示される領域を示す投影領域の周辺を撮像する手段である。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。以下の説明では、投影画像検出部２０による撮像で得られた画像を、「撮像画像データ」と称する。

画像処理部３０は、画像投影部１０から入力される投影画像データと、投影画像検出部２０から入力される撮像画像データとを用いて、以下に説明する画像処理を行う。図１に示すように、画像処理部３０は、範囲検出部３１と、動作検出部３２と、制御部３３とを有する。

範囲検出部３１は、画像投影部１０から入力される投影画像データと、投影画像検出部２０から入力される撮像画像データとの差分に応じて、撮像画像データのうち、特定の処理の実行を指示する特定指示情報を表す動作を示す特定動作を検出する範囲を示す特定範囲を検出する。なお、「特定の処理」や「特定の動作」の種類は任意であり、例えば本実施形態では、特定の処理として、投影画像を縮小して表示する処理（投影画像のズームダウン処理）を採用し、「特定の動作」として、腕や指示棒を上から下へ振り下ろす動作を採用するが、これらに限られるものではない。本実施形態では、範囲検出部３１は、画像投影部１０から入力される投影画像データ（現在投影中の投影画像データ）と、投影画像検出部２０から入力される撮像画像データとの比較を行い、撮像画像データの中に投影画像データと一致するパターンを検出した場合、撮像画像データのうち当該パターンの範囲を特定範囲として検出する。

例えば図２の（Ａ）に示すように、図２の（Ｂ）に示す投影画像データがスクリーン（投影面）に投影されている場合を想定する。この場合、投影画像検出部２０による撮像で得られる撮像画像データは、図２の（Ｃ）のようになる。図２の（Ｄ）に示すように、範囲検出部３１は、図２の（Ｃ）に示す撮像画像データのうち、図２の（Ｂ）に示す投影画像データのパターンと一致する範囲（図２の（Ｄ）において網点で表示された範囲）を、特定範囲として検出することができる。また、例えば範囲検出部３１は、図２の（Ｃ）に示す撮像画像データのうち、図２の（Ｂ）に示す投影画像データのパターンと一致する範囲外の範囲（図２の（Ｄ）において斜線（ハッチング）で表示された範囲）を、上記特定の処理とは異なる処理（以下の説明では「第２の処理」と称する場合がある）の実行を指示する第２指示情報を表す動作（以下の説明では「第２の動作」と称する場合がある）を検出する範囲として検出することもできる。このように、特定の処理の実行を指示する特定指示情報を表す特定動作を検出する範囲（特定範囲）と、第２の処理の実行を指示する第２指示情報を表す第２動作を検出する範囲とを異ならせることにより、例えば特定の処理の実行を指示する指示情報を表す特定動作と、第２の処理の実行を指示する第２指示情報を表す第２の動作とが同じ動作であっても、ユーザは、特定の処理の実行を指示する場合と第２の処理の実行を指示する場合とで、動作を行う範囲を使い分けることにより、特定の処理および第２の処理のうちの所望の方の処理を実行させることができる。

なお、以上の態様は一例であり、例えば範囲検出部３１は、図２の（Ｃ）に示す撮像画像データのうち、図２の（Ｂ）に示す投影画像データのパターンと一致する範囲以外の範囲（図２の（Ｄ）において斜線（ハッチング）で表示された範囲）を、特定範囲として検出する形態であってもよい。

範囲検出部３１は、以上のようにして特定範囲を検出した場合、その位置やサイズなどを示す情報を、特定範囲を示す情報（以下の説明では「特定範囲情報」と称する場合がある）として、動作検出部３２へ通知する。この特定範囲情報は、ユーザによる指示があるか、画像投影部１０によるズーム操作などで投影画像のサイズ変更があるまで範囲検出部３１で保持される。

図３は、範囲検出部３１の動作例を示すフローチャートである。図３に示すように、まず範囲検出部３１は、画像投影部１０から投影画像データを取得する（ステップＳ１）。次に、範囲検出部３１は、投影画像検出部２０から撮像画像データを取得する（ステップＳ２）。次に、範囲検出部３１は、ステップＳ１で取得した投影画像データと、ステップＳ２で取得した撮像画像データとの比較処理を行い（ステップＳ３）、撮像画像データのうち投影画像データの画像パターンと一致する範囲が存在するか否かを判断する（ステップＳ４）。撮像画像データのうち、投影画像データの画像パターンと一致する範囲が存在する場合（ステップＳ４：Ｙｅｓ）、範囲検出部３１は、上述の特定範囲情報を抽出し（ステップＳ５）、その抽出した特定範囲情報を保持する（ステップＳ６）。次に、範囲検出部３１は、ステップＳ５で抽出した特定範囲情報を、動作検出部３２へ通知する（ステップＳ７）。一方、上述のステップＳ４において、撮像画像データのうち、投影画像データの画像パターンと一致する範囲が存在しない場合（ステップＳ４：Ｎｏ）、処理は終了する。

図１に戻って説明を続ける。動作検出部３２は、撮像画像データに基づいて、ユーザの動作を検出する。例えば動作検出部３２は、投影画像検出部２０による撮像で得られた静止画、あるいは動画の画像情報により特徴のある画像パターンや映像の動きを検出して、ユーザの動作を検出する。検出したユーザの動作が、範囲検出部３１から通知された特定範囲情報が示す特定範囲における動作であり、かつ、特定動作と一致する動作であれば、動作検出部３２は、上述の特定の処理の実行を指示する特定指示情報を、制御部３３へ通知する。

カメラに映し出された映像やレーザーポインタなどによる光の軌跡により情報を検出する手法自体は、特開平０８−３３１６６７号公報や特許第４９９２６１８号公報などにより公知の技術である。検出方法の例としては、図４に示すように、投影画像検出部２０による撮像で得られた撮像画像データを、任意の時間間隔Δｔで保持して、ある時間Ｔで保持した撮像画像データと、前回保持した時間Ｔ−１（Ｔ−Δｔ）で保持した撮像画像データとを比較して、映像の差分を検出する。差分を検出した範囲において、時間Ｔ−１から時間Ｔの間に変化した映像情報より、変化のある映像情報の移動方向を検出する。また、撮像画像データの保持を２つのフレームだけではなく複数フレームで保持して時間毎の変化の差分を検出することで、映像情報の変化時間を検出することができる。これらの映像情報の変化時間、変化の方向の組み合わせによるモーション検出、さらに複数のモーションを組み合わせて検出することで、特定動作（この例では腕を上から下へ振り下ろす動作）に該当する映像変化を検出（抽出）することができる。

図５は、動作検出部３２の動作例を示すフローチャートである。図５に示すように、動作検出部３２は、投影画像検出部２０または範囲検出部３１から撮像画像データを取得する（ステップＳ１１）。次に、動作検出部３２は、範囲検出部３１から特定範囲情報を取得する（ステップＳ１２）。次に、動作検出部３２は、ステップＳ１で取得した撮像画像データに基づいて、ユーザの動作を検出する（ステップＳ１３）。例えば動作検出部３２は、所定の時間間隔Δｔで、投影画像検出部２０による撮像で得られた撮像画像データを順次に取得する場合、ステップＳ１で取得した撮像画像データと、前回取得した撮像画像データとの差分に基づいて、ユーザの動作を検出することができる。

次に、動作検出部３２は、ステップＳ１３で検出したユーザの動作は、特定動作（この例では腕を上から下へ振り下ろす動作）であるか否かを判断する（ステップＳ１４）。ステップＳ１３で検出したユーザの動作が、特定動作である場合（ステップＳ１４：Ｙｅｓ）、動作検出部３２は、ステップＳ１３で検出したユーザの動作が、範囲検出部３１から通知された特定範囲情報が示す特定範囲における動作であるか否かを判断する（ステップＳ１５）。ステップＳ１３で検出したユーザの動作が、範囲検出部３１から通知された特定範囲情報が示す特定範囲における動作である場合（ステップＳ１５：Ｙｅｓ）、動作検出部３２は、特定の処理の実行を指示する特定指示情報を、制御部３３へ通知する（ステップＳ１６）。

一方、ステップＳ１３で検出したユーザの動作が、特定動作でない場合（ステップＳ１４：Ｎｏ）、処理は終了する。また、ステップＳ１３で検出したユーザの動作が、特定動作であるものの（ステップＳ１４：Ｙｅｓ）、特定範囲内における動作ではない場合（ステップＳ１５：Ｎｏ）、処理を終了することとしてもよいが、例えば撮像画像データのうち特定範囲以外の範囲が、特定の処理とは異なる第２の処理の実行を指示する第２指示情報を表す第２動作を検出する範囲として設定され、かつ、第２動作が特定動作と同じ動作である場合、動作検出部３２は、第２の処理の実行を指示する第２指示情報を、制御部３３へ通知することもできる。

図１に戻って説明を続ける。制御部３３は、表示装置１の動作を制御する手段であり、例えば画像投影部１０および投影画像検出部２０の各々に対して機器制御情報を供給することにより、画像投影部１０および投影画像検出部２０の各々の動作を制御することができる。本実施形態では、制御部３３は、動作検出部３２で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定動作に対応する特定の処理を実行する制御を行う。この例では、動作検出部３２で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、制御部３３には、動作検出部３２から前述の特定指示情報が入力されるので、制御部３３は、受け付けた特定指示情報に従って、特定の処理を実行する制御を行う。前述したように、この例では、特定の処理として、投影画像を縮小して表示する処理（投影画像のズームダウン処理）が採用されているので、例えば図６に示すように、ユーザの動作が、投影画像と重なる位置で検出され、かつ、腕を上から下へ振り下ろす動作であることが検出された場合、制御部３３は、投影画像を縮小して表示する制御を行うという具合である。

また、例えば撮像画像データのうち特定範囲以外の範囲が、特定の処理とは異なる第２の処理の実行を指示する第２指示情報を表す第２動作を検出する範囲として設定され、かつ、第２動作が前述の特定動作と同じ動作（この例では腕を上から下へ振り下ろす動作）である場合を想定する。この場合、動作検出部３２で検出されたユーザの動作が、特定範囲外の範囲における動作であり、かつ、腕を上から下へ振り下ろす動作であれば、制御部３３には、動作検出部３２から前述の第２指示情報が入力されるので、制御部３３は、受け付けた第２指示情報に従って、第２の処理を実行する制御を行う。例えば、第２の処理として、投影画像を非表示にする（投影画像をＯＦＦにする）処理が採用されている場合、図７に示すように、ユーザの動作が、投影画像と重ならない位置で検出され、かつ、腕を上から下へ振り下ろす動作であることが検出された場合、制御部３３は、投影画像を非表示にする制御を行うという具合である。

投影画像が非表示（ＯＦＦ）になると、撮像画像データと投影画像データとの比較結果が不一致になるが、このような場合は投影画像をＯＦＦにする前の特定範囲情報を保持しておく。これにより、投影画像がＯＦＦの場合でも特定範囲外におけるユーザの動作を検出可能になる。例えば撮像画像データのうち特定範囲外の範囲が、特定の処理および第２の処理とは異なる第３の処理の実行を指示する第３指示情報を表す第３動作を検出する範囲として設定され、第３動作が腕を下から上へ振り上げる動作であり、第３の処理が非表示の投影画像を再び表示する（ＯＮにする）処理である場合を想定する。図８に示すように、投影画像が非表示の状態で、ユーザの動作が、投影画像と重ならない位置で検出され、かつ、腕を下から上へ振り上げる動作であることが検出された場合、制御部３３は、投影画像を再び表示する制御を行うという具合である。

また、例えば撮像画像データのうち投影画像データの画像パターンと一致する範囲を、表示装置１による処理（特定の処理を含む）の実行を指示する指示情報を表す動作が有効な範囲として設定すれば、撮像画像データのうち投影画像データの画像パターンと一致する範囲内におけるユーザの動作のみが、指示情報を表す動作であるか否かの検出対象となる。あるいは、その逆に、撮像画像データのうち投影画像データの画像パターンと一致する範囲外の範囲を、表示装置１による処理（特定の処理を含む）の実行を指示する指示情報を表す動作が有効な範囲として設定し、投影画像の前でのユーザの動作を、指示情報を表す動作であるか否かの検出対象とはしないことで、表示装置１の誤操作を防ぐこともできる。

図１に戻って説明を続ける。操作パネル４０は、ユーザによる各種の操作を受け付けるとともに各種の情報を表示可能な手段である。この例では、制御部３３は、操作パネル４０で受け付けた操作に応じて、表示装置１の動作を制御することもできるし、表示装置１の動作状態に応じた情報を操作パネル４０に表示する制御を行うこともできる。

以上に説明した画像処理部３０の各部の機能（範囲検出部３１、動作検出部３２および制御部３３）は、表示装置１に搭載されたＣＰＵが、ＲＯＭ等に格納されたプログラムを実行することにより実現される形態であってもよいし、画像処理部３０の各部の機能の少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現される形態であってもよい。

以上に説明したように、本実施形態では、投影対象の画像データを示す投影画像データと、投影画像データを投影面に投影した画像を示す投影画像、および、投影面のうち投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、撮像画像データのうち、特定の処理の実行を指示する特定指示情報を表す特定動作を検出する範囲を示す特定範囲を検出する。そして、撮像画像データに基づいて検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定の処理を実行する制御を行う。つまり、特定範囲外のユーザ動作は、特定指示情報を表す特定動作であるか否かの検出対象にはならないので、例えばユーザが、特定範囲外において、特定の処理を実行させることを意識せずに特定動作と同じ動作を行っても、特定の処理が実行されることはない。したがって、本実施形態によれば、表示装置１の操作性を向上させることができるという有利な効果を奏する。

（第２実施形態）
次に、第２実施形態について説明する。上述の第１実施形態と共通する部分については適宜に説明を省略する。本実施形態では、範囲検出部３１は、基準パターンを有する投影画像データを示すパターン投影画像データと、パターン投影画像データを投影面に投影した画像を示す投影画像を含む撮像画像データとの差分に応じて、特定範囲を検出する機能を有する。より具体的には、範囲検出部３１は、撮像画像データのうち基準パターンと一致する範囲を、特定範囲として検出する。以下、具体的に説明する。

図９は、本実施形態の表示装置１００の構成の一例を示す図である。図９に示すように、表示装置１００は、パターン生成部５０と選択出力部６０とをさらに備える。パターン生成部５０は、制御部３３の制御の下、基準パターンを有する投影画像データを示すパターン投影画像データを生成する。選択出力部６０は、制御部３３の制御の下、外部装置から受信した投影画像データおよびパターン生成部５０により生成されたパターン投影画像データのうちの何れかを、投影対象の画像データとして選択して画像投影部１０に供給する。

図１０の（Ａ）は、パターン投影画像データの一例を示す図である。この例では、制御部３３は、表示装置１００の利用開始時に、図１０の（Ａ）に示すパターン投影画像データを生成するようにパターン生成部５０を制御する。そして、外部装置から受信する投影画像データ、および、パターン生成部５０により生成されたパターン投影画像データのうち、パターン投影画像データを選択して投影面に投影するよう、選択出力部６０および画像投影部１０を制御する。図１０の（Ａ）に示すパターン投影画像データが投影面に投影されている場合、投影画像検出部２０による撮像で得られる撮像画像データは、図１０の（Ｂ）のようになる。図１０の（Ｃ）に示すように、範囲検出部３１は、図１０の（Ｂ）に示す撮像画像データのうち、図１０の（Ａ）に示すパターン投影画像データが有する基準パターンと一致する範囲（図１０の（Ｃ）においてハッチング（斜線）で表示された範囲）を、特定範囲として検出することができる。

図１０の例では、パターン投影画像データが有する基準パターンは１種類のパターンであり、撮像画像データのうちパターン投影画像が有する基準パターンと一致する範囲内と、撮像画像データのうちパターン投影画像が有する基準パターンと一致する範囲外との２種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができるが、パターン投影画像データが有する基準パターンの形態はこれに限られるものではない。例えば図１１の（Ａ）に示すように、パターン投影画像データが有する基準パターンは、２種類のパターン（パターン１、パターン２）である形態であってもよい。この例では、範囲検出部３１は、図１１の（Ａ）に示すパターン投影画像データが投影面に投影されている状態を撮像して得られた撮像画像データのうち、図１１の（Ａ）に示すパターン投影画像データが有するパターン１と一致する範囲（図１１の（Ｂ）において格子の網掛けで表示された領域）と、図１１の（Ａ）に示すパターン投影画像データが有するパターン２と一致する範囲（図１１の（Ｂ）においてハッチング（斜線）で表示された領域）と、パターン１およびパターン２の何れとも一致しない範囲（図１１の（Ｂ）において網点で表示された領域）と、を検出することができる。つまり、この例では、撮像画像データのうち、図１１の（Ａ）に示すパターン投影画像データが有するパターン１と一致する領域と、図１１の（Ａ）に示すパターン投影画像データが有するパターン２と一致する領域と、パターン１およびパターン２の何れとも一致しない領域との３種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができる。

また、基準パターンの数、形状、サイズ、位置には制約が無く、例えば基準パターンは、図１２の（Ａ）に示すようなパターン１１、パターン１２を有する形態であってもよい。この例でも、範囲検出部３１は、図１２の（Ａ）に示すパターン投影画像データが投影面に投影されている状態を撮像して得られた撮像画像データのうち、図１２の（Ａ）に示すパターン投影画像データが有するパターン１１と一致する範囲（図１２の（Ｂ）において格子の網掛けで表示された領域）と、パターン１２と一致する範囲（図１２の（Ｂ）においてハッチング（斜線）で表示された領域）と、パターン１１およびパターン２２の何れとも一致しない範囲（図１２の（Ｂ）において網点で表示された領域）とを検出することができる。つまり、この例では、撮像画像データのうち、図１２の（Ａ）に示すパターン投影画像データが有するパターン１１と一致する領域と、図１２の（Ａ）に示すパターン投影画像データが有するパターン１２と一致する領域と、パターン１１およびパターン１２の何れとも一致しない領域との３種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができる。

以上の例では、枠線の範囲といった画像の形状で領域の区分を検出しているが、例えば枠線ではなく色情報の異なる画像パターンを有するパターン投影画像データを生成して投影し、色情報の違いにより領域の区分を検出することもできる。

（第３実施形態）
次に、第３実施形態について説明する。上述の第２実施形態と共通する部分については適宜に説明を省略する。図１３は、本実施形態の表示装置１１０の構成の一例を示す図である。図１３に示すように、表示装置１１０が有する画像処理部３００は、合成部３４をさらに備える。合成部３４は、前述の特定範囲を示す情報と撮像画像データとの合成を行い、投影画像、および、投影領域の周辺のうち、どの範囲が特定範囲になるかを示す操作範囲表示画像を生成する。本実施形態では、合成部３４は、範囲検出部３１で決定された特定範囲を示す特定範囲情報を、領域を表す画像データ（例えば点線で囲まれた矩形を示す画像データ等）に変換する。そして、合成部３４は、その変換した画像データと、投影画像検出部２０による撮像で得られた撮像画像データとの合成を行い、投影画像とその周辺のどの位置で、特定の処理の実行を指示する特定指示情報を表す特定動作を検出できるのかを示す操作範囲表示画像（投影対象の画像データ）を生成する。

そして、選択出力部６０は、制御部３３の制御の下、操作範囲表示画像を投影面に投影するための出力を行う。この例では、選択出力部６０は、制御部３３の制御の下、外部装置から受信した投影画像データ、パターン生成部５０により生成されたパターン投影画像データ、合成部３４により生成された操作範囲表示画像のうち、操作範囲表示画像を選択して画像投影部１０に供給する。

例えば撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲が特定範囲として検出される場合、図１４に示すように、投影画像および投影領域の周辺のうち、投影画像と重なる領域が、特定動作を検出できる領域であることを示す操作範囲表示画像が投影面に投影されるという具合である。また、有効な検出範囲が複数ある場合は、合成部３４は、説明のためのメッセージ情報を制御部３３から受信して追加合成することもできる。例えば撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲外の範囲が、特定の処理とは異なる第２の処理の実行を指示する第２指示情報を表す第２動作を検出する範囲として検出される場合、投影画像および投影領域の周辺のうち、投影画像と重なる領域外の領域が、第２動作を検出できる領域であることを示すメッセージを含む操作範囲表示画像を投影面に投影することもできる。

（第４実施形態）
次に、第４実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図１５は、本実施形態の表示装置１２０の構成の一例を示す図である。図１５に示すように、表示装置１２０が有する画像処理部３０は、画像変倍部３５をさらに備える。この例では、制御部３３は、操作パネル４０で受け付けた操作に応じて、投影画像の表示サイズの変更に連動して特定範囲の変更を行うか否かを選択する機能を有している。つまり、この例では、制御部３３は、請求項の「選択部」に対応する機能を有している。画像変倍部３５は、制御部３３により、投影画像の表示サイズの変更に連動して特定範囲の変更を行うことが選択された場合、投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、撮像画像データの変倍処理を行う。

例えば、撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲が前述の特定範囲として検出される場合であって、かつ、投影画像の表示サイズの変更に連動して特定範囲の変更を行うことが選択された場合を想定する。図１６に示すように、画像投影部１１０で１１０％（１．１倍）の拡大表示を行った場合、撮像画像データに映り込む投影画像のサイズも１．１倍に拡大するので、当該撮像画像データのうち投影画像データが有する画像パターンと一致する範囲を示す特定範囲のサイズも１．１倍に拡大する。つまり、投影画像の表示サイズの拡大に連動して特定範囲も変更される。

この場合、画像変倍部３５では、表示が拡大された分、投影画像検出部２０による撮像で得られた撮像画像データを縮小する処理を実施する。例えば前述のように画像投影部１０で１１０％（１．１倍）の拡大表示を行った場合、画像変倍部３５の変倍サイズは１／１．１＝０．９０９として、投影画像検出部２０による撮像で得られた撮像画像データに対して９１％の縮小処理を行った後に、範囲検出部３１に入力する。この処理により、特定範囲を決定した後に投影画像の変倍操作により検出サイズが変動しても範囲検出部３１に入力される撮像画像データに映り込んだ投影画像のサイズは変動しないため、投影画像に対する特定範囲の相対位置が変動することを防止することができる。

ただし、投影画像のサイズの変更量が大きい場合、例えば表示サイズを小さくした場合は、サイズによっては特定範囲も狭くなって操作が行いにくくなる。また、例えば表示サイズを拡大した場合は、操作モーションが最初の表示とは別の領域で検出されるなど利用者の操作入力が一様にならず使いにくくなることが予想されるため、特定範囲を決定した後の投影画像投影部２０におけるズーム表示操作を検出した場合は、特定範囲の変更を行わず、投影画像のサイズ変更前と同じ位置での操作モーションで操作すること（つまり、投影画像の表示サイズの変更に連動して特定範囲の変更を行わないこと）を選択することもできる。

（第５実施形態）
次に、第５実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、前述の特定範囲が撮像範囲外となる場合、警告を出力する制御を行う警告出力部をさらに備える。例えば前述の第４実施形態における動作によって投影画像のサイズが拡大し、投影画像検出部２０による撮像により得られた撮像画像データの中に投影画像が収まらず、特定範囲を検出することができない場合、範囲検出部３１は、特定範囲が撮像範囲外であることを制御部３３に通知する。この通知を受けた制御部３３は、操作パネル４０上に警告メッセージを表示する制御を行うこともできるし、図１７に示すように、投影画像データに警告メッセージ（図１７の例では、特定範囲を検出できないことを警告するメッセージ）を合成した画像データ（投影対象の画像データ）を投影面に投影する制御を行うこともできる。この例では、制御部３３は、請求項の「警告出力部」に対応する機能を有していると考えることができる。

（第６実施形態）
次に、第６実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図１８は、本実施形態の表示装置１３０の構成の一例を示す図である。図１８に示すように、表示装置１３０は、通知部７０をさらに備える。通知部７０は、動作検出部３２で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定の処理の実行を指示する特定指示情報を、外部装置へ通知する。図１８の例では、動作検出部３２は、投影画像検出部２０による撮像で得られた撮像画像データに基づいて検出したユーザの動作が、範囲検出部３１から通知された特定範囲情報が示す特定範囲における動作であり、かつ、特定動作と一致する動作であれば、特定の処理の実行を指示する特定指示情報を、制御部３３へ通知するとともに通知部７０へ通知する。そして、通知部７０は、動作検出部３２から通知された特定指示情報を、投影画像データを送信しているＰＣやサーバ装置などの外部装置へ通知する。例えば特定の処理が、投影画像データのページ送りや投影画像データの送信停止／再開などの処理である場合、外部装置は、通知部７０から通知された特定指示情報に従って、投影画像データのページ送りや投影画像データの送信停止／再開などの処理を実行するという具合である。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の異なる実施形態に示される全構成要素から幾つかを任意に組み合わせることもできる。

なお、上述の各実施形態における表示装置（１，１００，１１０，１２０，１３０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述の各実施形態における表示装置（１，１００，１１０，１２０，１３０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態における表示装置（１，１００，１１０，１２０，１３０）で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ 表示装置
１０ 画像投影部
２０ 投影画像検出部
３０ 画像処理部
３１ 範囲検出部
３２ 動作検出部
３３ 制御部
３４ 合成部
３５ 画像変倍部
４０ 操作パネル
５０ パターン生成部
６０ 選択出力部

特開２００５−１４１１５１号公報 特開２０１３−２５７６８６号公報 特開２０１２−１９１５６８号公報

Claims (9)

1. 投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出部と、
   前記撮像画像データに基づいて、ユーザの動作を検出する動作検出部と、
   前記動作検出部で検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御部と、を備える、
   表示装置。
2. 前記範囲検出部は、基準パターンを有する前記投影画像データを示すパターン投影画像データと、前記パターン投影画像データを前記投影面に投影した画像を示す前記投影画像を含む前記撮像画像データとの差分に応じて、前記特定範囲を検出する、
   請求項１に記載の表示装置。
3. 前記範囲検出部は、前記撮像画像データのうち前記基準パターンと一致する範囲を、前記特定範囲として検出する、
   請求項２に記載の表示装置。
4. 前記特定範囲を示す情報と前記撮像画像データとの合成を行い、前記投影画像、および、前記投影領域の周辺のうち、どの範囲が前記特定範囲になるかを示す操作範囲表示画像を生成する合成部と、
   前記操作範囲表示画像を前記投影面に投影するための出力を行う選択出力部をさらに備える、
   請求項１乃至３のうちの何れか１項に記載の表示装置。
5. 前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うか否かを選択する選択部と、
   前記選択部により、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うことが選択された場合、前記投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、前記撮像画像データの変倍処理を行う画像変倍部と、をさらに備える、
   請求項１乃至４のうちの何れか１項に記載の表示装置。
6. 前記特定範囲が撮像範囲外となる場合、警告を出力する制御を行う警告出力部をさらに備える、
   請求項１乃至５のうちの何れか１項に記載の表示装置。
7. 前記動作検出部で検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定の処理の実行を指示する特定指示情報を、外部装置へ通知する通知部をさらに備える、
   請求項１乃至６のうちの何れか１項に記載の表示装置。
8. 投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出ステップと、
   前記撮像画像データに基づいて、ユーザの動作を検出する動作検出ステップと、
   前記動作検出ステップで検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御ステップと、を含む、
   表示方法。
9. コンピュータに、
   投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出ステップと、
   前記撮像画像データに基づいて、ユーザの動作を検出する動作検出ステップと、
   前記動作検出ステップで検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御ステップと、を実行させるためのプログラム。

Images