JP2018138946A - プロジェクターおよびプロジェクターの制御方法 - Google Patents

Abstract

【課題】直感的に思いつきやすい操作に応じて処理を実行できる技術を提供する。【解決手段】プロジェクターは、投射面に投射画像を投射する投射部と、投射画像にマーカーを表示する表示制御部と、投射面を撮像して撮像画像を生成する撮像部と、撮像画像に基づいて、マーカーと重なっている操作体の移動を検出する検出部と、当該移動に応じた処理を実行する処理部と、を有する。【選択図】図２

Description

本発明は、プロジェクターおよびプロジェクターの制御方法に関する。

特許文献１には、投射面に投射画像を投射し、投射画像に示されたボタンへの操作に応じて、そのボタンに紐付けされた処理を実行する表示制御システムが記載されている。

特開２０１１−１２９０６８号公報

特許文献１に記載の表示制御システムの使用者は、ある処理を実行させるためには、その処理がどのボタンに紐付けされているかを把握しておく必要があった。

本発明は上述した事情に鑑みてなされたものであり、使用者が、ボタンと機能との紐付けを把握していなくても、直感的に思いつきやすい操作に応じて処理を実行させることができる技術を提供することを解決課題とする。

本発明に係るプロジェクターの一態様は、投射面に投射画像を投射する投射部と、前記投射画像にマーカーを表示する表示制御部と、前記投射面を撮像して撮像画像を生成する撮像部と、前記撮像画像に基づいて、前記マーカーと重なっている操作体の移動を検出する検出部と、前記移動に応じた処理を実行する処理部と、を有することを特徴とする。
この態様によれば、投射画像の有するマーカーと重なっている操作体の移動を検出し、その移動に応じた処理を実行する。このため、使用者は、マーカーと重なっている操作体を移動するという直感的に思いつきやすい操作を行うことで、ボタンと機能（処理）との紐付けを把握していなくても、その移動に応じた処理を実行させることが可能になる。

上述したプロジェクターの一態様において、前記検出部は、前記撮像画像に基づいて、前記マーカーと重なっている操作体の位置を検出し、前記位置の変化に基づいて前記移動を検出することが望ましい。この態様によれば、マーカーと重なっている操作体の位置の変化に基づいて、操作体の移動を検出することが可能になる。

上述したプロジェクターの一態様において、前記検出部は、前記撮像画像に示されたマーカーにおける輝度の差に基づいて、前記位置を検出することが望ましい。操作体と重なっているマーカー部分と、操作体と重なっていないマーカー部分とは、操作体と投射面との反射率の違いにより、撮像画像において輝度が異なる。このため、この態様によれば、撮像画像に示されたマーカーにおける輝度の差に基づいて、マーカーと重なっている操作体の位置を検出可能になる。

上述したプロジェクターの一態様において、前記マーカーの形状は、線状であることが望ましい。この態様によれば、投射画像に対するマーカーの面積比を小さくすることが可能になる。

上述したプロジェクターの一態様において、前記表示制御部は、前記投射画像の少なくとも１辺に沿って前記マーカーを前記投射画像に表示することが望ましい。この態様によれば、投射画像上のマーカーの位置を、投射画像の縁の近傍にすることが可能になる。よって、投射画像における他の画像の表示面積を、マーカーの位置を投射画像の中央にした場合に比べて、広くすることが可能になる。

上述したプロジェクターの一態様において、前記表示制御部は、前記投射画像の辺のうち当該投射画像の垂直方向に平行な辺に沿って、前記マーカーを前記投射画像に表示することが望ましい。この態様によれば、使用者が操作しやすい位置にマーカーを表示可能になる。

上述したプロジェクターの一態様において、前記検出部は、前記移動の方向を検出し、前記処理部は、前記移動の方向に応じた処理を実行することが望ましい。この態様によれば、移動方向に応じた処理として、例えば、移動方向と関連がある処理を用いた場合、使用者は、当該処理を直感的に思いつきやすい操作で実行させることが可能になる。

上述したプロジェクターの一態様において、前記検出部は、前記移動の速度を検出し、前記処理部は、前記移動の速度に応じた処理を実行することが望ましい。この態様によれば、移動速度に応じた処理として、例えば、移動速度と関連がある処理を用いた場合、使用者は、当該処理を直感的に思いつきやすい操作で実行させることが可能になる。

上述したプロジェクターの一態様において、前記検出部は、前記撮像画像に基づいて、さらに、前記マーカーと重なっている操作体の静止を検出し、前記処理部は、前記静止が所定時間継続した場合には、前記移動に応じた処理とは異なる処理を実行することが望ましい。この態様によれば、使用者は、操作体をマーカーと重ねた状態で所定時間継続して静止させることで、移動に応じた処理とは異なる処理を実行させることが可能になる。

上述したプロジェクターの一態様において、前記処理部は、前記静止が前記所定時間継続した場合には、前記操作体の静止位置に応じた処理を実行することが望ましい。この態様によれば、使用者は、さらに、操作体の静止位置に応じた処理を実行させることが可能になる。

上述したプロジェクターの一態様において、前記処理部は、前記移動に応じた処理を変更可能であることが望ましい。この態様によれば、移動に応じた処理を必要に応じて変更することが可能になる。

上述したプロジェクターの一態様において、前記表示制御部は、前記マーカーを変更可能であることが望ましい。この態様によれば、マーカーを必要に応じて変更することが可能になる。

本発明に係るプロジェクターの制御方法の一態様は、投射面に投射画像を投射するステップと、前記投射画像にマーカーを表示するステップと、前記投射面を撮像して撮像画像を生成するステップと、前記撮像画像に基づいて、前記マーカーと重なっている操作体の移動を検出するステップと、前記移動に応じた処理を実行するステップと、を有することを特徴する。
この態様によれば、直感的に思いつきやすい操作に応じて処理を実行することが可能になる。

本発明を適用した第１実施形態に係るプロジェクター１を示した図である。 プロジェクター１を模式的に示した図である。 追加画像情報に応じた追加画像３４の一例を示した図である。 受信画像情報に応じた画像３５の一例を示した図である。 投射部１０４の一例を示した図である。 撮像部１０５の一例を示した図である。 キャリブレーションを説明するためのフローチャートである。 第１キャリブレーション画像２０１の一例を示した図である。 第２キャリブレーション画像２０４の一例を示した図である。 輝度変化検出画素２０６の一例を示した図である。 パターン内移動に応じて処理を説明するためのフローチャートである。 変化画素を説明するための図である。 変化画素を説明するための図である。 パターン内移動の一例を示した図である。 ガイドパターンの変形例を示した図である。 ガイドパターンの変形例を示した図である。 ガイドパターンの変形例を示した図である。 ガイドパターンの変形例を示した図である。 ガイドパターンの変形例を示した図である。

以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

＜第１実施形態＞
図１は、本発明を適用した第１実施形態に係るプロジェクター１を示した図である。
プロジェクター１は、投射部１０４で投射面２にガイドパターン付投射画像３を投射する。投射面２は、例えば、スクリーンまたは壁である。プロジェクター１は、撮像部１０５で投射面２を繰り返し撮像して撮像画像を時系列で生成する。

ガイドパターン付投射画像３は、画像３１とガイドパターン３２とを含む。画像３１は、プロジェクター１がＰＣ（パーソナルコンピューター）４から受信した画像情報に応じた画像である。ＰＣ４は、画像情報出力装置の一例である。

ガイドパターン３２は、マーカーの一例である。ガイドパターン３２は、操作体５の移動を検出するための領域である。本実施形態では、ガイドパターン３２は、白色で示される。ガイドパターン３２の形状は、線状である。なお、図１では、ガイドパターン３２の形状は、太さのある直線状である。
ガイドパターン３２は、ガイドパターン付投射画像３の１辺（図１では、ガイドパターン付投射画像３の４つの辺のうち、ガイドパターン付投射画像３の垂直方向ｙに平行な辺である左辺）に沿って配置されている。
画像３１の視認性を優先する場合、ガイドパターン３２の幅（水平方向ｘの長さ）は、ガイドパターン付投射画像３の水平方向ｘの長さの５％以下であることが望ましい。なお、ガイドパターン３２の水平方向ｘの長さは、ガイドパターン付投射画像３の水平方向ｘの長さの５％よりも長くてもよい。

図１では、操作体５として、使用者の手のひらが示されている。操作体５の反射率は、投射面２の反射率と異なっている。本実施形態では、操作体５の反射率は、投射面２の反射率よりも小さい。プロジェクター１は、ガイドパターン３２のうち、操作体５に投射されている領域３３の色を、操作体５に投射されていない領域の色（白色）と異ならせる。例えば、領域３３が赤色で示される。

プロジェクター１は、撮像部１０５の撮像画像を用いて、ガイドパターン３２と重なっている操作体５の移動を検出し、その検出結果に応じた処理（例えば、画像３１の上方向または下方向のスクロール）を実行する。ここで、ガイドパターン３２と重なっている操作体５は、ガイドパターン３２の少なくとも一部が投射されている操作体５と言うこともできる。

図２は、プロジェクター１を模式的に示した図である。プロジェクター１は、受取部１０１と、記憶部１０２と、制御部１０３と、投射部１０４と、撮像部１０５とを含む。

受取部１０１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部１０１は、使用者の入力操作を受け取る。
例えば、受取部１０１は、ガイドパターン３２を表示する旨の表示指示の入力操作を受け取る。受取部１０１は、表示指示の入力操作を受け取ると、表示指示を制御部１０３に出力する。また、受取部１０１は、電源オン操作とキャリブレーション開始操作とを受け取る。受取部１０１は、電源オン操作またはキャリブレーション開始操作を受け取ると、キャリブレーション開始指示を制御部１０３に出力する。

なお、受取部１０１は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター１は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。

記憶部１０２は、コンピューターが読み取り可能な記録媒体である。記憶部１０２は、プロジェクター１の動作を規定するプログラムと、種々の情報とを記憶する。

制御部１０３は、ＣＰＵ（Central Processing Unit）等のコンピューターである。制御部１０３は、記憶部１０２に記憶されているプログラムを読み取り実行することによって、画像処理部１０６、表示制御部１０７、露出時間調整部１０８、検出部１０９、処理部１１０、およびキャリブレーション実行部１１１を実現する。図２においては、制御部１０３内の構成と記憶部１０２との間を結ぶ信号線は省略されている。

画像処理部１０６は、画像情報に画像処理を施して画像信号を生成する。例えば、画像処理部１０６は、ＰＣ４から受信した画像情報（以下「受信画像情報」とも称する）に画像処理を施して画像信号を生成する。

表示制御部１０７は、投射部１０４が投射する画像の表示を制御する。表示制御部１０７は、例えば、表示指示（ガイドパターン３２を表示する旨の表示指示）を受取部１０１から受け取ると、投射部１０４が投射する投射画像にガイドパターン３２を表示する。本実施形態では、表示制御部１０７は、図１に示したように、投射画像の辺のうち、投射画像の垂直方向ｙに平行な左辺に沿って、ガイドパターン３２を投射画像に表示する。なお、表示制御部１０７は、表示指示を受け取らなくても、投射画像にガイドパターン３２を表示してもよい。
本実施形態では、表示制御部１０７は、ガイドパターン３２を示す追加画像情報と、合成指示とを、画像処理部１０６に出力して、画像処理部１０６に、追加画像情報と受信画像情報とを合成させる。合成指示は、追加画像情報と受信画像情報とを合成する旨の指示である。

図３は、追加画像情報に応じた追加画像３４の一例を示した図である。図４は、受信画像情報に応じた画像３５の一例を示した図である。例えば、追加画像情報が図３に示した追加画像３４を示し、受信画像情報が図４に示した画像３５を示す場合、画像処理部１０６は、追加画像情報と受信画像情報を合成して、追加画像３４の領域３４ａに画像３１（画像３５を縮小した画像）が組み込まれたガイドパターン付投射画像３（図１参照）を示す画像信号を生成する。追加画像情報は、記憶部１０２に記憶されており、表示制御部１０７は、記憶部１０２から追加画像情報を読み取る。領域３４ａは、例えば黒色である。

図２に戻って、投射部１０４は、投射面２に投射画像を投射する。
図５は、投射部１０４の一例を示した図である。投射部１０４は、光源１１、光変調装置の一例である３つの液晶ライトバルブ１２（１２Ｒ，１２Ｇ，１２Ｂ）、投射光学系の一例である投射レンズ１３、ライトバルブ駆動部１４等を含む。投射部１０４は、光源１１から射出された光を液晶ライトバルブ１２で変調して投射画像（画像光）を形成し、この投射画像を投射レンズ１３から拡大投射する。

光源１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、またはレーザー光源等からなる光源部１１ａと、光源部１１ａが放射した光の方向のばらつきを低減するリフレクター１１ｂとを含む。光源１１から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色光成分に分離される。Ｒ，Ｇ，Ｂの色光成分は、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。

液晶ライトバルブ１２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２には、マトリクス状に配列された複数の画素１２ｐからなる矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐごとに駆動電圧を印加可能である。ライトバルブ駆動部１４が、画像処理部１０６から入力される画像信号に応じた駆動電圧を各画素１２ｐに印加すると、各画素１２ｐは、画像信号に応じた光透過率に設定される。このため、光源１１から射出された光は、画素領域１２ａを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。

各色の画像は、図示しない色合成光学系によって画素１２ｐごとに合成され、カラー画像光（カラー画像）である投射画像光（例えば、ガイドパターン付投射画像３）が生成される。投射画像光は、投射レンズ１３によって投射面２に拡大投射される。

図２に戻って、撮像部１０５は、投射面２を撮像して撮像画像を生成する。
図６は、撮像部１０５の一例を示した図である。撮像部１０５は、レンズ等の光学系２１と、光学系２１にて集光された光を電気信号に変換する撮像素子２２等を備えたカメラである。撮像素子２２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーである。撮像部１０５は、投射面２を繰り返し撮像して撮像画像を時系列で生成する。

図２に戻って、露出時間調整部１０８は、撮像部１０５での露出時間を調整する。具体的には、露出時間調整部１０８は、撮像画像の最大の輝度が既定の範囲に収まるように、露出時間を調整する。

検出部１０９は、撮像画像に基づいて、ガイドパターン３２と重なっている操作体５の移動（以下「パターン内移動」と称する）を検出する。例えば、検出部１０９は、撮像画像に基づいて、パターン内移動の方向を検出する。

処理部１１０は、種々の処理を実行する。例えば、処理部１１０は、検出部１０９がパターン内移動を検出すると、パターン内移動に応じた処理を実行する。一例を挙げると、処理部１１０は、検出部１０９がパターン内移動の方向を検出すると、パターン内移動の方向に応じた処理を実行する。
例えば、パターン内移動の方向が、ガイドパターン３２の下端３２２からガイドパターン３２の上端３２１へ向かう方向（上向き）である場合、処理部１１０は、画像３１を上向きにスクロールする上向きスクロール指示をＰＣ４に出力する処理を実行する。また、パターン内移動の方向が、上端３２１から下端３２２へ向かう方向（下向き）である場合、処理部１１０は、画像３１を下向きにスクロールする下向きスクロール指示をＰＣ４に出力する処理を実行する。ＰＣ４は、これらのスクロール指示に応じて画像３１をスクロールする。

キャリブレーション実行部１１１は、投射部１０４が投射した投射画像と、投射画像を撮像した撮像画像との間で位置を対応づけるキャリブレーションを実行する。本実施形態では、キャリブレーション実行部１１１は、受取部１０１からキャリブレーション開始指示を受け取ると、キャリブレーションを実行し、キャリブレーション結果を記憶部１０２に格納する。なお、検出部１０９は、キャリブレーション結果に基づいて、撮像画像上におけるガイドパターン３２の位置を特定し、順次入力される撮像画像に基づいて、ガイドパターン３２上の操作（パターン内移動）を検出する。

次に、動作を説明する。
まず、キャリブレーションについて説明する。本実施形態では、記憶部１０２は、キャリブレーション用画像を示すキャリブレーション画像情報を記憶している。具体的には、記憶部１０２は、第１キャリブレーション画像情報と、第２キャリブレーション画像情報とを記憶している。

図７は、キャリブレーションを説明するためのフローチャートである。
受取部１０１は、電源オン操作またはキャリブレーション開始操作を受け取ると、キャリブレーション開始指示をキャリブレーション実行部１１１に出力する。キャリブレーション実行部１１１は、キャリブレーション開始指示を受け取ると、記憶部１０２から第１キャリブレーション画像情報を読み取り、第１キャリブレーション画像情報を画像処理部１０６に出力する。画像処理部１０６は、第１キャリブレーション画像情報に応じた画像信号を生成し、投射部１０４は、この画像信号に応じた第１キャリブレーション画像を投射面２に投射する（ステップＳ１）。

図８は、第１キャリブレーション画像２０１の一例を示した図である。第１キャリブレーション画像２０１では、黒色の背景２０２の上に、白色の矩形パターン２０３が重畳されている。

続いて、撮像部１０５は、投射面２に表示されている第１キャリブレーション画像２０１を、設定されている露出時間で撮像して第１撮像画像を生成する（ステップＳ２）。撮像部１０５は、第１撮像画像を露出時間調整部１０８に出力する。

露出時間調整部１０８は、第１撮像画像を受け取ると、第１撮像画像の矩形パターン２０３の最大輝度が既定の範囲内であるか否かを判断する（ステップＳ３）。ここで、既定の範囲を示す情報は、記憶部１０２に記憶されており、露出時間調整部１０８は、記憶部１０２から既定の範囲を示す情報を取得して既定の範囲を特定する。

矩形パターン２０３の最大輝度が既定の範囲から外れている場合（ステップＳ３：ＮＯ）、露出時間調整部１０８は、撮像部１０５に設定されている露出時間を調整する（ステップＳ４）。例えば、露出時間調整部１０８は、矩形パターン２０３の最大輝度が既定の範囲の上限値よりも高い場合には露出時間を短くし、また、矩形パターン２０３の最大輝度が既定の範囲の下限値よりも低い場合には露出時間を長くする。撮像部１０５に設定されている露出時間の調整が終了すると、処理がステップＳ２に戻る。

一方、矩形パターン２０３の最大輝度が既定の範囲内である場合（ステップＳ３：ＹＥＳ）、露出時間調整部１０８は、撮像部１０５に、露出時間の調整が終了した旨の調整完了通知を出力する。撮像部１０５は、調整完了通知を受け取ると、第１撮像画像をキャリブレーション実行部１１１に出力する。

キャリブレーション実行部１１１は、第１撮像画像を受け取ると、記憶部１０２から第２キャリブレーション画像情報を読み取り、第２キャリブレーション画像情報を画像処理部１０６に出力する。画像処理部１０６は、第２キャリブレーション画像情報に応じた画像信号を生成し、投射部１０４は、この画像信号に応じた第２キャリブレーション画像を投射面２に投射する（ステップＳ５）。

図９は、第２キャリブレーション画像２０４の一例を示した図である。第２キャリブレーション画像２０４は黒色の画像である。

続いて、撮像部１０５は、投射面２に表示されている第２キャリブレーション画像２０４を、設定されている露出時間で撮像して第２撮像画像を生成する（ステップＳ６）。撮像部１０５は、第２撮像画像をキャリブレーション実行部１１１に出力する。

キャリブレーション実行部１１１は、第２撮像画像を受け取ると、第１撮像画像と第２撮像画像との差分を取って矩形パターン２０３を検出する（ステップＳ７）。続いて、キャリブレーション実行部１１１は、撮像画像上での矩形パターン２０３の四隅の座標を検出する（ステップＳ８）。

続いて、キャリブレーション実行部１１１は、第１キャリブレーション画像情報で特定される矩形パターン２０３の四隅の座標（図５に示した液晶ライトバルブ１２上の矩形パターン２０３の四隅の座標）と、撮像画像における矩形パターン２０３の四隅の座標と、の位置関係に基づいて、射影変換行列を算出する（ステップＳ９）。射影変換行列は、液晶ライトバルブ１２における画像を撮像画像に射影変換するための行列である。射影変換行列は、キャリブレーション結果の一例である。

続いて、キャリブレーション実行部１１１は、記憶部１０２から追加画像情報を読み取る。続いて、キャリブレーション実行部１１１は、追加画像情報が示すガイドパターン３２を構成する画素の座標（図５に示した液晶ライトバルブ１２上においてガイドパターン３２を構成する画素の座標）を、変換前座標として特定する。続いて、キャリブレーション実行部１１１は、射影変換行列を用いて、撮像画像（撮像素子２２）の画素のうち変換前座標に対応する画素を、輝度変化検出画素として決定する（ステップＳ１０）。本実施形態では、輝度変化検出画素は、上端３２１に対応する位置にある１つの画素から下端３２２に対応する位置にある１つの画素に向けて一直線に並んでいるものとする。

図１０は、撮像画像２０５（撮像素子２２）内の輝度変化検出画素２０６の一例を示した図である。図１０では、輝度変化検出画素２０６を誇張して示している。

続いて、キャリブレーション実行部１１１は、輝度変化検出画素を示す情報と射影変換行列とを記憶部１０２に記憶する。以上でキャリブレーションが終了する。

次に、ガイドパターン３２と重なっている操作体５の移動（パターン内移動）に応じた処理を説明する。図１１は、パターン内移動に応じた処理を説明するためのフローチャートである。

受取部１０１は、表示指示の入力操作を受け取ると、表示指示を表示制御部１０７に出力する。表示制御部１０７は、表示指示を受け取ると、記憶部１０２から追加画像情報を読み取り、追加画像情報と合成指示とを画像処理部１０６に出力する。

画像処理部１０６は、追加画像情報と合成指示とを受け取ると、追加画像情報と受信画像情報とを合成して、ガイドパターン付投射画像３（図１参照）に応じた画像信号を生成する。投射部１０４は、この画像信号に応じたガイドパターン付投射画像３を投射面２へ投射する（ステップＳ２１）。

続いて、撮像部１０５は、投射面２に表示されているガイドパターン付投射画像３を撮像して撮像画像を生成する（ステップＳ２２）。撮像部１０５は、撮像画像を検出部１０９に出力する。

検出部１０９は、撮像画像を受け取ると、記憶部１０２を参照して輝度変化検出画素を特定し、撮像画像における輝度変化検出画素の輝度を検出する（ステップＳ２３）。

続いて、検出部１０９は、記憶部１０２に、輝度変化検出画素の現在の輝度を表す「現在輝度」が未だ記憶されていない場合（ステップＳ２４：ＮＯ）、ステップＳ２３で検出した輝度変化検出画素の輝度を「現在輝度」として記憶部１０２に記憶する（ステップＳ２５）。続いて、制御部１０３は、撮像画像が次のフレームになるまで待機し（ステップＳ２６）、その後、処理がステップＳ２１に戻る。

一方、記憶部１０２に「現在輝度」が既に記憶されている場合（ステップＳ２４：ＹＥＳ）、検出部１０９は、記憶済みの「現在輝度」を、輝度変化検出画素の従来の輝度を表す「従来輝度」として記憶し直し、ステップＳ２３で検出した輝度変化検出画素の輝度を、「現在輝度」として記憶部１０２に記憶する（ステップＳ２７）。なお、ステップＳ２７の実行前に「従来輝度」が既に記憶部１０２に記憶されている場合、検出部１０９は、記憶済みの「従来輝度」を削除してからステップＳ２７を実行する。

続いて、検出部１０９は、「現在輝度」と「従来輝度」とを用いて、輝度変化検出画素ごとに輝度維持率＝（「現在輝度」／「従来輝度」）を算出する（ステップＳ２８）。

続いて、検出部１０９は、輝度変化検出画素の中から、輝度維持率が閾値を下回る変化画素を特定する（ステップＳ２９）。閾値は、記憶部１０２に記憶されている。閾値は「０」よりも大きく「１」よりも小さい値である。

ここで、変化画素について説明する。例えば、図１２に示した位置にある操作体５が、矢印Ａ方向に移動して、図１３に示した位置に到達したとする。図１２に示した状態では、輝度変化検出画素２０６ａは、投射面２に投射され投射面２で反射されたガイドパターン３２に応じた輝度を示す。図１３に示した状態では、輝度変化検出画素２０６ａは、操作体５に投射され操作部５で反射されたガイドパターン３２に応じた輝度を示す。
操作体５の反射率は投射面２の反射率よりも低いため、輝度変化検出画素２０６ａの輝度維持率は１よりも小さくなる。本実施形態の閾値は、このときの輝度維持率よりも大きくなるように予め設定されている。よって、検出部１０９は、輝度変化検出画素２０６ａを「変化画素」として特定する。このように、検出部１０９は、ガイドパターン３２と重なっている操作体５の位置を、変化画素として検出する。これは、検出部１０９が、撮像画像に示されたガイドパターン３２における輝度の差に基づいて、ガイドパターン３２と重なっている操作体５の位置を検出することを意味する。

図１１に戻って、続いて、検出部１０９は、現在の変化画素を示す「現在変化画素」が記憶部１０２に記憶されている場合、記憶済みの「現在変化画素」を、従来の変化画素を示す「従来変化画素」として記憶部１０２に記憶し直し、ステップＳ２９で検出した変化画素を「現在変化画素」として記憶部１０２に記憶する（ステップＳ３０）。
ここで、ステップＳ２９で変化画素が特定されなかった場合、検出部１０９は、現在変化画素＝０を「現在変化画素」として記憶部１０２に記憶する。なお、「現在変化画素」はデフォルトで現在変化画素＝０に設定されている。
また、記憶済みの「現在変化画素」として現在変化画素＝０が記憶されている場合、検出部１０９は、従来変化画素＝０を「従来変化画素」として記憶部１０２に記憶する。なお、「従来変化画素」はデフォルトで従来変化画素＝０に設定されている。

続いて、検出部１０９は、記憶部１０２を参照し、「現在変化画素」と「従来変化画素」とを用いて、変化画素の位置（ガイドパターン３２と重なっている操作体５の位置）の変化に基づいて、ガイドパターン３２と重なっている操作体５の移動を検出する。
具体的には、検出部１０９は、現在変化画素の数がｎ（ｎは１以上の整数）以上であり、かつ、変化画素の移動方向が同一であるか否かを判断する（ステップＳ３１）。
検出部１０９は、現在変化画素のすべての位置が、従来変化画素のすべての位置よりも上端３２１側である場合、現在変化画素の従来変化画素に対する移動方向が上向きであると判断する。
また、現在変化画素のすべての位置が、従来変化画素のすべての位置よりも下端３２２側である場合、検出部１０９は、現在変化画素の従来変化画素に対する移動方向が下向きであると判断する。
そして、検出部１０９は、現在変化画素の従来変化画素に対する移動方向がＮフレーム（Ｎは２以上の所定の整数）連続して同一である場合に、変化画素の移動方向が同一であると判断する。

現在変化画素の数がｎ以上であり、かつ、変化画素の移動方向が同一である場合、検出部１０９は、その移動方向（つまり、変化画素の移動方向）を処理部１１０に出力する。この移動方向は、パターン内移動の方向を意味する。

処理部１１０は、変化画素の移動の方向を受け取ると、その移動の方向に応じた処理を実行する（ステップＳ３２）。
例えば、図１４に示したように、パターン内移動の方向が上向きである場合、処理部１１０は、画像３１を上向きにスクロールする上向きスクロール指示をＰＣ４に出力する処理を実行する。ＰＣ４は、上向きスクロール指示を受け取ると、上向きにスクロールされる画像３１を示す画像情報をプロジェクター１に出力する。

続いて、制御部１０３は、撮像画像が次のフレームになるまで待機し（ステップＳ３３）、その後、処理がステップＳ２１に戻る。

現在変化画素の数がｎ個未満である場合、および、現在変化画素の従来変化画素に対する移動方向が同一でない場合（ステップＳ３１：ＮＯ）、ノイズ等を現在変化画素として検出した可能性が高いため、ステップＳ３２が実行されずに処理がステップＳ３３に進む。

なお、検出部１０９は、撮像画像に基づいて、ガイドパターン３２のうち操作体５に投射されている領域３３も検出する。処理部１１０は、領域３３の色がガイドパターン３２の他の部分の色と異なるように、画像処理部１０６を制御する。例えば、処理部１１０は、領域３３の色が赤色になるように、画像処理部１０６を制御する。領域３３が、ガイドパターン３２の他の部分の色と異なるため、使用者は、操作体５がガイドパターン３２と重なっていることを容易に認識可能になる。
領域３３の色は赤色に限らず、ガイドパターン３２の他の部分の色と異なっていればよい。なお、領域３３の色は、ガイドパターン３２の他の部分の色と同じでもよい。

本実施形態のプロジェクター１およびプロジェクター１の制御方法によれば、例えば、ガイドパターン３２と重なっている操作体５の移動を検出し、その移動に応じた処理を実行する。このため、使用者は、マーカーと重なっている操作体５を移動するという直感的に思いつきやすい操作を行うことで、その移動に応じた処理を実行させることが可能になる。

ガイドパターン３２は、ガイドパターン付投射画像３の一辺に接し、かつ、その一辺に沿って延伸する直線状の形状である。このため、ガイドパターン付投射画像３において、ガイドパターン３２は画像３１の表示の邪魔になり難くなり、画像３１の表示面積が狭くならずに済む。

ガイドパターン３２は、画像３１に関わりなく一定の色（本実施形態では白色）で表示されるので、使用者は、ガイドパターン３２を認識しやすくなる。なお、ガイドパターン３２の色は白色に限らず適宜変更可能である。

＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。

＜変形例１＞
操作体５は、使用者の手のひらに限らず適宜変更可能である。例えば、操作体５として、使用者の指または指示棒等が用いられてもよい。

＜変形例２＞
ガイドパターン３２の形状は、太さのある直線状に限らず、適宜変更可能である。例えば、ガイドパターン３２として、図１５に示したような矩形のガイドパターン３２ａ、図１６に示したような楕円形のガイドパターン３２ｂ、図１７に示したような円形のガイドパターン３２ｃが用いられてもよい。ガイドパターン３２ａ、３２ｂまたは３２ｃが用いられた場合、水平方向ｘに並べられた画素を輝度変化検出画素として用いることが可能になる。このため、パターン内移動の方向として、上向きおよび下向きに加えて、右向き（水平方向ｘ）および左向き（水平方向ｘと反対方向）を検出可能になる。
また、ガイドパターン３２として、図１８に示したように、複数の検出パターン３２ｄによって構成されるガイドパターン３２ｅが用いられてもよい。また、ガイドパターン３２は、太さのある曲線状または点線状でもよい。

＜変形例３＞
表示制御部１０７は、ガイドパターンを変更可能であってもよい。例えば、表示制御部１０７は、所定の入力に応じて、ガイドパターンを変更してもよい。
一例を挙げると、受取部１０１が、ガイドパターンを切換える旨の入力操作に応じて、ガイドパターンの切換え指示を表示制御部１０７に出力した場合に、表示制御部１０７は、ガイドパターンの切換え指示に応じて、図１に示したガイドパターン３２を、図１５に示したガイドパターン３２ａに切り換えてもよい。この場合、ガイドパターンの切換え指示が、所定の入力の一例となる。
また、表示制御部１０７は、ＰＣ４から、受信画像情報を生成したアプリケーションを識別する識別情報を受け取った場合に、その識別情報に応じて、ガイドパターンを切り換えてもよい。この場合、表示制御部１０７は、アプリケーションに応じて、ガイドパターンを切り換えることが可能になる。この場合、識別情報が、所定の入力の一例となる。

＜変形例４＞
直線状のガイドパターン３２の配置は、投射画像の垂直方向ｙに平行な辺（左辺または右辺）沿った配置に限らず、投射画像の水平方向ｘに平行な辺（上辺または下辺）沿った配置であってもよい。ただし、使用者は、投射画像の左右いずれかの外側から操作を行うことが想定されるため、使用者にとって操作がしやすい左辺および右辺の少なくとも一方に沿って直線状のガイドパターン３２を配置することが望ましい。

＜変形例５＞
ガイドパターン３２の数は、１に限らず２以上でもよい。例えば、図１９に示すように、ガイドパターン付投射画像３の上下左右の各々の辺に接する４つのガイドパターン３２ｆが設けられてもよい。なお、ガイドパターン付投射画像３の上下のうちの一方と、ガイドパターン付投射画像３の左右のうちの一方との２か所にのみ、ガイドパターン３２ｆが設けられてもよい。すなわち、表示制御部１０７は、投射画像の少なくとも１辺に沿ったガイドパターン３２ｆを投射画像に表示してもよい。

＜変形例６＞
パターン内移動に応じた処理は、スクロール指示に限らず、適宜変更可能である。例えば、受信画像情報がテレビ放送を示す場合、パターン内移動に応じた処理として、テレビ放送のチャンネルを切り換える処理、またはテレビ放送の音量を切り換える処理が用いられてもよい。
また、パターン内移動に応じた処理として、投射画像の４つの頂点の位置を補正する台形歪補正の補正量を設定する処理が用いられてもよい。この場合、例えば、ガイドパターン３２の代わりに、図１５から図１７または図１９に示されたような、パターン内移動の方向として上向き、下向き、右向きおよび左向きを検出可能なガイドパターンが用いられる。そして、投射画像の頂点について、台形歪補正の補正量が、上下左右のパターン内移動の移動量に応じて設定される。
また、２つの操作体５がガイドパターン３２に重ねられたまま、その２つの操作体５の間隔が広がる場合、処理部１１０は、画像３１が拡大されるように画像処理部１０６を制御してもよい。
また、２つの操作体５がガイドパターン３２に重ねられたまま、その２つの操作体５の間隔が狭くなる場合、処理部１１０は、画像３１が縮小されるように画像処理部１０６を制御してもよい。

＜変形例７＞
処理部１１０は、パターン内移動に応じた処理を変更可能であってもよい。例えば、処理部１１０は、特定の入力に応じて、パターン内移動に応じた処理を変更してもよい。
一例を挙げると、受取部１０１が、パターン内移動に応じた処理を切り換える旨の入力操作に応じて、処理の切換え指示を処理部１１０に出力した場合に、処理部１１０は、処理の切換え指示に応じて、パターン内移動に応じた処理を、スクロール指示から、台形歪補正の補正量の設定処理に切り換えてもよい。この場合、処理の切換え指示が、特定の入力の一例となる。

＜変形例８＞
検出部１０９は、撮像画像に基づいてパターン内移動の速度を検出してもよい。この場合、処理部１１０は、パターン内移動の速度に応じた処理を実行してもよい。
例えば、処理部１１０は、パターン内移動の速度が速いほど、スクロール指示に伴うスクロール量（スクロールアップの行数、または、スクロールダウンの行数）を多くしてもよい。

＜変形例９＞
検出部１０９は、撮像画像に基づいて、ガイドパターン３２と重なっている操作体５の静止を検出してもよい。この場合、処理部１１０は、ガイドパターン３２と重なっている操作体５の静止が所定時間継続した場合には、パターン内移動に応じた処理とは異なる処理を実行してもよい。
例えば、処理部１１０は、ガイドパターン３２と重なっている操作体５の静止が所定時間継続した場合には、パターン内移動に応じたスクロール処理とは異なる処理（操作メニュー画面を画像３１に重ねて表示する処理等）を実行してもよい。なお、パターン内移動に応じた処理とは異なる処理は、操作メニュー画面を画像３１に重ねて表示する処理に限らず適宜変更可能である。
また、処理部１１０は、ガイドパターン３２と重なっている操作体５の静止位置に応じた処理を実行してもよい。
例えば、処理部１１０は、操作メニュー画面を画像３１に重ねて表示する位置を、ガイドパターン３２と重なっている操作体５の静止位置に応じて変更してもよい。
なお、図１８に示したように、複数の検出パターン３２ｄによって構成されるガイドパターン３２ｅが用いられる場合には、個々の検出パターン３２ｄを操作ボタンとして機能させてもよい。

＜変形例１０＞
記憶部１０２が画像情報を記憶している場合には、画像処理部１０６は、受信画像情報の代わりに、記憶部１０２が記憶している画像情報を用いてもよい。

＜変形例１１＞
制御部１０３がプログラムを実行することによって実現される要素の全部または一部は、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。

＜変形例１２＞
投射部１０４では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。

１…プロジェクター、１０１…受取部、１０２…記憶部、１０３…制御部、１０４…投射部、１０５…撮像部、１０６…画像処理部、１０７…表示制御部、１０８…露出時間調整部、１０９…検出部、１１０…処理部、１１１…キャリブレーション実行部。

Claims (13)

1. 投射面に投射画像を投射する投射部と、
   前記投射画像にマーカーを表示する表示制御部と、
   前記投射面を撮像して撮像画像を生成する撮像部と、
   前記撮像画像に基づいて、前記マーカーと重なっている操作体の移動を検出する検出部と、
   前記移動に応じた処理を実行する処理部と、
   を有することを特徴とするプロジェクター。
2. 前記検出部は、前記撮像画像に基づいて、前記マーカーと重なっている操作体の位置を検出し、前記位置の変化に基づいて前記移動を検出することを特徴とする請求項１に記載のプロジェクター。
3. 前記検出部は、前記撮像画像に示されたマーカーにおける輝度の差に基づいて、前記位置を検出することを特徴とする請求項２に記載のプロジェクター。
4. 前記マーカーの形状は、線状であることを特徴とする請求項１から３のいずれか１項に記載のプロジェクター。
5. 前記表示制御部は、前記投射画像の少なくとも１辺に沿って前記マーカーを前記投射画像に表示することを特徴とする請求項４に記載のプロジェクター。
6. 前記表示制御部は、前記投射画像の辺のうち当該投射画像の垂直方向に平行な辺に沿って、前記マーカーを前記投射画像に表示することを特徴とする請求項５に記載のプロジェクター。
7. 前記検出部は、前記移動の方向を検出し、
   前記処理部は、前記移動の方向に応じた処理を実行することを特徴とする請求項１から６のいずれか１項に記載のプロジェクター。
8. 前記検出部は、前記移動の速度を検出し、
   前記処理部は、前記移動の速度に応じた処理を実行することを特徴とする請求項１から６のいずれか１項に記載のプロジェクター。
9. 前記検出部は、前記撮像画像に基づいて、さらに、前記マーカーと重なっている操作体の静止を検出し、
   前記処理部は、前記静止が所定時間継続した場合には、前記移動に応じた処理とは異なる処理を実行することを特徴とする請求項１から８のいずれか１項に記載のプロジェクター。
10. 前記処理部は、前記静止が前記所定時間継続した場合には、前記操作体の静止位置に応じた処理を実行することを特徴とする請求項９に記載のプロジェクター。
11. 前記処理部は、前記移動に応じた処理を変更可能であることを特徴とする請求項１から１０のいずれか１項に記載のプロジェクター。
12. 前記表示制御部は、前記マーカーを変更可能であることを特徴とする請求項１から１１のいずれか１項に記載のプロジェクター。
13. 投射面に投射画像を投射するステップと、
    前記投射画像にマーカーを表示するステップと、
    前記投射面を撮像して撮像画像を生成するステップと、
    前記撮像画像に基づいて、前記マーカーと重なっている操作体の移動を検出するステップと、
    前記移動に応じた処理を実行するステップと、
    を有することを特徴とするプロジェクターの制御方法。
    

Images