JP2020004040A - 投写装置、投写装置の制御方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】操作指示のための操作画像を投写画像に付加した場合に投写画像の視認性の低下を抑制する投写装置、投写装置の制御方法およびプログラムを提供する。【解決手段】投写装置１０２は、入力画像の周囲の領域に操作画像を付加した第１画像を投写する第１投写モードと、入力画像に操作画像を付加しない第２画像を投写する第２投写モードのいずれかの投写モードを設定する設定手段と、設定された投写モードに応じて、入力画像から出力画像を生成する画像処理手段と、出力画像に基づいて投写面に画像を投写し、投写面における画像の大きさを光学的に変更可能な拡大手段を備える投写光学手段と、投写光学手段を制御する制御手段と、を備える。制御手段は、第１投写モードで投写面に投写される第１画像の投写面における大きさが、第２投写モードで投写面に投写される第２画像の投写面における大きさよりも、大きくなるように、投写光学手段の拡大手段を制御する。【選択図】図２

Description

本発明は、投写面に画像を投写する投写装置、投写装置の制御方法、プログラムおよび記憶媒体に関する。

投写面に画像を投写する投写装置として、フロントプロジェクタ（以下、プロジェクタ）が用いられている。例えば、プロジェクタを用いたプレゼンテーションが行われる際には、プロジェクタに接続されるコンピュータに操作が行われることで、プロジェクタは、操作に応じた画像を投写面に投写する。近年では、プロジェクタが投写面に投写する画像にマーカを付加し、マーカに対して操作者が手をかざしたことをカメラが検出することにより、コンピュータがマーカに対する操作を認識する技術が用いられている。関連する技術として、撮像部が投写方向を撮像して生成した撮像画像に基づいて、コンピュータに対する指示を認識し、指示情報をコンピュータに出力する技術が提案されている（特許文献１を参照）。

特開２０１１−１６４８７８号公報

プロジェクタは、所定の大きさの画像（投写画像）を投写する。投写画像に、操作指示のためのマーカが付加されると、マーカを表示するための領域を確保するために、投写画像の大きさを縮小する必要がある。投写面に投写された投写画像の大きさが縮小すると、投写画像の視認性が低下する。そして、投写画像にマーカが付加されない場合、投写面に投写する画像の大きさを縮小する必要がないため、投写画像は、本来の大きさで投写面に投写される。プロジェクタは、投写画像にマーカを付加するモードと、マーカを付加しないモードとを切り替えることが可能であり、モードが切り替わることに応じて、投写面に投写される投写画像の大きさが変化する。投写面に投影される投写画像の大きさが変化すると、投写画像の視認性が低下する。

本発明の目的は、操作指示のための操作画像を投写画像に付加した場合に投写画像の視認性の低下を抑制することができる投写装置、投写装置の制御方法およびプログラムを提供することにある。

上記目的を達成するために、本発明の投写装置は、入力画像を取得する取得手段と、前記入力画像の周囲の領域に所定の操作画像を付加した第１画像を投写する第１投写モードと、前記入力画像に前記所定の操作画像を付加しない第２画像を投写する第２投写モードとを含む複数の投写モードのうち、いずれかの投写モードを設定する設定手段と、設定された投写モードに応じて、前記入力画像から出力画像を生成する画像処理手段と、前記出力画像に基づいて投写面に画像を投写し、前記投写面における前記画像の大きさを光学的に変更可能な拡大手段を備える投写光学手段と、前記投写光学手段を制御する制御手段と、を備え、前記制御手段は、前記第１投写モードで前記投写面に投写される前記第１画像の前記投写面における大きさが、前記第２投写モードで前記投写面に投写される前記第２画像の前記投写面における大きさよりも、大きくなるように、前記投写光学手段の前記拡大手段を制御することを特徴とする。

本発明によれば、操作指示のための操作画像を投写画像に付加した場合に投写画像の視認性の低下を抑制することができる。

実施形態に係る表示システムの構成を示す図である。 実施形態に係るプロジェクタの全体構成を示す図である。 投写画面にマーカが含まれている例を示す図である。 投写画像のみが投写されている例および投写画像とともにマーカが投写されている例を示す図である。 実施形態の処理の流れを示すフローチャートである。 図５のフローチャートにおけるＳ５０２およびＳ５０３の処理の流れを示すフローチャートである。 画角の制御について表した図である。 画角の算出について説明した図である。 画角とシフトの制御について表した図である。 マーカ位置の検出方法を説明するための図である。 指示要求領域と指示検出領域との明るさの差を説明する図である。 過去の撮像画像の移動平均と現在の撮像画像との比較について表した図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

本実施形態において説明される各機能ブロックは個別のハードウェアにより実現されなくてもよく、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵとして機能する制御部がメモリ上に展開したコンピュータプログラムを実行することにより実現されてもよい。また、本実施形態では、投写型表示装置（投写装置）の一例として、透過型液晶パネルを用いたプロジェクタを用いた例を説明する。しかし、投写装置としては、透過型液晶パネルを用いたプロジェクタに限らず、ＤＭＤ（デジタルミラーデバイス）やＬＣＯＳ（反射型液晶）パネル等の任意の投写装置が適用可能である。また、投写装置が液晶プロジェクタである場合、当該液晶プロジェクタには、単板式や３板式等の液晶プロジェクタが適用されてもよい。以下、投写装置として液晶プロジェクタを用いた画像表示システムについて説明する。

図１は、実施形態における画像表示システム１００を示す図である。画像表示システム１００は、コンピュータ１０１、プロジェクタ１０２、映像信号ケーブル１０３、ＵＳＢケーブル１０４およびスクリーン１０５を有する。コンピュータ１０１は、例えば、ノート型のパーソナルコンピュータであり、表示装置（ディスプレイ）および入力装置（キーボードおよびポインティングデバイス）を一体的に備えて構成される画像供給装置である。プロジェクタ１０２はコンピュータ１０１の映像出力ポートから映像信号ケーブル１０３を通じて画像情報の供給を受けて、画像情報に応じた画像をスクリーン１０５（投写面）に投写する投写装置である。スクリーン１０５には、画像情報に応じた画像が投写画面１０５Ａとして投写される。また、コンピュータ１０１とプロジェクタ１０２とは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル１０４で接続されており、コンピュータ１０１はＵＳＢケーブル１０４を介してプロジェクタ１０２からキー操作命令を受ける。

＜プロジェクタの構成＞
図２は、プロジェクタ１０２の全体の構成を示す図である。プロジェクタ１０２は、制御部１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、通信部１１４、画像入力部１２０、光源制御部１３０、画像処理部１４０、ＯＳＤ部１４１および傾きセンサ部１４５を有する。また、プロジェクタ１０２は、光変調素子駆動部１５０、光源１６０、色分離部１６１、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂ、色合成部１８０、投写光学系１８１および投写光学制御部１８２を有する。さらに、プロジェクタ１０２は、撮像部１９０および画像認識部１９２を有する。

制御部１１０は、ＣＰＵとして機能し、制御部１１０が制御プログラムを実行することで、図２に示されるプロジェクタ１０２の各ブロックを制御する制御手段である。ＲＯＭ１１２は、制御部１１０の処理手順を記述した制御プログラムが記憶されるメモリである。ＲＡＭ１１１は、ワークメモリとして一時的に制御プログラムやデータを格納するメモリである。制御部１１０は、通信部１１４より受信した静止画データや動画データを一時的にＲＡＭ１１１に記憶し、ＲＯＭ１１２に記憶された制御プログラムを用いて、ＲＡＭ１１１に記憶された画像や映像を再生することもできる。

制御部１１０は、操作者による手かざしを認識する画像認識部１９２に対し、指示認識の条件変更や、指示認識の停止といった制御も行なう。制御部１１０は、画像認識部１９２の制御のための情報として、画像処理部１４０からの画像処理用パラメータ情報を受信する。また、制御部１１０は、傾きセンサ部１４５からの筐体（プロジェクタ１０２）の傾き情報や、投写光学制御部１８２からの投写光学系１８１におけるエンコーダ出力、撮像部１９０からの撮像画像等を受信する。制御部１１０は、複数の投写モードのうち何れかの設定モードを設定する設定手段である。以下、複数の投写モードは、第１投写モードおよび第２投写モードを含むものとして説明する。

操作部１１３は、操作者の指示を受け付け、制御部１１０に指示信号を送信するものであり、複数の操作キーを備えている。操作キーは、電源を投入または切断するための電源ボタン、入力映像信号の種類や入力端子を選択するための入力選択ボタン等である。また、操作キーは、各種の設定のためのメニュー画像を表示するためのメニューボタンやメニュー画像で設定項目を選択するための四つの方向ボタン、決定ボタン等である。操作部１１３は、例えば、リモコンからの信号を受信して、受信した信号に基づいて所定の指示信号を制御部１１０に送信するものであってもよい。また、制御部１１０は、操作部１１３や通信部１１４から入力された制御信号を受信して、プロジェクタ１０２の各動作ブロックを制御する。

画像入力部１２０は、外部装置が送信した画像（入力画像）を取得する取得手段である。ここで、外部装置は、画像信号を出力する装置である。外部装置は、例えば、パーソナルコンピュータ（コンピュータ１０１）やカメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機等の装置であってよい。また、外部装置は、ＵＳＢフラッシュメモリやＳＤカードのようなメディアであり、画像入力部１２０は、当該メディアに記録された画像を読み込んでもよい。

画像処理部１４０は、制御部１１０が設定した投写モードに応じて、画像入力部１２０が取得した入力画像に対して画像処理を行い、出力画像を生成する画像処理手段である。画像処理部１４０は、例えば、画像入力部１２０が取得した入力画像の画像信号にフレーム数や画素数、画素値、画像形状等の変更処理を施して、光変調素子駆動部１５０に送信する。画像処理部１４０の機能は、例えば、画像処理用のマイクロプロセッサにより実現されてもよいし、ＲＯＭ１１２に記憶されたプログラムを、制御部１１０が画像処理部１４０と同様の処理を実行することにより実現されてもよい。画像処理部１４０は、フレーム間引き処理やフレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（台形歪補正処理）、輝度補正処理、色補正処理等の機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して光変調素子駆動部１５０に送信することもできる。また、画像処理部１４０は、ＯＳＤ部１４１が生成した後述するマーカを付加することができる。また、画像処理部１４０は、ＯＳＤ部１４１が生成した文字や図形を含むＯＳＤ画像をそのまま入力画像に重畳して光変調素子駆動部１５０に送信してもよい。また、画像処理部１４０は、画像入力部１２０から受信した画像信号以外にも、制御部１１０によって再生された画像や映像に対して上述した変更処理を施すこともできる。

光変調素子駆動部１５０は、画像処理部１４０から出力される画像信号（出力画像）に基づいて、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの画素の液晶に印可する電圧を制御して、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの透過率を調整する。光変調素子１７０Ｒは、赤色に対応する液晶素子であって、光源１６０から出力された光について、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整する。光変調素子１７０Ｇは、緑色に対応する液晶素子であって、光源１６０から出力された光について、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整する。光変調素子１７０Ｂは、青色に対応する液晶素子であって、光源１６０から出力された光について、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整する。

光源制御部１３０は、光源１６０のＯＮ／ＯＦＦ制御や光量の制御をする。光源制御部１３０の機能は、制御用のマイクロプロセッサにより実現されてもよいし、例えば、ＲＯＭ１１２に記憶されたプログラムを、制御部１１０が光源制御部１３０と同様の処理を実行することにより実現されてもよい。光源１６０は、スクリーン１０５に画像を投写するための光を出力するものであり、例えば、ハロゲンランプやキセノンランプ、高圧水銀ランプ等であってもよい。また、色分離部１６１は、光源１６０から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズム等が適用される。光源１６０として、各色に対応するＬＥＤ等が使用される場合には、色分離部１６１は不要である。

色合成部１８０は、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズム等が適用される。そして、色合成部１８０により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投写光学系１８１に送られる。このとき、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、光変調素子駆動部１５０により制御されている。色合成部１８０により合成された光は、投写光学系１８１によりスクリーン１０５に投写されると、画像処理部１４０により入力された画像に対応する画像がスクリーン１０５上に表示されることになる。光源１６０、色分離部１６１、光変調素子１７０、色合成部１８０および投写光学系１８１を総称して、投写部とする。

投写光学制御部１８２は、投写光学系１８１を制御する制御手段である。投写光学制御部１８２の機能は、制御用のマイクロプロセッサにより実現されてもよいし、ＲＯＭ１１２に記憶されたプログラムを、制御部１１０が投写光学制御部１８２と同様の処理を実行することにより実現されてもよい。投写光学系１８１は、色合成部１８０から出力された合成光をスクリーン１０５に投写するための投写光学部であり、フォーカス光学系１８１ａと、拡大手段としてのズーム光学系１８１ｂと、シフト手段としてのシフト光学系１８１ｃとを含む。図２において、フォーカス光学系は「Ｆ光学系」、ズーム光学系は「Ｚ光学系」およびシフト光学系は「Ｓ光学系」として表されている。そして、投写光学系１８１は、複数のレンズ、レンズ駆動用のアクチュエータおよびレンズ位置を検出するエンコーダを有する。レンズをアクチュエータにより駆動することで、投写画像の焦点調整や拡大・縮小、シフト等を行うことができる。また、複数のエンコーダは、各レンズの位置を判別することで、投写画像のフォーカス光学系１８１ａにおける焦点位置、ズーム光学系１８１ｂにおけるズーム率、シフト手段としてのシフト光学系１８１ｃにおけるシフト方向およびシフト量を検出することができる。

傾きセンサ部１４５は、例えば、プロジェクタ１０２の加速度や重力方向を測定するセンサである。制御部１１０は、傾きセンサ部１４５の測定結果により、プロジェクタ１０２の設置角度を検出することできる。これにより、制御部１１０は、プロジェクタ１０２が角度を付けて設置されたことによる投写画像の台形歪の量を推定し、画像処理部１４０にその台形歪を補正する画像処理を指示することができる。プロジェクタ１０２は、傾きセンサ部１４５を持たない構成であってもよい。その場合、制御部１１０は、操作部１１３を介して、操作者による台形歪の補正量の入力を受け付け、入力された補正量に基づく補正を画像処理部１４０に指示するようにしてもよい。制御部１１０は、撮像部１９０の撮像画像に基づいて、台形歪の補正量を計算してもよい。傾きセンサ部１４５がプロジェクタ１０２に設けられない場合、コスト低減や部品点数削減が可能となる。

通信部１１４は、外部機器からの制御信号や静止画データや動画データ等を受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の任意の通信方式が適用される。また、画像入力部１２０の端子には任意の端子が適用されてよい。例えば、画像入力部１２０の端子がＨＤＭＩ（登録商標）端子である場合、ＨＤＭＩ端子を介して、Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ（ＣＥＣ）通信が行われてもよい。外部装置は、プロジェクタ１０２と通信を行うことができるものであれば、パーソナルコンピュータやカメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコン等、任意の機器であってよい。本実施形態では、通信部１１４は、ＵＳＢ端子を備えており、ＵＳＢケーブル１０４を介して外部のホスト機器に接続される。そして、プロジェクタ１０２は、ＵＳＢケーブル１０４を介して、コンピュータ１０１に接続され、制御部１１０はコンピュータ１０１に対して後述するキー操作の命令を送出する。

撮像部１９０は、カメラで構成される撮像手段である。撮像部１９０は、投写光学系１８１が画像を投写するスクリーン１０５を撮影するようにプロジェクタ１０２に内蔵されている。撮像部１９０は、制御部１１０の指示に基づいて投写光学系１８１からスクリーン１０５に投写された投写画面１０５Ａを含む範囲を撮像して撮像画像を取得する。撮像部１９０は、操作者がスクリーン１０５に投写された投写画面１０５Ａに対して何らかの操作をしたときの情報も含み撮影する。撮像部１９０は、例えば、図３（ｂ）で示されるマーカＭＡに操作者が手かざしをしている状況も含めて撮影する。撮像部１９０は、取得した撮像画像を、制御部１１０および画像認識部１９２に出力する。

判定手段としての画像認識部１９２は、撮像部１９０が取得した撮像画像に基づいて、所定の操作がなされたか否かを判定する。例えば、操作画像を含む画像がスクリーン１０５に投写されている場合に、画像認識部１９２は、撮像画像のうち操作画像に対応する領域に、手かざし等の指示がなされたか否かを判定する。画像認識部１９２の機能は、マイクロコンピュータにより実現されてもよいし、ＲＯＭ１１２に記憶されたプログラムを、制御部１１０が画像認識部１９２と同様の処理を実行することにより実現されてもよい。画像認識部１９２は、撮像部１９０が撮像した画像情報を解析することにより、撮像画像中の指示検出領域における操作者の手かざしによる指示（操作指示）を検出する。手かざしによる指示の検出については後述する。画像認識部１９２は、手かざしによる指示を検出すると、検出結果を制御部１１０に送信する。出力手段としての制御部１１０は、画像認識部１９２から手かざしによる指示を検出した旨の情報を受け取ると、指示に対応するキー操作命令を決定し、通信部１１４を介してコンピュータ１０１に操作情報を出力する。このキー操作命令の決定方法については後述する。

上述したように、プロジェクタ１０２は、ＵＳＢケーブル１０４を介してコンピュータ１０１にキー操作命令を伝える。この場合、通信部１１４にはＵＳＢ端子が適用される。例えば、コンピュータ１０１がプレゼンテーションアプリケーションソフトウェア（以下、プレゼンテーションアプリ）を実行している際に、コンピュータ１０１がＵＳＢケーブル１０４を通じてキー操作命令を受け取ったとする。この場合、コンピュータ１０１は、受信したキー操作命令に基づいて、実行中のプレゼンテーションアプリの制御を行う。キー操作命令としては、例えば、ページ送りやページ戻し等がある。従って、コンピュータ１０１は、画像認識部１９２が検出した指示検出領域における操作者の手かざしによる指示をキー操作命令として受信し、キー操作命令に応じた制御（ページ送りやページ戻し等）を行う。なお、プロジェクタ１０２とコンピュータ１０１との間の通信方式はＵＳＢを用いた通信方式には限定されない。

スクリーン１０５に投写された投写画面１０５Ａの指示検出領域に対する手かざしの検出により、コンピュータ１０１は、キー操作命令に応じた制御を行う。これにより、スクリーン１０５の近傍に位置する操作者は、コンピュータ１０１を手元に引き寄せて操作する必要がない。また、スクリーン１０５の近傍に位置する操作者が、プレゼンテーションアプリを操作するための専用のリモコンを用いることも考えられるが、この場合、専用のリモコンを用意しなければならない。本実施形態では、投写画面１０５Ａの指示検出領域に対する手かざしの検出により、コンピュータ１０１は、キー操作命令に応じた制御を行うため、専用のリモコンを用意する必要がない。

＜プロジェクタの設定＞
次に、プロジェクタ１０２の設定について説明する。コンピュータ１０１とプロジェクタ１０２とが、映像信号ケーブル１０３およびＵＳＢケーブル１０４を介して接続される。これにより、コンピュータ１０１は、映像信号ケーブル１０３を通じて、プロジェクタ１０２に画像を供給することが可能になる。操作者が、操作部１１３を操作して起動指示を行なうと、当該起動指示に基づいて、プロジェクタ１０２はスクリーン１０５に画像を投写する。操作者は、操作部１１３を操作して、プロジェクタ１０２の画像処理部１４０での画質設定や、投写光学系１８１の光学ズーム系の操作で投写画像の大きさの設定等の各種の設定を行う。また、操作者は、投写光学系１８１のフォーカス光学系１８１ａの操作でフォーカス調整やシフト光学系１８１ｃの操作で投写位置の調整を行う。プロジェクタ１０２とスクリーン１０５が正対していない場合には台形歪が発生する。その際には、操作者は操作部１１３を操作して、画像処理部１４０の台形歪補正機能により台形歪を補正する。制御部１１０は、傾きセンサ部１４５によって検出されるプロジェクタ１０２の傾き角に基づいて、画像処理部１４０に台形歪の補正指示を行なってもよい。プロジェクタ１０２は、操作部１１３に対して操作された内容に基づいて、各種の設定を行う。

操作入力機能について説明する。操作入力機能は、投射画面に表示された操作画像（マーカ）に対してユーザ（操作者）が所定の操作を実行したことに応じて、外部装置（コンピュータ１０１）もしくはプロジェクタ１０２に対応する指示情報を出力する機能である。操作者は、予め操作部１１３を通じて操作入力機能のＯＮとＯＦＦとを切り替えることが可能である。操作入力機能がＯＦＦに設定されると、制御部１１０は、プロジェクタ１０２のモードを、第２投写モードに切り替える。第２投写モードに設定されている場合、操作入力機能は無効になり、スクリーン１０５には、マーカは投写されず、投写画像のみが投写される。操作入力機能がＯＮに設定されると、制御部１１０は、プロジェクタ１０２のモードを、第１投写モードに切り替える。第１投写モードに設定されている場合、操作入力機能は有効になり、スクリーン１０５には、マーカとともに投写画像が投写される。 操作入力機能をＯＮした場合の動作の設定は、起動時もしくはプロジェクタ１０２の設定メニューを呼び出すことによって実行される。操作入力機能の設定は、指示領域の個数、各々の指示領域に表示するマーカの選択、各々の指示領域に対する（コンピュータ１０１へ送信するための）キー操作命令の割り当て、そして各々の指示領域の投写画像中の位置割り当ての少なくともいずれかを含む。これらの設定は、例えば、投写画面１０５ＡにＧＵＩを表示させて操作者により操作部１１３を介して行われてもよいし、操作者によるリモコンの操作等により設定に基づいて、制御部１１０がＲＡＭ１１１に記憶させてもよい。図３（ａ）の例では、マーカの個数は２個であり、各マーカは矩形であり、キー操作命令はページ送りおよびページ戻し、キー操作命令の位置割り当てはマーカＭＡおよびマーカＭＢの位置である。以上の各種の設定や調整等は、プロジェクタ１０２の起動時に操作者が行ってもよいし、予めプリセットされた設定をＲＯＭ１１２が記憶していてもよい。または、プリセットされた設定を複数（例えば、投写画像の左下のセットと右下のセット）用意しておき、それらのうち１つを操作者が機能の使用時に選択してもよい。

＜スクリーンに投写される投写画面＞
図３および図４を参照して、スクリーン１０５に投写される投写画面について説明する。図３は、第１投写モードで投射された投写画面１０５Ａを示す図である。プロジェクタ１０２は、スクリーン１０５に投写画像（画像入力部１２０に入力された画像）を投写することで、スクリーン１０５に投写画面１０５Ａが表示される。操作入力機能がＯＮになっている場合には、プロジェクタ１０２は、投写画像の周囲の何れかの位置にマーカ（操作画像）を付加した画像を投写する。これにより、スクリーン１０５には、投写画像およびマーカを含む投写画面１０５Ａが表示される。操作入力機能がＯＦＦになっている場合には、プロジェクタ１０２は、投写画像のみを投写することで、スクリーン１０５には、投写画像のみの投写画面１０５Ａが表示される。図３（ａ）および（ｂ）の例では、２つのマーカ（マーカＭＡおよびＭＢ）を含む投写画面１０５Ａがスクリーン１０５に表示されている。例えば、マーカＭＡにはページ送りが割り当てられ、マーカＭＢにはページ戻しが割り当てられている。プロジェクタ１０２の撮像部１９０は、投写画面１０５Ａを含む領域（図３における破線で示される領域）を撮像し、撮像画像１９０Ａを得ている。図３（ｂ）の例では、操作者がマーカＭＡに手をかざしており、画像認識部１９２は、撮像部１９０が撮像中の撮像画像１９０Ａに基づいて、手かざしによる指示をキー操作命令として認識する。そして、制御部１１０は、画像認識部１９２が認識したキー操作命令に応じた制御（ページ送りやページ戻しの制御）を行う。このように、投写画像の外側に操作用のマーカを配置することにより、投写画像の一部が重畳されたマーカによってさえぎられることを防ぐことが可能となる。

図４は、投写画像のみが投写されている例および投写画像とともにマーカが投写されている例を示す図である。図４（ａ）に示されるように、スクリーン１０５の投写画面１０５Ａには、第２画像として投写画像（画像入力部１２０が受け付けた入力画像）のみが表示されている。一方、図４（ｂ）では、スクリーン１０５の投写画面１０５Ａに、投写画像の領域（投写画像領域ＲＡ）とともに指示領域ＲＢが表示されている。指示領域ＲＢは、操作画像としてのマーカＭＡおよびＭＢを含む領域であり、マーカＭＡおよびＭＢのために割り当てられた領域である。投写画像の周囲の何れかの位置に、操作画像としてのマーカＭＡおよびＭＢ（所定のマーカ）が付加された画像が第１画像である。投写画像に、操作画像としてのマーカＭＡおよびＭＢ（所定のマーカ）が付加されていない画像が第２画像である。図４（ａ）の投写画面１０５Ａは、投写画像領域ＲＡのみで構成されている。

投写光学系１８１が出力することが可能な画像の解像度は、予め設定された解像度である。したがって、投写光学系１８１に入力される第２画像とマーカが付加された第１画像とは、同じ大きさである。第２画像は、投写画像のみで構成されているのに対して、第１画像は、投写画像にマーカＭＡおよびＭＢが付加されている。従って、操作入力機能がＯＮになっている場合には、マーカＭＡおよびＭＢを表示する領域を確保するため、画像処理部１４０は、投写光学系１８１が投写する投写画像（第２画像）の領域を縮小する処理を行う。これにより、第１画像と第２画像とが同じ大きさとなる。図４（ｂ）は、マーカＭＡおよびＭＢを含む指示領域ＲＢを確保するために、画像処理部１４０が、投写画像領域ＲＡを縮小し、縮小された投写画像がスクリーン１０５に投写された場合の例を示す。

例えば、操作者による操作部１１３に対する操作により、操作部１１３が、第１投写モードと第２投写モードとの切り替えを行うための指示（切り替え指示）を受け付けると、制御部１１０は、操作入力機能をＯＮとＯＦＦとに切り替える。操作入力機能がＯＦＦになっているとき（第２投写モードに設定されているとき）には、投写画像領域ＲＡは縮小されない。これにより、図４（ａ）に示されるように、大きさの大きい投写画像が、投写画面１０５Ａに表示される。一方、操作入力機能がＯＮになっているとき（第１投写モードに設定されているとき）には、投写光学系１８１が投写する投写画像は画像処理部１４０により縮小される。従って、縮小された投写画像がそのままスクリーン１０５に投写されると、図４（ｂ）に示されるように、スクリーン１０５に投写された投写画像の大きさは小さくなる。上述したように、第１投写モードと第２投写モードとは切り替え可能であり、投写モードの切り替えにより、スクリーン１０５の投写画像の大きさが変化すると、スクリーン１０５を視認する者に対して違和感を与え、視認性が低下する。また、第１投写モードでは、投写画像領域ＲＡが縮小されるため、投写画像の視認性が低下する。

＜プロジェクタの動作フロー＞
図５および図６のフローチャートを参照して、プロジェクタ１０２の動作の流れについて説明する。第２投写モードで画像を投影している状態で、操作部１１３を介して投写モードを第１投写モードに切り替える指示が入力されたことに応じて、制御部１１０は、図５のフローチャートに従って制御を行う。制御部１１０は、投写光学制御部１８２に投写画角を要求する（Ｓ５０２）。投写画角は、投写光学系１８１が画像を投写する画角である。上述したように、投写光学系１８１は、フォーカス光学系１８１ａとズーム光学系１８１ｂとシフト光学系１８１ｃとを含む。図６（ａ）を参照して、Ｓ５０２の投写画角の要求について説明する。制御部１１０は投写光学制御部１８２に対して、投写画角の読み出しを要求する（Ｓ５０２−１）。投写光学制御部１８２は投写光学系１８１のズーム光学系１８１ｂのエンコーダ値を読み出す（Ｓ５０２−２）。投写光学制御部１８２は、ズーム光学系１８１ｂから読み出したエンコーダ値を制御部１１０に送る。エンコーダ値は各レンズの位置情報を示すため、ズーム光学系１８１ｂの各レンズの位置情報に基づいて、画角が一意に決まる。例えば、ズーム光学系１８１ｂのエンコーダ値と画角との対応関係を示す対応テーブルが、ＲＯＭ１１２に、Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ（以下、ＬＵＴとする）として記憶されていてもよい。この場合、制御部１１０は、ＲＯＭ１１２からＬＵＴを読み出して、ＬＵＴによりズーム光学系１８１ｂのエンコーダ値から投写画角を算出する（Ｓ５０２−３）。投写画角は、ＬＵＴによらず、任意の手法で算出されてよい。

図５に示されるように、制御部１１０は、Ｓ５０２で取得した投写光学系１８１の画角から、投写画像領域の画角を算出する（Ｓ５０３）。図７の（ａ）から（ｃ）は画角の制御について表した図である。図７（ａ）は、操作入力機能がＯＦＦのとき（第２投写モードに設定されているとき）の投写画面１０５Ａを表した図である。操作入力機能がＯＦＦに設定されている場合、投写画面１０５Ａの領域と投写画像領域ＲＡとは同じ大きさである。図７（ｂ）は、領域が縮小された投写画像がスクリーン１０５に投写された場合の例を表す図である。図７（ｂ）の場合、投写画面１０５Ａには、指示領域ＲＢを確保するために、本来の投写画像が縮小されて表示されることになる。例えば、投写画面１０５Ａが矩形であり、指示領域ＲＢのために横方向および縦方向に２０％の大きさが確保されているとする。この場合、制御部１１０が、画像処理部１４０において投写画像領域ＲＡの縦方向および横方向の大きさを８０％に縮小させると、図７（ｂ）のように、領域が縮小した投写画像が投写画面１０５Ａに表示されることになる。

そこで、制御部１１０は、図７（ｃ）に示される投写画像領域ＲＡの大きさ（第１画像の大きさ）が、図７（ａ）に示される投写画面１０５Ａの領域の大きさ（第２画像の大きさ）となる投写光学系１８１の画角を算出する。つまり、制御部１１０は、スクリーン１０５に投写される第１画像（マーカが付加された画像）のうちの第２画像（投写画像）の大きさが、操作入力機能がＯＦＦのときの第２画像と同じ大きさとなる投写光学系１８１の画角を算出する。上述したように、マーカが付加されると、投写画像領域ＲＡは、縦方向および横方向の大きさが８０％に縮小される。つまり、制御部１１０は、投写画像により構成される第２画像に対する、投写画像領域ＲＡおよび指示領域ＲＢにより構成される第１画像に対する割合を８０％として算出する。制御部１１０は、投写光学系１８１のズーム光学系１８１ｂにおいて投写画像領域ＲＡの縦方向および横方向の大きさが「１／（０．８）＝１．２５倍」になるように画角を算出する。投写画像の大きさを光学的に変更可能なズーム光学系１８１ｂにより、投写画像は、倍率「１．２５倍」に拡大される。このため、図７（ｃ）に示されるように、スクリーン１０５には、操作入力機能がＯＦＦのときと実質的に同等の大きさで投写画像が表示される。そして、図７（ｃ）の投写画面１０５Ａには、マーカＭＡおよびＭＢを含む指示領域ＲＢの画像が表示される。

言い換えると、制御部１１０は、操作入力機能がＯＮである場合に、操作入力機能がＯＦＦである場合よりも、ズーム光学系１８１ｂによる投写画像の投影倍率（拡大率）が大きくなるように、投写光学系１８１を制御する。つまり、制御部１１０がズーム光学系１８１ｂに対する投影倍率の制御を行う際に、操作入力機能がＯＮの場合の投写画像の大きさと、操作入力機能がＯＦＦの場合の投写画像の大きさとを一致させなくてもよい。この場合、操作部１１３が、第２投写モードから第１投写モードへの切り替え指示を受け付けたことに応じて、制御部１１０は、ズーム光学系１８１ｂを制御して、投写画像の拡大率を増加させる。これにより、操作入力機能がＯＦＦからＯＮに切り替わった際に、スクリーン１０５における投写画像の大きさ（第１画像の大きさ）は、切り替わる前の投写画像の大きさ（第２画像の大きさ）より大きくなる。従って、操作入力機能がＯＦＦからＯＮに切り替わったとしても、投写画像の大きさが変化する量を低減できるため、投写画像の視認性の低下が抑制される。

Ｓ５０３の投写画像領域の画角算出について、図６（ｂ）のフローチャートを参照して説明する。制御部１１０は、プロジェクタ１０２の投写光学系１８１からスクリーン１０５までの距離を測定する（ステップＳ５０３−１）。プロジェクタ１０２とスクリーン１０５との間の距離は、ズーム光学系１８１ｂおよびフォーカス光学系１８１ａのエンコーダ値から算出できる。プロジェクタ１０２と合焦面であるスクリーン１０５との間の距離は、ズーム光学系１８１ｂおよびフォーカス光学系１８１ａのレンズ位置から一意に求められるためである。そのため、ズーム光学系１８１ｂのエンコーダ値およびフォーカス光学系１８１ａのエンコーダ値と、合焦面までの距離について、対応するデータとがＲＯＭ１１２にＬＵＴとして記憶されている。制御部１１０は、上記のエンコーダ値を投写光学制御部１８２から取得し、ＲＯＭ１１２に記憶されているＬＵＴを用いてプロジェクタ１０２とスクリーン１０５との間の距離を算出する。また、プロジェクタ１０２とスクリーン１０５との間の距離を求める別の方法として、制御部１１０は所定の測距手段で測定させてもよい。例えば、赤外線の投光器および受光器を備えるプロジェクタ１０２がスクリーン１０５に向かって投光し、反射光の位置から三角法に基づいて測距する手法が適用されてもよい。また、光の飛行時間で測距するＴｉｍｅ ｏｆ Ｆｌｉｇｈｔセンサで測距する手法が適用されてもよい。

そして、制御部１１０は、操作入力機能をＯＮにしたときの投写光学系１８１のズーム光学系１８１ｂの画角を算出する（Ｓ５０３−２）。図８は、画角の算出について説明した図である。図８（ａ）は、プロジェクタ１０２からスクリーン１０５に投写画像を投写している様子を表している。図８（ｂ）は、図８（ａ）に対して、光軸上でプロジェクタ１０２からスクリーン１０５方向を見たときの様子を表している。図８（ｃ）は、図８（ａ）における斜線の部分を抜き出した図である。プロジェクタ１０２の投写光学系１８１からスクリーン１０５の投写画像領域のＲＡの中心までの距離をＤとして、投写画像領域ＲＡの中心からの投写画像の高さである半対角長をＬとしたとき、半対角画角θは、以下の式１で求めることができる。
半対角画角θ ＝ ｔａｎ-1（Ｌ／Ｄ）・・・（式１）

上述したように、投写画像を「１．２５倍」に拡大する場合、制御部１１０は、式１の「Ｌ」を現状の「１．２５倍」として対角画角２θを画角として算出する。そして、制御部１１０は、Ｓ５０３−２において算出した画角から、投写光学系１８１のズーム光学系に設定するためのエンコーダ値を算出する。制御部１１０は、Ｓ５０２において用いたズーム光学系１８１ｂの画角とエンコーダ値のＬＵＴとを用いて、画角からエンコーダ値を求めることができる。投写光学制御部１８２は、制御部１１０が求めたエンコーダ値を投写光学系１８１に設定する（Ｓ５０３−３）。これにより、スクリーン１０５上の投写画面１０５Ａは、「１．２５倍」に拡大される。

ここで、Ｓ５０３−２において、制御部１１０は、投写画角を算出するとき、画像認識部１９２においてスクリーン１０５の大きさを認識させて、マーカを含めた投写画角が最大でもスクリーン１０５の画角の範囲内の画角を算出してもよい。スクリーン１０５の画角を認識するために、制御部１１０は、撮像部１９０が撮像したスクリーン１０５を含めた撮像画像において、水平方向及び垂直方向の隣接画素の相関性から、相関性が任意の値よりも小さい画素をエッジとして検出する。そして、制御部１１０は、スクリーン１０５の水平方向および垂直方向の大きさを検知し、その対角画角を、プロジェクタ１０２から見たスクリーン１０５の対角画角としてＲＡＭ１１１に記憶する。制御部１１０は、式１により算出された投写画角が、ＲＡＭ１１１に記憶した対角画角よりも大きい場合、ＲＡＭ１１１に記憶していた対角画角を半対角画角θに設定する。この場合、投写画像は、スクリーン１０５の範囲を超えて拡大されることはない。このため、プロジェクタ１０２が投写した画像（各マーカを含む画像）は、スクリーン１０５の範囲内に表示される。

次に、投写画面１０５Ａのシフトについて説明する。図７（ｃ）では、マーカＭＡおよびＭＢを含む指示領域ＲＢが投写画像の周囲に配置されている例を示した。マーカＭＡおよびＭＢは、指示領域ＲＢのうちの任意の箇所に配置できるため、垂直面上にある投写画面１０５Ａの左右（水平方向における左右）の何れにもマーカＭＡおよびＭＢを配置できる。このように、マーカが配置されることで、操作者がスクリーン１０５の左右どちらにいても、操作者は、マーカを操作することができる。一方、指示領域ＲＢを確保するための投写画像領域ＲＡの縮小を最小限に抑えるために指示領域ＲＢを左右いずれかにのみ確保する方法もある。

指示領域ＲＢを左右のうちいずれか一方にのみ確保する場合、図９（ｂ）に示されるように、投写光学系１８１から投写された画像である投写画面の中心と画像入力部１２０から入力され画像処理部１４０から出力される投写画像の中心とがずれてしまう。この場合、後述するＳ５０４において、画角のみが変更されると、操作入力機能がＯＮの場合、投写画面の大きさと位置は変化しないが、投写画像の大きさと位置がずれることになる。

この場合、画角およびシフト制御が行われる。図９の（ａ）から（ｃ）は、画角とシフトの制御について表した図である。ここで、図９（ａ）は、操作入力機能がＯＦＦのときの投写画像とスクリーン１０５を表した図である。操作入力機能がＯＦＦのため、投写画面１０５Ａには投写画像のみが表示されるため、プロジェクタ１０２が投写する投写画面１０５Ａと投写画像領域ＲＡとは同じ大きさになる。従って、投写画面１０５Ａの中心と投写画像領域ＲＡの中心とは同じ位置となる。図９（ｂ）は指示領域ＲＢを投写画像領域ＲＡの水平方向の右側および垂直方向の下側だけに確保されている場合において、操作入力機能がＯＮになっているときの投写画面１０５Ａおよびスクリーン１０５を表した図である。図９（ｂ）における投写画像領域ＲＡは、画像処理部１４０により縮小されている。また、投写画面１０５Ａにおいて指示領域ＲＢは、投写画像領域ＲＡの右側には確保されているが、左側には確保されていない。指示領域ＲＢが、上下左右に均等ではなく、左右方向または上下方向の何れかに偏る場合、投写画面１０５Ａにおける投写画像にずれが生じるため、投写画面１０５Ａの中心と投写画像の中心とがずれることになる。

従って、制御部１１０が、現在の投写画角、およびプロジェクタ１０２とスクリーン１０５との間の距離から、操作入力機能がＯＮになっている画角を算出し、投写光学系１８１に画角を設定すると、上述したずれに起因した不具合が発生する。すなわち、投写画面１０５Ａは、投写画面１０５Ａの中心に基づいて画角が変化するため、投写画面１０５Ａに含まれる投写画像の中心が投写画面１０５Ａの中心とずれていると、画角の変化に伴い投写画像の中心の位置もずれてしまう。

従って、図６（ｂ）のＳ５０３−２では、制御部１１０は、投写光学制御部１８２に送るズーム光学系１８１ｂのエンコーダ値を算出する。さらに、制御部１１０は、操作入力機能ＯＦＦ時の投写画面１０５Ａの中心がある位置に投写画像の中心をシフトするためのシフト光学系１８１ｃのエンコーダ値も算出する。シフト量については、例えば、投写画像の縦方向と横方向の大きさを１．２５倍に拡大するのであれば、制御部１１０は、操作入力機能をＯＮしたときに予め取得されたずれの量に基づいて、ずれの方向とは、逆方向に投写画像をシフトさせてもよい。これにより、拡大率の増加量（１．２５倍）に応じたシフト量で、投写画像がシフトされる。また、制御部１１０は、既知の投写画面１０５Ａと投写画像との中心のずれの量を比例計算で１．２５倍して、ずれの方向とは逆方向に投写画像をシフトさせてもよい。制御部１１０は、投写画像をシフトさせるために、シフト光学系１８１ｃの縦方向と横方向のエンコーダ値を算出する。具体的には、ズーム光学系１８１ｂやフォーカス光学系１８１ａと同様に、エンコーダ値とシフト値の対応デーブルをＲＯＭ１１２の中にＬＵＴとして設けておき、制御部１１０は、このＬＵＴを用いてシフト光学系１８１ｃのエンコーダ値を算出する。このように、制御部１１０は、投写光学系１８１におけるズーム光学系１８１ｂの画角を設定するためのエンコーダ値と、シフト光学系１８１ｃのシフト量を設定するための縦方向と横方向のエンコーダ値を算出する。

制御部１１０は、設定するズーム光学系１８１ｂのエンコーダ値およびシフト光学系１８１ｃのエンコーダ値を、投写光学制御部１８２に出力する。そして、投写光学制御部１８２は、受け取ったそれぞれのエンコーダ値を投写光学系１８１のズーム光学系１８１ｂとシフト光学系１８１ｃに設定する（Ｓ５０４）。操作入力機能がＯＦＦからＯＮに切り替わると、投写画像領域ＲＡは、画像処理部１４０で縮小される。領域が縮小された投写画像が、スクリーン１０５に投影されると、図４（ｂ）のように、投写画像の大きさは、本来の大きさより小さくなる。そこで、投写光学制御部１８２は、投写光学系１８１のズーム光学系１８１ｂで光学拡大して投写させることにより、スクリーン１０５における投写画像を元の大きさに戻す。投写光学制御部１８２は、制御部１１０から受け取ったシフト値を投写光学系１８１のシフト光学系１８１ｃに設定する。実際の動作についてはズーム光学系１８１ｂにおける画角の設定と同様であり、シフト光学系１８１ｃのエンコーダ値により指定のシフト量となるように設定する。これにより、操作入力機能がＯＮ時には、投写画像のシフト調整がされることにより、図９（ｃ）に示すようにスクリーン１０５における投写画面１０５Ａの中心と投写画像の中心とが一致する。

Ｓ５０４の後、制御部１１０は、キャリブレーションを行う（Ｓ５０５）。制御部１１０は、指示要求領域と指示検出領域との位置を一致させるキャリブレーションと、指示要求領域と指示検出領域との明るさのキャリブレーションとの２つのキャリブレーションを行う。指示要求領域は、投写画面における操作者に指示を行わせる領域であり、マーカを表示する領域でもある。指示検出領域は、撮像部１９０による撮像画像１９０Ａにおける指示を検出するための領域である。

例えば、操作者が操作部１１３を操作して、指示要求領域および指示検出領域のキャリブレーションの開始を指示すると、操作部１１３は、制御部１１０にキャリブレーション開始の指示を出力する。制御部１１０は、キャリブレーション開始の指示を受けると、ＯＳＤ部１４１に対してマーカを出力させ、画像処理部１４０において投写画像を縮小させ、その外側にマーカを付加し、投写光学系１８１よりスクリーン１０５に投写させる。そして、制御部１１０は、撮像部１９０に対し図３（ａ）の破線で示した領域である１９０Ａのように投写光学系１８１からスクリーン１０５に投写された投写画像を含む領域を撮像させる。初めに制御部１１０はマーカを含む投写画面を投射させる。図１０は、マーカ位置の検出方法を説明するための図である。図１０（ａ）に、撮像部１９０が撮像する撮像画像１９０Ａの例を示す。撮像画像１９０Ａには、投写画像やマーカＭＡおよびＭＢ、周辺のスクリーン１０５、他の領域が含まれている。制御部１１０は、撮像画像１９０ＡをＲＡＭ１１１に記憶させる。

次に、制御部１１０は、ＯＳＤ部１４１に対し投写表示するための画像から指示要求領域を示すマーカＭＡおよびＭＢを削除させて、投写光学系１８１よりスクリーンに投写させる。図１０（ｂ）はマーカＭＡおよびＭＢを投写していないときの撮像画像１９０Ａを表しており、マーカＭＡおよびＭＢが含まれないスクリーン１０５が撮像されている。制御部１１０は、この撮像画像１９０ＡをＲＡＭ１１１に記憶させる。そして、制御部１１０は、図１０（ａ）で記憶した画像と、図１０（ｂ）で記憶した画像とを、ＲＡＭ１１１から読み出し、両者の差分を算出する。図１０（ｃ）は、両者の差分を示す画像であり、制御部１１０は、指示要求領域を表すマーカＭＡおよびＭＢのみを検出できる。制御部１１０は、検出したマーカ位置が示している指示要求領域の位置情報を、対応した指示検出領域の位置情報としてＲＡＭ１１１に記憶させる。ＲＡＭ１１１に記憶された指示検出領域の位置情報は、画像認識部１９２で読み出され、使用される。これにより指示要求領域と指示検出領域とを一致させるキャリブレーションが完了する。

マーカの検出は、上述した例以外の手法が適用されてもよい。或いは、制御部１１０は、ＯＳＤ部１４１に対して、夫々投写画像中の位置が既知であり、また夫々の位置が異なるような複数のパターンを投写表示させる制御を行ってもよい。撮像部１０９が、投写表示された複数パターンを撮像することで、撮像画像１９０Ａの中に写る投写画像の投写画像領域ＲＡを認識することもできる。このように、撮像画像１９０Ａにおいて投写画像がどこに配置されるかを認識できる方法であれば、どのような方法が適用されてもよい。以上のように、制御部１１０は、撮像画像１９０Ａにおける指示要求領域の位置を検出し、撮像画像１９０Ａにおける指示要求領域と指示検出領域を一致させるように指示検出領域の位置を決定する。これにより、指示要求領域と指示検出領域とを一致させるキャリブレーションが行われる。

次に、制御部１１０は、指示要求領域と指示検出領域との明るさのキャリブレーションを行なう。上述したように、指示要求領域を示すマーカへの手かざしを撮像部１０９が撮像し、画像認識部１９２が撮像画像１０９Ａを認識することにより、制御部１１０はマーカへの指示を検出する。制御部１１０は、例えば、投写画像における指示要求領域の画素値の総和値と、撮像した画像における指示検出領域の画素値の総和値とを比較することで、マーカを検出してもよい。この場合のキャリブレーションでは、画素値の総和値の比較の際に、制御部１１０は、指示要求領域と指示検出領域の明るさの差を補正する補正係数を算出する。

指示要求領域と指示検出領域との明るさの差について、図１１を用いて説明する。図１１（ａ）は、操作者がスクリーン１０５に投写された投写画像における指示要求領域を示すマーカＭＢを手かざししている状況を示している。図１１（ａ）では、操作者は、２つのマーカＭＡおよびＭＢのうち、マーカＭＢに手かざしをしている。図１１（ｂ）は、画像処理部１４０が出力した投写画像において、マーカの周辺部分まで含んだ領域を表した図であり、指示要求領域が矩形のマーカとして表されている。図１１（ｃ）は、撮像部１９０が出力した撮像画像１９０Ａにおいて、操作者が手かざしをしていないときのマーカの周辺部分まで含んだ領域を表した図であり、指示要求領域のマーカが矩形のマーカとして存在している。

上述したように、制御部１１０は、指示要求領域と指示検出領域とのキャリブレーションを行っているため、撮像画像１９０Ａにおける指示検出領域と撮像画像１９０Ａの中のマーカが示す指示要求領域とは一致している。ここでは、図１０（ｂ）の投写画像と、図１０（ｃ）の撮像画像とは同じ大きさとして示している。ただし、実際には、投写光学系１８１の画角や解像度や、撮像部１９０の画角や解像度等の要因により、図１０（ｂ）の投写画像と、図１０（ｃ）の撮像画像とは、同じ画素数にならない。

ここで、画像処理部１４０が出力した投写画像における指示要求領域の画素値に注目する。注目対象の指示要求領域の画素値は、光源１６０の明るさや投写光学系１８１の特性、スクリーン１０５の反射率、撮像部１９０の露出制御、スクリーン１０５の設置環境の外光の影響など様々な伝達関数の影響を受けている。そのため、画像処理部１４０が出力した投写画像での指示要求領域の画素値と、撮像部１９０で撮像されて撮像画像となったときの指示検出領域の画素値とは異なる。さらに、上述したとおり、投写画像における指示要求領域の大きさ（もしくは画素数）と、撮像画像１９０Ａにおける指示検出領域の大きさ（もしくは画素数）とは同じではない。以上のような条件があるため、単純に画像処理部１４０からの投写する画像における指示要求領域の画素の総和値と、撮像部１９０からの撮像画像における指示検出領域の画素の総和値とを比較できない。そのため、これらの伝達関数をキャンセルする必要がある。当該伝達関数による影響をキャンセルするため、制御部１１０は、マーカを投写したときの状態で、制御部１１０にて画像処理部１４０から読み込んだ指示要求領域の画素値の総和と、撮像部１９０から読み込んだ指示検出領域の画素値の総和との差分を取得する。そして、制御部１１０は、伝達関数補正値としてＲＡＭ１１１に記憶しておく。以上の作業により、指示要求領域と指示検出領域との明るさのキャリブレーションを完了する。

Ｓ５０５のキャリブレーション時に、例えばＳ５０４において投写光学系１８１のズーム光学系１８１ｂによる光学ズーム拡大で、マーカがスクリーン１０５の外側に投写されることがある。投写光学系１８１は、基本的に、スクリーン１０５内にマーカを表示するが、光学ズーム拡大によっては、マーカがスクリーン１０５の外側（例えば、スクリーン１０５の後方の壁面）に投写されることがある。マーカがスクリーン１０５の外側の壁面に表示されたとしても、スクリーン１０５と壁面との間の距離が所定距離以下であれば、撮像部１９０は、マーカを撮像することができる。この場合、Ｓ５０５のキャリブレーションを完了することができる場合がある。一方、スクリーン１０５と壁面との間の距離が所定距離を超えている場合等において、撮像部１９０がマーカを撮像することができないことがある。この場合、Ｓ５０５のキャリブレーションは正常に実施できない。または、スクリーン１０５と壁面との間の距離が所定距離以下であっても、マーカの反射率が低い場合等においては、撮像部１９０がマーカを撮像できたとしても、Ｓ５０５のキャリブレーションは、正常に実施することができない。

従って、キャリブレーションを正常に実施できない場合、制御部１１０は、操作者に操作補助のために提示する操作入力機能としては機能できない状態であると判定する。そして、制御部１１０は、ＲＡＭ１１１にキャリブレーションが正常に終了しなかったことを示す値を記憶させる。制御部１１０は、キャリブレーションが正常に実施できたかを判定する（Ｓ５０６）。制御部１１０は、ＲＡＭ１１１の値を読み出して、読み出された値に基づいて、Ｓ５０６の判定を行う。読み出された値が、キャリブレーションが正常に終了しなかったことを示す場合、Ｓ５０６の判定はＮｏになる。この場合、実施形態の処理が終了する。例えば、撮像部１０９が撮像した撮像画像にマーカが含まれない場合、制御部１１０は、キャリブレーションを正常に実施できないと判定し、ＯＮになっていた操作入力機能をＯＦＦにしてもよい。これにより、操作入力機能は無効になる。また、制御部１１０は、撮像画像にマーカが含まれているが、操作画像の画素値が所定値以下の場合、キャリブレーションを正常に実施できないと判定し、ＯＮになっていた操作入力機能をＯＦＦにしてもよい。これにより、操作入力機能は無効になる。

一方、制御部１１０がＲＡＭ１１１から読み出した値が、キャリブレーションが正常に終了したことを示す場合、キャリブレーションは、正常に実施されたことになる。この場合、制御部１１０は、指示領域ＲＢにおけるマーカを表示する位置において操作者による指示が検出されたかを判定する（Ｓ５０８）。スクリーン１０５に投写されたマーカへの操作者の手かざしによる指示は、投写画像のデータと撮像画像１９０Ａのデータとの比較結果により検出されてよい。すなわち、制御部１１０は、画像認識部１９２に、投写画面１０５Ａのマーカの画像と、撮像画像のマーカの画像とを比較させる指示を、画像認識部１９２に出力する。指示を受けた画像認識部１９２は、例えば、投写画像のマーカの画像の全ての画素の総和値と、撮像画像のマーカの画像の全ての画素の総和値とを比較する。

上述したように、撮像画像１９０Ａにおける画素値は、光源１６０や投写光学系１８１やスクリーン１０５の反射率や撮像部１９０の露出制御やスクリーン１０５の設置環境の明るさ等による伝達関数の影響を受けている。そのため、画像認識部１９２は、キャリブレーション時に、ＲＡＭ１１１に記憶した伝達関数補正値を読み出し、以下の式２により、指示認識値を算出する。
指示認識値＝（指示要求領域の画素の総和値）−（指示検出領域の画素の総和値）＋（キャリブレーション時に取得した伝達関数補正値）・・・（式２）

操作者の手かざしが無い場合には、投写する画像の指示要求領域のマーカは、伝達関数の影響を受けつつ、そのまま撮像画像１９０Ａの指示検出領域に現れるため、指示認識値の値はゼロに近い値となる。しかし、操作者の手がスクリーン１０５の投写面におけるマーカを手かざしにより遮ると、操作者の手は一般的にはスクリーン１０５より反射率が低いために、式２の第２項の値が小さくなる。これにより、指示認識値は所定の値以上となる。或いは、手かざしによりスクリーン１０５上の指示検出領域に相当する領域に影が生じることでも、同様に式２の第２項の値が小さくなり、指示認識値は所定の値以上となる。画像認識部１９２は、指示認識値が所定の値以上の場合に、操作者による手かざし、すなわち操作者による指示を認識する。

操作者による手かざし（指示）の認識は、上記の計算方法には限定されず、他の計算方法が適用されてもよい。例えば、画像認識部１９２は、指示要求領域の画素数と、指示検出領域の画素数とを合わせるように、何れかを拡大、或いは、縮小したうえで、伝達関数を補正し画素毎に差分を取る。そして、画像認識部１９２は、この差分の二乗の総和を指示認識値としてもよい。この場合であっても、手かざしの有無によって値に差が生じるので、画像認識部１９２は、手かざしを認識することができる。また、画像認識部１９２は、過去の撮像画像１９０Ａのデータと現在の撮像画像１９０Ａのデータとを比較することで、操作者による手かざしを検出してもよい。例えば、制御部１１０は、予め図５のフローと独立に、定期的にスクリーン１０５を撮像するように、撮像部１９０に指示を出すようにしておく。撮像部１９０は、撮像画像１９０Ａを取得するごとに、ＲＡＭ１１１に記憶させる。制御部１１０は、画像認識部１９２に対して、過去の撮像画像１９０Ａと現在の（最新の）撮像画像１９０Ａとを比較するように指示を出す。指示を受けた画像認識部１９２は、過去の数枚分の撮像画像１９０Ａの指示検出領域の画素の総和の移動平均を求める。更に、画像認識部１９２は、現在の撮像画像１９０Ａの指示検出領域の画素の総和を求める。画像認識部１９２は、過去の数枚分の撮像画像１９０Ａの指示検出領域の画素の総和の移動平均と、現在の撮像画像１９０Ａの指示検出領域の画素の総和との差分を求める。画像認識部１９２は、当該差分が所定値以下であれば手かざしがなく、そうでなければ手かざしがあると判定する。

図１２は、過去３枚の撮像画像１９０Ａの移動平均と現在の撮像画像１９０Ａとの比較について表した図である。以下、ｎは整数であるとする。画像認識部１９２は、ｎ＋３枚目の撮像画像１９０Ａが得られた直後のとき、ｎ枚目とｎ＋１枚目とｎ＋２枚目との撮像画像１９０Ａの指示検出領域の平均値（画素値の平均値）を算出する。そして、画像認識部１９２は、過去３枚の撮像画像１９０Ａの画素値の平均値と、ｎ＋３枚目の撮像画像１９０Ａの指示検出領域の画素値とを比較する。ｎ＋４枚目の撮像画像１９０Ａが得られた直後、ｎ＋５枚目の撮像画像１９０Ａが得られた直後も、同様である。

このように画像認識部１９２は、過去３枚の撮像画像の移動平均と現在の撮像画像とを比較して、画素値の移動平均と現在の撮像画像との画素値の差分が所定以上であるかによって、マーカへの手かざしを検出してもよい。画像認識部１９２は、移動平均ではなく単純に過去の画素値と現在の画素値とを比較してもよい。上述した例では、画像認識部１９２は、撮像画像の指示検出領域の画素の総和を比較する方法を説明したが、画素の総和の比較以外により、マーカへの手かざしを検出してもよい。例えば、画像認識部１９２は、同じ座標の画素同士を比較し、それらの差分の二乗の総和を取る方法を用いて、総和が所定値以下であれば手かざしがなく、そうでなければ手かざしがあると、判定してもよい。

以上のように、過去の画像と最新の画像との比較により手かざしを検出することにより、次のような副次的な効果が得られる。即ち、画像表示システム１００の使用環境において、例えば照明の入り切りや窓からの外光の変化のような比較的長時間に渡る変化の影響を受けている状況において、操作者の手かざしによる指示のような比較的短時間の変化だけを検出できる。

上述したＳ５０８では、Ｓ５０７で述べたように制御部１１０が画像認識部１９２において指示を検知する。制御部１１０は、その際に指示を検知したか、検知した場合には検知した指示検出領域が１つであるか、複数であるかを判断する。例えば、図３（ｂ）の例では、操作者は手かざしによる指示は、ページ送り（マーカＭＡ）またはページ戻し（マーカＭＢ）のうちの何れか１つである。そのため、画像認識部１９２が、複数の指示検出領域で指示を検出した場合には、操作者による手かざしではなく、例えばスクリーン１０５の投写画面１０５Ａの前を人が横切ったなどの要因が考えられる。従って、画像認識部１９２が、複数の指示検出領域で指示を検出した場合、制御部１１０は、検出された指示を無視する。画像認識部１９２が、１つの指示検出領域でのみ指示を検出した場合、画像認識部１９２は、検出結果を制御部１１０に通知する。この場合、制御部１１０は指示情報を通信部１１４に出力する（Ｓ５０９）。図１では、通信部１１４は、制御部１１０の制御の下、ＵＳＢケーブル１０４を通じて、コンピュータ１０１に、検出された指示に応じた指示情報（ページ送りやページ戻し等）を送信する。

Ｓ５０８で、指示が検知されなかった場合、または複数の指示検出領域で指示が検出された場合、Ｓ５０８の判定はＮｏになる。この場合、Ｓ５０９は実行されない。制御部１１０は、操作入力機能を終了するか否かを判定する（Ｓ５１０）。例えば、制御部１１０は、操作者による操作部１１３の操作を検出して、操作入力機能が終了したかを判定してもよい。操作部１１３が、操作入力機能の終了を検出しない場合、制御部１１０は、指示検出機能を終了しないと判定する。この場合、フローは、Ｓ５０７に戻る。一方、操作部１１３が、操作入力機能の終了を検出した場合、制御部１１０は、指示検出機能を終了すると判定する。この場合、本実施形態の処理は終了する。

以上説明したように、本実施形態のプロジェクタ１０２は、操作入力機能を使用しないモード（第２投写モード）と使用するモード（第１投写モード）とを切り替え可能である。そして、第１投写モード（投写画像にマーカが付加されたモード）においても、スクリーン１０５の投写画面１０５Ａに投写される投写画像の大きさは、第２投写モードのときの投写画像の大きさと同じになるように拡大される。これにより、第１投写モードに切り替わったとしても、投写画像の大きさは変化しないため、投写画像を視認している者に違和感を与えず、視認性が向上する。また、投写画像領域ＲＡが縮小されないことから、視認性の低下が抑制される。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像表示システム
１０１ コンピュータ
１０２ プロジェクタ
１０５ スクリーン
１１０ 制御部
１１１ ＲＡＭ
１１２ ＲＯＭ
１２０ 画像入力部
１８１ 投写光学系
１８１ｂ ズーム光学系
１８１ｃ シフト光学系
１８２ 投写光学制御部
１９０ 撮像部

Claims (14)

1. 入力画像を取得する取得手段と、
   前記入力画像の周囲の領域に所定の操作画像を付加した第１画像を投写する第１投写モードと、前記入力画像に前記所定の操作画像を付加しない第２画像を投写する第２投写モードとを含む複数の投写モードのうち、いずれかの投写モードを設定する設定手段と、
   設定された投写モードに応じて、前記入力画像から出力画像を生成する画像処理手段と、
   前記出力画像に基づいて投写面に画像を投写し、前記投写面における前記画像の大きさを光学的に変更可能な拡大手段を備える投写光学手段と、
   前記投写光学手段を制御する制御手段と、
   を備え、
   前記制御手段は、前記第１投写モードで前記投写面に投写される前記第１画像の前記投写面における大きさが、前記第２投写モードで前記投写面に投写される前記第２画像の前記投写面における大きさよりも、大きくなるように、前記投写光学手段の前記拡大手段を制御することを特徴とする投写装置。
2. 前記投写モードを切り換えるための指示を受け付ける受付手段をさらに備え、
   前記第２投写モードで前記第２画像を投写している状態で前記受付手段が前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記制御手段は、前記投写光学手段の前記拡大手段の拡大率を増加させることを特徴とする請求項１に記載の投写装置。
3. 前記第２投写モードで前記第２画像を投写している状態で前記受付手段が前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記制御手段は、前記第１投写モードで投射された前記第１画像における前記入力画像に対応する領域の大きさが、前記第２投写モードで投射された前記第２画像における前記入力画像に対応する領域の大きさと実質的に同等となるように前記拡大手段の拡大率を増加させることを特徴とする請求項２に記載の投写装置。
4. 前記投写光学手段は、前記投写面における前記画像の位置を光学的に変更可能なシフト手段をさらに備え、
   前記第２投写モードで前記第２画像を投写している状態で前記受付手段が前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記制御手段は、前記投写光学手段の前記拡大手段の拡大率を増加させ、前記シフト手段は、前記拡大率の増加量に応じたシフト量で、前記第１画像の投写位置を前記第２画像の投写位置に対して移動させることを特徴とする請求項２または請求項３に記載の投写装置。
5. 前記制御手段は、前記出力画像に基づいて前記投写面に前記画像を投影するように前記投写光学手段を制御するものであって、
   前記画像処理手段は、前記第１投写モードが設定された場合に、前記入力画像を縮小し、前記操作画像を前記縮小された入力画像の外側に付加して前記出力画像を生成し、前記第２投写モードが設定された場合に、前記入力画像に前記出力画像を付加せずに前記出力画像を生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の投写装置。
6. 前記投写面の前記画像を含む領域を撮像し、撮像画像を取得する撮像手段と、
   前記第１投写モードが設定された場合に、前記撮像画像の前記操作画像に対応する領域に所定の操作がなされたか否かを判定する判定手段と、
   前記判定手段に基づいて操作情報を外部装置に出力する出力手段と、
   をさらに備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の投写装置。
7. 入力画像を取得する工程と、
   前記入力画像の周囲の領域に所定の操作画像を付加した第１画像を投写する第１投写モードと、前記入力画像に前記所定の操作画像を付加しない第２画像を投写する第２投写モードとを含む複数の投写モードのうち、いずれかの投写モードを設定する工程と、
   設定された投写モードに応じて、前記入力画像から出力画像を生成する工程と、
   前記出力画像に基づいて投写面に画像を投写し、前記投写面における前記画像の大きさを光学的に変更可能な拡大手段を備える投写光学手段を制御する工程と、
   を有し、
   前記投写光学手段を制御する工程において、前記第１投写モードで前記投写面に投写される前記第１画像の前記投写面における大きさが、前記第２投写モードで前記投写面に投写される前記第２画像の前記投写面における大きさよりも、大きくなるように、前記投写光学手段の前記拡大手段を制御することを特徴とする投写装置の制御方法。
8. 前記投写モードを切り換えるための指示を受け付ける工程と、
   前記第２投写モードで前記第２画像を投写している状態で、前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記投写光学手段の前記拡大手段の拡大率を増加させる工程と、をさらに有することを特徴とする請求項７に記載の投写装置の制御方法。
9. 前記第２投写モードで前記第２画像を投写している状態で、前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記第１投写モードで投射された前記第１画像における前記入力画像に対応する領域の大きさが、前記第２投写モードで投射された前記第２画像における前記入力画像に対応する領域の大きさと実質的に同等となるように前記拡大手段の拡大率を増加させることを特徴とする請求項８に記載の投写装置の制御方法。
10. 前記第２投写モードで前記第２画像を投写している状態で、前記第２投写モードから前記第１投写モードへの切り換え指示を受け付けたことに応じて、前記投写光学手段の前記拡大手段の拡大率を増加させ、前記投写面における前記画像の位置を光学的に変更可能なシフト手段は、前記拡大率の増加量に応じたシフト量で、前記第１画像の投写位置を前記第２画像の投写位置に対して移動させることを特徴とする請求項８または請求項９に記載の投写装置の制御方法。
11. 前記出力画像に基づいて前記投写面に前記画像を投影するように前記投写光学手段を制御し、
    前記第１投写モードが設定された場合に、前記入力画像を縮小し、前記操作画像を前記縮小された入力画像の外側に付加して前記出力画像を生成し、前記第２投写モードが設定された場合に、前記入力画像に前記出力画像を付加せずに前記出力画像を生成することを特徴とする請求項７乃至請求項１０のいずれか１項に記載の投写装置の制御方法。
12. 前記第１投写モードが設定された場合に、前記投写面の前記画像を含む領域を撮像した撮像画像の前記操作画像に対応する領域に所定の操作がなされたか否かを判定する工程と、
    前記所定の操作がなされたか否かを示す操作情報を外部装置に出力する工程と、
    をさらに有することを特徴とする請求項７乃至請求項１１のいずれか１項に記載の投写装置の制御方法。
13. 請求項７乃至１２のいずれか１項に記載の投写装置の制御方法をプロセッサが実行するためのプログラム。
14. 請求項１３に記載のプログラムを記憶するコンピュータ読み取り可能な記憶媒体。

Images