JP2018205506A - 投写装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】 投写条件が変更になった時に、操作者には理解できないまま、操作者の指示の検出ミスを起こすことを低減する投写装置を提供する。
【解決手段】 本発明の投写装置は、入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサと、前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御する制御部と、を備え、前記制御部は、前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングの処理を変更するように制御することを特徴とする。
【選択図】 図５

Description

本発明は、画像を投写する投写装置に関する。

画像を投写するプロジェクタを用いて資料や画像情報をスクリーン等に投写してプレゼンテーションを行う際に表示している画像の切替えを行うことがある。このとき、プロジェクタに映像を送り出すＰＣに対して、操作者がキーボードやマウスの操作を行ってページ送りやページ戻しをさせていた。もしくはＰＣに対してページ送りやページ戻しの命令を送出するリモコンを用いて操作していた。

しかしＰＣのキーボードやマウスの操作をするには、プレゼンテーションを行なっている操作者の手元までキーボードやマウスを引き寄せる必要があった。もしくはＰＣの操作のために別の操作者を用意して、そのＰＣの操作者に投写している資料のページ操作を依頼しなくてはならなかった。

リモコンの操作により操作者がページ送り操作を行う場合、新たなハードウェアの増設が必要となりコスト増につながってしまう。

そのため、新たなハードウェアの増設が無く、説明者がプロジェクタの投写画像のすぐ近くにいても操作できる機能が求められていた。

その要求に対し、特許文献１では、プロジェクタによって資料に加えて、表示アイテムとしてのマーカーを投写表示し、そのマーカー上への操作者の手かざしをカメラにより検出することによって、資料のページ操作を行なう技術が開示されている。図３は投写画像とマーカーを説明する図である。特許文献１による一例では、図３（ａ）に示すように投写画像に指示領域Ａを示すマーカーと指示領域Ｂを示すマーカーが表示される。ここで指示領域Ａにはページを戻すための指示を割り当て、指示領域Ｂにはページを送るための指示を割り当てておく。そして図３（ｂ）にあるように、操作者がそれぞれの指示領域に手をかざすと、プロジェクタに内蔵したカメラが破線で示した撮像範囲でスクリーンと投写画像と操作者の手を含め撮像し、その撮像画像から指示領域ＡまたはＢに手かざしがされたかどうかを検出する。そして、手かざしが検出された場合に、ぞれぞれの指示領域に対応した指示がＰＣへ送出される。図３では二つの指示領域を矩形で表示しているが、このように指示領域に何らかのマーカーとなるものを表示しないと、操作者にはどの領域を手かざししたら指示を送ることができるか判断できない。そのため投写する画像におけるそれぞれの指示要求領域に、目印となるようなマーカー画像などを重畳して投写することにより、操作者にとって指示を出しやすくなる。このように指示要求領域にはマーカーとなる画像を投写する。このような技術により、操作者はＰＣを操作するためのキーボードやマウスを手元に持ってきたり、操作を別の操作者に依頼したり、新たなハードウェアの増設もなしに、これらの課題を解決できる。

ここでカメラはコストを考慮し、固定画角の撮像光学系を用いることが多い。そしてカメラの画角は投写光学系のズーム操作での最大画角と、投写画像のシフト操作を行ったときの、最大調整幅をカバーするように選択され、また必要な解像度を得られるように画素数が選択される。

ここまで、操作者が指示を行い、その指示を検出する領域を指示領域と呼んだ。指示領域には、プロジェクタは、操作者に対して指示（手かざし）を要求するために投写画像中に所定の表示アイテムとしてのマーカーを配置する必要がある。以降、投写画像に対してマーカーの配置される領域のことを、「指示要求領域」と呼称する。一方、操作者の指示（手かざし）を検出するためには、投写画像を含んだ撮像画像中において、指示要求領域のマーカーに対する手かざしを検出する必要がある。以降、撮像画像に対して手かざしを検出するための領域のことを「指示検出領域」と呼称する。

すなわち、このような技術に対応するプロジェクタは、投写する画像中に指示要求領域を決定し、そこにマーカーを表示するとともに、撮像した画像中に指示検出領域を決定し、そこへの手かざしを検出するのである。指示検出領域は、撮像画像中に写り込んだ指示要求領域の位置に決定されることが重要である。

ここで、指示検出領域と指示要求領域との対応付けについて説明する。

まず、特許文献１の先行例におけるこれらの操作の前提として、プロジェクタとスクリーンの設置時に、投写画像の大きさや位置の調整や、幾何学歪がある場合には歪補正も完了させておく必要がある。

そして前記の投写画像の調整が完了したら、プロジェクタに内蔵されスクリーンを撮影するように設定されたカメラはスクリーンに投写した投写画像を撮像する。そして、撮像画像中のどこに指示要求領域を示すマーカーがあるかを検出し、撮像画像において検出したマーカーがある指示要求領域の位置に、指示を検出する指示検出領域を設定する。これにより撮像画像中の指示要求領域と指示検出領域は同じ領域に重なる。

この作業を行なう理由は、プロジェクタとスクリーンとの相対的な位置関係や、ズームやシフト等の投写条件により、プロジェクタに内蔵したカメラから見て、撮像画像における指示要求領域を示すマーカーの位置が変化するためである。そのためプロジェクタとスクリーンの設置時において、投写画像の大きさや位置の調整や幾何補正の完了後には、このような指示検出領域の位置設定が必要となる。

この作業を指示要求領域と指示検出領域とのキャリブレーションと呼ぶ。

この指示要求領域と指示検出領域とのキャリブレーションにより、操作者がスクリーンに投写されている指示要求領域を手かざしすると、プロジェクタはカメラにより撮像された撮像画像における指示検出領域の画像を解析して、操作者の指示を検出できるようになる。

しかし、プロジェクタとスクリーンの設置や、指示要求領域と指示検出領域のキャリブレーションを完了し、操作者による指示要求領域の手かざしによる指示の操作を開始した後になってから、画像の投写位置やズーム調整を行ないたくなることがある。或いは、そのような操作を開始した後に、台形歪に気づき、改めて台形歪補正を行ないたくなることがある。またプロジェクタを固定せずに例えば机上に乗せてあるだけの場合には、意図せずプロジェクタの投写方向を動かしてしまうこともある。このとき、プロジェクタとスクリーンの位置関係が崩れて幾何学歪が発生すると、撮像手段から見たスクリーンに投写された投写画像の位置がずれてしまうこともある。

図４は投写画像の大きさと位置を調整したときを表しており、破線で示しているのは設定初期の投写画像と指示要求領域を示すマーカー画像であり、実線で示しているのは設定後に操作者が調整した画像である。

図４（ａ）では、投写光学部におけるズーム光学系を操作するか、もしくは画像処理で投写画像を小さくしたことを表している。

図４（ｂ）では、投写光学部におけるシフト光学系を操作するか、もしくは画像処理で、投写画像の位置を右方向に移動したことを示している。

図４（ｃ）では、投写光学部におけるシフト光学系を操作するか、もしくは画像処理で投写画像の位置を上方向に移動したことを示している。

図４（ｄ）では、画像処理で台形歪を補正したことを示している。

図４に示したように、ズームやシフト、歪補正といった投写条件が変更されると、マーカーが表示される指示要求領域は移動してしまう。

特開２０１１−１６４８７８号公報

しかしながら、特許文献１では、操作者による指示要求領域の手かざしによる指示の操作を開始した後になってから、投写条件の変更が発生した場合の技術が開示されていない。その場合には、指示要求領域は移動しているものの、撮像画像中の指示検出領域はそのままとなり、これらの対応関係が取れなくなる。そのため、操作者は移動後の指示要求領域であるマーカー画像に対して指示のための手かざしを行なっても、プロジェクタは設定時の指示検出領域で操作者の手かざしによる指示を検出しようとするため、操作者の指示を正しく検出することができなくなってしまう。このとき、操作者が見えるのは位置変更後のマーカーだけであるため、操作者には理解できないまま、操作者の指示の検出ミスを起こしてしまうという事態に繋がる。

そこで本発明は上記の問題点に鑑み、投写条件が変更になった時に、操作者には理解できないまま、操作者の指示の検出ミスを起こすことを低減する投写装置を提供することを目的とする。

本発明の投写装置は、入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサと、前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御する制御部と、を備え、前記制御部は、前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングの処理を変更するように制御することを特徴とする。

本発明によれば、投写条件が変更になった時に、操作者には理解できないまま、操作者の指示の検出ミスを起こすことを低減する投写装置を提供することができる。

実施例における画像表示システムの斜視図である。 実施例におけるプロジェクタの構成図である。 投写画像と撮像画像と指示領域について説明するための図である。 投写画像の大きさと位置を調整したことを説明するための図である。 実施例１のプロジェクタのフロー図である。 実施例における撮像画像におけるマーカー位置の検出方法を説明するための図である。 実施例における撮像画像に含まれる投写画像の大きさや位置の検出方法を説明するための図である。 実施例における撮像画像における投写画像が一番大きいとき（ズーム光学系がＷｉｄｅ端）と、投写画像が一番小さいとき（ズーム光学系がＴｅｌｅ端）とを説明するための図である。 実施例における過去３枚の移動平均と現在の撮像画像との比較について説明するための図である。 実施例におけるテンプレートマッチングについて説明するための図である。 実施例２のプロジェクタのフロー図である。 実施例における指示要求領域と指示検出領域について説明するための図である。 実施例における水平・垂直同期と映像信号との関係を説明するための図である。 実施例におけるズームと指示要求領域の移動を説明するための図である。 実施例における通知画像を説明するための図である。

＜第１実施例＞
＜全体構成＞
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

なお、本実施例では、投写型表示装置の一例として、透過型液晶パネルを用いた表示機能と照明機能を兼ねるプロジェクタを用いたシステムについて説明する。しかし、本発明は、表示デバイスとして透過型液晶パネルを用いたプロジェクタに限らず、ＤＭＤ、ＬＣＯＳ（反射型液晶）パネルなどの表示デバイスを用いたどのようなものであっても適用可能である。また、液晶プロジェクタには、単板式、３板式などが一般に知られているが、どちらの方式であっても良い。

以下の実施例では、液晶プロジェクタを例にして説明する。

図１は本実施例における画像表示システムの斜視図である。

図１に示すように、画像表示システム１００は、画像供給装置としてのコンピュータ１０１と、プロジェクタ１０２とを備えている。コンピュータ１０１は、例えばノート型のパーソナルコンピュータであり、不図示の表示装置であるディスプレイ、入力装置であるキーボードとポインティングデバイスを一体的に備えて構成されている。プロジェクタ１０２はコンピュータ１０１の映像出力ポートから映像信号ケーブル１０３を通じて画像情報の供給を受ける。そしてこの画像情報に応じた画像をスクリーン１０５の投写面に投写する。

本実施例では、コンピュータ１０１とプロジェクタ１０２とは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル１０４で接続されており、コンピュータ１０１はこのＵＳＢケーブル１０４を介してプロジェクタ１０２からキー操作命令を受ける。

なお、映像信号ケーブル１０３とＵＳＢケーブル１０４のように別のケーブルとせずに、映像信号ケーブル１０３と通信用のケーブルとを一体としたケーブルまたは端子であってもよい。

＜プロジェクタの詳細構成＞
図２は、本実施例のプロジェクタ１０２の全体の構成を示す図である。

本実施例のプロジェクタ１０２は、制御部１１０、ＲＡＭ１１１、ＲＯＭ１１２、操作部１１３、画像入力部１２０、画像処理部１４０を有する。また、プロジェクタ１０２は、さらに、光変調素子駆動部１５０、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂ、光源制御部１３０、光源１６０、色分離部１６１、色合成部１８０、投写光学制御部１８２、投写光学系１８１などで構成されている。

制御部１１０は、プロジェクタ１０２の各動作ブロックを制御するプロセッサであり、ＲＯＭ１１２には制御部１１０の処理手順を記述した制御プログラムが記憶されている。ＲＡＭ１１１は、ワークメモリとして一時的に制御プログラムやデータを格納されるものである。制御部１１０は、通信部１１４より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。

また制御部１１０は、操作者による手かざしを認識する指示認識部１９２（後述）に対し、指示認識の条件変更や、指示認識の停止といった制御も行なう。制御部１１０は、指示認識部１９２（後述）の制御のための情報として、画像処理部１４０（後述）からの画像処理用パラメータ情報や、傾きセンサ部１４５（後述）からの筐体の姿勢（傾き情報）を受信する。さらに制御部１１０は、投写光学制御部１８２（後述）からの投写光学系１８１（後述）におけるエンコーダ出力、撮像部１９０（後述）からの撮像画像などを受信する。詳しくは後述する。

操作部１１３は、操作者の指示を受け付け、制御部１１０に指示信号を送信するものであり、複数の操作キーを備えている。代表的なものとしては、電源ボタン、入力映像信号の種類や入力端子を選択するための入力選択ボタン、各種の設定のためのメニュー画像を表示するためのメニューボタン、メニュー画像で設定項目を選択するための四つの方向ボタンと決定ボタン等である。

また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号を制御部１１０に送信するものであってもよい。また、制御部１１０は、操作部１１３や、通信部１１４から入力された制御信号を受信して、プロジェクタ１０２の各動作ブロックを制御する。

画像入力部１２０は、外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。さらには、ＵＳＢフラッシュメモリやＳＤカードのようなメディアに記録された画像を読み込むこともできる。なお、上述したように、画像入力部１２０は、通信部１１４は、同一のケーブルまたは端子によって構成されていてもよい。

画像処理部１４０は、画像入力部１２０から受信した画像信号にフレーム数、画素数、画素値、画像形状などの変更処理を施して、光変調素子駆動部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、制御部１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（台形歪補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して光変調素子駆動部１５０に送信することもできる。また、画像処理部１４０は、ＯＳＤ部１４１が生成した文字や図形をそのまま、もしくは入力画像に重畳して光変調素子駆動部１５０に送信することもできる。また、画像処理部１４０は、画像入力部１２０から受信した画像信号以外にも、制御部１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

光変調素子駆動部１５０は、画像処理部１４０から出力される画像信号に基づいて、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの画素の液晶に印可する電圧を制御して、光変調素子１７０Ｒ、１７０Ｇ、１７０Ｂの透過率を調整する。

光変調素子１７０Ｒは、赤色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。光変調素子１７０Ｇは、緑色に対応する光変調素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。光変調素子１７０Ｂは、青色に対応する液晶素子であって、光源１６０から出力された光のうち、色分離部１６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１３０は、光源１６０のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１３０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、制御部１１０が光源制御部１３０と同様の処理を実行しても良い。また、光源１６０は、不図示のスクリーンに画像を投写するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６１は、光源１６０から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６０として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６１は不要である。

また、色合成部１８０は、液晶素子１７０Ｒ、１７０Ｇ、１７０Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１８０により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投写光学系１８１に送られる。このとき、液晶素子１７０Ｒ、１７０Ｇ、１７０Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、光変調素子駆動部１５０により制御されている。そのため、色合成部１８０により合成された光は、投写光学系１８１によりスクリーンに投写されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

投写光学制御部１８２は、投射部としての投写光学系１８１を制御するものであり、制御用のマイクロプロセッサからなる。また、投写光学制御部１８２は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、制御部１１０が投写光学制御部１８２と同様の処理を実行しても良い。

また、投写光学系１８１は、色合成部１８０から出力された合成光をスクリーンに投写する投射部であり、複数のレンズ、レンズ駆動用のアクチュエータ、レンズ位置のエンコーダからなる。レンズをアクチュエータにより駆動することで、投写画像の拡大、縮小、焦点調整、シフトなどを行うことができる。また、位置エンコーダにより、各レンズの位置を判別することで、投写画像の拡大率、焦点位置、シフト量を検出することができる。

なお、本発明においては、投写光学系１８１にレンズを駆動するアクチュエータを持たない構成でも良い。その場合には、投写光学系１８１のフォーカス光学系、ズーム光学系、シフト光学系などに手動のためのつまみを設けて、操作者による物理的な操作を可能とすればよい。このとき、アクチュエータや投写光学制御部１８２のコスト低減や部品点数削減が可能となる。なお、このつまみが操作されたことを検出するスイッチなどを設けておくことで、制御部１１０はフォーカス光学系、ズーム光学系、シフト光学系などが操作され、投写条件が変更されたことを認識することができる。

なお、本発明においては、投写光学系１８１にレンズの位置を検出する位置エンコーダを持たない構成でも良い。このとき、位置エンコーダや投写光学制御部１８２のコスト低減や部品点数削減が可能となる。

傾きセンサ部１４５は、例えばプロジェクタの加速度や重力方向を測定するセンサである。制御部１１０は、傾きセンサ部１４５より、プロジェクタ１０２の設置角度を検出することできる。これにより、制御部１１０は、プロジェクタ１０２が角度を付けて設置されたことによる台形歪の量を推定し、画像処理部１４０にその台形歪を補正する画像処理を指示することができる。

なお、本発明においては、傾きセンサ部１４５を持たない構成でも良い。その場合、制御部１１０は、操作部１１３を介して、操作者による台形歪の補正量の入力を受け付け、それに基づく補正を画像処理部１４０に指示するようにしてもよい。このとき、傾きセンサ部１４５のコスト低減や部品点数削減が可能となる。或いは、制御部１１０は、撮像部１９０の撮像画像を元に、台形歪の補正量を計算してもよい。

通信部１１４は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１２０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、プロジェクタ１０２と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

本実施例では、通信部１１４は、不図示のＵＳＢ端子を備え、ＵＳＢケーブル１０４を介して外部のホスト機器に接続される。本実施例ではコンピュータ１０１に接続し、制御部１１０はコンピュータ１０１に対して後述するキー操作の命令を送出する。

なお、本実施例の画像処理部１４０、光変調素子駆動部１５０、光源制御部１３０、投写光学制御部１８２は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１２に記憶されたプログラムによって、制御部１１０が各ブロックと同様の処理を実行しても良い。

撮像部１９０は、カメラで構成される。撮像部１９０は、投写光学系１８１が画像を投写するスクリーン１０５を撮影するようにプロジェクタ１０２に内蔵されている。そして制御部１１０の指示に基づいて投写光学系１８１からスクリーン１０５に投写された画像を含む範囲を撮像する。このとき操作者がスクリーン１０５に投写された画像に対して何らかの操作をしたときの情報も含み撮影する。例えば図３（ｂ）で説明したように、破線で示した範囲で操作者が指示領域に手かざしをしている状況も含めて撮影する。撮像部１９０が撮像した画像情報は、制御部１９０と指示認識部１９２に出力される。

なお、操作者による手かざし操作の検出は、赤外線や超音波などの、他のセンシング技術を使ったセンサで行ってもよい。本実施例では、投写されている投写画像を含む範囲をセンシングするセンサとして、撮像センサを用いている。

指示認識部１９２は、マイクロコンピュータから構成され、操作者の手かざしを認識するためのものである。また、指示認識部１９２は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、制御部１１０が指示認識部１９２と同様の処理を実行しても良い。指示認識部１９２では、撮像部１９０が撮像した画像情報を解析することにより、撮像画像中の指示検出領域における操作者の手かざしによる指示を検出する。手かざしによる指示に検出については後述する。指示認識部１９２は、手かざしによる指示を検出すると、その結果を制御部１１０に送信する。また、指示認識部１９２は、制御部１１０からから制御され検出動作を変更する。詳細については、後述する。

指示認識部１９２から手かざし指示を検出した旨の情報を受け取った制御部１１０は、指示に対応するキー操作命令を決定し、通信部１１４を介してコンピュータ１０１に送る。このキー操作命令の決定方法については後述する。本実施例では図１で説明したようにＵＳＢを通じてコンピュータ１０１に伝えるため、通信部１１４はＵＳＢ端子である。もちろんプロジェクタ１０２とコンピュータ１０１間の通信はＵＳＢに限定するものではない。なお、ＵＳＢケーブル１０４を通じてキー操作命令を受け取ったコンピュータ１０１は、例えばプレゼンテーションアプリケーションソフトが立ち上がっており、受信したキー操作命令に従ってアプリケーションソフトの操作を行う。例えばページ送りやページ戻しである。もちろん、これ以外にも画像の一覧を指示する操作や、プレゼンテーションを終了する操作など、他の操作を行うことも可能である。

＜プロジェクタの初期設定フロー＞
まず、本プロジェクタの初期設定の説明を行なう。

初期設定の内容は、プロジェクタ１０２とスクリーン１０５の設置と、指示機能の設定と、使用環境での指示機能のキャリブレーションからなる。初期設定は操作者によって行われる。

まず操作者は、プロジェクタ１０２とスクリーン１０５の設置を行なう。そして操作者はプロジェクタ１０２を、画像供給装置であるコンピュータ１０１と映像信号ケーブル１０３及びＵＳＢケーブル１０４で接続する。それにより、コンピュータ１０１から映像信号ケーブル１０３を通じて、プロジェクタ１０２に画像を供給する。

この後、操作者は操作部１１３を操作して起動指示を行なうことにより、プロジェクタ１０２はスクリーン１０５に画像を投写する。そいて操作者は操作部１１３を操作して、画像処理部１４０での画質設定、投写光学系１８１における不図示の光学ズーム系での投写画像の大きさ、フォーカス光学系でのフォーカス調整、シフト光学系での投写位置の調整などを行う。

プロジェクタ１０２とスクリーン１０５が正対していない場合には台形歪が発生するが、その際には操作者は操作部１１３を操作して、画像処理部１４０の台形歪補正機能により台形歪を補正する。或いは、傾きセンサ部１４５によって検出されるプロジェクタ１０２の傾き角に基づいて、制御部１１０が画像処理部１４０に台形歪の補正指示を行なってもよい。

プロジェクタ１０２とスクリーン１０５の設置が完了したら、操作者は、指示機能の設定を行なう。

指示機能の設定とは、指示要求領域の個数、各々の指示要求領域に表示する表示アイテムとしてのマーカーの選択、各々の指示要求領域に対する（コンピュータ１０１へ送信するための）キー操作命令の割り当て、そして各々の指示要求領域の投写画像中の位置割り当てである。これらの設定は操作者により操作部１１３を介して行われ、制御部１１０がそれらの設定情報を受信し、ＲＡＭ１１１に記憶させる。これら設定の例としては、図３（ａ）の場合においては、指示要求領域の個数は２、各々のマーカーは例示的に矩形、各々のキー操作命令はページ送りとページ戻し、各々の位置割り当ては図示された領域ＡとＢの位置、となる。

これらは毎回操作者が行っても良いし、あらかじめプリセットされた設定をＲＯＭ１１２に記憶させておいてもよい。または、プリセットされた設定を複数（例えば、投写画像の左下のセットと右下のセット）用意しておき、それらの内一つを操作者が選択しても良い。

指示機能の設定が完了したら、操作者は、使用環境での指示機能のキャリブレーションを行なう。仕様環境での指示機能のキャリブレーションとは、指示要求領域と指示検出領域のキャリブレーションと、指示要求領域と指示検出領域の明るさのキャリブレーションと、からなる。

まず、操作者は、操作部１１３を操作し、指示要求領域と指示検出領域のキャリブレーションの開始を指示する。このキャリブレーションでは、指示領域を示すマーカーが付加された投写画像を撮像し、撮像画像中のマーカーの位置を検出することが行なわれる。

キャリブレーション開始の指示を受けると、制御部１１０は、ＯＳＤ部１４１に対し投写表示するための画像に指示要求領域を示す表示アイテムとしてのマーカーを付加させて、投写光学系１８１よりスクリーンに投写させる。そして撮像部１９０に対し図３（ａ）の破線で示したように投写光学系１８１からスクリーン１０５に投写された画像を含む領域を撮像させる。図６（ａ）に撮像画像の例を示す。このように撮像画像には投写画像とそれに含まれるマーカー、周辺のスクリーン１０５や他の領域が含まれている。制御部１１０はこの撮像画像をＲＡＭ１１１に記憶させる。

次に制御部１１０は、ＯＳＤ部１４１に対し投写表示するための画像から指示要求領域を示すマーカーを削除させて、投写光学系１８１よりスクリーンに投写させる。図６（ｂ）はマーカーを投写していないときの撮像画像を表しており、マーカーが含まれないスクリーン１０５が撮像されている。制御部１１０はこの撮像画像をＲＡＭ１１１に記憶させる。

次に制御部１１０では、ＲＡＭ１１１より読み出した図６（ａ）で記憶した画像と、図６（ｂ）で記憶した画像の差分を算出する。図６（ｃ）は差分を算出した画像であり、指示要求領域を表すマーカーのみを検出できる。

制御部１１０は、この検出したマーカー位置が示している指示要求領域の位置情報を、対応した指示検出領域の位置情報としてＲＡＭ１１１に記憶させる。なお、ＲＡＭ１１１に記憶された指示検出領域の位置情報は、後ほど指示認識部１９２で読み出され、使用される。

なお、これ以外にもマーカーの位置を検出する方法を用いてもよい。例えば、前述のマーカーの代わりに別のテストパターンを用いてもよい。例えば、制御部１１０はＯＳＤ部１４１に対して、前述のマーカーの代わりに、投写画像の画角を表す最外周の数画素だけ白もしくは任意の色として投写させ、それ以外の領域は黒を投写させるテストパターンを生成させ、それを投写させても良い。これにより、撮像画像中に写る投写画像の領域を知ることができる。一方、指示要求領域に対応したマーカーは、それが配置される投写画像に対しての相対位置が既知である（指示機能の設定時に操作者による位置が入力済みである）。そのため、その相対位置を撮像画像に対して適用することにより、撮像画像における指示検出領域を得ることができる。或いは、制御部１１０はＯＳＤ部１４１に対して、夫々投写画像中の位置が既知であり、また夫々の位置が異なるような複数のパターンを投写表示してもよい。それを撮像することで、同様に撮像画像中に写る投写画像の領域を知ることもできる。このように、撮像画像において投写画像がどこに配置されるか知ることのできる方法であれば、どのような方法を用いてもよい。

このように、制御部１１０は撮像画像における指示要求領域の位置を検出し、撮像画像における指示要求領域と指示検出領域を一致させるように指示検出領域の位置を決定することにより、指示要求領域と指示検出領域のキャリブレーションを完了する。

次いで、制御部１１０は、指示要求領域と指示検出領域の明るさのキャリブレーションを行なう。操作者による指示は、指示要求領域を示すマーカーへの手かざしの検出で行うが、例えば、この検出では、投写する画像における指示要求領域の画素値の総和値と、撮像した画像における指示検出領域の画素値の総和値を用いた比較で行なってもよい。このキャリブレーションでは、この比較をするにあたり、指示要求領域と指示検出領域の明るさの差を補正する補正係数が算出される。

まず、指示要求領域と指示検出領域の明るさの差について、図１２を用いて説明する。

図１２（ａ）は、操作者がスクリーン１０５に投写された投写画像における指示要求領域を示すマーカーを手かざししているようすを表している。ここで操作者は二つあるマーカーのうちの一つに手かざしをしている。

図１２（ｂ）は、画像処理部１４０から出力した投写する画像において、マーカーの周辺部分まで含んだ領域を表した図であり、指示要求領域が四角いマーカーとして存在している。

図１２（ｃ）は、撮像部１９０から出力した撮像した画像において、マーカーの周辺部分まで含んだ領域を表した図であり、指示要求領域のマーカーが四角いマーカーとして存在している。

前記の通り指示要求領域と指示検出領域のキャリブレーションを行っているため、撮像画像における指示検出領域、撮像画像中のマーカーが示す指示要求領域と一致している。ここでは図１２（ｂ）の投写する画像と、図１２（ｃ）の撮像した画像は同じ大きさとして示しているが、実際には投写光学系１８１の画角や解像度や、撮像部１９０の画角や解像度などの要因により同じ大きさ（もしくは画素数）とはならない。

ここで、画像処理部１４０から出力された投写する画像における指示要求領域の画素値に注目する。この領域の画素値は、光源１６０の明るさ、投写光学系１８１の特性、スクリーン１０５の反射率、撮像部１９０の露出制御、スクリーン１０５の設置環境の外光の影響など様々な伝達関数の影響を受けている。そのため、画像処理部１４０から出力した投写する画像での指示要求領域の画素値と、撮像部１９０で撮像されて撮像画像となったときの指示検出領域の画素値は異なるものとなる。

更に、前述の通り投写する画像における指示要求領域の大きさ（もしくは画素数）と、撮像画像における指示検出領域の大きさ（もしくは画素数）は同じではない。

以上のような条件があるため、単純に画像処理部１４０からの投写する画像における指示要求領域と、撮像部１９０からの撮像画像における指示検出領域の画素の総和値を比較できない。そのためこれらの伝達関数をキャンセルする必要がある。

この伝達関数による影響をキャンセルするため、制御部１１０は、マーカーを投影したときの状態で、制御部１１０にて画像処理部１４０から読み込んだ指示要求領域の画素値の総和と、撮像部１９０から読み込んだ指示検出領域の画素値の総和と、の差分を取得する。これにより求めた伝達関数補正値を、ＲＡＭ１１１に記憶しておく。

これらの作業により、指示要求領域と指示検出領域の明るさのキャリブレーションを完了する。

以上により、初期設定が完了する。

＜プロジェクタの動作フロー＞
初期設定が終わったら、制御部１１０は図５のフローチャートに沿って制御を行う。

Ｓ５０１では、制御部１１０は制御を開始する。

Ｓ５０２では、制御部１１０は、撮像部１９０に投写光学系１８１がスクリーン１０５に投写した投写画像を含む範囲を撮像させる。撮像部１９０で撮像された撮像画像は、制御部１１０と指示認識部１９２に入力される。

Ｓ５０３では、制御部１１０は、指示要求領域と指示検出領域がずれていないか判別する。これは初期設定として、プロジェクタ１０２の調整と指示機能のキャリブレーションを行ったが、その後に何らかの要因で、撮像画像に写った投写画像の指示要求領域のマーカーと、撮像画像における指示検出領域とが、ずれていないかを判別するものである。

この判別は、例えば図４（ａ）〜（ｄ）で説明したように、操作者が初期設定後に投写光学系１８１や画像処理部１４０のシフト機能により投写位置を調整したり、ズーム率を調整したり、台形補正を再実施していないかを検出することにより実現できる。また、この判定は、投影中のプロジェクタ１０２において、何らかの要因で仰角がずれたり、投影方向や画角がずれたり、といった投写条件の変化を検出することによっても実現できる。

すなわち前記の要因により、撮像画像における指示要求領域を示すマーカーの位置が、指示検出領域とずれたことを検出するものである。

前記のような要因により、もし指示要求領域と指示検出領域がずれていると、図４で説明したように操作者による指示が正しく認識できなくなるため、ずれがあるかどうかを判別するものである。

このように、制御部１１０は撮像画像における指示検出領域と、撮像画像に写った投写画像の指示要求領域のマーカーとのずれの判定するために様々な方法を取ることができる。以下、これらの方法について一つずつ説明する。

指示要求領域と指示検出領域のずれの検出方法として、プロジェクタ１０２の各ブロックが持つセンサの出力値を参照することにより、投写条件が変化したことを検出する方法がある。これらのセンサについて、制御部１１０はあらかじめ前述のキャリブレーション直後のセンサの出力値を読み出し、ＲＡＭ１１１に記憶させておく。以下、各センサの例を用いて、説明する。

ずれを検出する検出部としてのセンサとして、投写光学系１８１の不図示のズーム光学系が持つズーム位置エンコーダを用いることができる。

ズーム位置エンコーダは、投写光学系１８１に含まれるズーム光学系レンズの位置を検出するエンコーダである。ズーム光学系レンズは、投写光学制御部１８２によって制御される投写光学系１８１に含まれるアクチュエータによって、ズーム率を変更する。或いは、アクチュエータを有さない形態であって、操作者が投写光学系１８１に接続されたつまみ等の操作部材（不図示）を操作することにより、直接投写光学系１８１のズーム率を変更するようにしても同様に本発明を実施できる。投写光学系１８１のズーム率にリンクしてズームエンコーダ出力値が変化する。

制御部１１０は、このズームエンコーダ出力値の変化を検出することにより、投写光学系１８１のズーム率を検知できる。このズーム率が本画像表示システム１００の初期設定時から異なる値になった場合には、ズーム率が変化したと判別できる。この場合、制御部１１０は、図４（ａ）で説明した通り初期設定時の指示要求領域と、現在の指示検出領域がずれていると判別できる。

ずれを検出する検出部としてのセンサとして、投写光学系１８１の不図示のシフト光学系が持つシフトエンコーダを用いることができる。

シフトエンコーダは、投写光学系１８１に含まれるシフト光学系レンズの位置を検出するエンコーダである。シフト光学系レンズは、投写光学制御部１８２によって制御される投写光学系１８１に含まれるアクチュエータによって、投写画像の横方向若しくは縦方向のシフト量を変更する。或いは、アクチュエータを有さない形態であって、操作者が投写光学系１８１に接続されたつまみ等の操作部材（不図示）を操作することにより、直接投写光学系１８１のシフト量を変更するようにしても同様に本発明を実施できる。投写光学系１８１の横方向と縦方向の投写画像シフト量にリンクして横方向のシフトエンコーダ出力値と縦方向のシフトエンコーダ出力値が変化する。

制御部１１０は、この横方向と縦方向のシフトエンコーダ出力値の変化を検出することにより、投写光学系１８１のシフト量の変化を検知できる。このシフト量が本画像表示システム１００の初期設定時から異なる値になった場合には、シフト量が変化したと判別できる。この場合、制御部１１０は、図４（ｂ）や図４（ｃ）で説明した通り初期設定時の指示検出領域と、現在の指示検出領域がずれていると判別できる。

ずれを検出する検出部としてのセンサとして、傾きセンサ１４５を用いることができる。センサとしてこの傾きセンサ部１４５によりずれの発生を判別しても良い。

傾きセンサ部１４５は筐体の傾きや姿勢を検知するものであり、その検出した角度に基づいた補正値により、画像処理部１４０にて、台形補正が行なわれる。

制御部１１０は、傾きセンサ１４５の出力値の変化を検出することにより、台形補正量の変化を検知できる。このセンサ出力値が本画像表示システム１００の初期設定時から異なる値になった場合には、投写画面上の台形歪の状態が変化する。この場合、制御部１１０は、図４（ｄ）で説明した通り初期設定時の指示検出領域と、現在の指示検出領域がずれていると判別できる。

指示要求領域と指示検出領域のずれの別の検出方法として、プロジェクタ１０２の投写画像を撮像することにより、その大きさの変化を測定することによって検出することもできる。これは、キャリブレーション時の投写画像の大きさと、現在の投写画像の大きさを比較して、変化があった場合には指示要求領域と指示検出領域がずれたと判断するものである。

以下、投写画像の大きさの変化の検知方法を、図７を用いて説明する。

まず、制御部１１０は撮像部１９０に投写画像を撮像させる。即ち、制御部１１０は、画像処理部１４０から出力する映像信号の同期信号から撮像するタイミングを合わせ、投写光学系１８１より画像が投写されているタイミングで撮像部１９０に撮像させる。これにより、例えば図７（ａ）に示す撮像画像７００が得られる。撮像画像７００には、スクリーン１０５と、投写画像と、投写画像中の指示要求領域を示すマーカーが撮像されている。制御部１１０は、撮像画像７００をＲＡＭ１１１に記憶させる。それと別の時刻に、制御部１１０は画像が投写されていないタイミングで撮像部１９０に同様の画角で撮像させる。これにより、例えば図７（ｂ）に示す撮像画像７０１が得られる。撮像画像７０１には、スクリーン１０５しか撮像されていない。制御部１１０は、撮像画像７０１をＲＡＭ１１１に記憶させる。例えば、画像が投写されていないタイミングとしては、キャリブレーション時に黒画像を表示するタイミングを設け、そのときに撮像してもよい。例えば、画像が投写されていないタイミングとして、定期的（例えば、１／６０秒毎に１／１２０秒間）に黒画像のフレームを行なう処理を行なっている場合には、その黒画像のフレームが挿入された処タイミングで撮像してもよい。

そして制御部１１０は、ＲＡＭ１１１に記憶させた撮像画像７００と撮像画像７０１とを読み出し、それらの差分を算出する。これにより図７（ｃ）に例示したような差分画像７０２が抽出される。差分画像７０２として投写画像が抽出される。制御部１１０はこの差分画像７０２において、横方向と縦方向の投写画像領域のエッジ部の座標を検出する。これは横方向と縦方向について、それぞれ隣接する画素値を比較して、差分値が大きいときの座標を撮像画像中の投写画像領域のエッジとする。

図７（ｄ）は、撮像画像中の投写画像領域のエッジの座標を算出した様子を表している。この例では、撮像画像は６４０画素×４８０画素であり、その内、座標（１０５，８０），（５３０，８０），（５３０，４００），（１０５，４００）の４点で囲まれた矩形が投写画像領域のエッジを示す。このエッジの座標より投写画像の大きさを算出できる。

制御部１１０は、前述のキャリブレーションのときに、同様に投写画像の大きさを検出しておき、ＲＡＭ１１１に記憶させておく。制御部１１０は、前述した撮像部１９０での投影中の投写画像領域の大きさと、ＲＡＭ１１１から読み取ったキャリブレーション時の投写画像領域の大きさを比較する。投写画像領域の大きさに差が生じた場合には、指示要求領域と指示検出領域がずれたと判断できる。これにより、例えば、図４（ａ）（ｄ）のようなケースを検出することができる。

なお、定期的に投写領域の大きさを測定してＲＡＭ１１１に記憶させ、現在の大きさと過去の（ＲＡＭ１１１に記憶された）大きさとを比較することによってもよい。この場合も同様に、投写画像領域の大きさに差が生じた場合には、指示要求領域と指示検出領域がずれたと判断できる。

なお、投写画像領域の大きさの比較ではなく、投写画像領域の位置自体を比較しても良い。この比較により、投写画像領域の位置に差が生じた場合には、指示要求領域と指示検出領域がずれたと判断できる。これにより、例えば、図４（ｂ）（ｃ）（ｄ）のようなケースを検出することができる。

なお、このときに撮像部１９０による撮像画像における投写画像のエッジの検出は、撮像画像の全域で検知しなくとも、投写光学系１８１の仕様の範囲内で行っても良い。図８は撮像部１９０の撮像画像における投写画像が一番大きいとき（ズーム光学系がＷｉｄｅ端）と、投写画像が一番小さいとき（ズーム光学系がＴｅｌｅ端）を表している図である。プロジェクタ１０２の投写中にズーム率が変更された場合でも、撮像画像中の投写画像の大きさは投写光学系１８１におけるズーム光学系の仕様の範囲でしか変化しない。そのため投写画像の大きさの変化の検知のために撮像画像中の投写画像のエッジを検知するために、撮像画像の全範囲を対象としなくても良い。即ち、撮像画像中の図中の矢印で示した領域のみ対象とすればよい。それにより投写画像のエッジの検知に掛かる時間を短くすることができる。ここでＴｅｌｅ端、Ｗｉｄｅ端の光学的な仕様情報は、ＲＯＭ１１２或いは、投写光学系１８１に含まれる不図示の記憶部に記憶しておいてもよい。制御部１１０は、それを読み出し、上述の範囲を決定することができる。

指示要求領域と指示検出領域のずれの別の検出方法として、画像処理部１４０による画像処理のパラメータの変化を用いて検出してもよい。

ずれの検出のためのパラメータとして、画像処理部１４０による台形歪補正の調整値を用いてもよい。台形歪補正の調整値とは、例えば、水平や垂直方向の角度値を用いることができる。これらの角度値から、画像処理部１４０にて、投写画像に対して射影変換を行なうことにより、プロジェクタ１０２の筺体とスクリーン１０５との位置関係に基づく、投写画像の台形歪を補正することができる。台形歪補正のパラメータは、操作者からの操作部１１３を介した入力により得てもよい。また、台形歪補正の調整値は、傾きセンサ部１４５で検出されたプロジェクタ１０２の傾きから得てもよい。キャリブレーション完了時の台形補正のパラメータをＲＡＭ１１１に記憶しておき、現在の台形歪補正の調整値との差が検出されたことにより、指示要求領域と指示検出領域がずれたと判断できる。或いは、定期的に台形補正のパラメータを取得し、ＲＡＭ１１１に記憶しておき、過去の値と比較することにより変化の発生を検出するようにしてもよい。これにより、例えば、図４（ｄ）のようなケースを検出することができる。

なお、台形歪だけでなく、他の幾何学歪を補正する調整値を、ずれの検出のパラメータに用いてもよい。例えば、糸巻き歪、樽型歪の補正値や、任意の曲面に投写したときの自由曲面歪を補正するためのパラメータでもよい。このように、撮像部１９０から見て、投写検出領域の位置が変化するような歪補正のパラメータであれば、どのようなパラメータでも本発明を適用できる。また、そのパラメータの取得方法としては、撮像部やセンサの出力値等から自動計算してもよいし、操作者が入力してもよい。このように、パラメータの取得方法は問わない。

ずれの検出のためのパラメータとして、画像処理部１４０もしくは光変調素子駆動部１５０による位置調整の調整値を用いてもよい。

図１３を用いて、位置調整の調整値について説明する。図１３は、画像処理部１４０もしくは光変調素子駆動部１５０で処理される映像の１フレームを示している。映像の１フレームは、フレームの切り替わりを示す垂直同期信号（ＶＳｙｎｃ）、フレームを構成するラインの切り替わりを示す水平同期信号（ＨＳｙｎｃ）というタイミング信号と、それに対応した画像データからなる。画像処理部１４０における画像処理は、画像入力部１２０から入力された映像信号に付加されている水平同期信号と垂直同期信号や、もしくはプロジェクタ１０２が内部で独自に生成している水平同期信号と垂直同期信号に同期して動作している。そして図１２の例では、画像処理部１４０において、水平同期信号Ｈｓｙｎｃの前端からの時間であるＨＳＴＡＲＴ後から映像信号が出力されることを示している。また垂直同期信号Ｖｓｙｎｃの前端からの時間であるＶＳＴＡＲＴ後から映像信号が出力されることを示している。ここで制御部１１０がＨＳＴＡＲＴとＶＳＴＡＲＴの値を制御することにより、図４（ｂ）や図４（ｃ）のように投写画像の表示位置を制御することができる。位置調整の調整値として、ＨＳＴＡＲＴとＶＳＴＡＲＴの値を用いることができる。キャリブレーション完了時の位置調整の調整値をＲＡＭ１１１に記憶しておき、現在位置調整の調整値との差が検出されたことにより、指示要求領域と指示検出領域がずれたと判断できる。或いは、定期的に位置調整の調整値を取得し、ＲＡＭ１１１に記憶しておき、過去の値と比較することにより変化の発生を検出するようにしてもよい。これにより、例えば、図４（ｂ）（ｃ）のようなケースを検出することができる。

ずれの検出のためのパラメータとして、画像処理部１４０による拡大処理・縮小処理の調整値を用いてもよい。拡大処理・縮小処理の調整値とは、例えば、入力画像に対する拡大率や縮小率である。画像処理部１４０における画像の拡大・縮小処理とは、例えば、不図示のフレームメモリへの間引き書き込みや読み出し、もしくは複数回書き込みや読み出しにより実現してもよい。キャリブレーション完了時の拡大・縮小処理の調整値をＲＡＭ１１１に記憶しておき、現在の拡大・縮小処理のパラメータの差との差が検出されたことにより、指示要求領域と指示検出領域がずれたと判断できる。或いは、定期的に拡大・縮小処理の調整値を取得し、ＲＡＭ１１１に記憶しておき、過去の値と比較することにより変化の発生を検出するようにしてもよい。これにより、例えば、図４（ａ）のようなケースを検出することができる。

また、筐体の水平方向の傾きは変えずにパンニングさせて、投写方向の変化を検出した場合にも指示要求領域と指示検出領域のずれが発生したと検出してもよい。たとえばジャイロセンサやＧＰＳセンサの出力値に基づいて判断してもよい。

Ｓ５０３において、制御部１１０は、上記の検出方法の少なくとも一つを用いて、指示要求領域と指示検出領域のずれが検知されたときには、Ｓ５０４に進み、検知されなかったときにはＳ５０９に進む。

Ｓ５０４では、制御部１１０は、何らかの要因でずれてしまった撮像画像における指示要求領域の移動先の位置を検出する。ずれた後の指示要求領域の移動先の位置には、様々な方法を適用することができる。それらの方法の例を説明する。

撮像画像における指示要求領域の移動先の検出方法として、撮像部１９０が撮像した撮像画像を用いる方法がある。即ち、撮像画像から指示要求領域を表すマーカーの位置を検索する方法である。この検索にはテンプレートマッチング手法を用いてもよい。

制御部１１０は、画像処理部１４０からの投写する画像におけるマーカー領域をテンプレート画像とし、撮像部１９０による撮像画像をサーチエリアとして、テンプレートマッチングにより撮像画像中の指示要求領域であるマーカーの位置を検索する。テンプレートマッチングとは画像処理の一種であり、観測画像の中からある特定のパターンを検出する手法である。

具体的には、制御部１１０は、指示要求領域を示すパターン画像をテンプレート画像とし、撮像画像をテンプレート画像で走査し、撮像画像上の各位置における類似度を算出し、類似度が一番大きかった位置を検出することを行なう。

図１０はテンプレートマッチングについて説明した図である。図１０（ａ）は本画像表示システム１００の初期設定が終わったときの撮像画像である。図１０（ｂ）は図１０（ａ）の初期設定が終わったときから、何らかの要因でプロジェクタ１０２の投写位置が右下方向にずれてしまったときの撮像画像と、テンプレートマッチングのためのサーチエリアを表した図である。サーチエリアとは、撮像画像中のテンプレート画像で走査する領域のことである。図１０（ｃ）は図１０（ｂ）における撮像画像からサーチエリア領域を抜き出したサーチエリア画像と、テンプレートとなる指示要求領域のマーカー領域を表すテンプレート画像である。図１０（ｄ）はサーチエリア画像とテンプレート画像のマッチング処理を表している図である。

制御部１１０は、画像処理部１４０が出力する画像信号から、指示要求領域をテンプレート画像として抜き出し、ＲＡＭ１１１に記憶させる。また、制御部１１０はサーチエリア画像として撮像部１９０が撮像した画像から初期設定時の指示検出領域を中心としたテンプレート画像よりも広い領域の画像をＲＡＭ１１１に記憶させる。なお、サーチエリア画像のサイズは、予め定めておき、ＲＯＭ１１２に格納しておけばよい。また制御部１１０はＲＡＭ１１１に記憶させたサーチエリア画像から、テンプレート画像と同じ大きさの画像を切り出す。

次いで、制御部１１０は、同じ大きさのテンプレート画像と、切り出されたサーチエリア画像との類似度を判定する。具体的には同じ位置の画素同士の差分値を取り、その領域内の画素同士の差分値の総和を類似度判定値としても良い。制御部１１０は、得られた類似度判定値をＲＡＭ１１１に記憶させる。

次に制御部１１０はＲＡＭ１１１に記憶させたサーチエリア画像から、先ほどと任意の画素数（例えば１画素）だけずらしてテンプレート画像と同じ大きさの画像を切り出す。制御部１１０は、最初に送られたテンプレート画像と、新たに切り出されたサーチエリア画像との類似度判定を行い、得られた類似度判定値をＲＡＭ１１１に記憶させる。このように制御部１１０はサーチエリア画像を任意の画素数ずつずらしながら（スキャンしながら）、パターンマッチングによる類似度判定を行ない、そのつど類似度判定値をＲＡＭ１１１に記憶する。

そしてサーチエリア画像の全ての位置においてテンプレート画像との類似度判定が完了したら、ＲＡＭ１１１に記憶されている最も高い類似度判定値に対応する座標値が、サーチエリア内における、移動後の指示要求領域の座標と判定できる。

ここで、得られた最も高い類似度判定値が、予め決められた所定値を下回った場合、指示要求領域の移動先が見つからなかったと判定する。なお、指示要求領域の移動先が見つからないことを判定する方法は他の方法を用いてもよく、例えば、所定の値を越える類似度判定値を複数検出し、その座標値の位置が撮像画像内で分散していた場合に、指示要求領域の移動先が見つからなかったと判定してもよい。

撮像画像における指示要求領域の移動先の別の検出方法として、投写光学系１８１のズームエンコーダの出力値から算出する方法を用いてもよい。

投写画像のずれの様子の例を示す図１４を用いて説明する。制御部１１０は、キャリブレーション完了時のズームエンコーダ出力値をＲＡＭ１１１に記憶しておき、それを読み出して、キャリブレーション完了時（移動前）のズーム率ａを求める。図１４の例では、破線の矩形で移動前の投写画像の様子を示す。また、制御部１１０は、ズームエンコーダが出力するズームエンコーダ値を、投写光学制御部１８２を通じて読み出し、投写光学系１８１のズーム光学系のズーム率ｂを算出する。図１４の例では、実線の矩形に移動後の投写画像の様子を示す。ここで、ズーム光学系の光軸、すなわちズーム時の中心を投写画像の下辺の中心とする。そうすると、移動後のマーカー（指示要求領域）は、移動前のマーカー（指示要求領域）と光軸との間の線分の上に存在することになる。特に、移動前のマーカーと光軸との距離をｄとすると、移動後のマーカーと光軸との距離はｄ’＝ｄ（ｂ／ａ）で求められる。このようにして、移動後の指示要求領域の位置を求めることができる。

撮像画像における指示要求領域の移動先の別の検出方法として、投写光学系１８１のシフトエンコーダの値から算出する方法を用いてもよい。

制御部１１０は、シフトエンコーダが出力するシフトエンコーダ値を、投写光学制御部１８２を通じて読み出す。制御部１１０は、これらの値に基づき、投写光学系１８１から投写される投写位置を算出することができる。即ち、シフトエンコーダ値が変化した場合には、シフトエンコーダ値による横方向と縦方向の移動量から、撮像画像中の画素単位の移動量に変換する。この移動量が、指示要求領域の移動量に相当するので、指示要求領域の移動先を算出することができる。

撮像画像における指示要求領域の移動先の別の検出方法として、テストパターンを投写して、撮像部１９０が撮像した画像から検出した投写画像の画角と位置から検知する方法もある。

これは使用環境での指示機能のキャリブレーションの説明で述べた動作を、ここで再度行うことである。このように移動先の指示要求領域の位置の検知を行う。

なお、本発明は、以上に述べた方法だけに限定されず、以上に述べた方法を２つ以上組み合わせた方法を用いてもよい。

なお、本発明は、以上に述べた方法だけに限定されず、移動後の指示要求領域の位置を算出できる方法であれば、どのような方法も用いてもよい。

Ｓ５０５では、Ｓ５０４において指示要求領域の移動先の位置を検出できたか判定する。指示要求領域の移動先を検出できたときはＳ５０６に進む。指示要求領域の移動先を検出できないときはＳ５１３に進む。ここで、指示要求領域の移動先を検出できないということは、例えば、撮像部１９０の前に、それを遮るように障害物等が現れた等の事態の発生による。このときは、Ｓ５１３に遷移し、フローを中止するか、若しくはフローをやり直すようにする。

Ｓ５０６では、Ｓ５０４で検出した、撮像画像における指示要求領域の移動先の位置に、撮像画像における指示検出領域の位置を変更する。

なお、指示検出領域を、移動した指示要求領域の位置に合わせるときには、事前に操作者に対して指示検出領域の移動を行なう旨の通知を行なってもよい。図１５（ａ）に、制御部１１０がＯＳＤ部１４１に指示を行ない、投写画像に通知画像１５０１を重畳させた例を示す。制御部１１０は、所定時間後（例えば５秒後）に通知画像１５０１の重畳を終了させる。なお、このとき、指示検出領域の移動に応じる（ＯＫ）か、否（Ｃａｎｃｅｌ）かを操作者に選択させてもよい。操作者が移動に応じない場合は、移動の処理を実施せずにＳ５０３、或いは、Ｓ５１３に遷移してもよい。

なお、指示検出領域の移動後に、操作者に対し、移動した旨の通知を行なってもよい。図１５（ｂ）に、制御部１１０がＯＳＤ部１４１に指示を行ない、投写画像に通知画像１５０２を重畳させた例を示す。制御部１１０は、所定時間後（例えば５秒後）に通知画像１５０２の重畳を終了させる。

なお、Ｓ５０６を変形し、指示検出領域の位置の移動を行なう代わりに、指示検出の機能を停止させるようにしてもよい。即ち、制御部１１０は指示認識部１９２に対して動作を停止させる命令を送り、本フローを終了させてもよい。このとき制御部１１０は、図１５（ｄ）で示したような通知画像１５０４を投写画像に重畳させてもよい。制御部１１０は、所定時間後（例えば５秒後）に通知画像１５０４の重畳を終了させる。このような通知を行なえば、操作者は明示的に指示機能やプロジェクタ１０２の再起動を行なうことができるため、指示入力が困難になる状況を回避することができる。

なお、Ｓ５０４で撮像画像から検出した指示要求領域の座標の移動量が操作者による操作の妨げにはならない程度に小さいと制御部１１０が判定するときには、指示検出領域を移動しなくとも良い。この判定は、例えば、予め移動量に対する閾値をＲＯＭ１１２に格納しておき、制御部１１０がそれを読み出し、Ｓ５０４で検出した移動量が当該閾値を下回るかどうかで判定してもよい。或いは、操作者が、操作部１１３を介して、当該閾値を入力するようにしてもよい。

なお、Ｓ５０４でズームエンコーダ値とシフトエンコーダ値から検出した指示要求領域の座標の移動量が操作者による操作の妨げにはならない程度に小さいと制御部１１０が判定するときには、指示検出領域を移動しなくとも良い。この判定は、例えば、予め移動量に対する閾値をＲＯＭ１１２に格納しておき、制御部１１０がそれを読み出し、Ｓ５０４で検出した移動量が当該閾値を下回るかどうかで判定してもよい。或いは、操作者が、操作部１１３を介して、当該閾値を入力するようにしてもよい。

この後、Ｓ５０３に戻る。

Ｓ５０９からのフローを説明する。Ｓ５０３において指示要求領域と指示検出領域のずれが無い場合に、Ｓ５０９に進む。操作者はスクリーン１０５に投写された投写画像において、指示要求領域を示すマーカーに手をかざすことにより指示を与える。それに対して、Ｓ５０９では、制御部１１０は、撮像画像における指示検出領域で指示を検出するかどうか判断する。この指示の検出方法は複数あるため、夫々説明する。

操作者による手かざしを検出するための一つ目の方法は、投写するための画像のデータと、撮像画像のデータを比較する方法である。即ち、制御部１１０は、指示認識部１９２に、投写する画像の指示要求領域と、撮像した画像の指示検出領域の画像を比較するように指示を出す。

指示を受けた指示認識部１９２は、例えば、投写する画像の指示要求領域の全ての画素の総和値と、撮像した画像の指示検出領域の全ての画素の総和値とを比較する。キャリブレーションの項で述べたように、撮像画像における画素値は光源１６０や投写光学系１８１やスクリーン１０５の反射率や撮像部１９０の露出制御やスクリーン１０５の設置環境の明るさなどによる伝達関数の影響を受けている。そのため、キャリブレーション時に取得しＲＡＭ１１１に記憶した伝達関数補正値を使う。

すなわち指示認識部１９２において、以下の式を用いて指示認識値を算出する。
指示認識値 ＝ （指示要求領域の画素の総和値）−（指示検出領域の画素の総和値）＋（キャリブレーション時に取得した伝達関数補正値） ……（式１）

操作者の手かざしが無い場合には、投写する画像の指示要求領域のマーカーは、（伝達関数の影響を受けつつ）そのまま撮像画像の指示検出領域に現れるため、指示認識値は略０となる。しかし操作者の手がスクリーン１０５の投写面におけるマーカーを手かざしにより遮ると、操作者の手は一般的にはスクリーン１０５より反射率が低いために、式１の第２項の値が小さくなることで、前記指示認識値は０よりも大きい値となる。或いは、手かざしによりスクリーン１０５上の指示検出領域に相当する領域に影が生じることでも、同様に式１の第２項の値が小さくなり、前記指示認識値は０より大きい値となる。これにより指示認識部１９２は操作者による手かざし、すなわち指示を認識することができる。

なお、本発明において、指示認識値を異なる計算方法に限定されず、他の計算方法を用いてもよい。例えば、指示要求領域の画素数と、指示検出領域の画素数とを合わせるように、何れかを拡大、或いは、縮小したうえで、伝達関数を補正した上で、画素毎に差分を取る。この差分の二乗の総和を指示認識値としてもよい。この場合であっても、同様に手かざしの有無によって値に差が生じるので、手かざしを認識することができる。

操作者による手かざしを検出するための二つ目の方法は、過去の撮像画像のデータと、現在の撮像画像のデータを比較する方法である。

例えば、制御部１１０は、予め図５のフローと独立に、定期的にスクリーン１０５を撮像するように、撮像部１９０に指示を出すようにしておく。撮像画像は、ＲＡＭ１１１に記憶させておく。Ｓ５０９では、制御部１１０は、指示認識部１９２に対して、過去の撮像画像と現在の（最新の）撮像画像とを比較するように指示を出す。

指示を受けた指示認識部１９２は、過去の数枚分の撮像画像の指示検出領域の画素の総和の移動平均を求める。更に、現在の撮像画像の指示検出領域の画素の総和を求める。これらの値を比較し、差分が所定値以下であれば手かざしがなく、そうでなければ手かざしがあると判定できる。図９は過去３枚の撮像画像の移動平均と現在の撮像画像との比較について表した図である。

ここでｎ＋３枚目の撮像画像が得られた直後のとき、ｎ枚目とｎ＋１枚目とｎ＋２枚目の撮像画像の指示検出領域の平均値を算出し、この過去３枚の平均値と、ｎ＋３枚目の撮像画像の指示検出領域の画素値を比較する。

ｎ＋４枚目の撮像画像が得られた直後のときには、ｎ＋１枚目とｎ＋２枚目とｎ＋３枚目の平均値を算出し、この過去３枚の平均の指示検出領域の画素値と、ｎ＋４枚目の指示検出領域の画素値を比較する。

ｎ＋５枚目の撮像画像が得られた直後のときには、ｎ＋２枚目とｎ＋３枚目とｎ＋４枚目の平均値を算出し、この過去３枚の平均の指示検出領域の画素値と、ｎ＋５枚目の指示検出領域の画素値を比較する。

なお、移動平均ではなく単純に過去の画素値と現在の画素値の比較でも良い。

なお、撮像画像の指示検出領域の画素の総和を比較する方法を説明したが、本発明はそれに限定されない。他の方法を用いてもよく、例えば、同じ座標の画素同士を比較し、それらの差分の二乗の総和を取る方法でもよい。その総和が所定値以下であれば手かざしがなく、そうでなければ手かざしがあると、同様に判定できる。

このように過去の画像と最新の画像との比較により手かざしを検出することにより、次のような副次的な効果が得られる。即ち、本画像表示システム１００の使用環境において、例えば照明の入り切りや窓からの外光の変化のような比較的長時間に渡る変化の影響を受けなる。そして操作者の手かざしによる指示のような比較的短時間の変化だけ検出できるようになる。

このようにして操作者による指示を検出したときにはＳ５１０に進む。指示を検出できなかったときにはＳ５１３へ進む。

Ｓ５１０では、制御部１１０は指示認識部１９２において指示を検出した指示検出領域が一つか、それとも複数かを判断する。操作者は手かざしによる指示は一つしか行わない。そのため複数の指示検出領域で指示を検出した場合には、操作者による手かざしではなく、例えばスクリーン１０５の投写面の前を人が横切ったなどの要因が考えられるため、複数の指示検出領域で指示を検出した場合には無視をする。

一つの指示検出領域でのみ指示を検出したときはＳ５１１に進む。複数の指示検出領域で指示を検出したときはＳ５１３に進む。

Ｓ５１１では、制御部１１０は指示認識部１９２で指示を認識した指示検出領域を判別し、その指示検出領域に紐づけられたキー操作命令を認識する。この紐付けは、前述した初期設定における指示機能の設定時に、操作者により為されている。或いは、この紐付け情報をあらかじめＲＡＭ１１１もしくはＲＯＭ１１２に記憶しておいてもよい。

そしてＳ５１２に進む。

Ｓ５１２では、制御部１１０はＳ５１１で認識したキー操作命令を通信部１１４から送出する。本実施形態では通信部１１４はＵＳＢポートであり、ＵＳＢケーブル１０４を通じてコンピュータ１０１に送出される。コンピュータ１０１では受信したキー操作命令に従って、アプリケーションソフトなどの操作を行う。例えばプレゼンテーションソフトのページ送りやページ戻しなどである。

そしてＳ５１３へ進む。

Ｓ５１３では、これらの処理を終了する。なお、操作者からの中断指示がない限りは、Ｓ５０１からの制御を繰り返してもよい。

このようにして、操作者の手かざしでの指示機能の設定後にプロジェクタの設定や投写部の投写条件が変わり、指示要求領域と指示検出領域とがずれてしまっても、操作者には理解できないまま操作者の指示の検出ミスを起こすことを低減できるという効果が得られる。

＜第２実施例＞
第１実施例を変形した構成においても、本発明を適用可能である。実施例１との差分を説明する。

第１実施例で図５を用いて説明した動作フローを、図１１のように変形する。以下、共通点の説明を省きながら、変形点を中心に説明する。

Ｓ１１０１からＳ１１０３については、実施例１におけるＳ５０１からＳ５０３と同じである。

Ｓ１１０４では、制御部１１０は、Ｓ１１０３において検知された指示要求領域と指示検知領域のずれに対応した、操作者への通知を行なう。即ち、操作者に対して、指示検出が困難になったことを通知するようにする。図１５（ｃ）に、制御部１１０がＯＳＤ部１４１に指示を行ない、投写画像に通知画像１５０３を重畳させた例を示す。制御部１１０は、所定時間後（例えば５秒後）に通知画像１５０３の重畳を終了させる。このような通知を行なうことにより、操作者から見て、指示の入力ができなくなったり、入力の精度が落ちてしまったり、といった現象が発生しても、その原因が理解できなくなる状況を防ぐことができる。

なお、ここで指示検出の機能を停止させるようにしてもよい。即ち、制御部１１０は指示認識部１９２に対して動作を停止させる命令を送り、本フローを終了させてもよい。このとき制御部１１０は、図１５（ｄ）で示したような通知画像１５０４を投写画像に重畳させてもよい。制御部１１０は、所定時間後（例えば５秒後）に通知画像１５０４の重畳を終了させる。このような通知を行なえば、操作者は明示的に指示機能やプロジェクタ１０２の再起動を行なうことができるため、指示入力が困難になる状況を回避することができる。

なお、本発明は、これらの通知の例に限定されない。異なる通知方法をとってもよい。例えば、異なる画像を提示してもよいし、外部から入力した画像信号の上への重畳表示でなくてもよい。もしくは、制御部１１０は、図２のプロジェクタ１０２の構成には不図示の発音素子で操作者に対して警告音を発生させても良い。

そしてＳ１１０９に進む。

Ｓ１１０５からＳ１１０９は、実施例１におけるＳ５０９からＳ５１３と同じであるため省略する。

このようにして、操作者の手かざしでの指示機能の設定後にプロジェクタの設定や投写部の投射条件が変わり、指示要求領域と指示検出領域とがずれてしまっても、操作者には理解できないまま操作者の指示の検出ミスを起こすことを低減できるという効果が得られる。

［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行なう。

１０２ プロジェクタ
１１０ 制御部
１１４ 通信部
１２０ 画像入力部
１４０ 画像処理部
１４１ ＯＳＤ部
１４５ 傾きセンサ部
１８１ 投写光学系
１８２ 投写光学系制御部
１９０ 撮像部
１９２ 指示認識部

本発明の投写装置は、入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、前記投写部により投写されている前記表示アイテム含む範囲をセンシングするセンサと、前記センサにより、投写されている前記表示アイテムを含む範囲での指示が検知されたことに応じて、前記投写画像に関する操作の実行を制御する制御部と、を備え、前記制御部は、前記表示アイテム含む前記投写画像を投写中に、前記投写部の光学系の変化が生じた場合には、前記センサによるセンシングの処理を変更するように制御することを特徴とする。

Claims (22)

1. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
   前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサと、
   前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御する制御部と、を備え、
   前記制御部は、前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングの処理を変更するように制御することを特徴とする投写装置。
2. さらに、前記制御部は、投写条件の変化があった場合に、前記センシングの処理を停止することを特徴とする請求項１に記載の投写装置。
3. さらに、前記制御部は、投写条件の変化があった場合に、前記センシングの処理を停止することを通知する画像を前記投写部により投写させることを特徴とする請求項２に記載の投写装置。
4. さらに、前記制御部は、投写条件の変化があった場合に、前記センシングにおいて前記所定の操作を検知すべき位置の変更を行なうことを特徴とする請求項１に記載の投写装置。
5. さらに、前記制御部は、投写条件の変化があった場合に、前記センシングにおいて前記所定の操作を検知すべき位置の変更を行なうことを通知する画像を前記投写部により投写させることを特徴とする請求項４に記載の投写装置。
6. 前記投写条件の変化は、前記投写部のズーム光学系、またはシフト光学系の変化であることを特徴とする請求項１ないし５のいずれか１項に記載の投写装置。
7. さらに、前記投写部のズーム光学系、またはシフト光学系の変化を検出する検出部を有することを特徴とする請求項１ないし６のいずれか１項に記載の投写装置。
8. 前記検出部は、前記投写部のズーム光学系、またはシフト光学系における位置エンコーダの出力値に基づき検出することを特徴とする請求項７に記載の投写装置。
9. さらに、入力された前記画像情報に対して、パラメータに基づく画像処理を行ない、画像処理された画像情報を前記投写部に出力する画像処理部を有し、
   前記制御部は、前記パラメータの変化に基づき前記センサによるセンシングの処理を変更するように制御することを特徴とする請求項１ないし８記載の投写装置。
10. 前記パラメータとは、
    前記画像情報に対する台形歪補正処理の調整値、
    前記画像情報に対する幾何学歪補正処理の調整値、
    前記画像情報に対する拡大処理の調整値、
    前記画像情報に対する縮小処理の調整値、
    前記投射画像の位置の調整値、
    の少なくとも何れか一つであることを特徴とする請求項９に記載の投写装置。
11. 前記センサは、前記投写部により投写されている前記投写画像を含む範囲を撮像して撮像画像を得る撮像センサであり
    前記制御部は、前記投写画像と前記撮像画像とを比較して、前記投写画像における前記表示アイテムに対応する表示位置と、前記撮像画像における前記表示アイテムに対応する位置との差がある場合に前記操作がなされたと判定することを特徴とする請求項１ないし１０のいずれか１項に記載の投写装置。
12. 前記センサは、前記投写部により投写されている前記投写画像を含む範囲を撮像して撮像画像を得る撮像センサであり
    前記制御部は、前記撮像画像における前記表示アイテムに対応する位置との差がある場合に前記操作がなされたと判定することを特徴とする請求項１ないし１０のいずれか１項に記載の投写装置。
13. 前記投写条件の変化は、前記投写装置の筐体の姿勢または投写方向の変化であることを特徴とする請求項１ないし１２のいずれか１項に記載の投写装置。
14. 画像供給装置と通信する通信手段を有し、
    前記制御部は前記操作に関する情報を前記通信手段により前記画像供給装置に送信することを特徴とする請求項１ないし１３のいずれか１項に記載の投写装置。
15. 前記操作は、画像情報の切り替え指示であることを特徴とする請求項１ないし１４のいずれか１項に記載の投写装置。
16. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
    前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサと、
    前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御する制御部と、を備え、
    前記制御部は、前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングに関する警告を行うように制御することを特徴とする投写装置。
17. 前記制御部は、投写条件の変化が生じた場合に警告音を発することを特徴とする請求項１６に記載の投写装置。
18. 前記制御部は、投写条件の変化が生じた場合に前記投写部に通知画像を表示させることを特徴とする請求項１６記載の投写装置。
19. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
    前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサとを有する投写装置の制御方法であって、
    前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御するステップと、
    前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングの処理を変更するステップとを有することを特徴とする投写装置の制御方法。
20. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
    前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサとを有する投写装置の制御方法であって、
    前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御するステップと、
    前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングに関する警告を行うステップとを有することを特徴とする投写装置の制御方法。
21. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
    前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサとを有する投写装置のプロセッサが読み込み実行することで、以下の制御方法を実行するプログラムであって、
    前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御するステップと、
    前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングの処理を変更するステップとを実行するプログラム。
22. 入力された画像情報と所定の表示アイテムとを含む投写画像を投影する投写部と、
    前記投写部により投写されている前記投写画像を含む範囲をセンシングするセンサとを有する投写装置のプロセッサが読み込み実行することで、以下の制御方法を実行するプログラムであって、
    前記センサにより、投写されている前記表示アイテムに対応する表示位置への所定の操作が検知されたことに応じて、前記投写画像に関する操作の実行を制御するステップと、
    前記投写画像を投写中に前記投写部の投写条件の変更が発生した場合には、前記センサによるセンシングに関する警告を行うステップとを実行するプログラム。

Images