JP2012173447A - インタラクティブシステム、位置情報変換方法、およびプロジェクター - Google Patents

Abstract

【課題】キャリブレーションの実施を低減するインタラクティブシステムを提供する。
【解決手段】インタラクティブシステム１は、プロジェクター１００と、ＰＣ２００と、所定の操作に基づき光信号を発信する発光ペン３００とを備え、プロジェクター１００は、画像信号の解像度を判別する解像度判別部３１ａと、位置情報変換装置５０とを有し、位置情報変換装置５０は、撮像部５１と、撮像した投写画像内の所定の場所を、画像信号に基づく画像内の所定の場所に対応付けるように算出した位置変換情報を解像度毎に記憶する位置変換情報記憶部５３と、投写画像内に光信号の成す像を検出した場合、所定の操作がなされた位置を表す位置情報を、画像信号に基づく画像上の位置に変換する変換制御部５２と、位置情報を出力する変換位置情報出力部（通信部５４）とを有し、ＰＣ２００は、位置情報に基づき、画像信号が表す画像に含まれるオブジェクトを操作する。
【選択図】図１

Description

本発明は、インタラクティブシステム、位置情報変換方法、およびプロジェクターに関する。

近年、コンピューターから出力される画像信号に基づく画像を、プロジェクターによってホワイトボード等に投写するとともに、投写された画像（投写画像）を撮像装置（カメラ）で撮像して、投写画像に対して行ったユーザーの操作をコンピューターで認識するシステムが提案されている（例えば、特許文献１参照）。このようなシステムでは、例えば、ペン先から赤外光を発する発光ペンやレーザーポインター等を用いてユーザーが投写画像の任意の位置をポイント（指示）すると、撮像装置によって撮像された画像（撮像画像）に基づいて、ポイントされた位置が検出される。そして、コンピューターが、検出された位置にカーソルやポインターを移動させたり、その位置でクリックがなされたものとみなしたりすることにより、ユーザーは、投写画像に対してタッチパネルのような操作感覚で操作を行うことが可能となる。

特開２００５−３５３０７１号公報

上記のようなシステムで正確な操作を実現するためには、プロジェクター及び撮像装置を設置した後に、投写画像内における所定の場所を、画像信号に基づく画像内における所定の場所に対応付けるための手続き（キャリブレーション）を実施する必要がある。例えば、撮像装置で投写画像を撮像しつつ投写画像内の所定の位置をユーザーにポイントさせてキャリブレーションを実施する態様が知られている。

このようなシステムにおいて、ユーザーが使用するコンピューターを変更する場合がある。このとき、コンピューターから出力する画像の解像度が変更になると、ホワイトボードに投写される画像の領域が変わってしまうため、投写画像と画像信号に基づく画像との位置の対応がずれてしまい、正確な操作を実現することができなくなる。このため、ユーザーは、キャリブレーションを再度実施しなければならなかった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例に係るインタラクティブシステムは、プロジェクターと、前記プロジェクターに画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備えたインタラクティブシステムであって、前記プロジェクターは、前記画像信号が入力される画像信号入力部と、光源と、前記光源から射出された光を前記画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別部と、前記画像信号に基づき、前記所定の操作がなされた位置情報の変換を行う位置情報変換装置と、を有し、前記位置情報変換装置は、前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像部と、前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御部と、前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶部と、前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、前記位置変換情報記憶部に記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御部と、前記変換制御部によって変換が行われた前記位置情報を出力する変換位置情報出力部と、を有し、前記コンピューターは、前記変換位置情報出力部が出力した前記位置情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作部を有することを特徴とする。

このようなインタラクティブシステムによれば、プロジェクターとコンピューターと発信器とを備えている。プロジェクターは、画像信号入力部と、画像投写部と、解像度判別部と、位置情報変換装置を有している。プロジェクターは、コンピューターから入力された画像信号に基づいて投写面に投写画像を投写する。このとき、プロジェクターは、画像信号の解像度を判別する。位置情報変換装置は、撮像部と、キャリブレーション制御部と、位置変換情報記憶部と、変換制御部と、変換位置情報出力部とを有している。撮像部は、投写画像を含む範囲を撮像して撮像画像データを出力する。位置情報変換装置は、キャリブレーションを実施した際に、投写画像内における所定の場所を画像信号に基づく画像内における所定の場所に対応付ける位置変換情報を、解像度毎に位置変換情報記憶部に記憶する。変換制御部は、撮像画像データに含まれる投写画像内に、光信号の成す像を検出した場合は所定の操作がなされたと判定し、所定の操作がなされた位置を表す位置情報を、位置変換情報を用いて画像信号に基づく画像上の位置に変換して出力する。変換位置情報出力部は、変換が行われた位置情報を出力する。コンピューターは、変換位置情報出力部が出力した位置情報に基づき、画像信号が表す画像に含まれるオブジェクトを操作する。これにより、位置情報変換装置の位置変換情報記憶部に解像度毎の位置変換情報を記憶しているため、インタラクティブシステムでは、コンピューターが変更された場合に、位置変換情報記憶部に同一の解像度に対応した位置変換情報が記憶されていれば、当該位置変換情報を用いて位置情報を変換することができる。よって、キャリブレーションを再度実施する必要がないため、利便性が向上する。

［適用例２］上記適用例に係るインタラクティブシステムにおいて、前記変換制御部は、前記解像度情報に基づいた解像度に対応する前記位置変換情報が、前記位置変換情報記憶部に記憶されていない場合には、前記キャリブレーションの実施を促す通知を前記変換位置情報出力部に出力させることを特徴とする。

このようなインタラクティブシステムによれば、変換制御部は、解像度情報に基づいた解像度に対応する位置変換情報が位置変換情報記憶部に記憶されていない場合には、キャリブレーションの実施を促す通知を変換位置情報出力部に出力させる。これにより、コンピューターは、キャリブレーションを実施する必要があることを認識することができる。そして、ユーザーに報知することが可能となるため、利便性が向上する。

［適用例３］上記適用例に係るインタラクティブシステムにおいて、前記位置変換情報は、前記投写画像内の画素位置の情報を前記画像信号に基づく画像内の画素位置の情報に変換するための変換式であることを特徴とする。

このようなインタラクティブシステムによれば、位置変換情報は変換式である。これにより、位置変換処理を簡易にすることができる。

［適用例４］本適用例に係る位置情報変換方法は、インタラクティブシステムにおける位置情報変換方法であって、画像信号の入力を受付ける画像信号入力ステップと、前記画像信号に基づく画像を、投写画像として投写面に投写する画像投写ステップと、前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別ステップと、前記画像信号に基づき、所定の操作がなされた位置情報の変換を行う位置情報変換ステップと、を有し、前記位置情報変換ステップは、前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像ステップと、前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御ステップと、前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶ステップと、前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御ステップと、前記変換制御ステップによって変換が行われた前記位置情報を出力する変換位置情報出力ステップと、を有することを特徴とする。

このような位置情報変換方法によれば、コンピューターが変更された場合に、位置変換情報記憶ステップによって同一の解像度に対応した位置変換情報が記憶されていれば、当該位置変換情報を用いて位置情報を変換することができる。よって、キャリブレーションを再度実施する必要がないため、利便性が向上する。

［適用例５］上記適用例に係る位置情報変換方法において、前記解像度情報に基づいた解像度に対応する前記位置変換情報が、前記位置変換情報記憶部に記憶されていない場合に、キャリブレーションの実施を促す通知を出力するキャリブレーション要求通知ステップをさらに有することを特徴とする。

このような位置情報変換方法によれば、解像度情報に基づいた解像度に対応する位置変換情報が位置変換情報記憶部に記憶されていない場合には、キャリブレーションの実施を促す通知を出力する。これにより、コンピューターは、キャリブレーションを実施する必要があることを認識することができる。そして、ユーザーに報知することが可能となるため、利便性が向上する。

［適用例６］上記適用例に係る位置情報変換方法において、前記位置変換情報は、前記投写画像内の画素位置の情報を前記画像信号に基づく画像内の画素位置の情報に変換するための変換式であることを特徴とする位置情報変換方法。

このような位置情報変換方法によれば、位置変換情報は変換式である。これにより、位置変換処理を簡易にすることができる。

［適用例７］本適用例に係るプロジェクターは、画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器とともにインタラクティブシステムを構成するプロジェクターであって、前記画像信号が入力される画像信号入力部と、光源と、前記光源から射出された光を前記画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別部と、前記画像信号に基づき、前記所定の操作がなされた位置情報の変換を行う位置情報変換装置と、を有し、前記位置情報変換装置は、前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像部と、前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御部と、前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶部と、前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、前記位置変換情報記憶部に記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御部と、前記変換制御部によって変換が行われた前記位置情報を出力する変換位置情報出力部と、を備えることを特徴とする。

このようなプロジェクターによれば、入力されている画像信号の解像度が変更された場合に、位置変換情報記憶部に同一の解像度に対応した位置変換情報が記憶されていれば、当該位置変換情報を用いて位置情報の変換を行うことができる。

また、上述したインタラクティブシステム、位置検出変換方法、およびプロジェクターが、位置情報変換装置、プロジェクターに備えられたコンピューターを用いて構築されている場合には、上記形態および上記適用例は、その機能を実現するためのプログラム、あるいは当該プログラムを前記コンピューターで読み取り可能に記録した記録媒体等の態様で構成することも可能である。記録媒体としては、フレキシブルディスクやＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、光磁気ディスク、不揮発性メモリーカード、位置情報変換装置やプロジェクターの内部記憶装置（ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の半導体メモリー）、及び外部記憶装置（ＵＳＢメモリー等）等、前記コンピューターが読み取り可能な種々の媒体を利用することができる。

実施形態に係るインタラクティブシステムの構成を示すブロック図。 位置変換情報記憶部の説明図。 キャリブレーションの際におけるＰＣとプロジェクターとのシーケンス図。 キャリブレーションの際の画像の説明図であり、（ａ）は、１つ目のキャリブレーションポイントの投写画像の説明図、（ｂ）は、１つ目のキャリブレーション時の撮像画像の説明図。 キャリブレーションの際の画像の説明図であり、（ａ）は、９つ目のキャリブレーションポイントの投写画像の説明図、（ｂ）は、９つ目のキャリブレーション時の撮像画像の説明図。 インタラクティブシステムが起動された際に、プロジェクターが行う処理のフローチャート。 インタラクティブシステムが位置変換処理を実行しているときのシーケンス図。

以下、実施形態について説明する。

本実施形態では、投写画像を撮像し、撮像画像に基づいて、投写画像内における所定の操作がなされた位置を検出するインタラクティブシステムについて説明する。

図１は、本実施形態に係るインタラクティブシステムの構成を示すブロック図である。
図１に示すように、インタラクティブシステム１は、プロジェクター１００と、パーソナルコンピューター（ＰＣ）２００と、光信号を発信する発信器としての発光ペン３００と、ホワイトボード等の投写面Ｓとを備えて構成されている。

プロジェクター１００は、画像投写部１０、制御部２０、操作受付部２１、光源制御部２２、画像信号入力部３１、画像処理部３２、位置情報変換装置５０等を備えて構成されている。

画像投写部１０は、光源１１、光変調装置としての３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ、投写光学系としての投写レンズ１３、ライトバルブ駆動部１４等を含んでいる。画像投写部１０は、光源１１から射出された光を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂで変調して画像光を形成し、この画像光を投写レンズ１３から投写して投写面Ｓ等に表示する。

光源１１は、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプ１１ａと、光源ランプ１１ａが放射した光を液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ側に反射するリフレクター１１ｂとを含んで構成されている。光源１１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３色である赤色Ｒ、緑色Ｇ、青色Ｂの各色光成分に分離された後、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。

液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂには、マトリクス状に配列された複数の画素（図示せず）が形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。ライトバルブ駆動部１４が、入力される画像情報に応じた駆動電圧を各画素に印加すると、各画素は、画像情報に応じた光透過率に設定される。このため、光源１１から射出された光は、この液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを透過することによって変調され、画像情報に応じた画像が色光毎に形成される。形成された各色の画像は、図示しない色合成光学系によって画素毎に合成されてカラー画像となった後、投写レンズ１３から投写される。

制御部２０は、ＣＰＵ（Central Processing Unit）、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＦｅＲＡＭ（Ferroelectric RAM：強誘電体メモリー）等の不揮発性のメモリー等（いずれも図示せず）を備え、コンピューターとして機能するものである。制御部２０は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、プロジェクター１００の動作を統括制御する。

また、制御部２０は、後述する画像信号入力部３１に備わる解像度判別部３１ａによって判別された画像信号の解像度情報を入力し、位置情報変換装置５０に当該解像度情報を通知する。

操作受付部２１は、ユーザーからの入力操作を受け付けるものであり、ユーザーがプロジェクター１００に対して各種指示を行うための複数の操作キーを備えている。操作受付部２１が備える操作キーとしては、電源のオン・オフを切り替えるための電源キー、各種設定を行うためのメニュー画面の表示・非表示を切り替えるメニューキー、メニュー画面におけるカーソルの移動等に用いられるカーソルキー、各種設定を決定するための決定キー等がある。ユーザーが操作受付部２１の各種操作キーを操作（押下）すると、操作受付部２１は、この入力操作を受け付けて、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。なお、操作受付部２１として、遠隔操作が可能なリモコン（図示せず）を用いた構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線等の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部２０に伝達する。

光源制御部２２は、電源回路（図示せず）で生成された直流電流を交流矩形波電流に変換するインバーター（図示せず）や、光源ランプ１１ａの電極間の絶縁破壊を行って、光源ランプ１１ａの始動を促すためのイグナイター（図示せず）等を備えており、制御部２０の指示に基づいて光源１１の点灯を制御する。具体的には、光源制御部２２は、光源１１を始動させて所定の電力を供給することにより光源１１を点灯させるとともに、電力の供給を停止して光源１１を消灯させることができる。また、光源制御部２２は、制御部２０の指示に基づいて光源１１に供給する電力を制御することにより、光源１１の輝度（明るさ）を調整することが可能である。

画像信号入力部３１には、ＰＣ２００とケーブルＣ１を介した接続を行うための入力端子（図示せず）が備えられており、ＰＣ２００から画像信号が入力される。画像信号入力部３１は、入力される画像信号を、画像処理部３２で処理可能な形式の画像情報に変換して、画像処理部３２に出力する。また、画像信号入力部３１は、画像信号が入力されているか否かを制御部２０に通知する。さらに、画像信号入力部３１には、解像度判別部３１ａが備えられている。解像度判別部３１ａは、画像信号入力部３１に入力された画像信号の解像度を判別して、解像度の情報（解像度情報）として制御部２０に通知する。

画像処理部３２は、画像信号入力部３１から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素の階調を表す画像データに変換する。ここで、変換された画像データは、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素に対応する複数の画素値によって構成されている。画素値とは、対応する画素の光透過率を定めるものであり、この画素値によって、各画素から射出する光の強弱（階調）が規定される。また、画像処理部３２は、制御部２０の指示に基づき、変換した画像データに対して、明るさ、コントラスト、シャープネス、色合い等を調整するための画質調整処理等を行い、処理後の画像データをライトバルブ駆動部１４に出力する。

ライトバルブ駆動部１４が、画像処理部３２から入力される画像データに従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動すると、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、画像データに応じた画像を形成し、この画像が投写レンズ１３から投写される。

位置情報変換装置５０は、撮像部５１、変換制御部５２、位置変換情報記憶部５３、変換位置情報出力部としての通信部５４、解像度入力部５５等を含んで構成されている。

撮像部５１は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ（図示せず）を備えている。撮像部５１は、プロジェクター１００の投写レンズ１３の近傍に配置され、投写面Ｓに投写された画像（以降、「投写画像」とも呼ぶ。）を含む範囲を所定のフレームレートで撮像する。そして、撮像部５１は、撮像した画像（以降、「撮像画像」とも呼ぶ。）を表す画像情報を順次生成し、変換制御部５２に出力する。

変換制御部５２は、ＣＰＵ、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＦｅＲＡＭ等の不揮発性のメモリー等（いずれも図示せず）を備えている。変換制御部５２は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、位置情報変換装置５０の動作を制御する。

変換制御部５２は、撮像部５１から入力された撮像画像の画像情報を、位置変換情報記憶部５３に記憶された位置変換情報を用いて、位置情報の変換を行って通信部５４に出力する。具体的には、撮像画像の画像情報に基づいて、画像内で発光ペン３００が発光したか否かを判別する。そして、発光があった場合には、発光した位置、即ち撮像画像内において押圧操作がなされた位置情報（座標）を検出する。変換制御部５２は、発光した位置情報（座標）を検出すると、キャリブレーションによって決定された位置変換情報を用いて、撮像画像上の位置情報から画像信号に基づく画像上の位置情報への変換を行う。

また、変換制御部５２は、ＰＣ２００から通信部５４を介してキャリブレーションを行うための要求を受信すると、ＰＣ２００と通信を行いながら、投写画像と画像信号に基づく画像との間で位置の対応付けを行うためのキャリブレーションを実施する。

位置変換情報記憶部５３は、不揮発性のメモリーからなり、変換制御部５２が位置情報を変換するための位置変換情報を記憶する。位置変換情報は、キャリブレーションが実施された際に、変換制御部５２によって書き込まれる。

ここで、位置変換情報記憶部５３について説明する。
図２は、位置変換情報記憶部５３の説明図である。図２に示すように、位置変換情報記憶部５３は、解像度（ＸＧＡ，ＷＸＧＡ，ＷＸＧＡ＋，・・・）毎に、位置変換情報（位置変換情報１，位置変換情報２，位置変換情報３，・・・）が記憶される。本実施形態では、位置変換情報は、キャリブレーションを実施した際の投写位置と撮像位置との座標の変換情報を記憶する。ここで、座標の変換情報としては、座標変換のための変換式としてもよいし、座標情報そのものとしてもよい。

通信部５４は、所定の通信手段を用い、ケーブルＣ２を介して、ＰＣ２００との通信を行う。具体的には、変換制御部５２が変換した位置情報（座標情報）を送信したり、キャリブレーションのためのキャリブレーションポイント情報を受信したりする。通信部５４は、変換制御部５２の指示に基づいて通信を行い、受信した制御情報を変換制御部５２に伝達する。本実施形態では、通信部５４が用いる通信手段は、ＵＳＢ（Universal Serial Bus）を用いた通信手段とする。なお、通信部５４が用いる通信手段は、ＵＳＢに限定するものではなく、他の通信手段を用いてもよい。

解像度入力部５５は、画像信号入力部３１の解像度判別部３１ａによって判別された画像信号の解像度情報を制御部２０から入力し、変換制御部５２に伝達する。

発光ペン３００は、ペン状の本体の先端部（ペン先）に、押圧スイッチと、赤外光を発する発光ダイオードとを備えている。そして、ユーザーが発光ペン３００のペン先を投写面Ｓに押し付ける操作（押圧操作）を行って、押圧スイッチを押圧すると、発光ダイオードが発光するようになっている。

ＰＣ２００の記憶装置（図示せず）には、発光ペン３００をポインティングデバイスのように利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、ＰＣ２００は、プロジェクター１００の通信部５４から入力される位置情報（座標情報）に基づいて、投写画像内で発光ペン３００が発光した位置、即ち投写画像内において押圧操作がなされた位置を認識する。そして、画像に含まれるオブジェクトを操作する。このときのＰＣ２００のソフトウェア動作を行うＣＰＵ２１０がオブジェクト操作部に相当する。ＰＣ２００は、発光した位置を認識すると、この位置でポインティングデバイスによるクリック操作がなされた場合と同一の処理を行う。つまり、ユーザーは、投写画像内において発光ペン３００で押圧操作を行うことにより、ＰＣ２００に対して、ポインティングデバイスで行う指示と同一の指示を行うことができる。

ここで、キャリブレーションについて説明する。本実施形態におけるキャリブレーションでは、ＰＣ２００から９つのキャリブレーションポイントの投写画像を投写させる。ユーザーは、投写面Ｓ上のキャリブレーションポイントを発光ペン３００を用いて押圧操作する。プロジェクター１００は、撮像した撮像画像を解析して、発光ペン３００によって押圧操作された位置（座標）を検出して撮像画像によって表される投写画像内の位置情報と画像信号に基づく画像の位置情報との位置変換（座標変換）の対応付けを行う。

図３は、キャリブレーションの際におけるＰＣ２００とプロジェクター１００とのシーケンス図である。
図４は、キャリブレーションの際の画像の説明図であり、図４（ａ）は、１つ目のキャリブレーションポイントの投写画像の説明図であり、図４（ｂ）は、１つ目のキャリブレーション時の撮像画像の説明図である。

ユーザーがＰＣ２００の入力装置（図示せず）を用いてキャリブレーションの実行を指示すると、図３に示すように、ＰＣ２００は、プロジェクター１００に対してキャリブレーション要求を送信する（ステップＳ１０１）。プロジェクター１００の通信部５４を介して、変換制御部５２がキャリブレーション要求を受信すると、変換制御部５２は、キャリブレーションポイント画像の出力依頼をＰＣ２００に送信する（ステップＳ１０２）。ＰＣ２００は、キャリブレーションポイント画像出力依頼を受信すると、１つ目のキャリブレーションポイント画像を出力する（ステップＳ１０３）。ここで、画像の出力は、一点鎖線で表している。そして、ＰＣ２００は、１つ目のキャリブレーションポイント情報として１つ目のキャリブレーションポイントの座標情報、即ち画像信号に基づく画像上の座標情報（以降、「画像信号座標」ともいう）をプロジェクター１００に送信する（ステップＳ１０４）。

このとき、プロジェクター１００は、ＰＣ２００から出力された１つ目のキャリブレーションポイント画像の信号に基づいた画像を投写し、投写面Ｓには、図４（ａ）に示すような投写画像Ｇａ１が投写される。投写画像Ｇａ１では、１つ目のキャリブレーションポイントＰ１が円形で表示されている。ここで、図示するように、投写画像に向かって右方向を＋Ｘ方向、上方向を＋Ｙ方向とすると、１つ目のキャリブレーションポイントＰ１の座標情報は、円形の中心の座標である（Ｘ１，Ｙ１）となる。そして、ユーザーが発光ペン３００を操作して、投写面Ｓ上の１つ目のキャリブレーションポイントＰ１の中心に押圧操作を行うと、プロジェクター１００の変換制御部５２は、撮像部５１が撮像した撮像画像Ｇｂ１に基づいて、撮像画像内において押圧操作がなされた位置の座標（以降、「撮像座標」ともいう）ｐ１（ｘ１，ｙ１）を検出する（図４（ｂ）参照）。そして、変換制御部５２は、画像信号座標と撮像座標との対応付けを行い、１つ目の位置変換情報を生成し、位置変換情報記憶部５３に記憶させる（ステップＳ１０５）。

プロジェクター１００の変換制御部５２は、ＰＣ２００に次のキャリブレーションポイント画像出力依頼を送信する（ステップＳ１０６）。ＰＣ２００は、キャリブレーションポイント画像出力依頼を受信すると、２つ目のキャリブレーションポイント画像を出力する（ステップＳ１０７）。そして、ＰＣ２００は、２つ目のキャリブレーションポイント情報として２つ目のキャリブレーションポイントの座標情報（画像信号座標）をプロジェクター１００に送信する（ステップＳ１０８）。そして、変換制御部５２は、画像信号座標と撮像座標とに基づいて、２つ目の位置変換情報を生成し、位置変換情報記憶部５３に記憶させる（ステップＳ１０９）。そして、プロジェクター１００の変換制御部５２は、ＰＣ２００に次のキャリブレーションポイント画像出力依頼を送信する（ステップＳ１１０）。

上述したようにキャリブレーションを繰り返し、プロジェクター１００の変換制御部５２は、９回目のＰＣ２００に次のキャリブレーションポイント画像出力依頼を送信する（ステップＳ１１１）。ＰＣ２００は、キャリブレーションポイント画像出力依頼を受信すると、９つ目のキャリブレーションポイント画像を出力する（ステップＳ１１２）。そして、ＰＣ２００は、９つ目のキャリブレーションポイント情報として９つ目のキャリブレーションポイントの座標情報（画像信号座標）をプロジェクター１００に送信する（ステップＳ１１３）。そして、変換制御部５２は、画像信号座標と撮像座標とに基づいて、９つ目の位置変換情報を生成し、位置変換情報記憶部５３に記憶させる（ステップＳ１１４）。プロジェクター１００の変換制御部５２は、ＰＣ２００にキャリブレーション完了通知を送信する（ステップＳ１１５）。なお、上述したキャリブレーションを行う際の変換制御部５２がキャリブレーション制御部に相当する。

図５は、キャリブレーションの際の画像の説明図であり、図５（ａ）は、９つ目のキャリブレーションポイントの投写画像の説明図であり、図５（ｂ）は、９つ目のキャリブレーション時の撮像画像の説明図である。

９つ目のキャリブレーションの際には、プロジェクター１００によって、投写面Ｓには、図５（ａ）に示すような投写画像Ｇａ２が投写される。投写画像Ｇａ２では、１つ目から９つ目までのキャリブレーションポイントＰ１〜Ｐ９の円形が表示されている。ここで、キャリブレーションポイントＰ１〜Ｐ９の画像信号座標は、図示するように（Ｘ１，Ｙ１）〜（Ｘ３，Ｙ３）となる。そして、ユーザーが発光ペン３００を操作して、投写面Ｓ上の９つ目のキャリブレーションポイントＰ９の中心に押圧操作を行うと、プロジェクター１００の変換制御部５２は、撮像部５１が撮像した撮像画像Ｇｂ２に基づいて、撮像画像内において押圧操作がなされた撮像座標ｐ９（ｘ３，ｙ３）を検出する（図５（ｂ）参照）。

次に、インタラクティブシステム１が起動された際の処理について説明する。
図６は、インタラクティブシステム１が起動された際に、プロジェクター１００が行う処理のフローチャートである。

インタラクティブシステム１のプロジェクター１００とＰＣ２００とが電源オンされ、ＰＣ２００に備わるインタラクティブシステムのソフトウェアが起動されると、ＰＣ２００からプロジェクター１００に位置検出モード開始の通知が送信され、プロジェクター１００は、図６のフローチャートに従って位置検出モードの動作を開始する。ここで、位置検出モードとは、プロジェクター１００が撮像画像を解析し、発光ペン３００による操作位置を検出して位置変換処理を行い、変換した位置情報をＰＣ２００に通知する動作を行うモード（状態）である。

まず、プロジェクター１００の変換制御部５２は、ＰＣ２００と正しくＵＳＢ接続されているか否かを判断する（ステップＳＴ１１）。ＵＳＢ接続がされていれば（ステップＳＴ１１：ＹＥＳ）、プロジェクター１００の制御部２０は、画像信号入力部３１からの通知に基づいて、ＰＣ２００から画像信号が入力されているか否かを判断する（ステップＳＴ１２）。

画像信号が入力されていれば（ステップＳＴ１２：ＹＥＳ）、制御部２０は、解像度判別部３１ａが判別した画像信号の解像度の情報を入力し、解像度入力部５５に通知する。そして、変換制御部５２は、解像度入力部５５から画像信号の解像度の情報を入力する（ステップＳＴ１３）。変換制御部５２は、入力した画像信号の解像度に対応した位置変換情報が、位置変換情報記憶部５３に記憶されているか否かを検出する（ステップＳＴ１４）。

解像度に対応した位置変換情報が位置変換情報記憶部５３に記憶されていれば（ステップＳＴ１４：ＹＥＳ）、変換制御部５２は、プロジェクター１００を、記憶されている位置変換情報を用いて位置変換（座標変換）処理を行う位置検出モードに遷移させる（ステップＳＴ１５）。そして、インタラクティブシステム１起動時のプロジェクター１００の処理を終了する。

解像度に対応した位置変換情報が位置変換情報記憶部５３に記憶されていなければ（ステップＳＴ１４：ＮＯ）、変換制御部５２は、プロジェクター１００を、位置変換（座標変換）処理を行わない位置検出モードに遷移させる（ステップＳＴ１６）。そして、変換制御部５２は、キャリブレーションを促す通知情報を通信部５４を介してＰＣ２００に送信する（ステップＳＴ１７）。そして、インタラクティブシステム１起動時のプロジェクター１００の処理を終了する。

ＵＳＢ接続が正しくされていない場合（ステップＳＴ１１：ＮＯ）、変換制御部５２は、プロジェクター１００を位置検出モードに遷移させない（ステップＳＴ１８）。そして、インタラクティブシステム１起動時のプロジェクター１００の処理を終了する。また、画像信号が入力されていない場合（ステップＳＴ１２：ＮＯ）も、ステップＳＴ１８に移行し、位置検出モードに遷移させずに終了する。

上述したように、インタラクティブシステム１が起動された際に、プロジェクター１００は、入力されている画像信号に対応した位置変換情報を記憶していれば、当該位置変換情報を用いて位置変換処理を行う位置検出モードに遷移する。即ち、以降は、位置変換情報に基づいて撮像画像の位置変換（座標変換）処理を行う。また、位置変換情報が記憶されていなければ、位置変換処理を行わない位置検出モードに遷移する。

次に、インタラクティブシステム１が位置変換処理を実行しているときの処理について説明する。
図７はインタラクティブシステム１が位置変換処理を実行しているときのシーケンス図である。

ユーザーによって、発光ペン３００の押圧操作が行われると、発光ペン３００は赤外光を発信し、プロジェクター１００は、撮像部５１が撮像した撮像画像によって、当該赤外光を検知する（ステップＳ２０１）。プロジェクター１００は、赤外光の解析を行い、位置変換情報記憶部５３に記憶された位置変換情報に基づいて位置変換（座標変換）処理を行う（ステップＳ２０２）。

プロジェクター１００は、変換した位置情報をＰＣ２００に送信する（ステップＳ２０３）。ＰＣ２００は、位置情報を受信すると、位置情報に応じたポインティングデバイス操作処理を行う（ステップＳ２０４）。そして、ＰＣ２００は、ポインティングデバイス操作処理に応じた画像信号をプロジェクター１００に送信する（ステップＳ２０５）。そして、プロジェクター１００は、受信した画像信号に基づく画像を投写面Ｓに投写する（ステップＳ２０６）。

上述したように、インタラクティブシステム１は、発光ペン３００による操作をポインティングデバイスの操作として画像投写することができる。

上述した実施形態によれば、以下の効果が得られる。
（１）インタラクティブシステム１においては、プロジェクター１００は、ＰＣ２００からのキャリブレーションポイント画像の信号に基づいた画像を投写する。そして、ユーザーによる発光ペン３００の押圧操作を検出し、画像信号座標と撮像座標との位置変換（座標変換）の対応付けを行って位置変換情報記憶部５３に記憶する。これにより、キャリブレーション情報を記憶することができる。さらに、位置変換情報記憶部５３には、複数の解像度に対応した位置変換情報を記憶することが可能なため、利便性が高い。

（２）インタラクティブシステム１は、ＰＣ２００からプロジェクター１００に入力されている画像信号の解像度と同一の解像度に対応した位置変換情報が位置変換情報記憶部５３に記憶されていれば、その位置変換情報を用いた位置検出モードとして動作する。よって、ＰＣ２００を起動した際に、キャリブレーションを実施する必要がないため、有益である。

（３）インタラクティブシステム１は、ＰＣ２００を他のＰＣに変更した場合に、プロジェクター１００に入力されている画像信号の解像度と同一の解像度に対応した位置変換情報が位置変換情報記憶部５３に記憶されていれば、その位置変換情報を用いた位置検出モードとして動作する。よって、一度、ある解像度のＰＣ２００でキャリブレーションを実施してあれば、同じ解像度の画像信号を出力するＰＣであれば、ＰＣ２００を他のＰＣに変更した場合においても、キャリブレーションを実施する必要がないため、利便性が向上する。

（４）インタラクティブシステム１は、入力されている画像信号の解像度と同一の解像度に対応した位置変換情報が位置変換情報記憶部５３に記憶されていなければ、キャリブレーションを促す通知情報をＰＣ２００に送信する。そして、ＰＣ２００は、キャリブレーションをユーザーに促すことができる。例えば、「キャリブレーションを行ってください」といった投写画面（図示せず）を表示させることが可能である。これにより、ユーザーは、キャリブレーションを実施する必要があることを認識できるため、利便性が向上する。

なお、上述した実施形態に限定されず、種々の変更や改良等を加えて実施することが可能である。変形例を以下に述べる。

（変形例１）上記実施形態では、ＰＣ２００からキャリブレーションポイント情報として、画像信号に基づく画像上の座標情報（画像信号座標）をプロジェクター１００に送信するものとしたが、いくつ目のキャリブレーションポイントなのかについての情報をプロジェクター１００に送信してもよい。この場合、プロジェクター１００は、ＰＣ２００から送信される画像信号の解像度に基づいて、画像信号に基づく画像上の座標情報（画像信号座標）を認識することができる。そして、プロジェクター１００の変換制御部５２は、画像信号座標と撮像座標との対応付けを行い、位置変換情報を生成し、位置変換情報記憶部５３に記憶することができる。

（変形例２）上記実施形態のプロジェクター１００が、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂにおいて使用する画素領域を変更可能なアスペクト比変更機能を備えている場合には、変更可能なアスペクト比毎に位置変換情報を記憶する位置変換情報記憶部（図示せず）を備えてもよい。そして、アスペクト比が変更された際には、アスペクト比に対応した位置変換情報記憶部から位置変換情報を読み出して位置変換処理を行ってもよい。

（変形例３）上記実施形態では、投写画像に対して、赤外光を発光する発光ペン３００を用いて操作を行う態様を示したが、この態様に限定されず、例えば、レーザーポインターで操作を行う態様としてもよい。

（変形例４）上記実施形態では、キャリブレーションポイントは９つとしたが、９つに限定するものではない。

（変形例５）上記実施形態では、プロジェクター１００の光源１１は、放電型の光源ランプ１１ａによって構成されているが、ＬＥＤ（Light Emitting Diode）光源やレーザー等の固体光源や、その他の光源を用いることもできる。

（変形例６）上記実施形態では、プロジェクター１００の光変調装置として、透過型の液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。

１…インタラクティブシステム、１０…画像投写部、１１…光源、１１ａ…光源ランプ、１１ｂ…リフレクター、１２Ｒ，１２Ｇ，１２Ｂ…液晶ライトバルブ、１３…投写レンズ、１４…ライトバルブ駆動部、２０…制御部、２１…操作受付部、２２…光源制御部、３１…画像信号入力部、３１ａ…解像度判別部、３２…画像処理部、５０…位置情報変換装置、５１…撮像部、５２…変換制御部、５３…位置変換情報記憶部、５４…通信部、５５…解像度入力部、１００…プロジェクター、２００…ＰＣ、３００…発光ペン、Ｃ１…ケーブル、Ｃ２…ケーブル。

Claims (7)

1. プロジェクターと、前記プロジェクターに画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備えたインタラクティブシステムであって、
   前記プロジェクターは、
   前記画像信号が入力される画像信号入力部と、
   光源と、
   前記光源から射出された光を前記画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、
   前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別部と、
   前記画像信号に基づき、前記所定の操作がなされた位置情報の変換を行う位置情報変換装置と、
   を有し、
   前記位置情報変換装置は、
   前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像部と、
   前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御部と、
   前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶部と、
   前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、前記位置変換情報記憶部に記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御部と、
   前記変換制御部によって変換が行われた前記位置情報を出力する変換位置情報出力部と、
   を有し、
   前記コンピューターは、
   前記変換位置情報出力部が出力した前記位置情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作部を有することを特徴とするインタラクティブシステム。
2. 請求項１に記載のインタラクティブシステムであって、
   前記変換制御部は、前記解像度情報に基づいた解像度に対応する前記位置変換情報が、前記位置変換情報記憶部に記憶されていない場合には、前記キャリブレーションの実施を促す通知を前記変換位置情報出力部に出力させることを特徴とするインタラクティブシステム。
3. 請求項１または２に記載のインタラクティブシステムであって、
   前記位置変換情報は、前記投写画像内の画素位置の情報を前記画像信号に基づく画像内の画素位置の情報に変換するための変換式であることを特徴とするインタラクティブシステム。
4. インタラクティブシステムにおける位置情報変換方法であって、
   画像信号の入力を受付ける画像信号入力ステップと、
   前記画像信号に基づく画像を、投写画像として投写面に投写する画像投写ステップと、
   前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別ステップと、
   前記画像信号に基づき、所定の操作がなされた位置情報の変換を行う位置情報変換ステップと、
   を有し、
   前記位置情報変換ステップは、
   前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像ステップと、
   前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御ステップと、
   前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶ステップと、
   前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御ステップと、
   前記変換制御ステップによって変換が行われた前記位置情報を出力する変換位置情報出力ステップと、
   を有することを特徴とする位置情報変換方法。
5. 請求項４に記載の位置情報変換方法であって、
   前記解像度情報に基づいた解像度に対応する前記位置変換情報が、前記位置変換情報記憶部に記憶されていない場合に、キャリブレーションの実施を促す通知を出力するキャリブレーション要求通知ステップをさらに有することを特徴とする位置情報変換方法。
6. 請求項４または５に記載の位置情報変換方法であって、
   前記位置変換情報は、前記投写画像内の画素位置の情報を前記画像信号に基づく画像内の画素位置の情報に変換するための変換式であることを特徴とする位置情報変換方法。
7. 画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器とともにインタラクティブシステムを構成するプロジェクターであって、
   前記画像信号が入力される画像信号入力部と、
   光源と、
   前記光源から射出された光を前記画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、
   前記画像信号に基づく画像の解像度を判別して解像度情報を出力する解像度判別部と、
   前記画像信号に基づき、前記所定の操作がなされた位置情報の変換を行う位置情報変換装置と、
   を有し、
   前記位置情報変換装置は、
   前記投写画像を含む範囲を撮像して撮像画像データを出力する撮像部と、
   前記撮像画像データによって表される前記投写画像内における所定の場所を、前記画像信号に基づく画像内における所定の場所に対応付けるように位置変換情報を算出するキャリブレーション制御部と、
   前記位置変換情報を、前記解像度情報に基づいて解像度毎に記憶する位置変換情報記憶部と、
   前記撮像画像データに含まれる前記投写画像内に、前記光信号の成す像を検出した場合は前記所定の操作がなされたと判定し、前記所定の操作がなされた位置を表す位置情報を、前記位置変換情報記憶部に記憶されている前記位置変換情報を用いて前記画像信号に基づく画像上の位置に変換して出力する変換制御部と、
   前記変換制御部によって変換が行われた前記位置情報を出力する変換位置情報出力部と、
   を備えることを特徴とするプロジェクター。

Images