JP2015158890A - 位置検出装置、位置検出システム、及び、位置検出方法 - Google Patents

Abstract

【課題】操作面における指示体の指示位置を、撮影画像を用いてより正確に検出できるようにする。
【解決手段】プロジェクター１０は、スクリーンＳＣを撮影する撮像部５１と、撮像部５１の撮影画像に基づいて指示体８０の指示位置を検出する位置検出部５０と、を備える。位置検出部５０は、指示体８０で検出光が反射した反射光を撮像部５１の撮影画像から検出し、撮影画像から検出した反射光の位置と、スクリーンＳＣから撮像部５１までの距離とに基づいて、指示体８０の指示位置を求める。
【選択図】図２

Description

本発明は、位置検出装置、位置検出システム、及び、位置検出方法に関する。

従来、ペン等の指示体によって操作された位置を検出する装置が知られている（例えば、特許文献１参照）。例えば、特許文献１記載のシステムは、投射面を撮影することにより、指示体である発光ペンの位置を検出する。

特開２０１１−２２７６００号公報

特許文献１では、撮影画像から発光ペンの光の像を検出することによって、正確に指示位置を検出可能である。これは、発光ペンの光が指示位置に一致しているためである。しかしながら、例えば、指示体で反射する反射光を利用して位置検出を行う場合など、実際に指示体が指示した操作面上の位置が撮影画像に写らないことがあった。このような場合、正確に指示位置を検出することは困難であった。
本発明は、上述した事情に鑑みてなされたものであり、操作面における指示体の指示位置を、撮影画像を用いてより正確に検出できるようにすることを目的とする。

上記目的を達成するために、本発明の位置検出装置は、操作面を撮影する撮像部と、前記撮像部の撮影画像に基づいて指示体の指示位置を検出する検出部と、を備え、前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。

また、本発明は、上記位置検出装置において、前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離に基づいて、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を求める演算部を備えること、を特徴とする。
本発明によれば、操作面から離れた位置で反射した反射光をもとに、操作面において指示された位置を求めることができる。

また、本発明は、上記位置検出装置において、前記演算部によって求められた、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を示す距離データを記憶する記憶部を備え、前記検出部は、前記記憶部に記憶された前記距離データに基づいて前記指示体の指示位置を求めること、を特徴とする。
本発明によれば、記憶部に記憶された距離データを利用することで、位置検出を行う毎に距離を求める必要がなく、操作面における指示位置を速やかに検出できる。

また、本発明は、上記位置検出装置において、前記操作面に画像を投射する投射部を備えたプロジェクターとして構成され、前記撮像部によって前記投射部の投射範囲を撮影すること、を特徴とする。
本発明によれば、プロジェクターが画像を投射する操作面で行われる操作に対応して、指示位置を検出できる。

また、本発明は、上記位置検出装置において、前記撮像部の撮影画像における位置と前記投射部により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部を備え、前記演算部は、前記キャリブレーション制御部が実行するキャリブレーションの結果に基づいて前記距離データを生成すること、を特徴とする。
本発明によれば、キャリブレーションを実行することにより操作面から指示体の反射位置までの距離データを生成できる。これにより、キャリブレーションの実行後に、指示位置を正確に検出し、検出した指示位置を投射画像における位置として求めることが可能になる。

また、本発明は、上記位置検出装置において、前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離を求める距離測定部を備えること、を特徴とする。
本発明によれば、操作面から撮像部の基準位置までの距離を測定することが可能なため、より正確に指示位置を求めることができる。

また、本発明は、上記位置検出装置において、前記操作面に沿って前記検出光を出射する光出射部を備えること、を特徴とする。
本発明によれば、位置検出装置から検出光を出射して、この検出光を指示体で反射させることにより、発光機能等を持たない指示体の指示位置を検出できる。

また、上記目的を達成するために、本発明の位置検出システムは、指示体により操作される操作面に沿って検出光を出射する光出射装置と、前記指示体の指示位置を検出する位置検出装置と、を備え、前記位置検出装置は、前記操作面を撮影する撮像部と、前記撮像部の撮影画像に基づいて前記指示体の指示位置を検出する検出部と、を備え、前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。

また、上記目的を達成するために、本発明の位置検出方法は、操作面において指示体により指示された位置を検出する位置検出方法であって、前記操作面を撮影し、前記指示体で検出光が反射した反射光を撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から撮影位置までの距離とに基づいて、前記指示体の指示位置を求めること、を特徴とする。
本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体において検出光が反射する反射位置と操作面との位置関係により、撮影画像で検出される位置と指示体の指示位置とが一致しない場合であっても、操作面における指示体の指示位置をより正確に検出できる。

本発明によれば、撮像部と操作面との位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができ、撮影画像に基づいて指示位置をより正確に検出できる。

実施形態に係るプロジェクションシステムの概略構成図である。 プロジェクションシステムの機能ブロック図である。 オートキャリブレーション画像の一例を示す図である。 スクリーンに投射されたオートキャリブレーション画像を撮影した撮影画像データの一例を示す図である。 マニュアルキャリブレーション画像の一例を示す図である。 指示位置を検出する様子を示す側面視図である。 指示位置を検出する様子を示す要部拡大図である。 スクリーンと検出光の距離を算出する方法の説明図である。 プロジェクターの動作を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１（位置検出システム）の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面、操作面）の上方に設置されたプロジェクター１０（位置検出装置）と、スクリーンＳＣの上部に設置された光出射装置６０（光出射部）とを備える。

プロジェクター１０はスクリーンＳＣの直上または斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された、平板または幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。

プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置に接続され、この画像供給装置から供給されるアナログ画像信号またはデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射し、この光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ〜１ｍｍの範囲内である。
光出射装置６０が出射する光は可視領域外の光であり、本実施形態では赤外光とする。

プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
指示操作に利用される指示体は、ペン型の指示体７０を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する光に基づき、先端部７１の位置を、指示位置として検出する。指示体７０が発する光は可視領域外の光であり、本実施形態では赤外光とする。

また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。
すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。

プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った指示操作を検出して、指示位置を投射画像に反映させる。
具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字または記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字または記号を画像データとして保存することもでき、外部の装置に出力することもできる。
さらに、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣにプロジェクター１０が画像を投射する画像投射領域における指示位置の座標を出力してもよい。また、この座標を用いてＧＵＩ（Graphical User Interface）操作を行ってもよい。

図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。

プロジェクター１０は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２、および投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。

投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び、制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。

プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８、及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。

制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、および、制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１２、及び、設定画面データ１１２を利用して設定された内容を示す設定データ１１３を記憶する。

画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。

操作検出部１７は、入力デバイスとして機能するリモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。

光出射装置６０は、図１に示すように略箱形のケースに、光源部６１、及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源６２を備える。固体光源６２が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。光出射装置６０は、出射装置駆動部４８から供給されるパルス信号および電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。

位置検出部５０（検出部）は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部５１、送信部５２、撮影制御部５３、指示体検出部５４、および座標算出部５５の各部を備えて構成される。
撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲（投射範囲）を含む画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。

撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。例えば、後述するオートキャリブレーションの画像は、可視光で撮影される。また、撮影制御部５３は、上記のように撮像部５１により赤外光を撮影させる。この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。

指示体検出部５４は、撮影制御部５３が撮影した撮影画像データに基づいて指示体７０、８０の指示位置を検出する。指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像、及び／又は、指示体８０に反射した反射光の像を検出する。さらに、指示体検出部５４は、検出した像を、指示体７０が発した光の像であるか、指示体８０の反射光の像であるか判別してもよい。
座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標を算出して、制御部３０に出力する。座標算出部５５は、また、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を、算出してもよい。

送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。

また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５、及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池または二次電池を有し、制御部７３、送受信部７４、及び操作スイッチ７５の各部に電力を供給する。
指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。

ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させて、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。

位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、または、複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。

また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるか指示体８０であるかを判定できる。光源部６１の点灯のタイミングについては図８を参照して後述する。

さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。

姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。

距離測定部５９は、撮像部５１の基準位置からスクリーンＳＣまでの距離Ｌ（図６）を測定する。距離測定部５９の具体的な構成、及び、距離測定部５９が距離Ｌを測定する方法は、いくつかの例が挙げられる。
例えば、スクリーンＳＣが取り付けられた壁や天井に、距離測定用の子機（図示略）を設置する方法が挙げられる。この子機はプロジェクター１０とは別体として構成される。この場合、距離測定部５９は、子機との間で超音波やレーザー光や無線信号を送受信する構成を有し、例えば発信器と受信機、光源と受光器、或いは送受信機を備える。また、子機も同様に、距離測定部５９との間で超音波やレーザー光や無線信号を送受信する構成を有し、例えば受信機と発信器、ミラー、送受信機である。プロジェクター１０の本体に設けられた距離測定部５９と子機との間で超音波やレーザー光や無線信号を送受信することによって、子機と距離測定部５９との間の距離を求め、この距離に基づき距離Ｌを求めることができる。この場合、子機とスクリーンＳＣの表面（操作面）との位置関係、及び、距離測定部５９と撮像部５１の基準位置（後述）との位置関係に対応した関数やオフセット量を定めておくことで、距離Ｌを正確に算出できる。
また、例えば、距離測定部５９が、伸縮可能な測定治具を備え、この測定治具をプロジェクター１０からスクリーンＳＣ側に伸ばすことで、距離Ｌを測定できる。この場合、距離測定部５９は、伸縮可能な治具と、治具の伸長量を検出するリニアエンコーダーやロータリーエンコーダー等の検出器を備える。また、治具を伸縮させるモーターやアクチュエーター等の駆動部を備えてもよい。
距離測定部５９は、制御部３０の制御に従って測定動作を実行し、測定動作の結果を制御部３０に出力する。

制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行することにより、投射制御部３１、検出制御部３２、出射制御部３３、距離演算部３７（演算部）及びキャリブレーション制御部３９の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。

検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の操作位置の検出を実行させ、操作位置の座標を取得する。また、検出制御部３２は、操作位置の座標とともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを取得する。検出制御部３２は、取得した座標及びデータに基づいて、予め設定された処理を実行する。例えば、画像処理部４０によって、取得した座標に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを出力してもよい。

また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。

出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行または停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。

距離演算部３７は、キャリブレーション制御部３９が後述するように指示体８０のマニュアルキャリブレーションを実行する際に、マニュアルキャリブレーションの結果から、後述する距離Ｌ_Dを算出する。距離演算部３７が実行する演算の内容については後述する。

キャリブレーション制御部３９は、指示体７０および指示体８０の指示位置を検出して、画像Ｉ／Ｆ部１２の入力画像における座標に変換するためのキャリブレーションを実行する。

キャリブレーションは、プロジェクター１０を最初に使用する際に初期設定の１つとして実行される。キャリブレーションは、例えば、フレームメモリー４４に描画され投射部２０が投射する画像における位置と、撮像部５１が撮影する撮影画像データ上の位置とを対応付ける処理である。位置検出部５０が撮影画像データから検出する指示体７０、８０の指示位置は、撮影画像データにおける位置であり、例えば撮影画像に設定される座標系における座標で示される。ユーザーはスクリーンＳＣに投射された投射画像を意識して指示体７０、８０で指示を行う。従って、プロジェクター１０は、スクリーンＳＣ上の投射画像に対する指示位置を特定する必要がある。キャリブレーションによって、撮影画像データで検出された位置の座標を投射画像データ上の座標に変換できる。この対応づけを行うデータをキャリブレーションデータとする。キャリブレーションデータは、撮影制御部５３が出力する撮影画像データ上の座標と投射画像上の座標とを対応付けるデータである。具体的には、撮影画像データ上の座標と投射画像上の座標とを１対１で対応付けるテーブルであってもよいし、撮影画像データ上の座標を投射画像上の座標に変換する関数であってもよい。

キャリブレーション制御部３９は、指示体の種類に応じてキャリブレーションを実行する。すなわち、指示体７０の指示位置の検出に関するキャリブレーションと、指示体８０の指示位置の検出に関するキャリブレーションとの２つを実行する。
キャリブレーション制御部３９は、指示体７０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。
オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射して、撮像部５１で撮影し、撮影画像データを用いてキャリブレーションデータを生成する処理である。オートキャリブレーションは、プロジェクター１０が自動的に実行可能な処理であり、ユーザーによる指示体７０、８０の操作を必要としない。オートキャリブレーションは、ユーザーがリモコンまたは操作パネル１９で実行を指示した場合に限らず、制御部３０が制御するタイミングで実行することもできる。例えば、プロジェクター１０の電源オン直後等の動作開始時に行ってもよいし、後述する通常動作中に行ってもよい。オートキャリブレーションで投射されるオートキャリブレーション画像１２１は、予め記憶部１１０に記憶されている。

図３は、オートキャリブレーション画像１２１の一例を示す。オートキャリブレーション画像１２１には、複数のマークが所定の間隔で配置されている。
図４は、スクリーンＳＣに投射されたオートキャリブレーション画像１２１を撮像部５１により撮影した撮影画像データの一例を示す。撮像部５１の撮影画像データは、プロジェクター１０を図１に示すように吊り下げ設置した場合に、スクリーンＳＣの斜め上方から撮影されるので、歪んだ画像となる。図３には、等間隔でマークが並ぶ矩形のオートキャリブレーション画像１２１を例示したが、図４の撮影画像データでは歪んだ形状の画像が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。

キャリブレーション制御部３９は、投射制御部３１の機能により、記憶部１１０に記憶されたオートキャリブレーション画像１２１に基づいて、画像処理部４０及び投射部２０を動作させて、オートキャリブレーション画像１２１をスクリーンＳＣに投射させる。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１に撮影を実行させ、撮影画像データを取得する。この撮影画像データは、撮影制御部５３から、図示しないメモリーに一時的に記憶され、制御部３０に出力される。キャリブレーション制御部３９は、撮影画像データからマークを検出し、各マークの重心位置をマークの座標値として取得する。キャリブレーション制御部３９は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション画像１２１のマークとを対応付ける。
キャリブレーション制御部３９は、撮影画像におけるマークの座標値と、投射画像におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のオートキャリブレーションデータ１２３を作成する。オートキャリブレーション画像１２１のマークの投射画像における座標値は、予めオートキャリブレーション画像１２１とともに、或いはオートキャリブレーション画像１２１に含まれて記憶部１１０に記憶されている。キャリブレーション制御部３９は、既にオートキャリブレーションデータ１２３が記憶されている場合、このオートキャリブレーションデータ１２３を更新する。

キャリブレーション制御部３９は１回のキャリブレーションを実行して、１つのオートキャリブレーションデータ１２３の作成または更新を行う。キャリブレーション制御部３９は、１回のオートキャリブレーションで、複数のオートキャリブレーション画像１２１を用いてもよい。例えば、マークの数、マークのサイズ、マークの形状、マークの位置などマークの配置状態が異なる複数のオートキャリブレーション画像１２１を用いてもよい。キャリブレーション制御部３９は、複数のオートキャリブレーション画像１２１を用いて複数回の撮影と座標の対応づけを行い、得られた対応づけの結果を統合して、より高精度のオートキャリブレーションデータ１２３を作成してもよい。

マニュアルキャリブレーションは、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射し、投射した画像に対応する指示体７０の操作を検出して、マニュアルキャリブレーションデータを生成する処理である。
図５は、マニュアルキャリブレーション画像１２２の一例を示す。マニュアルキャリブレーション画像１２２は、ユーザーに指示体７０で指示をさせるため、指示位置を示すマークを含む。図５のマニュアルキャリブレーション画像１２２は複数の指示用のマーク（○）が配置され、ユーザーは、マークの位置を指示体７０で指示する。

マニュアルキャリブレーション画像１２２には複数のマークが含まれるが、これらのマークは、１つずつスクリーンＳＣに投射される。このため、マニュアルキャリブレーション画像１２２は、具体的にはマークの数が異なる複数の画像の組合せで構成される。
ユーザーはスクリーンＳＣにマークが表示される毎に、新たに表示されたマークを指示体７０で指示する。キャリブレーション制御部３９はユーザーが操作を行う毎に、指示位置を検出する。そして、キャリブレーション制御部３９は、撮影画像で検出した指示位置と、フレームメモリー４４に描画された投射画像、すなわちマニュアルキャリブレーション画像１２２のマークとを対応付ける。キャリブレーション制御部３９は、撮影画像データで検出した指示位置の座標値と、投射画像上のマークの座標値とを対応付けることにより、マニュアルキャリブレーションデータ１２４を作成する。
マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３と同様のデータ形式とすることも可能であるが、オートキャリブレーションデータ１２３を補正する補正データとすることができる。オートキャリブレーションデータ１２３は、撮影画像上の座標を投射画像上の座標に変換するデータである。これに対し、マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３を用いて変換された後の座標を、さらに補正するデータである。

キャリブレーション制御部３９は、指示体７０の指示位置の検出に関するキャリブレーションを行う場合に、オートキャリブレーションまたはマニュアルキャリブレーションを実行できる。記憶部１１０が、過去に生成されたオートキャリブレーションデータ１２３を記憶している場合には、オートキャリブレーションとマニュアルキャリブレーションを選択して実行できる。ここで、オートキャリブレーションが実行された場合、キャリブレーション制御部３９は記憶部１１０のオートキャリブレーションデータ１２３を更新する。また、マニュアルキャリブレーションが実行された場合、マニュアルキャリブレーションデータ１２４が生成又は更新される。また、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合は、オートキャリブレーションを実行する必要がある。オートキャリブレーションデータ１２３が記憶されていない状態では、マニュアルキャリブレーションデータ１２４を使用できないためである。

キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するキャリブレーションを、指示体７０のマニュアルキャリブレーションと同様に実行できる。指示体８０に関するマニュアルキャリブレーションでは、位置検出部５０の撮影画像データから検出した指示位置を、指示体８０に特有の誤差を解消するよう補正するためのデータを取得する。この点について説明する。

図６及び図７は、指示体７０、８０の指示位置を検出する様子を示す説明図である。図６は、プロジェクションシステム１の側面視図であり、図７は、スクリーンＳＣ近傍の要部拡大図である。図７（Ａ）は指示体７０の指示位置を検出する場合の拡大図であり、図７（Ｂ）は指示体８０の指示位置を検出する場合の拡大図である。
図６に示すように、プロジェクター１０はスクリーンＳＣの上方に設置され、撮像部５１はスクリーンＳＣの前方側の離れた位置から、スクリーンＳＣを俯瞰して撮影する。撮像部５１の撮影方向を、図７（Ａ）、（Ｂ）には矢印ＰＡで示す。

以下の説明では、撮像部５１からスクリーンＳＣまでの距離を距離Ｌとする。距離Ｌは、スクリーンＳＣに垂直な方向における、スクリーンＳＣの表面（操作面）から撮像部５１の基準位置までの距離である。ここで、撮像部５１の基準位置は撮像部５１のレンズの位置とすることができるが、撮像部５１のレンズ群内の所定の位置としてもよいし、撮像素子の受光面としてもよい。

また、スクリーンＳＣの上部に設けられる光出射装置６０が出射する検出光ＬＣは、スクリーンＳＣの表面にほぼ平行であり、スクリーンＳＣから所定の距離（以下、距離Ｌ_Dとする）だけ離れている。距離Ｌ_Dは、スクリーンＳＣに垂直な方向における、スクリーンＳＣの表面と検出光ＬＣとの間の距離である。距離Ｌ_DはスクリーンＳＣに対する光出射装置６０の取付位置により変化するが、構造上、距離Ｌ_Dをゼロにすることは難しい。

図７（Ａ）に示すように、指示体７０の位置検出を行う場合、指示体７０の先端の発光位置７０ａから赤外光が出射される。発光位置７０ａは、指示体７０がスクリーンＳＣに接する接触点７０ｂに非常に近い。このため、撮像部５１が撮影する撮影画像データで指示体７０が発する光の像を検出すれば、検出される像の位置を、接触点７０ｂの位置とみなすことができる。

これに対し、指示体８０の指示位置を検出する場合、図７（Ｂ）に示すように、検出光ＬＣが指示体８０で反射した反射光を検出する。検出光ＬＣはスクリーンＳＣから距離Ｌ_Dだけ離れているので、検出光ＬＣが反射する反射位置８０ａは、図６及び図７（Ｂ）に示すように、指示体８０とスクリーンＳＣの表面との接触位置８０ｂから距離Ｌ_Dだけ離れている。
このため、撮像部５１の撮影画像データにおいて、反射光の位置は、撮像部５１の撮影方向ＰＡをスクリーンＳＣ上まで延長した点８０ｃで発光する光と同じ位置になる。つまり、撮影画像データにおいては、指示体８０が接触位置８０ｂを指示した場合の反射光は、例えば指示体７０が点８０ｃを指示した場合と同じ位置で検出される。
従って、位置検出部５０が指示体８０の指示位置を指示体７０と同様に検出すると、接触位置８０ｂが指示された場合に、指示位置が点８０ｃとして検出され、ずれを生じる。このずれを、誤差Ｅｒｒとする。

誤差Ｅｒｒは、検出光ＬＣがスクリーンＳＣから距離Ｌ_Dだけ離れていることに起因し、上下方向に限らず、水平方向においても同様に誤差Ｅｒｒが発生する。誤差Ｅｒｒの大きさは、距離Ｌ_Dと、撮像部５１とスクリーンＳＣとの間の距離Ｌの大きさに基づいて求めることが可能である。言い換えれば、距離Ｌ及び距離Ｌ_Dに基づいて、誤差Ｅｒｒの大きさを求めて、補正することが可能である。
そこで、プロジェクター１０は、指示体８０の指示位置を検出する場合に、指示体７０と同様に指示位置を検出してから、検出した位置について距離Ｌ_Dに基づく補正を行う。

この補正に用いる距離Ｌ_Dは、予め設定された値であってもよいし、実際に計測した値であってもよい。プロジェクター１０は、距離Ｌ_Dの標準的な規定値を、記憶部１１０に初期補正データ１２５（距離データ）として記憶する。初期補正データ１２５は、距離Ｌ_Dの標準的な値を定めた規定値である。
光出射装置６０の設置時には、スクリーンＳＣと検出光ＬＣとの距離Ｌ_Dが、例えば１０ｍｍ〜１ｍｍとなるように調整されるが、実際にはスクリーンＳＣの面内で変化する。初期補正データ１２５は、距離Ｌ_Dの標準的な値として、例えば５ｍｍに設定される。

また、プロジェクター１０は、指示体８０のマニュアルキャリブレーションを実行して、距離Ｌ_Dを求めることができる。この演算処理は、キャリブレーション制御部３９がマニュアルキャリブレーションを実行する際に、距離演算部３７が実行する。具体的な演算処理の内容については後述する。
マニュアルキャリブレーションで算出された距離Ｌ_Dは、マニュアル補正データ１２６（距離データ）として記憶部１１０に記憶される。マニュアル補正データ１２６は、撮影画像データ上の座標または投射画像上の座標ごとに、距離Ｌ_Dの値を対応付けるテーブル形式、或いはマップデータとすることができる。また、撮影画像データ上の座標または投射画像上の座標において予め設定された代表点について、距離Ｌ_Dの値を対応付けるテーブル形式とすることができる。指示位置を補正する処理で、代表点から外れた座標の距離Ｌ_Dの値が必要な場合は、補正対象の座標に近い代表点の距離Ｌ_Dを適用する方法や、補間演算により代表点の距離Ｌ_Dから補正対象の座標の距離Ｌ_Dを求める方法を利用できる。マニュアル補正データ１２６はマニュアルキャリブレーションの結果から算出されるデータであり、現実のスクリーンＳＣと光出射装置６０の設置状態を反映している。このため、マニュアル補正データ１２６を利用すれば、距離Ｌ_Dの面内における差を反映した補正を行うことができ、より高精度で指示体８０の指示位置を求めることができる。

記憶部１１０は、距離演算部３７が距離Ｌ_Dを算出するために必要な距離Ｌの値を、スクリーン距離データ１２７として記憶する。スクリーン距離データ１２７は、予め設定されて記憶部１１０に記憶されてもよい。本実施形態では、プロジェクター１０が距離Ｌを測定する手段として、距離測定部５９を備えている。制御部３０の制御により距離測定部５９が距離Ｌを測定した場合、測定値がスクリーン距離データ１２７として記憶される。ここで、制御部３０は、距離測定部５９の測定値をスクリーン距離データ１２７としてもよいし、距離測定部５９の測定値をもとに演算処理を行って、距離Ｌを算出し、スクリーン距離データ１２７を生成してもよい。

図８は、距離演算部３７が距離Ｌ_Dを算出する方法を説明する説明図である。図８（Ａ）はスクリーンＳＣの正面図であり、図８（Ｂ）、（Ｃ）はプロジェクター１０及びスクリーンＳＣの位置関係を模式的に示す図である。図８（Ｂ）はスクリーンＳＣの側面視方向からの図、図８（Ｃ）はスクリーンＳＣの上方からの図である。
以下の説明では、図８（Ａ）に示すように、スクリーンＳＣにおける左下隅を原点ＺとするＸ−Ｙ直交座標系を設定する。原点Ｚから水平方向をＸ軸、垂直方向をＹ軸とし、スクリーンＳＣの右上隅の座標を（ｘ_IWB，ｙ_IWB）とする。指示体７０、８０の操作領域は、撮像部５１の画角やスクリーンＳＣのサイズ等に基づき設定される。

この例では、撮像部５１の基準位置を撮像部５１のレンズとし、レンズ位置を点Ｃとする。点ＣのＸ座標およびＹ座標をそれぞれｘ_g、ｙ_gとする。なお、Ｘ軸方向において、撮像部５１のレンズは、スクリーンＳＣの中央にあるものとする（ｘ_g＝ｘ_IWB／２）。
図８（Ｂ）の側面視図では、指示体８０の指示位置を検出する場合に、指示体８０が指し示すスクリーンＳＣ上の指示位置のＹ座標をｙとし、指示体８０で検出光ＬＣが反射する反射位置を点Ｄとする。また、指示体８０の指示位置を、指示体７０の指示位置と同様に求めた場合に得られる指示位置のＹ座標をｙ_pとする。Ｙ座標ｙ_pとＹ座標ｙの差を、Ｙ軸方向の誤差ｙ_Errとする。また、撮像部５１の基準位置を示す点Ｃを通りスクリーンＳＣに垂直な直線がスクリーンＳＣと同一平面で交わる点を、点Ｎとする。
図８（Ｃ）の平面視図では、指示体８０の指示位置を検出する場合に、指示体８０が指し示すスクリーンＳＣ上の指示位置のＸ座標をｘとする。また、指示体８０の指示位置を、指示体７０の指示位置と同様に求めた場合に得られる指示位置のＸ座標をｘ_pとする。Ｘ座標ｘ_pとＸ座標ｘの差を、Ｘ軸方向の誤差ｘ_Errとする。

まず、図８（Ｂ）を参照してＹ軸方向の誤差ｙ_Errと距離Ｌ_Dとの関係について説明する。
この図中、点Ｃ、点Ｎ及びＹ軸（スクリーンＳＣ）上の座標ｙ_pとを結ぶ三角形Ｃ−Ｎ−ｙ_pと、点Ｄ及びＹ軸（スクリーンＳＣ）上の座標ｙ、ｙ_pとを結ぶ三角形Ｄ−ｙ−ｙ_pとは、相似である。従って、下記式（１）の関係が成り立つ。下記式（１）を変形して下記式（２）を得ることができ、さらに変形すると、Ｌ_Dの値を求める下記式（３）が得られる。

スクリーンＳＣ上におけるＹ軸方向の誤差ｙ_Errは、Ｙ座標ｙ_pとｙの差であるから、上記式（２）に基づいて求めることができる。
また、スクリーンＳＣの表面から検出光ＬＣまでの距離Ｌ_Dを、上記式（３）により求めることができる。

次に、図８（Ｃ）を参照してＸ軸方向の誤差ｘ_Errと距離Ｌ_Dとの関係について説明する。
図８（Ｃ）中、点Ｃ、点Ｎ及びＸ軸（スクリーンＳＣ）上の座標ｘ_pを結ぶ三角形Ｃ−Ｎ−ｘ_pと、点Ｄ及びＸ軸（スクリーンＳＣ）上の座標ｘ及びｘ_pとを結ぶ三角形Ｄ−ｘ−ｘ_pとは、相似である。従って、下記式（４）の関係が成り立つ。下記式（４）を変形して下記式（５）が得ることができ、さらに変形すると、Ｌ_Dの値を求める下記式（６）が得られる。

スクリーンＳＣ上におけるＸ軸方向の誤差は、Ｘ座標ｘ_pとｘの差であるから、上記式（４）に基づいて求めることができる。また、上記式（６）によりＬ_Dを求めることができる。

指示体８０の操作に関してマニュアルキャリブレーションを実行すると、指示体７０に関するオートキャリブレーションデータ１２３及びマニュアルキャリブレーションデータ１２４を元に、指示体７０の指示位置と指示体８０の指示位置の差が求められる。この差は、Ｘ軸方向の誤差ｘ_Err及びＹ軸方向の誤差ｙ_Errに相当する。従って、距離演算部３７は、指示体８０のマニュアルキャリブレーションの結果から求められる誤差ｘ_Err、ｙ_Errの値をもとに、上記式（３）及び式（６）を利用して演算処理を行い、距離Ｌ_Dの値を算出できる。これらの式（３）、（６）によればｙ座標及びｘ座標に対応する距離Ｌ_Dの値を求めることができるので、ｘ座標とｙ座標に対応する距離Ｌ_Dの値を定めるマップデータを容易に作成できる。

さらに、プロジェクター１０は、後述する通常動作において、指示体８０の操作を検出した場合、検出制御部３２が位置検出部５０を制御して、撮影画像データ及びオートキャリブレーションデータ１２３及びマニュアルキャリブレーションデータ１２４に基づき、指示位置を検出する。検出制御部３２は、位置検出部５０によって、検出した指示位置の補正を実行させる。位置検出部５０は、初期補正データ１２５またはマニュアル補正データ１２６に設定された距離Ｌ_Dをもとに、上記式（２）及び（５）に示される演算処理を実行する。これにより、Ｘ軸方向及びＹ軸方向の誤差が求められる。位置検出部５０は、検出した指示位置を、求めた誤差の分だけシフトさせることによって、指示位置の座標を求める。この処理により、指示体８０の操作を、距離Ｌ_Dを考慮して適切に補正して、正確な指示位置を検出できる。

図９は、キャリブレーションに関するプロジェクター１０の動作を示すフローチャートである。
キャリブレーション制御部３９は、投射制御部３１によって指示体７０に関するキャリブレーションの実行を指示するメニュー画面を、投射部２０により投射させる（ステップＳ１１）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し（ステップＳ１２）、オートキャリブレーションが選択された場合はステップＳ１３に移行し、マニュアルキャリブレーションが選択された場合にはステップＳ１５に移行する。

ステップＳ１３で、キャリブレーション制御部３９は、オートキャリブレーションを実行する。キャリブレーション制御部３９は、投射制御部３１及び投射部２０によって、オートキャリブレーション画像１２１に基づく画像をスクリーンＳＣに投射させる。キャリブレーション制御部３９は位置検出部５０を制御して、撮影を実行させ、撮影画像データからスクリーンＳＣ上の画像のマークを検出させ、撮影画像上のマークの座標と投射画像上のマークの座標とを対応付ける。
その後、キャリブレーション制御部３９は、検出したマークの座標をもとにオートキャリブレーションデータ１２３を生成し、記憶部１１０に記憶させる（ステップＳ１４）。

ステップＳ１５で、キャリブレーション制御部３９は、指示体７０の操作に関するマニュアルキャリブレーションを実行する。キャリブレーション制御部３９は、投射制御部３１及び投射部２０によって、マニュアルキャリブレーション画像１２２に基づく画像をスクリーンＳＣに投射させる。ここで、ユーザーにより、スクリーンＳＣに対して指示体７０による操作が行われる。キャリブレーション制御部３９は、位置検出部５０を制御して、指示体７０の操作が行われる毎に撮影を実行させ、指示体７０の指示位置を検出する。そして、検出した指示体７０の指示位置と投射画像上のマークの座標とを対応付ける。
その後、キャリブレーション制御部３９は、検出した座標をもとにマニュアルキャリブレーションデータ１２４を生成し、記憶部１１０に記憶させる（ステップＳ１６）。

ステップＳ１４またはステップＳ１６でキャリブレーションデータを生成した後、キャリブレーション制御部３９は、距離測定部５９を制御して距離Ｌを測定し、測定値をスクリーン距離データ１２７として記憶部１１０に記憶する（ステップＳ１７）。
次に、キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するマニュアルキャリブレーションを実行するか否かを選択するユーザーインターフェイスを、投射部２０により投射させる（ステップＳ１８）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し、マニュアルキャリブレーションを実行するか否かを判定する（ステップＳ１９）。

マニュアルキャリブレーションを実行しない場合（ステップＳ１９；Ｎｏ）、キャリブレーション制御部３９は、初期補正データ１２５を選択して（ステップＳ２０）、通常動作に移行する（ステップＳ２１）。この場合、その後の指示体８０の指示操作の検出には、距離Ｌ_Dの値として、予め設定された初期補正データ１２５の標準的な値が使用される。
なお、通常動作とは、画像Ｉ／Ｆ部１２に入力される入力画像に基づき、スクリーンＳＣに画像を投射し、指示体７０、８０により指示された指示位置を特定して、指示内容に応じた処理を行う動作である。

指示体８０の操作に関するマニュアルキャリブレーションを行う場合（ステップＳ１９；Ｙｅｓ）、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択する（ステップＳ２２）。続いて、キャリブレーション制御部３９は、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ２３）。ここで、ユーザーにより、指示体８０を用いた操作が行われる（ステップＳ２４）。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１により撮影を実行させ、撮像部５１の撮影画像データを取得して指示体８０の指示位置を検出する（ステップＳ２５）。キャリブレーション制御部３９は、撮影画像データにおける指示位置の座標と、ステップＳ１９で投射したマニュアルキャリブレーション画像１２２のマークの位置とを対応付けて、記憶部１１０に一時的に記憶させる（ステップＳ２６）。

キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ２７）、未処理のマークがある場合はステップＳ２３に戻る。また、全てのマークの指示位置の検出が済んだ場合、キャリブレーション制御部３９は、ステップＳ２６で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアル補正データ１２６を作成する（ステップＳ２８）。ここで作成されたマニュアル補正データ１２６は記憶部１１０に記憶される。その後、キャリブレーション制御部３９はステップＳ２１に移行して、通常動作を開始する。

なお、キャリブレーション制御部３９が、指示体７０のマニュアルキャリブレーションにより、オートキャリブレーションデータ１２３と同様のデータを含むマニュアルキャリブレーションデータ１２４を生成してもよい。この場合、キャリブレーション制御部３９は、図９のステップＳ１５〜Ｓ１６の処理により、オートキャリブレーションデータ１２３と同様のマニュアルキャリブレーションデータ１２４を生成する。また、オートキャリブレーションデータ１２３とマニュアルキャリブレーションデータ１２４と同一のデータとしてもよく、この場合、ステップＳ１６で作成されるデータにより、過去に生成されたオートキャリブレーションデータ１２３が上書きされる。
この構成では、キャリブレーション制御部３９がオートキャリブレーションまたはマニュアルキャリブレーションのいずれかを実行すれば、指示体７０の指示位置の座標を求めることが可能となる。従って、図９の動作において、オートキャリブレーションデータ１２３が記憶されていない状態で、ステップＳ１２でマニュアルキャリブレーションを選択することが可能となる。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１０は、スクリーンＳＣを撮影する撮像部５１と、撮像部５１の撮影画像に基づいて指示体８０の指示位置を検出する位置検出部５０と、を備える。位置検出部５０は、指示体８０で検出光が反射した反射光を撮像部５１の撮影画像から検出し、撮影画像から検出した反射光の位置と、スクリーンＳＣから撮像部５１までの距離Ｌとに基づいて、指示体８０の指示位置を求める。このため、撮像部５１とスクリーンＳＣとの位置関係に基づいて、撮影画像から検出される指示位置を補正して求めることができる。これにより、例えば指示体８０において検出光が反射する反射位置とスクリーンＳＣとの位置関係により、撮影画像で検出される位置と指示体８０の指示位置とが一致しない場合であっても、スクリーンＳＣにおける指示体８０の指示位置をより正確に検出できる。

また、プロジェクター１０は、距離演算部３７により、スクリーンＳＣから撮像部５１の基準位置までのスクリーンＳＣに垂直な方向における距離に基づいて、スクリーンＳＣから指示体８０の反射位置までのスクリーンＳＣに垂直な方向における距離を求める。これにより、スクリーンＳＣから距離Ｌ_Dだけ離れた位置において反射した反射光をもとに、スクリーンＳＣにおいて指示体８０が指示した指示位置を求めることができる。
また、記憶部１１０は、距離演算部３７によって求められた、スクリーンＳＣから指示体８０の反射位置までのスクリーンＳＣに垂直な方向における距離を示すマニュアル補正データ１２６を記憶する。位置検出部５０は、記憶部１１０に記憶されたマニュアル補正データ１２６に基づいて指示体８０の指示位置を求める。これにより、記憶部１１０に記憶されたマニュアル補正データ１２６を利用することで、位置検出を行う毎に距離Ｌ_Dを求める必要がなく、スクリーンＳＣにおける指示位置を速やかに検出できる。

また、プロジェクター１０は、スクリーンＳＣに画像を投射する投射部２０を備え、撮像部５１によって投射部の投射範囲を撮影するので、画像を投射するスクリーンＳＣで行われる操作に対応して、指示位置を検出できる。
また、プロジェクター１０は、撮像部５１の撮影画像における位置と投射部２０により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部３９を備える。距離演算部３７は、キャリブレーション制御部３９が実行するキャリブレーションの結果に基づいてマニュアル補正データ１２６を生成する。これにより、キャリブレーションを実行することによりマニュアル補正データ１２６を生成できる。このため、キャリブレーションの実行後に、指示位置を正確に検出し、検出した指示位置を投射画像における位置として求めることが可能になる。
また、プロジェクター１０は、スクリーンＳＣから撮像部５１の基準位置までのスクリーンＳＣに垂直な方向における距離Ｌを求める距離測定部５９を備えるので、より正確に指示位置を求めることができる。
また、スクリーンＳＣに沿って検出光を出射する光出射装置６０を備えるので、検出光を出射して、この検出光を指示体８０で反射させることにより、発光機能等を持たない指示体８０の指示位置を検出できる。

なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態では、指示体８０の指示位置の検出に係るマニュアルキャリブレーションで距離Ｌ_Dを求める場合について説明したが、本発明はこれに限定されない。例えば、スクリーンＳＣ及びプロジェクター１０を設置した後に、スクリーンＳＣにおける操作領域の面内で、複数の位置で距離Ｌ_Dを測定し、測定したデータをマップ形式又はテーブル形式で記憶部１１０に記憶してもよい。このデータは、マニュアル補正データ１２６と同様に、実際の直接的または間接的な測定に基づく距離Ｌ_Dの値を示すデータとして、利用できる。また、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。また、指示体の指示位置を検出する方法は上記実施形態の例に限定されず、可視光線、紫外線等の光線を利用してもよいし、超音波や電波等を利用してもよい。
また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。

また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。
また、上記実施形態では、撮影画像データから検出した指示位置を初期補正データ１２５またはマニュアル補正データ１２６に基づき補正する演算処理を、位置検出部５０が実行するものとして説明したが、制御部３０が演算処理を行ってもよい。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
上記実施形態では、ユーザーが、フロントプロジェクション型のプロジェクター１０が画像を投射（表示）するスクリーンＳＣ（投射面、表示面）に対して、指示体７０、８０による指示操作を行う態様について説明したが、ユーザーが、プロジェクター１０以外の表示装置（表示部）が画像を表示する表示画面（表示面）に対して指示操作を行う態様であってもよい。この場合にも、光出射装置６０や撮像部５１は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクションシステム（位置検出システム）、１０…プロジェクター（位置検出装置）、２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…出射制御部、３７…距離演算部（演算部）、３９…キャリブレーション制御部、４０…画像処理部、５０…位置検出部（検出部）、５１…撮像部、５９…距離測定部、６０…光出射装置（光出射部）、７０、８０…指示体、１１０…記憶部、１２２…マニュアルキャリブレーション画像、１２５…初期補正データ、１２６…マニュアル補正データ（距離データ）、ＳＣ…スクリーン（操作面）。

Claims (9)

1. 操作面を撮影する撮像部と、
   前記撮像部の撮影画像に基づいて指示体の指示位置を検出する検出部と、を備え、
   前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、
   を特徴とする位置検出装置。
2. 前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離に基づいて、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を求める演算部を備えること、を特徴とする請求項１記載の位置検出装置。
3. 前記演算部によって求められた、前記操作面から前記指示体の反射位置までの前記操作面に垂直な方向における距離を示す距離データを記憶する記憶部を備え、
   前記検出部は、前記記憶部に記憶された前記距離データに基づいて前記指示体の指示位置を求めること、
   を特徴とする請求項２記載の位置検出装置。
4. 前記操作面に画像を投射する投射部を備えたプロジェクターとして構成され、
   前記撮像部によって前記投射部の投射範囲を撮影すること、を特徴とする請求項３記載の位置検出装置。
5. 前記撮像部の撮影画像における位置と前記投射部により投射される画像との位置を対応付けるキャリブレーションを実行するキャリブレーション制御部を備え、
   前記演算部は、前記キャリブレーション制御部が実行するキャリブレーションの結果に基づいて前記距離データを生成すること、を特徴とする請求項４記載の位置検出装置。
6. 前記操作面から前記撮像部の基準位置までの前記操作面に垂直な方向における距離を求める距離測定部を備えること、を特徴とする請求項２から５のいずれかに記載の位置検出装置。
7. 前記操作面に沿って前記検出光を出射する光出射部を備えること、を特徴とする請求項１から６のいずれかに記載の位置検出装置。
8. 指示体により操作される操作面に沿って検出光を出射する光出射装置と、前記指示体の指示位置を検出する位置検出装置と、を備え、
   前記位置検出装置は、
   前記操作面を撮影する撮像部と、
   前記撮像部の撮影画像に基づいて前記指示体の指示位置を検出する検出部と、を備え、
   前記検出部は、前記指示体で検出光が反射した反射光を前記撮像部の撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から前記撮像部までの距離とに基づいて、前記指示体の指示位置を求めること、
   を特徴とする位置検出システム。
9. 操作面において指示体により指示された位置を検出する位置検出方法であって、
   前記操作面を撮影し、
   前記指示体で検出光が反射した反射光を撮影画像から検出し、前記撮影画像から検出した反射光の位置と、前記操作面から撮影位置までの距離とに基づいて、前記指示体の指示位置を求めること、
   を特徴とする位置検出方法。

Images