JP2015159524A - プロジェクター、表示装置、及び、プロジェクターの制御方法 - Google Patents

Abstract

【課題】キャリブレーションによって、投射画像と撮像画像との位置の対応づけを、効率よく高精度で行う。【解決手段】プロジェクター１０の位置検出部５０は、スクリーンＳＣを撮影した撮影画像に基づいて、スクリーンＳＣにおける操作を検出する。制御部３０は、キャリブレーション制御部３９により、位置特定用のマークが配置されたオートキャリブレーション画像１２１に基づく投射画像を撮影した撮影画像に基づいて、投射画像と撮像画像との間で位置を対応付けるキャリブレーションを実行する。また、キャリブレーション制御部３９は、マークの配置状態が異なる複数のオートキャリブレーション画像１２１に対応する撮影画像に基づき、キャリブレーションを実行する。【選択図】図２

Description

本発明は、プロジェクター、表示装置、及び、プロジェクターの制御方法に関する。

従来、入力操作がされた場合に操作位置を検出する装置において、キャリブレーションを行うものが知られている（例えば、特許文献１参照）。例えば、特許文献１記載のシステムは、プロジェクターの投射画像を撮影し、撮影画像に基づき、投射画像と撮像画像との間で位置を対応付けるキャリブレーションを実行する。

特開２０１１−２２７６００号公報

特許文献１に記載のように、従来のオートキャリブレーションでは、市松模様（チェッカーパターン）等のパターンを含む画像を投射し、撮影画像からパターンを検出し、検出した位置で対応付けを行う。従って、パターンが細かいほど、多数の座標を対応付けることができ、位置検出の精度を高めることができる。しかしながら、パターンが細かいほど撮影画像からパターンを検出しにくくなってしまい、パターンを検出する処理の負荷が過大になるという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、キャリブレーションによって、投射画像と撮像画像との位置の対応づけを、効率よく高精度で行うことを目的とする。

上記目的を達成するために、本発明のプロジェクターは、投射面に画像を投射する投射部と、前記投射面を撮影した撮影画像に基づいて、前記投射面における操作を検出する検出部と、位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記投射部が投射する投射画像を撮影した撮影画像に基づいて、前記投射画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行するキャリブレーション制御部と、を備え、前記キャリブレーション制御部は、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、前記キャリブレーションを実行すること、を特徴とする。
本発明によれば、シンボルの配置状態が異なる複数のキャリブレーション用画像を用いてキャリブレーションを実行するので、キャリブレーション用画像のシンボルが微細でなくても、撮影画像における位置と投射画像における位置とを、多数の位置で対応付けることができる。このため、位置の対応づけを高精度で行うことができる。また、キャリブレーション用画像のシンボルを微細にしなくて済むので、シンボルを確実に、容易に検出できる。従って、キャリブレーションを効率よく高精度で行うことができる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション制御部は、前記投射画像における位置と前記撮影画像における位置とを対応付けるキャリブレーションデータを生成すること、を特徴とする。
本発明によれば、投射画像と撮影画像の位置を細かく対応付けるキャリブレーションデータが生成されるので、このキャリブレーションデータを利用して、高精度で位置検出を行うことができる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション制御部は、複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、１の前記キャリブレーションデータを生成すること、を特徴とする。
本発明によれば、１つのキャリブレーション用画像を用いる場合に比べ、投射画像と撮影画像の位置を細かく対応付けるキャリブレーションデータを生成できる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション制御部は、複数の前記キャリブレーション用画像に配置されるシンボルをそれぞれ異なる座標に対応付けて前記キャリブレーションデータを生成すること、を特徴とする。
本発明によれば、複数のキャリブレーション画像を用いることにより、１つのキャリブレーション画像のシンボルの数よりも多数の座標の対応づけを行うことができる。これにより、キャリブレーションデータにおいて多数の座標で位置を対応付けることができ、キャリブレーション用画像におけるシンボルの数に制限されず、高精細のキャリブレーションデータを生成できる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション制御部は、二値またはグレースケールの前記撮影画像に基づき前記キャリブレーションデータを生成すること、を特徴とする。
本発明によれば、撮影画像のデータ量を抑制することができ、撮影画像からシンボルを検出する処理の負荷が軽いため、効率よくキャリブレーションを実行できる。また、二値またはグレースケールの撮影画像においてシンボルを検出しやすいように、キャリブレーション用画像におけるシンボルを少なくしても、高精細のキャリブレーションデータを生成できる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション制御部は、可視光により撮影された前記撮影画像に基づき前記キャリブレーションデータを生成すること、を特徴とする。
本発明によれば、キャリブレーション用画像に基づき可視光で画像が投射され、この投射画像を可視光で撮影した撮影画像に基づいてキャリブレーションが行われる。このため、自動的に実行されるキャリブレーションの様子をユーザーが視認できる。

また、本発明は、上記プロジェクターにおいて、前記キャリブレーション用画像は、少なくとも複数の画素で構成される前記シンボルが配置された画像であること、を特徴とする。
本発明によれば、キャリブレーション用画像に配置されるシンボルが複数の画素で構成され、面積を有するので、撮影画像からシンボルを容易に検出できる。また、シンボルの形状の変形等から、撮影画像と投射画像とを対応づける処理において、より多くの情報を得ることができる。さらに、例えば撮影画像からシンボルの像を抽出して、シンボルの重心を検出座標とすることにより、高精度でキャリブレーションを行うことができる。

また、上記目的を達成するために、本発明の表示装置は、表示面に画像を表示する表示部と、前記表示面を撮影した撮影画像に基づいて、前記表示面における操作を検出する検出部と、位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記表示部が表示する表示画像を撮影した撮影画像に基づいて、前記表示画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行するキャリブレーション制御部と、を備え、前記キャリブレーション制御部は、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、前記キャリブレーションを実行すること、を特徴とする。
本発明によれば、シンボルの配置状態が異なる複数のキャリブレーション用画像を用いてキャリブレーションを実行するので、キャリブレーション用画像のシンボルが微細でなくても、撮影画像における位置と投射画像における位置とを、多数の位置で対応付けることができる。このため、位置の対応づけを高精度で行うことができる。また、キャリブレーション用画像のシンボルを微細にしなくて済むので、シンボルを確実に、容易に検出できる。従って、キャリブレーションを効率よく高精度で行うことができる。

また、上記目的を達成するために、本発明は、投射面に画像を投射する投射部を備えたプロジェクターの制御方法であって、前記投射面を撮影した撮影画像に基づいて、前記投射面における操作を検出し、位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記投射部が投射する投射画像を撮影した撮影画像に基づいて、前記投射画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行し、前記キャリブレーションを、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき実行すること、を特徴とする。
本発明によれば、シンボルの配置状態が異なる複数のキャリブレーション用画像を用いてキャリブレーションを実行するので、キャリブレーション用画像のシンボルが微細でなくても、撮影画像における位置と投射画像における位置とを、多数の位置で対応付けることができる。このため、位置の対応づけを高精度で行うことができる。また、キャリブレーション用画像のシンボルを微細にしなくて済むので、シンボルを確実に、容易に検出できる。従って、キャリブレーションを効率よく高精度で行うことができる。

本発明によれば、キャリブレーションを効率よく高精度で行うことができる。

実施形態に係るプロジェクションシステムの概略構成図である。 プロジェクションシステムの機能ブロック図である。 オートキャリブレーション画像の一例を示す図である。 スクリーンに投射されたオートキャリブレーション画像を撮影した撮影画像データの一例を示す図である。 マニュアルキャリブレーション画像の一例を示す図である。 プロジェクターの動作を示すフローチャートである。 プロジェクターの動作を示すフローチャートである。 オートキャリブレーション画像の例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣ（投射面、操作面、表示面）の上方に設置されたプロジェクター１０と、スクリーンＳＣの上部に設置された光出射装置６０（光出射部）とを備える。

プロジェクター１０はスクリーンＳＣの直上または斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する表示装置である。また、本実施形態で例示するスクリーンＳＣは、壁面に固定され、或いは床面に立設された、平板または幕である。本発明はこの例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１０及び光出射装置６０を取り付けるとよい。

プロジェクター１０は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置に接続され、この画像供給装置から供給されるアナログ画像信号またはデジタル画像データに基づき、スクリーンＳＣに画像を投射する。また、プロジェクター１０は、内蔵する記憶部１１０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示する構成としてもよい。
光出射装置６０は、固体光源からなる光源部６１（図２）を有し、光源部６１が発する光をスクリーンＳＣに沿って拡散させて出射（照射）する。光出射装置６０の出射範囲を図１に角度θで示す。光出射装置６０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を出射し、この光はスクリーンＳＣに沿う光の層を形成する。本実施形態では角度θはほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と光の層とは近接していることが好ましく、本実施形態では、スクリーンＳＣの表面と光の層との距離は概ね１０ｍｍ〜１ｍｍの範囲内である。
光出射装置６０が出射する光は可視領域外の光であり、本実施形態では赤外光とする。

プロジェクションシステム１は、スクリーンＳＣに対する指示操作が行われた場合に、指示位置をプロジェクター１０によって検出する。
指示操作に利用される指示体は、ペン型の指示体７０を用いることができる。指示体７０の先端部７１は、押圧された場合に動作する操作スイッチ７５（図２）を内蔵しているので、先端部７１を壁やスクリーンＳＣに押しつける操作がされると操作スイッチ７５がオンになる。指示体７０は、ユーザーが棒状の軸部７２を手に持って、先端部７１をスクリーンＳＣに接触させるように操作され、先端部７１をスクリーンＳＣに押しつける操作も行われる。先端部７１には、光を発する送受信部７４（図２）を備える。プロジェクター１０は、指示体７０が発する光に基づき、先端部７１の位置を、指示位置として検出する。指示体７０が発する光は可視領域外の光であり、本実施形態では赤外光とする。

また、ユーザーの手指である指示体８０で位置指示操作を行う場合、ユーザーは指をスクリーンＳＣに接触させる。この場合、指示体８０がスクリーンＳＣに接触した位置が検出される。
すなわち、指示体８０の先端（例えば、指先）がスクリーンＳＣに接触するときに、光出射装置６０が形成する光の層を遮る。このとき、光出射装置６０が出射した光が指示体８０に当たって反射し、反射光の一部は指示体８０からプロジェクター１０に向かって進む。プロジェクター１０は、スクリーンＳＣ側からの光、すなわち下方からの光を後述する位置検出部５０により検出する機能を有するので、指示体８０の反射光を検出できる。プロジェクター１０は、指示体８０で反射した反射光を検出することにより、指示体８０によるスクリーンＳＣへの指示操作を検出する。また、プロジェクター１０は指示体８０により指示された指示位置を検出する。
光出射装置６０が出射する光の層はスクリーンＳＣに近接しているので、指示体８０において光が反射する位置は、スクリーンＳＣに最も近い先端、或いは指示位置と見なすことができる。このため、指示体８０の反射光に基づき指示位置を特定できる。

プロジェクションシステム１は、インタラクティブホワイトボードシステムとして機能し、ユーザーが指示体７０、８０により行った指示操作を検出して、指示位置を投射画像に反映させる。
具体的には、プロジェクションシステム１は、指示位置に図形を描画したり文字や記号を配置したりする処理、指示位置の軌跡に沿って図形を描画する処理、描画した図形や配置した文字または記号を消去する処理等を行う。また、スクリーンＳＣに描画された図形、配置された文字または記号を画像データとして保存することもでき、外部の装置に出力することもできる。
さらに、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣにプロジェクター１０が画像を投射する画像投射領域における指示位置の座標を出力してもよい。また、この座標を用いてＧＵＩ（Graphical User Interface）操作を行ってもよい。

図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関する制御データ、プロジェクター１０の動作を設定する設定データ、プロジェクター１０が検出した指示位置の座標データ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１０は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１０は、アナログ画像信号に基づき画像を投射する機能を備えてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。

プロジェクター１０は、光学的な画像の形成を行う投射部２０（表示部）を備える。投射部２０は、光源部２１、光変調装置２２、および投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１０が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。

投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び、制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。

プロジェクター１０は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１０を制御する制御部３０、記憶部１１０、操作検出部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４４が接続され、制御部３０には姿勢センサー４７、出射装置駆動部４８、及び位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。

制御部３０は、所定の制御プログラム１１１を実行することにより、プロジェクター１０の各部を制御する。記憶部１１０は、制御部３０が実行する制御プログラム１１１、および、制御部３０が処理するデータを不揮発的に記憶する。記憶部１１０は、プロジェクター１０の動作を設定するための画面の設定画面データ１１２、及び、設定画面データ１１２を利用して設定された内容を示す設定データ１１３を記憶する。

画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。

操作検出部１７は、入力デバイスとして機能するリモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

出射装置駆動部４８は、接続部４９を介して光出射装置６０に接続される。接続部４９は、例えば複数のピンを有するコネクターであり、接続部４９には光出射装置６０がケーブル６０ａを介して接続される。出射装置駆動部４８は、制御部３０の制御に従ってパルス信号を生成し、接続部４９を介して光出射装置６０に出力する。また、出射装置駆動部４８は接続部４９を介して光出射装置６０に電源を供給する。

光出射装置６０は、図１に示すように略箱形のケースに、光源部６１、及び光学部品を収容して構成される。本実施形態の光出射装置６０は、光源部６１に、赤外光を発する固体光源６２を備える。固体光源６２が発する赤外光は、平行化レンズ及びパウエルレンズによって拡散され、スクリーンＳＣに沿った面を形成する。また、光源部６１が複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、スクリーンＳＣの画像投射範囲を覆うように光の層を形成してもよい。また、光出射装置６０は、光源部６１が発する光の層とスクリーンＳＣとの間の距離や角度を調整する調整機構を備えていてもよい。光出射装置６０は、出射装置駆動部４８から供給されるパルス信号および電源により、光源部６１を点灯させる。光源部６１が点灯及び消灯するタイミングは、出射装置駆動部４８が制御する。制御部３０は、出射装置駆動部４８を制御して、後述する撮像部５１が撮影を行うタイミングに同期して光源部６１を点灯させる。

位置検出部５０（検出部）は、指示体７０、８０によるスクリーンＳＣへの操作を検出する。位置検出部５０は、撮像部５１、送信部５２、撮影制御部５３、指示体検出部５４、および座標算出部５５の各部を備えて構成される。
撮像部５１は、撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系２３の投射方向を撮影する。撮像部５１の撮像光学系は、投射光学系２３と略同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。撮像部５１は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、撮像部５１のインターフェイス回路は、撮像素子の検出値を読み出して出力する。

撮影制御部５３は、撮像部５１により撮影を実行させて撮影画像データを生成する。撮像素子が可視光による撮影を行うと、スクリーンＳＣ上に投射された画像が撮影される。例えば、後述するオートキャリブレーションの画像は、可視光で撮影される。また、撮影制御部５３は、上記のように撮像部５１により赤外光を撮影させる。この場合の撮影画像には指示体７０が発する赤外光（赤外線信号）や、指示体８０に反射した反射光が写る。

指示体検出部５４は、撮影制御部５３が撮影した撮影画像データに基づいて指示体７０、８０の指示位置を検出する。指示体検出部５４は、撮影制御部５３が撮像部５１によって赤外光の撮影を実行させた場合の撮影画像データから、指示体７０が発した赤外光の像、及び／又は、指示体８０に反射した反射光の像を検出する。さらに、指示体検出部５４は、検出した像を、指示体７０が発した光の像であるか、指示体８０の反射光の像であるか判別してもよい。
座標算出部５５は、指示体検出部５４が検出した像の位置に基づき、撮影画像データにおける指示体７０、８０の指示位置の座標を算出して、制御部３０に出力する。座標算出部５５は、また、投射部２０が投射した投射画像における指示体７０、８０の指示位置の座標を算出して、制御部３０に出力してもよい。さらに、座標算出部５５は、画像処理部４０がフレームメモリー４４に描画した画像データにおける指示体７０、８０の指示位置の座標や、画像Ｉ／Ｆ部１２の入力画像データにおける指示体７０、８０の指示位置の座標を、算出してもよい。

送信部５２は、指示体検出部５４の制御に従って、指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を指示体検出部５４の制御に従って点灯及び消灯させる。

また、指示体７０は、制御部７３、送受信部７４、操作スイッチ７５、及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池または二次電池を有し、制御部７３、送受信部７４、及び操作スイッチ７５の各部に電力を供給する。
指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。

ここで、位置検出部５０と指示体７０との相互の通信により、撮像部５１の撮影画像データから指示体７０を特定する方法について説明する。
制御部３０は、指示体７０による位置指示操作を検出する場合に、指示体検出部５４を制御して、送信部５２から同期用の信号を送信させる。すなわち、指示体検出部５４は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１０の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された点灯パターンで、送受信部７４の光源を点灯（発光）させる。この点灯のパターンは、光源の点灯と消灯をデータのオンとオフに対応させて、指示体７０に固有のデータを表す。制御部７３は設定されたパターンの点灯時間及び消灯時間に従って光源を点灯及び消灯させる。制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。
つまり、位置検出部５０は指示体７０に対し、同期用の赤外線信号を周期的に送信し、指示体７０は、位置検出部５０が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。

位置検出部５０の撮影制御部５３は、撮像部５１による撮影タイミングを、指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、指示体検出部５４が送信部５２を点灯させるタイミングに基づいて決定される。指示体検出部５４は、撮像部５１の撮影画像データに指示体７０の光の像が写っているか否かにより、指示体７０が点灯するパターンを特定できる。
指示体７０が点灯するパターンは、指示体７０の個体毎に固有のパターン、または、複数の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、指示体検出部５４は、撮影画像データに複数の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる指示体７０の像として区別できる。

また、制御部３０は、出射装置駆動部４８を制御して、光源部６１の点灯のタイミングを撮像部５１の撮影のタイミングに同期させる。光源部６１が、撮像部５１の撮影タイミングに合わせてパルス点灯すると、指示体８０がスクリーンＳＣ上を指し示す場合には、撮像部５１の撮影画像に指示体８０の反射光が写る。光源部６１を、指示体７０の点灯のタイミングと区別できるパターンで点灯させれば、指示体検出部５４は、撮影画像データに写る像が指示体７０であるか指示体８０であるかを判定できる。光源部６１の点灯のタイミングについては図８を参照して後述する。

さらに、指示体７０が備える制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４を点灯させるパターンを切り替える。このため、指示体検出部５４は、複数の撮影画像データに基づいて、指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。

姿勢センサー４７は、加速度センサーやジャイロセンサー等により構成され、制御部３０に対して検出値を出力する。姿勢センサー４７はプロジェクター１０の本体に対して、プロジェクター１０の設置方向を識別可能なように固定される。
プロジェクター１０は、図１に示したように壁面や天井面から吊り下げる吊り下げ設置の他に、スクリーンＳＣの下方から投射を行う設置状態、机の天面などの水平面をスクリーンＳＣとして使用する設置状態等で使用できる。プロジェクター１０の設置状態によっては光出射装置６０の使用に適さないことがある。例えば、下方からスクリーンＳＣに投射を行う場合、ユーザーの体が光出射装置６０の出射光を遮ってしまうことがあり、不適である。姿勢センサー４７は、プロジェクター１０の設置状態として想定される複数の設置状態を識別できるように、プロジェクター１０の本体に設けられる。姿勢センサー４７は、例えば、２軸のジャイロセンサー、１軸のジャイロセンサー、加速度センサー等を用いて構成される。制御部３０は、姿勢センサー４７の出力値に基づきプロジェクター１０の設置状態を自動的に判定できる。制御部３０が、光出射装置６０の使用に不適な設置状態と判定した場合には、例えば、出射装置駆動部４８が電源電圧やパルス信号の出力を停止する。

制御部３０は、記憶部１１０に記憶された制御プログラム１１１を読み出して実行することにより、投射制御部３１、検出制御部３２、出射制御部３３、及びキャリブレーション制御部３９の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、ユーザーが行った操作の内容を取得する。投射制御部３１は、ユーザーが行った操作に応じて画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、スクリーンＳＣに画像を投射させる。投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。

検出制御部３２は、位置検出部５０を制御して、指示体７０、８０の操作位置の検出を実行させ、操作位置の座標を取得する。また、検出制御部３２は、操作位置の座標とともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを取得する。検出制御部３２は、取得した座標及びデータに基づいて、予め設定された処理を実行する。例えば、画像処理部４０によって、取得した座標に基づいて図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３２は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３２は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３２は、座標のデータとともに、指示体７０の操作位置であるか指示体８０の操作位置であるかを識別するデータ、及び、操作スイッチ７５の操作状態を示すデータを出力してもよい。

また、検出制御部３２は、指示体８０を使用した位置検出を制御する。具体的には、検出制御部３２は、光出射装置６０の接続の有無に基づき、光出射装置６０を使用できるか否かを判定する。検出制御部３２は、光出射装置６０を使用できない場合に、光出射装置６０の使用を不可とする設定を行う。ここで、検出制御部３２は、光出射装置６０を使用できないことを報知してもよい。

出射制御部３３は、出射装置駆動部４８を制御して、接続部４９に接続された光出射装置６０に対する電源及びパルス信号の出力を実行または停止させる。出射制御部３３は、検出制御部３２の制御により、光出射装置６０を使用できない又は使用しない場合に、出射装置駆動部４８の電源及びパルス信号の出力を停止させる。また、光出射装置６０を使用する場合、出射制御部３３は出射装置駆動部４８の電源及びパルス信号を出力させる。

キャリブレーション制御部３９は、指示体７０、８０の指示位置を検出して、画像Ｉ／Ｆ部１２の入力画像における座標に変換するためのキャリブレーションを実行する。キャリブレーションは、例えば、フレームメモリー４４に描画され投射部２０が投射する画像における位置と、撮像部５１が撮影する撮影画像データ上の位置とを対応付ける処理である。位置検出部５０が撮影画像データから検出する指示体７０、８０の指示位置は、撮影画像データにおける位置であり、例えば撮影画像に設定される座標系における座標で示される。ユーザーはスクリーンＳＣに投射された投射画像を意識して指示体７０、８０で指示を行う。従って、プロジェクター１０は、スクリーンＳＣ上の投射画像に対する指示位置を特定する必要がある。キャリブレーションによって、撮影画像データで検出された位置の座標を投射画像データ上の座標に変換できる。この対応づけを行うデータをキャリブレーションデータとする。キャリブレーションデータは、撮影制御部５３が出力する撮影画像データ上の座標と投射画像上の座標とを対応付けるデータである。具体的には、撮影画像データ上の座標と投射画像上の座標とを１対１で対応付けるテーブルであってもよいし、撮影画像データ上の座標を投射画像上の座標に変換する関数であってもよい。

キャリブレーション制御部３９は、指示体の種類に応じてキャリブレーションを実行する。すなわち、指示体７０の指示位置の検出に関するキャリブレーションと、指示体８０の指示位置の検出に関するキャリブレーションとの２つを実行する。本実施形態では、特に、指示体７０の指示位置に関するキャリブレーションについて説明する。

キャリブレーション制御部３９は、指示体７０の指示位置に関するキャリブレーションとして、オートキャリブレーションとマニュアルキャリブレーションとを実行できる。
オートキャリブレーションは、スクリーンＳＣに、オートキャリブレーション用の画像を投射し、スクリーンＳＣを撮像部５１で撮影して、撮影画像データを用いてキャリブレーションデータを生成する処理である。オートキャリブレーションは、プロジェクター１０が自動的に実行可能であり、ユーザーによる指示体７０の操作を必要としない。オートキャリブレーションは、ユーザーがリモコンまたは操作パネル１９で実行を指示した場合に限らず、制御部３０が制御するタイミングで実行することもできる。例えば、プロジェクター１０の電源オン直後等の動作開始時に行ってもよいし、後述する通常動作中に行ってもよい。オートキャリブレーションで投射されるオートキャリブレーション画像１２１は、予め記憶部１１０に記憶されている。

図３は、オートキャリブレーション画像１２１（キャリブレーション用画像）の一例を示す。オートキャリブレーション画像１２１には、複数のマーク（シンボル）が所定の間隔で配置されている。キャリブレーション画像中のマークは、撮影画像データから検出可能な図形や記号であり、その形状やサイズは特に限定されない。
図４は、スクリーンＳＣに投射されたオートキャリブレーション画像１２１を撮像部５１により撮影した撮影画像データの一例を示す。撮像部５１の撮影画像データは、プロジェクター１０を図１に示すように吊り下げ設置した場合に、スクリーンＳＣの斜め上方から撮影されるので、歪んだ画像となる。図３には、等間隔でマークが並ぶ矩形のオートキャリブレーション画像１２１を例示したが、図４の撮影画像データでは歪んだ形状の画像が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。

キャリブレーション制御部３９は、投射制御部３１の機能により、記憶部１１０に記憶されたオートキャリブレーション画像１２１に基づいて、画像処理部４０及び投射部２０を動作させて、オートキャリブレーション画像１２１をスクリーンＳＣに投射させる。キャリブレーション制御部３９は、位置検出部５０を制御して撮像部５１に撮影を実行させ、撮影画像データを取得する。この撮影画像データは、撮影制御部５３から、図示しないメモリーに一時的に記憶され、制御部３０に出力される。キャリブレーション制御部３９は、撮影画像データからマークを検出し、各マークの重心位置をマークの座標値として取得する。キャリブレーション制御部３９は、撮影画像データから検出されたマークと、フレームメモリー４４に描画された投射画像、すなわちオートキャリブレーション画像１２１のマークとを対応付ける。

キャリブレーション制御部３９は、撮影画像におけるマークの座標値と、投射画像におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のオートキャリブレーションデータ１２３を作成する。オートキャリブレーション画像１２１のマークの投射画像における座標値は、予めオートキャリブレーション画像１２１とともに、或いはオートキャリブレーション画像１２１に含まれて記憶部１１０に記憶されている。キャリブレーション制御部３９は、既にオートキャリブレーションデータ１２３が記憶されている場合、このオートキャリブレーションデータ１２３を更新する。キャリブレーション制御部３９は、オートキャリブレーション画像１２１の１つのマークについて、１つの座標を対応付ける。従って、多数のマークを含むオートキャリブレーション画像１２１を用いた場合、スクリーンＳＣの投射領域の多数の座標について、対応づけを行うことができる。
オートキャリブレーションでは、撮像部５１が可視光を受光して撮影を行う。このため、撮影制御部５３が出力する撮影画像はカラー画像データとすることも、モノクロ画像データとすることもできる。本実施形態では、キャリブレーション制御部３９は、撮像部５１の撮影画像データとして、モノクロ二値の画像データ、または、明度の情報を有し色情報を含まないグレースケールの画像データを処理する。ここで、撮影制御部５３が、キャリブレーション制御部３９の制御に従って、モノクロ二値またはグレースケールの画像データを出力してもよい。或いは、キャリブレーション制御部３９の制御により、指示体検出部５４が、撮影制御部５３の出力画像データをモノクロ二値またはグレースケールに変換してから、マークを検出してもよい。

マニュアルキャリブレーションは、スクリーンＳＣに、マニュアルキャリブレーション用の画像を投射し、投射した画像に対する指示体７０の操作を検出して、マニュアルキャリブレーションデータを生成する処理である。
図５は、マニュアルキャリブレーション画像１２２の一例を示す。マニュアルキャリブレーション画像１２２は、ユーザーに指示体７０で指示をさせるため、指示位置を示すマークを含む。図７のマニュアルキャリブレーション画像１２２は複数の指示用のマーク（○印）が配置され、ユーザーは、マークの位置を指示体７０で指示する。

マニュアルキャリブレーション画像１２２には複数のマークが含まれるが、これらのマークは、１つずつスクリーンＳＣに投射される。このため、マニュアルキャリブレーション画像１２２は、具体的にはマークの数が異なる複数の画像の組合せで構成される。
ユーザーはスクリーンＳＣにマークが表示される毎に、新たに表示されたマークを指示体７０で指示する。キャリブレーション制御部３９はユーザーが操作を行う毎に、指示位置を検出する。そして、キャリブレーション制御部３９は、撮影画像で検出した指示位置と、フレームメモリー４４に描画された投射画像、すなわちマニュアルキャリブレーション画像１２２のマークとを対応付ける。キャリブレーション制御部３９は、撮影画像データで検出した指示位置の座標値と、投写画像上のマークの座標値とを対応付けることにより、マニュアルキャリブレーションデータ１２４を作成する。
マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３と同様のデータ形式とすることも可能であるが、オートキャリブレーションデータ１２３を補正する補正データとすることができる。オートキャリブレーションデータ１２３は、撮影画像上の座標を投射画像上の座標に変換するデータである。これに対し、マニュアルキャリブレーションデータ１２４は、オートキャリブレーションデータ１２３を用いて変換された後の座標を、さらに補正するデータである。

キャリブレーション制御部３９は、指示体７０の指示位置の検出に関するキャリブレーションを行う場合に、オートキャリブレーションまたはマニュアルキャリブレーションを実行できる。記憶部１１０が、過去に生成されたオートキャリブレーションデータ１２３を記憶している場合には、オートキャリブレーションとマニュアルキャリブレーションを選択して実行できる。ここで、オートキャリブレーションが実行された場合、キャリブレーション制御部３９は記憶部１１０のオートキャリブレーションデータ１２３を更新する。また、マニュアルキャリブレーションが実行された場合、マニュアルキャリブレーションデータ１２４が生成又は更新される。また、記憶部１１０にオートキャリブレーションデータ１２３が記憶されていない場合は、オートキャリブレーションを実行する必要がある。オートキャリブレーションデータ１２３が記憶されていない状態では、マニュアルキャリブレーションデータ１２４を使用できないためである。
また、キャリブレーション制御部３９は、指示体８０の指示位置の検出に関するキャリブレーションを、指示体７０のマニュアルキャリブレーションと同様に実行できる。この場合、キャリブレーション制御部３９は、マニュアル補正データ１２６を生成する。マニュアル補正データ１２６は、指示体８０の指示位置を検出する場合に利用される。

図６は、キャリブレーションに関するプロジェクター１０の動作を示すフローチャートである。
キャリブレーション制御部３９は、オートキャリブレーションを実行するか、マニュアルキャリブレーションを実行するかを選択するメニュー画面を、投射部２０により投射させる（ステップＳ１１）。キャリブレーション制御部３９は、リモコンまたは操作パネル１９の操作を検出し（ステップＳ１２）、オートキャリブレーションが選択された場合はステップＳ１３に移行し、マニュアルキャリブレーションが選択された場合にはステップＳ１４に移行する。

図７は、ステップＳ１３のオートキャリブレーションの動作を詳細に示すフローチャートである。また、図８は、オートキャリブレーションで投射されるオートキャリブレーション画像の例を示す。図８（Ａ）は５×５のオートキャリブレーション画像の例であり、図８（Ｂ）は４×４のオートキャリブレーション画像の例である。

オートキャリブレーションが選択されると、キャリブレーション制御部３９は、複数のオートキャリブレーション画像１２１を用いてオートキャリブレーションを実行する。
まず、キャリブレーション制御部３９は、第１のオートキャリブレーション画像１２１を選択する（ステップＳ１０１）。本実施形態では、「５×５」のオートキャリブレーション画像１２１を選択する。このオートキャリブレーション画像１２１は、図８（Ａ）に示すように、縦５行×横５列のマークが配置された画像である。このオートキャリブレーション画像１２１に配置されるマークは、黒背景の上に白で表示されるチェックパターンである。オートキャリブレーション画像１２１のマークは、複数のドット（画素）で構成されることが好ましい。この場合、各マークを構成する複数のドットの重心の座標が、各マークの座標として処理される。

キャリブレーション制御部３９は、「５×５」のオートキャリブレーション画像１２１が投射部２０によってスクリーンＳＣに投射された状態で、撮像部５１により撮影を実行させる（ステップＳ１０２）。キャリブレーション制御部３９は、位置検出部５０により、撮影画像データからマークを検出させ、マークの座標を求めてキャリブレーションを実行する（ステップＳ１０３）。
ここで、キャリブレーション制御部３９は、ステップＳ１０３の処理に成功したか否かを判定する（ステップＳ１０４）。すなわち、撮影画像データからマークを検出する処理、検出したマークを投射画像のマークと対応付ける処理、撮影画像データのマークの座標と投射画像のマークの座標とを対応付ける処理が成功したか否かを判定する。例えば、検出されたマークや対応づけられたマークの数が設定された閾値より少ない場合等に、成功しなかった（失敗した）と判定する。

キャリブレーション制御部３９は、「５×５」のオートキャリブレーション画像１２１を用いたキャリブレーションに失敗したと判定した場合（ステップＳ１０３；Ｎｏ）、１回目のログとして、エラーログを記憶部１１０に保存し（ステップＳ１０５）、ステップＳ１０６に移行する。また、キャリブレーションに成功したと判定した場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０６に移行する。

ステップＳ１０６で、キャリブレーション制御部３９は、２回目のキャリブレーションを開始する。すなわち、第２のオートキャリブレーション画像１２１を選択する。本実施形態では、「４×４ａ」のオートキャリブレーション画像１２１を選択する。このオートキャリブレーション画像１２１は、図８（Ｂ）に示すように、縦４行×横４列のマークが配置された画像であり、マークの配置状態（サイズ、形状、位置など）が「５×５」とは異なるオートキャリブレーション画像１２１である。また、「４×４ａ」のオートキャリブレーション画像１２１に含まれる１６のマークのそれぞれは、「５×５」のオートキャリブレーション画像１２１に含まれる２５のマークとは異なる位置に配置されている。つまり、それぞれのマークは異なる座標に対応付けられる。また、プロジェクター１０は、縦４行×横４列のマークが配置されたオートキャリブレーション画像１２１を複数記憶しており、「４×４ａ」はそのうちの１番目（ａ）のオートキャリブレーション画像１２１を指す。

キャリブレーション制御部３９は、「４×４ａ」のオートキャリブレーション画像１２１が投射部２０によってスクリーンＳＣに投射された状態で、撮像部５１により撮影を実行させる（ステップＳ１０７）。キャリブレーション制御部３９は、位置検出部５０により、撮影画像データからマークを検出させ、マークの座標を求めてキャリブレーションを実行する（ステップＳ１０８）。
ここで、キャリブレーション制御部３９は、ステップＳ１０８の処理に成功したか否かを判定する（ステップＳ１０９）。ステップＳ１０４と同様に、撮影画像データからマークを検出する処理、検出したマークを投射画像のマークと対応付ける処理、撮影画像データのマークの座標と投射画像のマークの座標とを対応付ける処理が成功したか否かを判定する。例えば、検出されたマークや対応づけられたマークの数が設定された閾値より少ない場合等に、成功しなかった（失敗した）と判定する。

キャリブレーション制御部３９は、「４×４ａ」のオートキャリブレーション画像１２１を用いたキャリブレーションに失敗したと判定した場合（ステップＳ１０９；Ｎｏ）、２回目のログとして、エラーログを記憶部１１０に保存し（ステップＳ１１０）、ステップＳ１１１に移行する。また、キャリブレーションに成功したと判定した場合（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１１に移行する。

ステップＳ１１１では１回目と２回目のキャリブレーションの結果を判定する。
１回目及び２回目の両方とも成功した場合、すなわち、ステップＳ１０４、Ｓ１０９の両方で成功と判定した場合は、キャリブレーション制御部３９はオートキャリブレーションデータ１２３を生成して（ステップＳ１１２）、本処理を終了する。

また、１回目で失敗し、２回目で成功した場合には、再度、キャリブレーションを行う。１回目は「５×５」のオートキャリブレーション画像１２１を用い、２回目では「４×４ａ」のオートキャリブレーション画像１２１を用いているから、マークが多く、細かいマークを含むオートキャリブレーション画像１２１で失敗したことになる。言い換えれば、マークの数が少ないオートキャリブレーション画像１２１では成功している。そこで、キャリブレーション制御部３９は、２回目と同じ数のマークを含む「４×４ｂ」のオートキャリブレーション画像１２１を選択する（ステップＳ１１３）。「４×４ｂ」は、「４×４ａ」と同じ４行×４列のマークを含み、マークの配置状態（サイズ、形状、位置など）が「４×４ａ」とは異なるオートキャリブレーション画像１２１である。また、「４×４ｂ」のオートキャリブレーション画像１２１に含まれる１６のマークのそれぞれは、「４×４ａ」のオートキャリブレーション画像１２１に含まれる１６のマークとは異なる位置に配置されている。つまり、それぞれのマークは異なる座標に対応付けられる。

キャリブレーション制御部３９は、「４×４ｂ」のオートキャリブレーション画像１２１が投射部２０によってスクリーンＳＣに投射された状態で、撮像部５１により撮影を実行させる（ステップＳ１１４）。キャリブレーション制御部３９は、位置検出部５０により、撮影画像データからマークを検出させ、マークの座標を求めてキャリブレーションを実行する（ステップＳ１１５）。
ここで、キャリブレーション制御部３９は、ステップＳ１１５の処理に成功したか否かを判定する（ステップＳ１１６）。ステップＳ１０４、Ｓ１０９と同様に、撮影画像データからマークを検出する処理、検出したマークを投射画像のマークと対応付ける処理、撮影画像データのマークの座標と投射画像のマークの座標とを対応付ける処理が成功したか否かを判定する。

キャリブレーション制御部３９は、「４×４ｂ」のオートキャリブレーション画像１２１を用いたキャリブレーションに失敗したと判定した場合（ステップＳ１１６；Ｎｏ）、２回目のログをエラーログで上書きする（ステップＳ１１７）。ここで、キャリブレーション制御部３９は、ステップＳ１１０で記憶部１１０に保存した２回目のログを、エラーログで上書き更新する。キャリブレーション制御部３９は、オートキャリブレーションに失敗したと判定し（ステップＳ１１８）、例えばオートキャリブレーションの失敗を投射画像等により報知して、本処理を終了する。
また、ステップＳ１１６でキャリブレーションの成功と判定した場合（ステップＳ１１６；Ｙｅｓ）、キャリブレーション制御部３９は、ステップＳ１１２に移行してオートキャリブレーションデータ１２３を生成する。

また、ステップＳ１１１において、１回目及び２回目の両方とも失敗した場合には、キャリブレーション制御部３９はステップＳ１１８に移行して、オートキャリブレーションに失敗したと判定し、本処理を終了する。

このように、キャリブレーション制御部３９は、オートキャリブレーションにおいて、少なくとも複数のオートキャリブレーション画像１２１を用いてキャリブレーションを実行する。そしてステップＳ１１２では、オートキャリブレーション画像１２１を用いた複数回のキャリブレーションを反映したオートキャリブレーションデータ１２３を生成する。例えば、１回目のキャリブレーションで生成したオートキャリブレーションデータ１２３を、２回目のキャリブレーションの結果に従って補正してもよい。また、複数回のキャリブレーションで得た座標の対応づけに関して、平均値を算出して、オートキャリブレーションデータ１２３を生成してもよい。

また、キャリブレーション制御部３９は、マークの数が多いオートキャリブレーション画像１２１を先に、マークの数が少ないオートキャリブレーション画像１２１を後に選択して、キャリブレーションを実行する。この場合、後に実行するキャリブレーションの方が成功しやすいので、キャリブレーションに失敗した場合は、マークの数が少ないオートキャリブレーション画像１２１を用いればよい。このように、成功しにくいオートキャリブレーション画像１２１を先に選択することで、処理を効率よく実行できる。

なお、図８（Ａ）、（Ｂ）の例では、複数のオートキャリブレーション画像１２１においてマークの数が異なる構成を例示したが、例えば、マークのサイズが異なる複数のオートキャリブレーション画像１２１を用いてもよい。また、マークの形状、マークの位置、マークの並び方、マーク間の間隔、マークを構成する画素数などが異なるオートキャリブレーション画像１２１を用いてもよい。また、オートキャリブレーション画像１２１及びマニュアルキャリブレーション画像１２２中のマークは、図３〜図５及び図８（Ａ）、（Ｂ）に示す模様や記号に限定されない。マークは、撮影画像データから抽出可能な、複数の画素で構成される図形であればよい。
記憶部１１０には、上述したように、マークの数が異なるオートキャリブレーション画像１２１が記憶されるが、投射部２０の投射解像度やアスペクト比に対応付けてオートキャリブレーション画像１２１を記憶してもよい。この場合、キャリブレーション制御部３９は、投射画像の解像度やアスペクト比に合わせて記憶されたオートキャリブレーション画像１２１から、マークの数等に基づきオートキャリブレーション画像１２１を選択すればよい。

一方、マニュアルキャリブレーションが選択された場合、図６のステップＳ１４で、キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２を選択する。キャリブレーション制御部３９は、選択したマニュアルキャリブレーション画像１２２を投射部２０によりスクリーンＳＣに投射する（ステップＳ１５）。マニュアルキャリブレーション画像１２２がスクリーンＳＣに投射された状態で、ユーザーは、リモコンまたは操作パネル１９の操作により、マニュアルキャリブレーション画像１２２がスクリーンＳＣの表示エリアに納まるように表示サイズや表示位置を調整してもよい。

ここで、ユーザーにより、指示体７０を用いた操作が行われる（ステップＳ１６）。
キャリブレーション制御部３９は、撮像部５１に、指示体７０の発光タイミングに同期して、指示体７０がマークを指し示している撮影画像を撮影させる。キャリブレーション制御部３９は、撮影画像データを取得して指示体７０の指示位置を検出する（ステップＳ１７。
キャリブレーション制御部３９は、位置検出部５０が検出した撮影画像データ上での指示座標と、対応するマークの投射画像上の座標とを対応付けて記憶部１１０に記憶させる（ステップＳ１８）。

キャリブレーション制御部３９は、マニュアルキャリブレーション画像１２２の全てのマークについて指示位置を検出したか否かを判定し（ステップＳ１９）、未処理のマークがある場合は（ステップＳ１９；Ｎｏ）、ステップＳ１５に戻る。
また、全てのマークの指示位置の検出が済んだ場合（ステップＳ１９；Ｙｅｓ）、キャリブレーション制御部３９は、ステップＳ１８で一時的に記憶した指示位置の座標とマークの位置とに基づき、マニュアルキャリブレーションデータ１２４を作成する（ステップＳ２０）。ここで作成されたマニュアルキャリブレーションデータ１２４は記憶部１１０に記憶される。

なお、キャリブレーション制御部３９が、指示体７０のマニュアルキャリブレーションにより、オートキャリブレーションデータ１２３と同様のデータを含むマニュアルキャリブレーションデータ１２４を生成してもよい。この場合、キャリブレーション制御部３９は、図３のステップＳ１４〜Ｓ２０の処理により、オートキャリブレーションデータ１２３と同様のマニュアルキャリブレーションデータ１２４を生成する。また、オートキャリブレーションデータ１２３とマニュアルキャリブレーションデータ１２４と同一のデータとしてもよく、この場合、ステップＳ２０で生成されるデータにより、過去に生成されたオートキャリブレーションデータ１２３が上書きされる。
この構成では、キャリブレーション制御部３９がオートキャリブレーションまたはマニュアルキャリブレーションのいずれかを実行すれば、指示体７０の指示位置の座標を求めることが可能となる。従って、図６の動作において、オートキャリブレーションデータ１２３が記憶されていない状態で、ステップＳ１２でマニュアルキャリブレーションを選択することが可能となる。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１０は、投射部２０、位置検出部５０、及び制御部３０を備える。投射部２０は、スクリーンＳＣに画像を投射する。位置検出部５０は、スクリーンＳＣを撮影した撮影画像に基づいて、スクリーンＳＣにおける操作を検出する。制御部３０は、キャリブレーション制御部３９により、位置特定用のマークが配置されたオートキャリブレーション画像１２１に基づく投射画像を撮影した撮影画像に基づいて、投射画像と撮像画像との間で位置を対応付けるキャリブレーションを実行する。また、キャリブレーション制御部３９は、マークの配置状態が異なる複数のオートキャリブレーション画像１２１に対応する撮影画像に基づき、キャリブレーションを実行する。従って、キャリブレーション制御部３９は、マークの配置状態が異なる複数のオートキャリブレーション画像１２１を用いてキャリブレーションを実行する。このため、オートキャリブレーション画像１２１のマークが微細でなくても、撮影画像における位置と投射画像における位置とを、多数の位置で対応付けることができ、位置の対応づけを高精度で行うことができる。また、オートキャリブレーション画像１２１のマークを微細にしなくて済むので、マークを確実に、容易に検出できる。従って、キャリブレーションを効率よく高精度で行うことができる。

また、キャリブレーション制御部３９は、投射画像における位置と撮影画像における位置とを対応付けるオートキャリブレーションデータ１２３を生成する。投射画像と撮影画像の位置を細かく対応付けるキャリブレーションデータが生成されるので、このキャリブレーションデータを利用して、高精度で位置検出を行うことができる。
また、キャリブレーション制御部３９は、複数のオートキャリブレーション画像１２１に対応する撮影画像に基づき、１のキャリブレーションデータを生成する。１つのオートキャリブレーション画像１２１を用いる場合に比べ、投射画像と撮影画像の位置を細かく対応付けるキャリブレーションデータを生成できる。
また、キャリブレーション制御部３９は、複数のオートキャリブレーション画像１２１に配置されるマークをそれぞれ異なる座標に対応付けてキャリブレーションデータを生成する。このため、複数のオートキャリブレーション画像１２１を用いることにより、１つのオートキャリブレーション画像１２１のマークの数よりも多数の座標で対応づけを行うことができる。従って、オートキャリブレーションデータ１２３において多数の座標で位置を対応付けることができる。このため、オートキャリブレーション画像１２１におけるマークの数に制限されず、高精細のキャリブレーションデータを生成できる。

また、キャリブレーション制御部３９は、二値またはグレースケールの撮影画像に基づきキャリブレーションデータを生成する。撮影画像のデータ量を抑制することができ、撮影画像からマークを検出する処理の負荷が軽いため、効率よくキャリブレーションを実行できる。また、二値またはグレースケールの撮影画像においてマークを検出しやすいように、オートキャリブレーション画像１２１におけるマークを少なくしても、高精細のキャリブレーションデータを生成できる。
また、キャリブレーション制御部３９は、可視光により撮影された撮影画像に基づきキャリブレーションデータを生成する。オートキャリブレーション画像１２１に基づき可視光で画像が投射され、この投射画像を可視光で撮影した撮影画像に基づいてキャリブレーションが行われる。このため、自動的に実行されるキャリブレーションの様子をユーザーが視認できる。

また、オートキャリブレーション画像１２１は、少なくとも複数の画素で構成されるマークが配置された画像である。オートキャリブレーション画像１２１に配置されるマークが面積を有するので、撮影画像からマークを容易に検出できる。また、マークの形状の変形等から、撮影画像と投射画像とを対応づける処理において、より多くの情報を得ることができる。さらに、例えば撮影画像からマークの像を抽出して、マークの重心を検出座標とすることにより、高精度でキャリブレーションを行うことができる。

なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態では、指示体７０の指示位置を検出するオートキャリブレーションに本発明を適用した場合について説明したが、指示体８０の指示位置を検出するキャリブレーションとして、オートキャリブレーションを実行し、本発明を適用することも可能である。また、指示体は、ペン型の指示体７０やユーザーの手指である指示体８０に限定されず、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。また、指示体の指示位置を検出する方法は上記実施形態の例に限定されず、可視光線、紫外線等の光線を利用してもよいし、超音波や電波等を利用してもよい。
また、上記実施形態では、プロジェクター１０から指示体７０に対し、送信部５２が発する赤外線信号を用いて指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部をプロジェクター１０に設け、同様の受信部を指示体７０に設けることで実現できる。

また、上記実施形態では、位置検出部５０は、撮像部５１によりスクリーンＳＣを撮影して指示体７０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮像部５１は、プロジェクター１０の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮像部５１をプロジェクター１０本体とは別体として配置してもよいし、撮像部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮像部５１を配置し、これら複数の撮像部５１の撮影画像データに基づいて、検出制御部３２が指示体７０、８０の位置を検出してもよい。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上記実施形態では、ユーザーが、フロントプロジェクション型のプロジェクター１０が画像を投射（表示）するスクリーンＳＣに対して、指示体７０、８０による指示操作を行う態様について説明したが、ユーザーが、プロジェクター１０以外の表示装置（表示部）が画像を表示する表示画面（表示面）に対して指示操作を行う態様であってもよい。この場合にも、光出射装置６０や撮像部５１は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター１０以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。
また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクションシステム、１０…プロジェクター（表示装置）、２０…投射部（表示部）、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…検出制御部、３３…出射制御部、３９…キャリブレーション制御部、４０…画像処理部、５０…位置検出部（検出部）、６０…光出射装置（光出射部）、７０…指示体（第２の指示体）、８０…指示体（第１の指示体）、１１０…記憶部、１２１…オートキャリブレーション画像（キャリブレーション用画像）、１２２…マニュアルキャリブレーション画像、１２３…オートキャリブレーションデータ（キャリブレーションデータ）、ＳＣ…スクリーン（投射面、表示面）。

Claims (9)

1. 投射面に画像を投射する投射部と、
   前記投射面を撮影した撮影画像に基づいて、前記投射面における操作を検出する検出部と、
   位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記投射部が投射する投射画像を撮影した撮影画像に基づいて、前記投射画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行するキャリブレーション制御部と、を備え、
   前記キャリブレーション制御部は、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、前記キャリブレーションを実行すること、
   を特徴とするプロジェクター。
2. 前記キャリブレーション制御部は、前記投射画像における位置と前記撮影画像における位置とを対応付けるキャリブレーションデータを生成すること、を特徴とする請求項１記載のプロジェクター。
3. 前記キャリブレーション制御部は、複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、１の前記キャリブレーションデータを生成すること、を特徴とする請求項２記載のプロジェクター。
4. 前記キャリブレーション制御部は、複数の前記キャリブレーション用画像に配置されるシンボルをそれぞれ異なる座標に対応付けて前記キャリブレーションデータを生成すること、を特徴とする請求項２または３記載のプロジェクター。
5. 前記キャリブレーション制御部は、二値またはグレースケールの前記撮影画像に基づき前記キャリブレーションデータを生成すること、を特徴とする請求項２から４のいずれかに記載のプロジェクター。
6. 前記キャリブレーション制御部は、可視光により撮影された前記撮影画像に基づき前記キャリブレーションデータを生成すること、を特徴とする請求項２から５のいずれかに記載のプロジェクター。
7. 前記キャリブレーション用画像は、少なくとも複数の画素で構成される前記シンボルが配置された画像であること、を特徴とする請求項１から６のいずれかに記載のプロジェクター。
8. 表示面に画像を表示する表示部と、
   前記表示面を撮影した撮影画像に基づいて、前記表示面における操作を検出する検出部と、
   位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記表示部が表示する表示画像を撮影した撮影画像に基づいて、前記表示画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行するキャリブレーション制御部と、を備え、
   前記キャリブレーション制御部は、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき、前記キャリブレーションを実行すること、
   を特徴とする表示装置。
9. 投射面に画像を投射する投射部を備えたプロジェクターの制御方法であって、
   前記投射面を撮影した撮影画像に基づいて、前記投射面における操作を検出し、
   位置特定用のシンボルが配置されたキャリブレーション用画像に基づき前記投射部が投射する投射画像を撮影した撮影画像に基づいて、前記投射画像と前記撮像画像との間で位置を対応付けるキャリブレーションを実行し、
   前記キャリブレーションを、前記シンボルの配置状態が異なる複数の前記キャリブレーション用画像に対応する前記撮影画像に基づき実行すること、
   を特徴とするプロジェクターの制御方法。

Images