JP2022133582A - 表示装置の制御方法、表示装置、および表示システム - Google Patents

Abstract

【課題】表示画像外においてなされた指示体の操作に応じて処理を実行可能な表示装置の制御方法、表示装置、表示システムを提供する。【解決手段】プロジェクター３００が表示面５００に投射した投射画像を含む範囲である第１の領域をカメラ３５０によって撮像して生成した第１の撮像画像を基に、投射画像上の位置を表すプロジェクター座標系と、撮像画像上の位置を表すカメラ座標系との対応関係を特定し、カメラ３５０が第１の領域を撮像して生成した第２の撮像画像を基に、カメラ座標系における指示体４００の指示位置を検出し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、対応関係が特定された領域内に位置する場合には、第１の処理を実行し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、対応関係が特定されていない領域内に位置する場合には、第２の処理を実行する。【選択図】図１

Description

本発明は、表示装置の制御方法、表示装置、および表示システムに関する。

特許文献１には、表示画面上における指示体の指示位置を検出可能な表示装置において、検出した表示画面上における指示位置に所定の画像を表示させる技術が提案されている。

特開２０１６－１０５２６４号公報

しかしながら、特許文献１に記載の表示装置では、表示装置が表示する表示画像上において指示体によりなされた操作に応じて処理が行われるが、表示画像外においてなされた指示体の操作については一切考慮されていない。そのため、表示画像外においてなされた指示体の操作は活用されてこなかった。

表示装置の制御方法は、指示体による入力操作を検出する表示装置の制御方法であって、前記表示装置が表示面に表示した表示画像を含む第１の領域をカメラによって撮像して生成した撮像画像である第１の撮像画像を基に、前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定し、前記対応関係を特定した後に、前記カメラが前記第１の領域を撮像して生成した前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出し、前記指示体による前記入力操作を検出し、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、前記第１の処理とは異なる第２の処理を実行する。

表示装置は、指示体による入力操作を検出する表示装置であって、表示面に表示画像を表示する表示部と、前記表示面を含む第１の領域を撮像し撮像画像を生成するカメラと、前記撮像画像である第１の撮像画像を基に、前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部と、前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出する位置検出部と、前記指示体による前記入力操作を検出する操作検出部と、処理実行部とを備え、前記処理実行部は、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、第２の処理を実行する。

表示システムは、指示体による入力操作を検出する表示システムであって、前記表示システムは、表示面に表示画像を表示する表示装置と、前記表示画像を含む第１の領域を撮像して撮像画像を生成するカメラとを備え、前記カメラは、前記第１の領域を撮像して撮像画像を生成する撮像部と、前記撮像画像を前記表示装置に送信する送信部と、を備え、前記表示装置は、前記カメラから前記撮像画像を受信する受信部と、前記撮像画像である第１の撮像画像を基に、前記表示部が表示する前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部と、前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出する位置検出部と、前記指示体による前記入力操作を検出する操作検出部と、処理実行部と、を備え、前記処理実行部は、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、第２の処理を実行する。

実施形態１に係る表示システムの概要を示す図。 ＰＣの機能を示す図。 プロジェクターの機能を示す図。 描画部が扱う画像の一例を示す図。 描画部が扱う画像の一例を示す図。 描画部が扱う画像の一例を示す図。 特定部が扱う画像の一例を示す図。 特定部が扱う画像の一例を示す図。 特定部が扱う画像の一例を示す図。 プロジェクターの動作内容を示すフローチャート。 キャリブレーション処理の処理内容を示すフローチャート。 インタラクティブ操作処理の処理内容を示すフローチャート。 第１の処理の処理内容を示すフローチャート。 第２の処理の処理内容を示すフローチャート。 実施形態２に係る表示システムの機能を示す図。 プロジェクターおよびカメラの動作内容を示すフローチャート。 キャリブレーション処理の処理内容を示すフローチャート。 撮像処理の処理内容を示すフローチャート。 インタラクティブ操作処理の処理内容を示すフローチャート。

以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

＜実施形態１＞
図１は、実施形態１に係る表示システム１００の概要を示す。表示システム１００は、ＰＣ２００、プロジェクター３００、指示体４００、および表示面５００を含む。ＰＣ２００は、文書作成アプリケーションや画像閲覧アプリケーションなどを実行可能な一般的なパーソナルコンピューターである。ＰＣ２００は、表示面５００に表示すべき画像のデータをＰＣ２００に接続されたプロジェクター３００に供給する。ＰＣ２００は、外部の装置の一例である。プロジェクター３００は、一般的なプロジェクターとしての機能を有し、ＰＣ２００から供給された画像データに基づく画像を表示面５００に投射する。プロジェクター３００は、表示装置の一例である。表示面５００は、専用のスクリーンまたは壁面である。

指示体４００は、ユーザーによって把持される電子ペン等の入力デバイス、あるいはユーザー自身の手や指である。本実施形態における指示体４００は、ユーザーの指である指示体４００－２、および当該ユーザーが使用する電子ペンである指示体４００－１を含む。ここで、指示体４００として、指示体４００－１だけが使用可能である構成としてもよいし、指示体４００－２だけが使用可能である構成としてもよい。指示体４００によって表示システム１００を操作することを、以降はインタラクティブ操作と称する。

プロジェクター３００は、ユーザーが指示体４００を用いて表示面５００内の位置を指示すると、指示体４００の指示位置に応じて、表示面５００上に、ＰＣ２００から供給される画像データに基づく画像に重ねて画像オブジェクトを描画したり、ＰＣ２００で動作しているアプリケーションプログラムに当該位置に対応する動作を実現させたりすることができる。画像オブジェクトは、例えば、指示体４００の指示位置にプロットされた点を示す画像である。また、検出した複数の指示体４００の指示位置間を結ぶ線分を示す画像を用いても良い。画像オブジェクトは所定の画像の一例である。また、指示体４００の「指示位置」とは指示体４００が表示面５００を指し示した位置のことを言う。

図２は、ＰＣ２００の機能を示す。ＰＣ２００は、通信部２１０、画像処理部２４０、制御部２３０、表示部２６０、記憶部２５０、入力部２２０を含む。
通信部２１０は、通信インターフェイスであって、送信部２１１および受信部２１２を含む。送信部２１１は、画像処理部２４０から供給された第１画像データＩＳ１をプロジェクター３００に送信する。受信部２１２は、プロジェクター３００から、指示位置の座標を含む操作情報Ｄｐを受信して制御部２３０に供給する。操作情報Ｄｐは、指示位置情報または符号情報の一例である。通信部２１０は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、通信部２１０は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、ＨＤＭＩ（登録商標）等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。

制御部２３０は、ＣＰＵ（Central Processing Unit）等のプロセッサーによって実現され、文書作成アプリケーションや画像閲覧アプリケーションなどの各種アプリケーションプログラムを実行する。さらに、制御部２３０は、受信部２１２から操作情報Ｄｐを取得すると、操作情報Ｄｐに含まれる座標を当該アプリケーションプログラムに引き渡す。この座標に基づいて、アプリケーションプログラムに規定された動作（ページの切替え、拡大・縮小、画面のスクロールなど）が特定される。そして、制御部２３０は、特定された動作が画面の更新を伴うものである場合は、画面の更新の命令を画像処理部２４０に出力する。

画像処理部２４０は、画像処理プロセッサーや画像処理回路によって実現され、制御部２３０から供給される命令に基づいて、アプリケーションの実行結果等を表す第１画像データＩＳ１を生成する。生成された第１画像データＩＳ１は、表示部２６０および送信部２１１に供給される。表示部２６０は、液晶ディスプレイ等の表示装置であって、第１画像データＩＳ１に基づく第１画像ＩＭ１を表示する。入力部２２０はキーボードやマウスなどの入力装置であって、ユーザーの指示や命令を制御部２３０に入力する。記憶部２５０は、ハードディスクや半導体メモリー等の記憶装置であって、制御部２３０で実行されるＯＳやアプリケーションプログラムなどを格納する。

図３は、プロジェクター３００の機能を示す。プロジェクター３００は、ＰＣ２００から供給される第１画像データＩＳ１に基づいた第１画像ＩＭ１を表示面５００に投射する。具体的には、プロジェクター３００は、制御部３１０、投射部３２０、通信部３３０、描画部３４０、カメラ３５０、記憶部３６０を含む。

制御部３１０は、ＣＰＵ等のプロセッサーによって実現され、所定の制御プログラム３７０を実行することにより、プロジェクター３００の各部を制御する。記憶部３６０は、半導体メモリーやハードディスク等の記憶装置であって、制御部３１０が実行する制御プログラム３７０や、後述するキャリブレーションデータ３８０、キャリブレーション画像３９０、および、制御部３１０が処理するデータを不揮発的に記憶する。
制御部３１０は、プロジェクター３００の電源をオン／オフする指示を受け付けた場合には、図示しない電源部を制御し、プロジェクター３００の電源をオン／オフする。プロジェクター３００の電源をオン／オフする指示は、例えば、電源をオン／オフする機能が割り当てられた図示しないリモコンのボタンや操作パネルの操作によって行われる。

制御部３１０は、記憶部３６０に記憶された制御プログラム３７０を読み出して実行することにより、投射制御部３１１、撮像制御部３１２、特定部３１３、位置検出部３１４、操作検出部３１５、処理実行部３１６の機能を実現し、プロジェクター３００の各部を制御する。

投射部３２０は、光源部３２１、光変調装置３２２、および投射光学系３２３を有し、表示面５００に画像を表示する。投射部３２０は、表示部の一例である。光源部３２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部３２１は、光源が発した光を光変調装置３２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるための図示しないレンズ群、偏光板、或いは光源が発した光の光量を光変調装置３２２に至る経路上で低減させる調光素子等を備えていてもよい。

光変調装置３２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調し画像光を生成する。光源部３２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３２３に射出される。

投射光学系３２３は、光変調装置３２２により変調された画像光を表示面５００方向へ導き、表示面５００上に結像させるレンズ群を備える。また、投射光学系３２３は、投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター３００が短焦点型である場合、投射光学系３２３に、画像光を表示面５００に向けて反射する凹面鏡を備えていてもよい。

通信部３３０は、通信インターフェイスであって、送信部３３１および受信部３３２を含む。送信部３３１は、制御部３１０から供給された操作情報ＤｐをＰＣ２００に送信する。受信部３３２は、ＰＣ２００から第１画像データＩＳ１を受信して描画部３４０に供給する。通信部３３０は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、通信部３３０は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、ＨＤＭＩ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等に準拠したものが挙げられる。

描画部３４０は、描画処理プロセッサーよって実現され、通信部３３０より供給された第１画像データＩＳ１を処理して生成した画像データを、投射部３２０へ出力する。描画部３４０が実行する処理は、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。描画部３４０は、制御部３１０により指定された処理を実行し、必要に応じて、制御部３１０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。また、描画部３４０は、制御部３１０から供給された操作情報Ｄｐに基づいて、第２画像ＩＭ２を表す第２画像データＩＳ２を生成する。ここで、第２画像ＩＭ２とは、操作情報Ｄｐに含まれる指示位置に、上述した画像オブジェクトを描画した画像である。そして、描画部３４０は、通信部３３０から供給された第１画像データＩＳ１と該生成された第２画像データＩＳ２とを合成することで、第３画像データＩＳ３を生成する。生成した該第３画像データＩＳ３を投射部３２０へ出力することで、第３画像データＩＳ３に基づく第３画像ＩＭ３が表示面５００上に投射される。すなわち、表示面５００上には、ＰＣ２００から受信した第１画像データＩＳ１に基づく第１画像ＩＭ１と、操作情報Ｄｐに基づいて生成された第２画像データＩＳ２に基づく第２画像ＩＭ２とが表示される。

図４Ａ～図４Ｃは、描画部３４０が扱う画像である第１画像ＩＭ１、第２画像ＩＭ２、および第３画像ＩＭ３の一例を示す図である。図４Ａは、ＰＣ２００から受信した第１画像データＩＳ１に基づく第１画像ＩＭ１を示す。図４Ｂは、操作情報Ｄｐに基づいて生成された第２画像ＩＭ２を示す。図４Ｃは、第１画像ＩＭ１上に第２画像ＩＭ２を合成することで生成される第３画像ＩＭ３を示す。
これに加えて、描画部３４０は、指示体４００を用いて第２画像ＩＭ２の色や線の太さといった属性を指定・変更するためのメニュー画像などを表す画像データと、第１画像データＩＳ１または第３画像データＩＳ３とを合成して生成した画像データを投射部３２０へ出力し、表示面５００上に合成表示してもよい。

図３に戻り、カメラ３５０は、図示しない撮像光学系、撮像素子、インターフェイス回路等を有し、投射光学系３２３の投射方向を撮像して撮像画像を生成する。カメラ３５０の撮像光学系は、投射光学系３２３と略同じ方向を向いて配置され、投射光学系３２３が表示面５００上に画像を投射する範囲を撮像可能な画角を有する。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。カメラ３５０は、撮像素子に入射する光の一部を遮るフィルターを備えてもよく、例えば、赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。また、カメラ３５０のインターフェイス回路は、撮像素子の検出値を読み出して出力する。カメラ３５０が撮像する領域、すなわち表示面５００上に画像を投射する範囲を含む領域は、第１の領域の一例である。

制御部３１０に備わる投射制御部３１１は、投射部３２０を制御し、描画部３４０から入力される画像データに応じた画像を、表示面５００に投射させる。投射制御部３１１は、描画部３４０を制御して、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１１は、描画部３４０の処理に合わせて光源部３２１を制御し、光源部３２１の光量を制御する。

撮像制御部３１２は、カメラ３５０により撮像を実行させて、撮像画像データＤｆを生成させる。撮像素子が可視光による撮像を行うと、撮像画像データＤｆに基づく撮像画像には、表示面５００上に投射された画像が写る。例えば、後述するキャリブレーション画像３９０は、可視光で撮像される。また、撮像制御部３１２は、上記のようにカメラ３５０により赤外光を撮影させる。この場合の撮影画像には、後述する指示体４００に赤外光が反射した反射光が写る。

特定部３１３は、投射部３２０が表示面５００上に投射する投射画像上の位置を表すプロジェクター座標系と、カメラ３５０によって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、対応関係を示すキャリブレーションデータ３８０を生成する。キャリブレーションデータ３８０は、具体的には、撮像画像上の座標と投射画像上の座標とを１対１で対応付けるテーブルである。また、撮像画像上の座標を投射画像上の座標に変換する関数や行列であってもよい。この対応関係を特定する処理のことを、以降はキャリブレーションと称する。プロジェクター座標系は、表示装置座標系の一例である。

特定部３１３は、キャリブレーションとして、表示面５００にキャリブレーション用の画像であるキャリブレーション画像３９０を投射させ、表示面５００をカメラ３５０に撮像させて、撮像画像データＤｆを用いてキャリブレーションデータ３８０を生成する。キャリブレーション画像３９０は、表示画像の一例である。特定部３１３は、プロジェクター３００の電源がオンされた際に、記憶部３６０を参照し、キャリブレーションデータ３８０が記憶されているか否かを判定し、キャリブレーションデータ３８０が記憶されていないこと、すなわちキャリブレーションが実行されていないと判定した場合に、キャリブレーションを実行する。また、特定部３１３は、キャリブレーションデータ３８０が既に記憶部３６０に記憶されている場合、ユーザーにキャリブレーションを再度実行するか否かを問う確認画面を投射制御部３１１を介して表示面５００に表示させる。そして、特定部３１３は、図示しないリモコンまたは操作パネルの操作により、再度のキャリブレーションの実行がユーザーによって指示された場合に、キャリブレーションを実行する。また、プロジェクター３００が起動後に毎回キャリブレーションを実施する設定が記憶部３６０に記憶されている場合には、特定部３１３はプロジェクター３００の電源オン直後等の動作開始時に毎回行ってもよい。キャリブレーションで投射されるキャリブレーション画像３９０は、予め記憶部３６０に記憶されている。

図５Ａ～図５Ｃは、特定部３１３が扱う画像の一例を示す図である。
図５Ａは、キャリブレーション画像３９０の一例を示す。キャリブレーション画像３９０には、複数のマークが所定の間隔で配置されている。本実施形態では、複数のマークは、マトリクス状に配列されている。キャリブレーション画像３９０中のマークは、撮像画像データＤｆから検出可能な図形や記号であり、その形状やサイズは特に限定されない。
図５Ｂは、表示面５００に投射されたキャリブレーション画像３９０をカメラ３５０により撮像した撮像画像ＣＡの一例を示す。キャリブレーション画像３９０を投射する投射光学系３２３の光学系とカメラ３５０の光学系が一致していないことから、カメラ３５０の撮像画像ＣＡに写るキャリブレーション画像３９０は歪んだ形状となる。図５Ａには、等間隔でマークが並ぶ矩形のキャリブレーション画像３９０を例示したが、図５Ｂの撮像画像ＣＡでは歪んだ形状のキャリブレーション画像３９０が写っており、この画像の内部に並ぶマークの間隔は、マークの位置によって異なっている。

特定部３１３は、投射制御部３１１の機能により、記憶部３６０に記憶されたキャリブレーション画像３９０に基づいて、描画部３４０及び投射部３２０を動作させて、キャリブレーション画像３９０を表示面５００に投射させる。特定部３１３は、撮像制御部３１２を制御してカメラ３５０に撮像を実行させ、撮像画像データＤｆを取得する。特定部３１３は、撮像画像データＤｆが表す撮像画像ＣＡからマークを検出し、各マークの重心位置をマークの座標値として取得する。特定部３１３は、撮像画像ＣＡから検出されたマークと、キャリブレーション画像３９０のマークとを対応付ける。表示面５００に投射されたキャリブレーション画像３９０を撮像した撮像画像データＤｆに基づく撮像画像ＣＡは、第１の撮像画像の一例である。

特定部３１３は、撮像画像ＣＡにおけるマークの座標値と、キャリブレーション画像３９０におけるマークの座標値とを対応付けることにより、テーブル形式または関数形式のキャリブレーションデータ３８０を作成する。キャリブレーション画像３９０におけるマークの座標値は、予めキャリブレーション画像３９０とともに、或いはキャリブレーション画像３９０に含まれて記憶部３６０に記憶されている。特定部３１３は、既にキャリブレーションデータ３８０が記憶されている場合、このキャリブレーションデータ３８０を更新する。特定部３１３は、キャリブレーション画像３９０の１つのマークについて、１つの座標を対応付ける。従って、多数のマークを含むキャリブレーション画像３９０を用いた場合、表示面５００の投射範囲の多数の座標について、対応づけを行うことができる。
キャリブレーションでは、カメラ３５０が可視光を受光して撮像を行う。このため、撮像制御部３１２が出力する撮像画像データＤｆはカラー画像データとすることも、モノクロ画像データとすることもできる。本実施形態では、特定部３１３は、カメラ３５０の撮像画像データＤｆとして、モノクロ二値の画像データ、または、明度の情報を有し色情報を含まないグレースケールの画像データを処理する。ここで、撮像制御部３１２が、特定部３１３の制御に従って、モノクロ二値またはグレースケールの画像データを出力してもよい。

ここで、図５Ｂを参照すると、表示面５００に投射されたキャリブレーション画像３９０をカメラ３５０により撮像した撮像画像ＣＡ内に、キャリブレーション画像３９０が写る領域と、キャリブレーション画像３９０が写らない領域の、２つの領域が存在する。キャリブレーション画像３９０が写る領域は、前述のキャリブレーションデータ３８０により、プロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１である。この、対応領域Ａ１は、第２の領域の一例である。一方、キャリブレーション画像３９０が写らない領域は、投射部３２０が表示面５００上に投射する投射画像が含まれない領域を示し、プロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２である。この、非対応領域Ａ２は、第３の領域の一例である。

図５Ｃは、図５Ｂに示した撮像画像ＣＡにおいて、対応領域Ａ１と、非対応領域Ａ２とを示したものである。図５Ｃにおいて着色された領域は、撮像画像ＣＡにおいて、キャリブレーション画像３９０が写る領域、即ち対応領域Ａ１を示し、図５Ｃにおいて白色の領域は、撮像画像ＣＡにおいて、キャリブレーション画像３９０が写らない領域、すなわち非対応領域Ａ２を示す。なお、本実施形態では、マトリクス状に配置された複数のマークのうち、最外周に配置されたマークから所定距離だけ外側に、対応領域Ａ１と非対応領域Ａ２の境界線があるものとして定められている。

図３に戻り、位置検出部３１４は、撮像画像データＤｆに基づいて、表示面５００上の指示体４００による指示位置を検出する。そして、該位置のカメラ座標系における座標を算出するとともに、該位置を指定したのが指示体４００－１か指示体４００－２かを判別する。

指示体４００の位置の特定については、プロジェクター３００に光源を設け、赤外光を表示面５００に向けて照射し、指示体４００－１および指示体４００－２の存在およびその指し示す位置を特定する方法を採用することができる。位置検出部３１４は、赤外光が表示面５００に向けて照射されている状態で、撮像制御部３１２を制御してカメラ３５０に撮像を実行させ、撮像画像データＤｆを取得する。位置検出部３１４は、この撮像画像データＤｆを解析することで指示体４００に赤外光が反射した反射光を検出し、この反射光を検出した位置を、表示面５００上の指示体４００による指示位置として検出する。指示体４００に赤外光が反射した反射光が写った撮像画像は、第２の撮像画像の一例である。
上記光源として、光源部３２１を採用しても良いし、光源部３２１とは別の光源を備える構成としても良い。例えば、赤外光を発する固体光源を備え、固体光源が発する赤外光を、平行化レンズ及びパウエルレンズによって拡散し、表示面５００に沿った光の面を形成するものや、複数の固体光源を備え、これら複数の固体光源が発する光をそれぞれ拡散させることによって、表示面５００を覆うように光の層を形成するものを採用できる。
あるいは、各指示体４００－１に赤外光を発するＬＥＤ（Light Emitting Diode）等の発光機構を設ける一方、撮像制御部３１２を制御してカメラ３５０に表示面５００を断続的に撮像させ、得られた撮像画像を逐次解析することで、各指示体４００の指示位置を特定してもよい。

各指示体４００の判別方法については、カメラ３５０によって撮像した撮像画像に写る反射光の特性に基づいて指示体４００の形状を特定する方法を採用することができる。または、形状が同一の指示体４００－１を判別する必要がある場合は、例えば各指示体４００－１に固有のＩＤ（identification）を無線送信する機能を設け、通信部３３０にＩＤを受信させることによって行ってもよい。この場合、その存在および指示位置は確認できるが固有のＩＤが受信できない場合は、その指示体４００は、指、すなわち指示体４００－２であると判定する。あるいは、指示体４００－１ごとに異なる波長の光を発光させ、受信した光の波長に基づいて各指示体４００－１を判別したり、指示体４００－１ごとに異なるパターンで発光させ、受信した発光パターンに基づいて各指示体４００－１を判別してもよい。

操作検出部３１５は、指示体４００による入力操作を検出する。入力操作は、指示体４００が表示面５００に所定距離近づいたことを契機として検出される。例えば、カメラ３５０により表示面５００を断続的に撮像したことで得られる撮像画像から、表示面５００に沿って形成された光の面を指示体４００が遮ったことを検出した場合に、これを契機として入力操作を検出する構成とすることができる。
また、図１に示すように、指示体４００－１にスイッチ４０１を設け、このスイッチ４０１が押下された場合に、入力操作を検出したことを示す検出信号を指示体４００－１からプロジェクター３００へ送信させ、検出信号の受信を契機として指示体４００－１の入力操作を検出する構成としても良い。この場合、指示体４００－１に無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の無線通信インターフェイスを設け、無線通信により検出信号を通信部３３０に送信する構成としても良い。また、指示体４００－１にＬＥＤ等の発光機構を設け、スイッチ４０１が押下されたタイミングで、発光機構を特定の発光様態で発光させ、カメラ３５０により表示面５００を断続的に撮像したことで得られる撮像画像から、指示体４００－１の特定の発光様態による発光を検出したことを契機として、指示体４００－１による入力操作を検出する構成としても良い。

スイッチ４０１は、指示体４００－１の先端に設けられ、指示体４００－１の先端を表示面５００に押し付ける操作をユーザーが行うことで、スイッチ４０１の押下が検出される。スイッチ４０１は、指示体４００－１の先端に限らず、側面に備えられても良い。また、スイッチ４０１は、押し動作または引き動作によって接点の開閉を行う物理的な操作スイッチを採用しても良いし、接触の圧力によって抵抗値が変化することで圧力を検出する感圧式のセンサを採用しても良い。

処理実行部３１６は、指示体４００について、その入力機能を設定する。具体的には、プロジェクター３００は描画モードとマウスモードの２つのモードを備えている。描画モードで動作する場合は、処理実行部３１６は、指示体４００を、プロジェクター３００における第２画像ＩＭ２の描画に関する指示を入力するデバイス、または、第２画像ＩＭ２の描画処理以外の、後述する所定の処理をプロジェクター３００に実行させる指示を入力するデバイスとして機能させる。一方、マウスモードで動作する場合は、処理実行部３１６は、指示体４００を、ＰＣ２００で処理させるための指示を入力するデバイスとして機能させる。
描画モードは第１モードの一例であり、マウスモードは第２モードの一例である。

また処理実行部３１６は、操作検出部３１５が指示体４００による入力操作を検出した場合に、位置検出部３１４が検知した指示体４００の指示位置に応じて異なる処理を実行する。具体的には、位置検出部３１４が検知した指示体４００の指示位置がプロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１に含まれる場合は、処理実行部３１６は、位置検出部３１４が検出したカメラ座標系における指示位置を、キャリブレーションデータ３８０に基づいて、プロジェクター座標系における指示位置に変換し、この指示位置を含む操作情報Ｄｐを生成する。そして、プロジェクター３００が描画モードで動作する場合には、操作情報Ｄｐを描画部３４０へ送信し、プロジェクター３００がマウスモードで動作する場合には、通信部３３０を制御することにより操作情報ＤｐをＰＣ２００に送信する。検知した指示体４００の指示位置が、対応領域Ａ１に含まれる場合に行われる上記の一連の処理は、第1の処理の一例である。

一方、位置検出部３１４が検知した指示体４００の指示位置がプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２に含まれる場合は、処理実行部３１６は、予め設定された所定の処理を実行する。例えば、所定の処理として、プロジェクター３００が描画モードで動作する場合には、指示体４００によって描画した第２画像ＩＭ２の属性の変更を受け付けるメニュー画像を重畳した画像を、描画部３４０および投射制御部３１１を制御することにより、表示面５００に投射させる。また、所定の処理として、プロジェクター３００がマウスモードで動作する場合には、ＰＣ２００が受け付け可能なキーボードの特定キーのスキャンコードを含む操作情報Ｄｐを生成し、通信部３３０を制御することにより操作情報ＤｐをＰＣ２００に送信する。ここで特定キーは、例えば、Ｅｎｔｅｒキーを設定することができる。また、特定キーはＥｎｔｅｒキーに限らず、任意のキーを設定することができる。
ここで、所定の処理は、上記の処理に限定されない。例えば、プロジェクター３００の電源をオフにする処理や、描画した第２画像ＩＭ２に基づく第２画像データＩＳ２を記憶部３６０に保存する処理を割り当てても良い。また、所定の処理は、工場出荷時に設定された処理であっても良いし、ユーザーの操作によって選択された処理であっても良い。
上記した所定の処理は、第２の処理の一例である。

図６は、プロジェクター３００の動作内容を示すフローチャートである。
プロジェクター３００は、電源がオンされてから、キャリブレーション処理（ステップＳ１）、インタラクティブ操作処理（ステップＳ２）を順次実行する。
図７は、キャリブレーション処理（ステップＳ１）の処理内容を示す。
特定部３１３は、記憶部３６０を参照し、キャリブレーション済みか否か、すなわちキャリブレーションデータ３８０が記憶部３６０に記憶されているかを否か判定する（ステップＳ１１）。記憶部３６０にキャリブレーションデータ３８０が記憶されていると判定した場合（ステップＳ１１；ＹＥＳ）、特定部３１３は、再度キャリブレーションを実施するか否かを問う確認画面を、投射制御部３１１を制御して表示面５００に投射させ、ユーザーによる操作を受け付ける（ステップＳ１２）。受け付けたユーザーの操作が、再度のキャリブレーションの実行を示すものではない場合（ステップＳ１２；ＮＯ）、本処理を終了する。一方、受け付けたユーザーの操作が、再度のキャリブレーションの実行を示すものである場合（ステップＳ１２；ＹＥＳ）、または、記憶部３６０にキャリブレーションデータ３８０が記憶されていないと判定した場合（ステップＳ１１；ＮＯ）、ステップＳ１３に移行する。

特定部３１３は、記憶部３６０からキャリブレーション画像３９０を読み出し、投射制御部３１１を制御してキャリブレーション画像３９０を表示面５００に投射させる（ステップＳ１３）。特定部３１３は、撮像制御部３１２を制御して表示面５００に表示されたキャリブレーション画像３９０を撮像した撮像画像を、第１の撮像画像として取得する（ステップＳ１４）。特定部３１３は、キャリブレーション画像３９０と、取得した第１の撮像画像とに基づき、プロジェクター座標系とカメラ座標系との対応関係を特定し（ステップＳ１５）、特定した対応関係を示すキャリブレーションデータ３８０を記憶部３６０に記憶して（ステップＳ１６）、キャリブレーション処理（ステップＳ１）を終了する。

図６に戻り、キャリブレーション処理（ステップＳ１）終了後、プロジェクター３００は、インタラクティブ操作処理（ステップＳ２）を実行する。
図８は、インタラクティブ操作処理（ステップＳ２）の処理内容を示す。
位置検出部３１４は、撮像制御部３１２を制御して表示面５００上を指示する指示体４００を撮像した撮像画像を、第２の撮像画像として取得する（ステップＳ２１）。位置検出部３１４は、取得した第２の撮像画像に基づき、指示体４００の指示位置を検出する（ステップＳ２２）。指示体４００の指示位置を検出後、操作検出部３１５は、指示体４００による入力操作を検出したか否かを判定する（ステップＳ２３）。指示体４００による入力操作が検出されなかったと判定した場合（ステップＳ２３；ＮＯ）、ステップＳ２７に移行する。指示体４００による入力操作が検出されたと判定した場合（ステップＳ２３；ＹＥＳ）、処理実行部３１６は、検出した指示体４００の指示位置が投射範囲内であるか否か、換言するとプロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１に含まれるか否かを判定する（ステップＳ２４）。

ステップＳ２４にて、検出した指示体４００の指示位置が対応領域Ａ１に含まれると判定された場合（ステップＳ２４；ＹＥＳ）、処理実行部３１６は、第１の処理を実行する（ステップＳ２５）。
図９は、第１の処理（ステップＳ２５）の処理内容を示す。
処理実行部３１６は、第１の処理が開始されると、位置検出部３１４が検出したカメラ座標系における指示位置を、記憶部３６０から読み出したキャリブレーションデータ３８０に基づいて、プロジェクター座標系における指示体４００の指示位置に変換し、この指示位置を含む操作情報Ｄｐを生成する（ステップＳ２５１）。続いて、処理実行部３１６は、プロジェクター３００の動作モードがマウスモードであるか否かを判定する（ステップＳ２５２）。プロジェクター３００の動作モードがマウスモードであると判定された場合（ステップＳ２５２；ＹＥＳ）、処理実行部３１６は、通信部３３０を制御することにより、生成した操作情報ＤｐをＰＣ２００に送信し（ステップＳ２５３）、第１の処理（ステップＳ２５）を終了する。

一方、ステップＳ２５２にて、プロジェクター３００の動作モードが描画モードであると判定された場合、すなわち、プロジェクター３００の動作モードがマウスモードではないと判定された場合（ステップＳ２５２；ＮＯ）、処理実行部３１６は、操作情報Ｄｐを描画部３４０へ出力する（ステップＳ２５４）。描画部３４０は、入力された操作情報Ｄｐに基づいて、第２画像データＩＳ２を生成し、生成した第２画像データＩＳ２を重畳した画像データを投射部３２０へ出力することで、第２画像ＩＭ２を表示面５００上に投射させ（ステップＳ２５５）、第１の処理（ステップＳ２５）を終了する。

図８に戻り、ステップＳ２４にて、検出した指示体４００の指示位置が対応関係が特定された対応領域Ａ１に含まれないと判定された場合（ステップＳ２４；ＮＯ）、処理実行部３１６は第１の処理とは異なる第２の処理を実行する（ステップＳ２６）。
図１０は、第２の処理（ステップＳ２６）の処理内容を示す。
処理実行部３１６は、第２の処理が開始されると、プロジェクター３００の動作モードがマウスモードであるか否かを判定する（ステップＳ２６１）。プロジェクター３００の動作モードがマウスモードであると判定された場合（ステップＳ２６１；ＹＥＳ）、処理実行部３１６は、キーボードのキーのうち、予め設定された特定キーであるＥｎｔｅｒキーのスキャンコードを含む操作情報Ｄｐを生成する（ステップＳ２６２）。処理実行部３１６は、通信部３３０を制御することにより、生成した操作情報ＤｐをＰＣ２００に送信し（ステップＳ２６３）、第２の処理（ステップＳ２６）を終了する。

一方、ステップＳ２６１にて、プロジェクター３００の動作モードが描画モードであると判定された場合、すなわち、プロジェクター３００の動作モードがマウスモードではないと判定された場合（ステップＳ２６１；ＮＯ）、処理実行部３１６は、描画部３４０および投射制御部３１１を制御することにより、投射される第２画像ＩＭ２の属性の変更を受け付けるメニュー画像を重畳した画像を、表示面５００に投射させ（ステップＳ２６４）、第２の処理（ステップＳ２６）を終了する。

図８に戻り、ステップＳ２５である第１の処理、または、ステップＳ２６である第２の処理が終了した場合、ステップＳ２７に移行する。
ステップＳ２７では、制御部３１０は、プロジェクター３００の電源をオフする指示を受け付けたか否かを判定する（ステップＳ２７）。プロジェクター３００の電源をオフする指示を受け付けた場合（ステップＳ２７；ＹＥＳ）、図６に戻り、インタラクティブ操作処理（ステップＳ２）を終了する。一方、プロジェクター３００の電源をオフする指示を受け付けていない場合（ステップＳ２７；ＮＯ）、再度ステップＳ２１以降の処理を実行する。

以上説明したように、本発明を適用した実施形態に係るプロジェクター３００の制御方法は、プロジェクター３００が表示面５００に投射した投射画像を含む範囲である第１の領域をカメラ３５０によって撮像して生成した撮像画像である第１の撮像画像を基に、投射画像上の位置を表すプロジェクター座標系と、カメラ３５０によって撮像される撮像画像上の位置を表すカメラ座標系との対応関係を特定し、該対応関係を特定した後に、カメラ３５０が第１の領域を撮像して生成した撮像画像である第２の撮像画像を基に、カメラ座標系における指示体４００の指示位置を検出し、指示体４００による入力操作を検出し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１内に位置する場合には、第１の処理を実行し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内に位置する場合には、第１の処理とは異なる第２の処理を実行する。従って、従来活用されてこなかったプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内への入力操作により第２の処理が実行されるため、ユーザーの利便性が向上する。

また、指示体４００による入力操作が検出され、カメラ座標系における指示位置が、プロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内に位置する場合、カメラ座標系における指示位置を、対応関係に基づいてプロジェクター座標系における位置に変換した位置の情報を含む操作情報Ｄｐを生成し、操作情報Ｄｐが表す表示面５００上の位置に所定の画像を投射することを第１の処理として実行しても良い。従って、ユーザーがプロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内で行った指示操作に応じて、所定の画像を直感的に描画できる。

また、指示体４００による入力操作が検出され、カメラ座標系における指示位置が、プロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内に位置する場合、カメラ座標系における指示位置を、対応関係に基づいてプロジェクター座標系における位置に変換した位置の情報を含む操作情報Ｄｐを生成し、操作情報ＤｐをＰＣ２００に送信することを第１の処理として実行しても良い。従って、ユーザーがプロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内で行った指示操作による指示位置の情報を、プロジェクター３００とは別の外部のＰＣ２００に送信することができる。

また、指示体４００による入力操作が検出され、カメラ座標系における指示位置が、プロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内に位置する場合、カメラ座標系における指示位置を、対応関係に基づいてプロジェクター座標系における位置に変換した位置の情報を含む操作情報Ｄｐを生成し、プロジェクター３００が描画モードで動作する場合、操作情報Ｄｐが表す表示面５００上の位置に所定の画像を投射することを第１の処理として実行し、プロジェクター３００が描画モードとは異なるマウスモードで動作する場合、操作情報ＤｐをＰＣ２００に送信することを第１の処理として実行しても良い。従って、ユーザーがプロジェクター座標系とカメラ座標系との対応関係が特定されている対応領域Ａ１内で行った指示操作に応じて、プロジェクター３００の投射画像上に所定の画像を描画するか、プロジェクター３００とは別の外部のＰＣ２００へ指示位置の情報を送信するかを切り替えることができ、ユーザーに様々な使用用途を提案できる。

また、指示体４００による入力操作が検出され、カメラ座標系における指示位置が、プロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内に位置する場合、キーボードのキーのうち、予め定めた特定キーのスキャンコードを含む操作情報ＤｐをＰＣ２００に送信することを第２の処理として実行しても良い。従って、プロジェクター３００が投射画像を投射する表示面５００とキーボードが離れて置かれているような状況であっても、予め定めたキーの入力操作を、プロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内を指示した状態での入力操作によって行うことができる。

また、本発明を適用した実施形態に係るプロジェクター３００は、指示体４００による入力操作を検出するプロジェクターであって、表示面５００に投射画像を投射する投射部３２０と、表示面５００を含む領域である第１の領域を撮像し撮像画像を生成するカメラ３５０と、撮像画像である第１の撮像画像を基に、投射画像上の位置を表すプロジェクター座標系と撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部３１３と、撮像画像である第２の撮像画像を基に、カメラ座標系における指示体４００の指示位置を検出する位置検出部３１４と、指示体４００による入力操作を検出する操作検出部３１５と、処理実行部３１６とを備え、処理実行部３１６は、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１内に位置する場合には、第１の処理を実行し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内に位置する場合には、第２の処理を実行する。従って、従来活用されてこなかったプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内への入力操作により第２の処理が実行されるため、ユーザーの利便性が向上する。また、カメラ３５０を備えることで、プロジェクター３００単体で指示体４００による指示操作を検出できる。

また、プロジェクター３００は、指示体４００－１を備え、指示体４００－１は、スイッチ４０１を備える指示装置であって、操作検出部３１５が検出する入力操作は、指示体４００－１のスイッチ４０１の押下であっても良い。従って、指示したい位置を定めてから指示体４００－１のスイッチ４０１を押下することで、ユーザーの所望の指示位置を検出させることができる。

＜実施形態２＞
次に、実施形態２について説明する。なお、実施形態１と同一の構成については、同一の符号を付して、重複する説明を省略する。
実施形態２に係る表示システム６００は、ＰＣ２００、プロジェクター７００、カメラ８００、指示体４００、および表示面５００を含んでいる。
図１１は、表示システム６００の機能を示す。
プロジェクター７００は、プロジェクター３００と同様に、制御部３１０と、投射部３２０と、通信部３３０と、描画部３４０と、記憶部３６０を備える。ただし、プロジェクター７００は、第１実施形態のプロジェクター３００とは異なり、カメラ３５０を備えていない。
撮像制御部３１２は、通信部３３０に含まれる送信部３３１を制御し、撮像を指示する信号である撮像指示Ｄｃをカメラ８００に送信することにより、カメラ８００に撮像を指示する。

カメラ８００は、制御部８１０と、通信部８２０と、撮像部８３０とを備える。
制御部８１０は、ＣＰＵ等のプロセッサーによって実現され、カメラ８００の各部を制御する。具体的には、通信部８２０を介してプロジェクター７００から撮像指示Ｄｃを受け付けた場合、制御部８１０は、撮像部８３０を制御することで撮像を実行させ、撮像画像データＤｆを生成させる。制御部８１０は、この撮像画像データＤｆを取得し、図示しないメモリーに一時的に記憶する。

通信部８２０は、通信インターフェイスであって、送信部８２１および受信部８２２を含む。送信部８２１は、撮像部８３０により生成された撮像画像データＤｆをプロジェクター７００に送信する。受信部８２２は、プロジェクター７００より送信された撮像指示Ｄｃを受信する。通信部８２０は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。また、通信部３３０は、無線通信インターフェイスを備えていてもよい。

撮像部８３０は、図示しない撮像光学系、撮像素子を備える。カメラ８００は、投射光学系３２３が表示面５００上に画像を投射する領域を含む範囲を撮像部８３０が撮像できる位置に配置される。また、撮像素子は、赤外領域及び可視光領域の光を受光するＣＣＤやＣＭＯＳが挙げられる。

図１２は、プロジェクター７００およびカメラ８００の動作内容を示すフローチャートである。
プロジェクター７００およびカメラ８００は、電源がオンされてから、キャリブレーション処理（ステップＳ３）、インタラクティブ操作処理（ステップＳ４）を順次実行する。第２実施形態の動作内容は、キャリブレーション処理（ステップＳ３）およびインタラクティブ操作処理（ステップＳ４）内の一部のステップを除き、第１実施形態の動作内容と同一である。以降は、第１実施形態と動作内容の異なるステップについて記載する。

図１３は、キャリブレーション処理（ステップＳ３）の処理内容を示す。
前述の第１実施形態におけるキャリブレーション処理（ステップＳ１）では、ステップＳ１３の次にステップＳ１４を実行するが、第２実施形態におけるキャリブレーション処理（ステップＳ３）では、ステップＳ１３の次にステップＳ３０と、ステップＳ３１とを順次実行する点が、第１実施形態とは異なる。
ステップＳ３０では、プロジェクター７００の撮像制御部３１２は、通信部３３０を制御することにより撮像指示Ｄｃをカメラ８００へ送信する（ステップＳ３０）。

図１４は、カメラ８００における撮像処理の処理内容を示す。
カメラ８００の制御部８１０は、プロジェクター７００から撮像指示Ｄｃを受け付けると、撮像部８３０を制御し、表示面５００を撮像させて撮像画像データＤｆを生成させる（ステップＳ３０１）。制御部８１０は、通信部８２０を制御することにより撮像画像データＤｆをプロジェクター７００へ送信し（ステップＳ３０２）、撮像処理終了する。

図１３に戻り、プロジェクター７００の特定部３１３は、カメラ８００から撮像画像データＤｆを受信し、撮像画像データＤｆに基づく画像を、第１の撮像画像として取得する（ステップＳ３１）。その後、プロジェクター７００の制御部３１０は、ステップＳ１５以降を実行する。

図１５は、インタラクティブ操作処理（ステップＳ４）の処理内容を示す。
前述の第１実施形態におけるインタラクティブ操作処理（ステップＳ２）では、ステップＳ２１、ステップＳ２２を順次実行するが、第２実施形態におけるインタラクティブ操作処理（ステップＳ４）では、ステップＳ４０、ステップＳ４１、ステップＳ２２を順次実行する点が、第１実施形態とは異なる。
インタラクティブ操作処理（ステップＳ４）の開始後、プロジェクター７００の撮像制御部３１２は、通信部３３０を制御することにより撮像指示Ｄｃをカメラ８００へ送信する（ステップＳ４０）。カメラ８００は、プロジェクター７００から撮像指示Ｄｃを受け付けると、図１４で示したように、撮像部８３０で表示面５００を撮像し、撮像画像データＤｆをプロジェクター７００へ送信する。プロジェクター７００の位置検出部３１４は、カメラ８００から受信した撮像画像データＤｆに基づく画像を、第２の撮像画像として取得する（ステップＳ４１）。その後、プロジェクター７００の制御部３１０は、ステップＳ２２以降を実行する。

以上説明したように、本発明を適用した実施形態に係る表示システム６００は、指示体４００による入力操作を検出する表示システム６００であって、表示システム６００は、表示面５００に投射画像を投射するプロジェクター７００と、投射画像を含む範囲である第１の領域を撮像して撮像画像を生成するカメラ８００とを備え、カメラ８００は、第１の領域を撮像して撮像画像を生成する撮像部８３０と、撮像画像をプロジェクター７００に送信する送信部８２１と、を備え、プロジェクター７００は、カメラ８００から撮像画像を受信する受信部３３２と、撮像画像である第１の撮像画像を基に、投射部３２０が投射する投射画像上の位置を表すプロジェクター座標系と撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部３１３と、撮像画像である第２の撮像画像を基に、カメラ座標系における指示体４００の指示位置を検出する位置検出部３１４と、指示体４００による入力操作を検出する操作検出部３１５と、処理実行部３１６と、を備え、処理実行部３１６は、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定された対応領域Ａ１内に位置する場合には、第１の処理を実行し、指示体４００による入力操作が検出された時の、カメラ座標系における指示位置が、第１の領域のうちプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内に位置する場合には、第２の処理を実行する。従って、従来活用されてこなかったプロジェクター座標系とカメラ座標系との対応関係が特定されていない非対応領域Ａ２内への入力操作により第２の処理が実行されるため、ユーザーの利便性が向上する。また、プロジェクター７００とは別体のカメラ８００を利用する構成であるため、ユーザーの利用用途に合わせてカメラ８００の配置を変更できる。

また、表示システム６００は、指示体４００－１を備え、指示体４００－１は、スイッチ４０１を備える指示装置であって、操作検出部３１５が検出する入力操作は、指示体４００－１のスイッチ４０１の押下であっても良い。従って、指示したい位置を定めてから指示体４００－１のスイッチ４０１を押下することで、ユーザーの所望の指示位置を検出させることができる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。上記実施形態の動作では、指示体４００による入力操作が検出されなかったと判定した場合（ステップＳ２３；ＮＯ）、直後にステップＳ２７に移行していたが、ステップＳ２７に移行する前に、第１の処理および第２の処理とは異なる第３の処理を実行しても良い。第３の処理は、例えば、検出した指示体４００の指示位置が対応関係が特定された対応領域Ａ１に含まれると判定される場合に、処理実行部３１６が、記憶部３６０から読み出したキャリブレーションデータ３８０を基に、プロジェクター座標系における指示体４００の指示位置を特定する。そして、プロジェクター３００又はプロジェクター７００がマウスモードで動作している場合には、特定した指示位置の情報を含み、かつ、マウスの左ボタンが押されたことを示す情報を含まない操作情報Ｄｐを生成し、生成した操作情報ＤｐをＰＣ２００の通信部２１０に送信する。また、プロジェクター３００又はプロジェクター７００がマウスモードで動作していない場合には、特定した指示位置に、指示位置を示す画像を重畳した画像を、描画部３４０および投射制御部３１１を制御することにより、表示面５００に投射させる。上記の構成の場合、第１の処理のステップＳ２５３にて、処理実行部３１６は、通信部３３０を制御することにより、マウスの左ボタンが押されたことを示す情報を含めた操作情報ＤｐをＰＣ２００の通信部２１０に送信する構成を採用できる。
この構成の場合、指示体４００によって指示される位置をユーザーは確認することができ、入力操作を行う上での利便性が向上する。

また、上記実施形態では、光源が発した光を変調する光変調装置３２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等により構成してもよい。光変調装置３２２として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、上記実施形態では、ユーザーが、プロジェクター３００またはプロジェクター７００が画像を投射する表示面５００に対して、指示体４００による指示操作を行う態様について説明したが、ユーザーが、プロジェクター以外の表示装置が画像を表示する表示面に対して指示操作を行う態様であってもよい。この場合にも、赤外光を発する光源やカメラ３５０は、表示装置と一体的に構成されてもよいし、表示装置とは別体で構成されてもよい。プロジェクター以外の表示装置としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。

また、図２、図３に示した表示システム１００、および図１１に示した表示システム６００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、表示システム１００，６００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１００，６００…表示システム、２１０…通信部、２１１…送信部、２１２…受信部、２２０…入力部、２３０…制御部、２４０…画像処理部、２５０…記憶部、２６０…表示部、３００，７００…プロジェクター、３１０…制御部、３１１…投射制御部、３１２…撮像制御部、３１３…特定部、３１４…位置検出部、３１５…操作検出部、３１６…処理実行部、３２０…投射部、３２１…光源部、３２２…光変調装置、３２３…投射光学系、３３０…通信部、３３１…送信部、３３２…受信部、３４０…描画部、３５０…カメラ、３６０…記憶部、３７０…制御プログラム、３８０…キャリブレーションデータ、３９０…キャリブレーション画像、４００，４００－１，４００－２…指示体、４０１…スイッチ、５００…表示面、８００…カメラ、８１０…制御部、８２０…通信部、８２１…送信部、８２２…受信部、８３０…撮像部、Ａ１…対応領域、Ａ２…非対応領域、ＣＡ…撮像画像、Ｄｃ…撮像指示、Ｄｆ…撮像画像データ、Ｄｐ…操作情報、ＩＭ１…第１画像、ＩＭ２…第２画像、ＩＭ３…第３画像、ＩＳ１…第１画像データ、ＩＳ２…第２画像データ、ＩＳ３…第３画像データ。

Claims (9)

1. 指示体による入力操作を検出する表示装置の制御方法であって、
   前記表示装置が表示面に表示した表示画像を含む第１の領域をカメラによって撮像して生成した撮像画像である第１の撮像画像を基に、前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定し、
   前記対応関係を特定した後に、前記カメラが前記第１の領域を撮像して生成した前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出し、
   前記指示体による前記入力操作を検出し、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、前記第１の処理とは異なる第２の処理を実行する、
   ことを特徴とする表示装置の制御方法。
2. 前記指示体による前記入力操作が検出され、前記カメラ座標系における前記指示位置が、前記第２の領域内に位置する場合、
   前記カメラ座標系における前記指示位置を、前記対応関係に基づいて前記表示装置座標系における位置に変換した指示位置情報を生成し、
   前記指示位置情報が表す前記表示装置座標系における前記指示位置に所定の画像を表示することを前記第１の処理として実行する、
   ことを特徴とする請求項１に記載の表示装置の制御方法。
3. 前記指示体による前記入力操作が検出され、前記カメラ座標系における前記指示位置が、前記第２の領域内に位置する場合、
   前記カメラ座標系における前記指示位置を、前記対応関係に基づいて前記表示装置座標系における位置に変換した指示位置情報を生成し、
   前記指示位置情報を外部の装置に送信することを前記第１の処理として実行する、
   ことを特徴とする請求項１に記載の表示装置の制御方法。
4. 前記指示体による前記入力操作が検出され、前記カメラ座標系における前記指示位置が、前記第２の領域内に位置する場合、
   前記カメラ座標系における前記指示位置を、前記対応関係に基づいて前記表示装置座標系における位置に変換した指示位置情報を生成し、
   前記表示装置が第１モードで動作する場合、
   前記指示位置情報が表す前記表示装置座標系における前記指示位置に所定の画像を表示することを前記第１の処理として実行し、
   前記表示装置が前記第１モードとは異なる第２モードで動作する場合、
   前記指示位置情報を外部の装置に送信することを前記第１の処理として実行する、
   ことを特徴とする請求項１に記載の表示装置の制御方法。
5. 前記指示体による前記入力操作が検出され、前記カメラ座標系における前記指示位置が、前記第３の領域内に位置する場合、
   キーボードのキーのうち、予め定めた特定キーを示す符号情報を外部の装置に送信することを前記第２の処理として実行する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の表示装置の制御方法。
6. 指示体による入力操作を検出する表示装置であって、
   表示面に表示画像を表示する表示部と、
   前記表示面を含む第１の領域を撮像し撮像画像を生成するカメラと、
   前記撮像画像である第１の撮像画像を基に、前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部と、
   前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出する位置検出部と、
   前記指示体による前記入力操作を検出する操作検出部と、
   処理実行部とを備え、
   前記処理実行部は、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、第２の処理を実行する、
   ことを特徴とする表示装置。
7. 前記表示装置は、前記指示体を備え、
   前記指示体は、スイッチを備える指示装置であって、
   前記入力操作は、前記スイッチの押下である、
   ことを特徴とする請求項６に記載の表示装置。
8. 指示体による入力操作を検出する表示システムであって、
   前記表示システムは、表示面に表示画像を表示する表示装置と、前記表示画像を含む第１の領域を撮像して撮像画像を生成するカメラとを備え、
   前記カメラは、
   前記第１の領域を撮像して撮像画像を生成する撮像部と、
   前記撮像画像を前記表示装置に送信する送信部と、を備え、
   前記表示装置は、
   前記カメラから前記撮像画像を受信する受信部と、
   前記撮像画像である第１の撮像画像を基に、前記表示部が表示する前記表示画像上の位置を表す表示装置座標系と前記撮像画像上の位置を表すカメラ座標系との対応関係を特定する特定部と、
   前記撮像画像である第２の撮像画像を基に、前記カメラ座標系における前記指示体の指示位置を検出する位置検出部と、
   前記指示体による前記入力操作を検出する操作検出部と、
   処理実行部と、を備え、
   前記処理実行部は、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定された第２の領域内に位置する場合には、第１の処理を実行し、
   前記指示体による前記入力操作が検出された時の、前記カメラ座標系における前記指示位置が、前記第１の領域のうち前記対応関係が特定されていない第３の領域内に位置する場合には、第２の処理を実行する、
   ことを特徴とする表示システム。
9. 前記表示システムは、前記指示体を備え、
   前記指示体は、スイッチを備える指示装置であって、
   前記入力操作は、前記スイッチの押下である、
   ことを特徴とする請求項８に記載の表示システム。

Images