JP2016151924A - プロジェクター及びプロジェクターの制御方法 - Google Patents

Abstract

【課題】指示体が投写面から離れていても、投写された映像上において指示体が指示した位置を特定し、特定した位置の映像を処理する。【解決手段】指示体２０がスクリーンＳＣから離れている場合、プロジェクター１０は、指示体２０の先端から直接届く赤外光と、スクリーンＳＣで反射した赤外光を撮像する。プロジェクター１０は、撮像した画像を解析し、指示体２０の先端から届いた赤外光の位置と、スクリーンＳＣで反射した赤外光の位置を特定する。プロジェクター１０は、スクリーンＳＣがある壁面までの距離と、特定した二つの位置から、投写された映像上において指示体２０が指示した位置を特定し、特定した位置にカーソルを表示する。【選択図】図１

Description

本発明は、指示体で操作可能なプロジェクターに関する。

特許文献１には、画像が投写される投写面上に指示体を接触させると、指示体が接触した位置にカーソルを表示する画像表示システムが開示されている。このシステムにおいては、投写面を指示するための指示体は、先端に押圧ボタンと赤外光を発する発光ダイオードを備えており、先端が投写面に押し付けられて押圧ボタンが押圧されると、発光ダイオードから赤外光が出力される。画像を投写するプロジェクターは、投写面を撮像する撮像部を備えている。プロジェクターは、撮像部で得られた画像を解析し、撮像された赤外光の位置を検出する。プロジェクターは、赤外光の位置を検出すると、検出した位置にカーソルの画像を投写する。

特開２０１３−１７５００１号公報

特許文献１のシステムでは、カーソルを表示するためには、指示体の押圧ボタンをスクリーンに押し当てて発光ダイオードを発光させる必要がある。しかしながら、例えば、投写面が布地や樹脂シートなどのスクリーンである場合、指示体を投写面に押し付けてもスクリーンが変形して押圧ボタンが押圧されない状態となる場合がある。この場合、発光ダイオードが発光せず、赤外光の位置を検出できないため、指示体の先端が投写面上にあっても、カーソルを指示体で指示した位置に表示することができない。
これに対し、押圧ボタンによらず発光ダイオードが常時発光するようにすれば、指示体の先端の位置を検出することが可能となる。しかしながら、指示体の先端が投写面から離れている場合、撮像部は、発光ダイオードから撮像部へ直接到達する赤外光と、スクリーンへ照射されて反射した赤外光を撮像することとなる。撮像部から見たこれらの赤外光の位置は、いずれも指示体が指示した投写面上の位置から離れた位置となるため、どちらの位置を選択したとしても、表示されるカーソルの位置は、指示体が指示した投写面上の位置とは異なる位置となってしまう。

本発明は、指示体が投写面から離れていても、投写された映像上において指示体が指示した位置を特定し、特定した位置の映像を処理する技術を提供する。

本発明は、発光部を有する指示体によって指示された指示位置を検出可能なプロジェクターであって、映像を投写する投写部と、前記映像が投写される投写面を撮像する撮像部と、前記撮像部で撮像された画像から、前記発光部が発した光に対応する第１位置及び第２位置を特定し、前記指示体によって指示された前記投写面上の指示位置を当該第１位置及び第２位置を用いて特定する特定部と、前記投写部が投写する映像における、前記指示位置に対応する位置に対して処理を行う処理部と、を備えるプロジェクターを提供する。
このプロジェクターによれば、指示体が投写面から離れていても、投写された映像上において指示体が指示した位置を撮像した画像から特定し、特定した位置の映像を処理することができる。

本発明においては、前記第１位置は、前記発光部から前記撮像部に到達した直接光に対応する位置であり、前記第２位置は、前記発光部から前記投写面で反射して前記撮像部に到達した反射光に対応する位置である構成としてもよい。

本発明においては、前記特定部は、前記第１位置と前記第２位置を結ぶ線分上の位置を、前記指示位置と特定する構成としてもよい。
この構成によれば、指示体が投写面から離れていても、指示体からより近い位置を特定し、特定した位置の映像を処理することができる。

また、本発明においては、前記撮像部は、前記投写面を斜め方向から撮像する構成としてもよい。
この構成によれば、発光部から撮像部へ到達する光が遮られにくくなる。

また、本発明においては、前記処理部は、前記指示位置に対応する位置に予め定められた映像を描画する処理を行い、前記特定部が前記第１位置又は前記第２位置を特定できなくなった場合、描画した前記映像を消去する構成としてもよい。
この構成によれば、発光部から撮像部へ到達する光が遮られた場合、指示位置に投写していた映像を消去することができる。

また本発明においては、前記処理部は、前記特定部が前記第１位置又は前記第２位置を特定できなくなった場合、描画した前記映像を予め定められた時間が経過した後で消去する構成としてもよい。
この構成によれば、発光部から撮像部へ到達する光が一時的に遮られても、一定時間は、指示位置へ予め定められた映像を投写することができる。

また、本発明は、映像を投写する投写部と、前記映像が投写される投写面を撮像する撮像部とを有し、発光部を有する指示体によって指示された指示位置を検出可能なプロジェクターの制御方法であって、前記映像が投写される投写面を前記撮像部で撮像する撮像ステップと、前記撮像部で撮像された画像から、前記発光部が発した光に対応する第１位置及び第２位置を特定し、前記指示体によって指示された前記投写面上の指示位置を当該第１位置及び第２位置を用いて特定する特定ステップと、前記投写部が投写する映像における、前記指示位置に対応する位置に対して処理を行う処理ステップと、を備えるプロジェクターの制御方法を提供する。

表示システム１を構成する装置を示した図。 プロジェクター１０と指示体２０のハードウェア構成を示した図。 実施形態において実現する機能の構成を示した機能ブロック図。 指示体２０の位置を検出するタイムチャートの一例を示した図。 制御部１１０が行う処理の流れを示したフローチャート。 実施形態の動作を説明するための図。 実施形態の動作を説明するための図。 実施形態の動作を説明するための図。

［実施形態］
（実施形態の構成）
図１は、本発明の一実施形態に係る表示システム１を構成する装置を示した図である。表示システム１は、スクリーンＳＣ（投写面）に映像を投写するプロジェクター１０と、指示体２０を備える。

プロジェクター１０は、映像信号を供給する外部装置に接続され、外部装置から供給された映像信号が示す映像をスクリーンＳＣへ投写する。また、プロジェクター１０は、プロジェクター１０の操作や投写された映像に対する描画などを、指示体２０を用いて行うインタラクティブ機能を備えている。プロジェクター１０は、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて映像を投写する。本実施形態においては、プロジェクター１０は、スクリーンＳＣへ映像を投写するが、スクリーンＳＣの替わりに壁面（投写面）に映像を投写してもよい。

ペン型の指示体２０は、プロジェクター１０を操作するためのポインティングデバイスとして機能し、プロジェクター１０が投写するＧＵＩ（Graphical User Interface）をユーザーが操作するときや、投写された画像へユーザーが描画を行うときなどに使用される。

図２は、プロジェクター１０及び指示体２０のハードウェア構成を示した図である。指示体２０は、制御部２１０、通信部２２０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、通信部２２０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、指示体２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、指示体２０の先端から球面上に広がる。通信部２２０は、赤外光を受光する受光素子を備えている。通信部２２０は、プロジェクター１０から赤外光で送られる各種信号を受信する。通信部２２０は、受信した各種信号を電気信号に変換して制御部２１０へ供給する。制御部２１０は、発光部２３０及び通信部２２０に接続されている。制御部２１０は、通信部２２０から供給される信号に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。制御部２１０及び発光部２３０は、指示体２０を光らせる発光装置として機能する。

プロジェクター１０は、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０は、映像処理部１５０、映像インターフェース１６０、撮像部１７０、通信部１８０を備える。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、プロジェクター１０においては、制御部１１０が各部を制御し、映像をスクリーンＳＣに投写する機能やインタラクティブ機能、指示体２０をポインティングデバイスとして利用する機能などの各種機能が実現する。記憶部１２０は、投写する映像の画質に係る設定値や、各種機能の設定に係る情報を記憶する。

操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される映像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。また、操作部１３０は、リモートコントローラー（図示略）からの赤外光の信号を受光する受光部（図示略）を備えている。操作部１３０は、リモートコントローラーから送信された信号を電気信号に変換して制御部１１０へ供給し、制御部１１０は、供給される信号に応じて各部を制御する。

映像インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）などのコネクターを有し、外部装置からコネクターに供給された映像信号を映像処理部１５０へ供給する。映像インターフェース１６０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースを有し、無線通信により映像信号を取得してもよい。

映像処理部１５０は、映像インターフェース１６０から供給される映像信号を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩや指示体２０が指し示す位置を表すカーソルなどのオンスクリーン画像の信号を制御部１１０から取得する。映像処理部１５０は、各種の画像処理機能を備えており、映像インターフェース１６０から供給された映像信号に画像処理を施し、投写する映像の画質を調整する。また、映像処理部１５０は、制御部１１０からオンスクリーン画像の信号が供給された場合には、オンスクリーン画像の信号を重畳した映像信号を投写部１４０へ供給する。

映像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザ光を発する半導体レーザ装置であってもよい。

駆動回路１４４は、映像処理部１５０から供給される映像信号を取得する。駆動回路１４４に供給される映像信号は、投写する映像における赤の成分の階調を表す階調データ、投写する映像における緑の成分の階調を表す階調データ及び投写する映像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。

ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した映像となる。液晶ライトバルブを透過した赤、緑、青の光の映像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した映像を拡大する光学系であり、入射した映像をレンズやミラーによって拡大してスクリーンＳＣに投写する。

撮像部１７０は、発光部２３０が発する赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１７０は、スクリーンＳＣを含む範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を示す画像信号を出力する。なお、本実施形態においては、プロジェクター１０がスクリーンＳＣの斜め上方に設置されるため、撮像部１７０は、スクリーンＳＣを含む範囲を斜め上方から撮像することになる。通信部１８０は、赤外光を発する発光ダイオードを備えている。通信部１８０は、制御部１１０により、発光ダイオードの点灯及び消灯が制御され、赤外光の各種信号を送信する。

図３は、制御部１１０がプログラムを実行することにより実現する機能と、制御部２１０において実現する機能の構成を示した機能ブロック図である。
まず、プロジェクター１０の制御部１１０において実現する機能について説明する。距離取得部１１１は、撮像部１７０から投写面までの距離を取得する。具体的には、距離取得部１１１は、撮像部１７０から投写面までの距離を測定するためのパターン画像をスクリーンＳＣに投写させる。パターン画像がスクリーンＳＣに投写されると、投写されたパターン画像を撮像部１７０に撮像させ、撮像されたパターン画像の大きさに基づいて投写面までの距離を取得する。なお、距離取得部１１１は、ユーザーがリモートコントローラーや操作部１３０を操作することによって入力した距離に係る情報を取得するようにしてもよい。ここで、距離取得部１１１が取得すべき情報は、距離そのものに限定されず、距離に係る情報（距離に対応する情報）であればよい。例えば、プロジェクター１０がズーム機能を有しない場合には、撮像部１７０から投写面までの距離に応じて画面サイズが定まるため、距離に係る情報として、ユーザーに画面サイズを入力させるようにしてもよい。また、撮像部１７０から投写面までの距離については、距離センサーをプロジェクター１０に設け、距離センサーの測定結果から、撮像部１７０から投写面までの距離を得てもよい。

位置特定部１１３は、例えば図４に示したタイムチャートで、投写された画面上において指示体２０が指示した位置を特定する。指示体２０が指示する位置を特定する期間は、フェーズＰ１１からフェーズＰ１４までの４つのフェーズを有する。指示体２０が指示する位置を検出する際には、フェーズＰ１１からフェーズＰ１４までが繰り返される。フェーズＰ１１は、プロジェクター１０が撮像部１７０で撮像を行うタイミングと、指示体２０が発光するタイミングとを同期させるためのフェーズである。フェーズＰ１１においては、位置特定部１１３は、所定期間ｔｅ１で赤外光の同期信号が出力されるように通信部１８０を制御する。指示体２０においては、通信部２２０が同期信号を受光し、同期信号を受光してから所定時間が経過すると、設定された期間ｔｅ２で発光部２３０が点灯するように、制御部２１０が発光部２３０を制御する。なお、本実施形態においては、フェーズＰ１２とフェーズＰ１４の開始時点から発光部２３０が点灯するように制御される。

位置特定部１１３は、フェーズＰ１２とフェーズＰ１４において、撮像部１７０を制御し、設定されているシャッタースピードでスクリーンＳＣを含む所定範囲を撮像する。撮像部１７０において電子シャッター機能により露光が行われる露光期間ｔｅ３は、フェーズＰ１２とフェーズＰ１４の開始時点から始まり、露光が終了する時点は、設定されているシャッタースピードにより定まる。撮像部１７０がフェーズＰ１２とフェーズＰ１４の露光期間で撮像した画像の画像信号は、位置特定部１１３へ供給される。

位置特定部１１３は、供給された画像信号が示す画像と、距離取得部１１１が得た距離を用いて、投写された画像上において指示体２０が指示した位置を特定する。この位置は、指示体２０をポインティングデバイスとして用いるときやインタラクティブ機能を用いるときに使用される。

処理部１１４は、スクリーンＳＣに投写する映像における、位置特定部１１３が特定した位置に対応する位置に対して処理を行う。特定した位置に対して行う処理としては、例えば、カーソルの画像を描画する処理や、描画されている画像を消去する処理、インタラクティブ機能に係る画像を描画する処理などがある。

次に、指示体２０の制御部２１０において実現する機能について説明する。信号取得部２１１は、通信部２２０が受信した同期信号を取得する。発光制御部２１２は、信号取得部２１１から同期信号を取得し、同期信号を取得してから所定時間が経過すると、フェーズＰ１２及びフェーズＰ１４において期間ｔｅ２で発光部２３０が点灯するように、発光部２３０を制御する。

（実施形態の動作例）
次に、図５〜図８を用いて、本実施形態の動作例について説明する。図５は、制御部１１０が行う処理の流れを示したフローチャートである。また、図６（ａ）は、指示体２０の発光部２３０がスクリーンＳＣに接しているときに、プロジェクター１０とスクリーンＳＣを側面から見た図であり、図６（ｂ）は、発光部２３０がスクリーンＳＣに接しているときに、スクリーンＳＣにおいて発光部２３０から出力された赤外光が照射される領域を破線で模式的に示した図である。また、図６（ｃ）は、発光部２３０が、スクリーンＳＣに接しているときに撮像部１７０で撮像された画像を模式的に示した図である。図６（ｃ）に示した領域Ａ１は、プロジェクター１０が投写した映像の領域（投写領域）を表している。領域Ａ１は、投写面上では矩形となっているが、撮像部１７０が斜め上方向から撮像していることや広角レンズの歪曲収差の影響により、撮像部１７０で得られた画像においては、歪んだ領域となる。
また、図７（ａ）は、指示体２０の発光部２３０がスクリーンＳＣから離れているときに、プロジェクター１０とスクリーンＳＣを側面から見た図であり、図７（ｂ）は、発光部２３０がスクリーンＳＣから離れているときに、スクリーンＳＣにおいて発光部２３０から出力された赤外光が照射される領域を破線で模式的に示した図である。発光部２３０がスクリーンＳＣから離れている場合、図７（ｂ）に示したように、発光部２３０から出力された赤外光は、指示体２０から離れた位置に照射されて反射することとなる。また、図７（ｃ）は、発光部２３０が、スクリーンＳＣから離れているときに撮像部１７０で撮像された画像を模式的に示した図である。図７（ｃ）に示した領域Ａ１は、プロジェクター１０が投写した映像の領域（投写領域）を表している。領域Ａ１は、投写面上では矩形となっているが、撮像部１７０が斜め上方向から撮像していることや広角レンズの歪曲収差の影響により、撮像部１７０で得られた画像においては、歪んだ領域となる。
図８は、発光部２３０がスクリーンＳＣから離れているときに指示体２０が指示した位置を特定する動作を説明するための図である。

（指示体２０の発光部２３０がスクリーンＳＣに接している場合の動作例）
まず、ユーザーは、プロジェクター１０の撮像部１７０から投写面までの距離をリモートコントローラー又は操作部を操作して入力する。制御部１１０（距離取得部１１１）は、ユーザーが入力した距離を取得する。

次に、制御部１１０は、例えば、指示体２０が指示した位置にカーソルを表示する場合、以下に説明する処理を行う。まず、位置特定部１１３は、撮像部１７０から供給される画像信号を解析し（ステップＳＡ１）、撮像部１７０が撮像した画像において、発光部２３０が出力した赤外光が映っているか判断する（ステップＳＡ２）。位置特定部１１３は、撮像された画像において、発光部２３０が出力した赤外光が映っていない場合（ステップＳＡ２でＮＯ）、指示体２０がスクリーンＳＣの近傍にないと判定し、指示体２０が指示する位置を「null」とする。処理部１１４は、位置特定部１１３が特定した位置が「null」である場合、カーソルの画像が表示されないように映像処理部１５０を制御する（ステップＳＡ３）。

位置特定部１１３は、撮像された画像において、発光部２３０が出力した赤外光が映っている場合（ステップＳＡ２でＹＥＳ）、撮影された画像内において、予め定められた閾値以上の明るさの赤外光が映っている領域があるか判断する（ステップＳＡ４）。位置特定部１１３は、撮影された画像内において、定められた閾値以上の明るさの赤外光が映っている領域がない場合（ステップＳＡ４でＮＯ）、指示体２０が指示する位置を「null」とし、処理の流れをステップＳＡ３へ移す。

一方、位置特定部１１３は、撮影された画像内において、予め定められた閾値以上の明るさの赤外光が映っている領域がある場合（ステップＳＡ４でＹＥＳ）、撮影された画像内において、この領域を特定する（ステップＳＡ５）。例えば、図６（ａ）に示したように、発光部２３０がスクリーンＳＣに接しており、図６（ｂ）に示したように、発光部２３０から出力された赤外光がスクリーンＳＣに照射されている場合、位置特定部１１３は、発光部２３０から撮像部１７０へ直接入射した赤外光が映っている領域と、スクリーンＳＣに照射されてスクリーンＳＣで反射した後に撮像部１７０へ入射した赤外光が映っている領域（図６（ｂ）に示した破線の領域）を特定する。

位置特定部１１３は、ステップＳＡ５で特定した領域の数を判断し、特定した領域の数が一つの場合（ステップＳＡ６でＮＯ）、指示体２０が指示する位置を「null」とし、処理の流れをステップＳＡ３へ移す。
位置特定部１１３は、ステップＳＡ５で二つの領域を特定すると（ステップＳＡ６でＹＥＳ）、映っている赤外光の明るさが明るいほうの領域を第１領域とし、明るさが暗いほうの領域を第２領域と特定する（ステップＳＡ７）。図６（ａ）に示した状態の場合、発光部２３０から撮像部１７０へ直接入射した赤外光が映っている領域のほうが、スクリーンＳＣで反射した後に撮像部１７０へ入射した赤外光が映る領域より明るくなるため、図６（ｃ）に例示したように、発光部２３０から撮像部１７０へ直接入射した赤外光が映っている領域を第１領域Ａ２１とし、スクリーンＳＣで反射した後、撮像部１７０へ入射した赤外光が映る領域を第２領域Ａ２２と特定する。

位置特定部１１３は、第１領域Ａ２１と第２領域Ａ２２を特定すると、発光部２３０がスクリーンＳＣに接しているか判定する（ステップＳＡ８）。ここで、位置特定部１１３は、図６（ｃ）に示したように、第１領域Ａ２１と第２領域Ａ２２が接している場合、発光部２３０がスクリーンＳＣに接していると判定する（ステップＳＡ８でＹＥＳ）。位置特定部１１３は、発光部２３０がスクリーンＳＣに接していると判定した場合、距離取得部１１１が取得した距離、撮像された領域Ａ１、撮像された画像中における第１領域Ａ２１の位置から、投写した映像上において指示体２０が接している位置、即ち、指示体２０が指示している指示位置を特定する（ステップＳＡ９）。

投写した映像上において指示体２０が指示した位置が特定されると、処理部１１４は、ステップＳＡ９で特定した位置にカーソルの画像を配置したオンスクリーン画像の信号を映像処理部へ出力する（ステップＳＡ１１）。
このように、発光部２３０がスクリーンＳＣに接している場合には、発光部２３０が接している位置、即ち、指示体２０が指示している位置に対して、カーソルの画像を表示する処理が行われる。

（指示体２０の発光部２３０がスクリーンＳＣから離れている場合の動作例）
次に、指示体２０の発光部２３０がスクリーンＳＣから離れている場合の動作例について説明する。なお、以下の説明においては、ユーザーの操作により、撮像部１７０から投写面までの距離を取得する処理が実行済みである場合を想定して動作例の説明を行う。

図７（ａ）に示したように、発光部２３０がスクリーンＳＣから離れており、図７（ｂ）に示したように、発光部２３０から出力された赤外光がスクリーンＳＣに照射されている状態において、位置特定部１１３は、ステップＳＡ２、ステップＳＡ４、ステップＳＡ６でＹＥＳと判断すると、ステップＳＡ７において第１領域と第２領域を特定する。図７（ａ）に示した状態の場合、発光部２３０から撮像部１７０へ直接入射した赤外光が映っている領域のほうが、スクリーンＳＣで反射した後に撮像部１７０へ入射した赤外光が映る領域より明るくなるため、図７（ｃ）に例示したように、発光部２３０から撮像部１７０へ直接入射した赤外光が映っている領域を第１領域Ａ２１とし、スクリーンＳＣで反射した後に撮像部１７０へ入射した赤外光が映る領域を第２領域Ａ２２と特定する。

位置特定部１１３は、第１領域Ａ２１と第２領域Ａ２２を特定すると、発光部２３０がスクリーンＳＣに接しているか判定する（ステップＳＡ８）。ここで、位置特定部１１３は、図７（ｃ）に示したように、第１領域Ａ２１と第２領域Ａ２２が接していない場合、発光部２３０がスクリーンＳＣに接していないと判定する（ステップＳＡ８でＮＯ）。位置特定部１１３は、発光部２３０がスクリーンＳＣに接していないと判定した場合、距離取得部１１１が取得した距離、撮像された領域Ａ１、撮像された画像中における第１領域Ａ２１の位置から、投写した映像上において指示体２０が指示している位置を特定する（ステップＳＡ１０）。

ここで、図８を用いて、ステップＳＡ１０の処理について説明する。図８において、Ｐ１は、撮像部１７０の位置であり、Ｐ２は、スクリーンＳＣから離れている発光部２３０の位置である。また、図８において、Ｐ３は、発光部２３０から出力され、スクリーンＳＣで反射して撮像部１７０に到達する光がスクリーンＳＣで反射する位置（反射光に対応する位置）であり、Ｐ４は、発光部２３０を撮像部１７０から見たときの、スクリーンＳＣ上における発光部２３０の見かけ上の位置（直接光に対応する位置）である。Ｐ５は、Ｐ２からスクリーンＳＣに垂線を下したときの交点の位置、即ち、ユーザーが指示体２０で指示したスクリーンＳＣ上の位置であり、Ｐ６は、Ｐ１からスクリーンＳＣ（又は、その延長平面）に垂線を下したときの交点の位置である。
また、図８においては、Ｐ３からＰ５までの距離をＤ１、Ｐ４からＰ５までの距離をＤ２、Ｐ３からＰ６までの距離をＤｙ１、Ｐ３からＰ４までの距離をＤｙ２、Ｐ２からＰ５までの距離をＤｚｐ、Ｐ１からＰ６までの距離をＤｚｓ、Ｐ１とＰ６を結ぶ線分と、Ｐ１とＰ３とを結ぶ線分とがなす角度をθ１、Ｐ１とＰ６とを結ぶ線分と、Ｐ１とＰ４とを結ぶ線分とがなす角度をθ２としている。Ｄｚｓは、距離取得部１１１が取得した距離となる。

図８に示した状態においては、ｔａｎθ１とｔａｎθ２は、以下の（１）の式と（２）の式となる。
ｔａｎθ１＝Ｄｙ１／Ｄｚｓ＝Ｄ１／Ｄｚｐ・・・（１）
ｔａｎθ２＝（Ｄｙ１＋Ｄｙ２）／Ｄｚｓ＝Ｄ２／Ｄｚｐ・・・（２）
（１）の式と（２）の式により、Ｄ１は以下の（３）の式となり、Ｄ２は以下の（４）の式となる。
Ｄ１＝Ｄｙ１＊Ｄｙ２／（２Ｄｙ１＋Ｄｙ２）・・・（３）
Ｄ２＝Ｄｙ２−Ｄ１＝（Ｄｙ１＋Ｄｙ２）＊Ｄｙ２／（２Ｄｙ１＋Ｄｙ２）・・・（４）

位置特定部１１３は、撮像部１７０が撮像した画像を解析し、画像中の第１領域Ａ２１の位置からＰ４の座標（第１位置）を特定し、画像中の第２領域Ａ２２の位置からＰ３の座標（第２位置）を特定する。例えば、位置特定部１１３は、第１領域Ａ２１の重心の位置を第１の位置とし、第２領域Ａ２２の重心の位置を第２の位置とする。また、位置特定部１１３は、撮像部１７０が撮像した画像を解析し、Ｐ６の座標を特定する。Ｐ６の座標は、Ｄｚｓに応じて定まる投写領域に基づいて特定することができる。位置特定部１１３は、Ｐ３、Ｐ４及びＰ６のそれぞれの座標を特定すると、特定したそれぞれの座標から、Ｄｙ１及びＤｙ２を演算する。位置特定部１１３は、Ｄｙ１及びＤｙ２を得ると、得られたＤｙ１、Ｄｙ２、取得したＤｚｓを用いて、（３）の式によりＤ１を演算する。位置特定部１１３は、Ｄ１を得ると、Ｐ３とＰ４を結ぶ線分上でＰ３からＤ１離れたＰ５の座標を演算し、得られた座標の位置を、投写された映像上において指示体２０が指示した指示位置として特定する。

処理部１１４は、投写された画像上において指示体２０が指示した位置が位置特定部１１３により特定されると、ステップＳＡ１１で特定した位置に、オンスクリーン画像によってカーソルの画像が投写されるように処理を行う（ステップＳＡ１１）。

赤外光が反射している位置であるＰ３又は発光部２３０の見かけ上の位置であるＰ４の座標にカーソルの画像を表示した場合、指示体２０が指示した位置から離れた位置にカーソルが表示されるため、指示体２０を操作するユーザーは、違和感を覚える。これに対し、本実施形態では、上述したように、発光部２３０がスクリーンＳＣから離れていても、指示体２０で指示された位置にカーソルの画像が表示されるため、指示体２０を操作するユーザーは、違和感を覚えることがない。

なお、上記の説明では、Ｄ１を演算し、Ｐ５の座標を求めているが、Ｄ２を演算し、Ｐ５の座標を求め、Ｐ３とＰ４を結ぶ線分上でＰ４からＤ２離れたＰ５の座標を演算し、得られた座標の位置を、指示体２０が指示した位置として特定するようにしてもよい。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。

上述した実施形態においては、例えば、図７（ａ）に示した状態からさらに指示体２０がスクリーンＳＣから離れた場合、スクリーンＳＣで反射して撮像部１７０に入射する赤外光の明るさが、予め定められた閾値未満となり、ステップＳＡ５で特定される領域の数は、二つから一つになる。また、発光部２３０から撮像部１７０へ直接入射する赤外光が遮られた場合も、ステップＳＡ５で特定される領域の数は、二つから一つになる。このように、撮像部１７０が撮像した画像において、赤外光が映っている領域が二つから一つになった場合、表示しているカーソルをすぐに消去せず、予め定められた時間の間は、それまでカーソルの画像があった位置にカーソルの画像が投写されるようにしてもよい。

上述した実施形態においては、画像を投写する装置は、液晶プロジェクターとなっているが、デジタルミラーデバイスを用いたプロジェクターでもよい。
上述した実施形態においては、プロジェクター１０が投写する映像を含む範囲を撮像部１７０で撮像し、指示体２０が指示した位置にカーソルの画像を表示しているが、
直視型のディスプレイ装置をカメラで撮像し、ディスプレイ装置において指示体２０が指示した位置にカーソルの画像が表示されるようにしてもよい。

本発明に係る装置において実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどのコンピューター読取り可能な記録媒体に記憶した状態で提供し、各装置にインストールしてもよい。また、通信網を介してプログラムをダウンロードして各装置にインストールしてもよい。

１…表示システム、１０…プロジェクター、２０…指示体、１１０…制御部、１１１…距離取得部、１１３…位置特定部、１１４…処理部、１２０…記憶部、１３０…操作部、１４０…投写部、１５０…映像処理部、１６０…映像インターフェース、１７０…撮像部、１８０…通信部、２１０…制御部、２１１…信号取得部、２１２…発光制御部、２２０…通信部、２３０…発光部、２４０…操作部、２５０…電源、ＳＣ…スクリーン

Claims (7)

1. 発光部を有する指示体によって指示された指示位置を検出可能なプロジェクターであって、
   映像を投写する投写部と、
   前記映像が投写される投写面を撮像する撮像部と、
   前記撮像部で撮像された画像から、前記発光部が発した光に対応する第１位置及び第２位置を特定し、前記指示体によって指示された前記投写面上の指示位置を当該第１位置及び第２位置を用いて特定する特定部と、
   前記投写部が投写する映像における、前記指示位置に対応する位置に対して処理を行う処理部と、
   を備えるプロジェクター。
2. 前記第１位置は、前記発光部から前記撮像部に到達した直接光に対応する位置であり、前記第２位置は、前記発光部から前記投写面で反射して前記撮像部に到達した反射光に対応する位置である
   請求項１に記載のプロジェクター。
3. 前記特定部は、前記第１位置と前記第２位置を結ぶ線分上の位置を、前記指示位置と特定する
   請求項１又は請求項２に記載のプロジェクター。
4. 前記撮像部は、前記投写面を斜め方向から撮像する請求項１から請求項３のいずれか一項に記載のプロジェクター。
5. 前記処理部は、前記指示位置に対応する位置に予め定められた映像を描画する処理を行い、前記特定部が前記第１位置又は前記第２位置を特定できなくなった場合、描画した前記映像を消去する
   請求項１から請求項４のいずれか一項に記載のプロジェクター。
6. 前記処理部は、前記特定部が前記第１位置又は前記第２位置を特定できなくなった場合、描画した前記映像を予め定められた時間が経過した後で消去する
   請求項５に記載のプロジェクター。
7. 映像を投写する投写部と、前記映像が投写される投写面を撮像する撮像部とを有し、発光部を有する指示体によって指示された指示位置を検出可能なプロジェクターの制御方法であって、
   前記映像が投写される投写面を前記撮像部で撮像する撮像ステップと、
   前記撮像部で撮像された画像から、前記発光部が発した光に対応する第１位置及び第２位置を特定し、前記指示体によって指示された前記投写面上の指示位置を当該第１位置及び第２位置を用いて特定する特定ステップと、
   前記投写部が投写する映像における、前記指示位置に対応する位置に対して処理を行う処理ステップと、
   を備えるプロジェクターの制御方法。

Images