JP2016122329A - 表示装置、プロジェクター、及び制御方法 - Google Patents

Abstract

【課題】ユーザーが所望するタイミングで指示体に割り当てられた機能を表示する表示装置を提供する。
【解決手段】表示装置（プロジェクター１）は、指示体が表示面と接触しているか否かを示す接触情報及び表示面に応じた指示体の位置を示す指示体位置情報を含む位置情報を取得する取得部２１と、取得部が取得した位置情報に基づいて、指示体の動作が表示面と接触しない状態における所定の動作であるか否かを判定する判定部２３と、判定部が指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を表示面に表示する情報表示制御部２４と、を備える。
【選択図】図３

Description

この発明は、表示装置、プロジェクター、及び制御方法に関する。

プロジェクターによりスクリーン等に投影された投影画像に対して、電子ペン等の指示体によって線や図形を描画する技術が研究・開発されている。

これに関し、電子ペンが備えるスイッチによって電子ペンに割り当てられた機能をポップアップで表示させる技術や、当該スイッチに振動を検知する振動検知機構が備えられており、振動を検知することにより当該ポップアップを表示させる技術が知られている（特許文献１参照）。

特開２０１４−１０９９２２号公報

しかしながら、従来の技術では、電子ペンにスイッチや振動検知機構を備えなければならず、電子ペン自体の大型化や重量の増大、更に製造コストの増大等が生じてしまうという問題があった。また、当該技術では、指示体が指等のスイッチや振動検知機構を備えていない場合、電子ペンに割り当てられた機能を表示するためのポップアップを、電子ペンを用いて表示させることができなかった。また、当該技術では、電子ペンがスクリーン等に接触せずにスクリーン上を移動している最中に、常に当該ポップアップが表示されてしまうと、投影画像の視認性を悪化させてしまうという問題があった。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる表示装置、プロジェクター、及び制御方法を提供する。

本発明の一態様は、指示体が表示面と接触しているか否かを示す接触情報、及び前記表示面に応じた前記指示体の位置を示す指示体位置情報を含む位置情報を取得する取得部と、
前記取得部が取得した前記位置情報に基づいて、前記指示体の動作が前記表示面と接触しない状態における所定の動作であるか否かを判定する判定部と、前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記表示面に表示する表示制御部と、を備える表示装置である。
この構成により、表示装置は、指示体が表示面と接触しているか否かを示す接触情報、及び表示面に応じた指示体の位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体の動作が表示面と接触しない状態における所定の動作であるか否かを判定し、指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を表示面に表示する。これにより、表示装置は、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる。

また、本発明の他の態様は、表示装置において、前記取得部は、前記表示面を含む範囲を撮像する撮像部を備え、前記撮像部が撮像した撮像画像に基づいて前記指示体の位置を検出する、構成が用いられてもよい。
この構成により、表示装置は、撮像部が撮像した撮像画像に基づいて指示体の位置を検出する。これにより、表示装置は、撮像画像に基づいて指示体の動作が所定の動作であるか否かを判定することができる。

また、本発明の他の態様は、表示装置において、前記取得部は、前記撮像部が撮像した撮像画像に基づいて前記指示体が前記表示面と接触しているか否かを判定する、構成が用いられてもよい。
この構成により、表示装置は、表示面を含む範囲を撮像し、撮像した撮像画像に基づいて指示体が表示面と接触しているか否かを判定する。これにより、表示装置は、撮像画像に基づいて指示体の動作が表示面と接触しない状態における所定の動作であるか否かを判定することができる。

また、本発明の他の態様は、表示装置において、前記取得部は、前記指示体が前記表示面と接触しているか否かを示す信号を前記指示体から受信する受信部を備え、前記受信部により受信された前記信号に基づいて前記指示体が前記表示面と接触しているか否かを判定する、構成が用いられてもよい。
この構成により、表示装置は、指示体が表示面と接触しているか否かを示す信号を指示体から受信し、受信された信号に基づいて指示体が表示面と接触しているか否かを判定する。これにより、表示装置は、指示体から送信された信号に基づいて指示体が表示面に接触しているか否かを判定することができる。

また、本発明の他の態様は、表示装置において、前記表示面に沿った面上に光を照射する照射部を備え、前記取得部は、前記照射部が照射した光を前記指示体が反射した反射光に基づいて前記指示体が前記表示面と接触しているか否かを判定する、構成が用いられてもよい。
この構成により、表示装置は、表示面に沿った面上に光を照射し、照射した光を指示体が反射した反射光に基づいて指示体が表示面と接触しているか否かを判定する。これにより、表示装置は、照射した光を指示体が反射した反射光に基づいて指示体が表示面に接触しているか否かを判定することができる。

また、本発明の他の態様は、表示装置において、前記表示制御部は、前記指示体が前記表示面と接触しているか否かを判定する第１判定を行い、前記指示体が前記表示面と接触していないと判定した場合、前記指示体の動作が前記所定の動作であるか否かを判定する第２判定を行う、構成が用いられてもよい。
この構成により、指示体が表示面と接触しているか否かを判定する第１判定を行い、指示体が表示面と接触していないと判定した場合、指示体の動作が所定の動作であるか否かを判定する第２判定を行う。これにより、表示装置は、指示体が表示面と接触していないか否かの判定と、指示体の動作が所定の動作であるか否かの判定とを分けて行うことができる。

また、本発明の他の態様は、表示装置において、前記所定の動作は、所定時間以内に前記指示体の所定部が所定領域内における所定軸方向に所定回数往復数する動作である、構成が用いられてもよい。
この構成により、表示装置は、指示体の動作が表示面と接触しない動作であって、所定時間以内に指示体の所定部が所定領域内における所定軸方向に所定回数往復数する動作であるか否かを判定する。これにより、表示装置は、指示体の誤操作によって指示体に割り当てられた機能を示す情報の表示を抑制することができる。

また、本発明の他の態様は、表示装置において、前記表示制御部は、前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報であって前記判定の時に表示されていなかった情報を前記表示面に表示する、構成が用いられてもよい。
この構成により、表示装置は、指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報であって判定の時に表示されていなかった情報を表示面に表示する。これにより、表示装置は、指示体が表示面に接触していない状態における所定の動作が行われた後に、指示体に割り当てられた機能を示す情報を表示面に表示させることができる。

また、本発明の他の態様は、表示装置において、前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を音声によって出力する音声出力部を備える、構成が用いられてもよい。
この構成により、表示装置は、指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を音声によって出力する。これにより、表示装置は、指示体に割り当てられた機能を示す情報を、音声によってより確実にユーザーに対して通知することができる。

また、本発明の他の態様は、映像信号が示す画像を、レンズを介して投影面に投影するための光を照射する光源と、前記映像信号に応じて光を変調する光変調器と、指示体が前記投影面と接触しているか否かを示す接触情報、及び前記投影面に応じた前記指示体により支持される位置を示す指示体位置情報を含む位置情報を取得する取得部と、前記取得部が取得した前記位置情報に基づいて、前記指示体の動作が前記投影面と接触しない状態における所定の動作であるか否かを判定する判定部と、前記判定部が前記指示体の動作が前記投影面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記投影面に投影する表示制御部と、を備えるプロジェクターである。
この構成により、プロジェクターは、映像信号が示す画像を、レンズを介して投影面に投影するための光を照射し、映像信号に応じて光を変調し、指示体が投影面と接触しているか否かを示す接触情報、及び投影面に応じた指示体により支持される位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体の動作が投影面と接触しない状態における所定の動作であるか否かを判定し、指示体の動作が投影面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を投影面に投影する。これにより、プロジェクターは、ユーザーが所望するタイミングで指示体に割り当てられた機能を投影（表示）することができる。

また、本発明の他の態様は、指示体が表示面と接触しているか否かを示す接触情報、及び前記表示面に応じた前記指示体により支持される位置を示す指示体位置情報を含む位置情報を取得し、取得した前記位置情報に基づいて、前記指示体の動作が前記表示面と接触しない状態における所定の動作であるか否かを判定し、前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記表示面に表示する、制御方法である。
この構成により、制御方法は、指示体が表示面と接触しているか否かを示す接触情報、及び表示面に応じた指示体により支持される位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体の動作が表示面と接触しない状態における所定の動作であるか否かを判定し、指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を表示面に表示する。これにより、制御方法は、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる。

以上により、表示装置、及び制御方法は、指示体が表示面と接触しているか否かを示す接触情報、及び表示面に応じた指示体の位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体の動作が表示面と接触しない状態における所定の動作であるか否かを判定し、前記指示体の動作が表示面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を表示面に表示する。これにより、表示装置、及び制御方法は、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる。
また、プロジェクターは、映像信号が示す画像を、レンズを介して投影面に投影するための光を照射し、映像信号に応じて光を変調し、指示体が投影面と接触しているか否かを示す接触情報、及び投影面に応じた指示体により支持される位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体の動作が投影面と接触しない状態における所定の動作であるか否かを判定し、指示体の動作が投影面と接触しない状態における所定の動作であると判定した場合、指示体に割り当てられた機能を示す情報を投影面に投影する。これにより、プロジェクターは、ユーザーが所望するタイミングで指示体に割り当てられた機能を投影（表示）することができる。

本実施形態に係るプロジェクター１が使用される様子の一例を模式的に示す図である。 投影範囲Ｐに投影された投影画像Ｐ１の一例を示す図である。 プロジェクター１の機能構成の一例を示す図である。 画像処理部１７が指示体３の動作を判定し、機能通知画像Ｄを表示する処理の流れの一例を示すフローチャートである。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態に係るプロジェクター１が使用される様子の一例を模式的に示す図である。プロジェクター１は、無線ＬＡＮ（Local Area Network）等の無線通信によって情報処理装置２と通信可能に接続される。なお、プロジェクター１は、情報処理装置２と無線ＬＡＮケーブル等を介した有線通信を行う構成であってもよい。

プロジェクター１は、投影面ＳＣの投影範囲Ｐに投影画像Ｐ１を投影する。例えば、プロジェクター１は、情報処理装置２から画像信号を受信し、受信した画像信号に基づく画像を投影画像Ｐ１として投影面ＳＣの投影範囲Ｐに投影する。なお、プロジェクター１は、プロジェクター１に記憶された画像情報に基づく画像を投影画像Ｐ１として投影面ＳＣの投影範囲Ｐに投影する構成であってもよい。

投影面ＳＣは、この一例において、壁面に設置された専用のスクリーンである。なお、投影面ＳＣは、テーブル等の台の上面の一部又は全部であってもよく、壁面の一部又は全部や、物体の表面等、他の面上であってもよい。また、投影範囲Ｐは、投影面ＳＣの一部又は全部である。以下では、説明の便宜上、投影画像Ｐ１を投影面ＳＣの投影範囲Ｐに投影することを、投影画像Ｐ１を投影面ＳＣに投影すると称して説明する。

プロジェクター１は、指示体３の位置を示す指示体位置情報を取得する。プロジェクター１は、取得した指示体位置情報を情報処理装置２に送信する。プロジェクター１は、情報処理装置２に送信した指示体位置情報に対する応答として情報処理装置２から受信する画像信号に基づく画像を投影画像Ｐ１として投影面ＳＣに投影する。また、プロジェクター１は、取得した指示体位置情報に基づいて、投影面ＳＣに投影された投影画像Ｐ１上に図形や文字等のオブジェクトを描画する。すなわち、プロジェクター１は、電子黒板システムやインタラクティブな投影システムとして機能する。

また、プロジェクター１は、指示体３が投影面ＳＣに接触しているか否かを示す接触情報を取得する。プロジェクター１は、取得した接触情報と、取得した指示体位置情報とに基づいて指示体３の動作を判定する。以下では、接触情報と指示体位置情報をまとめて位置情報と称して説明する。プロジェクター１は、指示体３の動作がホバリング中における所定の動作であると判定した場合、指示体３に割り当てられた機能を示す情報を投影画像Ｐ１に重ねて投影面ＳＣに投影する。ホバリングとは、この一例において、指示体３が投影面ＳＣに接触せずに移動することを示す。所定の動作とは、例えば、シェイクである。シェイクとは、指示体３が所定時間内に所定領域内のＸ軸方向又はＹ軸方向へ所定回数以上往復する動作を示す。なお、所定の動作がシェイクの場合、指示体３が所定時間内に所定領域内のＸ軸方向又はＹ軸方向へ所定回数以上往復する途中において、指示体３が投影面ＳＣに接触した場合（ホバリング中ではなくなった場合）、プロジェクター１は、指示体３の動作の判定をリセットしてもよく、リセットしなくてもよい。リセットしない場合は、ホバリングが継続されたとみなす。ここで、Ｘ軸方向とは、投影面ＳＣに平行な任意の方向であり、この一例において、投影面ＳＣに平行で、且つ地面に対して水平な方向である場合について説明する。また、Ｙ軸方向とは、投影面ＳＣに平行でＸ軸方向と直交する方向である。

例えば、所定時間は、１秒間であるが、例えば１秒から３秒の間の任意の時間などの他の時間であってもよい。また、所定領域は、位置情報が示す指示体３の位置を中心とした半径５センチメートル程度の円形領域であるが、例えば５センチメートルから１０センチメートルの間の任意の大きさなどの他の大きさや他の形状の領域であってもよい。また、所定回数は、３回であるが、例えば３回から５回の間の任意の回数などの他の回数であってもよい。なお、所定の動作は、シェイクに限られず、例えば、１秒間から３秒間までの間の任意の所定待機時間以上の静止などの他の動作であってもよい。

このように、プロジェクター１は、位置情報を取得し、取得した位置情報に基づいて、指示体３の動作がホバリング中における所定の動作であるか否かを判定し、指示体３の動作がホバリング中における所定の動作であると判定した場合、指示体３に割り当てられた機能を示す情報を投影面ＳＣに投影する。これにより、プロジェクター１は、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる。

ここで、位置情報の取得に関し、プロジェクター１は、この一例において、投影範囲Ｐを含む範囲が撮像された撮像画像から指示体３が発光する赤外線信号の位置を検出する。プロジェクター１は、撮像画像から検出した赤外線信号の位置に基づいて位置情報を取得する。なお、撮像画像上の位置と、投影範囲Ｐ上の位置とは、予めキャリブレーションにより対応付けられているものとする。

プロジェクター１は、赤外線周波数帯の同期信号を周期的に送信する。プロジェクター１は、送信した同期信号に対する応答として指示体３が発光する赤外線信号の位置を撮像画像から検出する。そして、プロジェクター１は、検出した赤外線信号の位置に基づいて指示体３の位置を検出する。なお、プロジェクター１は、２以上の指示体３が存在する場合、それぞれの指示体３に応じた赤外線周波数帯の同期信号を周期的に送信する構成であってもよく、２以上の指示体３が存在する場合であっても、ある共通の赤外線周波数帯の同期信号を周期的に送信する構成であってもよい。また、プロジェクター１は、赤外線周波数帯の同期信号に変えて、赤外線周波数帯以外の他の周波数帯の同期信号を送信する構成であってもよい。

ここで、指示体３がホバリング中であるか否かの判定に関し、プロジェクター１は、送信した同期信号に対する応答とは異なる信号であって、指示体３の先端に備えられたスイッチをオンにされた際に送信される赤外線信号を受信する送受信部を備える。なお、この信号は、プロジェクター１が送信した同期信号に対する応答とは異なる信号であればよく、周波数帯が同じ信号であってもよく、異なる周波数帯の信号であってもよい。プロジェクター１は、送受信部により当該赤外線信号を受信した場合、指示体３が投影面ＳＣに接触していると判定する。一方、プロジェクター１は、当該赤外線信号を受信していない場合、指示体３が投影面ＳＣに接触していないと判定する。すなわち、プロジェクター１は、当該赤外線信号に基づいて指示体３がホバリング中であるか否かを判定することができる。なお、指示体３は、プロジェクター１から受信した同期信号に対する応答として発光する赤外線信号とは異なる、指示体３のスイッチをオンにされた際の赤外線信号を送信するとしたが、具体的な方法として、プロジェクター１から受信した同期信号に対する応答として発光する赤外線信号の発光パターンを変化させても良いし、指示体３のスイッチをオンにされたことを示す情報を含める構成であってもよい。

情報処理装置２は、例えば、ノートＰＣ（Personal Computer）やデスクトップＰＣ等であるが、これに代えて、タブレットＰＣや多機能携帯電話端末（スマートフォン）、携帯電話端末、電子書籍リーダー、ＰＤＡ（Personal Digital Assistant）であってもよい。情報処理装置２は、例えば、プロジェクター１とともにテーブルの上面に設置されるが、他の位置に設置されてもよい。

情報処理装置２は、プロジェクター１に画像信号を送信する。また、情報処理装置２は、プロジェクター１から受信する指示体位置情報に基づく画像を生成し、生成した画像を示す画像信号を、受信した位置情報に対する応答としてプロジェクター１に送信する。プロジェクター１から受信する指示体位置情報に基づく画像とは、例えば、指示体位置情報に応じてカーソルの位置が変化した画像や、指示体位置情報に基づいて起動された情報処理装置２にインストールされているアプリケーションプログラムのＧＵＩ（Graphical User Interface）や、指示体位置情報に基づいて開かれたフォルダのＧＵＩ等であるが、他の画像であってもよい。

指示体３は、この一例において、赤外線信号を送受信する電子ペン（発光ペン）である。指示体３は、プロジェクター１から送信される赤外線周波数帯の同期信号を受信する。また、指示体３は、当該同期信号の受信に応じて、先端に備えられた発光素子を発光させることにより赤外線信号を送信する。また、指示体３は、投影面ＳＣと接触する側の先端が投影面ＳＣに押し付けらえることによりオンに切り替わり、当該先端が投影面ＳＣから離されたことによりオフに切り替わるスイッチを備える。指示体３は、当該スイッチがオンにされると、当該スイッチがオンになったことを示す赤外線信号をプロジェクター１に送信する。

次に、図２を参照することで、プロジェクター１の機能の概要について説明する。図２は、投影範囲Ｐに投影された投影画像Ｐ１の一例を示す図である。指示体３の動作がホバリング中における所定の動作であるとプロジェクター１が判定していない場合、投影画像Ｐ１には、例えば、プロジェクター１が情報処理装置２から受信した画像信号に基づく画像が表示される。また、投影画像Ｐ１には、プロジェクター１により描画されたツールバーＴと、カーソルＳ１とが、当該画像信号に基づく画像に重ねて表示される。

ツールバーＴには、ユーザーによる指示体３を用いた選択操作によって指示体３に割り当てることが可能な機能を示す１以上のアイコンと、実行可能な機能を示す１以上のアイコンとが表示される。指示体３に割り当てることが可能な機能とは、例えば、ペン、蛍光ペン、黒ペン、赤ペン、青ペン、消しゴム等、投影画像Ｐ１に対する描画において利用される各種の機能を示す。また、実行可能な機能とは、アノテーションモードの実行、ホワイトボードモードの実行、リドゥ、アンドゥ、選択範囲の決定１（例えば、自動選択ツール等）、選択範囲の決定２（例えば、選択範囲の決定１とは異なり、長方形選択ツール等）、コピー、画面クリア、ツールバーの固定等、投影画像Ｐ１への描画中にユーザーが実行可能な各種の機能を示す。

カーソルＳ１は、この一例において、円形状のカーソルである。カーソルＳ１の中心の位置は、指示体３の先端の位置に対応する投影画像Ｐ１上の位置を示す。カーソルＳ１は、指示体３がホバリング中に表示される。なお、カーソルＳ１の形状は、円形状に代えて、リング形状や矢印形状等の他の形状であってもよい。

指示体３の動作がホバリング中における所定の動作であるとプロジェクター１が判定した場合、投影画像Ｐ１には、所定表示時間が経過するまで、指示体３に割り当てられた機能を示す情報を表示する機能通知画像Ｄが、すでに表示されている他の要素（画像等）に重ねて表示（ポップアップ表示）される。所定表示時間とは、例えば、３秒程度であるが、例えば３秒から１０秒の間の任意の時間などの他の時間であってもよい。

機能通知画像Ｄには、この一例において、ツールバーＴから選択されている機能であって、指示体３に割り当てられた機能を示す情報として、ペンツールが選択されていることを示す情報（図２において、「ペン」という文字情報）と、ペンツールにおけるペンの太さを示す情報（図２において「１５ｐｔ」という文字情報）等が表示される。なお、機能通知画像Ｄには、これらに加えて、他の情報が表示されてもよい。

また、機能通知画像Ｄは、カーソルＳ１の中心の位置を示す中心位置情報を有する。中心位置情報は、この一例において、図２に示したように機能通知画像Ｄの輪郭からカーソルＳ１の中心の位置へと伸びる部位Ｎ１であるが、他の情報であってもよい。なお、プロジェクター１が表示する機能通知画像Ｄが中心位置情報を有することは、必須ではない。
また、機能通知画像Ｄは、投影画像Ｐ１内において機能通知画像Ｄの全体が、カーソルＳ１やツールバーＴと重ならずに表示可能な位置に表示される。また、機能通知画像Ｄは、投影画像Ｐ１内において機能通知画像Ｄの全体が、カーソルＳ１やツールバーＴと重ならずに表示可能な位置が存在しない場合、所定の方向にずれた位置に表示される。

次に、図３を参照して、プロジェクター１の機能構成について説明する。図３は、プロジェクター１の機能構成の一例を示す図である。プロジェクター１は、制御部１１と、記憶部１２と、入力受付部１３と、外部機器接続部１４と、画像処理部１７と、投影部１８と、取得部２１を備える。制御部１１と画像処理部１７はそれぞれ、例えば、図示しないＣＰＵ（Central Processing Unit）が、記憶部１２に記憶されたプログラムを実行することで実現される。なお、制御部１１と画像処理部１７はそれぞれ、ＦＰＧＡ（Field-Programmable Gate Array）を用いて構成されてもよい。また、制御部１１と画像処理部１７のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

制御部１１は、プロジェクター１の全体を制御する。制御部１１は、入力受付部１３により受け付けられたユーザーからの操作に基づく情報を画像処理部１７に出力する。このユーザーからの操作に基づく情報には、記憶部１２に記憶された画像情報に基づく画像も含まれる。また、制御部１１は、外部機器接続部１４を介して情報処理装置２から受信した画像信号を画像処理部１７に出力する。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）やレジスター、あるいは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等を含む。記憶部１２は、プロジェクター１が処理する各種の情報やプログラム等を格納する。

入力受付部１３は、例えば、ユーザーからの指示等を受け付ける各種の操作ボタンや操作キー、タッチパネル等である。なお、入力受付部１３は、プロジェクター１に備えられた（内蔵された）ものに限らず、ユーザーからの入力を受け付ける各種の操作ボタンや操作キー、タッチパネル等を備えてユーザーから受け付けた入力操作を表す情報を無線又は有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター１は、リモートコントローラーから送信された情報を受信する受信部を備える。

外部機器接続部１４は、ケーブルＣが接続される端子（ＵＳＢケーブルやＬＡＮケーブルの接続ポート、画像入力端子等）を介して外部（この一例において、情報処理装置２）からの画像信号を取得し、取得した画像信号を制御部１１へ出力する。

取得部２１は、送受信部１５と、撮像部１６と、検出部２２を備える。取得部２１は、送受信部１５から接触情報を取得する。また、取得部２１は、検出部２２から指示体位置情報を取得する。取得部２１は、取得した指示体位置情報と、取得した接触情報とを画像処理部１７に位置情報として出力する。なお、この一例において、取得部２１が指示体位置情報を取得するとは、取得部２１が備える検出部２２が指示体３の位置を検出することを示す。また、取得部２１は、指示体位置情報を他の機能部や外部の装置から取得する構成であってもよい。

送受信部１５は、赤外線周波数帯の同期信号を周期的に送信する。また、送受信部１５は、送信した同期信号に対する応答とは異なる赤外線信号であって、指示体３の先端に備えられたスイッチがオンにされた際に送信される赤外線信号を受信する。また、送受信部１５は、当該赤外線信号を受信した場合、当該赤外線信号を受信したことを示す情報を、指示体３が投影面ＳＣに接触していることを示す接触情報として生成する。また、送受信部１５は、当該赤外線信号を受信していない場合、当該赤外線信号を受信していないことを示す情報を、指示体３が投影面ＳＣに接触していないことを示す接触情報として所定時間（例えば、１秒間等）が経過する毎に生成する。なお、送受信部１５は、当該赤外線信号を受信した場合、当該所定時間とは無関係に指示体３が投影面ＳＣに接触していることを示す接触情報を生成する。送受信部１５は、受信部の一例である。

撮像部１６は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。本実施形態では、撮像部１６（又は撮像部１６を備える送受信部１５）は、プロジェクター１と統合されたハードウェアとなっている。撮像部１６は、プロジェクター１と統合されるのに代えて、プロジェクター１とは別体として有線又は無線によってプロジェクター１と通信可能に接続されてもよい。なお、撮像部１６は、プロジェクター１により投影される投影範囲Ｐを撮像可能な位置に設けられる。

検出部２２は、撮像部１６が撮像した撮像画像から指示体３が発光する赤外線信号の位置を検出する。検出部２２は、検出した位置に基づいて投影画像Ｐ１上の位置を算出（検出）し、算出した位置を示す情報を指示体位置情報として生成する。

画像処理部１７は、判定部２３と、情報表示制御部２４を備える。また、画像処理部１７は、制御部１１から取得した画像信号を、ＲＧＢのそれぞれ（Red、Green、Blue）毎に、投影部１８が備える図示しない液晶パネルの各画素の階調を表す画像情報に変換する。そして、画像処理部１７は、変換した画像情報を投影部１８に出力して投影面ＳＣの投影画像Ｐ１として投影させる。また、画像処理部１７は、取得部２１から位置情報を取得する。画像処理部１７は、取得した位置情報に含まれる指示体位置情報に基づいて、投影面ＳＣに投影された投影画像Ｐ１上における指示体３の先端の位置に対応する位置にカーソルＳ１を、すでに投影されている投影画像Ｐ１に重ねて投影部１８により投影させる。

判定部２３は、画像処理部１７が取得した位置情報（すなわち、接触情報と指示体位置情報）に基づいて、指示体３の動作がホバリング中における所定の動作であったか否かを判定する。
情報表示制御部２４は、指示体３の動作がホバリング中における所定の動作であったと判定部２３が判定した場合、機能通知画像Ｄを投影面ＳＣに投影された投影画像Ｐ１上へ投影部１８により投影させる。

投影部１８は、図示しない液晶パネルと、図示しない光源と、図示しない投影レンズを備える。投影部１８は、画像処理部１７から入力される画像情報に応じた駆動電圧を図示しない液晶パネルの各画素に印加（駆動）する。この印加によって、液晶パネルは、図示しない光源から液晶パネルへ入射した光を、画像情報に応じた画像を映し出す光として形成する。投影部１８は、光源が放射した光を液晶パネル側に反射するリフレクターを含み、反射した光を画像情報に応じた画像を映し出す光として液晶パネルに形成させる。そして、投影部１８は、液晶パネルに形成された画像を映し出す光を、図示しない投影レンズを通して投影面ＳＣの投影範囲Ｐに投影する。

ここで、光源は、例えば、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプであるが、光源ランプに限られず、ＬＥＤ（Light Emitting Diode）光源やレーザー光源等を用いてもよい。液晶パネルは、例えば、一対の透明基板間に液晶が封入された、光の三原色であるＲＧＢそれぞれに対応した透過型の液晶パネルである。なお、液晶パネルは、透過型の液晶パネルに限られず、反射型の液晶パネルであってもよい。また、投影部１８は、液晶パネルを備える構成に代えて、ＤＭＤ（Digital Mirror Device）等を備える構成であってもよい。

次に、図４を参照して、画像処理部１７が指示体３の動作を判定し、機能通知画像Ｄを表示する処理について説明する。図４は、画像処理部１７が指示体３の動作を判定し、機能通知画像Ｄを表示する処理の流れの一例を示すフローチャートである。なお、以下では、取得部２１が送受信部１５から接触情報をすでに取得している場合について説明する。

まず、検出部２２は、撮像部１６が撮像した撮像画像を取得する（ステップＳ１００）。次に、検出部２２は、ステップＳ１００において取得された撮像画像から指示体３が発光する赤外線信号の位置を検出する。検出部２２は、検出した位置に基づいて投影画像Ｐ１上の位置を算出（検出）し、算出した位置を示す情報を指示体３の位置を示す指示体位置情報として生成する。そして、取得部２１は、取得した（すなわち、検出部２２が生成した）指示体位置情報と、取得した（すなわち、送受信部１５が生成した）接触情報とを位置情報として画像処理部１７に出力する（ステップＳ１１０）。

なお、この一例において、指示体３が備える赤外線送信部から出力される、同期信号に対する応答として発光される赤外線信号と、指示体３の先端に備えられたスイッチをオンにされた際に送信される赤外線信号とについて説明する。検出部２２は、同期信号に対する応答として発光される赤外線信号と、指示体３の先端に備えられたスイッチをオンにされた際に送信される赤外線信号とを区別することなく、指示体３の位置を検出することができる。そして、送受信部１５は、同期信号に対する応答として発光される赤外線信号と、指示体３の先端に備えられたスイッチをオンにされた際に送信される赤外線信号とを、発行パターンの違いによって区別する。なお、送受信部１５は、同期信号に対する応答として発光される赤外線信号と、指示体３の先端に備えられたスイッチをオンにされた際に送信される赤外線信号とを、周波数帯の違いによって区別しても良い。

次に、画像処理部１７は、取得部２１から位置情報を取得する。判定部２３は、取得した位置情報（すなわち、接触情報と指示体位置情報）に基づいて、指示体３の動作がホバリング中における所定の動作であったか否かを判定する（ステップＳ１２０）。指示体３の動作がホバリング中における所定の動作ではないと判定した場合（ステップＳ１２０−Ｎｏ）、取得部２１は、ステップＳ１００に遷移し、次の撮像画像を取得する。一方、判定部２３は、指示体３の動作がホバリング中における所定の動作であると判定した場合（ステップＳ１２０−Ｙｅｓ）、情報表示制御部２４は、機能通知画像Ｄを投影面ＳＣに投影された投影画像Ｐ１上へ投影部１８により投影させる（ステップＳ１３０）。

なお、プロジェクター１は、音声を鳴らす音声出力部を備える構成であってもよい。音声出力部は、ステップＳ１３０において指示体３に割り当てられた機能を示す情報を音声によって通知してもよい。なお、音声出力部は、指示体３に割り当てられた機能に応じた音声データを記憶部１２から読み込み、読み込んだ音声データに基づく音声を出力する。また、プロジェクター１は、音声出力部に代えて、又は音声出力部に加えて他の形式（例えば、振動や点字等）によって指示体３に割り当てられた機能を示す情報を出力する出力部を備える構成であってもよい。

また、判定部２３は、第１判定部と第２判定部を備え、第１判定部により接触情報に基づいて指示体３がホバリング中であるか否かを判定し、指示体３がホバリング中であると第１判定部が判定した場合、第２判定部により位置情報に基づいて指示体３の動作が所定の動作であるか否かを判定する構成であってもよい。つまり、判定部２３は、指示体３の動作がホバリング中における所定の動作であるか否かを、２つの判定部（すなわち、第１判定部と第２判定部）がそれぞれ独立に判定する構成であってもよい。

なお、上記の実施形態では、プロジェクター１が送受信部１５により指示体３から受信した赤外線信号に基づいて指示体３が投影面ＳＣに接触していたか否かを判定する態様について説明したが、これに代えて、プロジェクター１が撮像部１６により撮像された撮像画像から指示体３が投影面ＳＣに接触していたか否かを判定する態様であってもよい。この場合の撮像部１６は、投影面ＳＣを含む範囲をステレオ撮像するステレオ撮像部である。また、判定部２３は、送受信部１５から取得する接触情報と、撮像部１６が撮像する撮像画像とに基づいて指示体３の動作がホバリング中における所定の動作であるか否かを判定する構成に代えて、撮像部１６が撮像したステレオ撮像画像に基づいて指示体３の動作がホバリング中における所定の動作であるか否かを判定する。すなわち、判定部２３は、ステレオ撮像画像からパターンマッチング等によって指示体３の位置を検出する。この際に検出される指示体３の位置には、投影面ＳＣ上におけるＸ軸方向及びＹ軸方向の位置に加えて、投影面ＳＣからの高さ方向の位置を含む。すなわち、判定部２３は、指示体３の投影面ＳＣからの高さ方向の位置により指示体３が投影面ＳＣに接触しているか否かを判定することができる。

また、上記の実施形態では、接触情報と位置情報に基づいて指示体３の動作がホバリング中における所定の動作であるか否かをプロジェクター１が判定する態様について説明したが、これに代えて、プロジェクター１が、第１ライトカーテン生成装置と、送受信部１５を備え、指示体３が先端のスイッチを備えず、同期信号を受信したときにのみ赤外線信号を発光する態様であってもよい。すなわち、この態様では、プロジェクター１は、送受信部１５により赤外線周波数帯の同期信号を周期的に送信する。そして、プロジェクター１は、送信した同期信号に対する応答として指示体３が発光する赤外線信号の位置を撮像画像から検出する。また、プロジェクター１は、撮像部１６により撮像された撮像画像から、第１ライトカーテン生成装置から照射されたライトカーテンの指示体３からの反射光を検出し、第１ライトカーテン生成装置から照射されたライトカーテンの指示体３からの反射光が検出された場合、指示体３が投影面ＳＣに接触していると判定する。

ここで、第１ライトカーテン生成装置は、投影面ＳＣ上に沿って面状に所定の周波数帯の光を照射する装置である。なお、所定の周波数帯の光とは、例えば、赤外線周波数帯の光を示すが、他の周波数帯の光であってもよい。ライトカーテンとは、第１ライトカーテン生成装置により照射された面状の光を示す。なお、第１ライトカーテン生成装置から照射されるライトカーテンと投影面ＳＣとの間の距離は、指示体３が投影面ＳＣに接触しているか否かをプロジェクター１がライトカーテンの反射光によって判定する必要があるため、１センチメートル程度であることが望ましいが、他の距離であってもよい。第１ライトカーテン生成装置は、照射部の一例である。

また、上記の実施形態では、プロジェクター１が送受信部１５を備える態様に代えて、プロジェクター１が、第１ライトカーテン生成装置と、第２ライトカーテン生成装置と、撮像部１６を備える態様であってもよい。すなわち、この態様では、プロジェクター１は、撮像部１６により撮像された撮像画像から、第１ライトカーテン生成装置から照射されたライトカーテンの指示体３からの反射光を検出し、第１ライトカーテン生成装置から照射されたライトカーテンの指示体３からの反射光が検出された場合、指示体３が投影面ＳＣに接触していると判定する。

また、プロジェクター１は、撮像部１６により撮像された撮像画像から、第２ライトカーテン生成装置から照射されたライトカーテンの指示体からの反射光を検出し、検出された反射光の撮像画像上の位置に基づいて指示体３の位置を検出する。なお、第２ライトカーテン生成装置から照射されたライトカーテンは、投影面ＳＣ上に沿って照射され、第１ライトカーテン生成装置から照射されるライトカーテンよりも投影面ＳＣから離れた距離に照射される。例えば、第２ライトカーテン生成装置から照射されたライトカーテンと投影面ＳＣの間の距離は、３センチメートル程度であるが、他の距離であってもよい。なお、第１ライトカーテン生成装置と第２ライトカーテン生成装置の位置関係は、逆であってもよい。

また、上記の実施形態では、指示体３の動作がホバリング中における所定の動作であるか否かをプロジェクター１が判定し、その判定結果に応じて機能通知画像Ｄをプロジェクター１が投影させる態様について説明したが、指示体３の動作がホバリング中における所定の動作であるか否かをプロジェクター１以外の表示装置（表示部）Ｘが判定し、その判定結果に応じて機能通知画像Ｄを表示装置Ｘが表示させる態様であってもよい。この場合、表示装置Ｘは、指示体３の位置を示す指示体位置情報や、指示体３の先端が表示面に接触しているか否かを示す接触情報等を取得するため、プロジェクター１が備えていた送受信部１５を備えてもよく、ステレオ撮像可能な撮像部を備えていてもよく、撮像部に加えてライトカーテン生成装置を備える構成であってもよい。

また、表示装置Ｘが撮像部を備えている場合、撮像部は、表示装置Ｘとは別体で構成されてもよく、表示装置Ｘと一体的に構成されてもよい。なお、プロジェクター１以外の表示装置Ｘとしては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。

以上説明したように、本実施形態に係るプロジェクター１（又は表示装置Ｘ）は、指示体３が投影面ＳＣと接触しているか否かを示す接触情報、及び投影面ＳＣに応じた指示体３の位置を示す指示体位置情報を含む位置情報を取得し、取得した位置情報に基づいて、指示体３の動作が投影面ＳＣと接触しない状態における所定の動作であるか否かを判定し、指示体３の動作が投影面ＳＣと接触しない状態における所定の動作であると判定した場合、指示体３に割り当てられた機能を示す情報を投影面ＳＣに表示する。これにより、プロジェクター１は、ユーザーが所望するタイミングで指示体に割り当てられた機能を表示することができる。

また、プロジェクター１は、撮像部１６が撮像した撮像画像に基づいて指示体３の位置を検出する。これにより、プロジェクター１は、撮像画像に基づいて指示体３の動作が所定の動作であるか否かを判定することができる。

また、プロジェクター１は、投影面ＳＣを含む範囲を撮像し、撮像した撮像画像に基づいて指示体３が投影面ＳＣと接触しているか否かを判定する。これにより、プロジェクター１は、撮像画像に基づいて指示体３の動作が投影面ＳＣと接触しない状態における所定の動作であるか否かを判定することができる。

また、プロジェクター１は、指示体３が投影面ＳＣと接触しているか否かを示す赤外線信号を指示体３から受信し、受信された信号に基づいて指示体３が投影面ＳＣと接触しているか否かを判定する。これにより、プロジェクター１は、指示体３から送信された赤外線信号に基づいて指示体３が投影面ＳＣに接触しているか否かを判定することができる。

また、プロジェクター１は、投影面ＳＣに沿った面上に光を照射し、照射した光を指示体３が反射した反射光に基づいて指示体３が投影面ＳＣと接触しているか否かを判定する。これにより、プロジェクター１は、第１ライトカーテン生成装置が照射したライトカーテンを指示体３が反射した反射光に基づいて生成された接触情報に基づいて指示体３が投影面ＳＣに接触しているか否かを判定することができる。

また、プロジェクター１は、指示体３が投影面ＳＣと接触しているか否かを判定する第１判定を行い、指示体３が投影面ＳＣと接触していないと判定した場合、指示体３の動作が所定の動作であるか否かを判定する第２判定を行う。これにより、プロジェクター１は、指示体３が投影面ＳＣと接触していないか否かの判定と、指示体３の動作が所定の動作であるか否かの判定とを分けて行うことができる。

また、プロジェクター１は、指示体３の動作が投影面ＳＣと接触しない動作であって、所定時間以内に指示体３の所定部が所定領域内における所定軸方向に所定回数往復数する動作であるか否かを判定する。これにより、プロジェクター１は、指示体３の誤操作によって指示体３に割り当てられた機能を示す情報の表示を抑制することができる。

また、プロジェクター１は、指示体３の動作が投影面ＳＣと接触しない状態における所定の動作であると判定した場合、指示体３に割り当てられた機能を示す情報であって判定の時に表示されていなかった情報を投影面ＳＣに投影する。これにより、プロジェクター１は、指示体３が投影面ＳＣに接触していない状態における所定の動作が行われた後にのみ、指示体３に割り当てられた機能を示す情報を投影面ＳＣに投影させることができる。

また、プロジェクター１は、指示体３の動作が投影面ＳＣと接触しない状態における所定の動作であると判定した場合、指示体３に割り当てられた機能を示す情報を音声によって出力する。これにより、プロジェクター１は、指示体３に割り当てられた機能を示す情報を、音声によってより確実にユーザーに対して通知することができる。

なお、以上に説明したプロジェクター１（又は表示装置Ｘ）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ プロジェクター、２ 情報処理装置、３ 指示体、１１ 制御部、１２ 記憶部、１３ 入力受付部、１４ 外部機器接続部、１５ 送受信部、１６ 撮像部、１７ 画像処理部、２１ 取得部、２２ 検出部、２３ 判定部、２４ 情報表示制御部

Claims (11)

1. 指示体が表示面と接触しているか否かを示す接触情報、及び前記表示面に応じた前記指示体の位置を示す指示体位置情報を含む位置情報を取得する取得部と、
   前記取得部が取得した前記位置情報に基づいて、前記指示体の動作が前記表示面と接触しない状態における所定の動作であるか否かを判定する判定部と、
   前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記表示面に表示する表示制御部と、
   を備える表示装置。
2. 前記取得部は、前記表示面を含む範囲を撮像する撮像部を備え、前記撮像部が撮像した撮像画像に基づいて前記指示体の位置を検出する、
   を備える請求項１に記載の表示装置。
3. 前記取得部は、前記撮像部が撮像した撮像画像に基づいて前記指示体が前記表示面と接触しているか否かを判定する、
   請求項２に記載の表示装置。
4. 前記取得部は、前記指示体が前記表示面と接触しているか否かを示す信号を前記指示体から受信する受信部を備え、前記受信部により受信された前記信号に基づいて前記指示体が前記表示面と接触しているか否かを判定する、
   請求項１又は２に記載の表示装置。
5. 前記表示面に沿った面上に光を照射する照射部を備え、
   前記取得部は、前記照射部が照射した光を前記指示体が反射した反射光に基づいて前記指示体が前記表示面と接触しているか否かを判定する、
   請求項１又は２に記載の表示装置。
6. 前記表示制御部は、前記指示体が前記表示面と接触しているか否かを判定する第１判定を行い、前記指示体が前記表示面と接触していないと判定した場合、前記指示体の動作が前記所定の動作であるか否かを判定する第２判定を行う、
   請求項１から５のうちいずれか一項に記載の表示装置。
7. 前記所定の動作は、所定時間以内に前記指示体の所定部が所定領域内における所定軸方向に所定回数往復数する動作である、
   請求項１から６のうちいずれか一項に記載の表示装置。
8. 前記表示制御部は、前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報であって前記判定の時に表示されていなかった情報を前記表示面に表示する、
   請求項１から７のうちいずれか一項に記載の表示装置。
9. 前記判定部が前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を音声によって出力する音声出力部を備える、
   請求項１から８のうちいずれか一項に記載の表示装置。
10. 映像信号が示す画像を、レンズを介して投影面に投影するための光を照射する光源と、
    前記映像信号に応じて光を変調する光変調器と、
    指示体が前記投影面と接触しているか否かを示す接触情報、及び前記投影面に応じた前記指示体により支持される位置を示す指示体位置情報を含む位置情報を取得する取得部と、
    前記取得部が取得した前記位置情報に基づいて、前記指示体の動作が前記投影面と接触しない状態における所定の動作であるか否かを判定する判定部と、
    前記判定部が前記指示体の動作が前記投影面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記投影面に投影する表示制御部と、
    を備えるプロジェクター。
11. 指示体が表示面と接触しているか否かを示す接触情報、及び前記表示面に応じた前記指示体により支持される位置を示す指示体位置情報を含む位置情報を取得し、
    取得した前記位置情報に基づいて、前記指示体の動作が前記表示面と接触しない状態における所定の動作であるか否かを判定し、
    前記指示体の動作が前記表示面と接触しない状態における前記所定の動作であると判定した場合、前記指示体に割り当てられた機能を示す情報を前記表示面に表示する、
    制御方法。

Images