JP2017068001A - 表示装置及び表示装置の制御方法 - Google Patents

Abstract

【課題】オンスクリーンの画像を操作せずにモードの切り替えを行えるようにする。【解決手段】プロジェクター１０は、表示面に画像を表示する表示部と、画像の表示面に対する指示体の操作を検知する検知部と、検知部が検知した操作に対応した画像を生成する生成部と、外部装置から画像情報を取得する取得部と、検知部が検知した操作において少なくとも指示体の移動速度又は移動量のいずれかが予め定められた条件を満たした場合、第１モードと第２モードのいずれかを選択する選択部と、画像を表示する表示部と、検知部が検知した操作を表す情報を外部装置へ出力する出力部と、を有し、選択部が第１モードを選択した場合、表示部は、取得部が取得した画像情報が表す画像に生成部が生成した画像を重畳した画像を表示し、選択部が前記第２モードを選択した場合、検知部が検知した操作を表す情報を出力部が出力する。【選択図】図１

Description

本発明は、表示装置及び表示装置の制御方法に関する。

特許文献１においては、指示体の指示位置に画像を描画する描画モードと、ＰＣ（Personal Computer）のポインティングデバイスとして指示体を使用するＰＣ操作モードを備えたプロジェクションシステムが開示されている。このシステムによれば、指示体で描画を行うだけでなく、ＰＣの操作を行うこともできる。

特開２０１３−２４７４８６号公報

特許文献１に開示されたシステムにおいては、描画モードとＰＣ操作モードの切り替えは、プロジェクターが投写したオンスクリーンのツールバーにある描画モード切換ボタンやＰＣ操作切換ボタンに対する操作により行われる。モードを切り替える度にツールバーを表示させ、切換ボタンを操作することについては繁雑と感じられることもあり、モードを容易に切り替えられる技術が求められている。

本発明は、オンスクリーンの画像を操作せずにモードの切り替えを行える技術を提供する。

本発明は、表示面に画像を表示する表示部と、前記表示面に対する指示体の操作を検知する検知部と、前記検知部が検知した操作に対応した画像を生成する生成部と、外部装置から画像情報を取得する取得部と、前記検知部が検知した前記操作において少なくとも前記指示体の移動速度又は移動量のいずれかが予め定められた条件を満たした場合、第１モードと第２モードのいずれかを選択する選択部と、前記検知部が検知した操作を表す情報を前記外部装置へ出力する出力部と、を有し、前記選択部が前記第１モードを選択した場合、前記表示部は、前記画像情報が表す画像に前記生成部が生成した画像を重畳した画像を表示し、前記選択部が前記第２モードを選択した場合、前記検知部が検知した操作を表す情報を前記出力部が出力する表示装置を提供する。
本発明によれば、オンスクリーンの画像を操作せずにモードの切り替えを行うことができる。

本発明においては、前記選択部は、前記操作における前記指示体の移動速度が予め定められた閾値以上の場合には前記第１モードを選択する構成としてもよい。
この構成によれば、ユーザーは、指示体の移動速度を予め定められた閾値以上とするとモードを切り替えることができる。

また、本発明においては、前記選択部は、前記操作における前記指示体の移動速度が予め定められた閾値未満の場合には前記第２モードを選択する構成としてもよい。
この構成によれば、ユーザーは、指示体の移動速度を予め定められた閾値未満とするとモードを切り替えることができる。

また、本発明においえては、前記選択部は、前記操作における前記指示体の移動軌跡が直線的である場合には前記第２モードを選択する構成としてもよい。
この構成によれば、ユーザーは、指示体の移動軌跡を直線的にするとモードを切り替えることができる。

また、本発明においては、前記生成部は、前記第２モードから前記第１モードに遷移した場合、遷移前の前記指示体の移動軌跡に対応した画像を生成する構成としてもよい。
この構成によれば、指示体の移動軌跡に対応した画像を表示することができる。

また、本発明においては、前記検知部は、前記指示体が前記表示面と接していない状態においても前記指示体の操作を検知する構成としてもよい。
この構成によれば、指示体が表示面から離れていてもユーザーの操作でモードを切り替えることができる。

また、本発明においては、前記生成部、前記選択部が選択したモードに対応した画像を生成し、前記表示部は、当該画像を表示する構成としてもよい。
この構成によれば、ユーザーは、表示装置がどのモードを選択しているか知ることができる。

また、本発明においては、前記選択部は、前記操作の時間が閾値未満であり、当該操作における前記指示体の移動量が閾値未満である場合には前記第２モードを選択する構成としてもよい。
この構成によれば、ユーザーが、指示体を短時間の間に短い距離を移動させると、モードを切り替えることができる。

また、本発明においては、前記検知部は、前記表示面における前記指示体の位置を検知し、前記選択部は、当該位置が前記表示面の予め定められた領域内である場合には前記第２モードを選択する構成としてもよい。
この構成によれば、表示面の予め定められた領域に指示体を移動させるとモードを切り替えることができる。

また、本発明においては、前記選択部は、前記第１モードに対応する前記指示体の操作と、前記第２モードに対応する前記指示体の操作を学習する構成としてもよい。
この構成によれば、モードの切り替えの誤動作を少なくすることができる。

また、本発明は、画像の表示面に対する指示体の操作を検知する検知ステップと、前記検知ステップで検知した操作に対応した画像を生成する生成ステップと、前記検知ステップで検知した前記操作において少なくとも前記指示体の移動速度又は移動量のいずれかが予め定められた条件を満たした場合、第１モードと第２モードのいずれかを選択する選択ステップと、前記選択ステップで前記第１モードを選択した場合、外部装置から取得した画像情報が表す画像に前記生成ステップで生成した画像を重畳した画像を表示する表示ステップと、前記選択ステップで前記第２モードを選択した場合、前記検知ステップで検知した操作を表す情報を前記外部装置へ出力する出力ステップとを備える表示装置の制御方法を提供する。
本発明によれば、オンスクリーンの画像を操作せずにモードの切り替えを行うことができる。

表示システム１を構成する装置を示した図。 プロジェクター１０と指示体２０のハードウェア構成を示した図。 制御部１１０において実現する機能の機能ブロック図。 制御部１１０が行う処理の流れを示したフローチャート。 スクリーンＳＣに表示される画面の一例を示した図。 スクリーンＳＣに表示される画面の一例を示した図。

図１は、本発明の一実施形態に係る表示システム１を構成する装置を示した図である。表示システム１は、表示面となるスクリーンＳＣに画像を投写するプロジェクター１０、指示体２０及びＰＣ（Personal Computer）３０で構成されている。

表示装置の一例であるプロジェクター１０は、ＰＣ３０に有線又は無線により接続され、ＰＣ３０から供給された映像信号が表す画像をスクリーンＳＣへ投写する。映像信号は、画像を表す画像情報の一例である。また、プロジェクター１０は、投写された画像に対して指示体２０で書き込みを行う描画機能と、指示体２０をＰＣ３０のポインティングデバイスとして使用するＰＣ操作機能を備えている。プロジェクター１０は、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて映像を投写する。なお、本実施形態においては、プロジェクター１０は、スクリーンＳＣへ映像を投写するが、スクリーンＳＣの替わりに壁面（表示面）に映像を投写してもよい。また、本実施形態においては、プロジェクター１０は、金具によって壁面に設置される構成となっているが、天井に設置してもよい。また、机上に設置し、スクリーンＳＣの替わりに机上に映像を投写してもよい。

ペン型の指示体２０は、プロジェクター１０又はＰＣ３０を操作するためのポインティングデバイスとして機能し、描画機能やＰＣ操作機能を利用するときにユーザーが使用する。

図２は、プロジェクター１０及び指示体２０のハードウェア構成を示した図である。指示体２０は、制御部２１０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、指示体２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、指示体２０の先端から球面上に広がる。制御部２１０は、発光部２３０及び操作部２４０に接続されている。制御部２１０は、操作部２４０で行われた操作に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。

プロジェクター１０は、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０は、映像処理部１５０、インターフェース１６０、撮像部１７０Ａ及び撮像部１７０Ｂを備える。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、プロジェクター１０においては、制御部１１０が各部を制御し、映像をスクリーンＳＣに投写する機能や上述の描画機能、上述のＰＣ操作機能などが実現する。

インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）など、映像信号が供給されるコネクターを複数有し、ＰＣ３０などの外部装置からコネクターに供給された映像信号を映像処理部１５０へ供給する。また、インターフェース１６０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースや、ＵＳＢ（
Universal Serial Bus）や有線のＬＡＮなどの有線通信のインターフェースを有する。インターフェース１６０は、接続されるＰＣ３０とデータ通信を行う。有線通信又は無線通信で外部装置と接続される場合、投写する画像を表す画像情報をデータ通信で取得する場合がある。インターフェース１６０は、外部装置であるＰＣ３０から画像情報を取得する取得部の一例である。

記憶部１２０は、投写する映像の画質に係る設定値や、各種機能の設定に係る情報を記憶する。操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される映像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。

投写部１４０と映像処理部１５０は協働し、画像を表示する表示部として機能する。映像処理部１５０は、インターフェース１６０から供給される映像信号を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩや指示体２０が指し示す位置を表すカーソル、描画機能で描画する画像などのオンスクリーン画像の信号を制御部１１０から取得する。映像処理部１５０は、各種の画像処理機能を備えており、インターフェース１６０から供給された映像信号に画像処理を施し、投写する映像の画質を調整する。映像処理部１５０は、制御部１１０からオンスクリーン画像の信号が供給された場合には、オンスクリーン画像の信号を重畳した映像信号を投写部１４０へ供給する。

映像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザー光を発する半導体レーザー装置であってもよい。

駆動回路１４４は、映像処理部１５０から供給される映像信号を取得する。駆動回路１４４に供給される映像信号は、投写する画像における赤の成分の階調を表す階調データ、投写する画像における緑の成分の階調を表す階調データ及び投写する画像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。

ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した画像となる。液晶ライトバルブを透過した赤、緑、青の光の画像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した画像を拡大する光学系であり、入射した画像をレンズやミラーによって拡大してスクリーンＳＣに投写する。スクリーンＳＣに画像が投写されると、表示面であるスクリーンＳＣに画像が表示される。なお、透過型の液晶パネルの替わりに反射型の液晶パネルを採用してもよいし、デジタルミラーデバイスなどを用いてもよい。

プロジェクター１０は、指示体２０の位置及び指示体２０からスクリーンＳＣまでの距
離をステレオ方式で特定するために、２つの撮像部１７０Ａ及び撮像部１７０Ｂを有している。撮像部１７０Ａ及び撮像部１７０Ｂは、発光部２３０が発する赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１７０Ａ及び撮像部１７０Ｂは、スクリーンＳＣを含む範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を表す画像信号を出力する。なお、本実施形態においては、プロジェクター１０がスクリーンＳＣの斜め上方に設置されるため、撮像部１７０Ａ及び撮像部１７０Ｂは、スクリーンＳＣを含む範囲を斜め上方から撮像することになる。

図３は、ＲＯＭのプログラムを実行することにより制御部１１０において実現する機能の機能ブロック図である。
検知部１００１は、撮像部１７０Ａ及び撮像部１７０Ｂが生成した画像を解析し、投写部１４０により画像が投写される投写面に対する指示体２０の位置や投写面から指示体２０までの距離を検知する。当該位置や当該距離は、指示体２０の操作を表す情報の一例であり、検知部１００１は、投写部１４０により画像が投写される投写面に対する指示体２０の操作を検知する検知部の一例である。
選択部１００３は、検知部１００１が検知した位置から少なくとも指示体２０の移動速度又は移動量を特定し、特定した移動速度又は移動量が予め定められた条件を満たした場合、ＰＣ操作機能を無効として描画機能を有効とする描画モード（第１モード）又はＰＣ操作機能を有効として描画機能を無効とするＰＣ操作モード（第２モード）を選択する。
生成部１００２は、選択部１００３が描画モードを選択した場合、検知部１００１が検知した位置に投写する画像を生成する。
出力部１００４は、選択部１００３がＰＣ操作モードを選択した場合、検知部１００１が検知した位置や距離を表すデータをＰＣ３０へ出力する。

（実施形態の動作例）
図４は、制御部１１０が行う処理の流れを示したフローチャートである。本実施形態の動作例について、図４を用いて説明する。なお、以下の説明においては、プロジェクター１０とＰＣ３０とをＵＳＢケーブルで接続し、ＵＳＢケーブルにより映像信号のプロジェクター１０への供給やデータの授受を行う場合を想定して動作例の説明を行う。

ＰＣ３０から出力される映像信号は、ＵＳＢケーブルを介してインターフェース１６０に供給される。インターフェース１６０に供給された映像信号は、映像処理部１５０で画像処理が施され、投写部１４０に供給される。投写部１４０は、供給される映像信号が表す画像をスクリーンＳＣに投写する。

図５は、プロジェクター１０が供給された映像信号が表す画像を投写したときにスクリーンＳＣに表示される画像の一例である。図５において矩形で示した表示領域Ａは、プロジェクター１０が投写する画像の表示領域である。撮像部１７０Ａ及び撮像部１７０Ｂは、表示領域Ａを含む領域を撮影する。制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂが生成した画像において、表示領域Ａの左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定している。

赤外光を発している指示体２０が撮像部１７０Ａ及び撮像部１７０Ｂの撮影範囲内に入ると、撮像部１７０Ａ及び撮像部１７０Ｂが生成した画像においては、発光部２３０が発した赤外光が写る。制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂが生成する画像を予め定められた周期で取得する（ステップＳＡ１）。制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂが生成した画像から、ｘｙ座標における赤外光の位置（即ち、指示体２０の先端の位置）と、赤外光から画像の表示面であるスクリーンＳＣまでの距離（即ち、指示体２０の先端からスクリーンＳＣまでの距離）を特定する（ステップＳＡ２）。指
示体２０の先端の位置及び指示体２０の先端からスクリーンＳＣまでの距離の特定は、予め定められた周期で行われる。

制御部１１０は、特定した位置及び距離をＲＡＭに順次記録し、位置及び距離を記録する毎に、ＲＡＭに記録されている位置及び距離を用いて指示体２０の移動速度を特定し、特定した移動速度をＲＡＭに順次記録する（ステップＳＡ３）。次に制御部１１０は、尤度関数と、ＲＡＭに記録された移動速度とを用いてユーザーの操作を特定する（ステップＳＡ４）。

例えば、制御部１１０は、移動速度が予め定められた閾値未満であり、前回記録した移動速度から新たに記録した移動速度への変化が小さい場合、ユーザーの操作は、ドラッグやタップなどのＰＣに対する操作であると特定する。

ユーザーの操作を特定した制御部１１０は、次にプロジェクター１０のモードを決定する。具体的には、制御部１１０は、特定した操作がＰＣに対する操作である場合、プロジェクター１０のモードを、ＰＣ操作機能を有効として描画機能を無効とするＰＣ操作モード（第２モード）とする（ステップＳＡ５）。

次に制御部１１０は、特定したモードを判定し、特定したモードがＰＣ操作モードである場合（ステップＳＡ６でＹＥＳ）、ステップＳＡ２で特定した位置と距離を表すデータを、インターフェース１６０からＵＳＢケーブルを介してＰＣ３０へ出力する（ステップＳＡ８）。ＰＣ３０においては、ＵＳＢ接続のポインティングデバイスとしてプロジェクター１０が登録されている。ＰＣ３０は、ＵＳＢケーブルを介してプロジェクター１０から供給されるデータを取得し、取得したデータに応じて、表示する画面を制御する。

例えば、指示体２０をスクリーンＳＣに接触させ、移動速度を閾値未満としつつ、一定の移動速度で指示体２０を移動させた場合、制御部１１０は、プロジェクター１０のモードをＰＣ操作モードとする。制御部１１０は、ＰＣ操作モードであるときは、指示体２０の位置とスクリーンＳＣまでの距離を表すデータを、指示体２０の位置を特定する毎にＰＣ３０へ出力する。ＰＣ３０は、まず、新たに取得したデータが表す距離が０であり、前回取得したデータが表す距離が０以外である場合、ユーザーの操作をドラッグの操作と特定する。ＰＣ３０は、指示体２０の操作をドラッグの操作と特定した後、プロジェクター１０から供給されるデータが表す位置が変化すると、実行しているアプリケーションに応じた処理を行う。例えば、ＰＣ３０がＷｅｂブラウザで地図を表示している場合、地図のスクロールを行う。ＰＣ３０が表示している画面の映像信号は、プロジェクター１０へ供給され、プロジェクター１０は、スクロールする地図の画像を投写する。また、ＰＣ３０がデスクトップ画面を表示しており、デスクトップ画面にあるアイコンをドラッグした場合、ＰＣ３０は、アイコンを移動させる。ＰＣ３０が表示している画面の映像信号は、プロジェクター１０へ供給され、プロジェクター１０は、移動するアイコンの画像を投写する。

また、制御部１１０は、例えば、移動速度が予め定められた閾値以上である場合や、前回記録した移動速度から新たに記録した移動速度への変化が大きい場合、ユーザーの操作は、投写された画面に対する文字や線の書き込みの操作であると特定する。制御部１１０は、特定した操作が投写された画面に対する文字や線の書き込みの操作である場合、プロジェクター１０のモードを、ＰＣ操作機能を無効とし、描画機能を有効とする描画モード（第１モード）とする（ステップＳＡ５）。制御部１１０は、特定したモードを判定し、特定したモードが描画モードである場合（ステップＳＡ６でＮＯ）、ステップＳＡ２で記録した指示体２０の先端の位置に描画を行う（ステップＳＡ７）。ここで制御部１１０は、指示体２０の先端の位置に描画するオンスクリーン画像の信号を映像処理部１５０へ供
給する。映像処理部１５０は、供給された信号をＰＣ３０から供給される映像信号に重畳し、オンスクリーン画像の信号が重畳された映像信号を投写部１４０へ供給する。投写部１４０が供給された映像信号の画像を投写すると、指示体２０の位置にオンスクリーン画像が表示される。

例えば、指示体２０をスクリーンＳＣに接触させ、移動速度を閾値以上としつつ、指示体２０を移動させた場合、制御部１１０は、プロジェクター１０のモードを描画モードとする。制御部１１０は、描画モードであるときは、指示体２０の位置に応じて描画を行う。制御部１１０は、描画モードにおいて、指示体２０の位置が変化すると、変化後の位置と変化前の位置とを結ぶ線のオンスクリーン画像の信号を映像処理部１５０へ供給する。映像処理部１５０が、供給された信号をＰＣ３０から供給される映像信号に重畳すると、指示体２０の移動軌跡に応じた線のオンスクリーン画像が表示される。

図６は、描画機能で描画された画像の一例を示した図である。ユーザーが発光部２３０をスクリーンＳＣに接触させながら閾値以上の速度で指示体２０を移動させると、制御部１１０は、発光部２３０の位置を特定し、発光部２３０の移動軌跡に対応した線Ｌ１の画像が投写されるように、各部を制御する。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。

上述した実施形態においては、指示体２０の先端の移動速度に応じてモードを決定しているが、モードを決定する構成は、上述の実施形態の構成に限定されるものではない。例えば、指示体２０の先端の単位時間あたりの移動量が閾値未満である場合には、ＰＣ操作モードとし、単位時間あたりの移動量が閾値以上の場合には、描画モードとしてもよい。

本発明においては、制御部１１０は、ＲＡＭに記録した位置から指示体２０の先端の移動軌跡を特定し、特定した移動軌跡に応じてモードを決定してもよい。例えば、単位時間あたりの移動軌跡が直線である場合、ＰＣ操作モードとしてもよい。また、単位時間あたりの移動軌跡の曲率が予め定められた閾値未満である場合、ＰＣ操作モードとしてもよい。

本発明においては、プロジェクター１０は、モードをＰＣ操作モードから描画モードに変更した場合、指示体２０の先端の最新の位置から、最新の位置の一つ前の位置までの移動軌跡を特定し、特定した移動軌跡の画像を、描画モードに変更した後に投写するようにしてもよい。

本発明に置いては、スクリーンＳＣから指示体２０の先端までの距離が０ではなく、スクリーンＳＣに指示体２０の先端が接していない状態（ホバリング状態）においても、ユーザーの操作を特定し、モードを決定するようにしてもよい。

本発明においては、プロジェクター１０は、ステップＳＡ５で決定したモードを表す画像を投写するようにしてもよい。例えば、プロジェクター１０は、ＰＣ操作モードである場合には、ＰＣ操作モードに対応したアイコンの画像を投写し、描画モードである場合には、描画モードに対応したアイコンの画像を投写する。アイコンを投写する位置は、例えば、表示領域Ａの四隅の近傍や、指示体２０の先端の位置の近傍としてもよい。

本発明においては、プロジェクター１０は、指示体２０の先端がスクリーンＳＣに接するペンオンの状態から離れるペンオフの状態までの時間が予め定められた閾値未満であり、ペンオンからペンオフまでの指示体２０の先端の移動距離が予め定められた閾値未満である場合、モードをＰＣ操作モードとしてもよい。

本発明においては、プロジェクター１０は、特定した指示体２０の先端の位置が、予め定められた位置の場合、ＰＣ操作モードとしてもよい。例えば、プロジェクター１０は、特定した指示体２０の先端の位置が、表示領域Ａの四辺から予め定められた距離の範囲内である場合、ＰＣ操作モードとしてもよい。

本発明においては、プロジェクター１０は、機械学習を行い、ＰＣ操作モードに対応するユーザーの操作と、描画モードに対応するユーザーの操作を学習するようにしてもよい。

本発明においては、プロジェクター１０は、ペンオンからペンオフまでの間は、決定したモードを変更しないようにしてもよい。

上述した実施形態においては、プロジェクター１０は、撮像部１７０Ａ及び撮像部１７０Ｂを備える構成となっているが、この構成に限定されるものではない。例えば、撮像部１７０Ａを有し、撮像部１７０Ｂを有しない構成としてもよい。この場合、プロジェクター１０は、指示体２０の先端の位置を特定し、スクリーンＳＣから指示体２０の先端までの距離を特定しない。

本発明においては、表示システム１は、スクリーンＳＣに沿う光の層を形成する発光装置を備える構成としてもよい。発光装置は、指を照射する光（本変形例では赤外光）を発する発光部を有する。発光装置はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を拡散させて出射する。発光装置から出射された光は、スクリーンＳＣに沿う光の層を形成する。本変形例では、角度θは、ほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と、発光装置により形成される光の層とは近接していることが好ましい。スクリーンＳＣの表面から離れた位置にある指も照射できるように光の層は厚みを持っている。または、発光部を積層することによりスクリーンＳＣから離れた位置にある指へ赤外光を照射してもよい。発光装置からの光の出射は、プロジェクター１０により制御される。ユーザーが光の層の位置に指を移動させると、指で反射した赤外光が撮像部１７０Ａ及び撮像部１７０Ｂで撮影される。プロジェクター１０は、撮影した赤外光の位置を特定し、上述した実施形態と同様に、モードを決定する。

上述した実施形態においては、画像を表示する装置はプロジェクター１０であるが、プロジェクター１０に限定されるものではない。例えば、画像を表示する装置はフラットパネルディスプレイであってもよい。画像を表示する装置をフラットパネルディスプレイとする場合には、電磁誘導方式でペン型の指示体の位置や指示体から表示画面までの距離を検知する。

本発明においては、プロジェクター１０は、ペンオフからペンオンまでの時間が予め定められた閾値未満である場合には、次のペンオフまでの間はモードを変更しないようにしてもよい。また、本発明においては、ペンオフした時点から予め定められた期間においてはモードを変更しないようにしてもよい。

本発明においては、指示体２０がホバリング状態である場合にはＰＣ操作モードとし、指示体２０の先端がスクリーンＳＣに接触している場合には描画モードとしてもよい。

本発明においては、ユーザーの操作を特定するために用いる指示体２０の移動速度の閾値について、モードが描画モードであるときと、モードがＰＣ操作モードであるときとで異なる値としてもよい。

１…表示システム、１０…プロジェクター、２０…指示体、３０…ＰＣ、１１０…制御部、１２０…記憶部、１３０…操作部、１４０…投写部、１４１…光源、１４２…ライトバルブ、１４３…投写光学系、１４４…駆動回路、１５０…映像処理部、１６０…インターフェース、１７０Ａ、１７０Ｂ…撮像部、２１０…制御部、２３０…発光部、２４０…操作部、２５０…電源、１００１…検知部、１００２…生成部、１００３…選択部、１００４…出力部、Ａ…表示領域。

Claims (11)

1. 表示面に画像を表示する表示部と、
   前記表示面に対する指示体の操作を検知する検知部と、
   前記検知部が検知した操作に対応した画像を生成する生成部と、
   外部装置から画像情報を取得する取得部と、
   前記検知部が検知した前記操作において少なくとも前記指示体の移動速度又は移動量のいずれかが予め定められた条件を満たした場合、第１モードと第２モードのいずれかを選択する選択部と、
   前記検知部が検知した操作を表す情報を前記外部装置へ出力する出力部と、
   を有し、
   前記選択部が前記第１モードを選択した場合、前記表示部は、前記画像情報が表す画像に前記生成部が生成した画像を重畳した画像を表示し、
   前記選択部が前記第２モードを選択した場合、前記検知部が検知した操作を表す情報を前記出力部が出力する表示装置。
2. 前記選択部は、前記操作における前記指示体の移動速度が予め定められた閾値以上の場合には前記第１モードを選択する
   請求項１に記載の表示装置。
3. 前記選択部は、前記操作における前記指示体の移動速度が予め定められた閾値未満の場合には前記第２モードを選択する
   請求項１又は請求項２に記載の表示装置。
4. 前記選択部は、前記操作における前記指示体の移動軌跡が直線的である場合には前記第２モードを選択する
   請求項１に記載の表示装置。
5. 前記生成部は、前記第２モードから前記第１モードに遷移した場合、遷移前の前記指示体の移動軌跡に対応した画像を生成する
   請求項１から請求項４のいずれか一項に記載の表示装置。
6. 前記検知部は、前記指示体が前記表示面と接していない状態においても前記指示体の操作を検知する
   請求項１から請求項５のいずれか一項に記載の表示装置。
7. 前記生成部、前記選択部が選択したモードに対応した画像を生成し、
   前記表示部は、当該画像を表示する
   請求項１から請求項６のいずれか一項に記載の表示装置。
8. 前記選択部は、前記操作の時間が閾値未満であり、当該操作における前記指示体の移動量が閾値未満である場合には前記第２モードを選択する
   請求項１に記載の表示装置。
9. 前記検知部は、前記表示面における前記指示体の位置を検知し、
   前記選択部は、当該位置が前記表示面の予め定められた領域内である場合には前記第２モードを選択する
   請求項１に記載の表示装置。
10. 前記選択部は、前記第１モードに対応する前記指示体の操作と、前記第２モードに対応
    する前記指示体の操作を学習する
    請求項１から請求項９のいずれか一項に記載の表示装置。
11. 画像の表示面に対する指示体の操作を検知する検知ステップと、
    前記検知ステップで検知した操作に対応した画像を生成する生成ステップと、
    前記検知ステップで検知した前記操作において少なくとも前記指示体の移動速度又は移動量のいずれかが予め定められた条件を満たした場合、第１モードと第２モードのいずれかを選択する選択ステップと、
    前記選択ステップで前記第１モードを選択した場合、外部装置から取得した画像情報が表す画像に前記生成ステップで生成した画像を重畳した画像を表示する表示ステップと、
    前記選択ステップで前記第２モードを選択した場合、前記検知ステップで検知した操作を表す情報を前記外部装置へ出力する出力ステップと
    を備える表示装置の制御方法。

Images