JP2015197586A - 双方向表示方法および双方向表示装置 - Google Patents

Abstract

【課題】外部画像と対応しなくなった操作入力オブジェクトを編集する操作を不要にする。
【解決手段】外部機器から画像信号を入力する画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前記画面に対する操作を画像操作として検出する画像操作検出ステップと、前記画像操作に対応する操作入力オブジェクトを描画する描画ステップと、前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、連動操作を検出する連動操作検出ステップと、前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、を含む双方向表示方法。
【選択図】図４

Description

本発明は双方向表示方法および双方向表示装置に関する。

外部機器から入力される画像信号に基づく画像と、画面に対する操作に対応する文字、図画等のオブジェクトを描画した画像とを合成して表示する双方向表示装置が知られている。ここで、外部機器から入力される画像信号に基づく画像を外部画像といい、画面に対する操作に対応するオブジェクトを操作入力オブジェクトというものとする。

特許文献１には、画面に対する操作に応じて操作入力オブジェクトを描画する描画モードと、画面に対する操作に応じてクリック等の操作信号を外部機器に送信するモード（外部機器操作モードというものとする。）とで動作する双方向プロジェクターが記載されている。

特開２０１３−１５２７３９号公報

ところで、外部機器から双方向プロジェクターに入力される画像信号は外部機器が描画した画像を表示するための信号であるため、外部機器操作モードにおいて画面に対する操作が行われると外部画像が変化する。これに対し、操作入力オブジェクトは双方向プロジェクターが描画する画像であって外部機器が一切の処理に関与しない画像である。

したがって、特許文献１に記載された双方向プロジェクターでは、外部機器操作モードにおいて画面に対する操作が行われることによって外部画像が変化しても、操作入力オブジェクトは変化しない。このため、例えば、プレゼンテーションのためのアプリケーションプログラムの特定のスライドを表している外部画像とそのスライドに対応するコメントを表している操作入力オブジェクトとを合成して表示している場合に、描画モードから外部機器操作モードに遷移して、画面に対する操作によって次のスライドが選択されると、次のスライドと無関係のコメントとともに次のページが表示されることになる。そして、スライドと無関係の操作入力オブジェクトを消去するためには、次のスライドを選択する操作とは別に操作入力オブジェクトを消去するための操作が必要になるという問題がある。

本発明は、このような問題を解決するために創作されたものであって、外部画像と対応しなくなった操作入力オブジェクトを編集する操作を不要にすることを目的の１つとする。

（１）上記目的を達成するための双方向表示方法は、外部機器から画像信号を入力する画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前記画面に対する操作を画像操作として検出する画像操作検出ステップと、前記画像操作に対応する操作入力オブジェクトを描画する描画ステップと、前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、連動操作を検出する連動操作検出ステップと、前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、を含む。

本発明によると、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要になる。

（２）上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを消去してもよい。
この構成を採用することにより、外部画像と対応しなくなった操作入力オブジェクトを消去する操作が不要になる。

（３）上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを拡大または縮小してもよい。
この構成を採用することにより、変化後の外部画像が表すオブジェクトの大きさに対応するように操作入力オブジェクトを拡大または縮小する操作が不要になる。

（４）上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを移動してもよい。
この構成を採用することにより、変化後の外部画像が表すオブジェクトの位置に対応するように操作入力オブジェクトを移動する操作が不要になる。

（５）上記目的を達成するための双方向表示方法において、描画モードまたは外部機器操作モードを設定するモード設定ステップをさらに含み、前記描画モードでは、前記画面に対する操作を前記画像操作検出ステップにおいて前記画像操作として検出し、前記外部機器操作モードでは、前記画面に対する予め決められた操作を前記連動操作検出ステップにおいて前記連動操作として検出してもよい。
この構成を採用することにより、ユーザーが行う同じ操作をモードに応じて画像操作、連動操作のいずれかとして検出することができるため、操作の種類を少なくすることができる。したがって、ユーザーインターフェースが簡素で操作が容易な双方向表示装置を実現することができる。

尚、本発明は、双方向表示装置に適用することも可能である。また請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。

本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるブロック図。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるフローチャート。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるフローチャート。 本発明の実施形態にかかる画面構成図。

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。

１．概要
本発明の双方向表示装置の一実施例としてのプロジェクター１は、画面としての壁、机、専用スクリーン等の投写面に画像を投写して表示する装置である。図１Ａに示すようにプロジェクター１は、ＰＣ、スマートフォン等の外部機器から入力される画像信号に基づく外部画像Ａ２２ａと、投写面に対する操作に対応する操作入力オブジェクトＡ２１ｇとを合成した合成画像としてのウインドウ画像Ａ２を投写する。

プロジェクター１は、外部画像Ａ２２ａと操作入力オブジェクトＡ２１ｇとを合成して投写するとき、描画モードまたは外部機器操作モードで動作する。描画モードでは、プロジェクター１は、画面に対する操作を、操作入力オブジェクトＡ２１ｇを編集するための操作（画像操作）として検出する。画像操作を検出すると、プロジェクター１は検出した画像操作に応じて操作入力オブジェクトＡ２１ｇを描画する。外部機器操作モードでは、プロジェクター１は、画面に対する操作を、ＰＣ等の外部機器に対する操作（外部機器操作）として検出し、外部機器操作に対応する操作信号を外部機器に出力する。また外部機器操作モードでは、プロジェクター１は、特定の外部機器操作を連動操作として検出し、対応する操作信号を外部機器に出力するとともに、操作入力オブジェクトＡ２１ｇを全て消去して図１Ｂに示すようにウインドウ画像Ａ２を更新する。

２．プロジェクターの構成
図２に示すように、プロジェクター１は、第一筐体１ａに、光源駆動部１６、投写光源１７、液晶ライトバルブ１０、液晶駆動部１１を表示部として備えるほか、入出力インターフェース１４、制御部１５、外部記憶１５１、操作部１８、電源部１９等を備えている。またプロジェクター１は、第一筐体１ａと接続された第二筐体１ｂに、画像操作検出部および連動操作検出部として機能する受信部２１と位置検出部２２とを備えている。さらにプロジェクター１は、電子ペン２３を備えている。

投写光源１７は、高圧水銀灯、ＬＥＤ（Light emitting diode）、レーザー等によって構成され、光源駆動部１６によって駆動される。外部機器インターフェースとしての入出力インターフェース１４は、ＵＳＢ端子、イーサネット（登録商標）端子、ＨＤＭＩ端子、ＲＳ２３２ｃ端子等の複数種類の入出力端子を備え、外部機器との通信を行い、外部機器から各種の画像信号を入力するとともに外部機器に機器操作信号を出力する。制御部１５は、外部記憶１５１に格納されている制御プログラムを実行することにより、プロジェクター１の各部を制御する。また描画部、出力部および連動編集部として機能する制御部１５は、画像信号処理部１３とＯＳＤ処理部１２とを備え、外部機器から入力された画像信号と位置検出部２２から入力される操作位置信号とに基づいて描画処理を実行し、表示信号としての投写信号を出力する。画像信号処理部１３は、外部機器から入力された画像信号と位置検出部２２から入力される操作位置信号とに基づく描画処理の結果として、外部画像レイヤーの画像データと操作入力レイヤーの画像データとをＯＳＤ処理部１２に出力する。ＯＳＤ処理部１２は、各レイヤーの画像データを合成して液晶ライトバルブ１０に対応する投写信号を出力する。液晶駆動部１１は、ＯＳＤ処理部１２から出力される投写信号を、液晶ライトバルブ１０の各画素を駆動するためのアナログ信号に変換する。液晶ライトバルブ１０は、投写光源１７から放射され図示しないダイクロイックミラーによって分離された赤、緑、青の波長の光の透過率をそれぞれが画素毎に制御する３つの液晶パネル１０ａ、１０ｂ、１０ｃを備える。操作部１８は、ＯＳＤメニューを投写する指示を入力するためのメニューキー１８１や、ＯＳＤメニューの項目を選択するための選択キー１８２や決定キー１８３や、外部電源から電源部１９への電力供給をオンおよびオフするための電源スイッチ１８４を備える。電源部１９は、プロジェクター１の各部に電力を供給する。

電子ペン２３は、ペン型の筐体に、接触センサー２３１と発光部２３２と電源スイッチ２３３とサイドスイッチ２３４とを備える。接触センサー２３１は電子ペン２３の先端に設けられ、対象物との接触状態と非接触状態とを検出する。発光部２３２は、電子ペン２３の先端近くに設けられ、接触センサー２３１が対象物との接触状態を検出している期間中、赤外線波長の光を照射する。電源スイッチ２３３は、図示しない電池から接触センサー２３１および発光部２３２への電力供給を制御するためのスイッチである。モード設定部として機能するサイドスイッチ２３４は、描画モードから外部機器操作モードに切り換えるためのスイッチである。サイドスイッチ２３４が押された状態で接触センサー２３１が対象物との接触状態を検出している期間中は、電子ペン２３を用いた投写面に対する操作が外部機器操作として検出されるように電子ペン２３は作動する。具体的には、サイドスイッチ２３４が押された状態で接触センサー２３１が対象物との接触状態を検出する場合には、発光部２３２から放射する光の波長を、サイドスイッチ２３４が押されていない状態と変えればよい。この場合、発光部２３２には波長が互いに異なる２つ以上の光源が必要になる。また例えば、サイドスイッチ２３４が押された状態では、点灯する発光部２３２の光源の数を増やし、受信部２１によって撮像される発光部２３２の像がサイドスイッチ２３４が押されていない状態から変化するようにしても良い。この場合、発光部２３２には波長が同一又は互いに異なる２つ以上の光源が必要になる。

受信部２１は、投写面の投写領域Ａ１全体を撮像する赤外線ビデオカメラであって、赤外線波長の光を受光し、投写領域Ａ１内で電子ペン２３の先端が投写面に接触している期間中、電子ペン２３から照射される赤外線波長の光に対応する画像データを出力する。位置検出部２２は、受信部２１から出力される画像データを解析することにより、赤外線波長の光の発光位置、すなわち電子ペン２３の位置を検出し、電子ペン２３の位置を示す操作位置信号を出力する。操作位置信号は、制御部１５によって、ウインドウ画像Ａ２の座標に変換される。また位置検出部２２は、受信部２１から出力される画像データを解析することにより、電子ペン２３のサイドスイッチ２３４が押されているか否かを判定し、判定結果に応じたモード信号を出力する。サイドスイッチ２３４が押されていない場合、描画モードを示すモード信号が出力され、サイドスイッチ２３４が押されている場合、外部機器操作モードを示すモード信号が出力される。このため、描画モードにおいて投写面に電子ペン２３の先端を接触させる操作は画像操作として検出され、外部機器操作モードにおいて投写面に電子ペン２３の先端を接触させる操作は外部機器操作として検出される。

３．双方向投写方法
３−１．描画レイヤーと描画領域
つぎに図３を参照しながら、制御部１５が外部画像と操作入力オブジェクトを描画するレイヤーと領域（描画領域）について説明する。

図３Ａに示す外部画像レイヤーＡ２０と図３Ｂに示す操作入力レイヤーＡ２１は、図３Ｃに示す投写領域Ａ１内の描画領域Ａ２ｓに合成される。ここで外部画像レイヤーＡ２０と操作入力レイヤーＡ２１とを合成した描画領域Ａ２ｓの画像をウインドウ画像というものとする。液晶ライトバルブ１０の有効領域の解像度（リアル解像度）と台形歪み補正値とによって、プロジェクター１が投写可能な最大領域である投写領域Ａ１に対するウインドウ画像の描画領域Ａ２ｓが決まる。台形歪み補正が実施される場合、ウインドウ画像の描画領域Ａ２ｓは、図３Ｃに破線で示すようにプロジェクター１が投写可能な最大領域である投写領域Ａ１よりも小さい非矩形になる。なお、台形歪みの補正値は、投写状態を検出した結果に基づいて自動で設定しても良いし、ＯＳＤメニューを用いてユーザーに設定させても良い。制御部１５の画像信号処理部１３は、図３Ａに示す外部画像レイヤーＡ２０と操作入力レイヤーＡ２１とを別々に描画し、ＯＳＤ処理部１２が２つのレイヤーを領域Ａ２ｓにて重畳合成することによりウインドウ画像Ａ２を投写するための投写信号を出力する。

外部画像レイヤーＡ２０には、入出力インターフェース１４から入力される画像信号に基づいて、すなわち外部機器から出力される画像信号に基づいて外部画像が描画される。外部画像のアスペクト比とウインドウ画像Ａ２のアスペクト比とが異なる場合、制御部１５は、外部画像がウインドウ画像Ａ２の描画領域からはみ出さず、外部画像の２辺がウインドウ画像Ａ２の２辺に重なるように外部画像の描画領域Ａ２２ｓを設定する。入力された画像信号が表す外部画像の解像度と、設定した描画領域の解像度とが一致しない場合、外部画像は拡大または縮小される。

操作入力レイヤーＡ２１は、領域Ａ２ｓにおいて、外部画像レイヤーＡ２０よりも前面に描画される。操作入力レイヤーＡ２１には、アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅ、Ａ２１ｐと、位置検出部２２から入力される操作位置信号に対応する操作入力オブジェクトＡ２１ｇとを画像信号処理部１３が描画する。アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅは、投写面の操作領域に対する電子ペン２３を用いた操作をどのような図形として操作入力レイヤーＡ２１に描画するかをユーザーに選択させるための領域を示している。

３−２．描画モード
制御部１５は、アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅが描画された領域を示す操作位置信号と描画モードを示すモード信号が位置検出部２２から入力されると、それぞれの領域に対応する描画処理を準備する。

アイコンＡ２１ａが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡を操作入力オブジェクトＡ２１ｇとして操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｂが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、操作入力レイヤーＡ２１に描画する線の太さを変更する。アイコンＡ２１ｃが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡の始点と終点を対角線の両端とする矩形を操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｄが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡の始点と終点を対角線とする矩形に内接する楕円を操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｅが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡上において、それ以前の電子ペン２３を用いた投写面に対する操作に対応する操作入力オブジェクトＡ２１ｇを消去する。またこれらのアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅに対応する描画処理が準備または実行されている期間中、画像信号処理部１３は、対応するアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅを強調するための描画をする。なお、アイコンＡ２１ｐは、印刷指示を入力するために投写面に電子ペン２３の先端を接触させるべき領域を示している。

３−３．外部機器操作モード
次に外部機器操作モードにおけるプロジェクター１の連動編集処理について図４を参照しながら説明する。制御部１５は、位置検出部２２から操作位置信号とモード信号が入力されると、モード信号に基づいてモードを判定し（Ｓ１）、外部機器操作モードと判定した場合には、外部機器操作モードに遷移する。すなわち、ここではモード信号に応じて、操作信号から機器操作を検出するか、画像操作を検出するかが判定される。

外部機器操作モードに遷移すると、制御部１５は、検出された機器操作が連動操作か否かを操作位置信号に基づいて判定する（Ｓ２）。連動操作とは、ＰＣ等の外部機器に対する操作であるとともに、操作入力オブジェクトＡ２１ｇに対する操作でもある操作である。本実施例では、ＰＣに対する左クリックを連動操作とする。ＰＣのＯＳ（Operating System）は電子ペン２３のサイドスイッチ２３４を押した状態で電子ペン２３の先端を投写面に接触させ、電子ペン２３の先端を投写面上で移動させずに投写面から離す操作に対応する操作位置信号が入力された場合に、左クリックを認識する。すなわちこのような左クリックに対応する操作位置信号とモード信号が入力された場合に、制御部１５は連動操作と判定する。

連動操作と判定した場合、制御部１５は、全ての操作入力オブジェクトを消去する（Ｓ４）。すなわち、制御部１５は、連動操作前に描画した全ての操作入力オブジェクトＡ２１ｇを、図５Ａおよび図５Ｂに示すように消去する。その結果、プロジェクター１によって投写面に表示されるウインドウ画像Ａ２は図１Ａから図１Ｂに示すように変化し、操作入力オブジェクトＡ２１ｇが画面から消える。

ここで、操作入力レイヤーから操作入力オブジェクトだけを消去する方法として、操作入力レイヤーの各画素に操作入力オブジェクトまたはアイコンを示す識別子を付しておき、操作入力オブジェクトを示す識別子が付されている全ての画素を初期値にリセットする。なお、ここでいう初期値とは、レイヤーを重畳合成する際に背面の外部画像レイヤーの画素が１００％に重み付けして加算され、操作入力レイヤーの画素が０％に重み付けして加算される画素値とする。また操作入力オブジェクトを描画するためのレイヤーとアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅ、Ａ２１ｐを描画するためのレイヤーとに操作入力レイヤーを分けておくか、操作入力オブジェクトおよびアイコンのそれぞれを全て異なるレイヤーに描画しておき、操作入力オブジェクトを描画するためのレイヤー全体を初期値にリセットする方法を採用してもよい。

次に制御部１５は、操作位置信号を機器操作信号として外部機器に出力する（Ｓ５）。したがって、外部機器操作モードでは、外部機器は操作位置信号に基づいて左クリック、右クリック、ダブルクリック、ドラッグ、ドロップといった機器操作を認識し、認識した機器操作に応じた処理を行うことになる。

ここで外部機器としてのＰＣにおいてプレゼンテーションのためのアプリケーションプログラムが実行されており、当該アプリケーションプログラムでは左クリックをスライド送り（現在表示中のスライドを次のスライドに切り換える処理）の操作として認識する状況を想定して、具体的に本実施例の効果を説明する。既に説明したとおり、本実施例では、ＰＣにおいて左クリックと認識される操作がプロジェクター１によって連動操作として検出される。連動操作に対応する操作位置信号はＰＣに出力されるため、プロジェクター１が連動操作を検出する場合、ＰＣのＯＳは左クリックを認識し、アプリケーションプログラムはスライド送りの操作を認識することになる。ＰＣのアプリケーションプログラムはスライド送りの操作を認識すると、次のスライドを表示するために次のスライドのデータを画像として描画する。その結果、プロジェクター１には、次のスライドが描画された画像に対応する画像信号が入力されるため、投写面に表示される外部入力画像は次のスライドを表すようになる。外部入力画像が表す前のスライドに対するコメントとして操作入力オブジェクトが表示されているとすると、そのコメントは次のスライドとは対応しない。本実施例によると、前のスライドから次のスライドを表すように外部入力画像を変化させる操作が行われると、前のスライドに対応する操作入力オブジェクトが全て消去されるため、次のスライドと対応しなくなった操作入力オブジェクトを消去する別の操作を行う必要がない。すなわち、本実施例によると、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要になる。

さらに本実施例によると、電子ペン２３のサイドスイッチ２３４を押した状態で電子ペン２３の先端を投写面に接触させ、電子ペン２３の先端を投写面上で移動させずに投写面から離すという一連の操作が、描画モードでは点を描画するための画像操作として検出され、機器操作モードではプロジェクター１によって連動操作として検出されるとともにＰＣによって左クリックとして検出される。このため、操作の種類を少なくすることができる。したがって、ユーザーインターフェースが簡素で操作が容易なプロジェクター１を実現することができる。

４．他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えばサイドスイッチ２３４が押されていない状態を外部機器操作モードとし、サイドスイッチ２３４が押されている状態を描画モードとし、外部機器操作モードで検出される左クリック等の予め決められた機器操作を連動機器操作として検出しても良い。

また例えば描画モードと外部機器操作モードとの切り換え操作を操作部１８を用いて検出するようにしても良いし、画面に対する操作でない操作を機器操作として検出しても良い。具体的には操作部１８の選択キー１８２や決定キー１８３を押す操作を機器操作および連動操作として検出しても良い。また、プロジェクターに機器操作信号を無線送信する機能を備えた装置（例えばレーザーポインターのような装置）のスイッチを押す操作を機器操作および連動操作として検出しても良い。

また例えば画面の一部を拡大または縮小する操作に応じて操作入力オブジェクトを拡大または縮小してウインドウ画像を更新しても良い。例えば図６Ａに示すように操作入力オブジェクトＡ２１ｇが描画された操作入力レイヤーＡ２１と外部画像を合成したウインドウ画像が投写されている状態においてピンチが行われ、ピンチを検出したプロジェクターがピンチに対応する機器操作信号をＰＣに出力するとする。そしてこの場合に、ＰＣが画面を表す画像の一部を拡大または縮小する描画処理を行うと、ＰＣからプロジェクターに入力される画像信号が表すオブジェクトが拡大又は縮小し、外部画像が変化する。この場合に操作入力オブジェクトが変化しなければ、操作入力オブジェクトは外部画像と対応しなくなる。そこでプロジェクターにおいてピンチを連動操作として検出し、検出したピンチに応じて図６Ｂに示すように拡大した操作入力オブジェクトＡ２１ｇを操作入力レイヤーＡ２１に再描画したり、縮小した操作入力オブジェクトＡ２１ｇを操作入力レイヤーＡ２１に再描画したりすればよい。なお、投写面を２本の指でつまんで広げたり狭めたりするピンチを機器操作および連動操作として検出するためには、指と投写面との接触状態を検出する赤外線レーザーカーテン等が必要になる。レーザーカーテンから照射されて指で反射する赤外線波長の光を検出することにより投写面に対する指の接触状態と非接触状態を検出することができる。

また例えば画面をスクロールさせる操作に応じて操作入力オブジェクトが移動するようにウインドウ画像を更新しても良い。プロジェクターに機器操作信号を無線送信する機能を備えた装置（例えばレーザーポインターのような装置）のホイールの回転角度に対応する機器操作信号をプロジェクターからＰＣに出力するとする。そしてこの場合に、ＰＣが画面内のオブジェクトを移動させる描画処理を行うと、ＰＣからプロジェクターに入力される画像信号が表すオブジェクトが移動し、外部画像が変化する。この場合に操作入力オブジェクトが移動しなければ、操作入力オブジェクトは外部画像と対応しなくなる。そこでプロジェクターにおいて、ホイールを回す操作を連動操作として検出し、検出したホイールの回転角度に応じて図６Ａから図６Ｃに示すように移動した操作入力オブジェクトＡ２１ｇを操作入力レイヤーＡ２１に再描画すればよい。

また例えば操作入力レイヤーを編集せずにウインドウ画像を更新しても良い。例えば、ＰＣが描画する第一のスライドＡに対応する図８Ａに示す操作入力オブジェクトＡ２１ｇを描画するための操作入力レイヤーＡ２１ａと、ＰＣが描画する第二のスライドＢに対応する図８Ｂに示す操作入力オブジェクトＡ２１ｈを描画するための操作入力レイヤーＡ２１ｂの記憶領域を別々に用意しておく。スライドを切り換える機器操作を連動操作として検出し、連動操作を検出する度に、外部画像と合成する操作入力レイヤーを切り替える。これにより、スライドの切換に応じてスライドに対応した操作入力オブジェクトが表示される。このように２つ以上の操作入力レイヤーをプロジェクターが記憶できるようにしておくことにより、操作入力レイヤーを編集することなく、外部画像の変化に応じた操作入力オブジェクトを表示できる。

また例えば、画像を投写するために、１つの液晶パネルを用いて光を変調しても良いし、反射型の液晶パネルを用いて光を変調しても良いし、ＤＭＤ（Digital Mirror Device）を用いて光を変調しても良い。また例えば投写画像を拡大投写するために凸面鏡を用いても良いし、鏡を用いなくても良い。また例えば、タッチパネルディスプレイ等の表示装置に本発明を適用しても良い。

１…プロジェクター、１ａ…第一筐体、１ｂ…第二筐体、１０…液晶ライトバルブ、１０ａ、１０ｂ、１０ｃ…液晶パネル、１１…液晶駆動部、１２…ＯＳＤ処理部、１３…画像信号処理部、１４…入出力インターフェース、１５…制御部、１６…光源駆動部、１７…投写光源、１８…操作部、１９…電源部、２１…受信部、２２…位置検出部、２３…電子ペン、１５１…外部記憶、１８１…メニューキー、１８２…選択キー、１８３…決定キー、１８４…電源スイッチ、２３１…接触センサー、２３２…発光部、２３３…電源スイッチ、２３４…サイドスイッチ、Ａ１…投写領域、Ａ２…ウインドウ画像、Ａ２０…外部画像レイヤー、Ａ２１…操作入力レイヤー、Ａ２１ｇ…操作入力オブジェクト、Ａ２１ｈ…操作入力オブジェクト、Ａ２１ｐ…アイコン、Ａ２２ａ…外部画像、Ａ２２ｓ…描画領域、Ａ２ｓ…描画領域

Claims (6)

1. 外部機器から画像信号を入力する画像信号入力ステップと、
   表示信号に基づいて画像を画面に表示する表示ステップと、
   前記画面に対する操作を画像操作として検出する画像操作検出ステップと、
   前記画像操作に対応する操作入力オブジェクトを描画する描画ステップと、
   前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、
   連動操作を検出する連動操作検出ステップと、
   前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、
   を含む双方向表示方法。
2. 前記連動編集ステップにおいて、前記操作入力オブジェクトを消去する、
   請求項１に記載の双方向表示方法。
3. 前記連動編集ステップにおいて、前記操作入力オブジェクトを拡大または縮小する、
   請求項１または２に記載の双方向表示方法。
4. 前記連動編集ステップにおいて、前記操作入力オブジェクトを移動させる、
   請求項１から３のいずれか一項に記載の双方向表示方法。
5. 描画モードまたは外部機器操作モードを設定するモード設定ステップをさらに含み、
   前記描画モードでは、前記画面に対する操作を前記画像操作検出ステップにおいて前記画像操作として検出し、
   前記外部機器操作モードでは、前記画面に対する予め決められた操作を前記連動操作検出ステップにおいて前記連動操作として検出する、
   請求項１から４のいずれか一項に記載の双方向表示方法。
6. 外部機器から画像信号を入力する画像信号入力部と、
   表示信号に基づいて画像を画面に表示する表示部と、
   前記画面に対する操作を画像操作として検出する画像操作検出部と、
   前記画像操作に対応する操作入力オブジェクトを描画する描画部と、
   前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力部と、
   連動操作を検出する連動操作検出部と、
   前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集部と、
   を備える双方向表示装置。

Images