JP2015197782A - 双方向表示方法および双方向表示装置 - Google Patents

Abstract

【課題】外部画像と対応しなくなった操作入力画像を編集する操作を不要にする。
【解決手段】外部機器から画像信号を入力する画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前記画面に対する操作を検出する操作検出ステップと、前記画面に対する操作に対応する操作入力オブジェクトを描画する描画ステップと、前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、前記画像信号の属性または前記画像信号の変化を検出する信号変化検出ステップと、前記画像信号の属性または前記画像信号の変化を検出すると、前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、を含む双方向表示方法。
【選択図】図１

Description

本発明は双方向表示方法および双方向表示装置に関する。

外部機器から入力される画像信号に基づく画像と、画面に対する操作に対応する文字、図画等のオブジェクトを描画した画像とを合成して表示する双方向表示装置が知られている。ここで、外部機器から入力される画像信号に基づく画像を外部画像といい、画面に対する操作に対応するオブジェクトを操作入力オブジェクトというものとする。

特許文献１には、ＰＣ（Personal Computer）のＯＳ（Operating System）からアプリケーションプログラムに通知するスクロール情報等に基づいて、アプリケーションプログラムから独立したコメント表示を画面上で移動させたり、画面から消去したりする技術が開示されている。

特開平９−２５８９４８号公報

ところで、外部機器から双方向プロジェクターに入力される画像信号は外部機器が描画した画像を表示するための信号であるため、外部機器に対する操作が行われると外部画像が変化する。これに対し、操作入力オブジェクトは双方向プロジェクターが描画する画像であって外部機器が一切の処理に関与しない画像である。したがって、従来の双方向プロジェクターでは、外部機器から入力される画像信号が変化しても、操作入力オブジェクトは変化しない。このため、例えば外部画像に対応させる外部機器が置換された場合、変化後の外部画像とは無関係の操作入力オブジェクトが変化後の外部画像とともに投写されることになる。そして、変化後の外部画像とは無関係の操作入力オブジェクトを消去するためには、操作入力オブジェクトを編集するための操作が必要になるという問題がある。

本発明は、このような問題を解決するために創作されたものであって、外部画像と対応しなくなった操作入力オブジェクトを編集する操作を不要にすることを目的の１つとする。

（１）上記目的を達成するための双方向表示方法は、外部機器から画像信号を入力する画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前記画面に対する操作を検出する操作検出ステップと、前記画面に対する操作に対応する操作入力オブジェクトを描画する描画ステップと、前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、前記画像信号の属性または前記画像信号の変化を検出する信号変化検出ステップと、前記画像信号の属性または前記画像信号の変化を検出すると、前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、を含む。

本発明によると、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要になる。ここで画像信号の属性には、画像信号が表す画像の解像度や、画像信号を入力する経路や、画像信号を入力する外部機器が含まれるものとする。

（２）上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記外部画像に対応する前記画像信号を入力する前記外部機器の入れ替わりを示す前記画像信号の属性または前記画像信号の変化を検出すると、前記操作入力オブジェクトを消去してもよい。
この構成を採用することにより、外部画像と対応しなくなった操作入力オブジェクトを消去する操作が不要になる。

（３）上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記外部画像が表す外部オブジェクトの拡大または縮小を示す前記画像信号の属性または前記画像信号の変化を検出すると、前記外部オブジェクトの拡大又は縮小に応じて前記操作入力オブジェクトを拡大または縮小してもよい。（４）また、前記外部画像が表す外部オブジェクトの移動を示す前記画像信号の属性または前記画像信号の変化を検出すると、前記操作入力オブジェクトを前記外部入力オブジェクトの移動に応じて移動してもよい。
これらの構成を採用することにより、変化前の外部画像に対応する操作入力オブジェクトを変化後の外部画像に対応させることができる。

尚、本発明は、双方向表示装置に適用することも可能である。また請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。

本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるブロック図。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるフローチャート。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかる画面構成図。 本発明の実施形態にかかるフローチャート。 本発明の実施形態にかかる画面構成図。

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。

１．概要
本発明の双方向表示装置の一実施例としてのプロジェクター１は、画面としての壁、机、専用スクリーン等の投写面に画像を投写して表示する装置である。図１Ａに示すようにプロジェクター１は、ＰＣ、スマートフォン等の外部機器から入力される画像信号に基づく外部画像Ａ２２ａと、投写面に対する操作に対応する操作入力オブジェクトＡ２１ｇとを合成した合成画像としてのウインドウ画像Ａ２を投写する。

第一の外部機器から入力された画像信号に基づく図１Ａに示す外部画像Ａ２２ａを表示する状態から、第二の外部機器から入力された画像信号に基づく図１Ｂに示す外部画像Ａ２２ｂを表示する状態に遷移すると、プロジェクター１は、外部画像Ａ２２ａが表示された投写面に対する操作に応じて外部画像Ａ２２ａとともに表示されていた操作入力オブジェクトＡ２１ｇを消去する。

２．プロジェクターの構成
図２に示すように、プロジェクター１は、第一筐体１ａに、光源駆動部１６、投写光源１７、液晶ライトバルブ１０、液晶駆動部１１を表示部として備えるほか、入出力インターフェース１４、制御部１５、外部記憶１５１、操作部１８、電源部１９等を備えている。またプロジェクター１は、第一筐体１ａと接続された第二筐体１ｂに、操作検出部として受信部２１と位置検出部２２とを備えている。さらにプロジェクター１は、送信部として電子ペン２３を備えている。

投写光源１７は、高圧水銀灯、ＬＥＤ（Light emitting diode）、レーザー等によって構成され、光源駆動部１６によって駆動される。画像信号入力部及び信号変化検出部としての入出力インターフェース１４は、ＵＳＢ端子、イーサネット（登録商標）端子、ＨＤＭＩ（登録商標）端子、ＲＳ２３２ｃ端子、ＵＳＢ端子等の複数種類の入力端子を備え、外部機器から各種の画像信号が入力される。制御部１５は、外部記憶１５１に格納されている制御プログラムを実行することにより、プロジェクター１の各部を制御する。また描画部、出力部および連動編集部として機能する制御部１５は、画像信号処理部１３とＯＳＤ処理部１２とを備え、外部機器から入力される画像信号と位置検出部２２から入力される操作位置信号とに基づいて描画処理を実行し、表示信号としての投写信号を出力する。画像信号処理部１３は、外部機器から入力された画像信号と位置検出部２２から入力される操作位置信号とに基づく描画処理の結果として、外部画像レイヤーの画像データと操作入力レイヤーの画像データとをＯＳＤ処理部１２に出力する。ＯＳＤ処理部１２は、各レイヤーの画像データを合成して液晶ライトバルブ１０に対応する投写信号を出力する。液晶駆動部１１は、ＯＳＤ処理部１２から出力される投写信号を、液晶ライトバルブ１０の各画素を駆動するためのアナログ信号に変換する。液晶ライトバルブ１０は、投写光源１７から放射され図示しないダイクロイックミラーによって分離された赤、緑、青の波長の光の透過率をそれぞれが画素毎に制御する３つの液晶パネル１０ａ、１０ｂ、１０ｃを備える。操作部１８は、ＯＳＤメニューを投写する指示を入力するためのメニューキー１８１や、ＯＳＤメニューの項目を選択するための選択キー１８２や決定キー１８３や、外部電源から電源部１９への電力供給をオンおよびオフするための電源スイッチ１８４を備える。電源部１９は、プロジェクター１の各部に電力を供給する。

受信部２１は、投写面の投写領域Ａ１全体を撮像する赤外線ビデオカメラであって、赤外線波長の光を受光し、投写領域Ａ１内で電子ペン２３の先端が投写面に接触している期間中、電子ペン２３から照射される赤外線波長の光に対応する画像データを出力する。位置検出部２２は、受信部２１から出力される画像データを解析することにより、赤外線波長の光の発光位置、すなわち電子ペン２３の位置を検出し、電子ペン２３の位置を示す操作位置信号を出力する。操作位置信号は、制御部１５によって、ウインドウ画像Ａ２の座標に変換される。

電子ペン２３は、ペン型の筐体に、接触センサー２３１と発光部２３２と電源スイッチ２３３とを備える。接触センサー２３１は電子ペン２３の先端に設けられ、対象物との接触状態と非接触状態とを検出する。発光部２３２は、電子ペン２３の先端近くに設けられ、接触センサー２３１が対象物との接触状態を検出している期間中、操作信号として赤外線波長の光を照射する。電源スイッチ２３３は、図示しない電池から接触センサー２３１および発光部２３２への電力供給を制御するためのスイッチである。

３．双方向投写方法
３−１．描画レイヤーと描画領域
つぎに図３を参照しながら、制御部１５が外部画像と操作入力オブジェクトを描画するレイヤーと領域（描画領域）について説明する。
図３Ａに示す外部画像レイヤーＡ２０と図３Ｂに示す操作入力レイヤーＡ２１は、図３Ｃに示す投写領域Ａ１内の描画領域Ａ２ｓに合成される。ここで外部画像レイヤーＡ２０と操作入力レイヤーＡ２１とを合成した描画領域Ａ２ｓの画像をウインドウ画像というものとする。液晶ライトバルブ１０の有効領域の解像度（リアル解像度）と台形歪み補正値とによって、プロジェクター１が投写可能な最大領域である投写領域Ａ１に対するウインドウ画像の描画領域Ａ２ｓが決まる。台形歪み補正が実施される場合、ウインドウ画像の描画領域Ａ２ｓは、図３Ｃに破線で示すようにプロジェクター１が投写可能な最大領域である投写領域Ａ１よりも小さい非矩形になる。なお、台形歪みの補正値は、投写状態を検出した結果に基づいて自動で設定しても良いし、ＯＳＤメニューを用いてユーザーに設定させても良い。制御部１５の画像信号処理部１３は、図３Ａに示す外部画像レイヤーＡ２０と操作入力レイヤーＡ２１とを別々に描画し、ＯＳＤ処理部１２が２つのレイヤーを領域Ａ２ｓにて重畳合成することによりウインドウ画像Ａ２を投写するための投写信号を出力する。

外部画像レイヤーＡ２０には、入出力インターフェース１４から入力される画像信号に基づいて、すなわち外部機器から出力される画像信号に基づいて外部画像が描画される。外部画像のアスペクト比とウインドウ画像Ａ２のアスペクト比とが異なる場合、制御部１５は、外部画像がウインドウ画像Ａ２の描画領域からはみ出さず、外部画像の２辺がウインドウ画像Ａ２の２辺に重なるように外部画像の描画領域Ａ２２ｓを設定する。入力された画像信号が表す外部画像の解像度と、設定した描画領域の解像度とが一致しない場合、外部画像は拡大または縮小される。

操作入力レイヤーＡ２１は、領域Ａ２ｓにおいて、外部画像レイヤーＡ２０よりも前面に描画される。操作入力レイヤーＡ２１には、アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅ、Ａ２１ｐと、位置検出部２２から入力される操作位置信号に対応する操作入力オブジェクトＡ２１ｇとを画像信号処理部１３が描画する。アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅは、投写面の操作領域に対する電子ペン２３を用いた操作をどのような図形として操作入力画像Ａ２１に反映させるかをユーザーに選択させるための領域を示している。

制御部１５は、アイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅが描画された領域を示す操作位置信号が位置検出部２２から入力されると、それぞれの領域に対応する描画処理を準備する。
アイコンＡ２１ａが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡を操作入力オブジェクトＡ２１ｇとして操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｂが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、操作入力レイヤーＡ２１に描画する線の太さを変更する。アイコンＡ２１ｃが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡の始点と終点を対角線の両端とする矩形を操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｄが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡の始点と終点を対角線とする矩形に内接する楕円を操作入力レイヤーＡ２１に描画する。アイコンＡ２１ｅが投写される領域に電子ペン２３の先端が接触すると、画像信号処理部１３は、その後の投写面に対する電子ペン２３の先端の接触軌跡上において、それ以前の電子ペン２３を用いた投写面に対する操作に対応する操作入力オブジェクトＡ２１ｇを消去する。またこれらのアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅに対応する描画処理が準備または実行されている期間中、画像信号処理部１３は、対応するアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅを強調するための描画をする。なお、アイコンＡ２１ｐは、印刷指示を入力するために投写面に電子ペン２３の先端を接触させるべき領域を示している。

３−２．操作入力オブジェクトの連動編集
次に、画像信号の属性の変化に伴う操作入力オブジェクトの編集について図４を参照しながら説明する。制御部１５は、入出力インターフェース１４から制御部１５に入力される画像信号の属性が変化すると、ステップＳ２以後の更新処理を開始する（Ｓ１）。具体的には、入出力インターフェース１４から制御部１５に入力される画像信号の解像度が変化したかを制御部１５は判定する。すなわち、ここでは外部画像に対応する画像信号を入力する外部機器の入れ替わりがあったか否かが判定される。

ステップＳ２では、制御部１５は、属性が変化した後の画像信号の解像度とアスペクトを判定する。
次に制御部１５は、属性が変化した後の画像信号に基づいて外部画像を描画する（Ｓ３）。このとき制御部１５は、既に説明したように外部画像の描画領域を設定し、必要に応じて拡大または縮小しながら、外部画像レイヤーＡ２０に外部画像を描画する。

次に制御部１５は、操作入力オブジェクトを編集し（Ｓ４）、続いて投写領域Ａ１全体を投写するための表示信号を出力する（Ｓ５）。
入出力インターフェース１４の特定の端子に接続されていた外部機器が置換される場合、例えば縦長の画面解像度のスマートフォンが接続されていたＵＳＢ端子に横長の画面解像度のＰＣが接続された場合、入出力インターフェース１４から制御部１５に入力される画像信号の解像度が変化する。この場合、制御部１５は、入出力インターフェース１４から入力される画像信号の属性が変化する前に描画した図５Ａに示す操作入力オブジェクトＡ２１ｇを、図５Ｂに示すように消去する。その結果、プロジェクター１によって投写面に表示される画像は、図１Ａから図１Ｂに示すように変化し、操作入力オブジェクトＡ２１ｇが画面から消える。

ここで、操作入力レイヤーから操作入力オブジェクトだけを消去する方法として、操作入力レイヤーの各画素に操作入力オブジェクトまたはアイコンを示す識別子を付しておき、操作入力オブジェクトを示す識別子が付されている全ての画素を初期値にリセットする。なお、ここでいう初期値とは、レイヤーを重畳合成する際に背面の外部画像レイヤーの画素が１００％に重み付けして加算され、前面の操作入力レイヤーの画素が０％に重み付けして加算される画素値とする。また操作入力オブジェクトを描画するためのレイヤーとアイコンＡ２１ａ、Ａ２１ｂ、Ａ２１ｃ、Ａ２１ｄ、Ａ２１ｅ、Ａ２１ｐを描画するためのレイヤーとに操作入力レイヤーを分けておくか、操作入力オブジェクトおよびアイコンのそれぞれを全て異なるレイヤーに描画しておき、操作入力オブジェクトを描画するためのレイヤー全体を初期値にリセットする方法を採用してもよい。

以上説明した実施例によると、プロジェクター１に接続される外部機器が置換されると置換前の外部機器から入力される画像信号に対応する操作入力オブジェクトが画面から消えるため、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要である。

４．他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、外部機器が接続されている端子と対応付けて操作入力レイヤーを管理し、外部機器から入出力インターフェース１４に画像信号を入力する端子が変化した場合に、操作入力レイヤーの表示・非表示を切り換えても良い。例えば、ＨＤＭＩ端子にＢＤ（Blu-lay Disc）プレイヤーが接続され、ＲＧＢ端子にプレゼン用のＰＣが接続され、ＲＳ２３２ｃ端子に制御用のＰＣが接続されているとする。この場合、プレゼン用ＰＣが接続されているＲＧＢ端子と対応付けて操作入力レイヤーを記憶しておく。制御用ＰＣによって画像信号の入力端子がＲＧＢ端子からＨＤＭＩ端子に切り換えられた場合、外部機器から入出力インターフェース１４に画像信号を入力している端子が変化することになる。制御部１５は、この変化に応じて、操作入力レイヤーを表示状態から非表示状態に更新すればよい。これにより、画像信号の入力端子がＨＤＭＩ端子からＲＧＢ端子に切り換えられた場合には、操作入力レイヤーを非表示状態から表示状態に更新することで、プレゼン用ＰＣが描画した外部オブジェクトに対応する操作入力オブジェクトを再表示することが可能になる。

また例えば、ＲＧＢ端子にプレゼン用の第一のＰＣが接続され、ＵＳＢ端子にプレゼン用の第二のＰＣが接続され、ＲＳ２３２ｃ端子に制御用のＰＣが接続されているとする。この場合、第一のＰＣが接続されているＲＧＢ端子と対応付けて第一の操作入力レイヤーを記憶しておき、第二のＰＣが接続されているＵＳＢ端子と対応付けて第二の操作入力レイヤーを記憶しておく。例えば制御用ＰＣによって画像信号の入力端子がＲＧＢ端子からＵＳＢ端子に切り換えられた場合、図６Ａに示すＲＧＢ端子に対応付けられた第一の操作入力レイヤーＡ２１ａを表示状態から非表示状態に更新し、図６Ｂに示すＵＳＢ端子に対応付けられた第二の操作入力レイヤーＡ２１ｂを非表示状態から表示状態に更新する。その結果、プロジェクター１の投写画像は、例えば図１Ａに示す状態から図６Ｃに示す状態に変化する。逆に制御用ＰＣによって画像信号の入力端子がＵＳＢ端子からＲＧＢ端子に切り換えられた場合、図６Ｂに示すＵＳＢ端子に対応付けられた第二の操作入力レイヤーＡ２１ｂを表示状態から非表示状態に更新し、図６Ａに示すＲＧＢ端子に対応付けられた第一の操作入力レイヤーＡ２１ａを非表示状態から表示状態に更新する。このようにして外部機器が接続されている端子と対応付けて操作入力レイヤーを管理すると、プロジェクター１に画像信号を入力する外部機器に応じて複数の操作入力画像を切り替えることができる。

また例えば画像信号そのものの変化に応じて操作入力オブジェクトを編集しても良い。図７は画像信号そのものの変化に応じて操作入力オブジェクトを編集する処理の流れを示している。制御部１５は、画像信号を解析することにより、スクロール、拡大または縮小の画面操作があったか否かを判定し、画面操作があった場合にＳ１１以後の連動編集処理を実行する（Ｓ１０）。具体的には、画像信号を解析し、画像信号が表す外部オブジェクトの移動、拡大および縮小の有無を検出する。ここで外部オブジェクトとは、外部機器が描画する文字や図画を意味する。次に制御部１５は、画像信号の解析結果に基づいて画面の操作量としての外部オブジェクトの移動量、拡大倍率、縮小倍率を算出する（Ｓ１１）。次に制御部１５は、画面の操作量に応じて操作入力オブジェクトを編集する（Ｓ１２）。具体的には制御部１５は、図８Ａに示す更新前の操作入力オブジェクトＡ２１ｇが外部オブジェクトの移動、拡大又は縮小に応じて移動、拡大または縮小するように操作入力オブジェクトＡ２１ｇを図８Ｂに示すように再描画する。このように画像信号そのものの変化に応じて操作入力オブジェクトを編集することにより、変化前の外部画像に対応する操作入力オブジェクトを変化後の外部画像に対応させることができる。

また例えば、投写面に対する操作を検出する手段として、レーザーカーテンを用いても良いし、赤外線波長以外の波長の光を用いても良い。また、電子ペンのように操作信号を送信する機能を備えた送信部を用いずに、レーザーカーテンから照射されて指で反射する赤外線波長の光を検出して投写面に対する操作を検出しても良い。

また例えば、画像を投写するために、１つの液晶パネルを用いて光を変調しても良いし、反射型の液晶パネルを用いて光を変調しても良いし、ＤＭＤ（Digital Mirror Device）を用いて光を変調しても良い。また例えば投写画像を拡大投写するために凸面鏡を用いても良いし、鏡を用いなくても良い。また例えば、タッチパネルディスプレイ等の表示装置に本発明を適用しても良い。

１…プロジェクター、１ａ…第一筐体、１ｂ…第二筐体、９…特開平、１０…液晶ライトバルブ、１０ａ、１０ｂ、１０ｃ…液晶パネル、１１…液晶駆動部、１２…ＯＳＤ処理部、１３…画像信号処理部、１４…入出力インターフェース、１４…画像信号入力部、１５…制御部、１６…光源駆動部、１７…投写光源、１８…操作部、１９…電源部、２１…受信部、２２…位置検出部、２３…電子ペン、１５１…外部記憶、１８１…メニューキー、１８２…選択キー、１８３…決定キー、１８４…電源スイッチ、２３１…接触センサー、２３２…発光部、２３３…電源スイッチ、Ａ１…投写領域、Ａ２…ウインドウ画像、Ａ２０…外部画像レイヤー、Ａ２１…操作入力レイヤー、Ａ２１…操作入力画像、Ａ２１ｇ…操作入力オブジェクト、Ａ２２ａ…外部画像、Ａ２２ｂ…外部画像、Ａ２２ｓ…描画領域、Ａ２ｓ…描画領域

Claims (5)

1. 外部機器から画像信号を入力する画像信号入力ステップと、
   表示信号に基づいて画像を画面に表示する表示ステップと、
   前記画面に対する操作を検出する操作検出ステップと、
   前記画面に対する操作に対応する操作入力オブジェクトを描画する描画ステップと、
   前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、
   前記画像信号の属性または前記画像信号の変化を検出する信号変化検出ステップと、
   前記画像信号の属性または前記画像信号の変化を検出すると、前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、
   を含む双方向表示方法。
2. 前記連動編集ステップにおいて、前記外部画像に対応する前記画像信号を入力する前記外部機器の入れ替わりを示す前記画像信号の属性または前記画像信号の変化を検出すると、前記操作入力オブジェクトを消去する、
   請求項１に記載の双方向表示方法。
3. 前記連動編集ステップにおいて、前記外部画像が表す外部オブジェクトの拡大または縮小を示す前記画像信号の属性または前記画像信号の変化を検出すると、前記外部オブジェクトの拡大又は縮小に応じて前記操作入力オブジェクトを拡大または縮小する、
   請求項１または２に記載の双方向表示方法。
4. 前記連動編集ステップにおいて、前記外部画像が表す外部オブジェクトの移動を示す前記画像信号の属性または前記画像信号の変化を検出すると、前記操作入力オブジェクトを前記外部オブジェクトの移動に応じて移動する、
   請求項１から３のいずれか一項に記載の双方向表示方法。
5. 外部機器から画像信号を入力する画像信号入力部と、
   表示信号に基づいて画像を画面に表示する表示部と、
   前記画面に対する操作を検出する操作検出部と、
   前記画面に対する操作に対応する操作入力オブジェクトを描画する描画部と、
   前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力部と、
   前記画像信号の属性または前記画像信号の変化を検出する信号変化検出部と、
   前記画像信号の属性または前記画像信号の変化を検出すると、前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集部と、
   を備える双方向表示装置。

Images