JP2010016734A - 遠隔装置、遠隔制御方法、プログラム、および表示制御装置 - Google Patents

Abstract

【課題】複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができるようにする。
【解決手段】表示装置１は、表示部１３に表示する実画面に対応する仮想画面の情報をリモートコントローラ２に送信する。リモートコントローラ２の表示部２２は、複数の画面を含む実画面に対応する仮想画面を表示する。表示部２２の表示面上にはタッチパネル２２Aが設けられており、表示部２２は、ユーザによって仮想画面のアイコン画面が変更された場合、変更後の仮想画面の情報を表示装置１に送信する。表示装置１は、仮想画面に同期して実画面の表示を変更する。本発明は、例えば、表示装置のリモートコントローラに適用できる。
【選択図】図１

Description

本発明は、遠隔装置、遠隔制御方法、プログラム、および表示制御装置に関し、特に、複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができるようにする遠隔装置、遠隔制御方法、プログラム、および表示制御装置に関する。

ケーブルテレビ放送や、衛星波または地上波を用いたデジタル放送の普及により、テレビジョン受像機で受信して視聴可能なチャンネル数が増えている。また、最近では、薄型のフラットパネルディスプレイの技術進歩により、テレビジョン受像機の大画面化が進んでいる。

放送の多チャンネル化およびテレビジョン受像機の大画面化に対応し、２以上の入力信号または放送信号を２画面以上の複数画面で同時に表示可能な表示装置もあり、複数画面を同時表示した場合において画面選択を簡単にできるような技術も提案されている（例えば、特許文献１参照）。今後も、複数チャンネルの同時表示や、受信チャンネルと各種情報の同時表示など、複数画面の同時表示の必要性は高まると予想される。

特開２００５−１６７７１２号公報

しかしながら、現在、複数画面を同時表示可能な表示装置において、同時表示された各画面に対する操作は、リモートコントローラで操作対象の画面を選択し、所望の操作ボタンを押下したり、カーソルまたはフォーカスを移動させる方向キー等を用いて、メニュー項目の設定値を変更するなど、１画面に対して行う場合と変わらず、操作性が良いとは言い難い。

本発明は、このような状況に鑑みてなされたものであり、複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができるようにするものである。

本発明の第１の側面の遠隔装置は、所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面を表示する表示手段と、前記表示手段上で行われたユーザの操作を検出する検出手段と、前記表示制御装置から、無線通信により、前記仮想画面の情報を受信する通信手段と、前記仮想画面の情報に基づいて、前記表示手段に前記仮想画面を表示させるとともに、前記検出手段で検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更する制御手段とを備え、前記通信手段は、前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信する。

本発明の第１の側面の遠隔制御方法は、所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面の情報を、前記所定の表示制御装置から、無線通信により受信し、前記仮想画面を表示手段に表示させ、前記表示手段上で行われたユーザの操作を検出し、検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更し、前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信するステップを含む。

本発明の第１の側面のプログラムは、コンピュータに、所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面の情報を、前記所定の表示制御装置から、無線通信により受信し、前記仮想画面を表示手段に表示させ、前記表示手段上で行われたユーザの操作を検出し、検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更し、前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信する処理を実行させる。

本発明の第１の側面においては、所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面の情報が、所定の表示制御装置から無線通信により受信され、仮想画面が表示手段に表示され、表示手段上で行われたユーザの操作が検出され、検出されたユーザの操作に応じて、表示手段に表示された仮想画面の表示が変更され、変更後の仮想画面の情報が、表示制御装置に送信される。

本発明の第２の側面の表示制御装置は、所定の表示手段に複数の画面を含む実画面を表示させ、前記実画面に対応する仮想画面の情報を生成する表示制御手段と、無線通信により、前記仮想画面の情報を他の装置に送信するとともに、前記他の装置において変更された前記仮想画面の情報を前記他の装置から受信する通信手段とを備え、前記表示制御手段は、受信した前記仮想画面の情報に基づいて、前記表示手段に表示させている前記実画面の表示を変更する。

本発明の第２の側面においては、所定の表示手段に複数の画面を含む実画面が表示され、実画面に対応する仮想画面の情報が生成され、無線通信により、仮想画面の情報が他の装置に送信されるとともに、他の装置において変更された仮想画面の情報が他の装置から受信され、受信された仮想画面の情報に基づいて、表示手段に表示させている実画面の表示が変更される。

本発明の第１および第２の側面によれば、複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができる。

図１は、本発明を適用した表示システムの一実施の形態の構成例を示している。

図１の表示システムは、表示装置１と、表示装置１に表示される画面の操作を遠隔で行うことが可能な遠隔装置としてのリモートコントローラ２により構成されている。この表示装置１は、１画面による表示は勿論、異なるチャンネルの番組などを複数画面で同時に表示することが可能であり、以下では、表示装置１が複数画面を同時表示した場合に関する処理について説明する。

表示装置１は、例えば、BS（Broadcasting Satellite）デジタル放送、110度CS（Communication Satellite）デジタル放送、または地上波デジタル放送などのデジタル放送の番組を受信して表示するテレビジョン受像機であり、チューナ部１１、画像処理部１２、表示部１３、操作部１４、無線通信部１５、および制御部１６により構成されている。

一方、リモートコントローラ２は、操作ボタン群２１、表示部２２、制御部２３、および無線通信部２４により構成されている。リモートコントローラ２は、従来のリモートコントローラと同様の、チャンネルの変更や音量ボリュームの変更などの制御信号を制御対象機器である表示装置１に無線送信する機能と、表示装置１の表示部１３に表示されている複数画面を含む実画面に対応する仮想の画面（仮想画面）を表示する機能を有する。

表示装置１のチューナ部１１は、図示せぬアンテナやケーブルを介して有線または無線により伝送されてくるデジタル放送信号の中から、制御部１６からの選局信号に基づいて、ユーザが選局したチャンネルに対応する周波数帯の信号を受信して復調することにより、ユーザが選局したチャンネルの番組の番組データ（画像データおよび音声データ）を画像処理部１２に供給する。

画像処理部１２は、チューナ部１１から供給される番組データを、符号化されたときの方式（例えば、MPEG方式）に対応する復号方式でデコードし、デコード後の画像信号および音声信号を表示部１３に供給する。なお、画像処理部１２は、複数画面の表示が選択されている場合には、制御部１６から供給される画面制御信号に基づき、受信した異なるチャンネルの番組の画面を一画面として表示させる合成処理（重畳処理）を行い、合成後の画像信号を表示部１３に供給する。

また、画像処理部１２は、リモートコントローラ２の表示部２２が表示する仮想画面の情報（以下、仮想画面情報と称する）を制御部１６に供給する。画像処理部１２は、例えば、デマルチプレクサ処理、デコード処理、合成処理などを行う画像処理モジュールにより構成される。

表示部１３は、例えば、LCD(Liquid Crystal Display)や PDP(Plasma Display Panel)などで構成され、画像処理部１２からの画像信号に基づいて、所定の画像（実画面）を表示する。また、表示部１３は、スピーカ（図示せず）も有しており、画像処理部１２からの音声信号に基づいて、所定の音声を出力する。

操作部１４は、例えば、電源をオンまたはオフする電源ボタン、チャンネルを切り替えるチャンネル切替ボタン、表示部１３に表示させる画像の入力信号を切り替える入力切替ボタンなどの各種のボタンにより構成され、ユーザにより操作されたボタンに対応する操作信号を制御部１６に供給する。

無線通信部１５は、リモートコントローラ２の無線通信部２４との間で、無線通信により、所定の制御信号を送受信する。具体的には、無線通信部１５は、従来のリモートコントローラ２と同様のチャンネル選択を表す選局情報や仮想画面情報を、制御信号として送受信する。なお、無線通信部１５がリモートコントローラ２の無線通信部２４と行う無線通信の方式は、赤外線通信方式、IEEE（the Institute of Electrical and Electronic Engineers）802.11b、IEEE802.11gなどの規格による無線LAN方式、Bluetooth（登録商標）による方式など、いずれでもよく、特に限定されない。無線通信部１５は、例えば、採用される通信方式に対応する通信モジュールで構成される。

制御部１６は、操作部１４からの操作信号、および無線通信部１５からの制御信号に基づいて、チューナ部１１および画像処理部１２を制御する。例えば、制御部１６は、無線通信部１５から供給された選局情報に基づいて、チューナ部１１に選局信号を供給し、チューナ部１１が受信するチャンネルを制御する。また、制御部１６は、無線通信部１５からの仮想画面情報に基づいて、画面制御信号を画像処理部１２に供給する。制御部１６は、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、メモリ（RAM（Random Access Memory））等で構成される。

一方、リモートコントローラ２の操作ボタン群２１は、電源ボタン、チャンネル切替ボタン、入力切替ボタン等の操作部１４が備えるものと同様のボタンであり、ユーザによって操作されたボタンに対応する操作信号を制御部２３に供給する。

表示部２２は、例えば、LCD、EL(Electro luminescence)ディスプレイ等の薄型のディスプレイで構成され、制御部２３から供給される画像信号に基づいて、表示装置１の表示部１３に表示されている実画面に対応する仮想画面を表示する。表示部２２の表示面上にはタッチパネル２２Aが設けられており、表示部２２は、タッチパネル２２Aにより検出された指やスタイラス等によるユーザの操作を受け付け、操作された表示面上の所定の位置の情報（位置情報）を制御部２３に供給する。

なお、表示部２２は、タッチパネル２２Aに代えて、外部からの光を受光することにより、ユーザに指示された位置を検出する機能を有するようにしてもよい。

制御部２３は、リモートコントローラ２の各部の制御を行う。具体的には、制御部２３は、無線通信部２４から供給される仮想画面情報に基づいて、仮想画面の画像信号を表示部２２に供給するとともに、表示部２２から供給される位置情報に基づいて、表示部２２に表示されている仮想画面の制御を行う。また制御部２３は、ユーザの操作によって変更された仮想画面の情報や、操作ボタン群２１から供給される操作信号に基づく選局情報などを無線通信部２４に供給する。制御部２３は、例えば、CPU（Central Processing Unit）、メモリ（RAM）等で構成される。

無線通信部２４は、表示装置１の無線通信部１５との間で、制御信号としての仮想画面情報や選局情報を送受信する。

次に、複数画面の同時表示が行われている場合の、実画面と仮想画面の表示について説明する。

図２Aは、表示装置１の表示部１３に表示される実画面の例を示しており、表示装置１の表示部１３では、A,B,C、およびDチャンネルでそれぞれ放送されている番組の画面P_A,P_B,P_C、およびP_Dが同時表示されている。即ち、表示装置１の表示部１３は、複数の画面P_A,P_B,P_C、およびP_Dを含む実画面を表示している。

一方、図２Bは、リモートコントローラ２の操作面を示しており、操作面は、複数の操作ボタンを備える操作ボタン群２１と、仮想画面を表示する表示部２２で構成されている。

表示部２２に表示された仮想画面は、表示装置１の表示部１３に表示されている実画面が全体的に縮小され、チャンネルA,B,C、およびDの番組画像を表示している画面P_A,P_B,P_C、およびP_Dの部分が、A,B,C、またはDチャンネルの番組画像を表示している画面（以下、適宜、A,B,C、またはDチャンネルの画面と称する）であることを表したアイコン画面I_A,I_B,I_C、およびI_Dとされている画面である。

アイコン画面I_A,I_B,I_C、およびI_Dのそれぞれには、画面P_A,P_B,P_C、およびP_Dを識別するための文字（テキスト）または図形（絵柄）が表示される。例えば、画面P_A,P_B,P_C、およびP_Dで表示している番組画像のチャンネル番号などを、画面P_A,P_B,P_C、およびP_Dを識別するための文字として、アイコン画面I_A,I_B,I_C、およびI_Dのそれぞれに表示することができる。

なお、図２Bの例では、リモートコントローラ２の操作面である所定の一面に、操作ボタン群２１と表示部２２とを配置した構成としているが、操作面の一面全面を表示部２２で構成し、操作ボタン群２１が有する各種のボタンを、タッチパネル２２Aで検出可能な画像によるボタンとしてもよい。

次に、リモートコントローラ２の表示部２２に、図２Bに示した仮想画面が表示されている場合に、リモートコントローラ２の表示部２２でユーザが行うことができる操作について説明する。

例えば、ユーザは、表示部２２の表示面上に設けられているタッチパネル２２Aをタッチ（接触）することにより、図３Aに示されるように、アイコン画面I_Cの背面に隠れているアイコン画面I_Dを選択する。

この場合、制御部２３は、表示部２２から供給された位置情報から、アイコン画面I_Dがタッチ（選択）されたことを認識し、図３Bに示されるように、アイコン画面I_Dに選択されたことを表すカーソル枠Kを付して、アイコン画面I_Dをアイコン画面I_Cの前面に表示させる。また、制御部２３は、アイコン画面I_Dに対応する実画面の画面P_Dが選択されたことを表す選択画面情報を無線通信部２４に供給し、表示装置１に送信させる。この選択画面情報は、仮想画面情報の一種である。

Dチャンネルの画面P_Dが選択されたことを表す選択画面情報を受信した表示装置１では、制御部１６が、受信した選択画面情報に基づいて、選択された画面P_Dについての画面制御信号を画像処理部１２に供給し、画像処理部１２が画面制御信号に基づいて表示部１３に表示させる実画面を、図４に示すように変更する。即ち、リモートコントローラ２の表示部２２に表示されている仮想画面と同様に、チャンネルCの画面P_CよりもチャンネルDの画面P_Dを前面に表示させる。

また、アイコン画面I_Dにカーソル枠Kが付されている状態で、操作ボタン群２１のチャンネル切替ボタンがユーザにより操作されて、チャンネルが変更された場合、アイコン画面I_Dに対応する表示装置１の表示部１３の画面P_Dに映っているDチャンネルの画像が、ユーザに操作されたチャンネルの画像に変更される。

また、例えば、リモートコントローラ２の表示部２２において、図５Aに示されるように、ユーザがアイコン画面I_Dをドラッグ（選択したまま移動）して左下方向の所定の位置（アイコン画面I_D’で示される位置）に移動させた場合、その移動を示す画面選択情報が表示装置１に送信され、表示装置１の表示部１３の画面P_Dも、図５Bに示されるように、同様の位置に移動する。

さらに、例えば、図示は省略するが、リモートコントローラ２の表示部２２において、選択したアイコン画面の四隅を操作してドラッグし、アイコン画面のサイズを拡大または縮小する（リサイズ）ことによって、表示装置１の表示部１３の対応する画面のサイズを拡大または縮小することもできる。

以上のように、図１の表示システムでは、繁雑になりがちな複数画面のリサイズ、移動などを、表示部２２上での直感的で簡単な操作によって実現することができる。

図６は、上述したチャンネルの選択と、画面の選択、移動、およびリサイズを行うために、表示装置１とリモートコントローラ２との間でやりとりされる情報（仮想画面の情報）の例を示している。

リモートコントローラ２の表示部２２において、ユーザにより、チャンネルの変更、アイコン画面の選択、移動、またはリサイズが行われた場合に、表示装置１とリモートコントローラ２との間でやりとりされる情報としては、ユーザによって選択され、制御対象とされた画面（以下、選択画面と称する）の番号を表す「選択画面番号」、表示部２２の左上隅など、所定の位置を基準としたときの選択画面の左上頂点の水平方向の位置（ピクセル座標）を表す「左上頂点X座標」、所定の位置を基準としたときの選択画面の左上頂点の垂直方向の位置（ピクセル座標）を表す「左上頂点Y座標」、選択画面の水平方向のサイズを表す「水平サイズ」、選択画面の垂直方向のサイズを表す「垂直サイズ」、および、チャンネル番号を表す「Ch番号」がある。

ユーザによりアイコン画面の選択が行われた場合には、例えば、ユーザが選択したアイコン画面の選択画面番号「４」が、リモートコントローラ２から表示装置１に送信される。この選択画面番号「４」は、選択されたアイコン画面に対応する実画面内の画面を表す番号でもある。即ち、実画面に含まれる画面と仮想画面に含まれるアイコン画面とは、同一選択画面番号で対応付けられている。さらに、例えば、選択されたアイコン画面においてチャンネルを「１」に変更する操作も行われた場合には、選択画面番号「４」に加えて、変更後のチャンネル番号としてのCh番号「１」も送信される。

ユーザによりアイコン画面の移動が行われた場合には、例えば、移動されたアイコン画面に対応する選択画面番号「４」と、その移動後の選択画面の左上頂点X座標および左上頂点Y座標である「９６０，５４０」が、リモートコントローラ２から表示装置１に送信される。

ユーザによりアイコン画面のサイズの変更が行われた場合には、例えば、ユーザによって選択され、サイズの変更が行われたアイコン画面の選択画面番号「４」、変更後の選択画面の左上頂点X座標および左上頂点Y座標である「９６０，５４０」、並びに、変更後の選択画面の水平サイズおよび垂直サイズである「６００，３００」が、リモートコントローラ２から表示装置１に送信される。

仮想画面を表示するために表示装置１から最初にリモートコントローラ２に送信されてくる仮想画面情報も、画面の左上頂点X座標、左上頂点Y座標、水平サイズ、および垂直サイズのセットを、実画面に含まれる画面の数だけ用意したもので構成することができる。

なお、「左上頂点X座標」、「左上頂点Y座標」、「水平サイズ」、および「垂直サイズ」は、表示部１３と表示部２２のどちらの座標系で表してもよく、表示装置１およびリモートコントローラ２は、自身の座標系の位置およびサイズに変換することが可能である。

仮想画面の表示、並びに、実画面に含まれる画面の選択、移動、およびリサイズを行うためには、図６に示したような、たかだか１０数バイトのデータを送るだけで済むので、短時間でデータの送受信を行うことができ、ユーザにストレスを与えることのない速度で、表示部１３に表示されている実画面と、リモートコントローラ２の表示部２２に表示されている仮想画面の同期をとることができる。

なお、アイコン画面I_A,I_B,I_C、およびI_Dのそれぞれには、画面P_A,P_B,P_C、およびP_Dを識別するための文字または図形が表示されることとしたが、無線通信の通信性能（通信速度、容量など）に余裕がある場合には、画面P_A,P_B,P_C、およびP_Dのそれぞれで放送されている番組画像を所定のタイミングで（定期的にまたは不定期に）取得したスナップ画像を表示させたり、あるいは、番組の動画像そのものを表示させたりしても良い。

次に、図７のフローチャートを参照して、仮想画面をリモートコントローラ２の表示部２２に表示させるため、表示装置１で行われる仮想画面情報送信処理を説明する。

ステップＳ１において、画像処理部１２は、制御部１６からの画面制御信号に基づき、異なるチャンネルの番組画像を表示した複数の画面が一画面とされた実画面の画像信号を生成して、表示部１３に供給するとともに、実画面に対応する仮想画面を生成するための仮想画面情報を生成する。生成された仮想画面情報は、制御部１６を介して、無線通信部１５に供給される。

ステップＳ２において、無線通信部１５は、所定の通信方式で、仮想画面情報を制御信号としてリモートコントローラ２の無線通信部２４に送信して、処理を終了する。

図７の仮想画面情報送信処理に対応して、リモートコントローラ２では、図８に示される仮想画面表示処理が実行される。

即ち、ステップＳ１１において、リモートコントローラ２の無線通信部２４は、表示装置１から送信されてきた仮想画面情報を受信し、制御部２３に供給する。

ステップＳ１２において、制御部２３は、仮想画面情報に基づいて、仮想画面の画像信号を生成し、表示部２２に供給する。

ステップＳ１３において、表示部２２は、制御部２３から供給された仮想画面の画像信号に基づいて、仮想画面を表示し、処理を終了する。

以上のようにして、表示装置１の表示部１３に表示されている実画面に対応する仮想画面がリモートコントローラ２の表示部２２に表示される。

次に、図９のフローチャートを参照して、ユーザが、リモートコントローラ２の表示部２２において、アイコン画面の選択、チャンネルの変更、アイコン画面の移動、およびアイコン画面のリサイズの一連の操作を行った場合の、表示装置１およびリモートコントローラ２の処理について説明する。

初めに、ステップＳ４１において、ユーザがリモートコントローラ２の表示部２２に表示されている所定のアイコン画面を選択する。例えば、上述した例と同様に、アイコン画面I_Dがユーザによって選択されたとする。制御部２３は、ステップＳ４２において、表示部２２から供給される位置情報に基づいて、アイコン画面I_Dがユーザによって選択されたことを認識し、その選択されたアイコン画面I_Dを最前面に移動させる（仮想画面の画像信号を表示部２２に供給する）。表示部２２では、アイコン画面I_Dが最前面に表示され、カーソル枠Kがアイコン画面I_Dに付される。

そして、ステップＳ４３において、制御部２３は、送信要求とともに、選択されたアイコン画面I_Dの選択画面番号を選択画面情報として無線通信部２４に供給する。ステップＳ４４において、無線通信部２４は、制御部２３からの送信要求を受け付けて、選択画面情報を表示装置１の無線通信部１５に送信する。

ステップＳ４５において、表示装置１の無線通信部１５は、選択画面情報を受信し、制御部１６に供給する。制御部１６は、ステップＳ４６において、選択画面情報に基づいて、選択画面番号で特定される画面P_Dを最前面に移動させる旨の画面制御信号を生成し、画像処理部１２に供給する。画像処理部１２は、ステップＳ４７において、制御部１６からの画面制御信号に基づいて、選択画面としての画面P_Dを最前面に移動させた実画面の画像信号を生成し、表示部１３に供給することにより、画面P_Dを最前面に移動させる。

次に、ステップＳ６１において、ユーザが操作ボタン群２１のチャンネル切替ボタンを操作して、チャンネルを変更する（選局操作を行う）。

ステップＳ６２において、制御部２３は、送信要求とともに、操作ボタン群２１からの操作信号を取得して、選択画面での選局情報を無線通信部２４に供給する。ステップＳ６３において、無線通信部２４は、制御部２３からの送信要求を受け付けて、選局情報を表示装置１の無線通信部１５に送信する。

ステップＳ６４において、表示装置１の無線通信部１５は、選局情報を受信し、制御部１６に供給する。制御部１６は、ステップＳ６５において、選択画面である画面P_Dのチャンネルを、選局情報で指定されたチャンネルに変更する選局信号をチューナ部１１に供給する。変更後のチャンネルの番組データは、画像処理部１２に供給され、表示部１３の画面P_Dの表示が変更される。

次に、ステップＳ８１において、ユーザが、アイコン画面I_Dをドラッグして左下方向の所定の位置に移動すると、制御部２３は、ステップＳ８２において、表示部２２から供給される位置情報に基づいて、アイコン画面I_Dがユーザによって移動されたことを認識し、その選択されたアイコン画面I_Dを、指示された位置に移動させる。カーソル枠Kはアイコン画面I_Dに付された状態のままである。

そして、ステップＳ８３において、制御部２３は、送信要求とともに、アイコン画面I_Dの選択画面番号と移動後の左上頂点X座標および左上頂点Y座標を選択画面情報として無線通信部２４に供給する。ステップＳ８４において、無線通信部２４は、制御部２３からの送信要求を受け付けて、選択画面情報を表示装置１の無線通信部１５に送信する。

ステップＳ８５において、表示装置１の無線通信部１５は、選択画面情報を受信し、制御部１６に供給する。制御部１６は、ステップＳ８６において、選択画面情報に基づいて、選択画面番号で特定される画面P_Dを指定された位置に移動させる旨の画面制御信号を生成し、画像処理部１２に供給する。画像処理部１２は、ステップＳ８７において、制御部１６からの画面制御信号に基づいて、画面P_Dを、左上頂点X座標および左上頂点Y座標で表される指定された位置に移動させた合成画面の画像信号を生成し、表示部１３に供給することにより、選択画面としての画面P_Dを指定された位置に移動させる。

次に、ステップＳ１０１において、ユーザが、アイコン画面I_Dの四隅をドラッグすることにより、アイコン画面I_Dのサイズを変更すると、制御部２３は、ステップＳ１０２において、表示部２２から供給される位置情報に基づいて、アイコン画面I_Dのサイズがユーザによって変更されたことを認識し、その選択画面としてのアイコン画面I_Dのサイズを変更させる。

ステップＳ１０３において、制御部２３は、送信要求とともに、アイコン画面I_Dの選択画面番号、移動後の左上頂点X座標、左上頂点Y座標、水平サイズ、および垂直サイズを選択画面情報として無線通信部２４に供給する。ステップＳ１０４において、無線通信部２４は、制御部２３からの送信要求を受け付けて、選択画面情報を表示装置１の無線通信部１５に送信する。

ステップＳ１０５において、表示装置１の無線通信部１５は、選択画面情報を受信し、制御部１６に供給する。制御部１６は、ステップＳ１０６において、選択画面情報に基づいて、選択画面のサイズを指定されたサイズに変更させる旨の画面制御信号を生成し、画像処理部１２に供給する。画像処理部１２は、ステップＳ１０７において、制御部１６からの画面制御信号に基づいて、選択画面番号で特定される画面P_Dを、左上頂点X座標、左上頂点Y座標、水平サイズ、および垂直サイズで表される位置および大きさに変更させた合成画面の画像信号を生成し、表示部１３に供給することにより、選択画面としての画面P_Dのサイズを変更させる。

アイコン画面の選択、チャンネルの変更、アイコン画面の移動、またはアイコン画面のサイズの変更が行われる度、行われた操作に対応する上述した処理が繰り返し実行される。

以上のように、ユーザがリモートコントローラ２の表示部２２に表示されている仮想画面に対して行う直感的な操作によって、表示装置１の表示部１３に表示された実画面の表示を変更することができるので、より簡単に実画面に含まれる各画面の操作を行うことができる。

なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、制御部１６または制御部２３としてのコンピュータ（CPU）が、図示せぬROMまたはRAMに記憶された所定のプログラムをロードして実行することで、実現することができる。

図９に示した処理では、受信側においてデータの受信確認を行わない非同期通信を行う例で説明したが、無線通信部１５および無線通信部２４の性能により、必要に応じて受信確認、再送信なども行うようにしてもよい。

次に、上述した実施の形態の変形例について説明する。

上述した実施の形態では、リモートコントローラ２の表示部２２において、各画面の位置およびサイズの変更と、チャンネルの変更のみを行うことができる例について説明したが、それ以外の各種の設定についても、ユーザが表示部２２を用いて行うようにすることができる。

図１０は、表示部２２に表示されているアイコン画面I_A,I_B,I_C、およびI_Dの横に、音量を調整するための調整用画像としての音量調整用バーを追加した例を示している。

アイコン画面I_A,I_B,I_C、およびI_Dの横に表示された音量調整用バーのつまみを変更するユーザの操作がタッチパネル２２Aにより検出された場合、制御部２３は、変更後のつまみ位置に対応する音声のボリュームを無線通信部２４を介して表示装置１に送信することで、表示装置１の対応する画面の音声のボリュームを変更することができる。

従来、複数画面の同時表示を行う表示装置においては、同時表示されている複数画面のうちのいずれか１つの画面の音声のみを出力するのが一般的である。そして、複数画面の音声をミキシングして出力する機能を仮に表示装置に追加した場合であっても、各画面の音声のボリュームを、従来のリモートコントローラで設定するには、操作数が多くなり、操作が煩わしいということが問題となっていた。

しかしながら、図１０に示されるように、アイコン画面I_A,I_B,I_C、およびI_Dに対応させて音量調整用バーを追加した場合、ユーザは、表示部２２上の所望のアイコン画面の音量調整用バーを選択し、つまみをドラッグするだけで、各画面の音声のボリュームを変更することができる。即ち、アイコン画面の音量調整用バーのつまみをドラッグするという直感的な操作で、容易に、各画面の音声のボリュームを設定することができる。

次に、リモートコントローラ２の表示部２２で、画質の設定値を変更する例について説明する。

例えば、表示装置１が、所定のチャンネルで放送されている番組の動画像のうちの１枚の画像をスナップ画像として取得し、取得したスナップ画像を表示部１３で２画面表示する。２画面表示のうちの一方の画面は、現在の画質設定値による画像を表示する画面であり、他方の画面は、変更された画質設定値に応じて画像が変化する画質調整用の画面である。

そして、表示装置１は、リモートコントローラ２の表示部２２に、画質調整用の画面に対する画質設定項目とその画質設定値を表示する。画質設定項目は、例えば、色合い、シャープネス、明るさなどであり、画質設定値は、図１０で示したような、画質設定値調整バーの形態で表示することができる。ユーザは、現在の画質設定値による画像と、画質設定値を変更したときの画像とを比較しながら、表示部２２上の画質設定値調整バーのつまみをドラッグする。表示部２２は、タッチパネル２２Aにより検出されたつまみ位置を制御部２３に供給し、制御部２３は、つまみ位置に対応する画質設定値を無線通信部２４を介して表示装置１に送信する。これにより、ユーザは、現在の画質設定値による画像と、画質設定値を変更したときの画像とを比較しながら、表示部２２上の画質設定値調整バーをドラッグする直感的な操作で画質設定値を変更して、所望の画質に調整することができる。

従来は、動画像または静止画像のみを１画面表示し、１画面表示されている画像に対して画質設定値を変更した画像を確認しながら、調整を行うことが一般的であった。表示装置１およびリモートコントローラ２による上述した方法によれば、現在の画質設定値による画像と、画質設定値変更後の画像とを比較しながら、画質設定値を決定することができ、かつ、設定の操作が容易になる。

以上のように、図１の表示システムによれば、従来、操作が煩わしかった音声や画質の調整も、より使いやすくすることができる。

なお、表示装置１は、画質調整時に表示するスナップ画像を、例えば、フラッシュメモリなどの一時的に記憶可能なメモリに保存してから表示部１３に表示させることができるが、表示装置１が、ハードディスクなどの大容量の記録媒体を備えている場合には、そこに保存するようにしてもよい。また、画質調整に使用する画像は、静止画像に限らず、動画像（ストリーミング画像）とすることもできる。

上述したような、音声のボリューム設定値の情報、画質設定値の情報を、表示装置１とリモートコントローラ２間でやりとりした場合であっても、データ量はそれほど多くはならない。また、変更された更新データのみ送信することでさらにデータ量は少なくすることができるので、実画面と仮想画面の同期に影響は及ぼさない。

ところで、上述した実施の形態は、リモートコントローラ２の表示部２２に対するユーザの操作をトリガとし、表示装置１の表示部１３に表示されている実画面を、リモートコントローラ２の表示部２２の仮想画面に同期させる例であったが、表示装置１が、ユーザが見逃したくない、見逃すべきでないと思われる画像を検出する機能を有している場合には、そのような機能によって実画面内の複数画面の構成を変化させ、表示装置１側の画面構成の変更を、リモートコントローラ２側の仮想画面に反映させるようにすることもできる。ここで、ユーザが見逃したくない、見逃すべきでないと思われる画像を検出する機能の例としては、例えば、番組放送中に表示されるニュース速報の字幕を検出する機能、シーンの盛り上がりを検出する機能などがある。

表示装置１が、複数画面の同時表示を行っている最中に、ユーザが見逃したくない、見逃すべきでないと思われる画像（注目対象画像）を検出した場合、その注目対象画像を表示している画面を最前面に表示させたり、注目対象画像を表示している画面のサイズを大きくしたりすることができる。また、注目対象画像の画面を最前面に変更したり、画面のサイズを変更したりするのと同時に、所定の音を出力してユーザに知らせる、注目対象画像の画面の音量を大きくするなどしてもよい。

そして、表示装置１の表示部１３の画面構成に変化があった場合に、表示装置１が、変化後の仮想画面情報を生成して、リモートコントローラ２に送信する。リモートコントローラ２の制御部２３は、無線通信部２４を介して変化後の仮想画面情報を取得し、表示部２２の仮想画面の表示を変更させる。即ち、表示装置１の表示部１３に表示されている実画面に、リモートコントローラ２の表示部２２に表示されている仮想画面を同期させる。これにより、ユーザが見逃したくない、見逃すべきでないと思われる画像を見逃してしまうことを防止し、かつ、ユーザの所望の複数画面の同時表示も可能とすることができる。

なお、画面構成の変化に同期させるためにリモートコントローラ２に送信する仮想画面情報は、実画面全体に対応する情報であってもよいし、変更のあった画面のみに関する情報（選択画面情報）でもよい。

また、注目対象画像については、ユーザが、より大画面で、より大きな音量で視聴したいと思うことが予想されるので、リモートコントローラ２の表示部２２上の仮想画面に、注目対象画像を表示している画面を最大化するボタンや、注目対象画像を表示している画面の音量のみを出力させるボタンなどを表示させてもよい。これにより、ユーザの利便性をより向上させることができる。

以上のように、リモートコントローラ２の表示部２２に表示装置１の表示部１３の実画面に対応する仮想画面を表示して、ユーザによる仮想画面の操作を実画面に同期させることにより、複数画面を表示した場合の各画面に対する操作の利便性を向上させることができる。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

上述した例では、実画面に含まれる複数画面それぞれに表示される画像は、チューナ部１１が受信した番組の画像であるとして説明したが、複数画面それぞれに表示される画像は、チューナ部１１が受信した番組の画像に限らず、外部入力から入力された画像信号による画像でもよい。

また、図１の表示システムにおいて、リモートコントローラ２からの制御信号によって実画面の表示を変更させる側の装置は、必ずしも表示部を有している必要はなく、画像処理部１２で生成された画像信号および音声信号を外部の表示装置に出力して、外部の表示装置で実画面を表示させるものでもよい。従って、例えば、表示装置１に代えて、表示部１３以外の、チューナ部１１、画像処理部１２、操作部１４、無線通信部１５、および制御部１６の構成を有する記録再生装置（表示制御装置）とする表示システムも可能である。

上述した例では、リモートコントローラ２の表示部２２の表示面に設けられたタッチパネル２２Aにより、ユーザが操作（指定）した位置を検出したが、リモートコントローラ２にジャイロセンサを内蔵させ、ユーザが表示装置１の表示部１３の表示面の範囲内を指定するようにリモートコントローラ２を動かし、表示装置１がユーザによるリモートコントローラ２の移動を検出することで、ユーザが操作（指定）した位置を検出するようにさせてもよい。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。 実画面と仮想画面の表示例を示す図である。 アイコン画面の選択を説明する図である。 アイコン画面の選択に対応する実画面の表示を説明する図である。 アイコン画面の移動を説明する図である。 表示装置とリモートコントローラとの間でやりとりされる情報の例を示す図である。 仮想画面情報送信処理を説明するフローチャートである。 仮想画面表示処理を説明するフローチャートである。 アイコン画面の一連の操作をユーザが行った場合の処理について説明するフローチャートである。 音量調整用バーを追加した仮想画面の例を示す図である。

符号の説明

１ 表示装置， ２ リモートコントローラ， １２ 画像処理部， １５ 無線通信部， １６ 制御部， ２２ 表示部， ２２A タッチパネル， ２３ 制御部， ２４ 無線通信部

Claims (7)

1. 所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面を表示する表示手段と、
   前記表示手段上で行われたユーザの操作を検出する検出手段と、
   前記表示制御装置から、無線通信により、前記仮想画面の情報を受信する通信手段と、
   前記仮想画面の情報に基づいて、前記表示手段に前記仮想画面を表示させるとともに、前記検出手段で検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更する制御手段と
   を備え、
   前記通信手段は、前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信する
   遠隔装置。
2. 前記検出手段は、前記ユーザが操作した前記表示手段上の位置を表す位置情報を前記制御手段に供給し、
   前記制御手段は、前記位置情報に基づいて、前記仮想画面に含まれる１つの画面の選択、移動、またはリサイズを認識して、前記表示手段の前記仮想画面の表示を変更し、
   前記通信手段は、変更後の前記仮想画面の情報を、前記表示制御装置に送信する
   請求項１に記載の遠隔装置。
3. 前記表示手段は、前記複数の画面の少なくとも１つに対して、音量または画質を調整するための調整用画像も表示し、
   前記検出手段は、前記調整用画像に対して行われた前記ユーザの操作をさらに検出し、
   前記通信手段は、音量または画質が変更された場合、変更後の音量または画質の値を、前記表示制御装置にさらに送信する
   請求項２に記載の遠隔装置。
4. 前記通信手段は、前記実画面の前記複数の画面の構成に変化があった場合に、変化後の前記仮想画面の情報を前記表示制御装置から受信し、
   前記制御手段は、受信した前記仮想画面の情報に基づいて、前記表示制御装置の表示と同期するように、前記表示手段に表示させる前記仮想画面の表示を変更させる
   請求項３に記載の遠隔装置。
5. 所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面の情報を、前記所定の表示制御装置から、無線通信により受信し、
   前記仮想画面を表示手段に表示させ、
   前記表示手段上で行われたユーザの操作を検出し、
   検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更し、
   前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信する
   ステップを含む遠隔制御方法。
6. コンピュータに、
   所定の表示制御装置が表示させている複数の画面を含む実画面に対応する仮想画面の情報を、前記所定の表示制御装置から、無線通信により受信し、
   前記仮想画面を表示手段に表示させ、
   前記表示手段上で行われたユーザの操作を検出し、
   検出された前記ユーザの操作に応じて、前記表示手段に表示された前記仮想画面の表示を変更し、
   前記仮想画面の表示が変更された場合、変更後の前記仮想画面の情報を、前記表示制御装置に送信する
   処理を実行させるためのプログラム。
7. 所定の表示手段に複数の画面を含む実画面を表示させ、前記実画面に対応する仮想画面の情報を生成する表示制御手段と、
   無線通信により、前記仮想画面の情報を他の装置に送信するとともに、前記他の装置において変更された前記仮想画面の情報を前記他の装置から受信する通信手段と
   を備え、
   前記表示制御手段は、受信した前記仮想画面の情報に基づいて、前記表示手段に表示させている前記実画面の表示を変更する
   表示制御装置。

Images