JP2008146495A - 表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置 - Google Patents

Abstract

【課題】 複数の映像を１画面に同時に表示させる際に、それぞれの映像の表示制御をより柔軟に行い適切な表示を行うことが可能とする。
【解決手段】 管理部により、機器１０および機器１１のそれぞれから出力される画像１０Ａおよび画像１１Ａの空き領域を管理する。例えば画像１０Ａにおいて画像１０Ｂが表示されていない空き領域に画像１１Ａにおける画像１１Ｂが表示されるように、画像１１Ｂに対して拡大縮小、移動などの加工処理を施す。画像１０Ａと、画像１１Ｂが加工処理された画像１１Ａとを合成することで、画像１０Ａおよび画像１１Ａのそれぞれにおいて表示すべき画像１０Ｂおよび画像１１Ｂが互いに重ならないようにされた１枚の画像を得る。
【選択図】 図１

Description

この発明は、複数の機器から出力される画像を１の画面内に適切に表示可能とした表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置に関する。

近年の表示装置、例えばテレビジョン受像機は、複数の映像入力端子を持つ機種が主流となっている。このような機種では、単に受信したテレビジョン放送を表示するのに止まらず、これら複数の映像入力端子に接続された機器から出力される映像を切り換えて表示できるようになっている。

このような複数の映像入力端子を持つ表示装置において、複数の映像入力端子に接続された複数の機器からの映像を一々切り換えて表示するのでは、不便を感じることも多い。そこで、複数の映像入力端子に接続された複数の機器からの映像を、互いに重ならないように同時に画面に表示可能とした表示装置が開発されている。引用文献１には、複数画像を表示する際に、入力された映像信号がサイドパネル信号やレターボックス信号である場合に、それぞれの画像について有効画像領域のみを用いて画サイズの調整をし、画面上に表示するようにした技術が記載されている。
特開２００２−７７７６７号公報

このように複数の映像を１画面に同時に表示可能な従来の表示装置に対し、より柔軟な表示制御を可能とすることが求められている。

例えば、近年ではテレビジョン受像機にコンピュータから出力された映像や、ゲーム機器から出力される映像を表示させることが行われる。このとき、コンピュータ装置やゲーム機器の画像は、その一部分のみが必要とされることが多くみられる。一例として、コンピュータ装置により表示される画面の場合は、所定のウィンドウの表示のみが必要とされることが考えられる。また、ゲーム機器により表示される画面の場合は、ステータス表示などを除いたメインのゲーム画面の表示のみが必要とされることが考えられる。このような場合、各機器による画面のそれぞれにおいて必要とされる一部分が、１画面内に適切に表示されることが求められている。

また例えば、複数の映像を１画面に表示する際に、表示される画面の組み合わせや数に応じて表示順や配置を異ならせたいことが考えられる。例えば、それぞれ種類や大きさの異なる画面Ａ、Ｂ、ＣおよびＤを考えた場合に、画面Ａ、Ｂ、ＣおよびＤを全て１画面に表示させる場合と、画面Ａ、ＢおよびＣだけを表示させる場合と、画面ＣおよびＤだけを表示させる場合とでは、最適な配置が異なることが考えられる。このような場合、それぞれの画面を場合に応じて適切に配置することが求められている。

したがって、この発明の目的は、複数の映像を１画面に同時に表示させる際に、それぞれの映像の表示制御をより柔軟に行い適切な表示を行うことが可能な表示制御システム、表示制御装置、表示制御方法および表示制御プログラム、画像出力装置、画像出力方法および画像出力プログラム、ならびに、表示装置を提供することにある。

上述した課題を解決するために、第１の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、画面の空き領域を管理する空き領域管理部と、空き領域管理部による空き領域管理情報に基づき、空き領域に画像を配置する画像配置制御部とを備え、空き領域管理部は、画像配置制御部により画像が配置された後の空き領域をさらに管理することを特徴とする表示制御システムである。

また、第２の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において 画面の空き領域を管理する空き領域管理のステップと、空き領域管理のステップによる空き領域管理情報に基づき、空き領域に画像を配置する画像配置制御のステップとを備え、空き領域管理のステップは、画像配置制御のステップにより画像が配置された後の空き領域をさらに管理することを特徴とする表示制御方法である。

また、第３の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、画像を出力する画像出力部と、データ通信を行う第１の通信部と、画像出力部と第１の通信部とを制御する第１の制御部とを有する画像出力装置と、第１の通信部と通信可能な第２の通信部と、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、第２の通信部および管理部を制御する第２の制御部とを有する表示制御装置と、複数の画像出力装置から出力された複数の画像を１の画像に合成する合成手段とを備え、表示制御装置は、第２の制御部の制御により、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部で設定して表示領域を示す情報を通信により画像出力装置に送信し、画像出力装置は、第１の制御部の制御により、表示制御装置から送信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して画像出力部から出力することを特徴とする表示制御システムである。

また、第４の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、出力する画像の表示に関する情報を画像出力装置から送信する第１の送信のステップと、第１の送信のステップにより送信された画像の表示に関する情報に基づき、画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように、表示制御装置で設定する表示領域設定のステップと、表示領域設定のステップで設定された表示領域を示す情報を画像出力装置に送信する第２の送信のステップと、第２の送信のステップで送信された表示領域を示す情報に基づき、画像が表示領域に収まる得ように画像に対して画像が表示される領域を変更するような画像処理を、画像出力装置で施す画像処理のステップと、複数の画像出力装置による画像処理のステップで画像処理された複数の画像を１の画像に合成して出力する合成のステップとを有することを特徴とする表示制御方法である。

また、第５の発明は、複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御装置であって、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、画像出力装置との間で通信を行う通信部と、管理部および通信部を制御する制御部とを有し、制御部は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部で設定して表示領域を示す情報を通信により画像出力装置に送信することを特徴とする表示制御装置である。

また、第６の発明は、複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御方法であって、画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、取得のステップにより取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、設定のステップにより設定された表示領域を示す情報を通信により画像出力装置に送信するステップとを有することを特徴とする表示制御方法である。

また、第７の発明は、複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御方法をコンピュータ装置に実行させる表示制御プログラムであって、表示制御方法は、画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、取得のステップにより取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、設定のステップにより設定された表示領域を示す情報を通信により画像出力装置に送信するステップとを有することを特徴とする表示制御プログラムである。

また、第８の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、画像出力装置との間で通信を行う通信部と、管理部および通信部を制御する制御部と、複数の画像出力装置から出力される画像を１の画像に合成する合成部と、合成部で合成された１の画像を表示する表示部とを有し、制御部は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部で設定して表示領域を示す情報を通信により画像出力装置に送信することを特徴とする表示装置である。

また、第９の発明は、画像を出力する画像出力部と、複数の機器から出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する表示制御装置との間で通信を行う通信部と画像出力部および通信部を制御する制御部とを有し、制御部は、画像出力部から出力する画像の表示に関する情報を通信部により表示制御装置に対して送信し、送信された画像の表示に関する情報に基づき表示制御装置により設定され送信された画像を表示するための表示領域を示す情報を通信部により受信し、受信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力するように画像出力部を制御することを特徴とする画像出力装置である。

また、第１０の発明は、出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信する送信のステップと、送信のステップにより送信された画像の表示に関する情報に基づき表示制御装置により設定され表示制御装置から送信された表示領域を示す情報を受信する受信のステップと、受信のステップにより受信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力するステップとを有することを特徴とする画像出力方法である。

また、第１１の発明は、出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信する送信のステップと、送信のステップにより送信された画像の表示に関する情報に基づき表示制御装置により設定され表示制御装置から送信された表示領域を示す情報を受信する受信のステップと、受信のステップにより受信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力するステップとを有する画像出力方法をコンピュータ装置に実行させることを特徴とする画像出力プログラムである。

また、第１２の発明は、画像を出力する画像出力部と、画像を出力する他の機器との間で通信を行う通信部と画像出力部から出力される画像を画面に表示する第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、画像出力部から出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように管理する管理部と、画像出力部、管理部および通信部を制御する制御部とを有し、制御部は、画像出力部から出力される画像の表示に関する情報に基づき第１の表示領域を設定すると共に、他の機器から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための第２の表示領域を管理部で設定して第２の表示領域を示す情報を通信により他の機器に送信することを特徴とする画像出力装置である。

また、第１３の発明は、出力する画像の表示に関する情報に基づき、画像を画面に表示する際の第１の表示領域を設定する第１の設定のステップと、他の機器から送信された、他の機器から出力される画像の表示に関する情報を受信する受信のステップと、受信のステップにより受信された画像の表示に関する情報に基づき、画像を画面に表示する際の第２の表示領域を設定する第２の設定のステップと、第２の設定のステップにより設定された第２の表示領域を示す情報を他の機器に送信するステップとを有し、第１の表示領域と第２の表示領域とを、出力する画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定することを特徴とする画像出力方法である。

また、第１４の発明は、出力する画像の表示に関する情報に基づき、画像を画面に表示する際の第１の表示領域を設定する第１の設定のステップと、他の機器から送信された、他の機器から出力される画像の表示に関する情報を受信する受信のステップと、受信のステップにより受信された画像の表示に関する情報に基づき、画像を画面に表示する際の第２の表示領域を設定する第２の設定のステップと、第２の設定のステップにより設定された第２の表示領域を示す情報を他の機器に送信するステップとを有し、第１の表示領域と第２の表示領域とを、出力する画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定するようにした画像出力方法をコンピュータ装置に実行させることを特徴とする画像出力プログラムである。

また、第１５の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、データ通信を行う第１の通信部と、画像を出力する画像出力部と、第１の通信部および画像処理部を制御する第１の制御部とを有する画像出力装置と、第１の通信部と通信可能な第２の通信部と、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、管理部により管理される表示領域を示す情報に基づき画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、複数の画像処理部から出力された複数の画像を１の画像に合成する合成部と、少なくとも第２の通信部、管理部および画像処理部を制御する第２の制御部と、を有する表示制御装置とを備え、表示制御装置は、第２の制御部の制御により、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部により設定することを特徴とする表示制御システムである。

また、第１６の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、出力する画像の表示に関する情報を画像出力装置から送信する送信のステップと、送信のステップにより送信された画像の表示に関する情報に基づき画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないよう、表示制御装置で設定する表示領域設定のステップと、表示領域設定のステップで設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を、表示制御装置で施す画像処理のステップと、複数の画像出力装置から出力されそれぞれ画像処理のステップで画像処理された複数の画像を１の画像に合成して出力する合成のステップとを有することを特徴とする表示制御方法である。

また、第１７の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御装置であって、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、管理部により管理される表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、複数の画像処理部から出力された複数の画像を１の画像に合成する合成部と、画像出力装置との間で通信が可能な通信部と、少なくとも通信部、管理部および画像処理部を制御する制御部とを有し、制御部は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部により設定することを特徴とする表示制御装置である。

また、第１８の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法であって、画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、取得のステップにより取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、設定のステップにより設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理が施された複数の画像を１の画像に合成して出力するステップとを有することを特徴とする表示制御方法である。

また、第１９の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法をコンピュータ装置に実行させる表示制御プログラムであって、表示制御方法は、画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、取得のステップにより取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、設定のステップにより設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理が施された複数の画像を１の画像に合成して出力するステップとを有することを特徴とする表示制御プログラムである。

また、第２０の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、管理部により管理される表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、画像出力装置との間で通信が可能な通信部と、少なくとも通信部、管理部および画像処理部を制御する制御部と、複数の画像処理部から出力された複数の画像を１の画像に合成する合成部と、合成部で合成された１の画像を表示する表示部とを有し、制御部は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部により設定することを特徴とする表示装置である。

また、第２１の発明は、画像を出力する画像出力部と、画像出力部から出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき画像出力部から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置との間で通信を行う通信部と、通信部および画像処理部を制御する制御部とを有し、画像出力部から出力する画像の表示に関する情報を通信部により表示制御装置に送信することを特徴とする画像出力装置である。

また、第２２の発明は、画像を出力する画像出力のステップと、画像出力のステップにより出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき画像出力部から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、画像出力のステップにより出力する画像の表示に関する情報を送信するステップとを有することを特徴とする画像出力方法である。

また、第２３の発明は、画像を出力する画像出力のステップと、画像出力のステップにより出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき画像出力部から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、画像出力のステップにより出力する画像の表示に関する情報を送信するステップと、を有する画像出力方法をコンピュータ装置に実行させるようにしたことを特徴とする画像出力プログラムである。

また、第２４の発明は、画像を出力する画像出力部と、画像を出力する他の機器との間で通信を行う通信部と画像出力装置から出力される画像を画面に表示する際の第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、画像出力部から出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように管理する管理部と、管理部により管理される、第１および第２の表示領域を示す情報に基づき、画像出力装置から出力される画像と、他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、画像処理部から出力された複数の画像を１の画像に合成する合成部と、少なくとも画像出力部、通信部、管理部および画像処理部を制御する制御部とを有し、制御部は、画像出力部から出力される画像の表示に関する情報を取得すると共に、他の機器から出力される画像の表示に関する情報を通信により取得し、取得された情報に基づき第１および第２の表示領域を管理部により設定することを特徴とする画像出力装置である。

また、第２５の発明は、画像を出力する画像出力のステップと、画像を出力する他の機器との間で通信を行う通信のステップと、画像出力のステップにより出力される画像の表示に関する情報を取得する第１の取得のステップと、他の機器から出力される画像の表示に関する情報を通信のステップにより取得する第２の取得のステップと、画像出力のステップにより出力される画像を画面に表示する際の第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、第１および第２の取得のステップで取得された情報に基づき、画像出力のステップにより出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定する設定のステップと、設定のステップで設定された、第１および第２の表示領域を示す情報に基づき、画像出力のステップにより出力される画像と、他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理された複数の画像を１の画像に合成する合成のステップとを有することを特徴とする画像出力方法である。

また、第２６の発明は、画像を出力する画像出力のステップと、画像を出力する他の機器との間で通信を行う通信のステップと画像出力のステップにより出力される画像の表示に関する情報を取得する第１の取得のステップと、他の機器から出力される画像の表示に関する情報を通信のステップにより取得する第２の取得のステップと、画像出力のステップにより出力される画像を画面に表示する際の第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、第１および第２の取得のステップで取得された情報に基づき、画像出力のステップにより出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定する設定のステップと、設定のステップで設定された、第１および第２の表示領域を示す情報に基づき、画像出力のステップにより出力される画像と、他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理された複数の画像を１の画像に合成する合成のステップとを有する画像出力方法をコンピュータ装置に実行させるようにしたことを特徴とする画像出力プログラムである。

また、第２７の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御装置において、入力された画像を解析して部分画像を検出する部分画像抽出部と、部分画像抽出部で検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように管理する管理部と、部分画像抽出部で抽出された部分画像が管理部により管理される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、画像処理部から出力された複数の部分画像を１の画像に合成する合成部とを有することを特徴とする表示制御装置である。

また、第２８の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、入力された画像を解析して部分画像を検出する部分画像抽出のステップと、部分画像抽出のステップにより検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定する設定のステップと、部分画像抽出のステップで抽出された部分画像が設定のステップにより設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理された複数の部分画像を１の画像に合成する合成のステップとを有することを特徴とする表示制御方法である。

また、第２９の発明は、複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法をコンピュータ装置に実行させるようにした表示制御プログラムにおいて、表示制御方法は、入力された画像を解析して部分画像を検出する部分画像抽出のステップと、部分画像抽出のステップにより検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定する設定のステップと、部分画像抽出のステップで抽出された部分画像が設定のステップにより設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより画像処理された複数の部分画像を１の画像に合成する合成のステップとを有することを特徴とする表示制御プログラムである。

また、第３０の発明は、入力された画像を解析して部分画像を検出する部分画像抽出部と、部分画像抽出部で検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように管理する管理部と、部分画像抽出部で抽出された部分画像が管理部により管理される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、画像処理部から出力された複数の部分画像を１の画像に合成する合成部と、合成部から出力された１の画像を表示する表示部とを有することを特徴とする表示装置である。

また、第３１の発明は、画像を入力する１または複数の画像入力部と、画像を出力する画像出力部と、少なくとも画像入力部から入力された画像を解析して部分画像を検出する部分画像抽出部と、画像入力部から入力された画像に含まれる部分画像および／または画像出力部から出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の部分画像が互いに重ならないように管理する管理部と、部分画像が管理部により管理される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、画像処理部から出力された複数の部分画像を１の画像に合成する合成部とを有することを特徴とする画像出力装置である。

また、第３２の発明は、画像を出力する画像出力のステップと、少なくとも入力された画像を解析して部分画像を検出する部分画像抽出のステップと、入力画像に含まれる部分画像および／または画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の部分画像が互いに重ならないように設定する設定のステップと、部分画像が設定のステップにより設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより出力された複数の部分画像を１の画像に合成する合成のステップとを有することを特徴とする画像出力方法である。

また、第３３の発明は、画像を出力する画像出力のステップと、少なくとも入力された画像を解析して部分画像を検出する部分画像抽出のステップと、入力画像に含まれる部分画像および／または画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の部分画像が互いに重ならないように設定する設定のステップと、部分画像が設定のステップにより設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、画像処理のステップにより出力された複数の部分画像を１の画像に合成する合成のステップとを有する画像出力方法をコンピュータ装置に実行させるようにしたことを特徴とする画像出力プログラムである。

上述したように、第１および第２の発明は、画面の空き領域の管理による空き領域管理情報に基づき、空き領域に画像を配置するようにし、画像が配置された後の空き領域をさらに管理するようにしているため、複数の画像を、画面上に互いに重ならないように配置することができる。

また、第３および第４の発明は、出力する画像の表示に関する情報を画像出力装置から送信し、送信された画像の表示に関する情報に基づき、画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように、表示制御装置で設定し、設定された表示領域を示す情報を画像出力装置に送信し、送信された表示領域を示す情報に基づき、画像が表示領域に収まる得ように画像に対して画像が表示される領域を変更するような画像処理を、画像出力装置で施すようにされ、複数の画像出力装置により画像処理された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第５、第６および第７の発明は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定し、設定された表示領域を示す情報を通信により画像出力装置に送信するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第８の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、複数の画像出力装置から出力される画像を１の画像に合成して表示するようにされ、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部で設定して表示領域を示す情報を通信により画像出力装置に送信するようにしているため、複数の画像出力装置から出力された複数の画像を、画面上に互いに重ならないように配置して表示することができる。

また、第９、第１０および第１１の発明は、出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信し、送信された画像の表示に関する情報に基づき表示制御装置により設定され表示制御装置から送信された表示領域を示す情報を受信し、受信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第１２、第１３および第１４の発明は、出力する画像の表示に関する情報に基づき、画像を画面に表示する際の第１の表示領域を設定し、他の機器から送信された、他の機器から出力される画像の表示に関する情報を受信し、受信された画像の表示に関する情報に基づき、画像を画面に表示する際の第２の表示領域を設定し、第２の表示領域を示す情報を他の機器に送信し、第１の表示領域と第２の表示領域とを、出力する画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第１５および第１６の発明は、出力する画像の表示に関する情報を画像出力装置から送信する送信し、送信された画像の表示に関する情報に基づき画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないよう、表示制御装置で設定し、設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を、表示制御装置で施し、複数の画像出力装置から出力されそれぞれ画像処理された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第１７、第１８および第１９の発明は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定し、設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理が施された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第２０の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力し、複数の画像処理部から出力された複数の画像を１の画像に合成して表示するようにされ、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を設定するようにしているため、複数の画像出力装置から出力された複数の画像を、画面上に互いに重ならないように配置して表示することができる。

また、第２１、第２２および第２３の発明は、出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき画像出力部から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、出力する画像の表示に関する情報を送信するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第２４、第２５および第２６の発明は、出力される画像の表示に関する情報を取得し、他の機器から出力される画像の表示に関する情報を通信により取得し、出力される画像を画面に表示する際の第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、取得された情報に基づき、出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定し、設定された、第１および第２の表示領域を示す情報に基づき、出力される画像と、他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第２７、第２８および第２９の発明は、入力された画像を解析して部分画像を検出し、検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定し、抽出された部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

また、第３０の発明は、入力された画像を解析して部分画像を検出し、検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定し、抽出された部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成して表示するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置して表示することができる。

また、第３１、第３２および第３３の発明は、画像を出力するようにされ、少なくとも入力された画像を解析して部分画像を検出し、入力画像に含まれる部分画像および／または画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の部分画像が互いに重ならないように設定し、部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる。

上述したように、第１および第２の発明は、画面の空き領域の管理による空き領域管理情報に基づき、空き領域に画像を配置するようにし、画像が配置された後の空き領域をさらに管理するようにしているため、複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第３および第４の発明は、出力する画像の表示に関する情報を画像出力装置から送信し、送信された画像の表示に関する情報に基づき、画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように、表示制御装置で設定し、設定された表示領域を示す情報を画像出力装置に送信し、送信された表示領域を示す情報に基づき、画像が表示領域に収まる得ように画像に対して画像が表示される領域を変更するような画像処理を、画像出力装置で施すようにされ、複数の画像出力装置により画像処理された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第５、第６および第７の発明は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定し、設定された表示領域を示す情報を通信により画像出力装置に送信するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第８の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、複数の画像出力装置から出力される画像を１の画像に合成して表示するようにされ、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を管理部で設定して表示領域を示す情報を通信により画像出力装置に送信するようにしているため、複数の画像出力装置から出力された複数の画像を、画面上に互いに重ならないように配置して表示することができる効果がある。

また、第９、第１０および第１１の発明は、出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信し、送信された画像の表示に関する情報に基づき表示制御装置により設定され表示制御装置から送信された表示領域を示す情報を受信し、受信された表示領域を示す情報に基づき、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第１２、第１３および第１４の発明は、出力する画像の表示に関する情報に基づき、画像を画面に表示する際の第１の表示領域を設定し、他の機器から送信された、他の機器から出力される画像の表示に関する情報を受信し、受信された画像の表示に関する情報に基づき、画像を画面に表示する際の第２の表示領域を設定し、第２の表示領域を示す情報を他の機器に送信し、第１の表示領域と第２の表示領域とを、出力する画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第１５および第１６の発明は、出力する画像の表示に関する情報を画像出力装置から送信する送信し、送信された画像の表示に関する情報に基づき画像を表示するための表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないよう、表示制御装置で設定し、設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を、表示制御装置で施し、複数の画像出力装置から出力されそれぞれ画像処理された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第１７、第１８および第１９の発明は、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき、画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定し、設定された表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理が施された複数の画像を１の画像に合成して出力するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第２０の発明は、画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき、画像出力装置から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施して出力し、複数の画像処理部から出力された複数の画像を１の画像に合成して表示するようにされ、画像出力装置から出力される画像の表示に関する情報を通信により取得し、取得された画像の表示に関する情報に基づき画像を表示するための表示領域を設定するようにしているため、複数の画像出力装置から出力された複数の画像を、画面上に互いに重ならないように配置して表示することができる効果がある。

また、第２１、第２２および第２３の発明は、出力される画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、表示領域を示す情報に基づき画像出力部から出力される画像を、画像が表示領域に収まるように画像に対して画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、出力する画像の表示に関する情報を送信するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第２４、第２５および第２６の発明は、出力される画像の表示に関する情報を取得し、他の機器から出力される画像の表示に関する情報を通信により取得し、出力される画像を画面に表示する際の第１の表示領域と、他の機器から出力される画像を画面に表示する際の第２の表示領域とを、取得された情報に基づき、出力される画像と他の機器から出力される画像とが１画面内で互いに重ならないように設定し、設定された、第１および第２の表示領域を示す情報に基づき、出力される画像と、他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に画像が表示される領域を変更するような画像処理を施し、画像処理された複数の画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第２７、第２８および第２９の発明は、入力された画像を解析して部分画像を検出し、検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定し、抽出された部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

また、第３０の発明は、入力された画像を解析して部分画像を検出し、検出された部分画像に基づき、部分画像を画面に表示する際の表示領域を、複数の入力画像から抽出された複数の部分画像が互いに重ならないように設定し、抽出された部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成して表示するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置して表示することができる効果がある。

また、第３１、第３２および第３３の発明は、画像を出力するようにされ、少なくとも入力された画像を解析して部分画像を検出し、入力画像に含まれる部分画像および／または画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の部分画像が互いに重ならないように設定し、部分画像が設定される表示領域に収まるように、部分画像に対して部分画像が表示される領域を変更するような画像処理を施し、画像処理された複数の部分画像を１の画像に合成するようにしているため、複数の画像出力装置による複数の画像を、画面上に互いに重ならないように配置することができる効果がある。

以下、この発明の実施の形態について説明する。先ず、図１を用いて、この発明の概念について説明する。この発明は、複数の機器から出力された画像を合成して１の画面に表示させる際に、複数の画像のそれぞれにおいて表示させたい部分が互いに重ならないように配置させて表示させるための処理に関する。

なお、ここでいう画像は、静止画による静止画像と、動画による動画像とを含む。これは、以下の全ての記述において共通とする。

一例として、図１に例示されるように、機器１０から出力される画像１０Ａと、機器１１から出力される画像１１Ａとを合成して、１枚の画像として画面１４に対して表示させる場合について考える。ここで、画像１０Ａ内の部分画像１０Ｂおよび画像１１Ａ内の部分画像１１Ｂが、画像１０Ａおよび画像１１Ａを１枚の画像に合成した際にそれぞれ画面１４に表示させたい部分であるものとする。

この発明では、このような場合に、画面１４における空き領域を管理し、画像１０Ａに部分画像１０Ｂを表示した際の空き領域を示す情報に基づき、画像１０Ａと画像１１Ａとを１の画像に合成した際に、画像１１Ａにおける部分画像１１Ｂと画像１０Ａにおける部分画像１０Ｂとが互いに重ならないように、部分画像１１Ｂを適切に配置できるようにする。このとき、必要に応じて、画像１１Ａに対して、部分画像１１Ｂが画像１１Ａにおいて表示される領域を変更するような処理、例えば部分画像１１Ｂに対する拡大、縮小といったサイズ変更や、移動などの加工処理を施す。

こうして得られた画像１０Ａと画像１１Ａとを、例えばプレーン１２およびプレーン１３にそれぞれ出力してプレーン１２とプレーン１３とを合成することで、部分画像１０Ｂと部分画像１１Ｂとが互いに重ならないように配置された画面１４を得る。

画像１０Ａと画像１１Ａとを１の画像に合成した際に、さらに空き領域が存在するときは、この空き領域も継続的に管理される。したがって、さらに他の部分画像を、この空き領域に適切に配置して表示させることができる。また、画面の空き領域を管理し、その空き領域に部分画像を配置するようにしているため、部分画像が配置される位置を柔軟に決めることができる。すなわち、１の画像に合成された際の各部分画像の位置は、固定的である必要が無い。

空き領域の管理は、独立的な装置で行ってもよいし、機器から出力される画像が供給され、画像の表示を行う表示装置において行ってもよい。さらに、画像を出力する機器側で空き領域を管理することも考えられる。

ここで、図１において、画面１４に表示させる画像を出力する機器として、機器１０および機器１１が示されているが、この発明は、この例に限らず、さらに多数の機器から出力された画像について、表示させたい部分が互いに重ならないように、１の画面１４に表示させることができるようにするものである。また、上述では、機器１０および機器１１から出力された画像１０Ａおよび１１Ａを、プレーン１２およびプレーン１３にそれぞれ出力し、プレーン１２およびプレーン１３を合成することで１の画面１４を得ているが、これはこの例に限られない。すなわち、画像１０Ａおよび１１Ａを１のプレーン上で直接的に合成して、画面１４を得るようにできる。

画面１４における空き領域の管理方法や、部分画像１０Ｂおよび／または部分画像１１Ｂの加工制御に関しては、様々な手法が考えられる。実際的には、画面１４の表示領域を管理する管理部によって、機器１０および機器１１の出力画像を制御して、機器１０が表示すべき画像と機器１１が表示すべき画像とが画面１４において重ならないように配置することが考えられる。

例えば、画面１４の表示領域を管理する管理部と機器１０および機器１１との間で通信を行うことで、機器１０が表示すべき部分画像と機器１１が表示すべき部分画像とが画面１４において重ならないように制御することが考えられる。これを、第１の方式（調停方式と呼ぶ）とする。

また例えば、管理部と機器１０および機器１１との間で通信を行わず、管理部が機器１０および機器１１から出力された画像を解析し、機器１０が表示すべき部分画像と機器１１が表示すべき部分画像とが画面１４において重ならないように、機器１０および機器１１の出力画像を加工することが考えられる。これを、第２の方式（独立方式と呼ぶ）とする。

調停方式のより具体的な実現方法としては、例えば、管理部が機器１０および機器１１に対して座標情報を通知し、機器１０および機器１１は、通知された座標情報に基づき表示すべき部分画像が互いに重ならないように予め加工された画像１０Ａおよび画像１１Ａを作成することが考えられる。これを、第１の調停方式と呼ぶ。

また例えば、管理部が機器１０および機器１１に対して表示領域を示す情報を通知し、機器１０および機器１１は、通知された表示領域に相応しい画像１０Ａ_orgおよび画像１１Ａ_orgを出力し、表示すべき部分画像が互いに重ならないように、管理部が画像１０Ａ_orgおよび画像１１Ａ_orgを加工することが考えられる。これを、第２の調停方式と呼ぶ。

以下、この発明の実施の形態について、下記の項目に従い説明する。
１．この発明の実施の第１の形態（第１の調停方式）について
１−１−１．実施の第１の形態によるシステム構成
１−１−２．実施の第１の形態による動作について
１−１−３．実施の第１の形態による画像加工および合成処理の例について
１−１−４．実施の第１の形態によるウィンドウ制御方法について
１−１−５．実施の第１の形態によるカーソル制御について
１−１−６．テンプレートパターンについて
１−２．この発明の実施の第１の形態の第１の変形例について
１−２−１．実施の第１の形態の第１の変形例によるシステム構成について
１−２−２．実施の第１の形態の第１の変形例による動作について
１−３．この発明の実施の第１の形態の第２の変形例について
１−３−１．実施の第１の形態の第２の変形例によるシステム構成について
１−３−２．実施の第１の形態の第２の変形例による動作について
２．この発明の実施の第２の形態（第２の調停方式）について
２−１−１．実施の第２の形態によるシステム構成
２−１−２．実施の第２の形態による動作について
２−１−３．実施の第２の形態による画像加工および合成処理の例について
２−１−４．実施の第２の形態によるウィンドウ制御について
２−１−５．実施の第２の形態によるカーソル制御について
２−２．この発明の実施の第２の形態の変形例について
２−２−１．実施の第２の形態の変形例によるシステム構成について
２−２−２．実施の第２の形態の変形例による動作について
３．この発明の実施の第３の形態（独立方式）について
３−１−１．実施の第３の形態によるシステム構成
３−１−２．実施の第３の形態による動作について
３−１−３．画像解析の例について
３−１−４．実施の第３の形態による画像加工および合成処理の例について
３−１−５．実施の第３の形態によるウィンドウ制御について
３−１−６．実施の第３の形態によるカーソル制御について
３−２．この発明の実施の第３の形態の変形例について
３−２−１．実施の第３の形態の変形例によるシステム構成について
３−２−２．実施の第３の形態による動作について
４．この発明の応用例

１．この発明の実施の第１の形態（第１の調停方式）について
１−１−１．実施の第１の形態によるシステム構成
図２は、この発明の実施の第１の形態によるシステムの一例の構成を概略的に示す。なお、図２において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。

このシステムにおいては、画面１４の表示領域を管理する座標情報管理部１６が設けられる。座標情報管理部１６は、画面１４の空き領域を管理する機能を有し、画面１４に対して画像の表示を行う機器のそれぞれ（機器１０および機器１１とする）と通信する通信手段を用いて座標情報管理部１６と機器１０および機器１１との間で通信を行うことにより、機器１０および機器１１が画面１４内で表示を行う表示領域を決める。表示領域を示す情報は、当該通信手段を用いて座標情報管理部１６から機器１０および機器１１に対してそれぞれ送信される。

機器１０および機器１１は、座標情報管理部１６から送信された、表示領域を示す情報に基づき、画面１４に表示するための画像１０Ａおよび画像１１Ａを、表示すべき部分画像が互いに重ならないように予め配置して生成し、出力する。機器１０および機器１１から出力された画像１０Ａおよび画像１１Ａは、合成部１５で合成され、画面１４が形成される。

合成部１５や座標情報管理部１６は、例えば画面１４を表示するための表示装置に内蔵される。合成部１５や座標情報管理部１６を、それぞれ独立した装置として構成することも可能である。合成部１５および座標情報管理部１６とで１の装置を構成することもできる。

図３は、機器１０（または機器１１）の一例の構成を概略的に示す。機器１０は、ＣＰＵ(Central Processing Unit)２０と、座標情報管理部１６と通信を行うための通信Ｉ／Ｆ（インターフェイス）２３と、所定に画像を生成して出力する画像生成部２４と、画像生成部２４から出力された画像に対して加工処理などを行う画像処理部２５とを有する。

ＣＰＵ２０に対して、ＲＯＭ(Read Only Memory)２１、ＲＡＭ(Random Access Memory)２２および通信Ｉ／Ｆ２３が接続される。ＣＰＵ２０は、ＲＯＭ２１に予め記憶されたプログラムやデータに基づき、ＲＡＭ２２をワークメモリとして用いて、通信Ｉ／Ｆ２３による通信の制御や、画像生成部２４および画像処理部２５の制御を行う。通信Ｉ／Ｆ２３は、所定の通信プロトコルに従い後述する座標情報管理部１６と通信を行うことができる。

画像生成部２４は、ＣＰＵ２０の制御に基づき画像を生成し出力する。例えば、画像生成部２４は、ＤＶＤ(Digital Versatile Disc)、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）などのディスク状記録媒体を再生可能なドライブ装置を有し、ＣＰＵ２０の制御に基づき、記録媒体に記録された画像データをドライブ装置により再生して出力する。ディスク状記録媒体は、これらの装置から着脱可能なものに限らず、例えば機器１０に内蔵されたハードディスクでもよい。さらに、記録媒体は、ディスク状記録媒体に限られず、例えば半導体メモリや磁気テープでもよい。

また例えば、画像生成部２４は、ディジタルテレビジョン放送を受信可能なチューナを有し、ＣＰＵ２０の制御に基づき、チューナにより受信された放送電波に基づく画像データを出力するようにすることもできる。さらに例えば、画像生成部２４は、所定のプログラムに基づきＣＧ(Computer Graphics)を描画して出力するようなものでも良い。この場合、画像生成部２４は、別途ＣＰＵや記憶部を有し、記憶部に記憶されたプログラムやデータに基づきＣＧを描画し出力するようにできるし、ＣＧの描画機能をＣＰＵ２０で賄うことも可能である。画像生成部２４は、これらの例に限られず、他の方法で画像データを出力するようなものであっても良い。

画像処理部２５は、例えば少なくとも１フレーム分の画像データを記憶可能なメモリ２６を有し、ＣＰＵ２０の制御に基づき、メモリ２６を用いて、画像生成部２４から供給された画像データに対して加工処理を施すことができる。詳細は後述するが、画像処理部２５は、画像データの一部に対して選択的に、拡大、縮小といったサイズ変更、移動などの処理を施すことができる。画像処理部２５から出力された画像データは、出力端２７から出力される。

これに限らず、ＣＰＵ２０に制御に基づき、画像生成部２４が、表示すべき部分画像が予め所定サイズ、所定位置となるように、出力画像を生成するようにしてもよい。この場合には、画像処理部２５を省略することができる。

なお、機器１０（または機器１１）は、画像生成部２４で生成された画像に基づきＧＵＩ(Graphical User Interface)を構成することができる。例えば、ＣＰＵ２０は、通信Ｉ／Ｆ２３を介してなされた通信や、図示されない操作部（リモートコントロールコマンダを用いたものを含む）に対する操作に応じて、画像生成部２４で生成されるＧＵＩ画面の表示制御を行うと共に、機器１０（または機器１１）全体の動作を制御する。

より具体的な例としては、機器１０（または機器１１）から出力される画像において、機器１０（または機器１１）における動作を示す複数のアイコン画像が所定に表示され、ＧＵＩが構成される。ユーザは、ＧＵＩに基づき例えばリモートコントロールコマンダのキーを所定に操作し、目的の動作を示すアイコン画像を選択する。アイコン画像は、選択状態と非選択状態との区別が容易につくように、それぞれの状態に応じて異ならされたデザインの画像が用意される。アイコン画像が選択された状態で例えば決定キーを操作すると、当該アイコン画像に対応する動作がなされるように、ＣＰＵ２０により機器の各部が制御される。

図４は、座標情報管理部１６の一例の構成を概略的に示す。座標情報管理部１６は、ＣＰＵ３０、ＲＯＭ３１およびＲＡＭ３２と、２以上の通信Ｉ／Ｆ３３Ａ、３３Ｂ、・・・とを有する。ＣＰＵ３０は、ＲＯＭ３１に予め記憶されたプログラムやデータに基づき、ＲＡＭ３２をワークメモリとして用いて動作し、画面１４における座標情報を管理する。

通信Ｉ／Ｆ３３Ａ、３３Ｂ、・・・は、機器１０、１１、・・・がそれぞれ有する通信Ｉ／Ｆ２３の通信プロトコルに対応し、ＣＰＵ３０の制御に基づき機器１０、１１、・・・とデータ通信を行うことができる。

座標情報管理部１６と機器１０、機器１１との間で通信を行うための通信Ｉ／Ｆは、様々に考えられる。例えば、ＩＥＥＥ(Institute Electrical and Electronics Engineers)１３９４に準じた通信Ｉ／Ｆを用いることが考えられる。また、ＨＤ(High Definition)による映像データの伝送に対応した通信規格であるＨＤＭＩ(High-Definition Multimedia Interface)のデータ通信機能を用いることも考えられる。座標情報管理部１６が表示装置に内蔵されている場合には、機器１０、機器１１、・・・と表示装置とをＨＤＭＩ規格のケーブル（以下、ＨＤＭＩケーブル）で接続するだけで、この実施の一形態による機能を利用できるので、便利である。これらに限らず、ＵＰｎＰ(Universal Plug and Play)や、ＤＬＮＡ(Digital Living Network Alliance)に基づく通信Ｉ／Ｆを用いることもできる。この場合には、無線通信が利用可能である。さらに、従来から用いられるＲＳ２３２Ｃといったシリアル通信Ｉ／Ｆや、独自に規定された通信Ｉ／Ｆを用いてもよい。ＵＳＢ(Universal Serial Bus)を利用することもできる。

なお、座標情報管理部１６と機器１０、機器１１、・・・との間で通信を行う通信Ｉ／Ｆの種類は、機器１０、機器１１、・・・の全てについて同一である必要はなく、異なる通信Ｉ／Ｆを混在させる構成とすることも可能である。

さらに、座標情報管理部１６に対してリモートコントロールコマンダ３５を用いて制御信号を送信し、座標情報管理部１６を遠隔的に操作することができる。この図４の例では、リモートコントロールコマンダ３５が操作に応じた制御信号を赤外線信号に変換して送信するタイプのものとされ、座標情報管理部１６に、赤外線信号を受信して電気信号に変換する、ＩＲ Ｉ／Ｆ３４が設けられる。ＩＲ Ｉ／Ｆ３４は、対応するリモートコントロールコマンダ３５からの赤外線信号を受信し、所定に電気信号に変換してＣＰＵ３０に供給する。

リモートコントロールコマンダ３５による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

座標情報管理部１６が画面１４を表示するための表示装置に内蔵される場合には、画面１４の表示領域を示す情報（例えば解像度情報）がＲＯＭ３１に予め記憶される。また、座標情報管理部１６が独立した装置として構成される場合には、例えば座標情報管理部１６は、画面１４の表示を行う表示装置と図示されない通信手段により通信を行って画面１４の解像度情報を取得し、図示されない不揮発性メモリに記憶させる。ＲＯＭ３１を書き換え可能なタイプのＲＯＭとして、画面１４の解像度情報をＲＯＭ３１に記憶させてもよい。勿論、座標情報管理部１６にユーザ操作を受け付ける操作部を設け、画面１４の解像度情報を操作部に対する操作により設定してもよい。

１−１−２．実施の第１の形態による動作について
この発明の実施の第１の形態による一例の動作について、上述した図２を参照すると共に、図５を用いて説明する。座標情報管理部１６は、機器１０および機器１１の接続が検知されると、例えば所定のプロトコルに従った識別処理などにより、接続された機器１０および機器１１の識別を行う。その後、機器１０および機器１１から座標情報管理部１６に対して、画像の表示を希望する座標を示す情報である表示希望座標情報を送信する。

例えば、機器１０が複数のウィンドウまたはオブジェクトを用い、ウィンドウまたはオブジェクト毎に異なる内容を表示するように表示制御を行うような場合に、機器１０は、所定のウィンドウまたはオブジェクトを画面１４に表示する部分画像として選択し、当該所定のウィンドウまたはオブジェクトのサイズおよび位置を示す座標情報を、表示希望座標情報として機器１０から座標情報管理部１６に対して送信する。なお、以下では、「ウィンドウまたはオブジェクト」を、「ウィンドウ」として統一的に表記する。

座標情報管理部１６は、機器１０および機器１１から受け取った表示希望座標情報に基づき、機器１０から出力される画像を画面１４に表示する際の表示領域１７Ａと、機器１１から出力される画像を画面１４に表示する際の表示領域１７Ｂとを決める。一例として、先ず、機器１０および機器１１の何方か一方、例えば機器１０から受け取った表示希望座標情報に基づき、機器１０に対応する表示領域１７Ａを決め、画面１４全体の表示領域から表示領域１７Ａを取り除いた空き領域に基づき、機器１１に対応する表示領域１７Ｂを決めることが考えられる。これは、以下の各実施形態および各実施形態の変形例についても、同様に考えることができる。なお、画面１４全体の表示領域に対して複数、例えば２の表示領域１７Ａおよび１７Ｂを設定する場合において、画面１４全体の表示領域にさらに空き領域が存在してもよい。表示領域１７Ａを示す座標情報１８Ａが機器１０に送信され、表示領域１７Ｂを示す座標情報１８Ｂが機器１１に送信される。

機器１０または機器１１では、座標情報管理部１６から送信された座標情報１８Ａまたは座標情報１８Ｂに基づき、出力画像の加工を行う。例えば、機器１０が出力する画像１０Ａ_orgにおいて、画面１４に表示すべき部分は、部分画像１０Ｂ_orgであるものとする。また、機器１１が出力する画像１１Ａ_orgにおいて、画面１４に表示すべき部分は、部分画像１１Ｂ_orgであるものとする。

機器１０は、座標情報管理部１６から送信された座標情報１８Ａに基づき、部分画像１０Ｂ_orgが表示領域１７Ａ内に表示されるように、部分画像１０Ｂ_orgに対して拡大、縮小といったサイズ変更、移動などの加工を施す。部分画像１０Ｂ_orgを加工した部分画像１０Ｂが含まれる画像１０Ａが機器１０から出力される。機器１１においても同様に、座標情報管理部１６から送信された座標情報１８Ｂに基づき、部分画像１１Ｂ_orgが表示領域１７Ｂ内に表示されるように、部分画像１１Ｂ_orgに対して加工を施し、加工された部分画像１１Ｂを含む画像１１Ａを得る。

１−１−３．実施の第１の形態による画像加工および合成処理の例について
画像の加工処理の例について説明する。機器１０は、例えば電子ゲーム機器であって、図６Ａに一例が示されるように、複数のウィンドウを用いてゲーム画面を表示するものとする。機器１０の出力画像１０Ａ_orgの解像度は、１９２０画素×１０８０ラインとし、図中に斜線で示されるウィンドウ（１２８０画素×７２０ライン）が画面１４に表示させたい部分画像１０Ｂ_orgであるものとする。一方、機器１１は、例えばＨＤ(High Definition)画像に対応したディジタルテレビジョン放送を受信可能なチューナであって、出力画像１１Ａ_orgの解像度が１９２０画素×１０８０ラインとされ、この全体が画面１４に表示させたい部分画像１１Ｂ_orgであるものとする。

機器１０から座標情報管理部１６に対して、出力画像１０Ａ_orgの解像度情報が送信されると共に、部分画像１０Ｂ_orgの座標情報(640,0)-(1920,720)が表示希望座標情報として送信される。同様に、機器１１から座標情報管理部１６に対して、出力画像１１Ａ_orgの解像度情報が送信されると共に、部分画像１１Ｂ_orgの座標情報(0,0)-(1920,1080)が表示希望座標情報として送信される。

座標情報管理部１６は、機器１０および機器１１から送信された出力画像の解像度情報と、表示希望座標情報とに基づき、画面１４に対して機器１０の部分画像１０Ｂ_orgを表示する表示領域１７Ａと、機器１１の部分画像１１Ｂ_orgを表示する表示領域１７Ｂとを求める。この図６Ｃの例では、表示領域１７Ａおよび表示領域１７Ｂは、それぞれ９６０画素×１０８０ラインと、等しい画枠サイズとされている。表示領域１７Ａおよび表示領域１７Ｂそれぞれの大きさおよび位置の求め方は、これに限らず様々に考えられる。

座標情報管理部１６は、例えば、機器１０および機器１１から送信される表示希望座標情報により示される画枠サイズに基づき、表示領域１７Ａおよび表示領域１７Ｂそれぞれの大きさおよび位置を求めることが考えられる。また例えば、座標情報管理部１６は、機器１０および機器１１の種類に基づき、これらを求めることが考えられる。この場合、機器１０および機器１１の種類は、例えば座標情報管理部１６により機器１０および機器１１が識別される際の情報に基づき求めることが考えられる。これに限らず、機器１０や機器１１が接続される端子により、機器１０および機器１１の種類を決定してもよい。

さらにまた、座標情報管理部１６は、例えば、表示領域１７Ａおよび表示領域１７Ｂを所定のテンプレートやテーブルを用いて決めることも可能である。一例として、座標情報管理部１６は、ＲＯＭ３１に予めテンプレートやテーブルを記憶しておき、機器１０や機器１１の種類や、機器１０および機器１１から送信された表示希望座標情報などに基づきテンプレートやテーブルを参照して表示領域１７Ａや表示領域１７Ｂを決めることが考えられる。なお、表示領域をテンプレートを用いて設定する例については、後述する。

座標情報管理部１６から、表示領域１７Ａを示す座標情報が機器１０に対して送信される。同様にして、座標情報管理部１６から、表示領域１７Ｂを示す座標情報が機器１１に対して送信される。機器１０および機器１１のそれぞれは、座標情報管理部１６から送信された表示領域を示す座標情報に基づき画像を加工して出力する。

機器１０のような、画像全体に対して一部分のみを画面１４に表示させる場合の一例の画像加工について、図７を用いて説明する。図７Ａに例示されるように、複数のウィンドウから構成される機器１０の画像１０Ａ_orgにおいて、右上隅の部分画像１０Ｂ_org（斜線を付して示す）が画面１４に表示する画像であるとする。この図７の例では、画像１０Ａ_orgは、画枠サイズが１９２０画素×１０８０ラインであって、部分画像１０Ｂ_orgは、画枠の範囲が座標(640,0)-(1920,720)であるものとする。

先ず、機器１０は、座標(640,0)-(1920,720)以外の部分（非表示部分と呼ぶ）の画素を所定の属性を持つ画素に変換する（図７Ｂ）。例えば、非表示部分の画素を、不透明度α＝０、すなわち他の画素と合成した際に他の画素の情報がそのまま表示される属性を持つ画素に変換することが考えられる。これに限らず、非表示部分の画素を、特定の色および輝度情報を持つ画素に変換することも考えられる。次に、機器１０は、表示領域１７Ａの座標情報に基づき部分画像１０Ｂ_orgを表示領域１７Ａ側に移動させると共に（図７Ｃ）、移動された部分画像１０Ｂ_org’に対して縮小処理を施して部分画像１０Ｂを得て（図７Ｄ）、部分画像１０Ｂを含む画像１０Ａが得られる。この画像１０Ａが最終的に機器１０から出力される。

機器１１のような、出力画像全体を画面１４に表示させる場合の一例の画像加工について、図８を用いて説明する。この図８の例では、機器１１の本来の出力画像１１Ａ_orgは、画枠サイズが１９２０画素×１０８０ラインとされている（図８Ａ）。機器１１は、表示領域１７Ｂの座標情報に基づき、画像１１Ａ_orgに対して縮小処理を施し部分画像１１Ｂ（図８Ｂに斜線を付して示す）を得る。また、機器１１は、部分画像１１Ｂ以外の非表示部分の画素を、上述と同様に所定の属性を持つ画素に変換して、部分画像１１Ｂを含む画像１１Ａが得られる。この画像１１Ａが最終的に機器１１から出力される。

なお、上述の処理は、この実施の第１の形態を実現可能とするための一例であって、この例に限定されるものではない。例えば非表示部分の画素処理や、部分画像の移動処理、縮小処理の順序は、この順に限られない。また、機器１０や機器１１において、部分画像をメモリなどにコピーして処理することも考えられる。また、非表示部分の画素処理を機器１０や機器１１で行わず、後の合成部１５において行うようにしてもよい。

また、上述では、機器１０による部分画像１０Ｂや機器１１による部分画像１１Ｂが、それぞれ表示領域１７Ａや表示領域１７Ｂと画枠が一致するように画像加工されているが（上述の例では、水平サイズが一致させられている）、これはこの例に限定されない。部分画像の画枠サイズを座標情報管理部１６により送信された表示領域よりも小さく画像加工したり、部分画像に対して枠画像などを加えるように画像加工することも考えられる。

機器１０から出力された画像１０Ａと機器１１から出力された画像１１Ａとが合成部１５で合成され、画面１４が形成される。合成部１５における複数の画像の合成方法としては、下記の２通りが考えられる。
（１）複数の画像をそれぞれ異なるプレーンに出力し、プレーンを合成する方法。
（２）複数の画像を１のプレーン上で合成する方法。
なお、ここでいうプレーンは、例えばＶＲＡＭ(Video RAM)からなり、ＶＲＡＭの記憶内容が表示部の表示に直接的に反映される。

先ず、合成部１５が複数のプレーンを用いて画像を合成する例について、図９を用いて説明する。ここでは、画像１０Ａおよび画像１１Ａに対し、非表示部分の画素に不透明度α₁および不透明度α₂の属性をそれぞれ持たせた場合について考える。なお、０≦α≦１であって、この図９の例では、不透明度α₁＝α₂＝０とする。機器１０および機器１１から出力された画像１０Ａおよび画像１１Ａは、合成部１５に供給され、プレーン１２およびプレーン１３にそれぞれ書き込まれる。

プレーン１２に書き込まれた画像の非表示部分の画素に対して不透明度α₁が乗ぜられ、加算器に供給される。同様に、プレーン１３に書き込まれた画像の非表示部分の画素に対して不透明度α₂が乗ぜられ、加算器に供給される。加算器で、供給された画像を画素毎に加算することで、画面１４において互いに重ならないように設定された表示領域１７Ａおよび表示領域１７Ｂに対し、機器１０による部分画像１０Ｂと、機器１１による部分画像１１Ｂとがそれぞれ表示される。

次に、合成部１５が１のプレーンを用いて画像を合成する例について、図１０を用いて説明する。この場合にも、上述と同様に、画像１０Ａおよび画像１１Ａに対し、非表示部分の画素に不透明度α₁および不透明度α₂の属性をそれぞれ持たせているものとする。機器１０から出力され合成部１５に供給された画像１０Ａの非表示部分の画素に対して不透明度α₁が乗ぜられ、加算器に供給される。同様に、機器１１から出力され合成部１５に供給された画像１１Ａの非表示部分の画素に対して不透明度α₂が乗ぜられ、加算器に供給される。加算器は、例えば、不透明度α₁または不透明度α₂の値が０以外の画素を図示されないプレーンに書き込んでいく。これにより、画面１４において互いに重ならないように設定された表示領域１７Ａおよび表示領域１７Ｂに対し、機器１０による部分画像１０Ｂと、機器１１による部分画像１１Ｂとがそれぞれ表示される。

１−１−４．実施の第１の形態によるウィンドウ制御方法について
上述のように、機器１０が複数ウィンドウにより表示制御を行うような場合において、機器１０の表示領域として座標情報管理部１６から機器１０に対して送信された表示領域１７Ａに対して、機器１０が複数のウィンドウを表示させたい場合を考える。このとき、表示領域１７Ａの画枠サイズや形状によっては、機器１０において当該複数のウィンドウが表示されている形態とは異なる形態で、表示領域１７Ａに対して当該複数のウィンドウを表示した方が好ましい場合が有り得る。

以下、図１１を用いて、１の表示領域に対して複数のウィンドウを表示する場合の一例のウィンドウ制御方法について説明する。なお、図１１および以下の同様の図において、上述した図１と共通する部分には同一の符号を付し、詳細な説明を省略する。画面１４に対して、機器１０の出力画像を表示する表示領域１７Ａと、機器１１の出力画像を表示する表示領域１７Ｂとが、座標情報管理部１６により、図１１に例示されるように予め設定されているものとする。

なお、図１１の例では、画像１０Ａに含まれる、画面１４に表示させる部分画像１０Ｂは、機器１０において、座標情報管理部１６から送信された表示領域１７Ａの情報に基づき、上述したようにして拡大縮小といったサイズ変更や移動などの加工処理を施されているものとする。

図１１に一例が示されるように、機器１０から出力される画像１０Ａと、機器１１から出力される画像１１Ａとを合成して画面１４に対して表示させることを考える。このとき、画像１１Ａは、複数のウィンドウ画像１１Ｂおよび１１Ｃを含み、座標情報管理部１６は、これらウィンドウ画像１１Ｂおよび１１Ｃと、画像１０Ａに含まれる部分画像１０Ｂとが互いに重ならないように画面１４に配置されるように、画面１４の空き領域を管理する。

例えば、画像１０Ａと画像１１Ａとを合成した際に、画像１０Ａに含まれる部分画像１０Ｂと、画像１１Ａに含まれるウィンドウ画像１１Ｂおよび１１Ｃとが互いに重ならないように、画像１１Ａにおいてウィンドウ画像１１Ｂおよび１１Ｃを所定に移動させ配置を並べ替えて画像１１Ａ’とする。この実施の第１の形態では、このウィンドウ画像１１Ｂおよび１１Ｃの並べ替えは、座標情報管理部１６から送信される表示領域１７Ｂを示す情報に基づき、機器１１において行われる。また、機器１１は、ウィンドウ画像１１Ｂおよび１１Ｃの並べ替えの際に、必要に応じてウィンドウ画像１１Ｂやウィンドウ画像１１Ｃに対して、拡大縮小といったサイズ変更などの画像加工を施すことができる。

複数のウィンドウ画像を表示制御し、並べ替えなどを行う方法として、ウィンドウ毎に優先順位を付与することが考えられる。ウィンドウ毎の優先順位は、ウィンドウ画像を出力する機器１１側で付与される。

図１２を用いて、ウィンドウ毎に優先順位を付与した場合の一例の表示制御について説明する。なお、図１２に例示されるように、画面１４に対し、機器１０の出力画像を表示する表示領域１７Ａと、機器１１の出力画像を表示する表示領域１７Ｂとが座標情報管理部１６により設定される。このように、座標情報管理部１６が画面１４に対して設定する各機器の画像を表示するための表示領域の形状は、矩形に限定されず、任意の形状とすることができる。画像１０Ａに含まれる、画面１４に表示させる部分画像１０Ｂおよび１０Ｃは、機器１０において予め所定に加工や移動処理を施されているものとする。

図１２に一例が示されるように、機器１０から出力される画像１０Ａと、機器１１から出力される画像１１Ａとを合成して画面１４に対して表示させることを考える。このとき、機器１０は、画像１０Ａに含まれる複数の部分画像１０Ｂおよび１０Ｃを画面１４に表示させる。機器１１は、画像１１Ａに複数のウィンドウ画像１１Ｂおよび１１Ｃを含み、これらウィンドウ画像１１Ｂおよび１１Ｃを画面１４に表示させたいものとする。

機器１１において、ウィンドウ画像１１Ｂおよび１１Ｃに対して、それぞれ優先順位を付与する。この図１２の例では、ウィンドウ画像１１Ｂがウィンドウ画像１１Ｃよりも高い優先順位が付与されている。一方、座標情報管理部１６により画面１４に対して機器１１の画像を表示するように設定された表示領域１７Ｂは、ウィンドウ画像１１Ｂおよび１１Ｃのうち何れか一方のみが表示可能であって、ウィンドウ画像１１Ｂおよび１１Ｃの両方を互いに重ならずに同時に表示できない程度の画枠サイズであるものとする。

このような場合、機器１１から出力される画像１１Ａに含まれるウィンドウ画像１１Ｂおよび１１Ｃのうち、優先度がより高く設定されたウィンドウ画像１１Ｂのみを画面１４に表示させ、ウィンドウ画像１１Ｂよりも優先度がより低く設定されたウィンドウ画像１１Ｃは、画面１４に表示させないように制御することが考えられる。すなわち、図１２の中央部分に一例が示されるように、機器１１は、画像１１Ａにおいてウィンドウ画像１１Ｃを消去してウィンドウ画像１１Ｂだけを表示させるようにし、当該ウィンドウ画像１１Ｂを、画面１４において機器１１の画像を表示させるように設定された表示領域１７Ｂに収まる位置まで移動させるように、表示制御を行う。

こうしてウィンドウ画像１１Ｂを移動させたウィンドウ画像１１Ｂ’を含む画像１１Ａと、画像１０Ａとを図示されない合成部１５で合成する。これにより、図１２の左側に例示されるような、機器１０から出力された画像１０Ａに含まれる部分画像１０Ｂおよび１０Ｃと、機器１１から出力された画像１１に含まれるウィンドウ画像１１Ｂ’とが互いに重ならないように配置された画面１４を得る。

次に、画面１４に表示された画像（コンテンツ）の構成に変化が生じた際の処理について説明する。例えば、画面１４に対して画像を表示している複数の機器のうち、電源切断などにより画像出力を停止した機器があった場合、当該機器による画像は、当然、画面１４から消滅する。また例えば、機器が複数のウィンドウ画像を画面１４に対して表示している場合に、当該機器においてユーザ操作などに応じてコンテンツの変更やウィンドウ構成の変更などが行われた場合、ウィンドウ画像の消滅、ウィンドウ画像の位置変更や拡大縮小といったサイズ変更などが行われる。

このように、画面１４に表示されるウィンドウ構成やコンテンツに変更が生じた場合、変更後のウィンドウ画像の配置を、変更後の画面１４における表示を考慮して決めるようにすると好ましい。すなわち、画面１４に対して画像を出力する機器においてウィンドウ構成に変更が生じた結果、画面１４に表示されているウィンドウ画像が大きく移動すると、ユーザは、ウィンドウ同士の関係や、注目していたウィンドウがどのウィンドウであったかを把握するのが困難になる可能性がある。そこで、機器からの出力画像におけるウィンドウ構成やコンテンツに変更があっても、実際に画面１４に表示される画面構成が大きく変化しないように、表示制御を行う。

図１３〜図１６を用いて、より具体的に説明する。図１３に一例が示されるように、機器１０から出力画像１０Ａと、機器１１から出力される出力画像１１Ａとを合成して画面１４に表示させることを考える。なお、画面１４に対して、機器１０の出力画像を表示する表示領域１７Ａと、機器１１の出力画像を表示する表示領域１７Ｂとが、座標情報管理部１６により、図１３の左側に例示されるように予め設定されているものとする。すなわち、この図１３の例では、表示領域１７Ａは、画面１４の全領域を略４分割した左上の領域とされ、残りの逆Ｌ字型の領域が表示領域１７Ｂとされている。

なお、図１３の例では、画像１０Ａに含まれる、画面１４に表示させる部分画像１０Ｂは、機器１０において、座標情報管理部１６から送信された表示領域１７Ａの情報に基づき所定の拡大縮小といったサイズ変更や移動などの加工処理を施されているものとする。

図１３に一例が示されるように、機器１０から出力される画像１０Ａと、機器１１から出力される画像１１Ａとを合成した画面１４に対して表示させることを考える。このとき、機器１１は、それぞれ優先順位が付与された複数のウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅを画像１１Ａとして出力することができる。図１３の例では、ウィンドウ画像１１Ｂおよび１１Ｅにより高い優先順位が付与され、ウィンドウ画像１１Ｃおよび１１Ｄに、ウィンドウ画像１１Ｂおよび１１Ｅより低い優先順位が付与されているものとする。

座標情報管理部１６は、画像１１Ａに含まれるこれら各ウィンドウ画像と、画像１０Ａに含まれる部分画像１０Ｂとが互いに重ならないで画面１４に配置されるように、画面１４の空き領域を管理する。このとき、画面１４における、機器１１の出力画像１１Ａを表示するための表示領域１７Ｂは、画面１４に対して左上側の領域が欠けているため、出力画像１１Ａに本来含まれる４つのウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち１つは、画面１４に対して表示できないことになる。機器１１は、座標情報管理部１６から送信される表示領域１７Ｂの情報に基づき、例えば表示領域１７Ｂ外、すなわち表示領域１７Ａに対応する位置のウィンドウ画像１１Ｄを表示しないように制御する。

このようにして機器１０および機器１１から出力される画像１０Ａおよび１１Ａを、図示されない合成部１５で合成する。これにより、図１３の左側に示されるように、画面１４の表示領域１７Ａに対して機器１０から出力される部分画像１０Ｂが表示され、表示領域１７Ｂに対して機器１１から出力されるウィンドウ画像１１Ｂ、１１Ｃおよび１１Ｅが表示された画面１４が得られる。

機器１１において、ウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち１つが消去された場合について考える。画面１４に対し、画面１４内の位置に応じた優先度が例えば座標情報管理部１６により定義されるものとする。この画面１４内の一時応じた優先度の情報は、座標情報管理部１６から機器１０および機器１１に対して送信される。例えば、図１４Ａに一例が示されるように、上下方向では、画面１４の上側が下側より優先度が高く、左右方向では、画面１４の左側が右側より優先度が高く定義される。勿論、この定義はこの例に限定されない。また、この１画面内における優先度の定義は、この実施の第１の形態に限らず、後述する他の実施の形態にも共通するものである。

この定義によれば、例えば画面１４に表示すべき画像が１つしかない場合には、画面１４の左上側から配置されることを意味する。また、画面１４の左下、右上および右下の各領域からなる表示領域１７Ｂにおいては、表示すべき画像が画面１４の左下領域、右上領域、右下領域の順に表示されることを意味する。

一方、図１４Ｂに一例が示されるように、機器１１の出力画像１１Ａにおいて、ウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅに対して、ウィンドウ画像１１Ｅが最も高い優先順位とされ、次いでウィンドウ画像１１Ｂが優先順位が高く、以下、ウィンドウ画像１１Ｃ、ウィンドウ画像１１Ｄの順に優先順位が低くなるように、それぞれ優先順位が付与されている。各ウィンドウ画像に付与された優先順位は、図１４Ｂにおいては記号（＃１〜＃４）によって示されている。記号＃１が付与されたウィンドウ画像が最も優先順位が高いことを示す。

図１４Ａを用いて説明した画面１４内における優先度と、この各ウィンドウの優先順位とが一致するように各ウィンドウ画像を配置すると、ユーザによる各ウィンドウ画像の認識が容易になることが期待される。

この機器１１による画像１１Ａを、機器１０による画像１０Ａと共に画面１４に表示する際には、機器１１は、機器１０に対する表示領域１７Ａには画像を表示できない。そのため、機器１１は、座標情報管理部１６から送信される表示領域１７Ｂの情報に基づき、例えば図１４Ｃに示されるように、ウィンドウ画像１１Ｅを左下に、ウィンドウ画像１１Ｂおよび１１Ｃをそれぞれ右上および右下に配置し、ウィンドウ画像１１Ｄの表示を消去するように表示制御を行う。この図１４Ｃに例示される表示は、図１４Ａに例示した画面１４内における優先度と、機器１１において各ウィンドウ画像に付与された優先順位とに従ったものである。

ここで、図１５に例示されるように、機器１１において、ウィンドウ画像１１Ｅを消去すると共にウィンドウ画像１１Ｄを表示するように表示制御することを考える。この場合、本来のウィンドウ画像１１Ｄの表示位置は、画面１４において機器１０による部分画像１０Ｂを表示するための表示領域１７Ａの位置に相当するため、機器１１は、表示領域１７Ａに相当する位置に部分画像を配置できない。ここでは、機器１１において各ウィンドウ画像を移動させて、表示領域１７Ａを部分画像が配置されない空き領域とする。

画面１４内の優先度と各ウィンドウ画像の優先順位とが一致するように各ウィンドウ画像を配置する例を、図１６Ａに示す。この場合、画面１４内の優先度に従い、最も高い優先順位＃２が付与されたウィンドウ画像１１Ｂが画面１４の左下に移動され、優先順位＃３が付与されたウィンドウ画像１１Ｃが画面１４の右上に、最も低い優先順位＃４が付与されたウィンドウ画像１１Ｄが画面１４の右下に移動され、図１６Ａの下側に例示されるような画像１１Ａ’が得られる。この例では、この方法によれば各ウィンドウ画像の位置が全て入れ替わることになり、ユーザは、各ウィンドウ画像の関係や位置を即座に把握することが困難となるおそれがある。

この実施の第１の形態では、各ウィンドウ画像の移動が最小限となるように、各ウィンドウ画像を配置する。すなわち、図１６Ｂに一例が示されるように、ウィンドウ画像１１Ｂおよび２５Ｃは移動させずに、ウィンドウ画像１１Ｄのみを左下に移動させる。こうすることで、元の画像１１Ａにおける各ウィンドウ画像の配置が略、維持された画像１１Ａ”が得られる（図１６Ｂ下側参照）。元の画像１１Ａの配置が略、維持されるので、ユーザは、各ウィンドウ画像の関係や位置を容易に把握することができる。

なお、ウィンドウ画像の移動をウィンドウ画像や画面内における優先度に基づき行うか、優先度に関わらす各ウィンドウ画像の移動が最小限になるように行うかは、例えば、優先度に基づきウィンドウ画像の移動を行った場合に移動されるウィンドウ画像の個数や移動距離などに基づき判断することが考えられる。

この実施の第１の形態においては、上述のようなウィンドウ制御は、座標情報管理部１６から送信される表示領域情報に基づき、画像を出力する機器側において行われる。

１−１−５．実施の第１の形態によるカーソル制御について
画面１４に対して複数の機器から出力された出力画像が表示されている際に、ユーザ操作により当該複数の機器を切り換えて制御可能であることが望まれる。例えば、画面１４に表示された、各機器による画像を所定の操作手段を用いて選択することで、選択された画像に対応した機器の制御に移行できるようにする。

なお、選択された画像は、例えば所定の枠画像の付加や、画像の色調の変更などの画像処理が施され、選択されていることが示される。以下では、選択されていることを示す表示をカーソルと称し、画像に対してカーソルを表示して当該画像が選択されていることを明示的に表現することを、画像をフォーカスするなどと称する。

この実施の第１の形態では、図４を用いて説明したように、座標情報管理部１６がユーザ操作を受け付けるようにされている。座標情報管理部１６は、ユーザ操作に応じて、座標情報管理部１６に接続された機器と通信Ｉ／Ｆ３３Ａ、３３Ｂ、・・・により通信を行って、当該機器に対してカーソル制御情報やフォーカス情報を送信する。

一例として、図１７Ａに示されるように、座標情報管理部１６により、画面１４に対し、画面１４の左上部分が機器１０の出力画像を表示する表示領域１７Ａとされ、その他の逆Ｌ字型の部分が機器１１の出力画像を表示する表示領域１７Ｂとされ、機器１０は、表示領域１７Ａに対して部分画像１０Ｂを表示し、機器１１は、表示領域１７Ｂに対して複数のウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅを表示する場合について考える。

このような画面構成において、当初、部分画像１０Ｂにカーソル４０がなされ（図１７Ｂ参照）、ユーザ操作に応じて、部分画像１０Ｂからウィンドウ画像１１Ｂにカーソル４０が移動される（図１７Ｃ参照）場合の制御の例について考える。なお、図１７においては、カーソル４０を斜線付き太枠で以て示している。

図１８を用いて、この実施の第１の形態によるカーソル４０の一例の表示制御について説明する。なお、画面１４における表示領域１７Ａおよび表示領域１７Ｂの設定、ならびに、表示領域１７Ａおよび１７Ｂに対して機器１０および１１がそれぞれ行う表示については、上述した図１７と共通とする。

当初、画面１４において、表示領域１７Ａに表示される部分画像１０Ｂがフォーカスされ、カーソル４０は、機器１０により部分画像１０Ｂに表示されている。また、座標情報管理部１６は、現在カーソル４０が表示領域１７Ａおよび表示領域１７Ｂのうち何れにあるかを、知っているものとする。例えば、座標情報管理部１６は、デフォルトの状態で画面１４において最も優先度の高い表示領域にカーソル４０が表示されるように制御し、その状態からカーソル４０を追跡することで、現在カーソル４０が画面１４のどの表示領域に表示されているかを知ることができる。

この状態で、例えばユーザにより、リモートコントロールコマンダ３５の右方向キーが操作され、このキー操作に応じて右方向を示す情報がリモートコントロールコマンダ３５から送信される。座標情報管理部１６は、この右方向を示す情報を受信すると、現在フォーカスされカーソル４０が表示されている表示領域が表示領域１７Ａおよび表示領域１７Ｂのうち何れであるかを判断する。この判断結果に基づき現在カーソル４０が表示領域１７Ａに表示されていると判断されれば、表示領域１７Ａに対応する機器１０に対して、当該カーソル４０を解放させるように指示を送信する。

機器１０は、座標情報管理部１６から送信された、カーソル解放指示を受信し、受信された指示に応じて部分画像１０Ｂに対するカーソル４０の表示を解除する。そして、機器１０は、直前までカーソル４０が表示されフォーカスされていた部分画像１０Ｂの位置およびサイズの情報を、座標情報管理部１６に送信する。

また、座標情報管理部１６は、カーソル４０が表示領域１７Ａに表示されていると判断したら、リモートコントロールコマンダ３５から送信された右方向を示す情報に基づき、表示領域１７Ａに対して右に位置する表示領域を求める。この図１７および図１８の例では、表示領域１７Ａの右側の表示領域は、表示領域１７Ｂであることが分かる。座標情報管理部１６は、この、表示領域１７Ａの右側に位置する表示領域１７Ｂに対応する機器１１に対して、機器１０から送信された、直前までカーソル４０が表示されフォーカスされていた部分画像１０Ｂの位置およびサイズの情報を、移動元のフォーカスに関する位置およびサイズ情報として機器１１に送信する。

機器１１は、座標情報管理部１６から送信された、移動元のフォーカスに関する位置およびサイズ情報を受信し、受信されたこれらの情報に基づき、機器１１が画面１４に対して表示させるウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち、フォーカスさせるべきウィンドウ画像を決定する。この図１７および図１８の例では、機器１０による部分画像１０Ｂの右側直近に表示されるウィンドウ画像１１Ｂにフォーカスが移動され、当該ウィンドウ画像１１Ｂにカーソル４０が表示されるように、機器１１において表示制御がなされる。

フォーカスを表示領域１７Ａから表示領域１７Ｂに移動させると共に、リモートコントロールコマンダ３５による制御対象そのものを、カーソル４０の移動に伴い表示領域１７Ａに対応した機器１０から、表示領域１７Ｂに対応した機器１１に移行させるようにできる。

上述したように、機器１０（または機器１１）は、各々の機器自身の制御を所定のＧＵＩを用いて行うことができるようにされている。したがって、座標情報管理部１６から機器１０または機器１１に対して座標情報を送信することで、例えばＧＵＩにより表示されるアイコン画像を選択し、機器１０または機器１１の動作を制御することが可能とされる。

図１９を用いて、カーソル制御に伴う制御対象機器の変更処理について、概略的に説明する。なお、画面１４における表示領域１７Ａおよび表示領域１７Ｂの設定、ならびに、表示領域１７Ａおよび１７Ｂに対して機器１０および１１がそれぞれ行う表示については、上述した図１７と共通とする。

当初、画面１４において表示領域１７Ａに表示される部分画像１０Ｂがフォーカスされているときには、リモートコントロールコマンダ３５に対してなされた操作に応じた制御信号は、座標情報管理部１６を介して機器１０に送信される。機器１０は、この制御信号を受信し、受信された制御信号に応じて、例えば、ＧＵＩ画面における選択／非選択のアイコン画像の表示制御などを行うと共に、選択されたアイコン画像に対応して機器１０自身の動作制御を行う。

リモートコントロールコマンダ３５に対して、表示領域１７Ａに表示される部分画像１０Ｂに対するフォーカスを、表示領域１７Ｂに表示される部分画像に移動させるような操作がなされた場合を考える。例えば、リモートコントロールコマンダ３５の右方向を示すキーを操作することで、フォーカスを表示領域１７Ａから表示領域１７Ｂに移動させるようにできる。機器１０のＧＵＩに対して、フォーカスを別の表示領域に移動させる動作を示すアイコン画像を設けることもできる。この場合には、リモートコントロールコマンダ３５に対する操作により当該アイコン画像が選択および決定されると、当該操作に応じて、右方向を示す情報が機器１０から座標情報管理部１６に送信される。

座標情報管理部１６は、リモートコントロールコマンダ３５または機器１０から右方向を示す情報を受信すると、現在フォーカスされカーソル４０が表示されている表示領域が表示領域１７Ａおよび表示領域１７Ｂのうち何れであるかを判断する。この判断結果に基づき現在カーソル４０が表示領域１７Ａに表示されていると判断されれば、表示領域１７Ａに対応する機器１０に対して当該カーソル４０を解放させるように指示を送信する。

機器１０は、このカーソル解放指示を受信すると、当該指示に応じて部分画像１０Ｂに対するカーソル４０の表示を解除する。そして、機器１０は、上述と同様に、直前までカーソル４０が表示されフォーカスされていた部分画像１０Ｂの位置およびサイズの情報を座標情報管理部１６に送信する。

座標情報管理部１６は、図１８を用いて説明したカーソル制御と同様にしてカーソル４０を表示領域１７Ａから表示領域１７Ｂに移動させ、表示領域１７Ｂのウィンドウ画像１１Ｂにカーソル４０を表示させる。

それと共に、座標情報管理部１６は、リモートコントロールコマンダ３５に対してなされた操作に基づく制御信号の送信先を、機器１０から、表示領域１７Ｂに対応する機器１１に変更する。これにより、以降、カーソル４０が再び表示領域１７Ａに表示されるまで、リモートコントロールコマンダ３５を用いた機器１０の動作制御が不可とされ、リモートコントロールコマンダ３５を用いて機器１１の動作を制御することが可能となる。

なお、上述した図１７Ｂの状態からフォーカスを下方向に移動させることを考えた場合、新たにフォーカスされる画像がウィンドウ画像１１Ｄおよびウィンドウ画像１１Ｅの何れであるか、明確ではないことが考えられる。この場合、図２０Ａに例示されるように、フォーカスの移動先を示すガイド４１を表示させることが考えられる。

このガイド４１の表示制御方法について概略的に説明する。一例として、図１７に例示したように、画面１４に対して、左上の領域からなる表示領域１７Ａと、残りの逆Ｌ字型の領域からなる表示領域１７Ｂとが設定され、機器１０による部分画像１０Ｂが表示領域１７Ａに表示され、機器１１によるウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち、ウィンドウ画像１１Ｂおよび１１Ｃが表示領域１７Ｂ内における表示領域１７Ａの右側に配置され、ウィンドウ画像１１Ｄおよび１１Ｅが表示領域１７Ｂ内における表示領域１７Ａの下側に配置される場合について考える。

このような配置の場合、ユーザは、表示領域１７Ａに表示される部分画像１０Ｂにカーソル４０が表示されている状態でリモートコントロールコマンダ３５の右方向キーを操作することで、カーソル４０がウィンドウ画像１１Ｂおよび１１Ｃの何れに移動するか、また、リモートコントロールコマンダ３５の下方向キーを操作することで、カーソル４０がウィンドウ画像１１Ｄおよび１１Ｅの何れに移動するか、即座に判断できないことが考えられる。

そのため、図２０Ａに例示されるように、リモートコントロールコマンダ３５の方向キーの操作に応じてカーソル４０がどの画像に移動するかを示すガイド４１を表示するようにすると、好ましい。ガイド４１は、例えば、座標情報管理部１６から機器１０に対して座標を送信し、機器１０においてガイド４１を表示するための画像を生成し、機器１０から出力される画像１０Ａに対して座標情報管理部１６から送信された座標に基づき当該画像を配置することで、表示させることができる（図２０Ｂ）。例えば、リモートコントロールコマンダ３５に対して所定の操作を行うことで、ガイド４１を表示させる。

なお、上述した図１７Ａのような画像配置の場合、例えばリモートコントロールコマンダ３５の方向キーを操作した際に、ウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち何れにカーソル４０が移動されるかを判断する必要がある。この判断の一例について、概略的に説明する。

例えば、座標情報管理部１６は、現在カーソル４０がどの表示領域に表示されているかを判断する。一例として、図１７Ｂのように、カーソル４０が表示領域１７Ａに表示されていると判断した場合、座標情報管理部１６は、表示領域１７Ａの上下左右方向に隣接する表示領域を検出する。図１７の例では、表示領域１７Ａの上側および左側には他の表示領域が存在せず、表示領域１７Ａの右側および下側に表示領域１７Ｂが隣接していることが検出される。

次に、座標情報管理部１６は、現在カーソル４０が表示されている表示領域１７Ａに対して隣接するとして検出された表示領域１７Ｂに対応する機器１１と通信を行い、ウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのうち、キー操作によりカーソル４０が表示領域１７Ａから表示領域１７Ｂに移動されたときに、カーソル４０が表示領域１７Ｂのどの部分に最初に表示されるかを、機器１１に問い合わせる。機器１１は、ウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのそれぞれに付与された優先順位や、画面１４内の位置に応じた優先度などに基づき、座標情報管理部１６に対して、カーソル４０の表示位置を示す情報を送信する。

例えば、座標情報管理部１６は、機器１１に対して、下方向キーが操作された場合のカーソル４０の表示位置と、右方向キーが操作された場合のカーソル４０の表示位置とを、それぞれ問い合わせる。機器１１は、例えばウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅのそれぞれに付与された優先順位と、画面１４内の位置に応じた優先度とに基づき、下方向キーが操作された場合には、ウィンドウ画像１１Ｅの位置にカーソル４０が表示され、右方向キーが操作された場合には、ウィンドウ画像１１Ｂの位置にカーソル４０が表示されるようにし、その旨を示す情報を、座標情報管理部１６に対して送信する。なお、これに限らず、機器１１において最初にカーソル４０が表示されるウィンドウ画像を予め決めておいてもよい。座標情報管理部１６は、機器１１から送信されたこの情報に基づき、カーソル４０の表示位置を決め、当該表示位置を示す情報を、機器１０に対して送信する。

なお、上述では、例えばリモートコントロールコマンダ３５のキー操作により、カーソル４０が表示領域間で移動され、表示領域の構成や、各表示領域内に表示される部分画像やウィンドウ画像の構成は、変化していないが、これはこの例に限定されない。例えば、リモートコントロールコマンダ３５のキー操作により、画面１４に表示される全てのウィンドウ画像や部分画像を対象に、再配置を行うことも考えられる。

一例として、図２１Ａに例示されるように、表示領域１７Ａに表示される機器１０による部分画像１０Ｂにカーソル４０が表示されているときに、例えば表示領域１７Ｂに表示される機器１１によるウィンドウ画像１１Ｂにカーソル４０を移動させるようにリモートコントロールコマンダ３５の右方向キーを操作する場合を考える。座標情報管理部１６は、キー操作後、図２１Ｂに一例が示されるように、表示領域１７Ａを画面１４の右下の領域とし、他の領域を表示領域１７Ｂとして、その旨を機器１０および機器１１に送信する。

機器１０は、座標情報管理部１６から送信された情報に基づき、新たな表示領域１７Ａに部分画像１０Ｂが配置されるように、出力画像１０Ａに対する画像加工などの処理を行う。同様に、機器１１は、座標情報管理部１６から送信された情報に基づき、新たな表示領域１７Ｂに対し、カーソル４０の移動先であるウィンドウ画像１１Ｂが画面１４内において最も優先度の高い左上に配置され、他のウィンドウ画像１１Ｃ、１１Ｄおよび１１Ｅが例えばそれぞれ画面１４の右上、左下、中下に配置されるように、出力画像１１Ａに対する画像加工などの処理を行う。

なお、上述では、カーソル４０の移動に伴う画像処理について説明したが、これはこの例に限定されない。例えば、カーソル４０の移動に伴い、音声の切り換えを行うことができる。一例として、合成部１５に対して、複数の音声信号を入力可能とし、これら入力された複数の音声信号を切り換える音声切り換え手段を設ける（図示しない）。機器１０から出力される音声信号（音声Ａとする）と、機器１１から出力される音声信号（音声Ｂとする）を、それぞれ合成部１５に供給し、音声切り換え手段の対応する選択入力端に入力する。音声切り換え手段を、カーソル４０が表示される表示領域に対応して選択入力端が切り換えられるようにする。

また、カーソル４０やガイド４１を表示するための画像は、これに限らず、機器１０および機器１１のうち画像の描画能力が高い方で行うことも考えられる。例えば、機器１０および機器１１は、座標情報管理部１６による識別処理が行われる際に、機器の描画能力を示す情報を座標情報管理部１６に対して送信する。座標情報管理部１６は、この情報に基づき機器１０および機器１１のうち何方でカーソル４０やガイド４１を表示するための画像を描画するかを判断し、判断結果を機器１０および機器１１に送信する。

１−１−６．テンプレートパターンについて
画面１４に対して複数の機器による出力画像を同時に表示させるための複数の表示領域を、表示領域の配置パターンを予め設定したテンプレートを利用して決めることができる。例えば、座標情報管理部１６において、画面１４に対する表示領域を示すテンプレートが複数、ＲＯＭ３１に予め記憶されている。座標情報管理部１６は、接続された機器数、接続された機器の種類などに応じて自動的に、また、ユーザ操作に応じて、ＲＯＭ３１に記憶されている複数のテンプレートから適当なテンプレートを選択して読み出す。座標情報管理部１６は、読み出されたテンプレートに基づき、接続された機器のそれぞれに対して表示領域を示す情報を送信する。

図２２および図２３を用いて、テンプレートの例について説明する。図２２は、テンプレートの基本的な例を示す。図２２Ａは、画面１４に対して２の表示領域１７Ａおよび１７Ｂを設定した一例のテンプレートである。この図２２Ａの例では、画面１４を中央で垂直方向に２分割して左側を表示領域１７Ａ、右側を表示領域１７Ｂとしており、例えば上述した画面１４内における優先度に従い、表示領域１７Ａの優先度が表示領域１７Ｂの優先度よりも高く設定されている。

また、図２２Ｂは、画面１４に対して３の表示領域（表示領域１７Ａ、１７Ｂおよび１７Ｃ）を設定した例、図２２Ｃは、４の表示領域（表示領域１７Ａ、１７Ｂ、１７Ｃおよび１７Ｄ）を設定した例である。図２２Ｂの例では、画面１４を中央で垂直方向に２分割した右側の領域をさらに水平方向に２分割し、左側の表示領域１７Ａを最も優先度が高く設定し、右上側の表示領域１７Ｂを次の優先度、右下側の表示領域１７Ｃを最も低い優先度に設定している。図２２Ｃの例では、画面１４を垂直方向および水平方向にそれぞれ２分割し、左上の表示領域１７Ａを最も優先度が高く設定し、左下の表示領域１７Ｂ、右上の表示領域１７Ｃ、右下の表示領域１７Ｄの順に優先度を下げている。

座標情報管理部１６は、機器１０や機器１１からの表示希望座標情報に基づき、テンプレートで設定された表示領域を示す座標情報を、機器１０や機器１１に送信する。どの表示領域をどの機器に割り当てるかを決める方法は、状況に応じて様々に考えられる。

例えば、機器毎に要求される表示領域のそれぞれと、テンプレートに設定される表示領域それぞれの位置関係とに基づき、機器毎の表示領域を設定する方法が考えられる。

一例として、機器１０と機器１１とがそれぞれ１の表示領域を要求していれば、座標情報管理部１６は、図２２Ａに示す、画面１４に対して２の表示領域を設定したテンプレートを用い、機器１０および機器１１のうちより左側の座標を示す表示領域を要求している機器に対して、表示領域１７Ａを割り当て、他方の機器に対して表示領域１７Ｂを割り当てる。また、この２の表示領域を設定したテンプレートを用いる場合において、機器１０および機器１１により要求される表示領域について、左右を判断するのが難しい場合も有り得る。このような場合、例えば機器１０、機器１１の接続順や電源投入順に優先度の高い表示領域を割り当てる方法が考えられる。

機器１０や機器１１そのものに対して優先順位を設けるようにもできる。座標情報管理部１６は、機器１０および機器１１を識別する際に、機器１０および機器１１に対して予め設定された優先順位の情報を取得する。若しくは、座標情報管理部１６は、機器１０および機器１１を識別する際に機器１０および機器１１の種類を示す情報を取得し、この情報に基づきこれらの機器の優先順位を決める。

さらに、１の機器から複数の表示領域を要求される場合も考えられる。例えば、機器が複数のウィンドウ画像を用いて表示を行い、これら複数のウィンドウ画像のうち２以上のウィンドウ画像を表示させたい場合が考えられる。

一例として、機器１０が１の画像を画面１４に表示させ、機器１１が３のウィンドウ画像を画面１４に表示させたい場合について考える。座標情報管理部１６は、機器１０および機器１１と通信を行い、画面１４に対して表示を希望する画像数と、それぞれの画像について表示希望座標情報とを取得する。例えば機器１０は、画面１４の中央付近に１の画像を表示させたい旨の表示希望座標情報を送信し、機器１１は、画面１４の上側に第１のウィンドウ画像を、下側の左側に第２のウィンドウ画像を、また、下側の右側に第３のウィンドウ画像を表示させたい旨の表示希望座標情報を送信したものとする。この場合、座標情報管理部１６は、図２２Ｃに示す、画面１４に対して４の表示領域を設定したテンプレートを用い、機器１１の第１のウィンドウ画像に対して表示領域１７Ｂを割り当て、第２および第３のウィンドウ画像に対してそれぞれ表示領域１７Ｃおよび１７Ｄを割り当てる。また、機器１０の画像に対して表示領域１７Ａを割り当てる。

これに限らず、さらにウィンドウ画像毎の優先順位を用いて、表示領域の割り当てを行うこともできる。例えば、座標情報管理部１６は、機器１０および機器１１と通信を行い、それぞれの機器において表示を行いたい画像それぞれの表示希望座標情報と、画像毎の優先順位とを取得する。また、座標情報管理部１６は、機器１０および機器１１間の優先順位を、例えば接続順や電源投入順、機器１０および機器１１そのものの優先順位を示す情報などに基づき設定する。座標情報管理部１６は、先に、優先順位がより高く設定された機器に対して、出力画像毎の優先順位と表示領域毎に設定された優先度とに基づき、出力画像毎に表示領域を割り当て、次に、優先順位が低く設定された機器の出力画像に対して表示領域を割り当てることが考えられる。

さらに、表示領域に対して予め特定の機器を指定しておくことも考えられる。図２３は、表示領域のそれぞれに対して予め機器を指定したテンプレートの例を示す。図２３Ａは、画面１４に対して２の表示領域１７Ａおよび１７Ｂを設定した例、図２３Ｂは、画面１４に対して３の表示領域１７Ａ、１７Ｂおよび１７Ｃを設定した例である。また、図２３Ｃおよび図２３Ｄは、それぞれ、画面１４に対して４の表示領域１７Ａ、１７Ｂ、１７Ｃおよび１７Ｄを設定した例である。

この図２３の例では、表示領域１７Ａ、１７Ｂ、１７Ｃおよび１７Ｄのそれぞれに対して、予め、機器１０および／または機器１１（それぞれ図２３では機器Ａ、機器Ｂと記す）が定義付けられている。また、表示領域の優先度は、機器毎に設定されている。例えば図２３Ｃの例では、画面１４において左側の表示領域１７Ａおよび１７Ｂに対して機器１０が定義付けられ、左上側の表示領域１７Ａが左下側の表示領域１７Ｂより優先度を高くされている。一方、画面１４において右側の表示領域１７Ｃおよび１７Ｄに対して機器１１が定義付けられ、右上側の表示領域１７Ｃが右下側の表示領域１７Ｄより優先度を高くされている。機器において画像毎に付与された優先順位に応じて、対応する優先度の表示領域を割り当てることができる。

このような、機器情報を有するテンプレートを用いる場合、座標情報管理部１６は、接続された機器を特定するための情報を何らかの方法で取得する必要がある。例えば、機器１０や機器１１が予め自身を特定する機器特定情報を例えばＲＯＭ２１などに有し、座標情報管理部１６と機器１０や機器１１との間で例えば識別などのために通信を行った際に、機器１０や機器１１から座標情報管理部１６に対して、機器特定情報を送信することが考えられる。これに限らず、表示領域と接続端子とを対応付けることも考えられる。

座標情報管理部１６は、機器が接続されると、接続された機器と通信を行い機器特定情報を取得すると共に、表示希望座標情報を取得する。座標情報管理部１６は、取得された機器特定情報と表示希望座標情報とに基づき適用するテンプレートを例えばＲＯＭ３１から読み出し、接続された機器に対してテンプレートに従い表示領域を割り当てる。

なお、テンプレートを用いた表示領域の設定方法は、上述の方法に限られるものではない。例えば、機器側で再生されるコンテンツの種類などに応じて表示領域を対応付けたテンプレートも考えられる。一例として、コンテンツデータに所定の制御情報を予め挿入しておく。制御情報は、テンプレートによる表示領域選択に専用的に定義されたものでもよいし、単にコンテンツの種類を示すような情報でもよい。機器側では、コンテンツを再生する際に、当該コンテンツに挿入されたこの制御情報を検出し、座標情報管理部１６に送信する。座標情報管理部１６は、テンプレートに基づき制御情報に対応する表示領域を、当該コンテンツに割り当てる。

なお、使用するテンプレートは、ユーザ操作やコンテンツの切り換えなどに応じて切り換えることができる。同様に、テンプレートに従い配置される画像（コンテンツ）も、ユーザやコンテンツの切り換えなどに応じて変更することができる。図２４は、この、テンプレートやコンテンツの変更パターンの例を示す。

ユーザ操作に応じて使用するテンプレートを切り換える場合、図２４Ａに例示されるように、切り換えられたテンプレートに合わせて表示中の画像（コンテンツ）を並び替える場合（第１の例）と、切り換えられたテンプレートに合わせて、表示されているコンテンツそのものを切り換える場合（第２の例）とが考えられる。一方、図２４Ｂに例示されるように、コンテンツの切り換えの発生に応じて、テンプレートは固定的に用いて、表示領域に表示される画像を並び替える場合（第３の例）と、切り換えられたコンテンツに合わせてテンプレートを切り換えて表示を行う場合（第４の例）とが考えられる。

図２５を用いて、図２４Ａに示す第１の例である、切り換えられたテンプレートに合わせて表示中の画像を並び替える例について説明する。先ず、図２５Ａおよび図２５Ｂに例示される、テンプレート５０およびテンプレート５１を考える。テンプレート５０は、図２５Ａに示されるように、画面１４の左側が表示領域１７Ａ、右側が表示領域１７Ｂとされている。一方、テンプレート５１は、図２５Ｂに示されるように、上側が表示領域１７Ａ、下側が表示領域１７Ｂとされている。また、表示領域１７Ａに対して機器１０の出力画像が表示され、表示領域１７Ｂに対して機器１１の出力画像が表示されるものとする。

テンプレート５０を用いているときには、図２５Ｂの左側に例示されるように、表示領域１７Ａに対して、機器１０からの部分画像１０Ｂ、１０Ｃおよび１０Ｄが表示され、表示領域１７Ｂに対して、機器１１からの部分画像１１Ｂおよび１１Ｃが表示されているものとする。例えば、ユーザがリモートコントロールコマンダ３５を操作し、用いるテンプレートをテンプレート５０からテンプレート５１に切り換えると、図２５Ｂの右側に例示されるように、表示領域１７Ａに対して部分画像１０Ｂおよび１０Ｃが表示され、変更前のテンプレート５０の使用時に表示されていた部分画像１０Ｄが消去されると共に、表示領域１７Ｂに対して部分画像１１Ｂおよび１１Ｃが表示され、さらに、部分画像１１Ｄが新たに追加されて表示される。

このように、切り換えられたテンプレートに合わせて表示中の画像を並び替える制御は、次のようにして可能である。例えば、座標情報管理部１６は、切り換えられたテンプレートに定義される表示領域情報を機器１０および機器１１に送信する。例えば機器１０側では、送信された表示領域情報に基づき当該表示領域内に部分画像１０Ｂ、１０Ｃ、・・・が所定に表示されるように、出力画像１０Ａにおける部分画像１０Ｂ、１０Ｃ、・・・に対して拡大縮小といったサイズ変更、移動などの加工処理を行う。これに限らず、座標情報管理部１６から機器１０および機器１１に対して、使用するテンプレートを示す情報をさらに送信することも考えられる。これにより、機器１０および機器１１側では、より柔軟に部分画像の加工処理を行うことが可能となる。

図２４Ａに示す第２の例である、切り換えられたテンプレートに合わせて表示されているコンテンツそのものを切り換える場合について、図２６を用いて説明する。先ず、図２６Ａおよび図２６Ｂに例示されるテンプレート５２および５３を考える。テンプレート５２は、図２６Ａに示されるように、画面１４の左上側の領域が表示領域１７Ａ、その他の逆Ｌ字型の領域が表示領域１７Ｂとされている。一方、テンプレート５３は、図２６Ｂに示されるように、左側が表示領域１７Ａ、右側が表示領域１７Ｂとされている。

ここで、表示領域１７Ａは、機器１０から出力された画像を表示する領域とされ、表示領域１７Ｂは、機器１１から出力された画像を表示する領域とされているものとする。また、機器１０は、ディジタルテレビジョン放送に対応したチューナであり、機器１１は、家庭用ゲーム機器であって、機器１１は、ゲーム画面と、機器１１自身の設定などを行うメニュー画面とを表示可能とされている。

テンプレート５２を用いているときには、図２６Ｃの左側に例示されるように、表示領域１７Ａに対して機器１０から出力されたテレビジョン放送による画像１０Ｂが表示され、表示領域１７Ｂに対して機器１１から出力された、複数のウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅからなるゲーム画面が表示される。

ユーザ操作などにより、使用するテンプレートをテンプレート５２からテンプレート５３に切り換えると、表示領域１７Ｂの表示がゲーム画面による複数のウィンドウ画像１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅの画面から、メニュー画面の画像１１Ｆに切り替わる。この制御は、例えば座標情報管理部１６が有するテンプレートに対応する情報を、機器１０や機器１１側で持つことで可能である。上述の例では、テンプレートが切り換えられた際に、座標情報管理部１６は、機器１１に対して表示領域１７Ｂを示す情報と共に、使用するテンプレート５３を示す情報を送信する。機器１０側では、送信されたテンプレート５３を示す情報に基づき、再生するコンテンツを切り換えると共に、切り換えられたコンテンツにより表示される画像に対し、切り換えられたテンプレート５３における表示領域１７Ｂに当該画像が所定に表示されるように、加工や移動処理を施す。

図２４Ｂに示す第３の例である、コンテンツの切り換えの発生に応じて、テンプレートは固定的に用い、表示領域に表示される画像を並べ替える場合について、図２７を用いて説明する。例えば、図２７Ａに例示されるような、左側が機器１０からの出力画像を表示する表示領域１７Ａ、右側が機器１１からの出力画像を表示する表示領域１７Ｂとされたテンプレート５４を考える。当初、表示領域１７Ａには、機器１０からの部分画像１０Ｂが表示され、表示領域１７Ｂには、機器１１からの部分画像１１Ｂが表示されているものとする。

この状態で、機器１１で再生されているコンテンツが切り替わると、機器１１において、切り換えられたコンテンツによる画像が、現在使用中のテンプレート５４の表示領域１７Ｂに収まるように、所定に加工や移動処理が施される（図２７Ｂ参照）。図２７Ｂの例では、機器１１において切り換えられたコンテンツは、複数のウィンドウ画像１１Ｃ、１１Ｄ、１１Ｅおよび１１Ｆを表示する。機器１１は、これらウィンドウ画像１１Ｃ、１１Ｄ、１１Ｅおよび１１Ｆに対して所定に画像加工や移動処理を施し、表示領域１７Ｂに収まるようにする。

なお、この場合には、機器１１で再生されるコンテンツの切り換えは、リモートコントロールコマンダ３５を用いて座標情報管理部１６から行ってもよいし、機器１１の操作部から直接的に行ってもよい。

図２４Ｂに示す第４の例である、コンテンツの切り換えの発生に応じてテンプレートを切り換える場合について、図２８を用いて説明する。当初、座標情報管理部１６において、図２８Ａに例示される、左側が機器１０の画像を表示する表示領域１７Ａ、右側が機器１１の画像を表示する表示領域１７Ｂとされたテンプレート５５が用いられているものとする。図２８Ｂに示されるように、機器１０からの部分画像１０Ｂが表示領域１７Ａに表示され、機器１１からの部分画像１１Ｂが表示領域１７Ｂに表示される。機器１１による部分画像１１Ｂは、例えば図２８Ｃに斜線を付して示されるように、機器１１による出力画像１１Ａの全体を用いた画像であるものとする。

この状態から、機器１１において再生されるコンテンツが切り換えられ、出力画像１１Ａが、例えば図２８Ｄに一例が示されるような、複数のウィンドウ画像１１Ｃ、１１Ｄ、１１Ｅ、１１Ｆおよび１１Ｇを用いた画像に変更されたものとする。機器１１におけるコンテンツの切り換え指示が機器１１の操作部に対する操作によりなされた場合には、機器１１から座標情報管理部１６に対して、この指示によって切り換えられたコンテンツを示す情報が送信される。また、リモートコントロールコマンダ３５に対する操作により機器１１のコンテンツの切り換えが指示された場合には、リモートコントロールコマンダ３５から座標情報管理部１６を介して機器１１に対してコンテンツ切り換え指示が送信され、機器１１から座標情報管理部１６に対して、切り換えられたコンテンツを示す情報が送信される。

コンテンツを示す情報は、様々に考えられるが、例えばコンテンツによるテンプレート切り換えを行うために専用的に定義された情報でもよいし、単にコンテンツの種類を示す情報を用いてもよい。

座標情報管理部１６は、機器１１から送信された情報に基づき、ＲＯＭ３１に記憶されているテンプレートから、切り換えられたコンテンツに対応するテンプレートを選択する。この例では、図２８Ｅに一例が示されるような、画面１４の右下が表示領域１７Ａとされ、残りの領域が表示領域１７Ｂとされたテンプレート５６が選択されている。選択されたテンプレート５６における表示領域１７Ｂを示す情報が座標情報管理部１６から機器１１に対して送信される。機器１１では、この送信された表示領域１７Ｂを示す情報に基づき、画面１４に表示するウィンドウ画像１１Ｃ、１１Ｄ、１１Ｅ、１１Ｆおよび１１Ｇに対して所定に加工や移動処理を施して、これらウィンドウ画像１１Ｃ、１１Ｄ、１１Ｅ、１１Ｆおよび１１Ｇが表示領域１７Ｂに収まるようにする。

なお、図２４、ならびに、図２５〜図２８を用いて説明した各例による表示制御は、図２２を用いて説明した、表示領域毎に優先度が定義されている場合に適用可能なことは勿論、図２３を用いて説明した、表示領域毎に優先度および機器が定義されている場合に対しても、同様に適用可能である。

１−２．この発明の実施の第１の形態の第１の変形例について
次に、この発明の実施の第１の形態の第１の変形例について説明する。上述の実施の第１の形態では、画面１４における機器毎の表示領域を管理する座標情報管理部１６が、画像出力を行う機器とは別途に存在していた。この実施の第１の形態の第１の変形例では、座標情報管理部１６を画像出力を行う機器に内蔵させる。以下では、機器１０に座標情報管理部１６を内蔵させるものとして説明を行う。

１−２−１．実施の第１の形態の第１の変形例によるシステム構成について
図２９は、この実施の第１の形態の第１の変形例による、座標情報管理部１６’が内蔵された機器１０’の一例の構成を示す。なお、図２９において、上述した図３と共通する部分には同一の符号を付し、詳細な説明を省略する。機器１０’に内蔵される座標情報管理部１６’は、例えば座標制御部６０およびＲＯＭ６１を有すると共に、通信Ｉ／Ｆ６２Ａ、６２Ｂ、・・・を有し、機器１０’のＣＰＵ２０にその動作を制御される。座標制御部６０は、ＣＰＵであってもよいし、所定の回路で構成されていてもよい。これに限らず、座標制御部６０は、ＣＰＵ２０上で動作するプログラムであってもよい。

ＲＯＭ６１は、例えば上述したテンプレートを複数、予め記憶している。座標制御部６０がＣＰＵで構成されるときは、ＲＯＭ６１にプログラムデータが予め格納され、座標制御部６０は、ＲＯＭ６１に格納されたプログラムデータに従い、図示されないＲＡＭをワークメモリとして用いて表示領域の管理を行う。座標制御部６０がＣＰＵ２０上で動作するプログラムにより構成されるときは、ＲＯＭ６１としてＲＯＭ２１が用いられる。通信Ｉ／Ｆ６２Ａ、６２Ｂ、・・・は、画面１４に表示を行うための画像を出力する他の機器が有する通信Ｉ／Ｆに対応し、所定のプロトコルに従い、この機器の通信Ｉ／Ｆとの間で通信を行うことができる。

なお、機器１０’と機器１１とは、図３０に例示されるように、所定のケーブルを用いて直接的に接続することができる。この場合、例えば通信Ｉ／Ｆ６２Ａと機器１１の通信Ｉ／Ｆ２３とがそれぞれＩＥＥＥ１３９４などの、機器間の接続を可能とする汎用的な通信規格に対応したものとすることが考えられる。また、これに限らず、出力画像を合成部１５に供給するために用いるＨＤＭＩケーブルを介して、機器１０’および機器１１の間で通信を行うようにもできる。この場合には、図示は省略するが、合成部１５に所定の通信制御部を設け、機器１０’および機器１１間の通信を、この合成部１５に設けられた通信制御部を介して行う必要がある。

また、機器１０’において、赤外線信号を受信するＩＲ Ｉ／Ｆ７０を設け、リモートコントロールコマンダ３５からの指示を受信可能とすることができる。ユーザ操作に応じてリモートコントロールコマンダ３５から送信された赤外線信号は、ＩＲ Ｉ／Ｆ７０に受信され、所定の制御信号に変換されてＣＰＵ２０に渡される。ＣＰＵ２０は、この制御信号に基づき機器１０’の各部を制御する。また、ＣＰＵ２０は、リモートコントロールコマンダ３５から送信された信号に応じて、所定の制御信号を通信Ｉ／Ｆ６２Ａ、６２Ｂ、・・・を介して他の機器に送信することができる。

すなわち、機器１０’は、機器１０’に対応したリモートコントロールコマンダ３５を用いて、機器１０’に接続された例えば機器１１の動作を制御することが可能である。勿論、機器１０’に設けられた操作部に対する操作によって、接続された他の機器１１を制御するようにもできる。機器１０’は、このように、通信Ｉ／Ｆ６２Ａ、６２Ｂ、・・・により接続された他の機器のホスト機器として動作可能とされる。

リモートコントロールコマンダ３５による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

図３０は、この実施の第１の形態の第１の変形例による、座標情報管理部１６’が内蔵された機器１０’を用いた場合の一例のシステム構成を示す。なお、図３０において、上述の図２と共通する部分には同一の符号を付し、詳細な説明を省略する。

図３０において、機器１０’および機器１１から出力された出力画像は、それぞれ合成部１５に供給される。合成部１５は、機器１０’から供給された出力画像と機器１１から供給された出力画像とを所定に合成し、１の画像として図示されない表示装置に供給し、１の画面１４として表示させる。また、機器１０’と機器１１は、例えば機器１０’側の通信Ｉ／Ｆ６２Ａと機器１１側の通信Ｉ／Ｆ２３とが、ＩＥＥＥ１３９４の規格に対応したケーブルで直接的に接続されているものとする。機器１０’と機器１１との間で、通信Ｉ／Ｆ６２Ａおよび通信Ｉ／Ｆ２３によりＩＥＥＥ１３９４の規格に従ったプロトコルで通信がなされ、例えば機器１０’に機器１１が識別される。

１−２−２．実施の第１の形態の第１の変形例による動作について
次に、この実施の第１の形態の第１の変形例による動作について、概略的に説明する。機器１１から機器１０’に対して、表示希望座標情報が送信される。表示希望座標情報は、機器１０’において、通信Ｉ／Ｆ６２Ａにより受信され、座標制御部６０に渡される。一方、機器１０’において、出力画像に関する表示希望座標情報がＣＰＵ２０から座標制御部６０に対して渡される。座標制御部６０は、機器１１から送信された表示希望座標情報と、機器１０’自身において渡された表示希望座標情報とに基づき、機器１１が画面１４に出力画像を表示する際の表示領域１７Ｂと、機器１０’が画面１４に出力画像を表示する際の表示領域１７Ａとを、互いに重ならないように、設定する。

表示領域１７Ａおよび１７Ｂを設定する際にテンプレートを用いる場合は、座標制御部６０は、機器１０’および機器１１それぞれの表示希望座標情報に基づき、ＲＯＭ６１に格納されているテンプレートから適当なものを選択する。座標制御部６０は、選択されＲＯＭ６１から読み出されたテンプレートに基づき表示領域１７Ａおよび１７Ｂを設定し、表示領域１７Ａを示す座標情報をＣＰＵ２０に渡すと共に、表示領域１７Ｂを示す座標情報を通信Ｉ／Ｆ６２Ａに渡し、通信Ｉ／Ｆ６２Ａから機器１１に対して送信する。

機器１０’は、画像生成部２４で生成された画像に対して、表示領域１７Ａを示す座標情報やテンプレートの情報などに基づくＣＰＵ２０の制御に従い画像処理部２５で所定に加工を施し、出力画像を得る。同様に、機器１１は、機器１０’から送信された、表示領域１７Ｂを示す座標情報やテンプレートの情報などを通信Ｉ／Ｆ２３で受信し、受信されたこれらの情報に基づき所定に画像を加工および移動処理し、出力画像を得る。機器１０’の出力画像と機器１１の出力画像が合成部１５で所定に合成され、画面１４に表示するための１枚の画像とされる。機器１０’および／または機器１１において、画像処理部２５を省略し、画像生成部２４で予め所定サイズおよび所定位置に部分画像が配置された画像を生成してもよい。

なお、この実施の第１の形態の第１の変形例においても、画面１４に表示するための画像の加工や移動処理は、上述した実施の第１の形態で説明した方法を同様に適用することができる。複数機器から出力された出力画像の合成方法も、機器毎にプレーンを用意して合成する方法や、１のプレーンのみを用いて画像を合成する方法など、上述した実施の第１の形態で説明した方法をそのまま適用することができる。

ウィンドウ制御やテンプレートの使用についても、実施の第１の形態で説明した方法を、同様に、この実施の第１の形態の第１の変形例に適用することができる。なお、この実施の第１の形態の第１の変形例では、ホスト機器として動作する機器１０’側の優先順位が、機器１０’に接続される他の機器に対して常に高くなるように設定できる。

さらに、カーソル制御についても、実施の第１の形態で説明した方法を、同様に、この実施の第１の形態の第１の変形例に適用することができる。なお、カーソル４０を移動させるための指示は、機器１０’においてＣＰＵ２０から画像処理部２５に渡されると共に、ＣＰＵ２０から座標制御部６０に渡されて、通信Ｉ／Ｆ６２Ａ、６２Ｂ、・・・から、機器１０’に接続される他の機器に対して送信される。フォーカスの移動先を示すガイド４１は、例えば機器１０’においてＣＰＵ２０の制御に基づき画像生成部２４で生成し、画像処理部２５において機器１０’の出力画像と合成して出力することが考えられる。

この実施の第１の形態の第１の変形例においても、上述の実施の第１の形態と同様に、カーソル４０やガイド４１を表示するための画像を機器１０’および機器１１のうち何方で描画するかを、機器１０’および機器１１の描画能力に基づき判断することができる。また、ＣＰＵ２０に制御に基づき、画像生成部２４が、表示すべき部分画像が予め所定サイズ、所定位置となるように、出力画像を生成するようにしてもよい。この場合には、画像処理部２５を省略することができる。

上述のウィンドウ制御やテンプレートの使用、カーソル制御は、機器１０’が稼働状態にあれば、機器１０’がコンテンツの再生に伴う画像出力を行っているか否かに関わらず、実行させることが可能とされる。

さらにまた、この実施の第１の形態の第１の変形例においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第１の形態と同様にして行うことができる。

１−３．この発明の実施の第１の形態の第２の変形例について
次に、この発明の実施の第１の形態の第２の変形例について説明する。この実施の第１の形態の第２の変形例では、上述の実施の第１の形態の第１の変形例と同様に、画面１４における機器毎の表示領域を管理する座標情報管理部１６を、画像出力を行う機器に内蔵させると共に、複数の機器からの出力画像を合成するための合成部１５を、座標情報管理部１６が内蔵された機器にさらに内蔵させる。以下では、機器１０に座標情報管理部１６と合成部１５とを内蔵させるものとして説明する。

１−３−１．実施の第１の形態の第２の変形例によるシステム構成について
図３１は、この実施の第１の形態の第２の変形例による、座標情報管理部１６’と合成部１５’とが内蔵された機器１０”の一例の構成を示す。なお、図３１において、上述した図３および図２９と共通する部分には同一の符号を付し、詳細な説明を省略する。機器１０”に内蔵される合成部１５’は、機器１０”自身の画像処理部２５から出力される画像が入力されると共に、複数の入力端子６３Ａ、６３Ｂ、・・・に対して他の機器からの出力画像が入力される。

合成部１５’は、図９や図１０を用いて説明したのと同様にして、画像処理部２５や、入力端子６３Ａ、６３Ｂ、・・・から入力された画像の合成を行う。例えば、合成部１５’は、画像処理部２５からの画像入力と、入力端子６３Ａ、６３Ｂ・・・からの画像入力とにそれぞれ対応するプレーンを持ち、画像処理部２５から入力された画像と、入力端子６３Ａ、６３Ｂ、・・・から入力された画像をそれぞれ対応するプレーンに格納して、プレーンを合成することで１の画像を形成することができる。これに限らず、合成部１５’は、１のプレーンを用いて複数の画像を合成して１の画像を形成することもできる。合成部１５’で合成された画像は、出力端子２７から出力され、例えば表示装置に供給され画面１４に表示される。

図３２は、この実施の第１の形態の第２の変形例による、座標情報管理部１６および合成部１５が内蔵された機器１０”を用いた場合の一例のシステム構成を示す。なお、この図３２において、上述の図２および図３０と共通する部分には同一の符号を付し、詳細な説明を省略する。

図３２において、機器１１から出力された出力画像が機器１０”に入力され、例えば端子６３Ａから合成部１５’に供給される。また、機器１０”と機器１１との間で、データ通信が可能とされている。例えば、機器１１の出力画像をＨＤＭＩケーブルを用いて機器１０”に供給する場合、このＨＤＭＩケーブルによるデータ通信機能を用いることができる。これに限らず、機器１０”と機器１１とを、ＩＥＥＥ１３９４規格に対応したケーブルで接続してもよい。機器１１から出力された出力画像は、合成部１５’で機器１０”の画像処理部２５からの出力画像と合成され、１の画面１４を表示するための画像として出力される。機器１０’と機器１１との間で、通信Ｉ／Ｆ６２Ａおよび通信Ｉ／Ｆ２３により所定のプロトコルで通信がなされ、例えば機器１０’に機器１１が識別される。

１−３−２．実施の第１の形態の第２の変形例による動作について
次に、この実施の第１の形態の第２の変形例による動作について、概略的に説明する。機器１１から機器１０”に対して、表示希望座標情報が送信される。表示希望座標情報は、機器１０”において、通信Ｉ／Ｆ６２Ａにより受信され、座標制御部６０に供給される。一方、機器１０”において、出力画像に関する表示希望座標情報がＣＰＵ２０から座標制御部６０に対して供給される。座標制御部６０は、機器１１から送信された表示希望座標情報と、機器１０”のＣＰＵ２０に供給された表示希望座標情報とに基づき、機器１１が画面１４に出力画像を表示する際の表示領域１７Ｂと、機器１０”が画面１４に出力画像を表示する際の表示領域１７Ａとを、互いに重ならないように、設定する。

表示領域１７Ａおよび１７Ｂを設定する際にテンプレートを用いる場合は、座標制御部６０は、機器１０”および機器１１それぞれの表示希望座標情報に基づき、ＲＯＭ６１に格納されているテンプレートから適当なものを選択する。座標制御部６０は、選択されＲＯＭ６１から読み出されたテンプレートに基づき表示領域１７Ａおよび１７Ｂを設定し、表示領域１７Ａを示す座標情報をＣＰＵ２０に渡すと共に、表示領域１７Ｂを示す座標情報を通信Ｉ／Ｆ６２Ａに渡し、通信Ｉ／Ｆ６２Ａから機器１１に対して送信する。

機器１０”は、画像生成部２４で生成された画像に対して、表示領域１７Ａを示す座標情報やテンプレートの情報などに基づくＣＰＵ２０の制御に従い画像処理部２５で所定に加工を施し、出力画像を得る。この出力画像は、合成部１５’に供給される。一方、機器１１は、機器１０”から送信された、表示領域１７Ｂを示す座標情報やテンプレートの情報などを通信Ｉ／Ｆ２３で受信し、受信されたこれらの情報に基づき所定に画像を加工および移動処理し、出力画像を得る。機器１１の出力画像が機器１０”の例えば入力端子６３Ａに入力され、合成部１５’に供給される。

合成部１５’は、機器１０”の画像処理部２５から供給された画像と、機器１１から入力端子６３Ａを介して供給された画像とを所定に合成し、画面１４に表示するための１枚の画像を形成する。この画像は、出力端子２７から出力される。

なお、この実施の第１の形態の第２の変形例においても、画面１４に表示するための画像の加工や移動処理は、上述の実施の第１の形態の第１の変形例と同様、上述した実施の第１の形態で説明した方法を適用することができる。合成部１５’による、複数機器から出力された出力画像の合成方法も、機器毎にプレーンを用意して合成する方法や、１のプレーンのみを用いて画像を合成する方法など、上述した実施の第１の形態で説明した方法をそのまま適用することができる。

ウィンドウ制御やテンプレートの使用についても、上述の実施の第１の形態の第１の変形例と同様、実施の第１の形態で説明した方法をこの実施の第１の形態の第２の変形例に適用することができる。機器毎の優先順に関しても、上述の実施の第１の形態の第１の変形例と同様、ホスト機器として動作する機器１０”側の優先順位が、機器１０”に接続される他の機器に対して常に高くなるように設定できる。

さらに、カーソル制御についても、上述の実施の第１の形態の第１の変形例と同様、実施の第１の形態で説明した方法をこの実施の第１の形態の第２の変形例に適用することができる。また、この実施の第１の形態の第２の変形例においても、上述の実施の第１の形態と同様に、カーソル４０やガイド４１を表示するための画像を機器１０”および機器１１のうち何方で描画するかを、機器１０”および機器１１の描画能力に基づき判断することができる。また、ＣＰＵ２０に制御に基づき、画像生成部２４が、表示すべき部分画像が予め所定サイズ、所定位置となるように、出力画像を生成するようにしてもよい。この場合には、画像処理部２５を省略することができる。

上述のウィンドウ制御やテンプレートの使用、カーソル制御は、機器１０”が稼働状態にあれば、機器１０”がコンテンツの再生に伴う画像出力を行っているか否かに関わらず、実行させることが可能とされる。

さらにまた、この実施の第１の形態の第２の変形例においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第１の形態と同様にして行うことができる。この実施の第１の形態の第２の変形例では、音声切り換え手段が機器１０”に対して設けられることになる。

２．この発明の実施の第２の形態（第２の調停方式）について
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態は、上述の実施の第１の形態による第１の調停方式に対する第２の調停方式であり、機器毎の表示領域を管理する座標情報管理部を設け、この座標情報管理部が画像出力を行う複数の機器に対して、それぞれの機器に設定された表示領域を示す情報を通知する。表示領域情報が通知された機器は、通知された表示領域に相応しい画像を生成し、出力する。座標情報管理部は、各機器から出力された画像に基づきそれぞれの画像の空き領域を管理し、空き領域に基づき互いに表示する部分画像が互いに重ならないように、各部分画像の表示領域を変更するような処理、例えば拡大縮小や移動といった加工処理を施され、画面に表示するための１の画像が形成される。

２−１−１．実施の第２の形態によるシステム構成
図３３は、この発明の実施の第２の形態によるシステムの一例の構成を概略的に示す。なお、図３３において、画面１０４は、上述した図１の画面１４に対応する。このシステムにおいては、画面１０４の表示領域を管理すると共に、画面１０４に表示する画像に対し、表示領域に応じて拡大、縮小といったサイズ変更や、移動などの加工処理、ならびに、複数の画像を１の画像に合成する合成処理を行うようにした、座標情報管理・画像加工合成部１０２が設けられる。すなわち、座標情報管理・画像加工合成部１０２は、画面１０４に表示される各画像の情報を管理することになる。

画像を出力する機器１００、１０１、・・・から出力された画像は、座標情報管理・画像加工合成部１０２で、表示すべき部分画像が互いに重ならないように加工され、１の画像に合成されて出力される。座標情報管理・画像加工合成部１０２から出力された画像は、例えば図示されない表示装置に供給され、画面１０４に表示される。

座標情報管理・画像加工合成部１０２と、画面１０４に対して画像の表示を行う機器１００、機器１０１は、それぞれ通信手段を有し、座標情報管理・画像加工合成部１０２と、画面１０４に対して画像の表示を行う機器それぞれとの間で通信を行うことができるようにされている。座標情報管理・画像加工合成部１０２は、例えば機器１００および機器１０１と通信を行うことにより、機器１００および機器１０１が画面１０４内で表示を行う表示領域を決める。

表示領域を示す情報は、例えば座標情報１０３として座標情報管理・画像加工合成部１０２に保持される。図３３の例では、画面１０４において機器１００の出力画像を表示する表示領域１０５Ａに対応する座標情報１０３Ａと、機器１０１の出力画像を表示する表示領域１０５Ｂに対応する座標情報１０３Ｂとが、座標情報１０３として座標情報管理・画像加工合成部１０２に保持される。

機器１００および機器１０１は、座標情報管理・画像加工合成部１０２から送信された表示領域を示す情報に基づき、当該表示領域に表示するための画像を生成し、出力する。このとき、機器１００や機器１０１は、設定された表示領域に表示させるのに相応しい画像を出力するように、それぞれ制御する。

座標情報管理・画像加工合成部１０２は、例えば画面１０４を表示するための表示装置に内蔵される。座標情報管理・画像加工合成部１０２を独立した装置として構成し、表示装置に接続して用いることも考えられる。また、後述するように、座標情報管理・画像加工合成部１０２を、画面１０４に表示する画像を出力する機器１００などに内蔵させることもできる。

図３４は、画面１０４に画像を表示させるための機器１００（または機器１０１）の一例の構成を示す。機器１００は、画像を出力する手段と、座標情報管理・画像加工合成部１０２と通信可能な通信手段と、通信手段で得られた情報に基づき出力画像を所定に制御する手段とを有していればよく、例えば図３４に概略的に示されるように、ＣＰＵ１１０、通信Ｉ／Ｆ１１３および画像生成部１１４を備えた構成とされる。

すなわち、この実施の第２の形態では、表示領域に基づく画像の加工や移動は、座標情報管理・画像加工合成部１０２において行われ、画像を出力する機器側では行わない。そのため、画面１０４に画像を表示させるための機器１００は、上述の実施の第１の形態による機器１０（図３参照）に対し、通信より取得した情報に基づき画像を加工、移動する画像処理部２５を省いた構成とされる。

ＣＰＵ１１０に対して、ＲＯＭ１１１およびＲＡＭ１１２が接続されると共に、通信Ｉ／Ｆ１１３が接続される。ＣＰＵ１１０は、ＲＯＭ１１１に予め記憶されたプログラムなどに従い、ＲＡＭ１１２をワークメモリとして用いてこの機器１００の全体を制御する。通信Ｉ／Ｆ１１３は、所定のプロトコルに従い、座標情報管理・画像加工合成部１０２と通信を行うことができるようにされている。

画像生成部１１４は、上述の機器１０における画像生成部２４と同様に、ＣＰＵ１１０の制御に基づき画像を生成する。生成された画像は、画像出力端１１５を介して外部に出力される。すなわち、画像生成部１１４は、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃなどの着脱可能なディスク状記録媒体、ハードディスク、半導体メモリといった記録媒体、ディジタルテレビジョン放送を受信可能なチューナ、所定のプログラムに基づくＣＧ描画などを画像ソースとして画像を生成し、出力する。

ＣＰＵ１１０は、座標情報管理・画像加工合成部１０２から送信され通信Ｉ／Ｆ１１３で受信された表示領域を示す情報に基づき、画像生成部１１４に対して所定の画像を出力するように命令することができる。画像生成部１１４は、この命令に従い、例えば、画像ソースから供給された画像を、１画面を構成する部分毎に選択して出力することができる。

図３５は、座標情報管理・画像加工合成部１０２の一例の構成を示す。この実施の第２の形態では、座標情報管理・画像加工合成部１０２は、画像を出力する機器それぞれの表示領域を設定すると共に、当該機器それぞれから供給された画像に対して、設定された表示領域に基づく加工や移動処理、ならびに、複数機器から供給された画像を１の画像に合成する合成処理を行う必要がある。そのため、座標情報管理・画像加工合成部１０２は、上述の実施の第１の形態における座標情報管理部１６（図４参照）に対して、画像処理部１２４が追加された構成とされる。

座標情報管理・画像加工合成部１０２は、図３５に例示されるように、ＣＰＵ１２０、ＲＯＭ１２１およびＲＡＭ１２２と、２以上の通信Ｉ／Ｆ１２７Ａ、１２７Ｂ、・・・を有すると共に、画像処理部１２４を有する。ＣＰＵ１２０は、ＲＯＭ１２１に予め記憶されたプログラムなどに基づき、ＲＡＭ１２２をワークメモリとして用いて動作し、座標情報管理・画像加工合成部１０２の全体を制御する。

通信Ｉ／Ｆ１２７Ａ、１２７Ｂ、・・・は、機器１００、１０１、・・・がそれぞれ有する通信Ｉ／Ｆ１１３のプロトコルに対応し、ＣＰＵ１２０の制御に基づき機器１００、１０１、・・・とデータ通信を行うことができる。適用可能な通信Ｉ／Ｆは、様々に考えられるが、ここではＨＤＭＩに対応した通信Ｉ／Ｆを用いるものとする。これに限らず、ＩＥＥＥ１３９４規格に対応した通信Ｉ／Ｆを用いることもできる。また、上述の実施の第１の形態と同様に、座標情報管理・画像加工合成部１０２と機器１００、機器１０１、・・・との間で通信を行う通信Ｉ／Ｆの種類は、機器１００、機器１０１、・・・の全てについて同一である必要はなく、異なる通信Ｉ／Ｆを混在させる構成とすることも可能である。例えば、ＨＤＭＩによる通信Ｉ／Ｆと、ＩＥＥＥ１３９４による通信Ｉ／Ｆとを混在させることが考えられる。

さらに、座標情報管理・画像加工合成部１０２に対して、赤外線信号を受信して電気信号に変換する、ＩＲ Ｉ／Ｆ１２３を設けることができる。ＩＲ Ｉ／Ｆ１２３は、対応するリモートコントロールコマンダ１３０からの赤外線信号を受信し、所定に電気信号に変換してＣＰＵ１２０に供給する。

なお、リモートコントロールコマンダ１３０による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

画像処理部１２４は、入力端１２５Ａ、１２５Ｂ、・・・に入力された画像のそれぞれに対し、ＣＰＵ１２０の制御に基づき所定に加工処理や移動処理を施す。さらに、画像処理部１２４は、加工処理や移動処理を施された複数の画像を、１の画像に合成する。合成された画像は、出力端１２６から外部に出力される。

２−１−２．実施の第２の形態による動作について
この発明の実施の第２の形態による一例の動作について、上述した図３３を参照すると共に、図３６を用いて説明する。座標情報管理・画像加工合成部１０２は、機器１００および機器１０１の接続が検知されると、所定のプロトコルに従い機器１００および機器１０１の識別処理を行う。機器の識別後、機器１００および機器１０１は、再生されるコンテンツの情報を、座標情報管理・画像加工合成部１０２に対して送信する。

座標情報管理・画像加工合成部１０２に対して送信すべきコンテンツの情報としては、例えば、当該コンテンツにより表示される画面の構成を示す情報が考えられる。画面構成を示す情報としては、例えば、複数ウィンドウを用いるか否か、複数ウィンドウを用いる場合、何個のウィンドウを用いるか、それぞれのサイズやレイアウトを示す情報などが考えられる。これに限らず、単に当該コンテンツの種類（テレビジョン放送、ゲーム、映画、・・・など）を示す情報を送信することも考えられる。

座標情報管理・画像加工合成部１０２は、機器１００および機器１０１から送信された、再生されるコンテンツの情報に基づき、機器１００から出力される画像を画面１０４に表示する際の表示領域１０５Ａと、機器１０１から出力される画像を画面１０４に表示する際の表示領域１０５Ｂとを決める。これに限らず、例えば機器毎に優先順位が設定されている場合に、優先順位に基づき表示領域の位置や大きさを決める方法も考えられる。表示領域１０５Ａを示す座標情報１０３Ａが指定表示座標情報として機器１００に送信される。同様に、表示領域１０５Ｂを示す座標情報１０３Ｂが指定表示座標情報として機器１０１に送信される（図３６参照）。

機器１００または機器１０１では、座標情報管理・画像加工合成部１０２から送信された座標情報１０３Ａまたは座標情報１０３Ｂに基づき、これら座標情報で示される表示領域に表示するのに相応しい画像を出力するように制御する。

一例として、機器１００が１のメインウィンドウ画像と複数のサブウィンドウ画像からなる、複数のウィンドウ画像を用いた画面を構成し、機器１００に設定された表示領域１０５Ａが画面１０４内で最も優先度が高い領域（図１４Ａ参照）であれば、機器１００は、メインウィンドウ画像を画面１０４に表示させる画像として選択して出力することが考えられる。また、これに限らず、表示領域に応じて再生するコンテンツそのものを変更することも考えられる。

図３３に例示されるように、機器１００は、機器１００に対して設定された表示領域１０５Ａに表示するのに相応しい画像が出力画像１００Ａ_orgであるとし、この出力画像１００Ａ_orgにおいて、画面１０４に表示すべき部分は、部分画像１００Ｂ_orgであるものとする。同様に、機器１０１は、機器１０１に対して設定された表示領域１０５Ｂに表示するのに相応しい画像が出力画像１０１Ａ_orgであるとし、この出力画像１０１Ａ_orgにおいて、画面１０４に表示すべき部分は、部分画像１０１Ｂ_orgであるものとする。機器１００および機器１０１は、これら出力画像１００Ａ_orgおよび出力画像１０１Ａ_orgを、それぞれ座標情報管理・画像加工合成部１０２に供給する。

座標情報管理・画像加工合成部１０２は、機器１００および機器１０１からそれぞれ供給されたこれら出力画像１００Ａ_orgおよび出力画像１０１Ａ_orgに対し、出力画像１００Ａ_orgおよび出力画像１０１Ａ_orgを１枚の画像に合成した際に、画面１０４に表示すべき部分画像１００Ｂ_orgおよび１０１Ｂ_orgが互いに重ならないように、設定された表示領域１０５Ａおよび１０５Ｂに基づき加工処理を施す。

座標情報管理・画像加工合成部１０２において、ＣＰＵ１２０が画像処理部１２４を制御することで、機器１００および機器１０１から供給された画像１００Ａ_orgおよび出力画像１０１Ａ_orgに対する加工処理を行う。

画像処理部１２４では、機器１００の出力画像１００Ａ_orgにおける表示すべき部分画像１００Ｂ_orgを加工および移動処理して部分画像１００Ｂとし、この部分画像１００Ｂを含む画像１００Ａを得る。同様に、機器１０１の出力画像１０１Ａ_orgにおける表示すべき部分画像１０１Ｂ_orgを加工および移動処理して部分画像１０１Ｂとし、部分画像１０１Ｂを含む画像１０１Ａを得る。さらに、画像処理部１２４は、画像１００Ａおよび画像１０１Ａを合成し、１枚の画像を形成する。

こうして形成された画像は、機器１００による部分画像１００Ｂと、機器１０１による部分画像１０１Ｂとが互いに重ならないように、それぞれ表示領域１００Ａおよび１０１Ａに合わせて加工および移動処理された画像である。この画像は、図示されない表示装置に供給され、画面１０４として映出される。

２−１−３．実施の第２の形態による画像加工および合成処理の例について
画像処理部１２４における処理の方法としては、入力される画像それぞれに対応する複数のプレーンを用いて加工、合成を行う方法と、１のプレーン上で加工、合成を行う方法との２通りが考えられる。

図３７は、複数プレーンを用いる場合の、画像処理部１２４の一例の構成を示す。画像処理部１２４は、例えば、入力端１２５Ａ、１２５Ｂ、・・・にそれぞれ対応したプレーン１４１Ａ、１４１Ｂ、・・・を有し、これらプレーン１４１Ａ、１４１Ｂ、・・・上のデータを加算器１４２で加算することで、１の画像を形成する。

画像加工部１４０は、ＣＰＵ１２０の制御に基づき、プレーン１４１Ａ、１４１Ｂ、・・・上の画像データに対し、拡大、縮小といったサイズ変更や、移動などの加工処理を施す。プレーン１４１Ａ、１４１Ｂ、・・・上の画像データに対する不透明度αの設定も、画像加工部１４０で行うことができる。なお、複数プレーンを合成して１の画像を形成する方法については、図９を用いて上述した方法と共通するので、繁雑さを避けるために詳細な説明を省略する。

図３８は、１のプレーン上で画像の加工、合成を行う場合の、画像処理部１２４の一例の構成を示す。画像処理部１２４は、例えば、入力端１２５Ａ、１２５Ｂ、・・・にそれぞれ対応した画像加工部１５０Ａ、１５０Ｂ、・・・と、画像加工部１５０Ａ、１５０Ｂ、・・・から出力された画像データを格納するプレーン１５１を有する。画像加工部１５０Ａ、１５０Ｂ、・・・のそれぞれは、ＣＰＵ１２０の制御に基づき、対応する入力端１２５Ａ、１２５Ｂ、・・・から供給された画像データに対して、拡大、縮小といったサイズ変更や、移動といった加工処理を行う。画像加工部１５０Ａ、１５０Ｂ、・・・で加工などを施された画像データは、それぞれプレーン１５１に書き込まれる。

なお、画像処理部１２４における拡大縮小といったサイズ変更や、移動といった加工処理は、例えば機器１００や機器１０１から送信されるコンテンツ情報に基づきなされる。一例として、コンテンツ情報に対し、表示すべき部分画像１００Ｂ_orgの出力画像１００Ａ_org内での座標情報を含める（機器１００の場合）。画像処理部１２４は、この座標情報に基づき部分画像１００Ｂ_orgのクリッピングなどを行い、選択された範囲に対して拡大縮小といったサイズ変更処理、移動処理などを施す処理が考えられる。例えばクリッピングされた部分画像１００Ｂ_orgだけを別途、メモリに保持し、保持された部分画像１００Ｂ_orgをプレーン上に書き込む際に、拡大縮小といったサイズ変更、移動などの処理を行い、加工された部分画像１００Ｂを得る。

２−１−４．実施の第２の形態によるウィンドウ制御について
この実施の第２の形態によるウィンドウ制御は、上述した実施の第１の形態におけるウィンドウ制御と同様に考えることができる。すなわち、この実施の第２の形態においても、ウィンドウ制御は、画像を出力する機器１００や機器１０１側において、ウィンドウ画像毎の優先順位を定義し、座標情報管理・画像合成部１０２側において、画面１０４内の表示位置に対する優先度を定義する。

一方、例えば機器１００は、座標情報管理・画像加工合成部１０２から送信された表示領域１０５Ａを示す情報に基づき、ウィンドウ画像毎に定義された優先順位を参照して、表示領域１０５Ａに表示するのに相応しい出力画像１００Ａ_orgを形成する。例えば機器１００が複数のウィンドウ画像を用いて出力画像を構成する場合、機器１００は、表示領域１０５Ａを示す情報に基づき表示領域１０５Ａの画枠サイズや形状、画面１０４内における位置などを判断し、表示領域１０５Ａに表示すべきウィンドウ画像を選択して、表示領域１０５Ａに対応した出力画像１００Ａ_orgを形成する。

座標情報管理・画像加工合成部１０２は、画面１０４内の表示位置に対して定義された優先度を参照しながら、機器１００から供給された出力画像１００Ａ_org内に含まれる、例えばウィンドウ画像からなる部分画像１００Ｂ_orgに対して加工および移動処理を施し、表示領域１０５Ａに表示するのに適するように変更された部分画像１００Ｂを含む画像１００Ａを形成する。座標情報管理・画像加工合成部１０２は、機器１０１から供給された出力画像１０１Ａ_orgおよびこの出力画像１０１Ａ_orgに含まれる部分画像１０１Ｂ_orgに対しても同様の処理を行い、表示領域１０５Ｂに表示するのに適するように変更された部分画像１０１Ｂを含む画像１００を形成する。座標情報管理・画像加工合成部１０２は、これら画像１００Ａおよび１０１Ａを所定の方法で１枚の画像に合成し、画面１０４に表示するための画像を得る。

なお、この実施の第２の形態においても、実施の第１の形態で説明した、表示領域の決定に際してテンプレートやテーブルを用いる例は、同様にして適用することができる。このとき、座標情報管理・画像加工合成部１０２において使用するテンプレートが切り換えられた場合、その旨を機器１００および機器１０１に通知することが考えられる。こうすることで、機器１００や機器１０１側では、テンプレートの切り換えに応じた部分画像の出力の変更や、再生するコンテンツの変更などに対応することができる。

２−１−５．実施の第２の形態によるカーソル制御について
この実施の第２の形態では、上述したように、座標情報管理・画像加工合成部１０２において画面１０４に表示される全ての画像の情報を管理できる。そのため、座標情報管理・画像加工合成部１０２は、例えばリモートコントロールコマンダ１３０に対する操作に応じて、フォーカスされカーソルが表示されるウィンドウ画像を直接的に指定することができる。カーソルを表示するウィンドウ画像の情報は、対応する機器に対して送信される。当該機器側では、送信された情報に基づき指定されたウィンドウ画像に対してカーソルを表示させるような画像処理を行ったり、指定されたウィンドウ画像に応じた制御に移行することができる。

すなわち、図３９に例示されるように、当初、機器１００の出力画像１００Ａにおけるウィンドウ画像１００Ｂにカーソルが表示されているものとする。この状態で、例えばリモートコントロールコマンダ１３０に対する操作（右方向指示操作とする）によりカーソルを移動させる指示がなされた場合、座標情報管理・画像加工合成部１０２は、現在カーソルが表示されているウィンドウ画像１００Ｂに対応する機器に対して、カーソル表示解放の指示を送信する。

それと共に、座標情報管理・画像加工合成部１０２は、画面１０４における各ウィンドウ画像の情報に基づき、カーソルの移動先がどのウィンドウ画像であるかを判断し、カーソル移動先のウィンドウ画像に対応する機器（機器１０１とする）に対して、カーソル移動先のウィンドウ画像（ウィンドウ画像１０１Ｂとする）のフォーカス指示を送信する。フォーカス指示は、例えばカーソルの移動先であるウィンドウ画像１０１Ｂを示す情報としてもよいし、リモートコントロールコマンダ１３０の操作に応じた方向キー入力をそのまま用いることもできる。

機器１０１は、このフォーカス指示に応じて、指定されたウィンドウ画像１０１Ｂにフォーカスを移動させ、当該ウィンドウ画像１０１Ｂに対してカーソル１７０を表示させる。また、座標情報管理・画像加工合成部１０２は、カーソル表示の機器１００および機器１０１の間での移動に伴い、リモートコントロールコマンダ１３０に対してなされた操作に基づく制御信号の送信先も、機器１００および機器１０１の間で移動させる。カーソルの移動に伴う機器の制御の切り換えは、上述した実施の第１の形態と同様にして行うことができる。

これに限らず、この実施の第２の形態によるカーソル制御についても、上述した実施の第１の形態におけるカーソル制御と同様に考えることもできる。すなわち、座標情報管理・画像加工合成部１０２は、例えばリモートコントロールコマンダ１３０に対する操作により、カーソルを移動させる指示がなされた場合、現在カーソルが表示されている表示領域に対応する機器（機器１００とする）に対してカーソル表示解放の指示を送信する。機器１００は、この指示に応じてカーソル表示を解除すると共に、直前までフォーカスされカーソルが表示されていた部分画像１００Ｂの位置およびサイズの情報を、移動元のフォーカスに関する位置およびサイズ情報として、座標情報管理・画像加工合成部１０２に対して送信する。

座標情報管理・画像加工合成部１０２は、この移動元のフォーカスに関する情報に基づき、フォーカスの移動先となる表示領域（表示領域１０５Ｂとする）を判断し、表示領域１０５Ｂに対応する機器（機器１０１）の情報を取得する。そして、取得されたカーソルの移動先の表示領域に対応する機器である機器１０１に対して、移動元のフォーカスに関する位置およびサイズの情報を送信する。機器１０１は、この情報に基づき出力画像１０１Ｂに対してカーソルを所定に表示させる。

なお、ここでは、カーソルの画像を、画面１０４に対して画像を表示させる機器１００、１０１側で生成するように説明したが、これはこの例に限られない。すなわち、この実施の第２の形態においては、機器１００や機器１０１から出力された画像は、座標情報管理・画像加工合成部１０２において拡大、縮小といったサイズ変更などの加工処理が施されるので、機器１００や機器１０１側で生成したカーソルの画像は、画面１０４に表示される際には不自然な画像になっている可能性がある。そのため、この実施の第２の形態においては、カーソルの画像を座標情報管理・画像加工合成部１０２において生成し、画面１０４に表示させるための画像に対して合成させることが考えられる。

図４０は、座標情報管理・画像加工合成部１０２に対してカーソル画像の生成を行うカーソル画像生成部１２８を追加した、座標情報管理・画像加工合成部１０２’の一例の構成を示す。なお、図４０において、上述した図３５と共通する部分には同一の符号を付し、詳細な説明を省略する。

カーソル画像生成部１２８は、ＣＰＵ１２０の制御に基づきカーソルを表示するためのカーソル画像を所定に生成する。例えば、フォーカスされた部分画像（ウィンドウ画像など）に対して所定の枠表示を付加することでカーソルが表現される場合、当該部分画像のサイズおよび位置情報がＣＰＵ１２０からカーソル画像生成部１２８に対して供給される。カーソル画像生成部１２８は、この情報に基づきカーソルを表示するためのカーソル画像を生成し、画像処理部１２４に供給する。画像処理部１２４は、このカーソル画像を、対応する部分画像に対して所定に合成して出力画像を形成する。

なお、この実施の第２の形態においても、実施の第１の形態で説明したような、カーソルの移動方向を示すガイドの表示は、同様にして行うことができる。この実施の第２の形態の場合、図４１に例示されるように、座標情報管理・画像加工合成部１０２に対して、ガイドを表示するための画像を生成するガイド画像生成部１２９を追加して座標情報管理・画像加工合成部１０２”とする。ＣＰＵ１２０は、画面１０４に表示される各ウィンドウ画像の位置関係と、現在のカーソル位置とに基づき、実施の第１の形態で説明したようにして、例えばリモートコントロールコマンダ１３０の方向キーを操作した際にカーソルが移動するウィンドウ画像を判断する。この判断結果に基づき、ガイド画像生成部１２９により所定にガイドを表示するための画像が生成される。このガイドを表示するための画像は、画像処理部１２４で出力画像に対して所定に合成され、画面１０４に表示される。

なお、このガイド画像生成部１２９と、上述したカーソル画像生成部１２８とを、共通の構成としてもよい。

また、この実施の第２の形態においても、実施の第１の形態で上述したような、カーソルの移動に伴い画面１０４に表示される全てのウィンドウ画像や部分画像を対象に、再配置を行う例は、同様にして適用される。この場合、ウィンドウ画像や部分画像の再配置は、座標情報管理・画像加工合成部１０２で行うことができる。

さらに、この実施の第２の形態においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第１の形態などと同様にして行うことができる。すなわち、この実施の第２の形態においては、音声切り換え手段が画像処理部１０２に設けられることになる。

２−２．この発明の実施の第２の形態の変形例について
次に、この発明の実施の第２の形態の変形例について説明する。上述の実施の第２の形態では、画面１０４に表示するために、複数の機器から出力された画像を１の画像に合成する座標情報管理・画像加工合成部１０２が、画像出力を行う機器とは別途に存在していた。この実施の第２の形態の変形例では、座標情報管理・画像加工合成部１０２を画像出力を行う機器に内蔵させる。以下では、機器１００に座標情報管理・画像加工合成部１０２を内蔵させるものとして説明を行う。

２−２−１．実施の第２の形態の変形例によるシステム構成について
図４２は、この実施の第２の形態の変形例による、座標情報管理・画像加工合成部１０２’が内蔵された機器１００’の一例の構成を示す。なお、図４２において、上述した図３４および図３５と共通する部分には同一の符号を付し、詳細な説明を省略する。また、画面１０４に画像を表示するための他の機器、例えば機器１０１は、図３４を用いて説明した機器１００と同等の構成とする。

図４２を参照し、機器１００’に内蔵される座標情報管理・画像加工合成部１０２’は、例えば座標制御部１４０およびＲＯＭ１４１を有し、機器１００’のＣＰＵ１１０にその動作を制御される。また、ＣＰＵ１１０に対して通信Ｉ／Ｆ１４２Ａ、１１４２Ｂ、・・・が接続される。座標制御部１４０は、ＣＰＵであってもよいし、所定の回路で構成されていてもよい。これに限らず、座標制御部１４０は、ＣＰＵ１１０上で動作するプログラムであってもよい。

ＲＯＭ１４１は、例えば上述したテンプレートを複数、予め記憶することができる。座標制御部１４０がＣＰＵで構成されるときは、ＲＯＭ１４１にプログラムデータが予め格納され、座標制御部１４０は、ＲＯＭ１４１に格納されたプログラムデータに従い、図示されないＲＡＭをワークメモリとして用いて表示領域の管理や、供給された画像の加工処理などを行う。座標制御部１４０がＣＰＵ１１０上で動作するプログラムにより構成されるときは、ＲＯＭ１４１を省略し、ＣＰＵ１１０に接続されるＲＯＭ１１１にテンプレートの記憶などを行うことができる。

機器１００’と、画面１０４に画像を表示するための他の機器（例えば機器１０１）とは、後述する図４３に例示されるように、所定のケーブルを用いて直接的に接続することができる。例えば、機器１０１から機器１００’に対して出力画像を供給するためのＨＤＭＩケーブルによるデータ通信に対応したものとすることが考えられる。これに限らず、ＩＥＥＥ１３９４規格に対応したケーブルを介して、機器１０１と機器１００’との間での通信を行うこともできる。

また、機器１００’において、赤外線信号を受信するＩＲ Ｉ／Ｆ１４３を設け、リモートコントロールコマンダ１３０からの指示を受信可能とすることができる。ユーザ操作に応じてリモートコントロールコマンダ１３０から送信された赤外線信号は、ＩＲ Ｉ／Ｆ１４３に受信され、所定の制御信号に変換されてＣＰＵ１１０に渡される。ＣＰＵ１１０は、この制御信号に基づき機器１００’の各部を制御する。また、ＣＰＵ１１０は、リモートコントロールコマンダ１３０から送信された赤外線信号に応じて、所定の制御信号を通信Ｉ／Ｆ１４２Ａ、１４２Ｂ、・・・を介して、機器１０１といった他の機器に送信することができる。

リモートコントロールコマンダ１３０による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

図４３は、この実施の第２の形態の変形例による、座標情報管理・画像加工合成部１０２’が内蔵された機器１００’を用いた場合の一例のシステム構成を示す。なお、図４３において、上述した図３３と共通する部分には同一の符号を付し、詳細な説明を省略する。

図４３において、機器１０１と機器１００’とがＨＤＭＩケーブルで接続され、機器１０１から出力された出力画像がＨＤＭＩケーブルを介して、例えば入力端１２５Ａから機器１００’に入力され、画像処理部１２４に供給される。また、機器１００’側の通信Ｉ／Ｆ１４２Ａと機器１０１側の通信Ｉ／Ｆ１１３とが、ＨＤＭＩのデータ通信機能で通信可能に接続される。機器１００’の画像生成部１１４から出力された出力画像と機器１０１から出力された出力画像とが画像処理部１２４にそれぞれ供給され、所定に加工や移動処理をされ、さらに１枚の画像に合成され、図示されない表示装置の画面１０４に表示される。

２−２−２．実施の第２の形態の変形例による動作について
次に、この実施の第２の形態の変形例による概略的な動作について、図４３を用いると共に、上述した図３６を参照しながら説明する。なお、図３６においては、機器１００を機器１００’に、座標情報管理・画像加工合成部１０２を座標情報管理・画像加工合成部１０２’に、それぞれ読み替えるものとする。

機器１００’において、ＣＰＵ１１０は、機器１０１の接続が検知されると、所定のプロトコルに従い機器１０１の識別処理を行う。機器１０１の識別後、機器１０１から機器１００’に対して、再生されるコンテンツの情報が送信される。この情報は、機器１００’の例えば通信Ｉ／Ｆ１４２Ａに受信され、ＣＰＵ１１０に渡される。また、ＣＰＵ１１０は、機器１００’において再生されるコンテンツの情報を例えば画像生成部１１４から取得する。ＣＰＵ１１０は、機器１０１から取得されたコンテンツ情報と、自身の機器１００’から取得されたコンテンツ情報とに基づき座標制御部１４０を制御する。

座標制御部１４０は、機器１０１から取得されたコンテンツ情報と、自身の機器１００’から取得されたコンテンツ情報とに基づくＣＰＵ１１０の制御により、機器１００’から出力される画像を画面１０４に表示する際の表示領域１０５Ａと、機器１０１から出力される画像を画面１０４に表示する際の表示領域１０５Ｂとを決める。機器毎に優先順位が設定されている場合に、優先順位に基づき表示領域の位置や大きさを決めてもよい。

機器１００’において、機器１００’自身に設定された表示領域１０５Ａを示す座標情報が指定表示座標情報として座標制御部１４０からＣＰＵ１１０に渡される。機器１００’のＣＰＵ１１０は、この指定表示座標情報に基づき表示領域１０５Ａに表示するのに相応しい画像を出力するように機器１００’の画像生成部１１４を制御する。

一方、表示領域１０５Ｂを示す座標情報も、機器１０１に対する指定表示座標情報として機器１００’において座標制御部１４０からＣＰＵ１１０に渡され、通信Ｉ／Ｆ１４２Ａによって機器１０１に送信される。機器１０１においても同様に、機器１０１のＣＰＵ１１０は、この指定表示座標情報に基づき表示領域１０５Ｂに表示するのに相応しい画像を出力するように、機器１０１の画像生成部１１４を制御する。

機器１００’において、画像生成部１１４で画面１０４に表示する部分画像１００Ｂ_orgを含む画像１００Ａ_orgが生成され、画像処理部１２４に供給される。また、機器１０１において、画像生成部１１４で画面１０４に表示する部分画像１０１Ｂ_orgを含む画像１０１Ａ_orgが生成される。この画像１０１Ａは、機器１００’に入力され、例えば入力端１２５Ａから画像処理部１２４に供給される。

画像処理部１２４は、供給された画像１００Ａ_orgおよび画像１０１Ａ_orgに対して、表示領域１０５Ａおよび１０５の座標情報に基づきそれぞれの画像に含まれる部分画像１００Ｂ_orgおよび部分画像１０１Ｂ_orgに対して、既に説明したようにして拡大縮小といったサイズ変更、移動などの加工処理を所定に施し、加工された画像１００Ａおよび部分画像１００Ｂ、ならびに、画像１０１Ａおよび部分画像１０１Ｂを得る。この加工処理により、これらの画像１００Ａ_orgおよび画像１０１Ａ_orgを１枚の画像に合成した際に、それぞれの画像に含まれる、画面１０４に表示するための部分画像１００Ｂ_orgおよび部分画像１０１Ｂ_orgが互いに重ならないようにする。

画像処理部１２４は、加工処理された画像１００Ａおよび画像１０１Ａを所定に１の画像に合成し、出力する。出力された画像は、出力端子１２６から出力され、図示されない表示装置に供給されて画面１０４が表示される。

なお、この実施の第２の形態の変形例においても、画像処理部１２４においてなされる画面１０４に表示するための画像の加工や移動処理は、上述した実施の第２の形態で説明した方法を同様に適用することができる。また、複数機器から出力された出力画像の合成方法も、機器毎にプレーンを用意して合成する方法や、１のプレーンのみを用いて画像を合成する方法など、上述した実施の第２形態で説明した方法をそのまま適用することができる。すなわち、画像処理部１２４は、例えば図３７または図３８を用いて説明した何れかの構成とすることができ、加工および合成処理を、複数プレーンを用いる方法と、１のプレーンのみを用いる方法とのうち何れかで行うことができる。

ウィンドウ制御やテンプレートの使用についても、実施の第２の形態で説明した方法を、同様に、この実施の第２の形態の変形例に適用することができる。なお、この実施の第２の形態の変形例では、ホスト機器として動作する機器１００’側の優先順位が、機器１００’に接続される他の機器に対して常に高くなるように設定できる。

さらに、カーソル制御についても、実施の第２の形態で説明した方法を、同様に、この実施の第２の形態の変形例に適用することができる。なお、カーソルを移動させるための指示は、機器１００’においてＣＰＵ１１０から画像生成部１１４に渡されると共に、ＣＰＵ１１０から座標制御部１４０に渡されて、通信Ｉ／Ｆ１４２Ａ、１４２Ｂ、・・・から、機器１００’に接続される他の機器に対して送信される。

カーソルを表示するためのカーソル画像や、フォーカスの移動先を示すガイド画像は、例えば図４０や図４１を用いて説明したように、機器１００’に対してカーソル画像生成部やガイド画像生成部をさらに設け、これらカーソル画像生成部やガイド画像生成部で生成されたカーソル画像やガイド画像を画像処理部１２４で出力画像と合成することが考えられる。

上述のウィンドウ制御やテンプレートの使用、カーソル制御は、機器１００’が稼働状態にあれば、機器１００’がコンテンツの再生に伴う画像出力を行っているか否かに関わらず、実行させることが可能とされる。

さらにまた、この実施の第２の形態の変形例においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第２の形態などと同様にして行うことができる。この実施の第２の形態の変形例では、音声切り換え手段が効き１００’に対して設けられることになる。

３．この発明の実施の第３の形態（独立方式）について
次に、この発明の実施の第３の形態について説明する。この実施の第３の形態は、機器毎の表示を管理する表示管理部を設け、この表示管理部が画像出力を行う複数の機器から供給された画像をそれぞれ解析する。表示管理部は、この解析結果に基づき機器毎の表示すべき部分画像や、各画像の空き領域を検出する。この各画像の空き領域に基づき複数の機器毎の表示領域を機器毎の画像を１の画像に合成した際に互いに重ならないように設定する。そして、機器毎の表示すべき部分画像を、各表示領域に収まるように拡大縮小といったサイズ変更、移動などの加工処理を施し、さらに画像合成を行い、画面に表示するための１の画像を形成する。この実施の第３の形態では、表示管理部が画像解析を行って表示すべき画像を抽出するので、表示管理部と各機器との間で、座標情報の通信などを行う必要が無い。

３−１−１．実施の第３の形態によるシステム構成
図４４は、この実施の第３の形態によるシステムの一例の構成を概略的に示す。なお、図４４において、画面２０４は、上述した図１の画面１４に対応する。このシステムにおいては、画面２０４の表示領域および表示画像を管理する表示管理部２０２を設ける。表示管理部２０２は、独立した装置として構成してもよいし、画面２０４を表示する表示装置に内蔵される構成としてもよい。表示管理部２０２は、画面２０４に表示させるために画像を出力する機器２００、２０１、・・・から供給された画像２００Ａ_org、２０１Ａ_org、・・・を解析し、解析結果に基づきそれぞれの画像から画面２０４に表示すべき部分画像２００Ｂ_org、２０１Ｂ_org、・・・を抽出する。

さらに、表示管理部２０２は、抽出されたこれら部分画像２００Ｂ_org、２０１Ｂ_org、・・・が画面２０４に同時に表示された際に互いに重ならないように、画像２００Ａ_org、２０１Ａ_org、・・・に対して加工や移動処理を施し、部分画像２００Ｂを含む画像２００Ａと、部分画像２０１Ｂを含む画像２０１Ａとが得られる。これら画像２００Ａ、２０１Ａ、・・・は、表示管理部２０２において１の画像に合成され、出力される。表示管理部２０２から出力された画像は、例えば図示されない表示装置に供給され、画面２０４に表示される。

図４５は、表示管理部２０２の一例の構成を示す。ＣＰＵ２１０は、ＲＯＭ２１１に予め記憶されたプログラムに従い、ＲＡＭ２１２をワークメモリとして用いてこの表示管理部２０２の全体を制御する。ＲＯＭ２１１に上述したテンプレートのデータを予め記憶しておくこともできる。

画像処理部２１３は、ＣＰＵ２１０の制御に基づき、入力端２１４Ａ、２１４Ｂ、・・・に入力された画像をそれぞれ解析し、解析結果に基づきこれらの画像に含まれる表示すべき部分画像を抽出する。表示管理部２０２は、また、抽出されたこれらの部分画像に対して拡大縮小といったサイズ変更や移動などの加工処理を施し、これらの画像が最終的に１の画像に合成された際に、それぞれの部分画像が互いに重ならないようにする。表示管理部２０２は、さらに、入力端２１４Ａ、２１４Ｂ、・・・から供給された加工された複数の画像を合成し、１の画像を形成する。この画像は、出力端２１５から出力される。

また、表示管理部２０２において、赤外線信号を受信するＩＲ Ｉ／Ｆ２１６を設け、リモートコントロールコマンダ２２０からの指示を受信可能とすることができる。ユーザ操作に応じてリモートコントロールコマンダ２２０から送信された赤外線信号は、ＩＲ Ｉ／Ｆ２１６に受信され、所定の制御信号に変換されてＣＰＵ２１０に渡される。ＣＰＵ２１０は、この制御信号に基づき表示管理部２０２の各部を制御する。

リモートコントロールコマンダ２２０による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

図４６は、画像処理部２１３の一例の構成を示す。画像処理部２１３は、例えば入力端２１４Ａ、２１４Ｂ、・・・にそれぞれ対応する複数の画像抽出部２３０Ａ、２３０Ｂ、・・・と、これら画像抽出部２３０Ａ、２３０Ｂ、・・・から出力された画像を合成して１の画像を出力する合成部２３１とを有する。画像抽出部２３０Ａ、２３０Ｂ、・・・のそれぞれは、ＣＰＵ２１０の制御に基づき、入力された画像から表示すべき部分画像を抽出する。画像抽出部２３０Ａ、２３０Ｂ、・・・で抽出された部分画像は、それぞれ合成部２３１に供給される。合成部２３１は、ＣＰＵ２１０の制御に基づき、供給されたこれらの部分画像を、部分画像同士が互いに重ならないように配置して、１の画像に合成する。

図４７は、画像抽出部２３０Ａ、２３０Ｂ、・・・の一例の構成を画像抽出部２３０Ａで代表させて示す。画像抽出部２３０Ａは、例えばフレームメモリ２４０、画像解析部２４１および画像切出部２４２を有する。入力端２１４Ａから入力された画像（画像２００Ａ_orgとする）は、一旦、フレームメモリ２４０に書き込まれる。画像解析部２４１は、ＣＰＵ２１０の制御に基づき、フレームメモリ２４０に書き込まれた画像２００Ａ_orgを解析し、画像２００Ａ_orgに含まれる部分画像２００Ｂ_orgの座標を検出する。

図４８は、この実施の第３の形態に適用可能な機器２００（または機器２０１）の一例の構成を示す。ＣＰＵ２５０は、ＲＯＭ２５１に予め記憶されたプログラムに従い、ＲＡＭ２５２をワークメモリとして用いてこの機器２００（または機器２０１）の全体を制御する。画像生成部２５３は、上述の機器１０における画像生成部２４と同様に、ＣＰＵ２５０の制御に基づき画像を生成する。生成された画像は、画像出力端２５４を介して外部に出力される。すなわち、画像生成部２５３は、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃなどの着脱可能なディスク状記録媒体、ハードディスク、半導体メモリ、磁気テープといった記録媒体、ディジタルテレビジョン放送を受信可能なチューナ、所定のプログラムに基づくＣＧ描画などを画像ソースとして画像を生成し、出力する。

この実施の第３の形態では、画像を出力する側の機器２００（または機器２０１）と表示管理部２０２との間で、座標情報などのデータ通信は、行われない。そのため、機器２００（または機器２０１）側においても、表示管理部２０２と通信を行う通信Ｉ／Ｆを設ける必要が無い。

図４９は、この実施の第３の形態に適用可能な機器２００（または機器２０１）の別の例の構成を示す。この図４９の構成によれば、機器２００（または機器２０１）は、画像を出力するための画像生成部２６０のみを有する。画像生成部２６の出力画像は、出力端２６１から出力され、表示管理部２０２に供給される。この実施の第３の形態では、表示管理部２０２とのデータ通信が必要ないので、機器２００（または機器２０１）は、このような構成であっても適用可能とされる。

また、この画像生成部２６０や、上述の図４８で示した画像生成部２５０が出力する画像は、ディジタル方式の画像信号に限らず、アナログ方式の画像信号でもよい。この場合、表示管理部２０２側で、アナログ方式の画像信号をディジタル方式の画像信号に変換する、Ａ／Ｄ変換器が必要とされる。

３−１−２．実施の第３の形態による動作について
この発明の実施の第３の形態による一例の動作について、上述した図４４を参照すると共に、図５０を用いて説明する。図５０に示されるように、この実施の第３の形態においては、表示管理部２０２と、画像を出力する機器２００、２０１、・・・との間で、座標情報などのデータ通信は行われない。したがって、機器２００、２０１、・・・は、特定の規格に対応した通信Ｉ／Ｆや特定のプロトコルに対応している必要が無い。

図４４を参照し、機器２００から、表示すべき部分画像２００Ｂ_orgを含んだ画像２００Ａ_orgが出力される。機器２０１から、表示すべき部分画像２０１Ｂ_orgを含んだ画像２０１Ａ_orgが出力される。これら画像２００Ａ_orgおよび画像２０１Ａ_orgは、表示管理部２０２に供給され、例えば入力端２１４Ａおよび２１４Ｂにそれぞれ入力される。

表示管理部２０２は、ＣＰＵ２１０の制御に基づき、画像処理部２１３内の画像抽出部２３０Ａおよび２３０Ｂそれぞれにおける画像解析部２４１で、入力された画像２００Ａ_orgおよび２０１Ａ_orgをそれぞれ解析し、画像２００Ａ_orgから部分画像２００Ｂ_orgを検出すると共に、画像２０１Ａ_orgから部分画像２０１Ｂ_orgを検出する。そして、ＣＰＵ２１０の制御に従い、検出された部分画像２００Ｂ_orgおよび２０１Ｂ_orgの情報に基づき、機器２００からの画像を表示する表示領域２０３Ａと、機器２０１からの画像を表示する表示領域２０３Ｂとをそれぞれ設定する。設定された表示領域２０３Ａおよび２０３Ｂを示す座標情報２０３が、例えば表示管理部２０２のＲＡＭ２１２に記憶される。

表示管理部２０２は、画像抽出部２３０Ａおよび２３０Ｂそれぞれで抽出された部分画像２００Ｂ_orgおよび２０１Ｂ_orgに対し、表示領域２０３Ａおよび２０３Ｂの情報に基づき、部分画像２００Ｂ_orgおよび２０１Ｂ_orgが１の画像に合成された際に互いに重ならないように、画像処理部２１３で拡大縮小といったサイズ変更、移動などの処理を施し、部分画像２００Ｂおよび２０１Ｂを得る。これら部分画像２００Ｂを含む画像２００Ａと、部分画像２０１Ｂを含む画像２０１Ａとが画像処理部２１３内の合成部２３１で１の画像に合成され、出力端２１５から出力される。この画像は、図示されない表示装置に供給され、画面２０４に表示される。

３−１−３．画像解析の例について
画像解析部２４１による画像解析方法は、様々に考えられる。一例として、図５１Ａに例示されるように、例えば解析すべき画像２００Ａ_orgを出力する機器２００側において予め、部分画像２００Ｂ_org以外の部分（背景と呼ぶ）が所定色や所定パターンになるように画像２００Ａ_orgを形成し、画像解析部２４１においてこの所定色や所定パターンを検出することで、部分画像２００Ｂ_orgの範囲を示す座標（ｘ₁₁，ｘ₁₂，ｙ₁₁，ｙ₁₂）を求めることが考えられる。

この場合には、表示管理部２０２側で、この所定色や所定パターンの情報を予め持っているようにする。所定色や所定パターンの情報は、例えばＲＯＭ２１１に予め記憶させる。ＣＰＵ２１０は、ＲＯＭ２１１に記憶された所定色や所定パターンの情報に基づき、画像処理部２１３内の画像解析部２４１を制御し、画像２００Ａ_orgを解析し、部分画像２００Ｂ_orgの座標を検出する。

背景を示す所定色は、様々に考えられる。Ｒ（赤色）、Ｇ（緑色）またはＢ（青色）といった原色を用いてもよいし、無色を指定する色を用いることも考えられる。無色指定色は、すなわち、透過属性が対応付けられた色であって、無色指定色とされた画素は、所定のプログラムの下で、例えば下にあるプレーンの画素が透過されて表示される。

部分画像２００Ｂ_orgの範囲を検出する方法は、これに限らず、様々に考えられる。一例として、画像解析部２４１は、画像２００Ａ_org内の色などの分布を調べることで部分画像２００Ｂ_orgの範囲を検出することも考えられる。例えば、画像２００Ａ_org内で連続した所定面積以上にわたって同一色が分布しているとき、その色部分を背景と判断し、当該色以外の部分を部分画像２００Ｂ_orgの範囲であると判断することが考えられる。

画像解析部２４１による画像解析方法の他の例として、図５１Ｂに例示されるように、解析すべき画像２００Ａ_orgを出力する機器２００側において予め、部分画像２００Ｂ_orgに対して所定のマーカ２５０、２５０、・・・を付与しておくことが考えられる。この図５１Ｂの例では、最小単位の市松模様が、マーカ２５０、２５０、・・・として部分画像２００ＢＯＲＧの四隅に付与されている。画像解析部２４１は、画像２００Ａ_orgを解析してマーカ２５０、２５０、・・・を検出することで、部分画像２００Ｂ_orgの範囲を示す座標（ｘ₂₁，ｘ₂₂，ｙ₂₁，ｙ₂₂）を求めることが考えられる。

この場合にも、上述と同様に、表示管理部２０２側で、このマーカ２５０、２５０、・・・の情報を予め持っているようにする。マーカ２５０、２５０、・・・の情報は、例えばマーカ２５０、２５０、・・・それぞれの形状や色、パターンなどの情報からなる。マーカ２５０、２５０、・・・の情報は、例えばＲＯＭ２１１に予め記憶させる。ＣＰＵ２１０は、ＲＯＭ２１１に記憶されたマーカ２５０、２５０、・・・の情報に基づき、画像処理部２１３内の画像解析部２４１を制御し、画像２００Ａ_orgを解析し、部分画像２００Ｂ_orgの座標を検出する。

マーカ２５０、２５０、・・・は、図５１Ｂに例示されるような特殊な形状のものに限られない。例えば、機器２００がパーソナルコンピュータであって、入力される画像２００Ａ_orgがパーソナルコンピュータのＯＳ(Operating System)において一般的に用いられるウィンドウを表示する画像とすることも考えられる。ウィンドウの形状に関する情報は、例えばＲＯＭ２１１に予め記憶させておく。このとき、例えばウィンドウ内に所定のアイコン画像や文字列などを表示させることで、当該ウィンドウが抽出の対象となる部分画像２００Ｂ_orgであるか、他のウィンドウであるかを判断することができる。

画像解析部２４１は、上述した検出方法のうち１の方法のみを用いて部分画像の検出を行ってもよいし、複数の方法を用いて部分画像の検出を行うこともできる。複数の方法を用いて検出を行う場合、検出方法に優先順位を設定することも考えられる。

上述のようにして画像２００Ａ_orgに含まれる部分画像２００Ｂ_orgの座標を検出すると、検出された座標を示す座標情報を画像切出部２４２に渡す。画像切出部２４２は、フレームメモリ２４０に書き込まれた画像２００Ａ_orgから、画像解析部２４１から渡された座標情報に示される範囲、すなわち部分画像２００Ｂ_orgを切り出す。切り出された部分画像２００Ｂ_orgは、合成部２３１に供給される。

３−１−４．実施の第３の形態による画像加工および合成処理の例について
合成部２３１は、実施の第２の形態において既に説明した、図３７に示される複数プレーンを用いた構成を適用することができる。これに限らず、図３８に示される１のプレーンを用いた構成を適用してもよい。

一例として、複数プレーンを用いる場合、図３７を参照し、画像切出部２４２は、フレームメモリ２４０上で切り出した部分画像２００Ｂ_orgを、対応するプレーン（プレーン１４１Ａとする）に書き込む。画像加工部１４０は、ＣＰＵ２１０の制御に基づきプレーン１４１Ａに書き込まれた部分画像２００Ｂ_orgに対して、拡大縮小といったサイズ変更、移動などの加工処理を施し、部分画像２００Ｂを形成する。各プレーンに書き込まれた画像は、加算部１４２で加算され、１の画像とされて出力される。

これに限らず、図３７の構成から画像加工部１４０を省略し、部分画像２００Ｂ_orgに対する加工処理を画像切出部２４２で行うことも考えられる。この場合、画像切出部２４２は、ＣＰＵ２１０の制御に基づき、フレームメモリ２４０から切り出した部分画像２００Ｂ_orgに対して拡大縮小といったサイズ変更処理を施し部分画像２００Ｂとし、部分画像２００Ｂをプレーン１４１Ａの所定位置に書き込む。

他の例として、１のプレーンを用いる場合、図３８を参照し、画像切出部２４２は、フレームメモリ２４０上で切り出した部分画像２００Ｂ_orgを、画像加工部１５０Ａに供給する。画像加工部１５０Ａは、ＣＰＵ２１０の制御に基づき、供給された部分画像２００Ｂ_orgに対して拡大縮小といったサイズ変更、移動などの加工処理を施し、部分画像２００Ｂを形成する。この部分画像２００Ｂは、既に説明したようにして、プレーン１５１に書き込まれ、他の部分画像と合成されて１の画像とされ、出力される。この他の例においても、上述の複数プレーンを用いる場合と同様に、画像加工部１５０Ａ、１５０Ｂ、・・・を省略し、部分画像２００Ｂ_orgに対する加工処理を画像切出部２４２で行うことが考えられる。

３−１−５．実施の第３の形態によるウィンドウ制御について
次に、この実施の第３の形態によるウィンドウ制御について説明する。この実施の第３の形態においても、ウィンドウ制御は、上述した実施の第１および第２の形態と同様に考えることができる。例えば、複数の機器から出力された画像を１の画像に合成する際に、互いのウィンドウ画像が重ならないように、ウィンドウ画像を適宜移動して表示領域に配置する処理は、画像解析部２４１で解析されたウィンドウ画像（部分画像）の座標を示す座標情報に基づくＣＰＵ２１０の制御により、画像処理部２１３において上述と同様にして行われる。

但し、この実施の第３の形態では、表示管理部２０２側と、画像出力を行う機器２００や機器２０１との間でのデータ通信が行われないので、ウィンドウ画像毎の優先順位を、データ通信以外の何らかの方法で表示管理部２０２に対して示す必要がある。

一例として、画像出力を行う機器２００や機器２０１側で、ウィンドウ画像自体に当該ウィンドウ画像の優先順位を示す情報を埋め込むことが考えられる。上述した、部分画像の抽出のための画像解析にマーカ２５０を用いる方法の例では、優先順位毎に異なるマーカを用いることが考えられる。例えば、優先順位毎にマーカ２５０の色、形状、大きさなどを異ならせる。表示管理部２０２では、例えばマーカ２５０の色、形状、大きさなどと、優先順位とを関連付けたテーブルを、ＲＯＭ２１１に予め記憶しておく。

例えば、ＣＰＵ２１０は、画像解析部２４１からマーカ２５０の情報を取得し、ＲＯＭ２１１に記憶されたテーブルを参照して当該マーカ２５０が示す優先順位を判断する。この判断結果が画像処理部２１３に渡され、ウィンドウ画像に対する拡大縮小といったサイズ変更処理や、移動処理などが行われる。

ウィンドウ画像に、優先順位を直接的に示す情報を含めるようにもできる。例えば、ウィンドウ画像の所定位置に、優先順位を示す数値や符号、記号などを表示させる。優先順位が表示される位置を示す情報は、ＲＯＭ２１１に予め記憶しておくとよい。ウィンドウ画像の枠の色などを優先順位毎に異ならせることも考えられる。

別の例として、機器２００や機器２０１から出力される画像２００Ａ_orgや画像２０１Ａ_orgにおける各ウィンドウ画像の位置に応じて、優先順位を判断する方法が考えられる。例えば、画像解析部２４１は、画面２０４内の位置の優先度を、画像２００Ａ_orgや画像２０１Ａ_orgに対しても適用して、ウィンドウ画像毎の優先順位を判断する。

さらに別の例として、画像解析部２４１は、ウィンドウ画像それぞれに表示される画像の動きを検出し、検出された動き量に基づきウィンドウ画像毎の優先順位を決めることが考えられる。画像の動きの検出には、例えば既知の動きベクトル検出方法を用いることができる。単純にフレーム毎の差分を計算して、動き検出とすることもできる。より動き量が大きいウィンドウ画像を、より優先順位の高いウィンドウ画像とすることが考えられる。

ウィンドウ画像毎の優先順位の判断方法は、これらの例に限られない。例えば、機器２００や機器２０１から出力される画像２００Ａ_orgや画像２０１Ａ_org内でのウィンドウ画像のサイズに基づき優先順位を判断してもよい。

ＣＰＵ２１０は、画像処理部２１３を制御し、上述した方法のうち１の方法を用いて、または、上述した方法をそれぞれ用いて、ウィンドウ画像毎の優先順位を設定する。

なお、この実施の第３の形態においても、実施の第１の形態で説明した、表示領域の決定に際してテンプレートやテーブルを用いる例は、同様にして適用することができる。例えば、表示管理部２０２は、ＲＯＭ２１１に予めテンプレートのデータを記憶しておき、画像解析部２４１で解析されたウィンドウ画像（部分画像）の情報に基づき、ＲＯＭ２１１に記憶されたテンプレートから対応するものを選択して表示領域を設定する。

また、この実施の第３の形態においても、実施の第１の形態で説明した、ユーザ操作やコンテンツの切り換えなどに応じて使用するテンプレートを切り換える制御や、テンプレートに従い配置される画像（コンテンツ）のユーザやコンテンツの切り換えに応じた変更の制御は、同様にして適用できる。表示管理部２０２は、機器２００や機器２０１側でのコンテンツの変更を、例えば対応する画像解析部２４１による部分画像の検出結果に基づき検知することができる。

３−１−６．実施の第３の形態によるカーソル制御について
次に、この実施の第３の形態によるカーソル制御について説明する。この実施の第３の形態では、表示管理部２０２側と、画像を表示させる機器２００や機器２０１側との間でデータ通信を行わないため、表示管理部２０２において画面２０４に表示されるウィンドウ画像を単位としてカーソル制御を行っても、機器２００または機器２０１側では、自分が出力している画像のどのウィンドウがフォーカスされにカーソルが表示されているかを知ることができない。そこで、表示管理部２０２において、表示領域単位でカーソル制御を行うことが考えられる。

図５２を用いて、実施の第３の形態によるカーソル制御の例について、より具体的に説明する。機器２００から、図５２Ａに例示されるように、全体が画面２０４に表示すべき部分画像２００Ｂ_orgとされた画像２００Ａ_orgが出力されるものとする。また、機器２０１から、図５２Ｂに例示されるように、複数の部分画像２０１Ｂ_org、２０１Ｃ_org、２０１Ｄ_org、２０１Ｅ_orgおよび２０１Ｆ_orgを含む画像２０１Ａ_orgが出力されるものとする。画像２０１Ａ_orgにおいて、部分画像２０１Ｂ_orgがメイン画像であって最も優先順位が高く、以下、２０１Ｃ_org、２０１Ｄ_org、２０１Ｅ_orgおよび２０１Ｆ_orgの順に優先順位が低く設定されているものとする。

表示管理部２０２は、図５２Ｃに例示されるように、画面２０４を縦に２分割した左側の領域を表示領域２０５Ａとし、右側の領域を表示領域２０５Ｂとし、表示領域２０５Ａおよび２０５Ｂを機器２００および２０１にそれぞれ割り当てるものとする。機器２００から出力された画像２００Ａ_orgに含まれる部分画像２００Ｂ_orgは、表示管理部２０２における画像処理部２１３で表示領域２０５Ａに収まるように所定に縮小および移動され、部分画像２００Ｂとされる。

また、機器２０１から出力される画像２０１Ａ_orgに含まれる部分画像２０１Ｂ_org、２０１Ｃ_org、２０１Ｄ_org、２０１Ｅ_orgおよび２０１Ｆ_orgは、優先順位の高い部分画像から３つが選択され、部分画像２０１Ｂ_org、２０１Ｃ_orgおよび２０１Ｄ_orgが、表示管理部２０２における画像処理部２１３で表示領域２０５Ｂに収まるように所定に縮小および移動され、それぞれ部分画像２０１Ｂ、２０１Ｃおよび２０１Ｄとされる。

部分画像２００Ｂを含む画像２００Ａと、部分画像２０１Ｂ、２０１Ｃおよび２０１Ｄを含む画像２０１Ａが合成部２３１で１の画像に合成され、画面２０４に所定に表示される。

ここで、初期状態において、図５２Ｄに例示されるように、表示領域２０５Ａ側がフォーカスされ、表示領域２０５Ａに表示される部分画像２００Ｂにカーソル２０６が表示されているものとする。この状態から、例えばリモートコントロールコマンダ２２０に対する右方向指示の操作に応じて、フォーカスを右方向に移動させる場合について考える。

カーソル２０６の移動制御が表示領域単位で行われる場合、右方向指示に応じてフォーカスが表示領域２０５Ａから表示領域２０５Ｂに移動する。それに伴い、カーソル２０６の表示対象が、表示領域２０５Ａに表示される部分画像２００Ｂから、表示領域２０５Ｂに表示される部分画像２０１Ｂ、２０１Ｃおよび２０１Ｄに移動される。例えば、図５２Ｅに例示されるように、表示領域２０５Ｂに表示される部分画像２０１Ｂ、２０１Ｃおよび２０１Ｄ全てに対して、カーソル２０６を表示することが考えられる。勿論、これに限らず、例えば表示領域２０５Ｂに表示される部分画像２０１Ｂ、２０１Ｃおよび２０１Ｄのうち、最も優先順位の高い部分画像２０１Ｂにのみ、カーソル２０６を表示するようにもできる。

なお、表示領域に対してカーソル２０６が表示されている状態で、例えばリモートコントロールコマンダ２２０に対して所定の操作を行うことで、カーソル２０６が表示されている表示領域に対応する機器の出力画像を選択し、画面２０４の全体に表示させるようにできる。一例として、図５２Ｅに例示されるように、表示領域２０５Ｂにカーソル２０６が表示されている状態で、リモートコントロールコマンダ２２０に対して、例えば決定を指示する操作を行うことで、当該表示領域２０５Ｂに対応する機器２０１から出力画像が、図５２Ｂに一例が示されるように、画面２０４に全面表示される。

また、この実施の第３の形態においても、実施の第１の形態で説明したような、カーソル２０６の移動方向示すガイドの表示を、同様にして行うことができる。ここでは、ガイドを表示領域単位で表示させる例について説明する。すなわち、この実施の第３の形態では表示管理部２０２側と機器２００や機器２０１側との間でデータ通信を行わないため、カーソルの移動先が機器側に通知されず、部分画像単位でガイドを表示可能としてもさほど効果的ではないと考えられる。

図５３Ａに例示されるように、画面２０４に４の表示領域２０５Ａ、２０５Ｂ、２０５Ｃおよび２０５Ｄを設定し、それぞれ異なる機器Ａ、機器Ｂ、機器Ｃおよび機器Ｄに割り当てるものとする。いま、表示領域２０５Ａがフォーカスされ、表示領域２０５Ａ内の図示されない部分画像にカーソル２０６が表示されているものとする。カーソル２０６の移動指示が上下左右の４方向で行われるとき、表示領域２０５Ａから表示領域２０５Ｂまたは表示領域２０５Ｃに、カーソル２０６を移動させることが可能である。そこで、表示領域２０５Ａから右方向および下方向へ移動可能であることを示すガイド２０７をそれぞれ表示させる。

図５４は、上述したカーソル２０６やガイド２０７を表示させるための一例の構成を示す。表示管理部２０２において、画像処理部２１３内にカーソル・ガイド画像生成部２３２を設ける。カーソル・ガイド画像生成部２３２は、ＣＰＵ２１０の制御に基づきカーソル２０６やガイド２０７を表示させるための画像を生成し、合成部２３１に供給する。合成部２３１は、ＣＰＵ２１０の制御に基づき、カーソル・ガイド画像生成部２３２から供給された画像を出力画像に対して所定位置に表示されるように合成する。

なお、この実施の第３の形態では、表示管理部２０２側と機器２００や機器２０１側との間でデータ通信を行わないため、カーソル２０６の移動先の機器に対する操作や制御は、当該機器のコントローラを用いて行われることになる。

さらに、この実施の第３の形態においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第１および第２の形態などと同様にして行うことができる。この実施の第３の形態では、音声切り換え手段が表示管理部２０２に対して設けられることになる。

３−２．この発明の実施の第３の形態の変形例について
次に、この発明の実施の第３の形態の変形例について説明する。上述の実施の第３の形態では、画面２０４に表示するために、画面２０４の表示領域を管理し、複数の機器から出力された画像を１の画像に合成する表示管理部２０２が、画像出力を行う機器とは別途の構成とされていた。この実施の第３の形態の変形例では、表示管理部２０２を画像出力を行う機器に内蔵させる。以下では、機器２００に表示管理部２０２を内蔵させるものとして説明を行う。

３−２−１．実施の第３の形態の変形例によるシステム構成について
図５５は、この実施の第３の形態の変形例による、表示管理部２０２’が内蔵された機器２００’の一例の構成を示す。なお、図５５において、上述した図４８と共通する部分には同一の符号を付し、詳細な説明を省略する。また、画面２０４に画像を表示するための他の機器、例えば機器２０１は、図４８や図４９を用いて説明した機器２００と同等の構成とする。

ＣＰＵ２５０は、ＲＯＭ２５１に予め記憶されたプログラムに従い、ＲＡＭ２５２をワークメモリとして用いてこの機器２００’の全体を制御する。機器２００’に対して、赤外線信号を受信するＩＲ Ｉ／Ｆ２５５を設け、リモートコントロールコマンダ２５６からの指示を受信可能とすることができる。ユーザ操作に応じてリモートコントロールコマンダ２５６から送信された赤外線信号は、ＩＲ Ｉ／Ｆ２５５に受信され、所定の制御信号に変換されてＣＰＵ２５０に渡される。ＣＰＵ２５０は、この制御信号に基づき、この機器２００’の全体を制御する。

リモートコントロールコマンダ２５６による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

画像生成部２５３は、ＣＰＵ２５０の制御に基づき画像を生成する。すなわち、画像生成部２５０は、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、磁気テープなどの着脱可能なディスク状記録媒体、ハードディスク、半導体メモリといった記録媒体、ディジタルテレビジョン放送を受信可能なチューナ、所定のプログラムに基づくＣＧ描画などを画像ソースとして画像を生成し、出力する。画像生成部２５３から出力された画像は、画像加工部２５４に供給される。

画像加工部２５４は、ＣＰＵ２５０の制御に基づき、メモリ２５５を用いて画像生成部２５３から出力された画像に対して拡大縮小といったサイズ変更、移動などの加工処理を施す。画像加工部２５４で加工処理された画像は、機器２００’に内蔵される表示管理部２０２’に供給され、画像処理部２１３’の入力端２３３に入力される。

画像処理部２１３’は、上述した実施の第３の形態における画像処理部２１３と略同様の処理を行う。すなわち、画像処理部２１３’の入力端２３３に対して画像加工部２５４で加工処理され出力された画像が入力されると共に、入力端２１４Ａ、２１４Ｂ、・・・に対して、他の機器から出力された画像が入力される。

図５６は、画像処理部２１３’の一例の構成を示す。なお、図５６において、上述した図４６と共通する部分には同一の符号を付し、詳細な説明を省略する。このように、この実施の第３の形態の変形例による画像処理部２１３’は、画像加工部２５４から出力されて入力端２３３に入力された画像は、直接的に合成部２３１’に供給される。一方、入力端２１４Ａ、２１４Ｂ、・・・から入力された画像は、それぞれ対応する画像抽出部２３０Ａ、２３０Ｂ、・・・に供給される。画像抽出部２３０Ａ、２３０Ｂ、・・・の構成は、例えば図４７を用いて説明した構成と同様とされ、供給された画像を解析して部分画像を検出し、検出された部分画像を切り出して出力する。画像抽出部２３０Ａ、２３０Ｂ、・・・から出力された画像は、それぞれ合成部２３１’に供給される。合成部２３１’は、供給された複数の画像を合成し、１枚の画像として出力端２１５から出力する。

また、画像処理部２１３’に対して、カーソルやカーソルの移動先を示すガイドを表示する画像を生成するためのカーソル・ガイド画像生成部２３２を設けることができる。

図５７は、この実施の第３の形態の変形例による、表示管理部２０２’が内蔵された機器２００’を用いた場合の一例のシステム構成を示す。なお、図５７において、上述した図４４と共通する部分には同一の符号を付し、詳細な説明を省略する。図５７において、機器２０１から出力された出力画像が機器２００’に入力され、例えば入力端２１４Ａから表示管理部２０２’の画像処理部２１３’に供給される。この画像は、画像処理部２１３’で解析されて部分画像を検出されて所定に拡大縮小といったサイズ変更、移動などの加工処理を施され、機器２００’自体で生成された画像と合成されて１枚の画像とされ、図示されない表示装置の画面２０４に表示される。

３−２−２．実施の第３の形態の変形例による動作について
次に、この実施の第３の形態の変形例による概略的な動作について、図５７を用いると共に、図４４を参照しながら説明する。機器２０１からの出力画像２０１Ａ_orgが機器２００’に供給され、例えば入力端２１４Ａから入力される。この画像２０１Ａ_orgは、機器２００’内の画像処理部２１３’に供給され、画像解析により画面２０４に表示すべき部分画像２０１Ｂ_orgが検出される。一方、機器２００’内の画像生成部２５３で生成される画像２００Ａ_orgについて、ＣＰＵ２５０は、画面２０４に表示すべき部分画像２００Ｂ_orgの情報を取得する。

ＣＰＵ２５０は、部分画像２００Ｂ_orgおよび部分画像２０１Ｂ_orgの情報に基づき、機器２００’および機器２０１に対する表示領域２０５Ａおよび２０５Ｂをそれぞれ設定する。そして、ＣＰＵ２５０は、画像２００Ａ_orgと画像２０１Ａ_orgとを１枚の画像に合成した際に、これら部分画像２００Ｂ_orgおよび部分画像２０１Ｂ_orgが互いに重ならないように、設定された表示領域２０５Ａおよび２０５Ｂの情報と、部分画像２００Ｂ_orgおよび部分画像２０１Ｂ_orgの情報とに基づき、これら部分画像２００Ｂ_orgおよび部分画像２０１Ｂ_orgに対する拡大縮小といったサイズ変更、移動などの加工処理の制御を行う。

一例として、ＣＰＵ２５０は、画像生成部２５３から出力された画像２００Ａ_orgについては、表示領域および部分画像２００Ｂ_orgの情報に基づき、画像加工部２５４に対して所定に拡大縮小といったサイズ変更、移動などの加工処理を施すように制御する。また、例えば入力端２１４Ａから入力された画像２０１Ａ_orgについては、表示領域および部分画像Ｂ_orgの情報に基づき、画像処理部２１３’に対して所定に拡大縮小といったサイズ変更、移動などの加工処理を施すように制御する。

部分画像２００Ｂ_orgが加工された部分画像２００Ｂを含む画像２００Ａと、部分画像２０１Ｂ_orgが加工された部分画像２０１Ｂを含む画像２０１Ａとが合成部２３１で合成され、１枚の画像とされる。この画像は、出力端２１５から出力され、図示されない表示装置に供給され、画面２０４が表示される。

なお、この実施の第３の形態の変形例においても、画像処理部２１３’においてなされる画面２０４に表示するための画像の拡大縮小といったサイズ変更、移動などの加工処理は、上述した実施の第３の形態で説明した方法を同様に適用することができる。画像加工部２５３における画像の加工処理は、画像処理部２１３’における方法と同様に、画像解析により部分画像を検出し、この検出された部分画像に対して行ってもよいし、画像生成部２５３から部分画像の情報を取得し、取得されたこの部分画像の情報に基づき行ってもよい。さらに、ＣＰＵ２５０が画像生成部２５３で生成される画像の部分画像のサイズや位置を制御することも考えられる。

また、合成部２３１’は、入力毎にプレーンを用意して合成する方法や、１のプレーンのみを用いて画像を合成する方法など、上述した実施の第２形態で説明した方法をそのまま適用することができる。すなわち、合成部２３１’は、例えば図３７または図３８を用いて説明した何れかの構成とすることができ、加工および合成処理を、複数プレーンを用いる方法と、１のプレーンのみを用いる方法とのうち何れかで行うことができる。なお、図３７に示した複数プレーンを用いる場合、例えば入力端２３３に対して１のプレーンが設けられる。また、図３８に示した複数プレーンを用いる場合、例えば入力端２３３から供給された画像は、プレーン１５１に直接的に書き込まれる。これに限らず、図３７の構成と図３８の構成とを併用するような構成も可能である。

さらに、ウィンドウ制御やテンプレートの使用についても、実施の第３の形態で説明した方法を、同様に、この実施の第３の形態の変形例に適用することができる。この実施の第３の形態の変形例の場合には、ホスト機器として動作する機器２００’側の優先順位が、機器２００’に接続される他の機器に対して常に高くなるように設定できる。

さらにまた、カーソル制御についても、実施の第３の形態で説明した方法を、同様に、この実施の第３の形態の変形例に適用することができる。この実施の第３の形態の変形例の場合には、既に説明したように、機器２００’に接続されている機器（例えば機器２０１）に設定された表示領域（例えば表示領域２０５Ｂ）がフォーカスされ、表示領域２０５Ｂ内のあるウィンドウ画像にカーソルが表示されていても、機器２０１側では、自分が出力しているどのウィンドウ画像がフォーカスされカーソルが表示されているかを知ることができない。一方、機器２００’側においては、機器２００’が有するＣＰＵ２５０の制御に基づきフォーカスの移動やカーソル表示が行われるため、機器２００’は、フォーカスされカーソルが表示されているウィンドウ画像を知ることができる。したがって、当該ウィンドウ画像に表示されているコンテンツに対する制御を行うこともできる。

上述のウィンドウ制御やテンプレートの使用、カーソル制御は、機器２００’が稼働状態にあれば、機器２００’がコンテンツの再生に伴う画像出力を行っているか否かに関わらず、実行させることができる。

また、この実施の第３の形態の変形例においても、カーソルの移動に伴う音声信号の切り換えを、上述の実施の第１、第２および第３の形態と同様にして行うことができる。この実施の第３の形態の変形例では、音声切り換え手段が効き２００’に対して設けられることになる。

４．この発明の応用例
次に、この発明の応用例について説明する。図５８は、この発明の実施の第１の形態が適用されたこの発明の応用例を示す。すなわち、座標情報管理部が画面の表示領域を管理し、画像出力を行う機器側が画面に表示すべき画像の拡大縮小といったサイズ変更処理、移動処理などの加工処理を予め行う。

図５８の例では、ディジタルテレビジョン受像機３００と、多機能電子ゲーム機器３０１とがＨＤＭＩ規格に則ったＨＤＭＩケーブル３０２で接続されている。ディジタルテレビジョン受像機３００は、ディジタル放送を受信するためのチューナ部３２０を有し、例えばアンテナ３２１で受信されたディジタルテレビジョン放送による画像を、合成部３３０に供給する。

一方、多機能電子ゲーム機器３０１は、画像生成部３６０において、図示されないドライブ装置で光ディスクなどの記録媒体から再生された、ゲームがプログラムされたソフトウェア（以下、ゲームソフト）による画像や、当該ドライブ装置で記録媒体から再生されたビデオプログラムなどの画像を生成し、画像処理部３６１を介して外部に出力する。出力された画像は、ＨＤＭＩケーブルを介してディジタルテレビジョン受像機３００に入力され、合成部３３０に供給される。

合成部３３０は、チューナ部３２０から供給された画像と、多機能電子ゲーム機器から供給された画像とを、所定に１枚の画像に合成し、表示部３３１に供給する。表示部３３１は、供給された画像を図示されない表示デバイスに対して映出させる。表示デバイスの有効表示領域による画面の解像度は、例えば１９２０画素×１０８０ラインとする。

ディジタルテレビジョン受像機３００について、より詳細に説明する。ＣＰＵ３１０は、ＲＯＭ３１１に予め記憶されたプログラムに従い、ＲＡＭ３１２をワークメモリとして用いてこのディジタルテレビジョン受像機３００の各部を制御する。ＩＲ Ｉ／Ｆ３１５は、赤外線信号を受信して電気信号に変換する。ＩＲ Ｉ／Ｆ３１５で赤外線信号が変換された電気信号は、ＣＰＵ３１０に供給される。すなわち、対応するリモートコントロールコマンダ３４０から送信された赤外線信号は、ＩＲ Ｉ／Ｆ３１５に受信され、所定に電気信号に変換されてＣＰＵ３１０に供給される。これにより、このディジタルテレビジョン受像機３００の動作を、リモートコントロールコマンダ３４０から制御することができる。

リモートコントロールコマンダ３４０による遠隔操作は、赤外線信号によるものに限らず、Bluetooth規格に対応した通信や、ＩＥＥＥ８０２．１１ｘ規格に対応した所謂無線ＬＡＮ(Local Area Network)などの、電波による無線通信を用いて行ってもよい。

通信Ｉ／Ｆ３１３は、ＨＤＭＩケーブル３０２によるデータ通信に対応し、ＣＰＵ３１０の制御に基づき、ＨＤＭＩケーブル３０２を介して外部の機器と通信を行うことができる。

チューナ部３２０は、上述したように、アンテナ３２１で受信されたディジタルテレビジョン放送による電波を復調し、さらに復号化処理など所定の処理を施してディジタルテレビジョン放送の画像を得る。ここで、チューナ部３２０は、ＣＰＵ３１０の制御に基づき、ディジタルテレビジョン放送の画像に対して拡大縮小といったサイズ変更、移動などの所定の加工処理を施す画像処理部を有するものとする。チューナ部３２０で得られた画像は、必要に応じて加工処理され、合成部３３０に供給される。合成部３３０には、外部からＨＤＭＩケーブル３０２を介して画像が供給される。

座標情報管理部３１４は、ＣＰＵ３１０の制御に基づきチューナ部３２０や通信Ｉ／Ｆ３１３を介して接続される外部の機器と通信を行い、取得された表示希望座標情報に基づき、それぞれの画像を画面に表示する際の表示領域を設定する。設定された表示希望座標情報は、ＣＰＵ３１０に渡される。なお、座標情報管理部３１４は、ＣＰＵ３１０上で動作するプログラムで実現することが可能である。

多機能電子ゲーム機３０１について、より詳細に説明する。ＣＰＵ３５０は、ＲＯＭ３５１に予め記憶されたプログラムや、画像生成部３６０のドライブ装置（図示しない）で光ディスクなどの記録媒体から再生されたプログラムなどに基づき、ＲＡＭ３５２をワークメモリとして用いて、この多機能電子ゲーム機器３０１の各部を制御する。

通信Ｉ／Ｆ３５３は、ＨＤＭＩケーブル３０２によるデータ通信に対応し、ＣＰＵ３５０の制御に基づき、ＨＤＭＩケーブル３０２を介して外部の機器と通信を行うことができる。通信Ｉ／Ｆ３５４は、多機能電子ゲーム機器３０１に対して専用的に用いられるコントローラ３７０を接続するためのインターフェイスである。コントローラ３７０は、ジョイスティックや所定に配置されたボタンなど、ゲームなどを操作するために用いて好適な操作子が設けられる。また、通信Ｉ／Ｆ３５５は、例えばＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)といったプロトコルに対応し、インターネットと接続して通信を行うことができるようにされている。

画像生成部３６０は、ＣＰＵ３５０の制御に基づき画像を生成する。例えば、画像生成部３６０は、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃなどの着脱可能なディスク状記録媒体に対応するドライブ装置を有し、記録媒体から再生された画像を出力することができる。記録媒体は、ディスク状記録媒体に限られず、ハードディスクや半導体メモリであってもよい。また、記録媒体からゲームソフトなどのプログラムを再生し、このプログラムに基づくＣＰＵ３５０の制御により、ＣＧ画像などを生成し出力することができる。さらに、画像生成部３６０は、通信Ｉ／Ｆ３５５を介してなされる通信により得られたデータに基づき画像を生成し、出力することができる。

画像処理部３６１は、画像生成部３６０で生成された画像に対して、ＣＰＵ３５０の制御に基づき所定に加工処理を施すことができる。例えば、画像処理部３６１は、ＣＰＵ３５０の制御に基づき、画像生成部３６０で生成された画像のうち所定範囲に対して拡大縮小といったサイズ変更、移動などの加工処理を施すことができる。画像処理部３６１から出力された画像は、ＨＤＭＩケーブル３０２を介してディジタルテレビジョン受像機３００に入力され、合成部３３０に入力される。

多機能電子ゲーム機器３０１は、単体での動作としては、記録媒体から再生された映画などの映像コンテンツを出力して表示装置に映出させたり、同じく記録媒体から再生されたゲームソフトを実行し、ゲームソフトによる画面を表示装置に映出させることができる。ゲームソフトによる画面は、一般的には、複数のウィンドウを以て構成される。

また、多機能電子ゲーム機器３０１は、通信Ｉ／Ｆ３５５によりインターネットを介して通信して得られたデータに基づく表示を行うことができる。例えば、多機能電子ゲーム機器３０１は、ＨＴＭＬ(Hyper Text Markup Language)を用いた言語など、所定の言語で記述されたファイルを閲覧するためのソフトウェア（ブラウザと称する）を予めＲＯＭ３５１に記憶し、インターネットを介して当該言語で記述されたファイルにアクセスし、ファイルの記述に従った表示などを行うことができる。

さらに、多機能電子ゲーム機器３０１は、インターネットを介して他のユーザと通信を行い、複数ユーザで１のゲームをプレイすることができるようにされている。この場合、参加ユーザで１の画面を共有する場合と、参加ユーザ毎に画面が設けられる場合とが考えられる。参加ユーザ毎に画面が設けられる場合には、例えば、参加ユーザ毎の画面がそれぞれウィンドウ画像として、１の画面に同時に表示することが考えられる。

さらにまた、多機能電子ゲーム機器３０１は、例えばソースが異なる画像について、それぞれウィンドウ画像として１の画面に同時に表示させることができる。インターネットを介してアクセスされたＷｅｂサイトなどによるデータに関しては、異なる複数のサイトによるデータについて、１の画面に同時に表示させることができる。

このようなシステムにおける一例の動作について説明する。ディジタルテレビジョン受像機３００は、ＨＤＭＩケーブル３０２による多機能電子ゲーム機器３０１の接続を検出すると、多機能電子ゲーム機器３０１との間で所定のプロトコルで通信を行い、機器の識別を行う。座標情報管理部３１４は、ＣＰＵ３１０の制御に基づき通信Ｉ／Ｆ３１３により多機能電子ゲーム機器３０１と通信を行い、表示希望座標情報を要求する。

ここで、多機能電子ゲーム機器３０１側では、通信Ｉ／Ｆ３５５によりインターネットと接続し、インターネットを介して複数のユーザと通信を行い、複数ユーザ参加のゲームを実行すると共に、インターネットを介して商品購入を行うためのショッピングサイトの閲覧を行っているものとする。複数ユーザ参加のゲームでは、ユーザ毎のウィンドウ画像が１の画面に同時に表示される。また、ショッピングサイトは、複数の商品がそれぞれ別のウィンドウ画像に表示される。さらに、多機能電子ゲーム機器３０１は、例えば操作のナビゲーションなどを行うようにされた人物キャラクタの画像がＣＧにより描画され表示される。一例として、多機能電子ゲーム機器３０１は、ゲームによるウィンドウ画像を３個、ショッピングサイトによるウィンドウ画像を３個、ナビゲーション画像によるウィンドウ画像を１個、１画面に表示させる。

多機能電子ゲーム機器３０１は、このように複数のウィンドウ画像からなる画面を表示するための表示希望座標を求め、表示希望座標情報としてＨＤＭＩケーブル３０２を介してディジタルテレビジョン受像機３００に送信する。この表示希望座標情報は、ディジタルテレビジョン受像機３００において通信Ｉ／Ｆ３１３で受信され、ＣＰＵ３１０を介して座標情報管理部３１４に渡される。

一方、ディジタルテレビジョン受像機３００では、チューナ部３２０から出力されるディジタルテレビジョン放送による画面を表示部３３１に表示させる。チューナ部３２０またはＣＰＵ３１０は、このディジタルテレビジョン放送による画面を表示するための表示希望座標を求め、座標情報管理部３１４に渡す。

座標情報管理部３１４は、多機能電子ゲーム機器３０１から供給された表示希望座標情報と、このディジタルテレビジョン受像機３００自身による表示希望座標情報と、表示部３３１による解像度の情報とに基づき、チューナ部３２０から出力される画像を表示するための表示領域Ａと、多機能電子ゲーム機器３０１から出力される画像を表示するための表示領域Ｂとをそれぞれ設定する。表示領域Ａと表示領域Ｂとは、１画面内において互いに重ならないように設定される。表示領域Ａおよび表示領域Ｂの決定に際して、例えばＲＯＭ３１１に予め記憶されているテンプレートを用いることができる。

ここでは、チューナ部３２０から出力されるディジタルテレビジョン放送による画像をメイン画像とし、メイン画像を配置する領域Ａを画面内で最も優先度の高い位置（左上側）に、大きなサイズで設定し、残りの逆Ｌ字型の領域を、多機能電子ゲーム機器３０１から出力される画像が表示される表示領域Ｂに設定するものとする。表示領域Ｂを示す情報は、ＣＰＵ３１０を介してチューナ部３２０に渡される。表示領域Ａを示す情報は、ＨＤＭＩケーブル３０２を介して多機能電子ゲーム機器３０１に送信される。

ディジタルテレビジョン受像機３００において、ＣＰＵ３１０は、表示領域Ｂを示す情報に基づきチューナ部３２０を制御し、ディジタルテレビジョン放送による画像が表示領域Ａ内に表示されるように、当該画像に対して拡大縮小といったサイズ変更、移動処理などの加工処理を施す。

図５９Ｂは、ディジタルテレビジョン受像機３００において加工処理された一例の画像４０２を示す。ディジタルテレビジョン放送による１９２０画素×１０８０ラインの画像に対して、表示領域Ａのサイズに収まるように所定に縮小処理が施され、さらに左上方向に移動されて画像４０３とされる。

同様に、多機能電子ゲーム機器３０１において、ＣＰＵ３５０は、受信された表示領域Ａを示す情報に基づき画像生成部３６０および画像処理部３６１を制御し、多機能電子ゲーム機器３０１が表示すべきウィンドウ画像が表示領域Ｂ内に表示されるように、画像生成部３６０で生成されるウィンドウ画像に対して拡大縮小といったサイズ変更処理、移動処理などの加工処理を施す。

図５９Ａは、多機能電子ゲーム機器３０１において加工処理された一例の画像４００を示す。逆Ｌ字型の表示領域Ｂにおける縦長の領域に、上から、各参加ユーザのゲーム画面によるウィンドウ画像４０１Ａ、４０１Ｂおよび４０１Ｃが配置される。当該多機能電子ゲーム機３０１のユーザによるゲーム画面は、一番上のウィンドウ画像４０１Ａであるものとする。一方、逆Ｌ字型の表示領域Ｂにおける横長の領域に、左から、ショッピングサイトによるウィンドウ画像４０１Ｄ、４０１Ｅおよび４０１Ｆがそれぞれ配置される。画像４００の左下隅の領域には、ナビゲーション画像を表示するウィンドウ画像４０１Ｇが配置される。

多機能電子ゲーム機器３０１は、画像生成部３６０において予め、それぞれのウィンドウ画像４０１Ａ〜４０１Ｇをそれぞれのサイズおよび配置で作成することができる。この場合、各ウィンドウ画像４０１Ａ〜４０１Ｇを、それぞれのサイズに合わせた解像度で生成することができるので、画質的に有利である利点がある。これに限らず、画像生成部３６０で所定に生成されたそれぞれのウィンドウ画像４０１Ａ〜４０１Ｇを、画像処理部３６１でそれぞれのサイズおよび配置になるように加工処理することもできる。

これら多機能電子ゲーム機器３０１による画像４００と、ディジタルテレビジョン受像機３００のチューナ部３２０による画像４０２とが合成部３３０で所定に合成され、図５９Ｃに示されるような、１枚の画像４０４とされる。この画像４０４が表示部３３１により表示される。

ユーザは、例えばリモートコントロールコマンダ３４０を操作することで、ディジタルテレビジョン受像機３００や多機能電子ゲーム機器３０１の動作を制御することができる。すなわち、リモートコントロールコマンダ３４０は、ユーザ操作に応じて制御信号を生成し、この制御信号を赤外線信号に変調して送信する。この赤外線信号は、ディジタルテレビジョン受像機３００のＩＲ Ｉ／Ｆ３１５に受信されて復調され、得られた制御信号がＣＰＵ３１０に供給される。ＣＰＵ３１０は、制御信号に基づき画面に表示されるカーソルの表示制御を行うと共に、カーソルの表示位置に応じて、ディジタルテレビジョン受像機３００自身の制御を行ったり、多機能電子ゲーム機器３０１に対してカーソル位置情報の送信などを行う。

一例として、図５９Ｃの画像４０４に例示されるように、ウィンドウ画像４０１Ｅにカーソル４０５が表示されている場合について考える。この場合、リモートコントロールコマンダ３４０に対してなされる所定の操作による制御信号の制御対象が、ウィンドウ画像４０１Ｅが表示される表示領域Ｂに対応した機器である、多機能電子ゲーム機器３０１とされている。例えば、ユーザがリモートコントロールコマンダ３４０に対して所定の操作、例えば決定を指示するためのキー（決定キーと称する）を操作することで、ウィンドウ画像４０１Ｅに表示されるショッピングサイトの情報に基づき、インターネットを介してのオンラインショッピングを実行することができる。

すなわち、リモートコントロールコマンダ３４０の決定キーの操作に応じた制御信号がＣＰＵ３１０に渡されると、ＣＰＵ３１０は、座標情報管理部３１４を制御し、画面に表示されるカーソル４０５の表示位置に基づき、当該制御信号による制御対象となる機器を判断する。図５９Ｃの画像４０４の例では、表示領域Ｂ内のウィンドウ画像４０１Ｅにカーソル４０５が表示されていることがＣＰＵ３１０に検出され、対象機器が多機能電子ゲーム機器３０１であると判断される。ＣＰＵ３１０は、通信Ｉ／Ｆ３１３を制御してこの制御信号をＨＤＭＩケーブル３０２を介して多機能電子ゲーム機器３０１に送信する。

多機能電子ゲーム機器３０１では、ＨＤＭＩケーブル３０２を介して送信された制御信号を通信Ｉ／Ｆ３５３で受信し、ＣＰＵ３５０に渡す。ＣＰＵ３５０は、この制御信号に基づき、通信Ｉ／Ｆ３５５によりインターネット上のショッピングサイトにアクセスし、所定にショッピング情報を取得する。ＣＰＵ３５０は、画像生成部３６０に対して取得されたショッピング情報に基づく画像を生成するように要求する。

なお、ディジタルテレビジョン受像機３００は、多機能電子ゲーム機器３０１に割り当てられた表示領域Ｂ内に表示されたウィンドウ画像４０１Ａ〜４０１Ｇにカーソル４０５が表示され、決定キーが操作された際に、カーソル４０５が表示されたウィンドウ画像（図５９Ｃの例ではウィンドウ画像４０１Ｅ）を、画面におけるメインの表示となるように、各画像の配置やサイズなどを変更することができる。この図５９Ｃの例では、ウィンドウ画像４０１Ｅとディジタルテレビジョン放送による画像４０３とを入れ替えることが考えられる。さらに、入れ替えられた画像４０３’を画面下側において左端に移動させ、画像４０３’、ウィンドウ画像４０１Ｄ、ウィンドウ画像４０１Ｆの順に並べ替えてもよい。ＣＰＵ３１０は、例えば用いるテンプレートを変更することで、画像の入れ替えを行うことができる。

画像の位置およびサイズ、または、表示領域の変更通知が、ＣＰＵ３１０からＨＤＭＩケーブル３０２を介して多機能電子ゲーム機器３０１に対して送信される。多機能電子ゲーム機器３０１は、この変更通知に基づき、画像生成部３６０や画像処理部３６１における画像生成処理や加工処理を行う。また、変更通知は、ＣＰＵ３１０からチューナ部３２０にも供給される。チューナ部３２０でも同様に、この変更通知に基づきディジタルテレビジョン放送による画像の加工処理などを行う。

別の例として、図５９Ｃに示されるように、多機能電子ゲーム機器３０１に割り当てられた表示領域Ｂ内のウィンドウ画像４０１Ｅにカーソル４０５が表示されているときに、例えばリモートコントロールコマンダ３４０を操作してカーソル４０５をウィンドウ画像４０１Ａまで移動させ、決定キーを操作することを考える。例えば、ユーザは、ウィンドウ画像４０１Ｂおよび４０１Ｃに表示される、ゲームの他の参加ユーザによるプレイ画像を見て、自分もそのゲームをプレイしたいと思ったとする。

カーソル４０５を移動させるために、リモートコントロールコマンダ３４０の方向キーが所定に操作される。リモートコントロールコマンダ３４０に対する操作に応じた制御信号がＩＲ Ｉ／Ｆ３１５からＣＰＵ３１０に渡される。ＣＰＵ３１０は、方向キーによる指示と、カーソル４０５の位置とに基づきカーソル４０５が存在する表示領域を判断し、カーソル４０５が表示領域Ｂに存在すると判断されれば、表示領域Ｂに対応する機器、すなわち多機能電子ゲーム機器３０１に対してウィンドウ画像のフォーカス情報または方向キーより指示された方向を示す情報をＨＤＭＩケーブル３０２を介して送信する。

多機能電子ゲーム機器３０１は、ＨＤＭＩケーブル３０２を介して送信されたこの情報を受信し、ＣＰＵ３５０に渡す。ＣＰＵ３５０は、受信された情報に基づき、カーソル４０５を表示するための画像をウィンドウ画像４０１Ａ〜４０１Ｇ間で所定に移動させるように、画像処理部３６１を制御する。

リモートコントロールコマンダ３４０に対するユーザの操作により、目的のウィンドウ画像４０１Ａにカーソルが移動されると、例えば決定キーが操作される。決定キーの操作に応じた制御信号がＩＲ Ｉ／Ｆ３１５からＣＰＵ３１０に渡される。ＣＰＵ３１０は、カーソル４０５の位置に基づきカーソル４０５が表示領域Ｂに存在すると判断されれば、決定キーが操作された旨を多機能電子ゲーム機器３０１に対してＨＤＭＩケーブル３０２を介して送信すると共に、例えば用いるテンプレートを変更するなどにより、ウィンドウ画像４０１Ａとチューナ部３２０から出力されるディジタルテレビジョン放送による画像４０３とを入れ替えるように、表示領域Ａおよび表示領域Ｂを再設定する。再設定された表示領域Ｂを示す情報も、ＨＤＭＩケーブル３０２を介して多機能電子ゲーム機器３０１に送信される。

多機能電子ゲーム機器３０１は、ＨＤＭＩケーブル３０２を介して送信されたこれらの情報を受信し、ＣＰＵ３５０に渡す。ＣＰＵ３５０は、表示領域Ｂを示す情報に基づき、ウィンドウ画像４０１Ａをゲームをプレイするのに適した所定サイズで生成や加工処理を行うように、画像生成部３６０および画像処理部３６１を制御する。また、ゲームソフトをユーザが操作可能に制御する。

なお、この場合において、ユーザは、ゲームの操作を、コントローラ３７０を用いて行うのみならず、リモートコントロールコマンダ３４０を用いて行うことも可能とされる。すなわち、リモートコントロールコマンダ３４０の所定のキーと、ゲームを操作するためのコマンドとを、ゲームソフト側で予め対応付けておく。これに限らず、例えば、リモートコントロールコマンダ３４０の所定のキー操作をゲームソフトを操作するためのコントローラ３７０のキー操作に変換するテーブルを、ＲＯＭ３５１などに予め記憶しておいてもよい。リモートコントロールコマンダ３４０の所定のキーの操作に応じた制御信号が、ディジタルテレビジョン受像機３００からＨＤＭＩケーブル３０２を介して多機能電子ゲーム機器３０１に対して送信され、ＣＰＵ３５０に渡される。ＣＰＵ３５０は、渡された制御信号を所定に解釈し、ゲームソフトを制御する。

このように、この発明を適用することで、例えばディジタルテレビジョン受像機３００と多機能電子ゲーム機器３０１とを、１本のＨＤＭＩケーブル３０２で接続するだけで、ディジタルテレビジョン受像機３００と多機能電子ゲーム機器３０１との間での制御対象の切り換えや、ウィンドウ画像の表示切り換えなど、様々な機能を実現することができる。

ここでは、この発明の応用例を、実施の第１の形態に基づき説明したが、これはこの例に限定されない。すなわち、上述した応用例は、実施の第１の形態の第１の変形例や第２の変形例にも同様にして適用することができる。

また、上述の応用例は、実施の第２の形態、ならびに、実施の第２の形態の変形例にも同様にして適用することができる。応用例を実施の第２の形態や、第２の形態の第１および第２の変形例に適用させた場合には、多機能電子ゲーム機器３０１側や、チューナ部３２０において画像の拡大縮小といったサイズ変更処理、移動処理などを行わずに済むため、特に多機能電子ゲーム機器３０１において、コストが節約できる利点がある。一方、画面に表示される各画像は、一旦、元のサイズで生成されてから、合成時に拡大縮小といったサイズ変更処理、移動処理などなされるため、応用例を実施の第１の形態に適用させた場合よりも、画像毎の解像度の点で不利になる。

さらに、この発明の応用例を、上述の実施の第３の形態や第３の形態の変形例に適用することも可能である。この場合には、多機能電子ゲーム機器３０１側がディジタルテレビジョン受像機３００との間のデータ通信に対応している必要が無く、また、多機能電子ゲーム機器３０１とディジタルテレビジョン受像機３００とがＨＤＭＩケーブル３０２で接続されていなくてもよく、汎用性に優れているという利点がある。但しこの場合、ディジタルテレビジョン受像機３００と多機能電子ゲーム機器３０１との間でデータ通信が行われないため、ディジタルテレビジョン受像機３００に対応するリモートコントロールコマンダ３４０で、多機能電子ゲーム機器３０１を制御することができない。多機能電子ゲーム機器３０１は、コントローラ３７０で操作することになる。

さらにまた、上述では、この発明の実施の第１〜第３の形態、ならびに、各変形例をそれぞれ独立的な実施例として説明したが、これはこの例に限定されない。すなわち、上述した実施の第１〜第３の形態、ならびに、各変形例は、表示領域の管理および設定を行う主体が同一であれば、それぞれ組み合わせて実施することが可能である。例えば、上述した実施の第１、第２および第３の形態は、組み合わせて実施することが可能である。同様に、上述した実施の第１の形態の第２の変形例、実施の第２の形態の変形例および実施の第３の形態の変形例は、組み合わせて実施することが可能である。

なお、上述した実施の第１の形態から第３の形態、各実施形態の変形例、ならびに、この発明の応用例で説明した各構成などは、この発明を実施可能とするための例であって、この発明は、上述の構成の他に様々な構成で実施することが可能であって、上述の各例に限定されるものではない。

この発明の概念を説明するための図である。 発明の実施の第１の形態によるシステムの一例の構成を概略的に示す略線図である。 発明の実施の第１の形態に適用可能な、画像を出力する機器の一例の構成を概略的に示すブロック図である。 座標情報管理部の一例の構成を概略的に示すブロック図である。 発明の実施の第１の形態による一例の動作を説明するための略線図である。 画像の加工処理の例について説明するための略線図である。 画像の加工処理の例について説明するための略線図である。 画像の加工処理の例について説明するための略線図である。 複数のプレーンを用いて画像を合成する例について説明するための略線図である。 １のプレーンを用いて画像を合成する例について説明するための略線図である。 １の表示領域に対して複数のウィンドウを表示する場合の一例のウィンドウ制御方法について説明するための略線図である。 ウィンドウ毎に優先順位を付与した場合の一例の表示制御について説明するための略線図である。 実際に画面に表示される画面構成が大きく変化しないように、表示制御を行うことを説明するための略線図である。 実際に画面に表示される画面構成が大きく変化しないように、表示制御を行うことを説明するための略線図である。 実際に画面に表示される画面構成が大きく変化しないように、表示制御を行うことを説明するための略線図である。 実際に画面に表示される画面構成が大きく変化しないように、表示制御を行うことを説明するための略線図である。 カーソル表示の例を示す略線図である。 この実施の第１の形態によるカーソルの一例の表示制御について説明するための略線図である。 カーソル制御に伴う制御対象機器の変更について説明するための略線図である。 フォーカスの移動先を示すガイドを表示させる例を示す略線図である。 操作に応じて画面に表示される全てのウィンドウ画像や部分画像を対象に、再配置を行う例を示す略線図である。 テンプレートの例について説明するための略線図である。 テンプレートの例について説明するための略線図である。 テンプレートやコンテンツの変更パターンの例を示す略線図である。 切り換えられたテンプレートに合わせて表示中の画像を並び替える例について説明するための略線図である。 切り換えられたテンプレートに合わせて表示されているコンテンツそのものを切り換える例について説明するための略線図である。 テンプレートは固定的に用い表示領域に表示される画像を並べ替える例について説明するための略線図である。 コンテンツの切り換えの発生に応じてテンプレートを切り換える例について説明するための略線図である。 実施の第１の形態の第１の変形例による、座標情報管理部が内蔵された機器の一例の構成を示すブロック図である。 実施の第１の形態の第１の変形例による一例のシステム構成を示すブロック図である。 実施の第１の形態の第２の変形例による、座標情報管理部と合成部とが内蔵された機器の一例の構成を示すブロック図である。 実施の第１の形態の第２の変形例による、座標情報管理部および合成部が内蔵された機器１を用いた場合の一例のシステム構成を示すブロック図である。 発明の実施の第２の形態によるシステムの一例の構成を概略的に示す略線図である。 実施の第２の形態に適用可能な、画面に画像を表示させるための機器の一例の構成を示すブロック図である。 座標情報管理・画像加工合成部の一例の構成を示すブロック図である。 発明の実施の第２の形態による一例の動作を説明するための略線図である。 複数プレーンを用いる場合の画像処理部の一例の構成を示すブロック図である。 １のプレーン上で画像の加工、合成を行う場合の画像処理部の一例の構成を示すブロック図である。 この実施の第２の形態によるカーソルの一例の表示制御について説明するための略線図である。 カーソル画像の生成を行うカーソル画像生成部を追加した座標情報管理・画像加工合成部の一例の構成を示すブロック図である。 ガイドを表示するための画像を生成するガイド画像生成部を追加した座標情報管理・画像加工合成部の一例の構成を示すブロック図である。 実施の第２の形態の変形例による、座標情報管理・画像加工合成部が内蔵された機器の一例の構成を示すブロック図である。 実施の第２の形態の変形例による一例のシステム構成を説明するためのブロック図である。 実施の第３の形態によるシステムの一例の構成を概略的に示す略線図である。 表示管理部の一例の構成を示すブロック図である。 画像処理部の一例の構成を示すブロック図である。 画像抽出部の一例の構成を示すブロック図である。 実施の第３の形態に適用可能な機器の一例の構成を示すブロック図である。 実施の第３の形態に適用可能な機器の別の例の構成を示すブロック図である。 実施の第３の形態による一例の動作を説明するための略線図である。 画像解析部による画像解析方法の例を示す略線図である。 実施の第３の形態によるカーソル制御の例についてより具体的に説明するための略線図である。 実施の第３の形態によるガイド表示を説明するための略線図である。 実施の第３の形態によるカーソルやガイドを表示させるための一例の構成を示すブロック図である。 実施の第３の形態の変形例による表示管理部が内蔵された機器の一例の構成を示すブロック図である。 実施の第３の形態による画像処理部の一例の構成を示すブロック図である。 実施の第３の形態の変形例による、表示管理部２が内蔵された機器を用いた場合の一例のシステム構成を示すブロック図である。 発明の実施の第１の形態に適用させた応用例によるシステムの一例の構成を示すブロック図である。 応用例による画面表示の例を示す略線図である。

符号の説明

１０，１１ 機器
１０Ａ，１１Ａ 出力画像
１０Ｂ，１０Ｃ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ，１１Ｆ，１１Ｇ 部分画像
１４ 画面
１５ 合成部
１６ 画像情報管理部
１７Ａ，１７Ｂ，１７Ｃ，１７Ｄ 表示領域
２３ 通信Ｉ／Ｆ
２４ 画像生成部
２５ 画像処理部
３３Ａ，３３Ｂ 通信Ｉ／Ｆ
３４ ＩＲ Ｉ／Ｆ
３５ リモートコントロールコマンダ
４０ カーソル
４１ ガイド
５０，５１，５２，５３，５４，５５ テンプレート
６０ 座標制御部
６１ ＲＯＭ
６２Ａ，６２Ｂ，６２Ｃ 通信Ｉ／Ｆ
７０ ＩＲ Ｉ／Ｆ
１００，１０１ 機器
１００Ａ，１０１Ａ 出力画像
１００Ｂ，１０１Ｂ 部分画像
１０２ 座標情報管理・画像加工合成部
１０４ 画面
１０５Ａ，１０５Ｂ 表示領域
１１３ 通信Ｉ／Ｆ
１１４ 画像生成部
１２１ ＲＯＭ
１２３ ＩＲ Ｉ／Ｆ
１２３ 画像処理部
１２７Ａ，１２７Ｂ，１２７Ｃ 通信Ｉ／Ｆ
１４０ 画像加工部
１４１Ａ，１４１Ｂ，１４１Ｃ プレーン
１４２ 加算器
１５０Ａ，１５０Ｂ，１５０Ｃ 画像加工部
１５１ プレーン
１２８ カーソル画像生成部
１２９ ガイド画像生成部
１３０ リモートコントロールコマンダ
１４０ 座標管理部
１４１ ＲＯＭ
１４２Ａ，１４２Ｂ，１４２Ｃ 通信Ｉ／Ｆ
１４３ ＩＲ Ｉ／Ｆ
２００，２０１ 機器
２００Ａ，２０１Ａ 出力画像
２００Ｂ，２０１Ｂ，２０１Ｃ，２０１Ｄ 部分画像
２０２ 表示管理部
２０４ 画面
２０５Ａ，２０５Ｂ 表示領域
２０６ カーソル
２１３ 画像処理部
２１６ ＩＲ Ｉ／Ｆ
２２０ リモートコントロールコマンダ
２３０Ａ，２３０Ｂ，２３０Ｃ 画像抽出部
２３１ 合成部
２４０ フレームメモリ
２４１ 画像解析部
２４２ 画像切出部
２５０ マーカ
３００ ディジタルテレビジョン受像機
３０１ 多機能電子ゲーム機器
３０２ ＨＤＭＩケーブル
３１０ ＣＰＵ
３１１ ＲＯＭ
３１３ 通信Ｉ／Ｆ
３１４ 座標情報管理部
３１５ ＩＲ Ｉ／Ｆ
３２０ チューナ部
３３０ 合成部
３４０ リモートコントロールコマンダ
３５０ ＣＰＵ
３５１ ＲＯＭ
３５３ 通信Ｉ／Ｆ
３５５ 通信Ｉ／Ｆ
３６０ 画像生成部
３６１ 画像処理部

Claims (97)

1. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、
   画面の空き領域を管理する空き領域管理部と、
   上記空き領域管理部による空き領域管理情報に基づき、上記空き領域に画像を配置する画像配置制御部と
   を備え、
   上記空き領域管理部は、上記画像配置制御部により画像が配置された後の空き領域をさらに管理する
   ことを特徴とする表示制御システム。
2. 請求項１に記載の表示制御システムにおいて、
   上記空き領域管理部は、上記画面に表示するための画像の情報に基づき上記空き領域を管理する
   ことを特徴とする表示制御システム。
3. 請求項１に記載の表示制御システムにおいて、
   上記画像配置制御部は、
   上記空き領域管理情報に基づき、必要に応じて、上記空き領域に配置する画像に対して該画像が配置される領域を変更するような処理を施す
   ことを特徴とする表示制御システム。
4. 請求項３に記載の表示制御システムにおいて、
   上記画像が配置される領域を変更する処理は、画像のサイズ変更および／または画像の移動処理である
   ことを特徴とする表示制御システム。
5. 請求項１に記載の表示制御システムにおいて、
   上記空き領域管理部は、上記空き領域に基づき画像を表示する表示領域を定め、
   上記画像配置制御部は、上記表示領域に対して画像を配置する
   ことを特徴とする表示制御システム。
6. 請求項１に記載の表示制御システムにおいて、
   上記画像配置制御部は、上記画像が配置された後の空き領域に対してさらに画像を配置できる
   ことを特徴とする表示制御システム。
7. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、
   画面の空き領域を管理する空き領域管理のステップと、
   上記空き領域管理のステップによる空き領域管理情報に基づき、上記空き領域に画像を配置する画像配置制御のステップと
   を備え、
   上記空き領域管理のステップは、上記画像配置制御のステップにより画像が配置された後の空き領域をさらに管理する
   ことを特徴とする表示制御方法。
8. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、
   画像を出力する画像出力部と、
   データ通信を行う第１の通信部と、
   上記画像出力部と上記第１の通信部とを制御する第１の制御部と
   を有する画像出力装置と、
   上記第１の通信部と通信可能な第２の通信部と、
   上記画像出力装置から出力される上記画像を画面に表示する際の表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないように管理する管理部と、
   上記第２の通信部および上記管理部を制御する第２の制御部と
   を有する表示制御装置と、
   複数の上記画像出力装置から出力された複数の画像を１の画像に合成する合成手段と
   を備え、
   上記表示制御装置は、上記第２の制御部の制御により、上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部で設定して該表示領域を示す情報を上記通信により上記画像出力装置に送信し、
   上記画像出力装置は、上記第１の制御部の制御により、上記表示制御装置から送信された上記表示領域を示す情報に基づき、上記画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して上記画像出力部から出力する
   ことを特徴とする表示制御システム。
9. 請求項８に記載の表示制御システムにおいて、
   上記画像処理は、画像のサイズ変更および／または画像の移動処理である
   ことを特徴とする表示制御システム。
10. 請求項８に記載の表示制御システムにおいて、
    上記第１および第２の通信部との間で通信を行う通信路は、上記画像出力装置から出力される画像の伝送路と一体的に構成される
    ことを特徴とする表示制御システム。
11. 請求項８に記載の表示制御システムにおいて、
    上記画像出力装置は、
    １の上記表示領域に対して複数の画像を表示させる場合に、該複数の画像が該１の表示領域内で互いに重ならないように、上記表示領域を示す情報に基づき該複数の画像を所定に移動させる
    ことを特徴とする表示制御システム。
12. 請求項８に記載の表示制御システムにおいて、
    上記画像出力装置は、
    同時に表示すべき複数の画像毎に優先度を付加し、該複数の画像のうち上記表示領域に表示する画像を該優先度に基づき選択する
    ことを特徴とする表示制御システム。
13. 請求項８に記載の表示制御システムにおいて、
    上記画像出力装置は、
    同時に表示すべき複数の画像毎に優先度を付加し、画面の位置に応じた優先度と、上記画像毎の優先度とに基づき、上記表示領域内の該複数の画像の表示位置を設定する
    ことを特徴とする表示制御システム。
14. 請求項１３に記載の表示制御システムにおいて、
    上記画像出力装置は、
    上記表示領域内に表示する画像の構成が変更された場合に、上記画像毎の優先度に関わらず、画像毎の移動がより少なくなるように該表示領域内での画像の移動を行う
    ことを特徴とする表示制御システム。
15. 請求項８に記載の表示制御システムにおいて、
    上記合成手段は、複数のプレーンを有し、
    複数の上記画像出力装置から出力された複数の画像のそれぞれを上記複数のプレーンのそれぞれに書き込み、該複数のプレーンを合成して１の画像を得る
    ことを特徴とする表示制御システム。
16. 請求項８に記載の表示制御システムにおいて、
    上記合成手段は、複数の上記画像出力装置から出力された複数の画像のそれぞれを１のプレーンに書き込むことで１の画像を得る
    ことを特徴とする表示制御システム。
17. 請求項８に記載の表示制御システムにおいて、
    上記表示制御装置は、
    予め表示領域の情報が設定された１または複数のテンプレートを記憶する記憶部をさらに有し、
    上記管理部は、上記表示領域を上記テンプレートに基づき設定する
    ことを特徴とする表示制御システム。
18. 請求項１７に記載の表示制御システムにおいて、
    上記テンプレートは、表示領域毎に優先度が設定されている
    ことを特徴とする表示制御システム。
19. 請求項１７に記載の表示制御システムにおいて、
    上記テンプレートは、表示領域毎に上記画像出力装置が対応付けられている
    ことを特徴とする表示制御システム。
20. 請求項１７に記載の表示制御システムにおいて、
    上記表示制御装置側で使用する上記テンプレートが他のテンプレートに切り換えられたら、上記画像出力装置側で該他のテンプレートに応じて画像を並べ替えて出力する
    ことを特徴とする表示制御システム。
21. 請求項１７に記載の表示制御システムにおいて、
    上記表示制御装置側で使用する上記テンプレートが他のテンプレートに切り換えられたら、上記画像出力装置側で出力する画像を該他のテンプレートに応じて切り換える
    ことを特徴とする表示制御システム。
22. 請求項１７に記載の表示制御システムにおいて、
    上記画像出力装置側で出力する画像が他の画像に切り換えられた場合、上記表示制御装置側で使用中の上記テンプレートをそのまま用い、該テンプレートの該画像出力装置に対応する上記表示領域に該他の画像を所定に配置する
    ことを特徴とする表示制御システム。
23. 請求項１７に記載の表示制御システムにおいて、
    上記画像出力装置側で出力する画像が他の画像に切り換えられた場合、上記表示装置側で使用するテンプレートを該他の画像に対応するテンプレートに切り換える
    ことを特徴とする表示制御システム。
24. 請求項８に記載の表示制御システムにおいて、
    上記表示制御装置は、ユーザ操作を受け付ける操作入力手段を有し、
    上記操作入力手段に対する画面内に表示される複数の画像のうち選択された画像を示すカーソル表示を移動させる上記ユーザ操作に応じて、該ユーザ操作の直前に該カーソル表示が行われていた画像に対応する第１の画像出力装置に対して該カーソル表示を解放する指示を送信し、
    上記第１の画像出力装置は、上記カーソル表示解放指示に応じて直前に上記カーソル表示がなされていた移動元画像の情報を上記表示制御装置に送信し、
    上記表示制御装置は、上記移動元画像の情報を該カーソル表示の移動先の画像に対応する第２の画像出力装置に送信し、
    上記第２の画像出力装置は、送信された上記移動元画像の情報に基づき上記カーソル表示を行う画像を決める
    ことを特徴とする表示制御システム。
25. 請求項２４に記載の表示制御システムにおいて、
    上記表示制御装置は、上記カーソル表示がなされている画像に対応する上記画像出力装置に対して、上記操作入力手段に対する上記ユーザ操作に応じた制御信号を上記通信手段により送信する
    ことを特徴とする表示制御システム。
26. 請求項２４に記載の表示制御システムにおいて、
    上記画像出力装置は、上記表示制御装置から送信される、上記操作入力手段に対する上記カーソル表示を移動させるユーザ操作に応じた信号に応じて、上記カーソル表示の移動可能な方向を示すガイド表示を行う
    ことを特徴とする表示制御システム。
27. 請求項８に記載の表示制御システムにおいて、
    上記合成手段は、該合成手段により合成された上記１の画像を表示するための表示装置に内蔵される
    ことを特徴とする表示制御システム。
28. 請求項２７に記載の表示制御システムにおいて、
    さらに、上記表示制御装置が上記表示装置に内蔵される
    ことを特徴とする表示制御システム。
29. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、
    出力する画像の表示に関する情報を画像出力装置から送信する第１の送信のステップと、
    上記第１の送信のステップにより送信された上記画像の表示に関する情報に基づき、該画像を表示するための表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないように、表示制御装置で設定する表示領域設定のステップと、
    上記表示領域設定のステップで設定された上記表示領域を示す情報を上記画像出力装置に送信する第２の送信のステップと、
    上記第２の送信のステップで送信された上記表示領域を示す情報に基づき、上記画像が該表示領域に収まる得ように該画像に対して該画像が表示される領域を変更するような画像処理を、上記画像出力装置で施す画像処理のステップと、
    複数の上記画像出力装置による上記画像処理のステップで画像処理された複数の画像を１の画像に合成して出力する合成のステップと
    を有することを特徴とする表示制御方法。
30. 複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御装置であって、
    画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないように管理する管理部と、
    上記画像出力装置との間で通信を行う通信部と、
    上記管理部および上記通信部を制御する制御部と
    を有し、
    上記制御部は、
    上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部で設定して該表示領域を示す情報を上記通信により上記画像出力装置に送信する
    ことを特徴とする表示制御装置。
31. 複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御方法であって、
    画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、
    上記取得のステップにより取得された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップにより設定された上記表示領域を示す情報を通信により上記画像出力装置に送信するステップと
    を有することを特徴とする表示制御方法。
32. 複数の画像出力装置から出力された画像を１の画面に同時に表示するように制御する表示制御方法をコンピュータ装置に実行させる表示制御プログラムであって、、
    上記表示制御方法は、
    画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、
    上記取得のステップにより取得された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップにより設定された上記表示領域を示す情報を通信により上記画像出力装置に送信するステップと
    を有することを特徴とする表示制御プログラム。
33. 画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないように管理する管理部と、
    上記画像出力装置との間で通信を行う通信部と、
    上記管理部および上記通信部を制御する制御部と、
    複数の上記画像出力装置から出力される画像を１の画像に合成する合成部と、
    上記合成部で合成された上記１の画像を表示する表示部と
    を有し、
    上記制御部は、
    上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部で設定して該表示領域を示す情報を上記通信により上記画像出力装置に送信する
    ことを特徴とする表示装置。
34. 画像を出力する画像出力部と、
    複数の機器から出力される画像を画面に表示する際の表示領域を、該複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する表示制御装置との間で通信を行う通信部と
    上記画像出力部および上記通信部を制御する制御部と
    を有し、
    上記制御部は、
    上記画像出力部から出力する上記画像の表示に関する情報を上記通信部により上記表示制御装置に対して送信し、
    送信された該画像の表示に関する情報に基づき該表示制御装置により設定され送信された該画像を表示するための表示領域を示す情報を上記通信部により受信し、
    受信された該表示領域を示す情報に基づき、上記画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力するように上記画像出力部を制御する
    ことを特徴とする画像出力装置。
35. 出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を該複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信する送信のステップと、
    上記送信のステップにより送信された上記画像の表示に関する情報に基づき上記表示制御装置により設定され該表示制御装置から送信された上記表示領域を示す情報を受信する受信のステップと、
    上記受信のステップにより受信された上記表示領域を示す情報に基づき、上記画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力するステップと
    を有することを特徴とする画像出力方法。
36. 出力する画像の表示に関する情報を、複数の機器から出力される画像を画面に表示する際の表示領域を該複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する表示制御装置に対して送信する送信のステップと、
    上記送信のステップにより送信された上記画像の表示に関する情報に基づき上記表示制御装置により設定され該表示制御装置から送信された上記表示領域を示す情報を受信する受信のステップと、
    上記受信のステップにより受信された上記表示領域を示す情報に基づき、上記画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力するステップと
    を有する画像出力方法をコンピュータ装置に実行させる
    ことを特徴とする画像出力プログラム。
37. 画像を出力する画像出力部と、
    画像を出力する他の機器との間で通信を行う通信部と
    上記画像出力部から出力される画像を画面に表示する第１の表示領域と、上記他の機器から出力される画像を画面に表示する際の第２の表示領域とを、上記画像出力部から出力される画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように管理する管理部と、
    上記画像出力部、上記管理部および上記通信部を制御する制御部と
    を有し、
    上記制御部は、
    上記画像出力部から出力される画像の表示に関する情報に基づき上記第１の表示領域を設定すると共に、
    上記他の機器から出力される画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記第２の表示領域を上記管理部で設定して該第２の表示領域を示す情報を上記通信により上記他の機器に送信する
    ことを特徴とする画像出力装置。
38. 請求項３７に記載の画像出力装置において
    上記画像出力部から出力される画像と、上記他の機器から出力される画像とを１の画像に合成する合成部をさらに有する
    ことを特徴とする画像出力装置。
39. 出力する画像の表示に関する情報に基づき、該画像を画面に表示する際の第１の表示領域を設定する第１の設定のステップと、
    他の機器から送信された、該他の機器から出力される画像の表示に関する情報を受信する受信のステップと、
    上記受信のステップにより受信された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の第２の表示領域を設定する第２の設定のステップと、
    上記第２の設定のステップにより設定された上記第２の表示領域を示す情報を上記他の機器に送信するステップと
    を有し、
    上記第１の表示領域と上記第２の表示領域とを、上記出力する画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように設定する
    ことを特徴とする画像出力方法。
40. 出力する画像の表示に関する情報に基づき、該画像を画面に表示する際の第１の表示領域を設定する第１の設定のステップと、
    他の機器から送信された、該他の機器から出力される画像の表示に関する情報を受信する受信のステップと、
    上記受信のステップにより受信された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の第２の表示領域を設定する第２の設定のステップと、
    上記第２の設定のステップにより設定された上記第２の表示領域を示す情報を上記他の機器に送信するステップと
    を有し、
    上記第１の表示領域と上記第２の表示領域とを、上記出力する画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように設定する
    ようにした画像出力方法をコンピュータ装置に実行させる
    ことを特徴とする画像出力プログラム。
41. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御システムにおいて、
    データ通信を行う第１の通信部と、
    画像を出力する画像出力部と、
    上記第１の通信部および上記画像処理部を制御する第１の制御部と
    を有する画像出力装置と、
    上記第１の通信部と通信可能な第２の通信部と、
    上記画像出力装置から出力される上記画像を画面に表示する際の表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないように管理する管理部と、
    上記管理部により管理される上記表示領域を示す情報に基づき上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    複数の上記画像処理部から出力された複数の画像を１の画像に合成する合成部と、
    少なくとも上記第２の通信部、上記管理部および上記画像処理部を制御する第２の制御部と
    を有する表示制御装置と
    を備え、
    上記表示制御装置は、上記第２の制御部の制御により、上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部により設定する
    ことを特徴とする表示制御システム。
42. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、上記管理部で設定された上記表示領域を示す情報を上記通信により上記画像出力装置に送信し、
    上記画像出力装置は、上記表示制御装置から送信された上記表示領域を示す情報に基づき、該表示領域に対応する画像を出力するようにした
    ことを特徴とする表示制御システム。
43. 請求項４１に記載の表示制御システムにおいて、
    上記画像処理部による上記画像処理は、画像のサイズ変更および／または画像の移動処理である
    ことを特徴とする表示制御システム。
44. 請求項４１に記載の表示制御システムにおいて、
    上記第１および第２の通信部との間で通信を行う通信路は、上記画像出力装置から出力される画像の伝送路と一体的に構成される
    ことを特徴とする表示制御システム。
45. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、
    上記画像処理部により、１の上記表示領域に対して複数の画像を表示させる場合に、該複数の画像が該１の表示領域内で互いに重ならないように、上記表示領域を示す情報に基づき該複数の画像を所定に移動させる
    ことを特徴とする表示制御システム。
46. 請求項４１に記載の表示制御システムにおいて、
    上記画像出力装置は、
    同時に表示すべき複数の画像毎に優先度を付加し、該複数の画像のうち上記表示領域に表示する画像を該優先度に基づき選択する
    ことを特徴とする表示制御システム。
47. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、
    画面の位置に応じた優先度と、同時に表示すべき複数の画像毎に付加された優先度とに基づき、上記表示領域内の該複数の画像の表示位置を設定する
    ことを特徴とする表示制御システム。
48. 請求項４７に記載の表示制御システムにおいて、
    上記表示制御装置は、
    上記表示領域内に表示する画像の構成が変更された場合に、上記画像毎の優先度に関わらず、画像毎の移動がより少なくなるように該表示領域内での画像の移動を行う
    ことを特徴とする表示制御システム。
49. 請求項４１に記載の表示制御システムにおいて、
    上記合成部は、複数のプレーンを有し、
    複数の上記画像処理部から出力された複数の画像のそれぞれを上記複数のプレーンのそれぞれに書き込み、該複数のプレーンを合成して１の画像を得る
    ことを特徴とする表示制御システム。
50. 請求項４１に記載の表示制御システムにおいて、
    上記合成部は、複数の上記画像処理部から出力された複数の画像のそれぞれを１のプレーンに書き込むことで１の画像を得る
    ことを特徴とする表示制御システム。
51. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、
    予め表示領域の情報が設定された１または複数のテンプレートを記憶する記憶部をさらに有し、
    上記管理部は、上記表示領域を上記テンプレートに基づき設定する
    ことを特徴とする表示制御システム。
52. 請求項５１に記載の表示制御システムにおいて、
    上記テンプレートは、表示領域毎に優先度が設定されている
    ことを特徴とする表示制御システム。
53. 請求項５１に記載の表示制御システムにおいて、
    上記テンプレートは、表示領域毎に上記画像出力装置が対応付けられている
    ことを特徴とする表示制御システム。
54. 請求項５１に記載の表示制御システムにおいて、
    上記表示制御装置側で使用する上記テンプレートが他のテンプレートに切り換えられたら、上記画像出力装置側で該他のテンプレートに応じて画像を並べ替えて出力する
    ことを特徴とする表示制御システム。
55. 請求項５１に記載の表示制御システムにおいて、
    上記表示制御装置側で使用する上記テンプレートが他のテンプレートに切り換えられたら、上記画像出力装置側で出力する画像を該他のテンプレートに応じて切り換える
    ことを特徴とする表示制御システム。
56. 請求項５１に記載の表示制御システムにおいて、
    上記画像出力装置側で出力する画像が他の画像に切り換えられた場合、上記表示制御装置側で使用中の上記テンプレートをそのまま用い、該テンプレートの該画像出力装置に対応する上記表示領域に該他の画像を所定に配置する
    ことを特徴とする表示制御システム。
57. 請求項５１に記載の表示制御システムにおいて、
    上記画像出力装置側で出力する画像が他の画像に切り換えられた場合、上記表示装置側で使用するテンプレートを該他の画像に対応するテンプレートに切り換える
    ことを特徴とする表示制御システム。
58. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、ユーザ操作を受け付ける操作入力部をさらに有し、
    上記操作入力部に対する画面内に表示される複数の画像のうち選択された画像を示すカーソル表示を移動させる上記ユーザ操作に応じて、該ユーザ操作の直前に該カーソル表示が行われていた画像に対応する第１の画像出力装置に対して該カーソル表示を解放する指示を送信すると共に、該カーソル表示の移動先の画像に対応する第２の画像出力装置に対して該カーソルの移動を示す情報を送信する
    ことを特徴とする表示制御システム。
59. 請求項５８に記載の表示制御システムにおいて、
    上記表示制御装置は、上記カーソル表示がなされている画像に対応する上記画像出力装置に対して、上記操作入力部に対する上記ユーザ操作に応じた制御信号を上記第２の通信部から送信する
    ことを特徴とする表示制御システム。
60. 請求項５８に記載の表示制御システムにおいて、
    上記表示制御装置は、上記操作入力部に対する上記カーソル表示を移動させるユーザ操作に応じた信号に応じて、上記カーソル表示の移動可能な方向を示すガイド表示を行う
    ことを特徴とする表示制御システム。
61. 請求項４１に記載の表示制御システムにおいて、
    上記表示制御装置は、上記合成部により合成された上記１の画像を表示するための表示装置に内蔵される
    ことを特徴とする表示制御システム。
62. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、
    出力する画像の表示に関する情報を画像出力装置から送信する送信のステップと、
    上記送信のステップにより送信された上記画像の表示に関する情報に基づき該画像を表示するための表示領域を、複数の上記画像出力装置のそれぞれから出力される複数の上記画像が１画面内で互いに重ならないよう、表示制御装置で設定する表示領域設定のステップと、
    上記表示領域設定のステップで設定された上記表示領域を示す情報に基づき、上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を、上記表示制御装置で施す画像処理のステップと、
    複数の上記画像出力装置から出力されそれぞれ上記画像処理のステップで画像処理された複数の画像を１の画像に合成して出力する合成のステップと
    を有する
    ことを特徴とする表示制御方法。
63. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御装置であって、
    画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、
    上記管理部により管理される上記表示領域を示す情報に基づき、上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    複数の上記画像処理部から出力された複数の画像を１の画像に合成する合成部と、
    上記画像出力装置との間で通信が可能な通信部と、
    少なくとも上記通信部、上記管理部および上記画像処理部を制御する制御部と
    を有し、
    上記制御部は、上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部により設定する
    ことを特徴とする表示制御装置。
64. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法であって、
    画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、
    上記取得のステップにより取得された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップにより設定された上記表示領域を示す情報に基づき、上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理が施された複数の画像を１の画像に合成して出力するステップと
    を有することを特徴とする表示制御方法。
65. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法をコンピュータ装置に実行させる表示制御プログラムであって、
    上記表示制御方法は、
    画像出力装置から出力される画像の表示に関する情報を通信により取得する取得のステップと、
    上記取得のステップにより取得された上記画像の表示に関する情報に基づき、該画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップにより設定された上記表示領域を示す情報に基づき、上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理が施された複数の画像を１の画像に合成して出力するステップと
    を有することを特徴とする表示制御プログラム。
66. 画像出力装置から出力される画像を画面に表示する際の表示領域を、複数の画像出力装置のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理する管理部と、
    上記管理部により管理される上記表示領域を示す情報に基づき、上記画像出力装置から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    上記画像出力装置との間で通信が可能な通信部と、
    少なくとも上記通信部、上記管理部および上記画像処理部を制御する制御部と、
    複数の上記画像処理部から出力された複数の画像を１の画像に合成する合成部と、
    上記合成部で合成された上記１の画像を表示する表示部と
    を有し、
    上記制御部は、上記画像出力装置から出力される上記画像の表示に関する情報を上記通信により取得し、取得された該画像の表示に関する情報に基づき該画像を表示するための上記表示領域を上記管理部により設定する
    ことを特徴とする表示装置。
67. 画像を出力する画像出力部と、
    上記画像出力部から出力される上記画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、該表示領域を示す情報に基づき上記画像出力部から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施し、該画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置との間で通信を行う通信部と、
    上記通信部および上記画像処理部を制御する制御部と
    を有し、
    上記画像出力部から出力する上記画像の表示に関する情報を上記通信部により上記表示制御装置に送信する
    ことを特徴とする画像出力装置。
68. 請求項６７に記載の画像出力装置において、
    上記表示制御装置から上記表示領域を示す情報が送信され、送信された該表示領域を示す情報に基づき、該表示領域に対応する画像を出力するようにした
    ことを特徴とする画像出力装置。
69. 画像を出力する画像出力のステップと、
    上記画像出力のステップにより出力される上記画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、該表示領域を示す情報に基づき上記画像出力部から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施し、該画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、上記画像出力のステップにより出力する上記画像の表示に関する情報を送信するステップと
    を有する
    ことを特徴とする画像出力方法。
70. 画像を出力する画像出力のステップと、
    上記画像出力のステップにより出力される上記画像を画面に表示する際の表示領域を、複数の機器のそれぞれから出力される複数の画像が１画面内で互いに重ならないように管理し、該表示領域を示す情報に基づき上記画像出力部から出力される画像を、該画像が該表示領域に収まるように該画像に対して該画像が表示される領域を変更するような画像処理を施し、該画像処理された複数の画像を１の画像に合成して出力するようにした表示制御装置に対して、上記画像出力のステップにより出力する上記画像の表示に関する情報を送信するステップと
    を有する画像出力方法をコンピュータ装置に実行させるようにした
    ことを特徴とする画像出力プログラム。
71. 画像を出力する画像出力部と、
    画像を出力する他の機器との間で通信を行う通信部と
    上記画像出力装置から出力される上記画像を画面に表示する際の第１の表示領域と、上記他の機器から出力される画像を画面に表示する際の第２の表示領域とを、上記画像出力部から出力される画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように管理する管理部と、
    上記管理部により管理される、上記第１および第２の表示領域を示す情報に基づき、上記画像出力装置から出力される画像と、上記他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に該画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    上記画像処理部から出力された複数の画像を１の画像に合成する合成部と
    少なくとも上記画像出力部、上記通信部、上記管理部および上記画像処理部を制御する制御部と
    を有し、
    上記制御部は、上記画像出力部から出力される上記画像の表示に関する情報を取得すると共に、上記他の機器から出力される画像の表示に関する情報を上記通信により取得し、取得された情報に基づき上記第１および第２の表示領域を上記管理部により設定する
    ことを特徴とする画像出力装置。
72. 画像を出力する画像出力のステップと、
    画像を出力する他の機器との間で通信を行う通信のステップと
    上記画像出力のステップにより出力される上記画像の表示に関する情報を取得する第１の取得のステップと、
    上記他の機器から出力される画像の表示に関する情報を上記通信のステップにより取得する第２の取得のステップと、
    上記画像出力のステップにより出力される上記画像を画面に表示する際の第１の表示領域と、上記他の機器から出力される画像を画面に表示する際の第２の表示領域とを、上記第１および第２の取得のステップで取得された情報に基づき、上記画像出力のステップにより出力される画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップで設定された、上記第１および第２の表示領域を示す情報に基づき、上記画像出力のステップにより出力される画像と、上記他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に該画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理された複数の画像を１の画像に合成する合成のステップと
    を有することを特徴とする画像出力方法。
73. 画像を出力する画像出力のステップと、
    画像を出力する他の機器との間で通信を行う通信のステップと
    上記画像出力のステップにより出力される上記画像の表示に関する情報を取得する第１の取得のステップと、
    上記他の機器から出力される画像の表示に関する情報を上記通信のステップにより取得する第２の取得のステップと、
    上記画像出力のステップにより出力される上記画像を画面に表示する際の第１の表示領域と、上記他の機器から出力される画像を画面に表示する際の第２の表示領域とを、上記第１および第２の取得のステップで取得された情報に基づき、上記画像出力のステップにより出力される画像と上記他の機器から出力される画像とが１画面内で互いに重ならないように設定する設定のステップと、
    上記設定のステップで設定された、上記第１および第２の表示領域を示す情報に基づき、上記画像出力のステップにより出力される画像と、上記他の機器から出力される画像とに対し、それぞれの画像が対応する表示領域に収まるように、それぞれの画像に該画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理された複数の画像を１の画像に合成する合成のステップと
    を有する画像出力方法をコンピュータ装置に実行させるようにした
    ことを特徴とする画像出力プログラム。
74. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御装置において、
    入力された画像を解析して部分画像を検出する部分画像抽出部と、
    上記部分画像抽出部で検出された上記部分画像に基づき、該部分画像を画面に表示する際の表示領域を、複数の上記入力画像から抽出された複数の該部分画像が互いに重ならないように管理する管理部と、
    上記部分画像抽出部で抽出された上記部分画像が上記管理部により管理される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    上記画像処理部から出力された複数の上記部分画像を１の画像に合成する合成部と
    を有することを特徴とする表示制御装置。
75. 請求項７４に記載の表示制御装置において、
    上記部分画像抽出部は、
    上記入力画像に予め付加されたマーカに基づき上記部分画像を検出する
    ことを特徴とする表示制御装置。
76. 請求項７４に記載の表示制御装置において、
    上記部分画像抽出部は、
    上記入力画像の色に基づき上記部分画像を検出する
    ことを特徴とする表示制御装置。
77. 請求項７４に記載の表示制御装置において、
    上記画像処理部による上記画像処理は、部分画像のサイズ変更および／または画像の移動処理である
    ことを特徴とする表示制御装置。
78. 請求項７４に記載の表示制御装置において、
    上記画像処理部により、１の上記表示領域に対して複数の部分画像を表示させる場合に、該複数の部分画像が該１の表示領域内で互いに重ならないように、上記表示領域を示す情報に基づき該複数の部分画像を所定に移動させる
    ことを特徴とする表示制御装置。
79. 請求項７４に記載の表示制御装置において、
    同時に表示すべき複数の部分画像毎に定義された優先度に基づき、該複数の部分画像のうち上記表示領域に表示する画像を選択する
    ことを特徴とする表示制御装置。
80. 請求項７４に記載の表示制御装置において、
    画面の位置に応じた優先度と、同時に表示すべき複数の部分画像毎に定義された優先度とに基づき、上記表示領域内の該複数の部分画像の表示位置を設定する
    ことを特徴とする表示制御装置。
81. 請求項８０に記載の表示制御装置において、
    上記表示領域内に表示する部分画像の構成が変更された場合に、上記部分画像毎の優先度に関わらず、部分画像毎の移動がより少なくなるように該表示領域内での部分画像の移動を行う
    ことを特徴とする表示制御装置。
82. 請求項７４に記載の表示制御装置において、
    上記合成部は、複数のプレーンを有し、
    複数の上記画像処理部から出力された複数の部分画像のそれぞれを上記複数のプレーンのそれぞれに書き込み、該複数のプレーンを合成して１の画像を得る
    ことを特徴とする表示制御装置。
83. 請求項７４に記載の表示制御装置において、
    上記合成部は、複数の上記画像処理部から出力された複数の部分画像のそれぞれを１のプレーンに書き込むことで１の画像を得る
    ことを特徴とする表示制御装置。
84. 請求項７４に記載の表示制御装置において、
    予め表示領域の情報が設定された１または複数のテンプレートを記憶する記憶部をさらに有し、
    上記管理部は、上記表示領域を上記テンプレートに基づき設定する
    ことを特徴とする表示制御装置。
85. 請求項８４に記載の表示制御装置において、
    上記テンプレートは、表示領域毎に優先度が設定されている
    ことを特徴とする表示制御装置。
86. 請求項８４に記載の表示制御装置において、
    上記テンプレートは、表示領域毎に上記入力画像が対応付けられている
    ことを特徴とする表示制御装置。
87. 請求項８４に記載の表示制御装置において、
    使用する上記テンプレートが他のテンプレートに切り換えられたら、該他のテンプレートに応じて部分画像を並べ替えて出力する
    ことを特徴とする表示制御装置。
88. 請求項８４に記載の表示制御装置において、
    上記入力画像が他の画像に切り換えられた場合、使用中の上記テンプレートをそのまま用い、該テンプレートの該入力画像に対応する上記表示領域に該他の画像から検出された部分画像を所定に配置する
    ことを特徴とする表示制御装置。
89. 請求項８４に記載の表示制御装置において、
    上記入力画像が他の画像に切り換えられた場合、使用するテンプレートを該他の画像に対応するテンプレートに切り換える
    ことを特徴とする表示制御装置。
90. 請求項７４に記載の表示制御装置において、
    ユーザ操作を受け付ける操作入力部をさらに有し、
    上記操作入力部に対する画面内に表示される複数の部分画像のうち選択された部分画像を示すカーソル表示を移動させる上記ユーザ操作に応じて、該カーソル表示を移動させる
    ことを特徴とする表示制御装置。
91. 請求項９０に記載の表示制御装置において、
    上記操作入力部に対する上記カーソル表示を移動させるユーザ操作に応じて、上記カーソル表示の移動可能な方向を示すガイド表示を行う
    ことを特徴とする表示制御装置。
92. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法において、
    入力された画像を解析して部分画像を検出する部分画像抽出のステップと、
    上記部分画像抽出のステップにより検出された上記部分画像に基づき、該部分画像を画面に表示する際の表示領域を、複数の上記入力画像から抽出された複数の該部分画像が互いに重ならないように設定する設定のステップと、
    上記部分画像抽出のステップで抽出された上記部分画像が上記設定のステップにより設定される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理された複数の上記部分画像を１の画像に合成する合成のステップと
    を有することを特徴とする表示制御方法。
93. 複数の機器から出力された画像を１の画面に同時に表示するようにした表示制御方法をコンピュータ装置に実行させるようにした表示制御プログラムにおいて、
    上記表示制御方法は、
    入力された画像を解析して部分画像を検出する部分画像抽出のステップと、
    上記部分画像抽出のステップにより検出された上記部分画像に基づき、該部分画像を画面に表示する際の表示領域を、複数の上記入力画像から抽出された複数の該部分画像が互いに重ならないように設定する設定のステップと、
    上記部分画像抽出のステップで抽出された上記部分画像が上記設定のステップにより設定される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより上記画像処理された複数の上記部分画像を１の画像に合成する合成のステップと
    を有することを特徴とする表示制御プログラム。
94. 入力された画像を解析して部分画像を検出する部分画像抽出部と、
    上記部分画像抽出部で検出された上記部分画像に基づき、該部分画像を画面に表示する際の表示領域を、複数の上記入力画像から抽出された複数の該部分画像が互いに重ならないように管理する管理部と、
    上記部分画像抽出部で抽出された上記部分画像が上記管理部により管理される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    上記画像処理部から出力された複数の上記部分画像を１の画像に合成する合成部と、
    上記合成部から出力された上記１の画像を表示する表示部と
    を有することを特徴とする表示装置。
95. 画像を入力する１または複数の画像入力部と、
    画像を出力する画像出力部と、
    少なくとも上記画像入力部から入力された画像を解析して部分画像を検出する部分画像抽出部と、
    上記画像入力部から入力された画像に含まれる部分画像および／または上記画像出力部から出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の該部分画像が互いに重ならないように管理する管理部と、
    上記部分画像が上記管理部により管理される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施して出力する画像処理部と、
    上記画像処理部から出力された複数の上記部分画像を１の画像に合成する合成部と
    を有することを特徴とする画像出力装置。
96. 画像を出力する画像出力のステップと、
    少なくとも入力された画像を解析して部分画像を検出する部分画像抽出のステップと、
    上記入力画像に含まれる部分画像および／または上記画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の該部分画像が互いに重ならないように設定する設定のステップと、
    上記部分画像が上記設定のステップにより設定される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより出力された複数の上記部分画像を１の画像に合成する合成のステップと
    を有することを特徴とする画像出力方法。
97. 画像を出力する画像出力のステップと、
    少なくとも入力された画像を解析して部分画像を検出する部分画像抽出のステップと、
    上記入力画像に含まれる部分画像および／または上記画像出力のステップから出力される画像に含まれる部分画像を画面に表示する際の表示領域を、複数の該部分画像が互いに重ならないように設定する設定のステップと、
    上記部分画像が上記設定のステップにより設定される上記表示領域に収まるように、該部分画像に対して該部分画像が表示される領域を変更するような画像処理を施す画像処理のステップと、
    上記画像処理のステップにより出力された複数の上記部分画像を１の画像に合成する合成のステップとを有する画像出力方法をコンピュータ装置に実行させるようにした
    ことを特徴とする画像出力プログラム。

Images