JP2009010625A

JP2009010625A - 映像表示装置、映像表示方法、プログラム及び映像表示システム

Info

Publication number: JP2009010625A
Application number: JP2007169424A
Authority: JP
Inventors: Tetsuya Sawada; 哲也澤田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-06-27
Filing date: 2007-06-27
Publication date: 2009-01-15

Abstract

【課題】見やすい映像ほど認識しやすく表示することができる映像表示装置，映像表示方法、プログラム及び映像表示システムを提供する。
【解決手段】ネットワーク調査部２０５は、複数の映像配信装置との間のネットワークのプロファイルとして、スループット、優先度又はエラーレート等を調査する。順位決定部２０６は、ネットワーク調査部２０５による調査の結果に基づいて、複数の映像配信装置そのものの順位及び／又は複数の映像配信装置からの映像の順位を決定する。映像合成部２０７は、順位決定部２０６により決定された順位に基づいて、複数の映像配信装置から配信された映像を合成して、映像表示部２０１に表示するための表示画面を生成する。
【選択図】図２

Description

本発明は、複数の映像を同時に表示する映像表示装置、映像表示方法、プログラム及び映像表示システムに関する。

従来、パーソナルコンピュータ用の表示装置及びプロジェクタ等の映像表示装置として、ネットワークを介して、複数の映像配信装置からの映像を、マルチウインドウ又は画面分割により、同時に表示するものがある。また、このような映像表示装置の中には、予め各映像配信装置に優先順位を設定しておき、優先順位の高い映像配信装置からの映像を、大きく、手前に表示するものもある（特許文献１）。

特開２００１−２３１０３２号公報

しかしながら、上記従来の技術では、予め各映像配信装置に優先順位を設定しておく必要があるため、映像表示装置と優先順位の高い映像配信装置との間の通信状態が悪い場合に、質の悪い映像が大きく手前に表示されてしまう。また、映像表示装置と各映像配信装置との間の通信状態にばらつきがあって、映像の質にばらつきがある場合には、無秩序に表示されてしまう。この結果、ユーザにとって見難い映像が表示されることとなる。

本発明は、見やすい映像ほど認識しやすく表示することができる映像表示装置、映像表示方法、プログラム及び映像表示システムを提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る映像表示装置は、複数の映像配信装置との間のネットワークのプロファイルを調査する調査手段と、前記調査手段による調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定手段と、前記順位決定手段による順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成手段と、前記合成手段により得られた映像を表示する表示手段と、を有することを特徴とする。

本発明に係る映像表示方法は、複数の映像配信装置との間のネットワークのプロファイルを調査する調査ステップと、前記調査ステップにおける調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定ステップと、前記順位決定ステップにおける順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成ステップと、前記合成ステップの結果、得られた映像を表示手段に表示する表示ステップと、を有することを特徴とする。

本発明に係るプログラムは、コンピュータに、複数の映像配信装置との間のネットワークのプロファイルを調査する調査ステップと、前記調査ステップにおける調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定ステップと、前記順位決定ステップにおける順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成ステップと、前記合成ステップの結果、得られた映像を表示手段に表示する表示ステップと、を実行させることを特徴とする。

本発明に係る映像表示システムは、映像表示装置と、前記映像表示装置と通信可能な複数の映像配信装置と、を有し、前記映像表示装置は、前記複数の映像配信装置との間のネットワークのプロファイルを調査する調査手段と、前記調査手段による調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定手段と、前記順位決定手段による順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成手段と、前記合成手段により得られた映像を表示する表示手段と、を有することを特徴とする。

本発明によれば、調査手段によるネットワークのプロファイルの調査の結果に基づく映像が表示されるので、見やすい映像ほど認識しやすく表示することができる。この結果、質の悪い映像を大きく手前に表示する可能性を低減することができ、質の高い映像を大きく手前に表示する可能性を高めることができる。また、映像の質にばらつきがあっても、無秩序に表示してしまう可能性を低減することができ、秩序をもって表示する可能性を高めることもできる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る映像表示装置を備えた映像表示システムの構成を示す模式図である。

この映像表示システムには、フラットパネルディスプレイ（ＦＰＤ）１０１が映像表示装置として設けられている。ＦＰＤ１０１は、ＩＥＥＥ８０２．３規格に対応した通信を行う有線通信機能を備えており、有線通信を介して受信した映像を表示する。ＦＰＤ１０１には、アクセスポイント（ＡＰ）１０２が中継装置として有線接続されている。ＡＰ１０２は、ＩＥＥＥ８０２．１１規格に対応した通信を行う無線通信機能、ＩＥＥＥ８０２．３規格に対応した通信を行う有線通信機能、及び両通信の中継を行う中継機能を備えている。更に、この映像表示システムには、複数のデジタルビデオカメラ（ＤＶＣ）１１１〜１１９が映像配信装置として設けられている。ＤＶＣ１１１〜ＤＶＣ１１９は、ＩＥＥＥ８０２．１１規格に対応した通信を行う無線通信機能、映像を撮像する撮像機能、及び撮像した映像を配信する映像配信機能を備えている。

このように構成された映像表示システムでは、ＡＰ１０２が、ＦＰＤ１０１を有線通信機能により収容し、ＤＶＣ１１１〜ＤＶＣ１１９を無線通信機能により収容し、更に、両通信の中継を行う。つまり、ＡＰ１０２を含むネットワーク（ＬＡＮ）が構築され、ＦＰＤ１０１と複数のＤＶＣ１１１〜ＤＶＣ１１９とが通信可能となっており、ＦＰＤ１０１が、このネットワークを介して、ＤＶＣ１１１〜ＤＶＣ１１９が配信する映像を表示する。

次に、ＦＰＤ１０１について説明する。図２は、第１の実施形態におけるＦＰＤ１０１の機能構成を示す機能ブロック図である。ＦＰＤ１０１には、映像表示部２０１、有線通信部２０２、映像復号部２０３、調査データ保存部２０４、ネットワーク調査部２０５、順位決定部２０６及び映像合成部２０７が設けられている。映像表示部２０１が表示手段に相当し、ネットワーク調査部２０５が調査手段に相当し、順位決定部２０６が順位決定手段に相当し、映像合成部２０７が合成手段に相当する。

映像表示部２０１は、液晶表示画面及びその周辺回路等から構成されており、映像を表示する。

有線通信部２０２は、有線ＬＡＮチップ、その周辺回路及びチップドライバ等から構成されており、有線ＬＡＮチップがＴＣＰ／ＩＰ等の各種プロトコル処理用のプログラムを実行する。そして、有線通信部２０２は、ＩＥＥＥ８０２．３規格に対応した通信を行う。

映像復号部２０３は、デコーダ及びその周辺回路等から構成されており、ネットワークを介して受信した映像を復号する。

調査データ保存部２０４は、メモリ、ＣＰＵ及びこのＣＰＵが実行する所定のメモリ管理プログラム等から構成され、ネットワーク調査部２０５、順位決定部２０６及び映像合成部２０７が作成したり使用したりする調査データを保存する。図３は、第１の実施形態における調査データのデータ構造を示す図である。調査データは映像配信装置であるＤＶＣの数だけエントリをもっている。本実施形態では、図１に示すように、ＤＶＣの数は９である。調査データには、例えば、ＩＰアドレス３０１、ポート番号３０２、スループット３０３及び表示順位３０４の４つの要素が含まれている。ＩＰアドレス３０１の欄には、各映像配信装置のＩＰアドレスが保存される。ポート番号３０２の欄には、各ＤＶＣ１１１〜１１９からの映像データを受信するためのプロトコルが使用しているポート番号が保存される。スループット３０３の欄には、各ＤＶＣ１１１〜１１９から映像データを受信している際の映像データのスループットが保存される。スループットの値はネットワーク調査部２０５により取得される。表示順位３０４の欄には、各ＤＶＣ１１１〜１１９から映像を表示する場合の順位付けの結果が保存される。この表示順位は順位決定部２０６により決定される。

ネットワーク調査部２０５は、ＤＶＣ１１１〜１１９との間のネットワークのプロファイルを調査する。ネットワーク調査部２０５は、ＣＰＵ及びこのＣＰＵが実行する所定のプログラム等から構成されている。図４は、第１の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。つまり、図４は、ＣＰＵがネットワーク調査部２０５を構成するに当たり実行する所定のプログラムの内容を示している。

ネットワーク調査部２０５は、例えば、有線通信部２０２がＡＰ１０２を介してＤＶＣ１１１〜１１９から映像データを受信し、ＲＴＳＰ（Real Time Streaming Protocol）のＰＬＡＹメソッドをＤＶＣ１１１〜１１９に送信した後に処理を開始する。ネットワーク調査部２０５は、先ず、調査データを読み込む（ステップＦ４０１）。また、読み込みに併せて、ＩＰアドレス３０１の欄に、当該ＤＶＣのＩＰアドレスを保存し、ポート番号３０２の欄に、当該ＤＶＣから映像データを受信するプロトコルが使用しているポート番号を保存する。ここでは、当該ＤＶＣのＩＰアドレス及びポート番号は、ＲＴＳＰのＰＬＡＹメソッドが送信される前に既知となっているため、その値を保存することとする。次に、ネットワーク調査部２０５は、スループットを計測するためのタイマを起動し（ステップＦ４０２）、映像データの受信があった場合には、映像データ量を加算する（ステップＦ４０３）。ここでは、ネットワーク調査部２０５は、ＩＰアドレス３０１及びポート番号３０２に保存されたものと一致するデータの受信があった場合に、受信したデータの量を映像データ量として累積する。次に、ネットワーク調査部２０５は、タイマの満了か否かを確認することで、調査期間が満了したか否かを判定し（ステップＦ４０４）、調査期間が満了していなければ、ステップＦ４０３に戻る。一方、調査期間が満了していれば、ネットワーク調査部２０５は、それまでに加算された映像データ量と調査期間との比から、ネットワークのプロファイルとしてスループットを計算する（ステップＦ４０５）。次に、ネットワーク調査部２０５は、スループット３０３の欄に、計算されたスループットを書き込み（ステップＦ４０６）、処理を終了する。

順位決定部２０６は、ＤＶＣ１１１〜１１９そのものの順位及び／又はＤＶＣ１１１〜１１９からの映像の順位を決定する。ネットワーク調査部２０５は、ＣＰＵ及びこのＣＰＵが実行する所定のプログラム等から構成されている。図５は、第１の実施形態における順位決定部２０６の動作を示すフローチャートである。つまり、図５は、ＣＰＵが順位決定部２０６を構成するに当たり実行する所定のプログラムの内容を示している。

順位決定部２０６は、例えば、ネットワーク調査部２０５が各ＤＶＣ１１１〜１１９についての処理を終了してスループットを計算した後に処理を開始する。順位決定部２０６は、先ず、ネットワーク調査部２０５によって更新された調査データを読み込む（ステップＦ５０１）。次に、順位決定部２０６は、スループット３０３に書き込まれた値が大きい順に、１〜９の表示順位を決定し（ステップＦ５０２）、この値を、表示順位３０４の欄に書き込み（ステップＦ５０３）、処理を終了する。本実施形態では、９つのＤＶＣがあるので、例えば、スループット３０３の値が最大のエントリの順位を１位と決定し、最小のエントリの順位を９位と決定する。

映像合成部２０７は、フレームメモリ、その周辺回路、ＣＰＵ及びこのＣＰＵが実行する所定のプログラム等から構成されており、ＤＶＣ１１１〜１１９から配信された映像を合成して、映像表示部２０１に表示するための表示画面を生成する。フレームメモリは、少なくとも各ＤＶＣに対応できる数だけ設けられている。図７は、第１の実施形態における映像合成部２０７の動作を示すフローチャートである。つまり、図７は、ＣＰＵ等が映像合成部２０７を構成するに当たり実行する所定のプログラムの内容を示している。

映像合成部２０７は、例えば、順位決定部２０６が表示順位を決定した後に処理を開始する。映像合成部２０７は、先ず、順位決定部２０６によって更新された調査データを読み込む（ステップＦ７０１）。次に、映像合成部２０７は、各ＤＶＣ１１１〜１１９からの映像を、表示順位３０４に書き込まれている順位に基づいて、これに対応するフレームメモリに書き込めるように映像のサイズを調整する（ステップＦ７０２）。図６は、第１の実施形態におけるフレームメモリと表示画面との関係を示す図である。本実施形態では、ＤＶＣの数が９であるため、表示画面が９個の表示部６０１〜６０９に９分割されている。また、これらのサイズに関し、表示部６０１が最も大きく、表示部６０２〜６０５がその次に大きく、表示部６０６〜６０９が最も小さくなっている。そこで、映像合成部２０７は、表示順位３０４に１位と書き込まれている映像を、表示部６０１に対応するフレームメモリに書き込むことができるサイズに調整する。また、映像合成部２０７は、表示順位３０４に２位、３位、４位又は５位と書き込まれている映像を、表示部６０２及び６０３に対応するフレームメモリに書き込むことができるサイズに調整する。更に、映像合成部２０７は、表示順位３０４に６位、７位、８位又は９位と書き込まれている映像を、表示部６０６〜６０９に対応するフレームメモリに書き込むことができるサイズに調整する。

映像合成部２０７は、次に、サイズの調整が済んだ各ＤＶＣ１１１〜１１９からの映像を、表示順位３０４に基づいて、これに対応するフレームメモリに書き込む（ステップＦ７０３）。このようにして、映像合成部２０７は１枚の表示画面の合成を行う。次に、映像合成部２０７は、全てのＤＶＣ１１１〜１１９からの映像の配信が終了したか否かを判定し（ステップＦ７０４）、終了していなければ、次の表示画面の生成のためにステップＦ７０２に戻り、終了していれば、処理を終了する。その後、映像表示部２０１が、映像合成部２０７により合成された表示画面を表示する。なお、映像合成部２０７は、合成に際していずれかのＤＶＣからの映像データが途切れた場合には、例えば、前回の映像データを用いて合成する。また、映像合成部２０７は、いずれかのＤＶＣからの映像の配信そのものが終了していて、映像データを受信していない場合には、例えば、ブルー画面を合成する。

このような第１の実施形態によれば、ネットワーク調査部２０５によるスループットの調査結果に基づいて、ＤＶＣ１１１〜１１９からの映像の表示部６０１〜６０９への割り当てが行われる。従って、ＦＰＤ１０１とＤＶＣ１１１〜１１９との間の通信状態に応じたレイアウト、特に表示部の大きさの調整が可能となり、ユーザにとって見やすい映像の表示が可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、調査データ保存部２０４における調査データの構造が第１の実施形態と相違している。また、これに伴って、ネットワーク調査部２０５、順位決定部２０６、及び映像合成部２０７の構成及び動作も第１の実施形態と相違しており、更に、フレームメモリと表示画面との関係も第１の実施形態と相違している。

図８は、第２の実施形態における調査データのデータ構造を示す図である。調査データは映像配信装置であるＤＶＣの数だけエントリをもっている。本実施形態でも、図１に示すように、ＤＶＣの数は９である。調査データには、例えば、ＩＰアドレス８０１、ポート番号８０２、優先度（ＴＯＳ：Type Of Service）８０３及び表示順位８０４の４つの要素が含まれている。ＩＰアドレス８０１の欄には、各映像配信装置のＩＰアドレスが保存される。ポート番号８０２の欄には、各ＤＶＣ１１１〜１１９からの映像データを受信するためのプロトコルが使用しているポート番号が保存される。優先度８０３の欄には、各ＤＶＣ１１１〜１１９から映像データを受信している際の映像データの優先度が保存される。優先度はネットワーク調査部２０５により取得される。表示順位８０４の欄には、各ＤＶＣ１１１〜１１９から映像を表示する場合の順位付けの結果が保存される。この表示順位は順位決定部２０６により決定される。

図９は、第２の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。つまり、図９は、ＣＰＵがネットワーク調査部２０５を構成するに当たり実行する所定のプログラムの内容を示している。

ネットワーク調査部２０５は、例えば、有線通信部２０２がＡＰ１０２を介してＤＶＣ１１１〜１１９から映像データを受信し、ＲＴＳＰのＰＬＡＹメソッドをＤＶＣ１１１〜１１９に送信した後に処理を開始する。ネットワーク調査部２０５は、先ず、調査データを読み込む（ステップＦ９０１）。また、読み込みに併せて、ＩＰアドレス８０１の欄に、当該ＤＶＣのＩＰアドレスを保存し、ポート番号８０２の欄に、当該ＤＶＣから映像データを受信するプロトコルが使用しているポート番号を保存する。ここでは、当該ＤＶＣのＩＰアドレス及びポート番号は、ＲＴＳＰのＰＬＡＹメソッドが送信される前に既知となっていることから、その値を保存することとする。次に、ネットワーク調査部２０５は、映像データの受信があった場合に、映像データの優先度をネットワークのプロファイルとして取得する（ステップＦ９０２）。ここでは、ネットワーク調査部２０５は、ＩＰアドレス８０１及びポート番号８０２に保存されたものと一致したデータの受信があった場合に、映像データのヘッダに含まれるＴＯＳフィールドの上位３ビットの値を取得する。ＴＯＳフィールドの上位３ビットは、０〜７の８段階の優先度を区別するために、一般的に用いられている。次に、ネットワーク調査部２０５は、優先度８０３の欄に、取得された優先度を書き込み（ステップＦ９０３）、処理を終了する。

図１０は、第２の実施形態における順位決定部２０６の動作を示すフローチャートである。つまり、図１０は、ＣＰＵが順位決定部２０６を構成するに当たり実行する所定のプログラムの内容を示している。

順位決定部２０６は、例えば、ネットワーク調査部２０５が各ＤＶＣ１１１〜１１９についての処理を終了して優先度を取得した後に処理を開始する。順位決定部２０６は、先ず、ネットワーク調査部２０５によって更新された調査データを読み込む（ステップＦ１００１）。次に、順位決定部２０６は、優先度８０３が、「７」、「６」、「５」、「４」、「３」、「０」、「２」、「１」である順に、１〜９の表示順位を決定し（ステップＦ１００２）、この値を表示順位８０４の欄に書き込み（ステップＦ１００３）、処理を終了する。本実施形態では、９つのＤＶＣがあるので、例えば、優先度８０３が「７」のエントリの順位を１位と決定し、優先度が「１」のエントリの順位を９位と決定する。なお、調査データに同じ優先度のエントリが２以上ある場合には、後ろ側に保存されている同じ優先度のエントリの表示順位を１つ落とすことにより、９つのエントリの表示順位を全て相違するものに決定する。

図１２は、第２の実施形態における映像合成部２０７の動作を示すフローチャートである。つまり、図１２は、ＣＰＵ等が映像合成部２０７を構成するに当たり実行する所定のプログラムの内容を示している。

映像合成部２０７は、例えば、順位決定部２０６が表示順位を決定した後に処理を開始する。映像合成部２０７は、先ず、順位決定部２０６によって更新された調査データを読み込む（ステップＦ１２０１）。次に、映像合成部２０７は、各ＤＶＣ１１１〜１１９からの映像を、表示順位８０４に書き込まれている順位に基づいて、これに対応するフレームメモリに書き込む（ステップＦ１２０２）。このようにして、映像合成部２０７は１枚の表示画面の合成を行う。図１１は、第２の実施形態におけるフレームメモリと表示画面との関係を示す図である。本実施形態でも、ＤＶＣの数が９であるため、表示画面が９個の表示部１１０１〜１１０９に９分割されている。但し、第１の実施形態とは異なり、各表示部１１０１〜１１０９のサイズは互いに等しい。従って、第１の実施形態のようにサイズを調整する必要はない。

映像合成部２０７は、次に、全てのＤＶＣ１１１〜１１９からの映像の配信が終了したか否かを判定し（ステップＦ１２０３）、終了していなければ、次の表示画面の生成のためにステップＦ１２０２に戻り、終了していれば、処理を終了する。その後、映像表示部２０１が、映像合成部２０７により合成された表示画面を表示する。なお、映像合成部２０７は、合成に際していずれかのＤＶＣからの映像データが途切れた場合には、例えば、前回の映像データを用いて合成する。また、映像合成部２０７は、いずれかのＤＶＣからの映像の配信そのものが終了していて、映像データを受信していない場合には、例えば、ブルー画面を合成する。

他の構成は第１の実施形態と同様である。

このような第２の実施形態によれば、ネットワーク調査部２０５によるＴＯＳフィールドの調査結果に基づいて、ＤＶＣ１１１〜１１９からの映像の表示部１１０１〜１１０９への割り当てが行われる。従って、ＦＰＤ１０１とＤＶＣ１１１〜１１９との間の通信状態に応じたレイアウト、特に表示部の位置の調整が可能となり、ユーザにとって見やすい映像の表示が可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、調査データ保存部２０４における調査データの構造が第１及び第２の実施形態と相違している。また、これに伴って、ネットワーク調査部２０５、順位決定部２０６、及び映像合成部２０７の構成及び動作も第１及び第２の実施形態と相違しており、更に、フレームメモリと表示画面との関係も第１及び第２の実施形態と相違している。

図１３は、第３の実施形態における調査データのデータ構造を示す図である。調査データは映像配信装置であるＤＶＣの数だけエントリをもっている。本実施形態でも、図１に示すように、ＤＶＣの数は９である。調査データには、例えば、ＩＰアドレス１３０１、ポート番号１３０２、エラーレート１３０３及び表示順位１３０４の４つの要素が含まれている。ＩＰアドレス１３０１の欄には、各映像配信装置のＩＰアドレスが保存される。ポート番号１３０２の欄には、各ＤＶＣ１１１〜１１９からの映像データを受信するためのプロトコルが使用しているポート番号が保存される。エラーレート１３０３の欄には、各ＤＶＣ１１１〜１１９から映像データを受信している際の映像データのエラーレートが保存される。エラーレートはネットワーク調査部２０５により取得される。表示順位１３０４の欄には、各ＤＶＣ１１１〜１１９から映像を表示する場合の順位付けの結果が保存される。この表示順位は順位決定部２０６により決定される。

図１４は、第３の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。つまり、図１４は、ＣＰＵがネットワーク調査部２０５を構成するに当たり実行する所定のプログラムの内容を示している。

ネットワーク調査部２０５は、例えば、有線通信部２０２がＡＰ１０２を介してＤＶＣ１１１〜１１９から映像データを受信し、ＲＴＳＰのＰＬＡＹメソッドをＤＶＣ１１１〜１１９に送信した後に処理を開始する。ネットワーク調査部２０５は、先ず、調査データを読み込む（ステップＦ１４０１）。また、読み込みに併せて、ＩＰアドレス１３０１の欄に、当該ＤＶＣのＩＰアドレスを保存し、ポート番号１３０２の欄に、当該ＤＶＣから映像データを受信するプロトコルが使用しているポート番号を保存する。ここでは、当該ＤＶＣのＩＰアドレス及びポート番号は、ＲＴＳＰのＰＬＡＹメソッドが送信される前に、既知となっていることから、その値を保存することとする。次に、ネットワーク調査部２０５は、エラーレートを計測するためのタイマを起動し（ステップＦ１４０２）、映像データの受信があった場合には、映像データ量及びエラー量を加算する（ステップＦ１４０３）。ここでは、ネットワーク調査部２０５は、ＩＰアドレス１３０１及びポート番号１３０２に保存されたものと一致するデータの受信があった場合に、正常に受信できたデータの量を映像データ量として累積する。ネットワーク調査部２０５は、同様に、正常に受信できなかったデータの量をエラー量として累積する。次に、タイマの満了か否かを確認することで、調査期間が満了したか否かを判定し（ステップＦ１４０４）、満了していなければ、ステップＦ１４０３に戻る。一方、調査期間が満了していれば、ネットワーク調査部２０５は、それまでに加算されたエラー量と映像データ量との比から、ネットワークのプロファイルとしてエラーレートを計算する（ステップＦ１４０５）。次に、ネットワーク調査部２０５は、エラーレート１３０３の欄に、計算されたエラーレートを書き込み（ステップＦ１４０６）、処理を終了する。

図１５は、第３の実施形態における順位決定部２０６の動作を示すフローチャートである。つまり、図１５は、ＣＰＵが順位決定部２０６を構成するに当たり実行する所定のプログラムの内容を示している。

順位決定部２０６は、例えば、ネットワーク調査部２０５が各ＤＶＣ１１１〜１１９についての処理を終了してエラーレートを計算した後に、処理を開始する。順位決定部２０６は、先ず、ネットワーク調査部２０５によって更新された、調査データを読み込む（Ｆ１５０１）。次に、順位決定部２０６は、エラーレート１３０３に書き込まれた値が小さい順に、１〜９の表示順位を決定し（ステップＦ１５０２）、この値を、表示順位１３０４の欄に書き込み（ステップＦ１５０３）、処理を終了する。本実施形態では、９つのＤＶＣがあるので、例えば、エラーレート１３０３の値が最小のエントリの順位を１位と決定し、最大のエントリの順位を９位と決定する。

図１７は、第３の実施形態における映像合成部２０７の動作を示すフローチャートである。つまり、図１７は、ＣＰＵ等が映像合成部２０７を構成するに当たり実行する所定のプログラムの内容を示している。

映像合成部２０７は、例えば、順位決定部２０６が表示順位を決定した後に処理を開始する。映像合成部２０７は、先ず、順位決定部２０６によって更新された調査データを読み込む（ステップＦ１７０１）。次に、映像合成部２０７は、各ＤＶＣ１１１〜１１９からの映像を、表示順位１３０４に書き込まれている順位に基づいて、これに対応するフレームメモリに書き込めるように映像のサイズを調整する（ステップＦ１７０２）。図１６は、第３の実施形態におけるフレームメモリと表示画面との関係を示す図である。本実施形態でも、ＤＶＣの数は９であるが、表示画面には、サイズが相違する２つの表示部１６０１及び１６０２のみが設けられている。また、表示部１６０１及び１６０２間の重なり順序に関し、表示部１６０１が上側となっている。そこで、映像合成部２０７は、表示順位１３０４に１位と書き込まれている映像を、表示部１６０１に対応するフレームメモリに書き込むことができるサイズに調整する。また、映像合成部２０７は、表示順位１３０４に２位と書き込まれている映像を、表示部１６０２に対応するフレームメモリに書き込むことができるサイズに調整する。

映像合成部２０７は、次に、サイズの調整が済んだ２つのＤＶＣからの映像を、表示順位３０４に基づいて、これに対応するフレームメモリに書き込む（ステップＦ１７０３）。次に、映像合成部２０７は、表示部１６０１に対応するフレームメモリに書き込まれた映像を前面に表示し、表示部１６０２に対応するフレームメモリに書き込まれた映像を背面に表示するため、後者の陰面消去を行う（ステップＦ１７０４）。このようにして、映像合成部２０７は１枚の表示画面の合成を行う。次に、映像合成部２０７は、全てのＤＶＣ１１１〜１１９からの映像の配信が終了したか否かを判定し（ステップＦ１７０５）、終了していなければ、次の表示画面の生成のためにステップＦ１７０２に戻り、終了していれば、処理を終了する。その後、映像表示部２０１が、映像合成部２０７により合成された表示画面を表示する。この時、本実施形態では、マルチウインドウ表示が行われる。なお、映像合成部２０７は、合成に際していずれかのＤＶＣからの映像データが途切れた場合には、例えば、前回の映像データを用いて合成する。また、映像合成部２０７は、いずれかのＤＶＣからの映像の配信そのものが終了していて、映像データを受信していない場合には、例えば、ブルー画面を合成する。

このような第３の実施形態によれば、ネットワーク調査部２０５によるエラーレートの調査結果に基づいて、ＤＶＣ１１１〜１１９からの映像の表示部１６０１及び１６０２への割り当てが行われる。従って、ＦＰＤ１０１とＤＶＣ１１１〜１１９との間の通信状態に応じたレイアウト、特に表示部の重なり順序の調整が可能となり、ユーザにとって見やすい映像の表示が可能となる。

なお、第１乃至第３の実施形態を適宜組み合わせてもよい。例えば、スループットに基づく順位付けと図１６に示すレイアウトとを組み合わせたり、エラーレートに基づく順位付けと図６に示すレイアウトとを組み合わせたりしてもよい。また、図１６に示すマルチウインドウにおいて、図６又は図１１に示すように、９つの表示部を用いてもよい。このとき、各表示部の初期状態の大きさ及び位置を図６又は図１１に示すものと同様にしてもよい。

本発明の趣旨は、映像表示装置と映像配信装置との間のネットワークプロファイルをそれぞれ調査し、この調査の結果に基づいて各映像配信装置又は各映像の順位付けを行い、この順位付けに基づいて映像を表示することである。従って、ネットワークのプロファイルとして、帯域幅、帯域予約状況、ＲＴＴ（Round Trip Time）又はＨＯＰ数を調査し、この結果に基づいて順位付け及び合成等を行ってもよい。また、ネットワークのプロファイルを調査するタイミングを、映像配信の開始と無関係にしてよいこともある。例えば、ＲＴＴ及びＨＯＰ数等は、映像配信前でも映像表示装置と映像配信装置との間にネットワークが構築されていれば調査できるので、ユーザ指示に基づいて行ってもよく、また、定期的に行ってもよい。順位付けも、ネットワークのプロファイルの調査と同様に、タイミングを異ならせて実施することができる。更に、順位付けに基づいて映像を表示することに関しても、表示する映像の大きさ、位置及び重なり順序等を可変にしてよい。適用するタイミングを異ならせてもよい。更にまた、常に順位付けの高いものと対応して表示を行う必要はなく、例えば、先ず、順位付けの高い２つの映像を表示し、その後に、ユーザ指示に基づいてその次に高い２つの映像に切り替えて表示するようにしてもよい。また、所定の順位以下のものを、初期状態では非表示にするようにしてもよい。また、映像の大きさ、位置及び重なり順序以外に、映像処理を順位付けと対応させもよい。例えば、各映像配信装置からの映像に、順位付けを明示又は暗示するようなシンボルを、段階的にオーバレイしたり、色調を段階的に変化させたりしてもよい。

また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記の印刷処理用のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係る映像表示装置を備えた映像表示システムの構成を示す模式図である。第１の実施形態におけるＦＰＤ１０１の機能構成を示す機能ブロック図である。第１の実施形態における調査データのデータ構造を示す図である。第１の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。第１の実施形態における順位決定部２０６の動作を示すフローチャートである。第１の実施形態におけるフレームメモリと表示画面との関係を示す図である。第１の実施形態における映像合成部２０７の動作を示すフローチャートである。本発明の第２の実施形態における調査データのデータ構造を示す図である。第２の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。第２の実施形態における順位決定部２０６の動作を示すフローチャートである。第２の実施形態におけるフレームメモリと表示画面との関係を示す図である。第２の実施形態における映像合成部２０７の動作を示すフローチャートである。本発明の第３の実施形態における調査データのデータ構造を示す図である。第３の実施形態におけるネットワーク調査部２０５の動作を示すフローチャートである。第３の実施形態における順位決定部２０６の動作を示すフローチャートである。第３の実施形態におけるフレームメモリと表示画面との関係を示す図である。第３の実施形態における映像合成部２０７の動作を示すフローチャートである。

符号の説明

１０１：フラットパネルディスプレイ
１０２：アクセスポイント
１１１〜１１９：デジタルビデオカメラ
２０１：映像表示部
２０２：有線通信部
２０３：映像復号部
２０４：調査データ保存部
２０５：ネットワーク調査部
２０６：順位決定部
２０７：映像合成部

Claims

複数の映像配信装置との間のネットワークのプロファイルを調査する調査手段と、
前記調査手段による調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定手段と、
前記順位決定手段による順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成手段と、
前記合成手段により得られた映像を表示する表示手段と、
を有することを特徴とする映像表示装置。
前記合成手段は、前記順位付けの結果に前記表示手段における映像の大きさを対応させて前記映像の合成を行うことを特徴とする請求項１に記載の映像表示装置。
前記合成手段は、前記順位付けの結果に前記表示手段における映像の位置を対応させて前記映像の合成を行うことを特徴とする請求項１又は２に記載の映像表示装置。
前記合成手段は、前記順位付けの結果に前記表示手段における映像の重なり順序を対応させて前記映像の合成を行うことを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
前記調査手段は、前記プロファイルとして、前記映像のスループットを調査することを特徴とする請求項１乃至４のいずれか１項に記載の映像表示装置。
前記調査手段は、前記プロファイルとして、前記映像に付された優先度を調査することを特徴とする請求項１乃至５のいずれか１項に記載の映像表示装置。
前記調査手段は、前記プロファイルとして、前記映像のエラーレートを調査することを特徴とする請求項１乃至６のいずれか１項に記載の映像表示装置。
複数の映像配信装置との間のネットワークのプロファイルを調査する調査ステップと、
前記調査ステップにおける調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定ステップと、
前記順位決定ステップにおける順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成ステップと、
前記合成ステップの結果、得られた映像を表示手段に表示する表示ステップと、
を有することを特徴とする映像表示方法。
前記合成ステップは、前記順位付けの結果に前記表示手段における映像の大きさを対応させて前記映像の合成を行うステップを有することを特徴とする請求項８に記載の映像表示方法。
前記合成ステップは、前記順位付けの結果に前記表示手段における映像の位置を対応させて前記映像の合成を行うステップを有することを特徴とする請求項８又は９に記載の映像表示方法。
前記合成ステップは、前記順位付けの結果に前記表示手段における映像の重なり順序を対応させて前記映像の合成を行うステップを有することを特徴とする請求項８乃至１０のいずれか１項に記載の映像表示方法。
前記調査ステップは、前記プロファイルとして、前記映像のスループットを調査するステップを有することを特徴とする請求項８乃至１１のいずれか１項に記載の映像表示方法。
前記調査ステップは、前記プロファイルとして、前記映像に付された優先度を調査するステップを有することを特徴とする請求項８乃至１２のいずれか１項に記載の映像表示方法。
前記調査ステップは、前記プロファイルとして、前記映像のエラーレートを調査するステップを有することを特徴とする請求項８乃至１３のいずれか１項に記載の映像表示方法。
コンピュータに、
複数の映像配信装置との間のネットワークのプロファイルを調査する調査ステップと、
前記調査ステップにおける調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定ステップと、
前記順位決定ステップにおける順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成ステップと、
前記合成ステップの結果、得られた映像を表示手段に表示する表示ステップと、
を実行させることを特徴とするプログラム。
映像表示装置と、
前記映像表示装置と通信可能な複数の映像配信装置と、
を有し、
前記映像表示装置は、
前記複数の映像配信装置との間のネットワークのプロファイルを調査する調査手段と、
前記調査手段による調査の結果に基づいて前記複数の映像配信装置に関する順位付けを行う順位決定手段と、
前記順位決定手段による順位付けの結果に基づいて前記複数の映像配信装置から配信された映像を合成する合成手段と、
前記合成手段により得られた映像を表示する表示手段と、
を有することを特徴とする映像表示システム。