JP2016031552A - 画像供給装置、画像表示装置、画像表示システム及び画像供給プログラム - Google Patents

Abstract

【課題】ネットワーク上に配置された画像供給装置又は画像表示装置のいずれかに負荷が発生することにより、画像表示装置の動画再生に問題が発生した場合でも、画像表示装置の再生をスムーズに行うことができる画像供給装置、画像表示装置、画像表示システム及び画像供給プログラムを提供する。【解決手段】画像表示システムは、画像表示装置と画像供給装置とがネットワークを介して接続され、前記動画像の再生に関する条件を取得する動画像処理条件取得手段と、第１の性能を取得する第１の性能取得手段と、第２の性能を取得する第２の性能取得手段と、前記条件と前記第１の性能と前記第２の性能とに基づいて、前記動画像のデータを変換する前記画像供給装置の変換手段又は前記画像供給装置の変換手段のいずれかで動画像処理を行うかを選択する選択手段と、を備える。【選択図】 図１

Description

本発明は、動画像を表示する画像表示装置と画像供給装置とがネットワークにより接続された画像供給装置、画像表示装置、画像表示システム及び画像供給プログラムに関する。

従来、ＰＣ（Personal Computer）とプロジェクタとをネットワーク上に接続し、ＰＣで再生した動画像をプロジェクタに表示させる技術が知られている。例えば、Ｐ２Ｐ型のＷｉＦｉ接続を可能にする接続無線ＬＡＮを介することで、携帯端末に表示される画像をリアルタイムでプロジェクタに投影できるミラキャスト（Miracast）と呼ばれるものや、通信端末を用いてアクセスしたウェブサイトからコンテンツを取得する場合に、サーバにて受信した通信端末のスペック情報に基づいて、コンテンツの形式を通信端末の表示可能な画像に変換して通信端末に表示させる技術が知られている（特許文献１参照）。

しかしながら、動画像の画像表示を目的としたプロジェクタ等は、ＣＰＵ及び内蔵するメモリなどの資源が限られている。また、プロジェクタとＰＣとでは、取扱う動画像のサイズやフレームレートが異なる。このため、プロジェクタ側で画像変換を行うことはプロジェクタに大きな負担となる。

また、任意のタイミングで投影画像を縮小したり、一部の領域を高精細に拡大するデジタルズーム処理をしたりする場合がある。このようなとき、プロジェクタの性能によっては、必要な画像処理が十分に行えず、プロジェクタが動画像をスムーズに再生できない場合がある。

さらに、画像の供給を行うＰＣ側で画像処理を行う場合であっても、すでにＰＣ側で複数のジョブが実行されていた場合には、ＰＣ側の負担が大きくなり、動画像の再生がスムーズにできなくなるという問題も生じる可能性がある。

本発明は、上記の従来の問題点に鑑みなされたものであり、その目的とするところは、
ネットワーク上に配置された画像供給装置又は画像表示装置の能力に応じて、画像表示装置の動画再生が適正に行える画像供給装置、画像表示装置、画像表示システム及び画像供給プログラムを提供することである。

開示の一態様における画像表示システムは、動画像を表示する画像表示装置に、ネットワークを介して前記動画像を送信する画像供給装置であって、前記動画像の再生に関する条件を取得する動画像処理条件取得手段と、前記画像供給装置の動画像処理の性能である第１の性能を取得する第１の性能取得手段と、前記再生に関する条件に基づいて、前記動画像のデータを当該画像供給装置において前記画像表示装置が再生可能な画像データに変換する第１の変換手段と、前記再生に関する条件と、前記第１の性能と、前記画像表示装置の動画像処理の性能である第２の性能と、に基づいて、前記第１の変換手段又は前記動画像のデータを前記画像表示装置において前記画像表示装置が再生可能な画像データに変換する第２の変換手段のうちいずれかを選択する選択手段と、を備える。

開示の実施の形態によれば、画像表示装置、又は画像供給装置の能力に応じて、適正に処理できる画像供給装置又は画像表示装置により適応的に処理を行わせることにより、画像表示装置の動画像再生を適切に行うことができる。

本発明の第１実施形態に係る画像表示システムの機能的構成を示すブロック構成図である。 本発明の第１実施形態に係る画像供給装置の性能取得手段の機能的構成を示す図である。 本発明の第１実施形態に係る画像表示装置の性能取得手段の機能的構成を示す図である。 本発明の第１実施形態に係る画像表示システムの処理内容を示すフローチャートである。 画像供給装置の再生条件比較判定手段の処理内容を示すフローチャートである。 本発明の第２実施形態に係る画像表示システムの機能的構成を示すブロック構成図である。 本発明の第２実施形態に係る画像表示システムの処理内容を示すフローチャートである。 本発明の画像表示システムの一般的なハードウェアの構成例を示す図である。

（第１の実施形態）
＜画像表示システム１ａの概要＞
図１に、第１の実施形態に係る画像表示システム１ａの構成例を示す。

図１に示すように、第１の実施形態に係る画像表示システム１ａは、画像供給装置１０ａと画像表示装置１０ｂとを有する。そして、画像供給装置１０ａ（例えば、ＰＣ）は、ネットワーク１００を介して画像表示装置１０ｂ（例えば、プロジェクタ）に動画像を送信する。画像表示装置１０ｂは、ネットワークを介して画像供給装置１０ａから送信された符号化された動画像を受信し、受信した動画像を復号化したのち所定の画像処理を行い画像表示手段１２６に表示する。

画像供給装置１０ａは、再生に関する条件と、画像供給装置１０ａと画像表示装置１０ｂの処理能力とに基づいて、画像供給装置１０ａから供給された動画像を画像表示装置１０ｂで表示する条件を満たすように画像供給装置１０ａ又は画像表示装置１０ｂのいずれかにより適応的に画像処理させる。これにより、画像表示装置１０ｂの動画像再生をスムーズに行うことができる。

次に、第１の実施形態に係る画像表示システム１ａの概要を具体的に説明する。

画像供給装置１０ａの動画像処理条件取得手段１１１は、画像管理手段１３０から動画像の再生に関する条件を取得する。

そして、画像供給装置１０ａは、取得した動画像の再生に関する条件と、画像供給装置１０ａの性能取得手段１５０（第１の性能取得手段）が取得した画像供給装置１０ａの動画像処理の性能（第１の性能）と、画像表示装置１０ｂの性能取得手段１６０（第２の性能取得手段）が取得した画像表示装置１０ｂの動画像処理の性能（第２の性能）とを比較する。

画像供給装置１０ａの選択手段１１２は、その比較結果に基づいて制御信号を生成する。

そして、生成された制御信号により、制御手段１１５は可動片を（Ａ）側又は（Ｂ）側に接続させる。（Ａ）側に接続された場合は、画像供給装置１０ａで画像処理を行い、（Ｂ）側に接続された場合は、画像表示装置１０ｂで画像処理を行う。

このように、画像表示システム１ａは、ネットワーク上に配置された画像供給装置１０ａ又は画像表示装置１０ｂの性能に応じて、画像表示装置１０ｂにおける動画像の再生に関する条件を満たすように画像処理を行う装置を適応的に切替える。

これにより、画像表示装置１０ｂにおける動画像再生をスムーズに行うことができる。
＜画像供給装置の構成＞
図１の画像供給装置１０ａにおいて、画像取得手段１１０が動画像を管理して蓄積している画像管理手段１３０から動画像を取得する。次に、動画像処理条件取得手段１１１は、画像取得手段１１０が取得した動画像の情報に基づいて動画像の再生に関する条件を取得する。

具体的には、動画像処理条件取得手段１１１は、画像供給装置１０ａの画像取得手段１１０で取得された動画像の画像サイズ、フレームレート及び符号化方式（ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４）等を動画像データのトランスポートストリーム等から検出する。

選択手段１１２は、再生条件比較判定手段１１３と、制御信号生成手段１１４とを有する。

再生条件比較判定手段１１３は、動画像処理条件取得手段１１１から、例えば、動画像の再生に関する条件である動画像の画像サイズ、フレームレート、符号化方式を取得する。

さらに、再生条件比較判定手段１１３は、後述する画像表示装置１０ｂの性能取得手段１６０が取得した画像表示装置１０ｂの性能を取得する。

そして、再生条件比較判定手段１１３は、画像取得手段１１０が取得した画像再生に関する条件と、画像供給装置１０ａの性能と、画像表示装置１０ｂの性能とに基づいて判定し、判定結果に対応した制御信号の生成を制御信号生成手段１１４に要求する。

また、再生条件比較判定手段１１３は、動画像処理条件取得手段１１１の出力に基づいて、画像符号化の方法を決定し、制御信号生成手段１１４を介して、画像符号化手段１１７に供給する。

制御信号生成手段１１４は、画像供給装置１０ａの制御手段１１５と画像表示装置１０ｂの制御手段１２３に、生成した制御信号を送信する。

変換手段１１８は、制御手段１１５と画像処理手段１１６とを有し、制御信号生成手段１１４の出力に基づいて、画像取得手段１１０が取得した画像を、直接、画像符号化手段１１７に供給するか、画像処理手段１１６を介して、画像符号化手段１１７に供給するかの処理を行う。

制御手段１１５は、制御信号生成手段１１４の出力に基づいて、可動片を（Ａ）点又は（Ｂ）点に接続する。

なお、選択手段１１２の処理の詳細は、後述する。

画像処理手段１１６は、画像管理手段１３０から取得した動画像のデータを、画像表示装置１０ｂが再生可能な画像データに変換する。

画像符号化手段１１７は、変換手段１１８の出力を、制御信号生成手段１１４からの制御信号に基づいて、符号化して、通信手段１１９に出力する。

なお、画像供給装置１０ａの制御手段１１５の出力する動画像の符号化方式が、再生条件比較判定手段１１３が決定した符号化方式と同じ場合には、画像符号化手段１１７は、画像供給装置１０ａの制御手段１１５の出力をそのまま出力することができる。

通信手段１１９は、ネットワーク１００を介して画像表示装置１０ｂと通信を行い、動画像の情報、制御信号などの情報をやり取りする。

＜選択手段＞
選択手段１１２の再生条件比較判定手段１１３と、制御信号生成手段１１４と、関連する手段とを含めて、さらに、詳細に説明する。

再生条件比較判定手段１１３は、上述したように、動画像の画像サイズとフレームレートから推定された処理条件と、画像供給装置１０ａの性能取得手段１５０及び画像表示装置１０ｂの性能取得手段１６０から取得した各性能とを比較し、動画像処理条件取得手段１１１が取得した動画像データに基づいて画像処理をするために必要な処理条件を判定するものである。

具体的には、画像サイズとフレームレートの変換に要するＣＰＵ利用率、メモリ残量、符号化方式毎の画像処理時間、ＣＰＵのジョブ数の許容範囲等が記載された表をあらかじめ定めておく。そして、再生条件比較判定手段１１３は、ＣＰＵ利用率、メモリ残量、符号化方式毎の画像処理時間、ＣＰＵのジョブ数の許容範囲等が記載された表から処理条件を選択する。さらに、再生条件比較判定手段１１３は、画像表示装置１０ｂの保有するデコーダ種別のいずれかに適合するように符号化方式を選定する。

再生条件比較判定手段１１３は、画像供給装置１０ａ又は画像表示装置１０ｂの各々が、推定された条件を満たすか否かを判定する。さらに、再生条件比較判定手段１１３は、画像表示装置１０ｂの保有するデコーダ種別のいずれかに適合するように符号化方式を選定する。

制御信号生成手段１１４は、再生条件比較判定手段１１３の比較結果に基づいて、画像供給装置１０ａの画像処理手段１１６又は、画像表示装置１０ｂの画像処理手段１２５による画像処理のための切替を行う制御信号を生成する。また、制御信号生成手段１１４は、画像符号化手段１１７に符号化方式を指定する。

画像供給装置１０ａの性能が、動画像の再生に関する条件に適していると判断された場合には、画像供給装置１０ａの制御手段１１５は、可動片を（Ａ）側に倒し、画像供給装置１０ａの画像処理手段１１６により処理させるように、制御手段１１５を制御する。

かかる場合、制御信号を、動画像の送受信と同期させて画像供給装置１０ａおよび画像表示装置１０ｂに送信してもよい。具体的には、画像供給装置１０ａで動画像が画像処理された場合には、画像処理された動画像が画像表示装置１０ｂに送信され、画像処理された動画像の受信を画像表示装置１０ｂで確認することにより動画像の切替を行う。また、例えば、動画像のＩＰパケットを構成するトランスポートストリームのヘッダに制御信号を組み込むことにより制御信号を送信してもよい。かかる場合、トランスポートストリームのヘッダから制御信号を画像表示装置１０ｂで取得して画像処理の切替を行うようにしてもよい。

一方、画像供給装置１０ａの性能が再生に関する条件を満たさず、画像表示装置１０ｂの性能が再生に関する条件を満たす場合には、可動片を（Ｂ）側に倒し、動画像は画像供給装置１０ａにて画像処理することなく、そのまま符号化されて画像表示装置１０ｂに送信するように制御する。

かかる場合、画像表示装置１０ｂの制御手段１２３は、可動片を（Ｂ）側に倒し、画像処理手段１２５により画像処理をさせる。

なお、画像供給装置１０ａ、画像表示装置１０ｂのいずれの性能も動画像の処理条件を満たさない場合には、後述するようにＣＰＵの処理速度で選択手段１１２による画像処理の切替を行う。

なお、再生条件比較判定手段１１３が判定する際、動画の再生に関する条件として、図３における性能取得手段１６０の表示領域範囲検出手段１６７及びデコーダ種別検出手段１６６で検出された表示領域及びフレームレート情報を含むようにしてもよい。

＜性能取得手段＞
次に、性能取得手段１５０について、図２を用いてより具体的に説明する。

図２は、画像供給装置１０ａの性能取得手段１５０の構成を示す。

性能取得手段１５０は、ＣＰＵスペック検出手段１５２と動的検出手段１５７とを有する。

ＣＰＵスペック検出手段１５２は、画像供給装置１０ａが備えるＣＰＵのスペックを検出する。

動的検出手段１５７は、ＣＰＵの利用率を検出するＣＰＵ利用率検出手段１５３と、画像供給装置１０ａの主メモリであるＲＡＭの残量を検出するメモリ残量検出手段１５４と、動画像の符号化方式の種別ごとの処理時間を示す画像処理時間検出手段１５５と、ＣＰＵが処理するジョブの数を示すＣＰＵジョブ数検出手段１５６とを有する。

ＣＰＵ利用率検出手段１５３は、画像供給装置１０ａの実行中のプログラムがＣＰＵの処理時間を占有している割合を示すＣＰＵの利用率を検出する。ＣＰＵの利用率の検出は、例えば、ＵＮＩＸ（登録商標）を用いた場合には、Vmstatコマンドの引数を用いて「ＣＰＵの使用量」を抽出することができる。

メモリ残量検出手段１５４は、画像供給装置１０ａの主メモリの空き容量であるＲＡＭの残量を検出する。主メモリの空き容量であるＲＡＭの残量の検出は、例えば、ＵＮＩＸを用いた場合には、Vmstatコマンドの引数を用いて「空きメモリ量」を抽出する。

画像処理時間検出手段１５５は、画像処理の符号化方式毎の画像処理時間を抽出する。具体的には、ＭＰＥＧ２、ＭＰＥＧ４等の符号化方式毎の画像処理に要した過去の実績をあらかじめ用意したデータベースから抽出する。

ＣＰＵジョブ数検出手段１５６は、ＣＰＵのジョブ数を検出する。ＣＰＵのジョブ数の検出には、例えば、ＵＮＩＸを用いた場合には、Vmstatコマンドの引数を用いて「割り込み」の数を検出し、「割り込み」の数からＣＰＵのジョブ数を検出する。

この性能取得手段１５０により、画像供給装置１０ａの動作時の能力、ひいては、能力の余裕を検出することができる。
＜画像表示装置＞
図１の画像表示装置１０ｂは、通信手段１２０と、制御手段１２３と画像処理手段１２５とを有する変換手段１２１と、画像復号化手段１２２と、画像取得手段１２４と、性能取得手段１６０とを有する。

画像表示装置１０ｂは、画像供給装置１０ａの要求に基づいて、性能取得手段１６０が動画像処理の性能を取得し画像供給装置１０ａの再生条件比較判定手段１１３に送信する。

画像供給装置１０ａは、画像処理要求のための制御信号と動画像のデータを画像表示装置１０ｂに送信する。画像供給装置１０ａですでに動画像が画像処理された場合には、変換手段１２１の制御手段１２３は、可動片を（Ａ）側に倒し、画像復号化手段１２２にて復号化された信号をそのまま画像表示手段１２６に出力する。

通信手段１２０は、ネットワーク１００を介して、画像供給装置１０ａと通信を行い、符号化された動画像、制御信号などの情報をやり取りする。

画像取得手段１２４は、画像供給装置１０ａから出力される動画像を取得し、画像復号化手段１２２へ送信する。

性能取得手段１６０は、画像供給装置１０ａの性能取得手段１５０とほぼ同様の構成であるが、後で説明するように、さらに図５に示す画像表示装置１０ｂの他の性能を取得するための機能を有する。

画像復号化手段１２２は、画像取得手段１２４から出力された符号化データを復号化して画像表示装置１０ｂの制御手段１２３へ動画像を出力する。

制御手段１２３は、制御信号生成手段１１４から動画像と同期して送信される制御信号を受け取る。具体的には、画像供給装置１０ａ側で画像処理された動画像のＩＰパケット対して周期的に同期パケットを挿入して伝送する。また、制御信号生成手段１１４、制御手段１２３に特定の間隔で同期用パケット送ることで、制御手段１２３の切替のための制御を行う。なお、動画像のＩＰパケットを構成するトランスポートストリームのヘッダの中に切替えのための制御信号を埋め込んでおき、埋め込まれた制御信号を制御手段が受け取るようにしてもよい。

画像処理手段１２５は、接点（Ｂ）を介して制御手段１２３から出力された動画像を画像表示装置１０ｂが表示可能な動画像に変換する。そして、画像処理手段１２５は、画像処理した動画像を画像表示手段１２６に送信する。
＜性能取得手段＞
図３は、画像表示装置１０ｂの性能取得手段１６０の構成を示す。

性能取得手段１６０は、デコーダ種別検出手段１６６と表示領域範囲検出手段１６７を除き、画像供給装置１０ａの性能取得手段１５０と同一の構成を有する。

性能取得手段１６０は、ＣＰＵスペック検出手段１６１と動的検出手段１６８と、デコーダ種別検出手段１６６と、表示領域範囲検出手段１６７とを有する。

動的検出手段１６８は、性能取得手段１５０と同じく、ＣＰＵ利用率検出手段１６２と、メモリ残量検出手段１６３と、画像処理時間検出手段１６４と、ＣＰＵジョブ数検出手段１６５とを有する。

デコーダ種別検出手段１６６は、画像表示装置１０ｂの有するデコーダ種別を検出する。表示領域範囲検出手段１６７は、画像表示手段１２６の表示領域を検出する。
＜画像表示システム１ａの動作＞
図４は、第１の実施形態に係る画像表示システム１ａの動作を示す。

なお、ここでは、画像表示システム１ａを構成する画像供給装置１０ａ又は画像表示装置１０ｂの何れによる処理であるかが区別できるように適宜図３を参照して説明する。

ステップＳ４０１で、画像供給装置１０ａの画像取得手段１１０は、画像管理手段１３０から再生すべき動画像を取得する。

ステップＳ４０２で、動画像処理条件取得手段１１１は、再生条件比較判定手段１１３の要求に基づいて画像供給装置１０ａの画像取得手段１１０に取得された動画像の再生に関する条件を抽出する。

ステップＳ４０３で、再生条件比較判定手段１１３は、画像供給装置１０ａの性能取得手段１５０に画像供給装置１０ａの性能の取得を要求する。そして、再生条件比較判定手段１１３が取得する。さらに、性能取得手段１６０に画像表示装置１０ｂの性能の取得を要求する。

ステップＳ４１０で、画像表示装置１０ｂの性能取得手段１６０は、画像表示装置１０ｂの性能を取得し、画像供給装置１０ａの再生条件比較判定手段１１３に取得した画像表示装置１０ｂの性能を送信する。

ステップＳ４０４で、再生条件比較判定手段１１３は、動画像処理条件取得手段１１１が抽出した動画像の再生に関する条件に基づいて、動画像の処理条件を取得する。そして、取得した動画像の処理条件と、画像供給装置１０ａの性能と、画像表示装置１０ｂの性能とを比較判定する。

なお、動画像の処理条件には、デコーダ種別検出手段１６６で検出したデコーダ種別と表示領域範囲検出手段１６７で検出した表示領域範囲が含まれていてもよい。

ステップＳ４０５で、制御信号生成手段１１４は、再生条件比較判定手段１１３の比較判定の結果に基づいて、制御信号を生成する。

そして、制御信号生成手段１１４は、画像供給装置１０ａの制御手段１１５及び画像表示装置１０ｂの制御手段１２３に、画像取得手段１１０の動画像出力と制御信号とを同期させて送信する。

ステップＳ４０６で、制御手段１１５は、画像供給装置１０ａが画像処理を行うか否かを判定する。画像処理を行う場合（Ｓ４０６で「Ｙｅｓ」の場合）、Ｓ４０７に移る。画像処理を行わない場合（Ｓ４０６で「Ｎｏ」の場合）は、Ｓ４０８に移る。

ステップＳ４０７で、画像供給装置１０ａの画像処理手段１１６は、制御手段１１５の出力に基づいて動画像の画像処理を行う。この際、動画像のＩＰパケットを構成するトランスポートストリームのヘッダに制御信号を組み込んでもよい。

ステップＳ４０８で、画像符号化手段１１７は、画像処理手段１１６の出力又は、画像取得手段１１０から取り込まれた制御手段１１５の動画像出力を符号化する。

ステップＳ４０９で、画像符号化手段１１７は符号化データを画像表示装置１０ｂに送信する。

ステップＳ４１１で、画像表示装置１０ｂの画像取得手段１２４は、画像処理の要求とともに符号化データを取得する。

ステップＳ４１２で、画像復号化手段１２２は、符号化データを復号化する。

ステップＳ４１３で、制御手段１２３は、画像表示装置１０ｂに画像処理要求があるか判断する。かかる場合、選択手段１１２から送信された制御信号又は、動画像のＩＰパケットを構成するトランスポートストリームのヘッダに制御信号を組み込まれた制御信号のいずれかで判断してもよい。

画像処理要求があった場合（Ｓ４１３で「Ｙｅｓ」の場合）にはＳ４１４に移る。画像処理要求がなかった場合（Ｓ４１３で「Ｎｏ」の場合）にはＳ４１５へ移る。

ステップＳ４１４で、画像処理手段１２５は、復号化された画像データを画像処理する。

ステップＳ４１５で、画像表示手段１２６は、ステップＳ４１３で画像処理の要求なしと判断された場合の画像データ又は、ステップＳ４１４で画像処理された画像データのいずれかを表示する。
＜再生条件比較判定手段の動作＞
図５に、再生条件比較判定手段１１３の動作を示す。

なお、図５は、動画に関する条件としてデコーダ種別と、表示領域範囲を含む場合を示している。

ステップＳ５０１で、再生条件比較判定手段１１３は、動画像の再生に関する条件に基づいて、変換すべき画像サイズ、フレームレート、符号化方式等を決定する。

ステップＳ５０２で、再生条件比較判定手段１１３は、決定された動画像を処理するために必要な条件を決定する。例えば、ＣＰＵ利用率、メモリ残量、符号化方式毎の画像処理時間、ＣＰＵジョブ数の許容範囲を、あらかじめ定められた表から選択する。

ステップＳ５０３で、再生条件比較判定手段１１３は、選択した動画像の再生に関する条件と、画像供給装置１０ａの性能取得手段１５０から取得した画像供給装置１０ａの性能とを比較し、画像供給装置１０ａの性能が動画像の再生に関する条件を満たすか判断する。かかる条件を満たす場合、画像供給装置１０ａの変換手段１１８に画像処理要求を行いＳ５０７に移る。かかる条件を満たさない場合、Ｓ５０４へ移る。

ステップＳ５０４で、再生条件比較判定手段１１３は、動画像の再生に関する条件と画像表示装置１０ｂの性能取得手段１６０から取得した画像表示装置１０ｂの性能とを比較し、画像表示装置１０ｂの性能が動画像の再生に関する条件を満たすか判断する。かかる条件を満たさない場合、Ｓ５０６に移る。かかる条件を満たす場合、Ｓ５０５に移る。

Ｓ５０５で、画像表示装置１０ｂで画像処理を行う。

ステップＳ５０６で、再生条件比較判定手段１１３は、画像供給装置１０ａの性能が画像表示装置１０ｂのＣＰＵの性能よりも高いか判断する。画像供給装置１０ａのＣＰＵの性能が高い場合（Ｓ５０６で「Ｙｅｓ」の場合）にはＳ５０７に移る。

そして、Ｓ５０７で、画像供給装置１０ａで画像処理を行う。

画像表示装置１０ｂのＣＰＵの性能の方が高い場合（Ｓ５０６で「Ｎｏ」の場合）には、Ｓ５０５に移り画像表示装置１０ｂに画像処理要求をする。
（第２の実施形態）
＜画像表示システム１ｂの概要＞
図６に、第２の実施形態に係る画像表示システム１ｂの構成例を示す。

第１の実施形態に係る画像表示システム１ａにおいては、動画像の再生中に新たなジョブの発生を考慮していない。すなわち、画像供給装置１０ａの現在の処理負荷を考慮することなく、再生する動画像の画像処理に最適な画像処理装置を決定していた。

図１に示した第１の実施の形態に係る画像表示システム１ａと、図６に示す画像表示システム１ｂとの違いは、第２の実施形態の画像供給装置６０ａの中に画像供給装置６０ａ
の条件変更検出手段（第１の条件変更検出手段）６０４が付加され、さらに、画像表示装置６０ｂの中にジョブ検出手段６０２と条件変更検出手段（第２の条件変更検出手段）６０３とが付加されている点である。

それ以外の構成については、図１で示した構成と同一の符号と名称を付し、説明を省略する。

まず、画像供給装置６０ａと画像表示装置６０ｂとにそれぞれ新たな負荷が発生した場合に、画像供給装置６０ａと画像表示装置６０ｂのどちらで画像処理を行うかを画像供給装置６０ａで判断する。その結果、画像供給装置６０ａで行う場合には、画像供給装置６０ａで画像処理を行う。また、画像表示装置６０ｂで画像処理をした方がよいと判断した場合は、画像表示装置６０ｂに画像処理させる。

なお、画像供給装置６０ａと画像表示装置６０ｂのどちらで画像処理するのかは、後述する新たなジョブや再生条件の変更等により行われる。
＜画像供給装置＞
図６に示すように、第２の実施形態に係る画像表示装置６０ｂのジョブ検出手段６０２は、性能取得手段１６０の中の図３のＣＰＵジョブ数検出手段１６５がジョブ数の増加を検出した場合に、新たなジョブの発生を検知するようにしても良い。そして、ジョブ検出手段６０２が新たなジョブを検知した場合に、再生条件比較判定手段１１３に再生条件の比較判定要求を送信する。

条件変更検出手段６０４は、画像供給装置６０ａにおいて、新たに画像表示装置６０ｂの動画像の拡大や縮小等の処理を行う場合、再生条件比較判定手段１１３に再生条件比較要求信号を送出する。

同様に、条件変更検出手段６０３は、画像表示装置１０ｂで、新たに動画像の拡大や縮小等の処理を行う場合、再生条件比較判定手段１１３に再生条件比較要求信号を送出する。

画像表示装置６０ｂの動画像再生条件に変更があった場合とは、例えば、画像表示装置６０ｂで、画像表示手段１２６に表示された動画像の一部分の領域をズームさせたことにより、動画像の再生に著しい負荷がかかったような場合が挙げられる。

これにより、画像表示システム１ｂは、画像供給装置６０ａの画像処理手段１１６又は画像表示装置６０ｂの画像処理手段１２５のいずれの画像処理手段で画像処理を行わせるかを、リアルタイムで切替えて動画像再生を行うことができる。
＜画像表示システム１ｂの動作＞
図７に第２の実施形態に係る画像表示システム１ｂの動作を示す。

Ｓ７１６の前処理は図４と同じである。

Ｓ７１６の処理は、図４のＳ４１５の処理に続くものである。

なお、画像表示システム１ｂを構成する画像供給装置６０ａと画像表示装置６０ｂとのフローが区別できるように適宜図６を参照して説明する。

ステップＳ７１６で、ジョブ検出手段６０２は、画像処理中に、画像表示装置６０ｂに新たなジョブが発生したかどうかを検出する。

画像供給装置６０ａのジョブ検出手段６０２が新たなジョブを検出した場合（Ｓ７１６で「Ｙｅｓ」の場合）、画像供給装置６０ａのジョブ検出手段６０２は、再生条件比較判定手段１１３に再生条件比較要求信号を送出し、図４のＳ４０３へ移る。新たなジョブを検出しない場合（Ｓ７１６で「Ｎｏ」の場合）には、Ｓ７１７へ移る。

Ｓ７１７で、条件変更検出手段６０３は、画像供給装置６０ａ又は画像表示装置６０ｂにおいて、動画像の拡大や縮小等により再生条件の変更があった場合（Ｓ７１７で「Ｙｅｓ」の場合）には、再生条件比較判定手段１１３に再生条件比較要求信号を送出し、図４のＳ４０３へ移る。再生条件の変更がなかった場合（Ｓ７１７で「Ｎｏ」の場合）には、Ｓ７１８に移る。

ステップＳ７１８で、画像処理手段１１６又は画像処理手段１２５は、画像処理する。

ステップＳ７１９で画像表示手段１２６は、処理された動画像を表示する。

これにより、画像表示装置６０ｂに対する画像処理の負担を適宜軽減することができる。
＜画像表示システム１ａを構成するハードウェアの概要＞
図８は、画像表示システム１ａのハードウェアの構成例を示す。

画像供給装置１０ａは、ＣＰＵ８０１によって制御されている。

バス１０１を介して、ＣＰＵ８０１、入力インタフェース８０２、画像出力インタフェース８０３、ＲＡＭ８０４、ＨＤＤ（Hard Disk Drive）８０５、通信インタフェース８０６，ドライブ装置８０８、に接続された可搬型記録媒体８０９、図１の通信手段１１９に対応する通信インタフェース８０６が接続されている。

入力インタフェース８０２には、キーボード８０７等が接続されている。

画像出力インタフェース８０３により、表示装置で表示する画像が入力される。

ＲＡＭ８０４には、ＣＰＵ８０１に実行させるＯＳのプログラムやアプリケーションプログラムが格納される。ＲＡＭ８０４には、ＣＰＵ８０１による処理に必要な各種データが格納される。

ＨＤＤ８０５は不揮発性記憶ユニットであり、動画像のデータ等が記録され画像供給装置１０ａの電源オフ時にもデータは消失しない。

通信インタフェース８０６はネットワーク１００に接続されている。通信インタフェース８０６は通信手段１１９に対応し、ネットワーク１００を介して、クライアント等のコンピュータとの間でデータの送受信を行う。

以上のようなハードウェア構成によって、画像供給装置１０ａの本実施の形態の処理機能を実現することができる。

画像表示装置１０ｂは、ＣＰＵ（Central Processing Unit)８１０によって装置全体が制御されている。

バス１０２を介してＲＡＭ(Random Access Memory)８１３、入力インタフェース８１４、動画像入出力インタフェース８１１、ディスプレイ８１９、通信インタフェース８１２、ドライブ装置８１５が接続され、ドライブ装置８１５には可搬型記録媒体８１７が接続されている。ＲＡＭ８１３には、ＣＰＵ８１０に実行させるＯＳ(Operating System)のプログラムやアプリケーションプログラムが格納される。また、ＲＡＭ８１３には、ＣＰＵ８１０による処理に必要な各種データが格納される。入力インタフェース８１４には、例えば、動画像入力用のＵＳＢ８１６が接続されている。入力インタフェース８１４は、ＵＳＢ８１６から入力される信号を、バス１０２を介してＣＰＵ８１０に送信する。通信インタフェース８１２は、通信手段１２０に対応しネットワーク１００に接続され、ネットワーク１００を介して画像供給装置１０ａとの間でデータの送受信を行う。

以上のようなハードウェア構成によって、画像表示装置１０ｂの本実施の形態の処理機能を実現することができる。

本発明によれば、画像表示システム１ａは、動画像の再生条件に基づいてネットワーク１００上に配置された画像供給装置１０ａと画像表示装置１０ｂのうち、動画像の処理条件を満たすいずれかの画像処理手段でフレキシブルに画像処理させることにより、動画像再生をよりスムーズにさせることができる。

以上、本発明の実施形態について説明したが、本発明は、ここで説明した実施形態に限定されるものではない。

また、各実施形態は、可搬型記録媒体８０９、８１７などのコンピュータが読み取り可能な記憶媒体に格納されたプログラムをコンピュータが実行することによって実現されてもよい。

加えて、各実施形態は排他的なものではなく、一部分の実施形態を組み合わせることも可能である。

また、各実施形態は、請求項に係る発明の一例を示したものであって、限定するためのものではない点に留意する必要がある。

例えば、画像供給装置１０ａがネットワーク上に複数存在する場合には、各画像供給装置１０ａの有する各画像供給装置１０ａの性能取得手段１５０が取得する性能を再生条件比較判定手段１１３にそれぞれ比較判定させることにより、動画像の再生条件に最適な画像供給装置１０ａに動画像を処理させるように構成してもよい。

１ａ、１ｂ 画像表示システム
１０ａ、６０ａ 画像供給装置
１０ｂ、６０ｂ 画像表示装置
１１９、１２０ 通信手段
１００ ネットワーク
１１０ 画像取得装置
１２４ 画像取得手段
１１１ 動画像処理条件取得手段
１１２ 選択手段
１１３ 再生条件比較判定手段
１１４ 制御信号生成手段
１１５ 制御手段
１２３ 制御手段
１１６ 画像処理手段
１２５ 画像処理手段
１１７ 画像符号化手段
１１８ 変換手段
１２１ 変換手段
１２２ 画像復号化手段
１２６ 画像表示手段
１３０ 画像管理手段
１５０ 性能取得手段
１６０ 性能取得手段
１５１ ＣＰＵスペック検出手段
１６１ ＣＰＵスペック検出手段
１５３ ＣＰＵ利用率検出手段
１６２ ＣＰＵ利用率検出手段
１５４ メモリ残量検出手段
１６３ メモリ残量検出手段
１５５ 画像処理時間検出手段
１６４ 画像処理時間検出手段
１５６ ＣＰＵジョブ数検出手段
１６５ ＣＰＵジョブ数検出手段
１５７ 動的検出手段
１６０ 動的検出手段
１６６ デコーダ種別検出手段
１６７ 表示領域範囲検出手段
６０２ ジョブ検出手段
６０３ 条件変更検出手段
６０４ 条件変更検出手段

特開２０１０−６１５４２号公報

Claims (9)

1. 動画像を表示する画像表示装置に、ネットワークを介して前記動画像を送信する画像供給装置であって、
   前記動画像の再生に関する条件を取得する動画像処理条件取得手段と、
   動画像処理の性能である第１の性能を取得する第１の性能取得手段と、
   前記再生に関する条件に基づいて、前記動画像のデータを前記画像表示装置が再生可能な画像データに変換する第１の変換手段と、
   前記再生に関する条件と、前記第１の性能と、前記画像表示装置の動画像処理の性能である第２の性能と、に基づいて、前記第１の変換手段又は前記動画像のデータを前記画像表示装置において前記画像表示装置が再生可能な画像データに変換する第２の変換手段のうちいずれかを選択する選択手段と、
   を備える画像供給装置。
2. 前記第１の性能取得手段は、
   動的な性能を検出する第１の動的性能取得手段、
   を備えた請求項１に記載の画像供給装置。
3. 前記動画像の再生に関する条件は、前記動画像の画像サイズ、フレームレート、符号化方式のうちいずれか一つ、
   を含む請求項１又は２に記載の画像供給装置。
4. 当該画像供給装置の新たなジョブである第１のジョブの発生を検出する第１のジョブ発生検出手段を備え、
   前記選択手段は、当該画像供給装置における新たなジョブの発生、又は前記画像表示装置における新たなジョブの発生に基づいて前記第１の変換手段又は前記第２の変換手段のいずれかを選択する、
   請求項１から３のいずれか一項に記載の画像供給装置。
5. 当該画像供給装置における前記動画像の第１の再生条件の変更を検出する第１の条件変更検出手段を備え、
   前記選択手段は、当該画像供給装置における前記第１の再生条件の変更と、前記画像表示装置における前記動画像の第２の再生条件の変更とに基づいて、前記第１の変換手段又は前記第２の変換手段のいずれかを選択する、
   請求項１から４のいずれか一項に記載の画像供給装置。
6. 動画像を供給する画像供給装置から、ネットワークを介して前記動画像を受信する画像表示装置であって、
   動画像処理の性能である第２の性能を取得する第２の性能取得手段と、
   前記動画像の再生に関する条件に基づいて、当該画像表示装置において前記動画像のデータを当該画像表示装置が再生可能な画像データに変換する第２の変換手段と、を備え
   前記第２の変換手段は、
   前記再生に関する条件と、前記画像供給装置の動画像処理の性能である第１の性能と、前記第２の性能と、に基づいて、前記変換を行う、
   画像表示装置。
7. 動画像を表示する画像表示装置と、前記動画像のデータを前記画像表示装置に送信する画像供給装置とがネットワークを介して接続された画像表示システムであって、
   前記動画像の再生に関する条件を取得する動画像処理条件取得手段と、
   前記画像供給装置の動画像処理の性能である第１の性能を取得する第１の性能取得手段と、
   前記画像表示装置の動画像処理の性能である第２の性能を取得する第２の性能取得手段と、
   前記再生に関する条件に基づいて、前記画像供給装置において前記動画像のデータを前記画像表示装置が再生可能な画像データに変換する第１の変換手段と、
   前記再生に関する条件に基づいて、前記画像表示装置において前記動画像のデータを当該画像表示装置が再生可能な画像データに変換する第２の変換手段と、
   前記再生に関する条件と、前記第１の性能と、前記第２の性能と、に基づいて、前記第１の変換手段又は前記第２の変換手段のうちいずれかを選択する選択手段と、
   を備える画像表示システム。
8. 前記画像供給装置における前記動画像の第１の再生条件の変更を検出する第１の条件変更検出手段と、
   前記画像表示装置における前記動画像の第２の再生条件の変更を検出する第２の条件検出手段と、を備えた、
   請求項７に記載の画像表示システム。
9. 動画像を表示する画像表示装置に、ネットワークを介して前記動画像を送信する画像供給装置のコンピュータを、
   前記動画像の再生に関する条件を取得する動画像処理条件取得手段、
   動画像処理の性能である第１の性能を取得する第１の性能取得手段、
   前記再生に関する条件に基づいて、前記動画像のデータを前記画像表示装置が再生可能な画像データに変換する第１の変換手段、
   前記再生に関する条件と、前記第１の性能と、前記画像表示装置の動画像処理の性能である第２の性能と、に基づいて、前記第１の変換手段又は前記動画像のデータを前記画像表示装置において前記画像表示装置が再生可能な画像データに変換する第２の変換手段のうちいずれかを選択する選択手段、
   として機能させるための画像供給プログラム。

Images