JP2015170078A - ウィンドウ画像表示システム、ウィンドウ画像作成装置、表示画像作成装置およびウィンドウ画像表示方法 - Google Patents

Abstract

【課題】通信ネットワーク等を介してウィンドウの画像データを転送し、転送された画像データを用いてウィンドウの画像を画面に表示するウィンドウ画像表示システムにおける、転送されるウィンドウの画像データのデータ量を削減する。
【解決手段】画面に表示される画像の単位であるウィンドウの画像について、ウィンドウの更新後の画像におけるウィンドウの更新前の画像と更新後の画像とで差分のある部分を含む領域をブロックとして特定し、このブロックの画像のデータを含むブロックデータを作成して送信するウィンドウ画像作成装置１００と、ウィンドウ画像作成装置が送信したブロックデータを受信して、受信したブロックデータに含まれるブロックの画像のデータに基づいて画面に表示されるウィンドウの画像である表示用ウィンドウ画像を更新する表示画像作成装置２００と、を備える。
【選択図】 図２

Description

この発明は、画面に表示される画像の単位であるウィンドウの画像データを通信ネットワーク等を介して転送し、転送された画像データに基づいて画面に表示する当該ウィンドウの表示用画像を作成するウィンドウ画像表示システムおよびウィンドウ画像表示方法に関する。

通信ネットワーク等を介して画像のデータ(画像データ)を転送し、転送先においてこの画像データから画面に表示する画像を作成して、画面に画像を表示するシステムがある。このようなシステムでは、画面サイズの大型化などにより表示される画像の解像度が高くなる傾向にあり、画像の解像度が上がっていくのにともなって画像データのデータ量が増大するという問題がある。

このような問題に対し、転送される画像データのデータ量を削減する技術として、画面にウィンドウと呼ぶ単位で複数の画像が表示される場合に、画面全体の画像データを転送するのではなく、画面に表示されるウィンドウのうち、例えばウィンドウのサイズ変更や、あるいはウィンドウ同士の重なりの変更などにより、画面に新たに表示される領域を含むウィンドウの画像データのみを転送する方式が提案されている（特許文献１）。

特開2013-205835号（図１）

特許文献１に開示された画像データの転送方式を用いた従来のウィンドウ画像表示システムでは、画面全体の画像データではなく特定のウィンドウの画像データだけを送信するようにした場合であっても、表示内容に変更の生じたウィンドウのサイズが大きい場合などではサイズの大きいウィンドウの画像データを転送する必要があるため、依然として転送する画像データのデータ量が大きくなるという問題があった。

この発明は、上述の課題を解決するためになされたものであり、通信ネットワーク等を介してウィンドウの画像データを転送し、転送された画像データを用いてウィンドウの画像を画面に表示するウィンドウ画像表示システムにおける、転送されるウィンドウの画像データのデータ量を削減することを目的とする。

この発明のウィンドウ画像表示システムは、画面に表示される画像の単位であるウィンドウの画像について、ウィンドウの更新後の画像におけるウィンドウの更新前の画像と更新後の画像とで差分のある部分を含む領域をブロックとして特定し、このブロックの画像のデータを含むブロックデータを作成して送信するウィンドウ画像作成装置と、ウィンドウ画像作成装置が送信したブロックデータを受信して、受信したブロックデータに含まれるブロックの画像のデータに基づいて画面に表示されるウィンドウの画像である表示用ウィンドウ画像を更新する表示画像作成装置と、を備えるようにしたものである。
この発明のウィンドウ画像作成装置は、画面に表示される画像の単位であるウィンドウの画像について、ウィンドウの更新後の画像におけるウィンドウの更新前の画像と更新後の画像とで差分のある部分を含む領域をブロックとして特定し、このブロックの画像のデータを含むブロックデータを作成する画像データ作成部と、画像データ作成部が作成したブロックデータを送信する画像データ送信部と、を備えるようにしたものである。
この発明の表示画像作成装置は、画面に表示される画像の単位であるウィンドウの画像について、ウィンドウの更新後の画像におけるウィンドウの更新前の画像と更新後の画像とで差分のある部分を含む領域であるブロックの画像のデータを用いて作成されたブロックデータを受信する画像データ受信部と、受信したブロックデータに含まれるブロックの画像のデータに基づいて画面に表示されるウィンドウの画像である表示用ウィンドウ画像を更新するウィンドウ画像作成部と、を備えるようにしたものである。
この発明のウィンドウ画像表示方法は、画面に表示される画像の単位であるウィンドウの画像について、ウィンドウの更新後の画像におけるウィンドウの更新前の画像と更新後の画像とで差分のある部分を含む領域をブロックとして特定する特定ステップと、特定されたブロックの画像のデータを含むブロックデータを作成して送信する送信ステップと、送信されたブロックデータを受信する受信ステップと、受信されたブロックデータに含まれるブロックの画像のデータに基づいて画面に表示されるウィンドウの画像である表示用ウィンドウ画像を更新する更新ステップと、を備えるようにしたものである。

この発明のウィンドウ画像表示システムによれば、上述のように構成したので転送されるウィンドウの画像データのデータ量を削減することができる。
この発明のウィンドウ画像作成装置によれば、上述のように構成したのでこのウィンドウ画像作成装置を適用したウィンドウ画像表示システムにおいて転送されるウィンドウの画像データのデータ量を削減することができる。
この発明の表示画像作成装置によれば、上述のように構成したのでこの表示画像作成装置を適用したウィンドウ画像表示システムにおいて転送されるウィンドウの画像データのデータ量を削減することができる。
この発明のウィンドウ画像表示方法によれば、上述のように構成したので転送されるウィンドウの画像データのデータ量を削減することができる。

この発明の実施の形態１に関わるウィンドウ画像表示システムの構成を示すブロック図である。 実施の形態１のウィンドウ画像表示システムを構成するウィンドウ画像作成装置と表示画像作成装置の機能構成を示すブロック図である。 実施の形態１のウィンドウ画像表示システムで表示されるウィンドウの画像の例を示す模式図である。 実施の形態１のウィンドウ画像表示システムの画面表示の一例を示す模式図である。 実施の形態１のウィンドウ画像作成装置のウィンドウ画像記憶部の記憶例を示すテーブルである。 実施の形態１のウィンドウ画像作成装置の処理フローを示すフローチャートである。 ウィンドウの更新前の画像と更新後の画像の変化の例を示す模式図である。 ウィンドウの更新前の画像と更新後の画像の差分のブロック化処理を示す模式図である。 実施の形態１の表示画像作成装置の表示画像記憶部の記憶例を示すテーブルである。 実施の形態１の表示画像作成装置の処理フローを示すフローチャートである。 実施の形態１の表示画像作成装置の更新後のウィンドウの画像を作成する処理を示す模式図である。 実施の形態１の表示画像作成装置が作成した画面画像の例を示す模式図である。 この発明の実施の形態２に関わるウィンドウ画像表示システムを構成するウィンドウ画像作成装置と表示画像作成装置の機能構成を示すブロック図である。 実施の形態２におけるウィンドウの画像を分割画像に分割する例を示す模式図である。 実施の形態２のウィンドウ画像作成装置のストリーム選択部が有するストリーム管理テーブルの例を示すテーブルである。 実施の形態２のウィンドウ画像作成装置の処理フローを示すフローチャートである。 実施の形態２におけるウィンドウの更新前の画像と更新後の画像の差分と分割画像の対応の例を示す模式図である。 実施の形態２の表示画像作成装置の処理フローを示すフローチャートである。 実施の形態２の表示画像作成装置における受信ストリーム選択処理で選択されるブロックデータを示す模式図である。

以下、この発明を実施するための形態を、図面を参照して説明する。なお、以下の説明で参照する図面においては同一もしくは相当する部分には同一の符号を付している。

実施の形態１．
図１は、この発明の実施の形態１に関わるウィンドウ画像表示システムのシステム構成を示すブロック図である。図１において表示画像作成装置２００_１〜２００_１０にそれぞれ接続された表示装置３００_１〜３００_１０は画像を表示する画面４００_１〜４００₁₀を備えており、この図に示すように表示装置３００_１〜３００_４が１つの全体画面を構成し、また、表示装置３００_５〜３００_１０が別の全体画面を構成する。なお、全体画面にはウィンドウと呼ぶ単位で複数の画像が表示される。ウィンドウ画像作成装置１００は全体画面に表示されるそれぞれのウィンドウの画像を作成するためのデータ（画像データ）を表示画像作成装置２００_１〜２００_１０に出力する。ウィンドウ画像作成装置１００から画像データを受信した表示画像作成装置２００_１〜２００_１０はそれぞれ表示装置３００_１〜３００₁₀の画面４００_１〜４００₁₀に表示されるウィンドウの画像を作成する。
なお、以降の説明においては表示画像作成装置２００_１〜２００_１０で特定のいずれかの装置に限定する必要がない場合には表示画像作成装置２００と記載する場合がある。これは、他の装置および装置を構成する部分についても同様である。

なお、図１では１個のウィンドウ画像作成装置１００と、１つの全体画面を構成するための４個の表示画像作成装置２００_１〜２００_４および別の全体画面を構成するための６個の表示画像作成装置２００_５〜２００_１０を用いたシステム構成を示しているが、この発明はシステム構成を図１の構成に限定するものではなく、１個の全体画面を構成する表示画像作成装置２００の個数と全体画面の個数は適宜変更されてよい。また、１個の表示画像作成装置２００が複数の表示装置３００に接続されるように構成してもよい。

図２は、この実施の形態のウィンドウ画像表示システムを構成するウィンドウ画像作成装置１００と表示画像作成装置２００の機能構成を示すブロック図である。図２においてウィンドウ画像作成装置１００は、全体画面に表示されるそれぞれのウィンドウの画像を入力されるウィンドウ制御情報に基づいて更新するウィンドウ画像更新部１０１と、現在の（更新前の）ウィンドウの画像を記憶するウィンドウ画像記憶部１０２と、ウィンドウ画像記憶部１０２に記憶されたウィンドウの画像と当該ウィンドウの更新後の画像に基づいて表示画像作成装置２００に送信する画像データを作成する画像データ作成部１０３と、画像データ作成部１０３が作成した画像データを表示画像作成装置２００に送信する画像データ送信部１０４を備えている。

なお、上述のウィドウ制御情報は例えばキーボードやマウス等の入力機器（図示せず）を用いて入力された特定のウィンドウの表示内容を変更するための画像編集（ウィンドウのサイズ変更、表示位置変更などを含む）の情報や、あるいはウィンドウに表示される画像が動画像である場合の動画像の各フレームの画像を作成するための情報などである。

一方、この実施の形態の表示画像作成装置２００はウィンドウ画像作成装置１００が送信した画像データを受信する画像データ受信部２０１と、画像データ受信部２０１が受信した画像データを処理して画面４００に表示される当該ウィンドウの画像（表示用ウィンドウ画像）を作成するウィンドウ画像作成部２０２と、ウィンドウ画像作成部２０２が作成した表示用ウィンドウ画像を用いて表示装置３００に出力する画面画像を作成する表示画像作成部２０３と、作成された表示用ウィンドウ画像を記憶する表示画像記憶部２０４を備えている。なお、表示装置３００に出力された画面画像は画面４００に表示される画像であり、その出力形式については例えばコンポーネント映像信号など適切な形式を使用すればよい。

上述のウィンドウ画像作成装置１００と表示画像作成装置２００は汎用または専用のコンピュータとコンピュータで実行されるプログラムにより実現することが可能であるし、あるいは専用のハードウェアで実現することも可能である。

次にこの実施の形態のウィンドウ画像作成装置１００の動作を説明する。今、図３（ａ）〜（ｄ）に示すウィンドウ画像５０１〜５０４の４個の画像が表示画像作成装置２００_１〜２００_４に接続された表示装置３００_１〜３００_４で構成される全体画面に図４に示すように表示されているものとし、ウィンドウ画像記憶部１０２はこれらのウィンドウ画像５０１〜５０４を記憶しているものとする。なお、図４において点線は全体画面を構成する画面４００_１〜４００_４（表示装置３００_１〜３００_４）の境界を示すために図に付したものである。

また、図５はウィンドウ画像記憶部１０２のウィンドウ画像５０１〜５０４の記憶形態の一例である。この図でウィンドウ識別番号はウィンドウ画像５０１〜５０４にそれぞれ付された個々のウィンドウを識別するための番号（ウィンドウ識別情報）である。なお、ウィンドウ識別情報は番号に限定されるものではなく、他の様式の情報であってもよい。ウィンドウ画像記憶部１０２はウィンドウ識別番号で個々のウィンドウの画像を管理しており、ウィンドウの画像とともにそれぞれのウィンドウの全体画面における表示位置（座標）、ウィンドウのサイズを記憶する。なお、ウィンドウ画像記憶部１０２に記憶される画像のデータ形式は特定の形式に限定されるものではない。ここでは一例としてビットマップ画像データとしている。また、図１に示したように複数の全体画面が存在し、それらの複数の全体画面に同一のウィンドウを表示する場合には、全体画面毎に表示位置とサイズを記憶するようにすればよい。

はじめにウィンドウ画像作成装置１００の動作を説明する。図６はこの実施の形態のウィンドウ画像作成装置１００の処理フローを示すフローチャートである。まず、ウィンドウ画像更新部１０１がウィンドウ制御情報を取得する（ＳＴ１０１）。このとき、ウィンドウ制御情報にはウィンドウの画像の変更内容とともにそのウィンドウのウィンドウ識別番号を含んでいるものとする。ウィンドウ制御情報を取得したウィンドウ画像更新部１０１は、ウィンドウ制御情報に示されたウィンドウ識別番号に基づいてウィンドウ画像記憶部１０２を参照し、更新対象のウィンドウの画像等の情報を取得する（ＳＴ１０２）。なお、例えばウィンドウ制御情報が動画像の各フレームの情報である場合など、ウィンドウの画像の更新に更新前の画像が不要である場合には必ずしもＳＴ１０２を実施する必要はない。

次に、ウィンドウ画像更新部１０１はウィンドウ画像制御情報に基づいてウィンドウの画像の更新を行う（ＳＴ１０３）。以降では図７に示すように図３（ｄ）に示したウィンドウ画像５０４において一部の図形が消去され、ウィンドウ画像５０４ｂのように更新される場合を例に説明する。なお、図７では分かりやすくするためにウィンドウ画像５０４で消去される図形を黒塗りで、それ以外の図形を黒枠で表している。そして、ウィンドウ画像更新部１０１は更新後のウィンドウ画像５０４ｂとウィンドウ識別番号、ウィンドウのサイズおよび表示位置等のウィンドウに関わる情報を画像データ作成部１０３に出力する。

ウィンドウ画像更新部１０１からウィンドウの更新後の画像を受信した画像データ作成部１０３は更新前のそのウィンドウの画像をウィンドウ画像記憶部１０２から取得して、そのウィンドウの更新前と更新後の画像を比較し、両画像で差分のある部分を検出する（ＳＴ１０４）。そして、更新後の画像のＳＴ１０４で検出した差分のある部分を含んだウィンドウよりも小さい領域をブロックとして特定（ブロック化）する（ＳＴ１０５）。

図８は図７に例を示したウィンドウ画像５０４からウィンドウ画像５０４ｂへの更新が行われた場合におけるＳＴ１０４およびＳＴ１０５の処理を説明する図である。図８（ｃ）に示すように、ウィンドウ画像５０４とウィンドウ画像５０４ｂとの差分を検出し、ウィンドウ画像５０４ｂにおける差分を検出した部分を含む領域をブロック化する。ここでは矩形の領域にブロック化を行っており、図８（ｃ）において点線で囲んだ領域がブロック化した個々のブロックである。なお、図８（ｃ）では差分を検出した３個の領域のそれぞれを１個のブロックとしたが、固定サイズのより小さいブロックの集合となるようにそれぞれのブロックをさらに分割するようにしてもよい。

次に、画像データ作成部１０３は各ブロックの画像で更新前の画像から変化のない画素を単一色で塗りつぶし、さらに塗りつぶした部分の透過設定を全透過にする（ＳＴ１０６）。図８（ｃ）の例では塗りつぶしをする領域をハッチングして示している。次に画像データ作成部１０３はブロック単位に画像の圧縮符号化を行う(ＳＴ１０７)。画像の圧縮符号化については、例えば公知のＰＮＧ（Portable Network Graphics）フォーマットなど透過設定を扱うことのできる方法で行えばよい。以降では、ブロックの画像を圧縮符号化したデータを圧縮画像データと呼ぶこととする。

なお、透過設定を扱えない圧縮符号化を用いる場合には、透過設定の情報を別に付加するようにしてもよい。また、更新前と更新後で差分のないところと差分のあるところを識別することができればよいので、透過設定に限らずその他の情報を使用してもよい。
このように更新前と更新後で差分のない画素を単一色で塗りつぶすことにより、画像のデータにおいて同値が続く場合にはその値と連続長でそのデータを表現することができることから、塗りつぶしを行わない場合に比べて圧縮符号化後のデータ量を削減することができる。

次に、画像データ作成部１０３は更新後のウィンドウの画像をウィンドウ画像記憶部１０２に保存する（ＳＴ１０８）。なお、このとき当該ウィンドウの表示位置やサイズが変更されていればこれらの情報も更新する。

そして次に、画像データ送信部１０４が、画像データ作成部１０３がＳＴ１０７で圧縮符号化した各ブロックの圧縮画像データとそのブロックのウィンドウ上における位置とそのウィンドウのウィンドウ識別番号とそのウィンドウの全体画面における表示位置を表示画像作成装置２００に送信する画像データであるブロックデータとして表示画像作成装置２００に対して出力する（ＳＴ１０９）。

このとき、図１に示したように１個の全体画面に表示される画像を複数の表示画像作成装置２００で作成している場合には、画像データ送信部１０４は同じブロックデータを複数の表示画像作成装置２００に送信することとする。

なお、全体画面におけるウィンドウの表示位置とそのウィンドウ内におけるブロックの位置に基づいてウィンドウ画像作成装置１００がそのブロックの領域を担当する表示画像作成装置２００を特定し、特定した表示画像作成装置２００あてにブロックデータを送信するようにしてもよい。ただしこの場合、ウィンドウが移動されて表示位置が変更されたときには、ウィンドウ画像作成装置１００は全体画面における各表示画像作成装置２００が担当する領域の表示内容の変化を考慮して送信する画像データを作成する必要がある。

また、ここでは１つのブロックデータに圧縮画像データとウィンドウのサイズ、表示位置等を含むようにしたが必ずしも１つにまとめる必要はなく、ウィンドウ識別番号をそれぞれに付して別のデータとして出力するようにしてもよい。このようにした場合には表示画像作成装置２００側で受信した圧縮画像データとウィンドウのサイズ、表示位置等の対応付けを行って処理を行うようにする。なお、ウィンドウの画像の内容に変更がなく、表示位置のみが変更されたような場合には、ウィンドウ識別番号とそのウィンドウのサイズ、表示位置の情報が表示画像作成装置２００に送信されるようにしてもよい。

次に、表示画像作成装置２００の動作を上記で例に示したウィンドウ画像５０４を更新するブロックデータを受信した表示画像作成装置２００_４の動作を例に説明する。なお、表示画像作成装置２００_４の表示画像記憶部２０４は表示装置３００₁〜３００_４に表示されるウィンドウの画像（表示用ウィンドウ画像）を記憶しているものとする。図９は表示画像記憶部２０４に記憶されている表示用ウィンドウ画像の記憶形態の一例を示す図である。表示画像記憶部２０４はウィンドウ識別情報であるウィンドウ識別番号で表示用ウィンドウ画像を管理しており、表示用ウィンドウ画像とともに各ウィンドウの表示位置とサイズを記憶している。ここで、表示用ウィンドウ画像は上述のウィンドウ画像作成装置１００のウィンドウ画像記憶部１０２の例と同様にビットマップ画像データとしている。
なお、表示画像作成装置２００_４が表示装置３００₁〜３００_４に表示されるウィンドウの画像を記憶することにより、表示画像作成装置２００_４に接続された表示装置３００_４に表示中でないウィンドウを新たに表示する場合にもそのウィンドウの画像を含んだ画面画像を作成することができる。

図１０は表示画像作成装置２００の処理フローを示すフローチャートである。まず、ウィンドウ画像作成装置１００が送信した画像データ（ブロックデータ）を表示画像作成装置２００_４の画像データ受信部２０１が受信する（ＳＴ２０１）。

次にウィンドウ画像作成部２０２が、画像データ受信部２０１が受信したブロックデータに含まれるウィンドウ識別番号に基づいて、更新するウィンドウを特定する（ＳＴ２０２）。そして、ウィンドウ画像作成部２０２は更新するウィンドウの表示用ウィンドウ画像を表示画像記憶部２０４から取得し（ＳＴ２０３）、取得した表示用ウィンドウ画像をブロックデータに含まれているブロックの画像とそのブロックのウィンドウ上の位置に基づいて更新して、更新後の表示用ウィンドウ画像を作成する（ＳＴ２０４）。

上述のウィンドウ画像作成装置１００の動作説明の例のブロックデータを受信した場合、ウィンドウ画像作成部２０２はＳＴ２０２の処理によりウィンドウ識別番号４のウィンドウを更新対象として特定する。そして、ウィンドウ画像作成部２０２はＳＴ２０３の処理により、表示画像記憶部２０４からウィンドウ識別番号４のウィンドウの表示用ウィンドウ画像を取得する。

そして、ウィンドウ画像作成部２０２はＳＴ２０４の処理で取得した表示用ウィンドウ画像を更新する。図１１はＳＴ２０４の表示用ウィンドウ画像の更新処理を説明する図である。図１１（ａ）はＳＴ２０３の処理で取得された更新前の表示用ウィンドウ画像を示しており、これは図３（ｄ）のウィンドウ画像５０４と同様の画像である。また、図１１（ｂ）は受信したブロックデータから取得した各ブロックの画像を示している。ここで、図１１（ｂ）においてハッチングをした領域は図８（ｃ）と同様に各ブロックの単一色に塗りつぶされた領域を表している。なお、図１１（ａ）の点線の四角は図１１（ｂ）に示した各ブロックに対応する領域であることを示すために付したものであり、実際にはウィンドウ画像に存在しないものである。

図１１（ｃ）は図１１（ａ）の表示用ウィンドウ画像を図１１（ｂ）のブロックの画像で更新して作成された更新後の表示用ウィンドウ画像を示しており、これは図７に示したウィンドウ画像５０４ｂと同様の画像になる。ここで図１１（ｃ）の点線の四角は図１１（ａ）と同様に各ブロックの画像で更新された領域を示すために付したものであり、実際には存在しない線である。
なお、表示用ウィンドウ画像の更新処理においては、透過設定が全透過に設定された領域を画像の更新に使用しないようにすることで、ウィンドウ画像作成装置１００で単一色に塗りつぶされた領域が更新後の画像に影響しないようにする。

そして次に、ウィンドウ画像作成部２０２は更新後の表示用ウィンドウ画像を表示画像記憶部２０４に保存する（ＳＴ２０５）。

次に、表示画像作成部２０３は表示装置３００の画面４００に表示される画像（画面画像）を表示画像記憶部２０４に記憶された各ウィンドウの表示用ウィンドウ画像と表示位置とサイズに基づいて作成する（ＳＴ２０６）。図１２は表示画像作成装置２００_４の表示画像作成部２０３が作成した画面画像の例である。そして次に、表示画像作成部２０３は作成した画面画像を表示装置３００に出力する（ＳＴ２０７）。

上述のようにこの実施の形態のウィンドウ画像表示システムを構成するウィンドウ画像作成装置１００は、表示装置３００の画面４００に表示されるウィンドウの画像の更新前の画像と更新後の画像の差分を検出し、更新後の画像における差分を検出した部分を含む領域をブロックとして特定して、この特定したブロックに基づいて表示画像作成装置２００に送信する画像データであるブロックデータを作成する画像データ作成部１０３を備え、画像データ作成部１０２が作成したブロックデータを画像データ送信部１０４が表示画像作成装置２００に送信するようにした。また、画像データ作成部１０３は、表示画像作成装置２００に送信するブロックデータの作成において、特定したブロックの画像の更新前の画像から変化のない画素を単一色で塗りつぶすようにした。

上述のウィンドウ画像作成装置１００によれば、更新されたウィンドウの画像における更新前の画像と差分のある部分を含むウィンドウよりも小さな領域であるブロックの画像のデータから表示画像作成装置２００に送信する画像データを作成するので、ウィンドウ画像作成装置１００が送信する画像データのデータ量を削減することができる。また、ブロックの画像で更新前の画像から変化のない画素を単一色で塗りつぶすようにしているので、このブロックを圧縮符号化した場合、塗りつぶしを行わない場合に比べてさらにデータ量を削減することできる。

また、この実施の形態のウィンドウ画像表示システムを構成する表示画像作成装置２００は、表示装置３００の画面４００に表示される当該ウィンドウの画像（表示用ウィンドウ画像）を記憶する表示画像記憶部２０４と、ウィンドウ画像作成装置１００から受信したブロックデータに含まれるブロックの画像に基づいて表示画像記憶部２０４に記憶されている更新対象のウィンドウの表示用ウィンドウ画像を更新して更新後の画像を作成するウィンドウ画像作成部２０２を備えるようにした。

上述の表示画像作成装置２００によればウィンドウ画像作成装置１００が送信したブロックデータを受信して表示装置３００に表示する更新後の表示用ウィンドウ画像を作成することができ、ウィンドウ画像作成装置１００と組み合わせることによりウィンドウ画像作成装置１００から表示画像作成装置２００に送信される画像データのデータ量を削減したウィンドウ画像表示システムを構成することができる。

この実施の形態のウィンドウ画像表示システムによれば、上述のようにウィンドウ画像作成装置１００が表示画像作成装置２００に出力するデータ量を削減することができる。
なお、この実施の形態のウィンドウ画像表示システムは、ウィンドウ画像作成装置１００から表示画像作成装置２００に送信されるデータ量が大きい大画面のウィンドウ画像表示システムにおいて特に有効である。

実施の形態２．
次に、ウィンドウ画像作成装置と表示画像作成装置間にウィンドウの画像を分割した各部分（分割画像）のいずれかにそれぞれ割り当てられる複数のストリームを設定して画像データの転送を行う実施の形態について説明する。ここでストリームとはウィンドウ画像作成装置と表示画像作成装置間に設定される論理的な伝送路であり、例えばＩＰ（Internet Protocol）ネットワークで一般的に用いられているトランスポート層のプロトコルであるＴＣＰ（Transmission Control Ptorocol）、ＳＣＴＰ（Stream Control Transmission Protorol）等のコネクションや、あるいはセッション層、プレゼンテーション層などの他の層で設定される論理的な伝送路である。なお、ストリームは双方向であってもよいし、単方向であってもよい、また、マルチキャストであってもよいし、ユニキャストであってもよい。

この実施の形態に関わるウィンドウ画像表示システムの構成は実施の形態１と同様である。図１３はこの発明の形態２に関わるウィンドウ画像表示システムを構成するウィンドウ画像作成装置１００ｂと表示画像作成装置２００ｂの構成を示すブロック図である。実施の形態１と異なるのは、ウィンドウ画像作成装置１００ｂの画像データ送信部１０４ｂが画像データを送信するストリームを選択する送信ストリーム選択部１０５を備えることと、表示画像作成装置２００ｂの画像データ受信部２０１ｂがそれぞれのストリームで受信した画像データから処理する画像データを選択する受信ストリーム選択部２０５を備えることである。なお、その他の部分は実施の形態１と同様である。

次にこの実施の形態のウィンドウ画像作成装置１００ｂと表示画像作成装置２００ｂの動作を実施の形態１との差分を中心に図を参照して説明する。ここで、図１４にウィンドウ画像５０４を分割した分割画像の例（一点鎖線が分割した境界を示す）を示すように、この実施の形態ではウィンドウの画像は縦と横にそれぞれ２分割され、それぞれの分割画像（図１４の例では分割画像６０１〜６０４）に割り当てられたストリームがウィンドウ画像作成装置１００ｂと表示画像作成装置２００ｂ間に設定されているものとする。なお、この発明は分割の仕方を限定するものではなく、２分割や６分割などその他の分割の仕方であってもよいし、分割する形状も矩形に限らず他の形状であってもよい。また、ストリームの設定はＴＣＰなどのそれぞれのプロトコルに対応した手順で行えばよい。

図１５は分割画像６０１〜６０４に割り当てられたストリームを管理するために画像データ送信部１０４ｂが備えるテーブル（ストリーム管理テーブル）の例である。この例では、ウィンドウ識別番号４のウィンドウについて、４分割された左上、左下、右上、右下の４つの分割画像６０１〜６０４に対応したストリーム番号１〜４のストリームがあり、各ストリームがＴＣＰポート番号Ａ〜ＴＣＰポート番号Ｄを使用することを示している。なお、図１５に示す通りここではＴＣＰのコネクションをストリームとしている。

図１６はこの実施の形態のウィンドウ画像作成装置１００ｂの処理フローを示すフローチャートである。ＳＴ１０１〜ＳＴ１０９の各処理は実施の形態１と同様である。実施の形態１と異なるのは、ＳＴ１０９の前にＳＴ１１０を実施する点である。ＳＴ１１０の処理では、画像データ送信部１０４ｂの送信ストリーム選択部１０５が、画像データ作成部１０３から受信したブロックのウィンドウにおける位置の情報と図１５に例を示したストリーム管理テーブルに基づいてそのブロックに関する画像データを送信するストリームを選択する。

この処理で送信ストリーム選択部１０５は、画像データ作成部１０３から圧縮符号化された各ブロックの圧縮画像データとそのブロックのウィンドウにおける位置とそのウィンドウのウィンドウ識別番号とそのウィンドウの全体画面における表示位置を受信すると、ウィンドウにおける位置に基づいてデータの送信に使用するストリームを決定する。図１７は図８に示した例の場合のブロックと分割画像６０１〜６０４の対応を示す模式図である。この図において一点鎖線は分割画像の境界の位置を示している。図１７の例では、図の左上に位置するブロックのブロックデータはストリーム番号１のストリームを、右上に位置する差分のあるブロックのブロックデータはストリーム番号３のストリームを、右下に位置するブロックのブロックデータはストリーム番号４のストリームを使用することを送信ストリーム選択部１０５が決定する。

そして、画像データ送信部１０４ｂはＳＴ１１０の処理で決定したストリームを使用して、それぞれのブロックのブロックデータを表示画像作成装置２００ｂに出力する。

図１８はこの実施の形態の表示画像作成装置２００ｂの処理フローを示すフローチャートである。ＳＴ２０１とＳＴ２０２〜ＳＴ２０７の処理は実施の形態１と同様であるので、差分であるＳＴ２０８の処理について説明する。

表示画像作成装置２００ｂの画像データ受信部２０１ｂは、ウィンドウ画像作成装置１００ｂから送信されたブロックデータを受信すると、画像データ受信部２０１ｂの受信ストリーム選択部２０５が受信したブロックデータに含まれるブロックの位置に関する情報（当該ブロックのウィンドウ識別番号とウィンドウ上における位置情報とウィンドウの表示位置とサイズの情報）を用いて当該ブロックがその表示画像作成装置２００ｂに接続された表示装置３００の表示対象であるか否かを判定し、表示対象である場合にウィンドウ画像作成部２０２にそのデータを出力する。なお、以降の処理は実施の形態１と同様である。

例えば、図１に示した構成を有する画面表示システムの画面４００_１〜４００_４で構成される全体画面にウィンドウ画像５０４が図１９に示すように表示されていた場合で、図７および図８を用いて説明した画像の更新が行われる場合、画面４００_２を有する表示装置３００_２に接続された表示画像作成装置２００_２では、分割画像６０３と分割画像６０４に位置するブロックの画像のデータを含むブロックデータは表示対象でないことから処理が行われず、分割画像６０１に位置するブロックの画像のデータを含むブロックデータが処理されることになる。なお、図１９の一点鎖線は分割画像６０１〜６０４の境界を示している。

上述のようにこの実施の形態のウィンドウ画像表示システムを構成するウィンドウ画像作成装置１００ｂは、ウィンドウの画像を分割した分割画像のいずれかにそれぞれ割り当てられるウィンドウ画像作成装置１００ｂと表示画像作装置２００ｂとの間に設定された複数のストリームから、各ブロックのウィンドウにおける位置に基づいてそのブロックの画像のデータを含むブロックデータの送信に用いるストリームを選択する送信ストリーム選択部１０５を備えるようにした。また、この実施の形態のウィンドウ画像表示システムを構成する表示画像作成装置２００ｂは受信したそれぞれのストリームのブロックデータについてそのブロックデータが含むブロックの画像のデータの位置に関する情報に基づいてそのブロックの画像がその表示画像作成装置２００ｂに接続された表示装置３００の表示対象か否かを判定して、表示対象と判定したブロックの画像のデータを含むブロックデータを選択する受信ストリーム選択部２０５を備えるようにした。

これにより、ウィンドウ画像作成装置１００ｂはウィンドウの画像を複数の領域に分割した分割画像のそれぞれに割り当てられたストリームを用いて、それぞれの分割画像の範囲に位置するブロックに関するブロックデータを送信し、表示画像作成装置２００ｂではそれぞれのストリームで受信したブロックデータについて表示対象となるブロックデータのみを選択して処理をするようにできるので、実施の形態１に示した効果に加えて、ウィンドウ画像作成装置１００ｂの受信データの処理負荷を低減する効果を得ることができる。

なお、この実施の形態ではそれぞれの分割画像に割り当ててられたストリームを用いてウィンドウ画像作成装置から表示画像作成装置にデータを転送するようにしたが、分割画像それぞれについてその分割画像の範囲に位置するブロックからブロックデータを作成し、同じストリームを用いてこれらの作成したブロックデータをウィンドウ画像作成装置から表示画像作装置へ転送するようにしてもよい。

１００，１００ｂ ウィンドウ画像作成装置、１０１ ウィンドウ画像更新部、１０２ ウィンドウ画像記憶部、１０３ 画像データ作成部、１０４，１０４ｂ 画像データ送信部、１０５ 送信ストリーム選択部、２００，２００ｂ，２００_１〜２００_１０ 表示画像作成装置、２０１，２０１ｂ 画像データ受信部、２０２ ウィンドウ画像作成部、２０３ 表示画像作成部、２０４ 表示画像記憶部、２０５ 受信ストリーム選択部、３００，３００_１〜３００_１０ 表示装置、４００，４００_１〜４００_１０ 画面。

Claims (8)

1. 画面に表示される画像の単位であるウィンドウの画像について、前記ウィンドウの更新後の画像における前記ウィンドウの更新前の画像と前記更新後の画像とで差分のある部分を含む領域をブロックとして特定し、前記ブロックの画像のデータを含むブロックデータを作成して送信するウィンドウ画像作成装置と、
   前記ウィンドウ画像作成装置が送信した前記ブロックデータを受信して、受信した前記ブロックデータに含まれる前記ブロックの画像のデータに基づいて前記画面に表示される前記ウィンドウの画像である表示用ウィンドウ画像を更新する表示画像作成装置と、
   を備えることを特徴とするウィンドウ画像表示システム。
2. 前記ウィンドウ画像作成装置は、前記ブロックの画像の前記ウィンドウの前記更新前の画像から変化のない部分を単一色で塗りつぶして、塗りつぶしをした前記ブロックの画像を圧縮符号化して前記ブロックデータを作成し、
   前記表示画像作成装置は、表示用ウィンドウ画像の更新において、前記ブロックの前記ウィンドウ画像作成装置が単一色に塗りつぶした部分以外の画像を用いて前記表示用ウィンドウ画像を更新する
   ことを特徴とする請求項１に記載のウィンドウ画像表示システム。
3. 前記ウィンドウ画像作成装置は、前記ウィンドウの画像を複数の領域に分割した分割画像のそれぞれについて、当該分割画像の範囲に位置する前記ブロックの画像のデータを用いて前記ブロックデータを作成して送信し、
   前記表示画像作成装置は、受信した前記ブロックデータの作成に用いられた前記ブロックの前記画面における位置にもとづいて、当該ブロックデータを処理するか否かを判定する
   ことを特徴とする請求項１または請求項２のいずれか一項に記載のウィンドウ画像表示システム。
4. 前記ウィンドウ画像作成装置と前記表示画像作成装置の間に前記分割画像のいずれかにそれぞれ割り当てられる論理的な伝送路であるストリームが複数個設定され、
   前記ウィンドウ画像作成装置は、前記ブロックが位置する前記分割画像に割り当てられた前記ストリームを用いて当該ブロックの画像のデータを用いて作成された前記ブロックデータを送信することを特徴とする請求項３に記載のウィンドウ画像表示システム。
5. 画面に表示される画像の単位であるウィンドウの画像について、前記ウィンドウの更新後の画像における前記ウィンドウの更新前の画像と前記更新後の画像とで差分のある部分を含む領域をブロックとして特定し、前記ブロックの画像のデータを含むブロックデータを作成する画像データ作成部と、
   前記画像データ作成部が作成した前記ブロックデータを送信する画像データ送信部と、
   を備えることを特徴とするウィンドウ画像作成装置。
6. 画面に表示される画像の単位であるウィンドウの画像について、前記ウィンドウの更新後の画像における前記ウィンドウの更新前の画像と前記更新後の画像とで差分のある部分を含む領域であるブロックの画像のデータを用いて作成されたブロックデータを受信する画像データ受信部と、
   受信した前記ブロックデータに含まれる前記ブロックの画像のデータに基づいて前記画面に表示される前記ウィンドウの画像である表示用ウィンドウ画像を更新するウィンドウ画像作成部と、
   を備えることを特徴とする表示画像作成装置。
7. 画面に表示される画像の単位であるウィンドウの画像について、前記ウィンドウの更新後の画像における前記ウィンドウの更新前の画像と前記更新後の画像とで差分のある部分を含む領域をブロックとして特定する特定ステップと、
   特定された前記ブロックの画像のデータを含むブロックデータを作成して送信する送信ステップと、
   送信された前記ブロックデータを受信する受信ステップと、
   受信された前記ブロックデータに含まれる前記ブロックの画像のデータに基づいて前記画面に表示される前記ウィンドウの画像である表示用ウィンドウ画像を更新する更新ステップと、
   を備えることを特徴とするウィンドウ画像表示方法。
8. 前記特定ステップで特定された前記ブロックの画像の前記ウィンドウの前記更新前の画像から変化のない部分を単一色で塗りつぶし、その塗りつぶしを行ったブロックの画像を圧縮符号化する圧縮ステップを備え、
   前記更新ステップでは、前記ブロックの前記圧縮ステップで塗りつぶしされた部分以外の画像を用いて前記表示用ウィンドウ画像を更新する
   ことを特徴とする請求項７に記載のウィンドウ画像表示方法。

Images