JP2011193357A - サーバ装置、クライアント端末、通信システム、制御方法及びプログラム - Google Patents

Abstract

【課題】ネットワークに負荷をかけずに、クライアント端末側で高画質な画像データを出力することが可能な通信システムを提供する。
【解決手段】 画像データを符号化した符号化画像データをクライアント端末（200-1〜200-N；Nは、任意の整数）に向けて送信するサーバ装置（100）であり、サーバ装置（100）は、第１の符号化画像データを送信した後に、第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、第２の符号化画像データを構成する複数の画像データの中で、第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する。
【選択図】図１

Description

本発明は、画像データの出力制御に関し、特に、シンクライアントシステムに好適な画像データの出力制御に関する。

近年、図１１に示すように、サーバ装置100'と、クライアント端末200-1'〜200-N'(N'は、任意の整数)と、がネットワークNWを介して接続して構成するシンクライアントシステムがある。

シンクライアントシステムは、クライアント端末200-1'〜200-N'に必要最小限の機能を搭載し、殆どの処理をサーバ装置100'側で実行し、クライアント端末200-1'〜200-N'側は、サーバ装置100'側で実行した処理結果を受信し、その処理結果をクライアント端末200-1'〜200-N'の画面に表示したりすることにしている。これにより、クライアント端末200-1'〜200-N'からの情報漏洩を防止したり、クライアント端末200-1'〜200-N'側でのアプリケーション管理の容易性を図ったりすることを可能にしている。

また、シンクライアントシステムでは、サーバ装置100'で実行したアプリケーションプログラムの画像データをクライアント端末200-1'〜200-N'に転送し、クライアント端末200-1'〜200-N'において画像データの出力制御を行うことにしている。以下、シンクライアントシステムで行う一連の処理動作例の概要について説明する。

サーバ装置100'は、クライアント端末200-1'に送信する元画像データに対し、周波数変換を行う。周波数変換は、複数回行う。例えば、図１２に示す例では、元画像データに対し、周波数変換を３回行った場合を示している。元画像データに対し、周波数変換を１回行った状態を図１３に示す。

周波数変換後の画像データは、図１３の（b）に示すように、４つの領域Ａ〜Ｄに区分することができる。領域Ａは、スケーリング係数（低周波数成分）の画像データを示し、元画像データを１／４倍にした画像データに相当する。領域Ｂは、水平成分のウェーブレット展開係数（高周波数成分）の画像データを示し、元画像データを１／４倍にした画像データに相当する。領域Ｃは、垂直成分のウェーブレット展開係数の画像データを示し、元画像データを１／４倍にした画像データに相当する。領域Ｄは、対角成分のウェーブレット展開係数の画像データを示し、元画像データを１／４倍にした画像データに相当する。図１２では、低周波数成分の領域ＡをＬＬと定義し、領域Ａ以外の高周波数成分の領域Ｂ、Ｃ、Ｄを統合してＸＸと定義する。

図１２の（a）に示す元画像データに対し、周波数変換を行った画像データは、図１２の（b）に示すように、低周波数成分の領域の画像データ１ＬＬと、高周波数成分の領域の画像データ１ＸＸと、で構成する。

また、図１２の（b）に示す低周波数成分の領域の画像データ１ＬＬに対し、周波数変換を行った画像データは、図１２の（c）に示すように、低周波数成分の領域の画像データ２ＬＬと、高周波数成分の領域の画像データ２ＸＸと、で構成する。

また、図１２の（c）に示す低周波数成分の領域の画像データ２ＬＬに対し、周波数変換を行った画像データは、図１２の（d）に示すように、低周波数成分の領域の画像データ３ＬＬと、高周波数成分の領域の画像データ３ＸＸと、で構成する。

サーバ装置100'は、図１２の（a）に示す元画像データに対し、周波数変換を３回行い、図１２の（d）に示す周波数変換後の画像データを生成する。そして、（d）に示す周波数変換後の画像データに対し、量子化を行い、図１２の（e）に示す符号化画像データを生成する。サーバ装置100'は、図１２の（e）に示す符号化画像データを３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸの順番でクライアント端末200-1'に送信する。

なお、図１２では、３ＬＬの画像データに対しては量子化を殆ど行わず、３ＸＸ→２ＸＸ→１ＸＸの順に量子化を強く行うようにしている。これは、３ＬＬの画像データに対して量子化を強く行ってしまうと、画像データの画質への影響が顕著になってしまうためである。

また、３ＬＬの画像データよりも３ＸＸの画像データに対して強い量子化を行い、３ＬＬの画像データよりも３ＸＸの画像データの圧縮率を高くする。同様に、３ＸＸの画像データよりも２ＸＸの画像データに対して強い量子化を行い、３ＸＸの画像データよりも２ＸＸの画像データの圧縮率を高くする。同様に、２ＸＸの画像データよりも１ＸＸの画像データに対して強い量子化を行い、２ＸＸの画像データよりも１ＸＸの画像データの圧縮率を高くする。量子化は、不可逆圧縮で行うため、可逆圧縮よりも圧縮率に大きく影響することになる。なお、図１２に示す量子化は、一例であり、各画像に対して行う量子化は特に限定せず、任意の量子化を行うことができる。

図１４は、量子化を行った画像データを圧縮した画像データのデータサイズの一例を示し、図１４の（a）は、量子化をしていない画像データのデータサイズ例を示し、図１４の（b）は、高画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（c）は、中画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（d）は、低画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（e）は、超低画質に量子化した場合の画像データのデータサイズ例を示す。画像データのデータサイズは、図１４に示すように、データサイズが大きい順に、高画質→中画質→低画質→超低画質となる。なお、図１４では、３ＬＬ、３ＸＸに対しては量子化を行わず、２ＸＸ、１ＸＸに対して量子化を行った場合の例を示したが、３ＬＬ、３ＸＸに対しても量子化を行うことも可能である。また、図１４に示すデータサイズは、一例であり、このデータサイズに限定するものではない。また、圧縮方法は、特に限定せず、公知の様々な圧縮手法が適用可能である。

サーバ装置100'は、図１４の（b）〜（e）に示す画像データを、クライアント端末200-1'に送信し、クライアント端末200-1'は、サーバ装置100'から受信した画像データの出力制御を行い、画像データを表示部等に出力することになる。

図１１に示すサーバ装置100'は、図１５に示すように、中画質、低画質、超低画質等の画像データ（高画質の画像データよりも画質の低い画像データ）を事前に送信した後に、高画質の画像データを送信していた。

図１５の（a）は、中画質の画像データを送信した後に、高画質の画像データを送信する場合を示し、図１５の（b）は、低画質の画像データを送信した後に、高画質の画像データを送信する場合を示し、図１５の（c）は、超低画質の画像データを送信した後に、高画質の画像データを送信する場合を示す。

高画質の画像データよりも画質の低い画像データ（中画質、低画質、超低画質の画像データ）は、データ量が少ないため、クライアント端末200-1'に早く到達することができる。このため、サーバ装置100'は、高画質の画像データよりも画質の低い画像データをクライアント端末200-1'に事前に送信しておくことで、クライアント端末200-1'において画像データを早く表示することができる。その後、サーバ装置100'は、高画質の画像データをクライアント端末200-1'に送信することで、クライアント端末200-1'で表示している画像データを高画質な画像データに変更することができる。

しかし、図１１に示すサーバ装置100'は、図１５に示すように、中画質、低画質、超低画質等の画像データ（高画質の画像データよりも画質の低い画像データ）を送信した後に、高画質の画像データを構成する全ての画像データを送信していた。

図１５に示すように、高画質の画像データを構成する全ての画像データを送信する場合は、クライアント端末200-1'に送信する画像データのデータ量が大きくなり、ネットワークNWに負荷を与え、画像データの送信に時間がかかってしまう虞がある。

また、クライアント端末１台当たりの送信ビットレートは予め定められているため、高画質の画像データを構成する全ての画像データを送信する場合は、その画像データに割り当てる割当ビット数が少なくなり、画像データの画質が劣化してしまう虞がある。

このため、クライアント端末200-1'に送信する画像データのデータ量を低減することが所望されているのが現状である。

なお、本発明より先に出願された技術文献として、シンクライアント側で高画質な画面を得るために、所定の差分以上の差分がある画面ブロックが多いために劣化した状態で送信された画面をシンクライアント側に高画質に送信しなおすことを可能にする技術について開示された文献がある（例えば、特許文献１参照）。

上記特許文献１では、第１の画面フレームに含まれる複数のブロックの各々について、第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量以上の差分があるか否かを検出する差分検出手段と、差分検出手段の検出結果が肯定的であるブロックのデータを送信する送信手段と、第１の画面フレームが差分検出手段による検出にかけられる前に、第１の画面フレームに含まれる或るブロックと、第２の画面フレームに含まれ、或るブロックと対応する位置にあるブロックとの間で所定量以上の差分が発生するように、第１の画面フレームに含まれる或るブロックの少なくとも１つの画素のレベルを変更する画素レベル変更手段と、を備えることにしている。

特開２００９−２２４８４７号公報

上記特許文献１の発明は、シンクライアント側で高画質な画面を得ることができる。しかし、上記特許文献１の発明は、所定の差分以上の差分がある画面ブロックが多いために劣化した状態で送信された画面をシンクライアント側に高画質に送信しなおすため、ネットワークNWに負荷を与えてしまうことになる。

本発明は、上記事情に鑑みてなされたものであり、ネットワークに負荷をかけずに、クライアント端末側で高画質な画像データを出力することが可能なサーバ装置、クライアント端末、通信システム、制御方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

＜サーバ装置＞
本発明にかかるサーバ装置は、
画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置であって、
第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信手段を有することを特徴とする。

＜クライアント端末＞
本発明にかかるクライアント端末は、
画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末であって、
サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
前記復号化画像データを格納する表示バッファと、
前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
前記復号化手段は、
復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする。

＜通信システム＞
本発明にかかる通信システムは、
サーバ装置と、クライアント端末と、がネットワークを介して接続して構成する通信システムであって、
前記サーバ装置は、
画像データを符号化した符号化画像データをクライアント端末に向けて送信する通信手段を有し、
前記通信手段は、
第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信し、
前記クライアント端末は、
前記符号化画像データを前記サーバ装置から受信する通信手段と、
前記サーバ装置から受信した前記符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
前記復号化画像データを格納する表示バッファと、
記憶手段と、
前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
前記復号化手段は、
前記第１の符号化画像データを前記通信手段が受信した場合に、前記第１の符号化画像データに対し、復号化を行い、第１の復号化画像データを前記表示バッファに格納すると共に、前記第１の符号化画像データに対して途中まで復号化を行った復号化途中段階の復号化画像データを前記記憶手段に蓄積し、
前記第２の符号化画像データを構成する一部の画像データを前記通信手段が受信した場合に、該受信した一部の画像データに応じた復号化途中段階の復号化画像データを前記記憶手段から読み出し、該読み出した復号化途中段階の復号化画像データを構成する一部の画像データを、前記通信手段が受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする。

本発明にかかる通信システムは、
サーバ装置と、クライアント端末と、がネットワークを介して接続して構成する通信システムであって、
前記クライアント端末は、
画像データを符号化した符号化画像データを前記サーバ装置から受信する通信手段と、
前記サーバ装置から受信した前記符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
前記復号化画像データを格納する表示バッファと、
前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
前記復号化手段は、
復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする。

＜制御方法＞
本発明にかかる制御方法は、
画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置で行う制御方法であって、
第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信工程を有することを特徴とする。

本発明にかかる制御方法は、
画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末で行う制御方法であって、
サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成し、該生成した復号化画像データを表示バッファに格納する復号化工程と、
前記表示バッファに格納された前記復号化画像データを出力制御する出力制御工程と、を有し、
前記復号化工程は、
復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする。

＜プログラム＞
本発明にかかるプログラムは、
画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置に実行させるプログラムであって、
第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信処理を、コンピュータに実行させることを特徴とする。

本発明にかかるプログラムは、
画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末に実行させるプログラムであって、
サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成し、該生成した復号化画像データを表示バッファに格納する復号化処理と、
前記表示バッファに格納された前記復号化画像データを出力制御する出力制御処理と、をコンピュータに実行させ、
前記復号化処理は、
復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする。

本発明によれば、ネットワークに負荷をかけずに、クライアント端末側で画像データを出力することができる。

本実施形態のシンクライアントシステムのシステム構成例を示す図である。 シンクライアントシステムを構成するサーバ装置100及びクライアント端末200-1の内部構成例を示す図である。 本実施形態のシンクライアントシステムにおける一連の処理動作例を説明するための図であり、サーバ装置100側の処理動作例を示す図である。 本実施形態のシンクライアントシステムにおける一連の処理動作例を説明するための図であり、クライアント端末200-1側の処理動作例を示す図である。 サーバ装置100からクライアント端末200-1に画像データを送信する際の第１の例を示す図である。 サーバ装置100からクライアント端末200-1に画像データを送信する際の第２の例を示す図である。 サーバ装置100からクライアント端末200-1に画像データを送信する際の第３の例を示す図である。 第２の実施形態のクライアント端末200-1で行う処理動作例を示す第１の図である。 第２の実施形態のクライアント端末200-1で行う処理動作例を示す第２の図である。 第２の実施形態のクライアント端末200-1で行う処理動作例を示す第３の図である。 本発明と関連するシンクライアントシステムのシステム構成例を示す図である。 周波数変換及び量子化の処理動作例を示す図である。 周波数変換の処理動作例を示す図である。 量子化の処理動作例を示す図である。 サーバ装置100'からクライアント端末200-1'に画像データを送信する際の例を示す図である。

＜本実施形態のシンクライアントシステムの概要＞
まず、図１、図２を参照しながら、本実施形態のシンクライアントシステムの概要について説明する。

本実施形態のシンクライアントシステムは、サーバ装置100と、クライアント端末200-1〜N（Nは、任意の整数）と、がネットワークNWを介して接続して構成している。

本実施形態のサーバ装置100は、図２に示すように、画像データを符号化した符号化画像データをクライアント端末200-1に向けて送信する通信部30を有し、通信部30は、第１の符号化画像データを送信した後に、第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、第２の符号化画像データを構成する複数の画像データの中で、第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する。これにより、サーバ装置100からクライアント端末200-1に送信する画像データのデータ量を低減することができる。

なお、本実施形態の第１のクライアント端末200-1は、図２に示すように、符号化画像データをサーバ装置100から受信する通信部70と、サーバ装置100から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化部61と、復号化画像データを格納する表示バッファ51と、記憶部50と、表示バッファ51に格納された復号化画像データを出力制御する出力制御部62と、を有し、復号化部61は、第１の符号化画像データを通信部70が受信した場合に、第１の符号化画像データに対し、復号化を行い、第１の復号化画像データを表示バッファ51に格納すると共に、第１の符号化画像データに対して途中まで復号化を行った復号化途中段階の復号化画像データを記憶部50に蓄積する。

また、復号化部61は、第２の符号化画像データを構成する一部の画像データを通信部70が受信した場合に、該受信した一部の画像データに応じた復号化途中段階の復号化画像データを記憶部50から読み出し、該読み出した復号化途中段階の復号化画像データを構成する一部の画像データを、通信部70が受信した一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを表示バッファ51に格納する。これにより、出力制御部62は、表示バッファ51に格納された差し替え後の復号化画像データ（高画質な画像データ）を出力制御することになる。その結果、ネットワークNWに負荷をかけずに、クライアント端末200-1側で高画質な画像データを出力することができる。

また、本実施形態の第２のクライアント端末200-1は、画像データを符号化した符号化画像データをサーバ装置100から受信する通信部70と、サーバ装置100から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化部61と、復号化画像データを格納する表示バッファ51と、表示バッファ51に格納された復号化画像データを出力制御する出力制御部62と、を有し、復号化部61は、復号化画像データを構成する一部の画像データを通信部70が受信した場合に、表示バッファ51に格納されている復号化画像データを基に、一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、サーバ装置100から受信した一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを表示バッファ51に格納する。これにより、出力制御部62は、表示バッファ51に格納された差し替え後の復号化画像データ（高画質な画像データ）を出力制御することになる。その結果、ネットワークNWに負荷をかけずに、クライアント端末200-1側で高画質な画像データを出力することができる。また、第２のクライアント端末200-1は、第１のクライアント端末200-1のように、第１の符号化画像データに対して途中まで復号化を行った復号化途中段階の復号化画像データを記憶部50に蓄積する必要がないため、記憶部50のメモリ容量を低減することができる。以下、添付図面を参照しながら、本実施形態のシンクライアントシステムについて詳細に説明する。

（第１の実施形態）
＜シンクライアントシステムのシステム構成例＞
まず、図１を参照しながら、本実施形態のシンクライアントシステムのシステム構成例について説明する。

本実施形態のシンクライアントシステムは、サーバ装置100と、クライアント端末200-1〜N（Nは、任意の整数）と、がネットワークNWを介して接続して構成している。

サーバ装置100は、サーバ装置100で管理する各種情報をクライアント端末200-1〜Nに送信する装置である。

クライアント端末200-1〜Nは、サーバ装置100から送られてきた各種情報を受信し、該受信した情報をクライアント端末200-1〜Nの画面等に表示する装置である。

＜サーバ装置100の内部構成例＞
次に、図２を参照しながら、本実施形態のサーバ装置100の内部構成例について説明する。

本実施形態のサーバ装置100は、記憶部10と、制御部20と、通信部30と、を有して構成する。

記憶部10は、各種情報を記憶する。制御部20は、符号化対象となる映像信号を符号化対象画像データとして記憶部10に記憶する。例えば、図示しないコンピュータのディスプレイ画面のカラー映像信号をアナログキャプチャあるいはディジタルキャプチャし、そのキャプチャした１画面分の映像信号を符号化対象画像データとして記憶部10に記憶する。また、図示しないコンピュータのディスプレイ画面のカラー映像信号を生成するためにコンピュータ内部に格納している画像情報からデータをキャプチャし、そのキャプチャした１画面分の映像信号を符号化対象画像データとして記憶部10に記憶することも可能である。

制御部20は、サーバ装置100を統括して制御する。本実施形態の制御部20は、周波数変換部21と、量子化部22と、を有して構成する。

周波数変換部21は、記憶部10に記憶された符号化対象画像データに対し、周波数変換を行う。周波数変換部21は、周波数変換を行った周波数変換画像データを記憶部10に記憶する。

量子化部22は、記憶部10に記憶された周波数変換画像データに対し、量子化を行い、周波数変換画像データを符号化した符号化画像データを生成する。

量子化部22は、図１２の（e）に示すように、３ＬＬの画像データに対しては量子化を殆ど行わず、３ＸＸ→２ＸＸ→１ＸＸの順に量子化を強く行うようにしている。これは、３ＬＬの画像データに対して量子化を強く行ってしまうと、画像データの画質への影響が顕著になってしまうためである。

また、量子化部22は、３ＬＬの画像データよりも３ＸＸの画像データに対して強い量子化を行い、３ＬＬの画像データよりも３ＸＸの画像データの圧縮率を高くする。同様に、３ＸＸの画像データよりも２ＸＸの画像データに対して強い量子化を行い、３ＸＸの画像データよりも２ＸＸの画像データの圧縮率を高くする。同様に、２ＸＸの画像データよりも１ＸＸの画像データに対して強い量子化を行い、２ＸＸの画像データよりも１ＸＸの画像データの圧縮率を高くする。量子化は、不可逆圧縮で行うため、可逆圧縮よりも圧縮率に大きく影響することになる。なお、図１２に示す量子化は、一例であり、各画像に対して行う量子化は特に限定せず、任意の量子化を行うことができる。

図１４は、量子化による画像データのデータサイズの一例を示し、図１４の（a）は、量子化しない場合の画像データのデータサイズ例を示し、図１４の（b）は、高画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（c）は、中画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（d）は、低画質に量子化した場合の画像データのデータサイズ例を示し、図１４の（e）は、超低画質に量子化した場合の画像データのデータサイズ例を示す。画像データのデータサイズは、データサイズが大きい順に、高画質→中画質→低画質→超低画質となる。量子化部22は、周波数変換画像データを符号化した符号化画像データを記憶部10に記憶する。なお、図１４では、３ＬＬ、３ＸＸに対しては量子化を行わず、２ＸＸ、１ＸＸに対して量子化を行った場合の例を示したが、３ＬＬ、３ＸＸに対しても量子化を行うことも可能である。また、図１４に示すデータサイズは、一例であり、このデータサイズに限定するものではない。また、圧縮方法は、特に限定せず、公知の様々な圧縮手法が適用可能である。

通信部30は、クライアント端末200-1との間で各種情報の通信制御を行う。例えば、通信部30は、制御部20により符号化した符号化画像データを記憶部10から読み出し、その読み出した符号化画像データをクライアント端末200-1に向けて送信する。

＜クライアント端末200-1の内部構成例＞
次に、図２を参照しながら、本実施形態のクライアント端末200-1の内部構成例について説明する。

本実施形態のクライアント端末200-1は、記憶部50と、制御部60と、通信部70と、表示部80と、を有して構成する。

記憶部50は、各種情報を記憶する。本実施形態の記憶部50は、表示バッファ51を有して構成する。表示バッファ51は、制御部60で復号化処理を行った復号化画像データを記憶するものである。

制御部60は、クライアント端末200-1を統括して制御する。本実施形態の制御部60は、復号化部61と、出力制御部62と、を有して構成する。

復号化部61は、記憶部50に記憶された符号化画像データを復号化する。復号化は、図１２に示す処理を逆の順（e→d→c→b→a）で行い、図１２の（a）に相当する復号化画像データ（元画像データ）を生成する。復号化部61は、図１２の（a）に相当する復号化画像データを表示バッファ51に格納する。

出力制御部62は、表示バッファ51に格納された復号化画像データを読み出し、その読み出した復号化画像データを表示部80等に出力する。なお、出力制御部72は、外部の表示部等に画像データを出力制御することも可能である。

通信部70は、サーバ装置100との間で各種情報の通信制御を行う。例えば、通信部70は、サーバ装置100から受信した符号化画像データを記憶部50に記憶する。

表示部80は、各種情報を表示する。

＜シンクライアントシステムにおける一連の処理動作例＞
次に、図３、図４を参照しながら、本実施形態のシンクライアントシステムにおける一連の処理動作例について説明する。図３は、サーバ装置100側で行う処理動作例を示し、図４は、クライアント端末200-1側で行う処理動作例を示す。

サーバ装置100の制御部20は、符号化対象となる画像データをキャプチャし、そのキャプチャした画像データを符号化対象画像データとして記憶部10に記憶する（ステップA1）。

周波数変換部21は、記憶部10に記憶された符号化対象画像データに対し、周波数変換を行う。本実施形態では、図１２に示すように、周波数変換を３回行うことにする。なお、符号化対象画像データに対し、周波数変換を１回行った状態を図１３に示す。周波数変換部21は、周波数変換を行った図１２の（d）に示す周波数変換画像データを記憶部10に記憶する（ステップA2）。

量子化部22は、記憶部10に記憶された図１２の（d）に示す周波数変換画像データに対し、量子化を行い、図１２の（e）に示すように、周波数変換画像データを符号化した符号化画像データを生成する。量子化は、図１２の（e）に示すように、３ＬＬの画像データに対しては量子化を殆ど行わず、３ＸＸ→２ＸＸ→１ＸＸの順に量子化を強く行うようにする。

また、量子化部22は、３ＬＬの画像データよりも３ＸＸの画像データに対して強い量子化を行い、３ＬＬの画像データよりも３ＸＸの画像データの圧縮率を高くする。同様に、３ＸＸの画像データよりも２ＸＸの画像データに対して強い量子化を行い、３ＸＸの画像データよりも２ＸＸの画像データの圧縮率を高くする。同様に、２ＸＸの画像データよりも１ＸＸの画像データに対して強い量子化を行い、２ＸＸの画像データよりも１ＸＸの画像データの圧縮率を高くする。量子化部22は、図１２の（e）に示す符号化画像データを記憶部10に記憶する（ステップA3）。

通信部30は、符号化画像データを記憶部10から読み出し、その読み出した符号化画像データをクライアント端末200-1に送信する（ステップA4）。

クライアント端末200-1の通信部70は、符号化画像データを受信し、その受信した符号化画像データを記憶部50に記憶する（ステップB1）。

復号化部61は、記憶部50に記憶された符号化画像データを復号化する（ステップB2）。復号化は、図１２に示す処理を逆の順（e→d→c→b→a）で行い、図１２の（a）に相当する復号化画像データを生成する。復号化部61は、図１２の（a）に相当する復号化画像データを表示バッファ51に格納する（ステップB3）。なお、復号化部61は、復号化の途中段階の復号化画像データを記憶部50に記憶する。復号化途中段階の復号化画像データとしては、図１２の（d）、（c）、（b）に相当する画像データである。

出力制御部62は、復号化画像データを表示バッファ51から読み出し、その読み出した復号化画像データを表示部80等に出力する（ステップB4）。

本実施形態のシンクライアントシステムでは、サーバ装置100の通信部30は、図５の（a）に示すように、中画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を事前に送信した後に、高画質の符号化画像データを送信する場合は、高画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を送信するのではなく、図５の（b）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）のみを送信することにしている。

これにより、サーバ装置100からクライアント端末200-1に送信する画像データのデータ量を低減することができる。

クライアント端末200-1の通信部70は、図５の（a）に示すように、中画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を受信した場合に、復号化部61は、その中画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を復号化し、その復号化を行った中画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する中画質の復号化画像データとしては、図１２の（a）に相当する画像データである。また、復号化部61は、復号化途中段階の中画質の復号化画像データを記憶部50に蓄積する。復号化途中段階の中画質の復号化画像データとしては、図１２の（b）、（c）、（d）等に相当する画像データである。出力制御部62は、表示バッファ51に格納された中画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1の通信部70は、図５の（b）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を受信した場合に、復号化部61は、記憶部50に記憶されている復号化途中段階の中画質の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）の中から、クライアント端末200-1が受信した高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）に応じた復号化途中段階の中画質の復号化画像データ（図１２の（b）に相当する画像データ）を記憶部50から読み出し、その読み出した復号化途中段階の中画質の復号化画像データ（図１２の（b）に相当する画像データ）を構成する一部のデータ（１ＸＸ）を、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）に差し替える。そして、復号化部61は、差し替え後の復号化途中段階の復号化画像データを復号化し、高画質の復号化画像データを生成する。復号化部61は、高画質の符号化画像データを表示バッファ51に格納する。

出力制御部62は、表示バッファ51に格納された高画質の復号化画像データを表示部80等に出力する。

これにより、本実施形態のシンクライアントシステムは、ネットワークNWに負荷をかけずに、クライアント端末200-1側で高画質の画像データを出力することができる。

なお、サーバ装置100は、図６に示すように、低画質の符号化画像データを事前に送信した後に、高画質の符号化画像データを送信する場合は、まず、図６の（a）に示すように、低画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を送信する。次に、図６の（b）に示すように、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）を送信する。次に、図６の（c）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を送信する。

この場合、クライアント端末200-1は、図６の（a）に示すように、低画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を受信した場合に、その低画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を復号化し、復号化を行った低画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する低画質の復号化画像データとしては、図１２の（a）に相当する画像データである。また、クライアント端末200-1は、復号化途中段階の低画質の復号化画像データを記憶部50に蓄積する。復号化途中段階の低画質の復号化画像データとしては、図１２の（b）、（c）、（d）等に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された低画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1は、図６の（b）に示すように、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）を受信した場合に、記憶部50に記憶されている復号化途中段階の低画質の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）の中から、クライアント端末200-1が受信した中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）に応じた復号化途中段階の低画質の復号化画像データ（図１２の（c）に相当する画像データ）を記憶部50から読み出し、その読み出した復号化途中段階の低画質の復号化画像データ（図１２の（c）に相当する画像データ）を構成する一部のデータ（２ＸＸ）を、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）に差し替える。そして、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化を行った中画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する中画質の復号化画像データとしては、図１２の（a）に示す画像データである。また、クライアント端末200-1は、復号化途中段階の中画質の復号化画像データを記憶部50に蓄積する。復号化途中段階の中画質の復号化画像データとしては、図１２の（b）、（c）等に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された中画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1は、図６の（c）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を受信した場合に、記憶部50に記憶されている復号化途中段階の中画質の復号化画像データ（図１２の（b）、（c）等に相当する画像データ）の中から、クライアント端末200-1が受信した高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）に応じた復号化途中段階の中画質の復号化画像データ（図１２の（b）に相当する画像データ）を記憶部50から読み出し、その読み出した復号化途中段階の中画質の復号化画像データ（図１２の（b）に相当する画像データ）を構成する一部のデータ（１ＸＸ）を、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）に差し替える。そして、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化を行った高画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する高画質の復号化画像データとしては、図１２の（a）に相当する画像データである。また、クライアント端末200-1は、復号化途中段階の高画質の復号化画像データを記憶部50に蓄積する。復号化途中段階の高画質の復号化画像データとしては、図１２の（b）等に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された高画質の復号化画像データを表示部80等に出力する。

サーバ装置100が低画質の符号化画像データを事前に送信した後に、高画質の符号化画像データを送信した場合は、低画質の画像データと、高画質の画像データと、の画質差が大きくなるため、クライアント端末200-1で画像データを表示した際に、低画質の画像データと、高画質の画像データと、の画質差が顕著に現れてしまい、画像データの平滑性が薄れ、視聴者に違和感を与えてしまう虞がある。

このため、低画質の符号化画像データを事前に送信した後に、中画質の符号化画像データを送信し、次に、高画質の符号化画像データを送信するように制御することで、画像データ間の画質差を低減し、画像データの平滑性を維持し、視聴者に違和感を与えないようにすることができる。

また、サーバ装置100は、図７に示すように、超低画質の符号化画像データを事前に送信した後に、高画質の符号化画像データを送信する場合は、まず、図７の（a）に示すように、超低画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を送信する。次に、図７の（b）に示すように、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）を送信する。次に、図７の（c）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を送信する。

クライアント端末200-1は、サーバ装置100から受信した図７の（a）に示す超低画質の符号化画像データを復号化し、その復号化した超低画質の複合化画像データを表示部80等に表示した後は、上述した図６に示す処理動作とほぼ同様な処理を行い、サーバ装置100から受信した図７の（b）、（c）に示す画像データに応じて、記憶部50に蓄積した復号化途中段階の復号化画像データを読み出し、その読み出した復号化途中段階の復号化画像データを構成する一部の画像データを、サーバ装置100から受信した画像データに差し替え、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化画像データを生成し、その生成した符号化画像データを表示部80等に出力する。

サーバ装置100が超低画質の符号化画像データを送信した後に、高画質の符号化画像データを送信した場合は、超低画質の画像データと、高画質の画像データと、の画質差が大きくなるため、クライアント端末200-1で画像データを表示した際に、低画質の画像データと、高画質の画像データと、の画質差が顕著に現れてしまい、画像データの平滑性が薄れ、視聴者に違和感を与えてしまうことになる。

このため、超低画質の符号化画像データを送信した後に、中画質の符号化画像データを送信し、次に、高画質の符号化画像データを送信するように制御することで、画像データ間の画質差を低減し、画像データの平滑性を維持し、視聴者に違和感を与えないようにすることができる。

なお、図７では、超低画質→中画質→高画質の順で画像データをクライアント端末200-1に送信することにした。しかし、超低画質→低画質→高画質の順で画像データをクライアント端末200-1に送信することも可能である。また、超低画質→低画質→中画質→高画質の順で画像データをクライアント端末200-1に送信することも可能である。

また、図６、図７では、図６、図７の（b）に示すように、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）を送信し、次に、図６、図７の（c）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を送信することにした。しかし、サーバ装置100とクライアント端末200-1との間の帯域が十分確保されており、図６、図７の（b）に示す２ＸＸの画像データと、図６、図７の（c）に示す１ＸＸの画像データと、を同時に送信することが可能な帯域が存在する場合は、その２ＸＸの画像データと、１ＸＸの画像データと、を同時にクライアント端末200-1に向けて送信するように制御することも可能である。

＜本実施形態のシンクライアントシステムの作用・効果＞
このように、本実施形態のシンクライアントシステムでは、サーバ装置100は、第１の符号化画像データ（例えば、低画質または中画質の画像データ）を送信した後に、第１の符号化画像データよりも高画質な第２の符号化画像データ（高画質の画像データ）を送信する場合は、第２の符号化画像データ（高画質の画像データ）を構成する複数の画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）の中で、第１の符号化画像データを構成する画像データと異なる部分の画像データ（１ＸＸ）を送信する。これにより、サーバ装置100からクライアント端末200-1に送信する画像データのデータ量を低減することができる。その結果、ネットワークNWに負荷をかけずに、クライアント端末200-1側で高画質な画像データを出力することができる。

また、第１の符号化画像データよりも高画質であり、且つ、第２の符号化画像データよりも低画質な第３の符号化画像データが存在する場合（例えば、第１の符号化画像データが低画質の画像データであり、第２の符号化画像データが高画質の画像データであり、第３の符号化画像データが中画質の画像データである場合）は、第３の符号化画像データ（中画質の画像データ）を構成する複数の画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）の中で、第１の符号化画像データ(低画質の画像データ)と異なる部分の画像データ（２ＸＸ）を送信し、次に、第２の符号化画像データ（高画質の画像データ）を構成する複数の画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）の中で、第１の符号化画像データ（低画質の画像データ）及び第３の符号化画像データ（２ＸＸ）を構成する画像データと異なる部分の画像データ（１ＸＸ）を送信する。これにより、クライアント端末200-1側で表示する画像データ間の画質差を低減し、画像データの平滑性を維持し、視聴者に違和感を与えないようにすることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。

第１の実施形態では、クライアント端末200-1は、復号化途中段階の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）を記憶部50に蓄積しておく。そして、クライアント端末200-1は、符号化画像データを構成する一部の画像データ（例えば、１ＸＸ）をサーバ装置100から受信した場合に、記憶部50に蓄積した復号化途中段階の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）の中から、サーバ装置100から受信した画像データ（１ＸＸ）に応じた復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を記憶部50から読み出し、その読み出した復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を構成する一部のデータ（１ＸＸ）を、サーバ装置100から受信した画像データ（１ＸＸ）に差し替える。そして、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化画像データを生成し、その生成した符号化画像データを表示部80等に出力することにした。

しかし、第１の実施形態では、表示バッファ51とは別に、復号化途中段階の復号化画像データを記憶部50に記憶しておく必要があり、クライアント端末200-1側の記憶部50のメモリ容量を多く使用する必要がある。また、復号化途中段階の復号化画像データを記憶部50に蓄積して管理するため、データ管理が複雑になってしまう。

特に、特許文献１（特開２００９−２２４８４７号公報）のように、サーバ装置100が差分データをクライアント端末200-1に送信し、クライアント端末200-1は、その差分データを基に、画像データを出力制御する場合には、クライアント端末200-1は、サーバ装置100から受信した過去の画像データを記憶部50に蓄積して管理すると共に、サーバ装置100から受信して復号化した復号化途中段階の復号化画像データを記憶部50に蓄積して管理する必要がある。このため、データ管理が複雑になってしまうことになる。また、差分データと、記憶部50に蓄積して管理したデータと、を基に画像データを出力する場合には、複雑な出力制御を行う必要がある。

第２の実施形態では、クライアント端末200-1は、符号化画像データを構成する一部の画像データ（例えば、１ＸＸ）をサーバ装置100から受信した場合に、表示バッファ51に格納した復号化画像データを基に、サーバ装置100から受信した一部の画像データ（１ＸＸ）に応じた復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を生成する。そして、その生成した復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を構成する一部のデータ（１ＸＸ）を、サーバ装置100から受信した画像データ（１ＸＸ）に差し替える。そして、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化画像データを生成し、その生成した符号化画像データを表示部80等に出力する。

これにより、復号化途中段階の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）を記憶部50に蓄積しておく必要がないため、記憶部50のメモリ容量を低減することができる。また、複雑なデータ管理や複雑な出力制御をしなくとも、サーバ装置100から受信した一部の画像データを基に、復号化画像データを容易に生成することができる。以下、図８〜図１０を参照しながら、第２の実施形態について説明する。なお、第２の実施形態のシンクライアントシステムは、第１の実施形態と同様に構成するため、一連の処理動作例についてのみ説明する。

サーバ装置100は、図５の（a）に示すように、中画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を事前に送信した後に、高画質の符号化画像データを送信する場合は、図５の（b）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）のみを送信する。

クライアント端末200-1の通信部70は、図５の（a）に示すように、中画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を受信した場合に、復号化部61は、その中画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を復号化し、復号化を行った中画質の復号化画像データを表示バッファ51に記憶する。表示バッファ51に記憶する中画質の復号化画像データとしては、図１２の（a）に相当する画像データである。出力制御部62は、表示バッファ51に記憶された中画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1の通信部70は、図５の（b）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を受信した場合に、復号化部61は、表示バッファ51に記憶された中画質の復号化画像データに対し、周波数変換を１回行い、図８の（b）に示す復号化途中段階の中画質の復号化画像データを生成する。図８の（b）に示す復号化途中段階の中画質の復号化画像データは、低周波数成分の領域の画像データ１ＬＬと、高周波数成分の領域の画像データ１ＸＸと、で構成する。復号化部61は、図８の（b）に示す復号化途中段階の中画質の復号化画像データを構成する高周波数成分の領域の画像データ１ＸＸを、サーバ装置100から受信した高画質の画像データ（１ＸＸ）に差し替え、図８の（c）に示す差し替え後の復号化途中段階の復号化画像データを生成する。そして、復号化部61は、図８の（c）に示す差し替え後の復号化途中段階の復号化画像データを復号化し、高画質の復号化画像データを生成し、その生成した高画質の復号化画像データを表示バッファ51に格納する。

出力制御部62は、表示バッファ51に格納された高画質の画像データを表示部80等に出力する。

これにより、クライアント端末200-1は、復号化途中段階の復号化画像データ（図１２の（b）、（c）、（d）等に相当する画像データ）を記憶部50に蓄積しておく必要がないため、記憶部50のメモリ容量を低減することができる。また、複雑なデータ管理をしなくとも、サーバ装置100から受信した一部の画像データを基に、復号化画像データを生成することができる。

なお、サーバ装置100は、図６に示すように、低画質の符号化画像データを送信した後に、高画質の符号化画像データを送信する場合は、まず、図６の（a）に示すように、低画質の符号化画像データを構成する全ての画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を送信する。次に、図６の（b）に示すように、中画質の符号化画像データを構成する一部のデータ（２ＸＸ）を送信する。次に、図６の（c）に示すように、高画質の符号化画像データを構成する一部のデータ（１ＸＸ）を送信する。

この場合、クライアント端末200-1は、図６の（a）に示すように、低画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を受信した場合に、その低画質の符号化画像データ（３ＬＬ、３ＸＸ、２ＸＸ、１ＸＸ）を復号化し、復号化を行った低画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する低画質の復号化画像データとしては、図１２の（a）に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された低画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1は、図６の（b）に示すように、中画質の符号化画像データを構成する一部の画像データ（２ＸＸ）を受信した場合に、復号化部61は、表示バッファ51に記憶された低画質の復号化画像データに対し、周波数変換を２回行い、図９の（c）に示す復号化途中段階の低画質の復号化画像データを生成する。図９の（c）に示す復号化途中段階の低画質の復号化画像データは、高周波数成分の領域の画像データ１ＸＸと、低周波数成分の領域の画像データ２ＬＬと、高周波数成分の領域の画像データ２ＸＸと、で構成する。低周波数成分の領域の画像データ２ＬＬと、高周波数成分の領域の画像データ２ＸＸと、は、図９の（b）に示す低周波数成分の領域の画像データ１ＬＬに対し、周波数変換を行ったものである。復号化部61は、図９の（c）に示す復号化途中段階の低画質の復号化画像データを構成する高周波数成分の領域の画像データ２ＸＸを、サーバ装置100から受信した中画質の画像データ（２ＸＸ）に差し替え、図９の（d）に示す差し替え後の復号化途中段階の復号化画像データを生成する。そして、復号化部61は、図９の（d）に示す差し替え後の復号化途中段階の復号化画像データを復号化し、中画質の復号化画像データを生成し、その生成した高画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する中画質の復号化画像データとしては、図１２の（a）に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された中画質の復号化画像データを表示部80等に出力する。

また、クライアント端末200-1は、図６の（c）に示すように、高画質の符号化画像データを構成する一部の画像データ（１ＸＸ）を受信した場合に、復号化部61は、表示バッファ51に記憶された中画質の復号化画像データに対し、周波数変換を１回行い、図８の（b）に示す復号化途中段階の中画質の復号化画像データを生成する。図８の（b）に示す復号化途中段階の中画質の復号化画像データは、高周波数成分の領域の画像データ１ＸＸと、低周波数成分の領域の画像データ１ＬＬと、で構成する。復号化部61は、図８の（b）に示す復号化途中段階の中画質の復号化画像データを構成する高周波数成分の領域の画像データ１ＸＸを、サーバ装置100から受信した高画質の画像データ（１ＸＸ）に差し替え、図８の（c）に示す差し替え後の復号化途中段階の復号化画像データを生成する。そして、復号化部61は、図８の（c）に示す差し替え後の復号化途中段階の復号化画像データを復号化し、高画質の復号化画像データを生成し、その生成した高画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する高画質の復号化画像データとしては、図１２の（a）に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された高画質の復号化画像データを表示部80等に出力する。

なお、サーバ装置100が図６の（b）に示す２ＸＸのデータと、図６の（c）に示す１ＸＸのデータと、を同時にクライアント端末200-1に送信し、クライアント端末200-1が図６の（b）に示す２ＸＸのデータと、図６の（c）に示す１ＸＸのデータと、を同時に受信した場合は、復号化部61は、表示バッファ51に記憶された低画質の復号化画像データに対し、周波数変換を２回行い、図１０の（c）に示す復号化途中段階の低画質の復号化画像データを生成する。図１０の（c）に示す復号化途中段階の低画質の復号化画像データは、高周波数成分の領域の画像データ１ＸＸと、低周波数成分の領域の画像データ２ＬＬと、高周波数成分の領域の画像データ２ＸＸと、で構成する。低周波数成分の領域の画像データ２ＬＬと、高周波数成分の領域の画像データ２ＸＸと、は、低周波数成分の領域の画像データ１ＬＬに対し、周波数変換を行ったものである。復号化部61は、図１０の（c）に示す復号化途中段階の低画質の復号化画像データを構成する高周波数成分の領域の画像データ２ＸＸを、サーバ装置100から受信した中画質の画像データ（２ＸＸ）に差し替えると共に、高周波数成分の領域の画像データ１ＸＸを、サーバ装置100から受信した高画質の画像データ（１ＸＸ）に差し替え、図１０の（d）に示す差し替え後の復号化途中段階の復号化画像データを生成する。そして、復号化部61は、図１０の（d）に示す差し替え後の復号化途中段階の復号化画像データを復号化し、高画質の復号化画像データを生成し、その生成した高画質の復号化画像データを表示バッファ51に格納する。表示バッファ51に格納する高画質の復号化画像データとしては、図１２の（a）に相当する画像データである。クライアント端末200-1は、表示バッファ51に格納された高画質の復号化画像データを表示部80等に出力する。

＜本実施形態のシンクライアントシステムの作用・効果＞
このように、本実施形態のシンクライアントシステムでは、クライアント端末200-1は、符号化画像データを構成する一部の画像データ（例えば、１ＸＸ）をサーバ装置100から受信した場合に、表示バッファ51に格納されている復号化画像データを基に、サーバ装置100から受信した一部の画像データ（１ＸＸ）に応じた復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を生成する。そして、その生成した復号化途中段階の復号化画像データ（図１２の（b）に相当する画像データ）を構成する一部のデータ（１ＸＸ）を、サーバ装置100から受信した画像データ（１ＸＸ）に差し替える。そして、その差し替え後の復号化途中段階の復号化画像データを復号化し、復号化画像データを生成し、その生成した符号化画像データを表示部80等に出力する。

これにより、クライアント端末200-1は、復号化途中段階の復号化画像データ（図１２の（b）、（c）、（d）に相当する画像データ）を記憶部50に蓄積しておく必要がないため、記憶部50のメモリ容量を低減することができる。また、複雑なデータ管理をしなくとも、サーバ装置100から受信した一部の画像データを基に、復号化画像データを生成することができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した実施形態では、クライアント端末200-1側で表示する１画面全体の画像データを高画質化することを前提として説明した。しかし、クライアント端末200-1側で表示する１画面内の一部のエリア（例えば、256ドット×256ドットのエリア）を順次、高画質化していき、最終的に１画面全体の画像データを高画質化することも可能である。この場合、サーバ装置100は、クライアント端末200-1側で表示する１画面全体の画像データの中で、高画質化したエリア（高画質化済エリア）と、高画質化していないエリア（未高画質化エリア）と、を管理し、サーバ装置100は、未高画質化エリアの画像データをクライアント端末200-1側に順次送信し、クライアント端末200-1側で表示する未高画質化エリアの画像データを順次、高画質化していき、最終的に１画面全体の画像データを高画質化することになる。なお、サーバ装置100からクライアント端末200-1に送信する画像データには、その画像データを表示するエリアを特定するための表示情報が含まれているため、クライアント端末200-1は、画像データに含まれる表示情報を基に、画像データを表示するエリアを特定し、その特定したエリアに画像データを表示することができる。

また、上述した本実施形態におけるシンクライアントシステムを構成する各装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやROM（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー（登録商標）ディスク、CD-ROM（Compact Disc Read Only Memory）、MO（Magneto optical）ディスク、DVD（Digital Versatile Disc）、ブルーレイディスク、磁気ディスク、半導体メモリなどが挙げられる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。

また、本実施形態におけるサーバ装置100及びクライアント端末200-1〜Nは、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明は、データ転送サービスに適用可能である。

１００ サーバ装置
２００−１〜Ｎ クライアント端末
ＮＷ ネットワーク
１０ 記憶部
２０ 制御部
２１ 周波数変換部
２２ 量子化部
３０ 通信部
５０ 記憶部
５１ 表示バッファ
６０ 制御部
６１ 復号化部
６２ 出力制御部
７０ 通信部
８０ 表示部

Claims (13)

1. 画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置であって、
   第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信手段を有することを特徴とするサーバ装置。
2. 画像データに対し、周波数変換を複数回行い、周波数変換画像データを生成する周波数変換手段と、
   前記周波数変換画像データを構成する一部の画像データに対し、量子化を行い、前記符号化画像データを生成する量子化手段と、を有し、
   前記通信手段は、
   前記量子化手段により生成した前記第１の符号化画像データを送信した後に、前記量子化手段により生成した前記第２の符号化画像データを送信する場合に、前記量子化手段により量子化した部分の画像データを送信することを特徴とする請求項１記載のサーバ装置。
3. 前記第１の符号化画像データよりも高画質であり、且つ、前記第２の符号化画像データよりも低画質な第３の符号化画像データが存在する場合は、
   前記通信手段は、
   前記第３の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データと異なる部分の第１の画像データを送信し、次に、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データ及び前記第３の符号化画像データを構成する画像データと異なる部分の第２の画像データを送信することを特徴とする請求項１または２記載のサーバ装置。
4. 前記通信手段は、
   前記第１の画像データと、前記第２の画像データと、を同時に送信することが可能な帯域が存在する場合は、前記第１の画像データと、前記第２の画像データと、を同時に送信することを特徴とする請求項３記載のサーバ装置。
5. 前記周波数変換手段は、
   画像データに対し、１回目の周波数変換を行い、第１の低周波数成分の画像データと、第１の高周波数成分の画像データと、で構成する第１の周波数変換画像データを生成する第１の変換手段と、
   前記第１の低周波数成分の画像データに対し、２回目の周波数変換を行い、第２の低周波数成分の画像データと、第２の高周波数成分の画像データと、前記第１の高周波数成分の画像データと、で構成する第２の周波数変換画像データを生成する第２の変換手段と、
   前記第２の低周波数成分の画像データに対し、３回目の周波数変換を行い、第３の低周波数成分の画像データと、第３の高周波数成分の画像データと、前記第２の高周波数成分の画像データと、前記第１の高周波数成分の画像データと、で構成する第３の周波数変換画像データを生成する第３の変換手段と、を少なくとも有し、
   前記量子化手段は、
   前記第３の周波数変換画像データを構成する前記第２の高周波数成分の画像データと、前記第３の高周波数成分の画像データと、に対し、量子化を行い、前記符号化画像データを生成し、
   前記通信手段は、
   前記第１の符号化画像データを送信する場合は、前記第３の低周波成分の画像データと、前記第３の高周波数成分の画像データと、前記量子化手段により量子化した前記第２の高周波数成分の画像データと、前記量子化手段により量子化した前記第１の高周波数成分の画像データと、を送信し、
   前記第１のデータを送信する場合は、前記量子化手段により量子化した前記第２の高周波数成分の画像データを少なくとも送信し、
   前記第２のデータを送信する場合は、前記量子化手段により量子化した前記第１の高周波数成分の画像データを少なくとも送信することを特徴とする請求項３または４記載のサーバ装置。
6. 画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末であって、
   サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
   前記復号化画像データを格納する表示バッファと、
   前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
   前記復号化手段は、
   復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とするクライアント端末。
7. 前記復号化手段は、
   前記表示バッファに格納されている前記復号化画像データに対し、前記一部の画像データのデータ種別に応じた回数の周波数変換を行い、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成することを特徴とする請求項６記載のクライアント端末。
8. サーバ装置と、クライアント端末と、がネットワークを介して接続して構成する通信システムであって、
   前記サーバ装置は、
   画像データを符号化した符号化画像データをクライアント端末に向けて送信する通信手段を有し、
   前記通信手段は、
   第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信し、
   前記クライアント端末は、
   前記符号化画像データを前記サーバ装置から受信する通信手段と、
   前記サーバ装置から受信した前記符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
   前記復号化画像データを格納する表示バッファと、
   記憶手段と、
   前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
   前記復号化手段は、
   前記第１の符号化画像データを前記通信手段が受信した場合に、前記第１の符号化画像データに対し、復号化を行い、第１の復号化画像データを前記表示バッファに格納すると共に、前記第１の符号化画像データに対して途中まで復号化を行った復号化途中段階の復号化画像データを前記記憶手段に蓄積し、
   前記第２の符号化画像データを構成する一部の画像データを前記通信手段が受信した場合に、該受信した一部の画像データに応じた復号化途中段階の復号化画像データを前記記憶手段から読み出し、該読み出した復号化途中段階の復号化画像データを構成する一部の画像データを、前記通信手段が受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする通信システム。
9. サーバ装置と、クライアント端末と、がネットワークを介して接続して構成する通信システムであって、
   前記クライアント端末は、
   画像データを符号化した符号化画像データを前記サーバ装置から受信する通信手段と、
   前記サーバ装置から受信した前記符号化画像データに対し、復号化を行い、復号化画像データを生成する復号化手段と、
   前記復号化画像データを格納する表示バッファと、
   前記表示バッファに格納された前記復号化画像データを出力制御する出力制御手段と、を有し、
   前記復号化手段は、
   復号化画像データを構成する一部の画像データを前記通信手段が受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする通信システム。
10. 画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置で行う制御方法であって、
    第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信工程を有することを特徴とする制御方法。
11. 画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末で行う制御方法であって、
    サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成し、該生成した復号化画像データを表示バッファに格納する復号化工程と、
    前記表示バッファに格納された前記復号化画像データを出力制御する出力制御工程と、を有し、
    前記復号化工程は、
    復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とする制御方法。
12. 画像データを符号化した符号化画像データをクライアント端末に向けて送信するサーバ装置に実行させるプログラムであって、
    第１の符号化画像データを送信した後に、前記第１の符号化画像データよりも高画質な第２の符号化画像データを送信する場合は、前記第２の符号化画像データを構成する複数の画像データの中で、前記第１の符号化画像データを構成する画像データと異なる部分の画像データを送信する通信処理を、コンピュータに実行させることを特徴とするプログラム。
13. 画像データを符号化した符号化画像データをサーバ装置から受信するクライアント端末に実行させるプログラムであって、
    サーバ装置から受信した符号化画像データに対し、復号化を行い、復号化画像データを生成し、該生成した復号化画像データを表示バッファに格納する復号化処理と、
    前記表示バッファに格納された前記復号化画像データを出力制御する出力制御処理と、をコンピュータに実行させ、
    前記復号化処理は、
    復号化画像データを構成する一部の画像データを受信した場合に、前記表示バッファに格納されている前記復号化画像データを基に、前記一部の画像データに応じた復号化途中段階の復号化画像データを生成し、該生成した復号化途中段階の復号化画像データを構成する一部の画像データを、前記サーバ装置から受信した前記一部の画像データに差し替え、該差し替え後の復号化途中段階の画像データを復号化し、差し替え後の復号化画像データを生成し、該差し替え後の復号化画像データを前記表示バッファに格納することを特徴とするプログラム。

Images