JP2011203881A - サーバクライアントシステム、サーバ装置、および、プログラム - Google Patents

Abstract

【課題】サーバ装置から表示データを受信するクライアント装置側における当該表示データの実際の表示状態に応じて、サーバ装置から送出する表示データに係るデータ量を調節するサーバクライアントシステムを提供する。
【解決手段】サーバクライアントシステムは、表示データを符号化して送信するサーバ装置と、前記表示データを受信して画面中のアプリケーション表示領域に表示するクライアント装置とからなるサーバクライアントシステムであって、前記サーバ装置は、表示データのビットレートを、前記アプリケーション表示領域の表示の状態に対応するビットレートに変更することを特徴とする。
【選択図】図２

Description

本発明は、サーバ装置において生成された表示データを、ネットワークを介してクライアント装置にて表示させるサーバクライアントシステムに関する。

近年、サーバ装置において生成された表示データをクライアント装置へネットワークを介して送信し、クライアント装置の表示画面に当該表示データを表示させるサーバクライアントシステムが普及している。

上述のようなサーバクライアントシステムでは、クライアント装置で起動するクライアントソフトウェアのアプリケーション表示領域（以下、ウインドウという。）に、サーバ装置において生成された表示データを表示させている。

また、クライアント装置を操作するユーザーは、ウインドウ内に表示されている表示データ上で、サーバ装置をリモート操作することができる。

特許文献１、特許文献２、特許文献３、特許文献４には、サーバ装置において生成された表示データをクライアント装置へ送信し、クライアント装置の表示画面に表示データを表示させるサーバクライアントシステムが開示されている。

特開２００７−２６５２０９号公報 特開２００７−２００１４２号公報 特開２００７−２６５２０８号公報 特開２００７−２６５２０７号公報

ところで、一般的にリモート操作中は、サーバ装置の表示データが常にクライアント装置に送信されている。

しかしながら、クライアント装置側で、ユーザーが一時的にサーバ装置の表示データが表示されるウインドウを最小化するなどして、サーバ装置で生成された表示データが、非表示の状態となる場合がある。

このような状態の場合に、通常のリモート操作中の場合と同様のフレームやビットレートで表示データを送信するのを継続するのは、ネットワークの資源を無駄に利用することになり、ネットワークを利用する他のユーザーが快適にネットワーク利用するのを阻害する要因にもなり得る。

さらに、上述の特許文献１〜４のいずれも、クライアント装置側で表示データを表示するウインドウを最小化するなどして非表示となっている状態については、なんら考慮しているものではない。

そこで、本発明は、サーバ装置から表示データを受信するクライアント装置側における当該表示データの実際の表示状態に応じて、サーバ装置から送出する表示データに係るデータ量を調節するサーバクライアントシステムを提供することを目的とする。

本発明の第１のサーバクライアントシステムは、表示データを符号化して送信するサーバ装置と、前記表示データを受信して画面中のアプリケーション表示領域に表示するクライアント装置とからなるサーバクライアントシステムであって、前記サーバ装置は、表示データのビットレートを、前記アプリケーション表示領域の表示の状態に対応するビットレートに変更することを特徴とする。

本発明の第２のサーバクライアントシステムは、表示データを符号化して送信するサーバ装置と、前記表示データを受信して画面中のアプリケーション表示領域に表示するクライアント装置とからなるサーバクライアントシステムであって、前記サーバ装置は、前記アプリケーション表示領域の表示の状態を示す情報を取得するウインドウ情報取得手段と、前記ウインドウ情報取得手段によって取得した前記アプリケーション表示領域の表示の状態を示す情報に対応して、表示データのビットレートを変更するビットレート調整手段とを備えることを特徴とする。

本発明の第３のサーバクライアントシステムは、さらに、前記ウインドウ情報取得手段は、前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を受信する状態変更情報受信手段を備えることを特徴とすることを特徴とする。

本発明の第１のサーバ装置は、表示データを符号化して送信する表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置であって、前記サーバ装置は、表示データのビットレートを、前記アプリケーション表示領域の表示の状態に対応するビットレートに変更することを特徴とする。

本発明の第２のサーバ装置は、表示データを符号化して、前記表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置であって、前記サーバ装置は、前記アプリケーション表示領域の表示の状態を示す情報を取得するウインドウ情報取得手段と、前記ウインドウ情報取得手段によって取得した前記アプリケーション表示領域の表示の状態を示す情報に対応して、表示データのビットレートを変更するビットレート調整手段とを備えることを特徴とする。

本発明の第３のサーバ装置は、さらに、前記ウインドウ情報取得手段は、前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を受信する状態変更情報受信手段を備えることを特徴とすることを特徴とする。

本発明の第１のプログラムは、表示データを符号化して、前記表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置のプログラムであって、前記サーバプログラムは、前記アプリケーション表示領域の表示の状態を示す情報を取得させるウインドウ情報取得ステップと、前記ウインドウ情報取得ステップによって取得された前記アプリケーション表示領域の表示の状態を示す情報に対応して表示データのビットレートを変更させるビットレート調整ステップとを備えることを特徴とする。

本発明の第２のプログラムは、さらに、前記ウインドウ情報取得ステップは、前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を取得させる状態変更情報受信ステップを備えることを特徴とすることを特徴とする。

本発明によれば、サーバ装置から表示データを受信するクライアント装置側における当該表示データの実際の表示状態に応じて、サーバ装置から送出する表示データに係るデータ量を調節するサーバクライアントシステムを提供することができる。

本発明の実施の形態のサーバクライアントシステムを説明するためのブロック図である。 本発明の実施の形態のサーバクライアントシステムの動作を説明するためのフローチャートである。 本発明の実施の形態のサーバクライアントシステムにおけるクライアント装置のウインドウの各状態を説明するための図である。 本発明の実施の形態のサーバクライアントシステムにおけるエンコードパラメータの一例を示すテーブルである。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の実施の形態のサーバクライアントシステムを説明するためのブロック図である。

図１を参照すると、本発明の実施の形態のサーバクライアントシステムでは、サーバ装置１０と、クライアント装置５０とからなる。サーバ装置１０とクライアント装置５０とは、ネットワーク１００を介して接続される。サーバ装置１０は、表示データを生成して、クライアント装置５０にネットワーク１００を介して送信している。

まず、本発明の実施の形態のサーバクライアントシステムの概略を説明すると、サーバ装置１０から受信した表示データを、クライアント装置５０が表示させている状態であるかを、クライアント装置５０が判定する。クライアント装置５０は、判定の結果によって該状態を示す情報をサーバ装置１０に送信し、サーバ装置１０はその情報に基づいて、クライアント装置５０に送出する表示データを生成するための設定情報であるエンコードパラメータを調節する。

例えば、クライアント装置５０が、サーバ装置１０から受信している表示データを、実際には画面に表示させていない状態の場合には、フレームレートやビットレートを落とす。以下、詳細に説明する。

サーバ装置１０は、制御部２０と、表示部３０と、記憶部４０とからなる。

制御部２０は、記録媒体に格納されたプログラムを読み込んで実行することにより、エンコード制御手段２１と、エンコード手段２２と、差分検出手段２３と、送受信手段２４とを、論理的に備える。なお、エンコード制御手段２１と、エンコード手段２２と、差分検出手段２３と、送出手段２４とは、それぞれ専用のハードウェアで実現されていても良い。

表示部３０は、具体的には、映像信号を出力するハードウェアである。

記憶部４０は、具体的には、ハードディスク等の記憶装置が例として挙げられる。

クライアント装置５０は、制御部６０と、操作部７０と、表示部８０と、記憶部９０とからなる。

制御部６０は、記録媒体に格納されたプログラムを読み込んで実行することにより、ウインドウ検出手段６１と、デコード手段６２と、送受信手段６３とを論理的に備える。なお、デコード手段６２と、送受信手段６３とは、それぞれ専用のハードウェアで実現されていても良い。

操作部７０は、クライアント装置５０の入力装置であって、サーバ装置１０を遠隔操作する目的でも用いられる。

表示部８０は、具体的には、映像信号を出力するハードウェアである。

記憶部９０は、具体的には、ハードディスク等の記憶装置が例として挙げられる。

次に、図２を参照して、本発明の実施の形態の動作について説明する。図２は、本発明の実施の形態の動作を説明するためのフローチャートである。

なお、図２のフローチャートは、既にサーバ装置１０とクライアント装置５０とのコネクションが確立して、エンコード手段２２が表示データを生成（エンコード／符号化）し、送受信手段２４が生成した表示データをクライアント装置５０に送信する処理が開始している状態である。

クライアント装置５０の送受信手段６３が、サーバ装置１０から送信された表示データを受信すると、デコード手段６２が、受信した表示データをデコードして、表示部８０を通じて、表示画面（不図示）に表示をしている状態となる。

一般的に、サーバ装置１０が表示データを送出する前には、差分検出手段２３が、表示データ中の、現フレームの画像と１つ前のフレームの画像とを比較して、差分のある部分のみを矩形として抽出して、生成（エンコード）して、送出するといったことが行われている。

図２を参照すると、まずウインドウ検出手段６１が、ウインドウの状態の変更の有無を判定する（ステップＳ１０１）。ウインドウの表示の状態とは、具体的には、クライアント装置５０側で表示データを表示しているウインドウが活性化（アクティブ状態となる）された状態か（以下、アクティブ状態という。）、表示データ中にクライアント装置５０側の表示画面上に、少なくとも表示されている領域が存在する状態（以下、表示状態という。）か、最小化された状態（以下、最小化状態という。）か、それとも、他のウインドウの背面に位置することとなって表示されていない状態か（以下、非表示状態という。）を判断する。

ここで、ウインドウとは、画面全体（一般的にはデスクトップ領域とも呼ばれる）において、アプリケーションに対して与えられる表示領域のことをいう。表示データは、クライアント装置５０の画面上のひとつのウインドウとして表示される。このため、表示データが、他のアプリケーションプログラムのウインドウの背面に隠れたり、最小化することで非表示となるような現象が発生し得る。

より具体的に、それぞれのウインドウの状態を、図３を用いて説明する。最初に、図３（ｅ）は、サーバ装置１０側で表示される画面の状態を示す図である。サーバ装置１０が表示させている図面がクライアント装置５０に、表示データとして送出される。

まず、図３（ａ）が、アクティブ状態の一例を示す図である。図３（ａ）によると、ウインドウＡが活性化された状態である。一般的には、アクティブウインドウになっている状態と言われる。なお、図３の例では、ウインドウＡが、サーバ装置１０が表示する表示データを、クライアント装置５０の画面上のウインドウである。また、ウインドウＢは、クライアント装置５０で実行中のアプリケーションプログラムのウインドウである。ウインドウの表示の状態がアクティブになっているということは、ユーザーがウインドウに着目しているということになる。

次に、図３（ｂ）が、表示状態の一例を示す図である。ウインドウＡは活性化された状態にはなってないが（ウインドウＢが活性化されている）、表示画面上はウインドウＡも表示されている状態である。なお、図３（ｂ）の例のように、ウインドウＡの一部が、ウインドウＢの背面にあって非表示の領域が一部あっても良い。なお、ユーザーが、タスクバーのウインドウＡを示すボタンを、操作部７０を用いてクリックすると、ウインドウＡがアクティブ状態に遷移するようにしても良い。

次に、図３（ｃ）が、最小化状態の一例を示す図である。最小化状態では、ウインドウＡは、デスクトップ領域には表示されておらず、一般にタスクバーと呼ばれる位置にのみウインドウＡの存在が確認できる（目視できる）状態である。なお、ユーザーが、タスクバーのウインドウＡを示すボタンを、操作部７０を用いてクリックすると、ウインドウＡがアクティブ状態に遷移するようにしても良い。

最後に、図３（ｄ）が、非表示状態の一例を示す図である。図３（ｄ）を参照すると、ウインドウＡは、ウインドウＢの背面で、完全に隠れた状態となっており、表示されていない状態である。なお、ユーザーが、タスクバーのウインドウＡを示すボタンを、操作部７０を用いてクリックすると、ウインドウＡがアクティブ状態に遷移するようにしても良い。

ウインドウの状態を示す情報は、サーバ装置１０とクライアント装置５０とのコネクションが確立されてから、記憶部９０に格納され、コネクション確立直後はアクティブ状態となる。

ステップＳ１０１では、記憶部９０に格納されたウインドウの表示の状態を示す情報と、ウインドウ検出手段６１が検出したウインドウの表示の状態を示す情報とを比較し、異なる場合に、ウインドウの状態の変更があったと判定する。

ステップＳ１０１で、ウインドウの表示の状態の変更と判定された場合（ステップＳ１０１／ＹＥＳ）、送受信手段６３は、状態変更を示す通知（以下、状態変更通知という。）を、サーバ装置１０に送信する（ステップＳ１０２）。

このとき、さらにウインドウの表示の状態を示す情報をサーバ装置１０に送信する。

ステップＳ１０２で、状態変更通知が送信されると、送受信手段２５は送信されてきた信号が、状態変更通知であるかを判定する（ステップＳ１０３）。

ステップＳ１０３で受信した信号が状態変更通知である場合（ステップＳ１０３／ＹＥＳ）、エンコード制御手段２１は、エンコードパラメータを変更（設定）する（ステップＳ１０４）。

エンコードのパラメータは、一例として、具体的には、動画のフレームレート、動画のビットレート、音声のＯＮ／ＯＦＦなどを示す情報で構成され、変更されたエンコードパラメータは、記憶部４０に格納される。

なお、サーバ装置１０とクライアント装置５０とのコネクションが確立された直後には、デフォルトの設定となるようにしても良い。エンコードパラメータは、ユーザーの操作によっても変更できるようにしても良い。

エンコードパラメータの変更の具体的な例を、図４を参照して説明する。なお、図４に説明するエンコードパラメータは、一例であり、これに限定されるものではない。

例えば、ウインドウがアクティブ状態の場合には、エンコード制御手段２１が設定するエンコードパラメータは、フレームレート：３０、ビットレート：高、音声：有となる。なお、本発明の実施の形態では、３つのエンコードパラメータを設定することとしているが、これらに限定されるものではなく、またいずれか１つまたは２つのエンコードパラメータのみを設定するようにしても良い。

フレームレートは、エンコード時のフレームレートを示す。フレームレートは、１秒間に送信するフレームの枚数を示す情報である。フレームレートが少なければ、ネットワークに流す表示データのデータ量が少なくなる。

ビットレートは、ビットレートが高いほど表示データの圧縮率が低く、画質がよくなる。逆に、ビットレートを低く設定し、圧縮率を高くすると、表示データの画質が劣化する。圧縮率が高いほど、ネットワークに流す表示データのデータ量が少なくなる。

さらに、音声は、表示データ中の音声出力をＯＮにする。音声出力がＯＮとなると、クライアント装置５０に備えられた音声出力部（不図示）が、表示データ中に含まれる音声を出力する。なお、音声出力がＯＦＦの場合には、表示データの映像部分のみを送り、無音状態とする。音声出力がＯＦＦのほうが、表示データのデータ量は少なくなる。

なお、エンコード制御手段２１は、ウインドウがアクティブ状態の場合に、フレームレート、ビットレート、音声の全ての設定を変更する必要はなく、例えば、ビットレートの設定のみを変更するようにしても良い。

さらに、図４を参照して、ウインドウが最小化状態の場合の、エンコードパラメータの変更の具体的な例を説明する。

図４を参照すれば、ウインドウが最小化状態の場合には、エンコード制御手段２１が設定するエンコードパラメータは、フレームレート：５、ビットレート：低、音声：無となる。

なお、本発明の実施の形態では、３つのエンコードパラメータを設定することとしているが、これらに限定されるものではなく、またいずれか１つまたは２つのエンコードパラメータのみを設定するようにしても良い。

ウインドウが最小化状態の場合には、フレームレートは５に設定されるので、エンコード制御手段２１は、設定されたフレームレートで表示データを生成する。なお、フレームレートが低くなれば、フレームレートの高い表示データより、なめらかさに欠ける表示データが生成される。１秒当たりに送出するフレーム数が少なくなるため、ネットワーク１００に送出される表示データのデータ量が少なくなる。従って、使用されるネットワーク帯域が少なくなる。

同様にビットレートが低く設定されるので、エンコード制御手段２１は、表示データの圧縮率を高くする。表示データの圧縮率が高くなれば、エンコード制御手段２１が生成する表示データのデータ量が少なくなり、使用されるネットワーク帯域も少なくなる。

さらに、音声出力がＯＦＦとなっているので、エンコード制御手段２１が生成する表示データに含まれるべき音声データが削減される。音声データが削減されると、ネットワーク１００に送出される表示データのデータ量が少なくなる。従って、使用されるネットワーク帯域が少なくなる。なお、表示データをクライアント装置５０で表示させると無音状態となる。

ステップＳ１０３で状態変更通知を受信しなかった場合（ステップＳ１０３／ＮＯ）、および、ステップＳ１０４でエンコードパラメータが変更された場合（ステップＳ１０４）いずれの場合でも、次に、エンコード手段２２が、記憶部４０に格納されているエンコードパラメータの情報を参照して、当該エンコードパラメータに基づいて、表示データをエンコードする（ステップＳ１０５）。表示データは、エンコード手段２２が、表示部３０から取得する。表示部３０は、サーバ装置１０が表示装置に表示すべき画像データを生成している。

なお、最小化状態からアクティブ状態に状態が変化した場合にも、エンコードパラメータは変更されるのは言うまでもないが、この場合には、エンコード制御手段２１は、フレームレートと、ビットレートとも、高く設定して、表示データを生成することになる。すると、ネットワークに送出される表示データのデータ量は増加することになる。

ステップＳ１０５で、表示データがエンコードされると（ステップＳ１０５）、送受信手段２４は、エンコードされた表示データをクライアント装置５０に送信する（ステップＳ１０６）。

ステップＳ１０６で、表示データが送信されると（ステップＳ１０６）、送受信手段６３が表示データを受信し、デコード手段６２が受信した表示データをデコードする（ステップＳ１０７）。

ステップＳ１０７で、デコード処理を行うと（ステップＳ１０７）、ふたたびステップＳ１０１の処理に戻り、サーバ装置１０とクライアント装置５０との間のコネクションが途切れるまで繰り返す。

異なる実施の形態として、最小化状態の場合には、差分検出手段２３が表示データの差分領域の全体の表示データ中の割合を求め、予め定められた閾値（一例として、１５％とするが、これに限定されない。）を超えた場合には、クライアント装置５０が表示しているタスクバー中の、リモート画面を示すボタンを点滅等させてユーザーに警告するようにしても良い。

これによって、ユーザーは最小化している表示データに比較的大幅な変化が発生したことを検出した場合には、すぐに最小化状態をキャンセルして、表示データを確認することができる。

さらに異なる実施の形態として、最小化状態でも、音声だけはＯＮにすることにより、ユーザーが見てない表示データの状態の変化を音で判断することもできる。

上述の異なる実施の形態は、例えば、サーバ装置１０において、完了するまで１０分以上といった時間のかかるタスクを実行させる場合に、タスクが完了したときにサーバ装置１０の表示する画面において変化する領域が全体の１５％（数字は限定されない）以上にすれば、クライアント装置５０側では表示データを表示するウインドウを最小化していても、クライアント装置５０側で、タスクの完了を把握できるようになる。

また、上述の異なる実施の形態は、タスクが完了したときに、サーバ装置１０側で、ビープ音などを鳴らすことで、クライアント装置５０側では、表示データを表示するウインドウを最小化していても音でタスクが完了したことをクライアント装置５０側で把握することができる。

以上の処理により、クライアント装置５０において、表示データを表示するウインドウが最小化状態や、非表示状態のときに、サーバ装置１０から送出する表示データのエンコードパラメータの設定を変更することで、表示データのデータ量を削減することができる。表示データのデータ量を削減することで、使用されるネットワーク帯域の量が少なくなることになる。

より具体的に説明すると、ウインドウの表示の状態を示す情報に対応してエンコードパラメータを変更することで、表示データを表示するウインドウへのユーザーの着目度合いに応じてエンコードパラメータを変更することになる。ユーザーが表示データを表示するウインドウに着目していないときには、最小化状態や非表示状態になっているから、エンコードパラメータの設定を変更して、ネットワークに送出するデータ量を削減するということである。

１０ サーバ装置
２０ 制御部
２１ エンコード制御手段
２２ エンコード手段
２３ 差分抽出手段
２４ 送受信手段
３０ 表示部
４０ 記憶部
５０ クライアント装置
６０ 制御部
６１ ウインドウ検出手段
６２ エンコード手段
６３ 送受信手段
７０ 操作部
８０ 表示部
９０ 記憶部
１００ ネットワーク

Claims (8)

1. 表示データを符号化して送信するサーバ装置と、前記表示データを受信して画面中のアプリケーション表示領域に表示するクライアント装置とからなるサーバクライアントシステムであって、
   前記サーバ装置は、
   表示データのビットレートを、前記アプリケーション表示領域の表示の状態に対応する
   ビットレートに変更することを特徴とするサーバクライアントシステム。
2. 表示データを符号化して送信するサーバ装置と、前記表示データを受信して画面中のアプリケーション表示領域に表示するクライアント装置とからなるサーバクライアントシステムであって、
   前記サーバ装置は、
   前記アプリケーション表示領域の表示の状態を示す情報を取得するウインドウ情報取得手段と、
   前記ウインドウ情報取得手段によって取得した前記アプリケーション表示領域の表示の状態を示す情報に対応して、表示データのビットレートを変更するビットレート調整手段とを備えることを特徴とするサーバクライアントシステム。
3. 前記ウインドウ情報取得手段は、
   前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を受信する状態変更情報受信手段を備えることを特徴とすることを特徴とする請求項２に記載のサーバクライアントシステム。
4. 表示データを符号化して送信する表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置であって、
   前記サーバ装置は、
   表示データのビットレートを、前記アプリケーション表示領域の表示の状態に対応するビットレートに変更することを特徴とするサーバ装置。
5. 表示データを符号化して、前記表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置であって、
   前記サーバ装置は、
   前記アプリケーション表示領域の表示の状態を示す情報を取得するウインドウ情報取得手段と、
   前記ウインドウ情報取得手段によって取得した前記アプリケーション表示領域の表示の状態を示す情報に対応して、表示データのビットレートを変更するビットレート調整手段とを備えることを特徴とするサーバ装置。
6. 前記ウインドウ情報取得手段は、
   前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を受信する状態変更情報受信手段を備えることを特徴とすることを特徴とする請求項５に記載のサーバ装置。
7. 表示データを符号化して、前記表示データをクライアント装置の画面中のアプリケーション表示領域に表示させるために送信するサーバ装置のプログラムであって、
   前記サーバプログラムは、
   前記アプリケーション表示領域の表示の状態を示す情報を取得させるウインドウ情報取得ステップと、
   前記ウインドウ情報取得ステップによって取得された前記アプリケーション表示領域の表示の状態を示す情報に対応して表示データのビットレートを変更させるビットレート調整ステップとを備えることを特徴とするプログラム。
8. 前記ウインドウ情報取得ステップは、
   前記クライアント装置から、前記アプリケーション表示領域の表示の状態が変更された場合に、状態変更を示す情報を取得させる状態変更情報受信ステップを備えることを特徴とすることを特徴とする請求項７に記載のプログラム。

Images