JP2010062625A

JP2010062625A - 画面データ送信装置及びその方法

Info

Publication number: JP2010062625A
Application number: JP2008223468A
Authority: JP
Inventors: Satoshi Machida; 敏町田
Original assignee: NEC Embedded Products Ltd
Current assignee: NEC Embedded Products Ltd
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2010-03-18
Anticipated expiration: 2028-09-01
Also published as: JP5168486B2

Abstract

【課題】画面転送型シンクライアントにおいて文字とマウスポインタの視認性を良くする。
【解決手段】第１画面フレームに含まれる複数ブロックの各々について、第１画面フレームより前の第２画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるかを検出する差分検出ステップ、差分検出ステップの検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信ステップ、送信ステップで送信されるブロックのうちキーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートより低くするフレームレート調整ステップ、送信ステップにより送信されるブロックのうちキーボードが操作されている期間のブロックの圧縮率をポインティングデバイスが操作されている期間のブロックの圧縮率より低くする圧縮率制御ステップを備える。
【選択図】図９

Description

本発明は、画面データを送信する画面データ送信装置及び画面データ送信方法に関し、特に、サーバ装置に備わり、シンクライアント(thin client)に画面を送信する画面データ送信装置及びその画面データ送信装置で行われる画面データ送信方法に関する。

近年、シンクライアント及びそれに対応したサーバの両者を含むシンクライアントシステムが普及してきている。シンクライアントシステムにおいては、サーバがアプリケーションプログラムやデータファイルを保有し、シンクライアントは、必要最低限の機能を有する。

画面転送型のシンクライアントシステムにおいては、シンクライアントの画面に表示する画面データもサーバが保有する。そして、変化のあった画面データをサーバからシンクライアントに送信し、シンクライアントは、サーバから送られてきた画面データを基に、表示画面データを再構築する。

次に、変化のあった画面データをサーバからシンクライアントに送信するための基本的な画面データ送信装置について説明する。

図１を参照すると、基本的な画面データ送信装置は、ブロック化部８０１、フレームメモリ８０３、減算器８０５、ブロック間差分検出部８０７、送信ブロック判断部８０９、符号化部８１１及びバッファ８１３を備える。

ブロック化部８０１は、入力した画面データの順序を入れ替えることにより画面データをブロック化する。画面ブロックは例えば、図２に示すように３２画素×３２画素のサイズを有する。

フレームメモリ８０３は、画面データを１フレーム遅延させる。

減算器８０５は、現在の画素の値から１フレーム前の同一位置の画素の値を減算する。

ブロック間差分検出部８０７は、各ブロックに含まれる画素の減算器８０５による減算値を基に、現在のブロックと１フレーム前の同一位置のブロックとの間の差分を検出する。例えば、ブロック間差分検出部８０７は、ブロックに含まれる全ての画素についての減算値の絶対値の和をブロック間差分とする。また、例えば、ブロック間差分検出部８０７は、ブロックに含まれる全ての画素の減算値の絶対値のうち最大の絶対値をブロック間差分とする。

送信ブロック判断部８０９は、現在のブロックの画面データをシンクライアントに送信するべきか否かを判断する。例えば、送信ブロック判断部８０９は、ブロック間差分の値が所定の送信判断用のしきい値よりも大きければ、現在のブロックの画面データをシンクライアントに送信するべきであると判断する。所定の送信判断用のしきい値は、例えば、ゼロであるが、これよりも大きい値であってもよい。

符号化部８１１は、送信ブロック判断部８０９により画面データを送信するべきであると判断されたブロックの画面データを圧縮符号化し、圧縮符号化された画面データをシンクライアントに送信する。圧縮符号化のためには、例えば、ウェーブレット変換、ハフマン符号化などが用いられる。送信データのフレームあたりのビット数が目標ビットレートに対応するビット数から離れている場合には、符号化パラメータを変更して符号化をやり直す。符号化をやり直すためには、現フレームのブロックのデータをバッファ８１３に一時記憶する。符号化パラメータは、例えば、再量子化幅、空間周波数帯域幅などである。

図３にシンクライアントのうち表示画面に関連する部分を示す。

復号部８２１は、符号化部８１１により圧縮符号化された画面データを復号する。

フレームメモリ８２３は、復号された画面データを格納する。

表示部８２５は、フレームメモリ８２３に格納されている画面データを読み出して、表示装置に出力する。

図４に図１に示す基本的な画面データ送信装置の動作を説明するためのフローチャートを示す。

図４を参照すると、まず、ブロック化部８０１は、画面データをブロック化する（ステップＳ９０１）。

次に、現フレームの各ブロックについてステップＳ９０５〜Ｓ９１３を繰り返す（ステップＳ９０３）。

ステップＳ９０５では、前フレームの現ブロックデータをフレームメモリ８０３から読み出す。ここで、ブロックデータとは、ブロックを構成する画素の画面データの集合のことである。

次に、ステップＳ９０７では、現フレームの現ブロックデータをフレームメモリ８０３に書き込む。

次に、ステップＳ９０９では、減算器８０５が、現フレームの現ブロックの各画素について、前フレームの同位置の画素との差分を計算する。

次に、ステップＳ９１１では、ブロック間差分検出部８０７は、現フレームの現ブロックについてブロック間差分を検出する。

次に、ステップＳ９１３では、送信ブロック判断部８０９は、現フレームの現ブロックの画面データを符号化して送信するべきか否かを判断する。判断方法は送信ブロック判断部８０９の説明で述べたとおりである。

ステップＳ９０３の繰り返しが終了したならば、現フレームの各ブロックについてステップＳ９１７又はステップＳ９１７及びステップＳ９１９を繰り返す（ステップＳ９１５）。

ステップＳ９１７では、現ブロックは符号化するべきブロックであるのか否かのステップＳ９１３での判断の結果を取得する。このためには、ステップＳ９１３での判断結果をバッファ８１３に一時記憶する。

ステップＳ９１７で取得した判断結果が肯定的である場合には（ステップＳ９１７でＹＥＳ）、現ブロックを符号化する（ステップＳ９１９）。

ステップＳ９１５の繰り返しが終了したならば、現フレームの符号化するべきブロックを符号化して得られた符号の全ビット数が目標ビットレートに対応するビット数にほぼ等しいか否かを判断する（ステップＳ９２１）。この判断のためにも、現フレームの全符号をバッファ８１３に一時記憶する。

ステップＳ９２１の結果が肯定的である場合には（ステップＳ９２１でＹＥＳ）、バッファ８１３に一時記憶していた現フレームの全符号を送信する（ステップＳ９２３）。

ステップＳ９２５の結果が否定的である場合には（ステップＳ９２５でＮＯ）、符号化パラメータを変更し（ステップＳ９２５）、ステップＳ９１５に戻る。

上述した画面データ送信装置の構成と動作により、次に説明するような送信が行われる。

すなわち、例えば、第ｎフレームが図５（ａ）に示すようなものであり、第（ｎ＋１）フレームで図５（ｂ）に示すように新たなウィンドウ７０１が現れた場合、図５（ｃ）に示すようなウィンドウ７０１を含むブロック群７０３の画面データが圧縮符号化されて送信される。

また、例えば、自動車７０５が第ｎフレームで図６（ａ）に示すような位置にあり、第（ｎ＋１）フレームで図６（ｂ）に示すような位置にある場合には、図６（ｃ）に示すような、自動車７０５が走り去った後の背景を含むブロック群７０７と新たに自動車７０５を含むこととなったブロック群７０９の画面データが圧縮符号化されて送信される。
特開２００６−１８６５２９号公報クライアント統合ソリューション、画面転送型、平成２０年２月１５日検索、インターネット<URL: http://www.nec.co.jp/clsol/gamentenso.html>

上述した方法では、各ブロックが含む内容の種類とは無関係に圧縮符号化の圧縮率が決まってしまう。また、送信される画面のフレームレートは、画面データ生成部１０５で生成された画面のフレームレートと同一である。

しかし、シンクライアントのユーザにとってみれば、コンピュータマウス（以下、単に「マウス」という。）のマウスポインタの画質はさほど高くなくてもよく、その代わり、マウスの操作性を向上させるためには、マウスポインタの軌跡はなだらかである必要があるため、所定値以上のフレームレートを必要とする。他方、シンクライアントのユーザにとってみれば、ユーザにより入力された文字の画質が低いと、文字が見にくくなるため、ユーザにより入力された文字の画質は所定の程度以上に良い必要があり、その代わり、フレームレートが或る程度低くて、そのために文字の表示されるタイミングが多少遅れても、実用上問題とならない。

そこで、本発明は、シンクライアント側において、マウスポインタについては、画質が多少犠牲になっても、軌跡がなだらかになるようにし、且つ、文字については、キー入力から表示までの遅延時間が多少犠牲になっても、高画質が得られるような画面データ送信装置及び画面データ送信方法を提供することを目的とする。

本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出手段と、前記差分検出手段の検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信手段と、前記送信手段により送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整手段と、前記送信手段により送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御手段と、を備えることを特徴とする画面データ送信装置が提供される。

また、本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、前記差分検出ステップの検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信ステップと、前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、を備えることを特徴とする画面データ送信方法が提供される。

更に、本発明によれば、第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、前記差分検出ステップの検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信ステップと、前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、を備えることを特徴とする画面データ送信方法をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、シンクライアント側において、ポインティングデバイスのポインタについては、画質が多少犠牲になっても、軌跡がなだらかになるようになり、且つ、文字については、キー入力から表示までの遅延時間が多少犠牲になっても、高画質が得られる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

図７は、本発明の実施形態による画面データ送信装置及びその周辺部の概要を示すブロック図である。

図７を参照すると、本発明の実施形態による画面データ送信装置及びその周辺部は、オペレーティングシステム１０１、デバイスドライバ群１０３、画面データ生成部１０５、第１フレームメモリ１０７、第２フレームメモリ１０９、画面データ書込部１１１、画面圧縮符号化部１１３、画面符号送信部１１５、ＨＩＤ(Human Interface Device)情報デコード部１１７、フレームレート制御部１１９及び圧縮率制御部１２１を含む。

オペレーティングシステム１０１は、例えば、Ｗｉｎｄｏｗｓ（登録商標）やＬｉｎｕｘ（登録商標）などである。

デバイスドライバ群１０３は、キーボードドライバ、マウスドライバなどのデバイスドライバを含み、オペレーティングシステムとハードウェアの間の層に位置する。

画面データ生成部１０５は、オペレーティングシステム１０１からの指示などに従って画面データを生成する。画面データ生成部１０５は、例えば、グラフィックスチップを含む。

第１フレームメモリ１０７は、画面データ生成部１０５により生成された画面データをフレーム単位で一時記憶する。第２のフレームメモリ１０９も、同様に、画面データ生成部１０５により生成された画面データをフレーム単位で一時記憶する。

画面データ書込部１１１は、画面データ生成部１０５により生成された画面データのうち第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むべき画面データをフレーム単位で第１フレームメモリ１０７又は第２フレームメモリ１０９に交互に書き込む。

画面圧縮符号化部１１３は、第１フレームメモリ１０７又は第２フレームメモリ１０９に一時記憶されているある着目しているフレームの画面データと第２フレームメモリ１０９又は第１フレームメモリ１０７に一時記憶されているそれよりも前のフレームの画面データとの差分をブロック毎に算出し、ブロック間の差分が所定値を超えるブロックについて、その着目しているフレームに含まれる画面データを圧縮符号化する。

画面符号送信部１１５は、画面圧縮符号化部１１３での圧縮符号化の結果得られた画面符号をクライアントに送信する。

ＨＩＤ情報デコード部１１７は、クライアントから送信されてくるＨＩＤ情報をデコードする。ＨＩＤ情報は、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報を含む。また、前者の場合であれば、キーボードのどのキーが押下されているのかの情報を含む。更に、後者の場合であれば、マウスの移動量又はマウスの座標を示す情報を含む。また、後者の場合であれば、ＨＩＤ情報はマウスのボタンの操作情報（クリックに関する情報、ホイル操作に関する情報など）も含む。ポインティングデバイスとしてマウスの代わりにタッチパネルやタブレットを利用した場合でも同様である。

ＨＩＤ情報デコード部１１７によりデコードされたＨＩＤ情報は、デバイスドライバ群１０３に供給される。すなわち、デバイスドライバ群１０３にとってみれば、クライアントのキーボードとマウスから直接的に操作情報が得られる場合と同様な情報が得られる。

また、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報は、フレームレート制御部１１９及び圧縮率制御部１２１にも供給される。

フレームレート制御部１１９は、ＨＩＤ情報デコード部１１７から供給された、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報に対応したフレームレートで、画面データ書込部１１１が、画面データ生成部１０５で生成された画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むために、画面データ書込部１１１を制御する。すなわち、フレームレート制御部１１９は、現在ユーザにより操作されているＨＩＤがキーボードである場合には、画面データ書込部１１１が低いフレームレート（例えば、１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなど）で画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込み、現在ユーザにより操作されているＨＩＤがマウスである場合には、画面データ書込部１１１が高いフレームレート（例えば、６０ｆｐｓ、３０ｆｐｓなど）で画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込むように画面データ書込部１１１を制御する。高いフレームレートとして、画面データ生成部１０５が生成する画面データのフレームレートと同一のフレームレートを採用してもよい。

圧縮率制御部１２１は、ＨＩＤ情報デコード部１１７から供給された、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかを示すための情報に対応した圧縮パラメータで、画面圧縮符号化部１１３が、画面データ生成部１０５で生成された画面データのうち上述したように選択されたブロックのデータを圧縮符号化するために、画面圧縮符号化部１１３を制御する。すなわち、圧縮率制御部１２１は、現在ユーザにより操作されているＨＩＤがキーボードである場合には、画面圧縮符号化部１１３が低い圧縮率で画面データを圧縮符号化し、現在ユーザにより操作されているＨＩＤがマウスである場合には、画面圧縮符号化部１１３が高い圧縮率で画面データを圧縮符号化するように画面圧縮符号化部１１３を制御する。なお、同一の圧縮符号化を用いた場合、圧縮率が低いほど、画質が高くなる。

また、圧縮率制御部１２１は、画面データ書込部１１１が画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込んだフレームの次のフレームのみで動作し、その他のフレームでは動作を休止する。この圧縮制御部１２１の動作と上述した画面データ書込部１１１の動作が連携することにより、現在ユーザにより操作されているＨＩＤがキーボードであるのか、又は、マウスであるのかに応じたフレームレートで画面データを圧縮することができるようになる。

次に、図７に示す本発明の実施形態による画面データ送信装置及びその周辺部の動作を図８を参照して説明する。

クライアントとサーバが動作を開始すると、画面データ生成部１０５は、オペレーティングシステム１０１からの指示に基づいて、画面データを生成する動作に入る（ステップＳ２０１）。

これと同時に、画面データ書込部１１１、画面圧縮符号化部１１３及び画面符号送信部１１５は、それぞれ、画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む動作（ステップＳ２１１）、画面を圧縮符号化する動作（ステップＳ２１３）及び画面圧縮符号を送信する動作（ステップＳ２１５）に入る。

更に、ＨＩＤ情報デコード部１１７、フレームレート制御部１１９及び圧縮率制御部１２１は、以下に説明する動作に入る。

まず、ＨＩＤ情報デコード部１１７は、クライアントからＨＩＤ情報が送信されてくるのを待つ（ステップＳ２２１）。

ＨＩＤ情報デコード部１１７は、クライアントからＨＩＤ情報が送信されてきたならば（ステップＳ２２１でＹＥＳ）、ＨＩＤ情報をデコードする（ステップＳ２２３）。

次に、ＨＩＤ情報デコード部１１７は、ＨＩＤがキーボードであるのか、又は、マウスであるのかを調べる（ステップＳ２２５）。

ＨＩＤがキーボードである場合には、フレームレート制御部１１９は、低いフレームレートを画面データ書込部１１１のレジスタ１１１−１に書き込む（ステップＳ２２７）。画面データ書込部１１１は、このレジスタに設定されたフレームレートで画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む。

次に、圧縮率制御部１２１は、低い圧縮率を画面圧縮符号化部１１３のレジスタ１１３−１に書き込む（ステップＳ２２９）。画面圧縮符号化部１１３は、このレジスタに設定された圧縮率で画面データを圧縮符号化する。

ＨＩＤがマウスである場合には、フレームレート制御部１１９は、高いフレームレートを画面データ書込部１１１のレジスタ１１１−１に書き込む（ステップＳ２３１）。画面データ書込部１１１は、このレジスタに設定されたフレームレートで画面データを第１フレームメモリ１０７又は第２フレームメモリ１０９に書き込む。

次に、圧縮率制御部１２１は、高い圧縮率を画面圧縮符号化部１１３のレジスタ１１３−１に書き込む（ステップＳ２３３）。画面圧縮符号化部１１３は、このレジスタに設定された圧縮率で画面データを圧縮符号化する。

ステップＳ２２９又はＳ２３３を実行した後には、ステップＳ２２１に戻り、新たなＨＩＤ情報がクライアントから送信されてくるのを待つ。

次に、図７に示す本発明の実施形態による画面データ送信装置及びその周辺部の動作例を図９を参照して説明する。

ＨＩＤがキーボードである期間Ｔ１においては、フレームレートは低く、且つ、圧縮率も低い。他方、ＨＩＤがマウスである期間Ｔ２においては、フレームレートは高く、且つ、圧縮率も高い。ここでのフレームレートは、通常のフレームレートと同一であってもよい。

また、ＨＩＤ情報がない期間では、フレームレート及び圧縮率は、通常のものである。

ＨＩＤがキーボードである場合のフレームレートを通常のフレームレートよりも低いものとし、ＨＩＤがマウスである場合のフレームレートを通常のフレームレートよりも高いもの又はそれと同一のものとしてもよい。

ＨＩＤがキーボードである場合の圧縮率を通常の圧縮率よりも低いものとし、ＨＩＤがマウスである場合の圧縮率を通常の圧縮率よりも高いものとしてもよい。

また、図７に示す画面データ送信装置及びその周辺部は、ハードウェアによって構築することも可能であるが、コンピュータをこれらのものとして機能させるためのプログラムをコンピュータが読み込んで実行することによって構築してもよい。

更に、上記の説明では、ポインティングデバイスの一例としてマウスを例に取ったが、マウスをタッチパネルやタブレットなどの他のポインティングデバイスに置き換えてもよい。

基本的な画面データ送信装置の構成を示すブロック図である。画面ブロックを示す図である。シンクライアントのうち表示画面に関連する部分を示すブロック図である。図１に示す基本的な画面データ送信装置の動作を説明するためのフローチャートである。画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための第１の図である。画面転送型シンクライアントシステムにおいて転送される画面ブロックを説明するための第２の図である。本発明の実施形態による画面データ送信装置及びその周辺部の構成を示すブロック図である。本発明の実施形態による画面データ送信装置及びその周辺部の動作を示すフローチャートである。本発明の実施形態による画面データ送信装置及びその周辺部の動作を示すタイミング図である。

符号の説明

１０１オペレーティングシステム
１０３デバイスドライバ群
１０５画面データ生成部
１０７第１フレームメモリ
１０９第２フレームメモリ
１１１画面データ書込部
１１１−１レジスタ
１１３画面圧縮符号化部
１１３−１レジスタ
１１５画面符号送信部
１１７ＨＩＤ情報デコード部
１１９フレームレート制御部
１２１圧縮率制御部

Claims

第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出手段と、
前記差分検出手段の検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信手段と、
前記送信手段により送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整手段と、
前記送信手段により送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御手段と、
を備えることを特徴とする画面データ送信装置。
請求項１に記載の画面データ送信装置において、
前記フレームレート調整手段及び前記圧縮率制御手段は、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とする画面データ送信装置。
請求項２に記載の画面データ送信装置において、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とする画面データ送信装置。
第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、
前記差分検出ステップの検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信ステップと、
前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、
前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、
を備えることを特徴とする画面データ送信方法。
請求項４に記載の画面データ送信方法において、
前記フレームレート調整ステップ及び前記圧縮率制御ステップは、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とする画面データ送信方法。
請求項５に記載の画面データ送信方法において、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とする画面データ送信方法。
第１の画面フレームに含まれる複数のブロックの各々について、前記第１の画面フレームよりも前の第２の画面フレームに含まれ、対応する位置にあるブロックと所定量を超える差分があるか否かを検出する差分検出ステップと、
前記差分検出ステップの検出結果が肯定的であるブロックのデータを圧縮符号化して送信する送信ステップと、
前記送信ステップにより送信されるブロックのうち、キーボードが操作されている期間のブロックのフレームレートをポインティングデバイスが操作されている期間のフレームレートよりも低くするフレームレート調整ステップと、
前記送信ステップにより送信されるブロックのうち、前記キーボードが操作されている期間のブロックの圧縮率を前記ポインティングデバイスが操作されている期間のブロックの圧縮率よりも低くする圧縮率制御ステップと、
を備えることを特徴とする画面データ送信方法をコンピュータに実行させるためのプログラム。
請求項７に記載のプログラムにおいて、
前記フレームレート調整ステップ及び前記圧縮率制御ステップは、現在が、キーボードが操作されている期間に属するのか、又は、ポインティングデバイスが操作されている期間に属するのかを、現在操作されているヒューマンインターフェースデバイスがキーボードであるのか、又は、ポインティングデバイスであるのかを識別するための情報を含むヒューマンインターフェースデバイス情報を基に判断することを特徴とするプログラム。
請求項８に記載のプログラムにおいて、
前記ヒューマンインターフェースデバイス情報は、画面フレームを更新するための情報も含むことを特徴とするプログラム。