JP2013105367A - シンクライアントシステムおよびサーバ装置 - Google Patents

Abstract

【課題】シンクライアントシステムを回線品質の異なるネットワークを介して接続する場合に、入力操作に対して画面表示の追従性を要求する操作が行なわれたときに、サーバ装置からクライアント端末に送信するデータ量を、回線品質に合わせて可変とする。
【解決手段】クライアント端末は、ユーザーの入力操作を入力操作情報としてサーバ装置に送信し、サーバ装置は、受信した入力操作情報を解析し、入力操作に対して画面表示の追従性を要する入力操作であるかの判定を行なう。サーバ装置は、追従性を要する入力操作が行なわれた場合に、クライアント端末で表示するための画面情報の削減を行なう。
【選択図】図１３

Description

本発明は、シンクライアントシステムおよびサーバ装置に係り、特にネットワークの品質に応じた処理を行なうシンクライアントシステムおよびサーバ装置に関する。

企業などにおいて、社員が使うクライアント端末に最低限の機能しか持たせず、ネットワークを介して接続されたサーバ装置側でアプリケーションソフトやファイルなどの資源を管理するシンクライアントシステムが注目を浴びている。

シンクライアントシステムでは、クライアント端末から送られた操作情報をもとに、サーバ装置でアプリケーションなどの処理が行なわれ、その処理結果が反映された画面情報がクライアント端末に送信される。

初期のシンクライアントシステムは企業内のローカルエリアネットワーク（以後ＬＡＮと記載）など、一定の通信品質が確保されたネットワークで運用されるのが一般的であったが、ＷＡＮ（Wide Area Network）、無線ＬＡＮ（Local Area Network）やモバイルネットワークなど無線にて接続されるネットワークなど、色々な通信品質のネットワークが普及し、シンクライアントシステムもこれら通信品質の異なるネットワークを介して接続されるようになってきた。

モバイルネットワークなど通信速度の遅いネットワークを介して接続した場合、サーバ装置からクライアント端末に、画面情報のデータを送信するのに遅延が発生し、画面表示に時間がかかるなどの問題が発生する。このため、画像を圧縮して送信し、前画面と次画面の差分を比較して、差分情報のみを送信するなどの一般的な画像圧縮技術に加えて、ユーザーによるウィンドウ操作など、シンクライアントシステムに特有な画面表示特性に着目し、特許文献１のようにユーザーによるウィンドウの移動を、ポインタカーソルの移動情報から検出し、マウスのドラッグ操作によるウィンドウの移動操作時において、クライアント端末に送信する画像情報を削減する技術が提案されている。

また、端末の入力デバイスは、キーボードやマウスなど従来からの入力デバイスに加えて、ホイール付きマウス、マルチタッチ対応のタッチパネルやトラックパッドなどが普及し、マウスホイールよるスクロールや、タッチパネルによるピンチイン（縮小）やピンチアウト（拡大）など、ユーザー操作に対して画面表示の高い追従性が要求される操作が多くなっている。

特開２００８−２２５５１６号公報

シンクライアントシステムを回線品質の異なるネットワークを介して接続する場合に、回線の通信品質により、クライアント端末とサーバ装置間で送受信するデータ量や送信方法を変えることにより、一定の操作性や画面表示のレスポンスを確保するという課題がある。

また、モバイルネットワークのように、移動や電波状態の変化などにより、通信品質が大きく変化する場合でも、逐次回線品質を把握し、クライアント端末とサーバ装置間で送受信するデータ量や送信方法を動的に変化させることにより、一定の操作性や画面表示のレスポンスを確保するという課題がある。

また、シンクライアントシステムでは、クライアント端末でユーザーが操作した情報がネットワークを介してサーバ装置に送られ、サーバ装置で処理された結果がネットワークを介してクライアント端末に送信され、クライアント端末で表示されるため、ユーザーが操作を行なってから、表示されるのにタイムラグが発生する。

キーボードの文字キーによる文字入力、カーソルキーによるカーソルの移動などは、入力操作に対する表示内容の変化が小さく、クライアント端末とサーバ装置間で送受信されるデータ量が少ない。このため、ネットワークの回線品質が悪く、通信帯域が確保できない場合でも、大きなタイムラグは発生しない。しかし、マウスホイールよるスクロール、タッチパネルによるピンチイン（縮小）やピンチアウト（拡大）などの操作は、入力操作に対する表示内容の変化が大きく、サーバ装置からクライアント端末に送信されるデータ量が多い。このため、ネットワークの回線品質が悪く、通信帯域が確保できない場合には、大きなタイムラグが発生する。このとき、ホイール操作の速度や回転量、タッチパネルのピンチ操作の速度や操作幅は、操作するユーザーが表示内容の変化速度や変化量を指示する情報である。このため、操作に対する画面表示のフィードバックが遅れると、ユーザーが必要以上にホイール操作を行なってしまうなど、操作感が大きく損なわれる。

一方で、ユーザーがスクロールや拡大・縮小の操作を行なう場合、スクロール、拡大・縮小などの操作に対するフィードバックを画面上でリニアに確認できることが求められ、変化中の表示内容は、変化量が把握できれば表示内容の品質は求められない。

また、シンクライアントシステムでは、メールを読むこと、ドキュメント作成や動画再生など、表示開始に多少時間がかかっても、画面の表示品質が重要な操作と、ユーザー操作に対して画面表示の高い追従性が要求される操作があり、ユーザーの操作内容により、画面の表示の品質を優先するか、操作に対する追従性を優先するかを判断し、ユーザーの要求に従った画面表示を行なうという課題がある。

特許文献１で提案されている方法では、マウスによるウィンドウの移動という特定な操作においてのみ、操作に対する追従性の改善が期待できる。しかし、マウスホイールによりウィンドウ内の表示内容をスクロールする場合や、タッチパネルによるピンチイン（縮小）やピンチアウト（拡大）など、表示内容が変化する場合には適用できない。

上述した課題は、ネットワークで接続されたクライアント端末と、サーバ装置とを含むシンクライアントシステムにおいて、クライアント端末は、入力された操作情報をネットワークを介してサーバ装置に送信し、サーバ装置は、受信した操作情報に基づいて、アプリケーションの処理を行ない、処理結果に基づいて、画像情報を生成し、この画像情報をネットワークを介してクライアント端末に送信し、クライアント端末は、受信した画像情報を表示し、クライアント端末およびサーバ装置は、ネットワークの回線品質を測定する回線品質確認処理部をそれぞれ備え、サーバ装置は、回線品質に基づいて、画像情報のデータ量を決定するシンクライアントシステムにより、達成できる。

また、ネットワークで接続されたクライアント端末から操作情報を受信して、アプリケーションの処理を行ない、処理結果に基づいて、画像情報を生成し、この画像情報をネットワークを介してクライアント端末に送信するサーバ装置において、ネットワークの回線品質を測定する回線品質確認処理部を備え、回線品質に基づいて、画像情報のデータ量を決定するサーバ装置により、達成できる。

本発明によれば、シンクライアントシステムにおいて、ユーザーの操作に対して、追従性が要求される処理の応答性が改善される。また、品質の異なるネットワークや品質が動的に変化するネットワークを介して接続された場合でも、回線品質に応じて柔軟な画面表示が可能となる。

シンクライアントシステムの構成を説明するブロック図である。 クライアント端末とサーバ装置間の通信内容を説明するブロック図である。 クライアント端末のブロック図である。 サーバ装置のブロック図である。 入力操作情報を説明する図である。 クライアント端末における入力操作処理のフローチャートである。 クライアント端末における画面表示処理のフローチャートである。 サーバ装置におけるフローチャートである。 回線品質確認のシーケンス図である。 入力操作情報を説明する図である。 画面表示の変化を説明する図である。 画面情報生成処理部の処理を説明するブロック図である。 削減処理後の画面情報を説明する図（その１）である。 削減処理後の画面情報を説明する図（その２）である。 サーバ装置とクライアント端末間の遅延を説明する図（その１）である。 サーバ装置とクライアント端末間の遅延を説明する図（その２）である。 サーバ装置とクライアント端末間の遅延を説明する図（その３）である。

以下、本発明の実施の形態について、実施例を用い図面を参照して詳細に説明する。なお、実質同一部位には同じ参照番号を振り、説明は繰り返さない。

図１を参照して、シンクライアントシステムを説明する。図１において、シンクライアントシステム４は、クライアント端末１と、サーバ装置３とで構成される。クライアント端末１とサーバ装置３は、ネットワーク２を介して接続される。図１では、３台のクライアント端末１−１、１−２、１−３がサーバ装置３に接続されている。しかし、これは、クライアント端末の台数を制限するものではなく、任意のクライアント端末が接続可能である。また、ネットワーク２は、有線または無線、ＬＡＮまたはＷＡＮなど接続形式を限定するものではない。ネットワーク２は、異なる接続形式のネットワークが混在、または複数のネットワークを経由して接続されても良い。

図２を参照して、クライアント端末とサーバ装置間の通信内容を説明する。図２において、クライアント端末１で入力された入力操作情報は、サーバ装置３に送信される。サーバ装置３は、受信した入力操作情報をもとに処理を行なう。サーバ装置３は、処理結果を画面情報として、クライアント端末１に送信する。クライアント端末１は、画面情報に基づいて、画面表示する。

図３を参照して、クライアント端末の構成を説明する。図３において、クライアント端末１は、入力デバイス３１と、入力操作情報作成部３２と、送信処理部３３と、受信処理部３４と、画面表示処理部３５と、表示デバイス３６と、回線品質確認処理部３７との各機能ブロックで構成される。

入力デバイス３１は、キーボード、マウスまたはトラックパッドなどのポインティングデバイス、タッチパネルなどを備える。入力デバイス３１は、ユーザーのキー入力やポインティングデバイス操作などの操作内容を入力操作情報作成部３２に出力する。

入力操作情報作成部３２は、操作内容を解析し、サーバ装置３に送信するための入力操作情報の生成を行なう。入力操作情報作成部３２は、入力操作情報を送信処理部３３に出力する。

送信処理部３３は、入力操作情報作成部３２から入力された入力操作情報を、ネットワーク２を介してサーバ装置３に送信する。受信処理部３４は、ネットワーク２を介して、サーバ装置３から画面情報を受信する。受信処理部３４は、画面情報を画面表示処理部３５に出力する。

画面表示処理部３５は、入力された画面情報から、表示デバイス３６で表示するための画面表示を作成する。画面表示処理部３５は、画面表示を表示デバイス３６に出力する。表示デバイス３６は、液晶ディスプレイなどである。表示デバイス３６は、画面表示処理部３５から入力された画面の表示を行なう。回線品質確認処理部３７は、クライアント端末１とサーバ装置３を接続するネットワーク２の回線品質を確認するための処理を行なう。

クライアント端末１は、上述した機能ブロックを備える端末である。クライアント端末１は、入力デバイス３１および表示デバイス３６の種類を限定するものでない。クライアント端末１は、キーボードとディスプレイを備えるノートＰＣやデスクトップＰＣのような形態だけでなく、タッチパネルを備えたスマートフォンやタブレット端末のような形態でも良い。

図４を参照して、サーバ装置の構成を説明する。図４において、サーバ装置３は、受信処理部４１と、入力操作解析処理部４２と、アプリケーション処理部４３と、画面情報生成処理部４４と、送信処理部４５と、回線品質確認処理部４６との各機能ブロックで構成される。

受信処理部４１は、クライアント端末１からネットワーク２を介して送信された入力操作情報を受信する。受信処理部４１は、入力操作情報を入力操作解析処理部４２に出力する。入力操作解析処理部４２は、入力された入力操作情報から操作内容の解析を行ない、アプリケーション処理部４３に出力する。入力操作解析処理部４２は、また、ユーザーが操作に対する画面表示の即時応答が求められる操作を行なったかの判定を行なう。入力操作解析処理部４２は、画面情報生成処理部４４に対して、画面情報削減要求を行なう。これらの詳細については図８のフローチャートを参照して後述する。

アプリケーション処理部４３は、入力操作の内容に従いアプリケーションの処理を行なう。アプリケーション処理部４３は、処理結果を画面情報生成処理部４４に出力する。画面情報生成処理部４４は、アプリケーション処理部４３から入力された処理結果をもとに、クライアント端末１に送信するための画面情報の生成処理を行なう。画面情報生成処理部４４は、画面情報を送信処理部４５に出力する。送信処理部４５は、入力された画面情報を、ネットワーク２を介してクライアント端末１に送信する。回線品質確認処理部４６は、クライアント端末１とサーバ装置３を接続するネットワーク２の回線品質を確認する処理を行なう。

次に、クライアント端末１の動作について説明する。まず、図５と図６を参照して、クライアント端末１の入力操作処理について説明する。
図５を参照して、入力操作情報を説明する。図５において、入力操作情報は、時刻１３１と、デバイス種別１３２と、操作内容１３３とで構成される。

時刻１３１は、入力デバイスから入力された時刻１３４ａ〜１３４ｉが登録される。行１３４ａの１０：３２：０５：５０は、１０時３２分０５秒５０を表わす。ここでは、クライアント端末の時刻情報から２５０ミリ秒単位にサンプリングされた時刻を入力操作情報の時刻１３１として登録している。しかし、入力操作の操作間隔が判定できればよく、時刻の精度を限定するものではない。また、一定周期で増減するタイマーカウンタのカウンタ値を時刻情報としても良い。

デバイス種別としては、キーボード１３６ａ、マウスポインタ１３６ｂ、マウスホイール１３６ｃなどがある。入力捜査情報は、デバイス種別ごとに操作内容１３３が定義されている。行１３４ａのデバイス種別１３２がキーボード１３６ａの場合、文字キー：Ａ（１３５ａ）、カーソル：→（１３５ｂ）、機能キー：Ｆ１（１３５ｃ）などキーボードから入力されたキー情報が操作内容１３３として登録される。また、デバイス種別１３２がマウスポインタ１３６ｂの場合、マウスの移動による、Ｘ軸方向およびＹ軸方向の移動量Ｘ＝＋８、Ｙ＝−３（１３５ｄ）が、操作内容１３３として登録される。また、デバイス種別１３２がマウスホイール（行１３４ｃ）の場合は、マウスに搭載されたホイールの回転による、回転方向：上、変化量：６（１３５ｅ）など操作情報が、操作内容１３３として登録される。

なお、図５に記載の入力操作情報は、時刻１３１の記載方法、デバイス種別１３２の種類、操作内容１３３の記載方法を限定するものではない。また、時刻１３１、デバイス種別１３２、操作内容１３３以外の情報を入力操作情報としても良い。

図６を参照して、クライアント端末１における入力操作処理のフローを説明する。図６において、クライアント端末１は、入力デバイス３１から入力操作があったかの判定を行なう（Ｓ５１）。入力がない場合（ＮＯ）、クライアント端末１は、再びステップ５１に遷移する。ステップ５１で入力があった場合（ＹＥＳ）、クライアント端末１は、入力デバイス３１の操作内容を作成する（Ｓ５２）。クライアント端末１は、作成した入力操作情報を送信して（Ｓ５３）、終了する。

より詳細には、入力操作情報作成部３２は、デバイス種別１３２、操作内容１３３の解析を行なう。入力操作情報作成部３２は、キー入力情報、ポインティングデバイスの位置情報、マウスホイールの変化方向や変化量などの情報を、入力デバイスから入力された時刻と共に入力操作情報として作成し、送信処理部３３に出力する（Ｓ５２）。送信処理部３３は、入力操作情報作成部３２から入力された入力操作情報を、ネットワーク２を介してサーバ装置３に送信する（Ｓ５３）。

次に、図７を参照して、クライアント端末１の画面表示処理について説明する。図７において、クライアント端末１は、画像情報を受信する（Ｓ６１）。クライアント端末１は、画像を生成する（Ｓ６２）。クライアント端末１は、画像を表示して（Ｓ６３）、終了する。

詳細には、受信処理部３４は、サーバ装置３からネットワーク２を介して、画面情報を受信し、画面表示処理部３５に出力する（Ｓ６１）。画面表示処理部３５は、入力された画面情報から、画像の復号などを行ない、表示デバイス３６で表示するための画面表示情報の生成を行ない、表示デバイス３６に出力する（Ｓ６２）。表示デバイス３６は、画面表示処理部３５から入力された画面表示情報の表示を行なう（Ｓ６３）。

図８を参照して、サーバ装置３の処理について説明する。図８において、サーバ装置３は、入力操作情報を受信する（Ｓ７１）。サーバ装置３は、入力操作内容を解析する（Ｓ７２）。サーバ装置３は、即時応答要求操作が必要か判定する（Ｓ７３）。ＹＥＳのとき、サーバ装置３は、画面情報削減要求処理を実行する（Ｓ７４）。ステップ７３でＮＯまたはステップ７４のあと、サーバ装置３は、アプリケーション処理を実行する（Ｓ７５）。サーバ装置３は、画面情報生成処理を実行する（Ｓ７６）。サーバ装置３は、画面情報を送信して（Ｓ７７）、終了する。

詳細には、受信処理部４１は、クライアント端末１からネットワーク２を介して、入力操作情報を受信し、入力操作解析処理部４２に出力する（Ｓ７１）。入力操作解析処理部４２は、入力操作情報の解析を行ない、アプリケーション処理部４３で使用できるデータ形式に変換して出力する（Ｓ７２）。この時、組合せ操作機能を持つＳｈｉｆｔキー、Ｃｔｒｌキー、Ａｌｔキーが、他の文字キーなどと同時入力される判定、マウスのクリックボタンを押しながらマウスが移動される（ドラッグ操作）判定などが行なわれる。

また、入力操作解析処理部４２は、入力操作情報の解析を行ない、操作内容が、即時応答を必要とする操作であるかの判定を行なう。この判定の動作については、図１０の入力操作情報を参照して後で説明する。なお、ここでは、マウスホイールの回転を説明したが、即時応答が要求される操作として、マウスによるドラッグ操作や、タッチパネルにおけるピンチイン（縮小）、ピンチアウト（拡大）などを含めても良い。

即時応答が要求される操作と判定した場合（Ｓ７３：ＹＥＳ）、画面情報生成処理部４４に対して画面情報削減要求を行なう（Ｓ７４）。即時応答が要求される操作と判定しなかった場合（Ｓ７３：ＮＯ）、フローチャートのアプリケーション処理（Ｓ７５）に移行する。

アプリケーション処理部４３は、入力操作解析処理部４２から入力された情報をもとにアプリケーション処理を実行し、処理結果を画面情報生成処理部４４に出力する（Ｓ７５）。画面情報生成処理部４４は、アプリケーション処理部４３から入力された処理結果をもとに、クライアント端末１で表示するための画面情報の生成や、画像の符号化を行ない、送信処理部４５に出力する（Ｓ７６）。送信処理部４５は、画面情報生成処理部４４から入力された画面情報を、ネットワーク２を介してクライアント端末に送信する（Ｓ７７）。

なお、入力操作解析処理部４２において、クライアント端末１からの入力操作情報が、入力操作に対して画面表示の即時応答が要求されると判定され、画面情報削減要求がされた場合における画面情報生成処理部４４の動作については、図１１ないし図１４を参照して、後で説明する。

図９を参照して、クライアント端末１とサーバ装置３を接続するネットワーク２の回線品質確認の処理について説明する。図９において、サーバ装置３の回線品質確認処理部４６は、回線品質確認パケット８４を作成し、送信処理部４５を経由してクライアント端末に送信する（Ｓ８１）。回線品質確認パケット８４は、時刻８５と識別番号８６のフィールドを持ち、時刻８５フィールドにはパケット作成時の時刻情報、識別番号８６フィールドには各パケットを識別するための番号が設定される。

次に、クライアント端末１の回線品質確認処理部３７は、受信処理部３４を経由して受信した回線品質確認パケット８４を、フィールド値を変更せずに直ちに送信処理部３３を経由してサーバ装置３に返送する（Ｓ８２）。

サーバ装置３の回線品質確認処理部４６は、クライアント端末１から返送された回線品質確認パケット８４を、受信処理部４１を経由して受信し（Ｓ８３）、時刻８５フィールドに設定された時刻と、受信時の時刻を比較して応答時間を算出する。回線品質が良いネットワークでは応答時間が短く、回線品質が悪いネットワークでは応答時間が長くなる。したがって、該応答時間の長短により、回線品質を推定することができる。

また、サーバ装置３の回線品質確認処理部４６は、この回線品質確認を定期的に行なう。サーバ装置３の回線品質確認処理部４６は、回線品質確認処理により取得した回線品質情報を、画面情報生成処理部４４に出力する。

この時、１つの回線品質確認パケット８４の応答時間のみで推定を行なうのではなく、複数個の回線品質確認パケット８４の応答時間の平均値を算出し、ネットワークの瞬間的な揺らぎによる推定精度の悪化を抑えても良い。また、識別番号８６から、ネットワーク上で廃棄され、応答のない回線品質確認パケット８４の数を計測し、計測したパケットロス率などを回線品質の推定情報として加えても良い。

なお、ここでは、回線品質確認パケット８４を使用して、回線品質の確認を行なったが、ｐｉｎｇの応答時間やＴＣＰ（Transmission Control Protocol）のＲＴＴ（Round Trip Time）など、一般的に使用されている方法で回線品質の確認を行なっても良い。

図１０を参照して、入力操作解析処理部４２における、操作内容が、即時応答を必要とする操作であるかの判定動作について説明する。図１０において、時刻１３１が１０：２９：０１：００の入力操作情報１４１は、デバイス種別１３２がキーボードで、操作内容１３３が文字キー：Ａであるので、１０時２９分０１秒００にキーボードの文字キー「Ａ」が押されたことを表している。キーボードによる文字入力などの操作は、入力操作に対する画面表示の変化が小さく、クライアント端末に送信する画面情報のデータ量が少ないため、クライアント端末での画面表示に遅延は発生しない。また、ユーザーは、自分がキーボードで入力した文字が正しいかどうかを、クライアント端末の画面表示で確認するため、操作に対する追従性を優先するのではなく、画面表示の品質を優先する操作であると判定される。したがって、キーボード入力をしている間は、入力操作解析処理部４２は画面情報生成処理部４３に対して、画面情報削減要求を行なわない。

次に、時刻１３１が１０：２９：１０：００から１０：２９：１０：７５の入力操作情報（１４２ａ〜１４２ｄ）は、デバイス種別１３２がマウスホイールで、マウスホイールが連続して高速に回転されていることを表わしている。マウスホイールが連続して回線され、また、変化量が大きいこのような入力操作は、ユーザーがウィンドウ表示のスクロールを実施している場合などに発生し、入力操作に対して画面表示の変化が大きく、クライアント端末に送信する画面情報のデータ量が非常に多い。このため、ネットワークの回線品質が悪い場合には、クライアント端末での画面表示に遅延が発生する。また、ユーザーがマウスホイールでウィンドウ表示のスクロールを行なうのは、現在ウィンドウ上に表示されていない範囲の情報をすばやく表示しようとする場合である。すなわち、ユーザーはマウスホイールの回転よるスクロール量を把握できればよく、変化中の画面表示の品質が多少悪くても、操作に対するフィードバックを表示画面上でリニアに確認できればよい。つまり、画面表示の品質を優先するのではなく、操作に対する追従性を優先する即時応答要求操作であると判定される。この結果、この操作をしている間は、入力操作解析処理部４２は画面情報生成処理部４３に対して、画面情報削減要求１５４を行なう。

次に、時刻１３１が１０：３０：５０：７５の入力操作情報１４３は、デバイス種別１３２がマウスホイールで、前記の入力操作情報（１４２ａ〜１４２ｄ）と同じく、マウスホイールが回転されていることを表わしている。しかし、マウスホイールの入力操作が連続しておらず、変化量も「１」と小さい。このため、入力操作に対する画面表示の変化が小さく、クライアント端末に送信する画面情報のデータ量が少なく、クライアント端末での画面表示に遅延は発生しない。この時、操作に対する画面表示の内容が正しく判別できることが求められるため、操作に対する追従性を優先するのではなく、画面表示の品質を優先する操作であると判定される。すなわち、この操作をしている間は、入力操作解析処理部４２は画面情報生成処理部４３に対して、画面情報削減要求１５４を行なわない。

次に、時刻１３１が１０：３３：０７：２５から１０：３３：１３：２５の入力操作情報（１４４ａ〜１４４ｅ）の判定について説明する。時刻１３１が１０：３３：０７：２５の入力操作情報１４４ａは、デバイス種別１３２がキーボードで、操作内容１３３が機能キー：Ｃｔｒｌ、設定であり、他の入力操作との組合せ操作機能を持つＣｔｒｌキーが押されている状態を表わしている。時刻１３１が１０：３３：１０：００から１０：３３：１０：５０の入力操作情報（１４４ｂ〜１４４ｄ）は、デバイス種別１３２がマウスホイールで、マウスホイールが連続して高速に回転されていることを表している。時刻１３１が１０：３３：１３：２５の入力操作情報１４４ｅは、デバイス種別１３２がキーボードで、操作内容１３３が機能キー：Ｃｔｒｌ、解除であり、入力操作１４４ａで押されたＣｔｒｌキーが解除されたことを表わしている。

一連の入力操作（１４４ａ〜１４４ｅ）は、ユーザーが組合せ操作機能を持つＣｔｒｌキーを押しながら、マウスホイールを連続的に回転させたことを示しており、ユーザーがウィンドウ表示の拡大・縮小を実施している場合などに発生する。この操作は、入力操作に対して画面表示の変化が大きく、クライアント端末に送信する画面情報のデータ量が非常に多い。このため、ネットワークの回線品質が悪い場合には、クライアント端末での画面表示に遅延が発生する。また、スクロール操作と同様に、ユーザーは、マウスホイールの回転よる拡大・縮小の変化量を把握できればよい。すなわち、変化中の画面表示の品質が多少悪くても、操作に対するフィードバックを表示画面上でリニアに確認できればよい。したがって、画面表示の品質を優先するのではなく、操作に対する追従性を優先する即時応答要求操作であると判定される。すなわち、この操作をしている間は、入力操作解析処理部４２は画面情報生成処理部４３に対して、画面情報削減要求１５４を行なう。

なお、ここでは、マウスホイールの回転を例に説明したが、即時応答が要求される操作として、マウスによるドラッグ操作、タッチパネルにおけるピンチイン（縮小）、ピンチアウト（拡大）などを含めても良い。

次に、図１１ないし図１４を参照して、画面情報生成処理部４４が回線品質に応じて画面情報の削減を行なう動作について説明する。
まず、図１１を参照して、マウスホイールの操作が行なわれた場合における、画面表示の変化を説明する。

図１１において、画面９１は、クライアント端末１の表示デバイス３６に表示される画面である。画面９１内にウィンドウ９２が表示されている。このとき、ウィンドウ９２は、画面の上下方向にウィンドウに入りきらない情報９３の一部を表示している。この時、クライアント端末１の入力デバイス３１であるマウス９４に搭載されているマウスホイール９５を、手前方向に回転させると、ウィンドウ９２の表示は、ウィンドウ９２ａ、ウィンドウ９２ｂ、ウィンドウ９２ｃ、ウィンドウ９２ｄと変化する。マウスホイール９５の回転に合わせて、ウィンドウ９２内の表示領域９７は、表示領域９７ａ、表示領域９７ｂ、表示領域９７ｃ、表示領域９７ｄのように上に移動する。なお、動作を明示的に説明するため、表示領域９７についてのみ記載したが、表示領域９７の上下の表示領域についても同様に移動する。

クライアント端末１を操作するユーザーが、マウスホイール９５を連続的に回転させるのは、図１１に示したような、現在表示されていない領域を素早く表示するために行なうことが多い。すなわち、マウスホイール９５を回転させてから、画面表示が変化するのにタイムラグが発生し、操作に対する画面表示の追従性が失われると、ユーザーの操作感は大きく損なわれる。

図１２を参照して、画面情報生成処理部の動作を説明する。図１２において、サーバ装置３の画面情報生成処理部４３は、画面情報生成部１５１と削減制御部１５２で構成される。

画面情報生成部１５１は、アプリケーション処理部４４から入力された処理結果を基に、クライアント端末１で表示するための画面情報の生成を行なう。画面情報生成部１５１は、画面情報として削減制御部１５２に出力する。削減制御部１５２は、入力操作解析処理部４２から画面情報削減要求、回線品質確認処理部４６から回線品質情報の入力を受けつける。削減制御部１５２は、これらの情報をもとに、アプリケーション処理部４４から入力された画面情報１５５の削減制御を行なう。削減制御部１５２は、削減処理後画面情報を、送信処理部４５に出力する。削減制御部１５２は、削減制御を行なわないとき、受信した画面情報をそのまま送信処理部４５に出力する。

図１３を参照して、画面情報削減要求１５３と回線品質情報１５４をもとに、削減制御部１５２が画面情報の削減量を決定する方法について説明する。図１３において、削減処理前画面情報１６１は、画面情報を、時間経過に沿って左から右に並べたものである。また、削減処理後画面情報１６２〜１６７は、削減制御部１５２で削減制御された画面情報を、同様に時間経過に沿って左から右に並べたものである。

操作に対する追従性を優先しない操作が行なわれている場合の動作を、削減処理後画面情報１６２を参照して説明する。キーボードによる文字入力など、操作に対する追従性を優先しない操作が行なわれている間は、入力操作解析処理部４２は削減制御部１５２に対して画面情報削減要求１５３を行なわないため、削減制御部１５２は、回線品質確認処理部４６からの回線品質情報１５４の状態に係わらず、削減処理前画面情報１６１を削減することなく、削減処理後画面情報１６２として出力する。なお、回線品質情報のｄ．ｃ．は、don't careである。

次に、操作に対する追従性を優先する操作が行なわれている場合の動作を、削減処理後画面情報１６３〜１６７を参照して説明する。

マウスホイールによるスクロール操作など、操作に対する追従性を優先する操作が行なわれている間は、入力操作解析処理部４２は削減制御部１５２に対して画面情報削減要求１５３を行なう。削減制御部１５２は、回線品質確認処理部４６からの回線品質情報１５４をもとに、推定された回線品質のネットワークで大きな滞留なく送信可能なデータ量に、削減処理前画面情報１６１の情報量の削減を行ない、削減処理後画面情報１６３〜１６７として出力する。なお、削減処理後画面情報１６３は、削減処理前画面情報１６１と等しく削減を行なっていない。

回線品質確認処理部４６において測定された、クライアント端末とサーバ装置間のネットワークの回線品質は５段階に判定され、回線品質情報１５４として、品質の良いものから順に、５、４、３、２、１と設定され、削減制御部１５２で、画面情報の削減量の調整に使用される。なお、ここでは、回線品質を５段階に分類しているが、分類方法を限定するものではなく、段階を荒く、または細かくしても良い。

回線品質情報１５４が「５」の場合、回線品質がもっとも良いため、削減処理前画面情報１６１は、全く削減されないか最低限の削減が行なわれ、削減処理後画面情報１６３として出力される。図１３では、削減されない場合を示す。回線品質情報１５４が「４」の場合、回線品質が「５」に次いで良いため、削減処理前画面情報１６１は、回線品質情報１５４が「５」の場合より多くの削減が行なわれ、削減処理後画面情報１６４として出力される。ここでは、５つの画面情報のうち１つの画面情報を間引く場合を示す。なお、ここでは、５つの画面情報のうち１つの画面情報を間引いているが、削減処理後画面情報１６４のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１６１のデータ量に応じて、画面情報の間引く割合を調整する。

回線品質情報１５４が「３」の場合、回線品質が「４」に次いで良いため、削減処理前画面情報１６１は、回線品質情報１５４が「４」の場合より多くの削減が行なわれ、削減処理後画面情報１６５として出力される。ここでは、４つの画面情報のうち１つの画面情報を間引く場合を示す。なお、４つの画面情報のうち１つの画面情報を間引いているが、削減処理後画面情報１６５のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１６１のデータ量に応じて、画面情報の間引く割合を調整する。

回線品質情報１５４が「２」の場合は、回線品質が「３」に次いで良いため、削減処理前画面情報１６１は、回線品質情報１５４が「３」の場合より多くの削減が行なわれ、削減処理後画面情報１６６として出力される。ここでは、３つの画面情報のうち１つの画面情報を間引く場合を示す。なお、上記では、３つの画面情報のうち１つの画面情報を間引いているが、削減処理後画面情報１６６のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１６１のデータ量に応じて、画面情報の間引く割合を調整する。

回線品質情報１５４が「１」の場合は、回線品質が最悪であり、削減処理前画面情報１６１は、回線品質情報１５４が「２」の場合より多くの削減が行なわれ、削減処理後画面情報１６７として出力される。ここでは、２つの画面情報のうち１つの画面情報を間引く場合を示す。なお、上記では、２つの画面情報のうち１つの画面情報を間引いているが、削減処理後画面情報１６７のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１６１のデータ量に応じて、画面情報の間引く割合を調整する。

ここで、画面情報削減方法は、操作に対する追従性を優先する操作が行なわれている場合の動作を、回線品質情報１５４が変化しない場合として記載している。しかし、実際には、回線品質確認処理部４６にて定期的に回線品質の測定が行なわれ、回線品質情報１５４が変動する。このため、回線品質情報１５４が「４」から「３」に変わった場合は、画面情報削減方法は、削減処理後画面情報１６４から削減処理後画面情報１６５に変化する。

図１４を参照して、他の画面情報削減方法を説明する。図１４において、削減処理前画面情報１７１は、画面情報を、時間経過に沿って左から右に並べたものである。また、削減処理後画面情報１７２〜１７７は、削減制御部１５２で削減制御された削減後画面情報を、同様に時間経過に沿って左から右に並べたものである。

操作に対する追従性を優先しない操作が行なわれている場合の動作を、削減処理後画面情報１７２を参照して説明する。キーボードによる文字入力など、操作に対する追従をしない操作が行なわれている間は、入力操作解析処理部４２は削減制御部１５２に対して画面情報削減要求１５３を行なわないため、削減制御部１５２は、回線品質確認処理部４６からの回線品質情報１５４の状態に係わらず、削減処理前画面情報１７１を削減することなく、削減処理後画面情報１７２として出力する。

次に、操作に対する追従性を優先する操作が行なわれている場合の動作を、削減処理後画面情報１７３〜１７７を参照して説明する。マウスホイールによるスクロール操作など、操作に対する追従性を優先する操作が行なわれている間、入力操作解析処理部４２は、削減制御部１５２に対して画面情報削減要求１５３を行なう。削減制御部１５２は、回線品質確認処理部４６からの回線品質情報１５４をもとに、推定された回線品質のネットワークで大きな滞留なく送信可能なデータ量に、削減処理前画面情報１７１の情報量の削減を行ない、削減処理後画面情報１７３〜１７７として出力する。

この時、図１３では、情報量の削減方法として、画面情報を一定の割合で間引いていたが、間引いた画面情報は、クライアント端末１に送信されず、間引く量が多くなると連続性が損なわれ、滑らかに表示できない。このため、図１４では、間引く代わりに、画面の解像度を落として画面情報の削減を行なう。

回線品質情報１５４が「５」の場合は、回線品質がもっとも良いため、削減処理前画面情報１７１は、全く削減されないか最低限の解像度低減が行なわれ、削減処理後画面情報１６３として出力される。ここでは、解像度低減がされない場合を示す。

回線品質情報１５４が「４」の場合、回線品質が「５」に次いで良いため、削減処理前画面情報１７１は、回線品質情報１５４が「５」の場合より多くの削減を行ない、削減処理後画面情報１７４として出力する。ここでは、３つの画面情報のうち１つの画面情報の解像度を落とす場合を示す。

削減処理後画面情報１７４において、解像度を落とさない画面情報１７８を実線、解像度を落とす場合の画面情報１７９を点線で示す。削減制御部１５２は、解像度を落とさない画面情報１７８を２つ出力した後、例えばデータ量を５分の１となるように解像度を落した画面情報１７９を１つ出力し、以降同様に、画面情報の出力を行なう。

なお、上記では３つの画面情報のうち１つの画面の解像度を落としているが、削減処理後画面情報１７４のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１７１のデータ量に応じて、画面の解像度を落とす割合を調整する。

回線品質情報１５４が「３」の場合、回線品質が「４」に次いで良いため、削減処理前画面情報１７１は、回線品質情報１５４が「４」の場合より多くの解像度低減が行なわれ、削減処理後画面情報１７５として出力される。ここでは、２つの画面情報のうち１つの画面情報の解像度を落とす場合を示す。削減制御部１５２は、解像度を落とさない画面情報を１つ出力した後、データ量を５分の１となるように解像度を落した画面情報を１つ出力し、以降同様に、画面情報の出力を行なう。

なお、上記では２つの画面情報のうち１つの画面の解像度を落としているが、削減処理後画面情報１７５のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１７１のデータ量に応じて、画面の解像度を落とす割合を調整する。

回線品質情報１５４が「２」の場合は、回線品質が「３」に次いで良いため、削減処理前画面情報１７１は、回線品質情報１５４が「３」の場合より多くの解像度低減が行なわれ、削減処理後画面情報１７６として出力される。ここでは、３つの画面情報のうち２つの画面情報の解像度を落とす場合の例を示す。削減制御部１５２は、解像度を落とさない画面情報を１つ出力した後、データ量を５分の１となるように解像度を落した画面情報を２つ出力し、以降同様に、画面情報の出力を行なう。

なお、上記では３つの画面情報のうち２つの画面の解像度を落としているが、削減処理後画面情報１７６のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１７１のデータ量に応じて、画面の解像度を落とす割合を調整する。

回線品質情報１５４が「１」の場合は、回線品質が最も悪いため、削減処理前画面情報１７１は、回線品質情報１５４が「２」の場合より多くの解像度低減が行なわれ、削減処理後画面情報１７７として出力される。ここでは、４つの画面情報のうち３つの画面情報の解像度を落とす場合の例を示す。削減制御部１５２は、解像度を落とさない画面情報を１つ出力した後、データ量を５分の１となるように解像度を落した画面情報を３つ出力し、以降同様に、画面情報の出力を行なう。

なお、上記では４つの画面情報のうち３つの画面の解像度を落としているが、削減処理後画面情報１７７のデータ量が、あらかじめ設定されたデータ量以下となるように削減を行なうため、削減処理前画面情報１７１のデータ量に応じて、画面の解像度を落とす割合を調整する。

上記の画面情報削減方法では、操作に対する追従性を優先する操作が行なわれている場合の動作を、回線品質情報１５４が変化しない場合として記載している。しかし、実際には、回線品質確認処理部４６にて定期的に回線品質の測定が行なわれ、回線品質情報１５４が変動する。このため、回線品質情報１５４が「４」から「３」に変わった場合は、画面情報削減方法は、削減処理後画面情報１７４から削減処理後画面情報１７５に変化する。

上記の画面情報削減方法は、解像度を落とさない画面情報と、解像度を落とした画面情報を交互に送信し、また、送信の割合を変化させることにより、削減量を変化させる削減方法である。そのため、画面情報を削減した場合でも、解像度を落とした画像がクライアント端末１で表示されるため、削減量が多い場合でも、ある程度の表示の滑らかさが得られる。しかし、解像度を動的に変化させるため、図１３の画面情報削減方法より、処理が複雑になり、サーバ装置３の負担が増える可能性がある。このため、適用するシンクライアントシステムの要求条件により、図１３の第１の方法または図１４の第２の方法のどちらかを選択しても良い。

また、入力操作解析処理部４２から削減制御部１５２に出力される画面情報削減要求１５３に、操作に対する追従性を優先する即時応答要求操作の操作種別を追加し、削減制御部１５２では、入力操作解析処理部４２から入力された操作種別によって２つの画面情報削減方法を切り換えても良い。

図１５を参照して、サーバ装置３からクライアント端末１の画面情報送信方法を説明する。図１５において、サーバ装置３とクライアント端末１を接続するネットワーク２の回線品質は、良好である。サーバ装置３から送信される画面情報１０１ａは、ネットワーク２を通過し、クライアント端末１に表示される。なお、縦方向は時間経過を表しており、次にサーバ装置から送信される画面情報１０１ｂは、同様にクライアント端末１に表示される。以降、画面情報１０１ｃ、画面情報１０１ｄ、画面情報１０１ｅ、画面情報１０１ｆも、同様にクライアント端末に表示される。この時、ネットワーク２の回線品質は良好であり、サーバ側において、画面情報１０１ａから画面情報１０１ｆを順次送信した場合でも、ネットワーク２において滞留は発生せず、クライアント端末１で表示するまでの遅延ｄが大きくなることはない。

図１６を参照して、サーバ装置３とクライアント端末１を接続するネットワーク２の回線品質が悪い状態において、画面情報の削減を行なわない場合の動作を説明する。図１６において、サーバ装置３から送信される画面情報１１１ａは、ネットワーク２を通過し、クライアント端末１に表示される。なお、図の縦方向は時間経過を表しており、次にサーバ装置から送信される画面情報１１１ｂは、同様にクライアント端末１に表示される。以降、画面情報１１１ｃ、画面情報１１１ｄ、画面情報１１１ｅ、画面情報１１１ｆも、同様にクライアント端末に表示される。この時、ネットワーク２の回線品質が悪く、画面情報を送るための十分な通信帯域が確保されていないため、クライアント端末１における画面情報の受信に遅延Ｄが発生する。この結果、サーバ装置３から画面情報１１１ａ〜１１１ｆが送信される間隔に対して、クライアント端末１で画面が表示される間隔が長くなる。このような状態では、クライアント端末１における入力操作に対して、画面表示１１１ｂ〜１１１ｆに遅延が発生する。

図１７を参照して、サーバ装置３とクライアント端末１を接続するネットワーク２の回線品質が悪い場合において、操作に対する追従性を優先する場合に、サーバ装置からクライアント端末に送信される画面情報が削減される場合の動作について説明する。なお、画面情報削減方法としては、図１３を参照して説明した第１の方法で説明する。図１７において、サーバ装置３の画面情報生成処理部４４は、入力操作解析処理部４２から画面情報削減要求の入力を受けた時、クライアント端末１に送信する画面情報を一定の割合で間引き、画面情報の送信量を削減する。この時、一定の割合で間引かれる画面情報の割合は、回線品質確認処理部４６により入力された回線品質情報により決定される。回線品質が良い場合は、間引く割合を減らし、回線品質が悪くなるに従い、間引く割合を多くする。

図１７において、サーバ装置３は、画面情報１２１ａを送信した後、次の画面情報１２１ｂについて、画面情報生成処理部４４において削除し、クライアント端末１に送信しない。サーバ装置３は、画面情報１２１ｃ、画面情報１２１ｄを送信した後、画面情報１２１ｅについて削除する。一方、画面情報１２１ｆは送信される。

画面情報の間引きが発生するため、クライアント端末１に表示される画面表示は、画面表示１２１ａ、画面表示１２１ｃ、画面表示１２１ｄ、画面表示１２１ｆとなり、一部の画面情報は表示されない。しかし、送受信するデータ量を減らすことにより、サーバ装置３からクライアント端末１に画面情報を送信する時に発生する遅延ｄを減少させることができる。

本実施例によれば、シンクライアントシステムにおいて、ユーザーの操作に対して、追従性が要求される処理の応答性が改善される。また、品質の異なるネットワークや品質が動的に変化するネットワークを介して接続された場合でも、回線品質に応じて柔軟な画面表示が可能である。

１…クライアント端末、２…ネットワーク、３…サーバ装置、４…シンクライアントシステム、３１…入力デバイス、３２…入力操作情報作成部、３３…送信処理部、３４…受信処理部、３５…画面表示処理部、３６…表示デバイス、３７…回線品質確認処理部、４１…受信処理部、４２…入力操作解析処理部、４３…アプリケーション処理部、４４…画面情報生成処理部、４５…送信処理部、４６…回線品質確認処理部、８４…回線品質確認パケット、８５…時刻、８６…識別番号、９１…画面、９２…ウィンドウ、９３…情報、９４…マウス、９５…マウスホイール、９７…表示領域、１０１…画面情報、１０２…画面表示、１１１…画面情報、１１２…画面表示、１２１…画面情報、１２２…画面表示、１３２…デバイス種別、１３３…操作内容、１３４…時刻、１３５ａ…文字キー、１３５ｂ…カーソルキー、１３５ｃ…機能キー、１３５ｄ…Ｘ、Ｙ、１３５ｅ…回転方向、変化量、１３６ａ…キーボード、１３６ｂ…マウスポインタ、１３６ｃ…マウスホイール、１４１…時刻、１４２…時刻、１４３…時刻、１４４…時刻、１５１…画面情報生成部、１５２…削減制御部、１６１…削減処理前画面情報、１６２〜１６７…削減処理後画面情報、１７１…削減処理前画面情報、１７２〜１７７…削減処理後画面情報、１７８…解像度を落とさない画面情報、１７９…解像度を落とした画面情報。

Claims (6)

1. ネットワークで接続されたクライアント端末と、サーバ装置とを含むシンクライアントシステムにおいて、
   前記クライアント端末は、入力された操作情報を前記ネットワークを介して前記サーバ装置に送信し、
   前記サーバ装置は、受信した前記操作情報に基づいて、アプリケーションの処理を行ない、処理結果に基づいて、画像情報を生成し、この画像情報を前記ネットワークを介して前記クライアント端末に送信し、
   前記クライアント端末は、受信した前記画像情報を表示し、
   前記クライアント端末および前記サーバ装置は、前記ネットワークの回線品質を測定する回線品質確認処理部をそれぞれ備え、
   前記サーバ装置は、前記回線品質に基づいて、前記画像情報のデータ量を決定することを特徴とするシンクライアントシステム。
2. 請求項１に記載のシンクライアントシステムであって、
   前記ネットワークの回線品質の測定を予め定めた周期で実施し、
   前記サーバ装置は、動的に変化する回線品質に基づいて、前記画像情報のデータ量を決定することを特徴とするシンクライアントシステム。
3. 請求項１または請求項２に記載のシンクライアントシステムであって、
   前記サーバ装置は、前記操作情報を解析し、解析結果に基づいて、前記画像情報のデータ量を決定することを特徴とするシンクライアントシステム。
4. ネットワークで接続されたクライアント端末から操作情報を受信して、アプリケーションの処理を行ない、処理結果に基づいて、画像情報を生成し、この画像情報を前記ネットワークを介して前記クライアント端末に送信するサーバ装置において、
   前記ネットワークの回線品質を測定する回線品質確認処理部を備え、前記回線品質に基づいて、前記画像情報のデータ量を決定することを特徴とするサーバ装置。
5. 請求項４に記載のサーバ装置であって、
   前記ネットワークの回線品質の測定を予め定めた周期で実施し、動的に変化する回線品質に基づいて、前記画像情報のデータ量を決定することを特徴とするサーバ装置。
6. 請求項４または請求項５に記載のサーバ装置であって、
   前記操作情報を解析し、解析結果に基づいて、前記画像情報のデータ量を決定することを特徴とするサーバ装置。

Images