JP2012215988A - 画面転送システムにおけるサーバ及びその制御方法 - Google Patents

Abstract

【課題】文字入力を続けていくとキャレットがクライアント表示領域から外れてしまうような課題に対して、キャレット移動にクライアント表示領域が適切に追従する。
【解決手段】サーバ２００が生成したデスクトップ画面であるサーバ画面Ｇｓの一部を切り出したクライアント画面Ｇｃを表示する携帯端末１００は、ユーザ操作に基づくユーザ入力信号を逐次サーバ２００に送信する。サーバ２００では、デスクトップ画面に含まれる文字入力キャレットが移動する入力イベントを検出し、文字入力キャレットがクライアント画面Ｇｃの外側へ移動したことを判断すると、クライアント画面Ｇｃの位置を特定するための情報（画面切り出し位置（例えば左上隅））を、文字入力キャレットがクライアント画面Ｇｃに含まれる位置に、決定する。
【選択図】図１

Description

本発明は、画面転送システムにおけるサーバ及びその制御方法に関し、特に、サーバ画面を切り出してクライアント画面を生成する場合のクライアント端末の使い勝手を向上させる技術に関する。

サーバ・クライアント型のコンピュータシステムにおいて、サーバが生成するデスクトップ画面をクライアントが表示する「画面転送システム」がある。このような画面転送システムのハードウェア・アーキテクチャとして、一例として、サーバ側にデスクトップパソコン、クライアント側にいわゆるスマートフォンを用いることがある。

上記ハードウェア・アーキテクチャは一例ではあるが、クライアントをスマートフォン等の携帯端末とすると、ユーザがクライアントを携行して外出先等で利用可能になるので、メリットがある。しかしながら、携帯端末は通常、サーバ側よりもクライアント側の画面解像度が低いというデメリットもある。

クライアント側の画面解像度が低いため、ユーザの操作性を向上するためには、例えば、デスクトップ画面全体を縮小して表示したり、一部を切り取って表示（トリミング）したりする必要がある。本発明は、後者、すなわち、デスクトップ画面の一部を切り取って表示する場合に生じる課題に対応する技術である。

特許文献１には、上述のような、デスクトップ画面の一部を切り取って表示する画面転送システムの一例が記載されていると考えられる。特許文献１では、クライアント装置は、サーバ装置から「描画データＧ」を受け取って、その一部を表示する。表示されている画面領域の情報（「表示領域情報」）をサーバ装置に送信する。サーバ装置は、表示されている画面領域に「選択されたオブジェクト」が収まるか収まらないかを判断して、「表示領域情報」を変更してクライアントに送り返す。「オブジェクト」とは、リストボックスやテキストボックスなどであり（段落００２８参照）、それを選択するとは、操作対象として指示することを指すと解される。

特開２００９−２２３８３１号公報

一般的に、クライアント表示画面は、デスクトップ画面よりも小さい。そのため、キーボード入力によって文字入力を続けていくとキャレットがクライアント表示領域から外れてしまうような問題があった。キャレットがクライアント表示領域から外れると入力を確認することができず、不便である。また、キーボード入力によって選択可能項目を移動した場合（Ｔａｂキー押下による移動など）でも、キャレットがクライアント表示領域から外れてしまうような問題があった。

そこで本発明は、上記実情に鑑みて、キャレット移動にクライアント表示領域が適切に追従することが可能な画面転送システムにおけるサーバ及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、第１の態様として、ネットワークを介してクライアント端末とサーバとが通信可能に接続する画面転送システムにおける前記サーバであって、デスクトップ画面を生成するサーバ画面生成手段と、前記デスクトップ画面から一部を切り出してクライアント端末における表示領域であるクライアント画面とする画面切り出し手段と、前記デスクトップ画面に含まれる文字入力キャレットが移動する入力イベントを検出し、前記文字入力キャレットが前記クライアント画面の外側へ移動したことを判断するキャレット移動制御手段と、前記文字入力キャレットが前記クライアント画面の外側へ移動したと判断された場合に、前記クライアント画面の切り出し位置を、前記文字入力キャレットが前記クライアント画面に含まれる位置に、決定し、決定した切り出し位置を前記画面切り出し手段に入力する画面切り出し位置決定手段と、を備え、前記画面切り出し手段は、入力された前記決定した切り出し位置に基づいて前記デスクトップ画面から一部の切り出しを行うことを特徴とする、画面転送システムにおけるサーバを提供するものである。

また、上記目的を達成するために、本発明は、第２の態様として、サーバが生成したデスクトップ画面から切り出された一部をクライアント画面としてクライアント端末に転送する画面転送システムにおけるサーバの制御方法であって、前記デスクトップ画面に含まれる文字入力キャレットが移動する入力イベントを検出する工程と、前記検出する工程の結果、前記文字入力キャレットが前記クライアント画面の外側へ移動したことを判断するキャレット移動判断工程と、前記文字入力キャレットが前記クライアント画面の外側へ移動したと判断された場合に、前記クライアント画面の切り出し位置を、前記文字入力キャレットが前記クライアント画面に含まれる位置に、決定する画面切り出し位置決定工程と、決定した切り出し位置に基づいて前記デスクトップ画面から一部の切り出しを行う工程と、を含むことを特徴とする、画面転送システムにおけるサーバの制御方法を提供するものである。

本発明によれば、キャレット移動にクライアント表示領域が適切に追従することが可能となる。

第１の実施形態の機能構成を示すブロック図である。 第１の実施形態におけるサーバ画面とクライアント画面とキャレットの概念を説明するための概念図である。 第１の実施形態の処理の流れを示すフローチャート図である。 第２の実施形態の処理の流れを示すフローチャート図である。 第２の実施形態におけるカーソルキーや文字変換確定キー入力による画面切り出し位置決定を説明するための概念図である。 第２の実施形態におけるＴａｂキー入力による画面切り出し位置決定を説明するための概念図である。 第３の実施形態の機能構成を示すブロック図である。

以下、本発明を実施するために好適な実施の形態を説明する。
本実施形態は、画面転送システムであって、そのハードウェア・アーキテクチャは、種々のものが考えられるが、一例として、サーバ側にデスクトップパソコン、クライアント側にいわゆるスマートフォンを用いる。図１では「サーバ２００」がデスクトップパソコンに、「携帯端末１００」がスマートフォンに対応する。

（第１の実施形態）
図１に、本実施形態の機能構成を示す。
本実施形態に係る画面転送システムは、サーバ２００と携帯端末１００が相互に通信可能にネットワークを介して接続されている。サーバ２００、携帯端末１００は、プログラム制御により、以下に説明する各手段が構成される。

サーバ２００は、サーバ画面生成手段２０１と、画面切り出し手段２０２と、キャレット移動制御手段２０３と、画面切り出し位置決定手段２０４とを有する。キャレット移動制御手段２０３と画面切り出し位置決定手段２０４の備える機能については、携帯端末１００の各部の説明の後に詳述する。

サーバ画面生成手段２０１は、サーバ２００による情報処理の結果や、携帯端末１００から受信したユーザ入力等に基づいて、サーバ画面Ｇｓを逐次生成する機能を備える。本実施形態では、サーバ画面Ｇｓは、ＧＵＩ（グラフィカル・ユーザ・インターフェース）を提供するサーバ２００のＯＳ（基本ソフトウェア）のデスクトップ画面そのものである。

図２に、本実施形態におけるサーバ画面とクライアント画面とキャレットの概念を説明するための概念図を示す。
サーバ画面Ｇｓは、デスクトップ画面であって、例えば、左上隅に原点（０、０）が置かれる。デスクトップ画面の描画オブジェクトの一つである文字入力キャレット（以下、単に「キャレット」と呼ぶ）は、座標（ｘ，ｙ）で位置を特定できる。

クライアント画面Ｇｃは、サーバ画面Ｇｓの中の、クライアント画面表示手段１０１が表示可能な表示領域（クライアント表示領域）である。クライアント画面Ｇｃは、通常矩形をしているので、左上隅座標（ｃｘ，ｃｙ）と、クライアント表示領域の高さｈと幅ｗとで、位置を特定できる。高さｈと幅ｗとが変化しない場合、左上隅座標（ｃｘ，ｃｙ）だけで位置を特定できる。

画面切り出し位置決定手段２０４は、クライアント画面Ｇｃの位置を特定する情報を決定して、画面切り出し手段２０２に入力する。画面切り出し手段２０２は、入力されたクライアント画面Ｇｃの位置を特定する情報に基づいて、サーバ画面Ｇｓからクライアント画面Ｇｃに相当する領域（クライアント表示領域）を切り出す。画面切り出し手段２０２は、切り出した画像であるクライアント画面Ｇｃを、圧縮暗号化等して、携帯端末１００に送信する。

携帯端末１００は、クライアント画面表示手段１０１と、ユーザ入力手段１０２とを有する。

クライアント画面表示手段１０１は、例えば液晶表示装置等を備えており、その表示装置に、サーバ２００から受信したクライアント画面Ｇｃを表示する。

ユーザ入力手段１０２は、ユーザによる操作入力（ユーザ操作）に基づいて、ユーザ入力信号を生成し、ユーザ入力信号を携帯端末１００ないし本実施形態に係る画面転送システムに入力する機能を備える。上記したクライアント画面表示手段１０１が備える表示装置と一体化していてもよい。

ユーザ入力手段１０２により入力されるユーザ入力信号は、逐次、サーバ画面生成手段２０１に送信される。例えば、ある文字入力がなされると、サーバ画面生成手段２０１が生成したサーバ画面Ｇｓに当該文字入力が反映される。したがって、サーバ画面Ｇｓから切り出されるクライアント画面Ｇｃにも反映される。他に例えば、カーソル移動入力についても同様に反映される。

しかしながら、例えばフリック操作などのカーソル移動入力によってカーソルがクライアント画面Ｇｃより外側に移動してしまったような場合には、画面切り出し位置決定手段２０４が、そのような入力イベントに基づいて新たに適切な画面切り出し位置を決定する。決定した新しい画面切り出し位置は、クライアント画面Ｇｃの位置を特定する情報で表すことができる。画面切り出し位置決定手段２０４は、クライアント画面Ｇｃの位置を特定する情報を画面切り出し手段２０２に入力する。

本実施形態においては、フリック操作などのカーソル移動入力のみならず、或いはそれに代えてキャレットが移動する入力イベントも監視するようにしてもよい。サーバ２００は、キャレット移動制御手段２０３を備える。キャレット移動制御手段２０３は、キャレットが移動する入力イベントについては、逐次検出する。そして、検出したキャレットが移動する原因となる入力イベントに応じて、キャレット移動制御手段２０３は、移動後のキャレット座標が、クライアント画面Ｇｃより外側に移動してしまったような場合には、画面切り出し位置決定手段２０４に移動後のキャレット座標を送り、新たに適切な画面切り出し位置を決定させる制御を行う。

画面切り出し位置決定手段２０４が新しく決定する画面切り出し位置（クライアント画面Ｇｃの左上隅座標（ｃｘ，ｃｙ））は、例えば、次式のように決定する。
ｃｘ＝ｘ−ｗ／２
ｃｙ＝ｙ−ｈ／２
この場合、移動後のキャレット座標が新しく切り出されるクライアント画面Ｇｃの中央に来るように、切り出される。

図３に、本実施形態におけるキャレット座標に応じたクライアント画面Ｇｃの切り出し位置の新規決定処理の流れを示す。
上述のように、キャレット移動制御手段２０３は、ユーザ入力手段１０２が入力するユーザ入力信号からキャレット移動に関する入力イベントを逐次検出している。キャレットが移動すると（ステップＳ１０１）、キャレット移動制御手段２０３は、移動後のキャレット座標が、クライアント画面Ｇｃの、すなわちクライアント表示領域の、外側であるか否かを判断する（ステップＳ１０２）。

外側でない場合は何もしない。外側である場合、キャレット移動制御手段２０３は、画面切り出し位置決定手段２０４を制御して、新しい画面切り出し位置を決定する（ステップＳ１０３）。

このような処理の結果、本実施形態によれば、文字入力を続けていくとキャレットがクライアント表示領域から外れてしまうようなことがなく、キャレット移動にクライアント表示領域が適切に追従することができる。したがって、操作性が向上する。

（第２の実施形態）
本実施形態では、第１の実施形態と同様の構成、処理の流れを行う一方で、キャレット移動制御手段２０３がキャレットが移動する入力イベントの種類に応じて、適切なクライアント画面Ｇｃの移動位置を判断する。

図４に、本実施形態の処理の流れを示す。
ステップＳ２０１、Ｓ２０２は図３のステップＳ１０１、Ｓ１０２と同様である。
移動後のキャレット座標がクライアント表示領域の外側であった場合、キャレット移動制御手段２０３は、キャレット座標を移動させた入力イベントが、カーソルキー若しくは変換文字確定キーの押下であったか否かを判断する（ステップＳ２０３）。

文字変換確定キーはＩＭ（インプットメソッド）によって異なるが、Ｅｎｔｅｒキーがデファクトスタンダードである。Ｅｎｔｅｒキー押下を検出してもよい。ＩＭの設定により文字変換が自動でなされるような場合は、文字変換イベントを検出してもよい。

カーソルキーや文字変換確定キー入力でキャレットが移動した場合、クライアント画面Ｇｃの移動量を小さくする（ステップＳ２０４）。これは、新たに決定されるクライアント表示領域の切り出し位置を、第１の実施形態における説明で例示したようにキャレットが常に新規クライアント画面Ｇｃの中央に位置するような態様ではなくて、新規クライアント表示領域を現在のクライアント表示領域から、少し（例えば数文字分）動かしたところに位置させる態様である。

図５に、説明例を示す。
図５（ａ）は、クライアント画面Ｇｃ＿ｐｒｅｖに「今日の天気は」と入力したときの状態を示す。図５（ｂ）は、さらに「今日の天気は晴れです。」と入力し、文字変換を確定させた場合の状態を示す。本実施形態により新しく決定された画面切り出し位置に基づくクライアント画面Ｇｃ＿ｎｅｘｔは、サーバ画面Ｇｓ上において、クライアント画面Ｇｃ＿ｐｒｅｖから数文字分移動した箇所である。

このように、本実施形態は、画面切り出し位置決定手段２０４が、画面切り出し位置を、文字の入力によってキャレットが移動した場合は、入力した文字がキャレットよりもクライアント画面Ｇｃの中央寄りになる画面切り出し位置に決定する。より具体的には、中央右寄りの位置にキャレットが来るようにクライアント表示領域の切り出し位置を決定する。そのため、ユーザは、既に入力した文字が把握しやすくなる。

再び図４を参照する。
Ｔａｂキーなど、選択可能項目を移動するキーによりキャレットが移動した場合（ステップＳ２０５）、キャレット位置がクライアント画面Ｇｃの中央左になるように調整する（ステップＳ２０６）。これも、新たに決定されるクライアント表示領域の切り出し位置を、第１の実施形態における説明で例示したようにキャレットが常に新規クライアント画面Ｇｃの中央に位置するような態様ではない。移動したキャレットが中央左（文字を左から右に書く言語の場合）になるように新規クライアント表示領域の切り出し位置を調整する態様である。

入力フォームなど選択可能項目が複数あった場合、これらの選択をキーボード入力により移動させる場合、選択可能項目を移動するキーを入力すると次の選択可能項目にキャレットが移動する。選択可能項目を移動するキーは、ＯＳやアプリケーションプログラムによって異なるが、Ｔａｂキーがデファクトスタンダードである。

図６に、説明例を示す。
図６（ａ）は、本実施形態による画面切り出し位置決定処理前の状態を示す。図５（ｂ）は、Ｔａｂキーが押下された場合の、新しく決定された画面切り出し位置に基づくクライアント画面Ｇｃ＿ｎｅｘｔを示す。

このように、本実施形態は、画面切り出し位置決定手段２０４が、画面切り出し位置を、入力フォームの切替など選択可能項目の移動によってキャレットが移動した場合は、これから入力する文字がキャレットよりもクライアント画面Ｇｃの中央寄りになる画面切り出し位置に決定する。より具体的には、中央左寄りの位置にキャレットが来るようにクライアント表示領域の切り出し位置を決定する。そのため、ユーザは、これから入力する文字を視認しやすくなる。

再び図４を参照する。
画面切り出し位置決定手段２０４は、ステップＳ２０４若しくはステップＳ２０６での判断に基づいて画面切り出し位置を決定する（ステップＳ２０７）。

（第３の実施形態）
図７に、本実施形態の機能構成を示す。
本実施形態は、第１又は第２の実施形態の構成に加えて、キャレット移動記憶手段２０５を有する。キャレット移動記憶手段２０５は、キャレット座標を複数記憶するバッファである。キャレット移動制御手段２０３は、キャレットが移動する入力イベントを逐次検出しており、移動後のキャレット座標を数個、キャレット移動記憶手段２０５に記憶させる。

また、キャレット移動制御手段２０３は、キャレット移動記憶手段２０５に記憶されているキャレット座標から解析されるキャレット移動の軌跡に応じて、新しく決定する画面切り出し位置を調整する。この調整は、図３のステップＳ１０３若しくは図４のステップＳ２０７の直前に実行する。

この調整は、具体的には、次のものである。
キャレット移動の軌跡が、横方向であり、かつ、とびとび（例えば１０文字などの所定の数の文字数分以上のキャレット移動量）である場合、キャレット移動制御手段２０３は、操作しているユーザが一度に変換する文字数が多いユーザであると判断する。そして、クライアント表示領域の移動量をデフォルトより増やす。ここで、クライアント表示領域の移動量とは図５を参照して説明した「移動量」を指す。

このように、本実施形態は、記憶した複数のキャレット座標から解析される移動の軌跡の間隔が大きい場合は、クライアント表示領域の切り出し開始位置の移動量を大きく調整する。そのため、一度に変換する文字数が多く、長い文を一気に変換する傾向のあるユーザにとって使いやすくすることができる。

また、キャレット移動の軌跡が、横方向であり、かつ、範囲が狭い（例えば５文字などの所定の数の文字数分以下のキャレット移動量）である場合、キャレット移動制御手段２０３は、操作しているユーザが一度に変換する文字数が少ないユーザであると判断する。そして、クライアント表示領域の移動量をデフォルトより減らす。

このように、本実施形態は、記憶した複数のキャレット座標から解析される移動の軌跡の間隔が狭い場合は、クライアント表示領域の切り出し開始位置の移動量を小さく調整する。そのため、一度に変換する文字数が少なく、短い文で変換する傾向のあるユーザにとって使いやすくすることができる。

また、キャレットの移動の軌跡が、縦方向であり、かつ、とびとび（例えば、数ピクセルなど所定の第１の距離以上のキャレット移動量）である場合、キャレット移動制御手段２０３は、Ｔａｂキーでの入力フォームの移動（ないし選択可能項目の移動）であると判断する。そして、これから入力する文字がキャレットよりもクライアント画面Ｇｃの中央寄りになる画面切り出し位置に決定する。

より具体的には、中央左寄りの位置にキャレットが来るようにクライアント表示領域の切り出し位置を決定する。そのため、ユーザは、これから入力する文字を視認しやすくなる。したがって、図４のステップＳ２０６の処理と同様の効果が得られる。

また、キャレットの移動の軌跡が、縦方向であり、かつ、範囲が狭い（例えば、数ピクセルなど所定の第２の距離以下のキャレット移動量）場合、キャレット移動制御手段２０３は、カーソルキーや文字変換確定キー入力によるキャレットの移動であると判断する。そして、入力した文字がキャレットよりもクライアント画面Ｇｃの中央寄りになる画面切り出し位置に決定する。

より具体的には、中央右寄りの位置にキャレットが来るようにクライアント表示領域の切り出し位置を決定する。そのため、ユーザは、既に入力した文字が把握しやすくなる。したがって、図４のステップＳ２０４の処理と同様の効果が得られる。

上記各実施形態で開示した構成は、互いに組み合わせることが可能である。

１００ 携帯端末
１０１ クライアント画面表示手段
１０２ ユーザ入力手段
２００ サーバ
２０１ サーバ画面生成手段
２０２ 画面切り出し手段
２０３ キャレット移動制御手段
２０４ 画面切り出し位置決定手段
２０５ キャレット移動記憶手段
Ｇｓ サーバ画面
Ｇｃ クライアント画面

Claims (8)

1. ネットワークを介してクライアント端末とサーバとが通信可能に接続する画面転送システムにおける前記サーバであって、
   デスクトップ画面を生成するサーバ画面生成手段と、
   前記デスクトップ画面から一部を切り出してクライアント端末における表示領域であるクライアント画面とする画面切り出し手段と、
   前記デスクトップ画面に含まれる文字入力キャレットが移動する入力イベントを検出し、前記文字入力キャレットが前記クライアント画面の外側へ移動したことを判断するキャレット移動制御手段と、
   前記文字入力キャレットが前記クライアント画面の外側へ移動したと判断された場合に、前記クライアント画面の切り出し位置を、前記文字入力キャレットが前記クライアント画面に含まれる位置に、決定し、決定した切り出し位置を前記画面切り出し手段に入力する画面切り出し位置決定手段と、を備え、
   前記画面切り出し手段は、入力された前記決定した切り出し位置に基づいて前記デスクトップ画面から一部の切り出しを行う
   ことを特徴とする、画面転送システムにおけるサーバ。
2. 前記画面切り出し位置決定手段は、前記キャレット移動制御手段により、前記入力イベントが、カーソルキー又は文字変換入力確定キーの押下であると判断された場合、前記切り出し位置を、前記文字入力キャレットが新しく決定されるクライアント画面の中央右寄りに置かれる位置に、決定することを特徴とする、請求項１に記載の画面転送システムにおけるサーバ。
3. 前記画面切り出し位置決定手段は、前記キャレット移動制御手段により、前記入力イベントが、選択可能項目の移動キーの押下であると判断された場合、前記切り出し位置を、前記文字入力キャレットが新しく決定されるクライアント画面の中央左寄りに置かれる位置に、決定することを特徴とする、請求項１又は２に記載の画面転送システムにおけるサーバ。
4. 前記キャレット移動制御手段が検出した前記入力イベントにより移動した後の文字入力キャレットの座標を複数記憶する記憶手段を備え、
   前記キャレット移動制御手段は、前記記憶手段の記憶内容に基づき、前記文字入力キャレットの移動の軌跡を解析し、
   前記画面切り出し位置決定手段は、前記キャレット移動制御手段による解析の結果、前記座標の移動が横方向の移動であり且つ前記座標の移動量が第１の閾値以上である場合、前記切り出し位置を左寄りに調整して決定することを特徴とする、請求項１から３のいずれか１項に記載の画面転送システムにおけるサーバ。
5. 前記画面切り出し位置決定手段は、前記キャレット移動制御手段による解析の結果、前記座標の移動が横方向の移動であり且つ前記座標の移動量が第２の閾値以下である場合、前記切り出し位置を右寄りに調整して決定することを特徴とする、請求項４に記載の画面転送システムにおけるサーバ。
6. 前記画面切り出し位置決定手段は、前記キャレット移動制御手段による解析の結果、前記座標の移動が縦方向の移動であり且つ前記座標の移動量が第３の閾値以上である場合、前記切り出し位置を、前記文字入力キャレットが新しく決定されるクライアント画面の中央左寄りに置かれる位置に、決定することを特徴とする、請求項４又は５に記載の画面転送システムにおけるサーバ。
7. 前記画面切り出し位置決定手段は、前記キャレット移動制御手段による解析の結果、前記座標の移動が縦方向の移動であり且つ前記座標の移動量が第４の閾値以下である場合、前記切り出し位置を、前記文字入力キャレットが新しく決定されるクライアント画面の中央右寄りに置かれる位置に、決定することを特徴とする、請求項４から６のいずれか１項に記載の画面転送システムにおけるサーバ。
8. サーバが生成したデスクトップ画面から切り出された一部をクライアント画面としてクライアント端末に転送する画面転送システムにおけるサーバの制御方法であって、
   前記デスクトップ画面に含まれる文字入力キャレットが移動する入力イベントを検出する工程と、
   前記検出する工程の結果、前記文字入力キャレットが前記クライアント画面の外側へ移動したことを判断するキャレット移動判断工程と、
   前記文字入力キャレットが前記クライアント画面の外側へ移動したと判断された場合に、前記クライアント画面の切り出し位置を、前記文字入力キャレットが前記クライアント画面に含まれる位置に、決定する画面切り出し位置決定工程と、
   決定した切り出し位置に基づいて前記デスクトップ画面から一部の切り出しを行う工程と、
   を含むことを特徴とする、画面転送システムにおけるサーバの制御方法。

Images