JP2010165236A - 表示領域決定装置、表示領域決定方法およびプログラム - Google Patents

Abstract

【課題】グラフィカルユーザインタフェースの操作に応じて適切に画面表示の対象領域を移動させることのできる表示領域決定装置の提供。
【解決手段】グラフィカルユーザインタフェースにおいて、表示領域決定装置は、利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出し、その差分領域を新たに表示対象領域に設定し、表示する。
【選択図】図１

Description

本発明は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて対話的に画面を切り替えるコンピュータにおいて、次に表示する画面を最適化する表示領域決定装置、表示領域決定方法およびプログラムに関する。

非特許文献１は、携帯電話端末を用いて、自宅や会社にあるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）をコントロールする環境を提供するクライアントソフトウェアの操作方法が記載されている。同文献によれば、クライアントソフトウェアは、設定項目として「自動ウィンドウ移動」機能を有しており、同機能をオンにすると、新たにウィンドウや、ダイアログ、アラートが開いた場合や、背後のウィンドウをクリックした場合等のトップウィンドウの変化が生じると、新しいトップウィンドウの左上隅の位置へ自動的に移動することが記載されている。

また、特許文献１には、コンピュータ画面を特定のタイミングで蓄積し、蓄積した画像情報間の差異から操作履歴を抽出する手段と、抽出した操作履歴を文字情報の連結でデータベースに蓄積する手段を設けた入力履歴蓄積装置が開示されている。

特開２０００−１６３６０２号公報

株式会社キットピーク、"Ｍｏｂｉｌｅ2ＰＣｉアプリ操作編"、［online］、［平成20年12月8日検索］、インターネット〈URL：http://www.kittpeak.co.jp/mobile2pc/iappli.html#autojump〉

しかしながら、非特許文献１の「自動ウィンドウ移動」機能では、あくまでトップウィンドウの変化により動作するものであり、トップウィンドウに変化のない場合の操作には対応していないという問題点がある。例えば、利用者の操作により、ウィンドウ内の領域やウィンドウ以外の領域に変化が生じたとしても、当該領域に表示領域を移動させることは不可能である。

特許文献１は、ウィンドウ内の領域やウィンドウ以外の領域の変化から利用者の操作を抽出する技術であるが、抽出した操作履歴やその過程で得られる画像データの差分情報を表示に反映することには全く触れられていない。

本発明は、上記した事情に鑑みてなされたものであって、その目的とするところは、上記トップウィンドウの変化が伴わないような操作であっても、適切に表示領域を移動させることのできる表示領域決定装置、表示領域決定方法およびプログラムを提供することにある。

本発明の第１の視点によれば、利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出する差分領域抽出手段と、前記差分領域を表示領域の移動先候補として設定する移動先領域設定手段とを備える表示領域決定装置が提供される。

本発明の第２の視点によれば、利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出し、前記差分領域を表示領域の移動先候補として設定する移動先領域決定方法が提供される。

本発明の第３の視点によれば、利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出する処理と、前記差分領域を表示領域の移動先候補として設定する処理とをコンピュータに実行させるプログラムが提供される。

本発明によれば、利用者の操作が、トップウィンドウに変更が生じさせないものであっても、望ましい表示領域の移動先候補を設定することが可能となる。その理由は、画像が変化した領域（差分領域）を抽出した上で、その領域を表示領域の移動先候補として設定するよう構成したことにある。

本発明の第１の実施形態に係る表示領域決定装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。 画面転送システムに本発明を適用した構成を示す図である。 画面転送システムのサーバコンピュータに表示されているデスクトップ画面の例である。 画面転送システムのクライアント端末を操作する利用者が図４のデスクトップ画面の別のフォルダを選択した状態を示す図である。 画面画像取得手段により画面画像記憶部に記憶される情報を示す図である。 図５の操作により抽出される差分領域を示す図である。 本発明の第２の実施形態に係る表示領域決定装置の構成例を示すブロック図である。 本発明の第２の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。 画面転送システムに本発明を適用した構成を示す別の図である。 本発明の第３の実施形態に係る表示領域決定装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。 画面転送システムに本発明を適用した構成を示す別の図である。 画面転送システムのサーバコンピュータに表示されているデスクトップ画面の別の例である。 画面画像取得手段により画面画像記憶部に記憶される情報を示す図である。 差分領域抽出手段により差分領域記憶部に記憶される情報を示す図である。 画面転送システムのクライアント端末を操作する利用者が図１４のデスクトップ画面の別のフォルダを選択した状態を示す図である。 画面転送システムのクライアント端末を操作する利用者が図１４のデスクトップ画面の別のフォルダを選択した時点において画面画像記憶部に記憶される情報を示す図である。 図１７の操作により抽出される差分領域を示す図である。 差分領域からの非関連差分領域の削除を説明するための図である。 本発明の第４の実施形態に係る表示領域決定装置の構成例を示すブロック図である。 本発明の第４の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。 画面転送システムに本発明を適用した構成を示す別の図である。 図１３の画面転送システムのデスクトップ画面を閲覧するクライアント端末の表示領域の遷移を示す図である。 本発明の第５の実施形態に係る表示領域決定装置の構成例を示すブロック図である。 本発明の第５の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。 画面転送システムに本発明を適用した構成を示す別の図である。 図２７の画面転送システムのデスクトップ画面を閲覧するクライアント端末の表示領域の遷移を示す図である。

続いて、本発明の好適な実施形態について図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る表示領域決定装置の構成例を示すブロック図である。図１を参照すると、本発明の第１の実施形態に係る表示領域決定装置は、利用者からの入力を判定し、その入力時間を取得する入力判定手段１０１と、画面の画像が変化する度にその画面画像を取得する画面画像取得手段１０２と、画面画像取得手段が取得した画面画像を記憶しておく画面画像記憶部１０３と、入力前後の画像を比較し、差分が認められた領域を抽出する差分領域抽出手段１０４と、差分領域抽出手段１０４で抽出された領域を表示領域の移動先候補として設定する移動先領域設定手段１０５とを、備えて構成される。

入力判定手段１０１は、利用者によるマウスやキー入力などを認識し、入力直後に、その入力のあったタイミングとして、入力時間を差分領域抽出手段１０４へ伝える。

画面画像取得手段１０２は、画面画像が更新される度にその画像データと更新された時間を取得する。そして、時間データと取得した画像データとを画面画像記憶部１０３に記憶させる。また、画面画像取得手段１０２が画面画像を取得するタイミングは、画面画像更新の都度としているが、予め設定した一定時間とすることもできる。

画面画像記憶部１０３は、画面画像取得手段１０２より受信した時間データと画像データとを対応させて記憶する。

差分領域抽出手段１０４は、入力判定手段１０１から入力時間を受信すると、その時間の前後の画像データを画面データ記憶部１０３から参照及び比較することで、それら画像データにおいて画像が変化した領域を抽出し、その領域を表す座標情報を移動先領域設定手段１０５に送信する。このとき、差分領域抽出手段１０４が、抽出し、移動先領域設定手段１０５に送信する領域は複数であってもよい（図７参照）。

移動先領域設定手段１０５は、差分領域抽出手段１０４から受信した座標で表される領域を表示領域の移動先候補として設定する。

これらの手段は、表示領域決定装置を構成する１または２以上のコンピュータに実行させる１または２以上のプログラムによって実現可能である。

次に、上記本実施形態に係る表示領域決定装置の動作について図面を参照して詳細に説明する。

図２は、本発明の第１の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。図２を参照すると、まず、利用者から入力があった場合、入力判定手段１０１が、直ちに入力のあった時間を差分領域抽出手段１０４に伝える（ステップＳ１１０１のＹ）。

差分領域抽出手段１０４は、入力判定手段１０１から入力時間を受信すると、基準画面及び現画面としてその時間の前後の画像データを画面データ記憶部１０３から参照及び比較することで、それら画像データにおいて画像が変化した領域（差分領域）を抽出し（ステップＳ１１０２）、その領域を表す座標情報を移動先設定手段１０５に送信する。

移動先設定手段１０５は、差分領域抽出手段１０４から受信した座標で表される領域を表示領域の移動先候補として設定する（ステップＳ１１０３）。

このようにして設定された移動先候補を、自動的に表示領域として表示させてもよい。またあるいは、一つ以上の移動先候補を利用者に提示し、利用者にいずれかの領域を選択させることとしてもよい。

また、移動先領域設定手段１０５が移動先候補として設定する領域は複数であってもよい。例えば、差分領域抽出手段１０４から受信した領域が複数あった場合にそれら領域を移動先候補として設定することができる。

また例えば、差分領域抽出手段１０４から得た単一の領域に対し、移動先領域設定手段１０５が、その領域内の表示内容を詳細に見られるサイズに縮小した領域を併せて設定することとしてもよい。

本実施形態の効果について説明する。本実施形態では、ウィンドウ情報を用いずに、差分領域抽出手段１０４が入力半判定手段１０１から受信した入力時間の直前と直後の画面画像を比較によって差分領域を抽出した上で、移動先領域設定手段１０５がその領域を表示領域の移動先候補として設定するので、利用者の操作に関連する領域がウィンドウ内の領域やウィンドウ以外の領域であったとしても、その領域に表示領域を移動できる。

例えば、非特許文献１のような携帯電話端末を用いて、自宅や会社にあるＰＣをコントロールする環境を提供するクライアントソフトウェアに適用することが可能である。この場合、トップウィンドウの変化のみならず、利用者の操作に応じて画面に生じた変化に基づいて、自動的に表示領域を変える表示領域移動機能を実現することが可能になる。特に非特許文献１のような、画面データに対して表示画面サイズが小さい機器においては、利用者の操作量を大きく低減し、操作性を向上させることが可能になる。

［具体的実施態様１］
上記本発明の第１の実施形態の作用効果をより具体的に説明すべく、図３〜図７を用いて詳細に説明する。

図３は、サーバコンピュータとクライアント端末構成を持つ画面転送システムに、本実施形態の構成を適用した例を示している。入力判定手段１０１〜移動先領域設定手段１０５までの各手段は、上記した第１の実施形態の各手段にそれぞれ対応する。

以下、図４のようなデスクトップ画面画像１０がサーバコンピュータに表示され、その一部の画像（表示領域１６）がクライアント端末に送信されているものとして説明する。このデスクトップ画面画像１０は、１２８０×１０２４ピクセルのサイズとする。また、現在、この画面の座標（３００，２００）と座標（８６０，６００）に囲まれる領域にウィンドウ１１が表示されている。このウィンドウ１１は、フォルダペイン１２とメインペイン１３で構成されている。利用者は、サーバコンピュータから送信されるこのデスクトップ画面画像１０をクライアント端末上で閲覧し、また操作する。表示領域１６はクライアント端末上の画面で表示されている領域を示している。利用者はこの表示領域１６を画面画像１０上の任意の位置に移動したり、表示領域１６のサイズを拡大・縮小したりしてクライアント端末上での表示を制御できる。

例えば、今、表示領域１６は、左上が座標（４００，４００）にあり、そのサイズは１２０×１４０であるものとする。現在、フォルダペイン１２内のフォルダ１４が選択され、メインペイン１３内にはフォルダ１４に対応する情報が表示されている。

利用者は、ここで、表示領域１６に示されたフォルダ１５をクリックして新たに選択する。入力判定手段１０１は、このクリック入力を認識し、入力時間「００:１５:５０．３００」を差分領域抽出手段１０４に伝える。

すると、０．５秒後に図５のようにメインペイン１３内はフォルダ１５と対応する情報が表示される。画面画像取得手段１０２は、メインペイン１３内の表示が変化したことで画面画像１０が更新されたので、更新直後の画面画像と更新された時間「００:１５:５０．８００」を取得する。そして、取得した画面画像と時間データとを画面画像記憶部１０３に記憶させる。

図６は、画面画像記憶部１０３に記憶される情報を表している。画面画像取得手段１０２より受信した時間データと画面画像とを、「００:１５:５０．８００，０００１５０（画面画像データＩＤ）」といったように対応させて記憶する。

差分領域抽出手段１０４は、入力判定手段１０１から入力時間「００:１５:５０．３００」を受信すると、画面データ記憶部１０３から、「００:１５:５０．３００」以前で最も近い時間である「００:１５:４１．０００」と対応付けられている画面画像データ「０００１４９」と、「００:１５:５０．３００」以後で最も近い時間である「００:１５:５０．８００」と対応付けられている画面画像データ「０００１５０」とを参照し、図７に示すように画面画像データ「０００１４９」と「０００１５０」との差分領域１７と差分領域１８を抽出する。

差分領域抽出手段１０４は、前記抽出した差分領域１７「（４３０，４８０）、（４９０，５３０）」と差分領域１８「（５００，２６０）、（８６０，６００）」の座標を移動先領域設定手段１０５に送信する。

移動先領域設定手段１０５は、差分領域抽出手段１０４から受信した差分領域１７「（４３０，４８０）、（４９０，５３０）」と差分領域１８「（５００，２６０）、（８６０，６００）」を表示領域の移動先候補として設定する。

クライアント端末が、表示領域１６を、上記のようにして設定された移動先候補のうちの差分領域１８に自動的に移動することで、フォルダ内のファイルを操作しようとする利用者の操作負担が軽減される。

また、移動先候補（差分領域１７、差分領域１８）を利用者に提示し、利用者からいずれかの差分領域の選択を受け付けた上で、選択された差分領域に表示領域１６を自動移動させてもよい。

以上、本発明の第１の実施形態をサーバコンピュータとクライアント端末から構成された画面転送システムに適用した例を挙げて説明したが、サーバコンピュータ（クライアント端末）側に配された各手段をクライアント端末（サーバコンピュータ）側に配置することで、単一のクライアントにおいても実現することが可能である。

また、上記構成において、サーバコンピュータは、デスクトップ画面画像１０の全体をクライアント端末に伝送するのではなく、差分領域抽出手段１０４が出力した領域の画像をクライアント端末に伝送し、クライアント端末側で更新を行うことで、伝送データ量を削減することも可能である。

［第２の実施形態］
続いて、上記第１の実施形態に変更を加えて、より差分領域に移動先候補としての妥当性の程度を示す重要度を付加して、移動先候補をするか否かを判定するようにした第２の実施形態について説明する。

図８は、本発明の第２の実施形態に係る表示領域決定装置の構成例を示すブロック図である。図８を参照すると、本発明の第２の実施形態に係る表示領域決定装置は、上記第１の実施形態の構成に加えて、差分領域重要度付加手段２０６を備える。また、移動先領域設定手段２０５は、上記第１の実施形態の移動先領域設定手段１０５と一部動作が異なるため符号を変えている。なお、その他の構成要素については、第１の実施形態と同様であるため、図１と同一の符号を付し、詳細な説明を省略する。

差分領域重要度付加手段２０６は、差分領域抽出手段１０４によって抽出された領域（差分領域）に、所定の重要度付加規則に従って重要度を付加する。例えば、領域の中心座標がカーソルからの距離に応じて重要度を決定する重要度付加規則の場合、カーソルからの距離が遠い領域程、高い重要度を付加することができる。また、領域の面積に応じて重要度を決定する重要度付加規則の場合、面積が大きい程、高い重要度を付加することができる。そして、差分領域重要度付加手段２０６は、移動先領域設定手段２０５に重要度情報と併せて、各差分領域の情報を送信する。

差分領域重要度付加手段２０６は、表示領域決定装置を構成する１または２以上のコンピュータに実行させる１または２以上のプログラムによって実現可能である。

移動先領域設定手段２０５は、差分領域重要度付加手段２０６より受信した差分領域の情報と重要度情報を参照して、複数の差分領域がある場合は重要度の高い領域を優先的に移動先領域として設定する。重要度に応じた領域の選択方法としては、例えば、重要度が１位の領域だけを移動先領域として設定する方法が挙げられる。また例えば、重要度の順位で予め設定された上位いくつかの領域だけを移動先候補として設定する方法が挙げられる。また例えば、重要度の順位ではなくて、予め設定された閾値以上の重要度を持つ領域だけを移動先領域として設定する方法等が挙げられる。

次に、上記本実施形態に係る表示領域決定装置の動作について図面を参照して詳細に説明する。

図９は、本発明の第２の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。図９のステップＳ１１０１〜Ｓ１１０２までの動作は上記第１の実施形態と同様であるため、詳細な説明を省略する。

差分領域抽出手段１０４によって抽出された領域（差分領域）を受け取ると、差分領域重要度付加手段２０６は、抽出された差分領域に重要度を付加する（ステップＳ２１０４）。

移動先領域設定手段２０５は、差分領域重要度付加手段２０６より受信した各差分領域の情報と重要度情報に基づいて、重要度の高い領域を優先的に移動先領域として選択し、選択したものを移動先領域として設定する（ステップＳ２１０３）。

以上のように、本実施形態では、差分領域抽出手段１０４によって抽出された差分領域に重要度を付加するので、複数の領域の中から、操作により強く関連する領域や、利用用途により適した領域を移動先領域とすることができる。

［具体的実施態様２］
上記本発明の第２の実施形態の作用効果をより具体的に説明すべく、図７、図１０を用いて詳細に説明する。

図１０は、サーバコンピュータとクライアント端末構成を持つ画面転送システムに、本実施形態の構成を適用した例を示している。入力判定手段１０１〜差分領域重要度付加手段２０６までの各手段は、上記した第２の実施形態の各手段にそれぞれ対応する。

図７に示したように、差分領域抽出手段１０４が差分領域１７と差分領域１８を抽出したものとする。差分領域抽出手段１０４は、差分領域１７「（４３０，４８０）、（４９０，５３０）」と差分領域１８「（５００，２６０）、（８６０，６００）」を差分領域重要度付加手段２０６に送信する。

領域の面積が大きい程、重要度を高く付加するという重要度付加規則を用いる場合を例にすると、差分領域重要度付加手段２０６は、受信した２つの差分領域それぞれの面積を求める。差分領域１７の面積は６０×５０=３０００、差分領域１８の面積は３６０×３４０= １２２４００と算出される。差分領域重要度付加手段２０６は、面積が大きい差分領域１８の重要度を１位とし、差分領域１７の重要度を２位として、各差分領域の座標を移動先領域設定手段２０５に送信する。

移動先領域設定手段２０５は、差分領域重要度付加手段２０６より受信した差分領域１７と差分領域１８のうち、重要度１位の差分領域１８だけ移動先候補として設定する。

クライアント端末が、図５に示した表示領域１６を、上記のようにして設定された移動先候補のうちの差分領域１８に自動的に移動することで、フォルダ内のファイルを操作しようとする利用者の操作負担が軽減される。

なお、上記の例では、差分領域重要度付加手段２０６は、面積が大きい順に差分領域に重要度を付加するものとして説明したが、面積をそのまま重要度としてもよい。また、面積の他に入力時のカーソル位置からの距離に応じて差分領域に重要度を付加する重要度付加規則を用いることも可能である。

また、上記の例では、移動先領域設定手段２０５は、重要度１位の差分領域のみを移動先候補として設定しているが、先にも述べたように、予め設定された上位数位の差分領域を移動先候補として設定してもよい。また、順位ではなくて、予め設定された閾値以上の重要度を持つ差分領域のみ移動先領域として設定してもよい。例えば、面積が１０００００ピクセル以上の差分領域のみ移動先領域として設定すれば、１０００００ピクセル未満の差分領域が移動先候補として設定されることを防ぐことが可能になる。

［第３の実施形態］
続いて、上記第１の実施形態に変更を加えて、移動先候補から利用者の操作に関連の少ない差分領域を除外できるようにした第３の実施形態について説明する。

図１１は、本発明の第３の実施形態に係る表示領域決定装置の構成例を示すブロック図である。図１１を参照すると、本発明の第３の実施形態に係る表示領域決定装置は、上記第１の実施形態の構成に加えて、差分領域記憶部３０７と、非関連差分領域削除手段３０８とを備える。また、差分領域抽出手段３０４は、上記第１の実施形態の差分領域抽出手段１０４と一部動作が異なるため符号を変えている。なお、その他の構成要素については、第１の実施形態と同様であるため、図１と同一の符号を付し、詳細な説明を省略する。

差分領域抽出手段３０４は、上記第１の実施形態の差分領域抽出手段１０４が入力判定手段１０１より入力時間を受信したときだけ画面画像が変化した領域を抽出するのに対して、それ以外のときも画面画像記憶部１０３の画面が更新される度に、画面画像記憶部１０３の最も新しい画面画像と、その次に新しい画面画像とを比較して、差分領域を抽出する。そして、差分領域抽出手段３０４は、その領域を表す座標と、画面画像記憶部１０３内で参照した最新の画面画像の更新時間とを、差分領域記憶部３０７に送信する。

差分領域記憶部３０７は、差分領域抽出手段３０４より受信した座標と時間とを対応させて記憶する。ここで、差分領域記憶部３０７は、予め設定された時間よりも以前に記憶したデータは自動的に削除してもよい。

また、差分領域抽出手段３０４は、入力判定手段１０１より入力時間を受信すると、受信した入力時間以前で最近の画面と、入力時間以降一定時間のうちに更新された画面群とを比較して差分領域を抽出する。その差分領域を表す座標については、非関連差分領域削除手段３０８に送信する。ここで、差分領域抽出手段３０４が、入力判定手段１０１より入力時間を受信した場合に、受信した入力時間以前で最近の画面と、その入力時間以降の一定時間のうちに更新された画面群とを比較する理由は、入力からその入力に関する表示変化が発生するまでの間に、入力と関連しない表示変化が発生している可能性があるので、第１の実施形態の具体的実施態様１における差分領域抽出手段１０４のように入力後の最初の画面画像のみを比較対象にしたのでは、入力に関する表示変化が発生した画面画像が比較対象から漏れる可能性があり、それを防ぐためである。

非関連差分領域削除手段３０８は、差分領域抽出手段３０４から抽出された差分領域を表す座標を受信すると、差分領域記憶部３０７に記憶されている領域データを参照し、それら参照した領域と一致する領域を、差分領域抽出手段３０４から受信した領域から削除する。非関連差分領域削除手段３０８は、その結果、残った領域を表す座標を移動先領域設定手段１０５に送信する。

差分領域記憶部３０７および非関連差分領域削除手段３０８は、表示領域決定装置を構成する１または２以上のコンピュータに実行させる１または２以上のプログラムによって実現可能である。

次に、上記本実施形態に係る表示領域決定装置の動作について図面を参照して詳細に説明する。

図１２は、本発明の第３の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。図１２のステップＳ１１０１、Ｓ１１０３の動作は上記第１の実施形態と同様であるため、詳細な説明を省略する。

差分領域抽出手段３０４は、利用者からの入力がない間（ステップＳ１１０１のＮ）は画面が更新される度に、画面画像記憶部１０３の最も新しい画面画像と、その次に新しい画面画像とを比較して、差分領域を抽出する（ステップＳ３１０６）。そして、差分領域抽出手段３０４は、その領域を表す座標と、画面画像記憶部１０３内で参照した最新の画面画像の更新時間とを、差分領域記憶部３０７に送信する。

差分領域記憶部３０７は、差分領域抽出手段３０４より受信した座標と時間とを対応させて記憶する（ステップＳ３１０７）。なお、図１２では省略しているが、予め設定された時間よりも以前に記憶したデータを差分領域記憶部３０７に削除させるステップを追加してもよい。

一方、入力判定手段１０１より入力時間を受信すると（ステップＳ１１０１のＹ）、差分領域抽出手段３０４は、入力判定手段１０１より入力時間を受信すると、受信した入力時間以前で最近の画面と、入力時間以降一定時間のうちに更新された画面群とを比較して差分領域を抽出する（ステップＳ３１０２）。その差分領域を表す座標については、非関連差分領域削除手段３０８に送信する。

非関連差分領域削除手段３０８は、差分領域抽出手段３０４から抽出された差分領域を表す座標を受信すると、差分領域記憶部３０７に記憶されている領域データを参照し、それら参照した領域と一致する領域を、差分領域抽出手段３０４から受信した領域から削除する（ステップＳ３１０５）。

非関連差分領域削除手段３０８は、その結果、残った領域を表す座標を移動先領域設定手段１０５に送信し、移動先領域設定手段１０５は受信したその領域を移動先候補として設定する（ステップＳ１１０３）。

上記非関連差分領域削除手段３０８により非関連差分領域を削除する処理は、利用者の入力以後に画像が変化していた領域から、利用者の入力に関係なく画像が変化していた領域を取り除く処理に相当する。

従って、本実施の形態によれば、利用者の操作に関連しない差分領域を移動先候補から外すことができる。その理由は、利用者の入力とは拘りなく差分領域抽出手段３０４が差分領域を抽出する動作を繰り返し、差分領域記憶部３０７にその領域を記憶しておいた上で、非関連差分領域削除手段３０８が、利用者の入力後に抽出された差分領域から、それら領域を非関連差分領域として削除するよう構成したことにある。

［具体的実施態様３］
上記本発明の第３の実施形態の作用効果をより具体的に説明すべく、図１３〜図２０を用いて詳細に説明する。

図１３は、サーバコンピュータとクライアント端末構成を持つ画面転送システムに、本実施形態の構成を適用した例を示している。入力判定手段１０１〜非関連差分領域削除手段３０８までの各手段は、上記した第３の実施形態の各手段にそれぞれ対応する。

以下、図１４のようなデスクトップ画面画像１０がサーバコンピュータに表示され、その一部の画像（表示領域１６）がクライアント端末に送信されているものとして説明する。先に第１の実施形態の具体的動作に説明した図４との相違点は動画再生領域３７上で動画が再生されている点である。動画再生領域３７は、左上が（５００,７００）、右下が（８６０，９００）の座標を持つ領域であり、デスクトップ画面画像１０やウィンドウ１１のサイズや構成は、図４と同様であるものとする。

動画再生領域３７には動画の再生に合わせて画面画像が表示される。従って、動画の再生中は、画面画像更新の度に、画面画像取得手段１０２は、デスクトップ画面画像を取得し、その時間とデスクトップ画面画像とを対応させて図１５のように画面画像記憶部１０３に記憶させる。例えば、今、画面画像記憶部１０３が記憶している画面画像情報のうち、最新の画面画像情報を「００:１５:５０．２００，０００１４４」とし、次に新しい画面画像情報を「００:１５:５０．１００，０００１４３」とする。

差分領域抽出手段３０４は、画面画像が更新される度に画面画像が変化した領域を抽出するので、更新時における最新の画面画像と次に新しい画面画像とを比較し、差分領域を抽出する。例えば、図１５のように、画面画像記憶部１０３が記憶している画面画像情報のうち最新の画面画像情報が「００:１５:５０．２００，０００１４４」の場合、この０００１４４の画像と、次に新しい画面画像情報の「００:１５:５０．１００，０００１４３」から参照される０００１４３の画像とを比較して、差分領域を算出する。この場合、差分領域抽出手段３０４は、動画再生領域３７の左上座標（５００， ７００）と右下座標（８６０， ９００）を差分領域として抽出し、「（５００，７００）、（８６０，９００）」という差分領域の座標情報と、最も新しい画面画像と対応している時間「００:１５:５０．２００」とを対応させて、差分領域記憶部３０７に送信する。差分領域記憶部３０７は図１６のようにその座標を記憶する。

ここで、利用者が、ここでフォルダ１５をクリックして新たに選択する。入力判定手段１０１は、このクリック入力を認識し、入力時間「００:１５:５０．３００」を差分領域抽出手段３０４に伝える。

すると、０．５秒後には図１７のようにメインペイン１３内にフォルダ１５と対応する情報が表示される。画面画像取得手段１０２は、メインペイン１３内の表示が変化したことで画面画像１０が更新されたので、更新直後の画面画像と更新された時間「００:１５:５０．８００」を取得する。そして、取得した画面画像と時間データとを画面画像記憶部１０３に記憶させる。

図１８は、画面画像記憶部１０３に記憶される情報を表している。画面画像記憶部１０３は、画面画像取得手段１０２より受信した時間データと画面画像とを、「００:１５:５０．８００，０００１５０（画面画像データＩＤ）」といったように対応させて記憶する。

ただし、クリック入力を認識した時間からメインペイン１３内の表示が変化する間にも、また表示が変更した後も動画再生領域３７上で動画は再生されているので、画面画像の更新は行われている。したがって、画面画像取得手段１０２はその間の画面画像も画面画像記憶部１０３に記憶させている。その結果、画面画像記憶部１０３では、図１８に示すように、クリック入力時間「００:１５:５０．３００」から、メインペイン１３内の表示が変化した時間「００:１５:５０．８００」の間、及び「００:１５:５０．８００」以降も画面画像が記憶されている。

差分領域抽出手段３０４は、入力判定手段１０１から入力時間「００:１５:５０．３００」を受信すると、図１８に示す画面画像記憶部１０３の情報から「００:１５:５０．３００」以前で最近の更新画面画像情報である「００:１５:５０．３００，０００１４５」を参照して０００１４５の画像と、「００:１５:５０．３００」以後１秒間以内（００:１５:５０．４００〜００:１５:５１．３００）にある画面画像情報を参照して０００１４６〜０００１５５の画像それぞれとを比較することで、図１９のように差分領域１７〜１９を抽出する。

なお、ここでの入力時間後１秒間は、差分領域抽出手段３０４に対して予め設定された時間であり、サーバコンピュータの性能やサービス対象のクライアント端末の数などに基づいて適宜変更することができる。

差分領域抽出手段３０４は、上記抽出した差分領域を表す座標である差分領域１７「（４３０，４８０）、（４９０，５３０）」、差分領域１８「（５００，２６０）、（８６０，６００）」、差分領域１９「(５００，７００)、（８６０，９００）」と、受信した入力時間「００:１５:５０．３００」を非関連差分領域削除手段３０８に送信する。

非関連差分領域削除手段３０８は、差分領域抽出手段３０４から上記の座標データと入力時間「００:１５:５０．３００」を受信すると、差分領域記憶部３０７に記憶されている画面画像情報のうち、図１６にあるように受信した入力時間「００:１５:５０．３００」以前１秒間（００:１５:４９．３００〜００:１５:５０．２００）の差分領域「(５００，７００)， (８６０，９００)」を参照する。そして、非関連差分領域削除手段３０８は、差分領域抽出手段３０４から受信した座標データのうち、差分領域１９「(５００， ７００)、（８６０，９００）」と、差分領域記憶部３０７より参照した差分領域「（５００，７００)，（８６０，９００)」とが一致していることを認識し、非関連差分領域と判定する。その結果、差分領域抽出手段３０４から受信した差分領域データから非関連差分領域「（５００，７００），（８６０，９００）」を図２０のように削除する。

なお、差分領域抽出手段３０４より得た差分領域が、差分領域記憶部３０７に記憶されている入力前の領域を包含している場合に、非関連差分領域削除手段３０８はその領域は削除しなくてもよい。

また、差分領域抽出手段３０４より得た差分領域が、差分領域記憶部３０７に記憶されている入力前の領域の一部に重畳している場合は、非関連差分領域削除手段３０８はその重畳している領域は削除しなくてもよい。

以上のようにして、非関連差分領域削除手段３０８は、図２０の差分領域から動画再生領域３７を取り除き、残った差分領域である差分領域１７「（４３０，４８０）、（４９０，５３０）」及び差分領域１８「（５００，２６０）、（８６０，６００）」の座標を移動先領域設定手段１０５に送信する。

また、差分領域記憶部３０７に、例えば、３０秒前など予め設定した時間以前に記憶した領域データを自動的に記憶メモリから削除するよう動作させてもよい。

［第４の実施形態］
続いて、上記第２の実施形態に変更を加えて、表示領域の移動を自動的に行えるようにした第４の実施形態について説明する。

図２１は、本発明の第４の実施形態に係る表示領域決定装置の構成例を示すブロック図である。図２１を参照すると、本発明の第４の実施形態に係る表示領域決定装置は、上記第２の実施形態の構成に加えて、表示領域移動手段４０９を備える。なお、その他の構成要素については、第２の実施形態と同様であるため、図８と同一の符号を付し、詳細な説明を省略する。

表示領域移動手段４０９は、移動先領域設定手段２０５によって移動先候補として設定された領域内へ表示領域を移動する。

表示領域移動手段４０９は、表示領域決定装置を構成する１または２以上のコンピュータに実行させる１または２以上のプログラムによって実現可能である。

次に、上記本実施形態に係る表示領域決定装置の動作について図面を参照して詳細に説明する。

図２２は、本発明の第４の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。図２２のステップＳ１１０１〜Ｓ２１０３の動作は上記第２の実施形態と同様であるため、詳細な説明を省略する。

ステップＳ２１０３にて移動先領域設定手段２０５より重要度を考慮して設定した移動先領域が入力されると、表示領域移動手段４０９は、移動先領域設定手段２０５によって設定された領域内へ表示領域を移動する（ステップＳ４１０８）。

本実施形態では、移動先領域設定手段２０５によって移動先候補として設定された領域に合わせて、表示領域移動手段４０９が表示領域を移動するので、利用者は、表示領域を移動する操作を行わなくても、操作に関連する領域へ移動しその領域内の情報を確認できるという効果を奏する。

［具体的実施態様４］
上記本発明の第４の実施形態の作用効果をより具体的に説明すべく、図７、図２３、図２４を用いて詳細に説明する。

図２３は、サーバコンピュータとクライアント端末構成を持つ画面転送システムに、本実施形態の構成を適用した例を示している。入力判定手段１０１〜表示領域移動手段４０９までの各手段は、上記した第４の実施形態の各手段にそれぞれ対応する。

図７に示したように、差分領域抽出手段１０４が差分領域１７と差分領域１８を抽出し、差分領域重要度付加手段２０６が各領域に重要度を付加したものとする。そして、第２の実施形態の具体的実施態様２と同様に、移動先領域設定手段２０５が、両者に付与された重要度に基づいて差分領域１８「（５００，２６０）、（８６０，６００）」を移動先領域として設定したものとする。

表示領域移動手段４０９は、移動先領域設定手段２０５から差分領域１８の座標「（５００，２６０）、（８６０，６００）」を受信すると、図２４（Ａ）のように差分領域１８の左上の座標に表示領域の左上が一致するように表示領域を移動させる。つまり、表示領域１６の左上座標を（４００，４００）から（５００，２６０）に移動させる。このときのクライアント端末での画面内の表示は図２４（Ｂ）のように変化する。

このように、利用者がフォルダを選択する操作に合わせて、表示領域を移動するため、表示画面の小さいクライアント端末であっても、例えば、図２４（Ｂ）のカメラアイコンをクリックする等、速やかに次の操作に移行することが可能になる。

上記の例では、移動先候補として受信した差分領域の左上に表示領域の左上を一致させたが、表示領域の移動位置の位置合わせは適宜変更することができる。例えば、表示領域の中心を差分領域の中心に合わせるなどしてもよい。

［第５の実施形態］
続いて、上記第４の実施形態に変更を加えて、表示領域に表示する内容の拡大・縮小を自動的に行えるようにした第５の実施形態について説明する。

図２５は、本発明の第５の実施形態に係る表示領域決定装置の構成例を示すブロック図である。図２５を参照すると、本発明の第５の実施形態に係る表示領域決定装置は、上記第５の実施形態の構成に加えて、表示領域ズーム手段５１０を備える。なお、図２５に示した構成に代えて、表示領域ズーム手段５１０は、表示領域移動手段４０９に代わって移動先領域設定手段２０５と接続し、表示領域移動手段４０９は表示領域ズーム手段５１０と接続して、表示領域移動手段４０９から出力する構成も採用可能である。また、その他の構成要素については、第４の実施形態と同様であるため、図２１と同一の符号を付し、詳細な説明を省略する。

表示領域ズーム手段５１０は、移動先領域設定手段１０５によって設定された領域に合わせて表示領域を拡大・縮小する。例えば、移動先領域設定手段１０５によって設定された領域全体が収まるように表示領域を拡大・縮小する。また、あるいは移動先領域設定手段１０５によって設定された領域内の表示内容が予め設定されたサイズで画面上に表示されるように表示領域を拡大・縮尺してもよい。

表示領域ズーム手段５１０は、表示領域決定装置を構成する１または２以上のコンピュータに実行させる１または２以上のプログラムによって実現可能である。

次に、上記本実施形態に係る表示領域決定装置の動作について図面を参照して詳細に説明する。

図２６は、本発明の第５の実施形態に係る表示領域決定装置の動作例を示すフローチャートである。図２６のステップＳ１１０１〜Ｓ４１０８の動作は上記第４の実施形態と同様であるため、詳細な説明を省略する。

表示領域移動手段４０９による表示領域の移動が終わると、表示領域ズーム手段５１０は、移動先領域設定手段２０５によって設定された領域の大きさや表示内容等に応じて、表示領域を拡大または縮小する（ステップＳ５１０９）。なお、ここでは、ステップＳ４１０８の後にステップＳ５１０９の処理を実行しているが、上述のとおり表示領域移動手段４０９と表示領域ズーム手段５１０との順序を変えた場合には、ステップＳ４１０８の前にステップＳ５１０９を実行することになる。

移動先領域設定手段２０５によって設定された領域の大きさ等に応じた表示領域の拡大または縮小として、例えば、移動先領域設定手段１０５によって設定された領域全体が収まるように表示領域を拡大・縮小することができる。また、あるいは移動先領域設定手段１０５によって設定された領域内の表示内容が予め設定されたサイズで画面上に表示されるように表示領域を拡大・縮尺してもよい。

以上のように本実施形態では、移動先領域設定手段２０５によって設定された領域に合わせて表示領域ズーム手段５１０が表示領域を拡大・縮小するので、利用者は表示領域を拡大・縮小する操作を行わなくても、操作に関連する領域内の情報を適切な縮尺で確認できる。

［具体的実施態様５］
上記本発明の第５の実施形態の作用効果をより具体的に説明すべく、図７、図２７、図２８を用いて詳細に説明する。

図２７は、サーバコンピュータとクライアント端末構成を持つ画面転送システムに、本実施形態の構成を適用した例を示している。入力判定手段１０１〜表示領域ズーム手段５１０までの各手段は、上記した第５の実施形態の各手段にそれぞれ対応する。

図７に示したように、差分領域抽出手段１０４が差分領域１７と差分領域１８を抽出し、差分領域重要度付加手段２０６が各領域に重要度を付加したものとする。そして、第４の実施形態の具体的実施態様４と同様に、表示領域移動手段４０９が、移動先領域設定手段２０５から差分領域１８の座標「（５００，２６０）、（８６０，６００）」を受信すると、図２４（Ａ）のように差分領域１８の左上の座標に表示領域の左上が一致するように表示領域を移動させたものとする。

表示領域移動手段４０９は、移動先領域設定手段２０５から受信した差分領域１８の座標「（５００，２６０）、（８６０，６００）」を、表示領域ズーム手段５１０に送信する。

表示領域ズーム手段５１０は、差分領域１８の座標「（５００，２６０）、（８６０，６００）」を受信すると、差分領域１８の幅を８６０−５００=３６０と算出し、図２８（Ａ）に示すように表示領域の幅が差分領域の幅３６０となるように表示領域のサイズを１２０×１４０から３６０×４２０に拡大する。このとき表示内容は、３倍となり、その分縮小することとなる。このときのクライアント端末での画面内の表示は図２８（Ｂ）のように変化する。

このように、利用者がフォルダを選択する操作に合わせて、表示領域を移動しかつ拡大するため、表示画面の小さいクライアント端末であっても、例えば、図２８（Ａ）のフォルダ１５に含まれるファイルを確認し、目的のファイルを探す等、速やかに次の操作に移行することが可能になる。

なお、上記の例では、表示領域ズーム手段５１０は、表示領域の幅を差分領域の幅に合わせたが、表示領域の高さを差分領域の高さに合わせてもよい。また、表示領域内に差分領域が全て収まるように、差分領域の幅と高さの内、長い方の辺に表示領域の対応する辺を合わせてもよい。

また、上記の例では、表示領域ズーム手段５１０は、表示領域のサイズを拡大したが、縮小してもよい。例えば、予め表示文字が可読サイズで表示される表示領域のサイズを設定しておき、元々の表示領域サイズが、文字が可読な表示領域サイズよりも大きかった（表示倍率が低かった）場合には、表示領域のサイズを縮小するなどしてもよい。

また、上記の例では、表示領域移動手段４０９が表示領域を移動させてから、表示領域ズーム手段５１０が表示領域を拡大・縮小したが、表示領域ズーム手段５１０が表示領域を拡大・縮小してから、表示領域移動手段４０９が表示領域を移動させてもよい。さらにまた、予め表示領域の位置とサイズを算出してから、位置とサイズの変化を同時に表示出力してもよい。

以上、本発明の好適な実施形態及びその具体的実施態様を説明したが、本発明は、上記した実施形態やその具体的実施態様に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。

例えば、各差分領域に付加された重要度を用いて、表示領域ズーム手段５１０に表示領域のサイズを決定させるといった変形実施が可能である。

本発明は、表示画面サイズが小さい表示装置に、より大きな画面データを表示することのある機器全般に適用できる。特に、表示画面に表示する領域の移動・表示倍率変化するための操作効率が低い場合において利用すると好適である。

また、シンクライアントシステムなどにおいて画面データを転送する場合にも適用でき、特に狭帯域環境において利用すると好適である。

１０ デスクトップ画面画像
１１ ウィンドウ
１２ フォルダペイン
１３ メインペイン
１４、１５ フォルダ
１６ 表示領域
１７、１８、１９ 差分領域
３７ 動画再生領域
１０１ 入力判定手段
１０２ 画面画像取得手段
１０３ 画面画像記憶部
１０４、３０４ 差分領域抽出手段
１０５、２０５ 移動先領域設定手段
２０６ 差分領域重要度付加手段
３０７ 差分領域記憶部
３０８ 非関連差分領域削除手段
４０９ 表示領域移動手段
５１０ 表示領域ズーム手段

Claims (15)

1. 利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出する差分領域抽出手段と、
   前記差分領域を表示領域の移動先候補として設定する移動先領域設定手段とを備える表示領域決定装置。
2. 利用者からの入力を判定し、その入力のあったタイミングを出力する入力判定手段と、
   所定の時間間隔で画面画像を記憶する画面画像記憶部と、を備え、
   前記差分領域抽出手段は、前記画面画像記憶部から、前記入力判定手段より指示されたタイミングよりも前に表示されていた画面画像（前画面）と前記タイミングよりも後の画面画像（現画面）とを読み出して差分領域を抽出する請求項１に記載の表示領域決定装置。
3. 前記差分領域抽出手段は、前記タイミングの入力に拘りなく、所定の時間間隔で前記画面画像記憶部から画面画像を読み出して差分領域を抽出する処理を繰り返し実行し、
   更に、前記差分領域抽出手段により所定の時間間隔で抽出される差分領域を記憶する差分領域記憶部と、
   前記入力判定手段から指示されたタイミングの前後の画面画像から抽出した差分領域から、前記差分領域記憶部を参照して、前記タイミングよりも前に抽出された差分領域（非関連差分領域）を削除する非関連差分領域削除手段と、を備える請求項２に記載の表示領域決定装置。
4. 更に、前記移動先領域設定手段に入力される差分領域に重要度を付加する抽出領域重要度付加手段を備え、
   前記移動先領域設定手段は、前記重要度を用いて移動先候補とするか否かを決定する請求項１から３いずれか一に記載の表示領域決定装置。
5. 前記抽出領域重要度付加手段は、差分領域の面積に応じ、面積が大きい程、高い重要度を付加する請求項４に記載の表示領域決定装置。
6. 前記抽出領域重要度付加手段は、利用者の入力時のカーソル位置と差分領域の中心座標との距離に応じ、距離が大きい程、高い重要度を付加する請求項４に記載の表示領域決定装置。
7. 更に、前記移動先候補とされた領域に表示領域を移動する表示領域移動手段を備える請求項１乃至６いずれか一に記載の表示領域決定装置。
8. 更に、前記移動先候補として設定された領域に応じて、表示領域を拡大又は縮小する表記領域ズーム手段を備える請求項７に記載の表示領域決定装置。
9. 前記表記領域ズーム手段は、移動先に決定した差分領域の幅又は高さと、出力先の画面の幅又は高さとが適合するよう、表示領域を拡大・縮小する請求項８に記載の表示領域決定装置。
10. 前記非関連差分領域削除手段は、前記タイミングよりも前に抽出された差分領域（非関連差分領域）が、前記入力判定手段から指示されたタイミングの前後の画面画像から抽出した差分領域に包含されている場合には、前記非関連差分領域の削除を抑止する請求項３乃至９いずれか一に記載の表示領域決定装置。
11. 前記非関連差分領域削除手段は、前記タイミングよりも前に抽出された差分領域（非関連差分領域）と、前記入力判定手段から指示されたタイミングの前後の画面画像から抽出した差分領域とが重なっている場合には、前記非関連差分領域の削除を抑止する請求項３乃至１０いずれか一に記載の表示領域決定装置。
12. 利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出し、
    前記差分領域を表示領域の移動先候補として設定する移動先領域決定方法。
13. 前記利用者の操作の有無に拘りなく、所定の時間間隔で前記画面画像記憶部から画面画像を読み出して差分領域を抽出して所定時間分記録する処理を実行し、
    前記利用者の操作の前後の画面画像から抽出した差分領域から、前記記録した差分領域から前記操作の前に抽出された差分領域（非関連差分領域）を削除し、移動先候補として設定する請求項１２に記載の表示領域決定方法。
14. 更に、所定の重要度付加規則に従って、前記利用者の操作の前後の画面画像から抽出された差分領域に重要度を付加し、
    前記重要度を用いて移動先候補とするか否かを決定する請求項１２又は１３に記載の表示領域決定方法。
15. 利用者の操作後に取得した画面画像（現画面）と、操作前の画面画像（前画面）とを比較し、前記前画面に対して変化した現画面上の領域を差分領域として抽出する処理と、
    前記差分領域を表示領域の移動先候補として設定する処理とをコンピュータに実行させるプログラム。

Images