JP2005167459A - 遠隔操作システムおよび遠隔操作方法ならびに情報記録媒体 - Google Patents

Abstract

【課題】制御側システムの表示手段サイズが被制御側システムの表示手段サイズより小さい遠隔操作システムにおいて、制御側システムで遠隔操作を行う際の煩雑なスクロール操作を削減することにより、操作性を向上することを目的とする。
【解決手段】表示状態変更処理部５によって対象とするウィンドウ情報を取得し、領域認識処理部６によってウィンドウ内の対象とする内部領域を認識し、領域変更処理部７によって、対象内部領域が制御側システムの表示手段３７全体に表示されるよう領域サイズの変更を行い、対象内部領域が制御側システムの表示手段３７に表示されるように調整するものであり、ユーザが煩雑なスクロール操作を行って表示領域の調整を行うことなく、被制御側システムの表示手段９に表示された対象ウィンドウの内部領域を、制御側システムの表示手段３７に表示することができるという効果を有する。
【選択図】図１

Description

本発明は、制御側表示画面サイズが被制御側表示画面サイズより小さい遠隔操作システムにおいて、制御側システムから被制御側システムを操作する際の、操作性向上を図った遠隔操作システムおよび遠隔操作方法ならびに情報記録媒体に関するものである。

近年、コンピュータやＰＤＡ（Personal Digital Assistance）といった情報端末の普及に伴い、あるコンピュータを異なるコンピュータやＰＤＡといった情報端末によって操作可能な遠隔操作システムが提供されている。このような遠隔操作システムにおいては、制御側情報端末におけるユーザ操作情報を被制御コンピュータに通知し、被制御コンピュータの画面情報を制御側情報端末に通知することにより、情報端末によるコンピュータの遠隔操作を実現している。

しかしながら、制御側情報端末の画面サイズが被制御コンピュータの画面サイズより小さい場合、制御側情報端末には被制御コンピュータ画面の一部分のみしか表示できないため、使用の際は、スクロール操作を多用しなければならない。

このため、従来の遠隔操作システムにおいては、制御側情報端末画面に、被制御コンピュータの縮小画面を表示し、ダイレクトに任意のエリアを選択する機能を提供し、操作性の改善を図っているものもある。最近では、ＰＤＡやＰＣから遠隔地のパソコン等を操作する遠隔操作ソフトとして、Daviture System v1.0 がある（非特許文献１参照）。
Windows（Ｒ）CE FAN ソフトウェアライブラリ（２００３年１１月時点では、次のＵＲＬで閲覧可能 http://www.wince.ne.jp/soft2002/Detail.asp?PID=2752）

本発明が解決しようとする課題は、ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作システムにおいて、制御側システムの画面サイズが被制御側システムの画面サイズより小さい場合、制御側システムには被制御側システムの画面データの一部分しか表示されないため、煩雑なスクロール操作が必要であり、円滑な操作が行えない点である。

本発明は、ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作システムであって、被制御側システムは、制御側システムから内部領域表示変更要求が通知された場合、表示状態変更処理部によって対象とするウィンドウ情報を取得し、領域認識処理部によってウィンドウ内の対象とする内部領域を認識し、領域変更処理部によって、対象内部領域が制御側システムの表示手段全体に表示されるよう領域サイズの変更を行い、表示状態変更処理部によって、対象内部領域が制御側システムの表示手段に表示されるように調整し、制御側システムに画面データを送信することを主要な特徴とする。

本発明の遠隔操作システムは、制御側システムの表示手段が被制御側システムの表示手段より小さく、制御側システムの表示手段に、被制御側システムの表示手段に表示中のデータの一部分しか表示できない場合に、被制御側システムの表示手段に表示中のウィンドウを構成する内部領域を認識し、該領域を制御側システムの表示手段にあわせて表示することにより、制御側システムで遠隔操作を行うユーザによる画面スクロール操作を削減す
ることができ、制御側システムによる被制御側システムの遠隔操作の操作性を向上できるという利点がある。

本発明は、ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作システムにおいて、制御側システムで遠隔操作を行うユーザのスクロール操作を削減することで、遠隔操作の操作性を向上させるという目的を、被制御側システムが、ユーザからの指示入力を行う入力手段と、データを表示する表示手段と、ネットワーク等とのデータのやりとりを行う通信処理部と、受信データの解析を行う受信データ解析部と、送信データを作成する送信データ生成部と、表示手段によって表示されているデータを変更する表示状態変更処理部と、ウィンドウ内の領域を認識する領域認識処理部と、領域サイズの変更を行う領域変更処理部と、表示データ操作に関する情報を格納する画面処理情報格納部と、被制御側システムの各機能、および機能間の動作を制御する被制御側制御部とを備え、被制御側システムは、制御側システムから内部領域表示変更要求が通知された場合、領域認識処理部によって対象とする内部領域を認識し、領域変更処理部によって、対象内部領域が制御側システムの表示手段全体に表示されるよう領域サイズの変更を行い、表示状態変更処理部によって、対象内部領域が制御側システムの表示手段に表示されるように調整することにより実現した。

上記課題を解決するためになされた第１の発明は、ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作システムであって、制御側システムは、ユーザからの指示入力を行う入力手段と、ネットワーク等とのデータのやりとりを行う通信処理部と、受信データの解析を行う受信データ解析部と、送信データを作成する送信データ生成部と、被制御側システムから通知された画面データの表示に関する処理を制御する通知画面表示制御部と、被制御側システムから通知された画面データを格納する通知画面データ格納部と、データを表示する表示手段と、制御側システムの各機能、および機能間の動作を制御する制御側制御部とを備え、被制御側システムは、ユーザからの指示入力を行う入力手段と、データを表示する表示手段と、ネットワーク等とのデータのやりとりを行う通信処理部と、受信データの解析を行う受信データ解析部と、送信データを作成する送信データ生成部と、表示手段によって表示されているデータを変更する表示状態変更処理部と、ウィンドウ内の領域を認識する領域認識処理部と、表示データ操作に関する情報を格納する画面処理情報格納部と、被制御側システムの各機能、および機能間の動作を制御する被制御側制御部とを備え、被制御側システムは、制御側システムから内部領域表示変更要求が通知された場合、領域認識処理部によって対象とする内部領域を認識し、表示状態変更処理部によって、対象内部領域が制御側システムの表示手段に表示されるように調整し、制御側システムに画面データを送信することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムの表示手段に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第２の発明は、第１の発明の遠隔操作システムにおいて、制御側システムから被制御側システムに内部領域表示変更要求を通知する際、対象内部領域を指定する情報をあわせて通知し、領域認識処理部は、通知された指定情報に従って対象とする内部領域を決定することを特徴としたものであり、制御側システムからの指定に応じた内部領域を取得し、制御側システムの表示手段に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第３の発明は、第１の発明または第２の発明の遠隔
操作システムにおいて、被制御側システムは、領域サイズの変更を行う領域変更処理部をあわせて備え、制御側システムから内部領域表示変更要求が通知された場合、領域認識処理部によって、対象とする内部領域を認識し、領域変更処理部によって、対象内部領域が制御側システムの表示手段全体に表示されるよう領域サイズの変更を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムの表示手段のサイズにあわせて表示することができるため、制御側システムで遠隔操作を行う際の画面スクロール操作を削減でき、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第４の発明は、第１の発明から第３の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部は、対象ウィンドウの構成ウィンドウ属性を参照し、内部領域の認識を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第５の発明は、第１の発明から第３の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部は、対象ウィンドウの画像認識処理によって領域境界線を識別し、内部領域の認識を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第６の発明は、第１の発明から第３の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部は、対象ウィンドウ内の各々のポイントで、マウスカーソルがどの形状で用いられるかの情報から内部領域の認識を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第７の発明は、第１の発明から第４の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部は、対象ウィンドウの構成ウィンドウ属性を参照し、特定のウィンドウ属性条件を満たすもののみを対象として内部領域の認識を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域のうち、例えば、テキスト領域のみを対象領域として制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第８の発明は、第１の発明から第７の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部は、特定のサイズ条件を満たすもののみを対象として、内部領域の認識を行うことを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域のうち、例えば、一定サイズ以上の領域のみを対象領域として制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第９の発明は、第１の発明から第８の発明のいずれか１の遠隔操作システムにおいて、被制御側システムは、制御側システムから内部領域表示変更要求が通知された場合、領域認識処理部によって次の内部領域を取得し、制御側システムから通知される内部領域表示変更要求に応じて、複数の内部領域を順に対象領域と
することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの複数の内部領域を、制御側システムの表示手段に順に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１０の発明は、第９の発明の遠隔操作システムにおいて、領域認識処理部は、被制御側システムの表示手段において最前面に表示されているフォアグランドウィンドウを対象として次の内部領域を取得し、制御側システムから通知される内部領域表示変更要求に応じて、フォアグランドウィンドウ内の複数の内部領域を順に対象領域とすることを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段において最前面に表示されているウィンドウ内の複数の内部領域を、制御側システムの表示手段に順に表示することができるという作用を有するものである。

上記課題を解決するためになされた第１１の発明は、第９の発明の遠隔操作システムにおいて、領域認識処理部は、被制御側システムの表示手段に表示されているウィンドウを順に対象ウィンドウとして次の内部領域を取得し、制御側システムから通知される内部領域表示変更要求に応じて、表示中の全ウィンドウ内の複数の内部領域を順に対象領域とすることを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示している全ウィンドウの内部領域を、制御側システムの表示手段に順に表示することができるという作用を有するものである。

上記課題を解決するためになされた第１２の発明は、第１の発明から第１１の発明のいずれか１の遠隔操作システムにおいて、被制御側システムは、ユーザが表示対象内部領域として指定した領域に関する情報を格納する対象領域情報格納部をあわせて備え、領域認識処理部は、対象領域情報格納部の情報を参照し、ユーザが指定した領域のみを対象内部領域として認識することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、ユーザが指定した内部領域のみを、制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第１３の発明は、第１の発明から第１２の発明のいずれか１の遠隔操作システムにおいて、被制御側システムの表示手段において最前面に表示されているフォアグランドウィンドウが変わった場合、領域認識処理部によって、フォアグランドウィンドウ内の内部領域を認識し、表示状態変更処理部によって、対象内部領域が制御側システムの表示手段に表示されるように調整することを特徴としたものであり、被制御側システムのフォアグランドウィンドウが変わった場合に、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、フォアグランドウィンドウの内部領域を、制御側システムの表示手段に表示することができるという作用を有するものである。

上記課題を解決するためになされた第１４の発明は、第１の発明から第１３の発明のいずれか１の遠隔操作システムにおいて、領域認識処理部によって、隣接する複数の内部領域をあわせた領域を、対象とする内部領域として認識することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、被制御側システムの表示手段に表示された対象ウィンドウ内の複数の内部領域を、制御側システムの表示手段に同時に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１５の発明は、ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作方法であって、制御側システムは、ユーザ操作に応じて被制御側システムへ送信する通知メッセージを生成するステップと、生成した通知メッセージを送信するステップとを実行し、被制御側システムは、通知メッセージを受信するステップと、受信したメッセージを解析するステップと、受信したメッセージが内部領域表示変更要求の場合に表示状態変更処理を行う、対象とするウィンドウとその情報を取得するステップと、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップと、内部領域の取得有無を確認するステップと、被制御側システムに表示されている画面データにおける制御側システムに表示するデータ領域（表示エリア）情報を参照し、表示エリアと取得した内部領域位置の整合性を取るよう表示エリアまたは対象ウィンドウ表示位置を変更するステップと、制御側システムに通知する画面データ通知メッセージを生成するステップと、生成した画面データ通知メッセージを制御側システムへ送信するステップとを実行することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの表示手段に表示された対象ウィンドウの内部領域を、制御側システムに表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１６の発明は、第１５の発明の遠隔操作方法において、被制御側システムは、制御側システムから、内部領域表示変更要求とあわせて対象内部領域を指定する情報が通知された場合、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップにおいて、通知された指定情報に従って内部領域を決定することを特徴としたものであり、制御側システムからの指定に応じた内部領域を取得し、制御側システムに表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１７の発明は、第１５の発明または第１６の発明の遠隔操作方法において、被制御側システムは、取得した内部領域を制御側システムの表示手段全体に表示するためのサイズを、現在の表示状態（表示スケールなど）を考慮して決定するステップと、取得した内部領域を決定したサイズに変更するステップとをあわせて実行することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域を、制御側システムの表示手段のサイズにあわせて表示することができるため、制御側システムで遠隔操作を行う際の画面スクロール操作を削減でき、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１８の発明は、第１５の発明から第１７の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、構成ウィンドウ数を取得するステップと、エリア番号ｉを１に、候補エリア番号を０に初期化するステップと、エリア番号ｉと構成ウィンドウ数を比較確認するステップと、ｉ番目の構成ウィンドウ情報を取得するステップと、候補エリア番号の設定有無を確認するステップと、候補エリア番号に設定されている構成ウィンドウとｉ番目の構成ウィンドウのどちらが候補エリアに適しているかを比較するステップと、候補エリア番号を設定するステップと、エリア番号ｉに１加算するステップと、候補エリア番号の設定有無を確認するステップと、候補エリア番号の構成ウィンドウの情報を取得するステップとを有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第１９の発明は、第１５の発明から第１７の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、対象ウィンドウの画像データを取得するステップと、候補エリア情報を初期化するステップと、画素ポインタを初期化するステップと、対象画素の有無を確認するステップと、対象画素を取得するステップと、取得した画素の色を確認するステップと、取得した画素が直線の構成画素か否かを確認するステップと、該直線を取得するステップと、取得した直線が矩形の辺か否かを確認するステップと、該矩形を取得するステップと、候補エリア情報の設定有無を確認するステップと、設定されている候補エリアと取得した矩形のどちらがより候補エリアに適しているかを比較するステップと、取得した矩形を候補エリア情報に設定するステップと、画素ポインタを次に進めるステップとを有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第２０の発明は、第１５の発明から第１７の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、候補エリア情報を初期化するステップと、マウスカーソルを対象ウィンドウ内の判定開始位置に移動するステップと、マウスカーソルが対象領域内か否かを確認するステップと、マウスカーソル形状を取得するステップと、取得したマウスカーソル形状が、領域境界を示す形状か否かを確認するステップと、取得したマウスカーソル形状を元に、マウスカーソルを並行移動して形状を調べ、領域境界を取得するステップと、候補エリア情報の設定有無を確認するステップと、設定されている候補エリアと取得した領域のどちらがより候補エリアに適しているかを比較するステップと、取得した領域を候補エリア情報に設定するステップと、マウスカーソルを次の判定位置へ移動するステップとを有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域を、制御側システムの表示手段にあわせて表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第２１の発明は、第１５の発明から第１８の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、取得した構成ウィンドウのウィンドウ属性を参照し、特定のウィンドウ属性条件を満たすか否かを確認するステップをあわせて有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域のうち、例えば、テキスト領域のみを対象領域として制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第２２の発明は、第１５の発明から第２１の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、取得した内部領域が特定のサイズ条件を満たすか否かを確認するステップをあわせて有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの内部領域のうち、例えば、一定サイズ以上の領域のみを対象領域として制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第２３の発明は、第１５の発明から第２２の発明の
いずれか１の遠隔操作方法において、被制御側システムの、対象とするウィンドウとその情報を取得するステップと、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、制御側システムから通知される内部領域表示変更要求に応じて、複数の内部領域を順に対象領域として取得することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示された対象ウィンドウの複数の内部領域を、制御側システムの表示手段に順に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第２４の発明は、第２３の発明の遠隔操作方法において、被制御側システムにおける対象とするウィンドウとその情報を取得するステップは、被制御側システムの最前面に表示されているフォアグランドウィンドウを対象ウィンドウとして情報を取得し、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、フォアグランドウィンドウ内の複数の内部領域を順に対象領域として取得することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムの最前面に表示されているウィンドウ内の複数の内部領域を、制御側システムの表示手段に順に表示することができるという作用を有するものである。

上記課題を解決するためになされた第２５の発明は、第２３の発明の遠隔操作方法において、被制御側システムにおける対象とするウィンドウとその情報を取得するステップは、被制御側システムに表示されている全てのウィンドウを順に対象ウィンドウとし、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、複数の内部領域を順に対象領域として取得することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、制御側システムからの内部領域表示変更要求に応じて、被制御側システムに表示している全ウィンドウの内部領域を、制御側システムの表示手段に順に表示することができるという作用を有するものである。

上記課題を解決するためになされた第２６の発明は、第１５の発明から第２５の発明のいずれか１の遠隔操作方法において、被制御側システムは、取得したウィンドウに、対象領域があるか否かを確認するステップをあわせて実行し、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、取得した内部領域が対象領域として指定されているか否かを確認するステップをあわせて有することを特徴としたものであり、制御側システムからの内部領域表示変更要求に応じて、ユーザが指定した内部領域のみを、制御側システムの表示手段にあわせて表示することができるという作用を有するものである。

上記課題を解決するためになされた第２７の発明は、第１５の発明から第２６の発明のいずれか１の遠隔操作方法において、被制御側システムの最前面に表示されているフォアグランドウィンドウが変わった場合、対象とするウィンドウとその情報を取得するステップは、フォアグランドウィンドウを対象ウィンドウとして情報を取得し、表示状態変更処理を実行することを特徴としたものであり、被制御側システムのフォアグランドウィンドウが変わった場合に、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、フォアグランドウィンドウの内部領域を、制御側システムの表示手段に表示することができるという作用を有するものである。

上記課題を解決するためになされた第２８の発明は、第１５の発明から第２７の発明のいずれか１の遠隔操作方法において、被制御側システムにおける取得した対象ウィンドウ
の内部領域を識別し、内部領域情報を取得するステップは、隣接する複数の内部領域をあわせた領域を、対象とする内部領域として認識することを特徴としたものであり、制御側システムにおいて、ユーザが煩雑なスクロール操作によって表示領域の調整を行うことなく、被制御側システムに表示された対象ウィンドウ内の複数の内部領域を、制御側システムの表示手段に同時に表示することができるため、操作性を向上できるという作用を有するものである。

上記課題を解決するためになされた第２９の発明は、コンピュータで読み取り可能な情報記録媒体であって、第１５の発明から第２８の発明のいずれか１の遠隔操作方法をコンピュータに実行させるためのプログラムが記録されていることを特徴としたものであり、記録媒体に記録されているプログラムをコンピュータに読み取らせることにより、第１５の発明から第２８の発明のいずれか１の遠隔操作方法を汎用コンピュータで容易に実現させることができるという作用を有するものである。

（実施の形態１）
以下、本発明の実施の形態について、各図に基づいて説明する。

図１は本発明の実施の形態１の遠隔操作システムの機能ブロック図である。

図１において、被制御側システムは、ユーザからの指示入力を行う入力手段１と、ネットワーク等とのデータのやりとりを行う通信処理部２と、受信データの解析を行う受信データ解析部３と、送信データを作成する送信データ生成部４と、表示手段によって表示されているデータを変更する表示状態変更処理部５と、ウィンドウ内の領域を認識する領域認識処理部６と、領域サイズの変更を行う領域変更処理部７と、表示データ操作に関する情報を格納する画面処理情報格納部８と、データを表示する表示手段９と、被制御側システムの各機能、および機能間の動作を制御する被制御側制御部１０とを備えている。

また、制御側システムは、ユーザからの指示入力を行う入力手段３１と、ネットワーク等とのデータのやりとりを行う通信処理部３２と、受信データの解析を行う受信データ解析部３３と、送信データを作成する送信データ生成部３４と、被制御側システムから通知された画面データの表示に関する処理を制御する通知画面表示制御部３５と、被制御側システムから通知された画面データを格納する通知画面データ格納部３６と、データを表示する表示手段３７と、制御側システムの各機能、および機能間の動作を制御する制御側制御部３８とを備えている。

図２は本発明の実施の形態１の遠隔操作システムの装置ブロック図である。

図２において、被制御側システムは、入力装置５１と、中央処理演算装置（ＣＰＵ）５２と、リード・オンリー・メモリ（ＲＯＭ）５３と、ランダム・アクセス・メモリ（ＲＡＭ）５４と、液晶パネル５５と、通信装置５６と、ＣＤ−ＲＯＭなどの記録媒体５８からデータを読み込むディスク・ドライブ５７とを備えている。

図１に示した入力手段１は入力装置５１により、画面処理情報格納部８はＲＡＭ５４により、受信データ解析部３、送信データ生成部４、表示状態変更処理部５、領域認識処理部６、領域変更処理部７、被制御側制御部１０はＣＰＵ５２がＲＯＭ５３及びＲＡＭ５４とデータのやりとりを行いながらＲＯＭ５３に記憶されている制御プログラムを実行することにより、通信処理部２は通信装置５６により、表示手段９は液晶パネル５５により実現される。

なお、本実施の形態では、ＣＰＵ５２がＲＯＭ５３に記憶されたプログラムを実行する
ことにより制御する形態が示されているが、コンピュータで読み取り可能な記録媒体５８に記録された制御プログラムをディスク・ドライブ５７から読み込み、ＲＡＭ５４上に展開した後、ＣＰＵ５２が実行する形態であっても構わない。このような形態を取ることにより、本発明を汎用コンピュータで容易に実現することができる。

また、図２における制御側システムは、入力装置６１と、中央処理演算装置（ＣＰＵ）６２と、リード・オンリー・メモリ（ＲＯＭ）６３と、ランダム・アクセス・メモリ（ＲＡＭ）６４と、液晶パネル６５と、通信装置６６と、ＣＤ−ＲＯＭなどの記録媒体６８からデータを読み込むディスク・ドライブ６７とを備えている。

図１に示した入力手段３１は入力装置６１により、通知画面データ格納部３６はＲＡＭ６４により、受信データ解析部３３、送信データ生成部３４、通知画面表示制御部３５、制御側制御部３８は、ＣＰＵ６２がＲＯＭ６３及びＲＡＭ６４とデータのやりとりを行いながらＲＯＭ６３に記憶されている制御プログラムを実行することにより、通信処理部３２は通信装置６６により、表示手段３７は液晶パネル６５により実現される。

なお、本実施の形態では、ＣＰＵ６２がＲＯＭ６３に記憶されたプログラムを実行することにより制御する形態が示されているが、コンピュータで読み取り可能な記録媒体６８に記録された制御プログラムをディスク・ドライブ６７から読み込み、ＲＡＭ６４上に展開した後、ＣＰＵ６２が実行する形態であっても構わない。このような形態を取ることにより、本発明を汎用コンピュータで容易に実現することができる。

上記のように構成された遠隔操作システムについて、以下にその動作を説明する。

制御側システムにおいて、入力手段３１によってユーザが操作を行うと、送信データ生成部３４によって、操作内容に応じた通知メッセージを生成し、通信処理部３２によって、生成したメッセージを被制御側システムへ送信する。

被制御側システムでは、通知されたデータを通信処理部２によって受信し、受信データ解析部３によって解析する。

図３は、通知メッセージが内部領域表示変更要求の場合に、被制御側システムにおいて行う、表示状態変更処理の動作を示すフローチャートである。

ステップＡ１で、表示状態変更処理部５は対象とするウィンドウとその情報を取得し、ステップＡ２で、領域認識処理部６によって、ステップＡ１で取得したウィンドウの内部領域を識別し、内部領域情報を取得する。制御側システムから通知された内部領域表示変更要求において領域指定情報が通知されている場合は、その情報に従って領域取得を行う。

ステップＡ３で、ステップＡ２で内部領域が取得できた場合はステップＡ４に進む。内部領域が取得できなかった場合、表示状態変更は行わず、処理を終了する。

ステップＡ４では、領域変更処理部７によって、現在の表示状態（表示スケールなど）を考慮して、制御側システムの表示手段３７全体に表示するためのサイズを決定し、ステップＡ５で、ステップＡ２で取得した内部領域をステップＡ４で決定したサイズに変更する。

ステップＡ６で、表示状態変更処理部５は、画面処理情報格納部８に格納した、被制御側システム表示手段での表示画面データにおける制御側システムの表示手段に表示するデ
ータ領域（表示エリア）情報を参照し、表示エリアとステップＡ２で取得した内部領域位置の整合性を取るよう表示エリアまたは対象ウィンドウ表示位置を変更し、変更情報を画面処理情報格納部８に格納する。

ステップＡ７で、送信データ生成部４によって、制御側システムに通知する画面データ通知メッセージを生成する。制御側システムに表示エリア以上の画面データを通知する場合は、内部領域位置（または表示エリア）に関する情報も通知する。

ステップＡ８で、通信処理部２によって、ステップＡ７で生成した画面データ通知メッセージを制御側システムへ送信する。

なお、本実施の形態においては、識別した内部領域を制御側表示手段３７全体に表示する場合について説明を行ったが、内部領域のサイズを変更せず、表示エリア位置との整合処理のみを行う形態であっても構わない。この場合、ステップＡ３で内部領域が取得できた場合、ステップＡ４およびステップＡ５でのサイズ変更処理を行わずにステップＡ６に進み、表示エリア整合処理を行う。

図４は、ステップＡ２の内部領域取得処理の動作を示すフローチャートである。

領域認識処理部６は、ステップＢ１で構成ウィンドウ数を取得する。ステップＢ２で、エリア番号ｉを１に、候補エリア番号を０に初期化する。

ステップＢ３で、ｉがステップＢ１で取得した構成ウィンドウ数以下の場合、ステップＢ４に進む。

ステップＢ４でｉ番目の構成ウィンドウ情報を取得し、ステップＢ５で、取得したウィンドウが内部領域候補条件を満たすか否かをチェックし、条件を満たす場合、ステップＢ６に進む。取得したウィンドウが候補条件を満たしていない場合、ステップＢ９に進む。

ステップＢ５の条件によって、ウィンドウ種別をチェックしテキスト領域のみを対象にすることや、ウィンドウサイズをチェックして一定サイズ以上の領域のみを対象にする、といった制約を設けることが可能である。また、特に条件を設けず、全ての領域を対象とすることも可能である。

ステップＢ６で、候補エリア番号が設定されていない場合、ステップＢ８に進み、既に候補エリア番号が設定されている場合、ステップＢ７に進む。

ステップＢ７で、候補エリア番号に設定されている構成ウィンドウとｉ番目の構成ウィンドウを比較し、ｉ番目の構成ウィンドウの方が、設定済の領域よりも候補エリアに適している場合、ステップＢ８に進む。設定済の領域の方が候補エリアに適している場合、ステップＢ９に進む。

ステップＢ８では、候補エリア番号にｉを設定し、ステップＢ９に進む。

ステップＢ９でエリア番号ｉに１加算し、ステップＢ３に戻り、残りの構成ウィンドウに対して同様の処理を行う。

ステップＢ３で、エリア番号ｉが構成ウィンドウ数を超えた場合、ステップＢ１０に進む。

ステップＢ１０で候補エリア番号が設定されている場合、ステップＢ１１に進み、候補エリア番号の構成ウィンドウの情報を取得して処理を終了する。

ステップＢ１０で候補エリア番号が設定されていない場合、対象とする内部領域は存在しないため、処理を終了する。

図５は、本発明の実施の形態１によって内部領域表示変更を行った場合の例を示す図であり、（ａ）は内部領域表示変更要求通知前、（ｂ）は図３のフローチャートに従って内部領域表示変更を行った場合、（ｃ）は図３のフローチャートにおいてステップＡ４およびステップＡ５でのサイズ変更処理を行わなかった場合の各図である。

（ｂ）では、制御側システムからの内部領域表示変更要求に応じて、メールの本文が表示された内部領域を、制御側システムの表示手段３７のサイズにあわせて表示するため、横スクロール操作を行うことなくメールを読むことができる。

（ｃ）では、制御側システムからの内部領域表示変更要求に応じて、メール本文表示領域が制御側システムの表示手段３７に表示されるため、制御側システムで煩雑なスクロール操作を行って表示エリアを調整することなく、メール本文を表示することができる。

（実施の形態２）
次に、本発明の他の実施の形態について説明する。なお、実施の形態２の機能ブロック図および装置ブロック図は、実施の形態１の図１および図２と同様である。また、被制御側システムは、制御側システムから通知されたメッセージが内部領域表示変更要求の場合、図３のフローチャートに従って表示状態変更処理を行う。

図６は、実施の形態２における、ステップＡ２の内部領域取得処理の動作を示すフローチャートである。

領域認識処理部６は、ステップＣ１で対象ウィンドウの画像データを取得する。ステップＣ２で候補エリア情報を初期化し、ステップＣ３で画素ポインタを初期化する。

ステップＣ４で対象画素がある場合、ステップＣ５で対象画素を取得する。

ステップＣ６で、ステップＣ５で取得した画素の色が枠線の色と判断すると、ステップＣ７に進む。枠線の色でない場合、ステップＣ１５に進む。

ステップＣ７で、ステップＣ５で取得した画素が直線の構成画素の場合、ステップＣ８で該直線を取得する。直線の構成画素でない場合、ステップＣ１５に進む。

ステップＣ９で、ステップＣ８で取得した直線が矩形の辺の場合、ステップＣ１０で該矩形を取得する。矩形の辺でない場合、ステップＣ１５に進む。

ステップＣ１１で、ステップＣ１０で取得した矩形が内部領域候補条件を満たすか否かをチェックし、条件を満たす場合、ステップＣ１２に進む。候補条件を満たしていない場合、ステップＣ１５に進む。

ステップＣ１１の条件によって、矩形サイズをチェックして一定サイズ以上の領域のみを対象にする、といった制約を設けることが可能である。また、特に条件を設けず、全ての領域を対象とすることも可能である。

ステップＣ１２で、候補エリア情報が設定されていない場合、ステップＣ１４に進み、既に候補エリア情報が設定されている場合、ステップＣ１３に進む。

ステップＣ１３で、設定されている候補エリア情報とステップＣ１０で取得した矩形を比較し、ステップＣ１０で取得した矩形の方が、設定済の領域よりも候補エリアに適している場合、ステップＣ１４に進む。設定済の領域の方が候補エリアに適している場合、ステップＣ１５に進む。

ステップＣ１４では、ステップＣ１０で取得した矩形を候補エリア情報に設定し、ステップＣ１５に進む。

ステップＣ１５で画素ポインタを次に進めて、ステップＣ４に戻り、残りの画素に対して同様の処理を行う。

ステップＣ４で、対象画素がない場合、処理を終了する。

（実施の形態３）
次に、本発明の実施の形態３について説明する。なお、実施の形態３の機能ブロック図および装置ブロック図は、実施の形態１の図１および図２と同様である。また、被制御側システムは、制御側システムから通知されたメッセージが内部領域表示変更要求の場合、図３のフローチャートに従って表示状態変更処理を行う。

図７は、実施の形態３における、ステップＡ２の内部領域取得処理の動作を示すフローチャートである。

領域認識処理部６は、ステップＤ１で候補エリア情報を初期化し、ステップＤ２で、マウスカーソルを対象ウィンドウ内の判定開始位置に移動する。

ステップＤ３でマウスカーソルが対象領域内に存在する場合、ステップＤ４で、マウスカーソル形状を取得する。

ステップＤ５で、ステップＤ４で取得したマウスカーソル形状が、領域境界を示す形状（例えば「左右矢印」や「上下矢印」など）の場合、ステップＤ６に進む。領域境界を示す形状でない場合、ステップＤ１１に進む。

ステップＤ６で、ステップＤ４で取得したマウス形状を元に、マウスカーソルを並行移動して形状を調べ、領域境界を取得する。

ステップＤ７で、ステップＤ６で取得した領域が内部領域候補条件を満たすか否かをチェックし、条件を満たす場合、ステップＤ８に進む。候補条件を満たしていない場合、ステップＤ１１に進む。

ステップＤ７の条件によって、領域サイズをチェックして一定サイズ以上の領域のみを対象にする、といった制約を設けることが可能である。また、特に条件を設けず、全ての領域を対象とすることも可能である。

ステップＤ８で、候補エリア情報が設定されていない場合、ステップＤ１０に進み、既に候補エリア情報が設定されている場合、ステップＤ９に進む。

ステップＤ９で、設定されている候補エリア情報とステップＤ６で取得した領域を比較
し、ステップＤ６で取得した領域の方が、設定済の領域よりも候補エリアに適している場合、ステップＤ１０に進む。設定済の領域の方が候補エリアに適している場合、ステップＤ１１に進む。

ステップＤ１０では、ステップＤ６で取得した領域を候補エリア情報に設定し、ステップＤ１１に進む。

ステップＤ１１でマウスカーソルを次の判定位置へ移動し、ステップＤ３に戻り、残りの領域に対して同様の処理を行う。

ステップＤ３で、マウスカーソルが対象領域外の場合、処理を終了する。

（実施の形態４）
次に、本発明の実施の形態４について説明する。

図８は本発明の実施の形態４の遠隔操作システムの機能ブロック図である。図８は、図１の機能ブロック図の被制御側システムに、構成要素を加えたものであり、１１は対象とする内部領域情報を格納する対象領域情報格納部である。

実施の形態４の装置ブロック図は、図２の装置ブロック図と同様であり、図８で追加した対象領域情報格納部１１は、被制御側システムのＲＡＭ５４により実現される。

上記のように構成された遠隔操作システムについて、以下にその動作を説明する。

制御側システムにおいて、入力手段３１によってユーザが操作を行うと、送信データ生成部３４によって、操作内容に応じた通知メッセージを生成し、通信処理部３２によって、生成したメッセージを被制御側システムへ送信する。

被制御側システムでは、通知されたデータを通信処理部２によって受信し、受信データ解析部３によって解析する。

図９は、通知メッセージが内部領域表示変更要求の場合に、被制御側システムにおいて行う、表示状態変更処理の動作を示すフローチャートである。

ステップＥ１で、表示状態変更処理部５は対象とするウィンドウとその情報を取得する。
ステップＥ２で、表示状態変更処理部５は、対象領域情報格納部１１の情報を参照して、ステップＥ１で取得したウィンドウにおける対象領域の有無を確認し、対象領域がある場合、ステップＥ３に進む。対象領域がない場合、取得したウィンドウには、対象とすべき内部領域が存在しないため、処理を終了する。

ステップＥ３からステップＥ９の処理は、実施の形態１の図３のフローチャートのステップＡ２からステップＡ８の処理と同様である。

ステップＥ３の内部領域取得処理の動作は、ステップＡ２の内部領域取得処理の動作を示す図４、図６、図７のいずれかのフローチャートと同様である。

本実施の形態では、図４のステップＢ５、図６のステップＣ１１、図７のステップＤ７で行っている、取得領域が内部領域候補条件を満たすか否かのチェックにおいて、領域認識処理部６は、対象領域情報格納部１１の情報を参照し、取得領域が対象領域か否かを判
定する。

なお、本実施の形態においては、各々別々の実施の形態に分けて説明を行ったが、実施の形態としては、複数の実施の形態を組み合わせて同時に用いる形態も可能である。

本発明は、制御側表示画面サイズが被制御側表示画面サイズより小さい遠隔操作システムにおいて、制御側システムから被制御側システムを操作する際の、操作性向上を図った遠隔操作システムおよび遠隔操作方法ならびに情報記録媒体として利用することができる。

本発明の実施の形態１の遠隔操作システムの機能ブロック図 本発明の実施の形態１の遠隔操作システムの装置ブロック図 本発明の実施の形態１の表示状態変更処理の動作を示すフローチャート 本発明の実施の形態１の内部領域取得処理の動作を示すフローチャート 本発明の実施の形態１の内部領域表示変更処理の例を示す図 本発明の実施の形態２の内部領域取得処理の動作を示すフローチャート 本発明の実施の形態３の内部領域取得処理の動作を示すフローチャート 本発明の実施の形態４の遠隔操作システムの機能ブロック図 本発明の実施の形態４の表示状態変更処理の動作を示すフローチャート

符号の説明

１ 入力手段
２ 通信処理部
３ 受信データ解析部
４ 送信データ生成部
５ 表示状態変更処理部
６ 領域認識処理部
７ 領域変更処理部
８ 画面処理情報格納部
９ 表示手段
１０ 被制御側制御部
１１ 対象領域情報格納部
３１ 入力手段
３２ 通信処理部
３３ 受信データ解析部
３４ 送信データ生成部
３５ 通知画面表示制御部
３６ 通知画面データ格納部
３７ 表示手段
３８ 制御側制御部
５１ 入力装置
５２ 中央処理演算装置（ＣＰＵ）
５３ リード・オンリー・メモリ（ＲＯＭ）
５４ ランダム・アクセス・メモリ（ＲＡＭ）
５５ 液晶パネル
５６ 通信装置
５７ ディスク・ドライブ
５８ 記録媒体
６１ 入力装置
６２ 中央処理演算装置（ＣＰＵ）
６３ リード・オンリー・メモリ（ＲＯＭ）
６４ ランダム・アクセス・メモリ（ＲＡＭ）
６５ 液晶パネル
６６ 通信装置
６７ ディスク・ドライブ
６８ 記録媒体

Claims (29)

1. ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作システムであって、
   前記制御側システムは、
   ユーザからの指示入力を行う入力手段と、
   前記ネットワーク等とのデータのやりとりを行う通信処理部と、
   受信データの解析を行う受信データ解析部と、
   送信データを作成する送信データ生成部と、
   前記被制御側システムから通知された画面データの表示に関する処理を制御する通知画面表示制御部と、
   前記被制御側システムから通知された画面データを格納する通知画面データ格納部と、
   データを表示する表示手段と、
   前記制御側システムの各機能、および機能間の動作を制御する制御側制御部と
   を備え、
   前記被制御側システムは、
   ユーザからの指示入力を行う入力手段と、
   データを表示する表示手段と、
   ネットワーク等とのデータのやりとりを行う通信処理部と、
   受信データの解析を行う受信データ解析部と、送信データを作成する送信データ生成部と、
   表示手段によって表示されているデータを変更する表示状態変更処理部と、
   ウィンドウ内の領域を認識する領域認識処理部と、
   表示データ操作に関する情報を格納する画面処理情報格納部と、
   前記被制御側システムの各機能、および機能間の動作を制御する被制御側制御部とを備え、
   前記被制御側システムは、前記制御側システムから内部領域表示変更要求が通知された場合、前記領域認識処理部によって、対象とする内部領域を認識し、前記表示状態変更処理部によって、前記対象内部領域が前記制御側システムの表示手段に表示されるように調整し、前記制御側システムに画面データを送信することを特徴とする遠隔操作システム。
2. 前記制御側システムから前記被制御側システムに内部領域表示変更要求を通知する際、対象内部領域を指定する情報をあわせて通知し、前記領域認識処理部は、通知された指定情報に従って対象とする内部領域を決定することを特徴とする請求項１記載の遠隔操作システム。
3. 前記被制御側システムは、領域サイズの変更を行う領域変更処理部をあわせて備え、前記制御側システムから内部領域表示変更要求が通知された場合、前記領域認識処理部によって、対象とする内部領域を認識し、前記領域変更処理部によって、前記対象内部領域が前記制御側システムの表示手段全体に表示されるよう領域サイズの変更を行うことを特徴とする請求項１または請求項２記載の遠隔操作システム。
4. 前記領域認識処理部は、対象ウィンドウの構成ウィンドウ属性を参照し、内部領域の認識を行うことを特徴とする請求項１から請求項３のいずれか１に記載の遠隔操作システム。
5. 前記領域認識処理部は、対象ウィンドウの画像認識処理によって領域境界線を識別し、内部領域の認識を行うことを特徴とする請求項１から請求項３のいずれか１に記載の遠隔操作システム。
6. 前記領域認識処理部は、対象ウィンドウ内の各々のポイントで、マウスカーソルがどの形
   状で用いられるかの情報から内部領域の認識を行うことを特徴とする請求項１から請求項３のいずれか１に記載の遠隔操作システム。
7. 前記領域認識処理部は、対象ウィンドウの構成ウィンドウ属性を参照し、特定のウィンドウ属性条件を満たすもののみを対象として内部領域の認識を行うことを特徴とする請求項１から請求項４のいずれか１に記載の遠隔操作システム。
8. 前記領域認識処理部は、特定のサイズ条件を満たすもののみを対象として、内部領域の認識を行うことを特徴とする請求項１から請求項７のいずれか１に記載の遠隔操作システム。
9. 前記被制御側システムは、前記制御側システムから内部領域表示変更要求が通知された場合、前記領域認識処理部によって次の内部領域を取得し、前記制御側システムから通知される内部領域表示変更要求に応じて、複数の内部領域を順に対象領域とすることを特徴とする請求項１から請求項８のいずれか１に記載の遠隔操作システム。
10. 前記領域認識処理部は、前記被制御側システムの表示手段において最前面に表示されているフォアグランドウィンドウを対象として次の内部領域を取得し、前記制御側システムから通知される内部領域表示変更要求に応じて、フォアグランドウィンドウ内の複数の内部領域を順に対象領域とすることを特徴とする請求項９に記載の遠隔操作システム。
11. 前記領域認識処理部は、前記被制御側システムの表示手段に表示されているウィンドウを順に対象ウィンドウとして次の内部領域を取得し、前記制御側システムから通知される内部領域表示変更要求に応じて、表示中の全ウィンドウ内の複数の内部領域を順に対象領域とすることを特徴とする請求項９に記載の遠隔操作システム。
12. 前記被制御側システムは、ユーザが表示対象内部領域として指定した領域に関する情報を格納する対象領域情報格納部をあわせて備え、前記領域認識処理部は、前記対象領域情報格納部の情報を参照し、ユーザが指定した領域のみを対象内部領域として認識することを特徴とする請求項１から請求項１１のいずれか１に記載の遠隔操作システム。
13. 前記被制御側システムの表示手段において最前面に表示されているフォアグランドウィンドウが変わった場合、前記領域認識処理部によって、フォアグランドウィンドウ内の内部領域を認識し、前記表示状態変更処理部によって、前記対象内部領域が前記制御側システムの表示手段に表示されるように調整することを特徴とする請求項１から請求項１２のいずれか１に記載の遠隔操作システム。
14. 前記領域認識処理部によって、隣接する複数の内部領域をあわせた領域を、対象とする内部領域として認識することを特徴とする請求項１から請求項１３のいずれか１に記載の遠隔操作システム。
15. ネットワーク等を介して被制御側システムに接続された制御側システムによって被制御側システムを遠隔操作する遠隔操作方法であって、
    前記制御側システムは、ユーザ操作に応じて被制御側システムへ送信する通知メッセージを生成するステップと、生成した通知メッセージを送信するステップとを実行し、
    前記被制御側システムは、通知メッセージを受信するステップと、受信したメッセージを解析するステップと、受信したメッセージが内部領域表示変更要求の場合に表示状態変更処理を行う、対象とするウィンドウとその情報を取得するステップと、取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップと、内部領域の取得有無を確認するステップと、被制御側システムに表示されている画面データにおける制御側シス
    テムに表示するデータ領域（表示エリア）情報を参照し、表示エリアと前記取得した内部領域位置の整合性を取るよう表示エリアまたは対象ウィンドウ表示位置を変更するステップと、制御側システムに通知する画面データ通知メッセージを生成するステップと、生成した画面データ通知メッセージを制御側システムへ送信するステップとを実行することを特徴とする遠隔操作方法。
16. 前記被制御側システムは、前記制御側システムから、内部領域表示変更要求とあわせて対象内部領域を指定する情報が通知された場合、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップにおいて、前記通知された指定情報に従って内部領域を決定することを特徴とする請求項１５記載の遠隔操作方法。
17. 前記被制御側システムは、前記取得した内部領域を制御側システムの表示手段全体に表示するためのサイズを、現在の表示状態（表示スケールなど）を考慮して決定するステップと、前記取得した内部領域を前記決定したサイズに変更するステップとをあわせて実行することを特徴とする請求項１５または請求項１６記載の遠隔操作方法。
18. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、構成ウィンドウ数を取得するステップと、エリア番号ｉを１に、候補エリア番号を０に初期化するステップと、エリア番号ｉと構成ウィンドウ数を比較確認するステップと、ｉ番目の構成ウィンドウ情報を取得するステップと、候補エリア番号の設定有無を確認するステップと、候補エリア番号に設定されている構成ウィンドウとｉ番目の構成ウィンドウのどちらが候補エリアに適しているかを比較するステップと、候補エリア番号を設定するステップと、エリア番号ｉに１加算するステップと、候補エリア番号の設定有無を確認するステップと、候補エリア番号の構成ウィンドウの情報を取得するステップとを有することを特徴とする請求項１５から請求項１７のいずれか１に記載の遠隔操作方法。
19. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、対象ウィンドウの画像データを取得するステップと、候補エリア情報を初期化するステップと、画素ポインタを初期化するステップと、対象画素の有無を確認するステップと、対象画素を取得するステップと、前記取得した画素の色を確認するステップと、前記取得した画素が直線の構成画素か否かを確認するステップと、該直線を取得するステップと、前記取得した直線が矩形の辺か否かを確認するステップと、該矩形を取得するステップと、候補エリア情報の設定有無を確認するステップと、設定されている候補エリアと前記取得した矩形のどちらがより候補エリアに適しているかを比較するステップと、前記取得した矩形を候補エリア情報に設定するステップと、画素ポインタを次に進めるステップとを有することを特徴とする請求項１５から請求項１７のいずれか１に記載の遠隔操作方法。
20. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、候補エリア情報を初期化するステップと、マウスカーソルを対象ウィンドウ内の判定開始位置に移動するステップと、マウスカーソルが対象領域内か否かを確認するステップと、マウスカーソル形状を取得するステップと、前記取得したマウスカーソル形状が、領域境界を示す形状か否かを確認するステップと、前記取得したマウスカーソル形状を元に、マウスカーソルを並行移動して形状を調べ、領域境界を取得するステップと、候補エリア情報の設定有無を確認するステップと、設定されている候補エリアと前記取得した領域のどちらがより候補エリアに適しているかを比較するステップと、前記取得した領域を候補エリア情報に設定するステップと、マウスカーソルを次の判定位置へ移動するステップとを有することを特徴とする請求項１５から請求項１７のいずれか１に記載の遠隔操作方法。
21. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、前記取得した構成ウィンドウのウィンドウ属性を参照し、特定のウィンドウ属性条件を満たすか否かを確認するステップをあわせて有することを特徴とする請求項１５から請求項１８のいずれか１に記載の遠隔操作方法。
22. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、前記取得した内部領域が特定のサイズ条件を満たすか否かを確認するステップをあわせて有することを特徴とする請求項１５から請求項２１のいずれか１に記載の遠隔操作方法。
23. 前記被制御側システムの、対象とするウィンドウとその情報を取得するステップと、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、前記制御側システムから通知される内部領域表示変更要求に応じて、複数の内部領域を順に対象領域として取得することを特徴とする請求項１５から請求項２２のいずれか１に記載の遠隔操作方法。
24. 前記被制御側システムにおいて、対象とするウィンドウとその情報を取得するステップは、前記被制御側システムの最前面に表示されているフォアグランドウィンドウを対象ウィンドウとして情報を取得し、
    前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、フォアグランドウィンドウ内の複数の内部領域を順に対象領域として取得することを特徴とする請求項２３に記載の遠隔操作方法。
25. 前記被制御側システムにおいて、対象とするウィンドウとその情報を取得するステップは、前記被制御側システムに表示されている全てのウィンドウを順に対象ウィンドウとし、前記取得した対象ウィンドウの内部領域を識別し、
    内部領域情報を取得するステップは、複数の内部領域を順に対象領域として取得することを特徴とする請求項２３に記載の遠隔操作方法。
26. 前記被制御側システムは、前記取得したウィンドウに、対象領域があるか否かを確認するステップをあわせて実行し、
    前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、前記取得した内部領域が対象領域として指定されているか否かを確認するステップをあわせて有することを特徴とする請求項１５から請求項２５のいずれか１に記載の遠隔操作方法。
27. 前記被制御側システムの最前面に表示されているフォアグランドウィンドウが変わった場合に、前記、対象とするウィンドウとその情報を取得するステップは、フォアグランドウィンドウを対象ウィンドウとして情報を取得し、前記表示状態変更処理を実行することを特徴とする請求項１５から請求項２６のいずれか１に記載の遠隔操作方法。
28. 前記被制御側システムにおいて、前記取得した対象ウィンドウの内部領域を識別し、内部領域情報を取得するステップは、隣接する複数の内部領域をあわせた領域を、対象とする内部領域として認識することを特徴とする請求項１５から請求項２７のいずれか１に記載の遠隔操作方法。
29. コンピュータで読み取り可能な情報記録媒体であって、請求項１５から請求項２８のいずれか１に記載の遠隔操作方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする情報記録媒体。

Images