JP2005128279A - 遠隔操作システム - Google Patents

Abstract

【課題】遠隔操作システムにおいて、遠隔操作装置が小型である場合に、被制御側であるサーバ装置の画面の一部しか表示することができず、操作性がしづらいという課題を解決する。
【解決手段】サーバ装置は、遠隔操作装置から送信された入力情報を解析しＯＳに対して適切な入力情報を発行する受信データ解析手段１１０と、ＯＳが開く表示メッセージを監視するとともにＯＳから発行される当該表示メッセージについての表示位置情報を取得するメッセージ監視手段１１１と、前記メッセージ監視手段により取得した表示位置情報を基づいて前記遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段１１２ととを備え、例えばユーザが注目すべき重要な情報が載せられたダイアログが表示された場合、遠隔操作装置の表示部にそのダイアログが自動的に表示されるため、遠隔操作装置のユーザはダイアログの存在に気づく事ができる。
【選択図】図１

Description

本発明は、通信ネットワークを介してデータ通信可能な遠隔操作装置とサーバ装置とからなるシステムにおいて、サーバ装置の表示画面情報を、遠隔操作装置において受信して表示し、ユーザが遠隔操作装置上で指示した内容に従いサーバ装置が指示に対応する処理を実行するための遠隔操作システム及びサーバ装置に関するものである。

従来、遠隔操作システムは、パーソナル・コンピュータ（ＰＣ）同士で実現されていたが、近年は、パーソナル・デジタル・アシスタント（ＰＤＡ）や携帯電話などの高性能化及び市場への普及に伴い、これらのような小型の携帯端末からサーバ・コンピュータの遠隔操作が実現されており、携帯端末の限られたリソースや帯域が狭い通信路でも快適に動作するように改善がされている（例えば、特許文献１参照）。

しかしながら、上記従来の遠隔操作システムでは、制御側の遠隔操作装置が携帯性を重視する場合、遠隔操作装置の画面サイズ及び解像度が被制御側のサーバ・コンピュータの画面サイズ及び解像度より小さくなり、制御側の遠隔操作装置には被制御側のサーバ・コンピュータの画面の一部しか表示されない。表示されていない部分を見ようとする場合、遠隔操作装置の操作系により、画面のスクロールを行う必要があるが、普段パーソナル・コンピュータを使用する際にはありえない操作であるため、ユーザは煩雑な操作を強いられることになり、快適な操作を行えるとは言い難い。

それを回避するために、サーバ・コンピュータから送る画像を強制的に縮小して、広範囲の画像を遠隔操作装置に表示する方法もあるが、文字が潰れて読めなくなるという欠点がある。更にそれを補うために、遠隔操作装置側で拡大表示する方法が考慮されている（例えば、特許文献２参照）。

しかしながら、この方法にしてもやはり遠隔操作装置上の狭い画面で操作を行う場合、表示されていない部分を如何に操作数を少なくして表示するかという点についての改善はなされていない。例えば、アプリケーション・ウィンドウのメニューを開いたときに、開かれたメニューの内容の一部しか表示されず、目的の項目を選択するために、前述のように画面のスクロール操作を行う必要が出てくる。また、サーバ・コンピュータ上のアプリケーションの中にはユーザの意思とは関係無しに警告もしくは確認のためのダイアログが表示される場合があるが、遠隔操作中にそのダイアログが遠隔操作装置に表示されていない領域に表示された場合、ユーザは気づかずに操作を続けてしまうことになる。最悪の場合、例えば「〜のファイルを削除しますか？」というダイアログが出ている場合に、ユーザは別の操作のつもりで、Ｅｎｔｅｒキーを押下すると、ユーザの意図とは別にファイルが削除されてしまう、という自体も起こり得る。小型の端末で遠隔操作を行うには、リソース不足の改善だけでなく、操作性についても改善が必要である。
特開平１１−３８９５８号公報 特開平１１−８５１３３号公報

本発明が解決しようとする問題点は、小型の遠隔操作装置は携帯性が重視されているため、画面の解像度や画面サイズは、通常、被制御側のサーバ装置の画面の解像度や画面サイズよりもかなり小さいものであり、遠隔操作装置の画面にはサーバ画面の一部しか映し出すことができない場合が多い。小型の遠隔操作装置のユーザは、表示されていない領域
について操作を行おうとした場合、表示領域をスクロールするなど操作が煩雑になり、操作しづらいという点である。

本発明は、サーバ装置に、ＯＳが表示メッセージを出力することを監視するとともにＯＳより当該表示メッセージについての表示位置情報を取得するメッセージ監視手段と、前記メッセージ監視手段により取得した表示位置情報を基づいて前記遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段を備えることで、表示メッセージが新たに開いたときに、そのメッセージの表示領域を含む適切な画像領域を新たな決定し、それを送信画像領域として遠隔操作装置に送信して表示させる。ここでの表示メッセージとは、ＯＳによって表示される表示メッセージ等であり、情報を表示するだけのもの、または情報を表示するとともに、ポインタによって情報を入力するための電子ボタン、アイコンを含むものを指す。

本発明の遠隔操作システムは、制御側である遠隔操作装置が携帯電話やＰＤＡなどのように携帯性が重視され画面のサイズ及び解像度が、被制御側のサーバ・コンピュータの画面サイズ及び解像度よりも小さく、被制御側であるサーバ・コンピュータの画面の一部しか見えない場合でも、新たに表示されたメニューやダイアログに合わせて遠隔操作装置上に表示を行うことで、表示領域のスクロールなどの煩雑な操作を軽減させ、システムの操作性を向上するという利点がある。

本発明は、遠隔操作装置が有する表示装置が小型の場合に、遠隔操作中に新たに表示されたメニューやダイアログに表示位置を合わせて遠隔操作装置に表示することで画面操作を行い易くするためになされた。

上記課題を解決するためになされた第１の発明は、遠隔操作装置はサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置が受信して指示内容に応じた処理を実行する遠隔操作システムであって、サーバ装置には、ＯＳが開く表示メッセージを監視するとともにＯＳから発行される当該表示メッセージについての表示位置情報を取得するメッセージ監視手段と、このメッセージ監視手段により取得した表示位置情報を基づいて遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段と、送信画像領域決定手段により決定された領域の画像を取得する画像取得手段と、画像取得手段が取得した画像データを前記遠隔操作装置に送信するためのデータに加工する送信データ生成手段と、送信データ生成手段が加工した画像データを前記遠隔操作装置に送信する通信手段とを備えることを特徴としたものであり、これにより、ユーザが注目しようとする領域の画像を遠隔操作装置に表示することで、ユーザの意思とは関係なく表示されるダイアログについてもユーザはそれに気付き、ユーザの余分な操作の負担を軽減するという作用を有するものである。例えばユーザが注目すべき重要な情報が載せられたダイアログが表示された場合、該ダイアログに表示位置を合わせ、遠隔操作装置の表示部にそのダイアログが自動的に表示されるため、遠隔操作装置のユーザはダイアログの存在に気づき、不用意な操作を行うことがなくなる。

上記課題を解決するためになされた第２の発明は、サーバ装置は、ＯＳが表示メッセージを開くこと、および表示メッセージ閉じることを監視するとともにＯＳから当該表示メッセージについての表示位置情報を取得するメッセージ監視手段と、このメッセージ監視手段により取得した表示位置情報に基づいて遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段と、送信画像領域決定手段により決定された領域の画像を取得する画像取得手段と、画像取得手段が取得した画像データを遠隔操作装置に送信するための
データに加工する送信データ生成手段と、送信データ生成手段が加工した画像データを遠隔操作装置に送信する通信手段とを備え、さらにメッセージ監視手段が新たな表示メッセージを開いたことを検知するとその直前に遠隔操作装置に送信していた画面の座標情報を記憶する表示領域記憶手段とを有し、メッセージ監視手段が表示メッセージを閉じたことを検知した際に表示領域記憶手段が保持していた画面の座標情報を読出し、送信画像領域決定手段は当該座標情報に基づいて遠隔操作装置に送信する画面の領域を決定することを特徴としたものであり、これにより、メニュー及びダイアログが閉じたときに、メニュー及びダイアログが開く直前に表示していた領域の画像を遠隔操作装置に表示させることができるため、ユーザは直前の作業に戻るための操作を不要とし操作上の煩雑さを軽減とするという作用を有するものである。

上記課題を解決するためになされた第３の発明は、遠隔操作装置にその表示装置の表示能力に関する情報をサーバ装置に通知するための画面情報通知手段を、またサーバ装置に遠隔操作装置から通知された表示能力に関する情報を保持する端末画面情報記憶手段を設け、メッセージ監視手段において取得した表示メッセージの矩形枠の情報と、端末画面情報記憶手段において保持されている遠隔操作装置の画面サイズとを比較し、表示メッセージが前記遠隔操作装置の表示装置より大きい場合に、送信画像領域決定手段において、表示メッセージの全容を含む領域を送信領域とし、送信データ生成手段において、前記送信領域の画像を縮小して前記遠隔操作装置の画面サイズと一致した画像に加工するようにしたものであり、これにより遠隔操作装置の表示装置に表示メッセージの全容を表示させることができ、メニュー及びダイアログの操作を行う際に、余分なスクロール操作を不要とし操作上の煩雑さを軽減とするという作用を有するものである。

上記課題を解決するためになされた第４の発明は、サーバ装置の送信データ生成手段において、取得した画像を縮小加工する際の縮小率の制限値を記憶する画像縮小率記憶手段を有することを特徴としたものであり、これにより、遠隔操作装置に表示するメニュー及びダイアログを縮小しすぎて文字が読めなくなり、操作がしづらくなるということを防ぐという作用を有するものである。

上記課題を解決するためになされた第５の発明は、サーバ装置のメッセージ監視手段において、メニューが開いている際に、メニュー上に表示されているカーソルの動作を監視し、カーソル現在位置を取得し、送信領域決定手段で決定された領域と比較を行い、カーソル現在位置が、領域外にある場合に、送信領域決定手段において、カーソル位置が送信領域内に含まれる領域を決定し、当該領域の画像を遠隔操作装置に送信するよう制御することを特徴としたものであり、これにより、遠隔操作領域外に表示されているメニューの項目を選択する際に、ユーザはカーソルを動かすだけで、スクロール操作を不要とし操作上の煩雑さを軽減するという作用を有するものである。

上記課題を解決するためになされた第６の発明は、サーバ装置の送信画像領域決定手段において、サーバ装置の画面上でメニューが表示される場合、メニューの表示領域の上部及び左部に余裕を持たせるように送信画像領域を決定することを特徴としたものであり、これにより、メニューを開いても項目を選択せずにメニューを閉じたい場合に、表示画面のメニュー以外の部分をクリックする必要があるが、メニューのサイズが遠隔操作装置の画面サイズよりも大きくそのまま画面いっぱいにメニューを表示すれば画面のスクロールをしないとメニューを閉じることができないような場合でも、メニュー以外の部分を画面に表示しているため簡単にメニューを閉じることが可能となり、操作上の煩雑さを軽減するという作用を有するものである。

以下、本発明の各実施の形態について、各図に基づいて説明する。

（実施の形態１）
図１は本発明の実施の形態における遠隔操作システムの機能ブロック図である。

図１において、本実施の形態における遠隔操作システムは、小型の通信端末である遠隔操作装置とサーバ・コンピュータとが、インターネットやＬＡＮ等の通信ネットワーク１０１によってデータ通信可能に接続されている。

図１において、制御側である遠隔操作装置は、サーバ・コンピュータと通信ネットワークを介してデータ通信を行う通信手段１０３、表示された画像に対して操作を行う入力手段１０４、サーバ・コンピュータに対する送信データを生成する送信データ生成手段１０５、サーバ・コンピュータから受信したデータを解析する受信データ解析手段１０６、サーバ・コンピュータより受信した表示画面の画像データを表示する表示手段１０８を備え、これら各手段を制御する制御手段１０２を有する。

また、被制御側であるサーバ・コンピュータは、遠隔操作装置と通信ネットワークを介してデータ通信を行う通信手段１０９、遠隔操作装置から受信したデータを解析する受信データ解析手段１１０、ＯＳが発行する表示メッセージを取得するメッセージ監視手段１１１、遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段１１２、サーバ・コンピュータ自身が表示する画面データを取得する画面取得手段１１３、遠隔操作装置に対する送信データを生成する送信データ生成手段１１４、送信データ生成手段１１４によって切り出され加工された画面データを遠隔操作装置に送信するために取得し、それを一次的に保管する送信画像記憶手段１１８を備えている。更にこれら各手段を制御する制御手段１０８を備えている。

図２は本発明の実施の形態における遠隔操作システムの装置ブロック図である。図２に示すように、サーバ・コンピュータは、各種プログラム・データを実行するＣＰＵ（中央処理演算装置）２０１、データを表示する表示装置２０２、データを一時的に格納するＲＡＭ（ランダム・アクセス・メモリ）２０３、ＣＰＵ２０１が実行するプログラム・データやその他のデータを格納するＲＯＭ（リード・オンリー・メモリ）２０４及び二次記憶装置２０５、データ通信を行う通信インターフェース２０６を備える。

また、遠隔操作装置は、各種プログラム・データを実行するＣＰＵ（中央処理演算装置）２０７、データ通信を行う通信インターフェース２０８、データを一時的に格納するＲＡＭ（ランダム・アクセス・メモリ）２０９、ＣＰＵ２０７が実行するプログラム・データやその他のデータを格納するＲＯＭ（リード・オンリー・メモリ）２１０、操作者からの操作を入力する入力装置２１１、データを表示する表示装置２１２を備える。

図１に示した機能手段と図２に示したハードウェアとの関係について説明する。図１及び図２に示すように、遠隔操作装置においては、通信手段１０３は通信インターフェース２０８により、入力手段１０４は入力装置２１１により、表示手段１０７は表示装置２１２により、送信画像記憶手段１１８はＲＡＭ２０９により、それぞれ実現されている。また、送信データ生成手段１０５、受信データ解析手段１０６、制御手段１０２は、ＣＰＵ２０７がＲＯＭ２１０及びＲＡＭ２０９とデータのやりとりを行いながらＲＯＭ２１０に記憶されているプログラム・データを実行することにより実現される。

サーバ・コンピュータにおいては、通信手段１０９は通信インターフェース２０６により、受信データ解析手段１１０、メッセージ監視手段１１１、送信画像領域決定手段１１２、画像取得手段１１３、送信データ生成手段１１４、制御手段１０８はＣＰＵ２０１がＲＯＭ２０４及びＲＡＭ２０３とデータのやりとりを行いながら二次記憶装置２０５に記憶されている制御プログラムを実行することにより実現される。

なお、表示装置２０２はサーバ・コンピュータ上に表示される画面が遠隔操作装置上に表示されるということをわかりやすくするためのものであり、実際には無くても構わない。

なお、遠隔操作装置及びサーバ・コンピュータにおいて、ＣＰＵ２０１及び２０７が実行する各種プログラム・データは、予め装置内に記憶されているものを実行する形態であっても良いし、可搬性を有する記録媒体に記憶されたもの、あるいは通信ネットワークを介してダウンロードしたものを読み出して実行する形態であっても良い。

以上のように構成された遠隔操作システムについて、以下にその動作を説明する。

図３は、実施の形態１における遠隔操作システムにおいて開いたメニューに表示領域を合わせて遠隔操作装置に表示する一例を示す図であり、図３（ａ）は、遠隔操作装置上にサーバ・コンピュータの表示画面の一部を表示している状態を示している。また、図３（ｂ）は、サーバ・コンピュータの表示画面の一部で、あるウィンドウのメニューが開いた状態を示している。

なお、図３に示す例では、ユーザがメニューを開くためにスタイラスを使用している。スタイラスを使用する例の他に、遠隔操作装置にマウスカーソルを操作するためのカーソルキーなどの装置が付いていて、それによりメニューを開いても良いし、またメニューを開くための専用ボタンがついていたりするなど、メニューを開くための手段は問わない。

図３に示すように、遠隔操作装置からサーバ・コンピュータの遠隔操作が可能な状態（図３（ａ））で、遠隔操作装置のユーザがあるウィンドウのなんらかのメニュー（ファイルに関するメニュー）を開く操作をする場合、ユーザがスタイラスによって指示した座標情報がサーバ・コンピュータに送られる。サーバ・コンピュータは、そのウィンドウのメニューを開く指令を検知して、サーバ・コンピュータの表示装置に開いたメニューを表示する。それとともにサーバ・コンピュータは、該メニューの表示領域を含めて遠隔操作装置へ送るための画像データを取得し、その画像データを遠隔操作装置に送信し、遠隔操作装置は受信した画像データを表示する（図３（ｂ））。

具体的には、図３（ｂ）に示すように、ユーザが新たに開いたメニュー領域の矩形領域の左上座標を遠隔操作装置の表示装置の左上角に一致させ、且つ新たに開いたメニュー表示領域の横幅が遠隔操作装置の表示装置に完全に納まるように新たな転送領域を設定する。図３（ｂ）において新たな設定した転送領域は破線で示す。この新たな転送領域の画像は送信画像記憶手段１１８に一旦記憶させる。そしてこの送信画像記憶手段１１８に記憶された画像データを遠隔操作装置に送信する。ここで新たに開いたメニュー表示領域の縦方向については遠隔操作装置の表示装置に完全に納まらないこともあり、使用は縦方向のスクロールはしなければならないが、横方向スクロールが不要である分、ユーザの負担は低減される。

なお、図３に示す具体例では、ウィンドウのプルダウンメニューが開いている様子を示しているが、マウスの右クリックにより開くメニューであっても良い。またＭｉｃｒｏｓｏｆｔ（Ｒ）社のＷｉｎｄｏｗｓ（Ｒ）である場合にはスタートメニューの場合でも良く、メニューの種類には拘らない。

次に図４は、実施の形態１における遠隔操作システムにおいて開いたダイアログに表示領域を合わせて遠隔操作装置に表示する一例を示す図であり、図４（ａ）は、遠隔操作装置上にサーバ・コンピュータの表示画面の一部を表示している状態を示している。また、
図４（ｂ）は、サーバ・コンピュータの表示画面の一部で、あるダイアログが開いた状態を示している。また、図４（ｃ）は、開いたダイアログに表示領域を合わせて遠隔操作装置上に表示している状態を示している。

次に図４に示すように、遠隔操作装置からサーバ・コンピュータの遠隔操作が可能な状態（図４（ａ））で、遠隔操作装置上での操作により、もしくはユーザの意思とは関係なくサーバ・コンピュータ上のアプリケーションにより、遠隔操作装置の表示領域から外れた位置にダイアログが開いた場合についての処理を説明する。遠隔操作装置の表示領域が外れた位置にダイアログが開いたとき（図４（ｂ））、サーバ・コンピュータは、そのダイアログが開いたことを検知して、ダイアログの表示領域に合わせて画像データを取得し、その画像データを遠隔操作装置に送信し、遠隔操作装置は受信した画像データを表示する（図４（ｃ））。なお、ダイアログを開く前の遠隔操作装置の表示領域を示す座標情報は退避させておくことにより、簡単に表示を元に戻す事ができる。

具体的には、図４（ｃ）に示すように、新たに開いたダイアログ領域の矩形領域の左上座標を遠隔操作装置の表示装置の左上角に一致させ、さらに少なくとも新たに開いたメニュー表示領域の横幅が遠隔操作装置の表示装置に完全に納まるように新たな転送領域を設定する。図４（ｃ）において新たな設定した転送領域は破線で示す。この新たな転送領域の画像は送信画像記憶手段１１８に一旦記憶され、この送信画像記憶手段１１８に記憶された画像データを遠隔操作装置に送信する。これにより、ユーザの意思とは関係なく遠隔操作装置の表示領域から外れた位置にダイアログが開いた場合でも、そのダイアログが遠隔操作装置の表示装置に表示されることになるので、ユーザは重要な情報、ファイル削除についての警告等を見逃さずに済む。

次に図５は、実施の形態１における遠隔操作システムにおいてダイアログを閉じたときに元の表示領域に戻して遠隔操作装置に表示する一例を示す図であり、図５（ａ）は、遠隔操作装置上にサーバ・コンピュータの表示画面の一部を表示している状態を示している。また、図５（ｂ）は、サーバ・コンピュータ上にダイアログが開き、そのダイアログに表示領域を合わせて遠隔操作装置上に表示している状態を示している。また図５（ｃ）は、ダイアログを閉じたときに、表示領域を図５（ａ）の状態に戻して遠隔操作装置上に表示している状態を示している。

図５に示すように、遠隔操作装置からサーバ・コンピュータの遠隔操作が可能な状態（図５（ａ））で、サーバ・コンピュータ上にダイアログが表示されたとき、（図５（ａ））で表示していた領域を退避し、ダイアログに表示領域に合わせて遠隔操作装置上に表示する（図５（ｂ））。次に、遠隔操作装置のユーザがダイアログを閉じるために操作（例えばスタイラスによる座標指示）をすると、その指令がサーバ・コンピュータに送られる。サーバ・コンピュータは、ダイアログを閉じる指令を検知し、それに従って前述の退避していた領域を読出し、その領域の画像を遠隔操作装置に送信することで、ダイアログが開く直前の作業を続けて行うことができる（図５（ｃ））。

図６、図７及び図８は、本発明の実施の形態１における遠隔操作システムの動作フローチャートであり、被制御側であるサーバ・コンピュータの動作を示したものである。前述の図３，図４，図５で示す動作の流れを、以下、図６，図７及び図８のフローチャートを用いて詳細に説明する。

図６は、実施の形態１における遠隔操作システムにおいてサーバ・コンピュータが遠隔操作装置から入力情報等のデータを受信したときの動作を示すフローチャートである。図６では、サーバ・コンピュータを起動後、遠隔操作装置との接続が確立すると、ＯＳが発行するメッセージを監視するメッセージ監視スレッドと、遠隔操作装置に送信する画像デ
ータを取得する送信画像取得スレッドを起動したのち、遠隔操作からの入力情報を受信する処理の流れを示している。

図６に示すように、サーバ・プログラムを起動後、ステップ１０１で、ユーザが遠隔操作装置を起動して、サーバ・コンピュータに接続し、接続が確立する。接続手順については、本発明に関連がないため詳細な説明は省略する。

ステップ１０２で、ＯＳが発行するメッセージを監視するためのメッセージ監視スレッドを起動する。メッセージ監視スレッドに関しては図７で説明を行う。

ステップ１０３で、遠隔操作装置に送信する画像の領域を決定し、取得した画像データを加工し、遠隔操作装置に送信するための送信画像取得スレッドを起動する。送信画像取得スレッドに関しては図８で説明を行う。

ステップ１０４で、遠隔操作装置から送信されるデータを、通信手段１０９で受信する。

ステップ１０５で、受信データ解析手段１１０は、受信したデータの解析を行い、遠隔操作装置からの入力情報かどうかを判断する。

受信したデータが入力情報である場合には、ステップ１０６で、入力情報の内容の解析を行い、マウスイベントもしくはキーイベントのようにＯＳに対して適切な形式に変換し、ステップ１０７で、入力情報をＯＳに対して発行する。このとき、ＯＳは発行された入力情報に従った動作を行う。ＯＳの動作は文字入力であったり、ウィンドウの位置変更であったり様々な動作を行う可能性があるが、本発明では、メニューやダイアログが表示されるという動作に焦点を置く。例えば遠隔操作装置において、表示されているウィンドウのメニュー項目座標においてマウスの左クリックに相当する入力操作が行われた場合、ステップ１０６はマウスの左クリックイベントに変換して、ステップ１０７でそのイベントをＯＳに対して発行する。その結果、ＯＳはメニューを表示するという動作を行う。

一方、サーバ・コンピュータは、ステップ１０５において、受信したデータが入力情報以外の場合には、ステップ１０８で、別途処理を行う必要があるが、ここでは本発明には直接関係しないため、説明は省略する。

また、サーバ・コンピュータは、ステップ１０４において、遠隔操作装置から送信されるデータが無い場合には、ステップ１０９で、別途処理を行うが、ここでは、本発明には直接関係しないため、説明は省略する。

以上の動作の結果、遠隔操作装置におけるユーザの入力操作が、サーバ・コンピュータに反映された状態となる。

図７は、実施の形態１における遠隔操作システムにおいてサーバ・コンピュータで機能しているメッセージ監視スレッドを説明するためのフローチャートであり、ＯＳが発行するメッセージの監視や、メニューやダイアログの開閉を検知したときの内部動作を示している。以下、図７を用いて、メニューやダイアログのオープンもしくはクローズのタイミングを検知する仕組みを説明する。

遠隔操作装置との接続が確立すると、メッセージ監視スレッドが起動され（図６に示すステップ１０２）、メッセージ監視手段１１１を起動し（ステップ２０１）、ＯＳが発行するメッセージをフックする。フックとは、プログラミング用語で、例えばＯＳがあるウ
ィンドウに対して発行するメッセージを、横取りする処理のことを指す。

ステップ２０２で、フックしたメッセージが、メニューオープンに関するメッセージかどうかを判断する。メニューオープンに関するメッセージである場合には、ステップ２０３で、図６のステップ１０３で起動した送信画像取得スレッドに対して、メニューオープンを検知したことを示す通知メッセージを発行する。

以下同様に、ステップ２０４で、フックしたメッセージが、メニュークローズに関するメッセージかどうかを判断し、メニュークローズに関するメッセージである場合には、ステップ２０３で、送信画像取得スレッドに対して、メニュークローズを検知したことを示す通知メッセージを発行する。

ステップ２０５で、フックしたメッセージが、ダイアログオープンに関するメッセージかどうかを判断し、ダイアログオープンに関するメッセージである場合には、ステップ２０３で、送信画像取得スレッドに対して、ダイアログオープンを検知したことを示す通知メッセージを発行する。

ステップ２０６で、フックしたメッセージが、ダイアログクローズに関するメッセージかどうかを判断し、ダイアログクローズに関するメッセージである場合には、ステップ２０３で、送信画像取得スレッドに対して、ダイアログクローズを検知したことを示す通知メッセージを発行する。

以上のステップ２０２からステップ２０６で送信画像取得スレッドに通知するメッセージには、どのメニューもしくはダイアログに対するイベントが発生したのかを示す情報を含める。

ステップ２０７で、フックしたメッセージが、メニュー及びダイアログのオープンもしくはクローズ以外の送信画像取得スレッドへ通知すべきメッセージかどうかを判断し、通知すべきメッセージであれば、ステップ２０３で、送信画像取得スレッドへの通知メッセージの発行を行う。

ステップ２０８で、フックしたメッセージが、特に送信画像取得スレッドへ通知する必要が無い場合には、その他別途処理を行うが、ここでは本発明に直接関係しないため、説明は省略する。

以上の動作の結果、遠隔操作装置におけるユーザのメニュー及びダイアログのオープンもしくはクローズ操作が、サーバ・コンピュータに反映されたときに、または、ユーザの意思とは関係なくサーバ・コンピュータ上のアプリケーションにより、メニューもしくはダイアログがオープンもしくはクローズしたときに、サーバ・プログラムがメニュー及びダイアログのオープンもしくはクローズを検知することが可能となる。

図８は、実施の形態１における遠隔操作システムにおいてサーバ・コンピュータで機能している送信画像取得スレッドを説明するためのフローチャートであり、遠隔操作装置における入力操作やサーバ・コンピュータ上のアプリケーションの動作によりメニューやダイアログの開閉をしたときに遠隔操作装置へ画像を送信するまで動作を示す。

以下、図８に基づいて、メニュー及びダイアログのオープンもしくはクローズを検知してから、遠隔操作装置に送信する画像の領域をメニュー及びダイアログの表示位置に合わせたり、または元の表示位置に戻したりする仕組みを説明する。

遠隔操作装置との接続が確立すると、メッセージ監視スレッドが起動される（図６に示すステップ１０３）。送信画像取得スレッドが起動されると、ステップ３０１でメッセージ監視スレッドからの通知メッセージを受信する。

ステップ３０２で、メッセージ監視スレッドからの通知メッセージがメニューオープンを示す場合、ステップ３０３で、通知メッセージに含まれる情報からオープンしているメニューの表示位置情報を取得する。ここでの表示位置情報とは、例えばメニューの矩形の左上座標や縦横のサイズである。

ステップ３０４で、現在遠隔操作装置上に表示している画像の領域座標の情報を表示領域記憶手段に格納することにより退避させる。退避した表示領域は、オープンしているメニューがクローズしたときに使用する。なお、退避する表示領域の数は複数でも構わない。例えば、メニューの場合、メニューＡからサブメニューＢを開き、更にサブメニューＣを開いて、階段状にメニューを開く状態があるが、メニューＡを開いたときに、直前に表示していた領域Ｒ１を退避し、次にサブメニューＢを開いたときに、直前に表示していた領域Ｒ２、即ちメニューＡの表示領域を退避し、次にサブメニューＣを開いたときに、直前に表示していた領域Ｒ３、即ちサブメニューＢの表示領域を退避することになる。

ステップ３０５で、送信画像領域決定手段１１２は、ステップ３０３で取得したメニューの表示位置情報と、遠隔操作装置の表示サイズから遠隔操作装置に送信する画像の領域を求める。

ステップ３０６で、画像取得手段１１３は、求めた領域の画像を取得し、
ステップ３０７で、送信データ生成手段１１４は、取得した画像データを遠隔操作装置に送信するための形式に変換を行い、
ステップ３０８で、通信手段１０９から、遠隔操作装置に対して、画像データを送信する。

ステップ３０９で、メッセージ監視スレッドからの通知メッセージがダイアログオープンを示す場合、ステップ３１０で、オープンしているダイアログの表示位置情報を取得する。以降の処理は、メニューオープンの場合と同様であり、ステップ３０４へと処理を移す。

また、ステップ３１１で、メッセージ監視スレッドからの通知メッセージがメニュークローズもしくはダイアログクローズを示す場合、
ステップ３１２で、表示領域記憶手段１１４から、クローズしたメニューもしくはダイアログがオープンしたときに退避していた領域を読み出す。

以降の処理は、メニューオープンの場合と同様であり、ステップ３０５へと処理を移すが、ステップ３０５で決定する送信する画像領域は、ステップ３１２で読み出した領域を適用する。

一方、メッセージ監視スレッドからの通知メッセージが、メニュー及びダイアログ関連ではない場合、ステップ３１３で、別途処理を行う必要があるが、ここでは関連がないため説明を省略する。

以上のような動作により、ユーザの入力に従ってオープンしたメニューやダイアログの表示位置に合わせた画像を、遠隔操作装置に送信される。

このように、本実施の形態の遠隔操作システムによれば、ユーザが遠隔操作装置の入力
装置２１１から操作を行うことにより、または、ユーザの意思とは関係なくサーバ・コンピュータ上のアプリケーションの動作により、メニューもしくはダイアログがオープンすると、遠隔操作装置の表示装置に、オープンしたメニューもしくはダイアログの表示位置にあった画像を表示させることができ、また、メニューやダイアログが閉じたときに、直前に操作していた領域に表示を戻すこともできるため、システムの操作性を向上することが可能となる。

（実施の形態２）
次に、本発明の他の実施の形態について説明する。なお、図１における遠隔操作装置に遠隔操作装置の表示装置の情報をサーバ・コンピュータに通知するための画面情報通知手段を加え、サーバ・コンピュータに遠隔操作装置から通知される遠隔操作装置の表示装置の表示能力に関する情報を記憶するための端末画面情報記憶手段１１７を加えたものである。表示能力に関する情報は、遠隔操作装置の表示装置の画面サイズ、解像度、色数などの情報である。なお、本実施の形態における遠隔操作システムの装置ブロック図は、図２と同様であるため説明は省略する。

図９は、実施の形態２に係わる遠隔操作システムにおいて開いたメニューの全容を遠隔操作装置に表示する一例を示す図であり、図９（ａ）は、遠隔操作装置上にサーバ・コンピュータの表示画面の一部を表示している状態を示している。また、図９（ｂ）は、サーバ・コンピュータの表示画面の一部で、あるウィンドウのメニューが開いた状態を示している。この時点ではまだ遠隔操作装置にメニューが開いた状態の画像は送信されていない。図９（ｃ）は、開いたメニューの全体が遠隔操作装置上に表示されるように表示領域を広げた状態を示している。図に示すように開いたメニューの全体が遠隔操作装置上に表示されるように表示領域（図９（ｃ）の破線）を広く取り、縮小等の処理をした画像を遠隔操作装置に送信する。このように実施の形態２の遠隔操作システムでは、端末画面情報記憶手段１１７に記録されている画面情報を参照して、開いたメニューの全体が遠隔操作装置上に表示されるように領域を設定する。

図９で示すように、遠隔操作装置からサーバ・コンピュータの遠隔操作が可能な状態（図９（ａ））で、遠隔操作装置によりウィンドウのなんらかのメニューを開く操作がなされると、その情報は遠隔操作装置よりサーバ・コンピュータに送られる。サーバ・コンピュータは、そのウィンドウのメニューを開く指令を検知し、それに従ってメニュー画面を開くとともに、メニューのサイズに合わせて画像データを取得する。そして、その画像データが遠隔操作装置の表示装置に収まる大きさに縮小加工して、遠隔操作装置に送信し、遠隔操作装置は受信した画像データを表示する（図９（ｃ））。

このような図９で示す動作の流れを、実施の形態１で説明した図８のフローチャートと、図１０、図１１のフローチャートを利用して説明する。

図１０は、実施の形態２における遠隔操作システムにおいて遠隔操作装置が遠隔操作装置の表示装置に関する固有の情報をサーバ・コンピュータに送信する際の動作を示すフローチャートであり、図１１は、実施の形態２における遠隔操作システムにおいて遠隔操作装置から遠隔操作装置の表示装置に関する固有の情報を受信した際のサーバ・コンピュータの動作を表すフローチャートである。

図１０において、遠隔操作装置を起動後、ステップ４０１で、画面情報通知手段１１６は、遠隔操作装置の表示装置に関する固有の情報を収集し、サーバ・コンピュータに送信する形式のデータに変換する。ステップ４０２で、通信手段１０３により、生成したデータをサーバ・コンピュータに通知して終了する。

続いて、図１１において、遠隔操作装置からのデータを受信したサーバ・コンピュータは、まず、ステップ５０１で、受信データ解析手段１１０が受信したデータの解析を行う。

ステップ５０２で、解析した受信データが、遠隔操作装置の画面情報通知である場合に、ステップ５０３で、端末画面情報記憶手段１１７が、受信した画面情報を記憶して処理を終了する。記憶する場所は、ＲＡＭ２０３であっても良いし、二次記憶装置２０５であってもかまわない。

また、ステップ５０２において、受信データが画面情報通知以外のデータである場合は、ステップ５０４で個別処理を行う必要があるが、本件には直接関連しないため説明は省略する。

以上のように、遠隔操作装置の表示装置に関する固有の情報をサーバ・コンピュータが保持しているという前提で、図８のフローチャートについて説明する。

図８において、メニューが開いた場合の動作の流れは、ステップ３０１からステップ３０４までは、実施の形態１で説明した内容と同じであり、
ステップ３０５で、ステップ３０３で取得したメニューまたはダイアログの矩形サイズと、端末画面情報記憶手段１１７が保持している遠隔操作装置の画面サイズを基にして画像取得領域を決定する。

画像取得領域を決定する過程は、以下の様にしている。画像取得領域の開始座標は、メニューの左上座標とする。画像取得領域の縦横サイズの算出は、まず、遠隔操作装置の画面サイズから画面の縦横比を算出する。次に、メニューまたはダイアログの矩形の縦と横のサイズを比較し、サイズが大きい方を選択する。例えば縦サイズを選択した場合、縦サイズを画像取得領域の縦サイズとする。さらにこの縦サイズに縦横比を掛けて、横サイズを算出し画像取得領域の横サイズとする。

具体的には、例えば、遠隔操作装置の画面サイズを縦３２０ドット×横２４０ドットし、メニューのサイズが縦４００×横１５０ドットであるとする。このとき、メニューのサイズが大きい辺は縦方向であるため、４００に縦横比２４０／３２０＝３／４を掛けると、横サイズは、４００×３／４＝３００となり、画像取得領域は、縦４００×横３００のサイズとなる。

以上のようにして算出した画像取得領域に従って、ステップ３０６で画像を取得する。

ステップ３０７で、ステップ３０６で取得した画像を遠隔操作装置の画面の縦横サイズになるように縮小を行い、遠隔操作装置上で表示できる画像サイズに加工を行う。

ステップ３０８で、加工した画像データを遠隔操作装置に送信する。

また、ダイアログについても、ステップ３０９以降、同様の処理を行う。

以上の動作の結果、オープンしたメニューもしくはダイアログの全容を、画像を縮小した状態で遠隔操作装置の表示装置上に表示することが可能となる。

このように、本実施の形態の遠隔操作システムによれば、ユーザが遠隔操作装置の入力装置２１１から操作を行うことにより、または、ユーザの意思とは関係なくサーバ・コンピュータ上のアプリケーションの動作により、メニューもしくはダイアログがオープンし
た場合に、遠隔操作装置上にメニューもしくはダイアログの全容を表示させることができるため、ユーザはメニューの項目を選択するときなど煩わしいスクロール操作などをする必要がなく、システムの操作性を向上することが可能となる。

（実施の形態３）
本実施の形態における遠隔操作システムの機能ブロック図は、図１と同様であるため説明は省略する。また、本実施の形態３における遠隔操作システムの装置ブロック図も、図２と同様であるため説明は省略する。

図１２は、実施の形態３における遠隔操作システムにおいて開いたメニューの項目を選択する際に表示されていなかった部分の項目を遠隔操作装置に表示する一例を示す図
であり、図１２（ａ）は、サーバ・コンピュータ上のあるアプリケーション・ウィンドウのメニューが開いており、遠隔操作装置上にそのメニューに表示位置を合わせた画像を表示している状態を示している。図１２に示す破線が、その時に遠隔操作装置上に表示されている領域を示す。

図１２（ｂ）は、遠隔操作装置の操作系によりメニューの選択位置を示すカーソルを下方に移動していった状態を示している。図１２（ｃ）は、選択しているメニューの項目が、図１２（ｂ）で表示している領域から外れた場合に、選択中の項目が含まれる表示領域の画像を再送して、遠隔操作装置上に表示している状態を示している。

図１２で示すように、開いたメニューが遠隔操作装置の画面サイズよりも大きい場合に（図１２（ａ））、遠隔操作装置の画面に表示されていない部分の項目を選択しようとした場合、メニューのカーソルを移動させていくことで（図１２（ｂ））、選択項目の全体が表示されるように表示領域の再設定を行い、その領域の画像を遠隔操作装置に送信し、遠隔操作装置は受信した画像データを表示する（図１２（ｃ））。

図１３および図１４は、本発明の実施の形態３における遠隔操作システムの動作フローチャートであり、被制御側であるサーバ・コンピュータの動作を示したものである。図１２で示す動作の流れを、以下、図１３および図１４のフローチャートを用いて詳細に説明する。

図１３は、実施の形態３における遠隔操作システムにおいてサーバ・コンピュータがメニュー項目のカーソルの移動を検知したときの内部動作を示すフローチャートである。

遠隔操作装置との接続が確立すると、図１３に示すメッセージ監視スレッドが起動され、メッセージ監視手段１１１を起動し、ステップ６０１でＯＳが発行するメッセージをフックする。

ステップ６０２で、フックしたメッセージが、メニューの項目選択に関するメッセージかどうかを判断する。メニュー項目選択に関するメッセージである場合には、ステップ６０３で、送信画像取得スレッドに対して、メニュー項目選択の変化があったことを示す通知メッセージを発行する。なお、通知メッセージには、選択されている項目の番号をパラメータとして付加する。

ステップ６０４で、フックしたメッセージが、メニュー項目選択以外の送信画像取得スレッドへ通知すべきメッセージかどうかを判断し、通知すべきメッセージであれば、ステップ６０３で送信画像取得スレッドへの通知メッセージの発行を行う。

なお、ここで送信画像取得スレッドへ通知すべきメッセージとは、実施の形態１で説明
したメニュー及びダイアログのオープンもしくはクローズに関するメッセージも含まれる。

ステップ６０５で、フックしたメッセージが、特に送信画像取得スレッドへ通知する必要が無い場合には、その他別途処理を行うが、ここでは本発明に直接関係しないため、説明は省略する。

以上の動作の結果、遠隔操作装置における操作系から、メニューの項目選択操作を行った場合、メニューのカーソル位置が変化したことを検知することが可能となる。

次に図１４で、メニューのカーソル位置が変化したことを検知してから、カーソル位置が現在遠隔操作装置に表示している領域の外に移動した場合に、遠隔操作装置に表示する領域を再設定するまでの仕組みを説明する。

図１４は、実施の形態３における遠隔操作システムにおいてサーバ・コンピュータがメニュー項目のカーソルの移動を検知したときに遠隔操作装置へ送信する画像の領域を決定するまでの動作を示すフローチャートである。図１４では、送信画像取得スレッドにおいて、メッセージ監視スレッドからの通知メッセージがメニュー項目選択であった場合に、メニューの選択項目を表示領域内に含めて、表示領域の画像を遠隔操作装置に送信する処理の流れを示している。

図１４に示すように、送信画像取得スレッドにおいて、メニュー項目選択通知メッセージを受信すると、ステップ７０１で、通知メッセージのパラメータから選択されている項目の番号を抽出する。

ステップ７０２では、項目の番号を利用して選択されている項目を囲んでいる矩形領域を取得する。矩形領域の取得の方法は、使用するＯＳのＡＰＩを利用してもよいし、メニュー全体の矩形領域はわかっているので、ｎ番目の項目の矩形領域を算出してもよい。

ステップ７０３では、選択項目の領域が、現在遠隔操作装置上に表示している領域に含まれているかどうかを判断し、含まれていない場合、ステップ７０４で選択項目の領域が表示領域に含まれるように再設定を行って終了する。

また、ステップ７０３で、選択項目の領域が、現在遠隔操作装置上に表示している領域に含まれていると判断した場合は、表示領域の再設定は行わずに終了する。

以上の動作の結果、メニューのカーソルを移動し、選択しようとする項目が現在の表示領域外であれば、新たに選択しようとする項目を含む表示領域に設定しなおして、遠隔操作装置に表示することが可能となる。

このように、本実施の形態の遠隔操作システムによれば、ユーザが遠隔操作装置の入力装置２１１から操作を行うことにより、メニュー項目の選択を示すカーソルを移動させることで、カーソルが遠隔操作装置の表示領域外に移動した場合、カーソルを含む領域の画像を遠隔操作装置に送信することで、ユーザは別途スクロール操作を行う必要がなく、システムの操作性を向上することが可能となる。

（実施の形態４）
本実施の形態における遠隔操作システムの機能ブロック図は、図１と同様であるため説明は省略する。

また、本実施の形態における遠隔操作システムの装置ブロック図も、図２と同様であるため説明は省略する。

実施の形態１乃至実施の形態３において、メニューを遠隔操作装置上に表示する際に、メニューが遠隔操作装置の画面サイズよりも大きい場合、遠隔操作装置にはメニューのみの画像が表示されてしまう場合がある。このとき、メニューの項目を選択せずにメニューを閉じようとすると、ユーザ自身が表示領域をスクロールして、メニュー以外の領域を表示しその部分をクリックする必要がある。

本実施の形態４では、メニューを遠隔操作装置の画面全体に表示する場合に操作上の煩雑さを軽減するための実施例を説明する。

図１５は、実施の形態４における遠隔操作システムにおいてメニューが開いた際にメニュー以外の領域を含ませた画像を遠隔操作装置に表示する一例を示す図であり、図１５（ａ）は、遠隔操作装置上にサーバ・コンピュータの表示画面の一部を表示している状態を示している。また、図１５（ｂ）は、メニューが開いた際にメニュー以外の領域を含んだ画像を遠隔操作装置上に表示している状態を示している。また図１５（ｃ）は、ユーザがメニュー以外の領域をクリックしてメニューを閉じたときの状態を示している。

図１５に示すように、遠隔操作装置からサーバ・コンピュータの遠隔操作が可能な状態（図１５（ａ））で、サーバ・コンピュータ上にメニューが表示されたとき、メニューの領域の上部と左部に余裕を持たせた領域を表示領域として画像を取得して送信し、遠隔操作装置上に表示している（図１５（ｂ））。また、メニュー以外の領域をクリックすることで、メニューが閉じて、元の表示領域を表示することができる（図１５（ｃ））。

このように、本実施の形態の遠隔操作システムによれば、ユーザが遠隔操作装置の入力装置２１１から操作を行うことにより、または、ユーザの意思とは関係なくサーバ・コンピュータ上のアプリケーションの動作により、メニューがオープンすると、遠隔操作装置の表示装置に、オープンしたメニューとメニュー以外の領域を含んだ領域を送信することで、メニューの項目を選択せずにメニューを閉じたい場合に、メニュー以外の部分をクリックすることで、メニューを閉じることが可能となり、操作上の煩雑さを軽減することができ、システムの操作性を向上することが可能となる。

以上のように、本発明は、通信ネットワークを介してデータ通信可能な遠隔操作装置とサーバ装置とからなるシステムにおいて、サーバ装置の表示画面情報を、遠隔操作装置において受信して表示し、ユーザが遠隔操作装置上で指示した内容に従いサーバ装置が指示に対応する処理を実行するための遠隔操作システム及び遠隔操作方法に関するものであり、制御側である遠隔操作装置が携帯電話やパーソナル・デジタル・アシスタント（ＰＤＡ）などのように携帯性が重視され画面のサイズ及び解像度が、被制御側のサーバ・コンピュータの画面サイズ及び解像度よりも小さく、被制御側であるサーバ・コンピュータの画面の一部しか見えない場合でも、新たに表示されたメニューやダイアログに合わせて遠隔操作装置上に表示を行うことで、表示領域のスクロールなどの煩雑な操作を軽減させ、システムの操作性を向上するという利点が得られる。

本発明の実施の形態における遠隔操作システムの機能ブロック図 本発明の実施の形態における遠隔操作システムの装置ブロック図 実施の形態１における遠隔操作システムにおいて開いたメニューに表示領域を合わせて遠隔操作装置に表示する一例を示す図 実施の形態１における遠隔操作システムにおいて開いたダイアログに表示領域を合わせて遠隔操作装置に表示する一例を示す図 実施の形態１における遠隔操作システムにおいてダイアログを閉じたときに元の表示領域に戻して遠隔操作装置に表示する一例を示す図 実施の形態１における遠隔操作システムにおいてサーバ・コンピュータが遠隔操作装置から入力情報等のデータを受信したときの動作を示すフローチャート 実施の形態１における遠隔操作システムにおいてサーバ・コンピュータがメニューやダイアログの開閉を検知したときの内部動作を示すフローチャート 実施の形態１における遠隔操作システムにおいてサーバ・コンピュータがメニューやダイアログの開閉を検知したときに遠隔操作装置へ画像を送信するまで動作を示すフローチャート 実施の形態２に係わる遠隔操作システムにおいて開いたメニューの全容を遠隔操作装置に表示する一例を示す図 実施の形態２における遠隔操作システムにおいて遠隔操作装置がその表示装置固有の情報をサーバ・コンピュータに送信する動作を示すフローチャート 実施の形態２における遠隔操作システムにおいてサーバ・コンピュータが遠隔操作装置から画面情報を受信したときの動作を示すフローチャート 実施の形態３における遠隔操作システムにおいて開いたメニューの項目を選択する際に表示されていなかった部分の項目を遠隔操作装置に表示する一例を示す図 実施の形態３における遠隔操作システムにおいてサーバ・コンピュータがメニュー項目のカーソルの移動を検知したときの内部動作を示すフローチャート 実施の形態３における遠隔操作システムにおいてサーバ・コンピュータがメニュー項目のカーソルの移動を検知したときに遠隔操作装置へ送信する画像の領域を決定するまでの動作を示すフローチャート 実施の形態４における遠隔操作システムにおいてメニューが開いた際にメニュー以外の領域を含ませた画像を遠隔操作装置に表示する一例を示す図

符号の説明

１０１ ネットワーク
１０２ 制御手段
１０３ 通信手段
１０４ 入力手段
１０５ 送信データ生成手段
１０６ 受信データ解析手段
１０７ 表示手段
１０８ 制御手段
１０９ 通信手段
１１０ 受信データ解析手段
１１１ メッセージ監視手段
１１２ 送信画像領域決定手段
１１３ 画像取得手段
１１４ 送信データ生成手段
１１５ 表示領域記憶手段
１１６ 画面情報通知手段
１１７ 端末画面情報記憶手段
１１８ 送信画像記憶手段
２０１ 中央演算処理装置（ＣＰＵ）
２０２ 表示装置
２０３ ランダム・アクセス・メモリ（ＲＡＭ）
２０４ リード・オンリー・メモリ（ＲＯＭ）
２０５ 二次記憶装置
２０６ 通信インターフェース
２０７ 中央演算処理装置（ＣＰＵ）
２０８ 通信インターフェース
２０９ ランダム・アクセス・メモリ（ＲＡＭ）
２１０ リード・オンリー・メモリ（ＲＯＭ）
２１１ 入力装置
２１２ 表示装置

Claims (16)

1. 通信ネットワークを介してデータ通信可能な遠隔操作装置とサーバ装置で構成され、遠隔操作装置はサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置が受信して指示内容に応じた処理を実行する遠隔操作システムであって、
   前記サーバ装置は、
   ＯＳが開く表示メッセージを監視するとともにＯＳから発行される当該表示メッセージについての表示位置情報を取得するメッセージ監視手段と、
   前記メッセージ監視手段により取得した表示位置情報を基づいて前記遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段と、
   前記送信画像領域決定手段により決定された領域の画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像データを前記遠隔操作装置に送信するためのデータに加工する送信データ生成手段と、
   前記送信データ生成手段が加工した画像データを前記遠隔操作装置に送信する通信手段と、
   を備えることを特徴とする遠隔操作システム。
2. 表示メッセージは、サーバ装置の画面上で表示され、ユーザに動作の選択を促すメニューもしくはダイアログであることを特徴とする請求項１に記載の遠隔操作システム。
3. 表示位置情報は、表示メッセージを載せるために開いた矩形枠の左上座標，およびその矩形枠の縦横のサイズであることを特徴とする請求項１に記載の遠隔操作システム。
4. 前記送信画像領域決定手段は、新たな表示メッセージが開かれた場合にはメッセージ監視手段により取得した表示位置情報に基づいて遠隔操作装置に送信する画面の領域を決定し、
   該表示メッセージが閉られた場合には、遠隔操作装置に送信する画面の領域を該表示メッセージが開かれる前の状態に戻すことを特徴とする請求項１に記載の遠隔操作システム。
5. 通信ネットワークを介してデータ通信可能な遠隔操作装置とサーバ装置で構成され、遠隔操作装置はサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置が受信して指示内容に応じた処理を実行する遠隔操作システムであって、
   前記サーバ装置は、
   ＯＳが表示メッセージを開くこと，および表示メッセージ閉じることを監視するとともにＯＳから当該表示メッセージについての表示位置情報を取得するメッセージ監視手段と、前記メッセージ監視手段により取得した表示位置情報に基づいて遠隔操作装置に送信する画面の領域を決定する送信画像領域決定手段と、
   前記送信画像領域決定手段により決定された領域の画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像データを遠隔操作装置に送信するためのデータに加工する送信データ生成手段と、
   前記送信データ生成手段が加工した画像データを前記遠隔操作装置に送信する通信手段と、
   前記メッセージ監視手段が新たな表示メッセージを開いたことを検知すると、その直前に遠隔操作装置に送信していた画面の座標情報を記憶する表示領域記憶手段とを有し、
   前記メッセージ監視手段が表示メッセージを閉じたことを検知した際に、前記表示領域記憶手段が保持していた画面の座標情報を読出し、前記送信画像領域決定手段が当該座標情報に基づいて遠隔操作装置に送信する画面の領域を決定することを特徴とする遠隔操作システム。
6. 前記サーバ装置は、表示メッセージが開いている際に、前記メッセージ監視手段において
   、表示メッセージ上に表示されているカーソルの動作を監視し、カーソル現在位置を取得し、
   前記送信領域決定手段で決定された領域と比較を行い、前記カーソル現在位置が、領域外にある場合に、前記送信領域決定手段において、カーソル位置が送信領域内に含まれる領域を決定し、当該領域の画像を前記遠隔操作装置に送信するよう制御することを特徴とする請求項１及び請求項５に記載の遠隔操作システムのサーバ装置。
7. 前記サーバ装置は、前記サーバ装置の画面上で表示メッセージが表示される場合、前記送信画像領域決定手段において、メニューの表示領域の上部及び左部に余裕を持たせるように送信画像領域を決定することを特徴とする請求項１及び請求項５に記載の遠隔操作システムのサーバ装置。
8. 前記遠隔操作装置は、表示装置の表示能力に関する情報を前記サーバ装置に通知するための画面情報通知手段を有し、
   前記サーバ装置は、前記遠隔操作装置から通知された表示能力に関する情報を保持する端末画面情報記憶手段を有し、
   前記メッセージ監視手段において取得した表示メッセージの矩形枠の情報と、前記端末画面情報記憶手段において保持されている前記遠隔操作装置の画面サイズとを比較し、表示メッセージが前記遠隔操作装置の表示装置より大きい場合に、前記送信画像領域決定手段において、表示メッセージの全容を含む領域を送信領域とし、
   前記送信データ生成手段において、前記送信領域の画像を縮小して前記遠隔操作装置の画面サイズと一致した画像に加工することを特徴とする請求項１乃至請求項５に記載の遠隔操作システム。
9. 前記サーバ装置は、前記送信データ生成手段において、取得した画像を縮小加工する際の縮小率の制限値を記憶する画像縮小率記憶手段を有することを特徴とする請求項８に記載の遠隔操作システムのサーバ装置。
10. 通信ネットワークを介してデータ通信可能な遠隔操作装置とサーバ装置で構成され、遠隔操作装置はサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置は受信して指示内容に応じた処理を実行する遠隔操作システムであって、前記サーバ装置は、前記遠隔操作装置から受信した入力情報に基づいてＯＳに入力情報を渡し、
    ＯＳが表示メッセージを開いた場合にＯＳが発行する当該表示メッセージについての表示位置情報を取得し、
    取得した表示位置情報を基づいて前記遠隔操作装置に送信する画面の領域を決定を決定し、
    その領域の画像を取得して遠隔操作装置に送信する、
    ことを特徴とする遠隔操作方法。
11. 表示メッセージが閉じたことを検知した際に、その表示メッセージが開く前に表示していた領域を読み出し、その領域の画像を遠隔操作装置に送信することを特徴とする請求項１０に記載の遠隔操作システム。
12. 遠隔操作装置が表示装置の表示能力に関する情報をサーバ装置へ通知し、サーバ装置が遠隔操作装置から通知された表示能力に関する情報を保持するやり取りを行った後、遠隔操作時に開いた表示メッセージの矩形情報と、遠隔操作装置の画面情報から、表示メッセージの全容を含む領域を算出し、その領域の画像を取得して、遠隔操作装置の表示装置に一致するサイズに加工して、送信することを特徴とする請求項１０記載の遠隔操作方法。
13. 取得した画像を縮小加工する際の縮小率の制限値を読み出して、制限値以下の縮小加工は行わないことを特徴とする請求項１２に記載の遠隔操作方法。
14. メニューの表示領域の上部及び左部に余裕を持たせるように送信画像領域を決定することを特徴とする請求項１０記載の遠隔操作方法。
15. 遠隔操作装置がサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置が受信して指示内容に応じた処理を実行するための請求項１０乃至１４のいずれかに遠隔操作方法を実行するための遠隔操作プログラム。
16. 遠隔操作装置がサーバ装置の表示用画像データを受信して表示し、当該表示上で指示した内容をサーバ装置が受信して指示内容に応じた処理を実行するための請求項１０乃至１４のいずれかに遠隔操作方法を実行するための遠隔操作プログラムを記録したことを特徴とする記録媒体。

Images