JP2010044458A - リモート制御システム - Google Patents

リモート制御システム Download PDF

Info

Publication number
JP2010044458A
JP2010044458A JP2008206172A JP2008206172A JP2010044458A JP 2010044458 A JP2010044458 A JP 2010044458A JP 2008206172 A JP2008206172 A JP 2008206172A JP 2008206172 A JP2008206172 A JP 2008206172A JP 2010044458 A JP2010044458 A JP 2010044458A
Authority
JP
Japan
Prior art keywords
remote control
screen
control
terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008206172A
Other languages
English (en)
Inventor
Kenji Matsuda
健次 松田
Minoru Wani
稔 和仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SKY Co Ltd
Original Assignee
SKY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SKY Co Ltd filed Critical SKY Co Ltd
Priority to JP2008206172A priority Critical patent/JP2010044458A/ja
Publication of JP2010044458A publication Critical patent/JP2010044458A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】
コンピュータ端末をリモート制御する際のリモート制御システムを提供することを目的とする。
【解決手段】
リモート制御の対象となる制御対象端末の表示装置で表示する画面情報を送信する画面情報送信部と、制御対象端末のリモート制御を行う制御指示端末における、制御対象端末に対するリモート制御の状況を示すリモート制御状況情報を受信するリモート制御状況情報受信部と、受信したリモート制御状況情報に基づいて、画面情報の送信制御内容を決定する送信制御内容決定部と、を有しており、画面情報送信部は、決定した送信制御内容に基づいて画面情報を送信する、リモート制御システムである。
【選択図】 図1

Description

本発明は、コンピュータ端末をリモート制御する際のリモート制御システムに関する。更に詳細には、リモート制御の対象となるコンピュータ端末の画面情報のデータ量の設定を、リモート制御の状況に応じて行うリモート制御システムに関する。
近年、コンピュータ端末が多様化しており、その操作などが複雑になっている。そのような場合に、コンピュータ端末を、ほかのコンピュータ端末から制御するリモート制御と呼ばれる管理技術が用いられる。リモート制御の技術によって、異なるコンピュータ端末を、遠隔地から制御することができる。
しかしリモート制御する場合には、制御対象となるコンピュータ端末(以下、「制御対象端末」という)がどのような状況かを確認するために、その操作画面を確認しなければならない。そのため、制御対象端末の操作画面を、リモート制御を実行しているコンピュータ端末(以下、「制御指示端末」という)に対して送信することで、制御指示端末で制御対象端末の操作画面を確認し、操作を行うことが可能となる。
しかし単に制御対象端末の操作画面を制御指示端末に送信する構成としたのでは、通信負荷やシステム負荷が大きい。そこで下記特許文献1に示すように、送信する画面データのデータ量や配信間隔を、制御指示端末のシステムリソースの負荷情報、たとえばネットワークの負荷情報、メモリ使用率、CPU使用率などに応じて変更することで、システム的な負荷を減らすことが行われている。
特開2006−108947号公報
上記発明のシステムを用いることによって、リモート制御を実行する制御指示端末やネットワークの負荷を軽減することができる。しかしリモート制御を実行している場合には、制御対象端末に対して何らかの操作、たとえばマウスなどのポインティングデバイスを使用している場合、などでは、制御対象端末の画面がどのような状態であるかがきわめて重要であるので、制御指示端末に負荷がかかっているからといって、特許文献1のようにデータの配信間隔やデータ量が減らされてしまうと、所望の位置にマウスを移動させることができない。
一方、システムリソースの負荷が少ない場合であっても、制御指示端末を操作するユーザが、リモート制御をほかの業務と並行して行っていたり、作業を一時的に中断するなどのように、当該制御対象端末のリモート制御の操作を実行していなければ、その操作画面を送る必要性が少なくなり、そのような場合に通常通り、操作画面の送信を行うのは無駄である。
このように、制御指示端末や制御対象端末のシステムリソースの負荷にかかわらず、制御指示端末を操作するユーザのリモート制御の状況に応じて、制御対象端末の操作画面の送信を調整する必要がある。しかし、上述の特許文献1や従来のリモート制御のシステムでは、制御対象端末や制御指示端末のシステムリソースの負荷情報に応じて、画面データの配信間隔、データ量などの調整を行っているに過ぎない。
つまり特許文献1のシステムでは、管理者端末でのシステム負荷のみに基づいて判定しているので、上述のように、制御指示端末を操作するユーザのリモート制御の状況に応じて当該クライアント端末の画面のデータ量を調整したり、制御指示端末やネットワークなどの負荷を減らすといったような表示状況に基づく制御を行うことができない。
そこで本願発明者は上記課題に鑑み、リモート制御を実行するコンピュータ端末である制御指示端末を操作するユーザの、リモート制御の対象のコンピュータ端末である制御対象端末に対するリモート制御の状況に応じて、制御対象端末の画面情報の送信制御の内容を調整することが可能なリモート制御システムを発明した。
第1の発明は、リモート制御を実行するリモート制御システムであって、前記リモート制御システムは、リモート制御の対象となる制御対象端末の表示装置で表示する画面情報を送信する画面情報送信部と、前記制御対象端末のリモート制御を行う制御指示端末における、前記制御対象端末に対するリモート制御の状況を示すリモート制御状況情報を受信するリモート制御状況情報受信部と、前記受信したリモート制御状況情報に基づいて、前記画面情報の送信制御内容を決定する送信制御内容決定部と、を有しており、前記画面情報送信部は、前記送信制御内容に基づいて前記画面情報を送信する、リモート制御システムである。
本発明のように構成することで、制御対象端末のリモート制御を実行する制御指示端末におけるリモート制御の状況に応じて、制御対象端末が画面情報を送信する際の送信制御の内容を調整することが可能となる。これによって、システム負荷にかかわらず、リモート制御を実行している制御指示端末の必要性に応じて画面情報を送信することが可能となる。なおリモート制御状況とは、ユーザ(管理者など)によるリモート制御の操作状況や実行状況を示す。
上述の発明において、リモート制御状況の判定は以下のように行うことが出来る。すなわち、前記制御指示端末は、前記リモート制御を行うための前記制御対象端末の画面情報を表示するリモート制御画面または前記リモート制御画面の表示領域における入力装置による入力操作、前記リモート制御画面の表示状況、または前記リモート制御画面の表示領域の表示状況のいずれか一以上を用いてリモート制御状況を判定し、その判定結果を含むリモート制御状況情報を、前記制御対象端末に送信するリモート制御状況判定部、を有するリモート制御システムのように構成することが出来る。
制御指示端末において、ポインティングデバイスなどの入力装置の表示位置がリモート制御画面の表示領域やリモート制御画面内にある場合、それらの領域や画面で入力装置による入力操作が行われた場合、リモート制御画面の表示領域やリモート制御画面が表示されている場合、リモート制御のアプリケーションソフトウェアがアクティブな場合などは、制御指示端末によるリモート制御の操作が行われている可能性が高い。また、そうでない場合には、リモート制御の操作が行われている可能性は低くなる。つまり前者の場合には制御対象端末の画面情報の必要性が高く、後者の場合にはその必要性は低くなる。そのため、本発明のように、入力装置の表示位置や入力操作、リモート制御画面やリモート制御画面の表示領域の表示状況を用いてリモート制御状況を判定し、その判定結果に応じて送信制御の内容を決定することで、実際のリモート制御の状況に合わせて画面情報の送信制御を行うことが可能となる。また、入力装置の入力操作には、ポインティングデバイスのカーソルの表示位置やクリック操作などに加え、キーボードの入力操作を含めても良い。
上述のリモート制御システムは、本発明のプログラムをコンピュータ端末で読み込むことで実行することが出来る。すなわち、リモート制御の対象となるコンピュータ端末である制御対象端末を、前記制御対象端末の表示装置で表示する画面情報を送信する画面情報送信部、前記制御対象端末のリモート制御を行う制御指示端末における、前記制御対象端末に対するリモート制御の状況を示すリモート制御状況情報を受信するリモート制御状況情報受信部、前記受信したリモート制御状況情報に基づいて、前記画面情報の送信制御内容を決定する送信制御内容決定部、として機能させるリモート制御プログラムであって、前記画面情報送信部は、前記送信制御内容に基づいて前記画面情報を送信する、リモート制御プログラムのように構成することが出来る。
本発明のリモート制御システムを用いることによって、リモート制御を実行するコンピュータ端末である制御指示端末を操作するユーザの、リモート制御の対象のコンピュータ端末である制御対象端末に対するリモート制御の状況に応じて、制御対象端末の画面情報の送信制御の内容を調整することが可能となる。そのため制御対象端末の操作が必要なときには多いデータ量で、画面情報を制御指示端末で表示させることが可能となる。また、制御対象端末を操作する必要がない場合には少ないデータ量で、画面情報を制御指示端末で表示させることが可能となる。
本発明のリモート制御システム1の全体の概念図を図1に、システム構成の一例の概念図を図2に示す。
本発明のリモート制御システム1は、クライアント端末3を監視する管理者が利用するコンピュータ端末(以下、「管理者端末2」という)において、所定のプログラムやモジュールが処理されることにより実現される。管理者端末2は、複数のクライアント端末3においてどのような画面が表示されているかを記録、監視することが好ましい。そのため、後述するが、クライアント端末3には、クライアント端末3の表示装置22に表示する画面をキャプチャして、定期的にまたは所定のタイミングで管理者端末2に送信する機能、管理者端末2からのリモート制御の制御指示を受け取り、その制御指示に応じた制御を実行するリモート制御機能を備えている。画面をキャプチャするには、例えばVRAMなどの表示装置22に表示する情報を記憶する表示情報記憶装置から、表示装置22で表示している画面情報を読み取り、それを画面情報として送信すればよい。
本明細書では、管理者端末2が管理するクライアント端末3のうち、後述する管理者端末2において選択されたクライアント端末3が、リモート制御の対象である制御対象端末となる。また管理者端末2が、制御対象端末のリモート制御を実行する制御指示端末となる。
管理者端末2、クライアント端末3は、プログラムの演算処理を実行するCPUなどの演算装置20と、情報を記憶するRAMやハードディスクなどの記憶装置21と、ディスプレイ(画面)などの表示装置22と、キーボードやポインティングデバイス(マウスやテンキーなど)などの入力装置23と、演算装置20の処理結果や記憶装置21に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置24とを有している。コンピュータ上で実現する各機能(各手段)は、その処理を実行する手段(プログラムやモジュールなど)が演算装置20に読み込まれることでその処理が実行される。各機能は、記憶装置21に記憶した情報をその処理において使用する場合には、該当する情報を当該記憶装置21から読み出し、読み出した情報を適宜、演算装置20における処理に用いる。図3に管理者端末2、クライアント端末3のハードウェア構成の一例を模式的に示す。また、管理者端末2、クライアント端末3は、複数のコンピュータ端末またはサーバに、その機能が分散配置されていても良い。
本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。
管理者端末2は、管理者が使用するコンピュータ端末であって、クライアント端末3から受信した端末の情報(以下の説明では、端末の情報として「画面情報」の場合を説明するが、ほかの情報であっても良い。)を表示装置22で表示する。この表示によって、クライアント端末3でどのような操作が行われているのかを確認することができる。図5に、管理者端末2の表示装置22で、クライアント端末3の画面情報を表示する画面の一例を示す。また図6に、図5で表示したクライアント端末3の画面情報から一つのクライアント端末3の画面情報を選択して表示した場合の画面の一例を示す。
管理者端末2では、クライアント端末3の画面情報を表示するリモート制御画面において、所定の操作を実行することにより、指定するクライアント端末3のリモート制御処理を開始することができる。たとえば図7に示すように、リモート制御画面の「リモート操作」のアイコンを押下することによって、リモート制御の要求が管理者端末2(制御指示端末)から、リモート制御の対象となるクライアント端末3(制御対象端末)に送信される。
またクライアント端末3は、企業などの組織内で使用されるコンピュータ端末であって、通常の業務活動を行うために使用するコンピュータ端末である。上記のように、クライアント端末3は、定期的にまたは所定のタイミングでその表示装置22で表示する画面情報を管理者端末2に送信する。また管理者端末2によってリモート制御の対象として選択された場合には、当該クライアント端末3のリモート制御機能は、リモート制御に関する情報を管理者端末2から受け取ることによって、管理者端末2のリモート制御を受ける。すなわち、リモート制御機能は、管理者端末2から制御指示などの情報を受け取り、それに対応した制御を当該クライアント端末3で実行する。そしてその制御結果を管理者端末2に送信する。
リモート制御システム1は、画面情報受信部4と画面情報記憶部5とリモート制御処理部6とリモート制御状況判定部7とリモート制御状況情報受信部8と送信制御内容決定部9と画面情報送信部10とを有する。
画面情報受信部4は、管理者端末2が監視対象としているクライアント端末3(制御対象端末も含む)が送信した、当該クライアント端末3の表示装置22で表示している画面情報を受信する。例えば図8に示すような画面情報を画像形式で受信する。なおこの画面情報には、端末識別情報、ユーザ識別情報、日時情報などが付随していると良い。画面情報受信部4は、予め設定された所定のタイミング(間隔)、または後述する送信制御内容決定部9で決定した所定のタイミング(間隔)で送信された画面情報を、クライアント端末3から受信すると、それを後述する画面情報記憶部5に記憶させる。ここで受信したクライアント端末3の画面情報が管理者端末2の表示装置22でクライアント端末3の端末識別情報と共に表示されることとなる。またリモート制御の際には、この画面情報がリモート制御の対象である制御対象端末の表示装置22に表示される画面情報として、制御指示端末である管理者端末2の表示装置22で表示される。
画面情報記憶部5は、画面情報受信部4で受信した、クライアント端末3からの画面情報を記憶している。
リモート制御処理部6は、リモート制御にかかる処理を実行する。たとえば、管理者端末2の表示装置22に表示されている、画面情報受信部4で受信したクライアント端末3からの画面情報から、リモート制御の対象となるクライアント端末3が選択されると、リモート制御処理部6は、選択されたクライアント端末3に対してリモート制御の制御指示を渡す。この制御指示を受け取ったクライアント端末3は、制御指示端末である管理者端末2からのリモート制御を受けつける。従って制御指示端末からの所定の制御指示、たとえばマウスをクリックする、などの制御指示をリモート制御処理部6は制御対象端末に対して送信する。そして制御対象端末での処理結果の画面情報を制御対象端末から画面情報受信部4で受信し、リモート制御処理部6がそれを制御指示端末の表示装置22に表示させる。
なおリモート制御のアプリケーションソフトウェアにより表示される画面をリモート制御画面と呼び、リモート制御画面において、制御対象端末の画面情報を表示する表示領域をリモート制御画面の表示領域と呼ぶこととする。
制御指示端末の表示装置22で、制御対象端末の画面情報を表示する一例を図9に示す。制御対象端末から受信した画面情報が、制御指示端末のリモート制御画面における表示領域に表示されるが、この画面情報は画像形式である。従って図9に示すように、その画面情報にボタンなどが表示されていたとしても、そのボタンそのものをクリックなどで選択することができない。しかしそれでは制御指示端末による制御対象端末のリモート制御が実行できないので、以下のような処理をリモート制御処理部6は更に実行する。
すなわち制御指示端末では、上記制御対象端末の表示装置22で表示しているリモート制御画面の表示領域において、マウスなどの入力装置23による入力操作、たとえばマウスによるクリック操作などを検出すると、その表示領域におけるマウスのクリック操作と、リモート制御画面またはリモート制御画面の表示領域における位置の座標情報(相対位置の座標情報:相対座標)を検出する。
そして相対座標を、制御対象端末の表示装置22における絶対座標(絶対位置の座標情報)に変換し、マウスのクリック操作があった制御指示とともに、制御指示端末のリモート制御処理部6は、制御対象端末に送信し、制御対象端末で制御指示に対応する操作、つまり上記絶対座標におけるマウスのクリック操作を反映させる。すなわち絶対座標においてマウスのクリック操作があった制御を実行する。
より具体的には、制御対象端末の画面情報がXGA(1024×768)、制御指示端末の表示装置22がSXGA(1280×1024)の大きさであり、リモート制御画面の表示領域に、制御対象端末の画面情報をXGAの大きさで表示した場合に、当該画面情報の左上隅と右下隅の座標は、例えば、リモート制御画面における相対座標系(リモート制御画面の左上隅を原点とする座標系)の座標(256,256)と(1279,1023)のように表示することができる。この場合、相対座標から絶対座標への変換としては、制御指示端末の表示装置で表示しているリモート制御画面上の相対座標(256,256)を、制御対象端末の表示装置22における絶対座標(0,0)に変換することができる。
また、制御指示端末の表示装置22および制御対象端末の画面情報の大きさが上述のとおりでありリモート制御画面における表示領域に、制御対象端末の画面情報をVGA(640×480)の大きさで表示する場合、左上隅と右下隅の座標は、例えば、リモート制御画面における相対座標系の座標(256,256)と(895,735)に表示することができる。つまり、制御指示端末のリモート制御画面における相対座標(256,256)は、制御対象端末の絶対座標(0,0)に変換することができるし、制御指示端末のリモート制御画面における相対座標(895,735)は、制御対象端末の絶対座標(1023,767)に変換することができる。
更に、相対座標系として上述では、制御指示端末で表示するリモート制御画面の左上隅を原点としたが、リモート制御画面における表示領域の左上隅を原点とした相対座標系(表示領域の相対座標系)としても良い。この場合は、リモート制御画面における表示領域の相対座標系における座標(0,0)は、制御対象端末における絶対座標(0,0)に該当する。
このように、制御指示端末における相対座標から、制御対象端末の表示装置22における絶対座標の変換については、相対座標としてリモート制御画面またはリモート制御画面の表示領域の所定箇所(好ましくは左上隅)を原点とし、その座標を原点として、リモート制御画面の表示領域の左上隅を原点とする相対座標系に変換し、更にそれを、制御対象端末の表示装置22の絶対座標に変換する。
つまり、相対座標から絶対座標への変換は、制御指示端末上の座標を(X,Y)、制御対象端末の表示装置の幅と高さをWoとHo、制御指示端末の表示装置22に表示されている制御対象端末の画面情報の表示領域の幅と高さと左端と上端をWdとHdとXdとYdとすると、制御対象端末のXo座標は、(X−Xd)×Wo/Wdとなり、制御対象端末のYo座標は、(Y−Yd)×Ho/Hdで変換することができる。
この座標変換の処理を模式的に図10に示す。なお相対座標から絶対座標への変換は、制御指示端末で行わなくても制御対象端末で行ってもよい。
リモート制御状況判定部7は、制御指示端末の表示装置22で表示しているリモート制御画面に基づいて、そのリモート制御の状況を定期的にまたは所定のタイミングで判定する。なおこの処理は、リモート制御を実行している場合に起動し、実行することが好ましい。
リモート制御の状況の判定としては、制御指示端末において、リモート制御を実際に行っているかを判定する処理であれば如何なるものであっても良いが、例えば、リモート制御画面の表示領域やリモート制御画面における入力装置23のカーソル位置(第一の判定)、リモート制御画面の表示領域やリモート制御画面に対する入力装置23による入力操作(第二の判定)、リモート制御画面の表示領域の表示状況(なお表示状況とは、表示装置22での制御対象端末の画面情報の表示量であって、制御対象端末に対するリモート制御を実行するためのリモート制御画面やリモート制御画面の表示領域が、ほかのアプリケーションソフトウェアの画面の背面に位置するなどによって、当該リモート制御画面や画面情報が表示されていない状況など)(第三の判定)、リモート制御のアプリケーションソフトウェアがアクティブであるか否か(第四の判定)、などがある。上述の各判定方法については後述する。ここで判定した、上述のリモート制御の状況の情報をリモート制御状況情報として、制御対象端末であるクライアント端末3に送信する。このようにして送信したリモート制御状況情報に基づいて、所定時間内に送信する、制御対象端末の画面情報のデータ量(送信間隔、画面情報の解像度、データ圧縮量、画像領域など)が制御対象端末であるクライアント端末3で決定される。
リモート制御状況判定部7の第一の判定では、図11に示すように、制御指示端末におけるマウスなどのポインティングデバイスの入力装置23のカーソル位置を利用して判定する。
リモート制御状況判定部7は、ポインティングデバイスなどの入力装置23の制御指示端末のリモート制御画面における表示領域上のカーソルの位置情報(リモート制御画面の表示領域における相対座標)と、リモート制御画面における表示領域の座標位置の情報とをOSなどが管理するウィンドウマネージャやデバイスマネージャから定期的または所定のタイミング(カーソル位置が変化するタイミングなど)で取得する。そして、取得したポインティングデバイスのカーソルの位置情報およびリモート制御画面における表示領域の座標位置の情報からポインティングデバイスのカーソルの位置がリモート制御画面の表示領域内にあるかを判定する。
第一の判定を具体的に示す。なおこの具体例では、カーソル位置がリモート制御画面における表示領域内にあるか否かで判定を行っているが、カーソル位置がリモート制御画面内にあるか否かで判定を行っても良い。
たとえば、制御指示端末の表示装置22の大きさをSXGAとし、制御対象端末の画面情報の大きさをXGAとし、リモート制御画面で画面情報を表示する表示領域の左上隅と右下隅が(256,256)と(1279,1023)であったとする(リモート制御画面の左上隅を原点とした場合)。このときポインティングデバイスのカーソル位置が、たとえば、座標(200,200)とすると、画面情報の表示領域内にカーソル位置がないと判定することができる。また、ポインティングデバイスのカーソル位置が、座標(300,300)とすると、リモート制御画面の表示領域内にあると判定することができる。
リモート制御状況判定部7の第二の判定として、図12に示すように、制御指示端末の入力装置23からの入力操作を利用した判定である。
リモート制御状況判定部7は、ポインティングデバイスなど入力装置23から入力操作が行われた際に、そのポインティングデバイスの制御指示端末のリモート制御画面における表示領域上のカーソルの位置情報(リモート制御画面における表示領域における相対座標)をOSなどが管理するウィンドウマネージャやデバイスマネージャから定期的または所定のタイミングで取得する。さらにリモート制御状況表示部7は、リモート制御画面における表示領域の座標位置の情報を取得する。そして、取得したポインティングデバイスのカーソルの位置情報およびリモート制御画面における表示領域の座標位置の情報からポインティングデバイスの入力操作が、リモート制御に関するもの(リモート制御画面における表示領域内での入力操作)であるかを判定する。
第二の判定を具体的に示す。なおこの具体例では、入力操作が、リモート制御画面における表示領域内での操作であるか否かで判定を行っているが、入力操作が、リモート制御画面内での操作であるかで判定を行っても良い。
たとえば、制御指示端末の表示装置22の大きさをSXGAとし、制御対象端末の画面情報の大きさをXGAとし、リモート制御画面の表示領域の左上隅と右下隅が(256,256)と(1279,1023)であったとする(リモート制御画面の左上隅を原点とした場合)。そしてたとえば、ポインティングデバイスの入力操作であるクリック操作を監視する。クリック操作が行われた際にポインティングデバイスのカーソル位置が、座標(200,200)とすると、リモート制御画面の表示領域内での操作ではないと判定することができる。また、ポインティングデバイスのカーソル位置が、座標(300,300)とすると、リモート制御画面の表示領域内での操作であると判定することができる。上述ではポインティングデバイスのクリック操作を監視するとしたが、リモート制御画面における表示領域に対する様々な入力操作を監視することもできる。
また、同様の効果で別の方法として、リモート制御状況判定部7は、リモート制御をおこなっているアプリケーションソフトウェアに対する指示メッセージ(入力装置等からの入力イベントに関するメッセージなど)を監視する。ポインティングデバイスやキーボードなどの入力装置23から入力されるとOSが管理するウィンドウマネージャやデバイスマネージャなどで指示メッセージに変換され、入力対象となるアプリケーションソフトウェアに送信される。リモート制御状況判定部7は、リモート制御のアプリケーションソフトウェアに対する指示メッセージを監視し、指示メッセージの受信を検出すると入力操作がリモート制御に関するものであると判定する。
なお上述の第一の判定および第二の判定において、リモート制御状況判定部7は、リモート制御画面における表示領域での入力装置23の位置、入力操作を判定したが、リモート制御画面での入力装置23の位置、入力操作を判定してもよい。
リモート制御状況判定部7の第三の判定として、図13に示すように、制御指示端末上で動作しているアプリケーションソフトウェアの画面の表示位置・重畳状況などの表示に関する情報を取得し、リモート制御画面における表示領域の表示状況を判定する。
リモート制御状況判定部7は、制御指示端末にて起動している各種アプリケーションソフトウェア(リモート制御のアプリケーションソフトウェアや同時に起動しているほかのアプリケーションソフトウェアなど)の画面の表示位置情報(座標情報など)と、それらの画面の前後関係などの情報を、OSなどが管理するウィンドウマネージャから定期的もしくは所定のタイミングで取得する。アプリケーションソフトウェアの画面の表示位置情報は、制御指示端末の表示装置22における表示位置を特定する情報である。画面の前後関係の情報は、複数のアプリケーションソフトウェアの画面の前面・背面など、階層関係(レイヤなど)を示す情報である。このアプリケーションソフトウェアの画面の表示位置情報と前後関係の情報とを用いて、リモート制御のアプリケーションソフトウェアのリモート制御画面における表示領域の表示量を判定する。
例えば、リモート制御のアプリケーションソフトウェアと、ほかのアプリケーションソフトウェアとが制御指示端末で起動している場合には、リモート制御のアプリケーションソフトウェアのリモート制御画面と、当該ほかのアプリケーションソフトウェアの画面の各表示位置情報と、それらの画面の前後関係の情報を、ウィンドウマネージャーなどから取得する。そして取得した各画面の表示位置情報と前後関係の情報とを用いて、リモート制御のアプリケーションソフトウェアのリモート制御画面における表示領域の表示量を判定する。
この判定において、リモート制御画面の表示領域がほかのアプリケーションソフトウェアの画面によって表示されていないことを判定する処理としては、以下のような処理により実行できる。なおここでの説明では、リモート制御画面における表示領域で判定を行っているが、リモート制御画面で判定を行っても良い。
この処理は、リモート制御画面とほかのアプリケーションソフトウェアの画面との重畳状況を判定すればよい。まず当該リモート制御画面とほかのアプリケーションソフトウェアの画面との前後関係を判定する(この前後関係は、OSなどのウィンドウマネージャーなどから取得可能である)。そして当該リモート制御画面の一部または全部が隠れる場合には、リモート制御画面のうち、どこがほかのアプリケーションソフトウェアの画面で隠れているかを判定する。
これはリモート制御画面で表示しているリモート制御画面の表示領域の表示位置情報(座標情報など)と、ほかのアプリケーションソフトウェアの画面の表示位置情報(座標情報など)とを比較すれば判定できる。
そしてほかのアプリケーションソフトウェアの画面で一部または全部が隠されている表示領域について、表示位置情報(座標情報など)を判定することで、隠されている領域または表示されている領域の位置を判定することができる。
以上の処理を模式的に示すのが図14である。なお図14においては、ほかのアプリケーションソフトウェアの画面で隠されている表示領域の部分を破線で示している(ただしすべてについて示しているのではなく、省略している場合もある)。従って破線部分については実際には、ほかのアプリケーションソフトウェアの画面で隠されており、見ることはできない。
図14では、リモート制御画面の各頂点を「A,B,C,D」とし、それぞれの頂点の位置の座標情報が制御指示端末で管理されている。また各制御対象端末の画面情報は、所定の表示領域に表示されており、その表示領域の各頂点を「A’,B’,C’,D’」とし、それぞれの頂点の位置の座標情報も同様に、制御指示端末で管理されている。同様に、ほかのアプリケーションソフトウェアの画面の各頂点の位置の座標情報を「O,P,Q,R」とする。
この場合に、リモート制御状況判定部7は、所定の操作を検出する、あるいは定期的に、リモート制御のアプリケーションソフトウェアの画面(リモート制御画面)と、ほかのアプリケーションソフトウェアの画面との前後関係などの情報を、OSなどが管理するウィンドウマネージャーから取得する。そして取得した情報から当該リモート制御のアプリケーションソフトウェアのリモート制御画面と、ほかのアプリケーションソフトウェアの画面の前後関係を判定する。そしてリモート制御のアプリケーションソフトウェアのリモート制御画面が最前面にあると判定した場合には、後述する座標情報の判定を行うことなく、すべての表示領域が表示されていると判定できる。
そして、ほかのアプリケーションソフトウェアの画面が最前面にあると判定した場合には、リモート制御画面の表示領域の位置の座標情報「A’,B’,C’,D’」と、ほかのアプリケーションソフトウェアの画面の各頂点「O,P,Q,R」の位置の座標情報を取得し、リモート制御のアプリケーションソフトウェアのリモート制御画面とほかのアプリケーションソフトウェアの画面の前後関係とから、重畳しているかを判定する。
そしてリモート制御画面の表示領域にほかのアプリケーションソフトウェアの画面が重畳していると判定した場合には、表示されている領域または隠されている領域の位置の座標情報を判定する。これは上記各頂点の位置の座標情報の比較により容易に算出可能である。
このようにしてリモート制御画面の表示領域が、ほかのアプリケーションソフトウェアの画面で隠されているかどうかの判定処理が可能となる。
上述では第三の判定を一般化した場合で説明したが、以下では上述の説明をより具体的に示す。なおこの具体例では、リモート制御画面における表示領域の表示量の判定を行っているが、リモート制御画面の表示量の判定を行っても良い。
たとえば、制御指示端末の表示装置22の大きさをSXGAとし、制御対象端末の画面情報の大きさをXGAとし、リモート制御画面の表示領域の左上隅と右下隅が(256,256)と(1279,1023)であったとする(リモート制御画面の左上隅を原点とした場合)。このときリモート制御のアプリケーションソフトウェアのリモート制御画面が、同時に起動しているほかのアプリケーションソフトウェアの画面の背面に位置する場合であって、ほかのアプリケーションソフトウェアの画面の左上隅と右下隅が座標(200,200)と(1279,1023)に表示されているとすると、リモート制御画面における表示領域は、表示領域のすべてが隠れている(表示量は0%)と判定できる。
また、リモート制御画面が、同時に起動しているほかのアプリケーションソフトウェアの画面の背面に位置する場合であって、ほかのアプリケーションソフトウェアの画面の左上隅と右下隅が座標(200,256)と(1279,511)に表示されているとすると、リモート制御のアプリケーションソフトウェアのリモート制御画面における表示領域は、(256,512)と(1279,1023)の範囲で表示されているため、リモート制御画面における表示領域は、一部表示されていると判定できる。つまり、この例では表示量が50%表示されていると判定できる。
また、リモート制御画面が、同時に起動しているほかのアプリケーションソフトウェアの画面の背面に位置する場合であって、ほかのアプリケーションソフトウェアのウィンドウの左上隅と右下隅が座標(100,100)と(200,200)に表示されているとすると、リモート制御画面における表示領域は、すべてが表示されていると判定できる。
また、リモート制御画面が最前面に位置する場合には、座標の判定をすることなくすべての領域が(100%)表示されていると判定できる。
なお第三の判定において、リモート制御画面の表示領域の一部または全部が制御指示端末の表示装置22で表示されていない場合は、ほかのアプリケーションソフトウェアの画面で隠されている場合に限られない。たとえば図15に示すように、リモート制御画面の表示位置が偏っているために、表示装置22でリモート制御画面の表示領域のすべてが表示されていない場合などもある。
この場合にも第三の判定を適用することが可能である。なおこの場合のリモート制御画面の表示領域で表示されている範囲は、以下のようにして特定する。すなわち、リモート制御画面の表示領域の各頂点の位置の座標情報に基づいて、すべてが表示されているかを判定する。これはリモート制御画面の表示領域の基準となる位置の座標情報、たとえば表示領域Aであれば位置の座標情報a1を基点として、縦方向または横方向にその表示領域の長さが収まっているか、つまりa1の位置の座標情報に縦方向または横方向の長さを足した座標が、制御指示端末の表示装置22内に収まっているかを判定することによって行える。
リモート制御状況判定部7の第四の判定として、制御指示端末上で起動しているアプリケーションソフトウェアがアクティブか非アクティブかを取得し、リモート制御のアプリケーションソフトウェアがアクティブであるかを判定する。
また上述の方法に限らず、OSなどが管理するウィンドウマネージャーからアクティブになっているウィンドウIDを取得し、リモート制御のアプリケーションソフトウェアのウィンドウIDと取得したウィンドウIDとを比較して同一のIDかどうかを判定してもよい。
リモート制御状況判定部7は、制御指示端末にて起動しているアプリケーションソフトウェアの内、アクティブウィンドウであるアプリケーションソフトウェアをOSが管理するウィンドウマネージャなどから取得する。取得したアクティブウィンドウのアプリケーションソフトウェア名(アプリケーションソフトウェア識別情報)とリモート制御のアプリケーションソフトウェア名(アプリケーションソフトウェア識別情報)とを比較する。比較の結果、一致する場合はリモート制御のアプリケーションソフトウェアがアクティブ状態であると判定する。
リモート制御状況判定部7は、上述した、第一の判定乃至第四の判定のいずれか一以上の判定結果を、制御対象端末であるクライアント端末3のリモート制御状況情報受信部8に送信する。
リモート制御状況情報受信部8は、リモート制御状況判定部7からリモート制御状況情報を受信する。
送信制御内容決定部9は、リモート制御状況情報受信部8で受信したリモート制御状況情報に基づいて、所定時間内における通信の、画面情報送信部10で送信する画面情報のデータ量(送信間隔、画面情報の解像度、データ圧縮量、画像領域など)を決定する。この決定処理としては、例えば、マウスなどのポインティングデバイスのカーソル位置が、リモート制御画面の表示領域内に位置するか(第一の判定の場合)、マウスなどのポインティングデバイスによるリモート制御画面の表示領域に対する入力操作があるか(第二の判定)、リモート制御画面の表示領域の表示状況(第三の判定)、リモート制御のアプリケーションソフトウェアがアクティブであるか否か(第四の判定)、などのリモート制御状況判定部7における判定結果に応じた送信制御内容を決定する。送信制御内容決定部9で決定した送信制御内容は、制御対象端末の記憶装置21(一時記憶領域も含む)における送信制御内容記憶部(図示せず)に記憶し、後述する画面情報送信部10が必要に応じて、適宜読み出して使用することも出来る。
決定される送信制御内容には、画面情報の送信間隔を変更して送信する、画面情報の画像の解像度を変更して送信する、画面情報の画像の一部のみを送信する、画面情報の画像の圧縮率を変更して送信するなどがある。いずれも画面情報を送信する際のデータ量を変更する制御内容である。送信制御内容の決定方法についての一例を図16に示す。なおリモート制御状況判定部7における判定結果と、その判定結果に対応する送信制御内容は図16に示すような対応テーブルとして、制御対象端末であるクライアント端末3に記憶している。
リモート制御状況判定部7において第一の判定を行った場合には、その判定結果として、マウスなどのカーソル位置の判定結果をリモート制御状況情報受信部8で受信しているので、それを送信制御内容の決定に用いる。カーソル位置がリモート制御画面における表示領域内にある場合は、リモート制御をおこなう意思が高いと思われるため、より変化を早く正確に伝えることが好ましい。そのため、画面情報の送信間隔を0.5秒、解像度を300dpiといった送信制御内容を決定する。また逆にマウスなどのカーソル位置がリモート制御画面における表示領域の外にある場合は、リモート制御をおこなう意思が低いと思われるため、画面情報の送信間隔を1.5秒、解像度を200dpiといった送信制御内容を決定する。
リモート制御状況判定部7において第二の判定を行った場合には、その判定結果として、リモート制御画面の表示領域に対する入力操作であるかの判定結果をリモート制御状況情報受信部8で受信しているので、それを送信制御内容の決定に用いる。たとえばマウスの位置がリモート制御画面における表示領域の内側であって、かつマウスがクリックされた場合は、リモート制御が行われていると考えられるため、画面情報の送信間隔を0.25秒、解像度を400dpiとして送信制御内容を決定する。また、リモート制御画面の表示領域以外の場所でクリックされた場合は、リモート制御以外の操作を行おうとしていると考えられるため、画面情報の送信間隔を1.5秒、解像度を200dpiとして決定する。
また、第一、第二の判定においては、リモート制御画面における表示領域内にマウスのカーソルがあると判断した場合には、送信制御内容としてマウスカーソルの周辺範囲のみを送信するように設定することもできる。たとえば、マウスのカーソル位置が(300,800)であった場合、その場所を中心とした縦横50dotの矩形を特定でき、その矩形は2点(275,775)、(325,825)を判定し、送信制御内容とすることもできる。これを模式的に示すのが図17である。
なおリモート制御画面における表示領域に代えて、リモート制御画面を判定に用いることもできる。また、これらの双方を組み合わせた場合には、マウスのカーソル位置がリモート制御画面内(リモート制御画面内であって表示領域の外)、リモート制御画面の表示領域内、それら以外の範囲として3段階の判定を行うことができる。
つまり、マウスのカーソル位置がリモート制御画面の表示領域内にある場合には高精細(データ量を多。たとえば取得間隔が1秒ごと、解像度400dpi)とし、リモート制御画面内にある場合には中精細(データ量を中。たとえば取得間隔が5秒ごと、解像度200dpi)とし、それら以外の範囲にある場合には、低精細(データ量を少。たとえば取得間隔が10秒ごと、解像度100dpi)に設定するなどができる。
また上述では矩形としたがカーソル位置を中心とした円や、そのほかの任意の形状とすることもできる。矩形や円、あるいは任意の形状の範囲については、所定値を用いてもよい。
リモート制御状況判定部7において第三の判定を行った場合には、その判定結果として、リモート制御画面における表示領域の表示状況の判定結果をリモート制御状況情報受信部8で受信しているので、それを送信制御内容の決定に用いる。たとえば、リモート制御画面における表示領域が制御指示端末上で全く表示されていない場合は、送信制御内容として送信中止を送信制御内容として判定する。また、リモート制御画面における表示領域の一部が表示されている場合は、表示されている部分の範囲のみを送信することを送信制御内容として決定する。さらにリモート制御画面における表示領域のすべてが表示されている場合は、送信制御内容として画面情報の全体を送信すると判定する。
リモート制御状況判定部7において第四の判定を行った場合には、その判定結果として、リモート制御のアプリケーションソフトウェアがアクティブか否かの判定結果をリモート制御状況情報受信部8で受信しているので、それを送信制御内容の決定に用いる。たとえば、リモート制御のアプリケーションソフトウェアがアクティブである場合には、送信制御内容として送信間隔を0.5秒、圧縮率を10%として判定する。また、非アクティブであった場合は、送信制御内容として送信間隔を1.5秒、圧縮率を70%として判定する。
なお送信制御内容決定部9が決定する送信制御内容としては上記に限られず、送信するデータ量を変更する方法であれば、如何なる送信制御の内容であっても良い。また第一の判定乃至第四の判定のいずれか一以上を用いて送信制御内容を決定することが出来る。これによって、リモート制御を行っているユーザ(管理者など)のリモート制御に対する意志をより反映させた送信制御内容を決定することが出来る。
画面情報送信部10は、クライアント端末3の表示装置22で表示している画面情報を送信制御内容に従って画像形式で読み取り、管理者端末2に送信する。これは、例えば、VRAMなどの表示装置22に表示する情報を記憶する表示情報記憶装置から、表示装置22で表示している画面情報を読み取り、それを画像形式の画面情報として送信すればよい。この画像形式の画面情報を送信する際には、併せて、当該クライアント端末3の端末識別情報、当該クライアント端末3を使用しているユーザのユーザ識別情報、キャプチャした日時情報(日時または日時を数値化した情報)などが付随されている。
画面情報送信部10は、リモート制御開始時には送信制御内容に初期値として設定されている、送信するデータ量(送信間隔、画面情報の解像度、データ圧縮量、画像領域など)に基づいて画面情報を送信し、その後、送信制御内容決定部9が送信制御の内容を決定した場合には、その内容に従って、リモート制御用の画面情報を送信する。送信制御内容は、送信するデータ量を変更する方法を示すものである。
画面情報送信部10における、送信するデータ量の制御としては、送信制御内容として決定された送信間隔で行う方法がある。つまり、送信間隔が0.5秒であれば、0.5秒間隔でクライアント端末3で表示されている画面情報を取得し送信する。また、送信間隔が1.5秒であれば、1.5秒間隔でクライアント端末3で表示されている画面情報を取得し送信する。これによって、0.5秒間隔よりも1.5秒間隔で送信する方が送信におけるデータ量を減らすことができる。
画面情報送信部10における、送信するデータ量の制御としては、送信制御内容として決定された、画面情報の画像解像度で送信を行う方法がある。例えば、クライアント端末3で取得した画面情報の画像の解像度が400dpiであるとする。その際に送信制御内容の解像度が400dpiであれば、解像度を何ら変更することなく送信する。これに対し送信制御内容の解像度が200dpiであれば、解像度を1/2となるように変換を行い送信する。このように解像度を小さくすることで送信におけるデータ量を減らすことができる。また、ここでは、解像度をdpiで示したがこれに限らず解像度を1/2や1/4とすることもできるし、XGA(1024×768)、VGA(640×480)などといった指定を用いた場合でも当然に実施可能である。
画面情報送信部10における、送信するデータ量の制御としては、送信制御内容として決定された、画面情報の一部の範囲の送信を行う方法がある。つまり、クライアント端末3の画面情報において、矩形座標として(x1、y1)と(x2,y2)が送信制御内容として指定されていた場合に、その矩形座標により構成される矩形領域のみの画面情報を送信する。例えば(x1,y1)として(5,15)と(x2,y2)として(55,65)が指定されている場合、(5,15)と(55,65)の矩形領域を画面情報として送信する。これによって、画面情報の全体を送信する場合に比べて送信におけるデータ量を減らすことができる。矩形領域以外では、(x,y)座標を中心に50dotの円もしくは任意の形状で指定された範囲であった場合にも当然に実施可能である。
画面情報送信部10における、送信するデータ量の制御は、送信制御内容として決定された、画面情報の圧縮率により送信を行う方法がある。つまり、送信制御内容が圧縮率10%であった場合、取得した画像情報を圧縮率10%で圧縮した画像情報を送信する。また、圧縮率の代わりに減色(256色や16色、2色など)であった場合でも当然に実施可能である。
画面情報送信部10は、送信制御内容のいずれか一以上を用いて画像形式の画面情報を加工もしくは変換し、制御指示端末にその画面情報を送信する。
次に本発明のリモート制御システム1の処理プロセスの一例を図4のフローチャート、図1及び図2の概念図を用いて説明する。なお以下の説明では、データ量として送信間隔と解像度を用いる場合を示すが、それ以外の場合であっても同様に処理できる。
クライアント端末3から管理者端末2に、当該クライアント端末3の表示装置22で表示している画面情報が、定期的にまたは所定のタイミングで送信されている。この情報は、画面情報については、画面情報受信部4で受信する。
画面情報受信部4で受信した画面情報は、当該画面情報を送信したクライアント端末3の端末識別情報、日時や日時を数値化した情報とあわせて、画面情報記憶部5に記憶させる。図8が画面情報の一例である。
このようにして画面情報記憶部5に記憶した画面情報については、管理者端末2の表示装置22でリモート制御画面に表示される。この際の表示の一例が図5や図6である。
図5の表示例の場合、画面右側領域において、クライアント端末3の画面情報が、当該クライアント端末3の端末識別情報と共に表示されている。この領域においては画面情報が縮小して表示されているので、例えばこの縮小した画面情報を管理者が選択することによって、図6に示すような画面情報の通常サイズでの表示が行われる。また図5の表示例における画面左側領域においては、クライアント端末3の一覧が部署ごとなどの所定単位ごとに階層的に表示されている。そして特定のクライアント端末3を選択することによって、当該クライアント端末3の画面情報の拡大表示(図6)が表示されたり、あるいは当該クライアント端末3に対するリモート操作を実行することが可能となる。
この図5、図6のようなリモート制御画面が管理者端末2の表示装置22で表示され、それを管理者が閲覧することによって、クライアント端末3における操作などを監視することができる。
そしてこのようなリモート制御画面を管理者端末2の表示装置22で表示していて、ユーザが特定のクライアント端末3に対するリモート操作を実行したい場合には、図7に示すように、所定箇所、たとえば「リモート操作」のアイコンなどを選択することによって、リモート制御処理要求が管理者端末2(制御指示端末)のリモート制御処理部6から、リモート制御の対象となるクライアント端末3(制御対象端末)に送信される(S100)。当該制御対象端末の端末識別情報は、ユーザ(管理者)がリモート制御画面から、クライアント端末3の画面情報やクライアント端末3のアイコンなどを選択したり、あるいはそのクライアント端末3の端末識別情報を入力することによって、制御指示端末から、当該クライアント端末3にリモート制御処理要求が送信される。
つまり、制御対象端末として選択された端末識別情報を有するクライアント端末3に対して、制御指示端末のリモート制御処理部6は、リモート制御の制御指示を送信する。この制御指示を受け取った制御対象端末はリモート制御の処理を実行する。つまり初期値としてあらかじめ定められたタイミングで、制御対象端末の画面情報送信部10から管理者端末2に、設定された解像度の画面情報を、設定された送信間隔で送信する処理を実行する(S110)。またリモート制御処理部6から受け取った制御指示、たとえばマウスの位置情報と、クリックの情報とを受け取れば、その位置でクリックの操作を行うなどの制御処理を実行する。
このようにして制御指示端末が、制御対象端末のリモート制御が可能となる。なおリモート制御処理が行われている間も、制御対象端末は、その表示装置22に表示する画面情報を適宜、管理者端末2に送信している。
そしてリモート制御処理部6は、制御指示端末のリモート制御画面の所定の表示領域に、制御対象端末の画面情報を表示させる。この処理は、リモート制御処理が終了するまで繰り返される(S120)。
一方、制御指示端末のリモート制御状況判定部7は、定期的にまたは所定のタイミングで、制御指示端末のユーザのリモート制御に対する状況を、上述の第一の判定乃至第四の判定のいずれか一以上、あるいはそれ以外の方法によって判定する(S130)。そしてその判定結果をリモート制御状況情報として、リモート制御状況判定部7が逐次、制御対象端末であるクライアント端末3に送信する(S140)。
制御対象端末のリモート制御状況情報受信部8は、ユーザのリモート制御の状況に対する判定結果であるリモート制御状況情報を、制御指示端末から受信すると(S200)、送信制御内容決定部9が、そのリモート制御状況情報に対応する画面情報の送信間隔、解像度などを、上述の対応テーブル(図16)を参照することによって判定する(S210)。
そして画面情報送信部10は、ここで決定した送信間隔、解像度に応じて、制御対象端末の画面情報を制御指示端末に送信することとなる(S220)。リモート制御状況判定部7、送信制御内容決定部9における処理などは制御指示端末、制御対象端末におけるほかの処理と並行して実行されている。このようにして送信された画面情報は制御指示端末で受信し、リモート制御処理部6が、リモート制御画面の表示領域において表示する(S150)。
以上のような処理プロセスを実行することで、リモート制御を行う場合に、制御指示端末を操作するユーザのリモート制御の状況に応じて、制御対象端末の画面情報の送信間隔、解像度などを自動的に調整することが可能となる。その結果、ユーザにとって必要な場合には短い送信間隔で解像度の高い画面情報が制御指示端末のリモート制御画面で表示され、ユーザがリモート制御を実行していないと判定される場合(マウスがリモート制御画面の表示領域の外側にある、リモート制御画面の表示領域の一部または全部がほかのウィンドウなどで隠れている、など)の場合には、長い送信間隔で解像度の低い画面情報が制御指示端末のリモート制御画面で表示されることとなる。
実施例1では管理者端末2がクライアント端末3から画面情報を直接、受信する場合を説明したが、管理者端末2と管理サーバ11とにその機能を分散することも可能である。この場合の全体の概念図を図18に、システム構成の概念図の一例を図19に示す。なお管理サーバ11についても上述の図3におけるハードウェア構成を備えていることが好ましい。
本実施例の場合、管理者端末2にリモート制御状況判定部7を備えており、管理サーバ11に画面情報受信部4、画面情報記憶部5、リモート制御処理部6を備えている。またリモート制御の対象となるクライアント端末3(制御対象端末)では実施例1と同様に、リモート制御状況情報受信部8、送信制御内容決定部9、画面情報送信部10とを備えている。
次に本実施例における処理プロセスの一例を図4のフローチャート、図18及び図19の概念図を用いて説明する。
クライアント端末3から管理サーバ11に、当該クライアント端末3の表示装置22で表示している画面情報が、定期的にまたは所定のタイミングで送信されている。この情報は、画面情報については、画面情報受信部4で受信する。
画面情報受信部4で受信した画面情報は、当該画面情報を送信したクライアント端末3の端末識別情報、日時や日時を数値化した情報とあわせて、画面情報記憶部5に記憶させる。図8が画面情報の一例である。
このようにして画面情報記憶部5に記憶した画面情報については、管理者端末2に送信され、管理者端末2の表示装置22では、リモート制御画面において、受信した画面情報を表示する。
そしてこのようなリモート制御画面を管理者端末2の表示装置22で表示していて、ユーザが特定のクライアント端末3に対するリモート操作を実行したい場合には、図7に示すように、リモート制御画面の所定箇所、たとえば「リモート操作」のアイコンなどを選択することによって、リモート制御処理要求が管理者端末2(制御指示端末)から管理サーバ11に送信される(S100)。この際に、どのクライアント端末3を制御対象とするのかを示すクライアント端末3の端末識別情報をあわせて管理サーバ11に送信するとよい。この制御対象端末の識別情報は、ユーザがリモート制御画面から、クライアント端末3の画面情報やクライアント端末3のアイコンなどを選択したり、あるいはそのクライアント端末3の端末識別情報を入力することによって、選択あるいは入力されたクライアント端末3が制御対象端末であるとして、その端末識別情報を制御指示端末から管理サーバ11に送信される。
制御指示端末からリモート制御処理要求と制御対象端末となるクライアント端末3の識別情報とを受け取った管理サーバ11のリモート制御処理部6は、当該制御対象となるクライアント端末3に対して、リモート制御の制御指示を送信する。この制御指示を受け取った制御対象端末はリモート制御の処理を実行する。つまりあらかじめ定められたタイミング、またはリモート制御の対象となるクライアント端末3で設定された送信間隔で、制御対象端末から管理サーバ11に、設定された解像度の画面情報を送信する処理を実行する。またリモート制御処理部6から受け取った制御指示、たとえばマウスの位置情報と、クリックの情報とを受け取れば、その位置でクリックの操作を行うなどの制御処理を実行する。
このようにして制御指示端末が、制御対象端末のリモート制御が可能となる。なおリモート制御処理が行われている間も、制御対象端末は、その表示装置22に表示する画面情報を適宜、管理サーバ11に送信している。この送信間隔、画面情報の解像度は、送信制御内容決定部9で決定された、管理サーバ11から制御指示端末への送信間隔、画面情報の解像度と同じであってもよいし、それとは独立していてもよい。
同じ場合には、制御対象端末から受信した画面情報をそのまま制御指示端末に送信すればリモート制御処理部6の処理が可能となる。また独立している場合には、リモート制御処理部6が制御対象端末から受信した画面情報をそのまま管理者端末2に送信すればよい。この場合、リモート制御用の画面情報と、画面情報記憶部5に記憶される操作監視用の画面情報とは独立しているので、画面情報記憶部5に記憶している画面情報は、不要に間隔が開いたり、解像度が低い画面情報が記憶されることはない。
そしてリモート制御処理部6は、制御対象端末の画面情報を、制御指示端末に送信する(S110)。管理サーバ11のリモート制御処理部6から制御対象端末の画面情報を受信した制御指示端末では、リモート制御画面の所定の表示領域に、制御対象端末の画面情報を表示させる。この処理は、リモート制御処理が終了するまで繰り返される(S120)。
一方、制御指示端末のリモート制御状況判定部7は、定期的にまたは所定のタイミングで、制御指示端末のユーザのリモート制御に対する状況を、上述の第一の判定方法乃至第四の判定方法のいずれか一以上、あるいはそれ以外の方法によって判定する(S130)。そしてその判定結果をリモート制御状況情報として、リモート制御状況判定部7が逐次、管理サーバ11または制御対象端末に送信する(S140)。
制御指示端末または管理サーバ11のリモート制御処理部6から、ユーザのリモート制御の状況に対する判定結果であるリモート制御状況情報をリモート制御状況情報受信部8が受信すると(S200)、送信制御内容決定部9は、その判定結果であるリモート制御状況情報に対応する画面情報の送信間隔、解像度などを、上述の対応テーブル(図16)を参照することによって決定する(S210)。
そして画面情報送信部10は、送信制御内容決定部9で決定した送信間隔、解像度に応じて、制御対象端末の画面情報を管理サーバ11に送信することとなる(S220)。リモート制御状況判定部7、送信制御内容決定部9における処理などは管理者端末2、管理サーバ11、クライアント端末3におけるほかの処理と並行して実行されている。このようにして送信された画面情報は制御指示端末で受信し、リモート制御処理部6が、リモート制御画面の表示領域において表示する(S150)。
以上のような処理プロセスを実行することで、リモート制御を行う場合に、制御指示端末を操作するユーザのリモート制御の状況に応じて、制御対象端末の画面情報の送信間隔、解像度などを自動的に調整することが可能となる。その結果、ユーザにとって必要な場合には短い送信間隔で解像度の高い画面情報が制御指示端末のリモート制御画面で表示され、ユーザがリモート制御を実行していないと判定される場合(マウスがリモート制御画面の表示領域の外側にある、リモート制御画面の表示領域の一部または全部がほかの画面などで隠れている、など)の場合には、長い送信間隔で解像度の低い画面情報が制御指示端末のリモート制御画面で表示されることとなる。
上述の実施例2では、制御対象端末と、制御指示端末との間のリモート制御の処理を、管理サーバ11を介して送受信する場合を示したが、管理サーバ11を介さずに、制御対象端末と、制御指示端末との間で直接、リモート制御の処理に係る情報を送受信することで、リモート制御の処理を実行しても良い。
この場合、制御対象端末から送信する画面情報については、管理サーバ11を介さずに、管理者端末2に直接送信しても良いし、管理サーバ11と制御指示端末の双方とに直接送信しても良い。
上述の各実施例のほかに、制御対象端末に画面情報送信部10のみを備え、制御指示端末に画面情報受信部4、画面情報記憶部5、リモート制御処理部6、リモート制御状況判定部7、リモート制御状況情報受信部8、送信制御内容決定部9を備えるように構成することも可能である。
この場合、制御指示端末では、リモート制御状況判定部7で判定したリモート制御状況情報に基づいて、制御指示端末において送信制御内容決定部9が送信制御内容を決定する。そして決定した送信制御内容を制御指示端末から制御対象端末に通知することで、制御対象端末の画面情報送信部10が当該送信制御内容に従って、画面情報を送信することとなる。
本発明のリモート制御システム1の各機能は、管理者端末2、クライアント端末3、管理サーバ11において適宜、分散配置していても良い。
なお分散配置のバリエーションには様々なパターンがあり、如何なる配置形態であっても良い。これらの場合、制御対象端末や制御指示端末における処理の際に、管理サーバ11の各機能を利用する場合にはその問い合わせを当該制御対象端末や制御指示端末から管理サーバ11に対して行い、その結果を当該制御対象端末や制御指示端末における処理に用いる。そしてその処理結果を制御対象端末や制御指示端末で実行することとなる。
本発明のリモート制御システム1を用いることによって、制御指示端末を操作するユーザの、制御対象端末に対するリモート制御の状況に応じて、制御対象端末の画面情報の送信間隔、データ量などを調整することが可能となる。そのため制御指示端末を操作するユーザが必要なときには、より短い間隔で、あるいは多いデータ量で、画面情報を制御指示端末で表示させることが可能となる。また、制御対象端末のユーザに必要ない場合には、その送信間隔が長く、あるいは少ないデータ量で、画面情報を制御指示端末で表示させることが可能となる。
本発明の全体の概念を示す概念図である。 本発明のシステム構成の一例を模式的に示す概念図である。 本発明のハードウェア構成の一例を模式的に示す概念図である。 本発明の処理プロセスの一例を模式的に示すフローチャートである。 管理者端末で表示するクライアント端末の画面情報のリモート制御画面の一例である。 管理者端末で表示するクライアント端末の画面情報のリモート制御画面において、特定のクライアント端末の画面情報を選択した場合に表示される画面の一例である。 リモート制御画面においてリモート操作を開始する場合の画面の一例である。 画面情報の一例である。 リモート制御画面において、制御対象端末の画面情報が表示され、リモート操作が行われる場合の画面の一例である。 座標変換の処理を模式的に示す図である。 第一の判定を模式的に示す図である。 第二の判定を模式的に示す図である。 第三の判定を模式的に示す図である。 リモート制御画面または表示領域と、ほかのアプリケーションソフトウェアの画面との重畳関係を判定する処理を模式的に示す図である。 リモート制御画面または表示領域が、制御指示端末の表示装置からはみ出ていることにより、その一部または全部が表示されないことを判定する処理を模式的に示す図である。 ユーザの操作状況と、制御指示端末に制御対象端末の画面情報の送信制御内容との対応関係を模式的に示す対応テーブルの一例である。 画面情報の一部を送信することを模式的に示す図である。 本発明の全体の概念のほかの一例を示す概念図である。 本発明のシステム構成のほかの一例を模式的に示す概念図である。
符号の説明
1:リモート制御システム
2:管理者端末
3:クライアント端末
4:画面情報受信部
5:画面情報記憶部
6:リモート制御処理部
7:リモート制御状況判定部
8:リモート制御状況情報受信部
9:送信制御内容決定部
10:画面情報送信部
11:管理サーバ
20:演算装置
21:記憶装置
22:表示装置
23:入力装置
24:通信装置

Claims (3)

  1. リモート制御を実行するリモート制御システムであって、
    前記リモート制御システムは、
    リモート制御の対象となる制御対象端末の表示装置で表示する画面情報を送信する画面情報送信部と、
    前記制御対象端末のリモート制御を行う制御指示端末における、前記制御対象端末に対するリモート制御の状況を示すリモート制御状況情報を受信するリモート制御状況情報受信部と、
    前記受信したリモート制御状況情報に基づいて、前記画面情報の送信制御内容を決定する送信制御内容決定部と、を有しており、
    前記画面情報送信部は、
    前記送信制御内容に基づいて前記画面情報を送信する、
    ことを特徴とするリモート制御システム。
  2. 前記制御指示端末は、
    前記リモート制御を行うための前記制御対象端末の画面情報を表示するリモート制御画面または前記リモート制御画面の表示領域における入力装置による入力操作、前記リモート制御画面の表示状況、または前記リモート制御画面の表示領域の表示状況のいずれか一以上を用いてリモート制御状況を判定し、その判定結果を含むリモート制御状況情報を、前記制御対象端末に送信するリモート制御状況判定部、
    を有することを特徴とする請求項1に記載のリモート制御システム。
  3. リモート制御の対象となるコンピュータ端末である制御対象端末を、
    前記制御対象端末の表示装置で表示する画面情報を送信する画面情報送信部、
    前記制御対象端末のリモート制御を行う制御指示端末における、前記制御対象端末に対するリモート制御の状況を示すリモート制御状況情報を受信するリモート制御状況情報受信部、
    前記受信したリモート制御状況情報に基づいて、前記画面情報の送信制御内容を決定する送信制御内容決定部、として機能させるリモート制御プログラムであって、
    前記画面情報送信部は、
    前記送信制御内容に基づいて前記画面情報を送信する、
    ことを特徴とするリモート制御プログラム。
JP2008206172A 2008-08-08 2008-08-08 リモート制御システム Withdrawn JP2010044458A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008206172A JP2010044458A (ja) 2008-08-08 2008-08-08 リモート制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008206172A JP2010044458A (ja) 2008-08-08 2008-08-08 リモート制御システム

Publications (1)

Publication Number Publication Date
JP2010044458A true JP2010044458A (ja) 2010-02-25

Family

ID=42015814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008206172A Withdrawn JP2010044458A (ja) 2008-08-08 2008-08-08 リモート制御システム

Country Status (1)

Country Link
JP (1) JP2010044458A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015054A1 (ja) 2011-07-22 2013-01-31 クラリオン株式会社 車載機による遠隔操作システム
EP2645752A1 (en) 2012-03-30 2013-10-02 Clarion Co., Ltd. In-vehicle device, control method thereof, and remote control system
JP2014146229A (ja) * 2013-01-30 2014-08-14 Sharp Corp 画面共有システム及び中央装置
WO2018229988A1 (ja) * 2017-06-16 2018-12-20 三菱電機株式会社 列車統合管理システム、中央指令装置、画面情報伝送システムおよび画面情報伝送方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013015054A1 (ja) 2011-07-22 2013-01-31 クラリオン株式会社 車載機による遠隔操作システム
US9467797B2 (en) 2011-07-22 2016-10-11 Clarion Co., Ltd. System for remote control by vehicle-mounted device
EP2645752A1 (en) 2012-03-30 2013-10-02 Clarion Co., Ltd. In-vehicle device, control method thereof, and remote control system
US9020695B2 (en) 2012-03-30 2015-04-28 Clarion Co., Ltd. In-vehicle device, control method thereof, and remote control system
US9392105B2 (en) 2012-03-30 2016-07-12 Clarion Co., Ltd. In-vehicle device, control method thereof, and remote control system
JP2014146229A (ja) * 2013-01-30 2014-08-14 Sharp Corp 画面共有システム及び中央装置
WO2018229988A1 (ja) * 2017-06-16 2018-12-20 三菱電機株式会社 列車統合管理システム、中央指令装置、画面情報伝送システムおよび画面情報伝送方法
JPWO2018229988A1 (ja) * 2017-06-16 2019-12-19 三菱電機株式会社 列車統合管理システム、中央指令装置、画面情報伝送システムおよび画面情報伝送方法
US11186303B2 (en) 2017-06-16 2021-11-30 Mitsubishi Electric Corporation Train control and management system, central command device, screen information transmission system and screen information transmission method

Similar Documents

Publication Publication Date Title
US10356139B2 (en) Method and electronic device for editing content
US6542165B1 (en) System, apparatus and method of relating annotation data to an application window
US20100309512A1 (en) Display control apparatus and information processing system
JP5713551B2 (ja) 情報処理システム、情報処理装置、及びそれらの制御方法
CN108205403B (zh) 终端显示方法、装置、终端及计算机可读存储介质
JP2007011531A (ja) インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
US20070063972A1 (en) Image control from composed composite image using HID signal conversion to source image coordinates
JP4156660B1 (ja) リモート制御システム
JP2013157860A (ja) 画像処理システム、情報端末装置、画面表示方法およびプログラム
CA2888978A1 (en) Transmission system and program
JP2009223061A (ja) 表示制御システム、表示制御方法及び表示制御プログラム
US20130061164A1 (en) Method and device for using super taskbar to control instant messaging application
JP4166767B2 (ja) 情報処理装置及びポインタの移動表示方法、プログラム並びに記録媒体
JP2005128279A (ja) 遠隔操作システム
JP2010287205A (ja) 電子装置、コンピュータ実行システム及びその応用プログラムの表示制御方法
JP2007265207A (ja) コンピュータシステムにおけるサーバ装置及びサーバ制御プログラム
JP2010044458A (ja) リモート制御システム
JP6525776B2 (ja) 監視装置、監視装置の制御方法、及びプログラム
JP6488903B2 (ja) 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法
US20110320962A1 (en) Information processing apparatus, control method therefor, and program
JP6009168B2 (ja) 切替器
JP2010044457A (ja) 操作監視システム
JP4900955B2 (ja) 遠隔操作システム、制御方法及びプログラム
JP2017102847A (ja) 情報処理システム、中継装置、方法およびプログラム
CN114302377A (zh) 显示设备及通信连接方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20111101