JP2010256965A - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP2010256965A
JP2010256965A JP2009102906A JP2009102906A JP2010256965A JP 2010256965 A JP2010256965 A JP 2010256965A JP 2009102906 A JP2009102906 A JP 2009102906A JP 2009102906 A JP2009102906 A JP 2009102906A JP 2010256965 A JP2010256965 A JP 2010256965A
Authority
JP
Japan
Prior art keywords
remote
remote operation
priority
cursor
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009102906A
Other languages
English (en)
Other versions
JP5146396B2 (ja
Inventor
Toshiyuki Hagiwara
利幸 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009102906A priority Critical patent/JP5146396B2/ja
Publication of JP2010256965A publication Critical patent/JP2010256965A/ja
Application granted granted Critical
Publication of JP5146396B2 publication Critical patent/JP5146396B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract


【課題】 遠隔操作装置と被遠隔操作装置の画面解像度が異なっていても、被遠隔操作装置の画面上のすべての点を容易に指定することができる遠隔操作システムを得る。
【解決手段】 この発明は、遠隔操作装置からネットワークを介して被遠隔操作装置を操作するようにした遠隔操作システムにおいて、被遠隔操作装置画面の特定の領域である優先操作領域を設け、優先操作領域外でのカーソル補正量を算出することにより、優先操作領域では被遠隔操作装置画面のカーソル操作が1画素単位で可能になり、優先操作領域外ではカーソルの移動量を大きく制御するため、被遠隔操作装置のすべての画面を容易に1画素単位で操作することができる。
【選択図】 図2

Description

この発明は、コンピュータの画面を同じネットワークに接続された別のコンピュータからキーボードやマウスを使って遠隔操作するシステムに関する。
コンピュータを同じネットワークに接続された別のコンピュータからキーボード、マウスを使って操作を行う遠隔操作システムは、複数の人が画面を共有して情報交換を行う電子会議や遠隔地にあるコンピュータの保守を行うリモートメンテナンスなどの分野で利用されている。
遠隔操作システムは、遠隔操作の対象となる被遠隔操作装置と操作を行う複数の遠隔操作装置から構成される。遠隔操作装置では、画面全体あるいは画面上に遠隔操作用ウィンドウを表示し、その中でマウスやキーボード操作を行うことにより、被遠隔操作装置のマウスやキーボードで操作したかのように操作を行うことができる。
通常、遠隔操作装置と被遠隔操作装置の画面の解像度は同じであるとは限らない。
そのため、遠隔操作装置の画面解像度が被遠隔操作装置の画面より小さい場合、遠隔操作装置のカーソルでは被遠隔操作装置のカーソルをすべての範囲で操作することは不可能である。そこで、遠隔操作装置のカーソルの座標を拡大・縮小などして被遠隔操作装置の画面の座標に合わせる必要がある。
例えば、遠隔操作装置の画面サイズが1024x768画素, 被遠隔操作装置の画面が2048x1536であるとする。このとき、被遠隔操作装置のカーソルの取りうる座標値(X', Y')は1 ≦X'≦2048, 1 ≦Y'≦1536である。遠隔操作装置の遠隔操作用ウィンドウが1024x768であったとすると、遠隔操作用ウィンドウ内のカーソルの取りうる座標値(X, Y)は1≦X≦1024, 1≦Y≦768である。このとき、被遠隔操作装置の全画面を操作可能なように以下のような計算式にてカーソルの座標値を変換する。

X' = (2048/1024) × X = 2×X
Y' = (1536/768) × Y = 2×Y
つまり、遠隔操作装置のカーソルの座標(X、Y)のX、Y座標をそれぞれ2倍することで被遠隔操作装置のカーソルの座標(X', Y')に変換可能となる。例えば、遠隔操作装置の遠隔操作用ウィンドウ内のカーソルの座標値(1024, 768)は上記の計算式により、被遠隔操作装置の画面上ではカーソルは座標値(2048, 1536)となる。
また、被遠隔操作装置の全画面を操作する別の方法としては被遠隔操作装置の画面の一部と、遠隔操作装置の遠隔操作用ウィンドウを対応させ、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させるという方法もある。
特開2006-172423号公報 第4頁〜6頁、第6図、第8図 特開2006-172423号公報 第6頁
しかしながら、従来の遠隔操作システムでは、遠隔操作装置の遠隔操作用ウィンドウと被遠隔操作装置の画面の解像度を対応させるためにカーソルの座標を拡大・縮小するため、被遠隔操作装置の画面上のすべての座標を指定することができないという問題点がある。例えば、被遠隔操作装置の画面上の座標(X', Y') = (511, 321)に対応する遠隔操作用ウィンドウの座標(X, Y)へ変換するためにはX' , Y'をそれぞれ1/2倍することにより求められる。
X = 511/2 = 255.5
Y = 321/2 = 160.5
しかし、X, Yは整数値ではないため、X', Y'を求めることができない。つまり、対応する座標がないために指定できないという問題が発生する。
また、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させる方法では、一度に操作できる範囲は限られ、仮にCADツールなどで線を描くときに表示されている部分と表示されていない部分に描画範囲がまたがる場合、一旦、描画範囲がすべて表示されるようにスクロールを行ってから、描画する必要があり、ユーザにとっては使いにくいという問題があった。
図12は、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させる遠隔操作システムで、カーソルを被遠隔操作装置の画面中央から左端に移動する操作の図である。被遠隔操作装置の画面のカーソルを画面中央から左端に移動するには、遠隔操作用ウィンドウのカーソルを左端へ移動し(操作1)、次に遠隔操作用ウィンドウのスクロールバーを左へ移動して被遠隔操作装置の画面の操作領域を左に移動し(操作2)、また遠隔操作用ウィンドウのカーソルを左端に移動する(操作1)という操作を何度か繰り返す必要があった。
この発明は上記のような問題点を解決するためになされたもので、遠隔操作装置と被遠隔操作装置の画面解像度が異なっていても、被遠隔操作装置の画面上のすべての点を指定することを容易に可能とする技術を提供することを目的とする。
この発明に係る遠隔操作システムは、
遠隔操作装置からネットワークを介して被遠隔操作装置を操作するようにした遠隔操作システムであって、
被遠隔操作装置画面の情報と被遠隔操作装置画面の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得手段と、
前記操作取得手段により取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定手段と、
前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とを格納するカーソル制御テーブルと、
前記操作取得手段の取得したカーソル位置が、前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定手段と、
を備えたことを特徴とする遠隔操作システム。
この発明は、遠隔操作装置と被遠隔操作装置の画面解像度が異なっていても、被遠隔操作装置の画面上のすべての点を容易に指定することができる。
この発明の実施の形態1である遠隔操作システムの概念図である。 この発明の実施の形態1である遠隔操作システムの構成図である。 この発明の実施の形態1である遠隔操作システムの遠隔操作装置の画面と被遠隔操作装置の画面の一例を示す図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域設定手段の処理フローを示す図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域でのカーソル移動前を説明する図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域でのカーソル移動後を説明する図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域外でのカーソル移動前を説明する図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域外でのカーソル移動後を説明する図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域の位置変更を説明する図である。 この発明の実施の形態1である遠隔操作システムの優先操作領域の大きさ変更を説明する図である。 この発明の実施の形態1である遠隔操作システムのカーソル移動の操作を示す図である。 従来例の遠隔操作システムのカーソル移動の操作を示す図である。
実施の形態1.
図1は、この発明の実施の形態1にかかる遠隔操作システムの全体構成を示す図である。
図1において、被遠隔操作装置1及び遠隔操作装置2は、ネットワーク3で接続されている。
被遠隔操作装置1は、遠隔操作装置2のキーボード4、ポインティングデバイスであるマウス5を使ってネットワーク3を介して操作される。
被遠隔操作装置1の画面6は、マルチディスプレイであり、複数のディスプレイがあたかも1台の大きなディスプレイであるかのように表示される。
優先操作領域7は、被遠隔操作装置1の画面6にある。
カーソル8は、被遠隔操作装置1のカーソルである。
遠隔操作装置2は、キーボード4、マウス5を使って、被遠隔操作装置1を操作する遠隔操作装置である。
遠隔操作装置2の画面9には、遠隔操作用ウィンドウ10が表示されている。
遠隔操作装置2の遠隔操作ウィンドウ10内で、キーボード4、マウス5の操作を行うことにより、被遠隔操作装置1の画面6を操作することが可能である。
優先操作領域操作エリア11は、遠隔操作装置2の画面9の遠隔操作ウィンドウ10にある。
カーソル12は、遠隔操作装置2のカーソルであり、遠隔操作用ウィンドウ10内にあるときは、被遠隔操作装置1を操作する。
優先操作領域7は、遠隔操作装置2の遠隔操作ウィンドウ10から被遠隔操作装置1の画面6のカーソル位置を操作した時に、遠隔操作用ウィンドウ10内でのカーソルの移動量と同じになるように制御される範囲であり、その位置と大きさは予め設定する。
優先操作領域操作エリア11は、遠隔操作装置2の遠隔操作ウィンドウ10から被遠隔操作装置1の画面6のカーソル位置を操作した時に、遠隔操作用ウィンドウ10内でのカーソルの移動量と同じになるように制御される範囲であり、その位置は被遠隔操作装置の画面の大きさなど予め設定する値から算出される。大きさは優先操作領域7と同じである。
カーソルの移動量とは、画面上の座標(X,Y)から座標(X',Y')にカーソルを動かした時、移動後の座標(X',Y')から移動前の座標(X,Y)を引いた差分(X'-X,Y'-Y)である。
図2は、遠隔操作装置2と被遠隔操作装置1の内部構成を示す図である。
図2において、操作取得手段13は、マウス4及びキーボード5からのカーソル移動、ボタン操作、キーボード入力などの操作イベントを取得する。
優先操作領域設定手段14は、操作取得手段13から入力された被遠隔操作装置1の画面6の大きさ、被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさ、遠隔操作用ウィンドウ10の大きさから被遠隔操作装置1の画面6の優先操作領域7外のカーソル移動量と遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置を計算する。
カーソル制御テーブル15は、優先操作領域設定手段14で得られた被遠隔操作装置1の画面6の大きさ、被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさ、遠隔操作用ウィンドウ10の大きさ、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置、被遠隔操作装置1の画面6の優先操作領域7外におけるカーソル移動量を格納する。
カーソル位置判定手段16は、操作取得手段13から得たカーソル12の位置とカーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさを比較して、カーソル12の位置について優先操作領域操作エリア内外の判断を行う。
カーソル位置決定手段17は、操作取得手段13が取得したカーソル移動およびボタン操作などの操作イベントからカーソル位置を求め、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の情報から、カーソル12が優先操作領域操作エリア11内である場合、遠隔操作用ウィンドウ内の移動量(1, 1)に対する被遠隔操作装置1の画面6上での移動量を(1, 1)とし、カーソル12が優先操作領域操作エリア11外である場合、遠隔操作用ウィンドウ内の移動量が(1, 1)のときの被遠隔操作装置1のカーソル8の移動量を(UPDX, UDPY)として被遠隔操作装置1の画面6上でのカーソル位置を求める。
操作イベント送信手段18は、カーソル位置決定手段17で求められたカーソル座標の操作イベントを被遠隔操作装置1にネットワーク3を介して送信する。
操作イベント受信手段19は、操作イベント送信手段18からネットワーク3を介して送信された操作イベント情報を受信する。
カーソル制御手段20は、操作イベント受信手段19にて受信された操作イベント情報を元に被遠隔操作装置1の画面6のカーソル8の移動などの操作を行う。
次に動作について説明する。
図3は、本発明の実施の形態1にかかわる遠隔操作システムにおける遠隔操作装置2の画面9と被遠隔操作装置1の画面6の一例を示す。
遠隔操作装置2の画面は、1600x1200画素の解像度であり、その中に遠隔操作用ウィンドウ10が表示されており、遠隔操作用ウィンドウ10は1280x1024画素の解像度である。
遠隔操作用ウィンドウ10は、被遠隔操作装置1の画面6の優先操作領域7に対応する遠隔操作用ウィンドウ10の優先操作領域操作エリア11と被遠隔操作装置1の画面6の優先操作領域外21に対応する遠隔操作用ウィンドウ10の優先操作領域操作エリア外22に分かれており、表示上、領域の色や柄を変えることで区別がつくようになっている。
被遠隔操作装置1の画面6は横4台、縦2台のディスプレイから構成されるマルチディスプレイ表示装置である。1つのディスプレイの解像度が1280x1024画素であり、マルチディスプレイ全体で5120x2048画素の解像度である。
遠隔操作装置2の画面9内に表示される遠隔操作用ウィンドウ10の座標は左上端を原点(0, 0)として右下端を(1279, 1023)とする。また、被遠隔操作装置1の画面6の左上端を原点(0, 0)として、右下端を(5119, 2047)とする。また、被遠隔操作装置1の画面6の優先操作領域7は位置(2241, 769)、大きさ(640, 512)に設定されている。このとき、遠隔操作用ウィンドウ10の優先操作領域操作エリア11は、遠隔操作用ウィンドウ10内の位置(320, 256)、大きさ(640, 512)に表示される。
つぎに図3と図4を使って初期設定として入力された情報から優先操作領域設定手段14が遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置と大きさを求める処理の流れについて具体的に説明する。
図4は、優先操作領域設定手段14の処理フローを示す図である。
優先操作領域設定手段14はまず、S101において初期設定として入力された被遠隔操作装置1の画面6の大きさ(SW, SH)を操作取得手段13から取得する。図3の例ではSW=5120, SH=2048である。
次に、S102において、初期設定として入力された被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)及び大きさ(PW, PH)の情報を操作取得手段13から取得する。図3の例ではPX=2241, PY=769, PW=640, PH=512である。
次に、S103において初期設定として入力された遠隔操作用ウィンドウの大きさ(OPW, OPH)を操作取得手段13から取得する。図3の例ではOPW=1280, OPH=1024である。
次に、S104において被遠隔操作装置1の画面6の優先操作領域外21の幅UPW及び高さUPHを以下の計算式にて求める。
UPW=SW-PW
UPH=SH-PH
図3の例では以下のようになる。
UPW=5120 - 640 = 4480
UPH=2048 - 512 = 1536
次に、S105において遠隔操作用ウィンドウ10の優先操作領域操作エリア外22の大きさ(UPW', UPH')を以下の計算式にて求める。
UPW'=OPW-PW
UPH'=OPH-PH
図3の例では以下のようになる。
UPW'=1280-640=640
UPH'=1024-512=512
次に、S106において被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量(UPDX, UPDY)を以下の計算式にて求める。
UPDX=CEIL(UPW/UPW')
UPDY=CEIL(UPH/UPH')
CEIL(A)は、引数Aに対してそれ以上の最少の整数。
図3の例では以下のようになる。
UPDX=CEIL(4480/640)=7
UPDY=CEIL(1536/512)=3
最後に、S107において遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX' PY')を以下の計算式にて求める。
PX'=FLOOR(PX/UPDX)
PY'=FLOOR(PY/UPDY)
FlOOR(A)は、引数Aに対してそれ以下で最大の整数
図3の例では以下のようになる。
PX'=FLOOR(2241/7)=FLOOR(320.142857…)=320
PY'=FLOOR(769/3)=FLOOR(256.33333…)=256
よって、被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)が、
2240 ≦ PX ≦2246
768 ≦ PY ≦ 770
の間の遠隔操作ウィンドウ10の優先操作領域操作エリア11の位置は、
PX' = 320
PY' = 256
で変わらない。
また、被遠隔操作装置1の画面6の優先操作領域7の位置は、
X方向7画素
Y方向3画素
移動して、遠隔操作用ウィンドウの優先操作領域操作エリア11の位置がX,Y方向1画素移動することになる。
上記処理により、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置が決まる。
そして、操作取得手段13から取得した被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)及び大きさ(PW, PH)と被遠隔操作装置1の画面6の大きさ(SW, SH)と遠隔操作用ウィンドウ10の大きさ(UPW, UPH)とこれらから求めた被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量(UPDX, UPDY)と遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX', PY')及び大きさ(PW, PH)をカーソル制御テーブル15に格納する。
このようにして、優先操作領域設定手段14により、初期設定から遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX', PY')が求められる。
次に、遠隔操作が開始され、遠隔操作装置2の遠隔操作用ウィンドウ10内で、マウス5が操作されたときの動作について説明する。
(遠隔操作用ウィンドウの優先操作領域操作エリア内での操作)
図5は、遠隔操作装置2の遠隔操作用ウィンドウ10内の優先操作領域操作エリア11にカーソル12がある場合を説明するための図である。
カーソル12が、遠隔操作用ウィンドウ10内の位置(320, 256)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさと操作取得手段13から取得したカーソルの座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外判定を行う。比較方法は以下の通り。
カーソル位置を(SX, SY)とすると、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の条件は、以下の式(1)の通り。
PX' ≦ SX ≦ PX' + PW (1)
かつ
PY' ≦ SY ≦ PY' + PH
図5の例の場合、
PX'=320 ≦ SX=320 ≦ PX' + PW = 320 + 640 = 960
かつ、
PY'=256 ≦ SY=256 ≦ PY' + PH = 256 + 512 = 768
となり、条件を満たすため、カーソル位置(320, 256)は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内であることになる。
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を計算する。
遠隔操作用ウィンドウ10の優先操作領域操作エリア11内にカーソル12がある場合の被遠隔操作装置1の画面6上のカーソル8の位置(DX, DY)の計算式は、式(2)の通り。
DX = (SX - PX') + PX (2)
DY = (SY - PY') + PY
図5の例の場合、
DX = (320 - 320) + 2241 = 2241
DY = (256 - 256) + 769 = 769
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2241, 769)となる。
次に操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
そして、被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18が送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(2241, 769)で左ボタンが押されたというカーソル制御をする。
次に、図5の状態から、遠隔操作用ウィンドウ10内でカーソルが右に1画素、下に1画素移動してボタン操作が行われた場合について説明する。
図6は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内でのカーソル12の移動後を説明する図である。
このとき、遠隔操作用ウィンドウ10におけるカーソル12の位置は(321, 257)となる。操作取得手段13は、カーソル12のボタン操作イベントを取得する。
つぎにカーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10内の優先操作領域操作エリア11内外判定を行う。
比較方法は以下の通り。
遠隔操作用ウィンドウ10のカーソル12の位置を(SX, SY)とすると、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内の条件は、式(1)と同じで以下の通り。
PX' ≦ SX ≦ PX' + PW (1)
かつ
PY' ≦ SY ≦ PY' + PH
図6の例の場合、
PX'(=320) ≦ SX(=321) ≦ PX' + PW (= 320 + 640)
かつ、
PY'(=256) ≦ SY(=257) ≦ PY' + PH (= 256 + 512)
となり、条件を満たすため、遠隔操作用ウィンドウ10のカーソル12の位置は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11に含まれることになる。
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を次の式で計算する。
遠隔操作用ウィンドウ10の優先操作領域操作エリア11内にカーソル12がある場合の被遠隔操作装置1の画面6の上のカーソル8の位置(DX, DY)の計算式は、式(2)の通り。
DX = (SX - PX') + PX ' (2)
DY = (SY - PY') + PY
図6の例の場合、
DX = (321 - 320) + 2241 = 2242
DY = (257 - 256) + 769 = 1 + 769 = 770
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2242, 770)となる。
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18からボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6の位置(2242, 770)で左ボタンが押されたというカーソル制御をする。
したがって、遠隔操作用ウィンドウ10内でカーソル12の位置が(320, 256)で左ボタンを押された後、(321, 257)に移動し、再び左ボタンを押すという操作を行った場合、被遠隔操作装置1の画面6上のカーソル8は(2241, 769)で左ボタンを押された後、(2242, 770)に移動し、再び左ボタンを押されるということになる。
つまり遠隔操作装置2の遠隔操作用ウィンドウ10の優先操作領域操作エリア11における1画素単位でのカーソルの移動及び操作が、被遠隔操作装置1の画面6上の1画素単位でのカーソルの移動および操作になり、1画素単位でのカーソル移動および操作が可能となる。
(遠隔操作用ウィンドウの優先操作領域操作エリア外での操作)
図7は、遠隔操作用ウィンドウ10の優先操作領域操作エリア外22にカーソル12がある場合を説明するための図である。
カーソル12が、遠隔操作用ウィンドウ10の位置(319, 255)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外の判定を行う。
カーソル12の位置判定は前記の式(1)を利用して
図7の例の場合、
SX(=319) ≦ PX'(=320)
かつ、
SY(=255) ≦ PY'(=256)
であり、式(1)を満たさないため、カーソル位置は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11ではないと判定する。
次に、カーソル位置決定手段17は、以下の条件毎の計算式にて被遠隔操作装置1の画面6でのカーソル8の位置(DX, DY)を計算する。
(条件1) SX < PX'のとき
DX = SX × UPDX
(条件2) PX' + PW < SXのとき
DX = PW + (SX - PW) × UPDX
(条件3)SY < PY'のとき
DY = SY × UPDY
(条件4) PY' + PH < SYのとき
DY = PH + (SY - PH) × UPDY
図7の例の場合、DXについては条件1、DYについては条件3に当てはまる。
したがって、
DX = 319 × 7 = 2233
DY = 255 × 3 = 765
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2233, 765)となる。
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段19の送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(2233, 765)で左ボタンが押されたというカーソル制御をする。
次に遠隔操作用ウィンドウ10内で、図7の状態からカーソルが(1100, 800)に移動してボタン操作が行われた場合について説明する。
図8は、遠隔操作用ウィンドウ10の優先操作領域操作エリア外22でのカーソル移動後を説明する図である。
図8のカーソル12の位置は、図7のカーソル12の位置から右に781画素、下に545画素移動したときの図であり、遠隔操作用ウィンドウ10におけるカーソルの位置は(1100, 800)となる。
カーソル12が遠隔操作用ウィンドウ10内の位置(1100, 800)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外の判定を行う。
判定は前記の式(1)を利用する。
図8の例の場合、
PX' + PW (= 320 + 640) ≦ SX(=1100)
かつ、
PY' + PH = (256 + 512) ≦ SY(=800)
であり、式(1)を満たさないため、遠隔操作用ウィンドウ10の優先操作領域操作エリア11ではないと判定する。
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を計算する。
(条件1) SX < PX'のとき
DX = SX × UPDX
(条件2) PX' + PW < SXのとき
DX = PW + (SX - PW) × UPDX
(条件3)SY < PY'のとき
DY = SY × UPDY
(条件4) PY' + PH < SYのとき
DY = PH + (SY - PH) × UPDY
図8の例の場合、DXについては条件2、DYについては条件4に当てはまる。
したがって、
DX = 640 + (1100 − 640) × 7 = 640 + 3220 = 3860
DY = 512 + (800 − 512) × 3 = 512 + 864 = 1376
となり、被遠隔操作装置1の画面6のカーソル8の位置は(3860, 1376)となる。
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18が送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(3860, 1376)で左ボタンが押されたというカーソル制御をする。
したがって、遠隔操作用ウィンドウ10上でカーソルが(319, 255)で左ボタンを押された後、(1100, 800)に移動し、再び左ボタンを押すという操作を行った場合、被遠隔操作装置1の画面6上のカーソルは(2233, 765)で左ボタンを押された後、(3860, 1376)に移動し、再び左ボタンを押されるということになる。つまり、遠隔操作装置2の画面9の遠隔操作用ウィンドウ10でカーソルを右に781画素、下に545画素移動すると、被遠隔操作装置1の画面6上では右に1627画素、下に611画素移動したことになる。
被遠隔操作装置1の優先操作領域7の位置及び大きさの設定方法については、あらかじめ初期値を設定しておく方法の他に、操作中に切り替えることも可能である。図9及び図10を使って操作途中で優先操作領域7を変更する方法について説明する。
図9において、遠隔操作用ウィンドウ10の中に優先操作領域位置変更ボタン23と優先操作領域拡大ボタン24と優先操作領域縮小ボタン25がある。
優先操作領域位置変更ボタン23は、優先操作領域操作モードと優先操作領域変更モードを切り替えるボタンであり、優先操作領域変更モードでは、被遠隔操作装置1の画面6の優先操作領域の位置を変更する状態になる。優先操作領域拡大ボタン24は、優先操作領域7を一定量ずつ拡大するボタンである。優先操作領域縮小ボタン25は、優先操作領域7を一定量ずつ縮小するボタンである。
優先操作領域位置変更ボタン23は切り替えとなっており、押すたびに優先操作領域操作モードと優先操作領域変更モードが切り替わる。
まず、優先操作領域7の位置変更について説明する。
図9は、優先操作領域の位置変更を説明する図である。
例えば、遠隔操作用ウィンドウ10が、優先操作領域操作モードになっているときに、遠隔操作装置2のキーボード4, マウス5を使って被遠隔操作装置1を操作している途中で優先操作領域を変更したい場合には、優先操作領域位置変更ボタン23を1度押し、優先操作領域変更モードにする。このモードにおいて、操作取得手段13はカーソル12が移動すると、以下の処理手順にて被遠隔操作装置1の画面6の優先操作領域7の位置を計算する。
遠隔操作装置2の遠隔操作用ウィンドウ10でのカーソルの移動前の位置(BX, BY)と、移動後の位置(AX, AY)から、遠隔操作用ウィンドウ10でのカーソルの移動量(DFX, DFY)を以下の計算式で求める。
DFX = AX-BX
DFY = AY-BY
遠隔操作用ウィンドウ10の大きさ(OPW, OPH)と被遠隔操作装置1の画面6の大きさ(SW, SH)から拡大縮小率(RX, RY)を以下の計算式から求める。
RX = SW/OPW
RY = SH/OPH
被遠隔操作装置1の画面6上の優先操作領域7の移動前の位置を(PX, PY)とすると、移動後の位置(NewPX, NewPY)は以下の計算式で求められる。
NewPX = PX + DFX×RX
NewPY = PY + DFY×RY
優先操作領域設定手段14に新たな優先操作領域の位置(NewPX, NewPY)及び大きさ(PW, PH)を渡す。
その後、優先操作領域設定手段14にて図4の手順に従い、遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置および被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量が求められ、カーソル制御テーブル15に被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさとともに格納される。
図9の例では以下のようになる。
DFX = 690 - 640 = 50
DFY = 492 - 512 = -20
RX = 5120/1280 = 4
RY = 2048/1024 = 2
NewPX = 2240 + 50×4 = 2440
NewPY = 768 + (-20) × 2 = 728
したがって、被遠隔操作装置1の画面6の新しい優先操作領域7の位置は(2440, 728)、大きさは(640, 512)となる。
また、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置は、図4のS106から
PX'=FLOOR(NewPX/UPDX)=FLOOR(2440/7)=348
PY'=FLOOR(NewPY/UPDY)=FLOOR(728/3)=242
となる。
次に、被遠隔操作装置1の画面6の優先操作領域7の大きさ変更について説明する。
図10は、優先操作領域7の大きさ変更を説明する図である。
図10において優先操作領域拡大ボタン24を押すと、操作取得手段13は、現在の被遠隔操作装置1の画面6の優先操作領域7の中央を中心として、幅及び高さがそれぞれ20画素ずつ拡大するように被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさを計算し、優先操作領域設定手段14に与える。
例えば、図10のように最初の被遠隔操作装置1の画面6の優先操作領域7の位置が(2240, 768)、大きさが(640, 512)の状態で、優先操作領域拡大ボタン24を1度押すと、被遠隔操作装置1の画面6の優先操作領域7の位置は(2230, 758)、大きさは(660, 532)となる。
図10において優先操作領域縮小ボタン25を押すと、操作取得手段13は現在の被遠隔操作装置1の画面6の優先操作領域7の中央を中心として、幅及び高さがそれぞれ20画素ずつ縮小するように被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさを計算し、優先操作領域設定手段14に与える。
例えば、図10のように最初の被遠隔操作装置1の画面6の優先操作領域7の位置が(2240, 768)、大きさが(640, 512)の状態で、優先操作領域縮小ボタン25を1度押すと、被遠隔操作装置1の画面6の優先操作領域7の位置は(2250, 778)、大きさは(620, 492)となる。
この結果、被遠隔操作装置1の画面6の優先操作領域7の位置および大きさを容易に変更することが可能となる。
この発明は、以上説明したように優先操作領域を設定し、優先操作領域とそれ以外の領域で異なるカーソルの移動量に設定できるようにしたことで、優先操作領域では遠隔操作装置と被遠隔操作装置の画面で画素が1対1となるように移動量を設定し、1画素単位で指定できる。そのため、CADなどの操作において、1画素単位での操作が可能となる。
また、優先操作領域以外ではカーソル移動量を大きくすることで、遠隔操作装置において少ないマウス移動で被遠隔操作装置上のカーソルを大きく移動することができ、操作が容易になる。例えば図12の従来例で、カーソルを画面中央から左端へ移動するには、操作1と操作2を何度か繰り返す必要があったが、この発明では、図11のように、カーソルの移動がマウス操作で一度にできる。
1 被遠隔操作装置、2 遠隔操作装置、3 ネットワーク、4 キーボード、5 マウス、6 被遠隔操作装置の画面、7 被遠隔操作装置の画面の優先操作領域、8 被遠隔操作装置のカーソル、9 遠隔操作装置の画面、10 遠隔操作用ウィンドウ、11 遠隔操作装置の遠隔操作ウィンドウ内の優先操作領域操作エリア、12 遠隔操作装置のカーソル、13 操作取得手段、14 優先操作領域設定手段、15 カーソル制御テーブル、16 カーソル位置判定手段、17 カーソル位置決定手段、18 操作イベント送信手段、19 操作イベント受信手段、20 カーソル制御手段、21 被遠隔操作装置の画面の優先操作領域外、22 遠隔操作ウィンドウ内の優先操作領域操作エリア外、23 優先操作領域位置変更ボタン、24 優先操作領域拡大ボタン、25 優先操作領域縮小ボタン。

Claims (4)

  1. 遠隔操作装置からネットワークを介して被遠隔操作装置を操作するようにした遠隔操作システムであって、
    被遠隔操作装置画面の情報と被遠隔操作装置画面の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得手段と、
    前記操作取得手段により取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定手段と、
    前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とを格納するカーソル制御テーブルと、
    前記操作取得手段の取得したカーソル位置が、前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定手段と、
    を備えたことを特徴とする遠隔操作システム。
  2. 前記遠隔操作用ウィンドウが被遠隔操作装置の全画面に対応するようにカーソル補正量を設定し、このカーソル補正量に基づいて、前記遠隔操作用ウィンドウのカーソルが移動された位置から変更する前記被遠隔操作装置画面の優先操作領域の位置を算出する優先操作領域位置変更手段を備えたことを特徴とする請求項1記載の遠隔操作システム。
  3. 前記操作取得手段が取得した操作イベントで優先操作領域拡大または縮小が指示されると一定量ずつ優先操作領域が拡大および縮小するように前記被遠隔操作装置の優先操作領域の位置と大きさを算出して変更する優先操作領域拡大縮小手段を備えたことを特徴とする請求項1または請求項2記載の遠隔操作システム。
  4. 遠隔操作装置からネットワークを介して被遠隔操作装置を操作するようにした遠隔操作システムであって、
    被遠隔操作装置画面の情報と被遠隔操作装置画面上の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面上の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得ステップと、
    前記操作取得ステップで取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定ステップと、
    前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とをカーソル制御テーブルに格納するカーソル制御情報格納ステップと、
    前記操作取得ステップで取得したカーソル位置が前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定ステップと、
    を備えたことを特徴とする遠隔操作方法。
JP2009102906A 2009-04-21 2009-04-21 遠隔操作システム Expired - Fee Related JP5146396B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009102906A JP5146396B2 (ja) 2009-04-21 2009-04-21 遠隔操作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009102906A JP5146396B2 (ja) 2009-04-21 2009-04-21 遠隔操作システム

Publications (2)

Publication Number Publication Date
JP2010256965A true JP2010256965A (ja) 2010-11-11
JP5146396B2 JP5146396B2 (ja) 2013-02-20

Family

ID=43317845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009102906A Expired - Fee Related JP5146396B2 (ja) 2009-04-21 2009-04-21 遠隔操作システム

Country Status (1)

Country Link
JP (1) JP5146396B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015508203A (ja) * 2012-02-10 2015-03-16 ノキア コーポレイション リモート・ユーザ・インタラクションを提供する装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61107289A (ja) * 1984-10-31 1986-05-26 株式会社東芝 仮想画面表示制御方式
JPH08305692A (ja) * 1995-05-11 1996-11-22 Mitsubishi Electric Corp 大量文字表示方式
JP2005100199A (ja) * 2003-09-26 2005-04-14 Canon Software Inc 表示制御装置および表示制御方法およびプログラムおよび記録媒体
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
JP2006235812A (ja) * 2005-02-23 2006-09-07 Canon Inc カーソル制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61107289A (ja) * 1984-10-31 1986-05-26 株式会社東芝 仮想画面表示制御方式
JPH08305692A (ja) * 1995-05-11 1996-11-22 Mitsubishi Electric Corp 大量文字表示方式
JP2005100199A (ja) * 2003-09-26 2005-04-14 Canon Software Inc 表示制御装置および表示制御方法およびプログラムおよび記録媒体
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体
JP2006235812A (ja) * 2005-02-23 2006-09-07 Canon Inc カーソル制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015508203A (ja) * 2012-02-10 2015-03-16 ノキア コーポレイション リモート・ユーザ・インタラクションを提供する装置及び方法

Also Published As

Publication number Publication date
JP5146396B2 (ja) 2013-02-20

Similar Documents

Publication Publication Date Title
US20140111454A1 (en) Display apparatus for vehicle and information display device
US10466835B2 (en) Display method and display control apparatus
KR101145936B1 (ko) 모바일 제어기를 이용한 다중 타일 디스플레이 시스템 및 그 운영방법
EP2824936B1 (en) Projector, projector control method, and recording medium storing projector control program
JP2007257438A (ja) ポインティング装置、外部情報処理装置、指示位置特定装置、及び指示位置特定方法
KR20160053874A (ko) 커서 이동 제어 방법 및 장치
KR20110109359A (ko) 이동통신 단말기 간의 원격 제어 방법 및 장치
US20020075199A1 (en) Multi-display system and cursor controlling method therefor
US20040104920A1 (en) Image display method for mobile terminal in image distribution system, and image conversion apparatus and mobile terminal using the method
JP2008170742A (ja) 投影装置及び投影方法、投影制御プログラム、表示装置
JP6199024B2 (ja) 医用画像表示装置
JP2005195939A (ja) プロジェクタ投影制御システムおよびプロジェクタ投影制御方法
JP5146396B2 (ja) 遠隔操作システム
JP4957009B2 (ja) ネットワーク機能を有するプロジェクタを使用したプレゼンテーションシステムおよびプレゼンテーション方法
WO2014174630A1 (ja) マルチモニタ、マルチモニタの表示方法
JP2017017446A (ja) 情報処理装置およびその制御方法、並びにプログラム
KR20060073040A (ko) 디스플레이장치 및 그 제어방법
JP5323367B2 (ja) 画像表示装置、画像送信サーバ、画像表示システム、画像表示方法、画像表示プログラム、および、記録媒体
JP2006337482A (ja) 表示装置
JP2013097354A (ja) 画像表示装置
JP2017151129A (ja) マルチディスプレイシステム
JP2005084089A (ja) 画像比較表示方法及びその装置並びに画像比較表示プログラム
JP2012128786A (ja) 表示装置
JP6655880B2 (ja) 表示制御装置、表示制御方法及びプログラム
TW201437903A (zh) 遠端裝置的控制方法與遠端控制系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121112

R151 Written notification of patent or utility model registration

Ref document number: 5146396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees