JP2018142926A - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP2018142926A
JP2018142926A JP2017037485A JP2017037485A JP2018142926A JP 2018142926 A JP2018142926 A JP 2018142926A JP 2017037485 A JP2017037485 A JP 2017037485A JP 2017037485 A JP2017037485 A JP 2017037485A JP 2018142926 A JP2018142926 A JP 2018142926A
Authority
JP
Japan
Prior art keywords
target device
state
image
remote
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017037485A
Other languages
English (en)
Other versions
JP6226352B1 (ja
Inventor
雅人 大和田
Masato Owada
雅人 大和田
憲悟 田中
Kengo Tanaka
憲悟 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biclick Co Ltd
Original Assignee
Biclick Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biclick Co Ltd filed Critical Biclick Co Ltd
Priority to JP2017037485A priority Critical patent/JP6226352B1/ja
Application granted granted Critical
Publication of JP6226352B1 publication Critical patent/JP6226352B1/ja
Priority to SG11201810938YA priority patent/SG11201810938YA/en
Priority to PCT/JP2018/007290 priority patent/WO2018159620A1/ja
Priority to CN201880002351.2A priority patent/CN109314803A/zh
Priority to TW107106678A priority patent/TW201837795A/zh
Priority to EP18760350.1A priority patent/EP3591985A4/en
Priority to KR1020187035195A priority patent/KR102083593B1/ko
Priority to US16/307,120 priority patent/US10860344B2/en
Publication of JP2018142926A publication Critical patent/JP2018142926A/ja
Priority to US17/095,188 priority patent/US20210064396A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/34Context aware guidance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供する。
【解決手段】遠隔操作システム100は、画面取得部121と、画像判定部122と、状態提供部123と、操作受付部131と、操作信号出力部132と、操作正誤判定部133と、状態データベースDBとを備える。さらに、遠隔操作システム100は、対象機器XのモニタX1の画像をキャプチャするキャプチャ装置141と、制御対象XのキーボードX2に重畳的に接続された制御インターフェイス142とを備える。
【選択図】図1

Description

本発明は、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムに関する。
従来、この種の遠隔操作システムとしては、下記特許文献1に示すように、操作対象機器が遠隔操作機器と通信可能に構成され、操作対象機器の操作画面を遠隔操作機器側に表示して、遠隔操作を受け付けるシステムが知られている。
特開2013−62778号公報
しかし、かかる従来の遠隔操作システムでは、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面が単なる表示(例えば、アナログ画面の表示)であって遠隔操作機器側で認識されない場合には、操作対象機器を遠隔操作機器により操作することが困難であるという問題がある。
以上に事情に鑑みて、本発明は、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供することを目的とする。
第1発明の遠隔操作システムは、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力する操作信号出力部と
を備えることを特徴とする。
第1発明の遠隔操作システムによれば、画面取得部が、対象機器のモニタ画面をキャプチャして画像として取得するため、対象機器のモニタ画面がアナログ画面の表示に過ぎないような場合にも、該モニタ画面の情報を遠隔操作機器に提供することができる。
ここで、モニタ画面には、種々の画像が表示されるところ、予め画像判定部により、画面取得部が取得したキャプチャ画像の状態を判定し、その画像の状態を遠隔操作機器に提供することで、遠隔操作に適した画面の情報を遠隔操作機器に提供することができる。
さらに、第1発明の遠隔操作システムによれば、操作受付部により受け付けた遠隔操作機器からの操作を、対象機器の操作信号に変換して該対象機器に出力する。そのため、操作対象機器が通信機能を備えていないでも、対象機器をその操作信号により直接操作することが可能となる。
このように、第1発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
なお、第1発明の遠隔操作システムにおいて、モニタ画面のキャプチャとしては、キャプチャ装置を用いるハードキャプチャのほか、リモートデスクトップのようなソフトウエアによるキャプチャのいずれの概念も含まれる。
第2発明の遠隔操作システムは、第1発明において、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする。
第2発明の遠隔操作システムによれば、予め、画像判定部が、画面取得部より取得した画像が対象機器が操作可能な画面状態であるか判定し、画像の状態が対象機器が操作可能な画像状態である場合に、状態提供部により、該操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器に提供する。そのため、遠隔操作に適した操作入力画面を遠隔操作機器に提供することができる。
このように、第2発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、遠隔操作に適した操作入力画面を通して、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
第3発明の遠隔操作システムは、第1または第2発明において、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイス(例えばキーボード)に重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする。
第3発明の遠隔操作システムによれば、対象機器のヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた操作を対象機器の操作信号に変換して対象機器に出力する。
そのため、第3発明の遠隔操作システムによれば、操作対象機器が通信機能や外部接続入力を備えていない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
第4発明の遠隔操作システムは、第1〜第3発明のいずれかにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする。
第4発明の遠隔操作システムによれば、操作正誤判定部が、操作信号出力部により対象機器に操作信号を出力した後に、画面取得部を介して取得した画像の状態から、操作正誤の判定を行う。そのため、対象機器の状態の変化により、遠隔操作が確実に実行されたか確認することができる。
このように、第4発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作し、その操作の実行を確認することができる。
本実施形態の遠隔操作システムの概要を示すシステム構成図。 図1の遠隔操作システムにおける処理内容を示すフローチャート。 図1の遠隔操作システムにおける処理内容を示すフローチャート。
図1に示すように、本実施形態の遠隔操作システム100は、操作対象機器である対象機器Xが通信機能を備えていない場合や外部接続インターフェイスを持たないような場合、さらに、対象機器XのモニタX1の画面がアナログ画面の表示のような場合のでも、対象機器XのモニタX1の画面の状態に基づいて、対象機器Xを遠隔操作機器Yから遠隔操作する遠隔操作システムである。
遠隔操作システム100は、画面取得部121と、画像判定部122と、状態提供部123と、操作受付部131と、操作信号出力部132と、操作正誤判定部133と、状態データベースDBとを備える。
さらに、遠隔操作システム100は、対象機器XのモニタX1の画像をキャプチャするキャプチャ装置141と、制御対象XのヒューマンインターフェイスであるキーボードX2に重畳的に接続された制御インターフェイス142とを備える。
なお、対象機器XのモニタX1の画面は、例えば、対象機器Xである宿泊施設におけるフロントコンピュータの画面であって、例えば、画面上には、部屋毎に区画された領域に『在室』,『空室』,『清掃』,『予約』等が色分けして表示される。
画面取得部121は、キャプチャ装置141を介して、モニタX1上の画面をキャプチャして取得する。キャプチャ装置141は、フロントコンピュータXとそのモニタX1とを接続するモニタケーブル(VGAケーブル)のアナログ画像信号を一定の周期でサンプリングした画像データとして遠隔操作システム100に出力する。
キャプチャ装置141は、例えば、VGAビデオキャプチャーボードのほか、ビデオキャプチャーボードと併せてVGA分配ケーブルとしての機能を備えていてもよい。また、キャプチャ装置141は、VGAケーブルからのビデオキャプチャーに限られるものではなく、ビデオ(S-Video方式またはcomposite方式)入出力ケーブルからキャプチャを行うビデオキャプチャーボード、デジタルディスプレイ用のDVIキャプチャーボード、業務用ビデオや防犯カメラ用のSDIキャプチャーボード、映像機器一般のHDMI(登録商標)キャプチャーボード等であってもよい。
画像判定部122は、画面取得部121より取得した画像から該画像の状態を判定する。なお、画像判定部122は、画面取得部121より取得した画像に対して、必要に応じて、フィルタ処理を施した上で、該画像の状態を判定する。フィルタ処理は、例えば、RGBA変換であって、キャプチャ画像を特定の色数による画像に変換する。なお、フィルタ処理は、RGBA変換の他、色数の少ないPNG変換等であってもよい。
具体的に、画像判定部122は、画面取得部121より取得した画像の状態として、対象機器Xが操作可能な画面状態であるか判定する。
状態提供部123は、画像判定部により判定された、対象機器Xの画面の状態を遠隔操作機器Yに提供する。
具体的に、状態提供部123は、画像判定部122による判定の結果、対象機器Xの画面の状態が対象機器Xが操作可能な画像状態である場合に、操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器Yに提供する。
以上が、遠隔操作システム100における対象機器XのモニタX1の画像の状態を把握して、外部の遠隔操作機器Yに提供する構成121〜123である。
操作受付部131は、当該遠隔操作システム100に、遠隔操作機器Yからの操作を受け付ける。なお、遠隔操作機器Yは、インターネット等のネットワークNWで接続された外部操作機器であれば、パーソナルコンピュータY1であっても、スマートフォンY2であってもよい。
操作信号出力部132は、操作受付部131により受け付けた遠隔操作機器Yからの操作を対象機器Xの操作信号に変換して対象機器Xに出力する。
より具体的に、操作信号出力部132は、対象機器XのキーボードX2に重畳的に接続された制御インターフェイス142を介して、操作受付部131により受け付けた操作が対象機器XのキーボードX2のエミュレート信号となるように、制御インターフェイス142への出力を行う。
操作正誤判定部133は、操作信号出力部132により対象機器Xに操作信号を出力した後に、画面取得部121を介して取得した画像の状態から、操作正誤の判定を行う。
以上が、遠隔操作システム100における遠隔操作機器Yからの操作により対象機器Xを操作する構成131〜133である。
このほか、遠隔操作システム100は、状態データベースDBにより、画像判定部122により判定された画像の状態や操作正誤判定部133により判定された操作の正誤が記憶保持される。
以上が、遠隔操作システム100の構成であり、かかる遠隔操作システム100は、例えば、CPU(Central Processing Unit)、ROM(Read Only memory)、RAM(Random Access Memory)等のハードウェアにより構成され、上記処理手段121〜123、131〜133、DBによる処理を実行するプログラムをメモリ(不図示)に記憶保持し、そのプログラムを実行することにより、上記制御処理を実行するための演算装置(シーケンサ)として機能する。
次に、図2を参照して、以上のように構成された遠隔操作システム100による対象機器XのモニタX1の画像の状態を把握して、外部の遠隔操作機器Yに提供する処理について説明する。
まず、遠隔操作システム100は、画面取得部121により、キャプチャ装置141を介して、モニタX1上の画面をキャプチャした画像(実際には、一定周期でキャプチャした画像)として取得する(STEP121/図2)。
次に、遠隔操作システム100は、画像判定部122により、STEP121で取得したキャプチャ画像の状態として、対象機器Xが操作可能な画面状態であるか判定する(STEP122/図2)。
具体的に判定方法は、種々の方法が採用され得るが、例えば、画像上の特定ポイントの色彩情報を取得し、取得した色彩情報(RGBデータ)の色の組み合わせから、対象機器XのモニタX1の画面の画像状態(対象機器Xが操作可能な画像状態であるか、操作可能な画像状態の場合には、どのような画像状態であるか)を判定する。
また、他の判定方法としては、例えば、OCR(光学文字認識)により画像に表示されている文字(文字列を含む)を認識することで、対象機器XのモニタX1の画面の画像状態を判定してもよい。
さらに、判定精度を向上されるために、画像上の色彩情報と、OCR(光学文字認識)により認識された文字との組み合わせにより、対象機器XのモニタX1の画面の画像状態を判定してもよい。
これにより、例えば、対象機器Xが宿泊施設におけるフロントコンピュータの場合には、モニタX1条の画面をキャプチャすると、各部屋に区画された領域に『在室』,『空室』,『清掃』,『予約』等が色分けして表示される画像が、操作可能な状態であって、空室に関する予約受付可能な画像状態であると判定される。
そして、遠隔操作システム100は、画像判定部122による判定結果を状態データベースDBに保存する(STEP123/図2)。
次に、状態提供部123は、画像判定部122により判定された、対象機器XのモニタX1の画面の画像状態(状態データベースDBから読み出した判定結果)から、操作可能機能の抽出を行う(STEP124/図2)。
具体的に、状態提供部123は、判定結果と操作可能機能とをマトリックスで整理した状態テーブルを参照することにより、画像判定部122による判定結果に対応した操作可能機能を抽出する。
次に、状態提供部123は、操作入力画面の生成を行う(STEP125/図2)。
具体的に、状態提供部123は、STEP124で抽出した操作可能機能に応じた操作入力画面を生成する。
ここで、操作入力画面は、HTMLによるブラウザへの出力や専用アプリケーションなどで表示可能な画面であって、例えば、対象機器Xが宿泊施設におけるフロントコンピュータの場合には、空室のROOMナンバー部分にのみ予約ボタンを表示した操作入力画面が生成される。
ここで、操作入力画面は、単純に操作可能機能を羅列した画面として生成されるわけではなく、付加条件に応じて必要な機能のみ提供するように、操作入力画面が生成される。
付加条件としては、例えば、空室数が3室以下となっている場合には、予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件や、特定時間(午前2時〜5時)は予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件である。
次いで、状態提供部123は、STEP125で生成した操作入力画面をネットワークNWを経由して遠隔操作機器Yに提供する(STEP126/図2)。
以上が遠隔操作システム100により、対象機器XのモニタX1の画像の状態を把握して、外部の遠隔操作機器Yに提供する処理の内容であり、かかる処理により、対象機器XのモニタX1の画面がアナログ画面の表示に過ぎないような場合にも、該モニタX1の画面の情報を遠隔操作機器に提供することができる。
さらに、モニタX1の画面には、種々の画像が表示されるところ、予め画像判定部122により、画面取得部121が取得したキャプチャ画像の状態を判定し、その画像の状態に応じた操作入力画面を状態提供部123が生成して遠隔操作機器Yに提供することで、遠隔操作に適した画面の情報を遠隔操作機器Yに提供することができる。
なお、状態提供部123が操作入力画面を生成するタイミングは、一定のタイミングで、操作入力画面を生成する場合のほか、一定の処理周期で画像の状態の変化を監視し、画像の状態が変化したタイミングで画面を操作入力画面を生成してもよい。
また、状態提供部123が操作入力画面を生成するタイミングは、遠隔操作機器Yが当該遠隔操作システム100にアクセスしたタイミングや、さらに遠隔操作機器Yから操作対象機器Xの操作のリクエストがあったタイミングであってもよい。この場合、状態提供部123は、遠隔操作システム100にアクセスのあった遠隔操作機器Yや操作リクエストのあった遠隔操作機器Yに対してのみ、生成した操作入力画面を操作することが好ましい。
次に、図3を参照して、遠隔操作システム100における遠隔操作機器Yからの操作により対象機器Xを操作する処理について説明する。
前提として、上述のように、対象機器XのモニタX1の画像の状態を把握して、その内容に応じた操作入力画面が外部の遠隔操作機器Yに提供されると、遠隔操作機器Yのユーザは、該操作入力画面を見ながら、操作対象機器Xの操作内容を決定する。
このとき、遠隔操作システム100は、操作受付部131により、遠隔操作機器Yから操作要請の有無を一定の処理周期で監視する(STEP131/図3)。
遠隔操作機器Yからの操作要請があると(STEP131でYES/図3)、その操作内容の特定を行う(STEP132/図3)。一方で、遠隔操作機器Yからの操作要請がない場合には(STEP131でNO/図3)、操作要請があるまでかかる監視を繰り返し実行する。
操作内容の特定は、操作入力画面上での操作内容を特定することにより行われ、より具体的には、遠隔操作機器Yから遠隔操作システム100に送信されたURLパラメータにより操作内容を特定することにより行われる。
例えば、対象機器Xが宿泊施設におけるフロントコンピュータの場合において空室101の予約操作を遠隔操作機器Yから行う際には、[ http:// サーバアドレス / yoyaku (操作コマンド)?room(対象空室)=101 ] のようなURLパラメータにより、101号室の予約ボタンの操作を特定する。
次に、操作信号出力部132は、STEP132で特定された操作内容を対象機器Xの操作信号に変換する(STEP133/図3)。
具体的に、操作信号の変換は、対象機器XのキーボードX2に重畳的に接続された制御インターフェイス142を介して、操作受付部131により受け付けた操作が対象機器XのキーボードX2のエミュレート信号となるように、操作内容に応じた制御インターフェイス142の制御信号(実行コマンド)へ変換として実行される。
ここで、制御インターフェイス142への制御信号(実行コマンド)には、人がキーボードX2を操作する際に生じるであろうディレイ(遅延時間)を持たせる制御信号(実行コマンド)が適宜挿入される。
次いで、操作信号出力部は、STEP133で変換された対象機器Xの操作信号を制御インターフェイスに送信する(STEP134/図3)。
これにより制御インターフェイス142は、制御信号(実行コマンド)を対象機器Xが認識可能な制御信号(操作コード)を生成して対象機器Xに出力する。ここでの制御信号(操作コード)でも、人がキーボードX2を操作する際に生じるであろうディレイ(遅延時間)を持たせる制御信号(実行コマンド)が適宜挿入される。
例えば、対象機器Xが宿泊施設におけるフロントコンピュータの場合において空室101の予約操作を遠隔操作機器Yから行う際には、キーボードX2の部屋番号101のキー操作、予約キー操作に対応した制御信号(操作コード)が、ディレイ(遅延時間)を持たせる制御信号(実行コマンド)を介在された形で生成されて、対象機器Xに出力される。
なお、本実施形態では、制御インターフェイスを介して、対象機器Xが認識可能な制御信号(操作コード)が生成される場合について説明したが、遠隔操作システム100の操作信号出力部132により、かかる制御信号(操作コード)が直接、変換出力されるようにしてもよい。
以上が、遠隔操作システム100における遠隔操作機器Yからの操作により対象機器Xを操作する処理内容であり、かかる処理に加えて、操作正誤判定部133により、操作正誤の判定処理が行わることが好ましい(STEP135〜136/図3)。
具体的に、操作正誤判定部133は、操作信号出力部132により対象機器Xに操作信号を出力した後に(実際にはカウンタタイマ等で一定時間タイムアップするのを待って)、操作の画面取得部121を介して取得した画像の状態から操作が成功したか判定する(STEP135/図3)。
ここで、操作の画面取得部121を介して取得した画像の状態の解析は、画像判定部122と同様の処理(STEP122/図2参照)により、操作内容に対応した、対象機器Xが操作可能な画面状態の変化がある場合には、操作成功と判定して(STEP135でYES/図3)、一連の処理を終了する。
一方、操作内容に対応した、対象機器Xが操作可能な画面状態の変化がない場合には、操作は成功でないと判定して(STEP135でNO/図3)、エラー報知を遠隔操作機器Y等に行った上で(STEP136/図3)、一連の処理を終了する。
なお、エラー報知に換えて、(STEP134にリターンするなどして)操作信号出力部132により、再度、操作信号の送信(STEP134参照)を行うようにしてもよい。
また、操作正誤判定部133による判定結果(画像状態)は、状態データベースDBに(上書き)保存されることが好ましい。
以上が、遠隔操作システム100における遠隔操作機器Yからの操作により対象機器Xを操作する処理および、その操作の正誤を判定する処理である。
かかる処理では、操作受付部131により受け付けた遠隔操作機器Yからの操作を、対象機器Xの操作信号に変換して該対象機器Xに出力するため、操作対象機器Xが通信機能を備えていない場合でも、対象機器Xをその操作信号により直接操作することが可能となる。
さらに、操作正誤判定部133が、対象機器Xの状態の変化により、操作正誤の判定を行うため、遠隔操作が確実に実行されたか確認することができる。
このように、本実施形態の遠隔操作システムによれば、操作対象機器Xが通信機能を備えていない場合や、操作対象機器XのモニタX1の画面の表示内容が遠隔操作機器Y側で認識されない場合でも、簡易かつ確実に、操作対象機器Xを遠隔操作機器Yにより操作し、その操作の実行を確認することができる。
なお、本実施形態では、モニタ画面のキャプチャとしては、キャプチャ装置141を用いるハードキャプチャの場合について説明したが、キャプチャはこれに限定されるものではなく、リモートデスクトップのようなソフトウエアによるキャプチャであってもよい。
また、本実施形態では、制御対象XのヒューマンインターフェイスとしてキーボードX2をエミュレートする場合について説明したが、これに限定されるものではなく、マウス・トラックボール、機械式の押しボタンなど、人が入力できエミュレート可能なヒューマンインターフェイスであればいずれであってもよい。
さらに、本実施形態では、対象機器Xとしてパーソナルコンピュータを操作する場合について説明したが、これに限定されるものではなく、パーソナルコンピュータに接続されたプリンタ装置X3などを操作対象としてもよい。
100…遠隔操作システム、121…画面取得部、122…画像判定部、123…状態提供部、131…操作受付部、132…操作信号出力部、133…操作正誤判定部、141…キャプチャ装置、142…制御インターフェイス、X…対象機器、X1…モニタ、X2…キーボード(ヒューマンインターフェイス)、X3…プリンタ、Y…遠隔操作機器、DB…状態データベース、NW…ネットワーク。
第1発明の遠隔操作システムは、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャ装置を介してキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して制御インターフェイスを介して該対象機器に出力する操作信号出力部と
を備え
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする。
また、発明の遠隔操作システムによれば、予め、画像判定部が、画面取得部より取得した画像が対象機器が操作可能な画面状態であるか判定し、画像の状態が対象機器が操作可能な画像状態である場合に、状態提供部により、該操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器に提供する。そのため、遠隔操作に適した操作入力画面を遠隔操作機器に提供することができる。
このように、第発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、遠隔操作に適した操作入力画面を通して、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
発明の遠隔操作システムは、第1発明において、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイス(例えばキーボード)に重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする。
発明の遠隔操作システムによれば、対象機器のヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた操作を対象機器の操作信号に変換して対象機器に出力する。
そのため、第発明の遠隔操作システムによれば、操作対象機器が通信機能や外部接続入力を備えていない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
発明の遠隔操作システムは、第1または第2発明のいずれかにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする。
発明の遠隔操作システムによれば、操作正誤判定部が、操作信号出力部により対象機器に操作信号を出力した後に、画面取得部を介して取得した画像の状態から、操作正誤の判定を行う。そのため、対象機器の状態の変化により、遠隔操作が確実に実行されたか確認することができる。
このように、第発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作し、その操作の実行を確認することができる。

Claims (4)

  1. 対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
    前記対象機器のモニタ画面をキャプチャして画像として取得する画面取得部と、
    前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
    前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
    前記遠隔操作機器からの操作を受け付ける操作受付部と、
    前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力する操作信号出力部と
    を備えることを特徴とする遠隔操作システム。
  2. 請求項1記載の遠隔操作システムにおいて、
    前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
    前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする遠隔操作システム。
  3. 請求項1または2記載の遠隔操作システムにおいて、
    前記操作信号出力部は、前記対象機器のヒューマンインターフェイスに重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする遠隔操作システム。
  4. 請求項1乃至3のいずれか1項記載の遠隔操作システムにおいて、
    前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする遠隔操作システム。
JP2017037485A 2017-02-28 2017-02-28 遠隔操作システム Active JP6226352B1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム
US16/307,120 US10860344B2 (en) 2017-02-28 2018-02-27 Remote operating system
CN201880002351.2A CN109314803A (zh) 2017-02-28 2018-02-27 远程操作系统
PCT/JP2018/007290 WO2018159620A1 (ja) 2017-02-28 2018-02-27 遠隔操作システム
SG11201810938YA SG11201810938YA (en) 2017-02-28 2018-02-27 Remote operating system
TW107106678A TW201837795A (zh) 2017-02-28 2018-02-27 遠端操作系統
EP18760350.1A EP3591985A4 (en) 2017-02-28 2018-02-27 REMOTE OPERATION SYSTEM
KR1020187035195A KR102083593B1 (ko) 2017-02-28 2018-02-27 원격 조작 시스템
US17/095,188 US20210064396A1 (en) 2017-02-28 2020-11-11 Remote operating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム

Publications (2)

Publication Number Publication Date
JP6226352B1 JP6226352B1 (ja) 2017-11-08
JP2018142926A true JP2018142926A (ja) 2018-09-13

Family

ID=60265815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017037485A Active JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム

Country Status (8)

Country Link
US (2) US10860344B2 (ja)
EP (1) EP3591985A4 (ja)
JP (1) JP6226352B1 (ja)
KR (1) KR102083593B1 (ja)
CN (1) CN109314803A (ja)
SG (1) SG11201810938YA (ja)
TW (1) TW201837795A (ja)
WO (1) WO2018159620A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106983A (ja) * 2018-12-26 2020-07-09 株式会社エネサイバー モバイル端末を利用した遠隔監視装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009953A (ja) * 2006-06-27 2008-01-17 Advanced Digital Chips Inc コンピューター画面監視システム、監視装置及び監視方法
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2013062778A (ja) * 2011-09-15 2013-04-04 Konica Minolta Business Technologies Inc リモート端末、リモート端末の制御方法および制御プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239506A (ja) 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
JP5235188B2 (ja) 2009-12-07 2013-07-10 パナソニック株式会社 画像撮影装置
CN102860034B (zh) * 2010-04-28 2016-05-18 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
JP6075193B2 (ja) * 2013-05-07 2017-02-08 株式会社セガゲームス 携帯端末装置
JP2015019256A (ja) 2013-07-11 2015-01-29 村田機械株式会社 遠隔処理システム、遠隔操作装置及びコンピュータプログラム
JP2016110180A (ja) 2014-12-02 2016-06-20 株式会社東芝 医用装置
JP5818050B1 (ja) 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
JP6611536B2 (ja) * 2015-09-28 2019-11-27 キヤノン株式会社 リモート支援システム、情報処理装置、画像処理装置、それらの制御方法、及びプログラム
CN105681584A (zh) * 2016-03-21 2016-06-15 珠海格力电器股份有限公司 移动终端的远程控制方法及装置
US11461689B2 (en) * 2017-01-06 2022-10-04 Sigurdur Runar Petursson Techniques for automatically testing/learning the behavior of a system under test (SUT)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009953A (ja) * 2006-06-27 2008-01-17 Advanced Digital Chips Inc コンピューター画面監視システム、監視装置及び監視方法
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2013062778A (ja) * 2011-09-15 2013-04-04 Konica Minolta Business Technologies Inc リモート端末、リモート端末の制御方法および制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106983A (ja) * 2018-12-26 2020-07-09 株式会社エネサイバー モバイル端末を利用した遠隔監視装置

Also Published As

Publication number Publication date
EP3591985A1 (en) 2020-01-08
WO2018159620A1 (ja) 2018-09-07
JP6226352B1 (ja) 2017-11-08
KR20190004337A (ko) 2019-01-11
US20190227821A1 (en) 2019-07-25
KR102083593B1 (ko) 2020-03-02
TW201837795A (zh) 2018-10-16
EP3591985A4 (en) 2021-01-06
SG11201810938YA (en) 2019-01-30
US10860344B2 (en) 2020-12-08
CN109314803A (zh) 2019-02-05
US20210064396A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN103176690B (zh) 显示控制设备、显示控制方法和程序
US20100175012A1 (en) System and Method for Remote Monitoring and Control of Field Device
EP2869584B1 (en) Method and device for realizing distributed remote control, and television terminal and mobile terminal thereof
CN110895459A (zh) 信息处理系统、装置、方法以及存储介质
CN112685106A (zh) 应用程序的启动方法、系统、装置、电子设备及存储介质
JP2015228102A (ja) 情報提供装置
JP6226352B1 (ja) 遠隔操作システム
JP2006260125A (ja) ネットワーク装置およびイベント処理方法
JP2023504956A (ja) 性能検出方法、装置、電子機器及びコンピュータ可読媒体
WO2018041034A1 (zh) Cec模拟测试方法及测试系统
US9692918B2 (en) Device control system and device control method for managing remote conference
JP6303771B2 (ja) 画像選択装置、画像選択方法、画像配信システム及びコンテンツ選択装置
JP5266416B1 (ja) テストシステム及びテストプログラム
CN107870752B (zh) 终端窗口上墙方法、终端、电视墙及系统
JP2016139317A (ja) ステータス判定システム
CN106210665B (zh) 一种基于视频采集的远程主机控制方法及系统
CN111736539B (zh) 一种监控数据显示方法、装置、系统、服务器及存储介质
JP2017033397A (ja) 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム
JP2016218836A (ja) 障害復旧支援システムおよび障害復旧支援方法ならびに障害復旧支援プログラム
CN110533898A (zh) 受控设备的无线控制学习系统、方法、装置、设备及介质
US20200012855A1 (en) Operation assistance apparatus, operation assistance method, and computer readable recording medium
CN111750964A (zh) 称重仪表和称重系统
US20130165074A1 (en) Remote monitoring system and method
US20200344065A1 (en) Server apparatus, client terminal, information processing system and information processing method
WO2021255892A1 (ja) 画像選択装置、携帯端末、画像選択方法、表示制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171003

R150 Certificate of patent or registration of utility model

Ref document number: 6226352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150