CN109314803A - 远程操作系统 - Google Patents

远程操作系统 Download PDF

Info

Publication number
CN109314803A
CN109314803A CN201880002351.2A CN201880002351A CN109314803A CN 109314803 A CN109314803 A CN 109314803A CN 201880002351 A CN201880002351 A CN 201880002351A CN 109314803 A CN109314803 A CN 109314803A
Authority
CN
China
Prior art keywords
state
remote
based device
operating system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880002351.2A
Other languages
English (en)
Inventor
大和田雅人
田中宪悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comparison Corp
Biclick Co Ltd
Original Assignee
Comparison Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Comparison Corp filed Critical Comparison Corp
Publication of CN109314803A publication Critical patent/CN109314803A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/34—Context aware guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

本发明提供一种远程操作系统。远程操作系统(100)具备画面获取部(121)、图像判定部(122)、状态提供部(123)、操作受理部(131)、操作信号输出部(132)、操作正误判定部(133)和状态数据库DB。而且，远程操作系统(100)具备捕捉对象设备(X1)的图像的捕捉装置(141)和与控制对象(X)的键盘(X2)重叠地连接的控制接口(142)。利用该远程操作系统，即使在操作对象设备不具备通信功能的情况下、或者在远程操作设备侧无法识别操作对象设备的监视画面的显示内容的情况下，也能够简单且可靠地通过远程操作设备对操作对象设备进行操作。

Description

远程操作系统
[技术领域]
本发明涉及基于对象设备的监视画面的状态，从远程操作设备对该对象设备进行远程操作的远程操作系统。
[背景技术]
以往，作为这种远程操作系统，如下述专利文献1所示，已知有下述一种系统：操作对象设备构成为能够与远程操作设备进行通信，将操作对象设备的操作画面显示在远程操作设备侧，从而受理远程操作。
现有技术文献
专利文献
专利文献1：日本特开2013-62778号公报
[发明内容]
发明要解决的课题
但是，在上述这种以往的远程操作系统中，在操作对象设备不具备通信功能的情况下、或者在操作对象设备的监视画面仅为显示(例如，模拟画面的显示)而无法在远程操作设备侧无法识别的情况下，存在难以通过远程操作设备来对操作对象设备进行操作的问题。
鉴于上述情况，本发明的目的在于提供一种即使在操作对象设备不具备通信功能的情况下、或者在远程操作设备侧无法识别操作对象设备的监视画面的显示内容的情况下，也能够简单且可靠地通过远程操作设备对操作对象设备进行操作的远程操作系统。
用于解决课题的手段
发明的第一方面的远程操作系统根据对象设备的监视画面的状态，从远程操作设备远程操作该对象设备，该远程操作系统的特征在于，具备：
画面获取部，经由捕捉装置捕捉所述对象设备的监视画面并作为图像进行获取；
图像判定部，从由所述画面获取部获取的所述图像判定该图像的状态；
状态提供部，将由所述图像判定部判定的所述状态提供给所述远程操作设备；
操作受理部，受理来自所述远程操作设备的操作；和
操作信号输出部，将由所述操作受理部受理的所述操作转换为所述对象设备的操作信号并经由控制接口输出到该对象设备，
所述图像判定部根据从所述画面获取部获取的所述图像判定是否为所述对象设备能够操作的画面状态作为该图像的状态，在所述图像的状态为所述对象设备能够操作的图像状态的情况下，所述状态提供部生成与该能够操作的图像状态对应的操作输入画面并提供给所述远程操作设备。
根据第1发明的远程操作系统，画面获取部捕捉对象设备的监视画面并作为图像进行获取，所以在对象设备的监视画面仅是模拟画面的显示的情况下，也能够将该监视画面的信息提供给远程操作设备。
这里，在监视器画面上显示各种图像的情况下，通过预先由图像判定部判定画面获取部所获取的捕捉图像的状态，并将该图像的状态提供给远程操作设备，能够将适于远程操作的画面的信息提供给远程操作设备。
而且，根据第1发明的远程操作系统，将由操作受理部受理的来自远程操作设备的操作转换为对象设备的操作信号并输出到该对象设备。因此，即使操作对象设备不具备通信功能，也能够通过该操作信号直接操作对象设备。
这样，根据发明的第一方面的远程操作系统，即使在操作对象设备不具备通信功能的情况下、或者在远程操作设备侧无法识别操作对象设备的监视画面的显示内容的情况下，也能够简单且可靠地利用远程操作设备对操作对象设备进行操作。
需要说明的是，在发明的第一方面的远程操作系统中，作为监视画面的捕捉，除了使用捕捉装置的硬件捕捉之外，还包含基于远程桌面这样的软件实施捕捉的任意一种概念。
另外，根据发明的第一方面的远程操作系统，图像判定部预先判定从画面获取部获取的图像是否为对象设备能够操作的画面状态，在图像的状态是对象设备能够操作的图像状态的情况下，通过状态提供部生成与该能够操作的图像状态对应的操作输入画面并提供给远程操作设备。因此，能够将适合于远程操作的操作输入画面提供给远程操作设备。
这样，根据发明的第一方面的远程操作系统，即使在操作对象设备不具备通信功能的情况下、或者在远程操作设备侧无法识别操作对象设备的监视画面的显示内容的情况下，也能够通过适合于远程操作的操作输入画面，简单且可靠地利用远程操作设备对操作对象设备进行操作。
发明的第二方面的远程操作系统的特征在于，在第一方面中，所述操作信号输出部与所述对象设备的人机接口(例如键盘)重叠地连接，将由操作受理部受理的上述操作转换为所述对象设备的操作信号作为该人机接口的仿真信号，并输出到该对象设备。
根据发明的第二方面的远程操作系统，将由操作受理部受理的操作作为对象设备的人机接口的模拟信号转换为对象设备的操作信号并输出到对象设备。
因此，根据发明的第二方面的远程操作系统，即使在操作对象设备不具备通信功能、外部连接输入的情况下，也能够简单且可靠地通过远程操作设备对操作对象设备进行操作。
发明的第三方面的远程操作系统的特征在于，在第一方面或第二方面的任一方面中，具备操作正误判定部，在通过所述操作信号输出部向所述对象设备输出操作信号之后，根据经由所述画面获取部获取的图像的状态，进行操作正误的判定。
根据发明的第三方面的远程操作系统，在通过操作信号输出部向对象设备输出操作信号之后，操作正误判定部根据经由画面获取部获取的图像的状态，进行操作正误的判定。因此，通过对象设备的状态的变化，能够确认是否可靠地执行了远程操作。
这样，根据发明的第三方面的远程操作系统，即使在操作对象设备不具备通信功能的情况下、或者在远程操作设备侧无法识别操作对象设备的监视画面的显示内容的情况下，也能够简单且可靠地通过远程操作设备对操作对象设备进行操作，确认该操作的执行。
[附图说明]
图1是表示本实施方式的远程操作系统的概要的系统结构图。
图2是表示图1的远程操作系统中的处理内容的流程图。
图3是表示图1的远程操作系统中的处理内容的流程图。
[具体实施方式]
如图1所示，本实施方式的远程操作系统100是在作为操作对象设备的对象设备X不具备通信功能或不具有外部连接接口的情况下、而且是在对象设备X的监视器X1的画面是比如模拟画面的显示的情况下，也能够基于对象设备X的监视器X1的画面的状态，从远程操作设备Y远程操作对象设备X的远程操作系统。
远程操作系统100具备画面获取部121、图像判定部122、状态提供部123、操作受理部131、操作信号输出部132、操作正误判定部133和状态数据库DB。
而且，远程操作系统100具备捕捉对象设备X的监视器X1的图像的捕捉装置141、和与作为控制对象X的人机接口的键盘X2重叠地连接的控制接口142。
需要说明的是，对象设备X的监视器X1的画面例如是作为对象设备X的住宿设施中的前台计算机的画面，例如，在画面上，针对按每个房间划分的区域上分色显示“入住”、“空房”、“打扫”、“预约”等。
画面获取单元121经由捕捉装置141获取监视器X1上的画面。捕捉装置141将连接前台计算机X和该监视器X1的监视电缆(VGA电缆)的模拟图像信号作为以一定周期采样的图像数据输出到远程操作系统100。
捕捉装置141例如除了VGA视频捕捉卡之外，还可以与视频捕捉卡一起具备作为VGA分配线缆的功能。另外，捕捉装置141不限于来自VGA电缆的视频捕捉，也可以是从视频(S-Video方式或者composite方式)输入输出线缆进行捕捉的视频捕捉卡、数字显示器用的DVI捕捉卡、业务用视频或监控摄像头上用的SDI捕捉卡、一般影像设备的HDMI(注册商标)捕捉卡等。
图像判定部122从由画面获取部121获取的图像判定该图像的状态。需要说明的是，图像判定部122根据需要对从画面获取部121取得的图像实施滤波处理后，判定该图像的状态。滤波处理例如是RGBA转换，将捕捉图像转换为由特定的色数构成的图像。另外，滤波处理除了RGBA转换以外，也可以是色数较少的PNG转换等。
具体而言，图像判定部122判定由画面获取部121取得的图像的状态是否为对象设备X能够操作的画面状态。
状态提供部123将由图像判定部判定的对象设备X的画面的状态提供给远程操作设备Y。
具体而言，状态提供部123在图像判定部122的判定结果为对象设备X的画面的状态是对象设备X能够操作的图像状态的情况下，生成与能够操作的图像状态对应的操作输入画面并提供给远程操作设备Y。
以上是掌握远程操作系统100中的对象设备X的监视器X1的图像的状态并提供给外部的远程操作设备Y的构成121～123。
操作受理部131在该远程操作系统100中受理来自远程操作设备Y的操作。此外，远程操作设备Y只要是通过因特网等网络NW连接的外部操作设备，可以是个人计算机Y1，也可以是智能手机Y2。
操作信号输出部132将由操作受理部131受理的来自远程操作设备Y的操作转换成对象设备X的操作信号并输出到对象设备X。
更具体而言，操作信号输出部132经由与对象设备X的键盘X2重叠地连接的控制接口142，以由操作受理部131受理的操作成为对象设备X的键盘X2的仿真信号的方式向控制接口142进行输出。
操作正误判定部133在通过操作信号输出部132向对象设备X输出操作信号之后，根据经由画面获取部121获取的图像的状态，进行操作正误的判定。
以上是通过来自远程操作系统100中的远程操作设备Y的操作来操作对象设备X的构成131～133。
除此之外，远程操作系统100利用状态数据库DB存储保持由图像判定部122判定的图像的状态、由操作正误判定部133判定的操作的正误。
以上是远程操作系统100的构成，该远程操作系统100例如由CPU(CentralProcessing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等硬件构成，起到将执行上述处理单元121～123、131～133、DB的处理的程序存储保持到存储器(未图示)中、并通过执行该程序来执行上述控制处理的运算装置(序列发生器)的作用。
接着，参照图2，说明通过上述方式构成的远程操作系统100把握对象设备X的监视器X1的图像的状态，并提供给外部的远程操作设备Y的处理。
首先，远程操作系统100利用画面获取部121经由捕捉装置141获取监视器X1上的画面作为捕捉的图像(实际上是以一定周期捕捉的图像)(步骤122/图2)。
接着，远程操作系统100利用图像判定部122判定在步骤121中捕捉的图像的状态是否为对象设备X是能够操作的画面状态(步骤122/图2)。
关于具体的判定方法，能够采用各种方法。例如，获取图像上的特定点的色彩信息，根据所获取的色彩信息(RGB数据)的颜色的组合，判定对象设备X的监视器X1的画面的图像状态(是否为对象设备X是能够操作的图像状态，若是在能够操作的图像状态的情况下是什么样的图像状态)。
另外，作为其他的判定方法，例如也可以通过识别通过OCR(光学字符识别)在图像中显示的字符(包括字符串)来判定对象设备X的监视器X1的画面的图像状态。
进而，为了提高判定精度，也可以通过图像上的色彩信息和通过OCR(光学字符识别)识别出的字符的组合来判定对象设备X的监视器X1的画面的图像状态。
由此，例如，在对象设备X是住宿设施中的前台计算机的情况时，在捕捉监视器X1上的画面时，判定为在被划分为各房间的区域中“入住”、“空房”、“打扫”、“预约”等颜色区分显示的图像是能够操作的状态，是与空房有关的能够进行预约受理的图像状态。
然后，远程操作系统100将图像判定部122的判定结果保存在状态数据库DB中(步骤123/图2)。
接着，状态提供部123根据由图像判定部122判定的对象设备X的监视器X1的画面的图像状态(从状态数据库DB读出的判定结果)，进行可操作功能的提取(步骤124/图2)。
具体而言，状态提供部123通过参照以矩阵整理了判定结果和可操作功能的状态表，提取与图像判定部122的判定结果对应的可操作功能。
接着，状态提供部123进行操作输入画面的生成(步骤125/图2)。
具体而言，状态提供部123生成与在步骤124中提取出的可操作功能对应的操作输入画面。
这里，操作输入画面是能够通过HTML对浏览器的输出、利用专用应用程序等进行显示的画面，例如当对象设备X是住宿设施中的前台计算机的情况时，生成仅在空房的ROOM号部分显示预约按钮的操作输入画面。
在此，操作输入画面并不是单纯地作为罗列了可操作功能的画面而生成的，以根据附加条件而仅提供必要的功能的方式生成操作输入画面。
作为附加条件，例如空房数为3个房间以下的情况作为不显示作为预约受理功能的预约按钮以停止预约受理的条件、特定时间(凌晨2点至5点)作为不显示作为预约受理功能的预约按钮以停止预约的的条件。
接着，状态提供部123将在步骤125中生成的操作输入画面经由网络NW提供给远程操作设备Y(步骤126/图2)。
以上是通过远程操作系统100掌握对象设备X的监视器X1的图像的状态并提供给外部的远程操作设备Y的处理的内容，通过该处理，在对象设备X的监视器X1的画面只不过是模拟画面的显示的情况下，也能够将该监视器X1的画面的信息提供给远程操作设备。
而且，在监视器X1的画面上显示各种图像的情况下，通过预先由图像判定部122判定画面获取部121获取的捕捉图像的状态，由状态提供部123生成与该图像的状态对应的操作输入画面，提供给远程操作设备Y，能够将适合于远程操作的画面的信息提供给远程操作设备Y。
需要说明的是，状态提供部123生成操作输入画面的时机除了在固定的时机生成操作输入画面的情况以外，也可以按固定的处理周期监视图像的状态变化，以图像的状态发生变化的时机生成操作输入画面。
另外，状态提供部123生成操作输入画面的时机也可以是远程操作设备Y访问该远程操作系统100的时机、或者还可以是进一步从远程操作设备Y发出要对操作对象设备X进行操作的请求的时机。在该情况下，优选状态提供部123仅对访问了远程操作系统100的远程操作设备Y或具有操作请求的远程操作设备Y，提供所生成的操作输入画面。
接着，参照图3，说明根据来自远程操作系统100中的远程操作设备Y的操作来操作对象设备X的处理。
作为前提，如上所述，在掌握对象设备X的监视器X1的图像的状态，并将与其内容对应的操作输入画面提供给外部的远程操作设备Y时，远程操作设备Y的用户在观察该操作输入画面的同时，决定操作对象设备X的操作内容。
此时，远程操作系统100利用操作受理部131以固定的处理周期监视有无来自远程操作设备Y的操作请求(步骤131/图3)。
当出现来自远程操作设备Y的操作请求时(步骤131：是/图3)，确定其操作内容(步骤132/图3)。另一方面，在没有出现来自远程操作设备Y的操作请求的情况时(步骤131：否/图3)，反复执行该监视直到出现操作请求为止。
通过确定操作输入画面上的操作内容来进行操作内容的确定，更具体而言，是通过根据从远程操作设备Y发送到远程操作系统100的URL参数确定操作内容来进行操作内容的确定。
例如，在对象设备X是住宿设施中的前台计算机的情况下，从远程操作设备Y进行空房101的预约操作时，根据[http：//服务器地址/yoyaku(操作指令)？room(对象空房)＝101]那样的URL参数，确定101号房的预约按钮的操作。
接着，操作信号输出部132将在步骤132中确定的操作内容转换为对象设备X的操作信号(步骤133/图3)。
具体而言，操作信号的转换通过下述方式执行：经由与对象设备X的键盘X2重叠地连接的控制接口142，转换为与操作内容对应的控制接口142的控制信号(执行命令)，使得由操作受理部131受理的操作成为对象设备X的键盘X2的仿真信号。
这里，向控制接口142的控制信号(执行命令)适当地插入带有在人操作键盘X2时应会产生的滞后(迟延时间)的控制信号(执行命令)。
接着，操作信号输出部将在步骤133中被转换的对象设备X的操作信号发送到控制接口(步骤134/图3)。
由此，控制接口142将控制信号(执行命令)生成对象设备X能够识别的控制信号(操作代码)并输出到对象设备X。在此处的控制信号(操作代码)中，也适当插入带有在人操作键盘X2时应会产生的滞后(迟延时间)的控制信号(执行命令)。
例如，在对象设备X是住宿设施中的前台计算机的情况下，从远程操作设备Y进行空房101的预约操作时，以与键盘X2的房间号码101的键操作、预约键操作对应的控制信号(执行指令)介于带有滞后(迟延时间)的控制信号(执行命令)的形式进行生成，并输出到对象设备X。
需要说明的是，在本实施方式中，说明了经由控制接口生成对象设备X能够识别的控制信号(操作代码)的情况，但也可以通过远程操作系统100的操作信号输出部132直接转换输出上述控制信号(操作代码)。
以上是通过来自远程操作系统100中的远程操作设备Y的操作来操作对象设备X的处理内容，除了该处理之外，优选利用操作正误判定部133进行操作正误的判定处理(步骤135～136/图3)。
具体而言，操作正误判定部133在通过操作信号输出部132向对象设备X输出操作信号后(实际上是等待计时器等倒计时一定时间)，根据经由操作的画面获取部121获取的图像的状态判定操作是否成功(步骤135/图3)。
这里，作为操作的经由画面获取部121获取的图像的状态的解析，利用与图像判定部122相同的处理(参照步骤122/图2)，存在与操作内容对应的、对象设备X能够操作的画面状态的变化的情况下，判定为操作成功(步骤135中为“是”/图3)，结束一系列的处理。
另一方面，在与操作内容对应的、对象设备X能够操作的画面状态的变化没有的情况下，判定操作不成功(步骤135中为“否”)，在对远程操作设备Y等进行了错误通知之后(步骤136/图3)，结束一系列的处理。
另外，也可以代替错误通知，(而是返回到STEP134等，)通过操作信号输出部132再次进行操作信号的发送(参照STEP134)。
另外，优选操作正误判定部133的判定结果(图像状态)被(覆写)保存在状态数据库DB中。
以上是通过来自远程操作系统100中的远程操作设备Y的操作来操作对象设备X的处理以及判定其操作的正误的处理。
通过该处理，由于将由操作受理部131受理的来自远程操作设备Y的操作转换为对象设备X的操作信号并输出到该对象设备X，所以即使在操作对象设备X不具备通信功能的情况下，也能够通过该操作信号直接操作对象设备X。
而且，操作正误判定部133根据对象设备X的状态的变化来进行操作正误的判定，因此能够确认是否可靠地执行了远程操作。
这样，根据本实施方式的远程操作系统，即使在操作对象设备X不具备通信功能的情况下、或者操作对象设备X的监视器X1的画面的显示内容未被远程操作设备Y侧识别的情况下，也能够简单且可靠地利用远程操作设备Y对操作对象设备X进行操作，确认该操作的执行。
需要说明的是，在本实施方式中，作为监视画面的捕捉，说明了使用捕捉装置141的硬件捕捉的情况，但捕捉并不限定于此，也可以是基于远程桌面那样的软件而实施的捕捉。
另外，在本实施方式中，对作为控制对象X的人机接口而对键盘X2进行仿真的情况进行了说明，但并不限定于此，只要是鼠标、轨迹球、机械式的按钮等人能够输入且能够仿真的人机接口即可。
而且，在本实施方式中，对作为对象设备X的个人计算机进行操作的情况进行了说明，但并不限定于此，也可以将与个人计算机连接的打印机装置X3等作为操作对象。
符号说明
100…远程操作系统，121…画面获取部，122…图像判定部，123…状态提供部，131…操作受理部，132…操作信号输出部，133…操作正误判定部，141…捕捉装置，142…控制接口、X…对象设备，X1…监视器，X2…键盘(人机接口)，X3…打印机，Y…远程操作设备，DB…状态数据库，NW…网络。

Claims (3)

1.一种远程操作系统，其根据对象设备的监视画面的状态，从远程操作设备远程操作该对象设备，该远程操作系统的特征在于，具备：
画面获取部，经由捕捉装置捕捉所述对象设备的监视画面并作为图像进行获取；
图像判定部，从由所述画面获取部获取的所述图像判定该图像的状态；
状态提供部，将由所述图像判定部判定的所述状态提供给所述远程操作设备；
操作受理部，受理来自所述远程操作设备的操作；和
操作信号输出部，将由所述操作受理部受理的所述操作转换为所述对象设备的操作信号并经由控制接口输出到该对象设备，
所述图像判定部根据从所述画面获取部获取的所述图像判定是否为所述对象设备能够操作的画面状态作为该图像的状态，
在所述图像的状态为所述对象设备能够操作的图像状态的情况下，所述状态提供部生成与该能够操作的图像状态对应的操作输入画面并提供给所述远程操作设备。
2.根据权利要求1所述的远程操作系统，其特征在于，
所述操作信号输出部与所述对象设备的人机接口重叠地连接，将由操作受理部受理的上述操作转换为所述对象设备的操作信号作为该人机接口的仿真信号，并输出到该对象设备。
3.根据权利要求1或2所述的远程操作系统，其特征在于，
该远程操作系统具备操作正误判定部，在通过所述操作信号输出部向所述对象设备输出操作信号之后，该操作正误判定部根据经由所述画面获取部获取的图像的状态，进行操作正误的判定。
CN201880002351.2A 2017-02-28 2018-02-27 远程操作系统 Pending CN109314803A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム
JP2017-037485 2017-02-28
PCT/JP2018/007290 WO2018159620A1 (ja) 2017-02-28 2018-02-27 遠隔操作システム

Publications (1)

Publication Number Publication Date
CN109314803A true CN109314803A (zh) 2019-02-05

Family

ID=60265815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002351.2A Pending CN109314803A (zh) 2017-02-28 2018-02-27 远程操作系统

Country Status (8)

Country Link
US (2) US10860344B2 (zh)
EP (1) EP3591985A4 (zh)
JP (1) JP6226352B1 (zh)
KR (1) KR102083593B1 (zh)
CN (1) CN109314803A (zh)
SG (1) SG11201810938YA (zh)
TW (1) TW201837795A (zh)
WO (1) WO2018159620A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106983A (ja) * 2018-12-26 2020-07-09 株式会社エネサイバー モバイル端末を利用した遠隔監視装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136458A1 (en) * 2010-04-28 2011-11-03 Lg Electronics Inc. Image display apparatus and method for operating the same
US20130113738A1 (en) * 2011-11-08 2013-05-09 Electronics And Telecommunications Research Institute Method and apparatus for controlling content on remote screen
WO2014181587A1 (ja) * 2013-05-07 2014-11-13 株式会社セガ 携帯端末装置
CN105681584A (zh) * 2016-03-21 2016-06-15 珠海格力电器股份有限公司 移动终端的远程控制方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808852B1 (ko) * 2006-06-27 2008-03-07 주식회사 에이디칩스 컴퓨터 화면 감시 시스템, 장치 및 방법
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239506A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
JP5235188B2 (ja) * 2009-12-07 2013-07-10 パナソニック株式会社 画像撮影装置
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
JP5834669B2 (ja) * 2011-09-15 2015-12-24 コニカミノルタ株式会社 リモート端末、リモート端末の制御方法および制御プログラム
JP2015019256A (ja) * 2013-07-11 2015-01-29 村田機械株式会社 遠隔処理システム、遠隔操作装置及びコンピュータプログラム
JP2016110180A (ja) 2014-12-02 2016-06-20 株式会社東芝 医用装置
JP5818050B1 (ja) 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
JP6611536B2 (ja) * 2015-09-28 2019-11-27 キヤノン株式会社 リモート支援システム、情報処理装置、画像処理装置、それらの制御方法、及びプログラム
US11461689B2 (en) * 2017-01-06 2022-10-04 Sigurdur Runar Petursson Techniques for automatically testing/learning the behavior of a system under test (SUT)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136458A1 (en) * 2010-04-28 2011-11-03 Lg Electronics Inc. Image display apparatus and method for operating the same
US20130113738A1 (en) * 2011-11-08 2013-05-09 Electronics And Telecommunications Research Institute Method and apparatus for controlling content on remote screen
WO2014181587A1 (ja) * 2013-05-07 2014-11-13 株式会社セガ 携帯端末装置
CN105681584A (zh) * 2016-03-21 2016-06-15 珠海格力电器股份有限公司 移动终端的远程控制方法及装置

Also Published As

Publication number Publication date
TW201837795A (zh) 2018-10-16
KR20190004337A (ko) 2019-01-11
US20190227821A1 (en) 2019-07-25
SG11201810938YA (en) 2019-01-30
US20210064396A1 (en) 2021-03-04
EP3591985A4 (en) 2021-01-06
JP2018142926A (ja) 2018-09-13
US10860344B2 (en) 2020-12-08
EP3591985A1 (en) 2020-01-08
JP6226352B1 (ja) 2017-11-08
KR102083593B1 (ko) 2020-03-02
WO2018159620A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
CN109902659B (zh) 用于处理人体图像的方法和装置
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN101055561B (zh) 电子会议辅助方法以及电子会议系统中的信息终端设备
CN104636501B (zh) 一种多媒体网络人工即时翻译系统及方法
CN105869066B (zh) 基于数字图像处理识别的倒闸操作的系统及方法
CN108766434B (zh) 一种手语识别翻译系统及方法
CN102844795A (zh) 图像处理装置、图像处理方法和程序
CN101489073A (zh) 信息处理装置以及信息处理方法
CN109473160A (zh) 医学图像的标注资格确定方法及装置
CN101316170A (zh) 一种即时通讯软件的用户状态控制方法及系统
CN109314803A (zh) 远程操作系统
CN104091557B (zh) 一种基于影像识别技术的显示屏测试装置及其测试方法
JP2019215781A (ja) 製造管理システム及び方法
CN106255991B (zh) 状态判定系统
CN112235602A (zh) 智能电视的个性化屏保系统、方法和智能电视
EP3208779B1 (en) System and device for secured communication of identification information between two devices
CN106407886A (zh) 一种建立人脸模型的装置
CN113727215B (zh) 数据处理方法、装置、存储介质及设备
CN114173158A (zh) 人脸识别方法、云端设备、客户端设备、电子设备及介质
CN109376635B (zh) 一种护理质量考核系统及安全事件上报方法
CN210804398U (zh) 一种基于人工视觉且不依赖公网系统的交互界面测试装置
CN115706819A (zh) 网页视频播放方法、装置、电子设备及存储介质
CN109657654A (zh) 一种抗逆光人脸识别系统
CN117716353A (zh) 数据创建装置、存储装置、数据处理系统、数据创建方法及程序
CN117651945A (zh) 数据创建装置、存储装置、数据处理系统、数据创建方法、程序及摄像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205

WD01 Invention patent application deemed withdrawn after publication