CN106796482A - 远程控制系统、维护用终端、操作终端以及远程控制方法 - Google Patents

远程控制系统、维护用终端、操作终端以及远程控制方法 Download PDF

Info

Publication number
CN106796482A
CN106796482A CN201580054618.9A CN201580054618A CN106796482A CN 106796482 A CN106796482 A CN 106796482A CN 201580054618 A CN201580054618 A CN 201580054618A CN 106796482 A CN106796482 A CN 106796482A
Authority
CN
China
Prior art keywords
picture
terminal
maintenance
screen
tele
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580054618.9A
Other languages
English (en)
Inventor
长德典宏
渡边明彦
小泽匡史
井上淳
川崎仁
谷川浩三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Original Assignee
Mitsubishi Electric Corp
Mitsubishi Electric Building Techno Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Mitsubishi Electric Building Techno Service Co Ltd filed Critical Mitsubishi Electric Corp
Publication of CN106796482A publication Critical patent/CN106796482A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

获得一种远程控制系统，在从操作终端对维护用终端进行远程操作的情况下，能够提高针对作为操作对象的维护用应用画面的可视性和操作性。维护用终端具有：画面确定部，其依照显示/操作对象画面设定部的定义，从在维护用终端的画面上显示的各应用画面中确定1个操作对象画面；画面信息生成部，其从画面确定部确定的操作对象画面中提取画面部件和部件状态，根据所述画面部件和部件状态生成画面布局信息而发送给操作终端；以及操作/显示部，其根据画面布局信息，在操作终端的画面上显示画面部件，并监视针对画面部件的操作，在发生了操作的情况下，生成画面操作事件信息而发送给维护用终端。

Description

远程控制系统、维护用终端、操作终端以及远程控制方法
技术领域
本发明涉及远程控制系统和远程控制方法，向操作终端发送维护用终端的画面并使操作终端显示该维护用终端的画面，根据来自操作终端的画面操作事件来操作维护用终端。
背景技术
存在这样的方法：在使用维护用终端(笔记本电脑)时，希望在维护作业中在用一只手拿着部件的同时使用维护用终端等，为了避免操作上的限制，将维护用终端设置在远离的场所，将能够用一只手操作的智能手机(smart phone)作为操作终端而对维护用终端进行远程操作。另外，除了智能手机以外，还有利用搭载有无线LAN、Bluetooth(注册商标)等通信的小型终端的方法。
作为从智能手机对笔记本电脑进行远程操作的方法的远程桌面通过向智能手机画面发送PC画面进行显示，将智能手机的触摸面板操作(画面操作事件)作为笔记本电脑的操作输入，能够利用智能手机画面进行PC画面的显示和操作。
然而，在该方法的情况下，如果向图9所示那样的较小的智能手机画面(720×12804.3英寸液晶)发送图8所示那样的相对较大的PC画面(全HD 11.6英寸液晶)进行显示，则作为操作对象的维护用应用画面会变小，导致可视性降低，操作性降低。
另外，即使为了增大显示尺寸而放大智能手机画面并附加滚动条，也需要操作滚动条以显示维护用应用画面的规定区域，导致操作性降低。
在此，已知有如下技术：利用通信连接主装置和终端装置，提取主装置的画面的一部分而在终端装置上进行显示(例如，参照专利文献1、2)。此外，还已知有如下技术：生成智能手机用的布局，以从智能手机对PC上的应用进行远程操作(例如，参照专利文献3)。
在先技术文献
专利文献
专利文献1：日本特开2014-10568号公报
专利文献2：日本特开2013-145565号公报
专利文献3：日本特开2013-235438号公报
发明内容
发明要解决的课题
然而，现有技术存在以下的课题。
即，专利文献3中虽然公开了生成智能手机用的布局以便从智能手机对PC进行远程操作的技术，但是，关于指定作为操作对象的应用画面，没有进行任何公开。
因此，存在如下问题：即使使用专利文献1、2中公开的提取主装置的画面的一部分在终端装置上进行显示的技术，也无法在智能手机上适当地显示作为操作对象的维护用应用画面，导致可视性降低，操作性降低。
本发明是为了解决上述课题而完成的，其目的在于获得一种远程控制系统，在从操作终端对维护用终端进行远程操作的情况下，能够提高针对作为操作对象的维护用应用画面的可视性和操作性。
用于解决问题的手段
本发明的远程控制系统向操作终端发送维护用终端的画面而进行显示，并且根据来自操作终端的画面操作事件操作维护用终端，维护用终端具有：画面确定部，其依照显示/操作对象画面设定部的定义，从在维护用终端的画面上显示的各应用画面中确定1个操作对象画面；和画面信息生成部，其从画面确定部确定的操作对象画面中提取画面部件和部件状态，根据上述画面部件和部件状态生成画面布局信息而发送给操作终端，操作终端具有操作/显示部，该操作/显示部根据画面布局信息，在操作终端的画面上显示画面部件，并监视针对画面部件的操作，在发生了操作的情况下，生成画面操作事件信息而发送给维护用终端。
发明的效果
根据本发明的远程控制系统，具有：画面确定部，其依照显示/操作对象画面设定部的定义，从在维护用终端的画面上显示的各应用画面中确定1个操作对象画面；画面信息生成部，其从画面确定部确定的操作对象画面中提取画面部件和部件状态，根据上述画面部件和部件状态生成画面布局信息发送给操作终端；以及操作/显示部，其根据画面布局信息，在操作终端的画面上显示画面部件，并监视针对画面部件的操作，在发生了操作的情况下，生成画面操作事件信息发送给维护用终端。
因此，在由操作终端对维护用终端进行远程操作的情况下，能够提高针对作为操作对象的维护用应用画面的可视性和操作性。
附图说明
图1是在维护用终端的画面上显示有多个维护用应用画面和1个非维护用应用画面的说明图。
图2是示出1个维护用应用画面的说明图。
图3是在操作终端的画面上显示有提取出的维护用应用画面的画面部件的说明图。
图4是示出本发明的实施方式1的远程控制系统的结构框图。
图5是在操作终端的画面上显示有窗口标题和该画面的缩略图的一览的说明图。
图6是示出本发明的实施方式1的远程控制系统中的维护用终端的处理的流程图。
图7是示出本发明的实施方式1的远程控制系统中的操作终端的处理的流程图。
图8是在现有的PC画面上显示有维护用应用画面的说明图。
图9是向智能手机画面发送图8所示的PC画面而进行显示的说明图。
具体实施方式
以下，使用附图对本发明的远程控制系统的优选实施方式进行说明，在各附图中，对于相同或相当的部分标记相同的标号进行说明。
实施方式1.
首先，对本发明的概要进行说明。在本发明中，从维护用终端显示的多个应用画面中确定1个作为操作对象的应用画面，从该画面中提取作为操作对象的画面部件和状态发送给操作终端而进行显示，并且，将针对在操作终端显示的应用画面的画面部件的操作作为画面操作事件信息发送给维护用终端，操作维护用终端的应用画面，由此，能够从操作终端对维护用终端进行操作。
在此，对确定1个作为操作对象的应用画面的情况进行说明。如图1所示，在维护用终端上显示的应用画面中的维护用应用画面1、2是可能从操作终端进行远程操作的画面，非维护用应用画面是不进行远程操作的画面。
在本发明中，定义了在维护用终端上显示的应用画面中的作为显示/操作对象画面的维护用应用画面1、2，监视维护用终端的显示，当新显示的应用画面符合显示/操作对象画面时，选择1个作为操作对象的应用画面。
接着，对提取作为操作对象的画面部件和状态的情况进行说明。如图2所示，所确定的维护用应用画面2包含窗口标题、正文1、2、位图1、2以及按钮1、2这些画面部件。此时，如图3所示，仅将该维护用应用画面2上的操作所需的正文1、位图1和按钮1显示在操作终端的画面上。
在本发明中，定义了每个维护用应用画面的画面部件中的、在操作终端进行显示的画面布局，依照画面布局提取、配置选择出的画面部件并替换成操作终端的画面部件进行显示。
接下来，对操作维护用终端的应用画面的情况进行说明。在本发明中，根据从操作终端接收到的画面操作事件信息执行针对维护终端的该画面部件的相同操作。
以下，根据图4所示的结构框图，对本发明的实施方式1的远程控制系统进行说明。在图4中，该远程控制系统例如由作为笔记本电脑的维护用终端1和作为智能手机(smartphone)的操作终端2构成。另外，维护用终端1和操作终端2通过无线LAN等进行连接。此外，维护用终端1与电梯的监控摄像机3以及电梯装置4连接。
维护用终端1利用应用控制部10经由OS(Operating System：操作系统)20取得所显示的操作对象应用30的应用画面的内容，并进行针对操作对象应用30的操作，对于非操作对象应用40，不进行处理。
操作终端2经由OS21使操作/显示部22显示从维护用终端1发送的画面，并向维护用终端1发送针对操作/显示部22的画面操作事件信息。
应用控制部10由画面确定部11、显示/操作对象画面设定部12、画面显示/操作关系设定部13、画面信息生成部14、画面布局设定部15和应用画面操作部16构成。
维护用终端1的画面确定部11依照显示/操作对象画面设定部12的定义，从在维护用终端1上显示的各应用画面中确定1个操作对象画面。在此，作为画面确定部11确定画面的定义，如以下所示，在显示/操作对象画面设定部12中预先设定了画面的属性和画面识别符。
显示/操作对象画面设定部12的设定例
1)窗口标题|窗口显示进程(应用)名|画面识别符
2)窗口标题|窗口内的画面部件数|画面识别符
具体而言，画面确定部11从OS20取得在画面上显示的各应用画面的属性，与显示/操作对象画面设定部12的定义内的各属性进行比较，在存在一致的属性的情况下，将其画面识别符确定为操作对象画面，从OS20取得该画面的画面ID。另外，画面ID是在OS20的执行中唯一地确定画面的画面ID，例如，如果是Windows(注册商标)，则窗口句柄相当于画面ID。
此外，作为画面确定部11确定画面的定义，如以下所示，在画面显示/操作关系设定部13中预先设定了针对作为当前操作对象的应用画面的操作、和针对操作而接下来成为操作对象的画面识别符。
画面显示/操作关系设定部13的设定例
1)操作对象画面识别符|操作内容|下一个操作对象画面识别符
在此，操作内容例如是按下按钮A、按下按钮B、选择复选框A等操作，通过这些操作来切换作为操作对象的画面或者定义新显示的操作。
此时，画面确定部11与画面显示/操作关系设定部13的定义进行比较，在与所确定的操作对象画面一致的操作对象画面识别符所示的操作内容和对操作终端2进行的操作的内容一致的情况下，将下一个操作对象画面识别符选择为操作对象画面候选。即，画面确定部11根据显示/操作对象画面设定部12的定义，确定候选的画面被显示的情况。
维护用终端1的画面信息生成部14使用画面确定部11确定的画面识别符和画面ID(例如窗口句柄)，依照画面布局设定部15的定义，生成向操作终端2发送的画面布局信息。具体而言，首先，画面信息生成部14根据画面ID取得作为操作对象的应用画面的属性(窗口标题、画面部件、部件状态)。画面部件和部件状态包括以下所示的例子。
画面部件|部件状态的示例
1)按钮|部件ID、按钮标题、可否按下按钮、按钮按下状态
2)复选框|部件ID、显示项目名、选择项目名
3)列表框|部件ID、显示项目名、选择项目名
4)正文|部件ID、所显示的字符串、字符串的颜色
5)位图|部件ID、所显示的位图数据
画面布局设定部15针对画面识别符如以下所示那样预先设定用于确定在操作终端2上显示的画面部件的信息。
画面布局设定部15的设定例
1)画面识别符|用于确定显示的画面部件的信息|用于确定显示的画面部件的信息|·····
在此，用于确定显示的画面部件的信息包括以下所示的例子。
画面部件|用于确定画面部件的信息的示例
1)按钮A|按钮标题
2)列表框|显示项目名
3)复选框|显示项目名
4)正文A|显示字符串
5)位图|画面内区域坐标
接着，画面信息生成部14根据作为操作对象的应用画面的画面部件、部件状态来选择与画面布局设定部15设定的画面识别符的画面部件以及用于确定画面部件的信息一致的画面部件，生成以下所示的画面布局信息。
画面布局信息的示例
1)按钮A|部件ID|按钮标题、可否按下按钮、按钮按下状态
2)按钮B|部件ID|按钮标题、可否按下按钮、按钮按下状态
3)正文A|部件ID|字符串、字符串的颜色
4)位图A|部件ID|位图数据
另外，画面信息生成部14将画面布局信息发送给操作终端2之后，监视操作对象应用30的画面变化，在发生了变化的情况下，生成新的画面布局信息而发送给操作终端2。
例如，在维护用终端1正在显示监控摄像机3的图像的情况下，画面信息生成部14能够在操作终端2的画面上显示图像的变化，以便判定监控摄像机3正在正常工作。此外，关于电梯的楼层显示等的数值变化或标语字符串等变化、曲线图的变化等，画面信息生成部14也能够在操作终端2的画面上显示图像的变化。
当操作终端2的操作/显示部22接收到画面布局信息时，根据画面布局信息，在操作终端2的画面上显示各画面部件。例如，关于按钮A，按照画面布局信息中记述的按钮标题、可否按下、按下状态来生成按钮而配置在画面上。此外，也相同地生成复选框、列表框、正文、位图而配置在画面上。
也可以根据操作终端2的特征确定这些画面部件的布局。例如，为了使在较小的画面上容易观看而增大画面部件、以及为了在较小的触摸面板上容易操作而增大画面部件等。也可以根据操作终端的画面尺寸调整位图，也可以设置滚动条而以相同的尺寸显示位图。
此外，操作/显示部22将画面部件显示在操作终端2的画面上之后，监视针对各画面部件的操作，在发生了操作的情况下，生成以下所示的画面操作事件信息而发送给维护用终端1。此时，直接使用对于各画面部件接收到的部件ID进行响应。
画面操作事件信息的示例
1)按钮A|部件ID|按下按钮
2)复选框A|部件ID|项目选择
3)列表框A|部件ID|项目选择
4)位图A|部件ID|点击坐标
维护用终端1的应用画面操作部16根据接收到的画面操作事件信息来执行作为操作对象的应用画面的操作。例如，在接收到针对按钮A的画面操作事件信息的情况下，应用画面操作部16根据部件ID确定应用画面内的画面部件，执行针对该画面部件的按下按钮。
另外，画面确定部11确定在维护用终端1上显示的各应用画面中的1个操作对象画面，在OS20刚刚启动之后，操作对象应用30还未启动，因此，不存在作为操作对象的应用画面。因此，在不存在作为操作对象的应用画面的情况下，画面确定部11对画面信息生成部14输出初始画面生成指示。画面信息生成部14将要启动的应用一览作为初始画面的画面布局信息发送给操作终端2。
在此，如以下所示那样，在画面布局设定部15中预先定义了启动的应用一览。
启动的应用的示例
1)维护应用1启动按钮|执行文件名
2)维护应用2启动按钮|执行文件名
···
n)维护应用n启动按钮|执行文件名
此时，操作/显示部22将启动的应用一览作为维护应用启动按钮显示在画面上，当按钮被按下时，作为画面操作事件信息，将与该按钮对应的执行文件名发送给维护用终端1。对此，应用画面操作部16在接收到执行文件名时，指示OS20启动该执行文件。
此外，也可以是，画面确定部11在从在维护用终端1上显示的各应用画面中确定1个操作对象画面的处理中，经由画面信息生成部14将所显示的应用画面的信息作为画面布局信息发送给操作/显示部22而使其选择作为操作对象的应用画面。画面布局信息的设定例包括以下所示的例子。
画面布局信息的设定例
1)窗口标题1|画面ID|画面的缩略图像的位图
2)窗口标题2|画面ID|画面的缩略图像的位图
···
n)窗口标题n|画面ID|画面的缩略图像的位图
此时，如图5所示，操作/显示部22在操作终端2的画面上显示窗口标题和该画面的缩略图像的一览，将与选择出的窗口标题或缩略图像对应的画面ID发送给维护用终端1。对此，画面确定部11确定画面ID的画面作为操作对象画面。
接着，参照图6的流程图，对本发明的实施方式1的远程控制系统中的维护用终端1的处理进行说明。例如，在预先设定的任意的时刻、或启动应用的时刻执行图6的处理。
在图6中，首先，画面确定部11对画面信息生成部14输出初始画面生成指示(步骤S1)，画面信息生成部14生成初始画面的画面布局信息而发送给操作终端2(步骤S2)。
接着，当应用画面操作部16接收到画面操作事件信息时(步骤S3)，启动维护应用(步骤S4)，等待画面显示，或者定期检索显示画面(步骤S5)。
接下来，当在画面上显示了应用画面时，画面确定部11判定是否是操作对象画面(步骤S6)。在步骤S6中判定为不是操作对象画面(即，“否”)的情况下，转移至步骤S5。
另一方面，在步骤S6中判定为是操作对象画面(即，“是”)的情况下，画面确定部11将其选择为操作对象画面(步骤S7)，画面信息生成部14生成画面布局信息而发送给操作终端2(步骤S8)。
接着，应用画面操作部16判定是否接收到画面操作事件信息(步骤S9)。在步骤S9中判定为未接收到画面操作事件信息(即，“否”)的情况下，画面信息生成部14判定操作对象画面是否有变化(步骤S10)。
在步骤S10中判定为操作对象画面有变化(即，“是”)的情况下，转移至步骤S8。另一方面，在步骤S10中判定为操作对象画面没有变化(即，“否”)的情况下，转移至步骤S9。
此外，另一方面，在步骤S9中判定为接收到画面操作事件信息(即，“是”)的情况下，应用画面操作部16操作操作对象画面(步骤S11)。
接下来，画面确定部11判定在画面显示/操作关系设定部13内是否定义了操作对象画面和针对操作对象画面的操作(步骤S12)。在步骤S12中判定为在画面显示/操作关系设定部13内未定义(即，“否”)的情况下，转移至步骤S5。
另一方面，在步骤S12中判定为在画面显示/操作关系设定部13内已定义(即，“是”)的情况下，画面确定部11判定操作对象画面和针对操作对象画面的操作是否与定义一致(步骤S13)。在步骤S13中判定为操作对象画面和针对操作对象画面的操作与定义不一致(即，“否”)的情况下，转移至步骤S5。
另一方面，在步骤S13中判定为操作对象画面以及针对操作对象画面的操作与定义一致(即，“是”)的情况下，画面确定部11将定义内的下一个画面确定为操作对象画面的候选(步骤S14)，转移至步骤S5。
接下来，参照图7的流程图，对本发明的实施方式1的远程控制系统中的操作终端2的处理进行说明。例如，在预先设定的任意的时刻、或启动操作终端2的时刻执行图7的处理。
在图7中，操作/显示部22从维护用终端1接收画面布局信息(步骤S21)，生成显示画面进行显示(步骤S22)，并监视画面操作(步骤S23)。
接着，操作/显示部22判定是否发生了画面操作(步骤S24)。在步骤S24中判定为没发生画面操作(即，“否”)的情况下，操作/显示部22判定是否接收到画面布局信息(步骤S25)。
在步骤S25中判定为接收到画面布局信息(即，“是”)的情况下，转移至步骤S22。另一方面，在步骤S25中判定为未接收到画面布局信息(即，“否”)的情况下，转移至步骤S23。
另一方面，在步骤S24中判定为发生了画面操作(即，“是”)的情况下，操作/显示部22生成画面操作事件信息而发送给维护用终端1(步骤S26)并转移至步骤S23。
如上所述，根据实施方式1，具有：画面确定部，其依照显示/操作对象画面设定部的定义，从在维护用终端的画面上显示的各应用画面中确定1个操作对象画面；画面信息生成部，其从画面确定部确定的操作对象画面中提取画面部件和部件状态，根据上述画面部件和部件状态生成画面布局信息而发送给操作终端；以及操作/显示部，其根据画面布局信息，在操作终端的画面上显示画面部件，并监视针对画面部件的操作，在发生了操作的情况下，生成画面操作事件信息而发送给维护用终端。
因此，在从操作终端对维护用终端进行远程操作的情况下，能够提高针对作为操作对象的维护用应用画面的可视性和操作性。
即，为了在较小的智能手机画面上操作相对较大的PC画面的应用，确定1个作为操作对象的应用画面，在智能手机上仅显示该画面中的作为操作对象的画面部件，因此，在利用智能手机进行观察/操作的情况下，能够提高可视性和操作性。

Claims (9)

1.一种远程控制系统，该远程控制系统向操作终端发送维护用终端的画面而进行显示，并且根据来自所述操作终端的画面操作事件操作所述维护用终端，
所述维护用终端具有：
画面确定部，其依照显示/操作对象画面设定部的定义，从在所述维护用终端的画面上显示的各应用画面中确定1个操作对象画面；和
画面信息生成部，其从所述画面确定部确定的操作对象画面中提取画面部件和部件状态，根据所述画面部件和部件状态生成画面布局信息而发送给所述操作终端，
所述操作终端具有操作/显示部，该操作/显示部根据所述画面布局信息，在所述操作终端的画面上显示所述画面部件，并监视针对所述画面部件的操作，在发生了操作的情况下，生成画面操作事件信息而发送给所述维护用终端。
2.根据权利要求1所述的远程控制系统，其中，
所述画面确定部将与所述显示/操作对象画面设定部定义的窗口标题一致的应用画面确定为所述操作对象画面。
3.根据权利要求1所述的远程控制系统，其中，
所述画面确定部将与所述显示/操作对象画面设定部定义的窗口标题以及窗口显示进程一致的应用画面确定为所述操作对象画面。
4.根据权利要求1所述的远程控制系统，其中，
所述画面确定部将与所述显示/操作对象画面设定部定义的窗口标题以及窗口内的画面部件数一致的应用画面确定为所述操作对象画面。
5.根据权利要求1至4中的任意一项所述的远程控制系统，其中，
所述画面确定部依照定义了针对由所述画面确定部确定的操作对象画面的操作以及针对该操作而接下来成为操作对象的画面的画面显示/操作关系设定部，在进行了该操作的情况下，将所述接下来成为操作对象的画面设为操作对象画面的候选。
6.根据权利要求1至5中的任意一项所述的远程控制系统，其中，
所述画面信息生成部在将所述画面布局信息发送给所述操作终端之后，监视所述操作对象画面的变化，在发生了变化的情况下，生成新的画面布局信息而发送给所述操作终端。
7.一种维护用终端，是权利要求1至6中的任意一项所述的维护用终端，
所述维护用终端应用于远程控制系统，该远程控制系统向操作终端发送所述维护用终端的画面而进行显示，并且根据来自所述操作终端的画面操作事件操作所述维护用终端。
8.一种操作终端，是权利要求1至6中的任意一项所述的操作终端，
所述操作终端应用于远程控制系统，该远程控制系统向所述操作终端发送维护用终端的画面而进行显示，并且根据来自所述操作终端的画面操作事件操作所述维护用终端。
9.一种远程控制方法，是远程控制系统中的远程控制方法，所述远程控制系统向操作终端发送维护用终端的画面而进行显示，并且根据来自所述操作终端的画面操作事件操作所述维护用终端，该远程控制方法包括：
画面确定步骤，依照显示/操作对象画面设定部的定义，从在所述维护用终端的画面上显示的各应用画面中确定1个操作对象画面；
画面信息生成步骤，从通过所述画面确定步骤确定的操作对象画面中提取画面部件和部件状态，根据所述画面部件和部件状态生成画面布局信息而发送给所述操作终端；以及
操作/显示步骤，根据所述画面布局信息，在所述操作终端的画面上显示所述画面部件，并监视针对所述画面部件的操作，在发生了操作的情况下，生成画面操作事件信息而发送给所述维护用终端。
CN201580054618.9A 2014-10-08 2015-10-07 远程控制系统、维护用终端、操作终端以及远程控制方法 Pending CN106796482A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014207072A JP6179954B2 (ja) 2014-10-08 2014-10-08 遠隔制御システム、保守用端末および遠隔制御方法
JP2014-207072 2014-10-08
PCT/JP2015/078468 WO2016056588A1 (ja) 2014-10-08 2015-10-07 遠隔制御システム、保守用端末、操作端末および遠隔制御方法

Publications (1)

Publication Number Publication Date
CN106796482A true CN106796482A (zh) 2017-05-31

Family

ID=55653196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054618.9A Pending CN106796482A (zh) 2014-10-08 2015-10-07 远程控制系统、维护用终端、操作终端以及远程控制方法

Country Status (5)

Country Link
EP (1) EP3206116A4 (zh)
JP (1) JP6179954B2 (zh)
KR (1) KR101919723B1 (zh)
CN (1) CN106796482A (zh)
WO (1) WO2016056588A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT518298B1 (de) * 2016-03-07 2020-01-15 Avl List Gmbh Verfahren zum Erzeugen und Aktualisieren einer fernen Instanz einer Schirmansicht

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056599A1 (en) * 2006-08-31 2008-03-06 Akihiro Machida Method and system for far field image absolute navigation sensing
CN101248423A (zh) * 2005-07-11 2008-08-20 论理工场株式会社 为低带宽网络和低级个人通信终端装置而优化的计算机远程控制方法和系统
CN102047193A (zh) * 2008-05-29 2011-05-04 株式会社东芝 监视控制系统
CN102692888A (zh) * 2011-03-22 2012-09-26 横河电机株式会社 操作监视装置及操作监视方法
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム
US20140009386A1 (en) * 2012-07-03 2014-01-09 Sony Corporation Remote control method, remote control apparatus, and display apparatus
CN103927222A (zh) * 2013-12-31 2014-07-16 瑞达信息安全产业股份有限公司 一种用于客户端与服务端的图形协同处理方法和系统
CN103957236A (zh) * 2011-02-21 2014-07-30 北京奇虎科技有限公司 基于远程控制的图像显示方法和传输方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005041029A2 (en) * 2003-10-24 2005-05-06 Matsushita Electric Industrial Co., Ltd. Remote operation system, communication apparatus remote control system and document inspection apparatus
JP2007011531A (ja) * 2005-06-29 2007-01-18 Fujitsu Ltd インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム
JP5042102B2 (ja) * 2008-03-31 2012-10-03 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、プログラム、及び、遠隔操作システム
JP4857406B1 (ja) * 2010-06-25 2012-01-18 パナソニック株式会社 制御装置およびスクリプト変換方法
KR20120100045A (ko) * 2011-03-02 2012-09-12 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치, 그 ｕｉ 제공 방법 및 제어 방법
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248423A (zh) * 2005-07-11 2008-08-20 论理工场株式会社 为低带宽网络和低级个人通信终端装置而优化的计算机远程控制方法和系统
US20080056599A1 (en) * 2006-08-31 2008-03-06 Akihiro Machida Method and system for far field image absolute navigation sensing
CN102047193A (zh) * 2008-05-29 2011-05-04 株式会社东芝 监视控制系统
CN103957236A (zh) * 2011-02-21 2014-07-30 北京奇虎科技有限公司 基于远程控制的图像显示方法和传输方法
CN102692888A (zh) * 2011-03-22 2012-09-26 横河电机株式会社 操作监视装置及操作监视方法
JP2013235438A (ja) * 2012-05-09 2013-11-21 Hitachi Solutions East Japan Ltd 画面変換システム
US20140009386A1 (en) * 2012-07-03 2014-01-09 Sony Corporation Remote control method, remote control apparatus, and display apparatus
CN103927222A (zh) * 2013-12-31 2014-07-16 瑞达信息安全产业股份有限公司 一种用于客户端与服务端的图形协同处理方法和系统

Also Published As

Publication number Publication date
EP3206116A4 (en) 2018-06-20
EP3206116A1 (en) 2017-08-16
JP6179954B2 (ja) 2017-08-16
KR20170047313A (ko) 2017-05-04
WO2016056588A1 (ja) 2016-04-14
KR101919723B1 (ko) 2018-11-16
JP2016076150A (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
US9137402B2 (en) Displaying an operational screen of an image forming apparatus on a display screen of a client device in order to control the image forming apparatus from the client device
CN103530096A (zh) 远程控制方法、远程控制设备和显示设备
CN103189864A (zh) 用于确定个人的共享好友的方法、设备和计算机程序产品
CN104956276A (zh) 信息终端的控制方法和程序
US9635200B2 (en) Image forming system, image forming apparatus capable of communicating with a portable terminal, portable terminal capable of communicating with an image forming apparatus, and recording medium
CN104580799A (zh) 设定用对象显示控制装置以及设定用对象显示方法
CN107924296B (zh) 显示设备及其控制方法
CN112462990A (zh) 图像发送方法、装置及电子设备
JP5628085B2 (ja) リモート監視制御システム、リモート監視制御方法、及びリモート監視制御プログラム
CN101292531A (zh) 监视系统工作站
US20190236351A1 (en) Image processing apparatus and image processing program
CN106796482A (zh) 远程控制系统、维护用终端、操作终端以及远程控制方法
US20140376042A1 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium
US20140368871A1 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium
CN109643245B (zh) 与至少一个应用相关的任务实例的执行
US10785376B2 (en) Image processing apparatus for sending user interface data
JP2016007724A (ja) ジョブ処理装置及びその制御方法
CN107515660A (zh) 分体式电脑开关装置与开关方法
US10359931B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program
US10652411B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance
US20190189163A1 (en) Image Processing Apparatus, Image Processing Method, Image Forming Apparatus, and Recording Medium
CN102221899A (zh) 管理多台计算机的操作接口、操作方法及其程序产品
JP2017204670A (ja) 画像読取装置
CN118135581A (zh) 客户端终端、客户端终端的控制方法和存储介质
JP5826544B2 (ja) 施設管制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531