CN116954460A - 人机界面的远端操作方法及远端操作系统 - Google Patents
人机界面的远端操作方法及远端操作系统 Download PDFInfo
- Publication number
- CN116954460A CN116954460A CN202210392759.3A CN202210392759A CN116954460A CN 116954460 A CN116954460 A CN 116954460A CN 202210392759 A CN202210392759 A CN 202210392759A CN 116954460 A CN116954460 A CN 116954460A
- Authority
- CN
- China
- Prior art keywords
- control
- electronic device
- human
- remote
- remote electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000010354 integration Effects 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000004378 air conditioning Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 238000011017 operating method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Selective Calling Equipment (AREA)
Abstract
一种人机界面的远端操作方法，包括下列步骤：于接收外部查询指令时取得人机界面中至少一控件的控件资讯；将控件资讯传送至远端电子装置；远端电子装置的转译软件依据控件资讯产生并提供对应的操作关联资讯；远端电子装置接受针对任一控件所进行的操作行为；转译软件将操作行为转换为对应的控件操作指令并回传至人机界面；人机界面依据控件操作指令触发对应控件，以模拟使用者直接于人机界面上触发此控件的操作行为。本申请还涉及一种人机界面的远端操作系统。
Description
技术领域
本发明涉及人机界面，尤其涉及人机界面的远端操作方法以及远端操作系统。
背景技术
现今许多工业设备都会搭载人机界面(Human Machine Interface,HMI)，以令使用者通过人机界面来对工业设备进行操作。
一般来说，人机界面上会提供触控屏幕，或是搭载实体功能按键。当有操作需求时，使用者可参考人机界面上显示的说明来触碰或按压对应的控件，以令工业设备执行对应的功能。
随着网际网络的发展，部分使用者具有远端操作的需求。当使用者欲从远端对人机界面进行操作时，主要可通过网页来存取人机界面的屏幕画面，并且在网页上对人机界面进行操作。或者，使用者可以通过虚拟网络运算(Virtual Network Computing,VNC)软件将人机界面的屏幕画面复制分享到远端装置上，以令使用者通过远端装置对人机界面进行操作。
然而，上述将人机界面的屏幕画面转换为网页的响应方式，需要经过特别的网页设计，因而需要增加额外的网页设计以及界面验证的成本；并且，通过VNC将人机界面的屏幕画面复制分享到远端装置上的做法，并不适用于硬件资源较少、处理能力较弱的人机界面使用。
发明内容
本发明提供一种人机界面的远端操作方法及远端操作系统，是把使用者对于人机界面的操作行为指令化，使得使用者能在远端通过其他电子装置对人机界面进行操作。
于本发明的实施例中，人机界面的远端操作方法是应用于与一远端电子装置连接的一人机界面，该远端电子装置运行一转译软件，并且该远端操作方法主要包括下列步骤：
a)接收一查询指令；
b)基于该查询指令取得该人机界面中至少一控件的一控件资讯，其中该控件资讯包括该控件的一控件类型及一控件描述；
c)将该控件资讯传送至该远端电子装置；
d)由该转译软件对该控件资讯进行一转译程序以产生对应的一操作关联资讯，并通过该远端电子装置提供该操作关联资讯；
e)接受针对该控件所进行的一操作行为；
f)由该转译软件将该操作行为转译为对应的一控件操作指令并传送至该人机界面；及
g)由该人机界面依据该控件操作指令触发该控件。
于本发明的实施例中，人机界面的远端操作系统包括：
一转译软件，运行于一远端电子装置中；
一人机界面，通过一传输单元连接该远端电子装置，并且具有一整合单元，该整合单元被配置为在接收一查询指令时取得该人机界面中至少一控件的一控件资讯，并通过该传输单元对应的一通信协定将该控件资讯传送至该远端电子装置，其中该控件资讯包括该控件的一控件类型及一控件描述；
其中，该转译软件被配置为对该控件资讯进行一转译程序以产生并提供对应的一操作关联资讯，并且于接受针对该控件所进行的一操作行为时，将该操作行为转译为对应的一控件操作指令并传送至该人机界面；
其中，该整合单元被配置为在接收该控件操作指令时触发该控件。
相较于相关技术，本发明仅获取并传输人机界面中各个控件的控件资讯给远端电子装置，不需对即有的人机界面进行大幅度改动，不需设计远端连接用的网页，也不需要使用VNC软件，因此可以用最低成本及最小硬件需求，达到远端操作的目的。
附图说明
图1为本发明的远端操作系统方框图的第一具体实施例。
图2为本发明的远端操作系统示意图的第一具体实施例。
图3为本发明的远端操作方法流程图的第一具体实施例。
图4A为本发明的控件示意图的第一具体实施例。
图4B为本发明的控件示意图的第二具体实施例。
图4C为本发明的控件示意图的第三具体实施例。
图5为本发明的远端操作示意图的第一具体实施例。
图6为本发明的远端操作示意图的第二具体实施例。
图7为本发明的连线验证流程图的第一具体实施例。
附图标记说明：
1…人机界面
10…屏幕
11…整合单元
12…传输单元
2…远端电子装置
20…屏幕
21…转译软件
211…远端命令处理模块
212…界面操作转译模块
3…切换按钮
4…控件
41…按键控件
42…选单控件
43…输入控件
431…输入界面
5…操作关联资讯
6…操作输入
S10～S24…操作步骤
S30～S38…验证步骤
具体实施方式
兹就本发明的一优选实施例，配合附图，详细说明如后。
首请参阅图1，为本发明的远端操作系统方框图的第一具体实施例。本发明主要公开了一种人机界面的远端操作系统(下面将于说明书中简称为操作系统)，是可将人机界面1中的控件(即，控制元件)的描述、属性及对应的控制内容等资讯进行整合后发送至远端电子装置2。远端电子装置2基于这些资讯来产生并提供优化的指令界面，使得使用者可以通过远端电子装置2对人机界面1上的特定控件下达指令，借此模拟成使用者直接对人机界面1上的控件进行触控的操作行为。
如图1所示，本发明的操作系统主要包括人机界面1，以及相对于人机界面1开发而成的转译软件21，其中转译软件21运行于远端电子装置2中，并且人机界面1通过其上的传输单元12与远端电子装置2连接。
于一实施例中，远端电子装置2可为具备不同硬件能力的各式电子装置，例如不具备屏幕的遥控器、具备一般屏幕及一般输入界面(例如键盘/鼠标)的个人电脑、笔记本电脑或是具备触控屏幕的智能移动装置、平板电脑等，但不以此为限。
远端电子装置2具有处理器(图未标示)。当处理器执行了转译软件21后，远端电子装置2即可与人机界面1建立连线，并且基于人机界面1的资讯产生对应的指令界面并提供给使用者。借此，使用者可以经由远端电子装置2来对人机界面1下达指令，以模拟为使用者直接对人机界面1进行触控的操作行为。
所述传输单元12可为实体的序列端、串列端、无线传输单元或网络线接口等，不加以限定。于一实施例中，传输单元12使用RS-232、RS-485、蓝牙(Bluetooth)、以太网络(Ethernet)、Wi-Fi或控制器区域网络总线(Controller Area Network Bus,CAN bus)等通信协定，但并不以此为限。
如图1所示，人机界面1具有整合单元11。具体地，本发明的人机界面1的固件经过修改，以于内部产生所述整合单元11。换句话说，本发明的整合单元11为人机界面1中的一个固件模块。
人机界面1通过传输单元12与远端电子装置2建立连接。当人机界面1通过传输单元12接收远端电子装置2发送的查询指令时，会通过固件方式(即，通过整合单元11)取得人机界面中至少一个控件(例如图2所示的控件4)的控件资讯。并且，人机界面1通过传输单元12所使用的通信协定将控件资讯传送至远端电子装置2，以交由远端电子装置2中的转译软件21来进行处理。
于一实施例中，整合单元11可内建一个指令集，指令集中至少包括一组远端查询命令。当远端电子装置2与人机界面1建立连接后，可以发送与指令集相符的查询命令给人机界面1。若整合单元11判断此查询命令与指令集相符，即可接受远端电子装置2的查询请求。
一般来说，人机界面1的屏幕中包含了与操作相关的元件(即，控件4)以及与操作无关的元件(例如Logo、图案、颜色、联络资讯、说明性文字等)。本发明与相关技术的技术差异在于，本发明的操作系统不将人机界面1的整个屏幕画面复制并传送至远端电子装置2上进行显示，而是通过整合单元11获取出与操作相关的元件(即，控件4)的资讯，并且仅传送这些与操作相关的资讯至远端电子装置2。换句话说，会经由交握程序(Hand-shaking)被传送至远端电子装置2的数据，只有和人机界面1上可以被操作，并可产生操作行为的元件相关的数据。
远端电子装置2在接收上述资讯后，会经由转译软件21来进行处理及优化，以产生对应的指令界面并提供给使用者进行参考。使用者在参考了所述指令界面后，即可进行对应的操作行为。通过本发明的上述技术方案，可以克服传统通过网页提供操作界面时需增加额外的设计成本的问题，并克服低成本、硬件能力弱的设备不适用VNC软件进行画面分享的问题。
请同时参阅图2，为本发明的远端操作系统示意图的第一具体实施例。人机界面1基于原始设计的专案而具备了许多控件4，于一实施例中，整合单元11是将人机界面1的屏幕10上显示的一或多个控件4的控件资讯传送至远端电子装置2。远端电子装置2接收了所述控件资讯后，由转译软件21对控件资讯进行转译程序，以产生对应的操作关联资讯5，并且提供给使用者。于图2的实施例中，转译软件21将所产生的操作关联资讯5显示于远端电子装置2的屏幕20上，但并不以此为限。
本发明中，转译软件21可以依据远端电子装置2的硬件能力来决定控件资讯在远端电子装置2上的呈现方式，并且再依据此呈现方式来执行所述转译程序。例如，若远端电子装置2是不具备屏幕的遥控器，则转译软件21可以将控件资讯转译为语音形式的操作关联资讯5，并通过语音方式于遥控器上播放所述操作关联资讯5。若远端电子装置2为具备一般屏幕或触控屏幕的电子装置，则转译软件21可以将控件资讯转译为文字、图形、语音或其组合等形式的操作关联资讯5，并通过屏幕或语音方式于电子装置上提供所述操作关联资讯5。
而，上述仅为本发明的部分具体实施范例，但操作关联资讯5的形式并不以上述为限。
具体地，于使用本发明的操作系统时，使用者仍然可以查看人机界面1的屏幕10，因此远端电子装置2所提供的操作关联资讯5，只要能够令使用者了解人机界面1上各个控件4的内容，以及其可进行的操作行为即可，而不需限制操作关联资讯5的呈现方式。
值得一提的是，所述控件资讯主要包括了控件4的控件类型(即，控件4的属性)以及控件描述(包括控件4的名称、功能提示或选单内容等)。本发明中，转译软件21主要是基于一个控件4的控件类型及控件描述来执行转译程序，并产生此控件4所对应的操作关联资讯5。本发明中，转译软件21通过所接收的所有控件4的操作关联资讯5来组成一个指令界面，并且再通过远端电子装置2来提供此指令界面给使用者进行操作。
于产生了操作关联资讯5后，转译软件21可持续监控(monitor)远端电子装置2，并判断远端电子装置2是否接收到针对任一个控件4所进行的操作行为。当远端电子装置2接受针对一个控件4所进行的操作行为时，转译软件21将此操作行为转译为对应的控件操作指令，并回传给人机界面1。
于图2的实施例中，远端电子装置2是以具备触控屏幕的平板电脑为例，而多个操作关联资讯5是以文字与图形(即，方框)的组合的形式显示于触控屏幕上，以描述人机界面1上的对应控件4。然而，图2所示者仅为本发明的其中一种实施例，本发明中对于操作关联资讯5的显示方式并不以图2所示者为限。
于图2的实施例中，所述针对一个特定控件4所进行的操作行为，指的是在触控屏幕上直接触碰用来描述此特定控件4的操作关联资讯5的行为。于其他实施例中，所述操作行为亦可为通过键盘或鼠标选取用来描述此特定控件4的操作关联资讯5的行为，或是通过语音指令选择此特定控件4的行为等，但不以此为限。
具体地，本发明的操作系统是通过远端电子装置2及转译软件21来转换、扩充使用者对于人机界面1的操作行为。如上所述，基于远端电子装置2的硬件能力，使用者可以在参考了远端电子装置2提供的操作关联资讯5后，以直接触控的方式进行操作、以使用键盘、鼠标等输入界面的方式进行操作，或是以语音方式进行操作，以令远端电子装置2产生对应的控件操作指令。
当人机界面1从远端电子装置2接收控件操作指令后，整合单元11即可基于所接收的控件操作指令来触发人机界面1上的对应控件4。借此，可以模拟使用者直接在人机界面1上触发此控件4的操作行为。
如图1所示，本发明的转译软件21主要可包含远端命令处理模块211及界面操作转译模块212。具体地，转译软件21记录了电脑可执行程序码，当远端电子装置2的处理器执行了电脑可执行程序码后，可基于所执行的功能而将转译软件21虚拟分割成远端命令处理模块211及界面操作转译模块212。换句话说，远端命令处理模块211及界面操作转译模块212为软件模块。
于一实施例中，远端命令处理模块211用以在远端电子装置2与人机界面1建立连线后，提供人机界面1与远端电子装置2间的协议通信能力。借此，远端电子装置2可通过远端命令处理模块211来与人机界面1传输控件资讯以及控件操作指令。
于一实施例中，界面操作转译模块212用以对远端电子装置2的状态进行监控，以将人机界面1提供的控件资讯转译成远端电子装置2可以呈现的操作关联资讯5。并且，界面操作转译模块212监控使用者在远端电子装置2上进行的操作行为，并且把操作行为转译为人机界面1可以理解的控件操作指令。
值得一提的是，部分类型的人机界面1会基于操作需求，被配置为复数页面(例如第一页、第二页及第三页等)，其中各个页面分别具有一或多个对应至不同功能的控件4。并且，人机界面1上还可依据页面的数量配置对应的实体的切换按钮3。于图2的实施例中，当对应至第一页的切换按钮3被按压时，人机界面1切换显示第一页的一或多个控件4；当对应至第二页的切换按钮3被按压时，人机界面1切换显示第二页的一或多个控件4，以此类推。
于一实施例中，当人机界面1接收远端电子装置2发出的查询指令时，整合单元11仅会获取人机界面1的当前页面中的一或多个控件4的控件资讯，并且将这些控件资讯传送至远端电子装置2。借此，可以达到人机界面1与远端电子装置2在资讯提供上的一致性。
续请参阅图1至图3，其中图3为本发明的远端操作方法流程图的第一具体实施例。本发明进一步提供了一种人机界面的远端操作方法(下面将于说明书中简称为操作方法)，所述操作方法主要应用于如图1、图2所示的操作系统。
如图3所示，首先令人机界面1与使用者所使用的远端电子装置2进行连线。当使用者对远端电子装置2进行操作后(例如触发远端电子装置2执行转译软件21)，人机界面1可经由传输单元12接收远端电子装置2发出的查询指令(步骤S10)。
当人机界面1收到查询指令时，可知远端电子装置2欲针对人机界面1提供对应的指令界面给使用者进行操作。此时，由人机界面1的整合单元11基于查询指令取得人机界面1中至少一个控件4的控件资讯(步骤S12)。于一实施例中，所述控件资讯至少包括控件4的控件类型及控件描述。
如前文所述，人机界面1可能被配置为具有复数页面，其中各个页面分别具有一或多个控件4。于步骤S12中，整合单元11主要是在接收查询指令时，取得人机界面1的屏幕10当前显示的页面中的所有控件4的控件资讯，但并不以此为限。
具体地，除了前述控件类型以及控件描述之外，所述控件资讯还可以选择性地包括例如页面识别码、页面名称、页面说明、控件识别码及控件补充资讯等人机界面1即有的资讯。通过将该些资讯夹带在控件资讯中并提供给远端电子装置2，可以令转译软件21转译后产生的指令界面更为丰富。借此，确保使用者可以通过远端电子装置2提供的指令界面(即，控件操作资讯5)进行正确的操作。
步骤S12后，整合单元11将所取得的控件资讯传送至远端电子装置2(步骤S14)。具体地，整合单元11主要是基于人机界面1的传输单元12所支援的通信协定来对控件资讯进行处理，再经由传输单元12将处理后的控件资讯传送至远端电子装置2。
于一实施例中，传输单元12可为序列端、串列端、无线传输单元或网络线接口等，所述通信协定可为RS-232、RS-485、Bluetooth、Ethernet、Wi-Fi或CAN bus等，但不以此为限。
步骤S14后，远端电子装置2从人机界面1接收控件资讯(步骤S16)。接着，远端电子装置2通过转译软件21对控件资讯进行转译程序，以产生对应的操作关联资讯5，并进一步提供操作关联资讯5(步骤S18)。
具体地，使用者在使用远端电子装置2与人机界面1进行连线后，即可持续确认远端电子装置2的更新，即，确认远端电子装置2是否基于人机界面1的内容而提供操作关联资讯5。借此，使用者可以使用远端电子装置2来进一步对人机界面1进行操作。
于一实施例中，远端电子装置2通过转译软件21中的远端命令处理模块211来从人机界面1接收控件资讯，并通过转译软件21中的界面操作转译模块212来对控件资讯进行转译程序，但并不以此为限。
于一实施例中，转译软件21基于固定策略执行所述转译程序。意即，无论远端电子装置2的硬件能力如何，转译软件21皆采用固定方式对控件资讯进行转译，以产生固定形式的操作关联资讯5，并且以固定的呈现方式来提供所产生的操作关联资讯5。例如，无论远端电子装置2是否具备触控屏幕，转译软件21都将控件资讯转译成语音形式的操作关联资讯5，并以语音方式播放所产生的操作关联资讯5。并且，转译软件21接受使用者的语音操作。
于另一实施例中，转译软件21于步骤S18中是依据远端电子装置2本身的硬件能力来决定控件资讯于远端电子装置2上的呈现方式，并且再依据所决定的呈现方式对控件资讯执行对应的转译程序。
举例来说，若远端电子装置2不具备屏幕，转译软件21可决定以语音方式播放控制资讯，因此将控件资讯转译为语音形式的操作关联资讯5。再例如，若远端电子装置2具备触控屏幕，转译软件21可决定以可触控图形的方式显示控制资讯，因此将控件资讯转译为文字与图形的组合的形式的操作关联资讯5。而，上述仅为本发明的部分具体实施范例，但并不以此为限。
如上所述，基于不同的硬件能力，转译软件21可以在转译后，以文字、图形、语音或其组合等方式来呈现操作关联资讯5，但不以此为限。
于远端电子装置2提供了操作关联资讯5后，转译软件21可持续监控远端电子装置2的状态，并判断远端电子装置2是否接受到外部针对任一控件4所进行的操作行为(步骤S20)。本发明中，所述操作行为可例如为直接触控、通过输入界面进行选取或通过语音指令进行选取等，但不以此为限。
若于步骤S20中判断远端电子装置2确实接受到外部针对任一控件4所进行的操作行为，则转译软件21将此操作行为转译为与这个控件4相呼应的控件操作指令，并回传至人机界面1(步骤S22)。
具体地，人机界面1于步骤S14中将控件资讯传送给远端电子装置2后，即可进行等待，并持续判断是否接收远端电子装置2发送的控件操作指令。
请同时参阅图4A、图4B及图4C，其中图4A至图4C分别为本发明的控件示意图的第一具体实施例至第三具体实施例。
本发明中，人机界面1的控件4的控件类型可为按键控件(如图4A所示的按键控件41)、选单控件(如图4B所示的选单控件42)或输入控件(如图4C所示的输入控件43)，而控件描述则为此控件4于人机界面1中的名称、功能提示或选单内容等。
图4A的实施例公开了两个按键控件41，并且两个按键控件41的控件描述分别为“确定”与“取消”。于此实施例中，当转译软件21对控件资讯进行了转译程序后，会产生可以表示确定与取消的选择功能的操作关联资讯5。使用者在参考了操作关联资讯5后，可得知人机界面1的当前画面中包含了“确定”与“取消”这两个按键控件41。
于人机界面1上，使用者对于按键控件41的操作包括按下(Press)、释放(Release)及点击(Click)。因此当远端电子装置2接受到一个针对按键控件41所进行的操作行为时，转译软件21将此操作行为转译为对应至此按键控件41的压下操作指令、释放操作指令或点击操作指令。
图4B的实施例公开了一个选单控件42，并且选单控件42的控件描述为“中子类型”。于此实施例中，当转译软件21对控件资讯进行了转译程序后，会产生可以表示中子类型的选单功能的操作关联资讯5。使用者在参考了操作关联资讯5后，可得知人机界面1的当前画面中包含了“中子类型”的选单控件42。
于人机界面1上，使用者对于选单控件42的操作包括选取(Select)。因此当远端电子装置2接受到一个针对选单控件42所进行的操作行为时，转译软件21将此操作行为转译为对应至选单控件42的选取操作指令。
于一实施例中，远端电子装置2所接收的控件资讯中还包括选单控件42的内容资讯(例如图4B中的“选项1”、“选项2”等选单内容)。当使用者针对一个选单控件42进行操作后，转译软件21可以直接提供此选单控件42的选单内容(例如显示在屏幕20上，或通过语音方式播放)，以供使用者进行进一步的选取操作。
于另一实施例中，当使用者针对一个选单控件42进行了操作后，转译软件21将此操作行为转换为对应的控件操作指令并回传给人机界面1，并通过这个控件操作指令向人机界面1请求这个选单控件42的选单内容(容后详述)。于此实施例中，操作系统可以有效限制控件资讯的数据量大小，以确保人机界面1与远端电子装置2间的通信顺畅。
图4C的实施例公开了一个输入控件43，并且输入控件43的控件描述为“设定值”。于此实施例中，当转译软件21对控件资讯进行了转译程序后，会产生可以表示设定值的输入功能的操作关联资讯5。使用者在参考了操作关联资讯5后，可得知人机界面1的当前画面中包含了“设定值”的输入控件43。
于人机界面1上，使用者对于输入控件43的操作包括输入(Input)。因此当远端电子装置2接受到一个针对输入控件43的操作行为时，转译软件21可进一步提供一个对应的输入界面431。当使用者通过输入界面431输入对应的数值时(例如通过键盘输入或通过语音方式输入)，转译软件21将使用者的输入行为及输入内容转译为对应至此输入控件43的输入操作指令。
而，上述仅为本发明的部分具体实施范例。本发明的操作系统及操作方法实可适用于现有人机界面1可支援的各种控件类型，而不以图4A至图4C所示的按键控件41、选单控件42及输入控件43为限。
回到图3。步骤S22后，人机界面1可通过传输单元12接收远端电子装置2回传的控件操作指令。此时，整合单元11依据控件操作指令触发人机界面1中对应的控件4(步骤S24)。借此，可以将使用者对远端电子装置2进行的操作行为模拟成使用者直接对人机界面1上的控件4进行触控的操作行为。
具体地，使用者于步骤S20对远端电子装置2进行了所述操作行为后，可持续确认人机界面1的画面是否更新。借此，使用者可判断人机界面1是否触发了与使用者的操作行为相对应的控件4。
于一实施例中，使用者可以在完成所述操作行为后，确认人机界面1在操作行为作出后的画面的更新，借此判断是否要通过远端电子装置2进行下一次的操作行为。于另一实施例中，使用者可以在完成所述操作行为后，持续监看人机界面1定时刷新画面，借此获得人机界面1在触发了对应的控件4后所持续提供的相关资讯。
于第一实施例中，转译软件21对人机界面1上的第一按键控件进行转译并产生第一操作关联资讯，并且使用者参考了第一操作关联资讯后，针对第一按键控件进行了点击操作。于此实施例中，整合单元11在步骤S24中将会依据所接收的控件操作指令点击第一按键控件。
于第二实施例中，转译软件21对人机界面1上的第一选单控件进行转译并产生第二操作关联资讯，并且使用者参考了第二操作关联资讯后，针对第一选单控件进行了选取操作。于此实施例中，整合单元11在步骤S24中将会依据所接收的控件操作指令选取第一选单控件。
于第三实施例中，转译软件21对人机界面1上的第一输入控件进行转译并产生第三操作关联资讯，并且使用者参考了第三操作关联资讯后，针对第一输入控件进行了输入操作。于此实施例中，整合单元11在步骤S24中将会依据所接收的控件操作指令将对应数据添加至第一输入控件。
而，上述仅为本发明的部分具体实施范例，但并不以此为限。
本发明中，转译软件21会持续判断使用者的操作是否完成。例如，若使用者针对一个选单控件42进行了点击操作，则转译软件21返回步骤S12，以从人机界面1取得这个选单控件42的选单内容，并且等待使用者进一步的选取操作。再例如，若使用者针对一个输入控件43进行了点击操作，则转译软件21返回步骤S12，以从人机界面1取得这个输入控件43可被输入的内容，并且等待使用者进一步的输入操作。
若判断使用者的操作已完成，则转译软件21可结束本发明的操作方法。例如，转译软件21可控制远端电子装置2结束与人机界面1的连线。
续请同时参阅图1至图5，其中图5为本发明的远端操作示意图的第一具体实施例。图5用以说明使用者通过远端电子装置2对人机界面1上的按键控件41进行操作时的资讯流。
于图5的实施例中，人机界面1的屏幕10中具有两个按键控件41。当人机界面1接收远端电子装置2查询指令时，由整合单元11取得按键控件41的控件资讯，并传送至远端电子装置2。远端电子装置2通过转译软件21对控件资讯进行转译程序，以产生对应的操作关联资讯5并显示于屏幕20上。
使用者查看了远端电子装置2上显示的操作关联资讯5后，可基于操作关联资讯5来针对特定的按键控件41进行操作。例如，于图5的实施例中，使用者可通过“按下YES”的语音指令来发出操作输入6。于接收使用者的操作输入6后，转译软件21基于操作关联资讯5对操作输入6进行处理，以将操作输入6转译为对应至控件描述为“YES”的按键控件41的控件操作指令。于图5的实施例中，所述控件操作指令以“EVT_KEY_PRESS_按键1”为例，其中“按键1”可例如为此控件操作指令对应的按键控件41的控件编号，但不加以限定。
具体地，所述控件操作指令为此按键控件41在人机界面1中的原始指令。在人机界面1接收远端电子装置2发送的控件操作指令后，整合单元11可依据控件操作指令直接触发对应的按键控件41，使得人机界面1执行此按键控件41的对应功能。借此，可以模拟使用者直接于人机界面1上触发此按键控件41的操作行为。
如上所述，本发明将使用者在人机界面1上的触控行为转换为在远端电子装置2上的语音输入行为，借此扩充人机界面1的操作弹性。
续请同时参阅图1至图6，其中图6为本发明的远端操作示意图的第二具体实施例。图6用以说明使用者通过远端电子装置2对人机界面1上的选单控件42进行操作时的资讯流。
于图6的实施例中，人机界面1的屏幕10中具有两个选单控件42。当人机界面1接收远端电子装置2查询指令时，由整合单元11取得选单控件42的控件资讯，并传送至远端电子装置2。远端电子装置2通过转译软件21对控件资讯进行转译程序，以产生对应的操作关联资讯5并显示于屏幕20上。
使用者查看了远端电子装置2中的操作关联资讯5后，可基于操作关联资讯5来点击特定的选单控件42。例如，于图6的实施例中，使用者可触控远端电子装置2的屏幕20来实现“点选下拉选单”的操作输入6。于接收使用者的操作输入6后，转译软件21基于操作关联资讯5来对操作输入6进行处理，以将操作输入6转译为对应至控件描述为“中子/绞牙入[1]”的选单控件42的控件操作指令。于图6的实施例中，所述控件操作指令以“EVT_KEY_PRESS_选单1”为例，其中“选单1”可例如为此控件操作指令对应的选单控件42的控件编号，但不加以限定。
所述控件操作指令为此选单控件42在人机界面1中的原始指令。当人机界面1接收远端电子装置2发送的控件操作指令后，整合单元11可依据控件操作指令来点击对应的选单控件42。借此，可以模拟使用者直接于人机界面1上触碰此选单控件42的操作行为。
当选单控件42被点击后，人机界面1依照指令开启选单控件42并显示选单控件42的选单内容。接着，整合单元11将选单内容做为此选单控件42的控件资讯的一部分，并且将包含了选单内容的控件资讯传送至远端电子装置2。
远端电子装置2接收更新的控件资讯后，再次通过转译软件21对控件资讯进行转译程序，以更新原本显示的操作关联资讯5。如图6所示，更新后的操作关联资讯5显示了此选单控件42的所有选单内容，包括“预顶出”、“中子五”、“中子六”等。
使用者查看了远端电子装置2中的操作关联资讯5后，可基于操作关联资讯5来选取选单控件42中的特定选单内容。例如，使用者可触控远端电子装置2的屏幕20，以实现“点选中子六”的操作输入6。于接收使用者的操作输入6后，转译软件21基于操作关联资讯5来对操作输入6进行处理，以将操作输入6转译为对应的控件操作指令，并且回传给人机界面1。于图6的实施例中，所述控件操作指令以“EVT_KEY_SELECT_中子六”为例。
当人机界面1接收远端电子装置2发送的控件操作指令后，整合单元11可依据控件操作指令来于此选单控件42中选取对应的选单内容(即，中子六)。借此，模拟使用者直接于人机界面1上选取此选单控件42中的选项“中子六”的操作行为。
如上所述，本发明的操作系统及操作方法是先建立人机界面1与远端电子装置2间的连线后，再进行控件资讯及控件操作指令的传送。为了确保数据的安全性，本发明的操作系统及操作方法可进一步包括开始传送数据前的连线保护机制。
请参阅图1至图7，其中图7为本发明的连线验证流程图的第一具体实施例。
如图7所示，当使用者有对人机界面1进行操作的需求时，可使用远端电子装置2来向人机界面1发出连线请求(步骤S30)。人机界面1收到远端电子装置2的连线请求后，可以实时产生对应的通行码，并提供给远端电子装置2(步骤S32)。
于一实施例中，人机界面1于步骤S32中可以产生一个记载了通行码的二维条码，并且将二维条码显示在人机界面1的屏幕10上。于另一实施例中，人机界面1于步骤S32中产生了通行码(例如为数字、文字、符号及其组合)后，可以直接显示在屏幕10上，或是以信息方式发送给远端电子装置2。
步骤S32后，远端电子装置2即可输入通行码(步骤S34)。于一实施例中，远端电子装置2可以扫描人机界面1显示在屏幕10上的二维条码，以输入通行码。于另一实施例中，远端电子装置2可自动或由使用者手动将人机界面1提供的通行码输入对应的验证界面中，但不加以限定。
于输入了通行码后，远端电子装置2通知人机界面1通行码输入完成的事实(步骤S36)。此时，人机界面1可以对远端电子装置2进行验证，并且于验证通过后建立与远端电子装置2之间的连线(步骤S38)。
通过所述通行码的使用，可以避免有心人士利用未经验证的设备于远端对人机界面1进行不当操作，导致使用者遭受损害的风险。
如上所述，本发明通过传送人机界面的控件资讯至远端电子装置，并令使用者在远端电子装置上下达操作指令的技术方案，可以在使用最低成本及最小硬件需求的情况下，达到转换并扩充使用者对于人机界面的操作行为的目的。
以上所述仅为本发明的优选具体实例，非因此即局限本发明的权利要求，故举凡运用本发明内容所为的等效变化，均同理皆包含于本发明的范围内，合予陈明。
Claims (15)
1.一种人机界面的远端操作方法，应用于与一远端电子装置连接的一人机界面，该远端电子装置运行一转译软件，并且该远端操作方法包括：
a)接收一查询指令；
b)基于该查询指令取得该人机界面中至少一控件的一控件资讯，其中该控件资讯包括该控件的一控件类型及一控件描述；
c)将该控件资讯传送至该远端电子装置；
d)由该转译软件对该控件资讯进行一转译程序以产生对应的一操作关联资讯，并通过该远端电子装置提供该操作关联资讯；
e)接受针对该控件所进行的一操作行为；
f)由该转译软件将该操作行为转译为对应的一控件操作指令并传送至该人机界面；及
g)由该人机界面依据该控件操作指令触发该控件。
2.如权利要求1所述的远端操作方法，其中该人机界面被配置有复数页面，各该页面分别具有至少一个该控件，步骤b)是取得该人机界面接收该查询指令时的一当前页面中的该控件的该控件资讯。
3.如权利要求1所述的远端操作方法，其中该控件类型为一按键控件、一选单控件或一输入控件，该控件描述为该控件于该人机界面中的名称、功能提示或选单内容。
4.如权利要求3所述的远端操作方法，其中步骤f)是将该操作行为转译为对应至该按键控件的一压下操作指令、一释放操作指令或一点击操作指令、对应至该选单控件的一选取操作指令或对应至该输入控件的一输入操作指令。
5.如权利要求1所述的远端操作方法，其中步骤d)是依据该远端电子装置的一硬件能力决定该控件资讯于该远端电子装置上的一呈现方式，并依据该呈现方式对该控件资讯进行该转译程序。
6.如权利要求1所述的远端操作方法，其中该操作关联资讯以文字、图形、语音或其组合进行呈现。
7.如权利要求1所述的远端操作方法，其中步骤a)之前还包括下列步骤：
a01)由该远端电子装置向该人机界面请求连线；
a02)步骤a01)后，由该人机界面产生并提供一通行码；
a03)该远端电子装置输入该通行码；
a04)步骤a03)后，由该远端电子装置通知该人机界面；及
a05)于该人机界面验证于成功后建立该人机界面与该远端电子装置间的连线。
8.一种人机界面的远端操作系统，包括：
一转译软件，运行于一远端电子装置中；
一人机界面，通过一传输单元连接该远端电子装置，并且具有一整合单元，该整合单元被配置为在接收一查询指令时取得该人机界面中至少一控件的一控件资讯，并通过该传输单元对应的一通信协定将该控件资讯传送至该远端电子装置，其中该控件资讯包括该控件的一控件类型及一控件描述；
其中，该转译软件被配置为对该控件资讯进行一转译程序以产生并提供对应的一操作关联资讯，并且于接受针对该控件所进行的一操作行为时，将该操作行为转译为对应的一控件操作指令并传送至该人机界面；
其中，该整合单元被配置为在接收该控件操作指令时触发该控件。
9.如权利要求8所述的远端操作系统，其中该转译软件被该远端电子装置执行后产生一远端命令处理模块及一界面操作转译模块，该远端命令处理模块提供该人机界面与该远端电子装置间的一协议通信能力以传输该控件资讯及该控件操作指令，该界面操作转译模块将该控件资讯转译为该操作关联资讯并将该操作行为转译为该控件操作指令。
10.如权利要求9所述的远端操作系统，其中该控件类型为一按键控件、一选单控件或一输入控件，该控件描述为该控件于该人机界面中的名称、功能提示或选单内容。
11.如权利要求10所述的远端操作系统，其中界面操作转译模块将该操作行为转译为对应至该按键控件的一压下操作指令、一释放操作指令或一点击操作指令、对应至该选单控件的一选取操作指令或对应至该输入控件的一输入操作指令。
12.如权利要求9所述的远端操作系统，其中该界面操作转译模块依据该远端电子装置的一硬件能力决定该控件资讯于该远端电子装置上的一呈现方式，并依据该呈现方式对该控件资讯进行该转译程序。
13.如权利要求12所述的远端操作系统，其中该操作关联资讯以文字、图形、语音或其组合进行呈现。
14.如权利要求8所述的远端操作系统，其中该人机界面被配置有复数页面，各该页面分别具有至少一个该控件，该整合单元于接收该查询指令时，取得该人机界面的一当前页面中的该控件的该控件资讯。
15.如权利要求8所述的远端操作系统，其中该通信协定为RS-232、RS-485、蓝牙、以太网络、Wi-Fi或控制器区域网络总线。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210392759.3A CN116954460A (zh) | 2022-04-14 | 2022-04-14 | 人机界面的远端操作方法及远端操作系统 |
| US17/840,422 US20230336611A1 (en) | 2022-04-14 | 2022-06-14 | Remote operating method and remote operating system for human-machine interface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210392759.3A CN116954460A (zh) | 2022-04-14 | 2022-04-14 | 人机界面的远端操作方法及远端操作系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116954460A true CN116954460A (zh) | 2023-10-27 |
Family
ID=88307317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210392759.3A Pending CN116954460A (zh) | 2022-04-14 | 2022-04-14 | 人机界面的远端操作方法及远端操作系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230336611A1 (zh) |
| CN (1) | CN116954460A (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2188796B1 (en) * | 2007-09-05 | 2015-11-11 | Savant Systems LLC. | Web browser based remote control for programmable multimedia controller |
| US8856355B2 (en) * | 2011-05-09 | 2014-10-07 | Samsung Electronics Co., Ltd. | Systems and methods for facilitating communication between mobile devices and display devices |
| US10379823B1 (en) * | 2017-09-05 | 2019-08-13 | Parallels International Gmbh | Conversion of remote application dialogs to native mobile controls |
-
2022
- 2022-04-14 CN CN202210392759.3A patent/CN116954460A/zh active Pending
- 2022-06-14 US US17/840,422 patent/US20230336611A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230336611A1 (en) | 2023-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9024734B2 (en) | Remote control device, a far-end device, a multimedia system and a control method thereof | |
| WO2018040943A1 (zh) | 显示数据的控制方法、装置和系统 | |
| US20170364239A1 (en) | Application icon customization | |
| JP2007011531A (ja) | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム | |
| CN108027725B (zh) | 指导终端设备操作的方法、装置和设备 | |
| JP2012238101A (ja) | 情報処理装置、情報処理装置と外部装置とを含むシステム、システムの制御方法、及びプログラム | |
| EP1895794B1 (en) | Remote management system and method for portable electronic devices | |
| CN116954460A (zh) | 人机界面的远端操作方法及远端操作系统 | |
| TWI810895B (zh) | 人機介面的遠端操作方法及遠端操作系統 | |
| CN115567525A (zh) | 一种云服务器与多终端的适配方法及系统和云服务器 | |
| JP7085311B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム | |
| JP6285974B2 (ja) | サーバシステム、クライアント装置及びプログラム | |
| JPH10240337A (ja) | 遠隔ｍｍｉシステム | |
| KR101618353B1 (ko) | 서버 및 클라이언트의 언어동기화를 위한 언어변환방법 및 이를 위한 서버-클라이언트 시스템 | |
| TWI792712B (zh) | 游標標示方法及切換裝置 | |
| JP2021152936A (ja) | コンピュータシステムおよびプログラム | |
| CN117615188A (zh) | 一种显示设备、终端及终端控制方法 | |
| CN117834964A (zh) | 一种显示设备及显示设备控制方法 | |
| JP2022176797A (ja) | 電子機器およびその制御方法、ならびに遠隔操作システム | |
| CN117435289A (zh) | 数据处理方法及装置 | |
| CN113398581A (zh) | 游戏画面显示方法、装置、电子设备及可读存储介质 | |
| CN113849872A (zh) | 显示终端的输入控制方法、装置、设备、系统和存储介质 | |
| KR100765746B1 (ko) | 인쇄장치 상태정보 제공방법 및 장치 | |
| CN112506575A (zh) | 配置usb设备按键功能的方法及装置 | |
| CN115068937A (zh) | 游戏画面的显示调整方法、装置和存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |