CN114564260B - 一种触摸终端远程控制方法及系统、触摸终端、存储介质 - Google Patents
一种触摸终端远程控制方法及系统、触摸终端、存储介质 Download PDFInfo
- Publication number
- CN114564260B CN114564260B CN202210106307.4A CN202210106307A CN114564260B CN 114564260 B CN114564260 B CN 114564260B CN 202210106307 A CN202210106307 A CN 202210106307A CN 114564260 B CN114564260 B CN 114564260B
- Authority
- CN
- China
- Prior art keywords
- control
- touch
- remote control
- controlled
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000006854 communication Effects 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 53
- 230000009467 reduction Effects 0.000 claims description 5
- 239000008186 active pharmaceutical agent Substances 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- VLCQZHSMCYCDJL-UHFFFAOYSA-N tribenuron methyl Chemical compound COC(=O)C1=CC=CC=C1S(=O)(=O)NC(=O)N(C)C1=NC(C)=NC(OC)=N1 VLCQZHSMCYCDJL-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明公开了一种触摸终端远程控制方法及系统、触摸终端、存储介质，属于远程控制技术领域。本发明通过在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作。本发明解决了用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题，增强了触摸终端远程控制操作的便利性。
Description
技术领域
本发明涉及远程控制技术领域，尤其涉及一种触摸终端远程控制方法及系统、触摸终端、计算机可读存储介质。
背景技术
远程控制技术最初是在网络上由一台电脑远距离去控制另一台电脑的技术，在建立远程控制连接以后，用户可以在主控端的电脑上看到受控端的屏幕画面，并通过在主控端进行相应的操作控制从而实现对受控端的远程控制。并且，随着技术的发展，远程控制技术逐渐开始支持通过手机平板等移动终端设备对电脑等终端设备进行远程控制。
与此同时，随着触控技术的广泛应用，Windows（视窗操作系统）从win8开始也支持InjectTouchInput（注入触摸输入）API（Application Programming Interface，应用程序编程接口），系统拥有了更好的触摸交互能力，用户可以直接通过触摸终端对电脑等终端设备进行触摸控制。
因此，目前在进行远程控制时，用户通常是通过触摸控制来实现对终端设备的远程操作控制。但现有的远程控制技术虽然能够很好地支持鼠标、键盘事件的映射，却对多指触摸事件基本都不支持，因而用户无法在控制端体验完整的触摸交互。也就是说，目前用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制。
发明内容
本发明的主要目的在于提供一种触摸终端远程控制方法及系统、触摸终端、计算机可读存储介质，旨在解决目前用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题。
为实现上述目的，本发明提供一种触摸终端远程控制方法，所述触摸终端远程控制方法包括以下步骤：
在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；
在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；
对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作。
可选地，所述在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面步骤之前，包括：
在所述受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与所述控制端建立相应的连接，其中，所述客户端是存储于所述受控端中的应用程序；
生成所述控制页面的网址，以供所述控制端与所述受控端建立远程控制连接。
可选地，所述在所述受控端根据所述控制页面与所述控制端建立远程控制连接后步骤之后，还包括：
接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流；
将所述本地视频流发送至所述控制端。
可选地，所述接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流步骤，具体包括：
接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信；
基于所述双向通信，与所述控制端建立网页实时通信；
截取所述受控端的屏幕画面以获取本地视频流。
可选地，所述对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作步骤，具体包括：
获取所述受控端的屏幕分辨率，根据所述屏幕分辨率对所述第一触摸事件数据进行还原处理，获得第二触摸事件数据；
根据所述第二触摸事件数据构建指针触摸信息对象，以调用相关的系统API执行相应触摸控制操作。
此外，为实现上述目的，本发明还提供一种触摸终端远程控制方法，所述触摸终端远程控制方法包括以下步骤：
根据用户输入的网址向受控端发送远程控制连接请求，接收所述受控端返回的控制页面；
在控制端通过所述控制页面与所述受控端建立远程控制连接后，获取所述控制端接收到的触摸事件原始数据；
对所述触摸事件原始数据进行简化处理，得到第一触摸事件数据；
向所述受控端发送所述第一触摸事件数据，以实现对所述受控端的远程控制。
可选地，所述在根据所述控制页面与所述受控端建立远程连接后步骤之后，还包括：
在所述控制端接收到第二用户的开始远程请求时，向所述受控端发送开始远程控制请求；
根据所述开始远程控制请求与所述受控端建立双向通信；
基于所述双向通信，与所述受控端建立网页实时通信；
接收所述受控端发送的本地视频流，播放所述本地视频流以供所述第二用户对所述受控端进行触摸控制。
本发明还提供一种触摸终端，所述触摸终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的触摸终端远程控制程序，所述触摸终端远程控制程序被所述处理器执行时，实现如上述的触摸终端远程控制方法步骤。
本发明还提供一种触摸终端远程控制系统，所述触摸终端远程控制系统包括控制端和受控端，其中：
所述受控端，用于在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作；
所述控制端，用于根据用户输入的网址向受控端发送远程控制连接请求，接收所述受控端返回的控制页面；在控制端通过所述控制页面与所述受控端建立远程控制连接后，获取所述控制端接收到的触摸事件原始数据；对所述触摸事件原始数据进行简化处理，得到第一触摸事件数据；
向所述受控端发送所述第一触摸事件数据，以实现对所述受控端的远程控制。
可选地，所述受控端还用于：
在所述受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与所述控制端建立相应的连接，其中，所述客户端是存储于所述受控端中的应用程序；
生成所述控制页面的网址，以供所述控制端与所述受控端建立远程控制连接。
可选地，所述受控端还用于：
接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流；
将所述本地视频流发送至所述控制端。
可选地，所述受控端还用于：
接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信；
基于所述双向通信，与所述控制端建立网页实时通信；
截取所述受控端的屏幕画面以获取本地视频流。
可选地，所述受控端还用于：
获取所述受控端的屏幕分辨率，根据所述屏幕分辨率对所述第一触摸事件数据进行还原处理，获得第二触摸事件数据；
根据所述第二触摸事件数据构建指针触摸信息对象，以调用相关的系统API执行相应触摸控制操作。
可选地，所述控制端还可用于：
在所述控制端接收到第二用户的开始远程请求时，向所述受控端发送开始远程控制请求；
根据所述开始远程控制请求与所述受控端建立双向通信；
基于所述双向通信，与所述受控端建立网页实时通信；
接收所述受控端发送的本地视频流，播放所述本地视频流以供所述第二用户对所述受控端进行触摸控制。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有触摸终端远程控制程序，所述触摸终端远程控制程序被处理器执行时实现如上述的触摸终端远程控制方法步骤。
本发明通过在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作的远程控制方法。通过对触摸控制数据进行处理，从而可以直接调用受控端的相关的系统触摸事件API以执行相应的触摸控制操作，实现了触摸事件的完整映射。解决了用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题，增强了触摸终端远程控制操作的便利性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境触摸终端的结构示意图；
图2是本发明一种触摸终端远程控制方法一实施例的流程示意图；
图3为本发明另一种触摸终端远程控制方法一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
参照图1，图1为本发明实施例方案涉及的硬件运行环境触摸终端的结构示意图。
本发明实施例的触摸终端可以是电脑、电视、投影仪，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该触摸终端可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对触摸终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及触摸终端远程控制程序。
在图1所示的触摸终端中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明触摸终端中的处理器1001、存储器1005可以设置在触摸终端设备中，触摸终端通过处理器1001调用存储器1005中存储的触摸终端远程控制程序，并执行以下操作：
在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；
在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；
对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作。
进一步地，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
在所述受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与所述控制端建立相应的连接，其中，所述客户端是存储于所述受控端中的应用程序；
生成所述控制页面的网址，以供所述控制端与所述受控端建立远程控制连接。
进一步地，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流；
将所述本地视频流发送至所述控制端。
进一步地，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信；
基于所述双向通信，与所述控制端建立网页实时通信；
截取所述受控端的屏幕画面以获取本地视频流。
进一步地，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
获取所述受控端的屏幕分辨率，根据所述屏幕分辨率对所述第一触摸事件数据进行还原处理，获得第二触摸事件数据；
根据所述第二触摸事件数据构建指针触摸信息对象，以调用相关的系统API执行相应触摸控制操作。
此外，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
根据用户输入的网址向受控端发送远程控制连接请求，接收所述受控端返回的控制页面；
在控制端通过所述控制页面与所述受控端建立远程控制连接后，获取所述控制端接收到的触摸事件原始数据；
对所述触摸事件原始数据进行简化处理，得到第一触摸事件数据；
向所述受控端发送所述第一触摸事件数据，以实现对所述受控端的远程控制。
进一步地，处理器1001可以用于调用存储器1005中存储的触摸终端远程控制程序，还执行以下操作：
在所述控制端接收到第二用户的开始远程请求时，向所述受控端发送开始远程控制请求；
根据所述开始远程控制请求与所述受控端建立双向通信；
基于所述双向通信，与所述受控端建立网页实时通信；
接收所述受控端发送的本地视频流，播放所述本地视频流以供所述第二用户对所述受控端进行触摸控制。
触摸控制技术自其诞生以来，由于其操作的便利性，得到了广泛的应用，目前市场中大多数的终端设备都是可以支持触摸控制的触摸终端设备。其触摸控制方式也由最初的单指操控到现在的可支持多指操控，进一步加强了操作的便利性。但由于目前的远程控制技术通常是将用户的触摸事件转化为相应的鼠标事件或键盘事件以执行相应的操作控制，是无法将触摸事件进行完整映射的。因此，存在用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题。
为了解决上述问题，本发明提供了一种触摸终端远程控制方法，包括：在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；
在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据；对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作。这种方法通过对用户的触摸事件数据进行处理，从而可以直接调用相关的系统触摸事件API执行相应的触摸控制操作，实现了用户触摸事件的完整映射，进而支持用户通过多指触摸对触摸终端进行远程控制。解决了用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题，增强了触摸终端远程控制操作的便利性。
本发明实施例提供了一种触摸终端远程控制方法，参照图2，图2为本发明的一种触摸终端远程控制方法一实施例的流程示意图。
本实施例中，所述一种触摸终端远程控制方法包括：
步骤S10，在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面。
在本实施例中，执行主体是受控端。受控端是指用户需要通过控制端进行远程操控的触摸终端，受控端可以是支持触摸控制的电脑、笔记本、电视等；而控制端是指用户用于对受控端进行远程控制的触摸终端，控制端可以是支持触摸控制的手机、平板电脑、电脑等。其中，受控端上安装有用于实现远程控制的客户端，在一个实施例中，客户端可以是使用Electron框架开发的跨平台桌面应用程序，这种桌面应用程序可以支持在多种平台上运行，例如Windows、Mac OSX和Linux等。
需要说明的是，控制端中需要有支持网页实时通信的浏览器，当用户需要进行远程控制连接时，只需要在控制端的浏览器中输入相应的网址或者扫描受控端中的客户端生成的二维码，受控端就能接收到相应的远程控制连接请求，从而向控制端返回相应的静态网页文件，使得控制端能够根据接收到的静态网页文件解析渲染生成控制页面，其中，控制页面用于实现用户通过控制端对受控端的远程控制。
可选地，步骤S10，在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面之前，包括：
步骤S01，在所述受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与所述控制端建立相应的连接，其中，所述客户端是存储于所述受控端中的应用程序。
在本实施例中，第一用户是指在需要进行远程控制连接时，对受控端进行操作控制的用户，而开始远程服务请求是实现控制端与受控端进行远程控制连接的请求。在一个实施例中，需要对受控端进行远程控制时，只需第一用户打开受控端中的客户端，即远程控制应用程序，选择开始远程服务，则客户端会自动启动在远程控制过程中需要用到的服务，例如本地静态服务、双向通信（Websocket）服务，为建立远程控制连接提供支持。
步骤S02，生成所述控制页面的网址，以供所述控制端与所述受控端建立远程控制连接。
在本实施例中，当第一用户打开受控端中的客户端，点击开始远程服务以后，客户端会启动本地静态服务，从而可以为控制端提供控制页面，并生成相应的网址，使得控制端能够通过网址获取控制页面，从而实现控制端与受控端远程控制连接的建立。其中，网址也就是URL（Uniform Resource Locator，统一资源定位符），是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息可以指出文件的位置以及浏览器应该怎么处理它。
在一个可选的方式中，当第一用户在打开客户端以后，还可以通过选择生成二维码，二维码中包含了控制页面的网址信息，使得控制端可以直接通过扫码与受控端建立远程控制连接。
在本实施例中，在受控端需要与控制端建立远程控制连接时，可以通过第一用户打开客户端，选择开始远程服务，生成相应的网址，以供控制端通过输入网址获得控制页面从而建立远程控制连接；也可以直接根据第一用户的选择，生成二维码以供控制端扫描获取控制页面从而建立远程控制连接。对于用户而言，操作方便而快捷，实现了简化操作的技术效果。
步骤S20，在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收所述控制端发送的第一触摸事件数据。
在本实施例中，当控制端接收到受控端返回的控制页面后，打开控制页面则能实现受控端与控制端建立远程控制连接，当用户在控制端执行相应的控制操作时，受控端就能接收到第一触摸事件数据。其中，第一触摸事件数据是控制端监听用户的控制操作，即用户的触摸事件，生成触摸事件原始数据，将触摸事件原始数据经过简化处理后得到的触摸事件数据，使得受控端能够执行相应的操作。
步骤S30，对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作。
在本实施例中，由于受控端支持触摸控制，因此受控端的系统中存储有能够实现触摸控制的触摸事件API，因此，在接收到第一触摸事件数据后，只需将其处理成为能够调用系统内部触摸事件API的数据，即可实现将控制端的触摸事件在受控端进行完整映射，其中，触摸事件可以包括：touch start（用户放置手指时触发）、touch end（用户抬起手指时触发）、touch move（用户移动手指时触发）、touch cancel（当接触点被某种意外扰乱时触发）。此外，触摸事件可以是单指触摸事件，也可以是多指触摸事件。
可选地，步骤S30，对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作，具体包括：
步骤S31，获取所述受控端的屏幕分辨率，根据所述屏幕分辨率对所述第一触摸事件数据进行还原处理，获得第二触摸事件数据。
在本实施例中，由于控制端和受控端的屏幕大小等参数可能会有差别，且第一触摸事件数据是经过控制端进行简化处理过的数据，因此，需要先根据受控端的屏幕分辨率对第一触摸事件数据进行还原处理，从而得到第二触摸事件数据。其中，屏幕分辨率是指纵横向上的像素点数，单位是px。为了更好理解，下面举例说明，在一个实施例中，经过控制端进行简化处理后的第一触摸事件数据结构如下：
touch start或touch move事件简化后数据结构：
{
Type（事件类型）
id（事件id，用于标识一次触摸的生命周期，id在整个过程中是不变的）
ClientWidth（容器宽度）
ClientHeight（容器高度）
ClientX（事件距容器左边距离）
ClientY（事件距容器上边距离）
}
Touch end事件简化后数据结构：
{
Type（事件类型）
id（事件id，用于标识一次触摸的生命周期，id在整个过程中是不变的）
}
此时，受控端在接收到第一触摸事件数据时，获取受控端的屏幕分辨率：screenWidth，screenHeight，对第一触摸事件数据进行还原处理，得到：
{
Type（事件类型）
id（事件id，用于标识一次触摸的生命周期，id在整个过程中是不变的）
screenX（值为screenWidth / ClientWidth * ClientX）
screenY（值为screenHeight / ClientHeight * ClientY）
}
需要说明的是，数据结构是计算机存储、组织数据的方式，是指相互之间存在一种或多种特定关系的数据元素的集合。
步骤S32，根据所述第二触摸事件数据构建指针触摸信息对象，以调用相关的系统API执行相应触摸控制操作。
在本实施例中，指针触摸信息即POINTER_TOUCH_INFO，相关的系统API即系统的InjectTouchInput API，也就是触摸事件API。要实现直接调用触摸终端的InjectTouchInput API，需要通过node.js调用相关插件与传递参数，即在C + + 方法中，通过第二触摸事件数据构建POINTER_TOUCH_INFO对象，进而调用InjectTouchInput API，从而执行相应的触摸控制操作，是实现了用户在控制端对受控端的远程控制。
本实施例通过在接收到控制端的第一触摸事件数据时，获取受控端的屏幕分辨率，对第一触摸事件数据进行还原处理，得到第二触摸事件数据，根据第二触摸事件数据构建指针触摸信息对象以直接调用相关的触摸事件API执行相应的触摸控制操作。本方法由于是直接调用触摸事件API，相较于现有技术的将触摸事件数据转换为鼠标事件等方法，可以将用户的触摸控制操作在受控端实现完整映射，支持了多指触摸事件，使得用户可以在控制端进行多指操控，实现了更好的触摸交互体验。
本实施例中，由于控制端只需要有支持网页实时通信的浏览器即可与受控端建立远程控制连接，因此对控制端的设备要求低，实现了降低远程控制连接成本的技术效果。此外，由于控制端中的客户端可以是基于Electron框架开发的跨平台桌面应用程序，从而可以实现多种不同平台的远程控制。此外，通过对传递的触摸事件数据进行处理，使得用户在控制端的触摸控制操作可以在受控端实现完整映射，解决了目前用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题，实现了增强了触摸终端远程控制操作的便利性的技术效果。
进一步地，在本发明一种触摸终端远程控制方法的另一实施例中，步骤S20中，在所述受控端通过所述控制页面与所述控制端建立远程控制连接后步骤之后，还包括：
步骤S21，接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流。
在本实施例中，在控制端与受控端通过控制页面建立远程控制连接后，用户可以在控制端的控制页面中选择开始远程服务，从而在受控端就会接受到相应的开始远程控制请求。则此时受控端会开始截取自己的屏幕画面，并实时的通过本地视频流传输到控制端，以供用户进行远程控制操作。
可选地，步骤S21，接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流，具体包括：
步骤S211，接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信。
在本实施例中，双向通信也就是基于WebSocket协议实现的通信方式，其中，WebSocket协议是基于TCP（Transmission Control Protocol，传输控制协议）的一种新的网络协议，它实现了浏览器与服务器全双工（full-duplex）通信，允许服务器主动发送信息给客户端。在受控端接收到开始远程控制请求时，会与控制端建立双向通信，使得受控端可以主动的向控制端发送消息。在一种实施方式中，受控端与控制端每间隔一定时间会发送问候消息，如果没有收到对方的回答，则表示连接断开，从而会向用户输出断开连接的提示消息。
步骤S212，基于所述双向通信，与所述控制端建立网页实时通信。
在本实施例中，网页实时通信即WebRTC（Web Real-Time Communication，网页实时通信），是一个支持网页浏览器进行实时语音对话或视频对话的技术，实现了基于网页的视频会议，提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台，例如，windows，linux，mac，android等平台。在建立了双向通信的基础上，才能实现网页的实时通信，使得受控端的屏幕画面可以实时呈现在控制端的控制页面中。
步骤S213，截取所述受控端的屏幕画面以获取本地视频流。
在本实施例中，视频流就是一种视频数据信息的传输方式，使用这种方式，用户可以在没有接到完整的数据信息前就能处理那些已接收的信息。这种一边接收，一边处理的方式，很好地解决了视频数据信息在网络上的传输问题。使用者可以不必等待太长的时间，就能收看到视频数据信息。并且在此之后一边播放，一边接收，根本不会感觉到文件没有传完。在控制端与受控端建立网页实时通信后，受控端会截取本地屏幕画面从而生成本地视频流。
本实施例主要采用webrtc技术，并利用websocket实现了触摸终端之间的连接控制和操作数据的传递，能够较好的屏蔽系统底层，具有很高的系统兼容性，开发效率较高。此外，由于webrtc使用p2p（对等互联网）技术，局域网内控制端和受控端可以轻松建立连接，如果要扩展到广域网，只需添加信令服务器，使得建立连接较为方便。
步骤S22，将所述本地视频流发送至所述控制端。
在本实施例中，受控端通过与控制端建立双向通信及网页实时通信，可以将本地视频流发送至控制端，控制端播放接收到的本地视频流，即实现了受控端的屏幕画面实时的控制端的控制页面中呈现。
本实施例通过在接收到所述控制端的开始远程控制请求时，获取本地视频流并发送至控制端，对于用户而言，只需在控制页面中选择开始远程，即可在控制页面中看到受控端的实时屏幕画面，操作较为简便。
进一步地，在本发明另一种触摸终端远程控制方法的实施例中，参照图3，图3为本发明另一种触摸终端远程控制方法一实施例的流程示意图，所述一种触摸终端远程控制方法包括：
步骤A10，根据用户输入的网址向受控端发送远程控制连接请求，接收所述受控端返回的控制页面。
在本实施例中，执行主体是控制端，用户可以通过扫描受控端中客户端生成的二维码，或者在浏览器中直接输入受控端所生成的控制页面的网址，从而可以获取受控端中的相关静态网页文件，并通过浏览器解析渲染得到控制页面。
步骤A20，在控制端通过所述控制页面与所述受控端建立远程控制连接后，获取所述控制端接收到的触摸事件原始数据。
在本实施例中，在浏览器打开控制页面后，就通过控制页面与受控端建立的远程控制连接后，用户可以选择开始远程，进而在控制页面中对受控端进行远程触摸控制。此时，通过监听用户的触摸事件，可以获取相应的触摸事件原始数据。触摸事件原始数据就是指未经过处理的数据，数据量较大且较为复杂。
可选地，步骤A20中，在控制端通过所述控制页面与所述受控端建立远程控制连接后步骤之后，还包括：
步骤A21，在所述控制端接收到第二用户的开始远程请求时，向所述受控端发送开始远程控制请求。
在本实施例中，第二用户是指对受控端进行操作控制的用户，与前述的第一用户可以是相同的，也可以是不同的。第二用户只需在控制页面中点击“开始远程”，控制端即可向受控端发送开始远程控制请求。
步骤A22，根据所述开始远程控制请求与所述受控端建立双向通信。
在本实施例中，在向受控端发送开始远程控制请求时，会向受控端发送双向通信请求，从而与受控端建立双向通信。
步骤A23，基于所述双向通信，与所述受控端建立网页实时通信。
在本实施例中，在与受控端建立双向通信的基础上，控制端与受控端进行webrtc协商，从而与受控端建立网页实时通信。
步骤A24，接收所述受控端发送的本地视频流，播放所述本地视频流以供所述第二用户对所述受控端进行触摸控制。
在本实施例中，与受控端建立网页实时通信后，可接收到受控端发送的本地视频流，在浏览器中播放接收到的视频流，从而实现了第二用户根据实时画面对受控端进行触摸控制。
本实施例通过用户在控制页面中点击开始远程即可与受控端建立相应的连接，从而可在控制页面中显示受控端的实时画面，操作较为简单。此外，由于是通过webrtc技术进行视频流的传输，保证了控制画面的实时性。
步骤A30，对所述触摸事件原始数据进行简化处理，得到第一触摸事件数据。
在本实施例中，由于触摸事件原始数据的数据量较大，且可能有一些无效数据，因此，需要进行简化处理，从而得到较为简洁的有效数据，即第一触摸事件数据，需要说明的是，此处的第一触摸事件数据与前述实施例中的第一触摸事件数据是相同的。
步骤A40，向所述受控端发送所述第一触摸事件数据，以实现对所述受控端的远程控制。
在本实施例中，在将第一触摸事件数据发送至受控端后，受控端会进行相应的数据处理，并执行相应的控制操作，从而实现了用户通过控制端对受控端的远程控制。
本实施例通过与受控端建立远程控制连接后，监听用户在控制页面中进行触摸控制动作，获取相对应的触摸事件原始数据。将触摸事件原始数据根据相应的数据结构进行简化处理后，再发送至受控端。由于对触摸事件数据进行了简化，使得触摸事件数据可以高效快速地传输至受控端，延时较低，从而满足了远程控制的实时性要求。
此外，本发明实施例还提供一种触摸终端，所述触摸终端包括：存储器、处理器以及存储在所述存储器并可在所述处理器上运行的触摸终端远程控制程序，所述触摸终端远程控制程序被所述处理器执行时，实现上述实施例提供的触摸终端远程控制方法的步骤，具体的实施步骤可参照上述实施例，此处不再过多赘述。
进一步地，本发明实施例还提供一种触摸终端远程控制系统，所述触摸终端远程控制系统包括控制端和受控端，所述控制端和受控端分别用于执行上述实施例提供的触摸终端远程控制方法的步骤，具体的实施步骤可参照上述实施例，此处不再过多赘述。
进一步地，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有触摸终端远程控制程序，所述触摸终端远程控制程序被处理器执行时，实现上述实施例提供的触摸终端远程控制方法的步骤，具体的实施步骤可参照上述实施例，此处不再过多赘述。
本发明实施例所提供的触摸终端、系统和计算机可读存储介质，用于实现上述实施例提供的触摸终端远程控制方法，解决了用户在使用支持触摸的移动端设备对触摸终端进行远程控制时，无法实现多指触摸控制的问题，与现有技术相比，本发明实施例提供的触摸终端、系统和计算机可读存储介质的有益效果与上述实施例的触摸终端远程控制方法的有益效果相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种触摸终端远程控制方法，其特征在于，所述触摸终端远程控制方法包括以下步骤：
在受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与控制端建立相应的连接，其中，所述客户端是存储于所述受控端中基于Electron框架开发的跨平台桌面应用程序；
生成控制页面的网址，以供所述控制端与所述受控端建立远程控制连接；
在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；
在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流；
将所述本地视频流发送至所述控制端；
接收所述控制端发送的第一触摸事件数据；
对所述第一触摸事件数据进行处理，基于JavaScript解释器传递与所述第一触摸事件数据对应的参数以调用相关的系统API执行相应触摸控制操作，其中，所述系统API为InjectTouchInput API；
其中，所述接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流步骤，具体包括：
接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信；
基于所述双向通信，与所述控制端进行webrtc协商以建立网页实时通信；
截取所述受控端的屏幕画面以获取本地视频流。
2.如权利要求1所述的一种触摸终端远程控制方法，其特征在于，所述对所述第一触摸事件数据进行处理，以调用相关的系统API执行相应触摸控制操作步骤，具体包括：
获取所述受控端的屏幕分辨率，根据所述屏幕分辨率对所述第一触摸事件数据进行还原处理，获得第二触摸事件数据；
根据所述第二触摸事件数据构建指针触摸信息对象，以调用相关的系统API执行相应触摸控制操作。
3.一种触摸终端，其特征在于，所述触摸终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的触摸终端远程控制程序，所述触摸终端远程控制程序被所述处理器执行时，实现如权利要求1至2中任一项所述的触摸终端远程控制方法步骤。
4.一种触摸终端远程控制系统，其特征在于，所述触摸终端远程控制系统包括控制端和受控端，其中：
所述受控端，用于在受控端接收到控制端的远程控制连接请求时，向所述控制端返回控制页面；在所述受控端通过所述控制页面与所述控制端建立远程控制连接后，接收到所述控制端的开始远程控制请求时，截取所述受控端的屏幕画面以获取本地视频流；将所述本地视频流发送至所述控制端；接收所述控制端发送的第一触摸事件数据；对所述第一触摸事件数据进行处理，基于JavaScript解释器传递与所述第一触摸事件数据对应的参数以调用相关的系统API执行相应触摸控制操作，其中，所述系统API为InjectTouchInput API，所述受控端还用于在所述受控端接收到第一用户的开始远程服务请求时，启动客户端的相应服务，以供所述受控端与所述控制端建立相应的连接，其中，所述客户端是存储于所述受控端中基于Electron框架开发的跨平台桌面应用程序；生成所述控制页面的网址，以供所述控制端与所述受控端建立远程控制连接；接收到所述控制端的开始远程控制请求时，根据所述开始远程控制请求与所述控制端建立双向通信；基于所述双向通信，与所述控制端进行webrtc协商以建立网页实时通信；截取所述受控端的屏幕画面以获取本地视频流；
所述控制端，用于根据用户输入的网址向受控端发送远程控制连接请求，接收所述受控端返回的控制页面；在控制端通过所述控制页面与所述受控端建立远程控制连接后，并在所述控制端接收到第二用户的开始远程请求时，向所述受控端发送开始远程控制请求；根据所述开始远程控制请求与所述受控端建立双向通信；基于所述双向通信，与所述受控端进行webrtc协商以建立网页实时通信；接收所述受控端发送的本地视频流，播放所述本地视频流以供所述第二用户对所述受控端进行触摸控制；获取所述控制端接收到的触摸事件原始数据；对所述触摸事件原始数据进行简化处理，得到第一触摸事件数据；向所述受控端发送所述第一触摸事件数据，以实现对所述受控端的远程控制。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有触摸终端远程控制程序，所述触摸终端远程控制程序被处理器执行时实现如权利要求1至2中任一项所述的触摸终端远程控制方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210106307.4A CN114564260B (zh) | 2022-01-28 | 2022-01-28 | 一种触摸终端远程控制方法及系统、触摸终端、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210106307.4A CN114564260B (zh) | 2022-01-28 | 2022-01-28 | 一种触摸终端远程控制方法及系统、触摸终端、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114564260A CN114564260A (zh) | 2022-05-31 |
| CN114564260B true CN114564260B (zh) | 2024-03-12 |
Family
ID=81712996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210106307.4A Active CN114564260B (zh) | 2022-01-28 | 2022-01-28 | 一种触摸终端远程控制方法及系统、触摸终端、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114564260B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218162A (zh) * | 2013-03-26 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种终端操作方法及装置 |
| CN103492978A (zh) * | 2010-10-05 | 2014-01-01 | 西里克斯系统公司 | 用于远程化的应用的触摸支持 |
| CN105378634A (zh) * | 2013-05-17 | 2016-03-02 | 思杰系统有限公司 | 远程化或本地化在虚拟化客户端代理处的触摸手势 |
| CN109343921A (zh) * | 2018-09-11 | 2019-02-15 | 广州视源电子科技股份有限公司 | 触摸数据的处理方法、装置和系统 |
| CN110199245A (zh) * | 2017-01-23 | 2019-09-03 | 斯纳普公司 | 三维交互系统 |
| CN112230840A (zh) * | 2020-12-21 | 2021-01-15 | 智道网联科技(北京)有限公司 | 对车载电脑远程控制的方法、装置、电子设备及存储介质 |
-
2022
- 2022-01-28 CN CN202210106307.4A patent/CN114564260B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103492978A (zh) * | 2010-10-05 | 2014-01-01 | 西里克斯系统公司 | 用于远程化的应用的触摸支持 |
| CN103218162A (zh) * | 2013-03-26 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种终端操作方法及装置 |
| CN105378634A (zh) * | 2013-05-17 | 2016-03-02 | 思杰系统有限公司 | 远程化或本地化在虚拟化客户端代理处的触摸手势 |
| CN110199245A (zh) * | 2017-01-23 | 2019-09-03 | 斯纳普公司 | 三维交互系统 |
| CN109343921A (zh) * | 2018-09-11 | 2019-02-15 | 广州视源电子科技股份有限公司 | 触摸数据的处理方法、装置和系统 |
| CN112230840A (zh) * | 2020-12-21 | 2021-01-15 | 智道网联科技(北京)有限公司 | 对车载电脑远程控制的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114564260A (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10084864B2 (en) | Methods and systems for facilitating a remote desktop session utilizing a remote desktop client common interface | |
| US10165042B2 (en) | Methods and systems for conducting a remote desktop session via HTML that supports a 2D canvas and dynamic drawing | |
| US10237327B2 (en) | Methods and systems for accessing and controlling a remote desktop of a remote machine in real time by a web browser at a client device via HTTP API utilizing a transcoding server | |
| EP2649533B1 (en) | Methods and systems for facilitating a remote desktop session utilizing long polling | |
| CN102857579B (zh) | 一种信息处理方法、装置、终端及服务器 | |
| EP2649532B1 (en) | Methods and systems for remote desktop session redrawing via http headers | |
| US10268332B2 (en) | Methods and systems for facilitating a remote desktop redrawing session utilizing HTML | |
| US9535560B1 (en) | Methods and systems for facilitating a remote desktop session for a web browser and a remote desktop server | |
| US10248374B2 (en) | Methods and systems for a remote desktop session utilizing HTTP header | |
| US9430036B1 (en) | Methods and systems for facilitating accessing and controlling a remote desktop of a remote machine in real time by a windows web browser utilizing HTTP | |
| JP2024506462A (ja) | 情報呈示方法、装置及び電子機器 | |
| CN105487640A (zh) | 一种安卓手表预加载和缓存图片的方法 | |
| CN111381749A (zh) | 一种图像显示和处理方法、装置、设备和存储介质 | |
| CN103873490B (zh) | 一种幻灯片的播放控制方法及客户端 | |
| CN114564260B (zh) | 一种触摸终端远程控制方法及系统、触摸终端、存储介质 | |
| CN113542335A (zh) | 一种信息共享方法、装置、电子设备及存储介质 | |
| CN110990109A (zh) | 一种拼接屏回显方法、终端、系统及存储介质 | |
| CN117609649A (zh) | 基于h5客户端的图片裁切方法、装置、设备及介质 | |
| JP2015097069A (ja) | 情報処理システム、情報処理装置およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |