CN113285981A - 远程控制方法、被控制方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种远程控制方法、被控制方法及装置、设备、存储介质；其中，所述方法包括：接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及向所述被控端发送所述操作信令。

Description

远程控制方法、被控制方法及装置、设备、存储介质

技术领域

本申请实施例涉及远程控制技术，涉及但不限于远程控制方法、被控制方法及装置、设备、存储介质。

背景技术

现有的远程控制技术是被控端的设备画面回传给控制端，控制端再根据回传的设备画面，确定相关操作信令，再将操作信令传输给远程设备实现。在远程控制的过程中需要传输被控端的实时图像，带宽占用量大，传输成本高；同时对网络依赖较大，在网络条件差的情况下会造成丢帧、延迟、卡帧、花屏等问题。

发明内容

有鉴于此，本申请实施例提供的远程控制方法、被控制方法及装置、设备、存储介质，不需要根据被控端回传的画面生成操作信令，从而减少带宽占用，降低传输成本，解决网络条件差的情况下会造成丢帧、延迟、卡帧、花屏等问题。本申请实施例提供的远程控制方法、被控制方法及装置、设备、存储介质是这样实现的：

本申请实施例提供的远程控制方法，包括：接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及向所述被控端发送所述操作信令。

本申请实施例提供的被控制方法，包括：确定被控端当前显示的第一画面的相关特征，从而得到第一特征参数；发送所述第一特征参数给控制端或服务器；接收操作信令；其中，所述操作信令是在所述第一特征参数和第二特征参数满足远程控制条件的情况下，控制端或服务器响应于对所述控制端当前显示的第二画面的操作行为而生成的；所述第二特征参数用于表征所述第二画面的相关特征；根据所述操作信令，对所述第一画面执行所述操作行为。

本申请实施例提供的远程控制装置，包括：第一接收模块，用于接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；第一确定模块，用于确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；生成模块，用于在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及第一发送模块，用于向所述被控端发送所述操作信令。

本申请实施例提供的被控装置，包括：第二确定模块，用于确定被控端当前显示的第一画面的相关特征，从而得到第一特征参数；第二发送模块，用于发送所述第一特征参数给控制端或服务器；第二接收模块，用于接收操作信令；其中，所述操作信令是在所述第一特征参数和第二特征参数满足远程控制条件的情况下，控制端或服务器响应于对所述控制端当前显示的第二画面的操作行为而生成的；所述第二特征参数用于表征所述第二画面的相关特征；执行模块，用于根据所述操作信令，对所述第一画面执行所述操作行为。

本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

在本申请实施例中，通过接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及向所述被控端发送所述操作信令。如此，控制端不用根据被控端回传的第一画面生成操作信令，不需要被控端回传第一画面，从而减少传输第一画面时的带宽占用，降低传输成本，解决网络条件差的情况下会造成丢帧、延迟、卡帧、花屏等问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的远程控制方法的实现流程示意图；

图2为本申请实施例提供的远程控制方法的另一实现流程示意图；

图3为本申请实施例提供的远程控制方法的又一实现流程示意图；

图4为本申请实施例提供的远程控制方法的再一实现流程示意图；

图5为本申请实施例提供的远程控制方法的另一实现流程示意图；

图6为本申请实施例提供的远程控制方法的再一实现流程示意图；

图7为本申请实施例提供的远程控制方法的另一流程示意图；

图8为本申请实施例远程控制装置的结构示意图；

图9为本申请实施例被控装置的结构示意图；

图10为本申请实施例的电子设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请实施例提供一种远程控制方法，图1为本申请实施例提供的远程控制方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤104：

步骤101，接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；

在一些实施例中，控制端或服务器接收被控端发送的第一特征参数。控制端是指控制者的终端设备，用于对被控端进行远程协助或控制，被控端是指被协助者或者被控制者的终端设备。例如，在线教育场景中，老师的终端设备为控制端，学生的终端设备为被控端；又如，在客服远程协助的场景中，客服的终端设备为控制端，被协助的客户的终端设备为被控端。

控制端和被控端在实施的过程中可以为各种类型的具有信息处理能力的电子设备，例如所述电子设备可以包括笔记本电脑、个人计算机、手机、平板电脑或个人数字助理等终端设备。

可以理解地，被控端可以为一个，也可以为多个，被控端的个数根据实际的应用场景确定。例如，在线教育场景中，一个老师的终端设备可以同时控制多个学生的终端设备。

在接收被控端发送的第一特征参数之前，控制端与被控端采用预设的连接方式建立连接关系。控制端可以与被控端直接建立连接关系，例如WIFI直连、D2D通信、蓝牙连接等，也可以通过服务器与被控端建立连接关系。在一些实施例中，控制端通过服务器与被控端建立连接关系的过程包括：控制端向服务器申请房间标识(room ID)；服务器将房间标识发送给被控端；控制端和被控端根据房间标识进入相同房间后，控制端和被控端通过服务器建立套接字(socket)长连接。

应当理解，第一特征参数并不是第一画面本身，而是用于表征所述被控端当前显示的第一画面的相关特征的相关参数。在一些实施例中，第一特征参数可以包括第一画面的第一显示参数、用于展示第一画面的应用的第一版本、第一画面的网址和/或第一画面的画面滚动高度等。第一参数由被控端确定后发送给控制端或服务器。

步骤102，确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

可以理解地，第二特征参数并不是第二画面本身，而是用于表征所述被控端当前显示的第二画面的相关特征的相关参数。在一些实施例中，第二特征参数可以包括第二画面的第二显示参数、用于展示第二画面的应用的第二版本、第一画面的网址和/或第二画面的画面滚动高度等。

在一些实施例中，可以通过控制端确定第二特征参数，也可以是控制端将第二画面发送给服务器，由服务器根据第二画面确定第二特征参数。

步骤103，在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；

在一些实施例中，控制端或服务器响应于对第二画面的操作行为，获取所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识；根据所述操作行为的行为信息，生成所述操作信令。

例如，用户对第二画面的操作行为点击第二画面上的视频播放按钮，在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，控制端响应点击第二画面上的视频播放按钮的操作行为，生成点击视频播放按钮的操作信令，该操作信令用于控制被控端对第一画面上的视频播放按钮执行点击操作。

步骤104，向所述被控端发送所述操作信令。

在一些实施例中，在控制端与被控端直接连接的情况下，控制端生成操作信令，直接发给被控端，在控制端通过服务器与被控端连接，且控制端为执行主体的情况下，控制端生成操作信令，由服务器转发给被控端；在服务器为执行主体的情况下，由服务器将操作信令发送给被控端。

本申请实施例通过接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及向所述被控端发送所述操作信令。如此，控制端不用根据被控端回传的第一画面生成操作信令，不需要被控端回传第一画面，从而减少传输第一画面时的带宽占用，降低传输成本，解决网络条件差的情况下会造成丢帧、延迟、卡帧、花屏等问题。

本申请实施例提供一种远程控制方法，图2为本申请实施例提供的远程控制方法的另一实现流程示意图，如图2所示，该方法可以包括以下步骤201至步骤212：

步骤201，被控端确定当前显示的第一画面的相关特征，从而得到第一特征参数；

步骤202，被控端发送第一特征参数给服务器；

步骤203，服务器将第一特征参数转发给控制端；

步骤204，控制端确定当前显示的第二画面的相关特征，从而得到第二特征参数；

步骤205，控制端确定第一特征参数和第二特征参数是否满足远程控制条件，如果是，则执行步骤206；否则，向被控端发送不满足远程控制条件的提示信息；

步骤206，控制端响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；

步骤207，控制端将远程控制过程中生成的操作信令及以及所述操作信令对应的操作行为的时间信息进行关联存储，以便在接收到被控端发送的对操作过程的回放请求时，响应回放请求，向被控端发送操作信令，以便在被控端对该操作过程进行回放。

例如，控制端将远程控制中生成的操作信令以及该操作信令对应的操作行为发生的时间信息关联存储至数据库中，数据库可以是控制端的数据库，也可以是服务器的数据库。

在一些实施例中，控制端可以根据操作行为对应的事件，将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间信息进行关联存储。例如，在客服远程控制场景中，将客户远程控制“安装软件”确定为事件A，则在控制安装软件的过程中生成的一系列操作信令以及每个操作信令对应的操作行为的时间信息进行关联存储，并以序号“A”进行标识。

在另一些实施例中，控制端可以根据操作行为对应发生的时间段，将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间信息进行关联存储。例如，在线教育场景中，将1:30至2:00之间，生成的一系列操作信令以及每个操作信令对应的操作行为的时间信息进行关联存储，并以序号“1”进行标识。

在一些实施例中，在被控端对操作过程进行回放可以通过执行以下步骤208至步骤212实现；

步骤208，被控端向服务器发送回放请求；

例如，用户通过被控端的输入装置，如鼠标、触摸屏或键盘等触发回放操作，以向服务器发送回放请求，该回放请求中携带有回放信息，该回放信息中携带有用于确定操作信令的回放标识，该回放标识用于表征用户想要回放的事件或时间段。例如，回放标识为“A”，则控制端确定标识“A”对应的操作信令为符合用户回放要求的操作信令。

步骤209，服务器将回放请求转发给控制端；

步骤210，控制端响应于所述回放请求，根据存储的每一所述操作信令的时间信息，依次向服务器发送每一所述操作信令；

在一些实施例中，所述时间信息为时间戳；相应地，控制端可以通过执行以下步骤来实现步骤210：控制端根据相邻的两个操作信令对应的时间戳，确定所述相邻的两个操作信令对应的操作行为的操作时间间隔；根据所述操作时间间隔，依次向所述被控端发送所述相邻的两个操作信令。

也就是说，控制端将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间戳(即该操作行为发生的时刻)直接关联存储，在接收到回放请求时，再确定相邻的两个操作信令对应的操作行为的操作时间间隔，如此，在没有接收到回放请求时，不需要确定相邻的两个操作信令对应的操作行为的操作时间间隔；只需要确定回放请求中携带的回放标识对应的相邻的两个操作信令对应的操作行为的操作时间间隔，节省了计算资源。

在另一些实施例中，所述时间信息为后一操作信令相对于前一操作信令的时间间隔。也就是说，控制端在存储时，首先根据每个操作信令时间戳，确定相邻的两个操作信令对应的操作行为的操作时间间隔，再将远程控制过程中生成的操作信令以及相邻的两个操作信令对应的操作行为的操作时间间隔进行关联存储；如此，预先确定操作时间间隔，在接收到回放请求时，不需要再确定操作时间间隔，避免向被控端发送操作信令时发生延迟，保证发送的操作信令的实时性。

可以理解地，在控制端与被控端通过服务器连接，且操作信令以及该操作信令对应的操作行为发生的时间信息关联存储在控制端的数据库中时，控制端通过服务器向依次向被控端转发每一所述操作信令；在控制端与被控端通过服务器连接，且操作信令以及该操作信令对应的操作行为发生的时间信息关联存储在服务器的数据库中时，控制端根据回放请求，生成回放指令，该回放指令用于指示服务器根据存储的每一所述操作信令的时间信息，依次向所述被控端发送每一所述操作信令。

控制端与被控端的时刻可能不同，直接根据时间戳对操作信令进行回放不一定准确，但是不管被控端和被控端的时刻是否相同，时间间隔是确定不变的，因此，通过确定操作时间间隔，向被控端发送操作信令，不会出现回放误差。

本申请实施例通过将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间信息进行关联存储，就可以实现回放，不需要存储对应的画面录屏，节省了存储成本和传输成本。

步骤211，服务器将每一所述操作信令转发给被控端；

步骤212，在被控端显示第一画面的情况下，被控端根据所述操作信令，对第一画面执行所述操作行为。

本申请实施例提供一种远程控制方法，图3为本申请实施例提供的远程控制方法的又一实现流程示意图，如图3所示，该方法可以包括以下步骤301至步骤312：

步骤301，被控端确定当前显示的第一画面的相关特征，从而得到第一特征参数；

步骤302，被控端发送第一特征参数给服务器；

步骤303，服务器确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

步骤304，服务器确定第一特征参数和第二特征参数是否满足远程控制条件，如果是，则执行步骤305；否则，向控制端和被控端发送不满足远程控制条件的提示信息；

步骤305，服务器向控制端发送满足远程控制条件的提示信息；

步骤306，控制端响应于对所述第二画面的操作行为，得到所述操作行为的行为信息；

步骤307，控制端将操作行为的行为信息发送给服务器；

步骤308，服务器根据操作行为的行为信息，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；

步骤309，服务器将远程控制过程中生成的操作信令及以及所述操作信令对应的操作行为的时间信息进行关联存储，以便在接收到被控端发送的对操作过程的回放请求时，响应回放请求，向被控端发送操作信令，以便在被控端对该操作过程进行回放。

在一些实施例中，在被控端对操作过程进行回放可以通过执行以下步骤310至步骤313实现；

步骤310，被控端向服务器发送回放请求；

步骤311，服务器响应于所述回放请求，根据存储的每一所述操作信令的时间信息，依次向被控端发送每一所述操作信令；

步骤312，在被控端显示第一画面的情况下，被控端根据所述操作信令，对第一画面执行所述操作行为。

本申请实施例提供一种远程控制方法，图4为本申请实施例提供的远程控制方法的再一实现流程示意图，如图4所示，该方法可以包括以下步骤401至步骤412：

步骤401，被控端确定当前显示的第一画面的相关特征，从而得到第一特征参数；

步骤402，被控端发送所述第一特征参数给服务器；

步骤403，服务器将第一特征参数转发给控制端；

步骤404，控制端确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

步骤405，控制端确定第一特征参数和第二特征参数是否满足远程控制条件，如果是，则执行步骤406；否则，向被控端发送不满足远程控制条件的提示信息；

步骤406，控制端响应于对所述第二画面的操作行为，获取所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识。如此，通过将操作行为的操作信息准确详细地发送给被控端，可以使被控端准确地在第一画面上模拟响应该操作行为，避免控制出现偏差。

操作行为的类型可以包括：鼠标移动、鼠标滚动、按钮点击、表单操作、音视频操作、画布操作等。其中，表单操作可以是进行表单填写；音视频操作可以是控制播放、暂停播放、停止播放、快进播放、快退播放、倍速播放和跳转播放音视频、调大音视频音量或调高视频亮度或对比度等；画布操作可以是在画布上画线等。

操作行为操作的元素的标识是指操作行为操作的元素对应的标识。例如，进行按钮点击操作时，被点击的按钮相当于该操作行为操作的元素，该按钮的标识相当于操作元素的标识；又例如，在画布上画线时，画布相当于该操作行为操作的元素，该画布的标识相当于操作元素的标识。

在一些实施例中，所述行为信息还包括与该操作行为对应的附加信息。例如，在画布上画线时，对应的附件信息为线条的粗细和颜色等；在跳转播放音视频时，对应的附加信息为跳转的时间。

在一些实施例中，所述第一特征参数包括所述第一画面的网址，所述第二特征参数包括所述第二画面的网址；在确定所述第一画面的网址和所述第二画面的网址相同的情况下，控制器确定所述第一特征参数和所述第二特征参数满足所述远程控制条件。在另一些实施例中，在第一画面和第二画面展示的文件相同的情况下，确定所述第一特征参数和所述第二特征参数满足所述远程控制条件。如此，保证第一画面和第二画面的内容的一致性，从而保证控制的有效性。

可以理解地，由于控制端和被控端在用于展示画面的应用的版本或显示参数可能不同，第一画面和第二画面的呈现效果也可能不同，比如，同一个按钮大小不同，滚动条的宽度也不同，进而导致同一操作行为在第一画面和第二画面的操作位置不同，因此，需要对操作行为在所述第二画面的第一操作位置进行校准，确定操作行为在第二画面的操作位置在第一画面上映射操作位置，避免在控制端和被控指端的应用的版本或显示参数不同的情况下，控制出现偏差。

在一些实施例中，所述位置信息包括所述操作行为在所述第二画面的第一操作位置和位置校准参数；其中，所述位置校准参数用于校准所述第一操作位置映射在所述第一画面上的操作位置。

也就是说，控制端向被控端发送的操作信令中包含所述操作行为在所述第二画面的第一操作位置和位置校准参数，被控端接收该操作信令后，根据位置校准参数校准第一操作位置映射在第一画面上的操作位置。如此，在控制端控制多个被控端的情况下，不需要控制端确定操作行为在第二画面的第一操作位置在每个被控端的第一画面上映射的操作位置，节省控制端的计算资源，避免向被控端发送操作信令时发生延迟，保证发送的操作信令的实时性。

在另一些实施例中，所述位置信息包括校准后的操作位置；其中，所述校准后的操作位置是利用所述位置校准参数对所述操作行为在所述第二画面的第一操作位置进行校准而得到的。

也就是说，控制端向被控端发送的操作信令中包含校准后的操作位置。如此，不需要被控端再次计算，直接对操作位置进行定位。

在一些实施例中，所述第一特征参数至少包括：所述第一画面的第一显示参数和用于展示所述第一画面的应用的第一版本；所述第二特征参数至少包括：所述第二画面的第二显示参数和用于展示所述第二画面的应用的第二版本；相应地，控制端通过以下步骤获取所述位置校准参数，包括：根据所述第一版本、所述第一显示参数、所述第二版本和所述第二显示参数，确定所述第一画面和所述第二画面的相对位置差值；确定所述相对位置差值为所述位置校准参数。

第一画面为被控端的的操作画面，第一显示参数可以为被控端的操作画面的尺寸大小或缩放比例等；第二画面为控制端的操作画面，第二显示参数可以为控制端的操作画面的尺寸大小或缩放比例等。可以理解地，操作画面并不一定是控制端和被控端上显示的整个画面。例如，被控端的的操作画面全屏显示时，第二画面是控制端上显示的整个画面；被控端的操作画面没有全屏显示时，第一画面不是在控制端上显示的整个画面。

步骤407，控制端根据所述操作行为的行为信息，生成所述操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；

步骤408，控制端向服务器发送所述操作信令；

步骤409，服务器转发所述操作信令给被控端；

步骤410，被控端解析所述操作信令，得到所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识；

步骤411，被控端根据所述操作行为在所述第二画面的位置信息，确定所述操作行为映射在所述第一画面上的操作位置；

步骤412，被控端根据所述操作行为的类型，对所述操作行为映射在所述第一画面上的操作位置和/或所述元素的标识对应的元素进行逻辑渲染，以在所述第一画面上模拟响应所述操作行为。

在一些实施例中，通过控件赋值或模拟事件派发的方式进行逻辑渲染。控件赋值是指将控制端的操作行为确定的值赋值给被控端，例如，在控制端进行表单操作，在控制端的表格中输入ADCD，相当于把ABCD直接赋值给被控端，被控端的表格中也输入ABCD；又例如，要在多个选项中选择一个，多个选项例如苹果、香蕉、草莓，控制端选中草莓，把草莓对应的值发给被控端，被控端会选中草莓；模拟事件派发是指被控端根据操作信令模拟事件派发，比如控制端滚动浏览器页面，则被控端根据操作信令派发滚动浏览器事件。

本申请实施例提供一种远程控制方法，图5为本申请实施例提供的远程控制方法的另一实现流程示意图，如图5所示，该方法可以包括以下步骤501至步骤512：

步骤501，被控端确定当前显示的第一画面的相关特征，从而得到第一特征参数；

步骤502，被控端发送所述第一特征参数给服务器；

步骤503，服务器确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

步骤504，服务器确定第一特征参数和第二特征参数是否满足远程控制条件，如果是，则执行步骤505；否则，向控制端和被控端发送不满足远程控制条件的提示信息；

步骤505，服务器向控制端发送满足远程控制条件的提示信息；

步骤506，控制端响应于对所述第二画面的操作行为，获取所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识、所述操作行为对应的附加信息；

步骤507，控制端将操作行为的行为信息发送给服务器；

步骤508，服务器根据操作行为的行为信息，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；

步骤509，服务器发送所述操作信令给被控端；

步骤510，被控端解析所述操作信令，得到所述操作行为的行为信息；

步骤511，被控端根据所述操作行为在所述第二画面的位置信息，确定所述操作行为映射在所述第一画面上的操作位置；

步骤512，被控端根据所述操作行为的类型和所述操作行为对应的附加信息，对所述操作行为映射在所述第一画面上的操作位置和/或所述元素的标识对应的元素进行逻辑渲染，以在所述第一画面上模拟响应所述操作行为。

相关的远程控制技术是将键盘按键指令和鼠标操作信令传送给远程电脑，同时将远程被控端的电脑画面通过通信线路回传实现。然而，相关远程控制中需要传输实时图像，对传输成本要求较高，对网络依赖较大，在网络条件差的情况下会造成丢帧、延迟、卡帧、花屏等问题；带宽占用量大，对服务器性能要求较高；回放通过视频录制，产生的文件大，存储和传输成本高。

基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例的目的在于提供一种在浏览器中进行远程控制的方法，通过在操作端前端操作，在信令服务器(发送控制信号的服务器)端转发，在被操作端前端接收和还原操作，实现网页远程操作的效果，并最大程度节省用户和服务器带宽；而且通过在信令服务器端对于信令的录制，可以用于操作的录制和回放。

图6为本申请实施例提供的远程控制方法的再一实现流程示意图，如图6所示，操作端(即控制端)和被操作端(即被控端)需要分别初始化前端JS(JavaScript)代码并传入当前端角色，由操作端向信令服务器申请room ID，被操作端可以根据room ID进入相同房间，这时操作端和被操作端的浏览器已分别与信令服务器进行通信并建立socket长连接，准备进行数据交换，后续的数据交互都将通过信令服务为对端进行转发。

双端的数据依赖信令消息传递，信令的数据结构(即操作行为的行为信息)会根据功能划分为不同类型：如初始化信令、鼠标移动信令、滚动信令、按钮点击信令、表单信令、音视频操作信令和/或画布信令等，根据信令类型不同则具体数据也不同。

建立连接之初，操作端会利用浏览器的文档对象模型(Document Object Model，DOM)应用程序编程接口(Application Programming Interface，API)侦听用户的所有操作行为，并设置操作数据发送处理方法进行提炼和发送行为数据。操作端和被操作端的前端脚本还要分别收集并向对端发送初始化信令，消息数据包含但不限于当前页面地址、用户浏览器版本、用户屏幕相关信息，页面滚动高度信息。在双方脚本互相确认所在页面和信息相同的前提下，可开始进行数据通信。

根据操作的控件不同，当操作端进行操作时，操作端的前端脚本会收集用户控件的主要特征信息进行提取，并与当前元素的可扩展标记路径语言(XML Path Language，Xpath)当前的时间戳等信息发送给信令服务器，信令服务器收到信令后进行分发，被操作端的前端脚本接收到信令后进行解析，根据信令类型进行逻辑渲染，并在被操作端通过给控件赋值、模拟浏览器派发事件等方法模拟出用户的操作行为。

图7为本申请实施例提供的远程控制方法的另一流程示意图，如图7所示，如果需要操作回放服务，在信令服务器端也可以配置将接收到的信令内容进行对象存储至数据库操作。当需要回放还原操作时，可使被操作端连接信令服务器，给信令服务器发送信令回放指令，使信令服务器开始主动下发已存储的操作信令，信令服务器按每条信令的时间戳数据计算出每条信令之间的时间间隔，并根据间隔时间下发信令给被操作端，被操作端接收到存储的信令，在被操作端的网站上解析信息，并在被操作端执行操作信令，即相当于回放(而不是录制)，发送的时间是操作端的动作时间，而不是被操作端接收到的时间(避免时间延误)。在回放过程中，由于浏览器上设置有焦点位置，即便在回放过程中被操作端页面进行了滚动，当下一个信令到来的时候也还是会自动回到信令对应的位置。被操作端收到信令服务器发来的事件之后开始解析，同样通过给控件赋值、模拟浏览器派发事件等方法来模拟出用户的操作行为，从而达到回放的目的。

本申请实施例使用信令数据的方式进行发送和存储关键操作点，再用被操作端脚本进行解析和还原过程。

基于前述的实施例，本申请实施例提供一种远程控制装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图8为本申请实施例远程控制装置的结构示意图，如图8所示，所述装置800包括第一接收模块801、第一确定模块802、生成模块803和第一发送模块804，其中：

第一接收模块801，用于接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；

第一确定模块802，用于确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

生成模块803，用于在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及

第一发送模块804，用于向所述被控端发送所述操作信令。

在一些实施例中，控制装置还包括回放模块，用于将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间信息进行关联存储；接收所述被控端发送的回放请求；响应于所述回放请求，根据存储的每一所述操作信令的时间信息，依次向所述被控端发送每一所述操作信令。

在一些实施例中，所述时间信息为时间戳；相应地，回放模块，用于根据相邻的两个操作信令对应的时间戳，确定所述相邻的两个操作信令对应的操作行为的操作时间间隔；根据所述操作时间间隔，依次向所述被控端发送所述相邻的两个操作信令。

在一些实施例中，生成模块803，用于响应于对所述第二画面的操作行为，获取所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识、所述操作行为对应的附加信息；根据所述操作行为的行为信息，生成所述操作信令。在一些实施例中，所述位置信息包括所述操作行为在所述第二画面的第一操作位置和位置校准参数；其中，所述位置校准参数用于校准所述第一操作位置映射在所述第一画面上的操作位置；或者，所述位置信息包括校准后的操作位置；其中，所述校准后的操作位置是利用所述位置校准参数对所述操作行为在所述第二画面的第一操作位置进行校准而得到的。

在一些实施例中，所述第一特征参数至少包括：所述第一画面的第一显示参数和用于展示所述第一画面的应用的第一版本；所述第二特征参数至少包括：所述第二画面的第二显示参数和用于展示所述第二画面的应用的第二版本；相应地，所述生成模块803，用于根据所述第一版本、所述第一显示参数、所述第二版本和所述第二显示参数，确定所述第一画面和所述第二画面的相对位置差值；确定所述相对位置差值为所述位置校准参数。

在一些实施例中，所述第一特征参数包括所述第一画面的网址，所述第二特征参数包括所述第二画面的网址；相应地，所述生成模块803，用于在所述第一画面的网址和所述第二画面的网址相同的情况下，确定所述第一特征参数和所述第二特征参数满足所述远程控制条件。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

基于前述的实施例，本申请实施例提供一种被控装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图9为本申请实施例被控装置的结构示意图，如图9所示，所述装置900包括第二确定模块901、第二发送模块902、第二接收模块903和执行模块904，其中：

第二确定模块901，用于确定被控端当前显示的第一画面的相关特征，从而得到第一特征参数；

第二发送模块902，用于发送所述第一特征参数给控制端或服务器；

第二接收模块903，用于接收操作信令；其中，所述操作信令是在所述第一特征参数和第二特征参数满足远程控制条件的情况下，控制端或服务器响应于对所述控制端当前显示的第二画面的操作行为而生成的；所述第二特征参数用于表征所述第二画面的相关特征；

执行模块904，用于根据所述操作信令，对所述第一画面执行所述操作行为。

在一些实施例中，执行模块904，用于解析所述操作信令，得到所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识、所述操作行为对应的附加信息；根据所述操作行为在所述第二画面的位置信息，确定所述操作行为映射在所述第一画面上的操作位置；根据所述操作行为的类型和所述操作行为对应的附加信息，对所述操作行为映射在所述第一画面上的操作位置和/或所述元素的标识对应的元素进行逻辑渲染，以在所述第一画面上模拟响应所述操作行为。

需要说明的是，本申请实施例中图8所示的远程控制装置和图9所示的被控装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

本申请实施例提供一种电子设备，图10为本申请实施例的电子设备的硬件实体示意图，如图10所示，所述电子设备100包括存储器101和处理器102，所述存储器101存储有可在处理器102上运行的计算机程序，所述处理器102执行所述程序时实现上述实施例中提供的属于远程控制端的步骤，或者，所述处理器102执行所述程序时实现上述实施例中提供的属于被控端的步骤。

需要说明的是，存储器101配置为存储由处理器102可执行的指令和应用，还可以缓存待处理器102以及电子设备100中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的属于远程控制端的步骤，或者，执行实现上述实施例提供的属于被控端的步骤。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的属于远程控制端的步骤，或者，执行实现上述实施例提供的属于被控端的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种远程控制方法，其特征在于，所述方法包括：

接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；

确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及

向所述被控端发送所述操作信令。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将远程控制过程中生成的操作信令以及所述操作信令对应的操作行为的时间信息进行关联存储；

相应地，所述方法还包括：

接收所述被控端发送的回放请求；

响应于所述回放请求，根据存储的每一所述操作信令的时间信息，依次向所述被控端发送每一所述操作信令。

3.根据权利要求2所述的方法，其特征在于，所述时间信息为时间戳；相应地，所述根据存储的每一所述操作信令的时间信息，依次向所述被控端发送每一所述操作信令，包括：

根据相邻的两个操作信令对应的时间戳，确定所述相邻的两个操作信令对应的操作行为的操作时间间隔；

根据所述操作时间间隔，依次向所述被控端发送所述相邻的两个操作信令。

4.根据权利要求1所述的方法，其特征在于，所述响应于对所述第二画面的操作行为，生成操作信令，包括：

响应于对所述第二画面的操作行为，获取所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识；

根据所述操作行为的行为信息，生成所述操作信令。

5.根据权利要求4所述的方法，其特征在于，所述位置信息包括所述操作行为在所述第二画面的第一操作位置和位置校准参数；其中，所述位置校准参数用于校准所述第一操作位置映射在所述第一画面上的操作位置；或者，

所述位置信息包括校准后的操作位置；其中，所述校准后的操作位置是利用所述位置校准参数对所述操作行为在所述第二画面的所述第一操作位置进行校准而得到的。

6.根据权利要求5所述的方法，其特征在于，所述第一特征参数至少包括：所述第一画面的第一显示参数和用于展示所述第一画面的应用的第一版本；所述第二特征参数至少包括：所述第二画面的第二显示参数和用于展示所述第二画面的应用的第二版本；

相应地，获取所述位置校准参数，包括：

根据所述第一版本、所述第一显示参数、所述第二版本和所述第二显示参数，确定所述第一画面和所述第二画面的相对位置差值；

确定所述相对位置差值为所述位置校准参数。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一特征参数包括所述第一画面的网址，所述第二特征参数包括所述第二画面的网址；

所述方法还包括：

在所述第一画面的网址和所述第二画面的网址相同的情况下，确定所述第一特征参数和所述第二特征参数满足所述远程控制条件。

8.一种被控制方法，其特征在于，所述方法包括：

确定被控端当前显示的第一画面的相关特征，从而得到第一特征参数；

发送所述第一特征参数给控制端或服务器；

接收操作信令；其中，所述操作信令是在所述第一特征参数和第二特征参数满足远程控制条件的情况下，控制端或服务器响应于对所述控制端当前显示的第二画面的操作行为而生成的；所述第二特征参数用于表征所述第二画面的相关特征；

根据所述操作信令，对所述第一画面执行所述操作行为。

9.根据权利要求8所述的方法，其特征在于，所述根据所述操作信令，对所述第一画面执行所述操作行为，包括：

解析所述操作信令，得到所述操作行为的行为信息；其中，所述行为信息至少包括以下之一：所述操作行为的类型、所述操作行为在所述第二画面的位置信息、所述操作行为操作的元素的标识；

根据所述操作行为在所述第二画面的位置信息，确定所述操作行为映射在所述第一画面上的操作位置；

根据所述操作行为的类型，对所述操作行为映射在所述第一画面上的操作位置和/或所述元素的标识对应的元素进行逻辑渲染，以在所述第一画面上模拟响应所述操作行为。

10.一种远程控制装置，其特征在于，包括：

第一接收模块，用于接收被控端发送的第一特征参数；所述第一特征参数用于表征所述被控端当前显示的第一画面的相关特征；

第一确定模块，用于确定控制端当前显示的第二画面的相关特征，从而得到第二特征参数；

生成模块，用于在所述第一特征参数和所述第二特征参数满足远程控制条件的情况下，响应于对所述第二画面的操作行为，生成操作信令；其中，所述操作信令用于控制所述被控端对所述第一画面执行所述操作行为；以及

第一发送模块，用于向所述被控端发送所述操作信令。

11.一种被控装置，其特征在于，包括：

第二确定模块，用于确定被控端当前显示的第一画面的相关特征，从而得到第一特征参数；

第二发送模块，用于发送所述第一特征参数给控制端或服务器；

第二接收模块，用于接收操作信令；其中，所述操作信令是在所述第一特征参数和第二特征参数满足远程控制条件的情况下，控制端或服务器响应于对所述控制端当前显示的第二画面的操作行为而生成的；所述第二特征参数用于表征所述第二画面的相关特征；

执行模块，用于根据所述操作信令，对所述第一画面执行所述操作行为。

12.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法，或者，所述处理器执行所述程序时实现权利要求8或9所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法，或者，该计算机程序被处理器执行时实现如权利要求8或9所述的方法。

Images