CN114327737A - 一种远程辅助方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种远程辅助方法、装置及系统，第一客户端接收第一用户输入的辅助指令，获取包含第一用户操作的应用程序当前的显示内容的目标图像，向第二客户端发送目标图像。第二客户端接收第二用户输入的针对显示的目标图像的标记指令，确定标记指令在第二客户端的显示界面中指示的第一标记位置；基于第二客户端的显示界面与应用程序的显示界面之间的位置映射关系，确定第一标记位置在应用程序的显示界面中对应的第二标记位置，向第一客户端发送第二标记位置。第一客户端在应用程序的显示界面中第二标记位置处进行标记，以提醒第一用户在第二标记位置处进行操作，可以在一定程度上避免用户隐私泄露，并提高远程辅助方法的适用范围。

Description

一种远程辅助方法、装置及系统

技术领域

本发明涉及互联网技术领域，特别是涉及一种远程辅助方法、装置及系统。

背景技术

随着移动终端和移动网络的快速发展，用户进行业务办理的方式逐渐从线下业务办理转移到线上业务办理。在用户针对新型业务进行线上办理时，可能会因为对办理新型业务的操作流程不熟悉，导致无法完成业务办理。因此，需要对用户进行远程辅助，以帮助用户完成业务办理。相关技术中，为了帮助用户完成业务办理，基于远程桌面技术，实现客服人员远程控制用户使用的客户端进行操作，以完成相应业务的办理。

然而，客服人员基于远程桌面技术对用户进行远程辅助时，同一时间只允许一方在客户端进行操作，例如，客服人员远程控制用户使用的客户端进行操作时，用户无法在其使用的客户端进行操作。客服人员远程控制用户使用的客户端进行操作可能会导致用户隐私泄露，并且用户在进行一些业务（例如，银行业务）办理时，只能用户本人进行操作，则无法由客服人员远程控制用户使用的客户端进行操作，即相关技术中，基于远程桌面技术的远程辅助方法的适用范围较窄。

发明内容

本发明实施例的目的在于提供一种远程辅助方法、装置及系统，以在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规，并提高远程辅助方法的适用范围，第一用户和第二用户可以同时操作各自使用的客户端，可以提高用户体验。具体技术方案如下：

第一方面，为了达到上述目的，本发明实施例提供了一种远程辅助系统，所述系统包括：第一客户端和第二客户端，其中，

所述第一客户端，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像，并向所述第二客户端发送所述目标图像；

所述第二客户端，用于显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；并向所述第一客户端发送所述第二标记位置；

所述第一客户端，还用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

第二方面，为了达到上述目的，本发明实施例提供了一种远程辅助方法，所述方法应用于第一客户端，所述方法包括：当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像；向第二客户端发送所述目标图像，以使所述第二客户端显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置，并向所述第一客户端发送所述第二标记位置；在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述获取包含所述第一用户操作的应用程序当前的显示内容的目标图像，包括：若所述第一用户操作的应用程序未在后台运行，获取包含所述应用程序当前的显示内容的图像，作为目标图像；

所述方法还包括：若检测到所述应用程序切换至后台运行，获取预设图像，作为目标图像。

可选的，所述获取包含所述应用程序当前的显示内容的图像，作为目标图像，包括：按照第一图像维度，获取包含所述应用程序当前的显示内容的图像帧，作为第一图像帧；当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像；其中，所述第二图像维度小于所述第一图像维度。

可选的，所述当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像，包括：当检测到当前与所述第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，得到目标图像；当检测到当前与所述第二客户端之间的网络状态达到第二预设网络状态时，对各第一图像帧进行采样处理，得到第二图像帧；降低各第二图像帧的分辨率，得到目标图像。

可选的，所述方法还包括：当接收到用户输入的辅助指令时，获取第一用户的音频数据，向所述第二客户端发送所述第一用户的音频数据，以使所述第二客户端播放接收到的所述第一用户的音频数据；播放接收到的所述第二客户端发送的所述第二用户的音频数据。

第三方面，为了达到上述目的，本发明实施例提供了一种远程辅助方法，所述方法应用于第二客户端，所述方法包括：在接收到第一客户端发送的目标图像时，显示所述目标图像；其中，所述目标图像为：所述第一客户端在接收到第一用户输入的辅助指令时，获取的包含所述第一用户操作的应用程序当前的显示内容的图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述标记指令中携带有标记内容；

所述向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作，包括：向所述第一客户端发送所述第二标记位置和所述标记内容，以使所述第一客户端在接收到所述第二标记位置和所述标记内容时，按照所述标记内容，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户按照所述标记内容，在所述第二标记位置处进行操作。

第四方面，为了达到上述目的，本发明实施例提供了一种远程辅助装置，所述装置应用于第一客户端，所述装置包括：第一获取模块，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像；发送模块，用于向第二客户端发送所述目标图像，以使所述第二客户端显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置，并向所述第一客户端发送所述第二标记位置；标记模块，用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述第一获取模块，具体用于若所述第一用户操作的应用程序未在后台运行，获取包含所述应用程序当前的显示内容的图像，作为目标图像；

所述装置还包括：第二获取模块，用于若检测到所述应用程序切换至后台运行，获取预设图像，作为目标图像。

可选的，所述第一获取模块，具体用于按照第一图像维度，获取包含所述应用程序当前的显示内容的图像帧，作为第一图像帧；当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像；其中，所述第二图像维度小于所述第一图像维度。

可选的，所述第一获取模块，具体用于当检测到当前与所述第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，得到目标图像；当检测到当前与所述第二客户端之间的网络状态达到第二预设网络状态时，对各第一图像帧进行采样处理，得到第二图像帧；降低各第二图像帧的分辨率，得到目标图像。

可选的，所述装置还包括：第三获取模块，用于当接收到用户输入的辅助指令时，获取第一用户的音频数据，向所述第二客户端发送所述第一用户的音频数据，以使所述第二客户端播放接收到的所述第一用户的音频数据；播放接收到的所述第二客户端发送的所述第二用户的音频数据。

第五方面，为了达到上述目的，本发明实施例提供了一种远程辅助装置，所述装置应用于第二客户端，所述装置包括：显示模块，用于在接收到第一客户端发送的目标图像时，显示所述目标图像；其中，所述目标图像为：所述第一客户端在接收到第一用户输入的辅助指令时，获取的包含所述第一用户操作的应用程序当前的显示内容的图像；确定模块，用于当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；映射模块，用于基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；发送模块，用于向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述标记指令中携带有标记内容；

所述发送模块，具体用于向所述第一客户端发送所述第二标记位置和所述标记内容，以使所述第一客户端在接收到所述第二标记位置和所述标记内容时，按照所述标记内容，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户按照所述标记内容，在所述第二标记位置处进行操作。

本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第二方面，或者上述第三方面任一所述的远程辅助方法步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面，或者上述第三方面任一所述的远程辅助方法步骤。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面，或者上述第三方面任一所述的远程辅助方法。

本发明实施例有益效果：

本发明实施例提供技术方案，第一客户端当接收到第一用户输入的辅助指令时，获取包含第一用户操作的应用程序当前的显示内容的目标图像，并向第二客户端发送目标图像。第二客户端显示接收到的目标图像；当接收到第二用户输入的针对目标图像的标记指令时，确定标记指令在第二客户端的显示界面中指示的第一标记位置；基于第二客户端的显示界面与应用程序的显示界面之间的位置映射关系，确定第一标记位置在应用程序的显示界面中对应的第二标记位置；并向第一客户端发送第二标记位置。第一客户端在接收到第二标记位置时，在应用程序的显示界面中第二标记位置处进行标记，以提醒第一用户在第二标记位置处进行操作。

基于上述处理，第一客户端向第二客户端发送的目标图像中，包含第一用户操作的应用程序当前的显示内容，第一用户操作的应用程序当前的显示内容可以表示用户当前的操作状态，即可以向使用第二客户端的第二用户反馈第一用户当前的操作状态。第二用户可以基于第一用户当前的操作状态，在第二客户端显示的目标图像中第一用户需要进行操作的操作位置进行标记，第一标记位置表示目标图像中第一用户需要进行操作的操作位置。进而，基于第一标记位置确定的第二标记位置表示第一用户需要在应用程序中进行操作的操作位置，即可以通过第二标记位置直观的为第一用户标识出操作位置，实现远程辅助第一用户完成操作。第二客户端向第一客户端发送第二标记位置，由第一用户在第一客户端根据第二标记位置独立进行相应操作，可以在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规，并提高远程辅助方法的适用范围。并且，不会因为第二用户远程控制第一客户端影响第一用户在第一客户端的操作，即第一用户和第二用户可以同时操作各自使用的客户端，可以提高用户体验。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的一种远程辅助方法的流程图；

图2为本发明实施例提供的另一种远程辅助方法的流程图；

图3为本发明实施例提供的另一种远程辅助方法的流程图；

图4为本发明实施例提供的另一种远程辅助方法的流程图；

图5为本发明实施例提供的一种远程辅助系统的结构图；

图6为本发明实施例提供的另一种远程辅助方法的流程图；

图7为本发明实施例提供的一种通信方法的流程图；

图8为本发明实施例提供的一种远程辅助装置的结构图；

图9为本发明实施例提供的另一种远程辅助装置的结构图；

图10为本发明实施例提供的电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，为了帮助用户完成业务办理，基于远程桌面技术，实现客服人员远程控制用户使用的客户端进行操作，以完成相应业务的办理。然而，客服人员基于远程桌面技术对用户进行远程辅助时，同一时间只允许一方在客户端进行操作，例如，客服人员远程控制用户使用的客户端进行操作时，用户无法在其使用的客户端进行操作。客服人员远程控制用户使用的客户端进行操作可能会导致用户隐私泄露，并且用户在进行一些业务（例如，银行业务）办理时，只能用户本人进行操作，则无法由客服人员远程控制用户使用的客户端进行操作，即相关技术中，基于远程桌面技术的远程辅助方法的适用范围较窄。

为了解决上述问题，参见图1，图1为本发明实施例提供的一种远程辅助方法的流程图，该方法应用于远程辅助系统，远程辅助系统包括：第一客户端和第二客户端，该方法包括以下步骤：

S101：第一客户端当接收到第一用户输入的辅助指令时，获取包含第一用户操作的应用程序当前的显示内容的目标图像。

S102：第一客户端向第二客户端发送目标图像。

S103：第二客户端显示接收到的目标图像。

S104：第二客户端当接收到第二用户输入的针对目标图像的标记指令时，确定标记指令在第二客户端的显示界面中指示的第一标记位置。

S105：第二客户端基于第二客户端的显示界面与应用程序的显示界面之间的位置映射关系，确定第一标记位置在应用程序的显示界面中对应的第二标记位置。

S106：第二客户端向第一客户端发送第二标记位置。

S107：第一客户端在接收到第二标记位置时，在应用程序的显示界面中第二标记位置处进行标记，以提醒第一用户在第二标记位置处进行操作。

基于本发明实施例提供的远程辅助方法，第一客户端向第二客户端发送的目标图像中，包含第一用户操作的应用程序当前的显示内容，第一用户操作的应用程序当前的显示内容可以表示用户当前的操作状态，即可以向使用第二客户端的第二用户反馈第一用户当前的操作状态。第二用户可以基于第一用户当前的操作状态，在第二客户端显示的目标图像中第一用户需要进行操作的操作位置进行标记，第一标记位置表示目标图像中第一用户需要进行操作的操作位置。进而，基于第一标记位置确定的第二标记位置表示第一用户需要在应用程序中进行操作的操作位置，即可以通过第二标记位置直观的为第一用户标识出操作位置，实现远程辅助第一用户完成操作。第二客户端向第一客户端发送第二标记位置，由第一用户在第一客户端根据第二标记位置独立进行相应操作，可以在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规，并提高远程辅助方法的适用范围。并且，不会因为第二用户远程控制第一客户端影响第一用户在第一客户端的操作，即第一用户和第二用户可以同时操作各自使用的客户端，可以提高用户体验。

针对步骤S101，第一客户端和第二客户端均可以为手机、电脑等。第一用户可以为进行线上业务办理的用户。第一客户端为第一用户使用的客户端，第一用户操作的应用程序（可以称为第一应用程序）为第一用户进行线上业务办理所使用的应用程序。第一应用程序可以安装于第一客户端，或者，第一应用程序也可以运行于第一客户端中的浏览器，本发明实施例中不做具体限定。

第二用户可以为对第一用户提供远程辅助的工作人员，例如，第一用户在进行银行业务办理时，第二用户可以为银行的客服人员，第一用户在进行证券业务办理时，第二用户可以为证券公司的客服人员。

第二客户端可以为第二用户在为第一用户提供远程辅助时使用的客户端。第二客户端中可以安装有用于为用户提供远程辅助的应用程序（可以称为第二应用程序），第二用户可以通过第二客户端中安装的第二应用程序为用户提供远程辅助。

或者，第二应用程序也可以以H5（HTML5，第5版超文本标记语言）应用的形式运行于第二客户端中的Web浏览器，第二用户可以通过第二客户端中的Web浏览器为对第一用户进行远程辅助，不需要开发安装于第二客户端的第二应用程序，可以节省开发成本，并方便第二用户操作，并提高远程辅助的效率。

第一用户在使用第一客户端中的第一应用程序进行线上业务办理时，由于不熟悉进行线上业务办理的操作流程，可能会遇到各种操作问题，例如，第一用户需要使用某一功能时，找不到该功能的入口。此时，第一用户可以使用第一客户端提供的远程辅助功能，也就是第一用户可以向第一客户端输入辅助指令，以使第一客户端基于本发明实施例提供的方法为第一用户提供远程辅助，以帮助第一用户完成业务办理。

一种实现方式中，第一客户端的显示界面中可以设置有“远程辅助”操作按钮，当第一用户需要远程辅助时，第一用户可以点击该操作按钮，以向第一客户端输入辅助指令。

相应的，在接收到第一用户输入的远程辅助指令时，第一客户端可以确定第一用户当前需要远程辅助，第一客户端需要获取第一用户当前的操作状态，即获取包含第一用户操作的第一应用程序当前的显示内容的目标图像，第一用户操作的第一应用程序当前的显示内容可以表示第一用户当前的操作状态。

一种实现方式中，确定用户当前需要远程辅助时，第一客户端可以向第二客户端发送基于WebRTC（Web Real-Time Communication，网页实时通信）协议的连接请求。第二客户端在接收到连接请求时，可以显示用于提醒第二用户对第一用户进行远程辅助的提醒消息。第二用户可以向第二客户端输入接受连接指令。在接收到接受连接指令时，第二客户端可以向第一客户端发送连接响应。在接收到第二客户端发送的连接响应时，第一客户端与第二客户端成功建立通信连接。后续，第一客户端与第二客户端可以基于建立的通信连接进行通信。

为了向第一用户提供符合需求的远程辅助，第一客户端可以调用屏幕信息录制接口，以录屏的方式，实时获取第一客户端的显示屏幕中当前的显示内容，由于第一用户当前在第一客户端操作第一应用程序，第一客户端的显示屏幕中当前的显示内容为第一应用程序当前的显示内容。也就是第一客户端以录屏的方式，实时获取包含第一应用程序当前的显示内容的多个图像帧（即后续实施例中的第一图像帧），基于该多个图像帧得到目标图像。

当第一客户端为移动终端时，第一客户端可以通过操作系统（例如，安卓系统）提供的屏幕信息录制接口，以录屏的方式，实时获取包含移动终端的显示屏幕当前的显示内容的多个图像帧，得到包含第一应用程序当前的显示内容的多个图像帧。当第一客户端为PC（Personal Computer，个人电脑）端，且第一应用程序安装于第一客户端时，第一客户端可以基于OBS（Open Broadcaster Software，开放广播软件），以录屏的方式，实时获取包含PC端的显示屏幕中当前的显示内容的图像帧，得到包含第一应用程序当前的显示内容的多个图像帧。当第一客户端为PC端，且第一应用程序运行于PC端中的web浏览器时，第一客户端可以基于WebRTC协议提供的窗口共享接口，以录屏的方式，实时获取包含PC端的显示屏幕中当前的显示内容的图像帧，得到包含第一应用程序当前的显示内容的多个图像帧。

由于第一客户端与第二客户端建立基于WebRTC协议的通信连接，第一客户端可以按照WebRTC协议对应的指定编码方式对获取到的各第一图像帧进行编码，得到WebRTC协议支持的数据格式的视频图像，作为目标图像。例如，指定编码方式可以为H.264（高度压缩数字视频编解码方式），或者也可以为VP8（一种视频压缩编码方式）等，本发明实施例中不做具体限定。

基于上述处理，可以实时获取表示第一用户当前的操作状态的目标图像，也就是可以实时向第二用户共享第一用户当前的操作状态，直观的向第二用户反馈第一用户当前的操作状态，使得第二用户提供第一用户需要的远程辅助，可以提高用户体验。

在本发明的一个实施例中，在图1的基础上，参见图2，步骤S101可以包括以下步骤：

S1011：第一客户端当接收到第一用户输入的辅助指令时，若第一用户操作的应用程序未在后台运行，获取包含应用程序当前的显示内容的图像，作为目标图像。

相应的，该方法还可以包括以下步骤：

S108：第一客户端若检测到应用程序切换至后台运行，获取预设图像，作为目标图像。

在第一客户端在请求第二客户端远程辅助的过程中，第一用户可能会打开第一客户端中的其他应用程序，并将第一应用程序切换至后台运行状态。第一应用程序在后台运行时，第一客户端的显示屏幕中显示的不是第一应用程序的显示界面。由于第一客户端获取包含第一应用程序当前的显示内容的第一图像帧时，按照录屏的方式，实时获取第一客户端的显示屏幕中的显示内容。第一应用程序在后台运行时，第一客户端仍按照录屏的方式，实时获取第一客户端的显示屏幕中的显示内容，获取到的是其他应用程序的显示内容。

为了保护第一用户的隐私信息，避免获取到其他应用程序的显示内容，第一客户端可以检测第一应用程序的运行状态，若第一应用程序未在后台运行，则按照录屏的方式，实时获取第一客户端的显示屏幕中的显示内容，也就是获取包含第一应用程序当前的显示内容的目标图像。若检测到应用程序切换至后台运行时，第一客户端可以获取预设图像，作为目标图像。

基于上述处理，第一客户端可以仅获取包含第一用户操作的第一应用程序当前的显示内容的目标图像，避免获取其他应用程序的显示内容。进而可以仅向第二客户端共享第一用户当前操作的第一应用程序的显示界面，可以保护第一用户的隐私信息，在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规。

在本发明的一个实施例中，在图2的基础上，参见图3，步骤S1011可以包括以下步骤：

S10111：第一客户端当接收到第一用户输入的辅助指令时，若第一用户操作的应用程序未在后台运行，按照第一图像维度，获取包含应用程序当前的显示内容的图像帧，作为第一图像帧。

S10112：第一客户端当检测到当前与第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像。

其中，第二图像维度小于第一图像维度。

第一图像维度包括第一分辨率和第一帧率。第一分辨率表示获取的第一图像帧的分辨率。第一帧率表示获取到的第一图像帧的数目。

在接收到第一用户输入的辅助指令时，第一客户端可以按照第一图像维度，实时获取包含应用程序当前的显示内容的第一图像帧，即按照第一帧率，获取第一分辨率的第一图像帧，并基于获取到的第一图像帧生成目标图像，并向第二客户端发送目标图像。

在第一客户端与第二客户端进行通信的过程中，第一客户端可以检测与第二客户端之间的网络状态，以确定与第二客户端之间的通信质量。例如，第一客户端基于当前与第二客户端进行通信的带宽、网络时延和丢包率等，确定当前与第二客户端之间的网络状态。

预设网络状态表示第一客户端与第二客户端之间的通信质量较差。预设网络状态可以表示第一客户端与第二客户端进行通信的网络时延较大，例如，第一客户端与第二客户端进行通信的网络时延为100ms。或者，预设网络状态可以表示第一客户端与第二客户端进行通信的丢包率较大，例如，第一客户端与第二客户端进行通信的丢包率为1%。

当检测到当前与第二客户端之间的网络状态达到预设网络状态时，表明当前与第二客户端之间的通信质量较差，为了保障发送至第二客户端的目标图像的画面质量和通信稳定性，第一客户端可以按照第二图像维度对各第一图像帧进行处理，得到目标图像。

第二图像维度包括第二分辨率和第二帧率。第二分辨率小于第一分辨率。第二帧率小于第一帧率。按照第二图像维度对各第一图像帧进行处理，可以是按照第二帧率对各第一图像帧进行采样处理，并对采样得到的第一图像帧进行编码得到目标图像。或者也可以是将各第一图像帧的分辨率调整为第二分辨率，并对第二分辨率的第一图像帧进行编码得到目标图像。

在本发明的一个实施例中，步骤S10112可以包括以下步骤：

步骤1，第一客户端当检测到当前与第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，得到目标图像。

步骤2，第一客户端当检测到当前与第二客户端之间的网络状态达到第二预设网络状态时，对各第一图像帧进行采样处理，得到第二图像帧；降低各第二图像帧的分辨率，得到目标图像。

第二预设网络状态表示的第一客户端与第二客户端进行通信的网络质量，低于第二预设网络状态表示的第一客户端与第二客户端进行通信的网络质量，例如，第一预设网络状态表示第一客户端与第二客户端进行通信的网络时延为100ms，第二预设网络状态表示第一客户端与第二客户端进行通信的网络时延为200ms。

第一客户端当检测到当前与第二客户端之间的网络状态达到第一预设网络状态时，可以按照第二帧率对各第一图像帧进行采样处理，也就是从获取到的各第一图像帧中选取预设数目个图像帧，并对选取的第一图像帧进行编码得到目标图像。基于此，可以减少向第二客户端发送的图像帧的数目，以保障第二客户端接收到的目标图像的画面质量和通信稳定性。

如果检测到当前与第二客户端之间的网络状态达到第二预设网络状态，第一客户端可以按照第二帧率对各第一图像帧进行采样处理，得到第二图像帧。然后，第一客户端可以将各第二图像帧的分辨率调整为第二分辨率，并对第二分辨率的第二图像帧进行编码得到目标图像。

一种实现方式中，在获取到每一第一图像帧时，第一客户端可以基于该第一图像帧，生成第二分辨率的备份图像帧，并缓存生成的备份图像帧。在确定出第二图像帧时，第一客户端可以直接获取各第二图像帧对应的备份图像帧，并对第二分辨率的备份图像帧进行编码得到目标图像。另外，在向第二客户端发送目标图像之后，第一客户端可以删除缓存的备份图像帧，可以节省第一客户端的缓存空间。

基于上述处理，第一客户端可以在当前与第二客户端进行通信的通信质量较差时，自动适应网络环境的变化，减少向第二客户端发送的图像帧的数目，和/或，降低向第二客户端发送的图像帧的分辨率，以保障第二客户端接收到的目标图像的画面质量和通信稳定性。

后续，当检测到当前与第二客户端进行通信的通信质量较好时，例如，当前与第二客户端进行通信的网络时延为50ms，第一客户端可以恢复向第二客户端发送的图像帧的数目和分辨率。一种实现方式中，第一客户端可以先恢复向第二客户端发送的图像帧的分辨率，也就是第一客户端按照第一分辨率的第二图像帧生成目标图像。然后，第一客户端可以继续检测当前与第二客户端进行通信的通信质量，当检测到当前与第二客户端进行通信的通信质量较好时，例如，当前与第二客户端进行通信的网络时延为20ms，第一客户端可以恢复向第二客户端发送的图像帧的数目，也就是第一客户端按照获取到的所有第一图像帧（即第一帧率的第一图像帧）生成目标图像。

基于上述处理，可以实现基于不同的网络情况，动态调整向第二客户端发送的图像帧的数目和分辨率，以保障第二客户端接收到的目标图像的画面质量和通信稳定性。

针对步骤S102，为了帮助第一用户完成业务办理，第一客户端可以向第二客户端发送表示第一用户当前的操作状态的目标图像，以使得第二客户端基于接收到的目标图像，按照本发明实施例提供的远程辅助方法为第一用户提供远程辅助。

在第一客户端与第二客户端建立基于WebRTC协议的通信连接的情况下，第一客户端可以按照通过WebRTC协议的视频流数据通道，实时向第二客户端发送目标图像。

由于第一客户端实时向第二客户端发送目标图像，目标图像可以表示第一用户当前的操作状态，可以使得第二用户可以实时观察到第一用户当前的操作状态。第二用户可以根据第一用户当前的操作状态及时的为第一用户提供远程辅助，可以提高远程辅助的效率。

针对步骤S103，第二客户端在接收到第一客户端发送的目标图像时，可以在显示界面中的指定显示区域显示目标图像。指定显示区域可以由技术人员根据经验设置，例如，指定显示区域的大小可以为目标图像的分辨率的大小。或者指定显示区域也可以为第二客户端的显示界面中的全部显示区域，或者指定显示区域的大小也可以为第二客户端的显示界面的百分之五十等，本发明实施例中不做具体限定。

另外，第二客户端还可以根据应用场景需要自动调整指定显示区域的大小，例如，基于目标图像的分辨率，调整指定显示区域的大小。或者，第二用户可以手动调整指定显示区域的大小。在调整指定显示区域的大小时，可以按照指定显示区域的宽度与长度的比值为指定比值，对指定显示区域进行放大或缩小。

基于上述处理，可以基于实际需求调整指定显示区域，即调整显示的目标图像，例如，指定显示区域较小时，可以对指定显示区域进行放大，即对显示的目标图像进行放大，使得第二用户可以清楚的观察到第一用户当前的操作状态，为第一用户提供符合需求的远程辅助，可以提高用户体验。

当目标图像为对各第一图像帧进行编码得到的视频图像时，第二客户端在接收到目标图像时，可以按照指定编码方式对应的指定解码方式对目标图像进行解码，并按照解码得到的图像在指定显示区域进行渲染，以显示目标图像。

针对步骤S104，第二用户可以浏览第二客户端显示的目标图像，基于观察到的第一用户当前的操作状态时，确定目标图像中第一用户需要进行操作的操作位置。进而，第二用户可以在第一用户需要进行操作的操作位置，向第二客户端输入用于远程辅助第一用户进行操作的标记指令，标记指令在第二客户端的显示界面中指示的标记位置（即第一标记位置）表示：目标图像中第一用户需要进行操作的操作位置。

针对步骤S105，在确定第一标记位置时，第二客户端可以基于第二客户端的显示界面与第一应用程序的显示界面之间的位置映射关系，确定第一标记位置在第一应用程序的显示界面中对应的标记位置（即第二标记位置）。第二标记位置表示第一用户需要在第一应用程序中进行操作的操作位置。

第二客户端可以在显示界面中创建坐标系，第一标记位置可以用第二客户端的显示界面中的坐标表示。第二客户端的显示界面与第一应用程序的显示界面之间的位置映射关系，可以为第二客户端的显示界面与第一应用程序的显示界面之间的坐标映射关系。第二客户端可以基于第一标记位置在第二客户端的显示界面中的坐标，以及第二客户端的显示界面与第一应用程序的显示界面之间的坐标映射关系，确定第一标记位置在第一应用程序的显示界面中对应的坐标，确定出的坐标即为第二标记位置。

针对步骤S106，第二客户端可以通过WebRTC协议的dataChannel（数据通道），实时的向第一客户端发送第二标记位置。第二客户端实时的向第一客户端发送第二标记位置，也就是第二客户端按照预设时间间隔向第一客户端发送第二标记位置。预设时间间隔可以为10毫秒，或者也可以为20毫秒，为了使得第一客户端可以及时的获得当前的第二标记位置，预设时间间隔不大于300毫秒。

针对步骤S107，第一客户端在接收到第二标记位置时，可以在第一应用程序的显示界面中第二标记位置处进行标记，以提醒第一用户在第二标记位置处进行操作。

一种实现方式中，第二客户端为电脑时，第二客户端可以实时获取第二用户操作鼠标时，鼠标光标在目标图像中指示的标记位置，作为第一标记位置，在确定第一标记位置在第一应用程序的显示界面中对应的第二标记位置后，通过WebRTC协议的数据通道向第一客户端发送第二标记位置。

相应的，第一客户端在接收到第二标记位置后，可以将预设图标作为鼠标样式，在第二标记位置显示预设图标，可以实现按照第二用户操作鼠标的移动方式，在第一应用程序的显示界面中同步模拟鼠标光标的移动，提醒第一用户按照鼠标光标的移动进行操作，从而为第一用户提供直观、有效的远程辅助，提高远程辅助的效率。

在本发明的一个实施例中，标记指令中携带有标记内容。相应的，步骤S106可以包括以下步骤：

第二客户端向第一客户端发送第二标记位置和标记内容。其中，标记内容表示第一用户在第一应用程序的显示界面中进行操作的操作方式。

一种实现方式中，第二客户端可以在显示的目标图像的上层构建白板应用。第二用户可以通过白板应用在目标图像的上层输入携带有标记内容的标记指令。构建的白板应用可以为第二用户提供绘制点、绘制自由曲线、绘制指示箭头、绘制图形、输入文字、设置颜色等标记功能。相应的，第二用户可以基于白板应用提供的标记功能，根据需要在目标图像上层添加图形、文字等标记内容。

例如，第二用户根据第一用户当前的操作状态时，确定第一用户需要进行的操作为点击某一操作按钮，则第二用户在第二客户端的显示界面中该操作按钮的位置输入“请点击该操作按钮”，则第二客户端的显示界面中该操作按钮的位置为第一标记位置，“请点击该操作按钮”为标记内容。

然后，第二客户端可以通过WebRTC协议的数据通道向第一客户端发送第二标记位置和标记内容。第一客户端在接收到第二标记位置和标记内容时，可以在第二标记位置处显示接收到的标记内容。

一种实现方式中，第一客户端可以在第一应用程序的显示界面的上层创建透明蒙版，并在创建的透明蒙版中的第二标记位置显示接收到的标记内容，以提醒第一用户按照标记内容表示的操作方式在第一应用程序的显示界面中第二标记位置处进行操作。

基于上述处理，透明蒙版允许用户输入的交互事件穿透，可以使得透明蒙版在第一应用程序的显示界面的上层显示标记内容时，不会影响用户针对第一应用程序的正常操作，可以提高用户体验。

在本发明的一个实施例中，如果标记内容为标记图形（例如，箭头）时，第二客户端还可以基于第二客户端的显示界面与第一应用程序的显示界面之间的位置映射关系，以及标记图形在第二客户端的显示界面中的第一图形大小，确定标记图形在第一应用程序的显示界面中的第二图形大小，并基于第二图形大小确定第二标记位置。相应的，第一客户端在接收到第二标记位置时，可以按照第二图形大小在第一应用程序的显示界面中第二标记位置处显示标记图形。

基于上述处理，通过实时同步第二用户的标记位置和标记内容的方式，动态直观的为第一用户指示操作区域，以辅助第一用户进行操作，完成业务办理，可以提高远程辅助的效率。

在本发明的一个实施例中，在图1的基础上，参见图4，步骤S101可以包括以下步骤：

S1012：第一客户端当接收到用户输入的辅助指令时，获取包含第一用户操作的应用程序当前的显示内容的目标图像，以及第一用户的音频数据。

步骤S102可以包括以下步骤：

S1021：第一客户端向第二客户端发送目标图像和第一用户的音频数据。

步骤S103可以包括以下步骤：

S1031：第二客户端显示接收到的目标图像，并播放接收到的第一用户的音频数据。

相应的，该方法还可以包括以下步骤：

S109：第二客户端获取第二用户的音频数据。

S110：第二客户端向第一客户端发送第二用户的音频数据。

S111：第一客户端播放接收到的第二客户端发送的第二用户的音频数据。

为了提高第一用户与第二用户的沟通效率，向第一用户提供符合需求的远程辅助，还可以为第一用户与第二用户建立音频通话。进而，第一用户可以通过语音更加准确的描述遇到的操作问题。第一客户端在获取包含第一用户操作的应用程序当前的显示内容的目标图像时，还可以通过麦克风实时获取包含第一用户描述遇到的操作问题的音频数据（可以称为第一音频数据），并通过WebRTC协议的音频数据通道向第二客户端发送第一音频数据。

相应的，第二客户端可以播放接收到的第一音频数据，可以使得第二用户通过第一用户的语音描述清楚的了解第一用户遇到的操作问题，第二用户可以通过语音描述第一用户需要进行操作的操作方式和操作位置。第二客户端可以通过麦克风实时获取包含第二用户的描述第一用户需要进行操作的操作方式和操作位置的音频数据（可以称为第二音频数据），并通过WebRTC协议的音频数据通道第一客户端发送第二音频数据。

第一客户端在接收到第二客户端发送的第二音频数据时，可以播放第二音频数据，以提醒第一用户按照第二音频数据描述的操作方式在对应的操作位置进行操作，以完成业务办理。

基于上述处理，可以为第一用户与第二用户建立音频通话，为第一用户与第二用户提供了实时高效的沟通渠道，可以在与第二客户端共享第一用户当前的操作状态的同时，使得第一用户与第二用户进行语音沟通，进而使得第二用户为第一用户提供高效的，符合第一用户需求的远程辅助，可以提高用户体验。

参见图5，图5为本发明实施例提供的一种远程辅助系统的结构图，该远程辅助系统包括：客户端、客服端和通信服务。客户端为前述实施例中的第一客户端。客服端为前述实施例中的第二客户端。客户端可以为智能手机、平板电脑和安装有Web应用的电脑等。智能手机的操作系统可以为iOS（苹果系统）或者Android（安卓系统）。Web应用为Web浏览器，第一用户在客户端操作的应用程序可以运行于Web浏览器。通信服务为用于实现客户端与客服端通信的服务器。

客户端当接收到第一用户输入的辅助指令时，获取包含第一用户操作的第一应用程序当前的显示内容的目标图像，以及第一用户的第一音频数据。客户端向通信服务发送目标图像和第一音频数据。相应的，通信服务器可以向客服端发送目标图像和第一音频数据。

客服端可以显示接收到的目标图像，并播放第一音频数据。当接收到第二用户输入的针对目标图像的标记指令时，客服端可以确定标记指令在客服端的显示界面中指示的第一标记位置和标记内容。然后，客服端可以基于客户端的显示界面与第一应用程序的显示界面之间的位置映射关系，确定第一标记位置在第一应用程序的显示界面中对应的第二标记位置，标记内容用于表示第一用户在第一应用程序进行操作的操作方式。

客服端还可以获取第二用户的第二音频数据。客服端可以向通信服务器发送第二标记位置、标记内容和第二音频数据。相应的，通信服务器可以向客户端发送第二标记位置、标记内容和第二音频数据。

客户端在接收到第二标记位置、标记内容和第二音频数据时，可以播放第二音频数据，并按照标记内容在第一应用程序的显示界面中第二标记位置处进行标记，以提醒第一用户基于第二音频数据，按照标记内容在第一应用程序的显示界面中第二标记位置处进行操作。

基于上述处理，可以采用语音通信、辅助标记信息（标记位置和标记内容）的方式，远程辅助用户进行操作，以完成业务办理。并且第二用户仅对第一用户进行远程辅助，由第一用户完成业务办理的所有操作，可以在一定程度上避免用户隐私泄露，并提高远程辅助方法的适用范围。

参见图6，图6为本发明实施例提供的一种远程辅助方法的流程图，该方法应用于远程辅助系统，该远程辅助系统包括第一客户端和第二客户端。

第一客户端在接收到第一用户输入的辅助指令时，可以获取应用窗口图像帧，也就是获取包含第一用户操作的第一应用程序当前的显示内容的第一图像帧。第一客户端还可以对获取到的图像帧进行预处理，也就是基于获取到的第一图像帧，生成第二分辨率的备份图像帧。然后，第一客户端可以进行视频流数据编码，也就是第一客户端可以按照指定编码方式，基于当前与第二客户端进行通信的通信质量，对获取到的第一图像帧（或者对应的备份图像帧）进行编码，得到目标图像。进而，第一客户端可以通过WebRTC协议的视频流轨道（即视频流数据通道），向第二客户端发送目标图像。

相应的，第二客户端可以渲染显示第一客户端窗口画面，也就是第二客户端可以显示接收到的目标图像。第二用户可以浏览第二客户端显示的目标图像，并确定第一用户当前的操作状态。然后，第二用户可以添加辅助标记，也就是第二用户可以向第二客户端输入标记指令，第二客户端在接收到标记指令时，可以确定标记指令在第二客户端的显示界面中指示的第一标记位置和标记内容。进而，第二客户端可以基于第二客户端的显示界面与第一应用程序的显示界面之间的位置关系，确定第一标记位置在第一应用程序的显示界面中对应的第二标记位置，并通过WebRTC数据通道向第一客户端发送第二标记位置和标记内容。

第一客户端接收到第二标记位置和标记内容之后，可以渲染显示辅助标记，也就是第一客户端可以在第一应用程序的显示界面中第二标记位置处显示标记内容，以提醒第一用户按照标记内容在第一应用程序的显示界面中第二标记位置处进行操作。

另外，在接收到用户输入的辅助指令时，第一客户端还可以获取音频流数据，也就是第一客户端可以获取第一用户的第一音频数据，并通过WebRTC协议的音频流轨道（即音频数据通道），向第二客户端发送第一音频数据。

相应的，第二客户端可以播放接收到的第一音频数据，并获取音频流数据，也就是第二客户端可以获取第二用户的第二音频数据，并向第一客户端发送第二音频数据。第一客户端可以播放接收到的第二音频数据，以使得第一用户按照第二音频数据中描述的操作方式进行操作，以完成业务办理。

基于上述处理，可以采用语音通信、辅助标记信息（标记位置和标记内容）的方式，远程辅助用户进行操作，以完成业务办理。并且第二用户仅对第一用户进行远程辅助，由第一用户完成业务办理的所有操作，可以在一定程度上避免用户隐私泄露，并提高远程辅助方法的适用范围。

参见图7，图7为本发明实施例提供的一种通信方法的流程图，该通信方法应用于远程辅助系统，远程辅助系统包括：第一客户端和第二客户端。

第一客户端可以基于第一用户的指示与第二客户端建立通信连接，并通过通信连接实时的向第二客户端发送表示第一用户当前的操作状态的目标图像。第二客户端基于接收到的目标图像，为第一用户提供远程辅助。

在与第二客户端进行通信的过程中，第一客户端可以检测网络状态，并判断网络环境是否改善。也就是判断当前与第二客户端之间的网络状态是否达到预设网络状态。

在网络环境未改善时，第一客户端可以调整通话帧率，也就是在检测到当前与第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，基于采样得到的图像帧生成目标图像，向第二客户端发送生成的目标图像，通过减少向第二客户端发送的图像帧的数目，保障第二客户端接收到的目标图像的画面质量和通信稳定性。

然后，第一客户端可以判断网络是否满足通话要求，也就是客户端检测当前与第二客户端之间的网络状态是否达到预设网络状态。在网络不满足通话要求时，调整视频流分辨率。也就是在检测到当前与第二客户端之间的网络状态达到第二预设网络状态时，针对从各第一图像帧中采样得到第二图像帧，降低第二图像帧的分辨率，基于降低分辨率的第二图像帧生成目标图像，向第二客户端发送生成的目标图像，通过降低向第二客户端发送的图像帧的分辨率，保障通信稳定性。

在网络环境改善时，第一客户端可以尝试恢复通话分辨率，也就是第一客户端可以恢复向第二客户端发送的图像帧的分辨率，即第一客户端按照第一分辨率的第二图像帧生成目标图像。然后，第一客户端可以继续检测当前与第二客户端之间的网络状态，如果当前与第二客户端之间的网络状态可以满足通信需求，第一客户端可以尝试恢复通话帧率，也就是第一客户端恢复向第二客户端发送的图像帧的数目，即第一客户端按照获取到的所有第一图像帧（即第一帧率的第一图像帧）生成目标图像。

基于上述处理，可以实现基于不同的网络情况，动态调整向第二客户端发送的图像帧的数目和分辨率，以保障第二客户端接收到的目标图像的画面质量和通信稳定性。

本发明实施例还提供了一种远程辅助系统，所述系统包括：第一客户端和第二客户端，其中，

所述第一客户端，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像，并向所述第二客户端发送所述目标图像；

所述第二客户端，用于显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；并向所述第一客户端发送所述第二标记位置；

所述第一客户端，还用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

与图1的方法实施例相对应，参见图8，图8为本发明实施例提供的一种远程辅助装置的结构图，所述装置应用于第一客户端，所述装置包括：

第一获取模块801，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像；

发送模块802，用于向第二客户端发送所述目标图像，以使所述第二客户端显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置，并向所述第一客户端发送所述第二标记位置；

标记模块803，用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述第一获取模块801，具体用于若所述第一用户操作的应用程序未在后台运行，获取包含所述应用程序当前的显示内容的图像，作为目标图像；

所述装置还包括：

第二获取模块，用于若检测到所述应用程序切换至后台运行，获取预设图像，作为目标图像。

可选的，所述第一获取模块801，具体用于按照第一图像维度，获取包含所述应用程序当前的显示内容的图像帧，作为第一图像帧；

当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像；其中，所述第二图像维度小于所述第一图像维度。

可选的，所述第一获取模块801，具体用于当检测到当前与所述第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，得到目标图像；

当检测到当前与所述第二客户端之间的网络状态达到第二预设网络状态时，对各第一图像帧进行采样处理，得到第二图像帧；降低各第二图像帧的分辨率，得到目标图像。

可选的，所述装置还包括：

第三获取模块，用于当接收到用户输入的辅助指令时，获取第一用户的音频数据，向所述第二客户端发送所述第一用户的音频数据，以使所述第二客户端播放接收到的所述第一用户的音频数据；

播放接收到的所述第二客户端发送的所述第二用户的音频数据。

基于本发明实施例提供的远程辅助装置，第一客户端向第二客户端发送的目标图像中，包含第一用户操作的应用程序当前的显示内容，第一用户操作的应用程序当前的显示内容可以表示用户当前的操作状态，即可以向使用第二客户端的第二用户反馈第一用户当前的操作状态。第二用户可以基于第一用户当前的操作状态，在第二客户端显示的目标图像中第一用户需要进行操作的操作位置进行标记，第一标记位置表示目标图像中第一用户需要进行操作的操作位置。进而，基于第一标记位置确定的第二标记位置表示第一用户需要在应用程序中进行操作的操作位置，即可以通过第二标记位置直观的为第一用户标识出操作位置，实现远程辅助第一用户完成操作。第二客户端向第一客户端发送第二标记位置，由第一用户在第一客户端根据第二标记位置独立进行相应操作，可以在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规，并提高远程辅助方法的适用范围。并且，不会因为第二用户远程控制第一客户端影响第一用户在第一客户端的操作，即第一用户和第二用户可以同时操作各自使用的客户端，可以提高用户体验。

与图1的方法实施例相对应，参见图9，图9为本发明实施例提供的一种远程辅助装置的结构图，所述装置应用于第二客户端，所述装置包括：

显示模块901，用于在接收到第一客户端发送的目标图像时，显示所述目标图像；其中，所述目标图像为：所述第一客户端在接收到第一用户输入的辅助指令时，获取的包含所述第一用户操作的应用程序当前的显示内容的图像；

确定模块902，用于当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；

映射模块903，用于基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；

发送模块904，用于向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

可选的，所述标记指令中携带有标记内容；

所述发送模块904，具体用于向所述第一客户端发送所述第二标记位置和所述标记内容，以使所述第一客户端在接收到所述第二标记位置和所述标记内容时，按照所述标记内容，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户按照所述标记内容，在所述第二标记位置处进行操作。

基于本发明实施例提供的远程辅助装置，第一客户端向第二客户端发送的目标图像中，包含第一用户操作的应用程序当前的显示内容，第一用户操作的应用程序当前的显示内容可以表示用户当前的操作状态，即可以向使用第二客户端的第二用户反馈第一用户当前的操作状态。第二用户可以基于第一用户当前的操作状态，在第二客户端显示的目标图像中第一用户需要进行操作的操作位置进行标记，第一标记位置表示目标图像中第一用户需要进行操作的操作位置。进而，基于第一标记位置确定的第二标记位置表示第一用户需要在应用程序中进行操作的操作位置，即可以通过第二标记位置直观的为第一用户标识出操作位置，实现远程辅助第一用户完成操作。第二客户端向第一客户端发送第二标记位置，由第一用户在第一客户端根据第二标记位置独立进行相应操作，可以在一定程度上避免用户隐私泄露，保证远程辅助方法的安全、合规，并提高远程辅助方法的适用范围。并且，不会因为第二用户远程控制第一客户端影响第一用户在第一客户端的操作，即第一用户和第二用户可以同时操作各自使用的客户端，可以提高用户体验。

本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，

存储器1003，用于存放计算机程序；

处理器1001，用于执行存储器1003上所存放的程序时，实现上述实施例中任一所述的应用于第一客户端的远程辅助方法的步骤，或者应用于第二客户端的远程辅助方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的应用于第一客户端的远程辅助方法的步骤，或者应用于第二客户端的远程辅助方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的应用于第一客户端的远程辅助方法，或者应用于第二客户端的远程辅助方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种远程辅助系统，其特征在于，所述系统包括：第一客户端和第二客户端，其中，

所述第一客户端，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像，并向所述第二客户端发送所述目标图像；

所述第二客户端，用于显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；并向所述第一客户端发送所述第二标记位置；

所述第一客户端，还用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

2.一种远程辅助方法，其特征在于，所述方法应用于第一客户端，所述方法包括：

当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像；

向第二客户端发送所述目标图像，以使所述第二客户端显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置，并向所述第一客户端发送所述第二标记位置；

在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

3.根据权利要求2所述的方法，其特征在于，所述获取包含所述第一用户操作的应用程序当前的显示内容的目标图像，包括：

若所述第一用户操作的应用程序未在后台运行，获取包含所述应用程序当前的显示内容的图像，作为目标图像；

所述方法还包括：

若检测到所述应用程序切换至后台运行，获取预设图像，作为目标图像。

4.根据权利要求3所述的方法，其特征在于，所述获取包含所述应用程序当前的显示内容的图像，作为目标图像，包括：

按照第一图像维度，获取包含所述应用程序当前的显示内容的图像帧，作为第一图像帧；

当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像；其中，所述第二图像维度小于所述第一图像维度。

5.根据权利要求4所述的方法，其特征在于，所述当检测到当前与所述第二客户端之间的网络状态达到预设网络状态时，按照第二图像维度对各第一图像帧进行处理，得到目标图像，包括：

当检测到当前与所述第二客户端之间的网络状态达到第一预设网络状态时，对各第一图像帧进行采样处理，得到目标图像；

当检测到当前与所述第二客户端之间的网络状态达到第二预设网络状态时，对各第一图像帧进行采样处理，得到第二图像帧；降低各第二图像帧的分辨率，得到目标图像。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到用户输入的辅助指令时，获取第一用户的音频数据，向所述第二客户端发送所述第一用户的音频数据，以使所述第二客户端播放接收到的所述第一用户的音频数据；

播放接收到的所述第二客户端发送的所述第二用户的音频数据。

7.一种远程辅助方法，其特征在于，所述方法应用于第二客户端，所述方法包括：

在接收到第一客户端发送的目标图像时，显示所述目标图像；其中，所述目标图像为：所述第一客户端在接收到第一用户输入的辅助指令时，获取的包含所述第一用户操作的应用程序当前的显示内容的图像；

当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；

基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；

向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

8.根据权利要求7所述的方法，其特征在于，所述标记指令中携带有标记内容；

所述向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作，包括：

向所述第一客户端发送所述第二标记位置和所述标记内容，以使所述第一客户端在接收到所述第二标记位置和所述标记内容时，按照所述标记内容，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户按照所述标记内容，在所述第二标记位置处进行操作。

9.一种远程辅助装置，其特征在于，所述装置应用于第一客户端，所述装置包括：

第一获取模块，用于当接收到第一用户输入的辅助指令时，获取包含所述第一用户操作的应用程序当前的显示内容的目标图像；

发送模块，用于向第二客户端发送所述目标图像，以使所述第二客户端显示接收到的所述目标图像；当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置，并向所述第一客户端发送所述第二标记位置；

标记模块，用于在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

10.一种远程辅助装置，其特征在于，所述装置应用于第二客户端，所述装置包括：

显示模块，用于在接收到第一客户端发送的目标图像时，显示所述目标图像；其中，所述目标图像为：所述第一客户端在接收到第一用户输入的辅助指令时，获取的包含所述第一用户操作的应用程序当前的显示内容的图像；

确定模块，用于当接收到第二用户输入的针对所述目标图像的标记指令时，确定所述标记指令在所述第二客户端的显示界面中指示的第一标记位置；

映射模块，用于基于所述第二客户端的显示界面与所述应用程序的显示界面之间的位置映射关系，确定所述第一标记位置在所述应用程序的显示界面中对应的第二标记位置；

发送模块，用于向所述第一客户端发送所述第二标记位置，以使所述第一客户端在接收到所述第二标记位置时，在所述应用程序的显示界面中所述第二标记位置处进行标记，以提醒所述第一用户在所述第二标记位置处进行操作。

Images