CN116192916A - 移动终端的远程协助方法及系统、存储介质、计算机设备 - Google Patents

移动终端的远程协助方法及系统、存储介质、计算机设备 Download PDF

Info

Publication number
CN116192916A
CN116192916A CN202310154312.7A CN202310154312A CN116192916A CN 116192916 A CN116192916 A CN 116192916A CN 202310154312 A CN202310154312 A CN 202310154312A CN 116192916 A CN116192916 A CN 116192916A
Authority
CN
China
Prior art keywords
mobile terminal
assistance
server
remote
remote assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310154312.7A
Other languages
English (en)
Inventor
何辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pingan Payment Technology Service Co Ltd
Original Assignee
Pingan Payment Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pingan Payment Technology Service Co Ltd filed Critical Pingan Payment Technology Service Co Ltd
Priority to CN202310154312.7A priority Critical patent/CN116192916A/zh
Publication of CN116192916A publication Critical patent/CN116192916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Abstract

本申请公开了一种移动终端的远程协助方法及系统、存储介质、计算机设备,该方法包括:第一移动终端响应于远程协助应用中的远程协助触发操作,第一移动终端向服务器发送携带第二移动终端标识的远程协助请求,准确的与第二移动终端建立连接,第一移动终端中的远程协助应用启动第一终端的屏幕录制功能,录制需协助的屏幕信息并通过服务器发送给第二移动终端,第二移动终端根据录制的屏幕信息生成协助操作指令通过服务器发送给第一移动终端,第一移动终端根据协助操作指令进行对应的远程协助操作,可以实现第二移动终端对第一移动终端的远程操作,并且在第一移动终端上可以展示远程协助操作过程,为第一移动终端用户提供方便。

Description

移动终端的远程协助方法及系统、存储介质、计算机设备
技术领域
本申请涉及远程控制技术领域,尤其是涉及到一种移动终端的远程协助方法及系统、存储介质、计算机设备。
背景技术
随着移动通信技术的发展和人们生活水平的提高,移动终端的使用越来越普及,移动终端已经成为人们日常生活中不可缺少的通讯工具,当使用移动终端的用户为老人或小孩时,这些用户对移动终端的使用并不得心应手,移动终端的很多功能都不太会使用,这就需要远程协助。因此,如何提出一种便捷的移动终端的远程协助方法成为目前亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种移动终端的远程协助方法及系统、存储介质、计算机设备,有助于为移动终端用户提供方便。
根据本申请的一个方面,提供了一种移动终端的远程协助方法,所述方法包括:
第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
所述服务器向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
所述第一移动终端基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
所述第二移动终端基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
所述服务器将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
可选地,所述远程协助请求包括协助问题;所述方法还包括:
所述服务器基于所述协助问题以及所述屏幕显示数据生成远程协助录像,并存储所述远程协助录像;
相应地,所述服务器向第二移动终端转发所述远程协助请求,包括:
所述服务器查询已存储的远程协助录像中是否包含与所述协助问题匹配的目标远程协助录像;
若包含,则向所述第一移动终端发送所述目标远程协助录像,并在接收到所述第一移动终端反馈的第一继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述方法还包括:
所述第一移动终端接收所述目标远程协助录像,并输出第一询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史录像;
若接收到确认查看历史录像的信号,则播放所述目标远程协助录像,在播放结束后输出第二询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第一继续协助请求;
若接收到拒绝查看历史录像的信号,则向所述服务器发送所述第一继续协助请求。
可选地,所述远程协助请求包括协助问题;所述方法还包括:
所述服务器基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,并存储所述协助问题的操作指引数据;
相应地,所述服务器向第二移动终端转发所述远程协助请求,包括:
所述服务器查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;
若包含,则向所述第一移动终端发送所述目标操作指引数据,并在接收到所述第一移动终端反馈的第二继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述服务器基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,包括:
所述服务器从所述屏幕显示数据中提取与所述协助操作指令对应的操作帧图像,并基于所述协助操作指令对应的操作位置和操作方式,确定所述操作帧图像对应的操作组件以及对所述操作组件的操作方式;
在所述操作帧图像中标注所述操作组件和操作方式,得到操作指引图片,其中,所述操作指引数据包括所述操作指引图片。
可选地,所述方法还包括:
所述第一移动终端接收所述目标操作指引数据,并输出第三询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史操作指引数据;
若接收到确认查看历史操作指引数据的信号,则播放所述目标操作指引数据,在播放结束后输出第四询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第二继续协助请求;
若接收到拒绝查看历史操作指引数据的信号,则向所述服务器发送所述第二继续协助请求。
可选地,所述方法还包括:
所述第一移动终端向所述服务器发送查询录像或操作指引数据的目标查看请求;
所述服务器查询已存储的远程协助录像或操作指引数据是否存在与所述目标查看请求相匹配的远程协助录像或操作指引数据;
若存在,则所述服务器基于所述目标查看请求向第一移动终端发送匹配的历史录像或历史操作指引请求,以使第一移动终端用户查看;
若不存在,则向所述第一移动终端反馈请求失败信息,并输出第五询问信息,以询问第一移动终端用户是否需要触发远程协助请求。
根据本申请的另一方面,提供了一种移动终端的远程协助系统,所述系统包括:
第一移动终端、第二移动终端以及服务器;
所述第一移动终端,用于响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
所述服务器,用于向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
所述第一移动终端,还用于基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
所述第二移动终端,用于基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
所述服务器,还用于将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
可选地,所述服务器还用于:
基于所述协助问题以及所述屏幕显示数据生成远程协助录像,并存储所述远程协助录像。
可选地,所述服务器还用于:
查询已存储的远程协助录像中是否包含与所述协助问题匹配的目标远程协助录像;
若包含,则向所述第一移动终端发送所述目标远程协助录像,并在接收到所述第一移动终端反馈的第一继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述第一移动终端还用于:
接收所述目标远程协助录像,并输出第一询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史录像;
若接收到确认查看历史录像的信号,则播放所述目标远程协助录像,在播放结束后输出第二询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第一继续协助请求;
若接收到拒绝查看历史录像的信号,则向所述服务器发送所述第一继续协助请求。
可选地,所述服务器还用于:
基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,并存储所述协助问题的操作指引数据。
可选地,所述服务器还用于:
查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;
若包含,则向所述第一移动终端发送所述目标操作指引数据,并在接收到所述第一移动终端反馈的第二继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述服务器还用于:
从所述屏幕显示数据中提取与所述协助操作指令对应的操作帧图像,并基于所述协助操作指令对应的操作位置和操作方式,确定所述操作帧图像对应的操作组件以及对所述操作组件的操作方式;
在所述操作帧图像中标注所述操作组件和操作方式,得到操作指引图片,其中,所述操作指引数据包括所述操作指引图片。
可选地,所述第一移动终端还用于:
接收所述目标操作指引数据,并输出第三询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史操作指引数据;
若接收到确认查看历史操作指引数据的信号,则播放所述目标操作指引数据,在播放结束后输出第四询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第二继续协助请求;
若接收到拒绝查看历史操作指引数据的信号,则向所述服务器发送所述第二继续协助请求。
可选地,所述第一移动终端还用于:
向所述服务器发送查询录像或操作指引数据的目标查看请求;
可选地,所述服务器还用于:
查询已存储的远程协助录像或操作指引数据是否存在与所述目标查看请求相匹配的远程协助录像或操作指引数据;
若存在,则所述服务器基于所述目标查看请求向第一移动终端发送匹配的历史录像或历史操作指引请求,以使第一移动终端用户查看;
若不存在,则向所述第一移动终端反馈请求失败信息,并输出第五询问信息,以询问第一移动终端用户是否需要触发远程协助请求。
依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述移动终端的远程协助方法。
依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述移动终端的远程协助方法。
借由上述技术方案,本申请提供的一种移动终端的远程协助方法及系统、存储介质、计算机设备,第一移动终端响应于远程协助应用中的远程协助触发操作,第一移动终端向服务器发送携带第二移动终端标识的远程协助请求,准确的与第二移动终端建立连接,在第一移动终端与第二移动终端建立连接后,第一移动终端中的远程协助应用启动第一终端的屏幕录制功能,录制需协助的屏幕信息并通过服务器发送给第二移动终端,第二移动终端根据录制的屏幕信息生成协助操作指令通过服务器发送给第一移动终端,第一移动终端根据协助操作指令进行对应的远程协助操作,可以实现第二移动终端对第一移动终端的远程操作,并且在第一移动终端上可以展示远程协助操作过程,为第一移动终端用户提供方便。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种移动终端的远程协助方法的流程示意图;
图2示出了本申请实施例提供的另一种移动终端的远程协助方法的流程示意图;
图3示出了本申请实施例提供的又一种移动终端的远程协助方法的流程示意图;
图4示出了本申请实施例提供的一种移动终端的远程协助系统的结构示意图;
图5示出了本申请实施例提供的一种计算机设备的装置结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种移动终端的远程协助方法,如图1所示,该方法包括:
步骤101,第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
步骤102,所述服务器向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
步骤103,所述第一移动终端基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
步骤104,所述第二移动终端基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
步骤105,所述服务器将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
本申请实施例可以应用在移动终端间的远程协助的情境中。在本申请实施例中,第一移动终端为请求协助的终端,第二移动终端为提供远程协助的终端,在第一移动终端和第二移动终端分别安装远程协助应用。例如该远程协助应用为remote-ctrl,remote-ctrl是一款包含发送指令、接收指令、执行指令的应用,例如,发送指令:在第二移动终端,可以发送一些指令信息;接收指令:第二移动终端发送了指令给服务器,那么服务器就会感知到,然后就可以把指令信息转发给需要远程协助的第一移动终端;执行指令:第一移动终端接收到了指令后,就可以调用操作系统的函数执行刚刚接收到的指令;并且该远程协助应用具备后台运行且开机启动、安装包要小的特点。
在本申请实施例中,第一移动终端和第二移动终端可以是手机、平板以及电脑等移动终端,第一移动终端响应于远程协助应用中的远程协助触发操作,第一移动终端向服务器发送携带第二移动终端标识的远程协助请求;发送的服务请求中携带第二移动终端标识,方便服务器根据标识准确向第二移动终端发送请求,使第一移动终端可以选择发送协助的第二移动终端,提高了第一移动终端用户的信息安全性,当第二移动终端接收到协助请求,并确认协助第一移动终端用户,向服务器发送协助确认反馈,服务器再将协助确认反馈转发给第一移动终端,完成第一移动终端与第二移动终端之间的远程协助连接,实现移动终端之间的远程协助操作;第一移动终端通过远程协助应用启动屏幕录制功能,录制第一移动终端需要协助的屏幕信息,以便基于屏幕信息在第二移动终端中对需要协助的内容进行可视化显示,将录制的屏幕显示数据通过服务器发送到第二移动终端中,第二移动终端基于屏幕显示数据进行显示,第二移动终端根据显示界面的操作数据生成协助操作指令,并将协助操作指令发送给服务器;服务器将协助操作指令转发到第一移动终端中,第一移动终端根据协助操作指令进行对应的远程协助操作。
通过应用本实施例的技术方案,第一移动终端响应于远程协助应用中的远程协助触发操作,第一移动终端向服务器发送携带第二移动终端标识的远程协助请求,准确的与第二移动终端建立连接,在第一移动终端与第二移动终端建立连接后,第一移动终端中的远程协助应用启动第一终端的屏幕录制功能,录制需协助的屏幕信息并通过服务器发送给第二移动终端,第二移动终端根据录制的屏幕信息生成协助操作指令通过服务器发送给第一移动终端,第一移动终端根据协助操作指令进行对应的远程协助操作,可以实现第二移动终端对第一移动终端的远程操作,并且在第一移动终端上可以展示远程协助操作过程,为第一移动终端用户提供方便。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,提供了另一种移动终端的远程协助方法,所述远程协助请求包括协助问题,如图2所示,该方法包括:
步骤201,第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,所述服务器查询已存储的远程协助录像中是否包含与所述协助问题匹配的目标远程协助录像;
步骤202,若包含,所述服务器则向所述第一移动终端发送所述目标远程协助录像,并在接收到所述第一移动终端反馈的第一继续协助请求时,向所述第二移动终端转发所述远程协助请求,若不包含,服务器则向所述第二移动终端转发所述远程协助请求;
步骤203,所述服务器在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
步骤204,所述第一移动终端基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
步骤205,所述述第二移动终端基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
步骤206,所述服务器基于所述协助问题以及所述屏幕显示数据生成远程协助录像,并存储所述远程协助录像,将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
在本申请实施例中,以第一移动终端为经过Root的安卓手机、第二移动终端为任意提供协助的手机为例,Root是手机解锁普通用户的限制,获得超级管理员权限,将安卓手机进行Root的目的是获取手机的超级管理员权限,又因为每个安卓手机都有ADB(AndroidDebugBridge)安卓调试桥接工具,只有把安卓手机Root后才有权限执行ADB命令;需要借助ADB工具来执行ADB命令,比如:重启手机命令:adb reboot;打开蓝牙命令:adbshell service call bluetooth_manager 6;模拟鼠标操作:adb shell input mouse tap100 500,刚刚提到的“adb shell input mouse tap 100 500”中的100和500意思是在屏幕的左上角(100,500)的位置点击一下。
在本申请实施例中,安卓手机响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,例如,协助问题为如何转发微信消息,服务器查询已存储的远程协助录像中是否包含跟如何转发微信消息匹配的目标远程协助录像;若已存储的远程协助录像中包含与当前请求协助问题匹配的录像,服务器则向安卓手机发送该目标远程协助录像,安卓手机用户根据目标远程协助录像解决如何转发微信消息,不需要再向提供协助的手机发送远程协助请求,如果用户不想查看录像或者查看录像之后没有学会,可以继续请求协助,当接收到安卓手机反馈的第一继续协助请求时,则向提供协助的手机转发远程协助请求;若已存储的远程协助录像中不包含与当前请求协助问题匹配的录像,服务器则直接转发远程协助请求;服务器在接收到发送的协助确认反馈时,向安卓手机转发协助确认反馈;安卓手机基于远程协助应用启动屏幕录制功能,并将录制的想转发的消息与想转发的人的屏幕显示数据通过服务器发送到提供协助的手机中;提供协助的手机根据接回收的屏幕显示数据进行显示,并根据对显示界面的如何操作的操作数据,向服务器发送协助操作指令;服务器根据如何转发微信消息以及屏幕显示数据生成远程协助录像,并存储远程协助录像,将协助操作指令发送至安卓手机中,以使安卓手机根据协助操作指令执行怎么转发微信消息。
需要说明的是,步骤202中“若包含,服务器则向所述第一移动终端发送所述目标远程协助录像”,第一移动终端接收目标远程协助录像,并输出第一询问信息,询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史录像;若第一移动终端用户确认查看,第一移动终端接收到确认查看历史录像的信号,则播放目标远程协助录像,在播放结束后输出第二询问信息,询问第一移动终端用户当前请求的协助问题是否解决,如果第一移动终端用户确认没有解决,第一移动终端在接收到未解决协助问题的信号时,向服务器发送第一继续协助请求;若接收到第一移动终端用户拒绝查看历史录像的信号,则向服务器发送第一继续协助请求。
通过应用本实施例的技术方案,当第一移动终端用户遇到协助问题时,向服务器发送远程协助请求,若服务器中包含该协助问题的远程协助录像,可直接查看已存储的远程协助录像,并不向第二移动终端发送远程协助请求,如果问题并没有解决,再向第二移动终端发送协助请求,为第一移动终端用户提供了方便。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,提供了另一种移动终端的远程协助方法,所述远程协助请求包括协助问题,如图3所示,该方法包括:
步骤301,第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,所述服务器查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;
步骤302,若包含,所述服务器则向所述第一移动终端发送所述目标操作指引数据,并在接收到所述第一移动终端反馈的第二继续协助请求时,向所述第二移动终端转发所述远程协助请求,若不包含,所述服务器则向所述第二移动终端转发所述远程协助请求;
步骤303,所述服务器在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
步骤304,所述第一移动终端基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
步骤305,所述第二移动终端基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
步骤306,所述服务器从所述屏幕显示数据中提取与所述协助操作指令对应的操作帧图像,并基于所述协助操作指令对应的操作位置和操作方式,确定所述操作帧图像对应的操作组件以及对所述操作组件的操作方式;
步骤307,在所述操作帧图像中标注所述操作组件和操作方式,得到操作指引图片,并存储所述协助问题的操作指引数据;
步骤308,将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
在本申请实施例中,第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,服务器查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;若包含,服务器则向第一移动终端发送目标操作指引数据,并在接收到第一移动终端反馈的第二继续协助请求时,向第二移动终端转发远程协助请求,若不包含,服务器则向第二移动终端转发远程协助请求;服务器在接收到协助确认反馈时,向第一移动终端转发协助确认反馈;第一移动终端基于远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过服务器发送到第二移动终端中;第二移动终端根据屏幕显示数据进行显示,并根据对显示界面的操作数据,向服务器发送协助操作指令;服务器从屏幕显示数据中提取与协助操作指令对应的操作帧图像,操作帧图像是从录像中提取第二移动终端产生操作的图像,并基于协助操作指令对应的操作位置和操作方式,操作方式包括点击、拖动、双击等,确定操作帧图像对应的操作组件以及对应操作组件的操作方式;在操作帧图像中标注操作组件和操作方式,得到操作指引图片,操作指引图片例如,在图像中把第二移动终端点击的组件圈起来,并标注上是怎么操作的,对圈起来的组件是点击还是拖拽进行标注;并存储协助问题的操作指引数据;将协助操作指令对应的操作位置和操作方式发送至第一移动终端中,以使第一移动终端基于协助操作指令执行对应的远程协助操作。
通过应用本实施例的技术方案,当第一移动终端用户遇到协助问题时,向服务器发送远程协助请求,若服务器中包含该协助问题的操作指引数据,可直接查看已存储的操作指引数据,并不向第二移动终端发送远程协助请求,如果问题并没有解决,再向第二移动终端发送协助请求,为第一移动终端用户提供了方便。
需要说明的是,上述方法还包括:第一移动终端向服务器发送查询录像或操作指引数据的目标查看请求;服务器查询已存储的远程协助录像或操作指引数据是否存在与目标查看请求相匹配的远程协助录像或操作指引数据;若存在,则服务器向第一移动终端发送匹配的历史录像或历史操作指引请求,以使第一移动终端用户查看,若不存在,则向第一移动终端反馈请求失败信息,并输出第五询问信息,以询问第一移动终端用户是否需要触发远程协助请求。方便第一移动用户在不发送远程协助的情况下,随时查看已存储的远程协助录像或操作指引数据。
进一步的,作为图1方法的具体实现,本申请实施例提供了一种移动终端的远程协助系统,如图4所示,该系统包括:
第一移动终端、第二移动终端以及服务器;
所述第一移动终端,用于响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
所述服务器,用于向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
所述第一移动终端,还用于基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
所述第二移动终端,用于基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
所述服务器,还用于将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
可选地,所述服务器还用于:
基于所述协助问题以及所述屏幕显示数据生成远程协助录像,并存储所述远程协助录像。
可选地,所述服务器还用于:
查询已存储的远程协助录像中是否包含与所述协助问题匹配的目标远程协助录像;
若包含,则向所述第一移动终端发送所述目标远程协助录像,并在接收到所述第一移动终端反馈的第一继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述第一移动终端还用于:
接收所述目标远程协助录像,并输出第一询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史录像;
若接收到确认查看历史录像的信号,则播放所述目标远程协助录像,在播放结束后输出第二询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第一继续协助请求;
若接收到拒绝查看历史录像的信号,则向所述服务器发送所述第一继续协助请求。
可选地,所述服务器还用于:
基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,并存储所述协助问题的操作指引数据。
可选地,所述服务器还用于:
查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;
若包含,则向所述第一移动终端发送所述目标操作指引数据,并在接收到所述第一移动终端反馈的第二继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
可选地,所述服务器还用于:
从所述屏幕显示数据中提取与所述协助操作指令对应的操作帧图像,并基于所述协助操作指令对应的操作位置和操作方式,确定所述操作帧图像对应的操作组件以及对所述操作组件的操作方式;
在所述操作帧图像中标注所述操作组件和操作方式,得到操作指引图片,其中,所述操作指引数据包括所述操作指引图片。
可选地,所述第一移动终端还用于:
接收所述目标操作指引数据,并输出第三询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史操作指引数据;
若接收到确认查看历史操作指引数据的信号,则播放所述目标操作指引数据,在播放结束后输出第四询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第二继续协助请求;
若接收到拒绝查看历史操作指引数据的信号,则向所述服务器发送所述第二继续协助请求。
可选地,所述第一移动终端还用于:
向所述服务器发送查询录像或操作指引数据的目标查看请求;
可选地,所述服务器还用于:
查询已存储的远程协助录像或操作指引数据是否存在与所述目标查看请求相匹配的远程协助录像或操作指引数据;
若存在,则所述服务器基于所述目标查看请求向第一移动终端发送匹配的历史录像或历史操作指引请求,以使第一移动终端用户查看;
若不存在,则向所述第一移动终端反馈请求失败信息,并输出第五询问信息,以询问第一移动终端用户是否需要触发远程协助请求。
需要说明的是,本申请实施例提供的一种移动终端的远程协助系统所涉及各功能单元的其他相应描述,可以参考图1至图3方法中的对应描述,在此不再赘述。
本申请实施例还提供了一种计算机设备,具体可以为个人计算机、服务器、网络设备等,如图5所示,该计算机设备包括总线、处理器、存储器和通信接口,还可以包括输入输出接口和显示设备。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储位置信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现各方法实施例中的步骤。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性,也可以是易失性,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种移动终端的远程协助方法,其特征在于,所述方法包括:
第一移动终端响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
所述服务器向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
所述第一移动终端基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
所述第二移动终端基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
所述服务器将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
2.根据权利要求1所述的方法,其特征在于,所述远程协助请求包括协助问题;所述方法还包括:
所述服务器基于所述协助问题以及所述屏幕显示数据生成远程协助录像,并存储所述远程协助录像;
相应地,所述服务器向第二移动终端转发所述远程协助请求,包括:
所述服务器查询已存储的远程协助录像中是否包含与所述协助问题匹配的目标远程协助录像;
若包含,则向所述第一移动终端发送所述目标远程协助录像,并在接收到所述第一移动终端反馈的第一继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一移动终端接收所述目标远程协助录像,并输出第一询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史录像;
若接收到确认查看历史录像的信号,则播放所述目标远程协助录像,在播放结束后输出第二询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第一继续协助请求;
若接收到拒绝查看历史录像的信号,则向所述服务器发送所述第一继续协助请求。
4.根据权利要求1所述的方法,其特征在于,所述远程协助请求包括协助问题;所述方法还包括:
所述服务器基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,并存储所述协助问题的操作指引数据;
相应地,所述服务器向第二移动终端转发所述远程协助请求,包括:
所述服务器查询已存储的操作指引数据中是否包含与所述协助问题匹配的目标操作指引数据;
若包含,则向所述第一移动终端发送所述目标操作指引数据,并在接收到所述第一移动终端反馈的第二继续协助请求时,向所述第二移动终端转发所述远程协助请求;
若不包含,则向所述第二移动终端转发所述远程协助请求。
5.根据权利要求4所述的方法,其特征在于,所述服务器基于所述屏幕显示数据以及所述协助操作指令,生成所述协助问题对应的操作指引数据,包括:
所述服务器从所述屏幕显示数据中提取与所述协助操作指令对应的操作帧图像,并基于所述协助操作指令对应的操作位置和操作方式,确定所述操作帧图像对应的操作组件以及对所述操作组件的操作方式;
在所述操作帧图像中标注所述操作组件和操作方式,得到操作指引图片,其中,所述操作指引数据包括所述操作指引图片。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
所述第一移动终端接收所述目标操作指引数据,并输出第三询问信息,以询问第一移动终端用户是否查看与当前请求的协助问题匹配的历史操作指引数据;
若接收到确认查看历史操作指引数据的信号,则播放所述目标操作指引数据,在播放结束后输出第四询问信息,以询问第一移动终端用户当前请求的协助问题是否解决,并在接收到未解决协助问题的信号时,向所述服务器发送所述第二继续协助请求;
若接收到拒绝查看历史操作指引数据的信号,则向所述服务器发送所述第二继续协助请求。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
所述第一移动终端向所述服务器发送查询录像或操作指引数据的目标查看请求;
所述服务器查询已存储的远程协助录像或操作指引数据是否存在与所述目标查看请求相匹配的远程协助录像或操作指引数据;
若存在,则所述服务器基于所述目标查看请求向第一移动终端发送匹配的历史录像或历史操作指引请求,以使第一移动终端用户查看;
若不存在,则向所述第一移动终端反馈请求失败信息,并输出第五询问信息,以询问第一移动终端用户是否需要触发远程协助请求。
8.一种移动终端的远程协助系统,其特征在于,所述系统包括:
第一移动终端、第二移动终端以及服务器;
所述第一移动终端,用于响应于远程协助应用中的远程协助触发操作,向服务器发送远程协助请求,其中,所述远程协助请求携带有第二移动终端标识;
所述服务器,用于向第二移动终端转发所述远程协助请求,并在接收到所述第二移动终端发送的协助确认反馈时,向所述第一移动终端转发所述协助确认反馈;
所述第一移动终端,还用于基于所述远程协助应用启动屏幕录制功能,并将录制的屏幕显示数据通过所述服务器发送到所述第二移动终端中;
所述第二移动终端,用于基于所述屏幕显示数据进行显示,并基于对显示界面的操作数据,向所述服务器发送协助操作指令;
所述服务器,还用于将所述协助操作指令发送至所述第一移动终端中,以使所述第一移动终端基于所述协助操作指令执行对应的远程协助操作。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
CN202310154312.7A 2023-02-09 2023-02-09 移动终端的远程协助方法及系统、存储介质、计算机设备 Pending CN116192916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154312.7A CN116192916A (zh) 2023-02-09 2023-02-09 移动终端的远程协助方法及系统、存储介质、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154312.7A CN116192916A (zh) 2023-02-09 2023-02-09 移动终端的远程协助方法及系统、存储介质、计算机设备

Publications (1)

Publication Number Publication Date
CN116192916A true CN116192916A (zh) 2023-05-30

Family

ID=86448349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154312.7A Pending CN116192916A (zh) 2023-02-09 2023-02-09 移动终端的远程协助方法及系统、存储介质、计算机设备

Country Status (1)

Country Link
CN (1) CN116192916A (zh)

Similar Documents

Publication Publication Date Title
US11538046B2 (en) Page data acquisition method, apparatus, server, electronic device and computer readable medium
CN108595919B (zh) 软件激活方法、装置、系统和存储介质
CN111654730B (zh) 视频播放方法、数据处理方法、相关设备及介质
WO2021036583A1 (zh) 基于区块链的清算方法、装置、设备及计算机存储介质
CN111651418B (zh) 一种文档内容下载方法、装置、计算机设备和存储介质
CN114611481A (zh) 模板的配置方法、装置、计算机设备、存储介质
WO2021102691A1 (zh) 资源订阅方法、装置、计算机设备和存储介质
CN111970192B (zh) 基于会话群组的信息编辑方法及装置
CN114153362A (zh) 信息处理方法及装置
JP4271722B1 (ja) 画像認識情報システム、情報サーバ、情報提供方法および情報提供プログラム
CN116192916A (zh) 移动终端的远程协助方法及系统、存储介质、计算机设备
CN116360918A (zh) 建模数据处理方法、装置、计算机设备和存储介质
CN111078215B (zh) 软件产品应用方法及装置、存储介质及电子设备
CN111966435A (zh) 电子设备的操作流程分享方法及装置
US11762940B2 (en) Component level data management and state change detection in web applications for data loss protection
CN117130530A (zh) 背景图更新方法、装置、设备、存储介质和程序产品
CN116628666A (zh) 交互方法、装置、计算机设备和存储介质
CN117632951A (zh) 算法流程编排方法、装置、计算机设备及存储介质
CN117221830A (zh) 消息播报方法、装置、设备、存储介质和程序产品
CN116757176A (zh) 不同版本业务单据对比方法及相关产品
CN116483963A (zh) 虚拟机器人对话方法、装置、计算机设备和存储介质
CN116886812A (zh) 语音通信方法、装置、计算机设备、存储介质和程序产品
CN116800832A (zh) 信息推送方法、系统、设备及存储介质
CN117826626A (zh) 智能终端应用控制方法、装置、计算机设备和存储介质
CN117131307A (zh) 页面处理结果获取方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination