CN110554831B - 操作同步方法、装置、设备及存储介质 - Google Patents

操作同步方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110554831B
CN110554831B CN201910844193.1A CN201910844193A CN110554831B CN 110554831 B CN110554831 B CN 110554831B CN 201910844193 A CN201910844193 A CN 201910844193A CN 110554831 B CN110554831 B CN 110554831B
Authority
CN
China
Prior art keywords
touch
terminal device
management server
target
scene picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910844193.1A
Other languages
English (en)
Other versions
CN110554831A (zh
Inventor
赖勇辉
方李志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910844193.1A priority Critical patent/CN110554831B/zh
Publication of CN110554831A publication Critical patent/CN110554831A/zh
Application granted granted Critical
Publication of CN110554831B publication Critical patent/CN110554831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开了一种操作同步方法、装置、设备及存储介质,属于计算机技术领域。该方法包括:接收管理服务器实时发送的场景画面;显示同步界面,同步界面包括场景画面;基于同步界面检测对场景画面的触控操作;向管理服务器发送第一触控指令,第一触控指令携带触控操作的触控信息,管理服务器用于基于第一触控指令,将触控操作同步至管理服务器连接的至少一个终端设备,至少一个终端设备包括目标终端设备。实现了设备之间的操作同步,有助于实现精准的并发操作,提高了用户的操作效率。并且,管理服务器可连接的终端设备的数量不会受到硬件条件的限制,便于增加终端设备的数量,提高了扩展性。

Description

操作同步方法、装置、设备及存储介质
技术领域
本申请实施例涉及互联网技术领域,特别涉及一种操作同步方法、装置、设备及存储介质。
背景技术
操作同步是指将一个设备上的操作同步到另一设备上,以使这两个设备上实现的操作相同。随着互联网技术的快速发展以及设备规模的逐渐扩大,在应用测试、数据库查询、远程控制等多种场景下,均需要实现多个设备之间的操作同步。
相关技术中,采用USB Hub(UniversalSerialBus Hub,通用串行总线集线器),将一个中心设备与多个终端设备连接。用户在其中一个终端设备上进行操作时,通过中心设备,可以将该操作同步至该中心设备连接的其他终端设备上,实现多个终端设备之间的操作同步。
但是,USB Hub可连接的终端设备的数量有限,若要增加终端设备的数量需要增加USB Hub的数量。因此,上述方案受到硬件条件的限制,扩展性较差。
发明内容
本申请实施例提供了一种操作同步方法、装置、设备及存储介质,实现了设备之间的操作同步,且可连接的终端设备的数量不会受到硬件条件的限制,提高了扩展性。所述技术方案如下:
一方面,提供了一种操作同步方法,应用于触控设备,所述方法包括:
接收管理服务器实时发送的场景画面,所述场景画面由所述管理服务器连接的目标终端设备实时上传给所述管理服务器;
显示同步界面,所述同步界面包括所述场景画面;
基于所述同步界面检测对所述场景画面的触控操作;
向所述管理服务器发送第一触控指令,所述第一触控指令携带所述触控操作的触控信息,所述管理服务器用于基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,所述至少一个终端设备包括所述目标终端设备。
可选地,所述触控信息包括触控位置和触控操作类型,所述管理服务器用于向连接的每个终端设备下发所述第一触控指令,所述终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,所述触控信息包括触控位置和触控操作类型,所述管理服务器用于从连接的终端设备中,确定所述目标终端设备所属类别内的终端设备,作为指定终端设备,向所述指定终端设备下发所述第一触控指令,所述指定终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作,同一类别内的终端设备显示的场景画面相同。
可选地,所述管理服务器还用于在所述指定终端设备执行所述触控操作后,根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,所述触控信息包括第一触控区域的图像数据和触控操作类型,所述管理服务器用于从连接的终端设备中,确定当前显示的场景画面中包含所述图像数据的指定终端设备,以及所述指定终端设备上所述图像数据的显示区域,作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作。
可选地,所述同步界面包括图像操作选项,所述基于所述同步界面检测触控操作,包括:
当检测到对所述图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;
当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型。
可选地,所述同步界面包括目标设置选项,所述方法还包括:
当检测到对所述目标设置选项的选择操作时,显示所述管理服务器连接的每个终端设备的设备标识;
当检测到对显示的任一设备标识的选择操作时,向所述管理服务器发送目标设置指令,所述目标设置指令携带选择的设备标识,所述管理服务器用于将所述设备标识对应的终端设备设置为目标终端设备。
一方面,提供了一种操作同步方法,应用于管理服务器,所述方法包括:
将目标终端设备实时上传的场景画面发送给触控设备;
接收所述触控设备发送的第一触控指令,所述第一触控指令携带对所述场景画面的触控操作的触控信息;
基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,所述至少一个终端设备包括所述目标终端设备。
可选地,所述触控信息包括触控位置和触控操作类型,所述基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,包括:
向连接的每个终端设备下发所述第一触控指令,所述终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,所述触控信息包括触控位置和触控操作类型,所述基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,包括:
确定所述目标终端设备所属类别内的终端设备,作为指定终端设备,同一类别内的终端设备显示的场景画面相同;
向所述指定终端设备下发所述第一触控指令,所述指定终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,在所述指定终端设备执行所述触控操作后,所述方法还包括:
根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,所述触控信息包括第一触控区域的图像数据和触控操作类型,所述基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,包括:
从连接的终端设备中,确定当前显示的场景画面中包含所述图像数据的指定终端设备,以及所述指定终端设备上所述图像数据的显示区域,作为第二触控区域;
向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作。
可选地,所述方法还包括:
接收控制设备对目标脚本的下发指令,所述目标脚本用于指示执行目标操作;
向所述至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述目标脚本,以执行所述目标操作。
可选地,所述目标操作采用的参数不可重复,所述目标脚本用于指示生成随机参数,基于所述随机参数执行所述目标操作;
所述至少一个终端设备用于运行所述目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同。
可选地,所述目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
所述至少一个终端设备用于运行所述目标脚本,以基于所述网络模型和当前显示的场景画面确定下一步的操作,执行所述下一步的操作。
可选地,所述管理服务器为区块链系统中的节点设备,所述方法还包括:
生成同步记录,将所述同步记录存储于所述区块链系统中。
一方面,提供了一种操作同步方法,应用于控制设备,所述方法包括:
检测对目标脚本的下发操作,所述目标脚本用于指示执行目标操作;
向管理服务器发送对所述目标脚本的下发指令,所述管理服务器用于向连接的至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述目标脚本,以执行所述目标操作。
可选地,所述目标操作采用的参数不可重复,所述目标脚本用于指示生成随机参数,基于所述随机参数执行所述目标操作;
所述至少一个终端设备用于运行所述目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同。
可选地,所述目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
所述至少一个终端设备用于运行所述目标脚本,以基于所述网络模型和当前显示的场景画面确定下一步的操作,执行所述下一步的操作。
另一方面,提供了一种操作同步装置,应用于触控设备,所述装置包括:
接收模块,用于接收管理服务器实时发送的场景画面,所述场景画面由所述管理服务器连接的目标终端设备实时上传给所述管理服务器;
显示模块,用于显示同步界面,所述同步界面包括所述场景画面;
检测模块,用于基于所述同步界面检测对所述场景画面的触控操作;
发送模块,用于向所述管理服务器发送第一触控指令,所述第一触控指令携带所述触控操作的触控信息,所述管理服务器用于基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,所述至少一个终端设备包括所述目标终端设备。
可选地,所述触控信息包括触控位置和触控操作类型,所述管理服务器用于向连接的每个终端设备下发所述第一触控指令,所述终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,所述触控信息包括触控位置和触控操作类型,所述管理服务器用于从连接的终端设备中,确定所述目标终端设备所属类别内的终端设备,作为指定终端设备,向所述指定终端设备下发所述第一触控指令,所述指定终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作,同一类别内的终端设备显示的场景画面相同。
可选地,所述管理服务器还用于在所述指定终端设备执行所述触控操作后,根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,所述触控信息包括第一触控区域的图像数据和触控操作类型,所述管理服务器用于从连接的终端设备中,确定当前显示的场景画面中包含所述图像数据的指定终端设备,以及所述指定终端设备上所述图像数据的显示区域,作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作。
可选地,所述同步界面包括图像操作选项,所述检测模块,包括:
第一检测单元,用于当检测到对所述图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;
第二检测单元,用于当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型。
可选地,所述同步界面包括目标设置选项;
所述显示模块,还用于当检测到对所述目标设置选项的选择操作时,显示所述管理服务器连接的每个终端设备的设备标识;
所述发送模块,还用于当检测到对显示的任一设备标识的选择操作时,向所述管理服务器发送目标设置指令,所述目标设置指令携带选择的设备标识,所述管理服务器用于将所述设备标识对应的终端设备设置为目标终端设备。
另一方面,提供了一种操作同步装置,应用于管理服务器,所述装置包括:
发送模块,用于将目标终端设备实时上传的场景画面发送给触控设备;
第一接收模块,用于接收所述触控设备发送的第一触控指令,所述第一触控指令携带对所述场景画面的触控操作的触控信息;
同步模块,用于基于所述第一触控指令,将所述触控操作同步至所述管理服务器连接的至少一个终端设备,所述至少一个终端设备包括所述目标终端设备。
可选地,所述触控信息包括触控位置和触控操作类型,所述同步模块,包括:
第一下发单元,用于向连接的每个终端设备下发所述第一触控指令,所述终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,所述触控信息包括触控位置和触控操作类型,所述同步模块,包括:
第一确定单元,用于确定所述目标终端设备所属类别内的终端设备,作为指定终端设备,同一类别内的终端设备显示的场景画面相同;
第二下发单元,用于向所述指定终端设备下发所述第一触控指令,所述指定终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
可选地,所述装置还包括:
分类模块,用于根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,所述触控信息包括第一触控区域的图像数据和触控操作类型,所述同步模块,包括:
第二确定单元,用于从连接的终端设备中,确定当前显示的场景画面中包含所述图像数据的指定终端设备,以及所述指定终端设备上所述图像数据的显示区域,作为第二触控区域;
第二下发单元,用于向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作。
可选地,所述装置还包括:
第二接收模块,还用于接收控制设备对目标脚本的下发指令,所述目标脚本用于指示执行目标操作;
脚本下发模块,用于向所述至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述目标脚本,以执行所述目标操作。
可选地,所述目标操作采用的参数不可重复,所述目标脚本用于指示生成随机参数,基于所述随机参数执行所述目标操作;
所述至少一个终端设备用于运行所述目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同。
可选地,所述目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
所述至少一个终端设备用于运行所述目标脚本,以基于所述网络模型和当前显示的场景画面确定下一步的操作,执行所述下一步的操作。
可选地,所述管理服务器为区块链系统中的节点设备,所述装置还包括:
记录模块,用于生成同步记录,将所述同步记录存储于所述区块链系统中。
另一方面,提供了一种操作同步装置,应用于控制设备,所述装置包括:
检测模块,用于检测对目标脚本的下发操作,所述目标脚本用于指示执行目标操作;
发送模块,用于向管理服务器发送对所述目标脚本的下发指令,所述管理服务器用于向连接的至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述目标脚本,以执行所述目标操作。
可选地,所述目标操作采用的参数不可重复,所述目标脚本用于指示生成随机参数,基于所述随机参数执行所述目标操作;
所述至少一个终端设备用于运行所述目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同。
可选地,所述目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
所述至少一个终端设备用于运行所述目标脚本,以基于所述网络模型和当前显示的场景画面确定下一步的操作,执行所述下一步的操作。
另一方面,提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如所述操作同步方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行有以实现如所述操作同步方法中所执行的操作。
再一方面,提供了一种操作同步系统,所述操作同步系统包括如上述方面所述的触控设备、管理服务器及至少一个终端设备。
可选地,所述操作同步系统还包括如上述方面所述的控制设备。
本申请实施例提供的方法、装置、设备及存储介质,通过触控设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够将触控设备上检测到的触控操作同步至管理服务器连接的至少一个终端设备,实现了设备之间的操作同步,有助于实现精准的并发操作,提高了用户的操作效率。并且,管理服务器可连接的终端设备的数量不会受到硬件条件的限制,便于增加终端设备的数量,提高了扩展性。
并且,采用在触控设备上安装同步应用的方式,通过同步应用进行触控操作,与传统的浏览器相比,通过同步应用可实现的触控操作不仅限于点击操作、长按操作等单点触控操作,还包括多点触控操作,扩展了可同步的触控操作的类型,提高了全面性。
并且,用户只需在触控设备上进行触控操作,即可带动其他的终端设备进行操作,能够在简短的时间内实现更多设备的兼容,此方案无需用户编写测试脚本,对用户没有技术门槛的要求,能覆盖更多的应用测试场景。
并且,采用控制设备作为管理平台,用户在控制设备上可进行多种管理操作,对管理服务器或者管理服务器连接的终端设备进行管理,便于用户的统一把控。
并且,通过控制设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够通过控制设备和管理服务器,向至少一个终端设备下发目标脚本,以使至少一个终端设备执行目标操作,允许同画面的终端设备同时执行目标操作,且保证采用的参数不重复,还可以允许对处于不同场景的终端设备执行适应性的操作,提高了灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种操作同步系统的结构示意图。
图2是本申请实施例提供的另一种操作同步系统的结构示意图。
图3是本申请实施例提供的另一种操作同步系统的结构示意图。
图4是本申请实施例提供的另一种操作同步系统的结构示意图。
图5是本申请实施例提供的一种区块链系统的结构示意图。
图6是本申请实施例提供的一种区块链的示意图。
图7是本申请实施例提供的一种操作同步方法的流程图。
图8是本申请实施例提供的一种同步界面的示意图。
图9是本申请实施例提供的一种管理界面的示意图。
图10是本申请实施例提供的一种选择指定发型的示意图。
图11是本申请实施例提供的一种指定发型的示意图。
图12是本申请实施例提供的一种目标操作执行方法的流程图。
图13是本申请实施例提供的一种角色名称输入栏的示意图。
图14是本申请实施例提供的一种启动游戏界面的示意图。
图15是本申请实施例提供的一种操作同步装置的结构示意图。
图16是本申请实施例提供的另一种操作同步装置的结构示意图。
图17是本申请实施例提供的一种操作同步装置的结构示意图。
图18是本申请实施例提供的另一种操作同步装置的结构示意图。
图19是本申请实施例提供的一种操作同步装置的结构示意图。
图20是本申请实施例提供的一种设备的结构示意图。
图21是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种操作同步系统的示意图,参见图1,该操作同步系统包括:触控设备101、管理服务器102、至少一个终端设备103。
触控设备101与管理服务器102通过有线网络或无线网络连接,管理服务器102与至少一个终端设备103通过无线网络连接。
其中,触控设备101采用USB的方式与管理服务器102连接,或者采用WiFi(WirelessFidelity,无线保真)的方式与管理服务器102连接,或者采用其他方式与管理服务器102连接,本申请实施例对此不做限定。至少一个终端设备103采用Wi-Fi的方式与管理服务器102连接,或者采用其他方式与管理服务器102连接,本申请实施例对此不做限定。
这种终端设备与管理服务器通过无线网络进行连接的方式,可以保证终端设备的地理位置不会受到管理服务器的地理位置的限制,可以分布于任意位置。并且,如果要增加终端设备,直接将增加的终端设备与管理服务器通过无线网络连接即可,不会受到硬件条件的限制。因此,该方式能够适用于大批量终端设备进行操作同步的场景。
可选地,如图2所示,该操作同步系统还可以包括:控制设备104,控制设备104与管理服务器102通过有线网络或无线网络连接。
其中,控制设备104采用USB的方式与管理服务器102连接,或者采用Wi-Fi的方式与管理服务器102连接,或者采用其他方式与管理服务器102连接,本申请实施例对此不做限定。
可选地,如图3所示,该操作同步系统中,触控设备101可以与控制设备104通过有线网络或无线网络连接,从而通过控制设备104,与管理服务器102连接。也即是,控制设备104具有控制管理服务器102的功能,还具有连接触控设备101与管理服务器102的功能。
例如,控制设备104安装有中转应用,触控设备101与控制设备104连接后,通过该中转应用,在触控设备101与管理服务器102之间实现中转连接。
可选地,如图4所示,管理服务器102与至少一个连接容器105连接,且每个连接容器105与至少一个终端设备103连接。
其中,该连接容器105为用于实现连接功能的虚拟机,可以位于某一终端设备中,或者可以位于管理服务器102中。
触控设备101:
触控设备101可以为手机、平板电脑、游戏机等。触控设备101配置有触摸屏幕,用户可以在触控设备101上触发触控操作,包括单点触控操作和多点触控操作,单点触控操作如点击操作、长按操作、滑动操作等,多点触控操作如多点点击操作、多点长按操作、多点滑动操作等。
触控设备101连接管理服务器102,能够通过管理服务器102获得目标终端设备103实时的场景画面,从而将用户在触控设备101上对场景画面的触控操作或其他操作,在管理服务器102连接的全部或部分终端设备103上实现,从而实现同步操作。
可选地,触控设备101安装有同步应用,该同步应用与管理服务器102关联,触控设备101通过同步应用与管理服务器102进行交互,通过两者之间的交互,实现操作同步。
管理服务器102:
管理服务器102可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
管理服务器102是操作同步系统中重要的中转中心,至少包含以下两大功能:
一、终端设备管理:
将连接的每个终端设备的场景画面在控制设备104上进行显示,供用户查看。并且将用户在触控设备101或控制设备104上的操作或指令,在连接的全部或部分终端设备上实现。
二、决策中心:
将用户上传的操作或指令按照预定的策略,在对应的终端设备上实现,而不一定在全部的终端设备上实现,这是体现智能同步的关键步骤。
终端设备103:
需要进行同步操作的大批量终端设备,可以为手机、计算机、平板电脑、游戏机等。将显示的场景画面实时上传至管理服务器102,基于管理服务器102下发的指令或者脚本运行,从而实现多个终端设备103之间的操作同步,或者实现至少一个终端设备103与触控设备101之间的操作同步。
控制设备104:
控制设备104是一种展示终端设备画面和管理终端设备的平台,可以为手机、计算机、平板电脑、游戏机等。
此平台将所有连接到管理服务器102的终端设备的场景画面进行实时显示,并允许用户选择其中一个终端设备作为目标终端设备,并通知触控设备101与目标终端设备连接。用户在触控设备101上的操作同步到其它终端设备上,产生的效果将实时展示在控制设备104上。
用户可以在控制设备104上触发控制操作,从而通过管理服务器102,对至少一个终端设备103进行管理。控制设备104还具有其它管理功能,如刷新终端设备的屏幕、录制轨迹、添加监控、点击图片、输入文本、下发脚本、查看操作序列、提交Bug(漏洞)、标记场景、将具有同一场景画面的终端设备划分为同一个类别、对终端设备进行排序、设置场景画面的显示比例等。
连接容器105:
用于连接多个终端设备103的容器,将连接的终端设备的各种数据上传至管理服务器102,并执行从管理服务器103下发的指令,实现在终端设备103上的各种操作。
在一种可能实现方式中,还提供了一种区块链系统,如图5所示。
区块链系统是指用于节点设备与节点设备之间进行信息共享的系统,该区块链系统中可以包括多个节点设备501。每个节点设备501在进行正常工作可以获取到输入信息,基于获取到的输入信息维护该区块链系统内的共享信息。为了保证区块链系统内的信息互通,区块链系统中的每个节点设备之间可以存在信息连接,节点设备之间可以通过上述信息连接进行信息传输。例如,当区块链系统中的任意节点设备获取输入信息时,区块链系统中的其他节点设备便根据共识算法获取该输入信息,将该输入信息作为共享信息中的信息进行存储,使得区块链系统中全部节点设备上存储的信息均一致。
区块链系统中的每个节点设备均存储一条相同的区块链。区块链由多个区块组成,参见图6,区块链由多个区块组成,每个区块包括区块头和区块主体,区块头中存储有当前区块的输入信息特征值、时间戳或当前区块的其他信息,并且还存储有上一区块的区块头特征值,区块主体中存储有输入信息,以此类推,使得区块链中每个区块中存储的区块信息均与上一区块中存储的区块信息存在关联,保证了区块中输入信息的安全性。
本申请实施例中,管理服务器102为区块链系统中的节点设备,能够将获取到的信息共享给区块链系统中的其他节点设备,实现多个节点设备之间的信息共享。
基于上述操作同步系统,本申请实施例提供了一种操作同步方法,能够实现触控设备与目标终端设备之间的操作同步,并且,在管理服务器与多个终端设备连接的情况下,还可以实现该多个终端设备之间的操作同步。
本申请实施例可以应用于多种场景下。
例如在应用测试场景下,管理服务器与多个终端设备连接,每个终端设备安装相同的应用,则采用本申请实施例提供的方法,测试人员通过在触控设备上触发触控操作,即可控制每个终端设备上的应用执行相同的触控操作,从而对每个终端设备上的应用执行触控操作的情况进行测试。一个测试人员在有限时间内可以在150台或者300台终端设备上快速进行测试任务,大大提高了测试效率。
并且,不同的触控设备运行环境不完全一致,而采用本申请实施例提供的方法,能够控制不同运行环境的终端设备上同一应用执行相同的触控操作,从而能够了解该应用在不同运行环境下执行触控操作的情况,实现了兼容性测试。
或者,在游戏场景下,管理服务器与多个终端设备连接,每个终端设备安装游戏应用,则采用本申请实施例提供的方法,管理员通过在触控设备上触发登录操作,即可控制每个终端设备上的应用生成用户标识,并基于用户标识进行登录,或者,管理员通过在触控设备上触发暂停游戏操作,即可控制每个终端设备上的应用暂停游戏。
图7是本申请实施例提供的一种操作同步方法的流程图。本申请实施例的执行主体为如图1-图5所示的触控设备、管理服务器和终端设备,参见图7,该方法包括:
701、管理服务器连接的目标终端设备将显示的场景画面实时上传给管理服务器。
管理服务器与至少一个终端设备连接,每个终端设备运行过程中会显示场景画面,该场景画面可以为终端设备的主界面、终端设备运行的某一应用的登录界面、游戏界面等多种界面。并且,每个终端设备的运行情况可以相同,也可以不同,相应的,每个终端设备显示的场景画面可以相同,也可以不同。
可选地,本申请实施例应用于应用测试场景,每个终端设备安装待测试的目标应用,运行该目标应用的过程中显示目标应用的场景画面。
本申请实施例中,为了便于管理服务器的管理,每个终端设备可以将显示的场景画面实时或者周期性地上传给管理服务器。并且,管理服务器连接的其中一个终端设备可以作为目标终端设备,该目标终端设备也会将显示的场景画面实时上传给管理服务器。
可选地,管理服务器通过连接容器,与至少一个终端设备连接,则连接容器105通过调用功能组件,如minicap(一种截屏后实时传输的工具),对连接的终端设备进行截图,得到终端设备当前显示的场景画面,将场景画面上传至管理服务器102。
702、管理服务器接收目标终端设备实时上传的场景画面,将场景画面发送给触控设备。
本申请实施例中,管理服务器可以接收连接的每个终端设备实时上传的场景画面,其中对于目标终端设备实时上传的场景画面,管理服务器会将该场景画面发送给触控设备,由触控设备进行显示,用户即可在触控设备上查看目标终端设备的场景画面。而对于其他终端设备实时上传的场景画面,管理服务器将不再发送给触控设备。
可选地,管理服务器与控制设备连接,管理服务器可以将每个终端设备实时上传的场景画面发送给控制设备,由控制设备在管理界面上进行显示,用户即可在控制设备上查看每个终端设备的场景画面,还可以基于每个终端设备的场景画面进行多种管理操作。
例如,管理服务器可以通过WebSocket(网络套接字)或者Web(网络)流媒体方式,与控制设备建立长连接,通过建立的长连接,可以将场景画面实时发送给控制设备,从而提高控制设备的显示帧率,提升场景画面的显示效果。
在一种可能实现方式中,控制设备安装用于进行操作同步的同步应用,启动该同步应用后即可显示管理界面,后续还可以通过同步应用,与管理服务器进行交互,实现对管理服务器的管理操作。其中,该同步应用可以为控制设备自带的应用,或者还可以控制设备安装的第三方应用,本申请实施例对此不做限定。
在另一种可能实现方式中,管理服务器生成管理界面,获取该管理界面的链接地址,发送给控制设备,控制设备在浏览器中访问该链接地址,从而显示该管理界面。
703、触控设备接收该场景画面,显示同步界面,同步界面包括场景画面。
其中,该同步界面用于控制触控设备与目标终端设备之间的操作同步,触控设备显示该同步界面,在该同步界面中显示目标终端设备实时上传的场景画面。
可选地,如图8所示,该同步界面中包括第一显示区域和第二显示区域,第一显示区域中显示目标终端设备实时上传的场景画面,第二显示区域中显示至少一个功能选项,用户可以通过触发任一个功能选项,控制触控设备进行对应的操作。
在一种可能实现方式中,触控设备安装用于进行操作同步的同步应用,启动该同步应用后即可显示同步界面,在该同步界面中显示目标终端设备实时上传的场景画面。并且,还可以通过同步应用,与管理服务器进行交互,从而实现触控设备与目标终端设备之间的操作同步。其中,该同步应用可以为触控设备自带的应用,或者还可以触控设备安装的第三方应用,本申请实施例对此不做限定。
在另一种可能实现方式中,管理服务器生成同步界面,获取该同步界面的链接地址,发送给触控设备,触控设备访问该链接地址,从而显示该同步界面。
需要说明的是,目标终端设备可以由管理服务器默认设置,或者由用户进行设置,或者由控制设备进行设置,或者还可以采用其他方式确定,本申请实施例对此不做限定。
可选地,触控设备显示的同步界面包括目标设置选项,用户希望设置目标终端设备时,触发对目标设置选项的选择操作,当触控设备检测到对目标设置选项的选择操作时,显示管理服务器连接的每个终端设备的设备标识,此时用户可以从中选取任一设备标识,当触控设备检测到对显示的任一设备标识的选择操作时,向管理服务器发送目标设置指令,目标设置指令携带选择的设备标识,管理服务器接收该目标设置指令,将该设备标识对应的终端设备设置为目标终端设备。
或者,如图9所示,控制设备显示管理界面,该管理界面中包括管理服务器连接的每个终端设备的场景画面的缩略图,用户可以选中任一个缩略图,当控制设备检测到对任一缩略图的选中操作时,向管理服务器发送目标设置指令,目标设置指令携带选择的缩略图对应的终端设备的设备标识,管理服务器接收该目标设置指令,将将该设备标识对应的终端设备设置为目标终端设备。
其中,设备标识用于确定唯一对应的设备,可以为设备的编号、设备的网络地址或者设备的其他标识信息,本申请实施例对此不做限定。
参见图9,以目标终端设备为设备1为例,管理界面的上方显示区域中,显示设备1的设备详情和场景画面A,以及至少一个功能选项,下方显示区域中显示多个终端设备的场景画面的缩略图。
可选地,管理服务器连接的每个终端设备的设备类型,与触控设备的设备类型均相同,从而能够在相同类型的设备上进行操作同步,测试相同类型的终端设备对于同种操作的执行情况。或者,管理服务器连接的每个终端设备的设备类型不完全相同,其中目标终端设备的设备类型与触控设备的设备类型相同,则在不同类型的终端设备上进行操作同步,能够对不同运行环境下的终端设备对于同种操作的执行情况。
例如,触控设备和终端设备的操作系统可以为安卓系统或者iOS(iPhoneOperating System,苹果操作系统)等。
704、触控设备基于同步界面检测对场景画面的触控操作。
本申请实施例中,触控设备配置有触摸屏幕,在触控设备通过触摸屏幕显示同步界面时,用户可以在触摸屏幕上触发对场景画面的触控操作,从而控制目标终端设备也执行触控操作。
该触控操作包括单点触控操作和多点触控操作,单点触控操作如点击操作、长按操作、滑动操作等,多点触控操作如多点点击操作、多点长按操作、多点滑动操作等,本申请实施例对触控操作不做限定。
705、触控设备向管理服务器发送第一触控指令,第一触控指令携带触控操作的触控信息。
706、管理服务器接收第一触控指令,基于第一触控指令,将触控操作同步至管理服务器连接的至少一个终端设备,至少一个终端设备包括目标终端设备。
其中,该至少一个终端设备可以为管理服务器连接的全部终端设备,或者为管理服务器根据预定的同步策略确定的全部或部分终端设备。
根据管理服务器预定的同步策略的不同,进行同步的终端设备也不同。因此,步骤706可以包括以下任一情况:
一、全部同步:
触控信息包括触控位置和触控操作类型,触控设备在检测到触控操作时,可以获取触控操作的触控位置和触控操作类型。其中,触控位置可以采用在场景画面中的坐标信息来表示,该坐标信息包括横坐标和纵坐标。触控操作类型用于指示触控操作的类型,如点击操作类型、长按操作类型、滑动操作类型或者其他操作类型等,根据触控操作类型可以确定用户触发了哪一种类型的触控操作。
此种情况下,管理服务器接收到第一触控指令,可以获取到触控位置和触控操作类型,此时管理服务器可以采用全部同步的策略,向连接的每个终端设备下发第一触控指令,则每个终端设备均会接收到该第一触控指令,基于该第一触控指令,在该触控位置上执行该触控操作类型对应的触控操作,实现了触控设备与每个终端设备之间的操作同步。
可选地,触控设备发送携带触控位置(X,Y)和触控操作类型(click)的协议包给管理服务器,管理服务器接收到该协议包时,对该协议包进行解析,确定该协议包代表在一个触控位置(X,Y)上进行了点击操作,并且没有设备范围的限制,因此将该协议包广播给连接该管理服务器的全部终端设备,使全部终端设备在触控位置(X,Y)上进行点击操作。
或者,管理服务器与连接容器连接,连接容器与终端设备连接,则管理服务器将该协议包广播给连接该管理服务器的全部连接容器,在连接容器上执行操作命令,使连接的全部终端设备在触控位置(X,Y)上进行点击操作。
例如,如图10所示,触控设备显示的场景画面中包括多个发型对应的头像,用户点击了其中一个头像,则每个终端设备也会点击相同的头像。
此种情况直接向每个终端设备下发第一触控指令,操作速度快,提高了操作同步效率。
二、对显示相同场景画面的终端设备进行同步:
触控信息包括触控位置和触控操作类型,触控设备在检测到触控操作时,可以获取触控操作的触控位置和触控操作类型。其中,触控位置可以采用在场景画面中的坐标信息来表示,该坐标信息包括横坐标和纵坐标。触控操作类型用于指示触控操作的类型,如点击操作类型、长按操作类型、滑动操作类型或者其他操作类型等,根据触控操作类型可以确定用户触发了哪一种类型的触控操作。
此种情况下,同一类别内的终端设备显示的场景画面相同,不同类别内的终端设备显示的场景画面不同。管理服务器接收到第一触控指令,从连接的终端设备中,确定目标终端设备所属类别内的终端设备,作为指定终端设备,指定终端设备即为与触控设备显示相同场景画面的终端设备,包括目标终端设备,也可以包括其他终端设备。管理服务器向指定终端设备下发第一触控指令,指定终端设备接收到第一触控指令时,基于该第一触控指令,在触控位置上执行触控操作类型对应的触控操作,实现了触控设备与显示相同场景画面的终端设备之间的操作同步。
例如,如图10所示,触控设备显示的场景画面中包括多个发型对应的头像,用户在场景画面中的位置(X1,Y1)进行了点击操作,从而点击了其中一个头像,则管理服务器会判断其他终端设备当前显示的场景画面与目标终端设备当前显示的场景画面是否相同,如果某一终端设备当前显示的场景画面与目标终端设备当前显示的场景画面不同,则管理服务器不会下发触控指令,终端设备将不会点击该头像。如果某一终端设备当前显示的场景画面与目标终端设备当前显示的场景画面相同,但是该终端设备上相同的头像所在位置为(X2,Y2),则管理服务器会找到该头像实际所在的位置,向终端设备下发触控指令,从而在终端设备上(X2,Y2)的位置进行点击操作,从而点击相同的头像。
此种情况能够将同一个触控位置上的触控操作下发给显示相同场景画面的终端设备,能够准确地在相同的触控操作上进行相同类型的触控操作,避免将触控操作下发给显示不同场景画面的终端设备而导致无法达到预期效果的问题。而且采用预先分类的方式,无需再查找显示相同场景画面的终端设备,提高了操作效率,缩短了操作时间。
并且,管理服务器可以将每个终端设备实时上传的场景画面进行匹配,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,从而可以得到至少一个类别,每个类别中包括至少一个终端设备。
其中,将任两个场景画面进行匹配时,可以获取这两个场景画面的特征,将这两个场景画面的特征进行匹配,匹配时可以采用精确匹配的方式或者模糊匹配的方式,本申请实施例对此不做限定。例如,对于两个分辨率不同的终端设备,即使这两个终端设备显示相同的场景画面,这两个场景画面仍然存在少许的差异,场景画面中的同一对象的位置可能会发生少许的偏移。这种情况下通过模糊匹配的方式,可以判定为这两个场景画面相同。
在某一个终端设备的场景画面发生变化时,管理服务器可以重新进行分类,重新获取划分得到的类别。或者,在管理服务器向至少一个终端设备下发了触控操作指令时,重新进行分类,重新获取划分得到的类别。
相应地,在管理服务器向指定终端设备下发第一触控指令,指定终端设备执行触控操作后,所显示的场景界面可能会发生变化。此时,管理服务器连接的每个终端设备实时向管理服务器上传显示的场景界面,管理服务器接收每个终端设备上传的场景画面,重新将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
并且,管理服务器还可以为每个类别分配一个类别标识,用于将不同的类别进行区分,将每个类别标识与属于对应类别的至少一个终端设备的设备标识进行绑定,以表示该至少一个终端设备属于该类别。
另外,管理服务器还可以将分配的每个类别标识发送给控制设备,由控制设备在管理界面中进行显示。用户在管理界面中选中任一类别标识,即可在管理界面中显示该类别标识对应的终端设备的场景画面,而不再显示其他类别标识对应的终端设备的场景画面,实现了不同类别的终端设备的筛选,提高了条理性。
例如,如图9所示,管理服务器划分出三个类别,类别标识分别为100、110、120。在管理界面中显示上述三个类别标识,用户选中类别标识“100”,则在管理界面中显示类别标识100对应的多个终端设备的场景画面。
或者,为了节省管理界面的显示区域,管理界面中仅显示预设数量的类别标识,而不再显示其他的类别标识。例如可以按照每个类别内的终端设备的数量进行排序,将终端设备数量最多的前预设数量的类别标识显示于管理界面中。其中,该预设数量可以由管理服务器默认设置,或者由用户在控制设备上进行设置,或者采用方式进行设置,本申请实施例对此不做限定。
三、对相同的图像数据进行同步:
触控信息包括第一触控区域的图像数据和触控操作类型,触控设备在检测到触控操作时,可以获取触控操作的第一触控区域的图像数据和触控操作类型。其中,第一触控区域为触控操作的触控位置在场景画面中所在的区域,可以采用在场景画面中的坐标信息和区域尺寸来表示,该坐标信息包括横坐标和纵坐标,该尺寸包括长度和宽度。第一触控区域的图像数据即为在场景画面中对第一触控区域进行截图而得到的图像数据。触控操作类型用于指示触控操作的类型,如点击操作类型、长按操作类型、滑动操作类型或者其他操作类型等,根据触控操作类型可以确定用户触发了哪一种类型的触控操作。
此种情况下,管理服务器从连接的终端设备中,确定当前显示的场景画面中包含图像数据的指定终端设备,以及指定终端设备上图像数据的显示区域,作为第二触控区域,向指定终端设备下发第二触控指令,第二触控指令携带第二触控区域和触控操作类型,指定终端设备接收到该第二触控指令时,基于该第二触控指令,在第二触控区域上执行触控操作类型对应的触控操作。管理服务器根据各个终端设备的实际情况更改触控指令,实现了触控设备与显示相同图像数据的终端设备之间的操作同步,具有更高的智能性。
可选地,触控设备发送携带图像数据和触控操作类型(click)的协议包给管理服务器,管理服务器接收到该协议包时,对该协议包进行解析,确定该协议包代表在图像数据上进行了点击操作,将连接的每个终端设备当前显示的场景画面和该图像数据上传至识别服务器,该识别服务器将该图像数据与每个场景画面进行匹配,从而确定包含该图像数据的场景画面,以及图像数据在相应场景画面中的显示区域,返回给管理服务器,管理服务器根据识别服务器返回的结果,确定当前显示的场景画面中包含图像数据的指定终端设备,以及指定终端设备上图像数据的显示区域,作为第二触控区域,生成包含第二触控区域和触控操作类型的协议包,发送给对应的指定终端设备,使指定终端设备对第二触控区域进行点击操作。
例如,如图10所示,触控设备显示的场景画面中包括多个发型对应的头像,用户点击了其中一个头像,希望能够选择该头像中的指定发型“发型1”,有一个终端设备虽然与目标终端设备显示的场景画面相似,但是指定发型却在另一个位置。如果采用上述第一种策略或第二种策略,将会在与触控设备相同的触控位置上进行点击,从而选择了错误的发型,对后续的操作产生了影响。因此,为了保证终端设备都能选择相同的发型,先在不同的终端设备上分别找到该指定发型所在的触控区域,再下发针对该指定发型的触控区域进行点击操作的触控指令,从而控制每个终端设备在各自的场景画面中查找到指定发型,对指定发型进行点击操作,如图11所示,避免了单纯按照触控操作的触控位置进行同步而导致的同步错误,且降低了并发的同步操作,提高了操作执行效率。
可选地,同步界面包括图像操作选项,该图像操作选项用于指示采用对相同的图像数据进行同步的策略。若用户希望对某个触控区域进行触控操作,可以先触发对图像操作选项的选择操作,在场景画面中触发拖拽操作,框出一个区域,在该区域中进行触控操作。相应地,对于触控设备来说,当触控设备检测到对图像操作选项的选择操作时,检测在场景画面中的拖拽操作,获取拖拽操作对应的第一触控区域,当检测到对第一触控区域的触控操作时,获取第一触控区域的图像数据和触控操作对应的触控操作类型。
如图10所示,用户点击左下角的“图像”选项,在场景画面中进行拖拽操作,框出指定发型所在的区域,之后在该区域内进行点击操作,从而发起针对该指定发型进行点击操作的触控指令,以便在其他终端设备上对指定发型进行点击操作。
需要说明的是,本申请实施例中的管理服务器可以为区块链系统中的节点设备,该管理服务器与区块链系统中的其他节点设备进行信息共享。
则当管理服务器下发触控指令,实现触控设备与终端设备之间的操作同步时,可以生成同步记录,将同步记录存储于区块链系统中。其中,存储该同步记录的区块形式如图6所示,在此不再赘述。
并且,该同步记录中可以包括每个终端设备的设备标识、每个终端设备执行的操作类型、操作时间、操作结果等。
由于存储在区块链中的同步记录不可篡改,可以有效的确保同步记录的真实有效,便于后续对同步记录的查询,提高了安全性。
本申请实施例提供的方法,通过触控设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够将触控设备上检测到的触控操作同步至管理服务器连接的至少一个终端设备,实现了设备之间的操作同步,有助于实现精准的并发操作,提高了用户的操作效率。并且,管理服务器可连接的终端设备的数量不会受到硬件条件的限制,便于增加终端设备的数量,提高了扩展性。
并且,采用在触控设备上安装同步应用的方式,通过同步应用进行触控操作,与传统的浏览器相比,通过同步应用可实现的触控操作不仅限于点击操作、长按操作等单点触控操作,还包括多点触控操作,扩展了可同步的触控操作的类型,提高了全面性。
并且,用户只需在触控设备上进行触控操作,即可带动其他的终端设备进行操作,能够在简短的时间内实现更多设备的兼容,此方案无需用户编写测试脚本,对用户没有技术门槛的要求,能覆盖更多的应用测试场景。
并且,采用控制设备作为管理平台,用户在控制设备上可进行多种管理操作,对管理服务器或者管理服务器连接的终端设备进行管理,便于用户的统一把控。
图12是本申请实施例提供的一种目标操作执行方法的流程图。本申请实施例的执行主体为如图1-图4所示的控制设备、管理服务器和终端设备,参见图12,该方法包括:
1201、控制设备检测对目标脚本的下发操作。
1202、控制设备向管理服务器发送对目标脚本的下发指令。
其中,目标脚本用于指示执行目标操作,包含用于执行目标操作的操作指令,终端设备运行目标脚本时,会运行该操作指令,从而执行目标操作。
该目标操作可以为任意操作,如在某一触控位置上的点击操作、滑动进度条的操作、登录操作、启动游戏的操作等多种操作。
本申请实施例中,控制设备对管理服务器及管理服务器连接的终端设备进行管理。当用户希望控制终端设备执行目标操作时,可以在控制设备上触发对目标脚本的下发操作,控制设备检测到该下发操作,向管理服务器发送对目标脚本的下发指令。
可选地,控制设备显示管理界面,用户可以基于该管理界面编写目标脚本,编写完成后,触发对目标脚本的下发操作。或者,该目标脚本已预先编写完成,存储于控制设备中,控制设备显示管理界面,该管理界面中包括已编写完成的一个或多个脚本,用户可以触发对目标脚本的下发操作。
例如,参见图9,管理界面包括下发脚本选项,且下发脚本选项下方的选择框中包括新建脚本选项和三角形的选择标记,用户点击新建脚本选项,可以编写目标脚本,编写完成后点击下发脚本选项,即可触发对目标脚本的下发操作。或者用户点击选择标记,此时管理界面中显示已编写完成的脚本,用户可以从中选择一个脚本作为目标脚本,从而触发对目标脚本的下发操作。
需要说明的是,目标脚本可以存储于控制设备中,也可以存储于管理服务器。
在一种可能实现方式中,目标脚本存储于控制设备中,控制设备检测到对目标脚本的下发操作时,向管理服务器发送携带该目标脚本的下发指令,管理服务器即可获取到该目标脚本。
在另一种可能实现方式中,目标脚本存储于管理服务器中,管理服务器为每个脚本分配一个脚本标识,将所存储的每个脚本的脚本标识下发给控制设备。则控制设备检测到对目标脚本的脚本标识的选择操作,即为对目标脚本的下发操作,则向管理服务器发送携带该脚本标识的下发指令,管理服务器即可获取到该脚本标识,查找该脚本标识对应的目标脚本。
1203、管理服务器接收该下发指令,向至少一个终端设备下发目标脚本。
1204、至少一个终端设备运行目标脚本,以执行目标操作。
可选地,管理服务器采用全部同步的策略,向连接的每个终端设备下发目标脚本,或者,目标操作具有适用的场景画面,显示该场景画面的终端设备可以执行目标操作,而不显示该场景画面的终端设备不可执行目标操作,则管理服务器采用对显示相同场景画面的终端设备进行同步的策略,确定当前显示该目标操作适用的场景画面的终端设备,向确定的终端设备下发目标脚本,而不再向其他的终端设备下发目标脚本。
例如,登录操作仅能在登录界面执行,不能在其他界面执行。当管理服务器接收到对登录脚本的下发指令时,向当前显示登录界面的终端设备下发登录脚本,而不再向显示其他场景画面的终端设备下发登录脚本。
其中,管理服务器可以存储每种操作对应的脚本以及适用的场景画面,则管理服务器接收到该下发指令时,能够查询该目标操作对应的目标脚本以及适用的场景画面,确定当前显示该目标操作适用的场景画面的终端设备,向确定的终端设备下发目标脚本。或者,用户在控制设备上选取目标脚本时,还可以根据每个终端设备当前显示的场景画面,选取该目标脚本适用的终端设备,则该下发指令中携带控制设备选取的终端设备的设备标识,管理服务器接收到该下发指令时,向该下发指令携带的设备标识对应的终端设备下发目标脚本即可。
采用本申请实施例提供的方法,能够通过控制设备,控制全部或部分的终端设备执行目标操作。并且,通过运行目标脚本的方式执行目标操作,该目标操作可以是点击、长按等较为简单的触控操作,或者还可以是包含较多操作步骤的复杂操作,只需根据用户的需求选取目标操作即可,具有更高的灵活性。
在一种可能实现方式中,目标操作采用的参数不可重复,即不同的终端设备可以执行目标操作,但是在执行目标操作时不可采用相同的参数,否则会由于参数冲突而导致操作失败。
此种情况下,所编写的目标脚本用于指示生成随机参数,基于随机参数执行目标操作。因此,终端设备在运行目标脚本时,会先生成随机参数,基于随机参数执行目标操作,且不同的终端设备生成的随机参数不同。
例如,执行登录操作时需要登录账号和登录密码,且不同终端设备采用的登录账号不可相同。因此,目标脚本用于指示生成随机的登录账号和登录密码,基于生成的登录账号和登录密码进行登录操作。
或者,执行选取游戏角色的操作时需要为游戏角色生成角色名称,且不同终端设备生成的角色名称不可相同。因此,目标脚本用于指示生成随机的角色名称。如图13所示,终端设备会显示输入栏,提示用户在输入栏中输入角色名称,而终端设备在运行目标脚本时,可以自动且随机地生成角色名称。
此种方式可以与上述图7所示实施例中的操作同步的方式结合。也即是,对于采用的参数可以重复的操作,用户可以在触控设备上触发该操作,从而控制终端设备执行该操作。而对于采用的参数不可以重复的操作,用户可以在触控设备上触发该操作,此时无法直接将该操作同步至终端设备上,则用户在控制设备上下发该操作对应的脚本,即可在终端设备上执行该操作。
在另一种可能实现方式中,在应用测试场景或者其他场景下,当需要终端设备在不同的场景下执行灵活的操作,这样就不能由用户通过触控设备给出统一的指令,也无法通过运行某个预先确定好的目标脚本来执行目标操作。此时,可以对目标脚本的功能进行扩展,在目标脚本引入网络模型的服务,以便基于网络模型来执行操作。
为此,目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作,终端设备运行目标脚本时,会基于网络模型和当前显示的场景画面确定下一步的操作,执行下一步的操作。之后还会继续基于网络模型和当前显示的场景画面继续确定下一步的操作,执行下一步的操作,以此类推。
可选地,该操作同步系统还包括模型服务器,该模型服务器中存储有预先训练好的网络模型,该网络模型用于根据当前显示的场景画面预测下一步的操作。目标脚本用于指示将当前显示的场景画面上传至模型服务器,由模型服务器基于网络模型和当前显示的场景画面确定下一步的操作,从而执行模型服务器返回的下一步的操作。则终端设备在运行目标脚本的过程中,获取当前显示的场景画面,发送给模型服务器,模型服务器接收该场景画面,基于网络模型和该场景画面预测在该场景画面中将要执行的下一步操作,发送给终端设备,终端设备接收模型服务器返回的操作,并执行该操作。
例如,如图14所示,终端设备显示游戏界面,游戏界面中包括多种游戏的启动选项,在点击某一启动选项,启动一局游戏后,每个终端设备各自启动不同的对局,用户无法通过触控设备进行统一的控制,此时可以将目标脚本下发给启动对局的终端设备,由这些终端设备各自基于网络模型进行操作,直至完成对局。在此过程中,操作一直交由目标脚本进行控制,由目标脚本结合网络模型实现了对局操作。
网络模型的训练过程可以包括:获取多个样本数据,每个样本数据中包括场景画面和在场景画面中执行的操作,根据多个样本数据训练网络模型,即对于每个样本数据,将样本数据中的场景画面作为网络模型的输入,将在场景画面中执行的操作作为网络模型的输出,对该网络模型进行训练,使该网络模型学习到场景画面与在场景画面中执行的操作之间的关联关系,具备根据场景画面来预测下一步操作的能力。
其中,该网络模型可以为深度学习网络模型、卷积神经网络模型、马尔科夫模型等,本申请实施例对此不做限定。并且,该网络模型可以由模型服务器训练得到,或者还可以由其他的设备训练后发送给模型服务器,由模型服务器存储。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例提供的方法,采用人工智能技术自动地训练网络模型,从而基于该网络模型进行操作。
需要说明的是,本申请实施例仅是以用户通过控制设备来下发目标脚本为例,在另一实施例中,该目标脚本还可以由管理服务器自动根据策略下发。例如,管理服务器预定义一些弹窗处理机制,在某些终端设备的运行过程中,当终端设备弹出活动窗口时,管理服务器可以直接向弹出活动窗口的终端设备下发用于关闭活动窗口的目标脚本,从而自动地关闭活动窗口,该过程无需用户的介入,节省了用户的操作。或者,管理服务器还可以预定义检测终端设备是否花屏的机制,在终端设备的运行过程中,管理服务器接收每个终端设备实时上传的场景画面,并检测每个场景画面中是否出现花屏情况,以便及时地对花屏情况进行处理。
本申请实施例提供的方法,通过控制设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够通过控制设备和管理服务器,向至少一个终端设备下发目标脚本,以使至少一个终端设备执行目标操作,允许同画面的终端设备同时执行目标操作,且保证采用的参数不重复,还可以允许对处于不同场景的终端设备执行适应性的操作,提高了灵活性。
图15是本申请实施例提供的一种操作同步装置的结构示意图。参见图15,该装置应用于触控设备,包括:
接收模块1501,用于接收管理服务器实时发送的场景画面,场景画面由管理服务器连接的目标终端设备实时上传给管理服务器;
显示模块1502,用于显示同步界面,同步界面包括场景画面;
检测模块1503,用于基于同步界面检测对场景画面的触控操作;
发送模块1504,用于向管理服务器发送第一触控指令,第一触控指令携带触控操作的触控信息,管理服务器用于基于第一触控指令,将触控操作同步至管理服务器连接的至少一个终端设备,至少一个终端设备包括目标终端设备。
可选地,触控信息包括触控位置和触控操作类型,管理服务器用于向连接的每个终端设备下发第一触控指令,终端设备用于在触控位置上执行触控操作类型对应的触控操作。
可选地,触控信息包括触控位置和触控操作类型,管理服务器用于从连接的终端设备中,确定目标终端设备所属类别内的终端设备,作为指定终端设备,向指定终端设备下发第一触控指令,指定终端设备用于在触控位置上执行触控操作类型对应的触控操作,同一类别内的终端设备显示的场景画面相同。
可选地,管理服务器还用于在指定终端设备执行触控操作后,根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,触控信息包括第一触控区域的图像数据和触控操作类型,管理服务器用于从连接的终端设备中,确定当前显示的场景画面中包含图像数据的指定终端设备,以及指定终端设备上图像数据的显示区域,作为第二触控区域,向指定终端设备下发第二触控指令,第二触控指令携带第二触控区域和触控操作类型,指定终端设备用于在第二触控区域上执行触控操作类型对应的触控操作。
可选地,参见图16,同步界面包括图像操作选项,检测模块1503,包括:
第一检测单元1513,用于当检测到对图像操作选项的选择操作时,检测在场景画面中的拖拽操作,获取拖拽操作对应的第一触控区域;
第二检测单元1523,用于当检测到对第一触控区域的触控操作时,获取第一触控区域的图像数据和触控操作对应的触控操作类型。
可选地,同步界面包括目标设置选项;
显示模块1502,还用于当检测到对目标设置选项的选择操作时,显示管理服务器连接的每个终端设备的设备标识;
发送模块1504,还用于当检测到对显示的任一设备标识的选择操作时,向管理服务器发送目标设置指令,目标设置指令携带选择的设备标识,管理服务器用于将设备标识对应的终端设备设置为目标终端设备。
图17是本申请实施例提供的一种操作同步装置的结构示意图。参见图17,该装置应用于管理服务器,包括:
发送模块1701,用于将目标终端设备实时上传的场景画面发送给触控设备;
第一接收模块1702,用于接收触控设备发送的第一触控指令,第一触控指令携带对场景画面的触控操作的触控信息;
同步模块1703,用于基于第一触控指令,将触控操作同步至管理服务器连接的至少一个终端设备,至少一个终端设备包括目标终端设备。
可选地,参见图18,触控信息包括触控位置和触控操作类型,同步模块1703,包括:
第一下发单元1713,用于向连接的每个终端设备下发第一触控指令,终端设备用于在触控位置上执行触控操作类型对应的触控操作。
可选地,参见图18,触控信息包括触控位置和触控操作类型,同步模块1703,包括:
第一确定单元1723,用于确定目标终端设备所属类别内的终端设备,作为指定终端设备,同一类别内的终端设备显示的场景画面相同;
第二下发单元1733,用于向指定终端设备下发第一触控指令,指定终端设备用于在触控位置上执行触控操作类型对应的触控操作。
可选地,装置还包括:
分类模块1704,用于根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
可选地,参见图18,触控信息包括第一触控区域的图像数据和触控操作类型,同步模块1703,包括:
第二确定单元1743,用于从连接的终端设备中,确定当前显示的场景画面中包含图像数据的指定终端设备,以及指定终端设备上图像数据的显示区域,作为第二触控区域;
第二下发单元1753,用于向指定终端设备下发第二触控指令,第二触控指令携带第二触控区域和触控操作类型,指定终端设备用于在第二触控区域上执行触控操作类型对应的触控操作。
可选地,参见图18,装置还包括:
第二接收模块1705,还用于接收控制设备对目标脚本的下发指令,目标脚本用于指示执行目标操作;
脚本下发模块1706,用于向至少一个终端设备下发目标脚本,至少一个终端设备用于运行目标脚本,以执行目标操作。
可选地,目标操作采用的参数不可重复,目标脚本用于指示生成随机参数,基于随机参数执行目标操作;
至少一个终端设备用于运行目标脚本,以生成随机参数,基于随机参数执行目标操作,且不同的终端设备生成的随机参数不同。
可选地,目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
至少一个终端设备用于运行目标脚本,以基于网络模型和当前显示的场景画面确定下一步的操作,执行下一步的操作。
可选地,参见图18,管理服务器为区块链系统中的节点设备,装置还包括:
记录模块1707,用于生成同步记录,将同步记录存储于区块链系统中。
本申请实施例提供的装置,通过触控设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够将触控设备上检测到的触控操作同步至管理服务器连接的至少一个终端设备,实现了设备之间的操作同步,有助于实现精准的并发操作,提高了用户的操作效率。并且,管理服务器可连接的终端设备的数量不会受到硬件条件的限制,便于增加终端设备的数量,提高了扩展性。
并且,采用在触控设备上安装同步应用的方式,通过同步应用进行触控操作,与传统的浏览器相比,通过同步应用可实现的触控操作不仅限于点击操作、长按操作等单点触控操作,还包括多点触控操作,扩展了可同步的触控操作的类型,提高了全面性。
并且,用户只需在触控设备上进行触控操作,即可带动其他的终端设备进行操作,能够在简短的时间内实现更多设备的兼容,此方案无需用户编写测试脚本,对用户没有技术门槛的要求,能覆盖更多的应用测试场景。
并且,采用控制设备作为管理平台,用户在控制设备上可进行多种管理操作,对管理服务器或者管理服务器连接的终端设备进行管理,便于用户的统一把控。
图19是本申请实施例提供的一种操作同步装置的结构示意图。参见图19,该装置应用于控制设备,包括:
检测模块1901,用于检测对目标脚本的下发操作,目标脚本用于指示执行目标操作;
发送模块1902,用于向管理服务器发送对目标脚本的下发指令,管理服务器用于向连接的至少一个终端设备下发目标脚本,至少一个终端设备用于运行目标脚本,以执行目标操作。
可选地,目标操作采用的参数不可重复,目标脚本用于指示生成随机参数,基于随机参数执行目标操作;
至少一个终端设备用于运行目标脚本,以生成随机参数,基于随机参数执行目标操作,且不同的终端设备生成的随机参数不同。
可选地,目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
至少一个终端设备用于运行目标脚本,以基于网络模型和当前显示的场景画面确定下一步的操作,执行下一步的操作。
本申请实施例提供的装置,通过控制设备与管理服务器连接,管理服务器与至少一个终端设备连接,能够通过控制设备和管理服务器,向至少一个终端设备下发目标脚本,以使至少一个终端设备执行目标操作,允许同画面的终端设备同时执行目标操作,且保证采用的参数不重复,还可以允许对处于不同场景的终端设备执行适应性的操作,提高了灵活性。
需要说明的是:上述实施例提供的操作同步装置在进行操作同步时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将触控设备、管理服务器和控制设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的操作同步装置与操作同步方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图20示出了本申请一个示例性实施例提供的设备2000的结构框图。该设备2000用于执行上述实施例中触控设备或控制设备执行的步骤。该设备2000可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备、智能电视、智能音箱、智能遥控器、智能话筒,或其他任意智能终端。设备2000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,设备2000包括有:处理器2001和存储器2002。
处理器2001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。存储器2002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的,用于存储至少一个指令,该至少一个指令用于被处理器2001所具有以实现本申请中方法实施例提供的操作同步方法。
在一些实施例中,设备2000还可选包括有:外围设备接口2003和至少一个外围设备。处理器2001、存储器2002和外围设备接口2003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2003相连。具体地,外围设备包括:射频电路2004、显示屏2005和音频电路2006中的至少一种。
射频电路2004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2004通过电磁信号与通信网络以及其他通信设备进行通信。
显示屏2005用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。该显示屏2005可以是触摸显示屏,还可以用于提供虚拟按钮和/或虚拟键盘。
音频电路2006可以包括麦克风和扬声器。麦克风用于采集用户及环境的音频信号,并将音频信号转换为电信号输入至处理器2001进行处理,或者输入至射频电路2004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在设备2000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2001或射频电路2004的电信号转换为音频信号。
本领域技术人员可以理解,图20中示出的结构并不构成对设备2000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图21是本申请实施例提供的一种服务器的结构示意图,该服务器2100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)2101和一个或一个以上的存储器2102,其中,存储器1402中存储有至少一条指令,至少一条指令由处理器2101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器2100可以用于执行上述操作同步方法中管理服务器所执行的步骤。
本申请实施例还提供了一种设备,该设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,指令、程序、代码集或指令集由处理器加载并具有以实现上述实施例的操作同步方法中所具有的操作。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该指令、该程序、该代码集或该指令集由处理器加载并具有以实现上述实施例的操作同步方法中所具有的操作。
本申请实施例还提供了一种操作同步系统,该操作同步系统包括如上述实施例所示的触控设备、管理服务器及至少一个终端设备。可选地,操作同步系统还包括如上述实施例所示的控制设备。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (11)

1.一种操作同步方法,其特征在于,应用于触控设备,所述方法包括:
接收管理服务器实时发送的场景画面,所述场景画面由所述管理服务器连接的目标终端设备实时上传给所述管理服务器;
显示同步界面,所述同步界面包括所述场景画面和图像操作选项;
当检测到对所述图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型,所述触控操作包括多点触控;
向所述管理服务器发送第一触控指令,所述第一触控指令携带所述触控操作的触控信息,所述触控信息包括所述第一触控区域的图像数据和触控操作类型,所述管理服务器用于对所述触控设备发送的携带有所述图像数据和所述触控操作类型的协议包进行解析,将连接的每个终端设备当前显示的场景画面和所述图像数据上传至识别服务器,所述识别服务器用于将所述图像数据与当前显示的每个场景画面进行匹配,确定包含所述图像数据的场景画面,以及所述图像数据在相应场景画面中的显示区域;根据所述识别服务器返回的所述包含所述图像数据的场景画面和所述显示区域,确定当前显示的场景画面中包含所述图像数据的指定终端设备,将所述指定终端设备上所述图像数据的显示区域作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作;
所述方法还包括:在检测到目标操作的情况下,通过控制设备向所述管理服务器连接的至少一个终端设备下发所述目标操作对应的目标脚本;其中所述至少一个终端设备用于运行所述控制设备下发的目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同;
其中,所述管理服务器还用于自动地向弹出活动窗口的终端设备下发用于关闭所述活动窗口的目标脚本,以及检测所述至少一个终端设备实时上传的场景画面中的花屏情况,并在出现花屏的情况下,自动地对所述花屏情况进行处理。
2.根据权利要求1所述的方法,其特征在于,所述触控信息包括触控位置,所述管理服务器用于向连接的每个终端设备下发所述第一触控指令,所述终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作。
3.根据权利要求1所述的方法,其特征在于,所述触控信息包括触控位置,所述管理服务器用于从连接的终端设备中,确定所述目标终端设备所属类别内的终端设备,作为指定终端设备,向所述指定终端设备下发所述第一触控指令,所述指定终端设备用于在所述触控位置上执行所述触控操作类型对应的所述触控操作,同一类别内的终端设备显示的场景画面相同。
4.根据权利要求1所述的方法,其特征在于,所述管理服务器还用于在所述指定终端设备执行所述触控操作后,根据连接的每个终端设备实时上传的场景界面,将场景画面相同的终端设备划分为同一类别,将场景画面不同的终端设备划分为不同的类别,得到至少一个类别。
5.根据权利要求1所述的方法,其特征在于,所述同步界面包括目标设置选项,所述方法还包括:
当检测到对所述目标设置选项的选择操作时,显示所述管理服务器连接的每个终端设备的设备标识;
当检测到对显示的任一设备标识的选择操作时,向所述管理服务器发送目标设置指令,所述目标设置指令携带选择的设备标识,所述管理服务器用于将所述设备标识对应的终端设备设置为目标终端设备。
6.一种操作同步方法,其特征在于,应用于管理服务器,所述方法包括:
将目标终端设备实时上传的场景画面发送给触控设备;
接收所述触控设备发送的第一触控指令,所述第一触控指令携带对所述场景画面的触控操作的触控信息,所述触控信息包括第一触控区域的图像数据和触控操作类型;其中,所述触控设备用于当检测到对同步界面内的图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型,所述触控操作包括多点触控;
对所述触控设备发送的携带有所述图像数据和所述触控操作类型的协议包进行解析,将连接的每个终端设备当前显示的场景画面和所述图像数据上传至识别服务器,所述识别服务器用于将所述图像数据与当前显示的每个场景画面进行匹配,确定包含所述图像数据的场景画面,以及所述图像数据在相应场景画面中的显示区域;根据所述识别服务器返回的所述包含所述图像数据的场景画面和所述显示区域,确定当前显示的场景画面中包含所述图像数据的指定终端设备,将所述指定终端设备上所述图像数据的显示区域作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作;
所述方法还包括:接收控制设备对目标脚本的下发指令,所述目标脚本用于执行目标操作,所述目标操作采用的参数不可重复;向所述管理服务器连接的至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述控制设备下发的目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同;
其中,所述管理服务器还用于自动地向弹出活动窗口的终端设备下发用于关闭所述活动窗口的目标脚本,以及检测所述至少一个终端设备实时上传的场景画面中的花屏情况,并在出现花屏的情况下,自动地对所述花屏情况进行处理。
7.根据权利要求6所述的方法,其特征在于,所述目标脚本用于指示基于网络模型和当前显示的场景画面确定下一步的操作;
所述至少一个终端设备用于运行所述目标脚本,以基于所述网络模型和当前显示的场景画面确定下一步的操作,执行所述下一步的操作。
8.一种操作同步装置,其特征在于,应用于触控设备,所述装置包括:
接收模块,用于接收管理服务器实时发送的场景画面,所述场景画面由所述管理服务器连接的目标终端设备实时上传给所述管理服务器;
显示模块,用于显示同步界面,所述同步界面包括所述场景画面和图像操作选项;
检测模块,用于当检测到对所述图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型,所述触控操作包括多点触控;
发送模块,用于向所述管理服务器发送第一触控指令,所述第一触控指令携带所述触控操作的触控信息,所述触控信息包括所述第一触控区域的图像数据和触控操作类型,所述管理服务器用于对所述触控设备发送的携带有所述图像数据和所述触控操作类型的协议包进行解析,将连接的每个终端设备当前显示的场景画面和所述图像数据上传至识别服务器,所述识别服务器用于将所述图像数据与当前显示的每个场景画面进行匹配,确定包含所述图像数据的场景画面,以及所述图像数据在相应场景画面中的显示区域;根据所述识别服务器返回的所述包含所述图像数据的场景画面和所述显示区域,确定当前显示的场景画面中包含所述图像数据的指定终端设备,将所述指定终端设备上所述图像数据的显示区域作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作;
用于执行以下步骤的模块:在检测到目标操作的情况下,通过控制设备向所述管理服务器连接的至少一个终端设备下发所述目标操作对应的目标脚本;其中所述至少一个终端设备用于运行所述控制设备下发的目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同;
其中,所述管理服务器还用于自动地向弹出活动窗口的终端设备下发用于关闭所述活动窗口的目标脚本,以及检测所述至少一个终端设备实时上传的场景画面中的花屏情况,并在出现花屏的情况下,自动地对所述花屏情况进行处理。
9.一种操作同步装置,其特征在于,应用于管理服务器,所述装置包括:
发送模块,用于将目标终端设备实时上传的场景画面发送给触控设备;
接收模块,用于接收所述触控设备发送的第一触控指令,所述第一触控指令携带对所述场景画面的触控操作的触控信息,所述触控信息包括触控位置和触控操作类型;其中,所述触控设备用于当检测到对同步界面内的图像操作选项的选择操作时,检测在所述场景画面中的拖拽操作,获取所述拖拽操作对应的第一触控区域;当检测到对所述第一触控区域的触控操作时,获取所述第一触控区域的图像数据和所述触控操作对应的触控操作类型,所述触控操作包括多点触控;
同步模块,用于对所述触控设备发送的携带有所述图像数据和所述触控操作类型的协议包进行解析,将连接的每个终端设备当前显示的场景画面和所述图像数据上传至识别服务器,所述识别服务器用于将所述图像数据与当前显示的每个场景画面进行匹配,确定包含所述图像数据的场景画面,以及所述图像数据在相应场景画面中的显示区域;根据所述识别服务器返回的所述包含所述图像数据的场景画面和所述显示区域,确定当前显示的场景画面中包含所述图像数据的指定终端设备,将所述指定终端设备上所述图像数据的显示区域作为第二触控区域,向所述指定终端设备下发第二触控指令,所述第二触控指令携带所述第二触控区域和所述触控操作类型,所述指定终端设备用于在所述第二触控区域上执行所述触控操作类型对应的所述触控操作;
第二接收模块,用于接收控制设备对目标脚本的下发指令,所述目标脚本用于执行目标操作,所述目标操作采用的参数不可重复;
脚本下发模块,用于向所述管理服务器连接的至少一个终端设备下发所述目标脚本,所述至少一个终端设备用于运行所述控制设备下发的目标脚本,以生成随机参数,基于所述随机参数执行所述目标操作,且不同的终端设备生成的随机参数不同;
其中,所述管理服务器还用于自动地向弹出活动窗口的终端设备下发用于关闭所述活动窗口的目标脚本,以及检测所述至少一个终端设备实时上传的场景画面中的花屏情况,并在出现花屏的情况下,自动地对所述花屏情况进行处理。
10.一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至5任一权利要求所述的操作同步方法中所执行的操作,或者以实现如权利要求6至7任一权利要求所述的操作同步方法中所执行的操作。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至5任一权利要求所述的操作同步方法中所执行的操作,或者以实现如权利要求6至7任一权利要求所述的操作同步方法中所执行的操作。
CN201910844193.1A 2019-09-06 2019-09-06 操作同步方法、装置、设备及存储介质 Active CN110554831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844193.1A CN110554831B (zh) 2019-09-06 2019-09-06 操作同步方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844193.1A CN110554831B (zh) 2019-09-06 2019-09-06 操作同步方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110554831A CN110554831A (zh) 2019-12-10
CN110554831B true CN110554831B (zh) 2021-08-10

Family

ID=68739494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844193.1A Active CN110554831B (zh) 2019-09-06 2019-09-06 操作同步方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110554831B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515707B (zh) * 2020-09-21 2024-02-09 腾讯科技(深圳)有限公司 一种数据处理方法、智能装置、智能设备以及存储介质
CN112445567B (zh) * 2020-12-08 2023-12-26 安徽鸿程光电有限公司 显示数据的控制方法、装置、设备及计算机可读存储介质
CN112527170A (zh) * 2020-12-11 2021-03-19 深圳诚达伟业电子有限公司 设备可视化控制方法、装置及计算机可读存储介质
CN112702406B (zh) * 2020-12-18 2023-03-24 深圳市富途网络科技有限公司 数据处理方法、装置及存储介质
CN112633844B (zh) * 2020-12-29 2024-09-06 广州极飞科技股份有限公司 数据适配处理方法、工作流系统、电子设备及存储介质
CN113467694A (zh) * 2021-07-09 2021-10-01 网易(杭州)网络有限公司 设备控制方法、装置、控制终端、主受控设备及介质
CN115834416A (zh) * 2021-09-14 2023-03-21 Oppo广东移动通信有限公司 设备管理方法、装置、存储介质及电子设备
CN114253497B (zh) * 2021-12-08 2024-08-23 科大讯飞股份有限公司 多屏互动方法、装置、设备、系统及存储介质
CN114615535A (zh) * 2022-02-14 2022-06-10 北京威尔文教科技有限责任公司 同步显示方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581219A (zh) * 2012-07-23 2014-02-12 技嘉科技股份有限公司 远程控制系统及其远程控制方法
CN103685389A (zh) * 2012-09-13 2014-03-26 卓望数码技术(深圳)有限公司 一种远程控制数据终端实现用户界面交互的系统及方法
CN108307021A (zh) * 2018-01-18 2018-07-20 中国工商银行股份有限公司 移动终端的并行跟随测试设备、云真机及方法
CN108769193A (zh) * 2018-05-29 2018-11-06 北京航智信息技术有限公司 远程控制学生移动终端应用自启动的系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122793A (zh) * 2006-08-09 2008-02-13 临安微创网格信息工程有限公司 工业生产线嵌入式主控系统
US9207857B2 (en) * 2014-02-14 2015-12-08 EyeGroove, Inc. Methods and devices for presenting interactive media items
CN108833963B (zh) * 2018-05-31 2020-12-11 腾讯科技(上海)有限公司 显示界面画面的方法、计算机设备、可读存储介质和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581219A (zh) * 2012-07-23 2014-02-12 技嘉科技股份有限公司 远程控制系统及其远程控制方法
CN103685389A (zh) * 2012-09-13 2014-03-26 卓望数码技术(深圳)有限公司 一种远程控制数据终端实现用户界面交互的系统及方法
CN108307021A (zh) * 2018-01-18 2018-07-20 中国工商银行股份有限公司 移动终端的并行跟随测试设备、云真机及方法
CN108769193A (zh) * 2018-05-29 2018-11-06 北京航智信息技术有限公司 远程控制学生移动终端应用自启动的系统

Also Published As

Publication number Publication date
CN110554831A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN110554831B (zh) 操作同步方法、装置、设备及存储介质
US20230012732A1 (en) Video data processing method and apparatus, device, and medium
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
JP6630276B2 (ja) 端末デバイスにおけるユーザインタフェースを用いたユーザ行動および関与の計測機
CN111476871B (zh) 用于生成视频的方法和装置
WO2019242222A1 (zh) 用于生成信息的方法和装置
CN103793323B (zh) 嵌入式软件的自动测试装置及其自动测试方法
CN104869203B (zh) 卡顿的测试方法、装置及测试设备
CN111625381B (zh) 应用程序的运行场景复现方法、装置、设备及存储介质
CN112188267B (zh) 视频播放方法、装置和设备及计算机存储介质
CN109359056A (zh) 一种应用程序测试方法及装置
CN112379963B (zh) 远程应用窗口控制方法、装置及计算机设备
CN110109899B (zh) 物联网数据填补方法、装置及系统
CN112036492B (zh) 样本集处理方法、装置、设备及存储介质
CN115588131B (zh) 模型鲁棒性检测方法、相关装置及存储介质
CN112165627B (zh) 信息处理方法、装置、存储介质、终端及系统
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN114880062B (zh) 聊天表情展示方法、设备、电子设备及存储介质
CN113010825A (zh) 一种数据处理方法和相关装置
CN112258232A (zh) 一种基于直播画面的推广内容展示方法及装置
CN112843681B (zh) 虚拟场景控制方法、装置、电子设备及存储介质
CN111399819A (zh) 数据生成方法、装置、电子设备及存储介质
CN110276404A (zh) 模型训练方法、装置及存储介质
CN108960213A (zh) 目标跟踪方法、装置、存储介质及终端
CN112752127B (zh) 视频播放位置的定位方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant