CN116899210A - 数据处理方法、装置及相关设备 - Google Patents

数据处理方法、装置及相关设备 Download PDF

Info

Publication number
CN116899210A
CN116899210A CN202310827627.3A CN202310827627A CN116899210A CN 116899210 A CN116899210 A CN 116899210A CN 202310827627 A CN202310827627 A CN 202310827627A CN 116899210 A CN116899210 A CN 116899210A
Authority
CN
China
Prior art keywords
information
cloud
data
equipment
peripheral device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310827627.3A
Other languages
English (en)
Inventor
张亚军
潘博渊
唐玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310827627.3A priority Critical patent/CN116899210A/zh
Publication of CN116899210A publication Critical patent/CN116899210A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/402Communication between platforms, i.e. physical link to protocol
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了数据处理方法、装置及相关设备,可应用于数据处理技术领域。其中方法包括:获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端。采用本申请实施例,能够通过第一通信协议突破在外围设备与云应用客户端之间进行数据传输时的通信限制,进而可以在提升外围设备的功能利用率的同时,提升在外围设备与云应用客户端之间直接进行数据传输时的传输效率。

Description

数据处理方法、装置及相关设备
技术领域
本申请涉及数据处理技术领域,尤其涉及数据处理方法、装置及相关设备。
背景技术
云应用(例如云游戏)的工作原理是把传统软件本地安装、本地运算的使用方式变为即取即用的服务,通过互联网或局域网连接并操控远程服务器集群,完成业务逻辑或运算任务的一种新型应用。用户可以通过外围设备(例如鼠标、键盘、手柄)获取用户的操作数据,从而外围设备将对象的操作数据发送给运行有云应用客户端的终端设备,云应用客户端再将接收到操作数据发送给云服务器,以便于云服务器基于操作数据进行应用显示画面的渲染,从而控制云游戏的画面显示。发明人在实践过程中发现,目前,在外围设备与云应用客户端进行数据传输时,需要通过终端设备的操作系统的管理组件进行转发,该管理组件仅能对支持的通信协议所对应的输入输出信号进行转发,则此方式受限于操作系统中的通信协议。那么,一旦外围设备扩展了新功能,将会直接导致终端设备的操作系统与该外围设备进行数据交互时,受限于该操作系统原有的通信协议,难以对支持新功能的外围设备的所发送来的输入信号进行信号转发,以至于运行在该终端设备中的云应用客户端根本无法获取到支持新功能的外围设备所发送来的输入信号,进而存在因原操作系统的通信协议而限制了在外围设备与云应用客户端之间间接进行数据传输时的传输效率。
发明内容
本申请实施例提供了一种数据处理方法、装置及相关设备,能够通过第一通信协议突破在外围设备与云应用客户端之间进行数据传输时的通信限制,进而可以在提升外围设备的功能利用率的同时,提升在外围设备与云应用客户端之间直接进行数据传输时的传输效率。
本申请实施例一方面提供了一种数据处理方法,方法由支持第一通信协议的外围设备执行,方法包括:
获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端,以使云应用客户端将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器;第一业务数据信息用于指示云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;云应用客户端用于展示输入数据信息对应的媒体数据信息。
其中,方法还包括:
接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;
获取与外围设备相关联的第一业务数据信息,包括:
响应业务对象针对外围设备执行的触发操作,基于触发操作所对应的输入操作信息生成对象操作数据信息,对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数。
其中,获取与外围设备相关联的第一业务数据信息,包括:
在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的设备属性查询指令时,基于设备属性查询指令查询到外围设备的设备属性;
根据查询到的设备属性生成设备属性数据信息,设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段、外围设备的业务特性参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率;业务特性参数字段用于指示外围设备支持的业务特性。
其中,获取与外围设备相关联的第一业务数据信息,包括:
在检测到外围设备的设备电量降低至电量阈值时,基于检测到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
其中,获取与外围设备相关联的第一业务数据信息,包括:
在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的电量查询指令时,基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
其中,输入业务特性包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性,方法还包括:
接收终端设备中的云应用客户端通过第一通信协议所指示的第一输出接口下发的设备扫描指令;
基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息;
在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端,第一业务特性包括输入业务特性。
本申请实施例一方面提供了一种数据处理方法,方法由支持第一通信协议的外围设备执行,方法包括:
接收云应用客户端通过第一通信协议所指示的第一输出接口下发的第一反馈指令;
基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型;
在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,方法还包括:
接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,设备心跳反馈信息对应的第一反馈指令是应用客户端在触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成的;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号;
执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作,包括:
在反馈数据结构信息为设备心跳反馈信息时,获取设备心跳反馈信息所对应的客户端心跳反馈信息,客户端心跳反馈信息属于第一业务数据信息;客户端心跳反馈信息至少包含心跳信号参数字段;
将客户端心跳反馈信息通过第一通信协议所指示的第一输入接口上传给云应用客户端。
其中,在接收到设备心跳反馈信息对应的第一反馈指令时,外围设备的业务模式为基于第一通信协议与云应用客户端进行数据传输的第一业务模式;方法还包括:
若达到目标时间阈值未接收到云应用客户端通过第一输出接口下发的设备心跳反馈信息对应的第一反馈指令,则将外围设备的业务模式由第一业务模式切换为第二业务模式。
其中,外围设备中包含至少一个振动马达,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量;
执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作,包括:
在反馈数据结构信息为设备振动反馈信息时,基于设备振动反馈信息的指示执行振动操作。
其中,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识,设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;
执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作,包括:
在反馈数据结构信息为设备振动反馈信息时,查找与反馈数据结构信息所指示振动效果标识关联的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
其中,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性,方法还包括:
接收终端设备中的云应用客户端通过第一输出接口下发的设备扫描指令;
基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;
在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一业务特性包括反馈业务特性。
本申请实施例一方面提供了一种数据处理方法,方法由运行支持第一通信协议的云应用客户端的终端设备执行,方法包括:
接收外围设备通过第一通信协议所指示的第一输入接口上传的与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器,以使云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;
接收并展示云服务器返回的输入数据信息对应的媒体数据信息。
其中,方法还包括:
在通过云应用客户端启动云应用时,基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数;对象操作数据信息是外围设备响应业务对象针对外围设备执行的触发操作时,基于触发操作所对应的输入操作信息生成的。
其中,方法还包括:
通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发设备属性查询指令,以使外围设备基于设备属性查询指令查询到外围设备的设备属性,并根据查询到的设备属性生成设备属性数据信息;设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率。
其中,设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值,设备电量数据信息是外围设备在检测到外围设备的设备电量低于电量阈值时,基于检测到的设备电量生成的。
其中,方法还包括:
通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发电量查询指令,以使外围设备基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
其中,输入业务特性包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性,方法还包括:
通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发的设备扫描指令,以使外围设备基于设备扫描指令获取外围设备所支持的第一接口信息;第一接口信息至少包含以下接口信息中的一种或者多种:对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息;
接收外围设备通过第一输入接口返回的第一接口信息,通过第一输出接口向外围设备发送针对第一接口信息的设备特性查询指令,以使外围设备基于设备特性查询指令查找外围设备所支持的第一业务特性,第一业务特性包括输入业务特性;
接收外围设备通过第一通信协议所指示的第一输入接口返回的第一业务特性。
本申请实施例一方面提供了一种数据处理方法,方法由运行支持第一通信协议的云应用客户端的终端设备执行,方法包括:
通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发第一反馈指令,以使外围设备基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型,在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,方法还包括:
在通过云应用客户端启动云应用时,基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,方法还包括:
在应用客户端触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成设备心跳反馈信息对应的第一反馈指令;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号;
方法还包括:
接收外围设备通过第一通信协议所指示的第一输入接口上传的客户端心跳反馈信息,客户端心跳反馈信息为外围设备在第一反馈指令指示的反馈数据结构信息为设备心跳反馈信息时,基于设备心跳反馈信息确定的;客户端心跳反馈信息至少包含心跳信号参数字段。
其中,外围设备中包括至少一个振动马达,方法还包括:
接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令,第一反馈指令指示的设备振动反馈信息用于外围设备基于设备振动反馈信息的指示执行振动操作,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量。
其中,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识;方法还包括:
接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令;设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;设备振动反馈信息用于外围设备查找与反馈数据结构信息所指示振动效果标识匹配的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
其中,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性,方法还包括:
通过云应用客户端基于第一输出接口向外围设备下发的设备扫描指令,以使外围设备基于设备扫描指令获取外围设备所支持的第一接口信息;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;
接收外围设备通过第一通信协议所指示的第一输入接口返回的第一接口信息,通过第一输出接口向外围设备发送针对第一接口信息的设备特性查询指令,以使外围设备基于设备特性查询指令查找外围设备所支持的第一业务特性,第一业务特性包括反馈业务特性;
接收外围设备通过第一通信协议所指示的第一输入接口返回的第一业务特性。
本申请实施例一方面提供了一种数据处理装置,装置由支持第一通信协议的外围设备运行,装置包括:
业务数据获取模块,用于获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
数据上传模块,用于将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端,以使云应用客户端将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器;第一业务数据信息用于指示云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;云应用客户端用于展示输入数据信息对应的媒体数据信息。
本申请实施例一方面提供了一种数据处理装置,装置由支持第一通信协议的外围设备运行,装置包括:
数据接收模块,用于接收云应用客户端通过第一通信协议所指示的第一输出接口下发的第一反馈指令;
数据结构解析模块,用于基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型;
反馈操作执行模块,用于在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
本申请实施例一方面提供了一种数据处理装置,装置由运行支持第一通信协议的云应用客户端的终端设备运行,装置包括:
第一数据接收模块,用于接收外围设备通过第一通信协议所指示的第一输入接口上传的与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
数据上传模块,用于将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器,以使云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;
第二数据接收模块,用于接收并展示云服务器返回的输入数据信息对应的媒体数据信息。
本申请实施例一方面提供了一种数据处理装置,装置由运行支持第一通信协议的云应用客户端的终端设备运行,装置包括:
数据下发模块,用于通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发第一反馈指令,以使外围设备基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型,在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,提出一种用于解决外围设备与终端设备之间数据传输受限的问题的数据处理方法,该数据处理方法可以提出一种第一通信协议,从而可以基于第一通信协议所指示的第一输入接口或第一输出接口进行数据的传输。若外围设备和云应用客户端均支持该第一通信协议,则外围设备在基于该第一通信协议与终端设备中的云应用客户端进行数据传输时,不需要通过操作系统的管理组件进行数据转发,可以基于该第一通信协议直接通过USB驱动将数据发送给终端设备的云应用客户端,从而外围设备可以发送更为丰富的数据(外围设备的设备属性、电量信息)给云应用客户端,最终传递到云服务器,实现更为丰富的云应用(如云游戏)操控能力,云应用(如云游戏)也可以发送更为丰富的数据给外围设备,如振动反馈信息,以此丰富云游戏的玩法,带给用户更好的沉浸体验。因此,本申请实施例能够通过第一通信协议突破在外围设备与云应用客户端之间进行数据传输时的通信限制,进而可以在提升外围设备的功能利用率的同时,提升在外围设备与云应用客户端之间直接进行数据传输时的传输效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种云游戏的数据处理系统的结构示意图;
图2是本申请实施例提供的一种第二业务模式的效果示意图;
图3是本申请实施例提供的一种第一业务模式的效果示意图;
图4是本申请实施例提供的一种外围设备通信模块的结构示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图1;
图6是本申请实施例提供的一种的设备特性查询过程的流程示意图;
图7是本申请实施例提供的一种媒体数据信息展示的效果示意图;
图8是本申请实施例提供的一种对象操作数据信息上传的流程示意图;
图9是本申请实施例提供的另一种媒体数据信息展示的效果示意图;
图10是本申请实施例提供的又一种媒体数据信息展示的效果示意图;
图11是本申请实施例提供的一种数据处理方法的流程示意图2;
图12是本申请实施例提供的一种传输心跳反馈信息的流程示意图;
图13是本申请实施例提供的一种传输振动反馈信息的流程示意图;
图14是本申请实施例提供的一种数据处理方法的流程示意图3;
图15是本申请实施例提供的一种数据交互过程的流程示意图;
图16是本申请实施例提供的一种数据处理方法的流程示意图4;
图17是本申请实施例提供的一种数据处理方法的流程示意图5;
图18是本申请实施例提供的一种数据处理方法的流程示意图6;
图19是本申请实施例提供的一种数据处理装置1的结构示意图;
图20是本申请实施例提供的一种数据处理装置2的结构示意图;
图21是本申请实施例提供的一种数据处理装置3的结构示意图;
图22是本申请实施例提供的一种数据处理装置4的结构示意图;
图23是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面对本申请实施例涉及的一些技术术语进行介绍:
云应用,作为云计算的子集,是云计算技术在应用层的体现,云应用的工作原理是把传统软件本地安装、本地运算的使用方式变为即取即用的服务,通过互联网或局域网连接并操控远程服务器集群,完成业务逻辑或运算任务的一种新型应用。云应用的优点是在服务器端运行对应的虚拟云客户端,进而由服务器端执行云应用的计算工作比如数据渲染,然后将云应用的计算结果传输给终端设备中的云应用客户端进行显示,终端设备中的云应用客户端可以采集用户的操作信息(或者可以称为云应用的输入事件数据),将这些操作信息传输给服务器端中的虚拟云客户端,以实现服务器端对云应用的操控。终端设备中的云应用客户端能够为用户提供对应的云应用体验服务,简单来说,云应用客户端可以用于输出虚拟云客户端对应的云应用展示页面;云应用可以包括云游戏、云教育、云安全、云会议、云呼叫以及云社交等等,云游戏作为云应用中的典型,近年来受到越来越多的关注。
云游戏又可以称为游戏点播(gaming on demand),是一种以云计算技术为基础的游戏技术。在云游戏场景下,游戏本身并不在用户所使用的游戏终端,游戏终端中仅运行用户客户端(也称云应用客户端),真正的游戏应用程序是在服务器端中运行,并由服务器端将云游戏中的页面展示数据渲染为音视频码流,并将渲染完成的音视频码流传输给游戏终端中的用户客户端,由用户客户端对接收到的音视频码流进行显示。云游戏在运行时,云游戏的逻辑处理、画面渲染均在云服务器上进行,相当于云服务器上运行有云游戏客户端的虚拟云客户端以进行逻辑处理、画面渲染,云服务器将游戏画面对应的视频流和音频流通过网络传送至终端设备中的云应用客户端,用户只需要拥有具有被流媒体播放功能的终端设备和可获取控制操作的外围设备即可进行游戏。可以理解的是,云游戏的终端设备无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取用户输入事件数据并发送给云服务器的虚拟云客户端端的能力即可。用户在体验云游戏时,其本质是在对云游戏的音视频码流进行操作,如通过触屏、键盘鼠标、摇杆等生成输入事件数据,然后通过网络传输到服务器端中的虚拟云客户端,以达到操作云游戏的目的。
外围设备,即计算机系统中除主机外的其他设备,用于在计算机和其他机器之间,或者计算机与用户之间提供联系。该外围设备可以包含人机界面接口设备(HumanInterface Device,也称HID设备),HID设备是一个设备类定义,可以用于将PS/2(一种输入装置接口)样式的连接器替换为支持HID设备的通用USB(通用串行总线)驱动程序,例如键盘、鼠标、游戏控制器(如手柄)等。
通信协议,是指双方实体完成通信或服务所必须遵循的规则和约定,可以简单地理解为各计算机之间进行相互会话所使用的共同语言。协议定义了数据单元使用的格式,信息单元应该包含的信息与含义,连接方式,信息发送和接收的时序,从而确保网络中数据顺利地传送到确定的地方。
可以理解的是,本申请实施例提供一种基于云应用的数据处理系统,为了便于理解,下面以云应用为云游戏为例,对云应用的处理过程中各设备之间的数据交互过程进行描述。请参见图1,图1是本申请实施例提供的一种云游戏的数据处理系统的结构示意图。如图1所示,该云游戏的数据处理系统可以包括终端设备10a、云服务器10b和外围设备10c。终端设备10a可以运行有云应用客户端,此处的云应用客户端可以理解为安装在终端设备上的,且能够为用户提供对应的云应用体验服务的客户端,例如该云应用客户端中的应用可以包括至少一个云游戏。云服务器10b可以为运行有云应用客户端对应的虚拟云应用客户端的服务器。例如,终端设备10a中的云游戏客户端可以包括云游戏1,该云应用客户端可以为用户提供云游戏1体验服务,即用户通过终端设备10a中的云游戏客户端可以体验云游戏1。外围设备10c与终端设备10a之间可以建立通信连接,进而外围设备10c与用户(也称对象)进行交互,接收用户的操作以控制游戏画面的显示内容,该外围设备可以为鼠标、键盘、游戏控制器(如手柄)等HID设备,此处不做限制。
当用户A想要体验云游戏1时,可以通过外围设备10c对终端设备10a中的云游戏客户端中的云游戏执行触发操作,此时的终端设备10a可以在联网状态下响应针对云应用客户端的启动操作,获取该云应用客户端中生成的启动指令,进而可以将该启动指令发送至云服务器10b,这时可以在云服务器10b中为用户A创建或分配一个云游戏1实例(即为用户A创建或分配一个云游戏1对应的虚拟云客户端),并在该服务器10b中运行该用户A对应的虚拟云客户端;与此同时,终端设备10a中的云应用客户端也会成功启动,即终端设备10a中的云应用客户端与云服务器10b中的虚拟云客户端保持相同的运行状态。
如图1所示,虚拟云客户端在云服务器10b中运行时,可以执行云游戏1中的游戏逻辑,并通过该虚拟云客户端所在的进程调用GPU(图像处理器)驱动程序提供的渲染接口执行渲染操作,渲染完成的结果可以以媒体数据信息的方式发送给终端设备10a,终端设备10a中的云应用客户端在接收到云服务器发送的媒体数据信息后,可以对其进行展示。该媒体数据信息可以包括音视频数据信息,对媒体数据信息进行展示可以为在终端设备上显示音频数据信息所对应的视频画面,并播放其对应的音频。
其中,用户A可以通过操作外围设备10c来操作云游戏1,如用户A而可以通过操作外围设备来操控云游戏1中的虚拟对象的移动、射击、隐身等功能。当用户A对外围设备10c执行用户操作时,外围设备10c可以生成操作数据,并将操作数据发送给终端设备,从而使得云应用客户端可以获取该用户A的操作数据(对象操作数据),并将用户A的操作数据直接传输至云服务器10b中运行的虚拟云客户端,虚拟云客户端可以通过该用户A的操作数据,继续执行渲染操作以生成新的游戏画面;虚拟云客户端渲染完成的每一个游戏画面,都可以由该虚拟云客户端实时传送至终端设备10a中的云应用客户端进行显示。
可以理解的是,该外围设备10c与终端设备10a之间建立通信连接,可以通过终端设备的USB驱动进行连接。例如,用户可以将外围设备10c的USB接口插入至终端设备的USB接口,终端设备可以通过USB驱动对外围设备进行扫描,在扫描到外围设备支持USB驱动程序时,确定外围设备10c与终端设备10a之间通过USB驱动建立通信连接。可以理解的是,外围设备与终端设备之间能够进行数据传输的基础是外围设备与终端设备之间建立了通信连接。
其中,在外围设备与终端设备之间进行数据传输(如外围设备将对象的操作数据发送给终端设备)时,通过终端设备的操作系统的管理组件进行数据的转发。例如,外围设备A生成操作数据,然后将操作数据通过USB驱动发送给操作系统的管理组件(也称输入管理组件),然后管理组件再将操作数据发送给应用客户端。在基于管理组件进行数据传输时,数据传输过程受限于管理组件所支持的通信协议,若该管理组件不支持对应的信号传输,则无法进行转发,从而无法控制云应用客户端做出相应的响应。为了便于理解,基于该依赖于终端设备的操作系统的通信方式称为第二通信方式,也称普通通信方式,在通过第二通信方式进行数据传输时外围设备可以传输操作数据,则可以称为外围设备处于第二业务模式,即外围设备在处于第二业务模式时通过第二通信方式与终端设备进行数据传输。
例如,请参见图2,图2是本申请实施例提供的一种第二业务模式的效果示意图。外围设备(如上述图1中的10c)可以按照标准数据结构(也称属于第二数据结构类型的数据结构)生成操作数据,进而将操作数据通过USB驱动200a发送给终端设备(如上述图1中的10a)的管理组件200b,从而管理组件200b可以将操作数据转发给应用客户端(如云应用客户端),进而应用客户端可以将接收到的操作数据以标准输入的形式发送给云服务器,以便于云服务器接收到输入数据信息;云服务器还可以生成反馈信息200c,从而将反馈信息返回至应用客户端。
进一步的,在上述基于云应用的数据处理系统的基础上,本申请实施例提出一种用于解决外围设备与终端设备之间数据传输受限的问题的数据处理方法,该数据处理方法可以提出第一通信协议,也称扩展通信协议,从而可以基于第一通信协议所指示的第一输入接口(也称扩展输入接口)或第一输出接口(也称扩展输出接口)进行数据的传输。该第一通信协议可以遵守上述USB驱动的HID(人机界面接口)通信协议,进而可以实现特定格式的输入信号或输出信号的传输。若外围设备和云应用客户端均支持该第一通信协议,则外围设备在基于该第一通信协议与终端设备中的云应用客户端进行数据传输时,不需要通过操作系统的管理组件进行数据转发,可以基于该第一通信协议直接通过USB驱动将数据发送给终端设备的云应用客户端,从而外围设备可以发送更为丰富的数据(如外围设备的设备属性、电量信息)给云应用客户端,最终传递到云服务器,实现更为丰富的云应用(如云游戏)操控能力,云应用(如云游戏)也可以发送更为丰富的数据给外围设备,如振动反馈信息,以此丰富云游戏的玩法,带给用户更好的沉浸体验。为了便于理解,基于该第一通信协议的通信方式称为第一通信方式,也称扩展通信方式,在通过第一通信方式进行数据传输时,可以传输相较于第二业务模式更为丰富的业务数据(如设备属性、设备电量、振动反馈信息),则可以称为外围设备处于第一业务模式,即外围设备在处于第一业务模式时通过第一通信方式与终端设备进行数据传输。
可以理解的是,游戏外设和云应用客户端根据这个第一通信协议来进行通信,即可以实现适用于各种类型终端设备(如手机、电脑等)的通信,提供输入方式与游戏反馈丰富的游戏体验。进一步可以理解的是,在现有的外围设备(如游戏手柄)上,无需做硬件上的改动,只做软件上的改造,如外围设备中写入第一通信协议,即可将外围设备原先无法发挥出来的硬件能力充分利用。在未来将要生产的外围设备上,可根据硬件能力的扩充对扩展通信协议做相应扩展。
例如,请参见图3,图3是本申请实施例提供的一种第一业务模式的效果示意图。在外围设备和云应用客户端支持第一通信协议时,外围设备(如上述图1中的10c)可以按照第一通信协议对应的数据结构生成操作数据(也可以是其他业务数据,如设备的设备属性、设备的电量),进而可以基于第一通信协议将操作数据经由给终端设备中的USB驱动300a发给云应用客户端,进而云应用客户端可以将接收到的业务数据发送给应用服务器,以便于云应用服务器基于接收到业务数据进行相应的响应,如基于接收到的业务数据渲染生成游戏画面,并将生成的游戏画面以媒体数据信息的方式下发给云应用客户端进行展示;云服务器还可以生成反馈信息,从而将反馈信息(如振动反馈信息)返回至云应用客户端,进而云应用客户端还可以基于该第一通信协议将反馈信息通过终端设备中的USB驱动发送给外围设备,以便于外围设备可以基于反馈信息进行相应的反馈操作,如基于振动反馈信息控制外围设备中的振动马达进行振动。
可以理解的是,在外围设备处于第二业务模式时,外围设备所支持的接口对应的数据结构的类型可以属于第二数据结构类型,例如该第二数据结构类型可以包括用于获取对象操作数据的第二接口(也称普通接口)所对应的数据结构。在外围设备处于第一业务模式时,外围设备所支持的接口对应的数据结构的类型可以属于第一数据结构类型,例如,该第一数据结构类型可以包括用于获取对象操作数据的第一接口(也称扩展接口)所对应的数据结构、用于获取设备属性的第一接口(也称扩展接口)所对应的数据结构、用于获取设备电量的第一接口(也称扩展接口)所对应的数据结构等等。
可以理解的是,为了能够使得基于第一通信协议进行数据传输的第一通信方式,能够兼容依赖于终端设备的操作系统的第二通信方式,则可以在外围设备中新增基于第一通信协议的第一通信方式的同时,保留原有的第二通信方式。在云应用客户端未启动云应用时,可以基于第二通信方式实现外围设备于终端设备之间的数据传输;在云应用客户端启动云应用时,可以将第二通信方式转换为第一通信方式,进而在云游戏运行时云应用客户端可以基于第一通信方式与外围设备进行数据传输。可以理解的是,云应用客户端在启动云应用(如启动云游戏)时,可以将第二通信方式切换为第一通信方式,并且,云应用客户端可以在启动云应用时,基于第一通信协议(即采用第一通信方式)向外围设备下发模式切换指令,以使得外围设备基于该模式切换指令将业务模式由第二业务模式切换为第一业务模式,从而可以使得外围设备的各个业务特性得到充分的利用,并提升云应用的使用体验。
基于此,该外围设备的软件通信模块可以按照如下结构实现,请参见图4,图4是本申请实施例提供的一种外围设备通信模块的结构示意图。如图4所示,该外围设备的通信模块可以包括第二通信方式所对应的通信接口41a,也称第二通信接口、普通通信接口,该第二通信方式所指示的通信接口41a中可以包括输入输出端点411a。在外围设备处于第二业务模式时,外围设备可以通过通信接口41a的输入输出端点411a的将外围设备的操作数据发上传给终端设备中的USB驱动43a,然后终端设备通过管理组件从USB处获取操作数据,并将操作数据转发给对应的客户端,或者,外围设备可以通过通信接口41a的输入输出端点411a接收终端设备基于第二通信方式下发的反馈信息。该外围设备的通信模块还可以包括第一通信方式的第一通信协议所指示的通信接口42a,也称第一通信接口、扩展通信接口,通信接口42a具体可以分为基于输入端点421a将数据从外围设备上传至云应用客户端的第一输入接口,和基于输出端点422a接收从云应用客户端下发至外围设备反馈信息的第一输出接口。外围设备在处于第一业务模式时,可以通过通信接口42a中的第一输入接口将外围设备的业务数据(也称第一业务数据、第一业务数据)发上传给终端设备,然后云应用客户端可以直接基于USB驱动获取外围设备上传的业务数据,而不需要通过操作系统的管理组件的转发;或者,外围设备可以通过通信接口42a中的第一输出接口接收终端设备基于第一通信方式下发的反馈信息(如振动反馈信息)。
可以理解的是,外围设备的第一业务模式可以独立于第二业务模式,也可以兼容第一业务模式,此处不做限制。在外围设备的第一业务模式独立于第二业务模式时,若外围设备没有接收到云应用客户端发送的设备心跳反馈信息(也称心跳包),则外围设备可以将第一业务模式切换为第二业务模式。可选的,在另一种可实现方式中,当外围设备的第一业务模式兼容第二业务模式时,若外围设备没有接收到云应用客户端发送的设备心跳反馈信息,则外围设备可以启用第一业务模式中的第二业务模式。
需要进行说明的是,本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示界面、弹窗或输出语音提示信息,该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。换句话说,本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的,且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
可以理解的是,上述云服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能音箱、智能家电等。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
进一步地,请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图1。该方法可由支持第一通信协议的外围设备执行来执行,比如,该外围设备可以为手柄。该方法至少可以包括以下步骤S501-步骤S502。
S501、获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种。
可以理解的是,该第一业务数据信息(也称扩展业务数据信息)可以用于指示基于第一通信协议(也称扩展通信协议)进行相应业务特性的数据结构,数据结构是计算机存储、组织数据的方式,可以为带有结构特性的数据元素的集合。该输入业务特性可以为外围设备向终端设备发送数据的业务的特性,即该输入业务特性是相对于终端设备中的云应用客户端来说的输入的特性,输入业务特性可以包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性。该输入数据结构信息也就是用于实现输入业务特性所需要传输的数据按照一定结构所生成的数据结构信息。
可选的,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;则获取与外围设备相关联的对象操作数据信息,可以包括:响应业务对象针对外围设备执行的触发操作,基于触发操作所对应的输入操作信息生成对象操作数据信息,对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数。
其中,可以理解的是,云游戏中的游戏对象可以为云游戏的虚拟场景中可以通过用户的操作进行控制的虚拟人物、虚拟动物、动漫人物等等。虚拟场景可以为在云游戏运行时在终端设备上显示(或提供)的虚拟场景,用户可以控制游戏对象在该虚拟场景中进行移动,该虚拟场景可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟环境,还可以是纯虚构的虚拟环境。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本申请实施例对虚拟场景的维度不加以限定。
其中,手柄(也称游戏手柄),可以用于用户通过手柄上的可操作组件操控云游戏中的游戏对象,如上述的手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件。
其中,手柄摇杆可以在多个方向轴上进行推动,手柄的手柄摇杆的数量可以为至少一个,如可以包括左摇杆和右摇杆的两个手柄摇杆;在手柄摇杆在被操作时(如手柄摇杆在被推动时),可以产生在N个方向轴上的一个操作值,手柄摇杆在N个方向轴上的操作值均属于一定的操作范围,N为大于或者等于3的正整数,例如该N个方向轴可以为手柄摇杆的x、y、z轴。手柄上可以包括多个手柄按键,例如手柄的方向盘按键(如A、Y、X等按键)、手柄摇杆对应的按键、左右肩键等等按键,此处不做限制。每个手柄按键均有对应的操作键值(也称按键键值、键值),进而在用户按下按键时,手柄可以获取到用户所按下的按键的键值作为操作数据。六轴传感器,也称六轴陀螺仪,其中可以包括加速度计和陀螺仪,进而用户在移动或转动手柄时,可以通过六轴传感器确定手柄在K个坐标轴上的操作值(也称传感值),K个坐标轴上的传感值均属于对应的操作范围,该K个坐标轴可以包括加速度坐标轴(如加速度x、y、z轴)、和角速度坐标轴(如角速度x、y、z轴),可以理解的是,加速度x、y、z轴、角速度x、y、z轴以及前述的手柄摇杆的x、y、z轴虽然都称为x、y、z轴,但其可以是基于不同原点、不同朝向建立的三维空间坐标系下的方向轴,此处不做限制。该触摸板可以用于用户进行触控操作或按动操作,触摸板在M个方向中的不同方向上按动时的具有不同操作键值(也称键值),例如,触摸板可以在上、下、左、右等四个方向上进行按动,不同的方向上对应不同的键值。
可以理解的是,上述的各个手柄按键的键值或操作范围可以根据不同外围设备厂商或云应用客户端中所运行的云应用等的不同而不同,此处不做限制。可以理解的是,手柄的各个可操作组件的用途取决于云游戏的设置,不同设备型号的手柄包括的可操作组件也可以不同,此处不做限制。例如,针对手柄上不同可操作组件的键值或操作范围的介绍可以参照下表(表1、表2、表3和表4)所示。
表1
手柄轴 操作范围 说明
GD_PointerX 0to65535 代表手柄的左摇杆X轴
GD_PointerY 0to65535 代表手柄的左摇杆Y轴
GD_PointerRx 0to65535 代表手柄的右摇杆X轴
GD_PointerRy 0to65535 代表手柄的右摇杆Y轴
GD_PointerZ 0to65535 代表手柄的LT
GD_PointerRz 0to65535 代表手柄的RT
表2
手柄按健 按健健值
A 0x1
B 0x2
X 0x4
Y 0x8
LB(左肩健) 0x10
RB(右肩健) 0x20
Back 0x40
Start 0x80
左摇杆按下 0x100
右摇杆按下 0x200
DPad up(触摸板向上) 0x400
DPad down(触摸板向下) 0x800
DPad left(触摸板向左) 0x1000
DPad Right(触摸板向右) 0x2000
Turbo 0x4000
SHIFT 0x8000
表3
表4
方向盘按健 按健健值
A 0x1
B 0x2
X 0x4
Y 0x8
L1(左一健) 0x10
R1(右一健) 0x20
L2(左二健) 0x40
R2(右二健) 0x80
SHARE 0x100
OPTIONS 0x200
MODE 0x400
L3 0x800
R3 0x1000
左蝴蝶翼 0x2000
右蝴蝶翼 0x4000
可以理解的是,在用户针对手柄执行触发操作时,如按下手柄按键、推动手柄摇杆、转动手柄方向时,可以确定触发操作对应的输入操作信息(也称操作数据),如所按下的按键的键值、手柄摇杆在各个方向上的操作值,转动手柄方向时六轴陀螺仪在各个方向轴上的操作值(如加速度或角速度),可以基于输入操作信息生成对象操作数据信息。该对象操作数据信息所对应的数据结构中可以包括至少一个参数字段。例如,以下为一个对象操作数据信息对应的数据结构的示例:
typedef struct GamepadInputReport{
uint8_treportId;
uint16_tGD_PointerX;
uint16_tGD_PointerY;
uint16_tGD_PointerRx;
uint16_tGD_PointerRy;
uint16_tGD_PointerZ;
uint16_tGD_PointerRz;//手柄摇杆对应的轴向参数
uint16_tGD_PointerVx;
uint16_tGD_PointerVy;
uint16_tGD_PointerVZ;
uint16_tGD_PointerVbrx;
uint16_tGD_PointerVbry;
uint16_tGD_PointerVbrz;//六轴陀螺仪对应的传感器参数
uint16_tBTN_GamepadButton;//手柄按键
uint16_tSC_SimCtrlsBrake;
uint16_tSC_SimCtrlsAccelerator;
uint8_tGD_HatSwitch;
uint16_tBTN_SteerWheelBuuton;//手柄方向盘按键
}GamepadInputReport;
可选的,获取与外围设备相关联的设备属性数据信息,具体可以包括:在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的设备属性查询指令时,基于设备属性查询指令查询到外围设备的设备属性;进一步的,根据查询到的设备属性生成设备属性数据信息,设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段、外围设备的业务特性参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率;业务特性参数字段用于指示外围设备支持的业务特性。
其中,该设备属性查询指令可以用于云应用客户端获取外围设备的设备属性,如外围设备的设备属性可以为厂商编号、设备型号、固件构建时间、六轴传感器的测量范围和采样频率。该设备属性查询指令可以是云服务器生成的,然后云服务器将设备属性查询指令发送给云应用客户端,云应用客户端再通过第一通信协议将设备属性查询指令下发给外围设备。例如,在云游戏场景下,用户可以通过手柄触发用于查询设备属性信息的控件,虚拟云客户端可以响应于针对该用于查询设备属性的控件的触发操作,生成设备属性查询指令,并将设备属性查询指令发送至终端设备的云应用客户端,云应用客户端再通过第一通信协议将属性查询指令下发至外围设备。
其中,厂商编号可以为生产该外围设备的厂商的认证号码,可以唯一标识一个厂商。该设备型号可以为用于表征生产单位基于外围设备的要求和规定所确定的一个编号。固件可以为计算机启动时连接硬件和操作系统的底层代码,固件构建时间用于指示构建外围设备的固件的时间戳,可以表示为毫秒格式。六轴传感器的测量范围(也称量程)可以包括六轴传感器中的陀螺仪的量程(单位可以为dps)和加速度计的量程(单位可以为g),其中六轴传感器中的陀螺仪可以用于测量在角速度xyz轴的上的角速度,六轴传感器中的加速度计可以用于测量在加速度xyz轴的上的重力加速度。六轴传感器的采样频率用于指示采集在各个方向轴上的加速度或角速度的频率(单位可以为HZ)。业务特性可以用于指示外围设备所对应的功能,例如,该业务特性可以为上述的输入业务特性,可以该业务特性可以包括查询设备电量、获取用户操作数据等等。例如,以下为一个设备属性数据信息对应的数据结构的示例:
typedef struct VendorInfoInputReport{
uint8_treportId;
uint8_t version;
uint16_tvendorType;//厂商编号
uint16_tproductType;//设备型号
uint64_tfeatureSupport;//硬件支持的业务特性
uint16_tgyroscopeRange;//陀螺仪的角速度量程
uint8_tgyroscopeRate;//陀螺仪采样频率
uint8_taccelerateRange;//加速度计的量程
uint8_taccelerateRate;//加速度计采样频率
uint64_tbuildTime;//固件构建的时间戳
uint8_tuuid[16];
}VendorInfoInputReport;
可选的,获取与外围设备相关联的电量数据信息,可以包括:在检测到外围设备的设备电量降低至电量阈值时,基于检测到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
可以理解的是,该设备电量的电量值可以表示为设备当前电量占满电量的百分比值,如外围设备当前的电量可以为满电量的48%,则该外围设备当前的设备电量可以为48。该电量阈值可以为预设的用于触发进行外围设备主动向云应用客户端发送电量信息的设备电量,例如,该电量阈值可以为20,则随着外围设备的使用,在外围设备的设备电量的电量值降为20时,可以基于检测到的设备电量生成所述设备电量数据信息。例如,以下为一个设备电量数据信息对应的数据结构的示例:
typedef struct GamepadBSInputReport{
uint8_treportId;
uint8_tGEN_GamePadBatteryStrength;//设备电量
}GamepadBSInputReport;
可选的,获取与外围设备相关联的设备电量数据信息,还可以包括:在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的电量查询指令时,基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
可以理解的是,该电量查询指令用于指示查询外围设备的设备电量。该电量查询指令可以是云服务器定时生成的,如每间隔一定时间间隔(如1分钟)生成一次电量查询指令,也可以为响应于用户操作生成的,此处不做限制,进而云服务器将生成的电量查询指令发送至云应用客户端,云应用客户端再将电量查询指令通过第一通信协议发送至外围设备。
可以理解的是,如上述,输入业务特性可以包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性;则本申请实施例还可以包括:接收终端设备中的云应用客户端通过第一通信协议所指示的第一输出接口下发的设备扫描指令;进一步的,基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息;进一步的,在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端,第一业务特性包括输入业务特性。
可以理解的是,该设备扫描指令用于指示获取外围设备支持的第一接口信息。该第一接口信息(也称扩展接口信息)可以为基于第一通信协议(也称扩展通信协议)进行数据传输时所支持的用于实现对应的功能(也称业务特性)的接口的信息。可以理解的是,此处的第一接口信息所指示的接口可以为软件接口,软件接口可以为程序中具体负责在不同模块之间传输或接收数据的并做处理的类或者函数,则第一接口信息可以包括第一接口的接口名,例如,如上述的对象操作数据信息所对应的第一接口信息可以包括GamepadInputReport(),上述的设备属性信息所对应的第一接口信息可以包括VendorInfoInputReport(),上述的设备电量数据信息所对应的第一接口信息可以包括GamepadBSInputReport()。可选的,该设备扫描指令可以是云应用客户端在启动云应用时进行下发的,后续外围设备在获取第一业务数据时,只有外围设备支持的第一接口信息所对应的第一业务数据是有效的。
该设备特性查询指令可以用于查询外围设备所支持的第一业务特性(也称扩展业务特性),第一业务特性可以用于指示基于第一通信协议进行通信时外围设备所支持的业务特性。可以理解的是,该第一业务特性可以包括输入业务特性,也可以包括反馈业务特性。
例如,请参见图6,图6是本申请实施例提供的一种的设备特性查询过程的流程示意图。可以理解的是,图6中的云应用客户端是运行在终端设备中的,此处将云应用客户端和终端设备表示为两个部分只是一个抽象表示,不表示云应用客户端与终端设备为完全独立的两个部分。如图6所示,在该设备特性查询过程中,可以涉及到云应用客户端、终端设备和外围设备。具体的,云应用给客户端可以生成设备扫描指令,并通过第一通信协议经由终端设备将设备扫描指令下发给外围设备(如图6中的步骤S601)。外围设备在接收到设备扫描指令后,可以获取其支持的第一接口信息,并将第一接口信息经由终端设备发送给云应用客户端(如图6中的步骤S602)。然后云应用给客户端可以生成针对第一接口信息的设备特性查询指令,并通过第一通信协议经由终端设备将设备特性查询指令下发给外围设备(如图6中的步骤S603)。外围设备在接收到设备特性查询指令后,可以获取其支持的第一业务特性(如设备电量获取、设备属性查询、操作数据获取等等),并将查询到的第一业务特性经由终端设备发送给云应用客户端(如图6中的步骤S604)。
可以理解的是,如上述,云应用客户端在启动云应用时,外围设备的业务模式可以由第二业务模式切换为第一业务模式。具体的,本申请实施例还包括:接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
可选的,可以理解的是,云应用客户端在启动云应用时,云应用客户端会通过第一通信协议将上述的设备扫描指令发送至外围设备,进而也可以在外围设备在接收到设备扫描指令时,将外围设备的业务模式由第二业务模式切换为第一业务模式。可以理解的是,当外围设备的第一业务模式独立于第二业务模式时,若外围设备接收到模式切换指令或设备扫描指令,则外围设备可以将第二业务模式切换为第一业务模式,以便于外围设备与云应用客户端之间基于第二通信方式进行数据传输;可选地,在另一种可实现方式中,当外围设备的第一业务模式兼容第二业务模式时,若外围设备接收到模式切换指令或设备扫描指令,则外围设备可以不再启用第一业务模式中兼容的第二业务模式,从而基于第一通信协议进行数据传输。
S502、将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端,以使云应用客户端将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器;第一业务数据信息用于指示云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;云应用客户端用于展示输入数据信息对应的媒体数据信息。
可以理解的是,该第一数据结构类型可以包括上述的对象操作数据信息指示的数据结构、设备属性数据信息所指示的数据结构、设备电量数据信息所指示的数据结构等等。该第一数据结构类型也可以理解为上述第一接口信息所指示的接口对应的数据结构。
可以理解的是,输入结构数据信息为对象操作数据信息时,所解析得到的输入数据信息可以为上述的输入操作信息,进而虚拟云客户端可以基于输入操作信息渲染应用显示画面,从而根据基于输入操作信息渲染得到的应用显示画面生成媒体数据信息。例如,在云游戏场景下,用户通过手柄进行游戏操作,则在输入操作信息中包括用于操控游戏对象向左移动的手柄按键的键值时,可以生成游戏对象向左移动的游戏画面(应用显示画面),进而可以基于渲染得到的游戏画面生成媒体数据信息,然后将媒体数据信息发送给云应用客户端进行展示。
例如,请参见图7,图7是本申请实施例提供的一种媒体数据信息展示的效果示意图。如图7所示,在云游戏场景下,游戏画面中可以显示有业务对象的对象信息701a,如可以显示对象的名称、精力值、等级等信息,还可以显示有业务对象可以操控的游戏对象700a,用户通过手柄操控游戏对象700a向左移动,则在输入操作信息中包括用于操控游戏对象向左移动的手柄按键的键值时,进而云服务器基于输入操作信息可以生成游戏对象向左移动的游戏画面(应用显示画面),即游戏对象700a可以由在游戏画面70a中的位置移动到在游戏画面71a中的位置,实现游戏对象向左移动的效果。
为了便于理解,此处结合图示对对象操作数据信息的上传过程进行阐述,请参见图8,图8是本申请实施例提供的一种对象操作数据信息上传的流程示意图。如图8所示,用户可以通过外围设备进行操作,从而外围设备可以基于对象操作确定对象操作数据信息(步骤S701),进而外围设备可以将对象操作数据信息经由终端设备发送给云应用客户端,然后云应用客户端可以将对象操作数据信息发送给云服务器(步骤S702),进而云服务器中的运行的虚拟云客户端可以基于接收到的对象操作数据信息解析得到输入数据信息,并响应于对象操作数据信息所指示的输入数据信息,渲染得到应用显示画面,生成媒体数据信息,从而得到对象操作数据信息所指示的输入操作信息对应的媒体数据信息(步骤S703),然后云服务器将媒体数据信息发送给云游戏客户端(步骤S704),然后终端设备可以进行媒体数据信息的展示(步骤S705)。
可以理解的是,输入结构数据信息为设备属性数据信息时,所解析得到的输入数据信息可以为外围设备的设备属性信息,进而虚拟云客户端可以基于获取到的设备属性信息渲染应用显示画面,从而根据基于设备属性信息渲染得到的应用显示画面生成媒体数据信息。可选的,在基于设备属性信息渲染得到的云应用显示画面中,可以显示有外围设备的设备属性信息。例如,在云游戏应用场景下,云服务器所渲染得到的游戏画面中可以包括外围设备(如手柄)的设备属性信息,进而在云服务器将设备属性信息所对应的媒体数据信息发送至云应用客户端后,云应用客户端可以对媒体数据信息中包含了设备属性信息的游戏画面进行显示。例如,请参见图9,图9是本申请实施例提供的另一种媒体数据信息展示的效果示意图。如图9所示,可以在游戏画面上显示设备属性信息,如查询到的设备厂商、设备型号、传感器参数、固件构建时间等信息。
可以理解的是,输入结构数据信息为设备电量数据信息时,所解析得到的输入数据信息可以为外围设备的设备电量信息,进而虚拟云客户端可以基于获取到的设备电量信息渲染应用显示画面,从而根据基于设备电量信息渲染得到的应用显示画面生成媒体数据信息。可选的,在基于设备电量信息渲染得到的应用显示画面中,可以显示有外围设备的设备电量信息。例如,在云游戏应用场景下,云服务器所渲染得到的游戏画面中可以包括外围设备(如手柄)的设备电量信息,进而在云服务器将设备电量信息所对应的媒体数据信息发送至云应用客户端后,云应用客户端可以对媒体数据信息中包含了设备电量信息的游戏画面进行显示。例如,请参见图10,图10是本申请实施例提供的又一种媒体数据信息展示的效果示意图。如图10所示,在媒体数据信息所展示的游戏画面中,可以显示用于指示外围设备的设备电量的图标71d,从而用户可以知晓外围设备当前的设备电量。可选的,该设备电量图标在游戏过程中可以进行隐藏,在用户需要查询电量或者电量降低至目标电量阈值时候进行显示。
请参见图11,图11是本申请实施例提供的一种数据处理方法的流程示意图2。该方法可由支持第一通信协议的外围设备执行来执行(如上述的图1中的10c所示),比如,该外围设备可以为手柄。该方法至少可以包括以下步骤S801-步骤S803。
S801、接收云应用客户端通过第一通信协议所指示的第一输出接口下发的第一反馈指令。
其中,该第一反馈指令(也称扩展反馈指令)用于指示云应用客户端基于第一通信协议向外围设备发送的反馈指令。该反馈指令可以包括振动反馈指令或者心跳反馈指令等等。该振动反馈指令用于指示外围设备进行振动反馈,该心跳反馈指令用于指示外围设备进行心跳反馈。
S802、基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型。
可以理解的是,该第一反馈指令(也称扩展反馈指令)所指示的反馈数据结构信息可以为用于实现反馈业务特性所需要传输的数据按照一定结构所生成的数据结构信息。可以理解的是,识别反馈数据结构信息的数据结构类型可以用于指示反馈数据结构信息是否为第一数据结构类型,属于第一数据结构类型的反馈数据结构信息可以包括设备心跳反馈信息和设备振动反馈信息等等。
S803、在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,可以理解的是,该反馈业务特性可以为终端设备向外围设备发送数据的业务的特性,即该反馈业务特性是相对于终端设备中的云应用客户端来说的输出的特性,反馈业务特性可以包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性。反馈操作可以是外围设备获取到反馈数据结构信息后,基于反馈数据结构信息执行的操作。例如,该反馈操作可以为基于设备振动反馈信息执行的振动反馈操作(也称振动操作),又如,该反馈操作可以为基于设备心跳反馈信息执行的向云应用客户端返回客户端心跳反馈信息的操作。可以理解的是,此处可以将反馈数据结构信息作为第一业务数据信息(也称扩展业务数据信息),因此,结合前述内容,该第一业务数据信息可以包括对象操作数据信息、设备属性数据信息、设备电量数据信息、设备心跳反馈信息、设备振动反馈信息等等。
可以理解的是,设备心跳反馈信息对应的第一反馈指令是应用客户端在触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成的;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号;则执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作,具体可以包括:在反馈数据结构信息为设备心跳反馈信息时,获取设备心跳反馈信息所对应的客户端心跳反馈信息,客户端心跳反馈信息属于第一业务数据信息;客户端心跳反馈信息至少包含心跳信号参数字段;进一步的,将客户端心跳反馈信息通过第一通信协议所指示的第一输入接口上传给云应用客户端。
其中,可以理解的是,该心跳反馈条件可以为生成设备心跳反馈信息所对应的第一反馈指令所需的条件。为了便于理解,可以将对应的反馈数据结构信息为设备心跳反馈信息的第一反馈指令称为设备心跳反馈指令。可选的,该心跳反馈条件可以为当前时间与前一次发送设备心跳反馈指令的时间差达到一定时间阈值(如2s),当前时间可以为终端设备的系统时间,也就是说,该设备心跳反馈指令可以按照一定时间间隔(如2s)进行发送。
可以理解的是,心跳信号参数字段可以用于指示需要发送的心跳信号。可以理解的是,针对具有不同操作系统类型的操作系统的终端设备,所需要获取的心跳信号可以不同。终端设备的操作系统的操作系统类型可以为以下中的任一种:Windows、Android、Linux、MacOS等等,此处不做限制。可选的,心跳信号可以表示为一个数组,如可以为一个长度为4的数组。例如,下表(表5)各个操作系统类型对应的心跳信号的一个示例。
表5
操作系统 心跳信号说明
Windows heartbeatSerial[4]:01 01 01 01
Android heartbeatSeria1[4]:02 02 02 02
Linux heartbeatSerial[4]:03 03 03 03
MacOS heartbeatSerial[4]:04 04 04 04
可以理解的是,如上述,设备心跳反馈信息所指示的数据结构中可以包括心跳信号参数字段,例如,以下为一个设备心跳反馈信息对应的数据结构的示例:
typedef struct HeartBeatOutputReport{
uint8_treportId;
uint8_theartbeat[4];//心跳信号
}HeartBeatOutputReport;
可以理解的是,如上述,外围设备在获取到设备心跳反馈信息时,而可以向云应用客户端返回一个心跳信号,以此保证云应用客户端与外围设备基于第一通信协议保持连接。具体的,执行第一业务数据信息中的设备心跳反馈信息所指示的反馈操作,具体可以包括:在反馈数据结构信息为设备心跳反馈信息时,获取设备心跳反馈信息所对应的客户端心跳反馈信息,客户端心跳反馈信息属于第一业务数据信息;客户端心跳反馈信息至少包含心跳信号参数字段;进一步的,将客户端心跳反馈信息通过第一通信协议所指示的第一输入接口上传给云应用客户端。
可以理解的是,该客户端心跳反馈信息可以为外围设备在接收到设备心跳反馈信息后生成的用于返回至云应用客户端的数据结构信息。该客户端心跳反馈信息所指示的数据结构与设备心跳反馈信息所指示的数据结构一致,都可以包括心跳信号参数字段。可以理解的是,客户端心跳反馈信息中的心跳信号参数字段所指示的心跳信号可以与设备心跳反馈信息中的心跳信号参数字段所指示的心跳信号相同。例如,终端设备的操作系统为Windows系统,则云应用客户端向外围设备发送的设备心跳反馈信息中的心跳信号可以为01 01 01 01,外围设备在获取到设备心跳反馈信息后生成对应的客户端心跳反馈信息,该客户端心跳反馈信息中心跳信号也为01 01 01 01。
为了便于描述,此处可以将设备心跳反馈信息以及客户端心跳反馈信息均称为心跳反馈信息,也可以称为心跳包。此处结合图示对心跳反馈信息的交互过程进行阐述,请参见图12,图12是本申请实施例提供的一种传输心跳反馈信息的流程示意图。如图12所示,云应用客户端可以生成设备心跳反馈信息,然后云应用客户端可以基于第一通信方式将设备心跳反馈信息对应的设备心跳反馈指令经由终端设备发送至外围设备(如图12中的步骤S901a所示),外围设备在接收到设备心跳反馈信息后,可以获取设备心跳反馈信息对应的客户端心跳反馈信息,然后外围设备可以基于第一通信协议将客户端心跳反馈信息对应的客户端心跳反馈信息经由终端设备发送至云应用客户端(如图12中的步骤S902a所示)。
可以理解的是,在接收到设备心跳反馈信息对应的第一反馈指令时,外围设备的业务模式为基于第一通信协议与云应用客户端进行数据传输的第一业务模式;则本申请实施例还可以包括:若达到目标时间阈值未接收到云应用客户端通过第一输出接口下发的设备心跳反馈信息对应的第一反馈指令,则将外围设备的业务模式由第一业务模式切换为第二业务模式。
可以理解的是,该目标时间阈值可以为外围设备由第一业务模式切换为第二业务模式所需达到的未接收到设备心跳反馈指令的时间。例如,该目标时间阈值可以2s,则外围设备在t1时刻接收到设备心跳反馈指令,并基于设备心跳反馈指令执行反馈操作后,达到2s仍未接收到云应用客户端通过第一输出接口下发的设备心跳反馈指令,则可以将外围设备由第一业务模式切换为第二业务模式。基于此,若云应用客户端在关闭后,或者基于第一通信协议进行数据传输的方式出现故障时,可以及时将外围设备切换回第二业务模式,从而通过第二通信方式实现外围设备与终端设备之间的通信,保障数据传输的可靠性。
可以理解的是,当外围设备的第一业务模式独立于第二业务模式时,若外围设备达到目标时间阈值没有收到云应用客户端下发的设备心跳反馈信息,则外围设备可以将第一业务模式切换为第二业务模式,从而基于上述第二通信方式进行数据传输;可选地,在另一种可实现方式中,当外围设备的第一业务模式兼容第二业务模式时,若外围设备达到目标时间阈值没有收到云应用客户端下发的设备心跳反馈信息,则外围设备可以启用第一业务模式中兼容的第二业务模式,从而基于上述第二通信方式进行数据传输。
可以理解的是,外围设备中包含至少一个振动马达,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量;则执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作,具体可以包括:在反馈数据结构信息为设备振动反馈信息时,基于设备振动反馈信息的指示执行振动操作。
可以理解的是,该振动马达可以为线性振动马达,也可以为转子振动马达,此处不做限制。可以理解的是,振动幅度描述了振动马达在振动时的振动的强弱,振动马达的振动幅度可以属于一定的幅度范围,不同外围设备的振动马达的幅度范围可以不同,此处不做限制。振动时间用于指示执行振动操作的振动持续时间,如振动时间为2s,则振动马达可以持续振动两秒。延迟振动时间用于指示需要延迟多久执行振动操作。振动循环数量用于指示可以单位时间内循环振动的数量,也相当于振动频率。例如,以下为一种设备振动反馈信息所指示的数据结构的示例:
ypedef struct GamepadVibrateOutputReport{
uint8_treportId;
uint8_tPID_GamePadSetEffectReportDcEnableActuators:4;//马达数量
uint8_t:4;
uint8_tPID_GamePadSetEffectReportMagnitude[4];//振动幅度
uint8_tPID_GamePadSetEffectReportDuration;//振动时间
uint8_tPID_GamePadSetEffectReportStartDelay;//延迟振动时间
uint8_tPID_GamePadSetEffectReportLoopCount;//振动循环数量
}GamepadVibrateOutputReport;
可以理解的是,为了便于描述,此处将反馈数据结构信息为设备振动反馈信息的第一反馈指令称为设备振动反馈指令。该设备振动反馈信息可以由云应用服务器中的虚拟云客户端生成,进而虚拟云客户端可以将设备振动反馈信息所对应的设备振动反馈指令发送至云应用客户端,然后云应用客户端将设备振动反馈指令通过第一通信协议发送至云应用客户端。可以理解的是,该设备振动数据结构信息中的各个参数字段可以指示待执行的振动操作的振动效果,进而外围设备可以基于设备振动数据结构信息执行对应的振动操作(也称振动反馈操作)。
可选的,该振动反馈指令可以是云服务器中的虚拟云客户端在检测到触发振动反馈时虚拟云客户端生成的,例如在云游戏场景中,检测到用户操控的游戏对象进行射击、被炸弹打中时,可以触发振动反馈,从而生成设备振动反馈指令。
此处结合图示对设备振动反馈信息在各端之间的交互过程进行阐述,请参见图13,图13是本申请实施例提供的一种传输振动反馈信息的流程示意图。如图13所示,云服务器中的虚拟云客户端在检测到用户操控的游戏对象被炸弹打中时,生成设备振动反馈指令,从而虚拟云客户端将设备振动反馈指令发送给云应用客户端,进而云应用客户端基于第一通信协议经由终端设备将设备振动反馈指令发送至外围设备(步骤S901b),进而外围设备可以解析设备振动反馈指令,从而基于设备振动反馈指令所指示的设备振动反馈信息的指示执行振动操作(步骤S902b)。
可以理解的是,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识,设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;则执行第一业务数据信息中的设备振动反馈信息所指示的反馈操作,可以包括:在反馈数据结构信息为设备振动反馈信息时,查找与反馈数据结构信息所指示振动效果标识关联的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
例如,外围设备中存储的振动效果控制信息可以包括振动效果标识为1、2、3、4、5的振动效果控制信息,若外围设备中接收到的反馈数据结构信息为设备振动反馈信息,且设备振动反馈信息中的效果标识字段的指示的振动效果标识为4,进而外围设备可以基于振动效果标识为4的振动效果控制信息进行振动控制。
可以理解的是,如上述,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性;则本申请实施例还可以包括:接收终端设备中的云应用客户端通过第一输出接口下发的设备扫描指令;进一步的,基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;进一步的,在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端,第一业务特性包括反馈业务特性。
可以理解的是,该设备扫描指令和第一接口信息的相关描述可以参照上述描述。例如,如上述的设备心跳反信息所对应的第一接口信息可以包括HeartBeatOutputReport(),上述的设备振动反馈信息所对应的第一接口信息可以包括GamepadVibrateOutputReport()。可以理解的是,该第一业务特性可以包括输入业务特性以及反馈业务特性。
可以理解的是,如上述,云应用客户端在启动云应用时,外围设备的业务模式可以由第二业务模式切换为第一业务模式。具体的,本申请实施例还包括:接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
可以理解的是,云应用客户端在启动云应用时,云应用客户端会通过第一通信协议将上述的设备扫描指令发送至外围设备,进而也可以在外围设备在接收到设备扫描指令时,将外围设备的业务模式由第二业务模式切换为第一业务模式。可以理解的是,当外围设备的第一业务模式独立于第二业务模式时,若外围设备接收到模式切换指令或设备扫描指令,则外围设备可以将第二业务模式切换为第一业务模式;可选地,在另一种可实现方式中,当外围设备的第一业务模式兼容第二业务模式时,若外围设备接收到模式切换指令或设备扫描指令,则外围设备可以不启用第一业务模式中兼容的第二业务模式,从而基于第一通信协议进行数据传输。
进一步地,请参见图14,图14是本申请实施例提供的一种数据处理方法的流程示意图3。该方法可由支持第一通信协议的外围设备执行来执行(如上述图1中的10c所示),比如,该外围设备可以为手柄。该方法至少可以包括以下步骤S1001-步骤S1005。
S1001、获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种。
S1002、将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端,以使云应用客户端将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器;第一业务数据信息用于指示云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;云应用客户端用于展示输入数据信息对应的媒体数据信息。
S1003、接收云应用客户端通过第一通信协议所指示的第一输出接口下发的第一反馈指令。
S1004、基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型。
S1005、在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
可以理解的是,基于上述描述,外围设备既可以接收从云应用客户端基于第一通信协议下发的第一业务数据,也可以由外围设备获取第一业务数据,并将获取到的第一业务数据基于第一通信协议上传到云应用客户端。
此处以一个示例,对外围设备与云应用客户端之间基于第一通信协议进行数据交互的过程进行阐述,例如,请参见图15,图15是本申请实施例提供的一种数据交互过程的流程示意图。在云游戏客户端启动云游戏时,云游戏客户端可以经由终端设备向外围设备下发设备扫描指令(步骤S111),外围设备可以基于该设备扫描指令查询设备接口信息,并将查询到的第一接口信息经由终端设备返回至云游戏客户端(步骤S112);云游戏客户端可以向外围设备下发针对第一接口信息的特性查询指令(步骤S113),然后外围设备基于特性查询指令查询外围设备的业务特性,并向云应用客户端(如云游戏客户端)返回查询到的第一业务特性(步骤S114);并且,云应用客户端可以按照一定时间间隔(如2s)获取一次设备心跳反馈信息,并发送给外围设备(步骤S115),然后外围设备可以基于接收到的设备心跳反馈信息向云应用客户端返回客户端心跳反馈信息(步骤S116),以此保证外围设备与云应用客户端之间可以基于第一通信协议进行数据传输。进而在云游戏的运行过程中,外围设备可以接收用户操作,然后生成对象操作数据信息(步骤S117),进而外围设备可以将对象操作数据信息上传给云应用客户端,然后云应用客户端可以将对象操作数据信息上传给云服务器(步骤S118);云服务器可以响应于基于对象操作数据信息解析得到的输入数据信息,并基于输入数据信息生成媒体数据信息(步骤S119),然后将生成的媒体数据信息发送给终端设备(步骤S1110),进而终端设备可以对媒体数据信息进行展示(步骤S1111)。另外,云服务器在检测到触发振动反馈时,如用户操控的游戏对象进行射击或被炸弹打中,可以生成设备振动反馈指令,进而将设备振动反馈指令发送给云应用客户端,然后云应用客户端可以将设备振动反馈指令发送给外围设备(步骤S1112),进而外围设备可以基于设备振动反馈指令执行振动操作(步骤S1113)。可以理解的是,以上数据传输过程均可以是基于第一通信协议进行。
进一步地,请参见图16,图16是本申请实施例提供的一种数据处理方法的流程示意图4。该方法由运行支持第一通信协议的云应用客户端的终端设备执行(如上述的10a)。该方法至少可以包括以下步骤S1201-步骤S1203。
S1201、接收外围设备通过第一通信协议所指示的第一输入接口上传的与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种。
S1202、将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器,以使云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息。
S1203、接收并展示云服务器返回的输入数据信息对应的媒体数据信息。
其中,可以理解的是,在通过云应用客户端启动云应用时,终端设备可以基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
可以理解的是,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数;对象操作数据信息是外围设备响应业务对象针对外围设备执行的触发操作时,基于触发操作所对应的输入操作信息生成的。
可以理解的是,终端设备可以通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发设备属性查询指令,以使外围设备基于设备属性查询指令查询到外围设备的设备属性,并根据查询到的设备属性生成设备属性数据信息;设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率。
可以理解的是,设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值,设备电量数据信息是外围设备在检测到外围设备的设备电量低于电量阈值时,基于检测到的设备电量生成的。
可以理解的是,终端设备可以通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发电量查询指令,以使外围设备基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
可以理解的是,输入业务特性包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性,终端设备还可以通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发的设备扫描指令,以使外围设备基于设备扫描指令获取外围设备所支持的第一接口信息;第一接口信息至少包含以下接口信息中的一种或者多种:对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息;进一步的,接收外围设备通过第一输入接口返回的第一接口信息,通过第一输出接口向外围设备发送针对第一接口信息的设备特性查询指令,以使外围设备基于设备特性查询指令查找外围设备所支持的第一业务特性,第一业务特性包括输入业务特性;进一步的,接收外围设备通过第一通信协议所指示的第一输入接口返回的第一业务特性。
进一步地,请参见图17,图17是本申请实施例提供的一种数据处理方法的流程示意图5。该方法由运行支持第一通信协议的云应用客户端的终端设备执行(如上述的10a)。该方法至少可以包括以下步骤S1301。
S1301、通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发第一反馈指令,以使外围设备基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型,在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,可以理解的是,终端设备可以在通过云应用客户端启动云应用时,基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,可以理解的是,终端设备在应用客户端触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成设备心跳反馈信息对应的第一反馈指令;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号,终端设备的操作系统的操作系统类型包括以下任一种:适用于手机终端的操作系统类型、适用于电脑终端的操作系统类型;进一步的,接收外围设备通过第一通信协议所指示的第一输入接口上传的客户端心跳反馈信息,客户端心跳反馈信息为外围设备在第一反馈指令指示的反馈数据结构信息为设备心跳反馈信息时,基于设备心跳反馈信息确定的;客户端心跳反馈信息至少包含心跳信号参数字段。
其中,外围设备中包括至少一个振动马达,可以理解的是,终端设备接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令,第一反馈指令指示的设备振动反馈信息用于外围设备基于设备振动反馈信息的指示执行振动操作,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量。
其中,可以理解的是,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识;则终端设备可以在接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令;设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;设备振动反馈信息用于外围设备查找与反馈数据结构信息所指示振动效果标识匹配的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
其中,可以理解的是,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性,终端设备可以在通过云应用客户端基于第一输出接口向外围设备下发的设备扫描指令,以使外围设备基于设备扫描指令获取外围设备所支持的第一接口信息;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;进一步的,接收外围设备通过第一通信协议所指示的第一输入接口返回的第一接口信息,通过第一输出接口向外围设备发送针对第一接口信息的设备特性查询指令,以使外围设备基于设备特性查询指令查找外围设备所支持的第一业务特性,第一业务特性包括反馈业务特性;进一步的,接收外围设备通过第一通信协议所指示的第一输入接口返回的第一业务特性。
进一步地,请参见图18,图18是本申请实施例提供的一种数据处理方法的流程示意图6。该方法由运行支持第一通信协议的云应用客户端的终端设备执行(如上述的10a)。该方法至少可以包括以下步骤S1401-步骤S1404。
S1401、接收外围设备通过第一通信协议所指示的第一输入接口上传的与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
S1402、将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器,以使云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;
S1403、接收并展示云服务器返回的输入数据信息对应的媒体数据信息。
S1404、通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发第一反馈指令,以使外围设备基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型,在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
请参见图19,图19是本申请实施例提供的一种数据处理装置1的结构示意图。如图19所示,数据处理装置1可以是运行于支持第一通信协议的外围设备(例如,上述外围设备10c)的一个计算机程序(包括程序代码),例如该数据处理装置1为一个应用软件;可以理解的是,该数据处理装置1可以用于执行本申请实施例提供的数据处理方法中的相应步骤。如图19所示,该数据处理装置1可以包括:业务数据获取模块11、数据上传模块12;
业务数据获取模块11,用于获取与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
数据上传模块12,用于将第一业务数据信息通过第一通信协议所指示的第一输入接口上传给云应用客户端,以使云应用客户端将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器;第一业务数据信息用于指示云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;云应用客户端用于展示输入数据信息对应的媒体数据信息。
其中,数据处理装置还可以包括数据接收模块13;
数据接收模块13,用于接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;
业务数据获取模块11可以包括:操作数据生成单元111;
操作数据生成单元111,用于响应业务对象针对外围设备执行的触发操作,基于触发操作所对应的输入操作信息生成对象操作数据信息,对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数。
其中,业务数据获取模块11可以包括:数据查询单元112、设备数据生成单元113;
数据查询单元112,用于在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的设备属性查询指令时,基于设备属性查询指令查询到外围设备的设备属性;
设备数据生成单元113;根据查询到的设备属性生成设备属性数据信息,设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段、外围设备的业务特性参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率;业务特性参数字段用于指示外围设备支持的业务特性。
其中,其中,业务数据获取模块11可以包括:电量数据生成单元114;
电量数据生成单元114,用于在检测到外围设备的设备电量降低至电量阈值时,基于检测到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
其中,电量数据生成单元114还用于在接收到云应用客户端通过第一通信协议所指示的第一输出接口下发的电量查询指令时,基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
其中,输入业务特性包括以下一种或多种:对象操作数据信息对应的获取设备操作数据的业务特性、设备属性数据信息对应的获取设备属性的业务特性、设备电量数据信息对应的获取设备电量的业务特性,
数据接收模块13,还用于接收终端设备中的云应用客户端通过第一通信协议所指示的第一输出接口下发的设备扫描指令;
数据上传模块12,还用于基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息;
数据上传模块12,还用于在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端,第一业务特性包括输入业务特性。
请参见图20,图20是本申请实施例提供的一种数据处理装置2的结构示意图。如图20所示,数据处理装置2可以是运行于支持第一通信协议的外围设备(例如,上述外围设备10c)的一个计算机程序(包括程序代码),例如该数据处理装置2为一个应用软件;可以理解的是,该数据处理装置2可以用于执行本申请实施例提供的数据处理方法中的相应步骤。如图20所示,该数据处理装置2可以包括:数据接收模块21、数据结构解析模块22、反馈操作执行模块23;
数据接收模块21,用于接收云应用客户端通过第一通信协议所指示的第一输出接口下发的第一反馈指令;
数据结构解析模块22,用于基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型;
反馈操作执行模块23,用于在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,数据接收模块21包括:模式调整单元211;
模式调整单元211,用于接收云应用客户端在启动云应用时基于第一通信协议所下发的模式切换指令,基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,设备心跳反馈信息对应的第一反馈指令是应用客户端在触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成的;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号;
反馈操作执行模块23包括:反馈信息获取单元231,数据上传单元232;
反馈信息获取单元231,用于在反馈数据结构信息为设备心跳反馈信息时,获取设备心跳反馈信息所对应的客户端心跳反馈信息,客户端心跳反馈信息属于第一业务数据信息;客户端心跳反馈信息至少包含心跳信号参数字段;
数据上传单元232,用于将客户端心跳反馈信息通过第一通信协议所指示的第一输入接口上传给云应用客户端。
其中,在接收到设备心跳反馈信息对应的第一反馈指令时,外围设备的业务模式为基于第一通信协议与云应用客户端进行数据传输的第一业务模式;
模式调整单元211,还用于若达到目标时间阈值未接收到云应用客户端通过第一输出接口下发的设备心跳反馈信息对应的第一反馈指令,则将外围设备的业务模式由第一业务模式切换为第二业务模式。
其中,外围设备中包含至少一个振动马达,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量;
反馈操作执行模块23包括:振动执行单元233;
振动执行单元233,用于在反馈数据结构信息为设备振动反馈信息时,基于设备振动反馈信息的指示执行振动操作。
其中,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识,设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;
振动执行单元233,还用于在反馈数据结构信息为设备振动反馈信息时,查找与反馈数据结构信息所指示振动效果标识关联的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
其中,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性;
其中,数据反馈操作执行模块23,包括:扫描指令接收单元234、信息获取单元235,数据上传单元232;
扫描指令接收单元234,还用于接收终端设备中的云应用客户端通过第一输出接口下发的设备扫描指令;
信息获取单元235,用于基于设备扫描指令获取外围设备所支持的第一接口信息,且将第一接口信息通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;
数据上传单元232,用于在接收到云应用客户端通过第一输出接口下发针对第一接口信息的设备特性查询指令时,基于设备特性查询指令查找外围设备所支持的第一业务特性,并将第一业务特性通过第一通信协议所指示的第一输入接口返回给云应用客户端;第一业务特性包括反馈业务特性。
请参见图21,图21是本申请实施例提供的一种数据处理装置3的结构示意图。如图21所示,数据处理装置3可以是运行于支持第一通信协议的云应用客户端对应的终端设备(例如,上述终端设备10a)的一个计算机程序(包括程序代码),例如该数据处理装置3为一个应用软件;可以理解的是,该数据处理装置3可以用于执行本申请实施例提供的数据处理方法中的相应步骤。如图21所示,该数据处理装置3可以包括:第一数据接收模块31、数据上传模块32、第二数据接收模块33;
第一数据接收模块31,用于接收外围设备通过第一通信协议所指示的第一输入接口上传的与外围设备相关联的第一业务数据信息;第一业务数据信息包含用于表征外围设备的输入业务特性的输入数据结构信息;输入数据结构信息至少包括对象操作数据信息,设备属性数据信息、设备电量数据信息中的一种或者多种;
数据上传模块32,用于将第一业务数据信息发送给在云端运行有对应于云应用客户端的虚拟云客户端的云服务器,以使云服务器在运行的虚拟云客户端支持第一通信协议时,识别第一业务数据信息的数据结构类型,在识别到第一业务数据信息的数据结构类型为第一数据结构类型时,从第一业务数据信息中解析得到输入数据结构信息所指示的输入数据信息,且获取用于向云应用客户端返回的输入数据信息对应的媒体数据信息;
第二数据接收模块33,用于接收并展示云服务器返回的输入数据信息对应的媒体数据信息。
其中,数据处理装置3还包括数据下发模块34;
数据下发模块34,用于在通过云应用客户端启动云应用时,基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,云应用客户端中启动的云应用包括云游戏,外围设备包含用于操控云游戏中的游戏对象的手柄,手柄至少包括手柄摇杆、手柄按键、六轴传感器、触摸板中一项或多项可操作组件;对象操作数据信息所对应的数据结构至少包含以下参数字段:手柄的轴向参数字段、手柄的按键参数字段、手柄的传感器参数字段和手柄的方向参数字段中的一种或者多种;轴向参数字段用于指示手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;按键参数字段用于指示手柄按键的操作键值;传感器参数字段用于指示六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;方向参数字段用于指示触摸板在M个方向上的操作键值,M为大于或者等于4的正整数;对象操作数据信息是外围设备响应业务对象针对外围设备执行的触发操作时,基于触发操作所对应的输入操作信息生成的。
其中,数据下发模块34,还用于:通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发设备属性查询指令,以使外围设备基于设备属性查询指令查询到外围设备的设备属性,并根据查询到的设备属性生成设备属性数据信息;设备属性数据信息所对应的数据结构至少包含以下参数字段:外围设备的厂商参数字段、外围设备的设备型号参数字段、外围设备中的固件参数字段、外围设备的传感器参数字段;厂商参数字段用于指示外围设备的厂商编号;设备型号参数字段用于指示外围设备的设备型号;固件参数字段用于指示外围设备的固件的构建时间;传感器参数字段用于指示外围设备中的六轴传感器的测量范围或采样频率。
其中,设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值,设备电量数据信息是外围设备在检测到外围设备的设备电量低于电量阈值时,基于检测到的设备电量生成的。
其中,数据下发模块34还用于:
通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发电量查询指令,以使外围设备基于电量查询指令查询外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
请参见图22,图22是本申请实施例提供的一种数据处理装置4的结构示意图。如图22所示,数据处理装置4可以是运行于支持第一通信协议的云应用客户端的终端设备(例如,上述终端设备10a)的一个计算机程序(包括程序代码),例如该数据处理装置4为一个应用软件;可以理解的是,该数据处理装置4可以用于执行本申请实施例提供的数据处理方法中的相应步骤。如图22所示,该数据处理装置4可以包括:数据下发模块41;
数据下发模块41,用于通过云应用客户端基于第一通信协议所指示的第一输出接口向外围设备下发第一反馈指令,以使外围设备基于第一通信协议识别第一反馈指令所指示的反馈数据结构信息的数据结构类型,在识别到反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征外围设备的反馈业务特性的反馈数据结构信息作为与外围设备相关联的第一业务数据信息,且执行第一业务数据信息中的反馈数据结构信息所指示的反馈操作;反馈数据结构信息至少包含外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
其中,数据下发模块41还用于:
在通过云应用客户端启动云应用时,基于第一通信协议向外围设备下发模式切换指令,以使外围设备基于模式切换指令将外围设备的业务模式由第二业务模式切换为第一业务模式,第一业务模式用于指示外围设备基于第一通信协议与云应用客户端进行数据传输。
其中,数据处理装置4包括:第一数据接收模块42;
数据下发模块41还用于:
在应用客户端触发心跳反馈条件时,基于运行云应用客户端的终端设备的操作系统的操作系统类型生成设备心跳反馈信息对应的第一反馈指令;设备心跳反馈信息所对应的数据结构至少包含心跳信号参数字段,心跳信号参数字段是终端设备的操作系统的操作系统类型对应的心跳信号,不同操作系统类型关联有对应的心跳信号;
第一数据接收模块42,用于接收外围设备通过第一通信协议所指示的第一输入接口上传的客户端心跳反馈信息,客户端心跳反馈信息为外围设备在第一反馈指令指示的反馈数据结构信息为设备心跳反馈信息时,基于设备心跳反馈信息确定的;客户端心跳反馈信息至少包含心跳信号参数字段。
其中,数据处理装置4包括:第二数据接收模块43;
第二数据接收模块43,用于接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令,第一反馈指令指示的设备振动反馈信息用于外围设备基于设备振动反馈信息的指示执行振动操作,设备振动反馈信息所对应的数据结构至少包含以下参数字段:马达数量参数字段、振动幅度参数字段、振动时间参数字段、延迟振动时间参数字段,振动循环参数字段中的一种或多种;马达数量参数字段用于指示执行振动操作的振动马达的数量;振动幅度参数字段用于指示执行振动操作时振动马达的振动幅度;振动时间参数字段用于指示执行振动操作的振动时间;延迟振动时间参数字段用于指示执行振动操作的延迟振动时间;振动循环参数用于指示执行振动操作的振动循环数量。
其中,外围设备中存储有至少一个用于指示振动效果的振动效果控制信息,振动效果控制信息中至少包含以下一项或者多项:执行振动操作的振动马达的数量、执行振动操作时振动马达的振动幅度、执行振动操作的振动时间、执行振动操作的延迟振动时间、执行振动操作的振动循环数量;每个振动效果控制信息关联有对应的振动效果标识;
第二数据接收模块43,还用于接收在云端运行有对应于云应用客户端的虚拟云客户端的云服务器发送的第一反馈指令;设备振动反馈信息所对应的数据结构至少包含效果标识字段,效果标识字段用于指示待执行的振动操作对应的振动效果标识;设备振动反馈信息用于外围设备查找与反馈数据结构信息所指示振动效果标识匹配的振动效果控制信息,并基于查找到的振动效果控制信息执行振动操作。
其中,反馈业务特性包括以下一种或多种:设备心跳反馈信息对应的反馈设备心跳的业务特性、设备振动反馈信息对应的控制设备振动的业务特性;
数据下发模块41,用于通过云应用客户端基于第一输出接口向外围设备下发的设备扫描指令,以使外围设备基于设备扫描指令获取外围设备所支持的第一接口信息;第一接口信息至少包含以下接口信息中的一种或者多种:设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息;
第一数据接收模块42,还用于接收外围设备通过第一通信协议所指示的第一输入接口返回的第一接口信息,通过第一输出接口向外围设备发送针对第一接口信息的设备特性查询指令,以使外围设备基于设备特性查询指令查找外围设备所支持的第一业务特性,第一业务特性包括反馈业务特性;
第一数据接收模块42,还用于接收外围设备通过第一通信协议所指示的第一输入接口返回的第一业务特性。
请参见图23,图23是本申请实施例提供的一种计算机设备的结构示意图。如图23所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图23所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图23所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以执行前文任一个所对应实施例中对该数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的数据处理装置1、数据处理装置2、数据处理装置3和数据处理装置4所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
此外,这里需要指出的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文任一个所对应实施例提供的方法。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (19)

1.一种数据处理方法,其特征在于,所述方法由支持第一通信协议的外围设备执行,所述方法包括:
在所述外围设备基于所述第一通信协议与终端设备中的云应用客户端进行数据传输时,响应于业务对象针对所述外围设备执行的触发操作,基于所述触发操作所对应的输入操作信息生成对象操作数据信息;
将所述对象操作数据信息通过所述第一通信协议所指示的第一输入接口上传给所述云应用客户端,以使所述云应用客户端将所述对象操作数据信息发送给在云端运行有对应于所述云应用客户端的虚拟云客户端的云服务器;所述对象操作数据信息用于指示所述云服务器在运行的所述虚拟云客户端支持所述第一通信协议时,识别所述对象操作数据信息的数据结构类型,在识别到所述对象操作数据信息的数据结构类型为第一数据结构类型时,从所述对象操作数据信息中解析得到所述输入操作信息,且获取用于向所述云应用客户端返回的所述输入操作信息对应的媒体数据信息;所述云应用客户端用于展示所述输入操作信息对应的媒体数据信息。
2.根据权利要求1所述的方法,其特征在于,所述云应用客户端中启动的云应用包括云游戏,所述外围设备包含用于操控所述云游戏中的游戏对象的手柄;所述手柄上的可操作组件包括用于操作所述游戏对象在所述云游戏的虚拟场景中进行移动的多个手柄按键;所述游戏对象为所述虚拟场景中的虚拟人物或者虚拟动物;
所述响应于业务对象针对所述外围设备执行的触发操作,基于所述触发操作所对应的输入操作信息生成对象操作数据信息,包括:
响应于针对所述手柄上的所述多个手柄按键执行的按压操作,基于所述按压操作获取按压的手柄按键的键值,将获取到的手柄按键的键值作为所述触发操作所对应的输入操作信息,基于所述获取到的手柄按键的键值所对应的按键参数字段,生成所述输入操作信息对应的对象操作数据信息;所述按键参数字段用于指示所述多个手柄按键中被按压的手柄按键的操作键值。
3.根据权利要求1所述的方法,其特征在于,所述云应用客户端中启动的云应用包括云游戏,所述外围设备包含用于操控所述云游戏中的游戏对象的手柄;所述手柄上的可操作组件包括用于操作所述游戏对象在所述云游戏的虚拟场景中进行移动的手柄摇杆;所述游戏对象为所述虚拟场景中的虚拟人物或者虚拟动物;
所述响应于业务对象针对所述外围设备执行的触发操作,基于所述触发操作所对应的输入操作信息生成对象操作数据信息,包括:
响应于针对所述手柄上的所述手柄摇杆执行的推动操作,基于所述推动操作获取所述手柄摇杆在N个方向轴上的操作范围内的操作值;N为大于或者等于3的正整数,所述N个方向轴包括所述手柄摇杆的x轴、y轴和z轴;其中,x轴、y轴和z轴是指所述手柄摇杆在三维空间坐标系下的方向轴;
将获取到的相应方向轴上的操作范围内的操作值作为所述推动操作所对应的输入操作信息,基于所述获取到的相应方向轴上的操作范围内的操作值所对应的轴向参数字段,生成所述输入操作信息对应的对象操作数据信息;所述轴向参数字段用于指示所述手柄摇杆在N个方向轴中的相应方向轴上被操作时的操作值。
4.根据权利要求1所述的方法,其特征在于,所述云应用客户端中启动的云应用包括云游戏,所述外围设备包含用于操控所述云游戏中的游戏对象的手柄;所述手柄上的可操作组件包括用于操作所述游戏对象在所述云游戏的虚拟场景中进行移动的六轴传感器;所述游戏对象为所述虚拟场景中的虚拟人物或者虚拟动物;
所述响应于业务对象针对所述外围设备执行的触发操作,基于所述触发操作所对应的输入操作信息生成对象操作数据信息,包括:
响应于针对所述手柄上的所述六轴传感器执行的转动操作,基于所述转动操作获取所述六轴传感器在K个坐标轴上的操作范围内的传感值;K为大于或者等于6的正整数,K个坐标轴包括加速度坐标轴和角速度坐标轴;所述加速度坐标轴包括加速度x、y、z轴;所述角速度坐标轴包括角速度x、y、z轴;所述加速度x、y、z轴和所述角速度x、y、z轴是基于不同原点、不同朝向建立的三维空间坐标系下的方向轴;
将获取到的相应坐标轴上的操作范围内的传感值作为所述转动操作所对应的输入操作信息,基于所述获取到的相应坐标轴上的操作范围内的传感值所对应的轴向参数字段,生成所述输入操作信息对应的对象操作数据信息;所述传感器参数字段用于指示所述六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述外围设备相关联的设备属性数据信息;
将所述设备属性数据信息通过所述第一通信协议所指示的所述第一输入接口上传给所述云应用客户端,以使所述云应用客户端将所述设备属性数据信息发送给运行有所述虚拟云客户端的云服务器。
6.根据权利要求5所述的方法,其特征在于,所述云应用客户端中启动的云应用包括云游戏,所述外围设备包含用于操控所述云游戏中的游戏对象的手柄;所述手柄上的可操作组件包括用于查询所述外围设备的设备属性信息的控件;
所述获取与所述外围设备相关联的设备属性数据信息,包括:
响应于所述业务对象针对所述手柄上用于查询所述设备属性信息的控件的触发操作,将所述触发操作所触发的用于查询所述设备属性信息的控件,通过运行有所述云游戏的所述云应用客户端发送给所述虚拟云客户端,以使所述虚拟云客户端响应于针对用于查询所述设备属性信息的控件的触发操作,生成用于返回给所述云应用客户端的设备属性查询指令;
接收所述云应用客户端通过所述第一通信协议所指示的第一输出接口下发的所述设备属性查询指令,基于所述设备属性查询指令查询到所述外围设备的设备属性;
根据查询到的所述设备属性生成所述设备属性数据信息。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
将所述对象操作数据信息和所述设备属性数据信息,作为用于表征所述外围设备的输入业务特性的输入数据结构信息,且通过所述输入数据结构信息确定与所述外围设备相关联的第一业务数据信息;
其中,所述对象操作数据信息所对应的数据结构至少包含以下参数字段:所述手柄的轴向参数字段、所述手柄的按键参数字段、所述手柄的传感器参数字段和所述手柄的方向参数字段中的一种或者多种;所述轴向参数字段用于指示所述手柄摇杆在N个方向轴中的各个方向轴上被操作时的操作值;N为大于或者等于3的正整数;所述按键参数字段用于指示所述手柄按键的操作键值;所述传感器参数字段用于指示所述六轴传感器在K个坐标轴中各个方向轴上被操作时的操作值,K为大于或者等于6的正整数,所述K个坐标轴包括加速度坐标轴和角速度坐标轴;所述方向参数字段用于指示所述触摸板在M个方向上的操作键值,M为大于或者等于4的正整数;
其中,所述设备属性数据信息所对应的数据结构至少包含以下参数字段:所述外围设备的厂商参数字段、所述外围设备的设备型号参数字段、所述外围设备中的固件参数字段、所述外围设备的传感器参数字段、所述外围设备的业务特性参数字段;所述厂商参数字段用于指示所述外围设备的厂商编号;所述厂商编号为生产所述外围设备的厂商的认证号码;所述设备型号参数字段用于指示所述外围设备的设备型号;所述设备信号用于表征生产单位基于所述外围设备的要求和规定所确定的一个编号;所述固件参数字段用于指示所述外围设备的固件的构建时间;所述固件为计算机启动时连接硬件和操作系统的底层代码;所述传感器参数字段用于指示所述外围设备中的六轴传感器的测量范围或采样频率;所述六轴传感器的测量范围包括所述六轴传感器中的陀螺仪的量程和加速度计的量程;所述业务特性参数字段用于指示所述外围设备支持的业务特性;所述外围设备支持的业务特性包括所述外围设备的输入业务特性和所述外围设备的反馈业务特性。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述外围设备相关联的电量数据信息;
将所述电量数据信息通过所述第一通信协议所指示的所述第一输入接口上传给所述云应用客户端,以使所述云应用客户端将所述电量数据信息发送给运行有所述虚拟云客户端的云服务器。
9.根据权利要求8所述的方法,其特征在于,所述获取与所述外围设备相关联的电量数据信息,包括:
在检测到所述外围设备的设备电量降低至电量阈值时,基于检测到的设备电量生成所述设备电量数据信息;所述设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,所述设备电量参数字段用于指示所述外围设备的设备电量的电量值。
10.根据权利要求8所述的方法,其特征在于,所述获取与所述外围设备相关联的电量数据信息,包括:
接收到所述云应用客户端通过第一通信协议所指示的第一输出接口下发的电量查询指令;所述电量查询指令是由运行有所述虚拟云客户端的所述云服务器定时生成的;
基于所述电量查询指令查询所述外围设备的设备电量,并基于查询到的设备电量生成设备电量数据信息;所述设备电量数据信息所对应的数据结构至少包含以下参数字段:设备电量参数字段,设备电量参数字段用于指示外围设备的设备电量的电量值。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述云应用客户端在启动云应用时基于所述第一通信协议所下发的模式切换指令,基于所述模式切换指令将所述外围设备的业务模式由第二业务模式切换为第一业务模式;所述第二业务模式为所述外围设备通过第二通信方式与运行所述云应用客户端的终端设备进行数据传输时的业务模式;所述第二通信方式为依赖于所述终端设备的操作系统的通信方式;所述第一业务模式用于指示所述外围设备基于所述第一通信协议与所述云应用客户端进行数据传输。
12.根据权利要求11所述的方法,其特征在于,所述外围设备的通信模块包括第一通信接口;其中,所述第一通信接口为所述外围设备处于所述第一业务模式时的所述第一通信协议所指示的通信接口;所述第一通信协议所指示的通信接口包括所述第一输入接口和第一输出接口;所述第一输出接口用于指示所述外围设备基于所述外围设备的输入端点将包含所述对象操作数据信息的第一业务数据信息从所述外围设备上传至所述云应用客户端;所述第一输出接口用于指示所述外围设备基于所述外围设备的输出端点接收所述云应用客户端下发至的反馈信息。
13.根据权利要求12所述的方法,其特征在于,所述外围设备的通信模块还包括独立于所述第一通信接口的第二通信接口;其中,所述第二通信接口为所述外围设备处于所述第二业务模式时的第二通信方式所对应的通信接口,且所述第二通信方式所对应的通信接口中包括所述外围设备的输入输出端点;
所述方法还包括:
在所述外围设备的业务模式为由所述第一业务模式切换为所述第二业务模式时,通过所述输入输出端点将所述外围设备的操作数据上传给所述终端设备中的USB驱动,以使所述终端设备中的管理组件从所述USB驱动处获取所述操作数据,并将所述操作数据转发给所述云服务器中运行的所述虚拟云客户端。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述终端设备中的所述云应用客户端通过所述第一通信协议所指示的第一输出接口下发的设备扫描指令;所述设备扫描指令是所述云应用客户端在启动云应用时所下发的;
基于所述设备扫描指令获取所述外围设备所支持的第一接口信息,且将所述第一接口信息通过所述第一通信协议所指示的第一输入接口返回给所述云应用客户端;所述第一接口信息为所述外围设备基于所述第一通信协议进行数据传输时所支持的用于实现对应的业务特性的接口的信息;所述第一接口信息至少包含以下软件接口的接口信息中的一种或者多种:所述对象操作数据信息对应的第一对象操作数据接口信息、设备属性数据信息对应的第一属性获取接口信息、设备电量数据信息对应的第一电量获取接口信息、设备心跳反馈信息对应的心跳反馈接口信息、设备振动反馈信息对应的振动反馈接口信息。
15.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述云应用客户端通过所述第一通信协议所指示的第一输出接口下发的第一反馈指令;
基于所述第一通信协议识别所述第一反馈指令所指示的反馈数据结构信息的数据结构类型;
在识别到所述反馈数据结构信息的数据结构类型为第一数据结构类型时,将用于表征所述外围设备的反馈业务特性的所述反馈数据结构信息作为与所述外围设备相关联的第一业务数据信息,且执行所述第一业务数据信息中的所述反馈数据结构信息所指示的反馈操作;所述反馈数据结构信息至少包含所述外围设备的设备心跳反馈信息和设备振动反馈信息中的一种或者多种。
16.一种数据处理方法,其特征在于,所述方法由运行支持第一通信协议的云应用客户端的终端设备执行,所述方法包括:
接收外围设备通过所述第一通信协议所指示的第一输入接口上传的与所述外围设备相关联的对象操作数据信息;所述对象操作信息为所述外围设备在基于所述第一通信协议与所述云应用客户端进行数据传输时,获取到业务对象执行的触发操作所对应的输入操作信息所生成的;
将所述对象操作数据信息发送给在云端运行有对应于所述云应用客户端的虚拟云客户端的云服务器,以使所述云服务器在运行的所述虚拟云客户端支持所述第一通信协议时,识别所述对象操作数据信息的数据结构类型,在识别到所述对象操作数据信息的数据结构类型为第一数据结构类型时,从所述对象操作数据信息中解析得到所述输入数据结构信息所指示的输入操作信息,且获取用于向所述云应用客户端返回的所述输入操作信息对应的媒体数据信息;
接收并展示所述云服务器返回的所述输入操作信息对应的媒体数据信息。
17.一种数据处理装置,其特征在于,所述装置由支持第一通信协议的外围设备运行,所述装置包括:
业务数据获取模块,用于在所述外围设备基于所述第一通信协议与终端设备中的云应用客户端进行数据传输时,响应于业务对象针对所述外围设备执行的触发操作,基于所述触发操作所对应的输入操作信息生成对象操作数据信息;
数据上传模块,用于将所述对象操作数据信息通过所述第一通信协议所指示的第一输入接口上传给所述云应用客户端,以使所述云应用客户端将所述对象操作数据信息发送给在云端运行有对应于所述云应用客户端的虚拟云客户端的云服务器;所述对象操作数据信息用于指示所述云服务器在运行的所述虚拟云客户端支持所述第一通信协议时,识别所述对象操作数据信息的数据结构类型,在识别到所述对象操作数据信息的数据结构类型为第一数据结构类型时,从所述对象操作数据信息中解析得到所述输入操作信息,且获取用于向所述云应用客户端返回的所述输入操作信息对应的媒体数据信息;所述云应用客户端用于展示所述输入操作信息对应的媒体数据信息。
18.一种数据处理装置,其特征在于,所述装置由运行支持第一通信协议的云应用客户端的终端设备运行,所述装置包括:
第一数据接收模块,用于接收外围设备通过所述第一通信协议所指示的第一输入接口上传的与所述外围设备相关联的对象操作数据信息;所述对象操作信息为所述外围设备在基于所述第一通信协议与所述云应用客户端进行数据传输时,获取到业务对象执行的触发操作所对应的输入操作信息所生成的;
数据上传模块,用于将所述对象操作数据信息发送给在云端运行有对应于所述云应用客户端的虚拟云客户端的云服务器,以使所述云服务器在运行的所述虚拟云客户端支持所述第一通信协议时,识别所述对象操作数据信息的数据结构类型,在识别到所述对象操作数据信息的数据结构类型为第一数据结构类型时,从所述对象操作数据信息中解析得到所述输入数据结构信息所指示的输入操作信息,且获取用于向所述云应用客户端返回的所述输入操作信息对应的媒体数据信息;
第二数据接收模块,用于接收并展示所述云服务器返回的所述输入操作信息对应的媒体数据信息。
19.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与所述存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使所述计算机设备执行权利要求1-16任一项所述的方法。
CN202310827627.3A 2023-01-28 2023-01-28 数据处理方法、装置及相关设备 Pending CN116899210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310827627.3A CN116899210A (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310827627.3A CN116899210A (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备
CN202310042499.1A CN116036578B (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202310042499.1A Division CN116036578B (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备

Publications (1)

Publication Number Publication Date
CN116899210A true CN116899210A (zh) 2023-10-20

Family

ID=86123675

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310042499.1A Active CN116036578B (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备
CN202310827627.3A Pending CN116899210A (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310042499.1A Active CN116036578B (zh) 2023-01-28 2023-01-28 数据处理方法、装置及相关设备

Country Status (2)

Country Link
CN (2) CN116036578B (zh)
WO (1) WO2024156272A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116036578B (zh) * 2023-01-28 2023-06-13 腾讯科技(深圳)有限公司 数据处理方法、装置及相关设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702738B2 (ja) * 2005-03-16 2011-06-15 株式会社ソニー・コンピュータエンタテインメント ゲームシステム
US20100317443A1 (en) * 2009-06-11 2010-12-16 Comcast Cable Communications, Llc Distributed Network Game System
US9235952B2 (en) * 2010-11-14 2016-01-12 Nguyen Gaming Llc Peripheral management device for virtual game interaction
US9069498B2 (en) * 2011-09-12 2015-06-30 Microsoft Technology Licensing, Llc Presenting devices as applications
US8621123B2 (en) * 2011-10-06 2013-12-31 Honeywell International Inc. Device management using virtual interfaces
US10178206B2 (en) * 2015-11-10 2019-01-08 Microsoft Technology Licensing, Llc Multi-protocol gateway for connecting sensor devices to cloud
US10659317B2 (en) * 2016-03-31 2020-05-19 Intel Corporation Dynamically adapting cloud applications
CN108170275B (zh) * 2017-12-29 2022-03-18 青岛小鸟看看科技有限公司 虚拟现实设备外接设备的输入信息的处理方法及装置
CN109710817A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 电子设备信息录入方法、装置、计算机设备及存储介质
CN110572469B (zh) * 2019-09-18 2022-04-12 江苏视博云信息技术有限公司 数据传输方法、输入设备、云端服务器及云游戏系统
CN113194512A (zh) * 2019-09-27 2021-07-30 荣耀终端有限公司 一种数据传输方法及电子设备
CN112691363A (zh) * 2019-10-22 2021-04-23 上海华为技术有限公司 一种云游戏跨终端切换的方法和相关装置
CN112791392A (zh) * 2019-11-13 2021-05-14 Oppo广东移动通信有限公司 触控数据的处理方法、装置、存储介质及电子设备
US11457483B2 (en) * 2020-03-30 2022-09-27 Citrix Systems, Inc. Managing connections between a user device and peripheral devices
CN111569417A (zh) * 2020-04-30 2020-08-25 北京视博云信息技术有限公司 一种云游戏的外设数据传输方法及系统
CN111957038A (zh) * 2020-07-30 2020-11-20 视伴科技(北京)有限公司 一种控制虚拟对象的方法及装置
CN112402941A (zh) * 2020-09-03 2021-02-26 深圳市松冠科技有限公司 游戏控制方法、扩展坞及游戏控制系统
CN112087454B (zh) * 2020-09-10 2021-08-31 上海顺舟智能科技股份有限公司 一种物联网网关设备的通信方法、装置、设备及储存介质
CN112165480B (zh) * 2020-09-22 2022-11-11 北京字跳网络技术有限公司 信息获取方法、装置和电子设备
CN114979191A (zh) * 2021-02-24 2022-08-30 华为技术有限公司 数据通信处理方法及设备
CN112957728A (zh) * 2021-04-06 2021-06-15 林晓丰 可以扩展的游戏中心控制系统
US11547932B2 (en) * 2021-05-25 2023-01-10 Microsoft Technology Licensing, Llc Companion device aided game controller pairing
CN117861194A (zh) * 2021-07-21 2024-04-12 腾讯科技(深圳)有限公司 基于云游戏的设备控制方法、装置、电子设备和可读介质
CN114356097A (zh) * 2022-01-10 2022-04-15 腾讯科技(深圳)有限公司 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品
CN114432692B (zh) * 2022-04-07 2022-07-08 北京蔚领时代科技有限公司 一种云游戏的vr控制方法及装置
CN114928641A (zh) * 2022-05-13 2022-08-19 阿里巴巴(中国)有限公司 基于云应用的数据分享方法、装置、电子设备及存储介质
CN115225706B (zh) * 2022-06-10 2024-05-31 广州汽车集团股份有限公司 数据传输方法、装置、车辆以及存储介质
CN115463414A (zh) * 2022-09-30 2022-12-13 努比亚技术有限公司 游戏操作方法、系统及计算机可读存储介质
CN116036578B (zh) * 2023-01-28 2023-06-13 腾讯科技(深圳)有限公司 数据处理方法、装置及相关设备

Also Published As

Publication number Publication date
CN116036578A (zh) 2023-05-02
WO2024156272A1 (zh) 2024-08-02
CN116036578B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
WO2017193998A1 (zh) 即时通信方法和装置
US9531841B2 (en) Communications method, client, and terminal
WO2024156272A1 (zh) 数据处理方法、装置及相关设备
CN110457214B (zh) 应用测试方法及装置、电子设备
CN104281458B (zh) 应用程序数据处理方法、装置及处理系统
WO2022247540A1 (zh) 设备控制方法、装置、计算机设备及存储介质
CN112073754B (zh) 一种云游戏投屏方法、装置、计算机设备、计算机可读存储介质及云游戏投屏交互系统
CN110166848B (zh) 一种直播互动的方法、相关装置及系统
CN112312144B (zh) 一种直播方法、装置、设备和存储介质
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
CN111491197A (zh) 一种直播内容展示的方法、装置及存储介质
CN113810732B (zh) 直播内容显示方法、装置、终端、存储介质及程序产品
CN112328492B (zh) 一种主播间的互动控制方法、装置和电子设备
CN112131438B (zh) 一种信息生成的方法、信息展示的方法及装置
CN106330672B (zh) 一种即时通信方法及系统
CN109728918B (zh) 虚拟物品发送方法、虚拟物品接收方法、装置及存储介质
CN113617020A (zh) 游戏控制方法、装置、存储介质、服务器以及终端
CN113617027A (zh) 云游戏的处理方法、装置、设备以及介质
CN112791385A (zh) 游戏运行方法、装置、控制设备以及服务器
CN113325946B (zh) 一种基于增强现实的虚拟礼物交互方法以及相关装置
CN117012017A (zh) 一种数据传输方法、装置、设备及介质
CN112347568B (zh) 一种仿真测试的方法、相关装置、设备及存储介质
CN114513512A (zh) 界面渲染的方法及装置
CN110677723B (zh) 一种信息处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination