CN117149321A - 基于多设备协同的游戏交互方法、装置以及存储介质 - Google Patents
基于多设备协同的游戏交互方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN117149321A CN117149321A CN202310085821.9A CN202310085821A CN117149321A CN 117149321 A CN117149321 A CN 117149321A CN 202310085821 A CN202310085821 A CN 202310085821A CN 117149321 A CN117149321 A CN 117149321A
- Authority
- CN
- China
- Prior art keywords
- data
- mobile terminal
- equipment
- wearable
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 81
- 238000012790 confirmation Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 17
- 238000012512 characterization method Methods 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 56
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例提供基于多设备协同的游戏交互方法、装置以及存储介质。该方法包括:接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据;传感器数据为采集佩戴可穿戴设备的用户的数据;根据传感器数据,生成中间结果数据;将中间结果数据,传输给大屏设备;中间结果数据用于基于中间结果数据和大屏设备中的存储数据,生成待显示的游戏画面;存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。便于各用户观看游戏画面。移动终端设备对传感器数据进行部分运算,得到中间结果数据;基于大屏设备对传感器数据进行部分运算,得到游戏画面数据。减少移动终端设备向大屏设备传输的数据量,降低时延;加快游戏应用的游戏画面的显示。
Description
技术领域
本申请涉及终端技术领域,尤其涉及基于多设备协同的游戏交互方法、装置以及存储介质。
背景技术
随着科技的发展和终端技术的发展,游戏已经进入到了人们的生活中。游戏类型较多,例如有,健身的游戏应用、多人交互的健身应用。现在有提供专业的游戏设备,游戏设备中部署了游戏应用。进而用户基于游戏设备可以使用游戏应用。
但是在游戏应用的运行过程中,每一用户只能自己手持专业的游戏设备观看游戏应用,其他人不便于观看到当前的游戏应用的运行过程;并且,在需要多个用户参与游戏应用的时候,更加不便于多个用户一起观看的游戏应用的运行过程。
发明内容
本申请实施例提供一种基于多设备协同的游戏交互方法、装置以及存储介质,应用于终端技术领域,用于便于各用户观看游戏画面,并且降低时延,加快游戏应用的游戏画面的显示。
第一方面,本申请实施例提供一种基于多设备协同的游戏交互方法,所述方法应用于移动终端设备,所述方法包括:
接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据;其中,所述传感器数据为采集佩戴可穿戴设备的用户的数据;
根据所述传感器数据,生成中间结果数据;其中,所述中间结果数据表征对传感器数据进行运算处理后得到的数据;并将所述中间结果数据,传输给大屏设备;
其中,所述中间结果数据用于基于中间结果数据和所述大屏设备中的存储数据,生成待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
这样,基于移动终端设备对传感器数据进行一部分运算,得到中间结果数据,移动终端设备将中间结果数据传输给大屏设备;基于大屏设备对传感器数据进行一部分运算,得到游戏画面数据,然后,大屏设备再对游戏画面数据进行渲染,得到游戏画面。从而,由可穿戴设备实现多种数据的采集,丰富了游戏应用的数据。不需要移动终端设备计算出游戏画面信息,仅需要移动终端设备对传感器数据进行一部分运算;减少了移动终端设备向大屏设备传输的数据量,降低了时延。大屏设备仅需要对中间结果数据进行运算,不需要耗费大屏设备的计算能力,降低了大屏设备的硬件成本。可以加快游戏应用的游戏画面的显示,从而加快用户与游戏应用之间的互动。
在一种可能的实现方式中,根据所述传感器数据,生成中间结果数据,包括:
获取运算分布方式;其中,所述运算分布方式表征对移动终端设备与大屏设备之间,针对传感器数据的数据运算分配方式;根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据。
这样,基于运算分布方式,表征出传感器数据中哪些数据放到移动终端设备中计算、传感器数据中哪些数据放到大屏设备中计算;并且,运算分布方式表征出移动终端设备对传感器数据进行运算时的运算程度、大屏设备对传感器数据进行运算时的运算程度。
在一种可能的实现方式中,所述获取运算分布方式,包括:根据所述移动终端设备当前所运行的游戏应用的类型信息,确定运算分布方式。
这样,由游戏应用的类型信息,确定出运算分布方式。
在一种可能的实现方式中,所述获取运算分布方式,包括:调取所述移动终端设备的第一硬件能力信息,并调取所述大屏设备的第二硬件能力信息;根据所述第一硬件能力信息和所述第二硬件能力信息,确定运算分布方式。
这样,基于设备的硬件能力,确定出运算分布方式。
在一种可能的实现方式中,根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据,包括:
根据所述运算分布方式,对所述至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据,进行运算处理,得到所述中间结果数据;其中,所述中间结果数据表征对所述M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
这样,移动终端设备对各传感器数据,进行运算处理;但是不需要得到最终的游戏画面数据。
在一种可能的实现方式中,根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据,包括:
根据所述运算分布方式,对所述至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据,进行运算处理,得到运算结果数据;其中,所述运算结果数据表征对所述M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果;其中,所述中间结果数据中包括所述运算结果数据和所述M个可穿戴设备所传输的剩余传感器数据。
这样,移动终端设备对部分传感器数据,进行运算处理;不需要得到最终的游戏画面数据。
在一种可能的实现方式中,所述传感器数据中包括第一数据和第二数据;接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据,包括:
通过无线局域网方式接收所述可穿戴设备传输的传感器数据中的第一数据;并通过蓝牙方式接收所述可穿戴设备传输的传感器数据中的第二数据;
其中,所述第一数据的数据量大于所述第二数据的数据量。
这样,通过蓝牙方式接收传感器数据中的数据量小的数据;通过无线局域网方式接收传感器数据中的数据量大的数据。可以加快传感器数据的传输,加快游戏应用的游戏内容的显示。
在一种可能的实现方式中,在接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据之前,还包括:
响应于所述移动终端设备当前所运行的游戏应用发出的获取指令,向所述可穿戴设备发送采集指令;其中,所述获取指令表征获取可穿戴设备采集的数据;所述采集指令表征采集佩戴可穿戴设备的用户的数据。
这样,基于游戏应用的触发,获取可穿戴设备采集的数据;不需要不断从可穿戴设备处接受数据,降低了网络压力。
在一种可能的实现方式中,在接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据之前,还包括:
响应于所述移动终端设备当前所运行的游戏应用的开始指令,基于无线检测方式检测所述可穿戴设备和所述大屏设备;其中,所述开始指令表征开始启动移动终端设备当前所运行的游戏应用中的游戏内容;与所述可穿戴设备基于无线连接方式进行连接,并与所述大屏设备基于无线连接方式进行连接。
这样,基于游戏应用的触发,移动终端设备与大屏设备进行无线连接,移动终端设备与可穿戴设备进行无线连接。
在一种可能的实现方式中,基于无线检测方式检测所述可穿戴设备和所述大屏设备,包括:
基于无线检测方式,检测与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第一预设距离的可穿戴设备;基于无线检测方式,检测与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第二预设距离的大屏设备。
这样,移动终端设备基于无线检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。移动终端设备基于无线检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第二预设距离的大屏设备。
在一种可能的实现方式中,与所述可穿戴设备基于无线连接方式进行连接,并所述大屏设备基于无线连接方式进行连接,包括:
向检测到的可穿戴设备中的K个可穿戴设备中的每一可穿戴设备,发送第一无线连接指令;其中,所述第一无线连接指令中包括可穿戴设备信息;所述可穿戴设备信息中包括所述移动终端设备需连接的可穿戴设备的个数;K为大于等于1的正整数;接收所述可穿戴设备发送的第一确认信息,其中,所述第一确认信息表征可穿戴设备允许进行无线连接,与所述可穿戴设备基于无线连接方式进行连接;
向所述大屏设备,发送第二无线连接指令;其中,所述第二无线连接指令中包括大屏设备信息;所述大屏设备信息中包括所述移动终端设备检测到的大屏设备的个数;接收所述大屏设备发送的第二确认信息,其中,所述第二确认信息表征大屏设备允许进行无线连接,与所述大屏设备基于无线连接方式进行连接。
这样,移动终端设备与至少一个可穿戴设备进行无线连接;但是移动终端设备只需要与一个大屏设备进行无线连接。
第二方面,本申请实施例提供一种基于多设备协同的游戏交互方法,所述方法应用于大屏设备,所述方法包括:
接收移动终端设备传输的中间结果数据;其中,所述中间结果数据表征对传感器数据进行运算处理后得到的数据;所述传感器数据为至少一个可穿戴设备中的每一可穿戴设备传输给移动终端设备的;所述传感器数据为采集佩戴可穿戴设备的用户的数据;
根据所述中间结果数据和所述大屏设备中的存储数据,生成并显示待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
在一种可能的实现方式中,所述中间结果数据表征对所述至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
在一种可能的实现方式中,所述中间结果数据中包括运算结果数据;所述运算结果数据表征对至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果;所述中间结果数据中还包括:所述M个可穿戴设备所传输的剩余传感器数据。
在一种可能的实现方式中,所述大屏设备为与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第二预设距离的大屏设备。
在一种可能的实现方式中,在接收移动终端设备传输的中间结果数据之前,还包括:
接收所述移动终端设备发送的第二无线连接指令,其中,所述第二无线连接指令中包括大屏设备信息;所述大屏设备信息中包括所述移动终端设备检测到的大屏设备的个数;
若确定所述第二无线连接指令所指示的大屏设备的个数为1,则确定与所述移动终端设备基于无线连接方式进行连接。
在一种可能的实现方式中,所述方法,还包括:
若确定所述第二无线连接指令所指示的大屏设备的个数大于1,则显示提示信息;其中,所述提示信息表征提示用户确认是否与所述移动终端设备建立连接;
响应于用户的确认指令,与所述移动终端设备基于无线连接方式进行连接;其中,所述确认指令表征确认与所述移动终端设备建立连接。
这样,大屏设备基于用户的确认,与移动终端设备基于无线连接方式进行连接。
在一种可能的实现方式中,所述存储数据包括:游戏应用的预设游戏数据,和/或,游戏应用的渲染数据。
第三方面本申请实施例提供一种基于多设备协同的游戏交互方法,所述方法应用于可穿戴设备,所述方法包括:
采集佩戴所述可穿戴设备的用户的数据,得到传感器数据;
将所述传感器数据,传输给移动终端设备;其中,所述传感器数据用于进行运算处理后得到中间结果数据;所述中间结果数据用于传输给大屏设备;
其中,所述中间结果数据用于基于中间结果数据和所述大屏设备中的存储数据,生成待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
在一种可能的实现方式中,所述传感器数据中包括第一数据和第二数据;将所述传感器数据,传输给移动终端设备,包括:
通过无线局域网方式将所述传感器数据中的第一数据,传输给所述移动终端设备;并通过蓝牙方式将所述传感器数据中的第二数据,传输给所述移动终端设备;
其中,所述第一数据的数据量大于所述第二数据的数据量。
在一种可能的实现方式中,在采集佩戴所述可穿戴设备的用户的数据,得到传感器数据之前,还包括:
接收移动终端设备发送的采集指令;其中,所述采集指令表征采集佩戴可穿戴设备的用户的数据;所述采集指令为基于所述移动终端设备当前所运行的游戏应用发出的获取指令所发出的,所述获取指令表征获取可穿戴设备采集的数据。
在一种可能的实现方式中,所述可穿戴设备为与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第一预设距离的可穿戴设备。
在一种可能的实现方式中,在采集佩戴所述可穿戴设备的用户的数据,得到传感器数据之前,还包括:
接收所述移动终端设备发送的第一无线连接指令;其中,所述第一无线连接指令中包括可穿戴设备信息;所述可穿戴设备信息中包括所述移动终端设备需连接的可穿戴设备的个数;
若确定所述第一无线连接指令所指示的可穿戴设备的个数为1,则确定与所述移动终端设备基于无线连接方式进行连接。
在一种可能的实现方式中,所述方法,还包括:
若确定所述第一无线连接指令所指示的可穿戴设备的个数大于1,则显示提醒信息;其中,所述提醒信息表征提示用户确认是否与所述移动终端设备建立连接;
响应于用户的确定指令,与所述移动终端设备基于无线连接方式进行连接;其中,所述确定指令表征确认与所述移动终端设备建立连接。
这样,可穿戴设备基于用户的确认,与移动终端设备基于无线连接方式进行连接。
第四方面,本申请实施例提供一种电子设备,电子设备也可以称为终端(terminal)、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。电子设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
该电子设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得电子设备执行如上任一方面的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现如上任一方面的方法。
第六方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行如上任一方面的方法。
第七方面,本申请实施例提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行如第一方面所述的方法。
应当理解的是,本申请的第二方面至第七方面与本申请的第一方面的技术方案案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1示出了终端设备100的结构示意图;
图2是本申请实施例的终端设备100的软件结构框图;
图3为本申请实施例提供的场景示意图;
图4为本申请实施例提供的一种基于多设备协同的游戏交互方法的信令图一;
图5为本申请实施例提供的一种基于多设备协同的游戏交互方法的信令图二;
图6为本申请实施例提供的移动终端设备的软件结构图;
图7为本申请实施例提供的可穿戴设备的软件结构图;
图8为本申请实施例提供的可穿戴设备、移动终端设备以及大屏设备三者之间的交互图;
图9为本申请实施例提供的一种基于多设备协同的游戏交互方法的流程图一;
图10为本申请实施例提供的一种基于多设备协同的游戏交互方法的流程图二;
图11所示为本申请实施例提供的一种芯片的结构示意图;
图12为本申请实施例提供的一种移动终端设备的结构示意图;
图13为本申请实施例提供的一种大屏设备的结构示意图;
图14为本申请实施例提供的一种可穿戴设备的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
需要说明的是,本申请实施例中的“在……时”,可以为在某种情况发生的瞬时,也可以为在某种情况发生后的一段时间内,本申请实施例对此不作具体限定。此外,本申请实施例提供的显示界面仅作为示例,显示界面还可以包括更多或更少的内容。
随着科技的发展和终端技术的发展,游戏已经进入到了人们的生活中。游戏类型较多,例如有,健身的游戏应用、多人交互的健身应用。现在有提供专业的游戏设备,游戏设备中部署了游戏应用。进而用户基于游戏设备可以使用游戏应用。
但是在游戏应用的运行过程中,每一用户只能自己手持专业的游戏设备观看游戏应用,其他人不便于观看到当前的游戏应用的运行过程;并且,在需要多个用户参与游戏应用的时候,更加不便于多个用户一起观看的游戏应用的运行过程。
电子设备包括终端设备,终端设备也可以称为终端(terminal)、用户设备(userequipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
为了能够更好地理解本申请实施例,下面对本申请实施例的终端设备的结构进行介绍:
图1示出了终端设备100的结构示意图。终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
终端设备100本方案中的移动终端设备。
可以理解的是,本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code divisionmultipleaccess,WCDMA),时分码分多址(time-division code division multipleaccess,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些实施例中,终端设备100可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构,等。本申请实施例以分层架构的Android系统为例,示例性说明终端设备100的软件结构。
图2是本申请实施例的终端设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,日历,电话,地图,电话,音乐,设置,邮箱,视频,社交等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,资源管理器,视图系统,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,触摸屏幕,拖拽屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
终端设备为移动终端设备。
下面结合应用程序启动或应用程序中发生界面切换的场景,示例性说明终端设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸力度,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为邮箱应用图标的控件为例,邮箱应用调用应用框架层的接口,启动邮箱应用,进而通过调用内核层启动显示驱动,显示邮箱应用的功能界面。
本申请提供的可穿戴设备,可以设置有如下传感器:压力传感器,用于感受压力信号。陀螺仪传感器,可以用于确定可穿戴设备的运动姿态。气压传感器,用于测量气压。磁传感器,包括霍尔传感器。加速度传感器,可检测可穿戴设备在各个方向上(一般为三轴)加速度的大小。距离传感器,用于测量距离。接近光传感器,可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。环境光传感器,用于感知环境光亮度。指纹传感器,用于采集指纹。温度传感器,用于检测温度。触摸传感器,也称“触控器件”。骨传导传感器,可以获取振动信号。
下面结合附图对本申请实施例提供的方案进行详细地介绍。
图3为本申请实施例提供的场景示意图,如图3所示,移动终端设备301与至少一个可穿戴设备302中每一可穿戴设备302进行无线连接,移动终端设备301与大屏设备303建立无线连接。
图4为本申请实施例提供的一种基于多设备协同的游戏交互方法的信令图一。如图4所示,方法可以包括:
S401、移动终端设备接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据;其中,传感器数据为采集佩戴可穿戴设备的用户的数据。
示例性地,随着科技的发展和终端技术的发展,游戏已经进入到了人们的生活中。游戏类型较多,例如有,健身的游戏应用、多人交互的健身应用。可以为用户提供专业的游戏设备,游戏设备中部署了游戏应用。进而用户基于游戏设备可以使用游戏应用。
但是上述方式中,每一用户只能自己手持专业的游戏设备观看游戏应用,其他人不便于观看到当前的游戏应用的运行过程;并且,在需要多个用户参与游戏应用的时候,更加不便于多个用户一起观看的游戏应用的运行过程。并且,专业的游戏设备,需要的成本较高。
移动终端设备与至少一个可穿戴设备建立了无线连接。移动终端设备与一个大屏设备建立了无线连接
上述无线连接(无线传输),可以是任一种无线连接方式。例如,无线连接为基于蓝牙的无线连接;无线连接为基于无线局域网(wifi)的无线连接。
每一可穿戴设备可以采集佩戴可穿戴设备的用户的数据,从而,每一可穿戴设备可以得到传感器数据。在移动终端设备运行游戏应用的过程中,每一可穿戴设备将传感器数据通过无线传输方式传输给移动终端设备。
传感器数据中包括:用户的运动数据、用户的位置数据、用户的姿态数据、用户的语音数据、等等。
S402、移动终端设备根据传感器数据,生成中间结果数据;其中,中间结果数据表征对传感器数据进行运算处理后得到的数据。
示例性地,移动终端设备接收到可穿戴设备传输的传感器数据之后,先对传感器数据进行运算处理,得到中间结果数据;其中,中间结果数据并不是最终用于游戏画面渲染的数据。中间结果数据是游戏画面数据的中间数据,游戏画面数据是用于渲染后得到游戏画面的数据。
从而,移动终端设备对传感器数据进行部分运算处理。
例如,移动终端设备对各可穿戴设备传输的传感器数据,进行运算,得到中间的运算结果。或者,移动终端设备对各可穿戴设备传输的传感器数据中的部分数据,进行运算。
S403、移动终端设备将中间结果数据,传输给大屏设备。
其中,中间结果数据用于基于中间结果数据和大屏设备中的存储数据,生成待显示的游戏画面;其中,存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
示例性地,移动终端设备通过wifi方式,将中间结果数据,传输给大屏设备。大屏设备中预先存储有存储数据;其中存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
存储数据可以是游戏应用的预设游戏数据;例如,存储数据可以是游戏应用的聊天数据。存储数据可以游戏应用的渲染数据;例如,存储数据可以是游戏应用的背景图像。
大屏设备接收到中间结果数据之后,大屏设备对中间结果数据和大屏设备中的存储数据,进行运算处理,得到游戏画面数据;然后,大屏设备对游戏画面数据进行渲染,得到待显示的游戏画面;大屏设备显示待显示的游戏画面。从而参与游戏的用户,可以观看到游戏画面。
本实施例中,可穿戴设备采集佩戴可穿戴设备的用户的数据,得到传感器数据;可穿戴设备将传感器数据,传输给移动终端设备。移动终端设备对传感器数据进行运算处理,得到中间结果数据;移动终端设备将中间结果数据,传输给大屏设备;大屏设备对中间结果数据和大屏设备中的存储数据进行运算处理,生成待显示的游戏画面。从而,基于可穿戴设备、移动终端以及大屏设备三种具有不同功能的设备,实现游戏应用的运行和游戏画面的显示;使得各个用户可以便捷的从大屏设备上,观看到游戏应用的运行过程;并且,不再需要用户使用成本较高的专业的游戏设备。并且,基于移动终端设备对传感器数据进行一部分运算,得到中间结果数据,移动终端设备将中间结果数据传输给大屏设备;基于大屏设备对传感器数据进行一部分运算,得到游戏画面数据,然后,大屏设备再对游戏画面数据进行渲染,得到游戏画面。从而,由可穿戴设备实现多种数据的采集,丰富了游戏应用的数据。不需要移动终端设备计算出游戏画面信息,仅需要移动终端设备对传感器数据进行一部分运算;减少了移动终端设备向大屏设备传输的数据量,降低了时延。大屏设备仅需要对中间结果数据进行运算,不需要耗费大屏设备的计算能力,降低了大屏设备的硬件成本。本实施例提供的方案,可以加快游戏应用的游戏画面的显示,从而加快用户与游戏应用之间的互动。
图5为本申请实施例提供的一种基于多设备协同的游戏交互方法的信令图二。如图5所示,方法可以包括:
S501、移动终端设备响应于移动终端设备当前所运行的游戏应用的开始指令,基于无线检测方式检测可穿戴设备和大屏设备;其中,开始指令表征开始启动移动终端设备当前所运行的游戏应用中的游戏内容。
一个示例中,步骤S501包括:移动终端设备响应于移动终端设备当前所运行的游戏应用的开始指令,基于无线检测方式,检测与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备;基于无线检测方式,检测与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第二预设距离的大屏设备。
示例性地,随着科技的发展和终端技术的发展,游戏已经进入到了人们的生活中。游戏类型较多,例如有,健身的游戏应用、多人交互的健身应用。可以为用户提供专业的游戏设备,游戏设备中部署了游戏应用。进而用户基于游戏设备可以使用游戏应用。
但是上述方式中,每一用户只能自己手持专业的游戏设备观看游戏应用,其他人不便于观看到当前的游戏应用的运行过程;并且,在需要多个用户参与游戏应用的时候,更加不便于多个用户一起观看的游戏应用的运行过程。并且,专业的游戏设备,需要的成本较高。
从而,提供了以下两种方式。
第一种方式、提供了一种基于移动终端设备与大屏设备进行交互的方法。在移动终端设备中安装游戏应用,移动终端设备,例如是手机。移动终端设备采集用户对游戏应用的控制的控制数据;终端设备根据控制数据计算出游戏的游戏画面信息;然后终端设备将游戏画面信息传输给大屏设备。大屏设备接收到游戏画面信息,然后进行显示。
但是上述方式中,移动终端设备所采集的数据有限,只能采集到用户对游戏应用的控制数据;移动终端设备无法采集更多数据,例如,无法采集用户运动数据;从而不能更好的控制游戏。并且,移动终端设备需要计算出游戏画面信息,将游戏画面信息传输给大屏设备进行显示;游戏画面信息的数据量较大,导致传输时间长、时延较高,从而不能及时的显示出游戏画面。
第二种方式、提供了一种基于可穿戴设备与大屏设备进行交互的方法。可穿戴设备采集用户的运动数据,可穿戴设备将采集到的运动数据发送给到大屏设备;然后,大屏设备对用户数据进行计算和渲染,得到游戏画面进行显示。
但是上述方式中,可穿戴设备无计算能力、或者计算能力小,所以大屏设备需要进行计算;并且由于存在至少一个可穿戴设备;从而大屏设备需要计算的数据量较大,导致时延较高;并且需要大屏设备具有较高的计算能力,增加了大屏设备的硬件成本。
从而本实施例中,提供了一种基于可穿戴设备、移动终端设备、以及大屏设备三者进行交互的方法。
为了完成游戏应用的游戏画面的显示,首先需要进行设备的连接。
在可穿戴设备中内置了接口,该接口用于与移动终端设备之间完成设备匹配、数据传输。可知,可穿戴设备本身就支持与移动终端设备之间的匹配、数据传输。
移动终端设备在运行游戏应用的时候,移动终端设备生成开始指令;其中,开始指令表征开始启动移动终端设备当前所运行的游戏应用中的游戏内容。
一个示例中,用户触发移动终端设备开启游戏应用;从而,移动终端设备基于用户的触发,开启并运行游戏应用;此时,移动终端设备自动生成开始指令。
另一个示例中,用户触发移动终端设备开启游戏应用;从而,移动终端设备基于用户的触发,开启游戏应用;用户再次触发移动终端设备运行游戏应用的内容,从而,移动终端设备自动生成开始指令,并且移动终端设备运行游戏应用的内容。
其中,上述开始指令时移动终端设备初始运行游戏应用时所生成的;在移动终端设备运行游戏应用的过程中,若暂停游戏应用之后再次开始游戏应用,则移动终端设备无需再次生成开始指令。
移动终端设备在得到开始指令之后,移动终端设备需要与可穿戴设备建立无线连接,并且移动终端设备需要与大屏设备建立无线连接;移动终端设备分别与可穿戴设备、大屏设备建立无线连接的时候,移动终端设备需要基于无线检测方式检测可穿戴设备和大屏设备。
在本实施例中,预先设置有信任关系;信任关系为账户信息;其中,账户信息表征在同一用户账户下对应有多个设备,同一用户账户下对应的设备包括了大屏设备、移动终端设备、以及可穿戴设备。移动终端设备可以获取到该账户信息,或者移动终端设备存储有该账户信息。
本实施例中,建立无线连接的移动终端设备与可穿戴设备之间的距离不能太远,否则不便于进行游戏应用的控制。建立无线连接的移动终端设备与大屏设备之间的距离不能太远,否则不便于进行游戏应用的控制。
从而,移动终端设备与可穿戴设备建立无线连接的时候,移动终端设备基于无线检测方式,检测与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。从而,移动终端设备基于无线检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。
举例来说,移动终端设备基于蓝牙检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。若移动终端设备在基于蓝牙检测方式检测可穿戴设备之前,移动终端设备若未开启蓝牙功能,则移动终端设备生成提示信息,以提示用户开启移动终端设备的蓝牙功能。
举例来说,移动终端设备基于无线局域网(wifi)检测,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。若移动终端设备在基于wifi检测方式检测可穿戴设备之前,移动终端设备若未开启wifi功能,则移动终端设备生成提示信息,以提示用户开启移动终端设备的wifi功能。
移动终端设备与大屏设备建立无线连接的时候,移动终端设备基于无线检测方式,检测与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第二预设距离的大屏设备。从而,移动终端设备基于无线检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第二预设距离的大屏设备。
其中,第一预设距离与第二预设距离,可以相同或不同。
举例来说,移动终端设备基于蓝牙检测方式,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的大屏设备。若移动终端设备在基于蓝牙检测方式检测大屏设备之前,移动终端设备若未开启蓝牙功能,则移动终端设备生成提示信息,以提示用户开启移动终端设备的蓝牙功能。
举例来说,移动终端设备基于无线局域网(wifi)检测,检测与移动终端设备归属于同一账户信息、且与移动终端设备之间的距离小于第一预设距离的大屏设备。若移动终端设备在基于wifi检测方式检测大屏设备之前,移动终端设备若未开启wifi功能,则移动终端设备生成提示信息,以提示用户开启移动终端设备的wifi功能。
S502、移动终端设备与可穿戴设备基于无线连接方式进行连接。
一个示例中,步骤S502包括:
步骤S502的第一步骤、移动终端设备向检测到的可穿戴设备中的K个可穿戴设备中的每一可穿戴设备,发送第一无线连接指令;其中,第一无线连接指令中包括可穿戴设备信息;可穿戴设备信息中包括移动终端设备需连接的可穿戴设备的个数;K为大于等于1的正整数。
步骤S502的第二步骤、可穿戴设备若确定第一无线连接指令所指示的可穿戴设备的个数为1,则确定与移动终端设备基于无线连接方式进行连接。
步骤S502的第三步骤、可穿戴设备若确定第一无线连接指令所指示的可穿戴设备的个数大于1,则显示提醒信息;其中,提醒信息表征提示用户确认是否与移动终端设备建立连接。可穿戴设备响应于用户的确定指令,与移动终端设备基于无线连接方式进行连接;其中,确定指令表征确认与移动终端设备建立连接。
步骤S502的第四步骤、移动终端设备接收可穿戴设备发送的第一确认信息,其中,第一确认信息表征可穿戴设备允许进行无线连接,与可穿戴设备基于无线连接方式进行连接。
示例性地,移动终端设备在检测到可穿戴设备之后,移动终端设备确定检测到的可穿戴设备的个数;若移动终端设备确定检测到的可穿戴设备的个数为多个,则移动终端设备选择与多个可穿戴设备中的K个可穿戴设备进行无线连接。K为大于等于1的正整数。
例如,移动终端设备选择与检测到的可穿戴设备中的2个或3个可穿戴设备进行无线连接。
其中,移动终端设备在选择上述K个可穿戴设备的时候,可以根据移动终端设备与可穿戴设备之间的距离,选择距离最近的K个可穿戴设备。或者,移动终端设备在第二界面上显示出检测到的可穿戴设备,由用户选择出K个可穿戴设备;移动终端设备根据用户的选择,确定出K个可穿戴设备。
从而,移动终端设备确定出需连接的K个可穿戴设备。
移动终端设备向K个可穿戴设备中的每一可穿戴设备,发送第一无线连接指令;其中,第一无线连接指令中包括可穿戴设备信息;可穿戴设备信息中包括移动终端设备需连接的可穿戴设备的个数。从而,移动终端设备所发出的第一无线连接指令中,携带有移动终端设备需连接的可穿戴设备的个数K。
第一无线连接指令中还可以携带有移动终端设备需连接的可穿戴设备的设备名称。
针对K个可穿戴设备中的每一可穿戴设备,可穿戴设备接收到第一无线连接指令之后,可穿戴设备若确定第一无线连接指令所指示的可穿戴设备的个数为1,则可穿戴设备确定与移动终端设备基于无线连接方式进行连接。此时,可穿戴设备向移动终端设备发送第一确认信息,第一确认信息表征可穿戴设备允许进行无线连接;移动终端设备基于该第一确认信息,与该可穿戴设备进行无线连接。从而,移动终端设备与可穿戴设备之间基于无线连接方式进行连接。
针对K个可穿戴设备中的每一可穿戴设备,可穿戴设备接收到第一无线连接指令之后,可穿戴设备若第一无线连接指令所指示的可穿戴设备的个数大于1,则可穿戴设备生成并显示提醒信息,进而提示用户确认是否与移动终端设备建立连接。用户确认与移动终端设备建立连接,用户向可穿戴设备输入确定指令。可穿戴设备与移动终端设备基于无线连接方式进行连接,可穿戴设备向移动终端设备送第一确认信息,第一确认信息表征可穿戴设备允许进行无线连接;移动终端设备基于该第一确认信息,与该可穿戴设备进行无线连接。从而,移动终端设备与可穿戴设备之间基于无线连接方式进行连接。
上述无线连接,可以是任一种无线连接方式。例如,无线连接为基于蓝牙的无线连接;无线连接为基于wifi的无线连接。
其中,由于在步骤S505中,可穿戴设备与移动终端设备之间,需要基于蓝牙和wifi传输数据。从而,移动终端设备需要同时基于蓝牙和wifi,与可穿戴设备建立无线连接。
S503、移动终端设备与大屏设备基于无线连接方式进行连接。
一个示例中,步骤S503包括:
步骤S503的第一步骤、移动终端设备向大屏设备,发送第二无线连接指令;其中,第二无线连接指令中包括大屏设备信息;大屏设备信息中包括移动终端设备检测到的大屏设备的个数;
步骤S503的第二步骤、移动终端设备若确定第二无线连接指令所指示的大屏设备的个数为1,则确定与移动终端设备基于无线连接方式进行连接。
步骤S503的第三步骤、移动终端设备若确定第二无线连接指令所指示的大屏设备的个数大于1,则显示提示信息;其中,提示信息表征提示用户确认是否与移动终端设备建立连接。移动终端设备响应于用户的确认指令,与移动终端设备基于无线连接方式进行连接;其中,确认指令表征确认与移动终端设备建立连接。
步骤S503的第四步骤、移动终端设备接收大屏设备发送的第二确认信息,其中,第二确认信息表征大屏设备允许进行无线连接,与大屏设备基于无线连接方式进行连接。
示例性地,移动终端设备在检测到大屏设备之后,移动终端设备确定检测到的大屏设备的个数;若移动终端设备确定检测到的大屏设备的个数为多个,则移动终端设备选择与多个大屏设备中的M个大屏设备进行无线连接。M为大于等于1的正整数。
例如,移动终端设备选择与检测到的大屏设备中的1个大屏设备进行无线连接。或者,移动终端设备选择与检测到的大屏设备中的多个大屏设备进行无线连接;此时,由大屏设备决定是否与移动终端设备连接。
其中,移动终端设备在选择上述M个大屏设备的时候,可以根据移动终端设备与大屏设备之间的距离,选择距离最近的M个大屏设备。或者,移动终端设备在第二界面上显示出检测到的大屏设备,由用户选择出M个大屏设备;移动终端设备根据用户的选择,确定出M个大屏设备。
由于在本实施例中,是需要由大屏设备对游戏应用的游戏画面进行显示,则只需要一个大屏设备与移动终端设备进行无线连接就可以了。
从而,移动终端设备确定出需连接的M个大屏设备。
移动终端设备向M个大屏设备中的每一大屏设备,发送第二无线连接指令;其中,第二无线连接指令中包括大屏设备信息;大屏设备信息中包括移动终端设备检测到的大屏设备的个数。从而,移动终端设备所发出的第二无线连接指令中,携带有移动终端设备检测到的大屏设备的个数M。
第二无线连接指令中还可以携带有移动终端设备检测到的大屏设备的设备名称。
针对M个大屏设备中的每一大屏设备,大屏设备接收到第二无线连接指令之后,大屏设备若确定第二无线连接指令所指示的大屏设备的个数为1,则大屏设备确定与移动终端设备基于无线连接方式进行连接。此时,大屏设备向移动终端设备发送第二确认信息,第二确认信息表征大屏设备允许进行无线连接;移动终端设备基于该第二确认信息,与该大屏设备进行无线连接。从而,移动终端设备与大屏设备之间基于无线连接方式进行连接。
针对M个大屏设备中的每一大屏设备,大屏设备接收到第二无线连接指令之后,大屏设备若第二无线连接指令所指示的大屏设备的个数大于1,则大屏设备生成并显示提示信息,进而提示用户确认是否与移动终端设备建立连接。用户确认与移动终端设备建立连接,用户向大屏设备输入确认指令。大屏设备与移动终端设备基于无线连接方式进行连接,大屏设备向移动终端设备送第二确认信息,第二确认信息表征大屏设备允许进行无线连接;移动终端设备基于该第二确认信息,与该大屏设备进行无线连接。从而,移动终端设备与大屏设备之间基于无线连接方式进行连接。
在第二无线连接指令所指示的大屏设备的个数大于1的时候,由于接收到第二无线连接指令的大屏设备会显示提示信息;从而用户只需要在其中一个大屏设备中输入确认指令就可以了。从而,只有一个大屏设备与移动终端设备进行无线连接。
上述无线连接,可以是任一种无线连接方式。例如,无线连接为基于蓝牙的无线连接;无线连接为基于wifi的无线连接。
举例来说,移动终端设备根据信任关系、与可穿戴设备之间的距离,检测到3个可穿戴设备,分别为可穿戴设备1、可穿戴设备2、可穿戴设备3。可穿戴设备1和可穿戴设备2在客厅,可穿戴设备2在卧室。移动终端设备选择与移动终端设备最近的可穿戴设备1、可穿戴设备2,进行无线连接。从而,移动终端设备分别向可穿戴设备1、可穿戴设备2发送第一无线连接指令。可穿戴设备1确定与移动终端设备进行连接;可穿戴设备2确定与移动终端设备进行连接。
移动终端设备根据信任关系、与大屏设备之间的距离,检测到23个大屏设备,分别为大屏设备1、大屏设备2。移动终端设备分别向大屏设备1、大屏设备2发送第二无线连接指令。然后大屏设备1显示提示信息,大屏设备1基于用户的确认与移动终端设备进行连接。
通过步骤S501-S503,移动终端设备与至少一个可穿戴设备建立起无线连接;移动终端设备与一个大屏设备建立起无线连接。
S504、移动终端设备响应于移动终端设备当前所运行的游戏应用发出的获取指令,向可穿戴设备发送采集指令。
其中,获取指令表征获取可穿戴设备采集的数据;采集指令表征采集佩戴可穿戴设备的用户的数据。
示例性地,移动终端设备在运行游戏应用的过程中,移动终端设备的游戏应用基于游戏应用的当前游戏内容生成获取指令;获取指令表征获取可穿戴设备采集的数据。移动终端设备基于获取指令,向与移动终端设备无线连接的可穿戴设备发送采集指令。采集指令表征采集佩戴可穿戴设备的用户的数据。
从而,移动终端设备基于游戏应用的当前游戏内容,才会去获取可穿戴设备所采集的传感器数据;不需要可穿戴设备不断的将传感器数据发送给移动终端设备,减少了数据的传输量,节约了资源。
S505、至少一个可穿戴设备中的每一可穿戴设备将传感器数据发送给移动终端设备;其中,传感器数据为采集佩戴可穿戴设备的用户的数据。
一个示例中,传感器数据中包括第一数据和第二数据;步骤S501包括:
通过无线局域网方式接收可穿戴设备传输的传感器数据中的第一数据;并通过蓝牙方式接收可穿戴设备传输的传感器数据中的第二数据。其中,第一数据的数据量大于第二数据的数据量。
示例性地,可穿戴设备中设置多种传感器,传感器用于采集用户的数据。可穿戴设备实时的采集佩戴可穿戴设备的用户的数据,进而得到传感器数据。
可穿戴设备基于采集指令,将传感器数据传输给移动终端设备。其中,至少一个可穿戴设备与移动终端设备连接,移动终端设备与大屏设备连接之后,移动终端设备中的游戏应用的游戏开始时,移动终端设备向可穿戴设备发采集指令;然后,可穿戴设备已经持续的采集数据了,可穿戴设备将产生于开始指令之后的采集到的传感器数据,传输给移动终端设备。
一个示例中,针对每一可穿戴设备,可穿戴设备将传感器数据中的第一数据,通过wifi方式传输给移动终端设备;可穿戴设备将传感器数据中的第二数据,通过蓝牙方式传输给移动终端设备。第一数据的数据量大于第二数据的数据量。
从而,可穿戴设备根据传感器数据中的数据量大小,将数据量小的数据,通过蓝牙传输给移动终端设备;可穿戴设备将数据量大的数据,通过wifi传输给移动终端设备。可以加快传感器数据的传输,加快游戏应用的游戏内容的显示。
其中,在“可穿戴设备将传感器数据中的第一数据,通过wifi方式传输给移动终端设备”的过程中,可穿戴设备若确定wifi网络出现故障,则与移动终端设备之间进行自动重试连接;并且,可穿戴设备提示用户wifi网络异常。
S506、移动终端设备根据传感器数据,生成中间结果数据;其中,中间结果数据表征对传感器数据进行运算处理后得到的数据。
一个示例中,步骤S506包括:
步骤S506的第一个步骤、移动终端设备获取运算分布方式;其中,运算分布方式表征对移动终端设备与大屏设备之间,针对传感器数据的数据运算分配方式;
步骤S506的第二个步骤、移动终端设备根据运算分布方式,对传感器数据进行运算处理,得到中间结果数据。
一个示例中,步骤S506的第一个步骤,包括:
移动终端设备根据移动终端设备当前所运行的游戏应用的类型信息,确定运算分布方式。
或者,移动终端设备调取移动终端设备的第一硬件能力信息,并调取大屏设备的第二硬件能力信息;移动终端设备根据第一硬件能力信息和第二硬件能力信息,确定运算分布方式。
一个示例中,步骤S506的第二个步骤,包括:
第一种实现方式、移动终端设备根据运算分布方式,对至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据,进行运算处理,得到中间结果数据。
其中,中间结果数据表征对M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
第二种实现方式、移动终端设备根据运算分布方式,对至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据,进行运算处理,得到运算结果数据;其中,运算结果数据表征对M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果。
其中,中间结果数据中包括运算结果数据和M个可穿戴设备所传输的剩余传感器数据。
示例性地,移动终端设备接收到可穿戴设备传输的传感器数据之后,先对传感器数据进行运算处理,得到中间结果数据;其中,中间结果数据并不是最终用于游戏画面渲染的数据。中间结果数据是游戏画面数据的中间数据,游戏画面数据是用于渲染后得到游戏画面的数据。
从而,移动终端设备对传感器数据进行部分运算处理。
一个示例中,移动终端设备获取运算分布方式;运算分布方式表征对移动终端设备与大屏设备之间,针对传感器数据的数据运算分配方式。可知,运算分布方式表征出传感器数据中哪些数据放到移动终端设备中计算、传感器数据中哪些数据放到大屏设备中计算;并且,运算分布方式表征出移动终端设备对传感器数据进行运算时的运算程度、大屏设备对传感器数据进行运算时的运算程度。然后,移动终端设备根据运算分布方式,将运算分布方式所指示的传感器数据中的数据进行运算处理,得到中间结果数据。
从而,将部分数据放到移动终端设备中运算。
一个示例中,首先,移动终端设备需要获取到运算分布方式。
移动终端设备中存储有游戏应用的类型信息与运算分布方式之间的对应关系,从而,移动终端设备根据该对应关系、以及移动终端设备当前所运行的游戏应用的类型信息,确定出当前所运行的游戏应用的类型信息对应的运算分布方式。
或者,移动终端设备调取移动终端设备的第一硬件能力信息,并调取大屏设备的第二硬件能力信息。其中,第一硬件能力信息指示出移动终端设备的硬件能力,可知,第一硬件能力信息表征出了移动终端设备的运算能力。第二硬件能力信息指示出大屏设备的硬件能力,可知,第二硬件能力信息表征出了大屏设备的运算能力。移动终端设备根据第一硬件能力信息、第二硬件能力信息以及运算分布方式三者之间的对应关系,确定出与第一硬件能力信息、第二硬件能力信息两者对应的运算分布方式。
或者,针对每一可穿戴设备,可穿戴设备中具有多种传感器,传感器具有传感器类别;可穿戴设备的每一种传感器采集数据之后,得到与该传感器对应的用户数据。可穿戴设备向移动终端设备所传输的传感器数据中包括了多种用户数据、与用户数据对应的传感器类别;每一种用户数据与每一种传感器类别之间一一对应。移动终端设备在接收到传感器数据之后,根据传感器数据中的传感器类别,确定出运算分布方式。例如,传感器类别a对应的用户数据,需要在移动终端设备中进行运算;传感器类别b对应的用户数据,需要在移动终端设备中进行运算;传感器类别c对应的用户数据,需要在大屏设备中进行运算;传感器类别d对应的用户数据,需要在大屏设备中进行运算。
然后,移动终端设备根据运算分布方式,从传感器数据中,确定出需要在移动终端设备中进行运算的数据、以及对数据运算的运算程度;然后,移动终端设备对需要在移动终端设备中进行运算的数据,进行运算处理,得到中间结果数据。
例如,移动终端设备与M个可穿戴设备进行了无线连接;M个可穿戴设备中的每一可穿戴设备将传感器数据,传输给了移动终端设备。移动终端设备基于运算分布方式,对M个可穿戴设备所传输的各传感器数据,进行运算处理,得到中间结果数据。移动终端设备将中间结果数据,发送给大屏设备。
再例如,移动终端设备与M个可穿戴设备进行了无线连接;M个可穿戴设备中的每一可穿戴设备将传感器数据,传输给了移动终端设备。移动终端设备基于运算分布方式,对M个可穿戴设备所传输的各传感器数据中的部分传感器数据,进行运算处理,得到运算结果数据;移动终端设备将运算结果数据和其余传感器数据,作为中间结果数据,发送给大屏设备。
举例来说,移动终端设备与M个可穿戴设备进行了无线连接;M个可穿戴设备中的每一可穿戴设备将传感器数据,传输给了移动终端设备。每一可穿戴设备中的传感器数据包括了用户位置数据、用户姿态数据、用户语音数据。
移动终端设备将每一可穿戴设备传输的传感器数据中的用户位置数据,叠加到游戏应用中的地图;并且,移动终端设备将每一可穿戴设备传输的传感器数据中的用户姿态数据进行运算处理,识别用户的动作;并且,移动终端设备将每一可穿戴设备传输的用户语音数据中的用户姿态数据进行运算处理;以上的三种运算结果,构成中间结果数据。移动终端设备将中间结果数据,传输给大屏设备。
或者,移动终端设备将每一可穿戴设备传输的传感器数据中的用户位置数据,叠加到游戏应用中的地图;并且,移动终端设备将每一可穿戴设备传输的传感器数据中的用户姿态数据进行运算处理,识别用户的动作;以上的两种运算结果,构成运算结果数据。移动终端设备将运算结果数据和每一可穿戴设备传输的用户语音数据,传输给大屏设备。
S507、移动终端设备将中间结果数据,传输给大屏设备。
示例性地,移动终端设备通过wifi方式,将中间结果数据,传输给大屏设备。
S508、大屏设备基于中间结果数据和大屏设备中的存储数据,生成并显示待显示的游戏画面。其中,存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
一个示例中,存储数据包括:游戏应用的预设游戏数据,和/或,游戏应用的渲染数据。
示例性地,大屏设备中预先存储有存储数据;其中存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
存储数据可以是游戏应用的预设游戏数据;例如,存储数据可以是游戏应用的聊天数据。存储数据可以游戏应用的渲染数据;例如,存储数据可以是游戏应用的背景图像。
大屏设备接收到中间结果数据之后,大屏设备对中间结果数据和大屏设备中的存储数据,进行运算处理,得到游戏画面数据;然后,大屏设备对游戏画面数据进行渲染,得到待显示的游戏画面;大屏设备显示待显示的游戏画面。从而参与游戏的用户,可以观看到游戏画面。
图6为本申请实施例提供的移动终端设备的软件结构图,如图6所示,移动终端设备包括应用层(app)、应用程序框架层(Framwork,简称FW)、系统运行库层(Native)、硬件抽象层(Hardware Abstraction Layer,简称HAL)、以及Linux内核层(Kenrel)。
其中,移动终端设备的应用层中部署上述游戏应用。移动终端设备的应用程序框架层中部署第一游戏管理(GameManager)模块。移动终端设备的系统运行库层中部署移动终端设备的运算算法,该运算算法用于对传感器数据进行运算处理得到中间结果数据。
并且,移动终端设备中部署了第一无线局域网服务(WifiService)模块和第一蓝牙服务(BluetoothService)模块。例如,第一无线局域网服务模块和第一蓝牙服务模块,部署在移动终端设备的应用程序框架层。
移动终端设备的应用层的游戏应用,通过移动终端设备的应用程序框架层中的第一游戏管理模块,调取移动终端设备的系统运行库层中的运算算法;进而移动终端设备的应用层的游戏应用基于运算算法,对传感器数据进行运算处理得到中间结果数据。
图7为本申请实施例提供的可穿戴设备的软件结构图,如图7所示,大屏设备包括应用层(app)、应用程序框架层(Framwork,简称FW)、系统运行库层(Native)、硬件抽象层(Hardware Abstraction Layer,简称HAL)、以及Linux内核层(Kenrel)。
其中,大屏设备的应用层中部署上述游戏应用。大屏设备的应用程序框架层中部署第二游戏管理(GameManager)模块。大屏设备的系统运行库层中部署大屏设备的运算算法,该运算算法用于对中间结果数据进行运算处理,得到游戏画面数据。从而,大屏设备可以对游戏画面数据进行渲染,得到并显示游戏画面。
并且,大屏设备中部署了第二无线局域网服务(WifiService)模块和第二蓝牙服务(BluetoothService)模块。例如,第二无线局域网服务模块和第二蓝牙服务模块,部署在大屏设备的应用程序框架层。
大屏设备的应用层的游戏应用,通过大屏设备的应用程序框架层中的第二游戏管理模块,调取大屏设备的系统运行库层中的运算算法;进而大屏设备的应用层的应用基于运算算法,对中间结果数据进行运算处理,得到游戏画面数据。
然后,大屏设备的应用层的游戏应用,对游戏画面数据进行渲染,得到游戏画面。
图8为本申请实施例提供的可穿戴设备、移动终端设备以及大屏设备三者之间的交互图,如图8所示,
可穿戴设备部署有第三无线局域网服务模块、第三蓝牙服务模块、第三游戏管理模块;可穿戴设备中具有多种传感器,例如,陀螺仪、加速度传感器(G-sensor)、等等。
移动终端设备部署有第一无线局域网服务模块、第一蓝牙服务模块、第一游戏管理模块;移动终端设备可以运行游戏应用。
大屏设备部署有第二无线局域网服务模块、第二蓝牙服务模块、第二游戏管理模块;移动终端设备可以运行游戏应用。
移动终端设备的第一无线局域网服务模块与可穿戴设备的第三无线局域网服务模块之间建立基于wifi的无线连接。移动终端设备的第一蓝牙服务模块与可穿戴设备的第三蓝牙服务模块之间建立基于蓝牙的无线连接。
移动终端设备的第一无线局域网服务模块与大屏设备的第二无线局域网服务模块之间建立基于wifi的无线连接。移动终端设备的第一蓝牙服务模块与大屏设备的第二蓝牙服务模块之间建立基于蓝牙的无线连接。
可穿戴设备的传感器采集用户数据,得到传感器数据。可穿戴设备的第三游戏管理模块获取传感器数据。可穿戴设备的第三游戏管理模块通过第三无线局域网服务模块,将传感器数据中的数据量较大的数据,传输给移动终端设备的第一无线局域网服务模块。可穿戴设备的第三游戏管理模块通过第三蓝牙服务模块,将传感器数据中的数据量较小的数据,传输给移动终端设备的第一蓝牙服务模块。
移动终端设备的第一游戏管理模块接收第一无线局域网服务模块、第一蓝牙服务模块传输的传感器数据。移动终端设备的第一游戏管理模块将传感器数据,传输给移动终端设备的游戏应用。移动终端设备的游戏应用调取移动终端设备的运算算法,对传感器数据进行运算,得到中间结果数据。
移动终端设备的第一游戏管理模块获取中间结果数据。移动终端设备的第一游戏管理模块将中间结果数据,通过第一无线局域网服务模块,传输给大屏设备的第二无线局域网服务模块。或者,移动终端设备的第一游戏管理模块将中间结果数据的部分数据,通过第一无线局域网服务模块,传输给大屏设备的第二无线局域网服务模块;移动终端设备的第一游戏管理模块将中间结果数据的剩余数据,通过第一蓝牙服务模块,传输给大屏设备的第二蓝牙服务模块。
大屏设备的第二游戏管理模块,接收第二无线局域网服务模块(第二无线局域网服务模块和第二蓝牙服务模块)传输的中间结果数据。大屏设备的第二游戏管理模块将中间结果数据,传输给大屏设备的游戏应用。
大屏设备的应用层的游戏应用,调取大屏设备的系统运行库层中的大屏设备的的运算算法;大屏设备的应用层的应用基于大屏设备的的运算算法,对中间结果数据进行运算处理,得到游戏画面数据。然后,大屏设备的应用层的游戏应用,对游戏画面数据进行渲染,得到并显示游戏画面。
本实施例中,基于可穿戴设备、移动终端以及大屏设备三种具有不同功能的设备,实现游戏应用的运行和游戏画面的显示;使得各个用户可以便捷的从大屏设备上,观看到游戏应用的运行过程;并且,不再需要用户使用成本较高的专业的游戏设备。并且,基于移动终端设备对传感器数据进行一部分运算,得到中间结果数据,移动终端设备将中间结果数据传输给大屏设备;基于大屏设备对传感器数据进行一部分运算,得到游戏画面数据,然后,大屏设备再对游戏画面数据进行渲染,得到游戏画面。从而,由可穿戴设备实现多种数据的采集,丰富了游戏应用的数据。不需要移动终端设备计算出游戏画面信息,仅需要移动终端设备对传感器数据进行一部分运算;减少了移动终端设备向大屏设备传输的数据量,降低了时延。大屏设备仅需要对中间结果数据进行运算,不需要耗费大屏设备的计算能力,降低了大屏设备的硬件成本。本实施例提供的方案,可以加快游戏应用的游戏画面的显示,从而加快用户与游戏应用之间的互动。
图9为本申请实施例提供的一种基于多设备协同的游戏交互方法的流程图一。如图9所示,该方法应用于大屏设备;该方法可以包括:
S901、接收移动终端设备传输的中间结果数据;其中,中间结果数据表征对传感器数据进行运算处理后得到的数据;传感器数据为至少一个可穿戴设备中的每一可穿戴设备传输给移动终端设备的;传感器数据为采集佩戴可穿戴设备的用户的数据。
S902、根据中间结果数据和大屏设备中的存储数据,生成并显示待显示的游戏画面;其中,存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
一个示例中,中间结果数据表征对至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
或者,一个示例中,中间结果数据中包括运算结果数据;运算结果数据表征对至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果;中间结果数据中还包括:M个可穿戴设备所传输的剩余传感器数据。
一个示例中,大屏设备为与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第二预设距离的大屏设备。
一个示例中,在步骤S901之前,还包括:
接收移动终端设备发送的第二无线连接指令,其中,第二无线连接指令中包括大屏设备信息;大屏设备信息中包括移动终端设备检测到的大屏设备的个数。
若确定第二无线连接指令所指示的大屏设备的个数为1,则确定与移动终端设备基于无线连接方式进行连接。
若确定第二无线连接指令所指示的大屏设备的个数大于1,则显示提示信息;其中,提示信息表征提示用户确认是否与移动终端设备建立连接;响应于用户的确认指令,与移动终端设备基于无线连接方式进行连接;其中,确认指令表征确认与移动终端设备建立连接。
一个示例中,存储数据包括:游戏应用的预设游戏数据,和/或,游戏应用的渲染数据。
本实施例提供的方法,可以参见上述实施例,不再赘述。
图10为本申请实施例提供的一种基于多设备协同的游戏交互方法的流程图二。如图10所示,该方法应用于可穿戴设备;该方法可以包括:
S1001、采集佩戴可穿戴设备的用户的数据,得到传感器数据。
S1002、将传感器数据,传输给移动终端设备;其中,传感器数据用于进行运算处理后得到中间结果数据;中间结果数据用于传输给大屏设备。其中,中间结果数据用于基于中间结果数据和大屏设备中的存储数据,生成待显示的游戏画面;其中,存储数据为与移动终端设备当前所运行的游戏应用相关的预设数据。
一个示例中,传感器数据中包括第一数据和第二数据;步骤S1002,包括:
通过无线局域网方式将传感器数据中的第一数据,传输给移动终端设备;并通过蓝牙方式将传感器数据中的第二数据,传输给移动终端设备;其中,第一数据的数据量大于第二数据的数据量。
一个示例中,在步骤S1001之前,还包括:
接收移动终端设备发送的采集指令;其中,采集指令表征采集佩戴可穿戴设备的用户的数据;采集指令为基于移动终端设备当前所运行的游戏应用发出的获取指令所发出的,获取指令表征获取可穿戴设备采集的数据。
一个示例中,可穿戴设备为与移动终端设备之间具有信任关系、且与移动终端设备之间的距离小于第一预设距离的可穿戴设备。
一个示例中,在步骤S1001之前,还包括:
接收移动终端设备发送的第一无线连接指令;其中,第一无线连接指令中包括可穿戴设备信息;可穿戴设备信息中包括移动终端设备需连接的可穿戴设备的个数。
若确定第一无线连接指令所指示的可穿戴设备的个数为1,则确定与移动终端设备基于无线连接方式进行连接。
若确定第一无线连接指令所指示的可穿戴设备的个数大于1,则显示提醒信息;其中,提醒信息表征提示用户确认是否与移动终端设备建立连接;响应于用户的确定指令,与移动终端设备基于无线连接方式进行连接;其中,确定指令表征确认与移动终端设备建立连接。
本实施例提供的方法,可以参见上述实施例,不再赘述。
上面已对本申请实施例的设备列表排序的方法进行了说明,下面对本申请实施例提供的执行上述列表排序的方法的装置进行描述。本领域技术人员可以理解,方法和装置可以相互结合和引用,本申请实施例提供的相关装置可以执行上述列表排序的方法中的步骤。
本申请实施例可以根据上述方法示例对上述方法的装置进行功能模块的划分,例如可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图11所示为本申请实施例提供的一种芯片的结构示意图。芯片1100包括一个或两个以上(包括两个)处理器1101、通信线路1102、通信接口1103和存储器1104。
在一些实施方式中,存储器1104存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
上述本申请实施例描述的任一方法可以应用于处理器1101中,或者由处理器1101实现。处理器1101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述终端设备执行方法的各步骤可以通过处理器1101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1101可以是通用处理器(例如,微处理器或常规处理器)、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specificintegrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件,处理器1101可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。其中,软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器(electricallyerasable programmable read only memory,EEPROM)等本领域成熟的存储介质中。该存储介质位于存储器1104,处理器1101读取存储器1104中的信息,结合其硬件完成上述方法的步骤。
处理器1101、存储器1104以及通信接口1103之间可以通过通信线路1102进行通信。
图12为本申请实施例提供的一种移动终端设备的结构示意图,如图12所示,移动终端设备1200包括上述芯片和显示单元。显示单元中设置有集成电路面板,集成电路面板用于发出周期性中断事件。其中,集成电路面板去除了用于计算与触控操作对应的坐标信息的集成电路单元。
图13为本申请实施例提供的一种大屏设备的结构示意图,如图13所示,大屏设备1300包括上述芯片和显示单元。显示单元中设置有集成电路面板,集成电路面板用于发出周期性中断事件。其中,集成电路面板去除了用于计算与触控操作对应的坐标信息的集成电路单元。
图14为本申请实施例提供的一种可穿戴设备的结构示意图,如图14所示,可穿戴设备1400包括上述芯片和显示单元。显示单元中设置有集成电路面板,集成电路面板用于发出周期性中断事件。其中,集成电路面板去除了用于计算与触控操作对应的坐标信息的集成电路单元。
本申请实施例提供的基于多设备协同的游戏交互方法,可以应用在具备通信功能的电子设备中。电子设备为移动终端设备、或者大屏设备、或者可穿戴设备。电子设备的具体设备形态等可以参照上述相关说明,此处不再赘述。
本申请实施例提供一种移动终端设备,该移动终端设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得移动终端设备执行上述方法。
本申请实施例提供一种大屏设备,该移动终端设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得大屏设备执行上述方法。
本申请实施例提供一种可穿戴设备,该移动终端设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得可穿戴设备执行上述方法。
本申请实施例提供一种芯片。芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似,此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括RAM,ROM,只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(Digital Subscriber Line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(Digital Versatile Disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行上述方法。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (29)
1.一种基于多设备协同的游戏交互方法,其特征在于,所述方法应用于移动终端设备,所述方法包括:
接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据;其中,所述传感器数据为采集佩戴可穿戴设备的用户的数据;
根据所述传感器数据,生成中间结果数据;其中,所述中间结果数据表征对传感器数据进行运算处理后得到的数据;并将所述中间结果数据,传输给大屏设备;
其中,所述中间结果数据用于基于中间结果数据和所述大屏设备中的存储数据,生成待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
2.根据权利要求1所述的方法,其特征在于,根据所述传感器数据,生成中间结果数据,包括:
获取运算分布方式;其中,所述运算分布方式表征对移动终端设备与大屏设备之间,针对传感器数据的数据运算分配方式;
根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据。
3.根据权利要求2所述的方法,其特征在于,所述获取运算分布方式,包括:
根据所述移动终端设备当前所运行的游戏应用的类型信息,确定运算分布方式。
4.根据权利要求2所述的方法,其特征在于,所述获取运算分布方式,包括:
调取所述移动终端设备的第一硬件能力信息,并调取所述大屏设备的第二硬件能力信息;
根据所述第一硬件能力信息和所述第二硬件能力信息,确定运算分布方式。
5.根据权利要求2-4中任一项所述的方法,其特征在于,根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据,包括:
根据所述运算分布方式,对所述至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据,进行运算处理,得到所述中间结果数据;
其中,所述中间结果数据表征对所述M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
6.根据权利要求2-4中任一项所述的方法,其特征在于,根据所述运算分布方式,对所述传感器数据进行运算处理,得到所述中间结果数据,包括:
根据所述运算分布方式,对所述至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据,进行运算处理,得到运算结果数据;其中,所述运算结果数据表征对所述M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果;
其中,所述中间结果数据中包括所述运算结果数据和所述M个可穿戴设备所传输的剩余传感器数据。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述传感器数据中包括第一数据和第二数据;接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据,包括:
通过无线局域网方式接收所述可穿戴设备传输的传感器数据中的第一数据;并通过蓝牙方式接收所述可穿戴设备传输的传感器数据中的第二数据;
其中,所述第一数据的数据量大于所述第二数据的数据量。
8.根据权利要求1-7中任一项所述的方法,其特征在于,在接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据之前,还包括:
响应于所述移动终端设备当前所运行的游戏应用发出的获取指令,向所述可穿戴设备发送采集指令;
其中,所述获取指令表征获取可穿戴设备采集的数据;所述采集指令表征采集佩戴可穿戴设备的用户的数据。
9.根据权利要求1-8中任一项所述的方法,其特征在于,在接收至少一个可穿戴设备中的每一可穿戴设备传输的传感器数据之前,还包括:
响应于所述移动终端设备当前所运行的游戏应用的开始指令,基于无线检测方式检测所述可穿戴设备和所述大屏设备;其中,所述开始指令表征开始启动移动终端设备当前所运行的游戏应用中的游戏内容;
与所述可穿戴设备基于无线连接方式进行连接,并与所述大屏设备基于无线连接方式进行连接。
10.根据权利要求9所述的方法,其特征在于,基于无线检测方式检测所述可穿戴设备和所述大屏设备,包括:
基于无线检测方式,检测与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第一预设距离的可穿戴设备;
基于无线检测方式,检测与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第二预设距离的大屏设备。
11.根据权利要求9或10所述的方法,其特征在于,与所述可穿戴设备基于无线连接方式进行连接,并所述大屏设备基于无线连接方式进行连接,包括:
向检测到的可穿戴设备中的K个可穿戴设备中的每一可穿戴设备,发送第一无线连接指令;其中,所述第一无线连接指令中包括可穿戴设备信息;所述可穿戴设备信息中包括所述移动终端设备需连接的可穿戴设备的个数;K为大于等于1的正整数;接收所述可穿戴设备发送的第一确认信息,其中,所述第一确认信息表征可穿戴设备允许进行无线连接,与所述可穿戴设备基于无线连接方式进行连接;
向所述大屏设备,发送第二无线连接指令;其中,所述第二无线连接指令中包括大屏设备信息;所述大屏设备信息中包括所述移动终端设备检测到的大屏设备的个数;接收所述大屏设备发送的第二确认信息,其中,所述第二确认信息表征大屏设备允许进行无线连接,与所述大屏设备基于无线连接方式进行连接。
12.一种基于多设备协同的游戏交互方法,其特征在于,所述方法应用于大屏设备,所述方法包括:
接收移动终端设备传输的中间结果数据;其中,所述中间结果数据表征对传感器数据进行运算处理后得到的数据;所述传感器数据为至少一个可穿戴设备中的每一可穿戴设备传输给移动终端设备的;所述传感器数据为采集佩戴可穿戴设备的用户的数据;
根据所述中间结果数据和所述大屏设备中的存储数据,生成并显示待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
13.根据权利要求12所述的方法,其特征在于,所述中间结果数据表征对所述至少一个可穿戴设备中的M个可穿戴设备所传输的各传感器数据进行运算处理后得到的处理结果;M为大于等于1的正整数。
14.根据权利要求12所述的方法,其特征在于,所述中间结果数据中包括运算结果数据;所述运算结果数据表征对至少一个可穿戴设备中的M个可穿戴设备所传输的部分传感器数据进行运算处理后得到的处理结果;
所述中间结果数据中还包括:所述M个可穿戴设备所传输的剩余传感器数据。
15.根据权利要求12-14中任一项所述的方法,其特征在于,所述大屏设备为与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第二预设距离的大屏设备。
16.根据权利要求12-15中任一项所述的方法,其特征在于,在接收移动终端设备传输的中间结果数据之前,还包括:
接收所述移动终端设备发送的第二无线连接指令,其中,所述第二无线连接指令中包括大屏设备信息;所述大屏设备信息中包括所述移动终端设备检测到的大屏设备的个数;
若确定所述第二无线连接指令所指示的大屏设备的个数为1,则确定与所述移动终端设备基于无线连接方式进行连接。
17.根据权利要求16所述的方法,其特征在于,所述方法,还包括:
若确定所述第二无线连接指令所指示的大屏设备的个数大于1,则显示提示信息;其中,所述提示信息表征提示用户确认是否与所述移动终端设备建立连接;
响应于用户的确认指令,与所述移动终端设备基于无线连接方式进行连接;其中,所述确认指令表征确认与所述移动终端设备建立连接。
18.根据权利要求12-17中任一项所述的方法,其特征在于,所述存储数据包括:游戏应用的预设游戏数据,和/或,游戏应用的渲染数据。
19.一种基于多设备协同的游戏交互方法,其特征在于,所述方法应用于可穿戴设备,所述方法包括:
采集佩戴所述可穿戴设备的用户的数据,得到传感器数据;
将所述传感器数据,传输给移动终端设备;其中,所述传感器数据用于进行运算处理后得到中间结果数据;所述中间结果数据用于传输给大屏设备;
其中,所述中间结果数据用于基于中间结果数据和所述大屏设备中的存储数据,生成待显示的游戏画面;其中,所述存储数据为与所述移动终端设备当前所运行的游戏应用相关的预设数据。
20.根据权利要求19所述的方法,其特征在于,所述传感器数据中包括第一数据和第二数据;将所述传感器数据,传输给移动终端设备,包括:
通过无线局域网方式将所述传感器数据中的第一数据,传输给所述移动终端设备;并通过蓝牙方式将所述传感器数据中的第二数据,传输给所述移动终端设备;
其中,所述第一数据的数据量大于所述第二数据的数据量。
21.根据权利要求19或20所述的方法,其特征在于,在采集佩戴所述可穿戴设备的用户的数据,得到传感器数据之前,还包括:
接收移动终端设备发送的采集指令;其中,所述采集指令表征采集佩戴可穿戴设备的用户的数据;所述采集指令为基于所述移动终端设备当前所运行的游戏应用发出的获取指令所发出的,所述获取指令表征获取可穿戴设备采集的数据。
22.根据权利要求19-21中任一项所述的方法,其特征在于,所述可穿戴设备为与所述移动终端设备之间具有信任关系、且与所述移动终端设备之间的距离小于第一预设距离的可穿戴设备。
23.根据权利要求19-22中任一项所述的方法,其特征在于,在采集佩戴所述可穿戴设备的用户的数据,得到传感器数据之前,还包括:
接收所述移动终端设备发送的第一无线连接指令;其中,所述第一无线连接指令中包括可穿戴设备信息;所述可穿戴设备信息中包括所述移动终端设备需连接的可穿戴设备的个数;
若确定所述第一无线连接指令所指示的可穿戴设备的个数为1,则确定与所述移动终端设备基于无线连接方式进行连接。
24.根据权利要求23所述的方法,其特征在于,所述方法,还包括:
若确定所述第一无线连接指令所指示的可穿戴设备的个数大于1,则显示提醒信息;其中,所述提醒信息表征提示用户确认是否与所述移动终端设备建立连接;
响应于用户的确定指令,与所述移动终端设备基于无线连接方式进行连接;其中,所述确定指令表征确认与所述移动终端设备建立连接。
25.一种移动终端设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述移动终端设备执行如权利要求1-11中任一项所述的方法。
26.一种大屏设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述大屏设备执行如权利要求12-18中任一项所述的方法。
27.一种可穿戴设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述可穿戴设备执行如权利要求19-24中任一项所述的方法。
28.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-24任一项所述的方法。
29.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被运行时,使得计算机执行如权利要求1-24任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310085821.9A CN117149321B (zh) | 2023-01-18 | 基于多设备协同的游戏交互方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310085821.9A CN117149321B (zh) | 2023-01-18 | 基于多设备协同的游戏交互方法、装置以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117149321A true CN117149321A (zh) | 2023-12-01 |
CN117149321B CN117149321B (zh) | 2024-07-16 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105813702A (zh) * | 2013-12-10 | 2016-07-27 | 徐仁儿 | 与用户动作联动的节奏游戏装置 |
US20170136347A1 (en) * | 2014-11-14 | 2017-05-18 | United Services Automobile Association | System, method and apparatus for collecting and utilizing big data for online gameplay |
US20170192496A1 (en) * | 2015-11-25 | 2017-07-06 | Jakob Balslev | Methods and systems of a motion-capture body suit with wearable body-position sensors |
US20170192494A1 (en) * | 2016-01-05 | 2017-07-06 | Shobhit NIRANJAN | Wearable interactive gaming device |
CN113395382A (zh) * | 2020-02-27 | 2021-09-14 | 华为技术有限公司 | 一种设备间数据交互的方法及相关设备 |
CN113398578A (zh) * | 2021-06-03 | 2021-09-17 | Oppo广东移动通信有限公司 | 游戏数据处理方法、系统、装置、电子设备和存储介质 |
US20220134218A1 (en) * | 2020-11-02 | 2022-05-05 | Take-Two Interactive Software, Inc. | System and method for virtual character animation using motion capture |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105813702A (zh) * | 2013-12-10 | 2016-07-27 | 徐仁儿 | 与用户动作联动的节奏游戏装置 |
US20170136347A1 (en) * | 2014-11-14 | 2017-05-18 | United Services Automobile Association | System, method and apparatus for collecting and utilizing big data for online gameplay |
US20170192496A1 (en) * | 2015-11-25 | 2017-07-06 | Jakob Balslev | Methods and systems of a motion-capture body suit with wearable body-position sensors |
US20170192494A1 (en) * | 2016-01-05 | 2017-07-06 | Shobhit NIRANJAN | Wearable interactive gaming device |
CN113395382A (zh) * | 2020-02-27 | 2021-09-14 | 华为技术有限公司 | 一种设备间数据交互的方法及相关设备 |
US20220134218A1 (en) * | 2020-11-02 | 2022-05-05 | Take-Two Interactive Software, Inc. | System and method for virtual character animation using motion capture |
CN113398578A (zh) * | 2021-06-03 | 2021-09-17 | Oppo广东移动通信有限公司 | 游戏数据处理方法、系统、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
WJQ821230: "集中式计算、分布式计算、协作式计算的区别", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/wjq821230/article/details/494177> * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111316333B (zh) | 一种信息提示方法及电子设备 | |
CN110493626B (zh) | 视频数据处理方法及装置 | |
CN116360725B (zh) | 显示交互系统、显示方法及设备 | |
CN112420217B (zh) | 消息推送方法、装置、设备及存储介质 | |
CN115499897B (zh) | WiFi网络接入方法及相关装置 | |
CN117149321B (zh) | 基于多设备协同的游戏交互方法、装置以及存储介质 | |
CN115016705B (zh) | 快递提示方法和电子设备 | |
EP4332756A1 (en) | Application deployment method, distributed operation system, electronic device, and storage medium | |
CN117149321A (zh) | 基于多设备协同的游戏交互方法、装置以及存储介质 | |
US20230259346A1 (en) | Application Module Startup Method and Electronic Device | |
CN115686700A (zh) | 渲染方法及电子设备 | |
CN116708647B (zh) | 通知消息回复方法及电子设备 | |
CN116382896B (zh) | 图像处理算法的调用方法、终端设备、介质及产品 | |
CN115016666B (zh) | 触控处理方法、终端设备以及存储介质 | |
CN116661584B (zh) | 一种资源调度方法及相关设备 | |
EP4109880A1 (en) | Image display method and electronic device | |
CN115348262B (zh) | 基于跨链协议的跨链操作执行方法及网络系统 | |
CN116688494B (zh) | 生成游戏预测帧的方法和电子设备 | |
CN116095230B (zh) | 应用程序推荐方法和终端设备、可读存储介质 | |
CN117880412A (zh) | 横幅通知消息的显示方法与电子设备 | |
WO2023109636A1 (zh) | 应用卡片显示方法、装置、终端设备及可读存储介质 | |
CN117950677A (zh) | 一种软件分发方法、电子设备及系统 | |
CN115550844A (zh) | 区域划分方法、装置、电子设备和可读存储介质 | |
CN117241234A (zh) | 一种卫星短报文通信计费校准方法和设备 | |
CN118075393A (zh) | 一种显示方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |