CN114356097A - 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 - Google Patents
虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN114356097A CN114356097A CN202210022917.6A CN202210022917A CN114356097A CN 114356097 A CN114356097 A CN 114356097A CN 202210022917 A CN202210022917 A CN 202210022917A CN 114356097 A CN114356097 A CN 114356097A
- Authority
- CN
- China
- Prior art keywords
- vibration
- scene
- virtual
- virtual object
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 title claims description 71
- 230000003993 interaction Effects 0.000 claims abstract description 39
- 238000003672 processing method Methods 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 description 35
- 238000005516 engineering process Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007654 immersion Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种虚拟场景的振动反馈处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品;方法包括:显示虚拟场景;接收手柄设备发送的控制信号,将携带控制信号的控制消息发送至云游戏服务器,其中,控制消息携带的控制信号用于触发云游戏服务器渲染虚拟场景数据;接收云游戏服务器发送的振动场景的场景信息,其中,振动场景是云游戏服务器根据执行的操作确定的需要进行振动反馈的场景;将振动场景的场景信息转换为振动指令,向手柄设备发送携带振动指令的振动信号,其中,振动指令用于控制手柄设备执行对应的振动操作。通过本申请,能够实现多样化的振动反馈,实现高效的人机交互。
Description
技术领域
本申请涉及计算机人机交互技术,尤其涉及一种虚拟场景的振动反馈处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
基于图形处理硬件的显示技术,扩展了感知环境以及获取信息的渠道,尤其是虚拟场景的显示技术,能够根据实际应用需求实现受控于用户或人工智能的虚拟对象之间的多样化的交互,具有各种典型的应用场景,例如在游戏等的虚拟场景中,能够模拟虚拟对象之间的真实的对战过程。
随着信息技术的普及,电子设备可以实现更加丰富的和形象的虚拟场景,典型地,例如游戏。越来越多的用户通过手柄设备参与到虚拟场景的交互中,例如,通过手柄设备中的按键控制虚拟角色进行移动或释放技能等。
相关技术中,在按压手柄设备的按键时,手柄设备会反馈给用户振动,以提醒用户按压成功,这种振动方式比较单一、局限,降低了人机交互的交互效果,进而影响使用体验。
发明内容
本申请实施例提供一种虚拟场景的振动反馈处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够实现多样化的振动反馈,实现高效的人机交互。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种虚拟场景的振动反馈处理方法,包括:
显示虚拟场景;
接收手柄设备发送的控制信号,将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;
接收所述云游戏服务器发送的振动场景的场景信息,其中,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理方法,包括:
响应于针对手柄设备中按键的触发操作,发送所述触发操作对应的控制信号至终端设备,以使所述终端设备将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
接收所述终端设备发送的携带振动指令的振动信号,其中,所述振动指令是通过所述终端设备根据接收的所述云游戏服务器发送的振动场景的场景信息转换得到的,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
基于所述振动指令控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理方法,包括:
接收终端设备发送的携带控制信号的控制消息,所述控制信号是手柄设备向所述终端设备发送的;
基于所述控制消息携带的所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,将所述振动场景的场景信息发送至所述终端设备;
其中,所述场景信息用于触发所述终端设备执行以下操作:将所述振动场景的场景信息转换为振动指令,并向所述手柄设备发送携带所述振动指令的振动信号,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理方法,包括:
接收手柄设备发送的控制信号;
基于所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,向终端发送执行所述操作所对应的场景,并
将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理装置,包括:
显示模块,用于显示虚拟场景;
第一发送模块,用于接收手柄设备发送的控制信号,将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第一接收模块,用于接收所述云游戏服务器发送的振动场景的场景信息,其中,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
转换模块,用于将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
上述技术方案中,所述振动指令包括以下至少之一:X轴方向的振动指令、Y轴方向的振动指令、Z轴方向的振动指令、旋转方向的振动指令;所述振动指令通过所述手柄设备中包括的以下至少之一振动马达实现:X轴方向的线性马达、Y轴方向的线性马达、Z轴方向的线性马达、旋转方向的转子马达。
上述技术方案中,所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:
基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;
基于执行的所述操作,确定所述虚拟对象所处的场景;
当所述虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定所述虚拟对象所处的场景为所述振动场景。
上述技术方案中,所述转换模块还用于基于所述振动场景的场景信息,查询不同振动场景的场景信息与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;
其中,所述对应关系包括以下至少之一:所述不同振动场景的场景信息与X轴方向的振动指令的第一关联关系、所述不同振动场景的场景信息与Y轴方向的振动指令的第二关联关系、所述不同振动场景的场景信息与Z轴方向的振动指令的第三关联关系、所述不同振动场景的场景信息与旋转方向的振动指令的第四关联关系。
上述技术方案中,所述第一关联关系中的振动场景包括以下至少之一:所述虚拟对象被虚拟载具侧向撞击的场景、所述虚拟对象被敌方侧向攻击的场景;
所述第二关联关系中的振动场景包括以下至少之一:所述虚拟对象握持虚拟道具进行射击的场景、所述虚拟对象被敌方击退的场景、所述虚拟对象正面撞击虚拟物体的场景;
所述第三关联关系中的振动场景包括以下至少之一:所述虚拟对象跌落至虚拟表面的场景、所述虚拟对象跳跃时触及顶面的场景;
所述第四关联关系中的振动场景包括以下至少之一:所述虚拟对象处于飞行状态时遇到气流的场景、所述虚拟对象遇到旋涡的场景。
上述技术方案中,所述转换模块还用于基于所述振动场景的场景信息调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;
其中,所述振动预测模型是通过历史场景的场景信息以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
上述技术方案中,所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:
基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;
基于执行的所述操作,确定所述虚拟对象所处的场景;
基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度;
当所述重要程度大于重要程度阈值时,确定所述虚拟对象所处的场景为振动场景。
上述技术方案中,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:
基于所述虚拟对象所处的场景以及需要进行振动反馈的振动因素,确定所述场景的动态变化信息;
对所述场景的动态变化信息进行映射处理,得到所述场景需要进行振动反馈的重要程度;
其中,所述振动因素包括以下至少之一:所述虚拟场景的进度、所述虚拟对象的生命值、与所述虚拟对象交互的敌方的数量、所述虚拟对象的能力。
上述技术方案中,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:
基于所述虚拟对象所处的场景调用重要程度预测模型进行重要程度预测处理,得到所述场景需要进行振动反馈的重要程度;
其中,所述重要程度预测模型是通过历史场景的场景数据以及所述历史场景的重要程度的标注训练得到的。
上述技术方案中,所述场景信息包括所述场景需要进行振动反馈的重要程度;所述转换模块还用于基于所述场景信息包括的需要进行振动反馈的重要程度,查询不同重要程度与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;
其中,所述候选振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
上述技术方案中,所述场景信息包括所述场景需要进行振动反馈的重要程度;所述转换模块还用于基于所述场景信息包括的需要进行振动反馈的重要程度调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;
其中,所述振动预测模型是通过历史场景需要进行振动反馈的重要程度以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
上述技术方案中,所述第一接收模块还用于接收所述云游戏服务器发送的所述虚拟对象将要执行的操作;
将所述虚拟对象将要执行的操作转换为提醒指令,向所述手柄设备发送携带所述提醒指令的提醒信号,其中,所述提醒指令用于控制所述手柄设备执行对应的提醒操作,所述提醒指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
上述技术方案中,所述虚拟对象将要执行的操作是所述云游戏服务器根据所述虚拟场景的场景信息调用动作预测模型进行动作预测处理得到的,所述动作预测模型是通过历史场景的场景信息以及所述历史场景中虚拟对象将要执行的操作的标注训练得到的。
上述技术方案中,所述第一接收模块还用于将所述虚拟对象将要执行的操作对应的方向作为所述振动方向;
将以下之一作为所述振动次数:所述虚拟对象将要执行的操作对应的敌方数量、所述虚拟对象将要执行的操作对应的障碍物数量;
将以下之一作为所述振动强度或所述振动频次:所述虚拟对象将要执行的操作对应的环境的危险程度、所述虚拟对象将要执行的操作对应的破坏程度。
本申请实施例提供一种虚拟场景的振动反馈处理装置,包括:
第二发送模块,用于响应于针对手柄设备中按键的触发操作,发送所述触发操作对应的控制信号至终端设备,以使所述终端设备将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第二接收模块,用于接收所述终端设备发送的携带振动指令的振动信号,其中,所述振动指令是通过所述终端设备根据接收的所述云游戏服务器发送的振动场景的场景信息转换得到的,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
振动模块,用于基于所述振动指令控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理装置,包括:
第三接收模块,用于接收终端设备发送的携带控制信号的控制消息,所述控制信号是手柄设备向所述终端设备发送的;
控制模块,用于基于所述控制消息携带的所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第三发送模块,用于当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,将所述振动场景的场景信息发送至所述终端设备;
其中,所述场景信息用于触发所述终端设备执行以下操作:将所述振动场景的场景信息转换为振动指令,并向所述手柄设备发送携带所述振动指令的振动信号,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种虚拟场景的振动反馈处理装置,包括:
第四接收模块,用于接收手柄设备发送的控制信号;
第四发送模块,用于基于所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,向终端发送执行所述操作所对应的场景,并将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供一种用于场景反馈的电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的虚拟场景的振动反馈处理方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的虚拟场景的振动反馈处理方法。
本申请实施例提供一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现本申请实施例提供的虚拟场景的振动反馈处理方法。
本申请实施例具有以下有益效果:
通过振动操作体现出虚拟场景中需要进行振动反馈的场景,实现多样化的振动反馈,并提高人机交互的沉浸感,实现高效的人机交互,相较于通过振动提醒按压成功这一方案,节约了相关的通信资源和计算资源。
附图说明
图1是相关技术提供的振动反馈示意图;
图2A-图2B是本申请实施例提供的虚拟场景的振动反馈处理方法的应用模式示意图;
图3是本申请实施例提供的用于场景反馈处理的电子设备的结构示意图;
图4-图7是本申请实施例提供的虚拟场景的振动反馈处理方法的流程示意图;
图8是本申请实施例提供的游戏中冲击对应的振动场景示意图;
图9是本申请实施例提供的线性马达的振动方向示意图;
图10是本申请实施例提供的硬件部署示意图;
图11是本申请实施例提供的游戏中振动反馈的流程图;
图12是本申请实施例提供的游戏中振动反馈的流程图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)响应于:用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
2)客户端:终端设备中运行的用于提供各种服务的应用程序,例如视频播放客户端、游戏客户端等。
3)虚拟场景:应用程序在终端设备上运行时显示(或提供)的虚拟场景。该虚拟场景可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟环境,还可以是纯虚构的虚拟环境。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本申请实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。
4)虚拟对象:虚拟场景中可以进行交互的各种人和物的形象,或在虚拟场景中的可活动对象。该可活动对象可以是虚拟人物、虚拟动物、动漫人物等,比如:在虚拟场景中显示的人物、动物、植物、油桶、墙壁、石块等。该虚拟对象可以是该虚拟场景中的一个虚拟的用于代表用户的虚拟角色。虚拟场景中可以包括多个虚拟对象,每个虚拟对象在虚拟场景中具有自身的形状和体积,占据虚拟场景中的一部分空间。
可选地,该虚拟对象可以是通过客户端上的操作进行控制的用户角色,也可以是通过训练设置在虚拟场景对战中的人工智能(AI,Artificial Intelligence),还可以是设置在虚拟场景互动中的非用户角色(NPC,Non-Player Character)。可选地,该虚拟对象可以是在虚拟场景中进行对抗式交互的虚拟人物。可选地,该虚拟场景中参与互动的虚拟对象的数量可以是预先设置的,也可以是根据加入互动的客户端的数量动态确定的。以射击类游戏为例,用户可以控制虚拟对象在该虚拟场景的天空中自由下落、滑翔或者打开降落伞进行下落等,在陆地上中跑动、跳动、爬行、弯腰前行等,也可以控制虚拟对象在海洋中游泳、漂浮或者下潜等,当然,用户也可以控制虚拟对象乘坐虚拟载具在该虚拟场景中进行移动,例如,该虚拟载具可以是虚拟汽车、虚拟飞行器、虚拟游艇等,在此仅以上述场景进行举例说明,本发明实施例对此不作具体限定。用户也可以控制虚拟对象通过虚拟道具与其他虚拟对象进行对抗式的交互,例如,该虚拟道具可以是手雷、集束雷、粘性手雷等投掷类虚拟道具,也可以是机枪、手枪、步枪等射击类虚拟道具(即虚拟射击道具),也可以是治疗、攻击、等技能类虚拟道具。
5)场景数据:表示虚拟场景中的对象在交互过程中受所表现的各种特征,例如,可以包括对象在虚拟场景中的位置。当然,根据虚拟场景的类型可以包括不同类型的特征;例如,在游戏的虚拟场景中,场景数据可以包括虚拟场景中配置的各种功能时需要等待的时间(取决于在特定时间内能够使用同一功能的次数),还可以表示游戏角色的各种状态的属性值,例如包括生命值(也称为红量)和魔法值(也称为蓝量)等。
6)线性马达:一种将电能直接转换成直线运动机械能,而不需要任何中间转换机构的传动装置,可以理解为瞬间施加电压使电磁场中的滑块移动,像打桩机一样产生冲击力。
7)转子马达:使用电能使得电机中的转子转动,转子在设计上是不对称的偏心结构,偏心结构因为转动引起了晃动,以此产生振感。
相关技术中,如图1所示,在按压手柄设备的按键时,手柄设备会反馈给用户振动,以提醒用户按压成功,即由用户设置振动方式,当用户触发振动,则手柄设备进行相应的振动,这种振动方式比较单一、局限,降低了人机交互的交互效果,进而影响使用体验。如图1所示,在手柄设备中使用线性马达替代旋转马达实现振动反馈,利用线性马达振动有方向感的特点,解决了手柄设备振感单一的特点,用一对线性马达来组合出更多的振动方式。
为了解决上述问题,本申请实施例提供一种虚拟场景的振动反馈处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够实现多样化的振动反馈,实现高效的人机交互。下面说明本申请实施例提供的电子设备的示例性应用,本申请实施例提供的电子设备可以实施为具有按键的游戏手柄、鼠标、触控板、笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端设备。
为便于更容易理解本申请实施例提供的虚拟场景的振动反馈处理方法,首先说明本申请实施例提供的虚拟场景的振动反馈处理方法的示例性实施场景,本申请实施例提供的虚拟场景的振动反馈处理方法中的虚拟场景可以完全基于终端设备输出,或者基于终端设备和云游戏服务器协同输出。
在一些实施例中,虚拟场景可以是供游戏角色交互的环境,例如可以是供游戏角色在虚拟场景中进行对战,通过控制游戏角色的行动可以在虚拟场景中进行双方互动,从而使用户能够在游戏的过程中舒缓生活压力。
在一个实施场景中,参见图2A,图2A是本申请实施例提供的虚拟场景的振动反馈处理方法的应用模式示意图,适用于一些完全依赖于终端设备400的图形处理硬件计算能力即可完成虚拟场景100的相关数据计算的应用模式,例如单机版/离线模式的游戏,通过智能手机、平板电脑和虚拟现实/增强现实设备等各种不同类型的终端设备400完成虚拟场景的输出。
作为示例,图形处理硬件的类型包括中央处理器(CPU,Central ProcessingUnit)和图形处理器(GPU,Graphics Processing Unit)。
当形成虚拟场景100的视觉感知时,终端设备400通过图形计算硬件计算显示所需要的数据,并完成显示数据的加载、解析和渲染,在图形输出硬件输出能够对虚拟场景形成视觉感知的视频帧,例如,在智能手机的显示屏幕呈现二维的视频帧,或者,在增强现实/虚拟现实眼镜的镜片上投射实现三维显示效果的视频帧;此外,为了丰富感知效果,终端设备400还可以借助不同的硬件来形成听觉感知、触觉感知、运动感知和味觉感知的一种或多种。
作为示例,终端设备400运行客户端410(例如单机版的游戏应用),在客户端410的运行过程中输出包括有角色扮演的虚拟场景100,虚拟场景是供虚拟角色交互的环境,例如可以是用于供虚拟角色进行对战的平原、街道、山谷等等;以第一人称视角显示虚拟场景100为例,在虚拟场景100中显示有虚拟对象101、虚拟对象101配备的虚拟道具102,虚拟对象101可以是受用户(或称玩家)控制的人物形象,即虚拟对象101受控于真实用户,将响应于真实用户针对手柄设备500(物理手柄设备,或虚拟手柄设备)中的按键操作而在虚拟场景中操作,例如当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号,客户端410接收到该控制信号后,将释放虚拟对象101配备的虚拟道具102;当真实用户向左推动按键510,手柄500输出用于控制虚拟角色110向左移动的控制信号,客户端410接收到该控制信号后,则控制虚拟对象101向左移动;虚拟道具102受控于虚拟对象101,将响应于虚拟对象101的操作而在虚拟场景中操作,从而通过控制虚拟道具实现游戏对战;虚拟对象101还可以是在虚拟场景互动中的非用户角色(NPC,Non-Player Character)等。
举例来说,虚拟场景100中的虚拟对象101配备有虚拟道具102,当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号,客户端410接收到该控制信号后,将释放虚拟对象101配备的虚拟道具102,并确定触发需要进行振动反馈的振动场景,将振动场景的场景信息转换为振动指令,向手柄设备500发送携带振动指令的振动信号,手柄设备500接收到振动信号后,基于振动信号执行对应的振动操作,例如Y轴方向的振动,通过振动操作体现出虚拟场景中需要进行振动反馈的场景,实现多样化的振动反馈,并提高人机交互的沉浸感。
在另一个实施场景中,参见图2B,图2B是本申请实施例提供的虚拟场景的振动反馈处理方法的应用模式示意图,应用于终端设备400和云游戏服务器200,适用于依赖于云游戏服务器200的计算能力完成虚拟场景计算、并在终端设备400输出虚拟场景的应用模式。
以形成虚拟场景100的视觉感知为例,云游戏服务器200进行虚拟场景相关显示数据(例如场景数据)的计算并通过网络300发送到终端设备400,终端设备400依赖于图形计算硬件完成计算显示数据的加载、解析和渲染,依赖于图形输出硬件输出虚拟场景以形成视觉感知,例如可以在智能手机的显示屏幕呈现二维的视频帧,或者,在增强现实/虚拟现实眼镜的镜片上投射实现三维显示效果的视频帧;对于虚拟场景的形式的感知而言,可以理解,可以借助于终端设备400的相应硬件输出,例如使用麦克风形成听觉感知,使用振动器形成触觉感知等等。
作为示例,终端设备400上运行有客户端410(例如网络版的游戏应用),通过连接云游戏服务器200与其他用户进行游戏互动,终端设备400输出客户端410的虚拟场景100,以第一人称视角显示虚拟场景100为例,在虚拟场景100中显示有虚拟对象101、虚拟对象101配备的虚拟道具102,虚拟对象101可以是受用户(或称玩家)控制的人物形象,即虚拟对象101受控于真实用户,将响应于真实用户针对手柄设备500(物理手柄设备,或虚拟手柄设备)中的按键操作而在虚拟场景中操作,例如当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号,客户端410接收到该控制信号后,将携带控制信号的控制消息发送至云游戏服务器200,云游戏服务器200基于控制信号将释放虚拟对象101配备的虚拟道具102,并将释放虚拟道具的场景发送至终端设备400,以在终端设备400上显示;当真实用户向左推动按键510,手柄500输出用于控制虚拟角色110向左移动的控制信号,客户端410接收到该控制信号后,将携带控制信号的控制消息发送至云游戏服务器200,云游戏服务器200基于控制信号控制虚拟对象101向左移动,并将虚拟对象101向左移动的场景发送至终端设备400,以在终端设备400上显示;虚拟道具102受控于虚拟对象101,将响应于虚拟对象101的操作而在虚拟场景中操作,从而通过控制虚拟道具实现游戏对战;虚拟对象101还可以是在虚拟场景互动中的非用户角色(NPC,Non-Player Character)等。
举例来说,虚拟场景100中的虚拟对象101配备有虚拟道具102,当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号至终端设备400,客户端410接收到该控制信号后,将携带控制信号的控制消息发送至云游戏服务器200,云游戏服务器200基于控制信号将释放虚拟对象101配备的虚拟道具102,并将释放虚拟道具的场景发送至终端设备400,以在终端设备400上显示,云游戏服务器200确定触发需要进行振动反馈的振动场景,将振动场景的场景信息发送至终端设备400,终端设备400将振动场景的场景信息转换为振动指令,向手柄设备500发送携带振动指令的振动信号,手柄设备500接收到振动信号后,基于振动信号执行对应的振动操作,例如Y轴方向的振动,通过振动操作体现出虚拟场景中需要进行振动反馈的场景,实现多样化的振动反馈,并提高人机交互的沉浸感。
作为示例,终端设备400上运行有客户端410(例如网络版的游戏应用),通过连接云游戏服务器200与其他用户进行游戏互动,终端设备400输出客户端410的虚拟场景100,以第一人称视角显示虚拟场景100为例,在虚拟场景100中显示有虚拟对象101、虚拟对象101配备的虚拟道具102,虚拟对象101可以是受用户(或称玩家)控制的人物形象,即虚拟对象101受控于真实用户,将响应于真实用户针对手柄设备500(物理手柄设备,或虚拟手柄设备)中的按键操作而在虚拟场景中操作,例如当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号,云游戏服务器200接收到该控制信号后,将释放虚拟对象101配备的虚拟道具102,并将释放虚拟道具的场景发送至终端设备400,以在终端设备400上显示;当真实用户向左推动按键510,手柄500输出用于控制虚拟角色110向左移动的控制信号,云游戏服务器200接收到该控制信号后,则控制虚拟对象101向左移动,并将虚拟对象101向左移动的场景发送至终端设备400,以在终端设备400上显示;虚拟道具102受控于虚拟对象101,将响应于虚拟对象101的操作而在虚拟场景中操作,从而通过控制虚拟道具实现游戏对战;虚拟对象101还可以是在虚拟场景互动中的非用户角色(NPC,Non-Player Character)等。
举例来说,虚拟场景100中的虚拟对象101配备有虚拟道具102,当真实用户按压手柄设备500中的按键510时,手柄500输出用于控制虚拟对象101释放虚拟道具102的控制信号至云游戏服务器200,云游戏服务器200接收到该控制信号后,将释放虚拟对象101配备的虚拟道具102,并将释放虚拟道具的场景发送至终端设备400,以在终端设备400上显示,云游戏服务器200确定触发需要进行振动反馈的振动场景,将振动场景的场景信息转换为振动指令,向手柄设备500发送携带振动指令的振动信号,手柄设备500接收到振动信号后,基于振动信号执行对应的振动操作,例如Y轴方向的振动,通过振动操作体现出虚拟场景中需要进行振动反馈的场景,实现多样化的振动反馈,并提高人机交互的沉浸感。
在一些实施例中,终端设备400可以通过运行计算机程序来实现本申请实施例提供的虚拟场景的振动反馈处理方法,例如,计算机程序可以是操作系统中的原生程序或软件模块;可以是本地(Native)应用程序(APP,APPlication),即需要在操作系统中安装才能运行的程序,例如对战类游戏APP(即上述的客户端410);也可以是小程序,即只需要下载到浏览器环境中就可以运行的程序;还可以是能够嵌入至任意APP中的游戏小程序。总而言之,上述计算机程序可以是任意形式的应用程序、模块或插件。
以计算机程序为应用程序为例,在实际实施时,终端设备400安装和运行有支持虚拟场景的应用程序。该应用程序可以是第一人称射击游戏(FPS,First-Person Shootinggame)、第三人称射击游戏、虚拟现实应用程序、三维地图程序或者多人枪战类生存游戏中的任意一种。用户使用终端设备400操作位于虚拟场景中的虚拟对象进行活动,该活动包括但不限于:调整身体姿态、爬行、步行、奔跑、骑行、跳跃、驾驶、拾取、射击、攻击、投掷、建造虚拟建筑中的至少一种。示意性的,该虚拟对象可以是虚拟人物,比如仿真人物角色或动漫人物角色等。
在一些实施例中,本申请实施例还可以借助于云技术(Cloud Technology)实现,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。
示例的,图2B中的云游戏服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端设备400以及云游戏服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
参见图3,图3是本申请实施例提供的用于场景反馈处理的电子设备的结构示意图,以电子设备为终端设备400、云游戏服务器200、手柄设备500为例进行说明,图3所示的电子设备400包括:至少一个处理器420、存储器460、至少一个网络接口430。终端设备400中的各个组件通过总线系统450耦合在一起。可理解,总线系统450用于实现这些组件之间的连接通信。总线系统450除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统450。
处理器420可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
存储器460可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器460可选地包括在物理位置上远离处理器420的一个或多个存储设备。
存储器460包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器460旨在包括任意适合类型的存储器。
在一些实施例中,存储器460能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统461,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块462,用于经由一个或多个(有线或无线)网络接口430到达其他计算设备,示例性的网络接口430包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块463,用于经由一个或多个与用户接口440相关联的输出装置441(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块464,用于对一个或多个来自一个或多个输入装置442之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的虚拟场景的振动反馈处理装置可以采用软件方式实现,图3示出了存储在存储器460中的虚拟场景的振动反馈处理装置465,其可以是程序和插件等形式的软件,当虚拟场景的振动反馈处理装置465对应终端设备时,虚拟场景的振动反馈处理装置465包括以下软件模块:显示模块4651、第一发送模块4652、第一接收模块4653、转换模块4654;当虚拟场景的振动反馈处理装置465对应手柄设备时,虚拟场景的振动反馈处理装置465包括以下软件模块:第二发送模块4655、第二接收模块4656、振动模块4657;当虚拟场景的振动反馈处理装置465对应云游戏服务器时,虚拟场景的振动反馈处理装置465包括以下软件模块:第三接收模块4658、控制模块4659、第三发送模块4660;当虚拟场景的振动反馈处理装置465对应云游戏服务器时,虚拟场景的振动反馈处理装置465包括以下软件模块:第四接收模块4661、第四发送模块4662。需要说明的是,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。需要指出的是,在图3中为了方便表达,一次性示出了上述所有模块,但是不应视为在虚拟场景的振动反馈处理装置465排除了可以只包括上述模块的实施,将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的虚拟场景的振动反馈处理装置可以采用硬件方式实现,作为示例,本申请实施例提供的虚拟场景的振动反馈处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的虚拟场景的振动反馈处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable LogicDevice)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
下面将结合附图对本申请实施例提供的虚拟场景的振动反馈处理方法进行具体说明。本申请实施例提供的虚拟场景的振动反馈处理方法可以由图2A中的手柄设备500和终端设备400协同执行,也可以由图2B中的手柄设备500、终端设备400和云游戏服务器200协同执行。
下面,以由图2B中的手柄设备500、终端设备400和云游戏服务器200本申请实施例提供的虚拟场景的振动反馈处理方法为例进行说明。参见图4,图4是本申请实施例提供的虚拟场景的振动反馈处理方法的流程示意图,将结合图4示出的步骤进行说明。
需要说明的是,图4示出的方法可以由终端设备400上运行的各种形式的计算机程序执行,并不局限于上述的客户端410,还可以是上文的操作系统461、软件模块和脚本,因此客户端不应视为对本申请实施例的限定。
在步骤101中,终端设备显示虚拟场景。
例如,虚拟场景中包括多个虚拟对象。虚拟对象之间的多样化的交互,具有各种典型的应用场景,例如在对抗游戏等的虚拟场景中。以对抗游戏作为示例,虚拟对象之间可以通过技能、道具等实现对抗。本申请实施例中的虚拟对象可以是由用户(或称玩家)控制的游戏角色,其中,一个用户对应至少一个虚拟对象。
在步骤102中,手柄设备响应于针对手柄设备中按键的触发操作,发送触发操作对应的控制信号至终端设备。
需要说明的是,手柄设备可以是物理手柄,也可以是内嵌于终端设备的虚拟设备。玩家基于终端设备显示的虚拟场景操作手柄设备中的按键,以实现控制虚拟场景中的虚拟对象执行对应的操作,例如当虚拟对象握持射击道具时,按压手柄设备中控制射击道具的扳机的按钮,则手柄设备响应于针对手柄设备中扳机按键的触发操作,生成触发操作对应的控制信号(对应扳机按键被按下的模拟信号),并将控制信号发送至终端设备;当虚拟对象乘坐虚拟载具时,按压手柄设备中控制虚拟载具的向前移动的按钮,则手柄设备响应于针对手柄设备中移动按键的触发操作,生成触发操作对应的控制信号(对应移动按键被按下的模拟信号),并将控制信号发送至终端设备。
在步骤103中,终端设备接收手柄设备发送的控制信号,将携带控制信号的控制消息发送至云游戏服务器。
其中,控制消息携带的控制信号用于触发云游戏服务器控制虚拟场景中的虚拟对象执行对应的操作。需要说明的是,控制信号为一种模拟信号,需要经过模数转换将其转化为携带控制信号的控制消息(即一种数字信号)。当然,终端设备也可以中转控制信号至云游戏服务器,通过云游戏服务器将控制信号转化为携带控制信号的控制信息。
在步骤104中,云游戏服务器基于控制消息携带的控制信号,渲染虚拟场景数据,虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行控制信号对应的操作,当确定执行操作所对应的场景为需要进行振动反馈的振动场景时,将振动场景的场景信息发送至终端设备。
其中,场景信息用于触发终端设备执行以下操作:将振动场景的场景信息转换为振动指令,并向手柄设备发送携带振动指令的振动信号,振动指令用于控制手柄设备执行对应的振动操作。其中,振动场景是云游戏服务器根据执行的操作确定的需要进行振动反馈的场景,即云游戏服务器根据场景、操作、振动反馈之间的三元映射关系,确定是否触发振动场景。
例如,云游戏服务器接收到控制消息后,通过控制消息携带的控制信号,渲染虚拟场景数据,并将虚拟场景数据发送至终端设备,终端设备根据虚拟场景数据更新当前显示的虚拟场景,以在更新后的虚拟场景中显示虚拟对象执行对应控制信号对应的操作,当确定执行操作所对应的场景为需要进行振动反馈的振动场景时,将振动场景的场景信息发送至终端设备,例如控制信号为扳机按键被按下的信号,云游戏服务器接收到扳机按键被按下的信号后,控制虚拟场景中的虚拟对象扣动射击道具的扳机,以实现通过射击道具进行射击的射击场景,当确定执行操作所对应的射击场景为需要进行振动反馈的振动场景(即需要反馈射击道具射击后坐力)时,将振动场景的场景信息(射击场景的场景信息)发送至终端设备;控制信号为移动按键被按下的信号,云游戏服务器接收到移动按键被按下的信号后,控制虚拟场景中乘坐虚拟载具的虚拟对象进行移动,以实现虚拟对象乘坐虚拟载具移动的乘坐场景,当确定执行操作所对应的乘坐场景为需要进行振动反馈的振动场景(即需要反馈乘坐虚拟载具时的颠簸)时,将振动场景的场景信息(乘坐场景的场景信息)发送至终端设备。
参见图5,图5是本申请实施例提供的虚拟场景的振动反馈处理方法的一个可选的流程示意图,图5示出图4中的步骤104可以通过步骤1041-步骤1043实现:在步骤1041中,基于虚拟场景的交互逻辑控制虚拟场景中的虚拟对象执行对应的操作;在步骤1042中,基于执行的操作,确定虚拟对象所处的场景;在步骤1043中,当虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定虚拟对象所处的场景为振动场景,并将振动场景的场景信息发送至终端设备。
例如,携带控制信号的控制消息用于触发云游戏服务器执行以下处理:基于虚拟场景的交互逻辑(例如游戏逻辑)控制虚拟场景中的虚拟对象执行控制消息对应的操作,基于执行的操作,确定虚拟对象所处的场景,当虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定虚拟对象所处的场景为振动场景,例如,控制信号为扳机按键被按下的信号,云游戏服务器接收到扳机按键被按下的信号后,基于游戏逻辑控制虚拟场景中的虚拟对象扣动射击道具的扳机,以实现通过射击道具进行射击的射击场景,当确定执行操作所对应的射击场景为设定的需要进行振动反馈的场景时,确定射击场景为振动场景,将射击场景的场景信息发送至终端设备。如图8所示,设定的需要进行振动反馈的场景包括枪械射击、被敌方击退、撞击墙面、被敌方侧向攻击、跌落地面等。
在一些实施例中,携带控制信号的控制消息用于触发云游戏服务器执行以下处理:基于虚拟场景的交互逻辑控制虚拟场景中的虚拟对象执行对应的操作;基于执行的操作,确定虚拟对象所处的场景;基于虚拟对象所处的场景,确定场景需要进行振动反馈的重要程度;当重要程度大于重要程度阈值时,确定虚拟对象所处的场景为振动场景。
例如,无需在云游戏服务器中设定需要进行振动反馈的场景,可以根据虚拟场景的动态变化,确定虚拟对象所处场景的重要程度,从而基于重要程度,动态确定是否需要振动,而不是通过设定的场景确定是否需要振动,从而实现动态反馈振动,不局限于设定的场景,例如虚拟对象生命值急剧下降、虚拟对象战况不佳、游戏进度接近尾声等重要场景,都需要通过振动的方式进行提醒。
在一些实施例中,基于虚拟对象所处的场景,确定场景需要进行振动反馈的重要程度,包括:基于虚拟对象所处的场景以及需要进行振动反馈的振动因素,确定场景的动态变化信息;对场景的动态变化信息进行映射处理,得到场景需要进行振动反馈的重要程度;其中,振动因素包括以下至少之一:虚拟场景的进度、虚拟对象的生命值、与虚拟对象交互的敌方的数量、虚拟对象的能力。
例如,针对虚拟场景的进度这一因素,确定虚拟场景的进度变化信息(例如进度较快),当对虚拟场景的进度变化信息进行映射后,确定当前场景需要进行振动反馈的重要程度大于重要程度阈值时,说明虚拟场景的进度变化较快,需要通过振动以提醒进度;针对虚拟场景的生命值这一因素,确定虚拟场景的生命值变化信息(例如生命值下降较快),当对虚拟场景的进度变化信息进行映射后,确定当前场景需要进行振动反馈的重要程度大于重要程度阈值时,说明虚拟场景的生命值下降较快,需要通过振动以提醒生命值。
在一些实施例中,基于虚拟对象所处的场景,确定场景需要进行振动反馈的重要程度,包括:基于虚拟对象所处的场景调用重要程度预测模型进行重要程度预测处理,得到场景需要进行振动反馈的重要程度;其中,重要程度预测模型是通过历史场景的场景数据以及历史场景的重要程度的标注训练得到的。
例如,在应用重要程度预测模型之前,需要对初始的重要程度预测模型进行训练,通过历史场景的场景数据以及历史场景的重要程度的标注对初始的重要程度预测模型进行训练,得到可应用的重要程度预测模型,可应用的重要程度预测模型学习到场景数据与重要程度之间的映射关系。在训练完成后,基于虚拟对象当前所处的场景调用重要程度预测模型,通过重要程度预测模型对虚拟对象当前所处的场景数据进行重要程度预测处理,得到场景需要进行振动反馈的重要程度,从而通过人工智能的方式准确预测场景的重要程度,提高振动反馈的准确性。
在步骤105中,终端设备接收云游戏服务器发送的振动场景的场景信息,将振动场景的场景信息转换为振动指令,向手柄设备发送携带振动指令的振动信号。
其中,振动指令用于控制手柄设备中的振动马达执行对应的振动操作。当终端设备接收到振动场景的场景信息,并将振动场景的场景信息转换为振动指令,以指示手柄设备中的振动马达执行对应的振动操作,其中振动指令为一种数字信号,可以将振动指令进行数模转换,得到携带振动指令的振动信号,并通过有线传输或无线传输的方式发送至手柄设备。
在一些实施例中,振动指令包括以下至少之一:X轴方向的振动指令、Y轴方向的振动指令、Z轴方向的振动指令、旋转方向的振动指令;振动指令通过手柄设备中包括的以下至少之一振动马达实现:X轴方向的线性马达、Y轴方向的线性马达、Z轴方向的线性马达、旋转方向的转子马达。
其中,振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。如图9所示,X轴方向表示侧向方向,Y轴方向表示前后方向,Z轴方向表示垂直方向。通过X轴方向的线性马达实现X轴方向的振动指令,通过Y轴方向的线性马达实现Y轴方向的振动指令,通过Z轴方向的线性马达实现Z轴方向的振动指令,通过旋转方向的转子马达实现旋转方向的振动指令。
在一些实施例中,将振动场景的场景信息转换为振动指令,包括:基于振动场景的场景信息,查询不同振动场景的场景信息与候选振动指令的对应关系,将查询到的候选振动指令作为振动指令;其中,对应关系包括以下至少之一:不同振动场景的场景信息与X轴方向的振动指令的第一关联关系、不同振动场景的场景信息与Y轴方向的振动指令的第二关联关系、不同振动场景的场景信息与Z轴方向的振动指令的第三关联关系、不同振动场景的场景信息与旋转方向的振动指令的第四关联关系。
例如,在终端设备预先存储不同振动场景的场景信息与候选振动指令的对应关系,当终端设备接收到振动场景的场景信息后,查询不同振动场景的场景信息与候选振动指令的对应关系,则将查询到的候选振动指令作为振动指令。
在一些实施例中,第一关联关系中的振动场景包括以下至少之一:虚拟对象被虚拟载具侧向撞击的场景、虚拟对象被敌方侧向攻击的场景;第二关联关系中的振动场景包括以下至少之一:虚拟对象握持虚拟道具进行射击的场景、虚拟对象被敌方击退的场景、虚拟对象正面撞击虚拟物体的场景;第三关联关系中的振动场景包括以下至少之一:虚拟对象跌落至虚拟表面(虚拟地面、虚拟水面)的场景、虚拟对象跳跃时触及顶面的场景;第四关联关系中的振动场景包括以下至少之一:虚拟对象处于飞行状态时遇到气流的场景、虚拟对象遇到旋涡的场景。
如图8所示,枪械射击后坐力、被敌方击退等场景对应Y轴方向的振动指令(后向冲击),车辆被侧向撞击、敌方侧向攻击等场景对应X轴方向的振动指令(侧向冲击),虚拟角色跌落地面、虚拟角色跳跃触顶等场景对应Z轴方向的振动指令(竖直冲击)
在一些实施例中,将振动场景的场景信息转换为振动指令,包括:基于振动场景的场景信息调用振动预测模型进行振动指令预测处理,得到振动场景对应的振动指令;其中,振动预测模型是通过历史场景的场景信息以及历史场景对应的振动指令的标注训练得到的,振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
例如,在应用振动预测模型之前,需要对初始的振动预测模型进行训练,通过历史场景的场景信息以及历史场景对应的振动指令的标注对初始的振动预测模型进行训练,得到可应用的振动预测模型,可应用的振动预测模型学习到场景信息以及振动场景对应的振动指令之间的映射关系。在训练完成后,基于振动场景的场景信息调用振动预测模型,通过振动预测模型对振动场景的场景信息进行振动指令预测处理,得到振动场景对应的振动指令,从而通过人工智能的方式准确振动指令,提高振动反馈的准确性。
在一些实施例中,场景信息包括场景需要进行振动反馈的重要程度;将振动场景的场景信息转换为振动指令,包括:基于场景信息包括的需要进行振动反馈的重要程度,查询不同重要程度与候选振动指令的对应关系,将查询到的候选振动指令作为振动指令;其中,候选振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
例如,当云游戏服务器基于虚拟场景的交互逻辑控制虚拟场景中的虚拟对象执行对应的操作,基于执行的操作,确定虚拟对象所处的场景,基于虚拟对象所处的场景,确定场景需要进行振动反馈的重要程度,当重要程度大于重要程度阈值时,确定虚拟对象所处的场景为振动场景后,将包括场景需要进行振动反馈的重要程度的场景信息发送至终端设备。终端设备预先存储有不同重要程度与候选振动指令的对应关系,当终端设备接收到场景信息包括的需要进行振动反馈的重要程度,查询不同重要程度与候选振动指令的对应关系,将查询到的候选振动指令作为振动指令,例如振动反馈的重要程度为高级时,振动指令为全方位高频振动;振动反馈的重要程度为低级时,振动指令为前后方向一次振动。
在一些实施例中,场景信息包括场景需要进行振动反馈的重要程度;将振动场景的场景信息转换为振动指令,包括:基于场景信息包括的需要进行振动反馈的重要程度调用振动预测模型进行振动指令预测处理,得到振动场景对应的振动指令;其中,振动预测模型是通过历史场景需要进行振动反馈的重要程度以及历史场景对应的振动指令的标注训练得到的,振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
例如,在应用振动预测模型之前,需要对初始的振动预测模型进行训练,通过历史场景需要进行振动反馈的重要程度以及历史场景对应的振动指令的标注对初始的振动预测模型进行训练,得到可应用的振动预测模型,可应用的振动预测模型学习到场景需要进行振动反馈的重要程度以及场景对应的振动指令之间的映射关系。
当云游戏服务器基于虚拟场景的交互逻辑控制虚拟场景中的虚拟对象执行对应的操作,基于执行的操作,确定虚拟对象所处的场景,基于虚拟对象所处的场景,确定场景需要进行振动反馈的重要程度,当重要程度大于重要程度阈值时,确定虚拟对象所处的场景为振动场景后,将包括场景需要进行振动反馈的重要程度的场景信息发送至终端设备。
在训练完成后,基于场景需要进行振动反馈的重要程度调用振动预测模型,通过振动预测模型对场景需要进行振动反馈的重要程度进行振动指令预测处理,得到振动场景对应的振动指令,从而通过人工智能的方式准确振动指令,提高振动反馈的准确性。
在步骤106中,手柄设备接收终端设备发送的携带振动指令的振动信号,基于振动指令控制手柄设备执行对应的振动操作。
例如,振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
参见图6,图6是本申请实施例提供的虚拟场景的振动反馈处理方法的一个可选的流程示意图,图6示出图4还包括步骤107-步骤109实现:在步骤107中,云游戏服务器确定虚拟对象将要执行的操作,并将虚拟对象将要执行的操作发送至终端设备;在步骤108中,终端设备接收云游戏服务器发送的虚拟对象将要执行的操作,将虚拟对象将要执行的操作转换为提醒指令,并向手柄设备发送携带提醒指令的提醒信号;在步骤109中,手柄设备基于提醒信号携带的提醒指令控制手柄设备执行对应的提醒操作,提醒指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,虚拟对象将要执行的操作是云游戏服务器根据虚拟场景的场景信息调用动作预测模型进行动作预测处理得到的,动作预测模型是通过历史场景的场景信息以及历史场景中虚拟对象将要执行的操作的标注训练得到的。
例如,在应用动作预测模型之前,需要对初始的动作预测模型进行训练,通过历史场景的场景信息以及历史场景中虚拟对象将要执行的操作的标注对初始的动作预测模型进行训练,得到可应用的动作预测模型,可应用的动作预测模型学习到场景信息以及虚拟场景中虚拟对象将要执行的操作之间的映射关系。在训练完成后,基于虚拟场景的场景信息调用动作预测模型,通过动作预测模型对虚拟场景的场景信息进行动作预测处理,得到虚拟对象将要执行的操作,从而通过人工智能的方式准确虚拟对象将要执行的操作,提高振动反馈的准确性。
在一些实施例中,将虚拟对象将要执行的操作转换为提醒指令,包括:将虚拟对象将要执行的操作对应的方向作为振动方向;将以下之一作为振动次数:虚拟对象将要执行的操作对应的敌方数量、虚拟对象将要执行的操作对应的障碍物数量;将以下之一作为振动强度或振动频次:虚拟对象将要执行的操作对应的环境的危险程度、虚拟对象将要执行的操作对应的破坏程度。
例如,虚拟对象将要向前行走,则将前后方向作为振动方向,并控制手柄设备中的Y轴方向的线性马达执行对应的振动操作;当虚拟对象将要执行的操作对应的敌方数量为5个时,则控制手柄设备中的线性马达执行5次振动操作;当虚拟对象将要执行的操作对应的环境的危险程度为高级时,则控制手柄设备中的线性马达执行高频振动。
下面将结合附图对本申请实施例提供的虚拟场景的振动反馈处理方法进行具体说明。本申请实施例提供的虚拟场景的振动反馈处理方法可以由图2A中的手柄设备500和终端设备400协同执行,也可以由图2B中的手柄设备500、终端设备400和云游戏服务器200协同执行。
下面,以由图2B中的手柄设备500、终端设备400和云游戏服务器200本申请实施例提供的虚拟场景的振动反馈处理方法为例进行说明。参见图7,图7是本申请实施例提供的虚拟场景的振动反馈处理方法的流程示意图,将结合图7示出的步骤进行说明。
需要说明的是,图7示出的方法可以由终端设备400上运行的各种形式的计算机程序执行,并不局限于上述的客户端410,还可以是上文的操作系统461、软件模块和脚本,因此客户端不应视为对本申请实施例的限定。
在步骤201中,终端设备显示虚拟场景。
在步骤201中,手柄设备响应于针对手柄设备中按键的触发操作,发送触发操作对应的控制信号至云游戏服务器。
在步骤203中,云游戏服务器基于手柄设备发送的控制信号,渲染虚拟场景数据,虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行控制信号对应的操作,当确定执行操作所对应的场景为需要进行振动反馈的振动场景时,将执行操作所对应的场景发送至终端。
其中,振动场景是云游戏服务器根据执行的操作确定的需要进行振动反馈的场景,即云游戏服务器根据场景、操作、振动反馈之间的三元映射关系,确定是否触发振动场景。云游戏服务器基于控制信号渲染虚拟场景数据后,将虚拟场景数据发送至终端设备,终端设备基于虚拟场景数据后更新当前显示的虚拟场景,以在更新的虚拟场景中显示虚拟对象执行控制信号对应的操作。
其中,步骤203的处理过程与步骤104的处理过程类似,此处不再赘述。
在步骤204中,云游戏服务器将振动场景的场景信息转换为振动指令,向手柄设备发送携带振动指令的振动信号。
其中,步骤204的处理过程与步骤105的处理过程类似,此处不再赘述。
在步骤205中,手柄设备基于振动指令控制手柄设备执行对应的振动操作。
例如,振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,云游戏服务器确定虚拟对象将要执行的操作,将虚拟对象将要执行的操作转换为提醒指令,并向手柄设备发送携带提醒指令的提醒信号;手柄设备基于提醒信号携带的提醒指令控制手柄设备执行对应的提醒操作,提醒指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,虚拟对象将要执行的操作是云游戏服务器根据虚拟场景的场景信息调用动作预测模型进行动作预测处理得到的,动作预测模型是通过历史场景的场景信息以及历史场景中虚拟对象将要执行的操作的标注训练得到的。
例如,在应用动作预测模型之前,需要对初始的动作预测模型进行训练,通过历史场景的场景信息以及历史场景中虚拟对象将要执行的操作的标注对初始的动作预测模型进行训练,得到可应用的动作预测模型,可应用的动作预测模型学习到场景信息以及虚拟场景中虚拟对象将要执行的操作之间的映射关系。在训练完成后,基于虚拟场景的场景信息调用动作预测模型,通过动作预测模型对虚拟场景的场景信息进行动作预测处理,得到虚拟对象将要执行的操作,从而通过人工智能的方式准确虚拟对象将要执行的操作,提高振动反馈的准确性。
在一些实施例中,将虚拟对象将要执行的操作转换为提醒指令,包括:将虚拟对象将要执行的操作对应的方向作为振动方向;将以下之一作为振动次数:虚拟对象将要执行的操作对应的敌方数量、虚拟对象将要执行的操作对应的障碍物数量;将以下之一作为振动强度或振动频次:虚拟对象将要执行的操作对应的环境的危险程度、虚拟对象将要执行的操作对应的破坏程度。
下面,将说明本申请实施例在一个实际的游戏场景中的示例性应用。
本申请实施例可以应用于各种虚拟场景,例如在游戏等的虚拟场景中,能够模拟虚拟对象之间的真实的对战过程。
下面以虚拟场景为一种游戏为例进行说明:
相关技术中,可由用户设置振动方式,例如用一对线性马达来组合出更多的振动方式。上述方案虽提供了更加多样的振动体验,但本身没有结合具体的游戏场景,仍然无法实现沉浸在游戏场景中的反馈。
为了解决上述问题,本申请实施例在游戏手柄中采用线性马达替代转子马达,同时通过向手柄发送游戏反馈控制信息来实现更加沉浸式的游戏体验。例如在游戏手柄中引入线性马达,且在游戏手柄接收到来自游戏的振动信息(例如射击时的后坐力、被击退等游戏场景中的反馈信息)之后,以力学的形式通过游戏手柄反馈给游戏玩家,以打造更加沉浸式的游戏体验。
需要说明的是,本申请实施例也可以保留原本在游戏手柄中使用的转子马达,不需要完全替换掉,游戏中仍存在比较适合使用转子马达的场景,例如飞行过程中遇到强气流时飞行器震颤等虚拟场景,也可依照上述的控制方式向手柄发送信号,并通过转子马达来实现振动反馈。
如图8所示的游戏中冲击对应的振动场景,本申请实施例根据游戏中的振动场景提供对应的振动反馈,即游戏手柄中嵌入支持三个方向振动的线性马达,通过游戏逻辑向游戏手柄发送振动的方向和振动的强度,以实现游戏场景的冲击到物理手柄的力学反馈,例如游戏中通过虚拟枪械进行射击的场景(存在虚拟枪械射击后坐力的冲击),需要通过如图9所示的前后方向的振动实现后向冲击到物理手柄的力学反馈;游戏中虚拟车辆被侧向撞击的场景(存在虚拟车辆侧向方向的冲击),需要通过如图9所示的侧向方向的振动实现侧向冲击到物理手柄的力学反馈;游戏中虚拟角色跌落地面的场景(存在虚拟角色竖直方向的冲击),需要通过如图9所示的垂直方向的振动实现竖直冲击到物理手柄的力学反馈。
如图9所示,线性马达的震动方向与玩家手持手柄时的空间方向一致,玩家手柄的振动方向可以直接对应到玩家自身所处的空间方向,例如,玩家按下手柄上的扳机,看到游戏中枪械射击时,感受到的就是手柄沿前后方向振动。
如图10所示的硬件部署方案,在游戏手柄中放置三个互相垂直的线性马达,这个物理结构用于满足上述场景中三个方向的振动反馈;玩家握持的游戏手柄通过数据线或者无线连接到云游戏的终端设备上,可以向终端设备发送游戏手柄的按键信息(即控制指令),还可以从终端设备接收振动控制信息(即振动信号);云游戏的服务器和终端设备间通过互联网传输数据,云游戏的服务器(即云游戏服务器)接收来自终端设备的游戏播放请求,同时如同播视频一样向终端设备源源不断地发送游戏画面;来自服务器的游戏画面最终在终端设备的显示屏上播放,同时,服务器也需要将振动反馈的方向和强度返回至终端设备,最终被终端设备传递给游戏手柄,完成游戏中相应场景的振动反馈。
以枪战游戏为例,下面结合图11所示的游戏中振动反馈的流程图说明游戏中振动反馈过程:
步骤1、按压游戏手柄上的扳机按键,扳机按键按下的按键信号(一种模拟信号,即控制指令)通过有线传输(例如信号线)或者无线传输(例如无线协议如蓝牙)发送给终端设备。
步骤2、终端设备按照和云游戏服务器的协议将扳机按下这个事件(一种游戏控制消息,即控制消息)发送给云游戏服务器。
步骤3、云游戏服务器接收到扳机按下事件(即游戏控制消息(一种数字信号)),同样是扳机事件,根据当前运行的游戏不同,服务器将执行不同的游戏逻辑,本申请实施例中的枪战游戏则将这个事件解析为扣下当前手持枪械的扳机进行射击。
步骤4、云游戏服务器执行游戏逻辑后,不一定会触发到特定的具有震动反馈的场景,例如当虚拟角色当前未握持虚拟枪械时,那么此时的扳机按下事件并不会触发任何反馈;当虚拟角色当前握持虚拟枪械时,那么此时虚拟枪械进行了射击,则会产生一个后坐力的反馈信息,即触发了具有特定振动反馈的场景(特定游戏场景,即振动场景)。
步骤5、云游戏服务器将这个后坐力的场景信息通过网络传输传递给云游戏终端设备。
步骤6、云游戏终端设备将这个场景信息转化为一个前后振动反馈的振动指令。需要说明的是,这个转化过程也可在云游戏服务器上直接完成,终端设备直接转发即可。
步骤7、云游戏终端设备将振动指令转化为振动信号,并发送给游戏手柄。
步骤8、游戏手柄接收到振动信号进行信号解析,向马达发出振动指令,振动指令经过内部的电路信号传递和机械运动,最终使得这次马达振动以物理形式反馈在了游戏手柄上,被游戏玩家感知到,形成了一次游戏反馈的闭环。
除了在云游戏中应用本方案,也可以如图12所示的游戏中使用本方案,在游戏的运行中添加振动指令的发送功能,按照游戏手柄支持的振动协议格式来向游戏手柄发送振动指令,完成振动反馈。下面结合图12所示的游戏中振动反馈的流程图说明游戏中振动反馈过程:
步骤11、按压游戏手柄上的扳机按键,扳机按键按下的按键信号(一种模拟信号,即控制指令)通过有线传输(例如信号线)或者无线传输(例如无线协议如蓝牙)发送给终端设备。
步骤12、终端设备根据接收到扳机按下事件(一种游戏控制消息,即控制消息),根据当前运行的游戏不同,执行不同的游戏逻辑。
步骤13、终端设备执行游戏逻辑后,不一定会触发到特定的具有震动反馈的场景,例如当虚拟角色当前未握持虚拟枪械时,那么此时的扳机按下事件并不会触发任何反馈;当虚拟角色当前握持虚拟枪械时,那么此时虚拟枪械进行了射击,则会产生一个后坐力的反馈信息,即触发了具有特定振动反馈的场景(特定游戏场景,即振动场景)。
步骤14、终端设备将这个后坐力的场景信息转化为一个前后振动反馈的振动指令。
步骤15、终端设备将振动指令转化为振动信号,并发送给游戏手柄。
步骤16、游戏手柄接收到振动信号进行信号解析,向马达发出振动指令,振动指令经过内部的电路信号传递和机械运动,最终使得这次马达振动以物理形式反馈在了游戏手柄上,被游戏玩家感知到,形成了一次游戏反馈的闭环。
综上,本申请实施例将游戏场景中的冲击反馈以物理振动的形式让游戏玩家感知到,提高了游戏的沉浸感。
至此已经结合本申请实施例提供的电子设备的示例性应用和实施,说明本申请实施例提供的虚拟场景的振动反馈处理方法,下面继续说明本申请实施例提供的虚拟场景的振动反馈处理装置中各个模块配合实现虚拟场景的振动反馈的方案。
显示模块4651,用于显示虚拟场景;第一发送模块4652,用于接收手柄设备发送的控制信号,将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;第一接收模块4653,用于接收所述云游戏服务器发送的振动场景的场景信息,其中,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;转换模块4654,用于将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
在一些实施例中,所述振动指令包括以下至少之一:X轴方向的振动指令、Y轴方向的振动指令、Z轴方向的振动指令、旋转方向的振动指令;所述振动指令通过所述手柄设备中包括的以下至少之一振动马达实现:X轴方向的线性马达、Y轴方向的线性马达、Z轴方向的线性马达、旋转方向的转子马达。
在一些实施例中,所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;基于执行的所述操作,确定所述虚拟对象所处的场景;当所述虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定所述虚拟对象所处的场景为所述振动场景。
在一些实施例中,所述转换模块4654还用于基于所述振动场景的场景信息,查询不同振动场景的场景信息与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;其中,所述对应关系包括以下至少之一:所述不同振动场景的场景信息与X轴方向的振动指令的第一关联关系、所述不同振动场景的场景信息与Y轴方向的振动指令的第二关联关系、所述不同振动场景的场景信息与Z轴方向的振动指令的第三关联关系、所述不同振动场景的场景信息与旋转方向的振动指令的第四关联关系。
在一些实施例中,所述第一关联关系中的振动场景包括以下至少之一:所述虚拟对象被虚拟载具侧向撞击的场景、所述虚拟对象被敌方侧向攻击的场景;所述第二关联关系中的振动场景包括以下至少之一:所述虚拟对象握持虚拟道具进行射击的场景、所述虚拟对象被敌方击退的场景、所述虚拟对象正面撞击虚拟物体的场景;所述第三关联关系中的振动场景包括以下至少之一:所述虚拟对象跌落至虚拟表面的场景、所述虚拟对象跳跃时触及顶面的场景;所述第四关联关系中的振动场景包括以下至少之一:所述虚拟对象处于飞行状态时遇到气流的场景、所述虚拟对象遇到旋涡的场景。
在一些实施例中,所述转换模块4654还用于基于所述振动场景的场景信息调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;其中,所述振动预测模型是通过历史场景的场景信息以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;基于执行的所述操作,确定所述虚拟对象所处的场景;基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度;当所述重要程度大于重要程度阈值时,确定所述虚拟对象所处的场景为振动场景。
在一些实施例中,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:基于所述虚拟对象所处的场景以及需要进行振动反馈的振动因素,确定所述场景的动态变化信息;对所述场景的动态变化信息进行映射处理,得到所述场景需要进行振动反馈的重要程度;其中,所述振动因素包括以下至少之一:所述虚拟场景的进度、所述虚拟对象的生命值、与所述虚拟对象交互的敌方的数量、所述虚拟对象的能力。
在一些实施例中,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:基于所述虚拟对象所处的场景调用重要程度预测模型进行重要程度预测处理,得到所述场景需要进行振动反馈的重要程度;其中,所述重要程度预测模型是通过历史场景的场景数据以及所述历史场景的重要程度的标注训练得到的。
在一些实施例中,所述场景信息包括所述场景需要进行振动反馈的重要程度;所述转换模块4654还用于基于所述场景信息包括的需要进行振动反馈的重要程度,查询不同重要程度与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;其中,所述候选振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,所述场景信息包括所述场景需要进行振动反馈的重要程度;所述转换模块4654还用于基于所述场景信息包括的需要进行振动反馈的重要程度调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;其中,所述振动预测模型是通过历史场景需要进行振动反馈的重要程度以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,所述第一接收模块4653还用于接收所述云游戏服务器发送的所述虚拟对象将要执行的操作;将所述虚拟对象将要执行的操作转换为提醒指令,向所述手柄设备发送携带所述提醒指令的提醒信号,其中,所述提醒指令用于控制所述手柄设备执行对应的提醒操作,所述提醒指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
在一些实施例中,所述虚拟对象将要执行的操作是所述云游戏服务器根据所述虚拟场景的场景信息调用动作预测模型进行动作预测处理得到的,所述动作预测模型是通过历史场景的场景信息以及所述历史场景中虚拟对象将要执行的操作的标注训练得到的。
在一些实施例中,所述第一接收模块4653还用于将所述虚拟对象将要执行的操作对应的方向作为所述振动方向;将以下之一作为所述振动次数:所述虚拟对象将要执行的操作对应的敌方数量、所述虚拟对象将要执行的操作对应的障碍物数量;将以下之一作为所述振动强度或所述振动频次:所述虚拟对象将要执行的操作对应的环境的危险程度、所述虚拟对象将要执行的操作对应的破坏程度。
第二发送模块4655,用于响应于针对手柄设备中按键的触发操作,发送所述触发操作对应的控制信号至终端设备,以使所述终端设备将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于所述供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;第二接收模块4656,用于接收所述终端设备发送的携带振动指令的振动信号,其中,所述振动指令是通过所述终端设备根据接收的所述云游戏服务器发送的振动场景的场景信息转换得到的,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;振动模块4657,用于基于所述振动指令控制所述手柄设备执行对应的振动操作。
第三接收模块4658,用于接收终端设备发送的携带控制信号的控制消息,所述控制信号是手柄设备向所述终端设备发送的;控制模块4659,用于基于所述控制消息携带的所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;第三发送模块4660,用于当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,将所述振动场景的场景信息发送至所述终端设备;其中,所述场景信息用于触发所述终端设备执行以下操作:将所述振动场景的场景信息转换为振动指令,并向所述手柄设备发送携带所述振动指令的振动信号,所述振动指令用于控制所述手柄设备执行对应的振动操作。
第四接收模块4661,用于接收手柄设备发送的控制信号;第四发送模块4662,用于基于所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,向终端发送执行所述操作所对应的场景,并将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行本申请实施例上述的虚拟场景的振动反馈处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的虚拟场景的振动反馈处理方法,例如,如图4-图7示出的虚拟场景的振动反馈处理方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (25)
1.一种虚拟场景的振动反馈处理方法,其特征在于,所述方法包括:
显示虚拟场景;
接收手柄设备发送的控制信号,将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;
接收所述云游戏服务器发送的振动场景的场景信息,其中,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
2.根据权利要求1所述的方法,其特征在于,所述振动指令包括以下至少之一:X轴方向的振动指令、Y轴方向的振动指令、Z轴方向的振动指令、旋转方向的振动指令;所述振动指令通过所述手柄设备中包括的以下至少之一振动马达实现:X轴方向的线性马达、Y轴方向的线性马达、Z轴方向的线性马达、旋转方向的转子马达。
3.根据权利要求1所述的方法,其特征在于,
所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:
基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;
基于执行的所述操作,确定所述虚拟对象所处的场景;
当所述虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定所述虚拟对象所处的场景为所述振动场景。
4.根据权利要求1所述的方法,其特征在于,所述将所述振动场景的场景信息转换为振动指令,包括:
基于所述振动场景的场景信息,查询不同振动场景的场景信息与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;
其中,所述对应关系包括以下至少之一:所述不同振动场景的场景信息与X轴方向的振动指令的第一关联关系、所述不同振动场景的场景信息与Y轴方向的振动指令的第二关联关系、所述不同振动场景的场景信息与Z轴方向的振动指令的第三关联关系、所述不同振动场景的场景信息与旋转方向的振动指令的第四关联关系。
5.根据权利要求4所述的方法,其特征在于,
所述第一关联关系中的振动场景包括以下至少之一:所述虚拟对象被虚拟载具侧向撞击的场景、所述虚拟对象被敌方侧向攻击的场景;
所述第二关联关系中的振动场景包括以下至少之一:所述虚拟对象握持虚拟道具进行射击的场景、所述虚拟对象被敌方击退的场景、所述虚拟对象正面撞击虚拟物体的场景;
所述第三关联关系中的振动场景包括以下至少之一:所述虚拟对象跌落至虚拟表面的场景、所述虚拟对象跳跃时触及顶面的场景;
所述第四关联关系中的振动场景包括以下至少之一:所述虚拟对象处于飞行状态时遇到气流的场景、所述虚拟对象遇到旋涡的场景。
6.根据权利要求1所述的方法,其特征在于,所述将所述振动场景的场景信息转换为振动指令,包括:
基于所述振动场景的场景信息调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;
其中,所述振动预测模型是通过历史场景的场景信息以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
7.根据权利要求1所述的方法,其特征在于,所述携带所述控制信号的控制消息用于触发所述云游戏服务器执行以下处理:
基于所述虚拟场景的交互逻辑控制所述虚拟场景中的虚拟对象执行对应的操作;
基于执行的所述操作,确定所述虚拟对象所处的场景;
基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度;
当所述重要程度大于重要程度阈值时,确定所述虚拟对象所处的场景为振动场景。
8.根据权利要求7所述的方法,其特征在于,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:
基于所述虚拟对象所处的场景以及需要进行振动反馈的振动因素,确定所述场景的动态变化信息;
对所述场景的动态变化信息进行映射处理,得到所述场景需要进行振动反馈的重要程度;
其中,所述振动因素包括以下至少之一:所述虚拟场景的进度、所述虚拟对象的生命值、与所述虚拟对象交互的敌方的数量、所述虚拟对象的能力。
9.根据权利要求7所述的方法,其特征在于,所述基于所述虚拟对象所处的场景,确定所述场景需要进行振动反馈的重要程度,包括:
基于所述虚拟对象所处的场景调用重要程度预测模型进行重要程度预测处理,得到所述场景需要进行振动反馈的重要程度;
其中,所述重要程度预测模型是通过历史场景的场景数据以及所述历史场景的重要程度的标注训练得到的。
10.根据权利要求7所述的方法,其特征在于,
所述场景信息包括所述场景需要进行振动反馈的重要程度;
所述将所述振动信息的场景信息转换为振动指令,包括:
基于所述场景信息包括的需要进行振动反馈的重要程度,查询不同重要程度与候选振动指令的对应关系,将查询到的所述候选振动指令作为所述振动指令;
其中,所述候选振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
11.根据权利要求7所述的方法,其特征在于,
所述场景信息包括所述场景需要进行振动反馈的重要程度;
所述将所述振动场景的场景信息转换为振动指令,包括:
基于所述场景信息包括的需要进行振动反馈的重要程度调用振动预测模型进行振动指令预测处理,得到所述振动场景对应的振动指令;
其中,所述振动预测模型是通过历史场景需要进行振动反馈的重要程度以及所述历史场景对应的振动指令的标注训练得到的,所述振动指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收所述云游戏服务器发送的所述虚拟对象将要执行的操作;
将所述虚拟对象将要执行的操作转换为提醒指令,向所述手柄设备发送携带所述提醒指令的提醒信号,其中,所述提醒指令用于控制所述手柄设备执行对应的提醒操作,所述提醒指令包括以下至少之一因素:振动次数、振动强度、振动频次、振动方向。
13.根据权利要求12所述的方法,其特征在于,所述虚拟对象将要执行的操作是所述云游戏服务器根据所述虚拟场景的场景信息调用动作预测模型进行动作预测处理得到的,所述动作预测模型是通过历史场景的场景信息以及所述历史场景中虚拟对象将要执行的操作的标注训练得到的。
14.根据权利要求12所述的方法,其特征在于,所述将所述虚拟对象将要执行的操作转换为提醒指令,包括:
将所述虚拟对象将要执行的操作对应的方向作为所述振动方向;
将以下之一作为所述振动次数:所述虚拟对象将要执行的操作对应的敌方数量、所述虚拟对象将要执行的操作对应的障碍物数量;
将以下之一作为所述振动强度或所述振动频次:所述虚拟对象将要执行的操作对应的环境的危险程度、所述虚拟对象将要执行的操作对应的破坏程度。
15.一种虚拟场景的振动反馈处理方法,其特征在于,所述方法包括:
响应于针对手柄设备中按键的触发操作,发送所述触发操作对应的控制信号至终端设备,以使所述终端设备将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
接收所述终端设备发送的携带振动指令的振动信号,其中,所述振动指令是通过所述终端设备根据接收的所述云游戏服务器发送的振动场景的场景信息转换得到的,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
基于所述振动指令控制所述手柄设备执行对应的振动操作。
16.一种虚拟场景的振动反馈处理方法,其特征在于,所述方法包括:
接收终端设备发送的携带控制信号的控制消息,所述控制信号是手柄设备向所述终端设备发送的;
基于所述控制消息携带的所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,将所述振动场景的场景信息发送至所述终端设备;
其中,所述场景信息用于触发所述终端设备执行以下操作:将所述振动场景的场景信息转换为振动指令,并向所述手柄设备发送携带所述振动指令的振动信号,所述振动指令用于控制所述手柄设备执行对应的振动操作。
17.根据权利要求16所述的方法,其特征在于,所述渲染虚拟场景数据之后,所述方法还包括:
基于执行的所述操作,确定所述虚拟对象所处的场景;
当所述虚拟对象所处的场景与设定的需要进行振动反馈的场景匹配时,确定执行所述操作所对应的场景为需要进行振动反馈的振动场景。
18.一种虚拟场景的振动反馈处理方法,其特征在于,所述方法包括:
接收手柄设备发送的控制信号;
基于所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,向终端发送执行所述操作所对应的场景,并
将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
19.一种虚拟场景的振动反馈处理装置,其特征在于,所述装置包括:
显示模块,用于显示虚拟场景;
第一发送模块,用于接收手柄设备发送的控制信号,将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第一接收模块,用于接收所述云游戏服务器发送的振动场景的场景信息,其中,所述振动场景是所述云游戏服务器根据执行的所述操作确定的需要进行振动反馈的场景;
转换模块,用于将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
20.一种虚拟场景的振动反馈处理装置,其特征在于,所述装置包括:
第二发送模块,用于响应于针对手柄设备中按键的触发操作,发送所述触发操作对应的控制信号至终端设备,以使所述终端设备将携带所述控制信号的控制消息发送至云游戏服务器,其中,所述控制消息携带的所述控制信号用于触发所述云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示所述虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第二接收模块,用于接收所述终端设备发送的携带振动指令的振动信号,其中,所述振动指令是通过所述终端设备根据接收的所述云游戏服务器云游戏服务器渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
振动模块,用于基于所述振动指令控制所述手柄设备执行对应的振动操作。
21.一种虚拟场景的振动反馈处理装置,其特征在于,所述装置包括:
第三接收模块,用于接收终端设备发送的携带控制信号的控制消息,所述控制信号是手柄设备向所述终端设备发送的;
控制模块,用于基于所述控制消息携带的所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供所述终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;
第三发送模块,用于当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,将所述振动场景的场景信息发送至所述终端设备;
其中,所述场景信息用于触发所述终端设备执行以下操作:将所述振动场景的场景信息转换为振动指令,并向所述手柄设备发送携带所述振动指令的振动信号,所述振动指令用于控制所述手柄设备执行对应的振动操作。
22.一种虚拟场景的振动反馈处理装置,其特征在于,所述装置包括:
第四接收模块,用于接收手柄设备发送的控制信号;
第四发送模块,用于基于所述控制信号,渲染虚拟场景数据,所述虚拟场景数据用于供终端设备显示虚拟场景中的虚拟对象执行所述控制信号对应的操作;当确定执行所述操作所对应的场景为需要进行振动反馈的振动场景时,向终端发送执行所述操作所对应的场景,并将所述振动场景的场景信息转换为振动指令,向所述手柄设备发送携带所述振动指令的振动信号,其中,所述振动指令用于控制所述手柄设备执行对应的振动操作。
23.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至18任一项所述的虚拟场景的振动反馈处理方法。
24.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时实现权利要求1至18任一项所述的虚拟场景的振动反馈处理方法。
25.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至18任一项所述的虚拟场景的振动反馈处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210022917.6A CN114356097A (zh) | 2022-01-10 | 2022-01-10 | 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210022917.6A CN114356097A (zh) | 2022-01-10 | 2022-01-10 | 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114356097A true CN114356097A (zh) | 2022-04-15 |
Family
ID=81108341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210022917.6A Pending CN114356097A (zh) | 2022-01-10 | 2022-01-10 | 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356097A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116036578A (zh) * | 2023-01-28 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及相关设备 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105892680A (zh) * | 2016-04-28 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于虚拟现实头盔的交互设备控制方法及装置 |
CN107583273A (zh) * | 2017-10-09 | 2018-01-16 | 深圳市七熊科技有限公司 | 一种游戏手柄、及其控制方法和系统 |
CN110215697A (zh) * | 2019-06-28 | 2019-09-10 | 瑞声科技(新加坡)有限公司 | 游戏手柄、游戏手柄的振动方法及装置 |
CN110705063A (zh) * | 2019-09-20 | 2020-01-17 | 深圳市酷开网络科技有限公司 | 一种模拟震动方法、系统及存储介质 |
CN111184994A (zh) * | 2020-01-19 | 2020-05-22 | 范世杰 | 击球训练方法、终端设备及存储介质 |
CN111359211A (zh) * | 2020-03-02 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 角色转换方法、装置、计算机设备和存储介质 |
US20200289937A1 (en) * | 2019-03-15 | 2020-09-17 | Sony Interactive Entertainment Inc. | Systems and methods for predicting states by using a distributed game engine |
CN111760271A (zh) * | 2020-06-30 | 2020-10-13 | 歌尔科技有限公司 | 一种控制方法、装置、设备和系统 |
CN111870947A (zh) * | 2020-08-10 | 2020-11-03 | 网易(杭州)网络有限公司 | 游戏交互方法、装置、电子设备及存储介质 |
CN111870934A (zh) * | 2020-07-31 | 2020-11-03 | 歌尔科技有限公司 | 手柄的振动调节方法、游戏手柄及计算机可读存储介质 |
CN112221135A (zh) * | 2020-11-06 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 画面显示方法、装置、设备以及存储介质 |
WO2021067536A1 (en) * | 2019-10-01 | 2021-04-08 | Centurion Vr, Inc. | Accessory for virtual reality simulation |
CN112933590A (zh) * | 2021-03-31 | 2021-06-11 | 歌尔股份有限公司 | 终端设备的振动控制方法、终端设备及存储介质 |
CN113262466A (zh) * | 2021-05-11 | 2021-08-17 | Oppo广东移动通信有限公司 | 震动控制方法、装置、移动终端及存储介质 |
CN113713386A (zh) * | 2021-09-01 | 2021-11-30 | 网易(杭州)网络有限公司 | 游戏中的信息提示方法、装置以及触控终端 |
US20210402292A1 (en) * | 2020-06-25 | 2021-12-30 | Sony Interactive Entertainment LLC | Method of haptic responses and interacting |
-
2022
- 2022-01-10 CN CN202210022917.6A patent/CN114356097A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105892680A (zh) * | 2016-04-28 | 2016-08-24 | 乐视控股(北京)有限公司 | 基于虚拟现实头盔的交互设备控制方法及装置 |
CN107583273A (zh) * | 2017-10-09 | 2018-01-16 | 深圳市七熊科技有限公司 | 一种游戏手柄、及其控制方法和系统 |
US20200289937A1 (en) * | 2019-03-15 | 2020-09-17 | Sony Interactive Entertainment Inc. | Systems and methods for predicting states by using a distributed game engine |
CN110215697A (zh) * | 2019-06-28 | 2019-09-10 | 瑞声科技(新加坡)有限公司 | 游戏手柄、游戏手柄的振动方法及装置 |
CN110705063A (zh) * | 2019-09-20 | 2020-01-17 | 深圳市酷开网络科技有限公司 | 一种模拟震动方法、系统及存储介质 |
WO2021067536A1 (en) * | 2019-10-01 | 2021-04-08 | Centurion Vr, Inc. | Accessory for virtual reality simulation |
CN111184994A (zh) * | 2020-01-19 | 2020-05-22 | 范世杰 | 击球训练方法、终端设备及存储介质 |
CN111359211A (zh) * | 2020-03-02 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 角色转换方法、装置、计算机设备和存储介质 |
US20210402292A1 (en) * | 2020-06-25 | 2021-12-30 | Sony Interactive Entertainment LLC | Method of haptic responses and interacting |
CN111760271A (zh) * | 2020-06-30 | 2020-10-13 | 歌尔科技有限公司 | 一种控制方法、装置、设备和系统 |
CN111870934A (zh) * | 2020-07-31 | 2020-11-03 | 歌尔科技有限公司 | 手柄的振动调节方法、游戏手柄及计算机可读存储介质 |
CN111870947A (zh) * | 2020-08-10 | 2020-11-03 | 网易(杭州)网络有限公司 | 游戏交互方法、装置、电子设备及存储介质 |
CN112221135A (zh) * | 2020-11-06 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 画面显示方法、装置、设备以及存储介质 |
CN112933590A (zh) * | 2021-03-31 | 2021-06-11 | 歌尔股份有限公司 | 终端设备的振动控制方法、终端设备及存储介质 |
CN113262466A (zh) * | 2021-05-11 | 2021-08-17 | Oppo广东移动通信有限公司 | 震动控制方法、装置、移动终端及存储介质 |
CN113713386A (zh) * | 2021-09-01 | 2021-11-30 | 网易(杭州)网络有限公司 | 游戏中的信息提示方法、装置以及触控终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116036578A (zh) * | 2023-01-28 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112691377B (zh) | 虚拟角色的控制方法、装置、电子设备及存储介质 | |
CN111744201B (zh) | 视频游戏中的自动玩家控制接管 | |
CN112090070B (zh) | 虚拟道具的交互方法、装置及电子设备 | |
US20230013663A1 (en) | Information display method and apparatus in virtual scene, device, and computer-readable storage medium | |
CN112057860B (zh) | 虚拟场景中激活操作控件的方法、装置、设备及存储介质 | |
JP7447296B2 (ja) | 仮想道具のインタラクティブ処理方法、装置、電子機器及びコンピュータプログラム | |
JP7507878B2 (ja) | 仮想オブジェクトの制御方法、装置、機器、及びプログラム | |
CN112121414B (zh) | 虚拟场景中的追踪方法、装置、电子设备及存储介质 | |
CN112121417B (zh) | 虚拟场景中的事件处理方法、装置、设备及存储介质 | |
CN112295230B (zh) | 虚拟场景中虚拟道具的激活方法、装置、设备及存储介质 | |
TWI831074B (zh) | 虛擬場景中的信息處理方法、裝置、設備、媒體及程式產品 | |
CN112138385B (zh) | 虚拟射击道具的瞄准方法、装置、电子设备及存储介质 | |
CN112090067B (zh) | 虚拟载具的控制方法、装置、设备及计算机可读存储介质 | |
CN112295228B (zh) | 虚拟对象的控制方法、装置、电子设备及存储介质 | |
CN112402960A (zh) | 虚拟场景中状态切换方法、装置、设备及存储介质 | |
US20230078440A1 (en) | Virtual object control method and apparatus, device, storage medium, and program product | |
CN112221135B (zh) | 画面显示方法、装置、设备以及存储介质 | |
CN113018862B (zh) | 虚拟对象的控制方法、装置、电子设备及存储介质 | |
WO2022127197A1 (zh) | 语音转换文字的方法、系统、设备及介质 | |
CN114344906A (zh) | 虚拟场景中伙伴对象的控制方法、装置、设备及存储介质 | |
CN114356097A (zh) | 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品 | |
WO2022237446A1 (zh) | 虚拟对象的控制方法、装置、设备、存储介质及程序产品 | |
WO2022156629A1 (zh) | 虚拟对象的控制方法、装置、电子设备、存储介质及计算机程序产品 | |
CN113769392B (zh) | 虚拟场景的状态处理方法、装置、电子设备及存储介质 | |
KR102706744B1 (ko) | 가상 객체를 제어하기 위한 방법 및 장치, 디바이스, 저장 매체 및 프로그램 제품 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40070410 Country of ref document: HK |