CN116069154A - 基于增强显示的信息交互方法、装置、设备和介质 - Google Patents

基于增强显示的信息交互方法、装置、设备和介质 Download PDF

Info

Publication number
CN116069154A
CN116069154A CN202111275803.4A CN202111275803A CN116069154A CN 116069154 A CN116069154 A CN 116069154A CN 202111275803 A CN202111275803 A CN 202111275803A CN 116069154 A CN116069154 A CN 116069154A
Authority
CN
China
Prior art keywords
virtual object
interaction
state information
physical engine
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111275803.4A
Other languages
English (en)
Inventor
高林森
黎小凤
韦祎
刘佳成
张羽鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111275803.4A priority Critical patent/CN116069154A/zh
Priority to PCT/CN2022/120156 priority patent/WO2023071630A1/zh
Publication of CN116069154A publication Critical patent/CN116069154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种基于增强显示的信息交互方法、装置、设备和介质。其中,应用于第一客户端的基于增强现实的信息交互方法包括:响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端;接收第一服务端发送的第二虚拟对象对应的第二交互数据;第二虚拟对象与第一虚拟对象共享虚拟现实空间;基于第一交互数据和第二交互数据,调用物理引擎对第一虚拟对象和第二虚拟对象在虚拟现实空间中的交互操作进行渲染,生成并显示交互渲染结果。实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了虚拟世界和真实世界的结合程度。

Description

基于增强显示的信息交互方法、装置、设备和介质
技术领域
本公开涉及增强现实技术领域,尤其涉及一种基于增强显示的信息交互方法、装置、设备和介质。
背景技术
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术,其将计算机生成的文字、图像、三维模型、音视频等虚拟信息模拟仿真后,应用到真实世界中,达到两种信息互为补充的效果。
当前已经出现了许多基于AR技术开发的互动类应用程序。用户可通过其移动终端设备在这些应用程序所提供的虚拟现实空间中进行移动、与设定的虚拟对象进行预设类型的交互等。
但是,目前的各种互动类应用程序中均无法实现不同用户在虚拟现实空间中的交互,这就限制了用户的交互过程,降低了用户体验。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种基于增强显示的信息交互方法、装置、设备和介质。
第一方面,本公开提供了一种基于增强显示的信息交互方法,应用于第一客户端,该方法包括:
响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将所述第一交互数据发送至第一服务端;
接收所述第一服务端发送的第二虚拟对象对应的第二交互数据;其中,所述第二虚拟对象与所述第一虚拟对象共享所述虚拟现实空间;
基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示交互渲染结果。
第二方面,本公开还提供了一种基于增强显示的信息交互方法,应用于第一服务端,该方法包括:
分别接收第一交互数据和第二交互数据;其中,所述第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,所述第二交互数据为第二虚拟对象在所述虚拟现实空间中进行交互操作而生成,且所述第一虚拟对象和所述第二虚拟对象共享所述虚拟现实空间;
将所述第一交互数据和所述第二交互数据发送至所述第一虚拟对象对应的第一客户端和所述第二虚拟对象对应的第二客户端,以使所述第一客户端和所述第二客户端分别基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述交互操作进行渲染,生成并显示交互渲染结果。
第三方面,本公开还提供了一种基于增强现实的信息交互装置,配置于客户端,该装置包括:
第一交互数据生成模块,用于响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将所述第一交互数据发送至第一服务端;
第二交互数据接收模块,用于接收所述第一服务端发送的第二虚拟对象对应的第二交互数据;其中,所述第二虚拟对象与所述第一虚拟对象共享所述虚拟现实空间;
交互渲染结果显示模块,用于基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示交互渲染结果。
第四方面,本公开还提供了一种基于增强现实的信息交互装置,配置于第一服务端,该装置包括:
交互数据接收模块,用于分别接收第一交互数据和第二交互数据;其中,所述第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,所述第二交互数据为第二虚拟对象在所述虚拟现实空间中进行交互操作而生成,且所述第一虚拟对象和所述第二虚拟对象共享所述虚拟现实空间;
交互数据发送模块,用于将所述第一交互数据和所述第二交互数据发送至所述第一虚拟对象对应的第一客户端和所述第二虚拟对象对应的第二客户端,以使所述第一客户端和所述第二客户端分别基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述交互操作进行渲染,生成并显示交互渲染结果。
第五方面,本公开提供了一种电子设备,该设备包括:
处理器;
存储器,用于存储可执行指令;
其中,处理器用于从存储器中读取可执行指令,并执行可执行指令以实现本公开任意实施例提供的应用于第一客户端的基于增强现实的信息交互方法,或实现本公开任意实施例提供的应用于第一服务端的基于增强现实的信息交互方法。
第六方面,本公开提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现本公开任意实施例提供的应用于第一客户端的基于增强现实的信息交互方法,或实现本公开任意实施例提供的应用于第一服务端的基于增强现实的信息交互方法。
本公开实施例的基于增强显示的信息交互方案,能够在第一用户对应的第一虚拟对象和第二用户对应的第二虚拟对象共享同一虚拟现实空间的基础上,响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端,且接收第一服务端发送的第二虚拟对象对应的第二交互数据,使得第一用户对应的客户端和第二用户对应的客户端之间可以进行第一交互数据和第二交互数据的互通,从而使得每个客户端都能基于相同的第一交互数据和第二交互数据,调用3D物理引擎,分别对第一虚拟对象和第二虚拟对象对应的交互操作进行渲染,生成并显示交互渲染结果,实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了基于增强现实的互动类应用程序中虚拟世界和真实世界的结合程度,从而提高了用户体验。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种基于增强显示的信息交互系统的架构图;
图2为本公开实施例提供的一种应用于第一客户端的基于增强显示的信息交互方法的流程示意图;
图3为本公开实施例提供的一种房间列表页面的显示示意图;
图4为本公开实施例提供的一种在虚拟现实空间页面中显示物体添加控件的显示示意图;
图5为本公开实施例提供的一种在虚拟现实空间页面中显示家具选项的显示示意图;
图6为本公开实施例提供的一种应用于第一服务端的基于增强显示的信息交互方法的流程示意图;
图7为本公开实施例提供的一种配置于客户端的基于增强显示的信息交互装置的结构示意图;
图8为本公开实施例提供的一种配置于第一服务端的基于增强显示的信息交互装置的结构示意图;
图9为本公开实施例提供的一种基于增强显示的信息交互设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
相关技术中基于增强现实技术实现的互动类应用程序,主要是将虚拟场景和真实场景进行叠加生成虚拟现实空间,并在该虚拟现实空间中提供一些固定的虚拟对象以及为虚拟对象设置预设类型的交互动作。用户在使用互动类应用程序过程中,若与虚拟对象发生了交互,那么虚拟对象只能执行上述预设类型的交互。例如,A用户和B用户都使用同一互动类应用程序,在A用户的客户端中所呈现的B用户只是根据B用户的基本信息(如生命值、外形等)构建的虚拟对象,其只能执行一些预设类型的动作,而无法执行B用户通过其客户端所执行的交互动作。这样不同的用户之间就无法实现在虚拟现实空间中基于真实交互动作的交互过程。
基于上述情况,本公开实施例提供一种基于增强现实的信息交互方案,实现不同用户共享同一虚拟现实空间,使得不同用户对应的客户端之间可互通交互数据,进而通过客户端中的物理引擎来处理并渲染相同的交互数据,使得不同用户的客户端中呈现的各虚拟对象的交互操作与用户的真实交互操作相同,达到不同用户之间的交互效果,从而提高用户体验。
本公开实施例提供的基于增强现实的信息交互方案,可应用于各种基于增强现实技术开发的互动类应用程序中,例如基于虚拟房间的互动类家园游戏、基于虚拟展览厅的展览应用程序、基于虚拟会议厅的会议应用程序、基于虚拟密室的密室逃脱游戏等等。
图1为本公开实施例提供的一种基于增强现实的信息交互系统的架构图。
如图1所示,该基于增强现实的信息交互系统100至少包括互相之间通信连接的第一客户端11、第一客户端12、第一服务端13和第二服务端14。其中,第一服务端13是执行交互类应用程序的后台数据处理的服务端,其至少用于创建和管理虚拟现实空间、处理并发送各客户端上传的交互数据等。第一客户端11是第一用户对应的客户端,第一客户端12是第二用户对应的客户端,各客户端中运行交互类应用程序。第一服务端13可实现为独立服务器,也可实现为服务器集群。第二服务端14是执行虚拟现实空间的地址管理和分享的服务端。在第一服务端13实现未服务器集群的情况下,第二服务端14还用于从服务器集群中调度合适的服务器给用户。
在图1的系统架构下,本公开实施例中的基于增强现实的信息交互的整体流程如下:
S110、第一客户端11向第一服务端13发送创建虚拟现实空间的请求。
S120、第一服务端13基于第一客户端11的用户信息查询历史虚拟现实空间中是否存在第一客户端11对应的虚拟现实空间。若有,则将查询到的历史虚拟现实空间的信息发送至第一客户端11;若没有,则创建新的虚拟现实空间,并将该新的虚拟现实空间的信息发送至第一客户端11。
S130、第一客户端11将其虚拟现实空间的信息发送至第二服务端14,以使第二服务端14将虚拟现实空间的信息发送至第二客户端12。
S140、在第一服务端13实现为服务器集群的情况下,第一客户端11和第一客户端12均基于虚拟现实空间的信息,向第二服务端14发送进入同一虚拟现实空间的请求。第二服务端14根据集群中各服务器的负载情况,为各客户端调度合适的服务器,并将调度到的服务器信息分别发送至第一客户端11和第一客户端12,以使第一客户端11和第一客户端12进入同一虚拟现实空间。
在第一服务端13实现为独立服务器的情况系下,第一客户端11和第一客户端12均基于虚拟现实空间的信息,向第一服务端13发送进入同一虚拟现实空间的请求。第一服务端13将其服务器信息发送至第一客户端11和第一客户端12,以使第一客户端11和第一客户端12进入同一虚拟现实空间。
S150、第一用户和第二用户分别在虚拟现实空间中执行交互操作,第一客户端11和第一客户端12检测到对应的交互操作后,分别生成第一交互数据和第二交互数据。第一客户端11将第一交互数据发送至第一服务端13,第一客户端12将第二交互数据发送至第一服务端13。
S160、第一服务端13将第一交互数据和第二交互数据分别透传至第一客户端11和第一客户端12。
S170、第一客户端11和第一客户端12分别调用其中的3D物理引擎来处理第一交互数据和第二交互数据,并执行渲染,生成交互渲染结果并显示。
需要说明的是,上述整体流程中涉及的名词及具体操作实现将在后续各实施例中说明。
下面首先结合图2-5对本公开实施例提供的应用于第一客户端的基于增强现实的信息交互方法进行说明。
在本公开实施例中,该方法可以由配置于第一客户端的基于增强现实的信息交互装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在具有位置跟踪和显示功能的电子设备中。该电子设备可以包括但不限于诸如智能手机、PDA(个人数字助理)、PAD(平板电脑)、可穿戴设备等等的移动终端。
图2示出了本公开实施例提供的一种应用于第一客户端的基于增强现实的信息交互方法的流程示意图。如图2所示,以第一客户端为例进行说明,该应用于第一客户端的基于增强现实的信息交互方法可以包括如下步骤:
S210、响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端。
其中,虚拟对象是指用户在虚拟现实空间中的虚拟人物。第一虚拟对象是指第一用户对应的虚拟对象。在一些实施例中,第一虚拟对象基于第一用户的人物属性信息构建。该人物属性信息可以包含身高、性别、发型、服饰等。第一用户可以通过电子设备输入人物属性信息;或者通过电子设备的摄像头拍摄自身图像,并通过对自身图像进行目标识别等处理来获得人物属性信息;或者通过电子设备的雷达传感器扫描自身身体部分来生成点云数据,并通过对点云数据的处理来获得人物属性信息。之后,电子设备可以将人物属性信息上传至第一服务端。第一服务端利用人物属性信息进行人物三维模型的构建,获得第一虚拟对象。这样可以增加用户与虚拟现实空间的联系,提高用户视觉效果,进一步提升用户体验。
虚拟现实空间是指基于真实环境(如房间)生成的虚拟空间,该虚拟空间与真实环境的结构、布局等相同。在一些实施例中,虚拟现实空间基于第一虚拟对象所处的现实空间构建。例如,第一用户可以通过其电子设备的雷达传感器对其所处的现实空间(如房间)进行三维扫描来生成点云数据,并将该点云数据上传至第一服务端。第一服务端通过对点云数据的处理来得到虚拟现实空间。又如,第一服务端中预置了一些虚拟现实空间,第一用户可以选择与其所处的现实空间的结构、布局等均相同/相似的预置的虚拟现实空间。
交互数据是指交互操作生成的相关数据,例如移动操作产生的位置变化量、移动速度等。第一交互数据是指第一虚拟对象对应的交互数据。
具体地,第一用户在其电子设备中登录客户端后,电子设备(若无特殊说明,在应用于第一客户端的各方法实施例中,电子设备均是指第一客户端对应的电子设备)可以显示各虚拟现实空间信息。第一用户可以对其想要进入的虚拟现实空间对应的虚拟现实空间信息进行触发操作(如点击、手势控制触发、语音控制触发、眼动控制触发等)。电子设备检测到用户触发操作后,显示触发的虚拟现实空间信息对应的虚拟现实空间。
例如,图3的电子设备300中显示有房间列表页面301,该房间列表页面302中显示各虚拟现实空间信息,即“X1的房间”302、“X2的房间”303、“X3的房间”304和“我的房间”305。当第一用户点击“我的房间”305后,电子设备300显示如图4所示的虚拟现实空间。图4中,电子设备400显示“我的房间”对应的虚拟现实空间。此外,电子设备400还可以显示返回房间列表控件401,第一用户可以通过对该返回房间列表控件401进行触发操作来返回图3所示的房间列表页面301。
基于增强现实技术,第一用户可以携带电子设备执行一些交互操作。而基于增强现实技术开发的客户端中设置了检测用户位置、姿态、手势、用户对屏幕的触发等交互操作的逻辑,那么安装有该客户端的电子设备便可以根据上述逻辑来执行交互操作的检测。基于此,当第一用户执行了交互操作时,电子设备可检测到第一虚拟对象在虚拟现实空间中的交互操作。然后,电子设备根据检测到的交互操作来生成第一交互数据。之后,电子设备将该第一交互数据上传至第一服务端,以进行第一交互数据的共享。
S220、接收第一服务端发送的第二虚拟对象对应的第二交互数据;其中,第二虚拟对象与第一虚拟对象共享虚拟现实空间。
其中,第二虚拟对象是指第二用户对应的虚拟对象。在一些实施例中,第二虚拟对象基于第二用户的人物属性信息构建。第二虚拟对象的构建可参见S210中第一虚拟对象的构建说明。第二交互数据是第二虚拟对象在虚拟现实空间中进行交互操作而生成的交互数据。
具体地,在第二用户选择了第一用户选择的虚拟现实空间后,在虚拟显示空间中同时存在第一虚拟对象和第二虚拟对象。
与第一客户端的执行流程相同,第二客户端对应的电子设备也会检测第二用户的交互操作,并基于该交互操作生成第二交互数据,且将第二交互数据上传至第一服务端,以进行第二交互数据的共享。
服务端在接收到第一交互数据和第二交互数据后,在判断第一交互数据和第二交互数据之间无交集(如重复、冲突等)后,将第一交互数据和第二交互数据透传至电子设备。这样,电子设备便可接收到第一交互数据和第二交互数据,即第一客户端同时获得了第一虚拟对象和第二虚拟对象在虚拟现实空间进行交互操作后产生的交互数据,那么其具备了根据各用户的真实交互操作来显示对应的各虚拟对象的交互过程的数据基础。
应当理解的是,第二客户端中同样会接收到第一服务端透传的第一交互数据和第二交互数据。
在一些实施例中,为了使得第一用户和第二用户共享虚拟现实空间,电子设备在S220之前,将虚拟现实空间的空间地址发送至第二服务端,以使第二服务端将空间地址发送至第二虚拟对象对应的第二客户端,且响应于第二客户端的空间共享操作,为第二客户端调度第一服务端对应的目标服务器。
具体地,根据上述说明,第二用户可以通过其电子设备选择与第一用户相同的虚拟现实空间。在该操作之前,电子设备要先将其虚拟现实空间的空间地址发送至第二服务端。第二服务端接收到空间地址进行存储的同时,可以根据第一客户端发送的空间授权信息(如所有人可见其虚拟现实空间、好友可见其虚拟现实空间等),将该空间地址转发至第二客户端对应的电子设备。那么,第二用户登录第二客户端后,其电子设备也可显示房间列表页面,该房间列表页面中便显示有第一用户对应的虚拟现实空间信息。第二用户可以对该虚拟现实空间信息进行触发操作(即空间共享操作),以请求加入第一用户对应的虚拟现实空间。第二用户对应的电子设备将该空间共享操作的相关信息发送至第二服务端。第二服务端为第二客户端调度第一服务端对应的负载合适的服务器(即目标服务器),并将目标服务器的服务器信息发送至第二客户端。第二客户端便可基于服务器信息连接目标服务器,以进入第一用户对应的虚拟现实空间。这样可以确保第一客户端和第二客户端共享同一虚拟现实空间,降低数据传输的延时,提高第一交互数据和第二交互数据的互通效率。
S230、基于第一交互数据和第二交互数据,调用物理引擎对第一虚拟对象和第二虚拟对象在虚拟现实空间中的交互操作进行渲染,生成并显示交互渲染结果。
其中,物理引擎是用于计算二维场景或三维场景中的物体与场景之间、物体与虚拟对象之间、物体与物体之间的运动交互和动力学,其使用对象属性(动量、扭矩或者弹性)来模拟刚体行为。本公开实施例中的物理引擎是指三维(即3D)物理引擎,其用于模拟三维场景中的虚拟对象和虚拟物体的刚体行为。
具体地,电子设备调用物理引擎来对第一虚拟对象及其第一交互数据、第二虚拟对象及其第二交互数据进行刚体运动的模拟处理,并且调用渲染引擎来渲染物理引擎的处理结果,生成交互渲染结果。之后,电子设备显示该交互渲染结果。该交互渲染结果便是第一虚拟对象和第二虚拟对象在虚拟现实空间中进行与真实交互相同的交互过程的呈现。
通过本公开实施例中的上述应用于第一客户端的基于增强现实的信息交互方法,能够在第一用户对应的第一虚拟对象和第二用户对应的第二虚拟对象共享同一虚拟现实空间的基础上,响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端,且接收第一服务端发送的第二虚拟对象对应的第二交互数据,使得第一用户对应的客户端和第二用户对应的客户端之间可以进行第一交互数据和第二交互数据的互通,从而使得每个客户端都能基于相同的第一交互数据和第二交互数据,调用3D物理引擎,分别对第一虚拟对象和第二虚拟对象对应的交互操作进行渲染,生成并显示交互渲染结果,实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了基于增强现实的互动类应用程序中虚拟世界和真实世界的结合程度,从而提高了用户体验。
在一些实施例中,上述交互数据为目标物理引擎状态信息。物理引擎状态信息是指物理引擎基于虚拟对象/虚拟物体及其交互操作而生成的刚体运动的状态相关信息,其不仅包含可直接获得的显性数据,还包含模拟物体/对象的刚体运动所产生的隐性数据。例如,对于虚拟球体的坠落,物理引擎状态信息可以包含虚拟球体坠落的位置、速度、其与地面相触的方向和弹力等等。对于虚拟对象的碰撞,物理引擎状态信息可以包含虚拟对象碰撞后的位移方向和大小、位移速度等。目标物理引擎状态信息是指用户执行交互操作后虚拟对象对应的物理引擎状态信息。这样可以直接向第一服务端中上传目标物理引擎状态信息,使得第一客户端和第二客户端对应的电子设备也可直接接收到该目标物理引擎状态信息进行渲染,避免了各客户端单独调用物理引擎来对显性的交互数据进行模拟运算而造成的各客户端所得的模拟结果间的差异性,从而进一步提高了第一客户端和第二客户端中交互渲染结果的一致性。
在一些实施例中,目标物理引擎状态信息包括历史物理引擎状态信息和当前物理引擎状态信息。当前物理引擎状态信息是当前时刻的物理引擎状态信息,即当前时刻发生交互操作产生的物理引擎状态信息。历史物理引擎状态信息是指当前时刻之前的时刻的物理引擎状态信息,即当前时刻之前的时刻发生交互操作产生的物理引擎状态信息。那么,电子设备上传至第一服务端的第一交互数据便为当前物理引擎状态信息和至少一个历史物理引擎状态信息。这样,第一服务端可根据第一虚拟对象和第二虚拟对象之前的交互操作,判断发生当前交互操作之前第一虚拟对象和第二虚拟对象各自的状态,从而判断第一虚拟对象和第二虚拟对象的当前交互操作是否存在重复、冲突等情况,继而确定是否对第一虚拟对象和第二虚拟对象分别上传的目标物理引擎状态信息进行融合处理,避免在一些特殊情况下出现两个客户端中的交互结果不一致的问题,不仅完善了交互操作连续处理的实现逻辑,而且更进一步提高了第一客户端和第二客户端中交互渲染结果的一致性。
在一些实施例中,根据上述说明,第一服务端是在判断第一交互数据和第二交互数据之间无交集时,将第一交互数据和第二交互数据透传至第一客户端和第二客户端的。那么,在第一交互数据和第二交互数据之间有交集的情况下,第一服务端需要先对两个交互数据进行处理,而后再将处理后的交互数据下发至各客户端。
基于上述说明,在将第一交互数据发送至第一服务端之后,该应用于第一客户端的基于增强现实的信息交互方法还包括:接收第一服务端发送的第一虚拟对象对应的第一融合物理引擎状态信息和第二虚拟对象对应的第二融合物理引擎状态信息。
其中,融合物理引擎状态信息是指将至少两个物理引擎状态信息进行整合(如去重、冲突处理等)所得的结果。本公开实施例中,融合物理引擎状态信息是对第一目标物理引擎状态信息和第二目标物理引擎状态信息进行整合而得到。该信息整合的过程可具体参见后续实施例的说明。
具体地,对于第一目标物理引擎状态信息和第二目标物理引擎状态信息之间存在交集的情况,例如,两个客户端对应的电子设备均检测到第一虚拟对象的相同的交互操作的情况下,第一目标物理引擎状态信息和第二目标物理引擎状态信息中会存在重复的内容;又如,第一虚拟对象执行了拉拽第二虚拟对象的交互操作,而第二虚拟对象执行了离开虚拟现实空间的交互操作,此时的两个交互操作无法形成交互过程,第一目标物理引擎状态信息和第二目标物理引擎状态信息则存在冲突的内容。第一服务端会分析两个目标物理引擎状态信息来判断出两者之间存在交集,进而整合第一目标物理引擎状态信息和第二目标物理引擎状态信息。例如,对应上述拉拽和离开的交互情况,第一服务端可以将第一目标物理引擎状态信息处理成为有拉拽动作而无拉拽的虚拟对象前移或后退的第一融合物理引擎状态信息,而维持第二虚拟对象离开虚拟现实空间的动作,即将第二目标物理引擎状态信息作为第二融合物理引擎状态信息。之后,第一服务端将第一融合物理引擎状态信息和第二融合物理引擎状态信息下发至电子设备和第二客户端对应的电子设备。相应电子设备则接收到两个融合物理引擎状态信息。
相应地,S230实现为:基于第一融合物理引擎状态信息和第二融合物理引擎状态信息,调用物理引擎对第一虚拟对象和第二虚拟对象在虚拟现实空间中的交互操作进行渲染,生成并显示交互渲染结果。即电子设备利用两个融合物理引擎状态信息来执行渲染,得到更加适合交互场景的交互渲染结果。这样的设置可以进一步提高各虚拟对象之间的交互一致性,从而更进一步提高用户体验。
在一些实施例中,在交互操作是针对虚拟现实空间中的物体的情况下,S210可实现为:响应于第一虚拟对象对虚拟现实空间中虚拟物体的交互操作,显示物体属性设置界面;响应于对物体属性设置界面的输入操作,获得虚拟物体的物体操作属性信息,并基于物体操作属性信息生成第一交互数据。
具体地,第一用户执行了对虚拟现实空间中的物体的交互操作,电子设备检测到该交互操作后,可以显示设置物体属性的界面(即物体属性设置界面)。第一用户可以在该物体属性设置界面中输入各属性的属性值。电子设备检测到第一用户的输入操作后,可获得用户输入的各属性值(即物体操作属性信息),之后便根据该物体操作属性信息来生成第一交互数据。
在一示例中,上述对虚拟现实空间中虚拟物体的交互操作为对虚拟家具的家具添加操作,那么生成第一交互数据的过程为:响应于第一虚拟对象在虚拟现实空间中增加虚拟家具的家具添加操作,显示虚拟家具的家具属性设置界面;响应于对家具属性设置界面的输入操作,获得虚拟家具的家具添加属性信息,并基于家具添加属性信息生成第一交互数据。
具体地,继续参见图4,电子设备400在虚拟现实空间中还可显示家具添加控件402。当第一用户触发(如点击)该家具添加控件402后,在虚拟现实空间的界面中出现可添加的家具选项,如图5所示。在图5中,电子设备500中显示虚拟现实空间页面501,并在该虚拟现实空间页面501中显示家具选项502,该家具选项502中包含有凳子、钢琴、微波炉、咖啡机等家具图标控件。第一用户可以触发其想要添加的家具图标控件,电子设备便可呈现家具属性设置界面。该家具属性设置界面可以是提供属性字段及其对应的输入框的界面,也可以是提供拖拽移动、修改尺寸等功能的可交互三维物体模型。第一用户通过该家具属性设置界面来输入添加的家具的位置、尺寸、样式、颜色等家具添加属性信息。电子设备接收到家具添加属性信息后,生成其对应的第一交互数据。这样可使用户根据其所处的真实环境或其喜好向虚拟现实空间中添加家具,提升用户对虚拟现实空间的可操作性,从而提升趣味性。
在另一示例中,上述对虚拟现实空间中虚拟物体的交互操作为对虚拟家具的家具删除操作,那么生成第一交互数据的过程为:响应于第一虚拟对象对虚拟现实空间中的目标虚拟家具的家具移除操作,生成第一交互数据。
具体地,第一用户触发电子设备在虚拟现实空间页面中显示的某一虚拟家具(即目标虚拟家具)后,电子设备可以在该目标虚拟家具周边显示家具删除控件。第一用户触发该家具删除控件,电子设备便可检测到第一虚拟对象对目标虚拟家具的家具移除操作,之后电子设备从虚拟现实空间中删除该目标虚拟家具的相关数据,便可生成第一交互数据。这样可使用户根据其所处的真实环境或其喜好删除虚拟现实空间中的某些家具,也能提升用户对虚拟现实空间的可操作性,从而提升趣味性。
在又一示例中,上述对虚拟现实空间中虚拟物体的交互操作为对虚拟家具的家具删除操作,那么生成第一交互数据的过程为:响应于第一虚拟对象对虚拟现实空间中的目标虚拟家具的家具修改操作,显示家具属性设置界面;响应于对家具属性设置界面的输入操作,获得目标虚拟家具的家具修改属性信息,并基于家具修改属性信息生成第一交互数据。
具体地,第一用户触发电子设备在虚拟现实空间页面中显示的目标虚拟家具后,电子设备也可以在该目标虚拟家具周边显示家具修改控件。第一用户触发该家具修改控件,电子设备便可检测到第一虚拟对象对目标虚拟家具的家具修改操作,然后,电子设备在虚拟现实空间页面的基础上,显示家具属性设置界面。第一用户通过该家具属性设置界面来输入对目标虚拟家具的某些属性的修改后的属性信息(即家具修改属性信息),如家具的位置、尺寸、样式、颜色等。之后,电子设备接收到家具修改属性信息后,生成其对应的第一交互数据。这样可使用户根据其所处的真实环境或其喜好修改虚拟现实空间中的家具的信息,也可提升用户对虚拟现实空间的可操作性,从而提升趣味性。
需要说明的是,若第二客户端实现该基于增强现实的信息交互方法,那么因其是相对于虚拟现实空间的访客,其不具有该实施例中添加、修改和删除家具的权限,即应用于第二客户端的基于增强现实的信息交互方法不具有该些实施例中的功能。
在又一示例中,上述对虚拟现实空间中虚拟物体的交互操作为对非家具类的虚拟物品的物品添加操作,那么生成第一交互数据的过程为:响应于第一虚拟对象向虚拟现实空间中添加非家具类的虚拟物品的物品添加操作,显示虚拟物品的物品属性设置界面;响应于对物品属性设置界面的输入操作,获得虚拟物品的物品添加属性信息,并基于物品添加属性信息生成第一交互数据。
具体地,继续参见图4,电子设备400在虚拟现实空间中还可显示非家具类的虚拟物品的物品添加控件403。当第一用户触发(如点击)该物品添加控件403后,电子设备便检测到第一虚拟用户对应的物品添加操作,之后在虚拟现实空间的界面中显示可添加的物品选项404,该物品选项404中可以包含有鲜花、纸团、玩具(图4未示出)等物品图标控件。第一用户可以触发其想要添加的物品图标控件,电子设备便可呈现物品属性设置界面,以提示第一用户输入该虚拟物品的一些属性信息(即物品添加属性信息),如对虚拟现实空间中的虚拟对象的留言信息、虚拟物品的显示时间、显示时长等。第一用户通过物品属性设置界面输入物品添加属性信息后,电子设备可接收到该物品添加属性信息,继而生成其对应的第一交互数据。这样可使用户在虚拟现实空间中放置礼物等物品,也可附加其留言信息,进一步增强不同用户在同一虚拟现实空间的交互性,从而进一步提升趣味性。
需要说明的是,该非家具类的虚拟物品的物品添加操作也可以是第二用户的交互操作,即应用于第二客户端的基于增强现实的信息交互方法具有该实施例的功能。
在上述向虚拟现实空间中添加非家具类的虚拟物品的实施例的基础上,该应用于第一客户端的基于增强现实的信息交互方法还包括:在显示交互渲染结果之后,且在物品添加属性信息中包含留言信息的情况下,响应于第一虚拟对象对虚拟现实空间中的虚拟物品的交互操作,显示虚拟物品的留言信息。
具体地,在向虚拟现实空间中添加了非家具类的虚拟物品且渲染显示之后,第一用户便可看到该虚拟物品。第一用户可以对虚拟物品执行触碰、拿起等交互操作。电子设备检测到该交互操作后,可显示该虚拟物品对应的留言信息。这样便可实现留言信息的交互,达到留言提醒/提示其他用户的效果,进一步增强不同用户在虚拟现实空间中的交互过程与真实用户交互过程的一致性,从而进一步提升用户体验。
在又一示例中,参见图4,电子设备400还可以在虚拟现实空间的页面中显示用于文字形式留言的文字控件405和/或用于语音形式留言/交互的语音控件406。第一用户可以通过触发该文字控件405进行文字留言。第一用户也可以通过触发语音控件406来进行语音留言或语音交互。上述文字留言、语音留言、交互的语音均可生成为第一交互数据进行各客户端之间的数据交互和渲染显示。这样可以进一步增加用户在虚拟现实空间中的交互方式,从而进一步提升趣味性和用户体验。
需要说明的是,上述各示例只是举例说明了虚拟对象在虚拟现实空间中进行了一些主动性交互操作而生成第一交互数据。对于虚拟对象在虚拟现实空间中与家具、物品等的被动性碰撞/接触的交互操作(如虚拟对象运动过程中碰到虚拟家具),也可生成第一交互数据。即,只要是虚拟现实空间中的虚拟对象、虚拟家具、虚拟物品等任一个发生变化,都可生成第一交互数据,并执行后续步骤来渲染显示,以实现虚拟现实空间及其所包含的内容的动态过程。
在一些实施例中,各客户端和第一服务端之间的信息通信基于远程过程调用技术实现。
具体地,根据上述说明,虚拟对象在虚拟现实空间中的主动性交互操作或被动性交互操作均需生成交互数据并同步,且参与同一虚拟现实空间的交互的用户数量可以有很多,那么各客户端与服务端的通信就非常频繁、且数据内容较多,而且需要为每个用户及其交互操作开发一个独立的、抽象的虚拟对象。在该情况下,为了提高开发效率以及提高通信效率,以实现实时地/近似实时地进行各客户端之间的交互数据共享和交互渲染结果的显示,本公开实施例中采用稳定、低延时、能合理地进行对象的抽象封装的通信框架,如远程过程调用(Remote Procedure Call,RPC)相关的通信框架。
本公开实施例还提供了一种应用于第一服务端的基于增强现实的信息交互方法,该方法可以由配置于第一服务端的基于增强现实的信息交互装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在具有较大的数据处理能力的电子设备中。该电子设备可以包括但不限于诸如笔记本电脑、台式电脑、服务器等。
图6示出了本公开实施例提供的一种应用于第一服务端的基于增强现实的信息交互方法的流程示意图。该方法的各实施例中与上述各实施例相同或相近的术语和步骤说明将不再赘述。如图6所示,该应用于第一服务端的基于增强现实的信息交互方法可以包括如下步骤:
S610、分别接收第一交互数据和第二交互数据;其中,第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,第二交互数据为第二虚拟对象在虚拟现实空间中进行交互操作而生成,且第一虚拟对象和第二虚拟对象共享虚拟现实空间。
具体地,第一服务端可接收来自第一客户端和第二客户端的第一交互数据和第二交互数据。
S620、将第一交互数据和第二交互数据发送至第一虚拟对象对应的第一客户端和第二虚拟对象对应的第二客户端,以使第一客户端和第二客户端分别基于第一交互数据和第二交互数据,调用物理引擎对交互操作进行渲染,生成并显示交互渲染结果。
具体地,第一服务端判断第一交互数据和第二交互数据之间无交集时,将第一交互数据和第二交互数据同步透传至第一客户端和第二客户端。这样第一客户端和第二客户端便可基于相同的交互数据进行刚体运动模拟和渲染显示。
通过本公开实施例提供的上述应用于第一服务端的基于增强显示的信息交互方法,能够作为第一客户端和第二客户端中交互数据互通的桥梁,汇总共享的虚拟现实空间对应的第一客户端和第二客户端生成的第一交互数据和第二交互数据,并将第一交互数据和第二交互数据分别下发至第一客户端和第二客户端,以使第一客户端和第二客户端基于相同的交互数据调用3D物理引擎进行交互渲染并显示相同的交互渲染结果,实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了基于增强现实的互动类应用程序中虚拟世界和真实世界的结合程度,从而提高了用户体验。
在一些实施例中,在分别接收第一交互数据和第二交互数据之后,该应用于第一服务端的基于增强现实的信息交互方法还包括:在交互数据为目标物理引擎状态信息,且确定第一目标物理引擎状态信息和第二目标物理引擎状态信息之间存在交集的情况下,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一虚拟对象对应的第一融合物理引擎状态信息和第二虚拟对象对应的第二融合物理引擎状态信息。
具体地,对于第一服务端判断第一目标物理引擎状态信息和第二目标物理引擎状态信息之间存在交集的情况。例如,两个客户端对应的电子设备均检测到第一虚拟对象的相同的交互操作的情况下,第一目标物理引擎状态信息和第二目标物理引擎状态信息中会存在重复的内容;再如,第一虚拟对象执行了拉拽第二虚拟对象的交互操作,而第二虚拟对象执行了离开虚拟现实空间的交互操作,此时的两个交互操作无法形成交互过程,第一目标物理引擎状态信息和第二目标物理引擎状态信息则存在冲突的内容。又如,第一虚拟对象和第二虚拟对象均对同一虚拟物品(如足球)执行了交互操作,第一目标物理引擎状态信息和第二目标物理引擎状态信息中会存在交叉内容等等。第一服务端会根据具体的交互操作对第一目标物理引擎状态信息和第二目标物理引擎状态信息进行整合处理,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
相应地,S620可实现为:将第一融合物理引擎状态信息和第二融合物理引擎状态信息发送至第一客户端和第二客户端。即第一服务端同步下发至第一客户端和第二客户端的数据是该第一融合物理引擎状态信息和该第二融合物理引擎状态信息。这样的设置可以进一步提高各虚拟对象之间的交互一致性,并提高虚拟对象的交互过程与真实交互过程的一致性,从而更进一步提高用户体验。
在一示例中,生成融合物理引擎状态信息可实现为:按照第一虚拟对象和第二虚拟对象对应的预设优先级,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
其中,预设优先级是预先为同一虚拟现实空间中的各虚拟对象设置的交互优先级,预设优先级越高,其交互操作越早被响应。该预设优先级可以根据用户在虚拟现实空间中的权限来设置。例如,第一用户(如房间主人)的预设优先级高于第二用户(如房间访客)的预设优先级。该预设优先级也可以根据用户进入虚拟现实空间的先后顺序来设置。例如,先进入虚拟现实空间中的用户对应的虚拟对象具有更高的预设优先级。
具体地,第一服务端中预先设置了各虚拟对象的预设优先级。当第一服务端判断第一目标物理引擎状态信息和第二目标物理引擎状态信息存在交集的情况下,第一服务端保留预设优先级较高的目标物理引擎状态信息,并根据保留的目标物理引擎状态信息来修改另一个目标物理引擎状态信息。该示例的技术方案适用于第一虚拟对象和第二虚拟对象均对同一虚拟物品(如足球)执行了交互操作的情况。
例如,对于第一虚拟对象和第二虚拟对象均执行了对同一足球的踢球操作,且第一虚拟对象的预设优先级高于第二虚拟对象的预设优先级的情况,第一服务端将第一目标物理引擎状态信息直接确定为第一融合物理引擎状态信息,然后根据第一融合物理引擎状态信息对第二目标物理引擎状态信息进行相应修改,生成第二融合物理引擎状态信息。这样,第一虚拟对象能够按照其踢球的力度和方向实现踢足球的交互,而第二虚拟对象的踢球操作的效果将远小于第一虚拟对象的踢球操作的效果。
在另一示例中,生成融合物理引擎状态信息可实现为:在第一虚拟对象和第二虚拟对象执行具有交互顺序的交互操作的情况下,按照交互顺序,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
具体地,如果第一虚拟对象和第二虚拟对象在虚拟现实空间中进行具有交互顺序的连续性交互操作,那么该两个虚拟对象同时触发的交互操作的有效性可以根据交互顺序来确定。
例如,第一虚拟对象和第二虚拟对象在虚拟现实空间中玩下棋游戏,那么交互顺序由下子顺序确定。对于第一虚拟对象执行了下子操作后,第一虚拟对象和第二虚拟对象又同时执行了下子操作的情况,第一服务端可以判定下一个该执行下子操作的是第二虚拟对象。那么,第一服务端可将第二目标物理引擎状态信息直接确定为第二融合物理引擎状态信息,而将第一目标物理引擎状态信息设置为无效。此时,第一服务端可以将第一目标物理引擎状态信息作为第一融合物理引擎状态信息中的主要信息,同时删除相关落子的信息,且向其中增加第一虚拟对象的下子操作无效、不执行落子的相关提示信息。第一服务端还可以直接忽略第一目标物理引擎状态信息,而将第一融合物理引擎状态信息设置为保持不动。这样可以确保虚拟现实空间中的交互游戏与真实交互游戏保持一致的游戏规则和交互效果。
在又一示例中,生成融合物理引擎状态信息可实现为:基于第一目标物理引擎状态信息和第二目标物理引擎状态信息中相同状态量的值或不同状态量的优先级,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
具体地,第一服务端可以预先为交互操作中的物理引擎状态信息中的各状态量设置状态量的优先级。那么,当第一虚拟对象和第二虚拟对象的交互操作分别触发了不同的状态量时,第一服务端可以根据各状态量的优先级来生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
例如,对于第一虚拟对象执行了拉拽第二虚拟对象的交互操作,同时第二虚拟对象执行了离开虚拟现实空间的交互操作,且离开操作的状态量的优先级高于在虚拟现实空间中交互的状态量的优先级的情况,第一服务端可以将第二虚拟对象第二目标物理引擎状态信息直接确定为第二融合物理引擎状态信息,以确保第二用户正常退出虚拟现实空间。然后,第一服务端在第二虚拟对象为空的状态下,修改第一目标物理引擎状态信息。例如,第一服务端可以将第一目标物理引擎状态信息处理成为有拉拽动作而无拉拽后的前移或后退等动作的第一融合物理引擎状态信息。这样可使得各虚拟对象在虚拟现实空间中的交互更加符合实际交互逻辑,进一步提高虚拟对象交互的有效性和真实性。
另外,在第一虚拟对象和第二虚拟对象的交互操作未触发不同状态量的优先级判断的情况下,如果两者的交互操作中有相同的状态量,那么第一服务端可以根据两个目标物理引擎状态信息中该状态量的值的大小关系来生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
例如,对于第一虚拟对象和第二虚拟对象均执行了对同一足球的踢球操作,且第一虚拟对象的踢球力度大于第二虚拟对象的踢球力度的情况。第一服务端可以根据第一虚拟对象的踢球力度较大,足球的运动更多地与第一虚拟对象的踢球操作相同、但会受到第二虚拟对象的踢球操作影响的实际运动规律,对第一目标物理引擎状态信息和第二目标物理引擎状态信息中的踢球力度、踢球方向等状态量进行综合运算,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。这样可使得虚拟现实空间中的交互操作与实际交互操作的运动规律保持一致,进一步提高虚拟对象交互的有效性和真实性。
图7示出了本公开实施例提供的一种配置于第一客户端的基于增强现实的信息交互装置的结构示意图。如图7所示,该配置于第一客户端的基于增强现实的信息交互装置700可以包括:
第一交互数据生成模块710,用于响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端;
第二交互数据接收模块720,用于接收第一服务端发送的第二虚拟对象对应的第二交互数据;其中,第二虚拟对象与第一虚拟对象共享虚拟现实空间;
交互渲染结果显示模块730,用于基于第一交互数据和第二交互数据,调用物理引擎对第一虚拟对象和第二虚拟对象在虚拟现实空间中的交互操作进行渲染,生成并显示交互渲染结果。
通过上述配置于第一客户端的基于增强现实的信息交互装置,能够在第一用户对应的第一虚拟对象和第二用户对应的第二虚拟对象共享同一虚拟现实空间的基础上,响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将第一交互数据发送至第一服务端,且接收第一服务端发送的第二虚拟对象对应的第二交互数据,使得第一用户对应的客户端和第二用户对应的客户端之间可以进行第一交互数据和第二交互数据的互通,从而使得每个客户端都能基于相同的第一交互数据和第二交互数据,调用3D物理引擎,分别对第一虚拟对象和第二虚拟对象对应的交互操作进行渲染,生成并显示交互渲染结果,实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了基于增强现实的互动类应用程序中虚拟世界和真实世界的结合程度,从而提高了用户体验。
在一些实施例中,交互数据为目标物理引擎状态信息。
在一些实施例中,目标物理引擎状态信息包括历史物理引擎状态信息和当前物理引擎状态信息。
在一些实施例中,该配置于第一客户端的基于增强现实的信息交互装置700还包括融合信息接收模块,用于:
在将第一交互数据发送至第一服务端之后,接收第一服务端发送的第一虚拟对象对应的第一融合物理引擎状态信息和第二虚拟对象对应的第二融合物理引擎状态信息;其中,融合物理引擎状态信息基于第一目标物理引擎状态信息和第二目标物理引擎状态信息得到;
相应地,交互渲染结果显示模块730具体用于:
基于第一融合物理引擎状态信息和第二融合物理引擎状态信息,调用物理引擎对第一虚拟对象和第二虚拟对象在虚拟现实空间中的交互操作进行渲染,生成并显示交互渲染结果。
在一些实施例中,第一交互数据生成模块710具体用于:
响应于第一虚拟对象对虚拟现实空间中虚拟物体的交互操作,显示物体属性设置界面;
响应于对物体属性设置界面的输入操作,获得虚拟物体的物体操作属性信息,并基于物体操作属性信息生成第一交互数据。
在一些实施例中,该配置于第一客户端的基于增强现实的信息交互装置700还包括空间地址发送模块,用于:
在接收第一服务端发送的第二虚拟对象对应的第二交互数据之前,将虚拟现实空间的空间地址发送至第二服务端,以使第二服务端将空间地址发送至第二虚拟对象对应的第二客户端,且响应于第二客户端的空间共享操作,为第二客户端调度第一服务端对应的目标服务器。
在一些实施例中,虚拟现实空间基于第一虚拟对象所处的现实空间构建,第一虚拟对象和第二虚拟对象分别基于第一用户和第二用户的人物属性信息构建。
需要说明的是,图7所示的配置于第一客户端的基于增强现实的信息交互装置700可以执行图2至图5所示的方法实施例中的各个步骤,并且实现图2至图5所示的方法实施例中的各个过程和效果,在此不做赘述。
图8示出了本公开实施例提供的一种配置于第一服务端的基于增强现实的信息交互装置的结构示意图。如图8所示,该配置于第一服务端的基于增强现实的信息交互装置800可以包括:
交互数据接收模块810,用于分别接收第一交互数据和第二交互数据;其中,第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,第二交互数据为第二虚拟对象在虚拟现实空间中进行交互操作而生成,且第一虚拟对象和第二虚拟对象共享虚拟现实空间;
交互数据发送模块820,用于将第一交互数据和第二交互数据发送至第一虚拟对象对应的第一客户端和第二虚拟对象对应的第二客户端,以使第一客户端和第二客户端分别基于第一交互数据和第二交互数据,调用物理引擎对交互操作进行渲染,生成并显示交互渲染结果。
通过上述配置于第一服务端的基于增强现实的信息交互装置,能够作为第一客户端和第二客户端中交互数据互通的桥梁,汇总共享的虚拟现实空间对应的第一客户端和第二客户端生成的第一交互数据和第二交互数据,并将第一交互数据和第二交互数据分别下发至第一客户端和第二客户端,以使第一客户端和第二客户端基于相同的交互数据调用3D物理引擎进行交互渲染并显示相同的交互渲染结果,实现了不同用户在虚拟现实空间中进行基于实际交互操作的交互过程,提高了基于增强现实的互动类应用程序中虚拟世界和真实世界的结合程度,从而提高了用户体验。
在一些实施例中,该配置于第一服务端的基于增强现实的信息交互装置800还包括信息融合模块,用于:
在分别接收第一交互数据和第二交互数据之后,在交互数据为目标物理引擎状态信息,且确定第一目标物理引擎状态信息和第二目标物理引擎状态信息之间存在交集的情况下,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一虚拟对象对应的第一融合物理引擎状态信息和第二虚拟对象对应的第二融合物理引擎状态信息;
相应地,交互数据发送模块820具体用于:
将第一融合物理引擎状态信息和第二融合物理引擎状态信息发送至第一客户端和第二客户端。
在一些实施例中,信息融合模块具体用于:
按照第一虚拟对象和第二虚拟对象对应的预设优先级,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息;
或者,在第一虚拟对象和第二虚拟对象执行具有交互顺序的交互操作的情况下,按照交互顺序,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息;
或者,基于第一目标物理引擎状态信息和第二目标物理引擎状态信息中相同状态量的值或不同状态量的优先级,生成第一融合物理引擎状态信息和第二融合物理引擎状态信息。
需要说明的是,图8所示的配置于第一服务端的基于增强现实的信息交互装置800可以执行图6所示的方法实施例中的各个步骤,并且实现图6所示的方法实施例中的各个过程和效果,在此不做赘述。
本公开实施例还提供了一种电子设备,该电子设备可以包括处理器和存储器,存储器可以用于存储可执行指令。其中,处理器可以用于从存储器中读取可执行指令,并执行可执行指令以实现上述任意实施例中的应用于第一客户端的基于增强现实的信息交互方法,或者应用于第一服务端的基于增强现实的信息交互方法。
在一些实施例中,在执行交互数据的生成和交互渲染结果的生成及显示等功能的情况下,该电子设备可以为图1中所示的第一客户端11或第二客户端12。在另一些实施例中,在执行交互数据汇总和下发等功能的情况下,该电子设备可以为图1中所示的第一服务端13。
图9示出了本公开实施例提供的一种电子设备的结构示意图。需要说明的是,图9示出的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,该电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有信息处理设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出接口(I/O接口)905也连接至总线904。
通常,以下装置可以连接至I/O接口905:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907;包括例如磁带、硬盘等的存储装置908;以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现本公开任意实施例中的应用于第一客户端的基于增强现实的信息交互方法,或者实现本公开任意实施例中的应用于第一服务端的基于增强现实的信息交互方法。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置909从网络上被下载和安装,或者从存储装置908被安装,或者从ROM 902被安装。在该计算机程序被处理装置901执行时,执行本公开任意实施例的应用于第一客户端的基于增强现实的信息交互方法中限定的上述功能,或者执行本公开任意实施例的应用于第一服务端的基于增强现实的信息交互方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行本公开任意实施例所说明的应用于第一客户端的基于增强现实的信息交互方法的步骤,或者执行本公开任意实施例所说明的应用于第一服务端的基于增强现实的信息交互方法的步骤。
在本公开实施例中,可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种基于增强显示的信息交互方法,其特征在于,应用于第一客户端,包括:
响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将所述第一交互数据发送至第一服务端;
接收所述第一服务端发送的第二虚拟对象对应的第二交互数据;其中,所述第二虚拟对象与所述第一虚拟对象共享所述虚拟现实空间;
基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示交互渲染结果。
2.根据权利要求1所述的方法,其特征在于,交互数据为目标物理引擎状态信息。
3.根据权利要求2所述的方法,其特征在于,所述目标物理引擎状态信息包括历史物理引擎状态信息和当前物理引擎状态信息。
4.根据权利要求2或3所述的方法,其特征在于,在所述将所述第一交互数据发送至第一服务端之后,所述方法还包括:
接收所述第一服务端发送的所述第一虚拟对象对应的第一融合物理引擎状态信息和所述第二虚拟对象对应的第二融合物理引擎状态信息;其中,融合物理引擎状态信息基于第一目标物理引擎状态信息和第二目标物理引擎状态信息得到;
所述基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示交互渲染结果包括:
基于所述第一融合物理引擎状态信息和所述第二融合物理引擎状态信息,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示所述交互渲染结果。
5.根据权利要求1所述的方法,其特征在于,所述响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据包括:
响应于所述第一虚拟对象对所述虚拟现实空间中虚拟物体的交互操作,显示物体属性设置界面;
响应于对所述物体属性设置界面的输入操作,获得所述虚拟物体的物体操作属性信息,并基于所述物体操作属性信息生成所述第一交互数据。
6.根据权利要求1所述的方法,其特征在于,在所述接收所述第一服务端发送的第二虚拟对象对应的第二交互数据之前,所述方法还包括:
将所述虚拟现实空间的空间地址发送至第二服务端,以使所述第二服务端将所述空间地址发送至所述第二虚拟对象对应的第二客户端,且响应于所述第二客户端的空间共享操作,为所述第二客户端调度所述第一服务端对应的目标服务器。
7.根据权利要求1所述的方法,其特征在于,所述虚拟现实空间基于所述第一虚拟对象所处的现实空间构建,所述第一虚拟对象和所述第二虚拟对象分别基于第一用户和第二用户的人物属性信息构建。
8.一种基于增强显示的信息交互方法,其特征在于,应用于第一服务端,包括:
分别接收第一交互数据和第二交互数据;其中,所述第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,所述第二交互数据为第二虚拟对象在所述虚拟现实空间中进行交互操作而生成,且所述第一虚拟对象和所述第二虚拟对象共享所述虚拟现实空间;
将所述第一交互数据和所述第二交互数据发送至所述第一虚拟对象对应的第一客户端和所述第二虚拟对象对应的第二客户端,以使所述第一客户端和所述第二客户端分别基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述交互操作进行渲染,生成并显示交互渲染结果。
9.根据权利要求8所述的方法,其特征在于,在所述分别接收第一交互数据和第二交互数据之后,所述方法还包括:
在交互数据为目标物理引擎状态信息,且确定第一目标物理引擎状态信息和第二目标物理引擎状态信息之间存在交集的情况下,基于所述第一目标物理引擎状态信息和所述第二目标物理引擎状态信息,生成所述第一虚拟对象对应的第一融合物理引擎状态信息和所述第二虚拟对象对应的第二融合物理引擎状态信息;
所述将所述第一交互数据和所述第二交互数据发送至所述第一虚拟对象对应的第一客户端和所述第二虚拟对象对应的第二客户端包括:
将所述第一融合物理引擎状态信息和所述第二融合物理引擎状态信息发送至所述第一客户端和所述第二客户端。
10.根据权利要求9所述的方法,其特征在于,所述基于所述第一目标物理引擎状态信息和所述第二目标物理引擎状态信息,生成所述第一虚拟对象对应的第一融合物理引擎状态信息和所述第二虚拟对象对应的第二融合物理引擎状态信息包括:
按照所述第一虚拟对象和所述第二虚拟对象对应的预设优先级,基于所述第一目标物理引擎状态信息和所述第二目标物理引擎状态信息,生成所述第一融合物理引擎状态信息和所述第二融合物理引擎状态信息;
或者,在所述第一虚拟对象和所述第二虚拟对象执行具有交互顺序的交互操作的情况下,按照所述交互顺序,基于所述第一目标物理引擎状态信息和所述第二目标物理引擎状态信息,生成所述第一融合物理引擎状态信息和所述第二融合物理引擎状态信息;
或者,基于所述第一目标物理引擎状态信息和所述第二目标物理引擎状态信息中相同状态量的值或不同状态量的优先级,生成所述第一融合物理引擎状态信息和所述第二融合物理引擎状态信息。
11.一种基于增强现实的信息交互装置,其特征在于,配置于客户端,包括:
第一交互数据生成模块,用于响应于第一虚拟对象在虚拟现实空间中的交互操作,生成第一交互数据,并将所述第一交互数据发送至第一服务端;
第二交互数据接收模块,用于接收所述第一服务端发送的第二虚拟对象对应的第二交互数据;其中,所述第二虚拟对象与所述第一虚拟对象共享所述虚拟现实空间;
交互渲染结果显示模块,用于基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述第一虚拟对象和所述第二虚拟对象在所述虚拟现实空间中的所述交互操作进行渲染,生成并显示交互渲染结果。
12.一种基于增强现实的信息交互装置,其特征在于,配置于第一服务端,包括:
交互数据接收模块,用于分别接收第一交互数据和第二交互数据;其中,所述第一交互数据为第一虚拟对象在虚拟现实空间中进行交互操作而生成,所述第二交互数据为第二虚拟对象在所述虚拟现实空间中进行交互操作而生成,且所述第一虚拟对象和所述第二虚拟对象共享所述虚拟现实空间;
交互数据发送模块,用于将所述第一交互数据和所述第二交互数据发送至所述第一虚拟对象对应的第一客户端和所述第二虚拟对象对应的第二客户端,以使所述第一客户端和所述第二客户端分别基于所述第一交互数据和所述第二交互数据,调用物理引擎对所述交互操作进行渲染,生成并显示交互渲染结果。
13.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储可执行指令;
其中,所述处理器用于从所述存储器中读取所述可执行指令,并执行所述可执行指令以实现上述权利要求1-7中任一项所述的应用于第一客户端的基于增强现实的信息交互方法,或实现上述权利要求8-10中任一项所述的应用于第一服务端的基于增强现实的信息交互方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得处理器实现上述权利要求1-7中任一项所述的应用于第一客户端的基于增强现实的信息交互方法,或实现上述权利要求8-10中任一项所述的应用于第一服务端的基于增强现实的信息交互方法。
CN202111275803.4A 2021-10-29 2021-10-29 基于增强显示的信息交互方法、装置、设备和介质 Pending CN116069154A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111275803.4A CN116069154A (zh) 2021-10-29 2021-10-29 基于增强显示的信息交互方法、装置、设备和介质
PCT/CN2022/120156 WO2023071630A1 (zh) 2021-10-29 2022-09-21 基于增强显示的信息交互方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275803.4A CN116069154A (zh) 2021-10-29 2021-10-29 基于增强显示的信息交互方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN116069154A true CN116069154A (zh) 2023-05-05

Family

ID=86160202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275803.4A Pending CN116069154A (zh) 2021-10-29 2021-10-29 基于增强显示的信息交互方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN116069154A (zh)
WO (1) WO2023071630A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193541B (zh) * 2023-11-08 2024-03-15 安徽淘云科技股份有限公司 虚拟形象交互方法、装置、终端和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180239514A1 (en) * 2015-08-14 2018-08-23 Nitin Vats Interactive 3d map with vibrant street view
CN112198959A (zh) * 2017-07-28 2021-01-08 深圳市瑞立视多媒体科技有限公司 虚拟现实交互方法、装置及系统
CN112884906A (zh) * 2021-01-11 2021-06-01 宁波诺丁汉大学 一种实现多人混合虚拟和增强现实交互的系统及方法

Also Published As

Publication number Publication date
WO2023071630A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
CN107852573B (zh) 混合现实社交交互
US8874673B2 (en) Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)
US9258337B2 (en) Inclusion of web content in a virtual environment
US9064023B2 (en) Providing web content in the context of a virtual environment
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
TW201010773A (en) Providing notification of a real-world event to a virtual universe user
US20220224983A1 (en) Video message generation method and apparatus, electronic device, and storage medium
US20230306694A1 (en) Ranking list information display method and apparatus, and electronic device and storage medium
CN112915537A (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
CN111949908A (zh) 媒体信息的处理方法、装置、电子设备及存储介质
CN111142967B (zh) 一种增强现实显示的方法、装置、电子设备和存储介质
WO2023071630A1 (zh) 基于增强显示的信息交互方法、装置、设备和介质
Punt et al. An integrated environment and development framework for social gaming using mobile devices, digital TV and Internet
JP2024073473A (ja) コンピュータプログラム、方法、及び、サーバ装置
US20230353616A1 (en) Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination
JP7244450B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
KR20220159968A (ko) 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
TWM594767U (zh) 虛擬人物直播系統
CN114189731B (zh) 赠送虚拟礼物后的反馈方法、装置、设备及存储介质
CN115908654A (zh) 基于虚拟形象的交互方法、装置、设备及存储介质
CN112468865B (zh) 一种视频处理方法、vr终端及计算机可读存储介质
CN105653492B (zh) 智能书
CN116843802A (zh) 虚拟形象的处理方法及相关产品
CN116561439A (zh) 一种社交互动方法、装置、设备及存储介质、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination