CN115578541A - 虚拟对象驱动方法及装置、设备、系统、介质和产品 - Google Patents

Abstract

本公开提供了一种虚拟对象驱动方法及装置、设备、系统、介质和产品，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案包括：响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数；以及根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

Description

虚拟对象驱动方法及装置、设备、系统、介质和产品

技术领域

本公开涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。

背景技术

虚拟对象驱动在沉浸式活动平台中有着广泛的应用，沉浸式活动平台可以支持多个体在线进行交互。但是，在一些场景下，虚拟对象驱动过程存在驱动效果不佳、交互沉浸感弱的现象。

发明内容

本公开提供了一种虚拟对象驱动方法及装置、设备、系统、介质和产品。

根据本公开的一方面，提供了一种虚拟对象驱动方法，包括：响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数；以及根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

根据本公开的另一方面，提供了一种虚拟对象驱动装置，包括：交互驱动系数确定模块，用于响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数；以及虚拟对象驱动模块，用于根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

根据本公开的另一方面，提供了一种虚拟对象驱动系统，包括：多个客户端节点，分别用于采集对应实体对象的状态数据，并将状态数据发送给对应网关节点；多个网关节点，分别用于接收对应客户端节点发送的状态数据，根据状态数据，确定对应实体对象的交互意图，并将交互意图发送给场景服务节点；以及场景服务节点，用于接收目标网关节点发送的交互意图，并将交互意图发送给其他网关节点，其他网关节点包括多个网关节点中的除目标网关节点以外的任意网关节点，多个网关节点还分别用于根据状态数据和/或交互意图驱动对应虚拟对象，得到虚拟对象基于对应虚拟空间的交互驱动效果。

根据本公开的另一方面，提供了一种虚拟对象驱动方法，包括：通过客户端节点采集第一实体对象的状态数据，并将状态数据发送给目标网关节点；通过目标网关节点基于状态数据，确定第一实体对象针对第二虚拟对象的交互意图，并将交互意图发送给场景服务节点；通过场景服务节点将交互意图发送给其他网关节点，其中，其他网关节点包括除目标网关节点以外的至少一个网关节点；以及通过各网关节点确定与第一实体对象匹配的第一虚拟对象的交互驱动系数，并根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的虚拟对象驱动方法。

根据本公开的另一方面，提供了一种虚拟对象驱动系统，包括：曲线显示设备、图像采集装置和根据上述方面所述的电子设备

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的虚拟对象驱动方法。

根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，包括计算机程序，所述计算机程序在被处理器执行时实现上述的虚拟对象驱动方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开一实施例的虚拟对象驱动方法和装置的系统架构；

图2示意性示出了根据本公开一实施例的虚拟对象驱动方法的流程图；

图3示意性示出了根据本公开另一实施例的虚拟对象驱动方法的流程图；

图4示意性示出了根据本公开一实施例的虚拟对象驱动过程的示意图；

图5示意性示出了根据本公开一实施例的曲面显示设备的示意图；

图6示意性示出了根据本公开一实施例的虚拟对象驱动系统的示意图；

图7示意性示出了根据本公开又一实施例的虚拟对象驱动方法的流程图；

图8示意性示出了根据本公开一实施例的虚拟对象驱动装置的框图；

图9示意性示出了根据本公开实施例的用于执行虚拟对象驱动的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种虚拟对象驱动方法。虚拟对象驱动方法包括：响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数，以及根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

图1示意性示出了根据本公开一实施例的虚拟对象驱动方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

根据该实施例的系统架构100可以包括场景服务器101、网络102、多个用户服务器(例如包括用户服务器103A、103B、103C和103D)和多个客户端(例如包括客户端104A、104B、104C和104D)。网络102用于在场景服务器、用户服务器和客户端之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。场景服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。

多个客户端(例如包括客户端104A、104B、104C和104D)分别用于采集对应实体对象的状态数据，并将状态数据发送给对应用户服务器。多个客户端中例如可以设置有图像采集装置和曲面显示设备。

多个用户服务器(例如包括用户服务器103A、103B、103C和103D)分别用于接收对应客户端发送的状态数据，根据状态数据，确定对应实体对象的交互意图，并将交互意图发送给场景服务器。

场景服务器用于接收目标用户服务器发送的交互意图，并将交互意图发送给其他用户服务器。目标用户服务器可以包括多个用户服务器中的任意用户服务器，其他用户服务器包括多个用户服务器中的除目标用户服务器以外的任意用户服务器。

多个用户服务器(例如包括用户服务器103A、103B、103C和103D)还分别用于根据状态数据和/或交互意图驱动对应虚拟对象，得到虚拟对象基于对应虚拟空间的交互驱动效果。

需要说明的是，本公开实施例所提供的虚拟对象驱动方法可以由用户服务器执行。相应地，本公开实施例所提供的虚拟对象驱动装置可以设置于用户服务器中。本公开实施例所提供的虚拟对象驱动方法也可以由不同于用户服务器且能够与客户端和/或用户服务器通信的服务器或服务器集群执行。相应地，本公开实施例所提供的虚拟对象驱动装置也可以设置于不同于用户服务器且能够与客户端和/或用户服务器通信的服务器或服务器集群中。

应该理解，图1中的场景服务器、网络、用户服务器和客户端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的场景服务器、网络、用户服务器和客户端。

本公开实施例提供了一种虚拟对象驱动方法，下面结合图1的系统架构，参考图2～图4来描述根据本公开示例性实施方式的虚拟对象驱动方法。本公开实施例的虚拟对象驱动方法例如可以由图1所示的用户服务器来执行。

图2示意性示出了根据本公开一实施例的虚拟对象驱动方法的流程图。

如图2所示，本公开实施例的虚拟对象驱动方法200例如可以包括操作S210～操作S220。

在操作S210，响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数。

在操作S220，根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

下面示例说明本实施例的虚拟对象驱动方法的各操作示例流程。

示例性地，响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数。交互驱动系数例如可以包括视线驱动系数、躯体驱动系数、表情驱动系数、动作驱动系数、声音驱动系数等。

例如，可以对第一实体对象进行视线追踪，得到基于视线追踪结果的状态数据，视线追踪结果可以指示第一实体对象在显示屏幕中的凝视点位置。在凝视点位置指示当前虚拟空间中的第二虚拟对象的情况下，确定第一实体对象存在针对第二虚拟对象的交互意图，进而确定与第一实体对象匹配的第一虚拟对象的交互驱动系数。当前虚拟空间可以是以第一虚拟对象为中心构建的。

或者，可以获取第一实体对象的语音数据或者文本键入数据，以作为状态数据。可以对语音数据或者文本键入数据进行关键词提取，在关键词指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定第一虚拟对象的交互驱动系数。

又或者，可以对第一实体对象进行躯体状态追踪，得到基于躯体状态追踪结果的状态数据。响应于第一实体对象的躯体正面朝向当前虚拟空间中的第二虚拟对象，确定第一实体对象存在针对第二虚拟对象的交互意图，进而确定第一虚拟对象的交互驱动系数。

交互意图例如可以包括视线交互意图、语音交互意图、动作交互意图等，本实施例对此不进行限定。

根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果。交互驱动系数与对应虚拟空间之间具有映射关系，虚拟空间可以对应以下虚拟场景类型中的至少之一：虚拟会议场景、虚拟娱乐场景、虚拟游戏场景和虚拟场馆场景，虚拟娱乐场景例如可以包括虚拟KTV场景。

示例性地，根据与多个虚拟对象匹配的多个虚拟空间，确定第一虚拟对象基于各虚拟空间的交互驱动系数。根据与各虚拟空间匹配的交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各虚拟空间的交互驱动效果。

多个虚拟空间可以构成沉浸式活动平台，沉浸式活动平台可以支持多实体对象在线进行交互，实体对象例如可以包括基于对应虚拟空间进行交互的参会人员、游戏玩家、KTV玩家、运动参与玩家、社交活动玩家、参展人员等。与实体对象匹配的虚拟对象例如可以是三维虚拟模型，虚拟对象可以是由系统随机指派的预设虚拟形象，也可以是由用户利用系统自带的捏脸系统手动捏成，也可以是根据用户上传的单张照片，利用PTA(Photo ToAvatar，照片转骨骼)技术生成。捏脸系统可采用现有技术实现，本实施例对此不进行限定。

一种示例方式，确定第一虚拟对象基于第一虚拟空间的第一交互驱动系数。根据第一交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于第一虚拟空间的第一交互驱动效果。第一虚拟空间为与第二虚拟对象匹配的三维虚拟空间，例如可以是以第二虚拟对象为中心构建的三维虚拟空间。

另一示例方式，确定第一虚拟对象基于第二虚拟空间的第二交互驱动系数。根据第二交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于第二虚拟空间的第二交互驱动效果。第二虚拟空间为与其他虚拟对象匹配的三维虚拟空间，例如可以是以其他虚拟对象为中心构建的三维虚拟空间，其他虚拟对象包括除第一虚拟对象和第二虚拟对象以外的任意虚拟对象。

在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，第二虚拟对象构成第一实体对象的交互目标对象。确定第一虚拟对象基于第一虚拟空间的第一交互驱动系数，根据第一交互驱动系数，对基于第一虚拟空间中的第一虚拟对象进行驱动，以使第一虚拟对象执行针对第二实体对象的交互动作。有利于增强第二实体对象的交互沉浸感，可以有效提升虚拟对象驱动的驱动精度，以及有效改善虚拟对象驱动的驱动效果。

其他虚拟对象不构成第一实体对象的交互目标对象。确定第一虚拟对象基于第二虚拟空间的第二交互驱动系数，根据第二交互驱动系数，对基于第二虚拟空间中的第一虚拟对象进行驱动，以使第一虚拟对象执行针对第二虚拟对象的交互动作。其他虚拟对象包括除第一虚拟对象和第二虚拟对象以外的任意虚拟对象，第二虚拟空间为与其他虚拟对象匹配的三维虚拟空间。可以有效提升其他实体对象的交互沉浸感和交互真实感，有利于提升虚拟对象驱动的易用性和可拓展性。

通过本公开实施例，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数，以及根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。可以有效提升基于虚拟空间的交互沉浸感，有利于改善虚拟对象驱动效果，增强交互操作的动态展示效果。

图3示意性示出了根据本公开另一实施例的虚拟对象驱动方法的流程图。

如图3所示，方法300例如可以包括操作S310～操作S330。

在操作S310，对第一实体对象进行视线追踪，得到基于视线追踪结果的状态数据。

在操作S320，在视线追踪结果指示第一实体对象存在针对第二虚拟对象的视线交互意图的情况下，确定第一虚拟对象的视线驱动系数，以作为交互驱动系数。

在操作S330，根据视线驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，视线驱动系数与对应虚拟空间之间具有映射关系。

下面示例说明本实施例的虚拟对象驱动方法的各操作的示例流程。

示例性地，对第一实体对象进行视线追踪，得到基于视线追踪结果的状态数据。例如，可以根据获取的第一实体对象的眼部图像，确定眼部图像中的瞳孔成像点基于屏幕坐标系的第一位置坐标，以及确定光源中心经角膜反射后在眼部图像中的光源成像点基于屏幕坐标系的第二位置坐标。根据第一位置坐标和第二位置坐标，确定光轴方向。根据光轴方向和预设光视轴方向角度差，确定视轴方向。根据视轴方向，确定第一实体对象在显示屏幕中的凝视点位置，得到基于凝视点位置的视线追踪结果。

可以有效保证视线追踪结果的准确性，有利于准确识别第一实体对象的视线交互意图，有利于改善虚拟对象驱动的驱动精度和驱动效果。

屏幕坐标系可以是以显示屏幕的中心为原点，以沿显示屏幕的水平方向、沿显示屏幕的竖直方向、垂直于显示屏幕的方向分别为x轴、y轴、z轴构建的三维立体坐标系。

可以确定瞳孔成像点位于眼部图像中的第一像素位置，根据像素位置与位置坐标之间的预设映射关系，确定瞳孔成像点基于屏幕坐标系的第一位置坐标。确定光源成像点位于眼部图像中的第二像素位置，根据像素位置与位置坐标之间的预设映射关系，确定光源成像点基于屏幕坐标系的第二位置坐标。

可以计算第一位置坐标与第二位置坐标之间的坐标差，计算基于坐标差的单位向量，以作为光轴方向的方向向量。根据光轴方向和预设的光视轴方向角度差，确定第一实体对象的视轴方向。可以将视轴方向与显示屏幕的交点位置，作为第一实体对象在显示屏幕中的凝视点位置。

在凝视点位置指示基于当前虚拟空间的第二虚拟对象的情况下，确定第一实体对象存在针对第二虚拟对象的视线交互意图。当前虚拟空间是与第一虚拟对象匹配的三维虚拟空间，例如可以是以第一虚拟对象为中心构建的三维虚拟空间。例如，响应于第一实体对象的凝视点位置与第二虚拟对象基于当前虚拟空间的显示位置之间的距离小于预设阈值，确定第一实体对象的凝视点位置指示当前虚拟空间中的第二虚拟对象，进而确定第一实体对象存在针对第二虚拟对象的视线交互意图。

与任意虚拟对象匹配的三维虚拟空间，可以是以对应虚拟对象为中心构建的。例如，可以将对应虚拟对象的所在位置作为中心位置，基于中心位置构建两个切割平面，两个切割平面之间不出现其他虚拟对象，也即其他虚拟对象分布于切割平面夹角以外的位置。通过利用切割平面对三维虚拟空间进行分割，可以实现将三维虚拟空间挤压映射到基于显示屏幕的三维观察空间，三维观察空间构成与对应虚拟对象匹配的三维虚拟空间。三维观察空间中可以显示除对应虚拟对象以外的其他虚拟对象，其他虚拟对象在三维观察空间中的显示位置例如可以是固定不重叠的。

第一虚拟对象在第一虚拟空间中的显示位置是确定的。一种示例方式，可以根据第一虚拟对象基于第一虚拟空间的第一空间位置，确定第一虚拟对象的第一视线驱动系数。根据第一视线驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的视线朝向与第一虚拟空间匹配的显示屏幕之外。第一虚拟空间是以第二虚拟对象为中心构建的。

例如，基于与第一虚拟空间匹配的显示屏幕的中心位置，根据与中心位置间隔预设距离的位于显示屏幕之外的第一目标位置，确定第一空间位置与第一目标位置间的连线与显示屏幕的交点位置。根据第一空间位置和交点位置，确定第一虚拟对象的第一视线驱动系数。根据第一视线驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的视线朝向显示屏幕中的交点位置，以使与第二虚拟对象匹配的第二实体对象产生第一虚拟对象的视线朝向第二实体对象的感觉。

可以有效实现基于虚拟空间的视线交流效果，有利于为用户提供沉浸立体式的虚拟交互体验，能够有效提升元宇宙态业中的用户交互沉浸感，有利于扩展元宇宙的使用场景和使用频次。

第一虚拟对象和第二虚拟对象在第二虚拟空间中的显示位置是确定的。另一示例方式，可以根据第一虚拟对象基于第二虚拟空间的第二空间位置和第二虚拟对象基于第二虚拟空间的第三空间位置，确定第一虚拟对象的第二视线驱动系数。根据第二视线驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的视线朝向第二虚拟空间中的第二虚拟对象。第二虚拟空间是以其他虚拟对象为中心构建的，其他虚拟对象包括除第一虚拟对象和第二虚拟对象以外的任意虚拟对象。

根据基于第二虚拟空间的第二空间位置和第三空间位置，确定第一虚拟对象的第二视线驱动系数。根据第二视线驱动系数，对第一虚拟对象进行驱动，以使与其他虚拟对象匹配的对应实体对象产生第一虚拟对象的视线朝向第二虚拟空间中的第二虚拟对象的感觉。可以有效实现虚拟对象之间的视线交流，有利于提升基于虚拟空间的交互真实感和交互沉浸感。

在视线追踪结果指示第一实体对象存在针对第二虚拟对象的视线交互意图的情况下，可以确定第一虚拟对象的躯体驱动系数，以作为交互驱动系数。躯体驱动系数例如可以包括骨骼驱动系数、关节驱动系数和肌肉驱动系数等。

第一虚拟对象在第一虚拟空间中的显示位置是确定的。一种示例方式，可以根据第一虚拟对象的躯体特征点基于第一虚拟空间的第一位置参数，确定第一虚拟对象的第一躯体驱动系数。根据第一躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向与第一虚拟空间匹配的显示屏幕之外。

可以有效提升虚拟对象驱动的驱动精度和驱动准确性，能够有效提升虚拟对象驱动的驱动效果，有利于提升基于虚拟空间的交互沉浸感。

例如，可以确定第一虚拟对象的目标运动部位，根据第一虚拟对象的躯体特征点基于第一虚拟空间的第一位置参数，确定目标运动部位的偏航角速度和俯仰角速度。偏航角速度和俯仰角速度是欧拉角的组成元素，例如，在以第一虚拟对象的头部为原点建立的坐标系中，偏航角速度可以是沿Y轴旋转的旋转值，俯仰角速度可以是沿X轴旋转的旋转值。

根据偏航角速度、预设最大偏航角阈值和预设偏航角补偿值，确定针对目标运动部位的第一骨骼控制系数。根据俯仰角速度、预设最大俯仰角阈值和预设俯仰角补偿值，确定针对目标运动部位的第二骨骼控制系数。根据第一骨骼控制系数和第二骨骼控制系数，确定第一虚拟对象的骨骼控制系数，以作为第一躯体驱动系数。根据第一躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向与第一虚拟空间匹配的显示屏幕之外。

另一示例方式，根据第一虚拟对象的躯体特征点基于第二虚拟空间的第二位置参数和第二虚拟对象的躯体特征点基于第二虚拟空间的第三位置参数，确定第一虚拟对象的第二躯体驱动系数。根据第二躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向第二虚拟空间中的第二虚拟对象。

例如，可以确定第一虚拟对象的目标运动部位，根据第一虚拟对象的躯体特征点基于第二虚拟空间的第二位置参数和第二虚拟对象的躯体特征点基于第二虚拟空间的第三位置参数，确定目标运动部位的偏航角速度和俯仰角速度。

根据偏航角速度、预设最大偏航角阈值和预设偏航角补偿值，确定针对目标运动部位的第三骨骼控制系数。根据俯仰角速度、预设最大俯仰角阈值和预设俯仰角补偿值，确定针对目标运动部位的第四骨骼控制系数。根据第三骨骼控制系数和第四骨骼控制系数，确定第一虚拟对象的骨骼控制系数，以作为第二躯体驱动系数。根据第二躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向第二虚拟空间中的第二虚拟对象。

一种示例方式，响应于获取的第一实体对象的状态数据，在状态数据包括第一实体对象的面部图像的情况下，可以基于面部图像，对第一虚拟对象进行表情驱动，得到第一虚拟对象基于各个虚拟空间的表情驱动效果。示例性地，确定第一实体对象的表情特征点基于面部图像的第一像素位置。根据第一像素位置，确定第一虚拟对象的表情驱动系数。根据表情驱动系数。对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的表情驱动效果。可以有效提升虚拟对象驱动的驱动精度，有利于改善基于虚拟空间的沉浸式交互体验和交互效率。

例如，可以根据第一实体对象的表情特征点基于面部图像的第一像素位置，确定第一实体对象的目标表情类型。根据目标表情类型，确定针对第一虚拟对象的分割表情区域的表情驱动系数，分割表情区域是第一虚拟对象中用于发生表情运动变化而产生对应表情的表情区域。可以对分割表情区域进行网格形变、骨骼驱动、混合变形(blend shape)等处理，得到第一虚拟对象基于各个虚拟空间的表情驱动效果。

例如，可以利用径向基函数，对分割表情区域进行基于面部顶点的网格形变，以使第一虚拟对象的面部顶点与第一实体对象的面部顶点保持一致。或者，可以对分割表情区域进行骨骼驱动，由于面部肌肉与骨骼进行了权重绑定，在对分割表情区域的骨骼特征点进行调节的过程中，面部肌肉可以基于绑定权重自动进行基于面部顶点的网格形变。

另一示例方式，响应于获取的第一实体对象的状态数据，在状态数据包括第一实体对象的唇动视频的情况下，可以基于唇动视频，对第一虚拟对象进行唇动驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。示例性地，确定第一实体对象的唇部特征点基于至少一个唇动视频帧的第二像素位置。根据第二像素位置，确定第一虚拟对象的第一唇动驱动系数。根据第一唇动驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。

唇部特征点例如可以是与第一实体对象的唇部形状和唇部边缘信息相关的特征点。第一虚拟对象的唇部模型例如是以面部行为编码系统作为驱动机制基础，可以根据面部行为编码系统定义的动作单位，将跟踪得到的第一实体对象的唇动信息，转换为用于驱动第一虚拟对象的唇部模型的第一唇动驱动系数。

在基于唇动视频对第一虚拟对象进行唇动驱动的过程中，可以确定针对唇动视频的质量评估值，质量评估值指示了唇动视频中的第一实体对象的唇部遮挡程度。响应于质量评估值低于预设阈值，根据获取的第一实体对象的语音数据，对语音数据进行解析，得到语音解析结果。根据语音解析结果，确定第一虚拟对象的第二唇动驱动系数。根据与第一唇动驱动系数和第二唇动驱动系数分别关联的预设权重，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。

可以有效保证虚拟对象驱动的唇动驱动效果，有利于提升基于虚拟空间的交互真实感和交互沉浸感，有利于提升元宇宙态业中的用户交互体验。

例如，在质量评估值低于预设阈值的情况下，根据获取的第一实体对象的语音数据，确定与语音数据匹配的音素序列，以作为语音解析结果。根据音素与唇形之间的预设关联关系，得到第一虚拟对象的第二唇动驱动系数。根据与第一唇动驱动系数和第二唇动驱动系数，对第一虚拟对象进行唇动驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。

另一示例方式，响应于获取的第一实体对象的状态数据，在状态数据包括第一实体对象的动作视频的情况下，可以基于动作视频，对第一虚拟对象进行动作驱动，得到第一虚拟对象基于各个虚拟空间的动作驱动效果。示例性地，可以确定第一实体对象的骨骼特征点基于至少一个动作视频帧的第三像素位置。根据第三像素位置，确定第一虚拟对象的动作驱动系数。可以根据动作驱动系数和预设驱动调节系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的动作驱动效果。

示例性地，可以基于预设拍摄视角，根据第一虚拟对象基于目标虚拟空间的动作驱动效果，录制第一虚拟对象的第三视角画面。目标虚拟空间包括各个虚拟空间中的任意虚拟空间，拍摄视角为根据虚拟场景类型和/或方位调整参数确定，方位调整参数指示了拍摄视角基于目标虚拟空间的位移参数和旋转参数。

可以有效提升虚拟对象驱动的丰富性和多样性，有利于为用户提供沉浸立体式交互体验，有利于扩展虚拟空间交互的使用场景。

可以配置第三人称视角，第三人称视角为目标虚拟空间中的第三人称虚拟摄像机的拍摄视角，可以将第三人称视角作为用于录制第一虚拟对象的第三视角画面的预设拍摄视角。获取第一虚拟对象基于目标虚拟空间的第一方位信息，根据第一方位信息和第三人称视角基于目标虚拟空间的第二方位信息，获取目标虚拟空间的场景数据和第一虚拟对象的姿态数据。根据场景数据、姿态数据和第三人称视角的第二方位信息，得到第一虚拟对象的第三视角画面。

另一示例方式，可以响应于确定第一实体对象处于预设目标状态，和/或确定第一实体对象符合预设身份条件，将第一虚拟对象在对应虚拟空间中进行标记显示。例如，响应于确定第一实体对象处于发言状态，和/或确定第一实体对象满足预设的目标身份条件，在各虚拟空间中对第一虚拟对象的头部区域进行放大显示。

可以有效改善虚拟对象驱动的驱动精度和驱动效果，可以有效提升虚拟空间交互的沉浸感和真实感，可以有效提升用户对于虚拟空间交互的参与感，能够有效提升虚拟空间交互的交互效率，以及有效扩展虚拟空间交互的应用覆盖范围。

图4示意性示出了根据本公开一实施例的虚拟对象驱动过程的示意图。

如图4所示，在驱动示意过程4A中，对第一实体对象401进行视线追踪，得到基于视线追踪结果的状态数据。状态数据指示第一实体对象401存在针对第二虚拟对象402的视线交互意图。

在驱动示意过程4B中，根据与第一实体对象401匹配的第一虚拟对象403基于第一虚拟空间的第一空间位置，确定第一虚拟对象403的第一视线驱动系数。根据第一视线驱动系数，对第一虚拟对象403进行驱动，以使第一虚拟对象403的视线朝向与第一虚拟空间匹配的显示屏幕之外，即朝向与第二虚拟对象402匹配的第二实体对象404。第一虚拟空间是以第二虚拟对象为中心构建的。

在驱动示意过程4B中，根据第一虚拟对象403基于第二虚拟空间的第二空间位置和第二虚拟对象402基于第二虚拟空间的第三空间位置，确定第一虚拟对象403的第二视线驱动系数。根据第二视线驱动系数，对第一虚拟对象403进行驱动，以使第一虚拟对象403的视线朝向第二虚拟空间中的第二虚拟对象402。

第二虚拟空间是以其他虚拟对象为中心构建的，其他虚拟对象包括除第一虚拟对象403和第二虚拟对象402以外的任意虚拟对象。其他实体对象405为与其他虚拟对象匹配的实体对象，即对第一虚拟对象403进行驱动，以使其他实体对象405产生第一虚拟对象403的视线朝向第二虚拟对象402的感觉。

可以有效提升基于虚拟空间的交互沉浸感，有利于为用户提供沉浸立体式的交互体验，能够有效提升虚拟空间交互的交互效率，有利于改善虚拟空间交互的应用覆盖范围。

本公开的实施例还提供了一种虚拟对象驱动系统。虚拟对象驱动系统包括曲面显示设备、图像采集装置和电子设备。电子设备包括至少一个处理器和与至少一个处理器通信连接的存储器。存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的虚拟对象驱动方法。

图5示意性示出了根据本公开一实施例的曲面显示设备的示意图。

如图5所示，曲面显示设备包括第一显示区域501和第二显示区域502，第一显示区域501的数量可以为1个，第二显示区域502的数量可以为2个，各第二显示区域502可以分别接续于第一显示区域501的两端。

第一显示区域501对应的第一圆心角为α，第一圆心角α大于第二显示区域对应的第二圆心角。例如，第一圆心角α可以是锐角或者直角，第二圆心角可以是0°，即第二显示区域502可以由曲面显示设备中的平面显示屏幕实现。

示例性地，曲面显示设备的边缘可以设置多个图像采集装置503，图像采集装置503用于采集实体对象的状态数据。图像采集装置503还可以设置于其他可行的位置，本实施例对此不进行限定。

曲面显示设备可以有效提升虚拟对象交互的沉浸感和空间感，有利于为虚拟对象的视线交流提供物理可能性，有利于为用户提供沉浸立体式的虚拟交互体验。

图6示意性示出了根据本公开一实施例的虚拟对象驱动系统的示意图。

如图6所示，虚拟对象驱动系统600包括多个客户端节点610、多个网关节点620和场景服务节点630。

多个客户端节点610分别用于采集对应实体对象的状态数据，并将状态数据发送给对应网关节点。

多个网关节点620分别用于接收对应客户端节点发送的状态数据，以及根据状态数据，确定对应实体对象的交互意图，并将交互意图发送给场景服务节点630。

场景服务节点630用于接收目标网关节点发送的交互意图，并将交互意图发送给其他网关节点，其他网关节点包括多个网关节点中的除目标网关节点以外的任意网关节点。场景服务节点630可以部署于一个或多个服务器。

多个网关节点620还分别用于根据状态数据和/或交互意图驱动对应虚拟对象，得到虚拟对象基于对应虚拟空间的交互驱动效果。

有利于提升虚拟空间交互的交互沉浸感，能够有效提升虚拟空间交互的交互效率，有利于实现一种沉浸立体式的虚拟交互途径。

图7示意性示出了根据本公开又一实施例的虚拟对象驱动方法的流程图。

如图7所示，方法700例如可以包括操作S710～操作S740。

在操作S710，通过客户端节点采集第一实体对象的状态数据，并将状态数据发送给目标网关节点。

在操作S720，通过目标网关节点基于状态数据，确定第一实体对象针对第二虚拟对象的交互意图，并将交互意图发送给场景服务节点。

在操作S730，通过场景服务节点将交互意图发送给其他网关节点，其中，其他网关节点包括除目标网关节点以外的至少一个网关节点。

在操作S740，通过各网关节点确定与第一实体对象匹配的第一虚拟对象的交互驱动系数，并根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果。

图8示意性示出了根据本公开一实施例的虚拟对象驱动装置的框图。

如图8所示，本发明实施例的虚拟对象驱动装置800例如包括交互驱动系数确定模块810和虚拟对象驱动模块820。

交互驱动系数确定模块810，用于响应于获取的第一实体对象的状态数据，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数；以及虚拟对象驱动模块820，用于根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。

通过本公开实施例，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与第一实体对象匹配的第一虚拟对象的交互驱动系数，以及根据交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于对应虚拟空间的交互驱动效果，交互驱动系数与对应虚拟空间之间具有映射关系。可以有效提升基于虚拟空间的交互沉浸感，有利于改善虚拟对象驱动效果，增强交互操作的动态展示效果。

根据本发明实施例，交互驱动系数确定模块包括：第一交互驱动系数确定子模块，用于确定第一虚拟对象基于第一虚拟空间的第一交互驱动系数；以及虚拟对象驱动模块包括：第一虚拟对象驱动子模块，用于根据第一交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于第一虚拟空间的第一交互驱动效果，第一虚拟空间为与第二虚拟对象匹配的三维虚拟空间。

根据本发明实施例，交互驱动系数确定模块包括：第二交互驱动系数确定子模块，用于确定第一虚拟对象基于第二虚拟空间的第二交互驱动系数；以及虚拟对象驱动模块包括：第二虚拟对象驱动子模块，用于根据第二交互驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于第二虚拟空间的第二交互驱动效果，第二虚拟空间为与其他虚拟对象匹配的三维虚拟空间，其他虚拟对象包括除第一虚拟对象和第二虚拟对象以外的任意虚拟对象。

根据本发明实施例，该装置还包括：视线追踪模块，用于对第一实体对象进行视线追踪，得到基于视线追踪结果的状态数据；交互驱动系数确定模块包括：视线驱动系数确定子模块，用于在视线追踪结果指示第一实体对象存在针对第二虚拟对象的视线交互意图的情况下，确定第一虚拟对象的视线驱动系数，以作为交互驱动系数。

根据本发明实施例，视线驱动系数确定子模块包括：第一视线驱动系数确定单元，用于根据第一虚拟对象基于第一虚拟空间的第一空间位置，确定第一虚拟对象的第一视线驱动系数；以及虚拟对象驱动模块包括：第三虚拟对象驱动子模块，用于根据第一视线驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的视线朝向与第一虚拟空间匹配的显示屏幕之外，第一虚拟空间是以第二虚拟对象为中心构建的。

根据本发明实施例，视线驱动系数确定子模块包括：第二视线驱动系数确定单元，用于根据第一虚拟对象基于第二虚拟空间的第二空间位置和第二虚拟对象基于第二虚拟空间的第三空间位置，确定第一虚拟对象的第二视线驱动系数；以及虚拟对象驱动模块包括：第四虚拟对象驱动子模块，用于根据第二视线驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的视线朝向第二虚拟空间中的第二虚拟对象，第二虚拟空间是以其他虚拟对象为中心构建的，其他虚拟对象包括除第一虚拟对象和第二虚拟对象以外的任意虚拟对象。

根据本发明实施例，在状态数据指示第一实体对象存在针对第二虚拟对象的交互意图的情况下，交互驱动系数确定模块还包括：躯体驱动系数确定子模块，用于在视线追踪结果指示第一实体对象存在针对第二虚拟对象的视线交互意图的情况下，确定第一虚拟对象的躯体驱动系数，以作为交互驱动系数。

根据本发明实施例，躯体驱动系数确定子模块包括：第一躯体驱动系数确定单元，用于根据第一虚拟对象的躯体特征点基于第一虚拟空间的第一位置参数，确定第一虚拟对象的第一躯体驱动系数；虚拟对象驱动模块包括：第五虚拟对象驱动子模块，用于根据第一躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向与第一虚拟空间匹配的显示屏幕之外。

根据本发明实施例，躯体驱动系数确定子模块包括：第二躯体驱动系数确定单元，用于根据第一虚拟对象的躯体特征点基于第二虚拟空间的第二位置参数和第二虚拟对象的躯体特征点基于第二虚拟空间的第三位置参数，确定第一虚拟对象的第二躯体驱动系数；虚拟对象驱动模块包括：第六虚拟对象驱动子模块，用于根据第二躯体驱动系数，对第一虚拟对象进行驱动，以使第一虚拟对象的躯体正面朝向第二虚拟空间中的第二虚拟对象。

根据本发明实施例，视线追踪模块包括：位置坐标确定子模块，用于根据获取的第一实体对象的眼部图像，确定眼部图像中的瞳孔成像点基于屏幕坐标系的第一位置坐标，以及确定光源中心经角膜反射后在眼部图像中的光源成像点基于屏幕坐标系的第二位置坐标；光轴方向确定子模块，用于根据第一位置坐标和第二位置坐标，确定光轴方向；视轴方向确定子模块，用于根据光轴方向和预设光视轴方向角度差，确定视轴方向；以及凝视点位置确定子模块，用于根据视轴方向，确定第一实体对象在显示屏幕中的凝视点位置，得到基于凝视点位置的视线追踪结果。

根据本发明实施例，视线驱动系数确定子模块包括：视线交互意图确定单元，用于在凝视点位置指示基于当前虚拟空间的第二虚拟对象的情况下，确定第一实体对象存在针对第二虚拟对象的视线交互意图，当前虚拟空间是以第一虚拟对象为中心构建的。

根据本发明实施例，状态数据包括第一实体对象的面部图像，装置还包括虚拟对象表情驱动模块，用于：确定第一实体对象的表情特征点基于面部图像的第一像素位置；根据第一像素位置，确定第一虚拟对象的表情驱动系数；根据表情驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的表情驱动效果。

根据本发明实施例，状态数据包括第一实体对象的唇动视频，唇动视频包括至少一个唇动视频帧，装置还包括虚拟对象唇动驱动模块，用于：确定第一实体对象的唇部特征点基于至少一个唇动视频帧的第二像素位置；根据第二像素位置，确定第一虚拟对象的第一唇动驱动系数；以及根据第一唇动驱动系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。

根据本发明实施例，虚拟对象唇动驱动模块包括：质量评估值确定子模块，用于确定针对唇动视频的质量评估值，质量评估值指示了唇动视频中的第一实体对象的唇部遮挡程度；语音数据解析子模块，用于响应于质量评估值低于预设阈值，根据获取的第一实体对象的语音数据，对语音数据进行解析，得到语音解析结果；第二唇动驱动系数确定子模块，用于根据语音解析结果，确定第一虚拟对象的第二唇动驱动系数；以及虚拟对象唇动确定子模块，用于根据与第一唇动驱动系数和第二唇动驱动系数分别关联的预设权重，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的唇动驱动效果。

根据本发明实施例，状态数据包括第一实体对象的动作视频，动作视频包括至少一个动作视频帧，装置还包括虚拟对象动作驱动模块，用于：确定第一实体对象的骨骼特征点基于至少一个动作视频帧的第三像素位置；根据第三像素位置，确定第一虚拟对象的动作驱动系数；根据动作驱动系数和预设驱动调节系数，对第一虚拟对象进行驱动，得到第一虚拟对象基于各个虚拟空间的动作驱动效果。

根据本发明实施例，该装置还包括：第三视角画面录制模块，用于基于预设拍摄视角，根据第一虚拟对象基于目标虚拟空间的动作驱动效果，录制第一虚拟对象的第三视角画面；目标虚拟空间包括各个虚拟空间中的任意虚拟空间，拍摄视角为根据虚拟场景类型和/或方位调整参数确定，方位调整参数指示了拍摄视角基于目标虚拟空间的位移参数和旋转参数。

根据本发明实施例，该装置还包括：标记显示模块，用于响应于确定第一实体对象处于预设目标状态，和/或确定第一实体对象符合预设身份条件，将第一虚拟对象在对应虚拟空间中进行标记显示。

根据本发明实施例，虚拟空间对应以下虚拟场景类型中的至少之一：虚拟会议场景、虚拟娱乐场景、虚拟游戏场景和虚拟场馆场景。

应该注意的是，本公开的技术方案中，所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示意性示出了根据本公开实施例的用于执行虚拟对象驱动的电子设备的框图。

图9示出了可以用来实施本公开实施例的示例电子设备900的示意性框图。电子设备900旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元909，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元906允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如虚拟对象驱动方法。例如，在一些实施例中，虚拟对象驱动方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元906而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的虚拟对象驱动方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行虚拟对象驱动方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与对象的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向对象显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，对象可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与对象的交互；例如，提供给对象的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自对象的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形对象界面或者网络浏览器的对象计算机，对象可以通过该图形对象界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (44)

1.一种虚拟对象驱动方法，包括：

响应于获取的第一实体对象的状态数据，在所述状态数据指示所述第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数；以及

根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，

其中，所述交互驱动系数与所述对应虚拟空间之间具有映射关系。

2.根据权利要求1所述的方法，其中，所述确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数，包括：

确定所述第一虚拟对象基于第一虚拟空间的第一交互驱动系数；以及

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第一交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于所述第一虚拟空间的第一交互驱动效果，

其中，所述第一虚拟空间为与所述第二虚拟对象匹配的三维虚拟空间。

3.根据权利要求1或2所述的方法，其中，所述确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数，包括：

确定所述第一虚拟对象基于第二虚拟空间的第二交互驱动系数；以及

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第二交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于所述第二虚拟空间的第二交互驱动效果，

其中，所述第二虚拟空间为与其他虚拟对象匹配的三维虚拟空间，所述其他虚拟对象包括除所述第一虚拟对象和所述第二虚拟对象以外的任意虚拟对象。

4.根据权利要求1所述的方法，还包括：

对所述第一实体对象进行视线追踪，得到基于视线追踪结果的所述状态数据；

所述在所述状态数据指示所述第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数，包括：

在所述视线追踪结果指示所述第一实体对象存在针对所述第二虚拟对象的视线交互意图的情况下，确定所述第一虚拟对象的视线驱动系数，以作为所述交互驱动系数。

5.根据权利要求4所述的方法，其中，所述确定所述第一虚拟对象的视线驱动系数，包括：

根据所述第一虚拟对象基于第一虚拟空间的第一空间位置，确定所述第一虚拟对象的第一视线驱动系数；以及

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第一视线驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的视线朝向与所述第一虚拟空间匹配的显示屏幕之外，

其中，所述第一虚拟空间是以所述第二虚拟对象为中心构建的。

6.根据权利要求4或5所述的方法，其中，所述确定所述第一虚拟对象的视线驱动系数，包括：

根据所述第一虚拟对象基于第二虚拟空间的第二空间位置和所述第二虚拟对象基于所述第二虚拟空间的第三空间位置，确定所述第一虚拟对象的第二视线驱动系数；以及

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第二视线驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的视线朝向所述第二虚拟空间中的所述第二虚拟对象，

其中，所述第二虚拟空间是以其他虚拟对象为中心构建的，所述其他虚拟对象包括除所述第一虚拟对象和所述第二虚拟对象以外的任意虚拟对象。

7.根据权利要求4所述的方法，其中，所述在所述状态数据指示所述第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数，还包括：

在所述视线追踪结果指示所述第一实体对象存在针对所述第二虚拟对象的所述视线交互意图的情况下，确定所述第一虚拟对象的躯体驱动系数，以作为所述交互驱动系数。

8.根据权利要求7所述的方法，其中，所述确定所述第一虚拟对象的驱体驱动系数，包括：

根据所述第一虚拟对象的躯体特征点基于第一虚拟空间的第一位置参数，确定所述第一虚拟对象的第一躯体驱动系数；

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第一躯体驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的躯体正面朝向与所述第一虚拟空间匹配的显示屏幕之外。

9.根据权利要求7或8所述的方法，其中，所述确定所述第一虚拟对象的躯体驱动系数，包括：

根据所述第一虚拟对象的躯体特征点基于第二虚拟空间的第二位置参数和所述第二虚拟对象的躯体特征点基于所述第二虚拟空间的第三位置参数，确定所述第一虚拟对象的第二躯体驱动系数；

所述根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，包括：

根据所述第二躯体驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的躯体正面朝向所述第二虚拟空间中的所述第二虚拟对象。

10.根据权利要求4所述的方法，其中，所述对所述第一实体对象进行视线追踪，得到基于视线追踪结果的所述状态数据，包括：

根据获取的所述第一实体对象的眼部图像，确定所述眼部图像中的瞳孔成像点基于屏幕坐标系的第一位置坐标，以及确定光源中心经角膜反射后在所述眼部图像中的光源成像点基于所述屏幕坐标系的第二位置坐标；

根据所述第一位置坐标和所述第二位置坐标，确定光轴方向；

根据所述光轴方向和预设光视轴方向角度差，确定视轴方向；以及

根据所述视轴方向，确定所述第一实体对象在显示屏幕中的凝视点位置，得到基于所述凝视点位置的所述视线追踪结果。

11.根据权利要求10所述的方法，还包括：

在所述凝视点位置指示基于当前虚拟空间的所述第二虚拟对象的情况下，确定所述第一实体对象存在针对所述第二虚拟对象的所述视线交互意图，

其中，所述当前虚拟空间是以所述第一虚拟对象为中心构建的。

12.根据权利要求1所述的方法，其中，所述状态数据包括所述第一实体对象的面部图像，所述方法还包括：

确定所述第一实体对象的表情特征点基于所述面部图像的第一像素位置；

根据所述第一像素位置，确定所述第一虚拟对象的表情驱动系数；

根据所述表情驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的表情驱动效果。

13.根据权利要求1所述的方法，其中，所述状态数据包括所述第一实体对象的唇动视频，所述唇动视频包括至少一个唇动视频帧，所述方法还包括：

确定所述第一实体对象的唇部特征点基于所述至少一个唇动视频帧的第二像素位置；

根据所述第二像素位置，确定所述第一虚拟对象的第一唇动驱动系数；以及

根据所述第一唇动驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的唇动驱动效果。

14.根据权利要求13所述的方法，其中，所述根据所述第一唇动驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的唇动驱动效果，包括：

确定针对所述唇动视频的质量评估值，其中，所述质量评估值指示了所述唇动视频中的所述第一实体对象的唇部遮挡程度；

响应于所述质量评估值低于预设阈值，根据获取的所述第一实体对象的语音数据，对所述语音数据进行解析，得到语音解析结果；

根据所述语音解析结果，确定所述第一虚拟对象的第二唇动驱动系数；以及

根据与所述第一唇动驱动系数和所述第二唇动驱动系数分别关联的预设权重，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的唇动驱动效果。

15.根据权利要求1所述的方法，其中，所述状态数据包括所述第一实体对象的动作视频，所述动作视频包括至少一个动作视频帧，所述方法还包括：

确定所述第一实体对象的骨骼特征点基于所述至少一个动作视频帧的第三像素位置；

根据所述第三像素位置，确定所述第一虚拟对象的动作驱动系数；

根据所述动作驱动系数和预设驱动调节系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的动作驱动效果。

16.根据权利要求15所述的方法，还包括：

基于预设拍摄视角，根据所述第一虚拟对象基于目标虚拟空间的所述动作驱动效果，录制所述第一虚拟对象的第三视角画面；

其中，所述目标虚拟空间包括所述各个虚拟空间中的任意虚拟空间，所述拍摄视角为根据虚拟场景类型和/或方位调整参数确定，所述方位调整参数指示了所述拍摄视角基于所述目标虚拟空间的位移参数和旋转参数。

17.根据权利要求1所述的方法，还包括：

响应于确定所述第一实体对象处于预设目标状态，和/或确定所述第一实体对象符合预设身份条件，将所述第一虚拟对象在对应虚拟空间中进行标记显示。

18.根据权利要求1所述的方法，其中，所述虚拟空间对应以下虚拟场景类型中的至少之一：

虚拟会议场景、虚拟娱乐场景、虚拟游戏场景和虚拟场馆场景。

19.一种虚拟对象驱动装置，包括：

交互驱动系数确定模块，用于响应于获取的第一实体对象的状态数据，在所述状态数据指示所述第一实体对象存在针对第二虚拟对象的交互意图的情况下，确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数；以及

虚拟对象驱动模块，用于根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果，

其中，所述交互驱动系数与所述对应虚拟空间之间具有映射关系。

20.根据权利要求19所述的装置，其中，所述交互驱动系数确定模块包括：

第一交互驱动系数确定子模块，用于确定所述第一虚拟对象基于第一虚拟空间的第一交互驱动系数；以及

所述虚拟对象驱动模块包括：

第一虚拟对象驱动子模块，用于根据所述第一交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于所述第一虚拟空间的第一交互驱动效果，

其中，所述第一虚拟空间为与所述第二虚拟对象匹配的三维虚拟空间。

21.根据权利要求19或20所述的装置，其中，所述交互驱动系数确定模块包括：

第二交互驱动系数确定子模块，用于确定所述第一虚拟对象基于第二虚拟空间的第二交互驱动系数；以及

所述虚拟对象驱动模块包括：

第二虚拟对象驱动子模块，用于根据所述第二交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于所述第二虚拟空间的第二交互驱动效果，

其中，所述第二虚拟空间为与其他虚拟对象匹配的三维虚拟空间，所述其他虚拟对象包括除所述第一虚拟对象和所述第二虚拟对象以外的任意虚拟对象。

22.根据权利要求19所述的装置，还包括：

视线追踪模块，用于对所述第一实体对象进行视线追踪，得到基于视线追踪结果的所述状态数据；

所述交互驱动系数确定模块包括：

视线驱动系数确定子模块，用于在所述视线追踪结果指示所述第一实体对象存在针对所述第二虚拟对象的视线交互意图的情况下，确定所述第一虚拟对象的视线驱动系数，以作为所述交互驱动系数。

23.根据权利要求22所述的装置，其中，所述视线驱动系数确定子模块包括：

第一视线驱动系数确定单元，用于根据所述第一虚拟对象基于第一虚拟空间的第一空间位置，确定所述第一虚拟对象的第一视线驱动系数；

以及，所述虚拟对象驱动模块包括：

第三虚拟对象驱动子模块，用于根据所述第一视线驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的视线朝向与所述第一虚拟空间匹配的显示屏幕之外，

其中，所述第一虚拟空间是以所述第二虚拟对象为中心构建的。

24.根据权利要求22或23所述的装置，其中，所述视线驱动系数确定子模块包括：

第二视线驱动系数确定单元，用于根据所述第一虚拟对象基于第二虚拟空间的第二空间位置和所述第二虚拟对象基于所述第二虚拟空间的第三空间位置，确定所述第一虚拟对象的第二视线驱动系数；以及

所述虚拟对象驱动模块包括：

第四虚拟对象驱动子模块，用于根据所述第二视线驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的视线朝向所述第二虚拟空间中的所述第二虚拟对象，

其中，所述第二虚拟空间是以其他虚拟对象为中心构建的，所述其他虚拟对象包括除所述第一虚拟对象和所述第二虚拟对象以外的任意虚拟对象。

25.根据权利要求22所述的装置，其中，所述在所述状态数据指示所述第一实体对象存在针对第二虚拟对象的交互意图的情况下，交互驱动系数确定模块还包括：

躯体驱动系数确定子模块，用于在所述视线追踪结果指示所述第一实体对象存在针对所述第二虚拟对象的所述视线交互意图的情况下，确定所述第一虚拟对象的躯体驱动系数，以作为所述交互驱动系数。

26.根据权利要求25所述的装置，其中，所述躯体驱动系数确定子模块包括：

第一躯体驱动系数确定单元，用于根据所述第一虚拟对象的躯体特征点基于第一虚拟空间的第一位置参数，确定所述第一虚拟对象的第一躯体驱动系数；

所述虚拟对象驱动模块包括：

第五虚拟对象驱动子模块，用于根据所述第一躯体驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的躯体正面朝向与所述第一虚拟空间匹配的显示屏幕之外。

27.根据权利要求25或26所述的装置，其中，所述躯体驱动系数确定子模块包括：

第二躯体驱动系数确定单元，用于根据所述第一虚拟对象的躯体特征点基于第二虚拟空间的第二位置参数和所述第二虚拟对象的躯体特征点基于所述第二虚拟空间的第三位置参数，确定所述第一虚拟对象的第二躯体驱动系数；

所述虚拟对象驱动模块包括：

第六虚拟对象驱动子模块，用于根据所述第二躯体驱动系数，对所述第一虚拟对象进行驱动，以使所述第一虚拟对象的躯体正面朝向所述第二虚拟空间中的所述第二虚拟对象。

28.根据权利要求22所述的装置，其中，所述视线追踪模块包括：

位置坐标确定子模块，用于根据获取的所述第一实体对象的眼部图像，确定所述眼部图像中的瞳孔成像点基于屏幕坐标系的第一位置坐标，以及确定光源中心经角膜反射后在所述眼部图像中的光源成像点基于所述屏幕坐标系的第二位置坐标；

光轴方向确定子模块，用于根据所述第一位置坐标和所述第二位置坐标，确定光轴方向；

视轴方向确定子模块，用于根据所述光轴方向和预设光视轴方向角度差，确定视轴方向；以及

凝视点位置确定子模块，用于根据所述视轴方向，确定所述第一实体对象在显示屏幕中的凝视点位置，得到基于所述凝视点位置的所述视线追踪结果。

29.根据权利要求28所述的装置，视线驱动系数确定子模块包括：

视线交互意图确定单元，用于在所述凝视点位置指示基于当前虚拟空间的所述第二虚拟对象的情况下，确定所述第一实体对象存在针对所述第二虚拟对象的所述视线交互意图，

其中，所述当前虚拟空间是以所述第一虚拟对象为中心构建的。

30.根据权利要求19所述的装置，其中，所述状态数据包括所述第一实体对象的面部图像，所述装置还包括虚拟对象表情驱动模块，用于：

确定所述第一实体对象的表情特征点基于所述面部图像的第一像素位置；

根据所述第一像素位置，确定所述第一虚拟对象的表情驱动系数；

根据所述表情驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的表情驱动效果。

31.根据权利要求19所述的装置，其中，所述状态数据包括所述第一实体对象的唇动视频，所述唇动视频包括至少一个唇动视频帧，所述装置还包括虚拟对象唇动驱动模块，用于：

确定所述第一实体对象的唇部特征点基于所述至少一个唇动视频帧的第二像素位置；

根据所述第二像素位置，确定所述第一虚拟对象的第一唇动驱动系数；以及

根据所述第一唇动驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的唇动驱动效果。

32.根据权利要求31所述的装置，其中，所述虚拟对象唇动驱动模块包括：

质量评估值确定子模块，用于确定针对所述唇动视频的质量评估值，其中，所述质量评估值指示了所述唇动视频中的所述第一实体对象的唇部遮挡程度；

语音数据解析子模块，用于响应于所述质量评估值低于预设阈值，根据获取的所述第一实体对象的语音数据，对所述语音数据进行解析，得到语音解析结果；

第二唇动驱动系数确定子模块，用于根据所述语音解析结果，确定所述第一虚拟对象的第二唇动驱动系数；以及

虚拟对象唇动确定子模块，用于根据与所述第一唇动驱动系数和所述第二唇动驱动系数分别关联的预设权重，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的唇动驱动效果。

33.根据权利要求19所述的装置，其中，所述状态数据包括所述第一实体对象的动作视频，所述动作视频包括至少一个动作视频帧，所述装置还包括虚拟对象动作驱动模块，用于：

确定所述第一实体对象的骨骼特征点基于所述至少一个动作视频帧的第三像素位置；

根据所述第三像素位置，确定所述第一虚拟对象的动作驱动系数；

根据所述动作驱动系数和预设驱动调节系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于各个虚拟空间的动作驱动效果。

34.根据权利要求33所述的装置，还包括：

第三视角画面录制模块，用于基于预设拍摄视角，根据所述第一虚拟对象基于目标虚拟空间的所述动作驱动效果，录制所述第一虚拟对象的第三视角画面；

其中，所述目标虚拟空间包括所述各个虚拟空间中的任意虚拟空间，所述拍摄视角为根据虚拟场景类型和/或方位调整参数确定，所述方位调整参数指示了所述拍摄视角基于所述目标虚拟空间的位移参数和旋转参数。

35.根据权利要求19所述的装置，还包括：

标记显示模块，用于响应于确定所述第一实体对象处于预设目标状态，和/或确定所述第一实体对象符合预设身份条件，将所述第一虚拟对象在对应虚拟空间中进行标记显示。

36.根据权利要求19所述的装置，其中，所述虚拟空间对应以下虚拟场景类型中的至少之一：

虚拟会议场景、虚拟娱乐场景、虚拟游戏场景和虚拟场馆场景。

37.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～18中任一项所述的方法。

38.一种虚拟对象驱动系统，包括：曲面显示设备、图像采集装置和根据权利要求37所述的电子设备。

39.根据权利要求38所述的系统，其中，所述曲面显示设备包括第一显示区域和第二显示区域，所述第一显示区域对应的第一圆心角大于所述第二显示区域对应的第二圆心角。

40.根据权利要求39所述的系统，其中，所述第一显示区域的数量为1个，所述第二显示区域的数量为2个，各所述第二显示区域分别接续于所述第一显示区域的两端。

41.一种虚拟对象驱动系统，包括：

多个客户端节点，分别用于采集对应实体对象的状态数据，并将所述状态数据发送给对应网关节点；

多个网关节点，分别用于接收对应客户端节点发送的所述状态数据，根据所述状态数据，确定对应实体对象的交互意图，并将所述交互意图发送给所述场景服务节点；以及

场景服务节点，用于接收目标网关节点发送的所述交互意图，并将所述交互意图发送给其他网关节点，其中，所述其他网关节点包括所述多个网关节点中的除所述目标网关节点以外的任意网关节点，

其中，所述多个网关节点还分别用于根据所述状态数据和/或所述交互意图驱动对应虚拟对象，得到所述虚拟对象基于对应虚拟空间的交互驱动效果。

42.一种虚拟对象驱动方法，包括：

通过客户端节点采集第一实体对象的状态数据，并将所述状态数据发送给目标网关节点；

通过所述目标网关节点基于所述状态数据，确定所述第一实体对象针对第二虚拟对象的交互意图，并将所述交互意图发送给场景服务节点；

通过所述场景服务节点将所述交互意图发送给其他网关节点，其中，其他网关节点包括除所述目标网关节点以外的至少一个网关节点；以及

通过各所述网关节点确定与所述第一实体对象匹配的第一虚拟对象的交互驱动系数，并根据所述交互驱动系数，对所述第一虚拟对象进行驱动，得到所述第一虚拟对象基于对应虚拟空间的交互驱动效果。

43.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1～18中任一项所述的方法。

44.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1～18中任一项所述的方法。

Images