CN118317153A - 人机交互方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种人机交互方法、装置、设备和存储介质。该方法包括：响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。本申请实施例可以通过虚拟空间的场景变换，来确保虚拟空间内发送目标虚拟对象时的多样化发送效果，增强虚拟空间内发送虚拟对象时的互动趣味性和用户互动氛围，提升观众在虚拟空间内的沉浸式体验。

Description

人机交互方法、装置、设备和存储介质

技术领域

本申请实施例涉及扩展现实(Extended Reality，简称为XR)技术领域，尤其涉及一种人机交互方法、装置、设备和存储介质。

背景技术

目前，XR技术的应用场景越来越广泛了，具体包含虚拟现实(Virtual Reality，简称为VR)、增强现实(Augmented Reality，简称为AR)和混合现实(Mixed Reality，简称为MR)等。在虚拟直播场景下，通过XR技术可以使用户能够沉浸式观看各种虚拟直播画面，例如用户可以通过佩戴头戴式显示器(Head Mounted Display，HMD)，来体验真实的直播互动场景。

通常情况下，观众可以向所喜欢的主播进行点赞、评论、赠送虚拟礼物等，来增强虚拟直播场景下的用户互动。观众向主播赠送任一虚拟礼物后的响应效果较为单一，通常是在直播间显示一条礼物赠送成功的消息即可，缺乏一定的互动趣味性。

发明内容

本申请提供一种人机交互方法、装置、设备和存储介质，实现虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内发送虚拟对象时的互动趣味性，提升观众在虚拟空间内的沉浸式体验。

第一方面，本申请实施例提供了一种人机交互方法，应用于XR设备，该方法包括：

响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；

在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。

第二方面，本申请实施例提供了一种人机交互装置，配置于XR设备，该装置包括：

场景确定模块，用于响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；

场景特效呈现模块，用于在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行本申请第一方面中提供的人机交互方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行如本申请第一方面中提供的人机交互方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令使得计算机执行如本申请第一方面中提供的人机交互方法。

通过本申请技术方案，在虚拟空间内，观众在虚拟空间内发送任一目标虚拟对象时，首先会确定目标虚拟对象的所属场景。然后，在虚拟空间内呈现该所属场景下的三维场景特效，来实现目标虚拟对象的发送。通过虚拟空间的场景变换，来确保虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内发送目标虚拟对象时的互动趣味性和用户互动氛围，提升观众在虚拟空间内的沉浸式体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人机交互方法的流程图；

图2为本申请实施例提供的在虚拟空间内发送目标虚拟对象的一种示例性示意图；

图3a为本申请实施例提供的目标虚拟对象在礼物面板内的对象图标的一种示例性示意图；

图3b为本申请实施例提供的目标虚拟对象所属场景为海底世界场景的一种示例性示意图；

图4为本申请实施例提供的在虚拟空间内呈现所属场景下的观看窗口特效的一种示例性示意图；

图5为本申请实施例提供的另一种人机交互方法的流程图；

图6a为本申请实施例提供的在虚拟空间内动态呈现目标虚拟对象所属场景下的主场景对象的一种示例性示意图；

图6b为本申请实施例提供的在虚拟空间内动态呈现目标虚拟对象所属场景下的辅助场景对象的一种示例性示意图；

图7为本申请实施例提供的在虚拟空间内通过虚拟控制器触碰任一第二类虚拟对象后的触碰特效的一种示例性示意图；

图8为本申请实施例提供的一种人机交互装置的示意图；

图9是本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了避免在虚拟空间内观众向主播发送虚拟对象时缺乏一定的互动趣味性的问题，本申请的发明构思是：观众在虚拟空间内发送任一目标虚拟对象时，会在虚拟空间内呈现该目标虚拟对象的所属场景下的三维场景特效，来实现目标虚拟对象的发送。通过虚拟空间面向不同目标虚拟对象的场景变换，来确保虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内发送虚拟对象时的互动趣味性和用户互动氛围。

图1为本申请实施例提供的一种人机交互方法的流程图，该方法可以应用于XR设备中，但不限于此。该方法可以由本申请提供的人机交互装置来执行，其中，人机交互装置可以通过任意的软件和/或硬件的方式实现。示例性地，人机交互装置可配置于AR/VR/MR等能够模拟虚拟场景的电子设备，本申请对电子设备的具体类型不作任何限制。

具体的，如图1所示，该方法可以包括如下步骤：

S110，响应于虚拟空间内任一目标虚拟对象的发送操作，确定目标虚拟对象的所属场景。

本申请中，虚拟空间可以为XR设备针对任一用户选择的某一直播场景，模拟出的相应虚拟环境，以便在虚拟空间内显示相应的直播互动信息。例如，支持主播选中某一类型的直播场景，来构建相应的虚拟直播环境，作为本申请中的虚拟空间，使得各个观众进入到该虚拟空间内来实现相应的直播互动。

其中，在虚拟空间内显示主播端的直播视频流时，该虚拟空间可以表示为主播所在的直播间。

而且，为了确保虚拟空间内观众与主播间的互动，可以在虚拟空间内设定有相应的操控屏和公屏等多个虚拟屏幕，以便于观众执行不同的直播功能。例如，在操控屏内可以显示主播信息、在线观众信息、相关直播推荐列表和当前直播的清晰度选项等信息，以便于观众执行相关的各项直播操作等。在公屏内可以显示当前直播内的各项观众评论信息、点赞、礼物赠送等，以便观众对当前直播进行相关管理。

应当理解的是，操控屏、公屏等各个虚拟屏幕均面向观众，在虚拟空间内的不同位置显示。而且，可以通过对任一虚拟屏幕的位置和样式进行调整，以防止遮挡其他虚拟屏幕。

通常情况下，针对虚拟空间内观众与主播间对于各个虚拟对象的多样化互动，如图2所示，会在虚拟空间内显示有对应的礼物入口。某一观众想要向主播发送某一虚拟对象时，首先会触发该礼物入口，例如通过手柄光标选中该礼物入口，或者控制手部模型点击该礼物入口等。在检测到该礼物入口的触发指令后，会在虚拟空间内呈现出对应的礼物面板，该礼物面板可以为围绕在观众周边的近身礼物面板。该礼物面板中存在多个虚拟对象，作为观众可赠送给主播的各个礼物，便于观众选中某一虚拟对象来发送给主播。本申请中的目标虚拟对象可以为礼物面板内支持观众发送给主播的各个虚拟礼物。

考虑到观众向主播发送的虚拟对象包括多种类型，对于普通虚拟对象的发送，在虚拟空间内直接呈现对应的发送特效即可，例如呈现虚拟对象在虚拟空间内的发送轨迹等。然而，本申请中的目标虚拟对象是指携带某一具体场景信息，需要在虚拟空间内体现场景互动的虚拟对象，例如海底世界礼物、沙漠礼物、原始森林礼物等。对于目标虚拟对象的发送，需要在虚拟空间内对该目标虚拟对象指定的场景做出响应。

所以，在观众从礼物面板中选中某一虚拟礼物，作为可交互的虚拟对象进行发送时，本申请首先会确定所选中的虚拟对象的类型，以判断该虚拟对象是否为目标虚拟对象。如果观众选中的虚拟对象为目标虚拟对象，且检测到该目标虚拟对象的发送操作，那么通过分析该目标虚拟对象的场景类型，可以确定出目标虚拟对象的所属场景，以便后续在虚拟空间内做出目标虚拟对象发送时在该所属场景下的响应效果。

作为本申请中的一种可选实现方案，为了增加观众在虚拟空间内向主播发送目标虚拟对象时的互动操作，避免通过手柄光标和Trigger键来选中任一虚拟对象时的单一互动，可以通过手柄操作或手势操作等，控制虚拟空间内模拟出的手部模型进行相应运动，来对任一目标虚拟对象执行相应的握持操作，并将目标虚拟对象投掷到虚拟空间内，来执行对应的礼物赠送操作。

所以，对于任一目标虚拟对象的发送操作，本申请可以通过下述步骤来确定：

第一步，响应于虚拟空间内手部模型面向任一目标虚拟对象的握持操作，确定手部模型握持目标虚拟对象时的运动位姿变化量。

在虚拟空间内，可以显示相应的手部模型，来控制手部模型与任一虚拟对象进行相应的互动操作，以支持观众向主播投掷一些相应的虚拟对象来实现观众与主播间的直播互动，来调动主播的直播积极性。所以，本申请可以通过控制手部模型对礼物面板上的任一目标虚拟对象进行握持，并投掷到虚拟空间内，来向主播发送该目标虚拟对象。

以目标虚拟对象为礼物面板内的某一目标礼物为例进行说明，为了增强虚拟空间内礼物赠送时的用户互动氛围，会要求手部模型在握持有任一目标礼物后，能够在虚拟空间内执行一些指示礼物赠送相关的各种运动，以便模拟出实际的礼物赠送过程，增强虚拟空间内礼物赠送的多样化互动。

因此，响应于手部模型面向任一目标礼物的握持操作，可以支持观众在XR设备内输入相应的用于指示手部模型所执行的具体运动的一些运动信息，例如操控手柄上的各个方向按键，操控手柄执行相应的运动，或者控制手部执行相应的运动手势等，均可以表示手部模型在握持有任一目标礼物后所需执行的运动。根据此类运动信息，即可生成观众面向手部模型发起的运动指令。

进而，通过解析观众面向手部模型发起的运动指令，可以确定手部模型握持有目标礼物后实际需要执行的各项运动信息，以控制手部模型握持着该目标礼物，在虚拟空间内执行相应的运动。而且，在手部模型在虚拟空间内的实际运动过程中，本申请还需要实时确定手部模型在握持有目标礼物后的运动位姿变化量，以便判断该运动位姿变化量是否满足所握持的该目标礼物的赠送触发条件。

也就是说，本申请可以从手部模型握持有任一目标对象开始，在运动过程中，实时检测该手部模型握持目标对象时的运动位姿，以确定该手部模型握持有该目标对象时具体的运动位姿变化量，准确分析是否通过手部模型对所握持的目标对象执行了投掷操作。

第二步，在运动位姿变化量满足目标虚拟对象发的发送触发条件时，确定手部模型面向目标虚拟对象发的发送操作。

为了保证目标虚拟对象在虚拟空间内的准确发送，本申请可以针对任一目标虚拟对象发的实际发送操作，可以预先为该目标虚拟对象发设定一个发送触发条件。

在本申请中，虚拟空间内的目标虚拟对象可以为可投掷礼物。可投掷礼物可以为支持手部模型在虚拟空间内通过直接投掷而成功赠送给主播的一些虚拟礼物。

在一些可实现方式中，针对目标虚拟对象的可投掷性，可以设定目标虚拟对象的发送触发条件为：手部模型在执行完一次投掷运动或连续投掷运动后处于握持取消位姿下。也就是说，通过手部模型在握持目标虚拟对象后执行的运动位姿变化量，判断手部模型是否执行过一次投掷运动或者连续投掷运动。而且，在执行完上述运动后，是否取消对该目标虚拟对象的握持，使手部模型最终处于握持取消位姿下。如果满足上述目标虚拟对象的发送触发条件，则说明通过手部模型将所握持的目标虚拟对象在虚拟空间内投掷出去，也就表示在虚拟空间内需要向主播发送该目标虚拟对象。

所以，在确定出手部模型握持目标虚拟对象后所执行的运动位姿变化量后，本申请首先确定出所握持的该目标虚拟对象的发送触发条件。然后，通过判断手部模型在握持目标虚拟对象后所执行的运动位姿变化量是否满足该目标虚拟对象的发送触发条件，来判断是否需要在虚拟空间内向主播发送该目标虚拟对象。在该运动位姿变化量满足所握持的目标虚拟对象的发送触发条件时，说明用户指示向主播发送该目标虚拟对象，以此确定出通过手部模型面向该目标虚拟对象的发送操作。

应当理解的是，本申请中任一目标虚拟对象的发送操作可以包括但不限于上述用户对于目标虚拟对象进行握持后执行的投掷操作，也可以未用户在选中某一目标虚拟对象后通过点击对应的发送控件而发起的虚拟对象发送操作。本申请对于任一目标虚拟对象的发送操作不作限定。

在一些可实现方式中，如图3a所示，本申请中目标虚拟对象在礼物面板内的对象图标(icon)可以为该目标虚拟对象所属场景下的水晶球，例如对于海底世界礼物，该对象图标可以为显示有海底世界画面的水晶球。

S120，在虚拟空间内呈现所属场景下的三维场景特效，以实现目标虚拟对象的发送。

在确定出目标虚拟对象的所属场景后，为了在虚拟空间内体现出目标虚拟对象发送时的场景互动，可以确定目标虚拟对象的所属场景下适合的三维场景特效。例如，假设目标虚拟对象为海底世界礼物，那么如图3b所示，目标虚拟对象的所属场景为海底场景，三维场景特效即可为由海水包围的存在各类海洋生物的海底世界画面。

那么，观众向主播成功赠送任一目标虚拟对象后，可以将虚拟空间的原始直播背景完全替换为目标虚拟对象所属场景下的三维场景特效，从而在虚拟空间内播放该所属场景下的三维场景特效。也就是，观众向主播发送不同场景类型的目标虚拟对象时，可以将虚拟空间原始的直播背景替换为各个目标虚拟对象所属场景下的三维场景特效，来对目标虚拟对象发送做出不同场景下的发送效果响应，使得观众向主播发送不同目标虚拟对象时，可以不断变换虚拟空间内的三维场景特效，从而提升观众在虚拟空间内发送虚拟对象时的用户互动氛围。

在一些可实现方式中，为了增强观众在虚拟空间内对于不同场景类型下的目标虚拟对象的多样化发送效果，本申请在虚拟空间内呈现所属场景下的三维场景特效时，还可以根据虚拟空间的观众视野，在虚拟空间内呈现所属场景下的观看窗口特效。

也就是说，通过分析观众在目标虚拟对象的所属场景下的真实观看效果，判断观众的观看视野是否存在遮挡或扩展需求。然后，按照观众在所属场景下的真实观看效果，可以通过在虚拟空间内呈现所属场景下的观看窗口特效，来对虚拟空间的观众视野进行相应的调整，以符合观众在所属场景下的真实观看效果。

以海底世界礼物为例，在虚拟空间内呈现海底世界画面时，考虑到在真实的海底场景下，用户通常需要佩戴潜水镜来观看海底世界画面。所以，如图4所示，可以在虚拟空间的观众视野外围增加一些边框来遮挡部分视野，从而在虚拟空间内呈现一个“潜水镜特效”，从观众视角下可以形成一种观众佩戴潜水镜来观看海底世界画面的效果。

而且，在虚拟空间内呈现所属场景下的三维场景特效时，为了确保三维场景特效的呈现多样化，本申请还会在虚拟空间内播放所属场景下的场景音效。也就是，在三维场景特效的呈现过程中，可以实时播放适合的音频。

以海底世界礼物为例，在虚拟空间内填充海水来呈现对应的海底画面时，可以播放对应的水波、海浪音效等。

此外，观众在虚拟空间内向主播成功发送任一目标虚拟对象后，目标虚拟对象的发送效果最终也会在虚拟空间内消失，以避免遮挡虚拟空间内已有的虚拟对象。而且，本申请通过在虚拟空间内呈现所属场景下的三维场景特效来体现目标虚拟对象的发送。所以，本申请可以设定三维场景特效在虚拟空间内呈现一段时间后消失，也就设定一个预设呈现上限，来表示三维场景特效在虚拟空间内的最大呈现时长。

因此，如果三维场景特效的呈现时长达到预设呈现上限，则按照三维场景特效呈现的逆向过程，在虚拟空间内取消呈现三维场景特效。

也就是说，本申请在虚拟空间内呈现目标虚拟对象所属场景下的三维场景特效后，还会实时检测该三维场景特效在虚拟空间内的呈现时长。进而，在该三维场景特效的呈现时长达到预设呈现上限时，可以在虚拟空间内执行该三维场景特效的逆向呈现过程，从而在虚拟空间内取消该三维场景特效的呈现。

在一些可实现方式中，在虚拟空间内取消呈现三维场景特效时，也可以在虚拟空间内播放所属场景下适合的呈现取消音效。

本申请实施例提供的技术方案，观众在虚拟空间内发送任一目标虚拟对象时，首先会确定目标虚拟对象的所属场景。然后，在虚拟空间内呈现该所属场景下的三维场景特效，来实现目标虚拟对象的发送。通过虚拟空间的场景变换，来确保虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内发送虚拟对象时的互动趣味性和用户互动氛围，提升观众在虚拟空间内的沉浸式体验。

作为本申请中的一种可选实现方案，为了确保虚拟空间内虚拟对象发送时通过场景变换实现的多样化发送效果，本申请可以对目标虚拟对象所属场景下的三维场景特效在虚拟空间内的具体呈现过程进行详细的解释说明。

图5为本申请实施例提供的另一种人机交互方法的流程图，该方法具体可以包括如下步骤：

S510，响应于虚拟空间内任一目标虚拟对象的发送操作，确定目标虚拟对象的所属场景。

S520，对虚拟空间内呈现的直播视频流进行识别，以确定虚拟空间的边界面和目标人物方位。

考虑到虚拟空间内通常呈现主播端的直播视频流，而观众向主播发送任一目标虚拟对象时，需要通过变换虚拟空间内的直播背景来体现该目标虚拟对象的发送效果。所以，为了确保虚拟空间内直播背景的准确变换，本申请需要对主播端的直播视频流进行相应的处理，来重新渲染该直播视频流中的背景，形成主播在目标虚拟对象的所属场景下进行直播的效果，从而通过场景变换来体现目标虚拟对象的发送效果。

本申请中，虚拟空间可以为主播所在的直播间，为了在目标虚拟对象发送时对虚拟空间的直播背景进行准确变换，首先需要确定直播间的空间大小，以便对整个虚拟空间内的背景进行全方位变换，避免场景变换不全面时产生空间割裂的感觉而影响到观众在虚拟空间内的沉浸式体验。所以，本申请在

检测到任一目标虚拟对象的发送操作后，可以从主播端的直播视频流中实时5获取在目标虚拟对象发送期间的各个直播帧。然后，采用深度识别算法，对

各个直播帧进行相应的深度检测，从而确定出每一直播帧内各个像素点的深度信息。进而，根据每一直播帧内各个像素点的深度信息，即可确定出主播所在的直播间的各个边界点，从而确定出形成虚拟空间的各个边界面。

而且，本申请中的目标人物可以为主播。

0为了避免场景变换时出现的特定场景对象遮挡住目标人物，而影响到观

众在虚拟空间内的沉浸式直播体验，本申请还可以采用相应的人像抠图算法，例如开源的Background Matting算法等，对主播端的直播视频流中在目标虚拟对象发送期间的各个直播帧进行相应的人像抠图处理，从而确定出每一直播帧内的目标人物方位。

5S530，从边界面中的落地面开始，朝着边界面中的顶面的方向，在虚拟

空间内动态呈现所属场景下的主场景对象。

考虑到各个场景通常会由多个类型的场景对象构成，来保证各个场景的多样化。而针对各个场景的整体特性，通常可以将其内的各个场景对象分为

主场景对象和辅助场景对象两种。其中，任一场景内的主场景对象可以为构0成该场景的基本场景对象，辅助场景对象可以为该场景下衍生的用于表示生

态多元化的其他场景对象。

以海底世界场景为例，主场景对象可以为海水，辅助场景对象可以为海底的各类鱼、海藻、珊瑚等。

所以，为了确保虚拟空间内目标虚拟对象发送时场景变换的准确性和有5序性，本申请首先可以从虚拟空间内的各个边界面中，查找出对应的落地面

和顶面。然后，从该落地面开始，朝着顶面的方向，不断在虚拟空间内呈现目标虚拟对象所属场景下的主场景对象，从而形成一种主场景对象在虚拟空间内不断增加而充满整个虚拟空间的效果。

以目标礼物为海底世界礼物为例，所属场景为海底世界场景，所属场景0下的主场景对象为海水。那么，在虚拟空间内动态呈现所属场景下的主场景

对象时，如图6a所示，可以是从虚拟空间内落地面开始，不断向虚拟空间涌入海水，直到海水达到顶面而充满整个虚拟空间，形成一种直播间灌满海水，使主播在海底世界进行直播的效果。

S540，根据目标人物方位，在虚拟空间内呈现所属场景下的辅助场景对象，以生成所属场景下的三维场景特效。

在虚拟空间内动态呈现出所属场景下的主场景对象后，为了确保虚拟空间内场景变换后的多元化，本申请还可以在虚拟空间内额外呈现所属场景下的各个辅助场景对象。此时，为了避免虚拟空间内的辅助场景对象对目标人物造成遮挡而影响到直播效果，本申请可以根据虚拟空间内的目标人物方位，在虚拟空间内划定出一个可支持辅助场景对象活动的安全区域，在该安全区域内辅助场景对象不会对目标人物造成遮挡。

所以，本申请可以在虚拟空间内划定出的可支持辅助场景对象活动的安全区域内，来呈现目标虚拟对象所属场景下的各个辅助场景对象，且支持各个辅助场景对象在该安全区域内进行相应的活动，从而通过在虚拟空间内呈现主场景对象和各个辅助场景对象，来在虚拟空间内呈现出目标虚拟对象所属场景下的三维场景特效，从而将虚拟空间的原始直播背景完全变换为目标虚拟对象所属场景下的三维场景特效，形成一种主播在目标礼物所属场景下进行直播的效果。

作为本申请中的一种可选实现方案，考虑到在虚拟空间内呈现所属场景下的各个辅助场景对象时，辅助场景对象可以在虚拟空间内活动，说明辅助场景对象可以在目标人物周边进行交互活动，也可以与观众进行互动。那么，本申请可以将辅助场景对象分为在目标人物周边交互活动的第一类虚拟对象和与观众进行相应互动的第二类虚拟对象。

所以，本申请中在虚拟空间内呈现所属场景下的辅助场景对象，具体可以为：根据目标人物方位，在直播视频流内添加所属场景下的第一类虚拟对象，以在虚拟空间内呈现第一类虚拟对象；在虚拟空间的互动区内呈现所属场景下的第二类虚拟对象。

也就是说，在目标虚拟对象发送期间，可以根据目标人物方位，确定主播端的直播视频流中的目标人物周边区域。然后，通过对直播视频流进行相应的图像处理，可以在直播视频流中的目标人物周边区域内编辑目标礼物所属场景下的第一类虚拟对象，并在观众端重新渲染经过编辑的直播视频流，即可在虚拟空间内呈现出各个第一类虚拟对象在目标人物周边活动的特效。

此时，由于第一类虚拟对象是对直播视频流进行重新编辑后生成的，并不支持观众通过手部模型、手柄模型等与其进行相应的互动。

而且，为了实现观众在虚拟空间内的多样化互动，本申请可以采用三维动画引擎，例如Unity引擎，在观众端创建目标礼物所属场景下的多种第二类虚拟对象。然后，为了避免对于目标人物的遮挡，可以根据目标人物方位在虚拟空间内划定出一个不遮挡目标人物的互动区。进而，在该虚拟空间的互动区内动态呈现通过三维动画引擎所创建的各个第二类虚拟对象，以支持观众对于第二类虚拟对象的便捷互动。

以目标礼物为海底世界礼物为例，所属场景为海底世界场景，所属场景下的辅助场景对象可以为各种鱼类。那么，在虚拟空间内动态呈现所属场景下的辅助场景对象时，如图6b所示，通过对直播视频流进行重新编辑，可以在直播视频流中添加多种鱼类，作为第一类虚拟对象。其中，作为第一类虚拟对象的各个鱼类可以围绕目标人物进行游动，例如从目标人物身后游出，并游到远方。而且，采用三维动画引擎也可以创建多种鱼类，并呈现在虚拟空间的互动区内，作为第二类虚拟对象。其中，作为第二类虚拟对象的各种鱼类通常会显示在直播视频流的前方，距离观众较近，支持观众通过手部模型、手柄模型等与其进行互动。

在一些可实现方式中，本申请可以根据目标人物方位对应的目标人物周边区域，确定虚拟空间的互动区，以避免第二类虚拟对象遮挡目标人物。也就是说，根据虚拟空间内的目标人物方位，可以确定出目标人物在虚拟空间内活动的周边区域。然后，在虚拟空间内除了该目标人物周边区域之外的区域内划定出一个不会遮挡目标人物的互动区。

而且，为了保证第二类虚拟对象在虚拟空间内呈现时与观众间的互动趣味性，本申请对于第二类虚拟对象在虚拟空间的互动区内的具体呈现，可以控制第二类虚拟对象从虚拟空间的视野边界区开始，在虚拟空间的互动区内朝着观众对应的虚拟角色所在的位置进行运动。

也就是说，可以从虚拟空间的视野边界区中随机确定出各个第二类虚拟对象的出生点，使得各个第二类虚拟对象从该视野边界区的各个出生点开始出现。然后，为了实现观众与第二类虚拟对象的便捷互动，可以确定出虚拟空间内以观众视角为主视角的虚拟角色所在的位置，以表示观众在虚拟空间内的位置。进而，各个第二类虚拟对象从虚拟空间的视野边界区内随机确定的某一出生点开始出现后，可以控制该第二类虚拟对象在虚拟空间的互动区内，朝着该观众对应的虚拟角色所在的位置进行运动，从而不断靠近观众，以便观众对该第二类虚拟对象进行便捷互动。而且，根据第二类虚拟对象与观众间的距离，可以自适应调整第二类虚拟对象的大小，以符合观众视角下对于远近不同的虚拟对象的真实感官要求。

示例性的，如图6b所示，在虚拟空间的视野边界区内刚出生的各种鱼类距离观众较远，所以鱼类形状较小。而从视野边界区内游到观众眼前的部分鱼类距离观众较近，所以鱼类形状会变大一些。

此外，在虚拟空间的互动区内呈现出第二类虚拟对象后，观众可以通过操控虚拟空间内的虚拟控制器来对第二类虚拟对象进行相应的互动。其中，虚拟空间内的虚拟控制器可以包括但不限于手柄模型、手部模型和观众在虚拟空间内的真实手部投影等。

在一些可实现方式中，观众通过操控虚拟控制器来触碰第二类虚拟对象，即可与第二类虚拟对象进行互动。所以，本申请可以实时确定虚拟空间内的虚拟控制器与每一第二类虚拟对象的位置，以分析虚拟控制器与每一第二类虚拟对象间的相对距离。然后，根据虚拟控制器与每一第二类虚拟对象间的相对距离大小，来实时检测虚拟控制器与任一第二类虚拟对象间是否进行触碰操作。如果虚拟控制器与某一第二类虚拟对象间的相对距离低于预设距离阈值，说明虚拟控制器与该第二类虚拟对象过近，那么可以确定虚拟控制器与该第二类虚拟对象间进行了触碰操作。

进而，响应于虚拟空间内的虚拟控制器与任一第二类虚拟对象的触碰操作，可以在虚拟空间内呈现该第二类虚拟对象的触碰特效。也就是，观众操控虚拟控制器触碰了任一第二类虚拟对象后，可以控制该第二类虚拟对象在虚拟空间内做出相应的触碰反馈，从而在虚拟空间内呈现出该第二类虚拟对象的触碰特效。

以海底世界场景下呈现的各种鱼类，作为第二类虚拟对象为例，如图7所示，观众可以操控手部模型来触碰作为第二类虚拟对象的各种鱼类。观众通过手部模型触碰某一鱼类后，可以在虚拟空间内呈现出该鱼类改变游动方向而朝着远离观众的方向继续游动的触碰特效。

S550，控制辅助场景对象按照预设间隔面向目标人物执行对应的互动操作。

在虚拟空间内呈现出目标虚拟对象所属场景下的各个辅助场景对象后，为了模拟各个辅助场景对象在所属场景下的真实互动效果，本申请可以为各个辅助场景对象设定一个预设间隔。然后，在虚拟空间内，可以控制各个辅助场景对象每经过该预设间隔后，便面向目标人物执行一次预先设定的互动操作，从而增强虚拟空间内虚拟对象发送时的互动趣味性。

以辅助场景对象为海底世界场景下的各种鱼类为例，本申请中控制辅助场景对象面向目标人物执行的互动操作可以为控制各个鱼类每隔一段时间，便朝着目标人物吐一次泡泡或者爱心等。

作为本申请中的一种可选实现方案，对于辅助场景对象中的第一类虚拟对象，由于第一类虚拟对象是添加在直播视频流中的，所以本申请可以通过在直播视频流中每隔预设间隔，便插入一个补充增强信息(Supplemental Enhancement Information，简称为SEI)，来指示第一类虚拟对象面向主播执行一次预设定的互动操作。而对于辅助场景对象中的第二类虚拟对象，由于第二类虚拟对象是由三维动画引擎所创建的，所以可以通过三维动画引擎为每个第二类虚拟对象设定好预设间隔和每次执行的互动操作。

本申请实施例提供的技术方案，观众在虚拟空间内发送任一目标虚拟对象时，首先会确定目标虚拟对象的所属场景。然后，通过在虚拟空间内动态呈现该所属场景下的主场景对象和辅助场景对象，来生成该所属场景下的三维场景特效，来实现目标虚拟对象的发送。通过虚拟空间的场景变换，来确保虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内虚拟对象发送的互动趣味性和用户互动氛围，提升观众在虚拟空间内的沉浸式体验。

图8为本申请实施例提供的一种人机交互装置的示意图，该人机交互装置800可以配置于XR设备中，该人机交互装置800包括：

场景确定模块810，用于响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；

场景特效呈现模块820，用于在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。

在一些可实现方式中，场景特效呈现模块820，可以包括：

视频流识别单元，用于对所述虚拟空间内呈现的直播视频流进行识别，以确定所述虚拟空间的边界面和目标人物方位；

主对象呈现单元，用于从所述边界面中的落地面开始，朝着所述边界面中的顶面的方向，在所述虚拟空间内动态呈现所述所属场景下的主场景对象；

辅助对象呈现单元，用于根据所述目标人物方位，在所述虚拟空间内呈现所述所属场景下的辅助场景对象，以生成所述所属场景下的三维场景特效。

在一些可实现方式中，辅助对象呈现单元，可以具体用于：

根据所述目标人物方位，在所述直播视频流内添加所述所属场景下的第一类虚拟对象，以在所述虚拟空间内呈现所述第一类虚拟对象；

，在所述虚拟空间的互动区内呈现所述所属场景下的第二类虚拟对象。

在一些可实现方式中，该场景特效呈现模块820，还可以包括：

互动区确定单元，用于根据所述目标人物方位对应的目标人物周边区域，确定所述虚拟空间的互动区，以避免所述第二类虚拟对象遮挡目标人物。

在一些可实现方式中，辅助对象呈现单元，可以具体用于：

控制所述第二类虚拟对象从所述虚拟空间的视野边界区开始，在所述虚拟空间的互动区内朝着观众对应的虚拟角色所在的位置进行运动。

在一些可实现方式中，该场景特效呈现模块820，还可以包括：

触碰特效呈现单元，用于响应于所述虚拟空间内的虚拟控制器与所述第二类虚拟对象的触碰操作，在所述虚拟空间内呈现所述第二类虚拟对象的触碰特效。

在一些可实现方式中，该场景特效呈现模块820，还可以包括：

互动单元，用于控制所述辅助场景对象按照预设间隔面向目标人物执行对应的互动操作。

在一些可实现方式中，该人机交互装置800，还可以包括：

窗口特效呈现模块，用于根据所述虚拟空间的观众视野，在所述虚拟空间内呈现所述所属场景下的观看窗口特效。

在一些可实现方式中，该人机交互装置800，还可以包括：

场景音效播放模块，用于在所述虚拟空间内播放所述所属场景下的场景音效。

在一些可实现方式中，该人机交互装置800，还可以包括：

场景特效取消模块，用于如果所述三维场景特效的呈现时长达到预设呈现上限，则按照所述三维场景特效呈现的逆向过程，在所述虚拟空间内取消呈现所述三维场景特效。

在一些可实现方式中，所述虚拟空间内任一目标虚拟对象的发送操作，可以通过发送操作确定模块来确定。该发送操作确定模块，可以用于：

响应于所述虚拟空间内手部模型面向任一目标虚拟对象的握持操作，确定所述手部模型握持所述目标虚拟对象时的运动位姿变化量；

在所述运动位姿变化量满足所述目标虚拟对象的发送触发条件时，确定所述手部模型面向所述目标虚拟对象的发送操作。

本申请实施例中，观众在虚拟空间内发送任一目标虚拟对象时，首先会确定目标虚拟对象的所属场景。然后，在虚拟空间内呈现该所属场景下的三维场景特效，来实现目标虚拟对象的发送。通过虚拟空间的场景变换，来确保虚拟空间内目标虚拟对象发送时的多样化发送效果，增强虚拟空间内虚拟对象发送的互动趣味性和用户互动氛围，提升观众在虚拟空间内的沉浸式体验。

应理解的是，该装置实施例与本申请中的方法实施例可以相互对应，类似的描述可以参照本申请中的方法实施例。为避免重复，此处不再赘述。

具体地，图8所示的装置800可以执行本申请提供的任一方法实施例，并且图8所示的装置800中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的上述方法实施例。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图9是本申请实施例提供的电子设备的示意性框图。

如图9所示，该电子设备900可包括：

存储器910和处理器920，该存储器910用于存储计算机程序，并将该程序代码传输给该处理器920。换言之，该处理器920可以从存储器910中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器920可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器920可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器910包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器910中，并由该处理器920执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备900的执行过程。

如图9所示，该电子设备还可包括：

收发器930，该收发器930可连接至该处理器920或存储器910。

其中，处理器920可以控制该收发器930与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器930可以包括发射机和接收机。收发器930还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备900中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。

本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (15)

1.一种人机交互方法，其特征在于，应用于扩展现实XR设备，所述方法包括：

响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；

在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。

2.根据权利要求1所述的方法，其特征在于，所述在所述虚拟空间内呈现所述所属场景下的三维场景特效，包括：

对所述虚拟空间内呈现的直播视频流进行识别，以确定所述虚拟空间的边界面和目标人物方位；

从所述边界面中的落地面开始，朝着所述边界面中的顶面的方向，在所述虚拟空间内动态呈现所述所属场景下的主场景对象；

根据所述目标人物方位，在所述虚拟空间内呈现所述所属场景下的辅助场景对象，以生成所述所属场景下的三维场景特效。

3.根据权利要求2所述的方法，其特征在于，所述在所述虚拟空间内呈现所述所属场景下的辅助场景对象，包括：

根据所述目标人物方位，在所述直播视频流内添加所述所属场景下的第一类虚拟对象，以在所述虚拟空间内呈现所述第一类虚拟对象；

在所述虚拟空间的互动区内呈现所述所属场景下的第二类虚拟对象。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述目标人物方位对应的目标人物周边区域，确定所述虚拟空间的互动区，以避免所述第二类虚拟对象遮挡目标人物。

5.根据权利要求3所述的方法，其特征在于，所述在所述虚拟空间的互动区内呈现所述所属场景下的第二类虚拟对象，包括：

控制所述第二类虚拟对象从所述虚拟空间的视野边界区开始，在所述虚拟空间的互动区内朝着观众对应的虚拟角色所在的位置进行运动。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于所述虚拟空间内的虚拟控制器与所述第二类虚拟对象的触碰操作，在所述虚拟空间内呈现所述第二类虚拟对象的触碰特效。

7.根据权利要求2所述的方法，其特征在于，在所述虚拟空间内呈现所述所属场景下的辅助场景对象之后，还包括：

控制所述辅助场景对象按照预设间隔面向目标人物执行对应的互动操作。

8.根据权利要求1所述的方法，其特征在于，在所述虚拟空间内呈现所述所属场景下的三维场景特效时，还包括：

根据所述虚拟空间的观众视野，在所述虚拟空间内呈现所述所属场景下的观看窗口特效。

9.根据权利要求1所述的方法，其特征在于，在所述虚拟空间内呈现所述所属场景下的三维场景特效时，还包括：

在所述虚拟空间内播放所述所属场景下的场景音效。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述三维场景特效的呈现时长达到预设呈现上限，则按照所述三维场景特效呈现的逆向过程，在所述虚拟空间内取消呈现所述三维场景特效。

11.根据权利要求1所述的方法，其特征在于，所述虚拟空间内任一目标虚拟对象的发送操作，通过下述步骤确定：

响应于所述虚拟空间内手部模型面向任一目标虚拟对象的握持操作，确定所述手部模型握持所述目标虚拟对象时的运动位姿变化量；

在所述运动位姿变化量满足所述目标虚拟对象的发送触发条件时，确定所述手部模型面向所述目标虚拟对象的发送操作。

12.一种人机交互装置，其特征在于，配置于扩展现实XR设备，所述装置包括：

场景确定模块，用于响应于虚拟空间内任一目标虚拟对象的发送操作，确定所述目标虚拟对象的所属场景；

场景特效呈现模块，用于在所述虚拟空间内呈现所述所属场景下的三维场景特效，以实现所述目标虚拟对象的发送。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的人机交互方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的人机交互方法。

15.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行权利要求1-11任一项所述的人机交互方法。