CN114356090B - 一种控制方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种控制方法、装置、计算机设备及存储介质，其中，该方法包括：获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

Description

一种控制方法、装置、计算机设备及存储介质

技术领域

本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种控制方法、装置、计算机设备及存储介质。

背景技术

在虚拟直播等场景下，真实人物可以控制虚拟角色执行相关动作，并将虚拟角色渲染显示出。在一些情况下，在对虚拟角色进行渲染显示时，可以将虚拟角色以AR的形式展示出，但由于虚拟角色并不在现实场景中实际存在，因此仅能呈现出虚拟角色处于现实场景中的效果，虚拟角色并不能操控现实场景中的物品，这种方式下虚拟角色与现实场景之间的交互性较差。

发明内容

本公开实施例至少提供一种控制方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种控制方法，用于控制展示增强现实AR场景的场景画面；所述场景画面中包含现实场景对象和虚拟对象；所述虚拟对象的实时行为受控于虚拟角色控制对象的行为数据；所述控制方法包括：获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

一种可选的实施方式中，所述获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据，包括：获取通过行为捕捉设备捕捉的所述虚拟角色控制对象的行为数据，以及所述虚拟角色控制对象所操控的所述第一现实场景对象的状态变化数据；所述行为数据包括捕捉的动作数据和/或音频数据；将所述虚拟角色控制对象的行为数据和所述第一现实场景对象的状态变化数据作为所述第一交互行为数据。

一种可选的实施方式中，基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息，包括：基于所述第一交互行为数据中指示的所述虚拟角色控制对象的行为数据，生成控制所述虚拟对象的行为数据的第一控制信息，以及，基于所述第一交互行为数据中指示的所述第一现实场景对象的状态变化数据，生成控制所述第二现实场景对象进行状态变化的第二控制信息；将所述第一控制信息和所述第二控制信息作为控制所述虚拟对象与所述第二现实场景对象之间执行第二交互行为的控制信息；所述基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为，包括：基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更；所述虚拟对象的行为和所述第二现实场景对象发生的所述第一状态变更构成所述第二交互行为。

一种可选的实施方式中，根据以下步骤确定所述第二现实场景中的第二现实场景对象：确定所述虚拟对象在所述第一控制信息的驱动下所操控的第二现实场景中的对象，将该对象作为所述第二现实场景对象。

一种可选的实施方式中，根据以下步骤确定所述第二现实场景中的第二现实场景对象：识别所述第二现实场景中的各个现实场景对象的对象类型信息；将对应的所述对象类型信息与所述第一现实场景对象匹配的现实场景对象作为所述第二现实场景对象。

一种可选的实施方式中，所述第二现实场景中还存在与所述第二现实场景对象关联的至少一个第三现实场景对象；所述方法还包括：在基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更的同时，控制所述第三现实场景对象进行与所述第一状态变更匹配的第二状态变更。

一种可选的实施方式中，所述第二现实场景画面为直播画面；所述方法还包括：获取直播观众的目标弹幕信息；基于所述目标弹幕信息中指示的针对所述第二现实场景对象的控制操作，在所述第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第三交互行为。

一种可选的实施方式中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为之后，所述方法还包括：响应所述第二交互行为满足预设条件，获取第三现实场景的现实场景图像；在所述第二现实场景画面中，控制与所述第二现实场景对象关联的第四现实场景对象展示所述第三现实场景的现实场景图像。

第二方面，本公开实施例还提供一种控制装置，包括：获取模块，用于获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；生成模块，用于基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；控制模块，用于基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

一种可选的实施方式中，所述获取模块在获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据时，用于：获取通过行为捕捉设备捕捉的所述虚拟角色控制对象的行为数据，以及所述虚拟角色控制对象所操控的所述第一现实场景对象的状态变化数据；所述行为数据包括捕捉的动作数据和/或音频数据；将所述虚拟角色控制对象的行为数据和所述第一现实场景对象的状态变化数据作为所述第一交互行为数据。

一种可选的实施方式中，所述生成模块在基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息时，用于：基于所述第一交互行为数据中指示的所述虚拟角色控制对象的行为数据，生成控制所述虚拟对象的行为数据的第一控制信息，以及，基于所述第一交互行为数据中指示的所述第一现实场景对象的状态变化数据，生成控制所述第二现实场景对象进行状态变化的第二控制信息；将所述第一控制信息和所述第二控制信息作为控制所述虚拟对象与所述第二现实场景对象之间执行第二交互行为的控制信息；所述控制模块在基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为时，用于：基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更；所述虚拟对象的行为和所述第二现实场景对象发生的所述第一状态变更构成所述第二交互行为。

一种可选的实施方式中，所述生成模块根据以下步骤确定所述第二现实场景中的第二现实场景对象：确定所述虚拟对象在所述第一控制信息的驱动下所操控的第二现实场景中的对象，将该对象作为所述第二现实场景对象。

一种可选的实施方式中，所述生成模块根据以下步骤确定所述第二现实场景中的第二现实场景对象：识别所述第二现实场景中的各个现实场景对象的对象类型信息；将对应的所述对象类型信息与所述第一现实场景对象匹配的现实场景对象作为所述第二现实场景对象。

一种可选的实施方式中，所述第二现实场景中还存在与所述第二现实场景对象关联的至少一个第三现实场景对象；所述控制模块还用于：在基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更的同时，控制所述第三现实场景对象进行与所述第一状态变更匹配的第二状态变更。

一种可选的实施方式中，所述第二现实场景画面为直播画面；所述控制装置还包括，处理模块，用于：获取直播观众的目标弹幕信息；基于所述目标弹幕信息中指示的针对所述第二现实场景对象的控制操作，在所述第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第三交互行为。

一种可选的实施方式中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为之后，所述控制模块还用于：响应所述第二交互行为满足预设条件，获取第三现实场景的现实场景图像；在所述第二现实场景画面中，控制与所述第二现实场景对象关联的第四现实场景对象展示所述第三现实场景的现实场景图像。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述控制装置、计算机设备、及计算机可读存储介质的效果描述参见上述控制方法的说明，这里不再赘述。

本公开实施例提供的一种控制方法、装置、计算机设备及存储介质，在获取到虚拟角色控制对象对第一现实场景对象的第一交互行为数据后，可以相应的确定虚拟对象对第二现实场景对象的控制信息，以利用控制信息控制展示虚拟对象与第二现实场景对象之间的第二交互行为。这样，虚拟角色控制对象在第一现实场景中控制第一现实场景对象时，可以同步地显示出该虚拟角色控制对象所对应的虚拟角色控制对应的第二现实场景对象的效果，因此可以提高虚拟角色与现实场景之间的交互性，进一步增强现实场景中虚拟角色的行为真实感。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例提供的一种控制方法的流程图；

图2为本公开实施例提供的一种第一现实场景的示意图；

图3为本公开实施例提供的一种第二现实场景的示意图；

图4为本公开实施例提供的一种确定第二现实场景画面的示意图；

图5为本公开实施例提供的一种控制第四现实场景对象展示第三现实场景的现实场景时的示意图；

图6为本公开实施例提供的一种控制装置的示意图；

图7为本公开实施例提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

利用AR技术可以控制虚拟角色渲染显示在现实场景的场景画面上，而虚拟角色场景画面上显示时，由于虚拟角色并不能实际操控现实场景中的现实场景对象，比如虚拟角色并不能实际对现实场景中的电器进行操作，因此也仅能显示出虚拟角色处于现实场景中的效果，这种方式下缺少虚拟角色与现实场景之间的交互性。

基于上述研究，本公开实施例提供了一种控制方法，在第一现实场景中存在虚拟角色控制对象，并由虚拟角色控制对象控制虚拟角色在第二现实场景下的渲染显示图像。其中，在第二现实场景中具有与第一现实场景中的第一现实场景对象同类型的第二现实场景对象，在获取到虚拟角色控制对象对第一现实场景对象的第一交互行为数据后，可以相应的确定虚拟对象对第二现实场景对象的控制信息，以利用控制信息控制展示虚拟对象与第二现实场景对象之间的第二交互行为。这样，虚拟角色控制对象在第一现实场景中控制第一现实场景对象时，可以同步地显示出虚拟角色控制对应的第二现实场景对象的效果，因此可以提高虚拟角色与现实场景之间的交互性。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种控制的方法进行详细介绍，本公开实施例所提供的控制的方法的执行主体一般为具有一定计算能力的计算机设备。具体地，由于本公开实施例提供的控制方法可以应用于AR场景，因此计算机设备例如可以包括但不限于可以支持AR显示的设备，例如手机、平板电脑等移动设备；或者AR穿戴设备，例如AR眼镜。在一些可能的实现方式中，该控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

本公开实施例提供的控制方法用于展示增强现实AR场景的场景画面。在一种可能的情况下，在将本公开实施例提供的控制方法应用于虚拟直播的场景下，场景画面可以在观看虚拟直播的用户对应的用户端进行展示。在场景画面中，包含现实场景对象和虚拟对象。其中，现实场景对象包括实际存在于现实场景中的物品对象，例如家具以及电器。虚拟对象可以包括虚拟角色，例如人物角色或者动漫角色等。

其中，虚拟对象的实时行为受控于虚拟角色控制对象的行为数据；虚拟角色控制对象可以为现实场景中的真实人物。利用行为捕捉设备对虚拟角色控制对象的行为进行实时捕捉，可以生成虚拟角色控制对象的行为数据；进一步的，利用行为数据可以控制虚拟角色在虚拟场景中的实时行为。具体获取行为数据的方式在下文中进行详细说明，在此不再赘述。

下面对本公开实施例的控制方法做详细说明。

如图1所示，为本公开实施例提供的一种控制方法的流程图，主要包括以下步骤S101～S103：

S101：获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；

S102：基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；

S103：基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

针对上述S101，首先对第一现实场景、以及第一现实场景对象进行说明。第一现实场景包括虚拟角色控制对象所在的现实场景，具体可以包括教室场景、客厅场景、舞台场景等。由于虚拟角色控制对象为真实人物，因此可以在第一现实场景中移动，并操控其中存在的第一现实场景对象，以实现虚拟角色控制对象与第一现实场景之间的交互。

其中，第一现实场景对象包括在第一现实场景中实际存在的物品，例如遥控器、屏幕等可以操控的电器。虚拟角色控制对象在第一现实场景中，可以通过触发遥控器上的不同按钮，或者点击屏幕等操作方式，控制第一现实场景对象变换状态，例如将屏幕由关机时的黑屏状态，转换为显示画面的电气工作状态。

示例性的，参见图2所示，为本公开实施例提供的一种第一现实场景的示意图。在第一现实场景中包括虚拟角色控制对象21，以及可以作为第一现实场景对象、且真实存在的物品22，其为一个屏幕。另外，在现实场景中还包括在墙面的挂画23。

在虚拟角色控制对象操控第一现实场景对象时，相应的可以产生虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据。这样得到的第一交互行为数据，可以用于确定控制虚拟对象在第二现实场景中与其中的第二现实场景对象之间执行交互行为的控制信息。

在具体实施中，具体可以采用下述方式确定第一交互行为数据：获取通过行为捕捉设备捕捉的所述虚拟角色控制对象的行为数据，以及所述虚拟角色控制对象所操控的所述第一现实场景对象的状态变化数据；所述行为数据包括捕捉的动作数据和/或音频数据；将所述虚拟角色控制对象的行为数据和所述第一现实场景对象的状态变化数据作为所述第一交互行为数据。

这里，行为数据也即通过各种动作捕捉设备捕捉的指示虚拟角色控制对象发生的一系列行为的数据，状态变化数据可以是控制现实场景对象的监控设备监控到的指示现实场景对象发生的状态变化的数据，比如屏幕亮暗的变化、现实场景对象呈现信息的变化、位姿的变化等等。

其中，用于获取行为数据的动作捕捉设备，具体可以包括感应虚拟角色控制对象的身体各部位动作的传感器设备，比如动捕手套、动捕头盔(用于捕捉面部表情动作)、以及发声捕捉设备(比如捕捉嘴部发声的麦克风和捕捉发声动作的喉麦)等。行为数据包括动作捕捉设备对虚拟角色控制对象捕捉的动作数据和/或音频数据。这样，利用动作捕捉设备对虚拟角色控制对象的动作、音频等进行捕捉，可以生成虚拟角色控制对象的行为数据。或者，动作捕捉设备也可以包括摄像头，通过摄像头拍摄虚拟角色控制对象得到视频帧图像，并对视频帧图像进行人体动作的语义特征识别，也可以相应地确定虚拟角色控制对象的行为数据。

另外，在确定虚拟角色控制对象所操作的第一现实场景对象时，在一种可能的情况下，可以利用第一交互行为数据确定虚拟角色控制对象操作的物品为第一现实场景对象。示例性的，利用第一交互行为数据可以确定虚拟角色控制对象靠近并拾取的物品，并将其作为第一现实场景对象，例如通过第一交互行为数据确定第一现实场景对象为屏幕。另外，通过第一交互行为数据也可以进一步地确定对第一现实场景对象的实际操作行为，比如对第一现实场景对象屏幕而言，通过第一交互行为数据可以确定是通过触摸屏幕的方式将待机状态下的屏幕点亮以播放视频。

在另一种可能的情况下，也可以通过传感设备对第一现实场景中的多个现实场景对象进行监控。在虚拟角色控制对象对任一现实场景对象进行按键触发等操作时，传感设备可以相应的监控到被虚拟角色控制对象操控的现实场景对象，并将其作为第一现实场景对象。

此处，由于虚拟角色控制对象的控制，第一现实场景对象的状态也相应的发生了变化，例如在上述示例中，屏幕由待机状态变化为视频播放状态。其中，第一现实场景对象的状态变化数据，可以通过上述示例中说明的传感设备确定，或者其他检测设备确定，具体地获取方式在此不再赘述。

在确定虚拟角色控制对象的行为数据和第一现实场景对象的状态变化数据后，将行为数据作为和状态变化数据均作为第一交互行为数据。

针对上述S102，在根据上述S101确定了第一交互行为数据的情况下，可以进一步的利用第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息。这里，控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息，可以是分别控制虚拟对象，与第二现实场景对象，使得两者呈现出交互动作的效果。

这里，第二现实场景为与第一现实场景完全相同或者部分相同的现实场景。具体地，对于在第二现实场景中基于第一交互行为数据控制虚拟对象产生与其产生交互的第二现实场景对象，在第一现实场景中具有同一类型的第一现实场景对象。此处第一现实场景对象与第二现实场景对象之间的类型相同具体包括，第一现实场景对象和第二现实场景对象种类相同，并可以通过相同的操作方式实现相同的状态切换。

另外，为了可以同步第一交互行为数据使虚拟对象执行与虚拟角色控制对象执行相同的动作行为，一般在构建第二现实场景时，第二现实场景对象在第二现实场景中的摆放位置，与对应的第一现实场景对象在第一现实场景中的摆放位置相同。

示例性的，参见图3所示，为本公开实施例提供的一种第二现实场景的示意图。在图3示出的第二现实场景中，具有虚拟对象31以及第二现实场景对象32，第二现实场景对象32与在图2中示出的第一现实场景对象21为相同种类的屏幕。在一种可能的情况下，在图2中示出的第一现实场景中，虚拟角色控制对象并不会对墙面上的挂画23产生交互，因此在相应的布置图3中示出的第二现实场景时，无需在此处相应的悬挂与图2中的挂画23相对应的物品。也即，第一现实场景和第二现实场景之间可以存在差异。

在具体实施中，在生成控制虚拟对象的控制信息时，可以采用下述方式：基于所述第一交互行为数据中指示的所述虚拟角色控制对象的行为数据，生成控制所述虚拟对象的行为数据的第一控制信息，以及，基于所述第一交互行为数据中指示的所述第一现实场景对象的状态变化数据，生成控制所述第二现实场景对象进行状态变化的第二控制信息；将所述第一控制信息和所述第二控制信息作为控制所述虚拟对象与所述第二现实场景对象之间执行第二交互行为的控制信息。

其中，根据上述S101中对第一交互行为数据的确定方式可以知道，第一交互行为数据中包含的虚拟角色控制对象的行为数据，具体可以指示虚拟角色控制对象的动作行为，例如拾取动作或者点击触发操作。而在第一现实场景中的虚拟角色控制对象，可以控制第二现实场景中的虚拟对象执行与虚拟角色控制对象相同的行为动作，因此可以利用第一交互行为数据中指示的虚拟角色控制对象的行为数据，确定虚拟对象在第二现实场景中对应产生的行为，也即虚拟对象在第二现实场景中的行为数据，并相应的生成对虚拟对象进行控制的第一控制信息。

此处，第一控制信息包括对虚拟对象的控制信息，具体用于控制在第二现实场景中的虚拟对象，执行与在第一现实场景中的虚拟角色控制对象相同的动作行为。

另外，第一交互行为数据中还包含有第一现实场景对象的状态变化数据。在第二现实场景中，为了展示出虚拟对象与第二现实场景的交互，可以通过将第二现实场景对象的状态跟随虚拟对象的行为变化的而相应产生变化的方式，展示出虚拟对象控制第二现实场景对象的效果。其中，由于虚拟对象并不能实际的对第二现实场景中的第二现实场景对象进行实际的操作，因此可以利用第一现实场景对象的状态变化数据，相应的确定对第二现实对象进行相同状态变化时，所需的第二控制信息。

此处，第二控制信息包括对第二现实场景对象的控制信号，例如开机播放视频的控制信号，以使第二现实场景对象可以与第一现实场景对象发生相同的状态变化。

其中，在确定第二现实场景中的第二现实场景对象时，可以采用但不限于下述(a)和(b)两种方式：

(a)：确定所述虚拟对象在所述第一控制信息的驱动下所操控的第二现实场景中的对象，将该对象作为所述第二现实场景对象。

这种方式就是通过对虚拟对象的行为进行监控，将虚拟对象的行为作用对象直接作为所述第二现实场景对象。

具体地，在确定第一控制信息后，即可以驱动虚拟对象在第二现实场景中执行动作行为。示例性的，若执行的动作行为包括拾取并点击在一定位置下的物品，则可以确定该物品为第二现实场景对象。

示例性的，若在第一现实场景中，虚拟角色控制对象触发了对身前屏幕的视频切换按钮，则相应的产生的第一控制信息也会驱动虚拟对象执行得触发身前的物品的视频切换按钮。此处身前的物品也即预先在第二现实场景中设置好的屏幕。

(b)：识别所述第二现实场景中的各个现实场景对象的对象类型信息；将对应的所述对象类型信息与所述第一现实场景对象匹配的现实场景对象作为所述第二现实场景对象。

这种方式就是通过进行同类型对象匹配来确定与第一现实场景对象同一类型的第二现实场景对象。

由于第二现实场景对象与第一现实场景对象对应，因此在虚拟角色控制对象控制第一现实场景对象时，可以根据确定的第一现实场景对象、以及在第二现实场景中的各现实场景对象分别对应的对象类型信息，从各现实场景对象中确定与第一现实场景对象对应的第二现实场景对象。

示例性的，确定出的第一现实场景对象为可以进行视频切换的屏幕，并将可以进行视频切换的状态切换信息、以及屏幕的种类信息作为在各现实场景对象中搜索第二现实场景对象的对象类型信息，并相应的从在第二现实场景中的多个现实场景对象中确定第二现实场景对象。

此处，上述(a)和(b)两种确定第二现实场景对象的方式也可以结合使用。例如，在上述(a)中提及的示例中，若虚拟对象身前的现实场景对象不只一个的情况下，可能会错误的确定第二现实场景对象，使渲染显示后呈现出的画面不符合正常的控制逻辑。而在采用上述方式(a)的基础上，同时采用方式(b)进行判断，可以更准确地确定出具体对身前位置的哪一个现实场景对象进行控制，这样在确定第二现实场景对象时可以提高准确性，并进一步的保证了虚拟对象和第二现实场景对象之间能够产生逻辑正确的交互方式。

针对上述S103，在确定控制虚拟对象与第二现实场景对象之前执行第二交互行为的控制信息后，利用控制信息可以在第二现实场景画面中，控制展示虚拟对象与第二现实场景对象之间的第二交互行为。

在具体实施中，例如可以采用下述方式：基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更；所述虚拟对象的行为和所述第二现实场景对象发生的所述第一状态变更构成所述第二交互行为。

具体地，利用第一控制信息驱动虚拟对象，可以使第二现实场景中的虚拟对象执行与第一现实场景中的虚拟角色控制对象相同的动作行为。另外，采用第二控制信息，也可以控制在第二现实场景中的第二现实场景对象产生与第一现实场景中的第一现实场景对象相同的第一状态变更。

示例性的，参见图4所示，为本公开实施例提供的一种确定第二现实场景画面的示意图。其中，图4中(a)示出了当前状态下的第一现实场景，其中虚拟角色控制对象41正在控制第一现实场景对象42播放视频；图4中(b)则示出了第二现实场景画面，其中，虚拟对象43在相似的控制第二现实场景对象44播放与第一现实场景对象42播放的相同的视频。

这样，对于第一现实场景中虚拟角色控制对象对第一现实场景对象的交互行为，可以完全被在第二现实场景中的虚拟对象与第二现实对象之间的交互行为所模拟，也即使渲染显示出的第二现实场景画面中，可以显示出虚拟对象与第二现实场景对象之间存在与在第一现实场景中真实发生的交互行为，得到的第二现实场景画面中虚拟对象也更具有真实性。

在本公开另一实施例中，在第二现实场景中，由于各现实场景对象之间可能存在关联，因此在第二现实场景对象发生第一状态变更的同时，也可以出现其中的至少一个与第二现实场景对象关联的第三场景对象的状态发生第二状态变更的情况。

示例性的，在练歌房的场景下，第二现实场景对象可以包括遥控器，在第二现实场景中与第二现实场景对象关联的至少一个第三场景对象可以包括影像显示屏以及音乐播放器。在一种可能的情况下，若遥控器控制控制切歌，在现实场景下则相应的在影像显示屏中切换当前播放的影像数据，并切换音乐播放器当前播放的音频数据。

在具体实施中，可以基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更的同时，控制所述第三现实场景对象进行与所述第一状态变更匹配的第二状态变更。

例如，虚拟角色控制对象在第一现实场景中触发对第一现实场景对象(遥控器)的切歌按钮时，产生第一控制信息；第一控制信息驱动虚拟对象对与第一现实场景对象属于同一类型的第二现实场景对象，也即在第二现实场景中的遥控器，进行与第一现实场景对象相同的状态变更，也即触发切歌按钮。同时，可以控制影像显示屏切换为播放下一首歌曲的影像数据，并控制音乐播放器将当前播放的音频数据切换为该下一首歌曲的音频数据。

此处，影像显示屏由播放当前影像数据的状态，切换为播放下一首歌曲的影像数据的状态、以及音乐播放器由播放当前音频数据的状态切换为播放下一首歌曲的音频数据的状态，均为上述说明的与第一状态变更匹配的第二状态变更。

在一种可能的情况下，在具体将本公开实施例提供的控制方法应用于虚拟直播的场景下时，除了虚拟角色控制对象产生的控制外，还可以根据观看虚拟直播的用户发送的信息，进一步的控制虚拟对象与第二现实场景对象进行交互。

在具体实施中，还可以获取直播观众的目标弹幕信息；基于所述目标弹幕信息中指示的针对所述第二现实场景对象的控制操作，在所述第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第三交互行为。

其中，在接收到直播观众发送的弹幕信息后，可以对各弹幕信息进行语义分析，从中确定指示对第二现实场景对象进行控制的目标弹幕信息。示例性的，目标弹幕信息中包括对第二现实场景对象的指示信息，例如“屏幕”、“音响”、“遥控器”等；另外，还包括有对第二现实场景对象的控制信息，例如“打开”、“关闭”、“音量调高”等。这样，在目标弹幕信息中，可以确定具体针对的第二现实场景对象，例如“音响”、以及对第二现实场景对象的控制操作，例如调高音响的音量。

而在第二现实场景画面中，具体可以根据确定的控制操作控制虚拟对象与第二现实场景对象之间的第三交互行为。例如，控制对象走向音响，并相应的执行调节在音响上的音量调节旋钮的动作，并相应的控制音响调小播放音乐的声音。

在本公开另一实施例中，还可以在第二现实场景中将第一现实场景、第二现实场景或者其他现实场景的场景图像，作为在第二现实场景画面中可以显示的场景图像。其中，其他现实场景统称为第三现实场景，具体可以包括其他进行虚拟直播的虚拟对象所处的现实场景，或者其他的真实场景，例如户外场景。

在具体实施中，在控制展示虚拟对象与第二现实场景对象之间的第二交互行为后，可以响应所述第二交互行为满足预设条件，获取第三现实场景的现实场景图像；在所述第二现实场景画面中，控制与所述第二现实场景对象关联的第四现实场景对象展示所述第三现实场景的现实场景图像。

其中，预设条件例如可以包括：第二交互行为指示虚拟对象开启查看其他虚拟直播的功能，并且虚拟对象当前选定查看的虚拟直播下的第三现实场景的现实场景图像能够被获取。在确定第二交互行为满足预设条件的情况下，可以获取第三现实场景的现实场景图像。

另外，对于可以显示第三现实场景的显示场景图像的显示场景对象，在此称为第四场景对象。为了能够使第四场景对象可以显示第三现实场景的现实场景图像，可以选取的第四场景对象可以包括屏幕或者投影墙面。其中，若当前的第二场景对象包括屏幕，并相应的显示一些画面时，第四场景对象可以是有别于第二场景对象的其他屏幕。

在一种可能的情况下，在控制第四现实场景对象展示第三现实场景的现实场景图像时，可以将接收到的第三现实场景的现实场景图像对应的图像信号传输到第二现实场景中的第四现实场景对象，以使第四现实场景对象可以通过显示屏幕播放第三现实场景的现实场景图像。

示例性的，参见图5所示，为本公开实施例提供的一种控制第四现实场景对象展示第三现实场景的现实场景时的示意图。在该示意图中，除了显示出的虚拟对象51以及第二现实场景对象52外，还包括有正在显示第三现实场景的现实场景图像的屏幕53。

这样，可以将其他的直播场景作为“第二现场”，并在第二现实场景图像上播放显示，从而可以提高不同的虚拟直播之间的互动性。

本公开实施例提供的控制方法，在获取到虚拟角色控制对象对第一现实场景对象的第一交互行为数据后，可以相应的确定虚拟对象对第二现实场景对象的控制信息，以利用控制信息控制展示虚拟对象与第二现实场景对象之间的第二交互行为。这样，虚拟角色控制对象在第一现实场景中控制第一现实场景对象时，可以同步地显示出该虚拟角色控制对象所对应的虚拟角色控制对应的第二现实场景对象的效果，因此可以提高虚拟角色与现实场景之间的交互性，进一步增强现实场景中虚拟角色的行为真实感。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与控制方法对应的控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

如图6所示，为本公开实施例提供的一种控制装置示意图，控制装置包括：获取模块61、生成模块62、以及控制模块63；其中，

获取模块61，用于获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；

生成模块62，用于基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；

控制模块63，用于基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

一种可选的实施方式中，所述获取模块61在获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据时，用于：获取通过行为捕捉设备捕捉的所述虚拟角色控制对象的行为数据，以及所述虚拟角色控制对象所操控的所述第一现实场景对象的状态变化数据；所述行为数据包括捕捉的动作数据和/或音频数据；将所述虚拟角色控制对象的行为数据和所述第一现实场景对象的状态变化数据作为所述第一交互行为数据。

一种可选的实施方式中，所述生成模块62在基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息时，用于：基于所述第一交互行为数据中指示的所述虚拟角色控制对象的行为数据，生成控制所述虚拟对象的行为数据的第一控制信息，以及，基于所述第一交互行为数据中指示的所述第一现实场景对象的状态变化数据，生成控制所述第二现实场景对象进行状态变化的第二控制信息；将所述第一控制信息和所述第二控制信息作为控制所述虚拟对象与所述第二现实场景对象之间执行第二交互行为的控制信息；所述控制模块63在基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为时，用于：基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更；所述虚拟对象的行为和所述第二现实场景对象发生的所述第一状态变更构成所述第二交互行为。

一种可选的实施方式中，所述生成模块62根据以下步骤确定所述第二现实场景中的第二现实场景对象：确定所述虚拟对象在所述第一控制信息的驱动下所操控的第二现实场景中的对象，将该对象作为所述第二现实场景对象。

一种可选的实施方式中，所述生成模块62根据以下步骤确定所述第二现实场景中的第二现实场景对象：识别所述第二现实场景中的各个现实场景对象的对象类型信息；将对应的所述对象类型信息与所述第一现实场景对象匹配的现实场景对象作为所述第二现实场景对象。

一种可选的实施方式中，所述第二现实场景中还存在与所述第二现实场景对象关联的至少一个第三现实场景对象；所述控制模块63还用于：在基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更的同时，控制所述第三现实场景对象进行与所述第一状态变更匹配的第二状态变更。

一种可选的实施方式中，所述第二现实场景画面为直播画面；所述控制装置还包括，处理模块64，用于：获取直播观众的目标弹幕信息；基于所述目标弹幕信息中指示的针对所述第二现实场景对象的控制操作，在所述第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第三交互行为。

一种可选的实施方式中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为之后，所述控制模块63还用于：响应所述第二交互行为满足预设条件，获取第三现实场景的现实场景图像；在所述第二现实场景画面中，控制与所述第二现实场景对象关联的第四现实场景对象展示所述第三现实场景的现实场景图像。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图7所示，为本公开实施例提供的一种计算机设备结构示意图，包括：

处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：

获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的控制方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种控制方法，其特征在于，用于控制展示增强现实AR场景的场景画面；所述场景画面中包含现实场景对象和虚拟对象；所述虚拟对象的实时行为受控于虚拟角色控制对象的行为数据；所述控制方法包括：

获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；

基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；

基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

2.根据权利要求1所述的方法，其特征在于，所述获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据，包括：

获取通过行为捕捉设备捕捉的所述虚拟角色控制对象的行为数据，以及所述虚拟角色控制对象所操控的所述第一现实场景对象的状态变化数据；所述行为数据包括捕捉的动作数据和/或音频数据；

将所述虚拟角色控制对象的行为数据和所述第一现实场景对象的状态变化数据作为所述第一交互行为数据。

3.根据权利要求1所述的方法，其特征在于，基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息，包括：

基于所述第一交互行为数据中指示的所述虚拟角色控制对象的行为数据，生成控制所述虚拟对象的行为数据的第一控制信息，以及，基于所述第一交互行为数据中指示的所述第一现实场景对象的状态变化数据，生成控制所述第二现实场景对象进行状态变化的第二控制信息；将所述第一控制信息和所述第二控制信息作为控制所述虚拟对象与所述第二现实场景对象之间执行第二交互行为的控制信息；

所述基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为，包括：

基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更；所述虚拟对象的行为和所述第二现实场景对象发生的所述第一状态变更构成所述第二交互行为。

4.根据权利要求3所述的方法，其特征在于，根据以下步骤确定所述第二现实场景中的第二现实场景对象：

确定所述虚拟对象在所述第一控制信息的驱动下所操控的第二现实场景中的对象，将该对象作为所述第二现实场景对象。

5.根据权利要求1～3任一所述的方法，其特征在于，根据以下步骤确定所述第二现实场景中的第二现实场景对象：

识别所述第二现实场景中的各个现实场景对象的对象类型信息；

将对应的所述对象类型信息与所述第一现实场景对象匹配的现实场景对象作为所述第二现实场景对象。

6.根据权利要求3所述的方法，其特征在于，所述第二现实场景中还存在与所述第二现实场景对象关联的至少一个第三现实场景对象；

所述方法还包括：

在基于所述第一控制信息驱动所述虚拟对象在所述第二现实场景中的行为，并基于所述第二控制信息控制所述第二现实场景对象进行第一状态变更的同时，控制所述第三现实场景对象进行与所述第一状态变更匹配的第二状态变更。

7.根据权利要求1所述的方法，其特征在于，所述第二现实场景画面为直播画面；所述方法还包括：

获取直播观众的目标弹幕信息；

基于所述目标弹幕信息中指示的针对所述第二现实场景对象的控制操作，在所述第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第三交互行为。

8.根据权利要求6所述的方法，其特征在于，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为之后，所述方法还包括：

响应所述第二交互行为满足预设条件，获取第三现实场景的现实场景图像；

在所述第二现实场景画面中，控制与所述第二现实场景对象关联的第四现实场景对象展示所述第三现实场景的现实场景图像。

9.一种控制装置，其特征在于，包括：

获取模块，用于获取虚拟角色控制对象在第一现实场景中与第一现实场景对象之间的第一交互行为数据；

生成模块，用于基于所述第一交互行为数据，生成控制虚拟对象与第二现实场景中的第二现实场景对象之间执行第二交互行为的控制信息；所述第二现实场景对象与所述第一现实场景对象为同一类型对象；

控制模块，用于基于所述控制信息，在第二现实场景画面中，控制展示所述虚拟对象与所述第二现实场景对象之间的第二交互行为。

10.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至8任一项所述的控制方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至8任一项所述的控制方法的步骤。