CN114241132A - 场景内容展示控制方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种场景内容展示控制方法、装置、计算机设备及存储介质；其中，该方法包括：基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成所述三维场景空间中虚拟角色的行为控制信息；在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

Description

场景内容展示控制方法、装置、计算机设备及存储介质

技术领域

本公开涉及计算机技术技术领域，具体而言，涉及一种场景内容展示控制方法、装置、计算机设备及存储介质。

背景技术

在虚拟直播、元宇宙等场景下，真实人物可以控制虚拟角色执行相关动作，并在用户端进行相关画面的播放。在一些情况下，用户可以通过发送弹幕的形式进行互动，但这种方式较为单一。

发明内容

本公开实施例至少提供一种场景内容展示控制方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种场景内容展示控制方法，用于展示三维场景空间的实时场景画面，所述实时场景画面为基于所述三维场景空间的三维场景数据生成的；所述三维场景数据中包括有场景道具数据和虚拟角色数据；所述方法包括：基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成所述三维场景空间中虚拟角色的行为控制信息；在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

一种可选的实施方式中，所述获取用户端上传的目标图片，包括：获取所述虚拟角色控制对象通过用户端上传的所述目标图片；或者，在所述实时场景画面为直播画面的情况下，获取观看直播的用户通过用户端上传的所述目标图片。

一种可选的实施方式中，根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息，包括：从所述图片内容中提取指示所述相对三维位置信息的指示信息；所述指示信息中包括描述与所述目标图片匹配的目标场景道具的信息，或者，包括描述所述相对三维位置信息的信息；和/或，基于所述目标图片的二维属性特征，确定所述三维场景空间中与所述二维属性特征匹配的目标场景道具，并根据所述目标场景道具的道具属性特征，确定所述目标图片的所述相对三维位置信息。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：在所述实时场景画面为直播画面的情况下，获取观看直播的用户发出的直播弹幕信息；若所述直播弹幕信息中包含与所述目标图片相关的编辑操作信息，基于所述编辑操作信息对所述目标图片进行目标编辑操作；所述目标编辑操作包括对所述目标图片的图片内容进行更新，和/或对所述目标图片的三维属性信息进行更新。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：在所述虚拟角色控制对象的行为控制信息与所述目标图片相关的情况下，基于所述行为控制信息，控制所述虚拟角色对在所述实时场景画面中展示的目标图片执行目标控制操作。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：响应于目标触发操作，展示图片编辑界面；其中，所述图片编辑界面中展示有多种编辑类型；响应于选择的目标编辑类型，展示与所述目标编辑类型对应的编辑资源；所述编辑资源包括编辑工具和/或编辑选项；响应于针对所述编辑资源的使用信息，对所述目标图片进行目标编辑操作。

一种可选的实施方式中，所述基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，包括：若获取到多个用户端上传的与同一目标场景道具匹配的多个目标图片，基于所述多个目标图片分别对应的三维属性信息，确定至少一个目标拼接图片及每个所述目标拼接图片的三维属性信息；基于所述目标拼接图片的三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

一种可选的实施方式中，基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，包括：根据所述目标图片的三维属性特征，生成与所述目标图片对应的三维模型，并确定所述三维模型相对所述目标场景道具的相对三维位置信息；基于所述三维模型、所述三维模型相对所述目标场景道具的相对三维位置信息、以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

第二方面，本公开实施例还提供一种场景内容展示控制装置，包括：生成模块，用于基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成三维场景空间中虚拟角色的行为控制信息；获取模块，用于在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；确定模块，用于根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；展示模块，用于基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

一种可选的实施方式中，所述获取模块在获取用户端上传的目标图片时，用于：获取所述虚拟角色控制对象通过用户端上传的所述目标图片；或者，在所述实时场景画面为直播画面的情况下，获取观看直播的用户通过用户端上传的所述目标图片。

一种可选的实施方式中，所述确定模块在根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息时，用于：从所述图片内容中提取指示所述相对三维位置信息的指示信息；所述指示信息中包括描述与所述目标图片匹配的目标场景道具的信息，或者，包括描述所述相对三维位置信息的信息；和/或，基于所述目标图片的二维属性特征，确定所述三维场景空间中与所述二维属性特征匹配的目标场景道具，并根据所述目标场景道具的道具属性特征，确定所述目标图片的所述相对三维位置信息。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块还用于：在所述实时场景画面为直播画面的情况下，获取观看直播的用户发出的直播弹幕信息；若所述直播弹幕信息中包含与所述目标图片相关的编辑操作信息，基于所述编辑操作信息对所述目标图片进行目标编辑操作；所述目标编辑操作包括对所述目标图片的图片内容进行更新，和/或对所述目标图片的三维属性信息进行更新。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块还用于：在所述虚拟角色控制对象的行为控制信息与所述目标图片相关的情况下，基于所述行为控制信息，控制所述虚拟角色对在所述实时场景画面中展示的目标图片执行目标控制操作。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块还用于：响应于目标触发操作，展示图片编辑界面；其中，所述图片编辑界面中展示有多种编辑类型；响应于选择的目标编辑类型，展示与所述目标编辑类型对应的编辑资源；所述编辑资源包括编辑工具和/或编辑选项；响应于针对所述编辑资源的使用信息，对所述目标图片进行目标编辑操作。

一种可选的实施方式中，所述展示模块在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，用于：若获取到多个用户端上传的与同一目标场景道具匹配的多个目标图片，基于所述多个目标图片分别对应的三维属性信息，确定至少一个目标拼接图片及每个所述目标拼接图片的三维属性信息；基于所述目标拼接图片的三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

一种可选的实施方式中，所述展示模块在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，用于：根据所述目标图片的三维属性特征，生成与所述目标图片对应的三维模型，并确定所述三维模型相对所述目标场景道具的相对三维位置信息；基于所述三维模型、所述三维模型相对所述目标场景道具的相对三维位置信息、以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本公开实施例提供的场景内容展示控制方法、装置、计算机设备及存储介质，可以在控制用户端展示实时场景画面的过程中，获取用户端上传的目标图片，并通过确定目标图片的三维属性信息，以确定其在实时场景画面中的显示位置。这样，用户可以通过发送图片的方式影响实时场景画面，以实现与实时场景画面的互动，相较于单一的弹幕形式互动方式而言，互动方式更加丰富。

关于上述场景内容展示控制装置、计算机设备、及存储介质的效果描述参见上述场景内容展示控制方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本公开实施例提供的一种场景内容展示控制方法的流程图；

图2为本公开实施例提供的一种在展示实时场景画面时的示意图；

图3为本公开实施例提供的另一种在展示实时场景画面时的示意图；

图4为本公开实施例提供的一种目标图片的示意图；

图5为本公开实施例提供的一种实时场景画面的示意图；

图6为本公开实施例提供的一种确定目标拼接图片的示意图；

图7为本公开实施例提供的一种确定实时场景画面的示意图；

图8为本公开实施例提供的一种图片编辑界面的示意图；

图9为本公开实施例提供的一种进行颜色编辑时编辑界面的示意图；

图10为本公开实施例提供的一种场景内容控制装置的示意图；

图11为本公开实施例提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

在由真实人物控制虚拟角色执行相关行为，并展示虚拟角色执行相关行为的画面的场景下，用户可以通过发送弹幕的方式进行互动，例如通过用户端发送弹幕信息，并在显示实时场景画面时将弹幕信息展示出。由于文字信息可以表达的内容有限，因此若用户仅能通过弹幕的形式进行互动，互动方式较为单一。

本公开实施例基于上述问题提供了一种场景内容展示控制方法，可以在控制用户端展示实时场景画面的过程中，获取用户端上传的目标图片，并通过确定目标图片的三维属性信息，以确定其在实时场景画面中的显示位置。这样，用户可以通过发送图片的方式影响实时场景画面，以实现与实时场景画面的互动，相较于单一的弹幕形式互动方式更加丰富。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种场景内容展示控制方法进行详细介绍，本公开实施例所提供的场景内容展示控制方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该场景内容展示控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

具体地，本公开实施例提供的场景内容展示控制方法用于展示三维空间的实时场景画面；所述实时场景画面为基于所述三维场景空间的三维场景数据生成的；所述三维场景数据中包括有场景道具数据和虚拟角色数据。

其中，三维场景空间例如可以包括预先建立的虚拟场景空间，例如虚拟的宇宙空间或者自然生态环境空间。或者，包括扫描现实场景后得到的与现实场景相似的虚拟场景空间，例如书房、客厅或者厨房。在本公开实施例中，在确定三维场景空间的同时，也可以相应的确定三维场景空间对应的三维场景数据。具体地，在三维场景空间中例如包括场景道具以及虚拟角色；其中，场景道具例如可以包括场景中摆放的家具、饰品、或者宠物等。虚拟角色通过虚拟角色控制对象进行控制，虚拟角色控制对象可以为现实场景中的真实人物。

在一种可能的情况下，场景道具和虚拟角色在三维场景空间中的位置、行为动作等均可以发生改变，通过确定场景道具的场景道具数据(例如场景道具在三维场景空间中的位置信息)，以及虚拟角色在三维场景空间中的虚拟角色数据(例如虚拟角色在三维场景中的动作姿态信息、运动轨迹信息)，可以得到三维场景数据，并可以根据三维场景数据生成用于展示的实时场景画面。

另外，本公开实施例提供的场景内容展示控制方法可以应用于不同的应用场景中，例如元宇宙场景，或者直播场景中。在元宇宙场景中时，展示出的实时场景画面例如是在增强现实设备中展示的画面，例如在增强现实眼镜中播放的画面。在直播场景中时，展示出的实时场景画面例如是在用户的客户端处播放的画面，例如在用户的移动设备的显示屏幕上播放的画面。

下面，以在直播场景中为例，对本公开实施例提供的场景内容展示控制方法加以详细说明。参见图1所示，为本公开实施例提供的一种场景内容展示控制方法的流程图，主要包括以下步骤S101～S104；其中，

S101：基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成所述三维场景空间中虚拟角色的行为控制信息；

S102：在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；

S103：根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；

S104：基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

针对上述S101，行为捕捉设备例如可以包括感应身体各部位动作的传感器设备，比如动捕手套、动捕头盔(用于捕捉面部表情动作)、以及发声捕捉设备(比如捕捉嘴部发声的麦克风和捕捉发声动作的喉麦)等。这样，利用行为捕捉设备对虚拟角色控制对象的行为(或者动作)进行捕捉，可以生成虚拟角色控制对象的行为数据。或者，行为捕捉设备也可以包括摄像头，通过摄像头拍摄虚拟角色控制对象得到视频帧图像，并对视频帧图像进行人体行为的语义特征识别，也可以相应的确定虚拟角色控制对象的行为数据。

利用行为捕捉设备捕捉得到的虚拟角色控制对象的行为数据，可以用于控制虚拟角色发生行为上的变化。例如，在虚拟角色控制对象向前行走时，根据其向前行走时产生的行为数据，可以使得在三维场景空间中的虚拟角色执行相同的向前行走的行为。具体地，在控制虚拟角色发生行为上的变化时，可以采用行为控制信息进行控制，在利用行为捕捉设备捕捉到虚拟角色控制对象的行为数据后，即可以利用行为数据生成用于控制虚拟角色的行为控制信息。

针对上述S102，在根据上述S101确定行为控制信息后，利用行为控制信息可以使虚拟角色的行为发生改变，并使得展示出的实时场景画面中可以体现出虚拟角色的行为动作。另外，可以控制用户端展示实时场景画面，这样对于不同的用户，均可以在相对应的用户端中观看到直播时的实时场景画面。

另外，在一种情况下，为了提高在直播场景下用户与三维场景中的虚拟角色或者场景道具的互动性，在控制用户端展示实时场景画面的过程中，还可以为用户提供上传图片的窗口或者链接。参见图2所示，为本公开实施例提供的一种在展示实时场景画面时的示意图。在该示意图中，包括展示出的实时场景画面21，以及为用户提供的图片上传界面22。在实时场景画面21中包含有虚拟角色211以及在虚拟角色211右侧的场景道具背景墙212。在图片上传界面22中，包含有图片选取按钮221以及确认上传按钮222。

此处，用户可以上传的目标图片包括但不限于预先为用户提供的模板图片、用户在设备相册中选取的图片、以及在展示实时场景画面时用户实时截取的图片。另外，目标图片的形式也不限于二维图像，也可以包括动态图像，或者视频片段等，具体可以根据实际情况确定，在此不做出限定。

其中，对于不同的用户，均可以上传目标图片，以改变显示出的实时场景画面，但具体采用的途径有所不同。例如对于虚拟角色控制对象而言，其在上传目标图片时所需的用户端，与观看直播的用户在上传目标图片时所需的用户端不同。因此，在获取用户端上传的目标图片时，可以获取虚拟角色控制对象通过用户端上传的目标图片；或者在直播场景下，若实时场景画面为直播画面，则获取观看直播的用户通过用户端上传的目标图片。

这样，对于虚拟角色控制对象而言，其在控制虚拟角色的同时，可以利用目标图片更灵活地向虚拟角色或场景道具添加与目标图片对应的展示画面或者展示特效，这样可以进一步提高虚拟角色控制对象对三维场景空间的控制。而对于其他观看直播的用户而言，也可以通过上传目标图片的方式，改变或丰富展示出的实时场景画面，从而可以提高互动性。

示例性的，参见图3所示，为本公开实施例提供的另一种在展示实时场景画面时的示意图，其中，相较于图2，图片上传界面22中示出了用户已选取的目标图片23，并相应的示出图片上传界面22中的再次上传按钮24。

也即，在用户上传图片时，可以首先选取一张或者多张图片，并从中确定待上传的目标图片。另外，同一用户可以通过用户端上传一张或者多张目标图片。

针对上述S103，在接收到用户端上传的目标图片的情况下，为了确定目标图片在实时场景画面中的显示位置，还可以根据目标图片的图片内容和/或二维属性特征，确定目标图片的三维属性信息。其中，所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息。

其中，目标图片的图片内容例如可以反映出目标图片中示出物品的类型，例如可以佩戴在虚拟角色上的饰品，比如头饰、手链等；或者与场景道具中的墙面搭配的软装，例如挂画以及装饰灯；或者为场景道具中的宠物准备的玩具或者喂食盆。这样，通过确定目标图片中的对象，例如采用语义分割的方式确定目标图片中示出的物品的类型信息，即可以相应的判断出将目标图片放置在何位置，也即确定目标图片的三维属性信息。

在具体实施中，在根据目标图片的图片内容确定对应的三维属性信息时，例如可以采用下述方式；从所述图片内容中提取指示所述相对三维位置信息的指示信息；所述指示信息中包括描述与所述目标图片匹配的目标场景道具的信息，或者，包括描述所述相对三维位置信息的信息。

示例性的，参见图4所示，为本公开实施例提供的一种目标图片的示意图。对目标图片进行图片内容的分析可以确定，该目标图像中包含一条项链；进一步的，根据确定出的项链的类型，也即佩戴在虚拟角色上的饰品，可以确定目标图像中的项链可以与虚拟角色匹配。

另外，在分析出目标图片中包含有项链的同时，也可以相应的确定包含项链的目标图片显示在虚拟角色的脖颈处，也即可以确定出目标图片在显示时，与虚拟角色的相对三维位置信息。

示例性的，参见图5所示，为本公开实施例提供的一种实时场景画面的示意图。针对于图4中示出的目标对象，可以确定出的三维属性信息指示该目标图片与虚拟角色匹配，并且可以显示在虚拟角色的脖颈位置。在一种可能的情况下，由于目标图片中除识别出的实体对象外，还可能包括有背景图像，例如白色背景，或者例如图4中示出的项链周围的装饰物等，因此还可以对目标图片进行处理，仅将其中包括的实体对象的部分添加显示在实时场景画面中。例如图5所示，仅在虚拟角色的脖颈处添加了图4中目标图片中的项链，而并没有添加其中的背景。

在本公开另一实施例中，在确定目标图片的三维属性信息时，还可以基于所述目标图片的二维属性特征，确定所述三维场景空间中与所述二维属性特征匹配的目标场景道具，并根据所述目标场景道具的道具属性特征，确定所述目标图片的所述相对三维位置信息。

其中，二维属性特征例如可以包括风格、颜色等属性特征。在一种可能的情况下，若目标图片可以对应多个不同的场景道具，则可以根据二维属性特征从中匹配出目标场景道具。

示例性的，对于上述图4中的目标图片中示出的项链，其对应的二维属性特征例如为红色、华丽风格，在确定项链可以在虚拟角色的脖颈位置处进行展示时，若三维场景空间中具有多个虚拟角色，则并不能直接判断出将项链与哪一个虚拟角色进行匹配展示。此时，利用确定出的二维属性特征，即可以在多个虚拟角色中确定更匹配的目标虚拟角色。

例如，在三维场景空间中具有三个虚拟角色，以虚拟角色A、虚拟角色B、以及虚拟角色C表示。其中，虚拟角色A的风格为卡通风格，虚拟角色B的衣服为红色高领毛衣，虚拟角色C的风格为华丽的风格，并且衣服为黑色长裙。则对于虚拟角色A而言，装扮华丽风格的项链与其对应的卡通风格并不相符；对于虚拟角色B而言，红色高领毛衣上叠加展示红色的项链，由于颜色相近，会很难看清楚项链；而虚拟角色C在风格上与项链协调一致，在衣着上也可以突显出项链的颜色，因此更适合将项链与虚拟角色C匹配显示。

在另一实施例中，对于并不能直接确定出具体显示位置的目标图片，可以根据目标道具的道具特征，确定目标图片的相对三维位置信息。例如，目标图片中包含有装饰画，可以确定用于展示目标图片的目标场景道具包括背景墙。在确定目标图片与背景墙的相对三维位置时，例如可以确定将目标图片展示在背景墙的墙面上，并摆放至较高处，以减少遮挡。

这样，通过目标图片的图片内容和/或二维属性特征，可以为目标图片在三维场景空间中确定出更为匹配的目标场景道具，以依托于目标场景道具更好的显示出目标图片，从而提高互动性。

针对上述S104，在利用上述S103确定目标图片的三维属性信息的情况下，也即确定了在三维场景空间中目标图片与匹配的目标场景道具之间的位置关系。因此，利用在三维场景空间中目标场景道具对应的场景道具数据、以及目标图片的三维场景数据，即可以更新三维场景数据，以在用户端展示出包含有目标图片的实时场景画面。

在一种可能的情况下，用户端有多个，在多个用户端上传与同一目标场景道具匹配的多个目标图片的情况下，在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，具体可以采用下述方式：基于所述多个目标图片分别对应的三维属性信息，确定至少一个目标拼接图片及每个所述目标拼接图片的三维属性信息；基于所述目标拼接图片的三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

具体地，参见图6所示，为本公开实施例提供的一种确定目标拼接图片的示意图。其中，图6中(a)示出了多个用户端上传的多个目标图片，通过判断可以确定多个目标图片匹配的目标场景对象均为背景墙。为了使多个目标图片可以在背景墙的墙面上集中展示的同时，减少重叠和遮挡，可以选择根据目标图片分别对应的三维属性信息，确定至少一个目标拼接图片，并以目标拼接图片作为新的展示图片进行整体性的展示。

示例性的，对于图6中(a)示出的目标图片A，由于该目标图片的发送时间较早，因此为目标图片A确定的三维属性信息表征目标图片A展示在背景墙的左侧位置。目标图片B和目标图片C的发送时间较晚，因此目标图片B的三维属性信息表征其展示在背景墙的中间位置，目标图片C的三维属性信息表征其展示在背景墙的右侧位置。由于三张目标图片均是要显示在背景墙的墙面上的图片，因此可以将三张目标图片根据各自的三维属性信息确定为一个目标拼接图片，也即图6中(b)示出的目标拼接图片。

在确定目标拼接图片后，根据目标拼接图片的清晰度等，可以确定在显示目标拼接图片时的尺寸大小。这样，也可以相应的确定出目标拼接图片的三维属性信息，也即目标拼接图片与背景墙的相对三维位置信息。

另外，在确定目标拼接图片中的多张目标图片后，还可以对其中各个目标图片的摆放位置进行调整，例如对于展示在背景墙的墙面上的多张目标图片，若数量较多，则可以将多张目标图片摆放出心形、花朵形等图案，并相应地确定得到的目标拼接图片的三维属性信息，以在展示目标拼接图片时展示效果更丰富。

这样，利用目标拼接图片的三维属性信息，以及目标场景道具对应的场景道具数据，可以对三维场景数据进行更新，以得到包含有目标拼接图片的三维场景数据。

或者，在本公开另一实施例中，在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，还可以为目标图片生成对应的三维模型，并在更新三维场景数据时，显示出该三维模型，以提升目标图片在显示时的立体感。

具体地，例如可以采用下述方式；根据所述目标图片的三维属性特征，生成与所述目标图片对应的三维模型，并确定所述三维模型相对所述目标场景道具的相对三维位置信息；基于所述三维模型、所述三维模型相对所述目标场景道具的相对三维位置信息、以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

在具体实施中，例如可以根据目标图片中包括的物品，从预先确定的多种不同的三维模型中，确定是否存在与目标图片中包括的物品对应的三维模型。示例性的，预先确定的三维模型包括有动物类型的三维模型，例如小狗或者小猫等对应的三维模型；装饰类型的三维模型，例如气球或者彩带等对应的三维模型；食物类型的三维模型，例如汉堡、鸡腿等对应的三维模型。若目标图片中包括的物品在预先确定的三维模型中具有对应的三维模型，例如目标图片中包括的物品为小狗，则可以根据上述示例中说明的预先确定的三维模型，确定存在小狗对应的三维模型，并确定可以对小狗对应的三维模型进行展示。

另外，在确定小狗对应的三维模型的情况下，利用目标图片的三维属性特征表征的目标图片相对于目标场景道具的相对三维位置信息，也可以相应的确定小狗对应的三维模型相对与目标场景道具的相对三维位置信息。例如，目标图片的三维属性特征表征目标图片匹配的目标场景道具为地板，则相应的确定小狗对应的三维模型显示在地板上。

示例性的，参见图7所示，为本公开实施例提供的一种确定实时场景画面的示意图。图7中(a)示出了一张目标图片，其中示出了一只小狗。在图7中(b)示出的实时场景画面中，则显示出了小狗对应的三维模型。

这样，利用确定的目标图片对应的三维模型、以及三维模型相对于目标场景道具的相对三维位置信息，可以在更新三维场景数据之后，显示出目标图片对应的三维模型在三维场景空间中三维立体的展示形式。对于二维的目标图片而言，通过三维渲染引擎对更新后三维场景数据进行渲染后的实时场景画面中，可以看到充分融入三维场景空间的目标图片实际指示的三维模型，目标图片在展示时也更加灵活。

在更新三维场景数据后，利用更新后的三维场景数据，可以在用户端展示更新后的实时场景画面。在用户端展示实时场景画面时，还可以根据展示出的实时场景画面，确定对目标图片，或者目标图片对应的三维模型进行进一步的操作。一方面，可以对目标图片的显示做出调整，以更好的在实时场景画面中显示出；另一方面，也可以提高用户与显示出的目标图片之间的交互性。

在具体实施中，在实时场景画面为直播画面的情况下，还可以获取观看直播的用户发出的直播弹幕信息；若所述直播弹幕信息中包含与所述目标图片相关的编辑操作信息，基于所述编辑操作信息对所述目标图片进行目标编辑操作；所述目标编辑操作包括对所述目标图片的图片内容进行更新，和/或对所述目标图片的三维属性信息进行更新。

具体地，对直播弹幕信息进行语义分析，可以确定在直播弹幕信息中的关键词，若关键词中具有指示目标图片的关键词、以及与编辑操作相关的关键词(也即与目标图片相关的编辑操作信息)，则可以按照关键词中指示的编辑操作，对目标图片进行目标编辑操作。其中，在对目标图片进行编辑时，可以是对其对应的实质内容进行编辑，例如更换颜色、添加阴影、添加高光、叠加特效等。或者，也可以是对其对应的位置进行编辑，例如将目标图片从目标场景道具的左侧位置移动至右侧位置。

示例性的，在目标图片包括食物的情况下，可以在实时场景画面中显示出鸡腿对应的三维模型，并显示在场景道具桌子的桌面上。若此时接收到的直播弹幕信息包括“烹饪鸡腿送给虚拟角色”，则根据语义分析可以确定包括指示目标图片对应的三维模型的关键词“鸡腿”，并根据关键词“烹饪”可以确定三维模型将叠加油炸酥皮的特效。在三维位置上，根据关键词“送给虚拟角色”，可以确定三维模型的位置发生改变，并进一步的将虚拟角色与该三维模型关联，使三维模型展示至虚拟角色附近。

另外，对于虚拟角色控制对象而言，在控制虚拟角色动作时，也可以根据目标图片在实时场景画面中的展示信息做出相关的操作行为，以控制虚拟角色对目标图片执行目标控制操作。

在具体实施中，在所述虚拟角色控制对象的行为控制信息与所述目标图片相关的情况下，基于所述行为控制信息，控制所述虚拟角色对在所述实时场景画面中展示的目标图片执行目标控制操作。

具体地，虚拟角色控制对象可以通过抓取和移动手臂位置的方式，生成用于移动目标图片的行为控制信息，以控制虚拟角色在实时场景画面中展示出移动目标图片的目标控制操作。例如，利用虚拟角色控制对象的抓取行为确定目标图片，并根据移动手臂的方式确定对目标图片的控制操作。这样，由于目标图片对于虚拟角色控制对象而言，在实际场景中并不具有可以实际移动的实体对象，因此利用虚拟角色控制对象的行为控制信息，可以间接的确定虚拟角色控制对象希望控制虚拟角色对目标图片执行的目标控制操作。

示例性的，行为控制信息例如可以包括手部的行为控制信息。具体地，若手部的行为控制信息表征手部左摆时，将目标图片向虚拟角色的左侧移动；若手部的行为控制信息表征张开手掌时，将目标图片放大显示。也即，通过将不同的行为控制信息对应于对目标图片的不同控制操作，可以在接收到的行为控制信息后，确定对目标图片的不同的控制操作，并在实时场景画面中反应出虚拟角色对目标图片的控制操作。

另外，对于实时场景画面中的目标图片，还可以进行更精细化的处理，以使目标图片更加与实时场景画面中显示出的虚拟角色或者场景道具匹配。这种匹配更多的体现在渲染风格上的统一，以使显示出实时场景画面更加协调，使目标图片在显示时并不突兀。

在具体实施中，可以响应于目标触发操作，展示图片编辑界面；其中，所述图片编辑界面中展示有多种编辑类型；响应于选择的目标编辑类型，展示与所述目标编辑类型对应的编辑资源；所述编辑资源包括编辑工具和/或编辑选项；响应于针对所述编辑资源的使用信息，对所述目标图片进行目标编辑操作。

具体地，在利用图片编辑界面对目标图片进行编辑时，可以对目标图片进行重新绘画，改变线条颜色，或者改变画面风格等。示例性的，在点击实时场景画面中显示出的目标图片后，可以进入图片编辑界面，并可以利用图片编辑界面对目标图片进行编辑。参见图8所示，为本公开实施例提供的一种图片编辑界面的示意图。在该图片编辑界面中，示出了目标图片81，以及多种编辑类型82，例如颜色编辑、风格编辑、高光编辑以及阴影编辑。

以颜色编辑为例，在选择将颜色编辑类型作为目标编辑类型时，参见图9所示，为本公开实施例提供的一种进行颜色编辑时编辑界面的示意图，左侧示出了目标图片91，右侧示出了编辑界面中与颜色编辑相关的内容92。在该编辑界面中，包括与颜色编辑类型对应的编辑资源，具体包括编辑工具：选区工具以及取色工具。对于选区工具，还包括有对应的编辑选项：自动选区以及手动选区。对于取色工具，还包括有对应的编辑选项：颜色系统以及取色环。

示例性的，通过自动选区，在目标图片91中框选出了选区911。利用取色工具中颜色系统的设置，可以相应的将选区911中的颜色修改为灰色。这样，可以更细致的对目标图片进行调整，以使实时场景画面中的目标图片呈现出更好的效果。

本公开实施例提供的场景内容展示控制方法，可以在控制用户端展示实时场景画面的过程中，获取用户端上传的目标图片，并通过确定目标图片的三维属性信息，以确定其在实时场景画面中的显示位置。这样，用户可以通过发送图片的方式影响实时场景画面，以实现与实时场景画面的互动，相较于单一的弹幕形式互动方式更加丰富。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与场景内容展示控制方法对应的场景内容展示控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述场景内容展示控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

如图10所示，为本公开实施例提供的一种场景内容控制装置示意图，包括：生成模块11、获取模块12、确定模块13、以及展示模块14；其中，

生成模块11，用于基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成三维场景空间中虚拟角色的行为控制信息；

获取模块12，用于在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；

确定模块13，用于根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；

展示模块14，用于基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

一种可选的实施方式中，所述获取模块12在获取用户端上传的目标图片时，用于：获取所述虚拟角色控制对象通过用户端上传的所述目标图片；或者，在所述实时场景画面为直播画面的情况下，获取观看直播的用户通过用户端上传的所述目标图片。

一种可选的实施方式中，所述确定模块13在根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息时，用于：从所述图片内容中提取指示所述相对三维位置信息的指示信息；所述指示信息中包括描述与所述目标图片匹配的目标场景道具的信息，或者，包括描述所述相对三维位置信息的信息；和/或，基于所述目标图片的二维属性特征，确定所述三维场景空间中与所述二维属性特征匹配的目标场景道具，并根据所述目标场景道具的道具属性特征，确定所述目标图片的所述相对三维位置信息。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块14还用于：在所述实时场景画面为直播画面的情况下，获取观看直播的用户发出的直播弹幕信息；若所述直播弹幕信息中包含与所述目标图片相关的编辑操作信息，基于所述编辑操作信息对所述目标图片进行目标编辑操作；所述目标编辑操作包括对所述目标图片的图片内容进行更新，和/或对所述目标图片的三维属性信息进行更新。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块14还用于：在所述虚拟角色控制对象的行为控制信息与所述目标图片相关的情况下，基于所述行为控制信息，控制所述虚拟角色对在所述实时场景画面中展示的目标图片执行目标控制操作。

一种可选的实施方式中，在所述用户端展示更新后的实时场景画面之后，所述展示模块14还用于：响应于目标触发操作，展示图片编辑界面；其中，所述图片编辑界面中展示有多种编辑类型；响应于选择的目标编辑类型，展示与所述目标编辑类型对应的编辑资源；所述编辑资源包括编辑工具和/或编辑选项；响应于针对所述编辑资源的使用信息，对所述目标图片进行目标编辑操作。

一种可选的实施方式中，所述展示模块14在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，用于：若获取到多个用户端上传的与同一目标场景道具匹配的多个目标图片，基于所述多个目标图片分别对应的三维属性信息，确定至少一个目标拼接图片及每个所述目标拼接图片的三维属性信息；基于所述目标拼接图片的三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

一种可选的实施方式中，所述展示模块14在基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据时，用于：根据所述目标图片的三维属性特征，生成与所述目标图片对应的三维模型，并确定所述三维模型相对所述目标场景道具的相对三维位置信息；基于所述三维模型、所述三维模型相对所述目标场景道具的相对三维位置信息、以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图11所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：

基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成所述三维场景空间中虚拟角色的行为控制信息；在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的场景内容展示控制方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的场景内容展示控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的场景内容展示控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种场景内容展示控制方法，其特征在于，用于展示三维场景空间的实时场景画面，所述实时场景画面为基于所述三维场景空间的三维场景数据生成的；所述三维场景数据中包括有场景道具数据和虚拟角色数据；所述方法包括：

基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成所述三维场景空间中虚拟角色的行为控制信息；

在基于所述行为控制信息，控制用户端展示所述实时场景画面的过程中，获取用户端上传的目标图片；

根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；

基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

2.根据权利要求1所述的方法，其特征在于，所述获取用户端上传的目标图片，包括：

获取所述虚拟角色控制对象通过用户端上传的所述目标图片；或者，

在所述实时场景画面为直播画面的情况下，获取观看直播的用户通过用户端上传的所述目标图片。

3.根据权利要求1所述的方法，其特征在于，根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息，包括：

从所述图片内容中提取指示所述相对三维位置信息的指示信息；所述指示信息中包括描述与所述目标图片匹配的目标场景道具的信息，或者，包括描述所述相对三维位置信息的信息；和/或，

基于所述目标图片的二维属性特征，确定所述三维场景空间中与所述二维属性特征匹配的目标场景道具，并根据所述目标场景道具的道具属性特征，确定所述目标图片的所述相对三维位置信息。

4.根据权利要求1所述的方法，其特征在于，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：

在所述实时场景画面为直播画面的情况下，获取观看直播的用户发出的直播弹幕信息；

若所述直播弹幕信息中包含与所述目标图片相关的编辑操作信息，基于所述编辑操作信息对所述目标图片进行目标编辑操作；所述目标编辑操作包括对所述目标图片的图片内容进行更新，和/或对所述目标图片的三维属性信息进行更新。

5.根据权利要求1所述的方法，其特征在于，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：

在所述虚拟角色控制对象的行为控制信息与所述目标图片相关的情况下，基于所述行为控制信息，控制所述虚拟角色对在所述实时场景画面中展示的目标图片执行目标控制操作。

6.根据权利要求1所述的方法，其特征在于，在所述用户端展示更新后的实时场景画面之后，所述方法还包括：

响应于目标触发操作，展示图片编辑界面；其中，所述图片编辑界面中展示有多种编辑类型；

响应于选择的目标编辑类型，展示与所述目标编辑类型对应的编辑资源；所述编辑资源包括编辑工具和/或编辑选项；

响应于针对所述编辑资源的使用信息，对所述目标图片进行目标编辑操作。

7.根据权利要求1所述的方法，其特征在于，所述基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，包括：

若获取到多个用户端上传的与同一目标场景道具匹配的多个目标图片，基于所述多个目标图片分别对应的三维属性信息，确定至少一个目标拼接图片及每个所述目标拼接图片的三维属性信息；

基于所述目标拼接图片的三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

8.根据权利要求1所述的方法，其特征在于，基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，包括：

根据所述目标图片的三维属性特征，生成与所述目标图片对应的三维模型，并确定所述三维模型相对所述目标场景道具的相对三维位置信息；

基于所述三维模型、所述三维模型相对所述目标场景道具的相对三维位置信息、以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据。

9.一种场景内容展示控制装置，其特征在于，包括：

生成模块，用于基于行为捕捉设备捕捉的虚拟角色控制对象的行为数据，生成三维场景空间中虚拟角色的行为控制信息；

获取模块，用于在基于所述行为控制信息，控制用户端展示实时场景画面的过程中，获取用户端上传的目标图片；

确定模块，用于根据所述目标图片的图片内容和/或二维属性特征，确定所述目标图片的三维属性信息；所述三维属性信息包含所述目标图片相对所述三维场景空间中的目标场景道具的相对三维位置信息；

展示模块，用于基于所述三维属性信息，以及所述目标场景道具对应的场景道具数据，更新所述三维场景数据，并基于更新后的所述三维场景数据，在所述用户端展示更新后的实时场景画面。

10.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至8任一项所述的场景内容展示控制方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至8任一项所述的场景内容展示控制方法的步骤。

Images