CN115756263A - 剧本交互方法、装置、存储介质、电子设备及产品 - Google Patents

Abstract

本申请公开了一种剧本交互方法、装置、存储介质、电子设备及产品，涉及互联网技术领域，该方法包括：响应于针对待探索剧本的预定交互操作，展示预定交互操作触发的剧情选择节点对应的节点体积视频片段，节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；根据针对节点体积视频片段的选择交互操作，得到待探索剧本中的待探索分支剧情；展示待探索分支剧情对应的剧情体积视频片段，剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；根据针对剧情体积视频片段的内容交互操作，执行待探索剧本的交互探索流程。本申请可以带给用户真实的沉浸式立体剧本交互体验，使得交互方式可以灵活丰富，有效提升用户体验。

Description

剧本交互方法、装置、存储介质、电子设备及产品

技术领域

本申请涉及互联网技术领域，具体涉及一种剧本交互方法、装置、存储介质、电子设备及产品。

背景技术

以剧本杀为例的剧本推理探索类活动中，通常通过用户的剧本交互进行剧本的推理探索。目前，剧本交互的方式通常是用户与二维剧本画面进行单一的交互，来推动剧情的探索流程。

目前的剧本交互方式，无法呈现给用户真实的沉浸式立体剧本交互体验，使得交互方式亦较为单一，用户参与度得不到满足，用户体验较差。

发明内容

本申请实施例提供一种方案，可以呈现给用户真实的沉浸式立体剧本交互体验，可以使得交互方式灵活丰富，有效提升用户体验。

本申请实施例提供以下技术方案：

根据本申请的一个实施例，一种剧本交互方法，所述方法包括：响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

在本申请的一些实施例中，所述待探索剧本的剧本探索房间中包括至少一个用户，所述方法还包括：在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；所述展示所述待探索分支剧情对应的剧情体积视频片段，包括：在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

在本申请的一些实施例中，所述方法还包括：在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

在本申请的一些实施例中，所述展示针对所述节点体积视频片段的选择交互操作的操作画面，包括：获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互操作的体积视频；将展示所述选择交互操作的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述展示针对所述剧情体积视频片段的内容交互操作的操作画面，包括：获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述至少一个用户包括非同时在线的用户或同时在线的用户。

在本申请的一些实施例中，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情，包括以下方式中一种：根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

在本申请的一些实施例中，在所述根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程之后，所述方法还包括：在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

根据本申请的一个实施例，一种剧本交互装置，所述装置包括：节点处理模块，用于响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合节点场景与节点对象的体积视频得到的；剧情确定模块，用于根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；剧情处理模块，用于展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合分支剧情场景与剧情对象的体积视频得到的；剧情探索模块，用于根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

在本申请的一些实施例中，所述待探索剧本的剧本探索房间中包括至少一个用户，所述装置还包括选择操作展示模块，用于：在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；所述剧情处理模块，用于：在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

在本申请的一些实施例中，所述装置还包括内容操作展示模块，用于：在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

在本申请的一些实施例中，所述选择操作展示模块，用于：获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互操作的体积视频；将展示所述选择交互操作的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述内容操作展示模块，用于：获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述至少一个用户包括非同时在线的用户或同时在线的用户。

在本申请的一些实施例中，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述剧情确定模块，用于实现以下方式中一种：根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

在本申请的一些实施例中，所述装置还包括剧本内容合成模块，用于：在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

根据本申请的另一实施例，一种存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行本申请实施例所述的方法。

根据本申请的另一实施例，一种电子设备可以包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行本申请实施例所述的方法。

根据本申请的另一实施例，一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例所述的各种可选实现方式中提供的方法。

本申请实施例的剧本交互方案中，响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

以这种方式，由融合三维节点场景与节点对象的体积视频得到的节点体积视频片段，以及，由融合三维分支剧情场景与剧情对象的体积视频得到的剧情体积视频片段，供用户分别进行剧本中剧情选择节点及待探索分支剧情的交互操作，节点体积视频片段和剧情体积视频片段在体积视频的加持下，可以呈现非常真实的三维立体剧本内容，可以带给用户真实的沉浸式立体剧本交互体验，使得交互方式可以灵活丰富，有效提升用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种可以应用本申请实施例的系统的示意图。

图2示出了根据本申请的一个实施例的剧本交互方法的流程图。

图3示出了根据本申请的另一个实施例的剧本交互装置的框图。

图4示出了根据本申请的一个实施例的电子设备的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出了可以应用本申请实施例的系统100的示意图。如图1所示，系统100可以包括服务器101及客户端102。

服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

客户端102可以是任意的设备，客户端102包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、VR/AR设备、智能手表以及计算机等等。一种实施方式中，服务器101或客户端102可以是区块链网络或地图车联网平台中的节点设备。

本示例的一种实施方式中，服务器101或客户端102可以作为执行主体来执行：响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

其中，服务器101在作为执行主体时，在执行“展示”步骤时，可以将相关内容(例如，预定交互操作的操作画面、节点体积视频片段、选择交互操作的操作画面、剧情体积视频片段及内容交互操作的操作画面等)发送至客户端102进行展示。选择交互操作及内容交互操作可以是客户端102上触发而告知服务器101的。

其中，某个客户端102在作为执行主体时，在执行“展示”步骤时，该某个客户端102可以将相关内容(例如，预定交互操作的操作画面、节点体积视频片段、选择交互操作的操作画面、剧情体积视频片段及内容交互操作的操作画面等)在某个客户端102本地展示和/或将相关内容发送至接入待探索剧本的剧本探索房间的其他的客户端102进行展示。选择交互操作及内容交互操作可以是客户端102上触发的。

图2示意性示出了根据本申请的一个实施例的剧本交互方法的流程图。该剧本交互方法的执行主体可以是任意的设备，例如图1所示的服务器101或客户端102。

如图2所示，该剧本交互方法可以包括步骤S210至步骤S240。

步骤S210，响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；步骤S220，根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；步骤S230，展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；步骤S240，根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成的三维动态模型序列。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原真实三维世界，而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列，使得用户可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。

待探索剧本中可以包括多个剧情选择节点，每个剧情选择节点可以对应有节点对象，节点对象可以是真实的人，在节点对象进行剧情选择节点的节点对应行为(例如通过各种动作及语音进行的演示节点中需要告知用户的内容的行为)的过程中，可以采集节点对象对应的三维空间中信息(如深度信息和色彩信息等)，从而生成可以演示节点对象的节点对应行为的体积视频。

三维节点场景可以是三维虚拟场所((例如三维虚拟舞台或三维虚拟室内空间等)、节点的三维虚拟文字及三维虚拟物品等组成的三维场景，将三维节点场景与节点对象的体积视频可以在虚拟引擎(例如UE4、UE5、Unity 3D等)中融合得到节点体积视频片段。可以理解，不同的剧情选择节点可以对应不同的节点对象及不同的三维节点场景，不同的剧情选择节点可以对应不同的节点体积视频片段。

待探索剧本中可以包括多个待探索分支剧情，待探索分支剧情例如剧本杀中某个剧情分支的剧情。每个待探索分支剧情可以对应有剧情对象，剧情对象可以是真实的人，在剧情对象进行待探索分支剧情的剧情对应行为(例如通过各种动作及语音进行演示剧情中需要告知用户的内容的行为)的过程中，可以采集剧情对象对应的三维空间中信息(如深度信息和色彩信息等)，从而生成可以演示剧情对象的剧情对应行为的体积视频。

三维分支剧情场景可以是三维虚拟场所((例如三维虚拟舞台或三维虚拟室内空间等)、场景的三维虚拟文字及三维虚拟物品等组成的三维场景，将三维分支剧情场景与剧情对象的体积视频可以在虚拟引擎(例如UE4、UE5、Unity3D等)中融合得到三维分支剧情场景。可以理解，不同的待探索分支剧情可以对应不同的剧情对象及不同的三维分支剧情场景，不同的待探索分支剧情可以对应不同的剧情体积视频片段。

检测到用户触发预定交互操作(例如启动剧本的点击操作或语音触发操作)，展示预定交互操作触发的剧情选择节点对应的节点体积视频片段，用户可以针对该节点体积视频片段进行选择交互操作(例如通过划动屏幕转动节点体积视频片段的观看视角、通过点击操作点击节点体积视频片段中某个内容、通过语音进行交互等)，根据该选择交互操作，用户可以选择待探索剧本中的某个待探索分支剧情，进而可以展示该待探索分支剧情对应的剧情体积视频片段，进一步的，用户可以针对该剧情体积视频片段进行内容交互操作(例如通过划动屏幕转动剧情体积视频片段的观看视角、通过点击操作点击剧情体积视频片段中某个内容等)，根据该内容交互操作可以进入待探索剧本中新的剧情选择节点或新的待探索分支剧情供用户进行操作，以此，可以不断执行待探索剧本的交互探索流程，直至结束该待探索剧本的交互探索流程。

以这种方式，基于步骤S210至步骤S230，由融合三维节点场景与节点对象的体积视频得到的节点体积视频片段，以及，由融合三维分支剧情场景与剧情对象的体积视频得到的剧情体积视频片段，供用户分别进行剧本中剧情选择节点及待探索分支剧情的交互操作，节点体积视频片段和剧情体积视频片段在体积视频的加持下，可以呈现非常真实的三维立体剧本内容，可以带给用户真实的沉浸式立体剧本交互体验，使得交互方式可以灵活丰富，有效提升用户体验。

下面描述图2实施例中进行剧本交互时，所进行的各步骤下进一步的具体可选实施例。

一种实施例中，所述待探索剧本的剧本探索房间中包括至少一个用户，所述方法还包括：在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；所述展示所述待探索分支剧情对应的剧情体积视频片段，包括：在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

该待探索剧本的剧本探索房间中可以加入至少一个用户(例如1个或10个用户)，一个或多个用户可以针对节点体积视频片段的选择交互操作的操作画面，可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中展示。一个或多个用户的选择交互操作所选定的剧情体积视频片段，也可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中展示，即可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中播放该剧情体积视频片段。

一种实施例中，所述方法还包括：在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

一个或多个用户可以针对剧情体积视频片段进行内容交互操作。一个或多个用户针对剧情体积视频片段进行内容交互操作，可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中展示。

一种实施例中，所述展示针对所述节点体积视频片段的选择交互操作的操作画面，包括：获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互行为的体积视频；将展示所述选择交互行为的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

节点交互对象可以是执行选择交互操作的一个或多个用户对应的对象，节点交互对象通常是真实的人。选择交互行为即节点交互对象执行选择交互操作过程中的各种行为(例如手势、转动身体等肢体行为)。通过在剧本探索场所空间内环绕节点交互对象设置相机(可以包括彩色相机和深度相机)，通过环绕设置的不同视角的相机可以采集到节点交互对象在进行选择交互操作的过程中的不同视角的对象画面，不同视角的对象画面即多视角节点交互对象画面(可以包括不同视角的彩色相机和深度相机采集的彩色图像和深度图像)。基于所述多视角节点交互对象画面可以构建用于生成体积视频的三维模型，进而基于三维模型构建得到可以展示节点交互对象的选择交互行为的体积视频。

将展示选择交互行为的体积视频与节点体积视频片段可以在虚拟引擎(例如UE4、UE5、Unity 3D等)中融合，融合后可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中展示。

一种实施例中，所述展示针对所述节点体积视频片段的选择交互操作的操作画面，包括：在加入该剧本探索房间中的至少一个用户对应的客户端中，展示进行选择交互操作的一个或多个用户的客户端界面。

一种实施例中，所述展示针对所述剧情体积视频片段的内容交互操作的操作画面，包括：获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

剧情交互对象可以是执行内容交互操作的一个或多个用户对应的对象，剧情交互对象通常是真实的人。内容交互行为即剧情交互对象执行内容交互操作过程中的各种行为(例如手势、转动身体等肢体行为)。通过在剧本探索场所空间内环绕剧情交互对象设置相机(可以包括彩色相机和深度相机)，通过环绕设置的不同视角的相机可以采集到剧情交互对象在进行内容交互操作的过程中的不同视角的对象画面，不同视角的对象画面即多视角剧情交互对象画面(可以包括不同视角的彩色相机和深度相机采集的彩色图像和深度图像)。基于所述多视角剧情交互对象画面可以构建用于生成体积视频的三维模型，进而基于三维模型构建得到可以展示剧情交互对象的内容交互行为的体积视频。

将展示内容交互行为的体积视频与节点体积视频片段可以在虚拟引擎(例如UE4、UE5、Unity 3D等)中融合，融合后可以同步至或传输至加入该剧本探索房间中的至少一个用户对应的客户端中展示。

一种实施例中，所述展示针对所述剧情体积视频片段的内容交互操作的操作画面，包括：在加入该剧本探索房间中的至少一个用户对应的客户端中，展示进行内容交互操作的一个或多个用户的客户端界面。

一种实施例中，前述实施例中的所述至少一个用户可以包括非同时在线的用户或同时在线的用户。一种方式中，至少一个用户可以包括非同时在线的用户，即剧本探索房间维持的时间段内，允许新的用户加入该剧本探索房间，新加入的用户可以在之前的剧本探索进度的基础上进行进一步探索，剧本探索房间可以维持由多用户在非同时在线参与下的剧情进展；用户已完成的剧情进度，可以影响后续新用户的探索流程，即多用户时序上在先的行为会影响其他玩家在后的行为。一种方式中，至少一个用户可以包括同时在线的用户，即所有在线的加入剧本探索房间的用户需要在线同步探索该待探索剧本。

一种实施例中，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情，包括以下方式中一种：根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

第一种方式中，直接根据一个或用户进行的剧情选择操作的操作结果指向的分支剧情，得到待探索分支剧情；第二种方式中，根据进行多用户投票操作的一个或用户的投票结果指向的分支剧情，得到待探索分支剧情。

一种实施例中，在所述根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程之后，所述方法还包括：

在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

待探索剧本对应的剧本探索内容可以包括待探索剧本用户触发过的剧情选择节点对应的节点体积视频片段、探索过的待探索分支剧情对应的剧情体积视频片段、选择交互操作的操作画面、内容交互操作的操作画面、展示选择交互操作的体积视频、展示剧情交互行为的体积视频以及加入该剧本探索房间中的用户对应客户端的客户端界面中的一种或多种。将这些剧本探索内容组合可以得到待探索剧本对应的体积视频剧本内容。

进一步的，前述实施例中的体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成的三维动态模型序列。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原真实三维世界，而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列，使得用户可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。

可选地，在本申请中，用于构成体积视频的三维模型可以按照如下方式重建得到：

先获取拍摄对象(例如，节点对象、剧情对象、节点交互对象或剧情交互对象)的不同视角的彩色图像和深度图像，以及彩色图像对应的相机参数；然后根据获取到的彩色图像及其对应的深度图像和相机参数，训练隐式表达拍摄对象三维模型的神经网络模型，并基于训练的神经网络模型进行等值面提取，实现对拍摄对象的三维重建，得到拍摄对象的三维模型。

应当说明的是，本申请实施例中对采用何种架构的神经网络模型不作具体限制，可由本领域技术人员根据实际需要选取。比如，可以选取不带归一化层的多层感知机(Multilayer Perceptron，MLP)作为模型训练的基础模型。

下面将对本申请提供的三维模型重建方法进行详细描述。

首先，可以同步采用多个彩色相机和深度相机对需要进行三维重建的拍摄对象进行多视角的拍摄，得到拍摄对象在多个不同视角的彩色图像及对应的深度图像(即多视角的彩色图像及对应的深度图像)，即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同)，各视角的彩色相机将拍摄得到拍摄对象在对应视角的彩色图像，相应的，各视角的深度相机将拍摄得到拍摄对象在对应视角的深度图像。

以此，拍摄对象在不同视角的彩色图像均具备对应的深度图像，即在拍摄时，彩色相机和深度相机可以采用相机组的配置，同一视角的彩色相机配合深度相机同步对同一拍摄对象进行拍摄。比如，可以搭建一摄影棚，该摄影棚中心区域为拍摄区域，环绕该拍摄区域，在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当对象处于这些彩色相机和深度相机所环绕的拍摄区域时，即可通过这些彩色相机和深度相机拍摄得到该对象在不同视角的彩色图像及对应的深度图像。

此外，进一步获取每一彩色图像对应的彩色相机的相机参数。其中，相机参数包括彩色相机的内外参，可以通过标定确定，相机内参为与彩色相机自身特性相关的参数，包括但不限于彩色相机的焦距、像素等数据，相机外参为彩色相机在世界坐标系中的参数，包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。

如上，在获取到拍摄对象在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后，即可根据这些彩色图像及其对应深度图像对拍摄对象进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式，本申请训练一神经网络模型用以实现对拍摄对象的三维模型的隐式表达，从而基于该神经网络模型实现对对象的三维重建。

可选地，本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron，MLP)作为基础模型，按照如下方式进行训练：

基于对应的相机参数将每一彩色图像中的像素点转化为射线；在射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值；将采样点的第一坐标信息输入基础模型，得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值；基于预测SDF值与SDF值之间的第一差异，以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整，直至满足预设停止条件；将满足预设停止条件的基础模型作为隐式表达对象的三维模型的神经网络模型。

首先，基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线，该射线可以为经过像素点且垂直于彩色图像面的射线；然后，在该射线上采样多个采样点，采样点的采样过程可以分两步执行，可以先均匀采样部分采样点，然后再在基于像素点的深度值在关键处进一步采样多个采样点，以保证在模型表面附近可以采样到尽量多的采样点；然后，根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field，SDF)值，其中，SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值，该差值为有符号的值，当差值为正值时，表示采样点在三维模型的外部，当差值为负值时，表示采样点在三维模型的内部，当差值为零时，表示采样点在三维模型的表面；然后，在完成采样点的采样并计算得到每一采样点对应的SDF值之后，进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出)，将基础模型输出的SDF值记为预测SDF值，将基础模型输出的RGB颜色值记为预测RGB颜色值；然后，基于预测SDF值与采样点对应的SDF值之间的第一差异，以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整。

此外，对于彩色图像中的其它像素点，同样按照上述方式进行采样点采样，然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值，用于对基础模型的参数进行调整，直至满足预设停止条件，比如，可以配置预设停止条件为对基础模型的迭代次数达到预设次数，或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时，即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后，可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取，从而得到拍摄对象的三维模型。

可选地，在一些实施例中，根据相机参数确定彩色图像的成像面；确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。

其中，可以根据彩色图像对应的彩色相机的相机参数，确定该彩色图像在世界坐标系中的坐标信息，即确定成像面。然后，可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。

可选地，在一些实施例中，根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度；根据第二坐标信息和旋转角度确定彩色图像的成像面。

可选地，在一些实施例中，在射线上等间距采样第一数量个第一采样点；根据像素点的深度值确定多个关键采样点，并根据关键采样点采样第二数量个第二采样点；将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。

其中，先在射线上均匀采样n(即第一数量)个第一采样点，n为大于2的正整数；然后，再根据前述像素点的深度值，从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点，或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点；然后，根据确定出的关键采样点再采样m个第二采样点，m为大于1的正整数；最后，将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中，在关键采样点处再多采样m个采样点，可以使得模型的训练效果在三维模型表面处更为精确，从而提升三维模型的重建精度。

可选地，在一些实施例中，根据彩色图像对应的深度图像确定像素点对应的深度值；基于深度值计算每一采样点距离像素点的SDF值；根据相机参数与深度值计算每一采样点的坐标信息。

其中，在每一像素点对应的射线上采样了多个采样点后，对于每一采样点，根据相机参数、像素点的深度值确定彩色相机的拍摄位置与拍摄对象上对应点之间的距离，然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。

需要说明的是，在完成对基础模型的训练之后，对于给定的任意一个点的坐标信息，即可由完成训练的基础模型预测其对应的SDF值，该预测的SDF值即表示了该点与对象的三维模型的位置关系(内部、外部或者表面)，实现对拍摄对象的三维模型的隐式表达，得到用于隐式表达对象的三维模型的神经网络模型。

最后，对以上神经网络模型进行等值面提取，比如可以采用等值面提取算法(Marching cubes，MC)绘制出三维模型的表面，得到三维模型表面，进而根据该三维模型表面得到拍摄对象的三维模型。

本申请提供的三维重建方案，通过神经网络去隐式建模对象的三维模型，并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案，在时序上持续的对拍摄对象进行三维重建，即可得到拍摄对象在不同时刻的三维模型，这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此，可以针对任意拍摄对象进行“体积视频拍摄”，得到特定内容呈现的体积视频。比如，可以对跳舞的拍摄对象进行体积视频拍摄，得到可以在任意角度观看对象舞蹈的体积视频，可以对教学的拍摄对象进行体积视频拍摄，得到可以在任意角度观看拍摄对象教学的体积视频，等等。

为便于更好的实施本申请实施例提供的交互方法，本申请实施例还提供一种基于上述交互方法的交互装置。其中名词的含义与上述交互方法中相同，具体实现细节可以参考方法实施例中的说明。图3示出了根据本申请的一个实施例的剧本交互装置的框图。

如图3所示，剧本交互装置300可以包括：节点处理模块310、剧情确定模块320、剧情处理模块330及剧情探索模块340。

节点处理模块310可以用于响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合节点场景与节点对象的体积视频得到的；剧情确定模块320可以用于根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；剧情处理模块330可以用于展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合分支剧情场景与剧情对象的体积视频得到的；剧情探索模块340可以用于根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

在本申请的一些实施例中，所述待探索剧本的剧本探索房间中包括至少一个用户，所述装置还包括选择操作展示模块，用于：在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；所述剧情处理模块，用于：在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

在本申请的一些实施例中，所述装置还包括内容操作展示模块，用于：在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

在本申请的一些实施例中，所述选择操作展示模块，用于：获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互操作的体积视频；将展示所述选择交互操作的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述内容操作展示模块，用于：获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述至少一个用户包括非同时在线的用户或同时在线的用户。

在本申请的一些实施例中，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述剧情确定模块，用于实现以下方式中一种：根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

在本申请的一些实施例中，所述装置还包括剧本内容合成模块，用于：在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，本申请实施例还提供一种电子设备，该电子设备可以为终端或者服务器，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现本申请前述实施例中各种功能。

如处理器401可以执行下述步骤：响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

在本申请的一些实施例中，所述待探索剧本的剧本探索房间中包括至少一个用户，还包括：在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；所述展示所述待探索分支剧情对应的剧情体积视频片段，包括：在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

在本申请的一些实施例中，还包括：在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

在本申请的一些实施例中，所述展示针对所述节点体积视频片段的选择交互操作的操作画面，包括：获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互操作的体积视频；将展示所述选择交互操作的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述展示针对所述剧情体积视频片段的内容交互操作的操作画面，包括：获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

在本申请的一些实施例中，所述至少一个用户包括非同时在线的用户或同时在线的用户。

在本申请的一些实施例中，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情，包括以下方式中一种：根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

在本申请的一些实施例中，在所述根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程之后，还包括：在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种方法中的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的实施例，而可以在不脱离其范围的情况下进行各种修改和改变。

Claims (12)

1.一种剧本交互方法，其特征在于，所述方法包括：

响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合三维节点场景与节点对象的体积视频得到的；

根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；

展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合三维分支剧情场景与剧情对象的体积视频得到的；

根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

2.根据权利要求1所述的方法，其特征在于，所述待探索剧本的剧本探索房间中包括至少一个用户，所述方法还包括：

在所述至少一个用户对应的客户端，展示针对所述节点体积视频片段的选择交互操作的操作画面；

所述展示所述待探索分支剧情对应的剧情体积视频片段，包括：

在所述至少一个用户对应的客户端，展示所述待探索分支剧情对应的剧情体积视频片段。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述至少一个用户对应的客户端，展示针对所述剧情体积视频片段的内容交互操作的操作画面。

4.根据权利要求2所述的方法，其特征在于，所述展示针对所述节点体积视频片段的选择交互操作的操作画面，包括：

获取节点交互对象在进行选择交互操作的过程中的多视角节点交互对象画面；

基于所述多视角节点交互对象画面，得到展示所述节点交互对象的选择交互操作的体积视频；

将展示所述选择交互操作的体积视频与所述节点体积视频片段融合后，在所述至少一个用户对应的客户端展示。

5.根据权利要求3所述的方法，其特征在于，所述展示针对所述剧情体积视频片段的内容交互操作的操作画面，包括：

获取剧情交互对象在进行内容交互操作的过程中的多视角剧情交互对象画面；

基于所述多视角剧情交互对象画面，得到展示所述剧情交互对象的剧情交互行为的体积视频；

将展示所述剧情交互行为的体积视频与所述剧情体积视频片段融合后，在所述至少一个用户对应的客户端展示。

6.根据权利要求2所述的方法，其特征在于，所述至少一个用户包括非同时在线的用户或同时在线的用户。

7.根据权利要求1所述的方法，其特征在于，所述选择交互操作包括剧情选择操作及多用户投票操作中一种；所述根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情，包括以下方式中一种：

根据针对所述节点体积视频片段的剧情选择操作的操作结果，所述待探索剧本中所述操作结果对应的待探索分支剧情；

根据针对所述节点体积视频片段的多用户投票操作的投票结果，所述待探索剧本中所述投票结果对应的待探索分支剧情。

8.根据权利要求1至7任一项所述的方法，其特征在于，在所述根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程之后，所述方法还包括：

在所述待探索剧本的交互探索流程结束后，获取所述待探索剧本对应的剧本探索内容；

基于所述剧本探索内容生成所述待探索剧本对应的体积视频剧本内容。

9.一种剧本交互装置，其特征在于，所述装置包括：

节点处理模块，用于响应于针对待探索剧本的预定交互操作，展示所述预定交互操作触发的剧情选择节点对应的节点体积视频片段，所述节点体积视频片段为融合节点场景与节点对象的体积视频得到的；

剧情确定模块，用于根据针对所述节点体积视频片段的选择交互操作，得到所述待探索剧本中的待探索分支剧情；

剧情处理模块，用于展示所述待探索分支剧情对应的剧情体积视频片段，所述剧情体积视频片段为融合分支剧情场景与剧情对象的体积视频得到的；

剧情探索模块，用于根据针对所述剧情体积视频片段的内容交互操作，执行所述待探索剧本的交互探索流程。

10.一种存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至8任一项所述的方法。

11.一种电子设备，其特征在于，包括：存储器，存储有计算机程序；处理器，读取存储器存储的计算机程序，以执行权利要求1至8任一项所述的方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至8任一项的方法。

Images