CN110062132B - 剧场表演重建方法及装置 - Google Patents

Abstract

本发明实施例提供一种剧场表演重建方法及装置，属于三维重建技术领域。包括：采集剧场表演的全景数据；对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素进行重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。

Description

剧场表演重建方法及装置

技术领域

本发明实施例涉及三维重建技术领域，尤其涉及一种剧场表演重建方法及装置。

背景技术

在剧场演出的创作过程中，需要对多种表演元素进行反复的排练和合成。这些剧场表演元素包括每个演员的表演内容，以及舞台布景、背景音乐、灯光、特效、道具等随空间和时间的变化。对于每个演员，需要学习所扮演角色的台词、表情、动作、站位，以及与其他角色的关系；对于舞美道具部门，需要了解布景、道具随位置和时间的变化；对于音响部门，需要知道音效的播放方案及其具体时间点；对于灯光部门，需要知道切换灯光效果的具体时间点。在剧场演出的创作过程中，这些表演元素会不断地修改并被重新合成，从而需要一个记录工具来辅助创作团队记录不同剧场表演元素的排练过程，以及各个剧场表演元素在时间和空间维度上的相互关系。最常见的记录工具是视频录像，但是表演视频无法记录剧场表演元素的三维信息，也不能对单个表演元素进行分类记录。因此，现在急需一种剧场表演重建方法进行记录。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的剧场表演重建方法及装置。

根据本发明实施例的第一方面，提供了一种剧场表演重建方法，包括：

采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；

对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

根据本发明实施例的第二方面，提供了一种剧场表演重建装置，包括：

采集模块，用于采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；

预处理模块，用于对全景数据进行预处理，得到剧场表演数据；

标注模块，用于对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

根据本发明实施例的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的剧场表演重建方法。

根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的剧场表演重建方法。

本发明实施例提供的剧场表演元素识别方法及装置，通过采集剧场表演的全景数据，对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素的重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。最后，每个剧场表演元素都可以单独控制，方便编导、演员、舞美、灯光等各个部门查看自己对应的部分，同时也可以看到整个剧场表演的全貌，提高了工作效率，也为剧场工作者提供更好的工作体验。

应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种剧场表演重建方法的流程示意图；

图2为本发明实施例提供的一种数据采集模块的工作原理示意图；

图3为本发明实施例提供的一种数据处理模块、数据标注和展示模块之间的工作原理示意图；

图4为本发明实施例提供的一种剧场表演重建系统的结构示意图；

图5为本发明实施例提供的一种剧场表演重建装置的结构示意图；

图6为本发明实施例提供的一种电子设备的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着三维重建、动作捕捉、人脸识别、表情识别、光场重建以及全景视频等技术的成熟，更加完整的剧场表演元素记录成为可能。三维重建技术可以获取舞台的深度信息，并根据点云数据的配准融合，实现表演场景的重建；动作捕捉、表情识别、声音捕捉等技术也可以记录与演员相关的表演元素；光场和声场的重建技术可以对舞台声光效果进行重建。基于上述原理，可以针对剧场表演的各表演元素进行重建，以使得重建的范围相对更加广泛和完整。相应地，剧组工作人员对于剧场表演的指导工作就不再限制于真实的剧场环境，演出团队也可以利用重建的表演元素数据更加了解和完善自己的表演。同时，这些表演元素数据还可以用于创作新媒体内容。

本发明实施例提出了一个基于全景相机的剧场表演重建方法，利用一台全景相机捕捉剧场表演的全景视频，使用场景三维重建、动作捕捉、人脸识别、表情识别、光场重建等多种技术对剧场表演元素进行重建，并通过数据处理对表演元素进行标注，获得各个表演元素数据，可以为剧场表演的编导、演员、舞美、灯光等各个部门提供排练和演出的数据支持。需要说明的是，本发明实施例提供的方法，可以适用于不同的剧场表演形式，包括且不限于话剧、歌剧、舞剧、曲艺、杂技、魔术、音乐等多种表演形式。参见图1，该方法包括：101、采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；102、对全景数据进行预处理，得到剧场表演数据；103、对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

其中，全景数据的采集可以通过数据采集模块实现，本发明实施例对此不作具体限定。数据采集模块可以包括且不限于一个全景相机、一个声音捕捉设备和数据采集服务器，如图2所示。全景相机用于对剧院表演进行多相机拍摄，声音捕捉设备用于采集表演的音频数据。

数据采集模块可以采集剧场表演的全景视频数据、音频数据和定标全景图像数据。定标全景图像可以包括两个部分：多相机几何定标的多幅全景图像数据，和记录不同照明方案的全景图像数据。其中，多相机几何定标的全景图像是指放置好标定物后，从不同方向和距离拍摄的全景图像，用于相机标定和校正。其中。记录不同照明方案的全景图像是指涵盖所有光照方案的全景图像合集，以用于对光场的重建。数据采集完成后，数据采集服务器可将全景视频数据、音频数据和定标全景图像发送给数据处理模块，以通过数据处理模块执行步骤102。

步骤103可以通过数据标注和展示模块实现，通过对剧场表演数据进行数据标注，可以使得每种剧场表演数据与剧场表演元素相对应，从而形成完整的剧场表演元素，并最终以三维重建的形式进行呈现。

本发明实施例提供的方法，通过采集剧场表演的全景数据，对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素的重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。最后，每个剧场表演元素都可以单独控制，方便编导、演员、舞美、灯光等各个部门查看自己对应的部分，同时也可以看到整个剧场表演的全貌，提高了工作效率，也为剧场工作者提供更好的工作体验。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括点云数据及相机姿态数据；相应地，关于对全景数据进行预处理，得到剧场表演数据的方式，本发明实施例对此不作具体限定，包括但不限于：提取全景图像中标定物的特征点，根据特征点，计算相机的内外参数和畸变参数；根据内外参数及畸变参数，对全景视频中的关键帧进行畸变校正，基于畸变校正后的关键帧进行三维重建，得到点云数据及相机姿态。

其中，上述过程可以通过三维重建模块实现。具体地，三维重建模块在获取到定标全景图像之后，首先对相机进行标定，即提取标定物的特征点，根据获取到的信息计算相机的内外参数和畸变系数。其次，利用全景视频对拍摄到的视频提取关键帧，对关键帧做畸变校正。最后，利用关键帧做三维重建，生成点云数据和摄像头的相机姿态。对表演场景的三维重建完成之后，再将处理完成的数据发送给数据标注和展示模块。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括演员动作数据；相应地，关于对全景数据进行预处理，得到剧场表演数据的方式，本发明实施例对此不作具体限定，包括但不限于：基于全景视频中的人物位置，通过深度学习模型对人体关节点进行预测，并确定人体轮廓信息；根据人体轮廓信息，对人体进行三维建模，得到演员动作数据。

其中，上述过程可以通过动作捕捉模块实现。具体地，动作捕捉模块获取到全景视频后，首先进行背景减操作以识别人物位置。基于人物位置，通过深度学习模型对人体关节点进行预测并求出人体轮廓信息。获取人体轮廓信息后，对表演场景中人体轮廓信息中所有的点进行遍历，筛选哪些点属于人体对象。最后，利用筛选出的点数据对人体进行三维建模，获取演员动作数据，完成对演员的动作捕捉。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括面部特征信息；相应地，关于对全景数据进行预处理，得到剧场表演数据的方式，本发明实施例对此不作具体限定，包括但不限于：对全景视频进行脸部特征点匹配，得到面部特征信息。

其中，上述过程可以通过人脸识别和表情识别模块实现。具体地，人脸识别和表情识别模块通过对全景视频数行脸部特征点匹配来对人脸进行检测，识别人脸数据后，提取出面部特征信息。利用面部特征信息和表情分类器进行表情识别，并对其进行重建。所有重建完成的数据发送给数据标注和展示模块。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括演员台词数据及剧场音效数据；相应地，对全景数据进行预处理，得到剧场表演数据，包括：对剧场表演中获取到的声音数据进行噪声剔除，得到演员台词数据及剧场音效数据。

其中，上述过程可以通过声音重建模块实现。具体地，声音重建模块获取到剧场表演的声音数据后，首先按照一定规则进行噪声剔除，将不必要的数据舍弃。然后，从处理好的数据中提取出演员台词、剧场音效等必要的声音数据，并发送到数据标注和展示模块。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括光场数据；相应地，对全景数据进行预处理，得到剧场表演数据，包括：从定标全景图像分割出天花板、地面及垂直物体区域，根据天花板、地面及垂直物体区域的明暗程度，获取光源位置及光照强度估计结果，并作为光场数据。

其中，上述过程可以通过光照重建模块实现。具体地，光照重建模块在获取记录不同照明方案的全景图像后，从每幅图像中分割出天花板、地面以及垂直物体区域，并根据天花板、地面以及垂直物体区域的推断出光源位置及光照强度估计结构，并作为光场数据，以实现不同方案下光场的重建。

基于上述实施例的内容，作为一种可选实施例，剧场表演元素包括舞台布局、道具、演员动作、演员表情、演员台词、演员空间位置、演员关系、剧场音效及光场照明。

结合上述各种剧场表演元素，现对数据标注的过程进行说明：通过数据标注，将重建获得的三维场景数据转换为舞台布景和道具的三维模型。将重建获得的演员动作数据和表情数据，匹配至每个演员的动作和表情。将重建获得的声音数据转换为对应的演员台词和音效播放方案。将重建获得的光场数据转换为照明方案。其中，这些数据都包含时间戳，代表各个剧场表演元素随时间变化的过程。具体为：

获取到表演场景的三维重建数据后，对场景中的舞台布局、道具等进行标注并建立数据结构，每个数据结构存放一种布局或道具的空间位置信息和时间信息，代表某个道具在某个时刻的所有数据。将三维重建数据标注为可操作的舞台布局或道具的数据结构，完成对舞台背景、道具等场景相关剧场表演元素的重建，以随时查看每一个布局或道具在每一时刻的位置和状态。

获取到演员相关数据后，对演员的动作数据和表情数据进行匹配和标注，将属于同一个演员的动作、表情等信息聚合到一起。对于声音数据中的获取到的演员台词数据，可以对每个演员的声音进行识别、匹配和标注。同时，可以将台词转化为文本的形式，将数据进行分类处理，把属于同一演员的台词声音、文本聚合到一起。标注完成后，将演员的所有数据建立数据结构，每个数据结构存放一个演员的数据信息，包括台词、动作、表情、所在舞台场景的空间位置、与其他演员的关系，以及这些剧场表演元素所对应的时间点，完成对演员相关剧场表演元素的重建。通过重建结果，即可以查看某个指定的演员在某个时刻的所有表演数据。

对于与表演音效相关的声音数据，通过分类标注后，将音效进行编号，并标注出现的时间点和播放时长，形成音效播放方案，使可以查看任一时间点的音效数据，完成对剧场表演音效的重建。对于重建得到的光场数据，对不同的照明方案进行编号，并标注对应的时间点和照明时长，形成照明切换的方案。通过查看照明方案，可以知道在某一时刻的灯光效果，完成对剧场表演光场的重建。最后，将数据标注模块处理完成后的舞台场景、演员、声音、光照等元素聚合到一起，形成最终的重建结果，并由数据展示模块展示出剧场表演元素的重建结果。其中，数据处理模块、数据标注和展示模块之间的数据交互可参考图3。数据采集模块、数据处理模块及数据标注和展示模块之间组成的剧场表演重建系统，可参考图4。

基于上述实施例的内容，本发明实施例提供了一种剧场表演重建装置，该装置用于执行上述方法实施例中提供的剧场表演重建方法。参见图5，该装置包括：

采集模块501，用于采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；

预处理模块502，用于对全景数据进行预处理，得到剧场表演数据；

标注模块503，用于对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括点云数据及相机姿态数据；相应地，预处理模块502，用于提取全景图像中标定物的特征点，根据特征点，计算相机的内外参数和畸变参数；根据内外参数及畸变参数，对全景视频中的关键帧进行畸变校正，基于畸变校正后的关键帧进行三维重建，得到点云数据及相机姿态。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括演员动作数据；相应地，预处理模块502，用于基于全景视频中的人物位置，通过深度学习模型对人体关节点进行预测，并确定人体轮廓信息；根据人体轮廓信息，对人体进行三维建模，得到演员动作数据。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括面部特征信息；相应地，预处理模块502，用于对全景视频进行脸部特征点匹配，得到面部特征信息。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括演员台词数据及剧场音效数据；相应地，预处理模块502，用于对剧场表演中获取到的声音数据进行噪声剔除，得到演员台词数据及剧场音效数据。

基于上述实施例的内容，作为一种可选实施例，剧场表演数据包括光场数据；相应地，预处理模块502，用于从定标全景图像分割出天花板、地面及垂直物体区域，根据天花板、地面及垂直物体区域的明暗程度，获取光源位置及光照强度估计结果，并作为光场数据。

基于上述实施例的内容，作为一种可选实施例，剧场表演元素包括舞台布局、道具、演员动作、演员表情、演员台词、演员空间位置、演员关系、剧场音效及光场照明。

本发明实施例提供的装置，通过采集剧场表演的全景数据，对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。由于可以对剧场表演元素的重建，从而可以帮助剧组人员全方位的了解剧场表演的三维场景，并且可以随时随地对各剧场表演元素进行指导调整，提高工作效率。其次，演出团队也可以利用重建的剧场表演元素查看自己的排练效果，动作表情是否到位，以及每一个情节的台词、站位等，为演员提供一个方便的辅助工具。最后，每个剧场表演元素都可以单独控制，方便编导、演员、舞美、灯光等各个部门查看自己对应的部分，同时也可以看到整个剧场表演的全貌，提高了工作效率，也为剧场工作者提供更好的工作体验。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：采集剧场表演的全景数据，全景数据包括全景视频、定标全景图像及剧场表演音效；对全景数据进行预处理，得到剧场表演数据，对剧场表演数据进行数据标注，以使得剧场表演数据与剧场表演元素相对应，得到三维重建结果。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种剧场表演重建方法，其特征在于，包括：

采集剧场表演的全景数据，所述全景数据包括全景视频、定标全景图像及剧场表演音效；

对所述全景数据进行预处理，得到剧场表演数据，对所述剧场表演数据进行数据标注，以使得所述剧场表演数据与剧场表演元素相对应，得到三维重建结果；

其中，所述剧场表演数据都包含时间戳，代表各个剧场表演元素随时间变化的过程；所述定标全景图像包括多相机几何定标的多幅全景图形数据和记录不同照明方案的全景图像数据。

2.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括点云数据及相机姿态数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：

提取所述定标全景图像中标定物的特征点，根据所述特征点，计算相机的内外参数和畸变参数；

根据所述内外参数及所述畸变参数，对所述全景视频中的关键帧进行畸变校正，基于畸变校正后的关键帧进行三维重建，得到所述点云数据及所述相机姿态。

3.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括演员动作数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：

基于所述全景视频中的人物位置，通过深度学习模型对人体关节点进行预测，并确定人体轮廓信息；

根据所述人体轮廓信息，对人体进行三维建模，得到所述演员动作数据。

4.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括面部特征信息；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：

对所述全景视频进行脸部特征点匹配，得到所述面部特征信息。

5.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括演员台词数据及剧场音效数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：

对剧场表演中获取到的声音数据进行噪声剔除，得到所述演员台词数据及所述剧场音效数据。

6.根据权利要求1所述的方法，其特征在于，所述剧场表演数据包括光场数据；相应地，所述对所述全景数据进行预处理，得到剧场表演数据，包括：

从所述定标全景图像分割出天花板、地面及垂直物体区域，根据所述天花板、所述地面及所述垂直物体区域的明暗程度，获取光源位置及光照强度估计结果，并作为所述光场数据。

7.根据权利要求1所述的方法，其特征在于，所述剧场表演元素包括舞台布局、道具、演员动作、演员表情、演员台词、演员空间位置、演员关系、剧场音效及光场照明。

8.一种剧场表演重建装置，其特征在于，包括：

采集模块，用于采集剧场表演的全景数据，所述全景数据包括全景视频、定标全景图像及剧场表演音效；

预处理模块，用于对所述全景数据进行预处理，得到剧场表演数据；

标注模块，用于对所述剧场表演数据进行数据标注，以使得所述剧场表演数据与剧场表演元素相对应，得到三维重建结果；

其中，所述剧场表演数据都包含时间戳，代表各个剧场表演元素随时间变化的过程；所述定标全景图像包括多相机几何定标的多幅全景图形数据和记录不同照明方案的全景图像数据。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被执行以实现如权利要求1至7任一所述的方法。

Images