CN111062849B - 一种人群表演现场指挥系统 - Google Patents

Abstract

本发明涉及一种人群表演现场指挥系统，包括：排练数据采集设备、显示设备、创意方案展示模块、预演仿真数据展示模块、排练数据展示模块，其中：创意方案展示模块将导演创意方案输出到显示设备；预演仿真数据展示模块将预演仿真数据输出到显示设备；排练数据采集设备采集现场排练数据，并传输到排练数据展示模块；排练数据展示模块将现场排练数据输出到显示设备。本发明通过采集演员排练数据与预演仿真数据比对，可以快速准确的辅助现场指挥人员发现演员运动轨迹或动作中存在的问题，并且提供定量的分析结果，并且根据现场指挥人员的反馈快速调整演出现场，为现场指挥提供了客观科学有效的辅助手段和数据支持，并且易于实施。

Description

一种人群表演现场指挥系统

技术领域

本发明涉及一种人群表演现场指挥系统，属于表演仿真技术领域。

背景技术

大型人群表演的排练是一件费时费力的事情。为了避免通过人工指挥花费大量时间和人力来调整表演创意方案，同时提高排练准确度和效率，需要对各表演元素及其表演过程进行数据建模和仿真预演，然后输出各表演元素在表演过程中的仿真数据，辅助编创人员指挥各表演元素排练。

但是，现阶段数据建模和仿真预演技术主要用于编创人员的创意阶段以及演员练习阶段，在现场排练时，仍然需要由现场指挥肉眼观看，依靠现场指挥的主观感受和工作经验，对排练效果做出直观评判，并对表演方案做出调整。在面对大型广场文艺表演时，现场指挥的工作量较大，指挥排练的工作具有不小的难度，这种以个人经验和感受为主要判断依据来进行指挥的方式将会极大地影响排练效率，也无法发现表演中存在的问题。

因此，在对表演创意方案进行仿真预演后，在排练以及实际表演时，迫切需要提供一种客观科学的人群表演现场指挥系统，以仿真预演方案为依据，有效发现排练过程中存在的问题，为现场指挥提供辅助手段和数据支持。

发明内容

本发明的目的在于针对现有技术的不足，提供一种以仿真预演方案为依据，为现场指挥提供辅助手段和数据支持的人群表演现场指挥系统。

本发明实施例提供了一种人群表演现场指挥系统，包括：排练数据采集设备、显示设备、创意方案展示模块、预演仿真数据展示模块、排练数据展示模块，其中：

创意方案展示模块将导演创意方案输出到显示设备；

预演仿真数据展示模块将预演仿真数据输出到显示设备；

排练数据采集设备采集现场排练数据，并传输到排练数据展示模块；

排练数据展示模块将现场排练数据输出到显示设备；

指挥交互模块接收现场指挥的设置，根据设置调整演出现场的控制信号，并且根据设置修改预演仿真数据。

根据本发明实施例的一种具体实现方式，还包括排练数据比对模块，所述排练数据比对模块从预演仿真数据展示模块接收处理后的预演仿真数据，从排练数据展示模块接收处理后的现场排练数据，并对接收的预演仿真数据和现场排练数据进行比对，将比对结果输出到显示设备。

根据本发明实施例的一种具体实现方式，所述排练数据采集设备包括视频拍摄设备，采集的现场排练数据包括视频数据。

根据本发明实施例的一种具体实现方式，所述排练数据展示模块包括运动轨迹提取单元，从所述排练视频数据中提取出演员的运动轨迹数据。

根据本发明实施例的一种具体实现方式，所述运动轨迹提取单元包括：视频片段选取单元、演员位置获取单元、静态物体位置获取单元、相对位置计算单元，其中，

视频片段选取单元选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列；

演员位置获取单元对关键帧序列的每一帧图像进行演员目标识别，得到演员在关键帧图像中的二维位置坐标；

静态物体位置获取单元选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；

相对位置计算单元计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块从排练数据展示模块接收每一帧图像对应的像素距离R1和夹角β；

根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；

根据所述比例关系和像素距离R1，得到视频帧对应的在预演仿真系统中的距离R1'；

通过R1'以及夹角β得到演员在预演仿真系统中的实际位置。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块将从排练数据展示模块得到的演员实际运动轨迹与预演仿真数据中的演员标准运动轨迹同时输出到显示设备。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块将从排练数据展示模块得到的演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差显示在显示设备。

根据本发明实施例的一种具体实现方式，所述指挥交互模块和显示设备为多个，通过网络连接，每个显示设备根据用户设置显示现场不同区域的数据并实时更新；所述多个指挥交互模块接受不同指挥人员的反馈和设置，并根据预设策略处理多个设置之间的冲突。

根据本发明实施例的一种具体实现方式，还包括远程交互模块，用于将现场指挥数据进行远程传输，并且接收远程反馈。

有益效果

本发明提供的人群表演现场指挥系统，通过采集演员排练数据与预演仿真数据比对，可以快速准确的辅助现场指挥人员发现演员运动轨迹或动作中存在的问题，并且提供定量的分析结果，并且根据现场指挥人员的反馈快速调整演出现场，为现场指挥提供了客观科学有效的辅助手段和数据支持，并且易于实施。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为根据本发明实施例提供的一种人群表演现场指挥系统结构示意图；

图2为包含排练数据比对模块的人群表演现场指挥系统结构示意图；

图3为包括多个显示设备和指挥交互模块的人群表演现场指挥系统结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

参见图1，本公开实施例提供一种人群表演现场指挥系统，包括：排练数据采集设备1、显示设备2、创意方案展示模块3、排练数据展示模块4、预演仿真数据展示模块5，指挥交互模块6，其中：

创意方案展示模块将导演创意方案输出到显示设备；

预演仿真数据展示模块将预演仿真数据输出到显示设备；

排练数据采集设备采集现场排练数据，并传输到排练数据展示模块；

排练数据展示模块将现场排练数据输出到显示设备；

指挥交互模块接收现场指挥的设置，根据设置调整演出现场的控制信号，并且根据设置修改预演仿真数据。

图1中创意方案展示模块、排练数据展示模块、预演仿真数据展示模块、指挥交互模块通过以太网与显示设备连接，排练数据采集设备通过无线方式连接到排练数据展示模块。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用。本实施例中的各模块可以为一计算装置，该计算装置可以实现为软件、硬件，或者实现为软件和硬件的组合。

在面对人群表演时，预演仿真技术已经逐步得到应用，可以为排练提供如排练手册等科学的指导数据。但是，现阶段数据建模和仿真预演技术主要用于编创人员的创意阶段以及演员练习阶段，在现场排练时，仍然需要由现场指挥肉眼观看，依靠现场指挥的主观感受和工作经验，对排练效果做出直观评判，并对表演方案做出调整。根据本发明实施例提供的人群表演现场指挥系统，通过将导演创意方案、预演仿真数据、排练采集数据进行整合，根据指挥人员的需要输出到显示设备，使得现场指挥人员可以随时查看所需的方案和数据。指挥交互模块可以接受现场指挥人员对于表演现场设置的修改，调整演出现场的控制信号，例如现场指挥人员可以通过指挥交互模块调整灯光亮度、音乐音量大小等。指挥人员对于修改进行确认之后，指挥交互模块会记录指挥人员的设置，并且修改预演仿真数据，从而实现了根据现场指挥对预演仿真数据的实时调整，极大的方便了指挥人员的现场指挥过程。

参见图2，根据本发明实施例的一种具体实现方式，还包括排练数据比对模块7，所述排练数据比对模块从预演仿真数据展示模块接收处理后的预演仿真数据，从排练数据展示模块接收处理后的现场排练数据，并对接收的预演仿真数据和现场排练数据进行比对，将比对结果输出到显示设备。

图2中创意方案展示模块、排练数据比对模块通过以太网与显示设备连接，排练数据采集设备通过无线方式连接到排练数据展示模块。预演仿真数据展示模块、排练数据展示模块与数据比对模块之间存在着数据连接，该数据连接可以是同一个计算装置不同软件系统之间的数据传输，或者是不同计算装置之间的有线或无线连接。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用。本实施例中的各模块可以为一计算装置，该计算装置可以实现为软件、硬件，或者实现为软件和硬件的组合。

现阶段人群表演时的现场指挥人员对排练进行指挥主要依靠编创人员的主观感受，缺乏科学有效的技术手段，使得很多排练过程中的问题难以发现，极大地影响排练效率。根据本发明实施例提供的一种人群表演现场指挥系统，通过采集排练数据并与预演仿真数据进行比对，可以为现场排练提供精准的参考数据。

根据本发明实施例的一种具体实现方式，所述排练数据采集设备包括视频拍摄设备，采集的现场排练数据包括视频数据。

排练数据采集设备可以为多种可获取实时排练数据的设备，如运动捕捉设备、GPS定位设备等。使用运动捕捉设备的评测方案相对复杂，成本较高，适用于需要对演员动作有较精确要求的演出场景。本发明实施例采用基于计算机视觉的方法，通过拍摄排练时的表演全过程视频，运用视频运动目标识别、检测和跟踪等相关算法，完成基于视频处理的演员运动轨迹数据获取。

根据本发明实施例的一种具体实现方式，所述排练数据展示模块包括运动轨迹提取单元，从所述排练视频数据中提取出演员的运动轨迹数据。

对于现场指挥人员来说，最重要的是通过现场指挥使人群表演尽可能与预演仿真方案达到一致。因此，人群实际表演是否与预演仿真方案相符合，符合的程度，应该怎样进行调整，这些数据对于现场指挥人员都是非常重要的。在现场采集的表演数据中，包含各种类型的数据，例如场馆、灯光、道具等。这些数据中，对于衡量人群表演与预演仿真方案一致程度最重要的数据是包含人员的数据，如和演员的位置、动作相关的数据。作为本发明实施例的一种具体实现方式，选择演员运动轨迹数据作为主要的比对数据。

根据本发明实施例的一种具体实现方式，所述运动轨迹提取单元包括：视频片段选取单元、演员位置获取单元、静态物体位置获取单元、相对位置计算单元，其中，

视频片段选取单元选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列；

演员位置获取单元对关键帧序列的每一帧图像进行演员目标识别，得到演员在关键帧图像中的二维位置坐标；

静态物体位置获取单元选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；

相对位置计算单元计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β。

下面详细说明上述提取演员运动轨迹数据方法的具体实现方式：

一、镜头分割

由拍摄排练视频的工作流程可知，排练视频是多个镜头切换的一段完整表演视频，所有镜头之间的切换是突变的。而渐变是在镜头切换时具有一些过渡效果的帧，使不同镜头之间具有平滑变化的效果，一般在视频制作的后期剪辑时编辑而成。对于排练效果评估可以不考虑视频的后期制作，在排练拍摄过程中多个摄像机镜头切换不涉及渐变。

由于镜头切换会导致场景的突变，从完整视频中提取演员运动轨迹数据，需要对不同镜头拍摄的视频分别进行提取。因此需要将完整视频分割成多个视频片段，使得每个视频片段不包含镜头运动。对视频进行分割之后，选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列。

二、目标识别

在关键帧序列中，演员是运动的，所以在每一帧图像中的演员位置是变化的，需要运用视频运动目标识别和跟踪算法，获得演员在图像中的二维位置坐标。目前常用的运动目标跟踪算法可分为基于对比度分析、基于匹配算法、基于运动检测等几类。此外，近年来深度学习方法发展迅猛，深度学习方法如OverFeat、R-CNN、YOLO也为解决视频帧中运动目标检测和定位等问题带来了新的思路。

通过视频运动目标识别算法识别出的目标往往用一个矩形框来进行标识。由于本发明实施例需要计算目标之间的距离，所以选用矩形框的中心点或者某一个角点来标识目标。

三、计算位置

选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标；

计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β。

排练时表演环境中的静态物体与仿真系统中表演环境仿真数据对应，与表演人员运动无关，位置保持固定不动。由于进行表演效果评估选取的视频帧序列不包含镜头运动，所以在该视频帧序列中静态物体的位置坐标保持不变。可以人工标定出某一帧视频帧中静态物体的位置，在整个视频帧序列中使用。静态物体的形状特征信息丰富，角点特征明显，所以也可以通过特征提取算法提取出静态物体的特征点，获得静态物体的二维位置坐标。

分别获得两个静态物体和演员的二维位置坐标后，就可以计算出演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β，也即得到了演员相对于两个静态物体的位置。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块从排练数据展示模块接收每一帧图像对应的像素距离R1和夹角β；

根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系；

根据所述比例关系和像素距离R1，得到视频帧对应的在预演仿真系统中的距离R1'；

通过R1'以及夹角β得到演员在预演仿真系统中的实际位置。

本发明实施例的思想是将通过视频识别得到的演员像素位置转换为在预演仿真系统中的位置，以便于与预演仿真数据进行比对。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块将从排练数据展示模块得到的演员实际运动轨迹与预演仿真数据中的演员标准运动轨迹同时输出到显示设备。

上述方法是一种将实际排练时的演员运动轨迹和预演仿真时演员运动轨迹同时显示输出进行直观比对的一种方法，两个运动轨迹可以重叠显示在同一个显示界面上，可以为现场指挥人员快速提供比对结果，现场指挥人员可以直观的发现演员运动轨迹与预演仿真时的运动轨迹是否一致，以及偏差大小。

根据本发明实施例的一种具体实现方式，所述排练数据比对模块将从排练数据展示模块得到的演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差显示在显示设备。

上述方法可以对每一帧得到的演员运动轨迹数据进行精确的定量分析。在实际应用中，可以选取通过R1'以及夹角β得到的演员实际位置与预演仿真位置之间的距离作为排练效果的定量分析指标。也可以为该指标设置阈值，当位置误差超过该阈值之后，要求演员进行重新排练，或者修改预演仿真系统的预期效果。根据用户的设置，现场排练系统可以将现场指挥人员最关心的指标例如演员应该向什么方向移动多远的距离醒目的显示在显示设备上，为指挥人员的现场指挥提供数据支持。

根据本发明实施例的一种具体实现方式，所述指挥交互模块和显示设备为多个，通过网络连接，每个显示设备根据用户设置显示现场不同区域的数据并实时更新；所述多个指挥交互模块接受不同指挥人员的反馈和设置，并根据预设策略处理多个设置之间的冲突。

如图3所示，针对大型人群表演，现场往往由多人同时指挥，主席台上是总指挥，在现场不同区域还有一些负责局部区域的现场指挥人员。因此，可以为每个现场指挥人员配备一个显示设备，该显示设备可以是手持显示设备，便于移动，每个显示设备根据用户设置显示现场不同区域的数据并实时更新。这种指挥系统非常有利于区域指挥人员了解和掌握现场演出的局部和全局状况。在本发明的实施例中，每个指挥人员的手持显示设备也同时具有接受用户输入的功能，例如触摸屏或者有触摸功能的平板电脑等。每个设备接受不同指挥人员的反馈和设置，当多个设置产生冲突的时候根据预设策略进行处理，例如为用户设置不同的优先级，产生冲突时使用优先级高的设置；或者所有设置由专设人员审核选择等。

如图3所示，根据本发明实施例的一种具体实现方式，人群表演现场指挥系统还包括远程交互模块，用于将现场指挥数据进行远程传输，并且接收远程反馈。

在人群表演的排练过程中，经常会出现关键指导人员不在现场的情况。作为本发明的一个实施例，人群表演现场指挥系统还包括远程交互模块，可以使不能来到现场的编导从远程看到现场排练的情况，并且能通过远程交互模块提交反馈意见，甚至可以直接在远程修改演出现场的各种设置。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种人群表演现场指挥系统，其特征在于，包括：排练数据采集设备、显示设备、创意方案展示模块、预演仿真数据展示模块、排练数据展示模块、排练数据比对模块、指挥交互模块，其中：

创意方案展示模块将导演创意方案输出到显示设备；

预演仿真数据展示模块将预演仿真数据输出到显示设备；

排练数据采集设备采集现场排练数据，并传输到排练数据展示模块；所述排练数据采集设备包括视频拍摄设备，采集的现场排练数据包括视频数据；

排练数据展示模块将现场排练数据输出到显示设备；所述排练数据展示模块包括运动轨迹提取单元，从所述视频数据中提取出演员的运动轨迹数据；所述运动轨迹提取单元包括：视频片段选取单元、演员位置获取单元、静态物体位置获取单元、相对位置计算单元，其中：

视频片段选取单元选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列，

演员位置获取单元对关键帧序列的每一帧图像进行演员目标识别，得到演员在关键帧图像中的二维位置坐标，

静态物体位置获取单元选取视频关键帧图像共同具有的两个静态物体，获取两个静态物体在关键帧图像中的二维位置坐标，

相对位置计算单元计算演员与其中一个物体的像素距离R1，以及演员与该物体连线与两个静态物体连线之间的夹角β；

指挥交互模块接收现场指挥的设置，根据设置调整演出现场的控制信号，并且根据设置修改预演仿真数据；

排练数据比对模块，从预演仿真数据展示模块接收处理后的预演仿真数据，从排练数据展示模块接收处理后的现场排练数据，并对接收的预演仿真数据和现场排练数据进行比对，将比对结果输出到显示设备；

所述排练数据比对模块从排练数据展示模块接收每一帧图像对应的像素距离R1和夹角β，

根据两个静态物体在视频帧中的像素距离和在预演仿真数据中的距离获得视频帧和预演仿真数据的比例关系，

根据所述比例关系和像素距离R1，得到视频帧对应的在预演仿真系统中的距离R1'，

通过R1'以及夹角β得到演员在预演仿真系统中的实际位置。

2.根据权利要求1所述的一种人群表演现场指挥系统，其特征在于，所述排练数据比对模块将从排练数据展示模块得到的演员实际运动轨迹与预演仿真数据中的演员标准运动轨迹同时输出到显示设备。

3.根据权利要求1所述的一种人群表演现场指挥系统，其特征在于，所述排练数据比对模块将从排练数据展示模块得到的演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差显示在显示设备。

4.根据权利要求1-3任一项所述的一种人群表演现场指挥系统，其特征在于，包括多个指挥交互模块和多个显示设备，通过网络连接，每个显示设备根据用户设置显示现场不同区域的数据并实时更新；所述多个指挥交互模块接受不同指挥人员的反馈和设置，并根据预设策略处理多个设置之间的冲突。

5.根据权利要求4任一项所述的一种人群表演现场指挥系统，其特征在于，还包括远程交互模块，用于将现场指挥数据进行远程传输，并且接收远程反馈。

Images