CN111339687A - 基于深度学习的人群表演现场排练系统 - Google Patents

基于深度学习的人群表演现场排练系统 Download PDF

Info

Publication number
CN111339687A
CN111339687A CN202010225455.9A CN202010225455A CN111339687A CN 111339687 A CN111339687 A CN 111339687A CN 202010225455 A CN202010225455 A CN 202010225455A CN 111339687 A CN111339687 A CN 111339687A
Authority
CN
China
Prior art keywords
performance
data
actor
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010225455.9A
Other languages
English (en)
Inventor
唐明湘
丁刚毅
黄天羽
李立杰
李鹏
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010225455.9A priority Critical patent/CN111339687A/zh
Publication of CN111339687A publication Critical patent/CN111339687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练，包括：训练手册生成模块、设备执行数据监控模块、演员表演数据采集模块、误差检测模块、现场指挥模块，其中：训练手册生成模块生成针对每个演员的训练手册；设备执行数据监控模块控制表演设备，并监测设备运行中的各项参数；演员表演数据采集模块使用视频采集设备采集表演的视频；误差检测模块使用深度学习方法从表演视频中提取出演员的实际运动轨迹，并输出误差检测数据；现场指挥模块将数据呈现给指挥人员，并将指挥人员对设备和表演方案的修改反馈给预演仿真系统。本发明可以快速准确的发现排练中的问题，为现场指挥提供辅助手段和数据支持。

Description

基于深度学习的人群表演现场排练系统
技术领域
本发明涉及一种基于深度学习的人群表演现场排练系统，属于表演仿真技术领域。
背景技术
大型人群表演的排练是一件费时费力的事情。为了避免通过人工指挥花费大量时间和人力来调整表演创意方案，同时提高排练准确度和效率，需要对各表演元素及其表演过程进行数据建模和仿真预演，然后输出各表演元素在表演过程中的仿真数据，辅助编创人员指挥各表演元素排练。
但是，现阶段数据建模和仿真预演技术主要用于编创人员的创意阶段，在现场排练时，缺乏科学有效的现场排练系统，可以整合现场排练时的演员、道具、设备、现场指挥等各种表演要素，使用预演仿真数据对现场表演进行有效控制，并且可以根据现场表演实际情况进行实时调整。特别是对于现场指挥人员来说，仍然需要依靠其主观感受和工作经验，对排练效果做出直观评判，并对表演方案做出调整。在面对大型广场文艺表演时，现场指挥的工作量较大，指挥排练的工作具有不小的难度，这种以个人经验和感受为主要判断依据来进行指挥的方式将会极大地影响排练效率，也无法发现表演中存在的问题。
因此，在对表演创意方案进行仿真预演后，在排练以及实际表演时，迫切需要提供一种客观科学的人群表演现场排练系统，以仿真预演方案为依据，使用仿真预演数据对现场表演要素进行有效控制，并且可以采集排练数据，快速准确的发现排练过程中存在的问题，为现场指挥提供辅助手段和数据支持。
发明内容
本发明的目的在于针对现有技术的不足，提供一种以仿真预演方案为依据的人群表演现场排练系统，使用仿真预演数据对现场表演要素进行有效控制，快速准确的发现排练过程中存在的问题，为现场指挥提供辅助手段和数据支持。
本发明实施例提供了一种基于深度学习的人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练，包括：训练手册生成模块、设备执行数据监控模块、演员表演数据采集模块、误差检测模块、现场指挥模块，其中：
训练手册生成模块根据预演仿真数据生成针对每个演员的训练手册；
设备执行数据监控模块使用预演仿真数据控制表演设备，并监测设备运行中的各项参数；
演员表演数据采集模块使用视频采集设备采集表演的视频；
误差检测模块从采集的表演视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并输出误差检测数据；
现场指挥模块用于将预演仿真数据、演员现场排练数据、误差检测数据呈现给指挥人员，允许指挥人员修改对设备和表演方案的设置，并将指挥人员对设备和表演方案的修改反馈给预演仿真系统；
其中，误差检测模块从采集的表演视频中提取出演员实际运动轨迹的方法为：
对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；
对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；
对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；
根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。
根据本发明实施例的一种具体实现方式，所述基于深度学习的目标检测方法包括以下步骤：
搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；
使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；
取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。
根据本发明实施例的一种具体实现方式，所述镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。
根据本发明实施例的一种具体实现方式，所述镜头分割包括以下步骤：
将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；
从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：
Figure BDA0002427480140000031
其中P为一帧的像素数，Hi(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1,2，……，n-1；
定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值dm，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值dm大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；
比较每两帧的帧间差值d与阈值T，若d>T，则检测到镜头边界，进行镜头分割。
根据本发明实施例的一种具体实现方式，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。
根据本发明实施例的一种具体实现方式，所述对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体的方法为：
对关键帧序列中每一帧图像进行Harris角点检测，提取得到每一帧图像中静态物体角点二维位置坐标；
以某帧中每个静态物体角点位置坐标为中心，取其周围8个点的像素灰度值，计算与后一帧每个角点周围的8个像素灰度差值，选择后一帧中与该帧中该角点周围像素平均灰度差值最小的角点作为匹配角点；
获得相邻两帧间每个角点的匹配角点后，比较所有匹配角点对的周围像素平均灰度差值，选取周围像素平均灰度差值最小的两个匹配角点对作为该相邻两帧的最佳匹配角点对；
获得所有相邻两帧的最佳匹配角点对后，选择出现次数最多的两个角点对作为最终选取的静态物体。
根据本发明实施例的一种具体实现方式，所述现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际运动轨迹与根据预演仿真数据得到的演员标准运动轨迹同时输出到现场指挥模块进行呈现。
根据本发明实施例的一种具体实现方式，现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差输出到现场指挥模块进行呈现。
根据本发明实施例的一种具体实现方式，所述现场指挥模块包括多个用于呈现数据的显示设备以及用于接收指挥人员反馈的输入设备；每个显示设备根据用户设置显示现场不同区域的数据并实时更新；每个输入设备接收不同指挥人员的反馈和设置。
根据本发明实施例的一种具体实现方式，所述现场指挥模块还包括远程交互单元，用于将现场表演数据进行远程传输，并且接收远程反馈。
有益效果
本发明提供的基于深度学习的人群表演现场排练系统，以仿真预演方案为依据，使用仿真预演数据对现场表演要素进行有效控制，并且可以采集排练数据，快速准确的发现排练过程中存在的问题，为现场指挥提供辅助手段和数据支持，并且易于实施。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据本发明实施例提供的基于深度学习的人群表演现场排练系统结构示意图；
图2为根据本发明实施例提供的误差检测模块从采集的表演视频中提取出演员实际运动轨迹的方法流程图；
图3为根据本发明实施例提供的包括多个显示设备和输入设备的人群表演现场排练系统结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
参见图1，本公开实施例提供一种基于深度学习的人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练，包括：训练手册生成模块1、演员表演数据采集模块2、设备执行数据监控模块3、误差检测模块4、现场指挥模块5，其中：
训练手册生成模块根据预演仿真数据生成针对每个演员的训练手册；
设备执行数据监控模块使用预演仿真数据控制表演设备，并监测设备运行中的各项参数；
演员表演数据采集模块使用视频采集设备采集表演的视频；
误差检测模块从采集的表演视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并输出误差检测数据；
现场指挥模块用于将预演仿真数据、演员现场排练数据、误差检测数据呈现给指挥人员；
在面对人群表演时，预演仿真技术已经逐步得到应用，在预演仿真数据中可以将编创人员的创意在仿真系统中预先实现，方便编创人员对创意进行修改。本发明实施例提供一种人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练。训练手册生成模块1使用预演仿真数据生成针对每个演员的训练手册，可以为排练提供科学的指导数据，极大的方便了演员的排练过程。设备执行数据监控模块3使用预演仿真数据控制诸如舞台、灯光、音乐等表演设备，并监测设备运行中的各项参数。演员表演数据采集模块2用于采集演员现场排练数据，该现场采集数据可以根据指挥人员的需要显示输出，使得现场指挥人员可以随时查看和从全局上把握演出的进行情况。误差检测模块4从采集的表演视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并输出误差检测数据。现场指挥模块5用于将预演仿真数据、演员现场排练数据、误差检测数据呈现给指挥人员，允许指挥人员修改对设备和表演方案的设置，并将指挥人员对设备和表演方案的修改反馈给预演仿真系统。
图1中训练手册生成模块、演员表演数据采集模块、设备执行数据监控模块、误差检测模块、现场指挥模块、预演仿真模块通过以太网连接。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例，各模块之间可以通过以太网、无线网络或其他数据连接方式连接。本公开还可以通过另外不同的具体实施方式加以实施或应用。本实施例中的各模块可以为一计算装置，该计算装置可以实现为软件、硬件，或者实现为软件和硬件的组合。
现阶段人群表演时的现场指挥人员对排练进行指挥主要依靠编创人员的主观感受，缺乏科学有效的技术手段，使得很多排练过程中的问题难以发现，极大地影响排练效率。根据本发明实施例提供的一种现场排练系统，通过采集排练数据并与预演仿真数据进行比对，可以为现场排练提供精准的参考数据。
如图2所示，误差检测模块从采集的表演视频中提取出演员实际运动轨迹的方法为：
1)对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；
由拍摄排练视频的工作流程可知，排练视频是多个镜头切换的一段完整表演视频，所有镜头之间的切换是突变的。而渐变是在镜头切换时具有一些过渡效果的帧，使不同镜头之间具有平滑变化的效果，一般在视频制作的后期剪辑时编辑而成。对于排练效果评估可以不考虑视频的后期制作，在排练拍摄过程中多个摄像机镜头切换不涉及渐变。
由于镜头切换会导致场景的突变，从完整视频中提取演员运动轨迹数据，需要对不同镜头拍摄的视频分别进行提取。因此需要将完整视频分割成多个视频片段，使得每个视频片段不包含镜头运动。对视频进行分割之后，选取一段不包含镜头运动的视频片段，逐帧提取得到视频关键帧序列。
2)对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；
排练时表演环境中的静态物体与仿真系统中表演环境仿真数据对应，与表演人员运动无关，位置保持固定不动。由于进行表演效果评估选取的视频帧序列不包含镜头运动，所以在该视频帧序列中静态物体的位置坐标保持不变。静态物体的形状特征信息丰富，可以通过特征提取与匹配算法提取出静态物体的特征点，获得静态物体的二维位置坐标。
3)对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；
在关键帧序列中，演员是运动的，所以在每一帧图像中的演员位置是变化的，需要运用视频运动目标识别和跟踪算法，获得演员在图像中的二维位置坐标。目前常用的运动目标跟踪算法可分为基于对比度分析、基于匹配算法、基于运动检测等几类。基于对比度分析的算法通过运动目标与背景在对比度上的差别进行识别跟踪，不适合复杂背景中的目标跟踪；基于匹配的算法和基于运动检测的算法在背景复杂、运动目标多的人群表演场景中，在目标定位和检测精度方面不能满足需求。根据本发明实施例的一种具体实现方式，检测演员使用基于深度学习的目标检测方法。
4)根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。
分别获得两个静态物体和演员的二维位置坐标后，就可以计算出演员与两个静态物体的相对位置，相对位置可以通过演员与两个静态物体的像素距离，以及演员与该两个静态物体的位置角度关系来表示。通过预演仿真数据可以得到两个静态物体的实际坐标，由于静态物体的位置在整个演出过程中是固定不变的，视频数据中像素距离与预演仿真数据中实际距离之间的比例关系也是固定不变的，因此可以很容易获得演员与两个静态物体的实际距离以及位置角度关系，从而根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。静态物体坐标以及演员实际运动轨迹都可以用预演仿真系统中的坐标来表示，以便于后续步骤中对演员轨迹的比较和误差计算。
基于深度学习的目标检测方法，例如OverFeat(Sermanet P,Eigen D,Zhang X,etal.OverFeat:Integrated recognition,localization and detection usingconvolutional networks[C].ICLR,2014.)、R-CNN系列(Girshick R,Donahue J,DarrellT,et al.Rich feature hierarchies for accurate object detection and semanticsegmentation[C].ImageNet Large-Scale Visual Recognition Challenge workshop,ICCV,2013.)、YOLO系列(Redmon J,Divvala S,Girshick R,et al.You only look once:Unified,real-time object detection[C].Proceedings of the IEEE conference oncomputer vision and pattern recognition,2016:779-788)，具有强大的学习能力，能够自动提取目标形状轮廓等视觉特征和深层次的非视觉特征，实现快速准确的目标跟踪。其中，YOLO系列方法可以直接预测一幅图像中物体的类别概率和位置坐标，适于本应用的需求。YOLO系列方法中的YOLOv3(Redmon J,Farhadi A.YOLO9000:Better,Faster,Stronger[J].arXiv:1612.08242,2016:1-9.；Redmon J,Farhadi A.YOLOv3:An IncrementalImprovement[J].arXiv:1804.02767,2018:1-6.)在检测准确度和速度上都有大幅提高，对小目标的检测效果也较好，适用于本发明的现场表演检测应用场景。
根据本发明实施例的一种具体实现方式，所述基于深度学习的目标检测方法包括以下步骤：
搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；
使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；
取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。
根据本发明实施例的一种具体实现方式，所述镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。
根据本发明实施例的一种具体实现方式，所述镜头分割包括以下步骤：
将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；
从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：
Figure BDA0002427480140000081
其中P为一帧的像素数，Hi(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1,2，……，n-1；
定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值dm，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值dm大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；
比较每两帧的帧间差值d与阈值T，若d>T，则检测到镜头边界，进行镜头分割。
根据本发明实施例的一种具体实现方式，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。
根据本发明实施例的一种具体实现方式，所述对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体的方法为：
对关键帧序列中每一帧图像进行Harris角点检测，提取得到每一帧图像中静态物体角点二维位置坐标；
以某帧中每个静态物体角点位置坐标为中心，取其周围8个点的像素灰度值，计算与后一帧每个角点周围的8个像素灰度差值，选择后一帧中与该帧中该角点周围像素平均灰度差值最小的角点作为匹配角点；
获得相邻两帧间每个角点的匹配角点后，比较所有匹配角点对的周围像素平均灰度差值，选取周围像素平均灰度差值最小的两个匹配角点对作为该相邻两帧的最佳匹配角点对；
获得所有相邻两帧的最佳匹配角点对后，选择出现次数最多的两个角点对作为最终选取的静态物体。
根据本发明实施例的一种具体实现方式，所述现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际运动轨迹与根据预演仿真数据得到的演员标准运动轨迹同时输出到现场指挥模块进行呈现。
上述方法是一种将实际排练时的演员运动轨迹和预演仿真时演员运动轨迹同时显示输出进行直观比对的一种方法，两个运动轨迹可以重叠显示在同一个显示界面上，可以为现场指挥人员快速提供比对结果，现场指挥人员可以直观的发现演员运动轨迹与预演仿真时的运动轨迹是否一致，以及偏差大小。
根据本发明实施例的一种具体实现方式，现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差输出到现场指挥模块进行呈现。
上述方法可以对每一帧得到的演员运动轨迹数据进行精确的定量分析。在实际应用中，可以选取演员实际位置与预演仿真位置之间的距离作为排练效果的定量分析指标。也可以为该指标设置阈值，当位置误差超过该阈值之后，要求演员进行重新排练，或者修改预演仿真系统的预期效果。根据用户的设置，现场排练系统可以将现场指挥人员最关心的指标例如演员应该向什么方向移动多远的距离醒目的显示在显示设备上，为指挥人员的现场指挥提供数据支持。
根据本发明实施例的一种具体实现方式，所述现场指挥模块包括多个用于呈现数据的显示设备以及用于接收指挥人员反馈的输入设备；每个显示设备根据用户设置显示现场不同区域的数据并实时更新；每个输入设备接收不同指挥人员的反馈和设置。
如图3所示，针对大型人群表演，现场往往由多人同时指挥，主席台上是总指挥，在现场不同区域还有一些负责局部区域的现场指挥人员。因此，可以为每个现场指挥人员配备一个显示设备，该显示设备可以是手持显示设备，便于移动，每个显示设备根据用户设置显示现场不同区域的数据并实时更新。这种指挥系统非常有利于区域指挥人员了解和掌握现场演出的局部和全局状况。在本发明的实施例中，每个指挥人员的手持显示设备也同时具有接受用户输入的功能，例如触摸屏或者有触摸功能的平板电脑等。每个设备接受不同指挥人员的反馈和设置。
根据本发明实施例的一种具体实现方式，所述现场指挥模块还包括远程交互单元，用于将现场表演数据进行远程传输，并且接收远程反馈。
在人群表演的排练过程中，经常会出现关键指导人员不在现场的情况。作为本发明的一个实施例，人群表演现场指挥系统还包括远程交互单元，可以使不能来到现场的编导从远程看到现场排练的情况，并且能通过远程交互单元提交反馈意见，甚至可以直接在远程修改演出现场的各种设置。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练，其特征在于，包括：训练手册生成模块、设备执行数据监控模块、演员表演数据采集模块、误差检测模块、现场指挥模块，其中：
训练手册生成模块根据预演仿真数据生成针对每个演员的训练手册；
设备执行数据监控模块使用预演仿真数据控制表演设备，并监测设备运行中的各项参数；
演员表演数据采集模块使用视频采集设备采集表演的视频；
误差检测模块从采集的表演视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并输出误差检测数据；
现场指挥模块用于将预演仿真数据、演员现场排练数据、误差检测数据呈现给指挥人员，允许指挥人员修改对设备和表演方案的设置，并将指挥人员对设备和表演方案的修改反馈给预演仿真系统；
其中，误差检测模块从采集的表演视频中提取出演员实际运动轨迹的方法为：
对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；
对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；
对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；
根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。
2.根据权利要求1所述的一种人群表演现场排练系统，其特征在于，所述基于深度学习的目标检测方法包括以下步骤：
搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；
使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；
取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。
3.根据权利要求2所述的一种人群表演现场排练系统，其特征在于，所述镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。
4.根据权利要求3所述的一种人群表演现场排练系统，其特征在于，所述镜头分割包括以下步骤：
将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；
从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：
Figure FDA0002427480130000021
其中P为一帧的像素数，Hi(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1,2，……，n-1；
定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值dm，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值dm大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；
比较每两帧的帧间差值d与阈值T，若d>T，则检测到镜头边界，进行镜头分割。
5.根据权利要求4所述的一种人群表演现场排练系统，其特征在于，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。
6.根据权利要求5所述的一种人群表演现场排练系统，其特征在于，所述对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体的方法为：
对关键帧序列中每一帧图像进行Harris角点检测，提取得到每一帧图像中静态物体角点二维位置坐标；
以某帧中每个静态物体角点位置坐标为中心，取其周围8个点的像素灰度值，计算与后一帧每个角点周围的8个像素灰度差值，选择后一帧中与该帧中该角点周围像素平均灰度差值最小的角点作为匹配角点；
获得相邻两帧间每个角点的匹配角点后，比较所有匹配角点对的周围像素平均灰度差值，选取周围像素平均灰度差值最小的两个匹配角点对作为该相邻两帧的最佳匹配角点对；
获得所有相邻两帧的最佳匹配角点对后，选择出现次数最多的两个角点对作为最终选取的静态物体。
7.根据权利要求6所述的一种人群表演现场排练系统，其特征在于，所述现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际运动轨迹与根据预演仿真数据得到的演员标准运动轨迹同时输出到现场指挥模块进行呈现。
8.根据权利要求7所述的一种人群表演现场排练系统，其特征在于，现场指挥模块将误差检测数据呈现给指挥人员的方法为：将演员实际位置与预演仿真数据中的演员应该所处的位置进行数据比对，将位置偏差输出到现场指挥模块进行呈现。
9.根据权利要求1-8任一项所述的一种人群表演现场排练系统，其特征在于，所述现场指挥模块包括多个用于呈现数据的显示设备以及用于接收指挥人员反馈的输入设备；每个显示设备根据用户设置显示现场不同区域的数据并实时更新；每个输入设备接收不同指挥人员的反馈和设置。
10.根据权利要求1-8任一项所述的一种人群表演现场排练系统，其特征在于，所述现场指挥模块还包括远程交互单元，用于将现场表演数据进行远程传输，并且接收远程反馈。
CN202010225455.9A 2020-03-26 2020-03-26 基于深度学习的人群表演现场排练系统 Pending CN111339687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225455.9A CN111339687A (zh) 2020-03-26 2020-03-26 基于深度学习的人群表演现场排练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225455.9A CN111339687A (zh) 2020-03-26 2020-03-26 基于深度学习的人群表演现场排练系统

Publications (1)

Publication Number Publication Date
CN111339687A true CN111339687A (zh) 2020-06-26

Family

ID=71186214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225455.9A Pending CN111339687A (zh) 2020-03-26 2020-03-26 基于深度学习的人群表演现场排练系统

Country Status (1)

Country Link
CN (1) CN111339687A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710037A (zh) * 2020-08-19 2020-09-25 北京理工大学 显示屏辅助大型人群表演虚拟编排仿真系统
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298214A (zh) * 2018-03-23 2019-10-01 苏州启铭臻楠电子科技有限公司 一种基于组合深度神经网络的舞台多目标追踪和分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298214A (zh) * 2018-03-23 2019-10-01 苏州启铭臻楠电子科技有限公司 一种基于组合深度神经网络的舞台多目标追踪和分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱雨萌等: "基于仿真数据的空间实体轨道监测实现与推演评估", 《上海航天》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710037A (zh) * 2020-08-19 2020-09-25 北京理工大学 显示屏辅助大型人群表演虚拟编排仿真系统
CN112347847A (zh) * 2020-09-27 2021-02-09 浙江大丰实业股份有限公司 一种舞台安全监控用自动定位系统

Similar Documents

Publication Publication Date Title
CN102291569B (zh) 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN100487724C (zh) 一种快速目标识别与定位系统及方法
CN106845502A (zh) 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN109919007B (zh) 一种生成红外图像标注信息的方法
CN108596148B (zh) 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
CN102447835A (zh) 无盲区多目标协同跟踪方法及系统
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN111402289A (zh) 基于深度学习的人群表演误差检测方法
CN103997624A (zh) 重叠域双摄像头目标跟踪系统及方法
CN111339687A (zh) 基于深度学习的人群表演现场排练系统
CN106874884A (zh) 基于部位分割的人体再识别方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN111161313A (zh) 一种视频流中的多目标追踪方法及装置
CN107509055A (zh) 一种旋转式全景焦点识别光电跟踪仪及其实施方法
CN116630394A (zh) 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN105469427A (zh) 一种用于视频中目标跟踪方法
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN103533332B (zh) 一种2d视频转3d视频的图像处理方法
CN113076808B (zh) 一种通过图像算法精准获取双向人流量的方法
CN103456012B (zh) 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统
CN111339684A (zh) 基于深度学习的人群表演现场指挥系统
CN103065301A (zh) 一种双向比对视频镜头分割方法
CN111046566A (zh) 一种人群表演现场排练系统
CN100590645C (zh) 基于拓扑栅格学习的命中点解算方法及装置
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200626

WD01 Invention patent application deemed withdrawn after publication