CN111709157A - 一种通用虚拟舞台平行仿真系统 - Google Patents

一种通用虚拟舞台平行仿真系统 Download PDF

Info

Publication number
CN111709157A
CN111709157A CN202010854865.XA CN202010854865A CN111709157A CN 111709157 A CN111709157 A CN 111709157A CN 202010854865 A CN202010854865 A CN 202010854865A CN 111709157 A CN111709157 A CN 111709157A
Authority
CN
China
Prior art keywords
stage
display
display screen
module
source image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010854865.XA
Other languages
English (en)
Other versions
CN111709157B (zh
Inventor
黄天羽
丁刚毅
李鹏
李立杰
唐明湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010854865.XA priority Critical patent/CN111709157B/zh
Publication of CN111709157A publication Critical patent/CN111709157A/zh
Application granted granted Critical
Publication of CN111709157B publication Critical patent/CN111709157B/zh
Priority to US17/397,748 priority patent/US11250626B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明涉及一种通用虚拟舞台平行仿真系统,包括舞台配置文件、通用舞台模块单元、舞台建模单元,运动模拟单元,显示模拟单元,数据提取输出单元,其中:舞台配置文件用于写入具体舞台相关参数;通用舞台模块单元用于在仿真系统中建立通用舞台模块,并封装对通用舞台模块的三维绘制功能;舞台建模单元用于对舞台造型进行建模;运动模拟单元用于对通用舞台模块的运动进行模拟;显示模拟单元用于对通用舞台模块的LED屏幕显示进行模拟;数据提取输出单元用于提取数据并输出每个实际舞台模块的参数。本发明通过平行仿真的方式使用通用舞台模块设计、控制和管理舞台,可以丰富舞台创意的实现方法,简化舞台的设计,提高效率、节约成本。

Description

一种通用虚拟舞台平行仿真系统
技术领域
本发明涉及一种仿真舞台,特别涉及一种通用虚拟舞台平行仿真系统,属于计算机仿真技术领域。
背景技术
舞台为表演提供空间。一场文艺表演是否能够达到预期的效果,舞台是基础。现代化舞台,特别是多媒体动态舞台,为舞台艺术在有限的舞台里创造了更多的发展空间,提供给导演和舞美人员更多的变化和选择。升降台的发展是舞台机械发展的代表,升降台普遍运用于现代舞台技术中。从最初的少量升降台,到现在的大规模升降台的运用,升降台从一个舞台的辅助机械设备变成了舞台重要的组成部分。伴随着升降台数量的增多,升降台的结构和使用方式也发生了变化。特别是在立体动态多媒体舞台中,升降台的顶面和四周安装了可播放视频的LED板。升降台在升降和形成静止的舞台台型时,各个视频播放面显示与节目相配合的图片或者视频,升降台也因此成为了舞台背景的一部分。在大型表演中,舞台模块上安装的LED显示屏数量巨大,往往包含成千上万块各种尺寸的显示屏。大型舞台、复杂的舞台运动机械以及成千上万块各种尺寸的显示屏,使得现代表演的大型舞台变成了一个复杂的实体系统,如何对舞台进行设计、制造、使用、维护,也成为一个复杂的课题。北京理工大学2015年的硕士论文《基于数据驱动的智能舞台技术研究》,专利ZL201910276205.5《一种模块化虚拟舞台》,都对于舞台的仿真控制进行了探索,但是这些研究都只涉及到舞台的建模或数据控制等部分使用过程,不是对舞台设计制造使用的全过程解决方案,特别是对于舞台的海量LED显示屏显示,这些技术方案都没有提及。
平行仿真系统,是指由某一个自然的现实系统和对应的一个或多个虚拟或理想的人工系统所组成的共同系统。它包括实际系统和人工系统两部分。简单来讲,人工系统是对实际系统的软件化定义,不仅是对实际系统的数字化“仿真”,也是为实际系统运行提供可替代版本(或其他可能的情形),从而实现对实际系统在线、动态、主动的控制与管理,为实际复杂系统管理运作提供高效、可靠、适用的科学决策和指导。
平行仿真技术在工业制造的很多领域已经得到了重视和应用,但是在文化艺术领域和舞台使用方面未见有相关报道。如果能够利用平行仿真的理念和技术,通过平行仿真的方式设计、使用和管理舞台,将会自动化舞台的设计、实时控制、全程监测过程,丰富舞台创意的实现方法,极大地提高效率、节约成本。
发明内容
本发明的目的在于针对现有技术的不足,提供一种通用虚拟舞台平行仿真系统,通过平行仿真的方式使用通用舞台模块设计、控制和管理舞台,丰富舞台创意的实现方法,提高效率、节约成本。
为实现以上目的,本发明提供了一种通用虚拟舞台平行仿真系统,包括舞台配置文件、通用舞台模块单元、舞台建模单元,运动模拟单元,显示模拟单元,数据提取输出单元,其中:
舞台配置文件用于写入具体舞台相关参数;
通用舞台模块单元用于在仿真系统中建立通用舞台模块,并封装对通用舞台模块的三维绘制功能;
舞台建模单元用于根据舞台配置文件,使用通用舞台模块对舞台造型进行建模;
运动模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的运动进行模拟;
显示模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的LED屏幕显示进行模拟;
数据提取输出单元包括造型提取输出单元、运动提取输出单元、显示提取输出单元,用于从仿真系统中提取每个通用舞台模块数据进行处理转换,并输出每个实际舞台模块的几何造型参数、舞台机械运动参数以及舞台LED屏幕显示参数。
根据本发明实施例所述的一种具体实施方式,所述显示提取输出单元包括将舞台图像背景映射成舞台中每块显示屏显示数据的子单元,具体映射方法包括以下步骤:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容输出到显示屏的显示控制器;
S33、将显示控制器的图像内容输出到显示屏。
根据本发明实施例所述的一种具体实施方式,所述显示提取输出单元包括将舞台视频背景映射成舞台中每块显示屏显示数据的子单元,具体映射方法为:将视频分解为帧图像序列,在每一个显示时点获得对应源图像,并执行步骤S1-S3:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容添加到显示屏对应的舞台屏幕控制视频文件;
S4、需要显示的时候显示控制器读取包含所有时点的舞台屏幕控制视频文件并输出到显示屏。
根据本发明实施例所述的一种具体实施方式,在步骤S3之前,将源图像读入源内存;在步骤S3中,从源图像中分割出显示屏对应分割区域的方法为:为显示屏分配目标内存空间,根据显示屏在源图像中的对应分割区域中每个像素点相对于图像原点的偏移量,获得该分割区域对应的源内存地址空间,并将地址空间内容按照显示屏像素点顺序复制到目标内存。
根据本发明实施例所述的一种具体实施方式,所述通用舞台模块单元是通过组件化的方式实现的,每个通用舞台模块初始化为一个软件组件,组件内部封装本模块的三维渲染数据,负责实现本模块的三维场景绘制,虚拟舞台通过加载、卸载组件以及在组件间切换的方式实现对舞台模块的管理,通过消息分发的方式通知选中的舞台模块实现三维场景绘制。
根据本发明实施例所述的一种具体实施方式,所述舞台配置文件包括具体舞台所包含的舞台模块列表,列表中每个舞台模块参数包括大小规格、运动方向、速度限制、上下左右前后六个面的显示屏分辨率。
根据本发明实施例所述的一种具体实施方式,所述舞台配置文件还包括对舞台模块进行加载、卸载、切换的操作序列,所述舞台建模单元根据操作序列进行自动化舞台建模。
根据本发明实施例所述的一种具体实施方式,所述舞台配置文件还包括背景配置参数,对于图像背景包括源图像文件的路径和分辨率、每块显示屏对应源图像文件、每个源图像与舞台空间的对应关系;对于视频背景包括源视频文件和舞台屏幕控制视频文件的路径和分辨率、每块显示屏对应源视频文件和舞台屏幕控制视频文件、每个源视频与舞台空间的对应关系。
根据本发明实施例所述的一种具体实施方式,还包括运动监控单元,用于测量实际舞台的运动状态数据并进行分析比对。
根据本发明实施例所述的一种具体实施方式,还包括显示监控单元,用于在实际舞台设置采集卡,采集LED视频图像回传到虚拟舞台并进行分析比对。
有益效果
本发明提出的一种通用虚拟舞台平行仿真系统,通过平行仿真的方式使用通用舞台模块设计、控制和管理舞台,丰富了舞台创意的实现方法,简化了舞台的设计,同时可以提高效率、节约成本。
附图说明
图1为通用虚拟舞台平行仿真系统的模块结构图;
图2为一种动态舞台示意图;
图3为第二种动态舞台示意图;
图4为第三种动态舞台示意图;
图5为通用虚拟舞台平行仿真系统显示提取输出单元图像背景映射的数据流图;
图6为通用虚拟舞台平行仿真系统显示提取输出单元视频背景映射的数据流图。
具体实施方式
下面结合附图,具体说明本发明的优选实施方式。
本发明针对现有技术的不足,提供了一种通用虚拟舞台平行仿真系统,通过平行仿真的方式设计、控制和管理舞台。本发明所适用的舞台是大型表演使用的立体动态多媒体舞台,舞台包括由机械控制的升降台,并且升降台的顶面和四周安装了可播放视频的LED板。升降台在升降和形成静止的舞台台型时,各个视频播放面显示与节目相配合的图片或者视频,升降台也因此成为了舞台背景的一部分。
本发明实现的平行仿真理念通过在虚拟空间中完成映射,在信息化平台上为实体舞台构建了一个数字版的“克隆体”。数字仿真在舞台的辅助设计中已经得到使用,而平行仿真系统和普通数字仿真的主要区别在于平行仿真系统是一个动态的全流程的克隆体,在实体舞台几何造型设计、机械运动模拟和控制、LED屏幕背景显示过程中都起着辅助创意、方案验证、实时过程控制、执行过程监控的作用。
本发明实施例1提供了一种通用虚拟舞台平行仿真系统,如图1所示,包括舞台配置文件、通用舞台模块单元、舞台建模单元,运动模拟单元,显示模拟单元,数据提取输出单元,其中:
舞台配置文件用于写入具体舞台相关参数;
通用舞台模块单元用于在仿真系统中建立通用舞台模块,并封装对通用舞台模块的三维绘制功能;
舞台建模单元用于根据舞台配置文件,使用通用舞台模块对舞台造型进行建模;
运动模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的运动进行模拟;
显示模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的LED屏幕显示进行模拟;
数据提取输出单元包括造型提取输出单元、运动提取输出单元、显示提取输出单元,用于从仿真系统中提取每个通用舞台模块数据进行处理转换,并输出每个实际舞台模块的几何造型参数、舞台机械运动参数以及舞台LED屏幕显示参数。
根据实施例1提出的方案,通用虚拟舞台平行仿真系统通过可重用的“通用舞台模块”来实现对舞台几何造型、运动过程和屏幕显示的模拟和监控。现有技术中的虚拟舞台,通常是对舞台的整体造型提供仿真。这样需要对每次演出使用的每个舞台台型进行建模和渲染,而且无法实现模型的重用。通过构建通用舞台模块,就可以以组件化的方式像搭积木一样实现虚拟舞台造型”。由于实际舞台模块的运动是靠机械滑轨控制的,舞台模块设计得太小将极大的增加实际舞台控制机构的复杂度;而舞台模块设计得太大又不利于不同台型的舞台模块重用,所以设计舞台模块大小规格的时候,也要在舞台模块的可重用性以及控制机械的复杂程度间进行平衡。在平行仿真系统中,虚拟舞台模块和实际舞台模块有着一一对应关系,因此通过在通用舞台模块单元对各种规格的舞台模块进行试验验证,可以为舞台机械生产商设计生产一些标准规格的舞台模块设备提供参考和依据。
专利ZL201910276205.5《一种模块化虚拟舞台》提出了可重用舞台模块的概念,但是主要考虑的是舞台模块在舞台建模和运动控制中的应用,没有考虑包含海量舞台模块LED屏幕贴面时的显示方案。而且,如果要真正实现模块的可重用,简化舞台的设计和控制,就需要将通用舞台模块和具体的舞台台型彻底分开,这样才能真正实现通用舞台模块的通用性、可重用性和可维护性,带来舞台设计与控制领域的变革。根据本实施例提出的方案,通用舞台模块单元是具体舞台无关的,专注于对通用舞台模块三维绘制功能的封装;用户在专门的舞台配置文件中设置具体舞台相关参数,通过舞台配置文件和通用舞台模块单元的结合来实现对具体舞台的建模、运动、显示过程的模拟和控制。
通用虚拟舞台平行仿真系统在实体舞台几何造型设计阶段可以起到辅助舞台设计的作用。舞台建模单元从舞台配置文件中读取具体舞台相关参数,进行虚拟舞台几何造型设计。由于通用舞台模块单元已经封装了最复杂的三维绘制功能,所以极大的简化了舞台建模单元的工作。建模完成之后通过造型提取输出单元从仿真系统中提取每个舞台模块的几何造型参数,根据几何造型参数进行实际舞台搭建。
在舞台动态运行过程中,运动模拟单元从舞台配置文件中读取具体舞台相关参数,对舞台运动动画进行模拟。在仿真系统中获得满意的效果后,通过运动提取输出单元从仿真系统中提取每个通用舞台模块的机械运动参数如空间位置、速度、加速度等,根据提取的机械运动参数控制实际舞台机械的运行。
在舞台LED屏幕背景显示过程中,显示模拟单元从舞台配置文件中读取具体舞台相关参数,对通用舞台模块的LED屏幕显示进行模拟。获得满意的效果后,通过显示提取输出单元从仿真系统中提取出每个舞台模块的每块LED屏幕贴面的显示参数,控制实际舞台的LED屏幕显示。
根据本发明实施例所述的一种具体实施方式,所述显示提取输出单元包括将舞台图像背景映射成舞台中每块显示屏显示数据的模块,具体映射方法包括以下步骤:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容输出到显示屏的显示控制器;
S33、将显示控制器的图像内容输出到显示屏。
图2、图3和图4分别显示了三种动态舞台。如图2、图3、图4所示,大型表演动态舞台由多个舞台模块构成,舞台模块可能是正方体、长方体、也可能是异型舞台模块。舞台的每个模块都与滑轨相连,通过机械滑轨来控制舞台模块在前后或左右或上下方向移动。通过控制舞台模块的移动,可以形成不同的舞台造型。在图3所示舞台中,每个舞台模块的顶面和侧面都安装了可播放视频的LED显示屏。与显卡控制显示器输出类似,为了控制LED显示屏的显示,每块LED显示屏都有信号线与显示控制器连接,播控人员通过将显示信号输出到显示控制器,控制每块LED显示屏的显示内容。
由于动态舞台包含多个舞台模块,每个舞台模块输出的内容相配合形成了舞台的整体背景。在大型表演中,舞台模块上安装的LED显示屏数量巨大,往往包含成千上万块各种尺寸的显示屏。如果为每块显示屏单独设计显示内容,无疑将会耗费巨大的人力物力,而且加大了舞台设计人员的设计难度,也难以保证所有显示屏最终的合成效果。
根据本实施例,所述显示提取输出单元包括将舞台图像背景映射成舞台中每块显示屏显示数据的模块,舞台设计人员不需要为每块显示屏单独设计显示内容,而是将所有舞台模块构成的舞台造型看做一个整体,根据舞台的整体显示效果设计背景。例如,如果所有舞台模块构成一块平整的大屏幕,设计人员只需要设计在这块大屏幕上显示的背景。复杂舞台的不同位置可能会显示不同图像,例如顶部立体舞台显示天空图像,地面立体舞台显示森林图像等,设计人员就需要为舞台背景制作多个源图像。图3所示的舞台全部由立方体舞台模块构成,也就是舞台模块顶面和侧面上安装的显示屏可能有上、左、右、前、后五个朝向,朝向相同的显示屏显示内容会组合成该朝向的舞台背景。位于舞台不同位置的观众看到的是不同的显示屏即不同的舞台背景。因此,设计人员需要为每个朝向设计不同的源图像,也就是为图3所示舞台设计五个源图像。对于复杂的舞台造型,例如在整体舞台中布置了多个图3所示的局部立体动态舞台造型,就需要为每个局部立体舞台设计五个源图像。
对于舞台设计人员来说,不需要关心舞台模块的显示屏是怎么设计安装的,只需要知道在某个具体时刻的舞台造型,并设计出作为舞台整体背景的源图像。
所述显示提取输出单元包括将舞台图像背景映射成舞台中每块显示屏显示数据的模块,具体映射方法包括以下步骤:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
舞台设计人员设计出作为舞台整体背景的源图像后,舞台技术人员需要将源图像精准映射到舞台模块的每块LED显示屏。为了进行精准映射,首先需要获取具体的舞台造型。由于动态舞台中每个舞台模块是随时间运动的,所以首先需要获取在进行映射的具体时刻每个舞台模块的位置,从舞台模块的位置和舞台模块的形状尺寸数据可以获得舞台模块上安装的每块显示屏的空间位置、朝向和尺寸数据。通过通用虚拟舞台平行仿真系统,每个舞台模块上安装的每块显示屏的空间位置、朝向和尺寸数据可以通过造型提取输出单元、运动提取输出单元很容易地获得。
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
为了建立源图像和舞台模块显示屏之间的对应关系,获得了每块显示屏的空间位置和尺寸之后,需要将显示屏在对应的源图像平面上进行展开。需要注意的是,即使是安装在同一个舞台模块表面的多块显示屏,由于每块显示屏的朝向不同,所以对应的源图像也是不同的。在如图3所示的动态舞台中,每个舞台模块表面的5块显示屏分别对应着5个源图像。所以在展开之前,需要确定每块显示屏对应的需要显示的源图像。这个对应关系可以由程序自动确定,例如在如图3所示的动态舞台中,由每块显示屏的朝向就可以确定对应的需要显示的源图像。在有的动态舞台中,需要由用户指定对应的需要显示的源图像。例如,图4展示了一种圆柱状排布的舞台模块。在整体舞台中包含多个圆柱,每个圆柱都是由如图4所示的舞台模块排布组成的。用户可以指定每个圆柱显示一张特定的图像。
建立了每块显示屏对应的需要显示的源图像之后,需要将显示屏在需要显示的源图像平面上进行展开。具体的展开策略由用户根据舞台特点和舞台设计进行设置。例如,对于图3所示的动态舞台,可以通过投影进行展开,即将每块显示屏投影在需要显示的源图像平面上。对于图4所示的圆柱状舞台,可以将平行于圆柱表面的所有显示屏平铺展开,相邻显示屏无缝连接,展开后得到一个矩形,再将舞台设计人员设计的需要在圆柱表面显示的源图像映射在这个矩形上。
将舞台模块显示屏在需要显示的源图像平面上展开后,还需要设置显示屏展开后的几何形状与源图像的对应关系。例如,在如图3所示的动态舞台中,将所有显示屏投影在对应的源图像平面后,得到的展开后几何形状可能不是一个矩形。用户可以根据显示屏的运动范围,将显示屏投影能够构成的最大矩形设置为与源图像相对应。或者用户可以在显示屏运动期间的每一个具体时刻获得一个包含所有显示屏投影的最小矩形,并将该矩形设置为与源图像相对应。由于展开后几何形状不是一个完整的矩形,设计人员需要在设计过程中考虑到舞台模块的运动有可能导致源图像部分内容缺失。在如图4所示的动态舞台中,将平行于圆柱表面的所有显示屏平铺展开得到的矩形与需要在圆柱表面显示的源图像相对应,可以得到将设计好的源图像包裹在圆柱表面的效果。
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容输出到显示屏的显示控制器;
S33、将显示控制器的图像内容输出到显示屏。
在步骤S2中得到每块显示屏在源图像中的对应分割区域后,步骤S3需要将每块显示屏的待显示内容从源图像中分割出来,并传输到显示屏进行输出。与显卡控制显示器输出类似,动态舞台每块LED显示屏也需要通过信号线连接到显示控制器。舞台技术人员将每块显示屏的待显示内容输出到显示控制器,显示屏通过信号线从显示控制器获得待输出内容并进行输出。
在理想状况下,在每个显示时点,源图像经过转换实时输出到显示屏,这样就能在动态舞台的显示屏上看到动态视频背景。但是,在实际情况中,由于大型表演的动态舞台涉及成百上千块高分辨率显示屏,视频文件体量巨大,对每一帧源图像进行转换、复制、输出需要耗费很长的时间。因此,如果在每个显示的具体时刻进行视频帧图像的转换和输出,无法达到视频输出要求的帧速率,也就是无法实现实时视频背景显示的效果。
根据本发明实施例的一种具体实现方式,所述显示提取输出单元包括将舞台视频背景映射成舞台中每块显示屏显示数据的模块,具体映射方法为:将视频分解为帧图像序列,在每一个显示时点获得对应源图像,并执行步骤S1-S3:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容添加到显示屏对应的舞台屏幕控制视频文件;
S4、需要显示的时候显示控制器读取包含所有时点的舞台屏幕控制视频文件并输出到显示屏。
在每个显示时点,在步骤S32中将分割区域内容添加到舞台屏幕控制视频文件;需要显示的时候再将包含所有时点的舞台屏幕控制视频文件输出到显示控制器。也就是在表演之前完成源视频的转换和存储;在表演进行的时候,直接将已经处理好的舞台屏幕控制视频文件输出到显示控制器,从而可以实现大型表演动态舞台的视频背景显示效果。
在将源视频文件转换为舞台屏幕控制视频文件时,最重要的是保持舞台屏幕控制视频文件与显示屏显示的时间和空间关系相一致:时间一致是指每个舞台屏幕控制视频文件是不同显示时点显示内容顺序排列构成的,而空间一致是指每个舞台屏幕控制视频文件都是与舞台空间中具体的显示屏相对应的,只包含在对应显示屏中的显示内容。舞台屏幕控制视频文件完全不同于源视频,如果在普通电脑上直接播放舞台屏幕控制视频文件将会是琐碎凌乱难以理解的,但是如果输出到动态舞台的显示控制器,就可以正确控制显示屏的输出,多个显示屏的组合就可以显示正确的视频背景。
根据本发明实施例的一种具体实现方式,在步骤S3之前,将源图像读入源内存;在步骤S3中,从源图像中分割出显示屏对应分割区域的方法为:为显示屏分配目标内存空间,根据显示屏在源图像中的对应分割区域中每个像素点相对于图像原点的偏移量,获得该分割区域对应的源内存地址空间,并将地址空间内容按照显示屏像素点顺序复制到目标内存。
图5展示了根据本发明实施例的一种具体实现方式进行源图像分割转换的数据流图。如图5所示,要进行动态舞台数字显示映射时,首先将帧图像读入源内存,源内存内容在所有显示屏处理显示期间保持不变。得到每块显示屏在源图像中的对应分割区域后,由该分割区域可以计算得到区域中每个像素点相对于图像原点的偏移量,从而可以得到该像素点对应的源内存地址。分割区域中所有像素点对应的源内存地址单元组合在一起就构成了该分割区域对应的源内存地址空间。分割区域对应的源内存地址空间有可能是源内存中的一块连续地址空间,如图5中的分割区域2所示;也可能是源内存中一些离散的地址空间,如图5中的分割区域1所示。获得每块显示屏对应的分割区域源内存地址空间后,需要将该地址空间的内容按照显示屏像素点的顺序复制到目标内存,使得目标内存的内容与舞台显示屏在空间上保持一致性。最后将目标内存的内容输出到显示控制器。
图6展示了根据本发明实施例的一种具体实现方式进行源视频背景分割转换的数据流图。图像和视频背景转换的主要区别在于视频背景转换在表演之前完成源视频的转换并存储到舞台屏幕控制视频文件;在表演进行的时候,直接将已经处理好的舞台屏幕控制视频文件输出到显示控制器。
根据本发明实施例的一种具体实现方式,所述通用舞台模块单元是通过组件化的方式实现的,每个通用舞台模块初始化为一个软件组件,组件内部封装本模块的三维渲染数据,负责实现本模块的三维场景绘制,虚拟舞台通过加载、卸载组件以及在组件间切换的方式实现对舞台模块的管理,通过消息分发的方式通知选中的舞台模块实现三维场景绘制。
通过组件化的方式,舞台模块集中封装了本模块的三维渲染数据以及具体的三维场景绘制功能,极大的简化了虚拟舞台的整体系统设计。虚拟舞台的舞台建模单元通过加载组件并在加载时通过舞台配置文件获取组件的具体舞台相关参数,就可以在虚拟舞台的对应位置添加舞台模块;通过卸载组件删除舞台模块;通过在组件间切换选择具体需要渲染的舞台模块,从而实现对舞台模块的管理。舞台建模单元通过消息分发的方式通知选中的舞台模块实现三维场景绘制。对舞台建模单元来说,不需要关心具体绘制的实现,只需要提供三维渲染的基本上下文环境,并负责消息分发即可。而具体渲染功能的实现则由通用舞台模块单元具体实现。
根据本发明实施例的一种具体实现方式,所述舞台配置文件包括具体舞台所包含的舞台模块列表,列表中每个舞台模块参数包括大小规格、运动方向、速度限制、上下左右前后六个面的显示屏分辨率。如果舞台模块某个面未安装显示屏,可以将显示屏分辨率设置为0。通过舞台配置文件,可以实现通用舞台模块单元的具体舞台无关性,提高通用舞台模块的通用性和可重用性。
根据本发明实施例的一种具体实现方式,所述舞台配置文件还包括对舞台模块进行加载、卸载、切换的操作序列,所述舞台建模单元根据操作序列进行自动化舞台建模。
使用组件化的方式还可以带来一个好处,就是可以将舞台建模过程进行简化。仿真领域的技术人员都知道,建模是一件非常复杂的工作,针对舞台变化的每一个台型进行建模意味着庞大的工作量。通过组件化的方式,用户可以将使用舞台模块生成虚拟舞台的过程映射为对多个舞台模块进行加载、卸载、切换的操作序列,根据操作序列进行自动化舞台建模。对舞台模块建模的工作只需要做一次就可以了,使用舞台模块搭建舞台的时候只需要定义相应的操作序列,就可以自动化的完成舞台建模工作。用户可以将操作序列保存在舞台配置文件中,修改舞台台型的时候只要修改舞台配置文件中的操作序列就可以了,极大的简化了用户的建模工作。
根据本发明实施例的一种具体实现方式,所述舞台配置文件还包括背景配置参数,对于图像背景包括源图像文件的路径和分辨率、每块显示屏对应源图像文件、每个源图像与舞台空间的对应关系;对于视频背景包括源视频文件和舞台屏幕控制视频文件的路径和分辨率、每块显示屏对应源视频文件和舞台屏幕控制视频文件、每个源视频与舞台空间的对应关系。
舞台模块表面贴着的海量LED屏幕意味着虚拟舞台平行仿真系统需要对海量显示信息的生成和监控进行管理,而且这些屏幕显示信息都是时间、空间相关的数据,与具体舞台台型关系十分密切。根据根据本发明实施例的一种具体实现方式,对显示信息进行分析整理,将与具体舞台相关的图像或视频背景配置参数进行剥离,存储在舞台配置文件中,对于图像背景包括源图像文件的路径和分辨率、每块显示屏对应源图像文件、每个源图像与舞台空间的对应关系;对于视频背景包括源视频文件和舞台屏幕控制视频文件的路径和分辨率、每块显示屏对应源视频文件和舞台屏幕控制视频文件、每个源视频与舞台空间的对应关系。通过这种方式,使得虚拟舞台分成两个独立的部分,即舞台配置文件和具体舞台无关的通用虚拟舞台,从而加大的提高了虚拟舞台的通用性和可维护性。
根据本发明实施例的一种具体实现方式,通用虚拟舞台平行仿真系统还包括运动监控单元,用于使用各种传感器测量实际舞台的运动状态数据,并进行分析比对。
根据本发明实施例的一种具体实现方式,通用虚拟舞台平行仿真系统还包括显示监控单元,用于在实际舞台设置采集卡,采集LED视频图像回传到虚拟舞台并进行分析比对。
根据本发明实施例的一种具体实现方式,还包括对分割区域进行图像编辑的步骤。
在显示屏显示过程中,经常需要对源内存的内容进行变换处理,也就是显示屏输出内容并非对源图像的简单复制,此时需要通过处理器将源内存的分割区域内容进行相应变换,如旋转、调色、缩放等图像编辑。例如,如果源图像对应分割区域与显示屏分辨率不一致,则需要对复制到目标内存空间的分割区域进行缩放,使得缩放后的分割区域与显示屏分辨率一致。
根据本发明实施例的一种具体实现方式,将所有显示屏根据所处位置分组,将每组显示屏的显示控制器合并,在步骤S3中,为每组显示屏分配目标内存空间,按照显示屏排列顺序将组内每块显示屏对应分割区域复制到目标内存空间,最后将目标内存空间中的存储内容输出到该组显示屏的显示控制器。
大型表演动态舞台面临的一个难题是对大量显示屏显示控制器的管理。最简单的情况是为每块显示屏设置一个显示控制器,但是这样就需要为每块显示屏单独设置管理程序和流程,例如,为每块显示屏分配目标内存空间,进行显示控制器的复制,然后再进行下一块显示屏的管理流程。采用这种方式,显示屏对应的目标内存空间使用完之后就可以进行回收,目标内存占用空间小,但是系统硬件和布线复杂,并且需要频繁的在各显示屏控制流程中进行切换,导致效率低下。另一种方式如图5和图6所示,为所有显示屏设置一个显示控制器,这样系统硬件结构和管理程序很简单,但是由于大型表演涉及的显示屏数量巨大,导致需要分配过大的目标内存空间;另外,将目标内存复制到显示控制器的时候,由于空间太大导致每次复制要耗费很长的时间,不能适应大型表演要求的实时显示需求。
为解决对大量显示屏显示控制器的管理问题,根据本发明实施例的一种具体实现方式,采取了将显示屏分组的方法。为了方便硬件和布线,分组的原则是根据显示屏所处的位置。虽然显示屏在演出过程中是动态变化的,但是一般来说都会在一个局部范围内运动,将位置接近的显示屏进行分组,同组的显示屏共用一个显示控制器,会带来布线的方便和简洁,简化显示控制器的硬件管理。对显示屏进行分组后,将每个分组作为分配目标内存空间以及进行显示控制器复制的基本单位,会带来时间和空间效率的均衡。在进行目标内存空间分配时,根据具体硬件资源,可以同时分配例如5个显示屏分组的目标内存空间,当某个分组处理完毕,释放所占用内存,由其他分组获取内存资源进行相应数据处理。当根据显示屏分组进行内存分配时,需要按照显示屏排列顺序将组内每块显示屏对应分割区域复制到目标内存空间,最后将目标内存空间中的存储内容输出到该组显示屏的显示控制器。
根据本发明实施例的一种具体实现方式,对于具有遮挡关系的多层排列舞台,被遮挡的显示屏分组不进行目标内存复制操作;在将目标内存输出到显示控制器的过程中,直接复用位置最靠前未被遮挡的显示屏分组目标内存内容。
如图3所示,对于大型表演的立体动态舞台,舞台模块分为很多层次,往往具有遮挡关系。对观众来说,能看到的只是最前排的显示屏,后排的显示屏由于被遮挡,观众其实是看不到的。但是,如果被遮挡的显示屏不包含任何显示信号则会变成黑屏,黑屏在显示屏运动过程中有可能会展示出来,会极大的影响舞台背景效果。一种比较好的处理方式是后排显示屏复用前排显示屏的显示信息,这样可以获得最好的舞台背景效果。在显示屏显示过程中,对空间和时间资源的消耗主要体现在为显示屏分配目标内存,以及根据分割区域确定显示屏显示内容并将显示内容写入目标内存。根据本发明实施例的一种具体实现方式,后排显示屏复用前排显示屏的显示信息时,不进行目标内存复制操作;在将目标内存输出到显示控制器的过程中,直接复用位置最靠前未被遮挡的显示屏分组目标内存内容。这样,在为后排显示屏设置合适的显示信息的同时,极大的节约了系统的时间和空间资源。
根据本发明实施例的一种具体实现方式,排列显示屏分组的输出顺序,使得对于具有遮挡关系的多层排列舞台,按照从前到后的顺序进行输出,并为对应显示屏分组分配共用目标内存空间;在步骤S3中,首先判断显示屏分组是否被遮挡,碰到被遮挡的显示屏分组,直接复用共用目标内存空间的现有内容。
对于具有遮挡关系的显示屏,后排显示屏可以复用前排显示屏的显示信息,这种情况是可以提高显示效率的。因此,为了提高动态舞台的整体显示效率,根据本发明实施例的一种具体实现方式,排列显示屏分组的输出顺序,使得对于具有遮挡关系的多层排列舞台,按照从前到后的顺序进行输出,并为对应显示屏分组分配共用目标内存空间。在步骤S3中,首先判断显示屏分组是否被遮挡,碰到被遮挡的显示屏分组,直接复用共用目标内存空间的现有内容。在显示屏输出之前,事先排列显示屏分组的输出顺序,就使得所有被遮挡的显示屏分组都可以复用前排显示信息。由于大型表演动态舞台中遮挡情况非常多,从而可以极大提高舞台的数字显示效率。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称并不构成对该单元本身的限定。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种通用虚拟舞台平行仿真系统,其特征在于,包括舞台配置文件、通用舞台模块单元、舞台建模单元,运动模拟单元,显示模拟单元,数据提取输出单元,其中:
舞台配置文件用于写入具体舞台相关参数;
通用舞台模块单元用于在仿真系统中建立通用舞台模块,并封装对通用舞台模块的三维绘制功能;
舞台建模单元用于根据舞台配置文件,使用通用舞台模块对舞台造型进行建模;
运动模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的运动进行模拟;
显示模拟单元用于根据舞台配置文件,在仿真系统中对通用舞台模块的LED屏幕显示进行模拟;
数据提取输出单元包括造型提取输出单元、运动提取输出单元、显示提取输出单元,用于从仿真系统中提取每个通用舞台模块数据进行处理转换,并输出每个实际舞台模块的几何造型参数、舞台机械运动参数以及舞台LED屏幕显示参数。
2.根据权利要求1所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述显示提取输出单元包括将舞台图像背景映射成舞台中每块显示屏显示数据的子单元,具体映射方法包括以下步骤:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容输出到显示屏的显示控制器;
S33、将显示控制器的图像内容输出到显示屏。
3.根据权利要求2所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述显示提取输出单元包括将舞台视频背景映射成舞台中每块显示屏显示数据的子单元,具体映射方法为:将视频分解为帧图像序列,在每一个显示时点获得对应源图像,并执行步骤S1-S3:
S1、获取每个舞台模块中每块显示屏的空间位置、朝向和尺寸;
S2、确定舞台模块显示屏对应的显示源图像,将显示屏在该源图像平面上展开,根据用户设置的显示屏展开后的几何形状与源图像的对应关系,得到每块显示屏在源图像中的对应分割区域;
S3、对每块显示屏循环执行以下操作:
S31、从源图像中分割出显示屏对应分割区域;
S32、将对应分割区域内容添加到显示屏对应的舞台屏幕控制视频文件;
S4、需要显示的时候显示控制器读取包含所有时点的舞台屏幕控制视频文件并输出到显示屏。
4.根据权利要求2或3所述的一种通用虚拟舞台平行仿真系统,其特征在于,在步骤S3之前,将源图像读入源内存;在步骤S3中,从源图像中分割出显示屏对应分割区域的方法为:为显示屏分配目标内存空间,根据显示屏在源图像中的对应分割区域中每个像素点相对于图像原点的偏移量,获得该分割区域对应的源内存地址空间,并将地址空间内容按照显示屏像素点顺序复制到目标内存。
5.根据权利要求4所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述通用舞台模块单元是通过组件化的方式实现的,每个通用舞台模块初始化为一个软件组件,组件内部封装本模块的三维渲染数据,负责实现本模块的三维场景绘制,虚拟舞台通过加载、卸载组件以及在组件间切换的方式实现对舞台模块的管理,通过消息分发的方式通知选中的舞台模块实现三维场景绘制。
6.根据权利要求5所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述舞台配置文件包括具体舞台所包含的舞台模块列表,列表中每个舞台模块参数包括大小规格、运动方向、速度限制、上下左右前后六个面的显示屏分辨率。
7.根据权利要求6所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述舞台配置文件还包括对舞台模块进行加载、卸载、切换的操作序列,所述舞台建模单元根据操作序列进行自动化舞台建模。
8.根据权利要求7所述的一种通用虚拟舞台平行仿真系统,其特征在于,所述舞台配置文件还包括背景配置参数,对于图像背景包括源图像文件的路径和分辨率、每块显示屏对应源图像文件、每个源图像与舞台空间的对应关系;对于视频背景包括源视频文件和舞台屏幕控制视频文件的路径和分辨率、每块显示屏对应源视频文件和舞台屏幕控制视频文件、每个源视频与舞台空间的对应关系。
9.根据权利要求8所述的一种通用虚拟舞台平行仿真系统,其特征在于,还包括运动监控单元,用于测量实际舞台的运动状态数据并进行分析比对。
10.根据权利要求9所述的一种通用虚拟舞台平行仿真系统,其特征在于,还包括显示监控单元,用于在实际舞台设置采集卡,采集LED视频图像回传到虚拟舞台并进行分析比对。
CN202010854865.XA 2020-08-13 2020-08-24 一种通用虚拟舞台平行仿真系统 Active CN111709157B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010854865.XA CN111709157B (zh) 2020-08-24 2020-08-24 一种通用虚拟舞台平行仿真系统
US17/397,748 US11250626B1 (en) 2020-08-13 2021-08-09 Virtual stage based on parallel simulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010854865.XA CN111709157B (zh) 2020-08-24 2020-08-24 一种通用虚拟舞台平行仿真系统

Publications (2)

Publication Number Publication Date
CN111709157A true CN111709157A (zh) 2020-09-25
CN111709157B CN111709157B (zh) 2020-12-08

Family

ID=72547345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010854865.XA Active CN111709157B (zh) 2020-08-13 2020-08-24 一种通用虚拟舞台平行仿真系统

Country Status (1)

Country Link
CN (1) CN111709157B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262108A1 (en) * 2008-01-18 2009-10-22 Sony Corporation Streaming geometery for use in displaying and editing 3d imagery
CN203554552U (zh) * 2013-05-30 2014-04-16 中央电视台 一种舞台的背景视频系统
CN103730073A (zh) * 2014-01-15 2014-04-16 西安诺瓦电子科技有限公司 拼接式显示屏的图形化配屏方法
CN109993829A (zh) * 2019-04-08 2019-07-09 北京理工大学 一种模块化虚拟舞台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262108A1 (en) * 2008-01-18 2009-10-22 Sony Corporation Streaming geometery for use in displaying and editing 3d imagery
CN203554552U (zh) * 2013-05-30 2014-04-16 中央电视台 一种舞台的背景视频系统
CN103730073A (zh) * 2014-01-15 2014-04-16 西安诺瓦电子科技有限公司 拼接式显示屏的图形化配屏方法
CN109993829A (zh) * 2019-04-08 2019-07-09 北京理工大学 一种模块化虚拟舞台

Also Published As

Publication number Publication date
CN111709157B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN109993829B (zh) 一种模块化虚拟舞台
US11250626B1 (en) Virtual stage based on parallel simulation
CN102834849A (zh) 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN101315703A (zh) 三维大规模场景动态管理方法
Bijl et al. Advanced 3D visualization for simulation using game technology
Gehring et al. The media façade toolkit: prototyping and simulating interaction with media façades
CN111737887B (zh) 一种基于平行仿真的虚拟舞台
CN111709157B (zh) 一种通用虚拟舞台平行仿真系统
Jing Design and implementation of 3D virtual digital campus-based on unity3d
CN111701255B (zh) 一种通用大型表演动态舞台视频显示方法
CN101521828B (zh) 面向esri三维gis模块的植入式真三维立体渲染方法
CN111683210B (zh) 基于时空一致的大型表演动态舞台视频编辑显示方法
Teubl et al. Fastfusion: A scalable multi-projector system
CN114307158A (zh) 三维虚拟场景数据的生成方法及装置、存储介质、终端
CN101488229B (zh) 面向pci三维分析模块的植入式真三维立体渲染方法
CN111701254B (zh) 一种大型表演动态舞台视频并行加速显示方法
CN114299202A (zh) 虚拟场景制作的处理方法及装置、存储介质、终端
CN113192173A (zh) 三维场景的图像处理方法、装置及电子设备
CN101488232B (zh) 面向C Tech软件的植入式真三维立体显示方法
Ratzel Concept study for the use of a render engine for computer games in a flight simulation
CN115457189B (zh) 一种基于团着色的pbd骨骼驱动软体仿真系统及方法
CN101561935A (zh) 面向GoCAD软件的植入式真三维立体显示方法
Diao et al. Research on the key techniques on 3D virtual campus system
CN111710037A (zh) 显示屏辅助大型人群表演虚拟编排仿真系统
CN111738905A (zh) 一种大型人群表演显示屏辅助美术造型生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant