CN114885147A - 融合制播系统及方法 - Google Patents

Abstract

本申请实施例提供一种融合制播系统及方法，包括：摄像机跟踪模块获取多个摄像机的位置参数和工作参数；显示渲染模块根据摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据立体透视关系和数字场景得到三维虚拟场景，将三维虚拟场景发送至显示屏进行呈现；运动捕捉模块获取摄像机录制的视频，基于AI人体运动跟踪技术得到视频中人体的运动参数以进行制作，其中，视频基于显示屏呈现的三维虚拟场景和真实场景融合得到。本申请实施例通过摄像机跟踪模块获取多个摄像机的位置参数，方便多机位协同及切换匹配，采用AI智能动捕技术实现一套系统内多套摄像机同步跟踪及身体动作跟踪，无需佩戴额外的穿戴动作捕捉设备。

Description

融合制播系统及方法

技术领域

本申请涉及广播电视制作技术领域，尤其是一种融合制播系统及方法。

背景技术

随着文化传媒行业与三维视效制作技术的前进与发展，虚拟演播作为新兴的视效制作技术手段被广泛应用于电视、电影、新媒体节目制作，通过三维数字化手段实现丰富多彩的演播室场景设计实现，节省大量人力、物力、财力，并且能极大缩短制作周期，拓展节目创意空间，提升节目呈现效果，已被越来越多的节目制作及有关人员所关注。

目前制播系统中，虚拟演播技术大多基于绿幕\蓝箱的传统虚拟制作方式，其实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，从而创造出逼真的、立体感很强的电视演播室效果。然而现有的制播系统中，一台摄像机需搭配一套跟踪装备，多机位协同及切换匹配难度大，表演演员或主持人需要额外的穿戴动作捕捉设备才能进行运动跟踪。

发明内容

为了解决上述技术缺陷之一，本申请实施例中提供了一种融合制播系统及方法。

根据本申请实施例的第一个方面，提供了一种融合制播系统，包括：

摄像机跟踪模块，用于获取多个摄像机的位置参数和工作参数；

显示渲染模块，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；

运动捕捉模块，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

在一个实施例中，所述获取多个摄像机的位置参数和工作参数，包括：

基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数；

基于自动化伺服技术获取摄像机镜头的实时工作参数。

在一个实施例中，所述显示渲染模块包括：

渲染模块，用于对所述数字场景内容进行渲染，并根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景；

融合模块，用于基于空间扩展技术将所述三维虚拟场景扩展至所述显示屏以外的区域；

切换模块，用于将所述显示屏呈现的三维虚拟场景和真实场景融合得到的视频传输至监视器。

在一个实施例中，所述显示屏为三块互相垂直的LED显示屏，或者所述显示屏为互相垂直的弧形屏和地屏。

在一个实施例中，所述渲染模块还用于基于色域匹配及转换技术实现显示屏与所述三维虚拟场景的色域相匹配，基于HSB色彩调节实现所述显示屏的色彩一致。

在一个实施例中，所述融合模块还用于根据所述运动参数在所述三维虚拟场景中叠加对应的特效。

在一个实施例中，所述获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数，包括：

获取所述摄像机录制的视频，基于卷积神经网络架构得到人体骨骼解算器，根据所述人体骨骼解算器得到所述视频中人体的运动参数。

在一个实施例中，还包括：

对齐模块，用于将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

根据本申请实施例的第二个方面，提供了一种融合制播方法，包括：

获取摄像机的位置参数和工作参数；

根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；

获取所述摄像机录制的视频，得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

在一个实施例中，在所述获取摄像机的位置参数和工作参数之前，还包括：

将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

采用本申请实施例中提供的融合制播系统及方法，通过摄像机跟踪模块获取多个摄像机的位置参数，方便多机位协同及切换匹配，采用AI智能动捕技术实现一套系统内多套摄像机同步跟踪及表演演员/主持人身体动作跟踪，无需佩戴额外的穿戴动作捕捉设备。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的融合制播系统的结构示意图；

图2为本申请实施例提供的融合制播系统一个实施例的示意图；

图3为本申请实施例提供的显示渲染模块的结构示意图；

图4为本申请实施例提供的运动捕捉模块的结构示意图；

图5为软件设计的架构示意图；

图6为本申请实施例提供的融合制播方法的流程示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1为本申请实施例提供的融合制播系统的结构示意图，参照图1和图2，本申请提供了一种融合制播系统，包括：

摄像机跟踪模块110，用于获取多个摄像机的位置参数和工作参数。

显示渲染模块120，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现。

运动捕捉模块130，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

演播厅中摄像机的数量为多个，本申请基于一套摄像机跟踪装置即可获取多个摄像机的位置参数，摄像机的位置参数包括摄像机的位置和摄像头的角度等。摄像机的工作参数包括摄像机镜头Zoom、Focus、Iris等参数。

可选的，所述获取多个摄像机的位置参数和工作参数，包括：

基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数。具体的，在显示屏上设置若干红外测距装置，确定上述红外测距装置在显示屏坐标系中的坐标值，红外测距装置测量其与摄像机及道具的距离，根据红外测距装置的坐标值和距离，得到摄像机及其道具在显示屏坐标系中的坐标值。

基于自动化伺服技术获取摄像机镜头的实时工作参数。具体的，自动化伺服技术指的是自动化控制的伺服电机技术，比如摄像机镜头调焦可通过自动化控制芯片驱动调焦电机带动调焦片实现调焦，获取自动化控制芯片的驱动信号并对其进行变换，即可得到摄像机镜头的实时调焦参数。

可选的，本申请运用信息融合技术对实时位置参数和实时工作参数进行同步分析，还设计了S-C（Server-Client）网络并发架构进行数据广播发送至显示渲染系统实现摄像机虚实联动。

可以理解的是，本申请设置了一套整体的跟踪设备，降低了多机位协同及切换匹配难度。

在上述实施例的基础上，作为一个可选实施例，如图3所示，所述显示渲染模块包括：

渲染模块，用于对所述数字场景内容进行渲染，并根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景；具体的，渲染模块包括三台渲染服务器，渲染服务器基于创作人员生成的数字场景内容，创建与实际镜头成像比例相同的虚拟摄像机，实拍过程中，实时接收摄像机跟踪系统传回的摄像机跟踪数据，将制作好的虚拟场景内容按照立体透视关系呈现至多块显示屏。

融合模块，用于基于空间扩展技术将所述三维虚拟场景扩展至所述显示屏以外的区域；融合模块可由一个融合服务器构成。受显示屏物理尺寸限制，难免出现镜头范围超出显示屏情况，融合服务器通过空间扩展方式将虚拟场景扩展到显示屏显示以外区域，实现直播过程中实时空间延展。

切换模块，用于将所述显示屏呈现的三维虚拟场景和真实场景融合得到的视频传输至监视器。具体的，切换模块可由一个切换台构成，摄像机完成真实场景与显示屏呈现的三维虚拟场景融合拍摄，通过切换台传输至监视器。

可选的，所述显示屏为三块互相垂直的LED显示屏或者互相垂直的弧形屏和地屏。通过LED实时渲染显示，现场表演演员或者演员能够实时感知到场景，交互更加自然，制作团队也能实时看到最终拍摄合成效果，效率更加高效。在录制过程中，表演演员或者主持人站立在LED显示屏或者地屏上，摄像机录制站在现场表演演员或者主持人在渲染画面上的视频。

可选的，所述渲染模块还用于基于色域匹配及转换技术实现显示屏与所述三维虚拟场景的色域相匹配，基于HSB色彩调节实现所述显示屏的色彩一致。

色域匹配指的是进行不同色域间的匹配，在本申请中，渲染服务器所能表示的颜色范围和显示屏所能表示的颜色范围均可称为色域，渲染服务器的色域为源色域，显示屏的色域为目标色域。色域匹配算法包括逐点色域匹配算法和空间域色域匹配算法，本申请中的渲染服务器和显示屏均可使用RGB基色对三维虚拟场景进行表示，因此，可以使用逐点色域匹配算法。然而需要注意的是，显示屏是由三块大屏进行显示的，三块大屏的连接处，LED发出的灯光会互相影响，导致三维虚拟场景在显示屏的连接处的视觉效果降低。对此，可获取三维虚拟场景在连接处的子场景，计算所述子场景中任意一点的信息权重，若某一点的信息权重低于设定阈值，则降低该点的亮度值，突出连接处信息量较多的区域，以提高三维虚拟场景在显示屏的连接处的视觉效果。

HSB色彩调节指的是从色相、饱和度、亮度三个维度进行色彩调节。

可以理解的是，本申请基于渲染模块、融合模块和切换模块，能够实现虚拟内容大屏显示与无限扩展，通过XR扩展现实实现LED屏幕显示与真实空间的无缝融合，有效扩展制作空间。

在上述实施例的基础上，作为一个可选实施例，所述融合模块还用于根据所述运动参数在所述三维虚拟场景中叠加对应的特效，实现真人与虚拟场景交互。

在上述实施例的基础上，作为一个可选实施例，所述获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数，包括：

获取所述摄像机录制的视频，基于卷积神经网络架构得到人体骨骼解算器，根据所述人体骨骼解算器得到所述视频中人体的运动参数。

可选的，如图4所示，运动捕捉模块可基于服务器模块、视频采集模块、数据传输模块三个基础模块以及信号同步模块、实时图像采录模块两个选配模块组成。如图5所示，软件设计由交互层、业务层、算法层、数据层四层结构，前后端分离开发模式，前端使用QT，后端使用C++。

可以理解的是，本申请基于多视点自然视频图像，采用卷积神经网络架构设计自然视频人体骨骼解算器，通过多维多视角视觉系统标定3D化2D骨骼节点结果，结合人体运动学及影视动画制作机理进行IK骨骼参数求解，采用ZMQ传输协议进行最终运动数据分发应用至电视节目制作。

在上述实施例的基础上，作为一个可选实施例，本申请提供的融合制播系统还包括：

对齐模块，用于将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

以实际节目制作为例，节目制作之前需要使用渲染子系统进行LED大屏显示校准，摄像机镜头参数标定，虚拟场景制作，虚拟特效制作等准备工作。制作过程中通过摄像机跟踪系统实现实拍摄像机的6DOF跟踪以及镜头Zoom、Focus跟踪，并将跟踪数据实时传输至渲染服务器，渲染服务器根据接收到的实拍摄像机参数按LED大屏结构方式渲染出对应场景，保证大屏呈现画面与实拍画面镜头语言一致，智能捕捉系统实时捕捉到节目主持人运动信息并传回至融合服务器，融合服务器根据主持人位置及运动信息实时动态叠加相应特效实现真人与虚拟场景交互。当出现实拍相机视场空间超出LED边界时，融合服务器根据虚实坐标转换关系对LED屏幕画面进行拓展拼接，实现大屏无缝拓展。

1，节目制作之前需要采用专用标定工具进行LED屏幕空间坐标系、摄像机跟踪坐标系、运动捕捉坐标系原点对齐。

2，根据电视节目制作需求，建立三维虚拟场景，通过渲染子系统将三维场景投影至相互垂直的三块LED大屏进行裸眼立体呈现。

3，实拍摄像机上安装特定跟踪刚体，由摄像机跟踪系统对相机进行实时6DOF空间位置跟踪及镜头zoom、focus跟踪，跟踪数据通过网络实时传输给大屏渲染系统，大屏渲染系统根据实拍摄像机镜头参数实时渲染显示虚拟三维场景，确保虚拟渲染场景和实拍镜头画面镜头参数一致，摄像机实时拍摄画面既节目最终播出虚实融合画面。

4，对主持人进行运动姿态跟踪，并将跟踪到的运动参数传递给渲染引擎，引擎可以根据主持人动作实时叠加节目特效，比如根据主持人手势叠加面具金边效果。

下面对本发明提供的融合制播方法进行描述，下文描述的融合制播方法与上文描述的融合制播系统可相互对应参照。

参照图6，本申请提供了一种融合制播方法，包括：

S610，获取摄像机的位置参数和工作参数。

S620，根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现。

S630，获取所述摄像机录制的视频，得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

在一个实施例中，在所述获取摄像机的位置参数和工作参数之前，还包括：

将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

综上所述，本发明提供了一种基于AI智能动捕与XR虚拟融合制播系统，是一套结合LED大屏实时渲染、摄像机镜头跟踪、AI人体运动跟踪等技术系统解决方案，结合了XR、AR、自然交互等一系列前沿技术，让主持人或表演者有着沉浸式的观感体验。不同与以往的绿箱拍摄，新系统能够实时的看到效果，利用先进UE4引擎及异形屏幕与光线跟踪，将传统LED屏幕的表现升级为裸眼3D效果，再利用AR技术，以及自然交互设备，让主持人或表演者实时的真实互动，提高参与度，相比传统绿箱拍摄沉浸感大大的增强。系统采用复合多目标全局动态定位与AI融合虚实、大空间多光谱全局标定、自然视频人体智能运动跟踪等多种创新技术，实现多机位切换拍摄与虚实融合\虚拟内容大屏显示与无限扩展\真人与虚拟场景交互交互，可直接拍摄出最终合成样片，解决了当前虚拟演播室节目采用蓝箱或绿幕抠像后期制作局限性大，交互效果差等问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，C语言、VHDL语言、Verilog语言、面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种融合制播系统，其特征在于，包括：

摄像机跟踪模块，用于获取多个摄像机的位置参数和工作参数；

显示渲染模块，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；

运动捕捉模块，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

2.根据权利要求1所述的融合制播系统，其特征在于，所述获取多个摄像机的位置参数和工作参数，包括：

基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数；

基于自动化伺服技术获取摄像机镜头的实时工作参数。

3.根据权利要求1所述的融合制播系统，其特征在于，所述显示渲染模块包括：

渲染模块，用于对所述数字场景内容进行渲染，并根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景；

融合模块，用于基于空间扩展技术将所述三维虚拟场景扩展至所述显示屏以外的区域；

切换模块，用于将所述显示屏呈现的三维虚拟场景和真实场景融合得到的视频传输至监视器。

4.根据权利要求3所述的融合制播系统，其特征在于，所述显示屏为三块互相垂直的LED显示屏，或者所述显示屏为互相垂直的弧形屏和地屏。

5.根据权利要求3所述的融合制播系统，其特征在于，所述渲染模块还用于基于色域匹配及转换技术实现显示屏与所述三维虚拟场景的色域相匹配，基于HSB色彩调节实现所述显示屏的色彩一致。

6.根据权利要求3所述的融合制播系统，其特征在于，所述融合模块还用于根据所述运动参数在所述三维虚拟场景中叠加对应的特效。

7.根据权利要求1所述的融合制播系统，其特征在于，所述获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数，包括：

获取所述摄像机录制的视频，基于卷积神经网络架构得到人体骨骼解算器，根据所述人体骨骼解算器得到所述视频中人体的运动参数。

8.根据权利要求1所述的融合制播系统，其特征在于，还包括：

对齐模块，用于将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

9.一种融合制播方法，其特征在于，包括：

获取摄像机的位置参数和工作参数；

根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；

获取所述摄像机录制的视频，得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。

10.根据权利要求9所述的融合制播方法，其特征在于，在所述获取摄像机的位置参数和工作参数之前，还包括：

将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。

Images