CN111709970B

CN111709970B - 一种智能直播仿真预演系统

Info

Publication number: CN111709970B
Application number: CN202010834533.5A
Authority: CN
Inventors: 薛彤; 丁刚毅; 苏宇晴; 栗新博; 代洪霞; 黄天羽
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2020-08-19
Filing date: 2020-08-19
Publication date: 2020-11-13
Anticipated expiration: 2040-08-19
Also published as: CN111709970A

Abstract

本发明涉及一种智能直播仿真预演系统，包括直播内容仿真模块、摄像学习模块、相机仿真模块、视频渲染模块、导播模块，其中：直播内容仿真模块用于将需要直播的内容进行建模和动态仿真；摄像学习模块用于从已有直播视频中自动学习得到直播摄像机在拍摄过程中的轨迹和姿态参数；相机仿真模块用于生成多个虚拟摄像机；视频渲染模块用于计算得到每个虚拟摄像机在直播内容仿真模块中拍摄的视频并渲染输出；导播模块用于根据用户设置的导播方案，在不同虚拟摄像机渲染视频中进行切换。本发明可以辅助用户自动从已有视频中学习摄像方案，通过仿真系统对摄像方案和导播参数进行验证，并预览直播效果，为电视直播方案的设计提供了技术支持。

Description

一种智能直播仿真预演系统

技术领域

本发明涉及一种智能直播仿真预演系统，属于数字仿真技术领域。

背景技术

电视台在进行现场直播的时候，摄像、导播等直播人员需要具有丰富的经验。当碰到电视台以前没有拍摄制作过的活动，就会给负责现场直播的电视台提出挑战。进行现场直播时应该怎么布设直播的摄像机，在直播过程中怎么对摄像机进行控制，都成为直播过程中面临的技术难题。

面对这种问题，一个可行的解决方案是从以往类似活动的视频资源中进行直播摄像方案的学习。使用纯人工的方式对海量视频数据进行分析和学习是不可取的，图像处理、视频处理领域的各项成果应该被广泛使用进行直播摄像方案的学习。如果能够进行直播摄像方案的自动化学习，那么不仅仅可用于没有经验的直播摄像方案的设计，也为直播摄像机的自动布设、控制也就是摄像过程的自动化提供了可能。

在对直播视频自动学习后，需要验证直播方案是否可行，以及是否需要修正。但是需要现场直播的活动往往是大型演出或者体育赛事，在举办之前，不可能让摄影师预先拍摄一遍来验证拟定的直播方案。一个可行的方案是通过仿真系统对需要直播的活动进行仿真，在仿真系统中对摄像机方案以及最后直播的效果进行验证。但是在现有技术中未见有相关报道。

多路直播摄像机的视频输出还需要进行现场制作、剪辑，才能得到观众从电视中看到的直播视频。如果能在仿真预演系统中包含对现场直播过程的仿真预演，将会对电视台的视频采集镜头的布设和直播视频的制作提供辅助工具和数据支持。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种智能直播仿真预演系统，包括直播内容仿真模块、摄像学习模块、相机仿真模块、视频渲染模块、导播模块，其中：

直播内容仿真模块用于将需要直播的内容进行建模和动态仿真；

摄像学习模块用于从已有直播视频中自动学习得到直播摄像机在拍摄过程中的轨迹和姿态参数；

相机仿真模块用于根据学习得到的摄像机参数在直播内容仿真模块中生成多个虚拟摄像机；

视频渲染模块用于计算得到每个虚拟摄像机在直播内容仿真模块中拍摄的视频并渲染输出；

导播模块用于根据用户设置的导播方案，在不同虚拟摄像机渲染视频中进行切换，最后输出由不同虚拟摄像机渲染视频片段组成的直播视频。

根据本发明实施例的一种具体实现方式，摄像学习模块从已有直播视频中自动学习的方法为：

对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换；

选取一段分割后的视频片段，标定摄像机类型，并逐帧提取得到视频关键帧序列；

对相邻的毎两帧图像进行特征点提取和匹配；

利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；

根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数。

根据本发明实施例的一种具体实现方式，所述标定摄像机类型通过人工方式标定，或者通过对每种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。

根据本发明实施例的一种具体实现方式，摄像学习模块从已有直播视频中自动学习的方法还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，并对摄像机的轨迹进行修正。

根据本发明实施例的一种具体实现方式，所述导播方案为导播规则的集合，所述导播规则包括相机切换触发条件及对应直播信号。

根据本发明实施例的一种具体实现方式，所述导播模块包括导播规则管理单元，用户使用该单元在导播方案中添加、删除、修改导播规则。

根据本发明实施例的一种具体实现方式，还包括特效模块，用于对虚拟摄像机视频渲染输出信号进行特效处理，生成特效视频；对应的，所述导播规则中的对应直播信号包括特效视频信号。

根据本发明实施例的一种具体实现方式，所述导播规则中的相机切换触发条件为时间相关的触发条件。

根据本发明实施例的一种具体实现方式，所述导播规则中的相机切换触发条件为关键事件相关触发条件。

根据本发明实施例的一种具体实现方式，所述导播规则通过对已有视频进行学习获得，具体方法为：

对已有直播视频进行镜头分割；

对分割点进行触发条件的标识；

识别出分割点前后直播视频对应的直播信号。

有益效果

本发明提供的一种智能直播仿真预演系统，可以辅助用户自动从已有视频中学习摄像方案，通过仿真系统对摄像方案和导播参数进行验证，并预览直播效果，为电视直播方案的设计提供了技术支持。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的直播仿真预演系统的模块结构图；

图2a和图2b为相机成像原理示意图；

图3为本发明实施例提供的导播规则示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形态、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

如图1所示，本发明实施例公开了一种智能直播仿真预演系统，包括直播内容仿真模块、摄像学习模块、相机仿真模块、视频渲染模块、导播模块，其中：

基于自动学习的直播仿真预演系统目的是通过已有视频学习他人的直播机位和摄像方案设置，并且通过仿真系统对习得方案进行预览、验证，为提供直播服务的电视台提供一种学习和设计直播方案的仿真方法，根据预演效果辅助生成直播方案。在整个方法中，用户关注的焦点在于最终获得的直播视频的具体内容和质量，一旦用户获得了满意的直播视频，就可以将直播方案中所需要使用到的所有参数进行输出并且在直播中参照执行，极大的方便了直播方案的设计过程，降低了设计难度。

直播方案主要包括两部分内容：一是摄像机的布设，二是对不同摄像机拍摄结果的剪辑输出。视频渲染模块在直播内容仿真模块中得到每个虚拟摄像机所拍摄的视频并渲染输出。导播模块的功能是根据用户设置的导播方案，将多个视频进行整合和剪辑，最后输出一路直播视频，也即观众在电视中看到的直播视频。

对相邻的毎两帧图像进行特征点提取和匹配；

下面对本实施例提供的自动学习方法的步骤进行详细说明：

S1-1：对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换；

因为直播视频包含多个直播摄像机摄像视频，所以首先需要对已有直播视频进行镜头分割，使得每个视频片段不包含相机切换。分割后的每个视频片段只包含某一个摄像机的视频数据。

S1-2：选取一段分割后的视频片段，标定摄像机类型，并逐帧提取得到视频关键帧序列；

由于直播过程中使用的摄像机种类很少，根据本发明实施例的一种具体实现方式，所述标定摄像机类型通过人工方式标定，或者通过对每种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。

S1-3：对相邻的毎两帧图像进行特征点提取和匹配；

这个步骤可以使用图像处理领域已有的特征点提取和匹配算法，例如ORB、SIFT、SURF 等。

S1-4：利用匹配的特征点得到摄像机帧间运动的旋转矩阵和平移向量；

图2a和图2b为相机小孔成像原理示意图。如图2a和图2b所示，步骤S1-3中已经给定成功匹配的空间点在相机平面内投影的坐标，需要计算相机在观察点之间的运动状态。这个步骤可以借鉴移动机器人自主导航领域为机器人定位和建图时使用的SLAM视觉里程计技术。相机的帧间运动一般用四元数、欧拉角或者旋转矩阵、平移矢量表示。有多种方法可以用来估计相机运动状态，例如PnP方法、ICP方法、对极几何方法等。例如在对极几何方法中，每两个成功匹配的点可以提供一对对极约束，提供八个点就可以计算出本质矩阵，对本质矩阵进行SVD分解就可以解出相机运动的旋转矩阵R和平移向量t。

S1-5：根据摄像机帧间运动参数得到对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数；

获得每两帧之间的摄像机帧间运动参数即旋转矩阵R和平移向量t后，就可以计算得出对应于每个关键帧时间点的摄像机世界坐标和姿态，从而获得摄像机在摄像过程中的运动轨迹和姿态参数。

步骤S1-2至S1-5是对一段视频片段进行处理的步骤，获得的是与该视频片段对应的摄像机运动轨迹和姿态参数。对所有视频片段进行摄像机运动轨迹和姿态参数生成，得到直播过程使用的所有摄像机参数构成的直播摄像方案。

由于计算每两帧之间的帧间运动都会存在误差，误差不断积累会使得结果产生严重的偏离。所以本实施例还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，对应这两帧的摄像机位置应该一致。回环检测的关键问题是如何度量两个图像帧之间的相似性，当前的成熟的方法是词袋模型，创建词袋，利用词袋中每一帧图像中的特征元素比较每两帧图像的相似度，当相似度大于某一个阈值的时候，就认为这两幅图像是在同一点观测到的，相机回到了曾经到达过的位置。根据检测结果对摄像机的轨迹进行修正。

导播模块的功能是根据用户设置的导播方案，将多个视频进行整合和剪辑。如图3所示，导播模块3可以包括多个导播方案8，例如对应活泼、严肃、艺术等不同风格的导播方案，所述导播方案为导播规则81的集合。导播规则81包括相机切换触发条件及对应直播信号，也就是视频渲染模块对应的一路输出信号。当满足触发条件时，就执行相应的切换操作，切换到触发条件对应的直播信号。

在直播中，有时需要加入一些特效镜头，例如慢动作。由于虚拟摄像机视频渲染输出的都是直接的拍摄信号，所以需要在系统中加入一个专门的模块，进行特效处理。特效处理模块的输入信号是多个虚拟摄像机视频渲染输出信号，输出信号是经过特效处理的信号。特效处理信号和其他多个虚拟摄像机视频渲染输出信号一样，也作为导播模块可以切换的一路直播信号。

根据本发明实施例的一种具体实现方式，所述导播模块包括手动切换单元，用户使用该单元手动设置直播信号的切换，浏览手动切换的效果，并且将所设置的切换作为一条导播规则添加到对应的导播方案中。

导播模块包括了用户设置并选择的导播方案，并按照方案中的导播规则进行切换。同时，导播模块也提供了一个方便用户交互的手动切换单元，通过该单元用户可以随时设置直播信号的切换，浏览切换的效果，如果效果不好可以放弃此次手动设置的切换，如果效果满意可以将所设置的切换作为一条导播规则添加到对应的导播方案中。

导播规则中的相机切换触发条件可以包含多种类型。最简单的情况下，可以是时间相关的触发条件，例如设置当直播进行到某个时间点的时候，就切换到特写镜头对应的一路直播信号。该事件可以是绝对时间，例如八点、十二点；也可以是相对时间，例如直播进行到第几分钟等。

导播规则中的相机切换触发条件如果只包含时间相关的触发条件则不够灵活，因为实际直播的时间和预演系统中的时间不一定能完全一致，从而使得通过本直播仿真预演系统获得的直播方案在实际直播时无法参照执行。相机切换触发条件也可以是关键事件相关触发条件，例如人物标志性动作触发、导演请求触发等。除本发明实施例公开的情况，相机切换触发条件根据具体的应用场合还可以通过另外不同的具体实施方式加以实施或应用。

对已有直播视频进行镜头分割；

对分割点进行触发条件的标识；

识别出分割点前后直播视频对应的直播信号。

本发明实施例还公开了一种导播规则的智能学习方法。通过将已有的直播视频作为学习资源，通过镜头分割技术识别出镜头的分割点，从而学习新的导播规则。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称并不构成对该单元本身的限定。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种智能直播仿真预演系统，其特征在于，包括直播内容仿真模块、摄像学习模块、相机仿真模块、视频渲染模块、导播模块，其中：

导播模块用于根据用户设置的导播方案，在不同虚拟摄像机渲染视频中进行切换，最后输出由不同虚拟摄像机渲染视频片段组成的直播视频；

其中，摄像学习模块从已有直播视频中自动学习的方法为：

对相邻的毎两帧图像进行特征点提取和匹配；

2.根据权利要求1所述的一种智能直播仿真预演系统，其特征在于，所述标定摄像机类型通过人工方式标定，或者通过对每种摄像机拍摄图像特征进行特征建模，实现对视频片段的自动标定。

3.根据权利要求1或2所述的一种智能直播仿真预演系统，其特征在于，摄像学习模块从已有直播视频中自动学习的方法还包括回环检测步骤，比较每两帧图像的相似度，当相似度大于阈值，就认为这两帧图像是在同一点观测到的，并对摄像机的轨迹进行修正。

4.根据权利要求3所述的一种智能直播仿真预演系统，其特征在于，所述导播方案为导播规则的集合，所述导播规则包括相机切换触发条件及对应直播信号。

5.根据权利要求4所述的一种智能直播仿真预演系统，其特征在于，所述导播模块包括导播规则管理单元，用户使用该单元在导播方案中添加、删除、修改导播规则。

6.根据权利要求5所述的一种智能直播仿真预演系统，其特征在于，还包括特效模块，用于对虚拟摄像机视频渲染输出信号进行特效处理，生成特效视频；对应的，所述导播规则中的对应直播信号包括特效视频信号。

7.根据权利要求6所述的一种智能直播仿真预演系统，其特征在于，所述导播规则中的相机切换触发条件为时间相关的触发条件。

8.根据权利要求7所述的一种智能直播仿真预演系统，其特征在于，所述导播规则中的相机切换触发条件为关键事件相关触发条件。

9.根据权利要求8所述的一种智能直播仿真预演系统，其特征在于，所述导播规则通过对已有视频进行学习获得，具体方法为：

对已有直播视频进行镜头分割；

对分割点进行触发条件的标识；

识别出分割点前后直播视频对应的直播信号。