CN110402581A - 控制媒体内容捕获以进行实况视频广播制作系统和方法 - Google Patents

Abstract

一种用于使在实况视频广播制作期间用于控制媒体内容捕获的延迟时间最小化的系统和方法。该系统包括视频制作接收器，该视频制作接收器从一个或多个摄像机接收媒体内容流，这些媒体内容流包括由这些摄像机捕获并以第一编码格式编码的实况媒体内容。此外，多视图界面显示该媒体内容，并且视频制作控制器基于对该界面的输入生成控制指令，以改变这些摄像机捕获相应媒体内容的操作。摄像机控制器被包括在内，该摄像机控制器将所生成的控制指令传输到这些摄像机，以改变用于捕获该相应媒体内容的操作。此外，该视频制作使用从这些摄像机捕获并且以不同于该第一编码格式的第二编码格式编码的媒体内容来控制用于视频广播制作的实况视频流的制作。

Description

控制媒体内容捕获以进行实况视频广播制作系统和方法

相关申请的交叉引用

本申请要求于2018年1月26日提交的美国专利申请号15/880,988的优先权，该美国专利申请要求于2017年1月27日提交的名称为“System and Method for Bending Timeof Live Production(用于弯曲实况制作的时间的系统和方法)”的美国临时专利申请号62/451,477的优先权，这些专利申请中的每一个的全部内容通过援引以其全文并入本文。

技术领域

本披露总体上涉及视频和媒体制作，并且更具体地，涉及用于弯曲实况制作的时间的系统和方法。

背景技术

实况电视广播通常涉及从现场(例如，体育场馆、新闻广播等)捕获媒体内容，将所捕获的内容传输到远程制作设施(其中，视频和音频信号由制作切换器管理)，并且然后对这些信号进行编码以传输到分发网络。这个过程中的每个步骤都涉及一定程度的延迟，因此，这意味着如今的实况电视广播实际上远不是“实况”或“实时”的。例如，典型的传输延迟时间可以从几秒到几十秒，这是从捕获媒体内容时到节目被传输并且由最终消费者最终查看时之间的时间延迟。此外，这种延迟可以是可变的。例如，如果最终消费者在平板计算机上观看节目，则将存在与如果消费者在由机顶盒(“STB”)馈送的监视器上观看同一节目不同的延迟，或者作为一个示例，存在与如果消费者在通过使用ATSC(“高级电视系统委员会”)传输的空中信号馈送的监视器上观看该同一节目又不同的延迟。

图1展示了用于制作实况电视广播的常规系统的框图。如所示出的，该系统可以包括多个摄像机21A和21B(示出了两个摄像机，但是可以存在由摄像机生成的多个媒体流)，这些摄像机从场所10(例如，体育场馆)捕获媒体内容并向本地编码器30提供媒体流22A和22B。编码器30进而对媒体流进行编码，并例如使用卫星通信将媒体作为贡献馈送提供给远程制作设施31。制作设施31通常会包括视频制作设备11，该视频制作设备可以由制作开关、控制器、处理器、定时模块、编解码器和被提供用于处理传入媒体流以进行电视广播制作的其他设备组成。此外，技术指导员12可以位于远程制作设施31处以控制(多个)视频切换器并为视频制作做出编辑和艺术决策。

这种布置的一个重要技术难题是场所处用于将贡献馈送传输到远程制作设施的可用带宽有限。例如，在许多场所处，可用带宽可能例如仅为1GbE。因此，广播制作将必然受限于可由摄像机21A和22B提供的媒体流的最小数量，并且甚至可能在可以传输到设施的视频制作的分辨率方面受限。例如，经编码的高清(HD)信号可能消耗太多带宽并且产生不可接受的时延时段。因此，图1中所示的广播系统在用于实况广播的视频制作能力方面非常有限，并且不能应对许多摄像机和/或传入媒体流。

图2展示了用于制作常规实况电视广播的另一系统的框图。非常简单的是，对于像超级杯(Super Bowl)或奥运会这样的大型事件，电视网络可以使用例如制作卡车10将视频制作设备11和技术指导员12移动到场所10的位置。然而，从实况视频制作的角度来看，这种布置也不是理想的。例如，将包括技术指导员12在内的制作组中的大部分人员移动到场所很困难并且昂贵。此外，技术指导员12可能难以在卡车10的小范围内查看来自各个摄像机的许多媒体流并相应地管理/控制视频切换器。

在任一常规系统中，技术指导员12通常都将操作视频切换器(和相关联的装置)并且还充当制作组的主管。技术指导员12将使用视频切换器切换视频源并且还执行实况数字效果和转变，并且插入预先录制的素材、图形和标题。在实况视频广播制作中，技术指导员12必须协调制作并做出快速决策。因此，返回参考图1中所示的配置，如果技术指导员12位于远程制作设施31的制作控制室中，则技术指导员12将经常发出控制决策32，这些控制决策被馈送回到摄像机21A和/或21B以调整对媒体内容的捕获(诸如，阴影、视频捕获角度等)。然而，这种控制过程在视频广播中产生了进一步的时间延迟。

具体地，图3展示了用于制作实况电视广播的常规系统的时序图。沿着X轴示出了时间，其中，起始时间点是例如从实际出席场所10处的体育赛事的人的角度来看的实时事件。虽然很小，但从摄像机镜头捕获光并且输出像素数据时，甚至会存在第一延迟T₁。此外，如进一步所示，在该过程的每个阶段都存在延迟。例如，存在从(多个)摄像机到编码器30的第二延迟T₂、以及在远程制作设施31处对信号进行解码时的第三延迟T₃，然后在第四延迟T₄之后每个媒体流才能够被呈现给技术指导员。尽管每个延迟被示出为完全相同，但应当理解，延迟将根据带宽约束和诸如装置处理、网络链路的导体阻抗等其他传播延迟而变化。

如上所述，技术指导员12然后可以操作视频切换器将控制命令发回到场所10处的本地设备(例如，摄像机21A和21B)。然而，当这些命令信号被馈送回到装置时，它们也将经历有效延迟T_控制。如进一步所示，每个后续制作步骤——在制作设施处进行编码、(例如，通过STB)进行解码和由最终消费者装置进行最终播出都各自经历了附加延迟。然而，从消耗的角度来看，时间延迟T_控制是不可接受的，因为技术指导员的编辑决策将不基于实际实况事件(实时或接近实时)，而仅仅是在查看事件的经延迟图像之后做出的。这会导致不确定性以及错过事件期间的某些情节，这然后会减损最终消费者的体验。

因此，需要利用虚拟化技术的实况视频广播环境，以向最终消费者提供实况事件正在实时制作的错觉。

发明内容

因此，本文披露了一种“弯曲”实况制作的时间的系统和方法。更具体地，本文披露的系统和方法利用摄像机实时捕获媒体的起始点处的时间偏移，但是以尽可能短的延迟(并且优选地，仅仅几帧)向创造型人才(例如，技术指导员)连贯地呈现所有媒体流。

有效地，由所披露的系统和方法提供的制作环境是实况的代理，但是十分接近实时，从而使其被认为是实况。此外，视频优化设备和租用数据服务的使用提供了生成具有非常短的延迟的代理环境的能力，并且还提供了视频制作优化数据中心能够被许多不同事件和在不同时间重复使用的能力。通过使用代理环境，最终的实况视频广播制作可能在通用数据中心处发生附加延迟，但这可以节省成本并提供更大规模的资源。此外，实施所披露的系统和方法以将最终传输与最终制作共同定位，从而实现云流式传输分发。

在示例性实施例中，所披露的系统有效地提供真正的基于云的数据中心，该数据中心然后可以将代理提供回到原始制作控制中心，这等同于典型的广播或卫星周转。在卫星的情况下，周转延迟会更快，而在塔的情况下，其将会更慢，但只慢几百毫秒。因此，使用新兴的低时延流式传输技术使得制作引擎能够驻留在真正的云中而不仅是私有云中。因此，示例性系统和方法提供一次性“现场制作”控制室(例如，上文所描述的充当制作引擎和控制室两者的制作卡车)以成为以代理和最小时延操作的虚拟化控制室以及以高质量媒体操作的虚拟化制作引擎(尽管延迟比控制室更长)两者。因此，只要与原始内容递送和控制决策响应性相关联的延迟是可接受的，控制室或制作引擎可以位于任何地方。

因此，提供了如本文所披露的用于实况视频广播制作的示例性系统。在一方面，该系统包括多个摄像机，该多个摄像机被配置用于捕获场所处的实况事件的媒体内容并生成相应的媒体流。此外，至少一个编码器可以耦合到该多个摄像机，并且被配置用于使用基于对象的分析对该多个媒体流进行编码，并且生成所接收的多个媒体流的相应高速媒体代理。另外，该系统可以包括控制中心，该控制中心被配置用于接收高速媒体代理。控制中心可以包括：多视图界面，该多视图界面被配置用于分别显示与由多个摄像机生成的媒体流相对应的代理内容；以及视频切换器控制器，该视频切换器控制器耦合到多视图界面并且被配置用于从实况视频广播制作的技术指导员接收至少一个控制指令，其中，该至少一个控制指令被传输到多个摄像机中的至少一个或摄像机操作员以控制摄像机的操作。最后，该系统可以包括视频制作设备，该视频制作设备包括时间校准和处理部件且被配置用于从至少一个编码器接收媒体信号并且从控制中心接收校准命令。在这个实施例中，视频制作设备被配置用于使用多个所接收媒体信号中所包括的时间戳和来自控制中心的时间校准命令对该多个所接收媒体信号进行校准，以制作实况视频广播，从而传输到多个最终消费者装置。

在另一示例性方面，提供了一种用于使在实况视频广播制作期间用于控制媒体内容捕获的延迟时间最小化的系统。该系统包括视频制作接收器，该视频制作接收器从一个或多个摄像机接收媒体内容流，这些媒体内容流包括由这些摄像机捕获并以第一编码格式编码的实况媒体内容。此外，多视图界面显示该媒体内容，并且视频制作控制器基于对该界面的输入生成控制指令，以改变这些摄像机捕获相应媒体内容的操作。摄像机控制器被包括在内，该摄像机控制器将所生成的控制指令传输到这些摄像机，以改变用于捕获该相应媒体内容的操作。此外，该视频制作使用从这些摄像机捕获并且以不同于该第一编码格式的第二编码格式编码的媒体内容来控制用于视频广播制作的实况视频流的制作。

以上示例方面的简要概述用于提供对本披露的基本理解。此概述不是所有设想的方面的广泛概要并且不旨在标识所有方面的关键要素或重要要素也不界定本披露的任何或所有方面的范围。该概述的唯一目的是以简化的形式呈现一个或多个方面作为之后披露的更加详细描述的序言。为了实现上述目的，本披露的一个或多个方面包括权利要求中所描述的特征以及指出的示例。

附图说明

结合在本说明书中并构成本说明书的一部分的附图展示了本披露的一个或多个示例方面，并且与具体实施方式一起用于解释其原理以及实施方式。

图1展示了用于制作实况电视广播的常规系统的框图。

图2展示了用于制作常规实况电视广播的另一系统的框图。

图3展示了用于制作实况电视广播的常规系统的时序图。

图4A展示了根据示例性实施例的用于控制媒体内容捕获以进行实况电视制作的系统的框图。

图4B展示了根据另一示例性实施例的用于控制媒体内容捕获以进行实况电视制作的系统的框图。

图5展示了根据示例性实施例的用于弯曲实况电视制作的时间的方法的概念流程图。

具体实施方式

以下结合附图阐述的详细描述旨在作为对各种配置的描述，而不是旨在可以在其中实践本文中所描述的概念的仅有配置。为了提供对各种概念的透彻理解的目的，详细描述包括具体细节。然而，对于本领域的技术人员来说明显的是，可以在没有这些具体细节的情况下实施这些概念。在一些实例中，以框图形式示出了公知的结构和部件，以便避免模糊这种概念。

现在将参照各种设备和方法来呈现视频制作系统的某些方面。这些设备和方法将在以下详细描述中加以描述并在附图中通过各种框、模块、部件、电路、步骤、过程、算法等(统称为“要素”)来加以展示。这些要素可以使用电子硬件、计算机软件或者其任何组合来实施。这种要素是被实施为硬件还是软件取决于具体应用以及施加到整个系统上的设计约束。

通过举例，要素或要素的任何部分或任何要素组合可以被实施为包括一个或多个处理器的“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(GPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、芯片上系统(SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、离散硬件电路以及被配置成执行本披露中描述的各种功能的其他适当硬件。处理系统中的一个或多个处理器可以执行软件。软件应当被宽泛地解释成意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行线程、规程、函数等，无论其被称为软件、固件、中间件、微代码、硬件描述语言还是其他皆是如此。

因此，在一个或多个示例实施例中，本文所描述的功能和算法可以以硬件、软件或其任何组合实施。如果以软件实施，则可以将功能作为计算机可读介质上的一个或多个指令或代码进行存储或编码。计算机可读介质可以包括用于承载或具有存储在其上的计算机可执行指令或数据结构的暂态或非暂态计算机存储介质。暂态和非暂态存储介质两者都可以是可作为处理系统的一部分被计算机访问的任何可用介质。通过举例而非限制性的方式，这种计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储装置、磁盘存储装置、其他磁存储装置、上述类型的计算机可读介质的组合、或者可以用来存储可以被计算机访问的指令或数据结构形式的计算机可执行代码的任何其他介质。进一步地，当通过网络或另一通信连接(硬连线、无线或其组合)向计算机传送或提供信息时，计算机或处理系统取决于特定介质适当地将连接确定为暂态或非暂态计算机可读介质。因此，任何这样的连接被适当地称为计算机可读介质。上述的组合也应当包括在计算机可读介质的范围内。非暂态计算机可读介质排除信号本身和空中接口。

图4A展示了根据示例性实施例的用于控制媒体内容捕获以进行实况电视制作的系统的框图。如所示出的，系统100中所展示的某些部件与如上文所描述的现有广播制作环境中使用的部件相对应。例如，提供多个摄像机(例如，摄像机21A和21B)以在诸如体育场馆等场所10处捕获媒体内容。尽管仅示出了两个摄像机，但是应当理解，可以在场所10处生成数十个或者甚至数百个媒体流。此外，虽然如所示的摄像机21A和21B为示例性媒体捕获装置，但是在一个示例性方面中，这些装置中的一个或多个还可以包括例如被配置用于从实况事件中捕获音频数据的麦克风或其他类型的媒体始发设备。此外，技术指导员12可以位于远程控制中心130，该远程控制中心可以包括某一视频制作设备11，该视频制作设备例如包括视频切换器。

根据示例性实施例，向一个或多个编码器120A和120B提供所捕获媒体内容的媒体流，这些媒体流可以包括例如由摄像机21A和22B(以及可能的其他媒体捕获装置)生成的图像数据、图形和/或重放。尽管一对编码器120A和120B被示出为分别通信地耦合到摄像机21A和22B，但是根据替代性方面，可以提供单个编码器来对多个数据流进行编码。通常，编码器120A和120B可以被认为是广播控制编码器，因为其被配置用于以第一编码格式对来自多个摄像机21A和21B的数据流进行编码(诸如，具有第一分辨率)，以生成高速代理信号。通常，这些高速代理信号将包括适合于广播制作控制、但其格式不适合于在消费者装置上呈现的视频广播制作的经编码媒体内容。下文中将解释其细节，但是用于以第一编码格式对媒体内容进行编码的设计实现了与在所捕获内容以适合于由最终用户消耗的格式(例如，高清或4K分辨率)传输的情况下相比更高的传输速度。

因此，在示例性方面，编码器120A和120B可以是编解码器装置，这些编解码器装置被配置用于将视频数据(即，视频流22A和22B)编码成数据包，以便在媒体处理网络中通过IP进行传输。更具体地，编码器120A和120B被配置用于生成高速代理信号，这些高速代理信号被馈送到视频控制中心130，在该视频控制中心可以对这些高速代理信号进行解码并将其呈现给技术指导员12。换言之，与常规广播环境不同，编码器120A和120B被配置用于生成消耗最小带宽并且因此可以以最小时延被提供给技术指导员12的低时延代理流。优选地，由编码器120A和120B进行的高速编码应当基于(与最终的高分辨率输出相比)低得多的分辨率的图像，并且然后使用帧内编码进行编码。例如，在一个示例性方面，编码可以基于以270Mb/s运行的标清电视分辨率和Q-CIF(四分之一通用中间格式)。在使用H.264和/或H.265(HVEC)压缩进行编码压缩之后的这种媒体预缩放可以显著减少带宽消耗，这有助于高速媒体代理的传输。

在一个示例性实施例中，可以通过互联网、云等使用现有流式传输技术来传输高速代理流。例如，设想在一个实施例中，可以实施诸如Aspera的Fasp或ZiXi流式传输等技术来管理互联网上的网络流量，从而提供诸如100毫秒到200毫秒的最小时延。有利地，如果期望的话，这些传输技术快到足以将轻度压缩的媒体(诸如，代理流)或重度压缩的媒体流式传输到云计算资源以用于视频制作。

此外，根据示例性实施例，编码器120A和120B(例如，高速编码器)被配置用于将高速代理信号生成为标准或低分辨率信号。在另一实施例中，摄像机21A和/或21B或编码器120A和120B可以对所捕获媒体内容中的对象(例如，人、运动员等)执行基于对象的分析，并向视频控制中心130提供实时、超低带宽并且因此低时延的代理信号。在这方面，可以向技术指导员12呈现的所接收信息(即，高速媒体代理)可以以与所生成媒体流的第一编码格式相对应的第一分辨率呈现在控制中心处的多视图界面上。例如，内容可以在界面上被呈现为可以被连续观察的化身，这些化身基于其空间取向和相对运动而被渲染在设备界面/监视器上。例如，每个媒体流可以被渲染为具有界面的工作站的一部分，该界面具有带有综合比分的多视图显示器。如此，系统可以生成可以远程查看和控制的同时代理内容。因此，技术指导员12可以使用视频切换器控制器基于这种渲染做出控制决策。

另外，位于视频控制中心130处的视频制作设备11可以由用户(例如，技术指导员12)操作，以控制多个摄像机21A和21B的操作从而控制媒体捕获内容。例如，视频制作设备11可以包括耦合到多视图界面的视频切换控制器，该频切换控制器经由多视图界面接收根据用户输入生成的控制指令，以控制对媒体内容的捕获。因此，如进一步所示，控制经由命令路径传输回到摄像机21A和21B，这些控制反映了技术指导员12做出的编辑和艺术决策。然而，与消耗大量带宽并且因此经历将媒体流传输到远程制作设施的不可接受延迟的常规系统不同，所披露的系统100以最小信号延迟(诸如，例如100毫秒或200毫秒或更少)向技术指导员12呈现必要的媒体流代理。因此，技术指导员12将能够使用视频切换器更接近实时地做出艺术和编辑决策。

因此，根据示例性方面，视频制作设备11可以包括例如视频制作接收器，该视频制作接收器从耦合到现场摄像机的编码器120A和120B接收经编码的媒体内容流(例如，高速代理)，其中，经编码的媒体内容流包括由摄像机捕获并且以第一高速编码格式编码的实况媒体内容。此外，视频制作设备11包括多视图界面，该多视图界面显示来自基于第一编码格式(例如，以如以上所讨论的第一分辨率)的媒体内容流的所捕获媒体内容。如本领域技术人员所理解的，视频制作设备11可以进一步包括视频制作控制器，该视频制作控制器生成如以上所讨论的基于(例如，由技术指导员12)对多视图界面的输入的控制指令，以便即时地进行改变，从而在实况事件中媒体内容的捕获期间控制和修改摄像机的操作(诸如，变焦、平移等)。此外，视频制作设备11还可以包括摄像机控制器(或内容捕获控制器)，该摄像机控制器进而将所生成的控制指令传输到控制和改变用于捕获媒体内容的操作的摄像机(或摄像机的操作员)。另外，如下文中进一步描述的，视频制作设备11的视频制作控制器使用从摄像机捕获并且以第二编码格式编码的媒体内容来控制用于视频广播制作的实况视频流的制作，该第二编码格式不同于第一编码格式，并且适合于到最终消费者装置的视频广播制作。

无论如何，如图4A中进一步示出的，系统100包括耦合到编码器120A和120B的标准编码器140(优选地位于场所10处)，该标准编码器可以为制作环境中的制作引擎提供高质量信号(例如，高清、4K分辨率等)。例如，标准编码器140可以是广播制作编码器，该广播制作编码器将由控制指令控制的多个摄像机生成的相应媒体流编码为视频广播媒体流，例如，其中，视频广播媒体流是在比用于高速媒体代理的第一分辨率更高的第二分辨率下以第二编码格式编码的。

此外，制作环境(例如，制作卡车10)可以使用低带宽高速代理信号单独地向视频控制中心130反馈高分辨率信号，该高分辨率信号将反映技术指导员12先前做出的编辑决策。因此，高分辨率信号、或更典型地信号可以以正确的相互时间校准到达(多个)视频制作引擎，并且现在时延是无关紧要的。在一方面，高分辨率信号可以被编码为贡献馈送，并且编码器140可以使用诸如高效视频编码(“HEVC”)、MPEG-4等现有视频压缩技术、使用诸如4:2:2 10比特编码等高级高配置文件设置对视频和音频数据进行编码。在第二方面，可以使用适当的技术在“每个流”的基础上对音频和视频进行编码，以与位于接收器处、请求流的解码器进行校准。在一个示例性方面，编码器140可以直接从媒体捕获装置(例如，摄像机21A和21B)接收媒体内容，而不是从编码器120A和120B接收经编码的信号。

最后，视频控制中心130基于由技术指导员12发出的命令指令使用视频制作设备11(例如，视频切换器控制器)提供需要与时间校准和处理部件150中的媒体流进行时间校准的控制决策，然后在制作点处对这些控制决策和媒体流进行相互时间校准，该时间校准和处理部件可以例如位于场所10处(例如，在制作卡车10中)，或者可替代地在云中。时间校准和处理部件150还从标准编码器140接收高分辨率信号，并且被配置用于生成视频制作，即，实况视频广播制作。换言之，虽然未示出，但是制作卡车10可以通信地耦合到一个或多个远程分发节点，其可以使用现有分发技术将视频制作分发到最终消费者装置，包括将最终反馈(示出为从制作10传输到视频控制中心130的高分辨率信号)分发到视频控制中心130。

因此，根据示例性系统，摄像机(例如，摄像机21A和21B)与编码器120A和120B一起被配置用于生成具有最小带宽约束的低时延代理流。因此，因为低时延信号是以最小延迟接收的，所以位于远离场所10的控制中心130的技术指导员12可以使用视频切换器做出基本上实时(例如，100到200毫秒时延或更短)的编辑决策。此外，系统100在使得远程控制中心130能够使用从编码器120A和120B接收的代理内容编辑节目的同时提供视频广播的全分辨率输出，而同时控制场所10处的全分辨率制作设备(例如，时间校准和处理部件150)。例如，使用现有的制作设备，使用所披露的方法，制作环境可以使用最小的传出带宽、利用例如六个摄像机(四个重放通道和两个图形通道)来提供4K制作。此外，根据替代性实施例，实际的视频制作引擎可以位于诸如中央制作设施或数据中心等任何地方。任一个实施例还将大大减少场所处所需的制作组人员。

基于示例性系统，通过包括虚拟化感知，可以满足对工作流和应用的要求。通常，虚拟化使用时间偏移和掩蔽技术来提供实时的错觉。换言之，虚拟现实依赖于提供沉浸式体验，以便以正确的组合重建必要的感觉，从而优化虚拟体验。在这种实例中，如果技术指导员的感觉被正确地浸入，则整个控制室环境可以从实时时间偏移而不影响其用户的体验和感知。因此，根据示例性实施例，因为技术指导员的虚拟体验被时间偏移很少量，所以最终用户的体验可能大体上会与技术指导员的体验时间偏移。

在实况视频制作环境中，重要的是将虚拟现实体验与时间戳和系统定时的使用结合在一起。通常在广播设施中，存在对整个设备进行准确计时的趋势。然而，用于严格时间校准的设计可以获得好处，因为其对于该媒体制作的生成和该产品的预期用途是有意义的。精确时间协议(PTP)和实时传输协议(RTP)时间戳提供了执行严格时间校准的能力，并且实际上可以消除帧同步、可以节省成本并简化设施设计。技术指导员的虚拟环境能够生成也可以加时间戳的控制序列，这些控制序列作为控制决策(例如，该流用于实况视频广播和用于何时在信号之间切换的定时)从视频控制中心130传输到制作卡车10中的时间校准和处理部件150。这些命令信号使得媒体与控制能够相互校准，从而确保基于实时决策但在某一任意的稍后时间点(其可以是所测得的或预设的偏移)处执行期望的制作。除了其所测得的或预设的偏移可以被设置成远小于制作媒体的偏移之外，与此相同的逻辑被应用于技术指导员的体验，因为媒体信号作为高速代理信号被传输到视频控制中心130。

然而，因为实况视频制作由于与正在捕获的实际实况事件非常接近而具有最关键的时间约束，因此关于定时，很难为实况视频制作创建对虚拟现实的感知。因此，不会感知到延迟的准确定时是必不可少的，并且必须被精确地保持以确保感知到所捕获的媒体事件正在实时发生。因此，视频和音频信号的传输和处理必须保持严格的定时，以确保音频与视频之间的唇形同步，并确保在人类的实时感知内发生音频反馈到实况播报员。为了管理这些严格定时，需要严格管理和最小化延迟，其中，使用必要的最小缓冲器来帮助将延迟保持最小，以管理媒体内容捕获过程的人为因素。此外，必须在处理链中减少或消除帧同步，节省其对边缘的使用(如果需要的话)，以便保持严格的定时。

返回参考图3中所示的时序图和图1中所示的远程系统，由于从视频切换器回到媒体捕获装置(诸如，摄像机)的控制信号T_控制的时间长度，因此从最终消费者的角度来看，虚拟化效果丢失。换言之，例如，如图1所示的常规远程实况广播环境例如由于场所的带宽限制而固有地在实际实时事件与技术指导员12做出编辑决策时之间具有显著的时延。控制信号的生成和传输回到媒体捕获装置的不可接受的延迟会产生最终消费者可以感知的延迟，特别是在最终用户正在使用两个单独的频道、广播等消费实况事件的情况下更是如此。换言之，在技术指导员使用视频切换器做出编辑决策之前，可能已经在实际事件期间发生了许多重大事件。因此，最终消费者失去了虚拟化效果。然而，如果控制信号的时间延迟T_控制可以被最小化，则从操作员和/或最终用户的角度来看，制作链中的剩余延迟时段T_i变得无关紧要。因此，只要所有媒体(视频和音频)的每个定时阶段在时间上是连贯的，每个人就将如同实时地消费内容，并且从个人的感知的角度来看，所有时延、代理等都可以被容忍。

有利地，所披露的系统通过向视频控制中心130提供媒体流的高速代理信号来有效地最小化控制信号的时间延迟T_控制，从而使得技术指导员12能够非常接近实时地做出编辑决策。如上文所描述的，可以使用对象检测而不是对全高分辨率信号进行编码来生成这些低时延代理信号。因此，所披露的设计优选地提供低于100毫秒至200毫秒或更短的时延。因此，可以最小化控制信号的时间延迟T_控制(假设技术指导员快速做出编辑决策)。换言之，高速媒体代理优选地由编码器120A和120B生成，并且在从多个摄像机21A和21B进行媒体内容捕获的200毫秒内传输到控制中心130。因此，当响应于生成控制指令以控制多个摄像机21A和21B对媒体内容的捕获时，多视图界面可以有效地为实况视频广播制作的技术指导员12创建虚拟现实环境。由于低时延代理信号，本文披露的系统和方法使得用户(例如，技术指导员12)能够接收所捕获的内容和控制中心并尽可能接近实时地做出控制决策。因此，技术指导员12能够以在实际实况事件与受控制的内容捕获之间经最小化的延迟控制摄像机21A和21B捕获和修改内容捕获。

影响由最终用户装置最终消费的高质量信号的制作和传输的所有后续延迟都是无关紧要的，因为用户仍将感知到实况事件将是实时呈现的。换言之，增量延迟没有任何问题，并且定时域之间的时延变化实际上可以帮助消除由帧同步器引入的附加和显著的时延。因此，只要在需要观察的情况下所有媒体(视频和音频)都被校准，所披露的系统就不存在任何缺点。然而，益处在于，观察可以与媒体本身一起流水线化，从而提供如上文所描述的远程制作的优点。在可以通过异常来管理编程工作流的情况下，在信号分发的最终点处进行时间校准是有效的。最后，为了确保设施的时间预算可以容纳与信号处理和装置虚拟化相关联的时延，利用最小缓冲器的传输机制优选地用于提供最低的增量时延。

根据示例性方面，所披露的系统可以使用新兴的低时延流式传输技术来提供真正的基于云的数据中心。因此，只要与原始内容递送相关联的延迟是可接受的，一次性“现场制作”控制室(例如，上文所描述的制作卡车)就可以有效地成为可以位于任何地方的代理。

图4B展示了根据另一示例性实施例的用于控制媒体内容捕获以进行实况电视制作的系统的框图。如所示出的，系统200中所利用的部件中的许多部件与上文关于图4A所描述的那些部件相同，并且在本文中将不进行重复。然而，所示出的示例性系统利用了低时延流式传输技术来提供真正的基于云的制作环境。一般而言，云160可以被认为是基于互联网的计算，其根据需要向计算机和其他装置提供共享的计算机处理资源和数据。例如，在一个实施例中，系统200可以利用诸如亚马逊网络服务(AWS)、微软和谷歌等公共云服务，这些云服务在其数据中心拥有和操作基础设施，并通过互联网提供对计算资源的访问。

因此，根据该示例性实施例，可以将时间校准和处理部件150(如上文所描述的)移动到云计算服务，以执行用于实况视频广播制作的最终处理步骤。如所示出的，视频制作可以被编码并通过互联网传输到例如最终消费者装置170(诸如，计算装置、电视、机顶盒、平板计算机等)。此环境也可以利用以上所讨论的相同的快速传输技术来传送高带宽媒体流，包括将高分辨率信号传输回到远程定位的视频控制中心。

图5展示了根据示例性实施例的用于弯曲实况电视制作的时间的方法的概念流程图。应当注意，可以使用上文所描述的系统来实施示例性方法。因此，以下描述将参考示例性系统的部件。

如所示出的，最初在步骤505处，位于诸如体育场等场所的摄像机(例如，摄像机21A和21B)被配置用于实时捕获现场的媒体内容。摄像机通信地耦合到一个或多个编码器，该一个或多个编码器接收媒体内容作为数据流并且被配置用于在步骤510处对内容进行编码并将经编码的媒体流作为高速低时延代理流传输到例如远程控制中心。如上文所描述的，这些低时延代理流在控制中心以非常小的延迟被接收，并且可以在多视图界面上被呈现给技术指导员或呈现给可以做出可作为控制决策被传输回到摄像机的艺术和编辑命令决策的其他这样的用户。同时(或接近实时)，基于命令信号，摄像机继续捕获媒体内容，该媒体内容在步骤520处被处理为高分辨率媒体信号，并在步骤525处被传输到可以位于例如该场所或独立的制作地点的标准编码器。

此外，在步骤530处，将高分辨率媒体信号提供给时间校准装置，该时间校准装置还接收由技术指导员发出的控制注释。例如，在步骤535处，使用适当的时间校准处理、基于PTP和RTP信号来进行广播的最终制作，其中，广播被制作并作为实况视频广播被分发。

应当理解，可以使用硬件和软件的组合来实施上述部件。因此，在一个或多个示例方面中，所描述的功能可以以硬件、软件、固件或其任何组合实施。

此外，虽然已经结合上文概述的示例实施方式描述了各方面，但是对于本领域的至少普通技术人员而言，各种替代方案、修改、改变、改进和/或实质等效物可能变得明显，无论其是已知的还是当前未预见或当前可能未预见的。因此，如上所述的本发明的示例实施方式旨在是说明性的而非限制性的。在不偏离各方面的精神和范围的情况下，可以做出各种改变。因此，各方面旨在涵盖所有已知的或稍后开发的替代方案、修改、改变、改进和/或实质等效物。

因此，权利要求书不旨在限制于本文所示的方面，而是旨在符合与权利要求书的语言一致的全部范围，其中，以单数形式引用要素并不意在指“有且仅有一个”，而是指“一个或多个”，除非特别如此声明。除非特别另外声明，否则术语“一些”指的是一个或多个。本领域的技术人员已知或之后知道的贯穿本披露所描述的各个方面的要素的所有结构和功能等效物都通过引用明确地结合在本文中并且旨在被权利要求书包含。并且，本文中所披露的任何内容都并非旨在贡献给公众，无论这种披露是否在权利要求书中被明确地叙述。任何权利要求要素都不应被解释为装置加功能，除非使用短语“用于……的装置”明确陈述了该要素。

通过示例的方式并且在没有限制的情况下，参考用于对视频产生系统的各种部件进行配置的系统和方法来呈现了本披露的方面，所述视频制作系统可用于产生电视节目或者可以在体育赛事中使用。贯穿本披露所呈现的各种概念可以在各种各样的成像应用中实施，包括捕获并处理视频和/或静止图像的系统、视频会议系统等。应当理解，所披露的过程/流程图中的块的特定顺序或层次是对示例性方法的说明。基于设计偏好，应当理解，过程/流程图中的块的特定顺序或层次可以被重新排列。进一步地，可以组合或省略一些块。所附方法权利要求以样本顺序呈现了各个块的元素，这并不意味着限于所呈现的特定顺序或层次。

前面的描述被提供来使本领域任何技术人员能够实践本文所描述的各种方案。对这些方面的各种修改对本领域技术人员而言将是明显的，并且在本文中所定义的一般原理也可以适用于其他方面。因此，权利要求书不旨在限制于本文所示的方面，而是旨在符合与权利要求书的语言一致的全部范围，其中，以单数形式引用要素并不意在指“有且仅有一个”，而是指“一个或多个”，除非特别如此声明。词语“示例性”在本文用来意指“用作为示例、实例或例示”。本文作为“示例性”所描述的任何方面不必解释为优选的或优于其他方面。本领域的技术人员已知或之后知道的贯穿本披露所描述的各个方面的要素的所有结构和功能等效物都通过引用明确地结合在本文中并且旨在被权利要求书包含。

Claims (26)

1.一种用于控制媒体内容捕获以进行实况视频广播制作的系统，该系统包括：

多个摄像机，被配置用于捕获实况事件的媒体内容并生成所捕获媒体内容的相应媒体流；

多个广播控制编码器，分别耦合到该多个摄像机，并且被配置用于在第一分辨率下对该多个媒体流进行编码以生成所捕获媒体内容的相应高速媒体代理；

控制中心，被配置用于从该多个编码器接收这些高速媒体代理，并在多视图界面上以该第一分辨率显示与所生成的媒体流相对应的代理媒体内容；

视频切换控制器，耦合到该多视图界面，并且被配置用于经由该多视图界面接收根据用户输入生成的至少一个控制指令，并将该至少一个控制指令传输到该多个摄像机中的至少一个摄像机以控制对媒体内容的捕获；

至少一个广播制作编码器，被配置用于将由该至少一个控制指令控制的至少一个摄像机生成的相应媒体流编码为视频广播媒体流，其中，该视频广播媒体流是在比用于这些高速媒体代理的第一分辨率更高的第二分辨率下编码的；以及

视频制作设备，包括时间校准和处理部件，该视频制作设备被配置用于从该至少一个广播制作编码器接收该视频广播媒体流，并通过将来自该控制中心的实况广播制作命令应用于所接收的视频广播媒体流来制作用于视频广播制作的实况视频流，使得所制作的实况视频流被配置用于在至少一个最终消费者装置上显示。

2.根据权利要求1所述的系统，其中，该至少一个广播制作编码器被配置用于将所捕获媒体内容的所生成相应媒体流中的每一个编码为被传输到该视频制作设备的相应视频广播媒体流。

3.根据权利要求2所述的系统，其中，这些实况广播制作命令包括校准控制信号，使得该视频制作设备被配置用于在该视频广播制作期间使用这些校准控制信号中的时间戳在这些相应视频广播媒体流之间进行切换，以便制作用于视频制作的实况视频。

4.根据权利要求1所述的系统，其中，该多个广播控制编码器被配置用于在所捕获媒体内容中执行基于对象的分析以生成相应的高速媒体代理，使得该多视图界面基于所执行的基于对象的分析将所捕获媒体内容显示为基于该实况事件中的所检测对象的空间取向和相对运动的化身。

5.根据权利要求1所述的系统，

其中，该多个广播控制编码器被配置用于将该多个媒体流编码为数据包以通过IP进行传输，从而生成所捕获媒体内容的相应高速媒体代理，并且

其中，该至少一个广播制作编码器被配置用于在该第二分辨率下对该视频广播媒体流进行编码，该第二分辨率是高清格式和超高清格式之一。

6.根据权利要求1所述的系统，其中，该视频制作设备位于以下地点之一：视频广播制作卡车上和云计算环境中。

7.根据权利要求1所述的系统，其中，这些高速媒体代理在该多个摄像机进行媒体内容捕获的200毫秒内被生成并被传输到该控制中心，使得该多视图界面被配置用于在生成该至少一个控制指令以控制该多个摄像机中的至少一个摄像机对媒体内容的捕获时为该实况视频广播制作的制作者创建虚拟现实环境。

8.一种用于使在实况视频广播制作期间用于控制媒体内容捕获的延迟时间最小化的系统，该系统包括：

多个摄像机，被配置用于捕获实况事件的媒体内容并生成所捕获媒体内容的相应媒体流；

至少一个高速编码器，耦合到该多个摄像机，并且被配置用于以第一编码格式对该多个媒体流进行编码以生成所捕获媒体内容的相应高速媒体流；

控制中心，被配置用于接收这些高速媒体流，并根据该第一编码格式将所捕获媒体内容显示在用户界面上；

视频切换控制器，被配置用于从该用户界面接收至少一个控制指令，并且将该至少一个控制指令传输到该多个摄像机中的至少一个摄像机以控制对媒体内容的捕获；

至少一个广播制作编码器，被配置用于以不同于该第一编码格式且被配置用于视频广播制作的第二编码格式对由该多个摄像机生成的这些相应媒体流进行编码；以及

视频制作设备，被配置用于从该至少一个广播制作编码器接收呈该第二编码格式的经编码媒体流，并基于所接收的经编码媒体流中的至少一个来制作用于视频广播制作的实况视频流。

9.根据权利要求8所述的系统，其中，以该第一编码格式编码的多个媒体流被配置成以比以该第二编码格式编码的多个媒体流更高的数据传输速率传输。

10.根据权利要求9所述的系统，

其中，至少一个高速编码器在第一分辨率下以该第一编码格式对该多个媒体流进行编码，并将该第一编码格式的多个媒体流作为数据包通过IP传输，并且

其中，该至少一个广播制作编码器被配置用于在第二分辨率下以该第二编码格式对该视频广播媒体流进行编码，该第二分辨率高于该第一分辨率并且被配置用于在高清分辨率和超高清分辨率之一下进行视频广播制作。

11.根据权利要求10所述的系统，其中，该至少一个广播控制编码器进一步被配置用于在所捕获媒体内容中执行基于对象的分析以生成所捕获媒体内容的这些相应媒体流，使得该多视图界面基于所执行的基于对象的分析将所捕获媒体内容显示为基于所捕获媒体内容中的所检测对象的空间取向和相对运动的化身。

12.根据权利要求8所述的系统，其中，该视频制作设备包括时间校准和处理部件且被配置用于通过将来自该控制中心的实况广播制作命令应用于所接收的经编码媒体流来制作用于该视频广播制作的实况视频流，使得所制作的实况视频流被配置用于在至少一个最终消费者装置上显示。

13.根据权利要求12所述的系统，其中，这些实况广播制作命令包括校准控制信号，使得该视频制作设备被配置用于在该视频广播制作期间使用这些校准控制信号中的时间戳在这些相应的经编码媒体流之间进行切换，以便制作用于视频制作的实况视频。

14.根据权利要求8所述的系统，其中，该视频制作设备位于以下地点之一：视频广播制作卡车上和云计算环境中。

15.根据权利要求8所述的系统，其中，这些高速媒体流在该多个摄像机进行媒体内容捕获的200毫秒内被生成并被传输到该控制中心，使得该用户界面被配置用于在生成该至少一个控制指令以控制该多个摄像机中的至少一个摄像机对媒体内容的捕获时，为该实况视频广播制作的制作者创建虚拟现实环境。

16.一种用于使在实况视频广播制作期间用于控制媒体内容捕获的延迟时间最小化的系统，该系统包括：

视频制作接收器，被配置用于从至少一个媒体内容始发装置接收至少一个媒体内容流，该至少一个媒体内容流包括以第一编码格式编码的实况媒体内容，该第一编码格式被配置成使从该至少一个媒体内容始发装置到该视频制作接收器的传输时间最小化；

多视图界面，被配置用于根据该第一编码格式显示该至少一个媒体内容流的所捕获媒体内容；

视频制作控制器，被配置用于基于对该多视图界面的至少一个输入生成至少一个控制指令，以改变该至少一个媒体内容始发装置捕获相应媒体内容的操作；以及

内容捕获控制器，被配置用于将所生成的至少一个控制指令传输到该至少一个媒体内容始发装置，以改变用于捕获该相应媒体内容的操作，

其中，该视频制作控制器进一步被配置用于使用由该至少一个媒体内容始发装置捕获的、并且以不同于该第一编码格式的第二编码格式编码的、并且被配置用于视频广播制作的媒体内容来控制实况视频流的制作。

17.根据权利要求16所述的系统，进一步包括：至少一个高速编码器，耦合到该至少一个媒体内容始发装置，并且被配置用于以该第一编码格式对所捕获实况媒体内容进行编码，所捕获实况媒体内容作为至少一个内容流被传输至该视频制作接收器。

18.根据权利要求17所述的系统，进一步包括：至少一个广播制作编码器，耦合到该至少一个媒体内容始发装置，并且被配置用于以不同于该第一格式且被配置用于视频广播制作的第二编码格式对所捕获实况媒体内容进行编码。

19.根据权利要求18所述的系统，进一步包括：视频制作设备，被配置用于从该至少一个广播制作编码器接收呈该第二编码格式的经编码和捕获的实况媒体内容，并基于从该视频制作控制器接收的用于控制该实况视频流的制作的至少一个至少一个视频制作指令来制作用于该视频广播制作的实况视频流。

20.根据权利要求16所述的系统，其中，以该第一编码格式编码的至少一个媒体内容流被配置成以比以该第二编码格式编码的媒体内容更高的数据传输速率传输。

21.根据权利要求18所述的系统，

其中，至少一个高速编码器在第一分辨率下以该第一编码格式对至少一个媒体内容流进行编码，并将该第一编码格式的至少一个媒体内容流作为数据包通过IP传输到该视频制作接收器，并且

其中，该至少一个广播制作编码器被配置用于在第二分辨率下以该第二编码格式对所捕获媒体内容进行编码，该第二分辨率高于该第一分辨率并且被配置用于在高清分辨率和超高清分辨率之一下进行视频广播制作。

22.根据权利要求21所述的系统，其中，该至少一个广播控制编码器进一步被配置用于在所捕获媒体内容中执行基于对象的分析以生成所捕获媒体内容的至少一个媒体内容流，使得该多视图界面基于所执行的基于对象的分析、以基于所捕获媒体内容中的所检测对象的空间取向和相对运动的至少一个化身来显示所捕获媒体内容。

23.根据权利要求19所述的系统，其中，该视频制作设备包括时间校准和处理部件且被配置用于通过将来自该视频制作控制器的实况广播制作命令应用于所接收的以该第二编码格式编码的媒体内容来制作用于该视频广播制作的实况视频流，使得所制作的实况视频流被配置用于在至少一个最终消费者装置上显示。

24.根据权利要求23所述的系统，其中，这些实况广播制作命令包括校准控制信号，使得该视频制作设备被配置用于在该视频广播制作期间使用这些校准控制信号中的时间戳在相应的经编码媒体内容流之间进行切换，以便制作用于视频广播制作的实况视频。

25.根据权利要求19所述的系统，其中，该视频制作设备位于以下地点之一：视频广播制作卡车上和云计算环境中。

26.根据权利要求16所述的系统，其中，该至少一个媒体内容流在该至少一个媒体内容始发装置捕获该媒体内容的200毫秒内被生成并被传输到该视频制作接收器，使得该多视图界面被配置用于在生成该至少一个控制指令以控制该至少一个媒体内容始发装置对该媒体内容的捕获时为该实况视频广播制作的制作者创建虚拟现实环境。