CN111698390A - 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 - Google Patents

Abstract

本公开涉及计算机技术领域，提供了一虚拟演播厅中虚拟摄像机的控制方法及装置、虚拟演播厅的实现方法及虚拟演播厅系统、计算机可读存储介质和电子设备。其中，上述虚拟演播厅中虚拟摄像机的控制方法包括：获取虚拟摄像机在不同的预设演播环节的预设参数，其中，预设参数包括位置、姿态、焦距中的至少一项；根据各个预设参数生成对应的运镜控件；响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟摄像机。本方案基于生成的运镜控件，可以使虚拟摄像机拍摄不同预设演播环节对应的虚拟背景画面，从而使虚拟背景画面和实体摄像机拍摄的实际画面能够更好的进行融合，以提高演播画面的真实感。

Description

虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种虚拟演播厅中虚拟摄像机的控制方法、虚拟演播厅的实现方法、应用于虚拟演播厅的虚拟摄像机的控制装置、虚拟演播厅系统、计算机可读存储介质、以及电子设备。

背景技术

虚拟演播厅是近年来发展起来的一种独特的节目制作技术。相比于传统的实景搭建为主，并以实景机位进行拍摄的实景演播厅而言，虚拟演播厅的搭建成本较低，因此，其得到了广泛的应用。

相关的虚拟演播厅实现技术中，一般利用导播台及导控软件绿幕抠像技术进行前景抠像，然后将抠取的前景与目标二维背景图片进行合成，并输出最终的合成画面。

然而，绿幕抠像技术功能单一、稳定性较差，且二维背景图片缺乏立体感以及空间感，不能很好的和实际的三维场景进行融合，从而会降低演播画面的真实度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种虚拟演播厅中虚拟摄像机的控制方法及装置、虚拟演播厅的实现方法、虚拟演播厅系统、计算机可读存储介质及电子设备，进而至少在一定程度上提高虚拟演播厅的演播画面的真实感。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供了一种虚拟演播厅中虚拟摄像机的控制方法，包括：

获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所述预设参数包括位置、姿态、焦距中的至少一项；

根据各个所述预设参数生成对应的运镜控件；

响应于对任一运镜控件的触发操作，按照所述任一运镜控件对应的预设参数调整所述虚拟摄像机。

在本公开的一种示例性实施例中，基于前述方案，所述预设演播环节包括开场、远景、场间过渡、包装展示、结束中的一种或多种。

根据本公开的第二方面，提供了一种虚拟演播厅的实现方法，包括：

获取实体摄像机拍摄的实际场景画面，并从所述实际场景画面中抠取前景画面；

获取虚拟摄像机拍摄的虚拟场景画面，其中，所述虚拟场景画面为根据上述第一方面所述的虚拟摄像机的控制方法控制所述虚拟摄像机对虚拟演播厅模型进行拍摄而得到；

将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面。

在本公开的一种示例性实施例中，基于前述方案，所述方法还包括：

获取预设虚拟灯光，以使所述虚拟摄像机拍摄所述虚拟演播厅模型时，得到包含所述预设虚拟灯光的虚拟场景画面。

在本公开的一种示例性实施例中，基于前述方案，在获取预设虚拟灯光之前，所述方法还包括：

获取所述虚拟演播厅模型的初始的灯光配置文件；

获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数；

根据所述虚拟灯光配置参数配置所述灯光配置文件，以生成所述预设虚拟灯光。

在本公开的一种示例性实施例中，基于前述方案，所述虚拟演播厅模型，通过以下方式生成：

获取与实际场景对应的三维虚拟模型，并对所述三维虚拟模型进行材质绘制；

对所述三维虚拟模型进行UV展开，得到UV信息；

根据所述UV信息对所述三维虚拟模型进行烘焙；

将烘焙后的所述三维虚拟模型进行封装，以生成所述虚拟演播厅模型。

在本公开的一种示例性实施例中，基于前述方案，所述方法还包括：

获取图文包装信息，以根据所述图文包装信息对所述虚拟摄像机拍摄的所述虚拟场景画面进行视觉透视调整。

在本公开的一种示例性实施例中，基于前述方案，在将所述前景画面和所述虚拟场景画面进行合成之前，所述方法还包括：

对所述前景画面进行预处理；

其中，所述预处理包括以下任意一种或多种：颜色校准、边缘处理、阴影处理。

在本公开的一种示例性实施例中，基于前述方案，所述从所述实际场景画面中抠取前景画面，包括：

通过色度抠像对所述实际场景画面进行背景抠像，得到剩余的前景画面。

在本公开的一种示例性实施例中，基于前述方案，所述将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面，包括：

将具有相同时间戳的所述前景画面和所述虚拟场景画面进行合成，以生成由连续多帧目标画面形成的视频流。

根据本公开的第三方面，提供了一种虚拟摄像机的控制装置，应用于虚拟演播厅系统，包括：

预设参数获取模块，被配置为获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所述预设参数包括位置、姿态、焦距中的至少一项；

运镜控件生成模块，被配置为根据各个所述预设参数生成对应的运镜控件；

虚拟摄像机调整模块，被配置为响应于对任一运镜控件的触发操作，按照所述任一运镜控件对应的预设参数调整所述虚拟摄像机。

根据本公开的第四方面，提供了一种虚拟演播厅系统，包括：

前景画面获取模块，被配置为获取实体摄像机拍摄的实际场景画面，从所述实际场景画面中抠取前景画面；

虚拟场景画面获取模块，被配置为获取虚拟摄像机拍摄的虚拟场景画面，其中，所述虚拟场景画面为根据权利要求1或2所述的虚拟摄像机的控制方法控制所述虚拟摄像机对虚拟演播厅模型进行拍摄而得到；

目标画面生成模块，被配置为将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面。

根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的虚拟演播厅中虚拟摄像机的控制方法和/或如第二当面所述的虚拟演播厅的实现方法。

根据本公开实施例的第六方面，提供了一种电子设备，包括：处理器；以及，存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的虚拟演播厅中虚拟摄像机的控制方法和/或如第二当面所述的虚拟演播厅的实现方法。

由上述技术方案可知，本公开示例性实施例中的虚拟演播厅中虚拟摄像机的控制方法、虚拟演播厅中虚拟摄像机的控制装置，虚拟演播厅的实现方法、虚拟演播厅系统，以及实现所述方法的计算机可读存储介质及电子设备，至少具备以下优点和积极效果：

在本公开的一些实施例所提供的技术方案中，首先，获取虚拟摄像机在不同的预设演播环节的预设参数，其中，预设参数包括位置、姿态、焦距中的至少一项；然后，根据各个预设参数生成对应的运镜控件；最后，响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟演播厅中的虚拟摄像机。与相关技术相比，一方面，本公开的技术方案基于不同预设演播环节的预设参数可以生成对应的运镜控件，从而可以根据各个运镜控件使虚拟摄像机能够拍摄各个预设演播环节的虚拟画面，进而可以使虚拟摄像机的拍摄画面和实体摄像机的拍摄画面进行加逼真的融合，以提高虚拟演播厅生成的演播画面的真实感；另一方面，本公开可以基于生成的运镜控件，对虚拟演播厅中的虚拟摄像机进行运动控制，能够使得对虚拟演播厅中虚拟摄像机的操作控制更加灵活简单。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开一示例性实施例中虚拟演播厅中虚拟摄像机的控制方法的流程示意图；

图2示出本公开一示例性实施例中虚拟演播厅的实现方法的流程示意图；

图3示出本公开一示例性实施例中生成预设虚拟灯光的方法的流程示意图；

图4中(a)部分、(b)部分、(c)部分分别示出一示例性实施例中可以应用本公开的虚拟演播厅实现方法生成的3个节目的演播画面；

图5示出本公开一示例性实施例中应用于虚拟演播厅系统的虚拟摄像机的控制装置的结构示意图；

图6示出本公开一示例性实施例中虚拟演播厅系统的结构示意图；

图7示出本公开一示例性实施例中的应用架构示意图；

图8示出本公开示例性实施例中计算机可读存储介质的结构示意图；以及，

图9示出本公开示例性实施例中电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

目前，虚拟摄像机大多应用于游戏中，例如，在“荒野行动”游戏中，触控右侧界面，可以控制人物的朝向，即可以控制虚拟摄像机的转动，点击开镜控件开镜，可以控制虚拟摄像机的焦距。可见，在游戏中，虚拟摄像机通常是与用户的游戏视角相一致的，如用户控制游戏角色右转时，游戏系统实质上控制虚拟摄像机右转，以向用户呈现第一视角的游戏画面。而本示例性实施例中，虚拟摄像机是设置在虚拟演播厅中，用于拍摄虚拟演播厅中的虚拟场景画面，从而根据拍摄的需要使虚拟场景画面和实际场景画面进行融合，以呈现最终的演播画面。

以游戏竞赛直播节目为例，在游戏竞赛直播节目对应的虚拟演播厅中，实体摄像机可以用于拍摄游戏竞赛直播节目中的主持人，虚拟摄像机可以用于拍摄由计算机制作的与游戏竞赛直播相关的虚拟三维背景场景，例如，竞赛logo的三维虚拟模型等，然后，将虚拟摄像机拍摄的画面和实体摄像机拍摄的画面进行实时合成，以获得最终的播放画面。

一般而言，当人物等在演播厅中进行位置移动时，为了保持实体摄像机拍摄的人物等在虚拟背景中的位置关系不变，以保证合成画面的真实感，需要对虚拟摄像机进行控制，以使虚拟摄像机的拍摄画面和实体摄像机的拍摄画面能够更加逼真的进行融合。因此，虚拟演播厅中虚拟摄像机的控制是决定虚拟演播厅合成画面质量的关键技术。

在本公开的实施例中，首先提供了一种虚拟演播厅中虚拟摄像机的控制方法，图1示出本公开一示例性实施例中虚拟演播厅的控制方法的流程示意图。参考图1，该方法包括：

步骤S110，获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所预设参数包括位置、姿态、焦距中的至少一项；

步骤S120，根据各个预设参数生成对应的运镜控件；

步骤S130，响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟摄像机。

在图1所示实施例所提供的技术方案中，首先，获取虚拟摄像机在不同的预设演播环节的预设参数；然后，根据各个预设参数生成对应的运镜控件；最后，响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟演播厅中的虚拟摄像机。一方面，本公开的技术方案基于不同预设演播环节的预设参数可以生成对应的运镜控件，从而可以使虚拟摄像机能够拍摄各个预设演播环节的虚拟画面，进而可以使虚拟摄像机的拍摄画面和实体摄像机的拍摄画面进行更好的融合，以提高虚拟演播厅生成的演播画面的真实感；另一方面，本公开基于生成的运镜控件，可以对虚拟演播厅中的虚拟摄像机进行运动控制，使得对虚拟演播厅中虚拟摄像机的操作控制更加灵活简单。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

以下对图1所示实施例中各个步骤的具体实施方式进行详细阐述：

在步骤S110中，获取虚拟摄像机在不同的预设演播环节的预设参数。

其中，虚拟摄像机的个数可以根据实际的拍摄需要确定，其可以是单个，也可以是多个，可以和实体摄像机数量相等，也可以不相等。每个虚拟摄像机根据拍摄的需要可以对应单个预设参数，也可以对应多个预设参数。

在示例性的实施方式中，预设的演播环节包括开场、远景、场间过渡、包装展示、结束中的一种或多种。

一般而言，任何的直播或录播节目，在录制之前，都会有一个节目流程，可以根据该节目流程确定不同的预设演播环节，比如，开场环节、近远景切换环节、各种场间过渡环节、图文包装展示环节、节目结束环节等等。

示例性的，在获取虚拟摄像机在不同的预设演播环节的预设参数之前，可以在虚拟演播厅中创建虚拟摄像机，其中，虚拟摄像机的个数根据节目流程的需求确定，且每个虚拟摄像机可以根据对应的需求具有固定、摇臂、轨道、斯坦尼康等拍摄效果。

虚拟摄像机创建完成之后，进一步的，可以继续根据节目流程中的不同的预设演播环节，确定虚拟摄像机在不同的预设演播环节的预设参数。

举例而言，不同的预设演播环节对应的虚拟摄像机的机位和镜头的焦距不同，其可以对应不同的预设参数。其中，预设参数包括位置、姿态、焦距中的至少一项。具体的，位置可以是预设演播环节对应的虚拟摄像机的平移信息，姿态可以是预设的演播环节对应的虚拟摄像机的旋转信息。当然，预设参数也可以是和虚拟摄像机相关的其它任何内外参数，例如摄像机纵横比等。本示例性实施方式对此不做特殊限定。

以场间过渡环节为例，比如作为前景的主持人从演播厅的A位置移动到B位置，那么主持人所在的演播厅的虚拟背景也会发生变化，为了实现虚拟背景的变化，以及使得虚拟摄像机拍摄的虚拟背景的画面和实体摄像机拍摄的前景画面更好的融合，以提高画面的真实感，此时虚拟摄像机的位置、姿态、焦距也要发生对应的变化，可以根据该变化信息确定该预设环节的虚拟摄像机的预设参数。

获取虚拟摄像机在不同的预设演播环节的预设参数之后，在步骤S120中，根据各个预设参数生成对应的运镜控件。

示例性的，可以将上述各个预设演播环节的虚拟摄像机的预设参数设置为对应的运镜控件。例如，开场环节的预设参数对应运镜控件1，远景环节的预设参数对应运镜控件2等。其中，运镜控件可以包括运镜播控的虚拟开关、运镜播控的快捷键等。

虚拟摄像机的预设参数可以对应各个预设演播环节中虚拟摄像机的镜头运动信息。那么，根据各个预设参数生成的运镜控件也就对应的是虚拟摄像机在各个预设演播环节的镜头运动信息。

根据各个预设参数生成对应的运镜控件之后，在步骤S130中，响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟摄像机。

示例性的，如上所述，各个运镜控件可以对应虚拟摄像机在各个预设演播环节的镜头运动信息。那么，响应于对任一控件的触发操作，可以根据该运镜控件对应的预设参数调整虚拟摄像机的位置、姿态、焦距等信息，控制虚拟摄像机的镜头运动。

当运镜控件是上述的运镜播控的虚拟开关时，可以通过控制该虚拟开关的闭合(一般而言，开关闭合时起作用，开关打开时不起作用)来实现对虚拟场景中虚拟摄像机的运动控制。当运镜控件是上述的运镜播控的快捷键时，可以通过点击该快捷键实现对虚拟摄像机的运动控制，例如点击一下，控制虚拟摄像机按照该快捷键的运镜控件对应的预设参数运动，点击两下，退出控制等。

以近远景切换环节为例，一般而言，当从近景切换到远景时，摄像机的焦距需要变短，可以根据拍摄的需要，确定该远景场景对应的虚拟摄像机的焦距，然后，根据该焦距生成运镜控件3。

在录制过程中，可以保持实体摄像机的机位和焦距固定，当需要进行该远景镜头的切换时，可以触发运镜控件3使其闭合，从而控制虚拟摄像机按照运镜控件3对应的预设参数进行调整，以拍摄更远的背景画面，进而在视觉上呈现出一种远景的效果。

这样，可以在保持实体摄像机固定机位固定焦段拍摄的情况下，利用虚拟摄像机对实体摄像机拍摄的画面进行视觉调整，以实现远景镜头的切换，在实现虚拟演播厅镜头丰富性的同时，可以节省演播过程中人工控制实体摄像机带来的人工成本。

通过上述的步骤S110-步骤S120提供的虚拟演播厅中虚拟摄像机的控制方法，可以实现对虚拟演播厅中虚拟摄像机的运动控制。一方面，当使用实体摄像机多机位采集实际场景画面时，可以通过对虚拟摄像机的运动控制使得虚拟摄像机跟随实体摄像机的运动，以提升虚拟演播厅的演播画面的真实感，同时基于运镜控件的控制，使得对虚拟摄像机的操作控制更加灵活简单。另一方面，当使用实体摄像机单机位采集实际场景画面时，可以通过运镜控件对多个虚拟摄像机进行运动控制，以实现多机位运镜，从而得到需要的演播画面，而不必在实际中进行多机位拍摄，进而可以节省人工控制实体摄像机拍摄的人工成本。

需要说明的是，根据实际的拍摄需要，当上述的虚拟摄像机是多个时，不同虚拟摄像机对应的运镜控件之间可以同时作用，以相互配合，拍摄出需要的演播画面。

进一步的，本示例性实施例中还提供了一种可以应用本公开的虚拟演播厅的实现方法及虚拟演播厅系统的示例性应用架构，其中，虚拟演播厅的实现方法及虚拟演播厅系统中的虚拟场景画面为通过上述的虚拟摄像机控制方法，控制虚拟摄像机对虚拟演播厅模型进行拍摄得到的。

图2示出本公开一示例性实施例中虚拟演播厅的实现方法的流程示意图，其中，虚拟演播厅的实现方法中的虚拟场景画面为根据上述的虚拟摄像机的控制方法，控制虚拟摄像机对虚拟演播厅模型进行拍摄而得到。该虚拟演播厅的实现方法可以包括步骤S210-步骤S230：

在步骤S210中，获取实体摄像机拍摄的实际场景画面，并从实际场景画面中抠取前景画面。

在示例性的实施方式中，实际场景画面可以包括真实世界中的画面，例如，对真实的演播厅中真正存在的人和/或物体进行拍摄而得到的画面。

示例性的，实体摄像机在对实际场景进行画面拍摄时，可以采用固定机位以及固定焦段进行拍摄。

举例而言，可以只用一个实体摄像机对实际场景中的主持人进行固定机位以及固定焦段的拍摄，将拍摄的主持人画面作为演播画面的前景信息，而演播画面的其它背景信息以及场景的切换等都可以通过控制虚拟摄像机进行拍摄。这样，可以节省人工控制实体摄像机带来的人工成本。

当然，也可以采用多机位以及变焦段对实际场景画面进行拍摄，本示例性实施方式对此不做特殊限定。

获取实体摄像机拍摄的实际场景画面之后，可以从实际场景画面中抠取前景画面。

示例性的，从实际场景画面中抠取前景画面可以包括：通过色度抠像对实际场景画面进行背景抠像，得到剩余的前景画面。其中，前景画面可以是上述的实际场景中的主持人等。当然，前景画面也可以是实际场景中其它真实存在的物体，本示例性实施方式对此不做特殊限定。

在步骤S220中，获取虚拟摄像机拍摄的虚拟场景画面。

其中，虚拟场景画面可以包括根据上述的虚拟摄像机的控制方法，控制虚拟摄像机对虚拟演播厅模型进行拍摄而得到的画面。

示例性的，在对虚拟演播厅模型进行拍摄之前，可以先生成虚拟演播厅模型。其中，生成虚拟演播厅模型的具体实施方式可以是，获取与实际场景对应的三维虚拟模型，并对该三维虚拟模型进行材质绘制；对三维虚拟模型进行UV(U和V分别是二维空间的水平轴和垂直轴)展开，得到UV信息；根据该UV信息对三维虚拟模型进行烘焙；将烘焙后的三维虚拟模型进行封装，以生成虚拟演播厅模型。其中，与实际场景对应的三维虚拟模型可以包括演播场景中虚构的物体的三维模型。

举例而言，可以先根据节目流程规划演播厅布局，并使用三维设计软件，制作出虚拟演播厅的三维虚拟模型，图文包装模型等，其中，图文包装模型可以是需要在特定环节展示的虚构的物体的三维模型、虚拟场景画面的阴影等视觉效果图等。将制作的三维虚拟模型转换为预设的格式，例如，FBX(Kaydara FiLMBOX)文件格式，以便各类三维软件都可以识别该三维虚拟模型。然后，对该三维虚拟模型进行材质绘制，将材质绘制后的三维虚拟模型进行UV展开，将其拆展成为一个平面图片，并将该平面图片烘焙为贴图文件，其中，该贴图文件可以是JPG、PNG格式等。最后，将三维虚拟模型和材质贴图进行封装，以生成虚拟演播厅模型。

上述的烘焙贴图技术的使用，可以在保证虚拟演播厅模型的真实性的同时，提高画面播放的实时性。

示例性的，获取虚拟摄像机拍摄的虚拟场景画面还可以包括：获取图文包装信息，以根据该图文包装信息对虚拟场景画面进行视觉透视调整。其中，图文包装信息可以包括上述的虚拟场景画面的阴影、灯光、透视等视觉效果信息，其可以根据虚拟演播厅空间结构和虚拟摄像机画面的构图而确定。

可以通过网络采集技术，对图文包装信息进行采集，通过图文包装信息，可以实现对虚拟场景画面的视觉透视调整，从而可以根据实际需要呈现出更加逼真的演播画面，进一步提高演播画面的质量。

示例性的，获取虚拟摄像机拍摄的虚拟场景画面还可以包括：获取预设虚拟灯光，以使虚拟摄像机拍摄虚拟演播厅时，得到包含该预设虚拟灯光的虚拟场景画面。这样，可以增加演播画面的丰富性和多样性。

在获取预设虚拟灯光之前，可以先生成预设虚拟灯光，示例性的，参考图3，生成预设虚拟灯光的方法可以包括步骤S310-步骤S330。

在步骤S310中，获取虚拟演播厅模型的初始的灯光配置文件。

其中，初始的灯光配置文件可以包括初始的灯光布局文件，其中，该灯光布局文件可以包括灯光位置、灯具类型、灯具数量、灯光效果场景等信息。

在获取虚拟演播厅模型的初始的灯光配置文件之前，可以先确定初始的灯光配置文件。示例性的，可以先将上述的三维虚拟模型导入灯光模拟软件，然后根据预设的演播环节在灯光模拟软件中进行灯光设计以及灯光预演，从而确定初始的灯光配置文件。其中，初始的灯光配置文件的文件格式可以为DWG(DraWinG，一种文件扩展名)、DXF(DrawingInterchange File，图形交换文件)格式等。

在步骤S320中，获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数。

示例性的，在获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数之前，可以先确定该虚拟灯光配置参数。

具体的，可以根据上述的初始的灯光配置文件中的灯光配置信息，在真实的绿幕影棚中还原初始的灯光配置文件中的灯光信息，例如，还原上述的灯光位置信息等，然后，可以根据还原的灯光信息的真实效果调整灯光参数，例如布光角度、色温、亮度、光圈、运动轨迹、投射图案、阴影等参数，从而确定与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数。这样，可以使预设虚拟灯光参数和绿幕影棚中的灯光保持一致，进而提高演播画面的质量。

确定并获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数之后，在步骤S330中，根据虚拟灯光配置参数配置灯光配置文件，以生成预设虚拟灯光。

示例性的，上述步骤S330的具体实施方式可以是，将上述的初始的灯光配置文件导入到三维软件引擎中，然后根据上述的步骤S320中获取的虚拟灯光配置参数配置初始的灯光配置文件，以调整灯光参数，从而生成与真实场景灯光信息一致的预设虚拟灯光。

通过上述的步骤S310-步骤S330，可以生成预设虚拟灯光，并且该预设虚拟灯光符合真实场景的灯光效果，不仅可以提高演播画面的真实感，还可以增加演播画面的丰富性与多样性。

生成预设虚拟灯光之后，在控制虚拟摄像机对虚拟场景画面进行拍摄时，就可以获取到包含预设虚拟灯光的虚拟场景画面。

获取虚拟场景画面之后，在步骤S230中，将前景画面和虚拟场景画面进行合成，以生成目标画面。

示例性的，在对前景画面和虚拟场景画面进行合成之前，还可以包括：对上述的步骤S210中的前景画面进行预处理，然后将预处理后的前景画面和虚拟场景画面进行合成。其中，预处理包括颜色校准、边缘处理、阴影处理等中的至少一种。

举例而言，以前景画面是演播画面中的主持人为例，在通过色度抠像技术对实体摄像机拍摄的实际场景画面进行背景抠像处理之后，可以对剩余的前景画面进行颜色校准，人物边缘处理，灯光阴影处理，人脸美化，人物瘦身等预处理。其中，人物边缘处理，颜色校准、灯光阴影处理等预处理，可以提高演播画面的合成质量，而人脸美化、人物瘦身等预处理可以满足不同演播节目的个性化需求。

在对前景画面进行预处理之后，示例性的，上述的步骤S230的具体实施方式可以是，将具有相同时间戳的前景画面和虚拟场景画面进行合成，以生成由连续多帧目标画面形成的视频流。

其中，目标画面可以包括相同时间戳的前景画面和虚拟场景画面合成的演播画面，例如，图4的(a)部分、(b)部分、(c)部分所示的演播画面。图4的(a)部分、(b)部分、(c)部分中，演播画面中的前景画面可以是实体摄像机拍摄的主持人，除主持人之外的其他信息可以是通过虚拟摄像机拍摄的虚拟场景画面。

进一步的，可以通过信号转换器，将连续多帧画面形成的视频流转换成SDI(Serial Digital Interface，数字分量串行接口)信号输出到演播画面播出系统，例如导播台等。与此同时，可以将演播厅中的麦克风的音频信号输入到调音台，并针对虚拟演播厅输出画面的延迟，进行画面与音频的同步校准合成，最后，将校准好的合成信号，输出到流媒体发布主机中以进行演播画面的推流，从而实现虚拟演播厅对应的演播画面的播放。

通过上述的步骤S210-步骤S230，可以实现虚拟演播厅的画面拍摄与播放，通过对虚拟摄像机的控制，可以通过虚拟摄像机模拟现实场景的多机位拍摄效果，从而降低实拍摄像机的机位成本与人工成本，同时，可以使得虚拟摄像机跟随实体摄像机运动，以提高合成画面的真实感。进一步的，通过三维虚拟模型的制作，可以降低实景演播厅搭建的成本。通过生成的预设虚拟灯光，可以降低灯光搭建的成本，同时可以提高演播画面的丰富性和多样性。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，图5示出本公开示例性实施例中应用于虚拟演播厅系统的虚拟摄像机的控制装置的结构示意图。示例性的，参考图5，该虚拟摄像机的控制装置500可以包括预设参数获取模块510、运镜控件生成模块520、以及虚拟摄像机调整模块530。其中：

预设参数获取模块510，被配置为获取虚拟摄像机在不同的预设演播环节的预设参数，预设参数包括位置、姿态、焦距中的至少一项；

运镜控件生成模块520，被配置为根据各个预设参数生成对应的运镜控件；

虚拟摄像机调整模块530，被配置为响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟摄像机。

在本公开的一种示例性实施例中，基于前述实施方案，上述的预设演播环节包括开场、远景、场间过渡、包装展示、结束中的一种或多种。

图6示出本公开一示例性实施例中的虚拟演播厅系统。其中，虚拟演播厅系统中的虚拟场景画面为根据上述的虚拟摄像机的控制方法，控制虚拟摄像机对虚拟演播厅模型进行拍摄而得到。该虚拟演播厅系统600包括：前景画面获取模块610、虚拟场景画面获取模块620、目标画面生成模块630。其中：

前景画面获取模块610，被配置为获取实体摄像机拍摄的实际场景画面，从实际场景画面中抠取前景画面；

虚拟场景画面获取模块620，被配置为获取虚拟摄像机拍摄的虚拟场景画面，其中，虚拟场景画面为根据上述的虚拟摄像机的控制方法控制虚拟摄像机对虚拟演播厅模型进行拍摄而得到；

目标画面生成模块630，被配置为将前景画面和虚拟场景画面进行合成，以生成目标画面。

在本公开的一种示例性实施例中，基于前述实施方案，上述的前景画面获取模块610，还被具体配置为：

通过色度抠像对实际场景画面进行背景抠像，得到剩余的前景画面。

在本公开的一种示例性实施例中，基于前述实施方案，上述的虚拟场景画面获取模块620还包括预设虚拟灯光获取单元6201，该预设虚拟灯光获取单元6201被配置为：

获取预设虚拟灯光，以使虚拟摄像机拍摄虚拟演播厅模型时，得到包含预设虚拟灯光的虚拟场景画面。

在本公开的一种示例性实施例中，基于前述实施方案，上述的预设虚拟灯光获取单元还被具体配置为：

获取虚拟演播厅模型的初始的灯光配置文件；

获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数；

根据虚拟灯光配置参数配置灯光配置文件，以生成预设虚拟灯光。

在本公开的一种示例性实施例中，基于前述实施方案，上述的虚拟场景画面获取模块620还包括虚拟演播厅模型生成单元6202，该虚拟演播厅模型生成单元6202被配置为：

获取与实际场景对应的三维虚拟模型，并对三维虚拟模型进行材质绘制；

对三维虚拟模型进行UV展开，得到UV信息；

根据UV信息对所述三维虚拟模型进行烘焙；

将烘焙后的三维虚拟模型进行封装，以生成虚拟演播厅模型。

在本公开的一种示例性实施例中，基于前述实施方案，上述的虚拟场景画面获取模块620还包括图文包装信息获取单元6203，该图文包装信息获取单元6203被配置为：

获取图文包装信息，以根据图文包装信息对虚拟摄像机拍摄的虚拟场景画面进行视觉透视调整。

在本公开的一种示例性实施例中，基于前述实施方案，上述的目标画面生成模块630，还包括前景画面预处理单元，该单元被配置为：

对所述前景画面进行预处理；

其中，预处理包括以下任意一种或多种：颜色校准、边缘处理、阴影处理。

在本公开的一种示例性实施例中，基于前述实施方案，上述的目标画面生成模块630，还被具体配置为：

将具有相同时间戳的前景画面和虚拟场景画面进行合成，以生成由连续多帧目标画面形成的视频流。

上述虚拟摄像机的控制装置500和虚拟演播厅系统600中各单元的具体细节已经在对应的方法中进行了详细的描述，因此此处不再赘述。

进一步的，在本公开一示例性实施方式中，还提供了一种可以应用上述虚拟演播厅系统的应用架构，参考图7所示，该应用架构700可以包括虚拟演播厅系统600、调音台710、导播台720、以及流媒体发布主机730。

示例性的，上述的虚拟演播厅系统600生成目标画面之后，可以通过信号转换器，将目标画面转换成对应的SDI信号，并将该SDI信号发送到导播台720，该导播台可以是数字导播台。与此同时，将实际场景中的麦克风的音频信号发送到调音台710，调音台710可以根据虚拟演播厅系统600发送的目标画面的延迟情况，进行目标画面和音频信号同步校准，校准完成后，将校准后的音频信号发送给导播台720进行音频信号和目标画面对应的SDI信号的合成。最后，导播台720将合成后的目标画面和音频信号，发送到流媒体发布主机730中，以通过流媒体发布主机730进行节目的推流与播放。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机可读存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图8所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930以及显示单元940。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的：步骤S110，获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所预设参数包括位置、姿态、焦距中的至少一项；步骤S120，根据各个预设参数生成对应的运镜控件；步骤S130，响应于对任一运镜控件的触发操作，按照任一运镜控件对应的预设参数调整虚拟摄像机。

又如，所述处理单元910还可以执行如图2、图3中所示的各个步骤。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (14)

1.一种虚拟演播厅中虚拟摄像机的控制方法，其特征在于，包括：

获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所述预设参数包括位置、姿态、焦距中的至少一项；

根据各个所述预设参数生成对应的运镜控件；

响应于对任一运镜控件的触发操作，按照所述任一运镜控件对应的预设参数调整所述虚拟摄像机。

2.根据权利要求1所述的虚拟摄像机的控制方法，其特征在于，所述预设演播环节包括开场、远景、场间过渡、包装展示、结束中的一种或多种。

3.一种虚拟演播厅的实现方法，其特征在于，包括：

获取实体摄像机拍摄的实际场景画面，并从所述实际场景画面中抠取前景画面；

获取虚拟摄像机拍摄的虚拟场景画面，其中，所述虚拟场景画面为根据权利要求1或2所述的虚拟摄像机的控制方法控制所述虚拟摄像机对虚拟演播厅模型进行拍摄而得到；

将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面。

4.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，所述方法还包括：

获取预设虚拟灯光，以使所述虚拟摄像机拍摄所述虚拟演播厅模型时，得到包含所述预设虚拟灯光的虚拟场景画面。

5.根据权利要求4所述的虚拟演播厅的实现方法，其特征在于，在获取预设虚拟灯光之前，所述方法还包括：

获取所述虚拟演播厅模型的初始的灯光配置文件；

获取与各预设演播环节中实际场景的灯光信息相对应的虚拟灯光配置参数；

根据所述虚拟灯光配置参数配置所述灯光配置文件，以生成所述预设虚拟灯光。

6.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，所述虚拟演播厅模型，通过以下方式生成：

获取与实际场景对应的三维虚拟模型，并对所述三维虚拟模型进行材质绘制；

对所述三维虚拟模型进行UV展开，得到UV信息；

根据所述UV信息对所述三维虚拟模型进行烘焙；

将烘焙后的所述三维虚拟模型进行封装，以生成所述虚拟演播厅模型。

7.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，所述方法还包括：

获取图文包装信息，以根据所述图文包装信息对所述虚拟摄像机拍摄的所述虚拟场景画面进行视觉透视调整。

8.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，在将所述前景画面和所述虚拟场景画面进行合成之前，所述方法还包括：

对所述前景画面进行预处理；

其中，所述预处理包括以下任意一种或多种：颜色校准、边缘处理、阴影处理。

9.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，所述从所述实际场景画面中抠取前景画面，包括：

通过色度抠像对所述实际场景画面进行背景抠像，得到剩余的前景画面。

10.根据权利要求3所述的虚拟演播厅的实现方法，其特征在于，所述将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面，包括：

将具有相同时间戳的所述前景画面和所述虚拟场景画面进行合成，以生成由连续多帧目标画面形成的视频流。

11.一种虚拟摄像机的控制装置，其特征在于，应用于虚拟演播厅系统，包括：

预设参数获取模块，被配置为获取虚拟摄像机在不同的预设演播环节的预设参数，其中，所述预设参数包括位置、姿态、焦距中的至少一项；

运镜控件生成模块，被配置为根据各个所述预设参数生成对应的运镜控件；

虚拟摄像机调整模块，被配置为响应于对任一运镜控件的触发操作，按照所述任一运镜控件对应的预设参数调整所述虚拟摄像机。

12.一种虚拟演播厅系统，其特征在于，包括：

前景画面获取模块，被配置为获取实体摄像机拍摄的实际场景画面，从所述实际场景画面中抠取前景画面；

虚拟场景画面获取模块，被配置为获取虚拟摄像机拍摄的虚拟场景画面，其中，所述虚拟场景画面为根据权利要求1或2所述的虚拟摄像机的控制方法控制所述虚拟摄像机对虚拟演播厅模型进行拍摄而得到；

目标画面生成模块，被配置为将所述前景画面和所述虚拟场景画面进行合成，以生成目标画面。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1或2所述的虚拟摄像机的控制方法和/或如权利要求3至10中任一项所述虚拟演播厅的实现方法。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1或2所述的虚拟摄像机的控制方法和/或如权利要求3至10中任一项所述的虚拟演播厅的实现方法。

Images