CN108280882B - 一种在虚拟显示空间植入ar前景物品位置的方法及系统 - Google Patents

Abstract

本发明公开了一种在虚拟显示空间植入AR前景物品位置的方法和系统，该方法包括以下步骤：在多个LED显示屏上显示三维虚拟显示画面，构成三维虚拟显示空间；在包括采集的三维虚拟显示空间图像的采集图像中植入AR前景物品形成整体三维显示画面；实时在所述三维虚拟显示空间中显示一个与所述AR前景物品对应的阴影位置。通过本发明的技术方案，能够帮助主持人在不使用返看屏(合成屏幕)的情况下直观可见的顺利的完成节目制作，使主持人与内容配合简单明了，节目播出效果更加自然。

Description

一种在虚拟显示空间植入AR前景物品位置的方法及系统

技术领域

本发明涉及数据显示技术领域，具体涉及一种在虚拟显示空间植入AR前景物品位置的方法及系统。

背景技术

随着融媒体概念的不断推出以及观众对节目审美能力的不断提升，视频信号已由传统的PAL制提升到了1080i/1080P。多种媒体平台的出现，使得观众对媒体行业的要求越来越高。媒体人除了坚守“内容为王”，在节目形式及技术创新方面也要有新的追求。

增强现实技术AR将摄像机信号和三维的虚拟场景同步渲染并合成在一起，将真实环境与虚拟物体叠加在同一画面或空间内，使得实景与电脑图形高度融合，并采用摄像机的传感器实时回传数据，进而实现实时跟踪技术，使植入的三维场景跟随摄像机拍摄同步变化，呈现出无缝衔接的完美画面。

由于在虚拟植入技术中，三维的虚拟场景是置于摄像机现场信号的前景层，无需应用到色键抠像技术，因此真正意义上摆脱了传统虚拟演播室技术必须基于蓝箱的限制。

虚拟植入系统主要是由跟踪系统、渲染工作站和图形创作系统三部分构成。虚拟植入系统有以下功能：

一是节目播出中，把与内容相关的视频及图片使用前景虚拟，将节目更直观地呈现在观众眼前，把新闻现场相关资料形象生动的带到演播中来。

二是配合主持人的解说配置相应的虚拟数据图表，以数据3D化、可视化的形式展现出来，帮助观众更加直观观看及理解，使节目内容一目了然。

三是更直观、逼真地模拟事件发生时的场景，有助于事件更加真实地呈现给观众。

四是在体育赛事上使用虚拟植入，可以对赛事的相关规则及事项作出更直观明了的模拟。

虚拟植入还可以用于做节目冠名、虚实穿越以及吉祥物动画等方面。通过虚拟前景的植入，节目的呈现方式将更加丰富、灵活多变，配以各种绚丽的效果，可以提升视觉冲击力，呼应栏目主题，使节目更具科技感和可看度。

现有前景植入技术，主持人在拍摄环境中无法直接看到植入物品，包括物品的实时位置、形状等，必须借助返看屏才能看到自己与植入物品的位置关系，然后调整自己的站位防止穿邦，而且反看信号存在延时，这样会造成表演拘束，直播效果差等影响。

发明内容

为解决上述技术问题，本发明提供了一种在虚拟显示空间植入AR前景物品位置的方法，该方法包括以下步骤：

1)在多个LED显示屏上显示三维虚拟显示画面，构成三维虚拟显示空间；

2)在包括采集的三维虚拟显示空间图像的采集图像中植入一AR前景物品形成一整体三维显示画面；

3)实时在所述三维虚拟显示空间中显示一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致。

根据本发明的方法，优选的，所述三维虚拟显示画面由三个LED显示屏显示的画面构成，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

根据本发明的方法，优选的，所述三维虚拟显示空间由虚拟渲染服务器渲染，所述AR前景物品与所述阴影位置分别由所述前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。

根据本发明的方法，优选的，所述前景植入服务器完全渲染和显示所述AR前景物品的相关内容，所述虚拟渲染服务器只渲染所述AR前景物品的阴影和投影部分。

根据本发明的方法，优选的，采集所述三维虚拟显示空间图像，并与所述AR前景物品进行三维缝合，构成完整的整体三维显示画面。

为解决上述技术问题，本发明提供了一种在虚拟显示空间中植入AR前景物品的系统，该系统包括：前景植入服务器、虚拟渲染服务器、摄像机以及多个LED显示屏；

所述前景植入服务器分别与所述虚拟渲染服务器、摄像机连接；

所述虚拟渲染服务器与所述多个LED显示屏连接，向所述多个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间；

所述摄像机采集图像数据，输出至所述AR前景服务器，其中，所述采集图像包括采集的三维虚拟显示空间图像；

所述AR前景服务器在采集图像中植入AR前景物品形成整体三维显示画面；

所述虚拟渲染服务器向所述多个LED显示屏输出一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致。

根据本发明的系统，优选的，所述虚拟渲染服务器向三个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

根据本发明的系统，优选的，所述AR前景物品与所述阴影位置分别由所述前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。

根据本发明的系统，优选的，还包括一监视器，所述AR前景渲染服务器与所述监视器连接，将整体三维显示画面输出至所述监视器显示。

为解决上述技术问题，本发明提供了一种在虚拟显示空间中植入AR前景物品的系统，该系统包括：前景植入服务器、虚拟渲染服务器、摄像机以及多个LED显示屏；所述前景植入服务器、虚拟渲染服务器分别具有计算机可读存储介质和计算机处理装置，所述计算机可读存储介质分别存储有计算机程序指令，通过所述前景植入服务器、虚拟渲染服务器的计算机处理装置分别执行存储的所述计算机程序指令实现权利要求1-5之一所述的方法。

通过结合虚拟空间与前景植入技术，将前景植入的物品实时在虚拟空间中形成一个与之对应的物品，并且保证其空间位置与前景植入物品空间位置的一致性，根据虚拟空间中与前景植入物品空间位置相对应的物品，把在虚拟空间中物品渲染成一个阴影，主持人可以根据前景植入物品的阴影图像进行站位调整，达到一种较好的直播效果。

附图说明

图1是本发明的系统架构图

图2是本发明的方法流程图

具体实施方式

<系统架构>

为了解决主持人在虚拟环境中无法观看到植入物品位置的问题，本发明把虚拟空间物品的投影和阴影显示在LED屏幕上面，由于两个软件使用的是同一个工程文件，前景植入物品与屏幕显阴影是精准对应的，这样主持人就可以根据阴影位置确认植入物品的位置，以保证主持人顺利播报。

如图1，本发明公开了本系统包括一台前景植入服务器、虚拟渲染服务器、一台摄像机、一台广电级监视器、LED屏幕以及建模软件。

前景植入服务器与虚拟渲染服务器，同时运行一个工程(同一工程中不同类型的文件)，工程文件中把前景植入物体使用统一后缀.FG，此类物体完全渲染和显示相关内容，虚拟渲染服务器使用.BG，此类物体只渲染阴影和投影部分，由于系统使用了LED屏幕作为显示介质，所以主持人可以实时看到虚拟物品和投影在屏幕上，而系统最终效果是拍摄图像输入到前景植入服务器叠加完效果后输出到广电级监视器显示。

本发明公开了一种在虚拟显示空间中植入AR前景物品的系统，该系统包括：前景植入服务器、虚拟渲染服务器、摄像机以及多个LED显示屏；

所述前景植入服务器分别与所述虚拟渲染服务器、摄像机连接；

所述虚拟渲染服务器与所述多个LED显示屏连接，向所述多个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间；

所述摄像机采集图像数据，输出至所述AR前景服务器，其中，所述采集图像包括采集的三维虚拟显示空间图像；

所述AR前景服务器在采集图像中植入AR前景物品形成整体三维显示画面；

所述虚拟渲染服务器向所述多个LED显示屏输出一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致。

所述虚拟渲染服务器向三个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

所述AR前景物品与所述阴影位置分别由所述前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。工程文件中把前景植入物体使用统一后缀.FG，此类物体完全渲染和显示相关内容，虚拟渲染服务器使用.BG，此类物体只渲染阴影和投影部分，由于系统使用了LED屏幕作为显示介质，所以主持人可以实时看到虚拟物品和投影在屏幕上，而系统最终效果是拍摄图像输入到前景植入服务器叠加完效果后输出到广电级监视器显示。

该系统还包括一监视器，所述AR前景渲染服务器与所述监视器连接，将整体三维显示画面输出至所述监视器显示。

<方法流程>

如图2，本发明公开了一种在虚拟显示空间植入AR前景物品位置的方法，该方法包括以下步骤：

1)在多个LED显示屏上显示三维虚拟显示画面，构成三维虚拟显示空间；

2)在包括采集的三维虚拟显示空间图像的采集图像中植入AR前景物品形成整体三维显示画面；

3)实时在所述三维虚拟显示空间中显示一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致。

所述三维虚拟显示画面由三个LED显示屏显示的画面构成，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

所述三维虚拟显示空间由虚拟渲染服务器渲染，所述AR前景物品与所述阴影位置分别由所述前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。

所述前景植入服务器完全渲染和显示所述AR前景物品的相关内容，所述虚拟渲染服务器只渲染所述AR前景物品的阴影和投影部分。

采集所述三维虚拟显示空间图像，并与所述AR前景物品进行三维缝合，构成完整的整体三维显示画面。

<具体实施例>

本方案使用了利亚德的LED显示屏，主屏尺寸为3*4米，地屏尺寸为4*4米；虚拟渲染服务器使用的是联想惠普(HP)图形工作站，前景植入服务器采用七维前景植入专用服务器，安装的操作系统为Windows操作系统或UNIX、Linux开源操作系统，或者其他适合的意操作系统。摄像机使用的是索尼的高清摄像机。虚拟渲染服务器把虚拟场景信号通过HDMI线与LED显示屏连接显示，虚拟渲染服务器与前景植入服务器通过网线连接实现同步工作，摄像机固定在距离屏幕4米的位置上，面向显示屏摆设，摄像机信号通过SDI信号线连接到前景植入服务器的视频采集卡，在软件内部叠加相关内容的最终效果输出到监视器进行观看。通过该发明，人物可以实时在虚拟环境中根据植入物品的位置及当时光影关系进行讲解，此时在LED屏幕上可以看到植入物品位置形成的阴影，主持人可以根据阴影位置确定植入物品位置，从而能够保证自己站立在正确的位置，使直播可以更加精准快速，简单不穿帮。

通过上述方法及系统，取得以下效果：

本发明解决了主持人在虚拟环境中使用前景植入物品时，无法直接确认虚拟物品形状、位置及各种状态的问题，能够帮助主持人在不使用返看屏(合成屏幕)的情况下直观可见的顺利的完成节目制作，使主持人与内容配合简单明了，节目播出效果更加自然。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式发送机或其他可编程数据发送终端设备的发送器以产生一个机器，使得通过计算机或其他可编程数据发送终端设备的发送器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据发送终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据发送终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的发送，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的方案，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种在虚拟显示空间植入AR前景物品位置的方法，其特征在于，该方法包括以下步骤：

1)在多个LED显示屏上显示三维虚拟显示画面，构成三维虚拟显示空间；

2)在包括采集的三维虚拟显示空间图像的采集图像中植入AR前景物品形成整体三维显示画面；

3)实时在所述三维虚拟显示空间中显示一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致；主持人根据阴影位置确定植入物品位置，从而保证自己站立在正确位置；

其中，所述三维虚拟显示空间由虚拟渲染服务器渲染，所述AR前景物品与所述阴影位置分别由前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。

2.根据权利要求1所述的方法，其特征在于，所述三维虚拟显示画面由三个LED显示屏显示的画面构成，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

3.根据权利要求1所述的方法，其特征在于，所述前景植入服务器完全渲染和显示所述AR前景物品的相关内容，所述虚拟渲染服务器只渲染所述AR前景物品的阴影和投影部分。

4.根据权利要求1所述的方法，其特征在于，采集所述三维虚拟显示空间图像，并与所述AR前景物品进行三维缝合，构成完整的整体三维显示画面。

5.一种在虚拟显示空间中植入AR前景物品的系统，其特征在于，该系统包括：前景植入服务器、虚拟渲染服务器、摄像机以及多个LED显示屏；

所述前景植入服务器分别与所述虚拟渲染服务器、摄像机连接；

所述虚拟渲染服务器与所述多个LED显示屏连接，向所述多个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间；

所述摄像机采集图像数据，输出至AR前景服务器，其中，所述采集图像包括采集的三维虚拟显示空间图像；

所述AR前景服务器在采集图像中植入AR前景物品形成整体三维显示画面；

所述虚拟渲染服务器向所述多个LED显示屏输出一个与所述AR前景物品对应的阴影位置，该阴影位置在所述三维虚拟显示空间中的相对位置与所述前景物品在整体三维显示画面中的位置一致；主持人根据阴影位置确定植入物品位置，从而保证自己站立在正确位置；

其中，所述三维虚拟显示空间由虚拟渲染服务器渲染，所述AR前景物品与所述阴影位置分别由前景植入服务器和所述虚拟渲染服务器根据同一工程文件渲染。

6.根据权利要求5所述的系统，其特征在于，所述虚拟渲染服务器向三个LED显示屏输出三维虚拟显示画面，构成三维虚拟显示空间，所述三个LED显示屏分别位于摄像机的正前方、左边和右边。

7.根据权利要求5所述的系统，其特征在于，该系统还包括一监视器，AR前景渲染服务器与所述监视器连接，将整体三维显示画面输出至所述监视器显示。

8.一种在虚拟显示空间中植入AR前景物品的系统，其特征在于，该系统包括：前景植入服务器、虚拟渲染服务器、摄像机以及多个LED显示屏；所述前景植入服务器、虚拟渲染服务器分别具有计算机可读存储介质和计算机处理装置，所述计算机可读存储介质分别存储有计算机程序指令，通过所述前景植入服务器、虚拟渲染服务器的计算机处理装置分别执行存储的所述计算机程序指令实现权利要求1-4之一所述的方法。

Images