CN108141547B - 将图像与另一图像数字化叠加 - Google Patents

Abstract

公开了一种用于将图像与另一图像数字化叠加的系统。存储装置用于存储真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面。相机参数接口用于接收相机参数。相机图像接口用于接收至少一个图像。定位器用于基于所述模型和所述相机参数来确定所述至少一个捕获图像内的所述叠加表面的位置。检测器用于基于所述遮蔽对象的图像特性和检测图像来检测遮蔽对象。叠加器用于将所述所选择的捕获图像中的所述叠加表面的未遮蔽的部分与所述叠加图像叠加以获得输出图像。

Description

将图像与另一图像数字化叠加

技术领域

本发明涉及捕获图像中的数字化叠加。

背景技术

标牌经常放置在公共场所，特别是高度可见场所，诸如机场、商场、火车站或体育场馆。标志包括固定板，诸如木板，其借助于印刷或涂漆等方式设有固定图像。显示技术的最新发展已导致引入设有诸如LED板的显示装置的活动板。在一个典型应用中，活动板或固定板可以沿着运动场的侧面延伸，以显示广告或其他公告。由活动屏幕显示的消息可以由摄影机捕获，并且广播或者记录有实际的体育赛事，使得可以实现消息具有很多观众。同时，在其上显示的标志和图像可以由位于赛事本身的位置处的观众观看。

关于固定板，WO 01/58147 A1公开了一种用于修改用摄影机拍摄的可见对象的方法。对象借助于设于对象区域或其附近的一个或多个标记表面来标记。WO 01/58147 A1公开了一种矩形广告，其中所有拐角都标记有参考对象，例如给定颜色的圆圈，借助于其可以准确地定义电视画面中对象的位置。标记表面可基于与被拍摄区域中的其他辐射不同的辐射来识别，至少一个所述标记表面基于除了可见光的颜色之外的特性在来自环境的辐射中不同。使用与摄影机的检测器分开的至少一个识别检测器来识别标记表面，并且借助于所述识别检测器利用摄影机实质上从相同的拍摄方向来拍摄对象。确定摄影机的图像坐标与识别检测器的图像坐标之间的关系，借助于检测到的标记表面确定电视图像中可见的对象的区域，针对对应于所述对象的区域的电视图像的视频信号以预定方式被修改，并且经修改的视频信号得以进行发送。

发明内容

具有改进标牌系统将是有利的，其中捕获图像可以设有数字化叠层。

根据本公开的一个方面，提供了一种用于将图像与另一图像进行数字化叠加的系统，所述系统包括：

存储装置，用于存储真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面；

相机参数接口，用于接收相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

相机接口，用于实质上同时接收用相应的所述至少一个相机捕获的至少一个图像；

定位器，用于基于所述模型和所述相机参数来确定所述至少一个捕获图像内的所述叠加表面的位置；

检测器，用于基于遮蔽对象的图像特性和作为所述至少一个捕获图像的图像的检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

叠加器，用于将所述所选择的捕获图像中的所述叠加表面的未遮蔽的部分与所述叠加图像叠加以获得输出图像；以及用于输出输出图像的输出接口。

通过真实世界空间的三维模型和相对于三维模型的坐标的相机校准，就不需要提供将要与标记叠加的对象的所有拐角。另外，在广告板上不需要应用标记表面。相反，基于遮蔽对象本身的图像特性来检测遮蔽对象。

根据本公开的另一个方面，提供了一种用于将图像与另一图像进行数字化叠加的方法，所述方法包括：

创建真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面；

识别相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

实质上同时用相应的所述至少一个相机来捕获至少一个图像；

基于所述模型和所述相机参数来定位所述至少一个捕获图像内的所述叠加表面；

基于遮蔽对象的图像特性和作为所述至少一个捕获图像的图像的检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

在所所选择的捕获图像中用所述叠加图像覆盖所述叠加表面的未遮蔽的部分。

根据本公开的另一方面，提供了一种计算机程序产品，其包括用于引起计算机执行以下步骤的指令

存储真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面；

接收相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

实质上同时接收用相应的所述至少一个相机捕获的至少一个图像；

基于所述模型和所述相机参数来确定所述至少一个捕获图像内的所述叠加表面的位置；

基于遮蔽对象的图像特性和作为所述至少一个捕获图像的图像的检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

在所述所选择的捕获图像中用所述叠加图像覆盖所述叠加表面的未遮蔽的部分以获得输出图像；以及输出输出图像。

本领域的技术人员将理解，上述特征可以任何被认为有用的方式进行组合。此外，关于所述系统所描述的修改和变化同样可以应用于所述方法和所述计算机程序产品，并且关于所述方法描述的修改和变化同样可以应用于所述系统和所述计算机程序产品。

附图说明

以下将参考附图借助于示例来说明本发明的各个方面。附图是图解的，并且可能不按比例绘制。

图1是用一个图像数字化叠加另一图像的系统的框图。

图2是将一个图像与另一图像进行数字化叠加的方法的流程图。

图3是体育馆和相机的示意图。

图4是将一个图像与另一图像进行数字化叠加的方法的另一流程图。

图5a是显示屏的频率响应的草图。

图5b是显示屏的频率响应和滤波器的频率响应的草图。

具体实施方式

在以下描述中，将更详细地描述多个示例性实施例。然而，这些实施例的描述不旨在限制保护范围。另外，以下将描述系统的特定部件的示例。然而，应注意，鉴于本公开，可以使用替代或修改的部件以类似的方式应用关于其描述的技术。另外，关于所述系统描述的特征可以同样应用于所述方法和计算机程序，并且关于所述方法描述的特征可以同样借助于所述系统和计算机程序来实现。

图1示出用一个图像数字化叠加另一图像的系统。系统的若干部件可以在单个数字化叠加装置1中实现。然而，这不是限制。由每个部件执行的部件和功能可以分布在多个装置上。

提供至少一个相机14、15以捕获图像。例如，已示出两台相机。捕获图像由相机接口3接收。此相机接口3可以包括例如像HDMI端口的一个或多个数据通信端口。此外，相机14、15中的每一个的相机参数由本领域本身已知的检测器检测，并且在本文件的其他地方进行描述。由相机参数接口2接收相机参数。这可以包括一个或多个其他数据通信端口，诸如USB接口。应理解，接口14、15可以组合在单个数据通信端口中，或者可以包括若干数据通信端口以分别接收用于不同相机的数据。所述系统包括存储器或存储装置4，其可以包括随机存取存储器和/或诸如闪存和/或磁盘的非易失性存储器。存储装置4包括用于真实世界空间5的模型的存储空间、一个或多个捕获图像6、叠加图像7以及其他数据。

所述系统包括定位器8、检测器9和叠加器10。这些部件可以例如借助于可以存储在例如存储装置4中的软件模块来实现。可替代地，这些模块可以借助于专用电子电路或例如FPGA来实现。所述系统可以包括控制系统部件的操作并且可以执行程序代码的控制器12。所述系统还包括输出接口11以输出结果图像。此输出接口可以包括通信接口，诸如HDMI接口或任何其他数字通信接口。应注意，本文提到的接口也可以例如借助于网络连接来实现。

图3示出具有板405、407的示例性真实世界场景(具体地，运动场或足球场402)。此外，示出相机400。

参考图1和图3，现实世界空间5的模型可以包括现实世界中的一个或多个对象的表示，其借助于形状模型或者借助于识别存在于真实世界中的某些标记的坐标。例如，可以在现实世界模型5中呈现运动场402的拐角406和/或可作为例如广告板(可以是活动屏幕)的一个或多个叠加表面405、407的位置、取向、形状和尺寸。

在操作中，相机400捕获一系列图像并将其传送到相机图像接口3，所述相机图像接口3接收它们并将它们(至少暂时地)存储在存储装置4中。相机400和/或与相机400配合的附加装置生成相机参数，诸如相机的X、Y和Z坐标以及取向参数和缩放参数，并且将它们发送到相机参数接口2，所述相机参数接口2可能通过存储装置4将接收的相机参数转发到定位器8。定位器8将叠加表面定位在捕获图像中。也就是说，当叠加表面407在相机400的视场401中时，叠加表面被捕获在捕获图像中，并且定位器基于叠加表面在真实世界模型5中的坐标以及相机参数来确定叠加表面在捕获图像中的位置。检测器9检测由相机400捕获的任何对象408是否遮蔽叠加表面407。因此可以采用图像分析技术。例如，视觉模型17可以包括可能出现在现实世界中的遮蔽对象的描述符。也就是说，尽管无法事先确定遮蔽对象的位置，但是可以预先确定任何潜在遮蔽对象的图像特性，并且可以将其表示存储在视觉模型17中。

例如，可以预先确定玩家和/或球和其他对象的形状、颜色和纹理特征并将其存储在视觉模型17中。叠加器10通过将定位器8和检测器9的输出进行组合来确定捕获图像中的叠加表面的未遮蔽的部分。叠加器10由叠加图像7代替叠加表面的未遮蔽的部分，所述叠加图像7可以预先存储在存储装置4中，或者可以可替代地通过另一个视频接口(未示出)来接收。

叠加器10输出具有叠层的图像并且将其转发到输出接口11。从那里，经处理的图像可以被发送到例如广播器13，或者可以被存储以供之后使用。

尽管系统的操作已经针对单个图像进行了解释，但是所述系统通常可以被配置来处理一系列图像，例如视频数据。此外，两个或更多个相机14、15的数据可以由相机参数接口2和相机图像接口3接收。从这些不同的相机接收的图像的参数数据和图像数据可以被组合以改进例如由检测器9进行的阻塞对象的检测。例如，可以使用从相机15接收到的图像之一(称为检测图像)来检测遮蔽对象，并且可以使用从相机14接收到的另一图像(称为选择图像)来覆盖所述叠加物表面，而不叠加在来自相机15的图像中检测到的遮蔽对象。

遮蔽对象的图像特性涉及像素邻域的描述符，其中所述描述符包括空间频率，并且其中所述检测器被配置来将检测图像的像素的描述符与遮蔽对象的描述符进行比较。

除了潜在遮蔽对象的模型之外，视觉模型17还可包括背景的视觉模型。背景模型是将在检测图像中出现的背景的模型。背景的模型可以包括背景的纹理特征的模型。如本公开中别处所讨论的，检测图像可以是例如彩色视频图像或红外图像。检测器9可以被配置来进一步基于背景的模型来检测遮蔽对象。例如，新接收到的检测图像中的图像特征与存储在背景模型中的图像特征进行比较。

背景模型可以根据当前接收图像中的背景来更新。为此，所述系统可以包括模型更新器16，以用于基于检测图像来更新背景的模型。模型更新器16可以被配置来基于检测图像来调整像素周围的纹理的特征的模型。这在本公开中的其他地方进一步描述。

检测器9可以被配置来通过检测当前检测图像与先前捕获的检测图像相比的变化来检测遮蔽对象。所述变化显示出移动对象；遮蔽对象经常是相对于背景的移动对象。图像序列中的移动对象的检测本身在本领域中是已知的。

检测图像可以与所所选择的捕获图像不同，并且相机接口3可以被配置来从不同的相机14、15接收检测图像和所选择的捕获图像。类似地，相机参数接口2可以被配置来接收两个不同的相机14、15的相机参数。

用于捕获检测图像的相机15和用于捕获所所选择的捕获图像的相机14可以彼此以一定距离来安装，使得所所选择的捕获图像和检测图像形成一对立体图像，并且其中遮蔽对象的图像性质涉及两个立体图像之间的差别。按照定义，背景和任何遮蔽对象具有与相机不同的距离，并且因此一对立体图像中的差别将不同。通过分析差别的不同，检测器9可以将背景/叠加表面与遮蔽对象区分开。

用于捕获检测图像的相机15可以被配置来检测除可见光以外的辐射，例如近红外光、红外光或紫外光。

用于捕获检测图像的相机15和用于捕获所所选择的捕获图像的相机14可以被配置来通过同一个物镜或两个不同的物镜来接收辐射。在使用同一个物镜的情况下，可以使用分束器将光引导至相机14和15。

模型中的叠加表面407可以对应于现实世界中的显示装置。这允许将由显示装置显示的图像与例如电视广播中的另一图像叠加。

显示装置可以被配置来在真实世界中的显示装置上显示移动图像，其中叠加器10被配置来将移动图像与所所选择的捕获图像中的叠加图像叠加。这允许用一个移动图像或静态图像替换另一个移动图像。可替代地，显示装置可以被配置来在现实世界中的显示装置上显示静态图像，并且其中叠加器被配置来将静态图像与叠加图像叠加在所所选择的捕获图像中。取决于所使用的检测技术，对于检测器9来说，由显示装置显示什么可见图像或者是否是移动图像并不重要。如果检测器9使用诸如近红外图像的不可见光的检测图像，那么显示图像不会显著地影响检测图像。

显示装置被配置来发射一个或多个预定频率范围内的辐射。例如，LED显示器可以具有窄的频率带宽的红色、绿色和蓝色LED。这些不同的频率带宽之间可能具有间隙。用于捕获检测图像的相机15可以被配置来检测所有一个或多个预定频率范围之外的辐射，并且将在所有一个或多个预定频率范围之外的检测辐射与在所述一个或多个预定频率范围之内的辐射区分开。例如，可以检测低于红色LED频率范围的频率，或者高于蓝色LED频率范围的频率，或者在红色LED频率范围与绿色LED频率范围之间的频率，或者在绿色LED频率范围与蓝色的LED频率范围之间的频率。在本文，LED可以用显示器的任何发光像素(或反光像素)代替。此外，检测图像中的检测频率可以在可见光范围内或者在可见光范围外。可以使用过滤器来过滤光以选择性地仅将一个或多个上述频率的光引导到捕获检测图像的相机15。

由于板本身不需要将叠加表面定位在所选择图像或检测图像中，也不需要检测遮蔽对象，所以还可能在现实世界空间的模型5中定义一个或多个叠加表面，所述一个或多个叠加表面不作为现实世界中的任何物理表面而存在。这种叠加表面可以称为虚拟表面。

如已经提到的，叠加表面可以在模型中通过至少真实世界空间中的叠加表面的形状、位置和取向的指示来表示。

图4示出用于叠加图像的方法。所述方法包括以下步骤：存储500现实世界空间的模型，其中所述模型包括将要与叠加图像叠加的叠加表面；接收501相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；实质上同时接收502用相应的所述至少一个相机捕获的至少一个图像；基于所述模型和所述相机参数来确定503所述至少一个捕获图像内的所述叠加表面的位置；基于遮蔽对象的图像特性和作为所述至少一个捕获图像的图像的检测图像来检测504所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；在所述所选择的捕获图像中用所述叠加图像叠加505所述叠加表面的未遮蔽的部分以获得输出图像；以及输出506所述输出图像。所述方法可以作为包括用于使计算机执行所阐述的步骤的指令的计算机程序产品在软件中实现。所述计算机程序可以存储在非有形介质中。

以下将提供系统和方法的一些更具体的示例。然而，应当指出的是，这些示例有助于更好地理解本公开，而不是限制保护范围。

使用现实世界模型

在数字化叠加应用中，使用代表真实世界的数学模型。这个数学模型可以借助于3D世界中的点的集合以及它们之间的相互关系来构建。多个连接的3D点可以描述3D世界中的表面。数字化叠加应用程序利用这些3D模型来描述真实世界。然而本文件用来解释如何可以使用这种技术，一个运行示例将是在足球赛事的背景下。在典型的高水平足球赛事中，例如在LED屏幕上存在向观众提供的球场边的广告。在具体实现方式中，只有现实世界中的这些LED屏幕将由数字化叠加应用所替代。3D模型尽可能对应于现实世界模型是重要的。例如，各个屏幕的位置可以借助于X、Y和Z的激光测量装置来测量。在测量之前选择原点是重要的。在足球赛事的情况下，四个拐角之一是不错的选择。除了对板进行手动测量之外，还可借助于LED屏幕来计算板的实际位置，借助于在屏幕上投影一系列二进制图案并且在校准的相机或者一组水平移动校准相机中识别这些改变。

为了定义数学模型与现实世界之间的映射，需要摄像头。所述映射是从现实世界到相机空间并返回到现实世界而形成。相机具有数学上描述相机的状态的若干参数。这些参数包括：位置、观看方向、图像大小和若干镜头参数。它们可以分为两组：固有参数和外部参数，其中外部参数描述相机的位置和旋转，并且外部参数描述非线性镜头和传感器属性。可以测量外部参数，例如：可以用激光测量工具测量位置，并且可以用在相机的三脚架中建立的传感器来测量旋转，所述三脚架记录相机在两个轴上的旋转。然而，固有参数需要根据所使用的物镜来建模。可以使用不同的方法来构建对所使用的镜头系统的固有参数进行仿真的启发式模型。一些镜头允许读出一些固有参数，如：变焦、对焦和光圈。这些参数也可以利用基于图像的镜头校准技术例如使用众所周知的棋盘图案来确定。固有参数与非线性镜头畸变有关，通常称为桶形或枕形畸变。这种畸变使得投影图像中的直线不是直的，并且通过鱼眼镜头而闻名。当镜头改变位置时，可以针对每个固有参数集在其改变时建立失真模型。失真可以由失真所在的曲率和撞击中心来定义。当使用具有旋转镜头的镜头系统时，此撞击中心也可以随着镜头旋转而旋转。对于移动相机和不同的镜头设置，可以计算不同的固有和外部参数。足球赛事的示例尤其如此，其中典型的相机移动通过改变相机的取向(外部的)以及变焦、对焦和光圈移动(固有的)来定义。

一旦已知固有和外部参数，就可以根据现有技术方法的状态来建立校准矩阵，例如在以下文献中描述的：例如Richard Hartley和Andrew Zisserman的书籍“MultipleView Geometry in Computer Vision”。通过使用校准矩阵，可以在公共空间(相机空间)中进行计算。利用投影操作，数学建模的世界被映射到与真实相机相同的相机空间。这意味着数学建模的世界的数学建模项目将与现实世界特征完全匹配。当应用到足球赛事示例中：数学建模的广告板将完美映射到现实世界的广告板上，数学建模的节线将完美地映射到现实世界的节线上。可以使用强大突出的现实世界特征来控制映射的质量。例如：节线、体育场建筑等等。

遮蔽对象的检测：立体图像。

由于现实世界的数学模型是已知的或者至少部分地已知，此信息也可以用于识别遮蔽对象。数学模型描述了现实世界的已知形状。如果可以实时计算真实世界的真实形状，那么可以实现算法来将预期的3D数学模型与计算的数学模型进行匹配。如果两个数学模型有很大的差别，那么在已知的数学模型前方就存在遮蔽对象。由于此位置在数学3D模型中是已知的，因此可以将其重新投影到相机空间中的现实世界，并且匹配到相机图像中的单个像素。实时深度图用于此算法。这可以利用使用快速平面扫描方法或差别匹配算法的一对校准立体相机来计算。匹配两个数学模型的算法将两个数学模型作为输入，并将它们栅格化为单独的深度图。通常，栅格元素的大小将与像素大小的数量级相同。一旦计算出这些深度图，就可以进行每个栅格元素的比较，使用阈值操作来标记足够大的差异。这些结果按每个栅格元素存储在中间数据对象中，可以很容易地将其转换为图像。这个图像可以进一步细化，以滤除错误的响应，例如用中值滤波器或者用一些形态学操作，以便打开或关闭形状。由于中间图像的每个像素与深度图的栅格元素对应，所以所述图像可以被重新投影到相机空间并且将其用作遮蔽对象遮罩。

使用活动板检测遮蔽对象。

在很多高价值的体育赛事(如足球)中，通常不希望使用静态或木制的广告板，而是希望使用动态的活动板，其可以随时间显示多个广告以增加广告收入。这些板，通常是LED板，能够显示静态图像以及移动视频。它们甚至可以显示真人大小的足球运动员的视频。LED板通过混合至少三种独立的颜色来生成它们的颜色。因此，LED板的每个像素可以由至少三个独立的LED构成。它们可以在表面安装器件(SMD)中聚集在一起。像素的每个LED可以具有独特的颜色，例如在大多数已知的配置中，它将是红色、绿色和蓝色。这些称为基色。通过混合这些基色，这些板可以产生可以产生任何其他颜色的视觉感觉。可以选择LED，其方式使得相应基色的单独频率响应非常窄，并且实际上没有溢出到光谱中的相邻或非相邻区域。LED板将具有类似于图5a所示的频率响应的频率响应。由LED板发出的光具有三个独立的频带，可见为红色频率范围峰值601、绿色频率范围峰值602、蓝色频率范围峰值603。如果用配备有特殊光谱滤波器的相机捕获LED板，例如只允许较小控制频谱的光的带通滤波器，那么可以选择这个光谱带通滤波器，使得其落在可见光中的LED板的光谱响应之间。这在图5b中示出。滤波器可以在红色频带与绿色频带之间具有频率响应604，或者在绿色频带与蓝色频带之间具有频率响应605。由此设置捕获图像将不会受到LED屏幕上显示的任何变化的影响，因此由于屏幕的性质，LED屏幕将具有均匀的单调分布，就好像它不在捕获的检测图像上活动一样。由于遮蔽对象通常是真实世界的对象，并且具有非常复杂的频率响应曲线，所以它们在捕获的检测图像中仍然可见。静态背景与移动前景之间的变化可以馈送到一个算法中，以基于遮蔽对象和/或背景模型的特性来计算遮蔽对象。

人们可以容易地扩展这种方法，并且在非可见光范围内应用特殊光谱带通滤波器。同样在这种情况下，所捕获图像将不显示在活动屏幕上回放的视频的任何迹象。

使用空间频率差异检测遮蔽对象。

假设可以如下：如果真实世界的数学模型是已知的，并且至少一个相机被校准，那么可以使用组合信息来识别由数字化叠加应用需要替换的表面的位置。如前面章节所述，此表面(活动或不活动，在现实世界中可用或者不可用)可以由传感器捕获，其方式使得表面上的纹理在其移动时在捕获图像中看起来是静态的，或者当由人眼观察时是静态内容。

在此章节中，描述了三种算法，其可以用来基于遮蔽对象的图像特性来检测遮蔽对象。

算法1：基于局部区域空间差异描述符的遮蔽对象检测。描述符是包含描述局部邻域的信息的多维矢量。描述符可以包括边缘、拐角、一阶梯度、形状、颜色、纹理、运动信息等等。描述符的良好选择是能够描述局部纹理信息和区域均匀性的尺度和旋转不变描述符。这些描述符的典型示例是：存在均匀纹理描述符、边缘直方图描述符、SIFT/SURF描述符、基于区域的描述符、时空定位符描述符等等。通常为检测图像的输入图像中的每个像素计算描述符。通过此计算，可以为每个像素计算包含像素周围的局部纹理信息的描述符的每个像素背景模型。此背景模型代表了过去，并且因此(基于本章节开头的假设)也是期望值。接下来，针对每个随后的输入检测图像以及此图像的每个像素，再次计算局部纹理描述符。将此局部纹理描述符与背景模型的对应描述符进行比较。基于这个比较，计算此像素属于背景的可能性。模型中的相应像素基于同一似然函数来更新。如果有的话，如果像素属于背景的可能性较高，那么背景模型被快速更新以考虑到改变的背景，如果不是，那么背景模型被缓慢更新。

在最后的步骤中，似然函数可以与过去的时间信息结合。过去的时间信息可以呈先前的检测输入图像的存储器保存的似然函数响应的形式。如果像素属于遮蔽对象，那么过去的时间信息的组合给出最终决定的更多信息，所述信息可以用于生成遮蔽图像。

算法2：基于空间频率的遮蔽对象检测。可以使用FFT函数或者通过分析像素周围的小区域并将多频带卷积滤波器应用于所述区域来计算空间频率。多频带卷积滤波器可以通过对空间频率进行选择性的采样来构建。例如，如果仅使用相邻像素，那么其表示最高可能的空间频率。如果使用一定距离处的像素，例如五个像素，那么其表示较低频率。将具有不同卷积大小的多个卷积滤波器组合会产生多频带卷积滤波器。例如，多频带卷积滤波器可以由简单的拉普拉斯滤波器构成，以用于最高频率，并且每个较低空间频带具有增加的采样区域。

背景可以具有一些已知的每个像素静态空间频率分布。这可以用多频带卷积滤波器来计算。此滤波器将给予每个单独频带响应。另一方面，遮蔽对象不具有每个像素静态空间频率。遮蔽对象通常由高空间频率识别。遮蔽对象可以移动，并且它们包含许多边缘和拐角。边缘和拐角可以视为高空间频率。因此，高频变化大的区域被标记为遮蔽对象的可能性较高。

算法3：基于高斯混合的遮蔽对象检测。对于每个像素和每个颜色通道，基于高斯混合算法创建背景模型。比较新近捕获的检测图像的像素与模型的对应像素的差异生成表示像素属于背景模型的可能性的函数。基于统计分析，模型可以用像素的新信息来更新。以这种方式，模型可以学习到新的情况。

所有上述算法的结果可以用一些降噪滤波器(如中值滤波器或低通滤波器)来改进。输出掩模可以借助于形态学操作(如侵蚀和扩张)以及专门用于图像抽取的非形态学操作来改进，以便产生高质量的结果。这些技术的示例是图形切割、抓取切割、三级阿尔法图像抽取，其中这些单独的算法的输入可以包括似然函数和真实的相机图像。

系统设置。

在足球赛事期间，数字化叠加应用通常与主广播方的设备结合使用。主广播方负责图像质量、设备设置和输出流。因此，数字化叠加应用可以限制与主广播方的设置的工作流程的干扰的方式来实现。

可以选择使用放置在广播器的镜头与相机之间的分束器。分束器可能附接独立的传感器。此传感器将捕获与广播器的图像传感器大致相同的信息。然而，这种传感器可以完全由应用程序控制，而不必干扰广播器的传感器的图像和质量设置。除了使用分束器来捕获与广播相机相同的透视图像之外，还可选择一个校准的静态相机，其具有高分辨率传感器和覆盖广播相机的整个范围的鱼眼镜头或者覆盖广播相机的整个范围的一组校准的相机。由于所有相机都经过校准，因此可以容易地将图像从一个校准的相机转换成代表相机空间的广播器校准的相机。

基于所选择的方法，通过分束器或自身光学器件的额外传感器中的入射光可以是来自可见光或不可见光的特定光谱。例如，如上所述，它可以是可见光中的特殊光谱带通滤波器。

参考图2，在以下条款中描述了本公开的一些方面。

条款1.一种用于将图像与另一图像数字化叠加的方法，所述方法包括：

创建200真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面；

识别201相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

实质上同时用相应的所述至少一个相机来捕获202至少一个图像；

基于所述模型和所述相机参数来定位203所述至少一个捕获图像内的所述叠加表面；

基于遮蔽对象的图像特性和作为所述至少一个捕获图像的图像的检测图像来检测204所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

在所述所选择的捕获图像中用所述叠加图像叠加205所述叠加表面的未遮蔽的部分。

可选地，在叠加所述选择的捕获图像之后，可以将其输出206。

条款2.如条款1所述的方法，其中所述遮蔽对象的所述图像特性与背景的空间频率相比与所述遮蔽对象的空间频率有关。

条款3.如条款1所述的方法，其还包括

基于所述检测图像更新背景的模型；

其中所述遮蔽对象的所述检测进一步基于所述背景的所述模型。

条款4.如条款3所述的方法，其中所述背景的所述模型包括所述检测图像的背景部分中的像素周围的纹理的特征；

并且其中所述更新所述背景的所述模型包括基于所述检测图像调整所述像素周围的所述纹理的所述特征。

条款5.如条款1所述的方法，其还包括通过检测当前检测图像与先前捕获的检测图像相比的变化来检测所述遮蔽对象。

条款6.如条款1所述的方法，其中所述检测图像不同于所述所选择的捕获图像，并且用于捕获所述检测图像的所述相机和用于捕获所述所选择的捕获图像的所述相机彼此以一定距离来安装，使得所述所选择的捕获图像和所述检测图像形成一对立体图像，并且所述遮蔽对象的所述图像性质涉及所述两个立体图像之间的差别。

条款7.如条款1所述的方法，其中所述模型中的所述叠加表面代表所述现实世界中的显示装置。

条款8.如条款7所述的方法，其包括在所述真实世界中的所述显示装置上显示移动图像，并且将所述移动图像与所述所选择的捕获图像中的所述叠加图像叠加。

条款9.如条款7所述的方法，其包括在所述真实世界中的所述显示装置上显示静态图像，并且将所述静态图像与所述所选择的捕获图像中的所述叠加图像叠加。

条款10.如条款7所述的方法，其中所述显示装置以一个或多个预定频率范围发射辐射，并且用于捕获所述检测图像的所述相机检测所有所述一个或多个预定频率范围之外的辐射，并且将在所有所述一个或多个预定频率范围之外的所述检测辐射与在所述一个或多个预定频率范围之内的辐射区分开。

条款11.如条款10所述的方法，其中用于捕获所述检测图像的所述相机检测所有所述一个或多个预定频率范围之外的可见光，并且将在所有所述一个或多个预定频率范围之外的所述检测可见光与在所述一个或多个预定频率范围之内的可见光区分开。

条款12.如条款1所述的方法，其中所述叠加表面表示在所述现实世界中不存在的虚拟表面。

条款13.如条款1所述的方法，其中所述检测图像不同于所述所选择的捕获图像。

条款14.如条款1所述的方法，其中所述捕获至少一个图像的步骤包括利用被配置来检测除可见光以外的辐射的相机来捕获所述检测图像。

条款15.如条款1所述的方法，其中用于捕获所述检测图像的所述相机和用于捕获所述所选择的捕获图像的所述相机被配置来通过同一个物镜或两个不同的物镜来接收辐射。

条款16.如条款1所述的方法，其中所述叠加表面在所述模型中通过至少所述真实世界空间中的所述叠加表面的形状、位置和取向的指示来表示。

需注意，本文公开的技术可以应用于一个或多个相机。例如，可以使用多个相机来报导体育赛事并产生体育广播。本文阐述的方法和系统可以应用于每个相机。例如，叠加被应用于当前广播的捕获的相机图像。

数字叠加例如可以用于以下应用：标志语言的变化、广告的产品或产品模型的变化、诸如颜色、字体、字母大小、动画等外观的变化、不同赞助商的广告、静止内容、动画内容、与相机移动交互的动画。在后一种情况下，可以根据相机参数生成叠加图像。

所述系统可以分布在不同的位置。例如，一个或多个相机可以位于第一地点，并且用于数字化叠加图像的系统可以位于不同的位置。在这种情况下，相机参数以及包括所选择的捕获图像和检测图像的相机图像被从相机所在的位置发送到用于数字化叠加图像的系统所在的位置。例如，后者可以由国家广播组织定位和/或操作，使得每个广播组织可以将他们自己的叠加添加到广播视频。此外，叠加可以是个性化的，使得不同的订户/观看者接收不同的叠加。

本发明的一些或全部方面可适用于以软件、特别是计算机程序产品的形式来实现。这种计算机程序产品可以包括诸如存储器的存储介质，软件存储在所述存储介质上。另外，计算机程序可以通过由诸如光纤电缆或空气的传输介质携带的诸如光信号或电磁信号的信号来表示。计算机程序可以部分或全部具有适用于由计算机系统执行的源代码、目标代码或伪代码的形式。例如，代码可以由一个或多个处理器执行。

本文描述的示例和实施例用于说明而不是限制本发明。本领域的技术人员将能够设计替代实施例而不背离权利要求的范围。放置在权利要求中的括号内的附图标记不应被解释为限制权利要求的范围。在权利要求书或说明书中描述为单独实体的项目可以被实现为组合所描述的项目的特征的单个硬件或软件项目。

Claims (15)

1.一种用于将图像与另一图像数字化叠加的系统，所述系统包括：

存储装置，用于存储真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面，其中所述模型中的所述叠加表面代表所述真实世界中的显示装置，其中所述显示装置被配置以通过发射一个或多个预定频率范围中的辐射，在所述真实世界中的所述显示装置上显示移动图像；

相机参数接口，用于接收相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

相机图像接口，用于实质上同时接收用相应的所述至少一个相机捕获的至少一个图像，所述至少一个捕获图像包括检测图像，其中用于捕获所述检测图像的所述相机被配置以检测具有所有所述一个或多个预定频率范围之外的频率的辐射，并且将在所有所述一个或多个预定频率范围之外的所述检测辐射与在所述一个或多个预定频率范围之内的辐射区分开；

定位器，用于基于所述模型和所述相机参数来确定所述至少一个捕获图像内的所述叠加表面的位置；

检测器，用于基于遮蔽对象的图像特性和所述检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

叠加器，用于将所述所选择的捕获图像中的所述叠加表面的未遮蔽的部分与所述叠加图像叠加以获得输出图像，其中所述叠加器被配置以将在所述真实世界中的所述显示装置上显示的所述移动图像与所述所选择的捕获图像中的所述叠加图像叠加；以及

输出接口，用于输出所述输出图像。

2.如权利要求1所述的系统，其中所述遮蔽对象的所述图像特性涉及像素邻域的描述符，其中所述描述符包括空间频率，并且其中所述检测器被配置来将所述检测图像的像素的描述符与所述遮蔽对象的所述描述符进行比较。

3.如权利要求1所述的系统，其还包括模型更新器，用于基于所述检测图像来更新背景的模型；

其中所述检测器被配置来进一步基于所述背景的所述模型来检测所述遮蔽对象。

4.如权利要求3所述的系统，其中所述背景的所述模型包括所述背景的纹理特征的模型；

并且其中所述模型更新器被配置来基于所述检测图像来调整像素周围的所述纹理的所述特征的所述模型。

5.如权利要求1所述的系统，其中所述检测器被配置来通过检测当前检测图像与先前捕获的检测图像相比的变化来检测所述遮蔽对象。

6.如权利要求1所述的系统，其中所述检测图像与所述所选择的捕获图像不同，并且所述相机接口被配置来从不同的相机接收所述检测图像和所述所选择的捕获图像。

7.如权利要求6所述的系统，其中用于捕获所述检测图像的所述相机和用于捕获所述所选择的捕获图像的所述相机可以彼此以一定距离来安装，使得所述所选择的捕获图像和所述检测图像形成一对立体图像，并且其中所述遮蔽对象的所述图像性质涉及所述两个立体图像之间的差别。

8.如权利要求6所述的系统，其中用于捕获所述检测图像的所述相机被配置来检测除可见光以外的辐射。

9.如权利要求6所述的系统，其中用于捕获所述检测图像的所述相机和用于捕获所述所选择的捕获图像的所述相机被配置来通过同一个物镜或两个不同的物镜来接收辐射。

10.如权利要求1所述的系统，其中所述显示装置被配置来在所述真实世界中的所述显示装置上显示静态图像，并且其中所述叠加器被配置来将所述静态图像与所述叠加图像叠加在所述所选择的捕获图像中。

11.如权利要求1所述的系统，其中用于捕获所述检测图像的所述相机被配置来检测所有所述一个或多个预定频率范围之外的可见光，并且将在所有所述一个或多个预定频率范围之外的所述检测可见光与在所述一个或多个预定频率范围之内的可见光区分开。

12.如权利要求1所述的系统，其中所述叠加表面表示在所述真实世界中不存在的虚拟表面。

13.如权利要求1所述的系统，其中所述叠加表面在所述模型中通过至少所述真实世界空间中的所述叠加表面的形状、位置和取向的指示来表示。

14.一种用于将图像与另一图像数字化叠加的方法，所述方法包括

创建真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面，其中所述模型中的所述叠加表面代表所述真实世界中的显示装置，其中所述显示装置被配置以通过发射一个或多个预定频率范围中的辐射，在所述真实世界中的所述显示装置上显示移动图像；

识别相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

用相应的所述至少一个相机实质上同时捕获至少一个图像，所述至少一个捕获图像包括检测图像，其中用于捕获所述检测图像的所述相机被配置以检测具有所有所述一个或多个预定频率范围之外的频率的辐射，并且将在所有所述一个或多个预定频率范围之外的所述检测辐射与在所述一个或多个预定频率范围之内的辐射区分开；

基于所述模型和所述相机参数来定位所述至少一个捕获图像内的所述叠加表面；

基于遮蔽对象的图像特性和所述检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

通过将在所述真实世界中的所述显示装置上显示的所述移动图像与所述所选择的捕获图像中的所述叠加图像叠加，在所述所选择的捕获图像中用所述叠加图像覆盖所述叠加表面的未遮蔽的部分。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

存储真实世界空间模型，其中所述模型包括将要与叠加图像叠加的叠加表面，其中所述模型中的所述叠加表面代表所述真实世界中的显示装置，其中所述显示装置被配置以通过发射一个或多个预定频率范围中的辐射，在所述真实世界中的所述显示装置上显示移动图像；

接收相机参数，所述相机参数关于所述模型的坐标来校准至少一个相机；

实质上同时接收用相应的所述至少一个相机捕获的至少一个图像，所述至少一个捕获图像包括检测图像，其中用于捕获所述检测图像的所述相机被配置以检测具有所有所述一个或多个预定频率范围之外的频率的辐射，并且将在所有所述一个或多个预定频率范围之外的所述检测辐射与在所述一个或多个预定频率范围之内的辐射区分开；

基于所述模型和所述相机参数来确定所述至少一个捕获图像内的所述叠加表面的位置；

基于遮蔽对象的图像特性和所述检测图像来检测所述遮蔽对象，所述遮蔽对象至少部分地遮蔽所述至少一个捕获图像的所选择的捕获图像中的所述叠加表面；

通过将在所述真实世界中的所述显示装置上显示的所述移动图像与所述所选择的捕获图像中的所述叠加图像叠加，将所述所选择的捕获图像中的所述叠加表面的未遮蔽的部分与所述叠加图像叠加以获得输出图像；以及

输出所述输出图像。

Images