CN105191287B - 替换视频流中的对象的方法及计算机程序 - Google Patents

Abstract

本发明涉及替换视频流中的对象的方法。视场的立体视图被创建。其用于测量距离摄像机的距离并确定前景、背景和遮挡对象。立体视图可由3D摄像机提供或其可使用来自单一摄像机或多台摄像机的信号构造。将被替换的对象的结构可以是静态的或动态的。该方法不需要任何特殊设备来跟踪摄像机的位置并且其可被用于直播内容及存档的材料。本发明利用了当将被替换的对象被电子地被填充时的特殊情况中将被替换的源材料。

Description

替换视频流中的对象的方法及计算机程序

技术领域

本发明涉及图像处理且更具体地涉及替换视频流中的对象的方法以及用于执行该方法的计算机程序。

更具体地说，该方法涉及检测和识别视频流中将被替换的对象并用替换图像或图像序列替换它们。可使用本方法的典型应用是在体育事件的现场直播期间替换出现在围绕运动场或现场的其它区域的周界板上的广告图像。这允许当对不同的位置进行播出时传递出现在这些区域的多个广告内容。

背景技术

虚拟插入、增强现实和图像替换在过去的15年里已经作为研究领域。考虑到移动的对象遮挡将被替换的前景图像，已经提出了很多不同的方法以使虚拟图像尽可能看起来真实和自然。

现有技术可被分类为四大类：

·跟踪摄像机设备；

·地标识别；

·手动选择将被替换的对象或区域；

·通过图像分析装置预先识别将被代替的图像。

这些技术尤其是在现场直播中受到限制，导致它们变得不切实际或不可靠。图像替换被期望增加赞助或广告收益，因此，这种方法需要保证在各种情况下的可操作性，以使收益流可以是有保障的。然而，现有的解决方案具有较多的限制。

使用测量设备跟踪有基座的摄像机仅可以在现场进行并需要特定的设备和操作员。很多播出操作不能担负这样的跟踪开销。

用于报道比赛所需的任意摄像机视点不能确保任何地标在采集的图像上都是明显的。地标识别仅可被应用于某些摄像机和某些拍摄。

手动交互，尤其是替换视频图像上的区域将花费太长时间而不能用于直播事件。其强制延迟多秒，是不切实际的。

图像识别技术已经被用于识别采集的图像中的对象模式。动态广告的发展(在广告牌、周界板、显示屏......上部署全动态视频)使这些方法过时，因为将被替换的图像通常不能被预测。

大部分现有工作基于摄像机定位系统(跟踪头部、GPS、基于镜头的测量)和/或可视地标(通常是运动场的线和图)。

例如，以下是关于这种情况：

WO 97/00581 A1：需要至少三个地标可见

WO 2009/018135A1：使用3D对象模型适应的基于GPS的对象定位。

US7230653B1：基于使用GPS和镜头方向指示测量的跟踪和传感器遥测的方法；另外，这个专利从静态参考CAD模型识别图像，以致其用于LED板的替换是不切实际的。

一些方法包括手动对象识别过程，导致它们对于直播事件和多对象替换(诸如环绕周界板)是不切实际的：

US7689062B2：在源视频段中植入容器；这是纯后期处理过程，不能用于直播事件播出。

US2010067865A1：要求用户选择的输入区域，以致其对于在自动区域检测必须被实时执行时的直播事件不适用。

当周界板的内容是静态时的过去的方法与当前LED板的动态内容需求不匹配。所有这些方法需要对将被代替的静态图像预先识别：

US7116342B2描述了基于色彩分离模型以识别、存储和索引关注的区域的方法，并因此该方法不能用于周界板的动态内容。

在比赛期间，周界在摄像机的主视场中，为查看器找到最少相关性且在运动场外的区域的方法是完全不相关的；这是GB2416949A中公开的方法的情况，其专注于运动区域外和比赛本身之外的续发事件。

一些其它的方法不适用于视频图像背景对象，因为他们专注于前景。例如，WO2010067350A1识别视频流中的前景对象以添加虚拟插入图像。

在当今的用于新闻和体育的TV制作中使用的摄像机变得更快更轻。制作是越来越具移动性的，从笨重的基座中释放出来。在录制期间，摄像机位置和摄像机参数可以更频繁的改变，并且处理具有跟踪设备的固定的摄像机的成本和操作约束不再被接受。

越来越多数量的广告屏幕已经占据我们日常的环境。这些初始局限于静态内容的屏幕逐渐转变为滚动横幅并然后转变为动态地馈送电子内容。使用现有技术中公开的方法不可能替换电子动态内容。同时，电子屏幕的布置利用了TV馈送内部的最显著的广告空间。

图像替换需要对于直播、重播的或甚至是历史内容是可用的。这意味着如果在现场需要任何特定的硬件，则没有这件设备录制的存档文件完全不能用于图像替换。纯计算机视觉技术(不需要特定的现场硬件)的使用使图像替换适用于直播操作和/或后期制作和存档内容。

发明内容

本发明的目标是解决上面提出的缺点并提供用于将替换图像插入视频流而不需通过安装在摄像机基座上的昂贵的传感器设备采集和传输摄像机参数并且不需要直播环境的静态模型的方法。

本发明的另一个目标是提供可用于现场直播以及用于当只对已录制的图像具有访问权限时的后期制作的方法。所提出的方法适应于对具有动态内容的、出现在诸如周界板或广告牌的背景对象上的动态图像的替换。

本发明的另一个目标是提供用于实施该方法的计算机程序。计算机程序可在记录介质或在通信介质上进行提供。记录介质和通信介质中的每一个可以计算机可读方式给执行多种计算机代码的通用计算机系统提供计算机程序。计算机系统用以计算机可读方式提供的计算机程序执行过程以响应于计算机程序。

出于该目的，本发明的目标是提供一种方法，该方法通过创建立体3D视图来创建与人类的眼睛能看见的图像相同的视频图像的表示，就像人类的大脑所做的那样。使用图像的立体3D解释，所提出的方法可确定图像中将被替换的对象的实际位置和遮挡真实背景对象的可能的前景对象。

所公开的方法的主要优点是其不需要在摄像机基座上的昂贵的跟踪设备；其可被用于直播事件或录制的图像；以及其可替换动态或静态内容。

根据本公开的实施方式还描述了以下方面：

1)一种用于替换视频流中的对象的方法，包括以下步骤：

-接收来自至少一台摄像机的一个或多个图像；

-创建类似于人类立体表示的场景的立体视图；

-并行于步骤，分析所述至少一台摄像机的图像以提取摄像机位姿参数；

-使用所述立体视图和所述摄像机位姿参数计算视角；

-如果存在遮挡对象，则从所述摄像机的所述视角在透视图中识别所述遮挡对象；

-检测前景对象轮廓和目标对象轮廓；

-用前景对象轮廓创建遮挡掩模；

-使用从摄像机位置见到的目标图像并将所述遮挡掩模应用在所述目标图像上来合成替换图像；

-接收下一个图像并多次执行前述步骤。

2)根据项目1)所述的方法，其中，用至少两台摄像机的馈送来创建所述立体视图。

3)根据前述项目中的一个项目所述的方法，其中，所述立体视图至少包括关于前景对象、所述摄像机位姿参数和背景对象的深度表格。

4)根据前述项目中的一个项目所述的方法，其中，建立所述摄像机位姿参数包括下面的步骤：

-检测是否发生了对之前的图像的剪切；

-如果没发生剪切，使用来自所述之前的图像的背景和所述摄像机位姿参数，通过与所述之前的图像比较来计算所述背景的变化，并确定所述摄像机参数修改；

-使用新摄像机参数和背景信息计算至少一个前景对象的位移并针对每一个对象更新所述深度表格；

-如果发生了图像剪切，识别正确的摄像机；

-设置新摄像机位姿参数。

5)根据项目2)所述的方法，其中，所述立体视图的设置包括下面的步骤：

-依据无剪切应用场景下的项目4)所述的步骤设置所述两台摄像机中的每一台摄像机的所述摄像机位姿参数；

-使用PGM摄像机的视图确定关于所述PGM摄像机的背景和前景信息。

6)根据项目1)所述的方法，其中，当没有附加视频馈送可用时，所述立体视图的设置包括下面的步骤：

-接收所述摄像机位姿参数；

-检测当前图像和之前图像之间的剪切；

-如果没检测到剪切，检测背景和前景信息并更新深度表格；

-如果检测到剪切，接收PGM摄像机的下一个图像，使用摄像机位姿参数分析所述当前图像和所述下一个图像之间的差异并使用背景和前景信息来更新所述深度表格。

7)根据项目1)所述的方法，其中，来自所述摄像机的馈送以3D接收，并且其中，与所述对象相关的深度信息直接从摄像机的馈送获得。

8)一种用于在源图像或图像序列的电子表示可用时替换视频流中的对象的方法，所述方法包括以下步骤：

-接收来自至少一台摄像机的一个或多个图像；

-在来自所述摄像机的图像中检测所述源图像并提取摄像机参数；

-计算替换图像背景；

-通过计算所述源图像和其摄像机录像之间的像素差异来计算遮挡掩模；

-通过将所述遮挡掩模应用于替换图像来合成所述替换图像；

-接收下一个图像并多次执行前述步骤。

9)根据项目8)所述的方法，其中，在来自所述摄像机的图像中识别所述源图像，包括以下步骤：

-使用模式识别方法，在来自所述摄像机的图像中识别所述源图像和其透视；

-通过计算所述源图像和其透视校正的摄像机录像之间的像素差异来计算所述遮挡掩模；

-通过将所述遮挡掩模应用于替换图像的透视适应来合成替换图像；

-接收所述下一个图像并多次执行前述步骤。

10)一种用于替换视频流中的对象的计算机程序，所述计算机程序具有当所述程序在计算机上被运行时执行依据前述项目中的一个项目所述的方法的所有步骤的代码装置。

本发明的另一些优点将从在所附权利要求和下面的详细描述中所叙述的特征变得明显。

附图说明

现在，将参照附图详细描述本发明，在附图中：

图1是现场的典型的直播体育赛事制作的示意图。

图2是描述了当有两台摄像机的馈送可用时的图像替换过程的流程图。

图3是描述了当只有一台摄像机的馈送可用时的图像替换过程的流程图。

图4是描述了将被替换的目标图像的电子表示可用时的图像替换过程的流程图。

图5是描述了当摄像机馈送是3D时的图像替换过程的流程图。

图6是示出获得摄像机信息的过程的流程图。

图7是示出了当有两台摄像机的馈送可用时，用来识别前景和背景对象、位置和深度信息的立体视图的创建的流程图。

图8是示出了当只有一台摄像机的馈送可用时，用来识别前景和背景对象、位置和深度信息的立体视图的创建的流程图。

具体实施方式

参考图1，示出了在露天运动场或体育场中的现场的典型直播体育赛事制作。典型的足球比赛运动场1被示意性地表示，其中运动员a、b、c在上面移动。运动场被静态或动态广告图像可被显示在其上的周界板或电子广告牌2围绕。在直播现场的典型情况中，至少有两台主摄像机3、4连续地录制该比赛，同时另一台摄像机5(下文称为PGM摄像机)被制作导演进行实况转播。目标图像、周界板1、2的部分在每一台摄像机的视场内是可见的。左下的缩小图像示出摄像机3的视点；底下中间的缩小图像示出摄像机4视角；同时右下图像表示通过PGM摄像机所看到的图像。一些运动员a、b部分遮挡了目标图像，而在PGM的视场内由两台其它摄像机3、4看到的遮挡对象的仅一些部分是可见的。

本发明的简要概述的替换视频流中的对象的方法由以下步骤组成：

-创建场景的立体视图，

-从视频图像识别摄像机参数，

-识别图像中将被替换的对象，

-计算遮挡对象的轮廓，

-用替换对象的图像的掩模创建该图像，

-将所生成的图像叠加到原始图像上。

基于立体计算机视觉的方法以与处理人类立体视觉相似的方式创建摄像机图像的立体3D表示。然后其用透视表示法识别对象并在期望的内容内替换对象同时遵守新对象的视图深度。用这种方法，克服通常需要昂贵的摄像机跟踪设备的现有技术约束是可能的。另外，该方法可在直播或在后期制作环境中操作，并且其对图像内部的动态内容起作用。

立体3D表示以两种不同的方式构成：

当前图像的立体3D人类表示由来自至少两台摄像机的馈送构成。该方法使用摄像机三角剖分算法。

在后期制作的情况中或当只有一台摄像机的馈送可用时，立体3D表示通过使用图像分析技术重构空间环境获得。

使用图像的立体3D解释，该方法确定图像中将被替换的对象的位置和遮挡背景对象的可能的前景对象。

预测图像和真实图像之间的像素差异的处理确定放置掩模以合成替换图像的区域。

下面视频流中的对象替换的方法被提出：

在现场具有至少一个双TV馈送(两台或多于两台摄像机)以构造立体3D表示和深度表格用于计算放置在将被替换的对象的前景中的其它对象的遮挡掩模。此处本方法描述了最小要求的两台摄像机，但当更多台摄像机可用时该方法也适用。该方法将结合图2进一步描述。

插入立体视图并创建单一馈送或一台摄像机的图像的同样的对象表格和深度表格。该方法结合图3描述。

附加的方法使用预先计算的对象的图像来识别。该方法基于实际在图像上的内容和没有遮挡对象时应该在其上的内容之间的差异。该方法处理将被替换的对象的动态性质。其原则上类似于静态图像替换，但是其中静态图像每一字段或帧进行改变。

第四种方法包括匹配将被替换的源动态图像与摄像机录制的图像以确定将被替换的像素组成。最后，该过程还适合高端摄像机的情况(直播或重播)：

随着3D摄像机内容输入，摄像机的立体信息被直接变成立体表示。

本发明适用于任何摄像机格式。这包括消费者格式以及广播格式(SD、HD、4K或将来的其它格式)。格式中的更大的像素将导致更清晰的转换。

在图中描述的几个过程被嵌入端到端工作流中，逐个图像(逐个帧或逐个字段)分析视频流并创建用于几个摄像机和对象的参考基准。

现在，我们将描述该方法的不同步骤、其不同过程和计算。

结合上面叙述的不同方法，一些通用概念适用于本发明的不同变化并将被简要描述。

立体以及其等效双目的概念是指表示场景或事件的不同视角的两个输入或多于两个的输入，那些输入来自摄像机或其他图像源。本发明的需要两台摄像机的实施方案同样适用于任何更大数量的摄像机。

根据所选择的方法将需要不同的元件以实施该方法。这些中的第一个是摄像机识别，以便建立摄像机表格，其中，每当摄像机被识别时，其参数，主要是其坐标(x，y，z)和下面的参数平移、倾斜、缩放和聚焦中的至少一些被存储。摄像机的参数从所分析的图像获得而不从诸如与摄像机基座相关联的传感器的外部信号获得。现有的计算机视觉检测技术被用于确定摄像机位置(x，y，z)和其参数。检测技术基于几何元素识别，线、圆、角、角度、表面和不变的点。为使所识别的元素与其图像表示相匹配建立的透视变换矩阵确定所期望的摄像机参数。

使用已知的摄像机三角剖分的方法，对象被检测并被置于场表示中。录制同一个对象的两台不同的摄像机将提供揭示对象位置的不同图像。

在这个意义上，摄像机三角剖分过程类似于人类立体视觉的处理，基于两只眼睛之间的不同视角为头脑提供立体凸现或深度信息。比较来自两台不同摄像机的两个图像允许从两个图像中提取对象并确定每一个对象的轮廓、内部像素和到摄像机的距离。

当图像被接收和处理时，使用已知的背景检测算法，通过计算同一序列的两个连续图像之间的差异来检测背景区域。用于本发明目的的适用于背景检测的合适方法在下面的文档中被公开：“背景减法技术：综述(Background subtraction techniques:areview)”，关于系统、人类和控制论的2004 IEEE国际会议，0-7803-8566-7/04/2004IEEE。

考虑到摄像机移动检测，序列的两个连续图像之间的表示的差异是被广泛地研究的领域，提供了很多技术和算法，如在以下文献中总结的：“视频拍摄变化检测方法的性能特征(Performance characterization of video-shot-change detection methods)”IEEE视频技术的电路和系统会刊，卷10，编号1，2000年2月。

一旦摄像机参数在两个图像和所检测的背景之间被更新，该图像的剩余像素形成背景对象。两个图像之间的前景对象的差分分析被应用并用来更新对象的3D模型和到摄像机的距离。

在下面的叙述中，还将用到深度表格的概念。如在本发明中所使用的，深度表格是用于当前图像和摄像机的相同的或等效的z值的像素集合。针对特定的摄像机图像，具有相同深度的像素被分组到对象，由此创建带有关联到对象的深度的对象表格。

传统地，像素的深度值被转换成可被编码为0-255或甚至更大的值的灰度水平。深度表格实际上是由相关联的真实图像的灰度值组成的图像，越暗灰度值越大。

由立体或3D摄像机产生的深度表格(或z-表格)可被导入深度表格。同样适用于在前景检测过程中识别的前景对象。

本发明的描述有时涉及立体表示或场景的立体视图。这是如从摄像机看到的场景的表示，包括从该视角可见的所有对象。该对象被表示为距离摄像机的距离、组成对象的像素集、场中的位置及其建模和动态参数。

因此立体表示包括关于所有前景对象、摄像机参数和背景对象的深度表格的集合。

对于将被替换的对象或区域，多余的参数被保留，包括如从摄像机所见的区的3D精确几何模型。

对于在替换过程结束时替换图像的部分，引入了替换掩模的概念。当在前景中的对象部分遮蔽了背景中将被替换的区域时，遮挡将发生。

基于立体表示计算遮挡。遮挡掩模局限于将被替换的对象的摄像机可见的部分，根据如由摄像机观测到的对象的3D模型的外部轮廓计算。这被称为替换掩模。

对于存储在立体视图中的每一个单一对象，包含在替换掩模中的对象的部分实际上遮挡了将被替换的对象。因此，遮挡掩模是遮挡对象与替换掩模的交叉部分的总和。

该总和以到摄像机的下降的距离计算(排序)。这类似于成像技术中的层的应用。将分层的对象应用于掩模的顶部同时构造了掩模轮廓和掩模像素。

图2涉及当两台摄像机的馈送可用时的图像替换过程；这是在现场的直播情况。在事件之前，包括预设摄像机位置或摄像机轴以防移动摄像机诸如移动支架凸轮的摄像机图被获得并被引入系统的初始设置。在整个事件期间，系统接收由两台主摄像机3、4产生的图像。参考图2，有针对每一个图像进行处理的循环(步骤101至105)。

该循环开始于在步骤102接收来自每一台摄像机3、4的图像以及在步骤103并行接收来自PGM摄像机5的图像。

在步骤301，用摄像机3和摄像机4的图像创建场景的透视图，其类似于人类双目视觉的表示。用于创建透视图的过程将参考图6被进一步描述。

并行于步骤301，在步骤1031分析P GM摄像机5的图像以提取摄像机参数(或摄像机位姿)，允许确定PGM摄像机的位置(x,y,z)以及其方向(平移、倾斜、缩放和聚焦)。

在步骤1021使用立体视图和PGM摄像机位姿参数计算PGM摄像机的视角。

从摄像机位置，在步骤301创建透视图中被识别为可能的遮挡的对象并且在步骤1022重新计算这些对象和创建每一个对象的深度表格。深度表格包括所检测到的对象的轮廓信息以及关于摄像机视野中的每一个对象到摄像机的距离(深度或z-表格)。

然后，目标图像和前景对象在步骤1023中被识别。在步骤1024中前景对象轮廓信息还被用于计算遮挡掩模。该掩模是将被替换的对象的表示(3D图像)，减去视场中比该对象具有更低的z的对象。

然后，在步骤1032使用PGM摄像机的位置计算替换图像背景并且将遮挡掩模应用于其上，因此在步骤104图像替换对象作为附加层被应用于PGM摄像机图像。然后，过程在步骤105以下一个图像继续。

图3涉及当只有一台摄像机的馈送可用时的图像替换过程。例如，这可以是在广播公司工作室接收的直播视频或录制的事件。该过程类似于之前的结合图2所描述的情况，但在以下两个步骤中不同：

由于只有一台摄像机的馈送可用，前面的双馈送过程的步骤102被移除。图2中的创建透视图的步骤301被替换为步骤301bis，其用从单一馈送接收的图像创建透视图。过程301bis将结合图8进一步描述。其它步骤与图2中的完全相同。

图4描述了参考图2所描述的基本图像替换过程的可选过程的流程图。图4涉及其中将被替换的图像的电子表示可用的情况。在该情况中，不需要创建对象深度表格以及计算轮廓信息和识别目标和前景对象，因此避开了图2和3中的步骤102、1021、1022、1023和301。在步骤1025目标图像的真实视图最为图像中对应于目标的区域被处理。然后目标图像背景根据源图像与PGM摄像机参数，摄像机位姿的组合进行计算(步骤1026)。在步骤1024所计算的可应用的掩模对应于从步骤1025获得的目标图像的摄像机录像和在步骤1026获得的目标图像背景之间的像素差异。

当将被替换的图像的电子表示可在摄像机图像中被识别时，在图4中描绘的过程的简化发生。使用计算机视觉模式识别，源图像可被识别并且其在图中的放置和透视可被确定。由于源和替换图像的透视校正与从摄像机图像中检测到的是相同的，所以不需要计算摄像机参数。结果是透视的替换图像与遮挡掩模一起的合成，作为被识别的图像与其透视校正的源之间的像素差计算。

参考图5，摄像机的馈送已经是3D的。每一台摄像机提供左图像、右图像和深度表格。图像替换过程使用直接从摄像机馈送接收的该立体信息而得到简化。过程非常类似于参考图2所描述的过程，不同点在于其运行用于左和右两个图像，如替换图2中的步骤103的步骤103bis所示。第二个不同点在于，关于遮挡对象的深度信息被从摄像机接收并且因此不需要计算深度信息。所有其它步骤与参考图2描述的步骤完全相同。

参考图6，获得摄像机信息的过程被细节化。对于在步骤102或103获得的每一个图像，确定是否发生了之前的图像的剪切。如果之前的图像和当前图像之间没有剪切，则过程是纯差分，其计算与之前的图像相关的变化。如果之前的图像没有发生剪切，来自之前的图像的背景信息和PGM摄像机设置被用于在步骤204计算背景变化以及确定摄像机参数修改(如果有的话)。一旦适应的摄像机参数已经被计算，新的摄像机参数在步骤206被存储。通过使用新摄像机参数和背景信息，前景对象的位移在步骤2051被计算并且对于每一个前景对象，深度表格在步骤2052被更新。

如果发生了图像剪切，摄像机表格用来在当前视图和所存储的对应于现有的过去摄像机位置的视图之间识别可能的匹配。在步骤202，模式识别技术，尤其是对于场线或已知元素，被用于找到正确的匹配并在步骤203识别正确的摄像机。可选地，用户输入可被请求以用参考点确定的方法提供更好和更快的匹配。

步骤203的输出是为设置新摄像机位姿参数，(步骤206)。

图7使用两台可用的摄像机的馈送处理用来识别前景和背景对象、位置和深度信息的透视3D视图的创建301。

第一步骤是在没有剪切的应用场景中使用过程201设置第一和第二摄像机的摄像机位姿，因为这两台摄像机始终可用并产生连续馈送。

当这些摄像机位姿被设置后，PGM视图以与针对图6中的这些过程描述的相同的方式被用于确定PGM摄像机的背景和前景信息(步骤204、2051和2052)。

图8描述了在没有双馈送可用的情况下作为过程301(在图7中描述的)的变型的、设置透视图的过程301bis。

该过程开始于获得摄像机位姿201。剪切检测此时作为步骤201的一部分已经被执行。

当在之前的和当前的图像之间没有检测到剪切时，背景检测204和前景分析2051过程步骤用来更新深度表格2052。这些步骤与图6描述的步骤相同。

当检测到剪切时，过程得到下一个图像(步骤103)。使用摄像机位姿信息和当前和下一个图像之间的差异分析，使用背景204和前景2051构成来重构深度表格2052。

立体视图被设置302为摄像机位姿201、背景信息204、前景信息2051和深度表格2052的结果。

上面描述的方法和过程也适用于本机3D视频馈送可用情况下的高端摄像机。当视频信号已经是3D时，左和右图像可与深度表格或z-空间一起可用。图像替换方法以缓解实现图像替换需要的计算资源的几种方式利用该附加信息。通过类推，两台摄像机的双馈送是可用的，被左和右图像替换并且深度信息被嵌入视频信号，或者如果不是，其可通过左图像和右图像之间的差异分析被提取。

当视频录制只采用2D时，存在3D转换技术用于渲染3D视频信号、用左眼采用初始馈送并构造右眼视频信号。该过程在处理信号时增加了几秒钟的延迟但是简化了图形替换并因此适合于将本发明的方法的对象应用于录制的视频。

上面描述的方法的步骤可使用硬件、软件或两者结合被执行。如果使用软件执行该过程步骤，具有过程步骤的序列的计算机程序可被安装在内置在专用硬件中的计算机的存储器中，或安装在执行多种过程的通用计算机上。计算机程序可被预先记录在记录介质中。然后计算机程序可被安装在计算机上。计算机程序可经由诸如局域网(LAN)或因特网的网络被接收并然后安装在诸如硬盘的内部记录介质上。

以前述方式，用于在直播或录制的视频流中的对象替换的方法已经被公开。当本发明已经参考特定实施方案被描述时，该描述说明了本发明且不被理解为限制本发明。本领域技术人员可容易想到各种修改，而不脱离由所附权利要求限定的本发明的范围。

Claims (16)

1.一种用于替换视频流中的对象的方法，包括：

接收来自至少一台摄像机的一个或多个图像；

分析所述一个或多个图像以提取摄像机位姿参数，所述摄像机位姿参数至少包括所述至少一台摄像机的坐标x、y和z及方向；

使用通过所述至少一台摄像机观看的对象的深度表格创建立体视图，其中，所述深度表格定义从摄像机镜头沿着z轴到所述至少一台摄像机的视场中的每一个对象的距离，所述深度表格包括具有z值的多个像素，其中像素基于所述z值被分组到对象；

使用所述立体视图和所述深度表格识别遮挡背景对象的前景对象；

检测前景对象轮廓；

用前景对象轮廓创建遮挡掩模；

使用所述摄像机位姿参数计算替换图像；以及

将所述遮挡掩模应用于所述替换图像。

2.根据权利要求1所述的方法，其中，用从至少两台摄像机接收的图像来创建所述立体视图。

3.根据权利要求1所述的方法，其中，建立所述摄像机位姿参数包括：

检测在当前图像与之前的图像之间是否发生剪切；

其中，如果没发生剪切，

将所述之前的图像的背景信息和摄像机位姿参数用在所述当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改；

根据所述背景变化计算背景信息，并根据所述摄像机位姿参数修改计算新摄像机位姿参数，以及

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移，并针对所述前景对象更新所述深度表格；

其中，如果发生了剪切，

根据所述当前图像和存储的图像视图之间的可能匹配来识别正确的摄像机，以及；

设置所述新摄像机位姿参数。

4.根据权利要求1所述的方法，其中，创建所述立体视图包括：

将之前的图像的背景信息和摄像机位姿参数用在当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改，从而计算新摄像机位姿参数；

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移；并针对每个前景对象更新所述深度表格。

5.根据权利要求1所述的方法，其中，当只有单一摄像机可用时，创建所述立体视图包括：

接收所述摄像机位姿参数；

检测当前图像和之前的图像之间的剪切；

如果没检测到剪切，

检测背景和前景信息并更新深度表格；以及

如果检测到剪切，

接收下一个图像，以及使用所述摄像机位姿参数分析所述当前图像和所述下一个图像之间的差异并使用背景和前景信息来更新深度表格。

6.根据权利要求1所述的方法，其中，来自所述至少一台摄像机的所述一个或多个图像形成以3D接收的馈送，并且其中，与所述对象相关的深度信息直接从所述馈送获得。

7.根据权利要求1所述的方法，还包括替换过程，其中所述替换过程包括：

将所述一个或多个图像中的图像中的将被替换的源图像与所述源图像的可用表示相匹配；

计算所述源图像的所述可用表示和将被替换的所述源图像之间的差异，以及

提取摄像机位姿参数。

8.根据权利要求1所述的方法，还包括：

当将被替换的源图像的表示不可用时，使用模式识别从所述一个或多个图像中的图像识别所述源图像。

9.一种用于替换视频流中的对象的系统，所述系统包括被配置为执行以下操作的计算机：

接收来自至少一台摄像机的一个或多个图像；

分析所述一个或多个图像以提取摄像机位姿参数，所述摄像机位姿参数至少包括所述至少一台摄像机的坐标x、y和z及方向；

使用通过所述至少一台摄像机观看的对象的深度表格创建立体视图，其中，所述深度表格定义从摄像机镜头沿着z轴到所述至少一台摄像机的视场中的每一个对象的距离，并且其中所述深度表格包括具有z值的多个像素，其中像素基于所述z值被分组到对象；

使用所述立体视图和所述深度表格识别遮挡背景对象的前景对象；

从所识别的前景对象中检测前景对象轮廓；

用所述前景对象轮廓创建遮挡掩模；

使用所述摄像机位姿参数计算替换图像；以及

将所述遮挡掩模应用于所述替换图像。

10.根据权利要求9所述的系统，其中，所述立体视图用从至少两台摄像机接收的图像来创建。

11.根据权利要求9所述的系统，其中，建立所述摄像机位姿参数包括：

检测在当前图像与之前的图像之间是否发生剪切；

其中，如果没发生剪切，

将所述之前的图像的背景信息和摄像机位姿参数用在所述当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改；

根据所述背景变化计算背景信息，并根据所述摄像机位姿参数修改计算新摄像机位姿参数，以及

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移，并针对每个对象更新所述深度表格；并且

其中，如果发生了剪切，

根据所述当前图像和存储的图像视图之间的可能匹配来识别正确的摄像机，以及；

设置所述新摄像机位姿参数。

12.根据权利要求9所述的系统，其中，创建所述立体视图包括：

将之前的图像的背景信息和摄像机位姿参数用在当前图像与所述之前的图像的比较中，以计算背景变化并确定摄像机位姿参数修改，从而计算新摄像机位姿参数；

使用所述背景信息和所述新摄像机位姿参数计算前景对象的位移；并针对每个对象更新所述深度表格。

13.根据权利要求9所述的系统，其中，当单一摄像机可用时，创建所述立体视图包括：

接收所述摄像机位姿参数；以及

检测当前图像和之前的图像之间的剪切；

其中，如果没检测到剪切，

检测背景和前景信息并更新深度表格；并且

其中，如果检测到剪切，

接收下一个图像，以及

使用所述摄像机位姿参数分析所述当前图像和所述下一个图像之间的差异，并使用背景和前景信息来更新深度表格。

14.根据权利要求9所述的系统，其中，来自所述至少一台摄像机的所述一个或多个图像形成以3D接收的馈送，并且其中，对象的深度信息直接从所述至少一台摄像机的馈送获得。

15.根据权利要求9所述的系统，其中所述计算机还被配置用于替换过程，其中所述替换过程包括：

将所述一个或多个图像中的图像中的将被替换的源图像与所述源图像的可用表示相匹配；

计算所述源图像的所述可用表示和将被替换的所述源图像之间的差异，以及

提取摄像机位姿参数。

16.根据权利要求9所述的系统，其中所述计算机还被配置成：

当将被替换的源图像的表示不可用时，使用模式识别从所述一个或多个图像中的图像识别所述源图像。