CN101593353B - 图像处理方法和设备以及视频系统 - Google Patents

Abstract

本发明公开了一种处理视频图像的方法和设备以及视频系统。该视频图像是从不同视点捕获的，并且具有重叠区域。所述方法包括步骤：检测视频图像中是否含有前景物；在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及将目标区域渲染在背景视频帧中以创建全景视频。用本发明的上述方法和设备，由于将选定的包含前景物的前景物区域融合到缝合所产生的背景视频帧中，使得即使在场景中出现运动物体，也能够对视频进行平滑的缝合，从而产生具备优良质量的全景图像。

Description

图像处理方法和设备以及视频系统

技术领域

本发明涉及在多摄像机情况下的图像缝合，具体涉及一种图像处理方法和设备以及视频系统，能够基于前景信息将多摄像机所拍摄的视频图像进行平滑缝合。

背景技术

图像传感器在日常生活中的使用越来越广泛，例如监控摄像机、数码相机、网络摄像头和嵌入在手机中的摄像机等，给人们的带来了很多方便。通常人们都是使用来自单一摄像机的静止图像(相片)或者视频图像(视频)。如何利用分布在不同位置的摄像机的图像日渐称为人们关注的话题。

现有的多摄像机视频缝合技术能够满足这样的需要，该项技术是把分布式摄像机所拍摄的图像缝合起来，获得全景图像或者分辨率更高的视频图像。多摄像机视频缝合系统利用不同的摄像机捕获来自不同视点的图像序列。如果视频源的图像序列具有有限制的重叠区域，则视频缝合技术可以将输入图像序列融合到宽视点和高分辨率全景图像中。

专利文献1(US20070211934A1)提出了一种简单的技术来加速视频缝合。在专利文献1中，最初计算多摄像机所拍摄的图像之间的几何关系，然后利用事先计算的几何关系参数来对相继的帧进行缝合。

但是，在专利文献1的视频缝合中存在的问题是，由于场景是动态的，运动的物体会导致在缝合结果图像中出现伪像。通常视频内容的场景随着时间持续较长的时间，大致可以将视频分成前景物和背景区域。前景物是出现在动态场景中的内容，例如办公室中运动的人，道路上行驶的车辆等等。背景区域是运动物体后的场景。在视频缝合中，当出现运动的前景时，就会出现伪像，因为来自多摄像机的图像之间很难同时保持背景内容的一致。这主要是因为背景和前景的场景深度之间的差异带来了视差的缘故。

发明内容

本发明的目的是提出一种图像处理方法和设备以及视频系统，能够基于前景信息将多摄像机所拍摄的视频图像进行平滑缝合。

在本发明的一个方面，提出了一种处理视频图像的方法，该视频图像是从不同视点捕获的，并且具有重叠区域，所述方法包括步骤：检测视频图像中是否含有前景物；在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及将目标区域渲染在背景视频帧中以创建全景视频。

根据本发明的实施例，所述方法还包括步骤：缝合所述视频图像，以便更新所述背景视频帧。

根据本发明的实施例，在视频图像中不包含前景物的情况下，缝合所述视频图像，以便更新所述背景视频帧。

根据本发明的实施例，所述缝合步骤包括基于事先计算的变换参数缝合所述视频图像的步骤。

根据本发明的实施例，周期性地更新所述背景视频帧。

根据本发明的实施例，在不同视频图像中仅有一幅视频图像中包含前景物的情况下，将包含该前景物的区域渲染到背景视频帧中。

根据本发明的实施例，所述方法还包括步骤：计算前景物区域之间的一致性度量，其中所述选择步骤包括：基于所计算的一致性度量，从至少一个前景物区域中选择所述目标区域。

根据本发明的实施例，所述一致性度量包括以下至少之一：前景物区域之间的空间关系，前景物区域之间的纹理相似度，前景物区域之间的运动关系，前景物区域之间的内容相似度。

根据本发明的实施例，将视频图像中出现的运动物检测为前景物。

根据本发明的实施例，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆盖的面积比其他前景物区域大的前景物区域选择为目标区域。

根据本发明的实施例，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将重叠的前景物区域缝合，作为目标区域。

根据本发明的实施例，所述渲染步骤包括：将扩展前景物区域与背景视频帧配准，所述扩展前景物区域覆盖了目标区域并且面积比目标区域大；以及调整经配准的扩展前景物区域和背景视频帧中的像素的值，以便将该扩展前景物区域嵌入到背景视频帧中，以创建全景视频。

在本发明的另一方面提出了一种处理视频图像的设备，该视频图像是从不同视点捕获的，并且具有重叠区域，所述设备包括：检测装置，检测视频图像中是否含有前景物；选择装置，被配置成在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及渲染装置，被配置成将目标区域渲染在背景视频帧中以创建全景视频。

根据本发明的实施例，所述设备还包括：缝合装置，被配置成缝合所述视频图像，以便更新所述背景视频帧。

根据本发明的实施例，所述缝合装置还被配置成，在视频图像中不包含前景物的情况下，缝合所述视频图像，以便更新所述背景视频帧。

根据本发明的实施例，所述缝合装置还被配置成，基于事先计算的变换参数缝合所述视频图像。

根据本发明的实施例，所述缝合装置还被配置成周期性地更新背景视频帧。

根据本发明的实施例，如果在不同视频图像中仅有一幅视频图像中包含前景物，则所述渲染装置将包含该前景物的区域渲染到背景视频帧中。

根据本发明的实施例，所述设备还包括：计算装置，计算前景物区域之间的一致性度量，其中所述选择装置被配置成，基于所计算的一致性度量，从至少一个前景物区域中选择所述目标区域。

根据本发明的实施例，所述检测装置还被配置成将视频图像中出现的运动物检测为前景物。

根据本发明的实施例，所述选择装置还被配置成，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆盖的面积比其他区域大的区域选择为目标区域。

根据本发明的实施例，所述选择装置还被配置成，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将重叠的前景物区域缝合，作为目标区域。

根据本发明的实施例，所述渲染装置还被配置成，将扩展前景物区域与背景视频帧配准，所述扩展前景物区域覆盖了目标区域并且面积比目标区域大；以及调整经配准的扩展前景物区域和背景视频帧中的像素的值，以便将该扩展前景物区域嵌入到背景视频帧中，以创建全景视频。

在本发明的又一方面，提出了一种视频系统，包括：分布在不同位置的多个摄像机，用于捕获具有重叠区域的视频图像；检测装置，检测视频图像中是否含有前景物；选择装置，被配置成在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及渲染装置，被配置成将目标区域渲染在背景视频帧中以创建全景视频；输出装置，被配置成输出所述全景视频。

在本发明的又一方面，提出了一种计算机可读介质，存储了计算机程序，该计算机程序在被执行时，进行如下操作：检测视频图像中是否含有前景物；在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及将目标区域渲染在背景视频帧中以创建全景视频。

利用本发明的上述方法和设备，由于将选定的包含前景物的前景物区域融合到缝合所产生的背景视频帧中，使得即使在场景中出现运动物体，也能够对视频进行平滑的缝合，从而产生具备优良质量的全景图像。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更加明显，其中：

图1示出了根据本发明实施例的视频系统的结构框图；

图2是描述根据本发明实施例的图像处理方法的流程图；

图3A到3D是通过视频缝合技术创建的背景视频帧的示意图；

图4A到4D是描述前景物检测过程的示意图；

图5是描述周期更新背景视频帧的过程的示意图；

图6是描述根据前景的变化程度来更新背景视频帧的过程的示意图；以及

图7A到7E示出了根据本发明实施例的方法和设备所产生的全景图像与现有技术产生的全景图像之间的比较的示意图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，以防止它们使本发明的主题不清楚。

图1示出了根据本发明实施例的视频系统的结构框图。如图1所示，根据本发明实施例的视频系统包括标定部分100、视频缝合部分200和输出装置300。标定部分100计算图像变换参数，它用于测量在不同视点布置的摄像机之间的几何关系，而视频缝合部分200逐帧地对来自不同摄像机的视频图像进行处理，以便产生平滑缝合的全景视频。输出装置300，例如是显示器或者打印设备，用于输出全景视频或者全景视频中的一幅图像。

如图1所示，标定部分100包括静止图像存储器110，图像变换计算单元120和图像变换存储单元130。在静止图像存储器100中存储了各个摄像机事先拍摄的背景的静止图像。

图像变换计算单元120首先对静止图像存储器110中存储的这些图像进行特征提取操作，找到这些图像中的特征，然后找到这些特征之间的对应关系。例如首先从各个图像中找到明显的特征，然后在各个图像之间匹配这些特征，以便取得特征之间的对应关系。通过利用特征之间的对应关系，图像变换计算单元120能够计算出图像变换参数。

例如，对于一对图像I₁和I₂，它们是从不同位置的摄像机所拍摄的，并且它们之间具有一定的重叠区域，则图像变换可以写成：

X₂＝HX₁      (1)

其中X₁和X₂是图像平面I₁和I₂上的点的齐次坐标，而H是3×3的图像变换矩阵。也就是说，在获得了特征之间的对应关系后，利用上述的公式(1)可以求得多摄像机之间的图像变换，将求得的图像变换存储在图像变换存储器130中，用于视频缝合。

如图1所示，视频图像缝合部分200包括捕获视频存储器210，前景物检测单元230，计算单元240，缝合单元220，前景物区域选择单元250，背景视频帧存储器260，渲染单元270和全景视频存储器280。下面对照图2详细说明上述各个单元的具体操作过程。

捕获视频存储器210中存储了来自不同位置的摄像机所拍摄的视频，其中相邻位置的不同摄像机所拍摄的视频之间存在一定的重叠区域。

如图2所示，在步骤S10，前景物检测单元230从捕获视频存储器210读取各个摄像机所拍摄的视频。然后，在步骤S11，前景物检测单元230使用运动检测方法，例如文献(I.Haritaoglu，D.Harwood，and L.S.Davis.W4：Real-time surveillance of people and their activities.IEEE Trans.Pattern Analysis and Machine Intelligence，Vol.22，No.8，pp.809-830，2000)所描述的运动检测方法来检测捕获的图像中是否存在运动物体。

图4A到4D是描述前景物检测过程的示意图。如图4所示，在如图4A所示的背景图像中出现运动物，如图4B所示。前景物检测单元230可以将图4A和4B的图像相减，即得到差图像，然后将覆盖了差图像的区域作为前景物区域，如图4D所示。

如果步骤S11的判断是肯定的，也就是上述的视频图像中存在前景物，则在步骤S12，计算单元240计算覆盖了前景物的矩形区域(也称为前景物区域，如图4D所示)之间的一致性度量，也就是计算例如由A摄像机所拍摄的视频图像中的前景物和由B摄像机所拍摄的视频中的相应前景物之间的一致程度。然后，在步骤S14，前景物区域选择单元250基于计算的一致性度量选择适当的前景物区域作为目标区域，用于后续的全景视频生成。这里，一致性度量包括但不限于前景物区域之间的空间关系，前景物区域之间的纹理相似度，前景物区域之间的运动关系，前景物区域之间的内容相似度。

对于每个前景物区域，将其表示为R(x_lt，y_lt，x_rb，y_rb)，其中(x_lt，y_lt)是图像平面中的左上角的坐标，而(x_lt，y_lt)是图像平面中右下侧点的坐标。

例如，对于具有重叠区域的两幅图像L和R，每幅图像分别具有一组前景物区域L_Set＝{L₁，L₂，...，L_m}和R_set＝{R₁，R₂，...，R_n}，其中m和n是每组前景物区域中的前景物区域的数目，则计算一致性度量并选择前景物区域的过程如下：

(1)初始化：

(2)区域变换：根据公式(1)将所有运动物的坐标变换到参考平面中。

(3)空间关系判断：对于任一区域L_i∈L_Set，从R_set中寻找与其重叠的区域。如果该重叠区域是R_j，将(L_i，R_j)添加到OverlapSet，OverlapSet＝OverlapSet∪{(L_i，R_j)}。如果对于L_i没有重叠区域，则L_Select＝L_Select∪{L_i}。对于任一区域R_i∈R_Set，执行类似的过程以便更新R_Select和OverlapSet。

(4)纹理相似度判断：对于OverlapSet中的每一区域对(L_i，R_j)，利用纹理相似度测量计算L_i和R_j之间的相似度sim(L_i，R_j)。如果sim(L_i，R_j)≤T，从OverlapSet中删除(L_i，R_j)。也就是OverlapSet＝OverlapSet\{(L_i，R_j)}。这里，sim(L_i，R_j)是L_i和R_j之间的直方图匹配得分，而T是测量两个前景物区域之间的纹理相似度的预定阈值。

(5)重叠区域选择：对于OverlapSet中的任一重叠区域对(L_i，R_j)如果L_i的面积大于R_j的面积，则L_Select′＝L_Select∪{L_i}；否则R_Select＝R_Select∪{R_j}。

换言之，基于所计算的一致性度量，从至少一个前景物区域中选择所述目标区域。针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆盖的面积比其他前景物区域大的前景物区域选择为目标区域。

另一方面，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将重叠的前景物区域缝合，作为目标区域。

鉴于背景视频帧存储器260中事先存储了背景帧，因此，在步骤S15，渲染单元270将选择的前景物区域渲染到背景视频帧中，形成全景视频。

在渲染过程中，为了与背景视频图像保持一致，渲染单元270将每个选择的前景物区域进行扩展，直到覆盖了其相邻图像的像素，通过使用图像变换矩阵，将扩展的前景物区域空间配准背景全景平面。然后，渲染单元270对配置的图像的像素的值进行调整，使得将前景物嵌入到背景全景平面中。这样，将前景物区域嵌入到缝合的背景视频中就产生了平滑的无伪像的合成视频。

作为另一实施例，在不同视频图像中仅有一幅视频图像中包含前景物的情况下，将包含该前景物的区域渲染到背景视频帧中。

另一方面，如果捕获的视频图像中没有前景物，则在步骤S13，判断是否更新背景视频帧存储器260中所存储的背景视频帧。

如果需要更新背景视频帧，则在步骤S16，缝合单元220根据图像变换存储器130中存储的图像变换参数，对视频图像进行缝合，以便更新背景视频帧。图3A到3D示出了根据本发明的实施例的设备所创建的背景视频图像的示意图。如图3D所示，将如图3A，图3B和图3C所示的输入背景图像缝合后产生背景视频图像。

如上所述，在缝合过程中可以更新背景视频帧。图5和图6分别是描述两种不同的选择背景帧并更新背景视频帧的过程的示意图。

如图5所示，缝合单元220可以周期地选择一些不含前景物的背景帧进行缝合，以更新之前在背景视频帧存储器260中的背景视频帧。

例如，在t(0)时刻，t(0)+T时刻，t(0)+2T时刻，......，t(0)+nT时刻，对来自不同视频源Sv(1)，Sv(2)，......，Sv(k)的视频图像进行缝合，以更新背景视频帧。注意，在周期更新背景视频的情况下，即使视频图像中存在了前景物，缝合单元220也将相应时刻的视频图像进行缝合来更新背景视频。由于后续的选择和渲染过程将会去除由此引起的鬼影，所以这种方案是可行的。

另外，如图6所示，缝合单元220可以根据前景的变化程度来选择背景帧并更新背景视频帧。例如，如果捕获的视频帧中不含有任何前景物，则选择新的背景帧进行缝合，以便更新背景视频帧。如图6所示，缝合单元220仅仅在自不同视频源Sv(1)，Sv(2)，......，Sv(k)的视频图像中不含有前景物时，即时刻t(0)，t(1)，......，t(i)和t(j)，才对视频图像进行缝合，以便更新背景视频帧。

图7示出了利用本发明的方法所获得结果图像与没有利用前景信息所缝合得到的结果图像之间的对比。图7A，图7B和图7C示出了输入的图像，图7D示出了根据本发明的方法所创建的全景视频的图像，而图7E示出了根据现有技术的方法所创建的全景视频的图像。从图7D中可以看出，本发明的方法可以有效地消除动态场景中的前景运动造成的鬼影(伪像)。

以上所虽然以功能模块的形式描述了本发明实施例的设备的构成及其功能，但是这并不意味着将本发明限定于上述的形式。本领域的普通技术人员能够将其中的一个或者多个模块进行组合，或者将其中的一个模块的功能分别在两个或者更多个模块中实现。

另外，上述的设备的功能模块可以由软件来实现，也可以由硬件来实现，或者由软件和硬件一起来实现。

另外，虽然作为本发明实施例之一的设备可以作为软件或者硬件来实现。但是在作为软件来实现的情况下，相应的程序可被存储在记录介质上，例如光存储器件或者磁存储器器件等，通过CPU执行该程序来实现本发明。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (23)

1.一种处理视频图像的方法，该视频图像是从不同视点捕获的，并且具有重叠区域，所述方法包括步骤：

检测视频图像中是否含有前景物；

在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及

将目标区域渲染在背景视频帧中以创建全景视频；

所述方法还包括步骤：计算前景物区域之间的一致性度量，其中所述选择步骤包括：基于所计算的一致性度量，从至少一个前景物区域中选择所述目标区域。

2.如权利要求1所述的方法，还包括步骤：缝合所述视频图像，以便更新所述背景视频帧。

3.如权利要求2所述的方法，其中，在视频图像中不包含前景物的情况下，缝合所述视频图像，以便更新所述背景视频帧。

4.如权利要求2或3所述的方法，其中所述缝合步骤包括基于事先计算的变换参数缝合所述视频图像的步骤。

5.如权利要求2或3所述的方法，其中周期性地更新所述背景视频帧。

6.如权利要求1所述的方法，其中，在不同视频图像中仅有一幅视频图像中包含前景物的情况下，将包含该前景物的区域渲染到背景视频帧中。

7.如权利要求6所述的方法，其中所述一致性度量包括以下至少之一：

前景物区域之间的纹理相似度，前景物区域之间的运动关系。

8.如权利要求1所述的方法，其中将视频图像中出现的运动物检测为前景物。

9.如权利要求1所述的方法，其中，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆盖的面积比其他前景物区域大的前景物区域选择为目标区域。

10.如权利要求1所述的方法，其中，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将重叠的前景物区域缝合，作为目标区域。

11.如权利要求1所述的方法，其中所述渲染步骤包括：

将扩展前景物区域与背景视频帧配准，所述扩展前景物区域覆盖了目标区域并且面积比目标区域大；以及

调整经配准的扩展前景物区域和背景视频帧中的像素的值，以便将该扩展前景物区域嵌入到背景视频帧中，以创建全景视频。

12.一种处理视频图像的设备，该视频图像是从不同视点捕获的，并且具有重叠区域，所述设备包括：

检测装置，检测视频图像中是否含有前景物；

选择装置，被配置成在视频图像中含有前景物的情况下，对于每个前景物，从不同视频图像的、包含该前景物的至少一个前景物区域中选择一个前景物区域作为目标区域；以及

渲染装置，被配置成将目标区域渲染在背景视频帧中以创建全景视频；

所述设备还包括：计算装置，计算前景物区域之间的一致性度量，其中所述选择装置被配置成，基于所计算的一致性度量，从至少一个前景物区域中选择所述目标区域。

13.如权利要求13所述的设备，还包括：缝合装置，被配置成缝合所述视频图像，以便更新所述背景视频帧。

14.如权利要求13所述的设备，所述缝合装置还被配置成，在视频图像中不包含前景物的情况下，缝合所述视频图像，以便更新所述背景视频帧。

15.如权利要求13或14所述的设备，其中所述缝合装置还被配置成，基于事先计算的变换参数缝合所述视频图像。

16.如权利要求13或14所述的设备，其中所述缝合装置还被配置成周期性地更新背景视频帧。

17.如权利要求12所述的设备，其中，如果在不同视频图像中仅有一幅视频图像中包含前景物，则所述渲染装置将包含该前景物的区域渲染到背景视频帧中。

18.如权利要求12所述的设备，其中所述一致性度量包括以下至少之一：

前景物区域之间的纹理相似度，前景物区域之间的运动关系。

19.如权利要求12所述的设备，其中所述检测装置还被配置成将视频图像中出现的运动物检测为前景物。

20.如权利要求12所述的设备，其中所述选择装置还被配置成，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量高于预定的阈值，将覆盖的面积比其他区域大的区域选择为目标区域。

21.如权利要求12所述的设备，其中，所述选择装置还被配置成，针对不同视点的视频图像中的重叠的前景物区域，如果重叠的前景物区域之间的一致性度量低于预定的阈值，则将重叠的前景物区域缝合，作为目标区域。

22.如权利要求12所述的设备，其中所述渲染装置还被配置成，将扩展前景物区域与背景视频帧配准，所述扩展前景物区域覆盖了目标区域并且面积比目标区域大；以及

调整经配准的扩展前景物区域和背景视频帧中的像素的值，以便将该扩展前景物区域嵌入到背景视频帧中，以创建全景视频。

23.一种视频系统，包括：

分布在不同位置的多个摄像机，用于捕获具有重叠区域的视频图像；

如权利要求12-22之一所述的设备，用于处理所捕获的视频图像。

Images