CN101859433B

CN101859433B - 图像拼接设备和方法

Info

Publication number: CN101859433B
Application number: CN 200910133540
Authority: CN
Inventors: 张洪明; 曾炜
Original assignee: NEC China Co Ltd
Current assignee: NEC China Co Ltd; Renesas Electronics China Co Ltd
Priority date: 2009-04-10
Filing date: 2009-04-10
Publication date: 2013-09-25
Anticipated expiration: 2029-04-10
Also published as: CN101859433A

Abstract

公开了一种图像拼接设备和方法。在拼接图像的过程中，根据前景物体内容自适应地优化拼接线；以调整后的拼接线为基础，将前景物体和背景区域平滑地融合到全景图像中。这样，能够将不同视点角度的图像或视频合并成为大尺度的全景图像或视频，并且在动态场景下可以消除前景物体所导致的全景图像质量瑕疵。

Description

图像拼接设备和方法

技术领域

本发明涉及图像拼接，具体涉及一种图像拼接设备和方法，用于静止图像拼接中或者视频拼接中。

背景技术

随着社会需求的发展和电子信息技术的进步，人们在日常生活中越来越普遍地使用各种各样的图像采集设备，例如监控摄像机、数码摄像机、数码相机、网络摄像机、手机相机等等。这些图像采集设备的普及，给人们带来生活、娱乐和安全等方面的便利，同时也带来了新的需求：即人们如何以有效的方式来利用日益增长的数字多媒体信息。图像拼接和视频拼接技术提供了满足新需求的技术方案，可以生成清晰的大尺度全景图像或视频，为人们带来一览无余的视觉体验。

图像拼接和视频拼接的共同目的都是获得大尺度视野覆盖范围和超高分辨率的场景信息，不同之处在于各自的处理对象有所差别。图像拼接是将不同视点的静止图像合成获得全景图像的过程；而视频拼接将来自不同视点的运动图像序列作为输入，处理后的输出结果是全景视频。这些技术在工业界和日常生活中具有广阔的市场应用范围，包括图像管理和浏览、视频监控、人机交互、视频会议、视频编辑、视频游戏和娱乐等领域。

实际情况中的场景内容随着时间动态变化，可以归结为前景区域和背景区域等两种类型。前景区域中包含场景出现的动态物体，例如室内走动的人员、街道上行驶的车辆。背景区域则是场景中相对静止的内容，有时被前景物体遮挡。

在现有的图像拼接和视频拼接技术实际应用中，场景中包含的前景物体通常干扰拼接过程，导致拼接输出的全景结果中出现伪影和瑕疵等缺陷。究其原因是由于不同视点上观察角度存在深度信息的差异(即视差)，采集到的前景物体内容和背景区域内容存在不一致的深度信息，采用同样的拼接模型参数和拼接线，导致了前景物体和背景区域内容在合成图像上出现了瑕疵。

目前的图像拼接和视频拼接方法在实际应用场合中存在一些局限。其中之一就是处理动态场景时，运动物体经常导致拼接结果出现图像质量瑕疵。另外，目前很多图像拼接和视频拼接系统通常消耗大量的计算资源，无法达到实时运行速度的要求。

发明内容

本发明的目的是提供一种基于前景物体信息自适应调整和优化拼接线的技术。通过这种技术实现图像拼接和视频拼接，能够减少和消除图像拼接和视频拼接结果中出现的伪影和瑕疵等缺陷，提高全景图像质量。

在本发明的一个方面，提出了一种对图像进行拼接的方法，包括步骤：计算第一图像和第二图像之间的图像变换参数并利用该图像变换参数确定拼接线；确定第一图像和第二图像中的前景物体区域；从所述前景物体区域中选择一个前景物体区域；根据所选择的前景物体区域的信息来调整所述拼接线；以及利用所述图像变换参数和调整后的拼接线生成全景图像。

在本发明的另一方面，提出了一种对图像进行拼接的设备，包括步骤：计算装置，计算第一图像和第二图像之间的图像变换参数并利用该图像变换参数确定拼接线；检测装置，确定第一图像和第二图像中的前景物体区域；选择装置，从所述前景物体区域中选择一个前景物体区域；调整装置，根据所选择的前景物体区域的信息来调整所述拼接线；以及生成装置，利用所述图像变换参数和调整后的拼接线生成全景图像。

利用上述方法和设备，可以消除前景物体所引起的瑕疵，从而获得图像质量优良的全景图像或视频。

另外，利用前景内容为基础调整拼接线，可以保证图像拼接质量的内容完整性。

另外，上述的拼接方法和设备采用简单的原则进行拼接线调整，算法复杂度低，可以达到实时应用处理的速度要求。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1示出了根据本发明实施例的图像拼接设备的结构示意图；

图2示出了根据本发明实施例的图像拼接方法的操作过程的流程图；

图3示出了静止场景下的图像拼接实例：(a)(b)(c)分别是不同视点下的输入图像，(d)是合成图像；

图4示出了动态场景下的图像拼接实例：(a)(b)分别是不同视点下的输入图像，(c)是根据背景区域内容计算得到的图像变换参数和拼接线所合成的全景图像，(d)是根据前景物体计算得到的图像变换参数和拼接线所合成的全景图像，其中棕色多边形表示经过几何变换后的图像位置，绿色线段表示拼接线；

图5示出了前景物体合并的例子：(a)两幅输入图像(分别标记有前景物体)，(b)提取出来的前景物体，(c)合并后的前景物体；

图6是描述对拼接线进行调整的过程的示意图；

图7示出了图像拼接结果的例子：(a)两幅输入图像，(b)传统方法的拼接结果：原始拼接线，基于原始拼接线的全景图像，(c)调整后的拼接线以及基于调整后拼接线的全景图像，(d)本发明实施例的输出全景图像。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

根据本发明的实施方式，提出了一种基于前景物体信息的图像拼接和视频拼接新方法。在拼接图像的过程中，根据前景物体内容自适应地优化拼接线；以调整后的拼接线为基础，将前景物体和背景区域平滑地融合到全景图像中。

这样，能够将不同视点角度的图像或视频合并成为大尺度的全景图像或视频，并且在动态场景下可以消除前景物体所导致的全景图像质量瑕疵。

图1示出了根据本发明实施例的图像拼接设备的结构示意图。如图1所示，根据本发明实施例的图像拼接设备包括存储图像或者视频以及其他相关数据的存储设备111、检测前景物体的检测单元113、计算图像变换参数和拼接线位置的计算单元112、对检测的前景物体的区域进行聚类的聚类单元114、选择合适的前景物体图像区域的选择单元115、提取选择的前景物体区域中的诸如纹理信息、形状信息和/或轮廓信息的信息提取单元116、基于提取的信息对拼接线进行调整的拼接线调整单元117、基于图像变换参数对图像进行拼接以便得到背景全景图像的拼接单元118、以及按照调整后的拼接线将选择的前景物体图像合成到背景全景图像中并输出最终的全景图像的合成单元119。

下面参照图2对本发明的图像拼接设备的操作过程进行详细的描述。图2示出了根据本发明实施例的图像拼接方法的操作过程的流程图。

如图2所示，在步骤S11，计算单元112计算从存储设备中读取的两幅待拼接的图像的变换参数并确定相应的拼接线。图像变换参数描述了相邻两个视角下图像之间的几何关系，通常用3x3的矩阵表示。拼接线是全景图像平面上位于相邻图像之间的分割线，其位置与图像变换相关联。

例如，采用非专利文献(Matthew Brown，David G. Lowe.AutomaticPanoramic Image Stitching using Invariant Features.International Journal ofComputer Vision，74(1)，59-73，2007)中的方法计算图像变换参数。假设I₁和I₂是两幅相邻视点角度下采集的相互重叠的图像，那么图像变换的作用可以表示为：

X₂＝HX₁， (1)

其中，X₁和X₂分别是I₁和I₂图像平面上像素点的齐次坐标，H是3x3的矩阵，描述了I₁和I₂之间的几何变换关系(包括平移、旋转和尺度缩放)。I₁和I₂之间的拼接线根据H计算得到。

在图像拼接过程中，利用图像变换配准输入图像，在拼接线的两侧分别渲染不同的配准图像。图3是一个静止场景下的图像拼接的例子。图4是动态场景下的图像拼接的例子。

在步骤S12，检测单元113确定图像中的前景物体。对于静态图像而言，可以采用图像分割的方法或者用户通过交互式选定的方式来确定前景物体。对于动态图像例如视频而言，可以采用运动检测的方法来确定图像中的前景物体以及相应的包含该前景物体的图像区域。

由于图像中可能存在多个前景物体，或者存在同一前景物体的不同图像，在步骤S13，聚类单元114对确定的前景物体进行聚类。对于每一个前景物体区域，将它分割成为不同的物体，并赋予标号。位于不同输入图像中的相似程度高的前景物体被判别为同一个物体，并被赋予同一个类别标号。物体相似度可以利用物体的位置信息、形状信息和纹理信息等进行度量。

然后，在步骤S14，选择单元115从属于同一类别的前景物体图像中选择任意选择一个图像或者选择清晰度或者面积高于预定阈值的前景物体图像。

对拼接线进行调整的目的是保持前景物体在全景图像中的完整性，因此可以根据前景物体的图像信息来优化调整拼接线。这些信息包括前景物体图像区域中的形状信息、轮廓信息和纹理信息等。拼接线调整的过程就可以简化为：根据前景物体区域的形状和轮廓信息，调整拼接线，使其绕过前景物。

如图6所示，针对选择的前景物体区域，采用它们的形状和轮廓信息作为拼接线调整的基础信息。在步骤S15，信息提取单元116提取物体形状和轮廓信息或纹理信息等。具体所采用的方法包括运动检测和图像处理技术。设

和

分别是来自两幅不同视点下的输入图像中的前景物体图像，它们的形状和轮廓分别表示为(S1，C1)和(S2，C2)。原始拼接线表示为L_ori，调整后的拼接线表示为L_adj。在步骤S16，拼接线调整单元117对于L_ori上的任意点p(x，y)，L_adj上所对应点p′(x，y)的位置按照以下公式进行调整。

(a)Y坐标位置：

p′(y)＝p(y) (2)

(b)X坐标位置：

其中cp1(x，y)∈C1，且cp1(x，y)＝p(x)。

虽然上面给出的是在水平方向上调整拼接线的位置，但是根据本发明的实施例，也可以在垂直方向上调整拼接线的位置。

在步骤S17，拼接单元118按照图像变换参数拼接两幅图像，生成背景全景图像。

在步骤S18，合成单元119按照调整后的拼接线，将选择的前景物图像与背景全景图像在像素颜色值上进行综合，包括颜色混合和颜色插值等操作，构成最终的输出全景图像。

图7给出了本发明提供的图像拼接结果，以及其与传统方法作对比的示例。从中可以发现，本发明实施例的方法调整后的拼接线不但保持了前景物体与背景区域的内容一致性，同时保留了前景物体本身的完整性。所获得的动态场景下的合成图像减少了传统方法中出现的质量瑕疵。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种对图像进行拼接的方法，包括步骤：

计算第一图像和第二图像之间的图像变换参数并利用该图像变换参数确定拼接线；

确定第一图像和第二图像中的前景物体区域；

从属于同一类的前景物体区域中选择一个前景物体区域；

根据所选择的前景物体区域的信息来调整所述拼接线；以及

利用所述图像变换参数和调整后的拼接线生成全景图像；

所述调整所述拼接线的步骤包括：

提取所选择的前景物体区域的形状信息、轮廓信息和/或纹理信息；以及

基于所选择的前景物体区域的形状信息、轮廓信息和/或纹理信息来在水平或垂直方向上调整所述拼接线，使得所述拼接线绕过所选择的前景物体区域。

2.如权利要求1所述的方法，其中生成全景图像的步骤包括：

按照图像变换参数拼接第一图像和第二图像，生成背景全景图像；以及

按照调整后的拼接线将选择的前景物体区域合成到背景全景图像中。

3.如权利要求1所述的方法，还包括：

针对同一物体，对前景物体区域进行聚类。

4.如权利要求3所述的方法，其中从属于同一类的前景物体区域中选择一幅前景物体区域的步骤包括选择清晰度或面积高于预定阈值的前景物体区域。

5.如权利要求1所述的方法，其中所述确定第一图像和第二图像中的前景物体区域的步骤包括：

利用交互的方式或运动检测方法确定前景物体区域。

6.一种对图像进行拼接的设备，包括步骤：

计算装置，计算第一图像和第二图像之间的图像变换参数并利用该图像变换参数确定拼接线；

检测装置，确定第一图像和第二图像中的前景物体区域；

选择装置，从属于同一类的前景物体区域中选择一个前景物体区域；

调整装置，根据所选择的前景物体区域的信息来调整所述拼接线；以及

生成装置，利用所述图像变换参数和调整后的拼接线生成全景图像；

其中，所述调整装置包括：

提取单元，提取所选择的前景物体区域的形状信息、轮廓信息和/或纹理信息；

调整单元，基于所选择的前景物体区域的形状信息、轮廓信息和/或纹理信息来在水平方向或垂直方向上调整所述拼接线，使得所述拼接线绕过所选择的前景物体区域。

7.如权利要求6所述的设备，其中生成装置包括：

缝合单元，按照计算的图像变换参数拼接第一图像和第二图像，生成背景全景图像；以及

合成单元，按照调整后的拼接线，将选择的前景物体区域合成到背景全景图像中。

8.如权利要求6所述的设备，其中所述选择装置针对同一物体，对前景物体区域进行聚类。

9.如权利要求8所述的设备，其中选择装置选择清晰度或面积高于预定阈值的前景物体区域。

10.如权利要求6所述的设备，其中所述检测装置利用交互的方式或者运动检测方法确定前景物体区域。