CN101923709B - 图像拼接方法与设备 - Google Patents

Abstract

公开了一种对图像进行拼接的方法和设备，用于快速对图像进行拼接，并且不会降低拼接的图像的质量。该方法包括步骤：确定第一图像和第二图像之间的拼缝；将第一图像和第二图像的像素划分为前景像素和背景像素；基于所述拼缝对第一图像和第二图像的前景像素进行拼接；以及对背景像素进行变形，使其与拼接后的前景像素融合。本发明的方法具有算法简单、速度快的特点。由于采用分层拼接，并用背景变形来适应前景拼接，消除了视觉不一致性，拼接质量较高。

Description

图像拼接方法与设备

技术领域

本发明涉及一种图像拼接技术，具体涉及一种图像拼接方法和设备。

背景技术

将在不同角度或位置拍摄的图像无缝地拼接起来，形成一幅高分辨率全景图的技术称为图像拼接。图像拼接技术研究是计算机视觉研究的一个重要领域。该技术有着广泛的用途，例如卫星图像或航拍图像的合成、全景虚拟场景的建立、照片编辑等。随着该领域技术的进步，图像拼接已经进入到人们的日常生活，例如在数字相机中，全景图合成已经成为了一项数字相机的功能。

视频拼接是一种特殊的图像拼接技术。视频拼接的目的是合成来自不同视频源的视频图像，得到一个高分辨率的广角视频。随着电子工业的飞速发展，大尺寸显示器迅速进入到人们的日常生活。随之而来的一个问题是如何获取越来越高分辨率的视频数据。由于有了大尺寸显示器，人们希望在一个视窗上看到的内容越来越丰富。这就导致了要求视频的视野要足够大，从而产生大尺度广角视频的需求。面对这些需求，视频拼接技术是一个可能的解决方案。通过视频拼接，可以将单个较低分辨率的视频合成高分辨率广角视频。在视频监控领域，如果能够提供大规模的视野覆盖，将极大提高监控系统的效率。在一些面积比较大的地方，如大型超级市场、街道、大型建筑物内部，都需要这种具备大尺度视野覆盖的视频采集装置。这同样需要视频拼接技术的支持。此外，在视频会议中，人们习惯看到的是类似人眼范围的广角视频。这也需要视频拼接提供相应的技术。

图像拼接将来自多个视点的源图像进行合成。经过合成后的图像就像在一个视点拍摄的一样。因此，图像拼接技术首先需要确定源图像之间的几何位置关系。根据几何关系，拼接算法就能确定源图像的像素在合成图像中的位置。一般来说，在合成图像中，由于源图像之间可能存在重叠，所以要将重叠部分进行单独处理以保证合成图像的像素具有视觉的一致性。图像拼接的一个基本问题是计算源图像之间的几何位置关系。然而，精确的几何关系计算需要知道景物的三维信息。从图像中恢复三维信息是一个病态问题，不能获得一个准确且稳定的解。所以，在图像拼接中，几何位置关系计算往往采用近似计算，比如将景物近似为一个平面。由于采用近似计算，图像重叠部分就会出现视差。其直接结果就是在合成图像上，两个源图像在接缝位置出现不一致的情况，进而导致合成图像中出现一条明显的拼缝。更为严重的是，在合成图像中，接缝附近物体可能出现重复或者缺失。这种严重的视觉不一致的情况被称为鬼影效应。一个好的图像拼接算法就是要尽可能地消除鬼影效应以及明显的拼缝。

视频拼接在原理上可以直接使用图像拼接技术。其基本做法是采用图像拼接技术逐帧合成图像。然而，一般来说，高质量的图像拼接算法往往采用高精度的几何计算方法。这些方法比较耗时，很难达到实时效果，只能用于离线的视频拼接应用。因此，视频拼接算法的另一个问题是如何提供一种既快又具有较高拼接质量的方法。

概括来说，图像拼接的步骤是首先确定一个合适的数学模型来描述图像之间的几何关系，即确定一副图像到另一幅图像的坐标的变换。根据这个数学模型，采用参数估计方法实现对模型参数的估计。根据估计到的模型参数，将源图像变换到合成图像的坐标上去。在合成图像坐标，相邻的源图像之间的重叠区域要无缝地混叠起来。这种混叠要能够处理视差、镜头变形、场景运动、曝光差别等。文献1(Richard Szeliski.Image Alignment and Stitching：A Tutorial.Foundations and Trends in Computer Vision，Vol.2，No.1，pp.1-104，2006)对图像拼接算法提供了一个完整的综述。除了采用参数模型来描述图像之间的几何关系外，也可以采用光流来描述图像之间的几何关系，参见文献2(J.Shade，S.Gortler，L.-W.He，and R.Szeliski.Layered depth images.ACM Trans.Graph.，pages 231-242，1998)。具体来说，就是建立相邻图像之间像素级的对应。由于光流计算结果精度不高且不稳定，因此需要通过分层的方式来约束计算结果并实现图像拼接，参见文献3(Ke Colin Zheng，Sing Bing Kang，Michael F.Cohen，Richard Szeliski，″Layered Depth Panoramas，″cvpr，pp.1-8，2007IEEE Conference on Computer Vision and Pattern Recognition，2007)。

视频相对与静止图像来说存在时间上的相关性，因此，视频拼接方法可以利用图像之间的时间相关性来加速拼接。在采用运动补偿的压缩视频中，由于运动宏块之间含有初步的块匹配信息，这种信息就可以直接用来粗略计算当前的模型参数，参见文献4(TomoyukiShimizu，Akio Yoneyama，Yasuhiro Takishima.A Fast Video StitchingMethod for Motion-Compensated Frames in Compressed Video Streams.Proceeding of International Conference on Consumer Electronics，pp.173-174，2006)。然而，这样的参数计算并不精确，还需要一个额外的块匹配和一个全局运动估计来提高参数估计的精度。文献5(PatrickPan，Tatsumi Mitsushita，Christine Lin，Benjamin Kuo.Optimized VideoStitching Method.US Patent Application Publication，No.US2007/0211934A1，Sep.2007)则利用历史信息来加速视频拼接。在系统初始化过程中，图像之间的模型参数被记录下来，随后的视频帧拼接则利用历史模型参数实现拼接。

两幅图像拼接起来的方法是图像拼接最简单的例子。图像拼接的首要条件是这两幅图像拥有共同的图像内容，即重叠区。也就是说，这两幅图像中部分内容是来自于同一个场景中的部分内容。正是由于重叠区域的存在，才能将两个图像的按重叠区合并，最终将两个图像拼接成一个图像。所以，图像拼接算法就是要确定两个图像之间的重叠区域，并根据重叠区的位置在一个统一的坐标系下确定两幅图像的位置。两幅图像之间的几何关系可以用一个几何变换来表示，通过这个几何变换，一幅图像被变换到另外一幅图像(参考图像)的坐标上去。如果目标图像坐标不是参考图像的坐标，则可将拼接后的图像再按照参考图像坐标到目标图像坐标的映射再进行一次坐标变换。在共同的图像坐标下，重叠区的图像像素拥有唯一的坐标。在描述两幅图像之间几何变换的数学模型时，一个普遍做法是将场景近似为一个平面。这样，两幅图像之间的几何关系就可以用一个Homography矩阵来描述。设两幅图像分别为I和I’，X＝(x，y，l)和X′＝(x′，y′，l)分别为I和I’中一个像素的齐次坐标，H为将I’中的像素坐标映射到I中像素的坐标变换，于是

Xt＝HX′    ……(1)

其中H为3x3的实数矩阵。图1给出该坐标变换的例子。从图1中可以看出，I’经过H矩阵的变换，形状发生了变化。H矩阵是一个保线映射，拥有8个参数。H矩阵具有如下的形式：

$h=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]......\left(2\right)$

一旦确定了H矩阵，则只需要将I’图像变换到I图像的坐标系下，就可以实现拼接。在一些特殊情况下，H矩阵可能有不同的参数个数，比如在相机只有旋转或平移的情况。确定H中参数值的过程称为参数估计，可采用直接方法或基于特征点的方法，参见文献1。

然而，在计算H矩阵的过程中，往往需要经过较长计算时间才能获得较为准确的估值。另一方面，由于H矩阵往往有较多的参数，算法的解比较难于获得一个最优解。于是，一种等效的做法是将图像校正后直接计算两幅校正图像在X轴的平移。通过图像校正，两幅校正后的图像像素在Y轴完全对应。因此，像素之间的对应只发生在X轴上。这种先校正后计算的做法在图像深度计算中经常用到。通过图像校正，两幅图像之间的像素匹配只发生在X轴，故能够极大降低图像匹配的计算量。对于图像拼接来说，在校正后的图像平面，两幅图像之间只有X轴上的平移。因此，图像之间的几何变换退化为一个简单的平移模型。

设I_c和I_c′分别是图像I和I’校正后的图像，p_c＝(x，y)和p_c′＝(x′，y′)分别为I_c和I_c′中的一个像素的齐次坐标，则p_c和p_c′的像素之间的坐标变换为

$\left\{\begin{array}{c}x=x^{\′}+d_x\\ y=y^{\′}\end{array}\right.......\left(3\right)$

其中，d_x为像素p_c′在X轴上相对与像素p_c的偏移值。在校正后的图像平面，图像拼接可以通过在X轴上的图像平移来实现。图2给出了在校正平面拼接的例子。如图2所示，图像校正的坐标变换仍然可以用一个Homography矩阵来表示，参见文献6(R.Hartley，A.Zisserman，Multiple View Geometry in Computer Vision，CambridgeUniversity Press，Mar.2004)，其中H_c和H_c’是分别是作用到I和I’的校正矩阵。在校正平面得到的拼接图像同直接利用H矩阵获得的拼接图像的不同之处是校正平面得到的拼接图像是以参考图像校正后的坐标为参考坐标系。所以，可以将拼接后的图像用校正矩阵的逆矩阵来作用，就可以得到如图1右边所示的拼接结果。在图2中，D_x为综合所有重叠区像素的偏移值d_x所计算出来的全局偏移值，一般取所有d_x的均值。在实际计算中，如果计算所有像素的d_x，同样会非常耗时。因此，可以选择一些有代表性的点来计算d_x，如SIFT特征点，参见文献7(M.A.Brown，Multi-Image Matching Using InvariantFeatures，Ph.D.Dissertation，the University of British Columbia，2005)。由于噪声的存在，需要采用鲁棒的方法来计算D_x，如RANSAC算法，参见文献6。

采用参数模型的图像拼接方法具有算法相对简单，质量好的特点。因此这种方法被广泛研究，涌现出大量的研究成果。然而，这种方法对视差比较敏感，拼接的图像容易出现鬼影效应。采用光流技术的图像拼接算法能够有效处理鬼影效应，但光流计算非常耗时且不稳定。拼接图像质量相对不高。将光流计算分层能够提高光流计算的精度和稳定性，但是由于图像分割同样是一个病态问题。因此，不精确的光流计算会引起新的视觉不连续性，比如边缘不清晰、虚影等。

从计算量的考虑，视频拼接算法往往从基于参数模型的图像拼接算法衍生过来，因此也容易出现鬼影效应和明显的拼缝。

发明内容

本发明的目的是提供一种图像拼接方法和设备，以便提高图像拼接质量。

本发明的一个方面提供了一种对图像进行拼接的方法，包括步骤：确定第一图像和第二图像之间的拼缝；将第一图像和第二图像的像素划分为前景像素和背景像素；基于所述拼缝对第一图像和第二图像的前景像素进行拼接；以及对背景像素进行变形，使其与拼接后的前景像素融合。

本发明的另一方面提供了一种拼接图像的设备，包括：配准装置，确定第一图像和第二图像之间的拼缝；划分装置，将第一图像和第二图像的像素划分为前景像素和背景像素；拼接装置，基于所述拼缝对第一图像和第二图像的前景像素进行拼接；以及变形装置，对背景像素进行变形，使其与拼接后的前景像素融合。

本发明的方法具有算法简单、速度快的特点。由于采用分层拼接，并用背景变形来适应前景拼接，消除了视觉不一致性，拼接质量较高。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1示出了坐标变换的例子；

图2示出了在校正平面拼接的例子；

图3示出了根据本发明实施例的图像拼接设备的结构框图；

图4示出了根据本发明实施例的图像拼接方法的流程图；

图5示出了前景像素和背景像素划分的例子；

图6示出了基于对拼缝位置的像素进行变形的例子；

图7示出了对多于两幅的图像进行拼接的例子；

图8示出了视频拼接的例子；以及

图9示出了在视频拼接的过程中使用的索引表的例子。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

如上所述，现有的图像拼接方法由于没有处理重叠区域的视差，因此在拼缝位置可能会出现内容的不一致，严重的会出现鬼影效应。因此，必须处理同估计得到的水平偏移值不一致的像素的视差。要处理视差，就需要对每个像素计算其光流。用光流是处理视差的最好办法，但这会导致计算量剧增。为此，本实施例提出一种简单的处理方法来消除视差效果。

根据本发明的实施例，将图像分为前景和背景两个层。前景和背景被分别行拼接。拼接后的背景层再通过变形的方式同已经拼接的前景层无缝地合并起来。

根据本发明的实施例，只处理拼缝位置像素的视差，从而减少了计算量。这种方法的思想在于只要拼缝位置的视差被消除，其它区域的视觉不一致性是不明显的。

图3示出了根据本发明实施例的图像拼接设备的结构框图。如图3所示，该图像拼接设备包括：存储设备111、特征提取和匹配单元112、校正矩阵计算单元113、估计单元114、偏移计算单元115、划分单元116、拼接单元117和变形单元118。

存储设备111中存储了待拼接的图像，这些图像中的至少两幅之间具有重叠区域。

特征提取和匹配单元112、校正矩阵计算单元113、估计单元114和偏移计算单元形成为配准装置，它用于确定待拼接的图像之间的拼缝的位置。划分单元116将待拼接的图像的像素划分为前景像素和背景像素。缝合单元117基于所述拼缝对待拼接的图像的前景像素进行拼接。变形单元118对背景像素进行变形，使其与拼接后的前景像素融合。

配准装置中的校正矩阵计算单元113计算待拼接的图像的校正矩阵以便根据该校正矩阵配准待拼接的图像，使得图像在列方向上对齐，并且估计单元114估计待拼接的图像在行方向的相对距离，即水平偏移值D_H，以便确定拼缝的位置。

根据本发明的实施例，特征提取和匹配单元112对待拼接的图像进行特征提取，取得各自的特征，并且匹配针对待拼接的图像所取得的特征。然后，基于匹配的特征点之间的距离来确定图像之间的拼缝位置。

根据本发明的实施例，划分单元116基于颜色或者灰度值将拼缝位置处的像素划分为前景像素和背景像素。

根据另一实施例，划分单元116将拼缝位置处像素之间的相对距离等于两幅图像之间的相对距离的像素判断为前景像素，而将拼接位置处的其他像素判断为背景像素。拼接单元117根据拼缝位置对背景图像进行拼接。

根据本发明的实施例，偏移位置计算单元115计算拼缝位置处的像素之间的实际偏移量，而变形部分118对实际偏移量大于两幅图像之间的相对距离的像素按行进行收缩，而对实际偏移量小于两幅图像之间的相对距离的像素按行进行拉伸。

图4示出了根据本发明实施例的图像拼接方法的流程图。

在步骤S11，特征提取和匹配单元112对待拼接的图像进行特征提取，取得各自的特征，并且匹配针对待拼接的图像所取得的特征。

然后，在步骤S12，校正矩阵计算单元113计算待拼接的图像的校正矩阵以便根据该校正矩阵配准待拼接的图像，使得图像在列方向上对齐。

在步骤S13，估计单元114估计待拼接的图像在行方向的相对距离，即两幅图像之间的水平偏移值，以便确定拼缝的位置。

在步骤S14，偏移计算单元115计算拼缝位置处的像素之间的实际偏移量，也就是两幅图像上拼缝处的相应像素在水平方向的实际偏移值。

在步骤S15，划分单元116将拼缝位置处像素之间的相对距离等于两图像之间的相对距离的像素判断为前景像素，而将拼接位置处的其它像素判断为背景像素。

在步骤S16，拼接单元117根据拼缝位置对背景图像进行拼接。

在步骤S17，变形部分，对实际偏移量大于两幅图像之间的相对距离的像素按行进行收缩，而对实际偏移量小于两幅图像之间的相对距离的像素按行进行拉伸。

根据本发明的实施例，首先由特征提取和匹配单元112在拼缝位置计算两个源图像像素的匹配。根据拼缝像素匹配的结果和计算的D_H，将拼缝像素划分为前景像素和背景像素两类。如果一个拼缝像素的匹配同D_H不符合，则该像素称为背景像素，否则称为前景像素。图5给出了前景背景划分的例子。如图5所示，如果像素同D_H相符，则两幅图像的像素就完全在拼缝位置对应起来。如果不符，则这两个像素会产生一个新的偏移量。在校正坐标系下，拼缝像素的匹配可以表示为：

$\left\{\begin{array}{cc}x=x^{\′}+D_H& \mathrm{ifp}\∈F\\ x=x^{\′}+D_H+\mathrm{\Δ}{d}_H& \mathrm{ifp}\∈B\end{array}\right.......\left(4\right)$

其中F和B分别表示前景和背景像素的集合。p为两幅源图像在拼缝位置的像素点，x和x′分别是像素点p在各自校正图像上的坐标。D_H+Δd_H为背景像素的实际偏移量，也就是两幅图像的相应像素在水平方向的实际偏移值，而Δd_H被称为两幅图像在拼缝上的像素之间的实际偏移值对两幅图像之间的相对距离的偏差。因此，可通过对D_H的判断来区分前景和背景像素。如图5所示，拼缝的白色区域表示背景像素，灰色区域表示前景像素。

对前景像素的一个直观解释就是在校正图像平面上，该像素拼接的位置就是位于由D_H决定的拼缝位置。对背景像素而言，其像素的真实拼接位置并不位于拼缝上。如果我们仍旧强制使用当前的拼缝位置，则在拼缝位置的像素就是不匹配的像素，导致拼缝处的背景部分出现视觉的不一致。因此，我们的策略是按照D_H来拼接前景像素。背景像素的拼接位置则通过变形来将拼缝定位到前景的拼缝位置。这种策略的目地就是消除公式(4)中的Δd_H。通过按行的图像缩放，可以使得背景像素的拼缝变换到前景拼缝的位置。对于背景像素，Δd_H有两种情况：一种是Δd_H小于零，则表示图像需要放大；相反，Δd_H大于零，图像需要缩小。这里，根据前景和背景像素的划分，可以将源图像不在拼缝位置的像素按行分割成不同的区域，这些区域被称为前景和背景区域。在背景区域，通过图像按行缩放的方式就可以消除背景在拼缝位置的视觉不一致性。这种背景的按行缩放的方式称为背景区域的变形。由于每一行都会有自己的Δd_H，这种变形是非线性的。图6给出了背景形变的例子。

综上所述，分层图像拼接方法的实施例如下：

(1)抽取源图像中的特征点，并计算特征点之间的匹配。

(2)利用特征点匹配的结果，计算图像的校正矩阵H_c和H_c’。

(3)将特征点坐标变换到校正图像平面。

(4)在校正图像平面利用匹配的特征点估计D_H。

(5)在校正图像平面由估计好D_H的确定拼缝位置，拼缝位置为两个图像中心的中间。

(6)在拼缝位置，重新计算拼缝位置像素的Δd_H。Δd_H的计算可以采用块匹配的方法实现。

(7)根据Δd_H分类拼缝像素。如果Δd_H接近零，则该像素判断为前景像素；否则，为背景像素。

(8)根据Δd_H，按行拉伸或收缩源图像，获得在校正图像坐标系下的拼接图像。

(9)将合成图像用H_c ^-1进行坐标变换，就可以获得在I图像坐标系下的拼接图像。

多幅图像的拼接包括两种情况，第一种情况是以一幅图像作为参考，其它图像拼接到这幅参考图像上。第二种情况是多幅图像之间存在两两相邻的情况。对第一种情况，拼接方法是反复利用两幅图像拼接方法，将其它图像一幅一幅地拼接到参考图像上。对第二种情况的做法则是利用相邻两幅图像之间的拓扑关系实现拼接。首先以一幅图像作为参考图像，将与该图像相邻的图像拼接到该图像的平面上。然后，再将拼接好的图像拼接到其参考图像对应的参考图像上去。图7给出了三幅图像拼接的例子。其中，图像I”和I’的参考图像分别是图像I’和I。

如图7所示，首先将I”图像拼接到I’的图像平面形成M₀。然后将M₀按照图像I’拼接到I的方式拼接到图像I，形成拼接图像M₁。因此，多幅图像拼接是一个通过图像的空间拓扑结构，将图像序列地拼接到最终的参考图像平面的过程。

由于对实时性的要求，视频拼接需要快速的帧拼接方法。本发明实施例的拼接方法非常适合扩展到视频拼接应用。首先，图像的校正变换矩阵的参数估计可以在系统初始化完成。另外，图像的坐标变换可以用索引来加速，如图9所示。本实施例的方法能够同索引紧密结合起来。在形成拼接图像时，源图像同拼接图像之间的像素对应的更新只需要一个平移就能完成(见公式4)。背景的变形也只会对每个背景区域像素产生一个平移量。因此，算法是用线性的加法运算用于实际的像素坐标变换，这极大提高了帧拼接的速度。另外，特征点检测和特征点匹配也是两个耗时的计算。在视频拼接算法中，我们采用不同的前景背景判断方式，避免了这两步计算，进一步降低了计算量。

在视频的情况下，本发明实施例的拼接方法分为两个阶段：初始化和帧拼接。在初始化阶段，如步骤S21、S22、S23、S24和S25，算法计算图像拼接所用到的所有坐标变换，即图像校正变换和DH。在帧拼接阶段，如步骤S31、S32、S33、S34、S35和S36，首先是在原来拼缝位置计算像素匹配，然后再根据像素匹配的结果划分前景与背景。图8给出了视频拼接算法的框图。

视频拼接在初始化阶段可以不做实际的拼接，只需要将后续帧拼接用到的数据得到就可以了。视频拼接与图像拼接的主要差别在后续帧的拼接上。后续帧拼接要尽可能利用初始化过程中的运算结果以降低自身的运算。因此，后续帧拼接只是在拼缝位置计算像素匹配，并实现前景背景的判断。这里的背景被重新定义。背景像素定义为同初始化阶段拥有一致D_H的那些像素，而前景像素则定义成Δd_H不为零的像素。后续帧的拼接并不直接估计新的D_H值D_H’。D_H’是通过前景像素匹配得到的Δd_H的均值Δd_H估算：

    D_H′＝D_H+Δd_H    ……(5)

随后的前景拼接，背景变形以及用H_c ^-1逆校正拼接后的图像都等同与先前的图像拼接方法。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (16)

1.一种对图像进行拼接的方法，包括步骤：

确定第一图像和第二图像之间的拼缝；

将第一图像和第二图像的像素划分为前景像素和背景像素；

基于所述拼缝对第一图像和第二图像的前景像素进行拼接；以及

对背景像素进行变形，使其与拼接后的前景像素融合；

其中，确定第一图像和第二图像之间的拼缝的步骤包括：

配准第一图像和第二图像，使得第一图像和第二图像在列方向上对齐；以及

估计第一图像和第二图像在行方向上的相对距离，以确定第一图像和第二图像的拼缝；

其中，将拼缝处像素之间的相对距离等于第一图像和第二图像在行方向上的相对距离的像素判断为前景像素，而将拼缝处的其他像素判断为背景像素。

2.如权利要求1所述的方法，其中所述估计步骤包括：

对第一图像和第二图像进行特征提取，取得各自的特征；

匹配针对第一图像所取得的特征和针对所述第二图像取得的特征；

基于匹配的特征点之间的距离来确定第一图像和第二图像的拼缝。

3.如权利要求1所述的方法，其中所述划分步骤包括：

基于颜色或者灰度值将拼缝处的像素划分为前景像素和背景像素。

4.如权利要求1所述的方法，其中所述变形步骤包括：

计算拼缝处的像素之间的实际偏移量；

对实际偏移量大于所述相对距离的像素按行进行收缩，而对实际偏移量小于所述相对距离的像素按行进行拉伸。

5.如权利要求1所述的方法，其中

基于所述拼缝拼接第一图像之后的图像和第二图像之后的图像。

6.如权利要求5所述的方法，还包括：

针对第一图像之后的图像和第二图像之后的图像计算拼缝处像素之间的实际偏移量；

基于所述实际偏移量来更新所述相对距离。

7.如权利要求6所述的方法，其中所述更新步骤包括：

计算拼缝处像素之间的实际偏移量的均值；

将所述均值与所述相对距离相加，来更新所述相对距离。

8.如权利要求6所述的方法，还包括：

形成记录了拼缝处的像素的相对位置的索引列表；

借助于所述索引列表来对第一图像之后的图像和第二图像之后的图像进行拼接。

9.一种拼接图像的设备，包括：

配准装置，确定第一图像和第二图像之间的拼缝；

划分装置，将第一图像和第二图像的像素划分为前景像素和背景像素；

拼接装置，基于所述拼缝对第一图像和第二图像的前景像素进行拼接；以及

变形装置，对背景像素进行变形，使其与拼接后的前景像素融合；

其中，配准装置包括：

配准单元，配准第一图像和第二图像，使得第一图像和第二图像在列方向上对齐；以及

估计单元，估计第一图像和第二图像在行方向上的相对距离，以确定第一图像和第二图像的拼缝；

其中，划分装置将拼缝处像素之间的相对距离等于第一图像和第二图像在行方向上的相对距离的像素判断为前景像素，而将拼缝处的其他像素判断为背景像素。

10.如权利要求9所述的设备，其中所述估计单元包括：

特征提取单元，对第一图像和第二图像进行特征提取，取得各自的特征；

特征匹配单元，匹配针对第一图像所取得的特征和针对所述第二图像取得的特征；

其中，基于匹配的特征点之间的距离来确定第一图像和第二图像的拼缝。

11.如权利要求9所述的设备，其中所述划分装置基于颜色或者灰度值将拼缝处的像素划分为前景像素和背景像素。

12.如权利要求9所述的设备，还包括计算单元，计算拼缝处的像素之间的实际偏移量；其中，变形单元对实际偏移量大于所述相对距离的像素按行进行收缩，而对实际偏移量小于所述相对距离的像素按行进行拉伸。

13.如权利要求9所述的设备，其中基于所述拼缝拼接第一图像之后的图像和第二图像之后的图像。

14.如权利要求13所述的设备，还包括：计算单元，针对第一图像之后的图像和第二图像之后的图像计算拼缝处像素之间的实际偏移量；

所述设备还包括更新装置，基于所述实际偏移量来更新所述相对距离。

15.如权利要求14所述的设备，其中所述计算单元计算拼缝处像素之间的实际偏移量的均值，并且更新单元将所述均值与所述相对距离相加，来更新所述相对距离。

16.如权利要求14所述的设备，还包括：存储器，存储记录了拼缝处的像素的相对位置的索引列表；

其中，借助于所述索引列表来对第一图像之后的图像和第二图像之后的图像进行拼接。

Images