CN102081796A - 图像拼接方法和装置 - Google Patents

Abstract

本发明提供了一种用于拼接图像的方法和设备。第一图像I₁对应于第一视点V₁，第二图像I₂对应于第二视点V₂，拼接方法包括：确定步骤，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定第一图像I₁与第二图像I₂之间的视点过渡区域；生成步骤，在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的伪视点，将视点过渡区域中的像素变换为对应于伪视点的像素，从而生成过渡像素；以及拼接步骤，将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接以形成拼接图像。

Description

图像拼接方法和装置

技术领域

本发明一般涉及计算机视觉技术，更具体地，本发明涉及用于图像拼接以及视频拼接的方法和装置。

背景技术

将在不同角度或位置拍摄的图像根据它们的空间位置关系无缝地拼接起来，形成一幅高分辨率全景图的技术称为图像拼接。图像拼接技术是计算机视觉研究的一个重要领域。该技术有着广泛的用途，例如卫星图像或航拍图像的合成、全景虚拟场景的建立、照片编辑等。随着该领域技术的进步，图像拼接已经进入到人们的日常生活。例如在数字相机中，全景图合成已经成为了一项数字相机的功能。

视频拼接是一种特殊的图像拼接技术。视频拼接的目的是合成来自不同视频源的视频图像，得到一个高分辨率的广角视频。随着电子工业的飞速发展，大尺寸显示器迅速进入到人们的日常生活。随之而来的一个问题是如何获取越来越高分辨率的视频数据。由于有了大尺寸显示器，人们希望在一个视窗上看到的内容越来越丰富。这就导致了要求视频的视野要足够大，从而产生对大尺度广角视频的需求。面对这些需求，视频拼接技术是一个可能的解决方案。通过视频拼接，可以将来自多个摄像机的视频合成高分辨率广角视频。

尽管视频拼接是图像拼接技术的一种，为了区分起见，本文所说的图像拼接特指将静止图像进行拼接的技术。

图像拼接的目的是将来自多个视点的图像合并成一个拼接图像。“视点”是场景的观察点。对于照相机而言，视点是通常位于图像传感器芯片后面的镜头的光学中心。一般而言，经过合成后的拼接图像会象在一个视点拍摄的一样。因此，图像拼接技术首先需要确定源图像之间的几何位置关系。根据几何关系，拼接算法就能够确定源图像的像素在拼接结果图像中的位置。一般来说，在合成后的拼接图像中，由于源图像之间可能存在重叠，要将重叠部分进行单独处理以保证合成图像的像素具有一致的视觉感知。图像拼接的一个基本问题是计算源图像之间的几何位置关系。然而，精确的几何关系计算需要知道景物的三维坐标。从图像中恢复三维信息是一个病态问题，目前的技术尚不能获得一个准确而稳定的解。因此，在图像拼接中几何位置关系计算往往采用近似计算，比如将景物近似为一个平面。

然而，根据人类视觉的仿射特性(近大远小)，在无穷远处的平行线会交汇到一点。因此，当将很多视点的图像拼接到一个只拥有一个视点的拼接图像时，远离参考视点拍摄的图像会有很大的变形。由于这种变形，使得远离参考视点的图像在拼接图像中变得只有很低的视觉质量。另外，由于图像拼接时采用的几何计算都会存在一定的误差。当若干幅图像都拼接到一幅参考图像时，这种误差会累积，造成远离参考视点的图像对应具有较大累积误差的几何变换。

视频拼接在原理上可以理解为直接应用图像拼接技术拼接连续视频图像的技术。然而，高质量的图像拼接算法往往采用高精度的几何估计方法。这些方法一般比较耗时，很难达到实时效果，只能用于离线的视频拼接应用。因此，视频拼接的另一个问题则是如何提供一种既快又具有较高几何估计精度的方法。

发明内容

为了克服现有技术中的上述一个或多个问题，本发明提供了一种图像拼接方法和装置。

根据本发明的一个示例性方面，提供一种用于拼接图像的方法，其中第一图像I₁对应于第一视点V₁，第二图像I₂对应于第二视点V₂，所述方法包括：确定步骤，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定所述第一图像I₁与第二图像I₂之间的视点过渡区域；生成步骤，在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的伪视点，将视点过渡区域中的像素变换为对应于所述伪视点的像素，从而生成过渡像素；以及拼接步骤，将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、所述过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接以形成拼接图像。

根据本发明的另一示例性方面，提供一种用于拼接图像的设备，其中第一图像I₁对应于第一视点V₁，第二图像I₂对应于第二视点V₂，所述设备包括：确定装置，用于在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定所述第一图像I₁与第二图像I₂之间的视点过渡区域；生成装置，用于在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的伪视点，将视点过渡区域中的像素变换为对应于所述伪视点的像素，从而生成过渡像素；以及拼接装置，用于将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、所述过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接，以形成拼接图像。

本发明最重要的特点是在两幅源图像对应的视点中间使用伪视点来形成视点过渡，不需要计算伪视点对应的场景几何。这避免了根据中间视点的三维几何信息来合成拼接图像内容的计算。本发明另一特点是可以将若干幅图像平滑地拼接起来，远离参考视点的图像的内容并不会因为累积几何误差而发生大的扭曲，避免了几何估计误差的传递。最后，本发明所提供的图像拼接方法计算简单，可以方便地从图像拼接扩展到实时性要求较高的视频拼接上。

附图说明

当结合附图阅读时，在下文的详细描述中，本发明实施方式的上述以及其它方面将变得更加清楚和易于理解，其中：

图1示意性地示出了两幅图像之间的几何关系；

图2示意性地示出了传统的图像拼接方法的流程图；

图3示出了按照传统的图像拼接方法得到的图像拼接结果；

图4示意性地示出了本发明的基本概念；

图5示出了根据本发明一个实施方式的图像拼接算法的示意图；

图6示出了根据本发明一个实施方式的图像/视频拼接方法的流程图；

图7示出了按照本发明一个实施方式的图像拼接方法得到的图像拼接结果；以及

图8示出了根据本发明一个实施方式的图像/视频拼接设备的框图。

在所有的上述附图中，相同的标号表示具有相同、相似或相应的特征或功能。

具体实施方式

将两幅图像拼接起来的方法是图像拼接中研究最多的情况，其算法往往可以扩展到多幅图像拼接中。因此，在下文中，以两幅图像的拼接为例，描述传统图像拼接方法和本发明的图像拼接方法。

图像拼接的首要条件是两幅图像拥有共同的图像内容，即重叠区。也就是说，这两幅图像中部分内容是来自于同一个场景中的部分内容。正是由于重叠区域的存在，才能将两个图像按重叠区合并，最终将两个图像拼接成一个图像。所以，图像拼接算法就是要确定两个图像之间的重叠区域，并根据重叠区的位置在一个统一的坐标系下确定两幅图像的位置。

图1示意性地示出了两幅图像之间的几何关系。几何关系可以用几何变换来表示，通过这个几何变换，一幅图像被变换到另外一幅图像的坐标上去。

在描述两幅图像之间几何变换的数学模型时，一个普遍做法是将场景近似为一个平面。这样，两幅图像之间的几何关系就可以用一个Homography矩阵(单应矩阵)来描述。Homography矩阵表示两幅图像中的像素对应关系的几何变换。Homography变换保留了图像之间的直线，是一个保线映射。

如图1所示，设两幅图像分别为I₁和I₂，X₁＝(x₁，y₁，1)和X₂＝(x₂，y₂，1)分别为I₁和I₂中一个像素的齐次坐标，H为将I₂中的像素坐标映射到I₁中像素的坐标变换，于是

X₁ ^t＝HX₂       (1)

${X_1}^t=H{X}_2---\left(1\right)$

其中H为3x3的实矩阵。

从图1中可以看出，I₂经过H矩阵的变换，形状发生了变化。H矩阵拥有8个参数，具有如下形式：

h₁₁ h₁₂ h₁₃

H＝[h₂₁ h₂₂ h₂₃]

h₃₁ h₃₂ 1      (2)

一旦确定了H矩阵，则只需要将I₂图像变换到I₁图像的坐标系下，就可以实现拼接。在一些特殊情况下，H矩阵可能有不同的参数个数，比如在相机只有旋转或平移的情况。确定H中参数值的过程称为参数估计，现有技术中已经存在成熟的参数估计方法，例如可采用直接方法或基于特征点的方法。

图2示意性地示出了传统的图像拼接方法的流程图。以下简单描述传统图像拼接方法的过程。

在步骤S201处，接受图像输入。在步骤S202处，针对待拼接的第一图像和第二图像，检测特征点并提取特征点的坐标参数。在步骤S203处，将特征点进行匹配，获得第一图像和第二图像之间对应的特征点对。在步骤S204处，根据获得的特征点对，估计Homography矩阵，从而可以得到第一图像和第二图像之间的坐标变换关系。

接着，在步骤S205中，确定第一图像和第二图像之间的重叠区域。在步骤S206中，利用所估计的Homography矩阵，对第二图像上的各个像素点进行变换。也即以第一图像作为参考图像，将第二图像变换到第一图像的坐标上，从而获得拼接后的图像。其中可以采取插值和像素混叠来获得变换后的像素点。例如，对于重叠区域的像素，可以通过第一图像与第二图像的像素之间的加权混叠来确定。

若目标图像坐标不是参考图像的坐标，则可选地在步骤S207中，将拼接后的图像重新投影到目标平面上。也即，按照参考图像坐标到目标平面坐标的映射再进行一次坐标变换。目标平面例如可以是柱状或球状平面。最后，在步骤S208中，输出拼接好的图像。

从上面传统图像拼接方法的描述中可以看出，拼接后的图像只有一个参考视点。因此，非参考视点的图像将被变换到参考视点上。由于非参考视点图像距离参考视点较远，根据人类视觉的仿射特性，会存在一定的形变。

图3给出了按照传统的图像拼接方法得到的图像拼接结果。其中，图3(a)是第一幅源图像，图3(b)是第二幅源图像，图3(c)是以第一幅源图像为参考图像的拼接图像，以及图3(d)是以第二幅源图像为参考图像的拼接图像。

从图3中可以看出，非参考图像的内容具有较大的形变。然而，正是这种形变保持了拼接图像中的直线，如图3(c)中的灯管。这种形变由两个因素来影响，第一个是源图像视点到参考视点的距离，距离越大则形变也越大；第二个是Homography矩阵估计的误差，误差大往往形变也大。当若干幅图像拼接起来时，远离参考视点的图像内容会被严重变形。这降低了拼接图像的视觉效果，往往导致这些图像模糊不清晰。

为解决上述问题，本发明提供了一种将若干幅图像拼接成多视点图像的技术，其中生成的拼接图像中含有源图像的视点以及一些“伪视点”。通过形成多视点拼接图像，避免了部分图像因其对应的视点距离参考视点远而造成的内容形变。

在大部分图像拼接中，较少对场景进行密集采样，因此本发明着重于稀疏的图像拼接应用。

图4示意性地示出了本发明的基本概念。

在图4给出的示例中，第一图像I₁对应于视点V₁，第二图像I₂对应于视点V₂。

根据本发明的一种实施方式，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定第一图像I₁与第二图像I₂之间的视点过渡区域，如图4中所示。起点与终点可以任意选取，例如选取图像的中心、三分之一处、四分之一处或任何其他位置。在一种实施方式中，选取起点O₁为第一图像I₁的中心，终点O₂为第二图像I₂的中心。

继而在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的“伪视点”。由于真实的图像中仅存在对应于视点V₁和视点V₁的图像像素，所插入的这些视点并不真实存在，因此将其称为“伪视点”。将视点过渡区域中的像素变换为对应于插入的伪视点的像素，从而生成过渡像素。

最后，将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接以形成拼接图像。

应当理解，在起点O₁与终点O₂之间可以采取等步长方式插入伪视点，或者也可以采取变步长方式插入伪视点。另外，采取等步长方式插入伪视点时，可以根据效果或性能选择不同的步长。考虑到视觉效果，在本发明的一种优选实施方式中，采用等步长方式插入伪视点，并且伪视点的个数等于起点O₁与终点O₂之间的像素个数，也即步长为1个像素。

过渡像素可以通过将视点过渡区域中的图像变形来生成，例如Morph方式；也可以通过各种几何变换来生成，例如仿射变换(具有6个参数)、相似变换(具有4个参数)以及前面描述的Homography变换(9个参数，其中一个为1)。

考虑到传统图像拼接算法已经实现了图像拼接，因此，在本发明的一种优选实施方式中，充分利用传统图像拼接的结果，直接利用源图像的两个视点之间的已经计算得到的几何变换来生成所插入的伪视点的几何变换。利用这些伪视点的几何变换对视点过渡区域的像素进行作用，就可以得到伪视点对应的过渡像素，从而形成拼接图像中视点的平滑过渡。

因此，在一种实施方式中，在参考坐标系下，计算起点O₁与终点O₂之间的几何变换。在一种优选实施方式中，几何变换采用Homography变换。仅出于解释目的，以下参考Homography变换来进一步描述本发明的优选实施方式。然而应当理解，也可以采用其它几何变换来实现本发明的实施方式。

图4的上半部分给出了传统图像拼接方法的图像形变的结果。选取第一图像I₁作为参考图像，其不发生变化。本领域技术人员可以理解，也可以选取第二图像I₂作为参考图像。第二图像I₂在Homography矩阵H的作用下发生了按照参考图像视点V₁的变形，得到形变后的第二图像I₂’。图4的下半部分中的虚线显示的是按照传统图像拼接方法拼接的结果，实线显示的是按照本发明的图像拼接方法得到的结果。

当第二图像I₂在H的作用下投影到第一图像I₁上后，终点O₂对应于终点O₂’。

如图4所示，在按照本发明的一种实施方式的拼接图像中，起点O₁的左边部分是第一图像I₁中对应于视点V₁的像素部分，中间部分(也即视点过渡区域部分)是生成的对应于插入的伪视点的过渡像素，终点O₂’(O₂)的右边部分是第二图像中对应于视点V₂的像素部分。从图形上看，左边和右边部分都表现为标准的矩形。换言之，第一图像I₁经历了单位变换I。而形变后的第二图像I₂’再次经历变换H’而得到I₂”，也即，通过H’的作用，在第一图像I₁的坐标系(参考坐标系)下，从对应于视点V₁的图像I₂’变换为对应于视点V₂的图像I₂”。因此，可以认为从源图像I₂变换到目标图像I₂”的变换矩阵H₁₂为：H₁₂＝H’H。

从图4中可以看出，起点O₁的左边部分是第一图像I₁的对应像素经历单位变换I(或者说，不变换)得到的，终点O₂’(O₂)的右边部分是第二图像I₂经历变换H₁₂而得到的。而起点O₁与终点O₂’(O₂)之间的视点过渡区域中是插入的过渡伪视点V’₁、V’₂、...、V’_n所对应的图像像素。

在透视投影中，真实视点V₁与V₂图像之间的变换可以用Homography矩阵来表示。类似地，真实视点的图像与伪视点的图像之间的变换同样可以用Homography矩阵来表示。因此，当伪视点V’₁、V’₂、...、V’_n对应于从视点V₁到视点V₂的平滑过渡时，这些伪视点的几何变换也就对应于从单位变换I到变换H₁₂的平滑过渡。因而，生成拼接图像中的过渡像素，也即在第一图像I₁的坐标系下，在伪视点的几何变换的作用下，将视点过渡区域的像素变换为对应于这些伪视点的像素。这样，通过简单的算法即可求解出视点过渡区域的像素。

图5示出了根据本发明一个实施方式的图像拼接算法的示意图。

图5按照图4类似的方式示出了根据本发明的一种实施方式得到的拼接图像。在图5中标识出了与视点V₁对应的单位变换I，与视点V₂对应的变换H’，以及与伪视点V’₁到V’_n分别对应的几何变换H₁到H_n。

H₁到H_n可以根据H’或H₁₂计算得到。H₁到H_n是在第一图像I₁的坐标系下，将对应于视点V₁的视点过渡区域的相应像素分别变换为对应于伪视点V’₁到V’_n的像素的Homography几何变换。H’是在第一图像I₁的坐标系下，将对应于视点V₁的第二图像I₂’变换为对应于视点V₂的第二图像I₂”的Homography几何变换。而此对应于视点V₁的第二图像I₂’是通过几何变换H由对应于视点V₂的第二图像I₂投影到第一图像I₁而得到的。可选地，第二图像I₂所经历的变换可以总地表示为H₁₂，也即在第一图像I₁的坐标系下将对应于视点V₂的第二图像I₂变换为对应于视点V₂的第二图像I₂”的Homography几何变换。

接着，确定第一图像I₁与第二图像I₂之间的视点过渡区域。根据本发明的实施方式，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂。起点与终点可以任意选取，例如选取图像的中心、三分之一处、四分之一处或任何其他位置。在以下的示意性描述中，选取起点O₁为第一图像I₁的中心，终点O₂为第二图像I₂的中心。但是，本领域技术人员很容易理解本发明并不局限于所示实施方式。

从前面对传统图像拼接方法的描述可知，可以采取诸如基于特征点的方式估计出矩阵H。因此，在一种实施方式中，以第一图像I₁的坐标系作为参考坐标系，计算将第二图像I₂变换为对应于视点V₁的第二图像I₂’的变换矩阵H。在已知H的情况下，可以计算出投影后的第二图像I₂’的所有像素坐标，包括终点O₂的新坐标O₂’。

接下来需要在第一图像I₁的坐标系下，计算将对应于视点V1的第二图像I₂’变换为对应于视点V2的第二图像I₂”的变换矩阵H’。

根据本发明的实施方式，在拼接后的图像中，位于终点O₂(坐标为O₂’)右边部分的是在第一图像I₁的坐标系下、对应于视点V₂的第二图像I₂”的相应部分，其表现为标准的矩形。

由于Homography变换是保线映射，因此可以基于终点O₂(O₂’)与第二图像I₂(I₂’)几何位置关系，可以很容易地计算出变换后的第二图像I₂”的像素坐标。

当已知变换前的第二图像I₂’的像素坐标，以及变换后的第二图像I₂”的像素坐标之后，就可以根据现有的Homography估计方法确定其对应的变换矩阵H’。

例如，可以基于特征点来确定变换矩阵H’。图5中示意性地示出了求解变换矩阵H’的过程。

例如，选取第二图像I₂右半图像的四个顶点作为特征点。这四个顶点在第二图像I₂中的坐标分别为X_lt，X_lb，X_rt，X_rb。本领域技术人员可以理解，也可以选取其他的点作为特征点来求解矩阵H’。

当第二图像I₂在H的作用下投影到第一图像I₁上之后，得到第二图像I₂’。在第二图像I₂’中，这四个顶点的坐标分别为X_lt’，X_lb’，X_rt’，X_bt’。同时，还可以得到第二图像I₂的中心点O₂对应的第二图像I₂’的中心点O₂’的坐标。

以此中心点O₂’作为第二图像I₂”的中心，根据中心点O₂’与第二图像I₂”的几何位置关系，计算第二图像I₂”的右半图像。在此实施方式中，即计算标准矩形的四个新顶点位置X_lt”，X_lb”，X_rt”，X_rb”。

将X_lt’，X_lb’，X_rt’，X_rb’和X_lt”，X_lb”，X_rt”，X_bt”对应起来就可以求得几何变换H’。下面给出了示例性求解计算。

假设图像2的宽度为W₂，高度为H₂，则

X_lt＝(W₂/2，0，1)

X_lb＝(W₂/2，H₂，1)

X_rt＝(W₂，0，1)

X_rb＝(W₂，H₂，1)

O₂＝(W₂/2，H₂/2，1)   (3)

在H的作用下投影到第一图像I₁上之后，得到

X_lt′＝HX_lt，X_lb′＝HX_lb，X_rt′＝HX_rt，X_rb＝HX_rb，O₂′＝HO₂  (4)

基于中心点O₂’与第二图像I₂”的几何位置关系，计算第二图像I₂”的右半图像，可以得到

X_lt″＝(O₂′(x)，O₂′(y)-H₂/2，1)

X_lb″＝(O₂′(x)，O₂′(y)+H₂/2₂，1)

X_rt″＝(O₂′(x)+W₂/2，O₂′(y)-H₂/2，1)

X_rb″＝(O₂′(x)+W₂/2，O₂′(y)+H₂/2，1)  (5)

其中，O₂’(x)和O₂’(y)分别为O₂’的x和y坐标。

由X_lt’，X_lb’，X_rt’，X_rb’和X_lt”，X_lb”，X_rt”，X_rb”对应得到的H’满足

X_lt″＝H′X_lt′，X_lb″＝H′X_lb′，X_rt″＝H′X_rt′，X_rb″＝H′X_rb′ (6)

根据计算得到的H和H’，可以求得H₁₂＝H’H。

由于伪视点V’₁、V’₂、...、V’_n对应于从视点V₁到视点V₂的平滑过渡，因此这些伪视点所对应的几何变换H₁到H_n也就对应于从单位变换I到变换H₁₂的平滑过渡。

设定共有n个过渡变换，则

$H_i=H_{12}+(I-H_{12})\×\left(\frac{n-i}{n}\right),$ i=1…n      (7)

计算出H₁到H_n之后就可以生成起点O₁到终点O₂(或O₂’)之间的视点过渡区域上的像素。

n的取值决定了视点过渡的平滑程度。在一种实施方式中，n的值等于起点O₁与终点O₂(或O₂’)之间的像素个数。这样，根据H_i可以生成起点O₁与终点O₂(或O₂’)之间的第i列像素。例如，在按照传统拼接方式得到对应于视点V₁的拼接图像之后，在第一图像的坐标系下，将视点过渡区域内对应于视点V₁的第1列像素经由H₁变换，生成对应于伪视点V’₁的像素列；将第2列像素经由H₂变换，生成对应于伪视点V’₂的像素列；依次类推，直至将第n列像素经由H_n变换，生成对应于伪视点V’_n的像素列。从而实现了从视点V₁逐渐过渡到视点V₂。

图6示出了根据本发明的一个实施方式的图像拼接方法的流程图。

如图6所示，在步骤S601中确定视点过渡区域。具体地，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定第一图像I₁与第二图像I₂之间的视点过渡区域。

接下来，在步骤S602中，生成视点过渡区域的像素。具体地，在起点O₁与终点O₂之间插入若干伪视点，这些伪视点是从视点V₁到视点V₂的过渡伪视点。将视点过渡区域中的像素变换为对应于所插入的伪视点的像素，从而生成起点O₁与终点O₂之间与所插入的伪视点相对应的过渡像素。

在一种优选实施方式中，在起点O₁与终点O₂之间采取等步长方式插入伪视点，伪视点的个数等于起点O₁与终点O₂之间的像素个数，也即步长为1个像素。

在步骤S602中还包括在参考坐标系下，计算起点O₁与终点O₂之间的变换矩阵H₁₂。

具体地，计算变换矩阵H₁₂可以包括：以第一图像I₁的坐标系作为参考坐标系，计算将第二图像I₂变换为对应于视点V₁的第二图像I₂’的变换矩阵H。在第一图像I₁的坐标系下，计算将对应于视点V₁的第二图像I₂’变换为对应于视点V₂的第二图像I₂”的变换矩阵H’。最后计算H₁₂＝H’H。

在一种实施方式中，按如下方式计算变换矩阵H’：基于终点O₂与第二图像I₂’和第二图像I₂”的几何关系，确定第二图像I₂’和第二图像I₂”之间的特征点对；基于确定的特征点对，计算将第二图像I₂’变换到第二图像I₂”的变换矩阵H’。

在一种实施方式中，采用等步长方式插入n个伪视点，其中n为正整数，伪视点对应的变换矩阵为H_i，按如下方式计算变换矩阵H_i：

$H_i=H_{12}+(I-H_{12})\×\left(\frac{n-i}{n}\right),$ i=1…n,

其中I为单位变换。

伪视点的个数n决定了视点过渡的平滑程度。在一种实施方式中，n的值等于起点O₁与终点O₂(或O₂’)之间的像素个数。这样，根据H_i可以生成起点O₁与终点O₂(或O₂’)之间的第i列像素。

最后，在步骤S603中，对图像进行拼接。拼接图像由第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、过渡像素以及第二图像I₂”中对应于视点V₂的非视点过渡区域上的像素组成。

图7示出了按照本发明的一个实施方式的图像拼接方法得到的图像拼接结果，其中仍然以图3(a)和图3(b)示出的图像为源图像。从图7中可以看出，按照本发明实施方式拼接的图像，由于视点的平滑过渡，因此可以获得良好的视觉效果。

上面描述了按照本发明的实施方式拼接两幅图像的方法流程。本领域技术人员可以理解，两幅图像的拼接方法可以推广到任意多幅图像，而且拼接方向不限于横向拼接，还可以纵向拼接或者任意方向。

例如，当还存在对应于视点V₃第三图像I₃需要拼接在第二图像I₂的右侧时，根据本发明的实施方式，可以在视点V₂与视点V₃之间插入若干伪视点。应用前面描述的算法，可以计算出所插入的伪视点所对应的几何变换，从而生成视点过渡区域的像素。

按照本发明的图像拼接方法，由于拼接后的图像中保留了源图像的视点，同时在源图像的视点之间插入平衡过渡的伪视点，因此，即使拼接多幅图像，图像拼接时的几何计算的误差也不会累积。

进一步地，本发明的图像拼接方法可以应用于视频拼接。

如前所述，视频拼接可以视为一种特殊的图像拼接技术，其合成来自不同视频源的视频图像。视频拼接在原理上可以理解为直接使用图像拼接技术拼接连续的图像。

假设存在两部摄像机，一部在视点V₁处采集视频，另一部在视点V₂处采集视频。通过将这两部摄像机采集的视频拼接起来，就可以提供广角视频。

按照本发明的实施方式，将具有相同时间帧的视点V₁的连续图像与视点V₂的连续图像分别拼接起来，就可以得到从视点V₁过渡到视点V₂的广角视频。由于多数视频应用对时间要求严格，因此需要简单快速的拼接方法以达到实时效果。

按照本发明的实施方式，在视频拼接的初始化步骤中，在确定了从视点V₁过渡到视点V₂的伪视点所对应的几何变换并生成视点过渡区域的像素之后，可以缓存过渡像素与源像素的对应关系。

例如，回到图6，其还示出了按照本发明的一个实施方式的视频拼接方法流程。在步骤S604中，在像素索引表中缓存过渡像素与源像素之间的对应关系。继而，在步骤S605中，通过查找像素索引表，按照时间帧对应的方式，将视点V₁的连续图像与视点V₂的连续图像分别拼接起来，从而形成广角的拼接视频。

表1示出了一个示例性像素索引表。该像素索引表保存了所有的伪视点几何变换H₁到H_n所覆盖的图像列的过渡像素与源像素的对应关系。

表1

此外，像素索引表中还可以包括传统拼接算法中需要混叠的像素的权重等信息，从而加速插值与混叠过程。

图8示出了按照本发明的一个实施方式的图像/视频拼接设备的框图。

如图8所示，图像拼接设备包括确定装置801、生成装置802以及拼接装置803。

确定装置801用于确定视点过渡区域。具体地，确定装置801配置用于在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定第一图像I₁与第二图像I₂之间的视点过渡区域。

在生成装置802中，生成视点过渡区域的像素。具体地，在起点O₁与终点O₂之间插入若干伪视点，这些伪视点是从视点V₁到视点V₂的过渡伪视点。将视点过渡区域中的像素变换为对应于伪视点的像素，从而生成过渡像素。

拼接装置803用于对图像进行拼接。拼接图像由第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素组成。

当该设备用于拼接视频时，其还包括缓存装置804，用于在像素索引表中缓存过渡像素与源像素之间的对应关系。继而，在视频拼接装置805中，查找像素索引表，按照时间帧对应的方式，将视点V₁的连续图像与视点V₂的连续图像分别拼接起来，以形成广角的拼接视频。

附图中的流程图和框图，图示了按照本发明实施方式的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，为了使本发明更容易理解，上面的描述省略了对于本领域的技术人员来说是公知的、并且对于本发明的实现可能是必需的更具体的一些技术细节。

提供本发明的说明书的目的是为了说明和描述，而不是用来穷举或将本发明限制为所公开的形式。对本领域的普通技术人员而言，许多修改和变更都是显而易见的。

因此，选择并描述实施方式是为了更好地解释本发明的原理及其实际应用，并使本领域普通技术人员明白，在不脱离本发明实质的前提下，所有修改和变更均落入由权利要求所限定的本发明的保护范围之内。

Claims (20)

1.一种用于拼接图像的方法，其中第一图像I₁对应于第一视点V₁，第二图像I₂对应于第二视点V₂，所述方法包括：

确定步骤，在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定所述第一图像I₁与第二图像I₂之间的视点过渡区域；

生成步骤，在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的伪视点，将视点过渡区域中的像素变换为对应于所述伪视点的像素，从而生成过渡像素；以及

拼接步骤，将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、所述过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接以形成拼接图像。

2.根据权利要求1所述的方法，其中采用等步长方式插入伪视点。

3.根据权利要求1所述的方法，其中生成步骤还包括：

在参考坐标系下，计算起点O₁与终点O₂之间的变换矩阵H₁₂。

4.根据权利要求3所述的方法，计算变换矩阵H₁₂包括：

以第一图像I₁的坐标系作为参考坐标系，计算将第二图像I₂变换为对应于视点V₁的第二图像I₂’的变换矩阵H；

在第一图像I₁的坐标系下，计算将对应于视点V₁的第二图像I₂’变换为对应于视点V₂的第二图像I₂”的变换矩阵H’；以及

计算H₁₂＝H’H。

5.根据权利要求4所述的方法，其中：

采用等步长方式插入n个伪视点，其中n为正整数，所述伪视点对应的变换矩阵为H_i，按如下方式计算变换矩阵H_i：

$H_i=H_{12}+\left(I-H_{12}\right)\×\frac{(n-i)}{n},$ i=1…n

其中I为单位变换。

6.根据权利要求5所述的方法，其中n等于起点O₁与终点O₂之间的像素个数，所述生成步骤进一步包括：根据所述伪视点的变换矩阵H_i，生成起点O₁与终点O₂之间的第i列像素，其中i＝1，...，n。

7.根据权利要求4所述的方法，其中按如下方式计算变换矩阵H’：

基于所述终点O₂与所述第二图像I₂’和第二图像I₂”的几何关系，确定第二图像I₂’和第二图像I₂”之间的特征点对；

基于确定的特征点对，计算将第二图像I₂’变换到第二图像I₂”的变换矩阵H’。

8.根据权利要求1至7中任一所述的方法，其中所述变换为Homography变换。

9.根据权利要求1至7中任一所述的方法，其中所述起点O₁为第一图像I₁的中心点，所述终点O₂为第二图像I₂的中心点。

10.根据权利要求1至7中任一所述的方法，其中进一步包括：

缓存步骤，缓存位于起点O₁与终点O₂之间的过渡像素与源像素之间的对应关系；

视频拼接步骤，查找像素索引表，按照时间帧对应的方式，将对应于第一视点V₁的连续图像与对应于第二视点V₂的连续图像分别进行拼接，以形成拼接视频。

11.一种用于拼接图像的设备，其中第一图像I₁对应于第一视点V₁，第二图像I₂对应于第二视点V₂，所述设备包括：

确定装置，用于在第一图像I₁中选取起点O₁，在第二图像I₂中选取终点O₂，由此确定所述第一图像I₁与第二图像I₂之间的视点过渡区域；

生成装置，用于在起点O₁与终点O₂之间插入从视点V₁过渡到视点V₂的伪视点，将视点过渡区域中的像素变换为对应于所述伪视点的像素，从而生成过渡像素；以及

拼接装置，用于将第一图像I₁中对应于视点V₁的非视点过渡区域上的像素、所述过渡像素以及第二图像I₂中对应于视点V₂的非视点过渡区域上的像素进行拼接，以形成拼接图像。

12.根据权利要求11所述的设备，其中采用等步长方式插入伪视点。

13.根据权利要求11所述的设备，其中所述生成装置还包括：

计算装置，用于在参考坐标系下，计算起点O₁与终点O₂之间的变换矩阵H₁₂。

14.根据权利要求13所述的设备，其中所述计算装置配置用于：

以第一图像I₁的坐标系作为参考坐标系，计算将第二图像I₂变换为对应于视点V₁的第二图像I₂’的变换矩阵H；

在第一图像I₁的坐标系下，计算将对应于视点V₁的第二图像I₂’变换为对应于视点V₂的第二图像I₂”的变换矩阵H’；以及

计算H₁₂＝H’H。

15.根据权利要求14所述的设备，其中所述生成装置配置用于：

采用等步长方式插入n个伪视点，其中n为正整数，所述伪视点对应的变换矩阵为H_i，按如下方式计算变换矩阵H_i：

$H_i=H_{12}+\left(I-H_{12}\right)\×\frac{(n-i)}{n},$ i=1…n,

其中I为单位变换。

16.根据权利要求15所述的设备，其中n等于起点O₁与终点O₂之间的像素个数，所述生成装置进一步配置用于：根据所述伪视点的变换矩阵H_i，生成起点O₁与终点O₂之间的第i列像素，其中i＝1，...，n。

17.根据权利要求14所述的设备，其中所述计算装置配置用于按如下方式计算变换矩阵H’：

基于所述终点O₂’与所述第二图像I₂’和第二图像I₂”的几何关系，确定第二图像I₂’和第二图像I₂”之间的特征点对；

基于确定的特征点对，确定将第二图像I₂’变换到第二图像I₂”的变换矩阵H’。

18.根据权利要求11至17中任一所述的设备，其中所述变换为Homography变换。

19.如权利要求11至17中任一所述的设备，其中所述起点O₁为第一图像I₁的中心点，所述终点O₂为第二图像I₂的中心点。

20.如权利要求11至17中任一所述的设备，其中进一步包括：

缓存装置，用于缓存位于起点O₁与终点O₂之间的过渡像素与源像素之间的对应关系；以及

视频拼接装置，用于查找像素索引表，按照时间帧对应的方式，将对应于第一视点V₁的连续图像与对应于第二视点V₂的连续图像进行拼接，以形成拼接视频。

Images