CN101593350B - 深度自适应视频拼接的方法、装置和系统 - Google Patents

Abstract

本发明涉及一种深度自适应视频拼接的方法、装置和系统。根据本发明的视频拼接系统包括摄像机阵列、校准装置、视频拼接装置以及像素插值器和混合器。摄像机阵列生成多个源视频。校准装置执行对极校准和摄像机位置校准，确定多个源视频中每一空间相邻图像对的接缝区域，并生成像素索引表。视频拼接装置计算深度对应的平均像素偏移值，基于平均偏移值形成像素索引表的补偿项，并以补偿项更新像素索引表。像素插值器和混合器通过使用更新后的像素索引表，根据多个源视频生成全景视频。

Description

深度自适应视频拼接的方法、装置和系统

技术领域

本发明涉及计算机视觉领域，更具体地，涉及深度自适应视频拼接的方法、装置和系统。

背景技术

将图像对准并拼接为无缝照片拼接图的技术是计算机视觉领域最早且最广泛使用的技术。这种技术生成高分辨率照片，这些高分辨率照片已经用于产生数字地图和卫星照片。图像拼接技术当前也被实现并嵌入到数码相机中，以获得超广角照片。

视频拼接技术是一种从不同视频源提供广角、高分辨率帧拼接图的特殊图像拼接技术。随着显示器产业的迅速发展，极高分辨率显示器正在走进人们的日常生活。消费电子产品中存在对于高分辨率和广角视频的需求。视频拼接技术可以是针对不同高清晰度需求来建立高分辨率和广角视频的一种解决方案。另外，视频拼接技术是例如超市、长街、大型建筑物等大范围、大覆盖视觉监控的强大工具。这些地方通常具有较大的监控区域，且不能通过单一摄像机来监视。另外，在视频会议中人们可能更希望看到广角视频，这符合人类的日常感觉。

虽然当前的图像拼接技术能够逐帧产生全景视频，但是这种技术通常需要较高的计算负担，并且不适于实时视频拼接应用。

视频拼接技术将若干源视频流实时组合为一个高分辨率广角全景视频。由于视觉质量和计算负担是一个问题的两个方面，视频拼接技术需要提供良好的视频质量以及迅捷的速度。视觉质量差的全景视频在其帧中具有虚影，例如明显的接缝、重影效应、错误的图像对准等。某些虚影是由于不准确的图像对准、色彩不一致、运动模糊造成的。其他一些虚影是由视差问题造成的。更为准确的计算算法以及合适的预处理可以改进与不准确的图像对准及色彩不一致问题有关的视觉质量。准确的几何结构估计可以减少由视差问题所引起的虚影。但是，这种策略通常需要更多的计算。

一般而言，视频拼接算法可以视为重复的图像拼接过程(参见参考文献[1])。该算法通常有两个步骤。在第一步骤中，从不同源视频流提取视频帧，并存储于存储器中。在第二步骤中，将所存储的帧输入图像拼接单元中，以产生帧拼接图。图像拼接单元首先进行帧对准。根据基于像素的对准技术或基于特征的对准技术，估计每一帧的投影变换。根据所估计的投影变换，可以将图像像素映射到参考图像平面上。这种参考图像平面也是最终帧拼接图的图像平面。最后，在将源视频帧像素映射向参考平面时完成拼接。如果帧拼接图中的像素具有若干对应像素，则需要进行像素混合处理。

然而，在视频拼接算法中简单采用图像拼接技术并非有效的策略。因为图像对准处理是极为耗时的，所以这种视频拼接算法不能达到实时或近实时工作。加速视频拼接算法的一种简单方式是使用历史信息(参见参考文献[2])。在开始时一次性计算图像对准参数。在接下来的拼接中，后续帧的帧拼接可以使用先前计算的图像对准参数。这种策略减少了连续帧的图像对准计算时间，并且能够保证视频拼接算法实时工作。这种算法适于远景或不变景深的固定位置摄像机。

由于许多视频是压缩过的，因此视频拼接算法可以使用运动补偿信息(参见参考文献[3])。宏块的运动向量通常具有基于块的匹配信息。这种信息能够提供粗略信息，并且可以用于迭代更新几何变换计算结果。为了改进几何变换估计的精度，仍然需要额外的匹配和全局运动估计。这种算法减少了图像对准期间特征匹配的计算时间。

发明内容

视频拼接技术当前解决方案存在的问题在于不能在速度和视觉质量之间找到一个好的平衡点。

基于图像拼接技术的视频拼接技术视觉质量最好，但计算时间最多。此外，投影变换估计通常由一些概率优化技术实现，不易于获得稳定的估计结果。

基于历史信息的视频拼接技术速度快捷，对于某些特定场景具有良好的视觉质量。该技术适用于摄像机固定，且景深不变的场合。然而，一旦景深改变，例如，前景对象移远或移近，将出现虚影。虚影可以表现为重复的区域或部分对象。虚影主要是由视差问题造成的。

基于预先计算的匹配信息的视频拼接技术工作迅速，能够具有可接受的视觉质量。这是因为所采用的图像对准技术通常不够准确。从压缩视频流提取的运动向量带有很多噪声，并且匹配精度有限。虽然这种技术可以采用一些细化处理，但由于通常以半像素的精度来匹配块，对准不够准确。此外，块匹配和运动估计的细化将花费额外的计算时间。

本发明提供了一种快速、高视觉质量视频拼接的技术。本发明旨在提供一种使用简单深度补偿策略的快速几何结构估计。本发明的拼接方法首先在摄像机位置校准步骤中针对每一对源视频计算投影变换。然后，根据简单深度补偿处理，获得每一源视频的准确投影变换。此外，设计并采用像素索引方案，加速像素投影。使用以上优化策略，本发明的技术可以快速工作，并大大减少由视差问题造成的虚影。

本发明的基本思想在于：基于简单景深估计处理，估计投影变换。这样，图像对准不再基于特征匹配和参数估计处理。另一方面，本发明可以容易地对像素的投影变换进行索引，这也加速了图像混合处理。

根据本发明的第一方面，提供了一种在视频拼接应用中确定深度补偿项的方法，包括如下步骤：针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；以及通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算深度补偿项。通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，计算深度补偿项。

优选地，该在视频拼接应用中确定深度补偿项的方法在偏移值计算步骤之前还包括如下步骤：生成对极变换参数和投影变换参数。

优选地，接缝区域处每一对应点对的偏移值通过如下方式计算：对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

根据本发明的第二方面，提供了一种在视频拼接应用中确定深度补偿项的设备，包括：用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值的装置；用于对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值的装置；以及用于通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算深度补偿项的装置。所述计算深度补偿项的装置通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，计算深度补偿项。

根据本发明的第三方面，提供了一种视频拼接装置，包括：偏移值计算器，用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值，并对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；补偿计算器，用于通过使用对极变换参数、投影变换参数以及偏移值计算器所生成的所有空间相邻图像对的平均偏移值，计算像素索引表的补偿项；以及索引更新器，用于以补偿计算器所计算的补偿项，更新像素索引表中的像素对应关系及其权重，以获得更新像素索引表。对极变换参数、投影变换参数以及像素索引表在外部生成，然后通过将对极变换参数与投影变换参数相乘在外部生成所需对极投影变换乘积，以及补偿计算器通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，来计算像素索引表的补偿项。

优选地，在外部使用更新像素索引表，以根据所述多个源视频生成全景视频。

优选地，偏移值计算器通过如下方式计算接缝区域处每一对应点对的偏移值：对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

优选地，索引表包括像素位置对应关系和权重。

根据本发明的第四方面，提供了一种视频拼接系统，包括：根据本发明第三方面的视频拼接装置；以及像素插值器和混合器，用于通过使用来自视频拼接装置的更新像素索引表，根据所述多个源视频生成全景视频。

优选地，该视频拼接系统还包括：校准装置，用于生成对极变换参数、投影变换参数、像素索引表和所需对极投影变换乘积。

优选地，校准装置包括：对极校准器，用于计算并存储对极变换参数；摄像机位置校准器，用于计算并存储投影变换参数；乘法器，用于将对极变换参数与投影变换参数相乘，以生成所需对极投影变换乘积；接缝确定器，用于基于分别来自对极校准器和摄像机位置校准器的对极变换参数和投影变换参数，确定接缝区域以及接缝区域处像素的权重；以及索引产生器，用于基于来自摄像机位置校准器的投影变换参数以及来自接缝确定器的接缝区域和像素权重，生成像素索引表。

优选地，该视频拼接系统还包括：摄像机阵列，用于生成所述多个源视频，其中，摄像机阵列中至少两个摄像机在空间上排列为具有交迭视场。

根据本发明的第五方面，提供了一种视频拼接方法，包括如下步骤：针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算像素索引表的补偿项；以及以所计算的补偿项，更新像素索引表中的像素对应关系及其权重，以获得更新像素索引表。通过将对极变换参数与投影变换参数相乘在外部生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，来计算像素索引表的补偿项。

优选地，该视频拼接方法还包括如下步骤：使用更新像素索引表，以根据所述多个源视频生成全景视频。

优选地，通过如下方式计算接缝区域处每一对应点对的偏移值：对预定偏移值范围中的每一偏移值，计算与之相对应的平方亮度差之和；在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

优选地，索引表包括像素位置对应关系和权重。

根据本发明的第六方面，提供了一种视频拼接装置，包括：偏移值计算器，用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值，并对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；补偿计算器，用于通过使用对极变换参数、投影变换参数以及偏移值计算器所生成的所有空间相邻图像对的平均偏移值，计算像素变换的补偿项；以及对应关系计算器，用于通过使用对极变换参数、投影变换参数以及补偿计算器所计算的补偿项，计算所述两个空间相邻图像内的点与其对应目标点之间的位置对应关系，以生成像素变换对应关系，所述像素变换对应关系包括所计算的位置对应关系以及外部提供的权重。补偿计算器通过如下方式来计算像素的补偿项：通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积；以及将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘。

优选地，所生成的像素变换对应关系在外部用于根据所述多个源视频生成全景视频。

优选地，对极变换参数和投影变换参数在外部生成。

优选地，偏移值计算器通过如下方式计算接缝区域处每一对应点对的偏移值：对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

根据本发明的第七方面，提供了一种视频拼接系统，包括：根据本发明第六方面的视频拼接装置；以及像素插值器和混合器，用于通过使用来自视频拼接装置的所计算的像素变换对应关系，根据所述多个源视频生成全景视频。

优选地，该视频拼接系统还包括：校准装置，用于生成对极变换参数、投影变换参数、接缝区域以及接缝区域处像素的权重。

优选地，校准装置包括：对极校准器，用于计算并存储对极变换参数；摄像机位置校准器，用于计算并存储投影变换参数；以及接缝确定器，用于基于分别来自对极校准器和摄像机位置校准器的对极变换参数和投影变换参数，确定接缝区域以及接缝区域处像素的权重。

优选地，该视频拼接系统还包括：摄像机阵列，用于生成所述多个源视频，其中，摄像机阵列中至少两个摄像机在空间上排列为具有交迭视场。

根据本发明的第八方面，提供了一种视频拼接方法，包括如下步骤：针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算像素变换的补偿项；以及通过使用对极变换参数、投影变换参数以及所计算的补偿项，计算所述两个空间相邻图像内的点与其对应目标点之间的位置对应关系，以生成像素变换对应关系，所述像素变换对应关系包括所计算的位置对应关系以及外部提供的权重。通过如下方式计算像素变换的补偿项：通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积；以及将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘。

优选地，该视频拼接方法还包括如下步骤：使用所生成的像素变换对应关系来根据所述多个源视频生成全景视频。

优选地，该视频拼接方法在偏移值计算步骤之前还包括如下步骤：生成对极变换参数、投影变换参数，接缝区域以及接缝区域处像素的权重。

优选地，通过如下方式计算接缝区域处每一对应点对的偏移值：对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

本发明有两个贡献。第一贡献是快速图像对准技术，该技术使用简单景深补偿来估计当前投影变换。第二贡献是对投影变换进行索引。

本发明的视频拼接方法包括如下步骤：摄像机位置校准、摄像机对极校准、简单深度估计、投影变换更新、以及像素插值和混合。根据本发明的视频拼接系统相应地包括：摄像机位置校准单元、摄像机对极校准单元、简单深度估计单元、投影变换更新单元、以及像素插值和混合单元。摄像机位置校准单元和摄像机对极校准单元在开始时执行系统初始化。由两个相应单元执行的这两个处理获得了将在连续帧拼接时使用的投影变换。

在初始化之后，对连续视频帧进行拼接。首先，通过使用在简单深度估计单元中估计的对极变换，校准源视频帧。然后，通过块匹配处理，得到两个校准帧的交迭区域中接缝附近的平均偏移值。基于所估计的偏移值，由投影变换更新单元相应更新预先计算的投影变换参数。像素索引单元将用于拼接的新投影变换变换为像素索引。同时计算混合权重。最后，由像素插值和混合单元，从源视频像素插值和/或混合帧拼接图中的像素。

本发明具有两个优点。第一优点是全景视频的视觉质量良好。本发明的技术可以逐帧获得准确的投影变换。通过本发明的深度补偿策略，减少了景深改变导致的虚影。第二优点是本发明的方案是快速的，且适于实时应用。本发明的投影变换更新方法简单而有效。变换索引方法也是有效的，且可以节省大量的浮点计算时间。

附图说明

根据如下结合附图对本发明非限制性实施例的详细描述，本发明的上述以及其他目的、特征和优点将更加清楚，附图中：

图1是根据本发明第一实施例的视频拼接系统的方框图；

图2(a)、2(b)和2(c)是图示投影变换示例的示意图；

图3是解释空间相邻图像对的变换的示意图；

图4是图示三个空间相邻图像的拓扑的示意图；

图5是根据本发明第一实施例的视频拼接方法的流程图；

图6是根据本发明第二实施例的视频拼接系统的方框图；

图7是根据本发明第二实施例的视频拼接方法的流程图；

图8(a)和8(b)示出了两个图像空间相邻的原始图像对；

图9示出了图8(a)和8(b)所示出的这两个图像的现有技术拼接全景结果；以及

图10示出了图8(a)和8(b)所示出的这两个图像的本发明拼接全景结果。

具体实施方式

下文将根据附图描述本发明。在以下描述中，一些具体实施例只是用于描述的目的，而不应理解为对本发明的任何限制，它们只不过是本发明的示例。尽管有可能模糊对于本发明的理解，但是将省略常规结构或构造。

本发明将若干输入源视频流实时组合为一个高分辨率、广角视频流。本发明的视频拼接系统具有两个装置。第一装置是校准装置200，该校准装置200在开始时计算投影变换。第二装置是拼接装置300，该拼接装置300将不同源视频帧逐帧拼接为帧拼接图。图1示出了所述系统的方框图。

1.校准

校准的任务是获得投影变换、确定接缝、以及生成索引表。由于该处理在系统初始化时进行，对于时间限制并无特别要求。通过该处理，获得三种投影变换。

第一种投影变换是两个相邻源视频帧之间的几何变换。在这种变换下，一个图像中的像素能够利用其图像坐标而映射到另一图像。

第二种变换是对极校准变换，该变换将两个相邻图像分别校正到同极线水平的方向。

第三种变换是每个源视频帧与参考平面之间的几何变换。参考平面是全景视频帧的图像平面。这种参考平面可以是任意平面，且通常由指定为所有源视频的几何中心附近的图像平面。

以上三种投影变换分别称作相邻投影变换、对极校准变换和参考投影变换。

图2(a)～2(c)示出了这三种变换的图示。图2(a)示出了将图像j映射到图像i的相邻变换H_ij。图2(b)分别示出了对极校准变换

和O_i和O_j是校准后图像的图像中心。图2(c)示出了参考投影变换。如果选择某图像平面作为参考平面，则根据源视频的拓扑，从相邻变换得到参考投影变换。

为了得到上述变换，可以采用基于特征的图像对准技术。首先，使用特征点检测器，如SIFT检测器、Haris检测器(参见参考文献[4]和[5])，为每一帧检测特征点。然后，通过特征点描述子(SIFT描述子)，根据其局部纹理将每个特征点表示为特征向量。基于特征向量，在两帧之间执行特征匹配，以计算图像对应关系。一旦获得了足够的匹配特征点对，使用所有匹配特征点的位置来估计相邻投影变换。如果没有足够的匹配特征点对，将这两帧标记为非相邻帧对。另一方面，还可基于匹配特征点来估计基本矩阵。这种变换参数估计可以通过诸如RANSAC算法(参见参考文献[6])之类的参数估计技术来得到。基于基本矩阵，通过重采样算法(参见参考文献[6])可以容易地得到对极校准变换。通常，根据所获得的相邻图像对的连接关系，选择中心图像的图像平面作为参考平面。因此，通过相邻投影变换相应相乘，可得到参考投影变换。

在变换估计之后，将获得的变换参数存储于存储器中，并存储源视频的拓扑，用于下一步的使用。由于初始化不影响连续帧拼接的计算负担，所以变换估计处理可以选择耗时算法以保证精度。

参考图3，该图给出了相邻投影变换H_ij以及对极校准变换

和的示例，对于一对图像，一旦估计了相邻投影变换和对极变换参数，容易确定这两个图像的接缝。首先，将一个图像中心(O_j)投影到图像中心为O_i的另一图像。然后，使用另一图像的对极变换，对新图像中心进行再投影。O_j的再投影图像中心标记为O_j’。另一图像中心O_i利用相同的对极变换投影到O_i’。在另一图像的校准图像平面中，接缝是校准图像中心O_i’与O_j’之间的中间区域，且接缝区域宽度w由用户或系统预先指定。根据校准图像坐标中每个接缝像素与其对应图像中心之间的距离，得到接缝像素的混合权重。对于接缝像素k，混合权重如下计算：

$w_k\left(i\right)=1-\frac{{\mathrm{dist}}_k\left(i\right)}{\underset{j}{\mathrm{\Σ}}{\mathrm{dist}}_k\left(j\right)}---\left(1\right)$

其中，dist_k(i)是接缝像素k与其对应的图像i的中心之间的距离。分母是像素k与其对应图像中心之间距离的总和。

一旦估计了不同变换参数，可以通过如下方式计算目标像素位置(x′，y′)与源像素位置(x，y)之间的位置对应，并建立投影索引表：

$\left\{\begin{array}{c}{x}^{\′}=\frac{a_{11}x+a_{12}y+a_{13}}{a_{31}x+a_{32}y+1}\\ y^{\′}=\frac{a_{21}x+a_{22}y+a_{23}}{a_{31}x+a_{32}y+1}\end{array}\right.,---\left(2\right)$

其中，a(a₁₁，a₁₂，a₁₃，a₃₁，a₃₂，a₂₁，a₂₂，a₂₃)是投影变换参数。索引表具有四列，将参照下表1进行描述。第一列是帧拼接图中的像素位置。第二列是源视频帧中的对应像素位置。第三列是源像素的源视频号。最后一列是混合时使用的像素权重。

2.拼接

拼接的任务是逐帧建立全景视频。众所周知，典型的图像拼接包括图像对准和图像混合。本发明的视频拼接方案提供了一种快速投影变换更新方法和一种像素索引技术，以加速高视觉质量拼接处理。本发明的方案首先使用简单深度估计方法来估计景深。基于所估计的深度，相应修改参考投影。利用新的参考投影，更新相关像素索引。最后，采用像素插值和混合处理，以产生帧拼接图。在如下的小节中，将详细描述深度估计、投影变换更新、变换索引更新、以及像素插值和混合处理。

2.1深度估计

深度估计的目标是获得景深信息。另外，本发明的方案仅着重于相邻图像对的交迭区域中的深度改变。这是因为如果当前景深与初始化的景深不同时，景深变化将导致虚影。由于景深不同，相邻投影变换和参考投影变换改变。因此，视频拼接方案需要估计当前景深并补偿偏移值。从计算的观点出发，像素偏移值与深度同义，因为在世界坐标中像素偏移值与物体深度成正比。使用对极投影变换，源视频帧可以与对极线对平对齐。像素的偏移值在校准图像坐标中只有x值。偏移值的估计受到光照改变、遮挡和孔径问题的影响。因此，不可能获得每一像素的准确偏移值。另一方面，获得每一像素的偏移值是一项耗时的任务。因此，本发明的方案只选择接缝区域附近的一些特征点进行深度估计。在该实施方式中，选择接缝附近的一列像素作为特征点来估计它们的偏移值。一旦对这列像素完成了偏移值计算，计算偏移值的平均值作为所估计的图像偏移值。这种策略的思想在于：仅计算域偏移值以表示景深。本发明的策略是简单而有效的，因为主要对象通常吸引人们的注意力，而虚影仅出现在交迭图像区域，尤其是接缝区域。对列像素的偏移值估计是利用基于块匹配的平方差测度方法。下面描述场景偏移值估计方法：

对每一对校准后的相邻图像

和下标t表示时刻，上标c表示已经执行了对极校准，上标i和j表示(空间相邻)图像位置：

1)基于初始信息，确定

中s_j处以及

中s_j处的接缝位置。

2)对于中列

处的每个像素k，其中w表示接缝的宽度，

(1)从-D到+D改变变量d，其中D由系统的用户预先指定，作为预定偏移值范围。

如下计算其平方亮度差之和：

$\mathrm{diff}\left(d\right)=\underset{l=-w/2}{\overset{w/2}{\mathrm{\Σ}}}\underset{m=-w/2}{\overset{w/2}{\mathrm{\Σ}}}{[I_t^{c,i}(s_i-\frac{w}{2}+l,k+m)-I_t^{c,j}(s_i-\frac{w}{2}+l+d,k+m)]}^2$

(2)像素k的偏移值是：d_k＝arg min(diff(d))

3)计算该图像对的偏移值

其中N是图像列中的像素数目。

2.2投影变换更新

一旦本发明的方案获得了一对相邻图像的偏移值可以容易地计算新的相邻投影变换。在本发明中，选择利用3×3浮点矩阵的单应变换，来表示投影变换。

再参考图3，该图给出了相邻投影变换H_ij以及对极校准变换

和

的示例，假设向量X_i＝(x，y)表示源图像i中的像素位置。X_j、

和表示源图像j以及校准图像i和j中的像素位置。在相邻投影变换H_ij下，图像j中的像素可以变换到图像i中，具有新位置X′_j。图2还给出了参考平面中接缝的位置以及图像i的对极校准图像坐标。这表明相同接缝在不同图像坐标中具有不同的位置表示。

如果选择图像i的平面作为参考平面，则相邻投影变换的位置变换可以表示如下：

X_ji(t)＝H_ji(t)X_j(3)

其中，t表示源视频的时间。同时，图像i和j可以通过对极校准变换进行校准。这种变换也可以对X_ji(t)进行。由于相同接缝可以表示在图像i及其校准图像的图像坐标中，所以校准图像坐标中的接缝是垂直的。图像j的校准图像位置表示如下：

$X_{\mathrm{ji}}^c\left(t\right)=H_i^c{X}_{\mathrm{ji}}\left(t\right)---\left(4\right)$

结合等式3和4，得到：

$X_{\mathrm{ji}}^c\left(t\right)=H_i^c{H}_{\mathrm{ji}}\left(t\right)X_j---\left(5\right)$

该等式意味着图像j首先投影到图像i的平面上。然后，将其投影到图像i的校准图像平面上。如果景深在t+1时刻改变，则可以通过前述深度估计处理来估计偏移值

因为

可以设为0，所以偏移值可以表示为：

$\stackrel{\‾}{d}(t+1)=X_{\mathrm{ji}}^c(t+1)-X_{\mathrm{ji}}^c\left(0\right)---\left(6\right)$

根据等式6，可以得到如下偏移值表示：

$\stackrel{\‾}{d}(t+1)=H_i^c{H}_{\mathrm{ij}}(t+1)X_j-H_i^c{H}_{\mathrm{ij}}\left(0\right)X_j---\left(7\right)$

如果具有的矩阵逆，则等式7可以表示为：

$H_{\mathrm{ij}}(t+1)X_j=H_{\mathrm{ji}}\left(0\right)X_j+{\left(H_i^c\right)}^{-1}\stackrel{\‾}{d}(t+1)---\left(8\right)$

根据等式8，可以清楚看到图像j向参考平面的像素投影可以分为两部分。第一部分是利用H_ji的投影变换，这在校准装置中得到。另一部分是补偿项，由估计偏移值和对极校准变换确定。

然而，本发明的目标是得到当前参考投影变换。图4示出了三个图像的拓扑关系图。

基于等式8，可以如下将图像k投影到图像j：

$X_{\mathrm{kj}}=H_{\mathrm{kj}}(t+1)X_k=H_{\mathrm{kj}}\left(0\right)X_k+{\left(H_j^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{kj}}}(t+1)---\left(9\right)$

因此，可以首先将图像k投影到图像j。然后，如下将变换后的图像k投影到图像i：

$X_{\mathrm{ki}}=H_k^r{X}_k$

$=H_{\mathrm{ji}}(t+1)X_{\mathrm{kj}}$

$=H_{\mathrm{ji}}\left(0\right)X_{\mathrm{kj}}+{\left(H_i^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{ji}}}(t+1)---\left(10\right)$

$=H_{\mathrm{ji}}\left(0\right)[H_{\mathrm{kj}}\left(0\right)X_k+{\left(H_j^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{kj}}}(t+1)]+{\left(H_i^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{ji}}}(t+1)$

$=H_{\mathrm{ji}}\left(0\right)H_{\mathrm{kj}}\left(0\right)X_k+H_{\mathrm{ji}}\left(0\right){\left(H_j^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{kj}}}(t+1)+{\left(H_i^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{ji}}}(t+1)$

根据等式10，可以清楚看到通过之前的计算已经得到了所有使用的变换。在等式10中，H_ji(0)H_kj(0)是参考投影变换，与

和

相关的另两项是补偿项。等式10可以容易地扩展到如下链模式：

$X_{\mathrm{kl}}=H_{\mathrm{ml}}\left(0\right)\·\·\·H_{n(n-1)}\left(0\right)H_{\mathrm{kn}}\left(0\right)X_k+H_{\mathrm{ml}}\left(0\right)\·\·\·H_{(n-1)n}\left(0\right){\left(H_n^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{kn}}}(t+1)$ (11)

$+\·\·\·+{\left(H_i^c\right)}^{-1}\stackrel{\‾}{d_{\mathrm{ji}}}(t+1)$

根据等式11，H(0)的乘积可以迭代计算并重复使用。补偿项的数目与投影链长度相同。

2.3变换索引更新

对于视频拼接技术，不同投影变换下的位置变换常常采用浮点计算。例如，给定投影矩阵H，目标像素位置(x′，y′)与源像素位置(x，y)之间的投影变换表示为上述等式2。H是具有8个变量的单应矩阵：

$H=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& 1\end{array}\right]---\left(12\right)$

根据等式2，位置计算需要8次浮点相乘以及6次浮点相加。一幅640×480的图像具有307,200个像素。这意味着它需要大约2百万次浮点相乘和相加。然而，拼接视频帧通常具有极高分辨率。因此，减少这种计算负担对于视频拼接方案而言是必要的。幸运的是，根据等式11，本发明的方案可以不加改变地利用校准阶段获得的变换。因此，可以预先计算位置变换，并对它们进行索引。在投影变换更新时，可以通过较少的计算来修改这种索引。表1示出了索引示例。

表1像素索引表

表1的第一列是帧拼接图中的像素位置。第二列是源视频帧中对应的像素位置。第三列是源像素的源视频号。最后一列是混合是使用的权重，其中像素权重可以通过多种方法来确定，例如，可以如等式1根据像素与其对应图像中心之间的距离来确定。第三和第四行表示拼接图像素位置相同而源像素位置不同的接缝像素。

在等式11中，本发明的方案需要计算与

关的补偿项。在补偿项中，相邻投影变换的乘积可以预先计算，并表示为：

$H_{\mathrm{ml}}\left(0\right)\·\·\·H_{(n-1)n}\left(0\right){\left(H_n^c\right)}^{-1}=\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{21}& b_{22}& c_{23}\\ c_{31}& c_{32}& 1\end{array}\right]---\left(13\right)$

补偿项可以如下计算：

$\left\{\begin{array}{c}\mathrm{\Δ}{x}^{\′}=\frac{c_{11}d+c_{13}}{c_{31}d+1}\\ \mathrm{\Δ}{y}^{\′}=\frac{c_{22}d+c_{23}}{c_{31}d+1}\end{array}\right.---\left(14\right)$

其中，d是

的x值，并且其齐次坐标表示如下：

$\stackrel{\‾}{d}=\left(\begin{array}{c}d\\ 0\\ 1\end{array}\right)---\left(15\right)$

根据等式14，投影更新需要5次相乘和3次相加。值得指出的是，这种补偿项仅计算一次，且适用于源视频帧内的所有像素。因此，一帧的补偿项的计算时间可忽略不计。最终的计算用于每个像素的2次相加。

2.4像素插值和混合

一旦确定了参考投影变换，可以将来自源视频帧的像素映射到全景视频的帧拼接图上。如果帧拼接图中的像素只有一个对应源视频帧像素，可以使用像素插值来获得像素值。另一方面，帧拼接图中的像素可以具有若干对应源视频帧像素，该像素可以通过像素混合得到。像素混合是加权像素混合处理。权重由参考平面中距其图像中心的像素距离确定。这种权重也可以在像素索引步骤中预先计算。对于像素插值和混合处理，在此可以引用参考文献[7]作为参考。

第一实施例

下文将参考图1和5进一步详细描述本发明的第一实施例。

图1示出了根据本发明第一实施例的视频拼接系统的方框图。如图1所示，该视频拼接系统包括摄像机阵列100、校准装置200、拼接装置300以及像素插值器和混合器400。

摄像机阵列100具有至少两部摄像机，并从摄像机向校准装置200、拼接装置300以及像素插值器和混合器400提供源视频。使用时，用户可以选择摄像机阵列100中的任意摄像机，还可以指定所选摄像机中任何一部作为关注摄像机(即，该摄像机获得的图像处于视场中央)。摄像机阵列100中的至少两部摄像机具有交迭的视场。

校准装置200用于基于从摄像机阵列100传送来的源视频，执行初始校准处理(包括对极校准和投影变换)，并且包括对极校准器210、摄像机位置校准器230、接缝确定器250、索引产生器260以及乘法器270。对极校准器210用于为每一相邻帧对计算对极变换参数，并将计算的参数存储于其中。将所存储的变换参数发送到接缝确定器250、乘法器270以及拼接装置300的偏移值计算器320。摄像机位置校准器230用于计算相邻投影变换和参考投影变换参数，并将它们存储于其中。将所存储的变换参数发送到接缝确定器250、索引产生器260以及乘法器270。接缝确定器250用于基于来自对极校准器210和摄像机位置校准器230的每一相邻帧对的对极和相邻投影变换参数，计算接缝像素位置及其权重。将接缝区域信息发送到拼接装置300的偏移值计算器320以进行偏移值计算，并且还发送到索引产生器260。索引产生器260基于来自摄像机位置校准器230的参考投影变换参数以及来自接缝确定器250的接缝区域信息和接缝像素权重，生成像素索引表。乘法器270对分别来自对极校准器210和摄像机位置校准器230的对极变换参数和投影变换参数进行相乘，以生成并存储所需对极投影变换乘积，该乘积将由拼接装置300的补偿计算器330使用。

拼接装置300用于通过利用估计深度信息(偏移值)快速更新从源图像(视频)到拼接图像(视频)的投影变换，并且包括偏移值计算器320、补偿计算器330和索引更新器340。偏移值计算器320用于基于来自对极校准器210的对极变换参数以及来自接缝确定器250的接缝区域信息，计算当前帧的偏移值。将计算的偏移值发送到补偿计算器330。补偿计算器330用于基于乘法器270中存储的对极投影变换乘积以及来自偏移值计算器320的偏移值，为已经存储在索引产生器260生成的像素索引表中的参考投影变换参数计算补偿项。具体地，根据等式14计算补偿项。将计算的补偿项发送到索引更新器340。索引更新器340用于更新新参考投影变换参数下的像素对应关系。将更新的像素索引发送到像素插值器和混合器400，以产生拼接图。

像素插值器和混合器400用于基于拼接装置300的索引更新器340所生成的更新像素索引，执行像素插值和混合处理，以根据从摄像机阵列100传送来的源视频建立全景视频。

接下来将参考图5详细描述根据本发明第一实施例的视频拼接系统(图1)的操作流程。

图5示出了根据本发明第一实施例的视频拼接方法的流程图。如图5所示，在步骤S400中，校准装置200执行初始化(校准步骤)，获得对极变换参数、相邻投影变换参数、参考投影变换参数、接缝像素位置及其权重、以及像素索引表。

此后，在步骤S510中，拼接装置300的偏移值计算器320计算摄像机阵列100所提供的多个源视频中两个空间相邻图像内由接缝确定器250所确定的接缝区域处每一对应点对的偏移值，并且在步骤S515中，拼接装置300的偏移值计算器320将两个空间相邻图像中接缝区域处所有对应点对的偏移值进行平均，以获得这对空间相邻图像的平均偏移值。在步骤S520中，偏移值计算器320确定用户所选择的图像中是否存在任何其他空间相邻图像对。如果是这样的话(步骤S520中“是”)，对于下一对空间相邻图像，拼接装置300的偏移值计算器320重复步骤S510～S515，以计算每对空间相邻图像的平均偏移值。如果用户所选择的图像中不存在其他空间相邻图像对(步骤S520中“否”)，则在步骤S525中，拼接装置300的补偿计算器330通过使用来自校准装置200的乘法器270的所需对极投影变换乘积以及由偏移值计算器320所生成的所有空间相邻图像对的平均偏移值，计算像素索引表的补偿项(遵循等式14)。接着，在步骤S530中，拼接装置300的索引更新器340以拼接装置300的补偿计算器340计算的补偿项来更新来自校准装置200的投影变换器240的像素索引，以获得更新像素索引表。

此后，在步骤S600中，像素插值器和混合器400通过使用更新像素索引，对来自摄像机阵列100的源视频进行像素插值和混合，从而以实时或近实时方式逐帧获得全景视频。

第二实施例

下文将参考图6和7进一步详细描述本发明的第二实施例。

图6示出了根据本发明第二实施例的视频拼接系统的方框图。与图1所示的第一实施例相比，校准装置200中的索引产生器260以及拼接装置300中的索引更新器340由称作对应关系计算器340’的单一单元代替；省略乘法器270，从而对极校准器210和摄像机位置校准器230的输出直接连接到补偿计算器330。第二实施例的其他部件与第一实施例中相似，因而为清楚和简单起见省略对它们的详细描述。

由于省略了乘法器270，校准装置200不再输出所需对极投影变换乘积。因此，补偿计算器330需要根据直接输入的对极变换参数和投影变换参数，计算所需对极投影变换乘积(遵循等式13)。

对应关系计算器340’用于生成两个原始图像中的原始像素与拼接图像中的对应目标像素之间的像素变换对应关系。对应关系计算器340’的输入包括来自摄像机位置校准器230的参考投影变换参数、来自接缝确定器250的像素权重、来自摄像机位置校准器230的每一相邻帧对的相邻投影变换参数、以及来自补偿计算器330的像素变换的补偿项。具体地，原始像素与目标像素之间的像素变换对应关系包括位置对应关系和权重(权重直接从校准装置200的接缝确定器250获得)。对应关系计算器340’根据上述等式11计算位置对应关系，以便结合直接输入的权重来生成像素变换对应关系。

相应地，像素插值器和混合器400基于拼接装置300的对应关系计算器340’所生成的对应关系，执行像素插值和混合处理，以根据从摄像机阵列100传送来的源视频建立全景视频。

接下来，将参考图7详细描述根据本发明第二实施例的视频拼接系统(图6)的操作流程。

图7示出了根据本发明第二实施例的视频拼接方法的流程图。与图5相比，图5中的步骤525和530分别由步骤525’和530’代替。图7中的其他步骤与图5中相似，因而为了清楚和简单起见将省略对它们的详细描述。

在步骤525’中，拼接装置300的补偿计算器330通过使用来自校准装置200的对极变换器220的对极变换参数、来自240的投影变换参数以及由偏移值计算器320生成的所有空间相邻图像对的平均偏移值，计算像素变换的补偿项。具体地，根据等式13和等式14计算补偿项。接着，在步骤S530’中，拼接装置的对应关系计算器340’通过考虑由拼接装置300的补偿计算器所计算的补偿项，根据等式11生成两个原始图像中的原始像素与拼接图像中对应的目标像素之间的像素变换关系。

此后，在步骤S600中，像素插值器和混合器400基于由拼接装置300的对应关系计算器340’生成的对应关系，对来自摄像机阵列100的源视频进行像素插值和容易，从而以实时或近实时方式逐帧获得全景视频。

比较第一实施例与第二实施例，可以发现第一实施例会提供较快的计算速度且需要更多存储空间。在第一实施例中，在初始化校准步骤中还预先生成并存储对极投影变换乘积；原始和目标像素之间的对应关系反映在初始化校准步骤中预先生成的像素索引表中。然而，在第二实施例中，对每一帧对重复计算对极校准变换乘积和对应关系。另外，发明人还发现，一对图像的补偿项对于其中所有像素都是相同的，因而在第一实施例中，索引更新步骤将耗费甚至更少的计算负担和时间。然而，在第二实施例中，如第一实施例对这种补偿项计算一次，但是在对应关系计算中重复使用。根据等式11，可知这种对应关系计算毫无疑问将引入比简单更新索引表更多的计算负担。第二实施例尽管带来更多计算负担，但是将耗费较少的存储空间。因此，第一和第二实施例之间的选择是存储空间与计算负担之间的折中。

尽管在第一和第二实施例中，本发明以多个部件来实现。但是，这种构造不应理解为对本发明的限制。具体地，本发明可以更多或更少的部件来实现，或者通过将上述部件之一分割为若干部件来实现，或者通过将某些上述部件组合为单一部件来实现。因此，本发明的具体硬件结构仅有所附权利要求限定，而不是由以上实施例限制。此外，如本领域技术人员所知，本发明也可以通过软件、硬件、固件或其组合来实现。

比较结果

图8(a)和8(b)示出了原始图像对，其中两个图像空间相邻。作为比较，图9示出了图8(a)和8(b)所示这两个图像的现有技术拼接结果(参考文献[2])，图10示出了图8(a)和8(b)所示这两个图像的本发明拼接结果。可以清楚看出，本发明的拼接结果表现出良好的视觉质量，具有较少虚影，尤其在两个原始图像的接缝区域。

前面的描述只是给出了本发明的优选实施例，而决不是要限制本发明。因此，在本发明的精神和原理之内作出的任何修改、替换、改进等都应落在本发明的范围内。

参考文献列表

[1]Richard Szeliski.Image Alignment and Stitching：A Tutorial，Foundations and Trends in Computer Vision，Vol.2，No.1，pp.1-104，2006.

[2]US Patent Application Publication，No.US 2007/0211934A1，Patrick Pan，Tatsumi Mitsushita，Christine Lin，Benjamin Kuo，Optimized Video Stitching Method，September，2007.

[3]Tomoyuki Shimizu，Akio Yoneyama，Yasuhiro Takishima，AFast Video Stitching Method for Motion-Compensated Framesin Compressed Video Streams，Proceeding of InternationalConference on Consumer Electronics，pp.173-174，2006.

[4]Chris Harris and Mike Stephens.A Combined Corner and EdgeDetector.Proceedings of The Fourth Alvey Vision Conference，Manchester，pp 147-151.1988

[5]David G.Lowe.Distinctive Image Features fromScale-Invariant Keypoints.International Journal of ComputerVision，Vol.60，No.2，pp.91-110，2004.

[6]Hartley R，Zisserman A.Multiple View Geometrt in ComputerVision.Cambridge：University Press，2000.

[7]Matthew Alun Brown.Multi-Image Matching Using InvariantFeatures.Ph.D.Dissertation，the University of BritishColumbia，2005.

Claims (28)

1.一种在视频拼接应用中确定深度补偿项的方法，包括如下步骤：

针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；

对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；以及

通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算深度补偿项，

其中，通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，计算深度补偿项。

2.根据权利要求1所述的在视频拼接应用中确定深度补偿项的方法，在偏移值计算步骤之前还包括如下步骤：

生成对极变换参数和投影变换参数。

3.根据权利要求1所述的在视频拼接应用中确定深度补偿项的方法，其中，接缝区域处每一对应点对的偏移值通过如下方式计算：

对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；

在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及

将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

4.一种在视频拼接应用中确定深度补偿项的设备，包括：

用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值的装置；

用于对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值的装置；以及

用于通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算深度补偿项的装置，

其中，所述计算深度补偿项的装置通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，计算深度补偿项。

5.一种视频拼接装置，包括：

偏移值计算器，用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值，并对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；

补偿计算器，用于通过使用对极变换参数、投影变换参数以及偏移值计算器所生成的所有空间相邻图像对的平均偏移值，计算像素索引表的补偿项；以及

索引更新器，用于以补偿计算器所计算的补偿项，更新像素索引表中的像素对应关系及其权重，以获得更新像素索引表，

其中，对极变换参数、投影变换参数以及像素索引表在外部生成，然后通过将对极变换参数与投影变换参数相乘在外部生成所需对极投影变换乘积，以及

补偿计算器通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，来计算像素索引表的补偿项。

6.根据权利要求5所述的视频拼接装置，其中，在外部使用更新像素索引表，以根据所述多个源视频生成全景视频。

7.根据权利要求5所述的视频拼接装置，其中，偏移值计算器通过如下方式计算接缝区域处每一对应点对的偏移值：

对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；

在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及

将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

8.根据权利要求5～7中任一项所述的视频拼接装置，其中，索引表包括像素位置对应关系和权重。

9.一种视频拼接系统，包括：

根据权利要求5～8中任一项所述的视频拼接装置；以及

像素插值器和混合器，用于通过使用来自视频拼接装置的更新像素索引表，根据所述多个源视频生成全景视频。

10.根据权利要求9所述的视频拼接系统，还包括：

校准装置，用于生成对极变换参数、投影变换参数、像素索引表和所需对极投影变换乘积。

11.根据权利要求10所述的视频拼接系统，其中，校准装置包括：

对极校准器，用于计算并存储对极变换参数；

摄像机位置校准器，用于计算并存储投影变换参数；

乘法器，用于将对极变换参数与投影变换参数相乘，以生成所需对极投影变换乘积；

接缝确定器，用于基于分别来自对极校准器和摄像机位置校准器的对极变换参数和投影变换参数，确定接缝区域以及接缝区域处像素的权重；以及

索引产生器，用于基于来自摄像机位置校准器的投影变换参数以及来自接缝确定器的接缝区域和像素权重，生成像素索引表。

12.根据权利要求9～11中任一项所述的视频拼接系统，还包括：

摄像机阵列，用于生成所述多个源视频，其中，摄像机阵列中至少两个摄像机在空间上排列为具有交迭视场。

13.一种视频拼接方法，包括如下步骤：

针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；

对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；

通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算像素索引表的补偿项；以及

以所计算的补偿项，更新像素索引表中的像素对应关系及其权重，以获得更新像素索引表，

其中，通过将对极变换参数与投影变换参数相乘在外部生成所需对极投影变换乘积，以及通过将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘，来计算像素索引表的补偿项。

14.根据权利要求13所述的视频拼接方法，还包括如下步骤：使用更新像素索引表，以根据所述多个源视频生成全景视频。

15.根据权利要求13所述的视频拼接方法，其中，通过如下方式计算接缝区域处每一对应点对的偏移值：

对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；

在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及

将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

16.根据权利要求13～15中任一项所述的视频拼接方法，其中，索引表包括位置对应关系和权重。

17.一种视频拼接装置，包括：

偏移值计算器，用于针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值，并对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；

补偿计算器，用于通过使用对极变换参数、投影变换参数以及偏移值计算器所生成的所有空间相邻图像对的平均偏移值，计算像素变换的补偿项；以及

像素对应关系计算器，用于通过使用对极变换参数、投影变换参数以及补偿计算器所计算的补偿项，计算所述两个空间相邻图像内的点与其对应目标点之间的位置对应关系，以生成像素变换对应关系，所述像素变换对应关系包括所计算的位置对应关系以及外部提供的权重，

其中，补偿计算器通过如下方式来计算像素的补偿项：

通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积；以及

将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘。

18.根据权利要求17所述的视频拼接装置，其中，所生成的像素变换对应关系在外部用于根据所述多个源视频生成全景视频。

19.根据权利要求17所述的视频拼接装置，其中，对极变换参数和投影变换参数在外部生成。

20.根据权利要求17所述的视频拼接装置，其中，偏移值计算器通过如下方式计算接缝区域处每一对应点对的偏移值：

对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；

在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及

将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

21.一种视频拼接系统，包括：

根据权利要求17～20中任一项所述的视频拼接装置；以及

像素插值器和混合器，用于通过使用来自视频拼接装置的所计算的像素变换对应关系，根据所述多个源视频生成全景视频。

22.根据权利要求21所述的视频拼接系统，还包括：

校准装置，用于生成对极变换参数、投影变换参数、接缝区域以及接缝区域处像素的权重。

23.根据权利要求22所述的视频拼接系统，其中，校准装置包括：

对极校准器，用于计算并存储对极变换参数；

摄像机位置校准器，用于计算并存储投影变换参数；以及

接缝确定器，用于基于分别来自对极校准器和摄像机位置校准器的对极变换参数和投影变换参数，确定接缝区域以及接缝区域处像素的权重。

24.根据权利要求21～23中任一项所述的视频拼接系统，还包括：

摄像机阵列，用于生成所述多个源视频，其中，摄像机阵列中至少两个摄像机在空间上排列为具有交迭视场。

25.一种视频拼接方法，包括如下步骤：

针对多个源视频中两个空间相邻图像内的接缝区域处的每一对应点对，计算偏移值；

对所述两个空间相邻图像内的接缝区域处的所有对应点对的偏移值进行平均，以获得该空间相邻图像对的平均偏移值；

通过使用对极变换参数、投影变换参数以及所有空间相邻图像对的平均偏移值，计算像素变换的补偿项；以及

通过使用对极变换参数、投影变换参数以及所计算的补偿项，计算所述两个空间相邻图像内的点与其对应目标点之间的位置对应关系，以生成像素变换对应关系，所述像素变换对应关系包括所计算的位置对应关系以及外部提供的权重，

其中，通过如下方式计算像素变换的补偿项：

通过将对极变换参数与投影变换参数相乘，生成所需对极投影变换乘积；以及

将所需对极投影变换乘积与所有空间相邻图像对的平均偏移值相乘。

26.根据权利要求25所述的视频拼接方法，还包括如下步骤：使用所生成的像素变换对应关系来根据所述多个源视频生成全景视频。

27.根据权利要求25所述的视频拼接方法，在偏移值计算步骤之前还包括如下步骤：

生成对极变换参数、投影变换参数，接缝区域以及接缝区域处像素的权重。

28.根据权利要求25所述的视频拼接方法，其中，通过如下方式计算接缝区域处每一对应点对的偏移值：

对预定偏移值范围中的每一偏移值，计算与之相对应的图像平方亮度差之和；

在所计算的与所述预定偏移值范围中所有偏移值相对应的亮度差之和中搜索最小平方亮度差之和；以及

将与最小平方亮度差之和相对应的偏移值确定为该对应点对的偏移值。

Images