CN105933695A - 基于多gpu高速互联的全景摄像机成像装置与方法 - Google Patents

Abstract

本发明提出一种基于多GPU高速互联的全景摄像机成像装置与方法。该装置由4路广角双目摄像机构成，这4路广角双目摄像机以两两90°夹角排列在同一水平面上，每一组广角双目摄像机中都装有CPU、GPU处理各自的采集图像，并将各GPU通过PCI‑E进行互联，实现图像间的数据快速交互，高效的完成高分辨率图像的拼接融合，快速获取无缝拼接双目立体全景视频，实现高分辨率双目立体全景视频的实时观看。

Description

基于多GPU高速互联的全景摄像机成像装置与方法

技术领域

本发明涉及计算机视觉领域，特指一种基于多GPU高速互联的全景摄像机成像装置与方法。

背景技术

全景图像、全景视频的获取是计算机视觉的重要问题之一。狭义的全景是指能够覆盖360°×180°视域空间的全景图，而实际应用中的全景图像是指超过人的双眼正常视角(水平90°，垂直70°)的各类全景图，是一种能覆盖大范围场景的宽视角图像。应用中比较典型的全景图由：平面全景图、柱面全景图、球面全景图、多面体全景图。全景视频由连续的全景图序列构成，全景视频可以让我们实时的获取动态全景信息。

全景图像、全景视频在很多领域都有重要应用，如消费娱乐、艺术领域、交通领域、安防领域。全景图像的获取方法有多种，可以通过像鱼眼镜头一样的特殊镜头来获取大视角的全景图，也可以通过单个相机旋转一周得到序列图，并把这些序列图拼接得到全景图，还可以通过多个摄像机获取不同视角的图像，并把这些不同视角的图像拼接成全景图像。其中常见的一种方法是通过多个摄像机获取不同视角的图像，然后通过图像拼接将不同视角的图像拼接融合为一幅无缝的全景图。全景图像拼接流程主要步骤包括：图像采集、图像预处理、图像变换及配准、图像融合、全景图生成。目前，图像拼接技术主要是针对静态图像的。图像拼接对输入图像的质量和相对位置都要求较高，而且图像拼接过程中，图像配准以及图像融合会涉及到大量数据计算，难以实现实时处理，动态全景视频实时拼接是目前面临的一个技术难点。

发明内容

针对现有技术存在的缺陷，本发明提出一种基于多GPU高速互联的全景摄像机成像装置与方法。该装置由4路广角双目摄像机构成，这4路广角双目摄像机以两两90°夹角排列在同一水平面上，每一组广角双目摄像机中都装有CPU(Central Processing Unit，中央处理器)、GPU(Graphic Processing Unit，图形处理器)处理各自的采集图像，并将各GPU通过PCI-E(PCI-Express，总线接口)进行互联，实现图像间的数据快速交互，高效的完成高分辨率图像的拼接融合，实时获取动态全景视频。

本发明的技术方案是：

一种基于多GPU高速互联的全景摄像机成像装置，包括4路广角双目摄像机，分别为第一路广角双目摄像机，第二路广角双目摄像机、第三路广角双目摄像机和第四路广角双目摄像机，4路广角双目摄像机均内置有独立的中央处理器和图像处理器，各摄像机能够单独控制和处理各摄像机采集的图像以及视频；其中第一路广角双目摄像机的第一中央处理器与第二路广角双目摄像机的第二中央处理器、第三路广角双目摄像机的第三中央处理器以及第四路广角双目摄像机的第四中央处理器连接实现对这三路广角双目摄像机其中央处理器的控制，各路广角双目摄像机内的中央处理器与图像处理器之间通过PCI-E互联实现其内部的数据交互，各路广角双目摄像机之间的图像处理器之间通过PCI-E互联实现各路广角双目摄像机之间的数据交互。图像处理器GPU主要负责数据量大的并行数据处理。本发明中，4路GPU分别对4路广角双目摄像机采集的视频帧进行畸变矫正与柱面正投影运算处理，同时，通过PCI-E互联，各GPU之间通过交互数据共同完成图像拼接融合，得到全景图。

一种基于多GPU高速互联的全景摄像机成像装置的工作过程如下：

各路广角双目摄像机将各自采集到的图像通过各路广角双目摄像机内置的CPU控制传输到指定的缓存区中，然后在各路广角双目摄像机中CPU通过PCI-E与GPU进行数据交互，控制GPU对缓存区中的图像进行畸变矫正、投影，最后，各路广角双目摄像机的GPU与GPU之间通过PCI-E互联交互数据，共同协作完成图像拼接融合处理，得到无缝拼接的全景图像。

本发明中，4路广角双目摄像机由4路高分辨率广角双目摄像机构成。4路广角双目摄像机以一点为中心且处于同一水平面xOz上，4路广角双目摄像机的拍摄角度绕垂直该水平面xOz的y轴旋转得到，4路广角双目摄像机两两之间的夹角为90°。广角双目摄像机的水平视场角为150°，竖直视场角为85°，拍摄视频分辨率约为4k(3840×2160像素)，相邻两路广角双目摄像机拍摄的视频之间视场角的重叠夹角为60°，四路广角双目摄像机拍摄的视频拼接后得到360度柱面全景双目立体视频。

基于上述的成像装置。本发明还提供一种基于多GPU高速互联的全景摄像机成像方法，包括以下步骤：

(1)通过第一中央处理器为4路广角双目摄像机的左摄像头和有摄像头分别分配一块对应块缓存区，将4路广角双目摄像机采集的8路视频帧分别存储在对应分配的缓存区中，并对各广角双目摄像机其左边摄像头拍摄的左视频和右边摄像头拍摄的右视频分别进行左右标记；

(2)判断4路广角双目摄像机对应的各个缓冲区是否都有新的视频帧到达，如果是，转入(3)，如果否，等待所有新视频帧；

(3)采用同心圆标定法对4路广角双目摄像机的每一帧进行畸变矫正；

(4)由(3)畸变矫正之后，通过柱面正投影将畸变矫正后的视频帧投影到以摄像机焦距为半径的圆柱面上；

其具体方法为：对畸变校正后的视频帧以摄像机的焦距f为半径进行柱面正投影，柱面正投影公式为：

$\left\{\begin{array}{c}{x}^{\′}=f\·\arctan \left(\frac{x-\frac{W}{2}}{f}\right)+f\·\arctan \left(\frac{W}{2f}\right)\\ y^{\′}=\frac{f\·(y-\frac{H}{2})}{\sqrt{{(x-\frac{W}{2})}^2+f^2}}+\frac{H}{2}\end{array}\right.,$

其中(x,y)为畸变矫正后视频帧上的任意一像素点，(x′,y′)为柱面正投影变换后视频帧上对应的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。

(5)对投影变换后的左视频帧和右视频帧分别进行图像配准，并计算出投影变换矩阵；

其具体步骤为：1)提取左视频帧和右视频帧图像重叠部分的SIFT特征；2)对提取出的SIFT特征利用k-d tree和BBF算法进行特征匹配查找，并根据最近邻和次近邻距离比值进行初步筛选，得到初匹配特征点；3)最后利用RANSAC算法筛选匹配点，得到精确匹配特征点，并计算出投影变换矩阵；

(6)根据投影变换矩阵，将4路广角双目摄像头中各自左边摄像头拍摄的4路左视频同步帧两两拼接，得到左视全景视频帧，将4路广角双目摄像头各自右边摄像头拍摄的4路右视频同步帧两两拼接，得到右视全景视频帧，对左视全景视频帧和右视全景视频帧分别进行图像融合，消除由不同摄像机拍摄引起的色彩差异及图像叠加时产生的拼接缝，得到左右视频帧的全景视频帧；

其中以左视频同步帧的相邻两帧图像拼接融合为例：将拼接处相邻两帧右边的图像帧经过步骤(5)中求得的投影变换矩阵变换得到一个新图像，两帧拼接图像融合得到的目标图像由三部分构成：拼接重合区域左边部分的图像完全取自相邻两帧拼接图左边帧的原图像；中间拼接重叠区域是相邻两帧拼接图的加权平均；拼接区域右边的部分取自右边图像经过矩阵变换后的新图像。以此同样的方法可以实现右视频同步帧的相邻两帧图像拼接融合。加权平均的具体过程为先计算出两帧图像拼接区域的宽度，设d1,d2分别是两帧图像重叠区域中的点到重叠区域左边界和右边界的距离，pixelImg1和pixelimg2分别为右图像帧和左图像帧重叠区域的像素点像素值，重叠区域的各像素点的像素值计算公式为：

$\frac{d1}{d1+d2}*pixel\mathrm{Im}g1+\frac{d2}{d1+d2}*pixel\mathrm{Im}g2,$

通过以上方法就可以实现拼接图像间的平滑过渡。

(7)输出图像融合后的左右视频帧，并通过柱面反投影重新构造出观看视角相对应的左右平面视频帧。

其具体方法为：通过柱面反投影算法把观看视角对应的无缝拼接视频帧还原成平面视图，柱面反投影算法为：

$\left\{\begin{array}{c}x=-f\·tan(\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})+\frac{W}{2}\\ y=-\frac{f\·(y^{\′}-\frac{H}{2})}{\cos (\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})}+\frac{H}{2}\end{array}\right.,$

其中(x,y)为矫正后视频帧上的任意像素点，(x′,y′)为柱面正投影变换后视频帧上的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。

(8)重复步骤(2)～(7)。

本发明提出的一种基于多GPU高速互联的全景摄像机成像装置与方法具有以下有点：4路双目摄像机都拥有独立的CPU、GPU、VPU处理各自的高分辨率视频帧数据，并通过PCI-E将各GPU互联，快速获取无缝拼接双目立体全景视频，实现高分辨率双目立体全景视频的实时观看。

附图说明

图1是本发明提出的成像装置摆放结构示意图；

图2是GPU互联示意图；

图3是四路双目立体左、右视频帧全景拼接示意图；

图4是本发明提出的成像方法的流程图；

图5是GPU互联加速示意图。

具体实施方式

下面结合具体实施例，对本发明一种基于多GPU高速互联的全景摄像机成像装置与方法做详细的描述。

本发明提出的一种基于多GPU高速互联的全景摄像机成像装置，包括4路广角双目摄像机，分别为第一路广角双目摄像机1，第二路广角双目摄像机2、第三路广角双目摄像机3和第四路广角双目摄像机4，四路广角双目摄像机的摆放位置如图1所示。4路广角双目摄像机以o点为中心，且处于同一水平面xOz上，各摄像机绕垂直该水平面xOz的y轴旋转，4路广角双目摄像机两两之间的夹角为90°，各摄像机的拍摄角度与xOz平面垂直。广角双目摄像机的水平视场角为150°，竖直视场角为85°，拍摄视频分辨率约为4k(3840×2160像素)，相邻两路摄像机拍摄的视频之间视场角的重叠夹角为60°，四路视频拼接后得到360度柱面全景双目立体视频。

因为每一路双目摄像机拍摄的视频分辨率都非常高，普通摄像机不能做到实时处理，本发明对4路摄像机都配置有独立的CPU、GPU处理各自的视频数据，并通过PCI-E将4个GPU互联，传递不同视频之间的颜色，亮度信息，实现左右同步视频帧之间的快速融合，GPU互联示意图如图2所示，四路CPU分别控制4路GPU(GPU1、GPU2、GPU3、GPU4)，通过PCI-E总线进行连接，相互之间实现数据的交互。四路双目立体左、右视频帧拼接示意图如图3所示。4路广角双目摄像机均内置有独立的中央处理器和图像处理器，各摄像机能够单独控制和处理各摄像机采集的图像以及视频；其中第一路广角双目摄像机的第一中央处理器CPU1与第二路广角双目摄像机的第二中央处理器CPU2、第三路广角双目摄像机的第三中央处理器CPU3以及第四路广角双目摄像机的第四中央处理器CPU4连接实现对这三路广角双目摄像机其中央处理器的控制，各路广角双目摄像机内的中央处理器与图像处理器之间通过PCI-E互联实现其内部的数据交互，各路广角双目摄像机之间的图像处理器之间通过PCI-E互联实现各路广角双目摄像机之间的数据交互。

传统的图像拼接方法基本都是通过CPU来实现的，运算速度低，即使是双核的CPU所能承受的最大线程只能用个位数来计算，几个线程就能够完全充满CPU的运算空间，对于高分辨率图像的实时处理是不可能实现的，所以本发明提出通过4路GPU互联来高效的完成视频图像的拼接融合。GPU的全称为Graphics Process Unit，即图像处理单元。GPU在硬件设计上与CPU有很大的区别，GPU专门针对计算敏感、高速并行计算场合设计，使用了比CPU多得多得晶体管来进行数据的处理和运算，GPU可以并行运行大量线程。在图像拼接融合过程中，因为数据计算密集，所以将这些运算交给GPU处理，主要包括对每一帧待拼接视频帧进行图像矫正，图像投影变换以及图像融合。如在图像矫正过程中，需要完成每一帧图像的拼接需要对4路双目摄像机拍摄的8幅尺寸为3840×2160的图像数据进行计算，如果交给CPU处理，只能依次遍历每一幅的每一个像素进行矫正。因为像素之间的运算是相互独立的，交给GPU来处理，将数据计算交给大量的线程并行处理大大加快了执行速度。

本发明提供的一种基于多GPU高速互联的全景摄像机成像方法，流程图如图4所示，其具体流程如下所述。

首先，通过第一中央处理器为4路广角双目摄像机的左摄像头和有摄像头分别分配一块对应块缓存区，将4路广角双目摄像机采集的8路视频帧分别存储在对应分配的缓存区中，并对各广角双目摄像机其左边摄像头拍摄的左视频和右边摄像头拍摄的右视频分别进行左右标记。

第二步，判断4路广角双目摄像机对应的各个缓冲区是否都有新的视频帧到达，当各缓存区都有新视频帧的时候，对这些视频帧进行拼接处理；如果否，等待所有新视频帧。

第三步，采用同心圆标定法对4路广角双目摄像机的每一帧进行畸变矫正。

因为视频是由广角镜头拍摄的，而广角镜头使用的是凸透镜，会存在桶形畸变的问题，离镜头中心越远，折射效果越强，拍出的照片会以镜头中心为圆心，呈圆形向外扩展失真，故需要进行畸变矫正处理。假设原图像中某一点(x,y)发生畸变后成像点坐标为(x′,y′),有其中ρ＝1+kr²，r，k是通过摄像机标定方法计算出的畸变系数。畸变矫正就是对图像上发生形变的点进行重新计算，将其还原到原本所在的位置上。

第四步，畸变矫正之后对校正后的视频帧以相机的焦距f为半径进行柱面正投影。

柱面正投影公式为：

$\left\{\begin{array}{c}{x}^{\′}=f\·\arctan \left(\frac{x-\frac{W}{2}}{f}\right)+f\·\arctan \left(\frac{W}{2f}\right)\\ y^{\′}=\frac{f\·(y-\frac{H}{2})}{\sqrt{{(x-\frac{W}{2})}^2+f^2}}+\frac{H}{2}\end{array}\right.,$

其中(x,y)为矫正后视频帧上的任意像素点，(x′,y′)为柱面正投因变换后视频帧上的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。

第五步，对投影后的视频帧根据其重叠部分进行图像配准，目前常用的图像匹配算法是基于特征匹配的图像配准算法。这些特征包括特征点，边缘特征，区域特征等，当两图像之间重合区域越大时，有效特征点会越多，越容易配准，当重合区域为30％-50％时，匹配效果较好。本发明的重叠区域为60°，能够快速精准的进行匹配。图像配准的具体步骤为：1)提取图像重叠部分的SIFT特征；2)对提取出的SIFT特征利用k-d tree和BBF算法进行特征匹配查找，并根据最近邻和次近邻距离比值进行初步筛选，得到初匹配特征点；3)最后利用RANSAC算法筛选匹配点，得到精确匹配特征点，并计算出变换矩阵。

第六步，根据投影变换矩阵，将4路广角双目摄像头中各自左边摄像头拍摄的4路左视频同步帧两两拼接，得到左视全景视频帧，将4路广角双目摄像头各自右边摄像头拍摄的4路右视频同步帧两两拼接，得到右视全景视频帧，对左视全景视频帧和右视全景视频帧分别进行图像融合，消除由不同摄像机拍摄引起的色彩差异及图像叠加时产生的拼接缝，得到左右视频帧的全景视频帧。

视频拍摄时由于空间光照等因素的影像，在色彩上会出现明暗不均匀等现象，这样拼接好的全景视频帧会出现明显的拼接缝，而且整幅图的颜色也不协调，需要对拼接的视频帧作图像融合处理，以消除色差和拼接缝，得到无缝拼接的全景视频帧。常用的图像融合的方法有均值叠加法，加权平均法、多段融合法以及亮度调和法。

本发明中采用加权平均法，其中左视频同步帧的相邻两帧图像拼接融合方法和右视频同步帧的相邻两帧图像拼接融合方法是相同的。以左视频同步帧的相邻两帧图像拼接融合为例，其方法为：将拼接处相邻两帧右边的图像帧经过S5中求得的投影变换矩阵变换得到一个新图像，两帧拼接图像融合得到的目标图像由三部分构成：拼接重合区域左边部分的图像完全取自相邻两帧拼接图左边帧的原图像；中间拼接重叠区域是相邻两帧拼接图的加权平均；拼接区域右边的部分取自右边图像经过矩阵变换后的新图像。。

加权平均的具体过程为先计算出拼接区域的宽度，设d1,d2分别是重叠区域中的点到重叠区域左边界和右边界的距离，pixelImg1和pixelimg2分别为右图像和左图像重叠区域的像素点像素值，重叠区域的各像素点的像素值计算公式为：

$\frac{d1}{d1+d2}*pixel\mathrm{Im}g1+\frac{d2}{d1+d2}*pixel\mathrm{Im}g2,$

通过以上方法就可以实现拼接图像间的平滑过渡。

第七步，输出全景视频帧的观看部分，通过柱面反投影算法把观看视角对应的无缝拼接视频帧还原成平面视图，进行观看。

柱面反投影算法为：

$\left\{\begin{array}{c}x=-f\·tan(\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})+\frac{W}{2}\\ y=-\frac{f\·(y^{\′}-\frac{H}{2})}{\cos (\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})}+\frac{H}{2}\end{array}\right.,$

其中(x,y)为矫正后视频帧上的任意像素点，(x′,y′)为柱面正投因变换后视频帧上的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。

GPU互联加速处理如图5所示。在处理过程中，视频帧的矫正，柱面投影运算以及图像融合都是通过4路双目摄像机的GPU互联加速处理的，图像配准是在CPU中完成的。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (10)

1.一种基于多GPU高速互联的全景摄像机成像装置，其特征在于：包括4路广角双目摄像机，分别为第一路广角双目摄像机，第二路广角双目摄像机、第三路广角双目摄像机和第四路广角双目摄像机，4路广角双目摄像机均内置有独立的中央处理器和图像处理器，各摄像机能够单独控制和处理各摄像机采集的图像以及视频；其中第一路广角双目摄像机的第一中央处理器与第二路广角双目摄像机的第二中央处理器、第三路广角双目摄像机的第三中央处理器以及第四路广角双目摄像机的第四中央处理器连接实现对这三路广角双目摄像机其中央处理器的控制，各路广角双目摄像机内的中央处理器与图像处理器之间通过PCI-E互联实现其内部的数据交互，各路广角双目摄像机之间的图像处理器之间通过PCI-E互联实现各路广角双目摄像机之间的数据交互。

2.根据权利要求1所述的基于多GPU高速互联的全景摄像机成像装置，其特征在于：各路广角双目摄像机将各自采集到的图像通过各路广角双目摄像机内置的CPU控制传输到指定的缓存区中，然后在各路广角双目摄像机中CPU通过PCI-E与GPU进行数据交互，控制GPU对缓存区中的图像进行畸变矫正、投影，最后，各路广角双目摄像机的GPU与GPU之间通过PCI-E互联交互数据，共同协作完成图像拼接融合处理，得到无缝拼接的全景图像。

3.根据权利要求1所述的基于多GPU高速互联的全景摄像机成像装置，其特征在于：4路广角双目摄像机由4路高分辨率广角双目摄像机构成，4路广角双目摄像机以一点为中心且处于同一水平面xOz上，4路广角双目摄像机的拍摄角度绕垂直该水平面xOz的y轴旋转得到，4路广角双目摄像机两两之间的夹角为90°。

4.根据权利要求3所述的基于多GPU高速互联的全景摄像机成像装置，其特征在于：各广角双目摄像机的水平视场角为150°，竖直视场角为85°，拍摄视频分辨率为3840×2160像素，相邻两路广角双目摄像机拍摄的视频之间视场角的重叠夹角为60°。

5.一种基于多GPU高速互联的全景摄像机成像方法，其特征在于，包括以下步骤：

S1.通过第一中央处理器为4路广角双目摄像机的左摄像头和有摄像头分别分配一块对应块缓存区，将4路广角双目摄像机采集的8路视频帧分别存储在对应分配的缓存区中，并对各广角双目摄像机其左边摄像头拍摄的左视频和右边摄像头拍摄的右视频分别进行左右标记；

S2.判断4路广角双目摄像机对应的各个缓冲区是否都有新的视频帧到达，如果是，转入S3，如果否，等待所有新视频帧；

S3.采用同心圆标定法对4路广角双目摄像机的每一帧进行畸变矫正；

S4.由S3畸变矫正之后，通过柱面正投影将畸变矫正后的视频帧投影到以摄像机焦距为半径的圆柱面上；

S5.对投影变换后的左视频帧和右视频帧分别进行图像配准，并计算出投影变换矩阵；

S6.根据投影变换矩阵，将4路广角双目摄像头中各自左边摄像头拍摄的4路左视频同步帧两两拼接，得到左视全景视频帧，将4路广角双目摄像头各自右边摄像头拍摄的4路右视频同步帧两两拼接，得到右视全景视频帧，对左视全景视频帧和右视全景视频帧分别进行图像融合，消除由不同摄像机拍摄引起的色彩差异及图像叠加时产生的拼接缝，得到左右视频帧的全景视频帧；

S7.输出图像融合后的左右视频帧的全景视频帧，并通过柱面反投影重新构造出观看视角相对应的左右平面视频帧；

S8.重复步骤S2～S7。

6.根据权利要求5所述的基于多GPU高速互联的全景摄像机成像方法，其特征在于，步骤S4中，对畸变校正后的视频帧以摄像机的焦距f为半径进行柱面正投影，柱面正投影公式为：

$\left\{\begin{array}{c}{x}^{\′}=f\·\arctan \left(\frac{x-\frac{W}{2}}{f}\right)+f\·\arctan \left(\frac{W}{2f}\right)\\ y^{\′}=\frac{f\·(y-\frac{H}{2})}{\sqrt{{(x-\frac{W}{2})}^2+f^2}}+\frac{H}{2}\end{array}\right.$

其中(x，y)为畸变矫正后视频帧上的任意一像素点，(x′，y′)为柱面正投影变换后视频帧上对应的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。

7.根据权利要求5所述的基于多GPU高速互联的全景摄像机成像方法，其特征在于，步骤S5的方法为：1)提取左视频帧和右视频帧中图像重叠部分的SIFT特征；2)对提取出的SIFT特征利用k-dtree和BBF算法进行特征匹配查找，并根据最近邻和次近邻距离比值进行初步筛选，得到初匹配特征点；3)最后利用RANSAC算法筛选匹配点，得到精确匹配特征点，并计算出投影变换矩阵。

8.根据权利要求5所述的基于多GPU高速互联的全景摄像机成像方法，其特征在于，步骤S6中，左视频同步帧的相邻两帧图像拼接融合方法为：将拼接处相邻两帧右边的图像帧经过S5中求得的投影变换矩阵变换得到一个新图像，两帧拼接图像融合得到的目标图像由三部分构成：拼接重合区域左边部分的图像完全取自相邻两帧拼接图左边帧的原图像；中间拼接重叠区域是相邻两帧拼接图的加权平均；拼接区域右边的部分取自右边图像经过矩阵变换后的新图像。

9.根据权利要求8所述的基于多GPU高速互联的全景摄像机成像方法，其特征在于，步骤S6中，加权平均的方法为：先计算出两帧图像拼接区域的宽度，设d1,d2分别是两帧图像重叠区域中的点到重叠区域左边界和右边界的距离，pixelImg1和pixelimg2分别为右图像帧和左图像帧重叠区域的像素点像素值，重叠区域的各像素点的像素值计算公式为：

$\frac{d1}{d1+d2}*pixel\mathrm{Im}g1+\frac{d2}{d1+d2}*pixel\mathrm{Im}g2.$

10.根据权利要求5所述的基于多GPU高速互联的全景摄像机成像方法，其特征在于，步骤S7中，柱面反投影算法为：

$\left\{\begin{array}{c}x=-f\·tan(\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})+\frac{W}{2}\\ y=-\frac{f\·(y^{\′}-\frac{H}{2})}{\cos (\frac{x^{\′}-f\·\arctan \left(\frac{W}{2f}\right)}{f}-\mathrm{\θ})}+\frac{H}{2}\end{array}\right.$

其中(x，y)为矫正后视频帧上的任意像素点，(x′，y′)为柱面正投影变换后视频帧上的像素点，W和H为视频帧的宽度和高度，f为摄像机的像素焦距，即投影圆柱面的半径。