CN104506826B - 一种无有效重叠区域的定点定向视频实时拼接装置 - Google Patents

Abstract

本发明公开了一种无有效重叠区域的定点定向视频实时拼接装置，该装置是基于FPGA硬件平台及GPGPU硬件平台所搭建的具有平行计算架构的高效视频拼接装置。其包括多摄像机视频采集阵列，多路视频同步采集单元，多路视频同步分割单元，多路视频侧视图变俯视图单元，GPGPU视频帧拼接、补偿和融合单元和实时全景视频流生成单元；多摄像机视频采集阵列采集的视频流，经多路视频同步采集单元和多路视频同步分割单元的采集和分割后，获得第一静态视频帧组；第一静态视频帧组在多路视频侧视图变俯视图单元中变换为第二静态视频帧组；第二静态视频帧组经GPGPU视频帧拼接、补偿和融合单元的处理，形成全景视频帧；全景视频帧由全景视频流生成单元合成成实时全景视频流。

Description

一种无有效重叠区域的定点定向视频实时拼接装置

技术领域

本发明涉及实时视频图像拼接集成电路技术领域，更具体涉及一种无有效重叠区域的定点定向视频实时拼接装置。

背景技术

视频拼接装置在建立大视角的高分辨率图像领域、虚拟现实领域、医学图像领域、遥感技术以及军事领域中均有广泛的应用。随着图像拼接问题越来越复杂，以及图像拼接算法对实时性和精度要求越来越高，导致实现视频拼接的装置性能要求也越来越高。例如，对于一般性的视频拼接问题，一般通过将其图像拼接算法和视频实时合成算法移植到FPGA、英特尔的IPP或者英伟达的CUDA等平行计算架构平台上，来实现其视频流的实时拼接。但对于不同视角、不同方向对同一场景采集的无有效重叠区域的定点定向的视频拼接问题，由于拍摄的图像间不但没有能用于图像拼接的有效重叠区域，甚至图像间有较小的间隙和漏洞，这使得图像拼接算法不但要对图像进行拼接，还必须同时对图像进行补偿和融合，图像拼接算法的复杂度、时间成本均极大提高，采用现有的拼接装置几乎无法实现视频流的实时拼接。本发明利用FPGA和众核处理机(GPGPU)搭建一个更高效平行计算架构硬件平台作为其视频拼接装置，极大的提高了无有效重叠区域的定点定向视频拼接算法的运行效率，提高了视频流拼接的实时性。

专利公开号CN102724477A发明专利是一种基于基于FPGA的监控视频实时拼接装置及拼接方法，其工作原理是，在视频捕获电路的控制下，视频解码电路将来自多个摄像头的具有30％以上重叠区域的多路视频信号转化为数字信号，通过图像预处理模块修正，进入FPGA图像拼接模块实现每帧图像的无缝拼接后，由视频显示控制模块控制视频数模转换电路将拼接后的视频实时输出至显示器。显然此专利采用的方法无法对多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像进行拼接处理。同时此专利的拼接装置是基于FPGA平行计算架构平台来搭建的，无法满足本发明研究的实际问题要求。

专利公开号CN101593350A发明专利是一种深度自适应视频拼接的方法、装置和系统。其视频拼接系统包括摄像机阵列、校准装置、视频拼接装置以及像素插值器和混合器。首先，摄像机阵列生成多个源视频；然后，校准装置执行对极校准和摄像机位置校准，确定多个源视频中每一空间相邻图像对的接缝区域，并生成像素索引表；再次，视频拼接装置利用平均偏移值形成像素索引表的补偿项更新像素索引表；最后，像素插值器和混合器利用更新后的像素索引表结合多源视频生成全景视频。显然，此专利希望通过简化图像拼接算法，来提高拼接效率，但对于一个复杂的拼接问题，拼接算法的简化必定会造成拼接质量的下降。同时此专利采用的单一串行的图形拼接装置也根本无法满足数据量大，计算复杂的视频流拼接的实时性要求，实用性差。

发明内容

针对本领域存在的不足之处，本发明的目的在于提供一种针对多摄像机在不同视角、不同方向对同一场景采集的无有效重叠区域的图像进行定点定向的实时视频拼接的装置。

实现本发明上述目的的技术方案为：

本发明公开了一种无有效重叠区域的定点定向视频实时拼接装置，如图1所示，所述装置包括多摄像机视频采集阵列U3、多路视频同步采集单元U4、多路视频同步分割单元U5、多路视频侧视图变俯视图单元U6、GPGPU视频帧定位、拼接、补偿和融合单元U7以及实时全景视频流生成单元U9。

所述多摄像机视频采集阵列U3采集被拍物体不同位置的视频流信息，并传递给所述多路视频同步采集单元；所述多路视频同步采集单元U4将接收的视频流信息进行模数转换、同步和压缩处理，并传递给所述多路视频同步分割单元；所述多路视频同步分割单元U5接收所述多路视频同步采集单元的同步视频分割指令，将其接收的信息转换为同一视频格式，按照时间顺序分为多个第一静态视频帧组，并将所述第一静态视频帧组传递给所述多路视频侧视图变俯视图单元；其中，每个所述第一静态视频帧组均包括同一时刻的所述多摄像机视频采集阵列采集的n路视频流信息；所述多路视频侧视图变俯视图U6单元将接收的所述第一静态视频帧组中每一路视频流信息对应的静态图像，转换为被拍物体的俯视图，形成第二静态视频帧组，并将所述第二静态视频帧组传递给所述GPGPU视频帧定位、拼接、补偿和融合单元；所述GPGPU视频帧定位、拼接、补偿和融合单元U7对所述第二静态视频帧组中的每个视频帧进行定位、拼接、补偿和融合，得到被拍对象的全景视频帧，并将所述全景视频帧传递给所述实时全景视频流生成单元；所述实时全景视频流生成单元U9将接收到的不同时刻的全景视频帧U8，按照时间顺序合成实时全景视频流。

所述多路视频同步分割单元以及所述多路视频侧视图变俯视图单元集成于FPGA(可编程门阵列)硬件平台上；所述GPGPU视频帧定位、拼接、补偿和融合单元以及所述实时全景视频流生成单元集成于GPGPU硬件平台上，通过搭建基于所述FPGA硬件平台和所述GPGPU硬件平台的具有平行计算架构且高效的视频拼接装置，实现对视频流信号的实时拼接。

所述多摄像机视频采集阵列按照固定的安装参数进行安装。所述多路视频同步采集单元包括模数转换模块、存储器、视频压缩芯片以及视频同步芯片；所述多路视频同步采集单元接收的视频流信息，由所述模数转换模块转换为将模拟信号转换为数字信号，所述存储器将转换后的数字信号进行存储，所述视频同步芯片对所述数字信号尽心同步处理之后，由所述视频压缩芯片对同步后的数字信号进行压缩处理。所述FPGA硬件平台还包括数字视频接口输入模块(DVI输入模块)、视频图形阵列输入模块(VGA输入模块)、视频帧组输出模块以及存储模块；所述多路视频同步采集单元传递的视频流信息按照信号模式不同，分别输入所述数字视频接口输入模块、视频图形阵列输入模块，进行视频格式转换；格式转换后的视频流信息由所述视频同步分割单元分割为多个所述第一静态视频帧组，并将所述第一静态视频帧组按照时间顺序存储进所述存储模块内；由所述多路视频侧视图变俯视图单元转换得到的所述第二静态视频帧组，通过所述视频帧组输出模块输出给所述GPGPU视频帧定位、拼接、补偿和融合单元。

所述多路视频侧视图变俯视图单元按照侧视图转俯视图几何模型进行转换，所述侧视图转俯视图几何模型为：

其中，s为比例因子，f_x,f_y为摄像机的焦距，c_x,c_y为图像矫正参数，R_x,R_y,R_z为旋转矩阵的三个列向量，t为平移向量，(x,y,z)为所述静态图像侧视图的元素坐标，(X,Y,Z)为对应元素的俯视图坐标。所述第二静态视频帧组通过视频帧输出模块传递给所述GPGPU视频帧定位、拼接、补偿和融合单元。

所述GPGPU视频帧定位、拼接、补偿和融合单元包括众核处理机M1、数据通信模块M7、预设任务模块M6、任务调度模块M8、任务管理模块M9、任务配置模块M10和命令监听模块M11，其中所述众核处理机包括众核控制单元M2、众核处理器M3以及总线M4；所述数据通信模块接收所述多视频帧输出模块传过来的视频帧组数据，同时将所述众核处理机运算完成的结果数据传出；所述预设任务模块储存着待处理任务的算法和对应任务命令；所述任务调度模块根据所述任务管理模块的命令，协调各个预处理任务的处理顺序，决定所述众核处理机当前执行的待处理任务的算法；所述任务管理模块，根据所述命令监听模块监听得到的任务从所述任务配置模块中获取任务计算所需的任务信息，并把众核处理器切换到对应的计算模式下，之后通过所述数据通信模块获取任务数据，从所述预设任务模块读取当前任务的算法，加载执行函数进行计算；所述任务配置模块，储存待处理任务所需的任务信息，同时为当前待执行任务根据其对应的任务信息分配真实的存储空间，所述存储空间包括众核控制单元的存储空间和众核处理器的存储空间；

所述命令监听模块，在众核处理系统运行时，实时获取发送给众核处理机的任务，将其传送给所述任务管理模块，并接收所述任务管理模块返回的任务执行结果；所述众核处理器与所述众核控制单元由所述总线互连。

所述预设任务模块包括视频帧组定位功能子模块U71、视频帧组定点定向全景粗拼接功能子模块U72、视频帧组拼接缝补偿功能子模块U73、视频帧组拼接缝融合功能子模块U74；所述视频帧组定位功能子模块将所述第二静态视频帧组中视频帧对应的子图像，根据定位模型，计算其在全景图中的区域和大小；所述视频帧组定点定向全景粗拼接功能子模块，按照所述多摄像机阵列中每个摄像机预定的标号顺序和其拍摄子图像的定位信息逐张将子图像填充到空白图像中对应的地方，实现全景图的粗拼接；所述视频帧组拼接缝补偿功能子模块将具有拼接缝或拼接漏洞的视频帧全景图进行拼接缝和拼接漏洞的补偿；所述视频帧组拼接缝融合功能子模块对所述拼接缝和拼接漏洞进行融合处理，获得全景视频帧。

所述定位模型为：

其中，x₀,y₀,z₀为摄像机镜头中心点坐标，x₁,y₁,z₁为被拍对象与摄像平面xoy的交点坐标，(α,β,γ)为摄像机对应景域的圆锥体母线的方向角，x₂,y₂,z₂为摄像机对应景域的纬圆与所述圆锥体母线的交点坐标，x,y,z为摄像机对应景域与摄像平面xoy交点坐标。

所述众核处理器包括存储区M5，用于对所述全景视频帧进行存储。下面对这种无有效重叠区域的定点定向视频实时拼接装置(图1所示)的主要构成单元逐一进行说明：

多摄相机视频采集阵列

多摄相机视频采集阵列是由n个按照固定的安装参数进行安装的摄像机构成的摄像阵列，如图1所示，阵列中的各个摄像机通过采用不同的视向角的镜头，以及不同拍摄角度，实现对采集场景U1的基本覆盖。但采集的同一场景U1的各个摄像机图像U2间无有效拼接重叠区域，甚至存在较小的间隙和漏洞的。

多路视频同步采集单元

本单元如图1所示，是由多块具有多路视频同步采集功能的视频采集卡组成。其工作流程为，多路视频同步采集单元U4将多摄相机视频采集阵列U3视频源的n路模拟信号通过采集卡上的A/D转换模块分路转换成数字信号，然后传至板卡自带的储存器中，再由视频采集卡上自带的视频压缩芯片和视频同步芯片对各路视频执行同步和压缩算法，从而将庞大的视频信号同步，压缩变小后形成n路视频流，再传递给多路视频同步分割单元U5，完成整个工作流程。

多路视频同步分割单元

本单元是集成于一个FPGA硬件平台S1中，如图2所示，在FPGA视频同步分割模块S3(多路视频同步分割单元)里预载了一个平行图像处理算法硬件逻辑电路，该图像处理算法的工作流程是：首先，通过接收图1中多路视频同步采集单元U4的视频同步分割指令，开始将其传递过来的n路视频流，按照输入信号模式的不同，分别输入到DVI输入模块S5和VGA输入模块S6中，进行视频格式转换统一；然后，再按视频流的先后时间顺序将其分割成若干个第一静态视频帧组，其中每个第一静态视频帧组由n路视频流同一时刻的n个静态图像组成；最后，再将各个时刻的视频帧组按先后顺序依次传送给DDR3储存模块S4进行储存，然后给图1中多路视频同步采集单元U4返回空闲信号，等待多路视频同步采集单元U4下达一个视频同步分割命令。

多路视频帧侧视图变俯视图单元

为了节省装置的成本，提高装置的集成度，如图2所示，本单元与多路视频同步分割单元U5同在一个FPGA硬件平台S1进行实现。本单元的核心图像变换算法硬件逻辑电路作为多路视频同步分割单元U5的后续算法也已预载在FPGA视频变换模块(多路视频帧侧视图变俯视图单元)S2中，该图像变换算法的工作流程是：首先其按照时间先后顺序，从DDR3储存模块S4中取出亟待处理的视频帧组；然后在FPGA视频变换模块S2中，对获取的视频帧组中的每一幅图像，按照摄像头标号顺序依次利用基于多摄像机安装参数图像几何变换模型将原子图像组的侧视图转换成俯视图；最后把变换后视频帧组作为新的视频帧组，通过视频帧组输出模块S7传递给图1中的GPGPU视频帧定位、拼接、补偿和融合单元U7，并从DDR3储存模块S4中取出下一时刻视频帧组进行变换处理，依此类推完成整个工作流程。

GPGPU视频帧定位、拼接、补偿和融合单元

本单元作为本发明的关键单元如图3所示，是一个以众核处理机M1为核心的硬件平台的图像处理软件系统，其是基于CUDA与Hyper-Q流混合编程模式开发的，由如图5所示，为其预设任务模块的组成，下面主要介绍GPGPU视频帧定位、拼接、补偿和融合单元U7的硬件平台、软件编程模式以及工作流程：

(1)GPGPU视频帧定位、拼接、补偿和融合单元的硬件平台

在本发明中，选择GPGPU(General-Purpose Cpmputing on Graphics ProcessingUnits)这一种典型的众核处理器作为核心，构建了单任务并行、多任务并行和多任务流式处理的多模式处理系统，其逻辑结构图如图5所示，众核处理机M1由采用X86结构的MPU众核控制单元M2和众核处理器M3两部分组成，众核控制单元M2与众核处理器M3由高速的PCI-EM4总线互连。而GPGPU视频帧定位、拼接、补偿和融合单元还包括图5中所示的数据通信模块M7、预设任务模块M6、任务调度模块M8、任务管理模块M9、任务配置模块M10和命令监听模块M11。其中：

1、数据通信模块M7主要负责接收图1中多路视频帧侧视图变俯视图单元U6的视频帧组输出模块S7传过来的视频帧组数据，同时将众核处理机运算完成的结果数据也由此模块传出；

2、预设任务模块M6，其本身是一个储存器，预先储存着各种待处理任务的算法和对应任务命令，在本发明中主要包括视频帧定位处理算法、视频帧拼接处理算法、视频帧补偿处理算法、视频帧融合处理算法和全景视频流合成处理算法；

3、任务调度模块M8主要是根据任务管理模块M9的命令，协调各个预处理任务的处理顺序，决定众核处理机M1当前执行哪个预处理任务的算法；

4、任务管理模块M9，一方面负责计算任务的加载过程，当众核处理器需要加载任务进行计算时，从预设任务模块M6中获取任务命令和算法，并且同时根据任务命令从任务配置模块M10中获取任务计算所需的任务信息，该任务信息包含了计算任务运行时所需的存储空间大小、适合于该任务的计算模式、执行函数(即CUDA中的kernel函数)等内容。另一方面在计算任务在被加载前，还需要根据任务命令把众核处理器切换到指定的计算模式下，再通过数据通信模块M7获取任务数据，然后从预设任务模块M6读取当前任务计算算法，加载执行函数进行计算；

5、任务配置模块M10，一方面是一个储存器，预先储存着各种待处理任务所需的任务信息，该任务信息包含了计算任务运行时所需的存储空间大小、适合于该任务的计算模式、执行函数(即CUDA中的kernel函数)等内容。另一方面负责为当前待执行的任务根据其对应的任务信息分配真实的存储空间，包括众核控制单元M2的存储空间和众核处理器M3的存储空间；

6、命令监听模块M11主要负责在众核处理系统运行时，实时获取上游和下游设备发送给众核处理机的任务命令，将其传送给任务管理模块，并接收任务管理模块返回的任务命令执行结果。

(2)GPGPU视频帧定位、拼接、补偿和融合单元软件编程模式

传统的统一计算设备架构CUDA编程模式中，CUDA流的创建分为两种：一种是利用上下文隐式地创建一个CUDA流；一种是在编程时事先显式的配置一个CUDA流。不管以何种方式创建CUDA流，所有的操作在CUDA流中均是按照如图4a所示，采用Fermi模式的单一硬件工作队列方式来进行的。具体而言，在众核处理器GPU中，存在一个CUDA工作调度器CWD硬件模块，专门负责将计算任务分配到不同的流处理器中进行处理，从而实现并行处理。但在Fermi框架中，虽然能够同时启动16个流处理核心，并发出任务对应的多个CUDA流，例如图4a所示的流1、流2和流3，但所产生的多个CUDA流必须如图4a所示的排队方式，分时复用一个硬件工作队列，从而使得并行计算效率极大降低。基于以上分析，本发明通过引入了Kepler GK110架构中的Hyper-Q流特性，用来消除只有单一硬件工作队列的限制，如图4b所示，增加了硬件工作队列的数量，只要CUDA流的数目不超过硬件工作队列数目的前提下，多个CUDA流即可像图4b所示的独占硬件工作队列的方式并行执行，极大的提高了效率。综上所述，本发明通过采用CUDA与Hyper-Q流混合编程模式，从而克服了传统统一计算设备架构CUDA编程模式中的缺点，极大的提高了视频拼接算法的执行效率，为视频流的实时高速拼接提供了基本保证。

(3)GPGPU视频帧定位、拼接、补偿和融合单元的工作流程

首先，将如图1所示的多路视频帧侧视图变俯视图单元U6输出的视频帧组作为全景图像拼接的原图像组，传送给GPGPU视频帧定位、拼接、补偿和融合单元的数据通信模块M7，并同时发出开始图像拼接的命令信号；

然后，命令监听模块M11接受到命令后，通知任务管理模块M9加载对应的视频帧处理任务，同时在任务管理模块M9的命令下，任务配置模块M10和任务调度模块M8为任务执行做好相关准备；

最后，预处理的视频处理任务在众核处理机M1中，在众核控制单元M2和众核处理器M3的协调工作下，高效并行的被处理完毕，并且再通过数据通信模块M7输出。

特别说明一点，对于预设任务模块M6中的任务间关系和执行顺序如图5所示，具体而言:首先，将待处理视频帧组，在视频帧组定位功能子模块U71的处理下，预知每个拼接视频帧在全景图中的区域和大小；其次，在视频帧组定点定向全景粗拼接功能子模块U72中，利用视频帧定位功能子模块U71的视频帧定位信息进行全景图的粗拼接，获得有拼接缝和拼接漏洞的视频帧全景图；再次，将具有拼接缝和拼接漏洞的视频帧全景图送到视频帧组拼接缝补偿功能子模块U73中进行拼接缝和拼接漏洞的补偿；最后，通过视频帧组拼接缝融合功能子模块U74对其进行拼接缝和拼接漏洞的融合处理，获得自然完整的无拼接缝和漏洞的视频帧全景图。

实时全景视频流生成单元

本单元作为本发明的输出单元如图1所示，实时全景视频流生成单元U9被集成在GPGPU视频帧定位、拼接、补偿和融合单元中，作为预设任务模块(M6)中的一个子任务来处理。在全景视频流合成处理任务中，利用了多线程调度机制和众核处理机的并行计算架构，将GPGPU视频帧定位、拼接、补偿和融合单元U7获取的自然完整的无拼接缝和漏洞的视频帧全景图，如图6中全景视频帧U92和U93所示，按照时间的先后顺序，以图6所示的，24帧每秒的方式形成全景视频流U91，同时通过简单的视频压缩算法，将视频流压缩成常用的视频格式进行储存和实时显示，完成本单元的整个工作流程。

本发明的有益效果在于：

本发明提供了一种针对不同视角、不同方向对同一场景采集的无有效重叠区域的图像进行拼接处理，再实时生成视频流的视频实时拼接装置；该装置通过采用FPGA和众核处理机(GPGPU)，搭建了一个更高效平行计算架构硬件平台，极大的提高了无有效重叠区域的定点定向视频拼接算法的精度和运行效率，满足了视频流拼接的实时性要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种无有效重叠区域的定点定向视频实时拼接装置的结构示意图；

图2为本发明中所述FPGA硬件平台结构框图；

图3为本发明中所述GPGPU硬件平台上结构框图；

图4a、4b为本发明中基于CUDA与Hyper-Q流混合编程模式原理图；

图5为本发明中GPGPU视频帧定位、拼接、补偿和融合单元功能结构框图；

图6为本发明中实时全景视频流生成单元视频流合成示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

结合图1对本发明具体实施情况进行进一步的说明，本发明应用于国内某2650m³高炉上，分别从高炉的不同方向安装了3个侧视拍摄料面的摄像头，用于获取直径为8.2米的圆面的料面。由于高炉炉内无光、高温和多尘的恶劣环境，使的无法使用单个摄像机获取高炉的整个料面，并且每个摄像机只能定点定向固定安装。这就满足了3个摄像机在不同视向角，不同方向对同一料面进行图像采集，采集图像间无能用于图像拼接的有效重叠区域，甚至图像间有较小的间隙和漏洞的本发明使用前提。首先，根据图1安装视频拼接装置的必要设备，设备安装完毕后，再根据图1的流程开始对采集视频信息进行视频拼接，其工作步骤如下，

1、根据多摄像机安装参数，对安装的3个拍摄料面的摄像机标定其摄像机成像参数，用于后面视频拼接处理；

2、启动本发明的装置，安装的3个不同方向的摄像机开始采集视频流信息，并通过多视频同步采集单元U4按照时间先后顺序进行视频流的采集；

3、多路视频同步采集单元U4，将采集的视频流传送给FPGA硬件平台，同时平台里的DVI输入模块S5和VGA输入模块S6将传送过来的视频信号格进行统一后，传送给信号处理模块FPGA S1，信号处理模块FPGA S1中的FPGA视频同步分割模块S3和FPGA视频变换模块S2将传过来的3个视频流信息，先同步分割成按照时间先后顺序排列的一系列视频帧组，然后在对每个视频帧组中每一个视频帧进行图像视角变换，将其从侧视图变成俯视图；

4、GPGPU视频帧定位、拼接、补偿和融合单元U7接受FPGA硬件平台传送过来的视频帧组，利用众核处理机硬件平台，对其进行如下的一系列处理：首先在视频帧组定位功能子模块U71的处理下，定位每个拼接视频帧在全景图中的区域和大小；其次在视频帧组定点定向全景粗拼接功能子模块U72的处理下，进行全景图的粗拼接，获得有拼接缝和拼接漏洞的视频帧全景图；然后利用视频帧组拼接缝补偿功能子模块U73进行拼接缝和拼接漏洞的补偿；最后，通过视频帧组拼接缝融合功能子模块U74对其进行拼接缝和拼接漏洞的融合处理，获得自然完整的无拼接缝和漏洞的视频帧全景图。

5、最后实时全景视频流生成单元U9将GPGPU视频帧定位、拼接、补偿和融合单元U7合成的一张张全景图按照时间先后顺序，以每秒24帧的速率合成成实时全景视频流，并送给监控设备进行实时显示，完成整个过程。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种无有效重叠区域的定点定向视频实时拼接装置，其特征在于，所述装置包括多摄像机视频采集阵列，多路视频同步采集单元，多路视频同步分割单元，多路视频侧视图变俯视图单元，GPGPU视频帧定位、拼接、补偿和融合单元以及实时全景视频流生成单元；

所述多摄像机视频采集阵列采集被拍物体不同位置的n路视频流信息，并传递给所述多路视频同步采集单元；

所述多路视频同步采集单元将接收的视频流信息进行模数转换、同步和压缩处理，并传递给所述多路视频同步分割单元；

所述多路视频同步分割单元接收所述多路视频同步采集单元的同步视频分割指令，将其接收的信息转换为同一视频格式，按照时间顺序分为多个第一静态视频帧组，并将所述第一静态视频帧组传递给所述多路视频侧视图变俯视图单元；其中，每个所述第一静态视频帧组均包括同一时刻的所述多摄像机视频采集阵列采集的n路视频流信息；

所述多路视频侧视图变俯视图单元将接收的所述第一静态视频帧组中每一路视频流信息对应的静态图像，转换为被拍物体的俯视图，形成第二静态视频帧组，并将所述第二静态视频帧组传递给所述GPGPU视频帧定位、拼接、补偿和融合单元；

所述GPGPU视频帧定位、拼接、补偿和融合单元对所述第二静态视频帧组中的每个视频帧进行定位、拼接、补偿和融合，得到被拍物体的全景视频帧，并将所述全景视频帧传递给所述实时全景视频流生成单元；

所述实时全景视频流生成单元将接收到的不同时刻的全景视频帧，按照时间顺序合成实时全景视频流；

所述多路视频同步分割单元以及所述多路视频侧视图变俯视图单元集成于FPGA硬件平台上；所述GPGPU视频帧定位、拼接、补偿和融合单元以及所述实时全景视频流生成单元集成于GPGPU硬件平台上，通过搭建基于所述FPGA硬件平台和所述GPGPU硬件平台的具有平行计算架构且高效的视频拼接装置，实现对视频流信号的实时拼接。

2.根据权利要求1所述的装置，其特征在于，所述多摄像机视频采集阵列按照固定的安装参数进行安装。

3.根据权利要求2所述的装置，其特征在于，所述多路视频同步采集单元包括模数转换模块、存储器、视频压缩芯片以及视频同步芯片；

所述多路视频同步采集单元接收的视频流信息，由所述模数转换模块转换为将模拟信号转换为数字信号，所述存储器将转换后的数字信号进行存储，所述视频同步芯片对所述数字信号尽心同步处理之后，由所述视频压缩芯片对同步后的数字信号进行压缩处理。

4.根据权利要求3所述的装置，其特征在于，所述FPGA硬件平台还包括数字视频接口输入模块、视频图形阵列输入模块、视频帧组输出模块以及存储模块；

所述多路视频同步采集单元传递的视频流信息按照信号模式不同，分别输入所述数字视频接口输入模块、视频图形阵列输入模块，进行视频格式转换；格式转换后的视频流信息由所述视频同步分割单元分割为多个所述第一静态视频帧组，并将所述第一静态视频帧组按照时间顺序存储进所述存储模块内；由所述多路视频侧视图变俯视图单元转换得到的所述第二静态视频帧组，通过所述视频帧组输出模块输出给所述GPGPU视频帧定位、拼接、补偿和融合单元。

5.根据权利要求4所述的装置，其特征在于，所述GPGPU视频帧定位、拼接、补偿和融合单元包括众核处理机、数据通信模块、预设任务模块、任务调度模块、任务管理模块、任务配置模块和命令监听模块，其中所述众核处理机包括众核控制单元、众核处理器以及总线；

所述数据通信模块接收多视频帧输出模块传过来的视频帧组数据，同时将所述众核处理机运算完成的结果数据传出；

所述预设任务模块储存着待处理任务的算法和对应任务命令；

所述任务调度模块根据所述任务管理模块的命令，协调各个预处理任务的处理顺序，决定所述众核处理机当前执行的待处理任务的算法；

所述任务管理模块，根据所述命令监听模块监听得到的任务从所述任务配置模块中获取任务计算所需的任务信息，并把众核处理器切换到对应的计算模式下，之后通过所述数据通信模块获取任务数据，从所述预设任务模块读取当前任务的算法，加载执行函数进行计算；

所述任务配置模块，储存待处理任务所需的任务信息，同时为当前待执行任务根据其对应的任务信息分配真实的存储空间，所述存储空间包括众核控制单元的存储空间和众核处理器的存储空间；

所述命令监听模块，在众核处理系统运行时，实时获取发送给众核处理机的任务，将其传送给所述任务管理模块，并接收所述任务管理模块返回的任务执行结果；

所述众核处理器与所述众核控制单元由所述总线互连。

6.根据权利要求5所述的装置，其特征在于，所述预设任务模块包括视频帧组定位功能子模块、视频帧组定点定向全景粗拼接功能子模块、视频帧组拼接缝补偿功能子模块、视频帧组拼接缝融合功能子模块；

所述视频帧组定位功能子模块将所述第二静态视频帧组中视频帧对应的子图像，根据定位模型，计算其在全景图中的区域和大小；

所述视频帧组定点定向全景粗拼接功能子模块，按照所述多摄像机阵列中每个摄像机预定的标号顺序和其拍摄子图像的定位信息逐张将子图像填充到空白图像中对应的地方，实现全景图的粗拼接；

所述视频帧组拼接缝补偿功能子模块将具有拼接缝或拼接漏洞的视频帧全景图进行拼接缝和拼接漏洞的补偿；

所述视频帧组拼接缝融合功能子模块对所述拼接缝和拼接漏洞进行融合处理，获得全景视频帧。

7.根据权利要求6所述的装置，其特征在于，所述众核处理器包括存储区，用于对所述全景视频帧进行存储。