CN105472272A - 基于fpga的多路视频拼接方法及装置 - Google Patents

Abstract

一种基于FPGA的多路视频拼接方法，包括如下步骤：步骤一，多路HD-SDI摄像头将图像数据传输，转化为差分数字信号，经过图像降采样、中值滤波后缓存；步骤二，读入图像，计算图像的harris角点特征及其相似度，再按照相似度大小进行排序，将数据存入新的相似角点特征区域；步骤三，从相似角点特征区域选好四对配对的特征点，将需要投影变换的那副图像中的其他配对点投影变换到另一副图像，判断重合点的个数是否符合设定的阈值，如果符合得到最优匹配点；步骤四，读取原始图像，按照单应性矩阵计算得到合成的图像；步骤五，拼接图像进行显示。以及提供一种基于FPGA的多路视频拼接装置。本发明简化结构、降低成本、实时性良好。

Description

基于FPGA的多路视频拼接方法及装置

技术领域

本发明涉及及图像处理与视频处理技术领域，尤其是多路视频拼接方法及装置。

背景技术

随着数字视频技术的快速发展以及人们安防意识不断的增强，视频监控在通信、广播、消费类电子和医疗等领域，都有广泛的应用。如今人们对监控的要求越来越苛刻，希望能从监控中得到更多的信息，但往往受到硬件设备的限制，无法得到满足。现在摄像机的种类越来越多，清晰度越来越高，但是对一个摄像头来说，它还是存在难以克服的困难。虽然现在市场上也有些鱼眼全景摄像头，但是这种镜头获得的视频容易产生畸变，而且这种摄像头自身的视频分别率比较低。因此为了获得高分辨率的大场景信息，克服普通摄像头视野小，分辨率低的缺点，需要寻找一种针对大场面、大场景监控的解决方案，其中采用多路摄像头实现全景视频监控是目前比较常见的一种做法。

视频图像拼接技术在不同的领域中得到了充分的应用，比如视频监控、计算机视觉、工业检验和机器人等领域。多个摄像机能够同时获取两路或者三路的视频图像，且两个相邻的摄像机的视角重叠比例适当，再通过查找图像特征和特征值配准的方法计算出两幅图像之间的单应性矩阵，最后将各路图像缝合成广视角的图像。大部分同型号的不同摄像头性能是有微小差异的，在相同的环境下得到的图像色彩也会不同，而实际应用中受光线视角的影响，摄像机在同一时刻获得的图像是有明显视觉差的，从而导致最后得到的拼接图像的效果达不到用户的要求。因此对视频预处理以及图像拼接算法的深入研究，有助于对采集的图像进行校正归一，以减少合成视频的差异性。

一般的嵌入式视频处理平台都是采用DSP+ARM或者FPGA+DSP这种架构，然而在这种体系框架下视频处理开发是相当复杂，而且整个平台的设计成本很高。所以现在一些FPGA公司推出了一些可扩展平台硬件芯片，内部不仅集成了ARM内核的双核处理器，而且芯片自身也带有大量的可编程逻辑门阵列资源。在该架构下，整个系统内部的数据传输带宽能满足需求，而且能充分利用芯片内部的FPGA逻辑资源的并行数据处理能力。

发明内容

为了克服现有多路视频拼接方法及装置的结构复杂、成本较高、实时性较差的不足，本发明提供了一种结构简单、降低成本、实时性良好的基于FPGA的多路视频拼接方法及装置。

为了解决上述技术问题采用的技术方案为：

一种基于FPGA的多路视频拼接方法，所述方法包括如下步骤：

步骤一，多路HD-SDI摄像头将图像数据传输给通过硬件解码电路转化为差分数字信号，然后通过FPGA吉比特接收模块接收后，经过图像降采样以及中值滤波后传给DDR3存储器进行缓存，且各路图像都有自己的缓存；

步骤二，从各路图像采集的DDR3存储器中读入图像，并计算图像的harris角点特征，并将角点特征存入DDR3存储器当中的特征缓冲区中，并计算角点特征的相似度，再按照相似度大小进行排序，排序后将数据存入新的相似角点特征区域；

步骤三，从相似角点特征区域选好四对配对的特征点，然后计算需要投影的图像的单应性矩阵，将需要投影变换的那副图像中的其他配对点都通过投影变换到另一副图像中，统计配对点的个数，判断点的重合点的个数是否符合设定的阈值，如果符合就得到最优匹配点，如果不符合，那么就重复当前步骤，并计算结果单应性矩阵；

步骤四，从DDR3存储器中读取原始图像，按照单应性矩阵计算，将另一幅图像的数据投影到不动的图像平面上，并对重叠区域的图像各像素进行调整，最终得到合成的图像，并存入DDR3存储器的缓冲区进行存储，再由控制器中传到显示缓存区中；

步骤五，从步骤四得到的拼接图像，传递给外部的显示器进行显示。

一种基于FPGA的多路视频拼接装置，所述装置包括多个HD-SDI摄像头、多个视频硬件解码电路，高清数字视频采集模块，视频预处理模块、DDR3控制模块、特征点提取模块、特征点筛选模块、图像融合模块、图像单应性矩阵计算模块和输出控制模块；

所述HD-SDI摄像头，与所述视频硬件解码电路个数相同，并且每个摄像头都有一个单独的硬件解码电路；

所述高清数字视频采集模块，与多个所述视频硬件解码电路、视频预处理模块相连接；

所述DDR3控制模块，包括DDR3控制器和DDR3存储器，并且所述DDR控制器与视频预处理模块、特征点提取模块、特征点筛选模块、图像融合模块和输出控制模块连接；

所述特征点匹配模块，与所述特征点提取模块，特征点筛选模块相连接；

所述高清数字视频采集模块用于实现视频信息的输入；所述DDR3控制器用于控制DDR3存储器的读取，所述DDR3存储器用于存储视频图像和计算的中间值；所述视频预处理模块用于对图像进行色彩调整；所述特征点提取模块用于计算图像的特征点位置和特征描述向量；所述特征点匹配模块用于计算匹配的特征点对；所述特征点筛选模块用于对匹配特征点进行筛选得到最优的匹配特征点对；所述图像单应性矩阵计算模块根据最优匹配特征点计算图像单应性矩阵；所述图像融合模块根据图像单应性矩阵对多幅图像拼接；所述输出控制模块用于控制图像的输出和显示。

进一步，所述HD-SDI摄像头和视频硬件解码电路各为2个。

再进一步，所述DDR3存储器包括拼接图像缓存区域、特征点缓存区域、相似角点特征缓存区域和单应性矩阵缓存区域。

所述视频预处理模块包括：

视频串行解析单元，用于通过吉比特收发器接收串行视频信号存入像素点缓存中，转化为并行视频信号；

降采样单元，用于通过并行视频信号，将其视频数据的降为原信号的四分之一，并传入下一级；

色彩调整单元，用于从降采样单元中读入视频像素，进行色彩矩阵的变换；

视频传输单元，用于从各路的色彩矩阵单元中读取数据然后存入DDR3存储器中拼接图像缓存区中。

所述特征点提取模块包括：

灰度计算单元，用于根据地址计算分配单元读取采集的图像像素点，转化为灰度值，并存入DDR3存储器灰度图像缓存区域中；

harris特征向量查找单元，用于从所述DDR3存储器中读取灰度图像像素值，计算各个像素的在横纵方向上的变化率，判断计算结果值是否超过设定阈值，如果属于harris特征值，就将特征值存入所述DDR3存储器特征点缓存区域中；

特征点筛选单元，用于按照特征点的变化率进行排序，取前面1000个特征点作为两幅图像的对比特征向量，并存入所述DDR3特征点缓存区域。

所述特征点匹配模块包括：

特征相似度计算单元，用于读取有效特征点存储区的特征向量，并计算两幅图像之间的特征向量之间的相似度，并刷选出最为相似的特征向量对，并存入所述DDR3存储器匹配点缓存区中；

单应性矩阵计算单元，用于读取两幅图形中的四对特征匹配点，然后通过单应性矩阵计算，计算其中一幅图像的特征点到另一幅图像的映射点位置的位置；

相似度比较单元，用于通过计算上述单应性矩阵得到的映射位置，然后计算实际匹配点与其的位置距离，从而统计内符合的点数，如果数量大于设定的阈值，保存特到所述DDR3匹配点缓存区中；

筛选匹配点单元，用于从所述匹配点存储区中选取符合点数最多的匹配点，并计算单应性矩阵存到所述DDR3单应性矩阵缓存区中。

所述图像融合模块包括：

缝合位置计算单元，用于根据最优单应性矩阵，计算出每幅图像在相邻图像中的重叠区域的边界；

像素融合计算单元，用于通过读取重叠图像上的RGB像素，通过一种加权的方法计算得到结果，离左侧图像越近，左侧图像的权重系数越大，离右侧图像越近，右侧图像的权重系数越大，不在重合图像区域采用原图像的像素数据；

图像拼合单元，用于将图像整个投影到宽景的图像，最终得到合成图像。

本发明的有益效果：本发明实现了将多路HD-SDI的高清摄像头采集到的视频图像进行无缝拼接，生成宽视角的视频图像，并在显示器上输出拼接后的图像，满足的视频拼接的实时性需求，得到较高质量的视频图像。

附图说明

图1是基于FPGA的多路视频拼接装置的结构示意图。

图2是基于FPGA的多路视频拼接装置中DDR3存储区的结构示意图。

图3是基于FPGA的多路视频拼接方法流程图。

具体实施方式

为了使本发明的技术实现更加明了，下面结合具体示意图，进一步阐述本发明。

一种基于FPGA的多路视频拼接装置的拼接方法，所述方法包括如下步骤：

步骤一，多路HD-SDI摄像头将图像数据传输给通过硬件解码电路转化为差分数字信号，然后通过FPGA吉比特接收模块接收后，经过图像降采样以及中值滤波后传给DDR3控制器进行缓存，且各路图像都有自己的缓存；

步骤二，从各路图像采集的DDR3控制器中读入图像，并计算图像的harris角点特征，并将角点特征存入DDR3控制器当中的特征缓冲区中，并计算角点特征的相似度，再按照相似度大小进行排序，排序后将数据存入新的相似角点特征区域；

步骤三，从相似角点特征区域选好四对配对的特征点，然后计算需要投影的图像的单应性矩阵，将需要投影变换的那副图像中的其他配对点都通过投影变换到另一副图像中，统计配对点的个数，判断点的重合点的个数是否符合设定的阈值，如果符合就得到最优匹配点，如果不符合，那么就重复当前步骤，并计算结果单应性矩阵；

步骤四，从DDR3控制器中读取原始图像，按照单应性矩阵计算，将另一幅图像的数据投影到不动的图像平面上，并对重叠区域的图像各像素进行调整，最终得到合成的图像，并存入DDR3控制器的缓冲区进行存储，再由控制器中传到显示缓存区中；

步骤五，从步骤四得到的拼接图像，传递给外部的显示器进行显示。

一种基于FPGA的多路视频拼接装置，所述装置包括多个HD-SDI摄像头、多个视频硬件解码电路，高清数字视频采集模块，视频预处理模块、DDR3控制模块、特征点提取模块、特征点筛选模块、图像融合模块、图像单应性矩阵计算模块和输出控制模块；

所述HD-SDI摄像头，与所述视频硬件解码电路个数相同，并且每个摄像头都有一个单独的硬件解码电路；

所述高清数字视频采集模块，与多个所述视频硬件解码电路、视频预处理模块相连接；

所述DDR3控制模块，包括DDR3控制器和DDR3存储器，并且所述DDR控制器与视频预处理模块、特征点提取模块、特征点筛选模块、图像融合模块和输出控制模块连接；

所述特征点匹配模块，与所述特征点提取模块，特征点筛选模块相连接；

所述高清数字视频采集模块用于实现视频信息的输入；所述DDR3控制器用于控制DDR3存储器的读取，所述DDR3存储器用于存储视频图像和计算的中间值；所述视频预处理模块用于对图像进行色彩调整；所述特征点提取模块用于计算图像的特征点位置和特征描述向量；所述特征点匹配模块用于计算匹配的特征点对；所述特征点筛选模块用于对匹配特征点进行筛选得到最优的匹配特征点对；所述图像单应性矩阵计算模块根据最优匹配特征点计算图像单应性矩阵；所述图像融合模块根据图像单应性矩阵对多幅图像拼接；所述输出控制模块用于控制图像的输出和显示。

进一步，所述HD-SDI摄像头和视频硬件解码电路各为2个。

再进一步，所述DDR3存储器包括拼接图像缓存区域、特征点缓存区域、相似角点特征缓存区域和单应性矩阵缓存区域。

所述视频预处理模块包括：

视频串行解析单元，用于通过吉比特收发器接收串行视频信号存入像素点缓存中，转化为并行视频信号；

降采样单元，用于通过并行视频信号，将其视频数据的降为原信号的四分之一，并传入下一级；

色彩调整单元，用于从降采样单元中读入视频像素，进行色彩矩阵的变换；

视频传输单元，用于从各路的色彩矩阵单元中读取数据然后存入DDR3存储器中拼接图像缓存区中。

所述特征点提取模块包括：

灰度计算单元，用于根据地址计算分配单元读取采集的图像像素点，转化为灰度值，并存入DDR3存储器灰度图像缓存区域中；

harris特征向量查找单元，用于从所述DDR3存储器中读取灰度图像像素值，计算各个像素的在横纵方向上的变化率，判断计算结果值是否超过设定阈值，如果属于harris特征值，就将特征值存入所述DDR3存储器特征点缓存区域中；

特征点筛选单元，用于按照特征点的变化率进行排序，取前面1000个特征点作为两幅图像的对比特征向量，并存入所述DDR3特征点缓存区域。

所述特征点匹配模块包括：

特征相似度计算单元，用于读取有效特征点存储区的特征向量，并计算两幅图像之间的特征向量之间的相似度，并刷选出最为相似的特征向量对，并存入所述DDR3存储器匹配点缓存区中；

单应性矩阵计算单元，用于读取两幅图形中的四对特征匹配点，然后通过单应性矩阵计算，计算其中一幅图像的特征点到另一幅图像的映射点位置的位置；

相似度比较单元，用于通过计算上述单应性矩阵得到的映射位置，然后计算实际匹配点与其的位置距离，从而统计内符合的点数，如果数量大于设定的阈值，保存特到所述DDR3匹配点缓存区中；

筛选匹配点单元，用于从所述匹配点存储区中选取符合点数最多的匹配点，并计算单应性矩阵存到所述DDR3单应性矩阵缓存区中。

所述图像融合模块包括：

缝合位置计算单元，用于根据最优单应性矩阵，计算出每幅图像在相邻图像中的重叠区域的边界；

像素融合计算单元，用于通过读取重叠图像上的RGB像素，通过一种加权的方法计算得到结果，离左侧图像越近，左侧图像的权重系数越大，离右侧图像越近，右侧图像的权重系数越大，不在重合图像区域采用原图像的像素数据；

图像拼合单元，用于将图像整个投影到宽景的图像，最终得到合成图像。

图1是本发明的基于FPGA的多路视频拼接装置的结构示意图。一种基于FPGA的多路视频拼接装置，包括多个HD-SDI摄像头、多个视频硬件解码电路，高清数字视频采集模块，视频预处理模块、DDR3控制模块、特征点提取模块、特征点筛选模块、图像融合模块、图像单应性矩阵计算模块和输出控制模块；HD-SDI摄像头与硬件解码电路个数相同，并且每个摄像头都有一个单独的硬件解码电路；高清数字视频采集模块，与多个所述解码电路、视频预处理模块相连接；DDR3控制模块，包括DDR3控制器和DDR3存储器，并且DDR3控制器与视频预处理模块、特征点提取模块、特征点筛选模块、图像融合模块、输出控制模块；特征点匹配模块，与所述特征点提取模块，特征点筛选模块相连接；图像单应性矩阵计算模块，与特征点筛选模块、图像融合模块相连接；高清数字视频采集模块用于实现视频信息的输入；DDR3控制器用于控制DDR3存储器的读取，DDR3存储器用于存储视频图像和计算的中间值；视频预处理模块用于对图像进行色彩调整；特征点提取模块用于计算图像的特征点位置和特征描述向量；特征点匹配模块用于计算匹配的特征点对；特征点筛选模块用于对匹配特征点进行筛选得到最优的匹配特征点对；图像单应性矩阵计算模块根据最优匹配特征点计算图像单应性矩阵；图像融合模块根据图像单应性矩阵对多幅图像拼接；输出控制模块用于控制图像的输出和显示。

优选的，本实施例中，HD-SDI摄像头和视频硬件解码电路各为2个。

图2是本发明的基于FPGA的多路视频拼接装置中DDR3存储器的结构示意图，如图2所示，本实施例中的DDR3存储器包括拼接图像缓存区域、特征点缓存区域、相似角点特征缓存区域和单应性矩阵缓存区域。

图3是本发明的基于FPGA的多路视频拼接方法流程图，包括如下步骤：

步骤一，多路HD-SDI摄像头将图像数据传输给通过硬件解码电路转化为差分数字信号，然后通过FPGA吉比特接收模块接收后，经过图像降采样以及中值滤波后传给DDR3存储器进行缓存，且各路图像都有自己的缓存，具体步骤为：

首先，视频预处理模块还包括视频串行解析单元、降采样单元、色彩调整单元，视频传输单元；

进一步地，串行模块单元通过吉比特收发器接收串行视频信号存入像素点缓存中，转化为并行视频信号；

进一步地，降采样单元通过并行视频信号，将其视频数据的降为原信号的四分之一，并传入下一级；

进一步地，色彩调整单元，从降采样单元中读入视频像素，进行色彩矩阵的变换；

进一步地，视频传输单元，色彩调整单元从各路的色彩矩阵单元中读取数据然后存入DDR3存储器中拼接图像缓存区中；

本实施例中，采集的HD-SDI摄像头是可以设置采集帧率，实际应用中为30帧，其中视频源的分辨率为1920*1080，通过降采样模块将分辨率降为960*540，为原视频的1/4，每个摄像头的采集的图像是有色彩差异的，需要将通过色彩调整单元，将相邻的摄像头都调整到相似的状态；

步骤二，从各路图像采集的DDR3存储器中读入图像，并计算图像的harris角点特征，并将角点特征存入DDR3存储器当中的特征缓冲区中，并计算角点特征的相似度，再按照相似度大小进行排序，排序后将数据存入新的相似角点特征区域，具体步骤为：

首先，特征点提取模块还包括灰度计算单元、harris特征向量查找单元、特征点筛选单元；

进一步地，DDR3控制器根据地址计算分配单元读取采集的图像像素点，转化为灰度值，并存入DDR3存储器灰度图像缓存区域中，转换公式为：

Y＝0.257R+0.504G+0.098B+16

其中，Y表示一个图像像素点的灰度值，R表示红色色值，G表示绿色色值，B表示蓝色色值；

进一步地，harris特征向量单元从所述DDR3存储器中读取灰度图像像素值，计算各个像素的在横纵方向上的变化率，判断计算结果值是否超过设定阈值，如果属于harris特征值，就将特征值存入所述DDR3存储器特征点缓存区域中；

进一步地，按照特征点的变化率进行排序，取前面1000个特征点作为两幅图像的对比特征向量，并存入所述DDR3特征点缓存区域；

实际应用中，图像的角度是由一开始的机械装置固定的，两幅图像之间的重叠区域为35％，所以对于图像之间的特征点查找仅限于重叠部分之间的查找，所处理的图像像素约占图像的35％，一般来说图像的匹配点的筛选阈值需要根据环境而定的；

步骤三，从相似角点特征区域选好四对配对的特征点，然后计算需要投影的图像的单应性矩阵，将我们需要投影变换的那副图像中的其他配对点都通过投影变换到另一副图像中，统计配对点的个数，判断点的重合点的个数是否符合设定的阈值，如果符合就得到最优匹配点，如果不符合，那么就重复当前步骤，并计算结果单应性矩阵，具体步骤为：

首先特征点匹配模块还包括特征相似度计算单元、单应性矩阵计算单元、相似度比较单元、筛选匹配点单元；

进一步地，特征相似度计算单元读取有效特征点存储区的特征向量，并计算两幅图像之间的特征向量之间的相似度，并刷选出最为相似的特征向量对，并存入所述DDR3存储器匹配点缓存区中；

进一步地，单应性矩阵计算单元读取两幅图形中的四对特征匹配点，然后通过单应性矩阵计算，计算其中一幅图像的特征点到另一幅图像的映射点位置的位置；

进一步地，通过计算上述单应性矩阵得到的映射位置，然后计算实际匹配点与其的位置距离，从而统计内符合的点数，如果数量大于设定的阈值，保存特到所述DDR3匹配点缓存区中；

进一步地，从上述步骤的匹配点存储区中选取符合点数最多的匹配点，并计算单应性矩阵存到所述DDR3单应性矩阵缓存区中；

步骤四，从DDR3存储器中读取原始图像，按照单应性矩阵计算，将另一幅图像的数据投影到不动的图像平面上，并对重叠区域的图像各像素进行调整，最终得到合成的图像，并存入DDR3控制器的缓冲区进行存储，再由控制器中传到显示缓存区中，具体步骤为：

首先，图像融合模块还包括缝合位置计算单元、像素融合计算单元、图像拼合单元，图像的融合具体步骤为：

进一步地，缝合位置计算单元从上述的最优单应性矩阵，计算出每幅图像在相邻图像中的重叠区域的边界；

进一步地，像素融合计算单元通过读取重叠图像上的RGB像素，通过一种加权的方法计算得到结果，离左侧图像越近，左侧图像的权重系数越大，离右侧图像越近，右侧图像的权重系数越大，不在重合图像区域采用原图像的像素数据；

进一步地，图像拼合单元将图像整个投影到宽景的图像，最终得到合成图像；

本实施例中，如果每一幅图像都要重新计算和查找相应的匹配点，那么运行时间是无法满足要求的，所以一般为了保证最后的图像融合单应性的稳定，一般的图像的单应性矩阵计算周期为10秒钟一次，视频缓冲区的刷新频率等于视频采集的频率，单是视频的缝合时间就能满足1/30秒的时间；

步骤五，输出控制模块将步骤四得到的合成图像输出，通过显示器进行显示。

上述实施方式为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的修改、替代、组合、裁剪，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于FPGA的多路视频拼接方法，其特征在于：所述方法包括如下步骤：

步骤一，多路HD-SDI摄像头将图像数据传输给通过硬件解码电路转化为差分数字信号，然后通过FPGA吉比特接收模块接收后，经过图像降采样以及中值滤波后传给DDR3存储器进行缓存，且各路图像都有自己的缓存；

步骤二，从各路图像采集的DDR3制器中读入图像，并计算图像的harris角点特征，并将角点特征存入DDR3存储器当中的特征缓冲区中，并计算角点特征的相似度，再按照相似度大小进行排序，排序后将数据存入新的相似角点特征区域；

步骤三，从相似角点特征区域选好四对配对的特征点，然后计算需要投影的图像的单应性矩阵，将我们需要投影变换的那副图像中的其他配对点都通过投影变换到另一副图像中，统计配对点的个数，判断点的重合点的个数是否符合设定的阈值，如果符合就得到最优匹配点，如果不符合，那么就重复当前步骤，并计算结果单应性矩阵；

步骤四，从DDR3存储器中读取原始图像，按照单应性矩阵计算，将另一幅图像的数据投影到不动的图像平面上，并对重叠区域的图像各像素进行调整，最终得到合成的图像，并存入DDR3存储器的缓冲区进行存储，再由控制器中传到显示缓存区中；

步骤五，从步骤四得到的拼接图像，传递给外部的显示器进行显示。

2.一种用于实现如权利要求1所述的基于FPGA的多路视频拼接方法的多路视频拼接装置，其特征在于：所述装置包括多个HD-SDI摄像头、多个视频硬件解码电路，高清数字视频采集模块，视频预处理模块、DDR3控制模块、特征点提取模块、特征点筛选模块、图像融合模块、图像单应性矩阵计算模块和输出控制模块；

所述HD-SDI摄像头，与所述视频硬件解码电路个数相同，并且每个摄像头都有一个单独的硬件解码电路；

所述高清数字视频采集模块，与多个所述视频硬件解码电路、视频预处理模块相连接；

所述DDR3控制模块，包括DDR3控制器和DDR3存储器，并且所述DDR控制器与视频预处理模块、特征点提取模块、特征点筛选模块、图像融合模块和输出控制模块连接；

所述特征点匹配模块，与所述特征点提取模块，特征点筛选模块相连接；

所述高清数字视频采集模块用于实现视频信息的输入；所述DDR3控制器用于控制DDR3存储器的读取，所述DDR3存储器用于存储视频图像和计算的中间值；所述视频预处理模块用于对图像进行色彩调整；所述特征点提取模块用于计算图像的特征点位置和特征描述向量；所述特征点匹配模块用于计算匹配的特征点对；所述特征点筛选模块用于对匹配特征点进行筛选得到最优的匹配特征点对；所述图像单应性矩阵计算模块根据最优匹配特征点计算图像单应性矩阵；所述图像融合模块根据图像单应性矩阵对多幅图像拼接；所述输出控制模块用于控制图像的输出和显示。

3.根据权利要求2所述的多路视频拼接装置，其特征在于，所述HD-SDI摄像头和视频硬件解码电路各为2个。

4.根据权利要求2或3所述的多路视频拼接装置，其特征在于，所述DDR3存储器包括拼接图像缓存区域、特征点缓存区域、相似角点特征缓存区域和单应性矩阵缓存区域。

5.根据权利要求2或3所述的多路视频的拼接装置，其特征在于，所述视频预处理模块包括：

视频串行解析单元，用于通过吉比特收发器接收串行视频信号存入像素点缓存中，转化为并行视频信号；

降采样单元，用于通过并行视频信号，将其视频数据的降为原信号的四分之一，并传入下一级；

色彩调整单元，用于从降采样单元中读入视频像素，进行色彩矩阵的变换；

视频传输单元，用于从各路的色彩矩阵单元中读取数据然后存入DDR3存储器中拼接图像缓存区中。

6.根据权利要求5所述的多路视频的拼接装置，其特征在于，所述特征点提取模块包括：

灰度计算单元，用于根据地址计算分配单元读取采集的图像像素点，转化为灰度值，并存入DDR3存储器灰度图像缓存区域中；

harris特征向量查找单元，用于从所述DDR3存储器中读取灰度图像像素值，计算各个像素的在横纵方向上的变化率，判断计算结果值是否超过设定阈值，如果属于harris特征值，就将特征值存入所述DDR3存储器特征点缓存区域中；

特征点筛选单元，用于按照特征点的变化率进行排序，取前面1000个特征点作为两幅图像的对比特征向量，并存入所述DDR3特征点缓存区域。

7.根据权利要求6所述的多路视频的拼接装置，其特征在于，所述特征点匹配模块包括：

特征相似度计算单元，用于读取有效特征点存储区的特征向量，并计算两幅图像之间的特征向量之间的相似度，并刷选出最为相似的特征向量对，并存入所述DDR3存储器匹配点缓存区中；

单应性矩阵计算单元，用于读取两幅图形中的四对特征匹配点，然后通过单应性矩阵计算，计算其中一幅图像的特征点到另一幅图像的映射点位置的位置；

相似度比较单元，用于通过计算上述单应性矩阵得到的映射位置，然后计算实际匹配点与其的位置距离，从而统计内符合的点数，如果数量大于设定的阈值，保存特到所述DDR3匹配点缓存区中；

筛选匹配点单元，用于从所述匹配点存储区中选取符合点数最多的匹配点，并计算单应性矩阵存到所述DDR3单应性矩阵缓存区中。

8.根据权利要求7所述的多路视频的拼接装置，其特征在于，所述图像融合模块包括：

缝合位置计算单元，用于根据最优单应性矩阵，计算出每幅图像在相邻图像中的重叠区域的边界；

像素融合计算单元，用于通过读取重叠图像上的RGB像素，通过一种加权的方法计算得到结果，离左侧图像越近，左侧图像的权重系数越大，离右侧图像越近，右侧图像的权重系数越大，不在重合图像区域采用原图像的像素数据；

图像拼合单元，用于将图像整个投影到宽景的图像，最终得到合成图像。