CN106454152B - 视频图像拼接方法、装置和系统 - Google Patents

Abstract

本发明实施例提供了一种视频图像拼接方法、装置和系统，一种视频图像拼接方法包括：FPGA的采集模块从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；FPGA的缓存控制模块将至少两个采集数据存储在缓存中；FPGA的图像预处理模块对缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据；微处理器根据至少两个采集数据的所有特征数据，对缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像并将拼接后的视频图像传输至视频图像服务器，以使视频图像服务器显示拼接后的视频图像，使视频图像服务器显示拼接后的视频图像。提高了对视频图像进行拼接的处理效率。

Description

视频图像拼接方法、装置和系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频图像拼接方法、装置和系统。

背景技术

图像拼接技术是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。图像拼接技术在空间探测、医学图像分析、遥感图像处理等领域都有着广泛的应用。随着计算机技术在工业领域的发展，在工业领域，对工业相机拍摄的视频图像进行拼接也成为图像拼接技术的应用热点。

在工业领域中，一般使用工业相机对产品制造流程进行监控，每台工业相机仅能拍摄局部视频图像，多台工业相机拍摄的视频图像进行图像拼接后能够反应整个监控现场的视频图像。操作人员需要根据拼接后的视频图像获取现场实时视频图像，以便能够及时对各设备进行控制，因此图像拼接的实时性要求较高。随着工业相机性能的提升，目前能够拍摄高清视频图像的工业相机已经广泛应用，但高清视频图像的数据量巨大，对多路高清工业相机拍摄的高清视频图像进行拼接，计算量非常大。目前都是采用计算机软件处理的方法进行图像拼接，受限于软件算法的处理能力，当需要进行合成的视频图像数量较多，或者视频图像清晰度过高时，目前的图像拼接方法，无法满足工业应用场景中对高清视频图像进行拼接时的低延迟、处理实时性的要求。

发明内容

本发明实施例的目的在于提供一种视频图像拼接方法、装置和系统，以提高对视频图像进行拼接的处理效率。

本实施例具体技术方案如下：

第一方面提供一种视频图像拼接方法，包括：

FPGA的采集模块从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

所述FPGA的缓存控制模块将所述至少两个采集数据存储在缓存中；

所述FPGA的图像预处理模块对所述缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据；

微处理器根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；

所述微处理器通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

在第一方面一种可能的实现方式中，所述FPGA的采集模块从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据之后，所述方法还包括：

所述FPGA的分析模块判断所述至少两个采集数据为控制信号数据或原始图像数据；

在所述FPGA的缓存控制模块将所述至少两个采集数据存储在缓存中之前，所述方法还包括：

若所述分析模块判断所述采集数据为原始图像数据，则通知所述缓存控制模块将所述原始图像数据存储在所述缓存中；

若所述分析模块判断所述采集数据为控制信号，则通知所述FPGA的MCU进行处理；

所述FPGA的图像预处理模块对所述缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据，包括：

所述FPGA的图像预处理模块对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据。

在第一方面一种可能的实现方式中，在所述FPGA的缓存控制模块将所述至少两个采集数据存储在缓存中之前，所述方法还包括：

若所述分析模块判断所述采集数据同时包括控制信号和原始图像数据，则从所述采集数据中提取出所述原始图像数据，通知所述缓存控制模块将所述原始图像数据存储在所述缓存中，并将所述控制信号发送给所述MCU处理。

在第一方面一种可能的实现方式中，所述FPGA的分析模块判断所述至少两个采集数据为控制信号数据或原始图像数据，包括：

所述FPGA的分析模块根据所述至少两个采集数据中的端口号，判断所述至少两个采集数据为控制信号数据或原始图像数据。

在第一方面一种可能的实现方式中，所述FPGA的图像预处理模块对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据，包括：

所述FPGA的图像预处理模块对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级预处理包括图像格式转换、降采样、梯度计算中的至少一种。

第二方面提供一种视频图像拼接装置，其特征在于，包括：FPGA和DSP；

所述FPGA，包括：

采集模块，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

缓存控制模块，用于将所述至少两个采集数据存储在缓存中；

图像预处理模块，用于对所述缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据；

所述DSP，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

在第二方面一种可能的实现方式中，所述FPGA还包括分析模块，用于判断所述至少两个采集数据为控制信号数据或原始图像数据；若判断所述采集数据为原始图像数据，则通知所述缓存控制模块将所述原始图像数据存储在所述缓存中；若判断所述采集数据为控制信号，则通知所述FPGA的MCU进行处理；

所述MCU，用于处理所述控制信号；

所述缓存控制模块，具体用于若所述分析模块判断采集数据为原始图像数据，则将所述原始图像数据存储在所述缓存中；

所述图像预处理模块，具体用于对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据。

在第二方面一种可能的实现方式中，所述分析模块，还用于若判断所述采集数据同时包括控制信号和原始图像数据，则从所述采集数据中提取出所述原始图像数据，通知所述缓存控制模块将所述原始图像数据存储在所述缓存中，并将所述控制信号发送给所述MCU处理。

在第二方面一种可能的实现方式中，所述分析模块，具体用于根据所述至少两个采集数据中的端口号，判断所述至少两个采集数据为控制信号数据或原始图像数据。

在第二方面一种可能的实现方式中，所述图像预处理模块，具体用于对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级预处理包括图像格式转换、降采样、梯度计算中的至少一种。

第三方面提供一种视频图像拼接系统，其特征在于，包括：视频图像拼接装置和视频图像服务器；

所述视频图像拼接装置包括：FPGA和DSP；

所述FPGA，包括：

采集模块，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

缓存控制模块，用于将所述至少两个采集数据存储在缓存中；

图像预处理模块，用于对所述缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据；

所述DSP，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像；

所述视频图像服务器，用于显示所述拼接后的视频图像。

本发明实施例提供的视频图像拼接方法、装置和系统，在由FPGA接收至少两个采集数据，将采集数据存储在缓存中后，再由FPGA对缓存中的采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据，再采用微处理器根据至少两个采集数据的所有特征数据，对缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像，由于根据视频图像数据的特点分别采用基于硬件和软件的处理方式，提高了对视频图像进行拼接的处理效率，能够满足对高清视频图像进行拼接时的低延迟、处理实时性的要求。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视频图像拼接方法实施例一的流程图；

图2为本发明实施例提供的视频图像拼接装置实施例一的结构示意图；

图3为本发明实施例提供的视频图像拼接装置实施例二的结构示意图；

图4为本发明实施例提供的视频图像拼接系统实施例一的结构示意图；

图5为本发明实施例提供的视频图像拼接系统实施例二的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在工业领域中，图像拼接技术被广泛应用于控制、监控等场景中，多台工业相机长时间持续对监控现场进行拍摄，并将拍摄到的图像统一输出至图像处理服务器，由图像处理服务器对多台工业相机拍摄到的图像进行拼接处理。图像处理服务器进行图像拼接处理的方式都是基于软件进行的，当进行拍摄的工业相机数量较多，拍摄的图像分辨率较高时，图像处理服务器的处理能力势必受到挑战。单纯提高图像处理服务器的处理性能已经无法满足对多个高清工业相机拍摄到的图像进行实时拼接处理的需求。

在进行图像拼接时，首先需要对原始图像进行预处理，包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作，得到原始图像的特征数据，然后分别进行图像配准、建立变换模型、统一坐标变换、融合重构等处理，最终完成对图像的拼接。其中对图像进行预处理的过程通过图像处理服务器中的软件进行计算，运算量很大，效率较低。但根据视频图像的特征，若采用基于硬件的逻辑处理，例如使用现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)等基于大规模集成电路设计的处理器对视频图像进行预处理，则效率较高。而在对经过预处理后的图像特征数据进行拼接处理时，主要设计对数字信号处理的过程，那么使用数字信号处理器(Digital Signal Processor，DSP)、ARM或通用的中央处理器(Central Processing Unit，CPU)进行处理效率较高。因此，本发明提供一种视频图像拼接方法，采用FPGA和DSP处理相结合的方式，提高对视频图像进行拼接的效率。

图1为本发明实施例提供的视频图像拼接方法实施例一的流程图，如图1所示，本实施例提供的视频图像拼接方法包括：

步骤S101，FPGA的采集模块从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据。

本实施例提供的视频图像拼接方法应用于需要对多个视频图像进行拼接的场景，其中，多个采集数据分别由多个视频图像采集装置进行采集。视频图像采集装置可以是任一种能够进行视频采集，并将采集到的视频图像传输至统一的处理中心的装置，例如工业领域中所使用的工业相机。当然视频图像采集装置还可以是其他类型的相机、摄像机、监控器等装置。视频图像采集装置可以进行持续的视频图像采集。

在传统的视频采集系统中，多个视频图像采集装置分别与视频图像处理服务器进行连接，并将采集到的视频图像传输至视频图像处理服务器，由视频图像服务器对多个视频图像进行拼接。为了克服视频图像处理服务器仅采用软件处理方式对视频图像进行拼接所存在的问题，本实施例中，使用一个独立的视频图像拼接装置进行视频图像的拼接处理，其中视频图像拼接装置分别与各视频图像采集装置连接，用于接收各视频图像采集装置采集到的视频图像数据。视频图像拼接装置与多个视频图像采集装置之间可以通过以太网、光纤、无线网络等任一种连接方式连接。

在对视频图像进行拼接时，首先需要对多个待拼接的视频图像进行处理，获取每个图像用于拼接的一个或多个参数，例如各图像的边缘的像素点的信息。根据获取到的参数确定相邻图像的拼接位置、角度等信息，从而才能完成图像拼接。但使用基于软件处理的处理器对图像进行参数提取效率较低，因此在本实施例中，使用FPGA进行图像的参数提取。首先，FPGA中配置有采集模块，分别与多个视频图像采集装置连接，并分别接收至少两个采集数据。采集模块例如可以通过在FPGA中配置与视频图像采集装置所采用的通信协议相同的通信协议模块来实现。

步骤S102，FPGA的缓存控制模块将至少两个采集数据存储在缓存中。

由于视频图像采集装置对视频的采集是连续的，那么FPGA的采集模块会持续地接收到多个视频图像采集装置发送的采集数据。由于FPGA的处理能力是有限的，可能无法及时处理接收到的采集数据，那么采集模块在接收到采集数据后，FPGA的缓存控制模块可以先将接收到的至少两个采集数据存储在缓存中。其中，缓存可以是独立于视频图像拼接装置的存储器，也可以是配置在FPGA内部的存储空间。例如，若FPGA是串行处理的，那么FPGA需要依次处理采集数据，而无法同时处理接收到多个采集数据，因此需要通过缓存控制模块将接收到的至少两个采集数据先存在缓存中，那么FPGA即可依次从缓存中读取采集数据并串行处理。若FPGA是并行处理的，那么FPGA的并行处理能力可能与视频图像采集装置的个数不匹配，因此也可以通过缓存控制模块将接收到的至少两个采集数据先存在缓存中，FPGA根据并行处理能力从缓存中读取所需数量的采集数据进行并行处理。

步骤S103，FPGA的图像预处理模块对缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据。

FPGA中还配置有图像预处理模块，图像预处理模块通过逻辑电路的方式对缓存中的采集数据进行图像预处理。根据视频图像的特征可知，对视频图像进行特征提取的处理较少涉及数字信号处理，而采用逻辑电路对视频图像数据进行预处理的效率要高于使用软件进行处理。经过预处理后的视频图像数据包括用于表征采集数据的图像特征的至少一个特征数据，各特征数据可以用于进行图像拼接处理。

当然，除了FPGA以外，还可以采用例如CPLD等具有硬件处理特性的处理器进行图像预处理。

步骤S104，微处理器根据至少两个采集数据的特征数据，对缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像。

在得到至少两个采集数据的特征数据后，微处理器即可对至少两个采集数据进行拼接处理。通过FPGA预处理后的特征数据将作为对采集数据进行拼接的依据，通过比对相邻采集数据的特征数据，可以找到相邻采集数据重叠的像素点，从而可以将相邻采集数据重叠的像素点对准，完成相邻采集数据的拼接处理。微处理器是基于软件的处理方式，微处理可以为DSP、CUP、ARM等具有软件处理特性的处理器。对采集数据的拼接主要是进行数字信号处理，采用微处理器进行数字信号处理的效率较高。经过处理后即可得到拼接后的视频图像，完成对视频图像的拼接处理。微处理器同样是从缓存中读取所需的采集数据，并根据FPGA处理后的特征数据，完成对采集数据的拼接处理。

步骤S105，微处理器通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至视频图像服务器，以使视频图像服务器显示拼接后的视频图像。

微处理器可以配置与视频图像服务器连接的网络接口，将拼接后的视频图像传输至传统的视频图像服务器，使得视频图像服务器获取拼接后的视频图像。视频图像服务器即可将拼接后的视频图像进行显示，从而无需在视频图像服务器中进行视频图像拼接的处理。

本实施例提供的视频图像拼接方法，由FPGA接收至少两个采集数据，将采集数据存储在缓存中后，再由FPGA对缓存中的采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据，再采用微处理器根据至少两个采集数据的所有特征数据，对缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像，由于根据视频图像数据的特点分别采用基于硬件和软件的处理方式，提高了对视频图像进行拼接的处理效率，能够满足对高清视频图像进行拼接时的低延迟、处理实时性的要求。

进一步的，在图1所示实施例的基础上，FPGA在接收到至少两个采集数据后，还需要进一步地确定至少两个采集数据为控制信号数据或原始图像数据。FPGA在进行视频采集的过程中除了采集视频图像数据，还需要反馈一些状态信号或对视频图像服务器发送的控制信号进行反馈。将视频图像采集装置发送的数据中，除了原始图像数据以外的数据统称为控制信号数据，那么FPGA在接收到至少两个采集数据后，其中的分析模块还需要判断接收到的采集数据是否是原始图像数据，若接收到的是原始图像数据，则再对原始图像数据进行图像预处理，得到预处理后的视频图像数据。若分析模块确定采集数据为控制信号数据，则FPGA根据控制信号数据中指示的信息进行相应处理。在FPGA中，除了逻辑电路处理部分以外，还可以包括一个或多个具有软件处理特性的软核，FPGA的软核可以认为是一个微控制单元(Microcontroller Unit，MCU)，可以在其中存储相应的程序或软件，对采集数据进行识别，并对接收到的控制信号数据进行处理。

需要说明的是，图像预处理模块对每个采集数据进行图像预处理，包括图像预处理模块对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级预处理包括图像格式转换、降采样、梯度计算中的至少一种。像素级预处理包括图像格式转换、降采样、梯度计算中的至少一种。像素级预处理后的预处理后的视频图像数据能够表征视频图像数据的每个像素的特征，在后续进行图像拼接时，能够得到更加准确的拼接后的视频图像数据。

一般地，视频图像采集装置和视频图像拼接装置采用以太网进行连接，那么FPGA和视频图像采集装置之间传输的报文均为用户数据报文协议(User Datagram Protocol，UDP)报文，FPGA的分析模块可以根据视频图像采集装置发送的数据所使用的UDP报文端口号确定视频图像采集装置发送的采集数据为控制信号数据或原始图像数据。当然，视频图像采集装置和FPGA可以事先约定控制信号数据或原始图像数据所使用的UDP报文端口号。

视频图像采集装置发送的控制信号数据例如可以是FPGA需要读取视频图像采集装置的状态时，向视频图像采集装置发送请求，视频图像采集装置向FPGA发送携带状态信息的报文，该报文即属于控制信号数据。又例如，视频图像采集装置开启时，会向FPGA发送状态报告，该报文属于控制信号数据。再例如，设备发现过程，FPGA向各个视频图像采集装置发送广播报文搜索在线的视频图像采集装置，在线的视频图像采集装置向FPGA反馈单播报文，该报文属于控制信号数据。又例如，FPGA检测到数据流丢包，通过控制报文告诉视频图像采集装置发送丢失的数据包，工业相机通过控制信号数据将丢失的数据包发送给FPGA，FPGA从控制信号数据提取出丢失的视频图像数据。

因此，若FPGA的分析模块判断采集数据同时包括控制信号和原始图像数据，则从采集数据中提取出原始图像数据，通知缓存控制模块将原始图像数据存储在缓存中，并将控制信号发送给所述MCU处理。

图2为本发明实施例提供的视频图像拼接装置实施例一的结构示意图，如图2所示，本实施例提供的视频图像拼接装置包括FPGA 21和DSP 22。

FPGA 21，包括：采集模块23，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；缓存控制模块24，用于将至少两个采集数据存储在缓存中；图像预处理模块25，用于对缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据。DSP 22，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

采集模块23根据视频图像采集装置所使用的传输制式而配置，例如采集模块23可以为以太网接口，在FPGA 21中可以对一部分门电路进行配置，实现以太网接口功能。图像预处理模块25也是通过将FPGA 21中的一部分门电路进行配置而实现的，完成对采集数据进行图像预处理。DSP 22中预设有相应的处理指令或程序，其中一部分处理指令或程序用于实现对每个采集数据进行拼接的处理，还有一部分处理指令或程序用于实现将拼接后的视频图像传输至视频图像服务器的处理。

本实施例提供的视频图像拼接装置用于实现图1所示视频图像拼接方法的处理，其实现原理和技术效果类似，此处不再赘述。

图3为本发明实施例提供的视频图像拼接装置实施例二的结构示意图，如图3所示，在图2所示实施例的基础上，FPGA 21还包括分析模块26。

分析模块26，用于判断至少两个采集数据为控制信号数据或原始图像数据；若判断采集数据为原始图像数据，则通知缓存控制模块24将原始图像数据存储在所述缓存中；若判断采集数据为控制信号，则通知FPGA的微控制单元MCU 27进行处理。MCU 27，用于处理所述控制信号。缓存控制模块24，具体用于若分析模块26判断采集数据为原始图像数据，则将原始图像数据存储在缓存中。图像预处理模块25，具体用于对缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据。

分析模块26由FPGA 21的软核实现，FPGA 21的软核中预设有处理指令或程序，用于判断采集数据为控制信号数据或视频图像数据。若分析模块26判断采集数据为控制信号数据，则MCU 27进一步地对控制信号数据进行处理。若分析模块26判断采集数据为视频图像数据，则将视频图像数据送至缓存控制模块24进行图像预处理。

进一步地，在图3所示实施例的基础上，分析模块26，还用于若判断所述采集数据同时包括控制信号和原始图像数据，则从所述采集数据中提取出所述原始图像数据，通知所述缓存控制模块24将所述原始图像数据存储在所述缓存中，并将所述控制信号发送给所述MCU 27处理。

进一步地，在图3所示实施例的基础上，微处理模块25，具体用于根据至少两个采集数据中的端口号，确定至少两个接收视频图像数据为控制信号数据或原始图像数据。

进一步地，在图3所示实施例的基础上，图像预处理模块24，具体用于对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级预处理包括图像格式转换、降采样、梯度计算中的至少一种。

图4为本发明实施例提供的视频图像拼接系统实施例一的结构示意图，如图4所示，本实施例提供的视频图像拼接系统包括：视频图像拼接装置41和视频图像服务器42。

视频图像拼接装置41包括：FPGA 43和DSP 44。

FPGA 43，包括：采集模块45，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；缓存控制模块46，用于将所述至少两个采集数据存储在缓存中；图像预处理模块47，用于对所述缓存中的每个采集数据进行图像预处理，得到用于表征每个采集数据的图像特征的至少一个特征数据。

DSP 44，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

视频图像服务器42，用于显示拼接后的视频图像。

本实施例提供的视频图像拼接系统中，视频图像服务器42无需再进行视频图像的拼接处理，视频图像的拼接处理都在视频图像拼接装置41中进行。视频图像服务器42可以仅用于在接收到拼接后的视频图像后，显示该拼接后的视频图像，使用户可以实时观看到拼接后的视频图像。由于视频图像拼接装置41由FPGA 43和DSP 44组成，分别利用FPGA 43和DSP 44的处理特性，实现了对视频图像的高速、实时拼接处理，提高了视频图像的拼接处理效率。

图4所示视频图像拼接系统中，仅是对视频图像拼接装置41从逻辑功能上进行了划分，下面以一个具体的应用场景对本发明实施例提供的视频图像拼接系统进行进一步说明。

图5为本发明实施例提供的视频图像拼接系统实施例二的结构示意图，本实施例提供的视频图像拼接方法应用于工业场景。

其中视频图像采集装置为工业相机51，工业相机51采用GeVision协议进行数据传输。视频图像拼接装置52包括FPGA 53和DSP 54，视频图像拼接装置52中还包括第一存储器55和第二存储器56。FPGA 53进一步的可以划分为多个功能模块，包括以太网接口511、GeVision协议分析模块512、缓存控制模块513、图像预处理模块514、输入输出接口515、MCU516。DSP 54与视频图像服务器57连接。

FPGA 53通过各以太网接口511接收各工业相机51采集到的采集数据，由MCU516控制各GeVision协议分析模块512对接收到的采集数据进行协议转换处理，GeVision协议分析模块512根据采集数据的UDP端口号判断采集数据为控制信号数据或原始图像数据。若为原始图像数据则通过缓存控制模块513存储至第一存储器55，若为控制信号数据则由MCU516进行处理。MCU516对控制信号数据进行处理后再通过以太网接口511发送至各工业相机51。缓存控制模块513串行或并行读取第一存储器55中存储的原始图像数据，并送入图像预处理模块514。图像预处理模块514对输入的原始图像数据进行预处理，然后将预处理后的视频图像数据送入DSP 54进行拼接处理。DSP 54与第二存储器56连接，用于存储接收到的预处理后的视频图像数据以及存储拼接后的视频图像数据。最后DSP 54将拼接后的视频图像数据传输至视频图像服务器57，完成视频图像拼接处理。为了提高DSP 54的处理能力，可以选择多核DSP处理器进行处理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种视频图像拼接方法，其特征在于，包括：

现场可编程门阵列FPGA的采集模块从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

所述FPGA的分析模块判断所述至少两个采集数据为控制信号数据或原始图像数据；

若所述分析模块判断所述采集数据为原始图像数据，则通知缓存控制模块将所述原始图像数据存储在缓存中；

若所述分析模块判断所述采集数据为控制信号，则通知所述FPGA的微控制单元MCU进行处理；

所述FPGA的缓存控制模块将所述原始图像数据存储在所述缓存中；

所述FPGA的图像预处理模块对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据；

微处理器根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；

所述微处理器通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

2.根据权利要求1所述的方法，其特征在于，在所述FPGA的缓存控制模块将所述至少两个采集数据存储在缓存中之前，所述方法还包括：

若所述分析模块判断所述采集数据同时包括控制信号和原始图像数据，则从所述采集数据中提取出所述原始图像数据，通知所述缓存控制模块将所述原始图像数据存储在所述缓存中，并将所述控制信号发送给所述MCU处理。

3.根据权利要求1或2所述的方法，其特征在于，所述FPGA的分析模块判断所述至少两个采集数据为控制信号数据或原始图像数据，包括：

所述FPGA的分析模块根据所述至少两个采集数据中的端口号，判断所述至少两个采集数据为控制信号数据或原始图像数据。

4.根据权利要求1或2所述的方法，其特征在于，所述FPGA的图像预处理模块对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据，包括：

所述FPGA的图像预处理模块对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级图像预处理包括图像格式转换、降采样、梯度计算中的至少一种。

5.一种视频图像拼接装置，其特征在于，包括：现场可编程门阵列FPGA和数字信号处理器DSP；

所述FPGA，包括：

采集模块，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

分析模块，用于判断所述至少两个采集数据为控制信号数据或原始图像数据；若判断所述采集数据为原始图像数据，则通知缓存控制模块将所述原始图像数据存储在缓存中；若判断所述采集数据为控制信号，则通知所述FPGA的微控制单元MCU进行处理；

所述缓存控制模块，用于将所述原始图像数据存储在所述缓存中；

图像预处理模块，用于对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据；

所述DSP，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像。

6.根据权利要求5所述的装置，其特征在于，所述分析模块，还用于若判断所述采集数据同时包括控制信号和原始图像数据，则从所述采集数据中提取出所述原始图像数据，通知所述缓存控制模块将所述原始图像数据存储在所述缓存中，并将所述控制信号发送给所述MCU处理。

7.根据权利要求5或6所述的装置，其特征在于，所述图像预处理模块，具体用于对所述缓存中的每个原始图像数据进行像素级图像预处理，得到用于得到表征每个原始图像数据的至少一个像素特征数据，所述像素级图像预处理包括图像格式转换、降采样、梯度计算中的至少一种。

8.一种视频图像拼接系统，其特征在于，包括：视频图像拼接装置和视频图像服务器；

所述视频图像拼接装置包括：现场可编程门阵列FPGA和数字信号处理器DSP；

所述FPGA，包括：

采集模块，用于从至少两个与不同视频图像采集装置连接的网络接口分别接收至少两个采集数据；

分析模块，用于判断所述至少两个采集数据为控制信号数据或原始图像数据；若判断所述采集数据为原始图像数据，则通知缓存控制模块将所述原始图像数据存储在缓存中；若判断所述采集数据为控制信号，则通知所述FPGA的微控制单元MCU进行处理；

所述缓存控制模块，用于将所述原始图像数据存储在所述缓存中；

图像预处理模块，用于对所述缓存中的原始图像数据进行图像预处理，得到用于表征每个原始图像数据的图像特征的至少一个特征数据；

所述DSP，用于根据所述至少两个采集数据的所有特征数据，对所述缓存中的至少两个采集数据进行拼接处理，得到拼接后的视频图像；通过与视频图像服务器连接的网络接口将拼接后的视频图像传输至所述视频图像服务器，以使所述视频图像服务器显示所述拼接后的视频图像；

所述视频图像服务器，用于显示所述拼接后的视频图像。