CN104424627A - 一种多路图像融合系统及图像融合方法 - Google Patents

Abstract

本发明公开一种多路图像融合系统及图像融合方法，包括有一图像数据输入接口模块、一图像数据解压模块、一主处理器模块、及一系统电源模块，该多路图像数据输入接口模块接收外部输入的多路图像数据后，该图像数据解压模块以多路并行工作的方式将多路图像数据进行解压，解压后多路图像数据由主处理器模块进行完整的图像融合，并且该主处理器模块对外围器件进行多路实时控制和同步通信。本发明具有多路并行的结构特点，并且基于可编程逻辑器件，因而具有处理数据带宽高，并行处理速度快，实时性高和电路组成简单，集成度高，功能模块升级方便等优点。

Description

一种多路图像融合系统及图像融合方法

技术领域

本发明涉及一种图像融合系统，特别是涉及一种多路图像融合系统及图像融合方法。

背景技术

图像融合是把同一场景从不同特性、不同时间、不同分辨率传感器获得的多副图像融合成一副图像的先进图像处理技术。

近年来，随着半导体工艺的不断进步，图像传感器的分辨率越来越高，客户对图像分辨率和帧频的要求也不断提高，为了不断适应市场和实际应用的需要，一方面可以采用大面阵高分辨率图像传感器，另一方面可以将多个图像传感器拼接在一起组成一个大面阵图像传感器或者是两方面的结合。这些技术的快速发展，导致图像融合处理的数据量非常巨大，并且对于图像融合系统的处理速度和实时的图像融合效果提出了很高的要求。

目前的现有技术主要存在如下问题：

（1）多路、高分辨率图像数据传输和处理过程中，数据处理带宽低、处理速度慢，并且图像融合显示实时性差；

（2）多路图像无缝融合中的图像采集、处理与显示的时序控制精度较低；

（3）图像数据缓存机制可靠性低，容易造成图像丢帧时还原图像不完整；

（4）图像数据源的多路图像采集数不确定情况下，硬件系统结构复杂，兼容性差。

因此，迫切需要找到一种能够进行海量图像数据融合的基于可编程器件的高性能多路并行处理系统。

发明内容

本发明的目的是：提供一种能够进行海量图像数据融合的基于可编程器件的高性能多路并行处理系统，解决现有技术中的数据处理带宽低、速度慢，图像显示实时性差，硬件结构复杂，兼容性差等问题。

为实现上述目的，本发明提供了一种多路图像融合系统，其特征在于，包括：

图像数据输入接口模块，用于接收外部多路传感器输入的多路图像数据；

图像数据解压模块，用于将所述图像数据输入接口模块传输的所述多路图像数据以多路并行工作的方式进行解压；

主处理器模块，用于控制外围器件的启动和运行，并将接收到的该图像数据解压模块并行输入的多路图像数据进行图像数据融合；

系统电源模块，用于提供系统所需电源。

上述多路图像融合系统，其特征在于，还进一步包括：

图像数据存储模块，所述图像数据存储模块采用FPGA外挂大容量RAM缓存模块的方式存储所述图像数据。

上述多路图像融合系统，其特征在于，还进一步包括：

图像数据显示模块，用于所述系统主处理器模块融合拼接后的所述图像数据的显示输出。

上述所述的多路图像融合系统，其特征在于，还进一步包括：

系统程序加载模块，用于存储并加载所述系统主处理器模块的配置文件。

上述多路图像融合系统，其特征在于，所述图像数据解压模块进一步包括：多个图像数据解压子模块，多个该图像数据解压子模块并行工作，且功能相同。

上述多路图像融合系统，其特征在于，所述图像数据解压子模块选用处理芯片为专用图像解压芯片或者可编程器件。

上述多路图像融合系统，其特征在于，所述图像数据显示模块由专用的ASIC芯片来完成图像显示，该ASIC芯片控制由FPGA实现。

上述多路图像融合系统，其特征在于，所述系统主处理器模块进一步包括：

同步通信模块，用于实时监测外部多路图像数据的输入，实时启动所述图像数据输入接口模块和所述图像数据解压模块，完成同步通信；

主处理器图像数据缓存模块，作为所述主处理器内部小容量存储器以临时存放少量图像数据；

存储器控制模块，用于控制所述主处理器图像数据缓存模块将暂存的所述多路图像数据以一帧完整图像数据储存到所述图像数据存储模块，主处理器在存储多路图像数据时，将每路图像数据存储为两份，其中一份用于后续的图像融合，另一份作为备份；

图像边缘检测模块，用于对存储在所述图像数据存储模块的所述完整图像数据，进行相邻图像模块的边缘部分检测；

图像融合模块，用于将经边缘检测后的所述图像数据进行融合拼接；

图像显示控制模块，用于完成图像融合后的所述完整图像数据的格式显示控制。

上述多路图像融合系统，其特征在于，所述图像边缘检测模块和所述图像融合模块由FPGA编程实现。

上述多路图像融合系统，其特征在于，所述图像显示控制模块由FPGA编程实现，以兼容多种图像输出接口。

本发明还提供了一种多路图像融合系统的图像融合方法，所述多路图像融合系统包括图像数据接口模块、图像数据解压模块及系统主处理器模块，其特征在于，所述方法包括：

图像数据输入步骤，用于通过所述多路图像数据接口模块接收从外部传感器输入的多路图像数据；

图像数据解压步骤，用于通过所述图像数据解压模块以多路并行工作的方式将所述的多路图像数据进行解压；

图像主控制处理步骤，用于通过所述系统主处理器模块将所述图像数据解压模块解压后的多路图像数据进行图像融合处理。

上述多路图像融合方法，其特征在于，进一步包括：

图像数据存储步骤，用于通过FPGA外挂大容量RAM缓存模块的方式存储所述图像数据。

上述多路图像融合方法，其特征在于，进一步包括：

图像数据显示步骤，用于所述系统主处理器模块融合拼接后的所述图像数据的显示输出。

上述多路图像融合方法，其特征在于，还进一步包括：

系统程序加载步骤，用于存储并加载所述系统主处理器模块的配置文件。

上述多路图像融合方法，其特征在于，所述图像主控制处理步骤，进一步包括：

同步通信步骤，用于实时监测外部多路图像数据的输入，实时启动所述图像数据输入接口模块和所述图像数据解压模块，完成同步通信；

主处理器图像数据缓存步骤，作为通过所述主处理器内部小容量存储器临时存放少量图像数据；

存储器控制步骤，用于控制所述主处理器图像数据缓存模块将暂存的所述多路图像数据以一帧完整图像数据储存到所述图像数据存储模块，在存储多路图像数据时，将每路图像数据存储为两份，其中一份用于后续的图像融合，另一份作为备份；

图像边缘检测步骤，用于对存储在所述图像数据存储模块的所述完整图像数据，进行相邻图像模块的边缘部分检测；

图像融合步骤，用于将经边缘检测后的所述图像数据进行融合拼接；

图像显示控制步骤，用于完成图像融合后的所述完整图像数据的格式显示控制。

上述多路图像融合方法，其特征在于，所述图像边缘检测步骤，进一步包括：

步骤1，对输入的多路图像数据作预判，确定多路图像数据在一帧图像中的位置；

步骤2，统计相邻的两路图像数据边缘处的行或列的统计量；

步骤3，计算所述两个行或列的统计量的差值，再除以所述两行或列的统计量之和，此值与设定的阈值比较，小于阈值说明找到了图像的边缘，大于或等于阈值说明未找到相邻的图像边缘；

步骤4，重复执行步骤3，直到找到两相邻的图像边缘，在显示图像时将其融合拼接；

步骤5，若在设定的重复查找次数内，仍未找到满足阈值的图像边缘，说明图像边缘有图像丢失，则调用存储在所述图像数据存储模块中对应位置的备份图像数据填补遗失的图像数据，重复执行步骤1，直到检测所有相邻的图像边缘。

与现有技术相比，本发明的有益效果在于：

(1)数据处理带宽高：多路图像的并行接收与解压采用多个功能子模块并行执行，处理效率高，满足多路超高清，高帧频图像处理的需要；

(2)控制精度高：多路图像无缝融合中的并行图像采集、处理与显示的时序控制精度高；

(3)可靠性高：图像缓存时采用高可靠的多路图像数据备份的方法，提高了图像融合和显示可靠性。

(4)集成度高：采用可编程逻辑器件来实现图像缓存和拼接，简化了电路的组成，集成度高，功能模块升级方便。

附图说明

图1是整个系统各个模块连接原理框图；

图2是系统主处理器模块内部结构框图；

图3是外部大容量存储器模块中存储资源的分配情况；

图4是多路图像融合方法步骤；

图5是主处理器步骤；

图6是图像边缘检测的步骤。

其中，附图标记：

10  多路图像数据输入接口模块

20  图像数据解压模块

30  系统主处理器模块

31  同步通信模块

32  主处理器图像数据缓存模块

33  存储器控制模块

34  图像边缘检测模块

35  图像融合模块

36  图像显示控制模块

40  图像数据存储模块

41  图像数据存储模块A

42  图像数据存储模块B

43  图像数据备份模块

50  图像数据显示模块

60  系统程序加载模块

70  系统电源模块

S409～S450、S510～560、S610～S650：本发明各实施例的施行步骤

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

关于本发明的具体实施例，请参考图1所示，其包括有一多路图像数据输入接口模块10、一图像数据解压模块20，一系统主处理器模块30，图像数据存储模块40、一图像数据显示模块50、一系统程序加载模块60、一系统电源模块70。

该多路图像数据输入接口模块10，接收外部输入的多路压缩图像数据，将输入的压缩图像数据并行传输给图像数据解压模块20。

进一步地，上述多路图像数据输入接口模块10的输入接口可以实现千兆以太网口，无线输入口，光纤传输等，并且上述多路图像数据输入接口模块10可以采用专用SOC芯片实现。

图像数据解压模块20，包括多个功能相同的子模块来完成解压，多个图像数据解压子模块并行工作，并行处理多路输入的图像数据，解压后的图像数据并行输入到主处理器模块30。

进一步地，上述的图像数据解压模块20，采用专用图像解压集成芯片或者采用可灵活配置的DSP、FPGA等芯片编程实现，采用可编程器件来解压增强了系统的灵活性，以满足各种不同编码格式的需要。

请参考图2所示，系统主处理器模块30，作为系统的核心主要完成对外围器件的启动与同步通信，以及多路图像的融合工作。请参考图2所示，系统主处理器模块30内部包括六个子模块：同步通信模块31，主处理器图像数据缓存模块32，存储器控制模块33，图像边缘检测模块34，图像融合模块35，图像显示控制器模块36。

进一步地，上述同步通信模块31实时监测外部多路数据的输入情况，对于上述多路图像数据输入接口模块10的每个接口进行监测，当某路有数据包传入时实时启动上述图像数据解压模块20中相应的解压子模块进行解压，解压数据先暂存到主处理器模块内部的上述主处理器图像数据缓存模块32，然后在上述存储器控制模块33的控制下储存到外部的图像数据存储模块40。多路图像的融合工作主要在上述图像融合模块35和上述图像边缘检测模块34配合下完成。

进一步地，上述图像边缘检测模块34主要是完成多路图像中相邻的两个图像模块的边缘部分的检测。图像融合的主要目的就是让两相邻的图像在融合时，图像边缘紧密衔接，既不出现图像边缘断裂也不出现图像边缘重叠。

进一步地，上述图像边缘检测模块34和上述图像融合模块35，采用FPGA编程实现。输入的多路图像信号中，场景中相邻的两路图像在边缘部分可能有重叠区域，在上述图像边缘检测模块34中检测出重叠区域，在图像融合时将重叠区域合并。或者相邻图像边缘有微小遗失时可以用相邻的数据替代，而当图像边缘数据出现较显著丢失时就到备份图像数据的存储器中读取相应部位的图像数据来填补缺失的图像数据，因此对于多路图像数据的备份需要实时更新，保证备份存储器中存储的是上一帧图像数据。

进一步地，上述图像显示控制器模块36采用FPGA编程实现，由于FPGA具有灵活的重构性，上述图像显示控制器模块36可以设计为多种图像输出接口，在主处理器模块外围配置相应的视频接口芯片就可显示需要的图像格式，例如：HDMI、VGA等。

图像数据存储模块40，请参考图3所示，包括：图像数据存储模块A41，图像数据存储模块B42，图像数据备份模块43。在缓存图像数据时采用乒乓操作结构，即两个大容量存储器模块A、B中一个存储器负责写入，一个存储器负责读出，在处理下一帧图像时，两个存储器交换读写功能，刚才负责图像数据写入的存储器此刻负责图像数据的读出、刚才负责图像数据读出的存储器此刻负责图像数据的写入、以此循环完成图像的连续处理。图像数据备份模块实时更新最后一帧图像数据，以备图像数据缺失或者帧丢失时用来代替。

进一步地，上述的图像数据存储模块40在存储多路图像时，采用大容量的缓存模块将每路图像数据存储两份，其中一份用于后续的图像融合，另一份作为备份，当某路在传输过程中出现数据丢失时，使用备份数据填补，备份数据实时更新。对于超高分辨率的图像数据可以使用FPGA外挂大容量的RAM实现。

图像数据显示模块50，该模块由专用的ASIC芯片完成，针对图像格式的需要，选用相应的芯片模块，包括：VGA接口芯片，HDMI接口芯片等。

系统程序加载模块60，用于存储并加载系统中可编程器件的配置文件，包括：主处理器模块30的配置文件。该模块采用FPGA器件完成。

系统电源模块70，提供系统中各个功能模块所需的电源供应。

请参考图4所示，本发明还提出了一种多路图像融合系统的图像融合方法，其特征在于，包括：

步骤S409，存储并加载系统主处理器模块的配置文件；

步骤S410，通过多路图像数据接口模块接收从外部传感器输入的多路图像数据；

步骤S420，通过图像数据解压模块以多路并行工作的方式将多路图像数据进行解压；

步骤S430，通过系统主处理器模块将图像数据解压模块解压后的多路图像数据进行图像融合处理；

步骤S440，通过FPGA外挂大容量RAM缓存模块的方式存储图像数据；

步骤S450，系统主处理器模块融合拼接后的图像数据的显示输出。

其中步骤S430，请参考图5所示，主处理器模块的步骤，进一步包括：

步骤S510，实时监测外部多路图像数据的输入，实时启动图像数据输入接口模块和图像数据解压模块，完成同步通信；

步骤S520，通过主处理器内部小容量存储器临时存放少量图像数据；

步骤S530，控制主处理器图像数据缓存模块将暂存的多路图像数据以一帧完整图像数据储存到图像数据存储模块，执行步骤S440，在存储多路图像数据时，将每路图像数据存储为两份，其中一份用于后续的图像融合，另一份作为备份；

步骤S540，对存储在图像数据存储模块的完整图像数据，进行相邻图像模块的边缘部分检测；

步骤S550，将经边缘检测后的图像数据进行融合拼接；

步骤S560，完成图像融合后的完整图像数据的格式显示控制，执行步骤S450。

其中，图像边缘检测步骤S540，请参考图6所示，进一步包括：

步骤S610，对输入的多路图像数据作预判，确定多路图像数据在一帧图像中的位置；

步骤620，统计相邻的两路图像数据边缘处的行或列的统计量；

步骤630，计算两个行或列的统计量的差值，再除以两行或列的统计量之和，此值与设定的阈值比较，小于阈值说明找到了图像的边缘，大于或等于阈值说明未找到相邻的图像边缘；

步骤640，重复执行步骤630，直到找到两相邻的图像边缘，在显示图像时将其融合拼接，执行步骤S550；

步骤650，若在设定的重复查找次数内，仍未找到满足阈值的图像边缘，说明图像边缘有图像丢失，则调用存储在所述图像数据存储模块中对应位置的备份图像数据填补遗失的图像数据，重复执行步骤610，直到检测所有相邻的图像边缘。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (16)

1.一种多路图像融合系统，其特征在于，包括：

图像数据输入接口模块，用于接收外部多路传感器输入的多路图像数据；

图像数据解压模块，用于将所述图像数据输入接口模块传输的所述多路图像数据以多路并行工作的方式进行解压；

主处理器模块，用于控制外围器件的启动和运行，并将接收到的该图像数据解压模块并行输入的多路图像数据进行图像数据融合；

系统电源模块，用于提供系统所需电源。

2.根据权利要求1所述的多路图像融合系统，其特征在于，还进一步包括：

图像数据存储模块，所述图像数据存储模块采用FPGA外挂大容量RAM缓存模块的方式存储所述图像数据。

3.根据权利要求1或2所述的多路图像融合系统，其特征在于，还进一步包括：

图像数据显示模块，用于所述系统主处理器模块融合拼接后的所述图像数据的显示输出。

4.根据权利要求3所述的多路图像融合系统，其特征在于，还进一步包括：

系统程序加载模块，用于存储并加载所述系统主处理器模块的配置文件。

5.如权利要求1所述的多路图像融合系统，其特征在于，所述图像数据解压模块进一步包括：多个图像数据解压子模块，多个该图像数据解压子模块并行工作，且功能相同。

6.如权利要求1所述的多路图像融合系统，其特征在于，所述图像数据解压子模块选用处理芯片为专用图像解压芯片或者可编程器件。

7.如权利要求3所述的多路图像融合系统，其特征在于，所述图像数据显示模块由专用的ASIC芯片来完成图像显示，该ASIC芯片控制由FPGA实现。

8.如权利要求3所述的多路图像融合系统，其特征在于，所述系统主处理器模块进一步包括：

同步通信模块，用于实时监测外部多路图像数据的输入，实时启动所述图像数据输入接口模块和所述图像数据解压模块，完成同步通信；

主处理器图像数据缓存模块，作为所述主处理器内部小容量存储器以临时存放少量图像数据；

存储器控制模块，用于控制所述主处理器图像数据缓存模块将暂存的所述多路图像数据以一帧完整图像数据储存到所述图像数据存储模块，主处理器在存储多路图像数据时，将每路图像数据存储为两份，其中一份用于后续的图像融合，另一份作为备份；

图像边缘检测模块，用于对存储在所述图像数据存储模块的所述完整图像数据，进行相邻图像模块的边缘部分检测；

图像融合模块，用于将经边缘检测后的所述图像数据进行融合拼接；

图像显示控制模块，用于完成图像融合后的所述完整图像数据的格式显示控制。

9.如权利要求8所述的多路图像融合系统，其特征在于，所述图像边缘检测模块和所述图像融合模块由FPGA编程实现。

10.如权利要求8所述的多路图像融合系统，其特征在于，所述图像显示控制模块由FPGA编程实现，以兼容多种图像输出接口。

11.一种权利要求1-10中任一项所述的多路图像融合系统的图像融合方法，所述多路图像融合系统包括图像数据接口模块、图像数据解压模块及系统主处理器模块，其特征在于，所述方法包括：

图像数据输入步骤，用于通过所述多路图像数据接口模块接收从外部传感器输入的多路图像数据；

图像数据解压步骤，用于通过所述图像数据解压模块以多路并行工作的方式将所述的多路图像数据进行解压；

图像主控制处理步骤，用于通过所述系统主处理器模块将所述图像数据解压模块解压后的多路图像数据进行图像融合处理。

12.根据权利要求11所述多路图像融合方法，其特征在于，进一步包括：

图像数据存储步骤，用于通过FPGA外挂大容量RAM缓存模块的方式存储所述图像数据。

13.根据权利要求11或12所述多路图像融合方法，其特征在于，进一步包括：

图像数据显示步骤，用于所述系统主处理器模块融合拼接后的所述图像数据的显示输出。

14.根据权利要求13所述多路图像融合方法，其特征在于，还进一步包括：

系统程序加载步骤，用于存储并加载所述系统主处理器模块的配置文件。

15.如权利要求13所述的多路图像融合方法，其特征在于，所述图像主控制处理步骤，进一步包括：

同步通信步骤，用于实时监测外部多路图像数据的输入，实时启动所述图像数据输入接口模块和所述图像数据解压模块，完成同步通信；

主处理器图像数据缓存步骤，作为通过所述主处理器内部小容量存储器临时存放少量图像数据；

存储器控制步骤，用于控制所述主处理器图像数据缓存模块将暂存的所述多路图像数据以一帧完整图像数据储存到所述图像数据存储模块，在存储多路图像数据时，将每路图像数据存储为两份，其中一份用于后续的图像融合，另一份作为备份；

图像边缘检测步骤，用于对存储在所述图像数据存储模块的所述完整图像数据，进行相邻图像模块的边缘部分检测；

图像融合步骤，用于将经边缘检测后的所述图像数据进行融合拼接；

图像显示控制步骤，用于完成图像融合后的所述完整图像数据的格式显示控制。

16.根据权利要求15所述多路图像融合方法，其特征在于，所述图像边缘检测步骤，进一步包括：

步骤1，对输入的多路图像数据作预判，确定多路图像数据在一帧图像中的位置；

步骤2，统计相邻的两路图像数据边缘处的行或列的统计量；

步骤3，计算所述两个行或列的统计量的差值，再除以所述两行或列的统计量之和，此值与设定的阈值比较，小于阈值说明找到了图像的边缘，大于或等于阈值说明未找到相邻的图像边缘；

步骤4，重复执行步骤3，直到找到两相邻的图像边缘，在显示图像时将其融合拼接；

步骤5，若在设定的重复查找次数内，仍未找到满足阈值的图像边缘，说明图像边缘有图像丢失，则调用存储在所述图像数据存储模块中对应位置的备份图像数据填补遗失的图像数据，重复执行步骤1，直到检测所有相邻的图像边缘。