CN113112440A - 一种基于fpga的紫外与可见光图像融合系统及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的紫外与可见光图像融合系统及方法，所述系统包括：图像信号处理电路板和ARM处理器；图像信号处理电路板的输入端电性连接有可见光图像采集模块和紫外图像采集模块，输出端与ARM处理器的输入端电性连接，ARM处理器的输出端电性连接有图像显示模块；可见光图像采集模块包括可见光CCD镜头和可见光CCD探测器，紫外图像采集模块包括紫外镜头和紫外ICCD，图像信号处理电路板设置有FPGA主控芯片，图像显示模块电性连接有显示屏。本发明提供的基于FPGA的紫外与可见光图像融合系统及方法具有结构简单、实用性强、精准高效的特点。

Description

一种基于FPGA的紫外与可见光图像融合系统及方法

技术领域

本发明涉及紫外与可见光图像处理技术领域，特别是涉及一种基于FPGA的紫外与可见光图像融合系统及方法。

背景技术

紫外光和可见光的图像融合是基于紫外检测发展起来的，是紫外检测的一部分。20世纪60年代紫外检测起源于欧美国家的军事领域，并在80年代末得到较大发展，主要为满足发现军事目标的需求而兴起的一种成像技术。该阶段的紫外检测技术仅是单通道的紫外成像，并未同可见光进行融合。上世纪90年代末，紫外技术开始在警用市场得到应用，进入民用领域。紫外检测技术在电力领域，主要用以检测高压设备的早期故障，通过对电晕放电进行检测并结合可见光成像以达到故障定位的目的。

目前已知的应用于紫外检测中的图像融合算法相对简单，实时性相对较好，但是这些处理算法得到的图像的融合质量较低，经常会存在拼接、模糊等现象，对观察者感受和对紫外检测的目标判断及识别均产生了不利影响，甚至对故障识别、故障定位和故障等级判断以及整个故障检测系统产生重要影响，影响电力和铁路系统中电气设备的安全稳定运行，甚至造成安全事故。基于以上问题，迫切需要提出一种新的基于FPGA的紫外与可见光图像融合系统及方法。

发明内容

本发明的目的是提供一种基于FPGA的紫外与可见光图像融合系统及方法，能够得到高质量的紫外与可见光融合图像，具有结构简单、实用性强、精准高效的特点。

为实现上述目的，本发明提供了如下方案：

一种基于FPGA的紫外与可见光图像融合系统，包括：图像信号处理电路板和ARM处理器，所述图像信号处理电路板的输入端电性连接有可见光图像采集模块和紫外图像采集模块，所述图像信号处理电路板的输出端与所述ARM处理器的输入端电性连接，所述ARM处理器的输出端电性连接有图像显示模块；所述可见光图像采集模块包括可见光CCD镜头和可见光CCD探测器，所述紫外图像采集模块包括紫外镜头和紫外ICCD，所述图像信号处理电路板设置有FPGA主控芯片，所述图像显示模块电性连接有显示屏；所述可见光图像采集模块和紫外图像采集模块分别用于采集可见光和紫外图像，所述图像信号处理电路板中的所述FPGA主控芯片对图像信号进行处理并将处理后的图像信息发送至所述ARM处理器，所述ARM处理器控制所述显示屏显示出图像数据。

可选的，所述图像信号处理电路板设置有AD图像解码芯片和DA视频编码芯片，所述AD图像解码芯片的输入端分别与所述可见光图像采集模块及紫外图像采集模块电性连接，所述AD图像解码芯片的输出端与所述FPGA主控芯片电性连接；所述DA视频编码芯片的输入端与所FPGA主控芯片电性连接，所述DA视频编码芯片的输出端与所述ARM处理器电性连接。

可选的，所述图像信号处理电路板通过RS232串口与I2C总线两种方式与主机通信。

可选的，所述可见光CCD探测器型号采用索尼FCB-EX1020P型CCD探测器。

可选的，所述系统还包括电源模块，所述电源模块与所述图像信号处理电路板电性连接，所述电源模块用于给所述系统供电。

本发明还提供了一种基于FPGA的紫外与可见光图像融合方法，应用于上述基于FPGA的紫外与可见光图像融合系统，所述方法具体包括：

S1，利用基于FPGA的紫外与可见光图像融合系统提取所述紫外图像采集模块采集的紫外图像；

S2，对提取的紫外图像进行灰度化处理，并采用阈值分割算法将各放电区域图像从灰度化的紫外图像中分割出来，得到二值化后的图像；

S3，采用数学形态学的开闭运算对二值化后的图像进行滤波处理；

S4，采用二值图像的小区域面积消除算法去除滤波后图像中的干扰点；

S5，进行图像配准：采用仿射变换的逆变换，首先将步骤S1得到的原图进行存储，再根据步骤S4得到的新图中的像素点位置映射出原图对应位置的坐标，得到该坐标对应的灰度值；

S6，进行图像融合：所述FPGA主控芯片对可见光数据进行去交错处理，对紫外光数据进行光子计数计算，根据用户选择将相应的数据显示到所述显示屏上，可供选择的图像输出类型有单可见、单紫外和可见与紫外显示三种类型。

可选的，所述S2步骤中的所述灰度化处理的灰度变换的公式为：

Y＝0.299R+0.587G+0.114B

式中Y为图像像素点的灰度值，R、G、B为红、绿、蓝三个颜色分量值，Y的范围为0-255，全白像素点的灰度值为255，全黑像素点的灰度值为0；

所述阈值分割算法的原理为将灰度图的各像素在某特定值范围内赋予其为白色或黑色，其数学模型为：

式中t为阈值，g(x,y)为二值化后的灰度值，f(x,y)为二值化前的灰度值。

可选的，所述S4步骤中采用二值图像的小区域面积消除算法去除图像中的干扰点，所述小区域面积消除算法的基本步骤包括：

S401，检测图像中每一个高亮区域，获取每一个高亮区域的边界信息；

S402，通过所述边界信息获取每个连通区域的面积大小，统计图中的连通区域以及像素点的个数；

S403，设定阈值，依次将每个区域面积与该阈值进行对比，大于该阈值的区域保留下来，小于该阈值的区域被消除。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于FPGA的紫外与可见光图像融合系统及方法，通过图像预处理、图像配准以及图像融合等步骤实现紫外与可见光图像融合处理功能，消除了现有技术图像融合过程中存在的拼接、模糊等现象，提高了图像的融合质量；同时该系统结构组成简单，具有节能环保、轻快便捷的优点，具有很大的实用性，可适应复杂的现场环境，极大地减少了误检情况，为现场运维人员提供了便利，可以大大提高电力巡检效率。本发明提供的基于FPGA的紫外与可见光图像融合系统及方法具有结构简单、实用性强、精准高效的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于FPGA的紫外与可见光图像融合系统的模块示意图；

图2为本发明基于FPGA的紫外与可见光图像融合方法的流程图；

附图标记说明：1、可见光图像采集模块；2、紫外图像采集模块；3、图像信号处理电路板；4、ARM处理器；5、图像显示模块；6、电源模块；301、AD图像解码芯片；302、DA视频编码芯片；303、通信接口。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于FPGA的紫外与可见光图像融合系统及方法，能够得到高质量的紫外与可见光融合图像，具有结构简单、实用性强、精准高效的特点。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供的基于FPGA的紫外与可见光图像融合系统，如图1所示，包括：图像信号处理电路板3、ARM处理器4和电源模块6，所述图像信号处理电路板3的输入端电性连接有可见光图像采集模块1和紫外图像采集模块2，所述图像信号处理电路板3的输出端与所述ARM处理器4的输入端电性连接，所述ARM处理器4的输出端电性连接有图像显示模块5，所述图像信号处理电路板3设置有通信接口303，所述通信接口303包括RS232和I2C接口；所述图像信号处理电路板3设置有FPGA主控芯片、AD图像解码芯片301和DA视频编码芯片302，所述AD图像解码芯片301的输入端分别与所述可见光图像采集模块1及紫外图像采集模块2电性连接，所述AD图像解码芯片301的输出端与所述FPGA主控芯片电性连接；所述DA视频编码芯片302的输入端与所FPGA主控芯片电性连接，所述DA视频编码芯片302的输出端与所述ARM处理器4电性连接；

所述图像信号处理电路板3是所述系统的核心功能单元，所述紫外图像采集模块2及可见光图像采集模块1采集的紫外和可见光两路模拟图像信号进入所述图像信号处理电路板3后分别经过所述AD图像解码芯片301进行模数转换，得到数字图像信号，进入所述FPGA主控芯片，所述FPGA主控芯片对数字图像信号进行存储、预处理及融合等操作，融合后的数字图像信号经过所述DA视频编码芯片302进行数模转换得到最终的模拟图像信号并将模拟图像信号发送至所述ARM处理4；同时所述FPGA主控芯片还提供外部芯片的驱动，系统工作模式的控制等；其中的存储芯片SRAM用来对图像降噪增强时的缓存处理，FLASH用来存储压缩图像数据，EEPROM用来存储十字线，压缩图像张数等；所述系统与主机的通信是通过RS232串口与I2C总线两种方式进行，另外所述系统还预留一些接口为以后可能的扩展功能做准备；

所述系统还包括电源模块6，所述电源模块6与所述图像信号处理电路板3电性连接，所述电源模块6用于给所述系统供电；所述电源模块6由一块大容量的电池和一个电压转换模块构成，所述电压转换模块为所述可见光图像采集模块1和紫外图像采集模块2提供15V直流电压，所述电压转换模块为所述图像信号处理电路板3提供5V直流电压，电压之间相互无干扰，稳定可靠；

所述可见光图像采集模块1包括可见光CCD镜头和可见光CCD探测器，所述可见光CCD探测器型号采用索尼FCB-EX1020P型CCD探测器，所述可见光图像采集模块1的作用是采集可见光图像，并输出PAL制的模拟信号，再将其送给所述图像信号处理电路板3进行后续处理，所述紫外图像采集模块2包括紫外镜头和紫外ICCD；

所述图像显示模块5电性连接有显示屏，所述图像显示模块5采用了7英寸显示大屏，可实现自动识别；所述可见光图像采集模块1和紫外图像采集模块2分别用于采集可见光和紫外图像，所述图像信号处理电路板中的所述FPGA主控芯片对图像信号进行处理并将处理后的图像信息发送至所述ARM处理器4，所述ARM处理器4通过所述显示屏显示出图像数据；所述系统采用分体式设计，所述可见光图像采集模块1、紫外图像采集模块2、电源模块6、图像信号处理电路板3、ARM处理器4和图像显示模块5都是可拆解结构，方便所述系统的维护和更换；

本发明提供的基于FPGA的紫外与可见光图像融合方法如图2所示，具体包括：

S1，利用所述基于FPGA的紫外与可见光图像融合系统提取所述紫外图像采集模块采集的紫外图像；

S2，对提取的紫外图像进行灰度化处理，并采用阈值分割算法将各放电区域图像从灰度化的紫外图像中分割出来，得到二值化后的图像；

原始的所述紫外图像为RGB彩色数字图像，图像中的每一个像素由红、绿、蓝三个颜色分量表示，在计算机中以M×N×3的形式保存，M和N分别为图像矩阵的行数和列数，3表示其三个颜色分量，即一幅图像需要三个矩阵进行保存，因而占用的图像存储空间较大，直接对原始的所述紫外图像进行处理，其计算量也较大；由于放电区域的图像显示为白色，因而图像的颜色不影响后续参数的提取，为便于后续处理，本发明在图像分割之前将其转换为灰度图像，其灰度化处理的灰度变换的公式如下：

Y＝0.299R+0.587G+0.114B

其中Y的物理意义为图像像素点的灰度值，R、G、B为红、绿、蓝三个颜色分量值，Y的范围为0-255，全白像素点的灰度值为“255”，全黑像素点的灰度值为“0”；

提取图像量化参数需将各放电区域图像从紫外图像中分割出来，鉴于放电区域灰度值明显高于背景图像的灰度值，根据此特性，本发明采用了阈值分割算法；阈值法的原理为将灰度图的各像素在某特定值范围内赋予其为白色(Y＝255)或黑色(Y＝0)，其数学模型为：

式中t为阈值，g(x,y)为二值化后的灰度值，f(x,y)为二值化前的灰度值；

S3，采用数学形态学的开闭运算对二值化后的图像进行滤波处理；

图像经过二值化后虽然可以达到一定的去噪效果，对于一些灰度值接近于放电区域的点经过二值化后仍无法去除，为了更准确地提取放电区域，本发明采用数学形态学的开闭运算对二值图像进行了滤波处理；

S4，采用二值图像的小区域面积消除算法去除滤波后图像中的干扰点；具体步骤为：

S401，检测图像中每一个高亮区域，获取每一个高亮区域的边界信息；

S402，通过所述边界信息获取每个连通区域的面积大小，统计图中的连通区域以及像素点的个数；

S403，设定阈值，依次将每个区域面积与该阈值进行对比，大于该阈值的区域保留下来，小于该阈值的区域被消除；

S5，进行图像配准：采用仿射变换的逆变换，首先将步骤S1得到的原图进行存储，再根据步骤S4得到的新图中的像素点位置映射出原图对应位置的坐标，得到该坐标对应的灰度值；

S6，进行图像融合：所述FPGA主控芯片对可见光数据进行去交错处理，对紫外光数据进行光子计数计算，根据用户选择将相应的数据显示到所述显示屏上，可供选择的图像输出类型有单可见、单紫外和可见与紫外显示三种类型。

本发明提供的基于FPGA的紫外与可见光图像融合系统及方法，通过图像预处理、图像配准以及图像融合等步骤实现紫外与可见光图像融合处理功能，消除了现有技术图像融合过程中存在的拼接、模糊等现象，提高了图像的融合质量；同时该系统结构组成简单，具有节能环保、轻快便捷的优点，具有很大的实用性，可适应复杂的现场环境，极大地减少了误检情况，为现场运维人员提供了便利，可以大大提高电力巡检效率。本发明提供的基于FPGA的紫外与可见光图像融合系统及方法具有结构简单、实用性强、精准高效的特点。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于FPGA的紫外与可见光图像融合系统，其特征在于，包括：图像信号处理电路板和ARM处理器，所述图像信号处理电路板的输入端电性连接有可见光图像采集模块和紫外图像采集模块，所述图像信号处理电路板的输出端与所述ARM处理器的输入端电性连接，所述ARM处理器的输出端电性连接有图像显示模块；所述可见光图像采集模块包括可见光CCD镜头和可见光CCD探测器，所述紫外图像采集模块包括紫外镜头和紫外ICCD，所述图像信号处理电路板设置有FPGA主控芯片，所述图像显示模块电性连接有显示屏；所述可见光图像采集模块和紫外图像采集模块分别用于采集可见光和紫外图像，所述图像信号处理电路板中的所述FPGA主控芯片对图像信号进行处理并将处理后的图像信息发送至所述ARM处理器，所述ARM处理器控制所述显示屏显示出图像数据。

2.根据权利要求1所述的基于FPGA的紫外与可见光图像融合系统，其特征在于，所述图像信号处理电路板设置有AD图像解码芯片和DA视频编码芯片，所述AD图像解码芯片的输入端分别与所述可见光图像采集模块及紫外图像采集模块电性连接，所述AD图像解码芯片的输出端与所述FPGA主控芯片电性连接；所述DA视频编码芯片的输入端与所FPGA主控芯片电性连接，所述DA视频编码芯片的输出端与所述ARM处理器电性连接。

3.根据权利要求2所述的基于FPGA的紫外与可见光图像融合系统，其特征在于，所述图像信号处理电路板通过RS232串口与I2C总线两种方式与主机通信。

4.根据权利要求1所述的基于FPGA的紫外与可见光图像融合系统，其特征在于，所述可见光CCD探测器型号采用索尼FCB-EX1020P型CCD探测器。

5.根据权利要求1所述的基于FPGA的紫外与可见光图像融合系统，其特征在于，所述系统还包括电源模块，所述电源模块与所述图像信号处理电路板电性连接，所述电源模块用于给所述系统供电。

6.一种基于FPGA的紫外与可见光图像融合方法，应用于权利要求1-5任一所述的基于FPGA的紫外与可见光图像融合系统，其特征在于，所述方法包括：

S1，利用基于FPGA的紫外与可见光图像融合系统提取所述紫外图像采集模块采集的紫外图像；

S2，对提取的紫外图像进行灰度化处理，并采用阈值分割算法将各放电区域图像从灰度化的紫外图像中分割出来，得到二值化后的图像；

S3，采用数学形态学的开闭运算对二值化后的图像进行滤波处理；

S4，采用二值图像的小区域面积消除算法去除滤波后图像中的干扰点；

S5，进行图像配准：采用仿射变换的逆变换，首先将步骤S1得到的原图进行存储，再根据步骤S4得到的新图中的像素点位置映射出原图对应位置的坐标，得到该坐标对应的灰度值；

S6，进行图像融合：所述FPGA主控芯片对可见光数据进行去交错处理，对紫外光数据进行光子计数计算，根据用户选择将相应的数据显示到所述显示屏上，可供选择的图像输出类型有单可见、单紫外和可见与紫外显示三种类型。

7.根据权利要求6所述的基于FPGA的紫外与可见光图像融合方法，其特征在于，所述S2步骤中的所述灰度化处理的灰度变换公式为：

Y＝0.299R+0.587G+0.114B

式中Y为图像像素点的灰度值，R、G、B为红、绿、蓝三个颜色分量值，Y的范围为0-255，全白像素点的灰度值为255，全黑像素点的灰度值为0；

所述阈值分割算法的原理为将灰度图的各像素在某特定值范围内赋予其为白色或黑色，其数学模型为：

式中t为阈值，g(x,y)为二值化后的灰度值，f(x,y)为二值化前的灰度值。

8.根据权利要求6所述的基于FPGA的紫外与可见光图像融合方法，其特征在于，所述S4步骤中采用二值图像的小区域面积消除算法去除图像中的干扰点，所述小区域面积消除算法的基本步骤包括：

S401，检测图像中每一个高亮区域，获取每一个高亮区域的边界信息；

S402，通过所述边界信息获取每个连通区域的面积大小，统计图中的连通区域以及像素点的个数；

S403，设定阈值，依次将每个区域面积与该阈值进行对比，大于该阈值的区域保留下来，小于该阈值的区域被消除。

Images