CN112634150A - 一种基于fpga的红外夜视图像增强方法 - Google Patents

Abstract

本发明使用与图像处理技术领域，提供了一种基于FPGA的红外图像增强方法，利用FPGA对图像进行增强处理，包括：红外摄像采集视频图像，对所采集的图像进行视频流的转换，转换经FPGA处理的图像进行图像增强，处理后的视频图像经编码转换输出到显示屏。具体为将其采集的图像数据进行AD转换输入到FPGA，数据进入FPGA内进行缓存；然后FPGA先从SDRAM中取出计算处理，得到的结果存储在外部FLASH中。在FPGA时序的控制下，从FPGA中读出校正参数进行图形处理，输出的信号经过视频编码器对数据进行DA转换并编码，采用PAL制式信号输出到显示器。本发明节省了视频图像增强的资源消耗，有效的节省了视频图像增强过程的处理时间。

Description

一种基于FPGA的红外夜视图像增强方法

技术领域

本发明涉及红外图像处理技术领域，尤其是涉及一种基于FPGA的红外夜视图像增强 方法。

背景技术

现为了满足经济的发展以及航运需求的快速增长，船舶越来越大型化、高速化，安全 性成为了现代船舶研究领域中的重要研究内容。船舶数量的增多、船舶尺度与吨位的增大使 得船舶航行风险也不断增大，船舶相撞、搁浅、船桥相撞等交通事故不仅能够造成人员伤亡 以及船舶损坏等巨大经济损失，还会导致水域自然环境严重污染，引发突发社会热点问题。 因此，不论对于内河环境还是海洋环境，船舶的图像增强研究具有重要的理论意义和实际应 用价值。船舶的图像增强能够避免船舶在航行过程中可能出现的碰撞事故保障航行运输安全， 能够及时发现非法入境、违规作业的目标，对于社会经济、航行运输安全、资源保护、海洋 战略安全有着极为重要的作用。

红外成像由于可昼夜使用，具有一定的防炫目和烟雾穿透能力的特点，可在夜间、大 雾等光照不足的问题保障全天候作业，但是由于红外图像噪声比较大、动态范围小、对比度 低等缺点，与可见光相比图像细节部分不够突出，显示效果不明显。夜间图像具有细节不明 显、对比度较低、颜色失真以及容易受到噪声干扰等特点，严重影响了我们的生产和生活。 由于夜视环境，录下的画面不清楚，给调取监控查看目标带来了很大的困难。夜视环境也给 夜间视频监控、军事勘探、智能交通等系统的高效工作带来了很大的阻碍。图像增强技术是 根据具体的应用需求通过增强目标场景中的有用信息，改善图像质量，以达到提高图像视觉 效果的目的。增强过后的图像能满足特定应用需求，使信息处理更加高效便捷。

发明内容

本发明的目的之一是提供一种图像增强效果好，图像处理时间短的红外图像增强方法。

本发明公开的技术方案包括：

发明实施例是这样实现的，一种基于FPGA的红外图像增强方法，包括：

设计系统的总体方案，然后再进行各部分软硬件的设计，其中重点对红外夜视系统所使用的 图像增强方法进行说明，该研究主要采用图像处理方法中的图像去噪、图像增强。并对相关 红外图像处理算法进行相应的分析与优化，最后基于FPGA为核心处理平台的红外成像增强 的硬件构造进行设计。

红外夜视图像增强算法的设计和效果仿真。通过分析红外图像的特点，探索针红外热 成像的非均匀校正和红外夜视图像增强的可行性的算法，并通过软件进行图像增强。改进算 法设计完成后，应用评价指标与传统算法进行比较，在评价比较中进一步优化算法结构。尝 试使用改进的增强方法对图像亮度和细节进行增强处理。

图像增强系统硬件平台的设计。以FPGA处理平台为核心，对整个红外成像系统进行硬件算法研究设计。核心开发平台为FPGA开发板，设计完整图像增强算法硬件验证系统，包括视频源、FPGA开发板、PC机和VGA显示器。

完成改进增强算法的模块设计与功能仿真。从红外夜视数字图像处理的入手，使用合 理的数字图像增强方法解决图像问题，同时结合红外成像系统的硬件实现能力，对数字图像 处理算法进行合理的优化。由于视频流与图像在实时性和像素获取方式上的差别，FPGA硬 件平台算法实现将不同于PC端算法实现，因此算法的移植需要特别设计优化。采用并行计 算、时序功能仿真优化、模块化设计和流水线模式的设计思想，研究如何以稳定性好且资源 消耗小的方式硬件实现图像增强的方法。

本算法研究首先分析红外成像的流程，归纳红外数字图像的特点，对图像进行预处理。 由于红外图像具有IRFPA成像的效果，所以采用红外非均匀性校正对图像进行处理。

其次，根据夜间图像对比度低、亮度低和噪声大的特点选择使用暗通道增强算法进行 图像增强。低照度环境下采集的图像噪声较大，这些噪声干扰了图像真实的像素值，并在图 像增强时易被放大，难以完成后续的配准及融合操作，针对这一特点，使用双边滤波进行去 噪处理。其次，根据夜间海上船舶图像对比度低、亮度低和噪声大的特点选择使用暗通道先 验去雾算法对图像进行增强。提出了一种根据雾相关特征预测场景透射率的方法，通过大量 研究分析雾相关的特征，筛选出其中最有效的4个特征，建立它们与透射率之间的随机模型， 最后使用大气散射模型求解无雾图像。针对暗通道先验去雾算法在天空区域和纯白区域去雾 效果不好的问题，提出了一种基于图像分割的暗通道去雾改进算法。对暗通道先验去雾算法 在天空区域和纯白区域去雾效果不好的问题，设计一种基于图像分割的暗通道去雾改进算法。

本发明的目的是这样实现的：

在此图像增强算法基础上，设计红外成像系统硬件结构，确定要以FPGA为红外成像系统的核心作为处理平台，分析整个的系统硬件模块和实现功能，并为实现新型红外成像 功能重新设计新的模块，再对系统中的芯片进行选型。最后应结合FPGA内部特点，以红外 图像算法为基础，用模块化的思路设计FPGA内部程序，将算法模块结合入红外成像系统硬 件中，应该可以得到实时无间断输出高质量红外图像的完整红外成像系统。

附图说明

图1是本发明实施例提供的基于FPGA的红外夜视图像增强方法的系统原理图；

图2是本发明实施例提供的基于FPGA的红外夜视图像增强方法的系统软件流程图；

图3是本发明实施例提供的基于FPGA的红外夜视图像增强方法的红外图像直方图；

图4是本发明实施例提供的基于FPGA的红外夜视图像增强方法的暗通道算法流程图；

图5是本发明实施例提供的基于FPGA的红外夜视图像增强方法的红外夜视原图；

图6是本发明实施例提供的基于FPGA的红外夜视图像增强方法的增强算法效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，一下结合附图及实施例，对本 发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以结束本发明，并不 用于限定本发明。

(1)系统总体方案：

红外夜视图像增强系统包括：红外传感器、视频解码转换单元、图像传输及控制系统、输入/ 输出单元和显示等部分组成。图1是本发明实施例提供的基于FPGA的红外夜视图像增强方 法的系统原理图。

系统按照图像数据流的处理过程划分，各部分功能如下：

图像采集部分：将摄像机采集的数据进行图像解码，并获取相应的控制信号。

图像处理部分：在FPGA时序控制下将红外传感器输出的原始图像模拟信号经转换为 数字信号，然后在对红外图像数据进行图像处理中的图像增强过程。

图像缓存部分：将压缩好的图像数据存储在外部SDRAM。

图像显示部分：输出信号经过编码芯片编码转换后得到了数字信号，通过显示屏上显 示。

系统上电后，红外图像传感器采集图像信息，并在FPGA驱动控制时序下输出到图像 解码部分，将实时数据先送入解码芯片进行转换解码，解码转换控制部分的逻辑功能由现场 可编程门阵列FPGA完成，从解码芯片出来的数字信号通过FPGA图像接收模块进入FPGA， 由FPGA的SDRAM控制器控制写入SDRAM暂存；然后由SDRAM控制器控制读取，在FPGA中进行图像的第一步处理，进行如红外非均匀校正等处理的工作，经过FPGA中的图像处理模块后再次由SDRAM控制器控制写入SDRAM。此时，FPGA的图像接收、SDRAM控制器 控制读写、图像的处理算法的工作完成。随后，然后将处理好的数据经视频编码转换，进行 图像合成显示。图2是本发明实施例提供的基于FPGA的红外夜视图像增强方法的软件流程 图。

(2)该系统硬件电路包括：电源电路、图像采集电路、基于FPGA的图像处理电路、图像缓存电路和视频编码显示电路。红外热成像探测器为图像输入设备，将其采集的图像数 据进行图像解码转换输入到FPGA。数据进入FPGA内进行缓存；然后FPGA先从SDRAM 中取出对应的增益校正因子和偏移量校正因子，该数据被锁存到内部存储单元中，内部的乘 法器和加法器将对所锁存的数据进行乘和加运算，得到的校正结果存储在外部FLASH中。 在FPGA时序的控制下，从FPGA中读出校正参数进行图形处理，输出的信号经过视频编码 器对数据进行图像编码芯片转换编码，采用PAL制式信号输出到显示器。

红外传感器将红外辐射转换为电压信号输出，经过AD处理此电压信号进入转换器转 变为数字信号，进入FPGA内进行缓存，等待非均勾校正过程读取数据；然后FPGA先从SDRAM中取出对应的增益校正因子和偏移量校正因子，该数据被锁存到内部存储单元中，得到的校正结果存储在外部FLASH中；在FPGA时序的控制下，从FPGA中读出校正参数， 然后对原始红外图像数据进行非均匀性校正；完成非均匀校正的图像在FPGA内部配置的 RAM内完成中值滤波。图像采集是系统关键的一步。

为了给图像采集红外传感器提供多路驱动时序，提供采样时序，读写模块控制，外部 芯片寄存器配置，编码芯片的数据匹配，以及自动增益控制。此处的控制时序要求较为复杂， 与此同时还要有一些处理算法，需要主控单元有较强的并行处理能力。以其可编程的特点,并 行应用中效率高，应用灵活。因此用FPGA作为整个成像系统的主控模块，产生各个模块所 需的时序信号。驱动图像采集模块，控制将像元输出的模拟信号数字化，数字信号又输入到FPGA中，并按照一定的要求对这些数据进行处理与整合，再按照要求的格式，将数据与时 钟输出给编码芯片，实现PAL制视频信号的输出。

本发明所设计的成像系统预留了的空间用于更深入的优化研究工作。在对图像做一些 算法处理过程中，片内存储器资源毕竟有限，通过外部存储器的扩展可以提供更多的算法选 择。SDRAM存储芯片简介全称同步动态随机存储器。同步是指其时钟频率相同,并且内部的 命令的发送与数据的传输都以它为基准；动态是指数据存储阵列要不断的刷新来保存数据随 机是指数据可以按任意地址进行读写操作的内部是一个存储阵列称为简称，就如同表格一样， 当指定了行和列就能找到所需要的存储单元，这就是寻址的基本原理。

图像显示部分采用视频编码器作为核心器件，输出数字图像信号给视频编解码器，从 而由视频编码器合成并且输出标准的模拟视频信号，送到监视器显示出来。系统通过FPGA 实现对视频编码器件的控制，完成对图像数据的编码操作。完成对数字视频信号的数模转换， 传送给显示器显示。

(3)图像预处理采用红外非均匀校正法和图像去噪相结合。在算法上首先根据红外 图像的特点对图像进行非均匀校正，然后利用引导滤波的特点对图像进行去噪。低照度环境 下采集的图像噪声较大，这些噪声干扰了图像真实的像素值，并在图像增强时易被放大，难 以完成后续的配准及融合操作，针对这一特点，使用双边滤波进行去噪处理。

(4)图像增强算法采用暗通道去雾算法。暗通道先验理论是统计分析大量户外无雾 图像的结果。结果表明，除开大范围天空、雪地、浓雾等接近白色区域，其余区域像素中至 少有一个颜色通道的强度值非常低，这个最低值几乎接近于0，一般将其称之为暗通道。因 此，对于任意视觉效果好的输入图像J(x,y)，根据暗通道先验理论有：

1式中，Ω(x,y)为以(x,y)像素为中心的一个窗口，J^dark(x,y)表示图像进行两次最 小值滤波后得到的暗通道，J^c(i,j)表示像素(i,j)处R、G、B彩色图像的最小通道值。 推理出的大气传输模型，即：

V(x,y)＝J(x,y)t(x,y)+A(1-t(x,y)) (2)

2式中，V(x,y)是低照度图像反转后得到的伪雾图，J(x,y)为物体的真实亮度，A为全球大气光，通常为一常量，t(x,y)为透射率，即物体真实亮度经过大气传输后能被相机捕获的比例。

对公式变形推导可得：

其中，ω为保雾因子，目的是保留一些远处的雾，以增强图像的真实感。大气光值为A，根据式3式可求出透射率图像，那么可得去雾图像为：

最后，将去雾图像J(x,y)反转，可得图像

其次，根据夜间海上船舶图像对比度低、亮度低和噪声大的特点选择使用暗通道先验 去雾算法对图像进行增强。提出了一种根据雾相关特征预测场景透射率的方法，通过大量研 究分析雾相关的特征，筛选出其中最有效的4个特征，建立它们与透射率之间的随机森林模 型，最后使用大气散射模型求解无雾图像。针对暗通道先验去雾算法在天空区域和纯白区域 去雾效果不好的问题，提出了一种基于图像分割的暗通道去雾改进算法。对暗通道先验去雾 算法在天空区域和纯白区域去雾效果不好的问题，提出了一种基于图像分割的暗通道去雾改 进算法。图4是本发明实施例提供的基于FPGA的红外夜视图像增强方法的暗通道算法流程图。

将引导滤波所得图像和暗通道去雾增强算法处理的图像融合在一起得到最终增强的 图像。图5是本发明实施例提供的基于FPGA的红外夜视图像增强方法的红 外夜视原图。图6是本发明实施例提供的基于FPGA的红外夜视图像增强方法的增强算法效 果图。

最后结合FPGA内部特点，以红外图像算法为基础，用模块化的思路设计FPGA内 部程序，将算法模块结合在红外成像系统硬件中，以实时输出高质量红外图像的完整红外成像系统。

本发明要在此理论基础上，基于FPGA的红外夜视成像系统的设计对红外图像的去噪和增强进行研究和实现。

本发明使用FPGA作为硬件平台核心，红外摄像为图像传感器的输入，再需求分析、模块设计、器件选型得到红外成像系统的整体硬件设计，硬件上实现红外成像系统。在算法确定后，再根据FPGA内部模块化数字电路的特点，实现红外数字图像算法的硬件设计。

本发明在红外成像系统硬件的基础下，针对红外图像对比度差、噪声较强、细节信息 模糊等特点，进行相关数字图像处理算法的研究。进行红外非均匀校正和暗通道增强算法的 细节增强等算法，保证系统的实时性。

以上所述仅为本发明的较佳试验力而已，并不用以限制本发明，凡是在本发明的精神 和原则之内所作的任何修改、等同替换和改进等，均应包含在本分明的保护范围之内。

Claims (4)

1.一种基于FPGA的的红外夜视图像增强方法，其特征在于，包括：

设计研究系统的总体方案，然后再进行各部分软硬件的设计；

获取红外视频图像，通过红外摄像采集夜视图像；

根据红外夜视图像，获得所述图像的直方图；

根据红外夜视图像的直方图的特点，进行红外夜视图像预处理图像去噪；

在将图像预处理所得图像进行红外夜视图像增强；

并对相关红外图像处理算法进行相应的分析与优化，最后基于FPGA为核心处理平台的红外成像增强的硬件构造进行设计。

2.根据权利要求1中所述的红外夜视图像增强方法，其特征在于，根据改进红外夜视图像增强算法的设计和效果仿真。通过分析红外图像的特点，探索针红外热成像的非均匀校正和红外夜视图像增强的可行性的算法，并通过matlab软件进行图像增强。改进算法设计完成后，应用评价指标与传统算法进行比较，在评价比较中进一步优化算法结构。尝试使用改进的增强方法对图像亮度和细节进行增强处理。

3.根据权利要求1中所述的红外夜视图像增强方法，其特征在于，图像增强系统硬件平台的设计。以FPGA处理平台为核心，对整个红外成像系统进行硬件算法研究设计。本发明核心开发平台为FPGA开发板，因此需要熟悉开发板硬件资源和操作方法。在此基础上，设计完整图像增强算法硬件验证系统，包括视频源、FPGA开发板、PC机和VGA显示器。

4.根据权利要求1中所述的红外夜视图像增强方法，其特征在于，完成改进增强算法的模块设计与功能仿真。从红外夜视数字图像处理的入手，使用合理的数字图像增强方法解决图像问题，同时结合红外成像系统的硬件实现能力，对数字图像处理算法进行合理的优化。由于视频流与图像在实时性和像素获取方式上的差别，FPGA硬件平台算法实现将不同于PC端算法实现，因此算法的移植需要特别设计优化。本发明采用并行计算、时序功能仿真优化、模块化设计和流水线模式的设计思想，研究以稳定性好且资源消耗小的方式硬件实现图像增强的方法。

Images