CN116012695A - 一种多路红外图像并行采集与增强的fpga实现方法 - Google Patents

Abstract

本发明属于红外图像处理技术领域，具体为一种多路红外图像并行采集与增强的FPGA实现方法。本发明方法包括：探测器驱动与配置、图像数据重组，以及图像增强，具体在FPGA中多路红外图像数据流并行地实现图像增强，采用多滤波算法融合的分层处理框架，将图像分解成背景层和细节层有针对性地并行处理，并行流水线架构的双边和高斯滤波器通过查找表、设置阈值、倍频加速、多模块轮流等手段减少资源占用并增强实时性；增强后多路红外图像数据依次传输给上位机。本发明可以实现多路红外图像的同步采集、实时增强与大带宽传输，克服单源分辨率不足、视场角受限、资源消耗大、图像噪声多、对比度低和边缘模糊等问题，实现全方位实时目标探测。

Description

一种多路红外图像并行采集与增强的FPGA实现方法

技术领域

本发明属于红外图像处理技术领域，具体涉及一种多路红外图像并行采集与增强的FPGA实现方法。

背景技术

红外成像技术是指通过目标物体辐射出的不同强度的红外光，经光电转换等操作形成一幅反映物体温度和轮廓特点的红外图像。非接触式、被动性成像的原理使其昼夜可用，隐蔽性好，具有强探测和抗干扰能力，被广泛应用在军事、自动驾驶、安防监控等领域中。

目前现有红外图像系统大多局限于单路红外视频源采集，存在的局限性有如下三点：一、图像分辨率低不足，国内目前红外探测器分辨率集中在640×512，仅少数高端机型采用1024×768，单路采集的分辨率不足将导致应用受限；二、单路探测器提供的视场角有限，不能实现全方位实时目标探测；三、目前多数系统基于通用平台开发，存在外设种类繁多、资源冗余、成本较高的缺点。

研究者们受启发于昆虫的复眼视觉系统，利用阵列化排布的多个子眼镜头来模拟昆虫的复眼，进而获得高分辨率大视场成像效果。这种仿生曲面复眼视觉系统可以有效克服上文所述红外系统的缺点，具有分辨率高、视场角大、结构紧凑、体积小的优点。

基于FPGA实现仿生曲面复眼视觉系统可以利用其并行流水线优势获得更好的实时性。由于FPGA拥有足够多的IO口，可以与大量子眼镜头即多路红外探测器进行对接，同时也易于未来扩展。此外，FPGA的可编程性还可以让系统对于不同的应用场景做出调整。

然而，红外图像存在分辨率低、噪声类型复杂多样、图像对比度低和边缘模糊等问题，视觉效果较差。而现有图像处理算法存在以下三大问题：一、现有算法多数针对于可见光，无法有效地解决红外图像缺陷；二、现有图像处理算法的复杂度较高，多数在软件平台进行实现或仅有部分环节通过硬件进行加速，在FPGA中实现的红外算法较少；三、现有单路系统常用算法资源消耗大且实时性差，不适用于多路探测器的应用场景。

因此，如何基于FPGA实现多路红外图像的并行采集与增强是目前迫切需要解决的问题。

发明内容

为解决上述问题，本发明的目的在于提供一种资源消耗少、实时性强、红外图像增强效果好的多路红外图像并行采集与增强的FPGA实现方法。

本发明提出的多路红外图像并行采集与增强的FPGA实现方法，能够实现以下目标：(一)保持多路红外视频流之间的同步性；(二)充分发挥FPGA的并行流水线特性，实现多路图像的实时增强；(三)资源受限的情况下获得较好的多路红外图像增强效果；(四)全参数化实现，使系统具有良好的灵活性、可迁移性和可扩展性；(五)实现多路红外图像到上位机的有序传输调度。

本发明提出的多路红外图像并行采集与增强的FPGA实现方法，包括探测器驱动与配置、图像数据重组、图像增强和通信控制四大步骤；从图像的采集、增强和传输进行流程的展开，具体步骤如下：

步骤S1，探测器驱动：

多路红外探测器共享与FPGA对接的驱动接口，FPGA产生同源时钟及控制信号驱动多路探测器同步工作。

步骤S2，探测器配置：

FPGA通过切换总线片选信号依次完成多路探测器初始化配置并产生同步采集开始的标志信号；

具体步骤为：

步骤S2-1，多路探测器共享总线配置接口，FPGA作为主机，多路探测器作为多个从机，在计数器和数据选择器的控制下选中特定从机的片选信号。

步骤S2-2，FPGA中在状态机的控制下读取ROM中预存的配置值并依照总线时序传输数据给探测器，完成初始化。

步骤S2-3，FPGA中的序列检测电路对总线回传的探测器初始化结果做判断，配置成功后切换选中的使能并配置下一路探测器。

步骤S2-4，FPGA检测到所有探测器成功配置完成后内部产生同步采集开始的标志信号，实现多路并行数据的同步采集与读入。

步骤S3，图像数据重组：

多路红外探测器经多组数据输出接口传出图像数据至FPGA多路输入子单元中，并行地进行有效信息的提取重组和跨时钟域时序调整；具体步骤为：

步骤S3-1，多路红外探测器并行回传像素时钟、行同步信号、帧同步信号和图像数据，对帧同步信号做下降沿检测，抛弃前若干帧(可设置)不稳定数据。

步骤S3-2，依据红外探测器时序图，去除冗余无效信息并将其拼接并还原成原始图像数据并生成对应的数据有效标志信号。

步骤S3-3，处理后数据并行地进入到FPGA中的多路异步FIFO子单元中进行跨时钟域处理和时序调整，后续送入图像增强模块，实现与系统时钟的同步。

步骤S4，图像增强：

FPGA中多路红外图像数据流并行地实现图像增强，经过并行流水线架构的双边滤波器和高斯滤波器子模块分解成背景层和细节层；具体实现步骤为：

步骤S4-1,对于给定的窗口大小及方差，利用MATLAB预先计算并定点化有限差值所对应的像素相似度权重，获取阈值范围内的权重结果作为FPGA中像素相似度查找表，避免在FPGA中进行复杂的指数运算。

步骤S4-2，利用N-1个FIFO和N组移位寄存器缓存N-1行和最新输入的N个数据，实现开窗大小为N*N可移动滤波窗口。

步骤S4-3，可移动滤波窗口内数据分组进入倍频时钟域控制的多个并行的倍频处理子单元中并行处理，在各控制信号作用下轮流复用倍频的处理子单元并实现流水线结构的双边滤波处理，实现保边去噪处理。具体子步骤为：

步骤4-3-1，滤波窗口内的N*N-1个像素(除中心像素外)分成K组，经异步FIFO进入K个并行的倍频处理子单元做后续处理，每个倍频处理子单元负责(N*N-1)/K个像素(需为整数)，频率至少为(N*N-1)/K倍像素时钟；FIFO非空时使能控制信号(记为控制信号1)作为双边滤波的开始工作标志，并在倍频时钟域下对控制信号1延时打拍获取流水线各步骤(6个步骤)的所需的控制信号(记为控制信号2-7)；

步骤4-3-2，在控制信号1及其对应计数器的控制下(N*N-1)/K个像素进入其对应的处理子单元中，在(N*N-1)/K个倍频周期内依次装填流水线，计算与中心像素的差值并进行阈值判断；

步骤4-3-3，在控制信号2及其对应计数器的作用下依次查找表获得值域及空间域权重，并送入乘法器1中；

步骤4-3-4，在控制信号3作用下对可移动滤波窗口内数据进行缓存；

步骤4-3-5，获得步骤4-3-3中乘法器1输出的双边滤波器权重，在控制信号4及其对应计数器作用下与对应的输入窗口像素数据送入乘法器2中；

步骤4-3-6，在控制信号5及其对应计数器作用下对多个并行的处理子单元在步骤4-3-5中获得的双边滤波器权重进行累加；

步骤4-3-7，获得步骤4-3-5乘法器2输出的加权后像素值，在控制信号6作用下对累加器进行初始化；

步骤4-3-8，在控制信号7及其对应计数器作用下对多个并行的处理子单元在步骤4-3-7中获得的像素加权值进行累加；

步骤4-3-9，步骤4-3-8每经(N*N-1)/K个周期累加完成后，与步骤4-3-6得到的双边滤波器权重累加值送入除法器，实现归一化处理；

步骤4-3-10，获得步骤4-3-9除法器输出的归一化结果，经异步FIFO传送至像素时钟域中并生成数据有效标志信号。

步骤S4-4，处理后的数据进入可移动滤波窗口并经并行流水线架构的高斯滤波器进行平滑处理，去除边缘细节与残留噪声，获得图像背景层；

步骤S4-5，缓存步骤S4-3处理后的数据，与S4-4处理后的数据相减获得图像细节层；

步骤S4-6，并行地对背景层与细节层图像数据做针对性处理，即背景层图像实现对比度提升，细节层图像实现细节增强与去噪，利用步骤S4中双边滤波器产生的负增益系数削弱细节层噪声影响并叠加。

步骤S5，通信控制

多路仲裁模块调度增强传输后的多路红外图像数据依次有序地传输给上位机。

本发明整体上，红外图像数据经过并行的多个子模块电路同步进行处理，具有良好的实时性与同步性。

图像增强部分，采用多滤波算法融合的分层处理框架，图像经由全并行流水线架构的双边滤波器和高斯滤波器被分解成背景层和细节层并行有针对性地处理，确保系统实时性的同时有效提升分辨率和视觉效果。

图像增强部份的并行流水线架构的双边滤波器及高斯滤波器子模块通过查找表、设置阈值、倍频加速、多模块轮流复用等手段合理进行资源调度，有效减少资源占用，平衡资源消耗与增强算法的实时性。细节层处理时利用双边滤波器产生的负增益系数对噪声进行削弱，有效增强红外图像细节信息。

多路处理单元之间及其子单元内部都充分发挥FPGA在并行计算和流水线上的优势。所有模块采用全参数化设计，支持修改探测器个数、无效帧数目、滤波器开窗大小、处理单元数目、查找表个数、乘法器级数等，可移植性和灵活性较优，且无需修改设计即可针对不同场景对资源消耗、图像增强效果与实时性三者做出平衡。

本发明还涉及多路红外图像并行采集与增强的FPGA实现系统，包括四个模块：探测器驱动与配置模块、图像数据重组模块、图像增强模块和通信控制模块，分别执行步骤S1与步骤S2、步骤S3、步骤4、步骤5的操作。

本发明的特点和优点

(1)本发明方法支持搭载多路红外探测器，进行多探测器数据的实时读取和增强，满足同步采集、实时增强、大带宽传输的功能需求；该方法应用于仿生曲面复眼视觉系统可以解决单源采集分辨率不足、视场角受限、系统资源消耗大、红外图像噪声类型复杂多样、图像对比度低和边缘模糊等问题，实现全方位实时目标探测；

(2)本发明中，多路红外探测器通过共享与FPGA对接的控制接口节约了接口资源的占用，有利于未来进一步扩展多路探测器数目；同时所涉及的驱动及配置电路实现了多路并行数据的同步采集与读取，有效保障了多路红外探测器间良好的数据同步；

(3)本发明方法具有高度并行性和流水线特性；FPGA中多路红外图像数据通过多路子单元并行处理、单路增强模块内部背景层与细节层并行处理、增强模块的滤波器并行流水线架构实现等方式，充分发挥了FPGA的并行流水线特性，增强红外图像效果的同时保障了多路红外图像采集与传输处理系统的实时性；

(4)本发明实现过程中充分考虑了FPGA内部硬件资源使用情况，通过查找表、设置阈值、倍频加速、多模块轮流复用等手段合理进行资源调度并减少了资源消耗；同时，全参数化实现令本发明能够根据实际多路探测器数目来灵活调整滤波器开窗大小、处理单元数目，达到无需修改设计、仅更改参数即可实现资源消耗、图像增强效果与实时性之间的良好平衡的效果。

综上所述，本发明充分发挥了FPGA并行计算、流水线处理、接口资源丰富和灵活性好的优势，打破单视频源采集的限制，解决算法针对性差、资源消耗多、实时性差的缺点，实现多探测器数据的实时读取和增强，满足了同步采集、实时增强、大带宽传输的功能需求。

附图说明

图1是本发明实施例中多路红外图像并行采集与增强的FPGA实现方法的流程图。

图2是本发明实施例中多路红外图像并行采集与增强传输的方法框架图。

图3是本发明实施例中FPGA配置多路红外探测器的流程图。

图4是本发明实施例中FPGA配置多路红外探测器的方法框架图。

图5是本发明实施例中多路红外探测器数据信息提取和时序调整的流程图。

图6是本发明实施例中红外图像增强算法的示意图。

图7是本发明实施例中红外图像增强算法的流程图。

图8是本发明实施例中双边滤波器的实现原理图。

图9是本发明实施例中双边滤波器的实现流程图。

图10是本发明实施例中双边滤波器的实现示意图。

图11是本发明实施例中红外图像分层处理的效果图。

图12是本发明实施例中红外图像分层处理效果的细节图。

图13是本发明实施例中多路通信模块实现原理示意图。

图14是本发明实施例中多路通信模块实现的仿真效果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的多路红外图像并行采集与增强的FPGA实现方法作进一步阐述。

本实施例中，选用武汉高德智感GST117W红外探测器120模组作为前端图像来源，最高分辨率为120*90，输出帧频可控在1-30Hz，多路红外探测器经驱动和总线配置后产生红外图像数据传输给FPGA；选用Xilinx Spartan 6系列的XC6SLX150-2FGG484型号FPGA作为核心主控，负责实现红外探测器的驱动与配置、图像数据重组、图像增强和通信控制四大模块(参见图1)；双边滤波器窗口大小设置为7*7，对于除中心像素外的48个像素经4个处理子单元和查找表处理，每个处理子单元负责12个像素，乘法器流水级数均为4，以上参数皆可根据实际情况灵活调整。

红外探测器与FPGA之间的接口分为控制和数据输出接口两类。控制接口传输工作时钟、控制及总线配置信号，多路探测器共享该接口。数据输出接口主要包含像素时钟、行同步信号、帧同步信号和红外图像数据。FPGA增强处理后的红外图像数据会通过接口传输给上位机。本实施例包括如下步骤(参见图2)：

步骤S1，多路红外探测器共享与FPGA对接的驱动接口，FPGA产生同源时钟及控制信号驱动多路探测器同步工作。多探测器共享控制接口一方面可以节约IO接口数目与逻辑资源；另一方面相同的时钟和控制信号能够保障多路探测器之间的同步性。

步骤S2，FPGA通过切换总线片选信号依次完成多路探测器初始化配置并产生同步采集开始的标志信号；如图3和图4所示，具体步骤为：

步骤S2-1，多路探测器共享总线配置接口，FPGA作为主机，多路探测器作为多个从机，在计数器和数据选择器的控制下选中特定从机的片选信号，被选中的从机会再后续步骤中进行配置。

步骤S2-2，FPGA中在状态机的控制下读取ROM中预存的配置值并依照总线时序传输数据给探测器，完成初始化。

步骤S2-3，FPGA中的序列检测电路对总线上回传的探测器初始化结果做判断。若出现配置异常的情况，FPGA会对红外探测器进行复位并重启配置流程并点亮装置上的LED灯提醒用户。若配置成功，则会在计数器和数据选择器电路的控制下切换使能并配置下一路探测器。

步骤S2-4，FPGA检测到所有探测器成功配置完成后内部产生同步采集开始的标志信号，实现多路并行数据的同步采集与读入，保障多组独立的并行接口同步地传输像素时钟、行同步信号、帧同步信号和图像数据给FPGA。

步骤S3，多路红外探测器经多组数据输出接口传出图像数据至FPGA多路输入子单元中，并行地进行有效信息的提取重组和跨时钟域时序调整；具体步骤参见图5所示，包含下述子步骤：

步骤S3-1，多路红外探测器并行回传像素时钟、行同步信号、帧同步信号和图像数据，对帧同步信号做下降沿检测，抛弃前若干帧(可设置)不稳定数据。

步骤S3-2，依据红外探测器时序图，在像素时钟、行场同步信号的控制下去除冗余无效信息并将其拼接并还原成原始图像数据并生成对应的数据有效标志信号，实施例中的红外探测器每两个时钟传输一个像素值，高7位在前，低7位在后，则FPGA会将其拼接并还原成14位图像数据。

步骤S3-3，处理后数据并行地进入到FPGA中的多路异步FIFO子单元中进行跨时钟域处理和时序调整，实现与系统时钟的同步并将缓存的图像按行输出给后级例化的多个图像增强模块中并行处理，确保两端数据速率的匹配。

步骤S4，FPGA中多路红外图像数据流并行地实现图像增强(参见图6)。为获取更好的红外图像增强效果，本发明采用分层处理框架，红外图像经过并行流水线架构的双边滤波器和高斯滤波器子模块分解成背景层和细节层进行有针对性地增强。

双边滤波器的核心原理在于利用滤波窗口内像素的加权平均值代替中心像素值(参见图8)。相较于高斯滤波，双边滤波器同时考虑空间位置和像素相似度对于中心像素的影响，可以避免图像边缘处的像素被邻域的非边缘像素模糊掉。其数学模型为：

该模型中，S代表滤波窗口，I_p为滤波窗口内的中心像素，I_q为滤波窗口内的邻域像素。σ_r和σ_s为高斯方差，决定了滤波过程中领域像素对于中心点的影响程度。

为空间临近度权重，||p-q||²代表的是领域像素与中心像素的平方欧氏距离。从公式可知，对于已明确的窗口大小和σ_s，

是可以确定的，可以提前在MATLAB中计算得到。

为像素相似度权重，邻域像素与中心像素越相似，影响越大。通过在MATLAB中预先计算|I_p-I_q|对应的权重值，并设置一定的阈值，本方法后续通过查找表的方式获取该权重。

为归一化因子。

原始视频数据流中包含有背景、边缘细节与噪声信息。经具有保边去噪效果的双边滤波器滤除后，除背景信息外，大量细节信息都得到保留，仅残余少量噪声。再经过高斯滤波器进一步平滑，即可得到背景层。而双边滤波结果与高斯滤波结果相减，即可得到大量的细节信息和少量噪声信息，也就是所述的细节层。

背景层和细节层可以利用FPGA并行性经由不同的电路模块进行针对性处理，保证实时性的同时又通过多算法融合的手段获得了更好的红外图像增强效果。对于背景层信息，可以通过对比度提升的手段增强视觉效果。而对于细节层信息，由于其残留部分噪声信息，直接增强会放大噪声。因此，这里引入一个负增益系数作为叠加系数，该系数由上一环节的双边滤波权重累加值得到。对于噪声信息而言，其与周围像素的差值会较大，因此在双边滤波环节得到的双边权重累加值也会较大；而对于背景或边缘信息，在滤波窗口内的像素会与其有一定相似度，则其双边滤波权重会相对较小。因此，本发明采用双边滤波权重值作为细节层增强的负增益系数，能够有效增强图像边缘细节并削弱残余噪声的影响。

如图7所示，步骤S4包含如下所述的子步骤：

步骤S4-1，对于给定的窗口大小及方差，利用MATLAB预先计算并定点化有限差值所对应的像素相似度权重，获取阈值范围内的权重结果作为FPGA中像素相似度查找表，避免在FPGA中进行复杂的指数运算。

步骤S4-2，假设N＝7，利用6个FIFO和7组移位寄存器缓存6行和最新输入的6个数据，实现开窗大小为7*7可移动滤波窗口。

步骤S4-3，可移动滤波窗口内数据分组进入倍频时钟域控制的多个并行的倍频处理子单元中并行处理，在各控制信号作用下轮流复用倍频的处理子单元并实现流水线结构的双边滤波处理，实现保边去噪处理。其具体子步骤为(参见图9)：

步骤4-3-1，本实施例中，滤波窗口内除中心像素外的48个像素分成4组，经异步FIFO进入4个并行的倍频的处理子单元做后续处理，每个倍频处理子单元负责12个像素，处理子单元频率至少为12倍像素时钟；FIFO非空时使能控制信号1作为双边滤波的开始工作标志，并在倍频时钟域下对控制信号1延时打拍获取流水线各步骤所需的控制信号2-7；

步骤4-3-2，在控制信号1及其对应计数器的控制下12个像素进入其对应的处理子单元中，在12个倍频周期内依次装填流水线，计算与中心像素的差值并进行阈值判断；

步骤4-3-3，在控制信号2及其对应计数器的作用下依次查找表获得值域及空间域权重，并送入乘法器1中；

步骤4-3-4，在控制信号3作用下对可移动滤波窗口内数据进行缓存；

步骤4-3-5，本实施例中，经过4个乘法器流水周期，获得步骤4-3-3中乘法器1输出的双边滤波器权重，在控制信号4及其对应计数器的作用下与对应的输入窗口像素数据送入乘法器2中；

步骤4-3-6，在控制信号5及其对应计数器的作用下对多个并行的处理子单元在步骤4-3-5中获得的双边滤波器权重进行累加，每个周期需要累加4个处理子单元并行输出的权重；

步骤4-3-7，本实施例中，经过4个乘法器流水周期，获得步骤4-3-5乘法器2输出的加权后像素值，在控制信号6作用下对累加器进行初始化；

步骤4-3-8，在控制信号7及其对应计数器的作用下对4个并行的处理子单元在步骤4-3-7中获得的像素加权值进行累加，每个周期需要累加4个像素加权值；

步骤4-3-9，步骤4-3-8每经12个周期累加完成后，与步骤4-3-6得到的双边滤波器权重累加值送入除法器，实现归一化处理；

步骤4-3-10，获得步骤4-3-9除法器输出的归一化结果，经异步FIFO传送至像素时钟域中并生成数据有效标志信号。

上述并行流水结构的双边滤波器实现参见图10，效果图参见图11和图12。图11为整体效果图，图12为图11放大后的细节效果图。其中，图11a及图12a为叠加随机噪声后的原始图像；图11b及图12b中双边滤波后的图像中噪声被大量去除并较好地保留了图像边缘；图11c及图12c是在图11b及图12b基础上进一步叠加高斯滤波后获得的背景层；图11d及图12d为上述双边滤波结果与背景层做差所得的细节层，图像细节信息得到了较好地提取与保留。上述结果表明本发明能够资源受限的情况下实现的双边滤波器能够获得较好的保边去噪效果并有效分离图像背景层和细节层。

步骤S4-4，处理后的数据进入可移动滤波窗口并经并行流水线架构的高斯滤波器进行平滑处理，去除边缘细节与残留噪声，获得图像背景层；

步骤S4-5，缓存步骤S4-3处理后的数据，与S4-4处理后的数据相减获得图像细节层；

步骤S4-6，并行地对背景层与细节层图像数据做针对性处理，利用步骤S4中双边滤波器产生的负增益系数削弱细节层噪声影响并叠加。

步骤S5，多路应用场景下，由于与上位机接口的数据总线位宽有限，除了需要实现按照特定时序传输数据外，还需要多路仲裁模块调度增强传输后的多路红外图像数据依次有序地传输给上位机。如图13实现原理图所示，以本实施例中14位红外图像数据为例，若总线宽度为32位，则两路探测器共享1个通道。增强处理后的图像数据值先进入异步FIFO中进行缓存，当缓存数据满1行数据量时，发出握手请求。倍频后的读时钟域仲裁器对多通道的握手请求做出仲裁，采用循环优先级的方式，依次对各通道发出响应信号。以10路探测器的通信传输为例，其效果图如图14所示。10路红外图像数据会进入到5个通道中，缓存满一行时都发出了req请求(req[4:0])。通道0优先级最高获得响应，grant[0]被拉高，并在计数器cnt_usb_0的控制下输出通道0对应dout0及dout1两路的探测器数据给上位机。发送完一行数据时，仲裁器控制切换为通道1获得响应，grant[0]被拉低，grant[1]被拉高，重复上述发送过程。以此类推，该方式能确保多路数据依次有序地传输到上位机中。

根据上述实施例提供的多路红外图像并行采集与增强的FPGA实现方法，能够对多路红外探测器进行同步采集、实时增强、大带宽传输，解决单源采集分辨率不足、视场角受限、系统资源消耗大、红外图像噪声类型复杂多样、图像对比度低和边缘模糊等问题，实现全方位实时目标探测。

Claims (5)

1.一种多路红外图像并行采集与增强的FPGA实现方法，其特征在于，包括以下步骤：

步骤S1，探测器驱动；多路红外探测器共享与FPGA对接的驱动接口，FPGA产生同源时钟及控制信号驱动多路探测器同步工作；

步骤S2，探测器配置；FPGA通过切换总线片选信号依次完成多路探测器初始化配置并产生同步采集开始的标志信号；

步骤S3，图像数据重组；多路红外探测器经多组数据输出接口传出图像数据至FPGA多路输入子单元中，并行地进行有效信息的提取重组和跨时钟域时序调整；

步骤S4，图像增强；FPGA中多路红外图像数据流并行地实现图像增强，采用多滤波算法融合的分层处理框架，将图像分解成背景层和细节层有针对性地并行处理，并行流水线架构的双边和高斯滤波器通过查找表、设置阈值、倍频加速、多模块轮流等手段减少资源占用并增强实时性；

步骤S5，通信控制；多路仲裁模块调度增强传输后的多路红外图像数据依次有序地传输给上位机。

2.根据权利要求1所述的多路红外图像并行采集与增强的FPGA实现方法，其特征在于，步骤S2具体包括：

步骤S2-1，多路探测器共享总线配置接口，FPGA作为主机，多路探测器作为多个从机，在计数器和数据选择器的控制下选中特定从机的片选信号；

步骤S2-2，FPGA中在状态机的控制下读取ROM中预存的配置值并依照总线时序传输数据给探测器，完成初始化；

步骤S2-3，FPGA中的序列检测电路对总线回传的探测器初始化结果做判断，配置成功后切换选中的使能并配置下一路探测器；

步骤S2-4，FPGA检测到所有探测器成功配置完成后内部产生同步采集开始的标志信号，实现多路并行数据的同步采集与读入。

3.根据权利要求2所述的多路红外图像并行采集与增强的FPGA实现方法，其特征在于，步骤S3具体包括：

步骤S3-1，多路红外探测器并行回传像素时钟、行同步信号、帧同步信号和图像数据，对帧同步信号做下降沿检测，抛弃前若干帧不稳定数据；

步骤S3-2，依据红外探测器时序图，去除冗余无效信息并将其拼接并还原成原始图像数据并生成对应的数据有效标志信号；

步骤S3-3，处理后数据并行地进入到FPGA中的多路异步FIFO子单元中进行跨时钟域处理和时序调整，后续送入图像增强模块，实现与系统时钟的同步。

4.根据权利要求3所述的多路红外图像并行采集与增强的FPGA实现方法，其特征在于，步骤S4具体包括：

步骤S4-1，对于给定的窗口大小及方差，利用MATLAB预先计算并定点化有限差值所对应的像素相似度权重，获取阈值范围内的权重结果作为FPGA中像素相似度查找表，避免在FPGA中进行复杂的指数运算；

步骤S4-2，利用N-1个FIFO和N组移位寄存器缓存N-1行和最新输入的N个数据，实现开窗大小为N*N可移动滤波窗口；

步骤S4-3，可移动滤波窗口内数据分组进入倍频时钟域控制的多个并行的倍频处理子单元中并行处理，在各控制信号作用下轮流复用倍频的处理子单元并实现流水线结构的双边滤波处理，实现保边去噪处理；

步骤S4-4，处理后的数据进入可移动滤波窗口并经并行流水线架构的高斯滤波器进行平滑处理，去除边缘细节与残留噪声，获得图像背景层；

步骤S4-5，缓存步骤S4-3处理后的数据，与S4-4处理后的数据相减获得图像细节层；

步骤S4-6，并行地对背景层与细节层图像数据做针对性处理，即背景层图像实现对比度提升，细节层图像实现细节增强与去噪，利用步骤S4中双边滤波器产生的负增益系数削弱细节层噪声影响并叠加。

5.根据权利要求4所述的多路红外图像并行采集与增强的FPGA实现方法，其特征在于，步骤S4-3具体包括：

步骤4-3-1，滤波窗口内的N*N-1个像素分成K组，经异步FIFO进入K个并行的倍频的处理子单元做后续处理，每个处理子单元负责(N*N-1)/K个像素，频率至少为(N*N-1)/K倍像素时钟；FIFO非空时使能控制信号1作为双边滤波的开始工作标志，并在倍频时钟域下对控制信号1延时打拍获取流水线各步骤所需的控制信号2-7；

步骤4-3-2，在控制信号1及其对应计数器的控制下(N*N-1)/K个像素进入其对应的处理子单元中，在(N*N-1)/K个倍频周期内依次装填流水线，计算与中心像素的差值并进行阈值判断；

步骤4-3-3，在控制信号2及其对应计数器的作用下依次查找表获得值域及空间域权重，并送入乘法器1中；

步骤4-3-4，在控制信号3作用下对可移动滤波窗口内数据进行缓存；

步骤4-3-5，获得步骤4-3-3中乘法器1输出的双边滤波器权重，在控制信号4及其对应计数器的作用下与对应的输入窗口像素数据送入乘法器2中；

步骤4-3-6，在控制信号5及其对应计数器的作用下对多个并行的处理子单元在步骤4-3-5中获得的双边滤波器权重进行累加；

步骤4-3-7，获得步骤4-3-5乘法器2输出的加权后像素值，在控制信号6作用下对累加器进行初始化；

步骤4-3-8，在控制信号7及其对应计数器的作用下对多个并行的处理子单元在步骤4-3-7中获得的像素加权值进行累加；

步骤4-3-9，步骤4-3-8每经(N*N-1)/K个周期累加完成后，与步骤4-3-6得到的双边滤波器权重累加值送入除法器，实现归一化处理；

步骤4-3-10，获得步骤4-3-9除法器输出的归一化结果，经异步FIFO传送至像素时钟域中并生成数据有效标志信号。

Images