CN104515599A - 基于fpga的红外焦平面阵列盲元检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的红外焦平面阵列盲元检测系统及方法。该系统包括两点参数计算和存取模块、基于增益矩阵K的掩膜滑动窗口盲元检测模块、基于偏置矩阵B的二次3σ盲元检测模块、盲元集合表存储更新模块和盲元补偿模块。检测方法为：将原始的数字图像信号进行两点参数的解算，得到两点参数矩阵并存入FPGA的内部RAM；对两点参数矩阵分别进行基于增益矩阵K的掩膜滑动窗口盲元检测和基于偏置矩阵B的二次3σ盲元检测，并将两次盲元检测的结果合并得到盲元集合表；调整检测温度重复以上步骤得到对应于不同温度的盲元集合表，将不同温度对应的盲元集合表进行整理合并用于后续补偿。本发明检测效率高、质量好，能够减少检测中的漏判盲元。

Description

基于FPGA的红外焦平面阵列盲元检测系统及方法

技术领域

本发明属于红外图像增强技术领域，特别是一种基于FPGA的红外焦平面阵列盲元检测系统及方法。

背景技术

在红外焦平面成像系统中，盲元数是一个很重要的评价指标，直接决定了红外焦平面的品质。当盲元数量过多或者抱团，将严重影响图像质量，非常不利于观测。

在红外成像系统中广泛使用的盲元检测技术包括定标法、线性外推失效元检测法和3σ检测法，它们都根据一定的判据来决定所指定的像素点是不是盲元：定标法根据红外焦平面阵列对高温热源和低温热源的响应来检测盲元；线性外推失效元检测法根据在一个窗口中上下、左右或者斜对角线的灰度梯度变化作为依据来检测盲元；3σ检测法以红外焦平面阵列像元响应值服从正态分布为前提，根据概率学上的3σ法则为基本原理来检测盲元，但是该方法对于不同温度情况没有进行全面的考虑，当红外焦平面进入过高或过低的温度情况下就可能会出现新的盲元。综上所述，目前方法都能够进行有效的盲元检测，但是仍然存在较多不能被忽略的漏判，且存在盲元检测效率低、质量差、不易实现的缺点。

发明内容

本发明的目的在于提供一种效率高、质量好的基于FPGA的红外焦平面阵列盲元检测系统及方法，该系统易于实现、节省资源、处理速度快，并且能够减少盲元检测中的漏判。

实现本发明目的的技术解决方案为：一种基于FPGA的红外焦平面阵列盲元检测系统，包括两点参数计算和存取模块、基于增益矩阵K的掩膜滑动窗口盲元检测模块、基于偏置矩阵B的二次3σ盲元检测模块、盲元集合表存储更新模块和盲元补偿模块；两点参数计算和存取模块的输出端分别接入基于增益矩阵K的掩膜滑动窗口盲元检测模块和基于偏置矩阵B的二次3σ盲元检测模块，基于增益矩阵K的掩膜滑动窗口盲元检测模块和基于偏置矩阵B的二次3σ盲元检测模块都输出端均接入盲元集合表存储更新模块，盲元集合表存储更新模块与盲元补偿模块连接；

两点参数计算和存取模块将原始的数字图像信号进行两点参数的解算，得到两点参数矩阵并存入FPGA的内部RAM；基于增益矩阵K的掩膜滑动窗口盲元检测模块读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；基于偏置矩阵B的二次3σ盲元检测模块读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；然后将盲元集合表{A}和{C}送入盲元集合表存储更新模块进行整理合并后存入内部RAM；盲元补偿模块读取内部RAM的盲元集合表进行后续补偿操作。

一种基于FPGA的红外焦平面阵列盲元检测方法，步骤如下：

步骤1，两点参数解算和存取：红外探测器对准面源黑体之后进行热电信号的转换，然后将原始的数字图像信号送入两点参数计算和存取模块进行两点参数的解算，进行多次两点校正求平均值后，将所得的两点参数矩阵存入FPGA的内部RAM；

步骤2，基于增益矩阵K的掩膜滑动窗口盲元检测模块读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；

步骤3，基于偏置矩阵B的二次3σ盲元检测模块读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；

步骤4，将步骤2所得盲元集合表{A}和步骤3所得盲元集合表{C}送入盲元集合表存储更新模块进行整理合并，得到最终的盲元集合表{T1}并存入内部RAM；

步骤5，调整检测温度段重复检测：改变步骤1中的面源黑体温度，并重复步骤1～4，得到不同温度段对应的盲元集合表，通过盲元集合表存储更新模块将不同温度段的盲元集合表顺次次存入FPGA的内部RAM；

步骤6，盲元集合表整合：盲元集合表存储更新模块将不同检测温度段的盲元集合表进行整理合并，得到最终的盲元集合表{T}并存入内部RAM；

步骤7，盲元补偿模块读取RAM中的最终盲元集合表{T}并进行后续的盲元补偿操作。

本发明与现有技术相比，其显著优点为：（1）实时性好、效率高：在FPGA中使用合理的数据流结构和并行的处理方式，保证了检测效率和实时性；（2）判定依据全面：从灰度检测域转移到了两点参数检测域，同时考虑增益参数矩阵和偏置参数矩阵，并且对增益矩阵增加了滑动掩膜窗口的操作，使检测结果更加准确；（3）多温度段检测提高检测准确率：将不同温度情况下的检测结果进行整理合并，所得到的盲元集合全面准确。

附图说明

图1是本发明基于FPGA的红外焦平面阵列盲元检测系统的结构示意图。

图2是本发明基于FPGA的红外焦平面阵列盲元检测方法的流程图。

图3是实施例1中传统的3σ检测法和本发明方法的盲元检测效果比较图，其中(a)是原始图像，(b)是采用传统的3σ法对(a)中图像进行盲元检测得到的效果图，(c)是采用本采用发明方法对(a)中图像进行盲元检测得到的效果图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

结合图1，本发明基于FPGA的红外焦平面阵列盲元检测系统，包括两点参数计算和存取模块1、基于增益矩阵K的掩膜滑动窗口盲元检测模块2、基于偏置矩阵B的二次3σ盲元检测模块3、盲元集合表存储更新模块4和盲元补偿模块5；两点参数计算和存取模块1的输出端分别接入基于增益矩阵K的掩膜滑动窗口盲元检测模块2和基于偏置矩阵B的二次3σ盲元检测模块3，基于增益矩阵K的掩膜滑动窗口盲元检测模块2和基于偏置矩阵B的二次3σ盲元检测模块3都输出端均接入盲元集合表存储更新模块4，盲元集合表存储更新模块4与盲元补偿模块5连接；

两点参数计算和存取模块1将原始的数字图像信号进行两点参数的解算，得到两点参数矩阵并存入FPGA的内部RAM；基于增益矩阵K的掩膜滑动窗口盲元检测模块2读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；基于偏置矩阵B的二次3σ盲元检测模块3读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；然后将盲元集合表{A}和{C}送入盲元集合表存储更新模块4进行整理合并后存入内部RAM；盲元补偿模块5读取内部RAM的盲元集合表进行后续补偿操作。

结合图2，本发明基于FPGA的红外焦平面阵列盲元检测方法，步骤如下：

步骤1，两点参数解算和存取：红外探测器对准面源黑体之后进行热电信号的转换，然后将原始的数字图像信号送入两点参数计算和存取模块1进行两点参数的解算，进行多次两点校正求平均值后，将所得的两点参数矩阵存入FPGA的内部RAM。

步骤2，基于增益矩阵K的掩膜滑动窗口盲元检测模块2读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；具体步骤如下：

（2.1）设定滑动掩膜窗口大小为N×N，且N为3～9的奇数，滑动掩膜窗口中心位置(i₀,j₀)为需要检测的像元点，(i₀,j₀)是增益矩阵K中的点，读取中心位置为(i₀,j₀)的滑动掩膜窗口所在区域中各像元(i,j)的增益值然后确定该滑动掩膜窗口下所有像元增益值的均值和方差

$\left\{\begin{array}{c}\stackrel{\_}{\mathrm{\μ}}=\mathrm{\Σ}\stackrel{\_}{K}(i,j)/(N\×N)\\ \stackrel{\_}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(\stackrel{\_}{K}(i,j)-\stackrel{\_}{\mathrm{\μ}})}^2}{N\×N}}\\ i\∈[i_0-\frac{N-1}{2},i_0+\frac{N-1}{2}\\ j\∈[j_0-\frac{N-1}{2},j_0+\frac{N-1}{2}]\end{array}\right.$

（2.2）根据3σ法则，若|则(i0,j0)像元点为探测器的正常像元，若|则(i₀,j₀)像元点为探测器的异常像元即盲元；

（2.3）重复步骤（2.1）～（2.2），滑动掩膜窗口遍历整幅图像，得到盲元集合表{A}。

步骤3，基于偏置矩阵B的二次3σ盲元检测模块3读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；具体步骤如下：

（3.1）确定整个偏置矩阵B中偏置值B(i,j)均值和方差设偏置矩阵B大小为L×W，则：

$\left\{\begin{array}{c}\stackrel{=}{\mathrm{\μ}}=\mathrm{\ΣB}(i,j)/(L\×W)\\ \stackrel{=}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(B(i,j)-\stackrel{=}{\mathrm{\μ}})}^2}{L\×W}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

（3.2）根据3σ法则，若|则(i,j)像元点为探测器的异常像元，即盲元；

（3.3）将步骤（3.2）中检测到的盲元位置从偏置矩阵B中剔除，得到新的偏置矩阵B'，再重复步骤（3.1），对偏置矩阵B'进行二次3σ盲元检测；

$\left\{\begin{array}{c}\stackrel{\‾}{\stackrel{\‾}{{\mathrm{\μ}}^{\′}}}=\mathrm{\Σ}{B}^{\′}(i,j)/(L\×W-\mathrm{\Δ})\\ \stackrel{\‾}{\stackrel{\‾}{{\mathrm{\σ}}^{\′}}}=\sqrt{\frac{\mathrm{\Σ}(B^{\′}(i,j)-\stackrel{\‾}{\stackrel{\‾}{\mathrm{\μ}}}{)}^2}{L\×W-\mathrm{\Δ}}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

B'(i,j)为剔除盲元后的偏置矩阵，为矩阵B'(i,j)的平均值，为矩阵B'(i,j)的方差；Δ为被剔除的像元点总个数；若|则(i,j)像元点为探测器的异常像元即盲元；将两次盲元检测结果进行合并，得到盲元集合表{C}。

步骤4，将步骤2所得盲元集合表{A}和步骤3所得盲元集合表{C}送入盲元集合表存储更新模块4进行整理合并，得到最终的盲元集合表{T1}并存入内部RAM。

步骤5，调整检测温度段重复检测：改变步骤1中的面源黑体温度，并重复步骤1～4，得到不同温度段对应的盲元集合表，通过盲元集合表存储更新模块4将不同温度段的盲元集合表顺次次存入FPGA的内部RAM。

步骤6，盲元集合表整合：盲元集合表存储更新模块4将不同检测温度段的盲元集合表进行整理合并，得到最终的盲元集合表{T}并存入内部RAM。

步骤7，盲元补偿模块5读取RAM中的最终盲元集合表{T}并进行后续的盲元补偿操作。

下面结合具体实施例对本发明作进一步详细说明。

实施例1

假设红外焦平面阵列接入的图像大小是256行×320列，则基于FPGA的红外焦平面阵列盲元检测方法的具体步骤如下：

步骤1，两点参数解算和存取：红外成像系统对10℃面源黑体进行N=50次两点校正，得到50组两点参数矩阵，再分别求平均值，即得平均增益矩阵K,偏置矩阵B，矩阵K和B的大小都是256行×320列，并且将增益矩阵K和偏置矩阵B存入FPGA的内部RAM中，以供后续模块使用。

步骤2，基于增益矩阵K的掩膜滑动窗口盲元检测模块2读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；

（2.1）设定滑动掩膜窗口大小为5×5，滑动掩膜窗口中心位置(i0,j0)为需要检测的像元点，i0∈[1,256],j0∈[1,320]；读取中心位置为(i0,j0)的滑动掩膜窗口所在区域中各像元(i,j)的增益值，记作然后确定该滑动掩膜窗口下所有像元增益值的均值和方差

$\left\{\begin{array}{c}\stackrel{\_}{\mathrm{\μ}}=\mathrm{\Σ}\stackrel{\_}{K}(i,k)/(5\×5)\\ \stackrel{\_}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(\stackrel{\_}{K}(i,j)-\stackrel{\‾}{\mathrm{\μ}})}^2}{5\×}}\\ i\∈[i_0-2,i_0+2]\\ j\∈[j_0-2,j_0+2]\end{array}\right.$

（2.2）根据3σ法则，若|则(i0,j0)像元点为探测器的正常像元，若|则(i0,j0)像元点为探测器的异常像元即盲元；

（2.3）重复步骤（2.1）～（2.2），滑动掩膜窗口遍历整幅图像，得到盲元集合表{A}。

步骤3，基于偏置矩阵B的二次3σ盲元检测模块（3）读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；

（3.1）确定整个偏置矩阵B中偏置值B(i,j)均值和方差设整个偏置矩阵B大小是L×W，即L=320，W=256。

$\left\{\begin{array}{c}\stackrel{=}{\mathrm{\μ}}\text{=\ΣB}(i,j)/(L\×W)\\ \stackrel{=}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(B(i,j)-\stackrel{=}{\mathrm{\μ}})}^2}{L\×W}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

（3.2）根据3σ法则，若|则(i,j)像元点为探测器的异常像元，即盲元；

（3.3）将步骤（3.2）中检测到的盲元位置从偏置矩阵B中剔除，得到新的偏置矩阵B'，再重复步骤（3.1），对偏置矩阵B'进行二次3σ盲元检测；

$\left\{\begin{array}{c}\stackrel{=}{{\mathrm{\μ}}^{\′}}=\mathrm{\Σ}{B}^{\′}(i,j)/(L\×W-\mathrm{\Δ})\\ \stackrel{=}{{\mathrm{\σ}}^{\′}}=\sqrt{\frac{\mathrm{\Σ}{\left(B^{\′}(i,j)\text{-}\stackrel{=}{\mathrm{\μ}}\right)}^2}{L\×W-\mathrm{\Δ}}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

B'(i,j)为剔除盲元后的偏置矩阵，为矩阵B'(i,j)的平均值，为矩阵B'(i,j)的方差；Δ为被剔除的像元点总个数；若|则(i,j)像元点为探测器的异常像元即盲元；将两次盲元检测结果进行合并，得到盲元集合表{C}。

步骤4，将步骤2所得盲元集合表{A}和步骤3所得盲元集合表{C}送入盲元集合表存储更新模块4进行整理合并，得到最终的盲元集合表{T1}并存入内部RAM；

步骤5，调整检测温度段重复检测：将步骤1中的面源黑体温度分别改为30℃和50℃，并重复步骤1～4，得到30℃对应的盲元集合表{T2}和50℃对应的盲元集合表{T3}；

步骤6，盲元集合表整合：盲元集合表存储更新模块4将盲元集合表{T1}、{T2}和{T3}进行整理合并，得到最终的盲元集合表{T}并存入内部RAM；

步骤7，盲元补偿模块5读取RAM中的最终盲元集合表{T}并进行后续的盲元补偿操作。

经过以上7个步骤，得到如图3(c)的效果，盲元点用白色点标注，图3(a)是原始图像，图3(b)是传统的3σ盲元检测方法得到的效果图，盲元点同样也用白色点标注。可以看到，图3(c)的检测结果与实际盲元分布和数量一致，并且本发明的检测效果明显优于传统的3σ盲元检测方法。

Claims (5)

1.一种基于FPGA的红外焦平面阵列盲元检测系统，其特征在于，包括两点参数计算和存取模块（1）、基于增益矩阵K的掩膜滑动窗口盲元检测模块（2）、基于偏置矩阵B的二次3σ盲元检测模块（3）、盲元集合表存储更新模块（4）和盲元补偿模块（5）；两点参数计算和存取模块（1）的输出端分别接入基于增益矩阵K的掩膜滑动窗口盲元检测模块（2）和基于偏置矩阵B的二次3σ盲元检测模块（3），基于增益矩阵K的掩膜滑动窗口盲元检测模块（2）和基于偏置矩阵B的二次3σ盲元检测模块（3）都输出端均接入盲元集合表存储更新模块（4），盲元集合表存储更新模块（4）与盲元补偿模块（5）连接；

两点参数计算和存取模块（1）将原始的数字图像信号进行两点参数的解算，得到两点参数矩阵并存入FPGA的内部RAM；基于增益矩阵K的掩膜滑动窗口盲元检测模块（2）读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；基于偏置矩阵B的二次3σ盲元检测模块（3）读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；然后将盲元集合表{A}和{C}送入盲元集合表存储更新模块（4）进行整理合并后存入内部RAM；盲元补偿模块（5）读取内部RAM的盲元集合表进行后续补偿操作。

2.一种基于FPGA的红外焦平面阵列盲元检测方法，其特征在于，步骤如下：

步骤1，两点参数解算和存取：红外探测器对准面源黑体之后进行热电信号的转换，然后将原始的数字图像信号送入两点参数计算和存取模块（1）进行两点参数的解算，进行多次两点校正求平均值后，将所得的两点参数矩阵存入FPGA的内部RAM；

步骤2，基于增益矩阵K的掩膜滑动窗口盲元检测模块（2）读取内部RAM中存储的两点参数矩阵中的增益矩阵K，并使用掩膜滑动窗口3σ法则进行盲元检测，得到盲元集合表{A}；

步骤3，基于偏置矩阵B的二次3σ盲元检测模块（3）读取内部RAM中存储的两点参数矩阵中的偏置矩阵B，并使用二次3σ法则进行盲元检测，得到盲元集合表{C}；

步骤4，将步骤2所得盲元集合表{A}和步骤3所得盲元集合表{C}送入盲元集合表存储更新模块（4）进行整理合并，得到最终的盲元集合表{T1}并存入内部RAM；

步骤5，调整检测温度重复检测：改变步骤1中的面源黑体温度，并重复步骤1～4，得到不同温度对应的盲元集合表，通过盲元集合表存储更新模块（4）将不同温度的盲元集合表顺次次存入FPGA的内部RAM；

步骤6，盲元集合表整合：盲元集合表存储更新模块（4）将不同检测温度的盲元集合表进行整理合并，得到最终的盲元集合表{T}并存入内部RAM；

步骤7，盲元补偿模块（5）读取RAM中的最终盲元集合表{T}并进行后续的盲元补偿操作。

3.根据权利要求2所述的基于FPGA的红外焦平面阵列盲元检测方法，其特征在于，步骤2所述的基于增益矩阵K的掩膜滑动窗口盲元检测，具体步骤如下：

（2.1）设定滑动掩膜窗口大小为N×N，且N为3～9的奇数，滑动掩膜窗口中心位置(i₀,j₀)为需要检测的像元点，(i₀,j₀)是增益矩阵K中的点，读取中心位置为(i₀,j₀)的滑动掩膜窗口所在区域中各像元(i,j)的增益值然后确定该滑动掩膜窗口下所有像元增益值的均值和方差

$\left\{\begin{array}{c}\stackrel{\_}{\mathrm{\μ}}\text{=\Σ}\stackrel{\_}{K}(i,k)/(N\×N)\\ \stackrel{\_}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(\stackrel{\_}{K}(i,k)-\stackrel{\_}{\mathrm{\μ}})}^2}{N\×N}}\\ i\∈[i_o-\frac{N-1}{2},i_o+\frac{N-1}{2}]\\ j\∈[j_0-\frac{N-1}{2},j_0+\frac{N-1}{2}]\end{array}\right.$

（2.2）根据3σ法则，若|则(i₀,j₀)像元点为探测器的正常像元，若|则(i₀,j₀)像元点为探测器的异常像元即盲元

（3.2）重复步骤（2.1）～（2.2），滑动掩膜窗口遍历整幅图像，得到盲元集合表{A}。

4.根据权利要求2所述的基于FPGA的红外焦平面阵列盲元检测方法，其特征在于，步骤3所述基于偏置矩阵B的二次3σ盲元检测的具体步骤如下：

（3.1）确定整个偏置矩阵B中偏置值B(i,j)均值和方差设偏置矩阵B大小为L×W，则：

$\left\{\begin{array}{c}\stackrel{=}{\mathrm{\μ}}=\mathrm{\ΣB}(i,j)/(L\×W)\\ \stackrel{=}{\mathrm{\σ}}=\sqrt{\frac{\mathrm{\Σ}{(B(i,j)-\stackrel{=}{\mathrm{\μ}})}^2}{L\×W}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

（3.2）根据3σ法则，若|(B(i,j)则(i,j)像元点为探测器的异常像元，即盲元；

（3.3）将步骤（3.2）中检测到的盲元位置从偏置矩阵B中剔除，得到新的偏置矩阵B'，再重复步骤（3.1），对偏置矩阵B'进行二次3σ盲元检测；

$\left\{\begin{array}{c}\stackrel{=}{{\mathrm{\μ}}^{\′}}=\mathrm{\Σ}{B}^{\′}(i,j)/(L\×W-\mathrm{\Δ})\\ \stackrel{=}{{\mathrm{\σ}}^{\′}}=\sqrt{\frac{\mathrm{\Σ}(B^{\′}(i,j)-\stackrel{=}{\mathrm{\μ}}{)}^2}{L\×W-\mathrm{\Δ}}}\\ i\∈[1,L]\\ j\∈[1,W]\end{array}\right.$

B'(i,j)为剔除盲元后的偏置矩阵，为矩阵B'(i,j)的平均值，为矩阵B'(i,j)的方差；Δ为被剔除的像元点总个数；若|则(i,j)像元点为探测器的异常像元即盲元；将两次盲元检测结果进行合并，得到盲元集合表{C}。

5.根据权利要求2所述的基于FPGA的红外焦平面阵列盲元检测方法，其特征在于，步骤5所述调整检测温度重复检测，其中检测温度即步骤1中的面源黑体温度分别设为10℃、30℃和50℃。