CN106780358B - 基于全变分模型的irfpa非均匀性神经网络校正方法 - Google Patents
基于全变分模型的irfpa非均匀性神经网络校正方法 Download PDFInfo
- Publication number
- CN106780358B CN106780358B CN201611029958.9A CN201611029958A CN106780358B CN 106780358 B CN106780358 B CN 106780358B CN 201611029958 A CN201611029958 A CN 201611029958A CN 106780358 B CN106780358 B CN 106780358B
- Authority
- CN
- China
- Prior art keywords
- neural network
- value
- irfpa
- pixel
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000005855 radiation Effects 0.000 claims abstract description 5
- 238000002945 steepest descent method Methods 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明涉及基于全变分模型的IRFPA非均匀性神经网络校正方法，包括以下步骤：(1)、设定IRFPA探测器(i,j)像元增益校正参数的初始值为1，设定IRFPA探测器(i,j)像元偏置校正参数的初始值为0；(2)、构建神经网络输入层；(3)、计算n时刻输入层观测值的校正值输出构建神经网络输出层；(4)、计算(i,j)像元的期望输出值(5)、确定隐含层能量泛函的保真项和正则项构建神经网络的隐含层；(6)、采用最陡下降法，获得第n+1时刻对应的增益校正参数和偏置校正参数(7)、从神经网络输出层获取n+1时刻的校正输出(8)、对IRFPA探测器采集到的后续的场景辐射观测值依次执行步骤(4)到步骤(7)，得到相应的校正值其中t≥n+2。
Description
技术领域
本发明涉及一种红外图像的复原方法，具体涉及一种基于全变分模型的IRFPA非均匀性神经网络校正方法，属于数字信号处理技术领域。
背景技术
红外焦平面阵列(IRFPA)探测器的引入使得现代红外成像系统能同时获得在空间分辨率、温度分辨率和时间分辨率方面的优异性能。然而，受到材料、制造工艺和工作环境等因素的影响，IRFPA各探测元在相同辐照条件下通常会输出不同的响应，这种响应的不一致性被称作非均匀性。由于非均匀性的存在会显著降低成像的信噪比和温度分辨率，因此，在基于IRFPA的成像应用中，几乎都要进行非均匀性校正。此外，IRFPA响应的空间非均匀性会随着时间的推移而缓慢变化，这也是非均匀性校正中必须解决的问题。
为了消除空间非均匀性变化对非均匀性校正的影响，基于参考源的校正方法只能以周期性停机定标的方式来获取新的校正参数，这显然降低了成像系统的实用性。为了克服上述局限，基于场景的校正方法利用成像系统正常运行时所获取的图像数据不断更新校正参数以补偿IRFPA固有的非均匀响应。在众多基于场景的校正方法中，Scribner等人提出的神经网络法(“Adaptive nonuniformity correction for IR Focal Plane ArraysUsing Neural Networks”,Infrared Sensors:Detectors,Electronics,and SignalProcessing,SPIE,1991,Vol.1541,pp.100-109)以其较好的自适应性和较强的参数漂移追踪能力而成为空域处理的典型代表。然而，在非均匀响应较为严重的情况下，该方法未能很好地解决伪影现象。陈钱等人在其申请的专利“基于总变分的自适应红外焦平面非均匀性校正方法”(专利号ZL201210275467.8)虽然一定程度上改善了伪影现象，但在高收敛速度下校正的稳定性和精度难以保证。
综上前述，针对如何在保证校正精度的前提下提高校正过程的收敛速度和稳定性，寻求一种可靠的方法对IRFPA非均匀响应进行自适应校正就显得尤为重要。
发明内容
发明目的：本发明针对上述现有技术存在的问题做出改进，即本发明基于全变分模型的神经网络结构，并基于此结构，提出实现对IRFPA探测器非均匀响应自适应校正的方法，以获得高的校正精度、收敛速度和稳定性。
技术方案：基于全变分模型的IRFPA非均匀性神经网络校正方法，包括：
(1)、设定IRFPA探测器(i,j)像元增益校正参数的初始值为1，设定IRFPA探测器(i,j)像元偏置校正参数的初始值为0，进入步骤(2)；
(2)、将IRFPA探测器(i,j)像元在任一时刻n输出的观测值连接到第(i,j)个神经元，构建神经网络输入层，进入步骤(3)；
(3)、利用当前增益校正参数的估计值和偏置校正参数的估计值计算输入层的校正值输出其计算公式如下：
构建出神经网络输出层，进入步骤(4)；
(4)、计算(i,j)像元的期望输出值进入步骤(5),的计算公式如下：
式中：
w1、w2和w3为加权系数，
为输入层第(i,j)神经元取值，
为输入层第(i-1,j)神经元取值，
为输入层第(i+1,j)神经元取值，
为输入层第(i,j-1)神经元取值，
为输入层第(i,j+1)神经元取值；
(5)、先反馈神经网络输出层校正值并结合神经网络输出层校正值和期望输出值确定隐含层能量泛函的保真项和正则项进而构建神经网络的隐含层，然后进入步骤(6)，隐含层能量泛函的保真项和正则项的计算公式如下：
其中：
和分别表示像素(i,j)关于x和y方向的一阶梯度，
表示像素(i,j)关于x方向的二阶梯度，
表示像素(i,j)关于y方向的二阶梯度，
表示像素(i,j)先关于x方向后关于y方向的二阶梯度；
(6)、采用最陡下降法，获得第n+1时刻对应的增益校正参数和偏置校正参数其计算公式如下：
其中：λ为规整参数，表示第n时刻的增益自适应步长调节参数，其表达式为：
式中，表示第n时刻的增益自适应步长调节参数的初始值；
则表示偏置自适应步长调节参数，其表达式为：
式中，表示偏置自适应步长调节参数的初始值；
(7)、从神经网络输出层获取n+1时刻的校正输出其计算公式如下：
(8)、对IRFPA探测器采集到的后续的场景辐射观测值依次执行步骤(4)到步骤(7)，便可得到相应的校正值其中t≥n+2。
进一步地，在步骤(4)中，用于计算(i,j)像元的期望输出值权系数w2和w3分别表示为：
w1，w2和w3满足约束：w1+2·(w2+w3)＝1且w1＞wl＞ws，其中和分别表示输入层神经元(i,j)取值的水平梯度和垂直梯度的绝对值。
进一步地，在步骤(5)中，正则项中关于x和y方向上的一阶梯度和分别表示为
而关于x方向的二阶梯度表示为
关于y方向的二阶梯度表示为
先关于x方向后关于y方向的二阶梯度表示为
有益效果：本发明公开的基于全变分模型的IRFPA非均匀性神经网络校正方法具有以下有益效果：
本发明通过在能量泛函中引入全变分正则项以解决基于神经网络线性回归校正参数估计中的过度拟合问题，从而实现对校正后场景细节的保持和迭代参数估计过程收敛速度的大幅提升，有效解决了高精度校正的实时性问题，为红外焦平面非均匀性的自适应校正提供了实用化技术手段。
附图说明
图1是本发明公开的基于全变分模型的IRFPA非均匀性神经网络校正方法的流程示意图；
图2（a）表示噪声污染图像；
图2（b）表示现有神经网络(NN)方法处理噪声污染图像的效果图；
图2（c）表示现有全变分(TV)方法处理噪声污染图像的效果图；
图2（d）表示本发明公开的基于全变分模型的IRFPA非均匀性神经网络校正方法处理噪声污染图像的效果图；
图3是本发明公开的基于全变分模型的IRFPA非均匀性神经网络校正方法与现有神经网络(NN)方法以及全变分(TV)方法的迭代校正过程均方误差(MSE)对照曲线。
具体实施方式：
下面对本发明的具体实施方式详细说明。
参照图1，基于全变分模型的IRFPA非均匀性神经网络校正方法，包括：
(1)、设定IRFPA探测器(i,j)像元增益校正参数的初始值为1，设定IRFPA探测器(i,j)像元偏置校正参数的初始值为0，进入步骤(2)；
(2)、将IRFPA探测器(i,j)像元在任一时刻n输出的观测值连接到第(i,j)个神经元，构建神经网络输入层，进入步骤(3)；
(3)、利用当前增益校正参数的估计值和偏置校正参数的估计值计算输入层的校正值输出其计算公式如下：
构建出神经网络输出层，进入步骤(4)；
(4)、计算(i,j)像元的期望输出值进入步骤(5),的计算公式如下：
式中：
w1、w2和w3为加权系数，
为输入层第(i,j)神经元取值，
为输入层第(i-1,j)神经元取值，
为输入层第(i+1,j)神经元取值，
为输入层第(i,j-1)神经元取值，
为输入层第(i,j+1)神经元取值；
(5)、先反馈神经网络输出层校正值并结合神经网络输出层校正值和期望输出值确定隐含层能量泛函的保真项和正则项进而构建神经网络的隐含层，然后进入步骤(6)，隐含层能量泛函的保真项和正则项的计算公式如下：
其中：
和分别表示像素(i,j)关于x和y方向的一阶梯度，
表示像素(i,j)关于x方向的二阶梯度，
表示像素(i,j)关于y方向的二阶梯度，
表示像素(i,j)先关于x方向后关于y方向的二阶梯度；
(6)、采用最陡下降法，获得第n+1时刻对应的增益校正参数和偏置校正参数其计算公式如下：
其中：λ为规整参数，表示第n时刻的增益自适应步长调节参数，其表达式为：
式中，表示增益自适应步长调节参数的初始值；
则表示第n时刻的偏置自适应步长调节参数，其表达式为：
式中，表示偏置自适应步长调节参数的初始值；
(7)、从神经网络输出层获取n+1时刻的校正输出其计算公式如下：
(8)、对IRFPA探测器采集到的后续的场景辐射观测值依次执行步骤(4)到步骤(7)，便可得到相应的校正值其中t≥n+2。
进一步地，在步骤(4)中，用于计算(i,j)像元的期望输出值权系数w2和w3分别表示为：
w1，w2和w3满足约束：w1+2·(w2+w3)＝1且w1＞wl＞ws，其中和分别表示输入层神经元(i,j)取值的水平梯度和垂直梯度的绝对值。
进一步地，在步骤(5)中，正则项中关于x和y方向上的一阶梯度和分别表示为
而关于x方向的二阶梯度表示为
关于y方向的二阶梯度表示为
先关于x方向后关于y方向的二阶梯度表示为
采用现有的神经网络(NN)方法校正图2(a)中的IRFPA所采集的非均匀性图像后，输出的图像见图2(b)。采用现有的全变分(TV)方法校正图2(a)中的图像后，输出的图像见图2(c)。采用本发明方法校正图2(a)中的图像后，输出的图像见图2(d)。
通过图2(b)、图2(c)和图2(d)的对比可以看出，经本发明方法校正后图像较之神经网络(NN)方法和全变分(TV)方法的校正结果，细节更清晰，残余非均匀性更小。
图3所示为本发明公开的基于全变分模型的IRFPA非均匀性神经网络校正方法与传统神经网络方法以及全变分(TV)方法的迭代校正过程均方误差(MSE)对照曲线，可以看到本发明方法的收敛速度更快，且均方误差更小，校正精度更高。
上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (3)
1.基于全变分模型的IRFPA非均匀性神经网络校正方法，其特征在于，包括：
(1)、设定IRFPA探测器(i,j)像元增益校正参数的初始值为1，设定IRFPA探测器(i,j)像元偏置校正参数的初始值为0，进入步骤(2)；
(2)、将IRFPA探测器(i,j)像元在任一时刻n输出的观测值连接到第(i,j)个神经元，构建神经网络输入层，进入步骤(3)；
(3)、利用当前增益校正参数的估计值和偏置校正参数的估计值计算输入层的校正值输出其计算公式如下：
构建出神经网络输出层，进入步骤(4)；
(4)、计算(i,j)像元的期望输出值进入步骤(5),的计算公式如下：
式中：
w1、w2和w3为加权系数，w1，w2和w3满足约束：w1+2·(w2+w3)＝1；
为输入层第(i,j)神经元取值，
为输入层第(i-1,j)神经元取值，
为输入层第(i+1,j)神经元取值，
为输入层第(i,j-1)神经元取值，
为输入层第(i,j+1)神经元取值；
(5)、先反馈神经网络输出层校正值并结合神经网络输出层校正值和期望输出值确定隐含层能量泛函的保真项和正则项进而构建神经网络的隐含层，然后进入步骤(6)，隐含层能量泛函的保真项和正则项的计算公式如下：
其中：
和分别表示像素(i,j)关于x和y方向的一阶梯度，
表示像素(i,j)关于x方向的二阶梯度，
表示像素(i,j)关于y方向的二阶梯度，
表示像素(i,j)先关于x方向后关于y方向的二阶梯度；
(6)、采用最陡下降法，获得第n+1时刻对应的增益校正参数和偏置校正参数其计算公式如下：
其中：λ为规整参数，表示第n时刻的增益自适应步长调节参数，其表达式为：
式中，表示增益自适应步长调节参数的初始值；
则表示第n时刻的偏置自适应步长调节参数，其表达式为：
式中，表示偏置自适应步长调节参数的初始值；
(7)、从神经网络输出层获取n+1时刻的校正输出其计算公式如下：
(8)、对IRFPA探测器采集到的后续的场景辐射观测值依次执行步骤(4)到步骤(7)，便可得到相应的校正值其中t≥n+2。
2.根据权利要求1所述的基于全变分模型的IRFPA非均匀性神经网络校正方法，其特征在于，在步骤(4)中，用于计算(i,j)像元的期望输出值权系数w2和w3分别表示为：
其中和分别表示输入层神经元(i,j)取值的水平梯度和垂直梯度的绝对值。
3.根据权利要求1所述的基于全变分模型的IRFPA非均匀性神经网络校正方法，其特征在于，在步骤(5)中，正则项中关于x和y方向上的一阶梯度和分别表示为
而关于x方向的二阶梯度表示为
关于y方向的二阶梯度表示为
先关于x方向后关于y方向的二阶梯度表示为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611029958.9A CN106780358B (zh) | 2016-11-15 | 2016-11-15 | 基于全变分模型的irfpa非均匀性神经网络校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611029958.9A CN106780358B (zh) | 2016-11-15 | 2016-11-15 | 基于全变分模型的irfpa非均匀性神经网络校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780358A CN106780358A (zh) | 2017-05-31 |
| CN106780358B true CN106780358B (zh) | 2019-09-17 |
Family
ID=58970741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611029958.9A Active CN106780358B (zh) | 2016-11-15 | 2016-11-15 | 基于全变分模型的irfpa非均匀性神经网络校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780358B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741267B (zh) * | 2018-12-05 | 2023-04-25 | 西安电子科技大学 | 基于三边滤波和神经网络的红外图像非均匀性校正方法 |
| CN110782403A (zh) * | 2019-10-09 | 2020-02-11 | 天津大学 | 一种红外图像非均匀性校正方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102778296A (zh) * | 2012-08-03 | 2012-11-14 | 南京理工大学 | 基于总变分的自适应红外焦平面非均匀性校正方法 |
| CN103164846A (zh) * | 2013-03-15 | 2013-06-19 | 上海海事大学 | 一种基于转向核估计的红外条纹非均匀性校正方法 |
| CN103868601A (zh) * | 2014-03-26 | 2014-06-18 | 西安电子科技大学 | Irfpa探测器非均匀响应的双边全变分正则化校正方法 |
-
2016
- 2016-11-15 CN CN201611029958.9A patent/CN106780358B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102778296A (zh) * | 2012-08-03 | 2012-11-14 | 南京理工大学 | 基于总变分的自适应红外焦平面非均匀性校正方法 |
| CN103164846A (zh) * | 2013-03-15 | 2013-06-19 | 上海海事大学 | 一种基于转向核估计的红外条纹非均匀性校正方法 |
| CN103868601A (zh) * | 2014-03-26 | 2014-06-18 | 西安电子科技大学 | Irfpa探测器非均匀响应的双边全变分正则化校正方法 |
Non-Patent Citations (2)
| Title |
|---|
| An Adjacent Differential Statistics Method for IRFPA Nonuniformity Correction;Lixiang Geng et.al;《IEEE Photonics Journal》;20131231;第5卷(第6期);第1-15页 |
| Total variation approach for adaptive nonuniformity correction in focal-plane arrays;Esteban Vera et.al;《OPTICS LETTERS》;20110115;第36卷(第2期);第172-174页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780358A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741267B (zh) | 基于三边滤波和神经网络的红外图像非均匀性校正方法 | |
| CN102778296B (zh) | 基于总变分的自适应红外焦平面非均匀性校正方法 | |
| CN108846805B (zh) | 一种基于场景自适应的红外热图像两点非均匀校正方法 | |
| CN105318971B (zh) | 对红外视频序列采用图像配准的自适应非均匀性校正方法 | |
| US20100329583A1 (en) | Non-uniformity error correction with a bilateral filter | |
| CN102063716B (zh) | 一种基于各向异性约束的多帧迭代盲解卷积图像复原方法 | |
| CN104677501B (zh) | 非制冷红外焦平面阵列非均匀性校正的方法和装置 | |
| CN102968776B (zh) | 一种线性与非线性滤波器相结合的非均匀性校正方法 | |
| CN108230249B (zh) | 基于各向异性的l1范数全变分正则化非均匀性校正方法 | |
| CN106197690B (zh) | 一种宽温范围条件下的图像校准方法及系统 | |
| CN109903235A (zh) | 一种红外图像条纹噪声的消除方法 | |
| CN106780358B (zh) | 基于全变分模型的irfpa非均匀性神经网络校正方法 | |
| CN106855435B (zh) | 长波线阵红外相机星上非均匀性实时校正方法 | |
| CN109934790A (zh) | 带有自适应阈值的红外成像系统非均匀性校正方法 | |
| WO2019183843A1 (zh) | 基于帧间配准和自适应步长的红外图像非均匀性校正方法 | |
| CN103868601B (zh) | Irfpa探测器非均匀响应的双边全变分正则化校正方法 | |
| CN110782403A (zh) | 一种红外图像非均匀性校正方法 | |
| CN111932478A (zh) | 一种非制冷红外焦平面的自适应非均匀校正方法 | |
| CN115002360A (zh) | 一种基于稳健估计的红外视频非均匀性校正方法 | |
| CN104166960B (zh) | 一种基于场景的自适应非均匀固定噪声去除方法 | |
| CN109636740B (zh) | 一种红外图像多尺度智能化非均匀性校正方法 | |
| Zhou et al. | Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images | |
| CN105741238A (zh) | 一种基于场景帧间配准的红外图像非均匀性校正方法 | |
| Sui et al. | A new nonuniformity correction algorithm for infrared line scanners | |
| Bai et al. | Adaptive nonuniformity correction for IRFPA sensors based on neural network framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |