CN106342194B - 一种地面场景的红外图像非均匀性校正方法 - Google Patents
一种地面场景的红外图像非均匀性校正方法Info
- Publication number
- CN106342194B CN106342194B CN201218003818.0A CN201218003818A CN106342194B CN 106342194 B CN106342194 B CN 106342194B CN 201218003818 A CN201218003818 A CN 201218003818A CN 106342194 B CN106342194 B CN 106342194B
- Authority
- CN
- China
- Prior art keywords
- pixel
- coefficient
- image
- frame image
- blind element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明属于红外焦平面探测器的非均匀性校正技术，提出了一种地面场景下的红外图像非均匀性校正方法。本文非均匀性校正方法的步骤如下：用当前各个像元对应的校正系数对图像进行校正并输出；对输入图像进行盲元判定；计算当前帧图像与相邻上一帧图像之间的运动参数；以相邻上一帧图像的灰度作为期望，对当前帧图像各个像元的校正系数进行更新；以当前帧图像的灰度作为期望，对相邻的上一帧图像各个像元的校正系数进行更新。该处理过程与图像数据的输入周期同步进行，实现校正系数的迭代更新。
Description
技术领域
本发明涉及一种地面场景的红外图像非均匀性校正方法。
背景技术
红外焦平面阵列探测器生产和使用过程中，很多环节会引起像元之间响应的非均匀性，所以必须进行非均匀性校正后才能使用。常用的校正方法有定标校正方法和基于场景的校正方法。
定标校正方法是使用一个或多个标准黑体参考源，对探测器各像元的输出值进行标定，减小非均匀性。但由于探测器的时间漂移特性和使用环境的变化，图像中的非均匀性会逐渐增强，甚至严重到影响产品的使用，所以定标技术一般都要求定期重新对产品进行标定。定标校正需要大量外部条件的支持，有时甚至是不现实的，所以人们提出了基于场景的校正方法，希望完全依靠场景自身的信息，有效的去除图像的非均匀性，改善图像质量。
目前常用的基于场景的校正方法有：时域高通滤波方法、神经网络校正方法、卡尔曼滤波方法、代数迭代方法、基于运动估计的校正方法等。这些方法都有其自身的缺陷，如时域高通滤波方法和神经网络校正方法要求场景随机运动，否则图像中会留下鬼影或引起图像模糊；卡尔曼滤波方法和基于运动估计的校正方法使用帧块的统计信息来获得有效的校正系数，算法需求的内存较多，计算复杂性较大，难以满足实时处理的要求；代数迭代方法要求在系统中设计一列或一行参考像元，实现起来较为复杂。
目前还没有一种可以在实际中使用的具有较好效果的基于场景的校正方法，所以需要一种高性能、自适应动态帧间校正的校正方法。
发明内容
本发明的目的是：针对目前基于场景的非均匀性校正技术在实际使用中存在的诸多不足，本发明提供了一种用于地面场景的非均匀性校正方法，能有效的消除系统时间漂移和工作环境引起的非均匀性，且使用方便，无需在产品中增加额外的装置，能有效的改善成像质量，大幅提高红外成像装置的稳定性。
本发明采取的技术方案为：
一种地面场景的红外图像非均匀性校正方法，包括以下步骤：
步骤1：用上一帧更新后的校正系数对当前帧图像进行校正并输出，校正公式为：
Yk(i，j)＝Gk-1(i，j)Xk(f，j)+Ok-1(i，j)…………………(公式一)
式中，Xk(i，j)为探测器单元第k帧图像像元(i，j)的实际输出值，Gk(i，j)为像元(i，j)的增益系数，Ok(i，j)为像元(i，j)的偏置系数，Yk(i，j)为像元(i，j)校正后的输出值；
步骤2：设置盲元判定的条件，对输入图像进行盲元判定
条件1：像元(i，j)灰度是3×3邻域内的灰度最大值或最小值；
条件2：像元(i，j)灰度与8邻域内不是盲元的像素灰度均值差大于阈值T；
此处阈值根据系统噪声水平和盲元特性估计；
条件3：像元的盲元置信度大于20；
盲元置信度的计算方法为：如果当前帧的像元(i，j)满足条件1和条件2，则盲元置信度增加1；否则盲元置信度减5；
同时满足条件1到条件3时，认为像元(i，j)为盲元；
步骤3：计算当前帧图像与相邻上一帧图像之间的运动参数
采用图像配准或图像匹配方法获取当前帧图像和相邻上一帧图像之间的运动参数，图像配准方法使用的图像变换模型可以是平移变换、RST变换(即平移、旋转、尺度变换)、仿射变换、透视变换、多项式变换等；
步骤4：相邻上一帧图像的灰度作为期望，对当前帧图像各个像元的校正系数进行迭代更新
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，G′k(i，j)为第k帧第一次更新后像元(i，j)的增益系数，O′k(i，j)为第k帧第一次更新后像元(i，j)的偏置系数。
为估计出的期望响应，为上一帧图像中对应当前帧图像像元(i，j)的输出值，由于图像配准后像元之间可能不一定为整数对应关系，所以计算时取相邻四个像素的灰度进行双线性差值获取；
步骤5：以当前帧图像的灰度作为期望，对相邻的上一帧图像各个像元的校正系数进行迭代更新
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，Gk(i，j)为第k帧第二次更新后像元(i，j)的增益系数，Ok(i，j)为第k帧第二次更新后像元(i，j)的偏置系数；为估计出的期望响应，为当前帧图像中对应上一帧图像像元(i，j)的输出值。由于图像配准后像元之间可能不一定为整数对应关系，所以计算时取相邻四个像素的灰度进行双线性插值获取。
本发明的优点是：该方法引入场景运动信息来更准确的获取场景辐射真值，降低了对场景统计特性的要求，避免了场景的模糊；采用校正系数双向更新策略实现了对校正系数的实时更新，提高了收敛速度；提出了一种非均匀性校正系统的体系结构，解决了目前常用的基于场景的校正方法存储需求大，对场景统计特性要求高，不能实现帧间动态处理的缺点，能有效的消除红外成像装置时间漂移和使用环境变化引入的非均匀性，提高成像装置的稳定性。
附图说明
图1为非均匀性校正系统体系图；
图2为图像之间像元对应图；
图3为非均匀性校正结果图。
具体实施方式
下面对结合说明书附图对本发明做进一步详细说明。一种地面场景的红外图像非均匀性校正方法的步骤如下：
步骤1：用上一帧更新后的校正系数对当前帧图像进行校正并输出，如图1非均匀性校正模块所示；
校正公式为：
Yk(i，j)＝Gk-1(f，j)Xk(i，j)+Ok-1(i，j)……………………(公式一)
式中，Xk(i，j)为探测器单元第k帧图像像元(i，j)的实际输出值，Gk(i，j)为像元(i，j)的增益系数，Ok(i，j)为像元(i，j)的偏置系数，Yk(i，j)为像元(i，j)校正后的输出值；
步骤2：设置盲元判定的条件，对输入图像进行盲元判定，如图1盲元判定模块所示；
条件1：像元(i，j)灰度是3×3邻域内的灰度最大值或最小值；
条件2：像元(i，j)灰度与8邻域内不是盲元的像素灰度均值差大于阈值T；
此处阈值根据系统噪声水平和盲元特性估计；
条件3：像元的盲元置信度大于20；
盲元置信度的计算方法为：如果当前帧的像元(i，j)满足条件1和条件2，则盲元置信度增加1；否则盲元置信度减5；
同时满足条件1到条件3时，认为像元(i，j)为盲元；
步骤3：计算当前帧图像与相邻上一帧图像之间的运动参数，如图1图像匹配模块所示；
采用图像配准或图像匹配方法获取当前帧图像和相邻上一帧图像之间的运动参数，图像配准方法使用的图像变换模型可以是平移变换、RST变换(平移、旋转、尺度变换)、仿射变换、透视变换、多项式变换等；
步骤4：相邻上一帧图像的灰度作为期望，对当前帧图像各个像元的校正系数进行迭代更新，如图1所示；
每个像元的校正系数由增益系数和偏置系数组成，对像元(f，J)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，G′k(i，j)为第k帧第一次更新后像元(i，j)的增益系数，O′k(i，j)为第k帧第一次更新后像元(i，j)的偏置系数。
为估计出的期望响应，为上一帧图像中对应当前帧图像像元(i，j)的输出值，由于图像配准后像元之间可能不一定为整数对应关系，所以计算时取相邻四个像素的灰度进行双线性差值获取；
步骤5：以当前帧图像的灰度作为期望，对相邻的上一帧图像各个像元的校正系数进行迭代更新，如图1校正系数更新模块所示；
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，Gk(i，j)为第k帧第二次更新后像元(i，j)的增益系数，Ok(i，j)为第k帧第二次更新后像元(i，j)的偏置系数；为估计出的期望响应，为当前帧图像中对应上一帧图像像元(i，j)的输出值。由于图像配准后像元之间可能不一定为整数对应关系，所以计算时取相邻四个像素的灰度进行双线性插值获取。
实施例
本发明在某红外成像装置上的一个实施例为，该型成像装置采用320×256面阵中波红外成像探测器：
步骤1：从红外成像装置的探测器获取当前场景的红外图像，用上一帧更新后的校正系数对当前帧图像进行校正并输出，校正公式为公式一；
步骤2：根据盲元判定条件，对输入图像进行盲元判定，并设置盲元置信度值；
条件1：像元(i，j)灰度是3×3邻域内的灰度最大值或最小值；
条件2：像元(i，j)灰度与8邻域内不是盲元的像素灰度均值差大于阈值T；
此处阈值根据系统噪声水平和盲元特性估计，在本例中取值为20。
条件3：像元的盲元置信度大于20；
盲元置信度的计算方法为：如果当前帧的像元(i，j)满足条件1和条件2，则盲元置信度增加1；否则盲元置信度减5。
同时满足条件1到条件3时，认为像元(i，j)为盲元。
步骤3：对校正后的图像，计算当前帧图像与相邻上一帧图像之间的运动参数；
本例中采用图像配准方法获取当前帧图像和相邻上一帧图像之间的仿射变换参数，首先采用Harris算子分别提取两帧图像的特征点，然后选取特征点的16×16邻域灰度作为特征向量，进行特征点匹配，接着用RANSAC准则剔除误匹配点，最后用LMS算法获取仿射变换参数，如图2所示。
步骤4：对当前图像的每一个像素，获取其对应的相邻上一帧图像的像素位置，并用其邻域内像素灰度的双线性插值作为期望响应，对当前帧图像各个像元的校正系数进行更新；
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为公式二和公式三。
步骤5：对相邻的上一帧图像的每一个像素，获取其对应的当前帧图像的像素位置，并用其邻域内像素灰度的双线性插值作为期望响应，对相邻上一帧帧图像各个像元的校正系数进行更新；
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为公式四和公式五。
对每帧新输入的图像，都重复步骤1～步骤5处理，即可实现校正系数的迭代更新，图3显示的是分别为100帧和200帧的情况下，原始图像与使用本方法后的对比图，从图中可以看出本方法能有效的消除红外成像装置时间漂移和使用环境变化引入的非均匀性，提高成像装置的稳定性。
Claims (1)
1.一种地面场景下的红外图像非均匀性校正方法，其特征在于包括以下步骤：
步骤1：用上一帧更新后的校正系数对当前帧图像进行校正并输出，校正公式为：
Yk(i，j)＝Gk-1(i，j)Xk(i，j)+Ok-1(i，j)…………………(公式一)
式中，Xk(i，j)为探测器单元第k帧图像像元(i，j)的实际输出值，Gk(i，j)为像元(i，j)的增益系数，Ok(i，j)为像元(i，j)的偏置系数，Yk(i，j)为像元(i，j)校正后的输出值；
步骤2：设置盲元判定的条件，对输入图像进行盲元判定
条件1：像元(i，j)灰度是3×3邻域内的灰度最大值或最小值；
条件2：像元(i，j)灰度与8邻域内不是盲元的像素灰度均值差大于阈值T；
此处阈值根据系统噪声水平和盲元特性估计；
条件3：像元的盲元置信度大于20；
盲元置信度的计算方法为：如果当前帧的像元(i，j)满足条件1和条件2，则盲元置信度增加1；否则盲元置信度减5；
同时满足条件1到条件3时，认为像元(i，j)为盲元；
步骤3：计算当前帧图像与相邻上一帧图像之间的运动参数
采用图像配准或图像匹配方法获取当前帧图像和相邻上一帧图像之间的运动参数，图像配准方法使用的图像变换模型是平移变换、RST变换、仿射变换、透视变换、多项式变换，RST变换即平移、旋转、尺度变换；
步骤4：相邻上一帧图像的灰度作为期望，对当前帧图像各个像元的校正系数进行迭代更新
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，G′k(i，j)为第k帧第一次更新后像元(i，j)的增益系数，O′k(i，j)为第k帧第一次更新后像元(i，j)的偏置系数，
为估计出的期望响应，为上一帧图像中对应当前帧图像像元(i，j)的输出值，由于图像配准后像元之间可能不一定为整数对应关系，所以计算时取相邻四个像素的灰度进行双线性差值获取；
步骤5：以当前帧图像的灰度作为期望，对相邻的上一帧图像各个像元的校正系数进行迭代更新
每个像元的校正系数由增益系数和偏置系数组成，对像元(i，j)校正系数的更新公式为：
式中，α、β为调整收敛速度的参数，Gk(i，j)为第k帧第二次更新后像元(i，j)的增益系数，Ok(i，j)为第k帧第二次更新后像元(i，j)的偏置系数；为估计出的期望响应，为当前帧图像中对应上一帧图像像元(i，j)的输出值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201218003818.0A CN106342194B (zh) | 2012-09-11 | 2012-09-11 | 一种地面场景的红外图像非均匀性校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201218003818.0A CN106342194B (zh) | 2012-09-11 | 2012-09-11 | 一种地面场景的红外图像非均匀性校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106342194B true CN106342194B (zh) | 2014-11-12 |
Family
ID=58359927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201218003818.0A Active CN106342194B (zh) | 2012-09-11 | 2012-09-11 | 一种地面场景的红外图像非均匀性校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106342194B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537740A (zh) * | 2018-02-13 | 2018-09-14 | 北京航天控制仪器研究所 | 一种基于相邻像素统计一致性的非均匀性校正方法及系统 |
| CN108665425A (zh) * | 2018-03-28 | 2018-10-16 | 西安电子科技大学 | 基于帧间配准和自适应步长的红外图像非均匀性校正方法 |
| CN109272520A (zh) * | 2018-09-18 | 2019-01-25 | 浙江大学 | 一种联合运动指导与边缘检测的自适应红外焦平面非均匀校正方法 |
| CN109360167A (zh) * | 2018-10-10 | 2019-02-19 | 华中科技大学鄂州工业技术研究院 | 一种红外图像校正方法、装置及存储介质 |
| CN109708764A (zh) * | 2018-12-06 | 2019-05-03 | 北京理工大学 | 一种制冷型红外焦平面探测器高动态范围图像融合方法 |
| CN110852976A (zh) * | 2019-11-22 | 2020-02-28 | 昆明物理研究所 | 一种红外图像明暗不均匀校正方法及计算机程序产品 |
| CN111507915A (zh) * | 2020-04-13 | 2020-08-07 | 烟台艾睿光电科技有限公司 | 基于模糊配准的实时红外非均匀性校正方法、设备及介质 |
| CN117853538A (zh) * | 2023-04-26 | 2024-04-09 | 无锡英菲感知技术有限公司 | 一种红外图像校准方法、装置、设备及可读存储介质 |
-
2012
- 2012-09-11 CN CN201218003818.0A patent/CN106342194B/zh active Active
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537740A (zh) * | 2018-02-13 | 2018-09-14 | 北京航天控制仪器研究所 | 一种基于相邻像素统计一致性的非均匀性校正方法及系统 |
| CN108665425A (zh) * | 2018-03-28 | 2018-10-16 | 西安电子科技大学 | 基于帧间配准和自适应步长的红外图像非均匀性校正方法 |
| CN109272520A (zh) * | 2018-09-18 | 2019-01-25 | 浙江大学 | 一种联合运动指导与边缘检测的自适应红外焦平面非均匀校正方法 |
| CN109360167A (zh) * | 2018-10-10 | 2019-02-19 | 华中科技大学鄂州工业技术研究院 | 一种红外图像校正方法、装置及存储介质 |
| CN109360167B (zh) * | 2018-10-10 | 2021-06-29 | 华中科技大学鄂州工业技术研究院 | 一种红外图像校正方法、装置及存储介质 |
| CN109708764A (zh) * | 2018-12-06 | 2019-05-03 | 北京理工大学 | 一种制冷型红外焦平面探测器高动态范围图像融合方法 |
| CN110852976A (zh) * | 2019-11-22 | 2020-02-28 | 昆明物理研究所 | 一种红外图像明暗不均匀校正方法及计算机程序产品 |
| CN110852976B (zh) * | 2019-11-22 | 2023-04-18 | 昆明物理研究所 | 一种红外图像明暗不均匀校正方法及计算机程序产品 |
| CN111507915A (zh) * | 2020-04-13 | 2020-08-07 | 烟台艾睿光电科技有限公司 | 基于模糊配准的实时红外非均匀性校正方法、设备及介质 |
| CN111507915B (zh) * | 2020-04-13 | 2024-03-29 | 烟台艾睿光电科技有限公司 | 基于模糊配准的实时红外非均匀性校正方法、设备及介质 |
| CN117853538A (zh) * | 2023-04-26 | 2024-04-09 | 无锡英菲感知技术有限公司 | 一种红外图像校准方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106342194B (zh) | 一种地面场景的红外图像非均匀性校正方法 | |
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| US11849224B2 (en) | Global tone mapping | |
| US9842381B2 (en) | Global tone mapping | |
| CN108600725B (zh) | 一种基于rgb-ir图像数据的白平衡校正装置及方法 | |
| CN106934771B (zh) | 一种基于局部相关性的红外图像条纹噪声去除方法 | |
| CN102063716B (zh) | 一种基于各向异性约束的多帧迭代盲解卷积图像复原方法 | |
| US20150138312A1 (en) | Method and apparatus for a surround view camera system photometric alignment | |
| Tendero et al. | Efficient single image non-uniformity correction algorithm | |
| CN108230249B (zh) | 基于各向异性的l1范数全变分正则化非均匀性校正方法 | |
| CN109903235A (zh) | 一种红外图像条纹噪声的消除方法 | |
| CN110033414B (zh) | 一种基于均值化处理的红外图像非均匀性校正方法及系统 | |
| CN104917936A (zh) | 一种基于灰度相关的时域高通非均匀性校正方法 | |
| JP2011259047A (ja) | 色補正装置と色補正方法とビデオカメラシステム | |
| CN115115516B (zh) | 基于Raw域的真实世界视频超分辨率的构建方法 | |
| CN112529813B (zh) | 图像去雾处理方法、装置及计算机存储介质 | |
| CN110782403A (zh) | 一种红外图像非均匀性校正方法 | |
| CN115984535A (zh) | 一种用于钻井作业现场的低照度图像判断以及图像增强方法 | |
| CN112104847A (zh) | 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法 | |
| CN110555805A (zh) | 图像处理的方法、装置、设备及存储介质 | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| Choi et al. | Motion-blur-free camera system splitting exposure time | |
| CN111932478A (zh) | 一种非制冷红外焦平面的自适应非均匀校正方法 | |
| Luo et al. | Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory | |
| CN107516291A (zh) | 夜景影像正射纠正处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR03 | Grant of secret patent right | ||
| GRSP | Grant of secret patent right | ||
| DC01 | Secret patent status has been lifted | ||
| DCSP | Declassification of secret patent |