CN109889694A - 一种基于场景红外图像非线性校正SoC并行优化系统和方法 - Google Patents

一种基于场景红外图像非线性校正SoC并行优化系统和方法 Download PDF

Info

Publication number
CN109889694A
CN109889694A CN201910130008.2A CN201910130008A CN109889694A CN 109889694 A CN109889694 A CN 109889694A CN 201910130008 A CN201910130008 A CN 201910130008A CN 109889694 A CN109889694 A CN 109889694A
Authority
CN
China
Prior art keywords
image
correction
low
frame
pass filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910130008.2A
Other languages
English (en)
Other versions
CN109889694B (zh
Inventor
李欣致
刘志哲
马承光
余牧溪
赵晨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Remote Sensing Equipment
Original Assignee
Beijing Institute of Remote Sensing Equipment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Remote Sensing Equipment filed Critical Beijing Institute of Remote Sensing Equipment
Priority to CN201910130008.2A priority Critical patent/CN109889694B/zh
Publication of CN109889694A publication Critical patent/CN109889694A/zh
Application granted granted Critical
Publication of CN109889694B publication Critical patent/CN109889694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种基于场景红外图像非线性校正SoC并行优化系统和方法，所述方法包括：第一步，使用SoC芯片上图像加速模块的非线性校正功能对图像进行定标校正；第二步，使用SoC图像加速模块的高斯滤波处理器对定标校正图像进行滤波处理；第三步，将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；第四步，将当前帧校正后图像键入合成的时域低通滤波图像，最终获得基于场景校正结果。本发明利用场景图像两帧之间时域信息合成时域低通滤波数据，有效消除了图像噪声；并利用了具有自主知识产权的SoC芯片图像加速模块优化了基于场景的红外图像非均匀校正算法，形成流水化处理，减少图像存储次数，显著提高了图像算法处理效率。

Description

一种基于场景红外图像非线性校正SoC并行优化系统和方法
技术领域
本发明涉及一种红外图像非均匀校正系统和方法，特别是一种基于场景红外图像非线性校正SoC并行优化系统和方法。
背景技术
红外热成像技术是一种把红外热辐射转换为可见光的波长转化技术，红外焦平面阵列(IRFPA)探测器具备体积小、质量轻、功耗低等优点，具有广泛的应用前景，特别对于制导武器尤为关键，在未来先进武器系统中具有广泛的应用前景。然而受材料和工艺水平限制，IRFPA各探测单元之间普遍存在响应非均匀型，导致红外成像系统的温度分辨率等性能显著下降，使其难以满足红外系统的使用要求，是制约其应用的根本原因。
在红外热成像系统的性能中，与红外焦平面器件的工作状态相关的主要参数有:焦平面器件的工作温度和温度的均匀性、红外探测器及其CCD器件的驱动信号等。焦平面器件和焦平面器件探测单元的温度均匀性将影响整个焦平面器件响应率的均匀性。红外探测单元及其CCD器件单元驱动信号的变化也将影响整个焦平面器件响应的均匀性。这种非均匀性主要由焦平面器件的工作状态确定，同一焦平面在不同成像系统中可能呈现出不同的非均匀性效果。同样，在红外热成像系统中，入射的目标和背景红外辐射强度变化，红外热像仪光学系统的背景辐射等外界特性均可对焦平面器件的非均匀性产生影响。
针对器件和外界输入相关的非均匀性问题，本发明首先使用高低温图像计算出定标校正系数，对红外图像进行定标校正处理，解决探测单元的温度均匀性对整个焦平面器件响应类均匀性的干扰；然后利用连续两帧之间的时域信息对图像进行基于场景的非线性校正，解决了因入射目标和背景红外辐射强度变化导致的非均匀性干扰。同时使用了具有自主知识产权的SoC芯片图像加速模块优化了基于场景的红外图像非均匀校正算法，形成流水化处理，减少图像存储次数，显著提高了图像算法处理效率，满足军事制导的实时性需求。
发明内容
本发明目的在于提供一种基于场景红外图像非线性校正SoC并行优化方法，能够对红外图像进行高效的非均匀校正处理，解决红外图像受非均匀性干扰、处理速度慢等问题。
本发明提出一种基于场景红外图像非线性校正SoC芯片的并行优化系统，其特征在于，所述SoC芯片包括：图像加速模块、图像合成模块和图像键入模块；所述图像加速模块的非均匀校正子模块对红外图像进行定标校正；所述图像加速模块的高斯滤波处理器对定标校正图像进行滤波处理获得红外图像低频信息；所述Soc芯片的图像合成模块将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；所述图像键入模块将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果。
本发明还提出一种基于场景红外图像非线性校正SoC的并行优化方法，其特征在于，其步骤为：第一步，对红外图像进行定标校正；第二步，对定标校正图像进行高斯滤波处理获得红外图像低频信息；第三步，将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；第四步，将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果。
本发明利用场景图像两帧之间时域信息合成时域低通滤波数据，有效消除了图像噪声；并使用用了具有自主知识产权的SoC芯片图像加速模块优化了基于场景的红外图像非均匀校正算法，形成流水化处理，减少图像存储次数，显著提高了图像算法处理效率。
附图说明
图1是本发明的基于场景红外图像非线性校正SoC并行优化方法的结构示意图。
具体实施方式
以下结合图1对本发明的具体实施方式做出详细描述。
本发明提出一种基于场景红外图像非线性校正SoC并行优化方法，其特征在于具体步骤为：
第一步使用SoC芯片上图像加速模块的非线性校正功能对红外图像进行定标校正
使用SoC芯片上图像加速模的非均匀校正功能对红外图像进行定标校正处理，该非均匀校正功能的数学原理公式如式(1)所示：
Mi(x,y)＝a*orgi(x,y)3+b*orgi(x,y)2+c*orgi(x,y)+d (1)
其中，orgi(x,y)表示第i帧的原始图像第x行y列的像素值，Mi(x,y)表示是校正结果，a、b、c和d是校正系数。目前采用的高低温红外图像数据计算定标校正系数，只用到c和d校正系数，此时，非线性校正公式变为线性校正公式如式(2)所示：
Mi(x,y)＝c*orgi(x,y)+d (2)
Mi(x,y)是定标校正后的图像。使用SoC芯片上图像加速模的非均匀校正功能，可有效提高处理效率，且数据精度高，可达到小数点后20位。
第二步使用SoC图像加速模块的高斯滤波处理器对定标校正图像进行滤波处理
使用SoC芯片上图像加速模的高斯滤波处理器对红外图像进行滤波处理处理，获得红外图像低频信息，公式如式(3)所示：
其中，Mi(x,y)是定标校正后的图像，G(x,y,σ)是高斯滤波器，lowi(x,y)是Mi(x,y)校正图像的低频信息，σ是标准高斯分布值，选用高斯核窗口为9x9。
第三步将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像
利用红外图像前一帧和当前帧之间的时域数据信息，合成时域低通滤波数据，公式如式(4)所示：
其中，fi(x,y)是当前第i帧的合成时域低通滤波数据，Mi(x,y)是当前第i帧的定标校正图像，fi-1(x,y)是前一帧合成时域低通滤波数据。
第四步将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果
将当前帧定标校正图像减去合成时域低通滤波图像以得到一个高通图像，再加上当前帧的低频图像，得到基于场景非均匀校正图像，完成对图像的基于场景非均匀校正，公式如式(5)所示：
Ri(x,y)＝Mi(x,y)-fi(x,y)+lowi(x,y) (5)
其中，Ri(x,y)是当前第i帧的基于场景非均匀校正结果，lowi(x,y)是当前第i帧的定标校正图像Mi(x,y)的低频信息。
至此，完成了一种基于场景红外图像非线性校正SoC并行优化方法。
本发明还提出一种基于场景红外图像非线性校正SoC芯片的并行优化系统，所述SoC芯片包括：图像加速模块、图像合成模块和图像键入模块。所述图像加速模块的非均匀校正子模块对红外图像进行定标校正；所述图像加速模块的高斯滤波处理器对定标校正图像进行滤波处理获得红外图像低频信息；所述Soc芯片的图像合成模块将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；所述图像键入模块将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果。
图像加速模块的非均匀校正子模块对红外图像进行定标校正包括：
利用下式对红外图像进行定标校正：
Mi(x,y)＝c*orgi(x,y)+d
其中，Mi(x,y)是定标校正后的图像，orgi(x,y)表示第i帧的原始图像第x行y列的像素值，c和d是校正系数。
图像加速模块的高斯滤波处理器利用下式对定标校正后的图像进行滤波处理获得红外图像低频信息，
其中，Mi(x,y)是定标校正后的图像，G(x,y,σ)是高斯滤波器，lowi(x,y)是Mi(x,y)校正图像的低频信息，σ是标准高斯分布值，选用高斯核窗口为9x9。
其中，所述Soc芯片的图像合成模块利用下式将当前帧定标校正图像和前一帧合成时域低通滤波图像信息合成时域低通滤波图像；
其中，fi(x,y)是当前第i帧的合成时域低通滤波数据，Mi(x,y)是当前第i帧的定标校正图像，fi-1(x,y)是前一帧合成时域低通滤波数据。
图像键入模块将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果包括：
将当前帧定标校正图像减去合成时域低通滤波图像得到一个高通图像，再加上当前帧的低频图像，得到基于场景非均匀校正图像，完成对图像的基于场景非均匀校正，公式如下所示：
Ri(x,y)＝Mi(x,y)-fi(x,y)+lowi(x,y)
其中，Ri(x,y)是当前第i帧的基于场景非均匀校正结果，lowi(x,y)是当前第i帧的定标校正图像Mi(x,y)的低频信息。
本发明利用场景图像两帧之间时域信息合成时域低通滤波数据，有效消除了图像噪声；并使用用了具有自主知识产权的SoC芯片图像加速模块优化了基于场景的红外图像非均匀校正算法，形成流水化处理，减少图像存储次数，显著提高了图像算法处理效率。

Claims (10)

1.一种基于场景红外图像非线性校正SoC芯片的并行优化系统，其特征在于，所述SoC芯片包括：图像加速模块、图像合成模块和图像键入模块；
所述图像加速模块的非均匀校正子模块对红外图像进行定标校正；
所述图像加速模块的高斯滤波处理器对定标校正后的图像进行滤波处理获得红外图像低频信息；
所述Soc芯片的图像合成模块将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；
所述图像键入模块将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果。
2.根据权利要求1所述的并行优化系统，其特征在于，所述图像加速模块的非均匀校正子模块对红外图像进行定标校正包括：
利用下式对红外图像进行定标校正：
Mi(x,y)＝c*orgi(x,y)+d
其中，Mi(x,y)是定标校正后的图像，orgi(x,y)表示第i帧的原始图像第x行y列的像素值，c和d是校正系数。
3.根据权利要求1所述的并行优化系统，其特征在于，所述图像加速模块的高斯滤波处理器利用下式对定标校正后的图像进行滤波处理获得红外图像低频信息，
其中，Mi(x,y)是定标校正后的图像，G(x,y,σ)是高斯滤波器，lowi(x,y)是Mi(x,y)校正图像的低频信息，σ是标准高斯分布值，选用高斯核窗口为9x9。
4.根据权利要求1所述的并行优化系统，其特征在于，所述Soc芯片的图像合成模块利用下式将当前帧定标校正图像和前一帧合成时域低通滤波图像信息合成时域低通滤波图像；
其中，fi(x,y)是当前第i帧的合成时域低通滤波数据，Mi(x,y)是当前第i帧的定标校正图像，fi-1(x,y)是前一帧合成时域低通滤波数据。
5.根据权利要求1所述的并行优化系统，其特征在于，所述图像键入模块将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果包括：
将当前帧定标校正图像减去合成时域低通滤波图像得到一个高通图像，再加上当前帧的低频图像，得到基于场景非均匀校正图像，完成对图像的基于场景非均匀校正，公式如下所示：
Ri(x,y)＝Mi(x,y)-fi(x,y)+lowi(x,y)
其中，Ri(x,y)是当前第i帧的基于场景非均匀校正结果，lowi(x,y)是当前第i帧的定标校正图像Mi(x,y)的低频信息。
6.一种基于场景红外图像非线性校正SoC的并行优化方法，其特征在于，其步骤为：
第一步，对红外图像进行定标校正；
第二步，对定标校正图像进行高斯滤波处理获得红外图像低频信息；
第三步，将当前帧定标校正图像和前一帧低通图像信息合成时域低通滤波图像；
第四步，将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果。
7.根据权利要求6所述的并行优化方法，其特征在于，第一步中，对红外图像进行定标校正包括：
利用下式对红外图像进行定标校正：
Mi(x,y)＝c*orgi(x,y)+d
其中，Mi(x,y)是定标校正后的图像，orgi(x,y)表示第i帧的原始图像第x行y列的像素值，c和d是校正系数。
8.根据权利要求6所述的并行优化方法，其特征在于，第二步中，利用下式对定标校正后的图像进行滤波处理获得红外图像低频信息，
其中，Mi(x,y)是定标校正后的图像，G(x,y,σ)是高斯滤波器，lowi(x,y)是Mi(x,y)校正图像的低频信息，σ是标准高斯分布值，选用高斯核窗口为9x9。
9.根据权利要求1所述的并行优化方法，其特征在于，第三步中，利用下式将当前帧定标校正图像和前一帧合成时域低通滤波图像信息合成时域低通滤波图像；
其中，fi(x,y)是当前第i帧的合成时域低通滤波数据，Mi(x,y)是当前第i帧的定标校正图像，fi-1(x,y)是前一帧合成时域低通滤波数据。
10.根据权利要求6所述的并行优化方法，其特征在于，第四步中，将当前帧校正图像键入合成时域低通滤波图像获得基于场景校正结果包括：
将当前帧定标校正图像减去合成时域低通滤波图像得到一个高通图像，再加上当前帧的低频图像，得到基于场景非均匀校正图像，完成对图像的基于场景非均匀校正，公式如下所示：
Ri(x,y)＝Mi(x,y)-fi(x,y)+lowi(x,y)
其中，Ri(x,y)是当前第i帧的基于场景非均匀校正结果，lowi(x,y)是当前第i帧的定标校正图像Mi(x,y)的低频信息。
CN201910130008.2A 2019-02-21 2019-02-21 一种基于场景红外图像非线性校正SoC并行优化系统和方法 Active CN109889694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130008.2A CN109889694B (zh) 2019-02-21 2019-02-21 一种基于场景红外图像非线性校正SoC并行优化系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130008.2A CN109889694B (zh) 2019-02-21 2019-02-21 一种基于场景红外图像非线性校正SoC并行优化系统和方法

Publications (2)

Publication Number Publication Date
CN109889694A true CN109889694A (zh) 2019-06-14
CN109889694B CN109889694B (zh) 2021-03-02

Family

ID=66928778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130008.2A Active CN109889694B (zh) 2019-02-21 2019-02-21 一种基于场景红外图像非线性校正SoC并行优化系统和方法

Country Status (1)

Country Link
CN (1) CN109889694B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435158A (zh) * 2020-11-22 2021-03-02 中国航空工业集团公司洛阳电光设备研究所 一种可滤除低频空间噪声的红外图像非均匀校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014191344A1 (en) * 2013-05-28 2014-12-04 Paul Scherrer Institut Terahertz laser system
CN104268870A (zh) * 2014-09-24 2015-01-07 北京津同利华科技有限公司 基于小波变换直方图的短波红外焦平面非均匀性校正算法
CN105005967A (zh) * 2015-05-28 2015-10-28 西安电子科技大学 时空滤波相结合的红外成像非均匀性校正方法及其装置
CN106153198A (zh) * 2015-04-22 2016-11-23 南京理工大学 一种基于时域高通滤波的帧间配准非均匀性校正方法
CN108052427A (zh) * 2017-12-21 2018-05-18 北京遥感设备研究所 一种基于图像加速处理SoC芯片自动化仿真测试方法
CN108665423A (zh) * 2017-12-26 2018-10-16 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014191344A1 (en) * 2013-05-28 2014-12-04 Paul Scherrer Institut Terahertz laser system
CN104268870A (zh) * 2014-09-24 2015-01-07 北京津同利华科技有限公司 基于小波变换直方图的短波红外焦平面非均匀性校正算法
CN106153198A (zh) * 2015-04-22 2016-11-23 南京理工大学 一种基于时域高通滤波的帧间配准非均匀性校正方法
CN105005967A (zh) * 2015-05-28 2015-10-28 西安电子科技大学 时空滤波相结合的红外成像非均匀性校正方法及其装置
CN108052427A (zh) * 2017-12-21 2018-05-18 北京遥感设备研究所 一种基于图像加速处理SoC芯片自动化仿真测试方法
CN108665423A (zh) * 2017-12-26 2018-10-16 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
贺明等: "《一种新的红外焦平面阵列非均匀性代数校正算法》", 《应用光学》 *
贺明等: "《基于多尺度光流的红外焦平面阵列非均匀性校正算法》", 《第三届红外成像系统仿真、测试与评价技术研讨会论文集》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435158A (zh) * 2020-11-22 2021-03-02 中国航空工业集团公司洛阳电光设备研究所 一种可滤除低频空间噪声的红外图像非均匀校正方法

Also Published As

Publication number Publication date
CN109889694B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN109031654B (zh) 一种基于卷积神经网络的自适应光学校正方法及系统
US20030198400A1 (en) Scene-based non-uniformity offset correction for staring arrays
WO2007042853A1 (en) Method and system for vignetting elimination in digital image
US20150009355A1 (en) Motion adaptive cmos imaging system
CN106197690B (zh) 一种宽温范围条件下的图像校准方法及系统
CN105841821A (zh) 基于定标的无挡片的非均匀性校正装置及其方法
CN103076096A (zh) 基于中值直方图均衡的红外非均匀性校正算法
CN105928627A (zh) 一种消除制冷型热像仪画面复现非均匀性的方法
CN114979500A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN109889694A (zh) 一种基于场景红外图像非线性校正SoC并行优化系统和方法
CN106296627B (zh) 一种校正红外成像系统的非均匀性的方法
RU2679547C1 (ru) Способ компенсации геометрического шума матричного фотоприемника
US20220187131A1 (en) Method and system of two-point correction based on temperature substitution
CN105005967A (zh) 时空滤波相结合的红外成像非均匀性校正方法及其装置
CN116055908A (zh) 一种非制冷红外焦平面阵列非均匀性校正方法
CN110567585B (zh) 一种实时红外图像“锅盖效应”抑制方法
RU2817046C1 (ru) Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции
CN110852976B (zh) 一种红外图像明暗不均匀校正方法及计算机程序产品
Zhou et al. Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images
CN111598815A (zh) 一种红外热像仪图像非均匀校正方法及装置
Yi-Cheng et al. On-orbit non-uniformity correction method for infrared remote sensing systems using controllable internal calibration sources
JP4067728B2 (ja) 赤外線検知素子の入出力特性の補正方法
KR102013206B1 (ko) 보정 데이터의 생성 방법 및 이를 이용한 적외선 영상 처리 방법
EP4084464A1 (en) Image processing for on-chip inference
CN111175618B (zh) 一种适用于同时处理红外和局放数据的局部相关性滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190614

Assignee: Tuowei Electronic Technology (Shanghai) Co.,Ltd.

Assignor: BEIJING REMOTE SENSING EQUIPMENT INSTITUTE

Contract record no.: X2022990000982

Denomination of invention: A SoC Parallel Optimization System and Method Based on Scene Infrared Image Nonlinear Correction

Granted publication date: 20210302

License type: Exclusive License

Record date: 20221226

EE01 Entry into force of recordation of patent licensing contract