CN114913096A - 一种特征初始化的非均匀校正方法及其系统 - Google Patents
一种特征初始化的非均匀校正方法及其系统 Download PDFInfo
- Publication number
- CN114913096A CN114913096A CN202210650466.0A CN202210650466A CN114913096A CN 114913096 A CN114913096 A CN 114913096A CN 202210650466 A CN202210650466 A CN 202210650466A CN 114913096 A CN114913096 A CN 114913096A
- Authority
- CN
- China
- Prior art keywords
- correction
- frames
- images
- infrared images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000013519 translation Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005457 Black-body radiation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
本发明涉及机载光电成像，特别涉及一种特征初始化的非均匀校正方法及其系统；本发明通过收集探测数据信息，采用基于图像邻近像元的统计特征的初始化非均匀校正增益系数初值同时进行预处理，得到红外图像的运动像素值，再进行计算得到两帧红外图像间的两维平移关系，再进行判定，判定为有效图像，再根据初始校正增益系数矩阵对有效图像的校正参数进行更新，将校正参数实时输出，得到校正后的图像再输出；本发明可以更加快速、准确地获取校正系数且在校正过程中没有鬼像或尾像。
Description
技术领域
本发明涉及机载光电成像，特别涉及一种特征初始化的非均匀校正方法及其系统。
背景技术
机载光电成像系统包括机载光电吊舱、机载侦察/测绘相机、机载多光谱相机等，其广泛应用于情报搜查、国防监测、变化检测、精确测图和目标探测及预警等多个领域。
航空成像环境相对复杂，机载环境温度、大气辐射等环境参数的变化以及探测器自身非均匀性噪声会影响红外光电系统成像质量，其中，非均匀性噪声表现为明暗不均的图案噪声，会掩盖目标的边缘和细节信息，使图像目标模糊不清，甚至造成目标误判。
非均匀性校正可以分为两大类，分别为基于标定的非均匀性校正方法和基于场景的非均匀性校正；基于标定的非均匀性校正方法主要采用地面标定法，利用标准黑体辐射源在不同温度下对红外焦平面阵列的非均匀性进行标定，计算红外焦平面各探测单元在均匀黑体辐射下的响应输出值与标准探测单元响应输出值，以获得各探测元在特定温度下的校正增益和偏置，使探测器所有像元在同一温度下输出一致，该方法原理简单，计算量小，但机载环境十分复杂，温度、气压的短时间急剧变化使光学系统发生微弱形变，该方法难以满足机载红外探测的高精度要求。然而，基于场景的非均匀性校正为利用场景的统计特性来完成图像的非均匀性校正，但该方法需要目标和红外探测器之间发生相对运动，涉及大量图像数据帧参与运算，校正参数依赖场景信息变化校正精度更好，但计算方法相对复杂，对系统硬件要求较高。
目前专利名称为一种红外焦平面探测器闪元测试装置及测试方法(公开号为CN113049118A)的中国发明专利，公开了采用两点非均匀性校正方法基于黑体辐射源进行单点非均匀校正，但该方法对高动态复杂环境的校正精度有限；专利名称为一种基于改进互功率谱的星上图像配准叠加增强方法及系统(公开号为CN 112686933)的中国发明专利，公开了通过多组图像的配准和低价获得高对比度图像，但计算量大、迭代误差容易累计，限制了方法的推广应用，并且上述方法中没有考虑帧间图像配准过程中增益校正初值对校正效果的影响，校正效果有限。
发明内容
本发明主要解决的技术问题是提供一种特征初始化的非均匀校正方法，通过收集探测数据信息，采用基于图像邻近像元的统计特征的初始化非均匀校正增益系数初值同时进行预处理，得到红外图像的运动像素值，再进行计算得到两帧红外图像间的两维平移关系，再进行判定，判定为有效图像，再根据初始校正增益系数矩阵对有效图像的校正参数进行更新，将校正参数实时输出，得到校正后的图像再输出；还提供了一种特征初始化的非均匀校正系统。
为解决上述技术问题，本发明采用的一个技术方案是：提供了一种特征初始化的非均匀校正方法，其中，包括如下步骤：
步骤一、收集探测数据信息，所述探测数据信息包括红外图像、载机运动信息、探测器曝光时间、温度信息、非均匀校正参数；
步骤二、通过邻近像元一致性完成校正系统的计算，得到一个初始增益校正系数矩阵；同时对收集的两帧红外图像进行预处理，滤除探测器坏点，根据所述载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
步骤三、根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
步骤四、根据两帧红外图像间的两维平移关系，判断两帧红外图像是否为有效图像，如果为无效图像，则返回步骤一，如果为有效图像，则继续下一步骤；
步骤五、根据初始增益校正系数矩阵对有效图像的校正参数进行更新；
步骤六、将校正参数实时输出，得到校正后的图像。
作为本发明的一种改进，在步骤二内，计算初始的增益校正系数矩阵，判断是否有图像边界点，如果有图像边界点，则基于邻近像元一致性对图像边界点采用对称延拓处理计算初始增益校正系数；如果有非图像边界点，则基于邻近像元一致性对非图像边界点直接计算初始增益校正系数，然后将图像边界点和非图像边界点的初始增益校正系数进行合并得到初始增益校正系数矩阵。
作为本发明的进一步改进，在步骤二内，通过掩模处理将探测器非均匀造成产生的响应过滤，得到无坏点的待校正的红外图像。
作为本发明的更进一步改进，在步骤三内，根据两帧红外图像的运动像素值，计算两帧红外图像的归一化互功率谱，从而得到两帧红外图像间的两维平移关系。
作为本发明的更进一步改进，在步骤四内，两帧红外图像之间的互功率谱的最大响应幅值高于其他响应的均值且两帧红外图像的帧间位移处于设定范围内，则判断两帧红外图像能用于非均匀校正参数的计算。
作为本发明的更进一步改进，在步骤四内，分析两帧红外图像的互功率谱数据以及载机运动信息判断两帧红外图像是否能用于非均匀校正参数的计算，如果能用于非均匀校正参数的计算，则判断两帧红外图像为有效图像；如果不能用于非均匀校正参数的计算，则判断两帧红外图像为无效图像。
作为本发明的更进一步改进，在步骤五内，根据初始增益校正系数矩阵，定义和计算误差函数，再通过误差函数最小化，定义校正增益和校正偏置的目标函数，然后对比该目标函数与设定阈值的大小，如果该目标函数小于阈值，则直接进入下一步骤，如果该目标函数大于或等于阈值，则定义自适应学习率，进行更新校正增益和校正偏置，再返回重新定义和计算误差函数。
作为本发明的更进一步改进，在步骤六内，将校正增益和校正偏置输出，得到校正后的图像，再将校正后的图像进行输出。
一种特征初始化的非均匀校正系统，其中，包括：
预存模块，用于收集探测数据信息；
初始化模块，用于通过邻近像元一致性完成校正系统的计算得到初始增益校正系数矩阵；
预处理模块，用于对收集的两帧红外图像进行预处理，滤除探测器坏点，根据载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
配准模块，用于根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
处理模块，用于根据两帧红外图像间的两维平移关系和初始增益校正系数矩阵，进行图像非均匀校正；
输出模块，用于校正参数实时输出，得到校正后的图像再进行输出。
作为本发明的一种改进，所述初始化模块包括中心初始化单元和边界初始化单元，所述中心初始化单元用于计算非图像边界点的初始增益校正系数，所述边界初始化单元用于计算图像边界点的初始增益校正系数。
本发明的有益效果是：与现有技术相比，本发明通过收集探测数据信息，采用基于图像邻近像元的统计特征的初始化非均匀校正增益系数初值同时进行预处理，得到红外图像的运动像素值，再进行计算得到两帧红外图像间的两维平移关系，再进行判定，判定为有效图像，再根据初始校正增益系数矩阵对有效图像的校正参数进行更新，将校正参数实时输出，得到校正后的图像再输出；本发明可以更加快速、准确地获取校正系数且在校正过程中没有鬼像或尾像。
附图说明
图1为本发明的特征初始化的非均匀校正方法的步骤框图；
图2为本发明的特征初始化的非均匀校正系统的结构框图；
图3为本发明的特征初始化的非均匀校正系统的一个实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1至图3，本发明的一种特征初始化的非均匀校正方法，，包括如下步骤：
步骤一、收集探测数据信息，所述探测数据信息包括红外图像、载机运动信息、探测器曝光时间、温度信息、非均匀校正参数；
步骤二、通过邻近像元一致性完成校正系统的计算，得到一个初始增益校正系数矩阵；同时对收集的两帧红外图像进行预处理，滤除探测器坏点，根据所述载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
步骤三、根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
步骤四、根据两帧红外图像间的两维平移关系，判断两帧红外图像是否为有效图像，如果为无效图像，则返回步骤一，如果为有效图像，则继续下一步骤；
步骤五、根据初始增益校正系数矩阵对有效图像的校正参数进行更新；
步骤六、将校正参数实时输出，得到校正后的图像。
本发明通过收集探测数据信息，采用基于图像邻近像元的统计特征的初始化非均匀校正增益系数初值同时进行预处理，得到红外图像的运动像素值，再进行计算得到两帧红外图像间的两维平移关系，再进行判定，判定为有效图像，再根据初始校正增益系数矩阵对有效图像的校正参数进行更新，将校正参数实时输出，得到校正后的图像再输出。
在步骤二内，计算初始的增益校正系数矩阵，判断是否有图像边界点，如果有图像边界点，则基于邻近像元一致性对图像边界点采用对称延拓处理计算初始增益校正系数；如果有非图像边界点，则基于邻近像元一致性对非图像边界点直接计算初始增益校正系数，然后将图像边界点和非图像边界点的初始增益校正系数进行合并得到初始增益校正系数矩阵；具体地讲，基于邻近像元一致性完成校正系数的计算，即假设每个像元的灰度值与其最近的两个像元(水平方向和垂直方向分别选择一个最近像元)灰度值基本一致，可以得到：
其中，Rm(i,j)为第m帧干净图像，gm(i,j)为干净图像与实际图像Im(i,j)之间的增益校正系数，且
Im(i,j)＝gm(i,j)·Rm(i,j)+om(i,j) (2)
其中，om(i,j)表示干净图像与实际图像之间的偏移校正系数。
对于非图像边界点，即对应图像坐标为i∈[2,M]、j∈[2,N]，中心初始化单元定义第m帧图像中像元灰度值与左邻近像元灰度值和上邻近像元灰度值的几何平均值的比值的中值为：
则非图像边界点增益校正系数为：
对于图像边界点，即对应图像坐标为i＝1,j∈[2,N]、j＝1,i∈[2,M]，边界初始化单元采用对称延拓处理对边界点进行处理，定义边界像元灰度值比值为：
则图像边界点增益校正系数为：
因此，初始化校正增益矩阵并且有
和
为校正偏置。
在步骤二内，通过掩模处理将探测器非均匀造成产生的响应过滤，得到无坏点的待校正的红外图像。
在步骤三内，根据两帧红外图像的运动像素值，计算两帧红外图像的归一化互功率谱，从而得到两帧红外图像间的两维平移关系；具体地讲，配准模块的处理对象为两帧存在一定平移且旋转和缩放可忽略的待校正图像，设实际图像为Yn(i,j)，n表示帧数，则间隔k帧的两帧图像之间的平移关系为：
In(i,j)＝In-k(i-i0,j-j0) (7)
其中，(i0,j0)表示场景内获取两帧图像之间存在平移坐标。
根据基于傅里叶变换的位移定理，计算待校正的两帧图像的归一化互功率谱为：
其中，
表示图像In(i,j)的傅里叶变换，
表示In-k(i,j)的傅里叶变换的共轭，则两帧之间的相对位移为：
在步骤四内，两帧红外图像之间的互功率谱的最大响应幅值高于其他响应的均值且两帧红外图像的帧间位移处于设定范围内，则判断两帧红外图像能用于非均匀校正参数的计算；分析两帧红外图像的互功率谱数据以及载机运动信息判断两帧红外图像是否能用于非均匀校正参数的计算，如果能用于非均匀校正参数的计算，则判断两帧红外图像为有效图像；如果不能用于非均匀校正参数的计算，则判断两帧红外图像为无效图像。
在步骤五内，根据初始增益校正系数矩阵，定义和计算误差函数，再通过误差函数最小化，定义校正增益和校正偏置的目标函数，然后对比该目标函数与设定阈值的大小，如果该目标函数小于阈值，则直接进入下一步骤，如果该目标函数大于或等于阈值，则定义自适应学习率，进行更新校正增益和校正偏置，再返回重新定义和计算误差函数。
在步骤六内，将校正增益和校正偏置输出，得到校正后的图像，再将校正后的图像进行输出。
具体地讲，分析两帧配准图像的互功率谱数据以及载机运动信息判断两帧图像是否可以用于非均匀校正参数的计算,一方面分析两帧图像之间的互功率谱的最大响应幅值是否显著高于其他响应的均值，另一方面根据载机运动速度和探测器曝光时间估计待处理的两帧图像的位移对应的像素值vx和vy，判断通过互功率谱计算的帧间位移与其是否在范围内，只有满足上述两个条件的图片才可以进行进一步的非均匀校正。
其中，k表示要求的显著程度，可根据不同的场景进行调整；xJ和yJ为位移判断阈值，根据载机惯性姿态测量传感器误差和计算误差综合设定。
对有效待校正图像的校正参数进行更新，定义误差函数：
其中，
表示由前一帧图像估计的当前帧图像，是由计算前一帧估计图像
的傅里叶变换
根据两帧间的位移关系计算出当前帧的傅里叶谱
再进行傅里叶逆变换得到下一帧图像的初始系数估计，
为估计校正后的图像：
其中，wn(i,j)为校正增益，bn(i,j)为校正偏置。
为了使整体误差最小化，定义校正增益和校正偏置的目标函数：
校正增益和校正偏置的迭代更新过程为根据整体误差自适应变化的过程：
其中，a为自适应学习率，定义为：
a(i,j)＝gt1 tanh(gt2en-1(i,j)) (16)
其中，gt1和gt2调整增益常值，tanh是非线性激活函数，可以看出误差函数越大，a(i,j)越大，收敛速度越快。
而且，误差函数趋近于0时，a(i,j)趋近于0，校正增益和校正偏置趋于常数，自适应学习率能够使校正增益和校正偏置更迅速的收敛到真值，由此可以得到非均匀校正后的图像为：
Rn(i,j)＝wn(i,j)·In(i,j)+bn(i,j) (17)
本发明提供一种特征初始化的非均匀校正系统，包括：
预存模块，用于收集探测数据信息；
初始化模块，用于通过邻近像元一致性完成校正系统的计算得到初始增益校正系数矩阵；
预处理模块，用于对收集的两帧红外图像进行预处理，滤除探测器坏点，根据载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
配准模块，用于根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
处理模块，用于根据两帧红外图像间的两维平移关系和初始增益校正系数矩阵，进行图像非均匀校正；
输出模块，用于校正参数实时输出，得到校正后的图像再进行输出。
其中，初始化模块包括中心初始化单元和边界初始化单元，中心初始化单元用于计算非图像边界点的初始增益校正系数，边界初始化单元用于计算图像边界点的初始增益校正系数。
本发明提供一个实施例，该实施例包括：
预存模块，其通过图像输入接口接收并存储红外探测器获得的红外图像，通过与传感器连接的通信接口接收惯性姿态测量传感器检测的载机在惯性空间的运动信息，通过通信接口接收两幅红外图像之间的帧差、探测器曝光时间、温度信息存储非均匀校正所需的参数以及基于标定的非均匀性校正方法得到的在不同温度下大于一定调整阈值的探测元校正增益和偏置；
预处理模块，用于对原始图像进行预处理，其作用为滤除探测器坏点影响，并根据载机运动速度、探测器曝光时间和待处理两帧图片之间相差的帧数估计待处理的两帧图像的位移对应的像素值和；
初始化模块，用于计算初始的增益校正系数矩阵；
配准模块，用于帧间图像配准；
处理模块，用于对获得的红外图像进行非均匀性校正；
输出模块，通过通信接口将校正后的图像进行输出。
具体地讲，该实施例采用高速DSP+FPGA的硬件设计方案，利用高性能DSP芯片进行图像数据的处理，配合FPGA进行高度并行数据的处理，满足机载非均匀校性校正的实时处理要求；预存模块、预处理模块、初始化模块和输出模块集成在XILINX公司的XC4VFX60-FF1152型号的FPGA芯片中，该芯片内部有4M bit RAM，56 880个逻辑门和128个XtremeDSP模块，足够进行大量高速数据处理，特别是片上18KRAM模块工作在500MHz，支持真正的双端口读写同步操作，为该芯片作为芯片间高速数据交互提供了资源；而配准模块、处理模块集成在另一个嵌入式芯片TMS320C6455中，其主频可达1.2GHz，包括基于新的增强型C64x+DSP内核，能够高速处理能力包含傅里叶变换、图像互功率谱计算的大量图像处理。
在该实施例中，预存模块包括图像接口和数据接口，图像接口通过采样率最高125M的高性能16位模拟转换芯片AD9268BCPZ-125实现图像数据的传输，数据接口通过最高支持10Mbps波特率、采用RS-422传输协议的MAX3490芯片，完成高速差分双向信息传输。
在该实施例中，预处理模块与配准模块、处理模块与输出模块通过TMS320C6455的外部存储器接口(External Memory Interface，简称EMIF)与FPGA上相连，并进行高速数据传输；FPGA内部的EMIF&FIFO接口模块用于转换DSP的EMIF信号，将数据转移至接收FIFO，当接收满一帧数据后，FPGA的计算内核开始从该接收FIFO获取数据并处理，然后将处理完的数据写到发送FIFO，发送FIFO数据满时，启动DMA中断将数据传送到DSP片内Cache，由于该EMIF-A是工作在133MHz的32bit总线，峰值数据率可达532MB/s。
在该实施例中，预处理模块与预存模块连接，获得待校正的多帧图像后，通过掩模处理将探测器非均匀造成产生的响应过滤，得到无坏点的待校正图像，并分别输出给配准和初始化模块。
在该实施例中，初始化模块，通过邻近像元一致性的统计方法遍历图像得到一个初始的增益校正系数矩阵，初始化模块包括中心初始化单元和边界初始化单元，中心初始化单元用于计算非图像边界点的初始增益校正系数，边界初始化单元用于计算图像边界点的初始增益校正系数，中心初始化单元和边界初始化单元计算得到的初始增益校正系数组成完整的初始增益校正矩阵。
在该实施例中，配准模块用于计算两帧待校正图像的互功能谱，求出互相关函数，确定配准位移；处理模块接收初始化模块计算的初始增益校正系数矩阵，根据配准图像数据及预存参数完成图像非均匀校正，处理模块分为判断单元、更新单元和校正单元，判断单元用于并判断待校正图像是否为有效图像，更新单元用于通过误差函数最小化来实现校正参数的更新，校正单元用于根据校正参数对图像序列进行非均匀校正；输出模块与处理模块的处理单元相连，用于将校正后的图像输出。
本发明通过采用FGPA(XC4VFX60-FF1152)+DSP(TMS320C6455)+AD(AD9268BCPZ-125)的硬件方案实现机载环境高速实时非均匀校正，同时采用了基于图像邻近像元的统计特征的初始化非均匀校正增益系数初值，并提出自适应非均匀校正方法，设计了能够根据非均匀校正误差函数自适应调整的学习率，可以更加快速、准确的获取校正系数，且在校正过程中没有鬼像或尾像。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种特征初始化的非均匀校正方法，其特征在于，包括如下步骤：
步骤一、收集探测数据信息，所述探测数据信息包括红外图像、载机运动信息、探测器曝光时间、温度信息、非均匀校正参数；
步骤二、通过邻近像元一致性完成校正系统的计算，得到一个初始增益校正系数矩阵；同时对收集的两帧红外图像进行预处理，滤除探测器坏点，根据所述载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
步骤三、根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
步骤四、根据两帧红外图像间的两维平移关系，判断两帧红外图像是否为有效图像，如果为无效图像，则返回步骤一，如果为有效图像，则继续下一步骤；
步骤五、根据初始增益校正系数矩阵对有效图像的校正参数进行更新；
步骤六、将校正参数实时输出，得到校正后的图像。
2.根据权利要求1所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤二内，计算初始的增益校正系数矩阵，判断是否有图像边界点，如果有图像边界点，则基于邻近像元一致性对图像边界点采用对称延拓处理计算初始增益校正系数；如果有非图像边界点，则基于邻近像元一致性对非图像边界点直接计算初始增益校正系数，然后将图像边界点和非图像边界点的初始增益校正系数进行合并得到初始增益校正系数矩阵。
3.根据权利要求2所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤二内，通过掩模处理将探测器非均匀造成产生的响应过滤，得到无坏点的待校正的红外图像。
4.根据权利要求3所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤三内，根据两帧红外图像的运动像素值，计算两帧红外图像的归一化互功率谱，从而得到两帧红外图像间的两维平移关系。
5.根据权利要求4所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤四内，两帧红外图像之间的互功率谱的最大响应幅值高于其他响应的均值且两帧红外图像的帧间位移处于设定范围内，则判断两帧红外图像能用于非均匀校正参数的计算。
6.根据权利要求5所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤四内，分析两帧红外图像的互功率谱数据以及载机运动信息判断两帧红外图像是否能用于非均匀校正参数的计算，如果能用于非均匀校正参数的计算，则判断两帧红外图像为有效图像；如果不能用于非均匀校正参数的计算，则判断两帧红外图像为无效图像。
7.根据权利要求6所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤五内，根据初始增益校正系数矩阵，定义和计算误差函数，再通过误差函数最小化，定义校正增益和校正偏置的目标函数，然后对比该目标函数与设定阈值的大小，如果该目标函数小于阈值，则直接进入下一步骤，如果该目标函数大于或等于阈值，则定义自适应学习率，进行更新校正增益和校正偏置，再返回重新定义和计算误差函数。
8.根据权利要求7所述的一种特征初始化的非均匀校正方法，其特征在于，在步骤六内，将校正增益和校正偏置输出，得到校正后的图像，再将校正后的图像进行输出。
9.一种特征初始化的非均匀校正系统，其特征在于，包括：
预存模块，用于收集探测数据信息；
初始化模块，用于通过邻近像元一致性完成校正系统的计算得到初始增益校正系数矩阵；
预处理模块，用于对收集的两帧红外图像进行预处理，滤除探测器坏点，根据载机运动信息、探测器曝光时间及两帧红外图像之间的帧差预估出两帧红外图像的运动像素值；
配准模块，用于根据两帧红外图像的运动像素值，得到两帧红外图像间的两维平移关系；
处理模块，用于根据两帧红外图像间的两维平移关系和初始增益校正系数矩阵，进行图像非均匀校正；
输出模块，用于校正参数实时输出，得到校正后的图像再进行输出。
10.根据权利要求9所述的一种特征初始化的非均匀校正系统，其特征在于，所述初始化模块包括中心初始化单元和边界初始化单元，所述中心初始化单元用于计算非图像边界点的初始增益校正系数，所述边界初始化单元用于计算图像边界点的初始增益校正系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210650466.0A CN114913096B (zh) | 2022-06-10 | 一种特征初始化的非均匀校正方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210650466.0A CN114913096B (zh) | 2022-06-10 | 一种特征初始化的非均匀校正方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913096A true CN114913096A (zh) | 2022-08-16 |
| CN114913096B CN114913096B (zh) | 2024-04-23 |
Family
ID=
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012047425A1 (en) * | 2010-09-30 | 2012-04-12 | 1/3Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
| CN102538973A (zh) * | 2011-12-31 | 2012-07-04 | 南京理工大学 | 一种快速收敛的基于场景非均匀性校正方法 |
| CN102968765A (zh) * | 2012-11-13 | 2013-03-13 | 华中科技大学 | 一种基于sigma滤波器的红外焦平面非均匀性校正方法 |
| CN103076096A (zh) * | 2013-01-07 | 2013-05-01 | 南京理工大学 | 基于中值直方图均衡的红外非均匀性校正算法 |
| CN103875235A (zh) * | 2011-06-10 | 2014-06-18 | 菲力尔系统公司 | 用于红外成像装置的非均匀性校正技术 |
| CN104599261A (zh) * | 2014-11-19 | 2015-05-06 | 北京泰和云信科技有限公司 | 短波红外焦平面的均值直方图神经网络非均匀性校正算法 |
| CN105333960A (zh) * | 2015-11-23 | 2016-02-17 | 中国科学院长春光学精密机械与物理研究所 | 红外焦平面探测器非均匀性校正和盲元替换方法及装置 |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| CN105957034A (zh) * | 2016-04-28 | 2016-09-21 | 武汉大学 | 基于配准的扫描型红外成像系统场景非均匀性校正方法 |
| CN106373094A (zh) * | 2016-08-25 | 2017-02-01 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像的非均匀性校正方法及装置 |
| CN106886983A (zh) * | 2017-03-01 | 2017-06-23 | 中国科学院长春光学精密机械与物理研究所 | 基于Laplace算子和反卷积的图像非均匀性校正方法 |
| CN107271046A (zh) * | 2017-06-12 | 2017-10-20 | 中国科学院长春光学精密机械与物理研究所 | 一种基于局部统计相关性的非均匀性校正方法及装置 |
| CN108053382A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种视觉特性去雾稳像探测系统 |
| US20180176529A1 (en) * | 2005-08-31 | 2018-06-21 | Rah Color Technologies Llc | Color calibration of color image rendering devices |
| CN111507915A (zh) * | 2020-04-13 | 2020-08-07 | 烟台艾睿光电科技有限公司 | 基于模糊配准的实时红外非均匀性校正方法、设备及介质 |
| CN113902625A (zh) * | 2021-08-19 | 2022-01-07 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像增强方法 |
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180176529A1 (en) * | 2005-08-31 | 2018-06-21 | Rah Color Technologies Llc | Color calibration of color image rendering devices |
| WO2012047425A1 (en) * | 2010-09-30 | 2012-04-12 | 1/3Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
| CN103875235A (zh) * | 2011-06-10 | 2014-06-18 | 菲力尔系统公司 | 用于红外成像装置的非均匀性校正技术 |
| CN102538973A (zh) * | 2011-12-31 | 2012-07-04 | 南京理工大学 | 一种快速收敛的基于场景非均匀性校正方法 |
| CN102968765A (zh) * | 2012-11-13 | 2013-03-13 | 华中科技大学 | 一种基于sigma滤波器的红外焦平面非均匀性校正方法 |
| CN103076096A (zh) * | 2013-01-07 | 2013-05-01 | 南京理工大学 | 基于中值直方图均衡的红外非均匀性校正算法 |
| CN104599261A (zh) * | 2014-11-19 | 2015-05-06 | 北京泰和云信科技有限公司 | 短波红外焦平面的均值直方图神经网络非均匀性校正算法 |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| CN105333960A (zh) * | 2015-11-23 | 2016-02-17 | 中国科学院长春光学精密机械与物理研究所 | 红外焦平面探测器非均匀性校正和盲元替换方法及装置 |
| CN105957034A (zh) * | 2016-04-28 | 2016-09-21 | 武汉大学 | 基于配准的扫描型红外成像系统场景非均匀性校正方法 |
| CN106373094A (zh) * | 2016-08-25 | 2017-02-01 | 中国科学院长春光学精密机械与物理研究所 | 一种红外图像的非均匀性校正方法及装置 |
| CN106886983A (zh) * | 2017-03-01 | 2017-06-23 | 中国科学院长春光学精密机械与物理研究所 | 基于Laplace算子和反卷积的图像非均匀性校正方法 |
| CN107271046A (zh) * | 2017-06-12 | 2017-10-20 | 中国科学院长春光学精密机械与物理研究所 | 一种基于局部统计相关性的非均匀性校正方法及装置 |
| CN108053382A (zh) * | 2017-12-25 | 2018-05-18 | 北京航空航天大学 | 一种视觉特性去雾稳像探测系统 |
| CN111507915A (zh) * | 2020-04-13 | 2020-08-07 | 烟台艾睿光电科技有限公司 | 基于模糊配准的实时红外非均匀性校正方法、设备及介质 |
| CN113902625A (zh) * | 2021-08-19 | 2022-01-07 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像增强方法 |
Non-Patent Citations (8)
| Title |
|---|
| BAOLIN LV 等: "Statistical Scene-Based Non-Uniformity Correction Method with Interframe Registration", 《SENSORS》, vol. 19, no. 24, pages 1 - 12 * |
| DABIAO ZHOU 等: "Scene-based nonuniformity correction for airborne point target detection systems", 《OPT EXPRESS》, vol. 25, no. 13, pages 1 - 17 * |
| SHUAI DING 等: "A Median-Ratio Scene-Based Non-Uniformity Correction Method for Airborne Infrared Point Target Detection System", 《SENSORS》, vol. 20, no. 11, pages 1 - 17 * |
| 刘亚梅: "基于相邻像素统计一致性的非均匀性校正方法", 《光子学报》, vol. 47, no. 07, pages 36 - 44 * |
| 刘让 等: "基于梯度天空背景的非均匀性校正和点目标探测", 《吉林大学学报(工学版)》, vol. 47, no. 05, 15 September 2017 (2017-09-15), pages 1625 - 1633 * |
| 吕宝林 等: "基于配准的机载红外非均匀性校正技术应用", 《中国光学》, vol. 13, no. 05, pages 1124 - 1137 * |
| 周达标 等: "基于梯度场景的非均匀校正方法", 《光学学报》, vol. 37, no. 05, 16 February 2017 (2017-02-16), pages 346 - 355 * |
| 胡彬林: "高光谱成像仪中的Etalon效应研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 2019, pages 031 - 12 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI685798B (zh) | 目標檢測系統、自動駕駛車輛以及其目標檢測方法 | |
| CN107409205B (zh) | 用于焦距调节和深度图确定的装置和方法 | |
| CN103115631B (zh) | 遥感相机成像参数误差校正系统及方法 | |
| Young et al. | Signal processing and performance analysis for imaging systems | |
| CN107093196B (zh) | 视频卫星面阵相机在轨相对辐射定标方法 | |
| CN107341780A (zh) | 一种红外图像预处理校正方法 | |
| CN112393807B (zh) | 红外图像处理方法、装置、系统以及计算机可读存储介质 | |
| JP3342588B2 (ja) | 不鮮明ビデオラインの補正方法およびカメライメージャ | |
| CN104299231B (zh) | 多传感器实时图像配准方法和系统 | |
| CN110988974A (zh) | 曲面辐射源的pet探测器飞行时间的校准系统 | |
| CN114913096B (zh) | 一种特征初始化的非均匀校正方法及其系统 | |
| CN114913096A (zh) | 一种特征初始化的非均匀校正方法及其系统 | |
| Lee et al. | Dual-branch structured de-striping convolution network using parametric noise model | |
| Cao et al. | Vignetting correction based on a two-dimensional Gaussian filter with harmony for area array sensors | |
| CN115060377B (zh) | 一种机载自适应非均匀性校正方法及其系统 | |
| CN110231625B (zh) | 一种基于多尺度融合的综合孔径成像方法 | |
| WO2021134642A1 (zh) | 图像处理方法、装置及存储介质 | |
| CN115388891A (zh) | 一种大视场运动目标的空间定位方法及系统 | |
| CN114494039A (zh) | 一种水下高光谱推扫图像几何校正的方法 | |
| CN111076815B (zh) | 一种高光谱图像非均匀性校正方法 | |
| CN110501709B (zh) | 目标检测系统、自主车辆以及其目标检测方法 | |
| CN111983710A (zh) | 一种用于扫描型红外搜索系统的非均匀性校正方法 | |
| Zhou et al. | Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images | |
| CN112396687A (zh) | 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法 | |
| CN103229497B (zh) | 用于估计图像检测装置的纱窗效应的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |