CN114187198A - 一种基于模糊矩阵的图像去条纹方法 - Google Patents

Abstract

本发明公开了一种基于模糊矩阵的图像去条纹方法，包括如下步骤：采集待处理图像I_ref(M,N)，并进行下采样；通过各向异性高斯滤波核，对下采样的原始图像进行卷积得到模糊图像；原始下采样图像I_ref(M₁,N)与模糊图像I_mod(M₁,N)相减，构建条纹特征图像I_gas(M₁,N)；对每个像素是否需要处理进行判断，获得真值矩阵；对条纹特征图像I_gas(M₁,N)进行统计处理，获得条纹噪声特征向量；利用特征向量，对I_ref(M,N)进行映射相减操作，得到最终的重构图像。本发明提出的基于模糊矩阵的图像去条纹方法，不仅考虑了目标噪声的结构特点，而且用资源消耗较少的方式考虑相机采样导致的条纹不连续情况。

Description

一种基于模糊矩阵的图像去条纹方法

技术领域

本发明涉及一种图像去条纹方法。

背景技术

当前，各类摄像系统如短波红外成像、遥感成像以及部分可见光监控极易受到固定模式噪声的影响，主要表现为行或列的随机条纹噪声。这类噪声主要是由于读出电路在工艺等因素引起。同时，受到时间、环境因素等的影响，条纹噪声会以一定规律变化，导致图像质量的持续下降，对后续智能检测以及机器学习等应用造成相当大的影响。条纹噪声一般在模拟信号时就会做相关的电路处理，但模拟电路的复杂性以及不确定性导致了这种处理并不能达到理想效果。因此，基于数字信号的条纹噪声去除是必要的，这有助于高清视频监控、深度学习识别等领域的应用。

当前算法主要分为二类，第一类是基于环境校正的方法，这类方法主要依据温度场为原理，通过恒定温度场下的黑体作为参考，接着采用相关方法的来校正图像；或者利用温度场改变来模拟现实场景下的温度变化，用不同温度场下图像受影响程度进行处理。典型算法有姬弘桢等人提出的基于多帧图像的FFT匹配方法，这类方法原理简单，有一定的效果。但由于使用了多个参考，在背景变化剧烈的情况下容易产生鬼影。第二类方法则是基于特征分析的方法，这类方法分析了条纹噪声的特征，接着在空间域以及频域采用迭代或多次分解的方式拆解噪声，以达到去噪目的。这种算法的典型有Beat等人提出的结合小波变换和傅里叶变换的去条纹方法，以及Roshan等人提出的基于小波分析和傅立叶频谱归一化分析方法。这类算法对于各种尺寸的条纹噪声都有较好的去除效果，但无法区分复杂背景和条纹，导致最后的效果并不是很好。

发明内容

本发明要解决的技术问题是：为解决当前条纹去除方法运算的硬件成本高，以及无法自适应环境变化，导致了在航天航空、安防监控等资源有限的平台上难以实现实时应用的问题，本发明提出一种基于模糊矩阵的图像去条纹方法，不仅考虑了目标噪声的结构特点，而且用资源消耗较少的方式考虑相机采样导致的条纹不连续情况。本发明的方法能够在室内、夜间等常见的监控背景中快速实现条纹的精准去除，对于光照不均匀、昏暗、背景复杂等环境具有自适应能力。

本发明所采用的技术方案是：一种基于模糊矩阵的图像去条纹方法，包括如下步骤：

步骤1、通过相机采集待处理图像I_ref(M，N)，并对图像进行按行的下2采样得到新的待处理图像I_ref(M₁,N)；其中，M、N分别代表待处理图像像素的高度和宽度；M₁＝M/2；

步骤2、通过各向异性高斯滤波核，对下采样的原始图像I_ref(M₁,N)进行卷积得到模糊图像I_mod(M₁,N)；

步骤3、将原始下采样图像I_ref(M₁,N)与模糊图像I_mod(M₁,N)相减，构建条纹特征图像I_gas(M₁,N)；

步骤4、对图像I_ref(M,N)的每个像素是否需要处理进行判断，获得真值矩阵T_one(M₁,N)；

步骤5、对条纹特征图像I_gas(M₁,N)进行统计处理，获得条纹噪声特征向量；

步骤6、利用步骤5中得到的条纹特征向量，对待处理图像I_ref(M,N)进行映射相减操作，得到最终的重构图像。

步骤2中，对图像的所有像素进行卷积核大小为5*17的各向异性高斯处理，得到与原始待处理图像大小一致的模糊图像I_mod(M₁,N)。

步骤4包括步骤如下：

步骤4.1、构建全1矩阵T_one(M₁,N)；

步骤4.2、获取条纹特征图像I_gas(M₁,N)中小于等于1的像素位置，使矩阵T_one(M₁,N)对应像素点的值设置为0；

步骤4.3、获取原始下采样图像I_ref(M₁,N)中像素大小大于252且左右邻域均大于252的像素位置，使矩阵T_one(M₁,N)对应像素点的值设置为0。

步骤5包括步骤如下：

步骤5.1、构建全零计数向量Count(1,N)，在I_gas(M₁,N)的每一列t上运用大小为3*1的全零卷积核进行卷积，其中，t＝1,2,3,…,N；

步骤5.1中，当I_gas(M₁,t)的值与卷积核的值完全相等时，在对应列的一维向量Count(1,t)中加2，进行累加操作，得到处理后的计数向量Count(1,N)；

Count(1，t)表示初始值为0的向量Count(1,N)的某一位。

步骤5.2、对条纹特征图像I_gas(M₁,N)计算三个宽度为N的一维向量集S₁、S₂、S₃；

一维向量集S₁的计算方法为：对条纹特征图像进行按列求中值；

一维向量集S₂的计算方法为：对条纹特征图像先进行按列求核函数为5*1的中值滤波，再对滤波结果进行按列求均值；

一维向量集S₃的计算方法为：对条纹特征图像进行硬阈值分割求加权均值；

步骤5.3、当Count(1,t)的值大于M/6时，将一维向量集S₁、S₂、S₃构成一个3×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量；当Count(1,t)的值≤M/6时，将一维向量集S₁、S₂构成一个2×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量。

步骤6包括步骤如下：

步骤6.1、将T_one(M₁,N)的每一行的值复制并插入下一行之前，得到完整映射T_one(M,N)；

步骤6.2、将步骤5中得到的噪声特征向量与T_one(M,N)的每一行进行点乘，得到最终条纹特征图T_str(M,N)；

步骤6.3、将原始待处理图像I_ref(M,N)与T_str(M,N)相减，得到处理后的图像。

本发明与现有技术相比的优点在于：

(1)本发明提出的基于模糊矩阵的图像去条纹方法，首先针对条纹具有方向性的特点，指定了滤波核在各个方向的不同权值，以尽可能多的识别条纹噪声；其次是对特征图像进行了统计中值以及均值处理，消除了条纹噪声与图像边缘混杂情况下的误匹配。

(2)本发明保持边缘的去除条纹，本发明研究了边缘与条纹重合时的统计特征，通过方案消除这种影响，以获得更加匹配的数值。

(3)本发明的方法需要更少的计算量。为了减少计算复杂度，本发明在不影响精度的前提下，通过下采样减少存储和计算消耗，获取去噪结果。

(4)本发明的方法具有更快的计算速度。本方案的全部算法都在同一图像域下进行的，这样处理对计算资源的依赖较小，且由于不涉及变换域，可以获得比一般算法更快的计算速度。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图对本发明进行进一步说明。

如图1所示，本发明提出的基于模糊矩阵的图像去条纹算法所包含的步骤为：

步骤1、采集待处理图像I_ref(M,N)，并进行下采样；

通过相机采集到待处理图像I_ref(M，N)，其中(M，N)代表待处理图像像素的高度和宽度。接着对图像进行按行的下2采样得到新的待处理图像I_ref(M₁，N)，采样处理图像获取如下：

I_ref(t，N)＝I_ref(2t-1，N)；

式中t代表当前图像所在行数，数值从1，2，3，...M/2。

步骤2、通过各向异性高斯滤波核，对下采样的原始图像进行卷积得到模糊图像。

各向异性高斯滤波是从高斯滤波发展而来的一种方法，传统高斯滤波一般只设置高斯核的大小以及标准差两个参数，属于各项同性的方法，对各个方向均采用同样的处理方式。而在本发明所需要解决的问题中，条纹噪声存在很明显的方向性，用各向异性的方法可以很好的保留其他方向上的信息，算子公式如下：

其中(m，n)代表输入图像的坐标，(σ_m，σ_n)表示对应方向上的标准差，exp代表以自然常数e为底的指数函数，将该算子应用到图像上，公式如下：

I_mod(m，n)＝∫_ΩG(m-x，n-y，σ_m，σ_n)I_ref(x，y)dxdy，

其中(x，y)表示当前像素的坐标，I_mod(m，n)为处理后的模糊矩阵，I_ref(x，y)代表输入的原始图像。

步骤3、原始下采样图像I_ref(M₁，N)与模糊图像I_mod(M₁，N)相减，构建条纹特征图像I_gas(M₁，N)，公式如下。

I_gas(m，n)＝I_ref(m，n)-I_mod(m，n)，

其中(m，n)的大小分别为从1到原始图像高度M₁和原始图像宽度N。

步骤4、对每个像素是否需要处理进行判断，获得真值矩阵，包括：

步骤4.1、构建全1矩阵T_one(M₁，N)。

步骤4.2、获取条纹特征图像I_gas(M₁，N)中小于等于1的像素位置，使T_one(M₁，N)对应像素点的值设置为0，可由下式获得：

其中(m，n)的大小分别为从1到原始图像高度M₁和原始图像宽度N。

步骤4.3、获取原始下采样图像I_ref(M₁，N)中像素大小大于252，且左右邻域均大于252的像素位置，使T_one(M₁，N)对应像素点的值设置为0，如下式所示：

其中(m，n)的大小分别为从1到原始图像高度M₁和原始图像宽度N，&代表与操作，只有所有变量都满足时，才进行该操作。

步骤5、对条纹特征图像I_gas(M₁，N)进行统计处理，获得条纹噪声特征向量，包括：

步骤5.1、构建全零计数向量Count(1，N)，接着在I_gas(M₁，N)的每一列t上运用大小为3*1的全零卷积核进行卷积，其中t＝1...N。

当I_gas(M₁，t)的值与卷积核的值完全相等时，在对应列的一维向量Count(1，t)中加2，进行累加操作，最终得到处理后的计数向量Count(1，N)，Count(1，t)也可由如下公式获得：

式中Count(1，t)表示初始值为0的向量Count(1，N)的某一位。

步骤5.2、对条纹特征图像I_gas(M₁，N)计算三个宽度为N的一维向量集S₁、S₂、S₃；

一维向量集S₁的计算方法为：按列求中值得到S₁，具体流程包括：首先将各列的值按大小进行排序，排序结果为：

I_mid(1，t)＜I_mid(2，t)＜…＜I_mid(M₁，t)，

其中，I_mid表示I_gas经过中值排序的结果。接下来，S₁可由下式获得：

一维向量集S₂的计算方法为：计算核函数大小为5*1中值滤波结果I_mids(M₁，N)：

其中i和j代表当前的像素位置，i＝1，2，3，...，M₁；j＝1，2，3，...，N，w_k代表中值卷积算子：当前值为中值时，权值为1，否则权值为0。

接着，用S₁的计算方法对I_mids(M，N)进行处理，得到S₂，即：首先将各列的值按大小进行排序，排序结果为：

I_res(1，t)＜I_res(2，t)＜…＜I_res(M，t)，

其中，I_res表示I_mids经过中值排序的结果。接下来，S₂可由下式获得：

一维向量集S₃的计算方法为：使用硬阈值分割求加权均值，将步骤5.1得到的Count(1，N)引入，对于统计量在M/6以上值，设计一个向量S₃将这区间的值用如下公式计算：

式中，mean()表示对整个向量求均值。

步骤5.3、当Count(1，t)的值大于M/6时，将一维向量集S₁、S₂、S₃构成一个3×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量；当Count(1，t)的值≤M/6时，将一维向量集S₁、S₂构成一个2×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量。

步骤6、利用步骤5中得到的条纹特征向量，对I_ref(M，N)进行映射相减操作，得到最终的重构图像，包括：

步骤6.1、将T_one(M₁，N)每一行的值复制并插入下一行之前，得到完整映射为T_one(M，N)，也可由如下矩阵表示：

步骤6.2、噪声特征向量与T_one(M，N)的相应行进行点乘，得到最终条纹特征图T_str(M，N)。

步骤6.3、原始待处理图像I_ref(M，N)与T_str(M，N)相减，即可得到处理后的图像。

实施例：

输入一张长和宽分别为460像素、960像素的图像，构成待采集图像I_ref(460，960)，下采样后获得待处理图像I_ref(230，960)。

使用大小为5*17的各向异性高斯滤波矩阵对I_ref(230，960)的所有像素点进行卷积，获得与原始待处理图像大小一致的模糊图像I_mod(230，960)。

原始下采样图像I_ref(230，960)与模糊图像I_mod(230，960)相减，构建条纹特征图像I_gas(230，960)。

对每个像素是否需要处理进行判断，获得真值矩阵。首先构建全1矩阵T_one(230，960)，接着获取条纹特征图像I_gas(230，960)中小于等于1的像素位置，使T_one(M₁，N)对应像素点的值设置为0。以I_gas的第一个像素点I_gas(1，1)为例，设I_gas(1，1)＝15，由于15＞1，则T_one(1，1)＝0。对T_one的所有点执行此操作。

获取原始下采样图像I_ref(230，960)中像素大小大于252，且左右邻域均大于252的像素位置，使T_one(230，960)对应像素点的值设置为0。以I_ref(1，2)为例，设I_ref(1，2)＝254、I_ref(1，1)＝255、I_ref(1，3)＝18，由于不满足I_ref(1，1)&I_ref(1，2)&I_ref(1，3)≥252这一条件，则T_one(1，1)＝1。对T_one的所有点执行此操作。

对条纹特征图像I_gas(230，960)进行统计处理，获得条纹噪声特征向量。首先构建全零计数向量Count(1，960)接着在I_gas(230，960)的每一列t上运用大小为3*1的全零卷积核进行卷积。当I_gas相对应的值与卷积核的值完全相等时，在对应列的一维向量Count(1，t)中加2，进行累加操作，最终得到处理后的计数向量Count(1，960)。以I_gas(3，2)为例，设I_gas(2，2)＝0、I_gas(3，2)＝0、I_gas(4，2)＝0，由于满足I_gas(2，2)&I_gas(3，2)&I_gas(4，2)＝0这一条件，则Count(1，2)＝Count(1，2)+2。对I_gas所有像素重复执行此操作，获得完整的Count(1，960)。

对条纹特征图像I_gas(230，960)计算三个宽度为960的一维向量集S₁、S₂、S₃：

一维向量集S₁的计算方法为：按列求中值得到S₁，具体流程包括：首先将各列的值按大小进行排序，接着提取中值作为S₁的结果。以I_gas(230，3)为例，I_gas(230，3)一共有230个值，假设从1到230的值为：23，22，110，121......15，21，70，则首先对这些值进行从小到大的排序，获得一个序列如：1，2，3，4......228，229，230，接着使该序列的第115位和116位相加后除以2，结果就是S₁(1，3)的值。对I_gas所有列执行此操作，获得完整的S₁(1，960)。

一维向量集S₂的计算方法为：计算核函数大小为5*1中值滤波结果I_mids(230，960)。以I_mids(5，4)为例，设I_gas(3，4)＝12、I_gas(4，4)＝15、I_gas(5，4)＝21、I_gas(6，4)＝100、I_gas(7，4)＝0，中值为15，则使I_mids(5，4)＝15。对I_mids的所有像素进行此操作，获得完整的I_mids(230，960)。接下来，使用S₁的计算方法对I_mids(M，N)进行处理，获得完整的S₂(1，960)。

一维向量集S₃的计算方法为：使用硬阈值分割求加权均值，将步骤5.1得到的Count(1，960)引入，对于统计量在960/6以上值，设计一个向量S₃将这区间的值保留。以I_gas(230，7)为例，I_gas(230，7)一共有230个值，假设从1到230的值为：0，0，1，0......100，0，0，对应的Count(1，7)＝215。由于215＞960/6，则

对I_gas所有列执行此操作，获得完整的S₃(1，960)。

当Count(1，t)的值大于960/6时，将一维向量集S₁、S₂、S₃构成一个3×960的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×960的向量作为新的条纹噪声特征向量；当Count(1，t)的值≤960/6时，将一维向量集S₁、S₂构成一个2×960的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×960的向量作为新的条纹噪声特征向量。以t＝11为例，设S₁(1,11)＝12，S₂(1,11)＝15，S₃(1,11)＝21，Count(1,11)＝112。由于Count(1,11)<960/6，因此只对S₁、S₂进行比较，又由于S₁<S₂，因此条纹特征向量的值在坐标位置为(1,11)时，为15。

将T_one(230,960)的每一行的值复制并插入下一行之前，得到完整映射T_one(460,960)，设第一行和最后一行的值分别为1,1,……1,1和0,1,……0,0，公式表示如下：

将噪声特征向量与T_one(460,960)的每一行进行点乘，得到最终条纹特征图T_str(460,960)。以T_one(21,960)为例，T_one(21,960)一共有960个值设为：1,0,0,……,1,1,1，设噪声特征向量为1,2,3,……11,1,5，则最终的条纹特征向量T_str(21,960)为：1*1,0*2,0*3,……1*11,1*1,1*5。遍历T_str所有行，获得完整条纹特征图T_str(460,960)。

将原始待处理图像I_ref(460,960)与T_str(460,960)相减，得到处理后的图像。

本发明未详细说明部分属于本领域技术人员公知技术。

Claims (9)

1.一种基于模糊矩阵的图像去条纹方法，其特征在于，包括如下步骤：

步骤1、通过相机采集待处理图像I_ref(M,N)，并对图像进行按行的下2采样得到新的待处理图像I_ref(M₁,N)；其中，M、N分别代表待处理图像像素的高度和宽度；M₁＝M/2；

步骤2、通过各向异性高斯滤波核，对下采样的原始图像I_ref(M₁,N)进行卷积得到模糊图像I_mod(M₁,N)；

步骤3、将原始下采样图像I_ref(M₁,N)与模糊图像I_mod(M₁,N)相减，构建条纹特征图像I_gas(M₁,N)；

步骤4、对图像I_ref(M,N)的每个像素是否需要处理进行判断，获得真值矩阵T_one(M₁,N)；

步骤5、对条纹特征图像I_gas(M₁,N)进行统计处理，获得条纹噪声特征向量；

步骤6、利用步骤5中得到的条纹特征向量，对待处理图像I_ref(M,N)进行映射相减操作，得到最终的重构图像。

2.根据权利要求1所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤2中，对图像的所有像素进行卷积核大小为5*17的各向异性高斯处理，得到与原始待处理图像大小一致的模糊图像I_mod(M₁,N)。

3.根据权利要求1或2所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤4包括步骤如下：

步骤4.1、构建全1矩阵T_one(M₁,N)；

步骤4.2、获取条纹特征图像I_gas(M₁,N)中小于等于1的像素位置，使矩阵T_one(M₁,N)对应像素点的值设置为0；

步骤4.3、获取原始下采样图像I_ref(M₁,N)中像素大小大于252且左右邻域均大于252的像素位置，使矩阵T_one(M₁,N)对应像素点的值设置为0。

4.根据权利要求3所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤5包括步骤如下：

步骤5.1、构建全零计数向量Count(1,N)，在I_gas(M₁,N)的每一列t上运用大小为3*1的全零卷积核进行卷积，其中，t＝1,2,3,…,N；

步骤5.2、对条纹特征图像I_gas(M₁,N)计算三个宽度为N的一维向量集S₁、S₂、S₃；

步骤5.3、当Count(1,t)的值大于M/6时，将一维向量集S₁、S₂、S₃构成一个3×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量；当Count(1,t)的值≤M/6时，将一维向量集S₁、S₂构成一个2×N的矩阵，再选取矩阵中每一列中的最大值构成一个新的1×N的向量作为新的条纹噪声特征向量。

5.根据权利要求4所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤5.1中，当I_gas(M₁,t)的值与卷积核的值完全相等时，在对应列的一维向量Count(1,t)中加2，进行累加操作，得到处理后的计数向量Count(1,N)；

Count(1，t)表示初始值为0的向量Count(1,N)的某一位。

6.根据权利要求5所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤5.2中，一维向量集S₁的计算方法为：对条纹特征图像进行按列求中值。

7.根据权利要求6所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤5.2中，一维向量集S₂的计算方法为：对条纹特征图像先进行按列求核函数为5*1的中值滤波，再对滤波结果进行按列求均值。

8.根据权利要求7所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤5.2中，一维向量集S₃的计算方法为：对条纹特征图像进行硬阈值分割求加权均值。

9.根据权利要求8所述的一种基于模糊矩阵的图像去条纹方法，其特征在于，步骤6包括步骤如下：

步骤6.1、将T_one(M₁,N)的每一行的值复制并插入下一行之前，得到完整映射T_one(M,N)；

步骤6.2、将步骤5中得到的噪声特征向量与T_one(M,N)的每一行进行点乘，得到最终条纹特征图T_str(M,N)；

步骤6.3、将原始待处理图像I_ref(M,N)与T_str(M,N)相减，得到处理后的图像。

Images