CN108460756A - 基于统计特征的无参考红外图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于统计特征的无参考红外图像质量评价方法，主要解决现有技术对受污染的红外图像的质量评价不准确的问题。其实现步骤是：1.划分数据库中的训练样本和测试样本；2.为数据库中每一幅受污染红外图像提取24维特征向量；3.构造训练样本的特征矩阵；4.将训练样本的特征矩阵输入到支持向量机SVR中，得到SVR回归模型；5.构造测试样本特征矩阵；6.将测试样本的特征矩阵和SVR回归模型输入到支持向量机SVR，输出每个测试样本的质量值；7.根据测试样本的质量值判断样本质量。本发明的评价结果与人眼感知一致，提高了质量评价的正确率，可用在互联网上图像筛选、传输、压缩及无人机中目标侦查与追踪。

Description

基于统计特征的无参考红外图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种无参考红外图像质量评价方法，可用在航拍成像系统、数字监控系统以及图像压缩系统。

技术背景

红外图像是红外探测器根据场景中目标与背景热辐射差异形成的热图像，它不受光照条件的影响，在工业、军事、医学和科学中都有广泛应用。红外图像处理主要研究包括红外成像非均匀校正、去噪声与图像增强、红外图像高分辨重建、背景建模与估计、图像分割、质量评价、弱小目标的检测与跟踪等。由于红外图像在采集与传输过程中易受噪声污染、目标物体易被杂波掩盖、对比度低等因素，红外图像成像质量普遍低于可见光图像，因此在对红外图像处理前就需要对红外图像进行图像质量评价，并以此指导后续相关研究。例如对红外图像进行质量评价，可以帮助改善设计和研究红外成像系统的参数，提高红外焦平面的成像质量。机载红外设备每天可以产生海量的图像，利用实时质量评价系统对产生的图像进行质量评价，便于挑选质量较高的图像，提高设备存储模块的利用率，同时为后面的目标匹配、目标检测、图像分割等提供样本基础，便于更精准的对处理算法提供评价指标依据。

目前，图像质量评价依然是计算机视觉和图像处理领域的热点问题，图像质量评价的理论在不断丰富、新方法在不断的改进，每年不同的科研团队在国际重要期刊TIP和会议ICCV、CVPR均有文章相继发表。虽然可见光质量评价体系日趋成熟，但是目前红外图像质量的研究较少，在理论与方法上均有待完善。

在目前的红外质量评价领域，大多数评价方法针对特定噪声类型或特定场景下的红外图像，杜少波在《模糊红外图像质量评价方法研究》主要针对模糊红外图像，将模糊熵引入红外图像质量评价，这种方法只针对于模糊红外图像，不能评价其他失真类型的红外图像。随着Kaser在《Utilizing natural scene statistics and blind image qualityanalysis of infrared imagery》文章中研究了MSCN(Mean-Subtracted ContrastNormalized)系数在红外图像中的应用，发现了红外图像与自然图像有相似的统计规律，可以尝试将BRISQUE以及NIQE方法应用在红外图像上。Goodall《Tasking on naturalstatistics of infrared images》对红外图像的自然场景统计特性进行分析，结合了BRISQUE、DESIQUE、DIIVINE算法中的特征，提取了46维特征向量，与传统方法相比准确率大幅提高，但是评价准确率最高的只有0.820。

迄今为止，红外图像质量评价还没有大家公认的定义，还存在着一些问题急需解决：(1)缺少权威的公共的红外图像质量评价数据库；(2)缺少完善的红外图像质量评价体系，当前的评价方法大多单独定义，不具备关联性、互补性；

(3)缺少对红外图像特有的失真类型和混合失真类型的评价，大多数时候只是分析可见光图像中常见的失真类型如高斯白噪声、高斯模糊等，难以准确描述红外图像的质量。这些缺点会限制无参考质量评价算法在实际中的应用。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种基于统计特征的无参考红外图像质量评价方法，以高效准确地描述红外图像的质量，使其在航拍系统中能够准确打击或监视地面目标。

本发明的技术关键是：从红外图像自身特点出发，设计出能够捕获不同噪声造成红外图像质量衰减的手工特征，从中提取24维特征向量；使用作为训练样本的受污染红外图像的特征向量建立回归模型，利用该回归模型来预测红外图像的受污染程度，其实现方案包括如下：

(1)从红外图像质量评价数据库中选择80％的污染图像作为训练样本，选择20％的污染图像作为测试样本；

(2)将每一幅受污染红外图像I，在DCT域分别提取各为2维的频率变化特征、结构特征和能量特征，构成6维特征向量；

(3)对每一幅受污染红外图像I进行低通滤波，得到滤波后的失真红外图像g，并在DCT域用与(2)相同的方法提取由频率变化特征、结构特征和能量特征构成的6维特征向量；

(4)对失真红外图像g进行下采样得到滤波响应矩阵r，并在DCT域采用与(2)相同的方法对该滤波响应矩阵r提取由频率变化特征、结构特征和能量特征构成的6维特征向量；

(5)将每一幅受污染红外图像I，在空域分别提取2维的亮度信息特征和1维的拟合误差特征，构成3维特征向量；

(6)将每一幅受污染红外图像I经过下采样之后得到下采样矩阵h，在空域采用与(5)相同的方法对该下采样矩阵h提取由2维的亮度信息特征和1维拟合误差特征，构成的3维特征向量；

(7)从每一个训练样本中取出根据步骤(2)-步骤(6)中由频率变化特征、结构特征、能量特征、亮度信息特征和拟合误差特征构成的24维特征向量，并将每个训练样本的24维特征向量作为矩阵的一行，这个矩阵即为训练样本的特征矩阵f_w；

(8)将训练样本的特征矩阵f_w输入到支持向量机SVR中，得到SVR回归模型MOD；

(9)从每一个测试样本中取出根据步骤(2)-步骤(6)中由频率变化特征、结构特征、能量特征、亮度信息特征和拟合误差特征构成的24维特征向量，每个测试样本的24维特征向量作为矩阵的一行，这个矩阵即为测试样本的特征矩阵f_t；

(10)将测试样本的特征矩阵f_t和SVR回归模型MOD输入到支持向量机SVR，并计算测试样本的质量值：Q_φ＝SVR(f_t,MOD)，其中，SVR(·)代表SVR支持向量机算法，1≤φ≤140；

(11)根据测试样本的质量值Q_φ，对测试样本的图像质量进行判断：

若Q_φ＝1，则表示该测试样本基本没有被噪声污染；

若Q_φ＝2，则表示该测试样本被噪声轻微污染；

若Q_φ＝3，则表示该测试样本被噪声中度污染；

若Q_φ＝4，则表示该测试样本被噪声重度污染；

若Q_φ＝5，则表示该测试样本被噪声完全污染。

本发明与现有技术相比，具有如下优点：

1)本发明从红外图像的特点出发，不拘泥于常见可见光图像噪声，而是对红外图像的特有噪声类型进行评价，同时不仅可以评价单一噪声类型的红外图像，对混合噪声红外图像也可以评价；

2)本发明将让红外图像与人的视觉感知相结合，提取了有效的红外图像特征，能够高效正确的评价红外图像，与其他的算法相比，正确率最高。

3)本发明由于构建了专业的红外图像数据库，模拟了现实中红外图像采集过程中的噪声，相比现有算法的实验结果只用少数红外图像验证，且只能在特定场景下应用，其适用的场景更多，适用性更强。

附图说明

图1是本发明的实现流程图。

图2是本发明中对受污染红外图像的子带划分结果图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

参照图1，本发明的具体实现步骤如下：

步骤1，选取训练样本和测试样本。

从红外图像质量评价数据库中选择80％的污染图像作为训练样本，选择20％的污染图像作为测试样本。

由于红外图像质量评价数据库中包含700幅受污染的红外图像，本实例随机挑选80％即560幅污染图像作为训练样本，剩下的20％即140幅污染图像作为测试样本。

步骤2，提取受污染红外图像的6维特征向量。

在红外成像领域，大部分情况下不存在污染图像的原始参考图像，因而需要使用提取污染图像关键特征的方式来表征图像，并且通过捕获特征的衰减来进行质量评价。

红外图像质量评价数据库的每一幅红外图像都受到不同程度的噪声污染，对红外图像质量评价数据库中的每一幅受污染红外图像I，在DCT域分别提取频率变化特征、结构特征和能量特征这三类特征，每类为2维，构成6维特征向量，其提取特征的具体步骤如下：

(2a)提取2维频率变化特征：

(2a1)输入一幅受污染红外图像I，将该红外图像I分为n个3*3的图像块C_i，i＝1,2...n，n表示图像块的总数，对图像块C_i按如下公式进行DCT变换：

其中N表示受污染红外图像矩阵的行数，(u，v)表示受污染红外图像I在DCT域变换后的坐标点，f(i,j)表示受污染红外图像I在坐标点(i，j)的像素，F(u,v)为DCT变换后在坐标点(u，v)点的dct系数，c(v)为纵坐标系数：c(u)为横坐标系数：

上面的公式只适用于受污染红外图像为方阵的情况，但在实际应用也会有不为方阵的情况，对于图像矩阵不为方阵的情况，则先要做补零操作；

(2a2)去除dct系数中的直流分量，计算剩余dct系数的均值u_i(x)和

方差σ_i(x)：

其中，y表示剩余dct系数中总的系数个数，d_x表示剩余dct系数中第x个系数，x＝1,2...y；

(2a3)根据上述计算出的剩余dct系数方差σ_i(x)和均值u_i(x)，计算出每个图像块C_i的频率变化系数f_i：

(2a4)将所有的频率变化系数f_i从大到小进行排序，得到两部分的均值，第一部分为前10％频率变化系数的均值第二部分为所有频率变化系数f_i的均值和即为2维频率变化特征；

(2b)提取2维结构特征：

(2b1)将受污染红外图像I分为n个3*3的图像块C_i，对每一个图像块C_i进行DCT变换得到dct系数；

(2b2)去除dct系数中的直流分量，再用广义高斯模型GGD去拟合剩余的dct系数得到形状参数γ_i；

所述用广义高斯模型GGD去拟合剩余的dct系数得到形状参数γ_i这一步是由matlab工具包实现的，即输入剩余的dct系数，经过matlab工具包，就可以输出形状参数γ_i；

(2b3)对所有图像块的形状参数γ_i按从小到大排序，得到两部分的均值，第一部分为对前10％的形状参数的均值第二部分为所有的形状参数γ_i的均值，即全局形状参数该和即为2维结构特征；

(2c)提取2维能量特征：

由于红外图像的边缘很模糊，纹理信息并不明显，但是在DCT域红外图像的能量谱变化很明显，因此提取能量特征能有效表示受污染红外图像的质量衰减程度，其提取步骤如下：

(2c1)将受污染红外图像I分为m个5*5的图像块P_j，m表示图像块的总数，j＝1,2...m，对每一个图像块P_j进行DCT变换得到dct系数，去除将dct系中的除直流分量，并将剩余dct系数分为低频、中频、高频3个不同频率的子带，如图2所示，图2中的DC就是直流成分，白色集合区域{C₁₂,C₁₃,C₂₁,C₂₂,C₃₁}是低频子带，灰色集合区域{C₁₄,C₁₅,C₂₃,C₂₄,C₂₅,C₃₂,C₃₃,C₃₄,C₄₁,C₄₂,C₄₃,C₄₄,C₄₅}是中频子带，深色集合区域{C₃₅,C₄₄,C₄₅,C₅₃,C₅₄,C₅₅}是高频子带；

(2C2)计算每一个子带的方差e_t＝σ_t ²，并利用每个子带的方差计算每个子带的能量值E_t：

其中，t＝1,2,3，1，2，3分别代表低频子带、中频子带、高频子带，k表示小于t的数，且k不为0；

(2C3)对利用上述公式算出的三个子带的能量值E_t求均值，得到第j个图像块P_j的能量系数E_j；

(2C4)将所有图像块的能量系数按从大到小排序，得到两部分的均值，即第一部分为前10％的能量系数的均值第二部分为所有的能量系数的均值和即为2维能量特征。

步骤3，提取失真红外图像的6维特征向量。

(3a)通过低通滤波器对每一幅受污染红外图像I进行低通滤波，得到滤波后的失真红外图像g，其中，u为低通滤波器的均值，σ²低通滤波器的为方差，本实例取u为0，方差σ²为3，σ为σ²的开方；

(3b)在DCT域用与步骤2相同的方法分别提取滤波后的失真红外图像g的6维特征向量，即2维频率变化特征、2维结构特征和2维能量特征。

步骤4，对滤波响应矩阵提取6维特征向量。

对滤波后的失真红外图像进g进行下采样得到滤波响应矩阵r，并在DCT域采用与步骤2相同的方法对该滤波响应矩阵r分别提取各为2维的频率变化特征、结构特征和能量特征，构成6维特征向量。

步骤5，提取受污染红外图像的3维特征向量。

将每一幅受污染红外图像I，在空域提取由2维亮度信息特征和1维拟合误差特征构成的3维特征向量，其提取特征的具体步骤如下：

(5a)提取2维亮度信息特征：

(5a1)将受污染红外图像I的亮度进行归一化，以去除相邻像素之间的相关性，使受污染红外图像I归一化后的亮度能够更好的服从统计学规律，归一化后红外图像I的每个像素的亮度为：

其中I(i,j)表示受污染红外图像I在坐标点(i，j)的像素，C表示不为0的常数，

表示受污染红外图像I所有像素点的均值，K和L为常数，K为受污染红外图像I的图像矩阵长的一半，L为受污染红外图像I图像矩阵宽的一半，w_k,l为权值系数，I_k,l(i,j)表示受污染红外图像I在坐标点(k，l)的像素，

表示受污染红外图像I所有像素点的方差；

(5a2)按照上述公式计算出受污染红外图像I每个像素点的归一化亮度，用每个像素点的归一化亮度构成矩阵即为图像I的归一化亮度信息，再利用广义高斯模型来拟合归一化亮度信息，得到拟合参数均值z和拟合参数方差这两个参数即为2维亮度信息特征；

(5b)提取1维拟合误差特征：

(5b1)根据拟合参数均值z和拟合参数方差得到归一化亮度信息拟合的高斯分布函数P(i)；

其中，λ为常数，表示指数系数，其中为方差的开方，Γ代表gamma函数，a＝bλ/2Γ(1/λ)表示常量系数；

(5b2)计算高斯分布函数P(i)与归一化亮度信息真实分布之间的误差：其中Q(i)表示归一化亮度信息真实分布，该误差D_KL(P||Q)即为1维拟合误差特征。

步骤6，提取采样矩阵的3维特征向量。

将每一幅受污染红外图像I经过下采样之后得到下采样矩阵h，在空域采用与步骤5相同的方法对该下采样矩阵h提取由2维的亮度信息特征和1维拟合误差特征，构成的3维特征向量。

步骤7，构建训练样本的特征矩阵。

(7a)从每一个训练样本中取出根据步骤2-步骤4中分别提取出的由频率变化特征、结构特征、能量特征构成的6维向量，及由步骤5-步骤6分别提取出的由亮度信息特征和拟合误差特征构成的3维特征向量，并将这些特征向量依次放在一行中，构成24维特征向量；

(7b)将每个训练样本的24维特征向量作为矩阵的一行，构成大小为560*24的训练样本特征矩阵f_w。

步骤8，获取SVR回归模型。

将训练样本的特征矩阵f_w输入到支持向量机SVR中，得到SVR回归模型MOD。

步骤9，构建测试样本特征矩阵。

(9a)从每一个测试样本中先取出步骤2-步骤4中分别提取出的由频率变化特征、结构特征、能量特征构成的6维向量，再取出步骤5-步骤6分别提取出的由亮度信息特征和拟合误差特征构成的3维特征向量，并将这些特征向量依次放在一行中，构成24维特征向量；

(9b)将每个测试样本的24维特征向量作为矩阵的一行，构成大小为140*24的测试样本特征矩阵f_t。

步骤10，计算测试样本质量值。

将测试样本的特征矩阵f_t和SVR回归模型MOD输入到支持向量机SVR，计算140个测试样本的质量值Q_φ：

Q_φ＝SVR(f_t,MOD)，1≤φ≤140，

其中，SVR(·)代表SVR支持向量机算法。

步骤11,判断测试样本的图像质量。

根据每个测试样本的质量值Q_φ，对测试样本的图像质量进行判断：

若Q_φ＝1，则表示该测试样本基本没有被噪声污染；

若Q_φ＝2，则表示该测试样本被噪声轻微污染；

若Q_φ＝3，则表示该测试样本被噪声中度污染；

若Q_φ＝4，则表示该测试样本被噪声重度污染；

若Q_φ＝5，则表示该测试样本被噪声完全污染。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于统计特征的无参考红外图像质量评价方法，包括：

(1)从红外图像质量评价数据库中选择80％的污染图像作为训练样本，选择20％的污染图像作为测试样本；

(2)将每一幅受污染红外图像I，在DCT域分别提取各为2维的频率变化特征、结构特征和能量特征，构成6维特征向量；

(3)对每一幅受污染红外图像I进行低通滤波，得到滤波后的失真红外图像g，并在DCT域用与(2)相同的方法提取由频率变化特征、结构特征和能量特征构成的6维特征向量；

(4)对失真红外图像g进行下采样得到滤波响应矩阵r，并在DCT域采用与(2)相同的方法对该滤波响应矩阵r提取由频率变化特征、结构特征和能量特征构成的6维特征向量；

(5)将每一幅受污染红外图像I，在空域分别提取2维的亮度信息特征和1维的拟合误差特征，构成3维特征向量；

(6)将每一幅受污染红外图像I经过下采样之后得到下采样矩阵h，在空域采用与(5)相同的方法对该下采样矩阵h提取由2维的亮度信息特征和1维拟合误差特征，构成的3维特征向量；

(7)从每一个训练样本中取出根据步骤(2)-步骤(6)中由频率变化特征、结构特征、能量特征、亮度信息特征和拟合误差特征构成的24维特征向量，并将每个训练样本的24维特征向量作为矩阵的一行，这个矩阵即为训练样本的特征矩阵f_w；

(8)将训练样本的特征矩阵f_w输入到支持向量机SVR中，得到SVR回归模型MOD；

(9)从每一个测试样本中取出根据步骤(2)-步骤(6)中由频率变化特征、结构特征、能量特征、亮度信息特征和拟合误差特征构成的24维特征向量，每个测试样本的24维特征向量作为矩阵的一行，这个矩阵即为测试样本的特征矩阵f_t；

(10)将测试样本的特征矩阵f_t和SVR回归模型MOD输入到支持向量机SVR，并计算测试样本的质量值：Q_φ＝SVR(f_t,MOD)，其中，SVR(·)代表SVR支持向量机算法，1≤φ≤140；

(11)根据测试样本的质量值Q_φ，对测试样本的图像质量进行判断：

若Q_φ＝1，则表示该测试样本基本没有被噪声污染；

若Q_φ＝2，则表示该测试样本被噪声轻微污染；

若Q_φ＝3，则表示该测试样本被噪声中度污染；

若Q_φ＝4，则表示该测试样本被噪声重度污染；

若Q_φ＝5，则表示该测试样本被噪声完全污染。

2.根据权利要求书1所述的方法，其中步骤(2)中在DCT域提取2维的频率变化特征，按如下步骤进行：

(2a)输入一幅受污染红外图像I，将红外图像I分为n个3*3的图像块C_i，i＝1,2...n；

(2b)对图像块C_i进行DCT变换得到dct系数，去除dct系数中的直流分量，并计算剩余dct系数的方差σ_i(x)和均值u_i(x)；

(2c)根据剩余dct系数的方差σ_i(x)和均值u_i(x)，计算出每个图像块C_i的频率变化系数f_i：

(2d)将所有的频率变化系数f_i从大到小进行排序，得到两部分的均值，第一部分为前10％的频率变化系数的均值第二部分为所有的频率变化系数f_i的均值和即为2维的频率变化特征；

3.根据权利要求书1所述的方法，其中步骤(2)中在DCT域提取2维的结构特征，按如下步骤进行：

(2e)将受污染红外图像I分为n个3*3的图像块C_i，对每一个图像块C_i进行DCT变换得到dct系数；

(2f)去除dct系数中的直流分量，再用广义高斯模型GGD去拟合剩余的dct系数得到形状参数γ_i；

(2g)对所有图像块的形状参数γ_i按从小到大排序，得到两部分的均值，第一部分为对前10％的形状参数的均值第二部分为所有的形状参数γ_i的均值，即全局形状参数该和即为2维的结构特征；

4.根据权利要求书1所述的方法，其中步骤(2)中在DCT域提取2维的能量特征，按如下步骤进行：

(2h)将受污染红外图像I分为m个5*5的图像块P_j，m表示图像块的总数，j＝1,2...m，对每一个图像块P_j进行DCT变换得到dct系数，去除将dct系中的除直流分量，并将剩余dct系数分为低频、中频、高频3个不同频率的子带；

(2i)计算每一个子带的方差e_t＝σ_t ²，t＝1,2,3，1，2，3分别代表低频子带、中频子带、高频子带，然后利用每个子带的方差计算每个子带的能量值E_t：

其中，k表示小于t的数，且k不为0；

(2j)利用上述公式算出了三个子带的能量值后，对这三个子带的能量值E_t求均值，得到图像块P_j的能量系数E_j；

(2k)将所有图像块P_j的能量系数E_j按从大到小排序，得到两部分的均值，即第一部分为前10％的能量系数的均值第二部分为所有的能量系数的均值和即为2维的能量特征。

5.根据权利要求书1所述的方法，其中步骤(5)中在空域提取2维的亮度信息特征，按如下步骤进行：

(5a)将受污染红外图像I的亮度进行归一化，以去除相邻像素之间的相关性，归一化后红外图像I的每个像素的亮度为

其中I(i,j)表示受污染红外图像I在坐标点(i，j)的像素，C表示不为0的常数，

表示受污染红外图像I所有像素点的均值，K和L为常数，K为受污染红外图像I的图像矩阵长的一半，L为受污染红外图像I图像矩阵宽的一半，w_k,l为权值系数，I_k,l(i,j)表示受污染红外图像I在坐标点(k，l)的像素；

表示受污染红外图像I所有像素点的方差；

(5b)按照上述(5a)的公式得到受污染红外图像I每个像素点的归一化亮度，将归一化亮度构成矩阵即为受污染红外图像I的归一化亮度信息，再利用广义高斯模型来拟合归一化亮度信息，得到拟合参数均值z和方差这两个参数即为2维的亮度信息特征。

6.根据权利要求书1所述的方法，其中步骤(5)中在空域提取1维的拟合误差特征，按如下步骤进行：

(5c)根据拟合参数均值z和拟合参数方差得到归一化亮度信息拟合的高斯分布函数P(i)；

(5d)计算高斯分布函数P(i)与归一化亮度信息真实分布之间的误差D_KL(P||Q)，

其中Q(i)表示归一化亮度信息真实分布，该误差D_KL(P||Q)即为1维的拟合误差特征。

7.根据权利要求书6所述的方法，其步骤(5c)得到的高斯分布函数P(i)，表示如下：

其中，z是拟合参数均值，λ为常数，表示指数系数，其中为方差的开方，Γ代表gamma函数，a＝bλ/2Γ(1/λ)表示常量系数。