CN117876321A - 一种图像质量评估方法及装置 - Google Patents
一种图像质量评估方法及装置 Download PDFInfo
- Publication number
- CN117876321A CN117876321A CN202410037570.1A CN202410037570A CN117876321A CN 117876321 A CN117876321 A CN 117876321A CN 202410037570 A CN202410037570 A CN 202410037570A CN 117876321 A CN117876321 A CN 117876321A
- Authority
- CN
- China
- Prior art keywords
- image
- mutual information
- evaluated
- frequency domain
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 71
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 41
- 238000012706 support-vector machine Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 230000010365 information processing Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013145 classification model Methods 0.000 claims description 8
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 238000000638 solvent extraction Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像质量评估方法及装置，包括：获取待评价图像；对所述待评价图像进行分块，并计算各图像块的区域互信息，基于上述区域互信息进行特征提取处理，提取待评价图像的多尺度频域特征特征向量；利用质量评价模型对待评价图像特征向量进行处理，得到待评价图像质量评估分值。可见，本发明通过对待评价图像进行的区域互信息进行频域特征提取，使提取的特征同时具有方向敏感性、多尺度性以及平移不变性，并且具有稀疏表达特点，使本发明提供的方法鲁棒性更好、准确性更优。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种图像质量评估方法及装置。
背景技术
当前，可见光、红外、合成孔径雷达等各种成像设备在社会各个领域得到广泛应用。由于成像设备在工作、处理过程中会受到各种内在和外在因素的影响，造成输出的图像出现有用信息被淹没、清晰度降低、对比度不足等各种质量问题，进而严重影响图像后续处理与应用。相应地，可以检测图像清晰度和图像信息丰富程度的图像质量评价方法成为当前十分重要和活跃的应用研究领域。
图像质量评价方法一般分为主观评价方法和客观评价方法。主观评价方法评价时间长，工作量大，易受人为因素干扰；客观评价方法通过计算机模拟人类感知图像的过程，评价效率高。客观评价方法又分为全参考质量评价方法、部分参考质量评价方法和无参考图像质量评价方法。其中，“参考”是指有没有待测评图像的原始无噪声图像的参与。因此，全参考图像质量评价方法需要测试图像的原始未失真图像，部分参考图像评价方法需要原始未失真图像的部分特征，实际当中，原始未失真图像或其特征一般较难获取，无参考图像质量评价方法主要根据自身特征完成质量评价，无需原始未失真图像的参与，很好地解决了上述问题。按照使用的图像特征进行分类，无参考图像质量评价方法可以分为两类：基于空域的图像质量评价方法、基于频域的图像质量评价方法。前者提取图像的灰度信息如边缘、纹理等建立图像质量评价指标，但提取的特征少，准确度不高；后者通过频域变换获取图像丰富的高低频成分，提取频域统计特征，因而评价更加准确。但传统的基于频域的图像质量评价方法使用离散傅立叶变换、小波变换、Curvelet变换、Contourlet变换作为变换工具，这类工具的不足是缺乏平移不变性；此外，现有图像质量评价方法一般针对特定的几种类型的失真进行设计，缺乏足够的通用性，无法适应广泛的图像类型。因此有必要设计通用性好、泛化能力强的无参考图像质量评价方法。
发明内容
为解决现有图像质量评价方法缺乏对多类型图像失真的泛化能力的问题，本发明提出一种基于区域互信息和频域特征的无参考图像质量评估方法，提升图像质量评价的主观一致性、通用性和泛化能力。
为达到上述目的，本发明实施例第一方面公开了一种图像质量评估方法，所述方法包括：
S1、获取待评价图像；
S2、对所述待评价图像进行特征提取处理，得到待评价图像特征向量；
S3、对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价模型包括多类支持向量机失真分类模型和支持向量机回归模型；
S4、利用质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值。
作为一种可选的实施方式，所述对所述待评价图像进行特征提取处理，得到待评价图像特征向量，包括：
S21、对所述待评价图像进行区域互信息频域特征提取，得到第一图像特征；
S22、对所述待评价图像进行降采样，生成第二尺度的图像；
S23、对所述第二尺度的图像进行区域互信息频域特征提取，得到第二图像特征；需要说明的是，步骤S23中的区域互信息频域特征提取过程与步骤S21中的区域互信息频域特征提取过程相同；
S24、对所述第一图像特征和所述第二图像特征融合处理，得到待评价图像特征向量。
作为一种可选的实施方式，所述对所述待评价图像进行区域互信息频域特征提取，得到第一图像特征，包括：
S211、将待评价图像进行分块操作，得到K个图像块；每个所述图像块的长和宽都为M个像素，所述M∈{4，6，8，10}；
S212、遍历所述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集；每个所述区域互信息集包括P组区域互信息，所述P∈{4，6，8}；
S213、遍历所述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集；每个所述频域图像集P组频域图像对，每组所述频域图像对包括高频子带图像和低频子带图像；
S214、对所述K个频域图像集进行处理，得到第一图像特征；所述第一图像特征包括P组频域特征，每组所述描述频域特征包括低频特征和高频特征。
作为一种可选的实施方式，所述遍历所述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集，包括：
S2121、从所述K个图像块选取任一图像块，对所述任一图像块进行区域互信息处理，得到与所述任一图像块对应的区域互信息集，具体的：
对所述任一图像块进行转置，得到该任一图像块的转置图像块；
利用第一矩阵模型，对所述任一图像块和该任一图像块的转置图像块进行处理，得到第一矩阵；
所述第一矩阵模型为：
Cre＝(I×I′)/M
式中，Cre表示第一矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
利用第二矩阵模型，对所述任一图像块和该任一图像块的转置图像块进行处理，得到第二矩阵；
所述第二矩阵模型为：
Ctr＝(I′×I)/M
式中，Ctr表示第二矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
设置互信息序列R，所述R＝{2，4，…，2×P}；
利用区域互信息模型，遍历所述互信息序列R，对所述互信息序列R中每个值r，计算一次区域互信息，得到所述任一图像块对应的区域互信息集，所述区域互信息集包括P组区域互信息，所述r∈R；
所述区域互信息模型为
RMI＝Hg(CA)+Hg(CB)-Hg(C)
其中，Hg(X)表达式为：
Hg(X＝ln((2πe)r/2det(X)1/2)
式中，RMI表示区域互信息，C表示第一矩阵Cre或第二矩阵Ctr由一个大小r×r的窗口所覆盖的子矩阵，CA和CB分别表示矩阵C中位于左上角和右下角的两个r/2×r/2大小的矩阵；X表示C、或CA、或CB；r∈R；
S2122、循环执行步骤S2121，完成所述K个图像块中所有图像块区域互信息处理，得到K个区域互信息集。
作为一种可选的实施方式，所述遍历所述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集，包括：
S2131、从所述K个区域互信息集选取任一区域互信息集，对所述任一区域互信息集利用非降采样剪切波模型进行频域变换处理，得到与所述任一区域互信息集对应的频域图像集；所述频域图像集包括P组频域图像对，每组所述频域图像对包括高频子带图像和低频子带图像；
S2132、循环执行步骤S2131，完成所述K个区域互信息集中所有区域互信息集频域变换处理，得到K个频域图像集。
作为一种可选的实施方式，从所述K个区域互信息集选取任一区域互信息集，对所述任一区域互信息集利用非降采样剪切波模型进行频域变换处理，得到与所述任一区域互信息集对应的频域图像集；包括：
对所述任一区域互信息集中任一组区域互信息，利用非降采样剪切波模型进行频域变换处理，得到与所述任一组区域互信息对应的频域图像对；
所述非降采样剪切波模型为：
(HRMI,LRMI)＝NSST(RMI)
式中，HRMI、LRMI分别为经过非降采样剪切波变换后的高频子带图像和低频子带图像，NSST表示非降采样剪切波变换，RMI表示区域互信息；
其中，区域互信息RMI采用如下公式进行求解：
ΓAB(Ψ)＝{Ψj,l,k(x)＝detA|j/2Ψ(BlAjx-k):j,l∈Z,k∈Z2}
式中，x表示区域互信息RMI，j表示分解尺度，l表示集合方向参数，k表示平移参数；A和B均为二维可逆矩阵，Z表示整数，Z2表示二维整数集，det(·)表示矩阵行列式。
作为一种可选的实施方式，所述对所述K个频域图像集进行处理，得到第一图像特征，包括：
S2141、遍历所述K个频域图像集，对任一的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集；所述区域互信息的描述特征集包括P组区域互信息的描述特征，所述区域互信息的描述特征包括低频均值和高频方差值；
S2142、对所述K个区域互信息的描述特征集进行求均值计算，得到第一图像特征；所述第一图像特征包括P组频域特征，每组所述频域特征包括低频特征和高频特征。
作为一种可选的实施方式，所述遍历所述K个频域图像集，对任一的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集；包括：
S21411、对所述任一的频域图像集中任一组频域图像对进行处理，得到与所述任一组频域图像对对应的区域互信息的描述特征，具体的：
对所述任一组频域图像对中低频子带图像求取均值，得到与所述任一组频域图像对对应的低频均值；具体的：
式中，μL表示低频均值，S为低频子带图像系数个数，表示低频子带图像第i个系数；
对所述任一组频域图像对中高频子带图像求取方差，得到与所述任一组频域图像对对应的高频方差值；具体的：
其中，表示高频方差值，W为高频子带图像系数个数，/>表示高频子带图像第i个系数，μH为高频子带图像的均值，μH计算公式为：
对所述低频均值和所述高频方差值进行组合处理，得到该所述任一组频域图像对对应的区域互信息的描述特征；所述区域互信息的描述特征为
S21412、循环执行步骤S21411，对所述K个频域图像集中所有的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集。
作为一种可选的实施方式，所述对所述K个区域互信息的描述特征集进行求均值计算，得到第一图像特征；包括：
S21421、从所述K个区域互信息的描述特征集中，提取每个区域互信息对应的区域互信息的描述特征，进行均值计算，得到该区域互信息对应的频域特征；所述频域特征包括低频特征和高频特征；
所述低频特征为：
式中，μ表示低频特征，μLr表示区域互信息r对应的低频均值，{μLr}k表示第k个区域互信息的描述特征中与区域互信息r对应的描述特征中的低频均值，所述r∈R；
所述高频特征为：
式中，σ2表示高频特征，表示区域互信息r对应的高频方差值，/>表示第k个区域互信息的描述特征中与区域互信息r对应的描述特征中的高频方差值，所述r∈R；
S21422、循环执行步骤S21421，对所述K个区域互信息的描述特征集中所有的区域互信息的描述特征进行处理，得到第一图像特征，所述第一图像特征包括P组频域特征，每组所述频域特征包括低频特征和高频特征。
作为一种可选的实施方式，对所述待评价图像进行降采样，生成第二尺度的图像；包括：
S221、从所述待评价图像中删除图像的偶数行，得到行降采样图像；
S222、从所述行降采样图像中删除图像的偶数列，生成第二尺度的图像。
作为一种可选的实施方式，所述对所述第一图像特征和所述第二图像特征融合处理，得到待评价图像特征向量，包括：
在所述第一图像特征后拼接所述第二图像特征，得到待评价图像特征向量。
作为一种可选的实施方式，所述对预设的质量评价初始模型进行训练，得到质量评价模型，包括：
S31、获取图像库；所述图像库包括L种失真类型的图像；所述L为失真类型的数目；
S32、将图像库分为训练集和测试集；所述训练集和测试集都包括L个子集，每个所述子集只包含一种失真类型的图像；
S33、对所述训练集中训练图像进行特征提取处理，得到训练图像特征向量集；所述进行特征提取处理与步骤S21中所述的进行特征提取处理相同；
所述训练图像特征训练集表示为{(U(1),a(1)),…,(U(j),a(j)),…,(U(J),a(J))}，其中，U(j)为第j个训练图像对应的图像特征向量，J为训练集中的图像样本个数，即j＝1,…,J，a(j)∈{1,…,L}为U(j)的失真类型标签，L为失真类型个数。
S34、利用所述训练图像特征向量集对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价初始模型包括多类支持向量机失真分类初始模型和支持向量机回归初始模型；
所述多类支持向量机失真分类初始模型为：
所述支持向量机回归初始模型为：
式中，fl(U)表示多类支持向量机失真分类初始模型，fr(U)表示支持向量机回归初始模型，ωc、ωr分别为fl(U)、fr(U)的权重参数，bc、br分别为fl(U)、fr(U)的偏置参数，φr(U)、φc(U)分别为fl(U)、fr(U)的非线形映射函数；
S35、利用所述测试集对所述质量评价模型进行测试，得到测试结果。
作为一种可选的实施方式，利用质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值；包括：
S41、利用所述多类支持向量机失真分类模型，对所述待评价图像特征向量进行处理，得到图像失真度分值向量；所述图像失真度分值向量为L维向量，其中每一维表征该维度对应的失真类型的失真度分值；
S42、利用所述支持向量机回归模型，对所述待评价图像特征向量进行处理，得到图像质量分数向量；所述图像质量分数向量为L维向量，其中每一维表征该维度对应的失真类型的图像质量分数值；
S43、利用加权求和模型，对所述图像失真度分值向量和所述图像质量分数向量进行加权计算，得到待评价图像质量评估分值；
所述加权求和模型为：
其中，表示待评价图像质量评估分值，pl表示图像失真度分值向量的第l维分量，ql表示图像质量分数向量的第l维分量，L表示失真类型的数目。
本发明实施例第二方面公开了一种图像质量评估装置，所述装置包括：
图像获取模块；用于获取待评价图像；
图像特征提取模块；用于对所述待评价图像进行特征提取处理，得到待评价图像特征向量；
模型训练模块；用于对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价模型包括多类支持向量机失真分类模型和支持向量机回归模型；
图像质量预测模块；用于利用所述质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值。
与现有技术相比，本发明实施例具有以下有益效果：
本发明公开了一种图像质量评估方法及装置，包括：获取待评价图像；对所述待评价图像进行分块，并计算各图像块的区域互信息，基于上述区域互信息特征提取处理，提取待评价图像的多尺度频域特征特征向量；利用质量评价模型对待评价图像特征向量进行处理，得到待评价图像质量评估分值。可见，本发明通过对待评价图像进行的区域互信息进行频域特征提取，使提取的特征同时具有方向敏感性、多尺度性以及平移不变性，并且具有稀疏表达特点，使本发明提供的方法鲁棒性更好、准确性更优。本发明提供的技术方案可对模糊、畸变、色差、噪声等多种图像失真类型进行评价，可适用于可见光、红外、合成孔径雷达等当前主流的图像类型；拥有主观一致性高、通用性好、无需参考图像的优点，可以应用到各种成像设备、图像处理应用系统中，具有很好的实用价值。
附图说明
图1为本发明实施例公开的一种图像质量评估方法流程示意图；
图2为本发明实施例公开的一种图像质量评估装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1。图1为本发明实施例公开的一种图像质量评估方法流程示意图。如图1所示，本发明实施例公开的一种图像质量评估方法，包括：
S1、获取待评价图像；
S2、对待评价图像进行特征提取处理，得到待评价图像特征向量；
S3、对预设的质量评价初始模型进行训练，得到质量评价模型；
本发明实施例中，上述质量评价模型包括多类支持向量机失真分类模型和支持向量机回归模型；
S4、利用质量评价模型对待评价图像特征向量进行处理，得到待评价图像质量评估分值。
在另一个可选的实施例中，上述对待评价图像进行特征提取处理，得到待评价图像特征向量，包括：
S21、对待评价图像进行区域互信息频域特征提取，得到第一图像特征；
S22、对待评价图像进行降采样，生成第二尺度的图像；
S23、对第二尺度的图像进行区域互信息频域特征提取，得到第二图像特征；
S24、对第一图像特征和所述第二图像特征融合处理，得到待评价图像特征向量。
需要说明的是，步骤S23中“对所述第二尺度的图像进行区域互信息频域特征提取”与步骤S21中“对所述待评价图像进行区域互信息频域特征提取”的“区域互信息频域特征提取”方法相同。
在又一个可选的实施例中，上述对待评价图像进行区域互信息频域特征提取，得到第一图像特征，包括：
S211、将待评价图像进行分块操作，得到K个图像块；每个图像块的长和宽都为M个像素，上述M∈{4，6，8，10}；
S212、遍历上述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集；每个区域互信息集包括P组区域互信息，上述P∈{4，6，8}；
S213、遍历上述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集；每个频域图像集P组频域图像对，每组频域图像对包括高频子带图像和低频子带图像；
S214、对上述K个频域图像集进行处理，得到第一图像特征；上述第一图像特征包括P组频域特征，每组描述频域特征包括低频特征和高频特征。
在又一个可选的实施例中，上述遍历上述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集，包括：
S2121、从K个图像块选取任一图像块，对该任一图像块进行区域互信息处理，得到与该任一图像块对应的区域互信息集，具体的：
对该任一图像块进行转置，得到该任一图像块的转置图像块；
利用第一矩阵模型，对上述任一图像块和该任一图像块的转置图像块进行处理，得到第一矩阵；
所述第一矩阵模型为：
Cre＝(I×I′)/M
式中，Cre表示第一矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
利用第二矩阵模型，对所述任一图像块和该任一图像块的转置图像块进行处理，得到第二矩阵；
所述第二矩阵模型为：
Ctr＝(I′×I)/M
式中，Ctr表示第二矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
设置互信息序列R，上述R＝{2，4，…，2×P}；
利用区域互信息模型，遍历上述互信息序列R，对上述互信息序列R中每个值r，计算一次区域互信息，得到该任一图像块对应的区域互信息集，上述区域互信息集包括P组区域互信息，上述r∈R；
上述区域互信息模型为
RMI＝Hg(CA)+Hg(CB)-Hg(C)
其中，Hg(X)表达式为：
Hg(X)＝ln((2πe)r/2det(X)1/2)
式中，RMI表示区域互信息，C表示第一矩阵Cre或第二矩阵Ctr由一个大小r×r的窗口所覆盖的子矩阵，CA和CB分别表示矩阵C中位于左上角和右下角的两个r/2×r/2大小的矩阵；X表示C、或CA、或CB；r∈R；
S2122、循环执行步骤S2121，完成K个图像块中所有图像块区域互信息处理，得到K个区域互信息集。
可见，实施本实施例所描述的图像质量评估方法，所计算的区域互信息在互信息的基础上引入了图像像素点空间相关性，使图像信息熵更加平滑，更具鲁棒性。
在又一个可选的实施例中，上述遍历上述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集，包括：
S2131、从K个区域互信息集选取任一区域互信息集，对上述任一区域互信息集利用非降采样剪切波模型进行频域变换处理，得到与上述任一区域互信息集的频域图像集；上述频域图像集包括P组频域图像对，每组频域图像对包括高频子带图像和低频子带图像；
S2132、循环执行步骤S2131，完成上述K个区域互信息集中所有区域互信息集频域变换处理，得到K个频域图像集。
在又一个可选的实施例中，上述从K个区域互信息集选取任一区域互信息集，对上述任一区域互信息集利用非降采样剪切波模型进行频域变换处理，得到与上述任一区域互信息集的频域图像集，包括：
对上述任一区域互信息集中任一组区域互信息，利用非降采样剪切波模型进行频域变换处理，得到与上述任一组区域互信息对应的频域图像对；
上述非降采样剪切波模型为：
(HRMI,LRMI)＝NSST(RMI)
式中，HRMI、LRMI分别为经过非降采样剪切波变换后的高频子带图像和低频子带图像，NSST表示非降采样剪切波变换，RMI表示区域互信息；
其中，区域互信息RMI采用如下公式进行求解：
ΓAB(Ψ)＝{Ψj,l,k(x)＝|detA|j/2Ψ(BlAjx-k):j,l∈Z,k∈Z2}
式中，x表示区域互信息RMI，j表示分解尺度，l表示集合方向参数，k表示平移参数；A和B均为二维可逆矩阵，Z表示整数，Z2表示二维整数集，det(·)表示矩阵行列式。
可见，实施本实施例所描述的图像质量评估方法，通过引入非降采样剪切波变换作为频域变换工具，使提取的特征同时具有方向敏感性、多尺度性以及平移不变性，并且具有稀疏表达特点，以此为基础设计的图像质量评价方法鲁棒性更好、准确性更优。
在又一个可选的实施例中，对上述K个频域图像集进行处理，得到第一图像特征，包括：
S2141、遍历上述K个频域图像集，对任一的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集；上述区域互信息的描述特征集包括P组区域互信息的描述特征，上述区域互信息的描述特征包括低频均值和高频方差值；
S2142、对上述K个区域互信息的描述特征集进行求均值计算，得到第一图像特征；第一图像特征包括P组频域特征，每组频域特征包括低频特征和高频特征。
在又一个可选的实施例中，遍历上述K个频域图像集，对任一的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集，包括：
S21411、对上述任一的频域图像集中任一组频域图像对进行处理，得到与上述任一组频域图像对对应的区域互信息的描述特征，具体的：
对上述任一组频域图像对中低频子带图像求取均值，得到与上述任一组频域图像对对应的低频均值；具体的：
式中，μL表示低频均值，S为低频子带图像系数个数，表示低频子带图像第i个系数；
对上述任一组频域图像对中高频子带图像求取方差，得到与上述任一组频域图像对对应的高频方差值；具体的：
其中，表示高频方差值，W为高频子带图像系数个数，/>表示高频子带图像第i个系数，μH为高频子带图像的均值，μH计算公式为：
对所述低频均值和所述高频方差值进行组合处理，得到该所述任一组频域图像对对应的区域互信息的描述特征；所述区域互信息的描述特征为
S21412、循环执行步骤S21411，对上述K个频域图像集中所有的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集。
在又一个可选的实施例中，对上述K个区域互信息的描述特征集进行求均值计算，得到第一图像特征，包括：
S21421、从上述K个区域互信息的描述特征集中，提取每个区域互信息对应的区域互信息的描述特征，进行均值计算，得到该区域互信息对应的频域特征；上述频域特征包括低频特征和高频特征；
上述低频特征为：
式中，μ表示低频特征，μLr表示区域互信息r对应的低频均值，{μLr}k表示第k个区域互信息的描述特征中与区域互信息r对应的描述特征中的低频均值，上述r∈R；
上述高频特征为：
式中，σ2表示高频特征，表示区域互信息r对应的高频方差值，/>表示第k个区域互信息的描述特征中与区域互信息r对应的描述特征中的高频方差值，上述r∈R；
S21422、循环执行步骤S21421，对上述K个区域互信息的描述特征集中所有的区域互信息的描述特征进行处理，得到第一图像特征；上述第一图像特征包括P组频域特征，每组所述频域特征包括低频特征和高频特征。
在又一个可选的实施例中，步骤S22中对待评价图像进行降采样，生成第二尺度的图像；包括：
S221、从待评价图像中删除图像的偶数行，得到行降采样图像；
S222、从上述行降采样图像中删除图像的偶数列，生成第二尺度的图像。
行降采样
在又一个可选的实施例中，步骤S24中对第一图像特征和第二图像特征融合处理，得到待评价图像特征向量，包括：
在第一图像特征后拼接第二图像特征，得到待评价图像特征向量。
在又一个可选的实施例中，步骤S3中对预设的质量评价初始模型进行训练，得到质量评价模型，包括：
S31、获取图像库；上述图像库包括L种失真类型的图像；所述L为失真类型的数目；
S32、将图像库分为训练集和测试集；训练集和测试集都包括L个子集，每个所述子集只包含一种失真类型的图像；
S33、对上述训练集中训练图像进行特征提取处理，得到训练图像特征向量集；需要说明的是，上述“进行特征提取处理”与步骤S21中所述的“进行特征提取”处理过程相同；
需要说明的是，上述训练图像特征训练集可表示为{(U(1),a(1)),…,(U(j),a(j)),…,(U(J),a(J))}，其中，U(j)为第j个训练图像对应的图像特征向量，J为训练集中的图像样本个数，即j＝1,…,J，a(j)∈{1,…,L}为U(j)的失真类型标签，L为失真类型个数。
S34、利用上述训练图像特征向量集对预设的质量评价初始模型进行训练，得到质量评价模型；上述质量评价初始模型包括多类支持向量机失真分类初始模型和支持向量机回归初始模型；
上述多类支持向量机失真分类初始模型为：
上述支持向量机回归初始模型为：
式中，fl(U)表示多类支持向量机失真分类初始模型，fr(U)表示支持向量机回归初始模型，ωc、ωr分别为fl(U)、fr(U)的权重参数，bc、br分别为fl(U)、fr(U)的偏置参数，φr(U)、φc(U)分别为fl(U)、fr(U)的非线形映射函数；
S35、利用测试集对所述质量评价模型进行测试，得到测试结果。
在又一个可选的实施例中，步骤S4中利用质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值；包括：
S41、利用所述多类支持向量机失真分类模型，对所述待评价图像特征向量进行处理，得到图像失真度分值向量；所述图像失真度分值向量为L维向量，其中每一维表征该维度对应的失真类型的失真度分值；
S42、利用所述支持向量机回归模型，对所述待评价图像特征向量进行处理，得到图像质量分数向量；所述图像质量分数向量为L维向量，其中每一维表征该维度对应的失真类型的图像质量分数值；
S43、利用加权求和模型，对所述图像失真度分值向量和所述图像质量分数向量进行加权计算，得到待评价图像质量评估分值；
所述加权求和模型为：
其中，表示待评价图像质量评估分值，pl表示图像失真度分值向量的第l维分量，ql表示图像质量分数向量的第l维分量，L表示失真类型的数目。
可见，实施本实施例所描述的图像质量评估方法，针对现有方法仅通过简单线性加权及归一化处理图像特征进行图像质量预测，容易受特征中的奇异值如噪声的影响，构建了基于支持向量机的非线形的图像质量预测模型，以平滑特征中奇异值的影响。
实施例二
请参阅图2。图2为本发明实施例公开的一种图像质量评估装置结构示意图。如图2所示，本发明实施例公开的一种图像质量评估装置，包括；
图像获取模块201；用于获取待评价图像；
图像特征提取模块202；用于对所述待评价图像进行特征提取处理，得到待评价图像特征向量；
模型训练模块203；用于对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价初始模型包括多类支持向量机失真分类初始模型和支持向量机回归初始模型；
图像质量预测模块204；用于利用所述质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值。
需要说明的是，实施例二公开的一种图像质量评估装置，是实施例一公开的一种图像质量评估方法对应的产品实施例，具体处理步骤及方法相同，在实施例二中不再赘述。
需要说明的是，以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种图像质量评估方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种图像质量评估方法，其特征在于，所述方法包括：
S1、获取待评价图像；
S2、对所述待评价图像进行特征提取处理，得到待评价图像特征向量；
S3、对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价模型包括多类支持向量机失真分类模型和支持向量机回归模型；
S4、利用质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值。
2.根据权利要求1所述的图像质量评估方法，其特征在于，所述对所述待评价图像进行特征提取处理，得到待评价图像特征向量，包括：
S21、对所述待评价图像进行区域互信息频域特征提取，得到第一图像特征；
S22、对所述待评价图像进行降采样，生成第二尺度的图像；
S23、对所述第二尺度的图像进行区域互信息频域特征提取，得到第二图像特征；
S24、对所述第一图像特征和所述第二图像特征融合处理，得到待评价图像特征向量。
3.根据权利要求2所述的图像质量评估方法，其特征在于，所述对所述待评价图像进行区域互信息频域特征提取，得到第一图像特征，包括：
S211、将待评价图像进行分块操作，得到K个图像块；每个所述图像块的长和宽都为M个像素，所述M∈{4，6，8，10}；
S212、遍历所述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集；每个所述区域互信息集包括P组区域互信息，所述P∈{4，6，8}；
S213、遍历所述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集；每个所述频域图像集P组频域图像对，每组所述频域图像对包括高频子带图像和低频子带图像；
S214、对所述K个频域图像集进行处理，得到第一图像特征；所述第一图像特征包括P组频域特征，每组所述描述频域特征包括低频特征和高频特征。
4.根据权利要求3所述的图像质量评估方法，其特征在于，所述遍历所述K个图像块，对所有图像块进行区域互信息处理，得到K个区域互信息集，包括：
S2121、从所述K个图像块选取任一图像块，对所述任一图像块进行区域互信息处理，得到与所述任一图像块对应的区域互信息集，具体的：
对所述任一图像块进行转置，得到该任一图像块的转置图像块；
利用第一矩阵模型，对所述任一图像块和该任一图像块的转置图像块进行处理，得到第一矩阵；
所述第一矩阵模型为：
Cre＝(I×I′)/M
式中，Cre表示第一矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
利用第二矩阵模型，对所述任一图像块和该任一图像块的转置图像块进行处理，得到第二矩阵；
所述第二矩阵模型为：
Ctr＝(I′×I)/M
式中，Ctr表示第二矩阵，I表示任一图像块，I′表示该任一图像块的转置图像；
设置互信息序列R，所述R＝{2，4，…，2×P}；
利用区域互信息模型，遍历所述互信息序列R，对所述互信息序列R中每个值r，计算一次区域互信息，得到所述任一图像块对应的区域互信息集，所述区域互信息集包括P组区域互信息，所述r∈R；
所述区域互信息模型为：
RMI＝Hg(CA)+Hg(CB)-Hg(C)
其中，Hg(X)表达式为：
Hg(X)＝ln((2πe)r/2det(X)1/2)
式中，RMI表示区域互信息，C表示第一矩阵Cre或第二矩阵Ctr由一个大小r×r的窗口所覆盖的子矩阵，CA和CB分别表示矩阵C中位于左上角和右下角的两个r/2×r/2大小的矩阵；X表示C、或CA、或CB；r∈R；
S2122、循环执行步骤S2121，完成所述K个图像块中所有图像块区域互信息处理，得到K个区域互信息集。
5.根据权利要求3所述的图像质量评估方法，其特征在于，所述遍历所述K个区域互信息集，对所有区域互信息集进行频域变换处理，得到K个频域图像集，包括：
S2131、从所述K个区域互信息集选取任一区域互信息集，对所述任一区域互信息集进行非降采样剪切波变换处理，得到与所述任一区域互信息集对应的频域图像集；所述频域图像集包括高频子带图像和低频子带图像；
S2132、循环执行步骤S2131，完成所述K个区域互信息集中所有区域互信息集频域变换处理，得到K个频域图像集。
6.根据权利要求3所述的图像质量评估方法，其特征在于，所述对所述K个频域图像集进行处理，得到第一图像特征，包括：
S2141、遍历所述K个频域图像集，对任一的频域图像集进行处理，得到与K个频域图像集对应的K个区域互信息的描述特征集；所述区域互信息的描述特征集包括P组区域互信息的描述特征，所述区域互信息的描述特征包括低频均值和高频方差值；
S2142、对所述K个区域互信息的描述特征集进行求均值计算，得到第一图像特征；所述第一图像特征包括P组频域特征，每组所述描述频域特征包括低频特征和高频特征。
7.根据权利要求2所述的图像质量评估方法，其特征在于，所述对所述第一图像特征和所述第二图像特征融合处理，得到待评价图像特征向量，包括：
在所述第一图像特征后拼接所述第二图像特征，得到待评价图像特征向量。
8.根据权利要求1所述的图像质量评估方法，其特征在于，所述对预设的质量评价初始模型进行训练，得到质量评价模型，包括：
S31、获取图像库；所述图像库包括L种失真类型的图像；所述L为失真类型的数目；
S32、将图像库分为训练集和测试集；所述训练集和测试集都包括L个子集，每个所述子集只包含一种失真类型的图像；
S33、对所述训练集中训练图像进行特征提取处理，得到训练图像特征向量集；
S34、利用所述训练图像特征向量集对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价初始模型包括多类支持向量机失真分类初始模型和支持向量机回归初始模型；
所述多类支持向量机失真分类初始模型为：
所述支持向量机回归初始模型为：
式中，fl(U)表示多类支持向量机失真分类初始模型，fr(U)表示支持向量机回归初始模型，ωc、ωr分别表示fl(U)、fr(U)的权重参数，bc、br分别表示fl(U)、fr(U)的偏置参数，φr(U)、φc(U)分别表示fl(U)、fr(U)的非线形映射函数；
S35、利用所述测试集对所述质量评价模型进行测试，得到测试结果。
9.根据权利要求8所述的图像质量评估方法，其特征在于，利用质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值；包括：
S41、利用所述多类支持向量机失真分类模型，对所述待评价图像特征向量进行处理，得到图像失真度分值向量；
S42、利用所述支持向量机回归模型，，对所述待评价图像特征向量进行处理，得到图像质量分数向量；
S43、利用加权求和模型，对所述图像失真度分值向量和所述图像质量分数向量进行加权计算，得到待评价图像质量评估分值；
所述加权求和模型为：
其中，O表示待评价图像质量评估分值，pl表示图像失真度分值向量的第l维分量，ql表示图像质量分数向量的第l维分量，L表示失真类型的数目。
10.一种图像质量评估装置，其特征在于，所述装置包括：
图像获取模块；用于获取待评价图像；
图像特征提取模块；用于对所述待评价图像进行特征提取处理，得到待评价图像特征向量；
模型训练模块；用于对预设的质量评价初始模型进行训练，得到质量评价模型；所述质量评价模型包括多类支持向量机失真分类模型和支持向量机回归模型；
图像质量预测模块；用于利用所述质量评价模型对所述待评价图像特征向量进行处理，得到待评价图像质量评估分值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410037570.1A CN117876321A (zh) | 2024-01-10 | 2024-01-10 | 一种图像质量评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410037570.1A CN117876321A (zh) | 2024-01-10 | 2024-01-10 | 一种图像质量评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117876321A true CN117876321A (zh) | 2024-04-12 |
Family
ID=90582435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410037570.1A Pending CN117876321A (zh) | 2024-01-10 | 2024-01-10 | 一种图像质量评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876321A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540048A (zh) * | 2009-04-21 | 2009-09-23 | 北京航空航天大学 | 一种基于支持向量机的图像质量评价方法 |
| CN104023230A (zh) * | 2014-06-23 | 2014-09-03 | 北京理工大学 | 一种基于梯度关联性的无参考图像质量评价方法 |
| CN104915945A (zh) * | 2015-02-04 | 2015-09-16 | 中国人民解放军海军装备研究院信息工程技术研究所 | 一种基于区域互信息的无参考图像质量评价方法 |
| CN106815839A (zh) * | 2017-01-18 | 2017-06-09 | 中国科学院上海高等研究院 | 一种图像质量盲评估方法 |
| US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
| CN110415207A (zh) * | 2019-04-30 | 2019-11-05 | 杭州电子科技大学 | 一种基于图像失真类型的图像质量评估的方法 |
| CN111709914A (zh) * | 2020-05-27 | 2020-09-25 | 西安理工大学 | 一种基于hvs特性的无参考图像质量评价方法 |
| CN113298147A (zh) * | 2021-05-25 | 2021-08-24 | 长春大学 | 基于区域能量和直觉模糊集的图像融合方法及装置 |
-
2024
- 2024-01-10 CN CN202410037570.1A patent/CN117876321A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540048A (zh) * | 2009-04-21 | 2009-09-23 | 北京航空航天大学 | 一种基于支持向量机的图像质量评价方法 |
| CN104023230A (zh) * | 2014-06-23 | 2014-09-03 | 北京理工大学 | 一种基于梯度关联性的无参考图像质量评价方法 |
| CN104915945A (zh) * | 2015-02-04 | 2015-09-16 | 中国人民解放军海军装备研究院信息工程技术研究所 | 一种基于区域互信息的无参考图像质量评价方法 |
| US20170177975A1 (en) * | 2015-12-21 | 2017-06-22 | Ningbo University | Image quality objective evaluation method based on manifold feature similarity |
| CN106815839A (zh) * | 2017-01-18 | 2017-06-09 | 中国科学院上海高等研究院 | 一种图像质量盲评估方法 |
| CN110415207A (zh) * | 2019-04-30 | 2019-11-05 | 杭州电子科技大学 | 一种基于图像失真类型的图像质量评估的方法 |
| CN111709914A (zh) * | 2020-05-27 | 2020-09-25 | 西安理工大学 | 一种基于hvs特性的无参考图像质量评价方法 |
| CN113298147A (zh) * | 2021-05-25 | 2021-08-24 | 长春大学 | 基于区域能量和直觉模糊集的图像融合方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| MOORTHY A K, ET AL.: "A two-step framework for constructing blind image quality indices", 《IEEE》, 31 December 2010 (2010-12-31), pages 513 - 516 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Information content weighting for perceptual image quality assessment | |
| Li et al. | Image sharpness assessment by sparse representation | |
| Mittal et al. | No-reference image quality assessment in the spatial domain | |
| Zhang et al. | A feature-enriched completely blind image quality evaluator | |
| Saha et al. | Utilizing image scales towards totally training free blind image quality assessment | |
| Zhang et al. | An algorithm for no-reference image quality assessment based on log-derivative statistics of natural scenes | |
| Jia et al. | Image denoising via sparse representation over grouped dictionaries with adaptive atom size | |
| Yeganeh et al. | Objective quality assessment of interpolated natural images | |
| CN109003265A (zh) | 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法 | |
| CN108399620B (zh) | 一种基于低秩稀疏矩阵分解的图像质量评价方法 | |
| Moorthy et al. | Visual perception and quality assessment | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| Lu et al. | A no-reference image quality assessment approach based on steerable pyramid decomposition using natural scene statistics | |
| CN117876321A (zh) | 一种图像质量评估方法及装置 | |
| Ye et al. | Image enhancement method based on bilinear interpolating and wavelet transform | |
| Boztoprak | An alternative image quality assessment method for blurred images | |
| CN111325720B (zh) | 一种多视觉特征集成的无参考超分辨图像质量评价方法 | |
| Chilukuri et al. | Analysing Of Image Quality Computation Models Through Convolutional Neural Network | |
| Zeng et al. | Perceptual quality assessment of denoised images | |
| Sun et al. | Blind video quality assessment based on multilevel video perception | |
| AKINTOYE et al. | COMPOSITE MEDIAN WIENER FILTER BASED TECHNIQUE FOR IMAGE ENHANCEMENT. | |
| Han et al. | A robust method based on ICA and mixture sparsity for edge detection in medical images | |
| Yang et al. | New image filtering technique combining a wavelet transform with a linear neural network: application to face recognition | |
| Sadou et al. | No reference image quality assessment: Feature fusion using relevance vector machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |