CN109754391B - 一种图像质量评价方法、装置及电子设备 - Google Patents
一种图像质量评价方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109754391B CN109754391B CN201811552378.7A CN201811552378A CN109754391B CN 109754391 B CN109754391 B CN 109754391B CN 201811552378 A CN201811552378 A CN 201811552378A CN 109754391 B CN109754391 B CN 109754391B
- Authority
- CN
- China
- Prior art keywords
- block
- image
- neural network
- value
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000003062 neural network model Methods 0.000 claims description 160
- 238000012549 training Methods 0.000 claims description 103
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012163 sequencing technique Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像质量评价方法、装置及电子设备，该方法包括：获取待评价图像；按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；对待评价图像进行显著性检测；根据显著性检测结果，计算获得待评价图像中各个分块的显著性均值；将各个分块的显著性均值作为各个分块的权重，对各个分块的预测MOS值进行加权平均，得到待评价图像的最终MOS值。本发明实施例考虑了图像各局部对图像质量的不同影响，通过计算显著性为图像各局部分配权重，使得图像质量评价结果更加接近人眼的主观观测。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像质量评价方法、装置及电子设备。
背景技术
目前，图像质量评价可以分为客观评价方法和主观评价方法。根据评价时是否需要参考图像，客观评价方法又包括全参考、半参考和无参考三种类型。由于无失真的参考图像在实际应用中难以得到，因此无参考图像质量评价方法有着更广泛的应用范围，更具有实用价值。
深度学习常被应用于图像质量的无参考客观评价。通常做法是：先提取一定的图像变换域或空间特征，再利用已知图像质量的训练样本训练一个回归分析模型，最后由图像特征预测图像质量。该类方法都是对整张图像统一处理，即对一张图像来说，各个局部对整幅图像的质量评价的影响是一样大的。但是，从人类的视觉特性出发，人眼的对焦点是有限的。当我们看到一幅图像时，注意力会迅速集中到“感兴趣”的区域，即对整张图像的观测实质上是对图像中“感兴趣”物体的观测，图像质量的好坏也在很大程度上也取决于这些“感兴趣”的区域。
因此，现有技术在进行图像质量评价时没有考虑到不同局部对图像质量的不同影响，获得的图像质量评价结果可能与人眼的主观观测不符。
发明内容
本发明实施例的目的在于提供一种图像质量评价方法、装置及电子设备，以获得更符合人眼主观质量评价的图像质量评价结果。具体技术方案如下：
第一方面，本发明实施例提供了一种图像质量评价方法，所述方法包括：
获取待评价图像；
按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；
分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；所述的MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型；
对所述待评价图像进行显著性检测；
根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值；
将各个分块的显著性均值作为各个分块的权重，对所述各个分块的预测MOS值进行加权平均，得到所述待评价图像的最终MOS值。
可选的，所述MOS值预测模型采用如下步骤训练获得：
获取多个第一类训练样本；其中每个第一类训练样本包括样本图像及该样本图像的真实MOS值；
分别将各个样本图像裁剪为多个样本分块；
将预设数量个样本分块输入待训练神经网络模型；所述待训练神经网络模型为预设的初始神经网络模型；
利用待训练神经网络模型的输出结果，确定各个输入的样本分块的预测MOS值；
根据显著性检测算法，确定各个输入的样本分块的显著性均值；
使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值；
根据第一损失值判断待训练神经网络模型是否收敛；如果收敛，则待训练神经网络模型为训练完成的MOS值预测模型；
如果未收敛，则调整待训练神经网络模型的网络参数，并返回所述将预设数量个样本分块输入待训练神经网络模型的步骤。
可选的，所述预设的第一损失函数为：
其中，θ为所述待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
可选的，所述预设的初始神经网络模型为预先训练好的孪生神经网络模型的任一分支神经网络；
所述孪生神经网络模型，采用如下步骤训练获得：
获取多个第二类训练样本；所述第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像；
获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像；
根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值；
获取所述两张当前合成图像中与所述第一局部子块位置相同的两个第二局部子块：第一子块和第二子块；
分别将所述第一子块和所述第二子块，输入待训练孪生神经网络模型的两个分支神经网络；所述待训练孪生神经网络模型初始为预设的初始孪生神经网络模型；
利用两个分支神经网络分别提取所述第一子块的质量特征和所述第二子块的质量特征；
使用获得的所述第一子块的质量特征、所述第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值；
根据第二损失值判断待训练孪生神经网络模型是否收敛；如果收敛，则待训练孪生神经网络模型为训练完成的孪生神经网络模型；
如果未收敛，则调整待训练孪生神经网络模型的网络参数，并返回所述获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像的步骤。
可选的，所述的第二损失函数为：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为所述待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为所述两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
可选的，所述对所述待评价图像进行显著性检测的步骤，包括：
根据显著性检测算法，确定待评价图像中各个像素点的显著性值；
所述根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值的步骤，包括：
按照所述预设的图像裁剪方式，采用如下公式计算所述待评价图像中各个分块的显著性均值：
其中，M、N分别为所述待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
第二方面，本发明实施例提供了一种图像质量评价装置，所述装置包括：
获取单元，用于获取待评价图像；
裁剪单元，用于按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；
预测单元，用于分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；所述的MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型；
显著性检测单元，用于对所述待评价图像进行显著性检测；
显著性均值计算单元，用于根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值；
质量评价单元，用于将各个分块的显著性均值作为各个分块的权重，对所述各个分块的预测MOS值进行加权平均，得到所述待评价图像的最终MOS值。
可选的，所述MOS值预测模型采用第一训练单元获得；
所述第一训练单元，包括：
第一样本获取模块，用于获取多个第一类训练样本；其中每个第一类训练样本包括样本图像及该样本图像的真实MOS值；
第一样本裁剪模块，用于分别将各个样本图像裁剪为多个样本分块；
第一输入模块，用于将预设数量个样本分块输入待训练神经网络模型；所述待训练神经网络模型为预设的初始神经网络模型；
MOS值确定模块，用于利用待训练神经网络模型的输出结果，确定出各个输入的样本分块的预测MOS值；
第一显著性均值确定模块，用于根据显著性检测算法，确定各个输入的样本分块的显著性均值；
第一损失值确定模块，用于使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值；
第一收敛判断模块，用于根据第一损失值判断待训练神经网络模型是否收敛；如果收敛，则待训练神经网络模型为训练完成的MOS值预测模型；
第一模型参数调整模块，用于如果未收敛，则调整待训练神经网络模型的网络参数，并触发所述MOS值确定模块将预设数量个样本分块输入待训练神经网络模型。
可选的，所述第一损失值确定模块，采用如下第一损失函数计算第一损失值：
其中，θ为所述待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
可选的，所述预设的初始神经网络模型为采用第二训练单元预先训练好的孪生神经网络模型的任一分支神经网络；
所述第二训练单元，包括：
第二样本获取模块，用于获取多个第二类训练样本；所述第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像；
图像获取模块，用于获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像；
第二显著性均值确定模块，用于根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值；
局部子块获取模块，用于获取所述两张当前合成图像中与所述第一局部子块位置相同的两个第二局部子块：第一子块和第二子块；
第二输入模块，用于分别将所述第一子块和所述第二子块，输入待训练孪生神经网络模型的两个分支神经网络；所述待训练孪生神经网络模型初始为预设的初始孪生神经网络模型；
质量特征提取模块，用于利用两个分支神经网络分别提取所述第一子块的质量特征和所述第二子块的质量特征；
第二损失值确定模块，用于使用获得的所述第一子块的质量特征、所述第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值；
第二收敛判断模块，用于根据第二损失值判断待训练孪生神经网络模型是否收敛；如果收敛，则待训练孪生神经网络模型为训练完成的孪生神经网络模型；
第二模型参数调整模块，用于如果未收敛，则调整待训练孪生神经网络模型的网络参数，并触发所述图像获取模块获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像。
可选的，所述第二损失值确定模块，采用如下第二损失函数计算第二损失值：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为所述待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为所述两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
可选的，所述显著性检测单元，包括：
显著性值确定模块，用于根据显著性检测算法，确定待评价图像中各个像素点的显著性值；
所述显著性均值计算单元，包括：
均值计算模块，用于按照所述预设的图像裁剪方式，采用如下公式计算所述待评价图像中各个分块的显著性均值：
其中，M、N分别为所述待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序，实现第一方面任一所述的方法步骤。
本发明实施例提供的一种图像质量评价方法、装置及电子设备，通过将待评价图像裁剪为的各个分块输入预先训练好的主观质量评分MOS值预测模型，获得各个分块的预测MOS值，然后对待评价图像进行显著性检测，根据显著性检测的结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种图像质量评价方法的原理示意图；
图1b为本发明实施例提供的一种图像质量评价方法的流程示意图；
图2为本发明实施例提供的一种显著性图计算方法的显著性图示例图；
图3为本发明实施例提供的一种主观质量评分MOS值预测模型训练方法的流程示意图；
图4为本发明实施例提供的一种主观质量评分MOS值预测模型训练方法的原理示意图；
图5为本发明实施例提供的另一种主观质量评分MOS值预测模型训练方法的流程示意图；
图6为本发明实施例提供的一种孪生神经网络的结构示意图；
图7为本发明实施例提供的一种图像质量评价装置的结构示意图；
图8为本发明实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了得到更符合人眼主观观测的图像质量评价结果，本发明实施例提供了一种图像质量评价方法、装置及电子设备。通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
作为本发明实施例的一种实施方式，如图1a所示，本发明实施例提供的一种图像质量评价方法，首先按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；然后将裁剪得到的各个分块输入预先训练好的主观质量评分MOS值预测模型，得到各分块的预测MOS值；对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值；最后将各分块的显著性均值作为权重，与各个分块的预测MOS值加权平均，得到待评价图像的最终MOS值，即图像质量评价结果。
具体的，如图1b所示，该方法包括：
S101，获取待评价图像。
在本发明实施例中，获取的待评价图像可以由用户输入，可以为拍摄的照片，也可以为在视频中截取的某一帧图像，本发明实施例不对其加以限制。
S102，按照预设的图像裁剪方式，将待评价图像裁剪为多个分块。
本实施例中，可以按预设的裁剪方法，将待评价图像平均裁剪为大小相同的若干个分块。例如，可以将大小为1024×1024像素的待评价图像裁剪为64个128×128像素的分块。
S103，分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；所述的MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型。
S104，对待评价图像进行显著性检测。
本步骤中可以对待评价图像进行显著性检测，计算获得显著性图，得到待评价图像中各个像素点的显著性值。
可选的，所述待评价图像的显著性图可以采用剩余谱算法计算得到：
步骤一，将待评价图像转换为灰度图像。
在实际应用中，若待评价图像为彩色图像，则将其转换为灰度图像；若待评价图像为灰度图像，则进行步骤二。
步骤二，计算待评价图像的对数幅度谱。
具体的，对转换得到的灰度图像中的各个像素点进行快速傅里叶变换，得到其幅度谱A(f)与相位谱P(f)，根据公式L(f)＝log(A(f))计算得到待评价图像的对数幅度谱。
步骤三，计算待评价图像的新颖信息。
具体的，可以选取一个3*3的均值滤波器hn(f)对待评价图像的对数幅度谱L(f)滤波，根据公式R(f)＝L(f)-hn(f)*L(f)计算得到剩余谱R(f)，即待评价图像中包含的新颖信息部分。
步骤四，利用剩余谱R(f)与相位谱P(f)重构图像，并进行高斯滤波，根据公式s(x)＝g(x)*f-1[exp(R(f)+P(f))]2计算得到待评价图像的显著性图。其中，g(x)为高斯滤波器，f-1为傅里叶逆变换，s(x)为待评价图像的显著性图，图中各个像素点的像素值即为所述待评价图像各个像素点的显著性值。
可选的，待评价图像的显著性图可以使用基于图论的显著性算法计算得到：
步骤一，构建待评价图像的高斯金字塔。
具体的，输入待评价图像，利用高斯滤波器平滑图像，然后对其进行降采样，构建高斯金字塔。例如，输入大小为1024×1024的待评价图像，使用5×5的高斯滤波器对其进行滤波，然后通过降采样构建5层的高斯金字塔。其中，高斯金字塔的第0层为源图像，经1/2降采样得到第二层，以此类推，高斯金字塔中第4层的图像大小为输入图像的1/16，即64×64。
步骤二，分别对高斯金字塔中的每一层图像提取颜色特征、亮度特征和方向特征，得到亮度高斯金字塔、颜色高斯金字塔和方向高斯金字塔。其中，方向特征包括0°，45°，90°，135°四个方向的信息。
步骤三，各高斯金字塔中每一层的图像M以像素为节点，将M的每个像素点都两两相连，得到一个无向图。
步骤四，将节点之间的欧式距离作为其对应节点连成的边的权重w，并归一化至[0,1]。
步骤五，计算权重矩阵并按列归一化，得到马尔科夫矩阵。
步骤六，计算马尔科夫矩阵最大谱对应的特征向量，插值回原图得到特征图。
步骤七，将各个特征的特征图点对点相加，得到待评价图像的显著性图，每个像素点的像素值即为其显著性值。
如图2所示，其中左图为待评价图像转换得到的灰度图像，右图为该待评价图像的显著性图。
可以理解的是，显著性检测模拟了人眼的视觉特性，能够计算出最能引起用户兴趣、最能表现图像内容的区域。显著性图中像素值越大，则代表显著性越强，对图像质量的影响越大；反之，像素值越小，则代表显著性越弱，对图像质量的影响越小。
S105，根据显著性检测结果，计算获得各个分块的显著性均值。
计算获得待评价图像的显著性图后，可以按照预设的裁剪方式将显著性图裁剪为多个分块。这里采用的裁剪方式与步骤S102相同，这样对显著性图裁剪得到的多个分块与步骤S102中裁剪得到的多个分块完全相同。
然后，可以使用如下公式计算各个分块的显著性均值：
其中，M、N分别为待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
显著性图是对场景中突出特征的反映。为了进一步确定整幅图像中最为显著的区域，要先对待评价图像整体计算显著性，再对显著性图分块，计算显著性均值。这样，与先将待评价图像分块再计算显著性图得到的显著区域的方式相比，能够减少与人眼的主观观测之间的误差。
S106，将各个分块的显著性均值作为各个分块的权重，对各个分块的预测MOS值进行加权平均，得到待评价图像的最终MOS值。
具体的，待评价图像的最终MOS值可以采用如下公式计算：
其中，n为待评价图像裁剪得到的分块的数量，Sk为待评价图像中第k个分块的显著性均值，
为第k个分块的预测MOS值。
显然，本发明实施例提供的一种图像质量评价方法，利用显著性检测算法计算显著性均值，显著性均值越大权重就越大，显著性均值越大可以表明用户对分块感兴趣的程度越高。因此，利用显著性均值作为权重，可以使得用户感兴趣的分块的权重会被置为较大值，而对背景等非感兴趣的分块的权重会被置为较小值。采用这种方式来进行图像质量评价，与人眼的主观评价一致性较高。
本发明实施例提供的一种图像质量评价方法，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
本发明实施例中至少可以采用两种方式训练MOS值预测模型：
作为本发明实施例的一种实施方式，如图3所示，本发明实施例提供的一种主观质量评分MOS值预测模型的训练方法，可以包括：
S301，获取多个第一类训练样本；其中每个第一类样本包括样本图像及该样本图像的真实MOS值。
S302，分别将各个样本图像裁剪为多个样本分块。
可以理解的是，在训练MOS值预测模型时，样本图像的裁剪方法可以与待评价图像进行质量评价时的裁剪方法相同，能够避免由于分块尺度不同导致的MOS值预测不够准确的问题。
S303，将预设数量个样本分块输入待训练神经网络模型；待训练神经网络模型为预设的初始神经网络模型。
S304，利用待训练神经网络模型的输出结果，确定各个输入的样本分块的预测MOS值。
可以理解的是，各个分块依次经过神经网络模型的输入层、隐层及输出层，得到当前神经网络模型计算出的该样本分块的预测MOS值。
S305，根据显著性检测算法，确定各个输入的样本分块的显著性均值。
S306，使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值。
具体的，第一损失函数可以为：
其中，θ为所述待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
S307，根据第一损失值判断待训练神经网络模型是否收敛，如果收敛，执行步骤S308；如果不收敛，执行步骤S309。
具体的，判断待训练神经网络模型是否收敛存在两种可实现方式，一种可实现方式是：按照预设第一损失函数计算出的第一损失值小于或者等于预设的误差值，则待训练神经网络模型收敛，训练完成；另一种可实现方式是：训练的次数达到预设迭代次数时，则待训练神经网络模型收敛，训练完成。
S308，待训练神经网络模型为训练完成的MOS值预测模型，训练完成。
S309，调整待训练神经网络模型的网络参数，并返回步骤S303。
由图1所示的实施例可见，本发明实施例提供的一种图像质量评价方法，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
作为本发明实施例的另一种实施方式，图4为本发明实施例提供的一种主观质量评分MOS值预测模型训练方法的原理示意图。MOS值预测模型的获得包括：孪生神经网络模型训练过程和MOS值预测模型训练过程。
在训练孪生神经网络模型时，首先对训练样本中的原始图像进行图像压缩、高斯模糊等降低图像质量的处理，得到人工合成的不同质量等级的合成图像，将所有原始样本图像和所有合成图像作为大规模质量排序数据集。
训练时，选取该数据集中基于当前原始样本图像合成的不同质量等级下的两张当前合成图像；先从当前原始样本图像中选择一个第一局部子块，并记录该第一局部子块在当前原始样本图像中的第一位置；再按照记录的该第一局部子块的第一位置，从两张当前合成图像中获取与所述第一位置相同位置的两个第二局部子块：第一子块和第二子块；分别将所述第一子块和所述第二子块，输入待训练孪生神经网络模型的两个分支神经网络，分别提取两个第二局部子块的质量特征，然后对两个第二局部子块进行显著性检测，通过第二损失函数学习两个第二局部子块的图像质量排序，并根据第二损失值调整待训练孪生神经网络模型的网络参数，直至收敛。
训练MOS值预测模型时，获得带有真实MOS值的图像作为训练样本。这里，具有真实MOS值的图像可以是失真图像，这些失真图像被存储至小型IQA(Image QualityAssessment，图像质量评价)数据集中。图6中示出了小型IQA数据集中的三幅失真图像，其真实的MOS值分别为36.9、26.7和60.0，MOS值越大，则代表图像的失真程度越小，即图像质量越好。对于这些失真图像，按照预设的裁剪方式，裁剪获得多个样本分块。选择训练好的孪生神经网络模型的任一分支作为待训练神经网络模型，将预设数量个样本分块作为输入，并对各个样本分块进行显著性检测，计算各个样本分块的显著性均值；使用各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值，微调待训练神经网络的网络结构和参数，直至收敛，训练完成的待训练神经网络模型即为MOS值预测模型，可用于预测图像的质量评分。
具体的训练方法，如图5所示，本发明实施例提供的另一种主观质量评分MOS值预测模型的训练方法，包括：
S501，获取多个第二类训练样本；所述第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像。
在实际应用中，对原始样本图像进行多种降低图像质量的操作，以得到不同质量等级的失真的合成图像，作为训练样本，用于孪生神经网络的训练。其中，不同质量等级的失真的合成图像可以包括白噪声失真、高斯模糊失真、图像压缩等，每种失真类型均伴有不同程度的失真，代表着不同的质量等级。
S502，获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像。
S503，根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值。
S504，获取两张当前合成图像中与第一局部子块位置相同的两个第二局部子块：第一子块和第二子块。
具体的，选取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像，按照与第一局部子块相对于当前原始样本图像的相同位置，从两张当前合成图像中分割出两个第二局部子块。例如，当前原始样本图像中大小为128×128像素的第一局部子块的顶点坐标分别为(0,0)、(0,127)、(127,0)、(127,127)，那么在不同质量等级下的两张当前合成图像中也分别选取顶点坐标分别为(0,0)、(0,127)、(127,0)、(127,127)的矩形区域进行分割，得到尺度相同的两个第二局部子块：第一子块和第二子块。
S505，分别将第一子块和第二子块，输入待训练孪生神经网络模型的两个分支神经网络；待训练孪生神经网络模型初始为预设的初始孪生神经网络模型。
S506，利用两个分支神经网络分别提取第一子块的质量特征和第二子块的质量特征。
具体的，分支神经网络通过卷积、池化等运算，完成对输入局部子块的特征提取，提取到的质量特征可以为一个高维矩阵。
S507，使用获得的第一子块的质量特征、第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值。
所述的第二损失函数为：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
S508，根据第二损失值判断待训练孪生神经网络模型是否收敛。如果收敛，执行步骤S509；如果不收敛，执行步骤S510。
所述孪生神经网络模型用于学习所述局部子块质量的排序。具体的，假设第二局部子块中第一子块的质量优于第二子块，质量排序标注为0。如果S·(f(x2；θ)-f(x1；θ)+ε)<0，则max(0,S·(f(x2；θ)-f(x1；θ)+ε))＝0，即第二损失值为0。此时第二损失函数的输出与预先对两个第二局部子块质量排序的标定一致，即待训练孪生神经网络对该对样本的质量排序正确。如果第二损失值不为0，则与预先对两个第二局部子块质量排序的标定不一致，即对样本的质量排序不正确，待训练孪生神经网络不收敛。
图6为孪生神经网络的结构示意图。如图6所示，孪生神经网络由两个结构及网络参数均相同的分支神经网络构成，该分支神经网络可以为卷积神经网络CNN。孪生神经网络模型的输入为一对图像样本及标定好的质量排序标签，每个分支神经网络负责处理其中的一张，样本图像依次经过分支神经网络CNN的卷积层、池化层以及全连接层，分别输出图像的质量特征；最后将两个图像样本的质量特征f(x1；θ)和f(x2；θ)代入第二损失函数，依据第二损失函数计算的第二损失值判断此时两个输入样本的质量排序是否正确，并调整两个分支神经网络的网络参数θ直至收敛。
可选的，可以采用梯度下降法调整待训练孪生神经网络模型中两个分支神经网络的网络参数θ。首先，以最小化损失函数为目标，对预设第二损失函数求导，得到如下梯度函数：
式中，
表示对第一子块的质量特征和第二子块的质量特征分别求取关于网络参数θ的导数。当f(x2；θ)-f(x1；θ)+ε≤0时，梯度函数
当f(x2；θ)-f(x1；θ)+ε＞0时，梯度函数
然后根据上式计算梯度函数值；当梯度函数值达到预设的精度ε时，迭代结束；否则，依据预设的学习率α调整分支神经网络模型的网络参数θ。例如，可以将预设的精度ε设置为0.05，所述梯度函数值达到预设的精度，即表示梯度函数的值小于或等于0.05。
S509，将待训练孪生神经网络模型作为训练完成的孪生神经网络模型，执行步骤S511。
S510，调整待训练孪生神经网络模型的网络参数，并返回获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像的步骤。
S511，从训练完成的孪生神经网络模型中选择一个分支作为初始神经网络模型，进行训练。具体的，可以按图3所示的流程对初始神经网络模型进行训练，获得最终的MOS值预测模型。
本发明实施例提供的一种图像质量评价方法，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
另外，考虑到神经网络的训练需要大量样本，而对每一幅样本图像进行主观评价不仅耗时长，工作量也十分巨大，因此带有真实MOS值的训练样本难以获得。本实施例中，可以采用孪生神经网络先对不同质量等级的样本图像进行训练，将已经训练好的孪生神经网络的任一分支作为初始神经网络，再使用带有真实MOS值的第一类训练样本对初始神经网络进行训练，利用其已经学习到的良好特征进行训练，适当地调整部分结构层及网络参数，有效解决了训练样本不足的问题。
作为本发明实施例的一种实施方式，如图7所示，本发明实施例提供的一种图像质量评价装置，包括：
获取单元710，用于获取待评价图像。
裁剪单元720，用于按照预设的图像裁剪方式，将待评价图像裁剪为多个分块。
预测单元730，用于分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型。
显著性检测单元740，用于对待评价图像进行显著性检测。
显著性均值计算单元750，用于根据显著性检测结果，计算获得待评价图像中各个分块的显著性均值。
质量评价单元760，用于将各个分块的显著性均值作为各个分块的权重，对各个分块的预测MOS值进行加权平均，得到待评价图像的最终MOS值。
本发明实施例提供的一种图像质量评价装置，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
作为本发明实施例的一种实施方式，该装置还包括：
第一训练单元，具体包括：
第一样本获取模块，用于获取多个第一类训练样本；其中每个第一类样本包括样本图像及该样本图像的真实MOS值。
第一样本裁剪模块，用于分别将各个样本图像裁剪为多个样本分块。
第一输入模块，用于将预设数量个样本分块输入待训练神经网络模型；待训练神经网络模型初始为预设的初始神经网络模型。
MOS值确定模块，用于利用待训练神经网络模型的输出结果，确定出各个输入的样本分块的预测MOS值。
第一显著性均值确定模块，用于根据显著性检测算法，确定各个输入的样本分块的显著性均值。
第一损失值确定模块，用于使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值。
第一收敛判断模块，用于根据第一损失值判断待训练神经网络模型是否收敛；如果收敛，则待训练神经网络模型为训练完成的MOS值预测模型。
第一模型参数调整模块，用于如果未收敛，则调整待训练神经网络模型的网络参数，并触发MOS值确定模块将预设数量个样本分块输入待训练神经网络模型。
作为本发明实施例的一种实施方式，该装置还包括第一损失值确定模块，具体用于：
采用如下第一损失函数计算第一损失值：
其中，θ为待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
作为本发明实施例的一种实施方式，该装置还包括：
第二训练单元，具体包括：
第二样本获取模块，用于获取多个第二类训练样本；第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像。
图像获取模块，用于获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像。
第二显著性均值确定模块，用于根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值。
局部子块获取模块，用于获取两张当前合成图像中与第一局部子块位置相同的两个第二局部子块：第一子块和第二子块。
第二输入模块，用于分别将第一子块和第二子块，输入待训练孪生神经网络模型的两个分支神经网络；待训练孪生神经网络模型初始为预设的初始孪生神经网络模型。
质量特征提取模块，用于利用两个分支神经网络分别提取第一子块的质量特征和第二子块的质量特征。
第二损失值确定模块，用于使用获得的第一子块的质量特征、第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值。
第二收敛判断模块，用于根据第二损失值判断待训练孪生神经网络模型是否收敛；如果收敛，则待训练孪生神经网络模型为训练完成的孪生神经网络模型。
第二模型参数调整模块，用于如果未收敛，则调整待训练孪生神经网络模型的网络参数，并触发局图像获取模块获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像。
作为本发明实施例的一种实施方式，该装置还包括第二损失值确定模块，具体用于：
采用如下第二损失函数计算第二损失值：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
作为本发明实施例的一种实施方式，所述显著性检测单元，包括：
显著性值确定模块，用于根据显著性检测算法，确定待评价图像中各个像素点的显著性值；
所述显著性均值计算单元，包括：
均值计算模块，用于按照所述预设的图像裁剪方式，采用如下公式计算所述待评价图像中各个分块的显著性均值：
其中，M、N分别为待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
本发明实施例提供的一种图像质量评价装置，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
存储器804，用于存放计算机程序。
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取待评价图像；
按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；
分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型；
对待评价图像进行显著性检测；
根据显著性检测结果，计算获得待评价图像中各个分块的显著性均值；
将各个分块的显著性均值作为各个分块的权重，对各个分块的预测MOS值进行加权平均，得到待评价图像的最终MOS值。
本发明实施例提供的一种电子设备，实现了图像质量的评价方法，通过将待评价图像裁剪为的各个分块输入基于神经网络的MOS值预测模型，获得各个分块的预测MOS值，并对待评价图像进行显著性检测，根据显著性检测结果，计算获得各个分块的显著性均值，最后将各个分块的预测MOS值及显著性均值加权平均，得到待评价图像的最终MOS值。避免了因未考虑图像各局部对图像质量影响不同而造成的图像质量评价结果与主观质量评价不符的结果，并且通过计算显著性为图像各局部分配权重，使得图像评价结果更加接近人眼的主观观测。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种图像质量评价方法，其特征在于，所述方法包括：
获取待评价图像；
按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；
分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；所述的MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型；所述主观质量评分MOS值预测模型是基于带有真实MOS值的第一类训练样本对孪生神经网络模型的任一分支进行训练得到的；所述孪生神经网络模型是基于第二类训练样本中不同质量等级的合成图像训练得到的，并且所述孪生神经网络模型用于输出不同质量等级的合成图像的质量特征；所述第二类训练样本中的不同质量等级的合成图像是针对同一原始样本图像处理得到的；
对所述待评价图像进行显著性检测；
根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值；
将各个分块的显著性均值作为各个分块的权重，对所述各个分块的预测MOS值进行加权平均，得到所述待评价图像的最终MOS值。
2.根据权利要求1所述的方法，其特征在于，所述MOS值预测模型采用如下步骤训练获得：
获取多个第一类训练样本；其中每个第一类训练样本包括样本图像及该样本图像的真实MOS值；
分别将各个样本图像裁剪为多个样本分块；
将预设数量个样本分块输入待训练神经网络模型；所述待训练神经网络模型为预设的初始神经网络模型；
利用待训练神经网络模型的输出结果，确定各个输入的样本分块的预测MOS值；
根据显著性检测算法，确定各个输入的样本分块的显著性均值；
使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值；
根据第一损失值判断待训练神经网络模型是否收敛；如果收敛，则待训练神经网络模型为训练完成的MOS值预测模型；
如果未收敛，则调整待训练神经网络模型的网络参数，并返回所述将预设数量个样本分块输入待训练神经网络模型的步骤。
3.根据权利要求2所述的方法，其特征在于，
所述预设的第一损失函数为：
其中，θ为所述待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
4.根据权利要求2所述的方法，其特征在于，
所述预设的初始神经网络模型为预先训练好的孪生神经网络模型的任一分支神经网络；
所述孪生神经网络模型，采用如下步骤训练获得：
获取多个第二类训练样本；所述第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像；
获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像；
根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值；
获取所述两张当前合成图像中与所述第一局部子块位置相同的两个第二局部子块：第一子块和第二子块；
分别将所述第一子块和所述第二子块，输入待训练孪生神经网络模型的两个分支神经网络；所述待训练孪生神经网络模型初始为预设的初始孪生神经网络模型；
利用两个分支神经网络分别提取所述第一子块的质量特征和所述第二子块的质量特征；
使用获得的所述第一子块的质量特征、所述第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值；
根据第二损失值判断待训练孪生神经网络模型是否收敛；如果收敛，则待训练孪生神经网络模型为训练完成的孪生神经网络模型；
如果未收敛，则调整待训练孪生神经网络模型的网络参数，并返回所述获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像的步骤。
5.根据权利要求4所述的方法，其特征在于，
所述的第二损失函数为：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为所述待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为所述两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
6.根据权利要求1所述的方法，其特征在于，所述对所述待评价图像进行显著性检测的步骤，包括：
根据显著性检测算法，确定待评价图像中各个像素点的显著性值；
所述根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值的步骤，包括：
按照所述预设的图像裁剪方式，采用如下公式计算所述待评价图像中各个分块的显著性均值：
其中，M、N分别为所述待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
7.一种图像质量评价装置，其特征在于，所述装置包括：
获取单元，用于获取待评价图像；
裁剪单元，用于按照预设的图像裁剪方式，将待评价图像裁剪为多个分块；
预测单元，用于分别将各个分块输入至主观质量评分MOS值预测模型，获得各分块的预测MOS值；所述的MOS值预测模型，为：预先用包含已知MOS值的图像的多个训练样本进行训练，获得的表示输入图像与MOS值之间关系的神经网络模型；所述主观质量评分MOS值预测模型是基于带有真实MOS值的第一类训练样本对孪生神经网络模型的任一分支进行训练得到的；所述孪生神经网络模型是基于第二类训练样本中不同质量等级的合成图像训练得到的，并且所述孪生神经网络模型用于输出不同质量等级的合成图像的质量特征；所述第二类训练样本中的不同质量等级的合成图像是针对同一原始样本图像处理得到的；
显著性检测单元，用于对所述待评价图像进行显著性检测；
显著性均值计算单元，用于根据显著性检测结果，计算获得所述待评价图像中各个分块的显著性均值；
质量评价单元，用于将各个分块的显著性均值作为各个分块的权重，对所述各个分块的预测MOS值进行加权平均，得到所述待评价图像的最终MOS值。
8.根据权利要求7所述的装置，其特征在于，所述MOS值预测模型采用第一训练单元获得；
所述第一训练单元，包括：
第一样本获取模块，用于获取多个第一类训练样本；其中每个第一类训练样本包括样本图像及该样本图像的真实MOS值；
第一样本裁剪模块，用于分别将各个样本图像裁剪为多个样本分块；
第一输入模块，用于将预设数量个样本分块输入待训练神经网络模型；所述待训练神经网络模型为预设的初始神经网络模型；
MOS值确定模块，用于利用待训练神经网络模型的输出结果，确定出各个输入的样本分块的预测MOS值；
第一显著性均值确定模块，用于根据显著性检测算法，确定各个输入的样本分块的显著性均值；
第一损失值确定模块，用于使用获得的各个输入的样本分块的显著性均值、各个输入的样本分块的预测MOS值及样本分块所属样本图像的真实MOS值，和预设第一损失函数确定第一损失值；
第一收敛判断模块，用于根据第一损失值判断待训练神经网络模型是否收敛；如果收敛，则待训练神经网络模型为训练完成的MOS值预测模型；
第一模型参数调整模块，用于如果未收敛，则调整待训练神经网络模型的网络参数，并触发所述MOS值确定模块将预设数量个样本分块输入待训练神经网络模型。
9.根据权利要求8所述的装置，所述第一损失值确定模块，采用如下第一损失函数计算第一损失值：
其中，θ为所述待训练神经网络模型的网络参数，m为输入待训练神经网络模型的样本分块的数量，Si为第i个样本分块的显著性均值，x(i)是第i个样本分块，hθ(x(i))为待训练神经网络模型的网络参数为θ时，第i个样本分块的预测MOS值，y(i)为第i个样本分块所属样本图像的真实MOS值。
10.根据权利要求8所述的装置，其特征在于，所述预设的初始神经网络模型为采用第二训练单元预先训练好的孪生神经网络模型的任一分支神经网络；
所述第二训练单元，包括：
第二样本获取模块，用于获取多个第二类训练样本；所述第二类训练样本包括：原始样本图像和预先对原始样本图像合成的不同质量等级的合成图像；
图像获取模块，用于获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像；
第二显著性均值确定模块，用于根据显著性检测算法，确定当前原始样本图像中第一局部子块的显著性均值；
局部子块获取模块，用于获取所述两张当前合成图像中与所述第一局部子块位置相同的两个第二局部子块：第一子块和第二子块；
第二输入模块，用于分别将所述第一子块和所述第二子块，输入待训练孪生神经网络模型的两个分支神经网络；所述待训练孪生神经网络模型初始为预设的初始孪生神经网络模型；
质量特征提取模块，用于利用两个分支神经网络分别提取所述第一子块的质量特征和所述第二子块的质量特征；
第二损失值确定模块，用于使用获得的所述第一子块的质量特征、所述第二子块的质量特征、当前原始样本图像中第一局部子块的显著性均值和预设第二损失函数，确定第二损失值；
第二收敛判断模块，用于根据第二损失值判断待训练孪生神经网络模型是否收敛；如果收敛，则待训练孪生神经网络模型为训练完成的孪生神经网络模型；
第二模型参数调整模块，用于如果未收敛，则调整待训练孪生神经网络模型的网络参数，并触发所述图像获取模块获取第二类训练样本中，基于当前原始样本图像合成的不同质量等级下的两张当前合成图像。
11.根据权利要求10所述的装置，其特征在于，所述第二损失值确定模块，采用如下第二损失函数计算第二损失值：
L(x1,x2；θ)＝max(0,S·(f(x2；θ)-f(x1；θ)+ε))；
其中，θ为所述待训练孪生神经网络模型的网络参数，ε为预设的精度，x1、x2分别为所述两个第二局部子块：第一子块和第二子块，f(x1；θ)、f(x2；θ)分别为孪生神经网络模型中的两个分支神经网络输出的第一子块的质量特征和第二子块的质量特征，S为当前原始样本图像中第一局部子块的显著性均值。
12.根据权利要求7所述的装置，其特征在于，所述显著性检测单元，包括：
显著性值确定模块，用于根据显著性检测算法，确定待评价图像中各个像素点的显著性值；
所述显著性均值计算单元，包括：
均值计算模块，用于按照所述预设的图像裁剪方式，采用如下公式计算所述待评价图像中各个分块的显著性均值：
其中，M、N分别为所述待评价图像中第k个分块的长和宽，s(i,j)为第k个分块中坐标点为(i,j)的像素的显著性值，Sk为第k个分块的显著性均值。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811552378.7A CN109754391B (zh) | 2018-12-18 | 2018-12-18 | 一种图像质量评价方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811552378.7A CN109754391B (zh) | 2018-12-18 | 2018-12-18 | 一种图像质量评价方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109754391A CN109754391A (zh) | 2019-05-14 |
| CN109754391B true CN109754391B (zh) | 2021-10-22 |
Family
ID=66402713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811552378.7A Active CN109754391B (zh) | 2018-12-18 | 2018-12-18 | 一种图像质量评价方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109754391B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110531484B (zh) * | 2019-07-24 | 2021-04-20 | 中国地质大学（武汉） | 一种对焦过程模型可设定的显微镜自动对焦方法 |
| CN110324613B (zh) * | 2019-07-30 | 2021-06-01 | 华南理工大学 | 一种面向视频传输质量的深度学习图像评价方法 |
| CN110533741A (zh) * | 2019-08-08 | 2019-12-03 | 天津工业大学 | 一种快速适应战地变化的迷彩图案设计方法 |
| CN110807757B (zh) * | 2019-08-14 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像质量评估方法、装置及计算机设备 |
| CN113012089A (zh) * | 2019-12-19 | 2021-06-22 | 北京金山云网络技术有限公司 | 一种图像质量评价方法及装置 |
| CN111369521A (zh) * | 2020-03-02 | 2020-07-03 | 名创优品（横琴）企业管理有限公司 | 一种基于图像质量的图像过滤方法和相关装置 |
| CN111640099A (zh) * | 2020-05-29 | 2020-09-08 | 北京金山云网络技术有限公司 | 一种确定图像质量的方法、装置、电子设备及存储介质 |
| CN112037173B (zh) * | 2020-08-04 | 2024-04-05 | 湖南自兴智慧医疗科技有限公司 | 染色体检测方法、装置及电子设备 |
| CN112132146A (zh) * | 2020-08-14 | 2020-12-25 | 北京三快在线科技有限公司 | 图像裁切模型的训练方法、装置及图像裁切方法、装置 |
| CN112435231A (zh) * | 2020-11-20 | 2021-03-02 | 深圳市慧鲤科技有限公司 | 图像质量标尺生成方法、评测图像质量的方法及装置 |
| CN112950567A (zh) * | 2021-02-25 | 2021-06-11 | 北京金山云网络技术有限公司 | 质量评价方法、装置、电子设备及存储介质 |
| CN113288452B (zh) * | 2021-04-23 | 2022-10-04 | 北京大学 | 手术质量检测方法及装置 |
| CN113554597B (zh) * | 2021-06-23 | 2024-02-02 | 清华大学 | 一种基于脑电特征的图像质量评价方法及装置 |
| CN113505800A (zh) * | 2021-06-30 | 2021-10-15 | 深圳市慧鲤科技有限公司 | 图像处理方法及其模型的训练方法和装置、设备、介质 |
| CN114596620B (zh) * | 2022-05-10 | 2022-08-05 | 深圳市海清视讯科技有限公司 | 人脸识别设备补光控制方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
| CN103729842A (zh) * | 2013-12-20 | 2014-04-16 | 中原工学院 | 基于局部统计特征与整体显著性分析的织物疵点检测方法 |
| CN103996192A (zh) * | 2014-05-12 | 2014-08-20 | 同济大学 | 基于高质量自然图像统计量模型的无参考图像质量评价方法 |
| CN104104943A (zh) * | 2013-04-10 | 2014-10-15 | 江南大学 | 一种基于广义回归神经网络无参考jpeg2000压缩图像质量评价方法 |
| CN105913413A (zh) * | 2016-03-31 | 2016-08-31 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
| CN107743225A (zh) * | 2017-10-16 | 2018-02-27 | 杭州电子科技大学 | 一种利用多层深度表征进行无参考图像质量预测的方法 |
| CN108428227A (zh) * | 2018-02-27 | 2018-08-21 | 浙江科技学院 | 基于全卷积神经网络的无参考图像质量评价方法 |
| CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
| CN108550146A (zh) * | 2018-04-11 | 2018-09-18 | 北京印刷学院 | 一种基于roi的图像质量评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
-
2018
- 2018-12-18 CN CN201811552378.7A patent/CN109754391B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104104943A (zh) * | 2013-04-10 | 2014-10-15 | 江南大学 | 一种基于广义回归神经网络无参考jpeg2000压缩图像质量评价方法 |
| CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
| CN103729842A (zh) * | 2013-12-20 | 2014-04-16 | 中原工学院 | 基于局部统计特征与整体显著性分析的织物疵点检测方法 |
| CN103996192A (zh) * | 2014-05-12 | 2014-08-20 | 同济大学 | 基于高质量自然图像统计量模型的无参考图像质量评价方法 |
| CN105913413A (zh) * | 2016-03-31 | 2016-08-31 | 宁波大学 | 一种基于在线流形学习的彩色图像质量客观评价方法 |
| CN107743225A (zh) * | 2017-10-16 | 2018-02-27 | 杭州电子科技大学 | 一种利用多层深度表征进行无参考图像质量预测的方法 |
| CN108428227A (zh) * | 2018-02-27 | 2018-08-21 | 浙江科技学院 | 基于全卷积神经网络的无参考图像质量评价方法 |
| CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
| CN108550146A (zh) * | 2018-04-11 | 2018-09-18 | 北京印刷学院 | 一种基于roi的图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109754391A (zh) | 2019-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754391B (zh) | 一种图像质量评价方法、装置及电子设备 | |
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| Mittal et al. | Making a “completely blind” image quality analyzer | |
| CN110619618A (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN111127435B (zh) | 基于双流卷积神经网络的无参考图像质量评估方法 | |
| CN111967464B (zh) | 一种基于深度学习的弱监督目标定位方法 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN111144425A (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN111179245B (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
| Tiwari | A pattern classification based approach for blur classification | |
| CN110796635B (zh) | 一种基于剪切波变换的光场图像质量评价方法 | |
| CN116844008A (zh) | 一种注意力机制引导的内容感知无参考图像质量评价方法 | |
| CN113947547B (zh) | 基于多尺度核预测卷积神经网络的蒙特卡洛渲染图降噪方法 | |
| CN115937121A (zh) | 基于多维度特征融合的无参考图像质量评价方法及系统 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN114742774A (zh) | 融合局部和全局特征的无参考图像质量评价方法及系统 | |
| CN114529730A (zh) | 一种基于lbp特征的卷积神经网络地面材质图像分类方法 | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN110619624B (zh) | 一种图像分解方法及装置 | |
| Dharmalingam et al. | Adaptive frost filtered quantile regressive artificial deep structure learning framework for image quality assessment | |
| CN110895801A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |