CN112116567A - 一种无参考图像质量评价方法、装置及存储介质 - Google Patents
一种无参考图像质量评价方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112116567A CN112116567A CN202010945959.8A CN202010945959A CN112116567A CN 112116567 A CN112116567 A CN 112116567A CN 202010945959 A CN202010945959 A CN 202010945959A CN 112116567 A CN112116567 A CN 112116567A
- Authority
- CN
- China
- Prior art keywords
- image
- evaluated
- label
- network model
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无参考图像质量评价方法、装置及存储介质，该方法包括：获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。本发明基于深度学习方法预测图像的质量分数，避免图像质量过低影响后续处理算法的准确性。
Description
技术领域
本发明涉及图像评价技术领域，尤其涉及一种无参考图像质量评价方法、装置及存储介质。
背景技术
图像在采集、传输等过程中不可避免的受到各种失真的影响，如压缩、散焦模糊、运动模糊、噪声、异常曝光等。失真的引入改变了像素间的相关性，在一定程度上丢失图像原始信息，将会对后期目标检测和缺陷识别准确率造成影响。为了使得检测、识别算法能更准确地对目标进行辨别，降低误差，需要对待检测图像的质量进行预判。
特别对于输电线路的巡检图像，大多使用机器人或者无人机对输电线路进行拍摄，使得巡检图像在拍摄时易受到恶劣天气、无人机抖动、拍摄角度等多种因素的影响而产生失真，对后期目标识别与检测的准确率造成影响。
发明内容
本发明实施例的目的是提供一种无参考图像质量评价方法、装置及存储介质，基于深度学习方法预测图像的质量分数，避免图像质量过低影响后续处理算法的准确性。
为实现上述目的，本发明一实施例提供了一种无参考图像质量评价方法，包括以下步骤：
获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
优选地，所述将所述待评价图像进行归一化处理，具体包括：
将所述待评价图像不同坐标的像素值代入公式
进行计算，得到归一化处理后的图像在对应坐标的像素值；其中，i和j分别为所述待评价图像在水平方向的坐标值和在垂直方向的坐标值，1≤i≤M，1≤j≤N，M和N分别为所述待评价图像的高度和宽度，
为归一化处理后的图像在坐标(i，j)处的像素值，I(i,j)为所述待评价图像在坐标(i，j)处的像素值；μ(i,j)为所述待评价图像在坐标(i，j)处的均值，σ(i,j)为所述待评价图像在坐标(i，j)处的对比度；C为预设常数。
优选地，所述待评价图像在坐标(i，j)处的均值μ(i,j)的计算公式为
其中，P和Q分别为预设的图像处理窗口的高度和宽度，ωp,q为二维圆对称高斯函数，Ip,q(i,j)为所述待评价图像在坐标(i，j)处的像素值。
优选地，所述待评价图像在坐标(i，j)处的对比度σ(i,j)的计算公式为
优选地，所述基于多任务学习的网络模型包括6个卷积层、1个最大池化层、2个求和层、1个连接层和5个完全连接层；其中，6个卷积层分为两组，一组3个卷积层，第一组卷积层后连接最大池化层和一个求和层，之后连接第二组卷积层，第二组卷积层后连接另一个求和层；6个卷积层、1个最大池化层与2个求和层组成一个CNN特征提取器；所述CNN特征提取器之后连接两个学习模块，第一个学习模块包括2个完全连接层，用于提取自然场景统计；第二个学习模块包括1个连接层和3个完全连接层，用于预测图像质量分数。
优选地，所述基于多任务学习的网络模型的目标函数的表达式为
其中，其中X,Y1和Y2分别为输入图像块、自然场景统计特征标签以及预测的图像质量分数标签，W1为所述CNN特征提取器对应的第一权重参数，W2和W3分别为提取自然场景统计任务对应的的第二权重参数和预测图像质量分数任务对应的第三权重参数，f1(X；W1,W2)为在网络模型参数为W1和W2的情况下得到的输入图像块的自然场景统计特征；f2(X；W1,W3)表示在网络模型参数为W1和W3的情况下预测的输入图像块的预测质量分数。
本发明另一实施例提供了一种无参考图像质量评价装置，所述装置包括：
图像获取模块，用于获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
图像划分模块，用于将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
分数预测模块，用于将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算模块，用于计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
本发明另一实施例对应提供了一种使用无参考图像质量评价方法的装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的无参考图像质量评价方法。
本发明还有一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项所述的无参考图像质量评价方法。
与现有技术相比，本发明实施例所提供的一种无参考图像质量评价方法、装置及存储介质，不需要参考图像的介入，可以基于深度学习的方法对图像的质量进行估计进而区分图像质量等级，与图像质量分数标签有较高的一致性，进而避免因图像质量过低而影响后续处理算法的准确性。
附图说明
图1是本发明提供的一种无参考图像质量评价方法的一个实施例的流程示意图；
图2是本发明提供的一种无参考图像质量评价方法的另一个实施例的流程示意图；
图3是本发明提供的无参考图像质量评价装置的一个实施例的结构示意图；
图4是本发明提供的使用无参考图像质量评价方法的装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明提供的一种无参考图像质量评价方法的一个实施例的流程示意图，所述方法包括步骤S1至步骤S4：
S1、获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
S2、将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
S3、将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
S4、计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
具体地，获取已标识有标签的待评价图像，将待评价图像进行归一化处理，以去除图像的相关性。待评价图像的标签为图像质量分数标签。为了适应输电线路巡检图像的质量评价，待评价图像可以选择输电线路巡检图像。
将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签。优选地，划分的图像块的大小为32×32。每个图像块作为深度学习网络模型的输入。
将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化。在一个优选的实施例中，基于多任务学习的网络模型是预先通过训练集进行训练得到的。
计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。平均值为所有图像块的预测质量分数之和与所有图像块的块数的比值。
为了加深对本发明的理解，本发明该实施例还提供一种无参考图像质量评价方法的另一个实施例的流程示意图。由图2可知，对输入图像，先经过归一化处理，再利用CNN特征提取器提取特征，再输送到两个学习任务中，第一个任务为自然场景统计(NSS)特征提取，其作用为辅助第二任务，第二个任务为图像质量预测。
本发明实施例1提供的一种无参考图像质量评价方法，基于深度学习的网络模型，在不需要参考图像的情况下，能有效评价图像的质量。
作为上述方案的改进，所述将所述待评价图像进行归一化处理，具体包括：
将所述待评价图像不同坐标的像素值代入公式
进行计算，得到归一化处理后的图像在对应坐标的像素值；其中，i和j分别为所述待评价图像在水平方向的坐标值和在垂直方向的坐标值，1≤i≤M，1≤j≤N，M和N分别为所述待评价图像的高度和宽度，
为归一化处理后的图像在坐标(i，j)处的像素值，I(i,j)为所述待评价图像在坐标(i，j)处的像素值；μ(i,j)为所述待评价图像在坐标(i，j)处的均值，σ(i,j)为所述待评价图像在坐标(i，j)处的对比度；C为预设常数。
具体地，将待评价图像不同坐标的像素值代入公式
进行计算，得到归一化处理后的图像在对应坐标的像素值。也就是，归一化过程为
其中，i和j分别为待评价图像在水平方向的坐标值和在垂直方向的坐标值，1≤i≤M，1≤j≤N，M和N分别为待评价图像的高度和宽度，
为归一化处理后的图像在坐标(i，j)处的像素值，I(i,j)为待评价图像在坐标(i，j)处的像素值；μ(i,j)为待评价图像在坐标(i，j)处的均值，即局部平均值。σ(i,j)为待评价图像在坐标(i，j)处的对比度；C为预设常数。一般地，C＝1，这是为了避免归一化方程的分母为0的情况。
作为上述方案的改进，所述待评价图像在坐标(i，j)处的均值μ(i,j)的计算公式为
其中，P和Q分别为预设的图像处理窗口的高度和宽度，ωp,q为二维圆对称高斯函数，Ip,q(i,j)为所述待评价图像在坐标(i，j)处的像素值。
具体地，待评价图像在坐标(i，j)处的均值μ(i,j)的计算公式为
其中，P和Q分别为预设的图像处理窗口的高度和宽度，P和Q均为正整数。优选地，P＝Q＝7。ωp,q为二维圆对称高斯函数，即二维圆对称高斯加权函数，Ip,q(i,j)为待评价图像在坐标(i，j)处的像素值。
作为上述方案的改进，所述待评价图像在坐标(i，j)处的对比度σ(i,j)的计算公式为
具体地，待评价图像在坐标(i，j)处的对比度σ(i,j)的计算公式为
当P＝Q＝7时，标准差为7/6。
作为上述方案的改进，所述基于多任务学习的网络模型包括6个卷积层、1个最大池化层、2个求和层、1个连接层和5个完全连接层；其中，6个卷积层分为两组，一组3个卷积层，第一组卷积层后连接最大池化层和一个求和层，之后连接第二组卷积层，第二组卷积层后连接另一个求和层；6个卷积层、1个最大池化层与2个求和层组成一个CNN特征提取器；所述CNN特征提取器之后连接两个学习模块，第一个学习模块包括2个完全连接层，用于提取自然场景统计；第二个学习模块包括1个连接层和3个完全连接层，用于预测图像质量分数。
具体地，由图2可知，基于多任务学习的网络模型包括6个卷积层、1个最大池化层、2个求和层、1个连接层和5个完全连接层；其中，6个卷积层分为两组，一组3个卷积层，第一组卷积层后连接最大池化层和一个求和层，之后连接第二组卷积层，第二组卷积层后连接另一个求和层；6个卷积层、1个最大池化层与2个求和层组成一个CNN特征提取器，即图2中的虚线框。CNN特征提取器之后连接两个学习模块，第一个学习模块包括2个完全连接层，用于提取自然场景统计；第二个学习模块包括1个连接层和3个完全连接层，用于预测图像质量分数。假如输入图像块为32×32，基于多任务学习的网络模型的网络结构参数如表1所示。
表1基于多任务学习的网络模型的网络结构参数
对于输入图像I，首先经过CNN特征提取器提取特征，而后输送到两个不同任务中。由于NSS特征提取任务的目的是辅助第二个任务的图像质量预测，因此将NSS特征提取任务中的第一步的特征向量输送到第二个任务，同时提取NSS特征。在提取NSS特征过程中，以经典自然场景统计特征(Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE)为标签，对每个图像块提取36维特征。在预测图像质量预测分数的过程中，接收到NSS特征提取任务中的第一步的特征向量后，将两个任务的特征向量连接，生成第二个任务的新的特征向量，最后得到第二个任务的图像质量预测分数。
作为上述方案的改进，所述基于多任务学习的网络模型的目标函数的表达式为
其中，其中X,Y1和Y2分别为输入图像块、自然场景统计特征标签以及预测的图像质量分数标签，W1为所述CNN特征提取器对应的第一权重参数，W2和W3分别为提取自然场景统计任务对应的的第二权重参数和预测图像质量分数任务对应的第三权重参数，f1(X；W1,W2)为在网络模型参数为W1和W2的情况下得到的输入图像块的自然场景统计特征；f2(X；W1,W3)表示在网络模型参数为W1和W3的情况下预测的输入图像块的预测质量分数。
具体地，基于多任务学习的网络模型的目标函数的表达式为
也就是说，本发明的欧几里得损失函数为||f1(X；W1,W2)-Y1||+||f2(X；W1,W3)-Y2||，基于多任务学习的网络模型的优化是通过使欧几里得损失函数最小化。
其中，其中X,Y1和Y2分别为输入图像块、自然场景统计特征标签以及预测的图像质量分数标签，W1为CNN特征提取器对应的第一权重参数，W2和W3分别为提取自然场景统计任务对应的的第二权重参数和预测图像质量分数任务对应的第三权重参数，f1(X；W1,W2)为在网络模型参数为W1和W2的情况下得到的输入图像块的自然场景统计特征，即NSS特征；f2(X；W1,W3)表示在网络模型参数为W1和W3的情况下预测的输入图像块的预测质量分数。
此外，为了检验算法性能，采用皮尔森线性相关系数PLCC、斯皮尔曼等级相关系数SRCC、肯德尔秩相关系数KRCC和均方根误差RMSE作为评估标准。实验结果表明，在构建的输电线路巡检图像质量评价数据库内，算法性能指标分别达到PLCC＝0.940，SRCC＝0.886，KRCC＝0.740，RMSE＝0.110，具有良好的质量预测能力。其中，PLCC、SRCC、KRCC越接近1，RMSE越接近0，说明算法性能越好，也说明了模型的有效性。
参见图3，是本发明提供的无参考图像质量评价装置的一个实施例的结构示意图，所述装置包括：
图像获取模块11，用于获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
图像划分模块12，用于将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
分数预测模块13，用于将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算模块14，用于计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
本发明实施例所提供的一种无参考图像质量评价装置能够实现上述任一实施例所述的无参考图像质量评价方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的无参考图像质量评价方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图4，是本发明提供的使用无参考图像质量评价方法的装置的一个实施例的结构示意图，所述使用无参考图像质量评价方法的装置包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现上述任一实施例所述的无参考图像质量评价方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器20中，并由处理器10执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在一种无参考图像质量评价方法中的执行过程。例如，计算机程序可以被分割成图像获取模块、图像划分模块、分数预测模块和计算模块，各模块具体功能如下：
图像获取模块11，用于获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
图像划分模块12，用于将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
分数预测模块13，用于将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算模块14，用于计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
所述使用无参考图像质量评价方法的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述使用无参考图像质量评价方法的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图4仅仅是一种使用无参考图像质量评价方法的装置的示例，并不构成对所述使用无参考图像质量评价方法的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述使用无参考图像质量评价方法的装置还可以包括输入输出设备、网络接入设备、总线等。
处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器10也可以是任何常规的处理器等，处理器10是所述使用无参考图像质量评价方法的装置的控制中心，利用各种接口和线路连接整个使用无参考图像质量评价方法的装置的各个部分。
存储器20可用于存储所述计算机程序和/或模块，处理器10通过运行或执行存储在存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述使用无参考图像质量评价方法的装置的各种功能。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述使用无参考图像质量评价方法的装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的无参考图像质量评价方法。
综上，本发明实施例所提供的一种无参考图像质量评价方法、装置及存储介质，不需要参考图像的介入，可以基于深度学习的方法对图像的质量进行估计进而区分图像质量等级，与图像质量分数标签有较高的一致性，进而避免因图像质量过低而影响后续处理算法的准确性。本发明可以为输电线路巡检图像的质量评价提供一种途径，从而快速、准确预测巡检图像质量，满足智能电网建设需要。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种无参考图像质量评价方法，其特征在于，包括以下步骤：
获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
2.如权利要求1所述的无参考图像质量评价方法，其特征在于，所述将所述待评价图像进行归一化处理，具体包括：
将所述待评价图像不同坐标的像素值代入公式
进行计算，得到归一化处理后的图像在对应坐标的像素值；其中，i和j分别为所述待评价图像在水平方向的坐标值和在垂直方向的坐标值，1≤i≤M，1≤j≤N，M和N分别为所述待评价图像的高度和宽度，
为归一化处理后的图像在坐标(i，j)处的像素值，I(i,j)为所述待评价图像在坐标(i，j)处的像素值；μ(i,j)为所述待评价图像在坐标(i，j)处的均值，σ(i,j)为所述待评价图像在坐标(i，j)处的对比度；C为预设常数。
3.如权利要求2所述的无参考图像质量评价方法，其特征在于，所述待评价图像在坐标(i，j)处的均值μ(i,j)的计算公式为
其中，P和Q分别为预设的图像处理窗口的高度和宽度，ωp,q为二维圆对称高斯函数，Ip,q(i,j)为所述待评价图像在坐标(i，j)处的像素值。
4.如权利要求3所述的无参考图像质量评价方法，其特征在于，所述待评价图像在坐标(i，j)处的对比度σ(i,j)的计算公式为
5.如权利要求1所述的无参考图像质量评价方法，其特征在于，所述基于多任务学习的网络模型包括6个卷积层、1个最大池化层、2个求和层、1个连接层和5个完全连接层；其中，6个卷积层分为两组，一组3个卷积层，第一组卷积层后连接最大池化层和一个求和层，之后连接第二组卷积层，第二组卷积层后连接另一个求和层；6个卷积层、1个最大池化层与2个求和层组成一个CNN特征提取器；所述CNN特征提取器之后连接两个学习模块，第一个学习模块包括2个完全连接层，用于提取自然场景统计；第二个学习模块包括1个连接层和3个完全连接层，用于预测图像质量分数。
6.如权利要求5所述的无参考图像质量评价方法，其特征在于，所述基于多任务学习的网络模型的目标函数的表达式为
其中，其中X,Y1和Y2分别为输入图像块、自然场景统计特征标签以及预测的图像质量分数标签，W1为所述CNN特征提取器对应的第一权重参数，W2和W3分别为提取自然场景统计任务对应的的第二权重参数和预测图像质量分数任务对应的第三权重参数，f1(X；W1,W2)为在网络模型参数为W1和W2的情况下得到的输入图像块的自然场景统计特征；f2(X；W1,W3)表示在网络模型参数为W1和W3的情况下预测的输入图像块的预测质量分数。
7.一种无参考图像质量评价装置，其特征在于，包括：
图像获取模块，用于获取已标识有标签的待评价图像，将所述待评价图像进行归一化处理；
图像划分模块，用于将归一化处理后的图像划分为预设大小的若干块图像块，并将待评价图像的标签作为每块图像块的标签；
分数预测模块，用于将每块图像块输入预设的基于多任务学习的网络模型，得到每个图像块的预测质量分数；其中，所述基于多任务学习的网络模型的目标函数是欧几里得损失函数最小化；
计算模块，用于计算所有图像块的预测质量分数的平均值，作为所述待评价图像的最终质量分数。
8.一种使用无参考图像质量评价方法的装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的无参考图像质量评价方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的无参考图像质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010945959.8A CN112116567A (zh) | 2020-09-10 | 2020-09-10 | 一种无参考图像质量评价方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010945959.8A CN112116567A (zh) | 2020-09-10 | 2020-09-10 | 一种无参考图像质量评价方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116567A true CN112116567A (zh) | 2020-12-22 |
Family
ID=73803561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010945959.8A Pending CN112116567A (zh) | 2020-09-10 | 2020-09-10 | 一种无参考图像质量评价方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116567A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537407A (zh) * | 2021-08-31 | 2021-10-22 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN116132818A (zh) * | 2023-02-01 | 2023-05-16 | 辉羲智能科技(上海)有限公司 | 用于自动驾驶的图像处理方法及系统 |
| CN117274170A (zh) * | 2023-09-01 | 2023-12-22 | 国家广播电视总局广播电视规划院 | 无参考图像评价方法、装置、电子设备和计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215028A (zh) * | 2018-11-06 | 2019-01-15 | 福州大学 | 一种基于卷积神经网络的多目标优化图像质量评估方法 |
| CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
| WO2019240281A1 (ja) * | 2018-06-15 | 2019-12-19 | 日本電信電話株式会社 | 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム |
| CN111311595A (zh) * | 2020-03-16 | 2020-06-19 | 清华大学深圳国际研究生院 | 一种图像质量的无参考质量评价方法及计算机可读存储介质 |
| CN111353533A (zh) * | 2020-02-26 | 2020-06-30 | 南京理工大学 | 基于多任务学习的无参考图像质量评价方法及系统 |
-
2020
- 2020-09-10 CN CN202010945959.8A patent/CN112116567A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240281A1 (ja) * | 2018-06-15 | 2019-12-19 | 日本電信電話株式会社 | 画像特徴学習装置、画像特徴学習方法、画像特徴抽出装置、画像特徴抽出方法、及びプログラム |
| CN109215028A (zh) * | 2018-11-06 | 2019-01-15 | 福州大学 | 一种基于卷积神经网络的多目标优化图像质量评估方法 |
| CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
| CN111353533A (zh) * | 2020-02-26 | 2020-06-30 | 南京理工大学 | 基于多任务学习的无参考图像质量评价方法及系统 |
| CN111311595A (zh) * | 2020-03-16 | 2020-06-19 | 清华大学深圳国际研究生院 | 一种图像质量的无参考质量评价方法及计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537407A (zh) * | 2021-08-31 | 2021-10-22 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN113537407B (zh) * | 2021-08-31 | 2022-05-17 | 平安医疗健康管理股份有限公司 | 基于机器学习的图像数据评价处理方法及装置 |
| CN116132818A (zh) * | 2023-02-01 | 2023-05-16 | 辉羲智能科技(上海)有限公司 | 用于自动驾驶的图像处理方法及系统 |
| CN116132818B (zh) * | 2023-02-01 | 2024-05-24 | 辉羲智能科技(上海)有限公司 | 用于自动驾驶的图像处理方法及系统 |
| CN117274170A (zh) * | 2023-09-01 | 2023-12-22 | 国家广播电视总局广播电视规划院 | 无参考图像评价方法、装置、电子设备和计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110532897B (zh) | 零部件图像识别的方法和装置 | |
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| CN112116567A (zh) | 一种无参考图像质量评价方法、装置及存储介质 | |
| Shyam et al. | Towards domain invariant single image dehazing | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN110148117B (zh) | 基于电力图像的电力设备缺陷识别方法、装置与存储介质 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN112257738A (zh) | 机器学习模型的训练方法、装置和图像的分类方法、装置 | |
| CN112116568A (zh) | 一种图像质量评价方法、装置及存储介质 | |
| CN111199554A (zh) | 一种目标跟踪抗遮挡的方法及装置 | |
| CN112036381A (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN111882565A (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN111126296A (zh) | 水果定位方法及装置 | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| CN113158860B (zh) | 基于深度学习多维度输出人脸质量评估方法与电子设备 | |
| CN113409353A (zh) | 运动前景检测方法、装置、终端设备及存储介质 | |
| CN113628259A (zh) | 图像的配准处理方法及装置 | |
| CN110136164B (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
| CN110969657B (zh) | 一种枪球坐标关联方法、装置、电子设备及存储介质 | |
| CN111967406A (zh) | 人体关键点检测模型生成方法、系统、设备和存储介质 | |
| CN111126185A (zh) | 一种针对道路卡口场景的深度学习车辆目标识别方法 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN113591647B (zh) | 人体动作识别方法、装置、计算机设备和存储介质 | |
| CN112101148B (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |