CN114387222A - 一种图像质量评估方法、系统、电子设备及存储介质 - Google Patents

一种图像质量评估方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114387222A
CN114387222A CN202111580891.9A CN202111580891A CN114387222A CN 114387222 A CN114387222 A CN 114387222A CN 202111580891 A CN202111580891 A CN 202111580891A CN 114387222 A CN114387222 A CN 114387222A
Authority
CN
China
Prior art keywords
image
interest
region
gradient
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111580891.9A
Other languages
English (en)
Inventor
周全
李宜清
简晓敏
肖博翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Precision Measurement Semiconductor Technology Inc
Original Assignee
Shanghai Precision Measurement Semiconductor Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Precision Measurement Semiconductor Technology Inc filed Critical Shanghai Precision Measurement Semiconductor Technology Inc
Priority to CN202111580891.9A priority Critical patent/CN114387222A/zh
Publication of CN114387222A publication Critical patent/CN114387222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像质量评估方法、系统、电子设备及存储介质，方法包括：基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化；对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，并计算待评估图像的最终质量评分。本发明基于多个卷积核对图像进行滤波，以及基于梯度图提取图像中的感兴趣区域，有效的去除图像噪声，并通过组合评分去评价图像的质量，进一步减少噪声对梯度的影响，提高了评估的精确度。

Description

一种图像质量评估方法、系统、电子设备及存储介质
技术领域
本发明涉及图像处理领域，更具体地，涉及一种图像质量评估方法、系统、电子设备及存储介质。
背景技术
图像质量评估可分为主观评估和客观评估，主观评估具有不稳定性和耗时费力的特点，无法在实际生产中进行广泛应用。客观评估通过图像处理算法对图像质量做出定性和定量的分析。如果能利用这些算法自动精确地预测与主观评估趋于一致的结果，就能克服主观评估的缺点，并应用在生产实践中。
图像质量评估存在2种场景，分别是有参考(Reference)和无参考(No Reference或Blind)。前者可以通过比较与参考图在低层语义(像素级)或高层语义(多重卷积)的相关性或相似度来实现。这类研究成果已经比较成熟。而后者是在广泛的应用中无法提供参考图的场景。这种场景下，由于图像的千变万化给无参考的图像质量评估算法造成了不小的难度。尤其针对的是使用扫描电子显微镜(SEM)，当光照环境不理想时，或当物体运动时等情况获取的图像。这些图像具有噪声大而且噪声的大小和分布不规则，边缘模糊或者边缘信息不够丰富，或图像内的物体不完全相同等特点，之前的图像处理算法因为抗噪声干扰能力差都无法获得符合主观评估一致的效果。
发明内容
本发明针对现有技术中存在的技术问题，提供一种图像质量评估方法、系统、电子设备及存储介质，该方法具有抗干扰和抗大噪声的特点，并且在边缘信息不够丰富和图像中的物体有漂移的场景中也能正常工作。
根据本发明的第一方面，提供了一种图像质量评估方法，包括：
基于多个不同的卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对所述梯度图进行标准化；
对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；
基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；
基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域，包括：
使用聚类算法对所述梯度图进行二值化，基于二值化梯度图将所述待评估图像分为两类，提取梯度值大的一类像素点组成的区域为所述待评估图像中的感兴趣区域。
可选的，所述感兴趣区域包括多个感兴趣子区域，所述感兴趣子区域包括至少一个像素点，所述对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域，之后还包括：
剔除感兴趣区域中的异常感兴趣子区域；
且所述基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分包括：
基于完成剔除后的所述感兴趣区域的梯度矩阵和面积，计算每一个卷积核去噪后的待评估图像的质量评分。
可选的，所述剔除感兴趣区域中的异常感兴趣子区域，包括：
计算各个所述感兴趣子区域的梯度平均值；
将梯度平均值大于或等于预设梯度阈值的感兴趣子区域剔除。
可选的，所述基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，包括：
基于感兴趣区域的梯度矩阵中的梯度最大值、梯度矩阵的标准差和感兴趣区域的面积，计算每一个卷积核对应的增益系数；
基于所述增益系数、感兴趣区域的梯度矩阵、感兴趣区域的梯度矩阵的二值化掩模以及感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分。
可选的，所述基于感兴趣区域的梯度矩阵中的梯度最大值、梯度矩阵的标准差和感兴趣区域的面积，计算每一个卷积核对应的增益系数，包括：
Fw＝MAX(GN(x，y))×[STD(G(x，y))]2/Aroi；
其中，Fw为第w个卷积核对应的增益系数，MAX(GN(x，y))为感兴趣区域标准化后的梯度矩阵GN(x，y)中的梯度最大值，STD(G(x，y))为梯度矩阵的标准差，Aroi为感兴趣区域的面积；
所述基于所述增益系数、感兴趣区域的梯度矩阵、感兴趣区域的梯度矩阵的二值化掩模以及感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，包括：
Figure BDA0003426987070000031
其中，MROI为梯度矩阵的二值化掩模，通过聚类算法得到该二值化掩模，∑|GN(x，y)∧MROI|为标准化后的梯度矩阵GN(x，y)中的梯度值与二值化掩模MROI进行逻辑与后的绝对值的总和，Aroi为感兴趣区域的面积，Sw为第w个卷积核去噪后的待评估图像的质量评分。
可选的，所述基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分，包括：
Figure BDA0003426987070000041
其中，n为卷积核的个数，w∈[1,n],kw为第w个卷积核大小，Sw为第w个卷积核去噪后的待评估图像的质量评分，Score为待评估图像的最终质量评分。
根据本发明的第二方面，提供一种图像质量评估系统，包括：
第一计算模块，基于多个卷积核分别对待评估图像进行去噪，并计算去噪后的待评估图像的梯度图，并对所述梯度图进行标准化；
提取模块，用于对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；
第二计算模块，用于基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；
第三计算模块，用于基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现图像质量评估方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现图像质量评估方法的步骤。
本发明提供的一种图像质量评估方法、系统、电子设备及存储介质，基于多个卷积核对图像进行滤波，以及基于梯度图提取图像中的感兴趣区域，有效的去除图像噪声，并通过组合评分去评价图像的质量，进一步减少噪声对梯度的影响，提高了评估的精确度。
附图说明
图1为本发明实施例提供的一种图像质量评估方法流程图；
图2为本发明实施例的一种图像质量评估方法的整体流程图；
图3为本发明实施例的不同图像处理过程对应的图像示意图，其中：
图3(a)为理想图像示意图，图3(b)为实际图像示意图，图3(c)为模糊图像示意图，图3(d)为图3(a)对应的梯度图，图3(e)为图3(b)对应的梯度图，图3(f)为图3(c)对应的梯度图，图3(g)为基于图3(d)提取的感兴趣区域的示意图，图3(h)为基于图3(e)提取的感兴趣区域的示意图，图3(i)为基于图3(f)提取的感兴趣区域的示意图；
图4为本发明一实施例中获得的10张图像的最终质量评分的示意图；
图5为本发明另一实施例中获得的10张图像的最终质量评分的的示意图；
图6为本发明实施例提供的一种图像质量评估系统的结构示意图；
图7为本发明实施例提供的一种电子设备的硬件结构示意图；
图8为本发明实施例提供的一种计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
一种图像质量评估方法，该方法主要包括：基于多个不同的卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化；对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
可以理解的是，采用基于像素相关性或梯度的方式对图像质量进行评估(ImageQuality Assessment,IQA)，在噪声大、边缘信息不够丰富的场景下无法获得理想的效果。深度学习(Deep Learning)具有非线性拟合的学习能力，可实现端到端的像素低层语义和高层语义的特征提取。但是这种方式需要采集大量的数据和耗费大量的人工标注成本，在实际应用中并不经济。
基于此，本发明实施例公开了一种非深度学习的图像质量评估的方法，可用于对不确定的噪声干扰和稀疏的边缘图像进行精确地评估图像的质量。该方法采用多种卷积核对图像进行滤波去噪，再计算图像中每一个像素的梯度，构成图像的梯度图，然后对梯度图进行动态二值化去剔除非边缘区域的噪声干扰，之后引入增益系数进一步优化评分，最后通过对不同滤波器的评分进行加权，得到最后的图像质量评估分数。本发明实施例在无参考(No Reference或Blind)模式中的泛化性和抗干扰性都有非常好的效果，可广泛应用在自动光学检测(AOI)、扫描电子束显微镜(SEM)检测，自动对焦(Auto Focus)等领域中，是一个具有高可靠性的图像质量评估的方法。
实施例二
一种图像质量评估方法，参见图1，该方法包括如下步骤：
S1，基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化。
可以理解的是，噪声会影响计算像素的变化情况，于是，需要对图像用卷积核进行滤波，去除图像中的噪声，又因为噪声的大小程度无法确定，无法选择固定合适的卷积核。卷积核的尺寸过小，无法有效去除噪声；卷积核的尺寸大于边缘的尺寸会导致边缘过于模糊，损失了判断图像清晰的重要依据。因此，在步骤S1采用多个不同的卷积核分别对图像进行去噪处理，得到每一种卷积核滤波去噪后的待评估图像。
示例性地，对于每一种卷积核去噪后的待评估图像，计算去噪后的待评估图像的梯度图，包括：
G(x，y)＝|Gx|+|Gy| (1)；
其中，(x，y)为待评估图像中的像素点，G(x，y)为待评估图像中每一个像素点的梯度值组成的待评估图像的梯度图(梯度矩阵)，Gx和Gy分别为基于水平边缘检测算子H和垂直边缘检测算子V计算得到的梯度分量，为方便计算，采用绝对值之和来近似。
对于水平边缘检测算子H和垂直边缘检测算子V，均为n×n的边缘检测算子，n为正整数，比如，H和V可以为：
Figure BDA0003426987070000071
Figure BDA0003426987070000081
式(2)和式(3)中，H为大小为3×3水平边缘检测算子的一个例子，V为大小为3×3垂直边缘检测算子的一个例子。类似，可以设置大小为n×n的边缘检测算子。
Figure BDA0003426987070000082
Figure BDA0003426987070000083
其中，其中，I为待评估图像，Gx和Gy是I分别与一个奇数大小的核进行卷积，反应了图像中的像素在水平方向和垂直方向上变化的速度，也就是基于水平边缘检测算子H和垂直边缘检测算子V计算得到的梯度分量，可用来计算图像灰度的近似梯度，而且梯度越大越边缘的清晰度越高。
需要说明的是，计算得到待评估图像的梯度矩阵后，对梯度矩阵进行标准化，表达式为：
Figure BDA0003426987070000084
其中，G(x，y)是梯度矩阵，L为梯度矩阵的高度，W为梯度矩阵的宽度，∑(G(x，y))/(L×W)为梯度矩阵中的平均值，STD(G(x，y))是梯度矩阵的标准差，GN(x，y)为标准化后的梯度矩阵，进行标准化后可以更好地用于对比具有不同内容和纹理的图片质量好坏。
S2，对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域。
作为实施例，所述对所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域，包括：使用聚类算法对标准化后的梯度图进行二值化，基于二值化梯度图将所述待评估图像分为两类，提取梯度值大的一类像素点组成的区域为所述待评估图像中的感兴趣区域。
可以理解的是，上述步骤S1中计算得到待评估图像的梯度图后，本步骤对待评估图像的梯度图进行二值化处理，比如，可以基于聚类算法(例如，大津法)对梯度图进行二值化，二值化后的梯度图中的元素值为0和1，基于二值化后的梯度图，将待评估图像分为两类，将元素值为1对应的像素划分为感兴趣区域。
边缘信息是判断图像的清晰程度的重点，因此，在步骤S2对图像的梯度矩阵进行二值化，将高于阈值的区域分割出来，为待评估图像的感兴趣区域，在后续的处理过程中，只计算这些感兴趣区域的梯度值。一方面，可以排除面积小区域的噪声产生的梯度值，这些梯度值会在一定程度上影响到最后的评分。另一方面，可以有效地拉开评分的差异，有利于区分差别不大的图像的质量好坏。在步骤S2中，通过二值化梯度图选取梯度大的一类作为感兴趣区域，并计算该区域的梯度均值。这种注意力机制能更加聚焦在真正区分图像质量的地方，最终提高了评分的准确性。
需要说明的是，虽然经过梯度阈值分割从待评估图像中提取出感兴趣区域，该处的感兴趣区域包括多个感兴趣子区域，所述感兴趣子区域包括至少一个像素点，其中，每一个感兴趣子区域可以是连通区域或者是非连通区域。示例性地，感兴趣子区域仅包括单个像素点；示例性地，感兴趣子区域包括多个像素点，且形成为连通区域，但均不限于此。但是由于某些特殊的情况，如只有小部分的局部区域的边缘特征过于明显，极有可能是异常噪声造成的。因此，本发明实施例对提取的感兴趣区域进行异常剔除处理，即设定一个阈值，将感兴趣区域中的异常感兴趣子区域进行排除，可以提高抗干扰能力，尤其是抗噪声干扰能力。
作为实施例，剔除感兴趣区域中的异常感兴趣子区域，包括：计算所述多个感兴趣子区域中任一个感兴趣子区域的梯度平均值：
THj＝∑Groi/Acd (7)；
其中，THj为第j个感兴趣子区域的梯度平均值，Groi为所述第j个感兴趣子区域中每一个像素的梯度值，∑Groi为所述第j个感兴趣子区域中所有像素的梯度值的总和，Acd为所述第j个感兴趣子区域的面积，即像素个数；将梯度平均值大于或等于预设梯度阈值的感兴趣子区域剔除。
具体的，上述步骤从待评估图像中提取多个感兴趣子区域，对于每一个感兴趣子区域，计算其梯度平均值THj，设置异常区域的过滤规则阈值，用于判断是否排除异常感兴趣子区域。异常感兴趣子区域往往具有Acd非常小而梯度特别大的特点，因此，需将这部分高于过滤规则阈值的连通区域剔除，即可实现将异常的感兴趣子区域剔除，保留剩下的感兴趣子区域，后续对图像质量评估是在异常剔除后的感兴趣区域基础上进行的。其中，过滤规则阈值可根据不同的应用设置相应的值。
S3，基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分。
作为实施例，所述基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，包括：基于感兴趣区域的梯度矩阵中的梯度最大值、梯度矩阵的标准差和感兴趣区域的面积，计算每一个卷积核对应的增益系数；基于所述增益系数、感兴趣区域的梯度矩阵、感兴趣区域的梯度矩阵的二值化掩模以及感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分。
可以理解的是，后续的操作均是基于异常区域剔除后的感兴趣区域进行的，在计算每一个卷积核去噪后的待评估图像的质量评分的过程中，先计算每一个卷积核的增益系数，然后基于增益系数，计算对应的质量评分。
具体的，为选取合适的增益系数，需保证图像中的物体是一致且对齐的，因此，选择聚焦的应用作为实例。在聚焦过程中，随着图像清晰度的增加，感兴趣区域中的梯度的最大值也会趋向越大，梯度的方差趋于越大，但是，ROI感兴趣区域的像素个数(近似面积)却越来越少，反之亦然。因此，在步骤S3选择若干与图像质量相关性大的特征作为增益系数，对梯度均值的评分进行线性相乘，其评分结果将变得更加的敏感，并且整体上拉开不同质量图像的评分，从而更能反应图像质量的细微差异。
由于图像质量与梯度最大值、梯度标准差和感兴趣区域的面积有较强的相关性，因此，将它们组合起来作为增益系数，再利用这个增益系数拉开评分的差距。
具体增益系数的计算公式为：
Fw＝MAX(GN(x，y))×[STD(G(x，y))]2/Aroi (8)；
其中，Fw为第w个卷积核对应的增益系数，MAX(GN(x，y))为感兴趣区域标准化后的梯度矩阵GN(x，y)中的梯度最大值，STD(G(x，y))为梯度矩阵的标准差，Aroi为感兴趣区域的面积。
根据每一个卷积核的增益系数计算每一个卷积核滤波去噪后的待评估图像的质量评分，其计算公式为：
Figure BDA0003426987070000121
其中，MROI为梯度矩阵的二值化掩模，通过聚类算法得到该二值化掩模，∑|GN(x，y)∧MROI|为标准化后的梯度矩阵GN(x，y)中的梯度值与二值化掩模MROI进行逻辑与后的绝对值的总和，将GN(x，y)与二值化掩模MROI进行逻辑与的目的是获得上述的感兴趣区域，Aroi为感兴趣区域的面积，Sw为第w个卷积核去噪后的待评估图像的质量评分。通过掩模将关注到感兴趣区域，避免噪声的干扰，再通过除以感兴趣区域的面积获得平均标准化的梯度获得无量纲的分值，最后，利用增益系数拉开评分的差异。
S4，基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
可以理解的是，上述步骤S3计算了每一个卷积核滤波去噪后的待评估图像的质量评分，本步骤对对多个卷积核滤波去噪后的待评估图像的质量评分进行加权求和，得到待评估图像的最终质量评分。具体加权求和求取待评估图像的最终质量评分的表达式为：
Figure BDA0003426987070000122
其中，n为卷积核的个数，w∈[1,n],kw为第w个卷积核大小，Sw为第w个卷积核的去噪后的待评估图像的质量评分，Score为待评估图像的最终质量评分，
Score的分值越大代表图像质量越好，这种多特征融合对最终的图像质量的评分起到至关重要的作用。引入这个策略可以剔除掉多种噪声的干扰和获得更多的图像特征，使得本发明实施例具有很强的抗干扰性和泛化性，可大幅提示评分的准确率。
本发明实施例在完成去噪后的图像基础上，在步骤S2中获得多个不同卷积核滤波去噪后的待评估图像的梯度矩阵，并在后续的步骤中获得不同的评分。由于去噪程度和梯度值近似正比关系，于是最后用公式(10)进行加权求和，即融合了多种去噪后的图像梯度特征的信息。这种多特征融合的策略能有效减少某类噪声对梯度的影响，因此，本发明实施例具有很强的抗噪声性。
实施例三
一种图像质量评估方法，参见图2，首先对采用多种卷积核的组合分别对图像以高斯滤波(Gaussian Blur)或者是中值滤波(Median Blur)的方式进行模糊。这样做的目的是防止由噪声所产生的梯度影响了最终的评分。接着，通过Sobel算子或Scharr算子去计算图像中每个像素X方向和Y方向的梯度，获得梯度图，如公式(1)～(6)。为了剔除非边缘区域的噪声干扰，引入注意力机制，首先通过找到该梯度图的最大类间方差(OTSU)并进行二值化分割，再将低于阈值的区域进行去除，提取图像中的感兴趣区域。然后，经过过滤规则排除极端异常的区域，排除掉极端少数的边缘或噪声，如公式(7)。再计算出剩余梯度的最大值、标准差和ROI区域的面积，利用公式(8)获得每一个卷积核的增益系数，再采用公式(9)将ROI区域的梯度乘以该系数获得单个滤波器下的评分。最后，通过对不同滤波器获得评分进行加权求和，最终得到图像质量评估分数，如公式(10)。
图3显示了供本发明实施例通过多种卷积核提取不同特征的图像示意图。通过梯度来评估图像质量的理想图像应该是噪声稀少且边缘信息丰富，如图3(a)所示。然而，现实世界中采集的图像会因光照环境、应用领域、设备材料等因素导致噪声大，边缘模糊且占比不稳定，如图3(b)所示。梯度可以反应边缘的变化速度，从而能判断图像的清晰程度。而图3(b)中同样包含了大量的噪声的梯度，这些噪声既出现在边缘区域，也出现在其他大量的区域。大量噪声的存在会累加这些无需关注的梯度，统计梯度时会将噪声的梯度一并计算进去，从而影响最终的结果。因此，需要对图像进行去噪，如图3(c)所示。由于，噪声大小和边缘的形状和特征不同，用同一个过滤器获取的特征不够丰富，因此，通过不同的核大小获取不同的梯度图，如图3(d)、图3(e)和图3(f)所示，以及对应的感兴趣区域，如图3(g)、图3(h)和图3(i)所示。该示例中，(f)获得的边缘区域最为准确。通过过滤掉非边缘的区域，在计算梯度时获得的分数受到噪声的影响也就越小。在实际应用中，会有一个滤波后的特征效果会比较明显，评分中的占比就会大幅提高。正是因为这种结合多种特征融合策略所获得的图像质量评价分数具有更强的泛化能力和准确性。
图4显示了本发明一实施例中获得的10张图像的最终质量评分的感兴趣区域梯度矩阵示意图，且该示意图中还显示了供本发明实施例使用的增益系数相关的三个量的分布，这三个量分别为MAX(GN(x，y))、STD(G(x，y))和Aroi，在图4中分别简称为max、std和roiarea。数据为SEM聚焦过程中采样的10张图像，图4中的横轴代表了这10张图像的编号。这些图像从不清晰到清晰，再到不清晰。其中第5张图像的score最高，其为最清晰的图像，即最接近成像焦点。图中显示了这些图像的分数，ROI区域的梯度标准差、最大值和面积(像素个数)。从图中可以发现图像的清晰程度与ROI区域的梯度标准差、最大值成正比，与ROI区域的梯度面积成反比。因此，设计了图像评分的增益系数乘以标准化后的ROI梯度均值，如公式(8)和(9)。引入增益系数能够有效的进一步提高了抗干扰性，进一步来分开不同质量图像之间的评分差异，有利于提高自动聚焦和图像质量分类等应用的准确度。
图5显示了供本发明另一实施例应用在自动对焦时的实例图，在自动对焦的应用中，通过调解焦距，如从远到近进行调节，图像会从模糊到清晰，再到模糊的过程。因此需要对每次采样的图像给出准确的图像质量评估的分数。该图的上半部分画出了每次采样的图像采用本发明实施例的方法计算出来的分值，图的下半部分列举了对应的每次采样的图片，共10张图像，且和图4中采集的10张图像不同，本发明实施例能准确找到序号第五张(因为第一张图像的序号为0，所以第五张图像的序号为4)的图像最为清晰。
实施例四
一种图像质量评估系统，参见图6，该系统包括第一计算模块601、提取模块602、第二计算模块603和第三计算模块604。
其中，第一计算模块601，基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化；提取模块602，用于对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；第二计算模块603，用于基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；第三计算模块604，用于基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
可以理解的是，本发明实施例提供的一种图像质量评估系统与前述各实施例提供的图像质量评估方法相对应，图像质量评估系统的相关技术特征可参考图像质量评估方法的相关技术特征，在此不再赘述。
实施例五
请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备700，包括存储器710处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，处理器720执行计算机程序711时实现以下步骤：基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化；对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
作为实施例，所述电子设备700中存储器710上存储的计算机程序711在被执行时可以实现实施例一、实施例二或实施例三中的方法。
实施例六
请参阅图8，图8为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质800，其上存储有计算机程序711，该计算机程序711被处理器执行时实现如下步骤：基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对梯度图进行标准化；对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
作为实施例，所述计算机可读存储介质800上存储的计算机程序711在被执行时也可以实现实施例一、实施例二或实施例三中的方法。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种图像质量评估方法，其特征在于，包括：
基于多个不同的卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对所述梯度图进行标准化；
对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；
基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；
基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
2.根据权利要求1所述的图像质量评估方法，其特征在于，所述对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域，包括：
使用聚类算法对所述梯度图进行二值化，基于二值化梯度图将所述待评估图像分为两类，提取梯度值大的一类像素点组成的区域为所述待评估图像中的感兴趣区域。
3.根据权利要求1或2所述的图像质量评估方法，其特征在于，所述感兴趣区域包括多个感兴趣子区域，所述感兴趣子区域包括至少一个像素点，所述对标准化后的梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域，之后还包括：
剔除感兴趣区域中的异常感兴趣子区域；
且所述基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分包括：
基于完成剔除后的所述感兴趣区域的梯度矩阵和面积，计算每一个卷积核去噪后的待评估图像的质量评分。
4.根据权利要求3所述的图像质量评估方法，其特征在于，所述剔除感兴趣区域中的异常感兴趣子区域，包括：
计算各个所述感兴趣子区域的梯度平均值；
将梯度平均值大于或等于预设梯度阈值的感兴趣子区域剔除。
5.根据权利要求1或2所述的图像质量评估方法，其特征在于，所述基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，包括：
基于感兴趣区域的梯度矩阵中的梯度最大值、梯度矩阵的标准差和感兴趣区域的面积，计算每一个卷积核对应的增益系数；
基于所述增益系数、感兴趣区域的梯度矩阵、感兴趣区域的梯度矩阵的二值化掩模以及感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分。
6.根据权利要求5所述的图像质量评估方法，其特征在于，所述基于感兴趣区域的梯度矩阵中的梯度最大值、梯度矩阵的标准差和感兴趣区域的面积，计算每一个卷积核对应的增益系数，包括：
Fw＝MAX(GN(x，y))×[STD(G(x，y))]2/Aroi；
其中，Fw为第w个卷积核对应的增益系数，MAX(GN(x，y))为感兴趣区域标准化后的梯度矩阵GN(x，y)中的梯度最大值，STD(G(x，y))为梯度矩阵的标准差，Aroi为感兴趣区域的面积；
所述基于所述增益系数、感兴趣区域的梯度矩阵、感兴趣区域的梯度矩阵的二值化掩模以及感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分，包括：
Figure FDA0003426987060000031
其中，MROI为梯度矩阵的二值化掩模，通过聚类算法得到该二值化掩模，∑|GN(x，y)∧MROI|为标准化后的梯度矩阵GN(x，y)中的梯度值与二值化掩模MROI进行逻辑与后的绝对值的总和，Aroi为感兴趣区域的面积，Sw为第w个卷积核去噪后的待评估图像的质量评分。
7.根据权利要求6所述的图像质量评分方法，其特征在于，所述基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分，包括：
Figure FDA0003426987060000032
其中，n为卷积核的个数，w∈[1，n]，kw为第w个卷积核大小，Sw为第w个卷积核去噪后的待评估图像的质量评分，Score为待评估图像的最终质量评分。
8.一种图像质量评估系统，其特征在于，包括：
第一计算模块，基于多个卷积核分别对待评估图像进行去噪，计算去噪后的待评估图像的梯度图，并对所述梯度图进行标准化；
提取模块，用于对标准化后的所述梯度图进行二值化，并基于二值化梯度图提取待评估图像中的感兴趣区域；
第二计算模块，用于基于所述感兴趣区域的梯度矩阵和所述感兴趣区域的面积，计算每一个卷积核去噪后的待评估图像的质量评分；
第三计算模块，用于基于每一个卷积核去噪后的待评估图像的质量评分，计算待评估图像的最终质量评分。
9.一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机程序时实现权利要求1-7任一项所述的图像质量评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的图像质量评估方法的步骤。
CN202111580891.9A 2021-12-22 2021-12-22 一种图像质量评估方法、系统、电子设备及存储介质 Pending CN114387222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111580891.9A CN114387222A (zh) 2021-12-22 2021-12-22 一种图像质量评估方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111580891.9A CN114387222A (zh) 2021-12-22 2021-12-22 一种图像质量评估方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114387222A true CN114387222A (zh) 2022-04-22

Family

ID=81197466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111580891.9A Pending CN114387222A (zh) 2021-12-22 2021-12-22 一种图像质量评估方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114387222A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055607A (zh) * 2022-08-16 2023-05-02 荣耀终端有限公司 一种变焦顺滑性评估方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055607A (zh) * 2022-08-16 2023-05-02 荣耀终端有限公司 一种变焦顺滑性评估方法、装置及电子设备
CN116055607B (zh) * 2022-08-16 2023-09-01 荣耀终端有限公司 一种变焦顺滑性评估方法、装置及电子设备

Similar Documents

Publication Publication Date Title
AU671984B2 (en) Method for identifying objects using data processing techniques
US8073286B2 (en) Detection and correction of flash artifacts from airborne particulates
CN111027546B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN115063421B (zh) 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN115661135A (zh) 一种心脑血管造影的病灶区域分割方法
CN110717922A (zh) 一种图像清晰度评价方法及装置
CN116542982B (zh) 一种基于机器视觉的出发判断器缺陷检测方法及装置
CN115170804B (zh) 基于深度学习的表面缺陷检测方法、装置、系统和介质
CN115908415A (zh) 基于边缘的缺陷检测方法、装置、设备及存储介质
CN111915634A (zh) 一种基于融合策略的目标物体边缘检测方法与系统
CN114387222A (zh) 一种图像质量评估方法、系统、电子设备及存储介质
CN113673396A (zh) 一种孢子发芽率计算方法、装置及存储介质
CN115619775B (zh) 基于图像识别的物料计数方法及装置
CN116524269A (zh) 一种视觉识别检测系统
CN116363097A (zh) 一种光伏板的缺陷检测方法及系统
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN115908399A (zh) 一种基于改进视觉注意机制的磁片瑕疵检测方法
Ambili et al. A robust technique for splicing detection in tampered blurred images
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN114972084A (zh) 一种图像对焦准确度评价方法及系统
JP4247993B2 (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
Chehdi et al. A blind system to identify and filter degradations affecting an image
Likhith et al. Development of data driven adaptive edge detectors for image processing
CN117237366B (zh) 一种薄膜防雾性能检测方法
EP3839877A1 (en) Method and system for processing artifacts on digital images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination