CN117078611A - 一种图像模糊度检测方法、装置及电子设备 - Google Patents

一种图像模糊度检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117078611A
CN117078611A CN202310999840.2A CN202310999840A CN117078611A CN 117078611 A CN117078611 A CN 117078611A CN 202310999840 A CN202310999840 A CN 202310999840A CN 117078611 A CN117078611 A CN 117078611A
Authority
CN
China
Prior art keywords
ambiguity
image
network
blur
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310999840.2A
Other languages
English (en)
Inventor
李慧
陈辉
田鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Ningbo Co ltd
Original Assignee
Aixin Yuanzhi Semiconductor Ningbo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aixin Yuanzhi Semiconductor Ningbo Co ltd filed Critical Aixin Yuanzhi Semiconductor Ningbo Co ltd
Priority to CN202310999840.2A priority Critical patent/CN117078611A/zh
Publication of CN117078611A publication Critical patent/CN117078611A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像模糊度检测方法、装置及电子设备，所述方法可以获取待测图像，在待测图像的中心区域提取多张预设尺度的图像补丁，并将多张图像补丁输入模糊度检测模型，以获得模糊度预测值，再根据模糊度预测值，划分待测图像的模糊类型和模糊度等级。其中，模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，模糊度检测模型包括级联的特征提取子网络和结果细化子网络，特征提取子网络用于提取图像特征，结果细化子网络用于细化图像特征。所述方法利用不同大小的输入补丁来考虑不同的局部边缘模式的多尺度模糊估计，相对于单一尺度输入检测效果更好，解决图像中模糊区域对尺度的敏感导致检测结果不准确的问题。

Description

一种图像模糊度检测方法、装置及电子设备
技术领域
本申请涉及图像模糊检测技术领域，尤其涉及一种图像模糊度检测方法、装置及电子设备。
背景技术
图像模糊是指传感器像素单元接收到来自多个场景点发出的光造成的图像退化，其成因主要有相机抖动、不正确的聚焦以及拍摄场景中目标物体的运动。图像模糊在不同程度上会降低图像的质量，甚至对于一些计算机视觉任务产生影响，例如，对图像模糊度非常敏感的人脸识别或者活体检测这类依赖微观细节纹理的视觉任务。因此，需要检测图像模糊度来控制模糊图像的使用。
图像模糊度检测方法包括基于梯度算子的检测方法和基于熵函数的检测方法。其中，基于梯度算子的检测方法是利用图像边缘的梯度来衡量图像模糊程度，梯度越大表征图像越清晰，反之，梯度值越小表征图像越模糊。但由于模糊界限需要根据实际的应用场景来确定，依赖于图像内容，当图像复杂度较高时，无法得到可靠的模糊检测结果。基于熵函数的的检测方法是统计图像特征的熵函数来衡量图像信息丰富程度，即图像的信息量由该图像的信息熵来度量，信息熵越大则图像越清晰。但该方法根据图像内容不同容易出现与真实情况相反的结果，因此，仅适应于同一张图像前后变化时的模糊度检测，无法直接判定图像模糊或非模糊，通用性较差。
发明内容
本申请提供一种图像模糊度检测方法、装置及电子设备，以解决图像模糊度检测准确性差的问题。
第一方面，本申请提供一种图像模糊度检测方法，包括：
获取待测图像；
在所述待测图像的中心区域提取多张预设尺度的图像补丁；
将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
可选的，所述方法还包括：
获取图像样本集，所述图像样本集包括多个标记有模糊度标签的样本图像；
在所述样本图像的中心区域提取多张预设尺度的样本图像补丁，以得到样本图像补丁集；
构建神经网络模型，所述神经网络模型包括模糊度分类任务和模糊度回归预测任务；
基于所述样本图像补丁集训练所述模糊度分类任务和所述模糊度回归预测任务，以及基于损失函数调优所述神经网络模型，以得到模糊度检测模型，所述损失函数包括分类损失和回归损失。
可选的，所述方法还包括：
获取初始图像样本集；
对所述初始图像样本集中预设数量的样本图像执行模糊处理，以及根据模糊处理的处理类型和处理程度定义模糊类型和模糊度，所述模糊处理包括高斯模糊处理和运动模糊处理；
按照预设模糊度标签标记执行模糊处理后的样本图像的模糊类型和模糊度，以得到图像样本集。
可选的，在所述待测图像的中心区域提取多张预设尺度的图像补丁的步骤，包括：
按照预设尺寸缩放所述待测图像；
在缩放后的所述待测图像的中心区域裁剪出预设尺度的图像区域，以得到图像补丁。
可选的，所述方法还包括：
将多张所述图像补丁分别输入所述特征提取子网络中的多个并行的网络分支，以得到多张特征图，所述网络分支的数量与所述图像补丁的数量相等；
融合多张所述特征图，以得到融合特征图；
将所述融合特征图输入所述结果细化子网络，以提取所述融合特征图的特征向量；
将所述特征向量输入全连接层，以得到所述全连接层输出的模糊度预测值。
可选的，所述特征提取子网络包括第一网络分支、第二网络分支和第三网络分支；所述第一网络分支包括依次连接的第一卷积层、最大池化层和第二卷积层；所述第二网络分支包括依次连接的多层第三卷积层、最大池化层和第四卷积层；所述第三网络分支包括多层第五卷积层；所述结果细化子网络包括第六卷积层和第七卷积层。
可选的，所述全连接层包括第一全连接层、第二全连接层和第三全连接层，所述第一全连接层用于预测模糊度回归值，所述第二全连接层和所述第三全连接层用于预测模糊度分类置信度，所述第二全连接层输出的模糊度分类置信度用于表征第一数量个模糊类型，所述第三全连接层输出的模糊度分类置信度用于表征第二数量个模糊类型。
可选的，所述方法还包括：
获取所述第一全连接层输出的模糊度回归值；
计算模糊度回归值对应的模糊度预测值，所述模糊度预测值为预设模糊度范围内的数值。
可选的，根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级的步骤，包括：
获取模糊度阈值；
对比所述模糊度预测值与所述模糊度阈值；
如果所述模糊度预测值大于所述模糊度阈值，确定所述模糊类型为第一模糊类型，以及根据所述模糊度预测值与所述模糊度阈值的差值定义模糊度等级；
如果所述模糊度预测值小于或等于所述模糊度阈值，确定所述模糊类型为第二模糊类型，以及根据所述模糊度预测值定义模糊度等级。
第二方面，本申请提供一种图像模糊度检测装置，包括图像获取模块、多尺度切分模块、模糊度检测模块和模糊度划分模块，其中：
图像获取模块，用于获取待测图像；
多尺度切分模块，用于在所述待测图像的中心区域提取多张预设尺度的图像补丁；
模糊度检测模块，用于将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
模糊度划分模块，用于根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
第三方面，本申请提供一种电子设备，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器被配置为：
获取待测图像；
在所述待测图像的中心区域提取多张预设尺度的图像补丁；
将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
由以上技术方案可知，本申请提供一种图像模糊度检测方法、装置及电子设备，所述方法可以获取待测图像，在待测图像的中心区域提取多张预设尺度的图像补丁，并将多张图像补丁输入模糊度检测模型，以获得模糊度预测值，再根据模糊度预测值，划分待测图像的模糊类型和模糊度等级。其中，模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，模糊度检测模型包括级联的特征提取子网络和结果细化子网络，特征提取子网络用于提取图像特征，结果细化子网络用于细化图像特征。所述方法利用不同大小的输入补丁来考虑不同的局部边缘模式的多尺度模糊估计，相对于单一尺度输入检测效果更好，解决图像中模糊区域对尺度的敏感导致检测结果不准确的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像模糊度检测方法的流程示意图；
图2为本申请实施例提供的获取图像样本集的流程示意图；
图3为本申请实施例提供的模糊度检测模型的训练和检测的流程示意图；
图4为本申请实施例提供的模糊度检测模型的网络结构示意图；
图5为本申请实施例提供的划分待测图像的模糊类型和模糊度等级的流程示意图；
图6为本申请实施例提供的电子设备的结构框图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
图像模糊是指传感器像素单元接收到来自多个场景点发出的光造成的图像退化，其成因主要有相机抖动、不正确的聚焦以及拍摄场景中目标物体的运动。图像模糊在不同程度上会降低图像的质量，甚至对于一些计算机视觉任务产生影响，例如，人脸识别或者活体检测这类依赖微观细节纹理的视觉任务，其对图像模糊度非常敏感。因此，需要检测图像模糊度来控制模糊图像的使用。
在一些实施例中，可以基于梯度算子检测图像模糊度，利用图像边缘的梯度来衡量图像模糊程度，梯度越大表征图像越清晰，反之，梯度值越小表征图像越模糊。例如，可以基于Tenengrad梯度函数，采用Sobel算子分别提取图像中水平和垂直方向的梯度值。可以基于Laplacian梯度函数，使用Laplacian算子替代Sobel算子，Laplacian算子具有二阶可导性，可以计算图像中密度变化快速的区域(边界)，对图像计算laplacian算子并计算方差。可以基于Brenner梯度函数，计算相邻两个像素灰度差的平方。
但上述方法模糊界限难以确定，需要根据实际的应用场景来确定阈值，进而区分模糊度。依赖于图像内容，当图像复杂度较高时，无法得到可靠的模糊检测结果。
在一些实施例中，可以基于熵函数的的检测方法检测图像模糊度，统计图像特征的熵函数来衡量图像信息丰富程度，即图像的信息量由该图像的信息熵来度量，信息熵越大则图像越清晰。但该方法根据图像内容不同容易出现与真实情况相反的结果，仅适应于同一张图像前后变化时的模糊度检测，无法直接判定图像模糊或非模糊，通用性较差。
为了解决上述问题，本申请部分实施例中提供一种图像模糊度检测方法，所述图像模糊度检测方法可以通过一个多尺度模型来融合不同分辨率水平的信息。并将不同尺度的图像补丁集中到同一边缘位置提取，多尺度的图像补丁经过一系列卷积滤波、激活单元和池化层，在达到相同空间大小的点(即融合不同分辨率的信息)进行拼接，以通过多尺度提取边缘的低级模糊信息，进而实现图像模糊度检测。如图1所示，图1为本申请实施例提供的一种图像模糊度检测方法的流程示意图，所述图像模糊度检测方法包括如下步骤：
S100：获取待测图像。
其中，待测图像是指需要进行图像模糊度检测的图像。本申请实施例对获取待测图像的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行调整。
S200：在待测图像的中心区域提取多张预设尺度的图像补丁。
获取到待测图像后，可以对待测图像进行切分，在待测图像的中心区域提取多张预设尺度的图像补丁。切分时，可以先按照预设尺寸缩放待测图像，并在缩放后的待测图像的中心区域裁剪出预设尺度的图像区域，以得到图像补丁。例如，将RGB格式的待测图像缩放为尺寸为(128，128)的图像，并在尺寸为(128，128)的图像的中心区域中提取尺度分别为41x41x3、27x27x3、15x15x3的图像补丁。
S300：将多张图像补丁输入模糊度检测模型，以获得模糊度检测模型输出的模糊度预测值。
其中，模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，模糊度检测模型包括级联的特征提取子网络和结果细化子网络，特征提取子网络用于提取图像特征，结果细化子网络用于细化图像特征。
在一些实施例中，训练模糊度检测模型时，可以获取图像样本集，图像样本集包括多个标记有模糊度标签的样本图像。再对样本图像进行切分，在样本图像的中心区域提取多张预设尺度的样本图像补丁，以得到样本图像补丁集。然后构建神经网络模型，基于样本图像补丁集训练神经网络模型，通过大量的数据更新网络参数，使得网络从数据中自适应地学习模糊相关的特征，进而生成模糊度检测模型，用于检测图像模糊度。
在一些实施例中，可以获取初始图像样本集，并对初始图像样本集中的样本图像标记模糊度标签，进而得到图像样本集。其中，本申请实施例对初始图像样本集的数据来源不作具体的限定，本领域技术人员可以根据实际情况进行调整。例如，初始图像样本集的数据来源可以为自采数据，也可以为开源数据集。
在一些实施例中，如图2所示，对初始图像样本集中的样本图像标记模糊度标签时，可以先对初始图像样本集中预设数量的样本图像执行模糊处理，以及根据模糊处理的处理类型和处理程度定义模糊类型和模糊度。可以理解的是，对样本图像执行模糊处理，则样本图像的模糊类型可以由模糊处理的处理类型决定，样本图像的模糊度可以由模糊处理的处理程度决定。
例如，模糊处理包括高斯模糊处理和运动模糊处理。即对初始图像样本集中的部分样本图像进行高斯模糊和运动模糊以模拟模糊图像，从而得到离焦模糊图像、运动模糊图像和清晰图像(未执行模糊处理的图像)，则其对应的模糊类型分别为离焦模糊类型、运动模糊类型和清晰类型。其中，高斯模糊处理采用的高斯模糊核包括3x3、5x5、7x7、9x9、11x11、13x13、15x15、、17x17、19x19，则在离焦模糊类型中对应的模糊度为1-9。运动模糊处理的程度大小包括8、10、12、14、16、18、20、22、24。则在运动模糊类型中对应的模糊度为1-9。
执行模糊处理后，为模糊处理后的样本图像设置模糊度标签，即按照预设模糊度标签标记执行模糊处理后的样本图像的模糊类型和模糊度，以得到图像样本集。其中，样本图像的模糊类型和模糊度可以分别标记，即用两种模糊度标签分别标记模糊类型和模糊度，还可以基于同一种模糊度标签标记样本图像的模糊类型和模糊度，例如，在运动模糊类型中对应的模糊度，对应的标签为1-9的数字。在离焦模糊类型中对应的模糊度，对应的标签为10-18的数字。清晰图像对应的标签为数字0。
在一些实施例中，可以采用多损失方案，将模糊度分类任务和模糊度回归预测任务联合训练得到模糊度检测模型。即神经网络模型包括模糊度分类任务和模糊度回归预测任务，训练时，基于样本图像补丁集训练模糊度分类任务和模糊度回归预测任务，以及基于损失函数调优神经网络模型，以得到模糊度检测模型，其中，损失函数包括分类损失和回归损失。
为了提高模型精度，可以将图像样本集划分为训练集和测试集，其中，训练集用于训练模型，测试集用于检验训练的模型的性能。
如图3所示，对于模糊度检测模型的训练，首先，获取多张图像数据作为训练集和测试集，对部分图像数据进行模糊处理，并制作模糊度标签。其中，训练集包含151933张图像，测试集包含29318张图像。对训练集和测试集中的部分数据进行高斯模糊和运动模糊来模拟模糊图像。采用的高斯模糊核有3x3、5x5、7x7、9x9、11x11、13x13、15x15、、17x17、19x19，在离焦模糊类型中对应的模糊度为1-9，对应的标签为1-9。运动模糊处理的程度大小包括8、10、12、14、16、18、20、22、24。则在运动模糊类型中对应的模糊度为1-9，对应的标签为10-18的数。清晰图像对应的标签为0。最终得到图像样本集中包含66965张为离焦模糊图像，59726张是运动模糊图像，25242张清晰图像。
然后将每张图像缩放为尺寸为(128，128)的图片，并在尺寸为(128，128)的图像中提取中心区域尺度大小为41x41x3、27x27x3、15x15x3的图像补丁输入至神经网络模型做训练和测试。
其中，神经网络模型由两个级联子网络组成。分别是特征提取子网络F1和结果细化子网络F2。其中，特征提取子网络F1包括多个并行的网络分支。其中，网络分支的数量与图像补丁的数量相等，特征提取子网络中网络分支的数量可以根据提取的图像补丁的数量设置。
如图4所示，为特征提取子网络F1的网络结构图，该特征提取子网络包括3个并行的网络分支，分别为第一网络分支、第二网络分支和第三网络分支。将上述三张尺度不同的图像补丁并行的输入至特征提取子网络F1中，以提取图像特征。
其中，第一网络分支接收尺度为41x41x3的图像补丁作为输入，第一网络分支包括依次连接的第一卷积层、最大池化层和第二卷积层。其中，第一卷积层的尺寸为3x3，最大池化层的尺寸为3x3，第二卷积层包括3个尺寸为3x3的卷积核。也就是说，41x41x3的图像补丁经一个尺寸为3x3的卷积层和尺寸为3x3的最大池化层后，输出64个尺寸为13x13的特征图。再通过3个卷积核尺寸为3x3的卷积层，得到64个尺寸为7x7的特征图。
第二网络分支接收尺度为27x27x3的图像补丁作为输入，第二网络分支包括依次连接的多层第三卷积层、最大池化层和第四卷积层。其中，第三卷积层可以为3层，且尺寸均为3x3，最大池化层的尺寸为3x3，第四卷积层的尺寸为1x1。也就是说，27x27x3的图像补丁先进行3层卷积操作，再进行一次最大池化层操作，再通过一个尺寸为1x1的卷积层，输出64个尺寸为7x7的特征图。
第三网络分支接收尺度为15x15x3的图像补丁作为输入，第三网络分支包括多层第五卷积层。其中，第五卷积层可以为4层，且尺寸均为3x3。也就是说，15x15x3的图像补丁经过4层卷积操作，输出64个尺寸为7x7的特征图。
由于浅卷积层提取的特征包含纹理、梯度和边缘等低级图像特征，能更好地细化模糊区域边界。因此，可以将特征提取子网络F1中多个网络分支输出的特征图进行融合(concat)操作，以融合特征，得到融合特征图，即低级模糊信息，进而提高模型的精度。即将上述3个网络分支输出的3个特征图进行融合，融合操作后得到尺寸为192x7x7的特征图。再将其输入至结果细化子网络F2中，以细化图像特征。
具体的，每个尺度下的图像卷积特征之间是独立的，为了利用不同尺度下的图像卷积特征的互补性，可以使用尺寸为3×3×64的卷积层作为融合层融合3个尺度下图像对应层的卷积特征。
结果细化子网络F2由卷积滤波、激活单元(如ReLU激活单元)组成，包括第六卷积层和第七卷积层。其中，第六卷积层的尺寸为3x3，第七卷积层的尺寸为1x1。即使用尺寸为3x3卷积和尺寸为1x1卷积对融合特征进行结果细化，提取出固定大小的特征向量。上述尺寸为192x7x7的融合特征图经过细化，提取得到尺寸为1x64的特征向量，并输入到全连接层中。
如图4所示，全连接层FC输出的结果包含模糊度的回归值预测和模糊度分类的置信度预测。全连接层包括3个，分别为第一全连接层FC1、第二全连接层FC2和第三全连接层FC3。其中，第一全连接层FC1用于预测模糊度回归值，即直接预测图像的模糊度回归值，并经softmax操作和argmax操作输出的数值位于预设模糊度范围内。第二全连接层FC2和第三全连接层FC3用于预测模糊度分类置信度。第二全连接层FC2输出的模糊度分类置信度用于表征第一数量个模糊类型，第三全连接层FC3输出的模糊度分类置信度用于表征第二数量个模糊类型。
具体的，上述结果细化子网络F2提取的特征向量分别输入到第一全连接层FC1、第二全连接层FC2和第三全连接层FC3中。第一全连接层FC1直接预测图像的模糊度回归值，经softmax操作和argmax操作输出的数值位于(0，18)范围内。第二全连接层FC2输出的变量位于(1，3)范围内，用于表征模糊度的分类置信度，即用于表征基于(0，18)的范围区间将模糊度划分的3个模糊类型。在训练过程中，模糊度数值0被划分为模糊类型1，表示图像清晰。模糊度数值2-9被划分为模糊类型2，表示图像是离焦模糊图像。模糊度数值10-18被划分为模糊类型3，表示图像为运动模糊图像。第三全连接层FC3输出的变量位于(1，5)范围内，用于表征基于(0，18)的范围区间将模糊度划分的5个模糊类型，从而减少稀疏分类带来的误差。在训练过程中，模糊度数值0被划分为模糊类型1，模糊度数值1-4划分为模糊类型2，模糊度数值5-9划分为模糊类型3，模糊度数值10-14划分为模糊类型4，模糊度数值15-18划分为模糊类型5。
需要说明的是，模型设置3个全连接层，即模型输出共包含3个分支，其中2个分支用于预测模糊度分类的置信度，另一个分支用于预测模糊度的回归值。损失同时包含分类损失和回归损失两部分。在模型训练的过程中，通过第一全连接层FC1、第二全连接层FC2和第三全连接层FC3预测模糊度回归值和模糊度分类置信度，以训练模型，将分类损失和回归损失收敛至最优。在模型推理的过程中，模型将通过第一全连接层FC1直接预测图像模糊度的回归值，无需进行模糊度分类。
如图3所示，基于训练好的模糊度检测模型检测图像模糊度的过程，首先，获取待测图像，对待测图像进行切分，在待测图像的中心区域提取多张预设尺度的图像补丁。将多张图像补丁分别输入特征提取子网络中的多个并行的网络分支，以得到多张特征图。融合多张特征图，以得到融合特征图。再将融合特征图输入结果细化子网络，以提取融合特征图的特征向量。最后将特征向量输入全连接层，以得到全连接层输出的模糊度预测值。
具体的，获取到待测图像后，在待测图像的中心区域提取尺度分别为41x41x3、27x27x3、15x15x3的图像补丁。将三张尺度不同的图像补丁并行的输入至特征提取子网络F1中的3个网络分支。其中，第一网络分支接收尺度为41x41x3的图像补丁作为输入，第二网络分支接收尺度为27x27x3的图像补丁作为输入，第三网络分支接收尺度为15x15x3的图像补丁作为输入，分别经过卷积、池化等操作后，提取得到3张特征图。融合3张特征图，以得到融合特征图，并将融合特征图输入到第一全连接层FC1中，以预测待测图像的模糊度回归值。获取到第一全连接层输出的模糊度回归值后，对模糊度回归值进行argmax操作，以计算模糊度回归值对应的模糊度预测值，其中，模糊度预测值为预设模糊度范围内的数值。例如，预设模糊度范围为(0，18)，则第一全连接层FC1的输出经过argmax操作得到的模糊度预测值位于(0，18)范围内。
S400：根据模糊度预测值，划分待测图像的模糊类型和模糊度等级。
获取到模糊度预测值后，可以根据模糊度预测值划分待测图像的模糊类型和模糊度等级。在一些实施例中，如图5所示，可以预先设置模糊度阈值，模糊度阈值可以根据训练模型时定义的模糊度得到。根据模糊度预测值划分待测图像的模糊类型时，可以获取模糊度阈值，对比模糊度预测值与模糊度阈值。如果模糊度预测值大于模糊度阈值，确定模糊类型为第一模糊类型，以及根据模糊度预测值与模糊度阈值的差值定义模糊度等级。如果模糊度预测值小于或等于模糊度阈值，确定模糊类型为第二模糊类型，以及根据模糊度预测值定义模糊度等级。
以上述训练的模糊度检测模型为例，定义模糊度范围为0-18，其中，在离焦模糊类型中对应的模糊度为0-9，在运动模糊类型中对应的模糊度为10-18。根据模糊度检测模型的输出计算的模糊度预测值位于(0，18)范围内。根据该模糊度检测模型，可以设置模糊度阈值为9，如果模糊度预测值大于9，则表示该待测图像为运动模糊类型，待测图像的模糊度等级应为模糊度预测值与模糊度阈值的差值。反之，如果模糊度预测值小于或等于9，在表示该待测图像为离焦模糊类型，待测图像的模糊度等级为模糊度预测值。可以理解的是，模糊度等级对应的范围位于(0，8)，数值越大表示图像越模糊。
例如，模糊度预测值为7，则表示该待测图像为离焦模糊类型，模糊度等级为7。模糊度预测值为13，则表示该待测图像为运动模糊类型，模糊度等级为4。
基于上述图像模糊度检测方法。在本申请部分实施例中还提供一种图像模糊度检测装置，包括图像获取模块、多尺度切分模块、模糊度检测模块以及模糊度划分模块。
其中，图像获取模块，用于获取待测图像。
多尺度切分模块，用于在所述待测图像的中心区域提取多张预设尺度的图像补丁。
模糊度检测模块，用于将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征。
模糊度划分模块，用于根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
基于上述图像模糊度检测方法，本申请的部分实施例中还提供一种电子设备，如图6所示，图6为本申请实施例提供的一种电子设备的结构框图，该电子设备800包括：至少一个处理器801，至少一个通信接口802，至少一个存储器803和至少一个总线804。其中，总线804用于实现这些组件直接的连接通信，通信接口802用于与其他节点设备进行信令或数据的通信，存储器803存储有可被处理器801执行的计算机程序指令。当电子设备800运行时，处理器801与存储器803之间通过总线804通信，处理器801调用存储器803中存储的计算机程序并执行该计算机程序可以实现本申请实施例提供的图像模糊度检测方法。
由以上技术方案可知，本申请提供一种图像模糊度检测方法、装置及电子设备，所述方法提供一种基于特征学习方法的图像模糊度检测方案，采用多损失方案，将模糊度分类任务和模糊度回归预测任务联合训练得到模糊度检测模型。并且利用不同大小的输入补丁来考虑不同的局部边缘模式的多尺度模糊估计，可以较好地过滤掉复杂图像背景上的检测错误，相对于单一尺度输入检测效果更好，解决图像中模糊区域对尺度的敏感导致检测结果不准确的问题。通过从不同尺度的图像中提取包含不同信息的多层特征，并自顶向下地进行整合得到更为鲁棒的模糊检测结果，且模型轻量，运行速度快，提高检测效率。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (11)

1.一种图像模糊度检测方法，其特征在于，包括：
获取待测图像；
在所述待测图像的中心区域提取多张预设尺度的图像补丁；
将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
2.根据权利要求1所述的图像模糊度检测方法，其特征在于，所述方法还包括：
获取图像样本集，所述图像样本集包括多个标记有模糊度标签的样本图像；
在所述样本图像的中心区域提取多张预设尺度的样本图像补丁，以得到样本图像补丁集；
构建神经网络模型，所述神经网络模型包括模糊度分类任务和模糊度回归预测任务；
基于所述样本图像补丁集训练所述模糊度分类任务和所述模糊度回归预测任务，以及基于损失函数调优所述神经网络模型，以得到模糊度检测模型，所述损失函数包括分类损失和回归损失。
3.根据权利要求2所述的图像模糊度检测方法，其特征在于，所述方法还包括：
获取初始图像样本集；
对所述初始图像样本集中预设数量的样本图像执行模糊处理，以及根据模糊处理的处理类型和处理程度定义模糊类型和模糊度，所述模糊处理包括高斯模糊处理和运动模糊处理；
按照预设模糊度标签标记执行模糊处理后的样本图像的模糊类型和模糊度，以得到图像样本集。
4.根据权利要求1所述的图像模糊度检测方法，其特征在于，在所述待测图像的中心区域提取多张预设尺度的图像补丁的步骤，包括：
按照预设尺寸缩放所述待测图像；
在缩放后的所述待测图像的中心区域裁剪出预设尺度的图像区域，以得到图像补丁。
5.根据权利要求1所述的图像模糊度检测方法，其特征在于，所述方法还包括：
将多张所述图像补丁分别输入所述特征提取子网络中的多个并行的网络分支，以得到多张特征图，所述网络分支的数量与所述图像补丁的数量相等；
融合多张所述特征图，以得到融合特征图；
将所述融合特征图输入所述结果细化子网络，以提取所述融合特征图的特征向量；
将所述特征向量输入全连接层，以得到所述全连接层输出的模糊度预测值。
6.根据权利要求5所述的图像模糊度检测方法，其特征在于，所述特征提取子网络包括第一网络分支、第二网络分支和第三网络分支；所述第一网络分支包括依次连接的第一卷积层、最大池化层和第二卷积层；所述第二网络分支包括依次连接的多层第三卷积层、最大池化层和第四卷积层；所述第三网络分支包括多层第五卷积层；所述结果细化子网络包括第六卷积层和第七卷积层。
7.根据权利要求5所述的图像模糊度检测方法，其特征在于，所述全连接层包括第一全连接层、第二全连接层和第三全连接层，所述第一全连接层用于预测模糊度回归值，所述第二全连接层和所述第三全连接层用于预测模糊度分类置信度，所述第二全连接层输出的模糊度分类置信度用于表征第一数量个模糊类型，所述第三全连接层输出的模糊度分类置信度用于表征第二数量个模糊类型。
8.根据权利要求7所述的图像模糊度检测方法，其特征在于，所述方法还包括：
获取所述第一全连接层输出的模糊度回归值；
计算模糊度回归值对应的模糊度预测值，所述模糊度预测值为预设模糊度范围内的数值。
9.根据权利要求1所述的图像模糊度检测方法，其特征在于，根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级的步骤，包括：
获取模糊度阈值；
对比所述模糊度预测值与所述模糊度阈值；
如果所述模糊度预测值大于所述模糊度阈值，确定所述模糊类型为第一模糊类型，以及根据所述模糊度预测值与所述模糊度阈值的差值定义模糊度等级；
如果所述模糊度预测值小于或等于所述模糊度阈值，确定所述模糊类型为第二模糊类型，以及根据所述模糊度预测值定义模糊度等级。
10.一种图像模糊度检测装置，其特征在于，包括：
图像获取模块，用于获取待测图像；
多尺度切分模块，用于在所述待测图像的中心区域提取多张预设尺度的图像补丁；
模糊度检测模块，用于将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
模糊度划分模块，用于根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线；
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器被配置为：
获取待测图像；
在所述待测图像的中心区域提取多张预设尺度的图像补丁；
将多张所述图像补丁输入模糊度检测模型，以获得所述模糊度检测模型输出的模糊度预测值，所述模糊度检测模型为根据标记有模糊度标签的图像样本集训练获得的神经网络模型，所述模糊度检测模型包括级联的特征提取子网络和结果细化子网络，所述特征提取子网络用于提取图像特征，所述结果细化子网络用于细化图像特征；
根据所述模糊度预测值，划分所述待测图像的模糊类型和模糊度等级。
CN202310999840.2A 2023-08-09 2023-08-09 一种图像模糊度检测方法、装置及电子设备 Pending CN117078611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310999840.2A CN117078611A (zh) 2023-08-09 2023-08-09 一种图像模糊度检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310999840.2A CN117078611A (zh) 2023-08-09 2023-08-09 一种图像模糊度检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117078611A true CN117078611A (zh) 2023-11-17

Family

ID=88705409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310999840.2A Pending CN117078611A (zh) 2023-08-09 2023-08-09 一种图像模糊度检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117078611A (zh)

Similar Documents

Publication Publication Date Title
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN116420159A (zh) 缺陷检测方法、装置和系统
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN115272330A (zh) 基于电池表面图像的缺陷检测方法、系统及相关设备
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114926441B (zh) 一种注塑件加工成型的缺陷检测方法及系统
Mukherjee et al. Enhancement of image resolution by binarization
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN117372898A (zh) 一种基于改进yolov8的无人机航拍图像目标检测方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
Oga et al. River state classification combining patch-based processing and CNN
Ashourian et al. Real time implementation of a license plate location recognition system based on adaptive morphology
CN112861678B (zh) 一种图像识别方法及装置
CN117952941A (zh) 电路板缺陷检测方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
Wang et al. Fast blur detection algorithm for UAV crack image sets
CN116311290A (zh) 基于深度学习的手写及打印文本检测方法和装置
CN116579985A (zh) 一种基于RefineDet模型的晶圆缺陷检测方法
CN117078611A (zh) 一种图像模糊度检测方法、装置及电子设备
CN115270841A (zh) 条码检测方法、装置、存储介质及计算机设备
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
Zhu et al. A Bidirectional Self-Rectifying Network with Bayesian Modelling for Vision-Based Crack Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315201

Applicant after: Aixin Yuanzhi Semiconductor Co.,Ltd.

Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315201

Applicant before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region before: China