CN113111730B - 快速高精度的图像模糊检测方法及装置 - Google Patents

快速高精度的图像模糊检测方法及装置 Download PDF

Info

Publication number
CN113111730B
CN113111730B CN202110308260.5A CN202110308260A CN113111730B CN 113111730 B CN113111730 B CN 113111730B CN 202110308260 A CN202110308260 A CN 202110308260A CN 113111730 B CN113111730 B CN 113111730B
Authority
CN
China
Prior art keywords
detected
face image
network model
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110308260.5A
Other languages
English (en)
Other versions
CN113111730A (zh
Inventor
刘晓春
王国霞
王贤良
孟凡军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Haixin Zhisheng Technology Co ltd
Original Assignee
Beijing Haixin Zhisheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haixin Zhisheng Technology Co ltd filed Critical Beijing Haixin Zhisheng Technology Co ltd
Priority to CN202110308260.5A priority Critical patent/CN113111730B/zh
Publication of CN113111730A publication Critical patent/CN113111730A/zh
Application granted granted Critical
Publication of CN113111730B publication Critical patent/CN113111730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种快速高精度的图像模糊检测方法及装置,方法包括:将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;根据参数及预设深度神经网络模型,确定模糊检测网络模型;将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值。所述装置用于执行上述方法。本发明提供的快速高精度的图像模糊检测方法及装置,构建的模糊检测网络模型能够对图像进行模糊检测,同时保持着耗时低及精度高的优势。

Description

快速高精度的图像模糊检测方法及装置
技术领域
本发明涉及数字图像处理技术领域,尤其涉及一种快速高精度的图像模糊检测方法及装置。
背景技术
随着移动互联网、5G、物联网以及人工智能的发展,人脸识别技术已经广泛应用到日常生活中,例如人脸登录、人脸门禁、人脸开户等。虽然目前的人脸识别技术在高质量的人脸图像上的准确率已经能满足应用要求,但是在质量相对较差的图像上依旧还存在误识别,例如模糊、光照过曝与过暗等情况。此外,近年来基于数据驱动的活体识别方法主要集中在发现人脸图像上的微小差异来判断是否是活体。人脸图像的模糊失真直接导致人脸图像的细节丢失,进一步导致通过鉴别微小的差异的活体方法失效。因此模糊图像过滤在人脸识别技术中起到关键作用。
现有技术的模糊检测方法,通过提取分析人工特征判断人脸图像是否模糊,这类方法通常与图像内容无关。近几年,基于深度学习的模糊检测方法也越来越受研究者们青睐,待检测图像经过神经网络自动学习提取特征,进一步将提取的特征进行标签分类或者回归模糊度值,这类方法不用设计特定的人工特征,并且可以学习到图像内容相关的模糊特征。目前基于深度学习的方法通常设计比较大的网络,导致在使用网络模型时耗时,且精度依旧不够高。
如何设计一种快速高精度的图像模糊检测方法,能够在耗时低的前提下实现对图像的高精度模糊检测,成为亟需解决的问题。
发明内容
本发明提供的快速高精度的图像模糊检测方法,用于克服现有技术中存在的上述问题,能够在耗时低的前提下实现对图像的高精度模糊检测。
本发明提供的一种快速高精度的图像模糊检测方法,包括:
将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数;
根据所述参数及预设深度神经网络模型,确定模糊检测网络模型;
将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,所述待检测人脸图像的低层次人工特征图是将所述待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
所述低层次人工特征提取神经网络模型的参数是预先确定的。
根据本发明提供的一种快速高精度的图像模糊检测方法,所述低层次人工特征提取神经网络模型的参数通过如下方式确定:
通过如下至少一种人工图像特征算子确定所述低层次人工特征提取网络模型的参数;
索贝尔Sobel算子、Prewitt算子及拉普拉斯算子。根据本发明提供的一种快速高精度的图像模糊检测方法,所述将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数,包括:
将所述待检测人脸图像的低层次人工特征图及所述待检测人脸图像的模糊值输入至预设中层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的中层次语义特征图;
将经预处理后的所述待检测人脸图像的中层次语义特征图输入至预设高层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的高层次语义特征图;
将经预处理后的所述待检测人脸图像的高层次语义特征图输入至预设深度神经网络模型进行训练,确定所述预设深度神经网络模型的参数。
根据本发明提供的一种快速高精度的图像模糊检测方法,所述将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值,包括:
将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊置信度;
根据所述待检测人脸图像的模糊置信度与预设阈值的对比结果,确定所述待检测人脸图像的模糊度值。
根据本发明提供的一种快速高精度的图像模糊检测方法,对所述待检测人脸图像的中层次语义特征图的进行预处理,包括:
根据所述待检测人脸图像的中层次语义特征图的空间维度,确定特征块划分规则;
根据所述特征块划分规则对所述待检测人脸图像的中层次语义特征图进行特征块划分,并基于聚合算法获取中层次分块聚合特征图。
根据本发明提供的一种快速高精度的图像模糊检测方法,对所述待检测人脸图像的高层次语义特征图进行预处理,包括:
基于聚合算法对所述待检测人脸图像的高层次语义特征图进行全局特征聚合,以获取高层次全局特征图。
根据本发明提供的一种快速高精度的图像模糊检测方法,所述聚合算法包括如下聚合算法中的至少一种:
均值聚合算法、最值聚合算法及方差聚合算法。
本发明还提供一种快速高精度的图像模糊检测装置,包括:参数确定模块、模型确定模块以及快速高精度的图像模糊检测模块;
所述参数确定模块,用于将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数;
所述模型确定模块,用于根据所述参数及预设深度神经网络模型,确定模糊检测网络模型;
所述快速高精度的图像模糊检测模块,用于将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,所述待检测人脸图像的低层次人工特征图是将所述待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
所述低层次人工特征提取神经网络模型的参数是预先确定的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述快速高精度的图像模糊检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述快速高精度的图像模糊检测方法的步骤。
本发明提供的快速高精度的图像模糊检测方法及装置,通过将获取待检测人脸图像的低层次人工特征图与人工标注的模糊值输入至预设深度神经网络进行训练,确定预设深度神经网络模型的参数,通过预设和训练得到的参数以及预设深度神经网络模型确定支持直接输入任意分辨率人脸图像的模糊检测网络模型,同时能够在耗时低的前提下实现对图像的高精度模糊检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的快速高精度的图像模糊检测方法的流程示意图;
图2是本发明提供的快速高精度的图像模糊检测装置的结构示意图;
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的快速高精度的图像模糊检测方法的流程示意图,如图1所示,方法包括:
S1、将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;
S2、根据参数及预设深度神经网络模型,确定模糊检测网络模型;
S3、将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,待检测人脸图像的低层次人工特征图是将待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
低层次人工特征提取神经网络模型的参数是预先确定的。
需要说明的是,上述方法的执行主体可以是计算机设备。
本发明融合了基于传统的方法和基于深度学习的方法,整体而言需要一个数据集,其中包含待检测人脸图像和对应标注好的模糊值。
方法包括两个步骤,训练步骤和推理步骤。方法的训练步骤使用批量随机梯度下降优化方法(SGD)学习或者其他优化方法,首先通过一种或者多种人工图像特征算子提取低层次图像特征以得到待检测人脸图像的低层次人工特征图,并基于批量随机梯度下降优化方法(SGD)学习或者其他优化方法对待检测人脸图像的低层次人工特征图及预先标注好的待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,确定预设深度神经网络模型的参数。
本发明中提供的模糊检测网络模型可以具体包括有用于提取待检测人脸图像的低层次人工特征图的低层次人工特征提取神经网络模型、用于提取待检测人脸图像的中层次语义特征图的预设中层次语义特征提取神经网络模型以及用于提取待检测人脸图像的高层次语义特征图的预设高层次语义特征提取神经网络模型以及模糊检测网络模型。
其中,预设深度神经网络模型的低层次人工特征提取神经网络模型的参数是预先设定的,将待检测人脸图像输入至预设低层次特征提取深度神经网络模型可以得到待检测人脸图像的低层次人工特征,其他层次特征提取网络都是通过标注好的训练集,通过深度卷积神经网络的梯度反向传播优化方法进行自动学习的,通过大量的迭代学习后,当性能稳定后,预设深度神经网络模型的参数就确定了。
其他优化算法包括深度学习优化算法如Adagrad优化算法、Adadelta优化算法、RMSprop优化算法、适应性矩估计(Adaptive Moment Estimation,Adam)优化算法以及Nadam优化算法。
需要说明的是,数据集中的待检测人脸图像可以是通过实际视频监控应用中,摄像头输出的任意大小原始图像数据,而由于摄像头输出的原始图像数据中往往包含通过屏幕菜单式调节方式(On-Screen Display,OSD)加载的拍摄时间、拍摄场地如某某停车场等OSD信息。
在快速高精度的图像模糊检测中,上述OSD信息相对于数字图像属于干扰区域,因此,可以预先采用预处理算法将图像中的上述干扰区域进行排除,然后再对预处理后的图像进行模糊判断,具体地,可以确定OSD信息即OSD字符区域的边界位置,然后再将上述OSD字符区域从数字图像中排除,获取待检测人脸图像。
本发明也可以通过人脸检测方法定位人脸位置,例如用矩形框表示的方法定位到人脸的矩形框,裁剪出这个区域就获得了待检测人脸图像。
并从待检测人脸图像中人工筛选包含人脸完整区域的数据,并由多个主观个体进行人工标注每张人脸图片的模糊值,每个集合中的每张人脸图像的模糊值都已经标注好,经过标注好的数据集包括第一预设数量模糊人脸图像,及第二预设数量清晰人脸图像,其中,模糊人脸图像及清晰人脸图像的数量可以根据自由设置,例如包括1747张模糊人脸图像及1741张清晰人脸图像。
根据得到的预设深度神经网络模型的参数及预设深度神经网络模型构建模糊检测网络模型,进入推理步骤,将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,得到待检测人脸图像的模糊度值。
本发明提供的快速高精度的图像模糊检测方法,通过将获取待检测人脸图像的低层次人工特征图与人工标注的模糊值输入至预设深度神经网络进行训练,确定预设深度神经网络模型的参数,通过预设和训练得到的参数以及预设深度神经网络模型确定支持直接输入任意分辨率人脸图像的模糊检测网络模型,同时能够在耗时低的前提下实现对图像的高精度模糊检测。进一步地,在一个实施例中,低层次人工特征提取神经网络模型的参数通过如下方式确定:
通过如下至少一种人工图像特征算子确定低层次人工特征提取网络模型的参数;索贝尔Sobel算子、Prewitt算子及拉普拉斯算子。
具体地,由于可以通过基于索贝尔Sobel算子、Prewitt算子及拉普拉斯算子至少一种人工图像特征算子计算待检测人脸图像中每个像素的多维度梯度信息获取待检测人脸图像的低层次人工特征图,因此,本发明所提供的快速高精度的图像模糊检测方法中的预设神经网络模型中的低层次人工特征提取神经网络模型的参数通过上述至少一种人工图像特征算子确定,其中,多维度梯度信息可以具体包括:水平方向梯度和竖直方向梯度:
基于索贝尔Sobel算子在水平方向Gx和竖直方向Gy的算子核获取待检测人脸图像在水平方向和竖直方向上的梯度:
基于Prewitt算子在水平方向Ga和竖直方向Gb的算子核获取待检测人脸图像在水平方向和竖直方向上的梯度:
基于拉普拉斯算子核获取待检测人脸图像在水平方向和竖直方向上的梯度:
以Sobel为例,利用Sobel算子水平方向Gx对待检测人脸图像中的每个像素点做卷积运算,得到每个像素的水平方向梯度;利用Sobel算子竖直方向Gy对待检测人脸图像中的每个像素点做卷积运算,得到每个像素的水平方向梯度。
针对每张待检测人脸图像计算,计算低层次人工特征,使用一种或多种人工图像特征算子,包括但不限于Sobel算子、Prewitt算子、拉普拉斯算子等,所计算出的低层次人工特征图在通道维度进行拼接,构造出预设数量个通道的低层次人工特征图。其中,通道数量可以根据实际需求进行设置,例如采用15通道。
本发明提供的快速高精度的图像模糊检测方法,通过基于Sobel算子、Prewitt算子及拉普拉斯算子能够迅速得到待检测人脸图像的低层次人工特征图,以上低层次人工图像特征算子使用卷积运算,所以天然地可以使用卷积神经网络实现,处理速度快,易于实现,实时性高。
进一步地,在一个实施例中,步骤S1可以具体包括:
S11、将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设中层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的中层次语义特征图;
S12、将经预处理后的所述待检测人脸图像的中层次语义特征图输入至预设高层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的高层次语义特征图;
S13、将经预处理后的所述待检测人脸图像的高层次语义特征图输入至预设深度神经网络模型进行训练,确定预设深度神经网络模型的参数。
可选地,在训练阶段,基于得到的待检测人脸图像的低层次人工特征图通过深度学习方法训练预设深度神经网络模型,以得到一个或多个轻量级中层次语义特征提取深度神经网络模型。在推理阶段,直接使用已经训练好的一个或多个轻量级中层次语义特征提取深度神经网络模型提取待检测人脸图像的中层次语义特征图。
例如,基于上述获得的待检测人脸图像的低层次人工特征图,通过一个或多个轻量级中层次语义特征提取深度神经网络模型自动学习提取待检测人脸图像的中层次语义特征,例如可以使用1个15通道的3x3卷积核,下采样率为2的卷积神经网络提取待检测人脸图像的中层次语义特征图。
在训练阶段,将经预处理后的待检测人脸图像的中层次语义特征图通过深度学习方法训练预设深度神经网络模型,以得到一个或多个轻量级高层次语义特征提取深度神经网络模型。在推理阶段,直接使用已经训练好一个或多个轻量级高层次语义特征提取深度神经网络模型提取待检测人脸图像的高层次语义特征。
例如对上述得到的待检测人脸图像的中层次语义特征图进行预处理,通过一个或多个轻量级高层次语义特征提取深度神经网络模型自动学习提取待检测人脸图像的高层次语义特征,以获取待检测人脸图像的高层次语义特征图,例如可以使用1个15通道的3x3卷积核,下采样率为1的卷积神经网络提取待检测人脸图像的高层次语义特征。
在训练阶段,将经预处理后的待检测人脸图像的高层次语义特征图通过深度学习方法训练预设深度神经网络模型,确定预设深度神经网络模型的参数,以得到一个或多个深度神经网络分类器或回归器(模糊检测网络模型)。
例如,对得到的待检测人脸图像的高层次语义特征图进行预处理,通过深度学习方法训练预设深度神经网络模型,确定训练好的预设神经网络模型的参数,例如可以使用一个输入为15个神经元,输出为2个神经元的神经网络,以及用Softmax激活函数输出待检测人脸图像的模糊度值。
本发明提供的快速高精度的图像模糊检测方法,融合了传统方法的对待检测人脸图像进行低层次人工特征提取,以及自动学习提取待检测人脸图像的中层次语义特征和高层次预提特征,保留了传统人工低层次图像内容无关的特征,同时利用深度神经网络自动学习发现图像内容相关的语义特征,实现了快速高精度的图像模糊检测的低计算量优势。
进一步地,在一个实施例中,步骤S3可以具体包括:
S31、将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊置信度;
S32、根据待检测人脸图像的模糊置信度与预设阈值的对比结果,确定待检测人脸图像的模糊度值。
通过将待检测人脸图像的低层次人工特征图输入至利用上述方法得到的模糊检测网络模型,得到待检测人脸图像的模糊置信度,并将得到的待检测人脸图像的模糊置信度与预设阈值进行对比,根据对比结果,确定待检测人脸图像的模糊度值。
在具体实现中,针对输入的人脸图像使用传统方法计算低层次人工特征,包括但不限于上述Sobel算子、Prewitt算子、拉普拉斯算子等。所计算出的低层次人工特征图在通道维度进行拼接,构造出15个通道的低层次人工特征图。
基于上述低层次人工特征图,通过已经训练好的预设中层次语义特征提取神经网络模型自动提取中层次语义特征,得到15个通道的中层次语义特征图。
基于上述中层次语义特征,执行特征图分块聚合算子,根据上述的中层次语义特征空间维度大小,在中层次语义特征空间维度进行特征块划分,自适应计算每个特征块大小,并在每个特征块中使用聚合算法计算聚合特征,得到1个15通道5x5空间大小的中层次分块聚合特征图。
基于上述中层次分块聚合特征,通过已经训练好的预设高层次语义特征提取神经网络模型自动提取高层次语义特征,得到15个通道的高层次语义特征图。
基于上述高层次语义特征,执行特征图全局聚合算子,在特征空间维度使用聚合算法计算高层次全局聚合特征,以得到与15个高层次全局特征。
基于上述高层次全局聚合特征,通过已经训练好的模糊检测网络模型,得到待检测人脸图像的模糊置信度,根据人工预设阈值与得到的待检测人脸图像的模糊置信度的对比结果,计算图像是否是模糊图像。本发明提供的快速高精度的图像模糊检测方法,可以实现对待检测人脸图像的模糊程度的进行自动检测,通过计算图像的模糊度值能够更加直观的确定图像的质量。进一步地,在一个实施例中,对待检测人脸图像的中层次语义特征图的进行预处理,可以具体包括:
根据待检测人脸图像的中层次语义特征图的空间维度,确定特征块划分规则;
根据特征块划分规则对待检测人脸图像的中层次语义特征图进行特征块划分,并基于聚合算法获取中层次分块聚合特征图。
进一步地,在一个实施例中,对待检测人脸图像的高层次语义特征图进行预处理,包括:
基于聚合算法对待检测人脸图像的高层次语义特征图进行全局特征聚合,以获取高层次全局特征图。
当前已有的模糊检测方法,需要缩放到固定大小的尺度,为了适应不同尺度人脸图像,需要通过在多个尺度上计算特征或者计算模糊值,而本发明可以通过接收单尺度任意大小的人脸图像,在节省计算量提高检测速度的同时还能保持原始人脸图像的输入信号,不会引起由缩放导致的图像失真。
人脸图像模糊分为局部模糊和全局模糊。局部模糊在特征响应上相对较弱,传统方法直接用全部特征直接计算模糊值,深度学习方法虽然能自动学习特征,但是局部特征响应低会被占比大的清晰特征淹没,因此局部模糊在现已有方法上检测性能不佳。本发明在中层次特征图上先在特征空间维度进行分块,然后在每一个块内聚合特征,具体地:
执行特征图分块聚合算子,将提取的待检测人脸图像的中层次语义特征图在空间维度上作特征图分块,根据待检测人脸图像的中层次语义特征图的空间维度,确定特征块划分规则(自适应计算每个特征块大小),根据特征块划分规则对待检测人脸图像的中层次语义特征图进行划分,在得到的每个特征块中使用一种或多种聚合算法聚合局部中层次特征,通过特征空间维度分块聚合特征,任意大小的特征空间维度都聚合到固定预设的特征空间维度大小,获得中层次分块聚合特征图。
例如,基于上述获得的待检测人脸图像的中层次语义特征图,执行特征图分块聚合算子,根据上述的中层次语义特征图的空间维度大小,自适应计算每个特征块大小,在中层次语义特征空间维度进行特征块划分,例如可以设置为划分为水平方向上5个块,竖直方向5个块。在每个特征块中使用但不限于均值聚合算法计算聚合特征。通过特征空间维度分块聚合特征,任意大小的特征空间维度都聚合到预设的5x5特征空间维度大小。
基于上述得到的待检测人脸图像的高层次语义特征图,执行特征图全局聚合算子,在特征空间维度使用但不限于均值聚合算法计算全局聚合特征,以得到一个或多个高层次全局特征图。其中,高层次全局特征图的数量可以根据设置的卷积核的通道数进行设置,如采用1个15通道的卷积核,则得到15个高层次全局特征图。
本发明提供的快速高精度的图像模糊检测方法,能够根据输入待检测人脸图像大小自适应计算分块大小,在图像特征空间维度进行块划分,能够将局部模糊特征聚合放大响应,同时降低其他区域的清晰特征响应,可以在中层次语义特征上有效保留局部模糊特征,使得基于聚合算法根据中层次语义特征图得到的高层次全局特征图全局模糊特征更为准确。
进一步地,在一个实施例中,聚合算法包括如下聚合算法中的至少一种:
均值聚合算法、最值聚合算法及方差聚合算法。
具体地,均值聚合算法:即求解数字图像的像素的平均值;
最值聚合算法:即求解数字图像的像素的最大值或者最小值;
方差聚合算法:即求解数字图像的像素的方差。
通过采用均值聚合算法、最值聚合算法及方差聚合算法中的至少一种对得到的中层次语义特征图和高层次语义特征图进行聚合,分别得到中层次分块聚合特征图和高层次全局特征图。
以采用均值聚合算法对中层次语义特征图进行聚合为例加以说明,假设把整个中层次语义特征图进行空间划分,划分成NxM的特征块,每个特征块的大小是根据中层次语义特征特征图的大小、N以及M进行计算得到的,然后通过对得到的特征块进行聚合得到中层次分块聚合特征图。
可以将数字图像理解成一定尺寸的矩阵,矩阵中每个元素的大小表示了图像中每个像素的亮暗程度,计算特征块的图像像素的均值、最值或方差,并将其作为特征块的像素,以实现对中层次语义特征图的聚合。需要说明的是,本发明可以基于上述聚合算法的任意一种或其组合形式对得到的中层次语义特征图和高层次语义特征图进行聚合。
例如可以对不同聚合算法的组合形式设置不同的权重系数,如采用均值聚合算法和最大值聚合算法的组合形式对得到的中层次语义特征图和高层次语义特征图进行聚合,设置均值聚合算法的权重系数为0.7,最大值聚合算法的权重系数为0.3,得到数字图像的像素的均值和最大值分别为a,b,则将0.7a+0.3b作为每个特征块的像素。
其中,不同组合形式的各个聚合算法的权重系数根据实际场景自由设置,本发明对此不作具体限定。
本发明提供的快速高精度的图像模糊检测方法,通过采用不同的聚合算法能够得到成像质量更高的数字图像,且能够改善由图像噪声导致的对快速高精度的图像模糊检测精度不高的问题,进一步提高了快速高精度的图像模糊检测的精度。
为了说明本发明的有效性,本发明在具体实施例基础上,通过人工筛选包含完整人脸的图像,并由多个主观个体进行人工标注每张人脸图片的模糊值,构造出包含750张模糊人脸,729张清晰人脸的测试数据集。在测试数据集上,对每张待测人脸图像输入到本发明的快速高精度的图像模糊检测方法中,输出模糊标签。经过统计计算,得出本发明在所述测试集上的准确率达到98.33%,而传统应用最为广泛的拉普拉斯模糊检测方法准确率仅能够达到90.30%。由于本发明接收任意大小的待检测人脸图像,所以为了方便说明本发明的快速低耗时优势,给出了两种不同输入尺寸的待检测人脸图像的计算量MAC(MultiplyAccumulate)。128x128输入图像大小12.69M Mac,256x256输入图像大小50.71M Mac。以上通过一个具体的实施例说明本发明实现的快速高精度人脸模糊检测方法,准确评估待检测人脸图像的模糊程度。
下面对本发明提供的快速高精度的图像模糊检测装置进行描述,下文描述的快速高精度的图像模糊检测装置与上文描述的快速高精度的图像模糊检测方法可相互对应参照。
图2是本发明提供的快速高精度的图像模糊检测装置的结构示意图,如图2所示,参数确定模块210、模型确定模块211以及快速高精度的图像模糊检测模块212;
参数确定模块210,用于将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;
模型确定模块211,用于根据参数及预设深度神经网络模型,确定模糊检测网络模型;
快速高精度的图像模糊检测模块212,用于将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,待检测人脸图像的低层次人工特征图是将待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
低层次人工特征提取神经网络模型的参数是预先确定的。
本发明提供的快速高精度的图像模糊检测装置,通过将获取待检测人脸图像的低层次人工特征图与人工标注的模糊值输入至预设深度神经网络进行训练,确定预设深度神经网络模型的参数,通过预设和训练得到的参数以及预设深度神经网络模型确定支持直接输入任意分辨率人脸图像的模糊检测网络模型,同时能够在耗时低的前提下实现对图像的高精度模糊检测。
图3是本发明提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(communication interface)311、存储器(memory)312和总线(bus)313,其中,处理器310,通信接口311,存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令,以执行如下方法:
将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;
根据参数及预设深度神经网络模型,确定模糊检测网络模型;
将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,待检测人脸图像的低层次人工特征图是将待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
低层次人工特征提取神经网络模型的参数是预先确定的。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地,本发明公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的快速高精度的图像模糊检测方法,例如包括:
将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;
根据参数及预设深度神经网络模型,确定模糊检测网络模型;
将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,待检测人脸图像的低层次人工特征图是将待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
低层次人工特征提取神经网络模型的参数是预先确定的。
另一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的快速高精度的图像模糊检测方法,例如包括:
将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定预设深度神经网络模型的参数;
根据参数及预设深度神经网络模型,确定模糊检测网络模型;
将待检测人脸图像的低层次人工特征图输入至模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,待检测人脸图像的低层次人工特征图是将待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
低层次人工特征提取神经网络模型的参数是预先确定的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机电源屏(可以是个人计算机,服务器,或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种快速高精度的图像模糊检测方法,其特征在于,包括:
将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数;
根据所述参数及预设深度神经网络模型,确定模糊检测网络模型;
将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,所述待检测人脸图像的低层次人工特征图是将所述待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
所述低层次人工特征提取神经网络模型的参数是预先确定的;
所述将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数,包括:
将所述待检测人脸图像的低层次人工特征图及所述待检测人脸图像的模糊值输入至预设中层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的中层次语义特征图;
将经预处理后的所述待检测人脸图像的中层次语义特征图输入至预设高层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的高层次语义特征图;
将经预处理后的所述待检测人脸图像的高层次语义特征图输入至预设深度神经网络模型进行训练,确定所述预设深度神经网络模型的参数。
2.根据权利要求1所述的快速高精度的图像模糊检测方法,其特征在于,所述低层次人工特征提取神经网络模型的参数通过如下方式确定:
通过如下至少一种人工图像特征算子确定所述低层次人工特征提取网络模型的参数;
索贝尔Sobel算子、Prewitt算子及拉普拉斯算子。
3.根据权利要求1所述的快速高精度的图像模糊检测方法,其特征在于,所述将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值,包括:
将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊置信度;
根据所述待检测人脸图像的模糊置信度与预设阈值的对比结果,确定所述待检测人脸图像的模糊度值。
4.根据权利要求1所述的快速高精度的图像模糊检测方法,其特征在于,对所述待检测人脸图像的中层次语义特征图的进行预处理,包括:
根据所述待检测人脸图像的中层次语义特征图的空间维度,确定特征块划分规则;
根据所述特征块划分规则对所述待检测人脸图像的中层次语义特征图进行特征块划分,并基于聚合算法获取中层次分块聚合特征图。
5.根据权利要求1所述的快速高精度的图像模糊检测方法,其特征在于,对所述待检测人脸图像的高层次语义特征图进行预处理,包括:
基于聚合算法对所述待检测人脸图像的高层次语义特征图进行全局特征聚合,以获取高层次全局特征图。
6.根据权利要求4或5任一项所述的快速高精度的图像模糊检测方法,其特征在于,所述聚合算法包括如下聚合算法中的至少一种:
均值聚合算法、最值聚合算法及方差聚合算法。
7.一种快速高精度的图像模糊检测装置,其特征在于,包括:参数确定模块、模型确定模块以及快速高精度的图像模糊检测模块;
所述参数确定模块,用于将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数;
所述模型确定模块,用于根据所述参数及预设深度神经网络模型,确定模糊检测网络模型;
所述快速高精度的图像模糊检测模块,用于将所述待检测人脸图像的低层次人工特征图输入至所述模糊检测网络模型,获取待检测人脸图像的模糊度值;
其中,所述待检测人脸图像的低层次人工特征图是将所述待检测人脸图像输入至预设深度神经网络模型中的低层次人工特征提取神经网络模型获取的;
所述低层次人工特征提取神经网络模型的参数是预先确定的;
所述将待检测人脸图像的低层次人工特征图及待检测人脸图像的模糊值输入至预设深度神经网络模型进行训练,以确定所述预设深度神经网络模型的参数,包括:
将所述待检测人脸图像的低层次人工特征图及所述待检测人脸图像的模糊值输入至预设中层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的中层次语义特征图;
将经预处理后的所述待检测人脸图像的中层次语义特征图输入至预设高层次语义特征提取神经网络模型进行训练,获取待检测人脸图像的高层次语义特征图;
将经预处理后的所述待检测人脸图像的高层次语义特征图输入至预设深度神经网络模型进行训练,确定所述预设深度神经网络模型的参数。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述快速高精度的图像模糊检测方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述快速高精度的图像模糊检测方法的步骤。
CN202110308260.5A 2021-03-23 2021-03-23 快速高精度的图像模糊检测方法及装置 Active CN113111730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110308260.5A CN113111730B (zh) 2021-03-23 2021-03-23 快速高精度的图像模糊检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110308260.5A CN113111730B (zh) 2021-03-23 2021-03-23 快速高精度的图像模糊检测方法及装置

Publications (2)

Publication Number Publication Date
CN113111730A CN113111730A (zh) 2021-07-13
CN113111730B true CN113111730B (zh) 2024-02-02

Family

ID=76710395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308260.5A Active CN113111730B (zh) 2021-03-23 2021-03-23 快速高精度的图像模糊检测方法及装置

Country Status (1)

Country Link
CN (1) CN113111730B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
KR20180065889A (ko) * 2016-12-07 2018-06-18 삼성전자주식회사 타겟의 검측 방법 및 장치
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145591A1 (en) * 2015-03-16 2016-09-22 Nokia Technologies Oy Moving object detection based on motion blur
US10726244B2 (en) * 2016-12-07 2020-07-28 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN110795976B (zh) * 2018-08-03 2023-05-05 华为云计算技术有限公司 一种训练物体检测模型的方法、装置以及设备
US11521011B2 (en) * 2019-06-06 2022-12-06 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065889A (ko) * 2016-12-07 2018-06-18 삼성전자주식회사 타겟의 검측 방법 및 장치
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN111539942A (zh) * 2020-04-28 2020-08-14 中国科学院自动化研究所 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN111783749A (zh) * 2020-08-12 2020-10-16 成都佳华物链云科技有限公司 一种人脸检测方法、装置、电子设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Blind Image Blur Estimation via Deep Learning;Yan Ruomei 等;《IEEE Transactions on Image Processing》;第25卷(第04期);1910-1921 *
DeFusionNET: Defocus Blur Detection via Recurrently Fusing and Refining Multi-Scale Deep Features;Tang Chang 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;2695-2704 *
Learning Based Single Image Blur Detection and Segmentation;Purohit Kuldeep 等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;2202-2206 *
Video Object Detection Guided by Object Blur Evaluation;Wu Yujie 等;《IEEE Access》;第08卷;208554-208565 *
基于超分辨激光成像的人脸图像模糊纹理识别方法;陈丽娟 等;《激光杂志》;第41卷(第08期);96-100 *
由粗到精的多尺度散焦模糊检测;衡红军 等;《中国图象图形学报》;第26卷(第03期);581-593 *

Also Published As

Publication number Publication date
CN113111730A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
EP3937481A1 (en) Image display method and device
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN114424253A (zh) 模型训练方法、装置、存储介质及电子设备
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110751630B (zh) 基于深度学习的输电线路异物检测方法、装置及介质
GB2595558A (en) Exposure defects classification of images using a neural network
CN110059666B (zh) 一种注意力检测方法及装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN111368698B (zh) 主体识别方法、装置、电子设备及介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN109784215B (zh) 一种基于改进的光流法的活体检测方法及系统
CN108769543B (zh) 曝光时间的确定方法及装置
CN114359669A (zh) 图片分析模型调整方法、装置以及计算机可读存储介质
CN113989785A (zh) 一种驾驶场景分类方法、装置、设备及存储介质
CN113111730B (zh) 快速高精度的图像模糊检测方法及装置
Xue Blind image deblurring: a review
CN112749696A (zh) 一种文本检测方法及装置
US11816181B2 (en) Blur classification and blur map estimation
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN111859022A (zh) 封面生成方法、电子设备及计算机可读存储介质
CN109934045B (zh) 行人检测方法和装置
KR20220001417A (ko) 전자 장치 및 전자 장치의 제어 방법
CN113642353A (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
CN112714246A (zh) 连拍照片获取方法、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant