CN113409281A - 基于深度模型的图像清晰度评估方法和装置 - Google Patents
基于深度模型的图像清晰度评估方法和装置 Download PDFInfo
- Publication number
- CN113409281A CN113409281A CN202110707458.0A CN202110707458A CN113409281A CN 113409281 A CN113409281 A CN 113409281A CN 202110707458 A CN202110707458 A CN 202110707458A CN 113409281 A CN113409281 A CN 113409281A
- Authority
- CN
- China
- Prior art keywords
- image
- definition
- sharpness
- unit
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013210 evaluation model Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 238000012163 sequencing technique Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 210000003061 neural cell Anatomy 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000012216 screening Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像识别技术领域，具体提供一种基于深度学习的人脸图像清晰度评价方法及装置，其中，方法包括：根据清晰度对用于训练的图像样本进行标注分类；使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型；将待检测图像输入所述清晰度评估模型，输出对应评估结果，所述评估结果越接近最高值，则所述待检测图像的清晰度越高。本发明提出的人脸图像清晰度评价方法排序效果较好，筛选效果好，检测速度快，鲁棒性强，具备很好的工业实用价值。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于深度模型的图像清晰度评估方法、装置及计算机可读存储介质。
背景技术
随着人工智能潮流的兴起，人脸识别等技术在实际生活中的应用越来越广泛，已经成为个人身份鉴别的重要手段。人脸图像质量评价是人脸识别的重要前置技术，可以有效改善由于输入图像质量过低引起的错误，节省系统匹配时间，提升用户体验。无参考人脸图像清晰度评价则是人脸图像质量评价的关键技术之一。
图像清晰度评价算法主要评估图像里面拍摄主题的高维信息的能量占比，抓取图像的边缘特征信息。传统的手工提取特征的方法在鲁棒性和划分精度方面存在缺陷，特别是在较极端情况下，如极端光线，信号波动，局部侵蚀等，如Tenengrad梯度函数，需要手工给定Sobel算子。因此该类方法无法进一步满足工业上的高标准需求。
近年来兴起的卷积神经网络在提取高维信息和边缘特征方面皆有良好表现，于是使用深度神经网络进行图像清晰度评价成为近年来的研究热点。
目前的基于卷积神经网络的解决方案均不能够获得较好的清晰度评估效果，从而不能获得符合肉眼主观感受的图片排序结果。
发明内容
为了解决现有技术中的至少一部分问题，提供了一种新的能够获得速度，效果，泛化性的统一的方案。一方面，本发明提供了一种基于深度模型的图像清晰度评估方法，包括：根据清晰度对用于训练的图像样本进行标注分类；使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型；将待检测图像输入所述清晰度评估模型，输出对应评估结果，其中，所述评估结果越接近最高值，则所述待检测图像的清晰度越高。
通过对样本图像的分类标注，使用模型学习样本分类规则，训练出的模型能够识别图片的清晰度情况，清晰的图片获得高分，模糊的图片获得低分，从而获得符合肉眼主观感受的图片检测结果。
对于上述图像清晰度评估方法，在一种可能优选的实施方式中，所述根据清晰度对用于训练的图像样本进行标注分类，包括：将清晰度程度划分为多个清晰度类别，根据图像样本对应的清晰度程度标注对应的清晰度类别。
在上述方法中评估人脸图像清晰度的模型训练方法优选的实施方式中，所述根据图像样本对应的清晰度程度标注对应的清晰度类别操作中可以对同一个图像样本多人进行标注，然后采用多数投票法来确定每一个图像样本的清晰度类别，以降低标注的随机性和标注人主观性带来的影响。
在上述方法中评估人脸图像清晰度的模型训练方法优选的实施方式中，所述清晰度评估模型包括依次连接的神经单元块、全局平均池化单元、全链接神经网络单元。其中，神经单元块内部包含依次连接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。
在上述方法中评估人脸图像清晰度的模型训练方法优选的实施方式中，所述训练模型输出的所述评估结果经过SoftMax函数计算后，确定所述待检测图像属于各清晰度类别的概率，为了方便使用，将该分类结果，映射为0到1之间的浮点数，该分数具备自回归趋势。人脸图像评价分数越接近0表示图像越模糊，越接近1表示图像越清晰。优选的二分类阈值为0.5，大于等于0.5可作为清晰人脸图像。
根据本发明的另一方面，还提供一种基于深度学习模型的图像清晰度评估装置，包括样本处理单元，用于根据清晰度对用于训练的图像样本进行标注分类；模型训练单元，使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型；清晰度评估单元，将待检测图像输入所述清晰度评估模型，输出对应评估结果，其中，所述评估结果越接近最高值，则所述待检测图像的清晰度越高。
在上述图像清晰度评估装置优选的实施方式中，所述样本处理单元将清晰度程度划分为多个清晰度类别，根据图像样本对应的清晰度程度标注对应的清晰度类别。
在上述图像清晰度评估装置优选的实施方式中，所述根据图像样本对应的清晰度程度标注对应的清晰度类别操作中可以对同一个图像样本多人进行标注，然后采用多数投票法来确定每一个图像样本的清晰度类别，以降低标注的随机性和标注人主观性带来的影响。
在上述图像清晰度评估装置优选的实施方式中，所述清晰度评估模型包括依次连接的神经单元块、全局平均池化单元、全链接神经网络单元，其中，神经单元块内部包含依次连接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。
在上述图像清晰度评估装置优选的实施方式中，所述训练模型输出的所述评估结果经过SoftMax函数计算后，确定所述待检测图像属于各清晰度类别的概率，为了方便使用，将该分类结果，映射为0到1之间的浮点数，该分数具备自回归趋势。人脸图像评价分数越接近0表示图像越模糊，越接近1表示图像越清晰。优选的二分类阈值为0.5，大于等于0.5可作为清晰人脸图像。
根据本发明的另一方面，还提供了一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述的基于深度模型的图像清晰度评估方法。
根据本发明的另一方面，还提供了一种计算机刻度存储介质，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行上述的基于深度模型的图像清晰度评估方法。
本发明提出了使用分类方法解决回归问题的模型训练思路，顺利解决了训练数据集的标定问题。多人标定的思路，较大程度上降低了随机性和主观性的影响。该方法获得的分类结果映射为回归分数后，具备自回归属性，可良好反应清晰度的变化趋势。
本发明提出了适用于无参考人脸清晰度评价的浅层模型结构，该结构推理速度快，学习能力强，可适用于多个场景。使用本发明方法既可以获得适用于近场景拍摄的无参考人脸图像清晰度评价模型，又可以获得适用于监控场景拍摄的无参考人脸图像清晰度评价模型。
附图说明
下面结合附图来描述本发明的优选实施方式，附图中：
图1为根据本发明实施例的基于深度学习模型的图像清晰度评估方法的流程图；
图2为根据本发明实施例的清晰度评估模型训练方法的流程图；
图3为根据本发明一个实施例的清晰度评估模型结构图；
图4为根据本发明一个实施例的基于深度学习模型的图像清晰度评估装置的示意图。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和实施例对本发明作更全面、细致的描述，但本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路、各种合适的感应器、通信端口、存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合的方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
首先参阅图1，根据本发明实施例的一种基于深度学习的图像清晰度评价方法，包括：
S1，图像采集。使用摄像头采集包含人脸的图片。
S2，人脸检测。对采集到的图片进行人脸检测，获取人脸的位置，扣取人脸区域，并将人脸区域图片分辨率调整到固定的像素尺寸，作为卷积神经网络的输入图片。
S3，清晰度评价。将调整后的人脸区域输入模型，即可获得该人脸的清晰度评分，该评分大小反应人脸清晰度。优选的清晰度评分方案为给最清晰的人脸趋近于1的评分，给最模糊的人脸趋近于0的得分，其间依据模糊程度的大小，评分依次分布。
在上述基于深度学习的人脸图像清晰度评价方法的优选实施方式中，采集图像的摄像头包括但不局限于手机摄像头、网络摄像头、监控摄像头和车载摄像头等。
在上述基于深度学习的人脸图像清晰度评价方法的优选实施方式中，扣取的人脸区域作为神经网络输入的图片可以被调整为任意像素尺寸，优选为64×64。
在上述基于深度学习的人脸图像清晰度评价方法的优选实施方式中，人脸清晰度评分方案根据需要任意选取，优选的清晰度评分方案为归一化标准，即给最清晰的人脸趋近于1的评分，给最模糊的人脸趋近于0的得分，其间依据模糊程度的大小，评分依次分布。
下面结合图2，详细说明本发明的用于评价人脸图像清晰度的模型训练方法。
步骤21，训练数据集的标注。构造分类数据集。将模糊程度划分为0，1，2，3四个类别，其中0为高度清晰，1为一般清晰，2为介于清晰和模糊之间，3为模糊。选取相似场景的实拍数据集进行标注，每个类别标出约一定数量的图片，优选为2500张。
之所以选择构造分类数据集，而非回归数据集，是因为准确的回归值几乎难以标定，而类别标签代表一个区间，具备一定的延展性和容错率，较易标定。有序排列的类别标签训练得到的模型，其分类结果映射成的分数具备自回归属性。提出了使用分类方法解决回归问题的模型训练思路，顺利解决了训练数据集的标定问题。多人标定的思路，较大程度上降低了随机性和主观性的影响。该方法获得的分类结果映射为回归分数后，具备自回归属性，可良好反应清晰度的变化趋势。
步骤22，模型训练和调参。使用标注好的数据集训练模型，保存验证集上表现最佳的模型。该模型要同时兼顾学习能力和推理速度。
步骤23，分类结果后处理。模型经其最后一个模块的SoftMax函数后的输出结果为每个类别的概率，为了方便使用，将该分类结果，映射为0到1之间的浮点数，该分数具备自回归趋势。人脸图像评价分数越接近0表示图像越模糊，越接近1表示图像越清晰。选取介于0和1之间的合适的值作为二分类阈值来判断人脸图像清晰度是否合格的标准，优选为0.5，即大于等于0.5可作为清晰人脸图像。
在上述评价人脸图像清晰度的模型训练方法的优选实施方式中，步骤21中可以同时安排多个标注者进行标注，优选为3个或5个。对于同一张图片，采用多数投票法确定其最终标签。这样可以降低由标注者的随机性和主观性带来的影响。
继续参考图3，根据本发明的实施例的清晰度评估模型，可以包括：
依次连接的神经单元块32、33、34，全局平均化单元35，全链接神经网络单元36，SoftMax函数37。
在上述优选实施方式中，神经单元块32、33、34中的每一个神经网络块包括依次链接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。使用自研的浅层模型，优化模型参数，获得学习能力强的自适应小模型，在嵌入式设备上检测速度可低至0.5ms。
上述模型适用于近场景拍摄的无参考人脸图像，如手机，Pad，安检等场景。对于手机摄像头，网络摄像头，车载摄像头，监控摄像头等场景均有优异的适应性，也能良好地处理极端光线，信号波动，局部侵蚀等特殊情况。
单张图片评分为0至1，图片越清晰，评分越高。单张图片推理速度约0.5ms。模型排序能力优秀，二分类测试中，阈值取0.5时，清晰人脸图像的查准率约大于99％，查全率约90％；阈值取0.6时，清晰人脸图像的查准率约大于99.9％。
该模型特别适用于移动端近拍场景中的运动模糊过滤，在人脸图像清晰度排序和清晰人脸图像筛选方面，皆有良好表现。模型推理速度可实现即时响应。综合效果相比之前的开源模型有较大提升。具备工业上的实用价值。
如图4所示，根据本发明的实施例的一种基于深度模型的图像清晰度评估装置，可以包括：
样本处理单元402，用于根据清晰度对用于训练的图像样本进行标注分类；模型训练单元404，使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型；清晰度评估单元406，将待检测图像输入清晰度评估模型，输出对应评估结果，其中，评估结果越接近最高值，则待检测图像的清晰度越高。
其中，样本处理单元402将清晰度程度划分为多个清晰度类别，根据图像样本对应的清晰度程度标注对应的清晰度类别，同一个图像样本标注多次，并根据多次标注结果确定每一个图像样本的清晰度类别。
清晰度评估模型包括依次连接的神经单元块、全局平均池化单元、全链接神经网络单元，
其中，神经单元块内部包含依次连接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。
清晰度评估单元406还用于将输出的评估结果经过SoftMax函数计算后，确定待检测图像属于各清晰度类别的概率。以及根据清晰度类别，对所有的待检测图像进行排序。
根据本发明的实施例的一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一实施例所述的基于深度模型的图像清晰度评估方法。可以理解的是，该控制装置具有前述任一项所述的使用分布不均衡数据训练人体检测模型的方法的所有技术效果，在此不再赘述。该控制装置可以是包括各种电子设备形成的控制装置设备。
本发明进一步还提供了一种计算机可读存储介质，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行基于深度学习的人脸图像清晰度评价方法。
本发明提出了适用于无参考人脸清晰度评价的浅层模型结构，该结构推理速度快，学习能力强，可适用于多个场景。使用本发明方法既可以获得适用于近场景拍摄的无参考人脸图像清晰度评价模型，又可以获得适用于监控场景拍摄的无参考人脸图像清晰度评价模型。综合效果相比开源模型有较大提升。具备工业上的实用价值。同时相比开源模型有下述优点：1)排序效果好。对于人脸图像的清晰度评分排序，符合肉眼主观感受，清晰的图片获得高分，模糊的图片获得低分，即模型有较高的ROC。2)筛选效果好。筛选清晰或模糊图片时，根据不同场景，选取合理阈值(一般选择0.5)，可获得查准率大于99％，召回率大于90％的模型。3)检测速度快，可即时反馈。使用自研的浅层模型，优化模型参数，获得学习能力强的自适应小模型，在嵌入式设备上检测速度可低至0.5ms。4)鲁棒性强，对于手机摄像头，网络摄像头，车载摄像头，监控摄像头等场景均有优异的适应性，也能良好地处理极端光线，信号波动，局部侵蚀等特殊情况。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于深度模型的图像清晰度评估方法，其特征在于，包括：
根据清晰度对用于训练的图像样本进行标注分类；
使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型：
将待检测图像输入所述清晰度评估模型，输出对应评估结果，其中，所述评估结果越接近最高值，则所述待检测图像的清晰度越高。
2.根据权利要求1所述的基于深度模型的图像清晰度评估方法，其特征在于，根据清晰度对用于训练的图像样本进行标注分类，包括：
将清晰度程度划分为多个清晰度类别，根据图像样本对应的清晰度程度标注对应的清晰度类别，同一个图像样本标注多次；
根据多次标注结果确定每一个图像样本的清晰度类别。
3.根据权利要求1或2所述的基于深度模型的图像清晰度评估方法，其特征在于，所述清晰度评估模型包括依次连接的神经单元块、全局平均池化单元、全链接神经网络单元，
其中，神经单元块内部包含依次连接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。
4.根据权利要求2所述的基于深度模型的图像清晰度评估方法，其特征在于，将输出的所述评估结果经过SoftMax函数计算后，确定所述待检测图像属于各清晰度类别的概率；
根据清晰度类别，对所有的待检测图像进行排序。
5.一种基于深度模型的图像清晰度评估装置，其特征在于，包括：
样本处理单元，用于根据清晰度对用于训练的图像样本进行标注分类；
模型训练单元，使用经过标注的图像样本训练原始评估模型，得到清晰度评估模型；
清晰度评估单元，将待检测图像输入所述清晰度评估模型，输出对应评估结果，其中，所述评估结果越接近最高值，则所述待检测图像的清晰度越高。
6.根据权利要求5所述的基于深度模型的图像清晰度评估装置，其特征在于，所述样本处理单元将清晰度程度划分为多个清晰度类别，根据图像样本对应的清晰度程度标注对应的清晰度类别，同一个图像样本标注多次，并根据多次标注结果确定每一个图像样本的清晰度类别。
7.根据权利要求5所述的基于深度模型的图像清晰度评估装置，其特征在于，所述清晰度评估模型包括依次连接的神经单元块、全局平均池化单元、全链接神经网络单元，
其中，神经单元块内部包含依次连接的卷积单元、批量归一化单元、非线性激活单元，并紧接三个分支网络，通过乘积合并和/或加法合并的方式汇总三个分支网络的输出，其中，每个分支网络包括平均池化单元、卷积单元、批量归一化单元以及函数激活单元。
8.根据权利要求6所述的基于深度模型的图像清晰度评估装置，其特征在于，所述清晰度评估单元还用于将输出的所述评估结果经过SoftMax函数计算后，确定所述待检测图像属于各清晰度类别的概率。以及根据清晰度类别，对所有的待检测图像进行排序。
9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至4中任一项所述的基于深度模型的图像清晰度评估方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行权利要求1至4中任一项所述的基于深度模型的图像清晰度评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110707458.0A CN113409281A (zh) | 2021-06-24 | 2021-06-24 | 基于深度模型的图像清晰度评估方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110707458.0A CN113409281A (zh) | 2021-06-24 | 2021-06-24 | 基于深度模型的图像清晰度评估方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409281A true CN113409281A (zh) | 2021-09-17 |
Family
ID=77683140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110707458.0A Pending CN113409281A (zh) | 2021-06-24 | 2021-06-24 | 基于深度模型的图像清晰度评估方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409281A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596258A (zh) * | 2018-04-27 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络随机池化的图像分类方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| US20190172193A1 (en) * | 2017-12-06 | 2019-06-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for evaluating image definition, computer device and storage medium |
| CN110059710A (zh) * | 2018-01-18 | 2019-07-26 | Aptiv技术有限公司 | 用于利用卷积神经网络进行图像分类的装置和方法 |
| CN110781912A (zh) * | 2019-09-10 | 2020-02-11 | 东南大学 | 一种基于通道扩张倒置卷积神经网络的图像分类方法 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN112288699A (zh) * | 2020-10-23 | 2021-01-29 | 北京百度网讯科技有限公司 | 图像相对清晰度的评估方法、装置、设备和介质 |
| CN112926496A (zh) * | 2021-03-19 | 2021-06-08 | 京东方科技集团股份有限公司 | 用于预测图像清晰度的神经网络、训练方法及预测方法 |
-
2021
- 2021-06-24 CN CN202110707458.0A patent/CN113409281A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190172193A1 (en) * | 2017-12-06 | 2019-06-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for evaluating image definition, computer device and storage medium |
| CN110059710A (zh) * | 2018-01-18 | 2019-07-26 | Aptiv技术有限公司 | 用于利用卷积神经网络进行图像分类的装置和方法 |
| CN108596258A (zh) * | 2018-04-27 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络随机池化的图像分类方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及系统 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN110781912A (zh) * | 2019-09-10 | 2020-02-11 | 东南大学 | 一种基于通道扩张倒置卷积神经网络的图像分类方法 |
| CN111062362A (zh) * | 2019-12-27 | 2020-04-24 | 上海闻泰信息技术有限公司 | 人脸活体检测模型、方法、装置、设备及存储介质 |
| CN112288699A (zh) * | 2020-10-23 | 2021-01-29 | 北京百度网讯科技有限公司 | 图像相对清晰度的评估方法、装置、设备和介质 |
| CN112926496A (zh) * | 2021-03-19 | 2021-06-08 | 京东方科技集团股份有限公司 | 用于预测图像清晰度的神经网络、训练方法及预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255322B (zh) | 一种人脸活体检测方法及装置 | |
| EP3333768A1 (en) | Method and apparatus for detecting target | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN110517246B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
| KR20180065889A (ko) | 타겟의 검측 방법 및 장치 | |
| CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN111027347A (zh) | 一种视频识别方法、装置和计算机设备 | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN111027400A (zh) | 一种活体检测方法及装置 | |
| Wu et al. | Facial emotion recognition using deep learning | |
| CN108416797A (zh) | 一种检测行为变化的方法、设备及存储介质 | |
| CN110363111B (zh) | 基于镜头失真原理的人脸活体检测方法、装置及存储介质 | |
| CN111612759A (zh) | 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法 | |
| CN116206227B (zh) | 5g富媒体信息的图片审查系统、方法、电子设备及介质 | |
| CN112818774A (zh) | 一种活体检测方法及装置 | |
| CN112464864A (zh) | 基于树形神经网络结构的人脸活体检测方法 | |
| CN109598227B (zh) | 一种基于深度学习的单幅图像手机源重辨识方法 | |
| Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
| CN113409281A (zh) | 基于深度模型的图像清晰度评估方法和装置 | |
| CN111127327B (zh) | 一种图片倾斜检测方法及装置 | |
| CN115731620A (zh) | 检测对抗攻击的方法和训练对抗攻击检测模型的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |