CN112102314A - 基于不确定性来判断人脸图片质量的计算方法 - Google Patents

基于不确定性来判断人脸图片质量的计算方法 Download PDF

Info

Publication number
CN112102314A
CN112102314A CN202011199597.9A CN202011199597A CN112102314A CN 112102314 A CN112102314 A CN 112102314A CN 202011199597 A CN202011199597 A CN 202011199597A CN 112102314 A CN112102314 A CN 112102314A
Authority
CN
China
Prior art keywords
picture
quality
face
uncertainty
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011199597.9A
Other languages
English (en)
Other versions
CN112102314B (zh
Inventor
徐行
范峻植
沈复民
贾可
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN202011199597.9A priority Critical patent/CN112102314B/zh
Publication of CN112102314A publication Critical patent/CN112102314A/zh
Application granted granted Critical
Publication of CN112102314B publication Critical patent/CN112102314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于不确定性来判断人脸图片质量的计算方法，属于计算机视觉领域。本发明包括：对训练数据集进行预处理；构建特征提取网络，用于提取出输入源的图片的人脸特征表示；通过训练优化损失函数；固定特征提取网络的卷积层的参数，通过特征表示的期望和方差来优化网络并达到收敛状态，保存人脸图片不确定性分数的最大值和最小值；当判断人脸图片质量时，将图片通过训练好的网络得到方差,再将方差分为四份，并对每一份求调和平均值，再对四个调和均值求平均值，得到图片的不确定性分数；将图片的不确定性分数映射到[0,1]范围内，得到人脸图片质量的分数。本发明能够自适应模糊、遮挡、角度等与人脸图片质量相关的各个维度的权重。

Description

基于不确定性来判断人脸图片质量的计算方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于不确定性来判断人脸图片质量的计算方法。
背景技术
由于现有人脸识别算法在低质量的人脸图片上的效果比较差，容易造成误识别，为了减少低质量图片造成的影响，人脸识别算法进行识别前会将人脸图片质量很低的图片剔除，因此判断人脸图片质量越来越受到学术界和工业界的关注。通常，将同一个人的高质量的人脸图片和高质量的人脸图片进行相似度比较，会获得到较大的相似度得分。如果将同一个人的高质量的人脸图片和低质量的人脸图片进行相似度比较，会获得较低的相似度得分。并且低质量的图片的质量越低，他们的相似度得分就会越低。因此在进行人脸相似度比较之前，获取到人脸图片的质量能提升人脸识别的性能，提升人脸识别识别效果。因为人脸识别不仅在学术领域得到广泛使用，在工业领域也得到了空前所有的应用，因此，研究判断人脸图片质量的计算方法，不仅具有重要的学术意义，在工业领域也具有重要的意义。
现有的人脸图片质量计算方法一般都是通过有标签的人脸数据来训练人脸图片质量评估模型，再通过人脸评估模型计算得出人脸图片质量的分数。但是该计算方法具有以下缺陷：
1.为了获取有标签的数据会付出大量的人力和财力。生成有标签的人脸图片数据主要都是通过人工来标注，也有少数无监督的方法，但是效果都不是足够能运用到工业生产中。常用的方法为：首先收集数据，然后对收集的数据按照模糊、遮挡、角度等方向分别进行标注，每个方向又分为几个等级。这样就会花费大量的人力和财力。
2.在标注的同时避免不了人为主观判断的误差。因为模糊、遮挡、角度等方向都是不可量化的界限指标，并且每个人的评估标准也有可能不同，因此人工进行标注的时候不可避免的会产生误分类的情况，因此就会产生不可避免的噪音。
3.当训练好模型后，通过模型后就能得到在模糊、遮挡、角度等方向上的得分，最后融合多个方向的分数得出一个人脸图片质量的分数。这种方法存在一个缺陷，就是在各个方向上的权重是固定的，并且很难找到一个最佳的权重比例。
发明内容
本发明的目的是提供一种能尽量减少人力、财力的消耗，并且能自动适配各个方向权重的基于不确定性来判断人脸图片质量的计算方法。
本发明解决其技术问题，采用的技术方案是：基于不确定性来判断人脸图片质量的计算方法，包括以下步骤：
步骤1、对训练数据集进行预处理；
步骤2、构建特征提取网络，用于提取出输入源的图片的人脸特征表示；
步骤3、通过训练优化损失函数；
步骤4、固定特征提取网络的卷积层的参数，通过特征表示的期望和方差来优化网络并达到收敛状态，保存人脸图片不确定性分数的最大值和最小值；
步骤5、当需要判断人脸图片质量的时，将图片通过训练好的网络得到方差,再将方差分为四份，并对每一份进行调和平均值，得到四个调和均值，再将四个调和均值求平均值，得到该图片的不确定性的分数；
步骤6、将图片的不确定性分数映射到[0,1]的范围内，最后得到人脸图片质量的分数。
进一步的是，步骤1具体包括以下步骤：
步骤101、对训练数据使用对齐算法进行对齐，裁剪出人脸区域；
步骤102、对训练数据集进行适当的增强，随机左右翻转，随机旋转一定的角度。
进一步的是，步骤2具体包括以下步骤：
步骤201、使用ResNet-101来提取图片的人脸特征高维表示；
步骤202、使用全连接层来将高维特征表示处理为合适的低维人脸特征表示。
进一步的是，步骤3具体包括以下步骤：
步骤301、通过使用Softmax损失函数来计算预测标签和真实标签之间差异，来反向传播优化权重；
步骤302、不断的迭代训练数据集，训练网络直至收敛状态。
进一步的是，步骤4具体包括以下步骤：
步骤401、固定ResNet-101卷积层的参数；
步骤402、将ResNet-101得到的高维特征表示经过全连接层，得到人脸图片对应的期望和方差，将期望和方差通过KL损失函数，来优化全连接层的参数，直至网络达到收敛状态；
步骤403、将每一张图片对应的方差分为四份，对每份进行求调和平均值，再将四个调和平均值求均值得到均值，保存最大值为
Figure 100002_DEST_PATH_IMAGE001
，最小值为
Figure 760918DEST_PATH_IMAGE002
；
步骤404、保存网络，并存储网络中ResNet-101卷积模块和全连接模块的参数。
进一步的是，步骤5具体包括以下步骤：
步骤501、将需要判断人脸图片质量的图片经过保存后的网络，得到该图片对应的期望和方差；
步骤502、将方差分为四份，然后对每份进行计算调和平均值，然后再对四个调和平均值求均值，得到该图片的不确定性分数S。
进一步的是，步骤6具体包括以下步骤：
步骤601、将不确定分数分别与步骤403中的最大值和最小值进行比较，如果小于最小值，就返回质量分数为0，并更新最小值为步骤502中得到的不确定分数，如果大于最大值，就返回质量分数为1，并更新最大值为步骤502中得到的不确定分数；
步骤602、如果步骤501未返回质量分数，则将步骤502进行0-1标准化，得到人脸图片质量分数。
本发明的有益效果是，通过上述基于不确定性来判断人脸图片质量的计算方法，通过现有的人脸识别算法，将开源数据集进行训练，其中一个分支继续训练人脸分类直至收敛状态，另外一个分支用来训练特征表示的期望和方差，使期望和方差尽可能的收敛。这两个分支分两个阶段生效，第一阶段，人脸分类分支生效，训练能够足够提取人脸特征的骨架网络；第二阶段，固定骨架网络的参数，通过优化全连接层的参数，使期望和方差达到收敛状态；首先训练人脸识别算法然后再训练人脸特征表示的期望和方差，并在网络收敛的时候把收敛状态下的模型保存下来，当需要判断人脸图片质量的时候，就能通过该模型计算出图片的期望和方差，再通过计算得到人脸图片质量的分数。
并且，现有技术得到的分数是多个维度的分数，然后再进行加权求和，得到一个质量分数，本发明得到的就是一个综合多个维度的分数，不用人为地去干涉多个维度之间的权重，这个过程是一个自适应的过程，质量分数进行了标准化，质量分数越小，图片的质量越高，让质量分数具有了更强的可量化性。
附图说明
图1为本发明实施例中基于不确定性来判断人脸图片质量的计算方法的流程图；
图2为本发明实施例中ResNet-101卷积层和全连接训练人脸识别框架结构图；
图3为本发明实施例中ResNet-101卷积层和全连接训练人脸特征表示的期望和方差框架示意图；
图4为本发明实施例中训练好的模型评估的部分人脸图片质量分数的可视化示意图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例
本发明实施例提出一种基于不确定性来判断人脸图片质量的计算方法，其流程图见图1，其中，该方法包括如下步骤：
步骤S1、对训练数据集进行预处理。
一般人脸训练数据集图片里都包含了场景信息的，如果直接对图片进行训练，就会包含了很多人脸识别不相关的场景信息，所以我们需要先使用对齐网络把人脸训练数据集进行对齐。使用mtcnn将网络对齐为112X112的人脸图片。对齐后的人脸图片主要包含的就是人脸信息，含有很少的场景信息。然后对人脸数据集进行一定的数据增强，比如左右翻转，随机旋转一定的角度，通过数据增强的方式能够有效的增加训练数据集的多样性，让训练数据集更加丰富，使高斯分布的采样范围更广。
步骤S2、构建特征提取网络，使其能提取出输入源的图片的人脸特征表示。
本实施例中，本实例中将输入的图片
Figure DEST_PATH_IMAGE003
通过ResNet-101卷积层得到一个4096维的一个人脸特征表示
Figure 620289DEST_PATH_IMAGE004
，其中，ResNet-101卷积层和全连接训练人脸识别框架结构图见图2，ResNet-101卷积层和全连接训练人脸特征表示的期望和方差框架示意图见图3。
步骤S3、通过训练优化损失函数，来使特征提取网络拥有足够的特征提取能力。
本实施例中，将上一步得到的4096维特征经过全连接层得到一个512维的特征表示
Figure DEST_PATH_IMAGE005
,上标f表示经过了全连接层,最后一层全连接的权重和偏置为
Figure 120803DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE007
。
然后通过Softmax损失函数计算预测和真实标签之间的差异，然后进行反向传播，Softmax损失函数公式为：
Figure 153350DEST_PATH_IMAGE008
；
其中，中上标f表示全连接层的最后一层，m表示每个批次的图片的数量，n表示分类数，
Figure DEST_PATH_IMAGE009
表示最后一层全连接层中属于yi类的权重，
Figure 787200DEST_PATH_IMAGE010
表示最后一层全连接层中属于j类对应的权重。
最后，训练网络直至收敛状态。
步骤S4、固定特征提取网络的卷积层的参数，通过特征表示的期望和方差来优化网络并达到收敛状态，保存方差的最大值和最小值。其中，步骤S4具体包括：
步骤S41、固定ResNet-101卷积层的参数。
步骤S42、将ResNet-101卷积层得到的高维特征表示经过全连接层，得到人脸图片对应的期望
Figure DEST_PATH_IMAGE011
和方差
Figure 879790DEST_PATH_IMAGE012
。
将方差数组分为四份，再将这四份求调和平均数得到
Figure DEST_PATH_IMAGE013
，再求均值。最后得到该图片对应的方差：
Figure 602021DEST_PATH_IMAGE014
；
其中，n为每一组的长度，在本实施例中n为128，并且方差为：
Figure DEST_PATH_IMAGE015
。
步骤S43、将期望和方差通过KL损失函数，来优化全连接层的参数。
Figure 907100DEST_PATH_IMAGE016
。
其中，
Figure DEST_PATH_IMAGE017
和
Figure 666895DEST_PATH_IMAGE018
表示分别属于p类和q类的特征表示的期望，
Figure DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE021
表示分别属于p类和q类的特征表示的方差。
步骤S44、直至网络达到收敛状态，并保存网络及相关的参数，保存方差
Figure 618802DEST_PATH_IMAGE022
的最大值
Figure DEST_PATH_IMAGE023
和最小值
Figure 326864DEST_PATH_IMAGE024
。
步骤S5、当需要判断图片质量的时，将图片通过网络得到方差，再将方差分为四份，并对每一份进行调和平均值，得到四个均值，再将四个均值求均值，得到该图片的不确定性的分数。
其中，步骤S5具体包括：
步骤S51、将图片通过MTCNN进行对齐，并裁剪为尺寸为112X112的人脸图片。
步骤S52、将图片通过保存的网络得到一个期望和方差，再将得到的方差数组通过公式得到该图片的不确定分数S。
步骤S6、将图片的不确定性分数映射到[0,1]的范围内，最后得到人脸图片质量的分数。
其中，步骤S6具体包括：
步骤S61、如果不确定分数S小于
Figure 248683DEST_PATH_IMAGE024
，则质量分数返回0，表示该图片的质量高于所有的训练集图片的质量，并更新
Figure 185022DEST_PATH_IMAGE024
为S。
步骤S62、如果不确定分数S大于
Figure 166885DEST_PATH_IMAGE023
，则质量分数返回1，表示该图片的质量低于所有的训练集图片的质量，并更新
Figure 424559DEST_PATH_IMAGE023
为S。
步骤S62、将S映射为人脸图片质量分数：
Figure 415649DEST_PATH_IMAGE026
。
本实施例中，训练好的模型评估的部分人脸图片质量分数的可视化示意图见图4，其中，第一行图片及分数展示的为模型对不同模糊程度的图片计算出的质量分数，从左到右，图片的模糊层度依次增加，可以看到，该模型得出的质量分数也相应增加。第二行图片及分数展示的为模型对不同角度的图片计算出的质量分数，从左到右，图片的角度依次增大，可以看到，该模型得出的质量分数也相应增加。第三行图片及分数展示的为模型对不同遮挡程度的图片计算出的质量分数，从左到右，图片的遮挡面积依次增大，可以看到，该模型得出的质量分数也相应增加。
因此，本实施例中，将人脸特征看作一个高维高斯分布，将高斯分布的方差看作人脸图片质量的衡量指标，它可以自适应的计算人脸图片质量各个维度之间的权重，具体来说，将人脸特征看作为一个高斯分布，期望就是该人脸最标准（图片质量最好）的人脸对应的图片，方差就是当前图片距离最标准的这张图片之间的差异。
并且，由于高斯分布的特性，在评估图片质量的时候就无需关心每个维度之间的权重，比如现有的大部分网络都赋予每个维度相同的值，由于高斯分布的方差就代表了采样点与期望之间的离散程度，并且也考虑了所有的因素。
本实施例将得到的方差分成四份，再分别对四份进行求调和平均值，得到四个调和平均值，这样就有效的缓解了求调和平均值的过程中极值对结果的影响。
需要指出的是，本实施例中，无需提供具有人脸图片质量相关的有标签的数据，只需将现有的开源数据集用来训练，当数据量足够大的时候，数据集的质量本身就服从一个高维的高斯分布，然后对这些高斯分布进行处理，最终得到我们所需要的能评估人脸图片质量的网络。
因此，本实例在对数据要求方面更低，在结果方面具有了更强的解释性。

Claims (7)

1.基于不确定性来判断人脸图片质量的计算方法，其特征在于，包括以下步骤：
步骤1、对训练数据集进行预处理；
步骤2、构建特征提取网络，用于提取出输入源的图片的人脸特征表示；
步骤3、通过训练优化损失函数；
步骤4、固定特征提取网络的卷积层的参数，通过特征表示的期望和方差来优化网络并达到收敛状态，保存人脸图片不确定性分数的最大值和最小值；
步骤5、当需要判断人脸图片质量的时，将图片通过训练好的网络得到方差,再将方差分为四份，并对每一份进行调和平均值，得到四个调和均值，再将四个调和均值求平均值，得到该图片的不确定性的分数；
步骤6、将图片的不确定性分数映射到[0,1]的范围内，最后得到人脸图片质量的分数。
2.根据权利要求1所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，步骤1具体包括以下步骤：
步骤101、对训练数据使用对齐算法进行对齐，裁剪出人脸区域；
步骤102、对训练数据集进行适当的增强，随机左右翻转，随机旋转一定的角度。
3.根据权利要求1所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，步骤2具体包括以下步骤：
步骤201、使用ResNet-101来提取图片的人脸特征高维表示；
步骤202、使用全连接层来将高维特征表示处理为合适的低维人脸特征表示。
4.根据权利要求1所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，
步骤3具体包括以下步骤：
步骤301、通过使用Softmax损失函数来计算预测标签和真实标签之间差异，来反向传播优化权重；
步骤302、不断的迭代训练数据集，训练网络直至收敛状态。
5.根据权利要求1所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，步骤4具体包括以下步骤：
步骤401、固定ResNet-101卷积层的参数；
步骤402、将ResNet-101得到的高维特征表示经过全连接层，得到人脸图片对应的期望和方差，将期望和方差通过KL损失函数，来优化全连接层的参数，直至网络达到收敛状态；
步骤403、将每一张图片对应的方差分为四份，对每份进行求调和平均值，再将四个调和平均值求均值得到均值，保存最大值为
Figure DEST_PATH_IMAGE001
，最小值为
Figure 830996DEST_PATH_IMAGE002
；
步骤404、保存网络，并存储网络中ResNet-101卷积模块和全连接模块的参数。
6.根据权利要求1或5所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，步骤5具体包括以下步骤：
步骤501、将需要判断人脸图片质量的图片经过保存后的网络，得到该图片对应的期望和方差；
步骤502、将方差分为四份，然后对每份进行计算调和平均值，然后再对四个调和平均值求均值，得到该图片的不确定性分数S。
7.根据权利要求6所述的基于不确定性来判断人脸图片质量的计算方法，其特征在于，步骤6具体包括以下步骤：
步骤601、将不确定分数分别与步骤403中的最大值和最小值进行比较，如果小于最小值，就返回质量分数为0，并更新最小值为步骤502中得到的不确定分数，如果大于最大值，就返回质量分数为1，并更新最大值为步骤502中得到的不确定分数；
步骤602、如果步骤501未返回质量分数，则将步骤502进行0-1标准化，得到人脸图片质量分数。
CN202011199597.9A 2020-11-02 2020-11-02 基于不确定性来判断人脸图片质量的计算方法 Active CN112102314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199597.9A CN112102314B (zh) 2020-11-02 2020-11-02 基于不确定性来判断人脸图片质量的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199597.9A CN112102314B (zh) 2020-11-02 2020-11-02 基于不确定性来判断人脸图片质量的计算方法

Publications (2)

Publication Number Publication Date
CN112102314A true CN112102314A (zh) 2020-12-18
CN112102314B CN112102314B (zh) 2021-03-09

Family

ID=73785981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199597.9A Active CN112102314B (zh) 2020-11-02 2020-11-02 基于不确定性来判断人脸图片质量的计算方法

Country Status (1)

Country Link
CN (1) CN112102314B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329745A (zh) * 2021-01-04 2021-02-05 北京沃东天骏信息技术有限公司 训练方法、人脸防伪检测方法、相关设备及存储介质
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113255832A (zh) * 2021-06-23 2021-08-13 成都考拉悠然科技有限公司 双分支多中心的长尾分布识别的方法
CN113762784A (zh) * 2021-09-10 2021-12-07 国投信开水环境投资有限公司 污水处理系统布局规划方案的定量化综合评价方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085320A1 (en) * 2013-09-24 2015-03-26 Xerox Corporation Image processing based on automatic image-type detection
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
US20170034512A1 (en) * 2011-07-18 2017-02-02 Zii Labs Inc. Ltd. Systems and Methods with Early Variance Measure Used to Optimize Video Encoding
CN106599864A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于极值理论的深度人脸识别方法
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107454389A (zh) * 2017-08-30 2017-12-08 苏州科达科技股份有限公司 待测系统的视频质量评价方法及系统
CN107545251A (zh) * 2017-08-31 2018-01-05 北京图铭视界科技有限公司 人脸质量判别及图片增强的方法及装置
CN109002755A (zh) * 2018-06-04 2018-12-14 西北大学 基于人脸图像的年龄估计模型构建方法及估计方法
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110738160A (zh) * 2019-10-12 2020-01-31 成都考拉悠然科技有限公司 一种结合人脸检测的人脸质量评估方法
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN110853074A (zh) * 2019-10-09 2020-02-28 天津大学 一种利用光流增强目标的视频目标检测网络系统
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
CN111062432A (zh) * 2019-12-13 2020-04-24 华中科技大学 一种语义上多模态图像生成的方法
CN111695450A (zh) * 2020-05-26 2020-09-22 东南大学 一种基于IMobileNet的人脸快速识别方法
CN111724370A (zh) * 2020-06-19 2020-09-29 福州大学 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170034512A1 (en) * 2011-07-18 2017-02-02 Zii Labs Inc. Ltd. Systems and Methods with Early Variance Measure Used to Optimize Video Encoding
US20150085320A1 (en) * 2013-09-24 2015-03-26 Xerox Corporation Image processing based on automatic image-type detection
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法
CN106599864A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于极值理论的深度人脸识别方法
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107454389A (zh) * 2017-08-30 2017-12-08 苏州科达科技股份有限公司 待测系统的视频质量评价方法及系统
CN107545251A (zh) * 2017-08-31 2018-01-05 北京图铭视界科技有限公司 人脸质量判别及图片增强的方法及装置
CN109002755A (zh) * 2018-06-04 2018-12-14 西北大学 基于人脸图像的年龄估计模型构建方法及估计方法
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110853074A (zh) * 2019-10-09 2020-02-28 天津大学 一种利用光流增强目标的视频目标检测网络系统
CN110738160A (zh) * 2019-10-12 2020-01-31 成都考拉悠然科技有限公司 一种结合人脸检测的人脸质量评估方法
CN110879981A (zh) * 2019-11-14 2020-03-13 深圳市华付信息技术有限公司 人脸关键点质量评估方法、装置、计算机设备及存储介质
CN110838119A (zh) * 2019-11-15 2020-02-25 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN111062432A (zh) * 2019-12-13 2020-04-24 华中科技大学 一种语义上多模态图像生成的方法
CN111695450A (zh) * 2020-05-26 2020-09-22 东南大学 一种基于IMobileNet的人脸快速识别方法
CN111724370A (zh) * 2020-06-19 2020-09-29 福州大学 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王志明: "无参考图像质量评价综述", 《自动化学报》 *
贾惠珍等: "多特征融合的图像质量评价方法", 《模式识别与人工智能》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329745A (zh) * 2021-01-04 2021-02-05 北京沃东天骏信息技术有限公司 训练方法、人脸防伪检测方法、相关设备及存储介质
CN113095304A (zh) * 2021-06-08 2021-07-09 成都考拉悠然科技有限公司 减弱重采样对行人重识别的影响的方法
CN113255832A (zh) * 2021-06-23 2021-08-13 成都考拉悠然科技有限公司 双分支多中心的长尾分布识别的方法
CN113255832B (zh) * 2021-06-23 2021-10-01 成都考拉悠然科技有限公司 双分支多中心的长尾分布识别的方法
CN113762784A (zh) * 2021-09-10 2021-12-07 国投信开水环境投资有限公司 污水处理系统布局规划方案的定量化综合评价方法及系统
CN113762784B (zh) * 2021-09-10 2022-08-09 国投信开水环境投资有限公司 污水处理系统布局规划方案的定量化综合评价方法及系统

Also Published As

Publication number Publication date
CN112102314B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112102314B (zh) 基于不确定性来判断人脸图片质量的计算方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
Zhao et al. Document image binarization with cascaded generators of conditional generative adversarial networks
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN111695469A (zh) 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN106096538A (zh) 基于定序神经网络模型的人脸识别方法及装置
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN111814611B (zh) 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
WO2023125456A1 (zh) 基于多层次变分自动编码器的高光谱图像特征提取方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN112861752A (zh) 一种基于dcgan与rdn的作物病害识别方法及系统
CN114998602A (zh) 基于低置信度样本对比损失的域适应学习方法及系统
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN113344077A (zh) 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法
CN113436174A (zh) 一种人脸质量评估模型的构建方法及应用
CN114049222A (zh) 一种基于注意力机制和强化学习的趋势预测方法
CN110766082B (zh) 一种基于迁移学习的植物叶片病虫害程度分类方法
CN117557840B (zh) 一种基于小样本学习的眼底病变分级方法
Yang Research on financial credit evaluation and early warning system of internet of things driven by computer-aided technology
CN104933410B (zh) 一种高光谱图像光谱域与空间域联合分类方法
CN113642479A (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN113221683A (zh) 教学场景下基于cnn模型的表情识别方法
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置
TW202133089A (zh) 最佳化驅動決策之方法及其電腦程式產品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant