CN112465792A - 一种人脸质量的评估方法及相关装置 - Google Patents
一种人脸质量的评估方法及相关装置 Download PDFInfo
- Publication number
- CN112465792A CN112465792A CN202011414401.3A CN202011414401A CN112465792A CN 112465792 A CN112465792 A CN 112465792A CN 202011414401 A CN202011414401 A CN 202011414401A CN 112465792 A CN112465792 A CN 112465792A
- Authority
- CN
- China
- Prior art keywords
- network model
- training
- cnn network
- pyramid cnn
- inverse pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000007704 transition Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 15
- 230000003247 decreasing effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 157
- 238000012360 testing method Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种人脸质量的评估方法及相关装置，其中，方法包括：获取待评估图像；在检测到待评估图像中存在人脸的情况下，将待评估图像输入预设的逆金字塔CNN网络模型，逆金字塔CNN网络模型输出待评估图像的质量评估结果；其中，逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；第二阶段网络包括密集块和“卷积‑标准化‑激活”层；预设数量的大小为2或3。其中，输入逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。既保证人脸质量评估的精度，又保证具有较短的时延，从而，使得应用于移动端成为可能。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种人脸质量的评估方法及相关装置。
背景技术
随着人工智能技术突飞猛进，人脸识别算法在安防、金融、医疗、交通、教育、零售、工业制造等领域广泛推广应用，人脸识别算法也遇到各种复杂场景的挑战，比如照片模糊、光照太强、光线太暗、运动模糊、口罩遮挡、头发遮挡等其他附属物的遮挡，这些因素给人脸识别精度带来了一定的损失。为了提高人脸识别算法的精度，可以通过人脸质量评估算法能辅助过滤掉一些质量不高的图片。
目前，人脸质量评估方法有两种，其中，一种是基于传统视觉算法的方法，另一种是基于深度学习的方法。传统视觉算法一般对于光照变化、姿态变化、图像模糊、侧脸、遮挡、其他遮挡需要分别建模处理，如此一来，人脸质量评估过程会增加芯片计算量，并增大延时。另外，传统算法是手工提取特征，应用场景有限，难以在各种不同的场景下针对不同的图像类型保持较高的精度和较好的鲁棒性。
基于深度学习的方法不需要人为设计特征，它依靠深度学习模型强大的学习能力学习大量的图片特征，从而自动提取特征完成人脸质量评估任务，比如，基于CNN的人脸质量评估检测方法。基于CNN的人脸质量评估方法目前市场上有两类：一是以FaceQnet网络为代表的大型网络模型，精度较高，但是网络结构复杂，计算量大，耗时较多，在移动端难以部署实时应用。二是以mobilenet/shufflenet系列为代表的轻量级网络模型，网络结构简化，消耗硬件(gpu/cpu)资源较小，但是精度较低，漏检、误检较多，同样难以在移动端部署实时应用。
为了便于高精度的人脸识别广泛应用于移动终端，急需一种既保证精度又具有较短时延的人脸质量评估方案。
发明内容
本申请提供了一种人脸质量的评估方法及相关装置，目的在于提供一种既保证精度又具有较短时延的人脸质量评估方案。
为了实现上述目的，本申请提供了以下技术方案：
本申请提供了一种人脸质量的评估方法，包括：
获取待评估图像；
在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3；
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
可选的，所述过渡层包括：1×1卷积核，步长为1，2×2最大池化，步长为2。
可选的，所述预设数量为3个，3个第一阶段网络顺序连接，依次为第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块和第三过渡层；其中，所述第一密集块由3个密集层组成；所述第二密集块由4个密集层组成、所述第三密集块由4个密集层组成；
所述第二阶段网络中的密集块由4个密集层组成；
所述根模块由3个密集层组成。
可选的，所述逆金字塔CNN网络模型是通过对初始逆金字塔CNN网络模型进行训练得到；
对所述初始逆金字塔CNN网络模型的训练过程，包括：
获取训练样本和测试样本；
基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练；
将在所述训练样本训练下的数据精度达到预设训练阈值，且，在所述测试样本下的测试准确率达到预设测试阈值的训练后的逆金字塔CNN网络模型，作为完成训练的逆金字塔CNN网络模型。
可选的，所述基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练，包括：
获取对所述初始逆金字塔CNN网络模型进行训练的阶段参数；所述阶段参数包括：阶段数量、阶段顺序和每个阶段分别对应的训练准确度和测试准确度；其中，最后阶段的训练准确度为所述预设训练阈值，最后阶段的测试准确度为所述预设测试阈值；
按照所述阶段顺序，依次对逆金字塔CNN网络模型进行训练；
其中，对于任一阶段，对逆金字塔CNN网络模型的训练过程包括：通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，直至得到在所述训练样本下的训练准确度达到该阶段的训练准确度，且，在所述测试样本下的测试准确度达到该阶段的测试准确度的逆金字塔CNN网络模型。
可选的，所述通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，包括：
按照预设的训练流程对最新逆金字塔CNN网络模型进行训练；
所述训练流程包括：采用梯度下降法，对最新逆金字塔CNN网络模型进行训练；如果在所述训练样本下的训练准确度，未达到该阶段预设的训练准确度，则调整学习率，采用调整后的学习率和梯度下降法继续对最新逆金字塔CNN网络模型进行训练，直至得到在训练样本下的训练准确度，达到该阶段预设的训练准确度的逆金字塔CNN网络模型；
采用所述测试样本对最新逆金字塔CNN网络模型进行测试；
如果测试准确率未达到该阶段的测试准确度，则调整学习率，并以调整后的学习率，采用所述训练样本按照所述训练流程对最新逆金字塔CNN网络模型继续进行训练，直至训练得到的逆金字塔CNN网络模型的测试准确率达到该阶段的测试准确度。
可选的，所述质量评估结果为正常、口罩遮挡、墨镜遮挡、帽子遮挡、手部遮挡、头发遮挡、其他遮挡中的一项。
本申请还提供了一种人脸质量的评估装置，包括：
获取模块，用于获取待评估图像；
执行模块，用于在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3；
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的人脸质量的评估方法。
本申请还提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的人脸质量的评估方法。
本申请所述的人脸质量的评估方法及相关装置，获取待评估图像；在检测到待评估图像中存在人脸的情况下，将待评估图像输入预设的逆金字塔CNN网络模型，逆金字塔CNN网络模型输出待评估图像的质量评估结果。
在本申请中，逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；第二阶段网络包括密集块和“卷积-标准化-激活”层。由于预设数量的大小为2或者3，使得本申请提供的逆金字塔CNN网络模型的网络逐渐加深，即从浅层网络到深层网络。并且，在本申请中，输入逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
发明人在研究中发现，CNN网络中浅层网络卷积核小，获取的特征感受野也小，可以提取全面的丰富的特征，从而达到更好的精度。同时，在网络前向传播时，深层网络对前面的特征进行组合、融合、转换等操作，不需要产生新的特征，因此，通道不用太多，特征数量应逐渐减少，符合人类大脑知识结构。
因此，本申请提供的逆金字塔CNN网络模型的网络逐渐加深，并且，输入逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减，一方面，符合人类大脑知识结构，另一方面，可以实现占用内存小，而且精度高，收敛快，从而既保证人脸质量评估的精度，又保证具有较短的时延，从而，使得应用于移动端成为可能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为mobilenetv2的网络结构示意图；
图2为shufflenetv2的网络结构示意图；
图3为本申请实施例公开的一种逆金字塔CNN网络模型的结构示意图；
图4为本申请实施例公开的又一种逆金字塔CNN网络模型的结构示意图；
图5为本申请实施例公开的对逆金字塔CNN网络模型的训练过程的示意图；
图6为本申请实施例公开的一种人脸质量的评估方法的流程图；
图7为本申请实施例公开的一种人脸质量的评估装置的结构示意图；
图8为本申请实施例公开的一种设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于移动端能否支持CNN网络的必要条件是卷积参数量和计算量，其中，卷积参数量的计算如下：
1.卷积参数量的计算，若卷积层的输入featuremap的维度为Cin×Hin×Win，Cin为输入通道，Hin为输入高度，Win为输入宽度，卷积核的大小为K1×K2，padding＝P1×P2，stride＝S1×S2，卷积核(filter)的数量为Cout,则输出特征图的大小为Cout×Hout×Wout。
其中：
表示向下取整。
参数量的计算，由于卷积层共享参数的特性，做一次卷积只和输入通道数Cin，卷积核的大小K1和K2有关，而与输入高度Hin和宽度Win无关。因此，当输出通道数为Cout时，卷积核的参数量为：Cout×Cin×K1×K2，bias的参数为：Cout。因此，总的参数量为：Cout×Cin×K1×K2+Cout。
2.卷积层浮点数操作(FLOPS)计算量，卷积操作本质上是个线性运算，通常可表示为：y＝Wx+b，这里面涉及到了乘法运算和加法运算，下面将进行一一说明。
乘法运算：
为了得到输出特征图中的某一个像素，需要Cin×K1×K2次乘法运算，而特征图总共有Cout×Hout×Wout个像素，则总计需要的乘法运算量为：Cout×Hout×Wout×(Cin×K1×K2)。
加法运算
当前主流的浮点运算次数(floating point operations，FLOPs)的计算，一般只考虑加上bias的一次加法。bias＝True,则加法运算次数为Cout×Hout×Wout×1；bias＝False,则加法运算次数为0。
综上，在bias为True时，总的FLOPS为：Cout×Hout×Wout×(Cin×K1×K2+1)。
在bias为False时，总的FLOPS为：Cout×Hout×Wout×(Cin×K1×K2)。
从上述描述可以看到，卷积计算量和参数量的决定因素有Cout、Cin、K1、K2、Hout、Wout这6个参数，提取特征的有效卷积核最小就是3x3，当Hout和Wout固定的情况下，卷积计算量和参数和Cin、Cout成正比。但是一般直接减小Cin和Cout，又会降低网络精度。
图1为mobilenetv2网络结构图，其中，c表示输出通道，input表示图像输入，Operator表示执行者，t表示输入通道的倍增系数(中间部分的通道数是输入通道的倍数)，n表示模块重复次数，s表示模块第一次重复的步长stride(以后重复部分步长都是1)。从图1中可以看出，在图像输入为224x224x3，stage 1(对应第一行)输出通道是32，在stage 2(对应第二行)输出通道减半，然后再逐渐增大，到第9个step(对应第九行)时，通道增长到了1280，第9层(对应第10行)的特征数量为，1280x7x7＝62720个。
再以shufflenetv2为例，网络结构如图2所示，其中，Layer表示网络层，Image表示原始图像，Conv1 maxpool表示最大池化，Stage2表示阶段2，Stage3表示阶段3，Stage4表示阶段4，Conv5表示阶段5卷积层，GlobalPool表示全局平均池化层，FC表示全连接层，FCOPs表示浮点运算数，#of Weights表示权重模型大小，output size表示输出感受野尺寸，Ksize表示卷积核大小，Stride表示步长，Repeat表示重复次数，Output channels表示输出通道。从图2中可以看出，从输入图像的3通道，增长到24，在Conv5时，1x版通道数增长到1024维，shufflenetv21x版通道增长到了1024，Conv5特征数量为1024x7x7＝50176个，shufflenetv2x2甚至达到了2048维，Conv5特征数量达到了100352个。
轻量级网络结构部分与mobilenet v2、shufflenet v2大体相同，但是网络精度不是很高。
因此，本申请实施例提供的一种逆金字塔CNN网络模型的结构，是一种新型pelee-funnel网络，是在cnn pelee网络基础上改进的网络，重新设计了网络特征依赖和融合关系，具体结构如图3所示。
具体的，按照顺序，逆金字塔CNN网络模型的结构包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层，其中，预设数量的大小为2或3。
其中，任一第一阶段网络包括密集块和过渡层，其中，密集块由目标数量密集层组成。其中，第二阶段网络包括密集块和“卷积-标准化化-激活”(con-bn-relu)层。
其中，输入该逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
可选的，在本实施例中，任一过渡层都可以包括：1×1卷积核，步长为1，2×2最大池化，步长为2。
优选的，在本实施例中，预设数量为3个，3个第一阶段网络顺序连接依次为第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块和第三过渡层；其中，第一密集块由3个密集层组成；第二密集块由4个密集层组成、第三密集块由4个密集层组成。其中，第二阶段网络中的密集块由4个密集层组成，根模块由3个密集层组成，即如图4所示网络结构。
在图4中，Stage表示阶段网络，Layer表示网络层，Output Shape表示输出特征尺寸，Freature Map表示输出特征数量，Stem Block表示根模块，Dense Block表示密集块，Transitio Layer表示过渡层，con-bn-relu表示卷积-标准化-激活，ClassificationLayer表示全连接分类层。
从图4中可以看出，在网络stage 0时，输入图像为224x224x3，输出通道为96，featuremap为56x56x96，特征数量为301056个，stage 1时，迅速生成了56x56x240的特征，特征数量为752640，再后面的网络结构中，输出特征逐渐减少，到stage 4时，输出特征数量为18816个，为mobilenetv2的0.3倍，是shufflenetv2 1x的0.375倍。
需要说明的是，图4所示的逆金字塔CNN网络模型中输入图像是224x224x3，其中，224x224只是一个示例，在实际中，还可以为其他数值，例如64x64，本实施例不对具体取值作限定。
还需要说明的是，图4给出的是逆金字塔CNN网络模型的一种示例，在实际中，阶段网络的数量可以更改，例如，删除图4中的stage2或stage3也可以达到本申请的目的。
在本申请实施例中，基于逆金字塔CNN网络模型，进行人脸质量的评估。首先，对初始逆金字塔CNN网络模型进行训练，得到完成训练的逆金字塔CNN网络模型，其中，初始逆金字塔CNN网络模型的结构为本申请实施例提供的网络结构。
具体的，训练过程如图5所示，可以包括以下步骤：
S501、获取训练样本和测试样本。
在本实施例中，获取训练样本和测试样本的具体方式可以包括：首先，采用数据采集系统采集各种场景下的不同状态人脸图像，包括不同光照(强光、弱光、逆光、侧光源)、不同模糊程度、不同姿态(低头、扭头、抬头等)、戴墨镜，戴眼镜，手部遮挡、帽子遮挡、头发遮挡、人脸前后遮挡，以及其他附属物遮挡等。
然后，采用人脸检测器检测出采集的人脸图像中的人脸，并对采集的人脸图像进行标注和分类，可以分为7类。由于本实施例中人脸质量评估过程，实际就是找寻正常人脸和遮挡人脸、模糊人脸、不完整人脸间的特征区别，因此，在本实施例中，分为的7类可以包括：正常、口罩遮挡、墨镜遮挡、帽子遮挡、手部遮挡、头发遮挡和其他遮挡。
最后，把标注好的人脸图像按比例随机分为用于训练的人脸图像(即训练样本)和用于测试的人脸图像(即测试样本)。例如，可以将标注的人脸图像中70％的标注人脸图像作为训练样本，剩余的30％的标注人脸图像作为测试样本。
用采集的大量人脸图像，进行准确标注、数据清洗后，采用梯度下降法训练网络模型，在验证集进行统计获取等错率下的合适阈值。
S502、对获取的训练样本和测试样本进行预处理操作与数据增强，得到处理后的训练样本和处理后的测试样本。
在本实施例中，预处理操作可以包括统一到64x64像素和数据清洗等，当然，在实际中，预处理操作还可以包括其他的预处理操作，本实施例不对预处理的具体内容作限定。
需要说明的是，在本实施例中，本步骤是可选步骤。
如果在实际中不执行本步骤的操作，则以下S503～S504中训练样本与测试样本都是未进行预处理的样本。
S503、基于处理后的训练样本和处理后的测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练。
在本实施例中，可以分阶段对初始逆金字塔CNN网络模型进行训练，其中，每个阶段事先设置一个训练准确度和一个测试准确度。具体训练过程可以包括以下步骤A1～步骤A2：
A1、获取对初始逆金字塔CNN网络模型进行训练的阶段参数。
在本实施例中，阶段参数可以包括：阶段数量、阶段顺序和每个阶段分别对应的训练准确度和测试准确度；其中，最后阶段的训练准确度为预设训练阈值，最后阶段的测试准确度为预设测试阈值。
A2、按照阶段顺序，依次对逆金字塔CNN网络模型进行训练。
在本实施例中，对于任一阶段的训练原理相同，为了描述方便，以任意一个训练阶段为例进行介绍。
其中，对于任一阶段，对逆金字塔CNN网络模型的训练过程包括：通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，直至得到在训练样本下的训练准确度达到该阶段的训练准确度，且，在测试样本下的测试准确度达到该阶段的测试准确度的逆金字塔CNN网络模型。
其中，通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练的过程，可以包括以下步骤B1～步骤B4：
B1、按照预设的训练流程对最新逆金字塔CNN网络模型进行训练。
在本实施例中，最新逆金字塔CNN网络模型指：截止当前，最后一次训练得到的逆金字塔CNN网络模型。
训练流程包括：采用梯度下降法，对最新逆金字塔CNN网络模型进行训练，判断在训练样本下的训练准确度是否达到该阶段预设的训练准确度，如果否，则调整学习率(例如，可以调整10％)，采用调整后的学习率和梯度下降法继续对最新逆金字塔CNN网络模型进行训练，直至在训练样本下的训练准确度达到该阶段预设的训练准确度。
B2、采用测试样本对最新逆金字塔CNN网络模型进行测试。
在本步骤中，最新逆金字塔CNN网络模型指截止当前，最后一次训练得到的逆金字塔CNN网络模型。
B3、判断测试准确率是否达到该阶段的测试准确度，如果否，则执行B4，如果是，则结束。
B4、调整学习率。
执行完本步骤后，返回执行步骤B1。
可选的，在本实施例中，任一训练过程都可以采用交叉熵损失函数，对逆金字塔CNN网络模型进行随机梯度下降方法训练。
S504、将在处理后的训练样本训练下的数据精度达到预设训练阈值，且，在处理后的测试样本下的测试准确率达到预设的测试阈值的训练后的逆金字塔CNN网络模型，作为完成训练的逆金字塔CNN网络模型。
图6为本申请实施例提供的一种人脸质量的评估方法，可以包括以下步骤：
S601、获取待评估图像。
在本实施例中，可以通过图像采集装置获取图像。为了描述方便，将图像采集装置采集的图像，称为待评估图像。其中，图像采集装置可以为摄像头，在实际中，图像采集装置还可以为其他设备，本实施例不对图像采集装置的具体内容作限定。
S602、对待评估图像进行人脸检测。
在本步骤中，可以采用人脸检测器对待评估图像进行人脸检测。其中，人脸检测的具体实现方式为现有技术，这里不再赘述。
S603、判断待评估图像中是否存在人脸，如果是，则执行S604，如果否，则执行S601。
在本步骤中，判断是否从待评估图像中检测到人脸，如果是，则执行S604，如果否，则返回执行S601，即重新获取待评估图像，获取采集装置采集的下一帧待评估图像。
S604、将待评估图像输入预设的逆金字塔CNN网络模型，逆金字塔CNN网络模型输出待评估图像的质量评估结果。
在本步骤中，预设的逆金字塔CNN网络模型可以为通过图5对应的实施例完成训练的逆金字塔CNN网络模型。
在本步骤中，完成训练的逆金字塔CNN网络模型对输入的待评估图像进行计算，在输出层基于计算结果进行分类判断，输出评估结果。
在本实施例中，评估结果分为7类，具体为正常、口罩遮挡、墨镜遮挡、帽子遮挡、手部遮挡、头发遮挡、其他遮挡。本步骤中，输出的评估结果为这7类中的一类，即待评估图像所属的那类。
具体的，分类判断的计算公式为公式(1)：
Si表示本实施例的总分类中的第i个分类，，k∈(0,7]，i表示kk中的第i个分类，gi表示第i分类的值，P(Si)表示预测待评估图像所属的类别和置信度。
图7为本申请实施例提供的一种人脸质量的评估装置，可以包括：获取模块701和执行模块702，其中，
获取模块701，用于获取待评估图像；
执行模块702，用于在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3。
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
可选的，所述过渡层包括：1×1卷积核，步长为1，2×2最大池化，步长为2。
可选的，所述预设数量为3个，3个第一阶段网络顺序连接，依次为第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块和第三过渡层；其中，所述第一密集块由3个密集层组成；所述第二密集块由4个密集层组成、所述第三密集块由4个密集层组成；
所述第二阶段网络中的密集块由4个密集层组成；
所述根模块由3个密集层组成。
可选的，所述逆金字塔CNN网络模型是通过对初始逆金字塔CNN网络模型进行训练得到；
对所述初始逆金字塔CNN网络模型的训练过程，包括：
获取训练样本和测试样本；
基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练；
将在所述训练样本训练下的数据精度达到预设训练阈值，且，在所述测试样本下的测试准确率达到预设测试阈值的训练后的逆金字塔CNN网络模型，作为完成训练的逆金字塔CNN网络模型。
可选的，所述基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练，包括：
获取对所述初始逆金字塔CNN网络模型进行训练的阶段参数；所述阶段参数包括：阶段数量、阶段顺序和每个阶段分别对应的训练准确度和测试准确度；其中，最后阶段的训练准确度为所述预设训练阈值，最后阶段的测试准确度为所述预设测试阈值；
按照所述阶段顺序，依次对逆金字塔CNN网络模型进行训练；
其中，对于任一阶段，对逆金字塔CNN网络模型的训练过程包括：通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，直至得到在所述训练样本下的训练准确度达到该阶段的训练准确度，且，在所述测试样本下的测试准确度达到该阶段的测试准确度的逆金字塔CNN网络模型。
可选的，所述通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，包括：
按照预设的训练流程对最新逆金字塔CNN网络模型进行训练；
所述训练流程包括：采用梯度下降法，对最新逆金字塔CNN网络模型进行训练；如果在所述训练样本下的训练准确度，未达到该阶段预设的训练准确度，则调整学习率，采用调整后的学习率和梯度下降法继续对最新逆金字塔CNN网络模型进行训练，直至得到在训练样本下的训练准确度，达到该阶段预设的训练准确度的逆金字塔CNN网络模型；
采用所述测试样本对最新逆金字塔CNN网络模型进行测试；
如果测试准确率未达到该阶段的测试准确度，则调整学习率，并以调整后的学习率，采用所述训练样本按照所述训练流程对最新逆金字塔CNN网络模型继续进行训练，直至训练得到的逆金字塔CNN网络模型的测试准确率达到该阶段的测试准确度。
可选的，所述质量评估结果为正常、口罩遮挡、墨镜遮挡、帽子遮挡、手部遮挡、头发遮挡、其他遮挡中的一项。
人脸质量的评估装置包括处理器和存储器，上述获取模块701和执行模块702等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提供既保证精度又具有较短时延的人脸质量评估方案。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述人脸质量的评估方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述人脸质量的评估方法。
本发明实施例提供了一种设备，如图8所示，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的人脸质量的评估方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取待评估图像；
在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3。
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书的各个实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种人脸质量的评估方法，其特征在于，包括：
获取待评估图像；
在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3；
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
2.根据权利要求1所述的方法，其特征在于，所述过渡层包括：1×1卷积核，步长为1，2×2最大池化，步长为2。
3.根据权利要求2所述的方法，其特征在于，所述预设数量为3个，3个第一阶段网络顺序连接，依次为第一密集块、第一过渡层、第二密集块、第二过渡层、第三密集块和第三过渡层；其中，所述第一密集块由3个密集层组成；所述第二密集块由4个密集层组成、所述第三密集块由4个密集层组成；
所述第二阶段网络中的密集块由4个密集层组成；
所述根模块由3个密集层组成。
4.根据权利要求1所述的方法，其特征在于，所述逆金字塔CNN网络模型是通过对初始逆金字塔CNN网络模型进行训练得到；
对所述初始逆金字塔CNN网络模型的训练过程，包括：
获取训练样本和测试样本；
基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练；
将在所述训练样本训练下的数据精度达到预设训练阈值，且，在所述测试样本下的测试准确率达到预设测试阈值的训练后的逆金字塔CNN网络模型，作为完成训练的逆金字塔CNN网络模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本和测试样本，通过调整学习率来提高逆金字塔CNN网络模型处理数据的精度，对初始逆金字塔CNN网络模型进行训练，包括：
获取对所述初始逆金字塔CNN网络模型进行训练的阶段参数；所述阶段参数包括：阶段数量、阶段顺序和每个阶段分别对应的训练准确度和测试准确度；其中，最后阶段的训练准确度为所述预设训练阈值，最后阶段的测试准确度为所述预设测试阈值；
按照所述阶段顺序，依次对逆金字塔CNN网络模型进行训练；
其中，对于任一阶段，对逆金字塔CNN网络模型的训练过程包括：通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，直至得到在所述训练样本下的训练准确度达到该阶段的训练准确度，且，在所述测试样本下的测试准确度达到该阶段的测试准确度的逆金字塔CNN网络模型。
6.根据权利要求5所述的方法，其特征在于，所述通过调整学习率来提高逆金字塔CNN网络模型的数据处理精度，对上一阶段训练得到的逆金字塔CNN网络模型进行迭代训练，包括：
按照预设的训练流程对最新逆金字塔CNN网络模型进行训练；
所述训练流程包括：采用梯度下降法，对最新逆金字塔CNN网络模型进行训练；如果在所述训练样本下的训练准确度，未达到该阶段预设的训练准确度，则调整学习率，采用调整后的学习率和梯度下降法继续对最新逆金字塔CNN网络模型进行训练，直至得到在训练样本下的训练准确度，达到该阶段预设的训练准确度的逆金字塔CNN网络模型；
采用所述测试样本对最新逆金字塔CNN网络模型进行测试；
如果测试准确率未达到该阶段的测试准确度，则调整学习率，并以调整后的学习率，采用所述训练样本按照所述训练流程对最新逆金字塔CNN网络模型继续进行训练，直至训练得到的逆金字塔CNN网络模型的测试准确率达到该阶段的测试准确度。
7.根据权利要求1所述的方法，其特征在于，所述质量评估结果为正常、口罩遮挡、墨镜遮挡、帽子遮挡、手部遮挡、头发遮挡和其他遮挡中的一项。
8.一种人脸质量的评估装置，其特征在于，包括：
获取模块，用于获取待评估图像；
执行模块，用于在检测到所述待评估图像中存在人脸的情况下，将所述待评估图像输入预设的逆金字塔CNN网络模型，所述逆金字塔CNN网络模型输出所述待评估图像的质量评估结果；
其中，所述逆金字塔CNN网络模型的结构按照顺序包括：输入层、根模块、预设数量第一阶段网络、第二阶段网络、平均池化层、全连接分类层和输出层；其中，任一第一阶段网络包括密集块和过渡层；所述第二阶段网络包括密集块和“卷积-标准化-激活”层；所述预设数量的大小为2或3；
其中，输入所述逆金字塔CNN网络模型的待评估图像，在计算过程中特征先增后减。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1～7任意一项所述的人脸质量的评估方法。
10.一种设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1～7中任一项所述的人脸质量的评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011414401.3A CN112465792A (zh) | 2020-12-04 | 2020-12-04 | 一种人脸质量的评估方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011414401.3A CN112465792A (zh) | 2020-12-04 | 2020-12-04 | 一种人脸质量的评估方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465792A true CN112465792A (zh) | 2021-03-09 |
Family
ID=74801950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011414401.3A Pending CN112465792A (zh) | 2020-12-04 | 2020-12-04 | 一种人脸质量的评估方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465792A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001010130A1 (en) * | 1999-07-29 | 2001-02-08 | Roumen Kirilov Kountchev | Method and device for pyramidal image coding |
| CN109255294A (zh) * | 2018-08-02 | 2019-01-22 | 中国地质大学（北京） | 一种基于深度学习的遥感图像云识别方法 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN110232316A (zh) * | 2019-05-05 | 2019-09-13 | 杭州电子科技大学 | 一种基于改进的dsod模型的车辆检测与识别方法 |
| CN110288123A (zh) * | 2019-05-17 | 2019-09-27 | 福建江夏学院 | 一种基于深度学习的金融信息预测方法及装置 |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN110837842A (zh) * | 2019-09-12 | 2020-02-25 | 腾讯科技（深圳）有限公司 | 一种视频质量评估的方法、模型训练的方法及装置 |
| CN110852214A (zh) * | 2019-10-30 | 2020-02-28 | 华南师范大学 | 面向边缘计算的轻量级面部识别方法 |
| CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
| CN111339858A (zh) * | 2020-02-17 | 2020-06-26 | 电子科技大学 | 一种基于神经网络的油气管道标志物识别方法 |
| CN111738193A (zh) * | 2020-06-29 | 2020-10-02 | 湖南国科微电子股份有限公司 | 人脸抓拍方法和人脸抓拍系统 |
| CN111738994A (zh) * | 2020-06-10 | 2020-10-02 | 南京航空航天大学 | 一种轻量级的pcb缺陷检测方法 |
| US20200380243A1 (en) * | 2019-05-31 | 2020-12-03 | Apple Inc. | Face Quality of Captured Images |
-
2020
- 2020-12-04 CN CN202011414401.3A patent/CN112465792A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001010130A1 (en) * | 1999-07-29 | 2001-02-08 | Roumen Kirilov Kountchev | Method and device for pyramidal image coding |
| CN109255294A (zh) * | 2018-08-02 | 2019-01-22 | 中国地质大学（北京） | 一种基于深度学习的遥感图像云识别方法 |
| CN109360183A (zh) * | 2018-08-20 | 2019-02-19 | 中国电子进出口有限公司 | 一种基于卷积神经网络的人脸图像质量评估方法和系统 |
| CN110232316A (zh) * | 2019-05-05 | 2019-09-13 | 杭州电子科技大学 | 一种基于改进的dsod模型的车辆检测与识别方法 |
| CN110288123A (zh) * | 2019-05-17 | 2019-09-27 | 福建江夏学院 | 一种基于深度学习的金融信息预测方法及装置 |
| US20200380243A1 (en) * | 2019-05-31 | 2020-12-03 | Apple Inc. | Face Quality of Captured Images |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
| CN110837842A (zh) * | 2019-09-12 | 2020-02-25 | 腾讯科技（深圳）有限公司 | 一种视频质量评估的方法、模型训练的方法及装置 |
| CN110852214A (zh) * | 2019-10-30 | 2020-02-28 | 华南师范大学 | 面向边缘计算的轻量级面部识别方法 |
| CN110866471A (zh) * | 2019-10-31 | 2020-03-06 | Oppo广东移动通信有限公司 | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 |
| CN111339858A (zh) * | 2020-02-17 | 2020-06-26 | 电子科技大学 | 一种基于神经网络的油气管道标志物识别方法 |
| CN111738994A (zh) * | 2020-06-10 | 2020-10-02 | 南京航空航天大学 | 一种轻量级的pcb缺陷检测方法 |
| CN111738193A (zh) * | 2020-06-29 | 2020-10-02 | 湖南国科微电子股份有限公司 | 人脸抓拍方法和人脸抓拍系统 |
Non-Patent Citations (6)
| Title |
|---|
| F. OZGE UNEL等: "The Power of Tiling for Small Object Detection", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) WORKSHOPS》, pages 1 - 10 * |
| ROBERT J. WANG等: "Pelee: A Real-Time Object Detection System on Mobile Devices", 《NIPS\'18: PROCEEDINGS OF THE 32ND INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, pages 3 - 5 * |
| SEFA BURAK OKCU等: "An Efficient Method for Face QualityAssessment on the Edge", 《EUROPEAN CONFERENCE ON COMPUTER VISION》, pages 54 - 70 * |
| 李秋珍等: "基于卷积神经网络的人脸图像质量评价", 《计算机应用》, vol. 39, no. 3, pages 695 - 699 * |
| 杨贤志等: "基于分组卷积和特征图级联的轻量级目标检测", 《计算机应用研究》, pages 1 - 5 * |
| 陈奇华: "针对小目标的深度学习行人检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, pages 54 - 55 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493350B (zh) | 人像分割方法及装置 | |
| CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN110717851A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| WO2016180224A1 (zh) | 一种人物图像处理方法及装置 | |
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN105243395B (zh) | 一种人体图像比对方法和装置 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| CN110222607B (zh) | 人脸关键点检测的方法、装置及系统 | |
| CN109063626B (zh) | 动态人脸识别方法和装置 | |
| CN110781770B (zh) | 基于人脸识别的活体检测方法、装置及设备 | |
| Abiko et al. | Single image reflection removal based on GAN with gradient constraint | |
| CN110033424A (zh) | 图像处理的方法、装置、电子设备及计算机可读存储介质 | |
| CN111274947A (zh) | 一种多任务多线索人脸识别方法、系统及存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN112418195A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN112818955A (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN111461211B (zh) | 一种用于轻量级目标检测的特征提取方法及相应检测方法 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN109784215B (zh) | 一种基于改进的光流法的活体检测方法及系统 | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
| CN115798005A (zh) | 基准照片的处理方法及装置、处理器和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |