CN111881732B - 一种基于svm的人脸质量评价方法 - Google Patents

一种基于svm的人脸质量评价方法 Download PDF

Info

Publication number
CN111881732B
CN111881732B CN202010556127.7A CN202010556127A CN111881732B CN 111881732 B CN111881732 B CN 111881732B CN 202010556127 A CN202010556127 A CN 202010556127A CN 111881732 B CN111881732 B CN 111881732B
Authority
CN
China
Prior art keywords
image
rectangle
pixel
coordinates
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010556127.7A
Other languages
English (en)
Other versions
CN111881732A (zh
Inventor
夏海轮
卫炜
周洪弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010556127.7A priority Critical patent/CN111881732B/zh
Publication of CN111881732A publication Critical patent/CN111881732A/zh
Application granted granted Critical
Publication of CN111881732B publication Critical patent/CN111881732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于SVM的人脸质量评价方法，涉及图像处理及机器学习的技术领域。首先针对某张输入图像，设定图像的关键点坐标，检测输入图像的尺寸，将图像调整为正方形，并修正人脸关键点坐标后转化成灰度图。然后提取整张图的方向梯度直方图特征向量，同时将灰度图转化为等价模式的LBP特征图。在LBP特征图上分别以五个关键点为中心，各取一个矩形，提取五个LBP特征直方图特征向量。将方向梯度直方图特征向量和LBP特征直方图特征向量拼接成一个特征向量，并输入预训练好的SVM模型中，得到此人脸图像的质量分类，并得到当前图像的特征向量与SVM的超平面的距离；依据质量分类和和距离计算出此人脸图像的质量分数并输出。本发明准确性高，算力要求低。

Description

一种基于SVM的人脸质量评价方法
技术领域
本发明涉及图像处理及机器学习的技术领域，具体是一种基于SVM的人脸质量评价方法。
背景技术
基于生物特征的身份识别技术已经被广泛地应用到诸如视频监控、安防和人机交互等场景。我国的生物识别技术市场规模增长非常迅速，在全世界占有很大的份额。其中，人脸识别具有非侵犯性、非接触式和易操作等优势，而且获取方便，有非常广阔的应用场景。
但是在实际应用中，人脸的识别率很大程度上受到人脸质量的影响。所谓人脸质量受影响的因素包括：拍摄过程中人脸的角度、环境的亮度、成像的清晰度和脸上是否有遮挡物等。一张质量较高的人脸应该像证件照那样人脸直面镜头、亮度适中、成像清晰且脸上无遮挡物；而受一种或几种因素影响的人脸图像都应该被认定为是质量低下的图像。因此为了提升人脸识别的成功率，提前筛选人脸质量高的图像是很有必要的。
常见的人脸质量评价方法主要有：基于分项检测方法和基于机器学习的方法。
分项检测方法即人为定义一些影响人脸质量的属性，例如人脸角度，人脸亮度和人脸对称性等，使用图像处理方法或者机器学习方法检测每一属性并打出分数，最后再进行加权求和。这种方式较为简单直观，但是很难确定：选择的属性综合在一起后是否会影响人脸质量以及不确定影响的程度多大，而且最终每个属性的权值也很难取舍。
基于机器学习的方法是通过提取人脸特征向量，然后通过不同数据集之间的质量差别来进行权重训练，最终通过向量与权重的相乘得出质量分数。在深度学习之中也可以通过多层的CNN和ResNet来提取人脸特征图，最终经过全连接层直接输出分数。这类方法具有一定的准确性，但是一般速度较慢，并且对硬件要求较高，难以胜任嵌入式设备或者实时检测。
发明内容
本发明针对上述问题，为了克服原有神经网络计算量大等缺点，提出了一种基于SVM的人脸质量评价方法，以百分制为人脸图片的质量打分，分数越高质量越好。经过实验，质量分数符合人类主观认识，同时运算简单，在嵌入式平台(RK3399)运行时间为4毫秒以内，可以进行实时检测，准确地给人脸质量进行评分。
所述的基于SVM的人脸质量评价方法，包括以下步骤：
步骤一、针对某张输入图像，设定图像的关键点坐标，并判断输入图像是否将关键点坐标全部包括在内，如果是，进入步骤二；否则，放弃当前图像，选择下一张输入图像，重新设置关键点坐标；
关键点坐标包括左眼、右眼、鼻子、左嘴角和右嘴角的位置坐标；
步骤二、检测输入图像的尺寸，判断图像的高和宽的差距是否超出设定阈值，如果是，对图像进行截取，得到一个将关键点坐标全部包括在内的新图像，进入步骤三；否则，进入步骤四；
阈值的设定满足：|h-w|≤w，h为图像的高；w为图像的宽；
截取的具体过程如下：
步骤201，计算五个关键点坐标在高度方向上的中点hmiddle；
步骤202、将一个尺寸为w×w的矩形的中心点放在坐标
Figure BDA0002544316150000021
上，记录此矩形左上角点在图像中的坐标PTopLeft＝(xrect,yrect)；
xrect＝0；
步骤203、检测该矩形能否将五个关键点全部包含进来，如果是，则保留此矩形内的图像部分作为新的图像；否则，进入步骤204；
步骤204、重新对矩形进行变化，选取新矩形内的图像部分作为新的图像；
具体为：判断没有包含的点是在矩形的上方还是下方，检测并计算出未包含点与矩形最近的边的距离d；
当未包含点位于矩形上方，则将矩形左上角坐标移动到PTopLeft＝(xrect,yrect+d)的位置，并将矩形尺寸改为w×(w+d)；
当未包含点位于矩形下方，则矩形左上角PTopLeft的位置不变，并将矩形尺寸改为w×(w+d)；
将新的矩形尺寸内的图像作为最终图像。
步骤三、依据新图像在原图像的位置修正关键点的坐标；
设每个关键点的坐标为Pkeypoint＝(xKeypoint,yKeypoint)，依据记录的矩形左上角在原图像的坐标，根据公式PnewKeypoint＝Pkeypoint-PTopLeft修正每个人脸关键点在新图像上的坐标。
PnewKeypoint＝(xnewKeypoint,ynewKeypoint)；
步骤四、将原图像或者截取的新图像调整为正方形，并再次修正人脸关键点坐标后转化成灰度图；
将原图像或新图像的尺寸调整为128×128的正方形，并将每个关键点的坐标修正为
Figure BDA0002544316150000022
hnew为原图的高；wnew为原图的宽。
步骤五、使用HOG方法在灰度图上提取整张图的方向梯度直方图特征向量；
具体步骤如下：
步骤501、使用如下公式求出每个像素点的梯度值和梯度方向：
Gx＝H(x+1,y)-H(x-1,y)
Gy＝H(x,y+1)-H(x,y-1)
Figure BDA0002544316150000031
Figure BDA0002544316150000032
其中，Gx为灰度图上宽方向的梯度，Gy为灰度图像上高方向上的梯度；H是图像上每个像素的像素值，G(x,y)是每个像素点的梯度值大小；α(x,y)是每个像素点的梯度方向；Gx(x,y)表示x方向的梯度，Gy(x,y)表示y方向的梯度。
步骤502、将整张灰度图分为16×16个矩形单元cell，每个单元cell由8×8个像素组成；
步骤503、针对某单元cell，将该单元内的每个像素点的梯度方向设为20°，创建该单元cell的HOG特征为9维向量dcell；
步骤504、统计该单元cell中每个像素对应的bini，并将各像素的梯度大小值G(x,y)加到9维向量dcell中相应的位置dcell[i]，得到当前单元cell的梯度直方图；
bini表示按梯度方向设为20°划分，将角度180°均分成9段后第i段角度对应的编号；i＝1,2,3,4,5,6,7,8,9；察看各像素点的α值对应的于哪一段，就将该段的编号bin赋给此像素。
同理得到整张图像中每个单元cell的梯度直方图；
步骤505、将2×2个单元cell组成一个统计块block，将统计块block内所有单元cell的梯度直方图拼接起来，形成统计块block的特征向量dblock；
步骤506、将统计块block从图像的左上角开始，以(8×8)的步长进行移动，求出每次移动后包含的4个单元cell的9维向量dcell并将其拼接形成特征向量dblock，全部移动完成后将所有的特征向量dblock拼接形成dHOG，即图像的HOG特征向量；
步骤六、同时，使用LBP方法将灰度图转化为等价模式的LBP特征图；
具体过程如下：
首先，将灰度图扩充1个像素的边界；
然后，针对某当前像素点a，依次比较像素点a的像素值与周围8个像素点的像素值的大小，若周围的某个像素点b的像素值比当前像素值大，则将周围的这个像素点b的位置记为1，反之，则记为0；
最后，按照顺时针记录像素点a周围的每个像素点位置，得到当前像素点a的LBP二进制表示，通过对照等价模式表，为当前像素点a的像素值变为等价模式值，每个像素点都计算完成之后，即可得到整张灰度图的LBP特征图；
步骤七、在LBP特征图上分别以五个关键点为中心，各取一个矩形，提取每个矩形内的LBP直方图，得到五个LBP特征直方图特征向量；
以五个关键点为中心提取的矩形大小为18×18，在这5个矩形内分别提取LBP直方图向量并拼接；
步骤八、将方向梯度直方图特征向量和LBP特征直方图特征向量拼接成一个特征向量；
步骤九、将拼接的特征向量输入预训练好的SVM模型中，得到此人脸图像的质量分类，并得到当前图像的特征向量与SVM的超平面的距离；
距离r计算公式如下：
Figure BDA0002544316150000041
其中，wTx+b为SVM中用于分类的超平面；||w||为标量。
步骤十、依据质量分类和和距离计算出此人脸图像的质量分数并输出。
SVM模型输出的该图像质量分类为正，则质量分数ScoreFQA计算方式如下：
Figure BDA0002544316150000042
SVM模型输出的该图像质量分类为负，则质量分数计算方式如下：
Figure BDA0002544316150000043
本发明的优点在于：
1)、一种基于SVM的人脸质量评价方法，训练时间比深度学习方法大幅减少，同时有较高的准确性。
2)、一种基于SVM的人脸质量评价方法，算力要求低，在终端设备(RK3399)上仅使用CPU计算的耗时在4ms以内。
3)、一种基于SVM的人脸质量评价方法，原理简单，仅使用线性SVM模型即可完成打分，实现难度低。
附图说明
图1为本发明一种基于SVM的人脸质量评价方法的流程图；
图2为本发明HOG方法的梯度方向分段示意图；
图3为本发明实施例中的训练集部分图像；
图4为本发明实施例中最终的打分效果。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面结合附图为本发明作进一步的详细描述。
本发明公开了一种基于SVM的人脸质量评价方法，包括首先，输入人脸图片以及设定人脸关键点坐标，调整人脸图像的尺寸并转成灰度图；然后在整张人脸图像上采用HOG方法，提取梯度方向直方图特征；同时在整张人脸图像上采用LBP方法，将图像转化为等价模式的LBP特征图，并在输入的关键点为中心寻找矩形，并提取每个矩形内的LBP直方图向量；之后将梯度方向直方图特征和LBP直方图向量进行拼接，得到人脸图像的质量特征向量，并输入训练好的SVM模型中判断人脸的质量分类，并输出当前质量向量与SVM分类超平面的距离；最后，依据质量分类和距离计算出人脸质量分数。本发明可以依据人脸角度偏离、人脸遮挡、人脸清晰等影响人脸质量的情况来进行打分，运算复杂度较低，可以保证在嵌入式设备上进行实时监测。
所述的基于SVM的人脸质量评价方法，如图1所示，包括以下步骤：
步骤一、针对某张输入图像，设定图像的关键点坐标，并判断输入图像是否将关键点坐标全部包括在内，如果是，进入步骤二；否则，放弃当前图像，选择下一张输入图像，重新设置关键点坐标；
关键点坐标包括左眼、右眼、鼻子、左嘴角和右嘴角的位置坐标；
步骤二、检测输入图像的尺寸，判断图像的高和宽的差距是否超出设定阈值，如果是，对图像进行截取，得到一个将关键点坐标全部包括在内的新图像，进入步骤三；否则，进入步骤四；
调整人脸图像尺寸前需要对原图像的尺寸进行检测，若原图像的高和宽差距不悬殊，则无需处理，直接调整尺寸；若原图像的高和宽差距悬殊，则需要在原图像中截取一个尺寸比例不悬殊的矩形框，并保证矩形框能够包含输入的所有关键点；
阈值的设定满足：|h-w|≤w，h为图像的高；w为图像的宽；
截取的具体过程如下：
步骤201，计算五个关键点坐标在高度方向上的中点hmiddle；
步骤202、截取新图像需要有截取矩形的左上角在原图中的坐标以及截取矩形的高和宽，将一个尺寸为w×w的矩形的中心点放在坐标
Figure BDA0002544316150000051
上，记录此矩形左上角点在图像中的坐标PTopLeft＝(xrect,yrect)；
xrect＝0；
步骤203、检测该矩形能否将五个关键点全部包含进来，如果是，则保留此矩形内的图像部分作为新的图像；否则，进入步骤204；
步骤204、重新对矩形进行变化，选取新矩形内的图像部分作为新的图像；
具体为：判断没有包含的点是在矩形的上方还是下方，检测并计算出未包含点与矩形最近的边的距离d；
当未包含点位于矩形上方，则将矩形左上角坐标移动到PTopLeft＝(xrect,yrect+d)的位置，并将矩形尺寸改为w×(w+d)；
当未包含点位于矩形下方，则矩形左上角PTopLeft的位置不变，并将矩形尺寸改为w×(w+d)；
将新的矩形尺寸内的图像作为最终图像。
步骤三、依据新图像在原图像的位置修正关键点的坐标；
设每个关键点的坐标为Pkeypoint＝(xKeypoint,yKeypoint)，依据记录的矩形左上角在原图像的坐标，根据公式PnewKeypoint＝Pkeypoint-PTopLeft修正每个人脸关键点在新图像上的坐标。
PnewKeypoint＝(xnewKeypoint,ynewKeypoint)；
步骤四、将原图像或者截取的新图像调整为正方形，并再次修正人脸关键点坐标后转化成灰度图；
将原图像或新图像的尺寸调整为128×128的正方形，并将每个关键点的坐标修正为
Figure BDA0002544316150000061
hnew为原图的高；wnew为原图的宽。
步骤五、使用HOG方法在灰度图上提取整张图的方向梯度直方图特征向量；
为达到给人脸质量进行打分的目的，需要使用HOG方法在灰度图上提取整张图的方向梯度直方图特征向量，以此来判断人脸图像的清晰度情况和角度情况；具体步骤如下：
步骤501、使用如下公式求出每个像素点的梯度值和梯度方向：
Gx＝H(x+1,y)-H(x-1,y)
Gy＝H(x,y+1)-H(x,y-1)
Figure BDA0002544316150000062
Figure BDA0002544316150000063
其中，Gx为灰度图上宽方向的梯度，Gy为灰度图像上高方向上的梯度；H是图像上每个像素的像素值，G(x,y)是每个像素点的梯度值大小；α(x,y)是每个像素点的梯度方向；Gx(x,y)表示x轴方向的梯度，Gy(x,y)表示y轴方向的梯度。
步骤502、将整张灰度图分为16×16个矩形单元cell，每个单元cell由8×8个像素组成；
步骤503、针对某单元cell，将该单元内的每个像素点的梯度方向设为20°，创建该单元cell的HOG特征为9维向量dcell；
步骤504、统计该单元cell中每个像素对应的bini，并将各像素的梯度大小值G(x,y)加到9维向量dcell中相应的位置dcell[i]，得到当前单元cell的梯度直方图；
如图2所示，bini表示将0°到180°按梯度方向设为20°划分，均分成9段后分别从1到9为每一段编号，第i段角度对应的编号；每一段称为bini；i＝1,2,3,4,5,6,7,8,9；察看各像素点的α值对应的于哪一段，就将该段的编号bin赋给此像素。
同理得到整张图像中每个单元cell的梯度直方图；
步骤505、将2×2个单元cell组成一个统计块block，将统计块block内所有单元cell的梯度直方图拼接起来，形成统计块block的特征向量dblock；
步骤506、将统计块block从图像的左上角开始，以(8×8)的步长在整张图上进行移动，求出每次移动后每个block包含的4个单元cell的9维向量dcell并将其拼接形成特征向量dblock，全部移动完成后将所有的特征向量dblock拼接形成dHOG，即图像的HOG特征向量；
步骤六、同时，使用LBP方法将灰度图转化为等价模式的LBP特征图；
所述的LBP方法为了给最终的LBP向量降维，需要使用等价模式；具体过程如下：
首先，将灰度图扩充1个像素的边界；
然后，针对某当前像素点a，依次比较像素点a的像素值与周围8个像素点的像素值的大小，若周围的某个像素点b的像素值比当前像素值大，则将周围的这个像素点b的位置记为1，反之，则记为0；
最后，按照顺时针记录像素点a周围的每个像素点位置，得到当前像素点a的LBP二进制表示，通过对照等价模式表，为当前像素点a的像素值变为等价模式值，每个像素点都计算完成之后，即可得到整张灰度图的LBP特征图；
步骤七、在LBP特征图上分别以步骤一中选择的五个关键点为中心，各取一个矩形，提取每个矩形内的LBP直方图，得到五个LBP特征直方图特征向量，用于判断人脸上是否有遮挡情况；
以五个关键点为中心，各自提取一个大小为18×18的矩形，在这5个矩形内分别提取LBP直方图向量并拼接得到LBP特征向量；
步骤八、将方向梯度直方图特征向量和LBP特征直方图特征向量拼接成一个人脸质量特征向量；
步骤九、将拼接的特征向量输入预训练好的SVM模型中，得到此人脸图像的质量分类，并得到当前图像的特征向量与SVM的超平面的距离；
支持向量机(SVM)的基本原理是在超空间中找到一个超平面，使之能够分离正负两类样本的特征向量，所以最适用于二分类问题。因此本发明依据SVM的基本原理，首先创建了人脸质量数据集，其中的正样本为类似于证件照的人脸图像，其主要特点为人脸角度正、成像清晰、亮度适中、无遮挡物；负样本为存在以上一种或多种问题的人脸图像。
本发明在使用SVM对以上的正负样本进行分类的同时，不仅输出了人脸质量的类别，还需输出每个样本的特征向量与超平面之间的距离，因为超平面附近的特征向量所代表的人脸质量应该时处于“好”与“差”的边缘，而质量越好和质量越差都会远离超平面，所以本发明使用距离的大小和类别对每个样本进行打分，最终输出每个样本的人脸质量分数。
支持向量机(SVM)通常用于处理二分类问题，其基本原理是在样本空间中找到一个超平面，能够分开正负样本且与两边最近的样本距离最远，本实施例中SVM选用线性模型，软间隔参数C设置为50；
将正负样本的值分别设为yi＝1和yi＝-1，并假设SVM中用于分类的超平面为wTx+b，则对于所有的样本数据应满足：
Figure BDA0002544316150000081
即满足：
yi(wTx+b)＞0
此时，空间中任意样本与超平面的距离r计算公式如下：
Figure BDA0002544316150000082
其中，wTx+b为SVM中用于分类的超平面；||w||为标量。
在SVM称离超平面最近的样本向量为支持向量，所以支持向量与超平面的间隔margin(w,b)应满足：
Figure BDA0002544316150000083
为了找到合适的超平面，需要支持向量与超平面的间隔最大，因此SVM的超平面应满足以下条件：
Figure BDA0002544316150000084
将以上条件做进一步简化与变形，可以得到：
Figure BDA0002544316150000091
但是在实际应用中很多正负样本存在一定重叠，不一定能用超平面完全分开，这时需要使用软间隔来解决，即允许一部分样本的分类错误，从而增强整个分类器的鲁棒性，此时可以将上式修改为：
Figure BDA0002544316150000092
ζi＝1-yi(wTx+b),ζi≥0
其中的ζi为分类错误的样本距离，C为软间隔参数，C越小，则可以容忍的分类错误就越多，C越大，可以容忍的分类错误就越少。本发明中将C设为50。
本发明准备了如附图3所示的数据集共10182张，其中的正样本为类似于证件照的人脸图像，其主要特点为人脸角度正、成像清晰、亮度适中、无遮挡物；负样本为存在以上一种或多种问题的人脸图像。将数据集中每一张人脸图像如上所述提取特征向量，然后使用如上所示的SVM模型进行训练，得到可用的SVM分类模型。
步骤十、依据质量分类和和距离计算出此人脸图像的质量分数并输出。
将一张人脸图像如上所述提取特征向量，将特征向量输入SVM中进行分类并计算出当前图像的特征向量与超平面的距离r；
若SVM模型输出的该图像质量分类为正，则质量分数ScoreFQA计算方式如下：
Figure BDA0002544316150000093
SVM模型输出的该图像质量分类为负，则质量分数计算方式如下：
Figure BDA0002544316150000094
如此即可得到如附图4所示的人脸质量的分数，所述的打分公式将输出0到100之间的数值作为人脸质量分数，数值越大代表质量越好，在视觉上与证件照越相似。以上所有关键点选择及参数均由大量实验所得，以求最好的打分效果。

Claims (4)

1.一种基于SVM的人脸质量评价方法，其特征在于，包括以下步骤：
步骤一、针对某张输入图像，设定图像的关键点坐标，并判断输入图像是否将关键点坐标全部包括在内，如果是，进入步骤二；否则，放弃当前图像，选择下一张输入图像，重新设置关键点坐标；
所述的关键点坐标包括左眼、右眼、鼻子、左嘴角和右嘴角的位置坐标；
步骤二、检测输入图像的尺寸，判断图像的高和宽的差距是否超出设定阈值，如果是，对图像进行截取，得到一个将关键点坐标全部包括在内的新图像，进入步骤三；否则，进入步骤四；
阈值的设定满足：|h-w|≤w，h为图像的高；w为图像的宽；
截取的具体过程如下：
步骤201，计算五个关键点坐标在高度方向上的中点hmiddle；
步骤202、将一个尺寸为w×w的矩形的中心点放在坐标
Figure FDA0003462907940000011
上，记录此矩形左上角点在图像中的坐标PTopLeft＝(xrect,yrect)；
xrect＝0；
步骤203、检测该矩形能否将五个关键点全部包含进来，如果是，则保留此矩形内的图像部分作为新的图像；否则，进入步骤204；
步骤204、重新对矩形进行变化，选取新矩形内的图像部分作为新的图像；
具体为：判断没有包含的点是在矩形的上方还是下方，检测并计算出未包含点与矩形最近的边的距离d；
当未包含点位于矩形上方，则将矩形左上角坐标移动到PTopLeft＝(xrect,yrect+d)的位置，并将矩形尺寸改为w×(w+d)；
当未包含点位于矩形下方，则矩形左上角PTopLef的位置不变，并将矩形尺寸改为w×(w+d)；
将新的矩形尺寸内的图像作为最终图像；
步骤三、依据新图像在原图像的位置修正关键点的坐标；
设每个关键点的坐标为Pkeypoint＝(xKeypoint,yKeypoint)，依据记录的矩形左上角在原图像的坐标，根据公式PnewKeypoint＝Pkeypoint-PTopLeft修正每个人脸关键点在新图像上的坐标；
PnewKeypoint＝(xnewKeypoint,ynewKeypoint)；
步骤四、将原图像或者截取的新图像调整为正方形，并再次修正人脸关键点坐标后转化成灰度图；
将原图像或新图像的尺寸调整为128×128的正方形，并将每个关键点的坐标修正为
Figure FDA0003462907940000021
hnew为新图像的高；wnew为新图像的宽；
步骤五、使用HOG方法在灰度图上提取整张图的方向梯度直方图特征向量；
步骤六、同时，使用LBP方法将灰度图转化为等价模式的LBP特征图；
步骤七、在LBP特征图上分别以五个关键点为中心，各取一个矩形，提取每个矩形内的LBP直方图，得到五个LBP特征直方图特征向量；
步骤八、将方向梯度直方图特征向量和LBP特征直方图特征向量拼接成一个特征向量；
步骤九、将拼接的特征向量输入预训练好的SVM模型中，得到此人脸图像的质量分类，并得到当前图像的特征向量与SVM的超平面的距离；
距离r计算公式如下：
Figure FDA0003462907940000022
其中，wTx+b为SVM中用于分类的超平面；||w||为图像宽度的标量；
步骤十、依据质量分类和距离计算出此人脸图像的质量分数并输出；
SVM模型输出的该图像质量分类为正，则质量分数ScoreFQA计算方式如下：
Figure FDA0003462907940000023
SVM模型输出的该图像质量分类为负，则质量分数计算方式如下：
Figure FDA0003462907940000024
2.如权利要求1所述的一种基于SVM的人脸质量评价方法，其特征在于，所述的步骤五具体过程如下：
步骤501、使用如下公式求出每个像素点的梯度值和梯度方向：
Gx＝H(x+1,y)-H(x-1,y)
Gy＝H(x,y+1)-H(x,y-1)
Figure FDA0003462907940000025
Figure FDA0003462907940000026
其中，Gx为灰度图上宽方向的梯度，Gy为灰度图像上高方向上的梯度；H是图像上每个像素的像素值，G(x,y)是每个像素点的梯度值大小；α(x,y)是每个像素点的梯度方向；Gx(x,y)表示x方向的梯度，Gy(x,y)表示y方向的梯度；
步骤502、将整张灰度图分为16×16个矩形单元cell，每个单元cell由8×8个像素组成；
步骤503、针对某单元cell，将该单元内的每个像素点的梯度方向设为20°，创建该单元cell的HOG特征为9维向量dcell；
步骤504、统计该单元cell中每个像素对应的bini，并将各像素的梯度大小值G(x,y)加到9维向量dcell中相应的位置dcell[i]，得到当前单元cell的梯度直方图；
bini表示按梯度方向设为20°划分，将角度180°均分成9段后第i段角度对应的编号；i＝1,2,3,4,5,6,7,8,9；查看各像素点的α值对应于哪一段，就将该段的编号bin赋给此像素；
同理得到整张图像中每个单元cell的梯度直方图；
步骤505、将2×2个单元cell组成一个统计块block，将统计块block内所有单元cell的梯度直方图拼接起来，形成统计块block的特征向量dblock；
步骤506、将统计块block从图像的左上角开始，以8×8的步长进行移动，求出每次移动后包含的4个单元cell的9维向量dcell并将其拼接形成特征向量dblock，全部移动完成后将所有的特征向量dblock拼接形成dHOG，即图像的HOG特征向量。
3.如权利要求1所述的一种基于SVM的人脸质量评价方法，其特征在于，所述的步骤七中，以五个关键点为中心提取的矩形大小为18×18，在这5个矩形内分别提取LBP直方图向量并拼接。
4.如权利要求1所述的一种基于SVM的人脸质量评价方法，其特征在于，所述的步骤六具体为：
首先，将灰度图扩充1个像素的边界；
然后，针对某当前像素点a，依次比较像素点a的像素值与周围8个像素点的像素值的大小，若周围的某个像素点b的像素值比当前像素值大，则将周围的这个像素点b的位置记为1，反之，则记为0；
最后，按照顺时针记录像素点a周围的每个像素点位置，得到当前像素点a的LBP二进制表示，通过对照等价模式表，为当前像素点a的像素值变为等价模式值，每个像素点都计算完成之后，即可得到整张灰度图的LBP特征图。
CN202010556127.7A 2020-06-17 2020-06-17 一种基于svm的人脸质量评价方法 Active CN111881732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010556127.7A CN111881732B (zh) 2020-06-17 2020-06-17 一种基于svm的人脸质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010556127.7A CN111881732B (zh) 2020-06-17 2020-06-17 一种基于svm的人脸质量评价方法

Publications (2)

Publication Number Publication Date
CN111881732A CN111881732A (zh) 2020-11-03
CN111881732B true CN111881732B (zh) 2022-06-07

Family

ID=73157668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010556127.7A Active CN111881732B (zh) 2020-06-17 2020-06-17 一种基于svm的人脸质量评价方法

Country Status (1)

Country Link
CN (1) CN111881732B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554038A (zh) * 2021-07-15 2021-10-26 恒银金融科技股份有限公司 一种纸币水印图像lbp特征图的计算方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351662B2 (en) * 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
CN104091147B (zh) * 2014-06-11 2017-08-25 华南理工大学 一种近红外眼睛定位及眼睛状态识别方法
CN104268539B (zh) * 2014-10-17 2017-10-31 中国科学技术大学 一种高性能的人脸识别方法及系统
CN104834898B (zh) * 2015-04-09 2018-05-15 华南理工大学 一种人物摄影图像的质量分类方法
CN106548160A (zh) * 2016-11-09 2017-03-29 浙江博天科技有限公司 一种人脸微笑检测方法
US10872272B2 (en) * 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN109977815A (zh) * 2019-03-13 2019-07-05 上海商汤智能科技有限公司 图像质量评价方法及装置、电子设备、存储介质
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质

Also Published As

Publication number Publication date
CN111881732A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
US20050139782A1 (en) Face image detecting method, face image detecting system and face image detecting program
CN111524145A (zh) 图片智能裁剪方法、系统、计算机设备及存储介质
CN109800756B (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN105046278B (zh) 基于Haar特征的Adaboost检测算法的优化方法
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN113592911B (zh) 表观增强深度目标跟踪方法
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN112541422A (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN111881732B (zh) 一种基于svm的人脸质量评价方法
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN107742112A (zh) 一种基于图像的人脸防伪方法及装置
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质
WO2021056531A1 (zh) 人脸性别识别方法、人脸性别分类器的训练方法及装置
CN112733741A (zh) 交通标识牌识别方法、装置和电子设备
CN112347967A (zh) 一种复杂场景下融合运动信息的行人检测方法
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant