CN110634116A - 一种面部图像评分方法及摄像机 - Google Patents

一种面部图像评分方法及摄像机 Download PDF

Info

Publication number
CN110634116A
CN110634116A CN201810540396.7A CN201810540396A CN110634116A CN 110634116 A CN110634116 A CN 110634116A CN 201810540396 A CN201810540396 A CN 201810540396A CN 110634116 A CN110634116 A CN 110634116A
Authority
CN
China
Prior art keywords
score
image
face image
scored
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810540396.7A
Other languages
English (en)
Other versions
CN110634116B (zh
Inventor
刘干
马程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810540396.7A priority Critical patent/CN110634116B/zh
Priority to PCT/CN2019/080024 priority patent/WO2019228040A1/zh
Publication of CN110634116A publication Critical patent/CN110634116A/zh
Application granted granted Critical
Publication of CN110634116B publication Critical patent/CN110634116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本申请实施例提供了一种面部图像评分方法及摄像机。该方法包括：获取待评分面部图像；将待评分面部图像发送至预先训练的神经网络，由神经网络根据网络参数对所述待评分面部图像进行评分，得到参考评分；提取所述待评分面部图像中面部区域的各个关键点；根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定待评分面部图像中面部区域的尺寸评分；根据参考评分和尺寸评分，确定所述待评分面部图像的最终评分。应用本申请实施例提供的方案，能够提高对面部图像评分时的合理性。

Description

一种面部图像评分方法及摄像机
技术领域
本申请涉及图像评分技术领域，特别是涉及一种面部图像评分方法及摄像机。
背景技术
随着计算机视觉技术的发展，人脸识别技术已经广泛应用在了很多领域。例如，应用在公司、家庭、银行等区域。在应用中，摄像机可以按照设定的时间间隔抓拍人脸图像，并保存人脸图像。对于同一个人来说，一段时间内会抓拍得到很多个人脸图像，如果将每个人脸图像均保存，则会占用设备很多的资源。因此，一般会从多个人脸图像中选择最佳图像进行保存。
在从多个人脸图像中选择最佳图像时，通常可以对每个人脸图像进行评分，选择出评分最高的人脸图像作为最佳图像。在对每个人脸图像进行评分时，可以检测人脸图像中的人脸是否为正脸、人眼是否张开等信息，根据检测结果进行评分。但是在实际中，抓拍的人脸图像的情况千变万化，影响图像质量的因素也非常多，采用上述方式对人脸图像进行评分时标准比较单一化，评分不够合理。
发明内容
本申请实施例的目的在于提供了一种面部图像评分方法及摄像机，以提高对面部图像评分时的合理性。具体的技术方案如下。
第一方面，本申请实施例提供了一种摄像机，包括：处理器、存储器和图像采集模块；
所述图像采集模块，用于采集待评分面部图像，并存储至所述存储器；
所述处理器，用于从所述存储器中获取所述待评分面部图像，将所述待评分面部图像发送至预先训练的神经网络，由所述神经网络根据网络参数对所述待评分面部图像进行评分，得到参考评分；处理器，针对从存储器中获取的待评分面部图像，提取所述待评分面部图像中面部区域的各个关键点；根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定所述待评分面部图像中面部区域的尺寸评分；根据所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
可选的，所述网络参数为根据样本面部图像及对应的标准评分训练得到；所述标准评分为根据样本面部图像的面部状态特征确定；所述处理器，还用于采用以下操作确定所述标准评分：
根据所述样本面部图像的面部状态特征，以及预设的面部状态特征与评分的对应关系，确定所述面部状态特征对应的评分，作为所述样本面部图像的主观评分；
从底库中确定所述样本面部图像对应的标准面部图像，确定所述标准面部图像与所述样本面部图像之间的相似度，作为所述样本面部图像的客观评分；所述底库用于存储各个标准面部图像；
根据所述主观评分和所述客观评分，确定所述样本面部图像的标准评分。
可选的，所述处理器，具体用于：
根据以下公式，确定所述标准面部图像与所述样本面部图像之间的相似度Sim(S,G)：
Figure BDA0001679159530000021
Figure BDA0001679159530000022
其中，所述bin为像素的最大灰度值级别，所述Si为所述样本面部图像中的第i级灰度值，所述Gj为所述标准面部图像中的第j级灰度值，所述h(Si,Gj)为所述样本面部图像与所述标准面部图像的相同位置处像素的灰度值分别为Si和Gj的出现次数；所述Sk为所述样本面部图像中第k个像素的灰度值，所述Gk为所述标准面部图像中第k个像素的灰度值，所述N为所述样本面部图像或所述标准面部图像的像素总数量。
可选的，所述处理器，还用于采用以下操作得到所述网络参数的初始值：
获取已训练好的参考神经网络的参考网络参数，作为所述网络参数的初始值；所述参考神经网络为采用不同于所述样本面部图像的样本图像训练得到。
可选的，所述处理器，具体用于：
根据各个关键点计算瞳距，根据预设的瞳距与尺寸评分的对应关系，确定计算得到的瞳距对应的目标尺寸评分；
根据所述目标尺寸评分，确定所述待评分面部图像中面部区域的尺寸评分。
可选的，所述处理器，具体用于：
计算各个关键点之间的偏移角度，根据各个偏移角度确定所述待评分面部图像中面部区域的偏转系数；
根据所述目标尺寸评分和所述偏转系数，确定所述待评分面部图像中面部区域的尺寸评分。
可选的，各个关键点包括：左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点；所述处理器，具体用于：
根据以下公式，确定所述待评分面部图像中面部区域的偏转系数TupleCoefficient：
其中，所述A为所述右眼关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述B为所述左眼关键点和左嘴角关键点相对于所述鼻尖关键点的偏移角度，所述C为所述右眼关键点和左眼关键点相对于所述鼻尖关键点的偏移角度，所述D为所述左嘴角关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述E为所述右眼关键点和左眼关键点的连线相对于水平线的偏移角度。
可选的，所述处理器，具体用于：
计算所述待评分面部图像的清晰度；
根据所述清晰度、所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
可选的，所述处理器，具体用于：
采用对角线方向梯度算法，计算所述待评分面部图像中各个像素点的梯度值，根据所述待评分面部图像中各个像素点的梯度值的平均值，计算所述待评分面部图像的清晰度。
可选的，所述处理器，具体用于：
获取摄像机采集的抓拍图像，作为待评分面部图像；
所述处理器，还用于：
在得到所述待评分面部图像的最终评分之后，获取最佳面部图像的评分；判断所述待评分面部图像的最终评分是否大于所述最佳面部图像的评分，如果大于，则将所述待评分面部图像更新所述最佳面部图像。
第二方面，本申请实施例提供了一种面部图像评分方法，该方法包括：
获取待评分面部图像；
将所述待评分面部图像发送至预先训练的神经网络，由所述神经网络根据网络参数对所述待评分面部图像进行评分，得到参考评分；
提取所述待评分面部图像中面部区域的各个关键点；
根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定所述待评分面部图像中面部区域的尺寸评分；
根据所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
可选的，所述网络参数为根据样本面部图像及对应的标准评分训练得到；所述标准评分为根据样本面部图像的面部状态特征确定；所述标准评分采用以下方式确定：
根据所述样本面部图像的面部状态特征，以及预设的面部状态特征与评分的对应关系，确定所述面部状态特征对应的评分，作为所述样本面部图像的主观评分；
从底库中确定所述样本面部图像对应的标准面部图像，确定所述标准面部图像与所述样本面部图像之间的相似度，作为所述样本面部图像的客观评分；所述底库用于存储各个标准面部图像；
根据所述主观评分和所述客观评分，确定所述样本面部图像的标准评分。
可选的，所述确定所述标准面部图像与所述样本面部图像之间的相似度的步骤，包括：
根据以下公式，确定所述标准面部图像与所述样本面部图像之间的相似度Sim(S,G)：
Figure BDA0001679159530000051
Figure BDA0001679159530000052
其中，所述bin为像素的最大灰度值级别，所述Si为所述样本面部图像中的第i级灰度值，所述Gj为所述标准面部图像中的第j级灰度值，所述h(Si,Gj)为所述样本面部图像与所述标准面部图像的相同位置处像素的灰度值分别为Si和Gj的出现次数；所述Sk为所述样本面部图像中第k个像素的灰度值，所述Gk为所述标准面部图像中第k个像素的灰度值，所述N为所述样本面部图像或所述标准面部图像的像素总数量。
可选的，所述网络参数的初始值采用以下方式得到：
获取已训练好的参考神经网络的参考网络参数，作为所述网络参数的初始值；所述参考神经网络为采用不同于所述样本面部图像的样本图像训练得到。
可选的，所述根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定所述待评分面部图像中面部区域的尺寸评分的步骤，包括：
根据各个关键点计算瞳距，根据预设的瞳距与尺寸评分的对应关系，确定计算得到的瞳距对应的目标尺寸评分；
根据所述目标尺寸评分，确定所述待评分面部图像中面部区域的尺寸评分。
可选的，所述根据所述目标尺寸评分，确定所述待评分面部图像中面部区域的尺寸评分的步骤，包括：
计算各个关键点之间的偏移角度，根据各个偏移角度确定所述待评分面部图像中面部区域的偏转系数；
根据所述目标尺寸评分和所述偏转系数，确定所述待评分面部图像中面部区域的尺寸评分。
可选的，各个关键点包括：左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点；所述根据各个偏移角度确定所述待评分面部图像中面部区域的偏转系数的步骤，包括：
根据以下公式，确定所述待评分面部图像中面部区域的偏转系数TupleCoefficient：
Figure BDA0001679159530000061
其中，所述A为所述右眼关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述B为所述左眼关键点和左嘴角关键点相对于所述鼻尖关键点的偏移角度，所述C为所述右眼关键点和左眼关键点相对于所述鼻尖关键点的偏移角度，所述D为所述左嘴角关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述E为所述右眼关键点和左眼关键点的连线相对于水平线的偏移角度。
可选的，所述根据所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分的步骤，包括：
计算所述待评分面部图像的清晰度；
根据所述清晰度、所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
可选的，所述计算所述待评分面部图像的清晰度的步骤，包括：
采用对角线方向梯度算法，计算所述待评分面部图像中各个像素点的梯度值，根据所述待评分面部图像中各个像素点的梯度值的平均值，计算所述待评分面部图像的清晰度。
可选的，所述获取待评分面部图像的步骤，包括：
获取摄像机采集的抓拍图像，作为待评分面部图像；
在得到所述待评分面部图像的最终评分之后，所述方法还包括：
获取最佳面部图像的评分；
判断所述待评分面部图像的最终评分是否大于所述最佳面部图像的评分，如果大于，则将所述待评分面部图像更新所述最佳面部图像。
第三方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面提供的面部图像评分方法。
本申请实施例提供的面部图像评分方法及摄像机，可以由神经网络对待评分面部图像进行评分，得到参考评分，并根据待评分面部图像中面部区域的各个关键点之间的距离，确定面部区域的尺寸评分，根据参考评分和尺寸评分，确定待评分面部图像的最终评分。神经网络可以针对待评分面部图像的面部状态特征确定参考评分，根据关键点之间的距离可以确定尺寸评分，并且根据样本面部图像和根据面部状态特征确定的标准评分训练的神经网络，能够更准确地确定面部图像的状态评分。本申请实施例能够考虑面部图像的各种状态特征以及尺寸特征，评分标准更全面，因此能够提高对面部图像评分时的合理性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的面部图像评分方法的一种流程示意图；
图2为本申请实施例提供的确定标准评分的一种流程示意图；
图3为本申请实施例的瞳距与尺寸评分的对应关系的一种示意图；
图4为本申请实施例的人脸中各个关键点的一种示意图；
图5为本申请实施例提供的摄像机的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高对面部图像评分时的合理性，本申请实施例提供了一种面部图像评分方法。下面通过具体实施例，对本申请进行详细说明。
图1为本申请实施例提供的面部图像评分方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器、摄像机、智能手机等具有数据处理功能的设备。该方法包括如下步骤：
步骤S101：获取待评分面部图像。
其中，待评分面部图像中至少包含一个面部区域。待评分面部图像，可以理解为，包含待评分的面部区域的图像。面部区域可以为人脸，也可以为动物脸或机器人脸。待评分面部图像可以只包含面部区域，也可以包含面部区域以及面部区域之外的背景区域。
当电子设备自身包含图像采集模块时，获取待评分面部图像时，电子设备可以直接获取图像采集模块采集的待评分面部图像。当电子设备自身不包含图像采集模块时，电子设备可以从其他设备处获取待评分面部图像。
步骤S102：将待评分面部图像发送至预先训练的神经网络，由神经网络根据网络参数对待评分面部图像进行评分，得到参考评分，记为DLScore。
其中，网络参数为预先根据样本面部图像及对应的标准评分训练得到。标准评分为根据样本面部图像的面部状态特征确定。在得到参考评分之后，参考评分越高，认为待评分面部图像越接近最佳图像。
面部状态特征可以包括是否正脸、面部是否清晰、面部是否有遮挡以及遮挡部位、是否存在表情、是否睁眼等方面的特征。
根据样本面部图像及对应的标准评分训练好神经网络后，神经网络可以根据学习到的网络参数对待评分面部图像进行评分，所得到的参考评分即能根据面部状态特征进行评分，无需单一地检测图像是否为正脸、是否睁眼等信息。因此，神经网络得出的参考评分能够参考更多的面部特征，得到的评分也更合理。
神经网络可以运行在电子设备内部，也可以运行在其他设备内部。在神经网络确定待评分图像的参考评分时，将参考评分发送至作为执行主体的电子设备。电子设备可以接收其他设备发送的参考评分。
步骤S103：提取待评分面部图像中面部区域的各个关键点。
本步骤具体是由作为执行主体的电子设备的执行的。其中，面部区域的各个关键点包括左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点等，还可以包括脸部区域形状的关键点。
在提取待评分面部图像中面部区域的各个关键点时，可以采用主动形状模型(Active Shape Model)、主动外观模型(Active Appearance Model)、约束局部模型(Constrained Local Model)或基于级联形状回归(Cascaded Regression)的方法、基于深度学习的方法等。
上述提取待评分面部图像中面部区域的各个关键点可以理解为，提取待评分面部图像中面部区域的各个关键点的图像坐标。
步骤S104：根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定待评分面部图像中面部区域的尺寸评分。
其中，关键点之间的距离可以为瞳距，也可以为左嘴角关键点与右嘴角关键点之间的距离，或者其他关键点分别与鼻尖关键点之间的距离。预设的距离与尺寸评分的对应关系可以预先根据样本面部图像得到。
在距离与尺寸评分的对应关系中，当距离越大，脸部区域的分辨率越大，脸部区域越清晰，对应的尺寸评分就较高。本实施例中的尺寸评分可以表示面部区域的清晰程度。尺寸评分越高，面部越清晰，图像越接近于最佳图像。
上述尺寸评分也可以称为面部关键点评分，记为FacePointScore。
上述步骤S103和步骤S104也可以在步骤S102之前执行，本申请对此不做限定。
步骤S105：根据参考评分和尺寸评分，确定待评分面部图像的最终评分，记为FinalScore。
本步骤，具体可以为将参考评分和尺寸评分的相加、相乘或相加后与预设值相乘的运算方式，得到待评分面部图像的最终评分。
最终评分越高，认为待评分面部图像越接近于最佳图像。在确定各个待评分面部图像的最终评分之后，还可以将最终评分最高的待评分面部图像确定为最佳图像。
由上述内容可知，本实施例中，神经网络可以针对待评分面部图像的面部状态特征确定参考评分，根据关键点之间的距离可以确定尺寸评分，并且根据样本面部图像和根据面部状态特征确定的标准评分训练的神经网络，能够更准确地确定面部图像的状态评分。本实施例能够考虑面部图像的各种状态特征以及尺寸特征，评分标准更全面，因此能够提高对面部图像评分时的合理性。
本申请的另一实施例中，上述标准评分的确定可以按照图2所示流程示意图执行，具体包括以下步骤S201～S203。
步骤S201：根据样本面部图像的面部状态特征，以及预设的面部状态特征与评分的对应关系，确定该面部状态特征对应的评分，作为样本面部图像的主观评分。
在训练神经网络时，需要准备大量的样本面部图像，并可以确定每个样本面部图像的主观评分。
其中，面部状态特征可以包括表示脸部偏转程度、清晰度、脸部表情、是否眨眼等方面的特征。在建立面部状态特征与评分的对应关系时，可以将脸部很正、很清晰、无表情、没眨眼的图像标为一类，根据眨眼、低头、抬头、侧脸、笑、遮挡等不利因素的程度将图像分为第二类、第三类等。每一个类别算一个阶梯，上一个阶梯的评分比下一个阶梯的评分高。
上述遮挡可以包括眼睛遮挡、口罩脸部遮挡、前额遮挡、嘴巴遮挡等。遮挡物可以是口罩、手、树枝、书、眼睛等。表情可以包括无明显表情、笑、抿嘴等情况。
在确定面部状态特征对应的评分时，可以采用预先训练的面部状态分类器，确定样本面部图像在脸部偏转程度、是否存在遮挡方面的得分。采用人工评分的方式，根据预设的清晰程度、脸部表情和是否眨眼等情况对样本面部图像评分。根据面部状态分类器确定的样本面部图像的得分，以及人工评定的样本面部图像评分，得到样本面部图像的主观评分。例如，可以将面部状态分类器确定的样本面部图像的得分，以及人工评定的样本面部图像评分的乘积，作为样本面部图像的主观评分。
上述面部状态分类器可以根据样本面部图像和对应的标签进行训练。在设定标签时，如果样本面部图像中的面部为背脸，则标签是0分；如果面部的俯仰角大于等于40度，或偏转角大于等于40度则标签是5分。如果面部是正脸但是俯仰角小于40度时可以根据表1的映射表来确定标签。
表1
由上表1可知，在标定时可以将样本面部图像分为13类，类别标签分别为0，5，10，15，20，30，40，50，60，70，80，90，100。
步骤S202：从底库中确定样本面部图像对应的标准面部图像，确定标准面部图像与样本面部图像之间的相似度，作为所述样本面部图像的客观评分。
其中，上述底库用于存储各个标准面部图像。各个标准面部图像可以对应不同的对象。每个标准面部图像均可以是正脸、很清晰、无标签、没有眨眼的图像。
从底库中确定样本面部图像对应的标准面部图像时，可以根据预设的图像匹配算法，将样本面部图像与底库中的各个标准面部图像进行匹配，将匹配成功的标准面部图像作为与该样本面部图像对应的标准面部图像。也可以采用人工确定的方式从底库中确定样本面部图像对应的标准面部图像。样本面部图像以及对应的标准面部图像中的对象应是同一个。例如样本面部图像以及对应的标准面部图像中的人是同一个人。
底库中的各个标准面部图像可以具有相同的分辨率和图像尺寸大小。在确定标准面部图像与样本面部图像之间的相似度之前，可以对样本面部图像进行预处理。这样能够使得样本面部图像与标准面部图像的图像参数在同一层次上，进而使得确定的相似度更准确。
上述预处理可以包括，对样本面部图像的分辨率进行归一化和亮度进行归一化。在对样本面部图像的分辨率进行归一化时，可以将样本面部图像归一化到256像素×256像素大小。在对样本面部图像的亮度进行归一化时，可以包括：计算底库中所有标准面部图像的平均亮度，记为Aveobj；计算第m个样本面部图像的平均亮度，记为Avem(其中m代表第m个样本面部图像)；当Avem大于Aveobj时，将该第m个样本面部图像的每个灰度值减去|Aveobj—Avem|，当Avem小于Aveobj时，将该第m个样本面部图像的每个灰度值加上|Aveobj—Avem|，使得该样本面部图像的平均亮度与底库中所有标准面部图像的平均亮度相等。
在对样本面部图像的亮度进行归一化之前，可以先对样本面部图像的分辨率进行归一化，再对分辨率归一化后的样本面部图像的亮度进行归一化。
在确定标准面部图像G与样本面部图像S之间的相似度Sim(S,G)时，具体可以根据以下公式确定：
Figure BDA0001679159530000121
Figure BDA0001679159530000122
其中，bin为像素的最大灰度值级别，例如bin可以为255。Si为样本面部图像中的第i级灰度值，i的取值范围为0～255。Gj为标准面部图像中的第j级灰度值，j的取值范围为0～255。h(Si,Gj)为样本面部图像与标准面部图像的相同位置处像素的灰度值分别为Si和Gj的出现次数。Sk为样本面部图像中第k个像素的灰度值，Gk为标准面部图像中第k个像素的灰度值，N为样本面部图像或标准面部图像的像素总数量。样本面部图像或标准面部图像的像素总数量可以相同。
在确定相似度Sim(S,G)时，可以预先得到标准面部图像G与样本面部图像S的联合直方图，从该联合直方图中得到每个h(Si,Gj)。该联合直方图的横坐标为各个灰度值组合，纵坐标为每个灰度值组合在样本面部图像或标准面部图像中的出现次数。每个灰度值组合(Si,Gj)中，Si对应的像素在样本面部图像中的位置与Gk对应的像素在标准面部图像中的位置相同。
上述p(Si,Gj)表示标准面部图像G与样本面部图像S的联合概率分布。p(Si)和p(Gj)表示边缘概率密度。
在确定相似度Sim(S,G)之后，还可以将相似度Sim(S,G)归一化到[0,1]之间。
步骤S203：根据主观评分和客观评分，确定样本面部图像的标准评分。
在确定样本面部图像的标准评分时，可以将主观评分和客观评分相乘或相加后的结果确定为样本面部图像的标准评分。
在确定标准评分之后，还可以从预设的各个评分标签中确定与标准评分最接近的评分标签，将该最接近的评分标签作为该样本面部图像更新后的标准评分，使更新后的标准评分为预设的各个评分标签中的一个。这样能够使得标准评分更标准化，方便后续处理。
例如，某个样本面部图像的主观评分为80，客观评分为0.83，则标准评分可以为80*0.83＝66.4。由于66.4与表1中的评分标签50的差的绝对值最小，因此可以将标准评分更新为50。
在训练神经网络中，样本面部图像的标准评分的设定直接影响着神经网络在确定待评分面部图像的参考评分时的合理性。本实施例根据主观评分和客观评分确定样本面部图像的标准评分，能够使得标准评分更合理，进而使得训练好的神经网络更符合要求。
在本申请的另一实例中，在训练神经网络时，可以选择常用的深度学习网络，以及常用的深度学习训练框架，预先编写好训练神经网络时的超参数文件进行训练。在训练神经网络之前可以将样本面部图像分为两部分，一部分用于训练，一部分用于训练之后测试神经网络的精度。
常用的深度学习网络有很多可以选择，例如MobileNet、SqueezeNet、Resnet、GoogleNet、GoogleNet Inception V2、GoogleNet Inception V3、GoogleNet InceptionV4、Xception和ResNeXt等。在选择深度学习网络时，要兼顾网络模型的分类精度和确定待评分面部图像的参考评分时的耗费时间，即要考虑精度和效率。本实施例可以采用GoogleNet Inception V2网络，该网络的精度能达到要求，效率也比较高。
常用的深度学习训练框架包括Caffe、Tensorflow、Pytorch和MXNet等，例如，本实施例可以采用Caffe，并且对Caffe进行改进使之可以进行数据增强。
在深度学习过程中，为了避免出现过拟合，通常需要向神经网络输入充足的数据量。当数据量不够大时，通过数据增强来提高深度学习训练效果是十分有效的手段。数据增强是指对图像进行几何变换、颜色变换、主成分分析(Principal Component Analysis，PCA)处理、模糊处理等中的一个或多个来达到增加样本数量的目的。具体地，数据增强可以包括水平、竖直翻转，随机裁剪，旋转，缩放，仿射变换，投影变换，随机擦除，加高斯噪声，模糊处理，调整色彩的饱和度、亮度、对比度等。
为了提高训练神经网络时的效率，网络参数的初始值采用以下方式得到：
获取已训练好的参考神经网络的参考网络参数，作为网络参数的初始值。
其中，参考神经网络为采用不同于上述样本面部图像的样本图像训练得到。参考神经网络的类型应与上述待训练的神经网络的类型相同，例如参考神经网络和待训练的神经网络均为GoogleNet Inception V2网络。
参考神经网络可以为在大型数据集上训练好的网络模型。由于参考神经网络已经具有了比较好的网络参数，因此根据样本面部图像和对应的标准评分在参考神经网络上进行训练，能够提高训练的效率。这种训练方式可以称为微调。
在训练网络模型时，样本的数量关系着网络模型的训练时长和训练好之后网络模型的检测效果。在一些特定任务中，如果样本的数量不够大，重新训练一个新的效果好的网络模型是不容易的，而且参数不好调整。这时可以使用微调。另外，即使有大量的样本，使用微调技术往往也会比从0开始训练一个新的网络模型，能得到更好的效果。微调，就是利用已在包含大量样本的数据集上训练好的模型(比如使用ImageNet数据集训练的大量Model-Zoo)的基础上，加上特定的样本，来训练新的模型。微调的好处在于不用完全重新训练模型，从而提高效率。一般新训练模型的准确率都会从很低的值开始慢慢上升，但是微调能够使得网络模型在比较少的迭代次数之后得到比较好的效果。
在训练神经网络之前需要编写训练所需的超参数文件。超参数文件中包含的超参数能够指明训练网络时所用的网络文件、优化算法、学习率、学习率变化方式、最大迭代次数、训练模式(GPU或CPU)、多久保存一次训练过程中的分类器模型等。有些超参数是确定的，比如训练所用的网络文件、训练模式等，而有些超参数的选择需要利用K折交叉验证来确定，比如学习率、优化算法等。
在上述工作准备好之后就可以进行训练了。在神经网络的训练过程中，可以按照预设的时间间隔保存训练过程中的网络参数。在神经网络训练好之后，会得到多次保存的网络参数，包括训练过程中产生的网络参数和达到最大训练迭代次数时产生的网络参数。每次得到的网络参数均为一系列参数的组合。针对使用不同批次的网络参数的神经网络，本实施例可以使用测试时的样本面部图像对各个神经网络进行测试，选出分类精度最高的神经网络，作为确定参考评分时的神经网络。
在本申请的另一实施例中，步骤S104，根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定待评分面部图像中面部区域的尺寸评分的步骤，具体可以包括以下步骤1a和2a。
步骤1a：根据各个关键点计算瞳距，根据预设的瞳距与尺寸评分的对应关系，确定计算得到的瞳距对应的目标尺寸评分。目标尺寸评分可以记为TupleScore。
在图像中，瞳距在图像中的比例越大，认为面部区域的分辨率就越高。而瞳距在大于一定阈值之后，人对于图像面部的感受是相差不多的。因此，可以将瞳距与尺寸评分的对应关系设定为分段函数。图3为瞳距与尺寸评分的对应关系的一种示意图。其中，瞳距在d0～dk区间时，对应的尺寸评分随着瞳距的变大按照直线函数变化，在大于dk时，尺寸评分保持固定值(最大值Max)。例如，d0可以为0，dk可以为50，尺寸评分的最大值Max可以为100。
步骤2a：根据上述目标尺寸评分，确定待评分面部图像中面部区域的尺寸评分。
具体的，可以直接将目标尺寸评分确定为待评分面部图像中面部区域的尺寸评分，也可以将对目标尺寸评分进行一定处理之后的值确定为待评分面部图像中面部区域的尺寸评分。
综上，本实施例中，可以根据瞳距对应的尺寸评分确定待评分面部图像中面部区域的尺寸评分，这种方式既简单易处理，又能达到一定的合理性。
在本申请的另一实施例中，为了提高确定的尺寸评分的合理性，上述步骤2a，根据目标尺寸评分，确定待评分面部图像中面部区域的尺寸评分的步骤，具体可以包括以下步骤2a-1和2a-2。
步骤2a-1：计算各个关键点之间的偏移角度，根据各个偏移角度确定待评分面部图像中面部区域的偏转系数；
其中，各个关键点之间的偏移角度，可以反映出面部区域的偏转程度，而偏移系数能够体现出这种偏移程度。
本实施例中，各个关键点可以包括：左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点。本步骤具体可以包括：
根据以下公式，确定待评分面部图像中面部区域的偏转系数TupleCoefficient：
Figure BDA0001679159530000161
其中，A为右眼关键点和右嘴角关键点相对于鼻尖关键点的偏移角度，B为左眼关键点和左嘴角关键点相对于鼻尖关键点的偏移角度，C为右眼关键点和左眼关键点相对于鼻尖关键点的偏移角度，D为左嘴角关键点和右嘴角关键点相对于鼻尖关键点的偏移角度，E为右眼关键点和左眼关键点的连线相对于水平线的偏移角度。上述各个偏移角度可以根据各个关键点的坐标计算得到。
参见图4所示的人脸示意图，A、B、C、D和E各个角均标注在图4中。其中，2为左眼关键点，1为右眼关键点，3为鼻尖关键点，5为左嘴角关键点，4为右嘴角关键点。
步骤2a-2：根据目标尺寸评分和偏转系数，确定待评分面部图像中面部区域的尺寸评分。
具体的，可以将目标尺寸评分和偏转系数的乘积，确定待评分面部图像中面部区域的尺寸评分。即尺寸评分FacePointScore可以按照以下公式计算得到：
FacePointScore＝TupleCoefficient*TupleScore。
在训练神经网络时，也考虑了面部区域的偏转程度。但是，由于面部区域的偏转程度对最佳图像的影响较大，因此本实施例通过偏转系数来体现该偏转程度，提高面部区域的偏转程度在评价图像时的比重。这样能够提高评分的合理性。并且，根据关键点之间的偏移角度确定的偏移系数能够更合理地体现出面部区域的偏转程度，进而使得确定的尺寸评分更准确。
在本申请的另一实施例中，S105，根据参考评分和尺寸评分，确定待评分面部图像的最终评分的步骤，具体可以包括以下步骤1b和2b。
步骤1b：计算待评分面部图像的清晰度。
在实际中对象的移动会给图像的质量带来不确定的影响，比如人走动时可能产生的运动模糊。图像越清晰，评分应越高，即越接近于最佳图像。因此，本实施例考虑图像的清晰度对评分的影响。
在计算待评分面部图像的清晰度时，可以采用Roberts算子、Prewitt算子、Sobel算子和Lapacian算子等。但是，由于面部的眉毛、嘴唇等处会有明显的横条纹，这些地方的水平梯度会比较大；以及，考虑到部分人会戴眼镜。眼镜框附近的梯度也会很大，而眼镜框边缘包括横着的部分和竖着的部分，因此使用计算水平方向、竖直方向梯度的算子均会产生较大误差。
为了提高计算的清晰度的准确性，本实例可以采用对角线方向梯度算法，计算待评分面部图像中各个像素点的梯度值，根据待评分面部图像中各个像素点的梯度值的平均值，计算待评分面部图像的清晰度。
例如，对角线方向梯度算法可以为Prewitt算子。该Prewitt算子的卷积模板可参见表2和表3。
表2
0 1 1
-1 0 1
-1 -1 0
表3
-1 -1 0
-1 0 1
0 1 1
具体的，采用Prewitt算子计算待评分面部图像中各个像素点的梯度值时，可以包括：针对待评分面部图像中每个像素点，确定该像素点以及该像素点周围的8个像素点，将这9个像素点的灰度值分别与表2中对应的值相乘，得到9个乘积，将这9个乘积的和值作为该像素点的第一子梯度值；将这9个像素点的灰度值分别与表3中对应的值相乘，得到9个乘积，将这9个乘积的和值作为该像素点的第二子梯度值；将第一子梯度值与第二子梯度值的和值，作为该像素点的梯度值。按照上述方式，可以计算得到待评分面部图像中各个像素点的梯度值。
在计算待评分面部图像中各个像素点的梯度值之后，可以得到包含梯度值的梯度图像。将该梯度图像中的所有梯度值之和处于梯度值总个数后得到的结果确定为平均值。
在得到待评分面部图像中各个像素点的梯度值的平均值之后，可以对该平均值进行归一化，使之处于[0,1]之间，并将归一化之后的平均值作为待评分面部图像的清晰度。
计算待评分面部图像的清晰度时，还可以从待评分面部图像中确定面部区域，计算面部区域的清晰度，作为待评分面部图像的清晰度。脸部区域通常包含头部的头发、面部五官等区域。为了避免头部与背景部分相连接的边缘在计算清晰度时产生的不利影响，可以按照一定比例对面部区域进行范围缩小处理，使处理后的面部区域不包含边缘部分。计算处理后的面部区域的清晰度，作为待评分面部图像的清晰度。这样能够使得计算得到的清晰度更准确。
步骤2b：根据上述清晰度、参考评分和尺寸评分，确定待评分面部图像的最终评分。
本步骤具体可以包括多种实施方式。例如，将上述清晰度、参考评分和尺寸评分三者相乘的结果，或相加的结果，或两者相加后再乘以第三个量的方式，得到待评分面部图像的最终评分。
例如，待评分面部图像的最终评分FinalScore可以为：
FinalScore＝DLScore*FacePointScore*ClarityScore
其中，DLScore为参考评分，FacePointScore为尺寸评分，ClarityScore为清晰度。
在训练神经网络时，也考虑了面部区域的清晰度。但是，由于面部区域的清晰度对最佳图像的影响较大，因此本实施例在得到参考评分和尺寸评分之后，又计算了清晰度，提高清晰度在评价图像时的比重。这样能够提高评分的合理性。
在本申请的另一实施例中，步骤S101获取待评分面部图像的步骤，具体可以包括：获取摄像机采集的抓拍图像，作为待评分面部图像。
本实施例的执行主体可以为电子设备，也可以为摄像机本身。摄像机可以按照预设的时间周期抓拍图像，并将抓拍的图像作为待评分面部图像。
在得到待评分面部图像的最终评分之后，该方法还可以获取最佳面部图像的最终评分，判断上述待评分面部图像的最终评分是否大于最佳面部图像的最终评分，如果大于，则将待评分面部图像更新最佳面部图像，即将待评分面部图像作为最佳面部图像，将原来的最佳面部图像删除。如果不大于，则不予以处理。
例如，抓拍机每隔t秒抓拍一次图像，在人移动过程中人脸不断地被抓拍，每次抓拍的图像都会得到一个评分。如果后续抓拍的图像的评分比之前的图像的评分高，则用评分高的图像置为当前图像。这样可以保证当前图像是最佳人脸图像。当此人消失时后保存的图像就是最佳人脸图像，针对每个人仅保留一个图像，这样比较节省资源。又如，当前图片是Fc，当前图片的最终评分为89分，后面抓到的图像是Fl，Fl的评分为99分，则用Fl代替Fc，继续和后面抓拍的图像进行比较。
图5为本申请实施例提供的摄像机的一种结构示意图。本实施例与图1所示方法实施例相对应。该摄像机可以为网络摄像机。该摄像机可以对运动人脸进行检测、跟踪、抓拍、评分和筛选。该摄像机可以包括：处理器501、存储器502和图像采集模块503。
图像采集模块503，用于采集待评分面部图像，并存储至存储器502；
处理器501，用于从存储器502中获取待评分面部图像，将待评分面部图像发送至预先训练的神经网络，由神经网络根据网络参数对待评分面部图像进行评分，得到参考评分；处理器501，针对从存储器中获取的待评分面部图像，提取待评分面部图像中面部区域的各个关键点；根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定待评分面部图像中面部区域的尺寸评分；根据参考评分和尺寸评分，确定待评分面部图像的最终评分。
存储器502可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器502还可以是至少一个位于远离前述处理器501的存储装置。
上述处理器501可以是通用处理器，包括CPU、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的另一实施例中，网络参数为根据样本面部图像及对应的标准评分训练得到；标准评分为根据样本面部图像的面部状态特征确定。
处理器501，还用于采用以下操作确定标准评分：
根据所述样本面部图像的面部状态特征，以及预设的面部状态特征与评分的对应关系，确定所述面部状态特征对应的评分，作为所述样本面部图像的主观评分；
从底库中确定所述样本面部图像对应的标准面部图像，确定所述标准面部图像与所述样本面部图像之间的相似度，作为所述样本面部图像的客观评分；所述底库用于存储各个标准面部图像；
根据主观评分和客观评分，确定样本面部图像的标准评分。
在本申请的另一实施例中，处理器501具体用于：
根据以下公式，确定标准面部图像与样本面部图像之间的相似度Sim(S,G)：
Figure BDA0001679159530000212
其中，bin为像素的最大灰度值级别，Si为样本面部图像中的第i级灰度值，Gj为标准面部图像中的第j级灰度值，h(Si,Gj)为样本面部图像与标准面部图像的相同位置处像素的灰度值分别为Si和Gj的出现次数；Sk为样本面部图像中第k个像素的灰度值，Gk为标准面部图像中第k个像素的灰度值，N为样本面部图像或标准面部图像的像素总数量。
在本申请的另一实施例中，处理器501还用于采用以下操作得到网络参数的初始值：
获取已训练好的参考神经网络的参考网络参数，作为网络参数的初始值；参考神经网络为采用不同于样本面部图像的样本图像训练得到。
在本申请的另一实施例中，处理器501具体用于：
根据各个关键点计算瞳距，根据预设的瞳距与尺寸评分的对应关系，确定计算得到的瞳距对应的目标尺寸评分；
根据目标尺寸评分，确定待评分面部图像中面部区域的尺寸评分。
在本申请的另一实施例中，处理器501具体用于：
计算各个关键点之间的偏移角度，根据各个偏移角度确定待评分面部图像中面部区域的偏转系数；
根据目标尺寸评分和偏转系数，确定待评分面部图像中面部区域的尺寸评分。
在本申请的另一实施例中，各个关键点包括：左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点；处理器501具体用于：
根据以下公式，确定待评分面部图像中面部区域的偏转系数TupleCoefficient：
Figure BDA0001679159530000221
其中，A为右眼关键点和右嘴角关键点相对于鼻尖关键点的偏移角度，B为左眼关键点和左嘴角关键点相对于鼻尖关键点的偏移角度，C为右眼关键点和左眼关键点相对于鼻尖关键点的偏移角度，D为左嘴角关键点和右嘴角关键点相对于鼻尖关键点的偏移角度，E为右眼关键点和左眼关键点的连线相对于水平线的偏移角度。
在本申请的另一实施例中，处理器501具体用于：
计算待评分面部图像的清晰度；
根据清晰度、参考评分和尺寸评分，确定待评分面部图像的最终评分。
在本申请的另一实施例中，处理器501具体用于：
采用对角线方向梯度算法，计算待评分面部图像中各个像素点的梯度值，根据待评分面部图像中各个像素点的梯度值的平均值，计算待评分面部图像的清晰度。
在本申请的另一实施例中，处理器501具体用于：
获取摄像机采集的抓拍图像，作为待评分面部图像；
处理器501还用于：
在得到待评分面部图像的最终评分之后，获取最佳面部图像的评分；判断所述待评分面部图像的最终评分是否大于所述最佳面部图像的评分，如果大于，则将所述待评分面部图像更新所述最佳面部图像。
由于上述设备实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此设备实施例的技术效果在此不再赘述。对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的面部图像评分方法。该方法包括：
获取待评分面部图像；
将待评分面部图像发送至预先训练的神经网络，由神经网络根据网络参数对待评分面部图像进行评分，得到参考评分；
提取待评分面部图像中面部区域的各个关键点；
根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定待评分面部图像中面部区域的尺寸评分；
根据参考评分和尺寸评分，确定待评分面部图像的最终评分。
本实施例中，神经网络可以针对待评分面部图像的面部状态特征确定参考评分，根据关键点之间的距离可以确定尺寸评分，并且根据样本面部图像和根据面部状态特征确定的标准评分训练的神经网络，能够更准确地确定面部图像的状态评分。本实施例能够考虑面部图像的各种状态特征以及尺寸特征，评分标准更全面，因此能够提高对面部图像评分时的合理性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种摄像机，其特征在于，包括：处理器、存储器和图像采集模块；
所述图像采集模块，用于采集待评分面部图像，并存储至所述存储器；
所述处理器，用于从所述存储器中获取所述待评分面部图像，将所述待评分面部图像发送至预先训练的神经网络，由所述神经网络根据网络参数对所述待评分面部图像进行评分，得到参考评分；
所述处理器，针对从所述存储器中获取的待评分面部图像，提取所述待评分面部图像中面部区域的各个关键点；根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定所述待评分面部图像中面部区域的尺寸评分；根据所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
2.根据权利要求1所述的摄像机，其特征在于，所述网络参数为根据样本面部图像及对应的标准评分训练得到；所述标准评分为根据样本面部图像的面部状态特征确定；
所述处理器，还用于采用以下操作确定所述标准评分：
根据所述样本面部图像的面部状态特征，以及预设的面部状态特征与评分的对应关系，确定所述面部状态特征对应的评分，作为所述样本面部图像的主观评分；
从底库中确定所述样本面部图像对应的标准面部图像，确定所述标准面部图像与所述样本面部图像之间的相似度，作为所述样本面部图像的客观评分；所述底库用于存储各个标准面部图像；
根据所述主观评分和所述客观评分，确定所述样本面部图像的标准评分。
3.根据权利要求2所述的摄像机，其特征在于，所述处理器，具体用于：
根据以下公式，确定所述标准面部图像与所述样本面部图像之间的相似度Sim(S,G)：
Figure FDA0001679159520000011
Figure FDA0001679159520000021
其中，所述bin为像素的最大灰度值级别，所述Si为所述样本面部图像中的第i级灰度值，所述Gj为所述标准面部图像中的第j级灰度值，所述h(Si,Gj)为所述样本面部图像与所述标准面部图像的相同位置处像素的灰度值分别为Si和Gj的出现次数；所述Sk为所述样本面部图像中第k个像素的灰度值，所述Gk为所述标准面部图像中第k个像素的灰度值，所述N为所述样本面部图像或所述标准面部图像的像素总数量。
4.根据权利要求1所述的摄像机，其特征在于，所述处理器，还用于采用以下操作得到所述网络参数的初始值：
获取已训练好的参考神经网络的参考网络参数，作为所述网络参数的初始值；所述参考神经网络为采用不同于所述样本面部图像的样本图像训练得到。
5.根据权利要求1所述的摄像机，其特征在于，所述处理器，具体用于：
根据各个关键点计算瞳距，根据预设的瞳距与尺寸评分的对应关系，确定计算得到的瞳距对应的目标尺寸评分；
根据所述目标尺寸评分，确定所述待评分面部图像中面部区域的尺寸评分。
6.根据权利要求5所述的摄像机，其特征在于，所述处理器，具体用于：
计算各个关键点之间的偏移角度，根据各个偏移角度确定所述待评分面部图像中面部区域的偏转系数；
根据所述目标尺寸评分和所述偏转系数，确定所述待评分面部图像中面部区域的尺寸评分。
7.根据权利要求6所述的摄像机，其特征在于，各个关键点包括：左眼关键点、右眼关键点、鼻尖关键点、左嘴角关键点和右嘴角关键点；所述处理器，具体用于：
根据以下公式，确定所述待评分面部图像中面部区域的偏转系数TupleCoefficient：
Figure FDA0001679159520000031
其中，所述A为所述右眼关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述B为所述左眼关键点和左嘴角关键点相对于所述鼻尖关键点的偏移角度，所述C为所述右眼关键点和左眼关键点相对于所述鼻尖关键点的偏移角度，所述D为所述左嘴角关键点和右嘴角关键点相对于所述鼻尖关键点的偏移角度，所述E为所述右眼关键点和左眼关键点的连线相对于水平线的偏移角度。
8.根据权利要求1所述的摄像机，其特征在于，所述处理器，具体用于：
计算所述待评分面部图像的清晰度；
根据所述清晰度、所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
9.根据权利要求8所述的摄像机，其特征在于，所述处理器，具体用于：
采用对角线方向梯度算法，计算所述待评分面部图像中各个像素点的梯度值，根据所述待评分面部图像中各个像素点的梯度值的平均值，计算所述待评分面部图像的清晰度。
10.根据权利要求1所述的摄像机，其特征在于，所述处理器，具体用于：
获取摄像机采集的抓拍图像，作为待评分面部图像；
所述处理器，还用于：
在得到所述待评分面部图像的最终评分之后，获取最佳面部图像的评分；判断所述待评分面部图像的最终评分是否大于所述最佳面部图像的评分，如果大于，则将所述待评分面部图像更新所述最佳面部图像。
11.一种面部图像评分方法，其特征在于，所述方法包括：
获取待评分面部图像；
将所述待评分面部图像发送至预先训练的神经网络，由所述神经网络根据网络参数对所述待评分面部图像进行评分，得到参考评分；
提取所述待评分面部图像中面部区域的各个关键点；
根据各个关键点之间的距离以及预设的距离与尺寸评分的对应关系，确定所述待评分面部图像中面部区域的尺寸评分；
根据所述参考评分和所述尺寸评分，确定所述待评分面部图像的最终评分。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求11所述的方法步骤。
CN201810540396.7A 2018-05-30 2018-05-30 一种面部图像评分方法及摄像机 Active CN110634116B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810540396.7A CN110634116B (zh) 2018-05-30 2018-05-30 一种面部图像评分方法及摄像机
PCT/CN2019/080024 WO2019228040A1 (zh) 2018-05-30 2019-03-28 一种面部图像评分方法及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810540396.7A CN110634116B (zh) 2018-05-30 2018-05-30 一种面部图像评分方法及摄像机

Publications (2)

Publication Number Publication Date
CN110634116A true CN110634116A (zh) 2019-12-31
CN110634116B CN110634116B (zh) 2022-04-05

Family

ID=68697212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810540396.7A Active CN110634116B (zh) 2018-05-30 2018-05-30 一种面部图像评分方法及摄像机

Country Status (2)

Country Link
CN (1) CN110634116B (zh)
WO (1) WO2019228040A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111524123A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN113255472A (zh) * 2021-05-07 2021-08-13 北京睿芯高通量科技有限公司 一种基于随机嵌入稳定性的人脸质量评价方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012089A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 一种图像质量评价方法及装置
CN111126268B (zh) * 2019-12-24 2023-04-25 北京奇艺世纪科技有限公司 关键点检测模型训练方法、装置、电子设备及存储介质
CN113822171A (zh) * 2021-08-31 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物颜值评分方法、装置、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN106205633A (zh) * 2016-07-06 2016-12-07 李彦芝 一种模仿、表演练习打分系统
CN106454338A (zh) * 2016-11-25 2017-02-22 广州视源电子科技股份有限公司 电子设备图片显示效果检测方法及装置
CN107194898A (zh) * 2017-06-23 2017-09-22 携程计算机技术（上海）有限公司 酒店图像的展示方法、存储介质及酒店信息的推送方法
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置
CN108038422A (zh) * 2017-11-21 2018-05-15 平安科技（深圳）有限公司 摄像装置、人脸识别的方法及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906827B1 (ko) * 2012-04-10 2018-12-05 삼성전자주식회사 연속 사진 촬영 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN106205633A (zh) * 2016-07-06 2016-12-07 李彦芝 一种模仿、表演练习打分系统
CN106454338A (zh) * 2016-11-25 2017-02-22 广州视源电子科技股份有限公司 电子设备图片显示效果检测方法及装置
CN107194898A (zh) * 2017-06-23 2017-09-22 携程计算机技术（上海）有限公司 酒店图像的展示方法、存储介质及酒店信息的推送方法
CN108038422A (zh) * 2017-11-21 2018-05-15 平安科技（深圳）有限公司 摄像装置、人脸识别的方法及计算机可读存储介质
CN107832802A (zh) * 2017-11-23 2018-03-23 北京智芯原动科技有限公司 基于人脸比对的人脸图像质量评价方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111524123A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN111524123B (zh) * 2020-04-23 2023-08-08 北京百度网讯科技有限公司 用于处理图像的方法和装置
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN113255472A (zh) * 2021-05-07 2021-08-13 北京睿芯高通量科技有限公司 一种基于随机嵌入稳定性的人脸质量评价方法及系统

Also Published As

Publication number Publication date
WO2019228040A1 (zh) 2019-12-05
CN110634116B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110634116B (zh) 一种面部图像评分方法及摄像机
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
US7634108B2 (en) Automated face enhancement
CN108537160A (zh) 基于微表情的风险识别方法、装置、设备及介质
KR20180109665A (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
Sukno et al. Active shape models with invariant optimal features: Application to facial analysis
Lee et al. Markov random field models for hair and face segmentation
KR20060097074A (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN113592911B (zh) 表观增强深度目标跟踪方法
Martinikorena et al. Fast and robust ellipse detection algorithm for head-mounted eye tracking systems
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
Yahiaoui et al. Markov Chains for unsupervised segmentation of degraded NIR iris images for person recognition
CN113642479A (zh) 人脸图像的评价方法、装置、电子设备及存储介质
US9349038B2 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
Patil et al. A novel method for illumination normalization for performance improvement of face recognition system
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
CN115565097A (zh) 交易场景人员行为是否合规检测方法及装置
CN105718050B (zh) 一种实时的人脸交互方法及其系统
Li et al. A pixel-wise, learning-based approach for occlusion estimation of iris images in polar domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant