CN110321778B - 一种人脸图像处理方法、装置和存储介质 - Google Patents

一种人脸图像处理方法、装置和存储介质 Download PDF

Info

Publication number
CN110321778B
CN110321778B CN201910344784.2A CN201910344784A CN110321778B CN 110321778 B CN110321778 B CN 110321778B CN 201910344784 A CN201910344784 A CN 201910344784A CN 110321778 B CN110321778 B CN 110321778B
Authority
CN
China
Prior art keywords
face
face image
attribute
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910344784.2A
Other languages
English (en)
Other versions
CN110321778A (zh
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910344784.2A priority Critical patent/CN110321778B/zh
Publication of CN110321778A publication Critical patent/CN110321778A/zh
Application granted granted Critical
Publication of CN110321778B publication Critical patent/CN110321778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种人脸图像处理方法、装置和存储介质,其中,该包括:获取人脸图像;根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定;根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。通过本公开实施例提供的人脸图像处理方案,可以提高人脸属性识别的准确率。

Description

一种人脸图像处理方法、装置和存储介质
技术领域
本公开涉及计算机视觉领域,尤其涉及一种人脸图像处理方法、装置和存储介质。
背景技术
在计算机视觉领域,机器学习技术已经被广泛应用在图像分类、图像定位、图像分割、图像识别等应用方向中。有鉴于机器学习技术在图像处理方面的优异成效,可以利用机器学习技术进行人脸属性识别等相关任务。
目前,使用机器学习技术可以根据人脸图像对人脸属性进行识别。然而,大多数的图像处理方法中,没有考虑到人脸属性任务的特殊性,这种特征特殊性可以体现在人脸属性识别存在内在的误差性。举例来说,如果一个人保养的好,那么我们进行识别的年龄往往会偏低;如果一个人保养的不好,那么我们进行识别的年龄往往会偏高。因此,人脸属性的识别具有内在的误差性,而现有技术并没有考虑人脸属性识别的这种特殊性,会影响人脸属性识别的准确度。
发明内容
有鉴于此,本公开提出了一种人脸图像处理技术方案。
根据本公开的一方面,提供了一种人脸图像处理方法,所述方法包括:
获取人脸图像;
根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;
将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定;
根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
在一种可能的实现方式中,所述根据所述对比结果,确定得到的所述第一属性值是否符合预期要求,包括:
在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。
在一种可能的实现方式中,所述方法还包括:
获取所述人脸图像所属数据集的数据集信息;
根据所述数据集信息确定所述预设阈值,其中,不同数据集对应的预设阈值不同。
在一种可能的实现方式中,所述根据所述数据集信息确定所述预设阈值,包括:
在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;
在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;
其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
在一种可能的实现方式中,所述根据所述对比结果,确定得到的所述第一属性值是否符合预期要求,包括:
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中使用的识别参数进行调整。
在一种可能的实现方式中,所述在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中的使用的识别参数进行调整,包括:
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
确定所述损失函数关于识别参数的梯度;
根据所述梯度下降的方向对所述识别参数进行调整。
在一种可能的实现方式中,其特征在于,所述获取人脸图像之后,还包括:
利用不同尺度的卷积核对所述人脸图像进行特征提取,得到不同尺度的第一特征信息;
对得到所述第一特征信息进行最大池化操作,得到所述人脸图像的第二特征信息;其中,所述第一特征信息的数量大于所述第二特征信息的数量;
根据所述第二特征信息确定所述人脸图像的人脸特征。
在一种可能的实现方式中,所述根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别之前,还包括:
确定所述人脸图像的关键点;
将所述关键点与预存模板的目标特征点进行匹配,得到匹配结果;
根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
在一种可能的实现方式中,所述特征点为多个;所述将所述特征点与预存模板的目标特征点进行匹配,得到匹配结果,包括:
根据每个特征点的人脸特征和所述目标特征点的人脸特征,确定多个特征点中与所述目标特征点的人脸特征匹配的关键特征点;
匹配所述关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
在一种可能的实现方式中,其特征在于,所述获取人脸图像,包括:
获取包括人脸图像的原始图像;
对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合;
在所述人脸图像集合中获取所述人脸图像。
在一种可能的实现方式中,所述数据增强处理包括随机翻转;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
将所述原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括随机剪裁;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
对所述原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括颜色扰动;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
获取随机数作为颜色扰动值;
在所述原始图像的原始颜色参数的基础上增加所述颜色扰动值,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述人脸属性包括以下任意一种属性:
年龄;性别;表情;颜值;视线;皮肤状态。
根据本公开的另一方面,提供了一种人脸图像处理装置,包括:
图像获取模块,用于获取人脸图像;
识别模块,用于根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;
对比模块,用于将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定;
结果确定模块,用于根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
在一种可能的实现方式中,所述结果确定模块,具体用于在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。
在一种可能的实现方式中,所述装置还包括:
信息获取模块,用于获取所述人脸图像所属数据集的数据集信息;
阈值确定模块,用于根据所述数据集信息确定所述预设阈值,其中,不同数据集对应的预设阈值不同。
在一种可能的实现方式中,所述阈值确定模块,具体用于,
在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;
在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
在一种可能的实现方式中,所述结果确定模块,具体用于在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中使用的识别参数进行调整。
在一种可能的实现方式中,所述结果确定模块,具体用于,
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
确定所述损失函数关于识别参数的梯度;
根据所述梯度下降的方向对所述识别参数进行调整。
在一种可能的实现方式中,所述装置还包括:
特征确定模块,用于利用不同尺度的卷积核对所述人脸图像进行特征提取,得到不同尺度的第一特征信息;对得到所述第一特征信息进行最大池化操作,得到所述人脸图像的第二特征信息;其中,所述第一特征信息的数量大于所述第二特征信息的数量;根据所述第二特征信息确定所述人脸图像的人脸特征。
在一种可能的实现方式中,所述装置还包括:
校正模块,用于确定所述人脸图像的关键点;将所述关键点与预存模板的目标特征点进行匹配,得到匹配结果;根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
在一种可能的实现方式中,所述特征点为多个;所述校正模块,具体用于,
根据每个特征点的人脸特征和所述目标特征点的人脸特征,确定多个特征点中与所述目标特征点的人脸特征匹配的关键特征点;
匹配所述关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
在一种可能的实现方式中,所述图像获取模块,具体用于,
获取包括人脸图像的原始图像;
对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合;
在所述人脸图像集合中获取所述人脸图像。
在一种可能的实现方式中,所述数据增强处理包括随机翻转;
所述图像获取模块,具体用于将所述原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括随机剪裁;
所述图像获取模块,具体用于对所述原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括颜色扰动;
所述图像获取模块,具体用于获取随机数作为颜色扰动值;在所述原始图像的原始颜色参数的基础上增加所述颜色扰动值,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述人脸属性包括以下任意一种属性:
年龄;性别;表情;颜值;视线;皮肤状态。
根据本公开的另一方面,提供了一种人脸图像处理装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述方法。
根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。
本公开实施例通过获取人脸图像,根据由人脸图像提取的人脸特征,可以对人脸图像的人脸属性进行识别,并得到表征人脸图像预测属性的第一属性值,从而可以实现通过人脸图像对人脸属性进行识别。在得到第一属性值之后,可以将第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果,并根据对比结果,确定得到的第一属性值是否符合预期要求。这里,预设阈值可以根据人脸图像所属数据集的数据集信息确定,从而不同数据集的人脸图像可以对应不同的预设阈值。这样,在对人脸属性进行识别时,不仅可以考虑人脸属性在识别时存在的内在的误差性,还可以考虑对不同数据集的人脸图像进行人脸属性识别时,存在的内在的误差也具有差异,从而提高人脸属性识别的准确率。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开一实施例的一种人脸图像处理方法的流程图。
图2示出根据本公开一实施例的对原始图像进行随机翻转的框图。
图3示出根据本公开一实施例的对原始图像进行随机剪裁的框图。
图4示出根据本公开一实施例的残差模块的框图。
图5示出根据本公开一实施例的根据差值对识别参数进行调整的流程图。
图6示出根据本公开一实施例的对人脸图像进行校正的流程图。
图7示出根据本公开一实施例的一种图像处理装置的框图。
图8是根据本公开一实施例示出的一种用于人脸图像处理的装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
本申请实施例下述方法、装置、电子设备或存储介质可以应用于任何需要对年龄进行识别的场景,比如,可以应用于拍照软件、人脸识别等。本申请实施例并不对具体的应用场景作限制,任何使用本申请实施例提供的方法对人脸属性识别的方案均在本申请保护范围内。
本申请实施例提供的人脸图像处理方案,可以根据人脸图像的人脸特征,对人脸图像的人脸属性进行识别,得到第一属性值,从而可以通过人脸图像确定对人脸属性进行识别,如识别人脸图像对应的年龄、性别等人脸属性。在得到人脸图像的第一属性值之后,可以将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果,并根据对比结果,确定得到的所述第一属性值是否符合预期要求。例如,如果人脸图像的第一属性值与表征人脸图像真实属性的第二属性值之间的差值小于预设阈值,则可以认为得到的人脸图像的第一属性值不存在损失,符合预期要求。这样,在进行人脸属性识别时,考虑到识别结果会存在一定误差的特殊性,例如,如果一个人保养的好,识别的年龄往往会偏低,如果保养的不好,识别的年龄往往会偏高。通过考虑人脸属性识别的特殊性,虽然第一属性值与第二属性值之间存在一定的误差,但是可以认为得到的第一属性值对应的损失为零。这里,预设阈值可以根据人脸图像所属数据集的数据集信息进行确定,从而不同数据集的人脸图像可以对应不同的预设阈值。这样,可以考虑对不同数据集的人脸图像进行人脸属性识别时,针对不同数据集得到的人脸属性存在的内在的误差不同,从而可以提高人脸属性识别的准确率。
而在相关技术中,如果表征人脸图像预测属性的第一属性值与表征人脸图像真实属性的第二属性值不同,则认为得到的第一属性值存在损失,进而会不断地对人脸属性识别过程中使用的识别参数进行调整,不仅会造成人脸属性识别过程的处理资源的浪费,还会影响人脸属性识别的准确性。可见,在人脸属性识别过程中考虑识别结果存在一定的误差,可以减少人脸属性识别过程中处理资源的浪费,提高人脸属性识别的准确性。
下面对本公开实施例提供的人脸图像处理方案进行详细说明。
图1示出根据本公开一实施例的一种图像处理方法的流程图。如图1所示,该方法包括:
步骤11,获取人脸图像。
在本公开实施例中,人脸图像处理装置(例如,视频或图像采集装置、人脸属性识别平台、终端或服务器等)可以获取人脸图像。这里的人脸图像可以理解为包括人脸的图像。人脸图像处理装置可以通过图像采集的方式获取人脸图像,例如,人脸图像处理装置可以通过安装的图像采集器对人脸进行拍摄,从而获取人脸图像。人脸图像处理装置还可以通过其他装置传输的方式获取人脸图像,例如,人脸图像处理装置可以接收其他终端设备或者服务器传输的人脸图像。
步骤12,根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值。
在本公开实施例中,人脸图像处理装置在获取人脸图像之后,可以对人脸图像的特征进行提取,然后可以根据提取的人脸特征对人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值。这里,人脸属性包括以下任意一种属性:年龄;性别;表情;颜值;视线;皮肤状态。
这里,在对人脸图像对应的人脸属性进行识别时,可以利用预先建立的人脸属性识别模型。人脸属性识别模型在建立时,可以选择常用的神经网络模型作为人脸属性识别模型,例如,卷积神经网络模型、递归神经网络等。还可以通过构建新结构的人脸属性识别模型,例如,通过设置神经元数量以及连接层数量的方式构建人脸属性识别模型。在构建人脸属性识别模型之后,可以利用人脸图像作为训练样本对人脸属性识别模型进行训练,从而可以利用训练好的人脸属性识别模型进行人脸属性识别。
在本公开实施例中,构建的人脸属性识别模型的每一连接层中可以使用不同尺度的卷积核以及最大池化单元,不同尺度的卷积核如3×3的卷积核、5×5的卷积核。与此同时,为了加快人脸属性识别模型的训练速度,每一连接层中还采用了1×1的卷积核对提取的人脸特征进行降维。此外,还可以将尺寸较大的卷积核分解为多个尺寸较小的卷积核,例如,将5×5的卷积核分解为2个3×3的卷积核。
在一些可能的实现方式中,人脸属性识别模型还可以包括残差模块。图4示出根据本公开一实施例的残差模块的框图。如图4所示,残差模块可以将输入端连接的在前连接层的输入信息间隔至少一个连接层传输到输出端连接的在后连接层。这样在增加人脸属性识别模型的网络深度的同时,可以避免人脸属性识别模型出现识别的准确率下降的问题。
相应地,可以利用构建的人脸属性识别模型对人脸图像进行特征提取。在对人脸图像进行特征提取时,可以利用不同尺度的卷积核对人脸图像进行特征提取,得到不同尺度的第一特征信息,然后对得到第一特征信息进行最大池化操作,得到人脸图像的第二特征信息,再根据第二特征信息确定人脸图像的人脸特征。其中,第一特征信息的数量大于第二特征信息的数量。举例来说,人脸图像处理装置可以利用人脸属性识别模型具有的不同尺度的卷结核在人脸图像中提取不同尺度的人脸特征,得到不同尺度的第一特征信息。例如,由5×5的卷积核可以得到尺度为5×5的第一特征信息,由3×3的卷积核可以得到尺度为5×5的第一特征信息。然后,利用人脸属性识别模型的最大池化模块对得到的第一特征信息进行最大池化操作。最大池化操作可以是将某个图像区域内的人脸特征取最大特征值,从而可以在减少人脸特征的同时,更好保持人脸图像的图像区域之内的人脸特征。
步骤13,将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定。
在本公开实施例中,人脸图像处理装置在根据人脸图像的人脸特征,得到人脸图像对应的第一属性值之后,可以确定人脸图像对应的第一属性值和表征人脸图像真实属性的第二属性值之间的差值。在确定第一属性值和第二属性值之间的差值之后,可以将确定的差值与预设阈值进行比较,得到比较结果。该预设阈值可以根据实际应用场景进行设置,并根据人脸图像所属数据集的数据集信息确定。预设阈值可以作为第一属性值与第二属性值之间差异的衡量条件。
这里,第二属性值可以是表征人脸图像真实属性进行标注的属相值,例如,在对人脸图像进行年龄估计时,第二属性值可以表示人脸图像所属人物的标注年龄,再例如,在人脸图像进行性别估计时,第二属性值可以表示人脸图像所属人物的标注性别。第二属性值与真实值之间可以存在一定的标注误差。第一属性值和第二属性值之间的差值可以理解为第一属性值和第二属性值之差的绝对值。
步骤14,根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
这里,人脸图像处理装置可以根据比较结果,确定得到的第一属性值是否符合预期要求,这里的是否符合预期要求可以理解为第一属性值是否为预期的预测结果。如果得到的第一属性值符合预期要求,可以作为人脸图像属性识别的识别结果,可以将得到的第一属性值作为合理的识别结果进行保存。
在一种可能的实现方式中,在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。这里的损失可以理解为得到的第一属性值预测的准确性,即,如果预测的第一属性值与真实的第二属性值之间的差值在合理的范围内,可以认为第一属性值为准确的识别结果。第一属性值预测的准确性可以利用损失函数进行表示,如果第一属性值与第二属性值之间的差值小于预设阈值,则可以认为得到的第一属性值对应的损失函数为零。
在一种可能的实现方式中,在第一属性值与第二属性值之间的差值大于或等于预设阈值的情况下,可以根据第一属性值与第二属性值之间的差值对人脸属性识别过程中的使用的识别参数进行调整。
举例来说,人脸图像处理装置在确定第一属性值和真实属性之间的差值之后,可以将第一属性值和真实属性之间的差值与预设阈值进行对比,如果第一属性值和真实属性之间的差值小于预设阈值,则可以认为得到的第一属性值为准确的识别结果,对应的损失为零。如果第一属性值和第二属性值之间的差值大于或者等于预设阈值,则可以认为得到的第一属性值为不准确的识别结果,存在相应的损失,即损失不为零。这里的预设阈值可以是预先设定的超参数。
通过上述图像处理方案,可以在进行人脸属性识别过程中,考虑到识别结果会存在一定误差的特殊性,来自不同数据集的人脸图像的识别结果存在误差的大小也不同。从而可以根据数据集的数据集信息,设置不同的预设阈值,不仅可以减少处理资源的浪费,还可以提高人脸属性识别的准确性。
本公开实施例提供的人脸图像处理方案中,如果在第一属性值与表征人脸图像真实属性的第二属性值之间的差值小于预设阈值的情况下,可以认为得到的第一属性值不存在损失。这里的预设阈值可以是根据实际情况进行设定的。本公开实施例还提供了一种确定预设阈值的可能的实现方式。在确定预设阈值时,可以获取人脸图像所属数据集的数据集信息,然后根据数据集信息确定预设阈值,其中,不同数据集对应的预设阈值不同。
在该种可能的实现方式中,人脸图像可以存在多种来源,例如,人脸图像可以来自于网络图片、监控视频、证件照片等,由于人脸图像的来源不同,表征人脸图像真实属性的第二属性值可以存在一定的误差。从而可以将根据人脸图像的来源不同,将人脸图像划分为不同数据集,例如,将来源于网络图片、监控视频等不存在真实确定属性值的人脸图像划分为非确定属性值的数据集,将来源于证件照片、档案图像等存在真实确定的属性值的人脸图像划分为确定属性值的数据集,并为不同数据集设置不同的预设阈值。然后可以根据人脸图像所属数据集的数据集信息,然后根据数据集信息确定预设阈值。这里的数据集信息可以是用于表征不同数据集的标识信息,由数据集信息可以获取该数据集信息指示的数据集对应的预设阈值。通过这种方式,可以根据人脸图像所属数据集的不同,为不同数据集的人脸图像设置不同的预设阈值,从而可以更加准确地确定预测的第一属性值存在的损失,提高在利用人脸图像进行人脸属性估计时的准确性。
在一个示例中,在根据数据集信息确定预设阈值时,可以在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
在该示例中,属性标注精度可以理解为数据集中人脸图像标注的属性值的精度。在对人脸属性识别模型进行训练时,可以利用多个数据集中的人脸图像,每个人脸图像带有标注的属性值。标注的属性值可以是人工识别的结果,或者,可以是来自真实信息的真实确定的结果。从而可以根据数据集对应的属性标注精度,对属性标注精度较大的第一数据集设置较小的第二预设阈值,对属性标注精度较小的第二数据集设置较大的第二预设阈值,从而可以考虑不同数据集得到的人脸属性内在误差的不同,提高人脸属性识别的准确率。
举例来说,针对任意一个人脸图像,如果该人脸图像的数据集的数据集信息表明该数据集中的人脸图像为来自具有第二属性值为真实值(例如,真实年龄)的第一数据集,即该数据集中的每个人脸图像标注的第二属性值是真实值,则可以为该人脸图像设置第一预设阈值;如果该人脸图像的数据集的数据集信息表明该数据集中的人脸图像为来自具有第二属性值为非真实值(例如,人工标注年龄)的第二数据集,即该数据集中的每个人脸图像标注的第二属性值与真实值具有一定的差值,则可以为该人脸图像设置第二预设阈值。其中,第一预设阈值小于第二预设阈值,也就是说,可以根据数据集中人脸图像标注的属性值的精度,为不同数据集设置预设阈值,精度越高,真实程度越高,预设阈值可以越小。例如,如果第一图像来自身份证照片,可以将预设阈值设置为较小的预设阈值;如果第一图像来自视频装置采集图像,则可以将预设值设置为较大的预设阈值。从而在利用不同数据集的人脸图像训练人脸属性识别模型时,由于来自第一数据集的人脸图像具有的属性标注精度较高,该标注的属性值的真实程度较高,从而在人脸属性识别模型预测的第一属性值越接近该第二属性值,表示预测的结果越准确,从而将预设阈值设置为较小的预设阈值,使人脸属性识别模型输出的第二属性值更加准确。由于来自第二数据集的人脸图像具有的属性标注精度较低,该标注的属性值的真实程度较低,考虑到在标注的属性值的真实程度较低的情况下,允许人脸属性识别模型预测的第一属性值与该第二属性值存在较大的差异。这样,由来自不同数据集中人脸图像训练得到的人脸属性识别模型,不仅可以保证人脸属性预测的准确性,同时,还可以将预测的人脸属性值与真实属性值的误差限制在合理的范围内,使得人脸属性识别模型具有较高的鲁棒性,适用于各种场景下的人脸属性识别。
在一种可能的实现方式中,人脸图像处理装置在获取人脸图像时,可以先获取包括人脸图像的原始图像,为了针对人脸图像进行更好地特征提取以及获取充足的人脸图像数据,可以在获取人脸图像时,对包括人脸图像的原始图像进行数据增强处理,形成包括多个人脸图像的人脸图像集合,进而可以在人脸图像集合中获取人脸图像。
在一种可能的实现方式中,数据增强处理可以包括随机翻转。图2示出根据本公开一实施例的对原始图像进行随机翻转的框图。在对原始图像进行随机翻转形成包括多个所述人脸图像的人脸图像集合时,可以将原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个人脸图像的人脸图像集合。如图2所示,将原始图像20进行水平翻转,可以得到对原始图像进行水平翻转的人脸图像21;将原始图像进行垂直翻转,可以得到对原始图像进行垂直翻转的人脸图像22。
在一种可能的实现方式中,数据增强处理可以包括随机剪裁。图3示出根据本公开一实施例的对原始图像进行随机剪裁的框图。在对原始图像进行随机剪裁形成包括多个所述人脸图像的人脸图像集合时,可以对原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。如图3所示,将图像大小为300像素×300像素的原始图像30裁剪为280像素×280像素的人脸图像31。
在一种可能的实现方式中,数据增强处理可以包括颜色扰动。在对原始图像进行颜色扰动形成包括多个所述人脸图像的人脸图像集合时,可以先获取随机数作为颜色扰动值,然后在原始图像的原始颜色参数的基础上增加颜色扰动值,形成包括多个人脸图像的人脸图像集合。这里的颜色参数可以包括亮度、对比度、色度、饱和度等。
以上对几种数据增强处理进行了说明,可以理解的是,这里的数据增强处理还可以包括缩放、图像标准化等操作。本公开实施例仅对数据增强处理进行示例性说明,并不对具体的数据增强处理进行限制。
通过对原始图像进行数据增强处理,可以由包括一个人脸图像的原始图像,得到多个人脸图像,从而可以增加人脸属性识别过程中使用的人脸属性识别模型在训练时使用的人脸图像的数量。
图5示出根据本公开一实施例的根据差值对识别参数进行调整的流程图。如图5所示,在根据第一属性值和第二属性值之间的差值对人脸属性识别过程中使用的识别参数进行调整时,可以包括以下步骤:
步骤51,在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
步骤52,确定所述损失函数关于识别参数的梯度;
步骤53,根据所述梯度下降的方向对所述识别参数调整。
这里,人脸图像处理装置在确定第一属性值与第二属性值之间的差值大于或等于预设阈值的情况下,可以先根据第一属性值和第二属性值之间的差值确定第一属性值对应的损失函数,然后确定该损失函数关于识别参数的梯度,再根据确定的梯度下降的方向对识别参数进行调整,直到损失函数以识别参数为变量计算的损失函数值达到极小值。这里,第一属性值和第二属性值之间的差值可以理解为第一属性值与第二属性值之差的绝对值。
在一个具体实施方式中,损失函数可以表示如下:
Figure GDA0002084954660000131
其中,|x|可以表示第一属性值与第二属性值之间的差值;threshold可以表示预设阈值;L(x)可以表示第一属性值存在的损失。
人脸图像处理装置如果确定第一属性值与第二属性值之间的差值小于预设阈值,则第一属性值存在的损失为0。如果确定第一属性值与第二属性值之间的差值大于或等于预设阈值,则第一属性值存在的损失可以通过|x|-0.5进行确定。在第一属性值存在的损失不为0的情况下,可以随机选择大于或等于预设阈值的任意一个x,并根据|x|-0.5确定损失函数关于识别参数的梯度,然后可以沿着梯度下降的方向对识别参数调整,直到损失函数达到极小值。然后利用调整后的识别参数对人脸图像对应的人脸属性进行识别。
通过上述图像处理方案,可以在进行人脸属性识别过程中,考虑到识别结果会存在一定误差的特殊性,从而在利用损失对人脸属性识别过程中使用的识别参数进行调整时,可以认为第一属性值与第二属性值之间的差值小于预设阈值的情况下,第一属性值不存在损失。从而可以减少处理资源的浪费,提高人脸属性识别的准确性。
在本公开实施例提供的图像处理方案中,可以根据由人脸图像提取的人脸特征,对人脸图像的人脸属性进行识别,得到人脸图像对应的第一属性值。为了更好地对人脸图像进行特征提取,本公开实施例还提供了在提取人脸特征之前对人脸图像进行校正的方案。
图6示出根据本公开一实施例的对人脸图像进行校正的流程图。如图3所示,在对人脸图像的人脸属性进行识别之前,还包括:
步骤61,确定所述人脸图像的特征点。
在本公开实施例中,人脸图像处理装置在获取人脸图像之后,可以根据人脸图像包括的人脸图像区域所具有的轮廓,确定人脸图像的特征点。这里的特征点可以为面部特征点,特征点可以包括眼睛、鼻子、嘴角点、眉毛以及人脸各部件的轮廓点。举例来说,人脸图像处理装置可以确定每个人脸图像区域所具有的轮廓,并根据每个人脸图像区域所具有的轮廓对特征点进行识别。如果预先设置特征点为两眼和鼻子,则可以在人脸图像区域中对具有眼睛和鼻子的轮廓进行识别。
步骤62,将所述特征点与预存模板的目标特征点进行匹配,得到匹配结果。
这里,为了对人脸图像进行校正,可以预存进行特征点校正的预存模板,例如,将预存模板预先保存在数据库或者本地存储中。预存模板中可以包括多个目标特征点,如眼睛、鼻子、嘴角点、眉毛以及人脸各部件的特征点。在将人脸图像的特征点与预测模板的目标特征点进行匹配时,可以根据特征点的人脸特征和目标特征点的人脸特征,确定多个特征点中与目标特征点的人脸特征匹配的关键特征点,然后可以匹配关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
举例来说,如果预存模板的目标特征点为两眼和鼻子,在将人脸图像的特征点和预存模板的目标特征点进行匹配时,可以先在人脸图像的多个特征点中确定两眼和鼻子三个关键特征点,然后可以根据三个关键特征点的图像位置,确定由关键特征点形成的几何图形,例如,两眼和鼻子可以形成一个三角形,再将由关键特征点形成的几何图形与目标特征点形成的几何图形进行匹配。
步骤63,根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
这里,如果匹配结果表明人脸图像的关键特征点的图像位置与预存模板的目标特征点的图像位置匹配,则可以不进行人脸图像的调整。如果匹配结果表明人脸图像的关键特征点的图像位置与预存模板的目标特征点的图像位置不匹配,则可以利用目标特征点的图像位置对人脸图像进行校正,例如,可以调整人脸图像的形状或位置,使人脸图像的关键特征点形成的几何图形与目标特征点形成的几何图形匹配,得到校正后的人脸图像,例如,人脸图像中的人脸为侧脸的情况下,可以将侧脸摆正,使校正后的人脸与预存模板的人脸匹配。这里,预存模板可以为一种,例如,预存模板为正脸校正模板,当人脸图像的人脸为侧脸时,可以将人脸图像中的侧脸校正为正脸。
在一种可能的实现方式中,预存模板可以包括以下任一种模板:正脸校正模板;侧脸校正模板。这里,预存模板可以为多种,从而可以为不同人脸姿态的人脸图像选择合适的校正模板。例如,当人脸图像的人脸姿态为侧脸时,可以选择侧脸校正模板对人脸图像进行校正;当人脸图像的人脸姿态为正脸时,可以选择正脸校正模板对人脸图像进行校正。
通过由人脸图像提取的人脸特征,在对人脸图像的人脸属性进行识别之前,可以对人脸图像进行校正,使人脸图像校正为匹配于预设模板,从而在对校正后人脸图像进行特征提取时,可以更加快速以及准确地提取人脸图像的人脸特征,从而更好地对人脸图像进行人脸属性识别,提高人脸属性识别的效率以及准确率。
通过上述图像处理方案,可以在进行人脸属性识别时,考虑到识别结果会存在一定误差的特殊性,从而在利用损失对人脸属性识别过程中使用的识别参数进行调整时,可以认为第一属性值与第二属性值之间的差值小于预设阈值的情况下,第一属性值不存在损失。从而可以减少处理资源的浪费,提高人脸属性识别的准确性。同时,预设阈值可以根据人脸图像所属数据集的数据集信息确定,从而不同数据集的人脸图像可以对应不同的预设阈值。这样,还可以考虑对不同数据集的人脸图像进行人脸属性识别时,存在的内在的误差也具有差异,进一步提高人脸属性识别的准确率。
需要说明的是,尽管以年龄作为示例介绍的人脸图像处理方案如上,但本领域技术人员能够理解,本公开应不限于此。事实上,用户完全可根据个人喜好和/或实际应用场景灵活设定,只要使用本公开实施例提供的人脸图像处理方案即可。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
图7示出根据本公开实施例的人脸图像处理装置的框图,如图7所示,所述人脸图像处理装置包括:
图像获取模块71,用于获取人脸图像;
识别模块72,用于根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;
对比模块73,用于将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定;
结果确定模块74,用于根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
在一种可能的实现方式中,所述结果确定模块74,具体用于在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。
在一种可能的实现方式中,所述装置还包括:
信息获取模块,用于获取所述人脸图像所属数据集的数据集信息;
阈值确定模块,用于根据所述数据集信息确定所述预设阈值,其中,不同数据集对应的预设阈值不同。
在一种可能的实现方式中,所述阈值确定模块,具体用于,
在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;
在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
在一种可能的实现方式中,所述结果确定模块74,具体用于在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中使用的识别参数进行调整。
在一种可能的实现方式中,所述结果确定模块74,具体用于,
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
确定所述损失函数关于识别参数的梯度;
根据所述梯度下降的方向对所述识别参数进行调整。
在一种可能的实现方式中,所述装置还包括:
特征确定模块,用于利用不同尺度的卷积核对所述人脸图像进行特征提取,得到不同尺度的第一特征信息;对得到所述第一特征信息进行最大池化操作,得到所述人脸图像的第二特征信息;其中,所述第一特征信息的数量大于所述第二特征信息的数量;根据所述第二特征信息确定所述人脸图像的人脸特征。
在一种可能的实现方式中,所述装置还包括:
校正模块,用于确定所述人脸图像的关键点;将所述关键点与预存模板的目标特征点进行匹配,得到匹配结果;根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
在一种可能的实现方式中,所述特征点为多个;所述校正模块,具体用于,
根据每个特征点的人脸特征和所述目标特征点的人脸特征,确定多个特征点中与所述目标特征点的人脸特征匹配的关键特征点;
匹配所述关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
在一种可能的实现方式中,所述图像获取模块71,具体用于,
获取包括人脸图像的原始图像;
对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合;
在所述人脸图像集合中获取所述人脸图像。
在一种可能的实现方式中,所述数据增强处理包括随机翻转;
所述图像获取模块71,具体用于将所述原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括随机剪裁;
所述图像获取模块,具体用于对所述原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述数据增强处理包括颜色扰动;
所述图像获取模块71,具体用于获取随机数作为颜色扰动值;在所述原始图像的原始颜色参数的基础上增加所述颜色扰动值,形成包括多个所述人脸图像的人脸图像集合。
在一种可能的实现方式中,所述人脸属性包括以下任意一种属性:
年龄;性别;表情;颜值;视线;皮肤状态。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图8是根据一示例性实施例示出的一种用于人脸图像处理的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图8,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (30)

1.一种人脸图像处理方法,其特征在于,所述方法包括:
获取人脸图像;
根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;
将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定,所述预设阈值的取值与所述第二属性值的精度呈负相关;
根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
2.根据权利要求1所述的方法,其特征在于,所述根据所述对比结果,确定得到的所述第一属性值是否符合预期要求,包括:
在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取所述人脸图像所属数据集的数据集信息;
根据所述数据集信息确定所述预设阈值,其中,不同数据集对应的预设阈值不同。
4.根据权利要求3所述的方法,其特征在于,所述根据所述数据集信息确定所述预设阈值,包括:
在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;
在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;
其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述对比结果,确定得到的所述第一属性值是否符合预期要求,包括:
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中使用的识别参数进行调整。
6.根据权利要求5所述的方法,其特征在于,所述在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中的使用的识别参数进行调整,包括:
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
确定所述损失函数关于识别参数的梯度;
根据所述梯度下降的方向对所述识别参数进行调整。
7.根据权利要求1所述的方法,其特征在于,所述获取人脸图像之后,还包括:
利用不同尺度的卷积核对所述人脸图像进行特征提取,得到不同尺度的第一特征信息;
对得到所述第一特征信息进行最大池化操作,得到所述人脸图像的第二特征信息;其中,所述第一特征信息的数量大于所述第二特征信息的数量;
根据所述第二特征信息确定所述人脸图像的人脸特征。
8.根据权利要求1所述的方法,其特征在于,所述根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别之前,还包括:
确定所述人脸图像的特征点;
将所述特征点与预存模板的目标特征点进行匹配,得到匹配结果;
根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
9.根据权利要求8所述的方法,其特征在于,所述特征点为多个;所述将所述特征点与预存模板的目标特征点进行匹配,得到匹配结果,包括:
根据每个特征点的人脸特征和所述目标特征点的人脸特征,确定多个特征点中与所述目标特征点的人脸特征匹配的关键特征点;
匹配所述关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
10.根据权利要求1所述的方法,其特征在于,所述获取人脸图像,包括:
获取包括人脸图像的原始图像;
对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合;
在所述人脸图像集合中获取所述人脸图像。
11.根据权利要求10所述的方法,其特征在于,所述数据增强处理包括随机翻转;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
将所述原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个所述人脸图像的人脸图像集合。
12.根据权利要求10或11所述的方法,其特征在于,所述数据增强处理包括随机剪裁;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
对所述原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。
13.根据权利要求10所述的方法,其特征在于,所述数据增强处理包括颜色扰动;所述对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合,包括:
获取随机数作为颜色扰动值;
在所述原始图像的原始颜色参数的基础上增加所述颜色扰动值,形成包括多个所述人脸图像的人脸图像集合。
14.根据权利要求1所述的方法,其特征在于,所述人脸属性包括以下任意一种属性:
年龄;性别;表情;颜值;视线;皮肤状态。
15.一种人脸图像处理装置,其特征在于,包括:
图像获取模块,用于获取人脸图像;
识别模块,用于根据由所述人脸图像提取的人脸特征,对所述人脸图像的人脸属性进行识别,得到表征人脸图像预测属性的第一属性值;
对比模块,用于将所述第一属性值与表征人脸图像真实属性的第二属性值之间的差值与预设阈值进行比较,得到对比结果;其中,所述预设阈值根据所述人脸图像所属数据集的数据集信息确定,所述预设阈值的取值与所述第二属性值的精度呈负相关;
结果确定模块,用于根据所述对比结果,确定得到的所述第一属性值是否符合预期要求。
16.根据权利要求15所述的装置,其特征在于,所述结果确定模块,具体用于在所述差值小于预设阈值的情况下,确定得到的所述第一属性值不存在损失,符合预期要求。
17.根据权利要求15或16所述的装置,其特征在于,所述装置还包括:
信息获取模块,用于获取所述人脸图像所属数据集的数据集信息;
阈值确定模块,用于根据所述数据集信息确定所述预设阈值,其中,不同数据集对应的预设阈值不同。
18.根据权利要求17所述的装置,其特征在于,所述阈值确定模块,具体用于,
在所述数据集信息表明所述数据集为第一数据集的情况下,将所述预设阈值设置为第一预设阈值;
在所述数据集信息表明所述数据集为第二数据集的情况下,将所述预设阈值设置为第二预设阈值;其中,在所述第一数据集对应的属性标注精度大于所述第二数据集对应的属性标注精度的情况下,所述第一预设阈值小于所述第二预设阈值。
19.根据权利要求15所述的装置,其特征在于,
所述结果确定模块,具体用于在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,确定得到的所述第一属性值不符合预期要求,根据所述差值对人脸属性识别过程中使用的识别参数进行调整。
20.根据权利要求19所述的装置,其特征在于,所述结果确定模块,具体用于,
在所述第一属性值与所述第二属性值之间的差值大于或等于所述预设阈值的情况下,根据所述差值确定所述第一属性值对应的损失函数;
确定所述损失函数关于识别参数的梯度;
根据所述梯度下降的方向对所述识别参数进行调整。
21.根据权利要求15所述的装置,其特征在于,所述装置还包括:
特征确定模块,用于利用不同尺度的卷积核对所述人脸图像进行特征提取,得到不同尺度的第一特征信息;对得到所述第一特征信息进行最大池化操作,得到所述人脸图像的第二特征信息;其中,所述第一特征信息的数量大于所述第二特征信息的数量;根据所述第二特征信息确定所述人脸图像的人脸特征。
22.根据权利要求15所述的装置,其特征在于,所述装置还包括:
校正模块,用于确定所述人脸图像的特征点;将所述特征点与预存模板的目标特征点进行匹配,得到匹配结果;根据所述匹配结果对所述人脸图像进行校正,获取校正后的人脸图像。
23.根据权利要求22所述的装置,其特征在于,所述特征点为多个;所述校正模块,具体用于,
根据每个特征点的人脸特征和所述目标特征点的人脸特征,确定多个特征点中与所述目标特征点的人脸特征匹配的关键特征点;
匹配所述关键特征点的图像位置以及与每个关键特征点所对应的目标特征点的图像位置,得到匹配结果。
24.根据权利要求15所述的装置,其特征在于,所述图像获取模块,具体用于,
获取包括人脸图像的原始图像;
对所述原始图像进行数据增强处理,形成包括多个所述人脸图像的人脸图像集合;
在所述人脸图像集合中获取所述人脸图像。
25.根据权利要求24所述的装置,其特征在于,所述数据增强处理包括随机翻转;
所述图像获取模块,具体用于将所述原始图像围绕预设翻转轴进行水平翻转或垂直翻转,形成包括多个所述人脸图像的人脸图像集合。
26.根据权利要求24或25所述的装置,其特征在于,所述数据增强处理包括随机剪裁;
所述图像获取模块,具体用于对所述原始图像按照预设裁剪尺寸进行随机裁剪,得到多个不同图像尺寸的人脸图像,形成包括多个所述人脸图像的人脸图像集合。
27.根据权利要求24所述的装置,其特征在于,所述数据增强处理包括颜色扰动;
所述图像获取模块,具体用于获取随机数作为颜色扰动值;在所述原始图像的原始颜色参数的基础上增加所述颜色扰动值,形成包括多个所述人脸图像的人脸图像集合。
28.根据权利要求15所述的装置,其特征在于,所述人脸属性包括以下任意一种属性:
年龄;性别;表情;颜值;视线;皮肤状态。
29.一种人脸图像处理装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述存储器的可执行指令时,实现权利要求1至14任意一项所述的方法。
30.一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至14中任意一项所述的方法。
CN201910344784.2A 2019-04-26 2019-04-26 一种人脸图像处理方法、装置和存储介质 Active CN110321778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344784.2A CN110321778B (zh) 2019-04-26 2019-04-26 一种人脸图像处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344784.2A CN110321778B (zh) 2019-04-26 2019-04-26 一种人脸图像处理方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN110321778A CN110321778A (zh) 2019-10-11
CN110321778B true CN110321778B (zh) 2022-04-05

Family

ID=68113041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344784.2A Active CN110321778B (zh) 2019-04-26 2019-04-26 一种人脸图像处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110321778B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091109B (zh) * 2019-12-24 2023-04-07 厦门瑞为信息技术有限公司 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN111597476B (zh) * 2020-05-06 2023-08-22 北京金山云网络技术有限公司 图像处理方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169544A (zh) * 2011-04-18 2011-08-31 苏州市慧视通讯科技有限公司 基于多特征融合的人脸遮挡检测方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108399379A (zh) * 2017-08-11 2018-08-14 北京市商汤科技开发有限公司 用于识别面部年龄的方法、装置和电子设备
WO2018146550A4 (en) * 2017-02-10 2018-11-08 De Maio Domingos Mauricio Methods and systems for preventing, correcting, transforming, and modifying facial, aesthetics, and consulting patients regarding the same
CN109117717A (zh) * 2018-06-29 2019-01-01 广州烽火众智数字技术有限公司 一种城市行人检测方法
CN109214333A (zh) * 2018-08-31 2019-01-15 厦门中控智慧信息技术有限公司 卷积神经网络结构、人脸属性识别方法、装置及终端设备
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0112773D0 (en) * 2001-05-25 2001-07-18 Univ Manchester Object identification
US8345962B2 (en) * 2007-11-29 2013-01-01 Nec Laboratories America, Inc. Transfer learning methods and systems for feed-forward visual recognition systems
CN104572814A (zh) * 2014-12-01 2015-04-29 董永权 一种提高Web数据语义标注的准确性的方法
CN104463249B (zh) * 2014-12-09 2018-02-02 西北工业大学 一种基于弱监督学习框架的遥感图像机场检测方法
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169544A (zh) * 2011-04-18 2011-08-31 苏州市慧视通讯科技有限公司 基于多特征融合的人脸遮挡检测方法
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
WO2018146550A4 (en) * 2017-02-10 2018-11-08 De Maio Domingos Mauricio Methods and systems for preventing, correcting, transforming, and modifying facial, aesthetics, and consulting patients regarding the same
CN108399379A (zh) * 2017-08-11 2018-08-14 北京市商汤科技开发有限公司 用于识别面部年龄的方法、装置和电子设备
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN107844781A (zh) * 2017-11-28 2018-03-27 腾讯科技(深圳)有限公司 人脸属性识别方法及装置、电子设备及存储介质
CN109117717A (zh) * 2018-06-29 2019-01-01 广州烽火众智数字技术有限公司 一种城市行人检测方法
CN109214333A (zh) * 2018-08-31 2019-01-15 厦门中控智慧信息技术有限公司 卷积神经网络结构、人脸属性识别方法、装置及终端设备
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习自动年龄估计技术研究;郑德鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第02期);第1-58页 *

Also Published As

Publication number Publication date
CN110321778A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
WO2020252917A1 (zh) 一种模糊人脸图像识别方法、装置、终端设备及介质
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
KR20190028349A (ko) 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
WO2022179401A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN111126108B (zh) 图像检测模型的训练和图像检测方法及装置
JP2017062778A (ja) 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111079613B (zh) 姿势识别方法和装置、电子设备及存储介质
CN112861830B (zh) 特征提取方法、装置、设备、存储介质以及程序产品
JP2010108494A (ja) 画像内の顔の特性を判断する方法及びシステム
WO2022103684A1 (en) Face-aware person re-identification system
CN113435408A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN110321778B (zh) 一种人脸图像处理方法、装置和存储介质
CN115331150A (zh) 图像识别方法、装置、电子设备、存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN112613471A (zh) 人脸活体检测方法、装置及计算机可读存储介质
US11605220B2 (en) Systems and methods for video surveillance
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
US11462040B2 (en) Distractor classifier
CN110781345B (zh) 视频描述生成模型的获取方法、视频描述生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant