CN113642541B - 一种基于深度学习的人脸属性识别系统 - Google Patents

Abstract

本发明提供了一种基于深度学习的人脸属性识别系统，其特征在于，包括输入模块、分析模块、投喂模块、学习模块和输出模块，所述输入模块用于输入一张图像，所述图像经所述分析模块处理后被传输至一个结果池，所述输出模块根据所述结果池得到图像中的人脸属性，所述投喂模块含有具有人脸属性的图像，所述学习模块用于对所述分析模块的参数进行调整；该系统能够根据需求自动设定人脸属性的类型及对应的子属性，并根据设定的设定的属性生成对应的分析模块，而分析模块中分叉器的数量越多，学习的效率越高，判断的准确率也越高。

Description

一种基于深度学习的人脸属性识别系统

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的人脸属性识别系统。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别，基于数据库对人脸识别有了较高的准确率，但对于没有数据库的陌生人脸的属性识别还出在发展阶段。

现在已经开发出了很多人脸识别系统，经过我们大量的检索与参考，发现现有的识别系统有如公开号为KR101023980B1，KR100795360B1、CN110069994B和KR101835333B1所公开的系统，包括预处理单元、人脸特征提取单元、预测单元；预处理单元对输入图像中人脸进行人脸关键点检测，进行人脸图像的对齐和裁剪，得到第一图像及其对应的人脸关键点；人脸特征提取单元提取全局人脸特征、局部人脸特征、融合人脸特征；预测单元将所述全局人脸特征、所述局部人脸特征、所述融合人脸特征进行拼接获取最终的分类特征，并基于特定的属性分类器进行属性识别。但该系统不具有学习能力，当添加了新属性需求后，对新属性的判断会不够准确。

发明内容

本发明的目的在于，针对所存在的不足，提出了一种基于深度学习的人脸属性识别系统，

本发明采用如下技术方案：

一种基于深度学习的人脸属性识别系统，包括输入模块、分析模块、投喂模块、学习模块和输出模块，所述输入模块用于输入一张图像，所述图像经所述分析模块处理后被传输至一个结果池，所述输出模块根据所述结果池得到图像中的人脸属性，所述投喂模块含有具有人脸属性的图像，所述学习模块用于对所述分析模块的参数进行调整；

所述分析模块包括分散单元和聚合单元，所述分散单元对输入的图像处理后将所述图像发送至一个若干输出端中的其中一个，所述聚合单元用于将所述输出端与所述结果池建立对应关系，不同的结果池具有不同的人脸属性；

所述系统的使用包括三个阶段，第一阶段为结果池与输出端的连接，第二阶段为分析模块的学习改进，第三阶段为正式使用；

第一阶段通过所述投喂模块向所述分析模块输入图像并进行收集处理；

所述投喂模块还包括收集单元，所述收集单元与输出端直接相连，所述投喂模块对输入的图像在输出端的位置进行统计，每个输出端具有的同一类型人脸属性中数量最多的子属性为该输出端的人脸属性，所述聚合单元根据输出端的人脸属性与对应的结果池建立连接关系；

第二阶段通过所述投喂模块向所述分析模块输入图像，所述学习模块根据结果随所述分析模块进行调整；

所述分析模块包括若干分叉器，所述分叉器包括一个输入端、两个输出端和一个判断箱，所述分叉器的输入端与另一个分叉器的输出端相连，所述判断箱对所述输入端的图像进行计算并将计算结果与阈值比较，通过比较结果选择对应的一个输出端发送图像，在所述第二阶段，图像会记录其经过的分叉器，所述学习模块根据所述分析模块判断的属性结果确定一个目标分叉器，所述目标分叉器为若改变在该分叉器上的输出端的选择后有可能得到正确的属性结果的离结果池最近的分叉器，当需要将所述目标分叉器上的阈值减小时，该目标分叉器的负计数器n_-累加1，当需要将所述目标分叉器上的阈值增大时，该目标分叉器的正计数器n₊累加1；

当投喂一批图像后，所述学习模块对所述目标分叉器中判断箱中的阈值Yu进行调整，调整方式为：

；

其中，n_z为在这批学习图像中经过该目标分叉器的总次数。

所述第三阶段和所述第二阶段需要基于所述第一阶段才能进行，所述第二阶段和所述第三阶段能够并行使用，所述第二阶段的学习数据越多，所述第三阶段的识别结果越准确；

进一步的，所述分叉器包括顶层分叉器、中间层分叉器和底层分叉器，所述底层分叉器的输出端作为分散单元的输出端与结果池连接；

进一步的，所述收集单元在所述第一阶段对所述底层分叉器输出端的人脸属性进行平均调整，使得每个结果池对应的底层分叉器输出端数量为平均值，所述平均调整包括三个步骤，第一步是选取结果池中超出平均值数量的底层分叉器输出端，第二步S2是分配第一步中选取的底层分叉器输出端分配给底层分叉器输出端不足平均值的结果池，第三步S3是分配无人脸属性的底层分叉器输出端；

进一步的，所述收集单元通过计算第一吻合值W₁进行步骤S1中底层分叉器输出端的选取，所述第一吻合值W₁的计算公式为：

；

其中，n_i表示该底层分叉器输出端中第i类人脸属性中个数最多的子属性的个数，m_i表示该底层分叉器输出端中第i类人脸属性的所有子属性的总个数，n为人脸属性的种类个数；

进一步的，所述收集单元通过计算第二吻合值来进行步骤S2中底层分叉器输出端的分配，所述第二吻合值W₂的计算公式为：

；

其中，n_i’表示待分配底层分叉器输出端中含有的第i类人脸属性中为该结果池的子属性的个数。

本发明所取得的有益效果是：

本系统的分析模块包括分散单元和聚合单元，分散单元用于对图像的处理，聚合单元用于对人脸属性的处理，当要新增人脸属性时，只需对聚合单元进行相应的变动即可，而本系统的学习模块会对所述分析模块中的分散单元进行学习改进，学习的数据越大，最终的属性判断会越准确，同时，分散单元中的分叉器数量越多，学习的效率会越高。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为整体结构框架示意图；

图2为分叉器结构示意图；

图3为分散单元示意图；

图4为图像分割示意图；

图5为亮暗组合点配对示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内，包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位，以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一。

本实施例提供了一种基于深度学习的人脸属性识别系统，结合图1，包括输入模块、分析模块、投喂模块、学习模块和输出模块，所述输入模块用于输入一张图像，所述图像经所述分析模块处理后被传输至一个结果池，所述输出模块根据所述结果池得到图像中的人脸属性，所述投喂模块含有具有人脸属性的图像，所述学习模块用于对所述分析模块的参数进行调整；

所述分析模块包括分散单元和聚合单元，所述分散单元对输入的图像处理后将所述图像发送至一个若干输出端中的其中一个，所述聚合单元用于将所述输出端与所述结果池建立对应关系，不同的结果池具有不同的人脸属性；

所述系统的使用包括三个阶段，第一阶段为结果池与输出端的连接，第二阶段为分析模块的学习改进，第三阶段为正式使用；

第一阶段通过所述投喂模块向所述分析模块输入图像并进行收集处理；

所述投喂模块还包括收集单元，所述收集单元与输出端直接相连，所述投喂模块对输入的图像在输出端的位置进行统计，每个输出端具有的同一类型人脸属性中数量最多的子属性为该输出端的人脸属性，所述聚合单元根据输出端的人脸属性与对应的结果池建立连接关系；

第二阶段通过所述投喂模块向所述分析模块输入图像，所述学习模块根据结果随所述分析模块进行调整；

所述分析模块包括若干分叉器，所述分叉器包括一个输入端、两个输出端和一个判断箱，所述分叉器的输入端与另一个分叉器的输出端相连，所述判断箱对所述输入端的图像进行计算并将计算结果与阈值比较，通过比较结果选择对应的一个输出端发送图像，在所述第二阶段，图像会记录其经过的分叉器，所述学习模块根据所述分析模块判断的属性结果确定一个目标分叉器，所述目标分叉器为若改变在该分叉器上的输出端的选择后有可能得到正确的属性结果的离结果池最近的分叉器，当需要将所述目标分叉器上的阈值减小时，该目标分叉器的负计数器n_-累加1，当需要将所述目标分叉器上的阈值增大时，该目标分叉器的正计数器n₊累加1；

当投喂一批图像后，所述学习模块对所述目标分叉器中判断箱中的阈值Yu进行调整，调整方式为：

；

其中，n_z为在这批学习图像中经过该目标分叉器的总次数。

所述第三阶段和所述第二阶段需要基于所述第一阶段才能进行，所述第二阶段和所述第三阶段能够并行使用，所述第二阶段的学习数据越多，所述第三阶段的识别结果越准确；

所述分叉器包括顶层分叉器、中间层分叉器和底层分叉器，所述底层分叉器的输出端作为分散单元的输出端与结果池连接；

所述收集单元在所述第一阶段对所述底层分叉器输出端的人脸属性进行平均调整，使得每个结果池对应的底层分叉器输出端数量为平均值，所述平均调整包括三个步骤，第一步是选取结果池中超出平均值数量的底层分叉器输出端，第二步S2是分配第一步中选取的底层分叉器输出端分配给底层分叉器输出端不足平均值的结果池，第三步S3是分配无人脸属性的底层分叉器输出端；

所述收集单元通过计算第一吻合值W₁进行步骤S1中底层分叉器输出端的选取，所述第一吻合值W₁的计算公式为：

；

其中，n_i表示该底层分叉器输出端中第i类人脸属性中个数最多的子属性的个数，m_i表示该底层分叉器输出端中第i类人脸属性的所有子属性的总个数，n为人脸属性的种类个数；

所述收集单元通过计算第二吻合值来进行步骤S2中底层分叉器输出端的分配，所述第二吻合值W₂的计算公式为：

；

其中，n_i’表示待分配底层分叉器输出端中含有的第i类人脸属性中为该结果池的子属性的个数。

实施例二。

本实施例包含了实施例一的全部内容，提供了一种基于深度学习的人脸属性识别系统，所述系统包括输入模块、分析模块、投喂模块、学习模块和输出模块，所述输入模块用于输入一张图像，所述图像经所述分析模块处理后被传输至一个结果池，所述输出模块根据所述结果池的位置得到图像中的人脸属性，所述投喂模块将大量已有属性的图形发送至所述输入模块，所述学习模块根据所述输出模块的输出结果与图片的已知属性进行对比，并根据对比结果对所述分析模块的参数进行调整；

结合图2和图3，所述分析模块包括分散单元和聚合单元，所述分散单元包括大量分叉器，所述分叉器包括一个输入端、两个输出端和判断箱，所述输入端用于接收图像，所述判断箱根据图像计算出一个特征值，并根据所述特征值与阈值的大小关系决定将图像发送至两个输出端的其中一个输出端，一个分叉器的输入端与另一个分叉器的输出端相连，一个输入端能够与多个输出端相连，而一个输出端只能与一个输入端相连，所述分叉器根据其在所述分散单元中的位置划分为三类，第一类是顶层分叉器，位于所述分散单元的顶端，所述顶层分叉器有且只有一个，所述顶层分叉器的输入端与所述输入模块相连，第二类是中间层分叉器，位于所述分散单元的中部，所述中间层分叉器的输入端/输出端必定与另一个分叉器的输出端/输入端相连，第三类是底层分叉器，位于分散的底部，所述底层分叉器的输入端与所述中间层分叉器的输出端相连，所述底层分叉器的输出端与聚合单元相连，图像从所述顶层分叉器到所述底层分叉器所经过的分叉器的个数称为分散单元的深度，所述分散单元的深度越深，底层分叉器的个数越多，分析模块的分析精度越高；

所述聚合单元包括若干个结果池，所述结果池的个数N为：

；

其中，n为人脸属性的种类个数，f(i)表示第i种人脸属性所包含的具体子属性个数；

举例来说，若人脸属性种类为性别和肤色两个种类，性别包括男女两个子属性，肤色包括黄、白和黑三个子属性，则结果池的个数为6；

所述结果池与所述底层分叉器的输出端的连接关系通过所述投喂模块向所述分析模块投放大量图像数据进行初步确定；

所述投喂模块具有海量的人脸图像，且每个图像都已设置好属性，所述投喂模块还包括收集单元，所述收集单元与所述底层分叉器的输出端直接相连，当所述图片经所述底层分叉器被所述收集单元收集时，所述图片上还会添加途径的底层分叉器的输出端地址信息，所述收集单元以所述地址信息为基础建立统计区域，每有一份包含所述地址信息的图像，对应的统计区域中的该图像的每个属性累加1，当用于初步确定的图像投喂完后，统计区域中每类属性中个数最多的子属性作为对应地址信息的底层分叉器的属性；

此时，每个底层分叉器的输出端具有人脸属性，并与其中一个结果池对应，每个结果池对应的底层分叉器的数量呈现随机化，在极端情况下，存在底层分叉器的输出端没有接收到投喂的人脸图像导致无人脸属性；

所述收集单元对所述底层分叉器的输出端的人脸属性进行平均调整，使得每个结果池对应的底层分叉器的数量相同或相差1，将对应底层分叉器输出端的数量大于平均值的结果池中的多出部分的底层分叉器输出端划分给对应底层分叉器输出端数量少于平均值的结果池，无人脸属性的底层分叉器输出端也划分给对应底层分叉器输出端数量少于平均值的结果池；

平均调整分为三个步骤，第一步S1是选取结果池多出部分的底层分叉器输出端，第二步S2是分配第一步中选取的底层分叉器输出端，第三步S3是分配无人脸属性的底层分叉器输出端；

S1、所述收集单元通过计算对应底层分叉器输出端的数量大于平均值的结果池的对应底层分叉器输出端的第一吻合值W₁来进行选取，所述第一吻合值W₁的计算公式为：

；

其中，n_i表示该底层分叉器输出端中第i类人脸属性中个数最多的子属性的个数，m_i表示该底层分叉器输出端中第i类人脸属性的所有子属性的总个数；

将一个结果池的所有对应底层分叉器输出端根据所述第一吻合值从高到低排序，并从第一吻合值最低的开始选取直至该结果池对应的底层分叉器输出端减小到平均值；

S2、将步骤S1选取的底层分叉器输出端逐个分配对应底层分叉器输出端数量少于平均值的结果池，所述收集单元通过计算待分配的底层分叉器输出端与结果池的第二吻合值来进行分配，所述第二吻合值的计算公式为：

；

其中，n_i’表示待分配底层分叉器输出端中含有的第i类人脸属性中为该结果池的子属性的个数；

待分配的底层分叉器输出端分配给第二吻合值最高的结果池，在分配过程中，若出现结果池对应底层分叉器输出端数量达到平均值，则该结果池不参与后续的分配环节；

S3、无人脸属性的底层分叉器输出端随机分配给剩下的结果池，使其对应的底层分叉器输出端数量达到平均值；

至此，每个底层分叉器输出端都与一个对应的结果池连接；

所述判断箱中特征值的计算与其分叉器所在的层数有关，当图像在k层时，所述图像被分割成2^k-1个子图，所述特征值的计算公式为：

；

其中，P(i)是第i个子图的图像值；

结合图5，所述图像值的获取过程包括如下步骤：

S21、选择子图像中灰度值最高的r个点，称为亮点，选择子图像中灰度值最低的r个点，称为暗点，并分别记录下亮点与暗点的坐标；

S22、将亮点与暗点两两配对，形成r个亮暗组合点，配对方式为逐个选择亮点，并选择与该亮点最远的暗点进行配对；

S23、计算每对亮暗组合点的几何距离，其几何距离的平均值作为图像值；

结合图4，所述分叉器根据所述特征值与阈值的大小关系对子图进行分割，当特征值小于阈值时，其选择的输出端连接的下个分叉器会横向分割子图，当特征值大于等于阈值时，其选择的另一个输出端连接的下个分叉器会纵向分割子图；

当所述系统使用学习模块进行学习改进时，投喂的图像会记录其经过的分叉器，所述学习模块根据所述分析模块的属性结果和图像自身的属性的差别确定一个目标分叉器，所述目标分叉器为若改变在该分叉器上的输出端的选择后有可能得到正确的属性结果的离底层分叉器最近的分叉器，当需要将所述目标分叉器上的阈值减小时，该目标分叉器的负计数器n_-累加1，当需要将所述目标分叉器上的阈值增大时，该目标分叉器的正计数器n₊累加1；

当投喂一批图像后，对所述目标分叉器中判断箱中的阈值Yu进行调整，调整方式为：

；

其中，n_z为在这批学习图像中经过该目标分叉器的总次数；

当经过大量批次的图像投喂进行学习后，所述分析模块对图像的人脸属性判断会越来越精准。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于深度学习的人脸属性识别系统，其特征在于，包括输入模块、分析模块、投喂模块、学习模块和输出模块，所述输入模块用于输入一张图像，所述图像经所述分析模块处理后被传输至一个结果池，所述输出模块根据所述结果池得到图像中的人脸属性，所述投喂模块包括具有人脸属性的图像，所述学习模块用于对所述分析模块的参数进行调整；

所述分析模块包括分散单元和聚合单元，所述分散单元对输入的图像处理后将所述图像发送至一个若干输出端中的其中一个，所述聚合单元用于将所述输出端与所述结果池建立对应关系，不同的结果池具有不同的人脸属性；

所述系统的使用包括三个阶段，第一阶段为结果池与输出端的连接，第二阶段为分析模块的学习改进，第三阶段为正式使用；

第一阶段通过所述投喂模块向所述分析模块输入图像并进行收集处理；

所述投喂模块还包括收集单元，所述收集单元与输出端直接相连，所述投喂模块对输入的图像在输出端的位置进行统计，每个输出端具有的同一类型人脸属性中数量最多的子属性为该输出端的人脸属性，所述聚合单元根据输出端的人脸属性与对应的结果池建立连接关系；

第二阶段通过所述投喂模块向所述分析模块输入图像，所述学习模块根据结果随所述分析模块进行调整；

所述分析模块包括若干分叉器，所述分叉器包括一个输入端、两个输出端和一个判断箱，所述分叉器的输入端与另一个分叉器的输出端相连，所述判断箱对所述输入端的图像进行计算并将计算结果与阈值比较，通过比较结果选择对应的一个输出端发送图像，在所述第二阶段，图像会记录其经过的分叉器，所述学习模块根据所述分析模块判断的属性结果确定一个目标分叉器，所述目标分叉器的确定根据如下原则：若改变分叉器上的输出端的选择后有可能得到正确的属性结果，且该分叉器离结果池最近，则该分叉器为目标分叉器；当需要将所述目标分叉器上的阈值减小时，该目标分叉器的负计数器n_-累加1，当需要将所述目标分叉器上的阈值增大时，该目标分叉器的正计数器n₊累加1；

当投喂一批图像后，所述学习模块对所述目标分叉器中判断箱中的阈值Yu进行调整，调整方式为：

；

其中，n_z为在这批学习图像中经过该目标分叉器的总次数；

所述第三阶段和所述第二阶段需要基于所述第一阶段才能进行，所述第二阶段和所述第三阶段能够并行使用，所述第二阶段的学习数据越多，所述第三阶段的识别结果越准确。

2.如权利要求1所述的一种基于深度学习的人脸属性识别系统，其特征在于，所述分叉器包括顶层分叉器、中间层分叉器和底层分叉器，所述底层分叉器的输出端作为分散单元的输出端与结果池连接。

3.如权利要求2所述的一种基于深度学习的人脸属性识别系统，其特征在于，所述收集单元在所述第一阶段对所述底层分叉器输出端的人脸属性进行平均调整，使得每个结果池对应的底层分叉器输出端数量为平均值，所述平均调整包括三个步骤，第一步S1是选取结果池中超出平均值数量的底层分叉器输出端，第二步S2是分配第一步中选取的底层分叉器输出端分配给底层分叉器输出端不足平均值的结果池，第三步S3是分配无人脸属性的底层分叉器输出端。

4.如权利要求3所述的一种基于深度学习的人脸属性识别系统，其特征在于，所述收集单元通过计算第一吻合值W₁进行步骤S1中底层分叉器输出端的选取，所述第一吻合值W₁的计算公式为：

；

其中，n_i表示该底层分叉器输出端中第i类人脸属性中个数最多的子属性的个数，m_i表示该底层分叉器输出端中第i类人脸属性的所有子属性的总个数，n为人脸属性的种类个数。

5.如权利要求4所述的一种基于深度学习的人脸属性识别系统，其特征在于，所述收集单元通过计算第二吻合值W₂来进行步骤S2中底层分叉器输出端的分配，所述第二吻合值W₂的计算公式为：

；

其中，n_i’表示待分配底层分叉器输出端中含有的第i类人脸属性中为该结果池的子属性的个数。

Images