CN113657188A - 人脸年龄识别方法、系统、电子装置和存储介质 - Google Patents
人脸年龄识别方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113657188A CN113657188A CN202110845342.3A CN202110845342A CN113657188A CN 113657188 A CN113657188 A CN 113657188A CN 202110845342 A CN202110845342 A CN 202110845342A CN 113657188 A CN113657188 A CN 113657188A
- Authority
- CN
- China
- Prior art keywords
- face
- age
- image
- value
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000008921 facial expression Effects 0.000 claims abstract description 45
- 230000014509 gene expression Effects 0.000 claims description 43
- 210000001508 eye Anatomy 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000007477 logistic regression Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种人脸年龄识别方法、装置、系统、电子装置和存储介质，其中，该人脸年龄识别方法，通过对采集图像进行人脸检测，获取人脸框；对人脸框中的人脸进行特征点检测，并根据检测到的特征点判断人脸表情；在人脸表情符合识别条件的情况下，通过年龄识别模型判断采集图像中的人脸的年龄分类，解决了通过人脸进行年龄识别的准确率低的问题，提高了仅通过人脸进行年龄识别的准确性和可靠性。
Description
技术领域
本申请涉及图像处理领域，特别是涉及人脸年龄识别方法、系统、电子装置和存储介质。
背景技术
随着城市生活的多样化和复杂化，在很多场景下都需要对人群的年龄分类进行识别。例如：户外运动中仅限某个年龄段的人参与的危险项目，网吧、酒吧等禁止未成年出入的场所，需要识别当事人是否成年。
现有的方法主要通过人体外形等特征，判断目标是否为未成年人，以及通过人脸或语音信息判断目标是否成年。在通过人脸进行年龄分类的情景中，是只通过单一的人脸识别模型，在其他外界因素影响下对目标年龄判断会产生的影响。
目前针对相关技术中通过人脸进行年龄识别的准确率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种人脸年龄识别方法、装置、系统、电子装置和存储介质，以至少解决相关技术中通过人脸进行年龄识别的准确率低的问题。
第一方面，本申请实施例提供了一种人脸年龄识别方法，该方法包括：
对采集图像进行人脸检测，获取人脸框；
对所述人脸框中的人脸进行特征点检测，并根据检测到的所述特征点判断人脸表情；
在所述人脸表情符合识别条件的情况下，通过年龄识别模型判断所述采集图像中的所述人脸的年龄分类。
在其中一些实施例中，所述通过年龄识别模型判断所述采集图像中的所述人脸的年龄分类包括：
将所述人脸框输入所述年龄识别模型；
所述年龄识别模型通过依次连接的深度残差网络、全连接层和逻辑回归模型对所述人脸框中的人脸图像进行分类并输出的所述年龄分类。
在其中一些实施例中，所述年龄识别模型中所述深度残差网络用于获取所述人脸图像中的局部特征；所述全连接层用于将上述局部特征整合为完整特征图，并输出至所述逻辑回归模型；所述逻辑回归模型用于根据所述完整特征图输出所述年龄分类，其中，所述深度残差网络包括卷积核大小为3×3的两层残差学习单元，所述逻辑回归模型为softmax逻辑回归模型。
在其中一些实施例中，对所述人脸框中的人脸进行特征点检测，并根据所述特征点判断人脸表情包括：
对所述人脸框中的人脸进行特征点检测，并从检测到的所述特征点中获取预设的表情关键点；
根据所述表情关键点的相对位置判断所述人脸表情。
在其中一些实施例中，所述表情关键点为眼睛、鼻子和嘴巴。
在其中一些实施例中，根据所述表情关键点的相对位置判断人脸表情包括：
分别计算眼睛中心点坐标、鼻子中心点坐标和嘴巴中心点坐标；
根据所述眼睛中心点坐标、所述嘴巴中心点坐标、所述鼻子中心点坐标以及所述人脸框的宽高值，得到所述表情关键点的相对位置值；
在所述相对位置值在预设的阈值范围内的情况下，判断所述人脸表情符合识别条件。
在其中一些实施例中，对所述人脸框中的人脸进行特征点检测之前还包括：
对所述第一人脸框的边缘进行外扩。
在其中一些实施例中，对采集图像进行人脸检测之前，所述方法还包括：
通过伽马矫正对所述采集图像进行光照预处理。
在其中一些实施例中，通过伽马矫正对所述采集图像进行光照预处理包括：
计算所述采集图像的像素平均值；
以灰度值128为基准，计算所述像素平均值与128的差值绝对值；
在所述像素平均值大于128的情况下，所述伽马矫正中的伽马值为128与所述差值绝对值的比值，在所述像素平均值小于128的情况下，所述伽马矫正中的伽马值为所述差值绝对值与128的比值。
第二方面，本申请实施例提供了一种人脸年龄识别系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于获取采集图像；
所述传输设备用于将所述采集图像传输至所述服务器设备；
所述服务器设备用于执行如上述第一方面所述的人脸年龄识别方法。
第三方面，本申请实施例提供了一种人脸年龄识别告警装置，包括处理器和告警设备；处理器用于执行上述第一方面所述的人脸年龄识别方法；所述告警设备用于在所述采集图像中的所述人脸的年龄分类为预设的告警分类的情况下执行告警。
在其中一些实施例中，人脸年龄识别告警装置还包括图像采集设备，所述图像采集设备用于获取所述采集图像。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的人脸年龄识别方法。
相比于相关技术，本申请实施例提供的人脸年龄识别方法，通过对采集图像进行人脸检测，获取人脸框；对人脸框中的人脸进行特征点检测，并根据特征点判断人脸表情；在人脸表情符合识别条件的情况下，通过年龄识别模型判断采集图像中的人脸的年龄分类，解决了通过人脸进行年龄识别的准确率低的问题，提高了仅通过人脸进行年龄识别的准确性和可靠性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的人脸年龄识别方法的终端的硬件结构框图；
图2是根据本申请一个实施例的人脸年龄识别方法的流程图；
图3是根据本申请另一个实施例的人脸年龄识别方法的流程图；
图4是根据本申请又一个实施例的人脸年龄识别方法的流程图；
图5是根据本申请再一个实施例的人脸年龄识别方法的流程图；
图6是根据本申请优选实施例的未成年人人脸识别方法的流程图；
图7是根据本申请优选实施例中的人脸特征点检测示意图；
图8是根据本申请优选实施例中的人脸年龄识别算法模型示意图；
图9是根据本申请实施例的人脸年龄识别系统结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是根据本申请实施例的人脸年龄识别方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的人脸年龄识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种人脸年龄识别方法，图2是根据本申请一个实施例的人脸年龄识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，对采集图像进行人脸检测，获取人脸框。可选地，基于深度学习的目标检测算法中包括组件骨干网络和检测头，骨干网络(Backbone)主要指用于特征提取的，已在大型数据集上完成预训练，拥有预训练参数的卷积神经网络，例如：ResNet、Darknet53等。检测头(Head)主要用于预测目标的种类和位置(bounding boxes)。在一些实施例中，本步骤中使用retinanet目标检测算法作为人脸检测算法，使用步长stride分别为8,16,32的特征图，每个特征图都有两个head输出，分别预测人脸置信度和人脸框坐标。
步骤S202，对人脸框中的人脸进行特征点检测，并根据检测到的特征点判断人脸表情。人脸特征点检测，是通过人脸特征点检测算法将人脸特定区域检测出来，如眼、眉毛、鼻子、嘴巴和脸部轮廓等等。可选地，采用68个点人脸特征点检测算法，将步骤S201中检测出的人脸框送入该算法模块，可以获得人脸特征点的检测结果，每个特征点都有唯一的编号，通过编号可以获取特定区域的人脸特征点。然后根据各个特征点的位置，可以判断人脸表情。表情判断可以根据各个特征点所反映的五官的形态进行判断，例如，在面部放松的情况下，正常的面部轮廓、眼睛和嘴巴都应当符合预设的位置以及形态，而故意做鬼脸或者扭曲面部的情况下，眼睛、嘴巴甚至脸部轮廓都会产生变形。通过深度学习模型，或者通过各个部分之间的位置，可以对人脸的表情进行判断。
步骤S203，在人脸表情符合识别条件的情况下，通过年龄识别模型判断采集图像中的人脸的年龄分类。在一些实施例中，当人脸表情被判断为非放松状态的情况下，可以发出语音或者文字提示，要求被检测人改变表情。直至采集到表情符合识别条件的人脸图像，再将该人脸图像送入人脸年龄识别算法模型中。上述人脸年龄识别算法模型通过深度学习，通过预先收集的预设年龄段的数据集，对模型进行训练，例如成年人和未成年人，老年人和幼童等，将此模型作为一个分类判别器，判断输入的检测目标的年龄段。进一步地，可以根据采集图像中的人脸的年龄分类进行后续处理，例如，未成人年不得进入的场所在检测到未成年人的情况下可以给出警报。
通过上述步骤，通过对采集图像进行人脸检测，获取人脸框；对人脸框中的人脸进行特征点检测，并根据特征点判断人脸表情；在人脸表情符合识别条件的情况下，通过年龄识别模型判断采集图像中的人脸的年龄分类，在进行人脸年龄识别之前进行了人脸表情判断，排除了在人脸年龄识别过程中可能出现的，被检测者试图通过鬼脸或者其他扭曲面部五官的行为对识别结果进行混淆的可能性，从而使得人脸年龄识别的结果更加准确和可靠。
在一些实施例中，通过年龄识别模型判断采集图像中的人脸的年龄分类包括以下过程：将人脸框输入年龄识别模型，年龄识别模型通过深度残差网络(Deep residualnetwork,ResNet)、全连接层和逻辑回归模型对人脸框中的人脸图像进行分类并输出的年龄分类。本实施例中，通过深度学习，通过预先收集的各个年龄分类的人脸数据集，对模型进行训练，将此模型作为一个分类判别器，判断输入目标所属的年龄分类。上述年龄识别模型仅需要面部信息，而无需人体其他部分的信息，既可以完成年龄分类。在深度学习中，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，但是实验发现深度网络出现了退化问题(Degradation problem)：网络深度增加时，网络准确度出现饱和，甚至出现下降。因此深度残差网络被提出以解决网络退化问题。对于一个堆积层结构当输入为x时学习到的特征记为H(x)，现在希望其可以学习到残差F(x)＝H(x)-x，这样其实原始的学习特征是F(x)+x。之所以这样是因为残差学习相比原始特征直接学习更容易。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。通过ResNet为骨干网络获取人脸框中人脸图像的局部特征，然后通过全连接层将局部特征重新通过权值矩阵组装成完整的图，最后通过逻辑回归模型进行分类，实现完整的基于人脸的年龄分类的深度学习模型。可选地，上述深度残差网络包括卷积核大小为3×3的两层残差学习单元，逻辑回归模型为softmax逻辑回归模型。在一些实施例中，上述年龄分类是根据人脸将检测对象分类为成年人和未成年人。
在其中一些实施例中，图3是根据本申请另一个实施例的人脸年龄识别方法的流程图，如图3所示，对人脸框中的人脸进行特征点检测，并根据特征点判断人脸表情包括：
步骤S301，对人脸框中的人脸进行特征点检测，并从检测到的特征点中获取预设的表情关键点。在本步骤中，从数量较大的人脸特征点中选取对于判断人脸表情较为重要的表情关键点。可选地，表情关键点为眼睛、鼻子和嘴巴所对应的特征点。在一些实施例中，表情关键点甚至可以不是上述部位所对应的全部特征点，而是能够反映轮廓的最少特征点，例如，眼角、嘴角或者唇峰等。
步骤S302，根据表情关键点的相对位置判断人脸表情。在本步骤中，由于仅选取人脸特征中的部分表情关键点，相应地，可以通过表情关键点之间的相对位置判断人脸表情，即在表情放松的情况下，眼睛鼻子嘴巴之间的相对位置应当有合理范围，一旦上述五官部位之间的相对位置超出或者小于上述合理范围的情况下，则判断采集图像中的人脸在做非正常的表情。
在本实施例中，为了减小表情判断过程中的数据计算与比对量，仅选择人脸特征点中具有代表性的人脸表情关键点，并且通过上述人脸表情关键点相对位置的比对进行人脸表情的判断，减小了人脸表情判断所需要的计算成本并且提高了表情判断的效率。
在其中一些实施例中，图4是根据本申请又一个实施例的人脸年龄识别方法的流程图，如图4所示，根据表情关键点的相对位置判断人脸表情包括：
步骤S401，分别计算眼睛、鼻子和嘴巴的中心点坐标。获取特征点中的表情关键点分别是左眼内外眼角、右眼内外眼角、鼻尖和左右嘴角。然后计算眼睛以及嘴巴左右嘴角坐标的中点位置坐标，用以表征该器官的中心点。
步骤S402，根据眼睛中心点坐标、嘴巴中心点坐标、鼻子中心点坐标以及人脸框的宽高值，得到表情关键点的相对位置值；。其中，上述眼睛中心点坐标可以是分别计算左眼中心点坐标与右眼中心坐标，也可以是进一步计算两只眼睛的中心点坐标再进行相对位置值得计算。可选地，眼睛位置值为眼睛中心点坐标的x坐标值与人脸框的宽度值的比值加上眼睛中心点坐标y坐标值与人脸框高度值得比值，嘴巴位置值为嘴巴中心点坐标的x坐标值与人脸框的宽度值的比值加上嘴巴中心点坐标y坐标值与人脸框高度值得比值，而鼻子位置值为鼻子中心点坐标的x坐标值与人脸框的宽度值的比值加上鼻子中心点坐标y坐标值与人脸框高度值得比值，而表情关键点的相对位置值即眼睛位置值与嘴巴位置值的差值与鼻子位置值的比值。需要说明的是，上述计算方式为相对位置值的一种计算方法，任何能够指示眼睛中心点、鼻子中心点和嘴巴中心点在人脸框内的相对位置的值都可以作为相对位置值。
步骤S403，在相对位置值在预设的阈值范围内的情况下，判断人脸表情符合识别条件。将上述相对位置值与预设的阈值范围进行比较。预设的阈值范围是通过正常表情时上述器官之间的相对位置得到的。
在本实施例中，通过表情关键点中的几个坐标进行五官相对位置的计算，并最终通过相对位置值进行表征，一方面进一步减少了表情关键点的数量，另一方面仅通过相对位置值进行面部表情的判断，提高了面部表情判断的效率。
在其中一些实施例中，对采集图像进行人脸检测，获取人脸框，对人脸框中的人脸进行特征点检测包括：将人脸框的边缘进行外扩；再对外扩后的人脸框中的人脸进行特征点检测。在本实施中，在对采集图像进行人脸检测并得到人脸框之后，并不直接将人脸检测获取到的人脸框输入人脸特征点的检测模型中，而是先将该人脸框进行边缘外扩，再将边缘外扩后的人脸框输入人脸特征点检测模型中。在本实施例中，边缘外扩所获取到的环境信息可以是多种图像信息，即可以是人脸因为非正常表情导致的额外的人脸部分，也可以是与该人脸区域相关的周围环境，这个周围环境具体是什么，完全取决于该人脸区域的关联信息等，不加以限定。上述边缘外扩的方式也不加限定，可以根据实际需求进行调整。可选地，可以将人脸框的长宽分别扩张至原边长的特定倍数，也可以是增加人脸框的面积至原面积的特定倍数。上述边缘扩张方式可以根据人脸在图像中的比例大小进行调整。其目的均是增加人脸框中的图像信息，防止由于被检测目标故意的表情扭曲导致人脸特征点在人脸框中的丢失，也可以进一步提高后续人脸特征点的检测以及人脸年龄分类的准确性。
在其中一些实施例中，图5是根据本申请再一个实施例的人脸年龄识别方法的流程图，如图5所示，对采集图像进行人脸检测之前，该方法还包括：
步骤S501，通过伽马矫正对采集图像进行光照预处理。伽马(Gamma)矫正对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。公式1是伽马校正中的像素值转换公式，假设I为输入图像的像素值，I′为Gamma矫正后的像素值。最后，对计算出的像素值进行反归一化，使像素值扩大，就得到矫正后的图像。
假设图像中有一个像素，值是200，那么对这个像素进行校正必须执行如下步骤：归一化，即将像素值转换为0至1之间的实数，算法为(i+0.5)/256。对于像素A而言,其对应的归一化值为0.783203；预补偿，即根据公式求出像素归一化后的数据以1/gamma为指数的对应值。这一步包含一个求指数运算，若gamma值为2.2,则1/gamma为0.454545,对归一化后的A值进行预补偿的结果就是0.783203^0.454545＝0.894872；最后进行反归一化，即将经过预补偿的实数值反变换为0至255之间的整数值。具体算法为:f*256-0.5，将A的预补偿结果0.894872代入上式，得到A预补偿后对应的像素值为228，这个228就是最后校正后的像素数据。通过本实施例中的图像矫正，可以对采集图像进行光照预处理，从而减小光照对于人脸检测的影响，更好地对采集图像中的人脸进行检测，也能进一步提高后续人脸年龄识别的准确性。
在其中一些实施例中，还提供了一种自适应的Gamma矫正方法，首先求出图像整体的像素平均值，灰度值128为基准，像素平均值超过128，则视为过亮，否则为过暗，以128为归一化幅度的自适应Gamma参数公式2。从而无需对应各个采集图像手动设定不同的gamma值，矫正效率更高，效果也更好。
下面通过优选实施例对本申请实施例进行描述和说明。
图6是根据本申请优选实施例的未成年人人脸识别方法的流程图，如图6所示，在需要监控未成年人的场所，当有目标进入，对目标进行图像采集，对采集图像进行光照预处理，利用深度学习的人脸检测算法获取目标人脸，将人脸区域外扩，通过人脸特征点提取算法获取表情感兴趣区域，通过对感兴趣区域的数字统计计算方法，判断人脸表情是否超过设定阈值，如果超过则为不正常，接着重新检测人脸，再次判断表情，当表情正常，对截取的人脸区域进行年龄识别，当识别结果为成人，系统显示正常通行，否者警报提示。具体地，利用人脸年龄识别，进行未成年人判断的方法包括如下步骤：
步骤S601，采集图像。通过图像采集设备对检测目标进行图像采集，采集图像可以是视频帧，也可以是非连续的静态图像。
步骤S602，光照预处理。日常生活中的光照随着时间的不同而发生变化，因此对图像采集设备的图像进行光照预处理，可以有效的抑制光照对系统中的人脸年龄识别的影响。具体通过Gamma矫正进行：根据公式1，假设I为输入图像的像素值，I^'为Gamma矫正后的像素值。最后，对计算出的像素值进行反归一化，使像素值扩大，就得到矫正后的图像。
同时，本实施例中还采用自适应的Gamma矫正方法，首先求出图像整体的像素平均值，灰度值128为基准，像素平均值超过128，则视为过亮，否则为过暗，以128为归一化幅度的自适应Gamma参数如公式2。
步骤S603，人脸检测。使用retinanet目标检测算法作为人脸检测算法，其中使用stride分别为8,16,32的特征图，每个特征图都有两个head输出，分别预测人脸置信度和人脸框坐标。
步骤S604，判断脸部表情是否正常。人脸特征点检测，指的是将人脸特定区域检测出来，如左右眼，眉毛，嘴角等等，本方法采用68个点人脸特征点检测算法，将获取的人脸框区域外扩1.2倍，送入人脸特征点检测算法模块，可以获得检测结果。图7是根据本申请优选实施例中的人脸特征点检测示意图，如图7所示，每个特征点都有唯一的编号，通过编号可以获取特定区域的人脸特征点。
在1.2倍的外扩人脸图片上，进行特征点检测，获得表情关键点左眼内、外眼角(43，46)，右眼内、外眼角(37,40)，鼻尖(34)，嘴角(49,55)共7个表情关键点的绝对位置信息。根据正常表情下这7个表情关键点的相对位置计算，可以确定两个阈值θ，β，若被测试目标的7个特征点的相对位置计算值，小于设定阈值θ或者大于设定阈值β，判定目标表情不正常，系统提示人脸表情不正常，之后重新检测人脸，再次进行表情判断。当相对位置计算值处于阈值区间内，判断面部表情正常，再进入步骤S605进行人脸年龄识别。
根据公式3分别计算左眼，右眼，嘴角的中心点坐标：
center_point＝(L+R)/2 公式3
其中，L、R分别代表关键部位的左值和右值坐标
上式中，CM表示嘴部中心值，CE表示眼部中心值，Nose表示鼻子坐标cxCM,cyCM,cxCE,cyCE,cxNose,cyNose分别表示CM，CE，Nose的中心点x坐标值和y坐标值。W,h分别是外扩后的人脸框的宽和高。通过这种人脸关键点特定区域的相对位置计算，可以通过一个相对位置值，有效的判断目标表情是否正常。
步骤S605，人脸年龄识别。本方法通过深度学习，通过预先收集的成年人和未成年人的数据集，对模型进行训练，将此模型作为一个分类判别器，判断输入目标是否成年。其中，图8是根据本申请优选实施例中的人脸年龄识别算法模型示意图，如图8所示，本模型使用Resnet作为backbone，最后加上全连接层和softmax层，将图像中的人脸分类为两类：成年与未成年。
步骤S606，正常通行。在人脸年龄识别结果为成年人的情况下，放行。
步骤S607，警报提示。在人脸年龄识别结果为未成年人的情况下，执行警报。
现有的人脸年龄识别的方案，无法摆脱光线和人脸表情对年龄的影响，本申请的优选实施例通过光线预处理操作，和表情判断机制，将光线和人脸表情的影响降到很低，有效的提升了最后判断分类模型对目标的年龄判断能力。
本优选实施例提供了一种基于人脸的未成年人检测方法，不同于现有的未成年人识别方法，本优选实施例只需要面部信息，就可以自动判断目标是否为成年人，并根据需要，对未成年人进行警报处理。同时，本方法通过光照预处理，人脸关键点比较的方法，将对年龄识别产生影响的光照和表情等因素进行了处理，使得人脸年龄识别更加鲁棒。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。并且，优选实施例中的年龄判断并不仅限于成年人与未成年人，也可以用于幼儿或者老人等其他年龄识别场景中。
图9是根据本申请实施例的人脸年龄识别系统结构框图，如图9所示，该装置包括：终端设备91、传输设备92以及服务器设备93；其中，终端设备91通过传输设备92连接服务器设备93；终端设备91用于获取采集图像；传输设备92用于将采集图像传输至服务器设备93；服务器设备93用于执行上述人脸年龄识别方法。
需要说明的是，上述系统中可能存在的各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请还提供了一种人脸年龄识别告警装置，包括处理器和告警设备，处理器用于执行上述的人脸年龄识别方法，告警设备用于在采集图像中的人脸的年龄分类为预设的告警分类的情况下执行告警。例如，预设的告警分类为未成年人，则在处理器检测到采集图像所对应的人脸所属的年龄分类为未成年人的情况下，处理器将发送告警信号至告警设备，告警设备在接收到上述告警信号的情况下将执行预设的告警行为。根据告警设备的不同，告警行为可以是与告警设备对应的方式，例如，在告警设备为警报器的情况下，告警行为可以是警报声音；在告警设备为告警灯的情况下，告警行为可以是灯光的闪烁；又或者，在告警设备为开合装置的情况下，告警行为可以是控制开合装置的闭合，从而对采集图像对应的检测对象进行拦截等。告警设备及其执行的告警行为可以根据具体应用场景进行选择，不限于上述举例。
在一些实施例中，人脸年龄识别告警装置还包括图像采集设备，图像采集设备用于获取采集图像。可选地，处理器可以集成于图像采集设备或者告警设备中；图像采集设备、处理器和告警设备也可以是集成一体的装置。
本申请实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
对采集图像进行人脸检测，获取人脸框；
对人脸框中的人脸进行特征点检测，并根据特征点判断人脸表情；
在人脸表情符合识别条件的情况下，通过年龄识别模型判断采集图像中的所述人脸的年龄分类。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
另外，结合上述实施例中的人脸年龄识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种人脸年龄识别方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种人脸年龄识别方法，其特征在于，包括：
对采集图像进行人脸检测，获取人脸框；
对所述人脸框中的人脸进行特征点检测，并根据检测到的所述特征点判断人脸表情；
在所述人脸表情符合识别条件的情况下，通过年龄识别模型判断所述采集图像中的所述人脸的年龄分类。
2.根据权利要求1所述的人脸年龄识别方法，其特征在于，所述通过年龄识别模型判断所述采集图像中的所述人脸的年龄分类包括：
将所述人脸框输入所述年龄识别模型；
所述年龄识别模型通过依次连接的深度残差网络、全连接层和逻辑回归模型对所述人脸框中的人脸图像进行分类并输出的所述年龄分类。
3.根据权利要求2所述的人脸年龄识别方法，其特征在于，所述年龄识别模型中所述深度残差网络用于获取所述人脸图像中的局部特征；所述全连接层用于将所述局部特征整合为完整特征图，并输出至所述逻辑回归模型；所述逻辑回归模型用于根据所述完整特征图输出所述年龄分类，其中，所述深度残差网络包括卷积核大小为3×3的两层残差学习单元，所述逻辑回归模型为softmax逻辑回归模型。
4.根据权利要求1所述的人脸年龄识别方法，其特征在于，对所述人脸框中的人脸进行特征点检测，并根据所述特征点判断人脸表情包括：
对所述人脸框中的人脸进行特征点检测，并从检测到的所述特征点中获取预设的表情关键点；
根据所述表情关键点的相对位置判断所述人脸表情。
5.根据权利要求4所述的人脸年龄识别方法，其特征在于，所述表情关键点为眼睛、鼻子和嘴巴。
6.根据权利要求5所述的人脸年龄识别方法，其特征在于，根据所述表情关键点的相对位置判断人脸表情包括：
分别计算眼睛中心点坐标、鼻子中心点坐标和嘴巴中心点坐标；
根据所述眼睛中心点坐标、所述嘴巴中心点坐标、所述鼻子中心点坐标以及所述人脸框的宽高值，得到所述表情关键点的相对位置值；
在所述相对位置值在预设的阈值范围内的情况下，判断所述人脸表情符合识别条件。
7.根据权利要求1所述的人脸年龄识别方法，其特征在于，在对所述人脸框中的人脸进行特征点检测之前还包括：
对所述人脸框的边缘按照预设比例进行外扩。
8.根据权利要求1所述的人脸年龄识别方法，其特征在于，对采集图像进行人脸检测之前，所述方法还包括：
通过伽马矫正对所述采集图像进行光照预处理。
9.根据权利要求8所述的人脸年龄识别方法，其特征在于，通过伽马矫正对所述采集图像进行光照预处理包括：
计算所述采集图像的像素平均值；
以灰度值128为基准，计算所述像素平均值与128的差值绝对值；
在所述像素平均值大于128的情况下，所述伽马矫正中的伽马值为128与所述差值绝对值的比值，在所述像素平均值小于128的情况下，所述伽马矫正中的伽马值为所述差值绝对值与128的比值。
10.一种人脸年龄识别系统，其特征在于，包括终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于获取采集图像；
所述传输设备用于将所述采集图像传输至所述服务器设备；
所述服务器设备用于执行如权利要求1至9中任一项所述的人脸年龄识别方法。
11.一种人脸年龄识别告警装置，其特征在于，包括处理器和告警设备；
所述处理器用于执行如权利要求1至9中任一项所述的人脸年龄识别方法；
所述告警设备用于在所述采集图像中的所述人脸的年龄分类为预设的告警分类的情况下执行告警。
12.根据权利要求11所述的人脸年龄识别告警装置，其特征在于，还包括图像采集设备，所述图像采集设备用于获取所述采集图像。
13.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至9中任一项所述的人脸年龄识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845342.3A CN113657188A (zh) | 2021-07-26 | 2021-07-26 | 人脸年龄识别方法、系统、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845342.3A CN113657188A (zh) | 2021-07-26 | 2021-07-26 | 人脸年龄识别方法、系统、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657188A true CN113657188A (zh) | 2021-11-16 |
Family
ID=78490264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845342.3A Pending CN113657188A (zh) | 2021-07-26 | 2021-07-26 | 人脸年龄识别方法、系统、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657188A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391857A (zh) * | 2014-10-17 | 2015-03-04 | 惠州Tcl移动通信有限公司 | 设备终端及根据年龄信息显示网页内容的方法 |
| JP2015219648A (ja) * | 2014-05-15 | 2015-12-07 | カシオ計算機株式会社 | 年齢推定装置、撮像装置、年齢推定方法及びプログラム |
| CN105335691A (zh) * | 2014-08-14 | 2016-02-17 | 南京普爱射线影像设备有限公司 | 笑脸识别鼓励系统 |
| CN107249100A (zh) * | 2017-06-30 | 2017-10-13 | 北京金山安全软件有限公司 | 一种拍照方法、装置、电子设备及存储介质 |
| CN112163462A (zh) * | 2020-09-08 | 2021-01-01 | 北京数美时代科技有限公司 | 基于人脸的未成年人识别方法、装置、计算机设备 |
| CN112507985A (zh) * | 2021-02-03 | 2021-03-16 | 成都新希望金融信息有限公司 | 人脸图像筛选方法、装置、电子设备及存储介质 |
| CN112560685A (zh) * | 2020-12-16 | 2021-03-26 | 北京嘀嘀无限科技发展有限公司 | 人脸表情识别方法、装置及存储介质 |
-
2021
- 2021-07-26 CN CN202110845342.3A patent/CN113657188A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015219648A (ja) * | 2014-05-15 | 2015-12-07 | カシオ計算機株式会社 | 年齢推定装置、撮像装置、年齢推定方法及びプログラム |
| CN105335691A (zh) * | 2014-08-14 | 2016-02-17 | 南京普爱射线影像设备有限公司 | 笑脸识别鼓励系统 |
| CN104391857A (zh) * | 2014-10-17 | 2015-03-04 | 惠州Tcl移动通信有限公司 | 设备终端及根据年龄信息显示网页内容的方法 |
| CN107249100A (zh) * | 2017-06-30 | 2017-10-13 | 北京金山安全软件有限公司 | 一种拍照方法、装置、电子设备及存储介质 |
| CN112163462A (zh) * | 2020-09-08 | 2021-01-01 | 北京数美时代科技有限公司 | 基于人脸的未成年人识别方法、装置、计算机设备 |
| CN112560685A (zh) * | 2020-12-16 | 2021-03-26 | 北京嘀嘀无限科技发展有限公司 | 人脸表情识别方法、装置及存储介质 |
| CN112507985A (zh) * | 2021-02-03 | 2021-03-16 | 成都新希望金融信息有限公司 | 人脸图像筛选方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 金玉多: "改进Gamma校正的人脸图像光照预处理算法", 电脑知识与技术, vol. 15, no. 20, pages 214 - 217 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727577B2 (en) | Video background subtraction using depth | |
| WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| US8750573B2 (en) | Hand gesture detection | |
| US8792722B2 (en) | Hand gesture detection | |
| WO2018188453A1 (zh) | 人脸区域的确定方法、存储介质、计算机设备 | |
| CN105844128B (zh) | 身份识别方法和装置 | |
| CN108470169A (zh) | 人脸识别系统及方法 | |
| CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
| CN101980242B (zh) | 人脸面相判别方法、系统及公共安全系统 | |
| TW202038191A (zh) | 活體檢測方法和裝置、電子設備及儲存介質 | |
| CN106803301A (zh) | 一种基于深度学习的人脸识别门禁方法及系统 | |
| CN112052815B (zh) | 一种行为检测方法、装置及电子设备 | |
| JP2017062778A (ja) | 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体 | |
| CN108198159A (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
| CN107944381B (zh) | 人脸跟踪方法、装置、终端及存储介质 | |
| CN113222973B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN110795975B (zh) | 人脸误检优化方法及装置 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN112069887A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| US20220198224A1 (en) | Face recognition method, terminal device using the same, and computer readable storage medium | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测系统 | |
| CN113657188A (zh) | 人脸年龄识别方法、系统、电子装置和存储介质 | |
| CN110135224B (zh) | 一种监控视频的前景目标提取方法及系统、存储介质及终端 | |
| CN115147818A (zh) | 玩手机行为识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |