CN110705428A - 一种基于脉冲神经网络的脸部年龄识别系统及方法 - Google Patents

一种基于脉冲神经网络的脸部年龄识别系统及方法 Download PDF

Info

Publication number
CN110705428A
CN110705428A CN201910915136.8A CN201910915136A CN110705428A CN 110705428 A CN110705428 A CN 110705428A CN 201910915136 A CN201910915136 A CN 201910915136A CN 110705428 A CN110705428 A CN 110705428A
Authority
CN
China
Prior art keywords
neuron
pulse
age
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910915136.8A
Other languages
English (en)
Other versions
CN110705428B (zh
Inventor
杨菲
李嘉懿
贺同路
郭学栋
徐晓龙
任永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Intelligent Workshop Technology Co Ltd
Original Assignee
Beijing Intelligent Workshop Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Intelligent Workshop Technology Co Ltd filed Critical Beijing Intelligent Workshop Technology Co Ltd
Priority to CN201910915136.8A priority Critical patent/CN110705428B/zh
Publication of CN110705428A publication Critical patent/CN110705428A/zh
Application granted granted Critical
Publication of CN110705428B publication Critical patent/CN110705428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于脉冲神经网络的脸部年龄识别系统及方法、以及执行上述方法的基于无监督脸部特征向量进行脸部年龄识别的系统、计算机程序、计算机可读存储介质，可以在动态数据集上取得良好的效果。与传统方法相比，本发明的技术方案使用脉冲神经元搭建脉冲神经网络模型，并使用STDP法则(脉冲时间相关的突触可塑性法则)对脉冲神经网络进行训练，同时使用一种侧向抑制方法，获得了无监督的自组织映射神经网络，可以在不断地适应实际数据的变化。从而解决了现有技术只适用于静态数据集的问题。

Description

一种基于脉冲神经网络的脸部年龄识别系统及方法
技术领域
本发明属于人工智能技术领域，尤其涉及一种基于脉冲神经网络的脸部年龄识别系统及方法、以及执行上述方法的基于无监督脸部特征向量进行脸部年龄识别的系统、计算机程序、计算机可读存储介质。
背景技术
近年来，随着人工智能技术的不断发展，在图像识别、语音系统、人机交互等等领域的技术完成了更新换代。由于人脸特征相对于其他生物特征具有自然性、非强制性以及不易仿冒性等优良性状，基于人脸图像的生物特征识别在人工智能技术发展的带动下在性能方面取得了长足的进步。其中，人脸年龄判断方法在安全监控、人机交互、视频检索、身份验证、广告调查等方面取得了广泛的应用前景。
具体来说，基于人工智能的端到端的脸部年龄判断方法的在如下场景下有广泛的应用：
(1)人脸年龄判断技术可直接应用到身份证、护照、驾驶证、信用卡等个人身份证明中，自动地进行个人身份的辨识。这些证件虽然都是证件持有者的正面免冠照片，但是由于时间关系，持有者的相貌与照片已有一些差距，故需要引入人工检验来准确的识别出对象的身份。人脸年龄判断方法可以自动地判断持有者的年龄，自动地比对其与证件照之间的差距，可以有效地减少人工干预。此外，该技术还可以用于打击假姓名、假身份证、冒用身份证等违法犯罪行为。
(2)人脸年龄判断技术可用于大型互联网企业的信息采集与分析系统中。举例说明，在广告调查领域，广告互联网公司可以测定出浏览某个特定广告花费时间最多的特定年龄段人群，针对该年龄段给出特定的广告投放方案。
(3)人脸年龄判断技术可以推动人脸识别技术的发展。通常情况下，人脸的相貌会随着时间的推进发生变化，导致对象的当前相貌与图片库中的图像出现差异，从而减低原有系统的识别率。基于人脸年龄判断技术，可以对多年龄的人脸进行重新建模，提高人脸的识别率。
申请号为CN201680058221.1的发明专利申请提供基于脸部各部位年龄及环境因素的年龄转换方法、用于执行该方法的存储介质及装置，根据上述基于脸部各部位年龄及环境因素的年龄转换方法，将脸部分为多种部位以更细化地转换年龄，根据测定的脸部各部位的年龄转换年龄。并且，按脸部各部位适用不同的环境变量转换年龄；当实际年龄与测定的脸部各部位的年龄存在差异的情况下，能够得到更符合实际的年龄转换结果，该还使用影响按脸部各部位转换年龄的过程的环境因素(健康、体型、职业、生活习惯等)，从而能够得到个人适配型年龄转换结果。公开号CN107346408A的发明专利申请文件公开一种基于脸部特征的年龄识别方法，通过提取年龄特征区域的年龄特征，并得到对应的年龄值；及将年龄值与预设的阈值进行比较而判断年龄，该方法严重依赖于有监督性的阈值确定，准确度取决于阈值的先验技术值与监督判断值的准确性，无法实现无监督识别。
此外，现有技术还使用卷积神经网络作为提取的年龄特征识别单元，由于用到反向传播算法训练卷积神经网络，因此需要大量的人工标记数据，这会消耗大量的人力成本。与此同时，该算法仅支持静态数据，当实际数据与训练数据的特征分布不一致时，会大幅降低神经网络的识别性能。举例说明，当训练数据为东亚男性的脸部年龄数据时，若实际数据中包含西欧男性的图片，训练好的神经网络无法获得良好的识别精度。此时需要重新获取大量的西欧男性的脸部年龄数据，对神经网络进行重新设计与训练，才可以支持实际应用中的新需求。
发明内容
基于现有技术存在的缺陷，本发明提出一种基于脉冲神经网络的脸部年龄识别系统及方法、以及执行上述方法的基于无监督脸部特征向量进行脸部年龄识别的系统、计算机程序、计算机可读存储介质，可以在动态数据集上取得良好的效果。
与传统方法相比，本发明的技术方案使用脉冲神经元搭建脉冲神经网络模型，并使用STDP法则(Spiking-Timing-DependentPlasticity，脉冲时间相关的突触可塑性法则)对脉冲神经网络进行训练，同时使用一种侧向抑制方法，获得了无监督的自组织映射神经网络，可以在不断地适应实际数据的变化。从而解决了现有技术只适用于静态数据集的问题。
在本发明的第一个方面，提出一种基于脉冲神经网络的脸部年龄识别系统，所述识别系统包括：
输入图像处理子系统，所述输入图像处理子系统包括图像摄取组件、图像抓取组件、图像前处理组件；
所述图像摄取组件用于摄取至少一个包含脸部区域的目标图像；
所述图像抓取组件用于从所述目标图像中获取人脸图像，并抓取脸部区域；
所述图像预处理组件对抓取的脸部区域进行图像预处理操作，输出待识别图像；
特征提取核心组件，所述特征提取核心组件包括特征距离定位识别引擎、特征区域定位识别引擎以及数据降维引擎；
脉冲神经网络模型组件，所述脉冲神经网络模型组件包括输入层、兴奋层、抑制层以及输出层，
结果输出子系统，所述结果输出子系统用于输出脸部年龄识别结果；
作为本发明的第一个创新点，所述特征提取核心组件基于主动形状模型实现，
其中，所述特征定位识别引擎基于所述主动形状模型(ActiveShapeModels，ASM)对所述图像预处理组件输出的待识别图像进行特征点定位，得到第一预定数量的特征点；基于所述第一预定数量的特征点，得到第二预定数量的特征距离；
所述特征区域定位识别引擎，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，所述特征区域块均包含纹理特征；
所述数据降维引擎，用于对所述第一预定数量的特征点、和/或第二预定数量的特征距离、和/或第三预定数量的特征区域块进行降维，得到脉冲神经网络中的输入特征向量；
作为本发明的第二个创新点，所述脉冲神经网络模型组件基于脉STDP(Spiking-Timing-DependentPlasticity，脉冲时间相关的突触可塑性)法则调整神经元之间的连接的强弱。
其中，基于所述第一预定数量的特征点，得到第二预定数量的特征距离，包括：将所述第一预定数量的特征点两两相连，得到第二预定数量的特征距离。
作为本发明的第三个创新点，其中，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，包括：根据特征距离大小的区域概率分布，确定特征区域块。
作为本发明的第四个创新点，所述脉冲神经网络模型组件基于自组织的脉冲神经网络模型，该网络中基本组成部分的脉冲神经元不是在每一次迭代传播中被激活，而是当其膜电势达到某一阈值的时候才被激活；当脉冲神经元被激活时，该神经元往外发送一个脉冲信号，同时降低其膜电势。
值得指出的是，所述结果输出子系统基于所述脉冲神经网络模型组件的各神经元之间的投票决定输出脸部年龄识别结果。
在本发明的第二个方面，提出一种基于脉冲神经网络的脸部年龄识别方法，所述方法包括如下步骤，并可以采用前述脉冲神经网络的脸部年龄识别系统实现：
S1：待识别图像特征提取；
S3：脉冲神经网络模型构建；
S5：脉冲神经网络模型训练以及结果输出；
其中，所述步骤S3具体包括
S301、根据步骤S1获得的特征向量的维度，设计脉冲神经网络的基本结构；
S302、基于问题的规模以及难度，选择合适的脉冲神经元模型；
S303、设计输入层神经元的参数以及结构；
S304、设计兴奋层神经元参数以及网络结构；
S305、设计抑制层神经元参数以及网络结构；
S306、设计兴奋层神经元与抑制层神经元之间的连接关系；
S307、结束状态：获得自组织的脉冲神经网络的基本模型；
具体来说，所述步骤S303包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；
所述步骤S304包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；兴奋层神经元与输入层神经元之间采用全连接的网络结构，兴奋层神经元到抑制层神经元的连接关系为对应位置一一映射；
步骤S305包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；抑制层神经元到兴奋型神经元的连接关系为抑制层神经元与兴奋层神经元除对应位置上的每一个兴奋型神经元相连；
值得指出的是，所述输入突触权值的大小符合脉冲时间相关的突触可塑性法则。
其中，所述步骤S5进一步包括：
S501、开始状态：初始化年龄判断矩阵，矩阵中元素参数表示对应位置的神经元的投票权重；从未进行训练之前，使用随机数初始化年龄判断矩阵；否则使用之前训练好的参数初始化；
S502、判断是否要进行训练；若需要进行训练，进入下一状态S503；否则直接进入状态S504；
S503、根据兴奋层神经元的输出脉冲序列以及该输入原始数据的年龄区间标签，修改年龄判断矩阵的参数；
S504、根据年龄判断矩阵参数计算对应位置神经元对应的待识别图片属于的年龄区间标签的投票数，累积总的相同年龄标签代表神经元的投票数作为网络输入特征所属各年龄区间的概率；
S505、结束状态：基于代表神经元集合中投票数最多的神经元集合，输出识别结果，该神经元集合的年龄标签作为预测的脸部年龄。
进一步的，所述步骤S5之前，还包括如下步骤：
S401、开始状态：输入脸部特征向量；
S402、输入层神经元产生脉冲的输入序列，并将其输入到兴奋层神经元中；
S403、兴奋层神经元接收到输入层神经元给出的脉冲信号；
S404、兴奋层神经元接收到输入层以及抑制层给入的脉冲信号，将这些脉冲信号与其对应的突触权值进行乘累加操作转换为兴奋层神经元的膜电势，最后根据兴奋层神经元的时间衰减常数进行膜电势衰减；
S405、判断兴奋层神经元的膜电势是否超过膜电势阈值，如果其超过阈值，该神经元进入下一状态S406；否则该神经元继续积累膜电势；
S406、兴奋层神经元根据脉冲时间相关的突触可塑性法则进行突触权值的调整，并往外发送一个脉冲信号；
S407、判断抑制层神经元是否接收到兴奋层神经元发出的脉冲信号，若接收到脉冲信号，该神经元进入下一状态S408；
S408、抑制层神经元给除其对应位置上的兴奋层神经元发送一个抑制脉冲信号；
S409、兴奋层神经元接收到抑制层神经元给出的脉冲信号；
S410、结束状态：输出兴奋层神经元给出的脉冲序列，将其作为下一阶段判断脸部年龄的基本输入。
在本发明的第三个方面，提出一种基于无监督脸部特征向量进行脸部年龄识别的系统，所述系统包括处理器和存储器，所述存储器上存储有计算机可读指令，通过处理器执行所述可读指令，执行前述基于脉冲神经网络的脸部年龄识别方法。
本发明上述的控制方法和使用方法可以通过计算机程序指令的形式实现，并可以集成在移动终端上运行，包括将计算机程序指令存储在计算机可读存储介质的形式。
因此，在本发明的第四个方面，提供一种可安装于移动终端的APP，所述APP包括计算机可执行指令，通过所述移动终端的处理器，执行所述可执行指令，用于实现前述基于脉冲神经网络的脸部年龄识别方法。
本发明首次将第三代人工神经网络(脉冲神经网络(Spiking Neural Networks))应用于脸部年龄识别，并且结合了STDP(Spiking-Timing-DependentPlasticity，脉冲时间相关的突触可塑性)法则改变神经元的的权重，提出一种基于脉冲神经网络的无监督自组织映射神经网络，可以在动态数据集上取得良好的效果；并且，决策时通过脉冲神经网络获取到的特征，根据原始输入图像的年龄区间标签确定每个兴奋层神经元所主要代表年龄区间，通过各神经元之间投票决定输入数据所属的年龄区间，准确度更高，并且实现了无监督的识别过程。
本发明的进一步优点将结合附图，通过具体的实施例进一步体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术使用卷积神经网络进行人脸年龄预测流程图
图2是本申请基于脉冲神经网络的脸部年龄识别系统整体框架图
图3是本申请基于脉冲神经网络的脸部年龄识别方法整体流程示意图
图4是本申请所述识别方法中特征向量提取的步骤图
图5是本申请所述识别方法和系统中脉冲神经网络模型构建图
图6是本申请所述识别方法和系统中脉冲神经网络的运行流程中的主要步骤图
图7是本申请所述识别方法和系统的输出结果流程图
具体实施例
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如前提到的，现有技术中使用反向传播算法训练卷积神经网络，因此需要大量的人工标记数据，这会消耗大量的人力成本。与此同时，该算法仅支持静态数据，当实际数据与训练数据的特征分布不一致时，会大幅降低神经网络的识别性能。举例说明，当训练数据为东亚男性的脸部年龄数据时，若实际数据中包含西欧男性的图片，训练好的神经网络无法获得良好的识别精度。此时需要重新获取大量的西欧男性的脸部年龄数据，对神经网络进行重新设计与训练，才可以支持实际应用中的新需求。
参见图1，现有技术使用卷积神经网络进行人脸年龄预测，包括以下步骤：
S101、开始状态。
S102、输入原始图像。
S103、从原始图像中获取人脸图像，并抓取脸部区域。
S104、对抓取的脸部区域进行图像预处理操作，包括图像放缩、直方图均衡化、图像翻转、图像归一化等等，主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性以及最大限度地简化数据。
S105、设计卷积神经网络的网络结构，输入相关特征，使用反向传播算法进行训练。实际使用中直接通过卷积神经网络的输出预测输入原始图像的年龄区间。
S106、输出对应的年龄区间类别。
S107、结束状态。
现有技术中使用卷积神经网络作为提取的年龄特征识别单元，仅适用于静态数据的建模。但是实际应用的数据是瞬息万变的，训练数据的分布很有可能与实际数据的分布不一致，从而导致卷积神经网络的识别精度下降。比如，人们的饮食习惯会随时代的发展不断地变化，人们的脸部的衰老速度在不断地变化，这样会使之前训练好的卷积神经网络的模型无法在现在取得良好的效果。因此，使用卷积神经网络搭建识别模型，需要根据新的数据的分布特征，重新设计以及训练卷积神经网络以适应新的数据。为了解决基于卷积神经网络的识别模型仅适用于静态数据，本实施例提出一种基于脉冲神经网络的无监督自组织映射神经网络，可以在动态数据集上取得良好的效果。
参见图2，本申请基于脉冲神经网络的脸部年龄识别系统整体框架图，所述识别系统包括：
输入图像处理子系统，所述输入图像处理子系统包括图像摄取组件、图像抓取组件、图像前处理组件；
所述图像摄取组件用于摄取至少一个包含脸部区域的目标图像；
所述图像抓取组件用于从所述目标图像中获取人脸图像，并抓取脸部区域；
所述图像前处理组件对抓取的脸部区域进行图像预处理操作，输出待识别图像；
特征提取核心组件，所述特征提取核心组件包括特征距离定位识别引擎、特征区域定位识别引擎以及数据降维引擎；
脉冲神经网络模型组件，所述脉冲神经网络模型组件包括输入层、兴奋层、抑制层以及输出层，
结果输出子系统，所述结果输出子系统用于输出脸部年龄识别结果；
需要强调的是，在本实施例中，所述特征提取核心组件基于主动形状模型(ActiveShapeModels，ASM)实现，
其中，所述特征定位识别引擎基于所述主动形状模型(ActiveShapeModels，ASM)对所述图像预处理组件输出的待识别图像进行特征点定位，得到第一预定数量的特征点；基于所述第一预定数量的特征点，得到第二预定数量的特征距离；
所述特征区域定位识别引擎，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，所述特征区域块均包含纹理特征；
所述数据降维引擎，用于对所述第一预定数量的特征点、和/或第二预定数量的特征距离、和/或第三预定数量的特征区域块进行降维，得到脉冲神经网络中的输入特征向量；
需要强调的是，在本实施例中，所述脉冲神经网络模型组件基于脉STDP(Spiking-Timing-DependentPlasticity，脉冲时间相关的突触可塑性)法则调整神经元之间的连接的强弱。
其中，基于所述第一预定数量的特征点，得到第二预定数量的特征距离，包括：将所述第一预定数量的特征点两两相连，得到第二预定数量的特征距离。
需要强调的是，在本实施例中，其中，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，包括：根据特征距离大小的区域概率分布，确定特征区域块。
需要强调的是，在本实施例中，所述脉冲神经网络模型组件基于自组织的脉冲神经网络模型，该网络中基本组成部分的脉冲神经元不是在每一次迭代传播中被激活，而是当其膜电势达到某一阈值的时候才被激活；当脉冲神经元被激活时，该神经元往外发送一个脉冲信号，同时降低其膜电势。
值得指出的是，所述结果输出子系统基于所述脉冲神经网络模型组件的各神经元之间的投票决定输出脸部年龄识别结果。
进一步参见图3，是本申请基于脉冲神经网络的脸部年龄识别方法整体流程示意图。所述方法整体流程包括如下步骤：
S1：待识别图像特征提取；
S3：脉冲神经网络模型构建；
S5：脉冲神经网络模型训练以及结果输出。
更具体的，可参见图4-7。
图4主要包括特征提取流程，包括如下步骤：
S201、开始状态。
S202、输入原始图像。
S203、从原始图像中获取人脸图像，并抓取脸部区域。
S204、对抓取的脸部区域进行图像预处理操作，包括图像放缩、直方图均衡化、图像翻转、图像归一化等等，主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性以及最大限度地简化数据。
S205、根据主动形状模型(ActiveShapeModels，ASM)定位出的脸部75个特征点。
S206、将这75个特征点两两相连得到2775个距离，依据经验提取出对年龄变化影响最大的14个距离作为脸部的几何比例特征。
S207、根据脸部特征点定位出7块脸部局部区域，包括两眼眼袋区域、两眼外眼角区域、鼻翼两侧区域、额头区域(若额头区域有刘海遮挡则去掉该区域特征)。本技术中采用分数阶微分提取选定局部区域中的纹理特征。
S208、对提取到的特征使用主成分分析(PrincipleComponentAnalysis，简称PCA)进行降维，进一步降低特征中的冗余信息。
S209、获得输入脉冲神经网络中的特征向量。
S210、结束状态。
图5主要包括脉冲神经网络模型构建流程图，主要包括所示的7个主要步骤：
S301、开始状态：根据经过原始图像的相关预处理操作获得的特征向量的维度，开始脉冲神经网络的网络结构的设计。
S302、根据问题的规模以及难度，选择合适的脉冲神经元模型。
S303、设计输入层神经元的参数以及结构，需要设置的参数通常包括脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小等等；网络结构通常为全连接结构。
S304、设计兴奋层神经元参数以及网络结构，需要设置的参数通常包括脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小(该权值在训练过程中可以通过STDP法则进行调整)等等；兴奋层神经元与输入层神经元之间采用全连接的网络结构，兴奋层神经元到抑制层神经元的连接关系为对应位置一一映射。
S305、设计抑制层神经元参数以及网络结构，需要设置的参数通常包括脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小等等；抑制层神经元到兴奋型神经元的连接关系为抑制层神经元与兴奋层神经元除对应位置上的每一个兴奋型神经元相连。
S306、设计兴奋层神经元与抑制层神经元之间的连接关系，兴奋层神经元到抑制层神经元的连接关系为对应位置一一映射，抑制层神经元到兴奋型神经元的连接关系为抑制层神经元与兴奋层神经元除对应位置上的每一个兴奋型神经元相连。其中，这些连接之间的突触权值均为固定值。
S307、结束状态：获得所需的自组织的脉冲神经网络的基本模型。
参见图6是脉冲神经网络的运行流程中的主要步骤：
S401、开始状态：输入脸部特征向量。
S402、输入层神经元产生脉冲的输入序列，并将其输入到兴奋层神经元中。
S403、兴奋层神经元接收到输入层神经元给出的脉冲信号。
S404、兴奋层神经元接收到输入层以及抑制层给入的脉冲信号，将这些脉冲信号与其对应的突触权值进行乘累加操作转换为兴奋层神经元的膜电势，最后根据兴奋层神经元的时间衰减常数进行膜电势衰减。
S405、判断兴奋层神经元的膜电势是否超过膜电势阈值，如果其超过阈值，该神经元进入下一状态S406；否则该神经元继续积累膜电势。
S406、兴奋层神经元根据STDP法则(脉冲时间相关的突触可塑性法则)进行突触权值的调整，并往外发送一个脉冲信号。
S407、判断抑制层神经元是否接收到兴奋层神经元发出的脉冲信号，若接收到脉冲信号，该神经元进入下一状态S408。
S408、抑制层神经元给除其对应位置上的兴奋层神经元发送一个抑制脉冲信号。该脉冲信号与其他脉冲信号性质一致，只是抑制层神经元到兴奋层神经元之间的突触连接为负值，该脉冲信号会减小兴奋层神经元积累的膜电势，故称之为抑制脉冲信号。
S409、兴奋层神经元接收到抑制层神经元给出的脉冲信号。
S410、结束状态：输出兴奋层神经元给出的脉冲序列，将其作为下一阶段判断脸部年龄的基本输入。
进一步的参见图7为所述识别方法和系统的输出结果流程图。本部分根据上一部分中兴奋层神经元的输出脉冲序列，经过年龄判断矩阵的计算总的神经元投票权重，使用总的神经元投票权重最高的类别值作为最终的脸部年龄预测值，其具体过程如下：
S501、开始状态：初始化年龄判断矩阵，其中的参数表示对应位置的某个神经元的投票权重。从未进行训练之前，使用随机数初始化年龄判断矩阵；否则使用之前训练好的参数初始化。
S502、判断是否要进行训练。当实际应用中，经过一段时间，发现实际数据的分布相对于训练数据的分布已经不一致时，需要对年龄判断矩阵进行训练(该次训练不需要使用所有数据进行重新训练，只需要使用新数据对年龄判断矩阵进行调整即可)。若需要进行训练，进入下一状态S503；否则直接进入状态S504。
S503、根据兴奋层神经元的输出脉冲序列以及该输入原始数据的年龄区间标签，修改年龄判断矩阵的参数。若对相同的年龄区间标签的数据，某兴奋层神经元均给出较多的脉冲信号，则增加年龄判断矩阵中对应位置的参数。其中，年龄判断矩阵中某个神经元在某个年龄区间标签对应位置的参数最大，则称该神经元为该年龄标签的代表。
S504、根据年龄判断矩阵参数计算对应位置神经元对该原始图片属于哪个年龄区间标签的投票，累积总的相同年龄标签代表神经元的投票数作为网络输入特征所属各年龄区间的概率。
S505、结束状态：根据代表神经元集合中投票数最多的神经元集合，该神经元集合的年龄标签作为预测的脸部年龄。
与传统方法相比，本发明使用脉冲神经元搭建脉冲神经网络模型，并使用STDP法则(Spiking-Timing-DependentPlasticity，脉冲时间相关的突触可塑性法则)对脉冲神经网络进行训练，同时使用一种侧向抑制方法，获得了无监督的自组织映射神经网络，可以在不断地适应实际数据的变化。从而解决了现有技术只适用于静态数据集的问题。并且，决策时通过脉冲神经网络获取到的特征，根据原始输入图像的年龄区间标签确定每个兴奋层神经元所主要代表年龄区间，通过各神经元之间投票决定输入数据所属的年龄区间，准确度更高，并且实现了无监督的识别过程。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (8)

1.一种基于脉冲神经网络的脸部年龄识别系统，所述识别系统包括：输入图像处理子系统，所述输入图像处理子系统包括图像摄取组件、图像抓取组件、图像前处理组件；
所述图像摄取组件用于摄取至少一个包含脸部区域的目标图像；
所述图像抓取组件用于从所述目标图像中获取人脸图像，并抓取脸部区域；
所述图像前处理组件对抓取的脸部区域进行图像预处理操作，输出待识别图像；
特征提取核心组件，所述特征提取核心组件包括特征距离定位识别引擎、特征区域定位识别引擎以及数据降维引擎；
脉冲神经网络模型组件，所述脉冲神经网络模型组件包括输入层、兴奋层、抑制层以及输出层，
结果输出子系统，所述结果输出子系统用于输出脸部年龄识别结果；
其特征在于：
所述特征提取核心组件基于主动形状模型实现，
其中，所述特征定位识别引擎基于所述主动形状模型对所述图像预处理组件输出的待识别图像进行特征点定位，得到第一预定数量的特征点；基于所述第一预定数量的特征点，得到第二预定数量的特征距离；
所述特征区域定位识别引擎，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，所述特征区域块均包含纹理特征；
所述数据降维引擎，用于对所述第一预定数量的特征点、和/或第二预定数量的特征距离、和/或第三预定数量的特征区域块进行降维，得到脉冲神经网络中的输入特征向量；
所述脉冲神经网络模型组件基于脉冲时间相关的突触可塑性法则调整神经元之间的连接的强弱。
2.如权利要求1所述的脸部年龄识别系统，其中，基于所述第一预定数量的特征点，得到第二预定数量的特征距离，包括：将所述第一预定数量的特征点两两相连，得到第二预定数量的特征距离。
3.如权利要求1所述的脸部年龄识别系统，其中，基于所述第一预定数量的特征点与第二预定数量的特征距离，识别出所述待识别图像中第三预定数量的特征区域块，包括：根据特征距离大小的区域概率分布，确定特征区域块。
4.如权利要求1所述的脸部年龄识别系统，其中，所述脉冲神经网络模型组件基于自组织的脉冲神经网络模型，该网络中基本组成部分的脉冲神经元不是在每一次迭代传播中被激活，而是当其膜电势达到某一阈值的时候才被激活；当脉冲神经元被激活时，该神经元往外发送一个脉冲信号，同时降低其膜电势。
5.如权利要求1所述的脸部年龄识别系统，其中，所述结果输出子系统基于所述脉冲神经网络模型组件的各神经元之间的投票决定输出脸部年龄识别结果。
6.一种基于脉冲神经网络的脸部年龄识别方法，所述方法包括如下步骤：
S1：待识别图像特征提取；
S3：脉冲神经网络模型构建；
S5：脉冲神经网络模型训练以及结果输出；
其中，所述步骤S3具体包括
S301、根据步骤S1获得的特征向量的维度，设计脉冲神经网络的基本结构；
S302、基于问题的规模以及难度，选择合适的脉冲神经元模型；
S303、设计输入层神经元的参数以及结构；
S304、设计兴奋层神经元参数以及网络结构；
S305、设计抑制层神经元参数以及网络结构；
S306、设计兴奋层神经元与抑制层神经元之间的连接关系；
S307、结束状态：获得自组织的脉冲神经网络的基本模型；
其特征在于：
所述步骤S303包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；
所述步骤S304包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；兴奋层神经元与输入层神经元之间采用全连接的网络结构，兴奋层神经元到抑制层神经元的连接关系为对应位置一一映射；
步骤S305包括：设置脉冲神经元的时间衰减参数、发送脉冲的膜电势阈值、发送脉冲后的重置膜电势值、输入突触权值的大小；抑制层神经元到兴奋型神经元的连接关系为抑制层神经元与兴奋层神经元除对应位置上的每一个兴奋型神经元相连；
并且，所述输入突触权值的大小符合脉冲时间相关的突触可塑性法则。
7.如权利要求6所述的基于脉冲神经网络的脸部年龄识别方法，其中，所述步骤S5进一步包括：
S501、开始状态：初始化年龄判断矩阵，矩阵中元素参数表示对应位置的神经元的投票权重；从未进行训练之前，使用随机数初始化年龄判断矩阵；否则使用之前训练好的参数初始化；
S502、判断是否要进行训练；若需要进行训练，进入下一状态S503；否则直接进入状态S504；
S503、根据兴奋层神经元的输出脉冲序列以及该输入原始数据的年龄区间标签，修改年龄判断矩阵的参数；
S504、根据年龄判断矩阵参数计算对应位置神经元对应的待识别图片属于的年龄区间标签的投票数，累积总的相同年龄标签代表神经元的投票数作为网络输入特征所属各年龄区间的概率；
S505、结束状态：基于代表神经元集合中投票数最多的神经元集合，输出识别结果，该神经元集合的年龄标签作为预测的脸部年龄。
如权利要求6所述的基于脉冲神经网络的脸部年龄识别方法，其中，所述步骤S5之前，还包括如下步骤：
S401、开始状态：输入脸部特征向量；
S402、输入层神经元产生脉冲的输入序列，并将其输入到兴奋层神经元中；
S403、兴奋层神经元接收到输入层神经元给出的脉冲信号；
S404、兴奋层神经元接收到输入层以及抑制层给入的脉冲信号，将这些脉冲信号与其对应的突触权值进行乘累加操作转换为兴奋层神经元的膜电势，最后根据兴奋层神经元的时间衰减常数进行膜电势衰减；
S405、判断兴奋层神经元的膜电势是否超过膜电势阈值，如果其超过阈值，该神经元进入下一状态S406；否则该神经元继续积累膜电势；
S406、兴奋层神经元根据脉冲时间相关的突触可塑性法则进行突触权值的调整，并往外发送一个脉冲信号；
S407、判断抑制层神经元是否接收到兴奋层神经元发出的脉冲信号，若接收到脉冲信号，该神经元进入下一状态S408；
S408、抑制层神经元给除其对应位置上的兴奋层神经元发送一个抑制脉冲信号；
S409、兴奋层神经元接收到抑制层神经元给出的脉冲信号；
S410、结束状态：输出兴奋层神经元给出的脉冲序列，将其作为下一阶段判断脸部年龄的基本输入。
8.一种基于无监督脸部特征向量进行脸部年龄识别的系统，所述系统包括处理器和存储器，所述存储器上存储有计算机可读指令，通过处理器执行所述可读指令，执行权利要求6-8任一项所述的方法。
CN201910915136.8A 2019-09-26 2019-09-26 一种基于脉冲神经网络的脸部年龄识别系统及方法 Active CN110705428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910915136.8A CN110705428B (zh) 2019-09-26 2019-09-26 一种基于脉冲神经网络的脸部年龄识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910915136.8A CN110705428B (zh) 2019-09-26 2019-09-26 一种基于脉冲神经网络的脸部年龄识别系统及方法

Publications (2)

Publication Number Publication Date
CN110705428A true CN110705428A (zh) 2020-01-17
CN110705428B CN110705428B (zh) 2021-02-02

Family

ID=69197007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910915136.8A Active CN110705428B (zh) 2019-09-26 2019-09-26 一种基于脉冲神经网络的脸部年龄识别系统及方法

Country Status (1)

Country Link
CN (1) CN110705428B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255905A (zh) * 2021-07-16 2021-08-13 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN114781633A (zh) * 2022-06-17 2022-07-22 电子科技大学 一种融合人工神经网络与脉冲神经网络的处理器
WO2023115891A1 (zh) * 2021-12-23 2023-06-29 广东浪潮智慧计算技术有限公司 一种脉冲编码方法、系统、电子设备及存储介质
CN117503062A (zh) * 2023-11-21 2024-02-06 欣颜时代(广州)技术有限公司 美容仪的神经检测控制方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303235A (zh) * 2015-10-26 2016-02-03 清华大学 大规模分层神经网络的构建方法
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别系统
US20170236027A1 (en) * 2016-02-16 2017-08-17 Brainchip Inc. Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
CN108875846A (zh) * 2018-05-08 2018-11-23 河海大学常州校区 一种基于改进的脉冲神经网络的手写数字识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303235A (zh) * 2015-10-26 2016-02-03 清华大学 大规模分层神经网络的构建方法
US20170236027A1 (en) * 2016-02-16 2017-08-17 Brainchip Inc. Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别系统
CN108875846A (zh) * 2018-05-08 2018-11-23 河海大学常州校区 一种基于改进的脉冲神经网络的手写数字识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255905A (zh) * 2021-07-16 2021-08-13 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
CN113255905B (zh) * 2021-07-16 2021-11-02 成都时识科技有限公司 脉冲神经网络中神经元的信号处理方法及该网络训练方法
WO2023115891A1 (zh) * 2021-12-23 2023-06-29 广东浪潮智慧计算技术有限公司 一种脉冲编码方法、系统、电子设备及存储介质
CN114781633A (zh) * 2022-06-17 2022-07-22 电子科技大学 一种融合人工神经网络与脉冲神经网络的处理器
CN114781633B (zh) * 2022-06-17 2022-10-14 电子科技大学 一种融合人工神经网络与脉冲神经网络的处理器
CN117503062A (zh) * 2023-11-21 2024-02-06 欣颜时代(广州)技术有限公司 美容仪的神经检测控制方法、装置、设备和存储介质
CN117503062B (zh) * 2023-11-21 2024-04-09 欣颜时代(广州)技术有限公司 美容仪的神经检测控制方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110705428B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110705428B (zh) 一种基于脉冲神经网络的脸部年龄识别系统及方法
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
WO2019228317A1 (zh) 人脸识别方法、装置及计算机可读介质
CN106469298A (zh) 基于人脸图像的年龄识别方法及装置
CN104361316B (zh) 一种基于多尺度时序建模的维度情感识别方法
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
JP2022141931A (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN110188794B (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
KR20210100592A (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
US20150178544A1 (en) System for estimating gender from fingerprints
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN112418059A (zh) 一种情绪识别的方法、装置、计算机设备及存储介质
CN114241459B (zh) 一种驾驶员身份验证方法、装置、计算机设备及存储介质
Kuang Face image feature extraction based on deep learning algorithm
CN113076905B (zh) 一种基于上下文交互关系的情绪识别方法
CN116151965B (zh) 一种风险特征提取方法、装置、电子设备及存储介质
CN108596094A (zh) 人物风格检测系统、方法、终端及介质
CN112818915A (zh) 基于3dmm软生物特征的深度伪造视频检测方法及系统
Mehra et al. Expert system for speaker identification using lip features with PCA
CN113643283A (zh) 一种人体衰老状况的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant