CN112818967A - 基于人脸识别和头肩重识别的儿童身份识别方法 - Google Patents
基于人脸识别和头肩重识别的儿童身份识别方法 Download PDFInfo
- Publication number
- CN112818967A CN112818967A CN202110410340.1A CN202110410340A CN112818967A CN 112818967 A CN112818967 A CN 112818967A CN 202110410340 A CN202110410340 A CN 202110410340A CN 112818967 A CN112818967 A CN 112818967A
- Authority
- CN
- China
- Prior art keywords
- feature
- head
- shoulder
- face
- child
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 90
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 210000003128 head Anatomy 0.000 description 51
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000027648 face development Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于人脸识别和头肩重识别的儿童身份识别方法，其中，该方法包括：对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对人脸关键点位置坐标进行对齐，得到头肩对齐图像；通过SE‑Resnet结构对头肩对齐图像进行特征提取，并对特征图进行人脸和头肩特征下采样，分别生成人脸和头肩区域特征图；接着计算损失函数，生成得到儿童身份识别模型；然后将头肩对齐图像输入训练好的儿童身份识别模型中，得到人脸和头肩特征向量，并将人脸和头肩特征向量进行特征融合，得到融合特征向量；最后根据融合特征向量建立特征注册数据库，并通过融合特征向量的余弦相似度在特征注册数据库中进行儿童身份识别，显著降低了误识别率。
Description
技术领域
本申请涉及计算机领域，特别是涉及基于人脸识别和头肩重识别的儿童身份识别方法。
背景技术
随时校园数字化管理的推广，越来越多的校园门禁应用了人脸识别系统。然而2-14岁年龄段的儿童人脸识别难度较大，实际使用过程中误识率较高。主要原因是儿童脸部发育尚未成熟，在二维成像中轮廓、棱角、五官等特征显著性较弱，增大了算法特征表达的难度。因此需要特定的人脸识别算法，以提高对2-14岁年龄段儿童的身份识别率。
在相关技术中，主要是基于深度学习的人脸识别算法，然而目前最先进的人脸识别算法，例如Arcface、Cosface等，都忽略了由于2-14岁儿童脸部发育不成熟，导致二维成像中儿童脸部特征显著性较弱这一问题，所以单纯的人脸识别技术方案在校园门禁场景中存在较多误识别现象，很难实现高质量的技术落地。
目前针对相关技术中，在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于人脸识别和头肩重识别的儿童身份识别方法，以至少解决相关技术中在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题。
第一方面，本申请实施例提供了一种儿童身份识别的方法，所述方法包括：
对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对所述人脸关键点位置坐标进行对齐，得到头肩对齐图像；
对所述头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对所述特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图；
通过所述人脸区域特征图和所述头肩区域特征图计算损失函数，生成得到所述儿童身份识别模型；
将所述头肩对齐图像输入训练好的所述儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将所述人脸特征向量和所述头肩特征向量进行特征融合，得到融合特征向量；
根据所述融合特征向量建立特征注册数据库，并通过所述融合特征向量的余弦相似度在所述特征注册数据库中进行儿童身份识别。
在其中一些实施例中，所述通过所述人脸区域特征图和所述头肩区域特征图计算得到损失函数包括：
在所述人脸区域特征图之后连接全连接层fc1，并通过Arcface loss计算人脸识别分支损失函数；
在所述头肩区域特征图之后连接全连接层fc2，并通过Triplet loss计算头肩重识别分支损失函数；
通过多任务联合学习算法对所述人脸识别分支的损失函数和所述头肩重识别分支损失函数进行加权，得到所述儿童身份识别模型的损失函数。
在其中一些实施例中，在生成得到所述儿童身份识别模型之后，和将所述头肩对齐图像输入训练好的所述儿童身份识别模型中之前，所述方法包括：
获取适量儿童照片作为训练集，其中保证每个儿童有多张照片，并在所述训练集中加入开源的人脸识别训练集；
通过所述训练集训练所述儿童身份识别模型。
在其中一些实施例中，所述将所述人脸特征向量和所述头肩特征向量进行特征融合包括：
对所述人脸特征向量和所述头肩特征向量之间对应维度的特征值进行平均，得到融合特征向量。
第二方面，本申请实施例提供了一种儿童身份识别的系统，所述系统包括：
检测模块，用于对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对所述人脸关键点位置坐标进行对齐，得到头肩对齐图像；
模型生成模块，用于对所述头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对所述特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图，
通过所述人脸区域特征图和所述头肩区域特征图计算损失函数，生成得到所述儿童身份识别模型；
特征融合模块，用于将所述头肩对齐图像输入训练好的所述儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将所述人脸特征向量和所述头肩特征向量进行特征融合，得到融合特征向量；
身份识别模块，用于根据所述融合特征向量建立特征注册数据库，并通过所述融合特征向量的余弦相似度在所述特征注册数据库中进行儿童身份识别。
在其中一些实施例中，所述模型生成模块，还用于在所述人脸区域特征图之后连接全连接层fc1，并通过Arcface loss计算人脸识别分支损失函数，
在所述头肩区域特征图之后连接全连接层fc2，并通过Triplet loss计算头肩重识别分支损失函数，
通过多任务联合学习算法对所述人脸识别分支的损失函数和所述头肩重识别分支损失函数进行加权，得到所述儿童身份识别模型的损失函数。
在其中一些实施例中，所述系统还包括模型训练模块，在生成得到所述儿童身份识别模型之后，和将所述头肩对齐图像输入训练好的所述儿童身份识别模型中之前，
所述模型训练模块，用于获取适量儿童照片作为训练集，其中保证每个儿童有多张照片，并在所述训练集中加入开源的人脸识别训练集，
通过所述训练集训练所述儿童身份识别模型。
在其中一些实施例中，所述特征融合模块，还用于对所述人脸特征向量和所述头肩特征向量之间对应维度的特征值进行平均，得到融合特征向量。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的儿童身份识别的方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的儿童身份识别的方法。
相比于相关技术，本申请实施例提供的儿童身份识别的方法，对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对人脸关键点位置坐标进行对齐，得到头肩对齐图像；对头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图；接着通过人脸区域特征图和头肩区域特征图计算损失函数，生成得到儿童身份识别模型；然后将头肩对齐图像输入训练好的儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将人脸特征向量和头肩特征向量进行特征融合，得到融合特征向量；最后根据融合特征向量建立特征注册数据库，并通过融合特征向量的余弦相似度在特征注册数据库中进行儿童身份识别。
本申请针对二维成像中儿童脸部特征显著性较弱的问题，在特征网络中加入SE注意力模块（Squeeze-and-Excitation），增强网络特征表达能力，抑制冗余特征对识别的干扰。此外，为了进一步增强特征表达能力，本申请中还加入头肩重识别(Re-Identification)分支，将人脸识别和重识别技术相叠加，旨在用重识别算法补充学习儿童头部、肩部的整体形态特征和耳部、脖颈等局部细节特征。解决了在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题，显著降低了误识别率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的儿童身份识别的方法的应用环境示意图；
图2是根据本申请实施例的儿童身份识别的方法的流程图；
图3是根据本申请实施例的SE-Resnet结构的连接示意图；
图4是根据本申请实施例的SE注意力模块结构示意图；
图5是根据本申请实施例的儿童身份识别的系统的结构框图；
图6是根据本申请实施例的儿童身份识别的系统的另一个结构框图；
图7是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的儿童身份识别的方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的儿童身份识别的方法的应用环境示意图，如图1所示。其中，终端设备11与服务器10通过网络进行通信。服务器10对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对人脸关键点位置坐标进行对齐，得到头肩对齐图像；对头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图；接着通过人脸区域特征图和头肩区域特征图计算损失函数，生成得到儿童身份识别模型；然后将头肩对齐图像输入训练好的儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将人脸特征向量和头肩特征向量进行特征融合，得到融合特征向量；最后根据融合特征向量建立特征注册数据库，并通过融合特征向量的余弦相似度在特征注册数据库中进行儿童身份识别，识别结果显示在终端设备11的显示屏上。解决了在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题，显著降低了误识别率。
本实施例提供了一种儿童身份识别的方法，图2是根据本申请实施例的儿童身份识别的方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对人脸关键点位置坐标进行对齐，得到头肩对齐图像；本实施例中，服务器10对终端设备11抓拍的儿童照片进行人脸检测，得到眼部、鼻子和嘴角5个关键点的位置坐标，并通过相似变换算法对人脸的5个关键点位置坐标进行对齐，生成得到336*336尺寸的头肩对齐图像；
步骤S202，对头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图，接着通过人脸区域特征图和头肩区域特征图计算损失函数，生成得到儿童身份识别模型；
优选的，本实施例通过SE-Resnet结构对头肩对齐图像进行网络特征图提取，并通过感兴趣区域下采样层对提取到的特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图，其中，SE-Resnet结构是SE注意力模块和Resnet-50残差网络的组合结构，图3是根据本申请实施例的SE-Resnet结构的连接示意图，如图3所示。图4是根据本申请实施例的SE注意力模块结构示意图，如图4所示，Ftr是传统的卷积结构，Ftr的输入X包括C'、H'、W'，Ftr的输出U包括C、H、W；SE注意力模块对U先做一个全局平均下采样，即如图4中的Squeeze过程：Fsq(.)，输出得到1x1xC数据，该数据再经过两级全连接，即图4中的Excitation过程：Fex(.)，得到限制在[0，1]范围的1x1xC数据，最后把这个数据值作为尺度乘到U的C个通道上，作为下一级的输入数据。上述过程通过控制scale的大小，在网络的不断迭代训练学习中把头肩对齐图像中需要提取的重要特征进行增强，不重要的特征进行减弱，从而让提取的特征指向性更强。其中，Squeeze过程的公式如下式1所示：
其中，c、W、H分别代表特征层的通道索引、宽度、高度，i、j是特征层像素位置索引，
和
都表示特征层的第c个通道。
在经过SE-Resnet结构的特征提取，生成得到人脸区域特征图和头肩区域特征图之后，优选的，本实施例在人脸区域特征图之后连接全连接层fc1，并通过Arcface loss计算人脸识别分支损失函数，其中，全连接层fc1是人脸区域的特征向量；在头肩区域特征图中加入全连接层fc2，并通过Triplet loss计算头肩重识别分支损失函数，其中，全连接层fc2是头肩区域的特征向量；接着通过多任务联合学习算法对人脸识别分支损失函数和头肩重识别分支损失函数进行加权，得到儿童身份识别模型的损失函数，然后通过反向传播不断迭代更新网络参数直至收敛，生成得到儿童身份识别模型。其中，Arcface loss损失函数计算公式如下式2所示：
其中i代表属于
类的第i个样本，N代表批处理的数量，n代表类别数，m为角度惩
罚值，s为尺度超参数，
为特征向量与前连接层权重矩阵第i列，i为正整数。
Triplet loss损失函数计算公式如下式3所示：
其中d代表求两个特征向量的欧氏距离，a代表锚点样本的特征向量，p代表与a属于同一类的样本特征向量，n代表与a非同一类的样本特征向量，m为欧式距离惩罚项。
儿童身份识别模型的多任务联合损失函数计算公式如下式4所示：
其中，
为用于均衡学习权重的超参数。
优选的，在生成得到上述儿童身份识别模型之后，以及将头肩对齐图像输入儿童身份识别模型中之前，需要对儿童身份识别模型进行训练。本实施例中搜集一定数量的儿童照片作为训练数据，并保证每一个儿童都有多张照片，此外，为了防止模型训练发生过拟合现象，需要在训练集中再加入一些开源的人脸识别训练集；通过上述得到的训练集数据训练儿童身份识别模型，得到网络参数最优的儿童身份识别模型。
本实施例针对二维成像中儿童脸部特征显著性较弱的问题，在特征网络中加入SE注意力模块，增强网络特征表达能力，抑制冗余特征对识别的干扰。此外，还加入了头肩重识别分支，将人脸识别和重识别技术相叠加，补充学习了儿童头部、肩部的整体形态特征和耳部、脖颈等局部细节特征，进一步的增强了模型的特征表达能力，提高了身份识别率。
步骤S203，将头肩对齐图像输入训练好的儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将人脸特征向量和头肩特征向量进行特征融合，得到融合特征向量；优选的，本实施例中对人脸特征向量和头肩特征向量之间对应维度的特征值进行平均，得到融合特征向量。利用融合特征向量能提高身份识别的准确率；
步骤S204，根据融合特征向量建立特征注册数据库，并通过融合特征向量的余弦相似度在特征注册数据库中进行儿童身份识别。优选的，本实施例中根据上述得到的融合特征向量对儿童群体建立特征注册数据库，即对每一个儿童计算出融合特征向量后记录到特征注册数据库中。最后通过融合特征向量的余弦相似度来描述儿童身份相似度，在特征注册数据库中对儿童身份进行识别检索。
通过上述步骤S201至步骤S204，本实施例将人脸识别和重识别技术相叠加，并在特征网络中加入SE注意力模块，解决了在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题，增强了网络特征表达能力，抑制了冗余特征对识别的干扰，提高了身份识别的准确率。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种儿童身份识别的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的儿童身份识别的系统的结构框图，如图5所示，该系统包括检测模块51、模型生成模块52、特征融合模块53和身份识别模块54：
检测模块51，用于对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对人脸关键点位置坐标进行对齐，得到头肩对齐图像；模型生成模块52，用于对头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图，接着通过人脸区域特征图和头肩区域特征图计算损失函数，生成得到儿童身份识别模型；特征融合模块53，用于将头肩对齐图像输入训练好的儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将人脸特征向量和头肩特征向量进行特征融合，得到融合特征向量；身份识别模块54，用于根据融合特征向量建立特征注册数据库，并通过融合特征向量的余弦相似度在特征注册数据库中进行儿童身份识别。
优选的，系统还包括模型训练模块，图6是根据本申请实施例的儿童身份识别的系统的另一个结构框图，如图6所示，该系统包括检测模块51、模型生成模块52、特征融合模块53、身份识别模块54和模型训练模块61。在生成得到儿童身份识别模型之后，和将头肩对齐图像输入训练好的儿童身份识别模型中之前，需要对儿童身份识别模型进行训练。本实施例中搜集一定数量的儿童照片作为训练数据，并保证每一个儿童都有多张照片，此外，为了防止模型训练发生过拟合现象，需要在训练集中再加入一些开源的人脸识别训练集；通过上述得到的训练集数据训练儿童身份识别模型，得到网络参数最优的儿童身份识别模型。
通过上述系统，本实施例将人脸识别和重识别技术相叠加，并在特征网络中加入SE注意力模块，解决了在对儿童身份进行识别检索的情况下，由于单一的人脸识别模型对特征表达能力不足，导致的误识别率高的问题，增强了网络特征表达能力，抑制了冗余特征对识别的干扰，提高了身份识别的准确率。
需要说明的是，本系统实施例中的具体示例可以参考上述实施例及优选实施方式中所描述的示例，本系统中的实施例在此不再赘述。
此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
另外，结合上述实施例中的儿童身份识别的方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种儿童身份识别的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种儿童身份识别的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图7是根据本申请实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种儿童身份识别的方法，数据库用于存储数据。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种儿童身份识别的方法，其特征在于，所述方法包括：
对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对所述人脸关键点位置坐标进行对齐，得到头肩对齐图像；
对所述头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对所述特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图；
通过所述人脸区域特征图和所述头肩区域特征图计算损失函数，生成得到所述儿童身份识别模型；
将所述头肩对齐图像输入训练好的所述儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将所述人脸特征向量和所述头肩特征向量进行特征融合，得到融合特征向量；
根据所述融合特征向量建立特征注册数据库，并通过所述融合特征向量的余弦相似度在所述特征注册数据库中进行儿童身份识别。
2.根据权利要求1所述的方法，其特征在于，所述通过所述人脸区域特征图和所述头肩区域特征图计算得到损失函数包括：
在所述人脸区域特征图之后连接全连接层fc1，并通过Arcface loss计算人脸识别分支损失函数；
在所述头肩区域特征图之后连接全连接层fc2，并通过Triplet loss计算头肩重识别分支损失函数；
通过多任务联合学习算法对所述人脸识别分支损失函数和所述头肩重识别分支损失函数进行加权，得到所述儿童身份识别模型的损失函数。
3.根据权利要求1或2所述的方法，其特征在于，在生成得到所述儿童身份识别模型之后，和将所述头肩对齐图像输入训练好的所述儿童身份识别模型中之前，所述方法包括：
获取适量儿童照片作为训练集，其中保证每个儿童有多张照片，并在所述训练集中加入开源的人脸识别训练集；
通过所述训练集训练所述儿童身份识别模型。
4.根据权利要求1所述的方法，其特征在于，所述将所述人脸特征向量和所述头肩特征向量进行特征融合包括：
对所述人脸特征向量和所述头肩特征向量之间对应维度的特征值进行平均，得到融合特征向量。
5.一种儿童身份识别的系统，其特征在于，所述系统包括：
检测模块，用于对获取的儿童照片进行人脸检测，得到人脸关键点位置坐标，并通过相似变换算法对所述人脸关键点位置坐标进行对齐，得到头肩对齐图像；
模型生成模块，用于对所述头肩对齐图像提取带有SE注意力模块的Resnet-50残差网络特征图，并通过感兴趣区域下采样层对所述特征图进行人脸特征和头肩特征下采样，分别生成人脸区域特征图和头肩区域特征图，
通过所述人脸区域特征图和所述头肩区域特征图计算损失函数，生成得到所述儿童身份识别模型；
特征融合模块，用于将所述头肩对齐图像输入训练好的所述儿童身份识别模型中，得到人脸特征向量和头肩特征向量，并将所述人脸特征向量和所述头肩特征向量进行特征融合，得到融合特征向量；
身份识别模块，用于根据所述融合特征向量建立特征注册数据库，并通过所述融合特征向量的余弦相似度在所述特征注册数据库中进行儿童身份识别。
6.根据权利要求5所述的系统，其特征在于，
所述模型生成模块，还用于在所述人脸区域特征图之后连接全连接层fc1，并通过Arcface loss计算人脸识别分支损失函数，
在所述头肩区域特征图之后连接全连接层fc2，并通过Triplet loss计算头肩重识别分支损失函数，
通过多任务联合学习算法对所述人脸识别分支的损失函数和所述头肩重识别分支损失函数进行加权，得到所述儿童身份识别模型的损失函数。
7.根据权利要求5或6所述的系统，其特征在于，所述系统还包括模型训练模块，在生成得到所述儿童身份识别模型之后，和将所述头肩对齐图像输入训练好的所述儿童身份识别模型中之前，
所述模型训练模块，用于获取适量儿童照片作为训练集，其中保证每个儿童有多张照片，并在所述训练集中加入开源的人脸识别训练集，
通过所述训练集训练所述儿童身份识别模型。
8.根据权利要求5所述的系统，其特征在于，
所述特征融合模块，还用于对所述人脸特征向量和所述头肩特征向量之间对应维度的特征值进行平均，得到融合特征向量。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的儿童身份识别的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项所述的儿童身份识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110410340.1A CN112818967B (zh) | 2021-04-16 | 2021-04-16 | 基于人脸识别和头肩重识别的儿童身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110410340.1A CN112818967B (zh) | 2021-04-16 | 2021-04-16 | 基于人脸识别和头肩重识别的儿童身份识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818967A true CN112818967A (zh) | 2021-05-18 |
| CN112818967B CN112818967B (zh) | 2021-07-09 |
Family
ID=75863700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110410340.1A Active CN112818967B (zh) | 2021-04-16 | 2021-04-16 | 基于人脸识别和头肩重识别的儿童身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818967B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155573A (zh) * | 2021-11-05 | 2022-03-08 | 上海弘目智能科技有限公司 | 基于SE-ResNet网络的人种识别方法、装置及计算机存储介质 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN115631509A (zh) * | 2022-10-24 | 2023-01-20 | 智慧眼科技股份有限公司 | 一种行人再识别方法、装置、计算机设备及存储介质 |
| CN115757874A (zh) * | 2022-11-24 | 2023-03-07 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN117523616A (zh) * | 2023-12-20 | 2024-02-06 | 深圳柯赛标识智能科技有限公司 | 商场监控环境下的儿童特征提取方法、装置 |
| CN118397659A (zh) * | 2024-06-25 | 2024-07-26 | 华侨大学 | 基于全局特征与头肩特征多核融合的行人识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1716273A (zh) * | 2004-06-28 | 2006-01-04 | 李剑华 | 商用迎宾机器人的外形构造及识别方法 |
| US20180039745A1 (en) * | 2016-08-02 | 2018-02-08 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
| US20180293429A1 (en) * | 2017-03-30 | 2018-10-11 | George Mason University | Age invariant face recognition using convolutional neural networks and set distances |
| CN109784219A (zh) * | 2018-12-28 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种基于集中协调学习的人脸识别方法、系统及装置 |
| CN110659573A (zh) * | 2019-08-22 | 2020-01-07 | 北京捷通华声科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-16 CN CN202110410340.1A patent/CN112818967B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1716273A (zh) * | 2004-06-28 | 2006-01-04 | 李剑华 | 商用迎宾机器人的外形构造及识别方法 |
| US20180039745A1 (en) * | 2016-08-02 | 2018-02-08 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
| US20180293429A1 (en) * | 2017-03-30 | 2018-10-11 | George Mason University | Age invariant face recognition using convolutional neural networks and set distances |
| CN109784219A (zh) * | 2018-12-28 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种基于集中协调学习的人脸识别方法、系统及装置 |
| CN110659573A (zh) * | 2019-08-22 | 2020-01-07 | 北京捷通华声科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙劲光等: "基于区域的年龄估计模型研究", 《计算机科学》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155573A (zh) * | 2021-11-05 | 2022-03-08 | 上海弘目智能科技有限公司 | 基于SE-ResNet网络的人种识别方法、装置及计算机存储介质 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN114708644B (zh) * | 2022-06-02 | 2022-09-13 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN115631509A (zh) * | 2022-10-24 | 2023-01-20 | 智慧眼科技股份有限公司 | 一种行人再识别方法、装置、计算机设备及存储介质 |
| CN115757874A (zh) * | 2022-11-24 | 2023-03-07 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN115757874B (zh) * | 2022-11-24 | 2023-11-03 | 中科天网（广东）科技有限公司 | 人脸与人体协同检索方法、装置、设备和介质 |
| CN117523616A (zh) * | 2023-12-20 | 2024-02-06 | 深圳柯赛标识智能科技有限公司 | 商场监控环境下的儿童特征提取方法、装置 |
| CN118397659A (zh) * | 2024-06-25 | 2024-07-26 | 华侨大学 | 基于全局特征与头肩特征多核融合的行人识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818967B (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112818967B (zh) | 基于人脸识别和头肩重识别的儿童身份识别方法 | |
| US11816880B2 (en) | Face recognition method and apparatus, computer device, and storage medium | |
| WO2019007004A1 (zh) | 用于行人重识别的图像特征提取方法 | |
| CN110532965B (zh) | 年龄识别方法、存储介质及电子设备 | |
| CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN110069989B (zh) | 人脸图像处理方法及装置、计算机可读存储介质 | |
| CN110363817A (zh) | 目标位姿估计方法、电子设备和介质 | |
| CN112528902B (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| CN113705344B (zh) | 基于全手掌的掌纹识别方法、装置、终端设备及存储介质 | |
| WO2023071812A1 (zh) | 用于多方安全计算系统的生物特征提取方法及设备 | |
| CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
| CN113298158A (zh) | 数据检测方法、装置、设备及存储介质 | |
| CN114708644B (zh) | 一种基于家庭基因模板的人脸识别方法和系统 | |
| CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN111815768A (zh) | 三维人脸重建方法和装置 | |
| CN114764870A (zh) | 对象定位模型处理、对象定位方法、装置及计算机设备 | |
| CN111460416B (zh) | 一种基于微信小程序平台的人脸特征与动态属性的认证方法 | |
| Zhang et al. | Joint stacked hourglass network and salient region attention refinement for robust face alignment | |
| CN116883472A (zh) | 一种基于脸部三维图像配准的人脸护理系统 | |
| CN111767839A (zh) | 一种车辆行驶轨迹确定方法、装置、设备及介质 | |
| CN113486691A (zh) | 一种智能设备及其控制方法 | |
| CN116580461A (zh) | 签名验证方法、装置、计算机设备和存储介质 | |
| CN116805522A (zh) | 诊断报告输出方法、装置、终端及存储介质 | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN116311425A (zh) | 人脸识别模型训练方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |