CN114863542A - 基于多模态的未成年人识别方法及系统 - Google Patents

基于多模态的未成年人识别方法及系统 Download PDF

Info

Publication number
CN114863542A
CN114863542A CN202210790280.5A CN202210790280A CN114863542A CN 114863542 A CN114863542 A CN 114863542A CN 202210790280 A CN202210790280 A CN 202210790280A CN 114863542 A CN114863542 A CN 114863542A
Authority
CN
China
Prior art keywords
loss function
feature
branch
point
abscissa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210790280.5A
Other languages
English (en)
Other versions
CN114863542B (zh
Inventor
方波
唐路遥
周林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Weipai Network Technology Co ltd
Original Assignee
Wuhan Weipai Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Weipai Network Technology Co ltd filed Critical Wuhan Weipai Network Technology Co ltd
Priority to CN202210790280.5A priority Critical patent/CN114863542B/zh
Publication of CN114863542A publication Critical patent/CN114863542A/zh
Application granted granted Critical
Publication of CN114863542B publication Critical patent/CN114863542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域，具体涉及一种基于多模态的未成年人识别方法，该方法包括：将未成年人的人脸图像输入卷积神经网络，输出人脸识别结果；构建网络的损失函数具体为：将人脸图像输入卷积层得到特征图像，进而得到特征向量，利用特征向量构建第一和第二分支损失函数；根据特征图像各通道图像得到描述向量，将描述向量分为两个类别，进而得到描述点；选取描述点组成组合点对，根据组合点对连线上投影点构建分布直方图；根据分布直方图计算分离度；获取分离度最大的组合点对的相关数据计算关注度权重；根据关注度权重构建第三分支损失函数；根据第一、第二和第三分支损失函数得到卷积神经网络损失函数。本发明能够准确地进行未成年人人脸识别。

Description

基于多模态的未成年人识别方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于多模态的未成年人识别方法及系统。
背景技术
随着社会经济的发展、科技的进步，人脸识别已经成为身份认证的一种重要手段。但是未成年人随着年龄的增长，其人脸变化较大。由于人口众多不可能每年花费大量人力物力去更新数据库里预存的人脸图像。但是如果不更新人脸图像，未成年人随着年龄增长，其脸部会发生较大变化，因而就会出现未成年人当前面部图像数据和数据库里预存面部图像匹配不成功，造成无法进行准确识别，无法进行身份认证，这将会对未成年的生活造成较大不便。
为了提高对未成年人人脸识别的准确性一般采用更深层、数据量更多的网络结构来挖掘更多的人脸特征信息，进而来保障未成年人人脸识别的准确性。但是这种方法是牺牲时间成本来换取精度，这种方法在很多场合都不适合。
随着年龄的增长，人们有些特征会发生较大变化，例如人脸大小。有些特征发生变化较小，例如眼睛、嘴巴结构等。现有的深层的、参数量大的神经网络虽能达到较高的识别准确率，但是在使用参数量更小的神经网络来识别未成年人时，由于未成年人的成长变化，导致参数量更小的神经网络由于要花费较多的神经元或计算力来学习这种无用的成长变化特征，导致无法过多的去学习对未成年人身份识别有用的特征，导致参数量更小的神经网络准确率较低，从而导致未成年人人脸识别的准确率降低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于多模态的未成年人识别方法，所采用的技术方案具体如下：
将未成年人的人脸图像输入卷积神经网络，输出人脸识别结果；所述卷积神经网络损失函数的获取方法具体为：将不同成长阶段的人脸图像输入卷积层得到对应的特征图像；将特征图像进行全局池化得到多维的特征向量；
分别获取两个不同成长阶段的人脸图像对应的特征向量，将各特征向量分割为第一分支向量和第二分支向量；根据两个不同成长阶段人脸图像对应的第一分支向量的差值和第二分支向量的差值，分别构建第一分支损失函数和第二分支损失函数；
将特征图像中各通道的图像进行全局池化获得的每个通道对应的描述向量，利用所述第一和第二分支损失函数将各通道的描述向量分为两个类别，将两个类别中各描述向量映射到坐标系中得到各描述点；在两个类别中分别选取一个描述点构成组合点对并对其进行连线，将其他所有描述点投影到该连线上得到投影点，根据各投影点的位置坐标构建分布直方图；根据分布直方图上峰值的坐标和宽度计算分离度；
计算所有组合点对对应的分离度，获取最大的分离度对应的组合点对连线上每个坐标位置处包含一个类别中描述点对应的投影点的概率；根据所述概率和两个类别中各描述向量之间的距离计算关注度权重；根据关注度权重和三元组损失函数构建第三分支损失函数；根据第一、第二和第三分支损失函数得到卷积神经网络损失函数。
优选地，所述卷积神经网络包含三层卷积层，将人脸图像输入第一卷积层得到第一特征图，将第一特征图输入第二卷积层得到第二特征图，将第二特征图输入第三卷积层得到第三特征图；将各第一、第二和第三特征图像进行全局池化得到对应的多维的第一、第二和第三特征向量；将第一、第二和第三特征图像中各通道的图像进行全局池化得到对应的多个描述向量。
优选地，所述第一分支损失函数的获取方法具体为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
表示卷积层a对应的第一分支损失函数，
Figure DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE008
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第一分支向量。
优选地，所述第二分支损失函数的获取方法具体为：
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE012
表示卷积层a对应的第二分支损失函数，
Figure DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE016
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第二分支向量，
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE020
分别表示未成年人成长阶段对应的年龄。
优选地，所述根据分布直方图上峰值的坐标和宽度计算分离度具体为：
获取分布直方图上第一个峰值的横坐标和第二个峰值的横坐标，获取第一个峰值最左侧点对应的横坐标和第一个峰值右侧谷对应的横坐标构成第一横坐标区间，计算第一横坐标区间内各位置坐标对应的数量分布的方差，获得第一个峰值对应的宽度；获取第二个峰值左侧谷对应的横坐标和第二个峰值最右侧点对应的横坐标构成第二横坐标区间，计算第二横坐标区间内各位置坐标对应的数量分布的方差，获得第二个峰值对应的宽度；根据第一个峰值和第二个峰值的横坐标之差、第一个峰值和第二个峰值对应的宽度之和得到分离度，用公式表示为：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE024
表示第z个组合点对对应的分离度，
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE028
分别表示第一个峰值的横坐标和第二个峰值的横坐标，
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE032
分别表示第一个峰值对应的宽度和第二个峰值对应的宽度。
优选地，所述计算所有组合点对对应的分离度具体为：分别获取所有组合点对的连线，将除组合点对外其他所有描述点投影到各组合点对对应的连线上得到投影点，构建分布直方图；其中，一个组合点对对应一个分布直方图，进而计算各组合点对对应的分离度。
优选地，所述获取最大的分离度对应的组合点对连线上每个坐标位置处包含一个类别中描述点对应的投影点的概率具体为：获取最大的分离度对应的组合点对，以该组合点对的连线为横坐标轴构建坐标系，获取在横坐标轴上每个坐标点为一个类别中投影点的概率。
优选地，所述关注度权重的获取方法具体为：
Figure DEST_PATH_IMAGE034
其中，Q表示关注度权重，
Figure DEST_PATH_IMAGE036
表示第m个横坐标点处为一个类别中各描述点对应的投影点的概率，M表示组合点对连线上包含的坐标点的数量，
Figure DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE040
分别表示两个类别中各描述向量之间的距离的方差。
本发明还提供了一种基于多模态的未成年人识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述一种基于多模态的未成年人识别方法的步骤。
本发明实施例至少具有如下有益效果：
本发明通过设计损失函数实现固有特征和成长变化特征的分离，根据特征分离的情况确定对固有特征的关注度权重，并基于关注度权重设计特征关注损失函数。由于每个未成年人的成长情况不尽相同，对固有特征和成长变化特征分割效果也不同，对于能够分割出较好的固有特征的，需要更多的利用固有特征信息进行人脸识别。对于分割效果不好的固有特征，需要适当降低对其的关注度，增加对综合特征的关注度，利用综合特征信息进行人脸识别。从而提高未成年人人脸识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的一种基于多模态的未成年人识别方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于多模态的未成年人识别方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于多模态的未成年人识别方法及系统的具体方案。
本发明所针对的场景具体为：在利用人脸识别进行身份认证时，未成年人人脸变化较快导致识别时刻未成年人的人脸与预存图像中该未成年人的人脸存在较大差异，因而导致识别准确性降低。同时人在成长过程中会存在一些成长变化较小的人脸特征，即固有特征，因而更多的参考固有特征来进行人脸识别，但是每个人的固有特征情况又不尽相同，因而通过分析固有特征与成长变化特征的情况来调整对两个特征的关注权重，进而实现对未成年人人脸进行准确地识别。
实施例1：
请参阅图1，其示出了本发明一个实施例提供的一种基于多模态的未成年人识别方法的方法流程图，该方法包括以下步骤：
步骤一，将未成年人的人脸图像输入卷积神经网络，输出人脸识别结果；所述卷积神经网络损失函数的获取方法具体为：将不同成长阶段的人脸图像输入卷积层得到对应的特征图像；将特征图像进行全局池化得到多维的特征向量。
首先，构建卷积神经网络，将人脸识别时采集的未成年人人脸图像以及预存的未成年人人脸图像分别输入卷积神经网络进行未成年人识别。获取采集的人脸图像和预存的人脸图像对应的未成年人在未成年阶段的各个成长阶段的人脸图像构建数据集，对各阶段的人脸图像进行身份标注和年龄标注，即同一个人脸图像标注双标签，分别有年龄标签和身份标签。构建卷积神经网络的损失函数，将数据集输入神经网络，利用随机梯度下降法进行训练，直至损失函数收敛得到训练完成的网络，利用训练完成的网络进行未成年人识别。
需要说明的是，由于随着未成年人的长大，其人脸特征变化较快，会造成人脸识别准确性降低，但是人脸在成长过程中存在一些特征变化较小，因而需基于特征变化情况构建损失函数来分割出固有特征和成长变化特征。但是每个人的固有特征和成长变化特征存在差异，因而需分析每个人的固有特征和成长变化特征分割情况来确定特征的关注度权重，利用关注度权重调整对两个特征的关注度情况实现准确识别。
然后，卷积神经网络包含三层卷积层，该网络中使用的参数量较少，实施者可以在本发明所述的网络基础上进行改进。获取一个标签的人脸图像X，本实施例以大小为1024*1024的人脸图像X为例进行介绍。
将人脸图像X输入到网络中，该人脸图像X通过第一卷积层处理得到第一特征图像，所述第一卷积层包含分组卷积操作、池化操作、激活函数等，第一卷积层采用ResNet网络，ResNet网络是常用的神经网络，不再对该网络进行详细叙述。第一特征图像是通过分组卷积得到的，本实施例以大小为256*256*64的第一特征图像为例进行说明。其中，第一特征图像被分为10组。
将第一特征图像输入第二卷积层中，第一特征图像通过第二卷积层处理获得第二特征图像，所述第二卷积层包含分组卷积操作、池化操作、激活函数等，第二卷积层采用ResNet网络，ResNet网络是常用的神经网络，不再对该网络进行详细叙述。第二特征图像是通过分组卷积得到的，本实施例以大小为64*64*32的第二特征图像为例进行说明。其中，第二特征图像被分为10组。
将第二特征图像输入第三卷积层中，第二特征图像通过第三卷积层处理获得第三特征图像，所述第三卷积层包含分组卷积操作、池化操作、激活函数等，第三卷积层采用ResNet网络，ResNet网络是常用的神经网络，不再对该网络进行详细叙述。第三特征图像是通过分组卷积得到的，本实施例以大小为16*16*10的第三特征图像为例进行说明。其中，第三特征图像被分为10组。
最后，通过上述过程得到网络的主线结构，同时网络还包含支线结构，具体为：将第一特征图像通过分组卷积得到10通道的特征图，然后再将10通道的特征图进行全局最大池化得到第一特征向量V1，即将第一特征图像进行分组卷积分成10组得到10通道的特征图。第一特征向量V1为一个10维的向量，同时第一特征向量V1中的10维度分别对应第一特征图像中的10个分组，因此可以认为第一特征图像中每个分组被降维成第一特征向量V1中每个维度的取值。
同理，将第二特征图像通过分组卷积得到10通道图像，然后再将10通道的特征图进行全局最大池化得到第二特征向量V2，第二特征向量V2为一个10维的向量。将第三特征图像通过分组卷积得到10通道图像，然后再将10通道的特征图进行全局最大池化得到第三特征向量V2，第三特征向量V2为一个10维的向量。
需要说明的是，本实施例以三层卷积层为例进行说明。特征图像包含80个通道的特征图，每8个通道为一个卷积分组，即对特征图像进行分组卷积后将特征图像的各通道图分为10组，实施者可根据实际情况进行调整。
步骤二，分别获取两个不同成长阶段的人脸图像对应的特征向量，将各特征向量分割为第一分支向量和第二分支向量；根据两个不同成长阶段人脸图像对应的第一分支向量的差值和第二分支向量的差值，分别构建第一分支损失函数和第二分支损失函数。
首先，要实现对成长变化特征和固有特征的分离，对于那种随着间隔时间增加特征取值变化较小的特征认为是固有特征，对于那种随着间隔时间增加特征取值变化较大的特征认为是成长变化特征，基于此来构建损失函数，实现固有特征和成长变化特征的分离。
然后，需对各特征向量进行分析，为了便于分析以第一卷积层对应的第一特征向量V1进行分析，将固有特征分割在第一特征向量V1的前5维数据中，将成长变化特征分割在第一特征向量V1中的后5维数据中，即将第一特征向量的前5维数据记为第一分支向量，将第一特征向量的后5维数据记为第二分支向量，基于此构建的损失函数。
具体地，获取数据集中同一未成年人在不同成长阶段的人脸图像，并分别获取人脸图像对应的第一特征向量，即将未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的第一特征向量分别记为
Figure DEST_PATH_IMAGE042
和
Figure DEST_PATH_IMAGE044
。由于需要让前5维数据对应的特征无论间隔年份多大，其特征变化都是较小，基于此构建第一分支损失函数，用公式表示为：
Figure DEST_PATH_IMAGE002A
其中，
Figure 227024DEST_PATH_IMAGE004
表示卷积层a对应的第一分支损失函数，
Figure 58976DEST_PATH_IMAGE006
和
Figure 316782DEST_PATH_IMAGE008
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第一分支向量。在本实施例中以第一卷积层对应的特征向量为例进行说明，故在此a的取值为1，
Figure 481047DEST_PATH_IMAGE006
和
Figure 316148DEST_PATH_IMAGE008
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的第一特征向量分割得到的第一分支向量。
Figure DEST_PATH_IMAGE046
表示两个向量之差的模长，在后续训练网络过程中，让第一分支损失函数越来越小时，可以保证两个成长阶段对应的第一分支向量越来越相似。
最后，由于需要让后5维数据对应的特征随着间隔年份的增大，其特征也随着发生较大的变化，基于此构建第二分支损失函数，用公式表示为：
Figure DEST_PATH_IMAGE010A
其中，
Figure 388009DEST_PATH_IMAGE012
表示卷积层a对应的第二分支损失函数，
Figure 765901DEST_PATH_IMAGE014
和
Figure 694543DEST_PATH_IMAGE016
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第二分支向量，
Figure 157885DEST_PATH_IMAGE018
和
Figure 971120DEST_PATH_IMAGE020
分别表示未成年人成长阶段对应的年龄。在本实施例中以第一卷积层对应的特征向量为例进行说明，故在此a的取值为1，
Figure 203518DEST_PATH_IMAGE014
和
Figure 70105DEST_PATH_IMAGE016
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的第一特征向量分割得到的第二分支向量。
在后续训练网络过程中，让第二分支损失函数越来越小时，即可保证两个成长阶段对应的第二分支向量越来越不相似。
通过第一卷积层对应的第一分支损失函数
Figure DEST_PATH_IMAGE048
和第二分支损失函数
Figure DEST_PATH_IMAGE050
实现固有特征和成长特征分离，按照同样的处理方式得到第二、第三卷积层对应的第一分支损失函数和第二分支损失函数。
步骤三，将特征图像中各通道的图像进行全局池化获得的每个通道对应的描述向量，利用所述第一和第二分支损失函数将各通道的描述向量分为两个类别，将两个类别中各描述向量映射到坐标系中得到各描述点；在两个类别中分别选取一个描述点构成组合点对并对其进行连线，将其他所有描述点投影到该连线上得到投影点，根据各投影点的位置坐标构建分布直方图；根据分布直方图上峰值的坐标和宽度计算分离度。
首先，需要说明的是，通过上述步骤的方法实现特征的分离，接着需要计算固有特征和成长变化特征的关注度权重，可以通过分析固有特征和成长变化特征的分布情况来判定。如果固有特征与成长变化特征之间存在较清晰的边界，分离出的固有特征可信度较高，因而应该增大对固有特征的关注度权重，如果固有特征与成长变化特征分割边界非常模糊，说明分离出的固有特征可信度较低，因而应该关注固有特征和成长变化特征组成的综合特征。
具体地，为了便于分析，本实施例以第一卷积层对应的第一特征图进行分析。分别将第一特征图像中的各个通道特征图进行全局池化得到各通道特征图的描述向量，同理按照相同的方法对第二、第三特征图像中的各个通道特征图进行全局池化得到对应的描述向量。
利用步骤二中的第一和第二分支损失函数，会将各卷积层的固有特征和成长变化特征进行分割。即各卷积层会将固有特征分割在各特征向量前5维的数据对应的通道特征图中，将成长变化特征分割在各特征向量后5维的数据对应的通道特征图中。因而基于此将第一特征图像对应的各个通道特征图划分为两个类别，分别为包含较多固有特征的通道特征图和包含较多成长变化特征的通道特征图。
其中，第一特征图像的每个通道特征图对应一个描述向量，因而得到两个类别的描述向量，分别称为固有特征向量类别集合和成长变化特征向量类别集合。按照同样的方法获取第二特征图像对应的固有特征向量类别集合和成长变化特征向量类别集合、以及第三特征图像对应的固有特征向量类别集合和成长变化特征向量类别集合。
需要说明的是，在进行第一和第二分支损失函数的计算时，将每个卷积分组的各通道图像进行卷积处理得到单通道图像，而在进行分割效果的分析时，需要分析固有特征和成长变化特征这两个类别特征对应的各通道特征图的分布情况，故无需对每个卷积分组的各通道特征图进行卷积，只需将每个通道的特征图进行全局池化。同时，全局池化为公知技术，在此不再过多赘述。
然后，固有特征和成长变化特征分割准确情况下会有清晰的分割边界，此时说明分割的固有特征较好，因而可以更多的关注固有特征去进行人脸识别，当固有特征与成长变化特征分割不准确时不会存在清晰的分割边界，此时说明分割的固有特征不够好，因而不能只依赖固有特征去进行人脸识别。则需要通过分析各卷积层的固有特征向量集合与成长变化特征向量集合之间的分布边界清晰情况来计算关注度权重。
具体地，将固有特征向量类别集合和成长变化特征向量类别集合中各描述向量映射到坐标系中，可以获得各描述向量对应的坐标，根据坐标即可获得对应的描述点，该方法为公知技术，在此不再过多赘述。进而描述点也分为两个类别集合，记为固有特征点集合和成长变化特征点集合。
将固有特征点集合中的任意一个描述点和成长变化特征点集合中的任意一个描述点组合在一起构成组合点对，进而得到多个组合点对。选择其中任意一个组合点对进行连线，以该连线为横坐标轴构建坐标系，将两个类别的点集合中的各描述点分别投影到该组合点对连线的横坐标轴上得到对应的投影点，并根据各投影点的位置坐标和数量构建分布直方图。
最后，获取分布直方图上第一个峰值的横坐标和第二个峰值的横坐标，获取第一个峰值最左侧点对应的横坐标和第一个峰值右侧谷对应的横坐标构成第一横坐标区间，计算第一横坐标区间内各位置坐标对应的数量分布的方差，获得第一个峰值对应的宽度；获取第二个峰值左侧谷对应的横坐标和第二个峰值最右侧点对应的横坐标构成第二横坐标区间，计算第二横坐标区间内各位置坐标对应的数量分布的方差，获得第二个峰值对应的宽度；根据第一个峰值和第二个峰值的横坐标之差、第一个峰值和第二个峰值对应的宽度之和得到分离度，用公式表示为：
Figure DEST_PATH_IMAGE022A
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
其中，
Figure 473274DEST_PATH_IMAGE024
表示第z个组合点对对应的分离度，
Figure 824621DEST_PATH_IMAGE026
和
Figure 911525DEST_PATH_IMAGE028
分别表示第一个峰值的横坐标和第二个峰值的横坐标，
Figure 208734DEST_PATH_IMAGE030
和
Figure 381089DEST_PATH_IMAGE032
分别表示第一个峰值对应的宽度和第二个峰值对应的宽度，
Figure DEST_PATH_IMAGE056
和
Figure DEST_PATH_IMAGE058
分别为第一横坐标区间内各位置坐标对应的数量分布的方差和第二横坐标区间内各位置坐标对应的数量分布的方差，
Figure DEST_PATH_IMAGE060
为系数，在本实施例中的取值为6，实施者可根据实际情况进行设置。
步骤四，计算所有组合点对对应的分离度，获取最大的分离度对应的组合点对连线上每个坐标位置处包含一个类别中描述点对应的投影点的概率；根据所述概率和两个类别中各描述向量之间的距离计算关注度权重；根据关注度权重和三元组损失函数构建第三分支损失函数；根据第一、第二和第三分支损失函数得到卷积神经网络损失函数。
首先，按照上述同样的方法分别获取所有组合点对的连线，将除组合点对外其他所有描述点投影到各组合点对对应的连线上得到投影点，构建分布直方图；其中，一个组合点对对应一个分布直方图，进而计算各组合点对对应的分离度。在所有组合点对中选择分离度最大的组合点对，垂直于该组合点对连线的方向为固有特征向量类别集合与成长变化特征向量类别集合的最佳分类方向。
基于分离度最大的组合点对的连线进行分析，计算最佳分类方向的分类边界的清晰程度。以分离度最大的组合点对的连线为横坐标轴，构建坐标系，获取在横坐标轴上每个坐标点为固有特征点集合中各描述点对应的投影点的概率。
然后，基于对固有特征与成长变化特征的分割效果为计算固有特征的关注度权重，用公式表示为：
Figure DEST_PATH_IMAGE034A
其中，Q表示关注度权重，
Figure 926340DEST_PATH_IMAGE036
表示第m个横坐标点处为一个类别中各描述点对应的投影点的概率，即表示第m个横坐标点为固有特征点集合中各描述点对应的投影点的概率，M表示组合点对连线上包含的坐标点的数量，
Figure 133330DEST_PATH_IMAGE038
和
Figure 840255DEST_PATH_IMAGE040
分别表示两个类别中各描述向量之间的距离的方差，即
Figure 499907DEST_PATH_IMAGE038
表示固有特征向量类别集合中各描述向量之间的距离的方差，
Figure 458635DEST_PATH_IMAGE040
表示成长变化特征向量类别集合中各描述向量之间的距离的方差。在本实施例中，利用欧氏距离计算向量之间的距离，实施者也可选择其他合适的方法进行计算。
Figure DEST_PATH_IMAGE062
表示往最佳分类方向垂直方向投影，各位置处两类别投影点的分离情况，当两个类别完全分离时，各坐标处为固有特征点集合中各描述点对应的投影点的概率只会存在1或者0的情况，此时计算出的该值越小。当两个类别不能完全分离时，各坐标处的包含固有特征点集合中各描述点对应的投影点的概率不仅包含1和0，同时还会存在0到1之间的数值，因而计算出的该值越大，即固有特征和成长变化特征分割效果较差。而计算的方差越大说明离散程度越大，因而其越难分割，即分割的情况越不好。
按照同样的方法获取第二和第三卷积层对应的关注度权重，将所有卷积层对应的关注度权重求均值得到综合的关注度权重。
最后，获取所有卷积层的成长变化特征对应的通道特征图对应的卷积核参数，将第b个卷积核参数记为
Figure DEST_PATH_IMAGE064
，根据关注度权重和三元组损失函数构建第三分支损失函数，用公式表示为：
Figure DEST_PATH_IMAGE066
其中，S3表示第三分支损失函数，Q1表示综合的关注度权重，S0表示三元组损失函数，该损失函数为传统人脸识别网络常用的损失函数，且为公知技术，在此不再过多赘述。N表示卷积核参数的数量，
Figure 411810DEST_PATH_IMAGE064
表示第b个卷积核参数。
当固有特征分割效果较好时，关注度权重的取值越大，应更关注固有特征，多利用固有特征去进行人脸识别。因而此时对于成长变化特征关注度较小，此时对于成长变化特征对应的网络参数应该尽可能小，减少对成长变化特征的提取，让
Figure DEST_PATH_IMAGE068
项尽可能可能小，则给其设置一个更大的权重。当固有特征分割效果不好时，不能过多的关注固有特征，提高对所有特征的关注度，即对损失函数S0的关注度提高。
根据第一、第二和第三分支损失函数得到卷积神经网络损失函数，用公式表示为：
Figure DEST_PATH_IMAGE070
其中，S表示卷积神经网络的损失函数，
Figure 492899DEST_PATH_IMAGE004
表示卷积层a对应的第一分支损失函数，
Figure 639846DEST_PATH_IMAGE012
表示卷积层a对应的第二分支损失函数。
至此，完成了卷积神经网络损失函数的构建，将数据集输入神经网络，利用随机梯度下降法进行训练，直至损失函数收敛得到训练完成的网络，利用训练完成的网络进行未成年人识别。
需要说明的是，本发明提出一个参数量更小的神经网络，在训练该神经网络时考虑对不同特征的关注度，对于随着成长变化较小的特征给予更多的关注，对于随着成长变化较大的特征给予较小的关注度。其中，随着成长变化较小的特征称为固有特征，表示对未成年人身份识别有用的特征。随着成长变化较大的特征称为成长变化特征，表示对未成年人身份识别的作用较小的特征。
但是每个人的固有特征和成长变化特征相应的表现都不尽相同，即有些人固有特征和成长变化特征区分比较明显，例如：有些人随着年龄增长，其固有特征可能也存在一定的变化，如果此时还将固有特征作为主要关注特征，其识别准确性可能会降低。因而需分析每个未成年人的固有特征和成长变化特征之间的分割情况来确定对固有特征的关注度情况。
实施例2：
本实施例提供了一种基于多模态的未成年人识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如一种基于多模态的未成年人识别方法的步骤。由于实施例1已经对一种基于多模态的未成年人识别方法进行了详细的阐述，此处不再过多介绍。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于多模态的未成年人识别方法，其特征在于，该方法包括以下步骤：
将未成年人的人脸图像输入卷积神经网络，输出人脸识别结果；所述卷积神经网络损失函数的获取方法具体为：将不同成长阶段的人脸图像输入卷积层得到对应的特征图像；将特征图像进行全局池化得到多维的特征向量；
分别获取两个不同成长阶段的人脸图像对应的特征向量，将各特征向量分割为第一分支向量和第二分支向量；根据两个不同成长阶段人脸图像对应的第一分支向量的差值和第二分支向量的差值，分别构建第一分支损失函数和第二分支损失函数；
将特征图像中各通道的图像进行全局池化获得的每个通道对应的描述向量，利用所述第一和第二分支损失函数将各通道的描述向量分为两个类别，将两个类别中各描述向量映射到坐标系中得到各描述点；在两个类别中分别选取一个描述点构成组合点对并对其进行连线，将其他所有描述点投影到该连线上得到投影点，根据各投影点的位置坐标构建分布直方图；根据分布直方图上峰值的坐标和宽度计算分离度；
计算所有组合点对对应的分离度，获取最大的分离度对应的组合点对连线上每个坐标位置处包含一个类别中描述点对应的投影点的概率；根据所述概率和两个类别中各描述向量之间的距离计算关注度权重；根据关注度权重和三元组损失函数构建第三分支损失函数；根据第一、第二和第三分支损失函数得到卷积神经网络损失函数。
2.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述卷积神经网络包含三层卷积层，将人脸图像输入第一卷积层得到第一特征图，将第一特征图输入第二卷积层得到第二特征图，将第二特征图输入第三卷积层得到第三特征图；将各第一、第二和第三特征图像进行全局池化得到对应的多维的第一、第二和第三特征向量；将第一、第二和第三特征图像中各通道的图像进行全局池化得到对应的多个描述向量。
3.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述第一分支损失函数的获取方法具体为：
Figure 387966DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示卷积层a对应的第一分支损失函数，
Figure 508369DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第一分支向量。
4.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述第二分支损失函数的获取方法具体为：
Figure DEST_PATH_IMAGE007
其中，
Figure 710943DEST_PATH_IMAGE008
表示卷积层a对应的第二分支损失函数，
Figure DEST_PATH_IMAGE009
和
Figure 574993DEST_PATH_IMAGE010
分别表示由未成年人i第j1成长阶段和第j2成长阶段的人脸图像对应的特征向量分割得到的第二分支向量，
Figure DEST_PATH_IMAGE011
和
Figure 717262DEST_PATH_IMAGE012
分别表示未成年人成长阶段对应的年龄。
5.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述根据分布直方图上峰值的坐标和宽度计算分离度具体为：
获取分布直方图上第一个峰值的横坐标和第二个峰值的横坐标，获取第一个峰值最左侧点对应的横坐标和第一个峰值右侧谷对应的横坐标构成第一横坐标区间，计算第一横坐标区间内各位置坐标对应的数量分布的方差，获得第一个峰值对应的宽度；获取第二个峰值左侧谷对应的横坐标和第二个峰值最右侧点对应的横坐标构成第二横坐标区间，计算第二横坐标区间内各位置坐标对应的数量分布的方差，获得第二个峰值对应的宽度；根据第一个峰值和第二个峰值的横坐标之差、第一个峰值和第二个峰值对应的宽度之和得到分离度，用公式表示为：
Figure 274145DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示第z个组合点对对应的分离度，
Figure 869074DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
分别表示第一个峰值的横坐标和第二个峰值的横坐标，
Figure 897336DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
分别表示第一个峰值对应的宽度和第二个峰值对应的宽度。
6.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述计算所有组合点对对应的分离度具体为：分别获取所有组合点对的连线，将除组合点对外其他所有描述点投影到各组合点对对应的连线上得到投影点，构建分布直方图；其中，一个组合点对对应一个分布直方图，进而计算各组合点对对应的分离度。
7.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述获取最大的分离度对应的组合点对连线上每个坐标位置处包含一个类别中描述点对应的投影点的概率具体为：获取最大的分离度对应的组合点对，以该组合点对的连线为横坐标轴构建坐标系，获取在横坐标轴上每个坐标点为一个类别中投影点的概率。
8.根据权利要求1所述的一种基于多模态的未成年人识别方法，其特征在于，所述关注度权重的获取方法具体为：
Figure DEST_PATH_IMAGE021
其中，Q表示关注度权重，
Figure 628531DEST_PATH_IMAGE022
表示第m个横坐标点处为一个类别中各描述点对应的投影点的概率，M表示组合点对连线上包含的坐标点的数量，
Figure DEST_PATH_IMAGE023
和
Figure 90737DEST_PATH_IMAGE024
分别表示两个类别中各描述向量之间的距离的方差。
9.一种基于多模态的未成年人识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述一种基于多模态的未成年人识别方法的步骤。
CN202210790280.5A 2022-07-06 2022-07-06 基于多模态的未成年人识别方法及系统 Active CN114863542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210790280.5A CN114863542B (zh) 2022-07-06 2022-07-06 基于多模态的未成年人识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210790280.5A CN114863542B (zh) 2022-07-06 2022-07-06 基于多模态的未成年人识别方法及系统

Publications (2)

Publication Number Publication Date
CN114863542A true CN114863542A (zh) 2022-08-05
CN114863542B CN114863542B (zh) 2022-09-30

Family

ID=82627057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210790280.5A Active CN114863542B (zh) 2022-07-06 2022-07-06 基于多模态的未成年人识别方法及系统

Country Status (1)

Country Link
CN (1) CN114863542B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN110909785A (zh) * 2019-11-18 2020-03-24 西北工业大学 基于语义层级的多任务Triplet损失函数学习方法
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
US20200311110A1 (en) * 2019-03-29 2020-10-01 Microsoft Technology Licensing, Llc Latent feature extraction from a network graph
CN113221660A (zh) * 2021-04-14 2021-08-06 河海大学 一种基于特征融合的跨年龄人脸识别方法
CN114511901A (zh) * 2022-01-05 2022-05-17 浙大城市学院 一种年龄分类辅助的跨年龄人脸识别算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037937A1 (zh) * 2018-08-20 2020-02-27 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
US20200311110A1 (en) * 2019-03-29 2020-10-01 Microsoft Technology Licensing, Llc Latent feature extraction from a network graph
CN110909785A (zh) * 2019-11-18 2020-03-24 西北工业大学 基于语义层级的多任务Triplet损失函数学习方法
CN113221660A (zh) * 2021-04-14 2021-08-06 河海大学 一种基于特征融合的跨年龄人脸识别方法
CN114511901A (zh) * 2022-01-05 2022-05-17 浙大城市学院 一种年龄分类辅助的跨年龄人脸识别算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENGGANG YAN ET AL.: "Age-Invariant Face Recognition by Multi-Feature Fusion and Decomposition with Self-attention", 《ACM TRANS. MULTIMEDIA COMPUT. COMMUN. APPL.》 *
ERGYS RISTANI ET AL.: "Features for Multi-Target Multi-Camera Tracking and Re-Identification", 《ARXIV.ORG》 *
孙文斌 等: "基于深度学习的跨年龄人脸识别", 《激光与光电子学进展》 *
李鑫超 等: "一种基于改进向量投影距离的知识图谱表示方法", 《计算机科学》 *

Also Published As

Publication number Publication date
CN114863542B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
US11417148B2 (en) Human face image classification method and apparatus, and server
Funke et al. Efficient automatic 3D-reconstruction of branching neurons from EM data
CN105069400B (zh) 基于栈式稀疏自编码的人脸图像性别识别系统
CN109615014B (zh) 一种基于kl散度优化的3d物体数据分类系统与方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN108062543A (zh) 一种面部识别方法及装置
CN108446689A (zh) 一种人脸识别方法
JP5394959B2 (ja) 判別器生成装置および方法並びにプログラム
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN109829478B (zh) 一种基于变分自编码器的问题分类方法和装置
CN110826462A (zh) 一种非局部双流卷积神经网络模型的人体行为识别方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
US20240046700A1 (en) Action recognition method
CN107305691A (zh) 基于图像匹配的前景分割方法及装置
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN106778834A (zh) 一种基于距离测度学习的ap聚类图像标注方法
CN112950561A (zh) 光纤端面缺陷检测方法、设备及存储介质
CN111598004A (zh) 一种渐进增强自学习的无监督跨领域行人再识别方法
CN111611972A (zh) 基于多视图多任务集成学习的作物叶片种类识别方法
CN104573701B (zh) 一种玉米雄穗性状的自动检测方法
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant