CN113239875B - 人脸特征的获取方法、系统、装置及计算机可读存储介质 - Google Patents

人脸特征的获取方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113239875B
CN113239875B CN202110609858.8A CN202110609858A CN113239875B CN 113239875 B CN113239875 B CN 113239875B CN 202110609858 A CN202110609858 A CN 202110609858A CN 113239875 B CN113239875 B CN 113239875B
Authority
CN
China
Prior art keywords
face
feature
features
model
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110609858.8A
Other languages
English (en)
Other versions
CN113239875A (zh
Inventor
王曦
蹇易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN202110609858.8A priority Critical patent/CN113239875B/zh
Publication of CN113239875A publication Critical patent/CN113239875A/zh
Application granted granted Critical
Publication of CN113239875B publication Critical patent/CN113239875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体提供了一种人脸特征的获取方法、系统以及计算机可读存储介质，旨在解决如何准确获取人脸图像中人脸特征的技术问题。为此目的，根据本发明实施例的方法可以根据人脸图像样本的全局特征以及人脸关键点区域的局部特征对人脸特征获取模型进行模型训练，以使人脸特征获取模型同时学习到较好的局部特征提取能力与全局特征提取能力，进而采用完成模型训练的人脸特征获取模型获取人脸图像的人脸特征。基于上述方法，针对不同图像质量的人脸图像均可以获取到的大量较为准确的人脸特征，从而在利用这些人脸特征进行人脸识别时能够显著提高人脸识别的准确性。

Description

人脸特征的获取方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种人脸特征的获取方法、系统、装置及计算机可读存储介质。
背景技术
人脸识别主要是先获取人脸图像的人脸特征，再根据人脸特征进行人脸的身份识别。目前常规的人脸识别方法主要是针对整个人脸图像进行特征提取，获取人脸图像的全局特征，进而根据全局特征进行人脸识别。而全局特征不仅包括人脸图像中人脸的人脸特征还包括人脸图像中背景的背景特征，当人脸特征的数量较少时(如背景特征的数量过多，或者人脸图像存在图像模糊和人脸被遮挡等问题导致获取到的人脸特征数量较少)将无法进行准确地人脸识别。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何准确获取人脸图像中人脸特征的技术问题的人脸特征的获取方法、系统、装置及计算机可读存储介质。
第一方面，提供一种人脸特征的获取方法，所述方法包括：
获取不同场景下的人脸图像样本的样本特征，其中，所述样本特征包括所述人脸图像样本中每个人脸关键点区域的局部特征以及所述人脸图像样本的全局特征；
根据每个所述人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练；
采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征。
在上述人脸特征的获取方法的一个技术方案中，所述人脸特征获取模型包括卷积神经网络、图神经网络和特征融合模块；
所述卷积神经网络被配置成获取输入图像的全局预测特征；
所述图神经网络被配置成获取所述输入图像中每个人脸关键点区域的局部预测特征；
所述特征融合模块被配置成对所述全局预测特征与所述局部预测特征进行特征融合并且根据特征融合的结果输出所述输入图像的人脸特征；
其中，所述输入图像是人脸图像样本或待识别人脸图像。
在上述人脸特征的获取方法的一个技术方案中，所述人脸特征获取模型还包括可视化特征图获取模块；
所述可视化特征图获取模块被配置成获取所述卷积神经网络的中间网络层提取到的所述输入图像的特征图并且对所述特征图进行可视化处理，得到可视化特征图；
所述图神经网络被进一步配置成执行下列操作：
获取所述可视化特征图中每个所述人脸关键点区域的局部预测特征；
根据所述可视化特征图生成人脸关键点区域的邻接矩阵；其中，所述邻接矩阵包括每个所述人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示所述人脸关键点区域与其他人脸关键点区域之间的相邻权重；
根据所述局部预测特征与所述邻接矩阵，生成最终的局部预测特征。
在上述人脸特征的获取方法的一个技术方案中，所述图神经网络被进一步配置成执行下列操作：
按照元素值由大至小的顺序对所述邻接矩阵中的邻接元素进行排序；
选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵；
对所述第一邻接矩阵中每个所述人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵；
根据所述局部预测特征与所述第二邻接矩阵，生成所述最终的局部预测特征。
在上述人脸特征的获取方法的一个技术方案中，“对人脸特征获取模型进行模型训练”的步骤具体包括：
控制所述人脸特征获取模型获取所述人脸图像样本的人脸特征；
采用模型损失函数并且根据所述人脸特征与所述人脸图像样本的样本特征，计算所述人脸特征获取模型的模型损失值；
根据所述模型损失值，计算所述人脸特征获取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述人脸特征获取模型的模型参数进行模型优化，以完成模型训练。
第二方面，提供一种人脸特征的获取系统，所述系统包括：
样本特征获取装置，其被配置成获取不同场景下的人脸图像样本的样本特征，其中，所述样本特征包括所述人脸图像样本中每个人脸关键点区域的局部特征以及所述人脸图像样本的全局特征；
模型训练装置，其被配置成根据每个所述人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练；
人脸特征获取装置，其被配置成采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征。
在上述人脸特征的获取系统的一个技术方案中，所述人脸特征获取模型包括卷积神经网络、图神经网络和特征融合模块；
所述卷积神经网络被配置成获取输入图像的全局预测特征；
所述图神经网络被配置成获取所述输入图像中每个人脸关键点区域的局部预测特征；
所述特征融合模块被配置成对所述全局预测特征与所述局部预测特征进行特征融合并且根据特征融合的结果输出所述输入图像的人脸特征；
其中，所述输入图像是人脸图像样本或待识别人脸图像。
在上述人脸特征的获取系统的一个技术方案中，所述人脸特征获取模型还包括可视化特征图获取模块；
所述可视化特征图获取模块被配置成获取所述卷积神经网络的中间网络层提取到的所述输入图像的特征图并且对所述特征图进行可视化处理，得到可视化特征图；
所述图神经网络被进一步配置成执行下列操作：
获取所述可视化特征图中每个所述人脸关键点区域的局部预测特征；
根据所述可视化特征图生成人脸关键点区域的邻接矩阵；其中，所述邻接矩阵包括每个所述人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示所述人脸关键点区域与其他人脸关键点区域之间的相邻权重；
根据所述局部预测特征与所述邻接矩阵，生成最终的局部预测特征。
在上述人脸特征的获取系统的一个技术方案中，所述图神经网络被进一步配置成执行下列操作：
按照元素值由大至小的顺序对所述邻接矩阵中的邻接元素进行排序；
选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵；
对所述第一邻接矩阵中每个所述人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵；
根据所述局部预测特征与所述第二邻接矩阵，生成所述最终的局部预测特征。
在上述人脸特征的获取系统的一个技术方案中，所述模型训练装置被进一步配置成执行下列操作：
控制所述人脸特征获取模型获取所述人脸图像样本的人脸特征；
采用模型损失函数并且根据所述人脸特征与所述人脸图像样本的样本特征，计算所述人脸特征获取模型的模型损失值；
根据所述模型损失值，计算所述人脸特征获取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述人脸特征获取模型的模型参数进行模型优化，以完成模型训练。
第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述人脸特征的获取方法的技术方案中任一项技术方案所述的人脸特征的获取方法。
第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述人脸特征的获取方法的技术方案中任一项技术方案所述的人脸特征的获取方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，人脸特征的获取方法可以先获取不同场景下的人脸图像样本的样本特征(样本特征可以包括人脸图像样本中每个人脸关键点区域的局部特征以及人脸图像样本的全局特征)，再根据每个人脸图像样本以及每个人脸图像样本各自对应的样本特征，对人脸特征获取模型进行模型训练，从而能够采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征。
基于上述实施方式，可以使人脸特征获取模型根据人脸图像样本的全局特征以及人脸关键点区域的局部特征，同时学习到较好的局部特征提取能力与全局特征提取能力。当采用人脸特征获取模型对图像质量较好的人脸图像(如背景简单、背景少、清晰或不存在人脸遮挡的图像)进行特征获取时不仅可以通过全局特征得到大量准确的人脸特征，通过局部特征同样也可以得到大量准确的人脸特征，从而在利用这些人脸特征进行人脸识别时能够显著提高人脸识别的准确性。当采用人脸特征获取模型对图像质量较差的人脸图像(如背景复杂、背景多、模糊或存在人脸遮挡的图像)进行特征获取时，即使无法通过全局特征得到大量准确的人脸特征，但是仍然可以通过局部特征得到大量准确的人脸特征，利用这些人脸特征同样可以进行准确的人脸识别。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的人脸特征的获取方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的人脸特征获取模型的模型训练方法的主要步骤流程示意图；
图3是根据本发明的一个实施例的获取图像的局部预测特征的方法的主要步骤流程示意图；
图4是根据本发明的一个实施例的人脸特征的获取装置的主要结构框图；
图5是根据本发明的一个实施例的可视化特征图的示意图。
附图标记列表：
11：样本特征获取装置；12：模型训练装置；13：人脸特征获取装置。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“装置”、“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个装置和/或模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
在本发明的一个应用场景的例子中，某个车站的车站出入口分别安装了视频采集装置，视频采集装置可以采集出入口的视频并将视频发送至车站的后台服务器上，而该后台服务器上安装有根据本发明的一个实施例的人脸特征的获取系统以及人脸识别系统。同时，这个后台服务器可以提取视频中的每帧图像并图像输入至人脸特征的获取系统中，人脸特征的获取系统可以分别获取每帧图像的人脸特征并且将获取到的人脸特征输出至人脸识别系统，人脸识别系统在接收到每帧图像的人脸特征之后可以根据人脸特征对每帧图像进行人脸识别，比如从这些图像中准确识别出某个目标人员的人脸(身份识别)。
参阅附图1，图1是根据本发明的一个实施例的人脸特征的获取方法的主要步骤流程示意图。如图1所示，本发明实施例中的人脸特征的获取方法主要包括下列步骤S101-步骤S103。
步骤S101：获取不同场景下的人脸图像样本的样本特征。
场景指的是在获取人员的人脸图像时该人员所在的场景。在本实施例中不同场景包括但不限于：光线明亮的场景、光线昏暗的场景、背景简单的场景、背景复杂的场景、人脸图像中人脸被遮挡的场景等等。
样本特征可以包括人脸图像样本中每个人脸关键点区域的局部特征以及人脸图像样本的全局特征。
人脸关键点区域指的是根据预设的人脸关键点在人脸图像样本中确定出的每个人脸关键点各自对应的图像区域。在本实施例中预设的人脸关键点包括但不限于：左眼、右眼、鼻子和嘴巴等等。而人脸关键点区域的局部特征指的是上述图像区域的图像特征。人脸图像样本的全局特征指的是整个人脸图像样本对应的图像特征。
需要说明的是，在本实施例中可以采用图像处理技术领域中常规的图像特征获取方法，分别获取人脸图像样本的局部特征和全局特征。例如，通过获取图像的颜色直方图来获取图像特征。为了描述简洁，在此不再赘述。
步骤S102：根据每个人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练。
步骤S103：采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征。
通过模型训练可以使人脸特征获取模型根据人脸关键点区域的局部特征学习到较好的提取图像中人脸关键点区域的局部特征的能力，以及可以使人脸特征获取模型根据人脸图像样本的全局特征学习到较好地提取图像的全局特征的能力，从而使得完成模型训练的人脸特征获取模型同时具备较好的局部特征以及全局特征的提取能力。在实际应用中，如果待识别人脸图像中的人脸的大部分区域被其他物体遮挡，但是人脸的人脸关键点区域如眼睛和鼻子未被遮挡，那么采用完成模型训练的人脸特征获取模型虽然不会获取到完整的待识别人脸图像的全局特征，但是仍然可以准确地获取到人脸关键点区域的局部特征，根据上述全局特征和准确的局部特征仍然可以进行准确的人脸识别。
进一步，在本发明实施例的一个实施方式中，上述步骤S102-步骤S103中采用的人脸特征获取模型可以包括卷积神经网络、图神经网络和特征融合模块。在本实施方式中，卷积神经网络可以被配置成获取输入图像的全局预测特征。图神经网络可以被配置成获取输入图像中每个人脸关键点区域的局部预测特征。特征融合模块可以被配置成对全局预测特征与局部预测特征进行特征融合并且根据特征融合的结果输出输入图像的人脸特征。需要说明的是，当对人脸特征获取模型进行模型训练时上述输入图像指的是人脸图像样本，当使用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征时上述输入图像指的是待识别人脸图像。
卷积神经网络指的是基于神经网络技术领域中的卷积神经网络(ConvolutionalNeural Networks，CNN)构建的神经网络，图神经网络指的是基于神经网络技术领域中的图神经网络(Graph Convolutional Neural Network，GCN)构建的神经网络，为了描述简洁，在此不再对CNN和GCN的具体结构进行赘述。
本领域技术人员能够理解的是，采用图像处理技术领域中常规的图像特征获取方法获取到的图像特征是以矩阵的形式表示的，也就是说，在本实施方式中全局预测特征和局部预测特征可以是以矩阵的形式表示的，并且表示全局预测特征和局部预测特征的矩阵的行列数相同。因此，在对全局预测特征与局部预测特征进行特征融合时可以将表示全局预测特征和局部预测特征的矩阵直接进行相加，也可以对表示全局预测特征和局部预测特征的矩阵进行矩阵拼接。
进一步，在一个实施方式中，可以对人脸特征获取模型中的卷积神经网络的中间网络层提取到的输入图像的特征图进行可视化处理，以便人脸特征获取模型中的图神经网络可以根据可视化处理时候的特征图进行局部预测特征获取。具体而言，在本实施方式中人脸特征的获取模型还可以包括可视化特征图获取模块。可视化特征图获取模块可以被配置成获取人脸特征获取模型中的卷积神经网络的中间网络层提取到的输入图像的特征图并且对特征图进行可视化处理，得到可视化特征图。需要说明的是，在本实施方式中可以采用图像处理技术领域中常规的特征图可视化方法如Grad-CAM(Gradient-weighted ClassActivation Mapping)算法对上述中间网络层提取到的输入图像的特征图进行可视化处理，根据可视化处理的结果得到可视化特征图。为了描述简洁，在此不再赘述。例如，通过对某个人脸图像样本的特征图进行可视化处理可以得到图5所示的可视化特征图。
在本实施方式的上述配置下，人脸特征获取模型中的图神经网络可以被配置成执行下列操作：
步骤11：获取可视化特征图中每个人脸关键点区域的局部预测特征。
步骤12：根据可视化特征图生成人脸关键点区域的邻接矩阵。
邻接矩阵可以包括每个人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示人脸关键点区域与其他人脸关键点区域之间的相邻权重。
一个例子：假设图神经网络根据可视化特征图获取到了左眼、右眼和嘴巴共三个人脸关键点区域的局部预测特征，那么在根据这三个人脸关键点区域的局部预测特征生成的邻接矩阵中，可以分别包括这三个人脸关键点区域各自对应的邻接元素。进一步假设左眼对应的邻接元素的元素值依次是1、2、3，元素值1表示左眼与右眼的相邻权重，元素值2表示左眼与嘴巴的相邻权重，元素值3表示左眼与左眼的相邻权重，那么如果按照相邻权重与相邻程度成正相关的原则，可以确定出与左眼的相邻程度最大的是左眼本身，其次是右眼，最后是嘴巴。
在本实施方式中可以在图神经网络中设置包括顺次连接的卷积层(Convolutional layer)、批归一化层(Batch Normalization)和激活函数层(ActivationFunction)的邻接矩阵生成网络，以采用这个邻接矩阵生成网络生成邻接矩阵，如可以将可视化特征图直接输入至邻接矩阵生成网络后，邻接矩阵生成网络就可以输出根据这个可视化特征图生成的邻接矩阵。在一个例子中，假设每次输入至邻接矩阵生成网络的可视化特征图的数量是S个(S≥2)，人脸关键点区域的数量是N个(N≥2)，那么邻接矩阵生成网络可以输出S个N×N的邻接矩阵。
此外，在本实施例中也可以采用图神经网络技术领域中常规的邻接矩阵的生成方法，根据人脸关键点区域的局部预测特征生成人脸关键点区域的邻接矩阵，为了描述简洁，在此不再赘述。
步骤13：根据局部预测特征与邻接矩阵，生成最终的局部预测特征。
在本实施方式中图神经网络可以被配置成按照下式(1)所示的特征获取方法生成最终的局部预测特征。
Hl+1＝σ((A+I)HlWl) (1)
公式(1)中各参数含义如下：
Hl表示将步骤11获取到的局部预测特征输入至图神经网络以后图神经网络中的第l个网络层提取到的特征，Hl+1表示将步骤11获取到的局部预测特征输入至图神经网络以后图神经网络中的第l+1个网络层提取到的特征，σ表示激活函数，A表示邻接矩阵，I表示对角矩阵，Wl表示上述第l个网络层的权重。在一个实施方式中，对角矩阵I可以采用单位矩阵。需要说明的是，在采用公式(1)针对每个可视化特征图生成最终的局部预测特征时公式(1)中引用的是同一个对角矩阵I。
本领域技术人员能够理解的是，采用图像处理技术领域中常规的图像特征获取方法获取到的图像特征是以矩阵的形式表示的，也就是说，在本实施方式中局部预测特征可以是以矩阵的形式表示的，并且在局部预测特征对应的矩阵中每个位置点的数值分别表示在人脸关键点区域中相应位置处的图像特征值。同时，由于邻接矩阵也是人脸关键点区域生成的，在邻接矩阵中每个位置点的数值分别表示在人脸关键点区域中相应位置处的相邻权重，并且邻接矩阵中的邻接元素表示相邻权重且权重是无量纲数据，因此，在生成最终的局部预测特征时，可以直接将邻接矩阵中每个位置处的邻接元素，与局部预测特征对应的矩阵中相应位置处的图像特征值进行相乘，形成最终的局部预测特征对应的矩阵。
此外，由于邻接元素的元素值表示的是人脸关键点区域与其他人脸关键点区域之间的相邻权重，如果元素值较小则表明人脸关键点区域与其他人脸关键点区域之间的相邻程度也比较小，也即表明在根据局部预测特征与邻接矩阵生成最终的局部预测特征时，这些元素值较小的邻接元素对生成最终的局部预测特征的影响也比较小，因此为了节省生成最终的局部预测特征的运算量，可以只利用那些元素值较大的邻接元素生成最终的局部预测特征。对此，在上述步骤12的一个实施方式中当根据可视化特征图生成人脸关键点区域的邻接矩阵之后，可以通过下述步骤121-步骤122对邻接矩阵进行稀疏化处理，以便可以利用邻接矩阵中元素值较大的邻接元素生成最终的局部预测特征。
步骤121：按照元素值由大至小的顺序对邻接矩阵中的邻接元素进行排序。
一个例子，假设邻接矩阵是按照元素值由大至小的顺序对这个邻接矩阵中的邻接元素进行排序，可以得到邻接元素的排序序列是|9，8，7，6，5，4，3，2，1]。
步骤122：选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵。
继续参阅步骤121中的例子，假设选取排名最靠后的4个邻接元素并且将选取到的邻接元素的元素值设置为零，则可以得到第一邻接矩阵是需要说明的是，本领域技术人员可以根据实际需求灵活设置需要选取的排名最靠后的多个邻接元素的具体数量，在本实施方式中可以设置该具体数量可以是邻接矩阵中邻接元素总数的50％。此外，排名最靠后的多个邻接元素可以指的是在按照元素值由大至小的顺序对邻接矩阵中的邻接元素进行排序得到的邻接元素的排序序列中，邻接元素的排列顺序大于等于顺序阈值的邻接元素。例如，继续参阅步骤121中的例子，如果顺序阈值是5，那么排列顺序大于等于顺序阈值的邻接元素包括5、4、3、2和1。
通过上述步骤121-步骤122将邻接矩阵中元素值较小的邻接元素设置为零，实现了对邻接矩阵的稀疏化处理，有利于后续步骤能够根据邻接矩阵中元素值较大的邻接元素快速生成最终的局部预测特征。
进一步，在上述步骤12的一个实施方式中，当根据可视化特征图生成人脸关键点区域的邻接矩阵之后，除了可以包括上述实施方式中的步骤121-步骤122，还可以通过下列步骤123-步骤124对邻接矩阵中的邻接元素进行归一化处理，以将邻接元素的元素值统一简化至一个预设的数值区间内，增加使用邻接元素对“人脸关键点区域与其他人脸关键点区域”之间的相邻程度的可解释性。
步骤123：对第一邻接矩阵中每个人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵。
一个例子，假设人脸关键点区域包括左眼区域、右眼区域、鼻子区域和嘴巴区域，第一邻接矩阵是其中，左眼区域对应的邻接元素包括a1、a2、a3和a4，右眼区域对应的邻接元素包括b1、b2、b3和b4，鼻子区域对应的邻接元素包括c1、c2、c3和c4，嘴巴区域对应的邻接元素包括d1、d2、d3和d4。分别对上述左眼区域、右眼区域、鼻子区域和嘴巴区域的邻接元素进行归一化处理，形成的第二邻接矩阵是/>其中，左眼区域对应的归一化处理后的邻接元素包括a1′、a2′、a3′和a4′且a1′+a2′+a3′+a4′＝1，右眼区域对应的归一化处理后的邻接元素包括b1′、b2′、b3′和b4′且b1′+b2′+b3′+b4′＝1，鼻子区域对应的归一化处理后的邻接元素包括c1′、c2′、c3′和c4′且c1′+c2′+c3′+c4′＝1，嘴巴区域对应的归一化处理后的邻接元素包括d1′、d2′、d3′和d4′且d1′+d2′+d3′+d4′＝1。需要说明的是，在本实施方式中可以采用数据处理技术领域中常规的归一化方法对邻接元素进行归一化处理，比如可以采用范数归一化方法对邻接元素进行归一化处理，为了描述简洁，在此不再赘述。
步骤124：根据局部预测特征与第二邻接矩阵，生成最终的局部预测特征。
由于在对邻接矩阵进行稀疏化处理和归一化处理后并未改变邻接矩阵的行列数，因此在本实施方式中仍然可以直接将第二邻接矩阵中每个位置处的邻接元素，与局部预测特征对应的矩阵中相应位置处的图像特征值进行相乘，形成最终的局部预测特征对应的矩阵。
进一步，在一个实施方式中人脸特征获取模型中的图神经网络可以被配置成通过执行下列步骤21-步骤22生成最终的局部预测特征。
步骤21：获取可视化特征图中每个人脸关键点区域的局部预测特征。
步骤22：根据局部预测特征与预设的邻接矩阵，生成最终的局部预测特征。
在本实施方式中步骤22的方法与前述实施方式步骤13的方法类似，区别主要在于步骤22在采用公式(1)针对每个可视化特征图生成最终的局部预测特征时公式(1)中引用的邻接矩阵是固定不变的，均是上述预设的邻接矩阵。
参阅附图3，在根据本发明的另一个实施方式中，可以按照图3所示的步骤S301-步骤S306生成最终的局部预测特征。
步骤S301：获取可视化特征图。
步骤S302：获取可视化特征图中每个人脸关键点区域的局部预测特征。
步骤S303：根据可视化特征图生成人脸关键点区域的邻接矩阵。
步骤S304：对邻接矩阵进行稀疏化处理。
步骤S305：对邻接矩阵进行归一化处理，即对经步骤S304稀疏化处理后的邻接矩阵再次进行归一化处理。
步骤S306：根据局部预测特征与邻接矩阵(经步骤S305归一化处理后的邻接矩阵)，生成最终的局部预测特征。
需要说明的是，上述步骤S301-步骤S306中各步骤的实现方法分别与前述人脸特征的获取方法实施例中步骤11-步骤13的实现方法相同，为了描述简洁，在此不再赘述。
进一步，在本实施例的一个实施方式中，上述步骤S103中可以通过下列步骤31-步骤33对人脸特征获取模型进行模型训练。
步骤31：控制人脸特征获取模型获取人脸图像样本的人脸特征。在本实施方式中可以直接将人脸图像样本输入至人脸特征获取模型，进而控制人脸特征获取模型获取人脸图像样本的人脸特征，其中，人脸特征获取模型获取人脸图像样本的人脸特征的具体实施方式，可以参见前述实施方式中描述的人脸特征获取模型的模型结构与结构功能。
步骤32：采用模型损失函数并且根据人脸特征与人脸图像样本的样本特征，计算人脸特征获取模型的模型损失值(模型损失函数的计算结果)。其中，人脸图像样本的样本特征指的是经步骤S101获取到的人脸图像样本的样本特征。
需要说明的是，在本实施方式中可以采用机器学习技术领域中常规的损失函数构建模型损失函数，比如可以采用对数损失函数构建模型损失函数，为了描述简洁，在此不再对损失函数的具体形式和工作原理进行赘述。
步骤33：根据所模型损失值，计算人脸特征获取模型中每个模型参数各自对应的梯度，并且根据梯度反向传播更新人脸特征获取模型的模型参数进行模型优化，以完成模型训练。
在计算出模型损失值之后(前向传播完成)，根据该模型损失值计算人脸特征获取模型中每个模型参数各自对应的梯度，并且根据梯度反向传播更新人脸特征获取模型的模型参数进行模型优化，以完成当前迭代训练。需要说明的是，本实施例中可以采用机器学习技术领域中常规的利用参数梯度进行参数更新的方法进行模型优化，例如可以采用梯度下降法(Gradient Descend)，根据计算出的模型参数的梯度进行反向传播更新人脸特征获取模型中的模型参数。为了描述简洁，在此不再对上述参数更新方法的工作原理和具体过程进行赘述。
参阅附图2，在根据本发明的另一个实施方式中，可以按照图2所示的步骤S201-步骤S208对人脸特征获取模型进行模型训练。
步骤S201：向人脸特征获取模型输入人脸图像样本。
步骤S202：控制人脸特征获取模型中的卷积神经网络获取人脸图像样本的全局预测特征。
步骤S203：获取卷积神经网络的中间网络层提取到的人脸图像样本的特征图并且对特征图进行可视化处理，得到可视化特征图。
步骤S204：采用图神经网络获取可视化特征图中左眼、右眼、鼻子和嘴巴共四个人脸关键点区域的局部预测特征。
步骤S205：根据四个人脸关键点区域的局部预测特征，确定最终的局部预测特征。
步骤S206：对全局预测特征与局部预测特征进行特征融合并且根据特征融合的结果输出人脸图像样本的人脸特征。
步骤S207：采用模型损失函数并且根据人脸特征与人脸图像样本的样本特征，计算人脸特征获取模型的模型损失值。
步骤S208：根据模型损失值进行模型优化，以完成模型训练。
其中，上述步骤S201-步骤S208中各步骤的实现方法分别与前述人脸特征的获取方法实施例中相关步骤的实现方法相同，为了描述简洁，在此不再赘述。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
进一步，本发明还提供了一种人脸特征的获取系统。
参阅附图4，图4是根据本发明的一个实施例的人脸特征的获取系统的主要结构框图。如图4所示，本发明实施例中的人脸特征的获取系统主要包括样本特征获取装置11、模型训练装置12和人脸特征获取装置13。在一些实施例中，样本特征获取装置11、模型训练装置12和人脸特征获取装置13中的一个或多个可以合并在一起成为一个装置。在一些实施例中，样本特征获取装置11可以被配置成获取不同场景下的人脸图像样本的样本特征，其中，样本特征可以包括人脸图像样本中每个人脸关键点区域的局部特征以及人脸图像样本的全局特征。模型训练装置12可以被配置成根据每个人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练。人脸特征获取装置13可以被配置成采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征。一个实施方式中，具体实现功能的描述可以参见步骤S101-步骤S103所述。
在一个实施方式中，人脸特征获取模型可以包括卷积神经网络、图神经网络和特征融合模块。在本实施方式中，卷积神经网络可以被配置成获取输入图像的全局预测特征。图神经网络可以被配置成获取输入图像中每个人脸关键点区域的局部预测特征。特征融合模块可以被配置成对全局预测特征与局部预测特征进行特征融合并且根据特征融合的结果输出输入图像的人脸特征。其中，输入图像是人脸图像样本或待识别人脸图像。一个实施方式中，具体实现功能的描述可以参见步骤S102-步骤S103所述。
在一个实施方式中，人脸特征获取模型还可以包括可视化特征图获取模块。在本实施方式中，可视化特征图获取模块可以被配置成获取卷积神经网络的中间网络层提取到的输入图像的特征图并且对特征图进行可视化处理，得到可视化特征图。此外，在本实施方式中，图神经网络可以被进一步配置成执行下列操作：获取可视化特征图中每个人脸关键点区域的局部预测特征；根据可视化特征图生成人脸关键点区域的邻接矩阵；其中，邻接矩阵可以包括每个人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示人脸关键点区域与其他人脸关键点区域之间的相邻权重；根据局部预测特征与邻接矩阵，生成最终的局部预测特征。一个实施方式中，具体实现功能的描述可以参见步骤S102-步骤S103所述。
在一个实施方式中，图神经网络可以被进一步配置成执行下列操作：按照元素值由大至小的顺序对邻接矩阵中的邻接元素进行排序；选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵；对第一邻接矩阵中每个人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵；根据局部预测特征与第二邻接矩阵，生成最终的局部预测特征。一个实施方式中，具体实现功能的描述可以参见步骤S102-步骤S103所述。
在一个实施方式中，模型训练装置13可以被进一步配置成执行下列操作：控制人脸特征获取模型获取人脸图像样本的人脸特征；采用模型损失函数并且根据人脸特征与人脸图像样本的样本特征，计算人脸特征获取模型的模型损失值；根据模型损失值，计算人脸特征获取模型中每个模型参数各自对应的梯度，并且根据梯度反向传播更新人脸特征获取模型的模型参数进行模型优化，以完成模型训练。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
上述人脸特征的获取系统以用于执行图1-3所示的人脸特征的获取方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，人脸特征的获取系统的具体工作过程及有关说明，可以参考人脸特征的获取方法的实施例所描述的内容，此处不再赘述。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的人脸特征的获取方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的人脸特征的获取方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的人脸特征的获取方法的程序，该程序可以由处理器加载并运行以实现上述人脸特征的获取方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个装置的设定仅仅是为了说明本发明的系统的功能单元，这些装置对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个装置的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对系统中的各个装置进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种人脸特征的获取方法，其特征在于，所述方法包括：
获取不同场景下的人脸图像样本的样本特征，其中，所述样本特征包括所述人脸图像样本中每个人脸关键点区域的局部特征以及所述人脸图像样本的全局特征；
根据每个所述人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练；
采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征；
其中，所述人脸特征获取模型包括卷积神经网络、图神经网络和可视化特征图获取模块；
所述卷积神经网络被配置成获取输入图像的全局预测特征；
所述可视化特征图获取模块被配置成获取所述卷积神经网络的中间网络层提取到的所述输入图像的特征图并且对所述特征图进行可视化处理，得到可视化特征图；
所述图神经网络被配置成根据所述可视化特征图获取所述输入图像中每个人脸关键点区域的局部预测特征；
所述输入图像是人脸图像样本或待识别人脸图像。
2.根据权利要求1所述的人脸特征的获取方法，其特征在于，所述人脸特征获取模型还包括特征融合模块；
所述特征融合模块被配置成对所述全局预测特征与所述局部预测特征进行特征融合并且根据特征融合的结果输出所述输入图像的人脸特征。
3.根据权利要求2所述的人脸特征的获取方法，其特征在于，
所述图神经网络被进一步配置成执行下列操作：
获取所述可视化特征图中每个所述人脸关键点区域的局部预测特征；
根据所述可视化特征图生成人脸关键点区域的邻接矩阵；其中，所述邻接矩阵包括每个所述人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示所述人脸关键点区域与其他人脸关键点区域之间的相邻权重；
根据所述局部预测特征与所述邻接矩阵，生成最终的局部预测特征。
4.根据权利要求3所述的人脸特征的获取方法，其特征在于，所述图神经网络被进一步配置成执行下列操作：
按照元素值由大至小的顺序对所述邻接矩阵中的邻接元素进行排序；
选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵；
对所述第一邻接矩阵中每个所述人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵；
根据所述局部预测特征与所述第二邻接矩阵，生成所述最终的局部预测特征。
5.根据权利要求1至4中任一项所述的人脸特征的获取方法，其特征在于，“对人脸特征获取模型进行模型训练”的步骤具体包括：
控制所述人脸特征获取模型获取所述人脸图像样本的人脸特征；
采用模型损失函数并且根据所述人脸特征与所述人脸图像样本的样本特征，计算所述人脸特征获取模型的模型损失值；
根据所述模型损失值，计算所述人脸特征获取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述人脸特征获取模型的模型参数进行模型优化，以完成模型训练。
6.一种人脸特征的获取系统，其特征在于，所述系统包括：
样本特征获取装置，其被配置成获取不同场景下的人脸图像样本的样本特征，其中，所述样本特征包括所述人脸图像样本中每个人脸关键点区域的局部特征以及所述人脸图像样本的全局特征；
模型训练装置，其被配置成根据每个所述人脸图像样本以及各自对应的样本特征，对人脸特征获取模型进行模型训练；
人脸特征获取装置，其被配置成采用完成模型训练的人脸特征获取模型获取待识别人脸图像的人脸特征；
其中，所述人脸特征获取模型包括卷积神经网络、图神经网络和可视化特征图获取模块；
所述卷积神经网络被配置成获取输入图像的全局预测特征；
所述可视化特征图获取模块被配置成获取所述卷积神经网络的中间网络层提取到的所述输入图像的特征图并且对所述特征图进行可视化处理，得到可视化特征图；
所述图神经网络被配置成根据所述可视化特征图获取所述输入图像中每个人脸关键点区域的局部预测特征；
所述输入图像是人脸图像样本或待识别人脸图像。
7.根据权利要求6所述的人脸特征的获取系统，其特征在于，所述人脸特征获取模型还包括特征融合模块；
所述特征融合模块被配置成对所述全局预测特征与所述局部预测特征进行特征融合并且根据特征融合的结果输出所述输入图像的人脸特征。
8.根据权利要求7所述的人脸特征的获取系统，其特征在于，
所述图神经网络被进一步配置成执行下列操作：
获取所述可视化特征图中每个所述人脸关键点区域的局部预测特征；
根据所述可视化特征图生成人脸关键点区域的邻接矩阵；其中，所述邻接矩阵包括每个所述人脸关键点区域各自对应的邻接元素，人脸关键点区域对应的邻接元素的元素值表示所述人脸关键点区域与其他人脸关键点区域之间的相邻权重；
根据所述局部预测特征与所述邻接矩阵，生成最终的局部预测特征。
9.根据权利要求8所述的人脸特征的获取系统，其特征在于，所述图神经网络被进一步配置成执行下列操作：
按照元素值由大至小的顺序对所述邻接矩阵中的邻接元素进行排序；
选取排名最靠后的多个邻接元素并且将选取到的邻接元素的元素值设置为零，形成第一邻接矩阵；
对所述第一邻接矩阵中每个所述人脸关键点区域各自对应的邻接元素分别进行归一化处理，形成第二邻接矩阵；
根据所述局部预测特征与所述第二邻接矩阵，生成所述最终的局部预测特征。
10.根据权利要求6至9中任一项所述的人脸特征的获取系统，其特征在于，所述模型训练装置被进一步配置成执行下列操作：
控制所述人脸特征获取模型获取所述人脸图像样本的人脸特征；
采用模型损失函数并且根据所述人脸特征与所述人脸图像样本的样本特征，计算所述人脸特征获取模型的模型损失值；
根据所述模型损失值，计算所述人脸特征获取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述人脸特征获取模型的模型参数进行模型优化，以完成模型训练。
11.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的人脸特征的获取方法。
12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的人脸特征的获取方法。
CN202110609858.8A 2021-06-01 2021-06-01 人脸特征的获取方法、系统、装置及计算机可读存储介质 Active CN113239875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110609858.8A CN113239875B (zh) 2021-06-01 2021-06-01 人脸特征的获取方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110609858.8A CN113239875B (zh) 2021-06-01 2021-06-01 人脸特征的获取方法、系统、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113239875A CN113239875A (zh) 2021-08-10
CN113239875B true CN113239875B (zh) 2023-10-17

Family

ID=77136208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110609858.8A Active CN113239875B (zh) 2021-06-01 2021-06-01 人脸特征的获取方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113239875B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837108B (zh) * 2021-09-26 2023-05-23 重庆中科云从科技有限公司 人脸识别方法、装置及计算机可读存储介质
CN114360007B (zh) * 2021-12-22 2023-02-07 浙江大华技术股份有限公司 人脸识别模型训练、人脸识别方法、装置、设备及介质
CN114550236B (zh) * 2022-01-24 2023-08-15 北京百度网讯科技有限公司 图像识别及其模型的训练方法、装置、设备和存储介质
CN115563674B (zh) * 2022-09-29 2023-06-16 清华大学 初始平面布置生成方法和装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN109886223A (zh) * 2019-02-26 2019-06-14 北京旷视科技有限公司 人脸识别方法、底库录入方法、装置及电子设备
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置
WO2019228317A1 (zh) * 2018-05-28 2019-12-05 华为技术有限公司 人脸识别方法、装置及计算机可读介质
CN110909867A (zh) * 2019-11-26 2020-03-24 南通恒趣新材料有限公司 一种基于力导图的图神经网络可视分析方法
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN112767264A (zh) * 2021-01-08 2021-05-07 中国科学院计算技术研究所 基于图卷积神经网络的图像去模糊方法与系统
CN112861950A (zh) * 2021-01-29 2021-05-28 深圳前海微众银行股份有限公司 翻拍图像的识别方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
WO2019228317A1 (zh) * 2018-05-28 2019-12-05 华为技术有限公司 人脸识别方法、装置及计算机可读介质
CN109886223A (zh) * 2019-02-26 2019-06-14 北京旷视科技有限公司 人脸识别方法、底库录入方法、装置及电子设备
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置
WO2020244434A1 (zh) * 2019-06-03 2020-12-10 腾讯科技（深圳）有限公司 面部表情的识别方法、装置、电子设备及存储介质
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN110909867A (zh) * 2019-11-26 2020-03-24 南通恒趣新材料有限公司 一种基于力导图的图神经网络可视分析方法
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN112767264A (zh) * 2021-01-08 2021-05-07 中国科学院计算技术研究所 基于图卷积神经网络的图像去模糊方法与系统
CN112861950A (zh) * 2021-01-29 2021-05-28 深圳前海微众银行股份有限公司 翻拍图像的识别方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Facial Expression Recognition Based on Graph Neural Network;Xu Xu 等;《2020 IEEE 5th International Conference on Image, Vision and Computing》;211-214 *
一种基于特征融合的卷积神经网络人脸识别算法;王嘉欣 等;《激光与光电子学进展》;1-12 *
图神经网络回归的人脸超分辨率重建;呼延康 等;《软件学报》;1-12 *
特征匹配融合结合改进卷积神经网络的人脸识别;李佳妮 等;《激光与光电子学进展》;1-15 *

Also Published As

Publication number Publication date
CN113239875A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
US10891537B2 (en) Convolutional neural network-based image processing method and image processing apparatus
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN109416727A (zh) 一种人脸图像中眼镜去除方法及装置
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113705294A (zh) 一种基于人工智能的图像识别方法、装置
CN111310516A (zh) 一种行为识别方法和装置
CN112257729A (zh) 图像识别方法、装置、设备及存储介质
CN111814820A (zh) 图像处理方法及装置
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
CN113011468B (zh) 图像特征提取方法及装置
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN112087556B (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
CN113674383A (zh) 生成文本图像的方法及装置
CN114004974A (zh) 对弱光环境下拍摄的图像的优化方法及装置
CN112950641A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113642353A (zh) 一种人脸检测模型的训练方法、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant