CN110879993B - 神经网络训练方法、人脸识别任务的执行方法及装置 - Google Patents

神经网络训练方法、人脸识别任务的执行方法及装置 Download PDF

Info

Publication number
CN110879993B
CN110879993B CN201911203369.1A CN201911203369A CN110879993B CN 110879993 B CN110879993 B CN 110879993B CN 201911203369 A CN201911203369 A CN 201911203369A CN 110879993 B CN110879993 B CN 110879993B
Authority
CN
China
Prior art keywords
face recognition
neural network
face
network
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911203369.1A
Other languages
English (en)
Other versions
CN110879993A (zh
Inventor
陈彦杰
方凯仁
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911203369.1A priority Critical patent/CN110879993B/zh
Publication of CN110879993A publication Critical patent/CN110879993A/zh
Application granted granted Critical
Publication of CN110879993B publication Critical patent/CN110879993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种神经网络训练方法、人脸识别任务的执行方法及装置，所得到的模型规模更小，执行任务时需要耗费的计算量更少。神经网络训练方法包括：利用神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；拼接的图像数据由每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；利用神经网络中的每个功能实现网络分支，根据拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；根据确定的人脸识别结果以及拼接得到拼接的图像数据的样本人脸图像的标注结果，对神经网络的网络参数值进行调整，得到初步训练后的神经网络。

Description

神经网络训练方法、人脸识别任务的执行方法及装置
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种神经网络训练方法、人脸识别任务的执行方法及装置。
背景技术
人脸识别是计算机视觉研究领域中的热门研究方向之一，并且有着广泛的应用，在安防、监控、泛娱乐等领域都有着重要的作用。
当前人脸识别领域有非常多的应用，每种应用都被称为一种人脸识别任务；比如情绪识别、年龄识别、性别识别、疲劳检测、关键点定位等。而随着深度学习进入高速发展期，在各种视觉任务中涌现出大量的方法，通过大量数据进行深度学习得到的图像特征也具有更强、更加泛化的表达能力，把深度学习得到的图像特征作为分类和定位的特征具有更高的准确率。
随着人脸识别领域中的人脸识别任务越来越多，需要训练并在设备中存储的人脸识别模型越来越多，占用了大量的存储空间，在执行多种人脸识别任务时，需要耗费大量的计算资源。
发明内容
有鉴于此，本公开实施例至少提供一种神经网络训练方法、人脸识别任务的执行方法及装置。
第一方面，本公开实施例提供了一种神经网络训练方法，所述神经网络训练方法包括：获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络。
这样，通过该神经网络训练方法所得到的初步训练后的神经网络，包括多种类别的人脸识别任务通用的特征提取网络，和与每种类别的人脸识别任务分别对应的功能实现网络分支，较之当前为每一种类别的人脸识别任务分别训练人脸识别模型，具有更小的模型体积，且多种类别的人脸识别任务的特征提取过程只需执行一次，因此需要耗费的计算量更少。
一种可选实施方式中，在得到初步训练后的神经网络之后，所述方法还包括：利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像；利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果；根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
这样，经过对功能实现网络分支的微调进一步提升神经网络的精度。
一种可选实施方式中，用于拼接得到所述拼接的图像数据中的每种类别的人脸识别任务训练所用的样本人脸图像的数量均衡。
这样，使得特征提取网络和功能实现网络分支能够均衡的学习个类别的人脸识别任务分别对应的特征，使得各类别的人脸识别任务的精度均能够达到要求。
一种可选实施方式中，根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，包括：根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
这样，实现了对神经网络的训练。
一种可选实施方式中，所述至少两种类别的人脸识别任务包括：人脸关键点检测任务；所述神经网络中的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支；根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，包括：根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值；调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内；根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
这样，通过第一损失值和第二损失值，实现对神经网络的网络参数值的调整。
一种可选实施方式中，所述拼接的图像数据采用以下方法拼接得到：将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
这样，能够加速模型训练速度，加快模型收敛。
一种可选实施方式中，所述至少两种类别的人脸识别任务包括以下任务中的至少一种：性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务。
第二方面，本公开实施例还提供一种人脸识别任务的执行方法，利用上述第一方面任一所述的神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
第三方面，本公开实施例还提供一种神经网络训练装置，所述神经网络训练装置包括：获取模块，用于获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；第一特征提取模块，用于利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；第一人脸识别模块，用于利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；第一参数调整模块，用于根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络。
一种可选实施方式中，在得到初步训练后的神经网络之后，所述装置还包括：第二特征提取模块，用于利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像；第二人脸识别模块，用于利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果；第二参数调整模块，用于根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
一种可选实施方式中，用于拼接得到所述拼接的图像数据中的每种类别的人脸识别任务训练所用的样本人脸图像的数量均衡。
一种可选实施方式中，所述第一参数调整模块，用于：根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
一种可选实施方式中，所述至少两种类别的人脸识别任务包括：人脸关键点检测任务；所述神经网络中的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支；所述第一参数调整模块，用于：根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值；调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内；根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
一种可选实施方式中，还包括：拼接模块，用于采用下述方式得到所述拼接的图像数据：将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
一种可选实施方式中，所述至少两种类别的人脸识别任务包括以下任务中的至少一种：性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务。
第四方面，本公开实施例还提供一种人脸识别任务的执行装置，用于利用如上述第一方面中任一所述的神经网络的训练装置训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
第五方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能、或第二方面的实施方式中的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能、或第二方面的实施方式中的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中，并构成说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种神经网络训练方法的流程图；
图2示出了本公开实施例所提供的神经网络训练方法中，对神经网络的网络参数值进行调整的具体方法的流程图；
图3示出了本公开实施例所提供的另一种神经网络训练方法的流程图；
图4示出了本公开实施例所提供的一种神经网络训练装置的示意图；
图5示出了本公开实施例所提供的一种电子设备50的示意图；
图6示出了本公开实施例所提供的一种电子设备60的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在各种类别的人脸识别任务中，通常都设置较为庞大的神经网络结构，从图像中提取到具有更强、更加泛化的特征，以更高的精度，对图像进行人脸识别。当前的做法是，针对每一种人脸识别任务，都为其训练一个神经网络模型。这些模型要应用于同一台设备，模型本身需要占用较大的存储控件；且基于这些模型在同一台设备中执行多种类别的人脸识别任务时，需要耗费大量的计算资源，进而对设备的存储空间以及计算资源都有较高的要求；而嵌入式设备存储空间和计算资源都比较有限，因此很难实现将多种人脸识别模型同时在嵌入式设备中使用。
基于上述研究，本公开提供了一种神经网络训练方法，在获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果后，利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；并利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；然后根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络，通过该方法得到的神经网络，包括多种类别的人脸识别任务共用的特征提取网络，并与每种类别的人脸识别任务分别对应的功能实现网络分支，较之当前为每一种类别的人脸识别任务分别训练人脸识别模型，具有更小的模型体积，且多种类别的人脸识别任务的特征提取过程只需执行一次，因此需要耗费的计算量更少。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络训练方法进行详细介绍，本公开实施例所提供的神经网络训练方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为终端设备为例对本公开实施例提供的神经网络训练方法加以说明。
实施例一
参见图1所示，为本公开实施例提供的神经网络训练方法的流程图，方法包括步骤S101～S104，其中：
S101：获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果。
S102：利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；
S103：利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；
S104：根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络。
下面分别对上述S101～S104加以详细说明。
I：在上述S101中，样本人脸图像为彩色图像、红外图像、及近红外图像中任一种。
每种类别的人脸识别任务均对应有多张样本人脸图像，且不同类别的人脸识别任务对应的样本人脸图像的数量均衡。
这里，不同类别的人脸识别任务对应的样本人脸图像的数量均衡，是指不同类别的人脸识别任务对应的样本人脸图像的数量之间相差较小，例如任意两种类别的人脸识别任务分别对应的样本人脸图像的数量差不超出预设的数量阈值，或不超出预设百分比阈值。
另外，需要注意的是，在对神经网络进行的多轮训练中，每轮训练所使用的与不同类别的人脸识别任务分别对应的样本人脸图像的数量也均衡。
这里，需要注意的是，对于同一张图像而言，其既可以仅作为一种人脸识别任务训练所用，也可以作为多种人脸识别任务训练所用，且当其作为多种人脸识别任务训练所用时，对应的标注结果不同。
标注结果用于表征样本人脸图像在所属类别的人脸识别任务下的识别结果。
在具体实施中，例如至少两种类别的人脸识别任务包括A、B、C三种；
其中，与人脸识别任务A对应的样本人脸图像分别为a1～an1；与a1～an1分别对应的标注结果为a1～an1分别在人脸识别任务A下的识别结果。
与人脸识别任务B对应的样本人脸图像分别为b1～bn2；与b1～bn2分别对应的标注结果分别为b1～bn2分别在人脸识别任务B下的识别结果。
与人脸识别任务C对应的样本人脸图像分别为c1～cn3；与c1～cn3分别对应的标注结果分别为c1～cn3分别在人脸识别任务C下的识别结果。
不同类别的人脸识别任务分别对应的样本人脸图像可以全部相同，可以部分相同，也可以完全不同。
Ⅱ：在上述S102和S103中，本公开实施例中，至少两种类别的人脸识别任务包括以下任务中的至少一种：性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务、人脸关键点检测任务。
对应的，在人脸识别任务为性别识别任务时，对应的功能实现网络分支为能够完成性别识别任务的网络分支；
在人脸识别任务为年龄识别任务时，对应的功能实现网络分支为能够完成年龄识别任务就的网络分支；
在人脸识别任务为情绪识别任务时，对应的功能实现网络分支为能够完成情绪识别任务的网络分支；
在人脸识别任务为人眼状态识别任务时，对应的功能实现网络分支为能够完成人眼状态识别任务的网络分支；
在人脸识别任务为嘴部状态识别任务时，对应的功能实现网络分支为能够完成嘴部状态识别任务的网络分支。
在人脸识别任务为人脸关键点检测任务时，对应的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支。
特征提取网络是所有类别的人脸识别任务共用的网络，其结构可以根据实际的需要进行具体设定，例如可以由卷积层、池化层、全连接层中一种或者多种构成。功能实现网络分支是不同类别的人脸识别任务专用的网络，其结构同样能够根据实际需要进行具体设定。
特征提取网络例如包括：多层卷积层，功能实现网络分支如包括：多层全连接层。此处，全连接层在对基于特征提取网络得到的拼接的图像数据的特征进行处理过程中起到分类器的作用。
在该示例中，特征提取网络中的任一层卷积层可以抽象的被表示为下述公式(1)：
Figure BDA0002296398730000121
其中，其中Wl表示该卷积层卷积核的参数，Xl-1表示最近的前一层卷积层的输出，bl表示该卷积层的偏置项，
Figure BDA0002296398730000122
表示激活函数。而卷积网络中通过线性的卷积核和非线性的激活函数来抽取图像的语义特征。
若卷积层为特征提取网络中的第一层卷积层，则Xl-1表示由每种类别的人脸识别任务训练所用的样本人脸图像拼接得到的拼接的图像数据。
然后再将上述拼接的图像数据的特征，输入至各类别的人脸识别任务分别专用的功能实现网络分支，针对性的对不同类别的人脸识别任务分别对应的特征进行针对性提取，并基于针对性提取的结果进行分类，确定每种类别的人脸识别任务的人脸识别结果。
在得到每种类别的人脸识别任务训练所用的样本人脸图像后，要将每种类别的人脸识别任务训练所用的样本人脸图像进行拼接，以得到拼接的图像数据。
具体地，可以采用下述方式得到拼接的图像数据：
将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
另外，在一些可能的情况下，某些样本人脸图像的尺寸会有所区别，为了方便将这些样本人脸图像在批维度上进行拼接，还可以再通道、图像高度、图像宽度上，将各张样本人脸图像调整至目标尺寸。
在将各张样本人脸图像调整至目标尺寸后，再对齐进行拼接。
这里，可以采用对样本人脸图像进行卷积处理的方式，将其尺寸调整至目标尺寸。
Ⅲ：在上述S103中，根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，也即基于人脸识别结果，以及拼接得到的拼接的图像数据的样本人脸图像的标注结果，确定损失，然后基于损失，对神经网络的网络参数进行调整。
具体地，对所述神经网络的网络参数值进行调整的具体过程，例如包括：
根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
在具体实施中，参见图2所示，在至少两种类别的人脸识别任务包括：人脸关键点检测任务的情况下，可以采用下述方式根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整：
S201：根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；
示例性的，将输入的样本人脸图像标记为x，将与人脸关键点检测对应的第i个样本人脸图像经过上述S12～S103的处理过程表示为函数Freg，得到的第一预测结果(也即人脸识别结果)yreg满足公式(4)：
yreg＝Freg(x) (4)
其中，yreg也即预测到的各个人脸关键点的预测坐标。若与样本人脸图像对应各个人脸关键点的真实坐标构成的标注结果向量为：yreg，则预测坐标与真实坐标之间的距离Δy满足公式(5)：
Δy＝|yreg-yreg| (5)
则具体的第一损失值Lreg满足下述公式(6)和公式(7)：
Lreg＝SmoothL1(Δy) (6)
Figure BDA0002296398730000141
S202：根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值。
示例性的，针对任一类别的人脸识别任务，将与该任一人脸识别任务对应的第i个样本人脸图像经过上述S101～S102后，基于激活函数softmax对针对性提取出来的特征进行激活，得到的与第i个样本人脸图像对应的人脸识别结果
Figure BDA0002296398730000142
满足下述公式(2)：
Figure BDA0002296398730000143
其中，K表示该任一人脸识别任务对应的分类类别数量。zj表示该人脸识别任务对应的功能实现网络分支，基于第i个样本人脸图像的特征数据输出的第j个输出值。
该第i个样本人脸图像在该人脸识别任务下，对应的真实的标注结果为：
Figure BDA0002296398730000144
其中，
Figure BDA0002296398730000145
则与该第i个样本人脸图像对应的第二损失值Lcls满足下述公式(3)：
Figure BDA0002296398730000146
S203：调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内。
这里，在得到上述第一损失值和第二损失值的情况下，由于第一损失为回归损失，第二损失例如为交叉熵损失，由于回归损失的量级通常会较大，而交叉熵损失的量级则通常会比较小，为了避免回归损失对模型整体的训练过程影响远远大于交叉熵损失，对回归损失进行量级调整，使得进行了量级调整后的回归损失与交叉熵损失处于相同的量级。
这里，通过控制将调整后的第一损失值和第二损失值的比值在预设范围内的方式，来将第一损失值和第二损失值调整至相同的量级下。
在另一实施例中，还可以通过调整第二损失的方式，将调整后的第二损失与第一损失的比值在预设范围内，使得第一损失值和第二损失值处于相同量级下。
S204：根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
这里，例如基于上述第一损失值和第二损失值，得到模型总损失，并基于模型总损失，对特征提取网络、以及各人脸识别任务分别对应的功能实现网络分支进行调整。
例如可以将各第一损失值和第二损失值加权求和，得到模型总损失。
例如，在上述示例中，模型总损失L满足下述公式(8)：
Figure BDA0002296398730000151
其中，M表示除人脸关键点检测外的其他人脸识别任务的总数量；wi表示第i个除人脸关键点检测外的其他人脸识别任务的损失在模型总损失中占据的权重；λ为人脸关键点检测任务的加权系数。
在得到模型总损失后，基于模型总损失，调整特征提取网络、以及每个功能实现网络分支的参数。
通过多轮上述调整过程，得到初步训练后的神经网络。
通过上述过程，可以完成对特征提取网络的训练，并完成对每个功能实现网络分支的初步训练。
当至少两种类别的人脸识别任务包括人脸关键点检测任务的情况下，神经网络在训练的过程中，其中的特征提取网络会通过学习提取人脸图像中的特征从而回归人脸106关键点的坐标，从而促进特征提取网络从人脸图像中提取更多的局部特征，使得神经网络中的其他的功能实现网络能够获取到人脸图像中的更多的局部特征，提高分类的准确性。
在另一实施例中，参见图3所示，在得到初步训练后的神经网络之后，本公开实施例提供的神经网络训练方法还包括：
S301：利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像。
此处，在对初步训练后的神经网络进行微调的过程中，特征提取网络的参数固定不变。
S302：利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果。
此处，根据微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果也与上述S103中，确定每种类别的人脸识别任务的人脸识别结果的方式类似，在此不再赘述。
S303：根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
此处，在对各种类别的人脸识别任务的功能实现网络分支的网络参数进行调整时，是基于每一种人脸识别任务分别对应的损失来实现的。
例如，人脸识别任务有三种M1、M2和M3，三种人脸识别任务分别对应的损失为损失a1、损失a2、损失a3，那么基于损失a1对M1对应的功能实现网络分支的网络参数进行调整，基于损失a2对M2对应的功能实现网络分支的网络参数进行调整，并基于损失a3对M3对应的功能实现网络分支的网络参数进行调整。
本公开实施例提供的神经网络训练方法所得到的初步训练后的神经网络，包括多种类别的人脸识别任务通用的特征提取网络，和与每种类别的人脸识别任务分别对应的功能实现网络分支，较之当前为每一种类别的人脸识别任务分别训练人脸识别模型，具有更小的模型体积，且多种类别的人脸识别任务的特征提取过程只需执行一次，因此需要耗费的计算量更少。
另外，在本公开实施例中，得到的神经网络能够实现多种类别的人脸识别任务的，且具有更小的模型体积，且在同时执行多种人脸识别任务时，需要耗费的计算量更少，更有利于部署在移动端。
另外，本公开实施例中，将人脸关键点检测和其他种类的人脸识别任务结合，训练神经网络，更有利于提高神经网络的特征表达能力，提高各种不同人脸识别任务的分类准确率。
本公开实施例还提供一种人脸识别任务的执行方法，包括：
利用本公开实施例提供神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
具体的神经网络的训练过程可参见上述实施例所示，在此不再赘述。
采用本公开实施例提供的神经网络训练的方法，得到的特征提取网络，以及与多种人脸识别任务分别对应的功能实现网络分支，模型规模更小，且在执行多人脸识别任务时，需要耗费的计算量更少。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与神经网络训练方法对应的神经网络训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述神经网络训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种神经网络训练装置的示意图，所述装置包括：获取模块41、第一特征提取模块42、第一人脸识别模块43、以及第一参数调整模块44；其中，
获取模块41，用于获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；
第一特征提取模块42，用于利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；
第一人脸识别模块43，用于利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；
第一参数调整模块44，用于根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络。
一种可能的实施方式中，在得到初步训练后的神经网络之后，所述装置还包括：
第二特征提取模块45，用于利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像；
第二人脸识别模块46，用于利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果；
第二参数调整模块47，用于根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
一种可能的实施方式中，用于拼接得到所述拼接的图像数据中的每种类别的人脸识别任务训练所用的样本人脸图像的数量均衡。
一种可能的实施方式中，所述第一参数调整模块44，用于：
根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
一种可能的实施方式中，所述至少两种类别的人脸识别任务包括：人脸关键点检测任务；所述神经网络中的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支；
所述第一参数调整模块44，用于：
根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；
根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值；
调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内；
根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
一种可能的实施方式中，还包括：拼接模块48，用于采用下述方式得到所述拼接的图像数据：
将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
一种可能的实施方式中，所述至少两种类别的人脸识别任务包括以下任务中的至少一种：
性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供一种人脸识别任务的执行装置，用于利用本公开实施例提供的所述的神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
本公开实施例还提供了一种电子设备50，如图5所示，为本公开实施例提供的电子设备50结构示意图，包括：处理器51、存储器52、和总线53。所述存储器52存储有所述处理器51可执行的机器可读指令(比如，图4中的装置中获取模块41、第一特征提取模块42、第一人脸识别模块43、以及第一参数调整模块44对应的执行指令等)，当电子设备50运行时，所述处理器51与所述存储器52之间通过总线53通信，所述机器可读指令被所述处理器51执行时执行如下处理：
获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；
利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；
利用所述神经网络中的每个功能实现网络分支，根据所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；
根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络。
本公开实施例还提供了一种电子设备60，如图6所示，为本公开实施例提供的电子设备60结构示意图，包括：处理器61、存储器62、和总线63。所述存储器62存储有所述处理器61可执行的机器可读指令(比如，人脸识别任务的执行装置对应的执行指令等)，当电子设备60运行时，所述处理器61与所述存储器62之间通过总线63通信，所述机器可读指令被所述处理器61执行时执行如下处理：
利用本公开实施例所述的神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的神经网络训练方法的步骤，或者执行上述方法实施例中所述人脸识别任务的执行方法的步骤。
本公开实施例所提供的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种神经网络训练方法，其特征在于，所述神经网络训练方法包括：
获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；
利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；
利用所述神经网络中的每个功能实现网络分支，对所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征进行针对性的提取，并基于针对性提取的结果进行分类，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；
根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络；
所述至少两种类别的人脸识别任务包括：人脸关键点检测任务；所述神经网络中的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支；
根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，包括：
根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；
根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值；
调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内；
根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
2.根据权利要求1所述的方法，其特征在于，在得到初步训练后的神经网络之后，所述方法还包括：
利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像；
利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果；
根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
3.根据权利要求1或2所述的神经网络训练方法，其特征在于，用于拼接得到所述拼接的图像数据中的每种类别的人脸识别任务训练所用的样本人脸图像的数量均衡。
4.根据权利要求1-3任一所述的方法，其特征在于，根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，包括：
根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
5.根据权利要求1-4任一所述的神经网络训练方法，其特征在于，所述拼接的图像数据采用以下方法拼接得到：
将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
6.根据权利要求1-5任一所述的神经网络训练方法，其特征在于，所述至少两种类别的人脸识别任务包括以下任务中的至少一种：
性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务。
7.一种人脸识别任务的执行方法，其特征在于，利用权利要求1-6任一所述的神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
8.一种神经网络训练装置，其特征在于，所述神经网络训练装置包括：
获取模块，用于获取至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像，以及每个样本人脸图像的标注结果；
第一特征提取模块，用于利用所述神经网络中的特征提取网络对拼接的图像数据进行特征提取，得到拼接的图像数据的特征；其中，所述拼接的图像数据由所述每种类别的人脸识别任务训练所用的样本人脸图像拼接得到；
第一人脸识别模块，用于利用所述神经网络中的每个功能实现网络分支，对所述拼接的图像数据的特征中、与该功能实现网络分支所能够完成的人脸识别任务的类别相对应的特征进行针对性的提取，并基于针对性提取的结果进行分类，确定每种类别的人脸识别任务的人脸识别结果；其中，不同功能实现网络分支完成不同类别的人脸识别任务；
第一参数调整模块，用于根据确定的人脸识别结果以及拼接得到所述拼接的图像数据的样本人脸图像的标注结果，对所述神经网络的网络参数值进行调整，得到初步训练后的神经网络；
所述至少两种类别的人脸识别任务包括：人脸关键点检测任务；所述神经网络中的功能实现网络分支包括能够完成人脸关键点检测任务的网络分支；
所述第一参数调整模块，用于：
根据确定的人脸关键点检测任务的人脸识别结果以及拼接得到所述拼接的图像数据中用于完成人脸关键点检测任务的训练所用的样本人脸图像的标注结果，确定第一损失值；
根据确定的其他每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，确定第二损失值；
调整所述第一损失值，使得调整后的第一损失值与所述第二损失值的比值在预设范围内；
根据调整后的第一损失值和所述第二损失值，对所述神经网络的网络参数值进行调整。
9.根据权利要求8所述的神经网络训练装置，其特征在于，在得到初步训练后的神经网络之后，所述装置还包括：
第二特征提取模块，用于利用所述初步训练后的神经网络中的特征提取网络对微调所用的样本人脸图像进行特征提取，得到所述微调所用的样本人脸图像的特征；其中，所述微调所用的样本人脸图像包括一种类别的人脸识别任务训练所用的样本人脸图像；
第二人脸识别模块，用于利用所述初步训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支，根据所述微调所用的样本人脸图像的特征，确定所述微调所用的样本人脸图像的人脸识别结果；
第二参数调整模块，用于根据确定的所述微调所用的样本人脸图像的人脸识别结果以及所述微调所用的样本人脸图像的标注结果，对所述训练后的神经网络中能够完成该种类别的人脸识别任务的功能实现网络分支的网络参数进行调整。
10.根据权利要求8或9所述的神经网络训练装置，其特征在于，用于拼接得到所述拼接的图像数据中的每种类别的人脸识别任务训练所用的样本人脸图像的数量均衡。
11.根据权利要求8-10任一所述的装置，其特征在于，所述第一参数调整模块，用于：
根据确定的每种类别的人脸识别任务的人脸识别结果，以及所述拼接的图像数据中的该类别的人脸识别任务训练所用的样本人脸图像的标注结果，对所述神经网络中的特征提取网络的网络参数值以及能够完成该类别的人脸识别任务的功能实现网络分支的网络参数值进行调整。
12.根据权利要求8-11任一所述的神经网络训练装置，其特征在于，还包括：拼接模块，用于采用下述方式得到所述拼接的图像数据：
将所述至少两种类别的人脸识别任务中每种类别的人脸识别任务训练所用的样本人脸图像沿批维度拼接。
13.根据权利要求8-12任一所述的神经网络训练装置，其特征在于，所述至少两种类别的人脸识别任务包括以下任务中的至少一种：
性别识别任务、年龄识别任务、情绪识别任务、人眼状态识别任务、嘴部状态识别任务。
14.一种人脸识别任务的执行装置，其特征在于，用于利用权利要求1-6任一所述的神经网络的训练方法训练得到的神经网络对待识别的人脸图像进行处理，得到人脸识别结果。
15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一项所述的神经网络训练方法，或执行如权利要求7所述的脸识别任务的执行方法。
16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一项所述的神经网络训练方法，或执行如权利要求7所述的脸识别任务的执行方法。
CN201911203369.1A 2019-11-29 2019-11-29 神经网络训练方法、人脸识别任务的执行方法及装置 Active CN110879993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911203369.1A CN110879993B (zh) 2019-11-29 2019-11-29 神经网络训练方法、人脸识别任务的执行方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911203369.1A CN110879993B (zh) 2019-11-29 2019-11-29 神经网络训练方法、人脸识别任务的执行方法及装置

Publications (2)

Publication Number Publication Date
CN110879993A CN110879993A (zh) 2020-03-13
CN110879993B true CN110879993B (zh) 2023-03-14

Family

ID=69730725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911203369.1A Active CN110879993B (zh) 2019-11-29 2019-11-29 神经网络训练方法、人脸识别任务的执行方法及装置

Country Status (1)

Country Link
CN (1) CN110879993B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860101B (zh) * 2020-04-24 2024-09-24 北京嘀嘀无限科技发展有限公司 一种人脸关键点检测模型的训练方法及装置
CN111881854A (zh) * 2020-07-31 2020-11-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质
CN112633203B (zh) * 2020-12-29 2024-07-16 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
CN113223101B (zh) * 2021-05-28 2022-12-09 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置及设备
CN118552794B (zh) * 2024-07-25 2024-10-18 湖南军芃科技股份有限公司 基于多通道训练的矿选识别方法及矿石分选机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN110046530A (zh) * 2019-03-15 2019-07-23 中科院微电子研究所昆山分所 一种基于多任务目标检测的条形码倾斜矫正方法
CN110084216A (zh) * 2019-05-06 2019-08-02 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN110188615A (zh) * 2019-04-30 2019-08-30 中国科学院计算技术研究所 一种人脸表情识别方法、装置、介质及系统
CN110490052A (zh) * 2019-07-05 2019-11-22 山东大学 基于级联多任务学习的人脸检测及人脸属性分析方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN107844784A (zh) * 2017-12-08 2018-03-27 广东美的智能机器人有限公司 人脸识别方法、装置、计算机设备和可读存储介质
CN110046530A (zh) * 2019-03-15 2019-07-23 中科院微电子研究所昆山分所 一种基于多任务目标检测的条形码倾斜矫正方法
CN110188615A (zh) * 2019-04-30 2019-08-30 中国科学院计算技术研究所 一种人脸表情识别方法、装置、介质及系统
CN110084216A (zh) * 2019-05-06 2019-08-02 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN110490052A (zh) * 2019-07-05 2019-11-22 山东大学 基于级联多任务学习的人脸检测及人脸属性分析方法及系统

Also Published As

Publication number Publication date
CN110879993A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN110879993B (zh) 神经网络训练方法、人脸识别任务的执行方法及装置
CN111897964B (zh) 文本分类模型训练方法、装置、设备及存储介质
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
WO2022016556A1 (zh) 一种神经网络蒸馏方法以及装置
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN111950638A (zh) 基于模型蒸馏的图像分类方法、装置和电子设备
WO2019232772A1 (en) Systems and methods for content identification
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN109753938A (zh) 图像识别方法和设备及应用、神经网络的训练方法
CN112613581A (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN106682602A (zh) 一种驾驶员行为识别方法及终端
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN114450690A (zh) 网络模型训练方法、图像属性识别方法、装置及电子设备
CN111695596A (zh) 一种用于图像处理的神经网络以及相关设备
CN114332994A (zh) 训练年龄预测模型的方法、年龄检测方法及相关装置
CN107292229A (zh) 一种图像识别方法和装置
CN111046759A (zh) 人脸识别方法及相关装置
WO2023098912A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN112116589B (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN113869282A (zh) 人脸识别方法、超分模型训练方法及相关设备
CN107679070A (zh) 一种智能阅读推荐方法与装置、电子设备
CN111784665A (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN114119948A (zh) 一种茶叶识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant