CN112651490A - 人脸关键点检测模型的训练方法及设备、可读存储介质 - Google Patents
人脸关键点检测模型的训练方法及设备、可读存储介质 Download PDFInfo
- Publication number
- CN112651490A CN112651490A CN202011581306.2A CN202011581306A CN112651490A CN 112651490 A CN112651490 A CN 112651490A CN 202011581306 A CN202011581306 A CN 202011581306A CN 112651490 A CN112651490 A CN 112651490A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- feature extraction
- training
- face sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 148
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 119
- 238000005457 optimization Methods 0.000 claims description 66
- 238000012937 correction Methods 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本申请公开了一种人脸关键点检测模型的训练方法及计算机可读存储介质、设备。本申请的人脸关键点检测模型的训练方法，包括：获取原始人脸样本图像集；对原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集；根据第一人脸样本训练集对第一神经网络模型进行训练，并根据训练好的第一神经网络模型对原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集；对第一人脸样本图像集进行姿态角计算、数据增强处理，得到第二人脸样本训练集；根据第二人脸样本训练集对第二神经网络模型进行训练。本申请所提供的人脸关键点检测模型的训练方法可提高人脸关键点检测模型的关键点定位精准度，减小模型体积。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种人脸关键点检测模型的训练方法及计算机可读存储介质、设备。
背景技术
在相关技术中，通过人工构造的算法对图像进行处理以进行特征生成，而一般的算法对于多样性场景的适应性较弱，例如，穷举搜索的关键点定位方式在一定程度上限制了其运算效率。
而在深度学习网络技术的应用中，由于受训练样本样本分布、人脸尺度大小、人脸姿态多样性等因素影响，导致人脸关键点定位不准确，且模型过大不便于进行边缘设备的部署。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种人脸关键点检测模型的训练方法及计算机可读存储介质、设备，本申请所提供的人脸关键点检测模型的训练方法可有效提高人脸关键点检测模型对关键点定位精准度。
本申请实施例第一方面提供一种人脸关键点检测模型的训练方法，所述人脸关键点检测模型包括第一神经网络模型、第二神经网络模型，所述人脸关键点检测模型的训练方法包括：
获取原始人脸样本图像集；
对所述原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集；
根据所述第一人脸样本训练集对所述第一神经网络模型进行训练，并根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集；
对所述第一人脸样本图像集进行姿态角计算，并进行数据增强处理，得到第二人脸样本训练集；
根据所述第二人脸样本训练集对所述第二神经网络模型进行训练。
本申请实施例中人脸关键点检测模型的训练方法包括如下技术效果：通过对样本数据进行分别进行数据增强处理、数据扩充处理，并根据处理后得到的数据对人脸关键点检测模型进行逐级训练，以提高第一神经网络模型对于人脸检测的准确度、第二神经网络模型的关键点定位精度。
在一些实施例中，所述对所述原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集，包括：
对所述原始人脸样本图像集进行放缩处理和\或镜像处理和\或旋转处理，以对所述原始人脸样本图像集进行数据增强处理，并得到所述第一人脸样本训练集。
在一些实施例中，所述根据所述第一人脸样本训练集对所述第一神经网络模型进行训练，并根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集，包括：
根据损失函数对所述第一神经网络模型输出、第一人脸样本训练集标注数据进行计算处理，并得到第一损失值；
根据所述第一损失值进行实时回传梯度，以对所述第一神经网络模型的模型权重进行更新，直至所述第一损失值趋于稳定；
根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集。
在一些实施例中，所述根据所述第一人脸样本图像集对所述第二神经网络模型进行训练，包括：
所述根据所述第二人脸样本训练集对所述第二神经网络模型进行训练，还包括：
根据损失函数对所述第二神经网络模型输出、第二人脸样本训练集标注数据进行计算处理，并得到第二损失值；
根据所述第二损失值进行实时回传梯度，以对所述第二神经网络模型的模型权重进行更新，直至所述第二损失值趋于稳定。
在一些实施例中，所述第一神经网络模型，包括：
图像初始特征提取网络，用于对所述第一人脸样本训练集进行初始特征提取处理，得到初始特征；
感受野优化模块，所述感受野优化模块的输入端与所述图像初始特征提取网络的输出端连接，用于对所述初始特征进行二次特征提取处理得到感受野优化特征；
多尺度特征提取网络，所述多尺度特征提取网络的输入端与所述感受野优化模块的输出端连接，用于对感受野优化特征进行多尺度特征提取处理并得到第一神经网络特征输出。
在一些实施例中，所述图像初始特征提取网络包括至少一个图像初始特征提取网络单元；
所述图像初始特征提取网络单元包括：
向量卷积网络单元，用于对所述第一人脸样本训练集进行卷积运算；
归一化网络单元，与所述向量卷积网络单元连接，用于对所述向量卷积网络单元的输出进行归一化处理；
线性修正网络单元，与所述归一化网络单元连接，用于对所述归一化网络单元的输出进行线性修正处理。
在一些实施例中，所述感受野优化特征包括多个感受优化子特征，所述感受野优化模块包括：
第一感受野优化分支，用于对所述初始特征进行特征提取处理得到第一感受优化子特征；
第二感受野优化分支，用于对所述初始特征进行特征提取处理得到第二感受优化子特征；
第三感受野优化分支，用于对所述初始特征进行特征提取处理得到第三感受优化子特征；
第四感受野优化分支，用于对所述初始特征进行特征提取处理得到第四感受优化子特征。
在一些实施例中，所述第一感受野优化分支包括：至少一个次级图像网络单元组；
所述第二感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
所述第三感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
所述第四感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
其中，所述次级图像网络单元组包括依次连接的一个所述向量卷积网络单元、一个所述归一化网络单元。
在一些实施例中，所述第二神经网络模型，还包括：
图像初始特征提取网络，所述图像初始特征提取网络包括15个图像初始特征提取网络单元；
姿态方位角辅助网络，与所述图像初始特征提取网络连接，所述姿态方位角辅助网络包括4个图像初始特征提取网络单元、最大值池化处理网络单元、两个全连接层。
本申请实施例第二方面提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述任一实施例中的人脸关键点检测模型的训练方法。
本申请实施例第三方面提供一种设备，包括：处理器；存储器，其上存储有可在所述处理器上运行的计算机程序；其中，所述计算机程序被所述处理器执行时实现上述任一实施例中人脸关键点检测模型的训练方法的步骤。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请一实施例一种人脸关键点检测模型的训练方法的流程图；
图2为本申请一实施例一种人脸关键点检测模型的框架示意图；
图3为本申请再一实施例一种人脸关键点检测模型的训练方法的流程图；
图4为本申请又一实施例一种人脸关键点检测模型的训练方法的流程图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在相关技术中，通过人工构造的算法对图像进行处理以生成特征，而一般的算法对于多样性场景的适应性较弱，例如，穷举搜索的关键点定位方式在一定程度上限制了其运算效率。
而在深度学习网络技术的应用中，由于受训练样本样本分布、人脸尺度大小、人脸姿态多样性等因素影响，导致人脸关键点定位不准确，且模型过大不便于进行边缘设备的部署。
基于上述存在的技术问题，本申请提供一种人脸关键点检测模型的训练方法，并在级联训练阶段辅以姿态角提升关键点定位精度的办法，在保证精度的情况下极大的缩小了模型的体积。
请参照图1、图2，本申请实施例提供一种人脸关键点检测模型的训练方法，人脸关键点检测模型包括第一神经网络模型、第二神经网络模型，包括：步骤S100、获取原始人脸样本图像集；步骤S200、对原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集；步骤S300、根据第一人脸样本训练集对第一神经网络模型进行训练，并根据训练好的第一神经网络模型对原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集；步骤S400、对第一人脸样本图像集进行姿态角计算，并进行数据增强处理，得到第二人脸样本训练集；步骤S500、根据第二人脸样本训练集对第二神经网络模型进行训练。
上述人脸关键点检测模型的训练方法通过对原始人脸样本图像集进行数据增强，以增强人脸关键点检测模型的训练样本的多样性，从而提高人脸关键点检测模型的鲁棒性，并避免模型过度拟合。例如，通过将对原始人脸样本图像进行数据增强处理所得到的第一人脸样本训练集作为第一神经网络模型的训练样本，以增强第一神经网络模型的鲁棒性。通过对第一人脸图像样本集进行放缩、旋转等数据增强处理，以对第一人脸图像样本集进行数据扩充并得到第二人脸样本训练集，从而增强第二人脸样本训练集的多样性。
通过对样本数据进行分别进行数据增强处理、数据扩充处理，并根据处理后得到的数据对人脸关键点检测模型进行逐级训练，以提高第一神经网络模型人脸检测准确度、第二神经网络模型的关键点定位精度。
其中，对原始人脸样本图像集进行数据增强，可以被理解为：以在一定角度范围内，对原始人脸样本图像集进行随机角度旋转处理，并将原始人脸样本图像集中原始人脸的106关键点进行换算映射得到图像旋转后的图像坐标。
通过第一神经网络模型对第一人脸样本训练集进行人脸检测得到人脸框定位输出，并生成第一人脸图像样本集。可以理解的是，原始人脸样本图像集中的图像包括人脸区域、非人脸背景区域。第一神经网络模型用于将第一人脸图像样本集中每一个图像的人脸区域进行截取，并对人脸106关键点进行换算得到第一人脸图像样本集。其中，第一人脸图像样本集的人脸106关键点位于以人脸框左上角为原点的坐标系内。
进一步地，利用第一神经网络模型对第一人脸图像样本集进行人脸检测处理，得到第一人脸样本图像集，包括：通过第一人脸图像样本集中每一个图像进行数据增强处理，并利用第一神经网络模型进行人脸检测以生成第一人脸样本图像集。
例如，通过人脸106关键点中的第43、46、97、101、35、75、89、93、77、83、52、61、53、0等14个点计算出人脸的俯仰、偏航、横滚等三个姿态角进行计算，并生对应的图像单元组。由于多组不同的图像单元组形成第一人脸样本图像集，并通过第一人脸样本图像集作为第二神经网络模型的训练样本。
在一些实施例中，对原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集，包括：对原始人脸样本图像集进行放缩处理和\或镜像处理和\或旋转处理，以对原始人脸样本图像集进行数据增强，并得到第一人脸样本训练集。
通过对原始人脸样本图像集中的图像进行图像处理，以对原始人脸样本图像集进行数据增强，从而增强数据的多样性。图像处理可包括：放缩处理、镜像处理、旋转处理中的一种或多种。通过对不同的图像处理方式进行组合，以产生不同的图像处理效果。
请再参照图3，在一些实施例中，步骤S300、根据第一人脸样本训练集对第一神经网络模型进行训练，并根据训练好的第一神经网络模型对原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集，包括：步骤S310、根据损失函数对第一神经网络模型输出、第一人脸样本训练集标注数据进行计算处理，并得到第一损失值；步骤S320、根据第一损失值进行实时回传梯度，以对第一神经网络模型的模型权重进行更新，直至第一损失值趋于稳定；步骤S330、根据训练好的第一神经网络模型对原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集。
通过第一人脸样本训练集对第一神经网络模型进行训练，并通过第一神经网络模型对原始人脸样本图像集进行处理得到第一人脸图像样本集。根据损失函数对第一神经网络模型的第一训练输出数据、第一人脸样本训练集标注数据进行计算处理，并得到第一损失值。
当第一损失值趋向于稳定，则对第一损失值和预设损失阈值进行比较处理并得到比较结果。若比较结果判定为第一损失值大于预设损失阈值，则通过第一人脸样本训练集对第一神经网络模型继续训练，并对第一神经网络模型的训练参数进行适应性调节。其中，对第一神经网络模型的训练参数进行适应性调节可包括：根据第一损失值进行实时回传梯度处理，以对第一神经网络模型的模型权重进行更新，从而对第一神经网络模型进行适应性调节。
通过第一人脸样本训练集对第一神经网络模型进行训练，并将第一神经网络模型处理第一人脸样本图像得到训练输出数据。根据损失函数对训练输出数据、第一人脸样本训练集标注数据进行计算处理，并得到第一损失值。
当第一损失值趋向于稳定，对第一损失值和预设损失阈值进行比较处理并得到比较结果。若比较结果判定为第一损失值小于预设损失阈值，则停止对第一神经网络模型的模型训练，第一神经网络模型第一人脸样本训练集进行人脸检测得到第一人脸样本图像集。与此同时，对当前的第一神经网络模型的权重参数进行保留，以保存第一神经网络模型中的不同神经网络分支的权重。可以理解的是，在训练过程中，第一神经网络模型根据第一人脸样本训练集输出对第一训练输出数据；第二神经网络模型根据第二人脸样本训练集输出对第二训练输出数据
进一步地，通过对第一人脸图像训练集进行人脸检测，得到第一人脸图像样本集；第一人脸图像样本集经过数据增强并计算其姿态方位角，得到第二人脸图像训练集。可以理解的是，通过将第一人脸样本训练集作为第一神经网络模型的训练集，通过损失函数对第一训练输出数据与第一人脸样本训练集标注数据进行计算处理，以对第一神经网络模型的训练效果进行评估。
请参照图4，在一些实施例中，步骤S500、根据第二人脸样本训练集对第二神经网络模型进行训练，包括：步骤S510、根据损失函数对第二神经网络模型输出、第二人脸样本训练集标注数据进行计算处理，并得到第二损失值；步骤S520、根据第二损失值进行实时回传梯度，以对第二神经网络模型的模型权重进行更新，直至第二损失值趋于稳定。根据第二损失值判断第二神经网络模型的精度、稳定度是否在预设目标范围内。
例如，当第二损失值趋向于稳定，则对第二损失值和预设损失阈值进行比较处理并得到比较结果。若比较结果判定为第二损失值大于预设损失阈值，则通过第二人脸样本训练集对第二神经网络模型继续训练，并对第二神经网络模型的训练参数进行适应性调节。
通过对第二神经网络模型进行循环训练，以使得第二神经网络模型的第二训练输出数据与第二人脸样本训练集标注数据误差值在预设范围内。
若比较结果判定为第二损失值小于预设损失阈值，则停止使用第二人脸样本训练集对第二神经网络模型进行训练，并保留第一神经网络模型、第二神经网络模型的权重参数。
可以理解的是，通过将第一人脸样本图像集作为第二神经网络模型的训练集，通过损失函数对第二训练输出数据与第二人脸样本训练集标注数据进行计算处理，以对第二神经网络模型的精度进行判定。当第一神经网络模型的精度、第二神经网络模型的损失值符合预设标准，则保留第一神经网络模型、第二神经网络模型的权重参数，以构建人脸关键点检测模型。
以下结合实施例中，对上述实施例中的人脸关键点检测模型的训练方法中的人脸关键点检测模型进行进一步描述。通过上述训练方法对人脸关键点检测模型进行训练，并保留符合预设标准的权重参数，从而构建人脸关键点检测模型。且训练后的人脸关键点检测模型可在保证精度的情况下极大的缩小了模型的体积，并提升了模型推理速度。
人脸关键点检测模型至少包括第一神经网络模型、第二神经网络模型。其中，第二神经网络模型还可设有姿态辅助方位角网络。
请再参照图2，在一些实施例中，第一神经网络模型还包括：图像初始特征提取网络，用于对第一人脸样本训练集进行初始特征提取处理，得到初始特征；
感受野优化模块，感受野优化模块的输入端与图像初始特征提取网络的输出端连接，用于对初始特征进行特征提取处理得到感受野优化特征；
多尺度特征提取网络，多尺度特征提取网络的输入端与感受野优化模块的输出端连接，用于对感受野优化特征进行多尺度特征提取处理并得到第一神经网络特征输出。
其中，多尺度特征提取网络基于多尺度特征提取机制，以对感受野优化模块所输出的感受野优化特征进行多尺度特征提取处理，并输出对应的第一神经网络特征输出。
通过图像初始特征提取网络对第一人脸样本训练集进行初始特征提取处理，以得到对应初始特征。通过感受野优化模块对初始特征进行特征提取，以提高网络对于训练样本中不同尺度人脸特征的敏感程度。通过在第一神经网络模型中设置感受野优化模块，以增强网络对于特征的提取能力。
进一步地，通过多尺度特征提取机制对感受野优化特征进行多尺度特征提取处理并得到多尺度融合特征，以提高网络对于各种大小人脸的敏感性。。可以理解的是，通过多尺度特征提取网络对感受野优化特征进行特征提取与人脸置信度特征提取，以得到对应于四个不同尺度的位置特征、人脸置信度特征。
通过将四个不同尺度的位置特征、人脸置信度特征的样本数据进行汇集得到第一神经网络特征输出，并通过损失函数第一神经网络特征输出与第一人脸样本训练集标注数据进行计算以得到第一损失值。
在一些实施例中，图像初始特征提取网络包括至少一个图像初始特征提取网络单元；图像初始特征提取网络单元包括：向量卷积网络单元，用于对第一人脸样本训练集进行卷积运算；归一化网络单元，与向量卷积网络单元连接，用于对向量卷积网络单元的输出进行归一化处理；线性修正网络单元，与归一化网络单元连接，用于对归一化网络单元的输出进行线性修正处理。
其中，图像初始特征提取网络可由多个级联设置的图像初始特征提取网络单元构成。每一个图像初始特征提取网络单元包括依次连接的向量卷积网络单元、归一化网络单元、线性修正网络单元。通过对第一人脸样本训练集中的数据进行循环的卷积运算、归一化处理、线性修正处理，以得到初始特征。
可以理解的是，通过级联设置的向量卷积网络单元进行第一人脸样本训练集特征提取，并通过归一化网络单元得每一层神经网络的输入保持相同分布。与此同时，通过线性修正网络单元对归一化网络单元的输出进行线性修正处理，以使得网络具有稀疏性，并且减少参数的相互依存关系，从而避免模型出现过拟合问题的情况。
进一步地，通过依次级联设置的13个图像初始特征提取网络单元，以构成图像初始特征提取网络，并通过图像初始特征提取网络对第一人脸样本训练集进行初始特征提取处理。
通过关键点回归网络与人脸检测网络进行结合，以构建第一神经网络模型、第二神经网络模型。通过第一神经网络模型从原始图像中获取局部人脸区域，并通过第二神经网络模型对局部人脸区域进行精细的106关键点回归，从而排除非相关区域对于关键点回归的干扰。
在一些实施例中，感受野优化模块包括：第一感受野优化分支网络，用于对初始特征进行特征提取处理得到第一感受野优化子特征；第二感受野优化分支网络，用于对初始特征进行特征提取处理得到第二感受野优化子特征；第三感受野优化分支网络，用于对初始特征进行特征提取处理得到第三感受野优化子特征；第四感受野优化分支网络，用于对初始特征进行特征提取处理得到第四感受野优化子特征。
通过第一感受野优化分支网络、第二感受野优化分支网络、第三感受野优化分支网络、第四感受野优化分支网络对初始特征进行四个不同尺度的位置特征提取、人脸置信度特征提取。可以理解的是，第一感受野优化子特征、第二感受野优化子特征、第三感受野优化子特征、第四感受野优化子特征为四个不同尺度的位置特征、人脸置信度特征。通过对包括有不同尺度的位置特征、人脸置信度特征的感受野优化特征进行多尺度特征融合提取得到第一神经网络模型输出，并结合损失函数以优化更新第一神经网络的权重参数。通过对原始人脸样本图像集进行人脸检测得到的第二人脸样本训练集对第二神经网络模型进行训练，以增强人脸关键点检测模型对于不同尺度人脸特征的敏感程度。
其中，第二感受野优化分支网络、第三感受野优化分支网络、第四感受野优化分支网络的特征输出(第二感受野优化子特征、第三感受野优化子特征、第四感受野优化子特征)可基于1*1卷积核进行初步特征融合，而初步特征融合所得到的初步感受特征与第一感受野优化子特征进行二次融合以得到完整的感受野优化特征。
在一些实施例中，第一感受野优化分支网络包括：至少一个次级图像网络单元组；第二感受野优化分支网络包括；依次连接的至少两个次级图像网络单元组、至少一个线性修正网络单元、至少一个次级图像网络单元组；第三感受野优化分支网络包括；依次连接的至少两个次级图像网络单元组、至少一个线性修正网络单元、至少一个次级图像网络单元组；第四感受野优化分支网络包括；依次连接的至少两个次级图像网络单元组、至少一个线性修正网络单元、至少一个次级图像网络单元组、至少一个线性修正网络单元、至少一个次级图像网络单元组。
具体地，一个次级图像网络单元组包括依次连接的一个向量卷积网络单元、一个归一化网络单元。
进一步地，第一感受野优化分支网络包括一个次级图像网络单元组；第二感受野优化分支网络包括：依次连接的两个次级图像网络单元组、一个线性修正网络单元、一个次级图像网络单元组；第三感受野优化分支网络包括；依次连接的两个次级图像网络单元组、一个线性修正网络单元、一个次级图像网络单元组；第四感受野优化分支网络包括；依次连接的两个次级图像网络单元组、一个线性修正网络单元、一个次级图像网络单元组、一个线性修正网络单元、一个次级图像网络单元组。
此外，通过一个线性修正网络单元、一个次级图像网络单元组构成基础卷积模块，并通过基础卷积模块对第二感受野优化分支网络、第三感受野优化分支网络、第四感受野优化分支网络的输出特征进行初步特征融合，得到的初步感受野优化特征。而通过基础卷积模块输出的初步感受特征与第一感受野优化分支网络输出的第一感受特征进行特征合并，得到感受野优化特征。通过线性修正网络单元对感受野优化特征进行线性修正，以作为多尺度特征提取网络的输入。
进一步地，多尺度特征提取网络包括第一尺度特征提取子网络、第二尺度特征提取子网络、第三尺度特征提取子网络。
第一尺度特征提取子网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第二尺度特征提取子网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第三尺度特征提取子网络包括依次连接的第一尺度特征提取子区段、第二尺度特征提取子区段。
第一尺度特征提取子区段包括6个依次级联的图像初始特征提取网络单元。第二尺度特征提取子区段包括第一尺度特征提取次级网络、第二尺度特征提取次级网络、第三尺度特征提取次级网络。
第一尺度特征提取次级网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第三尺度特征提取次级网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第二尺度特征提取次级网络包括第一特征提取次级主网络、与第一特征提取次级主网络输出端连接的第一特征提取次级分支网络、与第一特征提取次级主网络输出端连接的第二特征提取次级分支网络、与第一特征提取次级主网络输出端连接的第三特征提取次级分支网络。
第一特征提取次级分支网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第三特征提取次级分支网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
第二特征提取次级分支网络包括第一主网络、与第一主网络的输出端连接的第一分支网络、与第一主网络的输出端连接的第二分支网络；第一主网络包括依次连接的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个线性修正网络单元；第一分支网络包括依次连接的一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元；第二分支网络包括依次连接的一个向量卷积网络单元、一个矩阵维度转换单元、一个矩阵形状调整单元。
通过矩阵拼接网络单元对第一尺度特征提取子网络、第一尺度特征提取次级网络、第一特征提取次级分支网络、第一分支网络进行拼接，以对输出进行矩阵拼接得到第一输出特征；通过矩阵拼接网络单元对第二尺度特征提取子网络、第三尺度特征提取次级网络、第三特征提取次级分支网络第二分支网络进行拼接，以对输出进行矩阵拼接得到第二输出特征。
通过归一化指数函数对第二数据集进行归一化处理，并通过矩阵拼接网络单元对归一化处理得到的特征、第一输出特征进行矩阵拼接以得到第一神经网络模型的输出。
在一些实施例中，第二神经网络模型，还包括：图像初始特征提取网络，图像初始特征提取网络包括15个图像初始特征提取网络单元；姿态方位角辅助网络，与图像初始特征提取网络连接，姿态方位角辅助网络包括四个图像初始特征提取网络单元、最大值池化处理网络单元、两个全连接层。
其中，图像初始特征提取网络作为主网络，图像初始特征提取网络包括15个级联设置的图像初始特征提取网络单元。
姿态方位角辅助网络，与图像初始特征提取网络连接，姿态方位角辅助网络包括四个图像初始特征提取网络单元、最大值池化处理网络单元、两个全连接层。
通过姿态方位角辅助网络进行矩阵运算得到对于姿态角的预测，并结合实际标注计算损失值。姿态方位角辅助网络作为人脸姿态角的回归分支网络，用于增强第二神经网络模型对偏转人脸特征的感知能力，以使得增强人脸关键点检测模型对人脸图像特征的敏感性。
进一步地，第二神经网络模型还包括第一次级神经网络支路、第二次级神经网络支路。
第一次级神经网络支路包括依次连接的一个向量卷积网络单元、一个全局平均池化处理网络单元；第二次级神经网络支路包括第一主网络、与第一主网络连接的第一子网络、第二子网络。
第一主网络包括10个依次级联的图像初始特征提取网络单元，第一子网络包括依次连接的一个向量卷积网络单元、一个全局平均池化处理网络单元，第二子网络包括依次级联的一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个线性修正网络单元、一个向量卷积网络单元、一个全局平均池化处理网络单元。
通过全连接层对第二次级神经网络支路、第一末级神经网络支路、第一子网络、第二子网络的输出数据进行矩阵乘法运算，得到最终对于106个关键点212个坐标的预测，并对人脸关键点检测模型输出数据与实际标注数据进行损失计算，以判定是否需对模型进行二次训练。其中，第二次级神经网络支路为姿态分支网络，用于计算姿态分支损失。通过将姿态分支损失会与人脸关键点检测模型的人脸106关键点的损失相结合以作为整体损失，并根据整体损失对人脸关键点检测模型进行参数优化。
可以理解的，人脸关键点检测模型利用轻量级卷积网络和感受野优化模块(感受野卷积网络)构造主体网络框架，并在关键点回归训练阶段中通过增加姿态角分支处理步骤，以提升关键点定位精度。在保证精度的情况下，人脸关键点检测模型的模型体积可达到小型化、更快的模型推理速度。
在一些实施例中，计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行上述任一实施例中的人脸关键点检测模型的训练方法。
在一些实施例中，设备，包括：处理器；存储器，其上存储有可在处理器上运行的计算机程序；其中，计算机程序被处理器执行时实现如执行上述任一实施例中的人脸关键点检测模型的训练方法的步骤。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
Claims (11)
1.人脸关键点检测模型的训练方法，其特征在于，所述人脸关键点检测模型包括第一神经网络模型、第二神经网络模型，所述人脸关键点检测模型的训练方法包括：
获取原始人脸样本图像集；
对所述原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集；
根据所述第一人脸样本训练集对所述第一神经网络模型进行训练，并根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集；
对所述第一人脸样本图像集进行姿态角计算、数据增强处理，得到第二人脸样本训练集；
根据所述第二人脸样本训练集对所述第二神经网络模型进行训练。
2.根据权利要求1所述的人脸关键点检测模型的训练方法，其特征在于，所述对所述原始人脸样本图像集进行数据增强处理，得到第一人脸样本训练集，包括：
对所述原始人脸样本图像集进行放缩处理和\或镜像处理和\或旋转处理，以对所述原始人脸样本图像集进行数据增强处理，并得到所述第一人脸样本训练集。
3.根据权利要求2所述的人脸关键点检测模型的训练方法，其特征在于，所述根据所述第一人脸样本训练集对所述第一神经网络模型进行训练，并根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到第一人脸样本图像集，还包括：
根据损失函数对所述第一神经网络模型输出、第一人脸样本训练集标注数据进行计算处理，并得到第一损失值；
根据所述第一损失值进行实时回传梯度，以对所述第一神经网络模型的模型权重进行更新，直至所述第一损失值趋于稳定；
根据训练好的所述第一神经网络模型对所述原始人脸样本图像集进行人脸检测，得到所述第一人脸样本图像集。
4.根据权利要求3所述的人脸关键点检测模型的训练方法，其特征在于，所述根据所述第二人脸样本训练集对所述第二神经网络模型进行训练，还包括：
根据损失函数对所述第二神经网络模型输出、第二人脸样本训练集标注数据进行计算处理，并得到第二损失值；
根据所述第二损失值进行实时回传梯度，以对所述第二神经网络模型的模型权重进行更新，直至所述第二损失值趋于稳定。
5.根据权利要求4所述的人脸关键点检测模型的训练方法，其特征在于，所述第一神经网络模型，包括：
图像初始特征提取网络，用于对所述第一人脸样本训练集进行初始特征提取处理，得到初始特征；
感受野优化模块，所述感受野优化模块的输入端与所述图像初始特征提取网络的输出端连接，用于对所述初始特征进行二次特征提取处理得到感受野优化特征；
多尺度特征提取网络，所述多尺度特征提取网络的输入端与所述感受野优化模块的输出端连接，用于对感受野优化特征进行多尺度特征提取处理并得到所述第一神经网络特征输出。
6.根据权利要求5所述的人脸关键点检测模型的训练方法，其特征在于，所述图像初始特征提取网络包括至少一个图像初始特征提取网络单元；
所述图像初始特征提取网络单元包括：
向量卷积网络单元，用于对所述第一人脸样本训练集进行卷积运算；
归一化网络单元，与所述向量卷积网络单元连接，用于对所述向量卷积网络单元的输出进行归一化处理；
线性修正网络单元，与所述归一化网络单元连接，用于对所述归一化网络单元的输出进行线性修正处理。
7.根据权利要求6所述的人脸关键点检测模型的训练方法，其特征在于，所述感受野优化特征包括多个感受优化子特征，所述感受野优化模块包括：
第一感受野优化分支，用于对所述初始特征进行特征提取处理得到第一感受优化子特征；
第二感受野优化分支，用于对所述初始特征进行特征提取处理得到第二感受优化子特征；
第三感受野优化分支，用于对所述初始特征进行特征提取处理得到第三感受优化子特征；
第四感受野优化分支，用于对所述初始特征进行特征提取处理得到第四感受优化子特征。
8.根据权利要求7所述的人脸关键点检测模型的训练方法，其特征在于，
所述第一感受野优化分支包括：至少一个次级图像网络单元组；
所述第二感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
所述第三感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
所述第四感受野优化分支包括；依次连接的至少两个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组、至少一个所述线性修正网络单元、至少一个所述次级图像网络单元组；
其中，所述次级图像网络单元组包括依次连接的一个所述向量卷积网络单元、一个所述归一化网络单元。
9.根据权利要求7所述的人脸关键点检测模型的训练方法，其特征在于，所述第二神经网络模型，还包括：
图像初始特征提取网络，所述图像初始特征提取网络包括至少一个所述图像初始特征提取网络单元；
姿态方位角辅助网络，与所述图像初始特征提取网络连接，所述姿态方位角辅助网络包括依次连接的4个所述图像初始特征提取网络单元、最大值池化处理网络单元、2个全连接层。
10.计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行权利要求1至9中任一项所述的人脸关键点检测模型的训练方法。
11.设备，其特征在于，包括：处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；其中，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的人脸关键点检测模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581306.2A CN112651490B (zh) | 2020-12-28 | 2020-12-28 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581306.2A CN112651490B (zh) | 2020-12-28 | 2020-12-28 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651490A true CN112651490A (zh) | 2021-04-13 |
| CN112651490B CN112651490B (zh) | 2024-01-05 |
Family
ID=75363545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011581306.2A Active CN112651490B (zh) | 2020-12-28 | 2020-12-28 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651490B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313010A (zh) * | 2021-05-26 | 2021-08-27 | 广州织点智能科技有限公司 | 一种人脸关键点检测模型训练方法、装置和设备 |
| CN113378764A (zh) * | 2021-06-25 | 2021-09-10 | 深圳市斯博科技有限公司 | 基于聚类算法的视频人脸采集方法、装置、设备及介质 |
| CN114550235A (zh) * | 2022-01-17 | 2022-05-27 | 合肥的卢深视科技有限公司 | 姿态角检测方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN109949368A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
| CN110069959A (zh) * | 2018-01-22 | 2019-07-30 | 中国移动通信有限公司研究院 | 一种人脸检测方法、装置及用户设备 |
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN112084856A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸姿态检测方法、装置、终端设备及存储介质 |
-
2020
- 2020-12-28 CN CN202011581306.2A patent/CN112651490B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110069959A (zh) * | 2018-01-22 | 2019-07-30 | 中国移动通信有限公司研究院 | 一种人脸检测方法、装置及用户设备 |
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
| CN109858445A (zh) * | 2019-01-31 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN109949368A (zh) * | 2019-03-14 | 2019-06-28 | 郑州大学 | 一种基于图像检索的人体三维姿态估计方法 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN112084856A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸姿态检测方法、装置、终端设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313010A (zh) * | 2021-05-26 | 2021-08-27 | 广州织点智能科技有限公司 | 一种人脸关键点检测模型训练方法、装置和设备 |
| CN113378764A (zh) * | 2021-06-25 | 2021-09-10 | 深圳市斯博科技有限公司 | 基于聚类算法的视频人脸采集方法、装置、设备及介质 |
| CN113378764B (zh) * | 2021-06-25 | 2022-11-29 | 深圳万兴软件有限公司 | 基于聚类算法的视频人脸采集方法、装置、设备及介质 |
| CN114550235A (zh) * | 2022-01-17 | 2022-05-27 | 合肥的卢深视科技有限公司 | 姿态角检测方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651490B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021103648A1 (zh) | 手部关键点检测方法、手势识别方法及相关装置 | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN112651490A (zh) | 人脸关键点检测模型的训练方法及设备、可读存储介质 | |
| CN111780764B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN111291637A (zh) | 一种基于卷积神经网络的人脸检测方法、装置及设备 | |
| CN110766041A (zh) | 一种基于深度学习的害虫检测方法 | |
| CN111415379B (zh) | 一种基于布谷鸟优化的三维点云数据配准方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN111695463B (zh) | 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 | |
| CN112149590A (zh) | 一种手部关键点检测方法 | |
| CN111368733B (zh) | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN115995042A (zh) | 一种视频sar运动目标检测方法及装置 | |
| CN117372877A (zh) | 一种基于神经网络的星图识别方法、装置及相关介质 | |
| Kang et al. | Yolo-6d+: single shot 6d pose estimation using privileged silhouette information | |
| CN114118181B (zh) | 一种高维回归点云配准方法、系统、计算机设备及应用 | |
| CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 | |
| CN114266824A (zh) | 一种基于深度学习的非合作目标相对位姿测量方法、系统 | |
| Cao et al. | A method based on faster RCNN network for object detection | |
| CN112633323B (zh) | 一种用于教室的姿态检测方法和系统 | |
| Shen et al. | Incremental learning-based land mark recognition for mirco-UAV autonomous landing | |
| WO2023241372A1 (zh) | 相机内参标定方法及相关设备 | |
| CN117830701A (zh) | 基于注意力机制的多尺度特征融合星图识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |