CN109376659A - 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 - Google Patents
用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 Download PDFInfo
- Publication number
- CN109376659A CN109376659A CN201811259484.6A CN201811259484A CN109376659A CN 109376659 A CN109376659 A CN 109376659A CN 201811259484 A CN201811259484 A CN 201811259484A CN 109376659 A CN109376659 A CN 109376659A
- Authority
- CN
- China
- Prior art keywords
- face
- key point
- training
- face picture
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请公开了一种用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置。该用于人脸关键点网络检测模型的训练方法，包括：获取人脸图片以及人脸图片标签；将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。本申请解决了人脸检测精度较差的技术问题。此外，本申请中的训练方法，对人脸关键点的回归精度较高，更具鲁棒性。
Description
技术领域
本申请涉及计算机视觉领域，具体而言，涉及一种用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置。
背景技术
随着网络主播等相关行业的发展，视频内容植入变得尤为重要，尤其是根据人脸的美颜、换装、甚至换脸等功能，这给人脸关键点检测技术带来很大挑战。
发明人发现，现有的人脸关键点回归训练任务，某一些关键点回归准确度较差，这使网络的更新偏向于更新回归准确度较差的方向。进一步，不利于人脸整个部分的回归更新。
针对相关技术中人脸检测精度较差的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置，以解决人脸检测精度较差的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于人脸关键点网络检测模型的训练方法。
根据本申请的用于人脸关键点网络检测模型的训练方法包括：获取人脸图片以及人脸图片标签；将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
进一步地，根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数包括：将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
进一步地，所述更新所述预设卷积神经网络直到满足预设训练条件包括：通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及重复训练直到网络参数收敛或到达最大迭代次数。
进一步地，获取人脸图片以及人脸图片标签包括：确定带有人脸关键点标注的数据集；根据所述数据集中关键位置判定人脸的位置；根据人脸的位置裁剪出人脸图片并执行预设数据增强；以及数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
基于上述，上述方法在人脸关键点回归的训练中，对回归任务的损失函数做了相应的改变，以达到更好的人脸关键点的检测精度。
为了实现上述目的，根据本申请的另一个方面，提供了一种人脸关键点检测方法，使用所述的训练方法训练得到网络模型，所述方法包括：对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。
为了实现上述目的，根据本申请的另一方面，提供了一种用于人脸关键点网络检测模型的训练装置。
根据本申请的用于人脸关键点网络检测模型的训练装置包括：获取模块，用于获取人脸图片以及人脸图片标签；关键点预测模块，用于将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；损失函数模块，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及回归训练模块，用于通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
进一步地，所述损失函数模块包括：求差模块，用于将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
函数构造模块，用于得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
进一步地，所述回归训练模块包括：更新单元，用于通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；构造单元，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及训练单元，用于重复训练直到网络参数收敛或到达最大迭代次数。
进一步地，所述获取模块包括：确定单元，用于确定带有人脸关键点标注的数据集；判断单元，用于根据所述数据集中关键位置判定人脸的位置；数据增强单元，用于根据人脸的位置裁剪出人脸图片并执行预设数据增强；以及标签单元，用于数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
为了实现上述目的，根据本申请的另一方面，提供了一种人脸关键点检测装置，使用所述的训练装置，所述装置包括：测试模块，用于对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。
在本申请实施例中，采用获取人脸图片以及人脸图片标签的方式，通过将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点，达到了根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数的目的，从而实现了通过回归训练更新所述预设卷积神经网络直到满足预设训练条件的技术效果，进而解决了人脸检测精度较差的的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于人脸关键点网络检测模型的训练方法流程示意图；
图2是根据本申请实施例的用于人脸关键点网络检测模型的训练方法流程示意图；
图3是根据本申请实施例的用于人脸关键点网络检测模型的训练方法流程示意图；
图4是根据本申请实施例的用于人脸关键点网络检测模型的训练方法流程示意图；
图5是根据本申请实施例的用于人脸关键点网络检测模型的训练装置示意图；
图6是根据本申请实施例的用于人脸关键点网络检测模型的训练装置示意图；
图7是根据本申请实施例的用于人脸关键点网络检测模型的训练装置示意图；
图8是根据本申请实施例的用于人脸关键点网络检测模型的训练装置示意图；
图9是根据本申请实施例的用于人脸关键点网络检测模型的训练训练装置示意图；
图10是本申请实施例中的数据准备阶段流程示意图；以及
图11是本申请实施例中的模型训练阶段示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S108：
步骤S102，获取人脸图片以及人脸图片标签；
在数据准备阶段：使用带有人脸关键点标注的数据集，根据关键位置判定人脸的位置，扣取人脸图片并作相应的数据增强得到人脸图片。人脸标签是采用量化后的人脸关键点坐标。
步骤S104，将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；
对裁剪之后的人脸图片及其标签送入卷积神经网络中。需要注意的是，在本申请并不对具体选用的卷积神经网络进行限定，本领域技术人员可以根据实际情况进行选择。
步骤S106，根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；
考虑到现有的人脸关键点回归训练任务，多是针对所有关键点的真实损失来训练网络参数，没有考虑不同关键点在网络回归训练时，比如某一些关键点回归准确度较差，这使网络的更新偏向于更新回归准确度较差的方向，不利于人脸整个部分的回归更新。所以，通过重新构造损失函数，对人脸关键点的回归精度较高，更具鲁棒性。
具体地，将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
步骤S108，通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
在人脸关键点回归的训练中，对回归任务的损失函数做了相应的改变，以达到更好的人脸关键点的检测精度。对卷积神经网络进行更新直到网络参数收敛或到达最大迭代次数。具体地，通过预测的判决结果和真实的结果的差别来更新卷积神经网络。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用获取人脸图片以及人脸图片标签的方式，通过将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点，达到了根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数的目的，从而实现了通过回归训练更新所述预设卷积神经网络直到满足预设训练条件的技术效果，进而解决了人脸检测精度较差的的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，所述更新所述预设卷积神经网络直到满足预设训练条件包括：
步骤S202，通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；
通过预测的判决结果和真实的结果的差别，来更新网络参数。
步骤S204，根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；
在训练阶段，构造得到损失函数
步骤S206，重复训练直到网络参数收敛或到达最大迭代次数。
把裁剪和数据增强后的人脸图片及量化后的人脸关键点坐标输入到网络中，其中人脸图片部分输入到卷积神经网络中，使网络对其产生一组预测关键点，其中量化后的人脸关键点与预测关键点做的差为损失的步骤以及通过预测的判决结果和真实的结果的差别，来更新网络参数的步骤，直到网络参数收敛或到达最大迭代次数。
根据本申请实施例，作为本实施例中的优选，如图3所示，获取人脸图片以及人脸图片标签包括：
步骤S302，确定带有人脸关键点标注的数据集；
步骤S304，根据所述数据集中关键位置判定人脸的位置；
步骤S306，根据人脸的位置裁剪出人脸图片并执行预设数据增强；
步骤S308，数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
具体地，在数据准备阶段：使用带有人脸关键点标注的数据集，根据关键位置判定人脸的位置，扣取人脸图片并作相应的数据增强，其标签是量化后的人脸关键点坐标。具体地，数据增强是指在深度学习中，为了避免出现过拟合(Overfitting)，通常我们需要输入充足的数据量.若数据量比较小，可以对原有的图像数据进行几何变换，改变图像像素的位置并保证特征不变。具体地可以是旋转或反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换。在本申请中并不进行具体限定。
在本申请的另一实施例中，如图4所示，还公开了一种人脸关键点检测方法，使用所述的训练方法训练得到网络模型，所述方法包括：
步骤S102，获取人脸图片以及人脸图片标签；
步骤S104，将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；
步骤S106，根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；
步骤S108，通过回归训练更新所述预设卷积神经网络直到满足预设训练条件；
以及还包括：步骤S101，对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。在检测阶段，把裁剪好的人脸图片输入收敛的网络模型中，预测出人脸关键点。具体地，可以对待检测的图片，先经过人脸检测器，得到人脸框，在扣去(裁剪)人脸图片，送入到训练后的卷积神经网络中，得到人脸关键点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述用于人脸关键点网络检测模型的训练方法的装置，如图5所示，该装置包括：获取模块10，用于获取人脸图片以及人脸图片标签；关键点预测模块20，用于将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；损失函数模块30，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及回归训练模块40，用于通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
本申请实施例的获取模块10中在数据准备阶段：使用带有人脸关键点标注的数据集，根据关键位置判定人脸的位置，扣取人脸图片并作相应的数据增强得到人脸图片。人脸标签是采用量化后的人脸关键点坐标。
本申请实施例的关键点预测模块20中对裁剪之后的人脸图片及其标签送入卷积神经网络中。需要注意的是，在本申请并不对具体选用的卷积神经网络进行限定，本领域技术人员可以根据实际情况进行选择。
本申请实施例的损失函数模块30中考虑到现有的人脸关键点回归训练任务，多是针对所有关键点的真实损失来训练网络参数，没有考虑不同关键点在网络回归训练时，比如某一些关键点回归准确度较差，这使网络的更新偏向于更新回归准确度较差的方向，不利于人脸整个部分的回归更新。所以，通过重新构造损失函数，对人脸关键点的回归精度较高，更具鲁棒性。具体地，将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
本申请实施例的回归训练模块40中在人脸关键点回归的训练中，对回归任务的损失函数做了相应的改变，以达到更好的人脸关键点的检测精度。对卷积神经网络进行更新直到网络参数收敛或到达最大迭代次数。具体地，通过预测的判决结果和真实的结果的差别来更新卷积神经网络。
作为本实施例中的优选，如图6所示，所述损失函数模块30包括：
求差模块301，用于将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
函数构造模块302，用于得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
作为本实施例中的优选，如图7所示，所述回归训练模块40包括：更新单元401，用于通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；构造单元402，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及训练单元403，用于重复训练直到网络参数收敛或到达最大迭代次数。
把裁剪和数据增强后的人脸图片及量化后的人脸关键点坐标输入到网络中，其中人脸图片部分输入到卷积神经网络中，使网络对其产生一组预测关键点，其中量化后的人脸关键点与预测关键点做的差为损失的步骤以及通过预测的判决结果和真实的结果的差别，来更新网络参数的步骤，直到网络参数收敛或到达最大迭代次数。
作为本实施例中的优选，如图8所示，所述获取模块10包括：确定单元101，用于确定带有人脸关键点标注的数据集；判断单元102，用于根据所述数据集中关键位置判定人脸的位置；数据增强单元103，用于根据人脸的位置裁剪出人脸图片并执行预设数据增强；以及标签单元104，用于数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
具体地，在数据准备阶段：使用带有人脸关键点标注的数据集，根据关键位置判定人脸的位置，扣取人脸图片并作相应的数据增强，其标签是量化后的人脸关键点坐标。具体地，数据增强是指在深度学习中，为了避免出现过拟合(Overfitting)，通常我们需要输入充足的数据量.若数据量比较小，可以对原有的图像数据进行几何变换，改变图像像素的位置并保证特征不变。具体地可以是旋转或反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换。在本申请中并不进行具体限定。
根据本申请实施例，还提供了一种人脸关键点检测装置，使用上述的训练装置，所述装置包括：测试模块50，用于对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。
在检测阶段，把裁剪好的人脸图片输入收敛的网络模型中，预测出人脸关键点。具体地，可以对待检测的图片，先经过人脸检测器，得到人脸框，在扣去人脸图片，送入到训练后的卷积神经网络中，得到人脸关键点。
请参考图10至11，对本申请的实现原理进行如下说明。
在本申请中提供了一种新型的人脸关键点网络模型的训练方法，针对现有方法中，存在没有考虑不同关键点在网络回归训练时，某一些关键点回归准确度较差，这使网络的更新偏向于更新回归准确度较差的方向的问题，不利于人脸整个部分的回归更新。本申请的训练方法对人脸关键点的回归精度较高，更具鲁棒性。
如图10所示，在数据准备阶段：使用带有人脸关键点标注的数据集，根据关键位置判定人脸的位置，扣取人脸图片(裁剪人脸图片)并作相应的数据增强，其标签是量化后的人脸关键点坐标。
如图11所示，在模型训练阶段：对裁剪之后的人脸图片及其标签送入卷积神经网络中。具体地，包括如下步骤：
步骤一，把裁剪和数据增强后的人脸图片及量化后的人脸关键点坐标输入到网络中，其中人脸图片部分输入到卷积神经网络中，使网络对其产生一组预测关键点，其中量化后的人脸关键点与预测关键点做的差为损失。
损失函数是
其中为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
步骤二，通过预测的判决结果和真实的结果的差别，来更新网络参数。
步骤三，重复步骤一和步骤二，直到网络参数收敛或到达最大迭代次数。
在测试阶段：把裁剪好的人脸图片输入收敛的网络模型中，预测出人脸关键点。具体地，对待检测的图片，先经过人脸检测器，得到人脸框，在扣去人脸图片，送入到训练后的卷积神经网络中，得到人脸关键点。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于人脸关键点网络检测模型的训练方法，其特征在于，包括：
获取人脸图片以及人脸图片标签；
将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；
根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及
通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
2.根据权利要求1所述的训练方法，其特征在于，根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数包括：
将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
3.根据权利要求1所述的训练方法，其特征在于，所述更新所述预设卷积神经网络直到满足预设训练条件包括：
通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；
根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及
重复训练直到网络参数收敛或到达最大迭代次数。
4.根据权利要求1所述的训练方法，其特征在于，获取人脸图片以及人脸图片标签包括：
确定带有人脸关键点标注的数据集；
根据所述数据集中关键位置判定人脸的位置；
根据人脸的位置裁剪出人脸图片并执行预设数据增强；以及
数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
5.一种人脸关键点检测方法，其特征在于，使用如权利要求1所述的训练方法训练得到网络模型，所述方法包括：
对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。
6.一种用于人脸关键点网络检测模型的训练装置，其特征在于，包括：
获取模块，用于获取人脸图片以及人脸图片标签；
关键点预测模块，用于将人脸图片作为预设卷积神经网络的输入，得到人脸图片预测关键点；
损失函数模块，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及
回归训练模块，用于通过回归训练更新所述预设卷积神经网络直到满足预设训练条件。
7.根据权利要求6所述的训练装置，其特征在于，所述损失函数模块包括：
求差模块，用于将实际人脸关键点坐标与与所述人脸图片预测关键点做的差为损失，
函数构造模块，用于得到损失函数
其中，为量化后的人脸关键点坐标，y*为网络预测出的人脸关键点坐标，损失Loss的取值为分段函数，w和C为人工设定的截断参数。
8.根据权利要求6所述的训练装置，其特征在于，所述回归训练模块包括：
更新单元，用于通过预测的判决结果和真实结果的差别，来更新预设卷积神经网络中的参数；
构造单元，用于根据所述人脸图片标签中实际人脸关键点坐标与所述人脸图片预测关键点构造损失函数；以及
训练单元，用于重复训练直到网络参数收敛或到达最大迭代次数。
9.根据权利要求6所述的训练装置，其特征在于，所述获取模块包括：
确定单元，用于确定带有人脸关键点标注的数据集；
判断单元，用于根据所述数据集中关键位置判定人脸的位置；
数据增强单元，用于根据人脸的位置裁剪出人脸图片并执行预设数据增强；以及
标签单元，用于数据增强后的人脸图片的标签是量化后的人脸关键点坐标。
10.一种人脸关键点检测装置，其特征在于，使用如权利要求6所述的训练装置，所述装置包括：
测试模块，用于对待检测的图片执行预处理后将结果输入到所述网络模型中，得到人脸关键点预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811259484.6A CN109376659A (zh) | 2018-10-26 | 2018-10-26 | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811259484.6A CN109376659A (zh) | 2018-10-26 | 2018-10-26 | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109376659A true CN109376659A (zh) | 2019-02-22 |
Family
ID=65389947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811259484.6A Pending CN109376659A (zh) | 2018-10-26 | 2018-10-26 | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376659A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059605A (zh) * | 2019-04-10 | 2019-07-26 | 厦门美图之家科技有限公司 | 一种神经网络训练方法、计算设备及存储介质 |
| CN110210393A (zh) * | 2019-05-31 | 2019-09-06 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
| CN110378961A (zh) * | 2019-09-11 | 2019-10-25 | 图谱未来(南京)人工智能研究院有限公司 | 模型的优化方法、关键点检测方法、装置及存储介质 |
| CN110517221A (zh) * | 2019-07-05 | 2019-11-29 | 银河水滴科技（北京）有限公司 | 基于现实坐标的缝隙定位方法、装置和存储介质 |
| CN110889858A (zh) * | 2019-12-03 | 2020-03-17 | 中国太平洋保险（集团）股份有限公司 | 一种基于点回归的汽车部件分割方法及装置 |
| CN111401219A (zh) * | 2020-03-10 | 2020-07-10 | 厦门中控智慧信息技术有限公司 | 一种手掌关键点检测方法和装置 |
| CN111860199A (zh) * | 2020-06-28 | 2020-10-30 | 上海芯翌智能科技有限公司 | 图像中关键点的检测方法及设备 |
| CN111862248A (zh) * | 2019-04-29 | 2020-10-30 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN112949492A (zh) * | 2021-03-03 | 2021-06-11 | 南京视察者智能科技有限公司 | 一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备 |
| CN113283598A (zh) * | 2021-06-11 | 2021-08-20 | 清华大学 | 模型训练方法、装置、存储介质及电子设备 |
| CN113361381A (zh) * | 2021-06-03 | 2021-09-07 | 上海哔哩哔哩科技有限公司 | 人体关键点检测模型训练方法、检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN106022215A (zh) * | 2016-05-05 | 2016-10-12 | 北京海鑫科金高科技股份有限公司 | 人脸特征点定位方法及装置 |
| CN107480640A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于二值卷积神经网络的人脸对齐方法 |
| CN107729827A (zh) * | 2017-09-29 | 2018-02-23 | 北京飞搜科技有限公司 | 一种人脸特征点定位方法及装置 |
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| CN107886074A (zh) * | 2017-11-13 | 2018-04-06 | 苏州科达科技股份有限公司 | 一种人脸检测方法以及人脸检测系统 |
| CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
-
2018
- 2018-10-26 CN CN201811259484.6A patent/CN109376659A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868769A (zh) * | 2015-01-23 | 2016-08-17 | 阿里巴巴集团控股有限公司 | 图像中的人脸关键点定位方法及装置 |
| CN106022215A (zh) * | 2016-05-05 | 2016-10-12 | 北京海鑫科金高科技股份有限公司 | 人脸特征点定位方法及装置 |
| CN107748858A (zh) * | 2017-06-15 | 2018-03-02 | 华南理工大学 | 一种基于级联卷积神经网络的多姿态眼睛定位方法 |
| CN107480640A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于二值卷积神经网络的人脸对齐方法 |
| CN107729827A (zh) * | 2017-09-29 | 2018-02-23 | 北京飞搜科技有限公司 | 一种人脸特征点定位方法及装置 |
| CN107886074A (zh) * | 2017-11-13 | 2018-04-06 | 苏州科达科技股份有限公司 | 一种人脸检测方法以及人脸检测系统 |
| CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHIWEI ZHU ET AL: "Real Time 3D Face Pose Tracking From an Uncalibrated Camera", 《2004 CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOP》 * |
| 陈慧岩等著: "《无人驾驶车辆理论与设计》", 31 March 2018, 北京理工大学出版社 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059605A (zh) * | 2019-04-10 | 2019-07-26 | 厦门美图之家科技有限公司 | 一种神经网络训练方法、计算设备及存储介质 |
| CN111862248A (zh) * | 2019-04-29 | 2020-10-30 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN111862248B (zh) * | 2019-04-29 | 2023-09-29 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN110210393A (zh) * | 2019-05-31 | 2019-09-06 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
| CN110517221A (zh) * | 2019-07-05 | 2019-11-29 | 银河水滴科技（北京）有限公司 | 基于现实坐标的缝隙定位方法、装置和存储介质 |
| CN110378961A (zh) * | 2019-09-11 | 2019-10-25 | 图谱未来(南京)人工智能研究院有限公司 | 模型的优化方法、关键点检测方法、装置及存储介质 |
| CN110889858A (zh) * | 2019-12-03 | 2020-03-17 | 中国太平洋保险（集团）股份有限公司 | 一种基于点回归的汽车部件分割方法及装置 |
| CN111401219B (zh) * | 2020-03-10 | 2023-04-28 | 厦门熵基科技有限公司 | 一种手掌关键点检测方法和装置 |
| CN111401219A (zh) * | 2020-03-10 | 2020-07-10 | 厦门中控智慧信息技术有限公司 | 一种手掌关键点检测方法和装置 |
| CN111860199A (zh) * | 2020-06-28 | 2020-10-30 | 上海芯翌智能科技有限公司 | 图像中关键点的检测方法及设备 |
| CN111860199B (zh) * | 2020-06-28 | 2022-09-27 | 上海芯翌智能科技有限公司 | 图像中关键点的检测方法及设备 |
| CN112949492A (zh) * | 2021-03-03 | 2021-06-11 | 南京视察者智能科技有限公司 | 一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备 |
| CN113361381A (zh) * | 2021-06-03 | 2021-09-07 | 上海哔哩哔哩科技有限公司 | 人体关键点检测模型训练方法、检测方法及装置 |
| CN113283598A (zh) * | 2021-06-11 | 2021-08-20 | 清华大学 | 模型训练方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376659A (zh) | 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置 | |
| CN107330437B (zh) | 基于卷积神经网络目标实时检测模型的特征提取方法 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN109977859B (zh) | 一种图标识别的方法以及相关装置 | |
| CN107871117A (zh) | 用于检测对象的设备和方法 | |
| CN107679455A (zh) | 目标跟踪装置、方法及计算机可读存储介质 | |
| CN109583449A (zh) | 字符识别方法及相关产品 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN104867137B (zh) | 一种基于改进ransac算法的图像配准方法 | |
| CN109145809A (zh) | 一种记谱处理方法和装置以及计算机可读存储介质 | |
| CN109784293A (zh) | 多类目标对象检测方法、装置、电子设备、存储介质 | |
| CN109740113B (zh) | 超参数阈值范围确定方法、装置、存储介质及电子设备 | |
| CN110047095A (zh) | 基于目标检测的跟踪方法、装置及终端设备 | |
| CN107766349B (zh) | 一种生成文本的方法、装置、设备及客户端 | |
| CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| CN109410316A (zh) | 物体的三维重建的方法、跟踪方法、相关装置及存储介质 | |
| CN110033018A (zh) | 图形相似度判断方法、装置及计算机可读存储介质 | |
| CN108854069A (zh) | 音源确定方法和装置、存储介质及电子装置 | |
| CN106874936A (zh) | 图像传播监测方法及装置 | |
| CN106408628B (zh) | 一种图片处理方法及装置 | |
| CN107403160A (zh) | 一种智能驾驶场景中图像检测方法、设备及其存储设备 | |
| CN110515986A (zh) | 一种社交网络图的处理方法、装置及存储介质 | |
| CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
| CN112561973A (zh) | 训练图像配准模型的方法、装置和电子设备 | |
| CN110264478A (zh) | 一种线稿图像上色的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |