CN107704848A - 一种基于多约束条件卷积神经网络的密集人脸对齐方法 - Google Patents
一种基于多约束条件卷积神经网络的密集人脸对齐方法 Download PDFInfo
- Publication number
- CN107704848A CN107704848A CN201711027662.8A CN201711027662A CN107704848A CN 107704848 A CN107704848 A CN 107704848A CN 201711027662 A CN201711027662 A CN 201711027662A CN 107704848 A CN107704848 A CN 107704848A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- mtd
- msubsup
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明中提出的一种基于多约束条件卷积神经网络的密集人脸对齐方法，其主要内容包括：三维人脸表征、卷积网络结构、损失函数设计，其过程为，首先构建基于卷积模块的分支网络，使之接受输入图像后进行形状参数和投射参数的估计，同时设计一系列约束条件并转化成损失函数，以最小化输入图像和生成图像的差异，从而得到标志物对齐的人脸。本发明可以处理多种姿态尤其大幅度转向的人脸，提供一个损失函数总框架来约束生成图像的变换，同时提升了人脸识别与对齐的效果。
Description
技术领域
本发明涉及人脸识别领域，尤其是涉及了一种基于多约束条件卷积神经网络的密集人脸对齐方法。
背景技术
人脸识别是目前计算机视觉与模式识别领域的热门技术，而想要得到精确的识别结果，一般而言很有必要在运行人脸识别算法之前，先对人脸进行归一化，即人脸对齐。人脸对齐算法的核心在于检测人脸特征点，从而估计出人脸的位置与姿态。其算法的成功实现，会对一些关键领域产生重要影响，例如使用生物特征(人脸)识别的应用领域，其范围涵盖银行、电子商务、社会福利保障、安全防务等方面。
人脸是一个复杂的弹性可变的三维非刚性物体，因此人脸对齐是一个极具挑战性的复杂的模式检测问题。特殊的结构化特征的出现或消失如眼睛、胡子或者首饰，面部姿态变换如仰望、俯瞰，光照的变化如室内到室外、白天到黑夜，背景复杂程度的变化如红绿灯路过到会议室的变化，这些都对人脸对齐提出了不同程度的挑战和增加了一定难度。
本发明提出了一种基于卷积神经网络的人脸对齐新框架。首先构建基于卷积模块的分支网络，使之接受输入图像后进行形状参数和投射参数的估计，同时设计一系列约束条件并转化成损失函数，以最小化输入图像和生成图像的差异，从而得到标志物对齐的人脸。本发明可以处理多种姿态尤其大幅度转向的人脸，提供一个损失函数总框架来约束生成图像的变换，同时提升了人脸识别与对齐的效果。
发明内容
针对解决在大幅度转向中进行人脸对齐的问题，本发明的目的在于提供一种基于多约束条件卷积神经网络的密集人脸对齐方法，提出了一种基于卷积神经网络的人脸对齐新框架。
为解决上述问题，本发明提供一种基于视频数据的人体动作分析方法，其主要内容包括：
(一)三维人脸表征；
(二)卷积网络结构；
(三)损失函数设计。
其中，所述的三维人脸表征，使用S表示人脸的三维形状，其包含由Q个顶点组成的三维位置，具体为：
其中，使用三维形态模型对此三维位置进行建模，具体为：
其中，S等于所有平均值与线性插值形状基准以及的加权和，其权值系数为
对于不同的需求，产生具有N个顶点的密集三维人脸表征子集U，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：
通过不同的变换角度，子集U生成不同的变换矩阵，以弥补角度不良的人脸表征。
所述的变换矩阵，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，
此外给定正交投影矩阵上述变换过程可用公式(5)表示：
U＝Pr·A， (5)
任意形状的二维人脸形态使用矩阵A的前两行(即A＝[m1，...，m8])决定。
所述的卷积网络结构，包括分支结构和卷积模块结构。
所述的分支结构，通过卷积神经网络学习非线性函数f(Θ)，从输出图像I中学习到网络参数m和p，具体为：
1)输入层经过三个卷积模块；
2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；
3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；
4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。
所述的卷积模块结构，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。
所述的损失函数，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数Jpr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数Jlm减少二维标志物拟合误差；轮廓约束损失函数Jc用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束Js用于拟合三维视图表征矩阵，总损失函数J通过上述损失函数的加权和得到：
其中，
λlm、λc和λs为比例系数。
所述的标志物拟合约束损失函数，给定二维人脸图像和针对的标志物标签首先人为地将三维表征中的点匹配到二维人脸图像上，这些点的索引值集合为ilm，则根据公式(4)的变换矩阵有：
其中，L是预训练的标志物个数，F表示使用弗罗贝尼乌斯范数。
所述的轮廓约束损失函数，给定二维人脸图像和针对的标志物标签首先需要检测图像中的人脸轮廓，接着用矩阵A表征出轮廓顶点，最后最小化二者差异，则根据公式(4)的变换矩阵有：
其中，ic表示当前m和p的取值索引。
所述的尺度不变特征变换匹配约束，给定一对人脸i和j，它们所对应的尺度不变特征为和对其进行三维特征表征转换得到Ai和Aj，将其三维顶点表示为和则其尺度不变特征变换匹配约束所构成的损失函数为：
其中，Ai是通过{mi，pi}计算得到。
附图说明
图1是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的系统流程图。
图2是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的例子。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法。主要包括三维人脸表征；卷积网络结构；损失函数设计。
其中，三维人脸表征，使用S表示人脸的三维形状，其包含由Q个顶点组成的三维位置，具体为：
其中，使用三维形态模型对此三维位置进行建模，具体为：
其中，S等于所有平均值与线性插值形状基准以及的加权和，其权值系数为
对于不同的需求，产生具有N个顶点的密集三维人脸表征子集U，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：
通过不同的变换角度，子集U生成不同的变换矩阵，以弥补角度不良的人脸表征。
变换矩阵，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，
此外给定正交投影矩阵上述变换过程可用公式(5)表示：
U＝Pr·A， (5)
任意形状的二维人脸形态使用矩阵A的前两行(即A＝[m1，...，m8])决定。
卷积网络结构，包括分支结构和卷积模块结构。
分支结构，通过卷积神经网络学习非线性函数f(Θ)，从输出图像I中学习到网络参数m和p，具体为：
1)输入层经过三个卷积模块；
2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；
3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；
4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。
卷积模块结构，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。
损失函数，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数Jpr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数Jlm减少二维标志物拟合误差；轮廓约束损失函数Jc用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束Js用于拟合三维视图表征矩阵，总损失函数J通过上述损失函数的加权和得到：
其中，
λlm、λc和λs为比例系数。
标志物拟合约束损失函数，给定二维人脸图像和针对的标志物标签首先人为地将三维表征中的点匹配到二维人脸图像上，这些点的索引值集合为ilm，则根据公式(4)的变换矩阵有：
其中，L是预训练的标志物个数，F表示使用弗罗贝尼乌斯范数。
轮廓约束损失函数，给定二维人脸图像和针对的标志物标签首先需要检测图像中的人脸轮廓，接着用矩阵A表征出轮廓顶点，最后最小化二者差异，则根据公式(4)的变换矩阵有：
其中，ic表示当前m和p的取值索引。
尺度不变特征变换匹配约束，给定一对人脸i和j，它们所对应的尺度不变特征为和对其进行三维特征表征转换得到Ai和Aj，将其三维顶点表示为和则其尺度不变特征变换匹配约束所构成的损失函数为：
其中，Ai是通过{mi，pi}计算得到。
图2是本发明一种基于多约束条件卷积神经网络的密集人脸对齐方法的例子。如图所示，可以观察到，这是本发明方法在不同条件(侧脸、光照不匀、表情变化等)的人脸对齐效果，从图中可以看出，算法很好地抓住了人脸特征，包括轮廓、标志物位置。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于多约束条件卷积神经网络的密集人脸对齐方法，其特征在于，主要包括三维人脸表征(一)；卷积网络结构(二)；损失函数设计(三)。
2.基于权利要求书1所述的三维人脸表征(一)，其特征在于，使用S表示人脸的三维形状，其包含由Q个顶点组成的三维位置，具体为：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mi>Q</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>y</mi>
<mi>Q</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>z</mi>
<mi>Q</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，使用三维形态模型对此三维位置进行建模，具体为：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mover>
<mi>S</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
</msub>
</munderover>
<msubsup>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>exp</mi>
</msub>
</munderover>
<msubsup>
<mi>p</mi>
<mi>exp</mi>
<mi>i</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mi>exp</mi>
<mi>i</mi>
</msubsup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，S等于所有平均值与线性插值形状基准以及的加权和，其权值系数为
对于不同的需求，产生具有N个顶点的密集三维人脸表征子集U，用于搜索人脸图像中基于二维标志物(鼻子、眼睛等)，具体为：
<mrow>
<mi>U</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
通过不同的变换角度，子集U生成不同的变换矩阵，以弥补角度不良的人脸表征。
3.基于权利要求书2所述的变换矩阵，其特征在于，用基于二维视图的密集人脸形状表征三维视图，具体为：为人脸的转向设置6个自由度，并且用尺度、旋转角度和变换等因素建立模型，定义转换后的密集人脸形状由公式(4)给出，
此外给定正交投影矩阵上述变换过程可用公式(5)表示：
U＝Pr·A， (5)
任意形状的二维人脸形态使用矩阵A的前两行(即A＝[m1，...，m8])决定。
4.基于权利要求书1所述的卷积网络结构(二)，包括分支结构和卷积模块结构。
5.基于权利要求书4所述的分支结构，其特征在于，通过卷积神经网络学习非线性函数f(Θ)，从输出图像I中学习到网络参数m和p，具体为：
1)输入层经过三个卷积模块；
2)上述1)中最后一层输出分别输入到投射参数m和形状参数p的各自专用网络；
3)上述2)中投射参数m具有两个卷积模块，全连接层一层(神经元个数228)；形状参数p具有两个卷积模块，全连接层一层(神经元个数8)；
4)两个专用网络的输出进行拼接，一并输入到全连接层得到整个网络的输出。
6.基于权利要求书4所述的卷积模块结构，其特征在于，该模块中依次含有卷积层、批处理层、非线性激活层以及池化层，按照一定的参数组合起来。
7.基于权利要求书1所述的损失函数(三)，其特征在于，通过对不同阶段的参数设置独立的损失函数，在通过加权和的方式将独立的损失函数组合起来行成总损失函数，具体有：参数约束损失函数Jpr用于最小化估计参数和实际参数之间的差异，标志物拟合约束损失函数Jlm减少二维标志物拟合误差；轮廓约束损失函数Jc用于使生成图像的轮廓与输入图像尽可能接近；尺度不变特征变换匹配约束Js用于拟合三维视图表征矩阵，总损失函数J通过上述损失函数的加权和得到：
<mrow>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mrow>
<mover>
<mi>m</mi>
<mo>^</mo>
</mover>
<mo>,</mo>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
</mrow>
</munder>
<mi>J</mi>
<mo>=</mo>
<msub>
<mi>J</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>l</mi>
<mi>m</mi>
</mrow>
</msub>
<msub>
<mi>J</mi>
<mrow>
<mi>l</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>c</mi>
</msub>
<msub>
<mi>J</mi>
<mi>c</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mi>s</mi>
</msub>
<msub>
<mi>J</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，
λlm、λc和λs为比例系数。
8.基于权利要求书7所述的标志物拟合约束损失函数，其特征在于，给定二维人脸图像和针对的标志物标签首先人为地将三维表征中的点匹配到二维人脸图像上，这些点的索引值集合为ilm，则根据公式(4)的变换矩阵有：
<mrow>
<msub>
<mi>J</mi>
<mrow>
<mi>l</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<mo>&CenterDot;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>r</mi>
</msub>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<msub>
<mi>i</mi>
<mrow>
<mi>l</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>U</mi>
<mrow>
<mi>l</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，L是预训练的标志物个数，F表示使用弗罗贝尼乌斯范数。
9.基于权利要求书7所述的轮廓约束损失函数，其特征在于，给定二维人脸图像和针对的标志物标签首先需要检测图像中的人脸轮廓，接着用矩阵A表征出轮廓顶点，最后最小化二者差异，则根据公式(4)的变换矩阵有：
<mrow>
<msub>
<mi>J</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mi>j</mi>
</munder>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>k</mi>
<mo>&Element;</mo>
<msub>
<mi>i</mi>
<mi>c</mi>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>r</mi>
</msub>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<msub>
<mi>i</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>U</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>:</mo>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ic表示当前m和p的取值索引。
10.基于权利要求书7所述的尺度不变特征变换匹配约束，其特征在于，给定一对人脸i和j，它们所对应的尺度不变特征为和对其进行三维特征表征转换得到Ai和Aj，将其三维顶点表示为和则其尺度不变特征变换匹配约束所构成的损失函数为：
<mrow>
<msub>
<mi>J</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mover>
<mi>m</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msup>
<mo>,</mo>
<msup>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msup>
<mo>,</mo>
<msup>
<mover>
<mi>m</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msup>
<mo>,</mo>
<msup>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>L</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mfrac>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>A</mi>
<mi>i</mi>
</msup>
<mo>{</mo>
<msubsup>
<mi>i</mi>
<mi>s</mi>
<mi>j</mi>
</msubsup>
<mo>}</mo>
<mo>-</mo>
<msubsup>
<mi>U</mi>
<mi>s</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>A</mi>
<mi>j</mi>
</msup>
<mo>{</mo>
<msubsup>
<mi>i</mi>
<mi>s</mi>
<mi>i</mi>
</msubsup>
<mo>}</mo>
<mo>-</mo>
<msubsup>
<mi>U</mi>
<mi>s</mi>
<mi>j</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Ai是通过{mi，pi}计算得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711027662.8A CN107704848A (zh) | 2017-10-27 | 2017-10-27 | 一种基于多约束条件卷积神经网络的密集人脸对齐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711027662.8A CN107704848A (zh) | 2017-10-27 | 2017-10-27 | 一种基于多约束条件卷积神经网络的密集人脸对齐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107704848A true CN107704848A (zh) | 2018-02-16 |
Family
ID=61176424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711027662.8A Withdrawn CN107704848A (zh) | 2017-10-27 | 2017-10-27 | 一种基于多约束条件卷积神经网络的密集人脸对齐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704848A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460829A (zh) * | 2018-04-16 | 2018-08-28 | 广州智能装备研究院有限公司 | 一种用于ar系统的三维图像注册方法 |
| CN108647583A (zh) * | 2018-04-19 | 2018-10-12 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
| CN108875777A (zh) * | 2018-05-03 | 2018-11-23 | 浙江大学 | 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法 |
| CN109034374A (zh) * | 2018-07-03 | 2018-12-18 | 苏州中科启慧软件技术有限公司 | 使用多刻度密集连通卷积网络的相对深度序列估计方法 |
| CN109635674A (zh) * | 2018-11-22 | 2019-04-16 | 深圳市唯特视科技有限公司 | 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106575367A (zh) * | 2014-08-21 | 2017-04-19 | 北京市商汤科技开发有限公司 | 用于基于多任务的人脸关键点检测的方法和系统 |
| CN107103281A (zh) * | 2017-03-10 | 2017-08-29 | 中山大学 | 基于聚集损失深度度量学习的人脸识别方法 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
-
2017
- 2017-10-27 CN CN201711027662.8A patent/CN107704848A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106575367A (zh) * | 2014-08-21 | 2017-04-19 | 北京市商汤科技开发有限公司 | 用于基于多任务的人脸关键点检测的方法和系统 |
| CN107103281A (zh) * | 2017-03-10 | 2017-08-29 | 中山大学 | 基于聚集损失深度度量学习的人脸识别方法 |
| CN107239736A (zh) * | 2017-04-28 | 2017-10-10 | 北京智慧眼科技股份有限公司 | 基于多任务级联卷积神经网络的人脸检测方法及检测装置 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
Non-Patent Citations (1)
| Title |
|---|
| YAOJIE LIU 等: ""Dense Face Alignment"", 《WWW.ARXIV.ORG》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460829A (zh) * | 2018-04-16 | 2018-08-28 | 广州智能装备研究院有限公司 | 一种用于ar系统的三维图像注册方法 |
| CN108460829B (zh) * | 2018-04-16 | 2019-05-24 | 广州智能装备研究院有限公司 | 一种用于ar系统的三维图像注册方法 |
| CN108647583A (zh) * | 2018-04-19 | 2018-10-12 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
| CN108647583B (zh) * | 2018-04-19 | 2022-02-22 | 浙江大承机器人科技有限公司 | 一种基于多目标学习的人脸识别算法训练方法 |
| CN108875777A (zh) * | 2018-05-03 | 2018-11-23 | 浙江大学 | 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法 |
| CN108875777B (zh) * | 2018-05-03 | 2022-03-15 | 浙江大学 | 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法 |
| CN109034374A (zh) * | 2018-07-03 | 2018-12-18 | 苏州中科启慧软件技术有限公司 | 使用多刻度密集连通卷积网络的相对深度序列估计方法 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| US11941753B2 (en) | 2018-08-27 | 2024-03-26 | Alibaba Group Holding Limited | Face pose estimation/three-dimensional face reconstruction method, apparatus, and electronic device |
| CN109635674A (zh) * | 2018-11-22 | 2019-04-16 | 深圳市唯特视科技有限公司 | 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704848A (zh) | 一种基于多约束条件卷积神经网络的密集人脸对齐方法 | |
| CN107563279B (zh) | 针对人体属性分类的自适应权重调整的模型训练方法 | |
| CN104221054B (zh) | 人物属性推定系统及学习用数据生成装置 | |
| CN101964064B (zh) | 一种人脸比对方法 | |
| CN106067190B (zh) | 一种基于单幅图像的快速人脸三维模型生成和变换方法 | |
| CN107610209A (zh) | 人脸表情合成方法、装置、存储介质和计算机设备 | |
| CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN108664947A (zh) | 一种基于表情识别的疲劳驾驶预警方法 | |
| CN107204010A (zh) | 一种单目图像深度估计方法与系统 | |
| CN110399809A (zh) | 多特征融合的人脸关键点检测方法及装置 | |
| CN104700076A (zh) | 人脸图像虚拟样本生成方法 | |
| CN110738161A (zh) | 一种基于改进生成式对抗网络的人脸图像矫正方法 | |
| CN109241910A (zh) | 一种基于深度多特征融合级联回归的人脸关键点定位方法 | |
| CN101853523A (zh) | 一种采用草图创建三维人脸模型的方法 | |
| CN102999942A (zh) | 三维人脸重建方法 | |
| CN102654903A (zh) | 一种人脸比对方法 | |
| CN109344713B (zh) | 一种姿态鲁棒的人脸识别方法 | |
| CN101968846A (zh) | 一种人脸跟踪方法 | |
| Shu et al. | Kinship-guided age progression | |
| CN108629294A (zh) | 基于变形图的人体与人脸网格模板拟合方法 | |
| CN101458763A (zh) | 基于图像加权平均的自动人脸识别方法 | |
| CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180216 |