CN107239766A - 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 - Google Patents

一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 Download PDF

Info

Publication number
CN107239766A
CN107239766A CN201710428491.3A CN201710428491A CN107239766A CN 107239766 A CN107239766 A CN 107239766A CN 201710428491 A CN201710428491 A CN 201710428491A CN 107239766 A CN107239766 A CN 107239766A
Authority
CN
China
Prior art keywords
mrow
msub
face
generation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710428491.3A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710428491.3A priority Critical patent/CN107239766A/zh
Publication of CN107239766A publication Critical patent/CN107239766A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种利用对抗网络和三维形态模型的大幅度人脸摆正方法，其主要内容包括：重构模块、生成网络与分类模块、识别模块，其过程为，首先生成器将一张非前向正脸的人脸图当作输入去产生一张正向前脸图，同时分类器试图去对这张图像进行判别是否真实图像，并且利用反馈的信息去促使生成器生成的图像更加接近真实图像，同时利用识别引擎进行输入图像原有身份特征的保留。本发明可以处理非前向人脸尤其大幅度偏摆的人脸图，提供一个生成网络和形态模型进行人脸的摆正，同时极大地提高了人脸识别与摆正的效果。

Description

一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
技术领域
本发明涉及人脸检测领域，尤其是涉及了利用对抗网络和三维形态模型的大幅度人脸摆正方法。
背景技术
人脸检测与识别是生物特征识别与人工智能交叉领域的一个课题，近年来得到了广泛的关注。人脸图像是人类主要特征，与用其他身体特征相比，人脸相对稳定、不容易被遗忘、改变和盗取，而且利用人脸图像来识别身份，容易被人们所接受，但在日常生活中，并非所有场景中出现的人脸都是正向前脸，因此如何将图像中的人脸摆正进行识别，是一项关键技术，将有利于社交领域的安全权限、银行账户与购物安全、公民出入境事务甚至于反恐安防领域。
人脸摆正仍然是一个具有挑战性的问题。由于人脸的不同个体之间的区别并不是很明显。甚至隔绝开各种器官，都具有相似性，导致个体的身份特征不能很好地被提取，而且由于光照、表情、饰物等影响，对于极端偏置人脸的摆正恢复更加具有难度，加上未定的背景因素，想要在未限定条件下进行人脸的摆正并不容易。
本发明提出了一种基于生成网络与识别引擎的新框架。生成器将一张非前向正脸的人脸图当作输入去产生一张正向前脸图，同时分类器试图去对这张图像进行判别是否真实图像，并且利用反馈的信息去促使生成器生成的图像更加接近真实图像，同时利用识别引擎进行输入图像原有身份特征的保留。本发明可以处理非前向人脸尤其大幅度偏摆的人脸图，提供一个生成网络和形态模型进行人脸的摆正，同时极大地提高了人脸识别与摆正的效果。
发明内容
针对解决在为限定条件背景下进行人脸摆正的问题，本发明的目的在于提供一种利用对抗网络和三维形态模型的大幅度人脸摆正方法，提出了一种生成网络和识别引擎的新框架。
为解决上述问题，本发明提供一种利用对抗网络和三维形态模型的大幅度人脸摆正方法，其主要内容包括：
(一)重构模块；
(二)生成网络与分类模块；
(三)识别模块。
其中，所述的重构模块，包括预设结构和重构结构两部分。
进一步地，所述的预设结构，包括四个组成部分：
(1)生成器G，用于接收输入的非前脸图像并且将其转换成前脸图；
(2)分类器D，用于分类这幅前脸图是真实的还是生成的；
(3)人脸识别引擎C，用于正则化处理G的生成图以保留更多该图像的独有特征；
(4)三维形态模型R，用于在大幅度偏移正面的人脸图中向生成网络提供形状与外观信息；
此外，令拥有N个样本的训练集表示为其中xi为任意姿态的人脸输入图像，为该输入图像的实际前脸图，是实际三维形态模型的系数，yi为该图像的标签。
进一步地，所述的重构结构，在生成人脸图像过程中对三维形态模型加入先验知识，在主成分分析域中有：
公式(1)表明三维形状坐标S由形状均值形状基准Aid、表达式基准Aexp线性相加组成，而纹理T则由纹理均值纹理基准Atex线性相加组成，其余系数定义了独特的三维人脸；
令三维形态模型系数P＝<m，αid，αexp,αtex>，对于输入图像x以及模型R，P＝R(x)，用基于预训练的深度学习网络权值对此模型进行回归运算，并且对训练前每一个维度的参数进行z分数归一化处理，则带权值参数的距离代价函数为：
其中，W是一个矩阵，对角线是每个训练参数的权值。
进一步地，所述的生成网络与分类模块，包括生成对抗网络和分类模块。
进一步地，所述的生成对抗网络，产生一个依赖于三维形态模型系数P和输入图像x的生成模型来恢复保留有高频及低频部分的前脸图，具体为：原始图像及三维形态模型系数输入到生成器G中，融合一个编码解码网络去合成前脸xf＝G(x，P)，同时定义一个重构损失函数使得重构图与实际图之间的误差最小：
此外，为了减少图像块状结构之间的人为痕迹，使用一个空域的总变差损失函数使得生成的输出更加平滑：
其中，是图像的梯度，是二维坐标增量，Ω是图像区域范围，|Ω|是区域归一化因子；
由于人脸的对称性，加入一个对称损失函数，从三维形态模型系数中向二维投影，得到二维的人脸视图它为二进制，非零值表示可视区域，零值则表示相反；同时由于其对称性，人脸视图水平翻动的时候得到另一个视图则对于原始输入图像而生成的前脸图像及其翻转版本之间应该严格相似：
运算符⊙表示元素点积。
进一步地，所述的分类模块，分类器D含有5个卷积层和一个线性层用于产生二维向量，每个维度代表概率，关于输入图像是真实的还是生成的，而D每个迭代中使用两批图像进行权值更新，有：
其中，和分别是真实图像和生成图像的集合；
此外，生成器G需要击败分类器D，才能使得D很难分辨生成的人脸图是不真实的，于是设定一个损失函数：
其中，这个损失函数的最优化意味着D指引着G去生成最接近真实的前脸图。
进一步地，所述的识别模块，包括识别引擎和目标函数两部分。
进一步地，所述的识别引擎，使用识别引擎C注入原始图像中的正确身份信息，具体为：利用深度学习网络结构融合交叉熵损失函数去训练C，基于实际真实标签y去对图像x进行分类：
其中，j是身份类别的索引，如果输入图像的身份标签失效，则将图取出来的身份特征hf进行正则化处理，使生成图像与输入图像之间的特征更加相像，即：
根据公式(9)，在训练过程中，C不断迭代训练图像以保持分辨能力，同时利用从生成图像反馈的损失信息用于更新自身。
进一步地，所述的目标函数，在前述模块中，根据公式(2)(6)(8)可得，一个可优化的总体目标函数为：
其中，每个模块的权重皆不相同，公式(10)设定了5个平衡因子来控制总体损失函数，用三步完成此端对端训练过程：
(1)λrec设置为0，λid设置为0.01；
(2)λtv、λsym、λgan初始值设置为1；
(3)通常在20个迭代次数内如果G和D的训练误差一旦破坏了原有的平衡，则改变λrec和λid为1，而λtv和λsym分别为0.5和0.8。
附图说明
图1是本发明一种利用对抗网络和三维形态模型的大幅度人脸摆正方法的系统流程图。
图2是本发明一种利用对抗网络和三维形态模型的大幅度人脸摆正方法检测结果的比较图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种利用对抗网络和三维形态模型的大幅度人脸摆正方法的系统流程图。主要包括重构模块；生成网络与分类模块；识别模块。
其中，重构模块包括预设结构和重构结构两部分。
预设结构，包括四个组成部分：
(1)生成器G，用于接收输入的非前脸图像并且将其转换成前脸图；
(2)分类器D，用于分类这幅前脸图是真实的还是生成的；
(3)人脸识别引擎C，用于正则化处理G的生成图以保留更多该图像的独有特征；
(4)三维形态模型R，用于在大幅度偏移正面的人脸图中向生成网络提供形状与外观信息；
此外，令拥有N个样本的训练集表示为其中xi为任意姿态的人脸输入图像，为该输入图像的实际前脸图，是实际三维形态模型的系数，yi为该图像的标签。
重构结构，在生成人脸图像过程中对三维形态模型加入先验知识，在主成分分析域中有：
公式(1)表明三维形状坐标S由形状均值形状基准Aid、表达式基准Aexp线性相加组成，而纹理T则由纹理均值纹理基准Atex线性相加组成，其余系数定义了独特的三维人脸；
令三维形态模型系数P＝<m，αid，αexp,αtex>，对于输入图像x以及模型R，P＝R(x)，用基于预训练的深度学习网络权值对此模型进行回归运算，并且对训练前每一个维度的参数进行z分数归一化处理，则带权值参数的距离代价函数为：
其中，W是一个矩阵，对角线是每个训练参数的权值。
生成网络与分类模块，包括生成对抗网络和分类模块。
生成对抗网络，产生一个依赖于三维形态模型系数P和输入图像x的生成模型来恢复保留有高频及低频部分的前脸图，具体为：原始图像及三维形态模型系数输入到生成器G中，融合一个编码解码网络去合成前脸xf＝G(x，P)，同时定义一个重构损失函数使得重构图与实际图之间的误差最小：
此外，为了减少图像块状结构之间的人为痕迹，使用一个空域的总变差损失函数使得生成的输出更加平滑：
其中，是图像的梯度，是二维坐标增量，Ω是图像区域范围，|Ω|是区域归一化因子；
由于人脸的对称性，加入一个对称损失函数，从三维形态模型系数中向二维投影，得到二维的人脸视图它为二进制，非零值表示可视区域，零值则表示相反；同时由于其对称性，人脸视图水平翻动的时候得到另一个视图则对于原始输入图像而生成的前脸图像及其翻转版本之间应该严格相似：
运算符⊙表示元素点积。
分类模块，分类器D含有5个卷积层和一个线性层用于产生二维向量，每个维度代表概率，关于输入图像是真实的还是生成的，而D每个迭代中使用两批图像进行权值更新，有：
其中，和分别是真实图像和生成图像的集合；
此外，生成器G需要击败分类器D，才能使得D很难分辨生成的人脸图是不真实的，于是设定一个损失函数：
其中，这个损失函数的最优化意味着D指引着G去生成最接近真实的前脸图。
识别模块，包括识别引擎和目标函数两部分。
识别引擎，使用识别引擎C注入原始图像中的正确身份信息，具体为：利用深度学习网络结构融合交叉熵损失函数去训练C，基于实际真实标签y去对图像x进行分类：
其中，j是身份类别的索引，如果输入图像的身份标签失效，则将图取出来的身份特征hf进行正则化处理，使生成图像与输入图像之间的特征更加相像，即：
根据公式(9)，在训练过程中，C不断迭代训练图像以保持分辨能力，同时利用从生成图像反馈的损失信息用于更新自身。
目标函数，在前述模块中，根据公式(2)(6)(8)可得，一个可优化的总体目标函数为：
其中，每个模块的权重皆不相同，公式(10)设定了5个平衡因子来控制总体损失函数，用三步完成此端对端训练过程：
(1)λrec设置为0，λid设置为0.01；
(2)λtv、λsym、λgan初始值设置为1；
(3)通常在20个迭代次数内如果G和D的训练误差一旦破坏了原有的平衡，则改变λrec和λid为1，而λtv和λsym分别为0.5和0.8。
图2是本发明一种利用对抗网络和三维形态模型的大幅度人脸摆正方法检测结果的比较图。如图所示，可以观察到，根据同样的输入图像，与其他典型方法相对比，本发明的方法可以展示出最好的人脸摆正图像，并且更好地保留人脸特征。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种利用对抗网络和三维形态模型的大幅度人脸摆正方法，其特征在于，主要包括重构模块(一)；生成网络与分类模块(二)；识别模块(三)。
2.基于权利要求书1所述的重构模块(一)，其特征在于，包括预设结构和重构结构两部分。
3.基于权利要求书2所述的预设结构，其特征在于，包括四个组成部分：
(1)生成器G，用于接收输入的非前脸图像并且将其转换成前脸图；
(2)分类器D，用于分类这幅前脸图是真实的还是生成的；
(3)人脸识别引擎C，用于正则化处理G的生成图以保留更多该图像的独有特征；
(4)三维形态模型R，用于在大幅度偏移正面的人脸图中向生成网络提供形状与外观信息；
此外，令拥有N个样本的训练集表示为其中xi为任意姿态的人脸输入图像，为该输入图像的实际前脸图，Pi g是实际三维形态模型的系数，yi为该图像的标签。
4.基于权利要求书2所述的重构结构，其特征在于，在生成人脸图像过程中对三维形态模型加入先验知识，在主成分分析域中有：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mo>=</mo> <mover> <mi>S</mi> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>A</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> </msub> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>A</mi> <mi>exp</mi> </msub> <msub> <mi>&amp;alpha;</mi> <mi>exp</mi> </msub> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>T</mi> <mo>=</mo> <mover> <mi>T</mi> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>A</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
公式(1)表明三维形状坐标S由形状均值形状基准Aid、表达式基准Aexp线性相加组成，而纹理T则由纹理均值纹理基准Atex线性相加组成，其余系数定义了独特的三维人脸；
令三维形态模型系数P＝<m,αid,αexp,αtex>，对于输入图像x以及模型R，P＝R(x)，用基于预训练的深度学习网络权值对此模型进行回归运算，并且对训练前每一个维度的参数进行z分数归一化处理，则带权值参数的距离代价函数为：
其中，W是一个矩阵，对角线是每个训练参数的权值。
5.基于权利要求书1所述的生成网络与分类模块(二)，其特征在于，包括生成对抗网络和分类模块。
6.基于权利要求书5所述的生成对抗网络，其特征在于，产生一个依赖于三维形态模型系数P和输入图像x的生成模型来恢复保留有高频及低频部分的前脸图，具体为：原始图像及三维形态模型系数输入到生成器G中，融合一个编码解码网络去合成前脸xf＝G(x,P)，同时定义一个重构损失函数使得重构图与实际图之间的误差最小：
<mrow> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>c</mi> </mrow> </msub> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>x</mi> <mi>g</mi> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
此外，为了减少图像块状结构之间的人为痕迹，使用一个空域的总变差损失函数使得生成的输出更加平滑：
<mrow> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>t</mi> <mi>v</mi> </mrow> </msub> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mi>&amp;Omega;</mi> <mo>|</mo> </mrow> </mfrac> <mo>&amp;Integral;</mo> <msub> <mo>&amp;Integral;</mo> <mi>&amp;Omega;</mi> </msub> <mo>|</mo> <mo>&amp;dtri;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>|</mo> <mi>d</mi> <mi>u</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，是图像的梯度，是二维坐标增量，Ω是图像区域范围，|Ω|是区域归一化因子；
由于人脸的对称性，加入一个对称损失函数，从三维形态模型系数中向二维投影，得到二维的人脸视图它为二进制，非零值表示可视区域，零值则表示相反；同时由于其对称性，人脸视图水平翻动的时候得到另一个视图则对于原始输入图像而生成的前脸图像及其翻转版本之间应该严格相似：
运算符⊙表示元素点积。
7.基于权利要求书5所述的分类模块，其特征在于，分类器D含有5个卷积层和一个线性层用于产生二维向量，每个维度代表概率，关于输入图像是真实的还是生成的，而D每个迭代中使用两批图像进行权值更新，有：
其中，和分别是真实图像和生成图像的集合；
此外，生成器G需要击败分类器D，才能使得D很难分辨生成的人脸图是不真实的，于是设定一个损失函数：
其中，这个损失函数的最优化意味着D指引着G去生成最接近真实的前脸图。
8.基于权利要求书1所述的识别模块(三)，其特征在于，包括识别引擎和目标函数两部分。
9.基于权利要求书8所述的识别引擎，其特征在于，使用识别引擎C注入原始图像中的正确身份信息，具体为：利用深度学习网络结构融合交叉熵损失函数去训练C，基于实际真实标签y去对图像x进行分类：
<mrow> <munder> <mi>min</mi> <mi>C</mi> </munder> <msub> <mi>L</mi> <mi>C</mi> </msub> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>j</mi> </munder> <mo>-</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mi>j</mi> </msub> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，j是身份类别的索引，如果输入图像的身份标签失效，则将图取出来的身份特征hf进行正则化处理，使生成图像与输入图像之间的特征更加相像，即：
根据公式(9)，在训练过程中，C不断迭代训练图像以保持分辨能力，同时利用从生成图像反馈的损失信息用于更新自身。
10.基于权利要求书8所述的目标函数，其特征在于，在前述模块中，根据公式(2)(6)(8)可得，一个可优化的总体目标函数为：
<mrow> <munder> <mi>min</mi> <mi>G</mi> </munder> <msub> <mi>L</mi> <mi>G</mi> </msub> <mo>=</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>c</mi> </mrow> </msub> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>c</mi> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>t</mi> <mi>v</mi> </mrow> </msub> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>t</mi> <mi>v</mi> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>s</mi> <mi>y</mi> <mi>m</mi> </mrow> </msub> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>s</mi> <mi>y</mi> <mi>m</mi> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>g</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>g</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> </msub> <msub> <mi>L</mi> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> </msub> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中，每个模块的权重皆不相同，公式(10)设定了5个平衡因子来控制总体损失函数，用三步完成此端对端训练过程：
(1)λrec设置为0，λid设置为0.01；
(2)λtv、λsym、λgan初始值设置为1；
(3)通常在20个迭代次数内如果G和D的训练误差一旦破坏了原有的平衡，则改变λrec和λid为1，而λtv和λsym分别为0.5和0.8。
CN201710428491.3A 2017-06-08 2017-06-08 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 Withdrawn CN107239766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710428491.3A CN107239766A (zh) 2017-06-08 2017-06-08 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710428491.3A CN107239766A (zh) 2017-06-08 2017-06-08 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法

Publications (1)

Publication Number Publication Date
CN107239766A true CN107239766A (zh) 2017-10-10

Family

ID=59986204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710428491.3A Withdrawn CN107239766A (zh) 2017-06-08 2017-06-08 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法

Country Status (1)

Country Link
CN (1) CN107239766A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704848A (zh) * 2017-10-27 2018-02-16 深圳市唯特视科技有限公司 一种基于多约束条件卷积神经网络的密集人脸对齐方法
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN107993190A (zh) * 2017-11-14 2018-05-04 中国科学院自动化研究所 图像水印去除装置
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108346125A (zh) * 2018-03-15 2018-07-31 中山大学 一种基于生成对抗网络的空域图像隐写方法及系统
CN108444447A (zh) * 2018-02-28 2018-08-24 哈尔滨工程大学 一种用于水下避障系统中的渔网实时自主检测方法
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108460811A (zh) * 2018-03-09 2018-08-28 珠海方图智能科技有限公司 面部图像处理方法、装置及计算机设备
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN108510061A (zh) * 2018-03-19 2018-09-07 华南理工大学 基于条件生成对抗网络的多监控视频人脸合成正脸的方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109284738A (zh) * 2018-10-25 2019-01-29 上海交通大学 不规则人脸矫正方法和系统
CN109697389A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 身份识别方法与装置
CN109754416A (zh) * 2017-11-03 2019-05-14 富士通株式会社 图像处理装置和方法
CN109801228A (zh) * 2018-12-18 2019-05-24 合肥阿巴赛信息科技有限公司 一种基于深度学习的珠宝图片美化算法
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110119746A (zh) * 2019-05-08 2019-08-13 北京市商汤科技开发有限公司 一种特征识别方法及装置、计算机可读存储介质
CN110188667A (zh) * 2019-05-28 2019-08-30 复旦大学 一种基于三方对抗生成网络的人脸摆正方法
WO2019169594A1 (en) * 2018-03-08 2019-09-12 Intel Corporation Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN111161239A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111488810A (zh) * 2020-03-31 2020-08-04 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN111712832A (zh) * 2017-12-27 2020-09-25 脸谱公司 使用机器学习的自动图像校正
CN112541446A (zh) * 2020-12-17 2021-03-23 杭州海康威视数字技术股份有限公司 一种生物特征库更新方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XI YIN 等: "Towards Large-Pose Face Frontalization in the Wild", 《网页在线公开:,HTTPS://ARXIV.ORG/ABS/1704.06244》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697389B (zh) * 2017-10-23 2021-10-01 北京京东尚科信息技术有限公司 身份识别方法与装置
CN109697389A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 身份识别方法与装置
CN107704848A (zh) * 2017-10-27 2018-02-16 深圳市唯特视科技有限公司 一种基于多约束条件卷积神经网络的密集人脸对齐方法
CN109754416A (zh) * 2017-11-03 2019-05-14 富士通株式会社 图像处理装置和方法
CN109754416B (zh) * 2017-11-03 2023-08-04 富士通株式会社 图像处理装置和方法
CN107993190A (zh) * 2017-11-14 2018-05-04 中国科学院自动化研究所 图像水印去除装置
CN107993190B (zh) * 2017-11-14 2020-05-19 中国科学院自动化研究所 图像水印去除装置
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN107945282B (zh) * 2017-12-05 2021-01-29 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN108038823B (zh) * 2017-12-06 2021-07-09 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108038823A (zh) * 2017-12-06 2018-05-15 厦门美图之家科技有限公司 图像型变网络模型的训练方法、图像型变方法及计算设备
CN111712832A (zh) * 2017-12-27 2020-09-25 脸谱公司 使用机器学习的自动图像校正
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108495110B (zh) * 2018-01-19 2020-03-17 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN108444447A (zh) * 2018-02-28 2018-08-24 哈尔滨工程大学 一种用于水下避障系统中的渔网实时自主检测方法
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
US11508120B2 (en) 2018-03-08 2022-11-22 Intel Corporation Methods and apparatus to generate a three-dimensional (3D) model for 3D scene reconstruction
WO2019169594A1 (en) * 2018-03-08 2019-09-12 Intel Corporation Methods and apparatus to generate three-dimensional (3d) model for 3d scene reconstruction
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108460811B (zh) * 2018-03-09 2022-05-06 珠海方图智能科技有限公司 面部图像处理方法、装置及计算机设备
CN108537742B (zh) * 2018-03-09 2021-07-09 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108460811A (zh) * 2018-03-09 2018-08-28 珠海方图智能科技有限公司 面部图像处理方法、装置及计算机设备
CN108491775A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像修正方法及移动终端
CN108537743B (zh) * 2018-03-13 2022-05-20 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108346125A (zh) * 2018-03-15 2018-07-31 中山大学 一种基于生成对抗网络的空域图像隐写方法及系统
CN108510061A (zh) * 2018-03-19 2018-09-07 华南理工大学 基于条件生成对抗网络的多监控视频人脸合成正脸的方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109255831B (zh) * 2018-09-21 2020-06-12 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109284738B (zh) * 2018-10-25 2020-08-04 上海交通大学 不规则人脸矫正方法和系统
CN109284738A (zh) * 2018-10-25 2019-01-29 上海交通大学 不规则人脸矫正方法和系统
CN109801228A (zh) * 2018-12-18 2019-05-24 合肥阿巴赛信息科技有限公司 一种基于深度学习的珠宝图片美化算法
CN109815928B (zh) * 2019-01-31 2021-05-11 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN109815928A (zh) * 2019-01-31 2019-05-28 中国电子进出口有限公司 一种基于对抗学习的人脸图像合成方法和装置
CN110119746A (zh) * 2019-05-08 2019-08-13 北京市商汤科技开发有限公司 一种特征识别方法及装置、计算机可读存储介质
CN110188667B (zh) * 2019-05-28 2020-10-30 复旦大学 一种基于三方对抗生成网络的人脸摆正方法
CN110188667A (zh) * 2019-05-28 2019-08-30 复旦大学 一种基于三方对抗生成网络的人脸摆正方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN110543846B (zh) * 2019-08-29 2021-12-17 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN111161239A (zh) * 2019-12-27 2020-05-15 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111161239B (zh) * 2019-12-27 2024-02-27 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111488810A (zh) * 2020-03-31 2020-08-04 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN112541446A (zh) * 2020-12-17 2021-03-23 杭州海康威视数字技术股份有限公司 一种生物特征库更新方法、装置及电子设备
CN112541446B (zh) * 2020-12-17 2023-09-05 杭州海康威视数字技术股份有限公司 一种生物特征库更新方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107239766A (zh) 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法
Kumar et al. Detecting deepfakes with metric learning
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Jin et al. Generative adversarial network technologies and applications in computer vision
Zhao et al. Dynamic texture recognition using local binary patterns with an application to facial expressions
CN109886167A (zh) 一种遮挡人脸识别方法及装置
CN107704877A (zh) 一种基于深度学习的图像隐私感知方法
CN105574510A (zh) 一种步态识别方法及装置
CN110490128A (zh) 一种基于加密神经网络的手写识别方法
Li et al. Multiview-based 3-D action recognition using deep networks
Wan et al. Action recognition based on two-stream convolutional networks with long-short-term spatiotemporal features
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
Zhang et al. Double nuclear norm-based matrix decomposition for occluded image recovery and background modeling
CN110073369A (zh) 时间差分模型的无监督学习技术
Li et al. Facial action unit recognition under incomplete data based on multi-label learning with missing labels
Baek et al. Generative adversarial ensemble learning for face forensics
Gao et al. Automatic facial attractiveness prediction by deep multi-task learning
CN109190472A (zh) 基于图像与属性联合引导的行人属性识别方法
Mallet et al. Using deep learning to detecting deepfakes
CN109101925A (zh) 活体检测方法
Xia et al. Interaction behavior recognition from multiple views
Wang et al. Smart: Skeletal motion action recognition attack
Zhang et al. Scalable softmax loss for face verification
CN102945373A (zh) 基于上下文的局部空间信息建模方法
Gupta et al. G3an++ exploring wide gans with complementary feature learning for video generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171010

WW01 Invention patent application withdrawn after publication