CN106909904B - 一种基于可学习形变场的人脸正面化方法 - Google Patents

一种基于可学习形变场的人脸正面化方法 Download PDF

Info

Publication number
CN106909904B
CN106909904B CN201710120029.7A CN201710120029A CN106909904B CN 106909904 B CN106909904 B CN 106909904B CN 201710120029 A CN201710120029 A CN 201710120029A CN 106909904 B CN106909904 B CN 106909904B
Authority
CN
China
Prior art keywords
image
deformation field
model
training
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710120029.7A
Other languages
English (en)
Other versions
CN106909904A (zh
Inventor
胡蓝青
阚美娜
山世光
陈熙霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seetatech Beijing Technology Co ltd
Original Assignee
Seetatech Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seetatech Beijing Technology Co ltd filed Critical Seetatech Beijing Technology Co ltd
Priority to CN201710120029.7A priority Critical patent/CN106909904B/zh
Publication of CN106909904A publication Critical patent/CN106909904A/zh
Application granted granted Critical
Publication of CN106909904B publication Critical patent/CN106909904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于可学习形变场的人脸正面化方法，包括步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态；步骤2，由三维人脸模型大致计算出各个姿态之间图片像素点的位置对应关系，得到每两个角度图像之间的大致形变场；步骤3，将得到的形变场作为训练目标，得到模型参数W’；步骤4，通过使作用后的图像和目标图像尽量相像继续优化模型W’的参数。本发明不仅能得到既平滑又恢复出更多细节的重构正面图像，且训练比基于3D模型生成形变场的方法简单，耗时更少，能够恢复出保留更多个人特征的图像，对于识别更有帮助，特别是在大姿态角度的人脸上，识别率得到显著提升。

Description

一种基于可学习形变场的人脸正面化方法
技术领域
本发明涉及一种人脸正面化方法，尤其涉及一种基于可学习形变场的人脸正面化方法。
背景技术
随着计算机视觉技术的发展，人脸识别在家庭娱乐、安防系统、视频监控等领域得到广泛应用。通用的场景下人脸会呈现不同的姿态：正脸，侧脸。直接用正脸-侧脸对进行识别会增加难度，因为正脸侧脸之间的关系不是线性关系。为了借助更多信息进行识别，一般会采用先将需识别的图像校正到同一个姿态(通常恢复到准正面)，再进行识别的方法。
现有主要方法有基于3D模型生成形变场的方法和基于2D图像进行图像回归重构的方法。其中，基于3D模型生成形变场的方法主要根据人脸的3D模型对各个人脸姿态建模，计算出不同姿态图像之间的像素点位移关系，即形变场，再将该形变场作用于2D的图像，得到正面化的人脸图像。基于2D图像进行图像回归重构的方法则是直接将2D的正面人脸图像作为目标进行优化，得到重构出的正面化图像；
基于3D形变场的方法，虽然保留了更多原图像的信息，但是恢复不出被遮挡部分的像素值，虽然可以用加权平均脸进行填补，但还原效果不够好也不够平滑；基于2D图像进行图像回归重构的方法，虽然能够恢复整张图像也会较为平滑，但是会丢掉更多原图像的细节。
发明内容
为了解决上述问题中的不足之处，本发明提供了一种基于可学习形变场的人脸正面化方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于可学习形变场的人脸正面化方法，包括以下步骤：
步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态；
步骤2，由三维人脸模型大致计算出各个姿态之间图片像素点的位置对应关系，根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的大致形变场，由于侧面角度的图像不可避免的会有遮挡部分，可以用侧面图像上的已知的部分进行填补；
步骤3，将在步骤2中得到的形变场作为步骤3的训练目标，由于训练输入图像的姿态和目标图像的姿态都是已知的，就可以将两个姿态之间的形变场作为目标对模型进行预训练，得到模型参数W’；
步骤4，将W’作为步骤4的模型参数的初始化值，将目标图像的形变场作为训练目标，该步骤将A输出出来的形变场作用在输入图像上，从而得到一张特定姿态的图像，通过使作用后的图像和目标图像尽量相像继续优化模型的参数，以此将步骤3得到的模型参数W’进一步优化。
在步骤1中，将MultiPIE数据集作为训练/测试集。
在步骤2中，将人脸姿态角度分为-90度到90度之间的每15度，然后根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的大致形变场。
本发明不仅能得到既平滑又恢复出更多细节的重构正面图像，且训练比基于3D模型生成形变场的方法简单，耗时更少，能够恢复出保留更多个人特征的图像，对于识别更有帮助，特别是在大姿态角度的人脸上，识别率得到显著提升。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施流程图。
具体实施方式
如图1所示，本发明具体包括以下步骤：
步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态，这样在通过训练正面化网络的时候就可以有对应姿态的图像作为目标进行训练；
步骤2，由三维人脸模型大致计算出各个姿态之间图片像素点的位置对应关系(形变场)，根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的大致形变场；由于侧面角度的图像不可避免的会有遮挡部分，可以用侧面图像上的已知的部分进行填补；例如：以恢复到0度为例，0度图像上不能从侧面图像上得到的像素点，就用在0度图像上的对称点(已经由侧面图像像素点移动得到)进行填补，对应的位移场也由此算得；
步骤3，将在步骤2中得到的形变场作为步骤3的训练目标，由于我们选择的训练输入图像的姿态和目标图像的姿态都是已知的，就可以将两个姿态之间的形变场作为目标对模型进行预训练，得到模型参数W’；
步骤4，将W’作为步骤4的模型参数的初始化值，将目标图像而非上个关键点提到的形变场作为训练目标，该步骤将A输出出来的形变场作用在输入图像上，从而得到一张特定姿态的图像，通过使作用后的图像和目标图像尽量相像继续优化模型参数W’。
本发明以MultiPIE为例，(1)将MultiPIE数据集作为训练/测试集。
MultiPIE数据集包含光照，姿态，表情的变化。我们的实验选择平和表情和正面光照加上姿态变化的图片，选择一部分人的图片用来训练得到形变场的网络参数，剩下的人作为测试集，用来测试生成形变场的模型。
(2)通过一个深度网络结构得到一个输入图像的形变场，将该形变场作用于输入图像得到生成图像，通过最小化生成图像与真实图像的差距，指导深度网络调整参数，学习到更好的形变场。
上述步骤是用三维模型计算每两个角度之间的形变场。我们的实验将人脸姿态角度分为-90度到90度之间的每15度。根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，可以得到每两个角度图像之间的大致形变场。而侧面角度的图像不可避免的会有遮挡部分，可以用侧面图像上的已知的部分进行填补，以恢复到0度为例，0度图像上不能从侧面图像上得到的像素点，就用在0度图像上的对称点(已经由侧面图像像素点移动得到)进行填补，对应的位移长度也由此算得。
(3)以形变场作为目标优化网络参数W’，由于输入图像的角度为已知，我们希望得到能让正面化效果更好的模型参数W’，可以从三维模型计算得到各个角度之间变化的形变场，然后根据输入图像的已知角度，把该角度到目标角度(一个模型只能有一种目标角度)的形变场作为目标进行优化，在不断训练优化过程中，训练出能让模型输出更接近实际形变场的参数W’。
(4)为用第二个步骤中的W’继续训练，而此时的目标变为输入图像对应的指定角度图像(本文示例为0度图像)。进一步调整第二个步骤的参数W’，使它能够得到更加精确的形变场来生成质量较高的目标图像。
本发明各个步骤都属于端到端训练(整个过程一气呵成，不用拼接几个部分，直接能由一个模型完成输入到输出的变化)的一部分，网络结构包括但不限于MLP(例如多层感知机)，训练方法包括但不限于神经网络的一般优化方法(例如梯度下降)，网络作用包括但不限于只由侧面姿态变化到正面姿态。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (4)

1.一种基于可学习形变场的人脸正面化方法，其特征在于，包括以下步骤：
步骤1，获取一批带有姿态标注的图片数据集作为训练/测试集，每个人的图像都包含有各个姿态；
步骤2，由三维人脸模型计算出各个姿态之间图片像素点的位置对应关系，根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的形变场；
步骤3，将在步骤2中得到的形变场作为步骤3的训练目标，由于训练输入图像的姿态和目标图像的姿态都是已知的，就将两个姿态之间的形变场作为目标对模型进行预训练，得到模型参数W’；
步骤4，将W’作为步骤4的模型参数的初始化值，将目标图像的形变场作为训练目标，该步骤将W’输出出来的形变场作用在输入图像上，从而得到一张特定姿态的图像，通过使作用后的图像和目标图像尽量相像继续优化模型参数W’。
2.根据权利要求1所述的基于可学习形变场的人脸正面化方法，其特征在于：所述步骤2中，由于侧面角度的图像不可避免的会有遮挡部分，用侧面图像上的已知的部分进行填补。
3.根据权利要求1所述的基于可学习形变场的人脸正面化方法，其特征在于：所述步骤1中，将MultiPIE数据集作为训练/测试集。
4.根据权利要求1所述的基于可学习形变场的人脸正面化方法，其特征在于：所述步骤2中，将人脸姿态角度分为-90度到90度之间的每15度，然后根据三维模型在二维平面上的投影图像以及计算像素点的对应位移，得到每两个角度图像之间的形变场。
CN201710120029.7A 2017-03-02 2017-03-02 一种基于可学习形变场的人脸正面化方法 Active CN106909904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710120029.7A CN106909904B (zh) 2017-03-02 2017-03-02 一种基于可学习形变场的人脸正面化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710120029.7A CN106909904B (zh) 2017-03-02 2017-03-02 一种基于可学习形变场的人脸正面化方法

Publications (2)

Publication Number Publication Date
CN106909904A CN106909904A (zh) 2017-06-30
CN106909904B true CN106909904B (zh) 2020-06-02

Family

ID=59186710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710120029.7A Active CN106909904B (zh) 2017-03-02 2017-03-02 一种基于可学习形变场的人脸正面化方法

Country Status (1)

Country Link
CN (1) CN106909904B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697389B (zh) * 2017-10-23 2021-10-01 北京京东尚科信息技术有限公司 身份识别方法与装置
CN111046707A (zh) * 2018-10-15 2020-04-21 天津大学青岛海洋技术研究院 一种基于面部特征的任意姿态正脸还原网络
CN111368608B (zh) * 2018-12-26 2023-10-13 杭州海康威视数字技术股份有限公司 一种人脸识别方法、装置及系统
CN111275635B (zh) * 2020-01-13 2024-03-08 东软医疗系统股份有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN102103689A (zh) * 2011-03-07 2011-06-22 北京大学 基于正脸图像合成的人脸识别方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN106096560A (zh) * 2016-06-15 2016-11-09 广州尚云在线科技有限公司 一种人脸对齐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763503A (zh) * 2009-12-30 2010-06-30 中国科学院计算技术研究所 一种姿态鲁棒的人脸识别方法
CN102103689A (zh) * 2011-03-07 2011-06-22 北京大学 基于正脸图像合成的人脸识别方法
CN104036546A (zh) * 2014-06-30 2014-09-10 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN106096560A (zh) * 2016-06-15 2016-11-09 广州尚云在线科技有限公司 一种人脸对齐方法

Also Published As

Publication number Publication date
CN106909904A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US11747898B2 (en) Method and apparatus with gaze estimation
CN110807364B (zh) 三维人脸与眼球运动的建模与捕获方法及系统
US9361723B2 (en) Method for real-time face animation based on single video camera
US11399141B2 (en) Processing holographic videos
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
KR101547780B1 (ko) 이미지 모델 구축 방법 및 장치
WO2022001236A1 (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
JP2023548921A (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN111951372A (zh) 一种三维人脸模型的生成方法和设备
CN113538682B (zh) 模型训练、头部重建方法、电子设备及存储介质
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及系统
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
CN107886568B (zh) 一种利用3D Avatar重建人脸表情的方法及系统
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
US20240078773A1 (en) Electronic device generating 3d model of human and its operation method
CN111582120A (zh) 用于捕捉眼球活动特征的方法、终端设备
CN115082537A (zh) 单目自监督水下图像深度估计方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant