CN112802031A - 一种基于三维人头跟踪的实时虚拟试发方法 - Google Patents

一种基于三维人头跟踪的实时虚拟试发方法 Download PDF

Info

Publication number
CN112802031A
CN112802031A CN202110010852.9A CN202110010852A CN112802031A CN 112802031 A CN112802031 A CN 112802031A CN 202110010852 A CN202110010852 A CN 202110010852A CN 112802031 A CN112802031 A CN 112802031A
Authority
CN
China
Prior art keywords
dimensional
human head
ear
neck
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110010852.9A
Other languages
English (en)
Other versions
CN112802031B (zh
Inventor
赵叶清
杨柏林
杨文武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202110010852.9A priority Critical patent/CN112802031B/zh
Publication of CN112802031A publication Critical patent/CN112802031A/zh
Application granted granted Critical
Publication of CN112802031B publication Critical patent/CN112802031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于三维人头跟踪的实时虚拟试发方法。本发明首先训练耳朵和脖子分割器；然后训练三维人头重建模型，其中包括构建三维人头重建模型，使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数，最后虚拟试戴。本发明在三维空间内将发型佩戴到受试者的人头上，使得试戴的效果更加逼真，大大地提升了用户的体验感，并且为个性化形象设计，在线商城等提供技术支持。

Description

一种基于三维人头跟踪的实时虚拟试发方法
技术领域
本发明属于增加现实领域，具体涉及一种基于三维人头跟踪的实时虚拟试发方法。
背景技术
头发作为个人形象的一个重要特征，在如今追求个性化的时代越来越受到人们的重视，拥有一个能提升自身形象的发型已经成为人们日常生活工作中的一部分。如果去理发店通过跟理发师口头描述自己想要发型或者选择发型手册中的一款发型来进行理发的话，往往会出现修剪后的发型并不适合自己的结果并且一般该结果都难以改变。这时候如果可以在还未理发前就能试验一下选择的发型是否适合自己，结果就未必会如此糟糕。但是如果是通过佩戴假发来模拟修建发型后的效果，仅仅是为每个发型准备一个可试戴的假发就会导致成本十分高，而且佩戴假发这一过程十分费时费力。相对来说，如果能够进行虚拟试发的话，成本将会更低，并且更加便捷，适用的范围也更加的广泛，可用于个性化形象设计、在线商城试戴等领域。
目前市场上存在的虚拟试发系统都是基于二维图片的，即用户输入一张人脸照片并且选择一个特定的发型，系统则会自动把选择的发型佩戴在输入的照片中的人脸头部上。然而该类系统会出现如下几个主要缺点：(1)相对于正面角度，若用户输入侧面角度的相片，佩戴结果较差，选择的发型并不会根据人脸旋转的角度来进行对应的变化。(2)用户若想要观察不同角度的试发效果，需要重复提供不同角度的相片，操作过程较为繁琐。
发明内容
本发明针对现有技术的不足，提供了一种基于三维跟踪的实时虚拟试发方法。用户可以输入一段试发视频并且选择像想要试戴的发型，该技术会自动将选择的发型对应地三维虚拟头发佩戴到输入的视频帧中的用户人头上，并进行增强现实绘制，使得用户可以实时地观看到虚实结合的试发效果。
本发明解决其技术问题所采用的技术方案步骤如下：
步骤1、训练耳朵和脖子分割器
(1-1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；
(1-2)使用人脸图片数据库来训练实例分割模型，得到耳朵脖子分割器。
步骤2、训练三维人头重建模型
(2-1)构建三维人头重建模型，所述的三维人头重建模型包括特征提取网络，参数回归网络和FLAME解码网络；
所述特征提取网络用于提取人脸输入图片的2048维的特征向量；
所述参数回归网络的输入为特征提取网络提取的特征向量，输出为159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数；
将获得的姿态参数、形状参数和表情参数作为FLAME解码网络的输入，得到与人脸输入图片中人脸对应的三维人头；
(2-2)使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数。
步骤3、虚拟试戴
(3-1)准备三维头发模型；
(3-2)通过三维人头重建模型构建试戴者的三维人头；
(3-3)将三维头发模型佩戴到试戴者的三维人头上并进行增强现实绘制。
本发明的有益效果：针对现有的虚拟试发软件一般在二维空间进行最终试戴效果处理，本发明在三维空间内将发型佩戴到受试者的人头上，使得试戴的效果更加逼真，大大地提升了用户的体验感，并且为个性化形象设计，在线商城等提供技术支持。
附图说明
图1是本发明的流程图；
图2是本发明三维人头重建模型的结构示意图。
具体实施方式
本发明包括以下三部分
第一部分：训练耳朵和脖子分割器
(1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；
(2)使用上述数据集来训练实例分割模型，得到耳朵脖子分割器。
第二部分：训练三维人头重建模型
(1)构建三维人头重建模型；
(2)使用训练集对三维人头重建模型进行训练，得到最优的网络模型参数。
第三部分：虚拟试戴
(1)准备三维头发模型；
(2)通过三维人头重建模型构建试戴者的三维人头；
(3)将三维头发模型佩戴到试戴者的三维人头上并进行增强现实绘。
本发明的总体流程如图1所示。
进一步地，所述第一部分(1)中使用公开的数据库CelebAMask-HQ。该数据库有三万张人脸图片，并提供耳朵掩膜和脖子掩膜。第一部分(2)中使用Mask-RCNN模型来训练耳朵和脖子分割器，因其只需检测和分割耳朵和脖子这两个类别，因此对训练过程进行了相应的修改，最终得到耳朵脖子分割器，可以对输入的人脸图片中的耳朵和脖子进行实例分割。
进一步地，所述第二部分(1)中构建的三维人头重建模型，其结构如图2所示，包含三个子网络模块，分别为特征提取网络，参数回归网络，FLAME解码网络。
三维人头重建模型以一张人脸图片为输入，经过特征提取网络获得一个2048维的特征向量。将其输入参数回归网络得到一个159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数。将获得姿态参数、形状参数和表情参数作为输入至FLAME解码网络可得到与输入的图片中人脸对应的三维人头。特征提取网络为ResNet-50，参数回归网络由2个尺寸为512的全连接层和1个尺寸为159的线性全连接层组成。
进一步地，所述第二部分(2)中为了训练三维人头重建模型，提出关键点损失函数。希望生成的三维人头上的三维关键点投影到二维图片上后，能与输入的人脸图片上的二维关键点尽可能接近，其关键点损失函数如下：
Figure BDA0002885064620000041
其中ki为由二维人脸关键点检测器检测出的人脸关键点的位置，wi为由二维人脸关键点检测器提供的该关键点的置信度，
Figure BDA0002885064620000042
为重建的三维人头上的三维关键点投影到二维图片空间的位置。
根据每个人的脸部形状都是独一无二的(除了同卵双胞胎)以及一个人的脸部形状不会随着周围的环境发生改变，提出形状一致损失函数来使三维人头重建模型能够更精准地预测出形状参数，其定义如下：
Figure BDA0002885064620000043
其中βi和βj为一个人在不同环境下的图片通过三维人头重建模型预测出来的形状参数,βi和βk为不同人的图片通过三维人头重建模型预测出来的形状参数，η为自定义的阈值。
根据耳朵在运动时几乎不会发生非刚性运动，提出耳朵形状一致损失函数来使三维人头重建模型能够更精准地预测出表情参数(由非刚性运动导致)和姿态参数(由刚性运动导致)，其定义如下：
Lear＝‖M′ear-Mear‖2
其中Mear为由第一部分(2)中耳朵和脖子分割器分割出来的耳朵区域，M′ear为重建的三维人头上的耳朵投影到二维图片的区域。
根据脖子在人头发生全局旋转(整个身体转动)和人头发生局部旋转(由脖子转动引起)变化不同，提出脖子形状一致损失函数来使三维人头重建模型能更准确地预测出姿态参数中的全局旋转和局部旋转，其定义如下：
Lneck＝‖M′neck-Mneck‖2
其中Mneck为由第一部分(2)中耳朵和脖子分割器分割出来的脖子区域，M′neck为重建的三维人头上的脖子投影到二维图片的区域。
通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数。
进一步地，所述第三部分(1)收集了大约20个不同的三维头发模型。所述第三部分(2)在FLAME平均模型上选取四个点p(左右耳朵和左右前额处)。对于任一人脸视频帧，可获得通过第二部分提出的三维人头重建模型生成的三维人头模型上对应的四个点q位置。通过求得一个最优的相似变化矩阵Ts：
Figure BDA0002885064620000051
将Ts作用到三维头发模型上，即将三维头发模型佩戴到输入的视频帧中用户的三维人头上。在绘制时，只绘制未被三维人头遮挡的三维头发模型并把绘制结果直接叠加在当前视频帧上。
本发明实施方案已公开如上，该描述是为便于本技术领域的普通技术人员能够理解和应用本发明。对于熟悉本领域的人员而言，可以容易地实现另外的修改，因此本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (5)

1.一种基于三维人头跟踪的实时虚拟试发方法，其特征在于该方法包括以下步骤：
步骤1、训练耳朵和脖子分割器
(1-1)准备带有耳朵掩膜和脖子掩膜的人脸图片数据库；
(1-2)使用人脸图片数据库来训练实例分割模型，得到耳朵脖子分割器；
步骤2、训练三维人头重建模型
(2-1)构建三维人头重建模型，所述的三维人头重建模型包括特征提取网络，参数回归网络和FLAME解码网络；
所述特征提取网络用于提取人脸输入图片的2048维的特征向量；
所述参数回归网络的输入为特征提取网络提取的特征向量，输出为159维的参数向量，其中前3维为相机参数，接下来6维为姿态参数，接下来100维为形状参数，余下50维为表情参数；
将获得的姿态参数、形状参数和表情参数作为FLAME解码网络的输入，得到与人脸输入图片中人脸对应的三维人头；
(2-2)使用训练集对三维人头重建模型进行训练，通过最小化关键点损失函数、形状一致损失函数、耳朵形状一致损失函数和脖子形状一致损失函数来得到最优的网络模型参数；
关键点损失函数如下：
Figure FDA0002885064610000011
其中ki为由二维人脸关键点检测器检测出的人脸关键点的位置，wi为由二维人脸关键点检测器提供的人脸关键点的置信度，
Figure FDA0002885064610000021
为重建的三维人头上的三维关键点投影到二维图片空间的位置；
形状一致损失函数如下：
Figure FDA0002885064610000022
其中βi和βj为一个人在不同环境下的图片通过三维人头重建模型预测出来的形状参数，βi和βk为不同人的图片通过三维人头重建模型预测出来的形状参数，η为自定义的阈值；
耳朵形状一致损失函数如下：
Lear＝‖M′ear-Mear‖2
其中Mear为耳朵和脖子分割器分割出来的耳朵区域，M′ear为重建的三维人头上的耳朵投影到二维图片的区域；
脖子形状一致损失函数如下：
Lneck＝‖M′neck-Mneck‖2
其中Mneck为耳朵和脖子分割器分割出来的脖子区域，M′neck为重建的三维人头上的脖子投影到二维图片的区域；
步骤3、虚拟试戴
(3-1)准备三维头发模型；
(3-2)通过三维人头重建模型构建试戴者的三维人头；
(3-3)将三维头发模型佩戴到试戴者的三维人头上并进行增强现实绘制。
2.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤1中所述的人脸图片数据库采用公开的数据库CelebAMask-HQ。
3.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤1中所述的耳朵脖子分割器由Mask-RCNN模型训练得到。
4.根据权利要求1所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：步骤3具体是：
收集18-22个不同的三维头发模型，在FLAME平均模型上选取四个点p，分别为左耳朵、右耳朵、左前额处和右前额处；
对于任一人脸视频帧，获得通过三维人头重建模型生成的三维人头模型上对应的四个点q位置，求得一个最优的相似变化矩阵Ts：
Figure FDA0002885064610000031
将相似变化矩阵Ts作用到三维头发模型上，即将三维头发模型佩戴到输入的视频帧中用户的三维人头上。
5.根据权利要求3所述的一种基于三维人头跟踪的实时虚拟试发方法，其特征在于：在绘制时，只绘制未被三维人头遮挡的三维头发模型并把绘制结果直接叠加在当前视频帧上。
CN202110010852.9A 2021-01-06 2021-01-06 一种基于三维人头跟踪的实时虚拟试发方法 Active CN112802031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110010852.9A CN112802031B (zh) 2021-01-06 2021-01-06 一种基于三维人头跟踪的实时虚拟试发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110010852.9A CN112802031B (zh) 2021-01-06 2021-01-06 一种基于三维人头跟踪的实时虚拟试发方法

Publications (2)

Publication Number Publication Date
CN112802031A true CN112802031A (zh) 2021-05-14
CN112802031B CN112802031B (zh) 2023-05-05

Family

ID=75808374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110010852.9A Active CN112802031B (zh) 2021-01-06 2021-01-06 一种基于三维人头跟踪的实时虚拟试发方法

Country Status (1)

Country Link
CN (1) CN112802031B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821737A (zh) * 2022-05-13 2022-07-29 浙江工商大学 一种基于三维人脸对齐的移动端实时假发试戴方法
CN116630350A (zh) * 2023-07-26 2023-08-22 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
US20170273639A1 (en) * 2014-12-05 2017-09-28 Myfiziq Limited Imaging a Body
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
US20170273639A1 (en) * 2014-12-05 2017-09-28 Myfiziq Limited Imaging a Body
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹晓;陈正鸣;朱红强;童晶;: "基于移动平台的三维虚拟试发型系统实现及应用" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821737A (zh) * 2022-05-13 2022-07-29 浙江工商大学 一种基于三维人脸对齐的移动端实时假发试戴方法
CN116630350A (zh) * 2023-07-26 2023-08-22 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统
CN116630350B (zh) * 2023-07-26 2023-10-03 瑞茜时尚(深圳)有限公司 假发佩戴监测管理方法及系统

Also Published As

Publication number Publication date
CN112802031B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Guo et al. Ad-nerf: Audio driven neural radiance fields for talking head synthesis
US11010896B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
US11861936B2 (en) Face reenactment
CN114663199B (zh) 一种动态展示的实时三维虚拟试衣系统及方法
US10945514B2 (en) Information processing apparatus, information processing method, and computer-readable storage medium
Bao et al. High-fidelity 3d digital human head creation from rgb-d selfies
KR101635730B1 (ko) 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
Wang et al. High resolution acquisition, learning and transfer of dynamic 3‐D facial expressions
US20190035149A1 (en) Methods of generating personalized 3d head models or 3d body models
US20200234482A1 (en) Systems and methods for photorealistic real-time portrait animation
JP2004094917A (ja) 仮想化粧装置及びその方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN109448083A (zh) 一种从单幅图像生成人脸动画的方法
TW202109359A (zh) 人臉圖像處理方法、圖像設備及儲存介質
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
US11798299B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
CN112802031A (zh) 一种基于三维人头跟踪的实时虚拟试发方法
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN111815768B (zh) 三维人脸重建方法和装置
CN110458121B (zh) 一种人脸图像生成的方法及装置
CN111028354A (zh) 一种基于图像序列的模型形变人脸三维重建方案
WO2015172229A1 (en) Virtual mirror systems and methods
Basak et al. Methodology for building synthetic datasets with virtual humans
Li et al. Computer-aided 3D human modeling for portrait-based product development using point-and curve-based deformation
Mena-Chalco et al. 3D human face reconstruction using principal components spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant