CN111028354A - 一种基于图像序列的模型形变人脸三维重建方案 - Google Patents
一种基于图像序列的模型形变人脸三维重建方案 Download PDFInfo
- Publication number
- CN111028354A CN111028354A CN201811176325.XA CN201811176325A CN111028354A CN 111028354 A CN111028354 A CN 111028354A CN 201811176325 A CN201811176325 A CN 201811176325A CN 111028354 A CN111028354 A CN 111028354A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- model
- image
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本方案设计的人脸三维重建过程包括图像获取、人脸检测、人脸一般模型的建立、特征点提取、模型调整以及皮肤的纹理映射等。通过调用摄像头采集视频获取人脸图像序列,经过人脸检测,判断图像中是否包含单个人脸图像,若包括则提取人脸特征点,采用对标准模型形变的人脸三维重建的方法,并将序列图像后一帧对前一帧的PC A补偿量按其权系数不断融入PCA系数中,迭代更新二维人脸的PCA系数,结合摄像机的空间投影变换关系获得三维模型的形变系数以重建三维模型的形状和颜色。同时,将序列图像每一帧中人脸可见像素点的纹理坐标数据存储在Isomap特征矩阵中并按照其权重求和,根据二维与三维人脸特征点的对应关系并利用反向变换法完成皮肤的纹理映射。
Description
技术领域
本发明属于图像识别、三维建模领域,具体为一种基于图像序列的模型形变人脸三维重建的设计和实现方法。
背景技术
随着摄影、照相等相关硬件技术的不断发展,在电影、游戏、医疗等领域,三维技术得到了广泛的应用。相比二维图像,三维图像具有更多的空间信息且贴近人们的生活。近年来,在计算机视觉和图形学中,三维人脸建模的研究成为该领域的核心内容,在三维人脸动画与识别中起到了关键作用。在科学技术进步的不断促进下三维重建技术的水平也在不断地提高,并且融入在社会生产生活的多个方面,如虚拟现实等与计算机视觉和图形学相关的多个方面。应用在虚拟试衣、三维人脸识别和虚拟发型变换等方面的三维重建技术,以其“实时性”和“交互性”赢得了广泛关注。这其中非常关键的就是三维重建技术中的人脸三维重建,可以让人们在现实生活中体验越来越多的便利。
采用3D虚拟试衣技术的虚拟试衣镜能解决消费者在购买衣服时总是需要不停更换自己的衣服而导致费时费力的问题,能够帮助用户对衣服的上身效果有更好的体验;购物网站平台上的虚拟试衣软件解决了消费者逛街购物时路途遥远、精神疲惫以及时间不足等问题的同时,帮助消费者在不能真实试穿的情况下实现真实感试衣体验,避免收货时发现衣服尺寸不合身、样式不满意、颜色和材质与图片描述不符等情况的出现,使得其消费信心和意愿不断增强,同时可以提升卖家的信誉,避免物流等资源的浪费。在虚拟试衣技术中人脸三维重建技术是其中一部分。3D虚拟试衣不仅采集人体体型数据对人体进行三维建模,还需要对人脸进行三维重建,在试衣时,不仅能对挑选的衣服进行试穿,还可更改个人的发型、对各类帽子进行试戴等,而这需要人脸的三维重建技术。
3D虚拟发型变换能解决用户到理发店理发时不知自己选择何种发型的问题,用户可通过对自己重建的三维人脸试戴各种发型,体验效果,不满意随即更换,避免了理发后对自己发型不满意而短期内无法更改变换的困难;同时虚拟发型变换还可应用于视频聊天、网络游戏等多个方面。人脸三维重建是虚拟发型变换系统中重要的一部分。
发明内容
本发明内容是为了实现可移动、便携式的人脸三维重建系统的设计。例如在3D虚拟换衣、发型变换等系统中,以满足常规用户并没有人脸图像采集的特殊设备而只能调用手机摄像头或计算机网络摄像头的情况来获得人脸的图像信息以实现人脸的三维重建。
本发明以Windows为平台,采用VC++为开发环境,结合以机器视觉库OpenCV为主的图像处理工具,编写了人脸三维重建的应用程序,其功能模块包括图像获取、人脸检测、特征点提取、三维人脸重建等。
本发明提出了单目被动法对图像序列基于模型形变重建人脸三维的基本思路。提出采用Haar特征的Adaboost算法为本设计的人脸检测的核心算法,并且采用ASM算法对人脸特征点进行提取并对3DMM进行模型形变。提出了本设计的模型调整算法和本设计使用的纹理映射方法。
1、基于图像序列的模型形变的重建人脸三维重建基本思路:
(1)以改进的PCA算法重建三维人脸的形状和颜色。
(2)将二维人脸图像与形变模型面部对准,利用PCA算法提取二维人脸特征点的PCA特征向量。
(3)不断将序列图像中后一帧对前一帧人脸特征点的PCA特征补偿量按其所占权重融入到二维人脸的PCA系数中,经过不断地迭代优化并结合空间投影变换得到调整三维人脸模型的PCA形变系数以恢复人脸的三维形状与颜色。
2、本设计的模型调整方法主要包括以下三个过程:
(1)采用改进的PCA算法,利用PCA算法得到面部形状和颜色信息PCA系数。
(2)将图像序列中相邻帧人脸特征点PCA特征补偿量按其权系数不断优化二维人脸特征点的PCA系数。
(3)利用二维图像与三维人脸模型特征点的对应关系更新模型形变系数,以重建三维模型形状和颜色。
3、本设计使用的纹理映射方法:
(1)通过Isomap算法对获得的人脸纹理的坐标信息进行非线性降维与存储。
(2)将图像序列每一帧中可见人脸像素点的Isomap纹理特征值按照权重求和。
(3)利用加权平均Isomap算法不断优化人脸纹理数据,最终根据人脸二维图像的纹理信息与三维空间人脸纹理信息的对应关系,利用反向投影变换法完成皮肤的纹理映射。
附图说明
图1 普通人脸三维重建流程图。
图2 图像获取流程图。
图3 人脸检测流程图。
图4 基于图像序列的模型形变三维人脸重建流程图。
图5三维人脸纹理重建流程图。
具体实施方式
一种基于图像序列的模型形变人脸三维重建的设计与实现方法,其具体实现步骤如下:
1、打开计算机默认的网络摄像头采集视频信息。
2、 载入Adaboost人脸检测器,判断视频中是否包含单个人脸图像,若不含人脸图像则无显示,若含有单个人脸则进行后续的人脸三维重建,若含有两个以上人脸则仅对捕捉到的单个人脸进行三维重建,并保持对人脸的不断跟踪。当检测到的人脸宽度小于50像素时重新初始化人脸检测。
3、以ASM算法提取人脸的68个特征点。
4、训练三维人脸的一般模型,将采集到的二维人脸与三维人脸模型进行面部对准。
1)根据检测到人脸图像的大小调整人脸模型的大小。
2)根据当前特定姿势的人脸计算遮挡边界上的顶点,将两个相邻旋转网格的面法线符号翻转之处定义为人脸边界边缘,对于给定的每个2D图像的边缘点,搜索最接近的3D边缘顶点并投影到2D图像用于遮挡边缘拟合。
3)将可见人脸的轮廓特征点与形变模型的可见轮廓特征点对齐。
4)将检测到的人脸中线上的点X坐标统一为0,以鼻尖点为坐标原点,人脸左右半面上的点置为对称,建立坐标系,实现模型的整体调整。
5)利用跟踪器结合Kd树与KNN算法,对序列图像不断追踪和匹配人脸特征点。
5、依据二维图像人脸特征点与三维模型人脸特征的对应关系,将二维图像人脸特征点与三维模型人脸特征点的X、Y坐标进行匹配,通过人脸的姿态估计获得平移、缩放以欧拉角表示俯仰、偏航、滚转等旋转角度的各参数。
6、利用改进的PCA算法,提取二维人脸的PCA系数,通过图像序列不断补充相关信息,将后一帧对前一帧的PCA特征补偿量按其权系数不断融入到二维人脸特征点的PCA系数中,利用迭代优化的算法更新PCA系数。
7、根据空间变换关系形成人脸模型的空间三维点坐标。
8、依据Delaunay 三角剖分原则,实现空间三维点坐标的三维点云网格化。
9、利用Isomap算法对面部纹理信息进行非线性降维并将纹理坐标信息存储在Isomap矩阵中,将图像序列每一帧中可见人脸像素点的Isomap纹理特征值按照权重求和,通过加权平均Isomap算法的级联优化,并根据二维人脸图像点与重建三维点的对应关系及空间变换关系来实现纹理信息的映射。
利用渲染技术完成真实感人脸的三维重建。
Claims (7)
1.一种基于图像序列的模型形变人脸三维重建方案,其特征在于:图像获取、人脸检测、特征提取、人脸的一般模型的建立、人脸三维重建。
2.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案,其特征在于所述图像获取包括:
(1)图像的灰度变换:对人脸图像进行灰度变换的过程即将原始图像的像素颜色分量经灰度变换后,对像素点赋予相应其灰度值,实现图像的灰度变换;
(2)图像的尺度变换:采用具有时间复杂度低且有一定的低通滤波性的特点双线性插值算法,对图像进行尺度变换;
(3)图像的滤波:采用中值滤波的方法,过滤掉原始采集图像中噪声,且较好的保留图像的边缘信息。
3.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案,其特征在于所述人脸检测,本设计在采用Haar特征检测人脸的基础上,依据Adaboost算法实现人脸分类器的训练以检测人脸。
4.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案,其特征在于所述特征提取,为了提高特征点的检测效率,本设计对检测到的人脸图像提取特征点时采用ASM算法,通过建立全局形状模型和局部纹理模型,利用ASM算法对样本进行训练,首先对数据集进行标签的标定与建立,再进行模型的训练与数据的匹配。
6.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案,其特征在于所述人脸的一般模型的建立,在本设计中采用疏密程度为非均匀型的三角形网格模型进行人脸的三维重建,非均匀的疏密程度体现在:人脸曲率变化较大之处(如眼睛、鼻翼等区域)三角形顶点分布相对密集;在人脸曲率变化较小之处(如额头、脸颊等区域)三角形顶点分布稀疏。
7.根据权利要求1所述的一种基于图像序列的模型形变人脸三维重建方案,其特征在于所述人脸的三维重建是一种基于改进的PCA算法人脸的三维重建包括:
(1)模型调整:本设计采用基于模型形变的三维重建法,以改进的PCA算法重建三维人脸的形状和颜色,首先将二维人脸图像与形变模型面部对准,利用PCA算法提取二维人脸特征点的PCA特征向量,然后经过不断地迭代优化并结合空间投影变换得到调整三维人脸模型的PCA形变系数以恢复人脸的三维形状与颜色;(2)纹理映射:本设计采用等距映射Isomap算法对面部纹理信息进行非线性降维并将纹理坐标信息存储在Isomap矩阵中,通过加权平均Isomap算法进行级联优化不断叠加,最后根据二维人脸图像点与重建三维点的对应关系并利用空间变换法来实现纹理信息的映射。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811176325.XA CN111028354A (zh) | 2018-10-10 | 2018-10-10 | 一种基于图像序列的模型形变人脸三维重建方案 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811176325.XA CN111028354A (zh) | 2018-10-10 | 2018-10-10 | 一种基于图像序列的模型形变人脸三维重建方案 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111028354A true CN111028354A (zh) | 2020-04-17 |
Family
ID=70191739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811176325.XA Pending CN111028354A (zh) | 2018-10-10 | 2018-10-10 | 一种基于图像序列的模型形变人脸三维重建方案 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028354A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111957045A (zh) * | 2020-09-01 | 2020-11-20 | 网易(杭州)网络有限公司 | 地形形变方法、装置、设备及存储介质 |
CN112085850A (zh) * | 2020-09-10 | 2020-12-15 | 京东方科技集团股份有限公司 | 人脸重建方法及相关设备 |
CN112562090A (zh) * | 2020-11-30 | 2021-03-26 | 厦门美图之家科技有限公司 | 一种虚拟上妆方法、系统及设备 |
CN114187340A (zh) * | 2021-12-15 | 2022-03-15 | 广州光锥元信息科技有限公司 | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 |
CN114332315A (zh) * | 2021-12-07 | 2022-04-12 | 北京百度网讯科技有限公司 | 3d视频生成方法、模型的训练方法及装置 |
CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
CN116704622A (zh) * | 2023-06-09 | 2023-09-05 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663361A (zh) * | 2012-04-01 | 2012-09-12 | 北京工业大学 | 一种面向整体特征分析的人脸图像可逆几何归一化方法 |
US20120280974A1 (en) * | 2011-05-03 | 2012-11-08 | Microsoft Corporation | Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech |
CN104299264A (zh) * | 2014-09-30 | 2015-01-21 | 南京航空航天大学 | 一种基于边缘图的三维人脸重建方法及系统 |
CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
-
2018
- 2018-10-10 CN CN201811176325.XA patent/CN111028354A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120280974A1 (en) * | 2011-05-03 | 2012-11-08 | Microsoft Corporation | Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech |
CN102663361A (zh) * | 2012-04-01 | 2012-09-12 | 北京工业大学 | 一种面向整体特征分析的人脸图像可逆几何归一化方法 |
CN104299264A (zh) * | 2014-09-30 | 2015-01-21 | 南京航空航天大学 | 一种基于边缘图的三维人脸重建方法及系统 |
CN105427385A (zh) * | 2015-12-07 | 2016-03-23 | 华中科技大学 | 一种基于多层形变模型的高保真人脸三维重建方法 |
CN108510573A (zh) * | 2018-04-03 | 2018-09-07 | 南京大学 | 一种基于深度学习的多视点人脸三维模型重建的方法 |
Non-Patent Citations (5)
Title |
---|
CLAUDIO FERRARI 等: ""A Dictionary Learning-Based 3D Morphable Shape Model"", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
ZICHENG LIU 等: ""Rapid modeling of animated faces from video"", 《THE JOURNAL OF VISUALIZATION AND COMPUTER ANIMATION》 * |
张印: ""基于GPU的人脸检测和特征点定位研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
赵晓刚: ""特征点搜索与基于形变模型的三维人脸建模的研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
赵铭: ""机场安检人相识别系统的设计与实现"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111957045A (zh) * | 2020-09-01 | 2020-11-20 | 网易(杭州)网络有限公司 | 地形形变方法、装置、设备及存储介质 |
CN111957045B (zh) * | 2020-09-01 | 2021-06-04 | 网易(杭州)网络有限公司 | 地形形变方法、装置、设备及存储介质 |
CN112085850A (zh) * | 2020-09-10 | 2020-12-15 | 京东方科技集团股份有限公司 | 人脸重建方法及相关设备 |
CN112562090A (zh) * | 2020-11-30 | 2021-03-26 | 厦门美图之家科技有限公司 | 一种虚拟上妆方法、系统及设备 |
CN114332315A (zh) * | 2021-12-07 | 2022-04-12 | 北京百度网讯科技有限公司 | 3d视频生成方法、模型的训练方法及装置 |
CN114332315B (zh) * | 2021-12-07 | 2022-11-08 | 北京百度网讯科技有限公司 | 3d视频生成方法、模型的训练方法及装置 |
CN114187340A (zh) * | 2021-12-15 | 2022-03-15 | 广州光锥元信息科技有限公司 | 应用于图像视频人脸皮肤纹理质感增强的方法及装置 |
CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
CN114663199B (zh) * | 2022-05-17 | 2022-08-30 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
CN116704622A (zh) * | 2023-06-09 | 2023-09-05 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
CN116704622B (zh) * | 2023-06-09 | 2024-02-02 | 国网黑龙江省电力有限公司佳木斯供电公司 | 一种基于重建3d模型的智能机柜人脸识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028354A (zh) | 一种基于图像序列的模型形变人脸三维重建方案 | |
CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
CN108765550B (zh) | 一种基于单张图片的三维人脸重建方法 | |
CN110136243B (zh) | 一种三维人脸重建方法及其系统、装置、存储介质 | |
Hasler et al. | Multilinear pose and body shape estimation of dressed subjects from image sets | |
US9552668B2 (en) | Generation of a three-dimensional representation of a user | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
WO2022143645A1 (zh) | 三维人脸重建的方法、装置、设备和存储介质 | |
US20140043329A1 (en) | Method of augmented makeover with 3d face modeling and landmark alignment | |
CN110197462A (zh) | 一种人脸图像实时美化与纹理合成方法 | |
CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
CN114450719A (zh) | 人体模型重建方法、重建系统及存储介质 | |
CN111815768B (zh) | 三维人脸重建方法和装置 | |
KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
CN117157673A (zh) | 用于形成个性化的3d头部和面部模型的方法和系统 | |
Li et al. | Spa: Sparse photorealistic animation using a single rgb-d camera | |
Chen et al. | Monogaussianavatar: Monocular gaussian point-based head avatar | |
CN114429518A (zh) | 人脸模型重建方法、装置、设备和存储介质 | |
Wang et al. | Gaussianhead: Impressive head avatars with learnable gaussian diffusion | |
US20230126829A1 (en) | Point-based modeling of human clothing | |
Yang et al. | Human bas-relief generation from a single photograph | |
Starck et al. | Model-based human shape reconstruction from multiple views | |
CN109658326A (zh) | 一种图像显示方法及装置、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200417 |
|
WD01 | Invention patent application deemed withdrawn after publication |