CN115471611A - 一种提升3dmm人脸模型视觉效果的方法 - Google Patents

一种提升3dmm人脸模型视觉效果的方法 Download PDF

Info

Publication number
CN115471611A
CN115471611A CN202211170377.2A CN202211170377A CN115471611A CN 115471611 A CN115471611 A CN 115471611A CN 202211170377 A CN202211170377 A CN 202211170377A CN 115471611 A CN115471611 A CN 115471611A
Authority
CN
China
Prior art keywords
face
model
coefficient
picture
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211170377.2A
Other languages
English (en)
Inventor
潘志庚
方林
黄盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202211170377.2A priority Critical patent/CN115471611A/zh
Publication of CN115471611A publication Critical patent/CN115471611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提升3DMM人脸模型视觉效果的方法。现有方法忽视了人脸模型在人眼视觉感官上的保真，所设计出来的模型和方法与人的主观感受不匹配。本发明方法首先对人脸数据集合进行预处理和图像归一化处理，通过神经网络输出3DMM重建系数和辐射补偿系数，通过巴塞尔模型解码出个性化人脸模型，将个性化人脸模型的纹理向量与辐射补偿系数进行融合，计算损失函数，约束网络学习方向，优化人脸模型视觉效果。本发明方法在原有基础上增加的辐射强度补偿模块和纹理的损失函数，以改善重建后人脸模型的纹理空间范围。本发明方法能有效改善3DMM参数化人脸模型的表现力不足问题，提升模型的在人眼感官下的视觉表现效果。

Description

一种提升3DMM人脸模型视觉效果的方法
技术领域
本发明属于计算机技术领域，尤其是计算机视觉、三维人脸重建领域，具体涉及一种提升3DMM人脸模型视觉效果的方法。
背景技术
三维人脸几何和纹理的重建一直是计算机视觉和图形学一项重要的任务。在虚拟现实、文化领域、和社交媒体上都有诸多应用，例如虚拟导游，直播等。以上任务场景，对于人脸重建要求主要满足人眼视觉感官上相似性。由于人眼感官的特殊性，无法感知到毫米距离误差，但是对于颜色信息却十分敏感，也就是人脸上的纹理信息。然而过去的方法和研究一直以提升人脸重建精度为工作方向，忽视了人脸模型在人眼视觉感官上的保真，所设计出来的模型和方法与人的主观感受不匹配。
三维形变模型(3DMM)是存在明确线型关系的三维人脸形状和纹理的通用人脸统计模型，其被广泛运用于多个方面，例如人脸重建，人脸配准，人脸识别等领域。该模型的优点是拥有强大的先验知识，通过输入不通参数可以重建出同一客体不同表达，同时将复杂人脸重建的问题，优化为单张人脸是由多张人脸特征线型叠加的结果。
3DMM参数化人脸模型是通过联合采集的三维人脸扫描和2D图像的训练集进行降为学习而来。为了获得高精度的三维人脸模型，通常需要大量高质量的3D人脸扫描结果。然后大量的3D人脸扫描结果获取是困难的。模型初期是由200名具有相似种族/年龄的受试者进行扫描建立的，其只包含中性的表情，在重建某些表情下人脸容易崩溃。目前广泛使用的巴塞尔人脸模型(BFM)也是建立在200名受试者中性表情下，其模型后期工作改善了表情缺乏的情况，利用公开的数据集FaceWarehouse和BD-3FE表情库来构建表情的线型基，大大改善了重建出来的三维人脸的表情表现。
参数化人脸模型利用神经网络，增加约束、掩模，限制网络对图片学习区域，提高模型的精度和模型的泛化能力，成功构建与目标人脸相似的人脸模型。具有代表性的方法是使用3DMM模型，通过选择合适的损失函数方式，来约束网络的学习，端到端的构建出精细的人脸模型。但3DMM人脸模型的纹理和形状受限于PCA方法学习的线性基所能表达的空间，其低维表示方法，使模型纹理在高频细节上表现不佳。由于三维人脸扫描难以获取，为了获取更精细三维人脸部分学者提出使用UV空间作为人脸纹理的表征方式，UV空间没有人脸拓扑结构先验知识，无法准确的估计面部遮挡的人脸UV图，同时还需要额外构建编码解码网络进行映射的构建，结构复杂，鲁棒性差。此外，神经辐射场方法最近也被学者们广受关注，其重建效果能令人惊叹，但是其需要空间坐标和相机参数作为输入，管道复杂，最终模型的渲染结果严重依赖训练集，训练时间长，泛化性能差。
发明内容
本发明的目的是针对现有技术的不足，提供一种提升3DMM人脸模型视觉效果的方法，在使用3DMM参数化模型作为人脸生成工具时，提升最终人脸模型的视觉表现效果，以解决参数化模型表现力不足的问题。
本发明方法具体如下：
步骤(1)对人脸数据集合进行预处理，包括：
利用MTCNN人脸检测模块对人脸数据集合中的每张初始人脸图片提取5个人脸关键点；
将每张初始人脸图片根据对应的5个人脸关键点裁剪出224×224大小的人脸图片；
裁剪后的人脸图片利用预训练好的人脸检测模型检测出68个人脸关键点；
利用OpenCV内置的Prewitt算子提取出裁剪后的每张人脸图片的高频信息图Tex；进一步，具体是：根据提取横向信息和纵向信息的总和P(i,j)判定像素点(i,j)是否为边缘，如果P(i,j)大于设定阈值，表示该像素点为边缘像素点，保留边缘像素点，其他像素点滤除，得到高频信息图Tex；P(i,j)＝G(i)+G(j)；G(i)和G(j)分别表示横向边缘信息提取的数值和纵向边缘信息提取的数值；
G(i)＝|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)]|，
G(j)＝|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)]|；
f(i,j)表示像素点(i,j)像素值；
使用贝叶斯选择器对每张人脸图片逐像素进行人脸皮肤判断，得到人脸面部掩模M；进一步，人脸面部掩模M中第n个像素判断为皮肤的概率值
Figure BDA0003859175320000021
Pn表示贝叶斯选择器对人脸图片第n个像素判断为皮肤的概率，n＝1,2,…,N，N为人脸图片像素点数量。
步骤(2)图像归一化处理：将每张裁剪后的人脸图片I的三通道像素值范围由0～255区间压缩到0～1区间，将对应的高频信息图Tex的单通道像素值范围由0～255区间压缩到0～1区间。
步骤(3)将归一化处理后的人脸图片输入ResNet50神经网络，输出两组系数，分别为3DMM重建系数
Figure BDA0003859175320000031
和辐射补偿系数
Figure BDA0003859175320000032
其中，(α,β,γ)为3DMM参数化模型系数，
Figure BDA0003859175320000033
为光照系数，
Figure BDA0003859175320000034
为姿态系数，
Figure BDA0003859175320000035
表示实数域，239为总系数量，3×36×103为3DMM参数化模型解析出来的纹理向量的维度。两组系数回归使用同一个基础网络，最后使用两个不同全连接层进行系数回归。
进一步，所述的姿态系数P由旋转系数和平移系数组成，旋转系数R∈SO(3)，SO(3)表示三阶旋转矩阵，平移系数
Figure BDA0003859175320000036
步骤(4)将回归的3DMM参数化模型系数(α,β,γ)输入到巴塞尔模型中进行解析，解码出低维度的个性化人脸模型，包含形状向量S和纹理向量T。
进一步，
Figure BDA0003859175320000037
Figure BDA0003859175320000038
和
Figure BDA0003859175320000039
为巴塞尔模型得出的平均人脸几何和平均人脸纹理，Bid、Bexp和Bt为巴塞尔模型对身份、表情和纹理信息提取出来的主成分。
步骤(5)将低维度的个性化人脸模型的纹理向量T与辐射补偿系数
Figure BDA00038591753200000310
进行融合，纹理向量T＝(R′1,G′1,B′1,R′2,G′2,B′2,…,R′36000,G′36000,B′36000)，(R′m,G′m,B′m)为个性化人脸模型中第m个顶点的RGB信息，m＝1,2,…,36000，
Figure BDA00038591753200000311
(R″m,G″m,B″m)为个性化人脸模型中第m个顶点的RGB补偿信息，纹理向量T与辐射补偿系数
Figure BDA00038591753200000312
进行线型叠加，逐顶点补偿纹理信息，得到个性化人脸模型的辐射强度
Figure BDA00038591753200000313
步骤(6)通过可微分渲染器获得与人脸图片I一致的个性化人脸模型的二维投影图片I′，计算损失函数；具体是：
将形状向量S和补偿后的纹理向量T作为重建人脸模型向量，将重建人脸模型向量与光照系数、姿态系数共同输入到可微分渲染器中，可微分渲染器烘培出与人脸图片相似的可视化三维人脸模型；
可微分渲染器根据姿态系数调整相机位姿，对生成的可视化三维人脸模型进行二维投影，获得与人脸图片I一致的二维投影图片I′；
将通过可微分渲染器获得的二维投影图片I′与人脸图片I进行损失函数计算，目标函数Ltotal＝Limage+Llmk+Ltex+LP+Lcoeff；其中，Limage为光度损失，Llmk为关键点损失，Ltex为高频纹理损失，LP为高维特征余弦距离，Lcoeff为正则损失；利用损失函数约束网络的学习方向，减少二维投影图片I′与人脸图片I之间的差距，优化重建后的人脸模型的视觉效果。
原有的方法和研究一直以提升人脸重建精度为工作方向，忽视了人脸模型在人眼视觉感官上的保真，所设计出来的模型和方法与人的主观感受不匹配。本发明在3DMM参数化模型基础上，考虑了过去的工作的不足之处和3DMM参数化模型作为线性模型的约束，在原有基础上增加的辐射强度补偿模块和纹理的损失函数，以改善重建后人脸模型的纹理空间范围。本发明方法能有效的改善3DMM参数化人脸模型的表现力不足问题，提升模型的在人眼感官下的视觉表现效果。
附图说明
图1为本发明的整体流程图；
图2为本发明方法的结构框架示意图；
图3为人脸图片预处理提取的特征图流程示意图。
具体实施方式
以下结合具体实施例对本发明的技术方案做进一步说明：
如图1和2所示，一种提升3DMM人脸模型视觉效果的方法，具体如下：
步骤(1)对人脸数据集合进行预处理，如图3所示，具体包括：
利用MTCNN人脸检测模块对人脸数据集合中的每张初始人脸图片提取5个人脸关键点；
将每张初始人脸图片根据对应的5个人脸关键点裁剪出224×224大小的人脸图片；
裁剪后的人脸图片利用预训练好的人脸检测模型检测出68个人脸关键点；
利用OpenCV内置的Prewitt算子提取出裁剪后的每张人脸图片的高频信息图Tex；
根据提取横向信息和纵向信息的总和P(i,j)判定像素点(i,j)是否为边缘，如果P(i,j)大于设定阈值，表示该像素点为边缘像素点，保留边缘像素点，其他像素点滤除，得到高频信息图Tex；P(i,j)＝G(i)+G(j)；G(i)和G(j)分别表示横向边缘信息提取的数值和纵向边缘信息提取的数值；
G(i)＝|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)]|，
G(j)＝|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)]|；
f(i,j)表示像素点(i,j)像素值。
使用经过人脸数据库训练的的贝叶斯选择器对每张人脸图片逐像素进行人脸皮肤判断，得到人脸面部掩模M；
Figure BDA0003859175320000051
Pn表示贝叶斯选择器对人脸图片第n个像素判断为皮肤的概率，An表示M中第n个像素判断为皮肤的概率值，n＝1,2,…,N，N为人脸图片像素点数量。
步骤(2)图像归一化处理：将每张裁剪后的人脸图片I的三通道像素值范围由0～255区间压缩到0～1区间，将对应的高频信息图Tex的单通道像素值范围由0～255区间压缩到0～1区间。
步骤(3)将归一化处理后的人脸图片输入ResNet50神经网络，经过神经计算后输出两组系数，分别为3DMM重建系数
Figure BDA0003859175320000052
和辐射补偿系数
Figure BDA0003859175320000053
其中，(α,β,γ)为3DMM参数化模型系数，
Figure BDA0003859175320000054
为光照系数，
Figure BDA0003859175320000055
为姿态系数，
Figure BDA00038591753200000512
表示实数域，239为总系数量，3×36×103为3DMM参数化模型解析出来的纹理向量的维度。
姿态系数P由旋转系数和平移系数组成，旋转系数R∈SO(3)，SO(3)表示三阶旋转矩阵，平移系数
Figure BDA0003859175320000056
两组系数回归使用同一个基础网络，最后使用两个不同全连接层进行系数回归。
步骤(4)将回归的3DMM参数化模型系数(α,β,γ)输入到巴塞尔模型中进行解析，巴塞尔模型是经典的3DMM参数化人脸模型，解码出低维度的个性化人脸模型，包含形状向量S和纹理向量T两个部分；
Figure BDA0003859175320000057
Figure BDA0003859175320000058
和
Figure BDA0003859175320000059
为巴塞尔模型得出的平均人脸几何和平均人脸纹理，Bid、Bexp和Bt为巴塞尔模型对身份、表情和纹理信息提取出来的主成分。
步骤(5)将低维度的个性化人脸模型的纹理向量T与辐射补偿系数
Figure BDA00038591753200000510
进行融合，纹理向量T＝(R′1,G′1,B′1,R′2,G′2,B′2,…,R′36000,G′36000,B′′6000)，(R′m,G′m,B′m)为个性化人脸模型中第m个顶点的RGB信息，m＝1,2,…,36000，
Figure BDA00038591753200000511
(R″m,G″m,B″m)为个性化人脸模型中第m个顶点的RGB补偿信息，纹理向量T与辐射补偿系数
Figure BDA0003859175320000061
进行线型叠加，逐顶点补偿纹理信息，得到个性化人脸模型的辐射强度
Figure BDA0003859175320000062
步骤(6)通过可微分渲染器获得与人脸图片I一致的个性化人脸模型的二维投影图片I′，计算损失函数；具体是：
将形状向量S和补偿后的纹理向量T作为重建人脸模型向量，将重建人脸模型向量与光照系数、姿态系数共同输入到可微分渲染器中，可微分渲染器烘培出与人脸图片相似的可视化三维人脸模型；
可微分渲染器根据姿态系数调整相机位姿，对生成的可视化三维人脸模型进行二维投影，获得与人脸图片I一致的二维投影图片I′；
将通过可微分渲染器获得的二维投影图片I′与人脸图片I进行损失函数计算，目标函数Ltotal＝Limage+Llmk+Ltex+LP+Lcoeff；其中，Limage为光度损失，Llmk为关键点损失，Ltex为高频纹理损失，LP为高维特征余弦距离，Lcoeff为正则损失。利用损失函数约束网络的学习方向，减少二维投影图片I′与人脸图片I之间的差距，优化重建后的人脸模型的视觉效果。

Claims (5)

1.一种提升3DMM人脸模型视觉效果的方法，其特征在于：
步骤(1)对人脸数据集合进行预处理，包括：
利用MTCNN人脸检测模块对人脸数据集合中的每张初始人脸图片提取5个人脸关键点；
将每张初始人脸图片根据对应的5个人脸关键点裁剪出224×224大小的人脸图片；
裁剪后的人脸图片利用预训练好的人脸检测模型检测出68个人脸关键点；
利用OpenCV内置的Prewitt算子提取出裁剪后的每张人脸图片的高频信息图Tex；
使用贝叶斯选择器对每张人脸图片逐像素进行人脸皮肤判断，得到人脸面部掩模M；
步骤(2)图像归一化处理：将每张裁剪后的人脸图片I的三通道像素值范围由0～255区间压缩到0～1区间，将对应的高频信息图Tex的单通道像素值范围由0～255区间压缩到0～1区间；
步骤(3)将归一化处理后的人脸图片输入ResNet50神经网络，输出两组系数，分别为3DMM重建系数
Figure FDA0003859175310000011
和辐射补偿系数
Figure FDA0003859175310000012
其中，(α,β,γ)为3DMM参数化模型系数，
Figure FDA0003859175310000013
为光照系数，
Figure FDA0003859175310000014
为姿态系数，
Figure FDA0003859175310000015
表示实数域，239为总系数量，3×36×103为3DMM参数化模型解析出来的纹理向量的维度；
两组系数回归使用同一个基础网络，最后使用两个不同全连接层进行系数回归；
步骤(4)将回归的3DMM参数化模型系数(α,β,γ)输入到巴塞尔模型中进行解析，解码出低维度的个性化人脸模型，包含形状向量S和纹理向量T；
步骤(5)将低维度的个性化人脸模型的纹理向量T与辐射补偿系数
Figure FDA0003859175310000016
进行融合，纹理向量T＝(R′1,G′1,B′1,R′2,G′2,B′2,…,R′36000,G′36000,B′36000)，(R′m,G′m,B′m)为个性化人脸模型中第m个顶点的RGB信息，m＝1,2,…,36000，
Figure FDA0003859175310000017
(R″m,G″m,B″m)为个性化人脸模型中第m个顶点的RGB补偿信息，纹理向量T与辐射补偿系数
Figure FDA0003859175310000018
进行线型叠加，逐顶点补偿纹理信息，得到个性化人脸模型的辐射强度
Figure FDA0003859175310000019
步骤(6)通过可微分渲染器获得与人脸图片I一致的个性化人脸模型的二维投影图片I′，计算损失函数；具体是：
将形状向量S和补偿后的纹理向量T作为重建人脸模型向量，将重建人脸模型向量与光照系数、姿态系数共同输入到可微分渲染器中，可微分渲染器烘培出与人脸图片相似的可视化三维人脸模型；
可微分渲染器根据姿态系数调整相机位姿，对生成的可视化三维人脸模型进行二维投影，获得与人脸图片I一致的二维投影图片I′；
将通过可微分渲染器获得的二维投影图片I′与人脸图片I进行损失函数计算，目标函数Ltotal＝Limage+Llmk+Ltex+LP+Lcoeff；其中，Limage为光度损失，Llmk为关键点损失，Ltex为高频纹理损失，LP为高维特征余弦距离，Lcoeff为正则损失；利用损失函数约束网络的学习方向，减少二维投影图片I′与人脸图片I之间的差距，优化重建后的人脸模型的视觉效果。
2.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法，其特征在于：步骤(1)中提取高频信息图Tex具体方法是：根据提取横向信息和纵向信息的总和P(i,j)判定像素点(i,j)是否为边缘，如果P(i,j)大于设定阈值，表示该像素点为边缘像素点，保留边缘像素点，其他像素点滤除，得到高频信息图Tex；P(i,j)＝G(i)+G(j)；G(i)和G(j)分别表示横向边缘信息提取的数值和纵向边缘信息提取的数值；
G(i)＝|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)]|，
G(j)＝|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)]|；
f(i,j)表示像素点(i,j)像素值。
3.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法，其特征在于：步骤(1)人脸面部掩模M中第n个像素判断为皮肤的概率值
Figure FDA0003859175310000021
Pn表示贝叶斯选择器对人脸图片第n个像素判断为皮肤的概率，n＝1,2,…,N，N为人脸图片像素点数量。
4.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法，其特征在于：步骤(3)中所述的姿态系数P由旋转系数和平移系数组成，旋转系数R∈SO(3)，SO(3)表示三阶旋转矩阵，平移系数
Figure FDA0003859175310000025
5.如权利要求1所述的一种提升3DMM人脸模型视觉效果的方法，其特征在于：步骤(4)中，
Figure FDA0003859175310000022
Figure FDA0003859175310000023
和
Figure FDA0003859175310000024
为巴塞尔模型得出的平均人脸几何和平均人脸纹理，Bid、Bexp和Bt为巴塞尔模型对身份、表情和纹理信息提取出来的主成分。
CN202211170377.2A 2022-09-22 2022-09-22 一种提升3dmm人脸模型视觉效果的方法 Pending CN115471611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211170377.2A CN115471611A (zh) 2022-09-22 2022-09-22 一种提升3dmm人脸模型视觉效果的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211170377.2A CN115471611A (zh) 2022-09-22 2022-09-22 一种提升3dmm人脸模型视觉效果的方法

Publications (1)

Publication Number Publication Date
CN115471611A true CN115471611A (zh) 2022-12-13

Family

ID=84335299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211170377.2A Pending CN115471611A (zh) 2022-09-22 2022-09-22 一种提升3dmm人脸模型视觉效果的方法

Country Status (1)

Country Link
CN (1) CN115471611A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993929A (zh) * 2023-09-27 2023-11-03 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质
CN117894057A (zh) * 2024-03-11 2024-04-16 浙江大学滨江研究院 用于情感障碍辅助诊断的三维数字人脸处理方法与装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993929A (zh) * 2023-09-27 2023-11-03 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质
CN116993929B (zh) * 2023-09-27 2024-01-16 北京大学深圳研究生院 基于人眼动态变化的三维人脸重建方法、装置及存储介质
CN117894057A (zh) * 2024-03-11 2024-04-16 浙江大学滨江研究院 用于情感障碍辅助诊断的三维数字人脸处理方法与装置

Similar Documents

Publication Publication Date Title
Jam et al. A comprehensive review of past and present image inpainting methods
Qi et al. SGUIE-Net: Semantic attention guided underwater image enhancement with multi-scale perception
Jiang et al. Noise robust face image super-resolution through smooth sparse representation
Rematas et al. Novel views of objects from a single image
DE69934478T2 (de) Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen
Kim et al. Feature detection of triangular meshes based on tensor voting theory
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN115471611A (zh) 一种提升3dmm人脸模型视觉效果的方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
Scandrett et al. A person-specific, rigorous aging model of the human face
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN1975759A (zh) 一种基于结构主元分析的人脸识别方法
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN112967373B (zh) 一种基于非线性3dmm的人脸图像特征编码方法
Pei et al. Effects of image degradations to cnn-based image classification
Hu et al. Face hallucination from low quality images using definition-scalable inference
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN112734911A (zh) 基于卷积神经网络的单幅图像三维人脸重建方法及系统
Liu et al. CAS: Correlation adaptive sparse modeling for image denoising
CN114332136B (zh) 人脸属性数据标注方法、计算机设备及存储介质
CN115830241A (zh) 一种基于神经网络的真实感三维人脸纹理重建方法
Ye et al. 3d morphable face model for face animation
Cui et al. TPET: Two-stage perceptual enhancement transformer network for low-light image enhancement
Zeng et al. Joint 3D facial shape reconstruction and texture completion from a single image
CN112288645B (zh) 一种颅骨面貌复原模型构建方法及复原方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination