CN111402407B - 基于单幅rgbd图像的高精度肖像模型快速生成方法 - Google Patents

基于单幅rgbd图像的高精度肖像模型快速生成方法 Download PDF

Info

Publication number
CN111402407B
CN111402407B CN202010208688.8A CN202010208688A CN111402407B CN 111402407 B CN111402407 B CN 111402407B CN 202010208688 A CN202010208688 A CN 202010208688A CN 111402407 B CN111402407 B CN 111402407B
Authority
CN
China
Prior art keywords
image
normal
depth
hair
rgbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010208688.8A
Other languages
English (en)
Other versions
CN111402407A (zh
Inventor
秦昊
李冬平
卢奕渲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faceunity Technology Co ltd
Original Assignee
Faceunity Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faceunity Technology Co ltd filed Critical Faceunity Technology Co ltd
Priority to CN202010208688.8A priority Critical patent/CN111402407B/zh
Publication of CN111402407A publication Critical patent/CN111402407A/zh
Application granted granted Critical
Publication of CN111402407B publication Critical patent/CN111402407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于单幅RGBD图像的高精度肖像模型快速生成方法，该方法首先利用输入RGBD图像的RGB通道生成头发掩膜和人脸深度，对输入图像中的D通道进行处理，生成基本形状；然后生成降噪平滑图像和细节增强图像，基于彩色图像生成法向图的方法，生成所述降噪平滑图像和细节增强图像对应的两个子法向图，并结合所述头发掩膜生成完整法向图；最后基于所述基本形状和所述完整法向图，计算深度增量图，并与所述基本形状相加，生成高精度肖像模型。本发明可以快速、全自动地由单幅RGBD图像生成高精度肖像模型，无需用户进行交互。

Description

基于单幅RGBD图像的高精度肖像模型快速生成方法
技术领域
本发明涉及图像处理及三维重建领域，尤其涉及一种基于单幅RGBD图像的高精度肖像模型快速生成方法。
背景技术
近十几年来，随着技术的飞速发展，手机已不仅仅是作为人们沟通联络的工具。如今的手机集拍照、娱乐等功能于一体，是每个人不可或缺的智能终端。作为手机的主要功能之一的拍照功能也得到各大手机厂商的重视，纷纷着力提升手机的拍照效果。2017年，随着某手机厂商推出的第一款带有深度传感器的手机，配备深度传感器的手机开始受到消费者的关注。在接下来的几年，我们可以预见将有大量的消费者拥有带有深度传感器的手机。随着带有深度传感器的手机的普及，人们获取深度信息的门槛大大降低，深度信息的应用成为众多研究者的研究热点。
目前主流的肖像展示形式为普通的二维图像。随着近年来三维打印技术、虚拟现实(Virtual Reality，VR)技术的兴起以及数字娱乐时代的到来，人们对肖像的其他展示形式有着浓厚的兴趣。对肖像进行三维重建，得到高精度肖像模型便是一种可行的方式。三维重建(3D Reconstruction)技术一直以来都是计算机图形学领域和计算机视觉领域的热门研究方向。在消费级的深度传感器面世之前，由于对深度信息的高度依赖，三维重建技术只能应用于各种专业领域中。而随着深度传感器的普及，三维重建技术也逐渐出现在各种消费级应用当中。
高精度肖像建模的目标是通过三维重建技术恢复出图像中的人物。重建的高精度肖像模型的应用场景十分广泛。我们可以借助高精度肖像模型实现肖像的重打光、将肖像做成立体相片，以2.5D的形式展示，甚至可以通过三维打印(3D Printing)将照片打印成2.5D的立体照片等等。这些应用，大大扩展了肖像的展示形式。
目前市面上出现的带有深度传感器的手机，均采用通过结构光获取深度的解决方案。深度传感器通过红外线发射器发射特定图形的散斑或者点阵的激光红外图案，红外线CMOS摄像头捕捉到被测物体反射回来的图案，计算上面散斑或者点的大小，然后跟原始的尺寸对比，最终测算出被测物体到摄像头之间的距离。由于红外线容易受到强自然光的影响以及深度值精度的问题，深度传感器得到的单帧深度图往往是带有噪声的、低精度的。
人脸是我们分辨一个人的重要依据。重建的人脸与图像中的人脸是否相像至关重要。另外，作为影响个人相貌、气质的头发，其细节的恢复程度对肖像建模的效果有着十分巨大的影响。因此，我们需要对从深度传感器获取的深度图进行相关的后处理，才能生成高精度的肖像模型。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于单幅RGBD图像的高精度肖像模型快速生成方法。
本发明的目的是通过以下技术方案来实现的：一种基于单幅RGBD图像的高精度肖像模型快速生成方法，包括以下步骤：
(1)输入RGBD图像。
(2)基本形状生成阶段：利用步骤(1)输入的RGBD图像的RGB通道生成头发掩膜和人脸深度，对输入图像中的D通道进行处理，生成基本形状。
(3)法向图生成阶段：利用步骤(1)输入的RGBD图像的RGB通道生成降噪平滑图像和细节增强图像，基于彩色图像生成法向图的方法，生成所述降噪平滑图像和细节增强图像对应的两个子法向图，并结合所述头发掩膜生成完整法向图。
(4)高精度肖像模型生成阶段：基于步骤(1)生成的基本形状和步骤(2)生成的完整法向图计算深度增量图，并与所述基本形状相加生成高精度肖像模型。
进一步地，所述步骤(2)包括以下子步骤：
(2.1)首先采用头发分割方法对所述RGBD图像中的RGB通道进行分割，获得所述RGBD图像的头发掩膜；
(2.2)然后采用人脸特征点检测方法对所述RGBD图像中的RGB通道进行检测，获得所述RGBD图像中的人脸特征点；
(2.3)接着采用人脸网格模型数据库对人脸特征点进行拟合，获得人脸网格模型、摄像机矩阵、投影矩阵；
(2.4)根据所述摄像机矩阵和投影矩阵将所述人脸网格模型投影到图像空间，生成人脸深度并得到脸部区域和非脸部区域；
(2.5)利用步骤(2.1)所述头发掩膜，将所述RGBD图像中的D通道的非头发区域的深度替换为所述人脸深度中非头发区域的深度；
(2.6)根据步骤(2.1)所述头发掩膜计算所述人脸深度中头发区域的深度增量δd：
δd＝-0.4*h+65
其中，h是人脸深度中头发区域的平均高度；将δd加到RGBD图像D通道的头发区域；
(2.7)将步骤(2.5)得到的RGBD图像中的D通道的非头发区域的高度场和步骤(2.6)得到的RGBD图像D通道的头发区域的高度场组成基本形状。
进一步地，所述步骤(3)包括以下子步骤：
(3.1)对所述RGBD图像中的RGB通道进行一维双边滤波，生成降噪平滑图像；
(3.2)对所述RGBD图像中的RGB通道分别进行细节提取和多次的一维双边滤波，并将生成的两幅图像合并到一起，生成细节增强图像；
(3.3)对所述降噪平滑图像和细节增强图像均以不同大小的高斯核进行高斯模糊，生成两组不同清晰度的图像；
(3.4)将所述不同清晰度的图像视作高度场，结合像素点的坐标转化为三维网格模型，计算每个像素点的法向量，生成两组不同清晰度的图像的法向图；
(3.5)将步骤(3.4)得到的同一组法向图以叠加混合的方式，生成分别对应所述降噪平滑图像和细节增强图像的两个子法向图；
(3.6)利用步骤(3.1)所述头发掩膜，将对应所述降噪平滑图像的子法向图中的非头发区域和对应所述细节增强图像的子法向图中的头发区域合并到一起，生成完整法向图。
进一步地，所述步骤(3.2)中细节提取为先对所述RGBD图像中的RGB通道沿梯度方向进行一维高斯差分滤波，再进行一维高斯滤波。
进一步地，所述步骤(3.5)具体为：以一组法向图中的第一张图作为底图Ibase，依次逐个选取剩余的法向图作为待叠加图像Iblend进行叠加混合，根据下式计算混合后的图像的像素值Cnew：
Figure BDA0002422064550000031
其中，Ci的右上角标表示像素值C的第i个通道，i＝1～3，依次表示R、G、B通道；Cbase、Cblend分别为Ibase、Iblend上的像素点；每次混合后的图像作为新的底图Ibase与下一个待叠加图像Iblend再次叠加混合，当混合至仅剩一张底图Ibase时，该图为该组的子法向图。
进一步地，所述步骤(4)包括以下子步骤：
(4.1)通过以下能量方程求解使En最小的深度增量δD，构成深度增量图：
Figure BDA0002422064550000032
其中，c表示图像上的点；W、H分别为图像的宽、高；ωc为点c对应的权重；c±表示c的上下左右四邻域点；Dbase shape为基本形状；N为完整法向图；δD构成的深度增量图与所述基本形状生成阶段生成的基本形状相加后，得到的高度场的法向与所述法向图生成阶段生成的完整法向图中的法向相同。
(4.2)将步骤(4.1)得到的深度增量图与所述基本形状生成阶段生成的基本形状逐像素直接相加，得到高精度肖像模型。
进一步地，所述步骤(4.1)中当点c为位于脸部区域时，权重ωc取值为0.5，当点c为非脸部区域时，权重ωc取值为0.1。
本发明具有的有益效果为：本发明利用输入RGBD图像生成头发掩膜、人脸深度和基本形状；利用降噪平滑图像和细节增强图生成完整法向图；利用基本形状和完整法向图计算深度增量图，并与基本形状相加生成高精度肖像模型。本发明可以快速、全自动地由单幅RGBD图像生成高精度肖像模型，无需用户进行交互；在iPhone X上生成一个分辨率为600*800的高精度肖像模型耗时在2秒以内。
附图说明
图1是基于单幅RGBD图像的高精度肖像模型快速生成方法的流程示意图；
图2是输入的单幅RGBD图像样例示意图；其中，(a)是RGB通道示意图，(b)是RGBD图像的深度图；
图3是头发掩膜以及对应的人脸深度示意图；其中，(a)是头发掩膜，(b)是人脸深度图；
图4是基本形状图；
图5是降噪平滑图；
图6是细节增强图；
图7是完整法向图；
图8是最终生成的高精度肖像模型示意图。
具体实施方式
本实施例采用人脸网格模型数据库(FaceWarehouse，Cao C,Weng Y,Zhou S,etal.Facewarehouse:A 3d facial expression database for visual computing[J].IEEETransactions on Visualization and Computer Graphics,2014,20(3):413-425.)。
本实施例提供的基于单幅RGBD图像的高精度肖像模型快速生成方法，如图1所示，包括以下三个步骤：
(1)基本形状生成阶段：输入RGBD图像，利用RGBD图像的RGB通道生成头发掩膜和人脸深度，对RGBD图像中的D通道进行处理，生成基本形状，具体包括以下子步骤：
(1.1)生成头发掩膜和人脸深度具体为：首先，采用头发分割方法对RGBD图像(图2)中的RGB通道进行分割，获得RGBD图像的头发掩膜；然后，采用人脸特征点检测方法对RGBD图像中的RGB通道进行检测，获得RGBD图像中的人脸特征点；最后，采用人脸网格模型数据库及人脸拟合方法对人脸特征点进行拟合，获得人脸网格模型、摄像机矩阵、投影矩阵，并根据摄像机矩阵和投影矩阵将人脸网格模型投影到图像空间，生成人脸深度(图3)，并得到脸部区域和非脸部区域。
(1.2)利用步骤(1.1)生成的头发掩膜和人脸深度，对RGBD图像中的D通道进行处理，生成基本形状，具体为：首先，根据头发掩膜将人脸深度中非头发区域的深度拷贝至RGBD图像D通道中对应的非头发区域替换原来的深度；然后，根据头发掩膜计算人脸深度中头发区域的深度增量δd＝-0.4*h+65，其中h是头发区域的平均高度；并将δd加到RGBD图像D通道中的头发区域上；最后，RGBD图像D通道非头发区域和头发区域的高度场组成基本形状Dbase shape。本实施例中，采用上述方法生成的基本形状Dbase shape如图4所示，基本形状Dbase shape为脸部五官完整、缺少脸部和头发细节的高度场。
(2)法向图生成阶段：利用步骤(1)输入的RGBD图像生成降噪平滑图像和细节增强图像，基于RGBD图像中的RGB通道生成法向图的方法，生成降噪平滑图像和细节增强图像对应的两个子法向图，并结合步骤(1)生成的头发掩膜生成完整法向图N。
(2.1)生成降噪平滑图像和细节增强图像，包括以下子步骤：
(2.1.1)将步骤(1)输入的RGBD图像中的RGB通道变换到Lab颜色空间，得到Lab图像I，使用以下滤波器Sobelx、Sobely对Lab图像I的每个像素点I(c)进行卷积操作，得到其沿x、y方向的偏导数[Lx ax bx]、[Ly ay by]：
Figure BDA0002422064550000051
Figure BDA0002422064550000052
Figure BDA0002422064550000053
Figure BDA0002422064550000054
其中，Sobelx是x方向的滤波器，Sobely是y方向的滤波器；Lx是L通道沿x方向的偏导数，ax是a通道沿x方向的偏导数，bx是b通道沿x方向的偏导数，Ly是L通道沿y方向的偏导数，ay是a通道沿y方向的偏导数，by是b通道沿y方向的偏导数；
(2.1.2)根据下式计算每个像素点I(c)的结构张量S2×2：
Figure BDA0002422064550000055
其中，E＝Lx*Lx+ax*ax+bx*bx，F＝Lx*Ly+ax*ay+bx*by，G＝Ly*Ly+ay*ay+by*by；
(2.1.3)根据下式计算结构张量S2×2的两个特征值λ1、λ2；
Figure BDA0002422064550000061
Figure BDA0002422064550000062
(2.1.4)根据下式计算结构张量S2×2的两个特征向量，即Lab图像I的梯度方向v1和切线方向v2：
v1＝(F，λ1-E)
v2＝(λ2-G，F)
计算Lab图像I每个像素点I(c)的梯度方向v1和切线方向v2，分别组成梯度图Igrd、切线图Itan。
(2.1.5)根据下式，先后对Lab图像I的每个像素点I(c)沿梯度方向v1和切线方向v2进行一维双边滤波，得到如图5所示的降噪平滑图像Ismooth：
Ismooth_0(c0)＝Bilateral(c0，δ(Igrd(c0))，I)
Ismooth(c0)＝Bilateral(c0，6(Itan(c0))，Ismooth_0)
其中，c0是滤波的中心；采样方向函数δ(·)定义如下：
Figure BDA0002422064550000063
其中，dx为向量d的x值，dy为向量d的y值；函数Bilateral(·)表示一维双边滤波处理：
Figure BDA0002422064550000064
其中，t为采样方向；Is为被滤波对象；ks为归一化参数，取值为
Figure BDA0002422064550000065
Figure BDA0002422064550000066
ci＝c0+it；函数Gσ(·)定义如下：
Figure BDA0002422064550000067
其中，σ为高斯函数的标准差；本实施例中σd＝3，σr＝0.04；
(2.1.6)根据下式，对Lab图像I的每个像素点I(c)沿梯度方向v1进行一次一维高斯差分(Difference ofGaussian，DoG)滤波，得到高斯差分滤波图像IDoG：
IDoG(c0)＝Gaussian(c0，σ0)-τGaussian(c0，σ1)
其中，c0为DoG滤波中心；τ控制DoG滤波结果中边缘的强度，τ越大，边缘越清晰，此处取值为0.99；函数Gaussian(.)定义如下：
Figure BDA0002422064550000071
其中，kD为归一化参数，取值为
Figure BDA0002422064550000072
cj＝c0+iIgrd(c0)；本实施例中σ0＝1.5，σ1＝2.5。
(2.1.7)根据下式，对步骤(2.1.6)得到的高斯差分滤波图像IDoG的每个像素点进行一次一维高斯滤波，得到基于流的高斯差分(Flow-based Difference of Gaussian，FDoG)滤波图像IFDoG：
Figure BDA0002422064550000073
其中，c0为滤波中心；Sample函数定义如下：
Figure BDA0002422064550000074
tk＝sgn(<Itan(ck-1)，tk-1>)Itan(ck-1)
Figure BDA0002422064550000075
ck＝ck-1+lktk
Figure BDA0002422064550000076
其中，t0是初始采样方向，为Itan(c0)或-Itan(c0)，tk为第k次采样方向；kF为归一化参数，取值为
Figure BDA0002422064550000077
Figure BDA0002422064550000078
分别表示ck-1、tk的x坐标；
Figure BDA0002422064550000079
分别表示ck-1、tk的y坐标；sgn表示取符号；<a，b>表示向量a与向量b点乘；
Figure BDA00024220645500000710
表示取a的下整；本实施例中σm＝8。
(2.1.8)对RGBD图像中的RGB通道迭代地进行4次一维双边滤波，得到图像Iblur，并与FDoG滤波图像IFDoG通过以下公式合并在一起，至此，生成细节增强图像Ienhance(图6)：
Ienhance(c)＝Cedge(1-w(c))+w(c)Iblur(c)
其中，Cedge为边缘颜色，取值为黑色；w(c)为IFDoG(c)的L通道的0.5次幂。
(2.2)基于RGBD图像中的RGB通道分别生成降噪平滑图像Ismooth和细节增强图像Ienhance对应的子法向图A和子法向图B，并结合步骤(1)得到的头发掩膜标识的头发区域与非头发区域，将子法向图A的非头发区域和子法向图B的头发区域合并到一起，生成完整法向图N(图7)，包括以下子步骤：
(2.2.1)将生成的降噪平滑图像Ismooth和细节增强图像Ienhance以σ＝1、2、4、8、16、32的高斯函数进行高斯模糊，分别生成对应Ismooth和Ienhance的两组不同清晰度的图像。
(2.2.2)将步骤(2.2.1)得到两组不同清晰度的图像视作高度场计算其法向图，具体为：将两组不同清晰度的图像每个像素点的像素值作为高度，结合像素点的x、y坐标，将两组不同清晰度的图像转化为三维网格模型，根据通用的法向计算方法，计算每个像素点的法向量，得到两组不同清晰度图像的法向图；
(2.2.3)将步骤(2.2.2)得到的两组不同清晰度图像的法向图分别以叠加混合的方式进行混合，得到Ismooth对应的子法向图A和Ienhance对应的子法向图B，具体为：以每组法向图中的第一张图作为底图Ibase，依次选取剩余的法向图逐个作为待叠加图像Iblend，根据以下式子，对Ibase、Iblend两幅图像上的每个像素点Cbase、Cblend，计算混合后的图像上对应位置的像素值Cnew。每次混合后的图像作为新的底图Ibase，当每组混合至仅剩一张底图Ibase时，即为该组的子法向图。
Figure BDA0002422064550000081
其中，Ci的右上角标表示像素值C的第i个通道，i＝1～3，分别为r，g，b通道。
(2.2.4)结合步骤(1)得到的头发掩膜标识的头发区域与非头发区域，将步骤(2.2.3)得到的子法向图A的非头发区域和子法向图B的头发区域合并到一起，生成完整法向图N。
(3)高精度肖像模型生成阶段：基于步骤(1)生成的基本形状Dbase shape和步骤(2)生成的完整法向图N，计算每个像素点的深度增量，并与基本形状Dbase shape相加，生成高精度肖像模型。
(3.1)根据待求解的每个像素点的深度增量与步骤(1)得到的基本形状Dbase shape相加后，与步骤(2)得到的完整法向图N中对应位置的法线相垂直的目标，列出以下能量方程：
Figure BDA0002422064550000082
其中，c表示图像上的点；ωc为点c对应的权重，当点c为由人脸深度与头发掩模得到的脸部区域时，取值为0.5，当点c为非脸部区域时，取值为0.1；c±表示c的上下左右四邻域点；δD为所有像素点的深度增量；W、H分别为图像的宽、高。
(3.2)得到使步骤(3.1)中能量方程En最小的深度增量8D，计算深度增量图，将基本形状Dbase shape与深度增量图逐像素直接相加，得到高精度肖像模型，如图8是一个结果样例的侧面视图。所述深度增量图满足步骤(1)生成的基本形状Dbase shape与该深度增量图相加后，得到的高度场的法向与步骤(2)生成的完整法向图N中的法向相同。

Claims (5)

1.一种基于单幅RGBD图像的高精度肖像模型快速生成方法，其特征在于，包括以下步骤：
(1)输入RGBD图像；
(2)基本形状生成阶段：利用步骤(1)输入的RGBD图像的RGB通道生成头发掩膜和人脸深度，对输入图像中的D通道进行处理，生成基本形状；
(3)法向图生成阶段：利用步骤(1)输入的RGBD图像的RGB通道生成降噪平滑图像和细节增强图像，基于彩色图像生成法向图的方法，生成所述降噪平滑图像和细节增强图像对应的两个子法向图，并结合所述头发掩膜生成完整法向图；
所述步骤(3)包括以下子步骤：
(3.1)对所述RGBD图像中的RGB通道进行一维双边滤波，生成降噪平滑图像；
(3.2)对所述RGBD图像中的RGB通道分别进行细节提取和多次的一维双边滤波，并将生成的两幅图像合并到一起，生成细节增强图像；
(3.3)对所述降噪平滑图像和细节增强图像均以不同大小的高斯核进行高斯模糊，生成两组不同清晰度的图像；
(3.4)将所述不同清晰度的图像视作高度场，结合像素点的坐标转化为三维网格模型，计算每个像素点的法向量，生成两组不同清晰度的图像的法向图；
(3.5)将步骤(3.4)得到的同一组法向图以叠加混合的方式，生成分别对应所述降噪平滑图像和细节增强图像的两个子法向图；
(3.6)利用步骤(3.1)所述头发掩膜，将对应所述降噪平滑图像的子法向图中的非头发区域和对应所述细节增强图像的子法向图中的头发区域合并到一起，生成完整法向图；
(4)高精度肖像模型生成阶段：基于步骤(2)生成的基本形状和步骤(3)生成的完整法向图计算深度增量图，并与所述基本形状相加生成高精度肖像模型；
所述步骤(4)包括以下子步骤：
(4.1)通过以下能量方程求解使En最小的深度增量δD，构成深度增量图：
Figure FDA0004116554170000011
其中，c表示图像上的点；W、H分别为图像的宽、高；ωc为点c对应的权重；c±表示c的上下左右四邻域点；Dbase为基本形状；N为完整法向图；δD构成的深度增量图与所述基本形状生成阶段生成的基本形状相加后，得到的高度场的法向与所述法向图生成阶段生成的完整法向图中的法向相同；
(4.2)将步骤(4.1)得到的深度增量图与所述基本形状生成阶段生成的基本形状逐像素直接相加，得到高精度肖像模型。
2.如权利要求1所述的基于单幅RGBD图像的高精度肖像模型快速生成方法，其特征在于，所述步骤(2)包括以下子步骤：
(2.1)首先采用头发分割方法对所述RGBD图像中的RGB通道进行分割，获得所述RGBD图像的头发掩膜；
(2.2)然后采用人脸特征点检测方法对所述RGBD图像中的RGB通道进行检测，获得所述RGBD图像中的人脸特征点；
(2.3)接着采用人脸网格模型数据库对人脸特征点进行拟合，获得人脸网格模型、摄像机矩阵、投影矩阵；
(2.4)根据所述摄像机矩阵和投影矩阵将所述人脸网格模型投影到图像空间，生成人脸深度并得到脸部区域和非脸部区域；
(2.5)利用步骤(2.1)所述头发掩膜，将所述RGBD图像中的D通道的非头发区域的深度替换为所述人脸深度中非头发区域的深度；
(2.6)根据步骤(2.1)所述头发掩膜计算所述人脸深度中头发区域的深度增量δd：
δd＝-0.4*h+65
其中，h是人脸深度中头发区域的平均高度；将δd加到RGBD图像D通道的头发区域；
(2.7)将步骤(2.5)得到的RGBD图像中的D通道的非头发区域的高度场和步骤(2.6)得到的RGBD图像D通道的头发区域的高度场组成基本形状。
3.如权利要求1所述的基于单幅RGBD图像的高精度肖像模型快速生成方法，其特征在于，所述步骤(3.2)中细节提取为先对所述RGBD图像中的RGB通道沿梯度方向进行一维高斯差分滤波，再进行一维高斯滤波。
4.如权利要求1所述的基于单幅RGBD图像的高精度肖像模型快速生成方法，其特征在于，所述步骤(3.5)具体为：以一组法向图中的第一张图作为底图Ibase，依次逐个选取剩余的法向图作为待叠加图像Iblend进行叠加混合，根据下式计算混合后的图像的像素值Cnew：
Figure FDA0004116554170000021
其中，Ci的右上角标表示像素值C的第i个通道，i＝1～3，依次表示R、G、B通道；Cbase、Cblend分别为Ibase、Iblend上的像素点；每次混合后的图像作为新的底图Ibase与下一个待叠加图像Iblend再次叠加混合，当混合至仅剩一张底图Ibase时，该图为这一组的子法向图。
5.如权利要求1所述的基于单幅RGBD图像的高精度肖像模型快速生成方法，其特征在于，
所述步骤(4.1)中当点c为位于脸部区域时，权重ωc取值为0.5，当点c为非脸部区域时，
权重ωc取值为0.1。
CN202010208688.8A 2020-03-23 2020-03-23 基于单幅rgbd图像的高精度肖像模型快速生成方法 Active CN111402407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010208688.8A CN111402407B (zh) 2020-03-23 2020-03-23 基于单幅rgbd图像的高精度肖像模型快速生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010208688.8A CN111402407B (zh) 2020-03-23 2020-03-23 基于单幅rgbd图像的高精度肖像模型快速生成方法

Publications (2)

Publication Number Publication Date
CN111402407A CN111402407A (zh) 2020-07-10
CN111402407B true CN111402407B (zh) 2023-05-02

Family

ID=71432768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010208688.8A Active CN111402407B (zh) 2020-03-23 2020-03-23 基于单幅rgbd图像的高精度肖像模型快速生成方法

Country Status (1)

Country Link
CN (1) CN111402407B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508811A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 图像预处理方法、装置、设备以及存储介质
WO2022261828A1 (zh) * 2021-06-15 2022-12-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005384A (ja) * 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102800129A (zh) * 2012-06-20 2012-11-28 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108805803A (zh) * 2018-06-13 2018-11-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109448083A (zh) * 2018-09-29 2019-03-08 浙江大学 一种从单幅图像生成人脸动画的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005384A (ja) * 2002-04-19 2004-01-08 Sony Corp 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
CN101551911A (zh) * 2009-05-07 2009-10-07 上海交通大学 人脸素描肖像画自动生成方法
CN102800129A (zh) * 2012-06-20 2012-11-28 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
WO2013189101A1 (zh) * 2012-06-20 2013-12-27 浙江大学 一种基于单幅图像的头发建模和肖像编辑方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN108805803A (zh) * 2018-06-13 2018-11-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109448083A (zh) * 2018-09-29 2019-03-08 浙江大学 一种从单幅图像生成人脸动画的方法

Also Published As

Publication number Publication date
CN111402407A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
Gryka et al. Learning to remove soft shadows
Gu et al. Learning dynamic guidance for depth image enhancement
CN106228507B (zh) 一种基于光场的深度图像处理方法
Yang et al. Fast single image reflection suppression via convex optimization
Yang et al. Shadow removal using bilateral filtering
Furukawa et al. Carved visual hulls for image-based modeling
Zhang et al. A unified framework for document restoration using inpainting and shape-from-shading
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US9813614B2 (en) Method and system for analog/digital image simplification and stylization
CN110827371B (zh) 证件照生成方法、装置、电子设备及存储介质
CN103247036A (zh) 多曝光图像融合方法和装置
CN111031239B (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
Surh et al. Noise robust depth from focus using a ring difference filter
CN111402407B (zh) 基于单幅rgbd图像的高精度肖像模型快速生成方法
CN108830892A (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
Dou et al. Image smoothing via truncated total variation
CN108230297A (zh) 一种基于服装替换的色彩搭配评估方法
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
JPWO2008041518A1 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
CN107886101A (zh) 一种基于rgb‑d的场景三维特征点高效提取方法
Casas et al. Rapid photorealistic blendshape modeling from RGB-D sensors
CN117011493B (zh) 基于符号距离函数表示的三维人脸重建方法、装置及设备
CN117975525A (zh) 一种基于无监督的三维人脸模型的重建系统与方法
CN115457163B (zh) 一种基于机器学习模型的证件照合成方法和系统
Lin et al. Iterative feedback estimation of depth and radiance from defocused images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant