CN102881011B - 基于区域分割的肖像光照迁移方法 - Google Patents

基于区域分割的肖像光照迁移方法 Download PDF

Info

Publication number
CN102881011B
CN102881011B CN201210320849.8A CN201210320849A CN102881011B CN 102881011 B CN102881011 B CN 102881011B CN 201210320849 A CN201210320849 A CN 201210320849A CN 102881011 B CN102881011 B CN 102881011B
Authority
CN
China
Prior art keywords
portrait
illumination
region
target
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210320849.8A
Other languages
English (en)
Other versions
CN102881011A (zh
Inventor
陈小武
赵沁平
吴洪宇
池昌鉴
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210320849.8A priority Critical patent/CN102881011B/zh
Publication of CN102881011A publication Critical patent/CN102881011A/zh
Application granted granted Critical
Publication of CN102881011B publication Critical patent/CN102881011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于区域分割的肖像光照迁移方法。本发明将参考肖像的光照效果迁移到目标肖像,使目标肖像具有类似于参考肖像的光照效果。本发明建立了光照效果素材库,可以近似拟合自然界中大部分光照效果。从光照效果素材库中搜索与参考肖像的光照属性和与目标肖像的材质属性最相似的光照素材来进行光照迁移。在头发和脸部区域使用基于边缘保持滤波器的迁移方法,在肩部区域使用商图方法。本发明使用全局光照约束来保证光照效果的一致性。本发明可广泛推广应用到肖像艺术光照效果合成、交互式数字娱乐、图像虚拟场景合成等应用场景。

Description

基于区域分割的肖像光照迁移方法
技术领域
本发明涉及虚拟现实、计算摄像学和计算机图像处理领域,尤其涉及一种基于区域分割的肖像光照迁移方法。
背景技术
虚拟现实(Virtual Reality,灵境技术)以计算机技术为核心,结合相关科学技术,生成在视、听、触感等方面与一定范围的真实环境高度近似的虚拟环境,具有交互性、沉浸性、想象性的特征。用户借助必要的数字媒体装备与虚拟环境中的对象交互,产生亲临其境的感受和体验。基于图像素材的虚实融合场景生成技术是虚拟现实的重要组成部分,也是虚拟现实、增强现实、计算机视觉及相关研究方向有机交叉的研究热点。照相设备已经越来越多地应用于日常工作和生活,描绘真实世界的图像场景、图像对象也越来越多,人们希望利用日积月累的图像素材生成工作和生活需要的图像虚实融合场景,从而迫切需要图像虚实融合场景生成系统及其软件工具。
虚实融合场景生成,特别是在复杂、细节丰富的场景中,使用传统的图形虚拟场景建模方法需要精确的三维模型,这样会大大增加数据获取难度和计算复杂度。为了解决复杂、细节丰富的虚实融合场景的生成问题,基于图像素材的虚拟场景生成技术应运而生。基于图像素材的虚拟场景生成技术是虚拟现实技术的重要组成部分。由于构成虚拟场景的场景与场景对象经常来自不同的素材,场景对象和图像场景的光照效果可能会存在较大的差异,然而图像虚拟场景需要各个场景对象具有一致的光照效果,但是目前的图像素材光照融合方法难以满足虚拟场景的需要。图像场景对象的光照迁移问题,即如何将目的图像场景中参考对象的光照效果迁移到场景对象,生成场景对象在目的图像场景光照条件下的光照效果,是目前急需解决的问题。
目前,有一些基于图像的光照迁移方法主要是针对人脸图像并且可以获得一定真实感的光照迁移效果。
2007年南加州大学的Peers等提出了一种利用商图对人脸进行光照迁移的方法。通过在光场(Light Stage)中采集正面人脸对象在变光照条件下与均匀光照条件下的高动态图像,将同一正面参考人脸在变光照效果下的图像点除以近似均匀光照效果下的图像,构建商图(Quotient Image),并近似地假设该商图反映了人脸对象在参考光照下的明暗变化。最后,将参考人脸的商图变形对齐到目标人脸图像上,点乘以原目标人脸图像,生成目标图像光照迁移效果。该方法同时推广到了在视频上的人脸图像光照迁移应用。然而,基于商图的方法在目标图像与参考图像结构差异较大时,会引入参考图像上大量的结构细节瑕疵,导致光照迁移效果存在大量的失真。
2009年比利时哈瑟尔特大学的Haber等提出一种基于估算场景模型的图像光照迁移方法:通过采集多视角的,在变光照条件下的图像序列,并由图像序列估算出场景对象的三维几何模型,然后基于小波分析框架计算图像序列中各张图像的入射光和表面反射属性。该方法需要利用多视角,变光照图像序列估算场景对象精确三维模型与粗略的表面反射属性、环境光照条件,然后生成场景对象在变光照条件下的效果。
2010年,清华大学的陈健生提出了一种基于局部约束、全局优化的改进的商图的人脸光照迁移方法:考虑直接使用商图进行光照迁移会引入参考人脸图像上的结构细节,通过局部的光照迁移系数的线性调整,较好的保持目标人脸图像的纹理,并利用局部窗口间的相互重叠,达到局部窗口间的计算结果在图像全局上的传播,求解最小化光照迁移系数,使得目标人脸的光照迁移的效果图像保持整体的平滑性。该方法的优化过程需要求解一个大的稀疏线性方程组,同时,在人脸的整体光照迁移效果过于平滑,造成了目标人脸图像结构细节的损失。
2011年,北京航空航天大学的陈小武提出了一种基于边缘保持的人脸图像光照迁移方法:在CIE Lab颜色空间,将参考人脸图像和目标人脸图像的明度层(L)分别利用自适应参数的最小二乘滤波器滤波,分解为大尺度层与细节层。在目标人脸图像大尺度层的引导下,对参考人脸图像的大尺度层使用引导滤波器引导滤波,使得参考人脸滤波后的结果与目标人脸的大尺度层在结构上对齐。然后,利用滤波后的参考人脸的大尺度层直接替换目标人脸的大尺度层,生成目标人脸图像类似于参考人脸的光照效果。
上述的方法中,都是将人脸区域(不包括头发)作为单一整体进行光照迁移。在肖像图像中包含皮肤材质的脸部区域、毛发材质的头发区域与布料材质肩部区域,是有多种材质反射率表面与细节结构特征的整体效果。对于肖像对象这样具有不同材质属性的三个区域,使用相同的光照迁移算法,光照迁移效果往往会丢失了不同区域反射率特性与结构特性的体现,存在较多的瑕疵,真实感差。
发明内容
本发明针对现有技术的弊端,针对上述问题,提供一种基于区域分割的肖像光照迁移方法,这种方法不但使生成的目标肖像具有真实且与参考肖像相似的光照效果,而且能够保证各区域光照迁移效果在总体上保持一致。该方法包括以下步骤:
步骤一、建立光照素材库,包括不同脸型和发型的肖像在不同光照条件下的素材。本发明采集和收集了不同人种和性别的人在不同光照条件下的高质量正面肖像图像作为光照效果素材。光照效果素材库中的肖像包含了自然界中出现的几种典型光照效果,自然界中其它光照效果都可以通过这几种光照效果近似拟合。
步骤二、肖像区域分割。根据材质和形状特征,本发明将肖像图像分为头发、脸部、肩部三个区域,其中头发为毛发材质、脸部为皮肤材质、肩部为布料材质。本发明利用普拉斯矩阵线性方程获得每个区域的透明通道:首先用户通过画笔手工标记出该区域;利用以每个像素为中心,局部窗口内像素点的均值与方差并结合用户画笔信息构造拉普拉斯矩阵;最后使用线性方程系统求解拉普拉斯线性方程得到区域的透明通道。
步骤三、肖像区域匹配。对于每个区域,在光照素材库中匹配与目标肖像的材质属性和与参考肖像的光照属性最相似的候选肖像素材。本发明采用脸部光照效果为线索进行光照效果的匹配,采用颜色主要成份为线索进行材质匹配。对于目标肖像的头发和脸部区域,首先以参考肖像脸部的光照效果为线索在光照素材库中找出与参考肖像光照效果最相近的几个候选区域,然后在这几个候选区域中以颜色主要成分为线索进行材质匹配,选出与目标肖像头发和脸部区域材质最相近的候选区域作为最接近肖像素材。
步骤四、光照迁移。由于肖像图像中三个部分的材质属性不同,本发明对输入肖像的三个部分采取了不同的光照迁移方法:
(1)头发区域光照迁移:影响头发区域光照迁移效果的主要因素在于目标头发区域的结构细节及局部高光效果,本发明采用加权最小二乘滤波器和高光线性增强来对头发区域进行光照迁移:利用加权最小二乘滤波器对头发区域进行滤波得到头发区域大尺度层,将头发区域明度层减去头发区域大尺度层得到头发区域细节层;将最接近肖像素材头发区域的大尺度层变形到目标肖像头发区域并对变形后的大尺度层进行线性增强;将增强后的大尺度层与目标图像的细节层生成最终的目标肖像头发区域图像的光照迁移效果。
(2)脸部区域光照迁移:本发明采用基于边缘保持的图像光照迁移方法,将最接近肖像素材的人脸区域通过图像变形对齐到目标肖像的人脸区域;使用加权最小二乘滤波器将最接近肖像素材的人脸区域和目标肖像的人脸区域分为大尺度层和细节层,并在目标肖像的人脸区域的大尺度层的引导下对最接近肖像素材的人脸区域的大尺度层进行引导滤波得到新的大尺度层;将新的大尺度层与目标肖像的人脸区域细节层组合得到脸部光照迁移效果。
(3)肩部区域光照迁移:本发明肩部区域光照迁移使用商图的光照迁移方法:根据图像线条的疏密程度,将肩部区域分为褶皱区域和非褶皱区域,利用光照效果素材库中的褶皱基元对褶皱区域进行建模;根据最接近肖像素材的相应部位的光照参数对褶皱区域进行渲染,得到褶皱区域的光照效果,利用热传导方程将褶皱区域的光照效果扩散到非褶皱区域,得到肩部区域的商图,利用商图对肩部区域进行光照迁移。
步骤五、利用全局光照约束对每个区域的光照效果进行调整。因为输入肖像三个区域匹配到的参考区域光照效果并非完全一致,本发明利用全局光照约束对三个区域进行区域光照融合,保证各区域光照迁移效果在总体上保持一致。
步骤六、对调整后目标肖像的三个区域进行组合,得到最后光照迁移效果。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤二中的肖像区域分割步骤如下:
步骤一、用户通过画笔标记出肖像的各个区域;
步骤二、利用以每个像素为中心,局部窗口内像素点的均值与方差,并结合用户画笔信息构造拉普拉斯矩阵;
步骤三、使用线性方程系统求解拉普拉斯矩阵线性方程,得到目标肖像三个区域的透明通道。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于::步骤三中的肖像素材匹配过程中,包含以下步骤:
步骤一、光照效果匹配,以参考肖像脸部区域光照效果特征为线索,从光照素材库中找出与参考肖像光照效果最相近的几个候选肖像素材;
步骤二、材质匹配,以目标肖像颜色主要成份为线索,从找出的几个候选肖像素材中利用主元分析方法选择与目标肖像材质最相似的一个肖像素材作为最接近肖像素材。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤四中头发光照迁移使用基于边缘保持的图像光照迁移方法,包含以下步骤:
步骤一、利用加权最小二乘滤波器对头发区域进行滤波得到头发区域大尺度层,将头发区域明度层减去头发区域大尺度层得到头发区域细节层;
步骤二、将最接近肖像素材头发区域的大尺度层变形到目标肖像头发区域并对变形后的大尺度层进行线性增强;
步骤三、将增强后的大尺度层与目标图像的细节层生成最终的目标肖像头发区域图像的光照迁移效果。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤四中脸部光照迁移采用基于边缘保持的图像光照迁移方法,包含以下步骤:
步骤一、将最接近肖像素材的人脸区域通过图像变形对齐到目标肖像的人脸区域;
步骤二、使用加权最小二乘滤波器将最接近肖像素材的人脸区域和目标肖像的人脸区域分为大尺度层和细节层,并在目标肖像的人脸区域的大尺度层的引导下对最接近肖像素材的人脸区域的大尺度层进行引导滤波得到新的大尺度层;
步骤三、将新的大尺度层与目标肖像的人脸区域细节层组合得到脸部光照迁移效果。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤四中肩部区域光照迁移使用商图的光照迁移方法,包含以下步骤:
步骤一、根据图像线条的疏密程度,将肩部区域分为褶皱区域和非褶皱区域,利用光照效果素材库中的褶皱基元对褶皱区域进行建模;
步骤二、根据最接近肖像素材的相应部位的光照参数对褶皱区域进行渲染,得到褶皱区域的光照效果;
步骤三、利用热传导方程将褶皱区域的光照效果扩散到非褶皱区域,得到肩部区域的商图;
步骤四、利用商图对肩部区域进行光照迁移。
优选的是,所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤五中的调整为对三个区域进行区域光照融合。
本发明所述的基于区域分割的肖像光照迁移方法,具有以下优点:
本发明提出了一种基于区域分割的肖像光照迁移方法,在无目标肖像三维模型的条件下,在区域分割的基础上利用参考肖像的光照效果与目标肖像的材质特征为线索,为每个区域在光照效果素材库中匹配到与参考区域光照效果和目标区域材质属性最相似的候选区域作为最接近肖像素材,每个区域都使用不同的光照迁移方法将最接近肖像素材的光影效果迁移到目标区域上,生成目标肖像类似与参考肖像光照效果的,具有真实感的光照迁移效果。
参考肖像的材质属性与目标肖像的材质属性往往存在较大差异,本发明采用光照效果素材库来来解决材质属性上的差异。通过光照效果素材库可以为目标肖像的每一个区域找到一个光照效果与参考肖像相似并且材质与目标肖像相似的最接近肖像素材。
由于肖像中三个部分的材质属性不同本发明对输入肖像的三个部分采取了不同的光照迁移方法:在头发区域使用加权最小二乘滤波器和线性高光增强能够保持目标头发区域的结构细节,同时增强头发区域的局部高光;在脸部区域采用基于边缘保持的人脸光照迁移方法,在肩部区域采用商图的迁移方法,能够获得较为真实的光照迁移效果。
因为输入肖像三个区域匹配到的参考区域光照效果并非完全一致,本发明利用全局光照约束来保证各区域光照迁移效果在总体上保持一致。
附图说明:
图1是本发明的系统总体框架图;
图2是本发明的光照效果素材库示意图;
图3是本发明的区域分割流程图;
图4是本发明光照匹配方法示意图;
图5是本发明的区域匹配示意图;
图6是本发明的头发区域光照迁移流程图;
图7是本发明的脸部区域光照迁移流程图;
图8是本发明的肩部区域光照迁移流程图;
图9是本发明的褶皱基元示意图。
具体实施方式:
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
参阅图1是本发明总体框架图。本发明包括一个光照效果素材库,对于输入肖像的头发区域和脸部区域都可以在库中匹配到与目标区域材质相似并且与参考区域光照相似的肖像素材,库中包含褶皱基元可以对肩部区域褶皱进行建模。本发明首先对目标肖像进行区域分割,分为三个区域:头发区域、脸部区域、肩部区域。对于头发区域和脸部区域在光照素材库中匹配与目标肖像材质相似并且与参考肖像光照效果相似的区域,对于肩部区域使用光照素材库中的褶皱基元对肩部区域的褶皱进行建模,然后利用边缘保持滤波器将参考肖像头发区域和脸部区域的光照效果迁移到目标肖像的头发区域和脸部区域;利用参考肖像的光照参数对建模后的褶皱进行渲染并利用热传导方程将光照效果传播到非褶皱区域实现对肩部区域的光照迁移;最后对三个区域进行光照融合,对光照效果进行优化。
参阅图2是本发明光照效果素材库。本发明使用54种不同方向的平行光来模拟自然情况下大多数的光照情况。54个平行光源分布在球形支架上,光源朝球形支架中心照射,每个光源的光照方向的俯仰角和偏航角都被记录下载。被拍摄者位于球形支架的中心,照相机正对被拍摄者。每进行一次拍摄只亮一盏灯,对于一个被拍摄者共采集54张肖像图像。光照效果素材库包括三部分:头发区域光照素材库、脸部区域光照素材库和褶皱基元。在头发区域光照素材库建立过程中,本发明邀请具有不同发型和发质的模特,每个模特在54种光照条件下进行拍摄。在脸部区域光照素材库建立过程中,本发明邀请具有不同脸型和肤质的模特,每个模特在54种光照条件下进行拍摄。褶皱基元包含一组形状不同的基元,输入肖像的肩部区域的大部分褶皱都可以通过褶皱基元来建模。
参阅图3是本发明区域分割流程图。图像上的每一个像素Ii是由前景像素Fi和背景像素Bi按概率αi线性组合,αi表示前景像素Fi出现的概率。
Ii=αiFi+(1-αi)Bi
本发明中区域分割就是求解该区域中每个像素的概率αi,为了求解αi本发明定义以αi为变量的能量函数:
J ( α ) = J ( α , a , b ) = α T Lα + λ ( α T - b s T ) D s ( α - b s )
其中,λ为一个大的整数,Ds为一个N*N约束对角矩阵,对于采样点处的值为1,其他值为0,bs为N*1采样向量,在约束点处值为1,其他处值为0,L为拉普拉斯矩阵:
L = Σ k | ( i , j ) ∈ w k ( δ ij - 1 | w k | ( 1 + ( I i - μ k ) ( Σ k + ϵ | w k | I 3 ) ( I j - μ k ) ) )
其中,∑k当前窗口内各像素点像素值构成的协方差矩阵,I3为3*3单位矩阵。求解能量方程转化为求解如下的线性系统方程组:
(L+λDs)α=λbs
参阅图4是本发明光照效果匹配方法。本发明利用人脸光照效果为线索来进行光照效果匹配。两个肖像人脸区域的光照效果相似,那么这两个肖像的头发区域和肩膀区域的光照效果也相似。本发明利用人脸光照效果特征向量的欧氏距离来计算人脸光照效果的相似性。人脸光照效果特征向量构造方法如下:将人脸分为10个矩形区域(如图5(a)所示),在每个矩形区域内定义6种光照对比(如图5(b)所示),每种对比的响应值是黑色部分像素直方图和灰色部分像素直方图的KL距离;每个矩形区域由6种对比方式计算出6个响应值,10个矩形区域共60维特征。
参阅图5是本发明的区域匹配示意图。首先提取参考肖像的光照效果特征向量,并用光照效果特征向量在光照效果素材库中的头发区域和脸部区域中找出与参考肖像光照效果最相似的几个头发区域候选素材和脸部区域候选素材。在头发区域候选素材和脸部区域候选素材中找出与目标头发区域和目标脸部区域材质最相似的一个候选区域作为最接近肖像素材。
参阅图6是本发明的头发区域光照迁移流程图。首先使用图像变形方法将参考头发区域对齐到目标突发区域并将目标头发区域和参考头发区域从RGB颜色空间转到Lab颜色空间;然后使用最小二乘滤波器对目标头发区域的明度层和参考头发区域的明度层进行滤波得到目标头发区域的大尺度层和目标头发区域的大尺度层使用减法获得目标头发区域的细节层
D input h = L input h - S input h
本发明采用线性变化对参考头发区域大尺度层做局部高光照效果的增强:
S new h = S ref h + α ( S ref h - mean ( S ref h ) )
对所有的大于平均值的像素点进行明度的线性增强,其中α为明度增强系数,在本发明中α=0.2。将局部高光增强后的参考头发区域的大尺度层与目标图像结构细节层作线性组合,生成目标头发区域图像的明度层的光照迁移效果。
L new h = α 1 S new h + α 2 D input h
其中,α1和α2是线性组合系数,α2越大头发细节越明显。最后,将光照迁移后的L层与目标图像的a,b层组合并转换到RGB颜色空间,生成最终的目标头发区域图像的光照迁移效果。
参阅图7是本发明的脸部区域光照迁移流程图。本发明的脸部区域光照迁移利用基于边缘保持的图像光照迁移算法。首先,使用图像变形方法将参考脸部区域图像对齐到目标脸部区域图像上。将参考脸部区域和目标脸部区域均转换到Lab颜色空间,得到目标脸部区域的明度层和参考脸部区域的明度层利用自适应参数的最小二乘滤波器分别对进行滤波,得到大尺度层使用除法获得目标脸部区域的细节层和参考脸部区域的细节层
D input f = L input f / S input f
D ref f = L ref f / S ref f
然后,利用引导滤波器,使用作为引导图像对进行滤波,同时保留考脸部区域的明暗变化和参考脸部区域的细节信息。目标脸部区域新的明度层通过乘法得到:
L new f = S new f * D input f
最后,与目标脸部区域的色差层相组合,并将图像从Lab转换到RGB颜色空间,完成目标脸部区域图像的光照迁移过程。
参阅图8和图9是本发明的肩部区域光照迁移流程图。本发明所使用的褶皱基元是一段横截面为半椭圆形的柱体(如图9(a)所示),衣服上的一道褶皱可以用几个褶皱基元连接而成(如图9(b)所示),每个褶皱的宽度和高度由用户调整。首先使用褶皱基元对肩部区域褶皱进行建模;然后根据参考肖像的光照条件渲染褶皱基元并利用热传导方程将褶皱区域的光照效果扩散到非褶皱区域得到得到肩部区域在参考肖像的光照效果下的图像Iill.;最后将建模后的褶皱区域在环境光下进行渲染得到肩部区域在环境光下的图像Iamb.并按照如下公式对肩部区域进行光照效果迁移:
I res = I shoulder * I ill . I amb .
其中Ires表示肩部区域光照迁移结果,Ishoulder表示肩部区域图像。
本发明使用的热传导方程如下:
δI ( x , y , t ) δt = α ( ∂ 2 I ∂ x 2 + ∂ 2 I ∂ y 2 ) ( x , y ) ∈ A fd I ( x , y , t ) = I fd ( x , y ) ( x , y ) ∉ A fd
其中(x,y)表示肩膀区域每个像素的坐标,t表示时间,Ifd(x,y)表示渲染后褶皱区域的像素值,在热传导过程中作为恒定的热源,α表示热传导系数,Afd表示褶皱区域。

Claims (5)

1.一种基于区域分割的肖像光照迁移方法,其特征在于,包括以下步骤:
步骤一、建立光照素材库,采集不同脸型和发型,以及不同人种和性别的人在不同光照条件下的高质量正面肖像图像作为光照效果素材;
步骤二、肖像区域分割:将目标肖像和参考肖像分割为头发、脸部、肩部三个区域,其中头发为毛发材质、脸部为皮肤材质、肩部为布料材质;
步骤三、肖像素材匹配:根据参考肖像,在光照素材库中找出与目标肖像最接近的肖像素材;
步骤四、对目标肖像的三个区域通过以下光照迁移方法进行光照迁移:在头发和脸部区域采用基于边缘保持滤波器的光照迁移方法,在肩部区域使用商图的光照迁移方法;
步骤五、利用全局光照约束对目标肖像的每个区域光照效果进行调整;
步骤六、对调整后目标肖像的三个区域进行组合,得到最后光照迁移效果;
其中,步骤三中的肖像素材匹配过程中,包含以下步骤:
步骤一、光照效果匹配,以参考肖像脸部区域光照效果特征为线索,从光照素材库中找出与参考肖像光照效果最相近的几个候选肖像素材;
步骤二、材质匹配,以目标肖像颜色主要成份为线索,从找出的几个候选肖像素材中利用主元分析方法选择与目标肖像材质最相似的一个肖像素材作为最接近肖像素材;
另外,步骤四中肩部区域光照迁移使用商图的光照迁移方法,包含以下步骤:
步骤一、根据图像线条的疏密程度,将肩部区域分为褶皱区域和非褶皱区域,利用光照效果素材库中的褶皱基元对褶皱区域进行建模;
步骤二、根据最接近肖像素材的相应部位的光照参数对褶皱区域进行渲染,得到褶皱区域的光照效果;
步骤三、利用热传导方程将褶皱区域的光照效果扩散到非褶皱区域,得到肩部区域的商图;
步骤四、利用商图对肩部区域进行光照迁移。
2.如权利要求1所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤二中的肖像区域分割步骤如下:
步骤一、用户通过画笔标记出肖像的各个区域;
步骤二、利用以每个像素为中心,局部窗口内像素点的均值与方差,并结合用户画笔信息构造拉普拉斯矩阵;
步骤三、使用线性方程系统求解拉普拉斯矩阵线性方程,得到目标肖像三个区域的透明通道。
3.根据权利要求1所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤四中头发光照迁移使用基于边缘保持的图像光照迁移方法,包含以下步骤:
步骤一、利用加权最小二乘滤波器对头发区域进行滤波得到头发区域大尺度层,将头发区域明度层减去头发区域大尺度层得到头发区域细节层;
步骤二、将最接近肖像素材头发区域的大尺度层变形到目标肖像头发区域并对变形后的大尺度层进行线性增强;
步骤三、将增强后的大尺度层与目标图像的细节层生成最终的目标肖像头发区域图像的光照迁移效果。
4.根据权利要求1所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤四中脸部光照迁移采用基于边缘保持的图像光照迁移方法,包含以下步骤:
步骤一、将最接近肖像素材的人脸区域通过图像变形对齐到目标肖像的人脸区域;
步骤二、使用加权最小二乘滤波器将最接近肖像素材的人脸区域和目标肖像的人脸区域分为大尺度层和细节层,并在目标肖像的人脸区域的大尺度层的引导下对最接近肖像素材的人脸区域的大尺度层进行引导滤波得到新的大尺度层;
步骤三、将新的大尺度层与目标肖像的人脸区域细节层组合得到脸部光照迁移效果。
5.根据权利要求1所述的基于区域分割的肖像光照迁移方法,其特征在于:步骤五中的调整为对三个区域进行区域光照融合。
CN201210320849.8A 2012-08-31 2012-08-31 基于区域分割的肖像光照迁移方法 Active CN102881011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210320849.8A CN102881011B (zh) 2012-08-31 2012-08-31 基于区域分割的肖像光照迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210320849.8A CN102881011B (zh) 2012-08-31 2012-08-31 基于区域分割的肖像光照迁移方法

Publications (2)

Publication Number Publication Date
CN102881011A CN102881011A (zh) 2013-01-16
CN102881011B true CN102881011B (zh) 2015-04-29

Family

ID=47482324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210320849.8A Active CN102881011B (zh) 2012-08-31 2012-08-31 基于区域分割的肖像光照迁移方法

Country Status (1)

Country Link
CN (1) CN102881011B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337088B (zh) * 2013-07-10 2016-07-06 北京航空航天大学 一种基于边缘保持的人脸图像光影编辑方法
CN105447846B (zh) * 2014-08-25 2020-06-23 联想(北京)有限公司 一种图像处理方法及电子设备
CN106296621B (zh) 2015-05-22 2019-08-23 腾讯科技(深圳)有限公司 图像处理方法和装置
CN106611437B (zh) * 2015-10-23 2019-10-22 华为技术有限公司 为三维场景中的多个物体选择材质的方法和装置
CN105392015B (zh) * 2015-11-06 2018-07-17 厦门大学 一种基于显式混合调和扩散的卡通图像压缩方法
CN105956995B (zh) * 2016-04-19 2019-08-02 浙江大学 一种基于实时视频本征分解的人脸外观编辑方法
CN106815883B (zh) * 2016-12-07 2020-06-30 珠海金山网络游戏科技有限公司 一种游戏角色的头发处理方法及系统
CN106682424A (zh) 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统
CN107341774A (zh) * 2017-06-16 2017-11-10 广东欧珀移动通信有限公司 人脸图像美颜处理方法及装置
CN107392869B (zh) * 2017-07-21 2020-12-01 长安大学 一种基于边缘保持滤波器的人脸图像滤波方法
CN107527334A (zh) * 2017-08-28 2017-12-29 北京小米移动软件有限公司 人脸光照迁移方法及装置
CN107909638B (zh) * 2017-11-15 2021-05-14 杭州易现先进科技有限公司 虚拟物体的渲染方法、介质、系统和电子设备
CN109784191B (zh) * 2018-12-20 2021-01-01 华南理工大学 一种基于商图像的多任务人脸光照编辑方法
CN109934895B (zh) * 2019-03-18 2020-12-22 北京海益同展信息科技有限公司 图像局部特征迁移方法与装置
CN110033055A (zh) * 2019-04-19 2019-07-19 中共中央办公厅电子科技学院(北京电子科技学院) 一种基于语义和材质解析与合成的复杂物体图像重光照方法
CN110503711B (zh) * 2019-08-22 2023-02-21 三星电子(中国)研发中心 在增强现实中渲染虚拟物体的方法及装置
CN111243051B (zh) * 2020-01-08 2023-08-18 杭州未名信科科技有限公司 基于肖像照片的简笔画生成方法、系统及存储介质
CN113744364B (zh) * 2021-02-09 2024-04-05 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN113628196A (zh) * 2021-08-16 2021-11-09 广东艾檬电子科技有限公司 一种图像内容的提取方法、装置、终端和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509346A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 基于边缘保持的对象光照迁移方法
CN102567998A (zh) * 2012-01-06 2012-07-11 西安理工大学 基于双模板匹配和边缘细化的头肩序列图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509346A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 基于边缘保持的对象光照迁移方法
CN102567998A (zh) * 2012-01-06 2012-07-11 西安理工大学 基于双模板匹配和边缘细化的头肩序列图像分割方法

Also Published As

Publication number Publication date
CN102881011A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
CN102881011B (zh) 基于区域分割的肖像光照迁移方法
Rudnev et al. Nerf for outdoor scene relighting
CN110910447B (zh) 一种基于动静态场景分离的视觉里程计方法
Radke Computer vision for visual effects
Fischer et al. Flownet: Learning optical flow with convolutional networks
CN106780543B (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
CN109255831A (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN110349247B (zh) 一种基于语义理解的室内场景cad三维重建方法
CN110298916B (zh) 一种基于合成深度数据的三维人体重建方法
CN102609950B (zh) 一种二维视频深度图的生成方法
Liu et al. Image de-hazing from the perspective of noise filtering
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN110276753A (zh) 基于特征空间统计信息映射的目标自适应隐藏方法
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
CN114463492A (zh) 一种基于深度学习的自适应通道注意力三维重建方法
Xiao et al. Image hazing algorithm based on generative adversarial networks
Li et al. Effective data-driven technology for efficient vision-based outdoor industrial systems
Li et al. Three-dimensional motion estimation via matrix completion
Khan et al. Towards monocular neural facial depth estimation: Past, present, and future
CN115018729A (zh) 一种面向内容的白盒图像增强方法
CN104361629B (zh) 一种基于流线变形的烟模型空间编辑方法
Guo et al. Mesh-guided optimized retexturing for image and video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant