CN109300170A - 肖像照片光影传递方法 - Google Patents

肖像照片光影传递方法 Download PDF

Info

Publication number
CN109300170A
CN109300170A CN201811214314.6A CN201811214314A CN109300170A CN 109300170 A CN109300170 A CN 109300170A CN 201811214314 A CN201811214314 A CN 201811214314A CN 109300170 A CN109300170 A CN 109300170A
Authority
CN
China
Prior art keywords
shadow
image
reference picture
target
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811214314.6A
Other languages
English (en)
Other versions
CN109300170B (zh
Inventor
普园媛
王立鹏
徐丹
周浩
吴昊
袁国武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201811214314.6A priority Critical patent/CN109300170B/zh
Publication of CN109300170A publication Critical patent/CN109300170A/zh
Application granted granted Critical
Publication of CN109300170B publication Critical patent/CN109300170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了肖像照片光影传递方法，涉及计算机视觉技术领域，包括：根据目标图像将参考图像进行人脸对齐，获得参考图像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对齐图像进行图像分割，获得对应的光影掩膜的引导；基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，再进一步结合加权空间控制算法，将小面积光影传递到目标图像上。本发明通过采用上述方法可以提高光影传递效果，使得肤色和图像细节更好地保留，光影传递更自然，提高了用户体验。

Description

肖像照片光影传递方法
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及肖像照片光影传递方法。
背景技术
随着手机、平板等电子设备和互联网的普及，图像数量呈现井喷式增 长，每时每刻都有大量的肖像照片被分享到各种社交平台上，而大部分人 由于场地、设备以及摄影技巧等的限制，所拍摄的肖像照片大都不具有美 感。当前越来越多的人对于照片的美感要求越来越高，而在艺术照片美感 评价中，光与影组合的效果只要拿捏得恰到好处，就可以体现人脸的空间 感和层次感，突出人物的性格，使一幅肖像照片的美感大大增强。随着计 算机图形学、数字图像处理技术以及计算机视觉研究的逐步深入，对人脸 光影的计算机处理开始在各行各业延伸，并且在电影、艺术照和肖像照等 方面得到了广泛的应用，而光影处理的其中一方面就是将一幅具有艺术光 影的参考人脸图像中的光影传递到另一幅没有艺术光影的目标人脸图像 上，使目标图像具有艺术光影从而具有美感。简而言之就是从参考图像中 提取光影信息特征，并与从目标图像提取的内容特征进行组合生成一幅新 的艺术照。
现有技术中，虽然提出了很多肖像照片光影传递的方法，但在细节保 留程度、传递结果光影的自然度以及与参考图像的相似度方面效果较差， 从而影响传递结果的整体效果，不能给用户完美的体验。
发明内容
有鉴于此，本发明的目的在于提供肖像照片光影传递方法，以提高光 影传递效果，使得图像细节更好地保留，光影更自然，提高了用户体验。
第一方面，本发明实施例提供了一种肖像照片光影传递方法，其中， 所述方法包括：
对齐步骤：采用局部二值特征LBF和基于特征线的图像变换算法，并 根据目标图像将参考图像进行人脸对齐，获得所述参考图像的对齐图像；
分割步骤：根据所述参考图像的光影特点，采用匹配的光影检测算法 将所述对齐图像进行图像分割，获得对应的光影掩膜；
提取步骤：基于所述光影掩膜的引导，并采用卷积神经网络的不同层 分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；
第一传递步骤：根据所述结构特征、所述光影信息，并采用目标损失 函数和光影掩膜将所述对齐图像的大面积光影传递到所述目标图像上，获 得第一光影传递结果；
第二传递步骤：基于所述第一光影传递结果并结合加权空间控制算法， 将所述对齐图像的小面积光影传递到所述目标图像上，获得第二光影传递 结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方 式，其中，所述对齐步骤包括：
采用所述LBF将所述目标图像和所述参考图像分别进行特征标注，获 得对应的目标人脸特征点和参考人脸特征点；
采用所述基于特征线的图像变换算法将所述参考图像进行形变，并将 所述参考人脸特征点对齐到所述目标人脸特征点上，获得所述对齐图像。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方 式，其中，所述光影掩膜包括二分光影掩膜和三分光影掩膜，所述分割步 骤包括：
根据所述参考图像的光影特点对光影区域进行分割，并根据分割结果 划分第一类光影和第二类光影；
当所述参考图像为所述第一类光影时，采用基于感知颜色空间的光影 检测算法，将所述对齐图像进行图像分割，获得所述二分光影掩膜；
当所述参考图像为所述第二类光影时，采用基于马尔科夫随机场 MRF-MAP的光影检测算法，将所述对齐图像进行图像分割，获得所述三分 光影掩膜。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方 式，其中，所述提取步骤包括：
将所述目标图像和所述对齐图像转化到Lab色彩空间，并通过分离亮 度层和颜色层，提取所述目标图像亮度通道和所述参考图像亮度通道；
基于所述光影掩膜，并采用卷积神经网络的不同层分别提取所述目标 图像亮度通道和所述参考图像亮度通道的结构特征和光影信息。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方 式，其中，在对第一类光影执行所述第一传递步骤中，所述目标损失函数 为施加有照片真实感正则项的损失函数，根据下式获得：
其中，Ltotal是所述目标损失函数，是内容损失，αl是的权重 值，是光影损失，βl是的权重值，Γ是平衡内容损失和光影损失的 权重，Lm是照片真实感正则项，λ用于控制正则化程度，L为卷积神经网 络卷积层的总数。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方 面的第五种可能的实施方式，其中，所述内容损失根据下式获得：
其中，是内容损失，Fl[x]是参考图像在卷积神经网络第l层的内 容表示，Fl[p]是目标图像在卷积神经网络第l层的内容表示，Nl为卷积神经 网络第l层的特征向量个数，Ml是每个特征向量的维度，i为第l层的第i 个特征向量，j为第i个特征向量中的第j个值。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方 面的第六种可能的实施方式，其中，所述光影损失根据下式获得：
其中，是光影损失，C是光影掩膜被划分的语义区域的数量，Gl,c[x] 是参考图像对应的格拉姆矩阵，Gl,c[p]是目标图像对应的格拉姆矩阵，Nl,c为 格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的 第j个值。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方 面的第七种可能的实施方式，其中，所述照片真实感正则项根据下式获得：
Lm＝V[x]TMpV[x]，
其中，Lm是照片真实感正则项，V[x]是输出图像在亮度通道的矢量化 表示，Mp为目标图像经拉普拉斯抠图产生的掩膜矩阵。
结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方 式，其中，所述第二传递步骤包括：
当光影为第二类光影时，在所述目标损失函数中的所述光影损失上增 加光影强化权重，将所述对齐图像的对应的小面积光影进行强化，获得所 述第二类光影对应的所述第二光影传递结果。
结合第一方面的第八种可能的实施方式，本发明实施例提供了第一方 面的第九种可能的实施方式，其中，结合光影强化权重的光影损失根据下 式获得：
其中，为结合光影强化权重的光影损失，wc是所述光影强化权重参 数，C是光影掩膜被划分的语义区域的数量，Gl,c[x]是参考图像对应的格拉 姆矩阵，Gl,c[p]是目标图像对应的格拉姆矩阵，Nl,c为格拉姆矩阵的阶数，i 为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
本发明实施例带来了以下有益效果：
本发明提供的肖像照片光影传递方法，包括：采用LBF和基于特征线 的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得参考图 像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对 齐图像进行图像分割，获得对应的光影掩膜；基于光影掩膜，并采用卷积 神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构 特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传递结果； 基于第一光影传递结果并结合加权空间控制算法，将对齐图像的小面积光 影传递到目标图像上，获得第二光影传递结果。本发明通过采用LBF提高 人脸特征标注的精准性；利用卷积神经网络提取结构特征和光影信息，使 得光影传递更加彻底；采用目标损失函数和光影掩膜，避免发生光影溢出 的情况，从而使传递结果具有更逼真的光影效果，同时，还降低了参考图 像对目标图像的人脸细节的影响；结合加权空间控制算法，可以有效保留 传递结果的肤色，改善小光影传递后变淡的问题。可见，本发明采用上述 方法可以提高光影传递效果，使得图像细节更好地保留，光影更自然，极 大的提高了用户体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从 说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其 他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1为本发明实施例一提供的肖像照片光影传递方法流程图；
图2为本发明实施例二提供的人脸对齐方法流程图；
图3为本发明实施例二提供的图像分割流程图；
图4为本发明实施例二提供的光影掩膜示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附 图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
当前越来越多的人对于照片的美感要求越来越高，而在艺术照片美感 评价中，光与影组合的效果只要拿捏得恰到好处，就可以体现人脸的空间 感和层次感，突出人物的性格，使一幅肖像照片的美感大大增强。随着计 算机图形学、数字图像处理技术以及计算机视觉研究的逐步深入，对人脸 光影的计算机处理开始在各行各业延伸，并且在电影、艺术照和肖像照等 方面得到了广泛的应用，而光影处理的其中一方面就是将一幅具有艺术光影的参考人脸图像中的光影传递到另一幅没有艺术光影的目标人脸图像 上，使目标图像具有艺术光影从而具有美感。简而言之就是从参考图像中 提取光影信息特征，并与从目标图像提取的内容特征进行组合生成一幅新 的艺术照。现有技术中，虽然提出了很多肖像照片光影传递的方法，但在 细节保留程度、传递结果光影的自然度以及与参考图像的相似度方面效果 较差，从而影响传递结果的整体效果，不能给用户完美的体验。
基于此，本发明实施例提供的肖像照片光影传递方法，可以提高光影 传递效果，使得图像细节更好地保留，光影更自然，提高了用户体验。
为便于对本实施例进行理解，首先对本发明实施例所公开的肖像照片 光影传递方法进行详细介绍。
实施例一：
图1为本发明实施例一提供的肖像照片光影传递方法流程图。
在本实施例中，肖像照片光影传递方法应用于用户终端上，用户终端 可以包括但不限于：智能手机、个人电脑、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID) 等。
参照图1，肖像照片光影传递方法主要包括以下步骤：
对齐步骤S110，采用LBF(Local binary feature，局部二值特征)和基 于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获 得参考图像的对齐图像。
分割步骤S120，根据参考图像的光影特点，采用匹配的光影检测算法 将对齐图像进行图像分割，获得对应的光影掩膜。
提取步骤S130，基于光影掩膜，并采用卷积神经网络的不同层分别提 取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息。
第一传递步骤S140，根据结构特征、光影信息，并采用目标损失函数 和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传 递结果。
第二传递步骤S150，基于第一光影传递结果并结合加权空间控制算法， 将对齐图像的小面积光影传递到目标图像上，获得第二光影传递结果。
实施例二：
图2为本发明实施例二提供的人脸对齐方法流程图。
本实施例将对上述的肖像照片光影传递方法做展开描述。
参照图2，对齐步骤S110的具体实现过程如下：
步骤S210，采用LBF将目标图像和参考图像分别进行特征标注，获得 对应的目标人脸特征点和参考人脸特征点。
具体的，采用LBF的算法分别将目标图像和参考图像进行特征点的提 取，LBF算法是一种快速高效的特征点标注方法，该方法不仅可以快速的 找到人脸特征点的位置，而且所标注人脸特征点的位置也较为精准。
步骤S220，采用基于特征线的图像变换算法将参考图像进行形变，并 将参考人脸特征点对齐到目标人脸特征点上，获得对齐图像。
具体的，为得到较好的人脸对齐结果，以人脸特征点作为控制顶点， 采用基于特征线的图像变形算法，把参考图像的参考人脸特征点对齐到目 标图像的目标人脸特征点上，从而获得参考图像的对齐图像。
参照图3，分割步骤S120的具体实现过程如下：
步骤S310，根据参考图像的光影特点对光影区域进行分割，并根据分 割结果划分第一类光影和第二类光影。
具体的，通过观察参考图像的光影的特点，可以发现光影区域可以大 致分为两类，一种是光影区和非光影区对比较分明的光影，如图4(a)所 示，对其采用二分光影掩膜，即分割出光影区域和非光影区域，称为第一 类光影；另一种是光影区域存在过渡感的光影，如图4(b)所示，对其采 用三分光影掩膜，即分割出光影区域、过渡区域和非光影区域，称为第二 类光影。结合光影传递的目的，针对不同种类的光影采用不同形式的光影 掩膜。
步骤S320，当参考图像为第一类光影时，采用基于感知颜色空间的光 影检测算法，将对齐图像进行图像分割，获得二分光影掩膜。
具体的，采用基于感知颜色空间的光影检测算法来提取对齐图像的二 分光影掩膜。首先将对齐图像转化到PCS(Picture Coding Symposium，图 像编码研讨会)空间；然后通过基于PCS空间的阴影检测算法来确立阴影 种子像素；最后使用MRF和信任传导算法来对阴影区进行扩充检测得到二 分光影掩膜。
步骤S330，当参考图像为第二类光影时，采用基于马尔科夫随机场 MRF-MAP的光影检测算法，将对齐图像进行图像分割，获得三分光影掩膜。
具体的，使用基于MRF-MAP的光影检测方法来提取对齐图像的三分 光影掩膜。首先使用阈值法对图像进行初始分割得到三分的初始分割结果， 然后使用MRF-MAP方法对初始分割结果进行迭代更新得到三分光影掩膜。
进一步的，提取步骤S130的具体实现过程如下：
首先，将目标图像和对齐图像转化到Lab色彩空间，并通过分离亮度 层和颜色层，提取目标图像亮度通道和参考图像亮度通道。
在提取对应的亮度通道的过程中，由于光影传递中光影信息主要存在 于图像的亮度层中，因此，通过分离亮度层和颜色层，仅在亮度通道中执 行光影传递，以避免参考图像肤色的影响，保留目标图像的肤色。
然后，基于光影掩膜，并采用卷积神经网络的不同层分别提取目标图 像亮度通道和参考图像亮度通道的结构特征和光影信息。
具体的，目标图像亮度通道经过卷积神经网络的不同层后，在每个卷 积层会提取到许多特征图，每一层的特征图构成了其在该层的人脸结构表 示(属于结构特征)；同样的参考图像亮度通道在卷积神经网络每一层的 特征图构成了其在该层的光影表示(属于光影信息)。
随机初始化一张参考图像，参考图像通过卷积神经网络时也会提取到 很多特征图，每层的特征图分别构成参考图像在该层的人脸结构表示和光 影表示。
进一步的，基于提取到的结构特征和光影信息进入光影传递过程。在 对第一类光影执行第一传递步骤S140中，通过不断的迭代、优化目标损失 函数，使目标图像亮度通道的人脸结构表示与噪声图像的人脸结构表示、 以及参考图像亮度通道的光影表示与噪声图像的光影表示的差异性最小， 最终使噪声图像优化为既保持目标图像亮度通道的人脸结构信息，又具有 参考图像亮度通道的光影信息。
这里，目标损失函数为施加有照片真实感正则项的损失函数，施加照 片真实感正则项可以确保不会丢失人脸结构信息、不会发生光影溢出，从 而产生更逼真的光影效果。目标损失函数如公式(1)所示：
其中，Ltotal是目标损失函数，是内容损失，αl是的权重值，是 光影损失，βl是的权重值，Γ是平衡内容损失和光影损失的权重，Lm是 照片真实感正则项，λ用于控制正则化程度，L为卷积神经网络卷积层的总 数。如卷积神经网络选用VGG-19，内容表示层选择conv4_2(α＝1，其他层 α＝0)，风格表示层选择conv1_1，conv2_1，conv3_1，conv4_1，conv5_1(β＝1/5， 其他层β＝0)，参数Γ设置为103比较合适，λ一般设置103。
内容损失可由参考图像x在网络中第l层的内容表示Fl[x]和目标 图像p在l层的内容表示Fl[p]之间的均方误差损失函数来定义，如公式(2) 所示：
其中，是内容损失，Fl[x]是参考图像在卷积神经网络第l层的内 容表示，Fl[p]是目标图像在卷积神经网络第l层的内容表示，Nl为卷积神经 网络第l层的特征向量个数，Ml是每个特征向量的维度，i表示第l层的第 i个特征向量，j表示第i个特征向量中的第j个值。
图像的光影表示由卷积层中不同滤波器之间特征响应的相关关系 表示，其中Gl[·]＝Fl[·]Fl[·]T是图像在l层中特征向量间的格拉姆矩 阵。为了精准的传递光影，在传递之前会对图像进行语义分割以生成掩膜， 然后以掩膜上对应相同的语义区域来引导光影的传递。假设掩膜被划分为 C个语义区域，则定义第l层中掩膜的c通道为Ml,c[·]，对应的格拉姆矩阵 重新定义为Gl，c[·]＝Fl[·]Ml，c[·]，此时光影损失可由公式(3)表示：
其中，Nl,c为格拉姆矩阵的阶数。
假设目标图像p中有N个像素，则目标图像p经过拉普拉斯抠图产生 的掩膜矩阵Mp是N×N的。将输出参考图像x在亮度通道的矢量化版本 (N×1)定义为V[x]，照片真实感正则项Lm以公式(4)表示：
Lm＝V[x]TMpV[x] (4)；
在光影传递的过程中，添加在损失函数上照片真实感正则项Lm是与图像扭 曲相关的惩罚项，用来确保不会丢失人脸结构信息。
进一步的，第二传递步骤S140在具体实现时包括：
当光影为第二类光影时，通过在光影损失上增加光影强化权重，将对 齐图像的对应的小面积光影进行强化，获得对应的第二光影传递结果。
具体的，在传递一些光影区域面积较小的小光影时，会存在传递后光 影区域较淡的问题，在基于颜色保持的光影传递算法中语义分割思想的基 础上，提出了基于语义分割的加权空间控制方法，来调节光影的浓淡。在 第二类光影传递时，使用的光影掩膜最多存在三类标签区域，即代表光影 区域的黑色标签，过渡区域的灰色标签和非光影区域的白色标签。通过在 相关的光影损失上添加权重以控制此区域中的光影化强度，此时，结合有 光影强化权重的光影损失根据公式(5)获得：
其中，为结合光影强化权重的光影损失，wc是光影强化权重参数。由于 只是调节光影区域的光影化强度，仅在检测到标签为黑色时设置权值wc为 104，灰色标签和白色标签权值wc设置为1。
应注意到：相似的标号和字母在上述实施例中表示类似项，因此，一 旦某一项在一个公式中被定义，则在随后的公式中不需要对其进行进一步 定义和解释。
综上所述，本发明实施例带来了以下有益效果：
本发明提供的肖像照片光影传递方法，包括：采用LBF和基于特征线 的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得参考图 像的对齐图像；根据参考图像的光影特点，采用匹配的光影检测算法将对 齐图像进行图像分割，获得对应的光影掩膜；基于光影掩膜，并采用卷积 神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构 特征和光影信息；根据结构特征、光影信息，并采用目标损失函数和光影掩膜将对齐图像的大面积光影传递到目标图像上，获得第一光影传递结果； 基于第一光影传递结果并结合加权空间控制算法，将对齐图像的小面积光 影传递到目标图像上，获得第二光影传递结果。本发明通过采用LBF提高 人脸特征标注的精准性；利用卷积神经网络提取结构特征和光影信息，使 得光影传递更加彻底；采用目标损失函数和光影掩膜，避免发生光影溢出 的情况，从而使传递结果具有更逼真的光影效果，同时，还降低了参考图 像对目标图像的人脸细节的影响；结合加权空间控制算法，可以有效保留 传递结果的肤色，改善小光影传递后变淡的问题。可见，本发明采用上述 方法可以提高光影传递效果，使得图像细节更好地保留，光影更自然，极 大的提高了用户体验。
本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中 存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上 述实施例提供的肖像照片光影传递方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质 上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的肖像 照片光影传递方法的步骤。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用 于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用 以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于 此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利 要求的保护范围为准。

Claims (10)

1.一种肖像照片光影传递方法，其特征在于，所述方法包括：
对齐步骤：采用局部二值特征LBF和基于特征线的图像变换算法，并根据目标图像将参考图像进行人脸对齐，获得所述参考图像的对齐图像；
分割步骤：根据所述参考图像的光影特点，采用匹配的光影检测算法将所述对齐图像进行图像分割，获得对应的光影掩膜；
提取步骤：基于所述光影掩膜的引导，并采用卷积神经网络的不同层分别提取目标图像亮度通道和参考图像亮度通道的结构特征和光影信息；
第一传递步骤：根据所述结构特征、所述光影信息，并采用目标损失函数和所述光影掩膜将所述对齐图像的大面积光影传递到所述目标图像上，获得第一光影传递结果；
第二传递步骤：基于所述第一光影传递结果并结合加权空间控制算法，将所述对齐图像的小面积光影传递到所述目标图像上，获得第二光影传递结果。
2.根据权利要求1所述的方法，其特征在于，所述对齐步骤包括：
采用所述LBF将所述目标图像和所述参考图像分别进行特征标注，获得对应的目标人脸特征点和参考人脸特征点；
采用所述基于特征线的图像变换算法将所述参考图像进行形变，并将所述参考人脸特征点对齐到所述目标人脸特征点上，获得所述对齐图像。
3.根据权利要求1所述的方法，其特征在于，所述光影掩膜包括二分光影掩膜和三分光影掩膜，所述分割步骤包括：
根据所述参考图像的光影特点对光影区域进行分割，并根据分割结果划分第一类光影和第二类光影；
当所述参考图像为所述第一类光影时，采用基于感知颜色空间的光影检测算法，将所述对齐图像进行图像分割，获得所述二分光影掩膜；
当所述参考图像为所述第二类光影时，采用基于马尔科夫随机场MRF-MAP的光影检测算法，将所述对齐图像进行图像分割，获得所述三分光影掩膜。
4.根据权利要求1所述的方法，其特征在于，所述提取步骤包括：
将所述目标图像和所述对齐图像转化到Lab色彩空间，并通过分离亮度层和颜色层，提取所述目标图像亮度通道和所述参考图像亮度通道；
基于所述光影掩膜，并采用卷积神经网络的不同层分别提取所述目标图像亮度通道和所述参考图像亮度通道的结构特征和光影信息。
5.根据权利要求1所述的方法，其特征在于，在对第一类光影执行所述第一传递步骤中，所述目标损失函数为施加有照片真实感正则项的损失函数，根据下式获得：
其中，Ltotal是所述目标损失函数，是内容损失，αl是的权重值，是光影损失，βl是的权重值，Γ是平衡内容损失和光影损失的权重，Lm是照片真实感正则项，λ用于控制正则化程度，L为卷积神经网络卷积层的总数。
6.根据权利要求5所述的方法，其特征在于，所述内容损失根据下式获得：
其中，是内容损失，Fl[x]是参考图像在卷积神经网络第l层的内容表示，Fl[p]是目标图像在卷积神经网络第l层的内容表示，Nl为卷积神经网络第l层的特征向量个数，Ml是每个特征向量的维度，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
7.根据权利要求5所述的方法，其特征在于，所述光影损失根据下式获得：
其中，是光影损失，C是光影掩膜被划分的语义区域的数量，Gl,c[x]是参考图像对应的格拉姆矩阵，Gl,c[p]是目标图像对应的格拉姆矩阵，Nl,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
8.根据权利要求5所述的方法，其特征在于，所述照片真实感正则项根据下式获得：
Lm＝V[x]TMpV[x]，
其中，Lm是照片真实感正则项，V[x]是输出图像在亮度通道的矢量化表示，Mp为目标图像经拉普拉斯抠图产生的掩膜矩阵。
9.根据权利要求1所述的方法，其特征在于，所述第二传递步骤包括：
当光影为第二类光影时，在所述目标损失函数中的所述光影损失上增加光影强化权重，将所述对齐图像的对应的小面积光影进行强化，获得所述第二类光影对应的所述第二光影传递结果。
10.根据权利要求9所述的方法，其特征在于，结合光影强化权重的光影损失根据下式获得：
其中，为结合光影强化权重的光影损失，wc是所述光影强化权重参数，C是光影掩膜被划分的语义区域的数量，Gl,c[x]是参考图像对应的格拉姆矩阵，Gl,c[p]是目标图像对应的格拉姆矩阵，Nl,c为格拉姆矩阵的阶数，i为第l层的第i个特征向量，j为第i个特征向量中的第j个值。
CN201811214314.6A 2018-10-18 2018-10-18 肖像照片光影传递方法 Active CN109300170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811214314.6A CN109300170B (zh) 2018-10-18 2018-10-18 肖像照片光影传递方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811214314.6A CN109300170B (zh) 2018-10-18 2018-10-18 肖像照片光影传递方法

Publications (2)

Publication Number Publication Date
CN109300170A true CN109300170A (zh) 2019-02-01
CN109300170B CN109300170B (zh) 2022-10-28

Family

ID=65157228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811214314.6A Active CN109300170B (zh) 2018-10-18 2018-10-18 肖像照片光影传递方法

Country Status (1)

Country Link
CN (1) CN109300170B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031242A (zh) * 2019-12-13 2020-04-17 维沃移动通信有限公司 图像处理方法及装置
CN112561850A (zh) * 2019-09-26 2021-03-26 上海汽车集团股份有限公司 一种汽车涂胶检测方法、设备及存储介质
CN112967338A (zh) * 2019-12-13 2021-06-15 宏达国际电子股份有限公司 影像处理系统及影像处理方法

Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05208007A (ja) * 1991-11-20 1993-08-20 General Electric Co <Ge> Ｃｔシステム用逆重畳積分フィルタ
CN102360513A (zh) * 2011-09-30 2012-02-22 北京航空航天大学 基于梯度操作的对象光照迁移方法
CN102509345A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于画家知识的肖像艺术光影效果生成方法
US20130129141A1 (en) * 2010-08-20 2013-05-23 Jue Wang Methods and Apparatus for Facial Feature Replacement
CN104615642A (zh) * 2014-12-17 2015-05-13 吉林大学 基于局部邻域约束的空间验证的错误匹配检测方法
CN105760834A (zh) * 2016-02-14 2016-07-13 北京飞搜科技有限公司 一种人脸特征点定位方法
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
US20170103308A1 (en) * 2015-10-08 2017-04-13 International Business Machines Corporation Acceleration of convolutional neural network training using stochastic perforation
US20170139572A1 (en) * 2015-11-17 2017-05-18 Adobe Systems Incorporated Image Color and Tone Style Transfer
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN106875409A (zh) * 2017-03-24 2017-06-20 云南大学 一种轻量型切口疝补片三维超声图像特征提取方法
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN107424153A (zh) * 2017-04-18 2017-12-01 辽宁科技大学 基于深度学习和水平集方法的人脸分割技术
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
US20180082715A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Artistic style transfer for videos
WO2018075927A1 (en) * 2016-10-21 2018-04-26 Google Llc Stylizing input images
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统
CN107977658A (zh) * 2017-12-27 2018-05-01 深圳Tcl新技术有限公司 图像文字区域的识别方法、电视机和可读存储介质
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
US20180144490A1 (en) * 2016-11-23 2018-05-24 Shenzhen University Method, Apparatus, Storage Medium and Device for Controlled Synthesis of Inhomogeneous Textures
US20180150947A1 (en) * 2016-11-28 2018-05-31 Adobe Systems Incorporated Facilitating sketch to painting transformations
CN108205813A (zh) * 2016-12-16 2018-06-26 微软技术许可有限责任公司 基于学习网络的图像风格化
CN108470320A (zh) * 2018-02-24 2018-08-31 中山大学 一种基于cnn的图像风格化方法及系统
CN108629338A (zh) * 2018-06-14 2018-10-09 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法
US20180293429A1 (en) * 2017-03-30 2018-10-11 George Mason University Age invariant face recognition using convolutional neural networks and set distances
CN108664893A (zh) * 2018-04-03 2018-10-16 福州海景科技开发有限公司 一种人脸检测方法及存储介质

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05208007A (ja) * 1991-11-20 1993-08-20 General Electric Co <Ge> Ｃｔシステム用逆重畳積分フィルタ
US20130129141A1 (en) * 2010-08-20 2013-05-23 Jue Wang Methods and Apparatus for Facial Feature Replacement
CN102360513A (zh) * 2011-09-30 2012-02-22 北京航空航天大学 基于梯度操作的对象光照迁移方法
CN102509345A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于画家知识的肖像艺术光影效果生成方法
CN104615642A (zh) * 2014-12-17 2015-05-13 吉林大学 基于局部邻域约束的空间验证的错误匹配检测方法
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
US20170103308A1 (en) * 2015-10-08 2017-04-13 International Business Machines Corporation Acceleration of convolutional neural network training using stochastic perforation
US20170139572A1 (en) * 2015-11-17 2017-05-18 Adobe Systems Incorporated Image Color and Tone Style Transfer
CN105760834A (zh) * 2016-02-14 2016-07-13 北京飞搜科技有限公司 一种人脸特征点定位方法
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
US20180082715A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Artistic style transfer for videos
WO2018075927A1 (en) * 2016-10-21 2018-04-26 Google Llc Stylizing input images
US20180144490A1 (en) * 2016-11-23 2018-05-24 Shenzhen University Method, Apparatus, Storage Medium and Device for Controlled Synthesis of Inhomogeneous Textures
US20180150947A1 (en) * 2016-11-28 2018-05-31 Adobe Systems Incorporated Facilitating sketch to painting transformations
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
CN106780512A (zh) * 2016-11-30 2017-05-31 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
CN108205813A (zh) * 2016-12-16 2018-06-26 微软技术许可有限责任公司 基于学习网络的图像风格化
CN106960457A (zh) * 2017-03-02 2017-07-18 华侨大学 一种基于图像语义提取和涂鸦的彩绘画创作方法
CN106875409A (zh) * 2017-03-24 2017-06-20 云南大学 一种轻量型切口疝补片三维超声图像特征提取方法
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
US20180293429A1 (en) * 2017-03-30 2018-10-11 George Mason University Age invariant face recognition using convolutional neural networks and set distances
CN107424153A (zh) * 2017-04-18 2017-12-01 辽宁科技大学 基于深度学习和水平集方法的人脸分割技术
CN107729819A (zh) * 2017-09-22 2018-02-23 华中科技大学 一种基于稀疏全卷积神经网络的人脸标注方法
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统
CN107977658A (zh) * 2017-12-27 2018-05-01 深圳Tcl新技术有限公司 图像文字区域的识别方法、电视机和可读存储介质
CN108470320A (zh) * 2018-02-24 2018-08-31 中山大学 一种基于cnn的图像风格化方法及系统
CN108664893A (zh) * 2018-04-03 2018-10-16 福州海景科技开发有限公司 一种人脸检测方法及存储介质
CN108629338A (zh) * 2018-06-14 2018-10-09 五邑大学 一种基于lbp和卷积神经网络的人脸美丽预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG WANG等: ""Face Re-Lighting from a Single Image under Harsh Lighting Conditions"", 《COMPUTER VISION AND PATTERN RECOGNITION. IEEE CONFERENCE ON. IEEE》 *
周威等: "包装容器虚拟造型三维表现与设计效果案例精解", 《包装世界》 *
栾五洋: "基于深度学习的图像风格转换浅论", 《数字通信世界》 *
梁凌宇等: "自适应编辑传播的人脸图像光照迁移", 《光学精密工程》 *
胡可鑫等: ""基于先验知识的快速人脸光照迁移算法"", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561850A (zh) * 2019-09-26 2021-03-26 上海汽车集团股份有限公司 一种汽车涂胶检测方法、设备及存储介质
CN111031242A (zh) * 2019-12-13 2020-04-17 维沃移动通信有限公司 图像处理方法及装置
CN112967338A (zh) * 2019-12-13 2021-06-15 宏达国际电子股份有限公司 影像处理系统及影像处理方法
CN111031242B (zh) * 2019-12-13 2021-08-24 维沃移动通信有限公司 图像处理方法及装置
CN112967338B (zh) * 2019-12-13 2024-05-31 宏达国际电子股份有限公司 影像处理系统及影像处理方法

Also Published As

Publication number Publication date
CN109300170B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN105279746B (zh) 一种基于双边滤波的多曝光图像融合方法
CN104881853B (zh) 一种基于色彩概念化的肤色矫正方法和系统
KR102290985B1 (ko) 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
CN103021002B (zh) 彩色素描图像生成方法
Du et al. Saliency-guided color-to-gray conversion using region-based optimization
CN109300170A (zh) 肖像照片光影传递方法
CN112328345B (zh) 用于确定主题色的方法、装置、电子设备及可读存储介质
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
CN106340025A (zh) 一种基于色适应变换的背景更换视觉传达方法
Wang et al. Color contrast-preserving decolorization
Huang et al. A fully-automatic image colorization scheme using improved CycleGAN with skip connections
Rawat et al. A spring-electric graph model for socialized group photography
Hussain et al. Color constancy for uniform and non-uniform illuminant using image texture
CN109064431B (zh) 一种图片亮度调节方法、设备及其存储介质
CN107451974A (zh) 一种高动态范围图像的自适应再现显示方法
US9092889B2 (en) Image processing apparatus, image processing method, and program storage medium
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
JP5896204B2 (ja) 画像処理装置及びプログラム
CN112686800B (zh) 图像处理方法、装置、电子设备及存储介质
CN114187166A (zh) 图像处理方法、智能终端及存储介质
Lai et al. Single image dehazing with optimal transmission map
CN106887024B (zh) 照片的处理方法及处理系统
Park et al. Enhancing underwater color images via optical imaging model and non-local means denoising
CN105160329B (zh) 一种基于yuv颜色空间的牙齿识别方法、系统及拍摄终端
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared