CN112384928A - 对图像执行对象照明操纵的方法和装置 - Google Patents

Abstract

提供了一种对第一图像执行对象照明操纵操作的方法和照明操纵设备。该方法包括：接收第一图像和光方向输入；生成具有从第一图像检测到的第一对象的第二图像；基于光方向确定第二图像的第二对象照明；以及用第二对象照明替换第一图像的第一对象照明。

Description

对图像执行对象照明操纵的方法和装置

技术领域

本公开涉及对图像中对象的照明的操纵。更具体地，本公开涉及一种对图像序列中的图像执行对象照明操纵的方法以及实现该方法的用户计算设备。

背景技术

图1是示出根据相关技术的对图像执行对象照明操纵的一般操作。

用于操纵图像中的对象的照明的方法通常包括：在操作S10中输入对象图像，在操作S11中检测对象界标，在操作S12中提取对象反照率和照明，在操作S13中改变对象照明，在操作S14中将对象反照率和改变后的照明混合，以及在操作S15中将经混合的对象反照率和改变后的照明施加到对象图像。

三菱电机研究所的题为“用于定向照明的归一化的脸部补亮(Face relightingfor normalization of directional lighting)”的2008年1月29日的美国专利US 7,324,688 B2描述了一种使用逐块优化算法执行照明操纵以提取反照率和照明图以进一步进行脸部照明归一化的方法。该′688号专利中公开的方法的主要缺点是由于将照明操纵方法应用于脸部图像而导致独特的脸部特征发生了变化。由此，图像上的已经受了这种照明操纵方法的脸部变得类似于用于这种照明操纵的参考脸部。

数码光学欧洲有限公司(DIGITALOPTICS CORPORATION EUROPE LIMIT)等的题为“基于纹理空间分解在统计脸部建模中分离定向照明可变性(Separating directionallighting variability in statistical face modeling based on texture spacedecomposition)”的2013年11月12日的另一项美国专利US 8,582,896 B2描述了一种使用通用脸部模型将图像分解为反照率和照明的方法，其中该通用脸部模型是通过将主成分分析(PCA)投影到在任意图像数据库上训练的均匀光子空间(Uniform Light Subspace)而创建的。根据该′896号专利的描述，这种方法只能在一定程度上消除照明。此外，该′896号专利的方法无法消除彩色照明，并且不能设计为以高分辨率处理脸部图像。

微软公司的题为“脸部图像处理(Facial image processing)”的2008年10月7日的另一项美国专利US 7,433,807 B2描述了一种处理脸部图像的方法，该方法使用若干个闪光灯创建3D脸部模型，并基于3D模型法线将反照率与照明分开。该′807号专利中教示的方法需要无法集成到用户移动设备中的大量硬件。此外，该′807号专利中公开的算法必须分析若干个不同的图像，因此，它的计算量很大并且不能实时实现。

ANTHROPICS技术有限公司的题为“图像操纵(Image manipulation)”的2018年1月2日的另一项美国专利US 9,858,654 B2描述了一种处理图像的方法，该方法形成了基于PCA的2D模型，该模型与输入的脸部图像融合以产生具有基于PCA系数进行控制的新照明的输出图像。该′654号专利中公开的方法不能去除刺眼的阴影，并且导致改变图像中独特的脸部特征。此外，该′654号专利中提出的方法相当慢(由于使用了相应的PortraitPro软件)，因此不能在实时应用中使用。

其它实现方式在本领域中是已知的，但是不能充分解决上述问题。

以上信息仅作为背景信息呈现，以帮助理解本公开。没有确定也没有断言以上内容中的任何内容是否可以用作关于本公开的现有技术。

发明内容

问题的解决方案

本公开的各方面将至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面在于提供一种对图像序列中的图像执行对象照明操纵的方法以及实现该方法的用户计算设备。

发明的有益效果

它可以解决作为背景信息呈现的问题。

附图说明

通过以下结合附图的描述，本公开的某些实施例的上述和其它方面、特征和优点将更加明显，其中：

图1是示出根据相关技术的对图像执行对象照明操纵的一般操作；

图2是示出根据本公开实施例的对图像序列中的图像执行对象照明操纵的流程图；

图3是示出根据本公开实施例的生成自适应对象照明的流程图；

图4是根据本公开实施例的提取图像的实际对象照明的流程图；

图5是根据本公开实施例的用自适应对象照明替换图像的实际对象照明的流程图；

图6是根据本公开实施例的使用对象界标生成对象照明以获得其中照明由预定光方向限定的光栅化对象照明的流程图；

图7是根据本公开实施例的实现对图像执行对象照明操纵的方法的用户计算设备的示意图；

图8是根据本公开实施例的在输入图像上检测界标L的示例；

图9是根据本公开实施例的界标裁剪图像的示例；

图10是根据本公开实施例的生成光栅化对象照明的示例；

图11是根据本公开实施例的拉伸光栅化对象照明的示例；

图12是根据本公开实施例的生成的具有由预定对象斑点限定的平滑区域的自适应对象照明的示例；

图13是根据本公开实施例的检测到的诸如对象斑点和对象亮度转变之类的对象特征以及针对对象裁剪图像形成的λ图的示例；

图14是根据本公开实施例的考虑对象特征的快速全局平滑化(FGS)的结果的示例；

图15是根据本公开实施例的执行照明操纵操作的流程图；

图16是根据本公开实施例的用于执行照明操纵操作的照明操纵设备的结构图；以及

图17示出了根据本公开实施例的当图像的对象是脸部时操纵照明的过程的示例。

在整个附图中，应注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。

最佳实施方式

本公开的各方面将至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面在于提供一种对图像序列中的图像执行对象照明操纵的方法以及实现该方法的用户计算设备。

另外的方面将在下面的描述中部分地阐述，并且部分地从描述中将是显而易见的，或者可以通过实践所呈现的实施例而获知。

根据本公开的一方面，提供了对第一图像执行对象照明操纵操作的方法。该方法包括：接收第一图像和光方向输入；生成具有从第一图像检测到的第一对象的第二图像；基于光方向确定第二图像的第二对象照明；以及用第二对象照明替换第一图像的第一对象照明。

根据本公开的另一方面，提供了一种用于对第一图像执行对象照明操纵操作的照明操纵设备。该设备包括：输入接口，被配置成接收第一图像和光方向输入；以及处理器，被配置成生成具有从第一图像检测到的第一对象的第二图像，基于光方向确定第二图像的第二对象照明，并用第二对象照明替换第一图像的第一对象照明。

通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见。

具体实施方式

提供以下参考附图的描述以帮助全面理解由权利要求及其等效物所限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但是这些具体细节应仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁，可以省略对公知功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以实现对本公开的清楚和一致的理解。因此，对于本领域技术人员而言显然的是，提供本公开的各种实施例的以下描述仅是出于说明的目的，而不是出于限制由所附权利要求及其等效物所限定的本公开的目的。

应当理解，单数形式“一”、“一个”和“该”包括复数指示物，除非上下文另外明确指出。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。

图2是示出根据本公开实施例的对图像序列中的图像执行对象照明操纵的流程图。

参考图2，示出了一种用于实时处理图像以改善对象的照明和色彩的方法。该方法开始于操作S100，在操作S100中，输入图像并接收预定的光方向。预定的光方向可以是默认的光方向或用户定义的光方向。在实施例中，输入图像上的对象可以是但不限于脸部，并且对象表面可以是脸部皮肤。然而，应当理解，所公开的照明操纵方法也可以成功地应用于包含任何其它对象的图像。为此，可以在通过本公开的方法对其照明操纵有益的对象界标上训练使用例如支持向量机(SVM)或任何其它机器学习算法的界标检测算法。在输入图像后，可以准备对象的3D网格，并可以标记与对象斑点(object blob)相关的界标(landmark)。在本公开中，对象可以意指对象界标。

本公开基于朗伯漫反射定律R＝IS，其中R∈R^N是所得图像，I∈R^N是照明，S∈R^N是纹理(反照率)，并且N是图像像素的数量。因此，本公开提供了从照明中分离纹理并将原始照明图替换为期望的照明图。在操作S105中，可以在输入图像上检测对象界标L＝{l_N}∈R2以及图像特征。

图8示出了根据本公开实施例的检测界标的示例。

参考图8，值n是界标的数量，并且可以设置为68，但不限于此特定值。在这种情况下，对象界标是指投影到对象图像平面上的点，这些点对应于根据对象参考区域的通用3D视图而预先确定的对象参考区域的中心，例如鼻尖、唇角和眼角、瞳孔中心等等。在这种背景下的图像特征是指对象纹理的独特属性，而该属性在通用对象中是不存在的。

返回参考图2，在操作S110中，可以基于对象界标来裁剪图像R₁∈R^N，以获得包括整个对象及其界标的对象裁剪图像5。

图9示出了根据本公开实施例的界标裁剪图像5的示例。

参考图9，操作S110通过从输入图像中排除将不被处理的区域，降低了该方法的后续操作的计算复杂度。

返回参考图2，在操作S115中，可以将对象图像5转换成具有亮度分量和色差分量的格式，例如但不限于YUV NV21。在操作S120中，可以使用对象界标来生成对象照明以获得光栅化对象照明25，其中照明由预定的光方向10限定。为了生成光栅化对象照明，产生通用对象3D网格15V_g＝{v_g}∈R³并将其拟合到所检测到的对象界标L。值m是3D网格的顶点数，并且可以设置为3448，但不限于此特定值。可以将由预定的光方向L∈R³ 10限定的照明应用于拟合的3D网格15。然后，可以使用通用对象纹理T∈R^M 20渲染调节后的对象3D网格15并对其进行光栅化以形成光栅化对象照明25。换句话说，当处理图像序列时，将V_g拟合到L，并使用L和T执行对象3D网格15的每个第n(可以是1、2或4)图像的渲染，以获得对象照明M_r25。因此，在视频处理中，不对每个帧执行新3D图像的渲染，而是通过对于中间帧使用相同的图像而跳过一定数量的帧，从而节省实现该方法所需的计算资源。

图10示出了根据本公开实施例的生成光栅化对象照明的示例。

参考图10，图像上的对象是脸部，对象3D网格15是3D头部网格，通用对象纹理20是通用脸部纹理，并且光栅化对象照明25是光栅化脸部照明。

图6是根据本公开实施例的使用对象界标生成对象照明以获得其中照明由预定光方向限定的光栅化对象照明的流程图。

参考图6，示出了操作S120的示例流程。在操作120.1中，可以将通用对象3D网格拟合到在图像序列中的当前图像上表示的检测到的对象的界标。在操作120.2中，可以使用拟合到对象界标的对象3D网格、预定光方向和通用对象表面纹理来执行3D对象的渲染，以获得光栅化对象照明。

返回参考图2，在获得光栅化对象照明之后，该方法在操作S125中生成自适应对象照明。

图3是示出根据本公开实施例的生成自适应对象照明的流程图。

参考图3，示出了操作S125的示例流程。在操作S125中，可以生成自适应对象照明M∈R^N 40。操作S120和S125的目标是基于所生成的对象3D网格来渲染目标对象照明，该对象3D网格的形状和色彩被拟合到对象输入图像。在操作S125.1中，可以将光栅化对象照明25的边界拉伸到对象裁剪图像的边界，即，拉伸图像M_r以获得图像M_s。也就是说，可以将光栅化对象照明25的尺寸调整为与对象裁剪图像的尺寸匹配。为此，在本公开的实施例中，对于图像边界M_r的每个像素p_b，在表示图像M_r的一行或一列像素的与边界正交的线上找到第一非零像素p₀。如果存在p₀像素，则在/p_bp₀方向上移除多个非零像素(最多9个像素)以获得内部像素p₁，并将像素p₀p₁内插到p_bp₁。执行该操作以从渲染的对象照明25的图像中排除由于渲染对象照明25而导致的在对象外部的黑色区域，并使由于执行本公开方法所引起的经补亮的对象图像更加容易地修补(即，重新着色)到输入图像序列中的对应图像中。操作S125.1还使得能够通过本公开方法实时地处理高分辨率视频流，这是因为大大降低了将由该方法产生的经补亮的对象图像修补到输入图像序列中的对应图像中的复杂度。

图11示出了根据本公开实施例的拉伸光栅化对象照明以形成具有拉伸边界的光栅化对象照明的示例。

返回参考图3，在操作S125.2和S125.3中，可以分别计算具有拉伸边界的光栅化对象照明MS 30的Y、U和V直方图(H_YM、H_UM、H_VM)以及对象裁剪图像R₁’5的Y、U和V直方图(H_YR、H_UR、H_VR)。直方图的计算可以通过任何方法进行。在操作S125.4中，可以通过从对象表面掩模去除对象裁剪图像5的由相应亮度阈值限定的明暗区域来将预定的对象表面掩模A_r∈R^N调节为对象裁剪图像5。为此，在本公开的实施例中，调节对象表面掩模A_r以获得调节后的对象表面掩模A_adj＝{a_i，i＝1..N}。

其中：

并且

预定的对象表面掩模是通过对位于由对象界标形成的凸多边形内部的所有区域进行阴影化而构造的二元对象表面掩模。该预定的对象表面掩模用于找到包含对象表面的图像区域。执行从对象表面掩模去除对象裁剪图像5的明暗区域以排除包含关于对象的照明和色彩的无效信息的对象表面区域。可以凭经验确定用于从对象表面掩模去除明暗区域的相应亮度阈值。

在本公开的实施例中，可以通过使用除与眉毛、嘴巴和鼻子相对应的界标之外的对象界标L生成对象脸部掩模Af，来基于对象界标L形成对象表面掩模A_r。然后，可以根据生成的脸部掩模Af和对象裁剪图像5估计色彩因数。该估计可以包括：创建对象表面探测掩模A_p，该掩模是去除了鼻子下方和眉毛上方的所有东西的脸部掩模；使用大小为5(但不限于此特定值)的平均盒式滤波器对对象脸部表面图像R_p＝F_avg*R’_I进行平滑化，并计算色彩因数：

并且

c＝{Y，U，V}，

其中σ₀可以是1.1。

结果，可以找到限定目标对象表面掩模Ar的对象表面区域As：

在本公开的实施例中，在对象是任意对象而不是脸部的情况下，可以通过对位于由针对任意感兴趣对象预先确定的界标形成的凸多边形内部的所有区域进行阴影化来预先确定对象表面掩模(即，对象表面的二元掩模)。

在操作S125.5中，可以从获得的具有拉伸边界的光栅化对象照明30的U和V直方图以及对象裁剪图像5的U和V直方图中删除由调节后的对象表面掩模Aadf限定的落入对象裁剪图像5的被去除的明暗区域中的值。换句话说，在操作S125.5中，从UV直方图中去除Aadf中的零像素，并且使直方图H_UM、H_VM均衡化。执行从获得的Y、U和V直方图中去除落入对象裁剪图像5的被去除的明暗区域中的值，以排除包含关于对象的照明和色彩的无效信息的对象表面区域。

在操作S125.6中，可以通过估计对象裁剪图像5和具有拉伸边界的光栅化对象照明30的Y直方图并应用相同图像(即，具有拉伸边界的光栅化对象照明30的图像和对象裁剪图像5)的经均衡化的U和V直方图，来调节具有拉伸边界的光栅化对象照明30的亮度、对比度和色彩，以获得提供重新着色照明的自适应对象照明40。前述应用经均衡化的U和V直方图以形成自适应对象照明40包括：使用它们的值对照明图像重新着色。换句话说，在一个实施例中，为了生成自适应对象照明

40，调节亮度

并确定经均衡化的U和V直方图，如下所示：

并且

操作S125.2至S125.6还确保将由该方法产生的经补亮的对象图像更容易地修补到输入图像序列中的相应图像中。此外，操作S125.2至S125.6使目标照明适应特定对象输入图像的亮度和色彩，从而生成自适应对象照明40并提供逼真的补亮效果，使得独特的对象特征将保留在对象图像中，其将被修补到图像序列中的相应图像中。在操作S125.6中形成自适应对象照明之后，该方法在操作S125.7中生成具有由预定对象斑点限定的平滑区域的自适应对象照明。

图12是根据本公开实施例的生成的具有由预定对象斑点限定的平滑区域的自适应对象照明的示例。

参考图12，在操作S125.7中，可以在自适应对象照明40上将由预定对象斑点限定的区域平滑化。换句话说，在本公开的实施例中，可以在操作S125.7中将对象斑点平滑化：

其中M是具有经平滑化的对象斑点的自适应对象照明40。

和

分别是尺寸为0.25w和0.05w的平均盒式滤波器。在这种情况下，对象斑点是指由先前标记的对象界标所限定的区域，这些对象界标对应于高度纹理化的区域，例如眼睛、嘴巴、眉毛、鼻尖等。在对象是脸部的实施例中，斑点包括但不限于眉毛、眼睛、鼻子和嘴巴。执行平滑化以防止在将经补亮的对象图像重绘到输入图像序列中的后续操作中去除斑点。

图12是根据本公开实施例的生成的具有由预定对象斑点限定的平滑区域的自适应对象照明的示例。

参考图12，示出了具有由预定对象斑点限定的平滑区域的自适应对象照明40的示例。

图4是根据本公开实施例的提取图像的实际对象照明的流程图。

参考图4，在操作S130中，可以提取图像的实际对象照明70。操作S130的目标是使用保留边缘的快速全局平滑化(FGS)滤波器提取实际对象照明，该滤波器揭示低频亮度转变并保留刺眼的阴影，以便在将经补亮的图像修补到输入图像序列中的后续操作中去除。在操作S130.1中，可以通过对象界标L和对象表面掩模Ar来检测对象斑点50，并且可以在对象裁剪图像5上检测对象亮度转变55，所检测到的对象斑点50和对象亮度转变55是对象特征45。对象亮度转变55限定对象的独特特征。在对象是脸部的实施例中，斑点50包括但不限于眉毛、眼睛、鼻子和嘴巴。为了进一步改善对象斑点50的处理，在操作S130.1中，可以从对象斑点50另外形成对象斑点掩模Ab。在另外形成对象斑点掩模的实施例中，所得的对象斑点掩模可以类似于对象斑点50，包括但不限于眉毛、眼睛、鼻子和嘴巴。可以在操作S130.1中执行对象亮度转变55的检测：

S＝|(D_x*F_avg*Y′_I)²+(D_y*F_avg*Y′_I)²-(D_x*Y′_I)²+(D_y*Y′_I)²|

其中：

S是表示对象独特特征的对象亮度转变图；

Y1’是对象裁剪图像R₁’5的Y通道；

F_avg是大小为

的平均盒式滤波器，w_f是脸宽；

D_x＝(D_y)^T是差分算子D_x＝{d_ij}，，并且

然后，值S可以饱和到

并且以[0；1]间隔归一化。

在操作S130.2中，基于检测到的对象特征45，可以生成λ图60，其表示要经受最大平滑化的至少一个区域、要经受最小平滑化的至少一个区域以及要经受从最大平滑化到最小平滑化的范围内的平滑化的零个或多个区域。在操作S130.2中生成λ图60：

图13示出了根据本公开实施例的检测到的诸如对象斑点50和对象亮度转变55之类的对象特征以及用于对象裁剪图像5的λ图60的示例。

参考图13，在操作S130.3中，可以通过将具有λ图60的FGS滤波器65应用于对象裁剪图像5来执行考虑对象特征45的FGS以提取图像上的实际对象照明70。实际对象照明70可以表示为单独的实际对象照明图像I。在操作S130.3中，可以通过使用具有但不限于FGS滤波器(或类似物)的方法对优化问题进行求解，来执行对象特征导向的FGS，以获得实际对象照明70：

例如，在IEEE Transactions on Image Processing 23.12 2014)：5638-5653的Min等人的题为“基于加权最小二乘的快速全局图像平滑化(Fast global imagesmoothing based on weighted least squares)”的文献[1]中描述了该操作的实现方式。

图14示出了根据本公开实施例的考虑对象特征的FGS的结果的示例。

图5是根据本公开实施例的用自适应对象照明替换图像的实际对象照明的流程图。

参考图5，示出了操作S135的流程。在操作S135中，可以用由自适应对象照明40限定的自适应对象照明替换图像5上的实际对象照明70。操作S135的目标是对图像上的对象进行补亮并且使用对象表面平滑掩模且考虑界标检测失败的概率将经补亮的对象修补到图像序列(视频)中的当前图像(帧)中。该操作允许基于生成的对象表面掩模、稳定的FGS滤波器和检错器，将经补亮的对象图像稳定地修补到输入视频帧中。操作S135实现了连续的实时视频处理，而没有明显的闪烁和与图像上的对象脸部表面的临界旋转角相关的伪像。另外，由于轻量级的修补算法，操作S135改善了照明操纵方法的性能，该修补算法允许即使在具有有限的实时视频处理能力的移动设备中也使用本方法。

在操作S135.1中，可以接收/输入所生成的由对象表面区域As限定的对象表面掩模Ar。在操作S135.2中，可以通过根据以下优化(反向)问题的正则解将稳定的FGS滤波器应用于对象表面掩模Ar来执行稳定的FGS：

以找到A_s，其解可以以密矩阵(close matrix)形式找到(参见Min等人)：

其中A是拉普拉斯矩阵，

更具体地，优化问题的正则解可以包括：向对象表面掩模添加正则化器

可以等于0.8，但不限于该特定值；通过对问题(1)求解来应用稳定的FGS滤波器以获得A_int；更新差异图A_Δ＝αA_Δ+(1-α)(A_int-A_prev)；更新对象表面掩模A_prev←A_int；将掩模A_int归一化以获得平滑掩模A_s＝A_int/max(A_int)。

在操作S135.3中，可以使用在图像序列中当前处理的图像中表示的对象的特征来估计界标检测失败的概率，该估计包括通过在样本上进行了预训练的支持向量机来检查检测到的对象特征，该样本包括任意图像的特征和相应的界标检测失败概率。可以预先执行在包括任意图像的特征和相应界标检测失败概率的样本上训练支持向量机(SVM)的操作。SVM训练可以通过任何方法进行。可以通过将预训练的SVM应用于当前图像的一些特征X来估计对象界标检测失败概率pf。

在操作S135.4中，可以通过应用对象表面平滑掩模并考虑对象界标检测失败概率pf，将由自适应对象照明限定的自适应对象照明修补到图像序列中的当前图像中。在一个实施例中，修补可以如下进行：

其中：

R₀是将自适应对象照明图像修补到输入图像R₁中的结果；

A_s是对象表面区域；

S是表示对象独特特征的对象亮度转变图；

M是具有平滑对象斑点的自适应对象照明40；以及

I是实际的对象照明图像。

进行修补操作以去除对象的刺眼阴影，同时保留其独特特征。通过应用Lambert模型(用自适应照明替换了实际对象照明的

)消除了刺眼的阴影，同时通过在此操作中应用必须保存的对象亮度转变图而保留了对象的独特特征。在操作S140中，可以显示图像序列中实际对象照明已被替换为自适应对象照明的图像。

图7示出了根据本公开实施例的实现对图像执行对象照明操纵的方法的用户计算设备的示意图。

参考图7，可以在其中实现本公开方法的用户计算设备75(例如，移动设备)可以包括但不限于处理器75.1、摄像头75.2和存储处理器可执行指令的存储器75.3，当由处理器75.1执行该指令时，该指令使得处理器75.1执行所公开的对象照明操纵方法的任何操作。用户计算设备75可以包括图15中未示出的其它组件，并且是例如智能手机、平板电脑、虚拟现实眼镜、增强现实护目镜、PC、膝上型计算机、智能手表等。在计算设备/移动设备75的替代实施例中，该设备可以包括分离的硬件单元。在该实施例中，每个硬件单元可以负责执行该方法的相应操作或子操作，并被适当地命名，例如，负责图像输入的设备硬件单元(参见操作S100)可以被称为图像输入接口，等等。然而，由于本领域技术人员将设想设备中其它可能的单元结构，因此本公开不应仅限于这种单元结构，例如一个硬件单元可以负责该方法的若干个操作或子操作，或者可以在两个或更多个单元之间共享执行若干个操作或子操作。此外，本公开方法可以通过处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或在一些实施例中通过片上系统(SoC)来实现。另外，本公开方法可以通过存储计算机可执行指令的计算机可读介质来实现，在由计算机处理器执行该指令时使得计算机执行该方法。

图15是根据本公开实施例的执行照明操纵操作的流程图。

参考图15，照明操纵设备1600可以根据图15所示的顺序对第一图像执行对象照明操纵。

在操作S1510中，照明操纵设备1600可以接收第一图像以及预定光方向的输入。预定光方向可以是默认的光方向或用户定义的光方向。用户可以基于施加到预定光方向的光方向对第一图像执行对象照明操纵。

例如，当针对光捕获人物时，用户可以将光方向确定为对象的正面或侧面，并且可以调节图像上的照明以生成通过沿确定的光方向接收光而捕获的图像。

在操作S1520中，照明操纵设备1600可以生成具有从第一图像检测到的对象的第二图像。照明操纵设备1600可以检测第一图像中的对象界标，并且可以通过从第一图像中裁剪除了检测到的界标之外的所有东西来获得第二图像。对象可以是被捕获第一图像的摄影师聚焦的对象的主要部分。

例如，在人的上半身的图像中，对象可以是人，并且对象界标可以是人的脸部。

在这种情况下，照明操纵设备1600可以获得仅对象被放大的第二图像。

在操作S1530中，照明操纵设备1600可以使第二图像的对象照明适应预定光方向。照明操纵设备1600可以通过使用第二图像和预定光方向来生成通用对象照明。

通用对象照明可以表示在将通用3D网格拟合到对象界标，然后通过沿确定的光方向接收光来执行拍摄的情况下的照明。可以通过应用通用对象纹理来生成通用对象照明，因此，其色彩或形状可能与实际图像上的对象不同。

照明操纵设备1600可以基于通用对象照明和从第二图像获得的对象特征来生成自适应对象照明。

可以通过将通用对象照明的边界拉伸到第二图像的边界，利用第二图像的亮度和色彩调节拉伸后的通用对象照明以反映实际图像的亮度和色彩，并且对调节后的通用对象照明执行斑点平滑操作，来生成自适应对象照明。

在操作S1540中，照明操纵设备1600可以从第二图像提取实际对象照明。

照明操纵设备1600可以通过以下操作用第二图像的自适应对象照明替换第一图像的对象照明。

首先，照明操纵设备1600可以检测基于对象界标从对象表面掩模检测到的斑点以及从第二图像检测到的阴影，作为对象特征。

此处，可以通过估计从第二图像到基于对象界标生成的对象掩模的色彩因数，并使用估计的色彩因数找到对象表面区域，来生成对象表面掩模。

其次，照明操纵设备1600可以基于检测到的对象特征来生成λ图，该λ图表示要经受最大平滑化的至少一个区域和要经受最小平滑化的至少一个区域以及要进行从最大平滑化到最小平滑化的范围内的平滑化的零个或多个区域。

接下来，照明操纵设备1600可以通过将具有λ图的FGS滤波器应用于第二图像来执行特征导向的FGS，从而提取实际对象照明。

通过使用特征导向的FGS，照明操纵设备1600可以在去除刺眼阴影的同时保持对象特征。

照明操纵设备1600可以用自适应对象照明替换第二图像上的实际对象照明。

照明操纵设备1600可以通过将稳定的FGS滤波器应用于对象表面掩模来执行稳定的FGS，从而获得对象表面平滑掩模。

照明操纵设备1600可以将替换后的第二图像恢复为原始图像序列。

照明操纵设备1600可以通过使用生成的对象表面平滑掩模将替换后的第二图像恢复为原始图像序列，来执行无缝视频处理，而没有明显的闪烁或极端的脸部角度伪像。照明操纵设备1600可以使用对象相对于第一图像的特征来估计对象检测失败的概率，并且可以使用对象表面平滑掩模和对象检测失败的概率将自适应对象照明恢复到第一图像。

另外，照明操纵设备1600可以以改善的性能执行轻量级的修补。

图16是根据本公开实施例的用于执行照明操纵的照明操纵设备的结构图。

参考图16，照明操纵设备1600可以包括输入接口1610和处理器1630。

输入接口1610可以接收图像序列中的第一图像的输入和预定光方向的输入。输入可以由系统自动执行或由用户手动执行。

处理器1630可以执行图15的操作S1510至S1540。

图17示出了根据本公开实施例的当图像的对象是脸部时操纵照明的过程的示例。

参考图17，第一图像1710的示例。可以从第一图像1710检测多个对象界标1715。

照明操纵设备1600可以通过将图像裁剪到对象界标1715来生成第二图像1720。

可以通过从第二图像1720估计色彩因数并使用估计的色彩因数找到对象表面区域来生成对象表面掩模1730。

可以通过将通用3D网格拟合到对象界标1715并经由沿确定的光方向接收光来执行拍摄，来生成通用对象照明1740。

通过将通用对象照明1740的边界拉伸到第二图像1720的边界来生成拉伸照明1770。

基于对象界标1715和从第二图像1720检测到的阴影，从对象表面掩模1730检测包括斑点的对象特征1750。

通过用第二图像1720的亮度和色彩调节通用对象照明1770，并在调节后的对象照明上执行斑点平滑操作，来通过反映实际图像的亮度和色彩生成自适应对象1780。

包括拉伸边界的具有第二图像1720的亮度和色彩的通用对象照明1770的调节可以包括：计算通用对象照明的Y、U和V直方图，计算第二图像1720的Y、U和V直方图，使通用对象照明的U和V直方图与计算出的第二图像1720的U和V直方图均衡化，利用第二图像和通用对象照明的Y直方图来调节通用对象照明，并且将通用对象照明和第二图像的经均衡化的U和V直方图应用于通用对象。

通过将稳定的FGS滤波器应用于对象表面掩模1730来生成对象表面平滑掩模1760。

通过用自适应照明1780替换关于第二图像的实际照明并使用替换后的图像、对象特征1750和对象表面平滑掩模1760，来恢复图像序列1790。

如上所述，根据上述实施例中的一个或多个，该方法可以使用对象特征导向的FGS保留图像上的独特对象特征并去除刺眼阴影。另外，由于使用了自适应对象照明，本公开方法可以处理对象的彩色照明并保留对象的独特色彩。此外，由于使用了稳定的FGS滤波器，本公开方法适于实时连续视频处理。因此，本公开提高了图像序列中的图像的实时处理的总体效率和质量，并且处理本身在用户计算设备或移动设备上是可行的。

根据本公开实施例的方法可以被实现为可由各种计算机装置执行并且被记录在计算机可读记录介质上的计算机指令。计算机可读记录介质可以包括程序命令、数据文件、数据结构或其组合。记录在计算机可读记录介质上的程序命令可以针对本公开而专门设计和构造，或者可以是计算机软件领域的普通技术人员已知和可用的。计算机可读介质的示例包括存储介质，例如磁介质(例如，硬盘、软盘或磁带)、光学介质(例如，致密盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光介质(例如，光软盘)和专门配置成存储和执行程序命令的硬件设备(例如，ROM、RAM或闪存)。程序命令的示例包括可以由计算机使用解释器执行的高级语言代码以及由编译器生成的机器语言代码。

应当理解，本文描述的实施例应仅在描述性意义上考虑，而不是出于限制的目的。每个实施例中的特征或方面的描述通常应被认为可用于其它实施例中的其它类似特征或方面。

尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，可以在不脱离由所附权利要求及其等效物限定的本公开的精神和范围的情况下进行形式和细节上的各种改变。

Claims (15)

1.一种对第一图像执行对象照明操纵操作的方法，所述方法包括：

接收所述第一图像和光方向输入；

生成具有从所述第一图像检测到的第一对象的第二图像；

基于所述光方向确定所述第二图像的第二对象照明；以及

用所述第二对象照明替换所述第一图像的第一对象照明。

2.根据权利要求1所述的方法，其中确定所述第二对象照明包括：

将通用3D网格拟合到所述第二图像中的第二对象；以及

基于所述光方向和所述第二对象生成所述第二对象照明。

3.根据权利要求2所述的方法，其中确定所述第二对象照明还包括：

调整所述第二对象照明的尺寸以对应于所述第二图像的尺寸；

在调整了所述第二对象照明的尺寸之后，基于所述第二图像的亮度和色彩调节所述第二对象照明；以及

在调节了所述第二对象照明之后，使所述第二对象照明平滑化。

4.根据权利要求3所述的方法，其中调节所述第二对象照明包括：

计算所述第二对象照明的Y、U和V直方图；

计算所述第二图像的Y、U和V直方图；

使所述第二对象照明的U和V直方图与所述第二图像的U和V直方图均衡化；

利用所述第二图像和所述第二对象照明的Y直方图调节所述第二对象照明；以及

将所述第二对象照明和所述第二图像的经均衡化的U和V直方图应用于所述第二对象照明。

5.根据权利要求1所述的方法，其中替换所述第一对象照明包括：

基于所述第一对象和来自所述第二图像的阴影，从对象表面掩模检测斑点；

基于所述斑点，生成λ图，所述λ图表示与最大平滑化相对应的至少一个区域、与最小平滑化相对应的至少一个区域以及与从所述最大平滑化到所述最小平滑化的范围内的平滑化相对应的零个或多个区域；以及

利用所述λ图提取实际对象照明。

6.根据权利要求5所述的方法，其中提取所述实际对象照明包括：将具有所述λ图的特征导向的快速全局平滑化FGS滤波器应用于所述第二图像，以生成所述实际对象照明。

7.根据权利要求5所述的方法，还包括：

基于所述第一对象生成对象掩模；

根据所述对象掩模和所述第二图像估计色彩因数；以及

基于所述色彩因数找到对象表面区域。

8.根据权利要求7所述的方法，其中替换所述第一对象照明包括：

在所述对象表面掩模上执行稳定的FGS，以获得对象表面平滑掩模。

9.根据权利要求8所述的方法，其中替换所述第一对象照明还包括：

基于所述第一图像中的所述第一对象的特征估计对象检测失败的概率；以及

基于所述对象表面平滑掩模和所述对象检测失败的概率，将所述第一图像恢复到所述第一对象照明。

10.根据权利要求5所述的方法，

其中所述第一对象是脸部，

其中所述第一对象的表面是脸部皮肤，并且

其中所述斑点包括眉毛、眼睛、鼻子或嘴巴中的至少一个。

11.一种用于对第一图像执行对象照明操纵操作的设备，所述设备包括：

输入接口，被配置成接收所述第一图像和光方向输入；以及

处理器，被配置成：

生成具有从所述第一图像检测到的第一对象的第二图像；

基于所述光方向确定所述第二图像的第二对象照明；以及

用所述第二对象照明替换所述第一图像的第一对象照明。

12.根据权利要求11所述的设备，其中所述处理器还被配置成：

将通用3D网格拟合到所述第二图像中的第二对象，以及

通过使用所述光方向和所述第二对象获得所述第二对象照明。

13.根据权利要求12所述的设备，其中，当所述处理器确定所述第二对象照明时，所述处理器被配置成：

调整所述第二对象照明的尺寸以对应于所述第二图像的尺寸，

在调整了所述第二对象照明的尺寸之后，基于所述第二图像的亮度和色彩调节所述第二对象照明，以及

在调节了所述第二对象照明之后，使所述第二对象照明平滑化。

14.根据权利要求13所述的设备，其中，当所述处理器调节所述第二对象照明时，所述处理器还被配置成：

计算所述第二对象照明的Y、U和V直方图，

计算所述第二图像的Y、U和V直方图，

使所述第二对象照明的U和V直方图与所述第二图像的U和V直方图均衡化，

利用所述第二图像和所述第二对象照明的Y直方图调节所述第二对象照明，以及

将所述第二对象照明和所述第二图像的经均衡化的U和V直方图应用于所述第二对象照明。

15.一种记录有程序的计算机可读记录介质，所述程序用于在计算机上执行根据权利要求1所述的方法。

Images