CN114902277A - 用于处理肖像图像帧上的阴影的系统和方法 - Google Patents

Abstract

本公开描述的系统和方法可以涉及训练要在被配置为捕获、调整和/或存储图像帧的移动计算设备上实施的机器学习模型的潜在方法。一种示例方法包括：提供对象在第一照明环境内照明的场景中的第一图像帧，以及提供对象在第二照明环境内照明的第二图像帧。该方法还包括：确定遮罩。另外，该方法包括：根据遮罩组合第一图像帧和第二图像帧以生成合成图像，以及对合成图像分配得分。该方法还包括：基于所分配的得分训练机器学习模型，以基于合成图像来调整捕获的图像。

Description

用于处理肖像图像帧上的阴影的系统和方法

背景技术

除非本文中另有说明，在本节中描述的材料不是本申请中的权利要求的现有技术，并且不因包含在本节中而被承认是现有技术。

在自然环境中找到合适的照明用于肖像摄影可能是有挑战性的。在自然照明环境中投射在脸部上的阴影可能形成在美学上不如用工作室照明捕获的图像那样令人愉悦的相应照片。传统的解决方案可以包括使用图像后期处理技术对照片重新照明或者以其他方式处理。然而，当前难以用消除阴影并仍然对对象的脸部给予适当曝光的方式自动地改变相片。而且，在一些情景中，改变肖像可能留下高对比度的阴影边界。

发明内容

示例实施例涉及用于处理捕获的肖像图像帧上的阴影的方法和系统。

在第一方面，提供了一种方法。该方法包括：提供对象在第一照明环境内照明的场景(setting)中的第一图像帧。还提供了第二图像帧。第二图像帧的对象在第二照明环境中被照明。该方法还包括：确定遮罩(mask)，并根据遮罩组合第一图像帧和第二图像帧以生成合成图像。该方法还包括：对合成图像分配得分，并基于所分配的得分训练机器学习模型。

在第二方面，提供了一种方法。该方法包括：使图像捕获设备捕获图像帧。该方法还包括：将图像帧与由经训练的机器学习模型提供的多个合成图像帧进行比较。该方法还包括：基于比较，从与经训练的机器学习模型相关联的多个遮罩中选择遮罩。该方法还包括：根据遮罩调整图像帧，以提供经调整的图像帧。

在第三方面，提供了一种系统。该系统包括计算设备，该计算设备包括处理器和非暂时性计算机可读介质。该非暂时性计算机可读介质存储由经训练的机器学习模型提供的程序指令的集合。处理器执行程序指令以便执行操作。操作包括：1)使图像捕获设备捕获图像帧；2)将图像帧与由经训练的机器学习模型提供的多个合成图像帧进行比较；3)基于该比较，从与经训练的机器学习模型相关联的多个遮罩中选择遮罩；4)根据遮罩调整图像帧，以提供经调整的图像帧；以及5)显示经调整的图像帧。

对于本领域的普通技术人员，通过阅读以下详细描述，并适当参照附图，其他方面、实施例和实现将变得显而易见。

附图说明

图1示出根据示例实施例的系统。

图2示出根据示例实施例的系统。

图3示出根据示例实施例的方法。

图4A以彩色示出根据示例实施例的图形用户界面。

图4B以灰度示出根据示例实施例的图形用户界面。

图5示出根据示例实施例的方法。

图6示出根据示例实施例的数据流水线。

图7示出根据示例实施例的方法。

图8示出根据示例实施例的方法。

图9示出根据示例实施例的方法。

图10示出根据示例实施例的方法。

图11示出根据示例实施例的阴影比较。

图12示出根据示例实施例的方法。

具体实施方式

本文描述了示例方法、设备和系统。应当理解，本文使用的词语“示例”和“示例性”表示“用作示例、实例或说明”。在本文中描述为“示例”或“示例性”的任何实施例或特征不必然解释为比其他实施例或特征更优选或更有利。在不脱离本文呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。

因此，本文描述的示例实施例不意味是限制性的。如在本文一般描述的以及在附图中示出的，本公开的各方面可以以多种不同的配置来布置、替换、组合、分离和设计，所有这些在本文中均被预想到。

另外，除非上下文另有暗示，否则在每个图中示出的特征可以相互结合地使用。因此，附图应被一般地视为一个或多个总体实施例的组成方面，并且应当理解，并非所有示出的特征对于每个实施例都是必要的。

I.概述

本公开描述了训练机器学习模型的潜在方法。例如，机器学习模型可以基于，例如，明亮(well-lit)图像和阴影(shadowed)图像这样的多个图像对来训练。训练可以在计算系统(例如，基于云的服务器、台式计算机、膝上型计算机等)上进行。经训练的模型然后可以实现在被配置为捕获、调整和/或存储图像的移动计算设备上。移动计算设备可以包括用户界面，以为用户提供调整如何将经训练的模型应用于所捕获的图像的方式。在一些实施例中，用户界面可以是应用编程接口(API)。在这样的情景中，界面可以具有可为用户提供调整输入的各个方面的方式的图形旋钮、滑块和/或其他控件，或者其可以自动调整输入。

在一些实施例中，可以训练机器学习模型，以“预测”具有经柔化的或去除阴影的图像的替代版本。例如，训练机器学习模型可以包括：提供共享相似或相同对象(例如，人脸的肖像)的两个图像。第一图像可以包括从亮光照明环境照明的对象。第二图像可以包括在阴影照明环境的情况下照明的对象。阴影照明环境可以基于包括至少一个遮光器的光环境。在示例实施例中，遮光器可以包括可以部分地或完全地遮挡光的一个或多个物体，否则光可能照亮对象。

然后，经由基于二维图像的数据生成流水线，处理第一明亮图像和第二阴影图像，以创建合成阴影图像。合成阴影图像可以用于训练机器学习模型。在数据流水线内采取一系列步骤。当产生了对象的明亮图像和阴影图像，可以使用遮罩在流水线中组合图像。在示例实施例中，遮罩可以控制图像相对于背景图像的透明度/不透明度。在一些示例中，多个遮罩可以对应于不同的阴影形状和/或遮光器形状。在各种实施例中，阴影图像可以层叠在明亮图像上，并且可以将遮罩应用于阴影图像。这样的布置可以通过保留与遮罩的形状对应的阴影图像部分来形成合成阴影。在这样的情景中，阴影图像的剩余部分可以显得透明，从而可观察明亮图像。以这样的方式，该过程形成了合成阴影图像。通过对遮罩施加噪声，可以改变图像上阴影的柔和度和硬度。在这样的情景中，所添加的噪声可以用于在合成阴影图像的阴影部分和明亮部分之间逐渐过渡。

在一些实施例中，可以基于图像的质量和/或美学，对合成阴影图像分配得分。在这样的情景中，所分配的得分可以用于通过强化学习或其他类型的机器学习算法来训练机器学习模型。用不同的明亮图像和阴影图像以及各种形状的遮罩重复该过程多次(例如，10,000次迭代、100,000次迭代、1,000,000次迭代或者更多)，以进一步训练机器学习模型。

有多种方式来获得明亮图像和阴影图像对。在示例实施例中，可以利用光场(light stage)来获得这些图像。在这样的情景中，使用单帧单一照明(one-light-at-a-time，OLAT)数据集，光场可以对共享相同对象的肖像图像提供任意的照明环境。作为示例，可以可控地产生两个照明环境：一个“光亮”或“明亮”照明环境和一个“阴影”照明环境。为了提供“阴影”照明环境，可以盖住光源或照明环境的区域，以模拟遮光器。环境被转化为数据集中的权重，将其组合以产生不同的光亮图像和阴影图像。获得明亮图像和阴影图像的第二方式是通过对真实世界图像(例如，在非OLAT、无光场环境中捕获的图像)重新照明。在一些实施例中，将现有图像视为明亮图像。在这样的情景中，可以通过以下方式创建阴影图像：1)预测全亮图像中的现有照明环境；2)通过向全亮图像添加遮光器来产生“阴影”环境照明；以及3)重新渲染图像，如同其已被2中的环境照明一样。获得全亮图像和全阴影图像的另一方式是通过提供在生成的照明环境中拍摄的图像并如上所述地对其进行重新渲染，以获得全亮图像和全阴影图像两者。

在一些实施例中，遮罩的形状可以是机器学习模型能够被训练以在多个不同形状的阴影之中识别的主要标识符。遮罩的形状可以用于近似真实世界形状。可以通过使用遮光器的3D模型和面部几何形状来产生阴影遮罩，以基于诸如面部轮廓这样的特征来投射阴影。阴影遮罩也可以从手绘2D遮罩、随机合成生成的2D遮罩或者上述任何的组合产生，具有局部化的色彩和锐度变化，以模拟真实世界现象，诸如皮肤中的次表面散射、空间变化的照明环境或者阴影透视收缩。

然后，可以在运行时执行经训练的模型，以对阴影进行柔化、去除或添加到图像。例如，实施例可以包括使图像捕获设备捕获图像。可以将图像和与经训练的模型相关联的多个合成阴影图像进行比较。基于该比较，可以确定阴影形状，并从多个可能的阴影遮罩中选择相应的阴影遮罩。然后，根据阴影遮罩，调整所捕获的图像。为了制作明亮图像，可以使用遮罩的轮廓以使阴影中的较暗像素变亮。为了制作阴影图像，可以使用遮罩的轮廓以照亮阴影之外的像素。阴影也可以通过根据匹配的遮罩对阴影施加噪声来柔化。

在一些实施例中，经训练的模型可以作为指令的集合存储在计算设备的存储器中。经训练的模型可以在，例如，相机应用或照片编辑/共享应用中实施。计算设备可以捕获要编辑的图像，或者可以从存储器提供图像。在各种实施例中，经训练的模型也可以在基于云的照片管理软件中使用。用户界面可以利用旋钮或滑块来改变阴影的量或者一起去除一个或多个阴影。这种调整可以是自动的、半自动的(例如，可选择的过滤器预设)或者完全手动的。阴影调整也可以在没有用户输入的情况下自动发生。在一些实施例中，可以通过对阴影遮罩施加噪声和/或模糊来实施对阴影的柔化。

通过所述的系统和方法，可以调整图像(特别地，肖像图像)的明显的照明环境，以去除或柔化阴影。这样的调整可以提供更美观的图像。

在本公开中，主要描述了肖像图像。肖像图像可以容易地用光场照亮，并且学习模型在训练阶段可以更容易，这是因为人类肖像对象具有相似的面部几何形状。然而，应当理解，本文描述的系统和方法可以对其他类型的对象(例如，其他类型的物体、建筑物等)执行，以去除和/或以其它方式调整明显的阴影。附加地或替代地，所公开的方法可以用于改变图像中的着色和对比度。

II.示例系统和方法

图1例示根据示例实施例的系统100，其实施经训练的机器学习模型以便处理肖像照片上的阴影。系统100包括计算设备102。如图2所示，计算设备102可以包括移动计算设备204(例如，智能电话或另一类型的数码相机)、膝上型计算机206、基于云的计算设备208或台式计算机210中的任一种。

在一些实施例中，计算设备102可以包括可操作以执行程序指令114的处理器110。处理器110可以包括，例如，专用集成电路(ASIC)或现场可编程门阵列(FPGA)。被配置为执行软件指令的其他类型的处理器、计算机或设备在本文中被预想到。

由处理器110执行的程序指令114存储在非暂时性计算机可读介质112中。如本文所述，程序指令114的至少一些可以由经训练的机器学习模型开发和提供。非暂时性计算机可读介质112可以是存储器的一部分，并且可以是但不限于只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性随机存取存储器(例如，闪速存储器)、固态驱动(SSD)、硬盘驱动(HDD)、压缩盘(CD)、数字视频盘(DVD)、数字磁带、读/写(R/W)CD、R/W DVD等。

图像捕获设备108可以选自多种不同设备。例如，图像捕获设备108可以包括但不限于智能电话、移动设备、可穿戴设备、膝上型计算机、相机电话或数字单镜头反光(DSLR)相机。作为示例，计算设备108应当具有拍摄照片、显示照片和/或从计算机可读介质或基于云的计算设备访问照片的能力。应当理解，其他类型的图像捕获设备108是可能的并且在本文中被预想到以捕获图像帧1106。

程序指令114可以由计算设备102中的处理器110执行，以便执行一些操作。图3示出根据操作的示例实施例的流程图300。流程图300可以包括代表操作的各个块或步骤。这些块或步骤可以单独地或组合地执行。这些块或步骤可以以任何次序和/或串行或并行地执行。

块302包括：使图像捕获设备(例如，图像捕获设备108)捕获图像帧(例如，图像帧1106)。图10示出可以捕获图像帧(例如，图像帧1106)的不同方式。例如，通过图像捕获设备(例如，图像捕获设备108)捕获图像帧1106可以以多种方式完成，包括但不限于用相机捕获图像帧(1002)、打开图像帧文件(1004)或者通过基于云的计算设备访问图像帧(1006)。在一些实施例中，图像捕获设备108可以是计算设备102的一部分。作为示例，如果计算设备102是移动计算设备204，则可以通过用移动计算设备204中的相机拍摄照片来捕获要处理的图像帧1106、可以从计算机可读介质112访问要处理的图像帧1106、或者可以从基于云的计算设备208访问图像帧1106。应当理解，其他类型的计算设备102也是可能的并且在本文中被预想到以捕获图像帧1106。

块304包括：将以上所捕获的图像帧1106与由经训练的机器学习模型提供的多个合成图像(例如，合成图像608)进行比较。通过使用遮罩606组合阴影图像604和明亮图像602以创建部分阴影合成图像608，来生成多个合成图像608。

然后，块306包括：基于比较，从与经训练的机器学习模型相关联的多个遮罩605中选择遮罩形状(例如，遮罩形状802)。从用于创建部分阴影合成图像608的不同遮罩606中选择遮罩606。如图11所示，所选择的遮罩1104的形状是最接近地符合图像帧1106内的阴影1102的至少一部分的形状的那一个。

块308包括：根据遮罩606调整图像帧1106，以提供经调整的图像帧1202。图12是可以如何进行调整的示例实施例的图示。在进行调整以能够确定阴影区域的形状和大小并调整阴影区域的亮度、和/或调整遮罩606之外的明亮区域的亮度时，使用遮罩606。图像帧1106中的阴影1102可以被锐化(例如，增强)、柔化(例如，减少)或者完全消除。

块310包括：当调整了图像帧1106，显示经调整的图像帧1202。例如，经调整的图像帧1202可以显示在计算设备102的显示器106上。附加地或替代地，可以使用图形用户界面104来显示经调整的图像帧1202。

有不同的方式来实现经调整的图像帧1202。可以通过以可控调整的方式使用以上步骤，来获得经调整的图像帧。例如，用户可以通过在图形用户界面104中手动选择选项对照片进行调整，从而用户控制进行多大程度的调整。替代地，经调整的图像帧1202可以是由计算设备102自动调整的。例如，用户可能没有关于调整量的任何输入。计算设备102可以确定要进行多大程度以及何种类型的调整。

进一步地，图形用户界面104可以包括控制界面402。图4A和图4B示出根据示例实施例的图形用户界面104。虽然图4A和图4B示出移动计算设备204上的图形用户界面104，但是应当理解，其他类型的计算设备102和其他类型的图形用户界面也是可能的并且在本文中被预想到。控制界面402可以在中心显示图像帧1106，并且具有围绕图像帧1106的用户输入选项以允许图像被重新照明。作为示例，用户输入选项可以作为用户可操作的效果图标沿着控制界面402的底部呈现。控制界面402可以被配置为根据所选择的遮罩606和/或用户可操作的效果图标来可控地调整图像帧1106。通过改变图像帧1106上的阴影1102的外观来可控地调整图像帧1106。连同其他可能的和预想到的色彩变化，阴影1102可以通过锐化阴影1102、柔化阴影1102或完全去除阴影1102被可控地调整。

在图形用户界面104中，可控地调整图像帧1106可以通过调节旋钮404来实现。调节旋钮404可以可控地操作以柔化、锐化或者消除图像帧1106内的阴影1102。在一些实施例中，转动调节旋钮404的方向和转动调节旋钮404的量可以确定图像帧1106被调整了多大程度。

替代地，根据遮罩606调整图像帧1106可以由计算设备102自动执行。经调整的图像帧1202将在没有受控的调整或控制界面402的情况下显示。在另一实施例中，图像帧1106可以被自动调整，并且然后另外地通过图形用户界面104的控制界面402来可控地调整。

图5示出根据示例实施例的方法500。方法500可以包括各个块或步骤。这些块或步骤可以单独地或组合地执行。这些块或步骤可以以任何次序和/或串行地或并行地执行。进一步地，块或步骤可以从方法500省略或添加到方法500。

虽然这里的示例可以描述对具有作为肖像的对象614(例如，个体人类对象)的图像帧1106的阴影处理，但是应当理解，所描述的系统和方法可以应用于其他对象。例如，图像帧1106可以包括其他类型的摄影对象。

块502包括：提供对象614在第一照明环境内照明的场景616中的第一图像帧602。第一图像帧602可以以多种方式获得。这在图7中示出。在示例实施例中，第一图像帧602可以从光场702获得。在这样的情景中，使用单帧单一照明(OLAT)数据集，光场702可以对共享相同对象614的肖像图像提供任意的照明环境。作为示例，可以可控地产生不同的照明环境。环境被转化为数据集中的权重，将其组合以产生不同的光亮图像和阴影图像。替代地，第一图像帧602可以是真实世界图像。真实世界图像是在非OLAT、非光场环境中捕获的图像。此外，第一图像帧602可以是在所生成的照明环境中拍摄并对其进行重新渲染的图像。

第一图像帧602在第一照明环境内被照明。第一照明环境是明亮照明环境610。明亮照明环境610是在其中对象614被照明得与场景616一样亮或者比场景616更亮的照明环境。场景616是对象614的周围环境。明亮照明环境610不包含饱和像素，并且使对象614的特征清晰可见且可辨别。

换句话说，明亮照明环境610可以包括基于相机系统(例如，光圈大小、曝光时间等)和图像捕获情景或场景的考虑。例如，在示例场景中，在对象站在日落前时捕获对象的面部的“明亮”图像可能需要补光闪光或另一类型的附加照明。在另一场景中，日间且对象在室内并靠近窗户时捕获对象的面部的“明亮”图像可能不需要附加照明以产生“明亮”图像。因此，应当理解，明亮照明环境610可以是如下照明环境：在该照明环境中，对象相对于情景的剩余部分被充分照明，使得对象容易辨别且清晰，并且很好地在相机的有用动态范围内。

明亮照明环境610可以用光场702获得，因为光舞台702可以可控地产生“光亮”或“明亮”照明环境610。明亮照明环境610也可以出现在真实世界情景中。替换地，可以生成明亮环境610。明亮环境610可以在光场中或者用专业摄影照明生成，使得打开多个灯以满足对象614与对象的周围环境一样亮或者比对象的周围环境更亮。替代地，明亮环境610可以通过重新照明先前拍摄的图像来生成。此外，在其他实施例中，明亮环境610可以是在高光时间在没有遮挡物体的情况下被太阳照明的环境。例如12:00pm。

第一图像帧602中的对象614可以是肖像图像中的人。肖像图像可以容易地用光场702照亮，并且机器学习模型在训练阶段可以更容易，这是因为人类肖像对象614具有相似的面部几何形状812。然而，应当理解，这里描述的系统和方法可以对其他类型的对象(诸如建筑物、其他类型的物体或其他生物)执行，以去除和/或调整明显的阴影。

当获得第一图像帧602，然后通过将其添加到数据流水线600来提供它。将第一图像602添加到数据流水线600，以与第二图像帧604和遮罩606组合，以便创建合成图像608。

块504包括：提供对象614在第二照明环境内的第二图像帧604。通过将其添加到数据流水线600来提供第二图像604。如图7所示，可以以多种方式获得第二图像帧604。在示例实施例中，可以从光场702获得第二图像帧604。如先前所述，使用OLAT数据集，光场702可以对共享相同对象614的肖像图像提供任意的照明环境。光场702可以用于可控地产生不同的照明环境。环境被转化为数据集中的权重，将其组合以产生不同的光亮图像和阴影图像。替代地，第二图像帧604可以通过重新照明真实世界图像来获得。此外，第二图像帧604可以通过重新渲染在生成的照明环境中拍摄的图像来获得。

第二图像帧604在第二照明环境内被照亮。在示例实施例中，第二照明环境可以是阴影照明环境612。阴影照明环境612可以用光场702通过模拟遮光器来获得。遮光器是部分地或完全地阻碍到达眼睛或图像捕获设备的光量的物体。为了模拟遮光器，可以盖住光源或照明环境的区域。阴影照明环境612也可以通过重新照明真实世界图像来获得。在该情景中，现有图像被视为明亮图像，并且可以通过以下方式创建阴影图像：1)预测全亮图像中的现有照明环境；2)通过向全亮图像添加遮光器来产生“阴影”环境照明；以及3)重新渲染图像，如同其已被2)中的环境照明一样。替换地，阴影照明环境612可以通过重新渲染在以上步骤中所述的生成的照明环境中所拍摄的图像来获得。

第二图像帧604中的对象614可以是各种不同类型的对象，诸如人的肖像、建筑物、其他类型的物体或其他生物，如第一图像帧602的情况。然而，第二图像帧604中的对象614必须是与第一图像帧602中的对象614在相同或相似方向上的相同或相似的对象614。

当获得第二图像帧604，然后通过将其添加到数据流水线600来提供它。

块506包括：确定遮罩606。遮罩606创建合成阴影1102并且通过选择遮罩形状802来创建。如图8所示，从多个可能的阴影形状804中选择遮罩形状802。阴影形状可以从遮挡物体806的投影三维模型收集。根据对象614的面部几何形状812，投影遮挡物体806的投影三维模型。例如，可以通过在光源前放置物体(诸如树枝、帽子或通常引起阴影的其他物体(或物体类型))，使得其阻挡一些光到达对象614的面部，由此获得投影。这些阴影形状将以遵守对象614面部轮廓的方式投影。在另一示例中，从遮挡物体806的投影三维模型收集的阴影形状也可以从由对象614自身特征(诸如鼻子)引起的面部上的阴影获得。

在一些实施例中，附加地或替代地，阴影形状可以从二维形状808收集。例如，二维形状808可以是手绘的阴影形状，它们可以是随机的形状，它们可以是描摹的形状，它们可以包括来自照片的轮廓，或者它们可以由未提及的任何其他方式产生，以便获得阴影的二维形状。附加地或替代地，阴影形状可以从合成生成的二维形状810收集。阴影可以由计算机程序或任何其他方式合成生成。此外，二维阴影形状可以是上述可能方法的任何的组合，具有局部化的色彩和锐度变化，以模拟真实世界现象，诸如皮肤中的次表面散射、空间变化的照明环境或阴影透视收缩。

块508包括：根据遮罩606组合第一图像帧602和第二图像帧604，以生成合成图像608，如图6所示。在示例实施例中，遮罩606可以控制第二图像帧604相对于第一图像帧602的透明度或不透明度。如先前所述，遮罩606对应于不同的阴影形状。

通过将第二图像帧604层叠在第一图像帧602上并将遮罩606应用于阴影图像帧604，第一图像帧602和第二图像帧604被组合以产生合成图像608。该组合通过保留与遮罩606的形状对应的阴影图像部分，并使第二图像帧604的剩余部分显得透明从而使第一图像帧602可观察，来形成合成阴影图像。根据遮罩606组合第一图像帧602和第二图像帧604以生成合成图像608的操作中的一些或全部可以在数据流水线600的至少一部分中执行。

块510包括：对合成图像608分配得分。所分配的得分可以与合成图像608上的阴影1102的逼真外观相关联。得分值可以基于评分范围。作为示例，评分范围可以开始于零并结束于十。具有逼真外观阴影1102的合成图像608将在0到10的评分范围内获得高得分，例如高于5分，而具有不逼真外观阴影1102的合成图像608可以在0到10的标度上获得低得分，例如低于5分。用于对合成图像608评分的标度可以是其他数字的任何范围，例如0到100，或者0到200。合成图像608可以通过将它们与“真值”图像进行比较来客观地评分，“真值”图像定义了完美评分图像会看起来如何。通过计算合成图像608和真值图像之间的“距离”，对合成图像608评分。可以通过从一个图像的像素值减去另一图像的像素值或者通过用于距离计算的各种其他技术来计算距离。

块512包括：基于合成图像608的分配到的得分，训练机器学习模型。对合成图像608分配得分有助于训练机器学习模型。基于相应合成图像的分配到的得分来训练机器学习模型提供调节卷积神经网络中的变量(诸如参数权重)的方式。其他基于得分的机器学习技术和算法被预想到并且是可能的。一旦被训练，机器学习模型将能够标识哪些合成图像608是最佳参考。因此，机器学习模型可以基于先前的实例来创建更准确的合成图像608。使用评分来训练机器学习模型还提高具有经柔化或去除的阴影的经调整的图像帧的美学质量。

图9示出根据示例实施例的方法900。方法900可以包括各个块或步骤。这些块或步骤可以单独地或组合地执行。这些块或步骤可以以任何次序和/或串行或并行地执行。进一步地，块或步骤可以从方法900省略或添加到方法900。

方法900的块中的一些或全部可以包括参照图4A和图4B所示出和描述的系统100和/或图形用户界面104的元件。此外，方法900的一些或全部块可以由计算设备102来执行。

虽然这里的示例可以描述对具有肖像的对象614的图像帧的阴影处理，但是应当理解，所描述的系统和方法可以应用于其他摄影对象。

块902包括：使图像捕获设备108捕获图像帧1106。图像捕获设备108捕获图像帧1106可以以多种方式实现，包括但不限于用相机捕获图像帧1106(1002)、打开图像帧文件(1004)或者通过基于云的计算设备访问图像帧(1006)。图像捕获设备108可以是系统100的一部分，并且更具体地，是计算设备102的一部分。作为示例，如果计算设备102是移动计算设备204，则可以通过用移动计算设备204中的相机拍摄照片来捕获要调整的图像帧1106，可以在存储器中访问要调整的图像帧1106，或者可以从基于云的计算设备208访问图像帧1106。应当理解，其他类型的计算设备102是可能的并且在本文中被预想到以捕获图像帧1106。所捕获的图像是将对其应用机器学习模型以便消除或调整阴影的图像。

块904包括：将图像帧1106与由经训练的机器学习模型提供的多个合成图像608进行比较。在一些实施例中，图像帧1106可以以先前描述的方式捕获。如在方法500中所述，通过使用遮罩606组合相同对象614的阴影图像604和明亮图像602来生成多个合成图像608。组合阴影图像604和明亮图像602创建部分阴影合成图像608。然后，相对于合成图像608上的阴影来分析所捕获的图像帧1106上的阴影，来比较两个图像。可以选择具有最接近地对应于所捕获的图像帧1106上的阴影的阴影的合成图像608。在一些实施例中，经训练的机器学习模型可以与方法500的类似或相同，但是也应当理解，用于机器学习模型的其他方法是可能的并且在本文中被预想到。

块906包括：基于比较，从与经训练的机器学习模型相关联的多个遮罩605中选择遮罩606。从用于创建部分阴影合成图像608的多个遮罩605中选择遮罩606。所选择的遮罩606是用于创建匹配合成图像608的遮罩606。因此，如图11所示，所选择的遮罩1104的形状基本匹配图像帧1106内的阴影1102的至少一部分的形状。

块908包括：根据遮罩606调整图像帧1106，以提供具有较少阴影的经调整的图像帧1202和具有较多阴影的经调整的图像帧1212。图12是如何进行调整的示例实施例的图示。在进行调整以确定阴影区域的形状和大小并调整阴影区域的亮度、和/或调整遮罩606之外的明亮区域的亮度时，使用遮罩606。对图像的调整基于图像调整值1204进行以柔化阴影，并且基于图像调整值1214进行以锐化阴影。选择图像调整值1204以便柔化或去除图像帧1106内的阴影1102。选择图像调整值1214以便锐化图像帧1106内的阴影1102。图像调整值1204可以是噪声值，诸如柏林噪声(Perlin noise)，其中，增加噪声值(1208)将柔化图像帧1106内的阴影1102。替代地，图像调整值1214可以是如下噪声值：减小噪声值(1206)将锐化图像帧1106内的阴影1102。在一些实施例中，可以充分增加噪声值(1208)，然后阴影1102可以被柔化到被去除。

由于这些调整，经调整的图像帧1202比图像帧1106具有更少的阴影1102，其中，经调整的图像帧1212比图像帧1106具有更多的阴影1102。除了阴影1102之外，遮罩606还可以用于改变图像帧1106的色彩、饱和度或其他效果。遮罩606可以与不同的照片编辑系统结合使用，以改变经调整的图像帧1202或经调整的图像帧1212的效果。可以改变的图像帧1106的效果可以包括频率、对比度、不透明度、色彩平衡、色调等。

Claims (20)

1.一种方法，包括：

提供对象在第一照明环境内照明的场景中的第一图像帧；

提供所述对象在第二照明环境内照明的第二图像帧；

确定遮罩；

根据所述遮罩组合所述第一图像帧和所述第二图像帧以生成合成图像；

对所述合成图像分配得分；以及

基于所分配的得分训练机器学习模型。

2.如权利要求1所述的方法，其中，根据所述遮罩组合所述第一图像帧和所述第二图像帧以生成所述合成图像作为数据流水线的至少一部分来执行。

3.如权利要求1所述的方法，其中，所述第一图像帧和所述第二图像帧可以从光场、真实世界图像和重新照明的真实世界图像或者从光场和重新照明的光场图像获得。

4.如权利要求1所述的方法，其中，所述第一照明环境是明亮照明环境，其中，所述明亮照明环境包括所述对象被照亮得与所述场景一样亮或者比所述场景更亮。

5.如权利要求1所述的方法，其中，所述第二照明环境是阴影照明环境。

6.如权利要求1所述的方法，其中，确定所述遮罩包括：从多个可能的阴影形状中选择遮罩形状。

7.如权利要求6所述的方法，其中，所述多个可能的阴影遮罩形状包括以下中的至少一个：遮挡物体的投影三维模型、二维形状或合成生成的二维形状。

8.如权利要求7所述的方法，其中，根据所述对象的面部几何形状投影遮挡物体的所述投影三维模型。

9.一种方法，包括：

使图像捕获设备捕获图像帧；

将所述图像帧与由经训练的机器学习模型提供的多个合成图像帧进行比较；

基于所述比较，从与所述经训练的机器学习模型相关联的多个遮罩中选择遮罩；以及

根据所述遮罩调整所述图像帧，以提供经调整的图像帧。

10.如权利要求9所述的方法，其中，使所述图像捕获设备捕获图像帧包括：用相机捕获所述图像帧，打开图像帧文件，或者通过基于云的计算设备访问所述图像帧。

11.如权利要求9所述的方法，其中，所选择的遮罩的形状基本匹配所述图像帧内的至少一部分阴影的形状。

12.如权利要求9所述的方法，其中，所述经调整的图像帧比所述图像帧具有更多或更少的阴影。

13.如权利要求12所述的方法，其中，选择图像调整值以便柔化、锐化或去除所述图像帧内的所述阴影。

14.如权利要求13所述的方法，其中，图像调整值包括噪声值，其中，增加所述噪声值将柔化所述图像帧内的所述阴影，并且减少所述噪声值将锐化所述图像帧内的所述阴影。

15.一种系统，包括：

计算设备，其包括处理器和非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质存储由经训练的机器学习模型提供的程序指令的集合，其中，所述处理器执行所述程序指令以便执行操作，所述操作包括：

使图像捕获设备捕获图像帧；

将所述图像帧与由所述经训练的机器学习模型提供的多个合成图像帧进行比较；

基于所述比较，从与所述经训练的机器学习模型相关联的多个遮罩中选择遮罩；

根据所述遮罩调整所述图像帧，以提供经调整的图像帧；以及

显示所述经调整的图像帧。

16.如权利要求15所述的系统，其中，所述计算设备包括以下中的至少一个：移动计算设备、膝上型计算机、基于云的计算设备或台式计算机。

17.如权利要求15所述的系统，其中，使所述图像捕获设备捕获图像帧包括：用相机捕获所述图像帧，打开图像帧文件，或者通过基于云的计算设备访问所述图像帧。

18.如权利要求15所述的系统，还包括图形用户界面，其中，所述图形用户界面包括控制界面，所述控制界面被配置为根据所选择的遮罩可控地调整所述图像帧。

19.如权利要求18所述的系统，其中，所述控制界面包括调节旋钮，所述调节旋钮可以可控地操作以柔化、锐化或消除所述图像帧内的阴影。

20.如权利要求15所述的系统，其中，根据所述遮罩调整所述图像帧是自动完成的。

Images