CN112150347A - 从有限的修改后图像集合中学习的图像修改样式 - Google Patents
从有限的修改后图像集合中学习的图像修改样式 Download PDFInfo
- Publication number
- CN112150347A CN112150347A CN202010281119.6A CN202010281119A CN112150347A CN 112150347 A CN112150347 A CN 112150347A CN 202010281119 A CN202010281119 A CN 202010281119A CN 112150347 A CN112150347 A CN 112150347A
- Authority
- CN
- China
- Prior art keywords
- image
- modification
- representation
- modified
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012986 modification Methods 0.000 title claims abstract description 270
- 230000004048 modification Effects 0.000 title claims abstract description 270
- 230000015654 memory Effects 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims description 83
- 239000013598 vector Substances 0.000 claims description 44
- 238000003860 storage Methods 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 14
- 238000011524 similarity measure Methods 0.000 abstract description 21
- 230000006870 function Effects 0.000 description 17
- 238000012549 training Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开的实施例涉及从有限的修改后图像集合中学习的图像修改样式。经学习的样式系统接收对用作修改样式的基础的一个或多个修改后图像的选择。对于每个修改后图像,该系统创建修改存储器,其包括图像内容的表示和修改参数,该修改参数描述对该内容进行的用以产生修改后图像的修改。这些修改存储器被封装到样式数据中,被用来将修改样式应用于输入图像。在应用样式时,系统生成输入图像的图像表示,并且确定输入图像的表示与样式数据中的每个修改存储器的表示之间的相似性的度量。系统部分地基于这些相似性度量来确定用于应用修改样式的参数。系统根据所确定的参数修改输入图像以产生样式化图像。
Description
技术领域
本公开总体上涉及内容编辑,并且更具体地涉及从有限的修改后图像集合中学习的图像修改样式。
背景技术
内容编辑系统包括各种工具,这些工具使得能够修改大量的数字视觉内容,诸如数字图像——其中一个示例是数字照片。用户能够以各种方式(例如,触摸功能性、手写笔、键盘和鼠标等)与这些内容编辑系统进行交互,以修改数字图像。例如,许多这样的系统支持用于修改数字图像的视觉特性的操作。这些系统经常对不同的视觉特性进行参数化,并暴露用户可以与之进行交互以调整参数值的组件。这样的参数的示例包括曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。响应于参数的调整(例如,经由滑块),内容编辑系统修改数字图像的对应视觉特性。通常用户对参数进行调整,以使其数字图像(或其数字图像的集合)具有一致的“观感”——使得其具有特定的“样式”。
传统系统包括用于将样式从这些样式化的数字图像传播到尚未被样式化的数字图像的功能性。例如,这些传统系统中的一些通过简单地复制样式化的数字图像的参数值然后将尚未被样式化的图像的参数值设置为等于复制的参数值来传播样式。但是,这些系统没有考虑如何将样式应用于不同图像中所描绘的不同场景,诸如如何将样式应用于描绘天空的图像与描绘室内场景的图像。这可能会导致通过简单地应用相同的一组被提取参数而生成的结果图像看起来具有不同的样式——不一致的外观。其他传统系统使用机器学习,诸如通过使用经训练的神经网络来传播样式。这些神经网络需要在训练期间暴露于数百、数千、甚至数百万个训练图像,以学习数字图像的视觉愉悦特性并学习修改的“样式”。因此,这些传统系统需要大量时间来训练机器学习模型,并且训练也可能会成为计算资源的负担,从而使其不适用于移动计算设备。
发明内容
为了克服这些问题,在数字媒体环境中利用了从有限的修改后图像集合中学习的图像修改样式。最初,经学习的样式系统接收对一个或多个修改后图像的选择,以用作修改样式的基础,诸如基于对修改后图像的用户选择,以创建新的样式或补充已经创建的样式。对于每个修改后图像,经学习的样式系统创建修改存储器,其包括图像内容的表示和修改参数,该修改参数描述了图像的内容如何被修改以产生修改后图像。经学习的样式系统通过以下来生成图像表示:处理图像内容并产生表示图像内容的缩减信息而不是图像内容的逐像素整体,例如照度和色度的分布以及特征矢量。经学习的样式系统从修改后图像中提取修改参数,并将这些与所生成的图像表示封装在一起,以形成修改存储器。然后将针对每个选择的图像的修改存储器封装到样式数据(例如,基于文本的文件)中,该样式数据可以被维护在存储装置中,并且后续被用来将修改样式应用于输入图像——以将输入图像修改为具有用作其基础的图像的修改样式。
例如,响应于对输入图像和要应用于该输入图像的修改样式的选择,经学习的样式系统将选择的样式应用于输入图像。为此,经学习的样式系统最初生成输入图像的图像表示。然后,经学习的样式系统确定输入图像的表示与由修改样式的数据所捕获的每个修改存储器的表示之间的相似性的度量。经学习的样式系统基于修改存储器的修改参数和所确定的相似性度量来确定用于将修改样式应用于输入图像的参数。通过根据这些所确定的参数来修改输入图像,经学习的样式系统产生具有修改样式的样式化图像。
本发明内容以简化的形式介绍了一些概念,这些概念将在下面的详细描述中被进一步描述。因此,本发明内容既不旨在标识所要求保护的主题的必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参考附图描述详细描述。
图1是可操作来采用本文所描述的技术的示例实现中的环境的图示。
图2描绘了示例系统,其中图1的经学习的样式系统从修改后图像生成样式数据,并且其可使用于用从修改后图像中学习的样式来修改输入图像。
图3A和图3B分别描绘了从单个修改后图像生成的用于第一样式的样式数据和从多个修改后图像生成的用于第二样式的样式数据的示例实现。
图4描绘了用户界面的示例实现,经由该用户界面可选择一个或多个修改后图像以用作用于学习修改的样式的基础。
图5描绘了示例系统,其中图1的经学习的样式系统用从用作样式的基础的一个或多个修改后图像中学习的样式来修改输入图像。
图6描绘了示例实现,其中与所生成的样式的样式数据中包括的图像相关地分析输入图像。
图7描绘了示例实现中的过程,其中从一个或多个修改后图像生成样式数据。
图8描绘了示例实现中的过程,其中用从用作样式的基础的一个或多个修改后图像中学习的样式来修改输入图像。
图9图示了包括示例设备的各种组件的示例系统,该示例设备可以被实现为如参考图1-图8所描述和/或利用的任何类型的计算设备,以实现本文所描述的技术的实施例。
具体实施方式
概览
传统配置的内容创建系统包括用于将样式从数字图像(或数字图像的集合)传播到尚未被样式化的数字图像的有限工具。例如,这些传统系统中的一些通过简单地复制样式化的数字图像的参数值然后将尚未被样式化的图像的参数值设置为等于复制的参数值来传播样式。但是,这些系统没有考虑如何将样式应用于不同图像中所描绘的不同场景,诸如如何将样式应用于描绘天空的图像与描绘室内场景的图像。其他传统系统使用机器学习,诸如使用经训练的神经网络来传播样式。这些神经网络需要在训练期间暴露于数百、数千、甚至数百万个训练图像,以学习数字图像的视觉愉悦特性并学习修改的“样式”。因此,这些传统系统需要大量时间来训练机器学习模型,并且训练也可能会成为计算资源的负担,从而使其不适用于移动计算设备。
为了克服这些问题,在数字媒体环境中利用了从有限的修改后图像集合中学习的图像修改样式。最初,经学习的样式系统接收对一个或多个修改后图像的选择,以用作修改样式的基础。举例来说,经学习的样式系统可以接收对修改后图像的用户选择,以创建新的样式或补充已经创建的样式。备选地或附加地,当用户对图像进行修改时(例如,使用内容编辑应用的工具),经学习的样式系统可以记录修改,并且使用在该记录期间被修改的图像作为修改样式的基础。无论如何,这些修改后图像各自包括与描绘修改之前的场景的图像内容相对应的数据,以及描述如何修改内容以产生相应的修改后图像的参数。能够捕获该图像内容和这些参数的示例数据结构包括原始图像,原始图像包括诸如.raw、.dng、.crw、.orf等的文件格式类型。示例参数包括曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。
对于被选择用作修改样式的基础的每个修改后图像——无论是通过明确的用户选择、在修改会话期间记录样式、还是通过其他方式——经学习的样式系统都生成修改存储器。这些修改存储器各自包括来自修改后图像的修改参数以及相应的修改后图像的内容的表示。广义而言,经学习的样式系统将图像表示生成为表示相应图像的内容的缩减信息,而不是使用图像内容的逐像素整体。例如,在一个或多个实现中,经学习的样式系统生成两分量图像表示。在此,第一分量包括已被矢量化的照度和色度的分布。第二分量包括特征矢量,其具有表示图像内容中所描绘的场景的语义特性的数字特征的维度。如下面进一步讨论的,在所描述的技术的精神和范围内,可以以其他方式配置这些图像表示。
为了将修改后图像的修改参数合并到相应的修改存储器中,经学习的样式系统从对应的图像文件中提取修改参数。然后,经学习的样式系统将提取的参数以及相应的图像表示插入到修改后图像的修改存储器中。经学习的样式系统生成样式数据,该样式数据包括为用作对应样式的基础的每个修改后图像生成的修改存储器。在一个或多个实现中,经学习的样式系统生成样式数据作为所生成的修改存储器的表示,其中该表示被配置用于存储在文件结构中。例如,经学习的样式系统可以生成基于文本的格式的样式数据,例如作为诸如纯文本的可读文本、JavaScript对象标示(JSON)文件等。备选地或附加地,经学习的样式系统可以以二进制格式生成样式数据。无论如何,样式数据因此都可以被维护在本地存储装置处的文件结构中,或者被传送给各种计算设备以进行远程存储。这使得样式数据能够被维护以及跨文件系统和用户被共享,诸如由服务共享给订阅用户或从一个用户共享给另一用户。在任何情况下,样式数据都使得经学习的样式系统能够将修改存储器所捕获的样式应用于后续图像。
例如,响应于对样式和输入图像的用户选择,经学习的样式系统可以将选择的样式应用于输入图像。为了应用选择的样式,经学习的样式系统最初例如以与其生成修改后图像的图像表示的方式相似的方式来生成输入图像的图像表示,以将其包括为修改存储器的一部分。然后,经学习的样式系统确定输入图像的表示与在选择的样式数据中包括的每个修改存储器的表示之间的相似性的度量。基于这些相似性,经学习的样式系统确定用于修改输入图像的参数,以使其具有用作样式的基础的修改后图像的样式。
如下所述,经学习的样式系统将这些参数确定为由修改样式的存储器捕获的修改参数的加权组合。经学习的样式系统对修改参数进行加权,使得与相似的表示配对的修改参数比与不太相似的表示配对的修改参数对组合的贡献更多,如果不太相似的表示的参数对组合有贡献的话。在一个或多个实现中,经学习的样式系统使用基于壳的方法来确定修改存储器的修改参数对加权组合有多少贡献。在这种方法中,经学习的样式系统例如在矢量空间中并使用矢量化的修改存储器,与多个壳相关地布置修改后图像。经学习的样式系统还基于相似性的度量来确定每个壳内的修改后图像与输入图像的接近度。此外,基于相应的修改参数的平均和标准偏差,诸如第一壳内的修改存储器的曝光参数的平均和跨第一壳的修改存储器的曝光参数的标准偏差,经学习的样式系统确定每个壳内的修改存储器的显著性。
一旦参数被确定,经学习的样式系统通过根据所确定的参数修改输入图像来产生样式化图像。使用这种方法,经学习的样式系统可以捕获有限的修改后图像集合的样式,例如仅单个修改后图像,并将这些样式应用于后续图像。换言之,这允许学习后的修改样式基于有限数目的图像。这与依赖于深度学习、统计机器学习等的系统不同,那些系统从数百、数千、甚至数百万专业编辑的训练图像的训练集合中学习样式。这些传统方法训练模型很慢,而由经学习的样式系统执行的训练几乎是即时的——经学习的样式系统的训练对应于该系统为被选择用作样式的基础的任何图像生成修改存储器所花费的时间。通过使用选择的图像的较小集合作为用于学习样式的基础——诸如通过从一个或仅仅几个用户选择的图像中学习样式——经学习的样式系统能够在更少的时间内学习样式,并且还无需像依赖深度学习的系统那样消耗那么多计算资源。时间的减少和计算资源的较低负担对于将所描述的系统与移动计算设备一起使用是有利的。
经学习的样式系统学习和应用样式的方式也与仅涉及参数值的提取(例如,复制)的技术不同。在这样的传统方法中,从修改后图像中提取在图像编辑期间被修改的参数。然后,只简单地修改输入图像的参数值以匹配所提取的参数值。然而,这些传统方法不能考虑在不同的图像中所描绘的不同场景的差异。这可能会导致通过简单地应用相同的一组被提取参数而生成的结果图像看起来具有不同的样式——不一致的外观。与这些传统方法不同,经学习的样式系统例如部分地基于图像表示的特征矢量分量来学习如何将样式应用于描绘不同场景的图像。以这种方式,经学习的样式系统能够将描述不同场景的输入图像修改为具有相似的样式——统一外观——尽管输入图像的原始视觉特性中可能存在巨大差异。
术语描述
如在本文中所使用的,术语“修改存储器”是指描述例如使用内容编辑应用的工具已被修改的数字图像的数据。修改存储器捕获关于修改后图像的信息,根据所描述的技术,该信息可以与其他修改后图像的修改存储器结合或单独被利用以将修改样式应用于后续图像。如上文和下文所讨论的,修改存储器可以包括相应图像的图像表示以及修改参数,该修改参数描述对相应图像的描绘内容进行的用以产生修改后图像的修改。此外,修改存储器可以被配置为矢量,诸如捕获指示图像表示的第一矢量和捕获修改参数的第二矢量的矢量。这些存储器与诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存等计算存储器不同。在该上下文中,可以将修改存储器加载到存储器(例如,RAM)中,以将对应的样式应用于输入图像。
如在本文中所使用的,术语“图像表示”是指表示相应图像内容的缩减信息,而不是图像内容的逐像素整体。对于修改存储器,图像表示对应于未修改版本的数字内容的该缩减信息,诸如从原始图像格式获取的并且在对图像内容进行修改之前的图像内容,例如由图像感测设备捕获的原始图像。如下所述,可以以诸如两分量配置之类的多种方式来配置图像表示。
如本文中所使用的,术语“修改参数”是指其中至少一个视觉特性已被修改的数字图像的各种视觉特性的参数化。术语“参数”单独仅仅是指数字图像的各种视觉特性的参数化。一般而言,内容编辑应用包括工具(例如,暴露的用户界面组件),用户可以与之进行交互以对参数值进行调整——以修改参数。这样的参数的示例包括曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。
在以下讨论中,首先描述了可以采用本文所描述的技术的示例环境。然后描述可以在示例环境以及其他环境中执行的示例实现细节和过程。因此,示例过程的执行不限于示例环境,并且示例环境不限于示例过程的执行。
示例环境
图1是可操作来采用本文所描述的技术的示例实现中的数字媒体环境100的图示。所图示的环境100包括可以以各种方式被配置的计算设备102。
计算设备102例如可以被配置为台式计算机、膝上型计算机、移动设备(例如,假设诸如平板电脑或移动电话之类的手持式配置)等等。因此,计算设备102的范围可以从具有大量存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如,移动设备)。附加地,尽管示出了单个计算设备102,但是计算设备102可以表示多个不同的设备,诸如由企业利用以执行如图9中所描述的“在云上”的操作的多个服务器。
计算设备102被图示为包括内容编辑应用104。内容编辑应用104表示计算设备102的创建和/或编辑数字内容的功能性。举例来说,内容编辑应用104包括编辑数字视觉内容的功能性,诸如数字图形、数字图像以及包括图形的数字图像。数字图形的示例包括但不限于矢量图形、光栅图形(例如,数字照片)、具有不同类型的图形的布局等。
此外,内容编辑应用104可以使客户端设备用户能够与经由计算设备102被呈现的应用界面进行交互,以执行内容编辑操作,诸如选择数字内容的各部分、移除数字内容的所选择的部分、修改数字内容的所选择的部分的特性(例如,颜色、模糊度、饱和度、亮度等)、选择用于执行数字内容的自动修改的选项等等。在不脱离本文所描述技术的精神或范围的情况下,内容编辑应用104可以有助于其他内容编辑操作。在不脱离本文所描述技术的精神或范围的情况下,内容编辑应用104还可以表示支持对各种类型的数字内容执行内容编辑操作的功能性的多于一个的应用(例如,一套应用)。
内容编辑应用104被配置为相对于数字内容中的至少一些数字内容来执行操作,该数字内容中的至少一些数字内容由数字视觉内容106表示,其被图示为被维护在计算设备102的存储装置108中。虽然数字视觉内容106被图示为被维护在存储装置108中,但是数字视觉内容106也可以表示以其他方式可被计算设备102访问的数字视觉内容,例如可被计算设备102通过网络110从另一设备的存储装置访问的数字视觉内容。在这样的实现中,计算设备102可以表示如上所述的学习修改后图像的样式并将样式应用于输入图像的功能性,以及如下所述用于其他设备例如以从那些设备卸载这样做的一些计算负担。换言之,计算设备102可以被配置为作为服务提供样式学习或学习后的样式的应用——并且因此被认为与服务提供方相关联。
在不脱离本文所描述技术的精神或范围的情况下,数字视觉内容106可以表示各种类型的数字内容。例如,数字视觉内容106用数字照片112来描绘,其还被描绘为在第一时间处经由计算设备102的显示设备114而被显示。显示设备114还被描绘为在第一时间之后的第二时间处显示样式化图像116。这表示以下场景:其中通过使用从一个或多个修改后图像中学习的样式来修改数字照片112以产生样式化图像116,其中修改后图像用作样式的基础。在该上下文中,考虑经学习的样式系统118。
在所图示的环境100中,计算设备102被描绘为包括经学习的样式系统118,其功能性可以被合并到内容编辑应用104中和/或可被内容编辑应用104访问。经学习的样式系统118至少部分地被实现在计算设备102的硬件中,以从用作样式的基础的修改后图像生成样式数据120,并将从修改后图像中学习的样式应用于输入图像。特别地,例如在不接收用户输入来指定影响输入图像的视觉特性的参数值的情况下,经学习的样式系统118将学习后的样式“自动”应用于输入图像。替代地,仅接收用户输入以选择现有样式,并且还将选择的样式应用于数字图像。这样的示例是经由显示数字照片112的用户界面接收用户输入,即,将样式应用于数字照片112并且然后从所显示的现有样式列表中选择样式。在不脱离本文所描述的技术的精神或范围的情况下,计算设备102的用户可以提供输入来以其他方式应用现有样式,诸如通过使用键盘快捷键、手写笔手势、语音命令等。尽管被图示为在计算设备102上被本地实现,但是所图示的经学习的样式系统118的功能性还可以全部或部分地通过经由网络110可用的功能性而被实现,诸如通过web服务的一部分或“在云中”被实现。
如下面更详细地讨论的,经学习的样式系统118从用作相应样式的基础的一个或多个修改后图像生成样式数据120。经学习的样式系统118还将从持久存在于样式数据120中的修改后图像中学习的样式应用于输入图像。关于生成样式数据120,经学习的样式系统118能够为仅基于单个修改后图像的样式生成样式数据120。经学习的样式系统118还能够为基于多个修改后图像的样式生成样式数据120。广义而言,这允许学习后的修改样式基于有限数目的图像。这与利用深度学习、统计机器学习等的技术不同,后者从数百、数千、甚至数百万专业编辑的训练图像的训练集合中学习样式。这些传统方法训练模型很慢,而由经学习的样式系统118执行的训练几乎是即时的——经学习的样式系统118的训练对应于该系统为被选择用作样式的基础的任何图像生成修改存储器所花费的时间量。通过使用选择的图像的较小集合作为用于学习样式的基础——诸如通过从一个或仅仅几个用户选择的图像中学习样式——经学习的样式系统118能够在更少的时间内学习样式,而且还无需像深度学习技术那样消耗那么多计算资源。时间的减少和计算资源的较低负担对于将所描述的技术与移动计算设备一起使用是有利的。
经学习的样式系统118学习和应用样式的方式还与仅涉及参数值的提取(例如,复制)的技术不同。在这样的方法中,从修改后图像中提取在图像编辑期间被修改的参数。然后,只简单地修改输入图像的参数值以匹配所提取的参数值。然而,这些传统方法不能考虑在不同的图像中所描绘的不同场景的差异。这可能会导致通过简单地应用相同的一组提取参数而生成的结果图像看起来具有不同的样式——不一致的外观。与这些传统方法不同,经学习的样式系统118学习如何将样式应用于描绘不同场景的图像。以这种方式,经学习的样式系统118能够将描绘不同场景的输入图像修改为具有相似的样式——统一外观——尽管输入图像的原始视觉特性中可能存在巨大差异。因此,经学习的样式系统118可以被认为是“图像感知”或“内容感知”的。
已经考虑了示例环境,现在考虑根据一个或多个实现从数字媒体环境中的有限的修改后图像集合中学习的图像修改样式的技术的一些示例细节的讨论。
从有限的修改后图像集合中学习的图像修改样式
图2描绘了示例系统200,其中图1的经学习的样式系统从修改后图像生成样式数据,并且其可使用于用从修改后图像中学习的样式来修改输入图像。所图示的示例200包括来自图1中的经学习的样式系统118。
在所图示的示例200中,经学习的样式系统118被描绘为接收修改后图像202。根据所描述的技术,修改后图像202例如已由用户选择,以用作修改的“样式”的基础。如在本文中所使用的,“样式”是指对图像进行修改的方式,诸如通过改变图像的颜色(例如,灰度、特定颜色的滤光等)、曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。“样式”还可以对图像的某些有限部分进行特定的改变,诸如对天空但不对图像的其他部分,对人的脸部但不对图像的其他部分等进行特定的改变。广义而言,经学习的样式系统118被配置为从由用户选择以用作样式的基础的一个或多个已修改数字图像中学习修改的样式。尽管描绘了单个修改后图像202,但是用户可以选择多于一个图像来用作样式的基础。如上文和下文所指出,所描述的技术能够仅从单个选择的图像或者备选地从多个选择的图像中生成样式。
修改后图像202包括图像内容204和修改参数206。图像内容204表示从经由相机的传感器数据获取的数据中产生可视图像的信息,诸如产生包括像素的图像,每个像素都具有对应的像素值来描绘捕获的场景。在一个或多个实现中,修改后图像202是原始图像文件。原始图像文件类型的示例包括.raw、.dng、.crw、.orf等。此外,图像内容204对应于描述在对图像进行修改以形成修改后图像202之前的、所捕获的场景的信息。因此,图像内容204可以被认为是“原始”图像。修改参数206表示已经由图像编辑应用修改的参数的列表,诸如响应于经由应用的用户界面接收到用户输入以修改图像内容204。
尽管在实现中可能有数百个参数,但是修改参数206可能仅对应于作为修改图像内容204的结果而被修改的参数。考虑其中仅存在四个参数的示例:曝光、对比度、高光和阴影。在此示例中,假设接收到用户输入以将曝光增加32.0曝光停止,将对比度减少10.0单位,并将阴影增加34.0单位,但是未接收到修改高光的输入。在该场景中,修改参数206可以被配置为指示修改后参数的矢量,诸如被配置为表示以下值{32.0,-10.0、34.0}的矢量。备选地,修改参数206可以包括用于每个可修改参数的值,使得由于修改图像内容204而被修改的参数具有非零值,并且未被修改的参数具有零值或其他值(例如,空值),其指示未修改相应参数。
关于修改参数206,内容编辑应用104提供工具以使计算设备102的用户能够修改图像内容204以创建修改后图像202。例如,内容编辑应用104经由应用的用户界面呈现图像内容204以进行编辑。给定上面讨论的参数——曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等——内容编辑应用104被配置为经由用户界面提供对工具的访问,该工具使得参数能够被修改,诸如增加曝光。在一个或多个实现中,内容编辑应用104经由用户界面显示一个或多个图形界面组件,用户可以经由该图形界面组件来提供输入以修改特定参数,诸如滑动条和/或文本框以修改特定参数。备选地或附加地,内容编辑应用104提供界面,用户可以经由该界面以其他方式提供输入以修改特定参数,诸如通过接收来自用户的语音命令。内容编辑应用104可以使用户能够提供输入以修改数字图像,并且响应于接收到这样的修改输入,以各种方式创建具有相应修改参数的修改后数字图像,而不脱离所描述技术的精神或范围。
如上所提及,经学习的样式系统118从被选择用作样式的基础的修改后图像中学习样式。在所图示的示例200中,修改后图像202用作样式的基础。根据所描述的技术,经学习的样式系统118利用修改后图像202的修改参数206和图像内容204来生成捕获图像的样式的数据并使该样式能够被应用于后续图像。对于被选择用作样式的基础的每个修改后图像,经学习的样式系统118为修改后图像生成“修改存储器”。此外,经学习的样式系统118生成用于相应样式的样式数据,并将每个选择的图像的“修改存储器”插入到样式数据中。因此,在被选择用作样式的基础的图像与被包括在相应样式的样式数据中的修改存储器之间存在一对一的关系。在一个或多个实现中,样式数据可以被配置为维护这些修改存储器的文件。
在所图示的示例200中,给定经学习的样式系统118被描绘为获取单个图像(修改后图像202)以用作样式的基础,则经学习的样式系统118也被描绘为产生具有修改存储器210的特定样式数据208,即用于单个选择的图像的单个修改存储器。特定样式数据208是可以作为样式数据120的一部分而被包括的数据的一个示例。实际上,样式数据120可以包括用于多种不同样式的分开的样式数据,例如,对于两个样式,样式数据120可以包括两个分开的样式数据文件。在选择多个修改后图像来用作样式的基础的场景中,经学习的样式系统118产生多个相应的修改存储器,并将其插入到所生成的样式的样式数据中。
在所图示的示例200中,经学习的样式系统118包括表示模块212和样式生成模块214。尽管用这两个模块进行了描绘,但是在实现中,经学习的样式系统118可以包括更多、更少或不同的模块以生成选择的修改后图像的修改存储器和用于持久保留这些修改存储器的数据,而不脱离本文所描述的技术的精神或范围。
表示模块212表示用于生成图像内容204的图像表示216的功能性。图像表示216不是图像内容204的逐像素整体,而是图像内容204的缩减的经分析的表示,其以捕获图像内容204的相关特征但省略可能与将样式应用于后续图像不相关的细节的方式来概括图像内容204。图像表示216可以被配置为具有捕获缩减的经分析的表示的一个或多个分量的矢量。在一个或多个实现中,表示模块212生成图像表示216以具有描述图像内容204的两个分量。举例来说,第一分量对应于描述图像内容204的一个或多个分布(例如,直方图),并且第二分量对应于描述图像内容204的特征矢量。
具体地,表示模块212生成第一分量作为图像内容204的照度和/或色度的一个或多个分布。表示模块212被配置为通过以下来生成这些分布:与给定颜色空间(例如,YCbCr)相关地处理图像内容204以确定图像内容204的像素的照度和色度值,并且然后捕获相应分布中的所确定的值。表示模块212将第二分量生成为特征矢量,诸如具有n维数字特征的特征矢量,其表示图像内容204中描绘的场景的更高级别的语义特性。为了生成特征矢量,表示模块212被配置为利用机器学习,诸如通过将图像内容204提供给神经网络并提取特征矢量作为神经网络的输出。
举例来说,表示模块212可以将图像内容204作为输入提供给在数百或数千张数字照片上被训练的深度神经网络,以学习大型训练图像集合的特性。这种深度神经网络可以具有卷积架构,该卷积架构具有一个或多个卷积层,一个或多个卷积层将输入图像内容204缩减为底层表示,例如缩减为该网络的一定数目(例如1024)的神经节点的数值。深度神经网络还可以包括用于对底层表示进行上采样的层,使得输出图像具有与输入图像内容204相同数目的像素。
尽管描述了该特定的两分量实现,但是表示模块212可以以不同方式生成图像表示216以捕获关于图像内容204的信息,而不脱离所描述技术的精神或范围。举例来说,图像表示216可以包括一组选择的预定义信息和/或神经网络得出的信息的各种组合。选择的预定义信息的示例包括但不限于:跨图像内容204的整体的图像颜色强度值的均值和标准偏差、照度色调箱(bin)或颜色箱集合内的值、以及照度色调箱和颜色箱值的分布,其表示跨图像内容204或在指明的基于色调或基于颜色的箱内的值出现的频率。神经网络得出的信息的示例可以从被训练来执行与图像相关的任务的神经网络中提取,与图像相关的任务例如识别图像内的对象或识别图像内捕获的场景的性质。在所描述技术的精神或范围内,图像表示216还可以包括不同或附加的信息。
给定图像表示216和修改参数206,样式生成模块214被配置为生成用于修改后图像202的修改存储器210。样式生成模块214还被配置为生成特定样式数据208,使得其包括修改存储器210。与所图示的示例200相关,样式生成模块214将图像表示216和修改参数206封装到修改存储器210中。广义而言,对于被选择作为样式的基础的每个修改后图像,样式生成模块214将图像表示和修改参数封装到修改存储器中。再次与所图示的示例200相关,样式生成模块214进一步将修改存储器210封装在特定样式数据208中。在多个图像被选择作为样式的基础的情况下,样式生成模块214将为多个图像中的每个图像所生成的修改存储器封装在相应样式数据中。在一个或多个实现中,样式生成模块214将特定样式数据208生成为文本文件,例如,JavaScript对象标示(JSON)文件。为了对比基于单个修改后图像的选择为样式生成的样式数据和基于多个修改后图像的选择为样式生成的样式数据,考虑以下对图3A和图3B的讨论。
在300,图3A和图3B分别描绘了从单个修改后图像生成的用于第一样式的样式数据和从多个修改后图像生成的用于第二样式的样式数据的示例实现。
特别地,图3A包括单图像样式数据302。由于单图像样式数据302被生成以捕获基于单个修改后图像的样式,所以单图像样式数据302仅包括一个修改存储器——在所图示的示例中为修改存储器304。在图2的上下文中,样式生成模块214通过将由单个修改后图像的表示模块212生成的图像表示306与从单个修改后图像中,例如从与单个修改后图像相对应的原始文件中提取的修改参数308封装在一起来生成修改存储器304。然后可以将单图像样式数据302保存在样式数据120中,以供以后使用,例如以将相应样式应用于输入图像。
图3B包括多图像样式数据310。与单图像样式数据302不同,多图像样式数据310被生成以捕获基于至少两个修改后图像的样式。为此,用两个修改存储器——第一修改存储器312和第N修改存储器314——描绘了多图像样式数据310,并且省略号指示多图像样式数据310可以包括比仅描绘的两个更多的修改存储器。根据所描述的技术,样式生成模块214通过将由第一修改后图像的表示模块212生成的第一图像表示316与从第一修改后图像中,例如从对应于第一修改后图像的原始文件中提取的第一修改参数318进行封装来生成第一修改存储器312。
此外,样式生成模块214通过将由第N修改后图像(例如,第二修改后图像或第三修改后图像)的表示模块212生成的第N图像表示320与从第N修改后图像中,例如从对应于第N修改后图像的原始文件中提取的第N修改参数322进行封装来生成第N修改存储器314。在这里,“N”表示大于或等于2的任何数目。一旦被生成,多图像样式数据310然后就可以被保存在样式数据120中以供以后使用,例如,以将相应样式应用于输入图像。
如上所指出,图像表示216可以被配置为具有不同分量的矢量,每个分量表示图像内容204的特定分析。在下面的讨论以及下面的内容中,图像可以由项I表示,图像表示由项α表示,并且修改参数由项λ表示。可以使用下标来表达特定的图像,例如,“1”是指第一图像,“2”是指第二图像,依此类推。可以使用上标来表达对应的修改参数。以这种方式,项λ1是指图像I1的修改参数。还应当理解,可以以矢量形式配置用于特定图像的修改参数以捕获参数值,使得项λ1表示图像I1的修改参数的矢量。在一个示例中,假设修改后图像202对应于图像I1,则可以根据以下来表达修改存储器210:
(α(I1),λ1)
这里,项α(I1)因此表示图像内容204的图像表示216(例如,以矢量化的格式),并且项λ1表示修改参数206。此外,在一个示例中,与特定样式数据208相对应的样式可以被表达如下,其中项S表示样式:
S={(α(I1),λ1)}
因此,该表达式可以表示基于单个修改后图像——仅具有单个修改存储器——的样式,诸如与单图像样式数据302相对应的样式。相反,基于三个图像并且因此具有三个修改存储器的样式S可以被表达如下:
S={(α(I1),λ1),(α(I2),λ2),(α(I3),λ3)}
这里,项I1、I2和I3对应于用作样式S的基础的第一图像、第二图像和第三图像(例如,其图像内容)。然后项α(I1)、α(I2)和α(I3)分别对应于图像I1、I2和I3的图像表示。此外,项λ1、λ2和λ3分别对应于被用来修改图像I1、I2和I3的修改参数。
更一般地,可以根据以下标示法来表示基于多个图像的样式Sn,其中n对应于图像的数目:
Sn={(α(Ia),λa)}a=1...n
该表达式指示样式Sn包括由整数a索引的修改存储器的集合,整数a具有从1到n的值。除了基于选择的图像生成样式之外,经学习的样式系统118还可以通过组合已经生成的样式来生成样式。举例来说,经学习的样式系统118被配置为组合第一样式S1与第二样式S2以创建第三组合样式S12,诸如基于第一和第二样式的选择并且进一步基于选择以创建基于第一和第二样式的新样式。考虑以下示例:其中第一样式S1基于第一、第二和第三图像,并且第二样式S2基于第四和第五图像。在下面的讨论中,第一、第二、第三、第四和第五图像分别由项I1、I2、I3、I4和I5表示。在此示例中,第一样式S1可以被表示如下:
S1={(α(I1),λ1),(α(I2),λ2),(α(I3),λ3)}
在此示例中,第二样式S2可以被表示如下:
S1={(α(I4),λ4),(α(I5),λ5)}
为了生成第三组合样式S12,经学习的样式系统118可以例如通过组合第一样式和第二样式的样式数据来创建包括第一、第二、第三、第四和第五图像的修改存储器的样式数据。因此,用于组合样式S12的样式数据包括五个修改存储器。根据所描述的技术,可以根据以下表达式来表示组合样式S12:
S12={S1,S2}={(α(I1),λ1),(α(I2),λ2),(α(I3),λ3),(α(I4),λ4),(α(I5),λ5)}
在选择一个或多个图像以用作样式的基础的上下文中,考虑以下对图4的讨论。图4描绘了用户界面的示例实现400,经由该用户界面,一个或多个修改后图像可选择以用作用于学习修改的样式的基础。
在所图示的示例400中,计算设备102被描绘为显示用户界面402,其包括多个可选择的数字图像的显示表示(例如,缩略图)。在该示例中,描绘了用户404的手经由用户界面402选择图像以用作特定样式的基础。特别地,在所图示的示例400中,用户404选择了三个图像。在所图示的示例400中,通过与相应选择指示符相关地显示的复选标记来指示选择的图像406、408、410被选择。未被选择的图像不包括与相应选择指示符相关地被显示的复选标记。用户界面402还包括提示412,提示412提示用户404选择一个或多个修改后图像以用作样式的基础。
在所图示的示例400中,用户界面402还包括样式信息414和完成界面工具416。在这里,样式信息414包括相应样式的名称(“抽象海滩”),并描述了用作样式的基础的修改后图像的数目(3个图像)。用户界面402可以显现允许用户输入诸如样式名称之类的信息的功能性。此功能性的示例包括暴露文本框和键盘以在文本框中进行键入,使用基于语音的用户界面,等等。当用户404选择图像时,图像的数目可以由经学习的样式系统118自动更新。当然,在不脱离本文所描述技术的精神或范围的情况下,用户界面可以包括与关于所图示的示例来描绘和描述的信息不同的信息。
完成界面工具416表示基于选择的图像发起样式数据的生成的功能性。例如,响应于接收到对完成界面工具416(或一些其他被类似配置的工具)的用户选择,选择的图像406、408、410可以由应用(例如,计算设备102的操作系统或内容编辑应用104)提供作为对经学习的样式系统118的输入(例如,以原始格式)。响应于接收到选择的图像406、408、410,经学习的样式系统118生成三个修改存储器——一个修改存储器用于一个选择的图像——并且将修改存储器封装在用于相应样式(用于“抽象海滩”样式)的样式数据中,其然后可以作为样式数据120的一部分而被维护。当然,在不脱离本文所描述技术的精神或范围的情况下,可以采用不同的方式(例如,响应于语音命令)来发起样式数据的生成。
应当理解,用户界面402仅仅是用户界面的一个示例,其可以用于选择图像以用作样式的基础。在所描述技术的精神和范围内,以多种方式被配置的其他界面可以被显现并且使得能够选择修改后图像来用作样式的基础。例如,并非简单地从图像集合中选择修改后图像,而是在用户对一个或多个图像进行修改时,经学习的样式系统118可以显现记录修改的功能性。一旦停止该记录,经学习的样式系统118就可以生成在记录期间被修改的图像的修改存储器210,使得这些修改存储器被维护为用于样式的样式数据。
在一个或多个实现中,经由内容编辑应用104的用户界面显现记录修改的功能性。例如,内容编辑应用104的内容编辑界面可以包括显示的“记录”按钮或被配置为检测语音命令以“记录”图像修改操作。响应于这样的按钮的选择或记录命令的检测,经学习的样式系统118记录接收到的用户输入以修改经由接口被呈现的数字图像,诸如记录用户输入以修改上述各种参数中的任何一个,例如曝光、对比度、高光、阴影、白色、黑色、鲜艳度、对比度、清晰度、亮度、饱和度等。在记录这些输入的同时,内容编辑应用104的内容编辑界面可以包括显示的“停止”按钮,或者被配置为检测语音命令以停止记录图像修改操作,以从其中生成样式。响应于该按钮的选择或停止命令的检测,经学习的样式系统118可以从一个或多个修改后图像生成样式,使得该样式可以被应用于如上和如下所讨论的后续图像。应当理解,不脱离所描述技术的精神或范围的情况下,可以以不同的方式来记录对图像的修改,例如根据选择的不同序列来记录修改以及停止对其进行记录并且出于使用修改后图像来用作样式基础的目的。在将样式应用于后续图像的上下文中,考虑以下对图5的讨论。
图5描绘了示例系统500,其中图1的经学习的样式系统用从用作样式的基础的一个或多个修改后图像中学习的样式来修改输入图像。
所图示的示例500包括具有图2的表示模块212的经学习的样式系统118。所图示的示例500还包括来自图3的多图像样式数据310,以解释系统500的功能性;但是,应当理解,在不脱离所描述技术的精神或范围的情况下,该系统还能够应用以下样式:其中对应的数据仅包括单个修改存储器,诸如单图像样式数据302。
在该示例500中,描绘了经学习的样式系统118获取输入图像502和多图像样式数据310作为输入。经学习的样式系统118可以例如响应于经由用户界面接收到与多图像样式数据310相对应的样式的选择以及将该样式应用于输入图像502的选择来接收这些作为输入。举例来说,内容编辑应用104可以经由用户界面接收用户输入,以从一个或多个已经创建的样式中选择样式。然后,内容编辑应用104可以经由用户界面接收附加的用户输入,以将选择的样式应用于输入图像502。当然,在不脱离所描述技术的精神或范围的情况下,可以以各种方式接收用以选择已经创建的样式的输入以及用以选择来将选择的样式应用于特定图像的输入,诸如经由语音命令、键盘快捷键等。
除了表示模块212之外,经学习的样式系统118还被描述为具有表示比较模块504、参数确定模块506和参数应用模块508。这些模块表示使用选择的样式的修改存储器来将修改存储器所捕获的样式应用于输入图像的功能性。此外,这些模块根据以下讨论通过应用样式而从输入图像生成样式图像。尽管利用这些特定模块进行了图示,但是在不脱离所描述技术的精神或范围的情况下,根据以下讨论,经学习的样式系统118可以包括更多、更少或不同的模块以将样式应用于输入图像。
在这里,表示模块212表示用于生成输入图像502的输入图像表示510的功能性。举例来说,表示模块212可以以与其从修改后图像202的图像内容204中生成图像表示216类似的方式来生成输入图像表示510。因此,输入图像表示510不是输入图像502的逐像素整体,而是输入图像502的缩减的经分析的表示,其以捕获相关特征但省略可能与将样式应用于输入图像不相关的细节的方式概括了其描绘的内容。这也使得能够将输入图像表示510与多图像样式数据310的修改存储器的图像表示进行比较,例如,与第一修改存储器312的第一图像表示316以及与第N修改存储器314的第N图像表示320进行比较。
表示比较模块504表示用于将输入图像表示510与在选择的样式的修改存储器中捕获的图像表示进行比较的功能性。例如,与多图像样式数据310相对应的样式相关地,表示比较模块504将输入图像表示510与第一修改存储器312的第一图像表示316和第N修改存储器314的第N图像表示320进行比较。
基于这些比较,表示比较模块504生成样式图像相似性512。在一个或多个实现中,样式图像相似性512是描述输入图像表示510与选择的样式的图像表示的相似性的分数或值。例如,每个样式图像相似性512描述输入图像表示510与被包括在选择的样式中的每个修改存储器的图像表示的相似性。例如,给定多图像样式数据310,生成样式图像相似性512以至少包括指示输入图像表示510与第一图像表示316有多相似的第一相似性和指示输入图像表示510与第N图像表示320有多相似的第N相似性。这些相似性可以被认为是相对的,因为它们指示输入图像表示510是更相似于第一图像表示316还是更相似于第N图像表示320。
在一个或多个实现中,表示比较模块504根据以下讨论确定图像之间的相似性。如上所指出,图像表示可以被配置为矢量,并且第一图像I1和第二图像I2之间的相似性对应于图像I1和I2彼此有多相似的度量。在一个示例中,表示比较模块504可以被配置为基于图像表示矢量之间的,例如,α(I1)和α(I2)之间的,差异的幅度来计算该度量。例如,表示比较模块504可以被配置为根据以下确定图像I1和I2之间的相似性的度量:
在这里,项similarity(I1,I2)表示图像I1和I2之间的相似性的度量,项γ表示控制相似性函数的紧密度的常数,并且竖线|...|的使用表示竖线之间的表达式的幅度的确定。在该特定等式中,被封在竖线内的表达式表示图像表示矢量α(I1)和α(I1)之间的差异,并且竖线的使用指示该差异的幅度被计算。因此,表示比较模块504被配置为确定这些图像表示矢量之间的差异以及该差异的幅度。举例来说,表示比较模块504可以根据以下来确定差异的幅度:
在这里,表示比较模块504计算矢量的分量的差异的平方和的平方根。在图像表示由两个分量——照度和/或色度分布的矢量化表示以及描述相应图像内容的特征矢量——形成的示例中,表示比较模块504计算第一图像的第一分量与第二图像的第一分量之间的平方差以及第一图像的第二分量和第二图像的第二分量之间的平方差。因此,图像表示矢量的分量的差异的平方和的平方根表示两个图像表示矢量之间的并且因此表示两个图像之间的距离的度量。差异的幅度可以对应于图像之间的距离,并且在一个示例中,其根据以下被捕获:
d(I1,I2)=|α(I1)-α(I2)|
给定此,该函数表示距离函数。实际上,在不脱离所描述技术的精神或范围的情况下,表示比较模块504可以使用图像表示矢量距离的其他度量。其他距离方法的示例包括分量的平方和(通常被称为“欧氏”距离)、分量差的幅度之和等等。当表示比较模块504根据上述讨论计算相似性的度量时并且当图像表示矢量非常不同(例如,远)时,计算出的相似性的度量接近零。换言之,相似性度量越接近零,被比较的图像的相似性就越小。相反,当表示比较模块504根据上述讨论计算相似性的度量时并且当图像表示矢量相似(例如,距离很小)时,计算出的相似性的度量接近一(例如,'1')。因此,相似性度量越接近一,被比较的图像就越相似。
备选地或附加地,表示比较模块504可以基于由图像表示矢量所编码的特定信息来计算相似性的度量,使得被用来计算相似性度量的函数可以包括以下参数:该参数基于编码信息而可调节以改变相似性度量。换言之,参数的调节对于在调节之后产生两个图像的不同的相似性度量是有效的。所描述的系统可以使这些参数能够经由用户界面被调节。在至少一个实现中,可以根据以下的备选相似性函数来计算第一图像I1与第二图像I2之间的相似性度量similarity(I1,I2):
在这里,项D表示影响距离度量如何被缩放的常数。在一个实现示例中,表示比较模块504将D设置为值1.0。此外,表示比较模块504基于如下标识来使用幂1.3:在应用样式时,其使用产生了视觉愉悦的结果。在不脱离所描述技术的精神或范围的情况下,表示比较模块504可以利用不同的幂值,例如针对图像表示的不同配置利用不同的幂值。
基于确定任何两个图像之间的相似性度量的能力,表示比较模块504还被配置为确定输入图像(例如,输入图像502)和样式(例如,与多图像样式数据310相对应的样式)之间的相似性的度量。为了确定输入图像和样式之间的相似性的度量,表示比较模块504使用在输入图像和样式的一个或多个图像之间确定的相似性的(多个)度量。在一个示例中,表示比较模块504根据以下确定输入图像I和样式S之间的相似性的度量:
style_sim(I,S)=<similarity(I,Ia)>a
在这里,style_sim(...)表示被用来确定输入图像和样式之间的相似性度量的函数。而similarity(...)表示用以确定两个图像——在上面的示例中,那些图像是输入图像I和样式S的给定图像Ia——之间的相似性度量的函数。项a表示样式S的所有图像上的整数索引,以在输入图像I和样式S的每个图像之间测量相似性。在该特定示例中,标示<...>a的使用表示确定表达式的被封装部分的平均。因此,在该特定示例中,表示比较模块504被配置为确定输入图像I和样式S的每个图像之间的相似性的度量,然后确定所确定的相似性的度量的平均(例如,均值)。表示比较模块504然后使用该确定的平均作为输入图像I和样式S之间的相似性的度量。尽管讨论了均值,但是在不脱离所描述技术的精神或范围的情况下,可以使用其他平均。
举例来说,表示比较模块504可以替换地标识和使用在输入图像I和样式S的图像之间的所确定的最大相似性度量。备选地或附加地,表示比较模块504可以计算和使用输入图像I和样式S的图像之间所确定的相似性度量的软性最大值。例如,表示比较模块504可以根据以下来计算软性最大值:
因此,项style_simsoft(I,S)表示被用来确定输入图像I和样式S的软性最大值的函数。项k表示控制该软性最大值的特异性的常数。当表示比较模块504针对k使用相对较大的值时,表示比较模块504确定近似于样式S的图像上的最大相似性值的度量。相反,当表示比较模块504针对k使用相对较小的值时,表示比较模块504确定近似于样式S的图像上的均值相似性的度量。
表示比较模块504可以仍然使用其他度量以用于测量输入图像和样式之间的相似性。例如,当图像表示被配置为表示多个语义上分开的分量——诸如照度/色度分布和特征矢量时,表示比较模块504可以被配置为确定表示的不同分量之间的相似性。举例来说,表示比较模块504可以确定输入图像的特征矢量与样式的每个图像的特征矢量之间的相似性度量。在该场景中,表示比较模块504还确定输入图像的照度/色度分布与样式的每个图像的照度/色度分布之间的相似性度量。
在下面的讨论中,由特征矢量描述的信息可以被概括为“形式(form)”,并且由照度/色度分布描述的信息可以被概括为“色调(tone)”。为此,表示比较模块504可以被配置为计算图像之间的在其形式方面的相似性度量,诸如在一个示例中根据以下来计算图像之间的相似性度量:
同样,表示比较模块504可以被配置为计算图像之间的在其色调方面的相似性度量,诸如在一个示例中根据以下来计算图像之间的相似性度量:
给定形式和色调方面的相似性,表示比较模块504可以被配置为根据形式和色调两者来计算相似性,诸如在一个示例中根据以下来计算相似性:
similarityform+tone(I1,I2)=fuzzy_logic(similarityform(I1,I2),similaritytone(I1,I2))
在这里,模糊逻辑表示(fuzzy logic)可以表示通过对两个相似性度量,例如形式相似性度量和色调相似性度量,的简单算术操作实现的各种逻辑规则。例如,模糊逻辑函数可以实现逻辑“与”操作,这要求色调和形式相似性度量都是相似的,以确定被比较的两个图像总体上是相似的。备选地或附加地,模糊逻辑函数可以实现逻辑“或”操作,这要求色调或形式相似性度量中的至少一项是相似的,以确定被比较的两个图像总体上是相似的。在不脱离所描述技术的精神或范围的情况下,表示比较模块504可以被配置为以各种方式在逐分量的基础上计算相似性。
一旦样式图像相似性512被确定,参数确定模块506就基于样式图像相似性512来确定用于修改输入图像502的参数。在所图示的示例500中,所确定的参数514表示基于样式图像相似性512确定的并且被确定用于修改输入图像的参数。广义而言,参数确定模块506确定所确定的参数514,使得其与输入图像502与之相似的样式图像的修改参数相似。相反,所确定的参数514与输入图像502与之不太相似的图像的修改参数不太相似。换言之,参数确定模块506可以通过例如基于输入图像与所应用样式的修改存储器的相应图像的相似性来对所应用样式的修改存储器的修改参数进行加权,从而生成所确定的参数514。
在至少一种实现中,参数确定模块506根据以下讨论来确定所确定的参数514。在该场景中,参数确定模块506生成应用于输入图像502的参数的预测,使得该预测捕获由样式的修改存储器所描述的样式的要点。例如,给定图像I(例如,输入图像502)和样式S(例如,与多图像样式数据310相对应的样式),参数确定模块506将所确定的参数514λ预测为图像I和样式S的函数,其被表示为λ(I,S)。举例来说,根据以下,参数确定模块506在至少一个实现中将所确定的参数514预测为多个“修改存储器壳”之间的混合:
λ(I,S)=P1(I)λshell1(I)
+(1-P1(I))(P2(I)λshell2(I)
+(1-P2(I))(P3(I)λshell3(I)+(1-P3(I))λoutside))
在该参数混合等式中,项P1、P2和P3表示混合概率,该混合概率测量第一壳、第二壳和第三壳中的每个的影响,以用于加权对所确定的参数514的贡献。P的值范围在0到1之间,其中接近1的值指示相应壳的图像表示“接近”输入图像表示510,其可以如下所述地被测量,并且还指示接近度在统计上是显著的,其可以如下所述地被测量。项λoutside表示当确定输入图像502与所应用样式的任何图像都不相似时,即,当参数确定模块506确定图像I的表示与任何壳中的图像显著接近的概率较低时,分配给所确定的参数514的值的集合。
参数确定模块506可以针对参数λoutside使用不同的值的集合。此外,当输入图像502与所应用样式的图像不相似时,参数确定模块506将所确定的参数514设置为一个这样的不同的值的集合。例如,该值的集合可以对应于全零,这不会引起对输入图像502的参数进行任何修改。备选地,该值的集合可以基于内容编辑应用104的“自动”调整功能性。在该场景中,自动调整功能性可以被利用来修改输入图像502。由自动调整引起的对输入图像502的修改被相应的参数捕获,使得这些参数的值对应于该值的集合。可以使用机器学习来学习这些自动调整参数的值,其中在数千个训练图像上训练机器学习模型以自动调整图像的参数从而产生视觉上令人愉悦的图像。
备选地,该值的集合可以对应于所应用样式的修改参数的平均。例如,针对曝光的所确定的参数514可以被确定为跨所应用样式的每个修改存储器的曝光修改参数的平均。当确定输入图像502与样式的任何图像太不相似时,参数确定模块506可以仍然使用其他的值的集合,诸如简单地使用样式的一个修改存储器的修改参数,例如具有最相似图像表示的修改存储器的修改参数。在不脱离所描述技术的精神或范围的情况下,参数确定模块506还可以使用不同的值的集合。不管哪个不同的值的集合被考虑,参数确定模块506都可以使用户界面组件被显示,这在图像与样式的图像太不相同时允许用户选择要应用不同集合中的哪个集合,诸如在不修改图像、应用自动调整参数或应用作为样式参数的平均的参数之间进行选择。
返回对多个壳的讨论,上述等式表示使用三个不同的壳来确定不同修改存储器的修改参数将对所确定的参数514产生多少影响。应当理解,参数确定模块506可以使用不同数目的壳来确定不同修改存储器的修改参数有多少影响。例如,在一种实现中,参数确定模块506可以使用六个壳来确定影响,并且因此确定那些壳中的图像与输入图像502显著接近的六个概率。通常,上述等式被配置为确保参数确定模块506对如下参数给出最大的影响:该参数与和输入图像表示510最相似的图像表示相配对。以这种方式,所确定的参数514受到与最相似的图像表示相配对的修改参数的影响大于与不太相似的图像表示相配对的修改参数。
举例来说,如果参数确定模块506确定在第一壳中存在显著接近的图像表示,那么图像I被分配壳1中的图像的修改参数的概率P1接近于1。在该场景中,参数确定模块506确定所确定的参数514,使得其受到第一壳的参数λshell1的严重影响。换言之,从第一壳的参数λshell1得出所确定的参数514,使得第一壳的参数λshell1影响所确定的参数514的量是与第一壳的图像表示的相似性的函数。所确定的参数514以类似的方式受到其他壳的参数的影响。一般来说,项λshell1表示朝着更接近的修改存储器,例如具有更相似图像表示的修改存储器偏移的在第一壳内的修改存储器上的修改参数的加权平均。在壳中仅存在一个修改存储器的场景中,那么参数确定模块506在上述参数混合等式中仅使用这一个修改存储器的修改参数。
然而在参数确定模块506确定第一壳中不存在显著相似的图像表示的场景中,那么参数确定模块506考虑下一壳,例如第二壳。在该场景中,P1的值接近于零(或为零)。根据混合等式,通过将第一壳的参数λshell1乘以接近零的值,参数确定模块506向第一壳的参数分配成比例的权重量(零或接近零)。以这种方式,上述混合等式的使用允许参数确定模块506以平滑、连续的方式前进到下一壳。以与关于第一壳所讨论的类似的方式,如果参数确定模块506确定第二壳中存在显著相似的图像表示,那么图像I被分配壳2中的图像的修改参数的概率P2接近于1,并且因此第二壳的参数λshell2对所确定的参数514具有成比例的影响。
在一个或多个实现中,参数确定模块506根据以下来计算壳混合概率:
Ps(I)=closenesss(I)×significance(λs,σs)
在这里,项s表示各种壳的索引,例如,“1”对应于第一壳,并且范围从一到壳的数目。项λs表示针对给定壳s的参数的预测,而项σs表示标准偏差,该标准偏差测量修改参数跨给定壳中所包括的修改存储器的一致性、不一致性和噪声如何。
通常,接近度度量closenesss(I)指示图像I(例如,其表示)接近于给定壳s中所包括的图像之一(例如,其表示)的可能性。这是输入图像表示510不接近于壳中任何图像的可能性的逻辑补充。在一个或多个实现中,参数确定模块506根据以下来计算图像I与给定壳s中所包括的图像的接近度:
closenesss(I)=1-Πs′in shell s[1-similarity(I,Is′)]
应当理解,在各种场景中,参数确定模块506可以基于接近度度量来确定图像I(例如,输入图像502)接近于给定壳s中的多个图像。但是,该度量单独可能没有考虑给定壳中的多个图像的参数有噪声的场景,例如,在一个或多个标准偏差之外的场景。在这种场景中,可能没有清楚的样式上的趋势。因此,参数确定模块506被配置为低估这种噪声参数。
特别地,参数确定模块506被配置为通过确定显著性度量significance(λs,σs)来低估给定壳s的噪声修改参数。在一个或多个实现中,参数确定模块506通过确定跨给定壳s中的修改存储器的修改参数的均值和那些值的标准偏差来确定显著性度量。参数确定模块506例如在逐参数的基础上确定显著性度量,使得跨给定壳s中的修改存储器确定针对曝光参数的均值,并且曝光参数的标准偏差也被确定。为此,显著性度量指示参数相对于参数中的“噪声”(通过其标准偏差或方差来测量)有多显著——存在于给定壳的修改存储器上的参数中的方差越小,则参数的显著性越高。在一个或多个实现中,参数确定模块506根据以下来确定个体参数的显著性度量:
significance(mean,noise)=1-e-0.693|mean|/noise
在这里,当个体参数的均值远大于噪声时,该函数减为一;当噪声主导了整个壳上的参数值时,该函数趋近于零;而当均值和噪声具有相等大小时,该函数具有0.5左右。
如上所指出,参数确定模块506还被配置为计算针对每个个体壳的一组修改参数,例如针对第一壳的第一组修改参数、针对第二壳的第二组修改参数等等。在一个示例中,参数确定模块506根据以下来计算针对给定壳的一组修改参数:
在这里,项a表示给定壳s中包括的图像的索引,a仅索引所考虑的壳s中包括的图像。广义而言,为每个壳所计算的这些修改参数对应于给定壳s中的修改存储器的所有修改参数的平均,该平均由图像I(例如其表示)和给定壳s中的修改存储器的图像(例如,它们相应的表示)之间的相似性度量的幂来加权。
一旦参数确定模块506确定所确定的参数514,参数应用模块508就通过将所确定的参数514应用于输入图像502来生成样式化图像516。换言之,参数应用模块508根据所确定的参数514来修改输入图像502,以产生样式化图像516。样式化图像516然后可以被保存在存储装置中、被传送并被显示。还可以以各种方式——例如使用内容编辑应用104的工具——来进一步修改样式化图像516。
图6描绘了实现的示例600,其中与所生成的样式的样式数据中包括的图像相关地分析输入图像。
特别地,所图示的示例600是上述基于壳的方法的可视化。该示例600包括输入图像602和样式的图像604。输入图像602位于第一壳606、第二壳608和第三壳610的中心处。样式的图像604跨这些壳被分布,并且在一些情况下被分布在其外部,其中分布是基于所计算出的样式的图像604与输入图像602的接近度和显著性。在这里,所描绘的箭头表示捕获与样式的图像604相关联的修改参数的矢量。如上所指出,在不脱离所描述技术的精神或范围的情况下,所描述的系统可以使用不同数目的壳。
已经讨论了从有限的修改后图像的集合中学习的图像修改样式的技术的示例细节,现在考虑一些示例过程来说明该技术的附加方面。
示例过程
本部分描述了在一个或多个实现中从有限的修改后图像集合中学习的图像修改样式的示例过程。可以以硬件、固件或软件或其组合来实现过程的各方面。该过程被示为指定由一个或多个设备执行的操作的块集合,并且不必限于所示的用于由相应块执行操作的顺序。在至少一些实现中,过程由适当配置的设备来执行,诸如由能够利用经学习的样式系统118的图1的计算设备102、图2的系统200或图5的系统500来执行。
图7描绘了示例过程700,其中从一个或多个修改后图像生成样式数据。
获取一个或多个修改后图像以用作修改样式的基础(块702)。根据本文中讨论的原理,每个修改后图像包括描绘修改之前的场景的图像内容,并且还包括描述对图像内容进行修改以产生修改后图像的修改参数。举例来说,经学习的样式系统118获取修改后图像202。例如,经学习的样式系统118响应于用户404经由用户界面402的选择而获取修改后图像202。
生成一个或多个修改后图像的图像内容的图像表示(块704)。根据本文中讨论的原理,图像表示包括表示图像内容的缩减信息,而不是图像内容的逐像素整体。举例来说,表示模块212生成修改后图像202的图像内容204的图像表示216。图像表示216被配置为图像内容204的缩减表示,如在上面更详细描述的,例如,被配置为表示图像内容204的照度/色度分布的矢量和从图像内容204生成的特征矢量。在获取多个图像的场景中,表示模块212生成多个图像表示,对于每个所获取的图像都有一个这样的表示。
生成用于一个或多个修改后图像中的每个修改后图像的修改存储器(块706)。根据本文中讨论的原理,针对给定的修改后图像生成的修改存储器包括从修改后图像的图像内容生成的相应图像表示,并且还包括从修改后图像提取的相应修改参数。举例来说,样式生成模块214为修改后图像202生成修改存储器210,其中修改存储器210包括图像表示216和从修改后图像202提取的修改参数206。在获取多个图像的场景中,样式生成模块214生成修改存储器,每个所获取的图像都有一个这样的修改存储器。
生成包括所生成的修改存储器的样式数据(块708)。举例来说,样式生成模块214生成特定样式数据208以包括在块706处生成的修改存储器,例如,在所图示的示例200中的修改存储器210。样式数据被维护在存储装置中以将修改样式应用于后续图像(块710)。举例来说,计算设备102将特定样式数据208作为样式数据120的一部分来维护。备选地或附加地,诸如通过服务提供方的计算设备,可以通过网络110在不同的计算设备处维护特定样式数据208。
图8描绘了示例过程800,其中用从用作样式的基础的一个或多个修改后图像中学习的样式来修改输入图像。
输入图像被获取(块802)。举例来说,经学习的样式系统118接收输入图像502的选择并且例如从经学习的样式系统118本地的存储装置或从远程存储装置获取输入图像502。
接收对修改样式的选择,以将修改样式应用于输入图像(块804)。根据本文中讨论的原理,修改样式对应于样式数据,其包括已被选择用作修改样式的基础的修改后图像的一个或多个修改存储器。举例来说,经学习的样式系统118经由内容编辑应用104的用户界面接收与多图像样式数据310相对应的样式的选择。
输入图像的表示被生成(块806)。根据本文中讨论的原理,表示包括表示输入图像的描绘内容的缩减信息,而不是输入图像的描绘内容的逐像素整体。举例来说,表示模块212生成输入图像502’的描绘内容的输入图像表示510。输入图像表示510被配置为输入图像502’的描绘内容的缩减表示,如上面更详细地描述的,例如,被配置为表示输入图像502’的描绘内容的照度/色度分布的矢量和从输入图像502’的描绘内容生成的特征矢量。
确定输入图像的表示与一个或多个修改存储器中包括的图像表示之间的相似性的度量(块808)。举例来说,表示比较模块504确定样式图像相似性512,其在所图示的示例500的上下文中包括输入图像502与多图像样式数据310的每个图像表示之间的相似性的度量,每个图像表示例如是第一图像表示316、第N图像表示320以及多图像样式数据310的任何其他修改存储器的表示。
部分地基于所确定的相似性的度量和被包括在一个或多个修改存储器中的修改参数来确定用于将修改样式应用于输入图像的参数(块810)。举例来说,参数确定模块506部分地基于样式图像相似性512并且在所图示的示例500的上下文中还基于在多图像样式数据310的修改存储器中捕获的修改参数来确定所确定的参数514,修改参数例如是第一修改参数318、第N修改参数322和多图像样式数据310的任何其他修改存储器的参数。
根据所确定的参数来修改输入图像,以产生具有修改样式的样式化图像(块812)。举例来说,参数应用模块508根据所确定的参数514来修改输入图像502,以产生样式化图像516。
已经描述了根据一个或多个实现的示例过程,现在考虑可以被利用来实现本文所述的各种技术的示例系统和设备。
示例系统和设备
图9在900处总体图示了示例系统,其包括表示可以实现本文所描述的各种技术的一个或多个计算系统和/或设备的示例计算设备902。这通过包括经学习的样式系统118来进行说明。计算设备902可以是例如服务提供方的服务器、与客户端相关联的设备(例如,客户端设备)、片上系统以及/或任何其他合适的计算设备或计算系统。
所图示的示例计算设备902包括处理系统904、一个或多个计算机可读介质906以及彼此通信地耦合的一个或多个I/O接口908。尽管未被示出,但是计算设备902还可以包括将各种组件彼此耦合的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构中的任何一个或组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线。还可以考虑各种其他示例,诸如控制线和数据线。
处理系统904表示使用硬件执行一个或多个操作的功能性。因此,处理系统904被图示为包括可以被配置为处理器、功能块等的硬件元件910。这可以包括以硬件实现为使用一个或多个半导体形成的专用集成电路或其他逻辑设备。硬件元件910不受形成它们的材料或其中所采用的处理机制的限制。例如,处理器可以包括(多个)半导体和/或晶体管(例如,电子集成电路(IC))。在这种上下文中,处理器可执行指令可以是电子可执行指令。
计算机可读存储介质906被图示为包括存储器/存储装置912。存储器/存储装置912表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件912可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储组件912可以包括固定介质(例如RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等)。可以按照下面进一步描述的各种其他方式来配置计算机可读介质906。
(多个)输入/输出接口908表示允许用户向计算设备902输入命令和信息并且还允许使用各种输入/输出设备将信息呈现给用户和/或其他组件或设备的功能性。输入设备的示例包括键盘、光标控制设备(例如鼠标)、麦克风、扫描仪、触摸功能性(例如被配置为检测物理触摸的电容性或其他传感器)、相机(例如,其使用可见或不可见波长(诸如红外频率)将移动识别为不涉及触摸的手势)等等。输出设备的示例包括显示设备(例如,监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此,可以按照如下文进一步描述的各种方式来配置计算设备902以支持用户交互。
在本文中,可以在软件、硬件元素或程序模块的一般上下文中描述各种技术。通常,这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”、“功能性”和“组件”通常表示软件、固件、硬件或其组合。本文所描述的技术的特征是与平台无关的,这意味着可以在具有各种处理器的各种商业计算平台上实现这些技术。
所描述的模块和技术的实现可以被存储在某种形式的计算机可读介质上或在某种形式的计算机可读介质上进行传输。计算机可读介质可以包括计算设备902可以访问的各种介质。举例来说而非限制,计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指的是与仅信号传输、载波或信号本身相比能够实现信息的持久和/或非瞬态存储的介质和/或设备。因此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移除和不可移除介质之类的硬件和/或以适于存储诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据之类的信息的方法或技术实现的存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储装置、硬盘、磁盒、磁带、磁盘存储装置或其他磁性存储设备、或其他存储设备、有形介质或适用于存储所需信息且可由计算机访问的制品。
“计算机可读信号介质”可以指的是被配置为诸如经由网络将指令传输到计算设备902的硬件的信号承载介质。信号介质通常可以体现计算机可读指令、数据结构、程序模块或在诸如载波、数据信号或其他传输机制之类的调制数据信号中其他数据。信号介质还包括任何信息递送介质。术语“调制数据信号”意指具有以将信息编码在信号中的方式来设置或改变其一个或多个特性的信号。举例来说而非限制,通信介质包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声学、RF、红外和其他无线介质之类的无线介质。
如前所述,硬件元件910和计算机可读介质906表示以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑,这些硬件形式可以在一些实施例中被采用来实现本文所描述的技术的至少一些方面,诸如执行一个或多个指令。硬件可以包括集成电路或片上系统的组件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅或其他硬件的其他实现。在此上下文中,硬件可以操作为执行由硬件所体现的指令和/或逻辑定义的程序任务的处理设备以及被利用来存储用于执行的指令的硬件,例如,先前描述的计算机可读存储介质。
前述内容的组合也可以被采用来实现本文所描述的各种技术。因此,软件、硬件或可执行模块可以被实现为在某种形式的计算机可读存储介质上体现的一个或多个指令和/或逻辑和/或被一个或多个硬件元件910实现。计算设备902可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此,可以例如通过使用处理系统904的计算机可读存储介质和/或硬件元件910至少部分地以硬件来实现可由计算设备902作为软件执行的模块的实现。指令和/或功能可以由一个或多个制品(例如,一个或多个计算设备902和/或处理系统904)可执行/可操作,以实现本文所描述的技术、模块和示例。
本文所描述的技术可以被计算设备902的各种配置支持,并且不限于本文所描述的技术的特定示例。该功能性还可以全部或部分地通过使用分布式系统来实现,诸如经由平台916在“云”914上实现,如下所述。
云914包括和/或表示用于资源918的平台916。平台916对云914的硬件(例如,服务器)和软件资源的底层功能性进行抽象。资源918可以包括应用和/或可以在远离计算设备902的服务器上执行计算机处理时被利用的数据。资源918还可以包括通过互联网和/或通过诸如蜂窝或Wi-Fi网络之类的用户网络来提供的服务。
平台916可以对资源和功能进行抽象以将计算设备902与其他计算设备连接。平台916还可以用于对资源的缩放进行抽象,以为经由平台916实现的资源918所遇到的需求提供对应级别的缩放。因此,在互连的设备实施例中,本文所描述的功能性的实现可以在整个系统上进行分布。例如,该功能性可以部分地在计算设备902上被实现以及经由对云914的功能性进行抽象的平台916来实现。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了主题,但是应该理解,所附权利要求书中定义的系统和技术不必限于所描述的特定特征或动作。而是,将特定特征和动作公开为实现所要求保护的主题的示例形式。
Claims (20)
1.一种在数字媒体环境中由至少一个计算设备实现的用于将修改后图像的修改样式应用于其他图像的方法,所述方法包括:
由所述至少一个计算设备获取用作修改样式的基础的一个或多个修改后图像,所述修改后图像中的每个修改后图像包括图像内容和修改参数,所述修改参数描述对所述图像内容进行的用以产生所述修改后图像的修改;
由所述至少一个计算设备生成所述图像内容的图像表示,图像表示被生成为表示所述图像内容的缩减信息、而不是所述图像内容的逐像素整体;
由所述至少一个计算设备生成所述修改后图像的修改存储器,修改存储器包括所述图像表示和相应的修改后图像的所述修改参数;以及
由所述至少一个计算设备生成样式数据,所述样式数据包括所生成的所述修改存储器,所述样式数据被用来将所述修改样式应用于后续图像。
2.根据权利要求1所述的方法,其中所生成的所述修改存储器是矢量,并且所述样式数据被生成为所生成的所述修改存储器的表示,所述样式数据被配置用于存储在文件结构中。
3.根据权利要求1所述的方法,其中所述修改参数描述对所述图像内容的视觉特性的至少一个修改。
4.根据权利要求1所述的方法,其中所述修改参数描述对指示所述图像内容的视觉特性的参数值的至少一个修改,所述参数包括以下中的至少一项:
曝光;
对比度;
高光;
阴影;
白色;
黑色;
鲜艳度;
对比度;
清晰度;
亮度;或
饱和度。
5.根据权利要求1所述的方法,其中所述图像表示包括表示所述图像内容的至少两个分量,所述分量包括:
特征矢量,所述特征矢量具有表示所述图像内容中所描绘的场景的语义特性的数字特征的维度;以及
跨所述图像内容的色调值分布。
6.根据权利要求5所述的方法,其中所述色调值分布捕获所述图像内容的照度和色度分量的分布。
7.根据权利要求1所述的方法,其中所述图像内容描绘了在对所述图像内容进行的用以产生所述修改后图像的所述修改之前的场景。
8.根据权利要求1所述的方法,其中所述修改后图像根据原始图像格式而被格式化。
9.根据权利要求1所述的方法,还包括:通过将所生成的所述修改存储器的所述图像表示与所述后续图像的附加图像表示进行比较,将所述修改样式应用于所述后续图像。
10.根据权利要求1所述的方法,其中一个修改后图像被获取,所述一个修改后图像的一个修改存储器被生成,并且所述样式数据仅包括所述一个修改存储器。
11.根据权利要求1所述的方法,还包括:
将所述样式数据维护在存储装置中;以及
响应于在后续的时间接收到将所述修改样式应用于所述后续图像的用户选择,从所述存储装置中取回所述样式数据,并且在所述后续的时间将所述修改样式应用于所述后续图像。
12.一种系统,包括:
表示模块,至少部分地在至少一个计算设备的硬件中被实现,用以将图像的描绘内容的表示生成为表示所述描绘内容的缩减信息、而不是所述描绘内容的逐像素整体;
样式生成模块,至少部分地在所述至少一个计算设备的所述硬件中被实现,用以生成用作修改样式的基础的修改后图像的样式数据,所述样式数据包括所述修改后图像的图像表示和修改参数,所述修改参数描述对所述描绘内容进行的用以产生所述修改后图像的修改;
表示比较模块,至少部分地在所述至少一个计算设备的所述硬件中被实现,用以将输入图像的表示与所述修改后图像的表示进行比较;以及
参数应用模块,至少部分地在所述至少一个计算设备的所述硬件中被实现,用以通过使用基于所述比较的所述修改参数的加权组合来修改所述输入图像,将所述修改样式应用于所述输入图像。
13.根据权利要求12所述的系统,其中所述参数应用模块还被配置为:通过将所述修改样式应用于所述输入图像来产生样式化图像。
14.根据权利要求12所述的系统,其中所述表示比较模块还被配置为:基于所述比较来确定所述输入图像的所述表示与所述修改后图像的所述表示中的每个表示之间的相似性的度量。
15.根据权利要求14所述的系统,还包括参数确定模块,用以部分地基于所述输入图像的所述表示与所述修改后图像的所述表示之间的相似性的度量,确定修改参数的所述加权组合。
16.根据权利要求15所述的系统,其中所述参数确定模块还被配置为:通过以下确定与特定修改后图像相对应的所述修改参数对修改参数的所述加权组合的贡献有多少:
与多个壳相关地布置所述修改后图像;
基于所述相似性的度量,确定所述壳中的每个壳内的所述修改后图像与所述输入图像的接近度;
基于相应修改参数的平均和标准偏差,确定所述壳中的每个壳内的所述修改后图像的显著性;以及
根据所述接近度和所述显著性,确定针对特定修改后图像的所述修改参数的权重。
17.一种在数字媒体环境中由至少一个计算设备实现的用于将修改后图像的修改样式应用于其他图像的方法,所述方法包括:
由所述至少一个计算设备接收输入图像的第一选择、以及要应用于所述输入图像的修改样式的第二选择,所述修改样式对应于样式数据,所述样式数据包括用作所述修改样式的基础的修改后图像的一个或多个修改存储器;
由所述至少一个计算设备生成所述输入图像的表示,所述表示包括表示所述输入图像的描绘内容的缩减信息、而不是所述输入图像的描绘内容的逐像素整体;
由所述至少一个计算设备确定所述输入图像的所述表示与所述一个或多个修改存储器中包括的所述修改后图像的表示之间的相似性的度量;
由所述至少一个计算设备部分地基于所述一个或多个修改存储器中包括的修改参数和所述相似性的度量,确定用于将所述修改样式应用于所述输入图像的参数;以及
由所述至少一个计算设备通过根据所确定的所述参数修改所述输入图像,来产生具有所述修改样式的样式化图像。
18.根据权利要求17所述的方法,其中:
所述参数表示所述输入图像的描绘内容的不同视觉特性;并且
所述修改参数描述了对相应修改后图像的视觉特性的至少一个修改。
19.根据权利要求17所述的方法,其中所述输入图像的所述表示包括表示所述描绘内容的至少两个分量,所述分量包括:
特征矢量,所述特征矢量具有表示所述描绘内容中所描绘的场景的语义特性的数字特征的维度;以及
跨所述描绘内容的照度和色度值的分布。
20.根据权利要求17所述的方法,其中所述参数被确定为所述一个或多个修改存储器中包括的所述修改参数的加权组合,并且确定所述参数包括:通过以下确定与不同修改存储器相对应的所述修改参数对所述加权组合的贡献有多少:
基于所述修改存储器的修改后图像,与多个壳相关地布置所述修改存储器;
基于所述相似性的度量,确定所述壳中的每个壳内的所述修改存储器与所述输入图像的接近度;
基于相应修改参数的平均和标准偏差,确定所述壳中的每个壳内的所述修改存储器的显著性;以及
根据所述接近度和所述显著性,确定针对所述不同修改存储器的所述修改参数的权重。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/453,398 | 2019-06-26 | ||
US16/453,398 US11295494B2 (en) | 2019-06-26 | 2019-06-26 | Image modification styles learned from a limited set of modified images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150347A true CN112150347A (zh) | 2020-12-29 |
CN112150347B CN112150347B (zh) | 2024-07-12 |
Family
ID=71080056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010281119.6A Active CN112150347B (zh) | 2019-06-26 | 2020-04-10 | 从有限的修改后图像集合中学习的图像修改样式 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11295494B2 (zh) |
CN (1) | CN112150347B (zh) |
AU (1) | AU2020202660B2 (zh) |
DE (1) | DE102020002302A1 (zh) |
GB (1) | GB2587833B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291162A (zh) * | 2019-03-04 | 2023-12-26 | 微软技术许可有限责任公司 | 样式迁移 |
US20220156987A1 (en) * | 2020-11-16 | 2022-05-19 | Disney Enterprises, Inc. | Adaptive convolutions in neural networks |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US12112412B1 (en) * | 2021-05-13 | 2024-10-08 | Optikka Inc. | Process for defining a digital language that describes stylistic intent across image files and which is implemented as part of an image and brand style system |
US12112024B2 (en) * | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
US20230230198A1 (en) * | 2022-01-14 | 2023-07-20 | Adobe Inc. | Utilizing a generative neural network to interactively create and modify digital images based on natural language feedback |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241592A1 (en) * | 2013-02-22 | 2014-08-28 | Cyberlink Corp. | Systems and Methods for Automatic Image Editing |
CN108537864A (zh) * | 2017-03-02 | 2018-09-14 | 奥多比公司 | 利用具有网络渲染层的神经网络编辑数字图像 |
US10198871B1 (en) * | 2018-04-27 | 2019-02-05 | Nicholas T. Hariton | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user |
CN109417547A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 图像验证的自动化 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7106887B2 (en) * | 2000-04-13 | 2006-09-12 | Fuji Photo Film Co., Ltd. | Image processing method using conditions corresponding to an identified person |
US8214766B1 (en) | 2008-07-09 | 2012-07-03 | Adobe Systems Incorporated | Method and system for preview control for image adjustment |
JP2013055472A (ja) * | 2011-09-02 | 2013-03-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US11748833B2 (en) * | 2013-03-05 | 2023-09-05 | Wevideo, Inc. | Systems and methods for a theme-based effects multimedia editing platform |
US9361666B2 (en) | 2013-10-07 | 2016-06-07 | Adobe Systems Incorporated | Learning user preferences for photo adjustments |
US9491263B2 (en) * | 2014-01-10 | 2016-11-08 | Pixtr Ltd. | Systems and methods for automatically modifying a picture or a video containing a face |
US9342498B2 (en) * | 2014-06-12 | 2016-05-17 | Synergy Platform Pty Ltd | System and method for generating a design template based on graphical input |
US10049477B1 (en) * | 2014-06-27 | 2018-08-14 | Google Llc | Computer-assisted text and visual styling for images |
US9558428B1 (en) | 2014-07-18 | 2017-01-31 | Samuel B. Green | Inductive image editing based on learned stylistic preferences |
US9857953B2 (en) * | 2015-11-17 | 2018-01-02 | Adobe Systems Incorporated | Image color and tone style transfer |
US10032259B2 (en) * | 2016-08-04 | 2018-07-24 | International Business Machines Corporation | Persisting image modifications for user profile |
US10325382B2 (en) * | 2016-09-28 | 2019-06-18 | Intel Corporation | Automatic modification of image parts based on contextual information |
US10909657B1 (en) * | 2017-09-11 | 2021-02-02 | Apple Inc. | Flexible resolution support for image and video style transfer |
US11138255B2 (en) * | 2017-09-27 | 2021-10-05 | Facebook, Inc. | Providing combinations of pre-generated and dynamic media effects to create customized media communications |
US20190236371A1 (en) * | 2018-01-30 | 2019-08-01 | Deluxe Entertainment Services Group Inc. | Cognitive indexing of images in digital video content |
US10872399B2 (en) * | 2018-02-02 | 2020-12-22 | Nvidia Corporation | Photorealistic image stylization using a neural network model |
-
2019
- 2019-06-26 US US16/453,398 patent/US11295494B2/en active Active
-
2020
- 2020-04-10 CN CN202010281119.6A patent/CN112150347B/zh active Active
- 2020-04-15 DE DE102020002302.9A patent/DE102020002302A1/de active Pending
- 2020-04-21 AU AU2020202660A patent/AU2020202660B2/en active Active
- 2020-04-24 GB GB2006038.0A patent/GB2587833B/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241592A1 (en) * | 2013-02-22 | 2014-08-28 | Cyberlink Corp. | Systems and Methods for Automatic Image Editing |
CN109417547A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 图像验证的自动化 |
CN108537864A (zh) * | 2017-03-02 | 2018-09-14 | 奥多比公司 | 利用具有网络渲染层的神经网络编辑数字图像 |
US10198871B1 (en) * | 2018-04-27 | 2019-02-05 | Nicholas T. Hariton | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user |
Also Published As
Publication number | Publication date |
---|---|
GB202006038D0 (en) | 2020-06-10 |
GB2587833A (en) | 2021-04-14 |
CN112150347B (zh) | 2024-07-12 |
US20200410730A1 (en) | 2020-12-31 |
AU2020202660A1 (en) | 2021-01-21 |
GB2587833B (en) | 2022-06-29 |
US11295494B2 (en) | 2022-04-05 |
DE102020002302A1 (de) | 2020-12-31 |
AU2020202660B2 (en) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150347B (zh) | 从有限的修改后图像集合中学习的图像修改样式 | |
US11250548B2 (en) | Digital image completion using deep learning | |
US11334971B2 (en) | Digital image completion by learning generation and patch matching jointly | |
US9697416B2 (en) | Object detection using cascaded convolutional neural networks | |
US11436775B2 (en) | Predicting patch displacement maps using a neural network | |
US20200242822A1 (en) | Digital Media Environment for Style-Aware Patching in a Digital Image | |
US9299004B2 (en) | Image foreground detection | |
US9330334B2 (en) | Iterative saliency map estimation | |
US10621764B2 (en) | Colorizing vector graphic objects | |
US10019823B2 (en) | Combined composition and change-based models for image cropping | |
US8553045B2 (en) | System and method for image color transfer based on target concepts | |
US20200410211A1 (en) | Facial image processing method and apparatus, electronic device and computer readable storage medium | |
WO2021164550A1 (zh) | 图像分类方法及装置 | |
US9443134B2 (en) | Propagating object selection across multiple images | |
CN112651410A (zh) | 用于鉴别的模型的训练、鉴别方法、系统、设备及介质 | |
US11615507B2 (en) | Automatic content-aware collage | |
CN113642359B (zh) | 人脸图像生成方法、装置、电子设备及存储介质 | |
GB2567723A (en) | Digital image completion using deep learning | |
US20230244368A1 (en) | Generating and Applying Editing Presets | |
CN115240260A (zh) | 图像处理方法及其装置 | |
CN116263935A (zh) | 人脸图像的处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |