CN111133440A - 基于机器学习的图像处理技术 - Google Patents

Abstract

本文中公开了基于机器学习的图像处理架构和相关联的应用。在一些实施例中，训练机器学习框架以学习低级图像属性，诸如对象/场景类型、几何形状、放置、材料和纹理、相机特性、照明特性、对比度、噪声统计信息等。之后，该机器学习框架可以被采用以在其他图像中检测这样的属性，并在属性级别处理该图像。

Description

基于机器学习的图像处理技术

其他申请的交叉引用

本申请要求2017年8月4日提交的题为DIRECT AND DERIVED 3D DATA FOR MACHINELEARNING IN IMAGE BASED APPLICATIONS的美国临时专利申请No. 62/541,603的优先权，该美国临时专利申请出于所有目的通过引用并入本文中。

背景技术

图像处理技术传统上已经以像素级别（即，对像素值或像素强度）进行操作。然而，对于诸如更改图像的高级视觉外观之类的应用，对低级（low-level）像素数据进行操作是不实际的。对于此类任务，基于特征的方法更为有效。基于特征的技术包括：首先定义具体特征（例如，边缘、斑块、SURF、SIFT等）的集合，并且然后定义关于可以被用来分析和操纵图像内容的那些特征的数学模型。

机器学习技术可以被采用以基于相关的取决于应用的成本函数来学习特征和数学模型参数中的任一个或两个。然而，这样的人工智能技术需要详尽的训练数据集，该数据集跨越针对特定应用的所有特征的空间，并利用相关地面真实数据被标记。对于大多数有用的应用，通常禁止收集详尽的训练数据集。另外，很难用更复杂或更精细的地面真实数据来标记图像。因此，直到最近，机器学习技术的使用尚被限于基本的对象识别或分类应用。

因此，需要并在本文中公开了一种克服这种局限并有效利用机器学习技术的图像处理架构，以及由此产生的新颖的基于图像的应用。

附图说明

在以下的详细描述和附图中公开了本发明的各种实施例。

图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架的实施例的高级框图。

图2图示了来自目录的展出图像（curated image）的示例。

图3是用于将属于集合的图像缩小或分解为关键属性的图像处理框架的实施例的高级框图。

图4是用于自动生成展出图像的图像处理框架的实施例的高级框图。

图5是基于机器学习的图像处理架构的实施例的高级框图。

图6A是用于重新风格化（restyle）的图像处理应用的实施例的高级框图。

图6B图示了使用重新风格化应用的示例。

图7A是图像处理应用的实施例的高级框图，该图像处理应用用于以不同的对象替代图像中的对象。

图7B图示了使用对象替代应用的示例。

图8A是用于对图像进行降噪的图像处理应用的实施例的高级框图。

图8B图示了使用降噪应用的示例。

具体实施方式

本发明可以以众多方式实现，这些方式包括作为过程；装置；系统；物质的组成；被体现在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置成执行存储在耦合到处理器的存储器上的指令和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，可以将这些实现方式或本发明可以采取的任何其它形式称为技术。一般而言，可以在本发明的范围内更改所公开过程的步骤的次序。除非另行说明，否则可以将被描述为被配置成实行任务的诸如处理器或存储器之类的组件实现为暂时地被配置成在给定时间实行任务的通用组件或被制造成实行该任务的特定组件。如本文中使用的，术语“处理器”指代被配置成处理数据（诸如计算机程序指令）的一个或多个设备、电路和/或处理核心。

下面连同图示了本发明的原理的附图一起提供对本发明的一个或多个实施例的详细描述。结合这样的实施例对本发明进行描述，但是本发明并不限于任何实施例。本发明的范围仅受权利要求限制，并且本发明涵盖众多替换方案、修改和等同物。在以下描述中阐述了众多具体细节，以便提供对本发明的透彻理解。这些细节被提供以用于示例的目的，并且可以根据权利要求在没有这些具体细节中的一些或全部的情况下实践本发明。为了清晰起见，在与本发明相关的技术领域中已知的技术材料并未被详细描述，以免不必要地模糊本发明。

本文中公开了图像处理架构和由此产生的基于图像的应用。通常，图像可以包括场景，该场景包括单个对象、多个对象或丰富（虚拟）环境，并且另外可以包括动画或视频序列的静止图像或帧。此外，图像可以包括（高质量）照片或（照片级（photorealistic））渲染。

包括机器学习技术的人工智能技术是数据驱动的，并且因此需要详尽的训练数据集才能对大多数实际应用有效。因此，将机器学习技术用于基于图像的应用的基础依赖于对综合训练数据集的访问，已经用与所需应用相关的适当元数据来对该综合训练数据集进行标记或加标签。

在该描述中，一般地描述了机器学习技术，并且在各种实施例中，机器学习技术可以包括使用适合于给定应用的一个或多个机器学习架构（诸如深度神经网络和卷积神经网络）的任何组合。此外，术语“标记”、“标签”和“元数据”在本说明书中可互换使用，以指代与诸如图像之类的数据或内容单元相关联并保持一致的性质或属性。

所公开的图像处理架构的基本方面包括：内容生成平台，其用于生成利用相关地面真实数据进行标记的综合图像数据集。这样的数据集可以例如填充有从三维（多边形网格）模型渲染的图像和/或从诸如相机之类的成像设备或诸如3D扫描仪之类的扫描设备捕获的图像。可以在例如离线处理期间生成图像数据集，该图像数据集涵盖以下各项的详尽排列：对象和布置的个体和/或组合、相机视角或姿态、照明类型和位置、材料和纹理等。此外，可以从外部来源获得图像资产。当在生成时间生成图像时，可以生成元数据并将其与图像相关联（例如，用来对图像进行标记或加标签），和/或可以在之后添加或修改元数据，并且另外可以自动生成元数据和/或可以至少部分地手动确定或定义元数据。

图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架100的实施例的高级框图。收集或生成图像数据集104。在许多情况下，图像数据集104包括高质量（即，高清晰度或分辨率）照片或照片级渲染。可以至少部分地由从（如图1的示例中描绘的）三维模型102渲染的图像、从图像或扫描设备捕获的图像、来源于外部实体的图像或使用各种处理技术的从其他现有图像生成的图像来填充图像数据集104。通常，数据集104包括不同视角或视点、材料和纹理、照明源和位置、相机配置、对象组合和放置等的任何任意数量的排列。

用综合的标记或元数据的集合来给包括数据集104的图像加标签。为规定数据集的图像定义和/或选择的标记的集合可以至少部分取决于应用。标记的集合可以包括：一个或多个分层的高级标记，其提供对包括图像的（一个或多个）对象和/或场景的分类。该标记的集合可以另外包括较低级标记，该较低级标记包括地面真实数据，该地面真实数据与从（一个或多个）底层三维模型渲染图像或其部分或使用诸如相机或扫描仪之类的物理设备捕获图像相关联。这样的标记的示例包括：与包括图像的场景的（三维）几何形状相关联的标记，诸如对象类型和位置、包括场景的对象的材料性质、表面法线矢量、照明类型和方位（例如，直接源以及间接源，诸如有助于大量高阶反弹的反射表面）、相机特性（例如，视角或姿态、取向、旋转、深度信息、焦距、孔径、缩放级别）等。该标记可以包括各种场景对象、光源和对场景进行捕获的（虚拟）相机当中的绝对和/或相对位置或方位、取向和深度信息。可以将不是基于场景的而是基于图像的其他标记（诸如噪声统计信息（例如，渲染时在射线追踪中使用的射线的样本数））与图像相关联。另外，可以通过组合多个其他标记来为各种应用定义更复杂或更精细的标记。示例包括针对相对于光源的具体对象姿态、具有特定光源的特殊材料（例如，皮革）的存在等定义标记。

如所描述的，与生成包括数据集104的图像相关联的地面真实数据的知识有助于详细的以及定制的（例如，专用的）标记与包括数据集104的图像相关联，该数据集包括原本不能被手动识别并与图像相关联的许多类型和类别的标记，诸如照明类型和位置。大量的标记数据集104完全适于基于人工智能的学习。例如，使用一种或多种适当的机器学习技术（诸如深度神经网络和卷积神经网络）的任何组合将产生要进行学习的与数据集104相关联的一个或多个低级性质或属性110的集合。可以从数据集104的标记导出或推断出这样的属性。可以学习的属性的示例包括与以下各项相关联的属性：对象/场景类型和几何形状、材料和纹理、相机特性、照明特性、噪声统计信息、对比度（例如，由规定度量定义的全局和/或局部图像对比度，其可以基于例如最大和最小像素强度值）等。也可以学习作为多个低级属性的（例如，某种未知非线性）组合或函数的其他更无形的（intangible）属性。这种无形的属性的示例包括与风格、美学效果（aesthetic）、噪声特征等相关联的属性。在各种实施例中，可以使用不同的训练模型来学习不同的属性。另外，可以相对于多个不同的训练数据集来训练图像处理框架100。在在大数据集上进行训练以学习各种属性之后，图像处理框架100随后可以被采用以检测其他图像中的相似属性或其组合，对于该其他图像来说这样的属性是未知的（如下面进一步描述的）。

许多应用包括：创建展出图像的集合或选集（portfolio），其共享一个或多个难以量化或定义、但共同地有助于独特的特征风格或视觉外观的属性或性质。例如，包括由高端商人或零售商发布的产品目录的图像通常具有特定的品牌风格或美学效果，并且类似地，动画或视频序列的场景帧通常都被约束成规定的视觉特性。在这样的应用中，捕获的照片或生成的渲染经常由艺术家进行手动后处理（例如，修整和重新制作）以创建具有符合期望的或认可的风格或美学效果或主题的视觉特性的可发布影像。许多有助于风格或美学效果或主题的性质是艺术家操纵的结果，其超过可以从摄影/渲染或全局后处理所实现的任何事物。因此，对图像赋予美学效果的艺术家是传统上尚且难以剔出（isolate）、建模和复制的无形的质量。结果，许多现有的应用仍然需要艺术家对每个图像或帧手动地进行后处理，以获得所需的展出外观。

图2图示了来自家居装饰零售商的目录的展出图像的示例。如描绘的，每个图像都包含不同的产品以及产品放置，但是整个图像集共享相同的高级风格或美学效果，其定义了富有灵感的品牌外观。图2的展出图像得自艺术家的后处理，并且没有利用低级属性或地面真实数据来具体地标记。然而，可以看到，所有图像都属于具有共同特性的集合，而不仅仅是具有相似类型的内容（即，家居装饰）。在给定的示例中，所有图像都共享特定于规定品牌的相同美学效果，并且因此在视觉上看起来是相似的，并且可识别为属于同一集合。在一些实施例中，可以通过共同地定义美学效果的一个或多个较低级属性的非线性函数来对导致共享的相似外观的图像集合的高级属性进行建模（如接下来进一步描述的）。

图3是用于将属于集合的图像缩小或分解为关键属性的图像处理框架300的实施例的高级框图，该关键属性中的一个或多个可以共同定义该集合的高级美学属性。框架300对属于集合的图像302进行操作。图像302可以包括照片或渲染。在一些实施例中，图像302的集合包括图像（例如诸如图2的图像）的展出集合或目录，其由艺术家的后处理或操纵产生，以实现规定风格或美学效果或主题。在一些情况下，图像302没有利用例如地面真实数据进行标记或加标签。然而，图像302属于同一集合，并且因此共享一个或多个公共性质或属性，诸如内容类型以及视觉特性和外观。图像302的集合由基于机器学习的框架304（例如，其可以包括图1的框架100）处理，以检测或识别与图像302的集合相关联的一个或多个高级和低级属性306的集合。

在一些情况下，在大的标记图像数据集上训练基于机器学习的框架304，该图像数据集包括可能出现在规定场景类型中的受约束的可能对象集合中的对象的可能排列的大量子集（即便不是全部），以便学习相关联的属性及其组合，并且随后可以将该相关联的属性及其组合用来检测或识别其他图像中的此类属性，该其他图像诸如包括来自相同的受约束的可能对象集合中的对象的展出或经艺术家处理的图像302的对应集合。可以针对图像302的集合进行检测的属性306的示例包括：对象/场景类型和几何形状、材料和纹理、相机特性、照明特性、噪声统计信息、对比度等。在一些实施例中，通过多个识别出的低级属性306的（例如，未知的非线性）函数或组合来定义导致具有共享外观的图像302的高级美学属性。所描述的基于机器学习的框架304便于识别属于集合的图像302的共享性质，以及识别和剔出包括艺术家赋予的特性的高级共享风格或美学属性。针对图像302的集合识别的属性306可以被用来对还没有这样的标记或标签的图像302自动地进行标记或加标签。

如前所述，许多应用要求艺术家对图像进行后处理，以赋予规定的风格或美学效果。因此，在这样的应用中，适于公开的展出影像通常限于符合所需风格或美学效果的少量可行拍摄（shot）。自动生成更广泛的展出图像的集合将是有用的，例如所述展出图像的集合具有规定的风格或美学效果，而无需艺术家经由后处理来赋予所述风格或美学效果。图4是用于在没有艺术家输入的情况下自动生成展出图像的图像处理框架400的实施例的高级框图。如描绘的，例如从诸如使用图3的框架300的艺术家创建的展出图像的小集合中识别出的属性402的集合被应用于具有可配置性质（几何形状、照明、材料、相机姿态等）来渲染具有属性402的任何数量的图像406的可用三维对象模型404。渲染图像406自动具有由属性402定义的展出视觉外观，而不需要艺术家输入或后处理。

在一些实施例中，存在针对大多数（即便不是全部）个体对象的三维（多边形网格）模型，该对象包括可以被包含在规定场景类型中的受约束的可能对象集合，这些三维模型可以被采用以例如使用图3的框架300在没有艺术家输入的情况下自动渲染该场景类型的任何数量的附加展出拍摄，但是具有与艺术家创建的从中识别出美学效果或风格属性的基本影像的相对较小的集合相同的美学效果或风格。在某些情况下，可以生成用于规定场景类型的展出图像的超级目录，其中只有拍摄的小的子集是艺术家创建的，而其余的则是使用框架400自动渲染的。在某些情况下，超级目录包括以下图像，该图像包括与所有展现由属性402定义的规定风格或美学效果的特定场景空间相关联的对象、材料、照明、相机姿态、放置等的许多（即便不是全部）可能的排列和组合，而不需要艺术家后处理来赋予该风格或美学效果。即，使用框架400的三维对象模型，使用图3的框架300剔出的美学属性可以被用来渲染具有该相同美学效果（即，定义该美学效果的相同低级属性306/402）的附加的新图像。使用框架400生成的图像406可以利用适当的元数据或地面真实数据来自动地进行标记或加标签，因为这样的图像是根据明确定义的三维模型和已知属性而渲染的。此外，所生成的标记图像406的大集合可以被采用以进一步训练和构建相关联的基于机器学习的框架（例如，图1的框架100）。

图5是基于机器学习的图像处理架构500的实施例的高级框图。如描绘的，图像处理架构500包括已经相对于图1-4单独详细描述的许多组件。机器学习框架501（其可以包括图1的框架100）是图像处理架构500的基础，并且在大型数据集上进行训练（例如，该大型数据集可以至少部分地从可用的三维模型生成）以学习与该数据集相关联的属性。然后，机器学习框架501可以与其他图像一起使用，以检测或识别这样的属性或其组合，其对于用机器学习框架501进行检测之前的图像可能不是已知的。

在一个示例中，机器学习框架501识别以下属性，这些属性共同定义了展出目录图像502的小集合中的美学效果504，这些展出目录图像已被艺术家后处理以具有美学效果。在某些情况下，可以将剔出的美学效果（即，对应的属性）504应用于可用的三维模型，以生成附加的展出目录图像的超级目录506，该附加的展出目录图像都具有该美学效果，而无需像原始集合502那样进行艺术家后处理。超级目录506可以被用来进一步训练和构建机器学习框架501。因此，可以使用机器学习框架501来识别美学效果或风格或主题，并且然后将该美学效果或风格或主题应用于可用的三维模型以生成可以在其上进一步训练机器学习框架501的附加数据集。

机器学习框架501通常便于各种图像处理应用508来修改输入图像510或其部分以生成具有期望修改的对应的输出图像512。与图像相关联的高级属性和低级属性两者都是可检测的，并且高级属性可分离为构成的低级属性。因此，可以在各种应用中对不同的属性或属性的组合做出独立的决定。一些示例图像处理应用508包括重新风格化（例如，改变美学效果）、对象替换、重新照明（例如，改变光源类型和/或位置）等，接下来进一步描述其中的一些。

图6A是用于重新风格化的图像处理应用600的实施例的高级框图，并且图6B图示了使用重新风格化应用600的示例。如描绘的，机器学习框架601（例如，图1的框架100或图5的框架501）被采用以识别和剔出图像目录602的目录美学效果604和输入图像606的图像美学效果608，以便可以从图像606和被应用或添加到图像606的目录美学效果604中去除或减去图像美学效果608，以生成输入图像606的输出目录版本610，该输出目录版本610具有与目录602相同的美学效果604。在该示例中，可以在输入图像606中检测并剔出包括目录美学效果604的属性的类型，以确定图像美学效果608。在图6B中图示出重新风格化，其中输入图像606通过重新风格化应用600进行了重新风格化，以生成符合规定的目录美学效果604的目录图像610。在该示例中，改变美学效果包括：以不同方式修改图像的不同部分处的照明或亮度。

图7A是用于利用不同的对象替代图像中的对象的图像处理应用700的实施例的高级框图，并且图7B图示了使用对象替换应用700的示例。在图7A中，机器学习框架（例如，图1的框架100或图5的框架501）被采用以识别输入图像702的与规定对象相关联的属性704-708，使得可以用另一个对象710来替代该对象。新对象710可以被配置成具有某个相同的识别出的属性704-708，以使得它可以代替被替代的对象而被一致地包括在图像710中。在图7B中图示了对象替换，在图7B中输入图像702中的沙发对象被输出图像710中的不同沙发对象替代。

图像处理应用508可以进一步包括更复杂的企业应用，诸如将来自具有不同美学属性的数据集的对象聚合到同一场景中，并进行风格化以具有规定的美学效果。例如，来自一个或多个品牌的家居装饰对象可以被包括在房间的图像中，但是可以全部被风格化以具有规定品牌的美学效果。在这种情况下，所得图像将具有规定品牌的目录图像的展出外观或美学效果。

通常，图像处理应用508依赖于使用机器学习框架501的属性检测。即，使用机器学习框架501来检测被用来生成图像510的实际属性，并且对该实际属性进行修改以生成具有经修改的属性的输出图像512。因此，如本文所述的基于属性检测、操纵和/或修改的图像修改与以像素级别对像素值进行操作的常规图像编辑应用显著不同，并且不具有关于实际图像内容（例如，对象）和与捕获或渲染内容的物理特性相关联的底层属性的信息，该内容诸如几何形状、相机、照明、材料、纹理、放置等，所公开的技术基于该内容。所公开的属性检测和操纵技术对于照片级应用尤其有用，这是因为常规像素操纵没有受到足够的约束来生成看起来真实且一致的图像。

基于机器学习框架501的另一个有用的应用508包括图像去噪。可以将一个或多个学习的空间滤波器应用于（例如，在射线追踪期间使用少量射线样本生成的）有噪声的输入图像510的各个部分以去除噪声，以使得输出图像512具有与使用大量射线样本所能达到的效果相当的噪声轮廓或质量。即，使用由机器学习框架501识别的一组滤波器来对稀疏采样图像的各个部分进行滤波，以生成等同于用大得多数量的样本（例如，完全收敛所需的样本数量）进行射线追踪的输出图像。作为一个示例，通过利用由机器学习框架501识别的适当滤波器对十个样本射线追踪的图像进行滤波，可以将十个样本射线追踪的图像快速变换为对应的一千个样本射线追踪图像的等同图像。因此，仅通过利用少量样本进行射线追踪，并且然后使用预测由较大量的样本产生的像素值的滤波器，就可以实质上减少图像渲染时间。该技术有效地消除了对利用大量样本进行射线追踪的需要，同时仍然产生具有利用大量样本进行射线追踪所提供的质量或噪声轮廓的图像。

在一些实施例中，用于这样的去噪应用的训练数据集包括：以不同采样间隔的图像的射线追踪快照，其中，除了利用其他图像属性进行标记外，每个快照还利用指定该快照的样本数量的属性进行标记。在这样的数据集上训练机器学习框架501，以针对不同数量的样本学习空间滤波器或其参数。例如，可以学习滤波器以便针对x和y的许多不同值和组合从低数量(x)的样本变换成高数量(y)的样本，其中x << y。然而，噪声特征不仅基于样本的数量，而且还基于（例如，在射线追踪期间）影响噪声的一个或多个其他图像属性，诸如材料和照明。因此，可以针对导致不同噪声特征的属性组合来学习不同的滤波器参数，并且识别用于输入图像的滤波器的机器学习框架501可以识别用于图像的不同部分的不同滤波器或参数。例如，对于具有属性组合“具有亮光的皮革上的十个样本”的图像的一部分，与具有属性组合“在暗光下的织物上的十个样本”的图像的一部分相比，可以识别滤波器参数的不同集合。

图8A是用于对图像进行降噪的图像处理应用800的实施例的高级框图，并且图8B图示了使用降噪应用800的示例。在图8A中，使用由基于机器学习的框架（例如，图1的框架100或图5的框架501）识别的一个或多个滤波器804来处理违反规定的噪声阈值的有噪声的（例如，低样本计数）输入图像802，以生成满足规定的噪声阈值的去噪输出图像806。因此，使用经学习的滤波器804来清理使用少量射线样本渲染的有噪声的图像802或对该图像802进行去噪806，从而消除了实际上利用大量样本进行射线追踪的需要。在图8B中图示了去噪，其中应用800处理了稀疏采样的输入图像802，以生成高质量输出图像806。

虽然已出于理解清晰的目的对前述实施例进行了比较详细的描述，但是本发明并不局限于所提供的细节。存在实现本发明的许多替换方式。所公开的实施例是说明性的而非限制性的。

Claims (60)

1.一种方法，包括：

使用机器学习框架来检测输入图像的一个或多个属性的集合；以及

输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。

2.根据权利要求1所述的方法，其中，在由所述机器学习框架进行检测之前，对于所述输入图像，检测到的属性的集合是未知的。

3.根据权利要求1所述的方法，其中，检测到的属性的集合与风格或美学效果相关联。

4.根据权利要求3所述的方法，其中，所述输出图像包括所述输入图像的重新风格化的版本。

5.根据权利要求1所述的方法，其中，检测到的属性的集合与第一风格相关联，并且所述输出图像的经修改的属性的集合与第二风格相关联。

6.根据权利要求5所述的方法，其中，修改所述输入图像包括将所述第一风格修改为所述第二风格。

7.根据权利要求1所述的方法，其中，检测到的属性的集合与所述输入图像中的对象相关联。

8.根据权利要求7所述的方法，其中，所述输入图像中的对象由所述输出图像中的不同对象替代。

9.根据权利要求1所述的方法，其中，检测到的属性的集合与照明相关联。

10.根据权利要求9所述的方法，其中，所述输出图像包括所述输入图像的重新照明的版本。

11.根据权利要求1所述的方法，其中，检测到的属性的集合与噪声相关联。

12.根据权利要求11所述的方法，其中，所述输出图像包括所述输入图像的去噪版本。

13.根据权利要求1所述的方法，其进一步包括利用经修改的属性的集合对所述输出图像进行标记或加标签。

14.根据权利要求1所述的方法，其中，检测到的属性的集合包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。

15.根据权利要求1所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述输入图像所属的规定场景类型相关联的受约束的对象集合的排列。

16.根据权利要求1所述的方法，其中，在包括从三维对象模型渲染的标记图像的数据集上训练所述机器学习框架。

17.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括照片或照片级渲染。

18.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括动画或视频序列的帧。

19.一种系统，包括：

处理器，其被配置成：

使用机器学习框架来检测输入图像的一个或多个属性的集合；以及

输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像；以及

存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。

20.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：

使用机器学习框架来检测输入图像的一个或多个属性的集合；以及

输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。

21.一种方法，包括：

使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及

通过将检测到的美学属性应用于被用来渲染图像的第二集合的三维对象模型，生成具有相同的共享美学效果的图像的第二集合。

22.根据权利要求21所述的方法，其中，所述图像的第一集合的共享美学效果来自后处理。

23.根据权利要求21所述的方法，其中，由艺术家将所述共享美学效果赋予所述图像的第一集合。

24.根据权利要求21所述的方法，其中，在没有艺术家输入或后处理的情况下，生成具有相同的共享美学效果的所述图像的第二集合。

25.根据权利要求21所述的方法，其中，所述美学属性包括一个或多个低级属性的组合。

26.根据权利要求25所述的方法，其中，所述美学属性可分离为其构成的低级属性。

27.根据权利要求25所述的方法，其中，所述低级属性包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。

28.根据权利要求21所述的方法，其中，所述共享美学效果与规定品牌相关联。

29.根据权利要求21所述的方法，其中，所述共享美学效果与规定场景类型相关联。

30.根据权利要求21所述的方法，其中，所述第二集合包括比所述第一集合更多的图像。

31.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，其中仅所述第一集合是艺术家后处理的。

32.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，所述共享美学效果被用来进一步训练和构建所述机器学习框架。

33.根据权利要求21所述的方法，进一步包括利用检测到的美学属性对所述第一集合的图像进行标记或加标签。

34.根据权利要求21所述的方法，进一步包括利用所述美学属性对所述第二集合的图像进行标记或加标签。

35.根据权利要求21所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述图像的第一集合和所述图像的第二集合所属的规定场景类型相关联的受约束的对象集合的排列。

36.根据权利要求21所述的方法，其中，在包括从三维对象模型渲染的标记图像的数据集上训练所述机器学习框架。

37.根据权利要求21所述的方法，其中，包括所述第一集合和所述第二集合的图像包括照片或照片级渲染。

38.根据权利要求21所述的方法，其中，包括所述第一集合和所述第二集合的图像包括动画或视频序列的帧。

39.一种系统，包括：

处理器，其被配置成：

使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及

通过将检测到的美学属性应用于被用来渲染所述图像的第二集合的三维对象模型，生成具有相同的共享美学效果的图像的第二集合；以及

存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。

40.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：

使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及

通过将检测到的美学属性应用于被用来渲染所述图像的第二集合的三维对象模型，生成具有相同共享美学效果的图像的第二集合。

41.一种方法，包括：

使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及

输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的所述输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪。

42.根据权利要求41所述的方法，其中，所述输出图像是所述输入图像的去噪版本。

43.根据权利要求41所述的方法，其中，所述稀疏射线追踪的输入图像违反噪声阈值，并且所述输出图像满足所述噪声阈值。

44.根据权利要求41所述的方法，其中，所述稀疏射线追踪的输入图像是利用少量射线样本进行射线追踪的。

45.根据权利要求41所述的方法，其中，所述输出图像的质量等同于利用大量射线样本的射线追踪。

46.根据权利要求41所述的方法，其中，所述输出图像的质量等同于利用完全收敛所需的射线样本的数量的射线追踪。

47.根据权利要求41所述的方法，其中，所述滤波器的集合预测利用更多射线样本的射线追踪所产生的像素值。

48.根据权利要求41所述的方法，其中，所述滤波器包括空间滤波器。

49.根据权利要求41所述的方法，其中，识别一个或多个滤波器的集合包括识别一个或多个滤波器参数的集合。

50.根据权利要求41所述的方法，其中，识别一个或多个滤波器的集合包括针对所述输入图像的不同部分来识别不同的滤波器。

51.根据权利要求41所述的方法，其中，所述滤波器的集合中的规定的滤波器与对应的噪声特征相关联。

52.根据权利要求51所述的方法，其中，所述噪声特征是基于一个或多个属性。

53.根据权利要求52所述的方法，其中，所述属性包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、样本数量和对比度相关联的一个或多个属性。

54.根据权利要求41所述的方法，其中，训练所述机器学习框架以学习噪声特征和对应的滤波器。

55.根据权利要求41所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括以不同采样间隔的射线追踪快照。

56.根据权利要求41所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述输入图像所属的规定场景类型相关联的受约束的对象集合的排列。

57.根据权利要求41所述的方法，其中，所述输出图像包括照片级渲染。

58.根据权利要求41所述的方法，其中，所述输出图像包括动画或视频序列的帧。

59.一种系统，包括：

处理器，其被配置成：

使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及

输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪；以及

存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。

60.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：

使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及

输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的所述输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪。

Images