CN110663045B - 用于数字图像的自动曝光调整的方法、电子系统和介质 - Google Patents

Abstract

本发明的方法、系统和装置包括编码在计算机存储介质上的计算机程序，用于接收均具有预定义曝光属性的图像的计算系统。针对每个图像，提取图像的第一特征集。第一特征集与指示无需修改图像的标签相关联。调整图像的光度特性以形成调整的图像。提取调整的图像的第二特征集。训练神经网络，以使用第一特征集和调整的图像的第二特征集来调整图像的光度特性。曝光调整模型基于使用经训练的神经网络所确定的校正值来调整图像的光度特性。

Description

用于数字图像的自动曝光调整的方法、电子系统和介质

技术领域

本说明书涉及数字摄影。

背景技术

编辑数字图像能够包括调整数字图像的曝光属性。例如，能够通过使图像中的像素变亮或变暗来调整数字图像的曝光属性，以提高图像的整体美观性。使图像中的像素变亮导致图像曝光过度，而使图像中的像素变暗导致图像曝光不足。电子设备中的数字相机能够被用于在环境的不同光照条件下产生各种图像。当产生图像数据时，数字相机能够自动适应于照明环境。例如，能够通过动态地更改数字相机的曝光时间和快门速度完成自动的适应过程。一般而言，针对给定场景设置曝光值可能相当主观，这就导致人类观察者之间对偏好曝光值存在很大差异。

发明内容

计算机系统处理数字图像集合。数字图像集合包括征集的图像和修改的图像。征集的图像曝光良好，使得图像中的对象具有产生有吸引力的视觉效果的适当亮度水平。计算机系统改变征集的图像以产生修改的图像。修改的图像是已经变亮或变暗而破坏曝光良好的征集的图像的适当亮度水平的图像。通过处理征集的图像的曝光良好的亮度水平以及修改的图像的改变的亮度，计算机系统能够学习如何调整新捕获的图像，以达成适当的亮度水平，这样获得有吸引力的数字照片。例如，包括数字相机的电子设备也可以包括经训练的计算机系统。当数字相机被用于捕获新的图像时，经训练的计算机系统能够将亮度校正值发送到数字相机，以针对所捕获的图像中检测到任何对象曝光不足或曝光过度来进行调整。

计算机系统能够包括训练模式和运行时模式，在该训练模式下，处理征集的图像和修改的图像，在该运行时模式下，校正值被提供给数字相机，以调整新捕获的图像中的对象的亮度水平。计算机系统可以是针对不同类型的数字图像使用例如神经网络的不同技术来学习适当的亮度水平的机器学习系统。在训练模式下，机器学习系统通过处理训练数据进行学习。训练数据由数字图像集合以及指示修改的图像已经变亮或变暗的程度的任何相关的校正值来表示。

本说明书中描述的主题的一方面能够体现为一种计算机实现的方法。所述方法包括：在计算系统处接收均具有预定义曝光属性的多个图像。所述方法包括：针对所述具有预定义曝光属性的多个图像中的每个图像，通过所述计算系统的特征提取器提取所述图像的第一特征集；通过所述计算系统的图像处理器将所述第一特征集与指示无需修改所述图像的标签相关联；通过所述图像处理器根据特定的调整幅度来调整所述图像的光度特性，以形成调整的图像；以及通过所述特征提取器提取所述调整的图像的第二特征集。

所述方法也包括：训练机器学习(ML)系统的神经网络，以确定用于调整图像的光度特性的校正值，神经网络使用具有所述预定义曝光属性的图像的第一特征集和所述调整的图像的第二特征集来进行训练；以及通过所述机器学习系统的曝光调整模型，基于使用所述神经网络所确定的校正值来调整图像的光度特性。

这些及其他实施方式能够各自可选地包括以下特征中的一个或多个。例如，在一些实施方式中，将所述第一特征集与标签相关联包括：生成指示无需修改所述图像的零校正值。在一些实施方式中，提取所述图像的第一特征集和所述调整的图像的第二特征集包括：通过所述计算系统的对象识别器识别数字图像中所包括的一个或多个对象；以及响应于识别一个或多个对象，提取与一个或多个所识别的对象相关联的一个或多个特征。在一些实施方式中，提取所述调整的图像的第二特征集包括：至少部分地基于所述调整的图像来生成校正值，所述校正值指示对所述光度特性进行反转调整的校正量。

在一些实施方式中，调整所述图像的光度特性包括生成指示特定调整幅度的调整值。在一些实施方式中，指示所述特定调整幅度的调整值是所述校正值的倒数。在一些实施方式中，训练所述神经网络以调整图像的光度特性包括：生成曝光调整模型以调整至少包括特定图像的光度特性的曝光属性，所述曝光调整模型使用所述ML系统的经训练的神经网络来生成。在一些实施方式中，调整所述图像的光度特性包括：使用用于用户设备的数字相机的电路来至少生成所述特定图像，所述特定图像对应于由所述数字相机的图像生成器产生的当前图像；以及基于由所述曝光调整模型提供的校正值，调整所述当前图像的光度特性。

本说明书中描述的主题能够以特定实施方式来实现并且能够获得以下优点中的一个或多个。计算机系统基于征集的曝光良好的图像和调整的图像的提取的特征，生成用于训练机器学习模型的训练数据集。调整曝光良好的图像的曝光属性，以形成训练数据集的调整的图像。与调整的图像的提取的特征相关联的校正值被包括在训练数据中。训练神经网络以基于对训练数据集的特征和校正值的分析来准确地调整数字图像的曝光属性。

使用所描述的教导使得计算系统能够实现提高计算效率和处理器利用率。预测模型产生校正值，该校正值被用于自动调整数字图像的曝光值。例如，单个校正值能够被用于修改图像的光度特性以快速且有效地产生曝光良好的捕获图像，或者更改数字相机的曝光特性以快速且有效地产生曝光良好的捕获图像。这种提高数字图像美观性的简化方法尽量减少手动调整图像亮度或图像颜色特性的无关处理。这样减少无关处理会提高计算效率，降低处理器使用，并改善计算机系统本身的整体操作。

在附图以及下面的描述中阐明在本说明书中所述主题的一个或多个实施方式的细节。参阅说明书、附图和权利要求，所述主题的其他特征、方面和优势将显而易见。

附图说明

图1图示出用于调整数字图像的曝光属性的示例计算系统。

图2图示出包括用于调整数字图像的曝光属性的计算功能的逻辑图。

图3是用于调整数字图像的曝光属性的示例过程的流程图。

图4是能够与本说明书中描述的计算机实现的方法结合使用的计算系统的框图。

各图中相似的附图标号和标记指示相似的元素。

具体实施方式

图1图示出用于调整数字图像的曝光属性的示例计算系统100。系统100大体上对应于用户设备102的电路104。用户设备102包括用于捕获数字图像的示例数字相机103。用户设备102能够与诸如蜂窝智能电话、独立相机的电子设备或者包括或结合有数字相机的电子设备相关联。在一些实施方式中，电路104包括用于实现数字相机103的一个或多个电子组件。用户设备102能够至少是智能电话，或者任何已知的计算机系统，诸如桌面型计算机、膝上型计算机、平板设备、移动设备，或者任何其他接收并处理与数字相机相关联的数字图像数据的相关计算设备。

电路104能够包括形成相应计算模块的电子硬件组件。这些模块能够被用于实现控制器105、调整逻辑106、机器学习(ML)系统108、图像传感器112、图像生成器114和图像处理器116。如本说明书中所用，术语“模块”旨在包括但不限于配置为执行一个或多个软件程序的一个或多个计算机，所述一个或多个软件程序包括促使计算机的处理单元/设备执行一项或多项功能的程序代码。术语“计算机”旨在包括任何数据处理或计算设备/系统，诸如桌面型计算机、膝上型计算机、大型计算机、个人数字助理、服务器、手持设备、智能电话、平板型计算机、电子阅读器或者任何其他能够处理数据的电子设备。

控制器105能够包括一个或多个处理器、存储器和数据存储设备，它们共同被用于执行系统100的一个或多个控制功能。控制器105的处理器处理由系统100的组件执行的指令，包括存储在存储器中或存储设备上的指令，以在用户设备102的示例显示器上显示用于图形用户界面(GUI)的图形信息。控制器105提供用于启动或控制ML系统108、图像传感器112、图像生成器114和图像处理器116的相应功能的控制信号。

执行所存储的指令能够促使本文描述的一个或多个动作由系统100、包括下文描述的ML系统108来执行。在其他实施方式中，可以酌情使用多个处理器连同多个存储器和多种存储器类型。例如，系统100可以与多个其他的计算设备连接，其中每个设备(例如，服务器列、服务器组、模块或多处理器系统)执行与本说明书中描述的各种过程或逻辑流程相关联的动作或操作的一部分。

图像传感器112可以被配置为电耦合到用户设备102的示例电路板。图像传感器112可以被包括在电子设备的相机中，该相机也包括用于捕获图像的多个光学元件。例如，数字相机103能够包括形成透镜堆叠的多个光学元件124(例如，透镜)。光学元件124连同图像传感器112被用于基于光线/光波122经由用户设备102捕获图像。例如，光学元件124承担将光波传输到图像传感器112的功能。虽然图1中示出三个光学元件124，但在一些实施方式中，数字相机103能够包括更多或更少的光学元件或透镜。

图像传感器112能够包括电荷耦合器件(CCD)图像传感器、互补型金属氧化物半导体(CMOS)图像传感器、有源像素传感器(APS)图像传感器，N型金属氧化物半导体(NMOS)、它们的组合和/或其他传感器。一般而言，用户设备102使用图像捕获特征和数字相机103的组件来捕获数字图像。特别地，图像传感器112捕获通过光学元件124聚焦的光线122并且将相关联的多像素图像数据(例如，至少1000像素乘1000像素)通信到图像生成器114。图像生成器114接收数字图像数据流并且执行用于处理(例如，压缩或解压缩)图像数据的计算功能，以生成能够数字再现的图像内容。例如，能够生成并提供图像内容，以便经由用户设备102的示例显示屏显示给用户。

图像处理器116能够包括软件指令形式的计算逻辑，用于实现对象识别器118和特征提取器120。识别器118能够分析数字图像以识别或检测图像的对象。例如，数字图像能够包括多个项目或对象，诸如人脸、风景或与图像背景相关联的示例物理构造。在一些实施方式中，识别器118从图像生成器114接收用于生成数字图像的图像像素数据。然后，识别器118能够分析图像像素数据以识别、检测或辨识图像中所包括的特定对象。

响应于分析数字图像，图像处理器116能够使用提取器120基于所分析的图像像素数据来提取数字图像的一个或多个特征。例如，数字图像能够包括属于人脸或风景的所识别的对象。提取器120能够提取与这些所识别的对象中的每个对象相关联的多个特征或像素数据。所提取的特征能够包括由关于数字图像的图像像素数据指示的光度特性或相关的亮度信息。如下详述，数字图像的曝光属性能够包括由图像像素数据的数据值表示的光度特性或相关的亮度信息。图像处理器116能够生成对应于校正值的一个或多个标签，用于指示从数字图像所提取的特征的曝光属性。

机器学习(ML)系统108能够包括由一个或多个处理器微芯片表示的人工神经网络(“神经网络”)。在一些实施方式中，ML系统108被包括在系统100内作为包括至少一个神经网络的硬件电路的子系统。ML系统108的神经网络能够被训练以产生预测模型，该预测模型被配置为自动调整由图像生成器114生成的数字图像的曝光属性。例如，ML系统108的神经网络能够使用存储为训练数据110的数据输入或特征来加以训练。如下详述，用于训练数据110的数据输入能够是从多个征集的图像以及经修改的征集的图像中提取的图像特征。除了神经网络外，其他机器学习技术，诸如回归分析、决策树、统计分析或其他相关技术，也落在本公开的范围内。

如本文所用，曝光是到达电子图像传感器(或摄影胶片)的每单位面积的光的量，例如像面照度×曝光时间。在一些实施方式中，曝光(每单位面积的光的量)能够由快门速度和数字相机103的透镜光圈(未示出)限定的相对开口来确定。在某些情况下，除了快门速度和透镜光圈外，关于数字图像的特定区域的场景光度能够被用于确定数字图像的曝光。控制器105能够确定关于快门速度、透镜光圈和场景光度中的每个的相应参数值。然后，控制器105能够使用相应参数值中的一个或多个来确定或计算表示数字图像的曝光属性的曝光值。

系统100能够包括一个或多个不同和/或并发的操作模式。例如，在一些实施方式中，系统100包括训练模式，在该训练模式下，所提取的特征和相对应的标签数据(校正值)被存储为数据输入或输入特征以形成训练数据110。如下所述，示例神经网络能够使用训练数据110的输入特征来加以训练，以产生预测模型。

预测模型是用于调整数字图像的曝光属性的曝光调整模型。例如，在其他实施方式中，系统100包括运行时模式，在该运行时模式下，ML系统108的曝光调整模型向控制器105提供图像校正值。图像校正值基于所提取的图像特征(例如，关于图像像素亮度、颜色等)来生成并且被用于调整(或校正)数字图像的曝光属性。调整模型实时调整数字图像的亮度，包括颜色、对比度或其他图像特征，以生成与未调整的图像不相关的美观性增强并且更具视觉吸引力的数字图像。

图2图示出引用用于调整数字图像的曝光属性的计算功能和组件的逻辑图。图2的计算功能和组件对应于上述系统100的功能和组件。在一些实施方式中，图2的计算功能和组件使用与系统100通信的示例服务器或基于云的计算系统来实现。如图所示，图2的逻辑图包括示例图像数据处理流程和机器学习处理流程。系统100使用图像数据处理流程来生成用于训练ML系统108的神经网络的训练数据110。系统100使用机器学习处理流程来进行训练神经网络，以生成或产生预测模型，该预测模型确定用于增强数字图像的曝光特性的曝光校正值。

首先涉及图像数据处理，图像存储库202是用于存储多个征集的图像的示例计算机可读存储设备。多个征集的图像中的每个能够是描述为“曝光良好”的数字图像。如本文所用，曝光良好的图像是具有预定义曝光属性或者有助于使图像被感知为具吸引力、具美观性或在视觉上吸引用户的特征的数字图像。

图像存储库202的多个征集的图像能够是在知名媒体出版物中描绘的专业地产生的摄影图像。在一些实施方式中，多个征集的图像形成大型图像集，其包括来自不同作者、不同相机/数字相机的图像并且包括诸多场景和图像样式的视觉效果。例如，征集的图像能够包括场景和样式，诸如肖像、风景、夜间拍摄、水下拍摄或其他相关的内容主题。这些图像中的每个都能够被表征为适当地曝光并且无需任何进一步的曝光调整。

图像选择器204被用于从图像存储库202中所包括的多个征集的图像当中识别并选择特定类型的数字图像。例如，图像选择器204选择提供给图像修改器206的征集的/原始的数字图像(第一图像)的子集。如下所述，修改的图像能够被链接到表征图像修改的范围或程度的对应校正值。在一些实施方式中，图像选择器204选择链接到零校正值或者与零校正值相关联的图像的子集。例如，零校正值能够被链接到征集的第一图像，针对这些征集的第一图像，需要零校正才能由图像修改器206应用过度或反转的修改或调整。图像选择器204选择征集的数字图像的至少一个子集并且提供关于原始的第一图像的子集的图像数据作为对提取与识别逻辑208的输入。

图像修改器206从图像选择器204接收所选择的征集的第一图像的子集并且对每个图像进行曝光修改和调整，以产生一组变化的调整的图像(第二图像)。针对子集中的每个第一图像，图像修改器206能够修改或调整图像的曝光属性或光度特性，以生成数个相关或调整的图像。在一些实施方式中，图像处理器116使用修改器206根据特定的调整幅度来调整图像的光度特性，以形成调整的图像。

例如，图像修改器206通过使对应的源图像(例如，征集的第一图像)变暗或变亮来修改或调整图像的曝光属性或光度。在一些实施方式中，调整图像的光度特性包括生成指示特定调整幅度、例如变亮幅度或变暗幅度的调整值。在一些实施方式中，经调整的第二图像中的每个与能够以F光圈值测量或作为F光圈值乘数的曝光变化相关联。如本文所用，F光圈值能够是用于测量光圈开口的数值(例如，分数)，作为透镜124的焦距的分数。

提取与识别逻辑208对应于上述的提取器120和识别器118。为简洁起见，对提取器120和识别器118的描述能够针对提取与识别逻辑208被引用。如图2所示，逻辑208从图像选择器204和图像修改器206接收图像数据。例如，逻辑208能够接收关于第一图像(未修改的征集的图像)的子集的图像数据和关于第二图像(调整的图像)的子集的图像数据。基于对关于第一图像和第二图像的相应子集的图像数据的分析，逻辑208能够识别图像的一个或多个对象，例如人脸、山脉、森林等。关于检测到的对象中的至少每个，逻辑208针对检测到的图像的对象提取相应的特征集，例如图像像素数据。

例如，逻辑208能够针对各种曝光良好的征集的图像提取第一特征集。曝光良好的第一图像的提取的特征能够包括显示森林和山脉的有吸引力的视觉效果的图像内容。类似地，逻辑208能够针对各种经修改或调整的图像提取第二特征集。经修改或经调整的第二图像的提取的特征能够包括显示森林和山脉的相对缺吸引力的视觉效果的图像内容。因为第二图像由于使图像变暗(“曝光不足”)或变亮(“曝光过度”)的不同调整水平而不能良好曝光，因此视觉上可能不具吸引力。因此，第二提取特征集与需要校正以重新调整图像的曝光属性的图像相关联。

标签/校正逻辑210接收关于相应的第一提取特征集和第二提取特征集的输入数据并且将每个集的提取的特征与标签相关联。例如，逻辑210能够基于对第一集的提取的特征的分析并且基于对第二集的提取的特征的分析来生成表示校正值的标签。使用逻辑210，能够将经修改的第二图像的提取的特征链接到指示或表征对图像的修改幅度的对应校正值。在一些实施方式中，逻辑210基于从图像修改器206接收到的指示对图像的调整幅度的调整值来生成表示校正值的标签。

训练数据生成器212接收提取特征集和对应的校正值作为提取与识别逻辑208的输出并且生成用于训练神经网络的训练数据。在一些实施方式中，数据生成器212基于特定的图像内容、样式或主题来组织并编译各种提取特征集和校正值，以产生不同的训练数据集。例如，数据生成器212能够产生用于训练神经网络以修改或增强人脸图像、室外风景图像或景观山脉图像的曝光属性的数据集。训练数据集被编译并存储在训练数据存储库214中，并且被提供给ML系统108以训练示例性多层神经网络。

ML系统108包括调整模型220、神经网络硬件电路218和训练逻辑216。如上所述，ML系统108能够包括由至少一个硬件电路218表示的人工神经网络。在系统100的训练模式期间，电路218的神经网络能够被训练，以产生由曝光调整模型220表示的预测模型。在一些实施方式中，硬件电路218是具有依序布置的多个计算层的多层神经网络。训练多层神经网络能够包括通过神经网络的层处理提取的特征输入的集合，以计算推论。

调整模型220是配置为执行上文参照图1描述的曝光调整逻辑106的预测模型。在一些实施方式中，曝光调整模型220使用逻辑106来自动调整由图像生成器114生成的数字图像的曝光属性。例如，在系统100的运行时模式期间，数字相机103被用于使用图像传感器112来捕获当前数字图像。当图像传感器112接收穿过透镜124的光波122时，图像生成器114生成提供给图像处理器116的图像数据。对象识别器118识别或辨识一个或多个对象，例如图像中的人脸、山川或深海对象。图像处理器116使用特征提取器120来提取所识别对象的图像像素特征并且将所提取的特征提供给ML系统108的模型220。

模型220接收所提取的特征并且生成提供给控制器105的校正值。校正值被用于调整由图像生成器114产生的图像数据中的特定对象的光度特性。控制器105从模型220接收校正值并且将控制信号提供给图像处理器116以调整曝光属性。例如，基于由模型220生成的校正值，控制信号能够促使图像处理器116调整图像中对象的光度特性。在一些实施方式中，所识别的对象能够是山川的像素特征曝光不足或曝光过度的山脉。图像处理器116能够使相关联的像素变亮或变暗或者调整图像的其他方面，以获得山脉的曝光良好的图像。在一些实施方式中，控制器105使用来自模型220的校正值来调整图像数据的其他特性，诸如颜色或对比度。

如上所述，系统100使用图像数据处理流程来生成存储在数据存储库214中的训练数据集，用于训练ML系统108的神经网络。在一些实施方式中，图像数据处理流程由与系统100通信的示例服务器或基于云的计算系统执行。例如，服务器系统能够执行图像数据处理流程以生成用于训练示例神经网络的训练数据。服务器系统使用训练数据110训练神经网络，基于经训练的神经网络来产生预测模型，并且将预测模型提供给系统100以便在运行时操作模式下执行。

ML系统108能够被训练以预测产生曝光良好的图像所需的生成图像的曝光变化。例如，系统108的神经网络能够仅鉴于输入图像特征集而做出这个预测。在一些实施方式中，特征集能够是光度直方图，例如，作为更简单的逼近，Y＝0.2126R+0.7152G+0.0722B或者Y＝(R+2G+B)/4。在一些实施方式中，对神经网络的输入能够是示例光度直方图，诸如完整的256-bin直方图以及较小的直方图，包括8-bin直方图。一般而言，用于训练神经网络的输出是以F光圈值应用于数字图像的曝光校正。例如，一个F光圈值能够对应于在图像亮度或光度中的两个变化的因素。

在一些实施方式中，所描述的曝光调整算法被整合到更大的曝光校正架构中。该架构能够考虑附加因素，以进一步优化为生成曝光良好的图像而生成曝光值。例如，附加因素能够包括：i)测光模式，例如点测光、中央区域测光、中央加权区域测光和矩阵测光，以确定特定的感兴趣区域；ii)内容相关的曝光补偿，例如基于具体的特征识别，诸如皮肤、天空或草地，针对场景中感兴趣的特征优化曝光值；以及iii)多帧图像采集，以增强动态范围。

图3是用于调整数字图像的曝光属性的示例过程300的流程图。过程300能够使用上述系统来实现或执行。因此，对过程300的描述可以参考上述系统100、ML系统108或其他示例服务器/基于云的计算系统的计算资源中的一个或多个。在一些实施方式中，所描述的过程300的动作是通过可由本文所述系统的一个或多个处理设备和存储器执行的计算逻辑或编程指令来启动。

在过程300的框302，系统100接收均具有预定义曝光属性的多个图像。基于图像的预定义曝光属性，能够将多个图像中的每个表征为曝光良好的征集的图像。在过程300的框304，系统100的特征提取器提取图像的特征以形成第一提取特征集。例如，特征提取器120能够从具有预定义曝光属性的多个曝光良好的图像的每个图像中提取的特征。在一些实施方式中，特征提取器120提取一个或多个特征，这些特征对应于由识别器118识别的图像的对象，例如人脸或森林中的树木。

在框306，图像处理器116将第一特征集与指示无需修改图像的标签相关联。在一些实施方式中，将第一提取特征集与标签相关联包括生成零校正值，该零校正值指示无需修改或校正所提取的图像特征。在过程300的框308，图像处理器116使用图像修改器206根据特定的调整幅度来调整图像的光度特性，以形成调整的图像。在一些实施方式中，调整图像的光度特性包括生成指示特定调整幅度的调整值。

在框310，特征提取器208提取调整的图像的第二特征集。在一些实施方式中，提取调整的图像的第二特征集包括生成对应的校正值，该校正值指示反转调整光度特性所需的校正量。在一些情况下，所生成的指示调整幅度的调整值能够是校正值的倒数。

在过程300的框312，系统100包括训练模式，在该训练模式下，训练ML系统108的神经网络218以自动调整图像的光度特性。例如，使用曝光良好的征集的图像的第一提取特征集和调整的图像的第二提取特征集来加以训练神经网络218。在系统100的运行时模式期间，系统使用曝光调整模型220的经训练的神经网络218基于由调整模型220生成的校正值来调整图像的光度特性。在运行时模式下，模型220接收来自当前图像的提取的特征并且基于对当前图像的特征的分析来生成校正值。在一些实施方式中，调整图像的光度特性包括使用图像生成器114来生成当前图像并且基于由模型220确定的校正值来调整当前图像的光度特性。

图4是可以作为客户端或者作为一个服务器或多个服务器用于实现本文所述的系统和方法的计算设备400、450的框图。计算设备400意图表示各种形式的数字计算机，诸如膝上型计算机、桌面型计算机、工作站、个人数字助理、服务器、刀片服务器、主机以及其他适当的计算机。计算设备450意图表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话、智能手表、头戴式设备以及其他类似的计算设备。在此所示的组件、它们的连接和关系以及它们的功能意在仅为示例性，而非意在限制本文所述和/或所要求保护的实施方式。

计算设备400包括处理器402、存储器404、存储设备406、连接至存储器404和高速扩展端口410的高速接口408以及连接至低速总线414和存储设备406的低速接口412。组件402、404、406、408、410和412中的每个使用各种总线互联，并且可以被安装在公共母板上或者酌情以其他方式安装。处理器402能够处理用于在计算设备400内执行的指令，包括存储在存储器404中或者存储设备406上的指令，以对诸如耦合至高速接口408的显示器416的外部输入/输出设备上的GUI显示图形信息。在其他实施方式中，可以酌情使用多个处理器和/或多个总线与多个存储器和存储器类型。此外，可以连接多个计算设备400，每个设备提供所需操作的多个部分(例如，服务器列、刀片服务器组或者多处理器系统)。

存储器404存储计算设备400内的信息。在一个实施方式中，存储器404是计算机可读介质。在一个实施方式中，存储器404是一个或多个易失性存储器单元。在另一个实施方式中，存储器404是一个或多个非易失性存储器单元。

存储设备406能够为计算设备400提供大容量存储。在一个实施方式中，存储设备406是计算机可读介质。在各种不同的实施方式中，存储设备406可以是硬盘设备、光盘设备或者磁带设备、闪速存储器或者其他类似的固态存储器设备、或者设备的阵列，包括存储区域网络或者其他配置中的设备。在一个实施方式中，计算机程序产品有形地体现于信息载体中。计算机程序产品包含指令，所述指令当被执行时执行一个或多个方法，诸如上述那些方法。信息载体是计算机或机器可读介质，诸如存储器404、存储设备406或者处理器402上的存储器。

高速控制器408管理用于计算设备400的带宽密集(bandwidth intensive)操作，而低速控制器412管理较低的带宽密集操作。这样的职责分配仅为示例性。在一个实施方式中，高速控制器408耦合至存储器404、显示器416(例如，通过图形处理器或者加速器)以及可以接受各种扩展卡(未示出)的高速扩展端口410。在该实施方式中，低速控制器412耦合至存储设备406和低速扩展端口414。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合至一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪或者诸如通过例如网络适配器的交换机或者路由器的联网设备。

如图所示，计算设备400可以通过数种不同的形式来实现。例如，它可以被实现为标准服务器420或者这样的服务器组中多次。它还可以被实现为架式(rack)服务器系统424的一部分。此外，它可以被实现在诸如膝上型计算机422的个人计算机中。替选地，来自计算设备400中的组件可以与诸如设备450的移动设备(未示出)中的其他组件组合。这样的设备中的每一个可以包含计算设备400、450中的一个或多个，并且整个系统可以由彼此通信的多个计算设备400、450组成。

计算设备450除其他组件外还包括处理器452、存储器464、诸如显示器454的输入/输出设备、通信接口466以及收发器468。设备450也可以设置有用于提供附加存储的存储设备，诸如微驱动器或者其他设备。组件450、452、464、466和468中的每个使用各种总线互联，并且组件中的几个可以被安装在公共母板上或者酌情以其他方式安装。

处理器452能够处理用于在计算设备450内执行的指令，包括存储在存储器464中的指令。处理器也可以包括分立的模拟和数字处理器。例如，处理器可以提供与设备450的其他组件的协作，诸如用户界面的控制、通过设备450运行的应用以及通过设备450的无线通信。

处理器452可以通过控制接口458以及耦合至显示器454的显示器接口456与用户通信。例如，显示器454可以是TFT LCD显示器或OLED显示器或者其他适当的显示技术。显示器接口456可以包括用于驱动显示器454以将图形信息和其他信息呈现给用户的适当电路。控制接口458可以从用户接收命令并且将它们进行变换以便提交给处理器452。此外，可以提供外部接口462与处理器452通信，以便启用设备450与其他设备的邻近区域通信。例如，外部接口462可以提供有线通信(例如，经由对接过程)或者无线通信(例如，经由蓝牙或其他这类技术)。

存储器464存储计算设备450内的信息。在一个实施方式中，存储器464是计算机可读介质。在一个实施方式中，存储器464是一个或多个易失性存储器单元。在另一个实施方式中，存储器464是一个或多个非易失性存储器单元。也可以提供扩展存储器474，并且通过扩展接口472将其连接至设备450，例如，该扩展接口可以包括SIMM卡接口。这样的扩展存储器474可以提供用于设备450的额外存储空间，或者也可以存储用于设备450的应用或其他信息。具体地，扩展存储器474可以包括用于实行或者补充上述过程的指令，并且也可以包括安全信息。因此，例如，扩展存储器474可以被提供为用于设备450的安全模块，并且可以用允许安全使用设备450的指令来进行编程。此外，可以经由SIMM卡提供安全应用连同附加信息，诸如，以不可破解(non-hackable)的方式将识别信息置于SIMM卡上。

存储器例如可以包括闪速存储器和/或MRAM存储器，如下文所讨论。在一个实施方式中，计算机程序产品有形地体现于信息载体中。计算机程序产品包含指令，所述指令当被执行时执行一个或多个方法，诸如上述那些方法。信息载体是计算机或机器可读介质，诸如存储器464、扩展存储器474或者处理器452上的存储器。

设备450可以通过通信接口466进行无线通信，该通信接口必要时可以包括数字信号处理电路。通信接口466可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。例如，这样的通信可以通过射频收发器468来发生。此外，可以发生近程通信，诸如使用蓝牙、WiFi或者其他这样的收发器(未示出)。此外，GPS接收器模块470可以将额外的无线数据提供给设备450，其可以酌情供设备450上运行的应用使用。

设备450还可以使用音频编解码器460来进行可听通信，该音频编解码器可以从用户接收口语信息并且将其变换为可用的数字信息。音频编解码器460同样可以为用户生成可听声音，诸如通过扬声器，例如，在设备450的手持机中。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且也可以包括通过在设备450上操作的应用所生成的声音。

如图所示，计算设备450可以通过数种不同的形式来实现。例如，它可以被实现为蜂窝电话480。它也可以被实现为智能电话482、个人数字助理或者其他类似移动设备的一部分。

本文所述的系统和技术的各种实施方式可以在数字电子线路、集成电路、专门设计的ASIC、计算机硬件、固件、软件和/或其组合中来实现。这些各种实施方式可以包括可编程系统上的可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括被耦合以从其接收数据和指令并且向其发送数据和指令的、可以是专用或通用的至少一个可编程处理器、存储系统、至少一个输入设备以及至少一个输出设备。

这些计算机程序(又称程序、软件、软件应用或者代码)包括用于可编程处理器的机器指令，并且能够以高级程序语言和/或面向对象的编程语言和/或汇编/机器语言来实现。程序能够被存储在保存其他程序或数据的文件的一部分中，例如，一个或多个脚本被存储在标记语言文档中、专用于上述程序的单个文件中或者多个协同文件中，例如，存储一个或多个模块、子程序或代码部分的文件。计算机程序能够被部署成在一台计算机上或者位于一个站点或跨多个站点分布并通过通信网络互联的多台计算机上执行。

如本文中所用，术语“机器可读介质”、“计算机可读介质”是指用于将机器指令和/或数据提供给可编程处理器的任意计算机程序产品、装置和/或设备，例如磁盘、光盘、存储器、可编程逻辑设备(PLD)，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于将机器指令和/或数据提供给可编程处理器的任意信号。

为提供与用户的交互，本文所述的系统和技术能够在计算机上来实现，该计算机具有用于将信息显示给用户的显示设备，例如CRT(阴极射线管)或者LCD(液晶显示器)监视器，以及用户能够借以向计算机提供输入的键盘和定点设备，例如鼠标或跟踪球。其他种类的设备也能够被用于提供与用户的交互；例如，提供给用户的反馈能够是任何类型的感觉反馈，例如，视觉反馈、听觉反馈或者触觉反馈；并且来自用户的输入能够以任何形式来接收，包括声音、语音或者触觉输入。

本文所述的系统和技术能够在包括后端组件(例如作为数据服务器)、包括中间件组件(诸如应用服务器)、包括前端组件(诸如具有用户能够借以与本文所述的系统和技术的实施方式交互的图形用户界面或者web浏览器的客户端计算机)或者这样的后端、中间件或前端组件的任意组合的计算系统中来实现。系统的组件能够通过数字数据通信的任何形式或者媒介来互联，诸如通信网络。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)以及因特网。

计算系统能够包括客户端以及服务器。客户端与服务器一般彼此远离，并且通常通过通信网络来进行交互。客户端与服务器的关系借助在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序来实现。

进一步就以上描述而言，可以为用户提供控件，这些控件允许用户选出本文描述的系统、程序或特征是否且何时可以启动收集用户信息(例如，关于用户社交网络、社交动作或活动、职业、用户偏好或用户当前位置的信息)以及是否从服务器向用户发送内容或通信。此外，某些数据可以在其被存储或使用之前以一种或多种方式进行处理，以便删除个人身份信息。

例如，在一些实施例中，用户的身份可以被处理成不能针对该用户确定任何个人可识别信息，或者在获得位置信息的情况下，用户的地理位置可以被概括化(诸如城市、邮政编码或州级)，以便无法确定用户的特定位置。因此，用户可以控制关于用户收集哪些信息、如何使用该信息以及向用户提供哪些信息。

本文描述了数个实施例。但可以理解，在不脱离本发明的精神和范围的情况下，可以作出各种修改。例如，可以使用上文所示的各种形式的流程，并对步骤进行重新排序、添加或删除。相应地，其他实施例落入所附权利要求的范围内。本文描述了所述主题的特定实施例。其他实施例落入所附权利要求的范围内。例如，能够以不同的次序来执行权利要求中记载的动作并且仍达成期望的结果。作为一个示例，附图中描绘的过程并非必然要求所示的特定次序或顺序来达成期望的结果。在一些情况下，多任务和并行处理可以是有利的。

Claims (20)

1.一种用于数字图像的自动曝光调整的计算机实现的方法，所述方法包括：

在计算系统处接收均具有预定义曝光属性的多个图像；

针对具有预定义曝光属性的所述多个图像中的每个图像：

通过所述计算系统的特征提取器提取所述图像的第一特征集；以及

通过所述计算系统的图像处理器将所述第一特征集与指示无需修改所述图像的标签相关联；

针对具有所述预定义曝光属性的所述多个图像中的一个或多个图像中的每个图像：

生成需要修改所述图像的调整的图像集，包括通过所述图像处理器根据特定的调整幅度来调整所述图像的光度特性，以形成调整的图像；

通过所述特征提取器提取所述调整的图像的第二特征集；以及

通过所述计算系统的所述图像处理器将所述第二特征集与指示需要反转所述特定的调整幅度的标签相关联；

训练机器学习系统的神经网络，以确定用于调整图像的光度特性的校正值，所述神经网络使用具有所述预定义曝光属性的所述多个图像的第一特征集和需要修改所述图像的所述调整的图像集的第二特征集来进行训练；以及

通过所述机器学习系统的曝光调整模型基于使用所述神经网络所确定的校正值来调整图像的光度特性。

2.根据权利要求1所述的方法，其中，将所述第一特征集与标签相关联包括：

生成指示无需修改所述图像的零校正值。

3.根据权利要求1所述的方法，其中，提取所述图像的第一特征集和所述调整的图像的第二特征集包括：

通过所述计算系统的对象识别器识别数字图像中所包括的一个或多个对象；以及

响应于识别所述一个或多个对象，提取与一个或多个所识别的对象相关联的一个或多个特征。

4.根据权利要求1所述的方法，其中，提取所述调整的图像的第二特征集包括：

至少部分地基于所述调整的图像来生成校正值，所述校正值指示对所述光度特性进行反转调整的校正量。

5.根据权利要求4所述的方法，其中，调整所述图像的光度特性包括生成指示所述特定的调整幅度的调整值。

6.根据权利要求5所述的方法，其中，指示所述特定的调整幅度的所述调整值是所述校正值的倒数。

7.根据权利要求1所述的方法，其中，训练所述神经网络以调整图像的光度特性包括：

生成曝光调整模型以调整至少包括特定图像的光度特性的曝光属性，所述曝光调整模型是使用所述机器学习系统的经训练的神经网络来生成的。

8.根据权利要求7所述的方法，其中，调整图像的光度特性包括：

使用用于用户设备的数字相机的电路来至少生成所述特定图像，所述特定图像对应于由所述数字相机的图像生成器产生的当前图像；以及

基于由所述曝光调整模型提供的校正值，调整所述当前图像的光度特性。

9.一种用于数字图像的自动曝光调整的电子系统，包括：

一个或多个处理设备；

一个或多个非暂时性机器可读存储设备，用于存储可由所述一个或多个处理设备执行以促使执行操作的指令，所述操作包括：

接收均具有预定义曝光属性的多个图像；

针对具有所述预定义曝光属性的多个图像中的每个图像：

通过特征提取器提取所述图像的第一特征集；以及

通过图像处理器将所述第一特征集与指示无需修改所述图像的标签相关联；

针对具有所述预定义曝光属性的所述多个图像中的一个或多个图像中的每个图像：

生成需要修改所述图像的调整的图像集，包括通过所述图像处理器根据特定的调整幅度来调整所述图像的光度特性，以形成调整的图像；

通过所述特征提取器提取所述调整的图像的第二特征集；以及

通过所述图像处理器将所述第二特征集与指示需要反转所述特定的调整幅度的标签相关联；

训练机器学习系统的神经网络，以确定用于调整图像的光度特性的校正值，所述神经网络使用具有所述预定义曝光属性的所述多个图像的第一特征集和需要修改所述图像的所述调整的图像集的第二特征集来进行训练；以及

通过所述机器学习系统的曝光调整模型，基于使用所述神经网络所确定的校正值来调整图像的光度特性。

10.根据权利要求9所述的电子系统，其中，将所述第一特征集与标签相关联包括：

生成指示无需修改所述图像的零校正值。

11.根据权利要求9所述的电子系统，其中，提取所述图像的第一特征集和所述调整的图像的第二特征集包括：

通过对象识别器识别数字图像中所包括的一个或多个对象；以及

响应于识别所述一个或多个对象，提取与一个或多个所识别的对象相关联的一个或多个特征。

12.根据权利要求9所述的电子系统，其中，提取所述调整的图像的第二特征集包括：

至少部分地基于所述调整的图像来生成校正值，所述校正值指示对所述光度特性进行反转调整的校正量。

13.根据权利要求12所述的电子系统，其中，调整所述图像的光度特性包括生成指示所述特定的调整幅度的调整值。

14.根据权利要求13所述的电子系统，其中，指示所述特定的调整幅度的调整值是所述校正值的倒数。

15.根据权利要求9所述的电子系统，其中，训练所述神经网络以调整图像的光度特性包括：

生成曝光调整模型以调整至少包括特定图像的光度特性的曝光属性，所述曝光调整模型是使用所述机器学习系统的经训练的神经网络来生成的。

16.根据权利要求15所述的电子系统，其中，调整图像的光度特性包括：

使用用于用户设备的数字相机的电路来至少生成所述特定图像，所述特定图像对应于由所述数字相机的图像生成器产生的当前图像；以及

基于由所述曝光调整模型提供的校正值，调整所述当前图像的光度特性。

17.一个或多个非暂时性机器可读介质，用于存储可由一个或多个处理设备执行以促使执行操作的指令，所述操作包括：

在计算系统处接收均具有预定义曝光属性的多个图像；

针对具有所述预定义曝光属性的所述多个图像中的每个图像：

通过所述计算系统的特征提取器提取所述图像的第一特征集；以及

通过所述计算系统的图像处理器将所述第一特征集与指示无需修改所述图像的标签相关联；

针对具有所述预定义曝光属性的所述多个图像中的一个或多个图像中的每个图像：

生成需要修改所述图像的调整的图像集，包括通过所述图像处理器根据特定的调整幅度来调整所述图像的光度特性，以形成调整的图像；

通过所述特征提取器提取所述调整的图像的第二特征集；以及

通过所述计算系统的所述图像处理器将所述第二特征集与指示需要反转所述特定的调整幅度的标签相关联；

训练机器学习系统的神经网络，以确定用于调整图像的光度特性的校正值，所述神经网络使用具有所述预定义曝光属性的所述多个图像的第一特征集和需要修改所述图像的所述调整的图像集的第二特征集来进行训练；以及

通过所述机器学习系统的曝光调整模型，基于使用所述神经网络所确定的校正值来调整图像的光度特性。

18.根据权利要求17所述的一个或多个非暂时性机器可读介质，其中，将所述第一特征集与标签相关联包括：

生成指示无需修改所述图像的零校正值。

19.根据权利要求17所述的一个或多个非暂时性机器可读介质，其中，提取所述图像的第一特征集和所述调整的图像的第二特征集包括：

通过所述计算系统的对象识别器识别数字图像中所包括的一个或多个对象；以及

响应于识别所述一个或多个对象，提取与一个或多个所识别的对象相关联的一个或多个特征。

20.根据权利要求17所述的一个或多个非暂时性机器可读介质，其中，提取所述调整的图像的第二特征集包括：

至少部分地基于所述调整的图像来生成校正值，所述校正值指示对所述光度特性进行反转调整的校正量。

Images