CN109478316B - 实时自适应阴影和高光增强 - Google Patents

实时自适应阴影和高光增强 Download PDF

Info

Publication number
CN109478316B
CN109478316B CN201680088054.5A CN201680088054A CN109478316B CN 109478316 B CN109478316 B CN 109478316B CN 201680088054 A CN201680088054 A CN 201680088054A CN 109478316 B CN109478316 B CN 109478316B
Authority
CN
China
Prior art keywords
image
iso
noise
input image
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680088054.5A
Other languages
English (en)
Other versions
CN109478316A (zh
Inventor
袁路
S·B·康
C·A·沙阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109478316A publication Critical patent/CN109478316A/zh
Application granted granted Critical
Publication of CN109478316B publication Critical patent/CN109478316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

“自适应曝光校正器”对个体图像或任意长度的图像序列执行自动实时曝光校正。“曝光校正”在本文中被限定为对图像的阴影、高光、高频特征和颜色饱和度的任何组合的自动调整或校正。自适应曝光校正器通过各种噪声知晓图像处理函数的曝光校正，基于图像ISO和相机ISO能力以及相机噪声特性输出感官上改善的图像。初始校准过程使这些噪声知晓图像处理函数适用于特定相机型号和类型的噪声特性以及特定相机ISO设置。更具体而言，此校准过程预计算噪声知晓缩放函数(NASF)和颜色标量函数(CSF)。NASF和CSF然后被应用以调适各种图像处理函数，随后应用这些图像处理函数以在图像被捕捉时对这些图像执行实时噪声知晓曝光校正。

Description

实时自适应阴影和高光增强
技术领域
本发明涉及图像处理领域。
背景技术
图像的曝光过度或曝光不足是决定照片或图像的质量时经常被考虑的因素。这些类型的曝光问题通常是通过为高动态范围成像捕捉场景的一组两个或更多个包围感光(bracketed)图像并然后应用结果数据来校正或调整包围感光图像中的一个或多个的图像曝光来解决。但是，对于大多数相机，默认情况下只捕捉单个图像。在单个图像捕捉的情况下，自动曝光校正方法包括诸如手动用户调整、自动直方图拉伸、基于S曲线的曝光调整、基于机器学习的校正(基于图像数据库中类似图像的外观调整图像曝光)等技术。然而，此类方法往往会放大噪声和/或产生不良影响，诸如作为曝光校正处理的副产品的图像中的颜色偏移和对比度损失。
发明内容
提供下面的概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。进而，尽管本文中可能讨论了其他技术的某些缺点，然而所要求保护的主题不旨在限于可解决或针对那些其他技术中的任何或全部缺点的实现。本概述唯一的目的是以简化的形式呈现所要求保护的主题的某些概念，作为下文呈现的比较详细的描述的前奏。
一般而言，如本文所描述的“自适应曝光校正器”提供用于对个体图像、突发捕捉图像或任意长度的视频序列(因为这些帧是由静态或视频相机所捕捉的)执行全自动实时曝光校正的各种技术。可用自适应曝光校正器操作的相机型号或类型的示例包括但不限于，单独的数字相机、集成或耦合到平板，笔记本或台式计算机的相机、集成到移动电话类型设备的相机、数字视频相机等。本文所使用的术语“曝光校正”被限定为对图像阴影、图像高光、高频图像特征和图像颜色饱和度的任何组合的自动调整或校正。
自适应曝光校正器通过调整图像阴影、高光和/或颜色饱和度，以平衡图像噪声增强和图像细节增强的方式，根据图像ISO和相机ISO能力以及相机噪声特性输出感知上改善的图像。通常，这种自动曝光校正是在图像被捕捉时通过应用相机内或耦合至相机的计算能力以便将噪声知晓函数应用于捕捉到的图像来被实时执行的。然而，自适应曝光校正器也可作为离线程序来执行自动曝光校正以对先前捕捉到的图像和图像序列进行后处理。
在各种实现中，每个相机型号或类型的噪声知晓缩放函数(NASF)是通过针对每个相机计算的噪声级函数(NLF)以及从以每个相机的每个ISO范围捕捉的多个曝光调整的图像示例的集合中人工选择的偏好图像的组合而预计算出来的。类似地，每个相机型号或类型的可选预计算的颜色标量函数(CSF)是通过相机ISO特征和从以每个相机的每个ISO范围捕捉的多个颜色饱和度调整的图像示例的集合中人工选择的偏好图像的组合而计算出来的。
与特定相机型号或类型对应的NASF和可选CSF然后被应用以便调适或修改各种曝光校正函数，包括但不限于直方图拉伸函数、S曲线参数估计函数、细节融合函数和颜色饱和度函数。针对这些函数的基于噪声和基于ISO的修改或调适产生了噪声知晓曝光函数的集合，该噪声知晓曝光函数适用于特定相机的噪声特性和由这些相机捕捉特定图像所用的ISO。所得的噪声知晓函数可然后被用于每个对应的相机型号或类型内的计算能力或耦合至每个对应的相机型号或类型的计算能力以供实时曝光校正操作。
例如，在图像捕捉之后，通过将(基于预计算NASF的)噪声知晓直方图拉伸过程应用于该图像来实现该图像的自动直方图拉伸。该噪声知晓直方图拉伸过程然后基于特定相机的噪声特性和用于捕捉图像的ISO来输出该输入图像的经直方图拉伸的版本。此噪声知晓直方图拉伸过程的输出然后被提供给基于区块(zone)的色调映射过程，该过程根据对应的NASF来估计基于区块或基于区域的色调映射S曲线的参数。所得的噪声知晓S曲线然后被应用于经直方图拉伸的图像以执行曝光调整。在各种实现中，NASF还被应用于修改从原始输入图像中提取的高频细节。这些经修改的高频细节然后与从噪声知晓的基于S曲线的曝光调整所得的图像相融合。
所得的图像可随后被提供为初始输出图像。然而，在各种实现中，通过应用噪声知晓颜色饱和度补偿函数(CSCF)进一步调整初始输出图像的颜色饱和度，该函数已经由CSF适用于捕捉相机的噪声和ISO特性。所得的图像然后被提供为最终输出图像。有利的是，从最初捕捉图像帧的点到生成最终输出图像的点的所有这些操作都实时发生，而无需用户干预或与自适应曝光校正器交互。
本文描述的自适应曝光校正器提供用于在静态或视频相机捕捉各个体图像时对各个体图像执行全自动实时曝光校正的各种技术。除了上述益处之外，自适应曝光校正器的其他优点将从下文的详细描述中变得显而易见。
附图说明
参考以下描述、所附权利要求书以及附图，将更好地理解所要求保护的主题的具体特征、方面和优点，附图中：
图1提供了一示例性体系结构流程图，该流程图例示了用于实现本文所描述的“自适应曝光校正器”的各种实现的程序模块。
图2提供了一示例性体系结构流程图，该流程图例示了用于实现本文所描述的自适应曝光校正器的各种实现的程序模块。
图3示出了一总系统流程图，该总系统流程图例示了用于实现本文所描述的自适应曝光校正器的各种实现的示例性技术。
图4示出了一总系统流程图，该总系统流程图例示了用于实现本文所描述的自适应曝光校正器的各种实现的示例性技术。
图5示出了一总系统流程图，该总系统流程图例示了用于实现本文所描述的自适应曝光校正器的各种实现的示例性技术。
图6是一总系统图，该总系统图描绘了具有用于实现本文所描述的自适应曝光校正器的各种实现的简化计算和I/O能力的简化通用计算设备。
具体实施方式
在对“自适应曝光校正器”的各种实现的以下描述中，对附图进行了参考，附图构成了实施例的一部分且在其中作为说明示出了可在其中实践自适应曝光校正器的各具体实现。可以使用其他实现并且可以做出结构改变而不背离其范围。
将使用具体术语来描述本文描述的各种实现，但这并不意味着这些实现被限制于所选择的具体术语。此外，应当理解的是，每个具体术语包括以宽泛地类似方式工作以实现类似目的的所有其技术等同物。本文所提及的“一个实现”、或“另一实现”、或“示例性实现”、或“替代实现”或类似的短语，意味着结合实现描述的特定特征、特定结构或特定特性可被包括在自适应曝光校正器的至少一个实现中。进而，在整个说明书中，此类短语的出现并不一定都指向同一个实现，并且单独的或替代实现并不相互排斥其他实现。本文所描述或例示的用于表示自适应曝光校正器的一个或多个实现的任何工艺流程的顺序并不内在地指示要求按照所描述或例示的顺序实施工艺，并且本文所描述或例示的用于任何工艺流程的任何此类顺序并不意味着对自适应曝光校正器的任何限制。
如本文中所使用的，术语“组件”、“系统”、“客户端”等旨在指代计算机相关的实体，它们可以是硬件、(例如，执行中的)软件、和/或固件，或其组合。例如，组件可以是，在处理器上运行的进程、对象、可执行码、程序、函数、库、子例程、计算机，或软件和硬件的组合。作为例示，在服务器上运行的应用和该服务器两者都可以是组件。一个或多个组件可留驻在进程内，并且组件可位于一个计算机上和/或分布在两个或更多个计算机之间。术语“处理器”一般被理解成指代硬件组件，诸如计算机系统的处理单元。
而且，就术语“包括”、“含有”、“具有”、“包含”及其变型在详细描述或权利要求书中的使用而言，为避免疑惑，这些术语旨在以类似于术语“包括”作为开放的过渡词的方式解释而不排除任何附加或其它元素。
1.0介绍：
一般而言，“自适应曝光校正器”提供用于在静态或视频相机捕捉各个体输入图像时对各个体输入图像执行全自动实时曝光校正的各种技术。这些输入图像可以是黑白图像、彩色图像、棕褐色调图像、应用了附加色调类型的图像、任何期望颜色空间内的图像、以及具有任何期望比特深度的图像。可用自适应曝光校正器操作的相机型号或类型的示例包括但不限于，孤立数字相机、集成或耦合到平板，笔记本或台式计算机的相机、集成到移动电话类型设备的相机、数字视频相机等。
更具体而言，自适应曝光校正器对各个体图像和任意长度的图像或视频序列执行自动实时曝光校正。术语“曝光校正”在本文中被限定为对图像的阴影、高光、高频特征和颜色饱和度的任何组合的自动调整或校正。自适应曝光校正器通过经由组合噪声知晓曝光函数执行图像曝光校正，以平衡图像噪声增强和图像细节增强的方式，输出基于图像ISO和相机ISO能力和噪声特性的感知上改善的图像。此曝光校正通过应用已基于预计算的噪声知晓缩放函数(NASF)和/或颜色标量函数(CSF)进行调适或修改的曝光函数来调适或以其他方式调整每个图像帧。通常，这种自动曝光校正是在图像被捕捉时通过应用相机内或耦合至相机的计算能力来被实时(例如，通常小于一秒)执行的。进而，自适应曝光校正器还可作为离线实现来操作以便在捕捉之后的任何时间对先前捕捉到的图像进行后处理。
1.1系统概览：
如上文所描述的，自适应曝光校正器提供用于在静态或视频相机捕捉各个体图像时对各个体图像执行全自动实时曝光校正的各种技术。以上概述的过程由图1和图2的总系统图例示。具体而言，图1和图2的系统图例示了用于实现本文所描述的自适应曝光校正器的各种实现的程序模块之间的相互关系。此外，尽管图1和图2的系统图例示了自适应曝光校正器的各种实现的高级视图，但图1和图2不旨在提供在本文通篇描述的自适应曝光校正器的每一可能实现的穷尽或全面例示。
另外，图1或图2中由断线或虚线所表示的任何框和各框之间的互连表示本文中所描述的自适应曝光校正器的替代实现，并且如下文所述，这些替代实现中的任一个或全部可以结合在本文通篇描述的其他替代实现来使用。
例如，如图1所例示的，在各种实现中，自适应曝光校正器通过使用多个不同的相机100型号和/或类型以捕捉在各种照明条件下的校准目标或静态场景105的大量图像来开始计算上文描述的NASF的过程。更具体而言，每个特定相机100型号或类型以特定相机的多个ISO设置中的每一个ISO设置捕捉校准目标或静态场景105的大量图像。所得的是每个相机100的单独的图像集合110，对每个ISO而言，每个单独的图像集合110包括校准目标或静态场景105的大量图像。然后，基于由不同型号或类型的相机100捕捉的图像，针对每个不同型号或类型的相机100和每个ISO计算不同的NASF和CSF集合。因此，为了清楚起见，以下讨论通常将涉及针对单个相机的这些集合的计算。
基于包括但不限于相机ISO设置、照明条件、光学或数字变焦等的特性，由相机100为填充图像集合110而捕捉的每个图像都将包括一些量的噪声。由相机100从校准目标或静态场景105捕捉到的所得的噪声图像集合110然后被提供给图像清洁模块115。图像清洁模块115为由相机100以此对校准目标或静态场景105进行成像的每个ISO生成或以其他方式估计单个“干净”图像(例如，较少噪声)。在各种实施例中，通过对在每个特定ISO设置处捕捉的校准目标或静态场景105的图像求平均来为每个相机100ISO设置产生干净图像。例如，假设相机100在为800的ISO设置处捕捉了25个图像，则可通过图像清洁模块115对所有该25个图像进行对准和求平均以产生干净图像。可由图像清洁模块115调适以生成此干净图像的其他技术包括但不限于基于中值混合的技术、多图像超分辨率处理技术、各种滤波技术等。
给定每个相机ISO设置的单个干净图像以及在每个ISO处的该相同图像的多个噪声版本的对应集合110，由NLF估计模块120估计噪声级函数(NLF)。换言之，在各种实现中，NLF估计模块120根据来自图像集合110的多个对应图像对和对应的干净图像来估计针对相机100的每个ISO的单独的NLF。例如，假设相机100在为800的ISO设置处捕捉了25个图像，则这些图像中的所有25个都可与对应的干净图像单独地配对以提供可被联合地处理以估计针对该相机的ISO 800的NLF的25个单独的数据点。以类似方式处理相机100的每个ISO的每个图像集合产生各相机NLF集合125，该各相机NLF集合125覆盖由相机以此捕捉的校准目标或静态场景105的所有ISO设置。进而，对于除了被用于捕捉校准目标或静态场景105的那些相机之外的相机100的ISO设置，经计算的各相机NLF集合125可被内插或外推以生成用于那些附加ISO设置的附加NLF集合。
在单独的相关过程中，针对每个相机100的多个ISO设置中的每一个生成各相机α(ISO)集合140(也在本文中被称为“阿尔法函数”)。一般而言，针对相机100的多个ISO设置中的每一个，专家/群组图像偏好模块135被用于接收来自人类观察者(包括各个体成像专家、成像专家的群组、个体用户、和/或用户的群组)的输入作为来自图像集合130中该图像的多个实例的ISO设置的特定图像的偏好实例。
换言之，特定图像由特定相机以特定ISO捕捉。然后使用任何期望的图像处理技术来处理该图像，以提供大量不同的曝光调整和可选颜色饱和度调整。针对每个相机100的多个ISO设置中的每一个ISO设置的所得的图像集合130然后经由专家/群组图像偏好模块135或其他呈现机制或众包(crowd-sourcing)过程被呈现给人类观察者。对于相机100的多个ISO设置中的每一个，这些人类观察者然后对单个偏好图像进行选择。因此，假设使用例如10个不同的ISO设置，对单个偏好图像的10个对应的选择将经由专家/群组图像偏好模块135为相机100作出。基于对人类观察者选择的偏好图像进行的曝光调整，为对应的相机100计算上述各相机α(ISO)集合140。
对于不同型号或类型的相机100中的每一个，对应的各相机NLF集合125和对应的各相机α(ISO)集合140两者然后被提供给NASF计算模块145。一般而言，对于不同型号或类型的相机100中的每一个，NASF计算模块145根据对应的各相机NLF和α(ISO)集合的组合计算针对每个ISO的各相机NASF集合150。
类似地，在各种实现中，可选专家/群组颜色偏好模块155被用于标识来自图像集合130(或任何其他图像集合)的具有针对相机100的每个ISO设置的偏好颜色饱和度调整的各图像。因此，假设使用例如10个不同的ISO设置，对具有偏好颜色饱和度调整的图像的10个选择将经由专家/群组颜色偏好模块155为相机100作出。所得的选择然后被提供给CSF模块160。一般而言，针对相机100的多个ISO设置中的每一个，CSF模块160基于对由人类观察者选择的偏好图像作出的颜色饱和度调整来计算针对相机100的对应颜色标量函数(CSF)。
所得到的各相机NASF集合150和可选各相机CSF集合165然后被提供给曝光函数调适模块170。在各种实现中，曝光函数调适模块170应用各相机NASF集合150和可选各相机CSF集合165以便调适或修改各种曝光校正函数，包括但不限于直方图拉伸函数、S曲线参数估计函数、细节融合函数和颜色饱和度函数。针对这些函数的基于噪声和ISO的修改或调适产生了噪声知晓曝光函数的集合，该噪声知晓曝光函数适用于特定相机的噪声特性和由这些相机捕捉特定图像所用的ISO。
所得的噪声知晓曝光函数然后可用于图像增强模块175以用于实时曝光校正操作。在各种实现中，图像增强模块175在计算能力积分内被实例化或耦合至每个对应的相机信号或类型以供实时曝光校正操作。
更具体而言，图像增强模块175基于终端用户静态或视频相机185捕捉任何新的图像帧180(或图像序列)所用的任何特定ISO的特定NASF和/或CSF来应用曝光校正设置(和可选颜色饱和度调整设置)。图像增强模块175然后实时地生成经改善的输出帧190(例如，对于典型的基于电话的相机，从输入帧180捕捉到经调整的帧输出的处理时间通常小于1秒)。在以下参考图2的段落中进一步描述了图像增强模块175的示例性功能。
例如，如图2所例示的，在各种实现中，自适应曝光校正器的图像增强模块175实时操作以从终端用户静态或视频相机185接收输入图像180。图像增强模块175的直方图拉伸模块210然后通过将噪声知晓非线性拉伸函数应用于图像直方图来拉伸从输入图像提取的图像直方图。一般而言，通过应用NASF来修改线性拉伸函数并然后将所得的经修改的拉伸函数夹持到对应于图像比特深度的最小和最大强度范围(例如，[0,255])来生成此非线性拉伸函数。
另外，在各种实现中，S曲线估计模块220基于局部区域曝光分析来估计用于阴影和/或高光的色调映射的噪声知晓S曲线的参数(由对应的NASF来修改)。此外，在各种实现中，细节层融合模块230使用各种细节提取函数从原始输入图像帧180提取多个高频图像细节。然后基于对应的NASF对这些经提取的细节进行修改或调整。细节层融合模块230然后将经修改的图像细节与S曲线估计模块220的输出相融合。
此时，图像增强模块175可产生输出帧190。然而，在各种实现中，图像增强模块175的颜色饱和度补偿模块240组件首先将已经基于对应的CSF修改或调适的噪声知晓颜色饱和度补偿函数(CSCF)应用于细节层融合模块230的输出以通过调整该图像的颜色饱和度来生成最终输出帧190。
另外，在各种实现中，直方图拉伸模块210、S曲线估计模块220、细节层融合模块230和颜色饱和度补偿模块240中的任何一个或全部可被单独地应用于输入框架180，或者以任何这些模块的输出的任何所需组合或顺序来实现各种自动曝光校正结果。此外，直方图拉伸模块210、S曲线估计模块220、细节层融合模块230和颜色饱和度补偿模块240中的任何一个或全部可与任何其他现有图像处理技术组合以改善所得的输出图像的知觉质量。
2.0自适应曝光校正器的操作细节：
上文描述的程序模块和/或设备被采用以实例化自适应曝光校正器的各种实现。如上所述，自适应曝光校正器提供用于在静态或视频相机捕捉各个体图像时根据图像ISO、相机ISO能力和相机噪声特性对各个体图像执行全自动实时曝光校正的各种技术。以下章节详细讨论了自适应曝光校正器的各种实现的操作，以及用于实现第1章节中参考图1和图2描述的特征和程序模块的示例性方法和技术。具体而言，以下章节提供了自适应曝光校正器的各种实现的示例和操作细节，包括：
·自适应曝光校正器的操作概览；
·不考虑噪声的曝光校正的概览；
·噪声知晓自适应曝光校正；
·确定噪声级函数(NLF)；
·确定噪声知晓缩放函数(NASF)；
·用于实时阴影和高光增强的NASF；
·可选噪声知晓颜色饱和度补偿；以及
·可选数据驱动的参数估计。
2.1操作概览：
如上文所描述的，自适应曝光校正器提供用于在静态或视频相机捕捉各个体图像时对各个体图像执行全自动实时曝光校正的各种技术。更具体而言，自适应曝光校正器通过由各种噪声知晓图像处理函数实时执行的曝光校正，基于图像ISO和相机ISO能力以及相机噪声特性来输出感知上改善的图像。
2.2不考虑噪声的曝光校正的概览：
一般而言，可在不考虑上述噪声知晓缩放函数(NASF)或可选颜色标量函数(CSF)的情况下执行曝光校正。然而，通过应用章节2.3中以及此文档的后续章节描述的NASF和可选CSF来修改此文档的章节2.2中描述的曝光校正技术，可参考人类用户的感知而进一步改善曝光校正。
更具体而言，此文档的章节2.2(包括子章节2.2.1和2.2.2)的段落，描述了在不考虑图像噪声和在图像的曝光校正处理期间图像噪声的潜在不利增强的情况下执行曝光校正的技术的各种示例。此文档的章节2.3和后续章节描述了针对章节2.2的曝光校正技术的噪声知晓调适，其方式是通过在执行实时图像校正时平衡图像噪声的增强和图像细节的增强来进一步改善感知的图像质量。
例如，在各种实现中，通过确定亮度修改参数并将这些参数应用于表征图像阴影、中间色调和高光区域中的图像亮度的非线性函数来改善输入图像的外观从而实现图像曝光校正。具体而言，曝光校正通过修改输入图像的曝光过度和/或曝光不足的区域或区块使得在输入图像的曝光过度和/或曝光不足的区域中不可见或难以识别的输入图像的特征变得更加明显来改善输入图像的外观。例如，曝光过度的区域可能看起来更暗，而曝光不足的区域可能看起来更亮。有利地，此类曝光校正不会对非曝光过度或曝光不足的输入图像的区域的外观造成不利影响。
在各种实现中，此曝光校正过程通过执行自动级拉伸操作开始，该自动级拉伸操作在本文中也被称为自动直方图拉伸操作。一般而言，此自动级拉伸操作通过修改与输入图像相关联的直方图来修改输入图像的亮度值。此直方图被用于对输入图像的亮度值的强度进行分类(bin)。例如，在典型的256级图像中，图像的亮度值可在0到255级内测得，其中亮度值0对应于纯黑色，而亮度值255对应于纯白色。显然，自适应曝光校正器可以为此目的考虑其他亮度范围。例如，8比特灰度级为每像素提供28或256级亮度，而16比特灰度级提供216或65,536级亮度。
然而，当特定输入图像的最大和/或最小亮度值未达到范围的最大和/或最小端时(例如，对于8比特亮度而言0为最小值而255为最大值)，自动级拉伸操作线性地拉伸直方图，使得直方图上的最小和最大亮度值(以及由此输入图像的亮度)对应于所考虑的全亮度范围(例如，0和255)。结果，输入图像的全局对比度可被增加，这有助于实现经改善的细节辨别。另一方面，不同图像中的相对暗的像素或相对亮的像素将被均匀化为相似的强度级以供之后的基于区域的曝光分析。
为了进一步改善输入图像的曝光过度和/或曝光不足区域的外观，执行对经直方图拉伸的图像的曝光评估。一般而言，此曝光评估确定随后被应用以调整图像的阴影和高光区域或区块的亮度的亮度修改参数。假设8比特的亮度范围，输入图像的阴影区域或区块倾向于具有相对更接近0的亮度值。相反，输入图像的高光部分倾向于具有相对更接近255的亮度值。输入图像的中间色调区域或区块倾向于具有在图像的高光和阴影区域或区块之间的亮度值。例如，在黑白照片中，中间色调将是灰的。
在示例性实现中，通过将输入图像分割成多个区域或区块来确定亮度修改参数。具体而言，具有相同或相似亮度值的输入图像的相邻像素可被分组在一起。在一些实例中，这些组可被称为“超像素(superpixel)”。在形成输入图像的超像素之后，曝光评估操作可包括确定每个超像素的区块并将与相同区块相关联的超像素进行分组。每个超像素的区块可以指亮度值级上的亮度值的范围。例如，在各种实现中，0到255的亮度值范围(例如，8比特空间)被划分为11个区块，但也可使用更多或更少的区块。每个区块可以与平均亮度值相关联。此外，曝光评估操作可包括标识与天空相关联和/或与面部相关联的输入图像的区域。与天空区域或面部区域相关联的超像素可被分组在一起并被分配给相应的区块。
在为输入图像的每个区域标识初始区块群组之后，曝光评估操作确定输入图像的每个区域的最佳区块。一般而言，输入图像的每个区域的最佳区块对应于为相应区域的特征提供经改善的外观的区块。更具体而言，区域的最佳区块最大化了区域特征的外观，保持了该区域和相邻区域之间的相对对比度，并避免了该区域中对比度的反转。
在确定每个区域的最佳区块之后，曝光评估操作计算阴影亮度修改参数和高光亮度修改参数中的任一者或两者。然后可在阴影/高光校正操作中利用高光亮度修改参数和/或阴影亮度修改参数来改善输入图像的特征的外观。在各种实现中，阴影/高光校正操作以每个区块为基础生成指示对输入图像的亮度值的改变的非线性函数。例如，这些非线性函数可包括S形曲线，其表示与输入图像亮度值相关的输出图像亮度值(根据曲线的形状增大或减小)。根据S形曲线修改输入图像的亮度值产生中间图像。此中间图像可作为经改善的图像输出。
然而，在各种实现中，所得的中间图像经受附加处理以进一步改善图像外观。例如，在基于所选择的S形曲线修改输入图像的亮度值之后，可通过添加或融合可能在中间图像中不明显的来自原始输入图像的高频细节来进一步处理所得的中间图像。另外，在经修改的图像被生成之前可减少中间图像的任何伪像，诸如与中间图像的某些部分相关联的光晕和/或过度放大的暗/亮色调。
2.2.1不考虑噪声的曝光校正细节：
用于确定输入图像的每个区域的最佳区块的上述过程可被应用以经由诸如例如，生成输入图像的一个或多个经伽马校正的图像版本之类的技术来最大化输入图像的可见细节。在各种实现中，这些经伽马校的正图像可通过对输入图像的应用伽马因子的阶数指数函数来生成以便修改输入图像的亮度值。在各种实现中，生成具有0.5和2.0的伽马因子的图像(其中1.0的因子对应于无伽马校正)产生用于确定最佳区块的有用结果。然而，可出于此目的应用任何期望级的伽马因子。一般而言，在经伽玛校正的图像包括比输入图像更亮的特征的情况下，这指示要使用小于1的伽玛因子。相反，在经伽玛校正的图像包括比输入图像更暗的特征的情况下，这指示要使用大于1的伽玛因子。
在生成经伽马校正的图像之后，用于确定最佳区块的过程应用各种边缘检测技术来检测输入图像内的以及由输入图像生成的经伽马校正的图像中的一个或多个内的边缘。执行边缘检测以标识输入图像和经伽马校正的图像中亮度改变或具有不连续性的点。这些检测到的边缘然后被应用以产生边缘图，该边缘图示出输入图像内的边缘以及经伽马校正的图像中的一个或多个内的边缘。
所得的边缘图然后被用于测量相应图像的可见细节。例如，输入图像的边缘、具有小于1的伽玛因子的经伽玛校正的图像的边缘以及具有大于1的伽玛因子的经伽玛校正的图像的边缘可以由相应边缘集和Ω1、Ωs以及Ωl表示。可使用输入图像、具有小于1的伽玛因子的经伽玛校正的图像以及具有大于1的伽玛因子的经伽玛校正的图像之间的边缘差来计算输入图像的阴影区域和输入图像的高光区域的可见细节。例如，阴影区域中的边缘差可以由
Figure GDA0003636791510000141
Figure GDA0003636791510000144
表示，而高光区域中的边缘差可以由
Figure GDA0003636791510000142
表示。可根据公式(1)来计算输入图像的阴影区域Vs和高光区域V中的细节的相对可见性：
Figure GDA0003636791510000143
其中card(*)指示与集合中检测到的边缘相关联的像素的数量，且Ωall＝Ω1∪Ωs∪Ωl。
此外，可基于相邻区域的亮度值之间的差来计算相邻区域之间的相对对比度。在各种实现中，用于确定最佳区块的过程生成直方图，该直方图示出了相对于与第二区域相邻的输入图像的第一区域的强度的亮度值。用于确定最佳区块的此过程然后确定第一区域的平均亮度值与第二区域的平均亮度值之间的距离。
例如，假设使用11个如上文所提及的区块(出于讨论的目的，为每个区块分配对应的罗马数字)。此外，假设第一区域被分配给区块II并具有例如51的平均亮度值，且第二区域被分配给区块VII并具有例如179的平均亮度值。在此示例中，第一区域和第二区域的平均亮度值之间的差是128。用于确定最佳区块的过程可通过将第一区域和第二区域的相应直方图偏移最小距离(以最大化第一区域和第二区域的亮度值的交叉)来计算第一区域和第二区域之间的相对对比度。
例如，用于确定最佳区块的过程可偏移第一区域的直方图和第二区域的直方图，使得第一区域的一些较高亮度值与第二区域的一些较低亮度值相交。在偏移第一区域和第二区域的直方图时，第一区域和第二区域可与不同的区块相关联。在一个示例中，第一区域可在偏移之后被分配给例如区块III，而第二区域可在偏移之后被分配给例如区块VI。因此，在此示例中，第一区域的平均亮度值可能已被改变为例如77，而第二区域的平均亮度值可能已被改变为例如153，其中它们之间的距离为76。
在测量输入图像的可见细节并测量输入图像的相对对比度之后，用于确定最佳区块的过程可确定输入图像的每个区域的最佳区块，其可与最初被分配给每个区域的区块不同。在各种实现中，用于确定最佳区块的此过程通过相对于输入图像的可见细节测量和相对对比度测量最小化马尔可夫随机场(MRF)能量函数来确定输入图像的区域的最佳区块。示例性MRF能量函数E(Z)由公式(2)给出：
Figure GDA0003636791510000151
其中最佳标签Z＝{zi}中的zi是特定区域的期望区块。附加地，Ei是个体区域i的数据项，Ei,j是两个相邻区域i和j之间的成对项，并且λ是加权因子。加权因子λ可通过将跨每个区块候选组合的数据项Ei和成对项Ei,j相加，并将λ设置为等于数据项Ei与成对项Ei,j的比率之和来估计。Ei和Ei,j可以以概率形式Ei＝-log(P(i))和Ei,j＝-log(P(i,j))给出。区域的似然性P(i)是通过细节的可见性V、区域大小C(由图像的整体大小标准化)和语义重要性θi(由语义区域的百分比测量)来测得并以公式(3)给出：
Figure GDA0003636791510000161
其中ρ(*)是sigmoid函数ρ(t)＝1/(1+exp(t))且
Figure GDA0003636791510000162
是距初始区块
Figure GDA0003636791510000163
的偏差。Vs和V可分别用于计算阴影区块区域和高光区块区域中的Pi。
相干性P(i,j)由初始相对对比度的两个区域之间的相对对比度的变化来定义，即区域直方图的平均亮度值
Figure GDA0003636791510000164
到新的相对对比度di,j之间的初始距离。相干性P(i,j)由公式(4)表示：
Figure GDA0003636791510000165
其中
Figure GDA0003636791510000166
是具有指定方差(例如，0.15)的零均值高斯函数。高斯函数
Figure GDA0003636791510000167
最小化相对对比度的任何显著变化。此外，使用权重Cj使得相对较小的区域对相干性P(i,j)的贡献较小。
在一些情况下，用于确定最佳区块的过程在最小化MRF能量函数E(Z)时应用一个或多个约束以确定输入图像的区域的最佳区块。例如，一个或多个约束可包括跨区块V限制区域的区块中的变化、与区块V相关联的区域保持不变、分配给相同初始区块的区域的区块变化对每个区域而言应是相同的(例如，分配给区块II的每个区域都被修改为区块III)，或其组合。另外，在一些实例中，为了获得MRF能量函数E9Z)的全局优化，可使用迭代强力搜索方法来考虑每个区域的区块候选的每个组合。
如上文所提及的，在各种实现中，曝光校正过程还执行参数计算过程以计算亮度修改参数(例如，前述的S曲线)，其可被用于修改输入图像的某些部分的亮度以便改善输入图像的外观。具体而言，亮度修改参数可被用于改善输入图像的曝光过度和/或曝光不足的区域的外观。
在各种实现中，可计算亮度修改参数以使得与输入图像的每个区域相关联的区块尽可能多地移向由用于确定最佳区块的过程所计算的其相应的最佳区块。为了计算阴影和高光亮度修改参数φs和φ，每个区域的原始曝光由强度平均ei＝∑In/ci来计算，其中In是原始强度而ci是区域大小。
因此，可根据φs＝(μi-ei)·ci/∑fΔ(In)来计算阴影亮度修改参数φs，其中μi是与其相应区块值对应的目标曝光。另外，fΔ(In)是阴影或高光亮度修改后的亮度变化。fΔfIn)的数学形式如下文公式(5)所示。此外，可根据φh＝(ei-ui)·ci/fΔ(1-In)来计算高光亮度修改参数。
在各种实现中，一旦为每个区域计算出阴影和/或高光亮度修改参数，则相对于以相对区域大小ci作为权重的每个区域的阴影和/或亮度修改参数取加权平均值。可根据区域阴影亮度修改参数的加权平均来计算输入图像的整体阴影亮度修改参数，并且可根据区域高光亮度修改参数的加权平均来计算输入图像的整体高光亮度修改参数。
如上所述经计算的输入图像的阴影和高光亮度修改参数可被用于生成非线性函数(例如，前述S曲线)，其将输入图像的像素的初始亮度值与像素的经修改亮度值进行映射。非线性函数可被表征为S形曲线或倒S形曲线，并且可由公式(5)给出：
f(x)＝x+φs·fΔ(x)-φh·fΔ(1-x) 公式(5)
其中x和f(x)分别是标准化的输入像素亮度和经修改的像素亮度。另外,fΔ(x)是由
Figure GDA0003636791510000171
定义的增量函数，其中κ1控制阴影或高光的经修改的最大亮度变化放大，而κ2和κ3控制阴影或高光的经修改的色调范围。在例示示例中，κ1＝5，κ2＝14而κ3＝1.6。阴影和高光亮度修改参数可被应用于诸如公式(5)的S曲线函数之类的非线性函数以基于输入图像产生输出图像。
在一些实例中，附加特征可被添加到输出图像以产生经修改的输出图像。在特定实现中，在利用非线性函数(例如，前述的S曲线)生成输出图像之后，输出图像可与局部细节图像融合以产生经修改的输出图像。例如，输入图像可被指定为I，通过将阴影和高光参数应用于非线性函数而生成的图像可被指定为f(I)，而通过应用一个或多个低通滤波器(例如，高斯滤波器)产生的输入图像的经滤波的版本可被称为IF。可通过获取输入图像和输入图像的经滤波的版本之间的差来产生可被用于向中间图像添加特征的局部细节图像ΔI。因此，ΔI＝I-IF，并且在例示示例中，经修改的输出图像I可经由公式(6)产生：
Figure GDA0003636791510000181
其中项[2·f(I)(1-f(I))]可用于向中间输出图像的某些部分添加特征。在特定情况下，添加到中间色调范围的特征的数量大于添加到阴影范围或高光范围的特征的数量。因此，在公式(6)中，项f(I)(1-f(I))在中间色调范围内达到最大值。
当输入图像是黑白图像时，相对于输入图像的亮度通道执行曝光校正处理期间执行的操作。当输入图像是彩色图像时，参考输入图像的亮度通道和输入图像的颜色通道执行曝光校正处理期间执行的操作。例如，经由非线性函数(例如，S曲线)的上述亮度调整可将输入图像的亮度通道与颜色通道分开。还可计算输入图像的像素的亮度值与输入图像的经修改的版本的像素的亮度值之间的比率。此比率可然后被应用于颜色通道。因此，可根据此比率修改颜色通道上的输入图像的像素以产生输入图像的经修改的版本。
在一些场景中，输出图像可能具有一些伪像，诸如与输出图像的一些部分相关联的光晕效应和/或输出图像的一些最暗和/或最亮色调的过度放大或增强。在这些场景中，可通过对输出图像应用滤波器以减少输出图像中与光晕效应或其他伪像相关联的部分来减少伪像。在一些情况下，应用被应用于输出图像的滤波器来替代高斯滤波器，其可被用于产生如上文所描述的输入图像的经滤波的版本。
例如，在各种实现中，应用于输出图像的滤波器包括引导滤波器，该滤波器是引导图像的线性变换，其中引导图像可以是输入图像或另一图像。为了最小化或消除过度放大或增强的伪像，在校正暗色调的过度放大时可使用近黑置信图将输出图像与输入图像混合，在校正亮色调的过度放大时可使用近白置信图将输出图像与输入图像混合。假设RGB颜色空间，近黑置信图的置信值可通过每个像素中红-绿-蓝(RGB)颜色的最小值与纯黑色之间的距离来测量，而近白置信图的置信值可通过每个像素中RGB颜色的最大值与纯白色之间的距离来测量。该距离可使用高斯函数来测量，其中当图像强度值被标准化到[0,1]时，诸如0.05的强度值被认为是纯黑色，而诸如0.95的强度值被认为是纯白色。
2.2.2不考虑噪声的曝光校正示例：
如上文所描述的，本文档的章节2.2和2.2.1中描述的技术可被应用于通过计算应用于非线性函数(诸如S曲线)的亮度修改参数来产生具有经校正的曝光的输入图像的经修改的版本，该亮度修改参数表征输入图像的阴影、中间色调和高光区域的亮度，而不考虑相机噪声特性。
在各种限制中，此曝光校正过程包括为图像的多个区域中的每个区域确定区块。每个相应区域的区块指示在亮度值级上与相应区域相关联的亮度值的指定范围。例如，假设8比特亮度空间，从0到255的亮度值级被分成若干个区块，例如11个区块或任何其他所需数量的区块。在各种实现中，图像的像素根据其相应的亮度值进行分组。具有落入特定亮度值范围内的亮度值的像素的群组可被分组以产生与对应区块相关联的区域。在一些情况下，图像的像素可与检测到的图像相关联，该检测到的图像包括但不限于天空特征、面部特征或任何其他可检测的特征。在此情况下，与诸如天空特征之类的特定特征相关联的像素可被分组到特定区域，而与其他特征相关联的像素可被分组到单独的对应区域。
一般而言，修改多个区域中的至少一个区域的区块使得该至少一个区域与经修改的区块相关联。例如，图像的区域的亮度值可从被包括在与区域的初始区块相关联的亮度值的范围内的亮度值改变为被包括在与区域的经修改的区块相关联的亮度值的不同范围内的亮度值。
至少部分地基于图像的每个相应区域的区块和至少一个区域的经修改的区块为每个区域计算输入图像的亮度修改参数。在一些情况下，阴影亮度修改参数与单独的高光亮度修改参数一起生成。阴影亮度修改参数指示对于图像的阴影区域中的像素的亮度值的改变。类似地，高光亮度修改参数指示对于图像的高光区域中的像素的亮度值的改变。
此外，在各种实现中，基于每个区域的相应阴影亮度修改参数和每个区域的相应高光亮度修改参数来计算整体阴影亮度修改参数和整体高光亮度修改参数。例如，在各种实现中，图像的区域的高光亮度修改参数的加权平均值被用于计算整体高光亮度修改参数，而区域的阴影亮度修改参数的加权平均值被用于计算整体阴影亮度修改参数。在一些情况下，分配给相应区域的阴影和/或高光修改参数的权重基于相应区域的大小。
输入图像的经计算的亮度修改参数可然后被应用以生成非线性函数。此非线性函数可指定将图像的一个或多个亮度值从初始亮度值到经修改的亮度值的修改。在一些情况下，非线性函数可表示S形曲线，而在其他情况下，非线性函数可表示倒S形曲线。然后通过将非线性函数应用于输入图像的亮度(或应用于输入图像的经直方图拉伸的版本)来生成图像的经修改(例如，经曝光校正)的版本。更具体而言，通过将图像的像素的相应亮度值从相应初始亮度值改变为相应经修改的亮度值来产生输入图像的经修改的版本。例如，非线性函数可指定输入图像中具有例如27的亮度值的像素将被修改为具有例如42的值。因此，输入图像中具有为27的初始亮度值的像素的相应亮度值被修改为输入图像的经修改的版本中具有为42的亮度值的像素。
在整个曝光校正过程的另一示例中，在各种实现中，分配给输入图像的区域的亮度值的范围被修改。该修改过程包括确定输入图像的多个区域中的每个相应区域的区块。每个相应区域的区块指示在亮度值级上与相应区域相关联的亮度值的指定范围。然后，由输入图像生成多个经伽马校正的图像。通过对图像应用不同的伽马校正量来生成每个经伽马校正的图像。应用于图像的伽马校正量产生强调图像的不同特征的经伽马校正的图像。
然后应用边缘检测过程以针对每个经伽马校正的图像和针对输入图像检测图像的特定区域的边缘。特定区域的检测到的边缘通常指示特定区域的亮度方面的变化或不连续。此外，通过将检测到的边缘应用为图，可基于在不同的经伽马校正的图像中检测到的对应边缘与输入图像的边缘之间的差来测量每个特定区域的可见细节。
然后通过标识图像中与图像的每个特定区域相邻的一个或多个区域来继续该过程。然后，基于特定区域的亮度值和一个或多个相邻区域中的每一个的亮度值，确定特定区域与一个或多个相邻区域之间的相对对比度。在各种实现中，确定相对对比度涉及每个特定区域和与该特定区域相邻的区域的直方图的比较。如上文所讨论的，每个区域的相应直方图指示相应区域相对于与每个亮度值相关联的强度的亮度值。当确定相对对比度时，可确定特定区域的平均亮度值与每个相邻区域的平均亮度值之间的距离。在各种实现中，此相对对比度是通过标识用于偏移特定区域的直方图和相应相邻区域的直方图使得特定区域的亮度值与相邻区域的亮度值的交叉被最大化的最小距离来确定的。
此外，在各种实现中，至少部分地基于特定区域的可见细节和相对对比度来修改任何特定区域的区块。在一些情况下，可修改特定区域的区块以最小化马尔可夫随机场能量函数，该马尔可夫随机场能量函数包括与特定区域的可见细节相关联的项和与相对对比度相关联的项。另外，当修改图像的区域的区块时可应用某些约束。例如，修改在指定区块中具有亮度值的区域的区块可被禁止或阻止。因此，在一些情况下，例如，与中间色调区块相关联的区域可被禁止修改，而阴影和高光区块可允许被修改。在另一示例中，可以以相同的方式修改与特定区块相关联的每个区域。例如，与区块IV相关联的每个区域的亮度值可被改变为与区块III(或其他区块)相关联的亮度值。
在整个曝光校正过程的另一示例中，在各种实现中，自适应曝光校正器实现根据非线性函数产生输出图像的过程，并通过向输出图像添加特征来产生经修改的输出图像。在各种实现中，此过程包括生成非线性函数，该非线性函数指定输入图像的一个或多个区域相对于该一个或多个区域的初始亮度值的经修改的亮度值。此外，此过程根据非线性函数修改输入图像的阴影区域、输入图像的中间色调区域、和/或输入图像的高光区域的亮度值。
在另一示例中，在各种实现中，基于输入图像的经修改的亮度值产生输出图像。然而，输出图像的外观可能具有比输入图像的外观更少的细节。例如，输入图像的一些较暗区域或曝光不足区域在输出图像中可能看起来更亮。另外，输入图像的较亮区域在输出图像中可能呈现中灰色。如此，输出图像的中间色调对比度可被减小。通过基于输入图像和输入图像的经滤波的版本之间的差生成细节图像，这些问题可被各种实现解决。然后通过将细节图像的特征应用到或融合到输出图像来产生经修改的输出图像。除了未修改的输出图像的细节外，所得的经修改的输出图像还包括细节(例如，高频图像细节)。换言之，这种用于经提取的图像细节的融合过程用于将在曝光校正期间可能已丢失(或最小化)的输入图像的一些特征添加回经修改的输出图像。
2.3噪声知晓自适应曝光校正：
如上文所提及的，此文档的章节2.2、2.2.1和2.2.2的段落，描述了在不考虑图像噪声和在图像的曝光校正处理期间图像噪声的潜在不利增强的情况下执行曝光校正的技术的各种示例。
此文档的章节2.3和后续章节描述了针对章节2.2的曝光校正技术的修改，其方式是通过在执行实时图像校正时平衡图像噪声的增强和图像细节的增强来进一步改善感知的图像质量。
一般而言，自适应曝光校正器的各种特征提供的噪声知晓阴影和高光增强包括从每个个体输入图像中选择或直接从图像EXIF ISO信息中选择噪声级函数(NLF)，以及根据NLF计算噪声知晓缩放函数(NASF)。注意，NLF是将噪声量表示为强度函数的一种形式，其中在任何给定强度下噪声都被假定为高斯。存在其他形式，例如，作为强度函数的非参数噪声函数，并且将噪声量表示为强度函数的任何此类形式可被调适以用于被自适应曝光校正器的各种实现所使用。一般而言，每个相机型号或类型的NASF是通过针对每个相机计算的NLF以及从以每个相机的ISO范围捕捉的多个曝光调整的图像示例的集合中人工选择的偏好图像的组合而预计算出来的。类似地，每个相机型号或类型的可选预计算的颜色标量函数(CSF)是通过相机ISO特征和从以每个相机的ISO范围捕捉的多个曝光调整的图像示例的集合中人工选择的偏好图像的组合而计算出来的。
此外，假设并已通过测试被验证，具有相同ISO(经由相同或类似的相机型号或类型捕捉)的图像将倾向于具有非常相似的噪声级函数，因为它们来自相同或非常相似的成像传感器。如此，针对任何特定相机型号或类型计算的基于ISO的NASF集合和基于ISO的CSF集合适用于该特定相机型号或类型的其他实例以用于执行实时曝光校正。
一般而言，NASF集合和可选CSF集合被应用以便调适或修改各种曝光校正函数，包括但不限于直方图拉伸函数、S曲线参数估计函数、细节融合函数和可选颜色饱和度函数。针对这些曝光校正函数的基于噪声和基于ISO的修改或调适产生了噪声知晓曝光函数的集合，该噪声知晓曝光函数适用于特定相机的噪声特性和由这些相机并结合各种人类图像调整偏好捕捉特定图像所用的ISO。所得的噪声知晓函数可然后被用于每个对应的相机型号或类型内的计算能力或耦合至每个对应的相机型号或类型的计算能力以供实时曝光校正操作。
以下段落描述了NASF和CSF的计算，并进一步描述了使用这些噪声知晓函数来修改本文档(包括本文档的章节2.2、2.2.1和2.2.2)中描述的曝光校正技术，以便为单个图像和图像序列提供实时曝光校正。
2.4确定噪声级函数(NLF)：
如上文所提及的，自适应曝光校正器计算噪声级函数(NLF)以用于确定上述各相机的NASF集合。一般而言，NLF是描述图像噪声sigma如何随图像强度变化的函数。通常，对于暗强度值(例如，0或一些其他相对低的值)，SNR(信噪比)将更小。相反，对于亮强度值(例如，255或一些其他相对高的值)，SNR将更大。为了能对图像进行高效实时曝光校正，自适应曝光校正器执行基于校准的过程，以在每相机和每ISO的基础上确定NLF。然后根据图像EXIF ISO信息，应用针对每个特定相机型号或类型的所得的NASF和CSF的集合以用于对任意图像进行实时曝光校正。
举例来说，特定相机的NLF校准通过用相同场景的相同捕捉参数捕捉突发图像(或使用任何所需技术的多个连续图像)来开始。出于方便的目的，该相同场景通常是已知的校准目标或任何其他静态场景。对于相同相机参数(例如，快门速度、ISO等)的集合，累积所有的突发图像(例如，以平均或其他方式组合)以生成图像的相对干净的版本。然后，每个个体突发图像与相应的干净图像相组合被视为用于噪声sigma估计的图像对。
例如，在经测试的实现中，通过将每个相机安装到三脚架(或其他稳定支架)来获得校准目标的多个图像。相机然后被用于以尽可能宽的动态范围(同时避免太暗或太饱和)或以尽可能丰富的颜色捕捉校准目标，诸如颜色棋盘格校准目标。为了在此初始图像捕捉阶段期间减少细微的相机抖动，相机的远程控制被使用而非物理地按下快门按钮等等。此外，为了用不同的ISO捕捉不同的图像集合，场景照明和诸如快门速度和ISO之类的相机参数也有所不同。出于一致性的考虑，焦点和白平衡通常对所有情况都是固定的。使用此类设置，相机被用于捕捉针对9组离散化的ISO(80、200、400、500、640、1000、1250、1600和2000)的50到100个突发图像。显然，可取决于特定相机的性能使用附加的ISO设置。此外，可从根据这些已知ISO计算的NLF内插其他ISO设置、经估计的NLF集。
如上文所提及的，NLF是根据捕捉到的突发图像结合从输入突发图像导出的经估计的干净图像来估计的。由于场景或校准目标是静态的并且相机是固定的，因此这些图像的简单平均通常足以获得干净图像。然而，如上文所提及的，用于从突发图像生成干净图像的其他技术可由自适应曝光校正器应用。在生成或估计干净图像之后，每个噪声和干净图像对被转换为灰度级。由于曝光校正基于亮度通道，因此以亮度计算NLF。
接下来，自适应曝光校正器将噪声图像和干净图像之间的差计算为噪声层。干净图像的亮度(例如，在8比特图像的情况下为[0，255])被均匀地分成若干个分类，例如16个分类。然后根据干净图像中的每个像素的对应亮度将每个噪声图像的噪声层的所有像素均匀地划分成这16个分类。对于每个分类，然后计算噪声层的像素值的标准方差来作为每个分类的噪声sigma。此外，每个分类中像素的百分比被视为噪声权重。使用噪声sigma和权重两者，例如经由加权双三次(bicubic)平滑或其他内插方法对经平滑的曲线进行内插。所得的曲线是针对特定ISO的特定相机的上述噪声级函数。
由于干净图像仅是近似值，因此噪声sigma的直接估计是有偏差的。如此，在各种实现中，此估计被校正。例如，具有噪声sigmaσ的n个图像的平均将具有sigma
Figure GDA0003636791510000251
因此，噪声层的标准方差为σ′，而精确噪声sigma为
Figure GDA0003636791510000252
Figure GDA0003636791510000253
2.5确定噪声知晓缩放函数(NASF)：
给定相机的特定ISO设置及其对应的噪声级函数f(I)，其中I是亮度值，自适应曝光校正器可估计噪声知晓缩放函数(NASF)，在此也称为s(I)。由于预计会对较大的噪声sigma值减少更多的增强，因此NASF被设计为采用类似于对应NLF的倒置形式。换言之，NASF标量被设计为对亮强度值更大，并且对暗强度值更小，这通常是对应NLF的相反行为。给定此类公式，NASF由公式(7)定义为：
Figure GDA0003636791510000261
其中σmin＝2.0和σmax＝6.0是已被观察到的用于提供可接受结果的默认值。但是，如果需要，这些默认值可被调整。
本文称为α(ISO)比率(或“alpha函数”)的比率控制不同噪声和照明条件下的感知范围。换言之，α(ISO)比率是对来自包括此图像的多个经曝光调整的版本的集合的偏好图像的人工选择的函数，如上文所描述的。一般而言，至少有两种用于设置或确定α(ISO)比率的选项。例如，在用户期望对高ISO图像进行较少的增强而对低ISO图像进行较多的增强的情况下，用户可能更关心噪声放大，而非图像细节增强。如此，在此情况下，α(ISO)比率可被设定为α(ISO)＝1.0。但是，在用户期望对低光图像(自动曝光测量通常采用高ISO)进行较多增强而对低ISO图像进行较少增强的情况下，用户会往往关心针对低光条件的细节增强，并且可能忽略噪声问题，尤其是对于小尺寸的图像。在此情况下，α(ISO)比率由公式8给出：
Figure GDA0003636791510000262
其中a1＝2.0,a2＝1.15,a3＝-1.5,τ＝350.0是默认值，其是对来自包括针对特定ISO的此图像的多个经曝光调整的版本的集合的偏好图像的人工选择的函数，如上文所描述的。请注意，这些默认值可能会根据特定专家或专家群组或用户作出的对偏好图像的选择而变化。一般而言，第二选项(例如，诸如由公式(8)提供的α(ISO)比率)已被观察到以导致感知上令人满意的曝光校正，尤其是对于基于电话的相机。如此，对于以下讨论将假设使用公式(8)的α(ISO)比率，同时理解其他α(ISO)比率公式化可被自适应曝光校正器所使用。
2.6用于实时阴影和高光增强的NASF:
如上文所提及的，基于相机和基于ISO的NASF集合由自适应曝光校正器应用以适应各种曝光校正函数以考虑噪声以及关于阴影和高光增强的人类偏好两者。以下段落描述了此过程的各种实现的操作细节。
2.6.1噪声知晓直方图拉伸：
本文档章节2.2中描述的基于直方图拉伸的曝光校正首先根据任意图像中的最小和最大强度值将图像直方图线性拉伸到最大范围，例如，8比特图像的[0，255]。因此，此线性增强过程增强强度值，同时还放大噪声。为了在直方图拉伸过程期间减少此噪声放大，在各种实现中，自适应曝光校正器将NASF集合应用于每个特定相机，以修改章节2.2的线性直方图拉伸以提供噪声知晓非线性直方图拉伸过程，如下所示：
Figure GDA0003636791510000271
其中Imax,Imin分别是最大和最小强度值，并如上文所提及的，s(I)指的是正被考虑的特定ISO的NASF。此外，假设有8比特空间，I′被夹持到[0,255]的范围。
2.6.2噪声知晓S曲线修改：
本文档章节2.2中描述的基于S曲线的曝光校正根据局部区域曝光分析自动地估计S形色调映射曲线的两个参数：阴影和高光量。相反，在噪声知晓的情况下，自适应曝光校正器仅将NASF应用于阴影增强，因为高光调整通常会使强度降低，并且在高光色调中往往存在相对较小的噪声级。但是，如果需要，NASF也可被用于高光调整。在仅阴影增强的情况下，通过考虑NASF来修改章节2.2中描述的原始S曲线函数，如下所示：
f′(I)＝I+φs×fΔ(I)×s(I)-φh×fΔ(255-I) 公式(10)
其中I和f′(I)是输入和输出强度，而fΔ(I)是增量函数，其根据经验被定义为：
Figure GDA0003636791510000281
其中κ1＝5,κ2＝14,κ3＝1.6是已被观察到的用于提供可接受结果的默认值。但是，这些默认值可被调整。
2.6.3噪声知晓细节融合：
本文档章节2.2中描述的基于融合的曝光校正的S细节层试图通过首先从原始输入图像中提取高频图像细节并然后将细节层与基于S曲线处理的经色调映射的结果融合来保持细节对比度。然而，所提取的细节层通常还涉及噪声，其往往在融合步骤中被增强或放大。因此，为了解决融合步骤中的噪声增强的问题，自适应曝光校正器将基于ISO的NASF应用于经提取的细节，如下所示：
ΔI′＝ΔI×(s(I)*0.5+0.5) 公式(12)
其中细节图像ΔI＝I-IF，如先前关于公式(6)所讨论的，并且IF是通过对图像I应用一个或多个低通滤波器(例如，高斯滤波器)而被滤波的图像。
然后，最终图像
Figure GDA0003636791510000282
是加权线性组合：
Figure GDA0003636791510000283
其中f′(I)是经S曲线映射的结果的输出并且图像位于8比特空间中。
2.7噪声知晓颜色饱和度补偿：
由于上文描述的色调映射和细节融合仅发生在亮度通道上，所以色度通道将对应地补偿颜色饱和度的损失。然而，与使用NASF进行直方图拉伸、S曲线参数估计和细节融合相比，自适应曝光校正器计算额外的颜色标量而非NASF以用于颜色饱和度补偿。此颜色标量被定义为ISO值的函数，其中：
Figure GDA0003636791510000291
其中ISOmax和ISOmin分别是相机的最大和最小ISO值，基于人工图像选择偏好默认β＝0.25。更具体而言，β是对来自包括此图像的多个经颜色饱和度调整的版本的集合的偏好图像的人工选择的函数，如上文所描述的。此外，ISO是捕捉到的图像的当前ISO值，并且直接从其EXIF信息中读取。
然后，通过考虑标量r来修改本文档的章节2.2中描述的原始饱和度补偿缩放函数c(I)，使得：
c(I)＝0.5×(1.0+(γ×fΔ(I)+fΔ(255-I))×r)+0.5 公式(15)
其中fΔ(I)和fΔ(255-I)分别是通过S曲线函数的阴影和高光的增加，并基于人工图像选择偏好默认γ＝1.2。更具体而言，γ是对来自包括此图像的多个经颜色饱和度调整的版本的集合的偏好图像的人工选择的函数，如上文所描述的。
当更新RGB值时，缩放函数c(I)的经修改的版本然后被应用于RGB通道和亮度之间的差，如公式(16)所例示，其中：
I′{Red,Green,Blue}＝(I{Red,Green,Blue}-I)×c(I)+I′ 公式(16)
其中I是原始亮度通道，而I′是由S曲线映射和细节融合产生的经更新的亮度通道。RGB通道的上述函数例示了如何在不需要颜色转换的情况下，根据亮度强度变化对红、蓝、绿颜色值进行有效地更新。可对其他颜色空间执行类似的调整。
2.8数据驱动的参数估计：
上述值公式中的值参数通常是根据经验手动选择的。在各种实现中，并非根据经验选择此类参数，而是自适应曝光校正器应用大的前后图像数据集，从而允许对参数进行自动估计(例如，使用回归分析)。
3.0自适应曝光校正器的操作概要：
以上参考图1和图2描述以及进一步鉴于以上在章节1和2中提供的详细描述的各过程通过图3至图5的概括操作流程图来例示。具体而言，图3到图5提供了示例性操作流程图，其总结了自适应曝光校正器的一些不同实现的操作。图3到图5并不旨在提供本文所描述的自适应曝光校正器的所有各种实现的穷尽表示，并且这些图中所表示的实现仅出于解释的目的被提供。
进而，图3到图5中由断线或虚线所表示的任何框和各框之间的互连表示本文中所描述的自适应曝光校正器的可选或替代实现，并且如下文所述，这些可选或替代实现中的任一个或全部可以结合在本文通篇描述的其他替代实现来使用。
一般而言，如图3所例示，在各种实现中，自适应曝光校正器通过针对数字相机的多个ISO设置中的每一个ISO设置从由该数字相机捕捉的静态校准目标的多个对准图像中生成300噪声级函数(NLF)来开始操作。接下来，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器接收310从集合中对第一偏好图像的单个选择，所述集合包括该图像的多个版本，每个版本具有不同的曝光调整。然后，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器根据对应的对第一偏好图像的单个选择来估计320alpha函数。然后，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器根据对应的NLF和对应的alpha函数的组合来估计330噪声知晓缩放函数(NASF)。最后，在各种实现中，基于由数字相机的实例捕捉的任意输入图像的ISO，自适应曝光校正器应用340对应的一个NASF以对任意输入图像执行自动实时噪声知晓曝光校正。
类似地，如图4所例示，在各种实现中，自适应曝光校正器被实现为数字相机400，该数字相机被配置为对由该数字相机捕捉的任意输入图像410的曝光执行自动实时基于ISO的调整。在各种实现中，通过基于任意输入图像的ISO应用420可通过数字相机的计算功能执行的噪声知晓非线性直方图拉伸函数来生成任意输入图像的经直方图拉伸的版本来开始这些实时调整。如本文所描述的，此噪声知晓非线性直方图拉伸函数是根据噪声知晓缩放函数(NASF)预计算430的，该函数是数字相机的基于ISO的噪声估计和对经偏好曝光调整的图像的基于ISO的人工选择的组合函数。实时调整通过基于任意输入图像的ISO应用440可通过数字相机的计算功能执行的修改任意输入图像的经直方图拉伸的版本的亮度值的噪声知晓非线性曲线函数以生成任意输入图像的经亮度修改的版本来继续。接下来，实时调整过程通过基于任意输入图像的ISO应用450可通过数字相机的计算功能执行的NASF以修改从任意输入图像中提取的多个高频细节来继续。最后，实时调整通过应用460数字相机的计算功能以将经修改的高频细节融合到任意输入图像的经亮度修改的版本以产生输出图像来继续。
类似地，如图5所例示，在各种实现中，自适应曝光校正器执行用于从任意输入图像产生输出图像的实时方法。此实时方法通过接收500由数字相机捕捉的任意输入图像来开始操作。接下来，此实时方法通过确定510任意输入图像的ISO设置来继续。此实时方法通过基于ISO设置应用520噪声知晓非线性直方图拉伸函数来生成任意输入图像的经直方图拉伸的版本来继续。如本文所讨论的，此噪声知晓非线性直方图拉伸函数是根据噪声知晓缩放函数(NASF)预计算530的，该函数是数字相机的基于ISO的噪声估计和对经偏好曝光调整的图像的基于ISO的人工选择的组合函数。实时方法通过基于ISO设置修改540任意输入图像的经直方图拉伸的版本的亮度值来生成任意输入图像的经亮度修改的版本来继续。接下来，此实时方法通过从任意输入图像提取550多个高频细节来继续。此实时方法然后将高频细节融合560到任意输入图像的经亮度修改的版本以产生经融合的图像。最后，此实时方法基于ISO设置调整570经融合的图像的颜色饱和度以产生输出图像。
4.0自适应曝光校正器的示例性实现：
以下段落总结了在本文档中可要求保护的实现的各种示例。以下概述的实现不旨在限制可根据自适应曝光校正器的详细描述而要求保护的主题。此外，以下概述的任何或所有实现可用在整个详细描述中描述的一些或所有实现、和在一个或多个附图中例示的任何实现以及下文描述的任何其他实现和示例的任何所需组合来要求保护。以下实现和示例旨在参考本文档中描述的详细说明和图表而被理解。
在各种实现中，自适应曝光校正器通过用于在静态或视频相机捕捉各个体图像时对各个体图像执行全自动实时曝光校正的装置、过程或技术被实现。如此，自适应曝光校正器增强并改善了用户体验，使用户能够捕捉被自动改善的图像，而无需用户干预或输入。
作为第一示例，在各种实现中，经由用于对任意输入图像执行自动实时噪声知晓曝光校正的装置、过程或技术来实现自动曝光校正。此过程通过针对数字相机的多个ISO设置中的每一个ISO设置，从由该数字相机捕捉的静态校准目标的多个对准图像中生成噪声级函数(NLF)来开始。接下来，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器接收从集合中对第一偏好图像的单个选择，所述集合包括该图像的多个版本，每个版本具有不同的曝光调整。然后，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器根据对应的对第一偏好图像的单个选择来估计alpha函数。然后，针对数字相机的多个ISO设置中的每一个ISO设置，自适应曝光校正器根据对应的NLF和对应的alpha函数的组合来估计噪声知晓缩放函数(NASF)。最后，在各种实现中，基于由数字相机的实例捕捉的任意输入图像的ISO，自适应曝光校正器应用对应的一个NASF以对任意输入图像执行自动实时噪声知晓曝光校正。
作为第二示例，在各种实现中，经由装置、过程或技术进一步修改第一示例,进一步包括：针对数字相机的多个ISO设置中的每一个ISO设置，接收从集合中对第二偏好图像的单个选择，所述集合包括图像的多个版本，每个版本具有不同的颜色饱和度调整，以及针对数字相机的多个ISO设置中的每一个ISO设置，根据对应的对第二偏好图像的单个选择来估计颜色缩放函数(CSF)。
作为第三示例，在各种实现中，经由装置、过程或技术进一步修改第一示例,进一步包括：基于任意输入图像的ISO，应用对应的一个CSF以对任意输入图像执行自动实时噪声知晓颜色饱和度调整。
作为第四示例，在各种实现中，经由装置、过程或技术进一步修改第一示例、第二示例和第三示例中的任一,进一步包括：对于数字相机的多个ISO设置中的每一个ISO设置，通过将对应的一个NASF应用于线性拉伸函数来应用对应的一个NASF以生成噪声知晓非线性直方图拉伸函数，并将所得的非线性拉伸函数夹持到最小和最大强度范围。
作为第五示例，在各种实现中，经由装置、过程或技术进一步修改第四示例,进一步包括：基于任意输入图像的ISO，应用对应的一个噪声知晓非线性直方图拉伸函数以对任意输入图像执行自动实时直方图拉伸。
作为第六示例，在各种实现中，经由装置、过程或技术进一步修改第二示例、第三示例、第四示例和第五示例中的任一,进一步包括：对于数字相机的多个ISO设置中的每一个ISO设置，应用对应的一个NASF以估计噪声知晓非线性曲线，该曲线指定任意输入图像的一个或多个区域相对于该一个或多个区域的初始亮度值的经修改的亮度值。
作为第七示例，在各种实现中，经由装置、过程或技术进一步修改第二示例、第三示例、第四示例、第五示例和第六示例中的任一,进一步包括：从任意输入图像中提取多个高频细节，以及基于任意输入图像的ISO，应用对应的一个NASF来修改经提取的高频细节。
作为第八示例，在各种实现中，经由装置、过程或技术进一步修改第七示例,进一步包括：将经修改的高频细节融合到任意输入图像的经曝光校正的版本。
作为第九示例，在各种实现中，通过用于经由数字相机的计算功能对任意输入图像执行自动实时噪声知晓曝光校正的装置、过程或技术来实现自动曝光校正。此系统经由数字相机开始操作，该数字相机被配置为对由数字相机捕捉的任意输入图像的曝光执行自动实时的基于ISO的调整。在各种实现中，通过基于任意输入图像的ISO应用可通过数字相机的计算功能执行的噪声知晓非线性直方图拉伸函数来生成任意输入图像的经直方图拉伸的版本来开始这些实时调整。进一步，噪声知晓非线性直方图拉伸函数是根据噪声知晓缩放函数(NASF)预计算的，噪声知晓缩放函数(NASF)是数字相机的基于ISO的噪声估计和对经偏好曝光调整的图像的基于ISO的人工选择的组合函数。接下来，这些实时调整通过基于任意输入图像的ISO应用可通过数字相机的计算功能执行的修改任意输入图像的经直方图拉伸的版本的亮度值的噪声知晓非线性曲线函数以生成任意输入图像的经亮度修改的版本来继续。接下来，实时调整通过基于任意输入图像的ISO应用可通过数字相机的计算功能执行的NASF以修改从任意输入图像中提取的多个高频细节来继续。最后，这些实时调整通过应用数字相机的计算功能以将经修改的高频细节融合到任意输入图像的经亮度修改的版本以产生输出图像来继续。另外，在各种实现中，此第九示例可结合第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例和第十示例的一些或全部特征。
作为第十示例，在各种实现中，通过用于经由数字相机的计算功能对任意输入图像执行自动实时噪声知晓曝光校正的装置、过程或技术来实现自动曝光校正。此方法通过接收由数字相机捕捉的任意输入图像来开始操作。接下来，此实时方法通过确定任意输入图像的ISO设置来继续。此实时方法通过基于ISO设置应用噪声知晓非线性直方图拉伸函数来生成任意输入图像的经直方图拉伸的版本来继续。如本文所讨论的，此噪声知晓非线性直方图拉伸函数是根据噪声知晓缩放函数(NASF)预计算的，该噪声知晓缩放函数(NASF)是数字相机的基于ISO的噪声估计和对经偏好曝光调整的图像的基于ISO的人工选择的组合函数。实时方法通过基于ISO设置修改任意输入图像的经直方图拉伸的版本的亮度值来生成任意输入图像的经亮度修改的版本来继续。接下来，此实时方法通过从任意输入图像提取多个高频细节来继续。此实时方法然后将高频细节融合到任意输入图像的经亮度修改的版本以产生经融合的图像。最后，此实时方法基于ISO设置调整经融合的图像的颜色饱和度以产生输出图像。另外，在各种实现中，此第十示例可结合第一示例、第二示例、第三示例、第四示例、第五示例、第六示例、第七示例、第八示例和第九示例的一些或全部特征。
5.0示例性操作环境：
本文中所描述的自适应曝光校正器实现在多种类型的通用或专用计算系统环境或配置内是可操作的。图6例示了通用计算机系统的简化示例，在该通用计算机系统上可实现如本文中所描述的自适应曝光校正器的各种实现和元件。图6中示出的简化计算设备600中的断线或虚线所表示的任何框都表示该简化计算设备的替代实现。如以下所描述的，这些替代实现中的任意一个或全部可与本文通篇描述的其他替代实现组合使用。
简化计算设备600通常可以在具有至少某种最小计算能力的设备中找到，这些设备诸如个人计算机(PC)、服务器计算机、手持式计算设备、膝上型或移动计算机、诸如蜂窝电话和个人数字助理(PDA)等通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、音频或视频媒体播放器。
为允许设备实现本文描述的自适应曝光校正器实现，该设备应当具有足够的计算能力和系统存储器以启用基本计算操作。具体而言，图6中所示的简化计算设备600的计算能力一般由一个或多个处理单元610示出，并且还可包括一个或多个图形处理单元(GPU)615，这两者中的任一者或全部与系统存储器620通信。简化计算设备600的(一个或多个)处理单元610可以是专用微处理器(诸如数字信号处理器(DSP)、甚长指令字(VLIW)处理器、场可编程门阵列(FPGA)、或其他微控制器)或者可以是具有一个或多个处理核并且也可在多核处理器中包括一个或多个基于GPU的核或其它专用核的传统中央处理单元(CPU)。
另外，简化计算设备600还可包括其他组件，诸如例如通信接口630。简化计算设备600还可包括一个或多个传统计算机输入设备640(例如，触摸屏、触敏表面、指示设备、键盘、音频输入设备、基于语音或话音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)或此类设备的任何组合。
类似地，与简化计算设备600以及与自适应曝光校正器的任何其他组件或特征的各种交互(包括输入、输出、控制、反馈)以及对与自适应曝光校正器相关联的一个或多个用户或其他设备或系统的响应是通过各种自然用户界面(NUI)场景来启用的。自适应曝光校正器所启用的NUI技术和场景包括但不限于允许一个或多个用户以“自然的”方式与自适应曝光校正器进行交互的界面技术，而没有输入设备(诸如鼠标、键盘、遥控器等等)所施加的人工约束。
此类NUI实现是通过使用各种技术来启用的，包括但不限于使用从经由话筒或其他输入设备640或系统传感器605捕捉的用户讲话或发声导出的NUI信息。此类NUI实现还通过使用各种技术来启用，包括但不限于从系统传感器605或其他输入设备640导出的来自用户的面部表情以及用户的手、手指、腕、臂、腿、身体、头、眼等的位置、运动或定向的信息，其中这样的信息可以使用各种类型的2D或深度成像设备来捕捉，诸如立体或飞行时间相机系统、红外相机系统、RGB(红、绿和蓝)相机系统等等或这样的设备的任何组合。
此类NUI实现的进一步示例包括但不限于从触摸和指示笔识别、姿势识别(屏幕上以及邻近屏幕或显示器表面两者)、基于空中或接触的姿势、用户触摸(在各种表面、对象或其他用户上)、基于悬停的输入或动作等等导出的NUI信息。此类NUI实现还可包括但不限于使用单独地或与其他NUI信息相组合地评估当前或过去用户行为、输入、动作等以预测诸如用户意图、愿望和/或目标等信息的各种预测机器智能过程。不管基于NUI的信息的类型或源如何，这样的信息随后可被用来发起、终止、或以其他方式控制或与自适应曝光校正器的一个或多个输入、输出、动作或功能特征交互。
然而，上述示例性NUI场景可通过将对人工约束或附加信号的使用与NUI输入的任何组合相组合来被进一步扩充。此类人工约束或附加信号可由输入设备640(诸如鼠标、键盘以及遥控器)或由各种远程设备或用户佩戴的设备(诸如加速度计、用于接收表示由用户的肌肉所生成的电信号的肌电信号的肌电传感器、心率监视器、用于测量用户排汗的电流皮肤传导传感器、用于测量或以其他方式感测用户脑活动或电场的可穿戴生物传感器或远程生物传感器、用于测量用户体温变化或差异的可穿戴生物传感器或远程生物传感器，等等)施加或生成。从这些类型的人工约束或附加信号导出的任何这样的信息可以与任何一个或多个NUI输入相组合以发起、终止或以其他方式控制或与自适应曝光校正器的一个或多个输入、输出、动作、或功能特征交互。
简化计算设备600还可包括其他光学组件，诸如一个或多个传统计算机输出设备650(例如显示设备655、音频输出设备、视频输出设备、用于传送有线或无线数据传输的设备等)。用于通用计算机的典型通信接口630、输入设备640、输出设备650和存储设备660是本领域技术人员所公知的，且将不在此详细描述。
图6中所示的简化计算设备600还可包括各种计算机可读介质。计算机可读介质可以是可由计算设备600经由存储设备660访问的任何可用介质，并且包括是可移动670和/或不可移动680的易失性和非易失性介质，该介质用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其他数据等信息。
计算机可读介质包括计算机存储介质和通信介质。计算机存储介质指代有形的计算机可读或机器可读介质或存储设备，诸如数字通用盘(DVD)、蓝光盘(BD)、压缩盘(CD)、软盘、磁带驱动器、硬盘驱动器、光学驱动器、固态存储器设备、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘存储、智能卡、闪存(例如，卡、棒和键驱动器)、磁带盒、磁带、磁盘存储、磁条或其他磁存储设备。另外，所传播的信号不被包括在计算机可读存储介质的范围内。
诸如计算机可读或计算机可执行指令、数据结构、程序模块等信息的保持还可通过使用各种上述通信介质(与计算机可读介质相对)中的任一种来编码一个或多个已调制数据信号或载波或其他传输机制或通信协议来实现，并且可包括任何有线或无线信息传递机制。术语“已调制数据信号”或“载波”一般指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。例如，通信介质可包括诸如有线网络或直接线连接等携带一个或多个已调制数据信号的有线介质，以及诸如声学、射频(RF)、红外线、激光和其他无线介质等用于传送和/或接收一个或多个已调制数据信号或载波的无线介质。
此外，可以按计算机可执行指令或其他数据结构的形式存储、接收、传送或者从计算机可读或机器可读介质或存储设备和通信介质的任何所需组合中读取具体化本文描述的自适应曝光校正器实现中的部分或全部的软件、程序和/或计算机程序产品。另外，所要求保护的主题可使用标准编程和/或工程设计技术来被实现为方法、装置或制品以产生软件、固件625、硬件或其任意组合来控制计算机，从而实现所公开的主题。如本文中所使用的术语“制品”旨在涵盖可以从任何计算机可读设备或介质访问的计算机程序。
本文所描述的自适应曝光校正器实现还可在由计算设备执行的诸如程序模块等计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。自适应曝光校正器实现还可以在其中任务由通过一个或多个通信网络链接的一个或多个远程处理设备执行或者在该一个或多个设备的云中执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于包括媒体存储设备的本地和远程计算机存储介质两者中。另外，上述指令可以部分地或整体地作为可以包括或不包括处理器的硬件逻辑电路来实现。
替代地或附加地，本文中所描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。作为示例而非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
6.0其他实现：
以上对自适应曝光校正器的描述是出于说明和描述的目的而提供的。这并不旨在穷举所要求保护的主题或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。此外，可以按期望的任何组合来使用以上所提及的替代实现中的任一个或全部，以形成自适应曝光校正器的附加的混合实现。自适应曝光校正器的范围并不旨在由具体实施方式来限定，而是由所附权利要求书来限定。尽管用结构特征和/或方法动作专用的语言描述了本发明主体，但可以理解，所附权利要求书中定义的主体不必限于以上所描述的具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例形式而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。
以上描述的内容包括示例实现。当然，出于描绘所要求保护的主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，许多进一步的组合和排列都是可能的。因此，所要求保护的主题旨在涵盖落入上文描述的自适应曝光校正器的详细描述的精神和范围内的所有这样的更改、修改和变化。
对于由上述组件、设备、电路、系统等执行的各种功能，除非另外指明，否则用于描述这些组件的术语(包括对“装置”的引用)旨在对应于执行所描述的执行此处在所要求保护的主题的示例性方面中所示的功能的组件的指定功能(例如，功能上等效)的任何组件，即使这些组件在结构上不等效于所公开的结构。关于这一点，还应认识到，前述实现包括具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的系统以及计算机可读存储介质。
有多种方式来实现上述实现(诸如，适当的应用编程接口(API)、工具包、驱动程序代码、操作系统、控件、孤立或可下载的软件对象等等)，它们使应用和服务能使用在此描述的各实现。所要求保护的主题还构想从API(或其他软件对象)的观点来看，以及从根据本文阐述的实现操作的软件或硬件对象的观点来看的用途。由此，本文中描述的各种实现可具有完全采用硬件、或部分采用硬件且部分采用软件、或完全采用软件的方面。
上述系统已经参考若干组件之间的交互被描述。将理解，这些系统和组件可包括那些组件或指定的子组件、某些指定的组件或子组件、和/或附加的组件，并且根据上述内容的各种置换和组合。子组件还可作为通信地耦合到其他组件的组件来实现，而不是被包括在父组件内(例如，分层组件)。
另外，一个或多个组件可被组合成提供聚集功能的单个组件，或被分成若干单独的子组件，且诸如管理层等任何一个或多个中间层可被设置成通信耦合到这样的子组件以便提供集成功能。本文中所描述的任何组件还可与本文中未具体描述但通常已知的一个或多个其他组件进行交互以实现这种相互作用。

Claims (10)

1.一种计算机实现过程，所述计算机实现过程包括应用通用计算设备以执行用于以下的过程动作：
针对数字相机的多个ISO设置中的每一个ISO设置，从所述数字相机捕捉的静态校准目标的多个对准图像中生成噪声级函数NLF；
针对所述数字相机的所述多个ISO设置中的每一个ISO设置，接收由人类观察者从集合中对单个偏好图像作出的选择，所述集合包括此图像在不同ISO设置下的多个版本，每个版本具有不同的曝光调整；以及
基于所选偏好图像的所述曝光调整来估计alpha函数，从而获得用于所述数字相机的所述多个ISO设置的一组alpha函数，其中所述alpha函数控制不同噪声和照明条件下的感知范围；
针对所述多个ISO设置中的相应ISO设置，根据对应的NLF和对应的alpha函数的组合来估计噪声知晓缩放函数NASF，从而获得用于所述数字相机的多个ISO设置的一组NASF；以及
应用与用于捕捉输入图像的ISO设置相对应的NASF以对所述输入图像执行自动实时噪声知晓曝光校正，从而根据所述输入图像实时生成经曝光校正的输出图像。
2.如权利要求1所述的计算机实现过程，其特征在于，进一步包括：
针对所述数字相机的所述多个ISO设置中的每一个ISO设置，接收由人类观察者从集合中对另一单个偏好图像作出的选择，所述集合包括此图像在不同ISO设置下的多个版本，每个版本具有不同的颜色饱和度调整；以及
针对所述数字相机的所述多个ISO设置中的每一个ISO设置，基于该另一单个偏好图像的所述颜色饱和度调整来估计颜色缩放函数CSF，从而获得用于所述数字相机的所述多个ISO设置的一组CSF。
3.如权利要求2所述的计算机实现过程，其特征在于，进一步包括应用与用于捕捉所述输入图像的ISO设置相对应的CSF以对所述输入图像执行自动实时噪声知晓颜色饱和度调整。
4.如权利要求1所述的计算机实现过程，其特征在于，进一步包括，对于所述数字相机的所述多个ISO设置中的每一个ISO设置，通过将对应于所述数字相机的多个ISO设置中的相应ISO设置的NASF应用于线性拉伸函数来应用对应于所述数字相机的多个ISO设置中的相应ISO设置的NASF以生成噪声知晓非线性直方图拉伸函数，并将所得的非线性拉伸函数夹持到最小和最大强度范围。
5.如权利要求4所述的计算机实现过程，其特征在于，进一步包括，应用与用于捕捉所述输入图像的ISO设置相对应的噪声知晓非线性直方图拉伸函数以对所述输入图像执行自动实时直方图拉伸。
6.如权利要求1所述的计算机实现过程，其特征在于，进一步包括，对于所述数字相机的所述多个ISO设置中的每一个ISO设置，应用对应于所述数字相机的多个ISO设置中的相应ISO设置的NASF以估计噪声知晓非线性曲线，该曲线指定任意输入图像的一个或多个区域相对于该一个或多个区域的初始亮度值的经修改的亮度值。
7.如权利要求1所述的计算机实现过程，其特征在于，进一步包括：
从任意输入图像中提取多个高频细节；以及
应用与用于捕捉所述输入图像的ISO设置相对应的NASF来修改经提取的高频细节。
8.如权利要求7所述的计算机实现过程，其特征在于，进一步包括将经修改的高频细节融合到所述任意输入图像的经曝光校正的版本。
9.一种用于从任意输入图像产生输出图像的系统，包括：
数字相机，所述数字相机被配置为对由所述数字相机捕捉的任意输入图像的曝光执行自动实时基于ISO的调整；
所述自动实时基于ISO的调整进一步包括根据权利要求1至8之一所述的计算机实现过程。
10.一种计算机存储设备，所述计算机存储设备具有存储于其中的计算机可执行指令，所述计算机可执行指令使计算设备执行根据权利要求1至8之一所述的计算机实现过程。
CN201680088054.5A 2016-07-26 2016-07-26 实时自适应阴影和高光增强 Active CN109478316B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/091689 WO2018018405A1 (en) 2016-07-26 2016-07-26 Real-time adaptive shadow and highlight enhancement

Publications (2)

Publication Number Publication Date
CN109478316A CN109478316A (zh) 2019-03-15
CN109478316B true CN109478316B (zh) 2022-08-26

Family

ID=61015344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088054.5A Active CN109478316B (zh) 2016-07-26 2016-07-26 实时自适应阴影和高光增强

Country Status (4)

Country Link
US (1) US11128822B2 (zh)
EP (1) EP3491620B1 (zh)
CN (1) CN109478316B (zh)
WO (1) WO2018018405A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554991A (zh) * 2019-09-03 2019-12-10 浙江传媒学院 一种文本图片的矫正与管理方法
CN116113976A (zh) * 2020-10-29 2023-05-12 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN112887597A (zh) * 2021-01-25 2021-06-01 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
US11810274B2 (en) * 2021-03-04 2023-11-07 Nvidia Corporation Tone management using tone gain functions for high dynamic range imaging applications
CN114071026B (zh) * 2022-01-18 2022-04-05 睿视(天津)科技有限公司 基于红分量特征检测的自动曝光控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306788A (zh) * 2015-10-27 2016-02-03 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600833B1 (en) 1999-07-23 2003-07-29 Intel Corporation Methodology for color correction with noise regulation
US6813389B1 (en) 1999-12-15 2004-11-02 Eastman Kodak Company Digital image processing method and system including noise reduction and tone scale adjustments
US6937772B2 (en) 2000-12-20 2005-08-30 Eastman Kodak Company Multiresolution based method for removing noise from digital images
JP2005244559A (ja) 2004-02-26 2005-09-08 Sanyo Electric Co Ltd 画像信号処理装置
KR101225060B1 (ko) 2006-03-08 2013-01-23 삼성전자주식회사 이미지 센서에서 노이즈 판단 기준을 추정하는 방법 및장치
KR100696165B1 (ko) 2006-08-28 2007-03-20 엠텍비젼 주식회사 이미지 밝기 보정 장치 및 방법, 이를 수행하는 프로그램이기록된 기록 매체
WO2009001467A1 (ja) 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
US20090002544A1 (en) 2007-06-29 2009-01-01 Sony Ericsson Mobile Communications Ab Methods of adding additional parameters during automatic exposure for a digital camera and related electronic devices and computer program products
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
US8411943B2 (en) 2008-03-31 2013-04-02 Aptina Imaging Corporation Method and apparatus for image signal color correction with reduced noise
US8164657B2 (en) 2008-06-27 2012-04-24 AltaSens, Inc Pixel or column fixed pattern noise mitigation using partial or full frame correction with uniform frame rates
US8035728B2 (en) 2008-06-27 2011-10-11 Aptina Imaging Corporation Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
US7832928B2 (en) 2008-07-24 2010-11-16 Carestream Health, Inc. Dark correction for digital X-ray detector
US8102444B2 (en) 2008-09-11 2012-01-24 Zoran Corporation Method and apparatus for post noise reduction black level correction
US20100195906A1 (en) 2009-02-03 2010-08-05 Aricent Inc. Automatic image enhancement
CN101986688B (zh) 2009-07-29 2012-07-25 展讯通信（上海）有限公司 高感光速度噪声的消除方法及数字图像处理设备
KR101594300B1 (ko) 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US8639050B2 (en) * 2010-10-19 2014-01-28 Texas Instruments Incorporated Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
US9813632B2 (en) * 2011-05-19 2017-11-07 Foveon, Inc. Method of adjusting digital camera image processing parameters
US8554011B2 (en) * 2011-06-07 2013-10-08 Microsoft Corporation Automatic exposure correction of images
TWI519151B (zh) 2012-08-30 2016-01-21 義晶科技股份有限公司 影像處理方法以及影像處理裝置
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306788A (zh) * 2015-10-27 2016-02-03 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A note on multi-image denoising;Toni Buades等;《2009 International Workshop on Local and Non-Local Approximation in Image Processing》;20091006;第1-15页 *
Real-time noise-aware tone mapping;Gabriel Eilertsen等;《ACM Transactions on Graphics》;20151026;第34卷(第6期);第198:1-198:15页 *

Also Published As

Publication number Publication date
US20210250531A1 (en) 2021-08-12
CN109478316A (zh) 2019-03-15
WO2018018405A1 (en) 2018-02-01
EP3491620A4 (en) 2020-02-12
EP3491620A1 (en) 2019-06-05
US11128822B2 (en) 2021-09-21
EP3491620B1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP7152540B2 (ja) フィルタリング方法、及びシステム
CN109478316B (zh) 实时自适应阴影和高光增强
US9826149B2 (en) Machine learning of real-time image capture parameters
JP5615973B2 (ja) 高ダイナミックレンジ画像を捕捉するデバイスの作動法
US8554011B2 (en) Automatic exposure correction of images
US11189017B1 (en) Generalized fusion techniques based on minimizing variance and asymmetric distance measures
TWI697867B (zh) 測光補償方法及其相關監控攝影設備
US20140140615A1 (en) Global Approximation to Spatially Varying Tone Mapping Operators
US9113089B2 (en) Noise-constrained tone curve generation
US10297055B2 (en) Image processing apparatus and method for modifying a display texture of an image
US11094039B1 (en) Fusion-adaptive noise reduction
WO2023030139A1 (zh) 图像融合方法、电子设备和存储介质
KR20140118031A (ko) 영상 처리 장치 및 방법
JP2005277981A (ja) 画像処理のための対象画像の選択
CN107451974B (zh) 一种高动态范围图像的自适应再现显示方法
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置
CN109982012B (zh) 图像处理方法及装置、存储介质、终端
JP2015076642A (ja) 画像処理装置及びプログラム
CN115375592A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113096033A (zh) 基于Retinex模型自适应结构的低光照图像增强方法
TWI680675B (zh) 影像處理裝置與相關的影像處理方法
Pan et al. Efficient retinex-based low-light image enhancement through adaptive reflectance estimation and lips postprocessing
Rao et al. Weber’s law based camera response model for low light image contrast enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant