CN101523888A

CN101523888A - 使用预定色调再现曲线来处理图像的系统和方法

Info

Publication number: CN101523888A
Application number: CNA2007800381853A
Authority: CN
Inventors: G·G·马库; M·齐默; D·海沃德
Original assignee: Apple Computer Inc
Current assignee: Apple Inc
Priority date: 2006-10-13
Filing date: 2007-09-27
Publication date: 2009-09-02
Anticipated expiration: 2027-09-27
Also published as: EP2074814A1; US20080088858A1; WO2008048767A1; EP2074814B1; EP2448242A1; CN102420995A; HK1167768A1; JP4991869B2; JP5685221B2; US7893975B2; JP5102896B2; CN101523888B; CN102420995B; EP2448242B1; JP2015043600A; JP2012191635A; JP2012050108A; JP2010507281A

Abstract

本发明涉及使用预定色调再现曲线来处理图像的系统和方法。本发明公开了一种自动化RAW图像处理方法和系统。RAW图像和与该RAW图像相关联的元数据是从数码相机或其他来源获取的。通过使用处理设备的操作系统服务，可以对RAW图像和相关元数据进行自动处理，以便在绝对颜色空间中生成结果图像。在执行自动处理时，预定色调再现曲线将被应用于内插RAW图像，以便生成结果图像。该预定色调再现曲线是从多个基准图像中推导得到的，并且是根据与RAW图像相关联的元数据来选择的。结果图像随后通过操作系统服务的应用编程接口，可以被在处理设备上运行的应用程序所使用。

Description

使用预定色调再现曲线来处理图像的系统和方法

相关申请的交叉引用

本申请是2006年10月13日提交的名为“System and Method forRaw Image Processing”的美国临时申请序列号60/829,519的非临时申请，其中该临时申请在这里全部引入作为参考，并且据此要求享有优先权。

技术领域

本公开主题主要涉及将RAW图像处理到绝对颜色空间，尤其涉及在RAW图像的预处理期间推导得到用于图像转换的色调再现曲线以及应用该色调再现曲线的系统和方法。

背景技术

对于数码相机的数字图像传感器、例如电荷耦合器件(CCD)来说，其具有排列在滤色阵列(colored filtered array)或图案中的多个光位点(photo-site)，所述阵列或图案可以是在美国专利No.3,971,065中描述的RGB Bayer图案。在RGB Bayer图案中，每一个光位点都被滤波，以使其接受红色、绿色、蓝色或是一些其变体。由数字成像传感器捕捉的原始逐位对应(bit for bit)数字图像文件被称为RAW文件或RAW图像。根据变量数目，RAW图像一般可能需要8至18MB的存储空间。滤色器阵列和数字成像传感器的类型通常根据数码相机制品而有所不同。例如，某些滤色阵列使用黄色、青色、绿色和洋红色图案。

通常，数码相机具有图像处理流程(pipeline，或称“流水线”)，该处理流程对RAW图像执行去马赛克(demosaicing)或是去Bayer化(de-Bayering)处理，并且使用压缩算法来变换图像，以便输出适于显示和查看的JPEG或其他类型的压缩文件。然而，数码相机捕捉的RAW图像可以上传到计算机，诸如Apple的Aperture 1.0之类的在计算机上工作的计算机软件于是就能让用户对RAW图像执行各种人工操作。

经过处理的数字图像的颜色信息可以用多个颜色模型表征。其中一种颜色模型是RGB颜色空间，它使用了红色(R)、绿色(G)和蓝色(B)的组合来生成多种颜色。用于数码相机的一些RGB颜色空间包括标准RGB(sRGB)和Adobe RGB。另一种颜色模型则是国际照明协会(CIE)于1931年创建的CIE XYZ颜色空间。数学技术可用于将颜色信息从一个颜色空间变换到另一个颜色空间。

数码相机具有白平衡设置，例如自动、白炽灯、荧光灯、多云、晴朗或灵敏度(例如ISO100，ISO2000等等)。这些设置用于将数码相机白平衡与来自照亮图像中的对象的光源的光线色温相匹配。在本领域中定义了各种标准光源的特性。例如，光源A用于表示白炽灯照明，并由2856K的黑体辐射计的分布(profile)所定义。光源系列D用于表示自然日光。在D系列光源中使用数字来指示来源的相关色温(CCT)。举例而言，光源D50的CCT是5000K，而光源D65的CCT是6500K。光源系列F用于表示各类荧光照明。例如，光源F2表示冷白荧光，而光源F11则表示窄带荧光。在用数码相机在某种光源下获取数字图像时，就可以用白点转换技术来估计该图像在不同光源下的特性。

在对用数码相机或其他成像设备获取的数字图像进行处理的时候，必须对各种因素加以考虑。其中一个考虑因素涉及保留数字图像的空间质量和细节，而另一个考虑因素则涉及充分表现数字图像颜色。在很多方面，这两个考虑因素是相互联系的。

附图说明

通过参考下文中结合附图的对具体实施例的详细描述，可以最佳地理解本公开主题的优选实施例及其他方面，在附图中：

图1示出了用于产生和处理RAW图像的系统的一个实施例。

图2示出了根据本公开的某些教导来实施RAW处理的通用处理设备的软件栈的一个实施例。

图3示出了根据本公开的某些教导的自动化RAW图像处理流程的一个实施例。

图4示出了图3自动化RAW处理阶段的一个实施例。

图5示出了用于为图4的RAW处理阶段执行高光恢复(highlightrecovery)的处理的一个实施例。

图6示出了用于在图4的RAW处理阶段中通过为相机推导分布来减小噪声和亮点(stuck pixel)的处理的一个实施例。

图7示出了用于为图4的RAW处理阶段创建半尺寸绿色边缘图像(half-size green edge image)处理的一个实施例。

图8示出了用于为图4的RAW处理阶段创建未锐化的和经锐化的绿色重建图像的处理的一个实施例。

图9示出了用于为图4的RAW处理阶段创建半尺寸RGB图像的处理的一个实施例。

图10示出了用于为图4的RAW处理阶段创建红色重建图像和绿色重建图像的处理的一个实施例。

图11示出了用于图4的RAW处理阶段的色度模糊(chromablur)操作的一个实施例。

图12示出了用于推导在图3的第一转换阶段中使用的特征矩阵的处理的一个实施例。

图13示出了用于推导在图3的第一转换阶段中使用的黑阶(black level)调整的处理的一个实施例。

图14示出了用于推导在图3的第一转换阶段中使用的转换矩阵的处理的一个实施例。

图15A～15C示出了用于推导在图3的第二转换阶段中使用的色调再现曲线的处理的一个实施例。

图16A示出了用于图3中的自动化RAW图像处理流程的附加自动化处理。

图16B以输入和输出亮度表的方式示出了图16A中的自动化处理的详图。

图16C示出了在图3的自动化RAW图像处理流程中使用的亮度增强(luminance boost)的一个实施例。

在附图中举例显示并且在这里详述了本公开主题的具体实施例，但是本公开主题是很容易采取各种修改和替换形式的。这些附图和书面描述并不意图以任何方式限制本发明原理的范围。相反，如35 U.S.C§112规定的那样，提供这些附图和书面描述是为了参考特定实施例来向本领域技术人员例证本发明的原理。

具体实施方式

A.RAW图像处理系统

参考图1，该图示意性示出了用于产生和处理RAW图像的系统100的一个实施例。系统100包括成像设备110和通用处理设备150。成像设备110和通用处理设备150通常可以一并集成在一个具有必要处理和存储能力的设备中，例如数字照相机。作为替换，设备110和150也可以是图1所示的分开的元件。例如，成像设备110可以是数字照相机、照相手机等等，而处理设备150则可以是计算机、膝上型计算机等等。出于例证目的，在后续描述中将成像设备110称为相机，并且将处理设备150称为计算机。

相机110包括用于捕捉数字图像的成像传感器120。该成像传感器120可以是在本领域已知并使用的各种类型的成像传感器中的任何一种，例如电荷耦合器件。相机110还具有处理器和存储器硬件130、以及用于将数据传递到计算机150的接口140。计算机150则具有接口160、处理器和存储器硬件170、操作系统和软件180、以及输出设备190。

在使用中，相机110的成像传感器120捕捉RAW图像122。如前所述，成像传感器120具有一个可以按RGB Bayer图案排列的滤色阵列。由此，处于RAW图像122中的每个光位点的颜色值代表红色强度值，绿色强度值或蓝色强度值，并且每个值通常都是范围在0～4095之间的10比特值。其他相机制品可以具有其他的滤色器阵列，由此，RAW图像122可以具有不同信息。以Sony的“828”数码相机为例，其颜色值处于代表红色、绿色、蓝色和深黄绿色(Emerald)的四通道RGBE坐标中。出于描述目的，后续论述将参考具有RGB值的RAW图像122。

在捕捉了RAW图像之后，处理器/存储器硬件130可以经由接口140输出RAW图像122，该接口140可以是通用串行总线(USB)接口。计算机150于是就可以使用其接口160来接收RAW图像122。优选地，计算机150将RAW图像122存储为主文件，以便保持RAW图像122的原始拷贝，同时还对RAW图像122的拷贝执行下述预处理。在一种从相机110输入RAW图像122的替换方案中，该图像可以是从网络、存储卡、另一台计算机或是诸如闪存、外部硬盘驱动器或CDROM之类的外部存储介质输入的。

使用稍后详述的技术，处理器/存储器硬件170和操作系统/软件180对RAW图像122的拷贝进行预处理，并最终将其转换到适于显示和查看的绝对颜色空间(例如sRGB，Adobe RGB等等，其也被称为渲染颜色空间)。在预处理了RAW图像122并将其转换到绝对颜色空间之后，处理器/存储器硬件170和操作系统/软件180使得该结果图像(resulting image)可供计算机150上的各类软件和应用使用。例如，所得到的预处理图像对于在其中可以对图像进行处理、查看、操纵等动作的成像应用可用，该成像应用诸如可以是Apple Computer的Preview、iPhoto和Aperture软件组件等。

如上所述，操作系统/软件180用于预处理RAW图像122。由此，现在就转到对用于预处理RAW图像122的软件架构所进行的描述上。

B.RAW图像处理系统的软件栈

图2示出了用于通用处理设备，诸如用于图1计算机150的软件栈200的一个实施例的分层图示。软件栈200的某些部件甚至可以是图1中数码相机110的一部分。该软件栈200包括操作系统(O/S)核心层210、O/S服务层220、资源层230、应用框架和服务层240、以及应用层250。这些层是例证性的，并且省略了某些特征。例如，在这里并未显示处于O/S核心层210下方的低级软件和固件。通常，在某一层中显示的软件单元使用的是位于其下方的层的资源，并且为其上方的层提供服务。但是在实践中，特定软件单元的所有组件未必完全按照这种方式工作。

O/S核心层210在一种高保护性的环境中提供核心O/S功能。在O/S核心层210之上，O/S服务层220将功能服务扩展到其上方的层。用于计算机操作系统的O/S服务层220提供多种功能服务，用于数码相机的相机内置操作系统则可以提供较为有限的服务。在本实施例中，O/S服务层220具有依照下述各种技术来预处理RAW图像的RAW图像处理服务222。

资源层230位于O/S服务层上方并显示图形资源，例如开放图形库(“OpenGL”)、Apple Computer的PDF kit等等。由Silicon Graphics，公司开发的OpenGL是一种用于各种图形功能的规范。RAW处理应用编程接口(API)232位于资源层230与O/S服务层220中的RAW图像处理服务222之间。层240是一个功能混合体(amalgamation)，它通常被表示成两个层，即应用框架和应用服务。这一层240为驻留在最高层的应用程序提供高级且通常是功能性的支持，其中所述最高层在这里被显示成应用层250。

RAW处理服务232利用通用处理设备中的中央处理单元(CPU)来预处理RAW图像。RAW处理服务232还可以使用OpenGL，从而得以利用与通用处理设备相关联的图形处理单元(GPU)。RAW处理API232则又使得该服务232的经预处理图像可被应用层250中的各种应用程序使用。由此，就可以使用O/S服务层220中的RAW图像处理服务222以及通用处理设备的硬件(例如CPU/GPU)来对RAW图像进行预处理。以此方式，RAW处理就可以集中在OS服务层222，以便生成与相机提供的常规JPEG文件相比具有更高质量并且可编辑性增强的图像，这是因为RAW图像包含更多的信息。

此外，可以使得经预处理的图像可以被应用层250中具有或不具有RAW图像处理能力的各种应用使用。在层250中可以使用经预处理的图像的应用程序可以包括字处理应用、图片应用、地址簿应用、电子邮件应用或是其他任何可以使用图像的应用。此外，这里公开的RAW处理技术也可应用于RAW视频，从而能让使用视频的应用也可从所公开的技术中受益。

C.RAW图像处理流程的综述

如上述实施例所示，对RAW图像的预处理可以在RAW图像处理服务222中执行，其中该服务222是在通用计算机的O/S服务层220中工作的。流程是一种用于表征图像处理的方式。图3示出了根据本公开的某些教导的RAW图像处理流程300的一个实施例。该流程300被例证成多个阶段301、302、303和304，用于对来自数码相机310或其他来源的RAW图像312执行预处理，并且输出供各种应用(未显示)使用的结果图像349。在初始图像捕捉阶段301，相机或其他成像设备310捕捉图像，并且以RAW格式将其存储为前述RAW图像或文件312。这时，取决于相机310的处理能力，RAW图像312可以从相机310传送到通用处理设备或计算机(未显示)上，也可以保留在相机310上，以供RAW处理。

由于后续各处理阶段仍将取决于图像312和相机310的属性，因此，为了能够实施后续处理，RAW图像312的白平衡和其他元数据314以及用于获取RAW图像312的特定相机310将被识别。元数据314可以采用可交换图像文件(EXIF)格式，并且可以包括如何捕捉RAW图像312的图像信息，该信息包括例如快门速度、光圈、白平衡、曝光补偿、测光设置、ISO设置、日期和时间。

在RAW处理阶段302，RAW处理是使用一个或多个不同处理而在RAW图像312上执行的，这些处理包括黑色减法(blacksubtraction)处理320、高光恢复处理321、亮点消除处理322、自动曝光调整处理323、去马赛克(去Bayer化)处理324、以及色度模糊处理325。RAW处理阶段302的一个目的是保留在RAW图像312中所捕捉场景的空间质量和细节。

为了实施这些处理320～325，使用元数据314来获取与这些处理相关联的各种RAW处理算法(方框328)。虽然这些处理320～325中的一个或多个处理是依照特定顺序显示的，但是也可以根据具体需要来重新排列这些处理，其中所述需要可以是与相机相关联的任何细节。此外，出于各种原因，可以使用或是不使用这些处理320～325中的一个或多个处理，并且还可以使用图像处理技术中的其他常用处理。更进一步，这些处理320～325中的部分处理实际上可以用一种在这里未必表述的方式相互结合。

在RAW处理阶段302的结尾，去马赛克处理326从初始RAW图像312中生成相机RGB图像329。在这里，相机RGB表明该图像329具有未经渲染的RGB颜色空间，例如ISO 17321中定义的ISORGB。相机RGB图像329具体化了在初始RAW图像312中所捕捉场景的原始比色法(original colorimetry)估计，并且相机RGB图像329保持了原始图像的动态范围和色域(gamut)。该相机RGB图像329还必须经历附加处理，以便能够借助输出设备而被显示、查看或打印。

通常，去马赛克处理326会将设备特定的初始图像312的RAW数据变换成与用于捕捉该原始图像312的设备(例如相机)无关的结果图像中的未经渲染的RGB数据。去马赛克处理326的实际实施方式可以取决于图像312的细节和/或用以捕捉该图像312的成像传感器。例如，由于每个光位点都只有关于R、G或B的一种颜色值，因此，对相机RGB图像329中的像素来说，其实际颜色是从RAW图像312的多个光位点内插的。这种图像重建处理被称为去马赛克(对Bayer矩阵滤波器来说则称为去Bayer化)。一般来说，去马赛克处理326会选取位于RAW图像312的光位点上并用R、G或B表示的多个颜色值，并且会在相机RGB图像329中输出具有R、G和B值的像素。给定像素的各分量通常是从其相邻像素强度计算的。由此，去马赛克处理326通常是设备特定的，这是因为该处理取决于在相机滤色器阵列中滤波器的排列。

跟随RAW处理阶段302之后的是两个转换阶段303和304。这些转换阶段303和304的一个目的是充分表示所捕捉的原始场景的颜色。在很多方面，这些阶段303和304中对于充分表示颜色的考虑是与保持RAW处理阶段302的细节相互关联的。这些转换阶段303和304的最终结果是处于经渲染颜色空间，例如标准RGB或Adobe RGB中的结果图像349。然后，如先前参考图2描述的那样，该结果RGB图像304可供字处理应用、图片应用、地址簿应用、电子邮件应用或其他任何可能使用图像的应用使用。

在第一转换阶段303，相机RGB图像329被自动处理并转换成XYZ颜色空间中的XYZ三色激励值，由此生成XYZ图像339。由于其各种优点，在这里使用了XYZ颜色空间，由此，图像数据将与该阶段303中进行的处理相兼容。例如，通过转换到XYZ颜色空间，就能实现颜色值与可测量色温的相关，以便充分表示由相机310所捕捉的场景的原始颜色。

在这个阶段303，黑色补偿处理330调整相机RGB图像329中的黑阶。同时，矩阵转换处理332将相机RGB图像329转换成具有XYZ三色激励值的XYZ图像339。为了在这一阶段303期间进行上述处理，某些元数据314(包括白平衡)被用于获取转换矩阵(M)(方框334)，以及执行后续详述的其他必要计算。

通常，黑色补偿处理330从相机RGB图像329中减去黑阶，以便在后续阶段提供更为有效的编码和处理。此外，要减去的黑阶取决于图像内容和相机模型，并且该黑阶还可以被调整用以降噪或是生成更好的颜色渲染(rendition)。黑色补偿处理330是为那些用于捕捉RAW图像312的特定相机配置的。该处理330接收具有R、G和B值的像素作为输入，并且输出经黑色补偿的R、G和B值。黑色补偿处理330对每一个RGB通道上的黑色偏移(black offset)进行优化，使得从相机RGB三色激励值到XYZ三色激励值的转换将会具有最小误差。黑色补偿处理330是从参考图13更详细描述的处理推导得到的。

矩阵转换处理332结合上述黑色补偿，并采用相机RGB图像329的R、G和B值作为输入，并且输出XYZ三色激励值。通常，处理332使用特定于相机、模型等且与预定光源相关联的两个或更多个相机特征矩阵M₁和M₂。每一个相机特征矩阵M₁和M₂都是通过将测得的色表(color chart)中的颜色值与给定相机拍摄该色表时感测的数据进行比较而推导得出的。在下文中将会参考图12来描述一个用于得出特征矩阵的实施例。这一阶段303的一个优点在于：关于相机特征矩阵的预计算和推导处理包含的是一个与用户主观性以及RAW转换的其他实施方式无关的自动处理。由此，流程300中的自动化处理可以提供经质量处理的图像，以供计算机的各种应用使用。

通过使用用以获取RAW图像312的相机所特有的相机特征矩阵，处理332推导得出一个转换矩阵(M)，该矩阵随后用于对相机RGB图像329执行黑色补偿，并将其转换成XYZ三色激励值。转换矩阵M与元数据314中的白平衡结合使用，由此可以估计从相机RGB到XYZ三色激励值的最优矩阵转换。转换矩阵M是由一个参考图14更详细论述的处理推导得出的。

最后，在第二转换阶段304，对经转换的XYZ三色激励值数据进行处理，并将其转换到绝对颜色空间，例如标准RGB(sRGB)或Adobe RGB中的值。首先，颜色适应处理340通过应用颜色适应变换来再现图像339中的颜色外观。所述颜色适应变换将那些在输入光源下获取的输入颜色的XYZ三色激励值转换成预测输出光源下的输出颜色的相应XYZ三色激励值。颜色适应变换在本领域中是已知的，其中大多数变换基于von Kries模型。

接下来，颜色调谐处理342调整图像的XYZ三色激励值的色调曲线。最后，结合该颜色调谐处理342的变换处理344将XYZ三色激励值变换成经渲染的绝对颜色空间，例如sRGB或Adobe RGB中的RGB三色激励值，由此获得在特定的RGB颜色空间中的结果图像349。经渲染的颜色空间(例如sRGB或Adobe RGB)基于真实或虚拟输出特性的比色法。为了在这一第二转换阶段304期间执行处理，在这里使用了来自相机310的某些元数据314来获取色调曲线(方框346)并执行下文详述的其他必要计算。

通常，颜色调谐处理342设置增益和输出色调再现曲线，以便优化到输出媒体的图像的渲染。处理342按照相机类型和制造商自动推导转换参数。由于是自动的，该处理342允许基于已知目标而在没有用户手动干预的情况下推导输出，由此排除了与用户进行的手动颜色调谐相关联的主观性。以下将会参考图15A～15C来详细论述用于为自动颜色调谐处理推导色调再现曲线的处理的一个实施例。

变换处理344结合上述色调调谐处理342。一般来说，变换处理344将XYZ三色激励值变换成位于规定的经渲染颜色空间，例如sRGB和Adobe RGB中的RGB三色激励值。结果RGB图像349随后可以由应用或其他软件访问以供执行进一步的处理和操作。

D.RAW图像处理流程中的RAW处理阶段的细节

如前所述，图3的RAW图像处理流程300具有包含了各种处理的RAW处理阶段302。图4示出了RAW处理阶段400的一个实施例的细节。虽然阶段400被描述成是一系列步骤，但是应该了解，给定的实施方式既可以采用不同步骤顺序，也可以排除某些步骤或是可以添加未显示的附加步骤。用于RAW处理阶段400的输入是RAW图像402和元数据。RAW图像402是Bayer封装的(Bayer packed)(例如，图像402中的光位点排列在Bayer图案或类似图案中，并且每个光位点都具有一个R、G或B值)。

1.黑色减法

在RAW处理阶段400的第一个步骤410，对输入RAW图像402执行黑色减法。在该步骤410中，基于相机特定的因数来缩放和偏置光位点的颜色采样(R，G，B)。对大多数相机来说，即使图像是在盖着镜头盖的情况下获取的，也会得到光位点具有很小非零颜色值的图像。这些非零颜色值对应于可由噪声或其他原因引起的相机的黑色偏移或偏置值。对所要校正的最终图像来说，必须从颜色采样值中移除黑色偏移值。

来自相机的RAW图像402在产生时有可能经历黑色补偿处理，也有可能没有经历黑色补偿处理。在传感器数据产生之后，某些相机会自动对其实施黑色补偿处理。在这种情况下，RAW图像的元数据有可能偏移值为0。

在一些状况下，相机可以在其下没有传感器数据的图像402的元数据中提供偏移值。在这种情况下，在步骤410，从RAW图像402的颜色值中减去黑色偏移值。举例而言，对来自某些相机的RAW图像402来说，其黑色偏移值可以从遮蔽入射光的成像传感器的边沿(margin)上的值的平均中估计得出。对没有在边沿使用传感器遮蔽的相机模型来说，黑色偏移值对该相机模型可以是固定值。无论哪一种方式，随后都可以从图像402的每一个强度值中减去该黑色偏移值。通常，相机的R、G和B光位点可以具有不同偏移值。G通常可以具有两个偏移值。此外，相机还可以提供依赖于“行”的偏移值。

从上文可以看出，与RAW图像402相关联的元数据是黑色偏移值的一个来源。重载文件(override file)可以是黑色偏移值的次级来源。该重载文件可以包括依照每一个相机模型已被预先确定的黑色偏移值。这个次级黑色偏移可用于增大或替换与元数据相关联的值，而且该次级黑色偏移对于每一个颜色通道(R，G，B)来说可以是有所不同的。

在减去黑色偏移值之后，所得到的结果值优选在零处裁剪(clip)以消除RAW图像402中的负值。此外，由于不同相机具有不同的RAW感测值，因此有必要将这些值缩放至公用范围。该处理可以通过将所有减去了黑色的值与预定值相乘，然后将其与当前相机的白色值相除来完成。所述白色值可以是预定的，并且可以从重载文件或元数据中获取。

2.高光恢复

在RAW处理阶段400的第二个步骤420中，RAW图像402将会经历高光恢复处理，从而校正图像402中已在传感器响应最大等级处被裁剪的感测值。用于获取RAW图像402的成像传感器能够响应上至最大值(在这里将其称为最大输出(max-out)值)的光。由此，传感器部件不会检测高于所述最大输出值的所接收的任何光。为了恢复图像402中光值已超出传感器最大输出值的区域，图像402中在最大输出值处被裁剪的感测值将被新估计值替换，其中所述新估计值是用不同颜色通道(R，G，B)的相邻未裁剪值估计的。

在一个实施例中，定位最大输出传感器值附近的相邻传感器的值。这些相邻传感器可能具有约为最大输出值的85％～90％的R、G或B值，并且可以用于确定应该为具有最大输出的传感器使用的值。这一处理对于那些隔离传感器值(即为最大输出)的图像来说是能够奏效的，并且可用于RAW图像内部。但是一般来说，给定图像有可能具有其中传感器值已经是最大输出的群集或区域，这样对相邻像素求取平均就是不可行的。

在另一个实施例中，图5显示了一个用于恢复像素亮度和色度的高光恢复处理500，所述像素中的一个或两个通道被传感器界限所裁剪。这一处理500是在去马赛克(去Bayer化)处理中很早就被实施的。首先，R、G和B传感器通道将被缩放，以使其处于中间色(neutral)(方框502)。该缩放因数是使用白平衡确定的，所述白平衡则是从关联于RAW图像的元数据中获得的。其次，计算每个通道将达到饱和处的值(方框504)。使用将通道饱和度值与过曝图像相关的相关信息执行该计算，其中所述过曝图像是为给定相机制品和模型已经检查过的。这样就可以为多个相机制品和模型预先确定和存储相关信息，以便在以后供高光恢复处理500访问。以此方式，从关联于RAW图像的元数据中获取的相机信息被用来访问那些用以获取RAW图像的相机制品或模型的相应相关信息。

随后使用在方框502中使用的同一因数来缩放饱和度值(方框506)。对大多数相机来说，绿色通道具有最小饱和度值，并且该性质可以为高光恢复处理500所利用。处理500采样并分析图像中的每个像素(方框510)。如果给定像素的所有三个通道R、G和B均未被裁剪(方框520)，则所述像素保持原样。如果给定像素的所有三个通道均被裁剪(方框520)，则用中间色灰度值来替换该像素(方框522)。

如果至少一个通道(但不是所有)被裁剪(方框520)，那么处理500将会查看各通道的饱和度。如下文详细描述的那样，给定像素的具有饱和值的通道会被一个估计值替换。这种使用估计值来替换饱和值的处理是逐步进行的，并且还取决于原始值接近饱和的程度。所述估计值是根据所述像素处的原始RGB值计算的。

举个例子，如果给定像素中的红色值位于或接近饱和(方框530)，那么原始红色值将被估计红色值替换，所述估计红色值则是从原始的R、G和B值中计算的(方框532)。该估计红色值是

。这种替换是以在原始值与估计值之间计算得到的加权平均为基础的，其中该估计值取决于红色值接近饱和的程度。举例而言，如果红色值是85％的传感器裁剪值，则使用100％的原始红色值。另举一例，如果红色值是90％的传感器裁剪值，则将50％的原始红色值连同50％的估计值一起用于替换。此外，举例来说，如果红色值是95％的传感器裁剪值，则使用100％的估计值来进行替换。

如果给定像素中的绿色值位于或接近饱和(方框540)，那么它会逐渐被从原始R、G和B值中计算的估计绿色值替换(方框542)。用于G通道的估计值是以原始R、G和B值的加权平均为基础的。所使用的R、G、B的权重的范围是从(0.5，0，0.5)到(0.375，0.625，0.0)之间，并取决于对原始像素绿色程度的计算。此外，该替换还使用上述加权平均。

如果给定像素中的蓝色值位于或接近饱和(方框550)，那么它会逐渐被从原始R、G和B值中计算的估计蓝色值替换(方框552)。与R通道一样，蓝色值的估计值是

该替换同样使用上述加权平均。

作为最后一个步骤，当已经估计了一个或多个通道时，如果所恢复的RGB值非常明亮并且处于饱和，那么颜色将会移向中间色(方框560)。在图像中的明亮区域不太可能看到的洋红色调将会更积极地移向中间色。将颜色朝着中间色移动的处理有可能受到用户偏好的影响。在分析了给定像素之后，会确定是否需要分析图像中的附加像素(方框570)，并且处理500返回到方框510，以便采样和分析图像的附加像素。

3.亮点消除/噪声处理

回到图4，RAW处理阶段400包括一个使用亮点消除和/或噪声处理技术来改变RAW图像402中具有异常值的光位点的第三步骤430。在给定的RAW图像中，不同光位点有可能由于传感器不具有正确响应(例如传感器滞留或者在光位点累积了电荷)而具有非典型值。

对这些滞留光位点来说，估计与之相邻的3×3的类似光位点，并确定从所述相邻光位点获取的8个周围数值的范围，从而得到最大值和最小值。举例而言，如果处于绿色像素，就只检查绿色光位点。该范围的大小将被确定为等于所述范围的最大值减去最小值。处于滞留光位点的值将会与相邻类似光位点的范围相比较。如果选定光位点的值比所述最大值高出了该范围大小的预定倍数，或者选定光位点的值比最小值低出了所述范围大小的预定倍数，则将该光位点的值设置成是3×3相邻像素的平均。该预定因数可以根据相机和其他因数来配置。通过使用与非典型值相邻的数值平均来替换该非典型值，就可以减少在RAW图像402中显现的亮点值的数量。

给定图像中的噪声生成带有异常值的通道采样。当从经Bayer编码的RAW图像中构造RGB图像时，该噪声可以被放大。通常，经渲染的噪声是彩色的，而这是不合乎需要的。该噪声有可能与ISO设置(也就是传感器读出增益)以及捕捉RAW图像402时使用的曝光时间量相关。由此，子步骤430中的噪声处理优选使用ISO设置、曝光时间和噪声量之间的相关来为所处理的RAW图像402减少或控制噪声颜色。

图6显示了用于为数码相机推导噪声和亮点分布数据的处理600。该分布数据与相机在给定ISO设置和曝光时间下生成的噪声量相关。由此，该分布数据可用于处理那些在图4的RAW处理阶段400中被预处理的RAW图像。

首先，确保数码相机的镜头盖和目镜是关闭的，并且在宽范围ISO设置和曝光时间范围中为该特定相机获取多个图像(方框602)。然后RAW图像被分组成多个组织集合(方框604)。例如，第一组织集合可以具有曝光时间范围很小而ISO设置范围很宽的图像。此外，第二组织集合可以具有ISO设置范围很小而曝光时间范围宽的图像，以及第三组织集合则可以具有曝光时间范围很宽且ISO设置范围很广的图像。

RAW图像随后将被处理，以便量化噪声响应(例如噪声量)，并量化每一个RAW图像中的亮点响应(方框606)。之后，为分组图像计算噪声分布和亮点分布(方框608)。对于每一个组织集合，举例来说，二次回归将会创建与给定集合的ISO设置以及曝光时间有关的相机噪声响应的噪声分布。对于每一个组织集合，举例来说，二次回归模型还会创建与ISO设置以及曝光时间有关的相机亮点响应的亮点分布。所得到的该相机的分布于是便以少量浮点值的形式保存在数据库中的，以供随后在图4的RAW处理阶段400中的预处理期间使用(方框610)。然后，为一个或多个附加相机重复先前步骤，从而为这些特定相机存储分布(方框612)。

最终，所存储的表征各种相机的分布数据可用于决定就噪声而对给定RAW图像执行怎样的调整。举例来说，当在图4的RAW处理阶段400中处理RAW图像时，与RAW图像相关联的相机模型、ISO设置以及曝光时间都是从相关联的元数据中获取的(方框614)。用于相机模型的恰当分布数据位于存储器中(方框616)。在用于特定相机模型的噪声分布的公式中插入给定的ISO设置和曝光时间信息，并且从计算中确定该图像的噪声估计量(方框618)。然后，在用于该相机模型的亮点分布的公式中插入给定的ISO设置和曝光时间信息，并且确定为该图像启用还是禁用亮点估计(方框620)。

当在图4的RAW处理阶段400处理RAW图像时，可以使用那些在先前步骤中确定的噪声和亮点的估计信息来执行调整调整。例如，该信息可以确定在重建RAW图像时是否执行以及执行何种程度的噪声减小和亮点消除处理。此外，该信息还可以确定在重建RAW图像期间或是其后是否执行以及执行何种程度的斜降(ramping down)锐化处理。最后，该信息还可以确定在重建处理结束将RAW图像转换成RGB的过程中是否使用以及在何种程度上使用色度模糊，深度阴影区域中的显性去饱和处理，或是用于对比度增强过程中的饱和度控制的色调再现曲线，以便控制噪声彩度。在本公开中，稍后将对这些处理进行描述。

4.自动曝光调整

回到图4，RAW处理阶段400包括其中RAW图像402经历自动曝光调整的第四步骤440。所述自动曝光调整对RAW图像402的亮度进行调整，以使其曝光满足预定准则。优选地，所述调整使用已经为RAW处理阶段400中的调整所存储的预定亮度变量。该预定亮度变量基于调查信息，其中该调查信息是从多人观察带有经调整曝光的各个图像的活动中获取的。所述调查使用由各种相机在多次曝光中产生的基准图像。这些基准图像的平均亮度被计算。通过使用蒙特卡罗(Monte Carlo)仿真来改变这些基准图像的亮度变量，可以要求调查参与者选择在视觉上最为合适的图像示例。于是，调查结果集中成一个其亮度变量与原始输入亮度相关的可接受结果曝光。

该结果与特定相机相关联，并被存储以供后续处理。当RAW图像402被接收以供处理时，自动曝光调整计算RAW图像402的平均亮度，并且从相关联的元数据中确定曝光。随后通过使用存储的调查结果，自动曝光调整处理将会根据平均亮度以及所用的曝光来确定将何种亮度变量应用于图像402以得到合意的结果。最后，RAW图像402的亮度由自动处理中确定的亮度变量来调整。

5.内插处理

RAW处理阶段400的第五个步骤涉及内插处理450，该处理是去马赛克(去Bayer化)处理的一部分。内插处理450使用在最终的色度模糊操作460中结束的多个子步骤451～458来生成结果RGB图像。这些子步骤451～458包括：创建半尺寸绿色边缘图像(451)，确定内插方向图(452)，构建绿色重建图像(453)，锐化绿色重建图像(454)，创建经模糊的半尺寸RGB图像(456)，以及构建红色重建图像和蓝色重建图像(453)。以下将会论述这其中的每个步骤451～458以及460。最后，在下述色度模糊操作460中将会组合来自这些子步骤451～458的绿色、红色、蓝色和经模糊的RGB图像。

一般来说，内插处理450使用基于梯度的内插，即首先为RAW图像402的光位点内插亮度通道(也就是绿色通道)，然后为RAW图像402的光位点内插色度通道(也就是红色和蓝色通道)，最后则会组合这些通道，以创建具有R、G和B值像素的结果RGB图像。

a.半尺寸绿色边缘图像

由于人眼对亮度变化敏感，因此在绿色通道中发现边缘使得能够根据这些边缘来执行内插。子步骤451从RAW图像402中构建半尺寸绿色边缘图像，由此，该绿色边缘图像可以指示由原始RAW图像402的亮度变化导致的边缘。图7显示了用于从RAW图像710(只显示了它的一部分)的Bayer编码数据中创建半尺寸绿色边缘图像750的处理700。RAW图像710具有作为排列在Bayer图案中的光位点的多个2×2单元，其中每个单元都具有两个绿色采样(G1，G2)、一个红色采样(R)和一个蓝色采样(B)。在本领域，各种图案都是已知并得到使用的，并且这里显示的一部分图案仅仅是示例性的。

为了创建半尺寸绿色边缘图像750，在这里仅使用Bayer编码的RAW图像710的绿色采样(G1，G2)，同时忽略红色和蓝色采样。首先，对RAW图像710的每个2×2单元中的两个绿色采样(G1，G2)求取平均，从而生成中间的半尺寸绿色图像720中的相应绿色值。由此，半尺寸绿色图像720就仅具有绿色值，并且其大小是原始RAW图像710大小的一半。接下来，在水平和垂直这两个方向上计算绿色采样值的一阶导数(即，变化率)。然后，对每个值的水平和垂直一阶导数的平方求和，以生成边缘图像730。之后，在边缘图像730上执行两遍单像素模糊处理740，以生成经模糊的最终的半尺寸绿色边缘图像750。

在单像素模糊处理740中，第一遍处理740是在边缘图像730上用0.5的中心加权来为每个像素的四个相邻像素执行的。然后，第二遍处理740是在先前经模糊的边缘图像730上用0.125的中心加权来为每个像素的四个相邻像素执行的，由此生成半尺寸的最终的绿色边缘图像750。如图4所示，经这一步骤452最终得到的半尺寸绿色边缘图像将在后续处理中供其他步骤使用。

b.内插方向决定映射表

回到图4，内插处理450的子步骤452创建内插方向决定映射表，用以决定如何为这些位于RAW图像402中的具有R或B通道的光位点填充缺少的绿色值。在一个实施例中，可以对Bayer图案的每个2×2单元的相邻红色和蓝色采样求取平均，以便使用标准的去马赛克技术来为光位点确定缺少的绿色值。在优选实施例中，RAW图像402中的垂直或是水平相邻采样可用于为这些红色或蓝色的采样确定绿色通道。举例而言，如果常规图像的某个区域具有水平定向的边缘或条带，那么就优选使用该区域中的R和B光位点的水平相邻光位点来确定其绿色通道值。另一方面，如果该常规图像区域具有垂直定向的边缘或条带，那么就优选使用该区域中的R和B光位点的垂直相邻光位点来确定其绿色通道值。

为了确定用于内插的水平或垂直方向，为每个光位点计算RAW图像402的R、G和B通道梯度。然后，该梯度会被映射在内插方向决定映射表中，用以确定如何填充RAW图像402中给定R或B光位点处缺少的绿色通道值。一般来说，如果绿色通道梯度显示其局部无变化，那么绿色通道的梯度将会在确定如何为R或B光位点填充缺少的绿色通道值的过程中具有最强影响。如果绿色通道梯度正发生局部变化，则使用给定光位点的非绿色通道梯度来确定如何填充其缺少的绿色值。光位点上绿色值的梯度可以通过查看处于该位置的半尺寸绿色边缘图像来确定。

为每个光位点所确定的方向随后会作为表决值输入映射表中。例如，表决值“1”对应的是在光位点处内插缺少的绿色通道的过程中决定使用映射表中的水平方向，而表决值“0”对应的则是在光位点处内插缺少的绿色通道的过程中决定使用映射表中的垂直方向。这些表决值随后还可以在在用以填充缺少的绿色通道值的表决处理中使用。用于填充缺少的绿色通道值的实际步骤在以下参考绿色重建步骤453来论述。

c.绿色重建图像

内插处理450中的子步骤453使用来自步骤440的原始经Bayer封装的图像、来自子步骤451的半尺寸绿色边缘图像以及子步骤452的内插方向决定映射表，由此创建绿色重建图像。在图8中示意性示出了用于创建绿色重建图像850的处理800的一个实施例。为了创建图像850，为绿色重建图像850中的相应光位点保持RAW图像810中的光位点的每一个绿色通道G。例如，RAW图像810中的绿色采样G₄₃的值与在绿色重建图像850中使用的值是相同的。然而，用于RAW图像810中的R和B通道的光位点并不具有绿色值，因此有必要使用内插方向决定映射表820在绿色重建图像850中内插其值。例如，对在绿色重建图像850中选择的光位点852来说，由于它对应的是RAW图像810中的蓝色采样B₄₄，因此，该光位点并不具有绿色值。

如上所述，当填充R和B采样的缺少的绿色值时，使用表决处理来确定使用哪个方向。该表决处理允许对所述采样在内插方向决定映射表820中采样的相邻采样进行分析，从而可以使用相邻采样内部的方向决定的平均来确定使用哪一个方向填充缺少的绿色值。

内插方向决定映射表820在每个像素位置上具有方向性表决。该表决处理使用决定映射表820，并且可以采用多种方式实施。例如，对水平方向而言，该映射表820中的各方向决定D可以是“1”，而对垂直方向来说则可以是“0”。在一个替换方案中，与选定光位点852相对应的单表决决定822可以单独使用，以确定内插方向。在另一个替换方案中，可以采取来自该决定的相邻决定824的几个表决意见的一致，并且表决意见一致可以决定使用哪个方向来为选定光位点852内插绿色值。

全面表决是一种可以使用的意见一致表决。该全面表决使用包含奇数个采样(3X3或者5X5采样)的决定的相邻决定824。在这里将会计算所有相邻决定824的决定值总和。如果该总和大于相邻决定824的光位点总数的一半，则将“1”(水平方向)用于选定光位点852的决定。否则使用“0”(垂直方向)。

通带表决(pass-band voting)是另一种可以使用的表决方式。在这类表决中，计算相邻光位点决定值的总和(排除选定光位点852的中心决定822)。如果该总和小于预定阈值，则将选定光位点852的决定值设置成“0”(垂直方向)。如果该总和大于另一个预定阈值，则将选定光位点852的决定值设置成“1”(水平方向)。所述阈值取决于所使用的相邻决定824的大小。如果总和等于或介于上述两阈值之间，则不干预选定光位点852的中心决定822。

对于3×3的相邻决定824来说，相邻决定可以是8个(在排除中心决定822情况下)。对“宽通带表决”来说，下阈值可以是“2”，上阈值可以是“6”。对“窄通带表决”来说，上阈值可以是“4”，下阈值同样也可以是“4”，这表明相邻决定必须正好与所使用中心决定822相同。由于宽通带表决不会影响选定光位点852的自然方向偏好，因此，优选该宽通带表决。

在确定了为选定光位点852确定绿色值所使用的方向(垂直或水平)之后，数学计算于是就使用RAW图像810中的采样而在绿色重建图像850中为选定光位点852确定绿色值。首先，选定方向上的两个绿色采样的平均被用于选定光位点852的绿色值的基本结果。例如，在图8中，所确定的方向是垂直的，由此确定绿色采样G₄₃和G₄₅的绿色值的平均，并将该平均用作选定光位点852的基本结果(例如绿色结果)。然而，还会根据RAW图像810中的相应采样(红色或是蓝色)812的值来调整绿色结果。首先，计算相应采样在采样方向上的两个同类相邻采样的平均将(例如

然后，计算中心采样812的值与平均之间的差值将(例如差值＝B₄₄-平均)。随后，根据相应采样812的绿色边缘强度来对该差值进行缩放，从而产生经缩放差值。(先前在图4的子步骤451中构造的绿色边缘图像可用于确定相应采样处的边缘)。最后，计算用于绿色重建图像850中的选定光位点852的结果绿色值G，作为被添加至绿色结果的缩放差值。这样做的效果是更为依赖具有更多绿色边缘的区域中的其他通道(R或是B)的值。

重复整个处理800直至完全用绿色值——也就是从RAW图像810直接获取的绿色值以及使用上述决定映射表和表决内插的绿色值——填充了绿色重建图像850为止。

d.绿色锐化

回到图4，内插处理450的后续子步骤454对来自上述子步骤的绿色重建图像850执行绿色锐化操作。首先，绿色图像被转换到与感知梯度尽可能接近的空间。然后，经感知分级(perceptually-graded)的重建绿色图像按照锐化操作的半径被模糊，从而生成经模糊重建的绿色图像。通过从经感知分级的重建绿色图像中减去这个经模糊重建的绿色图像，就能生成绿色高通图像。该绿色高通图像包含了绿色重建图像的高频信息。该绿色高通图像被用于两个目的。第一个目的是锐化图像。临时锐化的绿色重建图像是通过向原始图像添加预定锐化倍数的绿色高通图像生成的。第二个目的则是计算边缘蒙板(edgemask)，由此可以将锐化操作仅局限于对图像边缘进行操作。边缘蒙板是通过获取绿色高通图像的绝对值，将其进行小量模糊，并在随后以一较大因数增大其对比度而生成的。其结果是得到处于预定等级并且固定于范围0...1的阈值，以便生成边缘蒙板图像。该边缘蒙板图像被用作蒙板，以便决定将临时锐化的绿色重建图像中的哪些区域与绿色重建图像混合，从而形成锐化的绿色重建图像870。稍后，这个锐化的绿色重建图像850将会与红色重建图像以及蓝色重建图像结合，以生成在每个采样上都具有RGB值的图像。

e.经模糊的半尺寸RGB图像

回到图4，内插处理450的子步骤456创建经模糊的半尺寸RGB图像，并且在稍后论述的色度模糊操作460中将会使用该图像。图9显示了作为该步骤的输入使用的RAW图像910的一部分Bayer编码数据的示例。首先，贡献给中间半尺寸RGB图像920中的每个像素922的绿色值(G)是使用两个绿色光位点(G1，G2)的平均来确定的，其中所述光位点是原始全尺寸RAW图像610中的2×2单元912中的光位点。红色和蓝色采样(R，B)主要根据那些在全尺寸原始图像910的2×2单元912中发现的颜色(R，B)的单个采样来贡献给每个像素922，一并贡献的还有使用卷积再采样或相似技术从相邻的相似颜色(R，B)采样中添加的较小贡献值。最后，用高斯核930来模糊该中间半尺寸RGB图像920，由此生成经模糊的半尺寸结果RGB图像940。此外，在这里也可以使用一个或多个其他模糊操作，这其中包括但不局限于高斯模糊、选择性模糊、双边滤波、中间滤波和箱式滤波(box filter)。这个结果图像940经过模糊，由此可以在如下所述的图4的色度模糊步骤460中使用。

f.红色和蓝色重建图像

在图4的内插处理450中，子步骤458创建红色重建图像和蓝色重建图像。图10示意性示出了用于创建红色重建图像1050和单独的蓝色重建图像1070的处理1000，其中该图像1070在图10中仅仅是部分显示的。

在重建处理1000中，RAW图像1010中的每一个光位点都被采样。如果RAW图像1010的当前采样是正确通道(也就是R或B)，那么重建图像(1050或1070)中的结果采样的值等于原始采样值加上“绿色锐化差值”。在操作过程中的这个时刻，图4的RAW图像处理400已经产生了一个经锐化的绿色重建图像(子步骤454)和一个未经锐化的绿色重建图像(子步骤453)。该“绿色锐化差值”就是经锐化的绿色重建图像(来自子步骤454)中位于该采样点的绿色通道与未经锐化的绿色重建图像(来自子步骤453)中位于该采样点的绿色通道之间的差值。“绿色锐化差值”的效果是在重建红色和蓝色通道时将任何绿色锐化处理应用于这些通道。举例来说，在重建图10中的红色重建图像1050的过程中，当前采样1012是正确的R通道，并且红色重建图像1050中的结果红色光位点1052是原始采样1012加上“锐化差值”所得的值。

如果RAW图像1010中的当前采样不是正确通道(R或B)，则确定当前采样是否具有直接的期望通道的水平或垂直相邻采样。如果是的话，则采用水平或垂直相邻采样的平均，并且通过添加“绿色锐化差值”来生成重建图像中的结果采样。举例来说，在重建图10中的红色重建图像1050的过程中，当前采样1014不是正确通道(即不是R)。因此，红色重建图像1050中的结果红色光位点1054是正确通道(即R)的水平相邻采样的平均加上前述“锐化差值”。

如果RAW图像1010中的当前采样不是正确通道，并且不具有正确通道的直接的水平或垂直相邻采样，则计算所有四个对角相邻采样的平均，并且通过添加“绿色锐化差值”来生成重建图像中的结果采样。在重建图10中的蓝色重建图像1070的过程中，举例来说，当前采样1016不是正确的通道(即用于蓝色重建的B)并且不具有正确B通道的水平或垂直相邻采样。因此，蓝色重建图像1070中的结果蓝色光位点1076是正确通道(即B)的对角相邻采样的平均与前述“绿色锐化差值”相加的值。重建处理的最终结果是红色重建图像1050和蓝色重建图像1070，这些图像可以存储在缓存器中，直至在后续处理中被组合用以生成结果RGB图像。

g.色度模糊操作

最后，图4中的色度模糊操作460使用来自子步骤454的经锐化的绿色重建图像，来自子步骤456的经模糊的半尺寸RGB图像，以及来自子步骤458的红色和蓝色重建图像，从而生成完整的RGB图像。图11示出了用于图4中的自动化处理的色度模糊操作1100的一个实施例。最初，从先前处理获取红色重建图像1102、经锐化的绿色重建图像1104以及蓝色重建图像1106(方框1110)，并且通过将来自这些图像的每一个独立的R、G和B采样组合为重建RGB图像中的RGB像素，从而创建该重建的RGB图像(方框1112)。然后则计算重建的RGB图像在每个像素上的亮度(方框1114)。接着则使用双线性内插来将经模糊的半尺寸RGB图像1108调整为经模糊的全尺寸图像(方框1120)，并且计算该经模糊的全尺寸图像中的每个像素的亮度(方框1122)。然后，在每个像素上对经模糊的全尺寸图像内的模糊颜色的亮度进行缩放，以便与重建的RGB图像的亮度相匹配(方框1130)。最后，该快速色度模糊操作1100产生颜色边缘效应已经减小的全尺寸RGB图形(方框1140)。

E.RAW图像处理流程中的转换阶段的细节

1、特征矩阵的推导

如先前在图3的方框334中所述，用于将相机RGB图像转换成XYZ三色激励值的特征矩阵是预先计算的，并且该矩阵与图像的白平衡结合使用，以便估计从相机RGB到XYZ三色激励值的最优矩阵转换。在图12中以流程图的形式示出了用于为自动化RAW处理中的转换推导特征矩阵的处理1200的一个实施例。在处理1200中，为多个相机、相机类型、相机模型、制品、成像传感器或其他类别推导多个相机特征矩阵(例如M₁、M₂等等)。处理1200的目的是在图3的RAW处理期间的内插矩阵选择过程中排除用户干预和主观性，并且依照相机、类型、制造商或其他类别来自动推导用于RAW转换的参数。

最初，使用特定相机以及某种已知光源(例如光源A、D65等等)来获取色表的基准图像(例如Macbeth Color Checker)或类似图像。该基准图像并不是相机产生的唯一基准图像。如下文中将要详细论述的，在这里为给定相机、相机类型、相机模型、相机制造商、相机成像传感器类型或其他类别获取多个此类基准图像。该基准图像可以在实验室中制作，并且该色表可以包含各种色标(color patch)、高光、阴影等等，并且可以位于具有多个标准光源的照明箱中。

在相同光源之下，使用诸如色度计之类的标准仪器为来自色表的各颜色区域或色标测量XYZ颜色值(方框1204)。然后，这些区域的RGB值数学拟合至为这些区域测得的相应的XYZ三色激励值(方框1206)。该拟合处理涉及对一矩阵中的矩阵系数进行求解，其中该矩阵用于将基准图像的RGB值与从色表中测得的XYZ三色激励值进行相关。由于涉及三色激励颜色空间，该矩阵就有可能是3×3的，从而在求解拟合的过程中将会涉及九个变量。在该拟合处理中，忽略基准图像的原始白平衡。这样一来，该拟合处理由于忽略了原始白平衡就不再假设相机是经校准的。取而代之的是在求解矩阵系数的过程中使用固定的白平衡。白平衡通常被表述成是具有三个值的矢量

。对于该拟合处理来说，矢量

的每个值都等于1，由此就不会识别出在该拟合处理中任何白平衡的影响。

在拟合处理中，优选使用色表的多个色标或区域来推导矩阵系数。相应地，可以为处于相同光源之下的相同色表和/或处于相同光源之下的不同色表的不同色标重复处理1200(方框1210)。这样就能为推导矩阵的系数找出平衡，使得这些系数将具有恰当加权，以便将各种颜色的RGB值与使用相同光源而为这些不同颜色测得的测量XYZ三色激励值进行相关(方框1212)。最后，处理1200推导出用于该第一相机和该第一光源的第一特征矩阵M₁。该第一矩阵M₁是一个3×N矩阵，其中n对应于该相机的通道(例如R、G、B)数量。

在推导出第一相机特征矩阵M₁之后，使用先前用过的同一相机来为一个或多个附加光源重复方框1202～1212一次或多次(方框1214)。一个或多个色表的先前测量结果可以反复使用。重复这些步骤的结果是为同一相机获取了在不同光源下的多个相机特征矩阵。这些矩阵的矩阵系数被优化或调整，以便在将各个图像与处于各个光源之下的一个或多个色表的相应测量结果相匹配时减小颜色误差(方框1216)。该处理可以使用测试和调整来完成。一旦进行了优化，则使用每个矩阵特定的归一化因数来对每个矩阵的系数执行归一化处理(方框1218)。优选地，给定矩阵的归一化因数是该矩阵的对角线系数总和，由此该矩阵的每个系数都被这个总和相除。

最后，在这里可以为一个或多个附加相机、模型等重复执行方框1202到1218的整个处理(方框1220)。其结果是将得到多个相机特征矩阵。其中每一个相机特征矩阵都与相应光源以及一个相机、类型、模型、制品等相关联。之后存储这些相机特征矩阵以供在下文参考图14论述的后续处理中执行内插之时对其进行访问(方框1222)。

如上所述，在实验室中可以为相机制作多个相机特征矩阵，并且这些特征矩阵被存储，以供随后在本公开的自动RAW图像处理中访问。由此，多个相机可以将自己的相机特征矩阵存储在存储器中。在自动预处理过程中，RAW图像的元数据可用于从存储器中为图像选择恰当的相机特征矩阵。除了具有相机的预定矩阵之外，用户还可以通过使用上述技术以及仔细构造照明环境并使用颜色校准目标来为其相机独立创建特征矩阵。

2.黑色补偿的推导

如先前在图3中所述，黑色补偿处理330是在转换至XYZ颜色空间的第一转换阶段302中针对相机RGB图像329执行的。该处理330使用推导得到的黑阶调整来执行补偿。所述黑阶调整具体化为针对相机推导的相机特征矩阵(M₁和M₂)中，并且由转换矩阵(M)执行，其中所述转换矩阵(M)是从这些特征矩阵以及从接收自相机的白平衡信息中产生的。图13示出了用于推导在本公开的自动化RAW处理中使用的黑阶调整的处理1300的一个实施例。

用于推导黑色补偿值的处理1300并入如上参考图12论述的用于推导相机特征矩阵的处理中。如先前所述，图12的矩阵推导处理1200涉及使用已知光源来获取色表的基准图像。该步骤的一部分还涉及减去所捕捉图像的标准黑阶偏移(如果有的话)(方框1302)。然后，与先前一样，用于基准图像内各区域的RGB三色激励值被拟合至来自色表的测得的XYZ三色激励值，以便推导特征矩阵(方框1304)。无论分析多少色标，该拟合处理都会产生一定量的拟合误差，这是因为特征矩阵系数的变量数量，对于3×3矩阵就是9个变量。

为了减小误差，在拟合处理中使用用于黑色补偿的变量。这其中的每个黑色补偿变量都会从基准图像的一个颜色通道(R，G，B)中被减去。以此方式，方框1304会将基准图像的RGB三色激励值拟合至使用12个变量(即，9个来自矩阵的变量，和3个有关RGB通道偏移的变量)测得的XYZ三色激励值。随后使用在方框1304的拟合处理中黑色补偿变量的值来进行推导，直至将颜色误差减至某个阈值等级(方框1306)。以此方式，通过减小两个颜色集合——也就是测量得到的颜色集合以及在基准图像中估计的颜色集合之间的颜色误差，就可以为每个颜色通道推导最优的黑色补偿变量。这些黑色补偿变量还代表除标准黑色偏移之外的附加黑色调整。

该黑色补偿变量随后可被组织和存储，以供随后在处理中对其进行访问(方框1310)。例如，为了组织黑色补偿变量，可以将这些变量与用于推导它们的相应相机以及光源的特征矩阵相关联。这就使得每个特征矩阵都具有相关联的黑色补偿变量。此外，黑色补偿变量还可以与用于推导它们的不同条件相关联。这些条件可以包括但不局限于：所用光源、图像内容、白点相机设置(white point camera setting)、以及所涉及的ISO灵敏度。如果变量的值显现了群集特征，就可以在群组之间求取黑色补偿变量之间的不同相关性的平均。此外，如果这些变量存在差异，就可以根据这些不同条件来区分和分类不同的黑色补偿变量。

处理1300提供了更客观和一致的最优黑阶补偿判定，以便在RAW图像处理中使用。例如，在图3的流程300中，在执行矩阵转换之前，最初便可在步骤330中从相机RGB图像329的RGB三色激励值中减去这些黑色补偿变量，以便减小转换中的颜色误差。对于所用黑色补偿变量集合的选择则可以基于元数据314中的相机、类型、模型等进行。此外，该选择还可基于不同的内部拍摄条件(例如相机ISO设置、曝光时间等等)或是诸如光源之类的同样可以在元数据314的信息中指示的外部条件。

此外，对在处理过程中使用的黑色补偿变量的选择可以基于变量集合之间的平均或内插来进行。如前所述，第一黑色补偿变量集合是为第一光源推导的并且与第一特征矩阵M₁相关联，而第二黑色补偿变量集合则是为第二光源推导的并且与第二特征矩阵M₂相关联。这两个集合可以被存储并且可以与在接下来的章节中论述的用于计算最优转换矩阵M的特征矩阵M₁和M₂相关联。在一个实施例中，最优黑色补偿变量是从与特征矩阵M₁和M₂相关联的第一与第二变量集合的固定平均(fix average)中计算的，并且所述特征矩阵M₁和M₂如下所述可用于计算最优转换矩阵M。作为替换，使用在黑色补偿变量集合之间的线性内插计算最优黑色补偿变量则是。该线性内插应用的内插因数与如下所述用于计算最优转换矩阵M的内插因数相同。

3.计算转换矩阵

如先前在图3的RAW图像处理中提到的，对相机RGB图像329执行矩阵转换处理332，以便将其转换成XYZ三色激励值。处理332使用转换矩阵M来执行该变换。转换矩阵M是一个3×N矩阵，其中n是相机的通道数量。转换矩阵M取决于白平衡以及与两个基准光源相对应的至少两个预先计算的相机特性矩阵，并且是根据所用特定相机、相机类型、制品等等来计算的。

图14示出了用于计算在本公开的自动化RAW处理中使用的转换矩阵(M)的处理1400的一个实施例。处理1400是在转换时为每个图像动态执行的，并且该处理会找出一个转换矩阵M，以便使用来自相机每个图像的白平衡以及使用与至少两个基准光源相对应的预定特征矩阵来将相机RGB转换成XYZ三色激励值。

特别地，转换矩阵M是从特征矩阵M₁和M₂以及该相机的唯一白平衡信息

中推导的，其中所述白平衡信息依赖于图像并由相机作为元数据(例如图3的314)提供。白平衡信息

是一个三值矢量，在归一化时，由于第三个元素等于1，因此只具有两个有效元素。通过迭代处理，可以使用M₁、M₂以及使用图像的白平衡

来求解图像的白点W的矩阵等式。所述解收敛于唯一矩阵M以及唯一白点W。

处理1400求解的是可以针对给定相机类型、给定相机风格、单个相机、制造商或其他特征而被规定的转换矩阵M，并且该处理找出色度缩放因数(chromaticity scaling factor)以及适当白平衡，由此推导出最优转换矩阵M。在下述处理1400中仅仅使用了两个特征矩阵M₁、M₂。其他实施例可以使用两个以上的特征矩阵，这样做通常会改善内插处理。

如上文中参考图6所示，用于给定相机的多个特征矩阵M₁，M₂，...M_n是通过追踪同一场景在不同光源下的图像而生成的。例如，M₁可以是用光源A(xa＝.4476，ya＝.4074)得到的相机特征矩阵，M₂则可以是用光源D65(xd＝.3127，yd＝.3290)得到的相机特征矩阵。这些光源可以表示成是XYZ空间或CIE-1931色度空间x，y中的矢量。

多个特征矩阵M₁，M₂，...M_n是根据从1到n的相关色温排序的。由此，最远光源就可以通过为给定相机推导优选转换矩阵M用来估计场景的实际光源，其中所述优选转换矩阵收敛于所处理的RAW图像中的估计光源。最初，输入先前确定的相机特征矩阵M₁和M₂将(方框1402)，并设置初始值(方框1404)。该初始值包括被设置成与第一特征矩阵M₁相等的第一中间矩阵ma1，以及与第二特征矩阵M₂相等的第二中间矩阵ma2。通过下述迭代处理，这些对M₁、M₂初始化的中间矩阵ma1和ma2最终将会收敛于优选转换矩阵M。例如，最大迭代次数K被设置成0，并且迭代总数限制N被设置成20。此外，用于白点色度的第一缩放因数fa1被设置成等于1，并且用于白点色度的第二缩放因数fa2被设置成等于0。

用于确定收敛性的阈值T同样被设置成某个值，例如0.001，由此，该处理将被重复执行，直至第一与第二色度缩放因数fa1与fa2之差的绝对值低于该阈值。通过使用该阈值，迭代处理通常有可能需要为大多数相机执行3～5次的迭代步骤。在替换实施例中可以计算矩阵ma1和ma2的范数差值，以便与阈值进行比较。但是在以下示例中，由于第一和第二色度缩放因数fa1和fa2是已被计算的标量，因此该第一和第二色度缩放因数fa1和fa2用于测量收敛性。

最初，第一与第二色度缩放因数fa1与fa2之差的绝对值将被确定是否大于预设阈值T(方框1410)。当然，对首次迭代来说，色度缩放因数fa1和fa2分别是1和0，而这将会大于阈值T。该处理随后从第一特征矩阵M1(方框1420)开始。

对第一特征矩阵M1来说，计算中间矩阵ma1的逆矩阵将(方框1422)。然后，根据图像白平衡来计算XYZ颜色空间中的加权(方框1424)。例如，Xw＝mi[0][0]/p[0]+mi[0][1]/p[1]+mi[0][2]/p[2]；Yw＝mi[1][0]/p[0]+mi[1][1]/p[1]+mi[1][2]/p[2]；以及Zw＝mi[2][0]/p[0]+mi[2][1]/p[1]+mi[2][2]/p[2]。接下来，根据xyz加权来计算x-y加权(方框1426)。例如，xw＝Xw/(Xw+Yw+Zw)，以及yw＝Yw/(Xw+Yw+Zw)。X-Y加权因数是根据x-y加权以及与图像相关联的特定光源值计算的(方框1428)。例如，fx1＝(xw-xa)/(xd-xa)以及fy1＝(yw-ya)/(yd-ya)。

然后，用于中间矩阵ma1的第一色度因数fa1被计算为fa1＝sqrt(fx1＊fx1+fy1＊fy1)(方框1430)。最后，第一特征矩阵M1的新值被计算为M1＝(1-fa1)＊ma1+fa1＊ma2(方框1432)。

随后使用如下等式来为第二特征矩阵M2重复执行相似处理(方框1440)：

mi＝Inverse(ma2)；

Xw＝mi[0][0]/p[0]+mi[0][1]/p[1]+mi[0][2]/p[2]；

Yw＝mi[1][0]/p[0]+mi[1][1]/p[1]+mi[1][2]/p[2]；

Zw＝mi[2][0]/p[0]+mi[2][1]/p[1]+mi[2][2]/p[2]；

xw＝Xw/(Xw+Yw+Zw)；yw＝Yw/(Xw+Yw+Zw)；

fx2＝(xw-xa)/(xd-xa)；

fy2＝(yw-ya)/(yd-ya)；

fa2＝sqrtfx2*fx2+fy2*fy2)；

m2＝(1-fa2)*ma1+fa2*ma2；

一旦以上述方式计算了第一和第二特征矩阵M1和M2，则将中间矩阵设置成等于相应的特征矩阵ma1＝m1以及ma2＝m2(方框1442)。

最后，只要还没有满足收敛阈值T(方框1410)或允许的迭代总数(方框1450)，则可以重复执行处理1440。如果处理1400已经超出了所设置的迭代总数K(方框1450)，则强制停止处理1400，并且前进到方框1460。否则，该处理1400将会返回方框1410，以便了解是否已超出阈值T，并且在需要时重复执行另一个收敛特征矩阵M₁和M₂的迭代处理。如果尚未超出阈值T，则为另一个迭代处理重复执行方框1410到1450，以便收敛特征矩阵。

在任何情况下，一旦完成收敛或者超出迭代总数，则将最终的色度缩放因数计算为fa＝(fa1+fa2)/2(方框1460)。最后，通过首先计算m＝(1-fa2)＊ma1+fa2＊ma2以及随后计算M＝Inverse(m)来确定结果转换矩阵M(方框1462)。然后，无论使用转换矩阵M来变换相机RGB图像的处理使用的特定光源如何，该结果转换矩阵M都可以在用于特定相机的RAW图像自动处理中使用(方框1464)。

4.色调再现曲线的推导

如先前在图3的RAW图像处理流程300中描述的那样，颜色调谐处理342和变换处理344用于转换XYZ三色激励值，以便生成结果RGB图像349。该转换是使用3×n的转换矩阵M实现的，其中如上所述，n是每一个相机的通道数量(例如R、G和B)。此外，该转换是用色调再现曲线实现的，其中该曲线旨在优化从线性空间到显示器或输出空间的图像渲染。由此，在颜色调谐处理342中使用的色调再现曲线将会影响图像的外观、对比度、阴影、高光细节以及总体图像质量。

图15A～15C示出了用于推导在本公开的自动化RAW处理中使用的色调再现曲线的处理1500的一个实施例。该处理1500可以为特定相机、相机类型或品牌、制造商或其他相机相关准则自动推导优化的色调再现曲线，以便在为特定相机、相机类型或品牌、制造商或其他相机相关准则执行RAW处理的时候在图3的颜色调谐处理342中自动使用该色调再现曲线。

最初，在推导处理1500中选择多个基准图像1502、1504。为了方便起见，在图15A中只显示了两个基准图像1502、1504。第一基准图像1502与相机信息1503相关联，也就是与特定相机、相机风格、制品等等相关联。这个基准图像1502被称为目标基准图像。一个或多个其他基准图像1504可以由相同或不同相机生成，并且可以用不同的技术和处理软件来对其进行处理。每一个基准图像1502、1504都包含了使用相同设置、光源等的相同场景(例如色表等等)。优选地，其他基准图像1504包含了高光、阴影、良好的色调分布以及欠曝到过曝图像的分布。相应地，其他基准图像1504可以经历使用图像处理软件执行的某些自动和/或手动操作。一般来说，基准图像1502、1504可以在实验室中产生，由此图像之间的场景、曝光、尺寸等可以基本相同。但是，这里公开的RAW处理实施例可以允许用户独立产生基准图像，以便产生色调再现曲线。

在基准图像1502、1504中，每一个像素的颜色都取决于所用相机的传感器，所应用的去马赛克处理，所应用的降噪算法，以及用于生成这些像素的其他细节。由此，即使具有相同场景，两图像1502、1504也不太可能具有逐像素对应的颜色，这是由于用以捕捉图像的成像传感器的差别，降噪处理中的差别，所使用的去马赛克处理的差别和其他可能原因所造成的。

在第一步骤1510，图像1502、1504被按比例缩小至一个旨在减小其间的去马赛克差别以及噪声伪像效应的尺寸。由于两个图像1502、1504的去bayer化、高光恢复、图像尺寸以及其他细节不太可能相同，因此通常有必要执行缩放处理。在这里优选使用低通滤波器来将像素颜色平均到各区域中。其结果是得到了两个尺寸基本相同的经缩放的基准图像1512、1514。在一个可选步骤(未显示)中，可以在必要时对基准图像1512、1514执行伽马校正。

在第二步骤1520中，经缩放的图像1512、1514被变换成灰度级图像1522、1524。图像1512、1514可以具有四色曲线图补片(gray ramppatch)，用以在将图像从彩色转换成灰度级的过程中提供帮助。图像的按比例缩小以及从彩色降至灰度级的处理旨在减小原始图像1502、1504之间的噪声和去马赛克处理的效果或差别。

在第三步骤1530，确定将第二图像1524的最大亮度与第一目标图像1522的最大亮度相匹配的增益因数。随后则使用这个增益因数来缩放第二图像1524的灰阶(gray level)。在第四步骤1540中，执行灰度级图像1522、1524之间的配对，其中该配对会在图像1522、1524之间逐像素比较灰度级值。在第五步骤1550中，灰度级目标图像1522与灰度级基准图像1524之间的一一对应的像素配对于是被绘制成一条粗略色调曲线y＝(x)，其中x是基准图像1524的灰阶，y是目标图像1522的灰阶。在图15B的曲线图1580中显示了这种粗略色调曲线的一个示例。在第六步骤1560中，为x的缺少的灰阶以及曲线的不连续性使用内插、平均和平滑处理，以便精制这条粗略的色调曲线。此外，在这个精制过程中可以移除所绘制的任何失常值或是由差错引起的值。在最终步骤1570，产生最终的色调再现曲线。在图15C的图表1590中显示了这种最终色调曲线的一个示例。通常，色调再现曲线具有S形状，它增强了图像的颜色饱和度和亮度对比度，以便为每一个相机模型产生合意的结果。在一个示例中，色调再现曲线可以用连续的四个三次多项式来描述。

然后，对于为之执行RAW处理的相机310来说，当该相机满足与用以产生该色调再现曲线1590的目标基准图像1502相关联的初始相机信息准则1503时，可以在图3的自动颜色调谐处理342中使用上述色调再现曲线1590。相应地，为多个不同相机、相机类型以及其他准则产生多个色调再现曲线1590。以此方式，当在图3处理的方框346中获取色调再现曲线时，就可以使用来自相机310的用于所处理图像的元数据314来从预先存储和配置的色调曲线池中选择恰当的色调曲线。

在图15A的处理1500的当前实施例中，最终的色调再现曲线是使用灰度级而非相互区别的颜色通道(例如R，G，B)来产生的。当在图3的自动颜色调谐处理342中使用这个色调再现曲线时，它实际上以相同方式应用于每一个通道。在替换实施例中，与上述公开相似的处理可用于为图像的每一个颜色通道产生单独的色调再现曲线，由此，图3的自动颜色调谐处理342可以将单独的色调再现曲线独立应用于每一个通道，以便实施颜色调谐。例如，基准图像1502、1504有可能经历滤波处理，以便为每一个通道生成单独的图像。然后，与每一个通道相关联的图像可以经历处理1500的各阶段，以便为相关联的通道生成独立的色调再现曲线，所生成的曲线随后就可应用于所处理图像的每一个通道。

F.RAW图像处理流程中的附加处理

在图16A中显示了用于从原始RAW图像1610到结果RGB图像1690的RAW处理中的多个附加的自动化处理1600。这些自动化处理1600包括深度阴影去饱和处理1620、亮度增强1650以及RGB可分离增强1680。在图3的RAW图像处理流程300中，实际执行这些处理的时间和位置取决于相机的细节、RAW图像以及其他特性。

1.深度阴影去饱和处理

在一个实施例中，自动化深度阴影去饱和处理1620可以在图3中从相机RGB到XYZ颜色空间的第一转换阶段303中实施。该处理1620关注的是相机RGB图像中的RGB颜色值，其中该图像的亮度值低于阴影去饱和阈值。图16B在输入/输出亮度图1602中用线T图示了阴影去饱和阈值。去饱和处理1620以与那些深度阴影RGB颜色值接近于黑色的程度成比例的方式将那些颜色值的饱和度降到阈值T以下。该阴影去饱和阈值T可以对应于1％的黑色范围以内的亮度等级。

在去饱和处理1620中，使用标准技术来为RGB图像中的每个像素计算原始亮度Lo。计算得到的亮度Lo与阴影去饱和阈值T相比较，以便确定计算得到的亮度Lo是否低于阈值T。如果它低于阈值T，则使用内插函数来计算内插的灰度级亮度L_G。然后，这个内插的灰度级亮度L_G替换深度阴影像素的每一个原始颜色值R、G和B。在内插处理中，灰度级亮度L_G优选地与像素原始亮度Lo接近于黑色的程度成比例，由此，内插的灰度级亮度L_G从深度阴影去饱和阈值T平滑变换到黑色。通过使用内插的灰度级值来替换深度阴影亮度，就可以减小图像深度阴影中的彩色噪声。

2.RGB可分离增强

当图像处于RGB颜色空间时，可以在图3的流程300中执行自动化RGB可分离增强1680。一般来说，RGB可分离增强是一种用于增强图像对比度的优选技术，该技术是通过单独修改每一个R、G、B通道的亮度来调整图像的色调曲线。当在图像的阴影和较低中色调区域中使用RGB可分离增强来增强对比度时，颜色的饱和度有可能会作为RGB可分离增强的副作用而有所增强。当图像具有大量噪声时，对比度的这种增强将会导致噪声的色彩更为突出并且更不合乎需要。噪声出现得越是“单色”(在具有图像局部颜色的线条中)，噪声与传统的模拟胶片颗粒的相似度就越高。如果RGB可分离增强丰富了噪声的色彩，那么噪声将会呈现出从图像的局部颜色向红色和蓝色偏移，而这是不合乎需要的。在出现非期望伪像的色调区域，使用下文所述的亮度增强来取代RGB可分离增强1680。相应地，在本实施例中，RGB可分离增强1680主要关注的是较高的色调(例如那些比图16B的图表1602中的线1606指示的中色调等级更高的色调)。在被应用于这些较高色调的时候，RGB可分离增强1680往往会减小图像高光区域中的色彩。

3，亮度增强和变换色调区域

当图像处于RGB颜色空间时，也可以在图3的流程300中执行自动化亮度增强1650。与RGB增强1680一样，亮度增强1650同样可以用于控制RGB图像1690中的对比度。然而与RGB可分离增强1680不同的是，亮度增强1650并非单独修改每一条R，G和B通道的亮度。取而代之的是，亮度增强1650是同时应用于所有这三个通道的。此外，亮度增强1650关注的是比用于RGB可分离增强1680的中色调等级更低的变换色调区域。如在图16B的图表1602中粗略指示的那样，用于亮度增强1650的变换色调区域1604是介于四分之一色调等级1608与中色调等级1606之间的区域。在应用于这个色调区域1604时，亮度增强1650往往会减小与单独在该色调区域1604中以可分离的形式来增强每一个通道R、G、B的处理相关联的缺陷。

图16C示出了自动化亮度增强1660的一个实施例。首先，计算RGB图像中像素的亮度值(方框1662)，并且确定低于最大亮度值(例如图16C中的等级1606)的那些亮度值(方框1664)。如先前所述，所定义的变换色调区域可以是图16B中具有上限亮度值1606和下限亮度值1608的区域1604。对具有处于色调区域1604内部的原始亮度值的这些像素来说，使用内插法计算新的亮度值(方框1666)。

当使用处理设备的GPU来执行处理时，可以在三次方程中具体化的内插函数被用于所述内插处理。另一方面，当使用CPU来执行处理时，所述内插优选被具体化为含有通过三次方程计算的多个条目的查找表。这种查找表可以具有大约65,000个条目。例如，使用标准技术来计算原始图像中具有R₁、G₁、B₁通道值的像素，以使其具有亮度值L₁。

在方框1666的内插过程中，处于色调区域内部的亮度值优选是用该色调区域以外的那些亮度值进行平滑变换的。为了确定新亮度值L₂，在亮度的分段三次函数或查找表中使用计算得到的亮度L₁(例如L₂＝Table[L₁])，其中该查找表具体化为亮度的分段三次函数的估计。在一个实施例中，由GPU使用并被用于为CPU构造查找表的分段三次方程可以表征为：

if(x<luminance_threshold_1)

y＝ax³+bx²+cx+d；

else if(lu minance_threshold_2)

y＝ex³+fx²+gx+h；

else if(lu minance_threshold_3)

y＝ix³+jx²+kx+l；

else

y＝mx³+nx²+ox+p；

任何两个邻接的三次曲线都被优选地设计成在将其分离的亮度阈值处具有匹配值。此外，邻接的三次曲线被设计成在将其分离的相同亮度阈值处具有匹配斜率。通常，luminance_threshold_1(亮度_阈值_1)是0.1，luminance_threshold_2是0.2，而luminance_threshold_3则是0.5。此外，x＝0处的y值为零。这意味着系数d同样等于0。在x＝1处，y值同样是1。而这对于由系数m，n，o和p定义的三次方程来说，是具有含义的。

在内插了新的亮度值之后，计算新亮度L₂与旧亮度L₁之比(方框1668)，并且该因数与原始颜色值R₁、G₁、B₁相乘，以便为图像获取新的颜色值R₂、G₂、B₂，由此生成具有经亮度增强修改的颜色值的像素(方框1670)。例如，经过修改的像素将具有用

R_{2} = [\frac{L_{2}}{L_{1}}] R_{1},

G_{2} = [\frac{L_{2}}{L_{1}}] G_{1}

以及

B_{2} = [\frac{L_{2}}{L_{1}}] B_{1}

表征的颜色值。

如图16B所示，变换色调区域1604是由最小亮度值1608以及最大亮度值1606定义的。在变换色调区域1604的最小亮度值1608的下方，上述亮度增强1650被直接用于为该区域计算增强的RGB值。然而，在转换色调区域1604的内部，根据图像中的噪声量使用混合增强。在混合增强中，亮度增强1650和RGB可分离增强1680都被评估。

由此，在图16C的方框1672，确定选定像素的亮度值是否处于色调区域以内。如果不是，那么来自先前计算的亮度增强的增强RGB值被用于给定像素，并且处理1600行进至方框1678。

在方框1672，如果选定像素的原始亮度值处于变换色调区域以内，则计算用于亮度值的RGB可分离增强1680(方框1674)。然后，通过根据原始亮度值在变换色调区域1604中的位置而在先前计算的亮度增强1650与RGB可分离增强1680之间进行内插，可以计算用于色调区域内部的这些亮度值的增强RGB值(方框1676)。该内插是使用一个平滑函数来计算的，其中该平滑函数的变化范围是从位于变换色调区域1604的最小亮度值1608处的“0”到位于变换色调区域1604的最大亮度值1606处的“1”。如前所述，RGB可分离增强单独用于最大亮度等级1606以上的值，而亮度增强1650则单独用于最小亮度等级1608以下的值。

优选地，只有在图像具有给定噪声量时才使用在RGB可分离与亮度增强之间内插的混合增强。举例来说，当图像具有少量噪声时，优选的是为整个色调范围使用RGB可分离增强1680。然而，如果图像具有的噪声量高于某个阈值，就使用以上讨论的混合增强。如果图像具有中间量的噪声时，那么将会同时计算直接的RGB可分离增强以及混合增强，并且在直接的RGB可分离增强与混合增强之间执行内插，以便确定所要使用的结果增强。一旦增强了选定像素，那么方框1678的处理1600会为原始图像中的附加像素重复执行方框1666～1678。最后，就能生成具有经修改的亮度值的结果图像(方框1674)。

如前所述，具有操作系统的处理设备(例如计算机、成像设备、相机等等)可以执行这里公开的自动化RAW图像处理方法、服务和技术。此外，能被可编程处理设备读取的程序存储设备可以具有存储在该程序存储设备中的指令，以使可编程处理设备执行这里公开的自动化RAW图像处理方法和技术。

以上关于优选和其他实施例的描述并不是为了局限或限制申请人设想的发明原理的范围或适用性。举个例子，虽然本公开关注的是RGB Bayer图案和RGB颜色空间，但是应该了解，本公开的教导同样适用于滤色阵列和颜色空间的其他实施方式。作为公开了这里所包含的发明原理的交换，申请人希望得到所附权利要求提供的所有专利权。由此，所附权利要求旨在最大限度地包含所有那些落入所附权利要求或是其等价范围以内的修改和变更。

Claims

1.一种可由处理设备实施的自动化RAW图像处理方法，该方法包括：

存储多个预定色调曲线；

通过对RAW图像执行内插来产生内插图像；

根据与RAW图像相关联的元数据来确定所述多个预定色调曲线中要应用的一个或更多预定色调曲线；

将所述一个或更多预定色调曲线应用于内插图像，以便产生结果图像；以及

使所述结果图像对处理设备上执行的应用可用。

2.根据权利要求1所述的方法，其中该处理设备包括计算机。

3.根据权利要求1所述的方法，包括最初接收从成像设备传递的RAW图像以及相关联的元数据。

4.根据权利要求3所述的方法，其中成像设备包括数码相机。

5.根据权利要求1所述的方法，其中所述多个预定色调曲线中的每一个都与可由与该RAW图像相关联的元数据所识别的数码相机相关联。

6.根据权利要求1所述的方法，其中所述一个或更多预定色调曲线中的每一个是如下得到的：

使用相机来创建场景的第一基准图像，

获取该场景的第二基准图像，

将第一和第二基准图像变换成灰度级图像，

为所述两个基准图像进行灰度级值配对，

根据配对来产生预定色调曲线，以及

将预定色调曲线与有关该相机的信息相关联。

7.根据权利要求1所述的方法，其中所述一个或更多预定色调曲线中的每一个是如下得到的：

使用相机来创建场景的第一基准图像，

将第一基准图像滤波成多个第一颜色通道图像，其中每一个第一颜色通道图像都具有一个颜色通道的像素值，

获取该场景的第二基准图像，

将第二基准图像滤波成多个第二颜色通道图像，其中每一个第二颜色通道图像都具有一个颜色通道的像素值，

为相同颜色通道的所述第一和第二颜色通道图像中的每一个的相应像素配对颜色通道值，

根据所述配对来产生多个颜色通道色调曲线，以及

将所述颜色通道色调曲线与有关该相机的信息相关联。

8.根据权利要求1所述的方法，其中对RAW图像执行内插的步骤包括：将RAW图像去马赛克以使其变成具有颜色空间的内插图像。

9.根据权利要求1所述的方法，其中根据与RAW图像相关联的元数据来确定所述多个预定色调曲线中要应用的一个或更多预定色调曲线的步骤包括：将识别数码相机的元数据信息与关联于预定色调曲线的相机信息相比较。

10.根据权利要求1所述的方法，其中将预定色调曲线应用于内插图像的步骤包括：

确定内插图像的每一个像素的色调值；以及

调整所确定的每一个像素的色调值，以便与来自预定色调曲线的相应色调值相匹配。

11.根据权利要求1所述的方法，其中使所述结果图像对处理设备上执行的应用可用的步骤包括：将执行自动化RAW图像处理的操作系统服务与使用应用编程接口的应用接口。

12.一种可由可编程处理设备读取的程序存储设备，其中该程序存储设备包含在其上存储的指令，所述指令用于使该可编程处理设备执行根据权利要求1的自动化RAW图像处理方法。

13.一种可在处理设备上运行的操作系统，用于执行根据权利要求1的自动化RAW图像处理方法。

14.一种可由处理设备实施的自动化RAW图像处理方法，该方法包括：

使用第一相机来获取场景的第一基准图像；

获取该场景的第二基准图像；

将第一基准图像中的每一个像素的值与第二基准图像中相应像素的值进行配对；

根据所述配对来产生一个或多个色调曲线；

将所述一个或多个色调曲线与关联于该相机的相机信息相关联；以及

将所述一个或多个色调曲线和相关联的相机信息存储在处理设备上以供在RAW图像处理中使用。

15.根据权利要求14所述的方法，其中该场景包括具有多个色标的色表。

16.根据权利要求14所述的方法，其中该色表包括四色曲线图图像。

17.根据权利要求14所述的方法，其中获取场景的第二基准图像的步骤包括：使用与第一相机不同的第二相机来获取场景的第二基准图像。

18.根据权利要求14所述的方法，其中获取场景的第二基准图像的步骤包括：使用与用以获取第一基准图像的光源不同的光源来获取场景的第二基准图像。

19.根据权利要求14所述的方法，其中获取场景的第二基准图像的步骤包括：结合应用来对第二基准图像执行至少一个修改，其中所述修改并没有对第一基准图像做出。

20.根据权利要求14所述的方法，其中将第一基准图像中的每一个像素的值与第二基准图像中相应像素的值进行配对的步骤包括：

将第一和第二基准图像变换成第一和第二灰度级图像；

将第一和第二灰度级图像中的相应像素的灰度级值进行配对；

根据所述配对来产生色调曲线；以及

将所述色调曲线与有关该相机的信息相关联。

21.根据权利要求20所述的方法，其中变换步骤包括：缩放所述第一和第二基准图像中的每一个。

22.根据权利要求21所述的方法，其中缩放步骤包括：充分减小第一与第二基准图像之间由于去马赛克处理或噪声引起的差别。

23.根据权利要求20所述的方法，其中变换步骤包括：

确定将所述灰度级图像中的一个的最大亮度匹配于其他灰度级图像的增益因数；以及

在所述一个灰度级图像中，用所确定的增益因数来缩放灰度级值。

24.根据权利要求20所述的方法，其中产生步骤包括：根据第一与第二灰度级图像之间的配对的灰度级值，使用内插来产生基本连续的曲线。

25.根据权利要求14所述的方法，其中将第一基准图像中的每一个像素的值与第二基准图像中相应像素的值进行配对的步骤包括：

使用相机来创建场景的第一基准图像；

获取该场景的第二基准图像，

根据所述配对来产生多个颜色通道色调曲线，以及

将所述颜色通道色调曲线与有关该相机的信息相关联。

26.根据权利要求14所述的方法，还包括使用所述一个或多个色调曲线来自动预处理RAW图像。

27.根据权利要求26所述的方法，其中使用所述一个或多个色调曲线包括：

将RAW图像内插成内插图像；

从与RAW图像相关联的元数据确定相机信息；

获取与所确定的相机信息相关联的所述一个或多个色调曲线；

将所述一个或多个色调曲线应用于内插图像的一个或多个颜色通道，以便产生结果图像；以及

使结果图像对处理设备上运行的应用可用。