CN112235484A - 用于生成数字图像的系统和方法 - Google Patents

Abstract

公开了一种用于生成数字图像的系统、方法和计算机程序产品。所述系统包括第一图像传感器，配置成捕捉包括多个色度值的第一图像，第二图像传感器，配置成捕捉包括多个亮度值的第二图像，以及图像处理子系统，配置成通过结合所述多个色度值和所述多个亮度值来生成成果图像。所述第一图像传感器和所述第二图像传感器可以是针对捕捉色度图像或亮度图像而优化的不同的图像传感器。

Description

用于生成数字图像的系统和方法

技术领域

本发明总地涉及数字摄影系统，更具体地涉及由独立的颜色和强度数据生成数字图像。

背景技术

基于视网膜中视棒细胞和视锥细胞的响应，人眼以不同方式对光作出反应。具体地，眼睛对可见光谱中的以及亮度和色度之间的不同颜色(例如，红色，绿色和蓝色)感知反应是不同的。捕捉数字图像的传统技术依赖于设置在如拜耳(Bayer)颜色过滤器的颜色过滤器阵列下方的CMOS图像传感器或CCD图像传感器。图像传感器的每个光电二极管对表示与该像素位置处的特定颜色相关联的光量的模拟值进行采样。然后，三个或更多不同颜色通道的信息可被结合(或过滤)以生成数字图像。

由于将在图像传感器的不同离散位置处产生的值混合(blend)到成果图像(resulting image)中的单像素值中，由这些技术生成的成果图像降低了空间分辨率。由于原始数据的此过滤，场景中的细节可能表现不佳。

此外，基于人体生理学，人类视觉对亮度信息比色度信息更敏感是众所周知的。换言之，当与色度变化相比时，人眼可以识别由于亮度变化而导致的更小的细节。然而，传统图像捕捉技术通常不会开发亮度和色度信息之间感知的差异。因而，需要解决与先前技术有关的这些问题和/或其他问题。

概要

公开了一种用于生成数字图像的系统、方法和计算机程序产品。所述系统包括：第一图像传感器，配置成捕捉包含多个色度值的第一图像，第二图像传感器配置成捕捉包含多个亮度值的第二图像，以及图像处理子系统，配置成通过结合(combine)所述多个色度值和所述多个亮度值来生成成果图像。所述第一图像传感器和所述第二图像传感器可以是针对捕捉色度图像或亮度图像而优化的不同的图像传感器。

在一个实施例中，系统包括配置成捕捉包含多个色度值的第一图像的第一图像传感器，配置成捕捉包含多个亮度值的第二图像的第二图像传感器，以及配置成通过结合多个色度值和多个亮度值来生成成果图像的图像处理子系统。

此外，在一个实施例中，提供第一透镜，其将来自摄影场景的光聚焦至第一图像传感器，和提供第二透镜，其将来自摄影场景的光聚焦至第二图像传感器。在一个实施例中，提供透镜，其将来自摄影场景的光聚焦至分束器，该分束器被配置成将来自摄影场景的光分裂到第一图像传感器和第二图像传感器上。

在另一个实施例中，第一图像传感器包括包含在光电二极管阵列中的第一部分光电二极管，以及第二图像传感器包括包含在光电二极管阵列中的第二部分光电二极管。在另一实施例中，第一图像传感器和第二图像传感器利用全局快门操作采样图像。

此外，在一个实施例中，第一图像传感器和第二图像传感器利用滚动快门操作采样图像。在另一个实施例中，第一图像传感器和第二图像传感器中的一个利用滚动快门操作采样图像，以及第一图像传感器和第二图像传感器中的另一个利用全局快门操作采样图像。

在另一个实施例中，提供闪光灯单元(unit)，以及其中在闪光灯照明下对第一图像和第二图像进行采样。此外，在一个实施例中，闪光灯单元包含红色发光二极管(LED)，绿色LED，以及蓝色LED。

在一个实施例中，图像处理子系统被配置成在环境照明下捕捉图像，分析图像以确定白平衡设置，以及使闪光灯单元能够基于白平衡设置提供特定颜色的闪光灯照明。在另一个实施例中，成果图像通过以下步骤生成：针对成果图像中的每个像素，确定第一图像中的对应像素，其中第一图像中的对应像素与由红色值、绿色值和蓝色值指定的颜色相关，将由红色值、绿色值和蓝色值指定的颜色转换为采用色调值、饱和度值和明度值指定颜色的色调-饱和度-明度模型，确定第二图像中的对应像素，第二图像中的对应像素与强度值相关联，以及结合强度值与色调值和饱和度值以为成果图像中的像素指定颜色。

此外，在一个实施例中，第一图像传感器、第二图像传感器和图像处理子系统被包含在无线移动设备中。在另一实施例中，第一图像传感器、第二图像传感器和图像处理子系统被包含在数码相机中。

在一个实施例中，一种方法包括：接收包含多个色度值的第一图像，接收包含多个亮度值的第二图像，以及通过结合所述多个色度值和所述多个亮度值来生成成果图像。

此外，在另一个实施例中，生成成果图像包括：针对成果图像中的每个像素，确定第一图像中的对应像素，其中所述第一图像中的对应像素与由红色值、绿色值和蓝色值指定的颜色相关联，将由所述红色值、绿色值和蓝色值指定的颜色转换为采用色调值、饱和度值和明度值指定颜色的色调-饱和度-明度模型，确定第二图像中的对应像素，所述第二图像中的对应像素与强度值相关联，以及结合所述强度值与色调值和饱和度值以为成果图像中的像素指定颜色。

在另一实施例中，所述第一图像由第一图像传感捕捉，以及其中所述第二图像由第二图像传感器捕捉。此外，在一个实施例中，分束器将来自摄影场景的光同时引向第一图像传感器和第二图像传感器。

在一个实施例中，体现在非暂时性计算机可读介质上的计算机程序产品包括：用于接收包含多个色度值的第一图像的代码，用于接收包含多个亮度值的第二图像的代码，以及用于通过结合所述多个色度值和所述多个亮度值来生成成果图像的代码。

此外，在一个实施例中，所述第一图像由第一图像传感器捕捉，以及其中所述第二图像由第二图像传感器捕捉。在另一个实施例中，分束器将来自摄影场景的光同时引向第一图像传感器和第二图像传感器。

附图说明

图1示出了根据一个实施例的用于生成数字图像的方法100的流程图；

图2示出了根据一个实施例的配置成实现图1的方法100的图像处理子系统；

图3A示出了配置成实现本发明的一个或更多个方面的数字摄影系统；

图3B示出了根据本发明的一个实施例的图3A的数字摄影系统内的处理器复合体；

图3C示出了根据一个实施例的数码相机；

图3D示出了根据一个实施例的无线移动设备；

图3E示出了根据一个实施例的相机模块；

图3F示出了根据一个实施例的相机模块；

图3G示出了根据一个实施例的相机模块；

图4示出了根据一个实施例的网络服务系统；

图5A示出了根据一个实施例的用于捕捉光学场景信息以转换为摄影场景的电子表示的系统；

图5B-5D示出了根据一个或更多个实施例的三个可选像素配置；

图5E示出了根据一个实施例的系统，其被示出为用于捕捉聚焦为图像传感器上的光学图像的光学场景信息；

图6A示出了根据一个可能的实施例的感光单元的电路图；

图6B示出了根据另一个可能的实施例的感光单元的电路图；

图6C示出了根据实施例的用于将模拟像素数据转换为数字像素数据的系统；

图7A示出了根据一个实施例的相机模块的配置；

图7B示出了根据另一个实施例的相机模块的配置；

图7C示出了根据又一实施例的相机模块的配置；

图8示出了根据一个实施例的用于生成数字图像的方法的流程图；

图9A示出了根据一个实施例的配置成基于两个图像集生成成果图像的观察者应用程序；

图9B示出了根据一个实施例的与图9A中的观察者应用程序910相关联的示例性用户界面；

图9C示出了根据一个实施例的具有不同闪光灯曝光水平的成果图像；以及

图9D示出了根据一个实施例的用于从高动态范围色度图像和高动态范围亮度图像生成成果图像的系统。

详细说明

本发明的实施例使能数字摄影系统生成经受闪光灯照明的摄影场景的数字图像(或简称“图像”)。示例性数字摄影系统包括但不限于数码相机和如智能电话的移动设备，其被配置为包括数码相机模块和闪光灯单元。给定的摄影场景是由数字摄影系统采样的整个场景的一部分。

数字摄影系统可以捕捉(capture)用于数字图像的色度成分(即，颜色)和亮度(即，强度)成分的单独图像数据。例如，第一图像传感器可以用于捕捉色度数据，以及第二图像传感器可以用于捕捉亮度数据。第二图像传感器可以不同于第一图像传感器。例如，当与第一图像传感器捕捉的色度信息相比时，第二图像传感器的分辨率可以高于第一图像传感器，从而产生与所捕捉的场景的亮度信息相关的更多细节。然后可以结合色度信息和亮度信息以生成成果图像，其产生比使用常规技术的单个图像传感器捕捉的更好的图像。

在另一个实施例中，两个或更多个图像通过数字摄影系统顺序采样以生成图像集。图像集中的每个图像可以结合不同的闪光灯强度、不同的曝光参数，或其组合而生成。曝光参数可以包括传感器灵敏度(“ISO”参数)，曝光时间(快门速度)，光圈尺寸(f-stop)和对焦距离。在某些实施例中，一个或更多个曝光参数，例如光圈尺寸，可以是恒定的，并且不经过测定。例如，基于与数字摄影系统相关联的给定透镜设计，光圈尺寸可以是恒定的。可以结合如发光二极管(LED)闪光灯单元的闪光灯单元对构成图像集的图像中的至少一个进行采样，该闪光灯单元被配置成向摄影场景提供照明。

可以捕捉用于色度信息和亮度信息的单独的图像集。例如，第一图像集可以以不同的闪光灯强度和/或曝光参数，在环境照明和闪光灯照明下捕捉色度信息。第二个图像集可以在相同的设置下捕捉亮度信息。然后可以混合色度信息和亮度信息以产生相较于使用单个图像传感器捕捉的具有更大动态范围的成果图像。

图1示出了根据一个实施例的用于生成数字图像的方法100的流程图。尽管结合图2-7C的系统描述了方法100，但是本领域普通技术人员将理解，执行方法100的任何系统都在本发明的实施例的范围和精神内。在一个实施例中，数字摄影系统(诸如图3A的数字摄影系统300)被配置成执行方法100。数字摄影系统300可以在数码相机(诸如图3C的数码相机302)或移动设备(诸如图3D的移动设备376)内实现。

方法100开始于步骤102，其中如处理器复合体310的处理器接收光学场景的第一图像，其包括多个色度值(本文中称为色度图像)。可以使用如CMOS图像传感器或CCD图像传感器的第一图像传感器捕捉色度图像。在一个实施例中，色度图像包括多个像素，其中每个像素与不同的颜色通道成分(例如，红色，绿色，蓝色，蓝绿色，品红色，黄色等)相关联。在另一个实施例中，每个像素与值的元组(tuple)相关联，元组中的每个值与不同的颜色通道成分相关联(即，每个像素包括红色值、蓝色值和绿色值)。

在步骤104，处理器接收包括多个亮度值的光学场景的第二图像(本文中称为亮度图像)。可以使用与第一图像传感器不同的第二图像传感器来捕捉亮度图像。可选地，可以使用第一图像传感器捕捉亮度图像。例如，色度值可以由第一图像传感器的光电二极管的第一子集捕捉，并且亮度值可以由第一图像传感器的光电二极管的第二子集捕捉。在一个实施例中，亮度图像包括多个像素，其中每个像素与强度成分相关联。强度成分说明该像素处的图像的亮度。强度成分的位深度可以等于或不同于色度图像中的每个颜色通道成分的位深度。例如，色度图像中的每个颜色通道成分可以具有8位的位深度，但是强度成分可以具有12位的位深度。当第一图像传感器和第二图像传感器使用具有不同精度水平的模数转换器(ADC)对由图像传感器中的光电二极管生成的模拟值采样时，位深度可能不同。

在一个实施例中，色度图像中的每个像素与亮度图像中的一个或更多个对应像素相关联。例如，色度图像和亮度图像可以具有相同的分辨率，并且色度图像中的像素与亮度图像中的对应像素具有1比1的映射。可选地，亮度图像可以具有比色度图像更高的分辨率，其中色度图像中的每个像素被映射到亮度图像中的两个或更多个像素。应当理解的是，将色度图像中的像素映射到亮度图像中的像素的任何方式被认为在本发明的范围内。

在步骤106，处理器基于第一图像和第二图像生成成果图像。在一个实施例中，成果图像与第二图像(即亮度图像)具有相同的分辨率。对于成果图像中的每个像素，处理器将色度信息和亮度信息混合以生成成果图像中的结果像素值。在一个实施例中，处理器确定与成果图像中的像素相关联的色度图像中的一个或更多个像素。例如，处理器可以选择色度图像中的对应像素，其包括指定RGB颜色空间中的颜色的红色值、绿色值和蓝色值。处理器可以将RGB颜色空间中指定的颜色转换为色调-饱和度-明度(HSV)颜色值。在HSV模型中，色调代表特定的颜色，饱和度代表颜色的“深度”(即，颜色是明亮的，粗体的还是暗淡的，灰色的)，以及明度代表颜色的亮度(即，颜色强度更接近黑色或白色)。处理器还可以确定与成果图像中的像素相关联的亮度图像中的一个或更多个像素。可以从亮度图像中的一个或更多个像素确定亮度值。亮度值可以与从色度图像确定的色调值和饱和度值结合，以产生HSV模型中指定的新颜色。新颜色可能与由色度信息单独指定的颜色不同，因为相对于空间分辨率或精度(即，位深度等)，可以更准确地捕捉亮度值。在一个实施例中，HSV模型中指定的新颜色可以被转换回RGB颜色空间并存储在成果图像中。可选地，颜色可以转换成任何技术上可行的颜色空间表示，例如YCrCb，R'G'B'或本领域已知的其他类型的颜色空间。

在一个实施例中，处理器可以向色度图像的一部分应用过滤器以从色度图像中选择多个颜色通道成分值。例如，可以基于应用于色度图像中的多个单独像素值的过滤器来确定单个RGB值，其中每个像素指定单个颜色通道成分的值。

根据用户的期望，现在将阐述关于各种可选架构和特征的更多说明性的信息，采用这些可选架构和特征前述框架可以或不可以被实现。应该强调指出，阐述下面的信息是为了说明的目的，不应被解释为以任何方式限制。任何下面的特征可以在排除或不排除所描述的其他特征的情况下被可选择地合并。

在一个实施例中，如下面更详细描述的，第一图像可以包括通过结合两个或更多个色度图像而生成的色度图像。此外，如下面更详细描述的，第二图像可以包括通过结合两个或更多个亮度图像而生成的亮度图像。

图2示出了根据一个实施例的配置成实现图1的方法100的图像处理子系统200。在一个实施例中，图像处理子系统200包括由处理器执行的软件模块，其使得处理器从色度图像202和亮度图像204生成成果图像250。处理器可以是高度并行的处理器，诸如图形处理单元(GPU)。在一个实施例中，软件模块可以是着色器程序，诸如像素着色器或片段着色器，其由GPU相对成果图像250中的每个像素执行一次。色度图像202和亮度图像204中的每一个可以作为纹理图存储在存储器中，并且由着色器程序使用例如GPU的纹理高速缓存来访问。

在一个实施例中，为成果图像250的对应像素执行着色器程序的每个实例。成果图像250中的每个像素与指定成果图像250中的像素的位置的一组坐标相关联。坐标可以用于访问色度图像202中的值和亮度图像204中的值。可以通过一个或更多个功能来评估这些值以生成成果图像250中的像素的值。在一个实施例中，可以并行地执行与成果图像250中的不同像素相关联的着色器程序的至少两个实例。

在另一个实施例中，图像处理子系统200可以是专用功能单元，诸如专用集成电路(ASIC)内的逻辑电路。ASIC可以包括用于从色度图像202和亮度图像204生成成果图像250的逻辑电路。在一个实施例中，色度图像202由第一图像传感器以第一分辨率捕捉，以及色度图像202中的像素的值以第一格式存储。类似地，亮度图像204由第二图像传感器以第二分辨率捕捉，其可以与第一分辨率相同或不同，以及亮度图像204中的像素的值以第二格式存储。该逻辑专门为第一分辨率和第一格式的色度图像202以及第二分辨率和第二格式的亮度图像204设计。

在又一个实施例中，图像处理子系统200是设计成根据特定算法处理色度图像202和亮度图像204的通用处理器。色度图像202和亮度图像204可以从外部源接收。例如，图像处理子系统200可以是由服务器计算机通过网络提供的服务。源(即，连接到网络的客户端设备)可以向服务发送请求以处理包括色度图像202和亮度图像204的图像对。源可以经由网络将色度图像202和亮度图像204传输至服务。图像处理子系统200可以被配置成从一个或更多个源(例如，连接到网络的设备)接收多个图像对，并处理每个图像对以生成对应的多个成果图像250。每个成果图像250可以经由网络被传输至请求源。

如上所述，可以结合色度图像和亮度图像以生成具有比用常规技术获得的更好质量的成果图像。例如，典型的图像传感器可以仅生成色度数据，其引起从所有颜色通道成分的组合中所感知的亮度。然而，可以从不同的离散位置对每个单独的颜色通道成分进行采样，然后结合以生成数字图像，其中每个空间位置(即，像素)是所有颜色通道成分的结合。换句话说，数字图像是由图像传感器捕捉的原始光学信息的模糊版本。通过利用未被过滤的亮度信息和将颜色成分信息添加到每个像素，可以再现更精确的数字图像。此外，从亮度信息中分离色度信息的捕捉使得图像的每个成分被单独捕捉，潜在地针对每个应用定制不同的图像传感器。这些优点将在下面更详细地讨论。

图3A示出了配置成实现本发明的一个或更多个方面的数字摄影系统300。数字摄影系统300包括耦合到相机模块330和闪光灯单元336的处理器复合体310。数字摄影系统300还可以包括但不限于显示单元312，一组输入/输出设备314，非易失性存储器316，易失性存储器318，无线单元340和传感器设备342，每一个均耦合到处理器复合体310。在一个实施例中，电源管理子系统320被配置成为数字摄影系统300内的每个电负载元件生成合适的电源电压。电池322可以被配置成向电源管理子系统320提供电能。电池322可以实现任何技术上可行的能量存储系统，包括基本的或可充电的电池技术。

在一个实施例中，闪光灯单元336被集成到数字摄影系统300中并且被配置成在由数字摄影系统300执行的图像采样事件期间提供闪光灯照明350。在替代实施例中，闪光灯单元336作为来自数字摄影系统300的独立设备被实现，并且被配置成在由数字摄影系统300执行的图像采样事件期间提供闪光灯照明350。闪光灯单元336可以包括一个或更多个LED设备。在某些实施例中，两个或更多个闪光灯单元被配置成与对图像采样同步地生成闪光灯照明。

在一个实施例中，通过闪光灯控制信号338引导闪光灯单元336以发射闪光灯照明350或不发射闪光灯照明350。闪光灯控制信号338可以实现任何技术上可行的信号传输协议。闪光灯控制信号338可以指示闪光灯参数，诸如闪光灯强度或闪光灯颜色，用于引导闪光灯单元336生成闪光灯照明350的指定强度和/或颜色。如图所示，闪光灯控制信号338可由处理器复合体310生成。可选地，闪光灯控制信号338可以由相机模块330或任何其他技术上可行的系统元件生成。

在一个使用场景中，闪光灯照明350包括由相机模块330拍摄的摄影场景中的整体照明的至少一部分。在相机模块330内，光学场景信息352作为光学图像被聚焦到图像传感器332上，其可以包括从摄影场景中的对象反射的闪光灯照明350。图像传感器332生成光学图像的电子表示。电子表示包括空间颜色强度信息，其可以包括不同的颜色强度样本，诸如关于红色、绿色和蓝色的光。空间颜色强度信息还可以包括用于白光的样本。可选地，颜色强度样本可以包括用于蓝绿色、品红色和黄色的光的空间颜色强度信息。本领域技术人员将认识到，可以实现其他和更多组的空间颜色强度信息。电子表示经由互连334传输到处理器复合体310，其可以实现任何技术上可行的信号传输协议。

输入/输出设备314可以包括但不限于电容性触摸输入表面，电阻性平板输入表面，一个或更多个按钮，一个或更多个旋钮，发光器件，光检测器件，发声器件，声音检测器件，或用于接收用户输入并将输入转换为电信号或将电信号转换为物理信号的任何其他技术上可行的设备。在一个实施例中，输入/输出设备314包括耦合到显示单元312的电容性触摸输入表面。

非易失性(NV)存储器316被配置成在电力中断时存储数据。在一个实施例中，NV存储器316包括一个或更多个闪存器件。NV存储器316可以被配置成包括用于由处理器复合体310内的一个或更多个处理单元执行的编程指令。编程指令可以实现但不限于操作系统(OS)，UI模块，图像处理和存储模块，用于通过相机模块330对图像集采样的一个或更多个模块，用于通过显示单元312呈现图像集的一个或更多个模块。编程指令还可以实现一个或更多个模块，该一个或更多个模块用于合并图像集内的图像或图像的部分、对准图像集中的每个图像的至少部分或其组合。包括NV存储器316的一个或更多个存储器设备可以被打包为被配置成由用户安装或移除的模块。在一个实施例中，易失性存储器318包括动态随机存取存储器(DRAM)，其配置成在数字摄影系统300的正常操作过程中临时存储编程指令，图像数据(诸如与图像集相关联的数据)等。

传感器设备342可以包括但不限于用于检测运动和/或方向的加速度计、用于检测运动和/或方向的电子陀螺仪、用于检测方向的磁通量检测器、用于检测地理位置的全球定位系统(GPS)模块或其任何组合。

无线单元340可以包括被配置成发送和接收数字数据的一个或更多个数字无线电。特别地，无线单元340可以实现基于电气和电子工程师协会(IEEE)标准802.11的本领域已知为“WiFi”的无线标准，并且可以实现用于数据通信的数字蜂窝电话标准，诸如众所周知的“3G”和“4G”标准套件。无线单元340可以进一步实现本领域已知为LTE(长期演进)的标准和协议。在一个实施例中，数字摄影系统300被配置成经由无线单元340将根据本文教导的技术采样的一个或更多个数字照片传输至在线或“基于云”的摄影媒体服务。一个或更多个数字照片可以驻留在NV存储器316或易失性存储器318中。在这种情况下，用户可以拥有访问在线摄影媒体服务，并且传输一个或更多个数字照片以供在线摄影媒体服务存储和呈现的凭证。凭证可以在数字照片传输之前在数字摄影系统300内存储或生成。在线摄影媒体服务可以包括社交网络服务，照片共享服务或提供数字照片的存储和传输的任何其他基于网络的服务。在某些实施例中，基于根据本文教导的技术采样的图像集，由在线摄影媒体服务生成一个或更多个数字照片。在这样的实施例中，用户可以上传包括图像集的源图像，以供在线摄影媒体服务处理。

在一个实施例中，数字摄影系统300包括多个相机模块330。这样的实施例还可以包括至少一个闪光灯单元336，其被配置为照亮由多个相机模块330采样为多个视图的摄影场景。多个相机模块330可以被配置成对广角视图(相机之间大于四十五度的扫描)进行采样以生成全景照片。多个相机模块330还可以被配置成采样两个或更多个窄视角(相机之间小于四十五度的扫描)，以生成立体照片。多个相机模块330可以包括被配置成对色度信息采样的至少一个相机模块以及被配置成对亮度信息采样的至少一个不同的相机模块。

显示单元312被配置成显示像素的二维阵列以形成图像用于显示。显示单元312可以包括液晶显示器、有机LED显示器或任何其他技术上可行的显示器。在某些实施例中，显示单元312能够显示比在包含该图像集的两个或更多个图像的集合上采样的强度值的完整范围更窄的动态范围的图像强度值。这里，包括图像集的图像可以根据任何技术上可行的高动态范围(HDR)混合技术合并，以生成合成图像用于在显示单元312的动态范围限制内显示。在一个实施例中，受限的动态范围为相应颜色强度的每个颜色通道二进制表示指定八位。在其他实施例中，受限动态范围为每个颜色通道二进制表示指定十二位。

图3B示出了根据本发明的一个实施例的图3A的数字摄影系统300内的处理器复合体310。处理器复合体310包括处理器子系统360，并且可以包括存储器子系统362。在一个实施例中，处理器复合体310包括实现处理器子系统360的片上系统(SoC)设备，和包括耦合到处理器子系统360的一个或更多个DRAM设备的存储器子系统362。在该实施例的一个实现方式中，处理器复合体310包括封装SoC设备和一个或更多个DRAM设备的多芯片模块(MCM)。

处理器子系统360可以包括但不限于一个或更多个中央处理单元(CPU)核370，存储器接口380，输入/输出接口单元384和显示器接口单元382，每一个均耦合到互连374。一个或更多个CPU核370可以被配置成执行驻留在存储器子系统362，易失性存储器318，NV存储器316或其任何组合内的指令。一个或更多个CPU核370中的每一个可以被配置成经由互连374和存储器接口380检索和存储数据。一个或更多个CPU核370中的每一个可以包括数据高速缓存和指令高速缓存。两个或更多个CPU核370可以共享数据高速缓存，指令高速缓存，或其任何组合。在一个实施例中，高速缓存层级被实现以向每个CPU核370提供专用高速缓存层和共享高速缓存层。

处理器子系统360还可以包括一个或更多个图形处理单元(GPU)核372。每个GPU核372包括多个多线程执行单元，其可以被编程以实现图形加速功能。GPU核372可以被配置成根据诸如OpenGL^TM，OpenCL^TM，CUDA^TM等众所周知的标准执行多个线程程序。在某些实施例中，至少一个GPU核372实现运动估计功能的至少一部分，诸如众所周知的哈里斯(Harris)检测器或众所周知的赫西拉-拉普拉斯(Hessian-Laplace)检测器。这样的运动估计功能可以用于对准图像集中的图像或图像的部分。

互连374被配置成在存储器接口380，显示器接口单元382，输入/输出接口单元384，CPU核370和GPU核372之间传输数据。互连374可以实现一个或更多个总线、一个或更多个环、交叉条(cross-bar)、网格或任何其他技术上可行的数据传输结构或技术。存储器接口380被配置成将存储器子系统362耦合到互连374。存储器接口380还可以将NV存储器316，易失性存储器318或其任何组合耦合到互连374。显示器接口单元382被配置成将显示单元312耦合到互连374。显示器接口单元382可以实现诸如帧刷新的某些帧缓冲器功能。可选地，显示单元312可以实现帧刷新。输入/输出接口单元384被配置成将各种输入/输出设备耦合到互连374。

在某些实施例中，相机模块330被配置成存储用于对图像集中的每个图像采样的曝光参数。当指示对图像集进行采样时，相机模块330根据所存储的曝光参数对图像集进行采样。在处理器复合体310内执行的软件模块可以在指示相机模块330对图像集进行采样之前生成并存储曝光参数。

在其他实施例中，相机模块330被配置成存储用于对图像集中的图像采样的曝光参数，并且处理器复合体310内的相机接口单元386被配置成使相机模块330首先存储包括图像集的给定图像的曝光参数，并随后对图像进行采样。在一个实施例中，将与包括图像集的图像相关联的曝光参数存储在参数数据结构内。相机接口单元386被配置成为将要采样的给定图像从参数数据结构中读取曝光参数，并且将曝光参数传输到相机模块330以准备采样图像。在根据曝光参数配置相机模块330之后，相机接口单元386引导相机模块330采样图像。图像集中的每个图像均可以以这种方式被采样。数据结构可以存储在相机接口单元386内，处理器复合体310内的存储器电路内，易失性存储器318内，NV存储器316内，或任何其他技术上可行的存储器电路内。在处理器复合体310内执行的软件模块可以生成和存储数据结构。

在一个实施例中，相机接口单元386通过互连334将曝光参数和命令传输到相机模块330。在某些实施例中，相机接口单元386被配置成通过通过闪光灯控制信号338将控制命令传输到闪光灯单元336来直接控制闪光灯单元336。通过直接控制相机模块330和闪光灯单元336两者，相机接口单元386可以使相机模块330和闪光灯单元336以精确的时间同步来执行它们各自的操作。也就是说，相机接口单元386可以同步进行如下步骤：在采样图像之前配置相机模块330，配置闪光灯单元336以产生适当的闪光灯亮度，以及指示相机模块330对经受闪光灯照明的摄影场景进行采样。

与每个步骤相关联的附加设置时间或执行时间可能会降低整体采样性能。因此，可以将诸如相机接口单元386的专用控制电路实质上实现为最小化与每个步骤和步骤之间的任何中间时间相关联的设置和执行时间。

在其他实施例中，在处理器复合体310内执行的软件模块具有潜在降低的性能，引导相机模块330和闪光灯单元336的操作和同步。

在一个实施例中，相机接口单元386被配置成在从相机模块330接收图像数据的同时累积统计。具体地，相机接口单元386可以通过互连334来接收图像的图像数据，同时累积给定图像的曝光统计。曝光统计可以包括强度直方图，曝光过度的像素或曝光不足的像素的计数，像素强度的强度加权和，或其任何组合。相机接口单元386可以将曝光统计以由处理器复合体310内的处理器(诸如CPU核370)所定义的物理的或虚拟的地址空间内的存储器映射存储位置呈现。

在某些实施例中，相机接口单元386累积用于估计场景白平衡的颜色统计。任何技术上可行的颜色统计均可以被累积用来估计白平衡，诸如包括红色、绿色和蓝色通道的不同颜色通道的强度之和。然后根据诸如灰世界白平衡模型的白平衡模型，可以将颜色通道强度之和用于对相关图像执行白平衡颜色校正。在其他实施例中，累积用于实现图像的白平衡校正的线性或二次曲线拟合的曲线拟合统计。在一个实施例中，相机接口单元386累积用于在两个或更多个图像之间(例如在一个或更多个环境图像之间与一个或更多个利用闪光灯照明采样的图像之间)进行颜色匹配的空间颜色统计信息。与曝光统计一样，颜色统计可以以处理器复合体310内的存储器映射存储位置呈现。

在一个实施例中，相机模块330将闪光灯控制信号338传输到闪光灯单元336，使得闪光灯单元336在相机模块330正在对图像进行采样时产生照明。在另一个实施例中，相机模块330在从相机接口单元386接收到启用闪光灯单元336的指示时，对由闪光灯单元336照亮的图像进行采样。在又一个实施例中，相机模块330在摄影场景内通过场景照明的快速上升检测到闪光灯照明时，对由闪光灯单元336照亮的图像进行采样。

图3C示出了根据一个实施例的数码相机302。作为选择，数码相机302可以在本文公开的任何附图的细节的背景下实现。然而，当然，数码相机302可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，数码相机302可以被配置成包括数字摄影系统，诸如图3A的数字摄影系统300。如图所示，数码相机302包括相机模块330，相机模块330可以包括被配置成将表示摄影场景的光学场景信息聚焦在图像传感器上的光学元件，图像传感器可以被配置成将光学场景信息转换为摄影场景的电子表示。

此外，数码相机302可以包括闪光灯单元336，并且可以包括用于触发摄影采样事件的快门释放按钮315，由此数码相机302对包括电子表示的一个或更多个图像进行采样。在其他实施例中，任何其他技术上可行的快门释放机制可以触发摄像采样事件(例如，定时器触发或远程控制触发等)。

图3D示出了根据一个实施例的无线移动设备376。作为选择，移动设备376可以在本文公开的任何附图的细节的背景下实现。然而，当然，移动设备376可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，移动设备376可以被配置成包括数字摄影系统(例如，诸如图3A的数字摄影系统300)，其被配置成对摄影场景进行采样。在各种实施例中，相机模块330可以包括被配置成将表示摄影场景的光学场景信息聚焦在图像传感器上的光学元件，图像传感器可以被配置成将光学场景信息转换为摄影场景的电子表示。此外，可以通过任何技术上可行的机制(诸如虚拟按钮)来生成快门释放命令，虚拟按钮可以由包括显示单元312的触摸输入显示系统上的触摸手势或位于移动设备376的任何面部或表面上的物理按钮激活。当然，在其他实施例中，任何数量的其他按钮，外部输入/输出或数字输入/输出均可包括在移动设备376上，并且可以与相机模块330一起使用。

如图所示，在一个实施例中，包括显示单元312的触摸输入显示系统设置在移动设备376的与相机模块330相对的一侧。在某些实施例中，移动设备376包括面向用户的相机模块331，并且可以包括面向用户的闪光灯单元(未示出)。当然，在其他实施例中，移动设备376可以包括任何数量的面向用户的相机模块或面向后方的相机模块，以及任何数量的面向用户的闪光灯单元或面向后方的闪光灯单元。

在一些实施例中，数码相机302和移动设备376可以基于由相机模块330采样的图像栈来生成并存储合成图像。图像栈可以包括在环境光条件下采样的一个或更多个图像，在来自闪光灯单元336的闪光灯照明下采样的一个或更多个图像，或其组合。在一个实施例中，图像栈可以包括针对色度采样的一个或更多个不同图像，以及针对亮度采样的一个或更多个不同图像。

图3E示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的背景下实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，相机模块330可以被配置成通过闪光灯控制信号338来控制闪光灯单元336。如图所示，透镜390被配置成将光学场景信息352聚焦到要采样的图像传感器332上。在一个实施例中，图像传感器332通过闪光灯控制信号338方便地控制闪光灯单元336的详细定时，以减少由启用的闪光灯单元336采样的图像与由禁用的闪光灯单元336采样的图像之间的采样间时间。例如，图像传感器332可以在图像传感器332完成与采样环境图像相关联的曝光时间之后和在采样闪光灯图像之前，使闪光灯单元336能够发射闪光灯照明350小于1微秒(或任何期望的长度)。

在其他实施例中，可以基于期望的一个或更多个目标点来配置闪光灯照明350。例如，在一个实施例中，闪光灯照明350可以照亮前景中的对象(object)，并且取决于曝光时间的长度，也可以照亮图像的背景中的对象。在一个实施例中，一旦启用闪光灯单元336，图像传感器332可以立即开始曝光闪光灯图像。图像传感器332因此可以能够直接控制采样操作，包括启用和禁用与生成图像栈相关联的闪光灯单元336，图像栈可以包括由禁用的闪光灯单元336采样的至少一个图像以及由启用或禁用的闪光灯单元336采样至少一个图像。在一个实施例中，包括由图像传感器332采样的图像栈的数据经由互连334传输到处理器复合体310内的相机接口单元386。在一些实施例中，相机模块330可以包括图像传感器控制器，其可被配置成结合控制图像传感器332的操作来生成闪光灯控制信号338。

图3F示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的背景下实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，相机模块330可以被配置成基于用于闪光灯单元336的状态信息对图像进行采样。状态信息可以包括但不限于一个或更多个闪光灯参数(例如闪光灯强度，闪光灯颜色，闪光灯时间等)，用于指引闪光灯单元336生成闪光灯照明350的指定强度和/或颜色。在一个实施例中，用于配置与闪光灯单元336相关联的状态信息的命令可以通过闪光灯控制信号338来传输，该闪光灯控制信号338可由相机模块330监视以检测闪光灯单元336何时被启用。例如，在一个实施例中，相机模块330可以在闪光灯单元336由闪光灯控制信号338启用或禁用的微秒或更少的时间内，检测何时启用或禁用闪光灯单元336。为了对需要闪光灯照明的图像采样，相机接口单元386可以通过由闪光灯控制信号338发送启用命令来启用闪光灯单元336。在一个实施例中，可以使相机接口单元386作为图3B的处理器复合体310的处理器子系统360中的输入/输出接口384的接口被包括。启用命令可以包括信号电平转换，数据分组，寄存器写入或任何其他技术上可行的命令传输。相机模块330可以感测到闪光灯单元336被启用，然后使得图像传感器332在闪光灯单元336启用时对需要闪光灯照明的一个或更多个图像进行采样。在这种实现方式中，图像传感器332可以被配置成等待去往闪光灯单元336的启用信号作为触发信号来开始对新的曝光进行采样。

在一个实施例中，相机接口单元386可以通过互连334向相机模块330传输曝光参数和命令。在某些实施例中，相机接口单元386可以被配置成通过由闪光灯控制信号338将控制命令传输到闪光灯单元336来直接控制闪光灯单元336。通过直接控制相机模块330和闪光灯单元336两者，相机接口单元386可以使相机模块330和闪光灯单元336以精确的时间同步来执行它们各自的操作。在一个实施例中，精确的时间同步可以小于事件定时误差的五百微秒。此外，事件定时误差可以是从预期事件发生的时间到相应的实际事件发生的时间的时间差。

在另一个实施例中，相机接口单元386可以被配置成在从相机模块330接收到图像数据的同时累积统计。具体地，相机接口单元386可以在由互连334接收到图像的图像数据的同时，累积给定图像的曝光统计。曝光统计可以包括但不限于强度直方图，曝光过度的像素的计数，曝光不足的像素的计数，像素强度的强度加权和，或其任何组合中的一个或更多个。相机接口单元386可以将曝光统计以由处理器(诸如处理器复合体310内的一个或更多个CPU核370)所定义的物理或虚拟地址空间内的存储器映射存储位置呈现。在一个实施例中，曝光统计驻留在被映射到存储器映射寄存器空间的存储电路中，存储器映射寄存器空间可以通过互连334进行访问。在其他实施例中，与用于捕捉图像的像素数据的传输一起，来传输曝光统计。例如，在传输用于捕捉的图像的像素强度数据之后，给定图像的曝光统计可以作为在线数据传输。曝光统计可以在相机接口单元386内计算、存储或高速缓存。

在一个实施例中，相机接口单元386可以累积用于估计场景白平衡的颜色统计。任何技术上可行的颜色统计可被累积以估计白平衡，诸如包括红色、绿色和蓝色通道的不同颜色通道的强度之和。然后可以根据如灰世界白平衡模型的白平衡模型，将颜色通道强度之和用于对相关图像执行白平衡颜色校正。在其他实施例中，累积用以实现对图像的白平衡校正的线性或二次曲线拟合的曲线拟合统计。

在一个实施例中，相机接口单元386可以累积空间颜色统计，用于在两个或更多个图像之间执行颜色匹配，诸如在环境图像与一个或更多个用闪光灯照明采样的图像之间。与曝光统计一样，可以将颜色统计以在处理器复合体310内的存储器映射存储位置呈现。在一个实施例中，将颜色统计映射到可以在处理器子系统360内通过互连334访问的存储器映射寄存器空间中。在其他实施例中，可以与用于捕捉图像的像素数据的传输一起，来传输颜色统计。例如，在一个实施例中，在传输图像的像素强度数据之后，给定图像的颜色统计可以作为在线数据传输。颜色统计可以在相机接口386内计算、存储或高速缓存。

在一个实施例中，相机模块330可以将闪光灯控制信号338传输到闪光灯单元336，使得闪光灯单元336能够在相机模块330对图像进行采样时产生照明。在另一个实施例中，相机模块330可以在从相机接口单元386接收到启用闪光灯单元336的指示信号时，对由闪光灯单元336照亮的图像进行采样。在又一个实施例中，相机模块330可以在通过场景照明的快速上升检测到在摄影场景内的闪光灯照明的同时，对由闪光灯单元336照亮的图像进行采样。在一个实施例中，场景照明的快速上升可以至少包括与启用闪光灯单元336的强度增长速率一致的强度增长速率。在再一个实施例中，相机模块330可以使得闪光灯单元336能够在对一个图像进行采样时产生闪光灯照明，并且在对不同图像进行采样的同时禁用闪光灯单元336。

图3G示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的背景下实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，相机模块330可以与应用处理器335通信。相机模块330被示出为包括与控制器333通信的图像传感器332。此外，控制器333被示出为与应用处理器335通信。

在一个实施例中，应用处理器335可以驻留在相机模块330的外部。如图所示，透镜390可以被配置成将光学场景信息聚焦到将被采样的图像传感器332上。然后可以将由图像传感器332采样的光学场景信息从图像传感器332传送至控制器333，用于随后的处理和与应用处理器335通信中的至少一个。在另一个实施例中，控制器333可以控制由图像传感器332采样的光学场景信息的存储或者经处理的光学场景信息的存储。

在另一个实施例中，在图像传感器332完成与采样环境图像相关联的曝光时间之后，控制器333可以使闪光灯单元能够在短时间内(例如小于1微秒等)发射闪光灯照明。而且，控制器333可以被配置成结合控制图像传感器332的操作来产生闪光灯控制信号338。

在一个实施例中，图像传感器332可以是互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器。在另一个实施例中，控制器333和图像传感器332可以作为集成系统或集成电路封装在一起。在又一个实施例中，控制器333和图像传感器332可以包括离散封装。在一个实施例中，控制器333可以提供电路，用于从图像传感器332接收光学场景信息，处理光学场景信息，对各种功能定时以及与发出与应用处理器335相关联的信号。此外，在另一个实施例中，控制器333可以提供电路，用于控制曝光、快门、白平衡和增益调整中的一个或更多个。由控制器333的电路处理光学场景信息可以包括增益应用、放大和模数转换中的一个或更多个。在处理光学场景信息之后，控制器333可以传输对应的数字像素数据，诸如到应用处理器335。

在一个实施例中，应用处理器335可以在处理器复合体310与易失性存储器318和NV存储器316或任何其他存储器设备和/或系统中的至少一个上实现。可以预先配置应用处理器335，用于处理所接收的从相机模块330传送至应用处理器335的光学场景信息或数字像素数据。

图4示出了根据一个实施例的网络服务系统400。作为选择，网络服务系统400可以在本文公开的任何附图的细节的背景下实现。然而，当然，网络服务系统400可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

在一个实施例中，网络服务系统400可以被配置成向实现数字摄影系统的设备提供网络访问。如图所示，网络服务系统400包括无线移动设备376，无线接入点472，数据网络474，数据中心480和数据中心481。无线移动设备376可以经由数字无线电链路471与无线接入点472进行通信，以发送和接收数字数据，包括与数字图像相关联的数据。无线移动设备376和无线接入点472可以在不脱离本发明的范围和精神的情况下实现任何技术上可行的传输技术，用于经由数字无线电链路471传输数字数据。在某些实施例中，一个或更多个数据中心480、481可以采用虚拟结构来实现，以使得给定数据中心480、481内的每个系统和子系统可以包括被配置成执行指定的数据处理和网络任务的虚拟机。在其他实现方式中，一个或更多个数据中心480、481可以物理地分布在多个物理站点上。

无线移动设备376可以包括智能电话，其被配置成包括数码相机、配置成包括无线网络连接的数码相机、现实增强设备、配置成包括数码相机和无线网络连接的笔记本电脑、或配置成包括数字摄影系统和无线网络连接的任何其他技术上可行的计算设备。

在各种实施例中，无线接入点472可被配置为经由数字无线电链路471与无线移动设备376进行通信，并经由任何技术上可行的传输介质(诸如任何电、光或无线电传输介质)与数据网络474进行通信。例如，在一个实施例中，无线接入点472可以通过耦合到数据网络474内的无线接入点472和路由器系统或交换机系统的光纤与数据网络474进行通信。诸如广域网(WAN)链路的网络链路475可以被配置成在数据网络474和数据中心480之间传输数据。

在一个实施例中，数据网络474可以包括路由器、交换机、长途传输系统、供应系统、授权系统以及被配置成在网络端点之间(诸如在无线接入点472和数据中心480之间)传送数据的通信和操作子系统的任何技术上可行的组合。在一个实现方式中，无线移动设备376可以包括被配置成经由耦合到数据网络474的一个或更多个无线接入点与数据中心480进行通信的多个无线移动设备中的一个。

此外，在各种实施例中，数据中心480可以包括但不限于交换机/路由器482和至少一个数据服务系统484。交换机/路由器482可以被配置成在网络链路475和每个数据服务系统484之间转发数据业务。交换机/路由器482可以实现任何技术上可行的传输技术，诸如以太网媒体层传输，层二交换，层三路由等。交换机/路由器482可以包括被配置成在数据服务系统484和数据网络474之间传输数据的一个或更多个单独系统。

在一个实施例中，交换机/路由器482可以在多个数据服务系统484之间实现会话级负载平衡。每个数据服务系统484可以包括至少一个计算系统488，并且还可以包括一个或更多个存储系统486。每个计算系统488可以包括一个或更多个处理单元，诸如中央处理单元，图形处理单元，或其任何组合。给定的数据服务系统484可以作为物理系统实现，该物理系统包括被配置成一起操作的一个或更多个物理上不同的系统。可选地，给定的数据服务系统484可以作为虚拟系统实现，该虚拟系统包括在任意物理系统上执行的一个或更多个虚拟系统。在某些情况下，数据网络474可以被配置成在数据中心480和另一个数据中心481之间传输数据，诸如通过网络链路476。

在另一个实施例中，网络服务系统400可以包括被配置成实现本发明的一个或更多个实施例的任何联网的移动设备。例如，在一些实施例中，可以在两个不同的无线移动设备之间建立对等(peer-to-peer)网络，诸如专用(ad-hoc)无线网络。在这样的实施例中，可以在两个无线移动设备之间传输数字图像数据，而不必将数字图像数据发送到数据中心480。

图5A示出了根据一个实施例的用于捕捉光学场景信息以转换为摄影场景的电子表示的系统。作为选择，图5A的系统可以在任何附图的细节的背景下实现。然而，当然，图5A的系统可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

如图5A所示，像素阵列510与行逻辑512和列读出电路520通信。而且，行逻辑512和列读出电路520两者均与控制单元514通信。更进一步，像素阵列510被示出为包括多个像素540，其中每个像素540可以包括四个单元(cell)，单元542-545。在本说明书的上下文中，像素阵列510可以被包含在图像传感器中，如图像传感器132或相机模块330的图像传感器332。

如图所示，像素阵列510包括像素540的二维阵列。例如，在一个实施例中，可以构建像素阵列510，以在第一维度中包括4000个像素540，在第二维度中包括3000个像素540，在像素阵列510中的总共12000000个像素540，其可以被称为12兆像素像素阵列。此外，如上所述，每个像素540被示出包括四个单元542-545。在一个实施例中，单元542可以与第一颜色的光相关联(例如，选择性地敏感等等)，单元543可以与第二颜色的光相关联，单元544可以与第三颜色的光相关联，以及单元545可以与第四颜色的光相关联。在一个实施例中，第一颜色的光、第二颜色的光、第三颜色的光和第四颜色的光中的每一个是不同颜色的光，使得单元542-545中的每一个可以与不同颜色的光相关联。在另一个实施例中，单元542-545的至少两个单元可以与相同颜色的光相关联。例如，单元543和单元544可以与相同颜色的光相关联。

此外，单元542-545中的每一个可以是有能力存储模拟值的。在一个实施例中，单元542-545中的每一个可以与存储电荷的电容器相关联，该电荷对应于在曝光时间期间内的累积曝光。在这样的实施例中，向给定单元的电路主张(assert)行选择信号可以使得单元执行读操作，读操作可以包括但不限于生成和传输电流，该电流为与单元相关联的电容器的存储电荷的函数。在一个实施例中，在读出操作之前，从相关联的光电二极管在电容器处接收的电流可以使先前已经充电的电容器以与在光电二极管处检测到的入射光强成比例的速率放电。然后可以使用行选择信号来读取单元的电容器的剩余电荷，其中从单元传输的电流是反映电容器上的剩余电荷的模拟值。为此，在读出操作期间从单元接收的模拟值可以反映在光电二极管处检测到的累积的光强度。存储在给定电容器上的电荷以及电荷的任何对应表示(诸如传输的电流)在本文中可以被称为模拟像素数据。当然，模拟像素数据可以包括一组空间上离散的强度样本，每一个由连续的模拟值表示。

更进一步，行逻辑512和列读出电路520可以在控制单元514的控制下协同工作，以读取多个像素540的多个单元542-545。例如，控制单元514可以使行逻辑512主张包括与给定行像素540相关联的行控制信号530的行选择信号，以使得与该行像素相关联的模拟像素数据能够被读取。如图5A所示，这可以包括行逻辑512，主张一个或更多个行选择信号，其包括与包括像素540(0)和像素540(a)的行534(0)相关联的行控制信号530(0)。响应于行选择信号被主张，行534(0)上的每个像素540基于存储在像素540的单元542-545内的电荷传输至少一个模拟值。在某些实施例中，单元542和单元543被配置成响应于第一行选择信号来传输对应的模拟值，而单元544和单元545被配置成响应于第二行选择信号来传输对应的模拟值。

在一个实施例中，包括每行534(0)至534(r)的完整行像素540的模拟值可以通过列信号532依次被传输到列读出电路520。在一个实施例中，可以同时传输完整行像素内的完整行或像素或单元的模拟值。例如，响应于包括行控制信号530(0)的行选择信号被主张，像素540(0)可以通过将来自像素540(0)的单元542-545的至少一个模拟值经由包括列信号532(0)的一个或更多个信号路径传输到列读出电路520而响应；并且同时，像素540(a)还将经由包括列信号532(c)的一个或更多个信号路径将来自像素540(a)的单元542-545的至少一个模拟值传输到列读出电路520。当然，可以在列读出电路520处从一个或更多个其他像素540接收一个或更多个模拟值，同时从像素540(0)接收至少一个模拟值，并同时从像素540(a)接收至少一个模拟值。总共，从包括行534(0)的像素540接收的模拟值集合可以被称为模拟信号，并且该模拟信号可以是基于聚焦在像素阵列510上的光学图像的。

此外，在读取包括行534(0)的像素540之后，行逻辑512可以选择待读取的第二行像素540。例如，行逻辑512可以主张与包括像素540(b)和像素540(z)的一行像素540相关联的行控制信号530(r)的一个或更多个行选择信号。因此，列读出电路520可以接收与包括行534(r)的像素540相关联的对应的模拟值集合。

在一个实施例中，列读出电路520可以用作多路复用器，以将一个或更多个所接收的模拟值选择并转发到模数转换器电路，诸如图6C的模拟-数字单元622。列读出电路520可以以预定义的顺序或序列转发所接收到的模拟值。在一个实施例中，行逻辑512主张包括行控制信号530的一个或更多个行选择信号，使对应行的像素通过列信号532传输模拟值。列读出电路520接收模拟值，并且每次顺序地选择和转发一个或更多个模拟值到模拟-数字单元622。行逻辑512对行的选择和列读出电路620对列的选择可以由控制单元514引导。在一个实施例中，从行534(0)开始并以行534(r)结束，行534被顺序地选择读取，并且与顺序列相关联的模拟值被传输到模拟-数字单元622。在其他实施例中，可以实现其他选择模式来读取存储在像素540中的模拟值。

此外，由列读出电路520转发的模拟值可以包括模拟像素数据，其可在稍后被放大，然后被转换为数字像素数据，用于基于聚焦在像素阵列510上的光学图像来生成一个或更多个数字图像。

图5B-5D示出了根据一个或更多个实施例的三个可选像素配置。作为选择，这些像素配置可以在本文公开的任何附图的细节的背景下实现。然而，当然，这些像素配置可以在任何期望的环境中实现。通过具体示例的方式，图5B-5D的任意像素540可以作为像素阵列510的像素540中的一个或更多个来操作。

如图5B所示，根据一个实施例，示出像素540以包括用于测量红光强度的第一单元(R)，用于测量绿光强度的第二和第三单元(G)和用于测量蓝光强度的第四单元(B)。如图5C所示，根据另一实施例，示出像素540以包括用于测量红光强度的第一单元(R)，用于测量绿光强度的第二单元(G)，用于测量蓝光强度的第三单元(B)，以及用于测量白光强度的第四单元(W)。在一个实施例中，可以由第一、第二和第三单元(红色、绿色和蓝色)对像素的色度像素数据进行采样，并且可以由第四单元(未对红、绿或蓝进行过滤的白光)对像素的亮度数据进行采样。如图5D所示，根据又一个实施例，示出像素540以包括用于测量蓝绿光强度的第一单元(C)，用于测量品红光强度的第二单元(M)，用于测量黄光强度的第三单元(Y)，以及用于测量白光强度的第四单元(W)。

当然，尽管每个像素540示出为包括四个单元，但是像素540可以被配置成包括更少或更多的用于测量光强度的单元。此外，在另一个实施例中，尽管像素540的某些单元示出为被配置成测量单个峰值波长的光或白光，像素540的单元可以被配置成测量任何波长、波长范围的光或多个波长的光。

现在参考图5E，示出了根据一个实施例的用于捕捉聚焦在图像传感器332上的作为光学图像的光学场景信息的系统。作为选择，图5E的系统可以在任何附图的细节的背景下实现。然而，当然，图5E的系统可以在任何期望的环境中进行。此外，上述定义可以同样适用于下面的描述。

如图5E所示，示出图像传感器332以包括第一单元544、第二单元545和第三单元548。此外，每个单元544-548被示出为包括光电二极管562。更进一步，在每个光电二极管562之上是对应的过滤器564，并且在每个过滤器564之上是对应的微透镜566。例如，单元544被示出为包括光电二极管562(0)，其上是过滤器564(0)，以及再其上是微透镜566(0)。类似地，单元545被示出为包括光电二极管562(1)，其上是过滤器564(1)，以及再其上是微透镜566(1)。仍然如图5E所示，像素540被示为包括单元544和545，光电二极管562(0)和562(1)，过滤器564(0)和564(1)以及微透镜566(0)和566(1)的每个。

在一个实施例中，微透镜566中的每一个可以是直径小于50微米的任何透镜。然而，在其他实施例中，微透镜566中的每一个可以具有大于或等于50微米的直径。在一个实施例中，微透镜566中的每一个可以包括球形凸面，用于将接收的光聚焦并集中在微透镜566下方的支撑衬底上。例如，如图5E所示，微透镜566(0)将接收的光聚焦并集中在过滤器564(0)上。在一个实施例中，微透镜阵列567可以包括微透镜566，每个微透镜566在位置上对应于图像传感器332的单元544内的光电二极管562。

在本说明书的上下文中，光电二极管562可以包括响应于光子吸收而产生电势差或改变其电阻的任何半导体二极管。相应地，光电二极管562可以用于检测或测量光强度。此外，过滤器564中的每一个可以是用于选择性地透射具有一个或更多个预定波长的光的光过滤器。例如，过滤器564(0)可以被配置成实质上只选择性地透射从对应的微透镜566(0)接收的绿色光，同时过滤器564(1)可以被配置成实质上只选择性地透射从微透镜566(1)接收的蓝色光。总共，过滤器564和微透镜566可以被操作为将选定波长的入射光聚焦在平面上。在一个实施例中，平面可以是图像传感器332的表面上的光电二极管562的二维栅格。此外，每个光电二极管562根据其相关联的过滤器接收一个或更多个预定波长的光。在一个实施例中，每个光电二极管562仅接收经过滤的光的红色、蓝色或绿色波长中的一种。如图5B-5D所示，可以预期光电二极管可被配置成检测除红色、绿色或蓝色以外的波长的光。例如，特别在图5C-5D的背景下，光电二极管可被配置成检测白色，蓝绿色，品红色，黄色或诸如红外光或紫外光的不可见光。

为此，单元、光电二极管、过滤器和微透镜的每个耦合可以被操作为接收光，聚焦和过滤所接收的光以隔离一个或更多个预定波长的光，以及然后测量、检测或以其他方式量化在一个或更多个预定波长处接收的光的强度。测量的或检测到的光然后可以表示为存储在单元内的一个或更多个模拟值。例如，在一个实施例中，每个模拟值可以利用电容器存储在单元内。此外，可以基于可以从行逻辑512接收的选择信号(诸如行选择信号)从单元输出存储在单元中的每个模拟值。更进一步，从单元传输的每个模拟值可以包括模拟信号的多个模拟值中的一个模拟值，其中每个模拟值由不同的单元输出。相应地，模拟信号可以包括来自多个单元的多个模拟像素数据值。在一个实施例中，模拟信号可以包括用于摄影场景的整个图像的模拟像素数据值。在另一个实施例中，模拟信号可以包括用于摄影场景的整个图像的子集的模拟像素数据值。例如，模拟信号可以包括用于摄影场景的图像的行像素的模拟像素数据值。在图5A-5E的背景下，像素阵列510的像素540的行534(0)可以是摄影场景的图像的一行像素。

图6A示出了根据一个可能的实施例的感光单元600的电路图。作为选择，单元600可以在本文公开的任何附图的背景下实施。然而，当然，单元600可以在任何期望的环境中实施。此外，上述定义可以同样适用于下面的描述。

如图6A所示，感光单元600包括耦合到模拟采样电路603的光电二极管602。光电二极管602可以实现为图5E中的任何光电二极管562。在一个实施例中，感光单元600的一个独特实例可以实现为在图5A-5E的背景下包括像素540的单元542-545中的每一个。模拟采样电路603包括晶体管610、612、614和电容器604。在一个实施例中，晶体管610、612和614中的每一个可以是场效应晶体管。

光电二极管602可以是可操作为测量或检测摄影场景的入射光601。在一个实施例中，入射光601可以包括摄影场景的环境光。在另一个实施例中，入射光601可以包括用于照亮摄影场景的来自闪光灯单元的光。在又一个实施例中，入射光601可以包括环境光和/或来自闪光灯单元的光，其中入射光601的组成作为曝光时间的函数而变化。例如，入射光601可以包括在第一曝光时间期间的环境光，以及在第二曝光时间期间来自闪光灯单元的光。当然，入射光601可以包括在光电二极管602处接收并由光电二极管602测量的任何光。更进一步，如上所述，入射光601可以通过微透镜集中在光电二极管602上，并且光电二极管602可以是光电二极管阵列的一个光电二极管，该光电二极管阵列被配置成包括布置在二维平面上的多个光电二极管。

在一个实施例中，每个电容器604可以包括晶体管610的栅极电容和晶体管614的扩散电容。电容器604还可以包括附加电路元件(未示出)，诸如但不限于不同的电容结构，诸如金属氧化物堆栈，多晶硅电容器，沟槽电容器或任何其他技术上可行的电容器结构。

对于模拟采样电路603，当复位616(0)有效(active)(例如，高)时，晶体管614提供从电压源V2到电容器604的路径，使电容器604充电到电势V2。当复位616(0)无效(inactive)(例如，低)时，允许电容器604响应于入射光601而与由光电二极管602生成的光电二极管电流(I_PD)成比例地放电。以这种方式，当复位616(0)无效时，光电二极管电流I_PD被集成以供曝光时间，引起电容器604上的对应电压。电容器604上的该电压也可以被称为模拟样本。在实施例中，在曝光时间期间内的入射光601包括环境光的情况下，可将样本称为环境样本；以及在曝光时间期间内的入射光601包括闪光(flash)或闪光灯照明的情况下，可以将所述样本称为闪光样本。当行选择634(0)有效时，晶体管612提供从V1到输出608(0)的输出电流的路径。输出电流由晶体管610响应于电容器604上的电压而生成。当行选择634(0)有效时，输出608(0)处的输出电流可以因此与曝光时间期间内入射光601的累积强度成比例。

可以响应于由光电二极管602生成的光电二极管电流I_PD而存储样本，其中光电二极管电流I_PD随着在光电二极管602处测量的入射光601的函数而变化。特别地，相比于在包括环境照明的第二曝光时间期间，在包括闪光灯或闪光照明的第一曝光时间期间可以由光电二极管602测量更大量的入射光601。当然，摄影场景的特征和诸如曝光时间和光圈等各种曝光设置的调整例如可能导致在包括环境照明的第二曝光时间期间(相比于在包括闪光灯或闪光照明的第一曝光时间期间)由光电二极管602测量更大量的入射光601。

在一个实施例中，图6A的感光单元600可以以与滚动快门操作相关联的像素阵列实现。如图6A所示，模拟采样电路603的成分不包括任何用于在短时间内存储模拟采样的机制。因此，由模拟采样电路603测量的特定采样的曝光时间可以指：当复位616(0)被驱动为无效时与为了在输出608(0)处产生输出电流而驱动行选择634(0)为有效时的时间之间的时间。

应当理解，由于像素阵列510中的每列像素可以共享传输至列读出电路520的单列信号532，以及列信号532对应于输出608(0)，所以一次只能将来自单个行像素的模拟值传输至列读出电路520。因此，滚动快门操作是指多个复位信号616和传输至像素阵列510中的像素540的每行534的行选择信号634的控制方式。例如，第一复位信号616(0)可以在第一时间t₀被主张到像素阵列510中的像素540的第一行534(0)。随后，第二复位信号616(1)可以在第二时间t_l被主张到像素阵列510中的像素540的第二行534(1)，第三复位信号616(2)可以在第三时间t₂被主张到像素阵列510中的像素540的第三行534(2)，这样直到最后的复位信号616(z)在最后时间t_z被主张到像素阵列510中的像素540的最后一行534(z)。因此，像素540的每行534从像素阵列510的顶部到像素阵列510的底部依次复位。在一个实施例中，在每行处主张复位信号616之间的时间长度可以与由列读出电路520读出一行采样数据所需的时间有关。在一个实施例中，在每行处主张复位信号616之间的时间长度可以与像素阵列510中的行534的数量除以图像数据帧之间的曝光时间相关。

为了以一致的曝光时间对像素阵列510中的所有像素540进行采样，在为像素540的那行534复位对应的复位信号616之后，将对应的行选择信号634中的每一个主张延迟时间，此延迟时间等于曝光时间。连续对每行进行采样的操作，从而在不同曝光时间期间捕捉每行像素的光学场景信息，这里可以称为滚动快门操作。虽然包括在图像传感器中用于执行滚动快门操作的电路比设计用于执行全局快门操作的其他电路更简单，下面进行了详细地讨论，但滚动快门操作由于场景中对象的移动或相机的移动可能导致图像伪影出现。当像素540的各个行534的模拟信号被采样时，由于相对于帧边缘对象底部比对象顶部移动更多，因此对象可能在图像中出现倾斜。

图6B示出了根据另一可能实施例的感光单元(cell)640的电路图。作为选择，单元640可以在本文公开的任何附图的背景下实现。然而，当然，单元640可以在任何期望的环境中实现。此外，上述定义可以同样适用于下面的描述。

如图6B所示，感光单元640包括耦合到模拟采样电路643的光电二极管602。光电二极管602可以实现为图5E中的任何光电二极管562。在一个实施例中，感光单元640的独特实例可以实现为在图5A-5E的背景下包括像素540的单元542-545中的每一个。模拟采样电路643包括晶体管646、610、612、614和电容器604。在一个实施例中，晶体管646、610、612和614中的每一个可以是场效应晶体管。

晶体管610、612和614在类型和操作上类似于图6A的晶体管610、612和614。晶体管646在类型上可以类似于晶体管610、612和614，但是晶体管646具有将电容器604转换为模拟电压值的像素存储器的效果。换句话说，当晶体管646有效时，允许电容器604与光电二极管电流(I_PD)成比例地放电，并且当晶体管646无效时，电容器604被阻止放电。电容器604可以包括用于晶体管610的栅极电容和用于晶体管614和646的扩散电容。电容器604还可以包括附加电路元件(未示出)，诸如但不限于不同的电容结构，诸如金属氧化物堆栈，多晶硅电容器，沟槽电容器或任何其他技术上可行的电容器结构。与模拟采样电路603不同，模拟采样电路643可用于实现全局快门操作，其中像素阵列中的所有像素540被配置成同时生成采样。

对于模拟采样电路643，当复位616有效(例如，高)时，晶体管614提供从电压源V2到电容器604的路径，使电容器604充电到电势V2。当复位616无效(例如，低)时，只要晶体管646有效，则允许电容器604响应于入射光601而与由光电二极管602生成的光电二极管电流(I_PD)成比例地放电。可以通过主张采样信号618来激活晶体管646，该采样信号被利用以控制每个像素540的曝光时间。以这种方式，当复位616无效并且样本618有效时，针对曝光时间集成光电二极管电流I_PD，引起电容器604上的对应电压。在曝光时间完成之后，可以复位采样信号618以使晶体管646去激活，并停止电容器的放电。当行选择634(0)有效时，晶体管612提供从V1到输出608(0)的输出电流的路径。输出电流由晶体管610响应于电容器604上的电压而生成。当行选择634(0)有效时，输出608(0)处的输出电流可以因此与曝光时间期间内入射光601的累积强度成比例。

在全局快门操作中，像素阵列510的所有像素540可以共享全局复位信号616和全局采样信号618，其通过光电二极管电流I_PD控制电容器604的充电和电容器604的放电。这有效地测量了实质上同时针对像素阵列510中的每个像素540击中每个光电二极管602入射光的量。然而，用于针对每个像素将模拟值转换为数字值的外部读出电路仍然可能需要依次读出像素540的每一行534。因此，在全局采样信号618被复位之后，每个对应的行选择信号634可以被主张和复位，以便读出每个像素的模拟值。这与滚动快门操作中的行选择信号634的操作类似，除非在此期间晶体管646无效，使得在读取所有值的同时电容器604中的电荷的任何进一步积累被暂停。

应当理解，可以实现用于模拟采样电路603和643的其他电路来代替图6A和6B中阐述的电路，并且可以使用这些电路分别实现滚动快门操作或全局快门操作。例如，模拟采样电路603、643可以包括当执行读出时为存储在电容器604中的电压提供增益的每个单元放大器(例如，运算放大器)。在其他实施例中，模拟采样电路643可以包括从电容器604解耦的其他类型的模拟存储器的实现方式，使得当采样信号618被复位并且电容器604被允许通过光电二极管602继续放电时，电容器604的电压被存储在模拟存储器中。在又一个实施例中，与列像素相关联的每个输出608可以耦合到专用模数转换器(ADC)，其使电容器604处的电压能够基本上同时针对包括像素阵列510的行或行的一部分中的所有像素540进行采样和转换。在某些实施例中，奇数行和偶数行可以类似地耦合到专用ADC电路，以提供用于给定像素的所有颜色信息的同时转换。在一个实施例中，包括像素的白色单元被耦合到ADC电路，该ADC电路被配置成提供与耦合到具有颜色(例如，红色，绿色，蓝色)过滤器(例如，8位或10位)的单元的ADC电路的动态范围相比更高的动态范围(例如，12位或14位)。

图6C示出了根据实施例的用于将模拟像素数据转换为数字像素数据的系统。作为选择，图6C的系统可以在本文公开的任何附图的细节的背景下实现。然而，当然，图6C的系统可以在任何期望的环境中实现。另外，上述定义可以同样适用于下面的描述。

如图6C所示，在控制单元514的控制下，在模拟-数字单元622处从列读出电路520接收模拟像素数据621。可以在模拟信号内接收模拟像素数据621，如上所述。此外，模拟-数字单元622基于接收到的模拟像素数据621生成数字像素数据625。在一个实施例中，模拟像素数据621的独特实例可以包括作为单独模拟值的有序集合的从所有对应的模拟采样电路或样本存储节点输出的所有模拟值。例如，在上述附图的背景下，像素阵列510的多个像素540的单元542-545中的每个单元可以包括模拟采样电路603或模拟采样电路643。

继续参考图6C，模拟-数字单元622包括放大器650和模数转换器654。在一个实施例中，放大器650接收模拟像素数据621和增益652的实例，并将增益652应用于模拟像素数据621以生成增益调整的模拟像素数据623。增益调整的模拟像素数据623从放大器650传输至模数转换器654。模数转换器654接收增益调整的模拟像素数据623，并将增益调整的模拟像素数据623转换为数字像素数据625，然后从模数转换器654传输该数字像素数据625。在其他实施例中，放大器650可以在列读出电路520内或每个单独的单元中而不是模拟-数字单元622内实现。模数转换器654可以使用任何技术上可行的模数转换技术将增益调整的模拟像素数据623转换为数字像素数据625。

在一个实施例中，增益调整的模拟像素数据623由增益652应用于模拟像素数据621而产生。在一个实施例中，增益652可以由模拟-数字单元622选择。在另一个实施例中，增益652可以由控制单元514选择，然后从控制单元514提供给模拟-数字单元622以应用于模拟像素数据621。

应当注意的是，在一个实施例中，将增益652应用于模拟像素数据621的结果是模拟噪声可能出现在增益调整的模拟像素数据623中。如果放大器650向模拟像素数据621施加显著大的增益，以便从像素阵列510获得高灵敏度数据，则可以预期在增益调整的模拟像素数据623内的大量的噪声。在一个实施例中，可以通过在减少的总体曝光下捕捉光学场景信息来减少这种噪声的有害影响。在这样的实施例中，将增益652应用于模拟像素数据621可以导致增益调整的模拟像素数据，其具有适当曝光和降低的噪声。

在一个实施例中，放大器650可以是互阻抗放大器(TIA)。此外，增益652可以由数字值指定。在一个实施例中，指定增益652的数字值可以由数字摄影设备的用户设定，如通过以“手动”模式操作数字摄像设备。然而，数字值可以由数字摄影设备的硬件或软件设定。作为选择，数字值可以由与数字摄影设备的软件合作工作的用户设定。

在一个实施例中，用于指定增益652的数字值可以与ISO相关联。在摄影领域，ISO系统是指定光敏度的已被确定下来的标准。在一个实施例中，放大器650接收指定要施加到模拟像素数据621上的增益652的数字值。在另一个实施例中，可以存在从传统ISO值到可以作为增益652提供给放大器650的数字增益值的映射。例如，可以将ISO 100，ISO200，ISO400，ISO 800，ISO 1600等中的每一个唯一地映射到不同的数字增益值，并且特定ISO的选择导致映射的数字增益值被提供给放大器650以应用为增益652。在一个实施例中，一个或更多个ISO值可以被映射到1的增益。当然，在其他实施例中，一个或更多个ISO值可以被映射到任何其他增益值。

相应地，在一个实施例中，可以在给定特定ISO值的亮度中调整每个模拟像素值。因此，在这样的实施例中，增益调整的模拟像素数据623可以包括亮度校正的像素数据，其中基于指定的ISO校正亮度。在另一个实施例中，用于图像的增益调整的模拟像素数据623可以包括具有图像中的亮度的像素，就像图像已经在某一ISO下被采样。

图7A示出了根据一个实施例的相机模块330的配置。如图7A所示，相机模块330可以包括位于两个图像传感器732上方的两个透镜734。第一透镜734(0)与第一图像传感器732(0)相关联，并且将来自第一视点的光学场景信息752(0)聚焦到第一图像传感器732(0)上。第二透镜734(1)与第二图像传感器732(1)相关联，并且将来自第二视点的光学场景信息752(1)聚焦到第二图像传感器732(1)上。

在一个实施例中，第一图像传感器732(0)可以被配置成捕捉与场景相关联的色度信息，以及第二图像传感器732(1)可以被配置成捕捉与场景相关联的亮度信息。第一图像传感器732(0)可以与第二图像传感器732(1)相同或不同。例如，第一图像传感器732(0)可以是具有拜耳颜色过滤器阵列(CFA)的8兆像素CMOS图像传感器732(0)，如图5B中像素540的布置所示，其被配置成捕捉红色、绿色和蓝色信息；并且第二图像传感器732(1)可以是具有被配置成捕捉强度信息(基本上在可见光谱的所有波长上)的无色过滤器阵列(或其中的每个单元是白色过滤器的颜色过滤器阵列)的12兆像素CMOS图像传感器732(1)。

在操作中，相机模块330可以从相机接口386接收快门释放命令。相机模块330可以复位第一图像传感器732(0)和第二图像传感器732(1)两者。然后可以在环境光条件下(即，闪光灯单元336被禁用)对第一图像传感器732(0)和第二图像传感器732(1)中的一个或两个进行采样。在一个实施例中，第一图像传感器732(0)和第二图像传感器732(1)两者基本上被同时采样，以在环境照明下生成色度图像和亮度图像。一旦已经捕捉了图像对(色度图像和亮度图像)，可以在环境照明下(例如，对于每个图像对使用不同的曝光参数)或在闪光灯照明下捕捉一个或更多个附加的图像对。附加的图像对可以被快速连续地捕捉(例如，对每个同时捕捉的对进行采样之间小于200毫秒)，从而使得场景中的对象与相机之间的相对运动或场景中的两个不同对象之间的相对运动，被最小化。

在相机模块330中，为了从基本上相同的视点捕捉场景的图像，将第一透镜734(0)和第一图像传感器732(0)定位在第二透镜734(1)和第二图像传感器732(0)附近是有利的。进一步，第一图像传感器732(0)和第二图像传感器732(1)两者的视野场的方向应近似平行。与配置成使用视差捕捉两个图像以表示场景内的对象的深度的立体相机不同，由第一图像传感器732(0)和第二图像传感器732(1)捕捉的图像对不意味着从两个不同的视点捕捉给定对象的位移信息。

本发明的一个方面是通过将色度图像与亮度图像结合来生成新的数字图像，以生成比采用单个图像传感器可以捕捉的更详细的场景图像。换句话说，在同一相机模块330中具有两个图像传感器的目的是捕捉相同场景的不同方面以创建混合图像。因此，应小心最小化由两个图像传感器捕捉的图像之间的差异。例如，将第一图像传感器732(0)和第二图像传感器732(1)设置为彼此接近可以将由附近对象的视差产生的图像伪影最小化。这可能是使用被设计采用两个图像传感器来捕捉立体图像数据的相机的相反方法，其中可以选择两个图像传感器之间的距离来模拟人眼的眼内距离。

在一个实施例中，由第一图像传感器732(0)和第二图像传感器732(1)生成的图像足够接近，使得两个图像的混合不会导致任何图像伪像。在另一个实施例中，可以扭曲图像中的一个以匹配其他图像从而校正不同的视点。有许多技术可以用来扭曲一个图像以匹配另一个图像，并且可以采用任何技术上可行的技术来匹配两个图像。例如，可以计算描述从一个图像的一部分(即，多个像素)到另一图像的一部分的变换的单应性矩阵。当应用于图像的一部分时，单应性矩阵可以描述将图像的一部分变换为第二图像的另一部分的多个仿射变换(例如，平移，旋转，缩放等)。通过将单应性矩阵应用于第一图像的各个部分，第一图像可以被扭曲以匹配第二图像。以这种方式，可以减少由第一图像与第二图像混合而产生的任何图像伪影。

在一个实施例中，每个图像传感器732可以被配置成使用滚动快门操作或全局快门操作捕捉图像。图像传感器732可以被配置成使用相同类型的快门操作或不同的快门操作。例如，配置成捕捉色度信息的第一图像传感器732(0)可以是成本更低的图像传感器，其仅包括能够在滚动快门操作中实现的模拟采样电路。相比之下，配置成捕捉亮度信息的第二图像传感器732(1)可以是成本更高的图像传感器，其包括能够实现全局快门操作的更先进的模拟采样电路。因此，可以根据滚动快门操作捕捉第一图像，同时可以根据全局快门操作捕捉第二图像。当然，两个图像传感器732均可以被配置成使用相同的快门操作，即滚动快门操作或全局快门操作。由图像传感器732实现的快门操作的类型可以由包括在图像传感器732中的诸如控制单元514的控制单元进行控制，并且可以由单个快门释放命令来触发。

图7B示出了根据另一实施例的相机模块330的配置。如图7B所示，相机模块330可以包括位于分束器736上方的透镜734。分束器736可以用于将通过透镜734接收的光学信息752分成两个单独的传输路径。分束器736可以是由两个三角形玻璃棱镜制成的立方体，像那些在单透镜(SLR)相机中通常使用的防护薄膜镜，或能够将光束分成两个不同方向的任何其他类型的设备。第一光束被引导到第一图像传感器732(0)上，并且第二光束被引导到第二图像传感器732(1)上。在一个实施例中，第一光束和第二光束包括用于场景的近似相同的光学信息。

两个传输路径将来自相同视点的光学信息752聚焦到第一图像传感器732(0)和第二图像传感器732(1)两者上。因为相同的光束被分成两条路径，所以应当理解，到达每个图像传感器732的光的强度降低。为了补偿到达图像传感器的光的降低，可以调整曝光参数(例如，增加图像传感器复位和对图像传感器进行采样之间的时间，以允许更多的光激活每个像素位置的充电)。可选地，可以增加施加到模拟信号的增益，但是这也可能增加模拟信号中的噪声。

图7C示出了根据又一实施例的相机模块330的配置。如图7C所示，相机模块330可以包括位于单个图像传感器732上方的透镜734。光学信息752被透镜734聚焦到图像传感器732上。在这样的实施例中，色度信息和亮度信息两者都可以由相同的图像传感器捕捉。颜色过滤器阵列(CFA)可以包括多个不同的颜色过滤器，每个颜色过滤器位于图像传感器732的特定光电二极管上方，以过滤由该特定光电二极管测量的光的波长。一些颜色过滤器可以与被配置成测量色度信息的光电二极管相关联，诸如红色过滤器，蓝色过滤器，绿色过滤器，蓝绿色过滤器，品红色过滤器或黄色过滤器。其他颜色过滤器可以与被配置成测量亮度信息的光电二极管相关联，诸如白色过滤器。如本文所用，白色过滤器是允许可见光谱中基本均匀的光量穿过该颜色过滤器的过滤器。CFA中的颜色过滤器可以布置成使得包括在图像传感器732中的光电二极管的第一部分从光学信息752捕捉色度图像的样本，以及包括在图像传感器732中的光电二极管的第二部分从光学信息752捕捉亮度图像的样本。

在一个实施例中，图像传感器732中的每个像素可以配置有如图5C所示的多个过滤器。与红色、绿色和蓝色过滤器相关联的光电二极管可以将包含在色度图像中的样本捕捉为RGB元组(tuple)。与白色过滤器相关联的光电二极管可以捕捉包括在亮度图像中的样本。应当理解，图像传感器732的像素阵列510中的每个像素540将以存储在色度图像中的RGB格式和存储在对应的亮度图像中的强度值产生一种颜色。换句话说，色度图像和亮度图像将具有与每像素一个值相同的分辨率。

在另一个实施例中，图像传感器732中的每个像素可以配置有如图5D所示的多个过滤器。与蓝绿色、品红色和黄色过滤器相关联的光电二极管可以将包含在色度图像中的样本捕捉为CMY元组。与白色过滤器相关联的光电二极管可以捕捉包括在亮度图像中的样本。应当理解，图像传感器732的像素阵列510中的每个像素540将以存储在色度图像中的CMY格式和存储在对应的亮度图像中的强度值产生一种颜色。

在又一个实施例中，CFA 460可以包含用于产生亮度信息的大多数颜色过滤器和用于产生色度信息的少数颜色过滤器(例如，60％白色，10％红色，20％绿色和10％蓝色等)。与色度图像相比，具有与收集亮度信息相关的大部分颜色过滤器将产生更高分辨率的亮度图像。在一个实施例中，由于与各种颜色的过滤器相关联的光电二极管的数量较少，色度图像具有比亮度图像更低的分辨率。此外，可以使用各种技术来内插或“填充”色度图像或亮度图像的值，以分别填充与针对亮度图像或色度图像捕捉的采样的光电二极管相关联的值。例如，可以执行色度图像或亮度图像中的两个或更多个值的内插，以在色度图像或亮度图像中生成虚拟样本。应当理解，可以实现许多技术以将与各个光电二极管相关联的原始数字像素数据转换为色度图像和/或亮度图像，并且其均在本发明的范围内。

图8示出了根据一个实施例的用于生成数字图像的方法800的流程图。尽管结合图2-7C的系统描述了方法800，但是本领域普通技术人员将理解，执行方法800的任何系统均在本发明的实施例的范围和精神内。在一个实施例中，数字摄影系统(诸如图3A的数字摄影系统300)被配置成执行方法800。数字摄影系统300可以在数码相机(诸如图3C的数码相机302)或移动设备(诸如图3D的移动设备376)内实现。

方法800开始于步骤802，其中数字摄影系统300在环境照明下对图像进行采样，以确定场景的白平衡参数。例如，白平衡参数可以包括用于白平衡的灰色世界模型的红色、绿色和蓝色的不同的线性比例因子。白平衡参数可以包括用于白平衡的二次模型的二次参数，等等。在一个实施例中，数字摄影系统300使相机模块330利用一个或更多个图像传感器332捕捉图像。数字摄影系统300然后可以分析所捕捉的图像以确定适当的白平衡参数。在一个实施例中，白平衡参数指示应用于用环境照明捕捉的图像中的所有像素的颜色偏移。在这样的实施例中，白平衡参数可用于调整在环境照明下捕捉的图像。闪光灯单元336可以产生足以减少由环境照明引起的颜色偏移的预设颜色的闪光灯照明。在另一个实施例中，白平衡参数可以识别闪光灯单元336产生的颜色，以便在闪光灯照明期间基本匹配环境光的颜色。在这样的实施例中，闪光灯单元336可以包括红色、绿色和蓝色LED，或者分别包括具有不同荧光粉混合物的一组分立LED照明器，每个荧光粉混合物产生不同的对应的色度峰，以产生颜色控制的闪光灯照明。颜色控制的闪光灯照明可以用于匹配仅在环境照明下捕捉的图像的场景照明以及在环境照明和颜色控制的闪光灯照明两者下捕捉的图像的场景照明。

在步骤804，数字摄影系统300在环境照明下捕捉(即采样)两个或更多个图像。在一个实施例中，两个或更多个图像包括来自第一图像传感器332(0)的色度图像202和来自第二图像传感器332(1)的亮度图像204，其形成环境图像对。环境图像对可以使用第一组曝光参数来捕捉。

在一个实施例中，两个或更多个图像还可以包括使用不同曝光参数连续捕捉的附加环境图像对。例如，可以使用可能产生曝光不足的图像的短曝光时间来捕捉第一图像对。附加的图像对可以以增加的曝光时间捕捉图像，并且可以使用可能产生曝光过度的图像的长曝光时间来捕捉最后的图像对。这些图像可以形成在环境照明下捕捉的图像集。此外，可以使用任何技术上可行的HDR混合或结合技术来将这些图像结合以生成HDR图像，包括用于显示的渲染为较低动态范围的HDR图像。此外，可以使用连续的捕捉滚动快门技术来捕捉这些图像，由此在图像传感器被复位之前由图像传感器以连续更高的曝光捕捉完整的图像，以为捕捉新的图像集做准备。

在步骤806，数字摄影系统300可以启用闪光灯单元336。闪光灯单元336可以在先于闪光灯照明下图像的捕捉或与其同时的特定时间启用。启用闪光灯单元336应使闪光灯单元336放电或以其他方式产生闪光灯照明。在一个实施例中，启用闪光灯单元336包括设置闪光灯照明的颜色。可以通过指定基本上同时放电的红色、绿色和蓝色LED中的每一个的强度水平来设置颜色；例如，可以根据白平衡参数设置颜色。

在步骤808，数字摄影系统300在闪光灯照明下捕捉(即采样)两个或更多个图像。在一个实施例中，两个或更多个图像包括来自第一图像传感器332(0)的色度图像202和来自第二图像传感器332(1)的亮度图像204，其形成闪光灯图像对。闪光灯图像对可以使用第一组曝光参数来捕捉。

在一个实施例中，两个或更多个图像还可以包括使用不同曝光参数连续捕捉的附加色度和亮度图像对。例如，可以使用可能产生曝光不足的图像的短曝光时间来捕捉第一图像对。附加的图像对可以以增加的曝光时间捕捉图像，并且可以使用可能产生曝光过度的图像的长曝光时间来捕捉最后的图像对。改变的曝光参数还可以包括对闪光灯照明单元336的配置的改变，诸如放电的强度或放电的颜色。这些图像可以形成在闪光灯照明下捕捉的图像集。此外，可以使用任何技术上可行的HDR混合或结合技术来将这些图像结合以生成HDR图像，包括用于显示的渲染为较低动态范围的HDR图像。此外，可以使用连续的捕捉滚动快门技术来捕捉这些图像，由此在图像传感器被复位之前由图像传感器以连续更高的曝光捕捉完整的图像，以为捕捉新的图像集做准备。

在步骤810，数字摄影系统300从在环境照明下采样的至少两个图像和在闪光灯照明下采样的至少两个图像生成成果图像。在一个实施例中，数字摄影系统300将在环境照明下采样的色度图像与在闪光灯照明下采样的色度图像相混合。在另一个实施例中，数字摄影系统300将在环境照明下采样的亮度图像与在闪光灯照明下采样的亮度图像相混合。在又一个实施例中，数字摄影系统300诸如通过平均或加权平均可以将在环境照明下采样的色度图像与在闪光灯照明下采样的色度图像相混合，以生成一致的色度图像。然后可以混合一致的色度图像与所选择的亮度图像，或两者的亮度图像的组合，所选择的亮度图像在环境照明或闪光灯照明下被采样。

在一个实施例中，混合两个图像可以包括在两个图像中的对应像素值之间执行阿尔法(alpha)混合。在这样的实施例中，阿尔法混合权重可以由被混合的像素的一个或更多个像素属性(例如，强度)确定，并且还可以由周围像素的像素属性进一步确定。在另一个实施例中，混合两个图像可以包括，对于成果图像中的每个像素，确定在环境照明下捕捉的第一图像中的对应像素是否曝光不足。如果像素曝光不足，则从闪光灯照明下捕捉的第二图像中选择成果图像中的像素。混合两个图像还可以包括，对于成果图像中的每个像素，确定在闪光灯照明下捕捉的第二图像中的对应像素是否被过度曝光。如果像素被过度曝光，则从环境照明下捕捉的第一图像中选择成果图像中的像素。如果第一图像中的像素没有曝光不足并且第二图像中的像素没有被过度曝光，则基于两个图像中的对应像素值之间的阿尔法混合生成成果图像中的像素。此外，在不脱离本发明的实施例的范围和精神的情况下，可以在这个背景下实现任何一个或更多个其他混合技术。

在一个实施例中，在环境照明下采样的至少两个图像可以包括利用不同曝光参数在环境照明下采样的两个或更多个图像对。类似地，在闪光灯照明下采样的至少两个图像可以包括利用不同曝光参数在闪光灯照明下采样的两个或更多个图像对。在这样的实施例中，混合两个图像可以包括选择在环境照明下捕捉的两个图像对，并选择在闪光灯照明下捕捉的两个图像对。在环境照明下采样的两个图像对可以使用任何技术上可行的方法进行混合，以生成在环境照明下采样的混合图像对。类似地，在闪光灯照明下采样的两个图像对可以使用任何技术上可行的方法进行混合，以生成在闪光灯照明下采样的混合图像对。然后，可以将在环境照明下采样的混合图像对与在闪光灯照明下采样的混合图像对进行混合。

图9A示出了根据一个实施例的被配置为基于两个图像集920生成成果图像942的观察者应用程序(viewer application)910。第一图像集920(0)包括两个或更多个源图像922，其可以通过对相机模块330的第一图像传感器732(0)进行采样来生成。源图像922可以对应于色度图像。第二图像集920(1)包括两个或更多个源图像923，其可以通过对相机模块330的第二图像传感器732(1)进行采样来生成。源图像923可以对应于亮度图像。第一图像集920(0)中的每个源图像922在第二图像集920(1)中具有对应的源图像923。在另一个实施例中，源图像922可以通过对图像传感器732中的第一部分光电二极管进行采样来生成，并且源图像923可以通过对图像传感器732中的第二部分光电二极管进行采样来生成。

在一个实施例中，成果图像942分别表示从图像集920(0)和920(1)中选择的对应的源图像对922(i)，923(i)，并且使用颜色空间混合技术(诸如上文结合图1和图2描述的HSV技术)进行混合。可以根据任何技术上可行的技术来选择对应的源图像对。例如，可以基于曝光质量从第一图像集920(0)自动选择给定源图像922。然后，可以基于在第一图像集920(0)中选择的源图像922来从第二图像集920(1)选择对应的源图像923。

可选地，可以通过UI控件930手动选择对应的源图像对，下面在图9B中更详细地讨论。UI控件930生成指示手动选择的选择参数918。图像处理子系统912被配置成通过将所选择的源图像922与对应的源图像923混合来生成成果图像942。在某些实施例中，图像处理子系统912自动选择对应的源图像对，并向UI控件930传输对应的推荐919。该推荐919通过UI控件930指示哪个对应的源图像对是被自动选择的。用户可以保持推荐或使用UI控件930选择不同的对应的源图像对。

在替代实施例中，观察者应用程序910被配置成结合两个或更多个对应的源图像对以生成成果图像942。在结合之前，两个或更多个对应的源图像对可以由图像处理子系统912相互对准。选择参数918可以包括分配给两个或更多个对应的源图像对中的每一个的权重。权重可用于在两个或更多个对应的源图像对之间执行透明/不透明混合(称为阿尔法混合)。

在某些实施例中，随着闪光灯单元的关闭，在专有环境照明下对源图像922(0)和923(0)进行采样。根据任何技术上可行的白平衡技术，将源图像922(0)生成为白平衡的。在闪光灯照明下对源图像922(1)至922(N-1)以及对应的源图像923(1)至923(N-1)进行采样，该闪光灯照明可以是相对于环境照明不一致的颜色。可以根据闪光灯照明颜色而对图像922(1)至922(N-1)进行白平衡。闪光灯照明颜色不一致可能导致某些区域相对于在普通摄影设置中的其他区域而言显示不正确的颜色。例如，在摄影场景中，前景对象主要由白色闪光灯照明和相应的白平衡进行照明，背景对象主要由可能显得过分橙色甚至是红色的白炽灯进行照明。

在一个实施例中，在图像处理子系统912内实现空间颜色校正，以将所选源图像922内的区域的颜色与源图像922(0)的颜色相匹配。空间颜色校正实现区域颜色匹配到环境照明源图像922(0)。这些区域可以在从单个像素到像素块到整个帧的整体场景覆盖范围内变动。在一个实施例中，颜色校正图像中的每个像素包括来自至少对应像素和相关联的像素块的加权颜色校正贡献。

在某些实施例中，观察者应用程序910包括图像高速缓存916，其被配置成包括对应于源图像922但渲染为比源图像922更低的分辨率的一组高速缓存图像。图像高速缓存916提供可以用于响应于对选择参数918的实时改变而容易且有效地生成或显示成果图像942的图像。在一个实施例中，渲染高速缓存图像为显示单元312的屏幕分辨率。当用户操纵UI控件930以选择对应的源图像对时，对应的高速缓存图像可以显示在显示单元312上。高速缓存图像可以表示成果图像942的低采样版本，该成果图像942基于所选择的对应的源图像对生成。高速缓存图像可以有利地减少与渲染用于显示的给定的对应源图像对相关联的功耗。高速缓存图像还可以通过消除在每当UI控件530检测到用户选择了不同的对应源图像对时调整用于显示的给定的对应源图像对所需的渲染过程来提高性能。

图9B示出了根据一个实施例的与图9A的观察者应用程序910相关联的示例性用户界面。用户界面包括被配置成基于UI控件930的位置显示成果图像942的应用窗口940。观察者应用程序910可以调用UI控件930，其被配置成基于控制旋钮934的位置生成选择参数918。推荐919可以确定与推荐的对应源图像对所对应的控制旋钮934的初始位置。在一个实施例中，UI控件930包括具有被配置成沿着滑动路径932滑动的控制旋钮934的线性滑块控制。用户可以通过执行滑动手势来定位控制旋钮934。例如，滑动手势可以包括在当前位置触摸控制旋钮934，以及将控制旋钮934滑动到新的位置。可选地，用户可以沿着滑动路径932触摸以将控制旋钮934移动到由触摸的位置定义的新位置。

在一个实施例中，将控制旋钮934沿着滑动路径932定位在离散位置936使得选择参数918指示在第一图像集920(0)中的源图像922(i)和在第二图像集920(1)中对应的源图像923的选择。例如，用户可以将控制旋钮934移动到离散位置936(3)，以指示选择源图像922(3)和对应的源图像923(3)。然后，UI控件930生成选择参数918以指示选择了源图像922(3)和对应的源图像923(3)。图像处理子系统912通过基于源图像922(3)和对应的源图像923(3)生成成果图像942来响应选择参数918。控制旋钮934可以被配置成当使用者撤回他们的手指释放时，对齐(snap)到最接近的离散位置936。

在替代实施例中，控制旋钮934可以位于两个离散位置936之间，以指示应当基于两个对应的源图像对生成成果图像942。例如，如果控制旋钮934位于离散位置936(3)和离散位置936(4)之间，则图像处理子系统912从源图像922(3)和922(4)以及源图像923(3)和923(4)生成成果图像942。在一个实施例中，图像处理子系统912通过对齐源图像922(3)和922(4)以及源图像923(3)和923(4)来生成成果图像942，并且根据控制旋钮934的位置在对齐的图像之间执行阿尔法混合。例如，如果控制旋钮934被定位成沿着滑动路径932的离散位置936(3)到离散位置936(4)的距离的四分之一，则对应于源图像922(4)的对齐图像可以与对应于源图像922(3)的完全不透明对齐图像的百分之二十五的不透明度(百分之七十五透明度)进行混合。

在一个实施例中，UI控件930被配置成包括第一图像集920(0)内的每个源图像922的离散位置936。存储在图3A的数字摄影系统300内的每个图像集920可以包括不同数量的源图像922，并且UI控件930可以被配置成建立离散位置936以对应于给定图像集920的源图像922。

图9C示出了根据一个实施例的具有不同等级的闪光灯曝光的成果图像942。在该示例中，控制旋钮934被配置成从左到右选择在增加的闪光灯强度下采样的图9A的源图像922。当控制旋钮934处于最左位置时，所选择的源图像可以对应于在环境照明下捕捉的源图像922(0)。当控制旋钮934处于最右侧位置时，所选择的源图像可以对应于以闪光灯照明捕捉的源图像922(N-1)。当控制旋钮934处于中间位置时，所选择的源图像可以对应于其他源图像922(1)-922(N-2)中的一个。

在一个实施例中，源图像922可以包括在环境照明下捕捉的多于一个源图像。源图像922可以包括使用不同曝光参数在环境照明下捕捉的P个图像。例如，源图像922可以包括在环境照明下以增加的曝光时间捕捉的四个图像。类似地，源图像922可以包括在闪光灯照明下捕捉的多于一个源图像。

如图所示，成果图像942(1)包括在不足的闪光灯强度下采样的曝光不足的对象950，成果图像942(2)包括在合适的闪光灯强度下采样的适当曝光的对象952，以及成果图像942(3)包括在过度的闪光灯强度下采样的过度曝光的对象954。合适的闪光灯强度的确定有时是主观的，并且本发明的实施例使用户方便地在拍摄图像之后能够主观地选择具有期望的或适当的闪光灯强度的图像，并且不损失图像质量或动态范围。实际上，用户可以通过主张单个快门释放来拍摄表面上的一张照片。单个快门释放使得图3A的数字摄影系统300快速连续地采样多个图像，其中多个图像中的每一个在不同的闪光灯强度下进行采样。在一个实施例中，本文定义了小于二百毫秒的时间间隔以创建快速连续。再者，多个图像可以包括色度图像和对应的亮度图像。成果图像集920使得用户稍后能够方便地选择成果图像942，例如在感兴趣的特定摄影场景不再可用之后。这与传统上迫使用户手动拍摄不同照片并手动调节不同照片上的闪光灯强度的现有技术解决方案形成对比。该手动现有技术方法通常引入大量的图像间延迟，导致所采样的图像之间的内容一致性的损失。

图9D示出了根据一个实施例的用于从高动态范围色度图像和高动态范围亮度图像生成成果图像的系统。图像集920使用户能够生成高动态范围(HDR)图像。例如，图像传感器的灵敏度受到限制。虽然场景的某些部分很亮，但其他部分可能会变暗。如果在图像传感器的动态范围内捕捉到场景的明亮部分，则可能不能捕捉场景的昏暗部分足够的细节(即，低模拟值处的信噪比可能不允许足够的细节被看见)。在这种情况下，可以利用图像集来创建色度图像和亮度图像两者的HDR版本。在某些实施例中，可以以固有更高的模拟动态范围对亮度图像进行采样，并且在一个实施例中，一个亮度图像为亮度提供HDR图像。

色度HDR模块980可以访问两个或更多个源图像922以创建具有高动态范围的HDR色度图像991。类似地，亮度HDR模块990可以访问两个或更多个源图像923以创建具有高动态范围的HDR亮度图像992。色度HDR模块980和亮度HDR模块990可以在任何可行技术(包括本领域公知的技术)下生成HDR图像。然后，图像处理子系统912可以结合HDR色度图像991与HDR亮度图像992，以生成如上文描述的相对于单个源图像922和单个对应的源图像923的成果图像942。

本发明的一个优点是，用户可以使用单个快门释放命令来拍摄场景，并且随后根据最满足用户审美要求的摄影场景的闪光灯强度来选择采样的图像。一个快门释放命令使得数字摄影系统在闪光灯强度和/或颜色一定范围内快速采样一系列图像。例如，可以在一秒钟内采样二十个或更多的全分辨率图像，从而允许用户利用闪光灯照明的优点捕捉可能快速移动的摄影时刻。此外，所捕捉的图像可以是使用用于捕捉单独的色度和亮度信息的一个或更多个图像传感器来捕捉的。然后可以混合色度和亮度信息以产生成果图像。

虽然上面已经针对数码相机302和移动设备376描述了各种实施例，但是被配置成执行本文所描述的至少一个方面的任何设备均在本发明的范围和精神内。在某些实施例中，在各自设备中实现的两个或更多个数字摄影系统被配置成在相互的时间同步中对对应的图像集进行采样。单个快门释放命令可以触发两个或更多个数字摄影系统。

虽然前述内容针对本发明的实施例，但是可以在不脱离本发明的基本范围的情况下设计本发明的其他和另外的实施例，并且其范围由随后的权利要求来确定。

Claims (20)

1.一种设备，包括：

非暂时性存储器，用于存储指令；和

与所述非暂时性存储器通信的一个或更多个处理器，其中所述一个或更多个处理器执行所述指令以：

使第一图像传感器捕捉第一图像集，所述第一图像集包括两个或更多个第一源图像和多个色度值；

使第二图像传感器捕捉第二图像集，所述第二图像集包括两个或更多个第二源图像和多个亮度值；

结合所述第一源图像的第一图像和所述第一源图像的第二图像以形成第一源图像对；

结合所述第二源图像的第一图像和所述第二源图像的第二图像以形成第二源图像对；和

通过结合所述第一源图像对和所述第二源图像对来生成第一成果图像。

2.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一图像传感器被配置为捕捉可见光色度图像样本，和所述第二图像传感器被配置为捕捉可见光亮度图像样本，并且所述第二图像传感器具有高于所述第一个图像传感器的分辨率。

3.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一图像传感器被配置为捕捉可见光色度图像样本，和所述第二图像传感器被配置为捕捉不可见光亮度图像样本，并且所述第二图像传感器具有与第一图像传感器不同的分辨率。

4.根据权利要求1所述的设备，其中，所述第一图像传感器具有与所述第二图像传感器不同的分辨率。

5.根据权利要求1所述的设备，其中，所述一个或更多个处理器进一步执行所述指令以通过结合第三源图像对与第四源图像对来生成第二成果图像，所述第三源图像对通过结合所述第一源图像的第三图像和所述第一源图像的第四图像而形成，以及所述第四源图像对通过结合所述第二源图像的第三图像和所述第二源图像的第四图像而形成。

6.根据权利要求5所述的设备，其中，所述设备被配置为使得：所述第一源图像对、所述第二源图像对、所述第三源图像对和所述第四源图像对中的每一个均包括选择参数。

7.根据权利要求6所述的设备，其中，所述设备被配置为使得：所述选择参数包括分配给所述第一源图像对、所述第二源图像对、所述第三源图像对和所述第四源图像对中的每一个的权重，其中，所述权重用于在所述第一源图像对、所述第二源图像对、所述第三源图像对和第四源图像对中的两个之间进行混合。

8.根据权利要求1所述的设备，其中，所述设备被配置为使得：在环境照明、闪光灯照明、或环境照明与闪光照明的结合下对所述第一图像集和所述第二图像集进行采样。

9.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一成果图像通过以下方式生成：

使用高动态范围HDR图像混合技术将所述第一源图像对结合以生成HDR色度图像；

使用HDR图像混合技术将所述第二源图像对结合以产生HDR亮度图像；和

结合所述HDR色度图像和所述HDR亮度图像。

10.根据权利要求9所述的设备，其中，所述一个或更多个处理器进一步执行所述指令以将所述第一源图像对与所述第二源图像对相互对准。

11.根据权利要求9所述的设备，其中，所述HDR色度图像的每像素包括色调或饱和度分量。

12.根据权利要求1所述的设备，其中，第一透镜被配置为将来自摄影场景的光聚焦到所述第一图像传感器上，以及第二透镜被配置为将来自所述摄影场景的光聚焦到所述第二图像传感器上。

13.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一图像传感器和所述第二图像传感器被包括在无线移动设备或数字照相机中。

14.根据权利要求1所述的设备，还包括透镜，所述透镜将来自摄影场景的光聚焦到分束器上，所述分束器被配置为将来自所述摄影场景的所述光分裂到所述第一图像传感器和所述第二图像传感器上。

15.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一图像传感器和所述第二图像传感器利用全局快门操作来采样图像。

16.根据权利要求1所述的设备，其中，所述设备被配置为使得：所述第一图像传感器和所述第二图像传感器利用滚动快门操作来采样图像。

17.根据权利要求1所述的设备，还包括闪光灯单元，并且其中，在闪光灯照明下对所述第一图像集和所述第二图像集进行采样。

18.根据权利要求17所述的设备，其中，所述一个或更多个处理器还执行所述指令以在环境照明下捕捉所述第一图像集或所述第二图像集中的一个，分析所述第一图像集以确定白平衡设置，并启用所述闪光灯单元以基于所述白平衡设置提供特定颜色的闪光灯照明。

19.一种方法，包括：

由处理器使第一图像传感器捕捉第一图像集，所述第一图像集包括两个或更多个第一源图像和多个色度值；

由所述处理器使第二图像传感器捕捉第二图像集，所述第二图像集包括两个或更多个第二源图像和多个亮度值；

使用所述处理器将所述第一源图像的第一图像和所述第一源图像的第二图像进行结合，以形成第一源图像对；

使用所述处理器将所述第二源图像的第一图像和所述第二源图像的第二图像进行结合，以形成第二源图像对；和

使用所述处理器，通过结合所述第一源图像对与所述第二源图像对来生成第一成果图像。

20.一种计算机程序产品，包括存储在非暂时性计算机可读介质上的计算机可执行指令，所述指令在由处理器执行时指示所述处理器以：

使第一图像传感器捕捉第一图像集，所述第一图像集包括两个或更多个第一源图像和多个色度值；

使第二图像传感器捕捉第二图像集，所述第二图像集包括两个或更多个第二源图像和多个亮度值；

结合所述第一源图像的第一图像和所述第一源图像的第二图像以形成第一源图像对；

结合所述第二源图像的第一图像和所述第二源图像的第二图像以形成第二源图像对；和

通过结合所述第一源图像对和所述第二源图像对来生成第一成果图像。

Images