CN107211098A - 针对顺序子图像的基于噪声电平的曝光时间控制 - Google Patents

Abstract

通过按像素(114)的多个子集组织的成像传感器(112)来拍摄一序列的多个子图像。像素(114)的子集中的每一个都被分配为拍摄多个子图像中的对应子图像。针对像素(114)的子集中的每一个，测量子集中的像素(114)的输出的噪声电平。根据所测量的噪声电平，控制用于拍摄所述对应子图像的曝光时间。

Description

针对顺序子图像的基于噪声电平的曝光时间控制

技术领域

本发明涉及对场景成像的方法并且涉及对应地配置的装置。

背景技术

诸如智能电话、平板计算机或数字相机的各种电子装置可以配备日益复杂的成像功能。这种成像功能例如包括拍摄高动态范围(HDR)静止图像或视频。这里，术语“HDR”意指与常规拍摄的图像相比，提高了与用于分辨成像的场景的低亮度区域和高亮度区域中的特征的能力有关的动态范围。这意味着在低亮度的图像区域和高亮度的图像区域中都可以获得允许分辨图像细节的某种对比度水平，从而避免曝光不足或曝光过度的对比度限制影响。

拍摄HDR图像的典型方法是使用不同的曝光时间，利用成像传感器来连续地拍摄多个(通常为两个或三个)全分辨率图像，然后将这些图像组合成HDR图像。然而，由于拍摄不同图像之间的时间偏移，组合的HDR图像可能遭受成像场景中的移动物体的模糊或重影，和/或在拍摄不同图像的同时因成像传感器的移动而遭受总体模糊。虽然原则上可以通过减少拍摄不同图像之间的时间偏移来减少这种不良影响，但时间偏移的这种减少可能经常由于所利用的成像传感器和相关联的图像处理电子装置而受到限制。例如，检测成像传感器的所有像素的输出并处理这些输出以获取希望图像数据可能会限制该时间偏移。在典型装置中，最小支持时间偏移可能在20ms到50ms的范围内。

因此，需要允许有效拍摄高动态范围图像的技术。

发明内容

根据本发明的实施方式，提供了一种对场景进行成像的方法。根据所述方法，通过按像素的多个子集组织的成像传感器来拍摄一序列的多个子图像。像素的各个所述子集都被分配成拍摄所述多个子图像中的对应的子图像。针对像素的所述子集中的每一个，测量所述子集的像素的输出的噪声电平。根据测量的噪声电平，接着控制用于拍摄对应子图像的曝光时间。

根据一实施方式，所述方法还包括：针对像素的所述子集中的每一个，获取在所述曝光时间期间所述像素的输出信号的样本，并且例如通过平均化或滤波来统计处理获取的样本，以评估所述噪声电平和平均输出信号。响应于所述噪声电平高于阈值，可以延长用于拍摄与该子集相对应的所述子图像的所述曝光时间，以获取所述像素的所述输出信号的其他样本。响应于所述噪声电平低于所述阈值，可以结束用于拍摄与该子集相对应的所述子图像的所述曝光时间。在结束该子图像的所述曝光时间之后，可以利用所述像素的所述平均输出信号，以获取所述子图像的图像数据，并且所述拍摄处理可以继续进行，以通过获取与所述序列中的下一个子图像相对应的像素的所述子集中的像素的输出信号的样本，来拍摄该下一个子图像。因此，可以迭代获取所述子图像中的一个的样本并且延长或结束用于拍摄该子图像的曝光时间的处理，直到拍摄了所有子图像为止。这样，可以在拍摄子图像的同时动态地控制针对所述子图像中的每一个应用的所述曝光时间。

根据一实施方式，将所述子图像组合成总图像。所述总图像可以具有比所述子图像高的像素分辨率。另外或另选的，所述总图像可以具有比所述子图像高的动态范围。

根据一实施方式，通过分析所述序列的子图像来检测所述成像场景中的运动。这例如可以涉及通过分析和比较所述序列中的所述子图像来识别所述成像场景中的一个或更多个移动对象。基于检测到的所述成像场景中的所述运动，可以补偿所述总图像中的模糊或重影。例如，这可以涉及以这样的方式来生成所述总图像，即，将被识别为表示移动对象在不同子图像中的同一部分的像素的输出分配给所述总图像中的同一位置。例如，在某些情况下，当拍摄所述序列中的不同子图像时，移动对象可能处于不同位置。为了避免表示该移动对象的同一部分的图像数据出现在所述总图像中的不同位置，可以将这种图像数据移位至所述总图像中的恰当位置。例如，可以根据从不同子图像识别的所述移动对象的位置来确定该移动对象的平均位置，并且可以将与该移动对象相对应的图像数据对准该平均位置。

根据一实施方式，基于一个或更多个运动传感器(诸如一个或更多个加速度计)，在拍摄所述序列的子图像的同时，可以检测所述成像传感器的运动。基于检测到的所述成像传感器的运动，可以补偿所述总图像中的模糊。例如，在拍摄所述序列中的不同子图像时，所述成像传感器的移动可能导致所成像的场景的同一部分出现在不同子图像中的不同位置。通过检测所述成像传感器的运动，来自所述不同子图像的图像数据可以被移位至所述总图像中的恰当位置以补偿这种影响。

根据一实施方式，所述成像传感器的成像区域被划分成多个区块。接着，可以将像素的所述子集中的每一个分配给所述多个区块中的对应区块。各个子集中的像素因而可以包括所述成像传感器的、位于所述子集被分配到的所述区块中的那些像素。而且，各个子集中的像素都可以包括处于所述成像区域的各个其它区块中的至少一个另一像素。因此，像素的所述子集皆可以主要提供来自所述成像传感器的给定区块的图像数据，这意味着该区块的曝光时间可以单独设定，而同时该子集还可以提供来自所有其它区块的一些图像数据，这意味着每个子图像都可以至少被用于提供大致覆盖整个成像区域的较低分辨率图像和覆盖所述成像传感器的所述给定区块的较高分辨率图像。

根据本发明另一实施方式，提供了一种装置。所述装置包括成像传感器和至少一个处理器。所述成像传感器按像素的多个子集组织。所述至少一个处理器被设置成，通过所述成像传感器来拍摄一序列的多个子图像。像素的所述子集中的每一个都被分配为拍摄所述子图像中的对应子图像。而且，所述至少一个计算机处理器被设置成，针对像素的所述子集中的每一个，测量所述子集中的像素的输出的噪声电平，并且根据测量的噪声电平，控制用于拍摄所述对应子图像的曝光时间。

根据一实施方式，所述至少一个处理器被设置成执行根据上述实施方式的方法的步骤。

因此，所述至少一个处理器可以被设置成，针对像素的所述子集中的每一个，获取在所述曝光时间期间所述像素的输出信号的样本，统计处理获取的样本以评估所述噪声电平和平均输出信号，响应于所述噪声电平高于阈值，延长所述曝光时间以获取像素的输出信号的其他样本，并且响应于所述噪声电平低于所述阈值，结束用于拍摄所述子图像的所述曝光时间。

而且，所述至少一个处理器可以被设置成将所述子图像组合成总图像。如上所述，所述总图像可以具有比所述子图像高的像素分辨率，和/或比所述子图像高的动态范围。

而且，所述至少一个处理器可以被设置成，通过分析所述序列的子图像来检测所述成像场景中的运动，并且基于检测到的所述成像场景中的运动，补偿所述总图像中的模糊。

根据一实施方式，所述装置还包括一个或更多个传感器。所述至少一个处理器接着还可以被设置成，基于一个或更多个运动传感器，在拍摄所述序列的子图像的同时，检测所述成像传感器的运动，并且基于检测到的所述成像传感器的所述运动，补偿所述总图像中的模糊。

根据一实施方式，所述成像传感器的成像区域被划分成多个区块，并且像素的所述多个子集皆被分配给所述多个区块中的对应区块。每个子集中的像素因而可以包括所述成像传感器的、位于所述子集被分配到的所述区块中的那些像素。另外，每个子集中的像素都可以包括处于所述成像区域的每个其它区块中的至少一个另一像素。

下面，参照附图更详细地描述本发明的上述和其他实施方式。

附图说明

图1示意性地例示了根据本发明的实施方式的装置的情形。

图2示意性地例示了根据本发明的实施方式的可以利用的成像传感器。

图3示出了用于例示根据本发明的实施方式的方法的流程图。

图4示出了用于例示可以在图3的方法中应用的控制曝光时间的处理的流程图。

图5示意性地例示了根据本发明的实施方式的装置。

具体实施方式

下面，对本发明的示例性实施方式进行更详细描述。必须理解，下面的描述仅出于例示本发明的原理的目的而给出，而非按限制性意义进行。相反地，本发明的范围仅通过所附权利要求书来限定，而非受到此后描述的示例性实施方式限制。

所示实施方式涉及对一场景进行成像，具体是为了有效拍摄HDR静止图像或HDR视频。在所示实施方式中，这涉及利用按像素的多个子集组织的成像传感器。像素的子集被用于拍摄一序列子图像。在这个处理中，每个子集都拍摄所述子图像中的对应子图像。为了拍摄每个子图像，单独控制曝光时间。这是根据在拍摄该子图像的像素的子集的输出中检测到的噪声电平来实现的。然后将子图像组合成总图像。在典型情况下，总图像具有比子图像高的像素分辨率和高的动态范围。特别地，通过允许针对像素的不同子集的单独适应的曝光时间，可以根据成像场景的不同区域中的亮度水平(例如，对应于成像传感器的成像区域的不同区块)来优化所述曝光时间。而且，所述序列的子图像可以被用于检测所述成像场景中的运动，并补偿总图像中的模糊或重影影响。所述总图像可以是静止图像或视频的视频帧。因此，可以按有效的方式来获取HDR静止图像或HDR视频。

图1示出了根据如上所述概念的、可以被用于对一场景进行成像的示例性装置100。装置100例如可以是智能电话、数字相机(例如，紧凑型相机、动作相机，或生活轨迹(lifelog)相机)、便携式媒体播放器、平板计算机、运动计算机、智能手表等。如图所示，装置100配备有相机110。相机110可以支持拍摄静止图像和/或视频。为此，相机110提供具有多个光敏像素的成像传感器(图1中未例示)。像素的输出被用于生成图像数据，从中可以生成静止图像和/或视频。对像素的输出的这种处理可以通过装置100的对应处理器来实现。然而，在某些情况下，例如也通过一个或更多个其它装置在外部完成该处理的至少一部分。例如，装置100可以提供用于将原始图像数据传递至另一装置或基于网络的服务的接口，而对原始数据的处理(例如，将子图像组合成总图像)接着可以由该另一装置或网络服务来执行。

图2示意性地例示了相机110的示例性成像传感器112。如图所示，成像传感器112包括在成像传感器112的成像区域上按阵列分布的多个光敏像素114。成像传感器112例如可以对应于CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)图像传感器芯片。在所示示例中，像素114按矩形阵列分布。然而，要理解的是，同样可以利用排列像素的其它方式，例如，基于六边形像素图案。此外，要理解的是，出于例示的目的而选择所示数量的像素114，并且在典型的实际实现中，成像传感器可以提供显著更大的像素数量，例如，在一百万像素到五千万像素甚或更多像素的范围内。而且，要理解的是，像素中的每一个都可以传送表示一个或更多个颜色通道的对应亮度的输出信号。下面，将假设成像传感器112的像素114皆提供由三个颜色通道表示的输出，由此允许拍摄全色静止图像或视频。

如图2中进一步例示的，成像传感器112的成像区域被划分为多个区块(在图2中用虚线分隔)。当拍摄图像时，每个区块都将提供与成像场景的某一部分相对应的图像数据。图2的例示示例假设以矩形图案排列的六个区块。然而，要理解的是，在实际实现中，可以利用其它数量的区块和/或这些区块的其它几何布置。而且，代替如图2所示那样定义非重叠区块，而是还可以按相邻区块彼此交叠的方式来定义所述区块。

根据不同的区块，成像传感器112按像素114的多个子集进行组织。在图2的示例中，像素的子集由像素114中的数字或字母来指示。作为第一子集的一部分的像素114用数字“1”或字母“A”标识。第一子集中的大部分像素114(用数字“1”标识)位于成像区域的第一区块中，并且在图2中被例示为位于成像区域的左上角。第一子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。作为第二子集的一部分的像素114用数字“2”或字母“A”标识。第二子集中的大部分像素114(用数字“2”标识)位于成像区域的第二区块中(在图2中，例示为位于成像区域的上中部)。第二子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。作为第三子集的一部分的像素114用数字“3”或字母“A”标识。第三子集中的大部分像素114(用数字“3”标识)位于成像区域的第三区块中(在图2中，例示为位于成像区域的右上角)。第三子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。作为第四子集的一部分的像素114用数字“4”或字母“A”标识。第四子集中的大部分像素114(用数字“4”标识)位于成像区域的第四区块中(在图2中，例示为位于成像区域的左下角)。第四子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。作为第五子集的一部分的像素114用数字“5”或字母“A”标识。第五子集中的大部分像素114(用数字“5”标识)位于成像区域的第五区块中(在图2中，例示为位于成像区域的下中部)。第五子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。作为第六子集的一部分的像素114用数字“6”或字母“A”标识。第六子集中的大部分像素114(用数字“6”标识)位于成像区域的第六区块中(在图2中，例示为位于成像区域的右下角)。第六子集中的其他像素114(用字母“A”标识)分布在成像区域的所有区块上。因此，像素的每个子集都在成像区域的对应区块上具有主要焦点，但对于分布在成像区域上的、用字母“A”标识的像素114来说，不同子集之间也存在交叠。如下面将进一步说明的，每个子集的分布在成像区域上的像素114允许利用像素的每一个子集来提供大致覆盖整个成像区域的图像。

像素的这些子集按照拍摄所述序列子图像的时间序列加以利用。在图2的示例中，这可以涉及拍摄以下时间序列的子图像：仅由像素的第一子集拍摄的第一子图像、仅由像素的第二子集拍摄的第二子图像、仅由像素的第三子集拍摄的第三子图像、仅由像素的第四子集拍摄的第四子图像、仅由像素的第五子集拍摄的第五子图像、以及仅由像素的第六子集拍摄的第六子图像。

对于所述序列的每个子图像来说，并且因此对于像素的每个子集来说，基于在该子集中的像素114的输出上观察到的噪声电平来单独控制曝光时间。一般说来，噪声电平取决于像素114所经受的亮度水平。对于较低的亮度水平来说，噪音电平增加。这可以通过增加曝光时间，即，通过在更长的时间间隔上对像素的输出进行采样来补偿。例如，可以在曝光时间获取子集中的每个像素114的输出的多个样本，然后对所述多个样本进行平均或滤波以获取具有较低噪声电平的平均输出。可以例如通过对像素输出中观察到的变化进行平均化或统计处理，来针对子集中的多个像素(例如，子集中的所有像素或选择的代表性像素)评估噪声电平。结果，可以获取表示子集的噪声电平的单个值，并接着在拍摄子图像时将该单个值用于设置曝光时间。

在一些实现中，可以在拍摄子图像的同时测量噪声电平。例如，可以在曝光时间期间收集像素输出信号的样本，并且将样本用于计算子集的噪声电平和每个像素的平均输出。只要噪声电平高于阈值，就可以延长曝光时间以收集像素输出的其他样本。通过考虑所计算的噪声电平和平均像素输出中的其他样本，获取更低的噪声电平和更准确的像素输出。再次计算的噪声电平可以接着再次与所述阈值进行比较。该过程可以按迭代方式重复，直到所述比较产生了低于阈值的噪声电平或者达到最大曝光时间(例如，处于50ms至100ms的范围内)为止。阈值和/或最大曝光时间可以由装置的用户来配置。另选的是，阈值和/或最大曝光时间可以由装置的制造商预先配置。阈值也可以是背景相关的，即，取决于与装置的操作环境相关联的一个或更多个参数。例如，阈值可以取决于是黑夜还是白天。而且，阈值可以取决于装置的位置。而且，阈值可以取决于装置的速度，例如，由一个或更多个传感器测量。这例如可以允许区分装置是由正在跑步或步行的人使用还是由静止站立的人使用。阈值还可以取决于成像场景的类型，例如，成像场景的主要元素是对应于一个或更多个人，还是对应于通常是静态的景观结构或其它元素。阈值还可以从用户偏好、从以前拍摄的图像数据的得分、从社交媒体数据等导出。通过基于对应的观察到的噪声电平来单独控制子集的曝光时间，可以获取成像传感器的不同区块的优化曝光时间。例如，如果所述区块中的一个在成像场景中经受高水平的亮度，则可以在短曝光时间内达到希望的噪声电平。类似地，如果所述区块中的另一个区块在成像场景中经受低水平的亮度，则可以在长曝光时间内达到希望的噪声电平。由此，可以避免子图像的曝光不足或曝光过度。

如上所述，所述序列的子图像被组合成总图像。总图像通常将覆盖成像传感器的整个成像区域并具有由成像传感器112提供的全像素分辨率。为了生成总图像，可以合并子图像的与成像区域的不同区块相对应的部分。如果存在不同区块的交叠，则对交叠区块中的图像数据进行平均化或其它形式的混合，以最小化合并处理的伪像。出于同一理由，平均化或其它混合也可以应用于非交叠区块的边界。由于单独优化的曝光时间，所得总体通常具有比单独子图像高的动态范围，并且还具有比通过成像传感器112的所有像素的单次同时曝光所拍摄的图像高的动态范围。

在某些情形下，当将子图像合并成总图像时，进一步考虑成像场景中的运动和/或成像传感器的运动可能是有益的。例如，因为子图像是在不同时刻拍摄的，所以存在成像场景中的移动对象导致总图像中的模糊或重影的风险，例如，如果所述对象在不同子图像中的位置对应于总图像中的不同位置。而且，在拍摄序列子图像的同时，成像传感器的运动可能导致成像场景中的同一元素出现在不同子图像中但被映射至总图像中的不同位置的风险。

为了补偿成像场景中运动的影响，可以利用由序列子图像提供的时间分辨率。特别地，可以分析这些子图像以识别成像场景中的运动。这例如可以涉及识别成像场景中的一个或更多个移动对象。为此，可以应用各种对象识别算法。而且，可以将不同的子图像彼此比较，以例如通过计算运动矢量来识别和/或量化运动。当将子图像组合成总图像时，可以考虑并补偿在成像场景中检测到的运动。例如，针对移动对象，可以从不同的子图像提取对应的图像数据并将其投影到总图像中的同一位置。这样的位置例如可以对应于通过平均化从不同子图像导出的移动对象的位置而获取的位置。因此，可以应用时间偏移序列的子图像，以有效地避免或最小化因成像场景中的运动而造成的模糊或重影的影响。

为了补偿成像传感器112本身的运动的影响，可以利用装置100的一个或更多个运动传感器(例如，加速度计)的输出。例如，可以将这种运动传感器用于检测和量化成像传感器112在拍摄不同子图像的时刻之间的移动(例如，在方向、距离和/或速度方面)，并因此在将子图像组合成总图像时相应地使对应图像数据移位。可以应用基于处理时间偏移图像序列的各种已知的图像稳定技术。另外或另选的是，还可以将运动传感器用于根据运动传感器的输出主动地移动成像传感器来执行机械的图像稳定化。因此，通过利用运动传感器的输出，可以有效地避免或最小化因成像传感器本身的运动而造成的模糊或重影的影响。

图3示出了例示对场景进行成像的方法的流程图。该方法例如可以在配备有按像素的多个子集组织的成像传感器(如上述成像传感器112)的装置中实现。如果利用了该装置的基于处理器的实现，则该方法步骤的至少一部分可以由该装置的一个或更多个处理器来执行和/或控制。

在步骤310，针对像素的子集中的每一个测量噪声电平。可以通过统计地处理子集中的像素的输出来测量噪声电平，例如，通过对子集的多个像素的输出的变化进行平均化或以其它方式过滤。这里，可以考虑时间变化和不同像素之间的变化。可以在通过像素的子集拍摄子图像的同时测量噪声电平。而且，还可以在通过像素的子集拍摄子图像之前(例如，在专用噪声测量阶段)测量噪声电平。

在步骤320，曝光时间根据测得的噪声电平进行控制。特别地，针对每个子集，对应曝光时间根据对应测量的噪声电平来设定。随着噪声电平的增加，可以选择较高的曝光时间。曝光时间可以控制在最小曝光时间(例如，由成像传感器和相关联的读出和信号处理电子装置最小地支持的最小曝光时间)至最大曝光时间(例如，由用户或装置制造商配置的最大曝光时间)之间的范围内。在一些实现中，可以在测量噪声电平并拍摄子图像的同时，通过迭代处理来控制曝光时间。结合图4，对这种迭代处理的示例加以进一步描述。

在步骤330，拍摄一序列子图像。每个子图像都由像素的多个子集中的对应子集拍摄。同时，像素的其它子集可以不活动。因此，在拍摄每个子图像时，成像传感器的仅一部分可能是活动的，这意味着与通过成像传感器的所有像素拍摄图像相比，可以实现图像数据的更快读出和用于存储图像数据的更低存储器要求。在一些实现中，可以按与静止图像的通常曝光时间相对应的时间间隔拍摄序列子图像，例如在从10ms到1s变动的时间间隔内。该时间间隔可以根据像素的子集和所拍摄的子图像的数量和/或根据针对每个子图像配置的最大曝光时间来设定。

成像传感器的成像区域可以被划分成多个区块，并且像素的子集皆可以分配给对应区块。每个子集中的像素因而可以包括成像传感器的、位于子集被分配到的区块中的那些像素。而且，每个子集中的像素还可以包括成像区域的其它区块中的其它像素。结合图2，对这样组织成像素的子集的示例进行说明。

在步骤340，序列子图像被组合成总图像。总图像通常具有比子图像高的像素分辨率，例如，与成像传感器的总像素数相对应的像素分辨率。而且，总图像通常具有比子图像高的动态范围。这种更高的动态范围可以通过单独优化成像传感器的不同区块的曝光时间来实现，所述不同区块可在成像场景中经受不同水平的亮度。

在步骤350，可以补偿总图像中的模糊。这可以通过分析序列子图像以检测成像场景中的运动来实现。基于检测到的成像场景中的运动，接着可以补偿总图像中的模糊。例如，这可以涉及将与从不同子图像提取出的已识别的移动对象相对应的图像数据映射至总图像中的特定位置，例如，映射至通过平均化移动对象的从不同子图像导出的位置而确定的位置。

在一些实现中，步骤350还可以涉及补偿因成像传感器本身的移动而造成的模糊。这可以基于一个或更多个运动传感器(如加速度计)来实现。这些运动传感器可以被用于在拍摄序列子图像的同时检测成像传感器或成像传感器被安装到的装置的运动。然后，可以将所检测的运动用作补偿总图像中的模糊的基础。这种补偿可以涉及子图像的图像数据的处理，例如通过根据成像传感器的运动，将图像数据所映射至的总图像上的位置移位。另外或另选地，成像传感器的输出还可以用于在拍摄序列子图像的同时物理地移动图像传感器，由此抵消成像传感器的不希望移动(诸如摇动或振动)。

根据基础应用情形，接着可以将总图像进一步处理成静止图像或视频的视频帧。拍摄视频可以涉及针对视频的每个视频帧重复该方法的步骤。

图4示出了用于例示在拍摄子图像的同时控制曝光时间的迭代处理的流程图，其可以在图3的总体方法内应用。

在步骤410，开始拍摄序列中的给定子图像，该子图像由索引N标识。因此，可以在此时选择被分配为拍摄该子图像的像素的子集。

如步骤420所示，子图像的拍摄涉及获取像素的子集中的像素的输出信号的样本。

在步骤430，对所获取的样本进行统计处理，以确定噪声电平和平均像素输出。该统计处理例如可以涉及像素的输出信号的时间平均化、相邻像素的输出信号的空间平滑，和/或子集中的多个像素的输出的变化的时间和/或空间平均化。

在步骤440，将测量的噪声电平与阈值(例如，由用户或装置制造商配置)进行比较。该阈值也可以是环境相关的。例如，该阈值可以取决于是黑夜还是白天。而且，该阈值可以取决于该装置的位置。而且，该阈值可以取决于该装置的速度。该阈值还可以取决于成像场景的类型。该阈值还可以从用户偏好、从以前拍摄的图像数据的得分，或者从社交媒体数据导出。

响应于噪声电平不低于该阈值(如分支“N”所示)，该方法返回至步骤420，以获取像素的子集中的的像素的输出信号的其他样本，并且通过考虑进一步获取的样本来重复对噪声电平的确定并平均化像素输出。

如果该比较步骤显示噪声电平低于阈值，则该方法进行至步骤450(如分支“Y”所示)。在步骤450，该方法返回至步骤410，利用像素的多个子集中的另一子集继续拍摄由索引N+1标识的下一个子图像。

图5示出了用于示意性地例示可以被用于实现上述概念的装置的基于处理器的实现的框图。例如，如图5所示的结构可以被用于实现如图1所示的装置100。

如图所示，装置100包括诸如成像传感器112的成像传感器。而且，装置100可以包括诸如加速度计的一个或更多个运动传感器120。而且，装置100可以包括一个或更多个接口130。例如，如果装置100对应于智能电话或类似的便携式通信装置，则接口130可以包括一个或更多个无线电接口和/或一个或更多个有线接口，以提供装置100的网络连接。用于实现这种无线电接口的无线电技术的示例例如包括蜂窝无线电技术，诸如GSM(全球移动通信系统)、UMTS(通用移动电信系统)、LTE(长期演进)，或CDMA2000，根据IEEE 802.11标准的WLAN(无线局域网)技术，或者诸如Bluetooth的WPAN(无线个域网)技术。用于实现这种有线接口的有线网络技术的示例例如包括以太网技术和USB(通用串行总线)技术。

而且，装置100设置有一个或更多个处理器140以及存储器150。成像传感器112、运动传感器120、接口130以及存储器150例如利用装置100的一个或更多个内部总线系统联接至处理器140。

存储器150包括具有将由处理器140执行的程序代码的程序代码模块160、170、180。在所示示例中，这些程序模块包括图像拍摄模块160、运动检测模块170以及图像处理模块180。

图像拍摄模块160可以实现上述功能，即，通过成像传感器112的像素的不同子集来拍摄一序列子图像。而且，图像拍摄模块160还可以根据测量的噪声电平来实现对曝光时间的上述控制。

运动检测模块170可以例如基于对序列子图像的分析或者基于运动传感器120的输出，来实现检测拍摄场景中的运动的上述功能。

图像处理模块180可以实现将子图像组合成总图像的上述功能。这还可以包括补偿模糊或重影。

要理解，图5所示的结构仅仅是示例性的，并且装置100还可以包括没有例示的其它部件，例如，用于实现智能电话、数字相机或类似装置的已知功能的结构或程序代码模块。这种功能的示例包括通信功能、媒体处理功能等。

如可以看出，如上所述的概念允许有效地拍摄图像数据。具体来说，通过结合顺序利用成像传感器的像素的不同子集来单独控制曝光时间，允许有效地提供具有低噪声、高像素分辨率以及高动态范围的静止图像或视频。

要理解，如上说明的概念易受各种修改。例如，这些概念可以结合各种成像传感器技术应用于各种装置，而不限于CCD或CMOS像素阵列，而且还包括阵列相机、光场相机或立体相机。而且，可以针对成像传感器的各种像素分辨率应用这些概念。此外，按像素的多个子集组织成像传感器的各种方式都可以利用。

Claims (20)

1.一种对场景进行成像的方法，该方法包括：

-通过按像素(114)的多个子集组织的成像传感器(112)来拍摄一序列的多个子图像，像素(114)的所述子集中的每一个都被分配为拍摄所述子图像中的对应子图像；以及

-针对像素(114)的所述子集中的每一个：

-测量所述子集的像素(114)的输出的噪声电平；以及

-根据所测量的噪声电平，控制用于拍摄所述对应子图像的曝光时间。

2.根据权利要求1所述的方法，所述方法包括：

-针对像素(114)的所述子集中的每一个：

-获取所述曝光时间期间像素(114)的输出信号的样本；

-统计处理所获取的样本以评估所述噪声电平和平均输出信号；

-响应于所述噪声电平高于阈值，延长所述曝光时间以获取像素(114)的所述输出信号的其他样本；以及

-响应于所述噪声电平低于所述阈值，结束用于拍摄所述子图像的所述曝光时间。

3.根据权利要求1或2所述的方法，所述方法包括：

将所述子图像组合成总图像。

4.根据权利要求3所述的方法，

其中，所述总图像具有比所述子图像高的像素分辨率。

5.根据权利要求3或4所述的方法，

其中，所述总图像具有比所述子图像高的动态范围。

6.根据权利要求3至5中任一项所述的方法，所述方法包括：

通过分析所述序列的子图像，检测所述成像场景中的运动；以及

基于所述成像场景中的检测到的运动，补偿所述总图像中的模糊。

7.根据权利要求3至6中任一项所述的方法，所述方法包括：

-基于一个或更多个运动传感器(120)，在拍摄所述序列的子图像的同时，检测所述成像传感器(112)的运动；以及

-基于检测到的所述成像传感器(112)的运动，补偿所述总图像中的模糊。

8.根据前述权利要求中任一项所述的方法，

其中，所述成像传感器(112)的成像区域被划分成多个区块，并且

其中，像素(114)的所述子集分别被分配到所述区块中的对应区块。

9.根据权利要求8所述的方法，

其中，各个子集的像素包括所述成像传感器(112)的、位于该子集被分配到的区块中的那些像素(114)。

10.根据权利要求9所述的方法，

其中，各个子集中的像素(114)包括处于所述成像区域的各个其它区块中的至少一个其他像素(114)。

11.一种装置(100)，该装置包括：

至少一个成像传感器(112)，所述至少一个成像传感器按像素(114)的多个子集组织；以及

至少一个处理器(140)，所述至少一个处理器(140)被设置成：

-通过所述成像传感器(112)来拍摄一序列的多个子图像，像素(114)的所述子集中的每一个都被分配为拍摄所述子图像中的对应子图像；以及

-针对像素(114)的所述子集中的每一个：

-测量所述子集的像素(114)的输出的噪声电平；以及

-根据所测量的噪声电平，控制用于拍摄所述对应子图像的曝光时间。

12.根据权利要求11所述的装置(100)，

其中，所述至少一个处理器(140)被设置成，针对像素(114)的所述子集中的每一个：

-获取所述曝光时间期间像素(114)的输出信号的样本；

-统计处理所获取的样本以评估所述噪声电平和平均输出信号；

-响应于所述噪声电平高于阈值，延长所述曝光时间以获取像素(114)的所述输出信号的其他样本；以及

-响应于所述噪声电平低于所述阈值，结束用于拍摄所述子图像的所述曝光时间。

13.根据权利要求11或12所述的装置(100)，

其中，所述至少一个处理器(140)被设置成将所述子图像组合成总图像。

14.根据权利要求13所述的装置(100)，

其中，所述总图像具有比所述子图像高的像素分辨率。

15.根据权利要求13或14所述的装置(100)，

其中，所述总图像具有比所述子图像高的动态范围。

16.根据权利要求13至15中任一项所述的装置(100)，

其中，所述至少一个处理器(140)被设置成：

通过分析所述序列的子图像，检测成像场景中的运动；以及

基于所述成像场景中的检测到的运动，补偿所述总图像中的模糊。

17.根据权利要求13至16中任一项所述的装置(100)，

其中，所述装置(100)还包括一个或更多个运动传感器(120)，并且

其中，所述至少一个处理器(140)被设置成：

-基于一个或更多个运动传感器(120)，在拍摄所述序列的子图像的同时，检测所述成像传感器(112)的运动；以及

-基于检测到的所述成像传感器(112)的运动，补偿所述总图像中的模糊。

18.根据权利要求11至17中任一项所述的装置(100)，

其中，所述成像传感器(112)的成像区域被划分成多个区块，并且

其中，像素(114)的所述子集分别被分配到所述区块中的对应区块。

19.根据权利要求18所述的装置(100)，

其中，各个子集的像素(114)都包括所述成像传感器(112)的、位于该子集被分配到的所述区块中的那些像素(114)。

20.根据权利要求19所述的装置(100)，

其中，各个子集中的像素(114)包括处于所述成像区域的各个其它区块中的至少一个其他像素(114)。