CN112995545B - 多传感器高动态范围成像 - Google Patents

Abstract

本公开涉及多传感器高动态范围成像的方法、装置和计算机程序产品。使用第一图像传感器和第一曝光时间来使用卷帘快门捕获第一图像数据，使得第一图像数据内不同的线在不同第一捕获时间被捕获。使用一个或多个第二图像传感器和一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例。使用卷帘快门来捕获与第一图像数据重叠的两个或更多个第二图像数据实例。第一图像数据的线在每个第二图像数据实例中具有对应的线，并且在不同的第二捕获时间捕获不同的第二图像数据实例中的对应的线。对于第一图像数据中的线，从第二捕获时间最接近第一捕获时间的第二图像数据实例选择在空间上对应的线与第一图像数据中的线合并以生成高动态范围图像。

Description

多传感器高动态范围成像

背景技术

本发明涉及图像传感器，并且更具体地涉及具有图像传感器阵列的成像设备，该图像传感器阵列可以用于产生高动态范围(HDR)图像。

在诸如蜂窝式电话、相机和计算机之类的电子设备中常常使用图像传感器来捕获图像。在典型的布置中，电子设备被提供有单个图像传感器和单个对应的透镜。在特定应用中，诸如当利用大范围的光强度获得场景的静止或视频图像时，可能希望捕获HDR图像。在HDR图像中，能够保留强光和阴影细节，在常规图像中强光和阴影细节可能会被丢失。

常用类型的图像传感器是互补金属氧化物半导体(CMOS)图像传感器。在CMOS传感器中，像素的光电变换元件根据入射光量来执行用于累积电荷的光电变换，并且输出与累积的电荷相对应的电信号。

CMOS传感器典型地具有电子快门功能。电子快门功能通过复位像素的光电变换元件来开始曝光，并且通过读出累积在光电变换元件上的电荷来结束曝光。以这样的方式，因为仅仅通过图像传感器的功能来控制曝光的开始和结束，所以能够准确地控制从低速快门到高速快门的曝光时间。

典型地通过合并相同的场景的短曝光和长曝光、使CMOS传感器适于HDR图像捕获设定，来使HDR工作。有时，能够涉及两个以上曝光。因为由相同的传感器捕获多个曝光，所以在不同的时间捕获曝光，这引起在运动模糊方面的时间问题。

解决该问题的一种方式涉及将两个图像传感器放置得非常接近于彼此(类似于立体相机的设定，尽管如此但传感器之间具有更短距离，这是因为不要求视差)。在此类设定中，一个传感器被配置用于长曝光，并且另一个传感器被配置用于短曝光。然后合并长曝光图像和短曝光图像以产生HDR图像。捕获在时间上是同步的，使得到HDR图像中的合并能够更平滑地工作。

另外的问题是，CMOS传感器通常使用卷帘快门操作(有时常常被称为“焦平面快门”操作)。在卷帘快门操作的情况下，通过顺序地扫描用于每条线的多个二维布置的像素来复位像素上的电荷。然后，在预先确定的曝光时间的流逝之后，对于每个像素顺序地扫描像素以读出累积的电荷并且输出信号。该顺序扫描使得不同的时间点读出传感器的不同的行。因此，当将长曝光图像中的行与短曝光图像中的对应的行合并时，由于在不同的时间点读出行，所以关于运动模糊的问题将仍然出现。出于至少这些原因，需要创建HDR图像的更好的方法。

发明内容

根据第一方面，本发明涉及一种用于高动态范围成像的计算机系统中的方法。该方法包括：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，第一图像数据是使用卷帘快门捕获的，使得第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，两个或更多个第二图像数据实例至少部分地与第一图像数据重叠，第一图像数据的线在每个第二图像数据实例中具有对应的线，不同的第二图像数据实例中的对应的线是在不同的第二捕获时间捕获的；以及

对于第一图像数据中的线，从第二捕获时间最接近第一捕获时间的第二图像数据实例选择对应的线，以与第一图像数据中的该线合并以生成高动态范围图像。

这提供用于HDR成像的改善技术的方式，具体是关于当使用卷帘快门时如何合并长曝光线和短曝光线，使得减少来自HDR的伪像并且获取改善的HDR图像。

根据一个实施例，对于不同的第二图像数据实例，第二曝光时间是不同的。也就是说，特定的短曝光可以非常短并且其他可能略微长一些，这提供从短曝光和长曝光中将哪些线合并到HDR图像中这方面的灵活性。

根据一个实施例，两个或更多个第二图像数据实例是使用两个或更多个第二图像传感器捕获的，其中，第二曝光时间和第二捕获时间中的至少一个在该两个或更多个第二图像传感器之间是不同的。具有其中有多个短曝光传感器的设定能够允许两个传感器例如用于记录其中曝光时间在传感器之间不同的，或其中不同的传感器记录电磁波谱中的不同的波长的图像。在选择将哪些线合并到HDR图像中时，这能够提供甚至进一步的灵活性。

根据一个实施例，由两个或更多个图像传感器捕获的第二图像数据实例至少部分地重叠。也就是说，能够配置短曝光图像的捕获，使得在短曝光图像的捕获之间不存在“间隙”。这使当合并长曝光和短曝光图像时进一步减少如何捕获和读出线之间的时间差成为可能。

根据一个实施例，关于以下项中的一项或多项来确定第一捕获时间和第二捕获时间：线的复位和线的读取。这在确定合并哪些线时允许在如何选择“参考点”方面的灵活性。有时可能有用的是使线的复位作为参考点。其他时间，有时可能有用的是使线的读取作为参考点，并且其他时间，能够使用读取和复位中间的任何特定点。这再次提供从每个曝光中选择被组合到HDR图像中的“最佳”线并且减少图像伪像的灵活性。

根据一个实施例，第一图像传感器和一个或多个第二图像传感器具有不同的线时间。不同的线时间可以是有益的，因为能够以不同的速度读出传感器。也就是说，更多短曝光能够容易地拟合在长曝光内。

根据一个实施例，可以从第二捕获时间最接近第一捕获时间的两个第二图像数据实例选择两条对应的线，以在生成高动态范围图像时与第一图像数据中的该线合并。也就是说，选择能够涉及来自两个或更多个短曝光中的每一个的对应的线。可能存在最接近的短曝光不一定是最佳的用于HDR目的短曝光的情况。在此类场景中，也能够选择来自不同的短曝光图像的对应的线来补偿该缺点并且与最接近的短图像曝光一起使用。

根据一个实施例，能够为所选择的两条对应的线当中的每条所选择的线指配权重，以在高动态范围图像的生成中使用。也就是说，可以选择例如：来自最接近的短曝光的对应的线更“重要”并且与来自在时间上更远的短曝光的对应的线相比应当被指配更大权重。

根据一个实施例，以下项中的至少一项是响应于用户输入而选择的：第一曝光时间、第一捕获时间、第二曝光时间和第二捕获时间。也就是说，用户可以针对在手头上的特定情形来配置用于不同的传感器的曝光时间和捕获时间，使得能够生成可能达到最好的HDR图像。

根据一个实施例，能够对于第一图像数据中的每条线进行来自第二图像数据实例的对应的线的选择。对于第一图像数据中的每条线进行此类选择保证对整体图像作出线的最佳选择，并且因此提供整体图像上的具有高质量的HDR图像。

根据一个实施例，能够接收关于第一图像数据中的感兴趣区域的输入，其中，对于第一图像数据中的与感兴趣区域交叉的每条线，从相同的第二图像数据实例选择对应的线。也就是说，尽管基本规则是选择在时间上被最接近地捕获的线，但该规则不需要被应用于图像中的每条线。更具体地，用户可能对指定不应当存在任何不连续性的图像内的区域感兴趣，因为可能是使用来自不同的第二图像数据实例的线的情况。因此，对于此类区域，从相同的第二图像数据实例选择线，可能更好。能够使用如上所述的时间接近的基本规则来识别用于与指定的区域重叠的第一图像数据中的线的第二图像数据的适当的实例。然后，对于也与指定的区域重叠的第一图像数据中的另一个线，即使碰巧有接近第一捕获时间的捕获时间的第二图像数据的另一个实例，也能够从相同的第二图像数据实例中选择对应的线。使用该方法可以避免或至少显著地减少结果得到的HDR图像中的不连续性。

根据第二方面，本发明涉及一种用于高动态范围成像的系统。系统包括存储器和处理器。存储器包含当由处理器执行时使处理器执行包括以下步骤的方法的指令：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，第一图像数据是使用卷帘快门捕获的，使得第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，两个或更多个第二图像数据实例至少部分地与第一图像数据重叠，第一图像数据的线在每个第二图像数据实例中具有对应的线，不同的第二图像数据实例中的对应的线是在不同的第二捕获时间捕获的；以及

对于第一图像数据中的线，从第二捕获时间最接近第一捕获时间的第二图像数据实例选择对应的线，以与第一图像数据中的该线合并以生成高动态范围图像。

系统优点对应于方法的那些优点并且可以类似地变化。

根据第三方面，本发明涉及一种热感相机，其包括如上所述的用于高动态范围成像的系统。相机的优点对应于系统的那些优点并且可以类似地变化。

根据第四方面，本发明涉及一种用于高动态范围成像的计算机程序。计算机程序包含与以下步骤相对应的指令：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，第一图像数据是使用卷帘快门捕获的，使得第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，两个或更多个第二图像数据实例至少部分地与第一图像数据重叠，第一图像数据的线在每个第二图像数据实例中具有对应的线，不同的第二图像数据实例中的对应的线是在不同的第二捕获时间捕获的；以及

对于第一图像数据中的线，从第二捕获时间最接近第一捕获时间的第二图像数据实例选择对应的线，以与第一图像数据中的该线合并以生成高动态范围图像。

计算机程序涉及对应于方法的那些优点的优点并且可以类似地变化。

在附图和以下说明书中阐述本发明的一个或多个实施例的细节。根据说明书和附图并且根据权利要求，本发明的其他特征和优点将是明显的。

附图说明

图1A和图1B是示出能够实施根据本发明的各个实施例的系统和方法的相机100的示意图。

图2是根据一个实施例描绘选择将被合并到HDR图像中的图像数据的方法的流程图。

图3是根据一个实施例示出随着时间的推移所捕获的长曝光图像和短曝光图像之间的关系的示意图。

各个图中的相同附图标记指示相同的要素。

具体实施方式

如上所述的，关于本发明的各个实施例的一个目标是能够提供用于HDR成像(具体是关于当使用卷帘快门时如何合并长曝光和短曝光线)的改善技术，使得减少运动模糊和其他伪像。总的来说，本发明的各个实施例如下工作。

两个或更多个传感器被极为接近地放置(而并非使用单个图像传感器)来分别捕获长曝光和短曝光图像。传感器之一用于捕获长曝光图像，并且一个或多个其他传感器用于捕获至少部分地与长曝光图像的曝光时间重叠的若干短曝光图像。传感器使用卷帘快门。具有长曝光图像的传感器中的每条线在具有短曝光图像的每一个传感器中具有空间上对应的行。

当已经捕获了图像时，从长曝光和短曝光图像中选择线用于合并到HDR图像中。具体地，对于每个长曝光线，从其中线具有最接近关于长曝光线的捕获时间的捕获时间的短曝光中选择对应的线。在一些实施方式中，能够从不同的短曝光图像中选择一个以上对应的线，如以下将更详细地描述。与常规技术相比较，线的该选择产生较少的运动伪像。使用那些本领域技术人员所熟知的常规技术向生成HDR图像的HDR图像生成器发送所选择的线。

现在将更加详尽地并且参考附图通过示例来描述本发明的各个实施例。图1A和图1B示出其中能够实施本发明的各个实施例的相机100的示意图。能够在图1A和图1B中看出，相机具有通过其入射光通过和到达半透镜104的透镜102。镜104充当光束分离器并且将入射光划分为每个到达传感器的分量。

在图1A中，分别存在两个传感器106和传感器108。在图1B中，分别存在三个传感器：传感器106、传感器108和传感器110。这些传感器中的每一个记录相同的图像。图1A和图1B中示出的传感器是常规CMOS传感器，其使用如上所述的卷帘快门操作。

应当注意到，镜104不一定必须是镜，而是能够是具有将入射光划分为多个分量的能力的任何光学组件，诸如例如棱镜。也应注意，作为使用光束分离器(即，镜、棱镜，等等)的替代，类似于立体相机的设定，可以替换地将两个图像传感器并排地布置为与彼此近距离，尽管如此但传感器之间具有更短的距离，这是因为不要求视差。应当进一步注意到，尽管分别在图1A和图1B中示出仅仅两个和三个传感器，但进行此仅仅是为了说明的目的，并且也可以存在使用较大数量的传感器的实施方式。

优选地，传感器106、传感器108和传感器110具有就分辨率、像素特性，等等而言的类似的属性，以便减少当组合来自两个或更多个传感器的图像时的伪像。然而，这不是要求，并且可能存在传感器106、传感器108和传感器110的一些其他有益属性相比可能的图像和运动伪像具有更多权重的情形。此类设计选择下降落入本领域普通技术人员的能力内。

图2是示出根据一个实施例的、用于选择将要在HDR成像中使用的线的方法200的流程图。在图2中能够看出，方法200开始于分别利用如图1A中所图示的传感器106和传感器108来捕获第一图像数据和第二图像数据，步骤202。典型地，传感器106具有长曝光时间并且传感器108具有短曝光时间，使得由传感器108来捕获多个图像，而传感器106捕获单个图像。应当注意到，不需要长曝光和短曝光分别开始时之间的精确重叠。典型地充足的是——在一个长曝光内存在两个或更多个较短曝光，并且用于这些较短曝光的时间上的精确安排可以变化。

图3提供两个传感器106和传感器108如何分别捕获相同的场景的短曝光和长曝光图像的概念性图示300。在图3的底部是时间线302。在顶部是由传感器106捕获的长曝光L的表示，并且在下面分别是由传感器108捕获的两个短曝光S1和S2的表示。能够在图3中看出，在长曝光L的捕获期间捕获短曝光S1和S2。然而，应当注意到，S1和S2的捕获不需要被包含在L的捕获时间内。例如，可能存在S1的捕获开始于L的捕获开始之前的情形，并且可以存在S2的捕获完成于L的捕获完成之后的情形。

当使用卷帘快门时，在不同的时间点读出传感器的不同的行。在图3中通过水平线304a至304c和306a至306c图示出这一点。例如，对于长曝光L，在行306b之前在之前行304a。对应的情形适用于曝光S1的行304b和306b以及曝光S2的行304c和306c。图3还图示出传感器108通过具有更陡的“斜率”而如何具有与传感器106相比较更短的读出时间。

在图3中还可以看出，长曝光L中的行如何分别具有短曝光S1和S2中的每一个中的对应的行。具体地，在图3中所图示的示例中，长曝光L中的行304a具有短曝光S1中的和短曝光S2中的对应的行304b和304c。长曝光L中的行306a具有短曝光S1中的和短曝光S2中的对应的行306b和306c。

当生成HDR图像时，将长曝光L中的行与来自短曝光S1、S2之一的空间上对应的行合并。现在返回图2，该方法继续对于长曝光L中的每条线选择来自一个或多个短曝光S1和S2的一个或多个对应的线以与长曝光L中的线合并，步骤204。应当以如下方式进行该选择，该方式最大可能地缓解使用卷帘快门的消极效果，例如消除关于由于在不同的时间点读出的行的HDR合并运动伪像的问题。

在一种实施方式中，可通过选择来自在时间上最接近于长曝光L的行被曝光的短曝光S1、S2的对应的行来解决。为了测量该“在时间上的接近”，可以为每个行指配捕获时间，例如，捕获时间可以是位于的复位和读取之间的半途的时间点。例如，在图3中，时间tL1表示用于长曝光L的线304a的半途时间点并且将因此被指定为用于线304a的捕获时间。相应地，时间tS1表示用于短曝光S1的线304b的半途时间点，并且时间tS2表示用于短曝光S2的线304c的半途时间点。因此，tS1和tS2将分别是用于线304b和304c的捕获时间。然而，如本领域技术人员认识到的，该半途时间点仅仅是一个选择，并且也可以考虑其它替换捕获时间，诸如让捕获时间等于读出时间或线的复位和读取之间的任何其他时间点。能够由那些本领域技术人员容易地作出此类设计选择。

能够在图3中看出，对于具有捕获时间tL1的长曝光线304a，S1和S2中的最接近对应的线是具有捕获时间tS1的短曝光S1中的线304b。因此，为了执行HDR，将选择长曝光L中的线304a以与第一短曝光S1中的对应的线304b合并。另一方面，将代替地选择长曝光L中的线306a以与第二短曝光S2的对应的线306c合并。最终，这意味着，能够从短曝光的不同实例中取出像素的不同的行以在构成HDR图像时补偿卷帘快门效应。

再次返回到图2，向HDR图像生成器发送来自不同的曝光的所选择的行，该HDR图像生成器使用那些本领域技术人员所熟知的技术来生成HDR图像，步骤204。这将方法200结束。

应当注意到，在以上示例中，线时间(即，传感器上的两个连续的行的复位之间的时间)对于长曝光传感器106和短曝光传感器108是不同的。具体地，用于长曝光传感器106的线时间比短曝光传感器108的线时间长。预期具有带有此类属性的传感器改善结果并且产生长曝光和短曝光的行之间的更好的时间同步匹配。然而，应当注意到，这对于本发明的工作并不是必要的。甚至当线时间对于所有传感器是相同时，使用该设定仍然存在益处，这是因为传感器捕获精确的或至少几乎精确的相同的场景，并且来自传感器的图像在时间上较接近(与单个传感器用于交替短和长曝光时的常规情况相比较)。

此外，在一些实施方式中，为了减少由于选择用于不同的行的不同的短曝光的不连续性，可以将短曝光混合。典型地，当混合出现时，能够为线指配不同的权重。例如，能够为在时间上最接近并且通常如上所述选择的线指配比来自在时间上更远的不同的短曝光的对应的线高的权重。例如，再次参考图2，并非如在典型的实施例中进行的那样选择线304b来与线304a合并，可以证明有用的是，不仅仅选择线304b而且也选择线304c来与线304a合并以便减少结果得到的HDR图像中的不连续性。然而，因为关于线304a，线304c与线304b相比较在时间上位于更远，所以对线304c给予较小权重。例如，能够创建混合线，其中每个像素值是线304b中的像素值的80％和线304c中的像素值的20％的组合。然后能够将该混合线与长曝光线304a一起发送给HDR图像生成器。本领域技术人员能够预想许多变化。

还应注意，尽管以上示例参考使用两个诸如图1A在中示出一个之类的传感器的设定，但可以存在关于使用更多传感器的甚至更多优点(诸如图1B中示出的设定)。在该配置中，传感器108和传感器110能够两者都是短曝光传感器，并且能够被定时，使得传感器108的曝光出现在传感器110的曝光中间，或来自传感器108和传感器110的短曝光甚至部分重叠。这提供从其能够选择“最佳匹配”的较大数量的线(在各种配置中能够被加权和混合的较大数量的线)。如何精确地进行此将取决于在手头上的特定情形并且被考虑为能够由本领域普通技术人员确定的设计选择的问题。

在一些实施方式中，诸如传感器110之类的传感器之一例如能够具有与传感器106和传感器108相比较不同的曝光时间。例如，可以存在短曝光传感器108、中曝光传感器110，以及长曝光传感器106。这能够产生额外的好处，诸如：与仅仅合并长曝光和短曝光时可能的情况相比较，允许捕获遍及较宽范围的亮度级别的具有更好质量的图像。

本领域技术人员将理解，本发明的方面可以被体现为系统、方法或计算机程序产品。因此，本发明的方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码，等等)或者组合软件和硬件方面的实施例的形式，其全部可以通常在本文称为“电路、”“模块”或者“系统”。此外，本发明的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其具有体现在其上的计算机可读的程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读的存储介质例如可以是但不限于电子、磁的、光学的、电磁的、红外线，或半导体系统、装置，或设备，或上文的任何适当的组合。计算机可读存储介质的更多特定示例(非穷尽性列表)将包括以下：具有一个或多个布线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程序只读存储器(EPROM或闪速存储器)、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或上文的任何适当的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储程序以供指令执行系统、装置，或设备使用或与其有关的任何有形介质。

计算机可读信号介质可以包括例如基带中的作为载波的一部分的具有体现在其中的计算机可读的程序代码的传播的数据信号。此类传播的信号可以采取任何各种形成，包括但不限于电磁、光，或其任何适当的组合。可以是不是计算机可读存储介质并且能够传送、传播，或输送供指令执行系统、装置，或设备使用或结合其使用的程序的任何计算机介质。

可以使用任何适当的介质来传送体现在计算机可读介质上的程序代码，包括但不限于无线、有线线路、光纤电缆、RF，等等，或上文的任何适当的组合。可以以一个或多个编程语言的任何组合来编写用于执行本发明的方面的操作的计算机程序代码，包括诸如Java、Smalltalk、C++，等等的面向对象的程序设计语言，以及诸如“C”编程语言之类的常规程序化编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户的计算机上、部分地在用户的计算机上，部分地在用户的计算机上和部分地在远程计算机上或者完全地在远程计算机或者服务器上执行。在后面的场景中，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或可以(例如，使用因特网服务提供商通过因特网)对外部计算机作出连接。

参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图对本发明的方面进行描述。能够通过计算机程序指令来实施流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合。可以向通用计算机、专用计算机或其它可编程数据处理装置的处理器提供这些计算机程序指令，以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或框图块中指定的功能/动作的装置。

这些计算机程序指令也可以被存储在计算机可读介质中，该计算机可读介质能够引导计算机、其它可编程数据处理装置，或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实施流程和/或框图的框(一个或多个)中指定的功能/动作的指令的制造品。

计算机程序指令也可以被加载到计算机、其它可编程数据处理装置，或其他设备上，以使得在计算机、其它可编程装置或其他设备上执行一系列操作步骤，以产生计算机实施的进程，使得在计算机或其它可编程装置上执行的指令提供用于实施在流程和/或框图的框(一个或多个)中指定的功能/动作的处理。

在图中的流程图和框图图示出根据本发明的各个实施例的系统、方法和计算机程序产品的可能的实施方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示模块、指令的片段或部分，其包括实现用于指定的逻辑功能的一个或多个可执行的指令。在一些替换实施方式中，框中所表示的功能可以与在图中表示的顺序不同地出现。例如，取决于所涉及的功能，实际上、可以、基本上并行地、执行连续地示出的两个框，或者有时可以逆序地执行框。也请注意，能够通过执行指定的功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合。

已经为了说明呈现了本发明的各个实施例的描述，但是该描述并不意图是穷尽性的或者受限于所公开的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化将对本领域技术人员显而易见。例如，在本文描述的技术不依赖于使用彩色传感器还是黑白传感器，并且也可以被应用于红外(IR)光。也可以存在如下实施例，其中不同的传感器被置于捕获相同的场景的不同的相机中，而不是具有单个相机内的所有传感器。然而，此类设定可以要求用于相机的更多实际空间，并且也要求关于控制相机的更多复杂度。因此，尽管此类设定在技术上完全可能，但由于空间和成本需求，其可能较不可行。因此，那些本领域技术人员能够预想落入在权利要求的范围内的许多其他变化。

选择了在本文使用的术语来最佳解释实施例的原理、在市场中发现的对技术的实际应用或技术提高，或使得本领域普通技术人员能够理解在本文公开的实施例。

Claims (15)

1.一种用于高动态范围成像的方法，包括：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，所述第一图像数据是使用卷帘快门捕获的，使得所述第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比所述第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：所述两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，所述两个或更多个第二图像数据实例至少部分地与所述第一图像数据重叠，所述第一图像数据的线在每个第二图像数据实例中具有在空间上对应的线，不同的第二图像数据实例中的所述在空间上对应的线是在不同的第二捕获时间捕获的；以及

对于所述第一图像数据中的线，从第二捕获时间最接近所述第一捕获时间的第二图像数据实例选择所述在空间上对应的线，以与所述第一图像数据中的该线合并以生成高动态范围图像。

2.根据权利要求1所述的方法，其中，对于不同的第二图像数据实例，所述第二曝光时间是不同的。

3.根据权利要求1所述的方法，其中，所述两个或更多个第二图像数据实例是使用两个或更多个第二图像传感器捕获的，其中，所述第二曝光时间和所述第二捕获时间中的至少一个在所述两个或更多个第二图像传感器之间是不同的。

4.根据权利要求3所述的方法，其中，由所述两个或更多个图像传感器捕获的第二图像数据实例至少部分地重叠。

5.根据权利要求1所述的方法，其中，关于以下项中的一项或多项来确定所述第一捕获时间和所述第二捕获时间：线的复位和线的读取。

6.根据权利要求1所述的方法，其中，所述第一图像传感器和所述一个或多个第二图像传感器具有不同的线时间。

7.根据权利要求3所述的方法，其中，所述第二图像传感器具有不同的线时间。

8.根据权利要求1所述的方法，其中，选择的步骤包括：对于所述第一图像数据中的线，从第二捕获时间最接近所述第一捕获时间的两个第二图像数据实例选择两条所述在空间上对应的线，其中所选择的两条线在生成高动态范围图像时都与所述第一图像数据中的该线合并。

9.根据权利要求8所述的方法，进一步包括：为所选择的两条在空间上对应的线当中的每条所选择的线指配权重，以在所述高动态范围图像的所述生成中使用。

10.根据权利要求1所述的方法，其中，以下项中的至少一项是响应于用户输入而选择的：所述第一曝光时间、所述第一捕获时间、所述第二曝光时间和所述第二捕获时间。

11.根据权利要求1所述的方法，进一步包括：对于所述第一图像数据中的每条线，从第二捕获时间最接近所述第一捕获时间的第二图像数据实例选择所述在空间上对应的线，以与所述第一图像数据中的该线合并以生成高动态范围图像。

12.根据权利要求1所述的方法，进一步包括：接收关于所述第一图像数据中的感兴趣区域的输入，其中，对于所述第一图像数据中的与所述感兴趣区域交叉的每条线，从相同的第二图像数据实例选择在空间上对应的线。

13.一种用于高动态范围成像的系统，包括：

存储器；以及

处理器，

其中，所述存储器包含当由所述处理器执行时使所述处理器执行包括以下步骤的方法的指令：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，所述第一图像数据是使用卷帘快门捕获的，使得所述第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比所述第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：所述两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，所述两个或更多个第二图像数据实例至少部分地与所述第一图像数据重叠，所述第一图像数据的线在每个第二图像数据实例中具有在空间上对应的线，不同的第二图像数据实例中的所述在空间上对应的线是在不同的第二捕获时间捕获的；以及

对于所述第一图像数据中的线，从第二捕获时间最接近所述第一捕获时间的第二图像数据实例选择所述在空间上对应的线，以与所述第一图像数据中的该线合并以生成高动态范围图像。

14.一种相机，包括用于高动态范围成像的系统，包括：

存储器；以及

处理器，

其中，所述存储器包含指令，所述指令在由所述处理器执行时使所述处理器执行包括以下步骤的方法：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，所述第一图像数据是使用卷帘快门捕获的，使得所述第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比所述第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：所述两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，所述两个或更多个第二图像数据实例至少部分地与所述第一图像数据重叠，所述第一图像数据的线在每个第二图像数据实例中具有在空间上对应的线，不同的第二图像数据实例中的所述在空间上对应的线是在不同的第二捕获时间捕获的；以及

对于所述第一图像数据中的线，从第二捕获时间最接近所述第一捕获时间的第二图像数据实例选择所述在空间上对应的线，以与所述第一图像数据中的该线合并以生成高动态范围图像。

15.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质体现有程序指令，所述程序指令由处理器可执行以执行包括以下步骤的方法：

使用第一图像传感器和第一曝光时间来捕获第一图像数据，其中，所述第一图像数据是使用卷帘快门捕获的，使得所述第一图像数据内的不同的线是在不同的第一捕获时间捕获的；

使用一个或多个第二图像传感器和比所述第一曝光时间短的一个或多个第二曝光时间来捕获两个或更多个第二图像数据实例，其中：所述两个或更多个第二图像数据实例是使用卷帘快门捕获的，使得每个第二图像数据实例内的不同的线是在不同的第二捕获时间捕获的，所述两个或更多个第二图像数据实例至少部分地与所述第一图像数据重叠，所述第一图像数据的线在每个第二图像数据实例中具有在空间上对应的线，不同的第二图像数据实例中的所述在空间上对应的线是在不同的第二捕获时间捕获的；以及

对于所述第一图像数据中的线，从第二捕获时间最接近所述第一捕获时间的第二图像数据实例选择所述在空间上对应的线，以与所述第一图像数据中的该线合并以生成高动态范围图像。

Images