CN114009002A - 获得数字图像的方法 - Google Patents

Abstract

本发明描述了一种获得场景（D）的数字图像（M_opt）的方法，该方法包括以下步骤：驱动第一光源（11）以生成第一光脉冲（F_RGB）来照亮场景（D），该第一光脉冲（F_RGB）是在第一持续时间（t_RGB）内延伸的可见光谱光脉冲；布置图像传感器（S、S1）记录由第一光脉冲（F_RGB）照亮的场景（D）的可见光谱图像（M_RGB）；驱动第二光源（12）以在第一光脉冲（F_RGB）期间生成第二光脉冲（F_mono）来照亮场景（D），使得第二光脉冲（F_mono）的持续时间（t_mono）至多为第一光脉冲（F_RGB）的持续时间（t_RGB）的10%，并且使得第二光脉冲（F_mono）的强度（N_mono）超过第一光脉冲（F_RGB）的强度（N_RGB）至少100%；布置图像传感器（S、S2、S_IR）记录由第二光脉冲（F_mono）照亮的场景（D）的单色图像（M_mono）；以及对可见光谱图像（M_RGB）和单色图像（M_mono）执行图像处理步骤，以获得场景（D）的数字图像（M_opt）。

Description

获得数字图像的方法

技术领域

本发明描述了一种获得数字图像的方法、成像布置、和包括这种成像组件的手持设备。

背景技术

数字图像传感器阵列的制造已经变得非常经济，其结果是目前由消费者使用的大多数相机都是数字相机。通常在诸如智能电话的移动设备中并入至少一个数字相机。具有数字成像功能的手持设备可以包括具有图像传感器的成像组件和用于照亮场景的具有一个或多个发光二极管（LED）的闪光模块。当今的CMOS图像传感器的灵敏度使得可以在白天或光线充足的条件下捕获非常清晰的图像，并且通常将这样的图像传感器与成像布置中的闪光模块相组合。

闪光模块的可见光谱LED一般基于(Al)InGaN管芯，其中通过在管芯顶部堆叠适当的磷光体，光功率被转换成宽光谱可见光。这样的(Al)InGaN管芯可以被加电到3.0 – 4.0A/mm²的电流密度。当与CMOS图像传感器组合用作闪光时，只要对象足够接近相机和/或静止，就有可能获得令人满意的图像。

为了在光线昏暗的场景中捕获清晰的图像，尤其是当人或物体在成像序列期间移动通过场景时，传统数字相机的闪光将需要在更短的时间内生成更高功率的突发脉冲。用于生成相机闪光的可见光一般来自“白色”(Al)InGaN LED，它实际上包括蓝色LED以及用于波长转换的一个或多个磷光体层。然而，由于俄歇效应，一般不可能在减少脉冲时间的同时进一步增加来自这样的白色(Al)InGaN LED的光脉冲的功率。这是因为俄歇效应限制了蓝色LED的光子生成和总光功率输出。当LED电流增加到超过某个阈值时，光输出甚至可能下降。作为结果，手持设备的数字相机可能不能够在昏暗或光线不足的条件下捕获移动物体的清晰图像。代替地，图像可以是模糊且不令人满意的。

因此，本发明的目的是提供一种改进由这样的成像布置捕获的图像的质量的方法。

发明内容

本发明的目的通过权利要求1的获得场景的数字图像的方法并通过权利要求6的成像布置来实现。根据本发明，获得场景的数字图像的方法包括以下步骤：驱动第一光源以生成第一光脉冲来照亮场景，该第一光脉冲是在第一持续时间上延伸的可见光谱光脉冲；操作图像传感器以记录由第一光脉冲照亮的场景的可见光谱图像；在第一光脉冲期间驱动第二光源以生成第二光脉冲来照亮场景，使得第二光脉冲的持续时间至多为第一光脉冲的持续时间的10%，并且使得第二光脉冲的强度超过第一光脉冲的强度至少100%；操作图像传感器以记录由第二光脉冲照亮的场景的单色图像；以及对至少一个这样的可见光谱图像和至少一个这样的单色图像执行图像处理步骤，以获得场景的数字图像。

如上所提到，当场景（要成像的区域）的元素在运动时，大多数数字相机不能够在黑暗或光线不足的条件下捕获高质量的图像。示例可能是人移动通过场景、人移动她的头、打手势等。本发明方法的优点是，当对象在运动时，使得有可能在昏暗或光线不足的条件下获得更好质量的图像。所得到的场景图像将具有较少的模糊，使得场景被渲染到更高的清晰度级别。本发明方法通过本质上捕获两种图像——即一个或多个全色或可见光谱图像，以及一个或多个单色图像——来实现这一点。通过使用覆盖图像传感器积分时间或曝光时间的可见光脉冲来照亮场景，以通常的方式获得可见光谱图像。单色图像是通过使用高强度光的脉冲在相对短的持续时间内照亮场景而捕获的。这个第二光脉冲在可见光谱光脉冲期间生成，并且其持续时间显著短于可见光谱光脉冲持续时间。第二光脉冲本质上执行“运动冻结”功能，并允许捕获相对清晰的单色图像。同时，使用相对长的可见光谱闪光来捕获“较慢”的可见光谱或RGB图像。来自一个或多个长脉冲RGB图像的彩色信息可以与来自一个或多个短脉冲图像的单色信息相组合，以获得其中运动模糊将显著减少或甚至消除的合成图像。已知的图像处理技术可以用于将正确的颜色分配给与RGB图像中的运动模糊相关联的任何图像区域。

根据本发明，成像布置包括：用于生成第一光脉冲的第一光源，该第一光源包括可见光谱光源；用于生成第二光脉冲的第二光源，该第二光源包括可见光谱光源或红外光谱光源；驱动器，被配置为在第一持续时间内驱动第一光源生成第一光脉冲，并且在第二持续时间内驱动第二光源生成第二光脉冲，该第二持续时间至多为第一光脉冲持续时间的10%，并且使得第二光脉冲的强度超过第一光脉冲的强度至少100%；图像传感器，被布置成记录由第一光脉冲照亮的场景的可见光谱图像；图像传感器，被布置成记录由第二光脉冲照亮的场景的单色图像；和图像处理单元，被实现为组合来自可见光谱图像和单色图像的信息以获得场景的数字图像。

本发明还描述了一种移动设备，其包括本发明成像布置的实施例，并且优选地实现为手持设备、例如实现为智能电话。

从属权利要求和以下描述公开了本发明的特别有利的实施例和特征。实施例的特征可以适当地组合。在一个权利要求类别的上下文中描述的特征可以同样应用于另一个权利要求类别。

在下文中，但不以任何方式限制本发明，可以假设图像传感器是在消费电子设备中广泛使用的类型的CMOS图像传感器。本发明的成像布置可以使用一个图像传感器，或者两个图像传感器的组合，并且在每种情况下将能够捕获场景的全色图像、以及单色图像，如将在下面解释的。出于讨论的目的，将假设成像序列发生在光线昏暗的环境中，例如黄昏或夜间的室外场景，或者光线不足的房间中的室内场景。在这样的条件下，可见光谱图像传感器的曝光时间或积分时间通常自动延长，以确保图像中合理的信噪比（SNR）。然而，如果对象正在移动，则较长的图像传感器积分时间一般将导致图像模糊。提出本发明的成像布置和方法来克服这个问题。

可见光谱光源可以以任何合适的方式实现，并且可以包括具有合适磷光体涂层的一个或多个(Al)InGaN LED管芯，以获得如引言中所解释的白光输出。可见光谱光源的发射波长优选与图像传感器的滤色器阵列或滤色器马赛克相匹配。

第二光源也可以是可见光谱光源，但是被实现为使得它可以在非常短暂的持续时间内被过驱动以获得短的、高强度的光脉冲，该光脉冲可以用于获得“运动冻结”图像。在本发明的特别优选的实施例中，第二光源在红外范围中发射。这样的实施例基于这样的洞察：红外半导体发射器（例如(Al)GaAs发射器）可以承受高电流密度而不遭受光输出的降低，尤其是在较短的脉冲长度下。本发明方法优选使用这样的高功率红外闪光和红外敏感图像传感器来记录场景的“红外单色”图像。如本文所使用的术语“红外”可以假设为是指近红外范围中的波长，即大约700 nm到1000 nm。短红外脉冲期间在运动的任何物体将在红外单色图像中被非常清晰地捕获。在下文中，在不以任何方式限制本发明的情况下，可以假设第二光源是这样的红外光谱光源。优选地，这样的红外光谱光源包括一个或多个合适的红外发射半导体设备。在本发明的特别优选的实施例中，红外光谱光源包括一个或多个红外发射LED或垂直腔面发射激光（VCSEL）二极管。

驱动器可以激活第一光源以生成具有略长于图像传感器积分时间的持续时间的脉冲。在光线昏暗的条件下，场景中的任何移动对象在所得到的可见光图像中都可能显著模糊。在本发明方法中，在第一光脉冲期间以显著更高的强度和在显著更短的持续时间内生成附加的第二光脉冲。由于红外光源仅需要短暂地照亮场景（以执行运动冻结），因此红外光谱光脉冲的持续时间至多为可见光谱光脉冲的持续时间的10%、更优选至多为2%，并且因此也仅是图像传感器的积分时间的对应部分。

例如，对于具有100 ms的积分时间的图像传感器，由一个或多个白光LED生成的RGB脉冲可以持续200 ms，而由一个或多个红外VCSEL生成的运动冻结脉冲可以持续仅5ms，并且运动冻结脉冲的功率可以超过RGB脉冲的功率两倍。在另一个示例中，运动冻结脉冲的功率可以超过RGB脉冲的功率四倍，并且持续甚至更短的持续时间，诸如仅0.2 ms。

由第一光源生成的可见光谱光脉冲在下文中可以被称为“RGB脉冲”、“白光闪光”或“主闪光”，而由第二光源发射的光脉冲可以被称为“单色闪光”或“运动冻结闪光”。由于第二光源优选为红外光源，因此这个第二光脉冲在下文中也可以称为“红外闪光”。

在本发明的优选的实施例中，本发明的成像布置仅包括一个图像传感器，提供为四色阵列。这样的单个图像传感器包括在可见光谱范围中敏感的传感器像素，并且还包括在红外光谱范围中敏感的传感器像素。这应当理解为意味着图像传感器包括红外敏感、红色敏感、绿色敏感、和蓝色敏感像素的阵列。一般地，绿色像素与红色或蓝色之比大约为2:1，即在像素阵列中，绿色敏感像素一般是红色或蓝色像素的大约两倍那么多。优选地，红外敏感像素包括阵列总数的大约25%，并且以合适的分布布置在红色、绿色、和蓝色像素之间。在这样的实施例中，图像传感器设置有合适的滤光器布置，例如通过将微小滤光器沉积到像素阵列上形成的滤色器阵列（也称为Bayer滤光器马赛克或滤色器马赛克）。

在本发明的替代优选的实施例中，成像布置包括专用彩色传感器（“RGB传感器”）和单独的单色传感器（“红外传感器”）。RGB传感器仅包括在可见光谱范围中敏感的传感器像素，并且可以包括如上面所描述的RGB滤色器阵列。单独的红外传感器可以仅包括在红外光谱范围中敏感的传感器像素。例如，红外传感器可以是通常在夜视相机中使用的类型的CMOS传感器（基于硅）、部分增强传感器、专用的IR敏感InGaAs传感器等，并且可以设置有对红外光谱中的波长至少部分透射的滤光器。

在进一步优选的实施例中，其中成像布置包括两个图像传感器，例如在也具有立体成像能力的设备中，每个图像传感器在可见光谱范围中可以是敏感的。为了获得红外图像，图像传感器之一设置有合适的滤光器，该滤光器也部分地通过红外波长，例如可见和红外波长之间的陷波滤光器。通过在可见和红外波长之间添加陷波滤光器，以其它方式较宽的滤色器依赖光谱变窄，以排除照亮脉冲中不存在的IR波长，使得相关变得更容易。这在相机灵敏度将以其它方式从可见范围延伸到红外范围中的情况下可以是有益的，这意味着例如两个图像传感器的红色滤光器灵敏度范围将不成比例地宽。利用这样的陷波滤光器，专门响应于IR光源的IR波长是可能的。

如上面所解释的，成像序列导致两种类型的图像，即一个或多个RGB图像以及一个或多个红外图像。RGB图像为场景提供彩色信息，但是将示出在相对长的主闪光期间在运动的任何对象的运动模糊。红外图像提供了场景的单色但相对清晰的运动冻结快照。彩色图像的每个图像像素包括红色分量、绿色分量、和蓝色分量（统称为像素的RGB值）。为了获得没有运动模糊的令人满意的图像，本发明方法将彩色图像中提供的信息与由单色图像提供的信息相组合。为此，在第一步骤中处理图像亮度信息，其中红色、蓝色、和绿色分量可以通过三种颜色的加权和被组合成“Y分量”，从而导致经校正的“RGB-Y图像”。然后，在第二步骤中例如通过应用边缘检测功能对RGB图像以及IR图像二者执行图像处理，以检测运动模糊的区。在第三步骤中，对于包含运动模糊的RGB-Y图像的任何区，图像像素的Y信息被红外图像中对应像素的红外值“校正”。在第四步骤中，RGB-Y图像的运动模糊区域中的像素颜色然后被重新创建。

技术人员将熟悉必要的图像处理技术，诸如颜色减法和插值，并且这些步骤不需要在这里详细解释。

在本发明的特别优选的实施例中，通过组合或插值来自一系列RGB图像的信息来获得RGB图像。为此，收集一系列RGB图像。对于每个RGB图像，场景由可见光谱光脉冲照亮。利用这种方法，各种改进是可能的。例如，当从运动模糊区域重建背景区域时，获得关于要使用的正确背景颜色的更准确的信息是可能的。改进图像中移动物体中的任何运动模糊区域的重建也是可能的。具有一系列的RGB图像允许选择最不模糊的图像作为图像优化的起点使用。从图像的序列中，确定任何移动物体的轨迹也是可能的，并且由于关于移动物体的前缘的模糊分布不同于关于其后缘的模糊分布，因此可以改进运动模糊区域的编辑。

当然，本发明的成像布置也可以在正常日光或明亮光线条件期间使用，在该情况下，控制器可以检测到照明条件是令人满意的，并且可以抑制红外脉冲的生成和上面所描述的图像处理步骤。

从以下结合附图考虑的详细描述中，本发明的其它目的和特征将变得清楚。然而，将要理解，附图仅仅为了说明的目的而设计，并且不作为对本发明的限制的定义。

附图说明

图1是图示本发明的原理的简化框图；

图2示出了在本发明方法期间生成的主闪光和运动冻结闪光；

图3示出了可见光谱半导体光源和红外发射半导体光源的强度相对于电流密度的示例性曲线；

图4 – 图6各自示出了本发明成像布置的实施例；

图7示出了灵敏度峰值相对于波长的示例性集合。

在附图中，类似的数字始终指代类似的物体。图解中的物体不一定按比例绘画。

具体实施方式

图1是具有移动对象B的光线不足场景D的简化表示，并且使用本发明方法获得了两个图像M_RGB、M_mono。第一图像是在可见光谱光脉冲期间获得的彩色图像M_RGB。这个彩色图像M_RGB将记录移动物体B的模糊变体B_blur，因为RGB传感器和可见光谱闪光被实现为按需增加积分时间（曝光时间）来获得足够的信息。在本发明方法中，在显著较短的光脉冲期间获得第二单色图像M_mono。这种单色或“运动冻结”图像M_mono本质上是一种单色快照，它缺乏彩色信息，但它更善于捕获任何移动物体的轮廓或形状。在这个示例中，移动通过场景D的身体B在红外图像M_mono中被捕获为相对清晰的形状B_mf。

第二光源可以实现为可见光谱LED，其可以在短暂时段内被过驱动，即在非常短的时间内提供高强度光脉冲。然而，在此示例性实施例中，可以假设第二光源12是红外发射光源，并且“单色”光脉冲包括红外范围中的波长。

在图像处理步骤140中，彩色图像M_RGB的图像像素的RGB值通过合适的亮度因子来调整，以改进图像信噪比。该算法包括若干主要步骤：包括使用来自单色图像M_mono的信息来标识彩色图像中的模糊物体B_blur（为了明确起见，仅示出了一个示例性的模糊物体），对该图像区域B_blur中的像素执行亮度校正，以及在任何经校正的图像区域中执行颜色调整。

最初的步骤可能是考虑图像的亮度。每个图像像素X具有红色（R_X）、绿色（G_X）和蓝色（B_X）值。在一种方法中，“亮度图像”可以简单地包括RGB图像的像素的G_X值。替代地，彩色图像M_RGB的每个图像像素X的红色、绿色、和蓝色值可以调整如下

其中Y_X是该像素的亮度的“灰度值”，并使用以下等式计算：

对每个图像像素的这种调整的结果是上面所描述的单色校正亮度图像（也称为“RGB-Y图像”或“G图像”）。这些调整可以是有益的，尤其是在仅使用具有IR陷波滤光器的单个图像传感器的实施例的情况下。在这样的实施例中，红色、绿色、和蓝色传感器像素还将——在很小程度上——整合到达传感器的红外光。对于彩色再现，可以使用来自IR图像的信息来校正红色、绿色、和蓝色分量。在上面的等式(1)和(3)中，通过减去IR信号来执行这样的校正。

然后使用模式识别或边缘检测技术来分析亮度图像和IR图像。在亮度图像以及IR图像M_mono中标识边缘的情况下，在RGB图像M_RGB的对应区域中不需要校正。在亮度图像中边缘模糊但IR图像中边缘清晰的情况下，将使用来自IR图像M_mono的信息校正RGB图像M_RGB。因此，等式(2)的灰度值Y针对每个像素进一步调整如下

其中α是像素依赖的匹配参数，β是用于校正红外光与可见光相比的不同反射率的次级匹配因子，并且IR_X是运动冻结图像M_mono中的适当像素值。对于图像的非模糊区域，匹配参数α将为1.0，并且在运动模糊区域中，匹配参数α可以低至0.0。在替代的方法中，匹配参数α可以在0.5和0.0之间变化，以使用完整图像的IR信息，如果例如噪声条件使得这更优选的话。

对于颜色重建，对于任何非模糊图像区域，来自RGB图像M_RGB的信息将保持不变，即对于非模糊区域中的每个像素，α = 1.0（参见下面的等式(6) - (8)）。对于运动模糊区域B_blur，可以应用若干图像处理技术。例如，如记录在RGB图像M_RGB中的移动物体的大小与它在IR图像M_mono中的大小相比之差将给出移动的速度和方向的指示，并由此给出移动物体B和背景之间的“混合比”的指示。对于跨场景D移动的物体B，运动模糊区域B_blur中的颜色本质上是物体颜色和背景颜色的混合，并且当物体B快速移动时，更多的背景被“混合进来”。相似地，如果物体B朝向相机移动，则闪光将变得更加相关，并且将比背景颜色更突出物体颜色。图像的模糊区中的任何像素X的颜色可以从相邻背景像素（即毗邻模糊图像区域的背景像素）的RGB值R_BG、G_BG、B_BG重建，并且移动物体B的图像区域可以被分配模糊区域的颜色，被校正用于混合进来合适的背景颜色。对于模糊物体B_blur的图像像素，优选地，在对应于在“公共”区域R中标识的移动物体B的区域内、以及在实际上属于背景的区域B_blur中重建颜色。

朝向或远离相机的运动可以通过观察物体的轨迹或路径上的大小和亮度改变来标识，例如，如果它朝向相机移动，则其亮度将增加。还可以执行物体识别，以帮助为任何经校正的图像区域分配逼真的颜色。

在物体内，即在IR运动冻结图像中检测到的形状B_mf的边缘内：

术语γ表达移动物体和背景之间的上面提到的混合比。在物体之外的图像的任何模糊区域中，这样的插值/外推的RGB值也可以用于重建背景颜色。运动模糊区域B_blur中（以及物体的侧面）的像素的背景颜色可以被假设为与运动模糊区域B_blur之外的毗邻像素的颜色相同。这个简单的假设可能足够，或者可以包括处理步骤来调整这样的像素颜色，以考虑背景中的任何变型。优化图像M_opt的所得到的像素值是等式(6) - (8)的集合。

因此，优化图像M_opt将以令人满意的清晰度和颜色示出物体B_OK，并且将包括已经被“编辑”或校正的（从如在彩色图像M_RGB中示出的运动模糊B_blur区域导出的）图像区域R_edit，例如以重建背景。

优化背景的替代方法是将来自由用户实行实际拍照事件之前或之后拍摄的图像的信息组合起来。这样的技术已经在智能电话中使用以改进图像质量。

一般而言，在运动冻结图像中，成像物体的形式可以稍微拉长，使得最终图像M_opt中物体的形状也可以稍微拉长。如果期望，可以在图像序列上应用附加的处理步骤，以确定从中可以推断出物体的“真实”形状的物体轨迹和速度。

在使用被优化用于成像光线充足的场景的RGB传感器和可见光谱闪光F_RGB的现有技术的成像布置中，光线昏暗的场景中的移动物体将导致诸如彩色图像M_RGB的低质量图像，在该低质量图像中移动物体B被成像为扭曲和模糊的形状B_blur。

图2是主闪光F_RGB和运动冻结闪光F_mono的光功率（Y轴，以[W]为单位）对时间（X轴，以毫秒为单位）的图表，所述主闪光F_RGB和运动冻结闪光F_mono在使用本发明成像布置的实施例的成像序列中生成，并用于捕获图1中所描述的图像M_RGB、M_mono。在此示例性实施例中，主闪光F_RGB在相对长的持续时间t_RGB内延伸，在至少相关的图像传感器积分时间t_int内延伸，使得图像传感器可以记录入射光以生成数字图像。运动冻结闪光F_mono仅在非常短的时间t_mono内生成，但是具有显著更高的光功率。在实践中，积分时间t_int可能短于闪光持续时间t_RGB。在滚动快门应用中，持续时间t_RGB可能是帧长度的两倍（不一定与传感器积分时间相同）。

图3是可见光谱半导体光源（曲线110）和红外发射半导体光源（曲线120）的光功率（Y轴，以[W]为单位）对电流密度（X轴，以[A/mm²]为单位）的图表。该图解示出，蓝色LED（充当可见光LED设备的泵）的光输出在高电流密度下饱和，即光输出不能增加超过某个上限。相比之下，红外发射半导体光源的光输出在更高得多的电流密度下饱和。这使得有可能生成图2的显著更高的运动冻结闪光。

图4示出了并入智能电话4中的本发明成像布置1的实施例。这里，成像布置1包括单个相机C，并且因此也包括单个图像传感器S。传感器S以简化的方式通过其传感器像素P_R、P_G、P_B、P_IR的示例性布置来表示，如在图解的侧面所指示的。在此实施例中，图像传感器S是四通道传感器，包括红色敏感传感器像素P_R、绿色敏感传感器像素P_G、蓝色敏感传感器像素P_B、以及还有红外敏感传感器像素P_IR。这里，绿色敏感传感器像素包括总数的大约50%，红外敏感传感器像素包括总数的大约25%；而红色敏感和蓝色敏感传感器像素各自包括大约12.5%。

图像传感器配备有滤光器，例如通过在图像传感器管芯的像素上沉积四通道彩色滤光器马赛克。用于要响应于IR波长的像素的IR滤光器可以通过将红色、绿色、和蓝色滤光层沉积到那些像素P_IR上来形成。

智能电话4还包括白色LED光源11和红外光源12。为了捕获彩色图像M_RGB，驱动器13使白色LED光源11生成可见光谱光脉冲F_RGB（主闪光），如图2中所解释的。在传感器积分时间期间，从场景反射的可见光到达传感器S并抵达RGB传感器像素P_R、P_G、P_B。红外敏感传感器像素P_IR将不受从场景反射的可见光的影响。

为了捕获运动冻结图像M_mono，驱动器13使红外光源12生成红外光谱光脉冲F_mono（运动冻结闪光），如图2中所解释的。从场景反射的红外光到达传感器S并抵达红外敏感传感器像素P_IR。因为RGB传感器像素P_R、P_G、P_B也将检测到红外光，所以这可以通过取RGB信号和IR信号之间的差来校正。

彩色图像M_RGB和运动冻结图像M_mono然后被转发到图像处理单元14，该图像处理单元14将使用由图像M_RGB、M_mono提供的信息来获得图1中描述的优化图像M_opt，即没有运动模糊或者至少具有减少的运动模糊的图像。

图5示出了再次并入智能电话4中的本发明成像布置1的另一个实施例。这里，成像布置1包括两个相机C1、C2，并且因此也包括两个图像传感器S1、S2。如图4中所描述的，智能电话4还包括白色LED光源11和红外光源12。这里，每个传感器S1、S2也以简化的方式通过其传感器像素P_R、P_G、P_B的示例性布置来表示，如在图解的侧面所指示的。在此实施例中，每个图像传感器S1、S2是三通道传感器，包括红色敏感传感器像素P_R、绿色敏感传感器像素P_G、和蓝色敏感传感器像素P_B。这里，绿色敏感传感器像素包括总数的大约50%，而红色敏感和蓝色敏感传感器像素各自包括大约25%。图像传感器S1、S2的传感器像素的示例性布置在图解的放大部分中示出。

一个图像传感器S1用于捕获彩色图像，并且另一个图像传感器S2用于捕获单色红外图像。为此，第一图像传感器S1配备有应用于图像传感器管芯的彩色滤光片马赛克，使得每个传感器像素被适当地由对应的R、G、B滤光器覆盖。第二图像传感器S2配备有在红外区域中部分透射的滤光器（使得其透射光谱与红外光谱光脉冲F_mono的发射光谱重叠）。以此方式，第二图像传感器的传感器像素将记录红外图像。因为第二图像传感器S2对可见光也敏感，所以它的积分时间被减少或缩短，以允许用IR光谱光脉冲F_mono进行短运动冻结曝光。

如上面在图4中所描述的，驱动器13驱动光源11、12以在第一传感器S1的积分时间内生成可见光谱光脉冲F_RGB（主闪光），并在第二传感器S2的更短得多的积分时间内生成红外光谱光脉冲F_mono（运动冻结闪光）。第一图像传感器S1提供彩色图像M_RGB，并且第二图像传感器S2提供运动冻结单色或红外图像M_mono。图像M_RGB、M_mono然后被转发到图像处理单元14，该图像处理单元14将使用由图像M_RGB、M_mono提供的信息来获得图1中所描述的优化图像M_opt，即没有运动模糊或者至少具有减少的运动模糊的图像。

图6示出了再次并入智能电话4中的本发明成像布置1的另一个实施例。这里，成像布置1包括可见光谱相机C1和红外相机C_IR，并且因此还包括两个图像传感器S1、S_IR。这里，每个传感器S1、S_IR也以简化的方式通过其传感器像素P_R、P_G、P_B、P_IR的示例性布置来表示，如在图解的侧面所指示的。类似于上面所描述的两个实施例，设备4还包括白色LED光源11和红外光源12。在此实施例中，第一图像传感器S1是三通道传感器，包括红色敏感传感器像素P_R、绿色敏感传感器像素P_G、和蓝色敏感传感器像素P_B。这里，绿色敏感传感器像素包括总数的大约50%，而红色敏感和蓝色敏感传感器像素各自包括大约25%。第二图像传感器S_IR是红外图像传感器，仅包括红外敏感传感器像素P_IR。图像传感器S1、S_IR的传感器像素的示例性布置在图解的放大部分中示出。

第一图像传感器S1用于捕获彩色图像M_RGB，并且红外图像传感器S_IR用于捕获单色红外图像M_mono。为此，第一图像传感器S1配备有应用于图像传感器管芯的滤色器马赛克，使得每个传感器像素被适当地由对应的R、G、B滤色器覆盖。红外图像传感器S_IR配备有仅在红外区域中透射的滤光器。以此方式，红外图像传感器的传感器像素将记录红外图像M_mono。

如上面图4和图5中所描述的，驱动器13驱动光源11、12以在第一传感器S1的积分时间内生成可见光谱光脉冲F_RGB（主闪光），并在可见光谱光脉冲F_RGB期间生成短且强的红外光谱光脉冲F_mono（运动冻结闪光）。第一图像传感器S1提供彩色图像M_RGB，并且红外图像传感器S_IR提供运动冻结单色或红外图像M_mono。图像M_RGB、M_mono然后被转发到图像处理单元14，该图像处理单元14将使用由图像M_RGB、M_mono提供的信息来获得图1中所描述的优化图像M_opt，即没有运动模糊或者至少具有减少的运动模糊的图像。

成像布置1的性能可以通过使光源光谱与图像传感器的灵敏度相匹配来优化。图7示出了光谱70_B、70_G、70_R、70_IR的示例性集合，其中振幅相对于波长λ[nm]绘制。优选地，图像传感器像素的峰值灵敏度与相关光源的峰值光谱振幅一致。例如，图像传感器中的IR敏感传感器像素P_IR的峰值灵敏度将尽可能接近由IR光源12生成的光谱70_IR的IR部分的峰值振幅。

尽管本发明已经以优选的实施例及其变型的形式公开，但是将理解，可以对其进行许多附加的修改和变型而不脱离本发明的范围。例如，RGB和IR图像传感器像素的分布可以不同于上面图4 – 图6所示出的分布；可以以频闪仪的方式捕获多个单色图像；移动物体可以被红外“跟随我”光跟踪，以（例如使用分段IR LED管芯）改进移动物体的照亮；在温度受限的IR LED驱动条件的情况下，主动冷却步骤可以先于IR闪光脉冲；等等。

为了明确起见，将要理解，遍及本申请使用的“一”或“一个”不排除多个，并且“包括”不排除其它步骤或元素。提到“单元”或“模块”不排除使用多于一个的单元或模块。

附图标记：

成像布置 1

可见光谱光源 11

红外光谱光源 12

强度图表 110、120

驱动器 13

图像处理器 14

图像处理步骤 140

设备 4

灵敏度曲线 70_R、70_G、70_B、70_IR

可见光谱图像 M_RGB

红外光谱图像 M_mono

数字图像 M_opt

相机 C、Cl、C2、C_IR

图像传感器 S、S1、S2、S_IR

RGB传感器像素 P_R、P_G、P_B

红外传感器像素 P_lR

场景 D

移动物体 X

模糊成像物体 B_blur

运动冻结成像物体 B_mf

成像物体 B_OK

公共图像区域 R

运动模糊区域 R_blur

校正图像区域 R_edit

匹配参数 α

可见光谱光脉冲 F_RGB

红外光谱光脉冲 F_mono

脉冲持续时间 t_RGB、t_mono

传感器积分时间 t_int

Claims (15)

1.一种获得场景（D）的数字图像（M_opt）的方法，所述方法包括以下步骤

- 驱动第一光源（11）以生成第一光脉冲（F_RGB）来照亮场景（D），所述第一光脉冲（F_RGB）是在第一持续时间（t_RGB）内延伸的可见光谱光脉冲；

- 使用图像传感器（S、S1）记录由第一光脉冲（F_RGB）照亮的场景（D）的可见光谱图像（M_RGB）；

- 驱动第二光源（12）以在第一光脉冲（F_RGB）期间生成第二光脉冲（F_mono）来照亮场景（D），使得第二光脉冲（F_mono）的持续时间（t_mono）至多为第一光脉冲（F_RGB）的持续时间（t_RGB）的10%，并且使得第二光脉冲（F_mono）的强度（N_mono）超过第一光脉冲（F_RGB）的强度（N_RGB）至少100%；

- 使用图像传感器（S、S2、S_IR）记录由第二光脉冲（F_mono）照亮的场景（D）的单色图像（M_mono）；以及

- 对可见光谱图像（M_RGB）和单色图像（M_mono）执行图像处理步骤，以获得场景（D）的数字图像（M_opt）。

2.根据权利要求1所述的方法，其中对用相应的光脉冲记录的可见光谱图像（M_RGB）和单色图像（F_mono）的序列执行图像处理步骤。

3.根据权利要求1或权利要求2所述的方法，其中所述图像处理步骤包括标识对应于成像对象的公共图像区域（R），其中公共图像区域（R）存在于可见光谱图像（M_RGB）和单色图像（M_mono）中。

4.根据前述权利要求中任一项所述的方法，包括在可见光谱图像（M_RGB）中标识运动模糊图像区域（B_blur）的步骤。

5. 根据权利要求4所述的方法，其中所述数字图像（M_opt）包括从校正至少运动模糊图像区域（B_blur）中的颜色值而导出的一个或多个图像区域（B_OK、R_edit）。

6.一种成像布置（1），包括

- 第一光源（11），用于生成第一光脉冲（F_RGB），所述第一光源（11）包括可见光谱光源（11）；

- 第二光源（12），用于生成第二光脉冲（F_mono），所述第二光源（12）包括可见光谱光源或红外光谱光源；

- 驱动器（13），被配置为在第一持续时间（t_RGB）内驱动第一光源（11）以生成第一光脉冲（F_RGB），并且在第二持续时间（t_mono）内驱动第二光源（12）以生成第二光脉冲（F_mono），所述第二持续时间（t_mono）至多为第一光脉冲（F_RGB）的持续时间（t_RGB）的10%，并且使得第二光脉冲（F_mono）的强度（N_mono）超过第一光脉冲（F_RGB）的强度（N_RGB）至少100%；

- 图像传感器（S、S1），被布置为记录由第一光脉冲（F_RGB）照亮的场景（D）的可见光谱图像（M_RGB）；

- 图像传感器（S、S2、S_IR），被布置为记录由第二光脉冲（F_mono）照亮的场景（D）的单色图像（M_mono）；和

- 图像处理单元（14），被实现为组合来自可见光谱图像（M_RGB）和单色图像（M_mono）的信息，以获得场景（D）的数字图像（M_opt）。

7.根据权利要求6所述的成像布置，其中光源（11、12）包括一个或多个发光二极管。

8.根据权利要求6或权利要求7所述的成像布置，其中所述第二光源（12）包括一个或多个垂直腔面发射激光二极管。

9.根据权利要求6至8中任一项所述的成像布置，包括单个图像传感器（S），所述单个图像传感器（S）包括在可见光谱范围中敏感的传感器像素（P_R、P_G、P_B）和在红外光谱范围中敏感的传感器像素（P_IR）。

10.根据权利要求9所述的成像布置，其中所述单个图像传感器（S）包括对红外光谱中的波长至少部分透射的滤光器。

11.根据权利要求6至8中任一项所述的成像布置，包括两个图像传感器（S1、S2），每个图像传感器仅包括在可见光谱范围中敏感的传感器像素（P_R、P_G、P_B）。

12.根据权利要求6至8中任一项所述的成像布置，包括两个图像传感器（S1、S_IR），其中被布置为记录可见光谱图像（M_RGB）的图像传感器（S1）包括在可见光谱中敏感的传感器像素（P_R、P_G、P_B），并且其中被布置为记录单色图像（M_mono）的图像传感器（S_IR）包括在红外光谱中敏感的传感器像素（P_IR）。

13. 根据权利要求11或权利要求12所述的成像布置，其中被布置为记录可见光谱图像（M_RGB）的图像传感器（S1）包括仅在可见光谱中透射的滤光器，并且其中被布置为记录单色图像（M_mono）的图像传感器（S2、S_IR）包括仅在红外光谱中透射的滤光器。

14.根据权利要求6至13中任一项所述的成像布置，其中

- 被布置为记录可见光谱图像（M_RGB）的图像传感器（S1）具有在50 ms范围中的积分时间（t_RGB）；

并且其中所述驱动器被配置为

- 在至少传感器积分时间（t_RGB）的持续时间内，以通常1.0 A/mm²的电流密度生成可见光谱光脉冲（F_RGB）；以及

- 在至多5 ms、更优选地至多1.0 ms的持续时间（t_mono）内，以大于1.0 A/mm²的电流密度生成第二光脉冲（F_mono）。

15.一种设备（4），包括根据权利要求6至14中任一项所述的成像布置（1）的实施例，所述设备优选为手持设备、更优选为智能电话。

Images