CN102165783A - 利用独立的亮度与色度传感器的图像捕捉 - Google Patents

Abstract

提供了利用图像感测设备捕捉图像的系统与方法。在一个实施例中，图像感测设备可以包括用于感测第一图像的第一透镜列组和用于感测第二图像的第二透镜列组。该图像感测设备还可以包括用于捕捉第一图像的亮度部分的第一图像传感器和用于捕捉第二图像的色度部分的第二图像传感器。所述图像感测设备还可以包括图像处理模块，用于组合由第一图像传感器捕捉到的亮度部分和由第二图像传感器捕捉到的色度部分，以便形成合成图像。

Description

利用独立的亮度与色度传感器的图像捕捉

技术领域

本公开涉及捕捉图像的系统与方法，尤其涉及利用独立的亮度与色度传感器捕捉图像的系统与方法。

背景技术

人眼是由视网膜(rod)和视锥细胞(cones)组成的，其中视网膜感测亮度，而视锥细胞感测颜色。在大部分眼睛中，视网膜的密度比视锥细胞的密度高。从而，彩色图像的亮度部分比色度部分对整体彩色图像质量有更大的影响。因此，比色度更多地强调亮度的图像感测设备是期望的，因为它模拟了人眼的操作。

发明内容

提供了利用图像感测设备捕捉图像的系统与方法。在一个实施例中，一种图像感测设备可以包括用于感测图像的透镜列组(lens train)及用于将由该透镜列组感测到的图像分成第一分离图像和第二分离图像的分束器。该图像感测设备还可以包括用于捕捉第一分离图像的亮度部分的第一图像传感器和用于捕捉第二分离图像的色度部分的第二图像传感器，以及用于将亮度部分和色度部分组合起来形成合成图像的图像处理模块。

在另一实施例中，一种图像感测设备可以包括用于捕捉第一图像的第一图像传感器、用于捕捉第二图像的第二图像传感器及图像处理模块。图像处理模块可以配置成将第一图像和第二图像组合起来形成合成图像。

在另一实施例中，一种操作图像感测设备的方法可以包括：利用第一传感器生成高质量的亮度图像；利用第二传感器生成色度图像；以及将高质量的亮度图像与色度图像基本上对准，以便形成合成图像。

在另一实施例中，一种图像感测设备可以包括用于感测第一图像的第一透镜列组、用于感测第二图像的第二透镜列组和用于感测第三图像的第三透镜列组。该图像感测设备还可以包括用于捕捉第一图像的红色部分的红色图像传感器、用于捕捉第二图像的绿色部分的绿色图像传感器和用于捕捉第三图像的蓝色部分的蓝色图像传感器。所述图像感测设备还可以包括用于组合红色部分、绿色部分和蓝色部分以便形成合成图像的图像处理模块。

附图说明

当联系附图考虑以下具体描述时，本发明的以上及其它方面与特征将变得更加显然，其中附图中相同的标号在所有图中都指代相同的部分，附图中：

图1是例示用于实践本发明有些实施例的系统的某些部件的功能性框图；

图2是根据本发明有些实施例的具有单个透镜列组的图像感测设备的功能性框图；

图3是根据本发明有些实施例的具有并行透镜列组的图像感测设备的功能性框图；及

图4是根据本发明有些实施例的利用独立的亮度传感器与色度传感器捕捉图像的示例性方法的流程图。

具体实施方式

本发明的有些实施例关于利用捕捉彩色图像的亮度的专用图像传感器来捕捉图像的系统与方法。

在以下对例示性实施例的讨论中，术语“图像感测设备”不加限制地包括可以捕捉静止或移动图像并可以将捕捉到的图像转换成或者便于将其转换成数字图像数据的任何电子设备，例如数码照相机。图像感测设备可以放在各种电子设备中，这些电子设备包括但不限于个人计算机、个人数字助理(“PDA”)、移动电话或者可以配置成处理图像数据的任何其它设备。如在这里权利要求和说明书中所使用的，术语“包含”、“包括”和“具有”应当认为是指示可以包括其它未列举的元素的开放的组。术语“一个”和词的单数形式应当认为包括该词的复数形式，使得该术语意味着提供了一个或多个某种东西。如在这里权利要求和说明书中所使用的，术语“基于”不是排他的，而且允许基于可能描述或者可能没有描述的附加因素。

应当理解，本发明的附图与说明书已经简化成例示与清楚理解本发明相关的元素，同时，为了清晰起见，排除了其它元素。例如，一般在图像感测设备中所使用的某些硬件元素，例如集成电路管芯或者芯片上的感光像素，在这里就没有描述。类似地，图像处理技术的某些细节，例如校正立体效果的算法，在这里也没有描述。然而，本领域普通技术人员将认识到，这些和其它元素在这种图像感测设备中可能是期望的。没有提供对这种元素的讨论是因为这些元素在本领域中是众所周知的，而且因为它们并未有助于更好地理解本发明。

图1是例示了根据本发明有些实施例的包括图像感测设备22的示例性电子设备10的部件的功能性框图。电子设备10可以包括处理单元12、存储器14、通信接口20、图像感测设备22、输出设备24和系统总线16。系统总线16可以耦接两个或者更多个系统部件，这些系统部件包括但不限于存储器14和处理单元12。处理单元12可以是各种可用处理器中的任何一种，而且可以包括多个处理器和/或协处理器。

图像感测设备22可以接收入射光并将其转换成图像信号。存储器14可以从图像感测设备22接收图像信号。处理单元12可以处理图像信号，这可以包括将图像信号转换成数字数据。通信接口20可以便于电子设备10与其他设备(例如，主计算机或者服务器)之间的数据交换。

存储器14可以包括可拆卸的或者固定的、易失性的或者非易失性的、或者永久性的或者可重写的计算机存储介质。存储器14可以是可被通用或者专用计算或者图像处理设备访问的任何可用介质。作为示例而非限制，这种计算机可读介质可以包括闪速存储器、随机存取存储器(“RAM”)、只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)、光盘存储装置、磁盘存储装置或其它磁存储装置，或者可以用于存储数字信息的任何其它介质。

应当认识到，图1还可以描述可以充当用户与电子设备10的基本资源之间的中介的软件。这种软件可以包括操作系统。可以驻留在存储器14中的操作系统可以用来控制并分配电子设备10的资源。系统应用程序可以通过存储器14中所存储的程序模块和程序数据来利用操作系统的资源管理。此外，还应当认识到，本发明可以利用各种操作系统或者操作系统的组合来实现。

存储器14可以有形地包含可以使电子设备10的一个或多个部件(例如，图像感测设备部件22)以在此所述的特定和预定方式操作的一个或多个程序、函数和/或指令。

图2是根据本发明有些实施例的示例性图像感测设备100的功能性框图，其例示了可以捕捉并存储图像数据的一些部件，其中设备100可以类似于图1的图像感测设备22。图像感测设备100可以包括透镜组件102、分束器114、过滤器115、图像传感器106a、过滤器117、图像传感器106b和图像处理模块110。透镜组件102可以包括具有一个或多个光学对准的透镜元件103的单个透镜列组104。就像素阵列而言，图像传感器106a和106b可以完全相同(即，相同的像素个数和相同的像素大小)。在操作过程中，透镜组件102可以将入射光101聚焦到分束器114上成为透镜化的光(lensed light)123。分束器114可以分离透镜化的光123，并朝向过滤器115和图像传感器106a(合起来称为“亮度传感器120”)引导一个图像，以及朝向过滤器117和图像传感器106b(合起来称为“色度传感器122”)引导基本上相同的图像。色度传感器122可以配置成感测色度图像111和低质量亮度图像107。图像处理模块110可以将色度图像111和高质量亮度图像109组合起来，形成合成图像113。图像处理模块110还可以配置成生成低质量亮度图像107，该低质量亮度图像107对于基本上对准高质量亮度图像109和色度图像111可能是有用的。

过滤器115可以覆盖图像传感器106a，并允许图像传感器106a捕捉所感测到的图像的亮度部分，例如高质量亮度图像109。过滤器117可以覆盖图像传感器106b，并允许图像传感器106b捕捉所感测到的图像的色度部分，例如色度图像111。彩色图像的亮度部分可以比彩色图像的色度部分对整体彩色图像质量具有更大的影响。对于高质量彩色图像而言，图像色度部分中的高采样率和高信噪比(“SNR”)可能是不需要的。

在有些实施例中，图像传感器106a可以配置成不带过滤器115。本领域技术人员将认识到，不带过滤器的图像传感器可以接收入射光的基本上全部亮度，这允许图像传感器106a具有更高的采样率、提高的光效率和/或灵敏度。例如，亮度传感器120可以配置成感测任何波长和基本上所有像素位置的光。在其它实施例中，亮度传感器106a可以包括过滤器115，其中过滤器115根据需要对光进行衰减，以便从传感器产生匹配人眼响应的响应(即，过滤器产生模拟人眼响应的权重功能)。

高质量亮度图像109可以是比低质量图像亮度图像111更高质量的亮度图像。由感测图像的全部或者基本上全部亮度而提供的亮度传感器109的增加的灵敏度可以以各种方式用于扩展图像感测设备100及其合成图像113的性能。例如，具有相对小像素的图像传感器可以配置成对帧进行平均或者以更高的帧频操作，这可以使较小的像素如较大的像素一样操作。可以通过使用较小的模拟和数字增益来降低噪声级，以改善图像压缩和图像质量。较小的透镜孔径可以用于增加景深。可以在更暗的背景照明条件下捕捉图像。可选地或者附加地，可以通过使用较短的曝光时间来降低热像素的影响。

根据有些实施例，色度传感器122可以配置成将色度图像111作为低质量图像生成，而不产生人眼可以察觉到的合成图像113的劣化，尤其是在合成图像113是压缩的情况下(例如，JPEG压缩)。例如，色度传感器122可以使用比亮度传感器120更大的透镜孔径或者更低的帧频，这可以改善较低亮度级下的操作(例如，在入射光101的较低强度级下)。类似地，色度传感器122可以使用更短的曝光时间来降低运动模糊。因此，独立于色度传感器122来控制亮度传感器120的能力可以以很多种方式扩展图像感测设备100的性能。

图像的亮度部分可以定义为大约30％检测到的红光、60％检测到的绿光和10％检测到的蓝光，而图像的色度部分可以定义为针对图像传感器的每个像素的两个信号或者二维向量。例如，色度部分可以由两个分量Cr和Cb来定义，其中Cr可以是较少检测亮度的所检测到的红光，而Cb可以是较少检测亮度的所检测到的蓝光。然而，如果亮度传感器120检测入射光101的亮度，则色度传感器122可以配置成检测红光和蓝光，而不检测绿光，例如，通过用红光和蓝光过滤器117覆盖传感器106b的像素元件。这可以在棋盘型模式的红光和蓝光过滤器部分中进行。在其它实施例中，过滤器117可以包括Bayer模式的过滤器阵列，这包括红光、蓝光和绿光过滤器。在有些实施例中，色度传感器122可以用高密度的红色和蓝色像素来配置，以改善合成图像213的整体质量。

图3是根据本发明有些实施例的具有并行透镜列组的示例性图像感测设备200的功能性框图。图像感测设备200可以包括具有两个并行的透镜列组204a和204b的透镜组件202、亮度传感器120、色度传感器122和图像处理模块210。在所例示的实施例中，透镜组件202的并行透镜列组204a和204b可以配置成接收入射光101，并将透镜化的光123a和123b聚焦到亮度传感器120和色度传感器122上，如图所示。图像处理模块210可以将由亮度传感器120捕捉并从其发送的高质量亮度图像209和由色度传感器122捕捉并从其发送的色度图像211组合起来，并可以输出合成图像213。在有些实施例中，例如为了形成合成图像213，图像处理模块210可以使用多种技术来解决高质量亮度图像209与色度图像211之间的差。

图像感测设备可以包括安装在独立的集成电路芯片上的亮度传感器和色度传感器。在有些未示出的实施例中，图像感测设备可以包括三个或者更多个并行透镜列组及三个或者更多个对应图像传感器，其中每个图像传感器可以在设备的独立集成电路芯片上实现。在这种实施例中，每个图像传感器可以配置成捕捉由其对应的并行透镜列组传递的入射光的不同颜色部分。例如，第一透镜列组可以将光传递到配置成只捕捉光的红色部分的图像传感器，第二透镜列组可以将光传递到配置成只捕捉光的绿色部分的图像传感器，而第三透镜列组可以将光传递到配置成只捕捉光的蓝色部分的图像传感器。然后可以利用图像处理模块将所捕捉到的红色部分、所捕捉到的绿色部分和所捕捉到的蓝色部分组合起来，以产生合成图像，如关于图3的设备200所描述的。

透镜组件202可以包括对于每个并行透镜列组204a和204b有一个或多个单独的透镜元件203的透镜块。根据有些实施例，透镜组件202的每个透镜元件203可以是非球面透镜，以及/或者可以是从与相对透镜列组中其它对应透镜元件203相同的模槽模制的。如果感测相同的入射光的话，在每个并行透镜列组204中的对应位置中采用从相同模槽模制的透镜(例如，模制的塑料透镜)在最小化所产生的图像差(例如，几何差和径向光衰落)时可能是有用的。然而，在特定的透镜列组中，一个透镜元件可以不同于另一个。在有些实施例中，透镜元件203可以在透镜列组之间是不同的。例如，一个透镜元件可以配置成比另一个元件具有更大的孔径开口，以例如在一个传感器上具有更高的光强度。

在有些实施例中，图像处理模块210可以将高质量亮度图像209与低质量亮度图像207进行比较。基于这种比较，图像处理模块210可以解决高质量亮度图像209与低质量亮度图像207之间的差，以例如基本上对准图像数据从而形成合成图像213。

根据有些实施例，例如为了补偿景深效果或者立体效果，图像处理模块210可以包括高质量亮度图像209和低质量亮度图像207中至少一个的有意的(deliberate)几何变形。由图像感测设备200捕捉到的有些图像可能在距透镜组件202的很多不同工作距离处同时具有许多相关的物。因此，如果期望对准的话，高质量亮度图像209和低质量亮度图像207的对准可能需要利用特定的扭曲(warp)函数来扭曲一个图像以便匹配另一个图像。例如，扭曲函数可以利用高质量亮度图像209和低质量亮度图像207(除了景深效果和立体效果之外，它们基本上是完全相同的图像)导出。用于确定扭曲函数的算法可以基于找出高质量亮度图像109和低质量亮度图像107中的基准，然后确定像素阵列中基准之间的距离。一旦确定了扭曲函数，色度图像211就可以被“扭曲”，并与高质量亮度图像209组合以形成合成图像213。

在其它实施例中，图像处理模块210可以配置成通过选择性地裁剪高质量亮度图像209和低质量亮度图像207中的至少一个来对准图像209和207，其中裁剪是通过识别图像视场中的基准或者通过使用用于图像处理模块210的校准数据。在其它实施例中，图像处理模块210可以通过分析高质量亮度图像209和低质量亮度图像207中的差来推断视场中各个物之间的工作距离。在此所述的图像处理模块可以配置成通过光学实现、通过算法或者同时通过光学实现和算法两者来控制图像质量。

在有些实施例中，如果例如色度传感器122将有些像素分配到色度感测而不是亮度感测，则低质量亮度图像207可能比高质量亮度图像209的质量低。在有些实施例中，低质量亮度图像207和高质量亮度图像209就图像特征而言可以不同。例如，如果色度传感器122比亮度传感器120具有更大的透镜孔径或者更低的帧频(这可以改善在较低亮度级下(例如，在入射光201的较低强度级下)的操作)，则低质量亮度图像207可以具有更低的质量。类似地，色度传感器122可以使用更短的曝光时间来降低运动模糊。因此，独立于色度传感器122控制亮度传感器120的能力可以以多种方式扩展图像感测设备200的性能。

与具有单个图像传感器的设备中发现的透镜组件与图像传感器之间的间隙相比，图2的图像感测设备100由于有分束器114而可以在其透镜组件(例如，透镜组件102)和其图像传感器(例如，传感器106a和106b)之间包括更大的间隙。而且，尽管分束器114可以在透镜化的光123被图像传感器106a和106b捕捉之前分离该透镜化的光123的光功率，但是这种配置的图像感测设备允许在每个图像传感器处形成基本上相同的图像。另一方面，与具有单个图像传感器的设备中的透镜组件与图像传感器之间发现的间隙相比，图3的图像感测设备200可以在其透镜组件(例如，透镜组件202)和其图像传感器(例如，传感器106a和106b)之间包括相同厚度或者更薄的间隙。此外，透镜化的光123的光功率在其被图像传感器106a和106b捕捉之前未被分离。

图4是根据本发明有些实施例的利用独立的亮度传感器和色度传感器捕捉图像的示例性方法400的流程图。在步骤402，可以利用图像传感器将入射光捕捉为低质量图像，其中图像传感器可以被配置成只捕捉入射光的色度部分，或者捕捉入射光的色度部分和亮度部分两者。在步骤404，可以利用图像传感器将入射光捕捉为高质量图像，其中图像传感器可以被配置成只捕捉入射光的亮度部分。在步骤406，可以将低质量色度图像与高质量亮度图像组合，以便形成合成图像。在有些实施例中，对图像进行组合可以包括利用诸如几何变形和图像裁剪的技术基本上对准图像。可以将低质量图像的亮度部分与高质量图像的亮度部分进行比较，以确定为形成合成图像而正确组合这两个图像所需的正确扭曲函数。

尽管已经关于并行透镜列组实施例描述了用于对准图像的系统与方法，但是所述系统与方法也可适用于图像感测设备的其它实施例，包括图2的图像感测设备100。

除非另外指明，否则在此所例示和描述的方法的执行顺序或性能不是必要的。即，除非另外指明，否则方法的元素可以按照任何顺序执行，而且方法可以包括比在此所公开的更多或更少元素。例如，预期在另一个元素之前、同时或者之后执行或实施特定元素在本发明的范围之内。

本领域普通技术人员应当认识到，本发明可以采取完全硬件实施例或者包括硬件和软件元素两者的实施例的形式。在特定实施例中，例如关于方法的那些实施例中，本发明可以在软件中实现，包括但不限于固件、驻留软件和微码。

本领域普通技术人员应当认识到，本发明的方法与系统可以在除这里所描述的那些实施例之外的实施例中实践。应当理解，前面所述仅仅是例示在此所公开的原理，而且在不背离本发明范围与主旨的情况下，可以由本领域技术人员进行各种修改。

Claims (26)

1.一种图像感测设备，包括：

透镜列组，用于感测图像；

分束器，用于将由所述透镜列组感测到的图像分离成第一分离图像和第二分离图像；

第一图像传感器，用于捕捉所述第一分离图像的亮度部分；

第二图像传感器，用于捕捉所述第二分离图像的色度部分；及

图像处理模块，用于组合所述亮度部分和所述色度部分，以便形成合成图像。

2.如权利要求1所述的图像感测设备，其中，所述第二图像传感器具有比所述第一图像传感器的帧频低的帧频。

3.如权利要求1所述的图像感测设备，其中，所述第一图像传感器配置成独立于所述第二图像传感器受控。

4.如权利要求1所述的图像感测设备，其中，所述第一图像传感器形成在第一集成电路芯片上，而且，所述第二图像传感器形成在第二集成电路芯片上。

5.如权利要求1所述的图像感测设备，其中，所述第一图像传感器配置成感测任何波长下的光。

6.如权利要求1所述的图像感测设备，其中，所述第一图像传感器配置成感测基本上所有像素位置处的光。

7.一种图像感测设备，包括：

第一图像传感器，用于捕捉第一图像；

第二图像传感器，用于捕捉第二图像；及

图像处理模块，用于组合由所述第一图像传感器捕捉到的第一图像和由所述第二图像传感器捕捉到的第二图像，以便形成合成图像。

8.如权利要求7所述的图像感测设备，其中，所述第二图像传感器具有比所述第一图像传感器的孔径开口大的孔径开口。

9.如权利要求7所述的图像感测设备，其中，所述合成图像的色度部分是基于所述第二图像的红色部分、所述第二图像的蓝色部分和所述第一图像确定的。

10.如权利要求7所述的图像感测设备，其中，所述第二传感器包括一种模式的红色和蓝色过滤器。

11.如权利要求7所述的图像感测设备，其中，所述第二图像传感器包括Bayer模式的过滤器。

12.如权利要求7所述的图像感测设备，还包括：

第一透镜列组，用于将入射光聚焦到所述第一图像传感器上，其中，所述第一透镜列组包括模制的非球面透镜元件。

13.如权利要求12所述的图像感测设备，还包括

第二透镜列组，用于将所述入射光聚焦到所述第二图像传感器上，其中，所述第一透镜列组和所述第二透镜列组具有不同的孔径。

14.如权利要求7所述的图像感测设备，其中，所述第一图像是高质量亮度图像，而且，所述第二图像是色度图像，而且所述第二图像传感器配置成捕捉低质量亮度传感器。

15.如权利要求14所述的图像感测设备，其中，所述图像处理模块配置成基本上对准所述高质量亮度图像与所述色度图像。

16.如权利要求14所述的图像感测设备，其中，所述图像处理模块配置成基于所述高质量亮度图像与所述低质量亮度图像之间的差来确定扭曲函数。

17.如权利要求16所述的图像感测设备，其中，所述图像处理模块配置成基于所述扭曲函数基本上对准所述高质量亮度图像与所述色度图像。

18.如权利要求7所述的图像感测设备，其中，所述第一图像传感器是比所述第二图像传感器更高兆像素的传感器。

19.如权利要求7所述的图像感测设备，其中，所述第二图像传感器是比所述第一图像传感器更高兆像素的传感器。

20.一种操作图像感测设备的方法，包括：

利用第一传感器生成高质量亮度图像；

利用第二传感器生成色度图像；

基本上对准所述高质量亮度图像与所述色度图像，以便形成合成图像。

21.如权利要求20所述的方法，还包括：

利用第二传感器生成低质量亮度图像，其中，所述高质量亮度图像与所述色度图像的对准基于所述低质量亮度图像。

22.如权利要求21所述的方法，其中，基本上对准包括选择性地裁剪所述低质量亮度图像和所述高质量亮度图像中的至少一个。

23.如权利要求20所述的方法，其中，基本上对准包括扭曲所述色度图像。

24.如权利要求20所述的方法，其中，基本上对准包括有意的几何变形。

25.一种图像感测设备，包括：

第一透镜列组，用于感测第一图像；

第二透镜列组，用于感测第二图像；

第三透镜列组，用于感测第三图像；

红色图像传感器，用于捕捉所述第一图像的红色部分；

绿色图像传感器，用于捕捉所述第二图像的绿色部分；

蓝色图像传感器，用于捕捉所述第三图像的蓝色部分；及

图像处理模块，用于组合所述红色部分、绿色部分和蓝色部分，以便形成合成图像。

26.如权利要求25所述的图像感测设备，其中，所述红色图像传感器、绿色图像传感器和蓝色图像传感器中的每一个都安装在单独的集成电路芯片上。

Images