CN113711584B - 一种摄像装置 - Google Patents

Abstract

本申请实施例公开了一种摄像装置，该摄像装置包括一个彩色图像传感器和一个黑白图像传感器，并且两个图像传感器的分辨率相同。其中彩色图像传感器具有相邻像素合并功能。其中，彩色图像传感器生成低分辨率的彩色图像，黑白图像传感器生成高分辨率的灰度图像，然后，基于前述色彩图像和灰度图像进行融合得到目标图像。以使得在低照度环境下输出较高质量的图像，降低摄像装置的工作照度下限。

Description

一种摄像装置

技术领域

本申请实施例涉及安防监控领域，尤其涉及一种摄像装置。

背景技术

低照度场景(low illumination scene/low light scene)，指光线不足的场景，例如夜晚的户外或者没有充足照明的室内。在安防监控领域中，为了在低照度场景下获取清晰度高且色彩丰富的图像，摄像机常与可见光补光灯或红外光补光灯配套使用。但是，使用可见光补光灯易造成光污染且不利于隐蔽监控；使用红外补光灯虽然成像清晰，但无法记录色彩。近年来，业界开始广泛采用双光融合架构，在这种架构下，摄像机使用2个传感器对红外光和可见光分别成像，再对红外图像与可见光图像进行融合的方式，以提升摄像机在低照度下的成像能力。

具体地，在摄像机中设置分光棱镜，该分光棱镜根据频谱将入射光线分为可见光和红外光。然后，该摄像机将前述可见光和红外光分别输入两个相同的图像传感器。其中，输入可见光的图像传感器输出彩色图像，输入红外光的图像传感器输出灰度图像，并且，前述彩色图像和灰度图像的尺寸大小和分辨率均相同。该摄像机再将前述彩色图像和灰度图像进行融合得到目标图像，该目标图像的细节和纹理主要来自于该灰度图像，而色彩信息来自于该彩色图像。

在前述方案中，当环境光照度低于可见光图像传感器的成像信噪比下限时，彩色图像的色彩信息被噪声淹没，导致最终输出的融合图像色彩饱和度很低，甚至退化为灰度图像。因此，在当前双光融合架构下，进一步降低摄像机的工作照度下限显得十分重要。

发明内容

本申请实施例提供了一种摄像装置，用于在低照度环境下输出较高质量的图像，降低摄像装置的工作照度下限。

第一方面，本申请实施例提供了一种摄像装置，该摄像装置包括：光学组件、第一图像传感器、第二图像传感器和图像处理器。该第一图像传感器的分辨率等于该第二图像传感器的分辨率。此外，该第一图像传感器具有相邻像素合并的功能。其中，该光学组件，用于接收入射光信号，将该入射光信号分离为第一光信号和第二光信号。该第一图像传感器，用于感应该第一光信号生成第三图像，并将该第三图像中的每N个相邻像素合并为一个像素，得到第一图像，该第一图像的图像信息包括第一色彩信息和第一亮度信息。该第二图像传感器，用于感应该第二光信号生成第二图像，该第二图像的图像信息包括第二亮度信息，该第一图像的分辨率小于该第二图像的分辨率。该图像处理器，用于基于该第一图像与该第二图像确定目标图像，该目标图像的色彩和亮度由该第一图像的图像信息和该第二图像的图像信息确定；或者，用于基于该第三图像与该第二图像生成目标图像，该目标图像的色彩和亮度由该第三图像的图像信息和该第二图像的图像信息确定。

本实施方式中，前述N为大于1的整数。其中，将相邻像素合并的功能指将相邻的像素单元电荷通过物理的方法叠加在一起作为一个像素输出信号。该功能可以使一个较小分辨率的图像来自于较大分辨率的图像传感器，因此可以增加感光面积，提高暗处对光感应的灵敏度和图像输出速度。

本申请实施例中，由于，第一图像传感器具有将相邻像素合并的功能(即Binning功能)，因此，该第一图像传感器输出的低分辨率的第一图像的每个像素的进光量将增大，进而可以降低第一图像的信噪比，进而提高第一图像的色彩灵敏度，保证第一图像的色彩真实且具有较高的亮度；而第二图像传感器输出的高分辨率的第二图像具有较高的清晰度，可以呈现丰富的细节和纹理。基于前述两幅图像确定的目标图像可以保留第一图像和第二图像的优点，因此，可以使摄像装置工作于更低光照强度的环境。

根据第一方面，本申请实施例第一方面的第一种实施方式中，该图像处理器，具体用于：将该第一图像的分辨率调整至与该第二图像的分辨率相同，得到第四图像，该第四图像携带该第一色彩信息和该第一亮度信息；将该第四图像与该第二图像融合，得到该目标图像。

本实施方式中，由于，第一图像的分辨率小于第二图像的分辨率，因此，将第一图像的分辨率调整至与第二图像的分辨率相同，可以理解为，将第一图像的分辨率调高至第二图像的分辨率得到第四图像。由于，该第一图像具有较高的色彩灵敏度、真实的色彩且有较高的亮度，因此，第四图像也具有真实的色彩和较高的亮度。因此，基于前述第四图像和第二图像确定的目标图像可以保留第四图像和第二图像的优点，因此，可以使摄像装置工作于更低光照强度的环境。

根据第一方面或第一方面的第一种实施方式，本申请实施例第一方面的第二种实施方式中，该第一光信号包括可见光，该第二光信号包括可见光和红外光，该第一光信号中的可见光的能量大于该第二光信号中的可见光的能量，该第一光信号中的可见光的频段与该第二光信号中的可见光的频段相同。

本实施方式中，提出前述光学组件对入射光信号的处理不仅仅是分频，还包括分能量。其中，分能量指对入射光信号中的可见光进行划分，也可以理解为，通过处理使得第一光信号中的可见光的能量与第二光信号中的可见光的能量不同。由于，第一光信号中的可见光的能量与第二光信号中的可见光的能量不同，有利于两个图像传感器在光照强度高于预设值时(即白天)得到的两幅图像的亮度不同。基于前述两幅亮度不同亮度的图像确定目标图像有利于提升动态范围。

根据第一方面的第二种实施方式，本申请实施例第一方面的第三种实施方式中，该第一图像传感器与该第二图像传感器均为彩色图像传感器。

根据第一方面的第三种实施方式，本申请实施例第一方面的第四种实施方式中，该摄像装置还包括可见光截止滤光片；该摄像装置，还用于当光照强度低于预设值时启动该可见光截止滤光片，该可见光截止滤光片位于该光学组件和该第二图像传感器之间，该可见光截止滤光片用于滤除该第二光信号中的可见光。该第二图像传感器，具体用于感应该第二光信号中的红外光，生成该第二图像。该图像处理器，具体用于将该第四图像与该第二图像融合，得到该目标图像。

本实施方式中，提出在光照强度较低时采用可见光滤光片滤除第二光信号中的可见光，以截止第二图像传感器在感应红外光时受可见光的影响。虽然，第二图像传感器为彩色图像传感器，但该第二光信号中仅包含红外光，因此，该第二图像仅包含第二亮度信息而无色彩信息。由于，前述第四图像比第三图像具有更真实的色彩，因此，将第四图像和第二图像融合得到的目标图像比将第四图像和第二图像融合得到的图像具有更好的质量，有利于该摄像装置在更低光照强度下工作。

根据第一方面的第三种实施方式，本申请实施例第一方面的第五种实施方式中，该摄像装置还包括红外光截止滤光片；该摄像装置，还用于当光照强度高于预设值时启动该红外光截止滤光片，该红外截止滤光片位于该光学组件和该第二图像传感器之间，该红外光截止滤光片用于滤除该第二光信号中的红外光。该第二图像传感器，具体用于感应该第二光信号中的可见光，该第二图像的图像信息还包括第二色彩信息。该图像处理器，具体用于将该第三图像与该第二图像融合，得到该目标图像。

本实施方式中，提出在光照强度较高的情况下采用红外截止滤光片滤除第二光信号中的红外光，以使得该第二图像传感器输出的第二图像呈现出色彩。此外，还提出可以直接将前述第三图像和第二图像进行融合。由于，该前述第三图像感应的可见光的能量和前述第二图像感应的可见光的能量不同，因此，该第三图像呈现的亮度和色彩与该第二图像呈现的亮度和色彩不同，将前述两幅图像进行融合可以使输出的目标图像为高动态范围的图像。

根据第一方面、第一方面的第一种实施方式至第一方面的第五种实施方式中的任意一种实施方式，本申请实施例第一方面的第六种实施方式中，该光学组件包括镜头与分光棱镜，该分光棱镜位于该镜头与图像传感器之间。该镜头，用于接收该入射光信号。该分光棱镜，用于将该镜头接收的入射光信号分为该第一光信号和该第二光信号。

本实施方式中，提出采用分光棱镜将入射光信号分为不同频率且不同能量的第一光信号和第二光信号，有利于提高目标图像的动态范围。

根据第一方面的第六种实施方式，本申请实施例第一方面的第七种实施方式中，该镜头为红外共焦镜头。

根据第一方面、第一方面的第一种实施方式至第一方面的第五种实施方式中的任意一种实施方式，本申请实施例第一方面的第八种实施方式中，该摄像装置还包括红外截止滤光片。该光学组件包括第一镜头和第二镜头，该第一镜头与该第二镜头用于共同接收该入射光信号。该第一镜头的焦距与该第二镜头的焦距相同。该第一镜头的光圈大于该第二镜头的光圈。该第二镜头为红外共焦镜头。该第一镜头，用于接收该入射光信号中的一部分，并将收到的光信号传输至该红外截止滤光片；该红外截止滤光片，用于滤除来自该第一镜头的光信号中的红外光，得到该第一光信号，并将该第一光信号传输至该第一图像传感器；该第二镜头，用于接收该入射光信号中的余下部分，并将收到的光信号作为第二光信号传输至该第二图像传感器。

本实施方式中，提出可以采用不同光圈的双目镜头使照向不同图像传感器的光信号的能量不同。由于，光圈越大光通量越多，因此，前述第一镜头输出的第一光信号中的可见光的能量大于第二镜头输出的第二光信号中的可见光的能量。此外，该第一镜头与第一图像传感器之间还设置有红外截止滤光片，可以使该第一光信号中仅有可见光而不含红外光。

根据前述任意一种实施方式，本申请实施例第一方面的第十二种实施方式中，该第二图像的分辨率等于该目标图像的分辨率。

第二方面，本申请实施例提供了一种图像处理器，该图像处理器与摄像装置中的存储器连接。该存储器，用于存储该处理器处理的数据或程序，例如前述第一图像、第二图像、第三图像以及第四图像；该图像处理器，用于调用该存储器中的程序对前述第一图像、第二图像、第三图像以及第四图像进行图像处理。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，由于，第一图像传感器具有将相邻像素合并的功能(即Binning功能)，因此，该第一图像传感器输出的低分辨率的第一图像的每个像素的进光量将增大，进而可以降低第一图像的信噪比，进而提高第一图像的色彩灵敏度，保证第一图像的色彩真实且具有较高的亮度；而第二图像传感器输出的高分辨率的第二图像具有较高的清晰度，可以呈现丰富的细节和纹理。基于前述两幅图像确定的目标图像可以保留第一图像和第二图像的优点，因此，可以使摄像装置工作于更低光照强度的环境。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1A为本申请实施例中摄像装置的一个实施例的示意图；

图1B为本申请实施例中摄像装置的另一个实施例的示意图；

图1C为本申请实施例中摄像装置的另一个实施例的示意图；

图2A为本申请实施例中摄像装置的另一个实施例的示意图；

图2B为本申请实施例中图像处理流程的一个实施例的示意图；

图2C为本申请实施例中图像处理流程的另一个实施例的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供了一种摄像装置，用于在低照度环境下输出较高质量的图像，降低摄像装置的工作照度下限。

为便于理解，下面先对本申请实施例所提出的摄像装置的应用场景进行介绍：

本申请实施例所提出的摄像装置可以应用于低照度(low illumination/lowlight)环境下的摄像。具体地，该低照度环境指光照强度低于一定的值的环境，一般由摄像装置中图像传感器的单位面积上接受可见光的能量来衡量，单位为勒克斯(Lux，也简称为Lx)。一般地，可以将大于0Lux且小于1Lux的光照环境称为低照度环境。具体地，该低照度环境可以为室外昏暗的街道，例如，夜晚时的街道、或阴雨天的街道；也可以为仅有微弱灯光的室内，例如，仅有微弱灯光的商店、仓库等，具体此处不做限定。

在前述低照度场景下，由于，当图像传感器的感光面积固定时，输出的图像的色彩灵敏度和图像的分辨率之间呈反相关。考虑到图像传感器感应红外光生成的灰度图像能够提供较高的空间分辨率，并且，人眼视觉系统对亮度信息更为敏感而对色彩空间分辨率不太敏感。因此，可以牺牲部分彩色图像的空间分辨率以换取色彩灵敏度的提升，进而达到降低摄像装置的工作照度下限的效果。又考虑到部分图像传感器具有像素合并模式(camerabinning mode)，常被简称为Binning模式。具有该像素合并模式的图像传感器可以将多个相邻像素的电荷通过物理方法叠加在一起作为一个像素输出信号，以缩小分辨率、提升暗处对光感应的灵敏度。因此，本申请实施例利用这种图像传感器的特性提出了一种摄像装置，用于降低摄像装置的工作照度下限。例如，原本摄像机的工作照度要求下限是1Lux，低于1Lux难以获得可以被人眼接受的彩色图像。使用本发明实施例提供的方案后，可以将摄像装置的工作照度下限降低至0.1Lux，甚至0.01Lux，具体此处不做限定。

下面将对本申请实施例提出的摄像装置进行介绍，如图1A所示，该摄像装置10(例如摄像机)包括：第一图像传感器101、第二图像传感器102、光学组件103和图像处理器104。其中，该光学组件103用于接收入射信号，并将入射光信号处理为第一光信号和第二光信号，其中入射光信号由被摄像装置10拍摄的对象发出。该光学组件103还用于并且控制该第一光信号射向第一图像传感器101，控制该第二光信号射向第二图像传感器102。此外，该第一图像传感器101的分辨率等于该第二图像传感器102的分辨率，并且，该第一图像传感器101具有相邻像素合并的功能，即该第一图像传感器具有像素合并模式(即Binning模式)。

其中，该第一图像传感器101，用于感应该第一光信号生成第三图像，并将该第三图像中的每N个相邻像素合并为一个像素，得到第一图像。该第三图像和第一图像均为彩色图像，该第一图像相比于该第三图像具备更高的色彩灵敏度，因此，该第一图像可以记录更丰富的色彩，也可以适当提升亮度。该第一图像的图像信息包括第一色彩信息和第一亮度信息。其中，该N为大于1的整数。此时，该第一图像的分辨率小于该第三图像的分辨率。

该第二图像传感器102，用于感应该第二光信号生成第二图像，该第二图像是彩色图像或者灰度图像，该第二图像的图像信息包括第二亮度信息(当第二图像是彩色图像时，该第二图像还包括第二色彩信息)。由于，第一图像传感器101的分辨率等于第二图像传感器102的分辨率，因此，该第三图像的分辨率等于该第二图像的分辨率，该第一图像的分辨率小于该第二图像的分辨率。

该图像处理器104，用于基于该第一图像和该第二图像确定目标图像，该目标图像的色彩和亮度由该第一图像的图像信息和该第二图像的图像信息确定。可选的，该图像处理器104，还用于基于该第三图像和该第二图像确定目标图像，该目标图像的色彩和亮度由该第三图像的图像信息和该第二图像的图像信息确定。例如，该图像处理器104可以是片上系统(system on chip，SoC)。

应当理解的是，由于该第一图像包含第一色彩信息，即第一图像能够呈现出色彩，因此，该第一图像传感器101为彩色图像传感器。可选的，该第二图像传感器102可以为彩色图像传感器，也可以为黑白图像传感器，具体请参阅后文图2A对应实施例的相关介绍，此处不再赘述。

本申请实施例中，由于，第一图像传感器具有将相邻像素合并的功能(即Binning功能)，因此，该第一图像传感器输出的低分辨率的第一图像的每个像素的进光量将增大，进而可以降低第一图像的信噪比，进而提高第一图像的色彩灵敏度，保证第一图像的色彩真实且具有较高的亮度；而第二图像传感器输出的高分辨率的第二图像具有较高的清晰度，可以呈现丰富的细节和纹理。基于前述两幅图像确定的目标图像可以保留第一图像和第二图像的优点，因此，可以使摄像装置工作于更低光照强度的环境。

基于前述实施例，该图像处理器104确定目标图像的过程可以包括如下：

首先，该图像处理器104将第一图像的分辨率调整至与第二图像的分辨率相同，得到第四图像。然后，该图像处理器104基于该第四图像和该第二图像确定该目标图像。可选的，该目标图像的分辨率等于该第二图像的分辨率。在前述过程中，虽然该第四图像的分辨率与该第一图像的分辨率不同，但是，该第四图像呈现的色彩和亮度来自于该第一图像。因此，将前述低分辨率的第一图像调整为高分辨率的第四图像的过程，不仅可以保留第一图像呈现的色彩和亮度，还有利于基于第四图像和第二图像确定目标图像。

应当理解的是，在该图像处理器104将第一图像的分辨率调整至与第二图像的分辨率相同的过程中，该图像处理器104可以采用上采样算法或超分辨率算法，具体此处不做限定。此外，该图像处理器104基于前述第四图像和第二图像确定目标图像的过程，主要指图像融合(image fusing)过程。图像融合(image fusion)指一种图像处理技术，可以使用特定的算法将两幅或多幅图像综合成一幅新的图像，合成后的图像具备原始图像(即合成前的两幅或多幅图像)的优良特性。例如，亮度、清晰度以及色彩等特性。

可选的，该摄像装置10还包括图像信号处理器(image signal processor，ISP)芯片(图未示)，该ISP芯片位于前述图像传感器和图像处理器104之间。可选的，前述ISP芯片可以为两路处理进程，分别对第一图像传感器101输出的第一图像和第二图像传感器102输出的第二图像进行处理，并将处理后的第一图像和第二图像发送至前述图像处理器104进行后续处理。可选的，该ISP芯片可以对前述第一图像和第二图像进行多项ISP处理，例如，3D降噪、去马赛克、亮度矫正以及色彩矫正等处理。前述基本的图像处理可以根据实际应用需求进行调整，具体此处不限定前述基本的图像处理的内容。

需要说明书的是，本实施例以及后续实施例中，将从第一图像传感器101输出的图像到调整分辨率之前的图像均称为第一图像。类似的，将从第二图像传感器102输出的图像到进行图像融合或组合之前的图像均称为第二图像。也就是说，在实际应用中，从图像传感器输出的原始图像可以经过多种处理流程，而本申请实施例并没有对前述处理流程进行限定。换句话说，在后续如果直接对图像传感器输出的RAW图像进行融合，那么所述第一图像是RAW格式；如果对ISP芯片输出的的RGB图像进行融合，那么所述第一图像是RGB格式；如果对ISP芯片输出的YUV图像进行融合，那么所述第一图像是YUV格式(为减少冗余，后续实施例仅以第一、第二图像均为YUV格式的图像为例进行介绍)。此外，第一图像与第二图像均未经过压缩编码，融合后的图像可以通过编码生成易于被人眼识别并且占用存储空间更小的图像格式，例如jpeg格式(简称为jpg格式)、bmp格式、tga格式png格式以及gif格式。

可选的，在将前述第四图像和第二图像进行融合之前，该ISP芯片还可以对前述第四图像和第二图像进行图像校正。具体地，该ISP芯片可以将第四图像的坐标系矫正至第二图像的坐标系中，使得前述两幅图像中的场景对齐，也可以理解为，使前述两幅图像的呈现的纹理细节对齐。可选的，该ISP芯片可以采用预设的矫正参数对前述两幅图像进行调整，也可以根据当前温度的变化自适应配置矫正参数以完成图像矫正。

可选的，前述第一图像传感器101或第二图像传感器102可以为由电荷耦合器件(charged coupled device，CCD)构成的CCD图像传感器，也可以为由互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)构成的CMOS图像传感器，还可以为其他类型的图像传感器，具体此处不做限定。

在前述实施例中，该摄像装置10中的第一图像传感器采用Binning模式，通过降低第一图像传感器输出的第一图像的空间分辨率换取色彩灵敏度(即低照灵敏度)。因此，可以使该摄像装置10更好地工作于低照度环境。在此基础之上，该光学组件103具体用于通过对入射光信号处理，使该第一光信号中的可见光的能量大于该第二光信号中的可见光的能量。其中，第一光信号包括可见光，第二光信号包括可见光和红外光。也可以理解为，该光学组件103对入射光信号进行分频分能量。其中，分频指将入射光信号按照不同频率进行划分，例如，将入射光信号分为可见光和红外光。而前述能量与光波的振幅的平方成正比，前述可见光的能量也可以理解为可见光的强度。因此，分能量可以理解为为通过使用透镜的镀膜等物理构造，把入射光信号中的可见光分离成第一光信号与第二光信号，第一光信号中的可见光的强度与第二光信号中的可见光的强度不同，并且前述第一光信号中的可见光与第二光信号中的可见光之间的强度比例固定。应当注意的是，该第一光信号中的可见光的频段与该第二光信号中的可见光的频段相同；或者，第一光信号中的可见光的频段与该第二光信号中的可见光的拥有相同频段的光，例如第一光信号和第二光信号都拥有绿光。

在这样的实施方式中，由于，第一光信号中的可见光的能量与第二光信号中的可见光的能量不同，有利于两个图像传感器在光照强度高于预设值时(即白天)得到的两幅图像的亮度不同。基于前述两幅亮度不同亮度的图像确定目标图像有利于提升动态范围。此外，前述第一光信号中的可见光的能量与第二光信号中的可见光的能量之间的比例可以根据实际应用需求灵活控制。例如，第一光信号与第二光信号包含的可见光频段相同，并且第一光信号中的可见光的能量与第二光信号中的可见光的能量之比可以保持为9：1，或者保持为8:2，或者保持为7:3，或者保持为6:4，或者保持为6.5:3.5等，具体此处不做限定。

进一步地，前述光学组件103可以采用如下任意一种实现方式：

如图1B所示，为前述光学组件103的一种实现方式。该光学组件103包括分光棱镜1031和镜头1032，该分光棱镜1031也可以被称为分束棱镜(beam splitter)，是一种光学器件，通过在光学玻璃表面镀上一层或多层薄膜，利用光线的折射和反射将入射光信号分成两束。本实施例中，该分光棱镜1031用于将该入射光信号分为第一光信号和第二光信号。其中，第一光信号包括可见光，第二光信号包括可见光和红外光。具体地，入射光信号中的一部分可见光通过镀膜层射向该第一图像传感器101，该入射光信号中的另一部分可见光和全部红外光在镀膜层处反射，并照射向该第二图像传感器102。应当理解的是，如果不同光学组件选择使用具有不同厚度、组成成分镀膜层的光学玻璃，那么，不同的光学组件各自对应第一光信号中的可见光的能量与第二光信号中的可见光能量之间的比例亦会不同。可选的，该镜头1032为红外共焦镜头，该红外共焦镜头用于实现红外共焦。

此外，该光学组件103常与滤光片配套使用。具体地，可以在分光棱镜1031与第一图像传感器101之间设置滤光片(例如，滤光片1051)，也可以在分光棱镜1032与第二图像传感器102之间设置滤光片(例如，滤光片1052)。可选的，当前述滤光片1051为红外截止滤光片时，可以防止进入第一图像传感器101中的第一光信号混入红外光。可选的，当前述滤光片1052为红外截止滤光片时，可以滤除第二光信号中的红外光；当前述滤光片1052为可见光截止滤光片时，可以滤除第二光信号中的可见光。

本实施方式中，通过重新设计分光棱镜并结合滤光片以实现分频(在第一、第二光信号中，通过使用红外滤截止光片，避免了第一光信号中出现红外光，实现了红外光频段与可见光频段的切分)分能量(在第一、第二光信号中均包括相同频段的可见光，而且这两路可见光的能量不同，实现了能量的切分)，可以将可见光和红外光分频到两个图像传感器，同时可以控制入射光信号中的可见光分别进入到两个图像传感器的比例。因此，可以使最终输出的融合图像，在光照强度较高时(例如，白天)可以提升动态范围(dynamic range)，在光照强度较低时(例如，黑夜)在前述提升低照度的基础上可以进一步使目标图像的色彩更自然。

如图1C所示，为前述光学组件103的另一种实现方式。

该光学组件103包括第一镜头1033和第二镜头1034，该第一镜头1033用于汇聚入射光信号中的一部分以使得输出的光信号照向第一图像传感器101，该第二镜头1034用于汇聚入射光信号中的余下部分以使得输出的光信号照向第二图像传感器102。其中，该第一镜头1033的焦距与该第二镜头1034的焦距相同。可选的，该第一镜头1033的光圈大于该第二镜头1034的光圈。因此，该第一镜头1033的光通量大于该第二镜头1034的光通量。因此，第一镜头1033输出的可见光的能量大于第二镜头1034输出的可见光的能量。也可以理解为，前述第一镜头1033与第二镜头1034实际通过的光信号不同。此外，关于可见光的能量的解释可以参阅前述图1B对应实施例的相关介绍，此处不再赘述。

此外，该第一镜头1033与该第一图像传感器101之间设有滤光片(例如，滤光片1051)，该第二镜头1034与该第二图像传感器102之间也可以设置滤光片(例如，滤光片1052)。具体地，前述滤光片1051为红外截止滤光片，用于过滤来自该第一镜头1033的光信号中的红外光，以使得该第一图像传感器101感应的第一光信号中仅有可见光而不含红外光。可选的，当前述滤光片1052为红外截止滤光片时，可以滤除第二光信号中的红外光；当前述滤光片1052为可见光截止滤光片时，可以滤除第二光信号中的可见光。此外，该第二镜头1034为红外共焦镜头。

本实施方式中，采用焦距相同但光圈大小不同的两个镜头组成双目镜头，以实现分能量(不同传感器分到的光能量不同)。由于光圈的尺寸大小决定了能够通过镜头的光线强弱，因此采用不同大小的光圈，可以控制进入两个图像传感器的可见光的能量不同。再结合前述图像传感器架构在不同的光照强度下采用不同的滤光片，可以使最终输出的融合图像，在光照强度较高时(例如，白天)可以提升动态范围，在光照强度较低时(例如，黑夜)进一步使目标图像的色彩更自然。

在实际应用中，前述图1A中的光学组件103以及后文涉及的光学组件可以采用图1B所示的实现方式，也可以采用图1C所示的实现方式，具体可以根据应用场景选择，此处不做限定。

具体如图2A所示，前述摄像装置中的第一图像传感器和第二图像传感器均为彩色图像传感器。可选的，该彩色图像传感器可以为拜耳格式图像传感器(Bayer imagesensor)或者其他格式的彩色图像传感器。该第一图像传感器与光学组件之间设置有红外截止滤光片，该第二图像传感器和该光学组件之间设置有双光滤光片。该双光滤光片也被称为IR-CUT自动切换滤镜。该IR-CUT自动切换滤镜上设置有感光装置，或该IR-CUT自动切换滤镜与感光装置相连，该感光装置将感应到的光照强度传输至摄像装置。当侦测到光照强度变化时，该摄像装置(具体而言可以是摄像装置中的滤光片控制芯片)可以控制IR-CUT自动切换滤镜自动切换。例如，在光照强度大于预设值时(例如白天)，切换至红外截止滤光片，在光照强度小于预设值时(例如黑夜)，切换至可见光截止外滤光片。可选的，可以把双光滤光片替换成红外截止滤光片，由摄像装置控制红外截止滤光片的使能与无效。

当光照强度低于预设值时，结合图2B进行介绍。

该第一图像传感器为高分辨率彩色图像传感器。该第一图像传感器感应第一光信号中的可见光生成第三图像，并将该第三图像中的每N个相邻像素合并为一个像素，得到第一图像，该N为大于1的整数。其中，该第三图像为高分辨率彩色图像，该第一图像为低分辨率彩色图像。其中，该低分辨率彩色图像包括第一色彩信息和第一亮度信息，该高分辨率彩色图像包括第三色彩信息和第三亮度信息。其中，该第一色彩信息用于指示该低分辨率彩色图像的色彩，该第一亮度信息用于指示该低分辨率彩色图像呈现的亮度。该第三色彩信息用于指示该高分辨率彩色图像的色彩，该第三亮度信息用于指示该高分辨率彩色图像呈现的亮度。本实施例不限定第一亮度信息、第一色彩信息、第三色彩信息和第三亮度信息的具体形式。

该第二图像传感器和该光学组件之间设置的双光滤光片切换为可见光截止滤光片，该第二图像传感器感应该第二光信号中的红外光，输出高分辨率灰度图像，即前述第二图像。其中，该高分辨率灰度图像包括第二亮度信息，该第二亮度信息用于指示该高分辨率灰度图像呈现的亮度。该第二亮度信息可以采用亮度分量Y表示。本申请实施例不限定第二亮度信息的具体形式。应当理解的是，虽然该第二图像传感器可以记录色彩，但该第二图像传感器仅感应到红外光而无可见光，因此该第二图像仅呈现亮度而无法呈现色彩。因此，该第二图像仅有亮度分量Y而无色度分量U/V。

应当理解的是，前述图像传感器直接生成的图像是RAW格式，根据图像传感器设计的不同，RAW格式也分成多种类型，例如可以是拜耳RGGB，RYYB，RCCC、RCCB、RGBW、CMYW等多种格式。使用ISP芯片，可以把各种格式的RAW图像转换成RGB格式图像。使用ISP芯片，亦可以把RAW格式图像转换成YUV格式图像，或者HSV格式图像、或者Lab格式图像、或者CMY格式图像、或者YCbCr格式图像。例如：ISP芯片先把RAW格式图像转换成RGB格式图像，再把RGB格式图像转换成YUV格式图像。

该摄像装置中的ISP芯片还可以对前述低分辨率彩色图像和前述高分辨率灰度图像进行前述ISP处理。例如，3D降噪、去马赛克、亮度矫正以及色彩矫正等处理。可选的，该ISP芯片还可以对前述低分辨率彩色图像和高分辨率灰度图像的格式进行调整，例如，将拜耳格式调整为YUV格式等，具体此处不做限定。

此外，该图像处理器采用上采样算法或超分辨率算法将前述低分辨率彩色图像调整为高分辨率彩色图像，该高分辨率的彩色图像与前述高分辨率的灰度图像具有相同的分辨率。然后，该图像处理器将前述高分辨率彩色图像和高分辨率的灰度图像融合，得到目标图像。

为便于理解，以图2B为例进行介绍。将第一图像传感器采集的RGB格式图像201进行相邻像素合并，得到低分辨率的RGB格式图像202。然后，将低分辨率的RGB格式图像202转换为低分辨率的YUV格式图像203，然后，再对低分辨率的YUV格式图像203进行上采样得到高分辨率的YUV格式图像204。然后，将高分辨率的YUV格式图像204和仅有Y分量的灰度图像205进行融合，得到高分辨率的YUV格式图像206(即目标图像)。

本实施方式中，将经像素合并再上采样的高分辨率彩色图像与高分辨率灰度图像进行融合。其中，高分辨率的彩色图像具有较高的色彩灵敏度，高分辨率灰度图像具有较高亮度，因此，可以保证输出的目标图像的色彩真实且纹理清晰，有利于摄像装置工作于更低光照强度的环境。

当光照强度高于预设值时，结合图2C进行介绍。

该第一图像传感器感应第一光信号中的可见光，输出高分辨率彩色图像(即前述第三图像)。

该第二图像传感器和该光学组件之间设置的双光滤光片切换为红外截止滤光片，该红外截止滤光片用于滤除该第二光信号中的红外光。因此，该第二图像传感器感应该第二光信号中的可见光，输出高分辨率彩色图像。此时，该高分辨率彩色图像(即前述第二图像)不仅包括第二亮度信息还包括第二色彩信息。应当理解的是，当前述图像传感器的格式不同时，输出的图像的格式也将不同，具体前文已作详细介绍，此处不再赘述。

该摄像装置中的ISP芯片还可以对前述两幅高分辨率彩色图像进行前述ISP处理。例如，3D降噪、去马赛克、亮度矫正以及色彩矫正等处理。可选的，该ISP芯片还可以对两幅高分辨率彩色图像的格式进行调整，例如，将拜耳格式调整为YUV格式等，具体此处不做限定。

该图像处理器将前述两幅高分辨率彩色图像融合，得到目标图像。由于前述两幅图像的感应的可见光的能量不同，因此前述两幅图像具有不同的亮度，将前述两幅图像进行融合得到目标图像，有利于提升目标图像的动态范围。

为便于理解，以图2C为例进行介绍。将第一图像传感器采集的高分辨率的RGB格式图像211转换为高分辨率的YUV格式图像212。与此同时，该第二图像传感器将采集高分辨率RGB格式图像213转换为高分辨率的YUV格式图像214。其中，由于第一图像传感器与第二图像传感器感应的可见光的能量不同，因此，高分辨率的RGB格式图像211与高分辨率RGB格式图像213的色彩和亮度不完全相同。类似的，高分辨率的YUV格式图像212与高分辨率的YUV格式图像214也不完全相同。然后，再将高分辨率的YUV格式图像212和高分辨率的YUV格式图像214进行融合，得到高分辨率的YUV格式图像215(即目标图像)。该目标图像可以具备前述两幅图像的优点，在提升目标图像的质量的同时提升动态范围。

应当理解的是，虽然前述图2B和图2C采用YUV420列举示例，但是在实际应用中，可以根据具体需求调整图像的格式，具体此处不做限定。此外，虽然前述YUV格式与RGB格式为不同的颜色编码方式，但编码格式的改变不会影响图像呈现的色彩。

可选的，本实施方式中的第一光信号中的可见光与第二光信号中的可见光的比例为9:1。也可以理解为，前述光学组件同时按频谱和能量进行分束，其中，入射光信号中90％的可见光照射向第一图像传感器，入射光信号中10％的可见光和100％的红外光照射向第二图像传感器。并且结合滤光片进一步调整实际进入前述两个图像传感器的光信号。

可选的，前述摄像装置中的第二图像传感器也可以为黑白图像传感器。该黑白图像传感器可以为MONO格式图像传感器(Mono image sensor)或者其他格式的黑白图像传感器，具体此处不做限定。此时，当光照强度低于预设值时，该第二图像传感器依旧输出高分辨率的灰度图像。因此，该摄像装置中的其余部分的实施方式可以与图2A对应的实施方式相同，具体此处不再赘述。这样的实施方式也可以提升目标图像的质量，以使得该摄像装置工作于更低光照强度的环境。

本发明还提出一种图像处理方法，其中，第一图像传感器生成第一图像，第二图像传感器生成第二图像，该第一图像的分辨率小于该第二图像的分辨率。该图像处理器执行：将该第一图像的分辨率调整至与该第二图像的分辨率相同；以及基于该第一图像和该第二图像生成目标图像等步骤。

应当理解的是，本申请实施例中，不同的附图中相同的附图标记可视为同一对象。除在有特别说明，前述各个附图之间相同的附图标记的解释可以相互引用。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种摄像装置，其特征在于，包括：

光学组件，用于接收入射光信号，将所述入射光信号处理为第一光信号和第二光信号；

第一图像传感器，具有相邻像素合并的功能，用于感应所述第一光信号生成第三图像，并将所述第三图像中的每N个相邻像素合并为一个像素，得到第一图像，所述第一图像的图像信息包括第一色彩信息和第一亮度信息，所述N为大于1的整数，所述相邻像素合并的功能用于将多个相邻像素的电荷叠加在一起作为一个像素输出信号，所述第一图像传感器为彩色图像传感器；

第二图像传感器，用于感应所述第二光信号生成第二图像，所述第二图像的图像信息包括第二亮度信息，所述第一图像传感器的分辨率等于所述第二图像传感器的分辨率，所述第一图像的分辨率小于所述第二图像的分辨率；

图像处理器，用于基于所述第一图像与所述第二图像生成目标图像，所述目标图像的色彩和亮度由所述第一图像的图像信息和所述第二图像的图像信息确定；或者，用于基于所述第三图像与所述第二图像生成目标图像，所述目标图像的色彩和亮度由所述第三图像的图像信息和所述第二图像的图像信息确定。

2.根据权利要求1所述的摄像装置，其特征在于，所述图像处理器，具体用于：

将所述第一图像的分辨率调整至与所述第二图像的分辨率相同，得到第四图像，所述第四图像携带所述第一色彩信息和所述第一亮度信息；

将所述第四图像与所述第二图像融合，得到所述目标图像。

3.根据权利要求2所述的摄像装置，其特征在于，所述第一光信号包括可见光，所述第二光信号包括可见光和红外光，所述第一光信号中的可见光的能量大于所述第二光信号中的可见光的能量，所述第一光信号中的可见光的频段与所述第二光信号中的可见光的频段相同。

4.根据权利要求3所述的摄像装置，其特征在于，所述第二图像传感器为彩色图像传感器。

5.根据权利要求4所述的摄像装置，其特征在于，所述摄像装置还包括可见光截止滤光片；

所述摄像装置，还用于当光照强度低于预设值时启动所述可见光截止滤光片，所述可见光截止滤光片位于所述光学组件和所述第二图像传感器之间，所述可见光截止滤光片用于滤除所述第二光信号中的可见光；

所述第二图像传感器，具体用于感应所述第二光信号中的红外光，生成所述第二图像；

所述图像处理器，具体用于将所述第四图像与所述第二图像融合，得到所述目标图像。

6.根据权利要求4所述的摄像装置，其特征在于所述摄像装置还包括红外光截止滤光片；

所述摄像装置，还用于当光照强度高于预设值时启动所述红外光截止滤光片，所述红外光 截止滤光片位于所述光学组件和所述第二图像传感器之间，所述红外光截止滤光片用于滤除所述第二光信号中的红外光；

所述第二图像传感器，具体用于感应所述第二光信号中的可见光，生成所述第二图像，所述第二图像的图像信息还包括第二色彩信息；

所述图像处理器，具体用于将所述第三图像与所述第二图像融合，得到所述目标图像。

7.根据权利要求1至6中任意一项所述的摄像装置，其特征在于，所述光学组件包括镜头与分光棱镜，所述分光棱镜位于所述镜头与图像传感器之间；

所述镜头，用于接收所述入射光信号；

所述分光棱镜，用于将所述镜头接收的入射光信号分为所述第一光信号和所述第二光信号。

8.根据权利要求7所述的摄像装置，其特征在于，所述镜头为红外共焦镜头。

9.根据权利要求1至6中任意一项所述的摄像装置，其特征在于，所述摄像装置还包括红外截止滤光片；

所述光学组件包括第一镜头和第二镜头，所述第一镜头与所述第二镜头用于共同接收所述入射光信号，所述第一镜头的焦距与所述第二镜头的焦距相同，所述第一镜头的光圈大于所述第二镜头的光圈，所述第一镜头与所述第一图像传感器之间设有所述红外截止滤光片，所述第二镜头为红外共焦镜头；

所述第一镜头，用于接收所述入射光信号中的一部分，并将收到的光信号传输至所述红外截止滤光片；

所述红外截止滤光片，用于滤除来自所述第一镜头的光信号中的红外光，得到所述第一光信号，并将所述第一光信号传输至所述第一图像传感器；

所述第二镜头，用于接收所述入射光信号中的余下部分，并将收到的光信号作为第二光信号传输至所述第二图像传感器。

10.根据权利要求1至6中任意一项所述的摄像装置，其特征在于，所述第一图像传感器是宾宁Binning传感器。

11.根据权利要求1或2所述的摄像装置，其特征在于，

所述第一图像的格式是YUV格式；

所述第二图像的格式是YUV格式。

Images