CN102857708B - 图像传感器、摄像装置及图像数据生成方法 - Google Patents

Abstract

本发明公开了一种图像传感器、摄像装置及图像数据生成方法。该图像传感器包括多个像素阵列，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应于一个子像素；多个读出单元，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号；多个电荷集成单元，每个电荷集成单元分别与属于同一像素的多个读出单元相连，用于将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号。本发明将多个子像素合并为一个像素输出增大了每个像素的感光电荷量，使得本发明能适用于低照度工作环境。

Description

图像传感器、摄像装置及图像数据生成方法

技术领域

本发明涉及图像传感器，特别地，涉及一种图像传感器、摄像装置及图像数据生成方法。

背景技术

视频监控通常用于观测人的行为，活动和其他变化信息，一般来讲，视频监控主要是应用能观察一定距离的电子设备来获取运动信息，例如，交通流量。

政府或执法部门通常利用视频监控来维护社会稳定，监控各种突发事件，恐怖危险等不安全的因素。依靠各种先进的监控设备的技术优势，政府部分正逐步增强对监控各种不同危险的前所未有的能力。

交通监控技术是一种新型和实用的监控技术，监控摄像头安装在道路口两侧的交通信号设备上。不管是为将来研究而记录交通模式还是为观察交通违章，交通摄像头都是视频监控领域中非常受欢迎的产品。

通常我们会看到利用安装的多个摄像机来检测交通断面。典型的公路上会有双向8车道，这样一般情况下需要安装4或8个摄像机来监控1或2个车道。不仅会增加横跨车道的固定设施的复杂性，而且也会增加设备的投入成本。

在视频监控领域中，图像传感器的性能在系统中是非常重要的。图像传感器是将光信号转换为电信号的器件，其在数字电视和可视通信市场中有着广泛的应用。60年代末期，美国贝尔实脸室发现电荷通过半导体势阱发生转移的现象，因而提出了固态成像这一新概念和一维电荷耦合器件（Charge-CoupledDevice，CCD）模型。到90年代初期，CCD技术已发展得比较成热，得到非常广泛的应用。但是，随着CCD应用范围的扩大，其缺点逐渐暴露出来。首先，CCD技术芯片工艺复杂，不能与标准工艺兼容；其次，CCD技术芯片需要的电压功耗大，因此CCD技术芯片价格昂贵且使用不便。

目前，最引人注目、最有发展潜力的是采用标准的互补金属氧化物场效应管（ComplementaryMetalOxideSemiconductor，CMOS）技术来生产图像传感器，即，CMOS图像传感器。CMOS图像传感器芯片采用CMOS工艺，将图像采集单元和信号处理单元集成到同一块芯片上。20世纪80年代，英国爱丁堡大学成功地制造出了世界上第一块单片CMOS图像传感器件。目前，CMOS图像传感器正得到广泛的应用，具有很强的市场竞争力和广阔的发展前景。

与CCD技术相比，CMOS的制作工艺容易实现高分辨率，因此现在市场上的高分辨率彩色摄像机和手机相机上的图像传感器大多采用CMOS。但是，常规的CMOS图像传感器在低照度及频谱响应宽度上均不如CCD。

发明内容

本发明要解决的一个技术问题是提供一种图像传感器、摄像装置及图像数据生成方法，能够在低照度工作环境下利用单个摄像头监控多个目标。

根据本发明的一方面，提出了一种图像传感器，包括多个像素阵列，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应于一个子像素；多个读出单元，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号；多个电荷集成单元，每个电荷集成单元分别与属于同一像素的多个读出单元相连，用于将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号。

根据本发明的另一方面，还提出了一种图像传感器，包括多个像素阵列，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应一个子像素，在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片；多个读出单元，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号；多个电荷集成单元，每个电荷集成单元分别与每个读出单元相连，用于输出与每个子像素对应的电信号。

根据本发明的又一方面，还提出了一种摄像装置，包括前述实施例中的图像传感器。

根据本发明的再一方面，还提出了一种图像数据生成方法，包括设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将光信号转换为电信号，其中，每个感光元器件对应于一个子像素；按顺序读取与每个子像素对应的电信号；将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号；输出与每个像素对应的电信号。

根据本发明的再一方面，还提出了一种图像数据生成方法，包括设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将光信号转换为电信号，其中，每个感光元器件对应于一个子像素，并在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片；按顺序读取与每个子像素对应的电信号；输出与每个子像素对应的电信号。

本发明提供的图像传感器、摄像装置与图像数据生成方法，通过将与多个子像素对应的电信号合并为与一个像素对应的电信号的方式增大每个像素的感光电荷量以适用于低照度的工作环境，或者通过为同一像素的多个感光元器件覆盖可透过设定光谱频率的滤光片来在低照度环境下感应人眼不可见的目标。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。在附图中：

图1是本发明图像传感器的一个实施例的结构示意图。

图2a是本发明成像靶面的一个实例的示意图。

图2b是本发明像素阵列的一个实例的结构示意图。

图3是本发明图像传感器的另一实施例的结构示意图。

图4是现有技术中图像传感器的单个像素的一种功能示意图。

图5示出了图4中主像素的一种典型设计示意图。

图6示出了图4中读出电路和电荷集成器的一种设计示意图。

图7是本发明图像传感器的单个像素的一种功能示意图。

图8是图4的一种典型实现的示意图。

图9是图7中读出电路的一个实例的示意图。

图10是接受多个输入的CDS相关双采样电路的示意图。

图11是本发明反光晕结构的一个实例示意图。

图12是本发明图像传感器的又一实施例的结构示意图。

图13是本发明图像传感器的单个像素的另一种功能示意图。

图14是本发明中两种硅材料对近红外光响应范围的示意图。

图15是图13中读出电路的一个实例示意图。

图16是应用本发明图像传感器的一个实例的示意图。

图17为采用本发明的摄像装置分区域监控多个目标时应用不同的积分时间的实例示意图。

图18是本发明图像数据生成方法的一个实施例的流程示意图。

图19是本发明利用图像传感器生成图像数据的一个实施例的流程示意图。

图20是本发明图像数据生成方法的另一实施例的流程示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。本发明的示例性实施例及其说明用于解释本发明，但并不构成对本发明的不当限定。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

图1是本发明图像传感器的一个实施例的结构示意图。

如图1所示，该实施例的图像传感器100可以包括多个像素阵列110、多个读出单元120和多个电荷集成单元130。

其中，多个像素阵列110，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应于一个子像素，可选地，这些感光元器件可以为CMOS感光元器件或CCD感光元器件；

其中，像素阵列的数目可以与待显示目标的个数相关。在一个实例中，如图2a所示，如果待显示的目标为4个，则可以将成像靶面分为4个像素阵列1、2、3和4，对于每个像素阵列，如图2b所示，可以由1K×1K个像素构成，每个像素又可以由4个子像素构成。从图2a和图2b可以看出，该实例的分辨率为1678万像素，使得图像传感器的输出可以达到千万级像素。该实例仅用作示例性说明，并不够成对本发明的限制。其中，成像靶面中像素阵列的数目可以根据工艺实现难度和运算量等因素综合确定，每个像素中包含的子像素数目可以根据环境照度设置，在像素阵列数确定的情况下，每个像素阵列中的像素数目还可以根据分辨率和每个像素中的子像素数目确定。

多个读出单元120，每个读出单元分别与每个感光元器件相连，用于按读取每个感光元器件进行光电转换后的电信号，其中，该电信号可以为电荷量或电压信号。

多个电荷集成单元130，每个电荷集成单元分别与属于同一像素的多个读出单元相连，用于将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号。

举例说明，假设一个图像传感器包含多个像素阵列，每个像素包含N个子像素，N个读出单元独立地读出N个子像素感应的信号。需要指出的是，每个子像素有一个读出单元与之相关联，一个电荷集成单元将N个子像素的信号累积后作为最后的像素感应信号输出。

该实施例将多个子像素合并为一个像素输出，增大了每个像素的感光电荷量，从而使得本发明能够适用于低照度的工作环境，例如，能够在星光、0.0001lux或更低照度的环境下工作。

一般情况下，像素阵列的数目和每个像素阵列中的像素数目越多分辨率越高。例如，如果像素阵列的数目为四个，每个像素阵列中包括1024×1024个像素，每个像素中子像素的数目为四个，则所采集图像的分辨率可以达到1677万像素，并且该像素数为物理有效像素数，由此可见，该实例可以实现千万级像素的分辨率。与普通分辨率的图像传感器相比，前者分辨率为4×2K×2K，后者为720×526左右，因此前者的成像视场要比后者大得多，也就是看到的范围要大得多。在远程探测成像的时候，移动目标在大视场上移动的范围就比较大，不会很快从视场中消失（也就是移出视场）。

进一步地，像素阵列的数目和每个像素阵列中像素的数目在一定程度上还与显示设备的分辨能力相关，即，虽然感光元器件的分辨率很高，但是如果显示设备的分辨率较低，同样也不能实现高分辨率的显示效果。

图3是本发明图像传感器的另一实施例的结构示意图。

如图3所示，与图1中的实施例相比，该实施例的图像传感器300还可以包括：

多个模数转换器310，每个模数转换器分别与每个电荷集成单元相连，用于对与每个像素对应的电信号进行模数转换、并输出模数转换后的电信号。

可选地，每个模数转换器的位数由电信号的动态范围确定，例如，可以为12位模数转换器。

上述实例经过模数转换后，由于提高了与每个像素对应的电信号的动态范围，所以提高了图像的明暗对比度范围，从而在很大程度上改善了图像成像的质量和对比度。

在本发明图像传感器的另一实例中，每个模数转换器与归一化处理单元相连，由归一化处理单元对模数转换后的电信号进行归一化处理。

接下来结合电路结构通过与现有技术对比的方式对本发明实施例的图像传感器进行详细地说明。

有效像素传感器（ActivePixelSensors，APS）是包含集成像素感应器和放大电路的图像传感器，其中，很多类型的像素感应器包括CMOSAPS，图像传感器可以是CMOS器件，也可以是光电耦合器件CCD。

图4是现有技术中图像传感器的单个像素的一种功能示意图。

如图4所示，当图像传感器中每个主像素通过电子快门曝光的时候，主像素积累的电荷数量与光照强度成正比。传统的统一增益放大器-相关双采样电路（UnityGainAmplifier-CorrelatedDoubleSampling，UGA-CDS）读出电路用来读出主像素积累的电荷数量。电荷积分器用来输出最终的感应信号以便数字化。

图5示出了图4中主像素的一种典型设计示意图。

如图5所示，主像素应用了标准的3个晶体管，读出电路采用了一行（或一列）像素共享式的电路结构，其中，，Q1、Q2、Q3和Qrow是电荷量，CS是电路隔离，Vout是输出电压、VDD是输入电源电压，RST是预置电压。

图6示出了图4中读出电路和电荷集成器的一种设计的示意图。

如图6所示，读出电路采用CDS相关双采样电路结构来读出主像素的信号，电荷集成器即放大器，用来输出最终的感应信号，其中，Ch和Cf为旁路电容，Col、Sh和Reset为预置开关电压，Vi为输入电压，Vo为输出电压，Vr为比较电压。

图7是本发明图像传感器的单个像素的一种功能示意图。

如图7所示，为了增强主像素的灵敏度，主像素可以包含一定数量的子像素。为了便于解释，假设主像素包含4个子像素。实际上，子像素被光线独立地照射，电荷在每个子像素中累积。分层式UGA-CDS读出电路分别读出每个子像素累积的电荷，电荷集成器再将与一个像素相关联的多个读出电路的输出相合并，并将最终的电荷信号数字化。

图8是图4的一种典型实现的示意图。

如图8所示，包含CMOS子像素802、放大电路804和读出电路806，其中，PD为二极管，col、sha和shd是预置电压开关，Vrst、Vpd和Vdd为电压值，Vpd是二极管输出电压，Vrst是二极管预置电压，Reset为预置电压，Row是行输出，mxa和mxd是输出管脚。从光电二极管808输出的电压Vpd表示为：Vpd=Q/C，其中，Q是光电二极管808积累的电荷量，C是能够盛放积累光电转换的电荷数量的容积。

众所周知，Q=JL＊A＊Tint，C=Cd＊A，其中，JL是电流强度，与入射光强度相关，A是光电二极管808的面积，Cd是耗散电容，Tint是光电二极管808的积分时间。

因此，从光电二极管808输出的电压Vpd可以表示为：

Vpd=Q/C=（JL＊A＊Tint）/（Cd＊A）=（JL＊Tint）/Cd（1）

进而从公式（1）可以得出：从光电二极管808输出的电压Vpd与光电二极管808的面积无关。因此，图7中的子像素都能对主像素的输出电压Vpd做出贡献，图7中主像素的输出电压基本上是图8中光电二极管808输出电压Vpd的4倍。

由此可见，即使一个主像素包含四个子像素也没有显著增加感光单元或像素的面积，通过从子像素读出的数据累积来增加像素的感光灵敏度的方式并没有增加图像传感器的面积。

图9是图7中读出电路的一个实例的示意图。

如图9所示，可以从4个子像素中读出4个独立的电压Vpd，其中，Vcds是CDS的输出电压，Vpd是PD二极管的输出电压，Vrst是PD二极管的预置电压。

图10是接受多个输入的CDS相关双采样电路的示意图。

如图10所示，假定有n个子像素，其中，ch1、ch2…chn和Cf为旁路电容，V1，V2…Vn为多路输入电压，Vr为输入比较电压，Vo为输出电压，sh、Col和Reset为预置开关。因此电荷独立地保存在n个电容Ch1，Ch2，…Chn中，总电荷数量Qt可用下式表示：

Qt=Q1+Q2+…+Qn

=（V1-Vr）＊Ch1+（V2-Vr）＊Ch2+…+（Vn-Vr）＊Chn（2）

在读出模式下，电荷转换成电容Cf，在具体实例中，Qf=Qt，其中，

Qf=（Vr-Vo）＊Cf（3）

则输出电压Vo表示为：

Vo=Vr-[（V1-Vr）＊Ch1+（V2-Vr）＊Ch2+…+（Vn-Vr）＊Chn]/

Cf（4）

假设V1=V2=…=Vn=Vi，并且Ch1=Ch2=…=Chn=Ch，则：

输出Vo可重写为：

Vo=Vr-n＊Ch＊(Vi-Vr)/Cf（5）

从公式（5）可以得出：自包含n个子像素的每个主像素读出的电量可获得增益为-n＊Ch/Cf，其中，n为CDS相关双采样电路的输入个数。

前述将子像素的电荷累积合并输出的方式可以增强图像传感器在低照度条件下的灵敏度。需要指出的是，在强光照条件下，需要采取其他措施来防止多子像素结构的感光器件达到光饱和。

图11是本发明反光晕结构的一个实例的示意图。

在强光条件下，子像素的感光信号值会非常高。当合并多个子像素的信号时，会导致最后的输出信号饱和，变成无用的信号。图11所示的反光晕结构可以确保感应信号在电荷集成器之前不超过设定的阈值Vsat/N。为了防止信号饱和，需要选择合适的电压来保证Vcds<（Vsat/N），其中，N是一个像素包含的子像素个数，Vsat是反光晕门电压，Vcds是CDS相关双采样电路的不同输出，Vcds1=Vcds2=…=Vcds，Vuga是统一增益放大器输出电压，Vdd是输入电源电压，Vcds1和Vcds2是CDS电路输出电压，Vpd是PD二极管输出电压，Vrst是PD二极管预置电压，Cf是旁路电容，Reset是预置开关，Vo是输出电压。

在接下来的实施例中还可以通过半导体制造工艺提升红外线的吸收能力，例如，可以通过特殊工艺在感光材料表面增加一层膜，这个膜层可以增强对红外波段光线的吸收能力，即，增大了光电转换后的电荷量，在夜视和透雾的情况下，红外线增强了光电转换的电荷量，也就增强了成像的效果，因此，可以使感光光谱变宽，感光响应曲线将图像传感器频谱响应峰值提升至近红外波段，使传感器频谱范围延伸至短波红外（例如，400nm-1100nm，其涵盖了可见光、近红外及部分短波红外），从而提高了透雾及夜视能力。

图12是本发明图像传感器的又一实施例的结构示意图。

如图12所示，该实施例中的图像传感器1200包括多个像素阵列1210、多个读出单元1220和多个电荷集成单元1230。

其中，多个像素阵列1210，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应一个子像素，在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片；

可选地，该滤光片可以包括但不限于红滤光片、绿滤光片和蓝滤光片，进一步地，该滤光片还可以包括近红外滤光片，这样一些感应信号能够感应可见光产生的图像，而另一些感应信号则可以检测到低照度条件下的不可见光产生的图像。虽然基于覆盖了红绿蓝滤光片的子像素感应的信号能够产生彩色图像，但是并没有损失灵敏度和增大图像传感器的尺寸；基于覆盖了近红外滤光片的子像素感应的信号则可以检测低照度环境下的目标。

其中，感光元器件可以为CMOS感光元器件，为了使频谱响应覆盖到近红外区域，可以采用覆盖近红外滤光片的方式；也可以利用硅材料作为CMOS感光元器件的衬底，在此情况下可以不在子像素上覆盖红外滤光片也可以使频谱响应覆盖近红外部分，此时，在低照度环境下可以产生黑白图像。

另外，像素阵列的数目与待显示目标的个数相关，例如，像素阵列的数目可以为四个。

多个读出单元1220，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号。

多个电荷集成单元1230，每个电荷集成单元分别与每个读出单元相连，用于输出与每个子像素对应的电信号。

举例说明，一个图像传感器可以包含多个像素矩阵，像素阵列中的每个像素又可以包含N个子像素，每个子像素上面可以覆盖不同的光学滤光片以透过特定频率的光。N个读出电路独立地读出N个子像素感应的信号，需要指出的是每个子像素有一个读出电路与之关联。N个独立的电荷集成器各自独立地输出N个子像素的信号。这样一些像素就可以输出可见光的信号而另一些可以在低照度环境下感应到人眼不可见的物体。在每个子像素各自单独覆盖特定波长范围的滤光片的情况下可以非常容易地增大CMOS图像传感器的光谱响应。

图13是本发明图像传感器的单个像素的另一种功能示意图。

如图13所示，为另一种利用子像素来增强图像传感器频谱响应的具体实现实例。在本实例中，在每个像素上覆盖透过特定频率宽度的滤光片。为了便于解释，如图13所示，假设主像素包含4个子像素，其中三个子像素上各自覆盖红绿蓝滤光片（如图中斜线、圆点和横线区域所示），以看到彩色图像，另一个子像素上覆盖近红外的滤光片（如图中网格区域所示），以看到人眼看不到的物体。如果CMOS感光元器件采用硅材料作为衬底，由于硅材料可以在近红外区域传导光线，因此第四个子像素上可以不覆盖滤光片，这样也可以看到人眼看不到的物体。子像素积累的电荷通过读出电路独立读出，接着被电荷集成器独立处理。

不同于传统的使用拜耳滤镜的彩色CMOS图像传感器，本发明实施例中的图像传感器中的像素由于覆盖了四个不同频率宽度的滤光片，所以其频谱响应范围不但可以覆盖可见光，而且还扩展到了不可见光的近红外区域，因此可以使得本发明实施例中的图像传感器的应用场景更广泛。

图14是本发明中两种硅材料对近红外光响应范围的示意图。

当CMOS感光元器件的衬底采用高电阻率P型材料或P型硅晶圆时，其近红外光响应范围如图14所示的1420区域，此外，光谱还可以覆盖彩色范围1410，因此不仅可以感应产生白天的红绿蓝颜色，还可以覆盖近红外区域，因此可以感应晚上或低照度的光线。当白天光线比较强的时候，可以产生彩色图像，当晚上光线比较弱的时候，近红外区域1420可以感应黑白图像。这样，当采用图13所示的像素结构实现图像传感器时，该图像传感器可以容易地适应光线变化较大的场合。

图15是图13中读出电路的一个实例的示意图。

如图15所示，直观地看，图像传感器被分成了四个互不重叠的部分，每个部分都有一个读出电路，每个读出电路可以使用不同的积分时间独立运行。此外，图像传感器的各个部分可以聚焦显示不同的目标，为每个部分选择合适的积分时间，使得图像传感器的每个部分可以为不同的目标成像，这样一个图像传感器就可以监控多个目标了。当图像传感器被安装在交通监控系统中时，其能够同时监控相反车道的目标，在图像中可以提供不同的分辨率。

图16是应用本发明图像传感器的一个实例的示意图。

如图16所示，为双向各有四个车道的公路示意图，安装了包括上述实施例中图像传感器的摄像装置1600。图像传感器的两个部分聚焦到远视场1610-1620的八个车道，另两个部分聚焦到近视场1630-1640。这样，采用摄像装置1600，可以非常方便地监控到公路路段的各个区域。进一步，这样的摄像装置比传统的摄像机更容易安装，成本更低。

图像传感器的每个部分使用合适的积分时间和读出电路能够方便感应信号的读出，以便于接下来的处理。

图17为采用本发明的摄像装置分区域监控多个目标时应用不同的积分时间的实例示意图。

如图17所示，其更详细地对图16进行了解释。图像传感器的四个部分P1、P2、P3和P4用于监控双向八车道。在白天，区域P1和P2的积分时间T1和T2可以调整以便读出信号，区域P1和区域P2聚焦到焦平面1630和1640。区域P3和P4的积分时间T3和T4也可以调整以便读出信号，区域P3和区域P4聚焦到焦平面1610和1620。这样四个部分同时曝光，就可以利用一个图像传感器同时监控多个目标。

例如，当tf>tn时，T1=T2=tn和T3=T4=tf。当t=tn时，感应信号从区域P1和P2读出，尽管感应信号也可以从区域P3和P4读出，但感应信号曝光时间不足，不能使用。当t=tf时，感应信号从区域P3和P4读出，尽管感应信号也可以从区域P1和P2读出，但感应信号过度曝光不能使用。同理，在晚上，从正向车道来的光线（主要是车牌反射光和尾灯的光线）要低于从反向车道来的光线（主要是头灯的光线），可以采用不同的积分时间T1-T4来保证从相对应的区域P1-P4在曝光合适的情况下读出感应信号。

在该实施例中，图像传感器是根据图7的像素结构来实现的。这样图像传感器的灵敏度大大增强，更适合在光线动态变化范围较大的情况下使用，例如，白天和晚上的交通监控。此外，利用单个摄像头或单个传感器来监控多个目标的方式降低了设备成本和安装的复杂性。

需要指出的是，图像传感器的实现并不限于图7所示的像素结构。所属领域的技术人员清楚地知道将图像传感器分成几个独立的读出电路的技术思路可以应用到其他类型的图像传感器。

此外，还可以将上述实施例中的图像传感器应用于摄像装置或摄像系统中，从而使得该摄像装置或摄像系统能够在低照度环境下工作。

图18是本发明图像数据生成方法的一个实施例的流程示意图。

如图18所示，该实施例可以包括以下步骤：

S1802，设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将采集到的光信号转换为电信号，其中，每个感光元器件对应于一个子像素；在一个实例中，每个感光元器件可以为CMOS感光元器件或CCD感光元器件；

S1804，按顺序读取与每个子像素对应的电信号；

S1806，将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号；

S1808，输出与每个像素对应的电信号。

该实施例将多个子像素合并为一个像素输出，增大了每个像素的感光电荷量，从而使得本发明能够适用于低照度的工作环境。

在本发明图像数据生成方法的一个实例中，在输出与每个像素对应的电信号之前，可以利用模数转换器对合并后的电信号进行模数转换，可选地，该模数转换器可以为12位的模数转换器。

在本发明图像数据生成方法的另一实例中，在对电信号进行模数转换后，可以对模数转换后的电信号进行归一化处理。

在本发明图像数据生成方法的又一实例中，像素阵列的数目和每个像素阵列中像素的数目与显示设备的分辨能力相关。例如，像素阵列的数目可以为四个，每个像素阵列中可以包括1024×1024个像素，每个像素中子像素的数目可以为四个。

此外，上述实施例中的电信号可以为电压信号，也可以为感应到的电荷量。

图19是本发明利用图像传感器生成图像数据的一个实施例的流程示意图。

如图19所示，该实施例可以包括以下步骤：

S1902，将成像靶面分为4个相对独立的像素阵列输出，针对每个像素阵列，均进行S1904-S1910的处理；

S1904，读出单元读取成像靶面中每个像素阵列中每个像素的子像素的电信号，其中每个像素包含4个子像素；

S1906，电荷集成单元将每个像素中的4个子像素的电信号进行合并；

S1908，模数转换器对每个像素的电信号进行12位模数转换；

S1910，按照时序将模数转换后的每个像素的电信号值输出，其中，4个相对独立的部分可以同时并行输出或逐一串行输出。

图20是本发明图像数据生成方法的另一实施例的流程示意图。

如图20所示，该实施例可以包括以下步骤：

S2002，设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将光信号转换为电信号，其中，每个感光元器件对应于一个子像素，并在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片，其中，滤光片可以包括但不限于红滤光片、绿滤光片和蓝滤光片，进一步地，滤光片还可以包括近红外滤光片，感光元器件可以为CMOS感光元器件，可选地，CMOS感光元器件可以采用硅衬底；

S2004，按顺序读取与每个子像素对应的电信号；

S2006，输出与每个子像素对应的电信号。

其中，像素阵列的数目与待显示目标的个数相关，例如，像素阵列的数目可以为四个，每个像素中子像素的数目也可以为四个。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，二前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。

本发明的上述实施例具有以下有益效果：

（1）分辨率可以达到千万级像素的输出，视场范围大，提高远程探测能力；

（2）将每个像素中的所有个子像素通过芯片电路实时积分输出，可以实现低照度（即，提高了夜视能力）、提高信噪比、减少信号输出量，并且将显著提升夜视监控系统的水平；

（3）将图像传感器频谱响应峰值提升到近红外波段，使传感器频谱范围延伸至短波红外，进一步提高透雾及夜视能力；

（4）采用12位A/D转换，可以扩大像素的动态范围，从而提高图像成像的质量和对比度；

（5）根据图像质量动态调整积分时间，进一步提高夜视能力，同时还能抑制图像饱和。

综上所述，本发明独特的图像传感器设计结构可以显著提升感光器件的夜视能力和千万级像素的输出能力、可以提高远程探测能力，在低照度的条件下优化图像质量和改善图像对比度，实现视场角大，并且有很高的图像分辨率，因此可以实现恶劣条件下远程目标探测的需求。可以在此图像传感器的基础上可开发出功能强大的远程昼夜视频监控系统。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (32)

1.一种图像传感器，其特征在于，包括：

多个像素阵列，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应于一个子像素；

多个读出单元，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号；

多个电荷集成单元，每个电荷集成单元分别与属于同一像素的多个读出单元相连，用于将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号；

设置在感光材料表面的膜层，用于增强对红外波段光线的吸收能力；

其中，像素阵列的数目与待显示目标的个数相关，每个像素阵列为不同的待显示目标成像。

2.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：

多个模数转换器，每个模数转换器分别与每个电荷集成单元相连，用于对与每个像素对应的电信号进行模数转换、并输出模数转换后的电信号。

3.根据权利要求2所述的图像传感器，其特征在于，所述图像传感器还包括：

多个归一化处理单元，每个归一化处理单元分别与每个模数转换器相连，用于对模数转换后的电信号进行归一化处理。

4.根据权利要求2所述的图像传感器，其特征在于，每个模数转换器为12位模数转换器。

5.根据权利要求1所述的图像传感器，其特征在于，所述多个感光元器件为CMOS感光元器件或CCD感光元器件。

6.根据权利要求1所述的图像传感器，其特征在于，像素阵列的数目和每个像素阵列中像素的数目与显示设备的分辨能力相关。

7.根据权利要求1或6所述的图像传感器，其特征在于，所述像素阵列的数目为四个。

8.根据权利要求1所述的图像传感器，其特征在于，每个像素阵列中包括1024×1024个像素。

9.根据权利要求1所述的图像传感器，其特征在于，每个像素中子像素的数目为四个。

10.根据权利要求1所述的图像传感器，其特征在于，所述电信号为电压信号。

11.一种图像传感器，其特征在于，包括：

多个像素阵列，用于根据分辨率大小设置在成像靶面的感光材料上，每个像素阵列的每个像素上设置有多个感光元器件，每个感光元器件对应一个子像素，在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片；

多个读出单元，每个读出单元分别与每个感光元器件相连，用于读取每个感光元器件进行光电转换后的电信号；

多个电荷集成单元，每个电荷集成单元分别与每个读出单元相连，用于输出与每个子像素对应的电信号；

设置在感光材料表面的膜层，用于增强对红外波段光线的吸收能力；

其中，像素阵列的数目与待显示目标的个数相关，每个像素阵列为不同的待显示目标成像。

12.根据权利要求11所述的图像传感器，其特征在于，所述滤光片包括红滤光片、绿滤光片和蓝滤光片。

13.根据权利要求12所述的图像传感器，其特征在于，所述滤光片还包括近红外滤光片。

14.根据权利要求11所述的图像传感器，其特征在于，所述多个感光元器件为CMOS感光元器件。

15.根据权利要求14所述的图像传感器，其特征在于，所述CMOS感光元器件采用硅衬底。

16.根据权利要求11所述的图像传感器，其特征在于，所述像素阵列的数目为四个。

17.根据权利要求11所述的图像传感器，其特征在于，每个像素中子像素的数目为四个。

18.一种摄像装置，其特征在于，包括权利要求1-17中任一项所述的图像传感器。

19.一种图像数据生成方法，其特征在于，包括：

设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将所述光信号转换为电信号，其中，每个感光元器件对应于一个子像素；

按顺序读取与每个子像素对应的电信号；

将与每个像素对应的多个感光元器件输出的电信号合并为与一个像素对应的电信号；

输出与每个像素对应的电信号；

其中，像素阵列的数目与待显示目标的个数相关，每个像素阵列为不同的待显示目标成像；

所述方法还包括：通过设置在感光材料表面的膜层增强对红外波段光线的吸收能力。

20.根据权利要求19所述的图像数据生成方法，其特征在于，所述方法还包括：

在所述输出与每个像素对应的电信号之前，利用模数转换器对合并后的电信号进行模数转换。

21.根据权利要求20所述的图像数据生成方法，其特征在于，所述方法还包括：

在对所述电信号进行模数转换后，对模数转换后的电信号进行归一化处理。

22.根据权利要求19所述的图像数据生成方法，其特征在于，所述多个感光元器件为CMOS感光元器件或CCD感光元器件。

23.根据权利要求19所述的图像数据生成方法，其特征在于，像素阵列的数目和每个像素阵列中像素的数目与显示设备的分辨能力相关。

24.根据权利要求19或23所述的图像数据生成方法，其特征在于，所述像素阵列的数目为四个。

25.根据权利要求19所述的图像数据生成方法，其特征在于，每个像素中子像素的数目为四个。

26.一种图像数据生成方法，其特征在于，包括：

设置在多个像素阵列中的每个像素阵列的每个像素上的多个感光元器件采集光信号，并将所述光信号转换为电信号，其中，每个感光元器件对应于一个子像素，并在属于同一像素的多个感光元器件上覆盖可透过设定光谱频率的滤光片；

按顺序读取与每个子像素对应的电信号；

输出与每个子像素对应的电信号；

其中，像素阵列的数目与待显示目标的个数相关，每个像素阵列为不同的待显示目标成像；

所述方法还包括：通过设置在感光材料表面的膜层增强对红外波段光线的吸收能力。

27.根据权利要求26所述的图像数据生成方法，其特征在于，所述滤光片包括红滤光片、绿滤光片和蓝滤光片。

28.根据权利要求27所述的图像数据生成方法，其特征在于，所述滤光片还包括近红外滤光片。

29.根据权利要求26所述的图像数据生成方法，其特征在于，所述多个感光元器件为CMOS感光元器件。

30.根据权利要求29所述的图像数据生成方法，其特征在于，所述CMOS感光元器件采用硅衬底。

31.根据权利要求26所述的图像数据生成方法，其特征在于，所述像素阵列的数目为四个。

32.根据权利要求26所述的图像数据生成方法，其特征在于，每个像素中子像素的数目为四个。