CN202535464U - 成像装置 - Google Patents

Abstract

本实用新型涉及成像装置。本实用新型的成像装置，包括：像素阵列，其包括排列成行和列的多个像素；控制电路，控制所述像素阵列；其中，所述像素阵列包括第一像素群组，其在第一时间内曝光，得出第一图像；所述像素阵列包括第二像素群组，其在第二时间内曝光，得出第二图像，其中，第一时间不同于第二时间；其中，所述控制电路进一步同时读取所述第一图像和所述第二图像；以及图像处理器，其组合所述第一图像和所述第二图像。

Description

成像装置

技术领域

本实用新型涉及成像领域，特别地涉及一种成像装置。 

背景技术

对于图像质量的要求一直以来不断地提高。随着成像装置的像素集成度越来越高，图像的分辨率已经不再是成像领域最为重要的问题，而图像在其他方面的表现力得到了更多的关注。特别是不借助结构复杂的硬件而获取高质量的图像更是成为目前成像领域研发工作的努力方向。例如，在如卡片式相机的便携式成像装置上获取高质量的照片。 

成像装置一般具有像素阵列。像素阵列中的每一个像素包括感光器件，例如光电二极管、光开关等。每个感光器件接收光的能力不同。这种能力的不同反映到成像装置上使成像装置具有不同的光动态范围，即成像装置可接收光的范围。当成像装置的光动态范围小于外界光强度的变化时，外界的景象就无法完全反映到所获取的图像中。本领域中一直希望能够有一种简便的方式能够解决这一问题。 

实用新型内容

针对现有技术中存在的问题，根据本实用新型的一个方面，提出一种成像装置，包括：像素阵列，其包括排列成行和列的多个像素；控制电路，控制所述像素阵列；其中，所述像素阵列包括第一像素群组，其在第一时间内曝光，得出第一图像；所述像素阵列包括第二像素群组，其在第二时间内曝光，得出第二图像，其中，第一时间不同于第二时间；其中，所述控制电路进一步同时读取所述第一图像和所述第二图像；以及图像处理器，其组合所述第一图像和所述第二图像。 

如上所述的成像装置，其中：在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行交错排列。 

如上所述的成像装置，其中：在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行并在两个方向上交错排列。 

如上所述的成像装置，进一步包括：所述像素阵列包括第三像素群组，其在第三时间内曝光，得出第三图像；所述像素阵列包括第四像素群组，其在第四时间内曝光，得出第四图像，其中，所述第一时间、所述第二时间、所述第三时间和所述第四时间各不相同；其中，所述控制电路进一步在读取所述第一图像和所述第二图像的同时读取所述第三图像和所述第四图像；以及所述图像处理器组合第一图像、第二图像、所述第三图像和所述第四图像。 

根据本发明的另一个方面，提出了一种成像装置，包括：图像传感器，其包括：像素阵列，其包括排列成行和列的多个像素；控制电路，控制所述像素阵列；其中，所述像素阵列包括第一像素群组，其在第一时间内曝光，得出第一图像；以及所述像素阵列包括第二像素群组，其在第二时间内曝光，得出第二图像，其中，第一时间不同于第二时间；其中，所述控制电路进一步同时读取所述第一图像和所述第二图像；处理器，其组合所述第一图像和所述第二图像；以及总线，所述像素阵列和所述处理器通过所述总线通信。 

如上所述的成像装置，其中，所述成像装置进一步包括：输入/输出装置，其经由所述总线与所述处理器通信。 

如上所述的成像装置，其中，所述成像装置进一步包括：随机存取存储器，其经由所述总线与所述处理器通信。 

如上所述的成像装置，其中，所述图像传感器进一步包括图像处理器。 

如上所述的成像装置，其中：在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行交错排列；或者所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行并在两个方向上交错排列。 

如上所述的成像装置，进一步包括：所述像素阵列包括第三像素群组，其在第三时间内曝光，得出第三图像；所述像素阵列包括第四像素群组，其在第四时间内曝光，得出第四图像，其中，所述第一时间、所述第二时间、所述第三时间和所述第四时间各不相同；其中，所述控制电路进一步在读取所述第一图像和所述第二图像的同时读取所述第三图像和所述第四图像；以 及所述图像处理器组合第一图像、第二图像、所述第三图像和所述第四图像。 

本实用新型的采用不同曝光时间增加成像装置光动态范围的方法就综合考虑了上述两种情况。对于同一图像，采用不同的曝光时间进行两次曝光；然后在图像的后续处理过程中，综合考虑两次曝光的结果从而将两次曝光得到的图像信息都反映在最终获得的图像中。因为最终获得的图像既保留了图像中较亮部分的信息，也保留了图像中较暗部分的信息，所以图像反映了更大范围的光强度变化。由此，在不增加任何硬件代价的前提下，提高了成像装置的光动态范围。 

附图说明

图1表示了一种成像装置的结构的示意图； 

图2是表示了一种代表性像素结构的示意图； 

图3是根据本实用新型的一个实施例的一种成像方法的流程图； 

图4是根据本实用新型的另一个实施例的一种成像方法的流程图； 

图5是根据本实用新型的一个实施例的像素阵列的示意图； 

图6是根据本实用新型的一个实施例，像素阵列摄取图像的时序图； 

图7根据本实用新型的另一个实施例的像素阵列的示意图； 

图8是根据本实用新型的另一个实施例，像素阵列摄取图像的时序图； 

图9根据本实用新型的另一个实施例的像素阵列的示意图； 

图10是根据本实用新型的另一个实施例，像素阵列摄取图像的时序图； 

图11是根据本实用新型的一个实施例，组合两次曝光的图像的HDR方法的示意图； 

图12是根据本实用新型的一个实施例，组合四次曝光的图像的HDR方法的示意图； 

图13是T1、T2、T3和T4的每一个曝光时间的各自的光学响应曲线的示意图； 

图14是在完成了对四次曝光时间的合成算法后的感应曲线及其的SNR曲线的示意图； 

图15是采用不同的掩膜系数时对SNR曲线的影响的示意图； 

图16是采用四次曝光和两次曝光对SNR的影响； 

图17是根据本实用新型的一个实施例的系统的示意图。 

具体实施方式

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。 

术语“像素”一词指含有感光器件或用于将电磁信号转换成电信号的其他器件的电子元件。为了说明的目的，图1描述了一种代表性成像装置，其包含一个像素阵列。图2中描述一种代表性的像素，并且像素阵列中的所有像素通常都将以类似的方式制造。 

图1表示了一种成像装置的结构的示意图。图1所示的成像装置100，例如CMOS成像装置，包括像素阵列110。像素阵列110包含排列成行和列的多个像素。像素阵列110中每一行像素由行选择线全部同时接通，且每一列像素分别由列选择线选择性地输出。每一像素具有行地址和列地址。像素的行地址对应于由行解码和驱动电路120驱动的行选择线，而像素的列地址对应于由列解码和驱动电路130驱动的行选择线。控制电路140控制行解码和驱动电路120和列解码和驱动电路130以选择地读出像素阵列中适当的行和列对应的像素输出信号。 

像素输出信号包括像素重设信号Vrst和像素图像信号Vsig。像素重设信号Vrst代表重设感光器件(如光电二极管)的浮动扩散区域时从浮动扩散区域获得的信号。像素图像信号Vsig代表由感光器件所获取的代表图像的电荷转移到浮动扩散区域后所获得的信号。像素重设信号Vrst和像素图像信号Vsig均由列采样和保持电路150读取，并经过差动放大器160相减。差动放大器160所输出的Vrst-Vsig信号即表示感光器件所获取的图像信号。该图像信号经过模数转换器ADC170后转换为数字信号，然后由图像处理器180进行进一步处理，以输出数字化的图像。 

图2是表示了一种代表性像素结构的示意图。图2的像素200包括光电二极管202，转移晶体管204，重设晶体管206，源极跟随晶体管208和行选择晶体管210。光电二极管202连接到转移晶体管204的源极。转移晶体管204由信号TX控制。当TX控制转移晶体管至“on”状态时，光电二极管中积累的电荷被转移到存储区域21中。同时，光电二极管202被重设。源极跟随晶体管208的栅极连接到存储区域21。源极跟随晶体管208放大从存储区域21接收的信号。重设晶体管206源极也连接到存储区域21。重设晶体管206由信号RST控制，用来重设存储区域21。像素200还进一步包括由行选择晶体管210。行选择晶体管210由信号RowSel控制，将源极跟随晶体管208放大的信号输出到输出线Vout。 

对于同一图像采用不同曝光时间的两次曝光可以增加成像装置的光动态范围。如果曝光时间足够长，图像中较暗的部分可以完全反映到最终获得的图像中；但是，如果图像的光强度变化超过了成像装置的动态范围，图像中较亮的部分反映到最终获得的图像上将都是白色。也就是说，超过成像装置感光能力的这部分光强度变化信息将会丢失。如果曝光时间足够短，图像中最强的光强度也没有超过成像装置的感光能力，图像中较亮的部分的光强度变化信息将会保留；然而，由于曝光时间太短，缺乏足够的采样，图像中较暗部分的信息将会丢失。本实用新型的采用不同曝光时间增加成像装置光动态范围的方法就综合考虑了上述两种情况。对于同一图像，采用不同的曝光时间进行两次曝光；然后在图像的后续处理过程中，综合考虑两次曝光的结果从而将两次曝光得到的图像信息都反映在最终获得的图像中。因为最终获得的图像既保留了图像中较亮部分的信息，也保留了图像中较暗部分的信息，所以图像反映了更大范围的光强度变化。由此，在不增加任何硬件代价的前提下，提高了成像装置的光动态范围。 

可以采用两种方式来完成两次曝光。第一种方式是对于整个像素阵列先采用短时间曝光，然后读出整个图像；再采用长时间曝光，然后读出整个图像；再将得出的两个图像进行组合得出最终图像。这种方式实现起来最为简单，不需要进行复杂的硬件更改，甚至可以完全由软件控制完成。第二种方式是对于整个像素阵列进行分区长短曝光。例如，对像素阵列中的一部分像素开始长时间曝光，一段时间后直接开始对像素阵列中的另一部分像素的短 时间曝光，同时读出的两次曝光成像结果，并将两次的成像结果进行组合，从而得出最终图像。先采用短时间曝光然后采用长时间曝光的方式与此类似，不再赘述。不同时读出两次曝光结果的方式也与此类似，不在赘述。 

结合本实用新型的以下实施例，分别就这两种方式详细描述。 

图3是根据本实用新型的一个实施例的一种成像方法的流程图。如图3所示，成像方法300采用包含像素阵列的成像装置摄取图像。该成像装置具有预定的光动态范围。在步骤310，判断是否待摄取的图像的光强度变化超过了成像装置的光动态范围，如果超过，则启动高光动态范围模式，否则采用正常模式摄取图像。现有的成像装置，例如数码相机，很多都带有一个显示屏，以向用户实时显示成像装置的镜头所指向的目标。通过实时图像可以分辨图像是否过亮或过暗，是否反映了希望关注的细节，从而可以直接分辨是否应当启用高光动态范围模式。应当注意，成像装置的显示屏仅是说明目的。本实用新型的成像装置或者成像方法并不要求包含显示屏。 

还可以采用多种方法来判断待摄取的图像的光强度是否超出成像装置的光动态范围。例如，可以通过计算图像的平均亮度，对比度，或者关注区域亮度或对比度与其他区域的关系来进行判断。例如，一般而言，图像都会有一个关注区域(ROI，Region Of Interest)。摄取的图像应当尽可能反映关注区域的细节。在关注区域的细节得到最好处理的情况下，判断图像的其他区域是否过亮或者过暗，从而可以确定光强度变化是否超出成像装置的光动态范围。 

在步骤320，进一步判断是否待摄取的图像是否包含处于运动之中的景物。进行这一判断的主要原因是，如果图像中的包含了运动景物，由于是在短曝光后读取完全部像素阵列中全部像素才开始长曝光，二者之间的时间可能导致运动的景物在第二次曝光中已经处于了图像中的不同位置，由此造成最终组合的图像中，运动景物的周围出现重叠影像，形成“鬼影”。由于“鬼影”很难在后续的图像组合和处理过程中消除，所以需要提前进行判断。 

多种方法可以用来判断景物是否运动以及运动的速度。例如，可以借鉴视频编码中的运动向量的概念或者直接比较不同时间的图像中相同景物的位置来进行判断。与视频编码不同，判断景物是否运动时无需比较连续的不同帧图像或者邻近的图像。可以比较具有一个预定时间间隔的两帧图像中相同 景物的位置来判断图像中是否包含了运动的景物以及相应的速度。如果景物的运动速度超过预定的阈值，即可以得出结论，可能在图像中出现“鬼影”，则提示用户不要采用此种高光动态范围模式或者阻止用户操作成像设备摄取图像。另一种判读是否出现“鬼影”的方式是通过比较前后两次曝光后生成的图像的特征区域的位置来判断是否出现了“鬼影”。通过人工指定或者自动的方式(如笑脸识别)来产生特征区域。比较两次曝光后生成图像中特征区域的位置是否发生了改变来判断是否包含了运动景物以及相应的运动速度。如果待摄取的图像中的确包括了运动的景物而且运动速度足以产生“鬼影”，则必须采用不会产生“鬼影”的“防鬼影”高光动态模式模式。这将在后续的实施例中详细说明。 

在步骤330，对成像装置的整个像素阵列在第一时间内曝光。根据本实用新型的一个实施例，第一时间的曝光时间比较短，例如：10毫秒。在步骤340，逐行读取整个像素阵列，得出在第一时间内曝光的第一图像。由于此过程与一般的图像摄取过程没有实质的区别，所以本文中不再详述。 

在步骤350，对成像装置的整个像素阵列在第二时间内曝光。根据本实用新型的一个实施例，第二时间的曝光时间比较长，例如：40毫秒。在步骤360，逐行读取整个像素阵列，得出在第二时间内曝光的第二图像。由于此过程与一般的图像摄取过程没有实质的区别，所以本文中不再详述。 

在步骤370，第一图像和第一图像被组合以得出最终图像。最终图像中既包括了第一图像中包含的待摄取图像中较亮部分的信息，也包括了第二图像中包含的待摄取图像中较暗部分的信息。由此，最终图像中获得了比成像装置本身更大的光动态范围。在图像的组合时，可以采用不同的方式。例如，最简单的将对应像素取平均值作为最终图像中该像素的结果。为了获得更好的对比度、锐化度、或者颜色表现力可以采用其他的组合方式。 

图4是根据本实用新型的另一个实施例的一种成像方法的流程图。如图4所示，成像方法400采用包含像素阵列的成像装置摄取图像。该成像装置具有预定的光动态范围。如上所述，图3所示的实施例面临的一个问题是对于运动景物会出现“鬼影”。出现“鬼影”的主要原因在于对整个像素阵列进行了2次读取，而2次读取之间的时间间隔等于一帧的时间，例如大约30毫秒。这个时间间隔足以让运动景物在图像中的位置出现变化。图4所示的实施例 采用了对整个像素阵列只进行一次读取的方式来解决这一问题。整个像素阵列被分成了2个部分，针对不同的部分采用不同的曝光时间，然后再将得到的结果进行组合以得出最终图像。在图4所示的实施例中，牺牲了图像的分辨率而获得了更高的光动态范围。 

在步骤410，判断是否待摄取的图像的光强度变化超过了成像装置的光动态范围，如果超过，则启动高光动态范围模式，否则采用正常模式摄取图像。步骤410与图3实施例中的步骤310类似，在此不再详述。应当注意，无论是对图3还是图4的实施例，判断是否启动高光动态范围模式都是一个可选的步骤。 

在步骤420，在第一时间内对整个像素阵列中第一群组像素曝光。第一群组像素是整个像素阵列中的一部分像素。根据本实用新型的一个实施例，第一群组像素尽量平均分布到整个像素阵列中，以尽可能反映被摄取的图像。根据本实用新型的一个实施例，第一时间的曝光时间是相对较长，例如：40毫秒。在步骤430，在第二时间内对整个像素阵列中第二群组像素曝光。第二群组像素是整个像素阵列中的一部分像素。根据本实用新型的一个实施例，第二群组像素尽量平均分布到整个像素阵列中，以尽可能反映被摄取的图像。根据本实用新型的一个实施例，第二时间的曝光时间是相对较短，例如：10毫秒。 

在步骤440，整个像素阵列中的全部像素都被读出。第一群组像素与第二群组像素所获得的图像被组合以得出最终的图像。最终图像中既包括了第一群组像素所获取的待摄取图像中较暗部分的信息，也包括了第二群组像素所获取的待摄取图像中较亮部分的信息。由此，最终图像中获得了比成像装置本身更大的光动态范围。并且，第一群组像素与第二群组像素曝光时间之间的时间间隔很短，大概等于一行读出的时间，例如10微秒，因此不会在最终图像中产生“鬼影”。 

在第二种方式中，整个像素阵列被分成了2个或更多的部分，如何划分像素阵列以及如何减少由于划分像素阵列带来边缘效应和降低信噪比都是需要考虑的问题。 

图5是根据本实用新型的一个实施例的像素阵列的示意图。如图5所示，像素阵列500是彩色像素阵列，R、G、Gb、和B分别代表不同的颜色。白色 的像素，如R1、G1、Gb1、和B1分别代表曝光时间是T1的像素；而斜线的像素，如R2、G2、Gb2、和B2分别代表曝光时间是T2的像素。T1不同于T2。一般而言，图5中的彩色像素阵列中一组不同颜色的像素501、502、503和504代表一个像素的不同颜色值。因此，它们应当具有相同的曝光时间。从图5可以看出，具有不同曝光时间的第一群组像素，如R1、G1、Gb1、和B1与第二群组像素，如R2、G2、Gb2、和B2按两行间隔地分布在整个像素阵列中，也就是说，第一群组像素与第二群组像素间隔两行交错分布。 

图6是根据本实用新型的一个实施例，像素阵列摄取图像的时序图。图6所示的时序图可以应用于图5所示的实施例中。在像素阵列500中，Tx、RST和RowSel信号为同一行像素所共用。因此，同一行像素在相同的时间内累积电荷。 

对于像素501和502所在的R1/G1行，首先RowSel线上提供一个脉冲来选择该行。在RST线上提供一个脉冲来重设存储区域，例如图2中的存储区域21。接下来，在SHR线上提供一个脉冲来对重设后的存储区域采样，产生Vrst信号。在Tx线上提供一个脉冲信号将R1/G1行上各个R1和G1像素的感光器件(如图2中的光电二极管202)上的电荷转移到其各自的存储区域上。然后在SHS线上提供一个脉冲信号，采样R1/G1行上各个R1和G1像素的存储区域上存储的电荷以产生Vsig信号。 

对于像素505所在的R2/G2行，与R1/G1行类似，首先RowSel线上提供一个脉冲来选择该行。在RST线上提供一个脉冲来重设存储区域，产生Vrst信号。在Tx线上提供一个脉冲信号将电荷转移到其各自的存储区域上，然后在SHS线上提供一个脉冲信号，采样R2/G2行上各个像素的存储区域上存储的电荷以产生Vsig信号。对于像素506所在的Gb2/B2行，由于其与R2/G2行具有相同的曝光时间，因此Gb2/B2行可以共享R2/G2行的控制信号。 

可以看出，虽然R1/G1和Gb1/B1行与R2/G2和Gb2/B2行上的像素属于曝光时间不同的像素群组，但是它们是同时被采样而产生图像信号的。 

接下来，在RST线为高时，在R1/G1和Gb1/B1行的Tx线上提供一个脉冲以重设R1/G1和Gb1/B1行各自像素的感光器件。在不同的时刻，同样RST线为高时，在R2/G2和Gb2/B2行的Tx线上提供另一个脉冲以重设R2/G2和Gb2/B2行各自像素的感光器件。感光元件在重设后开始累积电荷。由于R1/G1 和Gb1/B1行与R2/G2和Gb2/B2行上的像素从不同的时刻开始累积电荷；并且，如前所述，它们几乎被同时被采样，因此，属于第一群组的R1/G1和Gb1/B1行与属于第二群组的R2/G2和Gb2/B2行具有不同的电荷累积时间，从而具有了不同的曝光时间。 

对于像素503和504所在的Gb1/B1行，由于其与R1/G1行具有相同的曝光时间，因此Gb1/B1行可以采用与R1/G1行相同的控制信号。 

图7根据本实用新型的另一个实施例的像素阵列的示意图。如图7所示，像素阵列700是彩色像素阵列，R、G、Gb、和B分别代表不同的颜色。白色的像素，如R1、G1、Gb1、和B1分别代表曝光时间是T1的像素；而斜线的像素，如R2、G2、Gb2、和B2分别代表曝光时间是T2的像素。T1不同于T2。一般而言，图7中的彩色像素阵列中一组不同颜色的像素701、702、703和704代表最终图像中一个像素的不同颜色值。因此，它们应当具有相同的曝光时间。从图7可以看出，对于具有不同曝光时间的第一群组像素，和第二群组像素，在两个方向上间隔两行交错排列。也就是说，如果将属于同一组的不同颜色像素作为一个整体，每一组像素都与具有不同曝光时间的另一组像素相邻。 

图7所示的实施例中，由于同一行像素需要具有不同的曝光时间，所以同一行像素不能共享Tx信号，但是它们仍然可以共享RST和RowSel信号。因此，对于每一行像素必须提供2组Tx信号以传输不同的信号。通过Tx信号的控制，可以使得同一行上的像素具有不同的曝光时间。图7所示的实施例的像素阵列分组方式比较于图5的分组方式的有一个明显的优点在于可以减小合成图像的边缘锯齿效应。 

图8是根据本实用新型的一个实施例，像素阵列摄取图像的时序图。图8所示的时序图可以应用于图7所示的实施例中。 

参考图8的上半部分，对于像素701、702、705和706所在的R1/G1/R2/G2行，首先在RowSel线上提供一个脉冲来选择该行。在RST线上提供一个脉冲来重设R1/G1/R2/G2行上各个像素的存储区域。接下来，在SHR线上提供一个脉冲来对各个像素重设后的存储区域采样，产生Vrst信号。 

接下来，在TxA线上提供一个脉冲信号将R1/G1/R2/G2行上的一部分像素，例如包括像素701和702的白色像素R1/G1的感光器件上的电荷转移到 其各自的存储区域上。与此同时，在TxB线上提供一个脉冲信号将R1/G1/R2/G2行上的另一部分像素，例如包括像素703和704的斜线像素R2/G2的感光器件上的电荷转移到其各自的存储区域上。 

在SHS线上提供一个脉冲信号，采样R1/G1/R2/G2行上各个像素的存储区域上存储的电荷以产生Vsig信号。可以看出，虽然对于R1/G1/R2/G2行上的像素属于曝光时间不同的像素群组，但是它们是同时被采样而产生图像信号的。 

接下来，在RST线为高时，在R1/G1/R2/G2行的TxA线上提供一个脉冲以重设包括像素701和702的白色像素R1/G1的感光器件。在不同的时刻，同样RST线为高时，在R1/G1/R2/G2行的TxB线上提供另一个脉冲以重设包括像素703和704的斜线像素R2/G2的感光器件。感光元件在重设后开始累积电荷。由于白色像素R1/G1和斜线像素R2/G2从不同的时刻开始累积电荷；并且，如前所述，它们几乎被同时被采样，因此，属于第一群组的白色像素R1/G1与属于第二群组的斜线像素R2/G2具有不同的电荷累积时间，从而具有了不同的曝光时间。 

对于像素703、704、707和708所在的Gb1/B1/Gb2/B2行，由于其与R1/G1/R2/G2行具有相同的曝光时间，因此二者可以采用相同的控制信号。 

对于图7所示的像素阵列中的第3行，即R2/G2/R1/G1行，和该像素阵列的第4行，即Gb2/B2/Gb1/B1行，其信号时序参考图8中的下半部分。从图中可以看出，R2/G2/R1/G1行和Gb2/B2/Gb1/B1行的信号时序与上面所描述的R1/G1/R2/G2行与Gb1/B1/Gb2/B2行的信号时序非常类似。二者的区别在于：对于R2/G2/R1/G1行和Gb2/B2/Gb1/B1行，重设R2/G2的TxA信号在重设R1/G1的TxB信号之后。由此，R2/G2与Gb2/B2同样具有较短的电荷累积时间，而R1/G1与Gb1/B1具有较长的电荷累积时间。其他部分与图8上半部分相同，这里不再赘述。 

由于采用了多次曝光的方式，如何减小在曝光转换处对信噪比的影响，提高高动态图像质量是一个需要考虑到问题。本实用新型提出了一种通过增加曝光次数，例如4次曝光，以及一种特定的HDR(High Dynamic Range)算法来解决这一问题。 

图9根据本实用新型的另一个实施例的像素阵列的示意图。如图9所示， 像素阵列900是彩色像素阵列，R、G、Gb、和B分别代表不同的颜色。白色的像素，如R1、G1、Gb1、和B1分别代表曝光时间是T1的像素；斜线的像素，如R2、G2、Gb2、和B2分别代表曝光时间是T2的像素；网格线的像素，如R3、G3、Gb3、和B3分别代表曝光时间是T3的像素；而竖线的像素，如R4、G4、Gb4、和B4分别代表曝光时间是T4的像素。T1、T2、T3和T4各不相同。从图9可以看出，对于具有不同曝光时间的第一群组像素、第二群组像素、第三群组像素和第四群组像素，按两行交错排列。 

图9所示的实施例中，由于同一行像素需要具有不同的曝光时间，所以同一行像素不能共享Tx信号，但是它们仍然可以共享RST和RowSel信号。因此，对于每一行像素必须提供2组Tx信号以传输不同的信号。通过Tx信号的控制，可以使得同一行上的像素具有不同的曝光时间。 

图10是根据本实用新型的一个实施例，像素阵列摄取图像的时序图。图10所示的时序图可以应用于图9所示的实施例中。图10的上半部分是第一行和第二行所采用的信号时序；图10的下半部分是第三行和第四行所采用的信号时序。其中，对应于重设1、重设2、重设3和重设4的TxA和TxB上的信号各不相同，由此使得四个群组的像素分别具有不同的电荷累积起始时间。因为这些像素几乎是在同时被采样的，所以四个群组的像素就具有了不同的曝光时间。 

除了上述实施例中采用的2次曝光方式和4次曝光方式以及像素阵列的划分之外，本实用新型还可以采用大于2次的多次曝光方式，或者采用其他的像素阵列划分方式。例如，本实用新型可以使用9个不同的曝光时间。这对于分辨率很高的像素阵列是完全可行的。另外，对以四次曝光，T1，T2，T3，T4可以被安排在同一行像素中，并分别用TxA，TxB，TxC，TxD来控制不同的曝光时间；而像素阵列的划分也可以采用3x3的像素排列方式。 

图11是根据本实用新型的一个实施例，组合两次曝光的图像的HDR方法，其中第一像素和第二像素具有不同的曝光时间，且读取第一像素得出第一输出电压，读取第二像素得出第二输出电压。在本实施例中，将第一像素和第二像素得出的第一和第二输出电压组合以得出最终的输出电压。如图11所示，在步骤1120中，首先读取第一像素的第一输出电压V1。读取的第一输出电压V1可以保持在存储器1中。在步骤1140中，将第一输出电压V1 放大预定的倍数。这个预定的倍数是第二像素和第一像素曝光时间之比。例如，如果第二像素的曝光时间是第一像素曝光时间的2倍，这个放大倍数就是2。放大倍数也可以小于1。在步骤1150，确定经放大的第一输出电压V1是否超过一个预定的阈值。该预定的阈值小于或等于饱和电压。通常由饱和电压乘以一个掩模系数(mask)来确定。掩模系数为小于或等于1的分数，例如1/2，3/4，或1。在步骤11 60，如果经放大的第一输出电压V1大于阈值，则舍弃第一输出电压V1而读取并保留第二像素的第二输出电压V2。在步骤1170，如果经放大的第一输出电压V1小于阈值，则舍弃第二像素的第二输出电压V2而保留第一像素的第一输出电压V1。在步骤1180，输出保留的电压作为组合后的最终电压。 

图12是根据本实用新型的一个实施例，组合四次曝光的图像的HDR方法，其中第一像素、第二像素、第三像素和第四像素具有不同的曝光时间，且读取第一像素得出第一输出电压，读取第二像素得出第二输出电压，读取第三像素得出第三输出电压，且读取第四像素得出第四输出电压。在本实施例中，首先将第一像素和第二像素组合，同时将第三像素和第四像素组合，然后再将第一和第二像素组合后的结果与第三和第四像素组合后的结果组合以得出最终的输出电压。每次组合的方式都与图11的实施例所描述的方式类似。 

如图12所示，在步骤1202中，首先读取第一像素的第一输出电压V1。读取的第一输出电压V1可以保持在存储器1中。在步骤1204中，将第一输出电压V1放大预定的倍数。这个预定的倍数是第二像素和第一像素曝光时间之比。在步骤1205，确定经放大的第一输出电压V1是否超过一个预定的阈值。该预定的阈值小于或等于饱和电压。通常由饱和电压乘以一个掩模系数(mask)来确定。掩模系数为小于或等于1的分数，例如1/2，3/4，或1。在步骤1206，如果经放大的第一输出电压V1大于阈值，则舍弃第一输出电压V1而读取并保留第二像素的第二输出电压V2。在步骤1207，如果经放大的第一输出电压V1小于阈值，则舍弃第二像素的第二输出电压V2而保留第一像素的第一输出电压V1。在步骤1208，输出保留的电压作为组合后的结果，即第一结果电压。 

在步骤1220中读取第三像素的第三输出电压V3。读取的第一输出电压 V3可以保持在存储器2中。在步骤1240中，将第一输出电压V3放大预定的倍数。这个预定的倍数是第四像素和第三像素曝光时间之比。在步骤1250，确定经放大的第三输出电压V3是否超过预定的阈值。该预定的阈值小于或等于饱和电压。通常由饱和电压乘以掩模系数(mask)来确定。掩模系数为小于或等于1的分数，例如1/2，3/4，或1。在步骤1260，如果经放大的第三输出电压V3大于阈值，则舍弃第三输出电压V3而读取并保留第四像素的第四输出电压V4。在步骤1270，如果经放大的第三输出电压V3小于阈值，则舍弃第四像素的第四输出电压V4而保留第三像素的第三输出电压V3。在步骤1280，输出保留的电压作为组合后的结果，即第二结果电压。 

接下来，组合第一结果电压和第二结果电压。在步骤1290中，将第一结果电压放大预定的倍数。这个预定的倍数是第二像素和第一像素曝光时间之比与第四像素和第三像素曝光时间之比的乘积。在步骤1291，确定经放大的第一结果电压是否超过预定的阈值。该预定的阈值通常由饱和电压乘以掩模系数(mask)再乘以第二像素和第一像素曝光时间之比与第四像素和第三像素曝光时间之比的均值来确定。掩模系数为小于或等于1的分数，例如1/2，3/4，或1。在步骤1292，如果经放大的第一电压大于阈值，则舍弃第一电压而读取并保留第二输出电压。在步骤1293，如果经放大的第一电压小于阈值，则舍弃第二输出电压而保留第一输出电压。在步骤1280，输出保留的电压作为组合后的结果输出。通常取第二像素和第一像素曝光时间之比与第四像素和第三像素曝光时间之比相同，例如正整数n，n＝2、4、6、8依次类推。由此，在组合第一结果电压和第二结果电压时，预订的放大倍数为n2，而阈值为n乘以饱和电压再乘以掩模系数。 

以下通过一个具体的实例来说明HDR合成的动态范围的计算和SNR(Signal Noise Ratio)。本实施例是以一个1.4um像素的图像传感器应用了本实用新型的四次曝光合成算法的例子。这四个不同曝光时间之间的比列可以是2的倍数，例如1∶2∶4∶8。即，四个曝光时间之间的关系为： 

T1∶T2∶T3∶T4＝1∶2∶4∶8 

曝光时间之间的比例也可以不同，这是取决于对合成后的图像的动态范围的要求来决定的。比例越大，动态范围越大。 

为了简化起见，在这个例子中的曝光时间的比例我们用n＝2。 

像素的其他各项指标如下表所示： 

图13表示了T1、T2、T3和T4的每一个曝光时间的各自的光学响应曲线。曝光时间短的像素的感应曲线斜率小(如T1)。曝光时间长的像素感应曲线斜率大些(如T4)。图14表示了在完成了对四次曝光时间的合成算法后的感应曲线及其的SNR曲线。从图14中可以看出，最终的合成曲线仍然是一条直线。而最终整个响应曲线的饱和电压相当于从之前的1.6V提升到了12.8V。合成之后的曲线的动态范围相比只用一个曝光时间的增加量可以由以下的计算公式： 

delta DR＝20log(T4/T1) 

对于本实施例而言，动态范围的增加量为20log(8∶1)，即18dB。 

从图14中还可以看出，SNR(信噪比)曲线是一个上下交错的以多段感应点的转换为转折点的。在转折点上会有一个SNR的低谷，这说明图像在这一点附近的噪声比较大。采用本实用新型的HDR算法进行图像的数字处理可以让转折点附近的曲线更平滑以减少噪声，避免在饱和区的不均匀性。在以上的例子中，组合所使用的掩膜系数为3/4。 

图15表示了采用不同的掩膜系数时对SNR曲线的影响。如图15所示，当掩膜系数分别是1，3/4，1/2。掩膜系数越接近饱和电压，感应曲线的SNR越高。所以掩膜系数的选择还需要在平衡SNR和饱和电压不均匀性后来进行优化。但是如果掩膜系数过高，虽然信噪比SNR较高，但是一些不理想的因素容易造成的像素饱和区域感应的不均匀性，进而影响到像素在饱和区的响应。因此，一般不会选用饱和点作为曲线合成的决定点。否则，会在T0和T1的拐点处产生巨大的FPN(fixed pattern noise)，影响图像质量。所以，掩膜系数的选择不会太接近1。优选的掩膜系数是3/4。 

图16表示了采用四次曝光和两次曝光对SNR的影响。如图16所示，四次曝光(T1，T2，T3，T4)和两次曝光(T0，T3)的合成后的SNR曲线合成后的动态范围两者是一样的，但是他们的SNR是不同的。两次曝光在曲线转折点的SNR比四次曝光时要低很多。这样对图像质量的影响会很大。因此，四次曝光比两次曝光的图像质量更好，虽然这会进一步降低图像的分辨率。 

图17是根据本实用新型的一个实施例的系统的示意图。图17说明包含图像传感器1710的处理器系统1700。其中，图像传感器1710如本实用新型所描述的像素阵列或像素阵列与图像处理器的组合。所述处理器系统1700示范说明具有可包含图像传感器装置的数字电路的系统。在不加限制的情况下，此系统可包含计算机系统、相机系统、扫描仪、机器视觉、车辆导航、视频电话、监视系统、自动对焦系统、星体追踪仪系统、运动检测系统、图像稳定化系统和数据压缩系统。 

处理器系统1700(例如，相机系统)通常包括中央处理单元(CPU)1740(例如微处理器)，其经由总线1701而与输入/输出(I/O)装置1720通信。图像传感器1710也经由总线1701而与CPU 1740通信。基于处理器的系统1700还包含随机存取存储器(RAM)1730，且可包含可移除存储器1750(例如快闪存储器)，其也经由总线1701而与CPU 1740通信。图像传感器1710可与处理器(例如CPU、数字信号处理器或微处理器)组合，单个集成电路或不同于所述处理器的芯片上可有或没有存储器存储装置。图像组合和处理的计算可由图像传感器1710或由CPU 1740执行。 

本实用新型的技术内容和技术特点已揭示如上，然而所属领域技术人员仍可能基于本实用新型的教示和揭示内容而作出种种不背离本实用新型精神的替代和修正。因此，本实用新型的保护范围应不限于实施例所揭示的内容，而应包括各种不背离本实用新型的替代和修正，并为上述权利要求书所涵盖。 

Claims (10)

1.一种成像装置，包括：

像素阵列，其包括排列成行和列的多个像素；

控制电路，控制所述像素阵列；其中，

所述像素阵列包括第一像素群组，其在第一时间内曝光，得出第一图像；

所述像素阵列包括第二像素群组，其在第二时间内曝光，得出第二图像，其中，第一时间不同于第二时间；

其中，所述控制电路进一步同时读取所述第一图像和所述第二图像；以及

图像处理器，其组合所述第一图像和所述第二图像。

2.根据权利要求1所述的成像装置，其中：

在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行交错排列。

3.根据权利要求1所述的成像装置，其中：

在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行并在两个方向上交错排列。

4.根据权利要求1所述的成像装置，进一步包括：

所述像素阵列包括第三像素群组，其在第三时间内曝光，得出第三图像；

所述像素阵列包括第四像素群组，其在第四时间内曝光，得出第四图像，其中，所述第一时间、所述第二时间、所述第三时间和所述第四时间各不相同；

其中，所述控制电路进一步在读取所述第一图像和所述第二图像的同时读取所述第三图像和所述第四图像；以及

所述图像处理器组合第一图像、第二图像、所述第三图像和所述第四图像。

5.一种成像装置，包括：

图像传感器，其包括

像素阵列，其包括排列成行和列的多个像素；

控制电路，控制所述像素阵列；其中，

所述像素阵列包括第一像素群组，其在第一时间内曝光，得出第一图像；以及所述像素阵列包括第二像素群组，其在第二时间内曝光，得出第二图像，其中，第一时间不同于第二时间；其中，所述控制电路进一步同时读取所述第一图像和所述第二图像；

处理器，其组合所述第一图像和所述第二图像；以及

总线，所述像素阵列和所述处理器通过所述总线通信。

6.根据权利要求5所述的成像装置，其中，所述成像装置进一步包括：输入/输出装置，其经由所述总线与所述处理器通信。

7.根据权利要求5所述的成像装置，其中，所述成像装置进一步包括：随机存取存储器，其经由所述总线与所述处理器通信。

8.根据权利要求5所述的成像装置，其中，所述图像传感器进一步包括图像处理器。

9.根据权利要求5所述的成像装置，其中：

在所述像素阵列中，所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行交错排列；或者所述第一像素群组中的所述像素与所述第二像素群组中的所述像素间隔两行并在两个方向上交错排列。

10.根据权利要求5所述的成像装置，进一步包括：

所述像素阵列包括第三像素群组，其在第三时间内曝光，得出第三图像；

所述像素阵列包括第四像素群组，其在第四时间内曝光，得出第四图像，其中，所述第一时间、所述第二时间、所述第三时间和所述第四时间各不相同；

其中，所述控制电路进一步在读取所述第一图像和所述第二图像的同时读取所述第三图像和所述第四图像；以及

所述图像处理器组合第一图像、第二图像、所述第三图像和所述第四图像。

Images