CN109565555B - 固态摄像装置、摄像方法和电子设备 - Google Patents

Abstract

本发明涉及能够缩短曝光时间的固态摄像装置、摄像方法和电子设备。一个像素和另一像素是具有不同的曝光开始时序和曝光结束时序的像素。有源光在所述一个像素的曝光时间内开始发光并且停止发光。例如，所述一个像素分别在所述有源光发光之前和之后开始曝光和结束曝光。所述另一像素在从所述有源光发光开始已经经过了时间Ta1之后的时刻开始曝光，并且在所述一个像素已经结束曝光之后结束曝光。本发明例如能够应用于使用有源光进行摄像的摄像装置。

Description

固态摄像装置、摄像方法和电子设备

技术领域

本发明涉及固态摄像装置、摄像方法和电子设备，并且特别地，涉及能够缩短曝光时间的固态摄像装置、摄像方法和电子设备。

背景技术

专利文献1提出了如下技术：其中，即使在用红外光照射的同时拍摄图像的情况下，能够从包含可见光和红外光的图像信号中适当地分离可见光和红外光。

在此提案中，通过用红外光照射两个整帧，使用曝光时间的差异，通过计算处理来确定可见光和红外光。

引用列表

专利文献

专利文献1：特开号为2016-76807的日本专利申请

发明内容

本发明要解决的技术问题

然而，在专利文献1的提案中，在两个整帧期间进行照射，因此需要长的LED发光时间。

本发明是基于上述问题而做出的，并且旨在能够缩短曝光时间。

技术问题的解决方案

根据本发明的一个方面的固态摄像装置包括：以二维的方式配置有像素的像素阵列单元；和曝光控制单元，所述曝光控制单元根据预定光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同。

所述曝光控制单元能够根据所述预定光的发光时间以使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

所述曝光控制单元能够以通过改变包含所述预定光的发光时间的比率使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

所述像素能够包含PD。

所述曝光控制单元能够通过复位操作控制所述曝光开始时间，并且能够通过电荷传输控制所述曝光结束时间。

所述像素能够包括有机或无机光电转换膜。

所述曝光控制单元能够通过复位操作控制所述曝光开始时间，并且能够通过所述光电转换膜的上部电极控制所述曝光结束时间。

所述曝光控制单元能够通过所述光电转换膜的上部电极控制所述第一像素和所述第二像素的至少一者的所述曝光开始时间，并且能够通过所述光电转换膜的所述上部电极控制所述曝光结束时间。

所述曝光控制单元能够根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

所述曝光控制单元能够以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间和所述第二像素的曝光时间。

所述固态摄像装置还能够包括计算单元，所述计算单元对来自所述第一像素和所述第二像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

所述曝光控制单元能够根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间、所述第二像素的曝光时间和第三像素的曝光时间，所述第三像素的曝光时间与所述第一像素和所述第二像素的曝光时间不同。

所述曝光控制单元能够以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间、所述第二像素的曝光时间和所述第三像素的曝光时间。

所述固态摄像装置还能够包括计算单元，所述计算单元对来自所述第一像素、所述第二像素和所述第三像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

所述像素阵列单元能够包括具有转换效率可调功能的像素。

根据本技术的一个方面的摄像方法包括如下步骤：根据预定光的发光时间，固态摄像装置以使曝光开始时间和曝光结束时间的至少一者不同的方式控制像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，像素二维地布置在所述像素阵列单元中并且所述第二像素的曝光时间与所述第一像素的曝光时间不同。

根据本技术的一个方面的电子设备包括：用于发光的发光单元；以及固态摄像装置，所述固态摄像装置包括：以二维的方式配置有像素的像素阵列单元；和曝光控制单元，所述曝光控制单元根据由所述发光单元发出的光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同。

根据本技术的一个方面，在二维地布置有多个像素的像素阵列单元中，以根据预定光的发光时间使曝光开始时间和曝光结束时间的至少一者不同的方式控制第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同。

本发明的有益效果

根据本发明，能够控制曝光时间。特别地，根据本技术，能够缩短曝光时间。

应当注意的是，本说明书中说明的效果仅仅是示例性的，本技术的效果不限于本说明书中描述的效果，而是可能具有额外的效果。

附图说明

图1是图示了应用本发明的固态摄像装置的示意性构造示例的框图；

图2图示了与有源光(active light)和像素相关的两种曝光控制；

图3图示了输出之后的计算处理；

图4图示了在全局快门情况下像素的曝光操作的示例；

图5图示了在滚动快门情况下曝光操作的示例；

图6图示了作为示例的在全局快门情况下的电路构造和曝光控制时序；

图7图示了作为示例的在全局快门情况下的另一电路构造和曝光控制时序；

图8图示了作为示例的在全局快门情况下的又一电路构造和曝光控制时序；

图9图示了作为示例的在全局快门情况下的再一电路构造和曝光控制时序；

图10图示了在使用光电转换膜的全局快门情况下的电路构造的示例；

图11图示了在图10的情况下的曝光控制时序的示例；

图12图示了在使用光电转换膜的全局快门情况下的另一电路构造的示例；

图13图示了在图12的情况下的曝光控制时序的示例；

图14图示了与两个有源光束和像素相关的两种曝光控制；

图15图示了与两个有源光束和像素相关的三种曝光控制；

图16图示了输出之后的计算处理；

图17图示了作为示例的在全局快门情况下的电路构造和曝光控制时序；

图18图示了像素图案的示例；

图19图示了像素图案的另一示例；

图20图示了其它像素图案的示例；

图21图示了控制线的物理图像的示例；

图22图示了控制线的物理图像的另一示例；

图23图示了控制线的物理图像的又一示例；

图24图示了另一像素区域的示例；

图25图示了包括转换效率可调功能的示例；

图26图示了使用应用了本技术的图像传感器的示例；

图27是图示了应用了本技术的电子设备的构造示例的框图；

图28图示了内窥镜手术系统的示意性结构的示例；

图29是图示了包含相机头部和CCU的功能构造的示例的框图；

图30是图示了车辆控制系统的示意性构造的示例的框图；

图31是图示了车外信息检测单元和摄像单元的设置位置的示例的说明图。

具体实施方式

下面，将说明实施本发明的模式(下文中将称为实施例)。应当注意的是，将按照下面的顺序进行说明。

0.装置的说明

1.第一实施例

2.第二实施例

3.第三实施例

4.图像传感器的使用示例

5.电子设备的示例

6.应用于内窥镜手术系统的应用示例

7.应用于移动体的应用示例

(0.装置的说明)

(固态摄像装置的示意性结构示例)

作为示例，图1图示了应用于本技术的各实施例的互补金属氧化物半导体(CMOS)固态摄像装置的示意性构造示例。

如图1中所示，固态摄像装置(元件芯片)1包括具有像素区域(所谓的摄像区域)和周边电路区域的半导体基板11(例如，硅基板)，在像素区域中，分别包含多个光电转换元件的像素2规则地二维排列。

像素2包含光电转换单元(例如，光电二极管(PD))和多个像素晶体管(所谓的MOS晶体管)。例如，多个像素晶体管能够由传输晶体管、复位晶体管和放大晶体管这三个晶体管构成。此外，多个像素晶体管能够通过添加选择晶体管而由四个晶体管构成。

此外，像素2能够被构造为具有像素共用结构。像素共用结构包括多个光电二极管、多个传输晶体管、一个共用浮动扩散区和依次被共用的其它像素晶体管。光电二极管是光电转换元件。

周边电路区域包括垂直驱动电路4、列信号处理电路5、水平驱动电路6、输出电路7和控制电路8。

控制电路8接收输入时钟以及提供关于操作模式等的指令的数据，并且输出诸如固态成像装置1的内部信息等的数据。更具体地，控制电路8在垂直同步信号、水平同步信号和主时钟的基础上产生用作垂直驱动电路4、列信号处理电路5和水平驱动电路6等操作的基准的时钟信号，并且生成控制信号。然后，控制电路8将这些信号输入至垂直驱动电路4、列信号处理电路5和水平驱动电路6。

垂直驱动电路34例如由移位寄存器构成，选择像素驱动配线，将用于驱动像素2的脉冲供给至所选的像素驱动配线，并且以行为单位驱动像素2。更具体地，垂直驱动电路4以行为单位在垂直方向上顺序地选择和扫描像素区域3中的各像素2，并且，通过垂直信号线9将基于信号电荷的像素信号供给至各个列信号处理电路5，所述信号电荷是根据各像素2的光电转换元件中接收的光量而产生的。

列信号处理电路5例如对应于像素2的各列而布置，并且，以像素列为基础对从一个行的像素2输出的信号进行诸如噪声去除等信号处理。更具体地，列信号处理电路5进行诸如用于去除像素2特有的固定模式噪声的相关双采样(CDS)、信号放大或模拟/数字(A/D)转换等信号处理。在各列信号处理电路5的输出级与水平信号线10之间，连接并设置有水平选择开关(未被图示)。

水平驱动电路6例如由移位寄存器构成，并且顺序地输出水平扫描脉冲来依次选择各个列信号处理电路5，使得各个列信号处理电路5将像素信号输出至水平信号线10。

输出电路7对通过水平信号线10从各个列信号处理电路5顺序地供给来的信号进行信号处理，并且随后输出处理过的信号。也存在输出电路7例如仅进行缓冲的情况，或者也存在输出电路7进行黑电平调整、列散布校正(column dispersion correction)和各种类型的数字信号处理等。

输入和输出端子12被设置用于与外部交换信号。

(1.第一实施例)

(像素的曝光控制)

图2图示了有源光的发光时序(发光时间)和两种像素的曝光时序(曝光时间)。有源光(active light)例如是IR光、单色光或白光等，但不限于此。

像素2-1和像素2-2是曝光开始时序(曝光开始时间)和曝光结束时序(曝光结束时间)互不相同的像素。像素2-1进行长曝光操作，其曝光时间T1较长。在像素2-1的曝光时间内，有源光开始发光，并且结束发光。例如，在图2的示例中，在有源光的发光之前和之后，像素2-1开始曝光，并且结束曝光。在有源光开始发光之后经过了时间Ta1(至照射结束残留了时间Ta2)的时刻，像素2-2进行短曝光操作，其曝光时间T2比像素2-1的曝光时间T1短。需要注意的是，如果像素2-2的曝光开始时刻是有源光开始发光之后经过了时间Ta1的时刻，曝光时间可能与像素2-1的曝光时间相同。

假设像素2-1的信号是out1，像素2-2的信号是out2，有源光的反射光的强度是al，背景光的强度是bg，如图2所示，像素2-1的曝光时间是T1，像素2-2的曝光时间是T2，并且在有源光的发光时间内，像素2-2经过Ta1才开始曝光，则能够获得公式(1)。

[公式1]

out1＝bg×T1+al×(Ta1+Ta2)

out2＝bg×T2+al×Ta2…(1)

从上述等式(1)能够求出有源光的反射光的强度al和背景光强度bg，并且因此能够减少反射光的影响。

特别地，在Ta2为0的情况下，当有源光不与像素2的曝光时间重叠的时候，等式(1)被显著简化。应当注意的是，在曝光时间T1与时间Ta1+Ta2的比率等于曝光时间T2与时间Ta2的比率的情况下，计算困难。因此，需要使用它们彼此不等的值。换言之，时间Ta1可以为0(＝0)，或者时间Ta2可以为0(＝0)。这是因为在时间Ta1＝0的情况下，曝光时间T1的值等于曝光时间T2的值，比率变得彼此相等，使得计算困难。

应当注意的是，尽管曝光时间不同的像素可以具有相同的结构，但是考虑到饱和量，能够改变像素的转换效率和尺寸。

图3图示了输出之后的计算处理。

图3的示例示出了在如下情况下获得的输出图像21：在所述情况下，像素区域3中例如以棋盘图案布置有曝光时序有区别(受控制下)的像素2-1和像素2-2，换言之，包含的(输入的)有源光的比率有区别(受控制下)的像素2-1和像素2-2。如图像22-1和图像22-2中所示，计算单元23对该输出图像21进行去马赛克处理，并且以像素为单位进行计算处理，从而使得能够获得消除了背景光的影响的对有源光曝光的曝光图像24。

如上所述，能够通过使用两个(或多个)信号中包含的背景光与有源光的比率的差别的特征进行计算处理。这使得能够一帧完成操作，并且不需要帧存储器。此外，与两帧操作相比，耗电也低。

顺便提及地，关于能够进行全局快门的固态摄像元件，所有像素共用相同的计算式，并且因此能够简化计算式。因此，能够如下文所述地实现非常高效的操作。

(在全局快门情况下像素的曝光操作)

图4图示了全局快门情况下的像素的曝光操作。与上述图2的示例一样，图4的A示出了在曝光开始时序和曝光结束时序偏移的情况下获得的操作的示例。

关于像素2-1，在有源光开始发光之前开始曝光，并且在有源光的发光结束之后结束曝光。同时，关于像素2-2，在有源光的发光期间内开始发光，并且在像素2-1的曝光结束之后结束曝光。接着，进行从像素的读取。

顺便提及地，曝光时间是例如通过有源光的同步时序或者能够获取信号的SN的有源光的发光时间而确定的参数。因此，例如通过图1的控制电路8等，能够根据本发明采用的应用来控制时序。

图4的B示出了在保持曝光结束时序相互对齐的情况下获得的操作的示例。

在图4的B的示例的情况下，像素2-1和像素2-2的曝光开始时序分别与图4的A的情况类似。然而，像素2-1的曝光和像素2-2的曝光在有源光的发光结束之后的相同时刻结束。

换言之，由于像素2-2的曝光时间与像素2-1的曝光时间重叠，所以缩短了总曝光时间。因此，能够缩短发光时间。另外，实现了对于移动物体的高适应性。此外，可以期望由无用曝光时间的减少而产生的帧率改善效果。然而，由于所有的像素同时被驱动，在一些情况下改变曝光结束的操作也能够被适当支持。

接着，将说明滚动快门操作。在滚动快门的情况下，有源光的发光可以在像素2-2侧与像素2-1重叠，或者可以不与像素2-1重叠。另外，在滚动快门的情况下，各行的用于计算的系数有区别，并且因此后处理变得复杂是不利的。然而，由于像素不需要全局快门功能，所以简化了构造。

(在滚动快门情况下像素的曝光操作)

图5图示了在滚动快门的情况下的曝光操作。图5的A示出了在有源光仅进入像素2-1的情况下进行的操作的示例。

换言之，关于像素2-1，在有源光开始发光之前开始曝光，并且在有源光的发光结束之后结束曝光。同时，关于像素2-2，在有源光的发光之后开始曝光，并且在像素2-1的曝光结束之后结束曝光。接着，进行像素的读取。

在图5的A的示例的情况下，即使有源光的曝光时间不在所有区域内保持对齐，仍能够进行计算。另外，像素2-1内的有源光的曝光时间不同，因此各行的计算不同。

图5的B示出了在有源光进入像素2-1和像素2-2的情况下进行的操作的示例。

与图5的A一样地，关于像素2-1，在有源光开始发光之前开始曝光，并且在有源光的发光结束之后结束曝光。同时，与图5的A的情况不同的是，关于像素202，在有源光的发光期间内开始曝光，并且在像素2-1的曝光结束之后结束曝光。接着，进行对像素的读取。

在此示例中，在一部分是加法操作的情况下，如上所述，需要将像素2-1和像素2-2设定为使得有源光与总曝光时间的比例不同。在光进入像素2-1和像素2-2的情况下，各行的计算公式不同。

(在全局快门情况下的电路构造和曝光控制时序)

图6示出了作为示例的在全局快门情况下的电路构造和曝光控制时序。图6的A示出了两像素共用电路构造，其中，使用通用埋入PD法，实际操作中的曝光开始时间是复位操作，并且通过电荷传输进行曝光的结束。

换言之，像素2-1和像素2-2包括OFG晶体管31、TRX晶体管32、TRG晶体管33、光电二极管(PD)34以及电容器35。然而，RST晶体管36、AMP晶体管37、SEL晶体管38和浮动扩散区(FD)39被像素2-1和像素2-2共用。

在像素2-1中，如图6的B所示，TRX1信号输入至TRX晶体管32以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。同时，在像素2-2中，TRX2信号输入至TRX晶体管32以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。

顺便提及地，示出了脉冲(控制信号)作为示例。因此，还考虑如下参照图7说明的通过OFG信号控制曝光控制的时序的示例。

图7的A中示出的电路构造基本上类似于图6的A中所示的电路构造，并且因此将省略对它的说明。

在像素2-1中，如图7的B中所示，OFG1信号输入至OFG晶体管31以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。同时，在像素2-2中，OFG2信号被输入至OFG晶体管3以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。

应当注意的是，尽管在图6和图7的示例中示出了两像素共用电路构造，也能够支持无电路共用或四像素共用等。另外，尽管在图6的示例中示出了TRX构造，也可以考虑如下方法：其中，布置多个栅极(TRX1-1,TRF1-2)等。

图8示出了作为示例的在全局快门的情况下的另一电路构造和曝光控制时序。

图8的A示出的电路构造与图6的A中示出的电路构造的不同之处在于像素2-1和像素2-2中不含有OFG晶体管31。

换言之，像素2-1和像素2-2分别包含TRX晶体管32、TRG晶体管33、PD 34以及电容器35。然而，RST晶体管36、AMP晶体管37、SEL晶体管38和FD 39被像素2-1和像素2-2共用。

在像素2-1中，如图8的B中所示，TRX1信号输入至TRX晶体管32以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。同时，在像素2-2中，TRX2信号输入至TRX晶体管32以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。

在此情况下，由于不存在OFG晶体管，PD 34的曝光控制的灵活性降低。然而，能够减少晶体管的数量。

应当注意的是，尽管图8的示例中示出了两像素共用电路构造，但也能够支持无电路共用或四像素共用等。

图9示出了作为示例的在全局快门的情况下的又一电路构造和曝光控制时序。

如图9的A中所示，像素2-1和像素2-2分别包含TRG晶体管33、PD34、RST晶体管36、AMP晶体管37、SEL晶体管38和FD 39。换言之，图9的A中示出的电路构造是如下全局快门方法的示例，其中，来自PD34的电荷被传输至FD 39。因此，图9的A中所示的电路构造无法像素共用。

在此情况下，在像素2-1中，如图9的B中所示，TRG1信号输入至TRG晶体管33以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。同时，在像素2-2中，TRG2信号被输入至TRG晶体管33以进行复位操作，这使得曝光开始。通过电荷传输使曝光结束。

图10示出了在使用有机光电转换膜或无机光电转换膜(下文中简称为光电转换膜)的全局快门的情况下的电路构造的示例。应当注意的是，在图10的电路构造中，VC是连接至透明电极42的电源电压，VR是连接至RST晶体管36的电源电压。

图10的电路构造与图9的电路构造的不同之处在于：在像素2-1和像素2-2中，PD34被光电转换膜41、透明电极42和下部电极43代替，并且去除了TRG电极33。

换言之，如图10中所示，像素2-1和像素2-2分别包括光电转换膜41、透明电极42和下部电极43、RST电极36、AMP电极37、SEL电极38和FD 39。应当注意的是，在均具有光电转换膜41的像素2-1和像素2-2中，例如光电转换膜41控制透明电极42的电压，从而实现全局快门。

在图10的电路构造的情况下，能够进行下面三种曝光开始控制。顺便提及地，通过对透明电极42的电压的控制，来控制输入至透明电极42的VC的开始和结束。

在图11的A的情况下，示出了通过透明电极42进行曝光开始控制的示例。在像素2-1中，从VC1输入至透明电极42的时刻开始曝光，并且在上述输入结束的时刻结束曝光。在像素2-2中，从VC2输入至透明电极42的时刻开始曝光，并且在上述输入结束的时刻结束曝光。

在图11的B的情况下，示出了通过RST信号进行曝光开始控制的示例。换言之，在像素2-1中，在RST1信号至RST晶体管36的输入结束的时刻开始曝光，并且在VC1的输入结束的时刻结束曝光。在像素2-2中，在RST2信号至RST晶体管36的输入结束的时刻开始曝光，在VC2的输入结束的时刻结束曝光。

在图11的C的情况下，示出了如下示例：其中，在VC1和VC2同时被控制或用作VC的情况下，电极是相同。换言之，在像素2-1中，在RST1信号至RST晶体管36的输入结束的时刻开始曝光，并且在VC的输入结束的时刻结束曝光。在像素2-2中，在RST2信号至RST晶体管36的输入结束的时刻开始曝光，并且在VC的输入结束的时刻结束曝光。

图12示出了在使用光电转换膜的全局快门的情况下的另一电路构造的示例。换言之，图12示出了在电路被共用的情况下使用的电路构造的示例。

换言之，像素2-1和像素2-2分别包括光电转换膜41、透明电极42和下部电极43和TRG晶体管33。然而，RST电极36、AMP电极37、SEL电极38和FD 39被像素2-1和像素2-2共用。应当注意的是，在图12的情况下，虽然透明电极42被图示为与VC相同的端子，但是透明电极42可以是物理分离的。

在图13的A的情况下，在像素2-1中，在TRG1信号被输入至TRG晶体管33的时刻开始曝光，并且在VC的输入结束的时刻结束曝光。在像素2-2中，在TRG2信号被输入至TRG晶体管33的时刻开始曝光，并且在VC的输入结束的时刻结束曝光。

应当理解地，与图13的A中所示的示例相同，输入RST信号的RST晶体管36可以在除了读取之外的时间期间内始终开启(ON)，或者可以以脉冲的方式被驱动从而覆盖TRG1信号和TRG2信号被输入的期间内开启(ON)期间。

在图13的B的情况下，在像素2-1中，从VC输入至透明电极42的时刻开始曝光，并且在上述输入结束的时刻结束曝光。在像素2-2中，在TRG2信号被输入至TRG晶体管33的时刻开始曝光，并且在VC的输入结束的时刻结束曝光。

换言之，图13的B示出了通过透明电极实现一个像素的曝光开始时序的示例。

顺便提及地，在上述说明中，已经说明了全局快门的情况下的示例。然而，滚动快门能够被普通像素支持，并且进行通常的脉冲操作，因此将省略对其的说明。滚动快门与全局快门的区别取决于是否是所有像素同时曝光。在滚动快门的情况下，通过以行为单位连续地进行曝光的操作，也能够获得与全局快门的波形相同的波形。

(2.第二实施例)

(像素的曝光控制)

图14图示了两种有源光的发光和两种像素的曝光时序。

除了参照图2说明的像素的曝光控制之外，也可以考虑如下方法：其中，通过使用具有两种波长的光由吸收系数的区别检测出期望检测的内容。还能够计算例如氧合血红蛋白或脱氧血红蛋白等浓度的变化。

在使用两种波长的方法中，仅通过两种曝光无法求出值。有源光61和有源光62能够被控制为使得仅有有源光61和有源光62中的一者进入像素2-1或像素2-2。例如，在图14的示例中，在有源光61的发光之前和之后，像素2-1开始曝光并且结束曝光。在有源光61的发光结束之后，并且在有源光62的发光之前和之后，像素2-2开始曝光并且结束曝光。应当注意的是，在图14的情况下，像素2-1和像素2-2中的曝光结束时序也可以彼此相同。

因此，能够减去背景。在此情况下，有源光61的输出和有源光62的输出无法相互分离。然而，能够计算出它们之间的差。

假设像素2-1的信号是out1，像素2-2的信号是out2，有源光61的反射光的强度是al61，有源光62的反射光的强度是al62，背景光的强度是bg，如图14所示，像素2-1的曝光时间是T1，像素2-2的曝光时间是T2，有源光61的发光时间是Ta61，并且有源光62的发光时间是Ta62，则能够获得下面的公式(2)。

[公式2]

out1＝bg×T1+al61×Ta61

out2＝bg×T2+al62×Ta62

→out1-out2*(T1/T2)＝al61×Ta61-al62×Ta62*(T1/T2)…(2)

这里，采用彼此相同的T1和T2，这能够极大地简化计算。此外，采用彼此相同的Ta61和Ta62，这使得能够仅检测反射率的区别。

顺便提及地，关于在图14的情况下输出之后的计算处理，所述计算处理基本上与说明了在图2的情况下的输出之后的计算处理的图3的示例中的计算处理相同。因此，将省略对其的说明。

(像素的曝光控制)

图15图示了两种有源光的发光时序和三种像素的曝光时序。应当理解的是，在图15的情况下，像素2-1至像素2-3之中的任两者的曝光结束时序可以彼此相同。

在比参照图14说明的像素曝光控制更加灵活地进行的检查的情况下，假设像素2-1的信号是out1，像素2-2的信号是out2，像素2-3的信号是out3，有源光61的反射光的强度是al61，有源光62的反射光的强度是al62，背景光的强度是bg，如图15所示，像素2-1的曝光时间是T1，像素2-2的曝光时间是T2，像素2-3的曝光时间是T3，并且像素2-N中含有光的时间期间是Ta(N-61)和Ta(N-62)，则能够获得下面的公式(3)。

[公式3]

out1＝bg×T1+al61×Ta(1-61)+al62×Ta(1-62)

out2＝bg×T2+al61×Ta(2-61)+al62×Ta(2-62)

out3＝bg×T3+al61×Ta(3-61)+al62×Ta(3-62)...(3)

在上述公式(3)中的三个等式不是成比例关系的条件下，能够计算出未知的信号、bg、al61和al62。

图16图示了输出之后的计算处理。

在图16的示例中，像素区域3的像素之中的像素2-1、像素2-2、像素2-3的曝光时间(时序)被控制。虽然三种像素可以任意选择，如例如输出图像71中所示的那样布置三种像素。像素可以被构造为2×2的单元，或者能够考虑各种图案，诸如3×3的单元、4×4的单元和2×4的单元。

如图像72-1、图像72-2和图像72-3中所示，输出图像71经过去马赛克处理，并且计算单元73基于像素进行计算处理，从而能够获得针对有源光1曝光的曝光图像74-1和针对有源光2曝光的曝光图像74-2，能够从曝光图像74-1和曝光图像74-2消除背景光的影响。

类似地，在三像素驱动中，在上文中参照图15说明的驱动也能够实现使用三光源的检测。此外，通过独立地控制四个像素的曝光时序，也易于增加光源的数量。通过独立地依次控制用于N个光源的N或N+1个像素，能够减去背景光的影响。

在能够完全独立地控制曝光时间的电路构造的情况下，能够简单地实现图13和14的操作。然而，例如存在无法独立地控制透明电极的情况。接下来，将参照图17说明这样的情况。

(在全局快门情况下的电路构造和曝光控制时序)

图17图示了在无法独立地控制透明电极的情况下的电路构造和曝光控制时序。图17的A示出了在三个像素共用电路的情况下的电路构造的示例。

换言之，像素2-1、像素2-2和像素2-3分别包括光电转换膜41、透明电极42、下部电极43和TRG晶体管33。然而，RST晶体管36、AMP晶体管37、SEL晶体管38和FD 39被像素2-1和像素2-2共用。应当注意的是，在图17的A的情况下，虽然将透明电极42图示为与VC是同一端子，但是透明电极42可以是物理分离的。

如图17的B所示，在像素2-1中，在信号从VC输入至透明电极42之后的TRG1信号的输入时序内，在有源光61的发光之前开始曝光，并且在VC的输入结束的时刻结束曝光。

在像素2-2中，在有源光61的发光之后，并且在有源光62发光之前的TRG2信号的输入时序内，曝光开始，并且在VC的输入结束的时刻曝光结束。在像素2-3中，在有源光62的发光之后，并且在VC的输入结束之前的TRG3信号的输入时刻，曝光开始，并且在VC的输入结束的时刻曝光结束。

顺便提及地，根据上述曝光控制，假设像素2-1、像素2-2、像素2-3分别是out1、out2和out3，有源光61的反射光的强度是al61，有源光62的反射光的强度是al62，背景光的强度是bg，像素2-1的曝光时间是T1，像素2-2的曝光时间是T2，像素2-3的曝光时间是T3，有源光61的发光时间是Ta61，有源光62的发光时间是Ta62，则能够获得下面的公式(4)。

[公式4]

out1＝bg×T1+al61×Ta61+al62×Ta62

out2＝bg×T2+al62×Ta62

out3＝bg×T3...(4)

从上面的公式(4)能够容易地计算出下面的公式(5)。

[公式5]

al62×Ta62＝out2-out3×(T2/T3)

al61×Ta61＝out1-out2-out3×(T1-T2)/T3...(5)

应当注意的是，在图17的A中示出的电路构造被应用至2×2正方形排布的像素的情况下，四个像素之中的一个剩余像素可以以类似于out3的方式控制。在此情况下，TRG3和4以相同的方式被驱动，并且在FD加运算是可能的情况下，进行该加运算。信号量小的out3的信号量增大，并且因此能够提高SN。在无法进行FD加运算的情况下，即使源极跟随器加运算或数字区域的加运算也能够使SN提高。

应当理解的是，在上面的解释中，如图18的A中所示，考虑了像素2-1和像素2-2的棋盘图案以及黑白传感器。然而，还能够考虑应用于其它图案和各种滤色器的阵列的应用。

例如，如图18的B中所示，能够考虑基于行(例如，以像素2-1的行、像素2-2的行、像素2-1的行、像素2-2的行…的顺序)控制曝光的示例，或者基于列(例如，以像素2-1的列、像素2-2的列、像素2-1的列、像素2-2的列…的顺序)控制曝光的示例。

应当注意的是，在如图18的B的左侧示出的基于行控制曝光的情况下，能够在不增加控制线的情况下进行控制。

另外，例如图图8的C中所示，也能够考虑通过使用2×2图案进行控制的示例。应当指出的是，可以例如以2×2、2×4、4×2、3×3、或4×4等为单位控制曝光。

例如，如图19的A中所示，对于2×2像素的拜尔(Bayer)图案，能够以2×2像素为单位控制曝光时间。

此外，如图19的B中所示，对于2×2像素共用同一滤色器的拜尔(Bayer)图案，也能够以2×2像素为单位控制曝光时间。

另外，作为另一像素图案，如图20的A中所示，在具有R、G、B和W的滤色器阵列中使用2×2像素的过滤器图案，并且能够通过改变W阵列点所在的像素的曝光时间，应用本技术。

此外，如图20的B中所示，在通过使用红色有源光控制曝光的情况下，仅与红色过滤器对应的像素的曝光必须被控制。还能够仅控制与颜色和有源光的颜色相匹配的滤色器相对应的像素的曝光。

顺便提及地，除了上述之外，还存在诸如3×3颜色图案，以及4×4、5×5或6×6像素图案。然而，与图19的A中所示的拜尔图案相同的，例如，在其中重复6×6像素单元的滤色器(该滤色器增大滤色器阵列的随机性以降低诸如莫尔纹(moire)等影响)的情况下，可以以6×6像素为单位控制曝光(换言之，控制6×6像素的曝光时间和下一个6×6像素的曝光时间)，或者甚至能够通过控制6×6像素中包括的相同滤色器像素的曝光实现控制。

(控制线的物理图像)

图21至23分别图示了控制线的物理图像的示例。

作为示例，图21图示了在一个像素一个读取电路(无像素共用)的情况下的控制线的图像。另外，这是黑白阵列的图像。

在摄像装置1中，曝光控制信号线101L[0]至101L[N]、曝光控制信号线101R[0]至101R[N]以及其它控制信号线102[0]至[N]被连接至像素区域3中的像素2。

曝光控制信号线101L[0]至101L[N]和曝光控制信号线101R[0]至101R[N]表示诸如TRG信号、TRX信号、OFG信号或RST信号等用于控制曝光时间的配线。虽然这里图示了一条线，但是在通过组合OFG信号与TRX信号控制曝光时间的情况下，布置有两条线。

其它控制信号线[0]至[N]成为用于从诸如SEL晶体管38和RST晶体管36等电路读取信号的控制线。其它控制信号线[0]至[N]成为所用控制线之中的除了曝光控制线之外的信号。

来自各像素的信号通过垂直信号线9输入至构成图1的列信号处理电路5的模拟/数字(A/D)转换电路的一部分的比较器121中。该信号随后受到预定的信号处理。例如，信号被输入至构成A/D转换电路的一部分的比较器121。比较器121将输入信号与DAC 112的值进行比较。来自构成控制电路8的一部分的时钟生成器111的时钟经由DAC112被输入至比较器121作为模拟数据，并且该时钟被直接输入至计数器122。

应当注意的是，RST等也作为曝光控制信号，或者也能够成为任意其它控制信号。配线的数量根据控制方法而从1至5变化。

在进行更复杂的控制的情况下，例如，当准备曝光时序不同的三个或以上的像素时，仅必须增加曝光控制线的数量。

作为示例，图22图示了在两个上部和下部像素被共用的情况下使用的控制线的图像。另外，这也是黑白阵列的图像。

图23图示了在将本技术应用至拜尔阵列的示例。曝光控制信号线101-1[0]至101-3[0]连接至四个共用像素之中的上部像素，并且曝光控制信号线101-4[0]至101-6[0]连接至下部像素。

在图23的情况下，能够通过同一行中的两个R和B以及两行之外的G像素独立地控制曝光时间。

应当注意的是，上述说明仅仅是示例，并且本技术能够应用于各种滤色器图案。曝光控制配线的的数量仅需要与块相对应地对应于期望控制曝光时间的像素的数量就足够了。

(3.第三实施例)

(其它构造示例)

作为其它构造，本技术还能够应用于诸如图24中所示的摄像装置150，摄像装置150使用在X和Y上针对每两个或更多区域布置ADC的区域ADC法。能够想到例如如下构造：其中，布置有多个像素单元171(每个像素单元中布置有多个像素电路161)的像素基板151和布置有与像素单元171对应的多个电路块181的电路基板152通过微凸块(micro-bump)、TSV或Cu-Cu接合等层叠在一起。本技术能够应用于上述构造。

另外，关于一个像素中布置一个ADC的像素ADC法，改变各像素的曝光时间使得能够进行类似的支持。

此外，如图25中所示，例如，包括TRG晶体管33、PD 34、RST晶体管36、AMP晶体管37、SEL晶体管38和FD 39的像素电路可以与包括晶体管201和电容器202的转换效率可调功能200组合。

在此情况下，能够提高信号电平低的一侧(虽然这是曝光时间短的一侧，但并不总是依赖于有源光的输入比率)的转换效率。结果，能够提高信号电平低的一侧的信号电平，并且能够提高SN。

(4.图像传感器的使用示例)

图26图示了上述固态摄像装置的示例。

例如，上述的固态摄像装置(图像传感器)能够用于如下所述的对诸如可见光、红外光、紫外光或X射线等光进行感测的各种情况。

·用于对观赏所用的图像进行成像的装置，包括数码相机或具有相机功能的便携式装置等设备

·用于交通的装置，所述装置包括：例如车载传感器，其用于例如对汽车的前方、后方、周围或内部等进行成像，以用于诸如自动停车等安全驾驶和用于识别驾驶员状况等；监控相机，其用于监视运行车辆和道路；或测量传感器，例如用于测量车辆之间的距离等

·用于家用电器(诸如电视机、冰箱或空调等)的装置，所述装置用于对用户的手势进行成像，从而能够根据手势来操作装置

·用于医疗护理和健康护理的装置，所述装置包括内窥镜和用于接收红外光以进行血管造影的装置等

·用于安全的装置，所述装置包括用于预防犯罪的监控相机以及用于身份认证的相机等

·用于美容护理的装置，所述装置包括用于对皮肤进行成像的皮肤测量设备以及用于对头皮进行成像的显微镜等

·用于运动的装置，所述装置包括用于运动等的动作相机和可穿戴相机等

·用于农业的装置，所述装置包括用于监视农田和农作物的状况的相机等

(5.电子设备的示例)

(电子设备的构造示例)

此外，本技术的应用不限于固态摄像装置的应用。本技术也能够应用于摄像装置。这里，摄像装置包括：诸如数码照相机和数码摄像机等相机系统；诸如便携电话等具有摄像功能的电子设备。应当注意的是，还存在如下情况：设置在电子设备中的模块形式，也即是相机模块，被看作是摄像装置。

这里，将参照图27说明应用本发明的电子设备的构造示例。

图27所示的电子设备300设置有固态摄像装置(元件芯片)301、光学透镜302、快门装置303、驱动电路304和信号处理电路305。上述的根据本发明的固态成像装置1被设置为固态摄像装置301。另外，电子设备300设置有上述有源光的发光单元作为未图示的发光单元。应当注意的是，图3的计算单元23和图16的计算单元73被设置为信号处理电路305。

光学透镜302将来自被摄体的图像光(入射光)的图像形成在固态摄像装置301的成像面上。因此，信号电荷在固定时间段内累积在固态摄像装置301中。快门装置303控制用于固态摄像装置301的光照期间和遮光期间。

驱动电路304提供用于控制固态摄像装置301的信号传输操作、快门装置303的快门操作以及未图示的发光单元的发光操作的驱动信号。驱动电路304通过使用由未图示的CPU设定的参数控制各项操作。固态摄像装置301通过驱动电路304供给的驱动信号(时序信号)来传输信号。信号处理电路305对固态摄像装置301输出的信号进行各种类型的信号处理。经过信号处理的视频信号存储在诸如存储器等存储介质中，或被输出到监视器。

(6.内窥镜手术系统的应用示例)

根据本发明的技术(本技术)能够被应用于各种产品。例如，根据本发明的技术可以应用于内窥镜手术系统。

图28图示了能够应用根据本发明的技术(本技术)的内窥镜手术系统的示意性构造的示例。

图28图示了这样的情形：手术师(医生)11131使用内窥镜手术系统11000对病床11133上的患者11132进行手术。如图所示，内窥镜手术系统11000包括：内窥镜11100；诸如气腹管11111或能量治疗工具11112等其它手术工具11110；用于支撑内窥镜11100的支撑臂装置11120；以及安装有用于内窥镜手术的各种装置的小车11200。

内窥镜11100包括：镜筒11101，镜筒11101具有与其远端相距预定长度的区域，该区域被插入至患者11132的体腔中；和相机头部11102，相机头部11102连接至镜筒11101的近端。在图中的示例中，图示了被构造为具有刚性镜筒11101的所谓刚性镜的内窥镜11100。然而，内窥镜11100可以被构造为包括柔性镜筒的所谓柔性镜。

在镜筒11101的端部配置有其中装有物镜的开口。光源装置11203连接至内窥镜11100。光源装置11203产生的光通过在镜筒11101的内部延伸的光导而被引导至镜筒的所述端部，并且经由物镜被照向患者11132的体腔中的观察目标。应当注意的是，内窥镜11100可以是直视镜，或者可以是斜视镜或侧视镜。

光学系统和摄像元件配置在相机头部11102的内部，并且来自观察目标的反射光(观察光)通过光学系统被聚集在成像元件上。通过摄像元件对观察光进行光电转换，并且产生与观察光对应的电信号，换言之，与观察图像对应的图像信号。图像信号作为RAW数据而被传输至相机控制单元(CCU)11201。

CCU 11201包括中央处理单元(CPU)和图形处理单元(GPU)等。CCU 11201以整体的方式控制内窥镜11100的操作和显示装置11202的操作。此外，CCU 11201接收来自相机头部11102的图像信号，并且对图像信号进行用于基于图像信号来显示图像的各种图像处理，诸如显影处理(去马赛克处理)等。

显示装置11202在CCU 11201的控制下基于经过CCU 11201图像处理的图像信号来显示图像。

例如，光源装置11203包括诸如发光二极管(LED)等光源，并且将用于对手术区域等进行成像的照射光供给至内窥镜11100。

输入装置11204是内窥镜手术系统11000的输入接口。用户能够经由输入装置11204将各种类型的信息或指令输入至内窥镜手术系统11000。例如，用户输入指令等，以改变内窥镜11100的摄像条件(照射光的类型、放大率和焦距等)。

治疗工具控制装置11205控制能量治疗工具11112的驱动，以用于例如灼烧和切割组织或封合血管等。气腹装置11206经由气腹管11111将气体馈送到体腔以使患者11132的体腔隆起，以用于确保内窥镜11100的视场和确保外科医生的工作空间的目的。记录器11207是能够记录关于手术的各种类型信息的装置。打印机11208是能够以诸如文本、图像和图形等各种形式打印关于手术的各种类型信息的装置。

顺便提及地，用于供给在内窥镜11100对手术部位进行成像时使用的照射光的光源装置11203可以由白光源构成，白光源例如可以包括LED、激光光源或由它们的组合。在由RGB激光光源的组合构成白光源的情况下，能够高精度地控制各颜色(各波长)的输出强度和输出时间，且因此，能够在光源装置11203中对拍摄的图像进行白平衡调整。此外，在这种情况下，通过以时分方式使用来自各个RGB激光光源的激光照射观察目标且通过与照射时序同步地控制相机头部11102的摄像元件的驱动，还能够以时分方式拍摄与RGB分别对应的图像。根据本方法，即使在摄像元件没有设置滤色器，依然能够获得彩色图像。

此外，能够以在每一预定时间处改变光输出强度的方式控制光源装置11203的驱动。通过与光强的变化时序同步地控制相机头部11102的摄像元件的驱动从而以时分方式获取图像，并且通过对图像进行合成，能够产生没有所谓的遮光阴影或过曝光高亮的具有高动态范围的图像。

此外，光源装置11203可以被构造为能够供给与特定光观察对应的预定波段内的光。在特定光观察中，例如，通过利用体组织中的光吸收的波长依赖性，用比常规观察时的照射光(换言之，白光)更窄波段的光照射，从而对诸如粘膜表层的血管等预定组织进行高对比度成像。这被称为进行窄波段光观察(窄波段成像)。可替代地，在特定光观察中，可以进行通过使用激发光照射而产生的荧光来获得图像的荧光观察。在荧光观察中，例如，能够通过用激发光照射体组织来观察来自体组织的荧光(自体荧光观察)，或能够通过将诸如吲哚箐绿(ICG)等试剂注入体组织且使用与试剂的荧光波长对应的激发光照射体组织来获得荧光图像。光源装置11203能够被构造为能够供给与上述的特定光观察对应的窄波段光和/或激发光。

图29是图示了图28中所示的相机头部11102和CCU 11201的功能构造的示例的框图。

相机头部11102包括透镜单元11401、摄像单元11402、驱动单元11403、通信单元11404和相机头部控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。相机头部11102和CCU 11201通过传输电缆11400连接，从而能够彼此通信。

透镜单元11401是配置在用于连接至镜筒11101的连接部中的光学系统。从镜筒11101的端部获取的观察光被引导至相机头部11102，并且进入透镜单元11401上。透镜单元11401包括多个透镜的组合，多个透镜包括变焦透镜和定焦透镜。

构成摄像单元11402的摄像元件的数量可以是一个(所谓的单板型)或两个以上(所谓的多板型)。在摄像单元11402由多板构成的情况下，例如，可以由各摄像元件产生与RGB的各者对应的图像信号，且通过对这些图像信号进行合成，从而获得彩色图像。可替代地，摄像单元11402可以被构造为包括一对摄像元件，以用于分别获取与三维(3D)显示对应的右眼用和左眼用图像信号。通过进行三维显示，手术师11131能够更准确地掌握手术区域中的活体组织的深度。应当注意的是，在摄像单元11402由多板构成的情况下，能够设置的透镜单元11401的数量也可以与各摄像元件对应地为两个以上。

此外，摄像单元11402不一定配置在相机头部11102中。例如，摄像单元11402可以配置在镜筒11101内部的物镜的正后方。

驱动单元11403包括致动器。通过相机头部控制单元11405的控制，驱动单元11403使透镜单元11401的变焦透镜和定焦透镜沿着光轴移动预定的距离。这使得能够适当地调整摄像单元11402获得的拍摄图像的放大率和焦点。

通信单元11404包括通信装置，其用于将各种类型的信息传输至CCU 11201和接收来自CCU 11201的各种类型的信息。通信单元11404经由传输电缆11400将从摄像单元11402获得的图像信号作为RAW数据传输至CCU 11201。

此外，通信单元11404接收来自CCU 11201的用于控制相机头部11102的驱动的控制信号，并且将控制信号供给至相机头部控制单元11405。例如，控制信号包括关于摄像条件的信息，诸如：指定被摄图像的帧速率的信息、指定拍摄图像时的曝光值的信息；和/或指定被摄图像的放大率和焦点的信息等。

应当注意的是，可以由用户适当地指定或者可以由CCU 11201的控制单元11413基于获取的图像信号自动设定诸如帧速率、曝光值、放大率和焦点等摄像条件。在后者的情况下，内窥镜11100具有所谓的自动曝光(AE)功能、自动对焦(AF)功能和自动白平衡(AWB)功能。

相机头部控制单元11405基于经由通信单元11404从CCU 11201接收的控制信号控制相机头部11102的驱动。

通信单元11411包括通信装置，其用于将各种类型的信息传输至相机头部11102和接收来自相机头部11102的各种类型的信息。通信单元11411经由传输电缆11400接收从相机头部11102传输来的图像信号。

此外，通信单元11411将用于控制相机头部11102的驱动的控制信号传输至相机头部11102。能够通过电通信或光通信等传输图像信号和控制信号。

图像处理单元11412对从相机头部11102传输来的作为RAW数据的图像信号进行各种类型的图像处理。

控制单元11413进行与通过内窥镜11100对手术区域等进行的摄像相关的以及与通过对手术区域等进行摄像而获得的拍摄图像的显示相关的各种控制。例如，控制单元11413产生用于控制相机头部11102的驱动的控制信号。

此外，控制单元11413使显示设备11202基于经过图像处理单元11412图像处理的图像信号显示包含手术区域等的被摄图像。在这种情况下，控制单元11413可以通过使用各种图像识别技术来识别被摄图像中的各种物体。例如，通过检测被摄图像中包含的物体的边缘的形状和颜色等，控制单元11413能够识别例如手术工具(诸如镊子)、特定的活体部位、出血和使用能量治疗工具11112时的薄雾等。当控制单元11413使显示设备11202显示被摄图像时，控制单元11413可以利用识别结果使得各种手术支持信息被显示为叠加在手术区域的图像上。通过以叠加的方式显示手术支持信息，以将手术支持信息呈现给手术师11131，能够减小手术师11131的负担，并且能够使手术师11131可靠地进行手术。

将相机头部11102与CCU 11201连接的传输电缆11400是与电信号的通信对应的电信号电缆、与光通信对应的光纤或它们的复合电缆。

这里，在图示的示例中，使用传输电缆11400有线地进行通信。然而，可以无线地进行相机头部11102与CCU 11201之间的通信。

上面已经说明了能够应用根据本发明的技术的内窥镜手术系统的示例。根据本发明的技术能够应用于例如上述构造中的内窥镜11100、相机头部11102(的摄像单元11402)、CCU 11201的图像处理单元11412和光源装置11203等。具体地，例如，图1的固态摄像装置1能够应用于摄像单元11402。例如，图3的计算单元23和图16的计算单元73能够应用于图像处理单元11412。有源光的未图示的发光单元能够应用于光源装置11203。通过将根据本发明的技术应用于摄像单元11402和图像处理单元11412，能够获得更清楚的手术区域图像，这使得手术师能够可靠地检查手术区域。此外，如上述参照图14所述，能够通过使用具有两种波长的光由吸收系数的差别检测出期望检测的内容，因此，也能够计算例如氧合血红蛋白或脱氧血红蛋白的浓度等的变化。

应当注意的是，虽然这里已经说明了内窥镜手术系统作为示例。然而，根据本发明的技术例如也可以应用于例如显微手术系统等。

(7.移动体的应用示例)

根据本发明的技术(本技术)能够应用于各种产品。例如，根据本发明的技术可以被实现为设置在任何类型的移动体上的装置，所述移动体诸如是汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动性设备、飞机、无人机、船只或机器人等。

图30是图示了能够应用根据本发明的技术的作为移动体控制系统的示例的车辆控制系统的示意性构造的示例的框图。

车辆控制系统12000设置有经由通信网络12001连接的多个电子控制单元。在图30所示的示例中，车辆控制系统12000设置有驱动系统控制单元12010、本体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和整体控制单元12050。此外，微计算机12051、声音图像输出单元12052和车载网络接口(I/F)12053被图示为整体控制单元12050的功能构造。

驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010起到用于以下设备的控制装置：产生车辆的驱动力的驱动力产生装置，诸如内燃机或驱动电机等；驱动力传输机构，用于将驱动力传输至车轮；转向机构，用于调整车辆的舵角；和用于产生车辆的制动力的制动装置等。

本体系统控制单元12020根据各种程序控制设置在车辆本体上的各种装置的操作。例如，本体系统控制单元12020起到无钥匙进入系统、智能钥匙系统、电动窗装置或诸如车头灯、车尾灯、刹车灯、转向信号灯和雾灯等各种灯的控制装置的作用。在这种情况下，从替代钥匙的便携式装置传输来的无线电波或各种开关的信号能够输入至本体系统控制单元12020。本体系统控制单元12020接收无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置和灯等。

车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部信息。例如，摄像单元12031连接至车外信息检测单元12030。车外信息检测单元12030使摄像单元12031拍摄车辆的外部的图像，并且接收被摄图像。车外信息检测单元12030可以基于接收的图像进行人、汽车、障碍物、符号或路面上的字母等的物体检测处理或距离检测处理。

摄像单元12031是光学传感器，其用于接收光从而输出与接收的光量对应的电信号。摄像单元12031还能够输出电信号作为图像，或者也能够输出电信号作为距离测量信息。此外，摄像单元12031接收的光可以是可见光或诸如红外光等不可见光。

车内信息检测单元12040检测车辆的内部的信息。例如，用于检测驾驶员状态的驾驶员状态检测单元12041连接至车内信息检测单元12040。驾驶员状态检测单元12041例如包括用于拍摄驾驶员的图像的相机。车内信息检测单元12040可以基于驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳程度或精力集中程度，或可以判断驾驶员是否正在打瞌睡。

微计算机12051能够在车内信息检测单元12040或车外信息检测单元12030获取的车辆内部或外部信息的基础上计算驱动力产生装置、转向机构或制动装置的控制目标值，并且能够将控制命令输出至驱动系统控制单元12010。例如，微计算机12051能够进行旨在实现先进驾驶辅助系统(ADAS)的功能的协作控制，所述功能包括车辆的碰撞避免或冲击缓和、基于车间距离的跟车行驶、车辆速度维持行驶、车辆碰撞警告和车辆偏离车道警告等。

此外，微计算机12051能够在车外信息检测单元12030或车内信息检测单元12040获取的车辆周围信息的基础上，通过控制驱动力产生装置、转向装置或制动装置等进行协作控制，以实现使车辆在不依赖驾驶员的操作的情况下自动驾驶的自主行驶。

此外，微计算机12051能够在车外信息检测单元12030获取的车辆外部信息的基础上将控制命令输出至本体系统控制单元12020。例如，微计算机12051能够根据车外信息检测单元12030检测到的前行车辆或对向车辆的位置来控制车头灯，从而能够实现旨在采取防炫目措施的协作控制，诸如进行远光灯至近光灯的切换。

声音图像输出单元12052将声音输出信号和图像输出信号中的至少一者传输至输出装置，该输出装置能够在视觉上或听觉上将信息通知车辆的乘客或车辆的外部。在图30的示例中，将扬声器12061、显示单元12062和仪表盘12063图示为输出装置。显示单元12062可以包括例如车载显示器和平视显示器的至少一者。

图31图示了摄像单元12031的安装位置的示例。

在图31中，设置有摄像单元12101、12102、12103、12104和12105作为摄像单元12031。

摄像单元12101、12102、12103、12104和12105例如配置在车辆12100的前鼻、侧视镜、后保险杠和后门的位置处，以及例如客厢内的挡风玻璃的上部的位置处。设置在前鼻处的摄像单元12101和设置在客厢内的挡风玻璃的上部处的摄像单元12105主要获取从车辆12100的前方观察到的图像。设置在侧视镜处的摄像单元12102和12103分别主要获取从车辆12100的侧面观察到的图像。设置在后保险杠或后门处的摄像单元12104主要获取从车辆12100的后方观察到的图像。设置在客厢内的挡风玻璃的上部处的摄像单元12105主要用于检测前行车辆、行人、障碍物、交通信号、交通信号或车道等。

应当注意，图31图示了摄像单元12101至12104各自的摄像范围作为示例。摄像范围12111表示设置在前鼻处的摄像单元12101的摄像范围；摄像范围12112和12113分别表示设置在侧视镜处的摄像单元12102和12103的摄像范围；摄像范围12114表示设置在后保险杠或后门处的摄像单元12104的摄像范围。例如，通过将摄像单元12101至12104拍摄的图像数据叠加，能够获得从上方观看的车辆12100的鸟瞰视角图像。

摄像单元12101至12104中的至少一者可以具有获取距离信息的功能。例如，摄像单元12101至12104中的至少一者可以是包括多个摄像元件的立体相机，或可以是具有用于相位差检测的像素的摄像元件。

例如，微计算机12051在从摄像像单元12101至12104获得的距离信息的基础上确定与摄像范围12111至12114内的各三维物体相距的距离以及该距离的时间变化(相对于车辆12100的相对速度)。因此，能够特别地将如下三维物体提取为前方车辆：其是在车辆12100的行驶路径上最接近的三维物体，并且在与车辆12100大致相同的方向上正在以预定的速度(例如，0km/h或以上)行驶。此外，微计算机12051能够设定在前方车辆后方应当预先保持的车辆间距离。因而，能够进行自动刹车控制(也包括跟车停止控制)和自动加速控制(也包括跟车开始控制)等。这样，微计算机12051能够进行旨在使车辆在不依赖驾驶员的操作的情况下自动驾驶的自主行驶的协作控制。

例如，微计算机12051在从摄像单元12101至12104获得的距离信息的基础上将与三维物体相关的三维物体数据按类别分成两轮车辆、标准尺寸车辆、大型车辆、行人以及诸如电线杆等其他三维物体，并随后提取所述三维物体数据。微计算机12051能够使用三维物体数据来自动避开障碍物。例如，微计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够看见的障碍物和难以看见的障碍物。另外，微计算机12051判断碰撞风险，该风险表示与各障碍物碰撞的风险。当碰撞风险等于或高于设定值且处于存在碰撞可能性的情况下，能够通过经由扬声器12061或显示单元12062将警告输出给驾驶员或者经由驱动系统控制单元12010进行强制减速或避让转向来进行避免碰撞的驾驶辅助。

摄像单元12101至12104中的至少一者可以是用于检测红外线的红外相机。例如，微计算机12051能够通过确定摄像单元12101至12104的拍摄图像中是否存在行人来识别行人。例如，通过如下步骤进行上述的行人识别：对作为红外相机的摄像单元12101至12104的拍摄图像中的例如特征点进行提取的步骤；通过对表示物体轮廓的一系列特征点进行模式匹配处理以及确定物体是否是行人的步骤。如果微计算机12051确定摄像单元12101至12104的拍摄图像中存在行人并且继而识别出行人，那么声音图像输出单元12052控制显示单元12062，使得用于强调的矩形轮廓线叠加在识别出的行人上。此外，声音图像输出单元12052可以控制显示单元12062，使得表示行人的图标等显示在期望的位置。

上面已经说明了能够应用根据本发明的技术的车辆控制系统的示例。根据本发明的技术能够应用于上述构造中的摄像单元12031(包括摄像单元12101至12104)。具体地，例如，图1的固态摄像装置1能够应用于摄像单元12031。例如，图3的计算单元23和图16的计算单元73能够应用于车外信息检测单元12030等。有源光的未图示的发光单元能够应用于本体系统控制单元12020。通过将根据本发明的技术应用于摄像单元12031，当期望在例如车载装置中消除背景光时，曝光不用延长多帧。因此，能够获得抗运动性强的特别效果。

应当注意的是，在本说明书中，陈述一系列处理的步骤当然不仅包括根据上述顺序按照时间顺序的方式进行的处理，而是也包括并行或者单独地执行的处理，即使不一定按照时间顺序的方式进行处理。

另外，本发明的实施例不限于上述实施例，而是能够在不背离本发明的主旨的范围内进行各种变型。

此外，如上解释为一个装置(或一个处理单元)的构造可以被分为多个装置(或多个处理单元)。相对地，如上解释为多个装置(或多个处理单元)的构造可以被合在一起构成一个装置(或一个处理单元)。此外，无需多言的是，各装置(或各处理单元)的构造可以加入上述构造之外的其它构造。此外，如果作为系统的构造和操作在整体上基本相同，那么特定装置(或处理单元)的构造的一部分可以被包括在另一装置(或处理单元)的构造中。换言之，本技术不限于上述实施例，而是能够在不背离本发明的主旨的范围内进行各种变型。

已经参照附图详细说明了本发明的优选实施例。然而，本发明不限于上述示例。显然，本领域的普通技术人员能够在权利要求书中所限定的技术理念的范围内构思出各种变型示例和修正示例。当然，应当理解的是，这些示例也属于本发明的技术范围。

应当注意的是，本技术也能够采用以下构造。

(1)一种固态摄像装置，其包括：

以二维的方式配置有像素的像素阵列单元；以及

曝光控制单元，所述曝光控制单元根据预定光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同。

(2)根据(1)所述的固态摄像装置，其中，

所述曝光控制单元根据所述预定光的发光时间以使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

(3)根据(1)或(2)所述的固态摄像装置，其中，

所述曝光控制单元以通过改变包含所述预定光的发光时间的比率使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

(4)根据(1)至(3)中任一项所述的固态摄像装置，其中，所述像素包含PD。

(5)根据(4)所述的固态摄像装置，其中，

所述曝光控制单元通过复位操作控制所述曝光开始时间，并且通过电荷传输控制所述曝光结束时间。

(6)根据(1)至(3)中任一项所述的固态摄像装置，其中，

所述像素包括有机或无机光电转换膜。

(7)根据(6)所述的固态摄像装置，其中，

所述曝光控制单元通过复位操作控制所述曝光开始时间，并且通过所述光电转换膜的上部电极控制所述曝光结束时间。

(8)根据(6)所述的固态摄像装置，其中，

所述曝光控制单元通过所述光电转换膜的上部电极控制所述第一像素和所述第二像素的至少一者的所述曝光开始时间，并且通过所述光电转换膜的所述上部电极控制所述曝光结束时间。

(9)根据(1)所述的固态摄像装置，其中，

所述曝光控制单元根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

(10)根据(9)所述的固态摄像装置，其中，

所述曝光控制单元以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间和所述第二像素的曝光时间。

(11)根据(1)至(10)中任一项所述的固态摄像装置，还包括：

计算单元，所述计算单元对来自所述第一像素和所述第二像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

(12)根据(1)所述的固态摄像装置，其中，

所述曝光控制单元根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间、所述第二像素的曝光时间和第三像素的曝光时间，所述第三像素的曝光时间与所述第一像素和所述第二像素的曝光时间不同。

(13)根据(12)所述的固态摄像装置，其中，

所述曝光控制单元以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间、所述第二像素的曝光时间和所述第三像素的曝光时间。

(14)根据(12)或(13)所述的固态摄像装置，还包括：

计算单元，所述计算单元对来自所述第一像素、所述第二像素和所述第三像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

(15)根据(1)至(14)中任一项所述的固态摄像装置，其中，

所述像素阵列单元包括具有转换效率可调功能的像素。

(16)一种摄像方法，包括如下步骤：

根据预定光的发光时间，固态摄像装置以使曝光开始时间和曝光结束时间的至少一者不同的方式控制像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，像素二维地布置在所述像素阵列单元中并且所述第二像素的曝光时间与所述第一像素的曝光时间不同。

(17)一种电子设备，其包括：

用于发光的发光单元；以及

固态摄像装置，所述固态摄像装置包括

以二维的方式配置有像素的像素阵列单元；以及

曝光控制单元，所述曝光控制单元根据由所述发光单元发出的光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同。

附图标记列表

1固态摄像装置

2,2-1to 2-3像素

3像素区域

5列信号处理电路

7垂直控制线

8控制电路

21 输出图像

22-1,22-2 图像

23 计算单元

24 曝光图像

31 OFG晶体管

32 TRX晶体管

33 TRG晶体管

34 PD

35 电容器

36 RST晶体管

37 AMP晶体管

38 SEL晶体管

39 FD

41 光电转换膜

42 透明电极

43 下部电极

61,62 有源光

71 输出图像

72-1,72-2 图像

73 计算单元

74 曝光图像

111 时钟生成器

112 DAC

121 比较器

122 计数器

150 摄像装置

151 像素基板

152 电路基板

161 像素电路

171 像素单元

181 电路块

200 转换效率可调功能

201 晶体管

202 电容器

300 电子设备

301 固态摄像装置

302 光学透镜

303 快门装置

304 驱动电路

305 信号处理电路

Claims (16)

1.一种固态摄像装置，其包括：

以二维的方式配置有像素的像素阵列单元；以及

曝光控制单元，所述曝光控制单元根据预定光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同，

其中，所述曝光控制单元根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

2.根据权利要求1所述的固态摄像装置，其中，

所述曝光控制单元根据所述预定光的发光时间以使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

3.根据权利要求1所述的固态摄像装置，其中，

所述曝光控制单元以通过改变包含所述预定光的发光时间的比率使所述曝光开始时间不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

4.根据权利要求1至3中任一项所述的固态摄像装置，其中，所述像素包含PD。

5.根据权利要求4所述的固态摄像装置，其中，

所述曝光控制单元通过复位操作控制所述曝光开始时间，并且通过电荷传输控制所述曝光结束时间。

6.根据权利要求1至3中任一项所述的固态摄像装置，其中，

所述像素包括有机或无机光电转换膜。

7.根据权利要求6所述的固态摄像装置，其中，

所述曝光控制单元通过复位操作控制所述曝光开始时间，并且通过所述光电转换膜的上部电极控制所述曝光结束时间。

8.根据权利要求6所述的固态摄像装置，其中，

所述曝光控制单元通过所述光电转换膜的上部电极控制所述第一像素和所述第二像素的至少一者的所述曝光开始时间，并且通过所述光电转换膜的所述上部电极控制所述曝光结束时间。

9.根据权利要求1所述的固态摄像装置，其中，

所述曝光控制单元以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间和所述第二像素的曝光时间。

10.根据权利要求1至3中任一项所述的固态摄像装置，还包括：

计算单元，所述计算单元对来自所述第一像素和所述第二像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

11.根据权利要求1所述的固态摄像装置，其中，

所述曝光控制单元根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间、所述第二像素的曝光时间和第三像素的曝光时间，所述第三像素的曝光时间与所述第一像素和所述第二像素的曝光时间不同。

12.根据权利要求11所述的固态摄像装置，其中，

所述曝光控制单元以通过分别改变包含多个所述预定光的发光时间的比率使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式，控制所述第一像素的曝光时间、所述第二像素的曝光时间和所述第三像素的曝光时间。

13.根据权利要求11所述的固态摄像装置，还包括：

计算单元，所述计算单元对来自所述第一像素、所述第二像素和所述第三像素的图像进行去马赛克处理，并且针对每个像素进行计算处理。

14.根据权利要求1至3中任一项所述的固态摄像装置，其中，

所述像素阵列单元包括具有转换效率可调功能的像素。

15.一种摄像方法，包括如下步骤：

根据预定光的发光时间，固态摄像装置以使曝光开始时间和曝光结束时间的至少一者不同的方式控制像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，像素二维地布置在所述像素阵列单元中并且所述第二像素的曝光时间与所述第一像素的曝光时间不同，

其中，所述固态摄像装置根据多个所述预定光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

16.一种电子设备，其包括：

用于发光的发光单元；以及

固态摄像装置，所述固态摄像装置包括

以二维的方式配置有像素的像素阵列单元；和

曝光控制单元，所述曝光控制单元根据由所述发光单元发出的光的发光时间，以使曝光开始时间和曝光结束时间的至少一者不同的方式控制所述像素阵列单元中的第一像素的曝光时间和第二像素的曝光时间，所述第二像素的曝光时间与所述第一像素的曝光时间不同，

其中，所述曝光控制单元根据多个由所述发光单元发出的光的发光时间，以使所述曝光开始时间和所述曝光结束时间的至少一者不同的方式控制所述第一像素的曝光时间和所述第二像素的曝光时间。

Images