CN118541987A - 成像元件和电子设备 - Google Patents

Abstract

[问题]为了提供一种能够抑制黑度变化的成像元件，以及一种电子装置。[解决方案]根据本公开，提供了一种成像元件，该成像元件包括像素阵列单元，在该像素阵列单元中，各自包括光电转换元件的多个像素以矩阵布置，该像素阵列单元包括：执行正常成像的多个第一像素；能够获取黑度信息的第二像素；第一控制线，用于控制多个所述第一像素的电荷转移；以及不同于第一控制线的第二控制线，该第二控制线用于控制第二像素的电荷转移。

Description

成像元件和电子设备

技术领域

本公开涉及一种成像元件和电子设备。

背景技术

通常，在包括互补金属氧化物半导体（CMOS）的成像元件中，为每个像素列布置AD转换器，并且为每行执行模数转换。然而，存在不具有成像光的行的黑度和在部分区域中接收成像光的行的黑度波动的可能性。

引用列表

专利文献

专利文献1：日本专利申请公开第2016-119592号

发明内容

本发明要解决的问题

因此，本公开提供能够抑制黑度的变化的成像元件和电子设备。

问题的解决方案

为了解决上述问题，根据本公开，提供了一种成像元件，包括像素阵列单元，在像素阵列单元中，包括光电转换元件的多个像素以矩阵排列，该像素阵列单元包括：

多个第一像素，执行正常成像；

第二像素，能够获取黑度信息；

第一控制线，控制多个第一像素的电荷转移；以及

第二控制线，与第一控制线不同，并且第二控制线控制第二像素的电荷转移。

多个第一像素和多个第二像素可被布置在同一行中，

多个第一像素可连接至被布置成与同一行对应的第一控制线，并且

多个第二像素可连接至被布置成与同一行对应的第二控制线。

第二像素可根据第二控制线的控制在第一模式与第二模式之间改变，在第一模式中执行正常成像，在第二模式中获取黑度信息。

第二像素还可包括：

浮动扩散部，被配置为输出由所述光电转换元件光电转换的电荷，以及

转移晶体管，连接至所述光电转换元件和所述浮动扩散，以及

第二控制线可与转移晶体管的栅极连接。

在第二模式中，第二控制线可在成像操作期间的预定时段中提供低电平信号。

在第一模式中，第二控制线可在与预定时段对应的时段期间提供高电平信号。

第二控制线可通过第一开关元件与第一控制线连接，第一控制线与被布置在同一行中的第一像素连接。

第二控制线可通过第二开关元件与提供低电平信号的电源连接。

在第一模式中，可使第一开关元件进入导通状态，并且可使第二开关元件进入非导通状态。

在第二模式中，可使第一开关元件进入非导通状态，并且可使第二开关元件进入导通状态。

多个第二像素可被布置在像素阵列单元的预定的多个列中。

第二像素可被布置在像素阵列单元的预定的多个行中。

多个第二像素可被布置在像素阵列单元的端部的预定行中。

多个第一像素在预定行上的布置位置与多个第二像素在不同于预定行的行上的布置位置不同。

可还包括：

行扫描电路，以行为单位驱动像素阵列单元以从像素读取像素信号；以及

多个模数转换单元，对像素阵列单元的每个列的像素信号执行模数转换。

可还包括：

像素驱动单元，以行为单位驱动像素阵列单元以从像素读取像素信号；以及

多个模拟数字转换单元，按照行对像素阵列单元的被布置为列形状的像素的像素信号执行模拟数字转换。

第二像素可被布置为与多个模数转换单元中的预定模数转换单元对应。

显示设备可以还包括信号处理电路，该信号处理电路基于由第二像素获取的黑度信息校正像素阵列单元的每个像素的输出值。

为了解决上述问题，根据本公开，一种电子设备包括：

成像元件，并且

提供光学系统，该光学系统向该成像元件提供成像光。

附图说明

[图1]是示出根据本实施方式的成像元件的配置实施例的示图。

[图2]是示出包括捕捉图像数据的输出系统的数据转换控制单元的配置实施例的框图。

[图3]是示出像素的电路配置实施例的示图。

[图4]是示出列ADC单元的配置实施例的示图。

[图5]是示出像素阵列单元中的第二像素的配置实施例的示图。

[图6]是示出在作为比较例的第一模式下进行成像的情况下的图像数据的实施例的示图。

[图7]是示出在以第二模式进行成像的情况下的校正图像数据的实施例的示图。

[图8]是示出像素阵列单元中的第二像素的另一配置实施例的示图。

[图9]是示出像素阵列单元的第二像素以行排列在端部的实施例的示图。

[图10]是示出像素阵列单元中的第二像素的又一配置实施例的示图。

[图11]是示意性地示出像素阵列单元的配置实施例不同的实施例的示图。

[图12]是示出图11中所示的像素阵列单元中的第二像素的配置实施例的示图。

[图13]是示出图11中所示的像素阵列单元中的另一第二像素的配置实施例的示图。

[图14]是示出应用成像元件的相机系统的配置的实施例的示图。

[图15]是示出车辆控制系统的示意性配置的实施例的框图。

[图16]是示出车外信息检测部和成像部的安装位置的实施例的说明图。

具体实施方式

在下文中，将参考附图描述成像元件和电子设备的实施方式。虽然以下将主要描述成像元件和电子设备的主要组件，但是成像元件和电子设备可包括未示出或描述的组件和功能。以下描述不排除未描绘或描述的组件和功能。

（第一实施方式）

图1是示出根据本实施方式的成像元件10的配置实施例的示图。如图1所示，例如，成像元件10是CMOS图像传感器。成像元件10是能够通过成像区域内的像素来获取黑度的信息的成像元件。成像元件10包括像素阵列单元11、行扫描电路12、列处理单元（读取电路）13、列扫描电路14、定时控制电路15、输出接口（IF）电路16和信号处理电路30。

在像素阵列单元11中，多个像素11-00至11-st二维地（以矩阵）布置。多个像素11-00至11-st中的第一像素由A表示，第二像素由B表示。即，在像素阵列单元11中，第一像素11A和第二像素11B以混合方式布置。

第一像素11A是能够执行正常成像的正常像素。第二像素11B是还能够获取黑度信息的像素。例如，根据本实施方式的第二像素11B可以在正常成像与用于获取黑度信息的成像之间切换。第二像素11B被布置在根据预定规则二维布置的像素中。因此，像素的总数是（s+1）×（t+1）。此外，第一像素11A和第二像素11B的详细结构在后面叙述。

此外，设置了行扫描控制线101a用于第一像素11A的s行中和行扫描控制线101b用于第二像素11B的s行中。即，第一像素11A连接至行扫描控制线101a-0至101a-s，并且第二像素11B连接至行扫描控制线101b-0至101b-s。

行扫描电路12根据定时控制电路15的快门控制单元和读取控制单元的控制，通过快门行和读取行中的行扫描控制线101a-0至101a-s和101b-0至101b-s驱动像素。因此，可以对第一像素11A和第二像素11B执行不同的控制。注意，根据本实施方式的行扫描控制线101b-0至101b-s被布置在所有行中，但是本发明不限于此。例如，行扫描控制线101b可不被布置在未布置第二像素11B的像素中。

列处理单元13读取输出至输出信号线LSGN的信号vsl，根据列扫描电路14的列扫描将读取信号输出至传送线ltrf，并且通过输出IF电路16将读取信号输出至外部。在图1的实施例中，列处理单元13被配置为列ADC单元，其中，为每列布置模数转换单元（AD转换器（ADC））13-1。列ADC单元以列为单位执行AD转换，根据列扫描电路14的扫描将AD转换后的数据的读取信号输出至传送线ltrf，并且通过输出IF电路16将读取信号输出至外部。

信号处理电路30是能够对由像素阵列单元11捕捉的图像数据执行黑度校正处理的电路。输出IF电路16可以输出由信号处理电路30处理后的数据，或者可以不经由信号处理电路30而输出图像数据。例如，在后述的第一模式（正常成像模式）下，输出IF电路16不通过信号处理电路30而输出图像数据。另一方面，输出IF电路16以后述的第二模式（黑度校正模式）经由信号处理电路30输出处理后的图像数据。

图2为示出在图1中的成像元件10的列处理单元之后包括图像数据的输出系统的数据转换控制单元的配置实施例的方框图。在图2的数据转换控制单元20中，输出IF电路16包括线路缓冲器17、参考时钟速率转换单元18以及数据输出单元19。如上所述，在图2的成像元件10中，通过在列处理单元13的AD转换处理之后对数据使用线路缓冲器17进行速率转换。注意，线路缓冲器17由FIFO或SRAM等形成。

图3是示出根据本实施方式的像素的电路配置实施例的示图。如图3所示，根据本实施方式的第一像素11A和第二像素11B包括光电二极管PD、传输晶体管TRG、重置晶体管RST、放大晶体管AMP、选择晶体管SEL和浮动扩散（Floating Diffusion，FD）。此外，行扫描电路12包括电源122、多个开关124、128和缓冲器126。另外，本实施方式的光电二极管PD相当于光电转换元件。

此外，控制线101a-Trg连接至第一像素11A的传输晶体管TRG的栅极。类似地，控制线101a-Rst连接至第一像素11A的复位晶体管RST的栅极。此外，控制线101a-Sel连接至第一像素11A的选择晶体管SEL的栅极。即，控制线101a-Trg、101a-Rst和101a-Sel的束例如与行扫描控制线101a对应。

此外，控制线101b-Trg连接至第二像素11B的传输晶体管TRG的栅极。类似地，控制线101b-Rst连接到第二像素11B的复位晶体管RST的栅极。此外，控制线101b-Sel连接到第二像素11B的选择晶体管SEL的栅极。即，控制线101b-Trg、101b-Rst和101b-Sel的束例如与行扫描控制线101b对应。注意，根据本实施方式的行扫描控制线101a与第一控制线对应，行扫描控制线101b与第二控制线对应。

此处，将描述第一像素11A的细节。光电转换元件PD生成并累积与入射光的量相对应的量的信号电荷（在此，电子）。在下文中，将描述信号电荷是电子并且每个晶体管是N型晶体管的情况，但是本发明不限于此。例如，信号电荷可以是空穴，或者每个晶体管可以是P型晶体管。此外，本实施方式在多个光电转换元件中共享每个晶体管的情况下或采用不包括选择晶体管的三晶体管（3Tr）像素的情况下也是有效的。

传输晶体管TRG连接在光电转换元件PD与浮动扩散FD之间，并且由控制线101a-Trg控制。在控制线101a-Trg处于高电平（Hi）并且使其导通的时段中选择传输晶体管TRG，并且将由光电转换元件PD光电转换的电子传输至FD。另一方面，在低电平（Lo）期间，施加负电平电压，并获得非导电状态。

复位晶体管RST连接在电源线VDD和浮动扩散FD之间，并且通过控制线101a-Rst控制。在控制线101a-Rst处于高电平（Hi）并且使其导通的时段期间选择复位晶体管RST，并且将FD复位到电源线VDD的电位。另一方面，在低电平（Lo）期间，施加负电平电压，并获得非导电状态。

放大晶体管AMP和选择晶体管SEL串联连接在电源线VDD与输出信号线LSGN之间。浮动扩散FD连接至放大晶体管AMP的栅极，并且通过控制线101a-Sel控制选择晶体管SEL。选择晶体管SEL在控制线101a-Sel处于高电平（Hi）的时间段期间被选择并且使其导电。结果，放大晶体管AMP向输出信号线LSGN输出与浮动扩散FD的电位对应的信号Vsl。另一方面，在低电平（Lo）期间，施加负电平电压，并获得非导电状态。

在此，说明第二像素11B的详细情况。第二像素11B的电路配置也与第一像素11A的电路配置相似。然而，第二像素11B与第一像素11A的不同之处在于包括控制系统120。即，电源122和缓冲器126通过多个开关124和128连接至控制线101b-Trg，控制线101b-Trg连接至第二像素11B的传输晶体管TRG的栅极。

如图3所示，在第二像素11B的第一模式的情况下，开关124不连接并且开关126连接。结果，类似于第一像素11A，第二像素11B可以在第一状态下执行控制驱动。即，在第一模式中，第二像素11B可以执行正常成像。

如上所述，根据本实施方式的第二像素11B通过控制线101b-Trg控制光电二极管PD的信号电荷的传输而具有多个模式。为此，与通常的所谓的屏蔽像素相比，不必要对光电二极管PD的配置屏蔽物，并且在执行成像元件10的配置时的半导体工艺被简化。此外，根据成像条件，可使用第二像素11B执行正常成像，从而抑制分辨率和成像范围的降低。

另一方面，在第二像素11B的第二模式的情况下，开关124连接并且开关126断开。因此，始终对第二像素11B的传输晶体管TRG施加负电压，并且控制线101b-Trg始终处于低电平（Lo）。因此，维持第二像素11B的光电二极管PD与浮动扩散（FD）之间的电断开状态。可以看出，在第二像素11B的第二模式的情况下，维持类似于第二像素11B的光电二极管PD被遮光的状态的第二状态。即，在第二模式中，第二像素11B可以获取黑度信息。

如图2所示，根据定时控制电路15的快门控制单元和读取控制单元的控制，行扫描电路12通过快门行和读取行中的行扫描控制线101a和101b驱动像素11A和11B。根据地址信号，行扫描电路12输出从其读取信号的读取行和从其丢弃并重置光电转换元件PD中累积的电荷的快门行的行地址的行选择信号RD和SHR。

列处理单元13根据来自传感器控制器（未示出）的控制信号读取输出至输出信号线LSGN的信号VSL，根据列扫描电路14的列扫描将读取信号输出至传输线LTRF，并且通过输出IF电路16将读取信号输出至外部。列处理单元13通过输出信号线LSGN对从由行扫描电路12的驱动选择的读取行的每个像素电路110A输出的信号VSL执行预定处理，并临时保持例如信号处理之后的像素信号。

例如，包括对通过输出信号线LSGN输出的信号进行采样和保持的采样保持电路的电路配置可应用于列处理单元13。可替代地，列处理单元13包括采样保持电路，并且可以应用包括通过相关双采样（CDS）处理去除像素特有的固定图案噪声（诸如重置噪声和放大晶体管的阈值变化）的功能的电路配置。此外，可以应用列处理单元13具有模数（AD）转换功能并且信号电平是数字信号的配置。

在图1的实施例中，列处理单元13被配置为列模拟数字转换器（ADC）单元，其中，AD转换器（ADC）13被布置成用于每个列。列ADC单元以列（列）为单位执行AD转换，根据列扫描电路14的扫描将AD转换之后的数据的读取信号输出至传输线LTRF，并且通过输出IF电路16将读取信号输出至外部。

图4是示出根据本实施方式的列ADC单元的配置实施例的示图。每个ADC 13-1（见图1）包括比较器132，该比较器132将参考电压Vslop与通过各行线的输出信号线LSGN从像素获得的模拟信号VSL进行比较，该参考电压Vslop是通过逐步改变由DAC 170产生的参考电压而获得的斜坡波形（RAMP）。

每个ADC 13-1包括对比较器132的比较时间进行计数的计数器133以及保存计数器133的计数结果的存储器（锁存器）134。列处理单元13具有多位（例如，10位数字信号转换功能），并且为每个输出信号线（垂直信号线）LSGN布置以配置列并行ADC块。每个锁存器134的输出连接到具有多个位宽度的传输线LTRF。

在列处理单元13中，由为每列（为每列）布置的比较器132比较读取到输出信号线LSGN的信号VSL。此时，与比较器132相似，针对各列布置的计数器133操作，并且在将作为斜坡波形的基准电压Vslop与计数值进行一一对应的同时改变，从而将输出信号线LSGN的模拟信号电位VSL转换成数字信号。

ADC 131将作为电压变化的基准电压Vslop的变化转换成时间变化，并且以特定时段（时钟）对所述时间进行计数以将所述计数转换成数字值。然后，当模拟信号VSL与基准电压Vslop相交时，比较器132的输出被反转，并且计数器133的输入时钟停止，或者输入已经停止的时钟被输入到计数器133，并且AD转换完成。

定时控制电路15产生像素阵列单元110、行扫描电路12、列处理单元13、列扫描电路14、输出IF电路16等的处理所需的定时。

在成像元件10（见图1）中，以列为单位控制像素阵列单元11。因此，例如，由行扫描控制线101a-0和101b-0同时并行控制从11-00到11-0t的（t+1）个像素，并且通过连接到像素阵列单元110的输出信号线LSGN将（t+1）个像素输入到列ADC单元13。因此，在第一模式中，类似地控制第一像素11A和第二像素11B。在第二模式中，除了不传输第二像素11的B光电转换元件PD的电荷以外，类似地控制第一像素11A和第二像素11B。

在列ADC单元13中，以列为单位执行AD转换，并且通过列扫描电路14将AD转换之后的数据传输至输出IF电路16。输出IF电路16在下级被格式化为可由信号处理电路接收，并输出数据。结果，在第一模式中，获取由第一像素11A和第二像素11B捕获的正常图像数据。另一方面，在第二模式中，与第一像素11A相对应的像素的数据被获取作为与第一像素11A的成像时间相对应的黑水平图像数据。

图5是示出像素阵列单元11的第二像素11B的配置实施例的示图。在图5的实施例中，第二像素11B被布置在整个像素阵列单元11内的一行中。在这种布置中，如后面参照图7所述，黑度可以以更高的精度校正。

图6是示出在作为比较例的第一模式下进行成像的情况下的图像数据的实施例的示图。例如，图6示出通过光圈成像的实施例。即，成像光进入成像区域A10，并且其他区域被遮光。在这种情况下，根据成像区域A10的光量，黑度在作为与成像区域A10不同的行中的区域的正常黑部A12和作为与成像区域A10相同的行中的遮光区域的噪声损害部分A14之间可以不同。黑度波动的这种现象被称为拖尾。这被认为是因为，例如，由于行方向上的每个配线的寄生电容，在相同行中的像素的输出值具有相关性。

图7是示出在以第二模式进行成像的情况下的校正图像数据的实施例的示图。曲线图的水平轴表示像素阵列单元11的行上的位置，并且垂直轴表示与正常黑部A12的每一行的平均值的差（见图6）。多个点P2表示行L2上的第二像素11B的像素值。另外，信号SL2指示通过例如对多个点P2进行样条互补而获得的线。此外，信号线Sa表示沿行方向将线L2中的第二像素11B的像素值相加以生成平均值的实施例。此外，信号线Sc表示通过从线L2中的第二像素11B的像素值减去信号SL2而获得的样条补偿线。

如图7所示，信号处理电路30（见图1）使用行L2中的第二像素11B的像素值对每个像素执行信号SL2的生成处理。例如，信号处理电路30执行如上所述的样条互补以针对每个像素生成信号SL2。根据本实施方式的信号处理电路30执行样条互补以针对每个像素生成信号SL2，但不限于此。例如，可以使用最小平方近似。

例如，信号处理电路30生成每行的信号SL2并且从每个行的像素阵列单元11的每个像素值中减去信号SL2。更具体地，首先，通过从正常黑部A12中的第二像素11B的像素输出的第一平均值中减去要校正的行中的第二像素11B的像素输出的第二平均值来计算减法值。例如，可以从电子设备300中的光学系统的光圈信息获取正常黑部A12的区域（参见随后描述的图14）。然后，在减法值 > 预定阈值（Th1）的情况下，执行该行的校正处理。因此，可以仅执行高亮度区域的行中的黑度的校正。

对于校正目标行，信号处理电路30执行例如每个像素的校正输出=噪声损伤单位输出-样条的信号值 × 系数（寄存器）的操作。通过这样的处理，如图7所示，噪声损伤部分A14（见图6）的黑度变得与通常黑部A12（见图6）的黑度相等。结果，黑度的波动被抑制，并且拖尾被抑制。注意，例如，诸如0.8至1.0的值被设置为系数。

信号处理电路30可对每行的第二像素11B的像素值取平均值并且从每行的像素阵列单元11的每个像素值中减去平均值。对于校正目标行，信号处理电路30执行例如每个像素的校正输出=噪声损伤单位输出-偏差量的平均值x系数（寄存器）的操作。在这种情况下，能够以更高的速度校正黑度。注意，例如，诸如0.8至1.0的值被设置为系数。

此外，信号处理电路30（见图1）通过使用外围像素值的信息校正在第二模式中不能获得图像信息的第二像素11B的像素值。例如，可以进行与所谓的缺陷像素校正等类似的处理。结果，同样，在第二模式中，在从像素阵列单元11输出的图像数据中，第二像素11B的像素值变为与周围图像的像素值相同的值，并且变得不显眼。

图8是示出像素阵列单元11中的第二像素11B的另一个配置实施例的示图。在图8的实施例中，第二像素11B被每两行布置。在这种布置中，使用在前面和后面的行中的第二像素11B的黑度的信息，执行没有第二像素11B的行的黑度的校正。例如，信号处理电路30从相应像素中减去与上部第二像素11B的黑度补足的每个像素样条的黑度的值。在这种情况下，由于每行的黑度的波动相关，因此可以提高处理速度，同时抑制插值精度的降低。

图9是示出像素阵列单元11的第二像素11B以行排列在端部的实施例的示图。在图9的实施例中，第二像素11B被布置在上端。在这种布置中，使用在上端的第二像素11B的黑度的信息，执行没有第二像素11B的行的黑度的校正。例如，信号处理电路30从每个行的对应像素中减去与上端部分第二像素11B的黑度互补的每个像素样条的黑度的值。在这种情况下，可以使每行的黑度的波动更快。

图10是示出像素阵列单元11中的第二像素11B的又一配置实施例的示图。在图10的实施例中，使一行中的第二像素11B的排布不规则。在这种配置中，在第二模式下不能从中获取图像信息的第二像素11B的位置变得不规则，并且在校正第二像素11B之后的处理图像中，第二像素11B的校正变得不显眼。

图11是示意性地示出像素阵列单元11的配置实施例不同的实施例的示图。如图11所示，在像素阵列单元11的每个像素中，被布置在相同列中的每个像素连接至每个像素行的不同信号线LSG1至LSG4。ADC 13-1a和13-1b连接至相应的信号线LSG1至LSG4。结果，可以较高速度读出每个像素11的信号。

图12是示出在图11中所示的像素阵列单元11中的第二像素11B的配置实施例的示图。在图12中示出的像素阵列单元11的每个像素是如在G11中示出的以四个像素为单位的拜耳阵列。在拜耳阵列中，包括红色像素、蓝色像素和两个绿色像素。这些像素通过相应的红色滤光片、蓝色滤光片和绿色滤光片接收光。

配置连接至像素列的一个信号线的ADC转换单元13a和连接至另一信号线的ADC转换单元13b。在图12中，双方形表示第二像素11B，双反三角形M131表示ADC 13-1（见图1），至少一个第二像素11B连接到该ADC 13-1。在这种配置实施例中，可以以1AD至4AD的区域为单位执行AD转换处理。在这种情况下，例如，可以使用1AD区域中的第二像素11B的信息来执行2AD区域的校正，并且可以使用3AD区域中的第二像素11B的信息来执行4AD区域的校正。结果，加快了校正处理的速度。

图13是示出图11中所示的像素阵列单元11内的另一个第二像素11B的配置实施例的示图。在图13所示的像素阵列单元11中，第二像素11B被布置在1AD区域中。在这种情况下，例如，可以使用1AD区域的第二像素11B的信息执行2AD到4AD区域的校正。结果，进一步加速了校正处理。

如上所述，根据本实施方式，像素阵列单元11包括执行正常成像的多个第一像素11A、能够获取黑度的信息的第二像素11B、控制多个第一像素11A的电荷转移的第一控制线101a和与控制第二像素11B的电荷转移的第一控制线不同的第二控制线101b。结果，通过由控制线101b控制光电二极管PD的信号电荷的传输，第二像素11B可以具有不同于第一像素11A的成像模式的成像模式。因此，可以通过与第一像素11A的操作驱动类似的操作驱动获取黑度信息作为第二模式。此外，因为可以使用第二像素11B作为第一模式执行正常成像，所以抑制了分辨率和成像范围的降低。

（第二实施方式）

图14是示出应用根据本技术的第二实施方式的成像元件10的电子设备的配置实施例的示图。

电子设备300是相机系统，并且包括如图14所示，根据本实施方式的成像元件10可适用于的成像设备310。此外，电子设备300包括光学系统，其将入射光（形成对象图像）引导至成像设备310中的成像元件10的像素区域，例如，透镜320，其在成像表面上形成入射光（图像光）的图像。电子设备300包括驱动成像设备310的驱动电路（DRV）330和处理成像设备310的输出信号的信号处理电路（PRC）340。

驱动电路330包括定时发生器（未示出），其生成包括驱动成像设备310中的电路的开始脉冲和时钟脉冲的各种定时信号，并且利用预定的定时信号驱动成像设备310。

此外，信号处理电路340对成像设备310的输出信号执行预定信号处理。例如，由信号处理电路340处理的图像信号记录在诸如存储器的记录介质中。记录在记录介质上的图像信息由打印机等硬复制。此外，由信号处理电路340处理的图像信号作为运动图像显示在包括液晶显示器等的监视器上。

如上所述，在诸如数字静态照相机的成像设备中，安装上述CMOS图像传感器（成像元件）10作为成像设备310，从而可实现具有低功耗的高度精确的照相机。

<<1. 应用实施例>>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术还可被实现为安装在诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动性、飞机、无人机、船舶、机器人、建筑机器、农业机器（拖拉机）等任何种类的移动主体上的设备。

图15是描绘作为可应用根据本公开的实施方式的技术的车辆控制系统7000的实施例的车辆控制系统的示意性配置的实施例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图15所示的实施例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如控制器局域网（CAN）、局域互联网（LIN）、局域网（LAN）、FlexRay（注册商标）等。

每个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制对象设备。每个控制单元还包括：网络接口（I/F），用于经由通信网络7010与其他控制单元执行通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内和车外的设备、传感器等进行通信。在图15中，微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680以及存储部7690被示出为集成控制单元7600的功能配置。其他控制单元类似地包括微计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作用于产生车辆的驱动力的驱动力产生设备（诸如内燃机、驱动电机等）、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动设备等的控制设备。驱动系统控制单元7100可以具有作为防抱死制动系统（ABS）、电子稳定控制（ESC）等的控制设备的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车体的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器和用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速或车轮的转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号进行运算处理，对内燃机、驱动电动机、电动动力转向设备、制动设备等进行控制。

车身系统控制部7200根据各种程序来控制设置于车身的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、后备灯、制动灯、转向信号、雾灯等的各种灯的控制设备。在这种情况下，从移动设备发射的无线电波作为按键或者各种开关的信号的替代物可以被输入到主体系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序控制作为用于驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300供应关于电池温度、电池输出电压、电池中剩余电荷量等的信息。电池控制单元7300使用这些信号执行算术运算处理，并且执行用于调节二次电池7310的温度的控制或控制提供给电池设备等的冷却设备。

车外信息检测部7400检测包含车辆控制系统7000的车外的信息。例如，车外信息检测部7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间（ToF）相机、立体相机、单目相机、红外相机和其他相机中的至少一个。例如，车外信息检测部7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测在包括车辆控制系统7000的车辆的外围的其他车辆、障碍物、行人等的外围信息检测传感器中的至少一个。

例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器、以及检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声波传感器、雷达设备以及LIDAR设备（光检测和测距设备，或者激光成像检测和测距设备）中的至少一个。成像部7410和车外信息检测部7420中的每一个可被设置为独立的传感器或设备，或者可被设置为其中多个传感器或设备被集成的设备。

在此，图16示出成像部7410和车外信息检测部7420的安装位置的实施例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部中的挡风玻璃的上部上的位置中的至少一个处。设置在车辆内部的前鼻部的成像部7910和设置在挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。设置于侧视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部内的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

要注意的是，图16示出成像部7910、7912、7914和7916中的每个的成像范围的实施例。成像范围a表示设置到前鼻子的成像部7910的成像范围。成像范围b和c分别表示提供给侧视镜的成像部7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，能够获得从上方观看的车辆7900的鸟瞰图像。

设置于车辆7900的前方、后方、侧方、角落和车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达设备。设置于车辆7900的前鼻子、后保险杠、车辆7900的后门、车室内的挡风玻璃的上部的车外信息检测部7920、7926、7930例如也可以是LIDAR设备。这些车外信息检测部7920至7930主要用于检测先行车、行人、障碍物等。

返回参照图15，将继续描述。车外信息检测部7400使成像部7410拍摄车外的图像，接收拍摄图像数据。另外，车外信息检测部7400从与车外信息检测部7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达设备、LIDAR设备的情况下，车外信息检测部7400发送超声波、电磁波等，并且接收接收到的反射波的信息。车外信息检测部7400基于接收到的信息，可以进行对人类、车辆、障碍物、标志、路面上的文字等物体进行检测的处理、或者与物体之间的距离进行检测的处理。另外，车外信息检测部7400也可以基于接收到的信息进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。

另外，车外信息检测部7400可以基于接收到的图像数据来进行对人类、车辆、障碍物、标志、路面上的文字等进行识别的图像识别处理或者检测距其距离的处理。车外信息检测单元7400可以将所接收的图像数据进行诸如失真校正、对准等的处理，并且将通过多个不同的成像部7410成像的图像数据组合以生成鸟瞰图像或全景图像。车外信息检测部7400可以使用由成像部7410拍摄到的图像数据来进行视点变换处理，该成像部7410包括互不相同的成像部。

车内信息检测单元7500检测关于车辆内部的信息。例如，车内信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员成像的照相机、检测驾驶员的生物信息的生物传感器、收集车辆内部内的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅上的乘客或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。车内信息检测单元7500可以使通过收集声音获得的音频信号经受诸如噪声消除处理等的处理。

综合控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。综合控制单元7600与输入部7800连接。输入部7800由触摸面板、按钮、麦克风、开关、杆等能够由乘员进行输入操作的设备实现。集成控制单元7600可以被供应通过对通过麦克风输入的语音的语音识别而获得的数据。输入部7800可以例如是使用红外线或其他无线电波的远程控制设备，或者支持车辆控制系统7000的操作的外部连接设备，诸如移动电话、个人数字助理（PDA）等。输入部7800可以是例如照相机。在这种情况下，乘坐者可以通过手势输入信息。替代地，可以输入通过检测乘员穿戴的可穿戴设备的运动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，该输入控制电路等基于乘员等使用上述输入部7800输入的信息来生成输入信号，并将所生成的输入信号输出至综合控制单元7600。乘员等通过操作输入部7800，向车辆控制系统7000输入各种数据或者指示处理操作。

存储部7690可以包括存储由微型计算机执行的各种程序的只读存储器（ROM）和存储各种参数、操作结果、传感器值等的随机存取存储器（RAM）。此外，存储部7690可以通过诸如硬盘驱动器（HDD）等的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。

通用通信I/F 7620是被广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统（GSM（注册商标））、全球微波接入互操作性（WiMAX（注册商标））、长期演进（LTE（注册商标））、LTE-高级（LTE-A）等，或者诸如无线LAN（也称为无线保真（Wi-Fi（注册商标））、蓝牙（注册商标）等的另一无线通信协议。例如，通用通信I/F 7620可以经由基站或接入点连接到存在于外部网络（例如，互联网、云网络或公司特定网络）上的设备（例如，应用服务器或控制服务器）。此外，例如，通用通信I/F 7620可以使用对等（P2P）技术连接至存在于车辆附近的终端（该终端例如是驾驶员的终端、行人或商店、或机器型通信（MTC）终端）。

专用通信I/F 7630是支持开发用于在车辆中使用的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议，例如，如车辆环境中的无线接入（WAVE），其是作为较低层的电气和电子工程师协会（IEEE）802.11p和作为较高层的IEEE 1609的组合、专用短程通信（DSRC）、或蜂窝通信协议。专用通信I/F 7630通常执行V2X通信作为包括以下各项中的一项或多项的概念：车辆与车辆（车辆到车辆）之间的通信、道路与车辆（车辆到基础设施）之间的通信、车辆与家庭（车辆到家庭）之间的通信、以及行人与车辆（车辆到行人）之间的通信。

定位部7640例如通过从GNSS卫星接收全球导航卫星系统（GNSS）信号（例如，来自全球定位系统（GPS）卫星的GPS信号）来执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统（PHS）或具有定位功能的智能电话之类的终端获得位置信息。

例如，信标接收部7650接收从安装在道路等上的无线电站发射的无线电波或电磁波，并且由此获得有关当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610和车辆内存在的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以使用诸如无线LAN、蓝牙（注册商标）、近场通信（NFC）或无线通用串行总线（WUSB）的无线通信协议来建立无线连接。此外，车内设备I/F7660可以经由未在图中示出的连接端子（以及线缆，如果必要的话）通过通用串行总线（USB）、高清多媒体接口（HDMI（注册商标））、移动高清链路（MHL）等建立有线连接。车内设备7760可以例如包括乘员拥有的移动设备和可穿戴设备以及被携带或附接至车辆的信息设备中的至少一个。车内设备7760还可以包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是对微型计算机7610与通信网络7010的通信进行中介的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的关于车辆内部和外部的信息计算驱动力产生设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统（ADAS）的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。另外，微型计算机7610可通过基于所获得的关于车辆周围环境的信息控制驱动力产生设备、转向机构、制动设备等，来执行意图用于自动驾驶的协作控制，其使车辆自动行驶而不取决于驾驶员的操作等。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆和诸如周围结构、人等的对象之间的三维距离信息，并且生成包括关于车辆的当前位置的周围的信息的局部地图信息。此外，微型计算机7610可基于获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等的危险，并产生警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到输出设备，该输出设备能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图15的实施例中，音频扬声器7710、显示部7720和仪表面板7730被示出为输出设备。例如，显示部7720可以包括板载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实（AR）显示功能。输出设备可以是不同于这些设备，并且可以是诸如耳机的另一设备、诸如由乘客等佩戴的眼镜型显示器的可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以各种形式（诸如文本、图像、表格、图形等）可视地显示通过由微型计算机7610执行的各种处理获得的结果或从另一控制单元接收的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等组成的音频信号转换成模拟信号，并且在听觉上输出模拟信号。

要注意的是，在图15中所示的实施例中，通过通信网络7010连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一个控制单元。另外，由以上描述中的控制单元之一执行的功能的部分或全部可以被分配给另一控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定算术处理。类似地，连接到控制单元中的一个的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

要注意的是，用于实现包括参照图14描述的根据本实施方式的成像元件10的本电子设备300的每个功能的计算机程序可安装在任何控制单元等上。此外，可以提供其中存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络分布，而不使用记录介质。

在上述车辆控制系统7000中，参照图1描述的根据本实施方式的成像元件10可应用于在图15中示出的应用实施例的成像部7410。

应注意，本技术可具有以下配置。

（1）一种成像元件，包括像素阵列单元，在像素阵列单元中，包括光电转换元件的多个像素以矩阵排列，该像素阵列单元包括：

多个第一像素，执行正常成像；

第二像素，能够获取黑度信息；

第一控制线，控制多个第一像素的电荷转移；以及

第二控制线，与第一控制线不同，并且第二控制线控制第二像素的电荷转移。

（2）根据（1）所述的成像元件，其中

多个第一像素和多个第二像素被布置在同一行中，

多个第一像素连接至被布置成与同一行对应的第一控制线，并且

多个第二像素连接至被布置成与同一行对应的第二控制线。

（3）根据（1）所述的成像元件，其中，第二像素能够在第二控制线的控制下在第一模式与第二模式之间改变，在第一模式中执行正常成像，在第二模式中获取黑度信息。

（4）根据（3）所述的成像元件，其中

第二像素还包括：浮动扩散，浮动扩散被配置为输出由光电转换元件进行光电转换的电荷，以及

转移晶体管，连接光电转换元件和浮动扩散，并且

第二控制线连接至转移晶体管的栅极。

（5）根据（4）所述的成像元件，其中，在第二模式中，第二控制线在成像操作期间的预定时段中提供低电平信号。

（6）根据（4）所述的成像元件，其中，在第一模式中，第二控制线在与预定时段对应的时段中提供高电平信号。

（7）根据（3）所述的成像元件，其中，第二控制线通过第一开关元件与第一控制线连接，第一控制线与被布置在同一行中的第一像素连接。

（8）根据（7）所述的成像元件，其中，第二控制线通过第二开关元件与提供低电平信号的电源连接。

（9）根据（8）所述的成像元件，其中，在第一模式中，使第一开关元件进入导通状态，并且使第二开关元件进入非导通状态。

（10）根据（8）所述的成像元件，其中，在第二模式中，使第一开关元件进入非导通状态，并且使第二开关元件进入导通状态。

（11）根据（1）所述的成像元件，其中，多个第二像素被布置在像素阵列单元的预定的多个列中。

（12）根据（1）所述的成像元件，其中，第二像素被布置在像素阵列单元的预定的多个行中。

（13）根据（1）所述的成像元件，其中，多个第二像素被布置在像素阵列单元的端部的预定行中。

（14）根据（1）所述的成像元件，其中，多个第一像素在预定行上的布置位置与多个第二像素在不同于预定行的行上的布置位置不同。

（15）根据（1）所述的成像元件，还包括：

行扫描电路，以行为单位驱动像素阵列单元以从像素读取像素信号；以及

多个模数转换单元，对像素阵列单元的每个列的像素信号执行模数转换。

（16）根据（1）所述的成像元件，还包括：

像素驱动单元，以行为单位驱动像素阵列单元以从像素读取像素信号；以及

多个模拟数字转换单元，按照行对像素阵列单元的被布置为列形状的像素的像素信号执行模拟数字转换。

（17）根据（16）所述的成像元件，其中，第二像素被布置为与多个模数转换单元中的预定模数转换单元对应。

（18）根据（3）所述的成像元件，还包括：信号处理电路，基于由第二像素获取的黑度信息校正像素阵列单元的每个像素的输出值。

（19）根据（18）所述的成像元件，其中，信号处理电路在第二模式的情况下校正每个像素的输出值。

（20）一种电子设备，包括：

根据（1）所述的成像元件；以及

光学系统，向成像元件提供成像光。

本公开的各方面不限于上述各个实施方式，而是包括可由本领域技术人员想到的各种修改，并且本公开的效果不限于上述内容。即，在不背离从在权利要求及其等同物中限定的内容获得的本公开的概念理念和精神的情况下，可进行各种添加、修改、以及部分删除。

参考符号列表

10 成像元件

11 像素阵列单元

11A 第一像素

11B 第二像素

12 行扫描电路

13 列处理单元

13-1 模数转换单元（ADC）

101a 行扫描控制线（第一控制线）

101b 行扫描控制线（第二控制线）

124 开关元件（第二开关元件）

126 开关元件（第一开关元件）

FD 浮动扩散

TRG 转移晶体管

PD 光电二极管（光电转换元件）

300 电子设备。

Claims (20)

1.一种成像元件，包括像素阵列单元，在所述像素阵列单元中，包括光电转换元件的多个像素以矩阵排列，所述像素阵列单元包括：

多个第一像素，执行正常成像；

第二像素，能够获取黑度信息；

第一控制线，控制多个所述第一像素的电荷转移；以及

第二控制线，与所述第一控制线不同，并且所述第二控制线控制所述第二像素的电荷转移。

2.根据权利要求1所述的成像元件，其中，

多个所述第一像素和多个所述第二像素被布置在同一行中，

多个所述第一像素连接至被布置成与所述同一行对应的所述第一控制线，并且

多个所述第二像素连接至被布置成与所述同一行对应的所述第二控制线。

3.根据权利要求1所述的成像元件，其中，所述第二像素能够在所述第二控制线的控制下在第一模式与第二模式之间改变，在所述第一模式中执行正常成像，在所述第二模式中获取所述黑度信息。

4.根据权利要求3所述的成像元件，其中，

所述第二像素还包括：浮动扩散，所述浮动扩散被配置为输出由所述光电转换元件进行光电转换的电荷，以及

转移晶体管，连接所述光电转换元件和所述浮动扩散，并且

所述第二控制线连接至所述转移晶体管的栅极。

5.根据权利要求4所述的成像元件，其中，在所述第二模式中，所述第二控制线在成像操作期间的预定时段中提供低电平信号。

6.根据权利要求4所述的成像元件，其中，在所述第一模式中，所述第二控制线在与预定时段对应的时段中提供高电平信号。

7.根据权利要求3所述的成像元件，其中，所述第二控制线通过第一开关元件与第一控制线连接，所述第一控制线与被布置在同一行中的所述第一像素连接。

8.根据权利要求7所述的成像元件，其中，所述第二控制线通过第二开关元件与提供低电平信号的电源连接。

9.根据权利要求8所述的成像元件，其中，在所述第一模式中，使所述第一开关元件进入导通状态，并且使所述第二开关元件进入非导通状态。

10.根据权利要求8所述的成像元件，其中，在所述第二模式中，使所述第一开关元件进入非导通状态，并且使所述第二开关元件进入导通状态。

11.根据权利要求1所述的成像元件，其中，多个所述第二像素被布置在所述像素阵列单元的预定的多个列中。

12.根据权利要求1所述的成像元件，其中，所述第二像素被布置在所述像素阵列单元的预定的多个行中。

13.根据权利要求1所述的成像元件，其中，多个所述第二像素被布置在所述像素阵列单元的端部的预定行中。

14.根据权利要求1所述的成像元件，其中，多个所述第一像素在预定行上的布置位置与多个所述第二像素在不同于所述预定行的行上的布置位置不同。

15.根据权利要求1所述的成像元件，还包括：

行扫描电路，以行为单位驱动所述像素阵列单元以从所述像素读取像素信号；以及

多个模数转换单元，对所述像素阵列单元的每个列的所述像素信号执行模数转换。

16.根据权利要求1所述的成像元件，还包括：

像素驱动单元，以行为单位驱动所述像素阵列单元以从所述像素读取像素信号；以及

多个模拟数字转换单元，按照行对所述像素阵列单元的被布置为列形状的所述像素的所述像素信号执行模拟数字转换。

17.根据权利要求16所述的成像元件，其中，所述第二像素被布置为与所述多个模数转换单元中的预定模数转换单元对应。

18.根据权利要求3所述的成像元件，还包括：信号处理电路，基于由所述第二像素获取的黑度信息校正所述像素阵列单元的每个像素的输出值。

19.根据权利要求18所述的成像元件，其中，所述信号处理电路在所述第二模式的情况下校正每个所述像素的所述输出值。

20.一种电子设备，包括：

根据权利要求1所述的成像元件；以及

光学系统，向所述成像元件提供成像光。