CN110611777B - 摄像设备、摄像系统和移动装置 - Google Patents

摄像设备、摄像系统和移动装置 Download PDF

Info

Publication number
CN110611777B
CN110611777B CN201910514063.1A CN201910514063A CN110611777B CN 110611777 B CN110611777 B CN 110611777B CN 201910514063 A CN201910514063 A CN 201910514063A CN 110611777 B CN110611777 B CN 110611777B
Authority
CN
China
Prior art keywords
signal
pixel
pixels
image pickup
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910514063.1A
Other languages
English (en)
Other versions
CN110611777A (zh
Inventor
小林昌弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110611777A publication Critical patent/CN110611777A/zh
Application granted granted Critical
Publication of CN110611777B publication Critical patent/CN110611777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74Circuitry for scanning or addressing the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779Circuitry for scanning or addressing the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像设备、摄像系统和移动装置。提供一种摄像设备,该摄像设备包括多个像素,各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元,所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且至少基于由第二光电转换单元产生的电荷而输出第二信号,所述多个像素包括布置在彼此不同的列上且布置在单行上的第一像素和第二像素,并且第一像素和第二像素在所述一个帧时段中经受彼此不同的控制。

Description

摄像设备、摄像系统和移动装置
技术领域
本发明涉及摄像设备、摄像系统和移动装置。
背景技术
日本特开第2013-211833号公报公开了一种摄像设备,其可以通过在单个像素中设置多个光电转换单元来进行拍摄和相位差检测方案的聚焦检测。日本特开第2013-211833号公报的摄像设备被构造为通过减少基于多个光电转换单元中的仅一些光电转换单元的输出信号的数量来提高信号获取的速率。
在日本特开第2013-211833号公报中公开的摄像设备中,需要更高的功能。
发明内容
本发明旨在提供一种可以利用另一种构造实现更高的功能的摄像设备。
根据本发明的一个方面,提供一种摄像设备,所述摄像设备包括:布置成形成多行和多列的多个像素,所述多个像素中的各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元;以及读出电路,其被构造为读出从所述多个像素输出的信号,该读出电路针对所述多列中的各列或各列组而被设置。所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且至少基于由第二光电转换单元产生的电荷而输出第二信号。所述多个像素包括第一像素和第二像素,第一像素和第二像素布置在彼此不同的列上并且布置在单行上。在所述一个帧时段中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间,与为了获得第二像素的第一信号和第二信号中的对应一个信号而累积电荷的累积时间彼此不同。
根据本发明的另一个方面,提供一种摄像设备,所述摄像设备包括:布置成形成多行和多列的多个像素,所述多个像素中的各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元;以及读出电路,其被构造为读出从所述多个像素输出的信号,该读出电路针对所述多列中的各列或各列组而被设置。所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且基于由第一光电转换单元产生的电荷和由第二光电转换单元产生的电荷而输出第二信号。所述多个像素包括第一像素和第二像素,第一像素和第二像素布置在彼此不同的列上并且布置在单行上。在一个帧时段中,第一像素分别输出第一信号和第二信号。在所述一个帧时段中,第二像素不输出第一信号,而是根据与供应给第一像素的控制信号不同的控制信号输出第二信号。
根据本发明的再一个方面,提供一种摄像设备,所述摄像设备包括:布置成形成多行和多列的多个像素,所述多个像素中的各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元;以及读出电路,其被构造为读出从所述多个像素输出的信号,该读出电路针对所述多列中的各列或各列组而被设置。所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且基于由第一光电转换单元和第二光电转换单元产生的电荷而输出第二信号。所述多个像素包括第一像素和第二像素,第一像素和第二像素布置在彼此不同的列上并且布置在单行上。第一像素和第二像素中的各像素还包括:放大单元,其具有输入节点,并被构造为基于传输到输入节点的电荷而输出信号;以及电容控制单元,其被构造为根据控制信号改变输入节点的电容值。在所述一个帧时段中,第一像素的输入节点的电容值和第二像素的输入节点的电容值被控制为彼此不同的值。
根据下面参照附图对示例性实施例的描述,本发明的其他特征将变得显而易见。
附图说明
图1是示出根据本发明第一实施例的摄像设备的总体构造的框图。
图2是示出根据本发明第一实施例的像素阵列的构造的电路图。
图3是根据本发明第一实施例的像素阵列的示意性截面图。
图4A和图4B是示出根据本发明第一实施例和第二实施例的摄像设备的驱动方法的时序图。
图5是示出根据本发明第三实施例的像素阵列的构造的电路图。
图6是根据本发明第三实施例的滤色器的布置图。
图7是示出根据本发明第四实施例的像素阵列的构造的电路图。
图8是示出根据本发明第五实施例的像素阵列的构造的电路图。
图9是示出根据本发明第六实施例的像素阵列的构造的电路图。
图10A和图10B是示出根据本发明第六实施例的摄像设备的驱动方法的时序图。
图11是示出根据本发明第七实施例的摄像系统的总体构造的框图。
图12A和图12B是示出根据本发明第八实施例的摄像系统和移动装置的构造示例的图。
具体实施方式
现在将根据附图详细地描述本发明的优选实施例。多个附图之间的对应元件用共同的附图标记来标记,并且可以省略或简化其描述。
第一实施例
图1是示出根据本发明第一实施例的摄像设备100的总体构造的框图。摄像设备100具有像素阵列10、垂直扫描电路20、读出电路30、水平扫描电路40、定时发生器(以下,被称为“TG”)50、数字信号处理器(以下,被称为“DSP”)60和输出电路70。
像素阵列10具有多个像素11,所述多个像素11布置成形成多行和多列。多个像素11中的各像素具有根据入射光产生电荷的多个光电转换单元。
垂直扫描电路20是输出使多个像素11中的各像素输出信号的多个控制信号的电路。多个控制信号经由为像素阵列10的相应行设置的控制信号线组12供应给像素11。注意,虽然对应于各行的控制信号线组12在图1中用单条线示出,但是控制信号线组12在实际实现中由多条控制信号线形成。
从像素11输出的信号经由为像素阵列10的相应列设置的垂直输出线13输入到读出电路30。读出电路30是逐列读出从像素11输出的信号并进行诸如放大、模数(AD)转换、相关双采样等处理的电路。
水平扫描电路40是向读出电路30供应用于将在读出电路30中处理的信号顺序地逐列传输到DSP 60的控制信号的电路。DSP 60对输入信号进行预定的数字信号处理,并将输入信号输出到输出电路70。输出电路70将从DSP 60输入的信号输出到摄像设备100的外部。
TG 50是将用于控制操作定时等的控制信号供应给垂直扫描电路20、读出电路30和水平扫描电路40的电路。虽然图1示出了用于控制垂直扫描电路20、读出电路30和水平扫描电路40的控制信号是从TG 50供应的,但是这些控制信号中的一些或全部可以从摄像设备100的外部供应。
图2是示出根据本实施例的像素阵列10的构造的电路图。虽然图2示出了像素阵列10的布置为3行×4列的12个像素11a和11b,但是像素阵列10通常可以包括更多的像素11a和11b。在以下描述中,图2中所示的三行被定义为像素阵列10中的第(n-1)行、第n行和第(n+1)行,并且图2中所示的四列被定义为像素阵列10中的第(m-1)列、第m列、第(m+1)列和第(m+2)列。
这里,图2中的像素11a和11b对应于图1中的像素11,并且像素11a和像素11b在关于控制信号线组12的连接关系方面彼此不同。如图2所示,像素11a和像素11b交替地布置在同一列上。此外,像素11a和像素11b也交替地布置在同一行上。
将描述布置在第n行第(m-1)列的像素11a(第一像素)和布置在第n行第m列的像素11b(第二像素)的构造。由于其他像素11a和11b具有相同的构造,因此将省略其描述。
首先,将描述像素11a的构造。像素11a具有光电转换单元PDA和PDB、传输晶体管M1A和M1B、复位晶体管M6、放大晶体管M7和选择晶体管M8。
光电转换单元PDA(第一光电转换单元)和光电转换单元PDB(第二光电转换单元)均由例如光电二极管形成。光电转换单元PDA和PDB的阳极连接到接地电压线。光电转换单元PDA的阴极连接到传输晶体管M1A的源极,并且光电转换单元PDB的阴极连接到传输晶体管M1B的源极。已经穿过摄像光学系统中的不同出射光瞳(exit pupils)的区域的光进入光电转换单元PDA和光电转换单元PDB。换句话说,入射光的光瞳分割的一部分(one pupil-divided part)入射光进入光电转换单元PDA,并且入射光的光瞳分割的另一部分入射光进入光电转换单元PDB。
传输晶体管M1A和M1B的漏极连接到复位晶体管M6的源极和放大晶体管M7的栅极。传输晶体管M1A和M1B的漏极、复位晶体管M6的源极和放大晶体管M7的栅极彼此连接的节点是浮动扩散区FD。浮动扩散区FD具有保持由传输晶体管M1A和M1B传输的电荷的功能。
复位晶体管M6的漏极和放大晶体管M7的漏极连接到电源电压线VDD。放大晶体管M7的源极连接到选择晶体管M8的漏极。选择晶体管M8的源极连接到垂直输出线13。
接下来,将描述像素11b的构造。像素11b是与像素11a相邻布置的像素。例如,在同一第n行上,像素11b布置在第m列上,该第m列是其上布置有像素11a的第(m-1)列的相邻列。像素11b具有光电转换单元PDA和PDB、传输晶体管M2A和M2B、复位晶体管M6、放大晶体管M7和选择晶体管M8。由于除了传输晶体管M2A和M2B与控制信号线组12之间的连接关系之外,像素11b中的元件的连接关系与像素11a中的元件的连接关系相同,因此将省略其描述。
在像素阵列10的各行上,布置沿行方向(图2中的水平方向)延伸的控制信号线组12。各行上的控制信号线组12包括控制信号线TX1A、TX1B、TX2A、TX2B、RES和SEL。
控制信号线TX1A分别连接到在同一行上排列的像素11a的传输晶体管M1A的栅极,并形成这些像素11a共用的信号线。控制信号线TX1B分别连接到在行方向上排列的像素11a的传输晶体管M1B的栅极,并形成这些像素11a共用的信号线。
控制信号线TX2A分别连接到在同一行上排列的像素11b的传输晶体管M2A的栅极,并形成这些像素11b共用的信号线。控制信号线TX2B分别连接到在行方向上排列的像素11b的传输晶体管M2B的栅极,并形成这些像素11b共用的信号线。
控制信号线RES分别连接到在行方向上排列的像素11a和11b的复位晶体管M6的栅极,并形成这些像素11a和11b共用的信号线。控制信号线SEL分别连接到在行方向上排列的像素11a和11b的选择晶体管M8的栅极,并形成这些像素11a和11b共用的信号线。
注意,在图2中,通过分别向相应控制信号线的名称提供对应的行号来区分相应行的控制信号线(例如,TX1A(n)、TX1A(n+1))。这种表示方案类似地应用于图3和后续图。
控制信号线TX1A、TX1B、TX2A、TX2B、RES和SEL连接到垂直扫描电路20。用于控制传输晶体管M1A的控制信号pTX1A从垂直扫描电路20输出到控制信号线TX1A。用于控制传输晶体管M1B的控制信号pTX1B从垂直扫描电路20输出到控制信号线TX1B。用于控制传输晶体管M2A的控制信号pTX2A从垂直扫描电路20输出到控制信号线TX2A。用于控制传输晶体管M2B的控制信号pTX2B从垂直扫描电路20输出到控制信号线TX2B。用于控制复位晶体管M6的控制信号pRES从垂直扫描电路20输出到控制信号线RES。用于控制选择晶体管M8的控制信号pSEL从垂直扫描电路20输出到控制信号线SEL。
在典型示例中,当从垂直扫描电路20输出高电平控制信号时,对应的晶体管导通,并且当从垂直扫描电路20输出低电平控制信号时,对应的晶体管截止。垂直扫描电路20响应于从TG 50输出的预定定时信号供应上述控制信号。移位寄存器、地址解码器等的逻辑电路用于垂直扫描电路20。
在像素阵列10的各列上,布置沿列方向(图2中的垂直方向)延伸的垂直输出线13。垂直输出线13分别连接到在列方向上排列的像素11a和11b的选择晶体管M8的源极,并形成这些像素11a和11b共用的信号线。注意,可以省略像素11a和11b的选择晶体管M8。在这种情况下,垂直输出线13连接到放大晶体管M7的源极。垂直输出线13中的各垂直输出线连接到电流源(未示出)。
光电转换单元PDA和PDB中的各光电转换单元通过光电转换产生与入射光相对应的电荷并累积所产生的电荷。传输晶体管M1A和M2A将在光电转换单元PDA中累积的电荷传输到浮动扩散区FD。传输晶体管M1B和M2B将在光电转换单元PDB中累积的电荷传输到浮动扩散区FD。
复位晶体管M6使浮动扩散区FD及光电转换单元PDA和PDB的电位复位。选择晶体管M8选择向垂直输出线13输出信号的像素11a和11b。放大晶体管M7被构造为使得电源电压被供应给漏极并且偏置电流经由选择晶体管M8从电流源供应给源极。因此,放大晶体管M7形成放大单元或放大器(源极跟随器电路),其输入节点是连接到浮动扩散区FD的栅极。以这种方式,放大晶体管M7基于由入射光产生的电荷向垂直输出线13输出输出信号PixOut。注意,在图2中,通过分别向输出信号PixOut提供对应的列号来区分相应列上的输出信号(例如,PixOut(m-1)、PixOut(m))。这种表示方案类似地应用于图3和后续图。
图3是根据本实施例的像素阵列10的示意性截面图。在图3中所示的截面图中,描绘了布线层14、光电转换层15、遮光部分形成层16、滤色器形成层17和微镜头形成层18。光电转换层15由诸如硅基板的半导体基板形成。诸如光电二极管的光电转换单元PDA和PDB形成在光电转换层15中。
如图3所示,布线层14形成在光电转换层15下方(基板的正面)。此外,在光电转换层15上方(基板的背面)依次形成遮光部分形成层16、滤色器形成层17和微镜头形成层18。
布线层14是形成诸如控制信号线组12、垂直输出线13等布线的层。遮光部分形成层16是其中形成多个遮光部分LS的层。滤色器形成层17是形成多个滤色器CF的层。微镜头形成层18是形成多个微镜头ML的层。注意,可以在相应层之间进一步形成平坦化层(未示出)。
各遮光部分LS布置在与平面图中的像素之间的部分对应的位置处,并且具有抑制入射光进入相邻像素的功能。因此,减少了由于颜色混合导致的图像质量劣化。各滤色器CF针对对应的像素11a和11b中的各像素布置,并且相对于入射光具有预定的光谱特性。因此,滤色器CF具有使入射光的特定波长的光透射的功能。各微镜头ML针对对应的像素11a和11b中的各像素布置,并且具有通过将入射光会聚在光电转换单元PDA或PDB上来提高灵敏度的功能。
利用上述构造,像素11a和11b中的各像素接收来自微镜头形成层18侧的入射光并输出电信号。也就是说,本实施例的摄像设备100是所谓的背面照射型图像传感器,其可以检测发射到与设置有布线层14的表面相对的表面的光。在背面照射型中,由于可以在入射光穿过的一侧的相对侧上形成布线,因此布线的设计灵活性高。在本实施例的摄像设备100中,由于控制信号线的数量趋于增加,因此就更容易设计布线和更小的元件面积而言,期望采用背面照射型。然而,摄像设备100的构造不限于背面照射型,并且可以是能够检测从其上设置有布线层14的表面发射的光的正面照射型。
图4A是示出根据本实施例的摄像设备100的驱动方法的时序图。图4A示出了在摄像设备100的一个帧时段中与第n行上的像素11a和11b相关的控制信号和输出信号。更具体地,图4A示出了供应给第n行上的像素11a和11b的控制信号pSEL(n)、pRES(n)、pTX1A(n)、pTX1B(n)、pTX2A(n)和pTX2B(n)。此外,图4A示出了从第(m-1)列的垂直输出线13输出的输出信号PixOut(m-1)和从第m列的垂直输出线13输出的输出信号PixOut(m)。参照图4A,将描述摄像设备100的操作。
在时刻t11之前的时段中,控制信号pSEL(n)处于低电平,选择晶体管M8处于截止状态,并且第n行上的像素11a和11b处于非选择状态。此外,在与上述时段相同的时段中,控制信号pRES(n)处于高电平,复位晶体管M6处于导通状态,并且浮动扩散区FD处于复位状态电位。此外,控制信号pTX1A(n)、pTX1B(n)、pTX2A(n)和pTX2B(n)都处于低电平。
在时刻t11,控制信号pTX1A(n)转变为高电平,并且传输晶体管M1A导通。然后,在时刻t12,控制信号pTX1A(n)转变为低电平,并且传输晶体管M1A截止。通过该操作,使像素11a的光电转换单元PDA复位。然后,像素11a的光电转换单元PDA从时刻t12开始累积基于入射光的电荷。
在时刻t13,控制信号pTX1B(n)转变为高电平,并且传输晶体管M1B导通。然后,在时刻t14,控制信号pTX1B(n)转变为低电平,并且传输晶体管M1B截止。该操作使像素11a的光电转换单元PDB复位。然后,像素11a的光电转换单元PDB从时刻t14开始累积基于入射光的电荷。
在时刻t15,控制信号pTX2A(n)转变为高电平,并且传输晶体管M2A导通。然后,在时刻t16,控制信号pTX2A(n)转变为低电平,并且传输晶体管M2A截止。该操作使像素11b的光电转换单元PDA复位。然后,像素11b的光电转换单元PDA从时刻t16开始累积基于入射光的电荷。
在时刻t17,控制信号pTX2B(n)转变为高电平,并且传输晶体管M2B导通。然后,在时刻t18,控制信号pTX2B(n)转变为低电平,并且传输晶体管M2B截止。该操作使像素11b的光电转换单元PDB复位。然后,像素11b的光电转换单元PDB从时刻t18开始累积基于入射光的电荷。
在时刻t18之后,控制信号pSEL(n)转变为高电平,并且选择晶体管M8导通。这导致第n行上的像素11a和11b被选择的状态。然后,在时刻t19,控制信号pRES(n)转变为低电平,并且复位晶体管M6截止。
由于浮动扩散区FD的电位响应于这种操作而略微改变,因此输出信号PixOut(m-1)和PixOut(m)也略微改变。由于每次进行复位操作时该电位变化量都会变化,因此这可能会产生噪声。因此,在时刻t19和时刻t20之间的时段中,读出电路30读出输出信号PixOut(m-1)和PixOut(m)作为噪声信号。通过进行相关双采样以获取基于入射光的光信号与噪声信号之间的差值,可以去除由于复位电平的变化引起的噪声。
在时刻t20,控制信号pTX1A(n)和pTX2A(n)转变为高电平,并且传输晶体管M1A和M2A导通。然后,在时刻t21,控制信号pTX1A(n)和pTX2A(n)转变为低电平,并且传输晶体管M1A和M2A截止。该操作使得在像素11a的光电转换单元PDA中累积的电荷被传输到像素11a的浮动扩散区FD。此外,在像素11b的光电转换单元PDA中累积的电荷被传输到像素11b的浮动扩散区FD。这里,像素11a的光电转换单元PDA中的电荷累积时段对应于时刻t12和时刻t20之间的时段T1A的长度。此外,像素11b的光电转换单元PDA中的电荷累积时段对应于时刻t16和时刻t20之间的时段T2A的长度。
响应于这种电荷传输,像素11a和像素11b的浮动扩散区FD的电位改变,并且输出信号PixOut(m-1)和PixOut(m)改变。在时刻t21和时刻t22之间的时段中,读出电路30读出输出信号PixOut(m-1)和PixOut(m)作为基于入射光的光信号(A信号或第一信号)。由于同时进行来自布置在同一行上的像素11a和11b的电荷的传输操作,因此读出电路30可以根据来自TG 50的控制信号同时读出多列上的信号。
由此,获取基于在像素11a的光电转换单元PDA中在时段T1A中产生的电荷的A信号和基于在像素11b的光电转换单元PDA中在时段T2A中产生的电荷的A信号。
在时刻t22,控制信号pTX1B(n)和pTX2B(n)转变为高电平,并且传输晶体管M1B和M2B导通。然后,在时刻t23,控制信号pTX1B(n)和pTX2B(n)转变为低电平,并且传输晶体管M1B和M2B截止。通过该操作,在像素11a的光电转换单元PDB中累积的电荷被传输到像素11a的浮动扩散区FD。此外,在像素11b的光电转换单元PDB中累积的电荷被传输到像素11b的浮动扩散区FD。这里,像素11a的光电转换单元PDB中的电荷累积时段对应于时刻t14和时刻t22之间的时段T1B的长度。此外,像素11b的光电转换单元PDB中的电荷累积时段对应于时刻t18和时刻t22之间的时段T2B的长度。
响应于这种电荷传输,像素11a和像素11b的浮动扩散区FD的电位改变,并且输出信号PixOut(m-1)和PixOut(m)改变。在时刻t23和时刻t24之间的时段中,读出电路30读出输出信号PixOut(m-1)和PixOut(m)作为基于入射光的光信号((A+B)信号或第二信号)。同样在该过程中,由于同时进行来自布置在同一行上的像素11a和11b的电荷的传输操作,因此读出电路30可以根据来自TG 50的控制信号同时读出多列上的信号。注意,所读出的光信号是与光电转换单元PDA中累积的电荷和光电转换单元PDB中累积的电荷之和相对应的信号。
由此,获取基于在像素11a的光电转换单元PDA中在时段T1A中产生的电荷和在像素11a的光电转换单元PDB中在时段T1B中产生的电荷二者的(A+B)信号。此外,获取基于像素11b的光电转换单元PDA中在时段T2A中产生的电荷和像素11b的光电转换单元PDB中在时段T2B中产生的电荷二者的(A+B)信号。
在时刻t24,控制信号pRES(n)转变为高电平,并且复位晶体管M6导通。由此,浮动扩散区FD返回到复位状态,并且从第n行上的像素11a和11b读出的过程结束。
通过摄像设备100外部的信号处理电路等获取(A+B)信号和A信号之间的差值,从而获取B信号。A信号和B信号是基于由穿过摄像光学系统中的不同光瞳区域的光(即,光瞳分割的光)产生的电荷的信号,因此是可以用于相位差焦点检测的焦点检测信号。此外,(A+B)信号是用于产生图像的摄像信号。以这种方式,本实施例的摄像设备100可以在一个帧时段内并行地获取焦点检测信号和摄像信号。
此外,在本实施例的摄像设备100中,像素11a中的电荷的累积时间(时段T1A和T1B的长度)长于像素11b中的电荷的累积时间(时段T2A和T2B的长度)。因此,焦点检测信号和摄像信号可以分别通过两种类型的累积时间产生。虽然在焦点检测和拍摄的动态范围中由于饱和电荷量等而存在约束,但是通过使用这两种类型的累积时间进行获取信号的处理并根据照度适当地使用这些信号,可以扩展动态范围。
如上所述,根据本实施例,从像素11a和像素11b输出由不同累积时间引起的信号,从而可以获取适合于动态范围扩展的焦点检测信号和摄像信号。因此,提供了可以实现更高的功能的摄像设备100。
在图2中,像素11a和像素11b交替地布置在同一行上。此外,像素11a和像素11b也交替地布置在同一列上。这种布置允许像素11a和像素11b以均匀的密度布置在像素阵列10内的同一行或同一列上。然而,像素11a和像素11b的布置方案不限于图2所示的方案,并且可以是例如像素11a和像素11b每两行或每两列交替地出现的图案。
此外,可以在A信号的读出和B信号的读出之间进行复位操作,作为上述读出方法的修改示例。根据这种驱动,可以分别获得A信号和B信号。然后,通过使用摄像设备100外部的信号处理电路等来获取A信号和B信号之和,从而获取(A+B)信号。
第二实施例
参照图4B,将描述本发明的第二实施例。第二实施例与第一实施例的不同之处在于供应相应控制信号的定时。由于诸如像素11a和11b的电路构造、摄像设备100的块等的除了相应控制信号的供应定时之外的特征与第一实施例中的特征相同,因此将省略其描述。图4B是示出根据本实施例的摄像设备100的驱动方法的时序图。参照图4B,将描述摄像设备100的操作。
由于在时刻t33之前的操作与第一实施例中的时刻t13之前的操作相同,因此将省略其描述。在时刻t33,控制信号pTX2A(n)和pTX2B(n)转变为高电平,并且传输晶体管M2A和M2B导通。然后,在时刻t34,控制信号pTX2A(n)和pTX2B(n)转变为低电平,并且传输晶体管M2A和M2B截止。该操作同时使像素11b的光电转换单元PDA和PDB复位。然后,像素11b的光电转换单元PDA和PDB从时刻t34开始累积基于入射光的电荷。
由于在时刻t35和t36的操作与第一实施例中的在时刻t13和t14的操作相同,因此将省略其描述。此外,由于控制信号pSEL(n)和pRES(n)的驱动以及时刻t37附近的噪声信号的读出与第一实施例中的时刻t19附近的那些相同,因此将省略其描述。
在时刻t38,控制信号pTX1A(n)转变为高电平,并且传输晶体管M1A导通。然后,在时刻t39,控制信号pTX1A(n)转变为低电平,并且传输晶体管M1A截止。该操作使得在像素11a的光电转换单元PDA中累积的电荷被传输到像素11a的浮动扩散区FD。这里,像素11a的光电转换单元PDA中的电荷累积时段对应于时刻t32和时刻t38之间的时段T1A的长度。
响应于这种电荷传输,像素11a的浮动扩散区FD的电位改变,并且输出信号PixOut(m-1)也改变。在时刻t39和时刻t40之间的时段中,读出电路30读出输出信号PixOut(m-1)作为基于入射光的光信号(A信号)。由此,获取基于像素11a的光电转换单元PDA中在时段T1A中产生的电荷的A信号。
在时刻t40,控制信号pTX2A(n)和pTX2B(n)转变为高电平,并且传输晶体管M2A和M2B导通。然后,在时刻t41,控制信号pTX2A(n)和pTX2B(n)转变为低电平,并且传输晶体管M2A和M2B截止。该操作使得在像素11b的光电转换单元PDA和PDB中累积的电荷被传输到像素11b的浮动扩散区FD。这里,像素11b的光电转换单元PDA和PDB中的电荷累积时段分别对应于时刻t34和时刻t40之间的时段T2A和T2B的长度。在本实施例中,由于同时进行传输晶体管M2A和M2B的传输操作,因此时段T2A和时段T2B相同。
响应于这种电荷传输,像素11b的浮动扩散区FD的电位改变,并且输出信号PixOut(m)也改变。在时刻t41和时刻t42之间的时段中,读出电路30读出输出信号PixOut(m)作为基于入射光的光信号((A+B)信号)。该光信号是与光电转换单元PDA中累积的电荷和光电转换单元PDB中累积的电荷之和相对应的信号。
在时刻t42,控制信号pTX1B(n)转变为高电平,并且传输晶体管M1B导通。然后,在时刻t43,控制信号pTX1B(n)转变为低电平,并且传输晶体管M1B截止。该操作使得在像素11a的光电转换单元PDB中累积的电荷被传输到像素11a的浮动扩散区FD。这里,像素11a的光电转换单元PDB中的电荷累积时段对应于时刻t36和时刻t42之间的时段T1B的长度。
响应于这种电荷传输,像素11a的浮动扩散区FD的电位改变,并且输出信号PixOut(m-1)也改变。在时刻t43和时刻t44之间的时段中,读出电路30读出输出信号PixOut(m-1)作为基于入射光的光信号((A+B)信号)。该光信号是与光电转换单元PDA中累积的电荷和光电转换单元PDB中累积的电荷之和相对应的信号。由于在时刻t44的操作与第一实施例中的在时刻t24的操作相同,因此将省略其描述。
如上所述,在本实施例中,通过对同一行上的像素11a和11b使用pTX1A(n)、pTX1B(n)、TX2A(n)和pTX2B(n)的四种控制信号来控制电荷的传输。通过这种控制,像素11a分别输出A信号和(A+B)信号,并且像素11b仅输出(A+B)信号。对于从像素11a输出的信号,可以通过使用摄像设备100外部的信号处理电路等获取(A+B)信号和A信号之间的差值来获取B信号。以与第一实施例的情况相同的方式,A信号和B信号用作焦点检测信号,并且(A+B)信号用作摄像信号。因此,本实施例的摄像设备100也可以以与第一实施例的情况相同的方式在一个帧时段内并行地获取焦点检测信号和摄像信号。
此外,由于本实施例的摄像设备100被构造为使得像素11b仅输出(A+B)信号,因此可以减少读出操作的次数。因此,可以获得信号处理时间减少和由信号处理引起的功耗降低的优点。
尽管在本实施例中减少了可以输出焦点检测信号的像素的数量,但是可以获得减少信号处理时间和降低功耗的优点,因此本实施例对于焦点检测的精度要求较低的情况是优选的。
注意,在图4B中,时刻t34被设置为时刻t32和时刻t36之间的时间,并且时刻t41被设置为时刻t39和时刻t43之间的时间。这可以减小像素11a和像素11b的累积时段之差(拍摄时间之差)对图像质量的影响。然而,该构造不是必需的,例如,时刻t34可以与时刻t32或时刻t36相同,或者时刻t41可以与时刻t39或时刻t43相同。此外,与第一实施例一样,像素11a的累积时段的长度和像素11b的累积时段的长度可以彼此不同。在这种情况下,以与第一实施例相同的方式获得动态范围扩展的优点。
第三实施例
参照图5,将描述本发明的第三实施例。第三实施例与第一或第二实施例的不同之处在于控制信号线的构造。由于其他特征与第一或第二实施例中的特征相同,因此将省略其描述。图5是示出根据本实施例的像素阵列10的构造的电路图。
在本实施例中,除了第一实施例中描述的那些控制信号线之外,控制信号线组12还包括控制信号线TX3A、TX3B、TX4A和TX4B。此外,在像素阵列10的第n行上,像素11c布置在第(m+1)列上,并且像素11d布置在第(m+2)列上。像素11c具有供应有来自控制信号线TX3A的控制信号的传输晶体管M3A和供应有来自控制信号线TX3B的控制信号的传输晶体管M3B。像素11d具有供应有来自控制信号线TX4A的控制信号的传输晶体管M4A和供应有来自控制信号线TX4B的控制信号的传输晶体管M4B。
以这种方式,在本实施例中,在各单行上设置八条用于传输晶体管的控制信号线,即为第一实施例或第二实施例中的控制信号线的两倍。因此,对于布置在同一行上的四个像素11a、11b、11c和11d,可以在不同的定时进行传输晶体管M1A、M1B、M2A、M2B、M3A、M3B、M4A和M4B的控制。
本实施例的构造优选地用于其中在同一行上设置不同颜色的多个滤色器CF的布置中。将描述这种滤色器CF的布置的示例。图6是根据本实施例的滤色器CF的布置图,并且示意性地示出了像素阵列10内部的滤色器CF的颜色的布置。图6中的符号“R”表示其中布置具有主要透射红光的光谱特性的滤色器CF的像素(R像素)。图6中的符号“G”表示其中布置具有主要透射绿光的光谱特性的滤色器CF的像素(G像素)。图6中的符号“B”表示其中布置具有主要透射蓝光的光谱特性的滤色器CF的像素(B像素)。这使得能够拍摄具有红色、绿色和蓝色的每种颜色的彩色图像。虽然图6中所示的布置是称为拜耳布置的布置,但是这是一个示例,并且可以采用其他图案的布置。此外,可以采用使用除上述颜色之外的颜色的滤色器例如互补色滤色器的布置。
在具有如图6所示的拜耳布置的滤色器CF的摄像设备100中,两种颜色的像素存在于单行内。在第一实施例或第二实施例的构造中,由于为各行设置用于传输晶体管的四条控制信号线,所以不可能针对相应颜色在不同定时进行如图4A或图4B所示的驱动。另一方面,在本实施例中,由于在各行上设置了八条用于传输晶体管的控制信号线,即为第一实施例或第二实施例中的控制信号线的两倍,因此可以针对相应颜色的像素在不同定时进行第一实施例或第二实施例的驱动方法。
如上所述,根据本实施例,除了可以进行与第一实施例或第二实施例中相同的驱动以获得相同的优点之外,因为可以针对相应颜色的像素在不同定时驱动传输晶体管,所以提高了驱动方法的灵活性。因此,提供了可以实现更高的功能的摄像设备100。
注意,虽然在上述示例中,为了针对相应颜色的像素在不同定时进行传输,传输晶体管的控制信号线的数量大于第一实施例或第二实施例的控制信号线的数量,但是增加的控制信号线可用于其他目的。例如,通过修改图4A的驱动方法,累积时间的类型的数量可以从2增加到4,并且可以输出具有不同累积时间的四种摄像信号和焦点检测信号。由此,可以有效地进行动态范围的扩展处理。例如,当进行用于合成图像以生成具有扩展的动态范围的图像的处理时,当具有不同类型的累积时间的图像的数量较大时,由于累积时间的差异导致的合成图像的不自然性降低。
第四实施例
参照图7,将描述本发明的第四实施例。第四实施例与第三实施例的不同之处在于两个像素共用浮动扩散区FD。由于其他特征与第三实施例中的特征相同,因此将省略其描述。图7是示出根据本实施例的像素阵列10的构造的电路图。
在图7中,当着眼于第n行上的像素11a和11e时,像素11e的传输晶体管M2A和M2B的漏极连接到与像素11e相邻的像素11a的浮动扩散区FD。此外,当着眼于第n行上的像素11c和11f时,像素11f的传输晶体管M4A和M4B的漏极连接到与像素11f相邻的像素11c的浮动扩散区FD。此外,在像素11e和11f中,省略了复位晶体管M6、放大晶体管M7、选择晶体管M8等。
在本实施例的构造中,可以进行与第一至第三实施例相同的驱动,并且可以减少像素11e和11f内设置的诸如晶体管的电路部件的数量。由此,可以减少电路部件的专用区域。此外,通过将由被消除的电路部件获得的区域分配给用于光电转换单元PDA和PDB等的区域,可以增加饱和电荷量并改善由摄像设备100拍摄的图像的图像质量。因此,提供了可以实现更高的功能的摄像设备100。
注意,可以将被消除的电路部件的专用区域分配用于其他目的。例如,可以添加用于增加浮动扩散区FD的电容的元件,例如下面在第六实施例中描述的电容加法晶体管、电容器等。
此外,虽然浮动扩散区FD由在图7中的水平方向上排列的两个像素共享,但是实施例不限于此。例如,浮动扩散区FD可以由在垂直方向上排列的两个像素共享,或者浮动扩散区FD可以由垂直方向上的两个像素和水平方向上的两个像素的四个像素共享。
第五实施例
参照图8,将描述本发明的第五实施例。第五实施例与第四实施例的不同之处在于控制信号线的构造。由于其他特征与第四实施例中的特征相同,因此将省略其描述。图8是示出根据本实施例的像素阵列10的构造的电路图。
在本实施例中,与第四实施例中描述的控制信号线相比,从控制信号线组中省略控制信号线TX4A和TX4B。此外,像素11e布置在像素阵列10的第n行的第m列和第(m+2)列中的各列上。从共用控制信号线TX2A供应控制信号给像素11e的传输晶体管M2A。此外,从共用控制信号线TX2B供应控制信号给像素11e的传输晶体管M2B。以这种方式,在本实施例中,共用控制信号被供应给包括在同一行上的四个像素中的两个传输晶体管。
同样在本实施例中,例如,可以以与第三和第四实施例类似的方式获得提高驱动方法的灵活性的优点。由于传输晶体管的控制信号线的数量少于第三实施例和第四实施例中的控制信号线的数量,因此降低了灵活性的改善的优点,然而,与第三实施例和第四实施例相比,可以减少控制信号线的数量。因此,提供了可以实现更高的功能的摄像设备100。
在本实施例的构造中,可以将用于不同传输晶体管的控制信号线分配给拜耳布置中的同一行上的R像素。在这种情况下,通过应用第二实施例的驱动方法,可以进行这样的驱动,该驱动使得同一行上的一些R像素输出焦点检测信号和摄像信号,并且使得同一行上的另一些R像素只输出摄像信号。注意,该示例中的R像素可以用G像素或B像素替换。
第六实施例
参照图9、图10A和图10B,将描述本发明的第六实施例。第六实施例与第一和第二实施例的不同之处在于,在像素11h和11g中的各像素中设置电容加法晶体管M9(电容控制单元)和电容器C。由于其他特征与第一和第二实施例中的特征相同,因此将省略其描述。图9是示出根据本实施例的像素阵列10的构造的电路图。
在像素11h和11g中的各像素中,电容加法晶体管M9和电容器C被设置到浮动扩散区FD和复位晶体管M6之间的节点。电容加法晶体管M9的源极连接到浮动扩散区FD,漏极连接到电容器C的一端和复位晶体管M6的源极。电容器C的另一端连接到接地电压线。
各行上的控制信号线组12还包括控制信号线APP1(第一控制信号线)和控制信号线APP2(第二控制信号线)。控制信号线APP1分别连接到在同一行上排列的像素11g的电容加法晶体管M9的栅极,并形成这些像素11g共用的信号线。控制信号线APP2分别连接到在同一行上排列的像素11h的电容加法晶体管M9的栅极,并形成这些像素11h共用的信号线。
控制信号线APP1和APP2连接到垂直扫描电路20。用于控制电容加法晶体管M9的控制信号pAPP1和pAPP2分别从垂直扫描电路20输出到控制信号线APP1和APP2。
参照图10A和图10B,将描述电容加法晶体管M9的操作。图10A是示出与第一实施例中的图4A相对应的操作的时序图,并且图10B是示出与第二实施例中的图4B相对应的操作的时序图。由于除控制信号pAPP1和pAPP2之外的其他控制信号与第一实施例或第二实施例中的控制信号相同,因此将省略重复的描述。
在图10A中,在时刻t18及其之前的时段中,控制信号pRES(n)、pAPP1(n)和pAPP2(n)都处于高电平,并且像素11h和11g的复位晶体管M6和电容加法晶体管M9处于导通状态。由此,在时刻t18及其之前的时段中,浮动扩散区FD和电容器C已被复位。
在图10A中,在时刻t19及其之后的时段中,控制信号pRES(n)和pAPP2(n)处于低电平,并且控制信号pAPP1(n)处于高电平。因此,像素11h和11g的复位晶体管M6处于截止状态,像素11g的电容加法晶体管M9处于导通状态,并且像素11h的电容加法晶体管M9处于截止状态。因此,在时刻t19及其之后的时段中,当电容器C连接到像素11g的浮动扩散区FD时,电容器C不连接到像素11h的浮动扩散区FD。也就是说,虽然像素11g的浮动扩散区FD的电容值增加,但是像素11h的浮动扩散区FD的电容值不增加。
如上所述,在本实施例的图10A中的驱动方法中,以与第一实施例相同的方式实现这样的驱动:除了改变同一列上的各像素的累积时间之外,还改变是否增加浮动扩散区FD的电容值。由此,可以更有效地实现动态范围的扩展。注意,在该示例的驱动方法中,与图10A的方法相反,在时刻t19及其之后的时段中,像素11g的电容加法晶体管M9可以截止,并且像素11h的电容加法晶体管M9可以导通。
图10B示出了这样的驱动方法,其中通过与图10A中的控制信号相同的控制信号pRES(n)、pAPP1(n)和pAPP2(n)进行的驱动与第二实施例的驱动方法相结合。在这样的构造中,例如,由于可以通过浮动扩散区FD的电容值的增加来增加饱和电荷量,这提供了当在高照度被摄体上进行拍摄或焦点检测时信号不太可能发生饱和的优点。因此,根据本实施例,提供了可以实现更高的功能的摄像设备100。
在图10A和图10B中的驱动方法中,控制信号pAPP1(n)和pAPP2(n)的电平基本上处于高电平,并且在必要时变为低电平。然而,作为另一种驱动方法,控制信号pAPP1(n)和pAPP2(n)的电平可以基本上处于低电平,并且可以在必要时变为高电平。
此外,在本实施例中,对于像素11g和像素11h,累积时间可以相同。另一方面,采用这样的控制,其使像素11g的电容加法晶体管M9导通,并且使像素11h的电容加法晶体管M9截止。利用这种控制,可以在不改变累积时间的情况下获得焦点检测信号或根据颜色而具有不同增益的摄像信号。
第七实施例
将通过使用图11描述根据本发明第七实施例的摄像系统。与根据第一至第六实施例的摄像设备100的部件相同的部件用相同的附图标记来标记,并且将省略或简化其描述。图11是示出根据本实施例的摄像系统的总体构造的框图。
在以上第一至第六实施例中描述的摄像设备100适用于各种摄像系统。适用的摄像系统的示例可以包括数字静态照相机、数字便携式摄像机、监视照相机、复印机、传真机、移动电话、车载照相机、观察卫星等。另外,包括诸如镜头和摄像设备的光学系统的照相机模块也包括在摄像系统中。图11示出了作为这些示例中的示例的数字静态照相机的框图。
在图11中作为示例示出的摄像系统200具有摄像设备100、将被摄体的光学图像拍摄到摄像设备100上的镜头202、用于改变穿过镜头202的光量的光圈204以及用于保护镜头202的屏障206。镜头202和光圈204形成将光会聚到摄像设备100上的光学系统。摄像设备100是在第一到第六实施例中的任何一个中描述的摄像设备100,并且将由镜头202拍摄的光学图像转换成图像数据。
摄像系统200还具有处理从摄像设备100输出的输出信号的信号处理单元208。信号处理单元208在需要的情况下进行各种校正和压缩,并输出图像数据。信号处理单元208可以形成在其上设置有摄像设备100的半导体基板上,或者可以形成在与摄像设备100分离的半导体基板上。
摄像系统200还具有用于在其中临时存储图像数据的存储器单元210和用于与外部计算机等通信的外部接口单元(外部I/F单元)212。摄像系统200还具有用于进行摄像数据的存储或读出的诸如半导体存储器的存储介质214和用于在存储介质214上进行存储或读出的存储介质控制接口单元(存储介质控制I/F单元)216。注意,存储介质214可以嵌入在摄像系统200中,或者可以是可移动的。
摄像系统200还具有控制各种操作和整个数字静态照相机的总体控制/操作单元218,以及向摄像设备100和信号处理单元208输出各种定时信号的定时生成单元220。这里,可以从外部输入定时信号等,并且摄像系统200可以至少具有摄像设备100和处理从摄像设备100输出的输出信号的信号处理单元208。
摄像设备100将摄像信号输出到信号处理单元208。信号处理单元208对从摄像设备100输出的摄像信号进行预定信号处理,并输出图像数据。信号处理单元208使用摄像信号来生成图像。信号处理单元208还可以对焦点检测信号进行信号处理。
通过应用根据第一至第六实施例的任何摄像设备100,可以实现可以获取高质量图像的摄像系统200。
第八实施例
将通过使用图12A和图12B描述根据本发明第八实施例的摄像系统和移动装置。图12A和图12B是示出根据本实施例的摄像系统300和移动装置的构造的图。
图12A示出了与车载照相机相关的摄像系统300的示例。摄像系统300具有摄像设备100。本实施例的摄像设备100是在上述第一至第六实施例中的任何一个中描述的摄像设备100。摄像系统300具有对由摄像设备100获取的多个图像数据进行图像处理的图像处理单元312和从由摄像系统300获取的多个图像数据计算视差(视差图像的相位差)的视差计算单元314。此外,摄像系统300具有基于计算出的视差计算到被摄体的距离的距离测量单元316和基于计算出的距离确定是否存在碰撞可能性的碰撞确定单元318。这里,视差计算单元314和距离测量单元316是获取关于到被摄体的距离的距离信息的距离信息获取单元的示例。也就是说,距离信息是关于视差、散焦量、到被摄体的距离等的信息。碰撞确定单元318可以使用任何距离信息来确定碰撞可能性。距离信息获取单元可以通过专门设计的硬件来实现,或者可以由软件模块来实现。此外,距离信息获取单元可以由现场可编程门阵列(FPGA)、专用集成电路(ASIC)等实现,或者可以通过它们的组合来实现。
摄像系统300连接到车辆信息获取设备320,并且可以获取诸如车辆速度、偏航率(yaw rate)、转向角度(steering angle)等车辆信息。此外,摄像系统300与控制ECU 330连接,控制ECU 330是基于碰撞确定单元318的确定结果输出用于使车辆产生制动力的控制信号的控制设备。此外,摄像系统300也与基于碰撞确定单元318的确定结果向驾驶者发出警报的警报设备340连接。例如,当作为碰撞确定单元318的确定结果,碰撞概率高时,控制ECU330进行车辆控制以通过应用制动、松开加速器、抑制发动机功率等来避免碰撞或减少损坏。警报设备340通过发出诸如声音之类的警报,在汽车导航系统等的显示器上显示警报信息,向座椅安全带或方向盘提供振动等来警报用户。
在本实施例中,通过使用摄像系统300来捕获车辆周围的区域,例如前方区域或后方区域。图12B示出了在捕获车辆的前方区域(捕获区域350)时的摄像系统。车辆信息获取设备320向摄像系统300或摄像设备100发送指令以进行预定操作。这样的构造可以进一步提高测距精度。
虽然已经描述了用于避免与另一车辆的碰撞的控制的示例,但是该实施例可应用于跟随另一车辆的自动驾驶控制,不偏离车道的自动驾驶控制等。此外,摄像系统不限于诸如主题车辆的车辆,并且,例如,可以应用于诸如船舶、飞机或工业机器人的移动装置(活动装置)。另外,摄像系统可以广泛应用于任何利用对象识别的设备,例如智能交通系统(ITS),而不限于移动装置。
修改的实施例
本发明不限于上述实施例,并且可以进行各种修改。例如,如下实例是本发明的实施例之一:任何实施例的构造的一部分被添加到另一实施例,或者,任何实施例的构造的一部分被另一实施例的构造的一部分替换。
此外,第七和第八实施例中示出的设备和系统是可以应用本发明的摄像设备100的设备和系统的构造示例,并且可以应用本发明的摄像设备100的设备和系统不限于图11、图12A或图12B所示的构造。
此外,在上述实施例中公开的摄像设备100中,处理从像素输出的信号的诸如DSP60的信号处理电路可以形成在与形成有像素的基板相同的半导体基板上,或者可以形成在单独的半导体基板上。换句话说,摄像设备100可以由单个半导体基板形成,或者可以由多个半导体基板形成。
本发明的实施例也可以通过如下实现:一种系统或装置的计算机,该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如,一个或多个程序),以执行上述实施例中的一个或多个的功能,并且/或者,该系统或装置包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如,专用集成电路(ASIC));以及由该系统或者装置的计算机执行的方法,例如,从存储介质读出并执行计算机可执行指令,以执行上述(实施例中的一个或多个的功能,并且/或者,控制所述一个或多个电路以执行上述实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如,中央处理单元(CPU),微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如,存储介质可以包括如下中的一个或多个:硬盘,随机存取存储器(RAM),只读存储器(ROM),分布式计算系统的存储器,光盘(例如,压缩盘(CD),数字多功能光盘(DVD),或蓝光光盘(BD)TM),闪速存储器装置,存储卡,等等。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然针对示例性实施例描述了本发明,但是,应该理解,本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释,以便涵盖所有这类修改以及等同的结构和功能。

Claims (20)

1.一种摄像设备,包括:
布置成形成多行和多列的多个像素,所述多个像素中的各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元;以及
读出电路,其被构造为读出从所述多个像素输出的信号,该读出电路针对所述多列中的各列或各列组而被设置,
其中,所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且至少基于由第二光电转换单元产生的电荷而输出第二信号,
其中,所述多个像素包括第一像素和第二像素,第一像素和第二像素布置在彼此不同的列上并且布置在单行上,
其中,在所述一个帧时段中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间,与为了获得第二像素的第一信号和第二信号中的对应一个信号而累积电荷的累积时间彼此不同,
其中,第一像素和第二像素中的各像素还包括:
放大单元,其具有输入节点,并被构造为基于传输到输入节点的电荷而输出信号,以及
电容控制单元,其被构造为根据控制信号改变输入节点的电容值,并且
其中,在所述一个帧时段中,第一像素的输入节点的电容值和第二像素的输入节点的电容值被控制为彼此不同的值。
2.根据权利要求1所述的摄像设备,其中,在所述一个帧时段中,开始用于获得第一像素的第一信号和第二信号中的一个信号的电荷累积的时间与开始用于获得第二像素的第一信号和第二信号中的对应一个信号的电荷累积的时间不同。
3.根据权利要求1或2所述的摄像设备,其中,在所述一个帧时段中,用于获得第一像素的第一信号的电荷累积结束的时间与用于获得第二像素的第一信号的电荷累积结束的时间相同。
4.根据权利要求1或2所述的摄像设备,
其中,在所述一个帧时段中,用于获得第一像素的第一信号的电荷累积结束的时间与用于获得第二像素的第一信号的电荷累积结束的时间相同,并且
其中,在所述一个帧时段中,用于获得第一像素的第二信号的电荷累积结束的时间与用于获得第二像素的第二信号的电荷累积结束的时间相同。
5.根据权利要求1或2所述的摄像设备,其中,第一像素和第二像素中的各像素还包括具有相同光谱特性的滤色器。
6.根据权利要求1或2所述的摄像设备,
其中,第一像素或第二像素具有输入节点,并且还包括:放大单元,其被构造为基于传输到输入节点的电荷而输出信号,并且
其中,由包括在第一像素中的第一光电转换单元和第二光电转换单元产生的电荷和由包括在第二像素中的第一光电转换单元和第二光电转换单元产生的电荷被传输到共用放大单元的输入节点。
7.根据权利要求1或2所述的摄像设备,还包括:
第一控制信号线,其被构造为将控制信号供应给第一像素的电容控制单元;以及
第二控制信号线,其被构造为向第二像素的电容控制单元供应与从第一控制信号线供应的控制信号不同的控制信号。
8.根据权利要求7所述的摄像设备,
其中,第一控制信号线连接到第一像素的电容控制晶体管的栅极,并且不连接到第二像素中的任何节点,并且
其中,第二控制信号线连接到第二像素的电容控制晶体管的栅极,并且不连接到第一像素中的任何节点。
9.根据权利要求1或2所述的摄像设备,其中,第二信号基于由第一光电转换单元产生的电荷和由第二光电转换单元产生的电荷二者。
10.根据权利要求1或2所述的摄像设备,
其中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间包括第一部分和第二部分,
其中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间的第一部分与为了获得第二像素的第一信号和第二信号中的对应一个信号而累积电荷的累积时间不重叠,并且
其中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间的第二部分与为了获得第二像素的第一信号和第二信号中的对应一个信号而累积电荷的累积时间重叠。
11.根据权利要求1或2所述的摄像设备,
其中,在所述一个帧时段中,为了获得第一像素的第一信号和第二信号中的一个信号而累积电荷的累积时间的长度,与为了获得第二像素的第一信号和第二信号中的相应一个信号而累积电荷的累积时间的长度彼此不同。
12.一种摄像设备,包括:
布置成形成多行和多列的多个像素,所述多个像素中的各像素包括入射光的光瞳分割的一部分入射光进入的第一光电转换单元和入射光的光瞳分割的另一部分入射光进入的第二光电转换单元;以及
读出电路,其被构造为读出从所述多个像素输出的信号,该读出电路针对所述多列中的各列或各列组而被设置,
其中,所述多个像素中的各像素被构造为,在一个帧时段中,基于由第一光电转换单元产生的电荷而输出第一信号,并且基于由第一光电转换单元产生的电荷和由第二光电转换单元产生的电荷而输出第二信号,
其中,所述多个像素包括第一像素和第二像素,第一像素和第二像素布置在彼此不同的列上并且布置在单行上,
其中,在所述一个帧时段中,第一像素分别输出第一信号和第二信号,
其中,在所述一个帧时段中,第二像素不输出第一信号,而是根据与供应给第一像素的控制信号不同的控制信号输出第二信号,
其中,第一像素和第二像素中的各像素还包括:
放大单元,其具有输入节点,并被构造为基于传输到输入节点的电荷而输出信号,以及
电容控制单元,其被构造为根据控制信号改变输入节点的电容值,并且
其中,在所述一个帧时段中,第一像素的输入节点的电容值和第二像素的输入节点的电容值被控制为彼此不同的值。
13.根据权利要求12所述的摄像设备,其中,在所述一个帧时段中,累积用于获得第一像素的第一信号和第二信号中的一个信号的电荷的累积时间,与用于获得第二像素的第一信号和第二信号中的对应一个信号而累积电荷的累积时间相同。
14.根据权利要求12或13所述的摄像设备,其中,在所述一个帧时段中,用于获得第二像素的第一信号或第二信号的电荷的累积开始的时间是用于获得第一像素的第一信号的电荷的累积开始的时间和用于获得第一像素的第二信号的电荷的累积开始的时间之间的中间时间。
15.根据权利要求12或13所述的摄像设备,其中,在所述一个帧时段中,用于获得第二像素的第一信号或第二信号的电荷的累积结束的时间是用于获得第一像素的第一信号的电荷的累积结束的时间和用于获得第一像素的第二信号的电荷的累积结束的时间之间的中间时间。
16.根据权利要求12所述的摄像设备,其中,在所述一个帧时段中,累积用于获得第一像素的第一信号和第二信号中的一个信号的电荷的累积时间,与累积用于获得第二像素的第一信号和第二信号中的对应一个信号的电荷的累积时间彼此不同。
17.根据权利要求12或13所述的摄像设备,其中,第一像素和第二像素中的各像素还包括具有相同光谱特性的滤色器。
18.根据权利要求12或13所述的摄像设备,
其中,第一像素或第二像素具有输入节点,并且还包括:放大单元,其被构造为基于传输到输入节点的电荷而输出信号,并且
其中,由包括在第一像素中的第一光电转换单元和第二光电转换单元产生的电荷和由包括在第二像素中的第一光电转换单元和第二光电转换单元产生的电荷被传输到共用放大单元的输入节点。
19.一种摄像系统,包括:
根据权利要求1至18中任一项所述的摄像设备;以及
信号处理单元,其被构造为处理从摄像设备输出的信号。
20.一种移动装置,包括:
根据权利要求1至18中任一项所述的摄像设备;
距离信息获取单元,其被构造为从基于来自摄像设备的信号的视差图像获取关于到被摄体的距离的距离信息;以及
控制单元,其被构造为基于距离信息来控制移动装置。
CN201910514063.1A 2018-06-14 2019-06-14 摄像设备、摄像系统和移动装置 Active CN110611777B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-113789 2018-06-14
JP2018113789A JP7161317B2 (ja) 2018-06-14 2018-06-14 撮像装置、撮像システム及び移動体

Publications (2)

Publication Number Publication Date
CN110611777A CN110611777A (zh) 2019-12-24
CN110611777B true CN110611777B (zh) 2022-08-30

Family

ID=68838831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910514063.1A Active CN110611777B (zh) 2018-06-14 2019-06-14 摄像设备、摄像系统和移动装置

Country Status (3)

Country Link
US (1) US11412163B2 (zh)
JP (1) JP7161317B2 (zh)
CN (1) CN110611777B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11025848B2 (en) * 2018-08-31 2021-06-01 Canon Kabushiki Kaisha Photoelectric conversion device, imaging system, moving body, and stackable semiconductor device
JP7245016B2 (ja) 2018-09-21 2023-03-23 キヤノン株式会社 光電変換装置および撮像システム
EP3922040A1 (fr) 2019-02-06 2021-12-15 Oltramare, Michel Systeme de refroidissement de la bobine fixe d'un moteur inductif
JP7479801B2 (ja) * 2019-08-27 2024-05-09 ソニーセミコンダクタソリューションズ株式会社 撮像素子、製造方法、および電子機器
JP7538618B2 (ja) 2020-05-01 2024-08-22 キヤノン株式会社 光電変換装置及び光電変換システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297724A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像装置、成像系统和成像装置驱动方法
CN103297723A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像设备、成像系统及其驱动方法
CN105049755A (zh) * 2014-04-28 2015-11-11 三星电子株式会社 图像传感器和具有该图像传感器的图像处理装置
CN105100650A (zh) * 2014-05-23 2015-11-25 佳能株式会社 成像装置及其驱动方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3462812B2 (ja) 1999-09-22 2003-11-05 富士重工業株式会社 車載カメラの電源制御方法ならびに装置
US7446812B2 (en) 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP4818018B2 (ja) 2006-08-01 2011-11-16 キヤノン株式会社 光電変換装置及びそれを用いた撮像システム
JP5132102B2 (ja) 2006-08-01 2013-01-30 キヤノン株式会社 光電変換装置および光電変換装置を用いた撮像システム
JP4494492B2 (ja) 2008-04-09 2010-06-30 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
JP5213501B2 (ja) 2008-04-09 2013-06-19 キヤノン株式会社 固体撮像装置
JP4759590B2 (ja) 2008-05-09 2011-08-31 キヤノン株式会社 光電変換装置及びそれを用いた撮像システム
JP5279352B2 (ja) 2008-06-06 2013-09-04 キヤノン株式会社 固体撮像装置
JP2010268080A (ja) 2009-05-12 2010-11-25 Canon Inc 固体撮像装置
JP6024103B2 (ja) * 2011-06-30 2016-11-09 ソニー株式会社 撮像素子、撮像素子の駆動方法、撮像素子の製造方法、および電子機器
JP5888914B2 (ja) 2011-09-22 2016-03-22 キヤノン株式会社 撮像装置およびその制御方法
JP2013093553A (ja) 2011-10-04 2013-05-16 Canon Inc 光電変換装置及びその製造方法、並びに光電変換システム
JP6053505B2 (ja) 2012-01-18 2016-12-27 キヤノン株式会社 固体撮像装置
JP5967944B2 (ja) 2012-01-18 2016-08-10 キヤノン株式会社 固体撮像装置およびカメラ
JP2014049727A (ja) 2012-09-04 2014-03-17 Canon Inc 固体撮像装置
JP6274788B2 (ja) 2013-08-28 2018-02-07 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
JP6261361B2 (ja) 2014-02-04 2018-01-17 キヤノン株式会社 固体撮像装置およびカメラ
JP6274567B2 (ja) 2014-03-14 2018-02-07 キヤノン株式会社 固体撮像装置及び撮像システム
JP6595750B2 (ja) 2014-03-14 2019-10-23 キヤノン株式会社 固体撮像装置及び撮像システム
JP6541347B2 (ja) 2014-03-27 2019-07-10 キヤノン株式会社 固体撮像装置および撮像システム
JP6381274B2 (ja) 2014-05-07 2018-08-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6393083B2 (ja) * 2014-05-27 2018-09-19 キヤノン株式会社 撮像素子及びその制御方法、及び撮像装置
JP6417197B2 (ja) 2014-11-27 2018-10-31 キヤノン株式会社 固体撮像装置
EP3035669B1 (en) 2014-12-16 2017-08-23 Canon Kabushiki Kaisha Driving method for image pickup apparatus
US9749556B2 (en) 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
TWI696278B (zh) * 2015-03-31 2020-06-11 日商新力股份有限公司 影像感測器、攝像裝置及電子機器
US9888191B2 (en) * 2015-04-21 2018-02-06 Semiconductor Components Industries, Llc Imaging systems and methods for performing unboosted image sensor pixel conversion gain adjustments
US9768213B2 (en) 2015-06-03 2017-09-19 Canon Kabushiki Kaisha Solid-state image sensor and camera
US10205894B2 (en) 2015-09-11 2019-02-12 Canon Kabushiki Kaisha Imaging device and imaging system
JP6541523B2 (ja) 2015-09-11 2019-07-10 キヤノン株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
JP6570384B2 (ja) 2015-09-11 2019-09-04 キヤノン株式会社 撮像装置及び撮像システム
JP6789678B2 (ja) 2016-06-06 2020-11-25 キヤノン株式会社 撮像装置、撮像システム
JP6688165B2 (ja) 2016-06-10 2020-04-28 キヤノン株式会社 撮像装置及び撮像システム
JP6776011B2 (ja) 2016-06-10 2020-10-28 キヤノン株式会社 撮像装置及び撮像システム
JP6727938B2 (ja) 2016-06-10 2020-07-22 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び撮像システム
JP7013119B2 (ja) 2016-07-21 2022-01-31 キヤノン株式会社 固体撮像素子、固体撮像素子の製造方法、及び撮像システム
US10110840B2 (en) * 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
JP2018092976A (ja) 2016-11-30 2018-06-14 キヤノン株式会社 撮像装置
JP6957157B2 (ja) 2017-01-26 2021-11-02 キヤノン株式会社 固体撮像装置、撮像システム、および固体撮像装置の製造方法
JP6701108B2 (ja) 2017-03-21 2020-05-27 キヤノン株式会社 固体撮像装置及び撮像システム
JP6929114B2 (ja) 2017-04-24 2021-09-01 キヤノン株式会社 光電変換装置及び撮像システム
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
US10818715B2 (en) 2017-06-26 2020-10-27 Canon Kabushiki Kaisha Solid state imaging device and manufacturing method thereof
JP6987562B2 (ja) 2017-07-28 2022-01-05 キヤノン株式会社 固体撮像素子
US11317038B2 (en) * 2017-12-19 2022-04-26 SmartSens Technology (HK) Co., Ltd. Pixel unit with a design for half row reading, an imaging apparatus including the same, and an imaging method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297724A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像装置、成像系统和成像装置驱动方法
CN103297723A (zh) * 2012-03-01 2013-09-11 佳能株式会社 成像设备、成像系统及其驱动方法
CN105049755A (zh) * 2014-04-28 2015-11-11 三星电子株式会社 图像传感器和具有该图像传感器的图像处理装置
CN105100650A (zh) * 2014-05-23 2015-11-25 佳能株式会社 成像装置及其驱动方法

Also Published As

Publication number Publication date
US11412163B2 (en) 2022-08-09
JP7161317B2 (ja) 2022-10-26
CN110611777A (zh) 2019-12-24
JP2019216394A (ja) 2019-12-19
US20190387189A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110611777B (zh) 摄像设备、摄像系统和移动装置
JP6736539B2 (ja) 撮像装置及びその駆動方法
CN111193883B (zh) 光电变换设备、成像系统和移动体
JP6806553B2 (ja) 撮像装置、撮像装置の駆動方法及び撮像システム
JP6904772B2 (ja) 固体撮像装置及びその駆動方法
US20210306577A1 (en) Imaging device and imaging system
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
US11490041B2 (en) Photoelectric converter and imaging system
JP6976776B2 (ja) 固体撮像装置、撮像システム、及び移動体
US11265501B2 (en) Photoelectric conversion device and photoelectric conversion system
JP7299711B2 (ja) 光電変換装置及びその駆動方法
US11575868B2 (en) Photoelectric conversion apparatus, method of driving photoelectric conversion apparatus, photoelectric conversion system, and moving body
US20210014439A1 (en) Imaging device and method of driving imaging device
JP2021097382A (ja) 撮像装置及び撮像システム
US20230276150A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US11778347B2 (en) Photoelectric conversion device
US12075172B2 (en) Photoelectric conversion apparatus and equipment
US12003875B2 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20240040279A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US20240031709A1 (en) Photoelectric conversion device, method of driving photoelectric conversion device, and imaging system
JP7514159B2 (ja) 撮像装置及び撮像システム
US20240171874A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP2024073687A (ja) 光電変換装置及び撮像システム
JP2024155555A (ja) 光電変換装置、信号処理回路、光電変換装置の駆動方法、システム、及び移動体
JP2019097101A (ja) 固体撮像装置及び撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant