CN103392336B - 固态成像设备和相机系统 - Google Patents

固态成像设备和相机系统 Download PDF

Info

Publication number
CN103392336B
CN103392336B CN201280009886.5A CN201280009886A CN103392336B CN 103392336 B CN103392336 B CN 103392336B CN 201280009886 A CN201280009886 A CN 201280009886A CN 103392336 B CN103392336 B CN 103392336B
Authority
CN
China
Prior art keywords
pixel
solid
division
array
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280009886.5A
Other languages
English (en)
Other versions
CN103392336A (zh
Inventor
广田功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN103392336A publication Critical patent/CN103392336A/zh
Application granted granted Critical
Publication of CN103392336B publication Critical patent/CN103392336B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

一种固态成像设备包括：像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派为用于立体中的L的像素和用于立体中的R的像素，并且其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻彩色像素上。

Description

固态成像设备和相机系统
技术领域
本公开涉及一种固态成像设备和相机系统，适用于例如采用光场（light filed）技术的立体相机或单目3D立体相机的。
背景技术
已知PTL1中公开的技术，作为光场相机。
在此技术中，滤色器的色彩编码（色彩阵列）是通过将RGB拜耳阵列旋转45度而获得的锯齿形阵列，其中垂直和水平方向上的四个相邻像素具有相同色彩。也就是说，此技术具有其中以相同色彩的四个像素为单位以正方形的形状来布置R、G和B的各个滤波器的色彩编码。
此外，以四个像素（上下两个像素×左右两个像素）为单位共享一个多透镜阵列以覆盖不同色彩。
此外，在PTL2中，公开了如下技术：在多目（multocular）3D相机中通过区分每个相机的灵敏度而将视差和宽动态范围（WDR）一起使用。
引用列表
专利文献
[PTL1]JP-A-2010-239337
[PTL2]JP-A-2003-18445
发明内容
技术问题
然而，在JP-A-2010-239337中公开的技术中，为了获得全分辨率，必须具有复杂的结构并且必须执行复杂的信号处理。
此外，在JP-A-2003-18445中公开的技术中，因为由于双镜头饱和而导致未获得视差，所以存在诸如宽动态范围（WDR）中不足的范围的缺点。
因此，期望提供一种固态成像设备和相机系统，其能够在通过单目布置来获得宽动态范围（WDR）的立体图像，而不需要复杂的结构和复杂的信号处理。
解决方案
本公开的实施例旨在一种固态成像设备，包括：像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派（allocate）为用于立体的L像素和R像素，并且其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻像素上。
本公开的另一个实施例旨在一种相机系统，包括：固态成像设备；以及光学系统，其在所述固态成像设备上形成物像，其中，所述固态成像设备包括：像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，其中，在所述像素阵列部分的各个彩色像素中，将在所述第一方向和所述第二方向中的至少一个方向上的相邻彩色像素分派为用于立体的L像素和R像素，并且其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻像素上。
发明的有益效果
根据本公开的实施例，可以在利用单目布置获得宽动态范围（WDR）的立体图像，而不需要复杂的结构和复杂的信号处理。
附图说明
图1是示意性地图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的配置的系统配置图；
图2是图示单位像素的电路配置的示例的电路图；
图3是图示在像素中执行四个相邻像素添加的情况下电路配置的示例的电路图；
图4是图示作为像素阵列的示例的拜耳阵列的图；
图5是图示根据本公开的实施例的像素划分的概念图；
图6是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第一特性配置示例的图；
图7是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第二特性配置示例的图；
图8是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第三特性配置示例的图；
图9是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第四特性配置示例的图；
图10A至10C是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第五特性配置示例的图；
图11A至11C是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第六特性配置示例的图；
图12是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第七特性配置示例的图；
图13是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第八特性配置示例的图；
图14是图示应用根据本公开的实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机的配置示例的图；
图15是图示在应用根据本公开的实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机中物距依赖图像高度变化的图；
图16示出图示在应用根据本公开的实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机中相对于物距的成像变化的图；以及
图17是图示应用根据本公开的实施例的固态成像设备的相机系统的配置的示例的图。
具体实施方式
在下文中，将参照附图描述本公开的实施例。
将以以下顺序进行描述。
1.固态成像设备的配置示例（CMOS图像传感器的示例）
2.本实施例的特性配置
2-1.第一特性配置示例
2-2.第二特性配置示例
2-3.第三特性配置示例
2-4.第四特性配置示例
2-5.第五特性配置示例
2-6.第六特性配置示例
2-7.第七特性配置示例
2-8.第八特性配置示例
3.适用的单目3D立体相机的配置示例
4.相机系统的配置示例
<1.固态成像设备的配置示例>
系统配置
图1是示意性地图示根据本公开的实施例的CMOS图像传感器——例如，X-Y地址类型的固态成像设备——的配置的系统配置图。
根据本实施例的CMOS图像传感器10包括在半导体衬底（在下文中可以称为“传感器芯片”）11上形成的像素阵列部分12、与像素阵列部分12类似地集成在半导体衬底11上的外围电路部分。
例如，布置垂直驱动部分13、列处理部分14、水平驱动部分15、以及系统控制部分16，作为外围电路部分。此外，在传感器芯片11的外部部署形成信号处理系统的DSP（数字信号处理器）电路31、以及图像存储器32。
在像素阵列部分12中以阵列形式布置像素单元（未示出）（在下文中可以称为“像素”），每个像素单元包括根据入射的可见光的光强度将其光电地转换为电荷的光电转换器件。
稍后将描述像素单元的具体电路配置。在像素阵列部分12的光接收表面（光入射面）上形成滤色器阵列33，并且，在滤色器阵列33的上部分侧布置多透镜阵列（MLA）34。此外，在滤色器阵列33上布置片上透镜（OCL）。
基本上，在本实施例中，如稍后所述的，采用其中由多透镜阵列（MLA）来执行LR视差分离的配置，作为光场的立体版本。
此外，在本实施例中，如稍后所述的，可以利用单目布置而获得3D立体的WDR图像。
此外，在像素阵列部分12中，关于矩阵形式的像素阵列，对于每行，像素驱动线18在图1中沿着右和左方向（像素行的像素阵列方向/水平方向）布线，并且，对于每列，垂直信号线17在图1中沿着上下方向（像素列的像素阵列方向/垂直方向）形成。
像素驱动线18的一端连接至垂直驱动部分13对应于每行的输出端。在图1中，示出了一条像素驱动线18，但是像素驱动线18的数目不限于一条。
垂直驱动部分13包括移位寄存器、地址译码器等。这里，虽然未示出具体配置，但是垂直驱动部分13具有包括读取扫描系统和重置扫描系统的配置。读取扫描系统对于自其读取信号的像素单元，以行为单位顺序地执行选择性扫描。
另一方面，重置扫描系统在读取扫描之前快门速度的时间，对于由读取扫描系统执行读取扫描的读取行，执行将来自读取行的像素单元的光电转换器件的不必要的电荷重置的重置扫描。
通过由重置扫描系统重置不必要的电荷，执行所谓的电子快门操作。
这里，电子快门操作是指丢弃光电转换器件的光电荷并重新开始曝光（累积光电荷）的操作。
由通过读取扫描系统的读取操作读取的信号与在先前紧邻的读取操作或电子快门操作之后入射的光量对应。
此外，自通过先前紧邻的读取操作的读取定时、或通过电子快门操作的重置定时起到通过当前读取操作的读取定时的时段成为光电荷在像素单元中累积的时间（曝光时间）。
在本实施例中，如稍后所述的，通过采用控制曝光时间或改变滤色器的透射率的设备，可以获得宽动态范围的图像。
通过每条垂直信号线17将从由垂直驱动部分13选择性地扫描的像素行的每个单位像素输出的信号提供至列处理部分14。
对于像素阵列部分12的每个像素列，列处理部分14关于从所选择的行的每个像素输出的模拟像素信号执行预先确定的信号处理。
例如，使用CDS（相关双采样）处理，作为列处理部分14中的信号处理。
CDS处理是接收从所选择的行的每个像素输出的重置电平和信号电平、通过获得所述电平之间的电平差而获得对应于一行的像素的信号、以及去除像素的固定图案噪声的处理。
列处理部分14可以具有数字化模拟像素信号的A/D转换功能。
水平驱动部分15包括移位寄存器、地址译码器等，并且顺序地且选择性地扫描与列处理部分14的像素行对应的电路部分。
通过由水平驱动部分15进行的选择性扫描，将由列处理部分14对于每个像素行而进行信号处理的像素信号顺序地输出至传感器芯片11的外部。
也就是说，从传感器芯片11输出与滤色器阵列33的色彩编码（色彩阵列）对应的像素信号，作为原始数据。
系统控制部分16接收从传感器芯片11的外部给出的时钟、指示操作模式的数据等，并输出诸如CMOS图像传感器10的内部信息的数据。
系统控制部分16具有生成各种动态信号的动态生成器，并基于由动态生成器生成的各种动态信号来执行对垂直驱动部分13、列处理部分14、水平驱动部分15等的驱动控制。
作为传感器芯片11的外部电路的DSP电路31将例如从传感器芯片11输出的对应于一帧的图像数据暂时存储在图像存储器32中，并基于存储在图像存储器32中的像素信息执行去马赛克处理等。
这里，去马赛克处理是通过从周围像素的信号中收集足够的色彩信息并将所收集的色彩信息分配（assign）至仅具有单色信息的每个像素的信号来补充色彩信息以创建全彩色图像的处理。
（单位像素的电路配置）
图2是图示单位像素20的电路配置的示例的电路图.
如图2中所示，例如，根据本实施例的单位像素20包括光电转换器件（即光电二极管21）以及四个晶体管，即传输晶体管22、重置晶体管23、放大晶体管24和选择晶体管25。
这里，例如，使用N通道MOS晶体管作为四个晶体管22-25。然而，如上所述，传输晶体管22、重置晶体管23、放大晶体管24和选择晶体管25的导电组合仅仅是示例，并且，本实施例不限于该组合。
对于像素单元20，例如，作为像素驱动线18，传输线181、重置线182和选择线183的三条驱动线被共同布线至同一像素行的每个像素。
以像素行为单位，将传输线181、重置线182和选择线183的每个的一端连接至垂直驱动部分13与每个像素行对应的输出端。
光电二极管21包括连接至负电源（例如地）的阳极电极，并将所接收的光光电转换为具有与光量对应的电荷量的光电荷（这里为光电子）。
光电二极管21的阴极电极通过传输晶体管22而电连接至放大晶体管24的栅极电极。
电连接至放大晶体管24的栅极电极的节点26被称为“FD（浮置扩散）”部分。
传输晶体管22连接在光电二极管21的阴极电极与FD部分26之间。
通过传输线181将其中高电平（例如Vdd电平）为激活的（在下文中称为“高激活”）的传输脉冲ФTRF分配至传输晶体管22的栅极电极。
当分配了传输脉冲ФTRF时，传输晶体管22导通以将由光电二极管21电转换的光电荷传输至FD部分26。
重置晶体管23包括连接至像素电源Vdd的漏极电极、以及连接至FD部分26的源极电极。
在信号电荷从光电二极管21传输至FD部分26之前，通过重置线182将高激活的重置脉冲ФRST分配至重置晶体管23的栅极电极。
当分配了重置脉冲ФRST时，重置晶体管23导通以将FD部分26的电荷丢弃至像素电源Vdd，由此重置FD部分26。
放大晶体管24包括连接至FD部分26的栅极电极、以及连接至像素电源Vdd的漏极电极。
此外，放大晶体管24输出在被重置晶体管23重置之后的FD部分26的电位，作为重置信号（重置电平）Vreset。
放大晶体管24输出在信号电荷被传输晶体管22传输了之后的FD部分26的电位，作为光累积信号（信号电平）Vsig。
选择晶体管25例如包括连接至放大晶体管24的源极电极的漏极电极、以及连接至垂直信号线17的源极电极。
通过选择线183将高激活的选择脉冲ФSEL分配至选择晶体管25的栅极电极。
当分配了选择脉冲ФSEL时，选择晶体管25导通以将单位像素20设置为选择状态，并将从放大晶体管24输出的信号中继到垂直信号线17。
可以采用其中将选择晶体管25连接在像素电源Vdd与放大晶体管24的漏极电极之间的电路配置。
此外，单位像素20不限于包括上述四个晶体管的配置。
例如，可以使用其中共享放大晶体管24和选择晶体管25的包括三个晶体管的像素配置，并且，可以使用任何像素电路的配置。
（像素添加）
然而，在移动图像捕获中，为了增大帧速率并实现高速移动图像捕获，通常执行添加用于读取的多个相邻像素的信号的像素添加。
可以在像素中、在垂直信号线17上、在列处理部分14、在后续信号处理部分等中执行像素添加。
这里，作为示例，将描述在如下情况下的像素配置：其中，在像素中例如添加2×2的正方形阵列中沿垂直和水平方向相邻的四个像素的信号。
图3是图示在像素中执行四个相邻像素添加的情况下电路配置的示例的电路图。在该图中对与图2中相同的部分给出相同参考数字。
在图3中，沿垂直和水平方向的四个相邻像素的光电二极管21被称为光电二极管21-1、21-2、21-3和21-4。
对于光电二极管21-1、21-2、21-3和21-4，安装四个传输晶体管22-1、22-2、22-3和22-4，并且分别安装重置晶体管23、放大晶体管24和选择晶体管25。
也就是说，在传输晶体管22-1、22-2、22-3和22-4中，它们的一个电极连接至光电二极管21-1、21-2、21-3和21-4中每个的阴极电极，并且它们的另一个电极共同地连接至放大晶体管24的栅极电极。
对于光电二极管21-1、21-2、21-3和21-4公共的FD部分26电连接至放大晶体管24的栅极电极。
重置晶体管23包括连接至像素电源Vdd的漏极电极、以及连接至FD部分26的源极电极。
在上述与四个相邻像素添加对应的像素配置中，通过在相同定时将传输脉冲ФTRF分配至四个传输晶体管22-1、22-2、22-3和22-4，可以实现四个相邻像素之间的像素添加。
也就是说，通过传输晶体管22-1、22-2、22-3和22-4从光电二极管21-1、21-2、21-3和21-4传输至FD部分26的信号电荷在FD部分26中添加（可以称为FD添加）。
另一方面，通过在不同定时将传输脉冲ФTRF分配至传输晶体管22-1、22-2、22-3和22-4，可以实现以像素为单位的信号输出。
也就是说，可以通过在移动图像捕获中执行像素添加来提高帧速率，同时可以通过在静态图像捕获中独立地读取所有像素信号来提高分辨率。
<像素阵列>
如上所述，像素阵列部分12包括以矩阵形式布置的多个像素。
像素阵列部分12例如采用如图4中所示的拜耳（Bayer）阵列作为像素阵列。
在根据本实施例的像素阵列部分12中，一个像素被划分为多个划分的像素单元（cell）DPC，每个划分的像素单元DPC包括例如由光电二极管形成的光电转换器件。
具体地，在固态成像设备（CMOS图像传感器）10中，拜耳阵列的同一滤色器下的一个像素被划分为两个或更多个的多个划分的DPC。在此情况下，可以通过改变灵敏度或累积时间（曝光时间）来划分灵敏度和累积时间不同的两个或更多个像素单元DPC。
在下文中，将描述其中一个像素DPC被划分为四个划分的像素单元DPC-A至DPC-D的情况作为示例。
图5是图示根据本实施例的像素划分的概念图。
在图5中，示出在拜耳阵列的情况下的划分方法。在其中同一滤色器下的一个像素被划分为四个的情况下，例如，在各个划分的像素中灵敏度和累积时间彼此不同。
在图5中，作为示例，示出其中G（绿色）像素PCG被划分为四个像素DPC-A、DPC-B、DPC-C和DPC-D的情况。例如，可以将G像素PCG划分为两个像素DPC-A和DPC-B。
<2.本实施例的特性配置>
在本实施例中，形成具有上述配置的CMOS图像传感器10，作为可以被应用至采用光场技术的立体相机或单目3D立体相机的固态成像设备。
在下文中，将详细描述可以被应用至立体相机或单目3D立体相机的固态成像设备的特性配置。
在下文中，在图中所示的X-Y坐标中，X方向表示第一方向，Y方向表示第二方向。此外，X方向可以称为水平方向或横向方向，而Y方向可以称为垂直方向或纵向方向。
<2-1.第一特性配置示例>
图6是图示根据本实施例的固态成像设备（CMOS图像传感器）的第一特性配置示例的图。
图6中的CMOS图像传感器10A可以被应用至立体相机，并且通过多透镜阵列34执行LR视差分离，作为光场的立体版本。
在此配置中，水平分辨率变为1/2，但是其有用地与并排（side-by-side）记录系统匹配。
这里，L表示立体中的左，而R表示立体中的右。
在CMOS图像传感器10A中，像素阵列部分12A在拜耳阵列的情况下采用每个像素的划分方法。
在图6中，形成滤色器阵列33以使得G像素PCG11-1、R像素PCR11、G像素PCG11-2和B像素PCB11具有2×2的拜耳阵列。以矩阵形式形成该阵列。
在图6的示例中，部分地示出如下示例，其中：沿横向方向与B像素PCB11相邻地部署相邻拜耳阵列的G像素PCG12-1，并且沿横向方向与G像素PCG11-2相邻地部署相邻拜耳阵列的R像素PCR12。
在图6的示例中，在第一行中部署G像素PCG11-1、B像素PCB11以及G像素PCG12-1，并且在第二行中部署R像素PCR11、G像素PCG12-2、以及R像素PCR12。
此外，在图6的示例中，沿横向方向（X方向）将G像素PCG11-1、R像素PCR11、G像素PCG11-2和B像素PCB11分别划分为两个。
G像素PCG11-1包括两个划分的像素DPC-AG1和DPC-BG1。在此示例中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。
R像素PCG11包括两个划分的像素DPC-AR1和DPC-BR1。在此示例中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1被分派用于立体中的L。
B像素PCG11包括两个划分的像素DPC-AB1和DPC-BB1。在此示例中，划分的像素DPC-AB1被分派用于立体中的R，并且划分的像素DPC-BB1被分派用于立体中的L。
G像素PCG11-2包括两个划分的像素DPC-AG1和DPC-BG1。在此示例中，将划分的像素DPC-AG1分派用于立体中的R，并且将划分的像素DPC-BG1分派用于立体中的L。
G像素PCG12-1包括两个划分的像素DPC-AG1和DPC-BG1。在此示例中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。
R像素PCG12包括两个划分的像素DPC-AR1和DPC-BR1。在此示例中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1被分派用于立体中的L。
在此示例中，将用于立体的相同R和L功能分派至像素阵列（沿Y方向的阵列）的同一列的各个划分的像素。
换言之，将用于立体的R和L功能交替地分派至像素阵列（沿X方向的阵列）的同一行的各个划分的像素。
如图6中所示，在半导体衬底11上形成遮光部分BLD或布线，并且在其上形成滤色器阵列33。此外，在滤色器阵列33上形成片上透镜（OCL）阵列35。
以矩阵形式形成片上透镜阵列35的各个片上透镜OCL，以便对应于像素阵列部分12A中的各个划分的像素。
此外，面向片上透镜阵列35的光入射侧而部署以矩阵形式形成多个透镜ML的多透镜阵列34。
在图6的示例中，与常规阵列不同地，将在多透镜阵列34的各个多透镜ML的横向方向（X方向）上共享的像素的色彩部署为不是相同色彩、而是不同色彩。
在图6的示例中，示出第一多透镜系统ML1和第二多透镜系统ML2。
在第一行中，将第一多透镜系统ML1部署为由G像素PCG11-1的用于立体中的L的划分的像素DPC-BG1、和与G像素PCG11-1相邻的B像素PCB11的用于立体中的R的划分的像素DPC-AB1共享。
类似地，在第二行中，将第一多透镜系统ML1部署为由R像素PCR11的用于立体中的L的划分的像素DPC-BR1、和与R像素PCR11相邻的G像素PCG12-1的用于立体中的R的划分的像素DPC-AG1共享。
在第一行中，将第二多透镜系统ML2部署为由B像素PCB11的用于立体中的L的划分的像素DPC-BB1、和与B像素PCB11相邻的G像素PCG12-1的用于立体中的R的划分的像素DPC-AG1共享。
类似地，在第二行中，将第二多透镜系统ML2部署为由G像素PCG11-2的用于立体中的L的划分的像素DPC-BG1、和与G像素PCG11-2相邻的R像素PCR12的用于立体中的R的划分的像素DPC-AR1共享。
这样，通过将由一个多透镜ML共享的彩色像素设置为色彩不同，可以通过透镜间隙和不同色彩分离来改善立体中的L和R的混合色彩（消光比）。
此外，可以在纵向方向（Y方向）上选择分立式透镜DSCL或柱面透镜CYLDL。
在不存在片上透镜OCL的情况下，通过使用分立式透镜DSCL，可以提高光聚焦比。
在图6的示例中，在两个划分的像素之上的透镜形状是扁平形状，其在横向方向（X方向）上长，以便防止对在纵向方向（Y方向）上彼此相邻的共享的划分的像素的透镜的影响。
<2-2.第二特性配置示例>
图7是图示根据本实施例的固态成像设备（CMOS图像传感器）的第二特性配置示例的图。
图7中的CMOS图像传感器10B如下不同于图6中的CMOS图像传感器10A。
在图7中的CMOS图像传感器10B中，每个像素不被划分为两个像素，而是被划分为如图5中所示的2×2的四个像素，并且沿纵向（上下）方向也部署相同滤色器，以通过相同色彩的四个像素来分布（distribute）视差和宽动态范围（WDR）的两个条件。
通过这样的配置，CMOS图像传感器10B可以被应用至基于拜耳阵列的宽动态范围（WDR）的单目3D立体相机。
如上所述，在图7的示例中，沿横向方向（X方向）和纵向方向（Y方向）将G像素PCG11-1、R像素PCR11、G像素PCG11-2、和B像素PCB11分别划分为2×2的四个。
G像素PCG11-1包括四个划分的像素DPC-AG1、DPC-BG1、DPC-CG1和DPC-DG1。在此示例中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的R，并且划分的像素DPC-DG1被分派用于立体中的L。
R像素PCR11包括四个划分的像素DPC-AR1、DPC-BR1、DPC-CR1和DPC-DR1。在此示例中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1被分派用于立体中的L。划分的像素DPC-CR1被分派用于立体中的R，并且划分的像素DPC-DR1被分派用于立体中的L。
B像素PCB11包括四个划分的像素DPC-AB1、DPC-BB1、DPC-CB1和DPC-DB1。在此示例中，划分的像素DPC-AB1被分派用于立体中的R，并且划分的像素DPC-BB1被分派用于立体中的L。划分的像素DPC-CB1被分派用于立体中的R，并且划分的像素DPC-DB1被分派用于立体中的L。
G像素PCG11-2包括四个划分的像素DPC-AG1、DPC-BG1、DPC-CG1和DPC-DG1。在此示例中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的R，并且划分的像素DPC-DG1被分派用于立体中的L。
G像素PCG12-1包括四个划分的像素DPC-AG1、DPC-BG1、DPC-CG1和DPC-DG1。在此示例中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的R，并且划分的像素DPC-DG1被分派用于立体中的L。
R像素PCR12包括四个划分的像素DPC-AR1、DPC-BR1、DPC-CR1和DPC-DR1。在此示例中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1被分派用于立体中的L。划分的像素DPC-CR1被分派用于立体中的R，并且划分的像素DPC-DR1被分派用于立体中的L。
而且，在此示例中，将用于立体的相同R和L功能分派至像素阵列（沿Y方向的阵列）的同一列的各个划分的像素。
换言之，替换地将用于立体的R和L功能分派至像素阵列（沿X方向的阵列）的同一行的各个划分的像素。
在图7中，为了简单而省略了半导体衬底11的部分，并且仅示出了多透镜阵列34。
而且，在此示例中，与常规阵列不同地，将在多透镜阵列34的各个多透镜ML的横向方向（X方向）上共享的像素的色彩部署为不是相同色彩、而是不同色彩。
而且，在图7的示例中，示出第一多透镜系统ML1和第二多透镜系统ML2。
在第一行中，将第一多透镜系统ML1部署为由G像素PCG11-1的用于立体中的L的划分的像素DPC-BG1、和与G像素PCG11-1相邻的B像素PCB11的用于立体中的R的划分的像素DPC-AB1共享。
在第二行中，将第一多透镜系统ML1部署为由G像素PCG11-1的用于立体中的L的划分的像素DPC-DG1、和与G像素PCG11-11相邻的B像素PCB11的用于立体中的R的划分的像素DPC-CB1共享。
在第三行中，将第一多透镜系统ML1部署为由R像素PCR11的用于立体中的L的划分的像素DPC-BR1、和与R像素PCR11相邻的G像素PCG11-2的用于立体中的R的划分的像素DPC-AG1共享。
在第四行中，将第一多透镜系统ML1部署为由R像素PCR11的用于立体中的L的划分的像素DPC-DR1、和与R像素PCR11相邻的G像素PCG11-2的用于立体中的R的划分的像素DPC-CG1共享。
在第一行中，将第二多透镜系统ML2部署为由B像素PCB11的用于立体中的L的划分的像素DPC-BB1、和与B像素PCB11相邻的G像素PCG12-1的用于立体中的R的划分的像素DPC-AG1共享。
在第二行中，将第二多透镜系统ML2部署为由B像素PCB11的用于立体中的L的划分的像素DPC-DB1、和与B像素PCB11相邻的G像素PCG12-1的用于立体中的R的划分的像素DPC-CG1共享。
在第三行中，将第二多透镜系统ML2部署为由G像素PCG11-2的用于立体中的L的划分的像素DPC-BG1、和与G像素PCG11-2相邻的R像素PCR12的用于立体中的R的划分的像素DPC-AB1共享。
在第四行中，将第二多透镜系统ML2部署为由G像素PCG11-2的用于立体中的L的划分的像素DPC-DG1、和与G像素PCG11-2相邻的R像素PCR12的用于立体中的R的划分的像素DPC-CR1共享。
这样，以与图6的示例类似的方式，在图7的示例中，通过将由一个多透镜ML共享的彩色像素设置为色彩不同，可以通过透镜间隙和不同色彩分离来改善立体中的L和R的混合色彩（消光比）。
此外，可以在纵向方向（Y方向）上选择分立式透镜DSCL或柱面透镜CYLDL。
在不存在片上透镜OCL的情况下，通过使用分立式透镜DSCL，可以提高光聚焦比。
而且，在图7的示例中，在两个划分的像素之上的透镜形状是扁平形状，其在横向方向（X方向）上长，以便防止对在纵向方向（Y方向）上彼此相邻的共享的划分的像素的透镜的影响。
此外，在图7的示例中，为了获得宽动态范围，配置为使得：像素行阵列中的各个行的灵敏度交替地变为低和高。
作为用以获得宽动态范围的低灵敏度像素和高灵敏度像素的配置，可以采用通过快门等的曝光控制和用于改变滤色器的透射率的设备结构两者。
CMOS图像传感器10B可以应用至诸如移动电话机的移动电子装置的面部相机（face camera）等。在移动电子装置的面部相机中，因为插入天空作为背景并且面部处于近距离中，所以最佳的是利用单目布置来获得WDR图像。
在移动电子装置中，CMOS图像传感器10B可以通过深度信息而应用至用户接口（UI）。
<2-3.第三特性配置示例>
图8是图示根据本公开的实施例的固态成像设备（CMOS图像传感器）的第三特性配置示例的图。
图8中的CMOS图像传感器10C如下不同于图7中的CMOS图像传感器10B。
在CMOS图像传感器10C中，代替将各个行交替地设置为低灵敏度和高灵敏度，在每行中将L像素和R像素设置为低灵敏度和高灵敏度，并且对于每行切换L像素和R像素的灵敏度。
在第一行中，L划分的像素对应于高灵敏度，并且R划分的像素对应于低灵敏度。
在第二行中，L划分的像素对应于低灵敏度，并且R划分的像素对应于高灵敏度。
在第三行中，L划分的像素对应于高灵敏度，并且R划分的像素对应于低灵敏度。
在第四行中，L划分的像素对应于低灵敏度，并且R划分的像素对应于高灵敏度。
在图8的示例中，因为各个色彩的低灵敏度LR图像和高灵敏度LR图像的组合图像的中心在其中间彼此一致，所以维持在WDR时的空间相位的线性，由此几乎不影响分辨率。
<2-4.第四特性配置示例>
图9是图示根据本实施例的固态成像设备（CMOS图像传感器）的第四特性配置示例的图。
图9中的CMOS图像传感器10D与图7中的CMOS图像传感器10B的不同在于每行切换L像素和R像素。
在G像素PCG11-1中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的L，并且划分的像素DPC-DG1被分派用于立体中的R。
在R像素PCR11中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1被分派用于立体中的L。划分的像素DPC-CR1被分派用于立体中的L，并且划分的像素DPC-DR1被分派用于立体中的R。
在B像素PCB11中，划分的像素DPC-AB1被分派用于立体中的R，并且划分的像素DPC-BB1被分派用于立体中的L。划分的像素DPC-CB1被分派用于立体中的L，并且划分的像素DPC-DB1被分派用于立体中的R。
在G像素PCG11-2中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的L，并且划分的像素DPC-DG1被分派用于立体中的R。
在G像素PCG12-1中，划分的像素DPC-AG1被分派用于立体中的R，并且划分的像素DPC-BG1被分派用于立体中的L。划分的像素DPC-CG1被分派用于立体中的L，并且划分的像素DPC-DG1被分派用于立体中的R。
在R像素PCR12中，划分的像素DPC-AR1被分派用于立体中的R，并且划分的像素DPC-BR1分派用于立体中的L。划分的像素DPC-CR1被分派用于立体中的L，并且划分的像素DPC-DR1被分派用于立体中的R。
在图9的示例中，因为在沿纵向方向（Y方向）相邻的共享的划分的像素中L和R彼此偏离半个周期，所以可以部署多透镜ML的区域被扩大，因此，可以使得多透镜ML的形状接近于圆形、而非扁平形状，由此容易地形成透镜。
<2-5.第五特性配置示例>
图10A至10C是图示根据本实施例的固态成像设备（CMOS图像传感器）的第五特性配置示例的图。
图10A至10C的CMOS图像传感器10E的特性基本上是正方形阵列（矩形阵列）、而非锯齿形阵列，并且，每行切换L像素和R像素。
在CMOS图像传感器10E中，除了每行切换L像素和R像素的事实之外，第一列、第三列、第五列和第七列是仅具有G像素的G像素条带。
此外，部署多透镜ML以使得每个G像素PCG与沿X方向相邻的R像素PCR或B像素PCB合作地用作立体中的L像素或R像素。
这里，为了简单，将G像素表示为参考标记PCG，将B像素表示为参考标记PCB，并且将R像素表示为参考标记PCR。
在此配置中，与常规阵列不同地，将在多透镜阵列34的各个多透镜ML的横向方向（X方向）上共享的像素的色彩部署为不是相同的色彩、而是不同的色彩。
在图10A的示例中，将作为偶数行的第二行和第四行中的G像素PCG分派为用于立体中的L的像素（划分的像素）。
另一方面，将与G像素PCG共享多透镜ML的B像素PCB或R像素PCR分派为用于立体中的R的像素（划分的像素）。
在图10A的示例中，将作为奇数行的第三行和第五行中的G像素PCG分派为用于立体中的R的像素（划分的像素）。
另一方面，将与G像素PCG共享多透镜ML的B像素PCB或R像素PCR分派为用于立体中的L的像素（划分的像素）。
在图10A中所示的像素阵列的基础上，例如，如图10B中所示，可以通过仅使用L视差像素来实现所谓的拜耳蜂巢（锯齿形）阵列。
此外，在图10A中所示的像素阵列的基础上，例如，如图10C中所示，可以通过仅使用R视差像素来实现所谓的拜耳蜂巢阵列。
在上述配置中，通过沿Y方向添加L像素和R像素来获得2D锯齿形拜耳阵列。在此情况下，因为沿同一垂直信号线执行添加，所以添加处理变得容易。
而且，在图10A至10C的示例中，通过将由一个多透镜ML共享的彩色像素设置为色彩不同，可以通过透镜间隙和不同色彩分离来改善立体中的L和R的混合色彩（消光比）。
此外，在图10A至10C的示例中，因为在沿纵向方向（Y方向）上相邻的共享的划分的像素中L和R彼此偏离半个周期，所以可以部署多透镜ML的区域被扩大，因此，可以使得多透镜ML的形状接近于圆形、而非扁平形状，由此容易地形成透镜。
<2-6.第六特性配置示例>
图11A至11C是图示根据本实施例的固态成像设备（CMOS图像传感器）的第六特性配置示例的图。
图11A至11C的CMOS图像传感器10F基本上具有正方形阵列（矩形阵列）、而非锯齿形阵列，并且，每行切换L像素和R像素。
在CMOS图像传感器10F中，除了每行切换L像素和R像素的事实之外，第二行和第四行是仅具有G像素的G像素条带。
此外，部署多透镜ML以使得每个G像素PCG与沿X方向相邻的R像素PCR或B像素PCB合作地用作立体中的L像素或R像素。
这里，为了简单，将G像素表示为参考标记PCG，将B像素表示为参考标记PCB，并且将R像素表示为参考标记PCR。
在此配置中，与常规阵列不同地，在第一行、第三行和第五行中，将在多透镜阵列34的各个多透镜ML的横向方向（X方向）上共享的像素的色彩部署为不是相同的色彩、而是不同的色彩。
也就是说，在第一行、第三行和第五行中，沿X方向彼此相邻的B像素PCB和R像素PCR共享多透镜ML。这里，将一个分派为用于立体中的L的像素（划分的像素），并且将另一个分派为用于立体中的R的像素（划分的像素）。
此外，在第二行和第四行中，相同色彩的相邻G像素PCG共享多透镜ML。这里，将一个分派为用于立体中的L的像素（划分的像素），并且将另一个分派为用于立体中的R的像素（划分的像素）。
在图11A中所示的像素阵列的基础上，例如，如图11B中所示，可以通过仅使用L视差像素来实现所谓的拜耳蜂巢（锯齿形）阵列。
此外，在图11A中所示的像素阵列的基础上，例如，如图11C中所示，可以通过仅使用R视差像素来实现所谓的拜耳蜂巢阵列。
而且，在图11A至11C的示例中，通过将由一个多透镜ML共享的彩色像素设置为色彩不同，可以通过透镜间隙和不同色彩分离来改善立体中的L和R的混合色彩（消光比）。
此外，在图11A至11C的示例中，因为在沿纵向方向（Y方向）上相邻的共享的划分的像素中L和R彼此偏离半个周期，所以可以部署多透镜ML的区域被扩大，因此，可以使得多透镜ML的形状接近于圆形、而非扁平形状，由此容易地形成透镜。
而且，在图11A至11C的示例中，因为在沿纵向方向（Y方向）上相邻的共享的划分的像素中L和R彼此偏离半个周期，所以可以部署多透镜ML的区域被括大，因此，可以使得多透镜ML的形状接近于圆形、而非扁平形状，由此容易地形成透镜。
<2-7.第七特性配置示例>
图12是图示根据本实施例的固态成像设备（CMOS图像传感器）的第七特性配置示例的图。
在图12中的CMOS图像传感器10G中，可以根据光轴（OX）的改变而执行片上透镜OCL和多透镜阵列（MLA）34的瞳孔校正，以便改善L像素和R像素的混合色彩（消光比）。
<2-8.第八特性配置示例>
图13是图示根据本实施例的固态成像设备（CMOS图像传感器）的第八特性配置示例的图。
图13中的CMOS图像传感器10H示出可以采用使用白色像素PCW的像素阵列、而非拜耳阵列。
这里，白色像素也包括在彩色像素中。
<3.适用的单目3D立体相机的配置示例>
图14是图示应用根据本实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机的配置示例的图。
单目3D立体相机100基本上包括光学系统110，其在多透镜阵列34的物体侧上具有成像透镜111。
可以在光学系统110中部署变焦透镜。
如上所述，根据本实施例，可以获得以下效果。
根据本实施例，作为光场的立体版本，由多透镜阵列34执行LR视差分离。
此外，通过至少部分地将由一个多透镜ML共享的彩色像素设置为色彩不同，可以通过透镜间隙和不同色彩分离来改善立体中的L和R的混合色彩（消光比）。
此外，在相同色彩的四个像素之中分布视差和宽动态范围的两个条件。因此，假设记录信息可以减小至1/4，则通过关于相同色彩的四个像素阵列的四型传感器使用针对低灵敏度和高灵敏度的WDR的一个条件、并使用针对LR视差的另一个条件，可以以单目的方式获得立体的WDR图像。
也就是说，根据本实施例，可以以单目的方式获得立体的宽动态范围（WDR）图像，而无需复杂的结构和复杂的信号处理。
此外，可以以低成本实现宽动态范围（WDR）和LR视差二者。
图15是图示应用根据本实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机中物距依赖图像高度变化的图。
在图15中，分别地，横轴表示物距（mm），而纵轴表示图像高度变化（mm）。
在此情况下，示出了在3m的焦点处依赖于图像高度变化的物距。
指示出，如果物距不在1.5m之内，则即使以1.12mm的精细像素间距，视差图像的分离特性在此相机中也不是优选的。
从而，安装了根据本实施例的固态成像设备的单目3D立体相机对于立体应用中的短距离拍摄是合适的。
从而，如上所述，单目3D立体相机对于移动电子设备的面部相机是最佳的。
图16示出图示应用根据本实施例的固态成像设备（CMOS图像传感器）的单目3D立体相机中相对于物距的成像变化的图。
在图16中，分别地，横轴表示物距（mm），而纵轴表示图像高度变化（μm）。
分别地，图16中的左上图表示视角依赖性，图16中的右上图表示F值依赖性，而图16中的左下图表示变焦依赖性。
这里，在消光比为∞并且焦距f为大约28mm的广角中，3/2英尺或更小的椭圆单目视差不变为3m或更大。
可以理解，变焦在图16的示例中是最有效的。
在本实施例中，已经将像素阵列描述为正方形阵列，但是，可以采用其中RGB拜耳阵列等被旋转45度的棋盘阵列。
可以应用具有上述效果的固态成像设备，作为数码相机或摄像机的成像设备。
<4.相机系统的配置示例>
图17是图示应用根据本实施例的固态成像设备的相机系统的配置示例的图。
如图17中所示，相机系统200包括成像设备210，可以将根据本实施例的CMOS图像传感器（固态成像设备）10、10A、10B、10C、10D、10F、10G或10H应用至所述成像设备210。
相机系统200包括将入射光引导到成像设备210（形成物像）的像素区域的光学系统，诸如透镜220，其在成像表面上形成入射光（图像光）的像。
相机系统200包括驱动成像设备210的驱动电路（DRV）230、以及处理成像设备210的输出信号的信号处理电路（PRC）240。
驱动电路230包括生成驱动成像设备210中的电路的包括起始脉冲或时钟脉冲的各种定时信号的定时生成器（未示出），并通过预定定时信号来驱动成像设备210。
此外，信号处理电路240对于成像设备210的输出信号执行预定信号处理。
将由信号处理电路240处理的图像信号记录在诸如存储器的记录介质上。记录介质上记录的图像信息由打印机等硬拷贝。此外，将由信号处理电路240处理的图像信号显示在包括液晶显示器等的监视器上作为移动图像。
如上所述，在诸如数码相机的成像装置中，因为安装上述固态成像设备10、10A、10B、10C、10D、10F、10G或10H作为成像设备210，所以可以以低功耗实现高精度的相机。
本公开可以具有以下配置。
（1）一种固态成像设备，包括：
像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及
多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，
其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻像素上。
（2）根据（1）的固态成像设备，
其中，所述像素阵列部分的多个相邻像素或一个像素包括多个划分的像素，所述多个划分的像素是光灵敏度或累积的电荷量彼此不同的区域，
其中，将各个划分的像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻的划分的像素上。
（3）根据（2）的固态成像设备，
其中，沿至少所述第一方向形成所述多个划分的像素，并且
其中，将相邻的划分的像素分派为用于立体中的L的像素和用于立体中的R的像素。
（4）根据（3）的固态成像设备，
其中，所述彩色像素包括沿所述第一方向和所述第二方向以正方形形状布置的所述多个划分的像素，并且
其中，形成所述彩色像素以使得在所述彩色像素的矩阵形式布置的各个行中交替地布置低灵敏度的彩色像素和高灵敏度的彩色像素。
（5）根据（3）或（4）的固态成像设备，
其中，在所述彩色像素的矩阵形式布置中，所述划分的像素被分派为在同一列中成为用于立体中的L或R的相同像素，并且被分派为在相邻列中成为用于立体中的R或L的相同像素。
（6）根据（4）的固态成像设备，
其中，沿所述第一方向和第二方向彼此相邻的划分的像素被分派为成为用于立体中的L和R的不同像素。
（7）根据（4）的固态成像设备，
其中，在彩色像素的矩阵形式布置中，形成所述划分的像素以使得在同一行中用于立体中的L的像素对应于高灵敏度或低灵敏度、并且用于立体中的R的像素对应于低灵敏度或高灵敏度，并且使得在相邻行中用于立体中的L的像素对应于低灵敏度或高灵敏度、并且用于立体中的R的像素对应于高灵敏度或低灵敏度。
（8）根据（2）至（7）中的任一项的固态成像设备，
其中，所述像素阵列部分包括部署在光接收部分上的滤色器阵列、以及在所述滤色器阵列上形成以对应于每个划分的像素的片上透镜阵列，
其中，在所述片上透镜阵列的光入射侧部署所述多透镜阵列，并且
其中，在多透镜和片上透镜中，根据光轴的改变来执行瞳孔校正。
（9）一种相机系统，包括：
固态成像设备；以及
光学系统，其在所述固态成像设备上形成物像，
其中，所述固态成像设备包括：像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，
其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻彩色像素上。
（10）根据（9）的相机系统，
其中，所述像素阵列部分的多个相邻彩色像素或一个彩色像素包括多个划分的像素，所述多个划分的像素是光灵敏度或累积的电荷量彼此不同的区域，
其中，将各个划分的像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻的彩色的划分的像素上。
（11）根据（10）的相机系统，
其中，沿至少所述第一方向形成所述多个划分的像素，并且
其中，将相邻的划分的像素分派为用于立体中的L的像素和用于立体中的R的像素。
（12）根据（11）的相机系统，
其中，所述彩色像素包括沿所述第一方向和所述第二方向以正方形形状布置的所述多个划分的像素，并且
其中，形成所述彩色像素以使得在所述彩色像素的矩阵形式布置的各个行中交替地布置低灵敏度的彩色像素和高灵敏度的彩色像素。
（13）根据（11）或（12）的相机系统，
其中，在所述彩色像素的矩阵形式布置中，所述划分的像素被分派为在同一列中成为用于立体中的L或R的相同像素，并且被分派以在相邻列中成为用于立体中的R或L的相同像素。
（14）根据（12）的相机系统，
其中，沿所述第一方向和第二方向彼此相邻的划分的像素被分派以成为用于立体中的L和R的不同像素。
（15）根据（12）的相机系统，
其中，在彩色像素的矩阵形式布置中，形成所述划分的像素以使得在同一行中用于立体中的L的像素对应于高灵敏度或低灵敏度、并且用于立体中的R的像素对应于低灵敏度或高灵敏度，并且使得在相邻行中用于立体中的L的像素对应于低灵敏度或高灵敏度、并且用于立体中的R的像素对应于高灵敏度或低灵敏度。
（16）根据（10）至（15）中的任一项的相机系统，
其中，所述像素阵列部分包括部署在光接收部分上的滤色器阵列、以及在所述滤色器阵列上形成以对应于每个划分的像素的片上透镜阵列，
其中，在所述片上透镜阵列的光入射侧部署所述多透镜阵列，并且
其中，在多透镜和片上透镜中，根据光轴的改变而执行瞳孔校正。
本公开包含与分别于2011年2月8日和2011年5月24日向日本专利局提交的日本在先专利申请JP2011-043232和JP2011-115379中公开的主题有关的主题，通过引用将它们的全部内容合并在此。
本领域技术人员应当理解，可以根据设计需求和其它因素进行各种修改、组合、子组合和转变，只要它们在所附权利要求或其等同物的范围之内即可。
参考标记列表
10、10A至10H 固态成像设备（CMOS图像传感器）
11 半导体衬底（传感器芯片）
12 像素阵列部分
13 垂直驱动部分
14 列处理部分
15 水平驱动部分
16 系统控制部分
20 单位像素
21 光电二极管
22 传输晶体管
23 重置晶体管
24 放大晶体管
25 选择晶体管
26 FD（浮置扩散）部分
31 DSP电路
32 图像存储器
33 滤色器阵列
34 多透镜阵列
OCL 片上透镜
ML、ML1、ML2 多透镜
DPC-A至DPC-D 划分的像素
200 相机系统
220 透镜
230 驱动电路
240 信号处理电路

Claims (12)

1.一种固态成像设备，包括：
像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及
多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，
其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻像素上，
其中，所述像素阵列部分的多个相邻像素或一个像素包括多个划分的像素，所述多个划分的像素是光灵敏度或累积的电荷量彼此不同的区域，
其中，将各个划分的像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得光入射到不同色彩的划分的像素上，所述不同色彩的划分的像素中的至少一部分沿所述第一方向具有不同的相邻色彩，
其中，所述彩色像素包括沿所述第一方向和所述第二方向以正方形形状布置的所述多个划分的像素，并且
其中，形成所述彩色像素以使得在所述彩色像素的矩阵形式布置的各个行中交替地布置低灵敏度的彩色像素和高灵敏度的彩色像素。
2.如权利要求1所述的固态成像设备，
其中，沿至少所述第一方向形成所述多个划分的像素，并且
其中，将相邻的划分的像素分派为用于立体中的L的像素和用于立体中的R的像素。
3.如权利要求1所述的固态成像设备，
其中，在所述彩色像素的矩阵形式布置中，所述划分的像素被分派为在同一列中成为用于立体中的L或R的相同像素，并且被分派为在相邻列中成为用于立体中的R或L的相同像素。
4.如权利要求1所述的固态成像设备，
其中，沿所述第一方向和所述第二方向彼此相邻的划分的像素被分派以成为用于立体中的L和R的不同像素。
5.如权利要求1所述的固态成像设备，
其中，在彩色像素的矩阵形式布置中，形成所述划分的像素以使得在同一行中用于立体中的L的像素对应于高灵敏度或低灵敏度、并且用于立体中的R的像素对应于低灵敏度或高灵敏度，并且使得在相邻行中用于立体中的L的像素对应于低灵敏度或高灵敏度、并且用于立体中的R的像素对应于高灵敏度或低灵敏度。
6.如权利要求1所述的固态成像设备，
其中，所述像素阵列部分包括部署在光接收部分上的滤色器阵列、以及在所述滤色器阵列上形成以对应于每个划分的像素的片上透镜阵列，
其中，在所述片上透镜阵列的光入射侧部署所述多透镜阵列，并且
其中，在多透镜和片上透镜中，根据光轴的改变而执行瞳孔校正。
7.一种相机系统，包括：
固态成像设备；以及
光学系统，其在所述固态成像设备上形成物像，
其中，所述固态成像设备包括：像素阵列部分，其中沿第一方向和与所述第一方向垂直的第二方向以矩阵形式布置多个彩色像素；以及多透镜阵列，其中布置允许光入射到所述多个彩色像素上的多个透镜，
其中，在所述像素阵列部分的各个彩色像素中，将沿所述第一方向和所述第二方向中的至少一个方向相邻的彩色像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻彩色像素上，
其中，所述像素阵列部分的多个相邻彩色像素或一个彩色像素包括多个划分的像素，所述多个划分的像素是光灵敏度或累积的电荷量彼此不同的区域，
其中，将各个划分的像素分派为用于立体中的L的像素和用于立体中的R的像素，并且
其中，部署所述多透镜阵列以使得所述多透镜阵列中的至少一部分允许光入射到沿所述第一方向色彩不同的相邻的彩色的划分的像素上，
其中，所述彩色像素包括沿所述第一方向和所述第二方向以正方形形状布置的所述多个划分的像素，并且
其中，形成所述彩色像素以使得在所述彩色像素的矩阵形式布置的各个行中交替地布置低灵敏度的彩色像素和高灵敏度的彩色像素。
8.如权利要求7所述的相机系统，
其中，沿至少所述第一方向形成所述多个划分的像素，并且
其中，将相邻的划分的像素分派为用于立体中的L的像素和用于立体中的R的像素。
9.如权利要求7所述的相机系统，
其中，在所述彩色像素的矩阵形式布置中，所述划分的像素被分派为在同一列中成为用于立体中的L或R的相同像素，并且被分派为在相邻列中成为用于立体中的R或L的相同像素。
10.如权利要求7所述的相机系统，
其中，沿所述第一方向和第二方向彼此相邻的划分的像素被分派以成为用于立体中的L和R的不同像素。
11.如权利要求7所述的相机系统，
其中，在彩色像素的矩阵形式布置中，形成所述划分的像素以使得在同一行中用于立体中的L的像素对应于高灵敏度或低灵敏度、并且用于立体中的R的像素对应于低灵敏度或高灵敏度，并且使得在相邻行中用于立体中的L的像素对应于低灵敏度或高灵敏度、并且用于立体中的R的像素对应于高灵敏度或低灵敏度。
12.如权利要求7所述的相机系统，
其中，所述像素阵列部分包括部署在光接收部分上的滤色器阵列、以及在所述滤色器阵列上形成以对应于每个划分的像素的片上透镜阵列，
其中，在所述片上透镜阵列的光入射侧部署所述多透镜阵列，并且
其中，在多透镜和片上透镜中，根据光轴的改变而执行瞳孔校正。
CN201280009886.5A 2011-02-28 2012-02-21 固态成像设备和相机系统 Expired - Fee Related CN103392336B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-043232 2011-02-28
JP2011043232 2011-02-28
JP2011115379A JP2012195921A (ja) 2011-02-28 2011-05-24 固体撮像素子およびカメラシステム
JP2011-115379 2011-05-24
PCT/JP2012/001145 WO2012117691A1 (en) 2011-02-28 2012-02-21 Solid-state imaging device and camera system

Publications (2)

Publication Number Publication Date
CN103392336A CN103392336A (zh) 2013-11-13
CN103392336B true CN103392336B (zh) 2017-07-07

Family

ID=46757636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280009886.5A Expired - Fee Related CN103392336B (zh) 2011-02-28 2012-02-21 固态成像设备和相机系统

Country Status (7)

Country Link
US (1) US9661306B2 (zh)
EP (1) EP2681906A4 (zh)
JP (1) JP2012195921A (zh)
KR (3) KR102163310B1 (zh)
CN (1) CN103392336B (zh)
TW (1) TWI487948B (zh)
WO (1) WO2012117691A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503438A (zh) * 2011-05-24 2014-01-08 索尼公司 固态图像拾取装置和相机系统
JP6119193B2 (ja) * 2012-02-24 2017-04-26 株式会社リコー 距離測定装置及び距離測定方法
EP2835965B1 (en) * 2012-03-30 2017-05-03 Nikon Corporation Imaging device and image sensor
JPWO2014112002A1 (ja) * 2013-01-15 2017-01-19 オリンパス株式会社 撮像素子、及び撮像装置
JP6164849B2 (ja) * 2013-01-18 2017-07-19 キヤノン株式会社 信号処理装置、撮像装置、および、撮像システム
JP2014187160A (ja) * 2013-03-22 2014-10-02 Toshiba Corp 固体撮像装置および携帯情報端末
JP6149544B2 (ja) * 2013-06-28 2017-06-21 株式会社ニコン 撮像装置および制御プログラム
JP6417809B2 (ja) * 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP6418785B2 (ja) * 2014-05-21 2018-11-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2016001682A (ja) * 2014-06-12 2016-01-07 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
GB2532728A (en) * 2014-11-25 2016-06-01 Nokia Technologies Oy A semiconductor chip, a method, an apparatus and a computer program product for image capturing
CN104717482A (zh) * 2015-03-12 2015-06-17 天津大学 多光谱多景深阵列拍摄方法与拍摄相机
CN104857968A (zh) * 2015-04-23 2015-08-26 中国科学院大连化学物理研究所 一种低碳烃和co2转化催化剂及其应用
WO2016203974A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 イメージセンサ、および電子機器
EP3131292B1 (en) * 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
JP2017046020A (ja) * 2015-08-24 2017-03-02 株式会社東芝 固体撮像装置
KR102524400B1 (ko) * 2016-07-04 2023-04-24 에스케이하이닉스 주식회사 하나의 컬러 필터 및 하나의 마이크로렌즈를 공유하는 다수 개의 포토다이오드들을 갖는 이미지 센서
JP2018160935A (ja) * 2018-07-11 2018-10-11 株式会社ニコン 撮像素子および撮像装置
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社ＳｅｎｓＡＩ 撮像システム
KR20220118022A (ko) 2021-02-18 2022-08-25 에스케이하이닉스 주식회사 이미지 센싱 장치
JP7487151B2 (ja) * 2021-06-29 2024-05-20 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の製造方法、および電子機器
WO2023184212A1 (en) * 2022-03-30 2023-10-05 Huawei Technologies Co., Ltd. Imaging device, method and computer program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1551364A (zh) * 2003-04-03 2004-12-01 ������������ʽ���� 固态成像器件
CN101262565A (zh) * 2007-03-08 2008-09-10 索尼株式会社 摄像方法及摄像装置以及驱动装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
CN101753863A (zh) * 2008-12-08 2010-06-23 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
CN101960861A (zh) * 2008-02-29 2011-01-26 伊斯曼柯达公司 具有多视角图像捕捉的传感器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821703B2 (ja) * 1990-07-17 1996-03-04 株式会社東芝 固体撮像素子
JP3542397B2 (ja) * 1995-03-20 2004-07-14 キヤノン株式会社 撮像装置
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
GB2354899A (en) * 1999-10-02 2001-04-04 Sharp Kk Optical device for projection display
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
US7372629B2 (en) * 2003-11-06 2008-05-13 Nec Corporation Three-dimensional image display device, portable terminal device, display panel and fly eye lens
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1551364A (zh) * 2003-04-03 2004-12-01 ������������ʽ���� 固态成像器件
CN101262565A (zh) * 2007-03-08 2008-09-10 索尼株式会社 摄像方法及摄像装置以及驱动装置
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
CN101960861A (zh) * 2008-02-29 2011-01-26 伊斯曼柯达公司 具有多视角图像捕捉的传感器
CN101753863A (zh) * 2008-12-08 2010-06-23 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备

Also Published As

Publication number Publication date
TWI487948B (zh) 2015-06-11
KR102163310B1 (ko) 2020-10-08
TW201245767A (en) 2012-11-16
CN103392336A (zh) 2013-11-13
JP2012195921A (ja) 2012-10-11
KR101929596B1 (ko) 2018-12-14
KR20190120409A (ko) 2019-10-23
KR20140038365A (ko) 2014-03-28
US9661306B2 (en) 2017-05-23
WO2012117691A1 (en) 2012-09-07
EP2681906A4 (en) 2014-11-26
US20130307940A1 (en) 2013-11-21
KR20180133549A (ko) 2018-12-14
EP2681906A1 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
CN103392336B (zh) 固态成像设备和相机系统
US10728477B2 (en) Solid-state image pickup device and camera system
CN101854488B (zh) 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
US9521350B2 (en) Solid-state imaging device and electronic apparatus
CN104009049B (zh) 包含具有镜像晶体管布局的像素单元的图像传感器
US8478123B2 (en) Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
KR101410184B1 (ko) 이미지 센서의 샘플링 및 판독
CN108462841A (zh) 像素阵列及图像传感器
US20150304582A1 (en) Image pickup device and camera system
CN102917185A (zh) 固态成像装置和成像装置
CN102984472A (zh) 固态成像设备和相机系统
CN111656772B (zh) 摄像装置和电子设备
KR20130133824A (ko) Cmos 이미지 센서 화소 및 그의 제어 타이밍시퀀스
KR20170090848A (ko) 이미지 센싱 장치 및 그의 구동 방법
JPWO2018062561A1 (ja) 撮像素子およびカメラ
CN117999796A (zh) 具有可调转换增益的固态成像设备、驱动方法及电子设备
JP2014039211A (ja) 撮像ユニット、撮像方法、および撮像素子

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160920

Address after: Kanagawa

Applicant after: SONY SEMICONDUCTOR SOLUTIONS Corp.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170707