CN115136592A - 固态成像装置和电子设备 - Google Patents

固态成像装置和电子设备 Download PDF

Info

Publication number
CN115136592A
CN115136592A CN202180014918.XA CN202180014918A CN115136592A CN 115136592 A CN115136592 A CN 115136592A CN 202180014918 A CN202180014918 A CN 202180014918A CN 115136592 A CN115136592 A CN 115136592A
Authority
CN
China
Prior art keywords
color filter
pixel
unit
solid
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180014918.XA
Other languages
English (en)
Inventor
小笠原隆行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115136592A publication Critical patent/CN115136592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供一种能够获得具有高颜色再现性的图像的固态成像装置。固态成像装置包括光电转换单元和像素阵列单元，其中，在像素阵列单元中布置有多个像素单元组，通过以2×2矩阵布置像素单元而获得像素单元组，通过以2×2矩阵布置具有滤色器的像素而获得像素单元，滤色器形成为与光电转换单元对应。此外，每个像素单元组包括R滤色器作为构成像素单元组的四个像素单元之中的一个像素单元的滤色器、G滤色器作为两个像素单元的滤色器、以及B滤色器作为一个像素单元中的滤色器。而且，至少一个像素单元组包括具有与R滤色器、G滤色器、以及B滤色器。而且，像素单元组中的至少一个包括预定滤色器，其具有与R滤色器、G滤色器和B滤色器中的任一个不同的透射率峰值波长作为滤色器。

Description

固态成像装置和电子设备
技术领域
本技术涉及固态成像装置和电子设备。
背景技术
传统上，已经提出了具有将拜耳阵列的一个像素分割成多个像素的配置的固态成像装置(例如，参见专利文献1)。在专利文献1中描述的固态图像传感器中，通过执行全解析去马赛克处理(在再马赛克处理之后执行去马赛克处理的一系列处理)，可以获得高分辨率捕获图像。另外，通过进行合并处理，能够得到SN比良好的捕获图像。此外，可通过改变多个像素中的每个像素的曝光条件来获得具有高动态范围(HDR)的捕获图像。
[引用列表]
[专利文献]
[专利文献1]
JP 2019-175912A
发明内容
[技术问题]
在这种固态成像装置中，需要进一步改善捕获图像的颜色再现性。
本公开的目的是提供能够改善捕获图像的颜色再现性的固态成像装置和电子设备。
[问题的解决方案]
本公开的固态成像装置包括：(a)像素阵列单元，多个像素单元组被布置在像素阵列单元中，像素单元组由以2×2矩阵布置的像素单元组成，像素单元由以m×n矩阵(m和n是2或更大的自然数)布置的像素组成，像素具有光电转换单元和对应于光电转换单元形成的滤色器，其中，(b)每个像素单元组包括在构成像素单元组的四个像素单元中的一个像素单元中作为滤色器的R型滤色器、和在四个像素单元中的两个像素单元中作为滤色器的G型滤色器，并且包括在四个像素单元中的一个像素单元中作为滤色器的B滤色器，并且(c)像素单元组中的至少一个像素单元组包括预定滤色器作为滤色器，预定滤色器具有与R滤色器，G滤色器和B滤色器中的任一个不同的透射率峰值波长。
本公开的电子器件包括：(a)固态成像装置，固态成像装置包括布置有多个像素单元组的像素阵列单元，像素单元组由布置成2×2矩阵的像素单元组成，像素单元由以m×n矩阵(m和n是2或更大的自然数)布置的像素组成，像素具有光电转换单元和对应于光电转换单元形成的滤色器，每个像素单元组包括在构成像素单元组的四个像素单元中的一个像素单元中作为滤色器的R滤色器、在四个像素单元中的两个像素单元中作为滤色器的G滤色器，以及在四个像素单元中的一个像素单元中作为滤色器的B滤色器，并且像素单元组中的至少一个像素单元组包括预定滤色器作为滤色器，预定滤色器具有与R滤色器，G滤色器和B滤色器中的任一个不同的透射率峰值波长；(b)在固态成像装置的成像表面上形成来自对象的图像光的光学透镜；以及(c)对从固态成像装置输出的信号执行信号处理的信号处理电路。
附图说明
图1是示出根据本公开第一实施例的电子设备的总体配置的示图。
图2是示出根据本公开的第一实施例的固态成像装置的总体配置的示图。
图3A是示出沿着图2中的线A-A的像素阵列单元的截面配置的示图。
图3B是示出了沿着图3A中的线B-B的滤色器的最小单元阵列的示图。
图4是示出变形例中的滤色器的最小单元阵列的示图。
图5是示出滤色器阵列的配置的示图。
图6是示出现有技术中的固态成像装置的每个像素的透射率的示图。
图7是示出了根据第一实施例的固态成像装置的每个像素的透射率的示图。
图8是示出了根据第一实施例的固态成像装置的每个像素的透射率的示图。
图9是示出了根据第一实施例的固态成像装置的每个像素的透射率的示图。
图10是示出根据变形例的微透镜的布置的示图。
图11是示出根据变形例的微透镜的布置的示图。
图12是示出由信号处理电路生成的捕获图像的示图。
图13是示出用于在色温低时估计色温的像素的示图。
图14是示出用于色温为平坦时的色温的估计的像素的示图。
图15是示出用于在色温高时估计色温的像素的示图。
图16是示出再马赛克处理的处理内容的示图。
图17是示出合并处理的处理内容的示图。
图18是示出根据本公开第二实施例的固态图像传感器的滤色器阵列的配置的示图。
图19是示出了滤色器的最小单元阵列的示图。
图20是示出合并处理的处理内容的示图。
图21是示出合并处理的处理内容的示图。
图22是示出了根据变形例的滤色器阵列的配置的示图。
图23是示出了根据变形例的滤色器阵列的配置的示图。
图24是示出了车辆控制系统的示意性配置的示例的框图。
图25是示出外部信息检测单元和成像单元的安装位置的示例的说明图。
图26是表示内窥镜手术系统的原理图配置的示例的图。
图27是示出相机头和CCU的功能配置的示例的框图。
具体实施方式
在下文中，将参考图1至图27描述根据本公开的实施例的固态成像装置1和电子设备的示例。将按照以下顺序描述本公开的实施例。然而，要注意的是，本公开不限于以下示例。此外，本说明书中描述的效果是示例性的而非限制性的，并且可以提供其他效果。
1.第一实施例：电子设备
1-1电子设备的总体配置
1-2主要部件的配置
2.第二实施例：电子设备
2-1主要部件的配置
2-2变形例
3.移动体的应用示例
4.内窥镜手术系统的应用示例
<1.第一实施例：电子设备>
1-1电子设备的总体配置示例
接下来，将描述根据本公开的第一实施例的电子设备100。可采用各种电子设备作为电子设备100，例如，诸如数字静态相机和数字成像机的成像装置、具有成像功能的移动电话或具有成像功能的另一装置。图1是示出根据本公开第一实施例的电子设备100的总体配置的示意图。
如图1所示，电子装置100包括固态成像装置101(下文称为“固态成像装置1”)、光学透镜102、快门装置103、驱动电路104和信号处理电路105。在电子设备100中，光学透镜102在固态成像装置101的成像表面上形成来自对象的图像光(入射光106)。固态成像装置101将像素单元中的入射光106的光量转换为电信号并输出像素信号。信号处理电路105对从固态成像装置101输出的像素信号执行信号处理。在那种情况下，快门装置103控制用于固态成像装置101的光照射时段和遮光时段。驱动电路104提供用于控制快门装置103的像素信号传送操作和快门操作的驱动信号。
图2是示出固态成像装置1的示意图。图2中的固态成像装置1是背面照射型互补金属氧化物半导体(CMOS)图像传感器。
如图2所示，固态成像装置1包括基板2、像素阵列单元3、垂直驱动电路4、列信号处理电路5、水平驱动电路6、输出电路7以及控制电路8。
像素阵列单元3包括在基板2上呈矩阵布置的多个像素9。如图3A和图3B所示，每个像素9具有光电转换单元24以及对应于光电转换单元24形成的滤色器19和微透镜20。以2×2矩阵布置的四个像素9形成一个像素单元10。进一步地，以2×2矩阵布置的四个像素单元10构成一个像素单元组11。即呈矩阵布置的多个像素单元组11构成像素阵列单元3。
在第一实施例中，示出了一个像素单元10由布置成2×2矩阵的像素9构成的示例，但是也可采用其他配置。例如，如图4所示，像素9可以以m×n(m和n是2或更大的自然数)的矩阵布置。图4示出了m和n是5以上的情况。
由例如移位寄存器构成的垂直驱动电路4选择期望的像素驱动布线12，将用于驱动像素9的脉冲提供至所选择的像素驱动布线12，并且以行为单位驱动像素9。即，垂直驱动电路4在垂直方向上以行为单位对像素阵列单元3中的像素9顺次执行选择扫描，并且通过垂直信号线13将基于根据每个像素9的光电转换单元24中接收的光量生成的信号电荷的像素信号提供至列信号处理电路5。
例如，针对像素9的每列设置列信号处理电路5，并且对从对应于一行的像素9输出的信号执行诸如每个像素列的噪声去除的信号处理。例如，列信号处理电路5执行信号处理，诸如用于去除像素特定的固定图案噪声的相关双采样(CDS)和模拟数字(AD)转换。
例如，由移位寄存器构成的水平驱动电路6将水平扫描脉冲顺次输出至列信号处理电路5以依次选择每个列信号处理电路5，并且将已经经受信号处理的像素信号(在下文中也称为“像素值”)从列信号处理电路5中的每个输出至水平信号线14。
输出电路7对顺序提供的像素信号(像素值)执行信号处理，并且通过水平信号线14从每个列信号处理电路5输出像素信号。作为信号处理，例如，可以采用缓冲、黑色显示级别调整、列变化校正以及各种类型的数字信号处理。
控制电路8基于垂直同步信号、水平同步信号和主时钟信号生成时钟信号或控制信号作为垂直驱动电路4、列信号处理电路5、水平驱动电路6等的操作的参考。此外，控制电路8将所生成的时钟信号或控制信号输出至垂直驱动电路4、列信号处理电路5、水平驱动电路6等。
[1-2主要部件的配置]
接下来，将描述图1中的固态成像装置1的详细配置。图3A是示出固态成像装置1的像素阵列单元3的截面配置的示图。图3B是示出了沿着图3A中的线B-B的滤色器19的最小单元阵列的示图。在图3A和图3B中，背面照射型CMOS图像传感器用作固态成像装置1。
如图3A和图3B所示，根据第一实施例的固态成像装置1包括光接收层18，其中，基板2、绝缘膜15、遮光膜16和平坦化膜17以该顺序层压。此外，其中依次层压滤色器19和微透镜20(片上透镜)的集光层21形成在绝缘膜15侧上的光接收层18的表面上(在下文中，也称为“后表面S1”)。此外，布线层22和支撑基板23依次层压在基板2侧上的光接收层18的表面上(在下文中，也称为“表面S2”)。同时，光接收层18的后表面S1和平坦化膜17的后表面是同一表面，并且因此在以下描述中平坦化膜17的后表面将被称为“后表面S1”。此外，光接收层18的表面S2和基板2的表面是同一表面，并且因此在以下描述中基板2的表面将被称为“表面S2”。
基板2由例如硅(Si)形成的半导体基板构成，并且形成图1所示的像素阵列单元3。在像素阵列单元3中，形成在基板2上的多个光电转换单元24布置成矩阵。在光电转换单元24中，生成并累积对应于入射光106的光量的信号电荷。此外，像素分离单元25布置在相邻的光电转换单元24之间，使得通过其他光电转换单元24透射的光不进入。
绝缘膜15在后表面S1侧上连续地覆盖整个基板2(在光接收表面侧上的整体)。此外，遮光膜16以格子形状形成在绝缘膜15的位于后表面S3侧上的部分中(位于光接收表面侧上的部分)，使得多个光电转换单元24中的每一个的光接收表面是开放的。
滤色器19形成以对应于绝缘膜15的后表面S1侧(光接收表面侧)上的每个光电转换单元24。即，针对一个光电转换单元24(像素9)形成一个滤色器19。这样，滤色器19形成规则地布置成矩阵的滤色器阵列26。每个滤色器19被配置为透射入射光106的特定波长的光(红光、绿光、蓝光、橙光、翠绿色绿光)，并且使透射光入射在光电转换单元24上。作为滤色器19，使用透射红光的R滤色器19R、透射绿光的G滤色器19G、透射蓝光的B滤色器19B、透射橙色光的预定滤色器(在下文中，也称为“O滤色器19O”)、和透射翠绿色光的预定滤色器(在下文中，也称为“EG滤色器19EG”)。
在图3A和图3B中，参考标号R表示R滤色器19R，参考标号G表示G滤色器19G，参考标号B表示B滤色器19B，参考标号O表示O滤色器19O，并且参考标号EG表示EG滤色器19EG。此外，在以下描述中，包括R滤色器19R的像素9被称为红色像素9R，包括G滤色器19G的像素9被称为绿色像素9G，包括B滤色器19B的像素9被称为蓝色像素9B，包括O滤色器19O的像素9被称为橙色像素9O，并且包括EG滤色器19EG的像素9被称为翠绿色像素9EG。
作为O滤色器19O的透射率峰值波长，使用比B滤色器19B的透射率峰值波长大且比G滤色器19G的透射率峰值波长小的第一范围内的数值。此外，作为EG滤色器19EG的透射率峰值波长，使用比G滤色器19G的透射率峰值波长大且小于R滤色器19R的透射率峰值波长的第二范围内的数值。例如，在R滤色器19R的透射率峰值波长为600nm、G滤色器19G的透射率峰值波长为530nm、B滤色器19B的透射率峰值波长为460nm的情况下，优选第一范围大于465nm且小于525nm、第二范围大于535nm且小于595nm。这样，从R滤色器19R、G滤色器19G、B滤色器19B的透射率峰值波长起，能够将第一范围和第二范围分开5nm以上。
此外，滤色器19的阵列模式(R滤色器19R、G滤色器19G、B滤色器19B、O滤色器19O、和EG滤色器19EG的阵列模式)被配置为使得如图3B中所示以4×4矩阵布置的滤色器19的阵列被用作滤色器19的阵列的最小单元(在下文中，也称为“最小单元阵列”)，最小单元阵列设置在像素阵列单元3的所有像素单元组11中，如图5所示。
如图3B所示，滤色器19的最小单元阵列是其中4分拜耳阵列被部分修改的阵列，使得在构成像素单元组11的四个像素单元10中，R滤色器19R布置在右上像素单元10上，G滤色器19G布置在左上和右下像素单元10上，并且B滤色器19B布置在左下像素单元10上。具体地，构成4分拜耳阵列的右上像素单元10的2×2像素9中的左上像素9的R滤色器19R由O滤色器19O替换，并且构成左下像素单元10的2×2像素9中的左上像素9的B滤色器19B由EG滤色器19EG替换。
在此，例如，在仅包括R滤色器19R、G滤色器19G和B滤色器19B作为滤色器19的传统固态成像装置中，偏离R滤色器19R、G滤色器19G和B滤色器19B的透射率峰值波长的波长(在下文中也称为“外部峰值波长”)的光几乎不到达光电转换单元24并且没有被红色像素9R、绿色像素9G和蓝色像素9B检测到。因此，如图6所示，当在外部峰值波长处具有不同反射率的两个对象A和B时，不能量化对象A与B之间的颜色差异。因此，在传统的固态成像装置中，对象A和B被确定为相同的颜色。
另一方面，与根据第一实施例的固态成像装置1一样，当滤色器19除了R滤色器19R、G滤色器19G和B滤色器19B之外还包括O滤色器19O和EG滤色器19EG时，具有在R滤色器19R的透射率峰值波长和G滤色器19G的透射率峰值波长之间的波长的光穿过EG滤色器19EG并且由翠绿色像素9EG检测。此外，具有在G滤色器19G的透射率峰值波长和B滤色器19B的透射率峰值波长之间的波长的光穿过O滤色器19O并且由橙色像素9O检测。即，入射光106的采样点可通过包括O滤色器19O和EG滤色器19EG的配置而增加。因此，如图7所示，当存在具有外部峰值波长的不同反射率的两个对象A和B时，可量化对象A与B之间的颜色差Δ。因此，在根据第一实施例的固态成像装置1中，对象A和B可被确定为不同的颜色。
因此，在除红色像素9R、绿色像素9G、蓝色像素9B的像素信号之外，还使用橙色像素9O和翠绿色像素9EG的像素信号来估计色温的情况下，能够更高精度地估计光源的色温。因此，通过基于色温调节捕获图像的白平衡，可以改善捕获图像的颜色再现性。例如，当光源的色温低时，来自对象的图像光(入射光106)包含具有长波长的大量光。然而，如图8所示，由于在橙色像素9O内，长波长侧上的采样点(图8中由虚线包围的点)的数量增加，所以可提高捕获图像的颜色再现性。此外，例如，当色温较高时，如图9所示，来自对象的入射光106包含具有短波长的大量光。然而，由于在翠绿色像素9EG中短波长侧上的采样点(图9中由虚线包围的点)的数量增加，所以可提高捕获图像的颜色再现性。
在第一实施例中，示出了G滤色器19G布置在左上和右下像素单元10中的示例，但是也可采用其他配置。例如，也可以采用G滤色器19G设置在右上和左下像素单元10中的配置、G滤色器19G设置在左上和左下像素单元10中的配置以及G滤色器19G设置在右上和右下像素单元10中的配置。此外，例如，还可以采用其中R滤色器19R布置在下像素单元10中并且B滤色器19B布置在上像素单元10中的配置。即，每个像素单元组11可以被配置为使得在构成像素单元组11的四个像素单元10中，一个像素单元10包括作为滤色器19的R滤色器19R，两个像素单元10包括作为滤色器19的G滤色器19G，一个像素单元10包括作为滤色器19的B滤色器19B。
此外，在第一实施例中，示出了像素阵列单元3的所有像素单元组11包括O滤色器19O和EG滤色器19EG的示例，但是也可采用其他配置。例如，构成像素阵列单元3的像素单元组11中的至少一个可被配置为包括O滤色器19O和EG滤色器19EG(预定滤色器)。
此外，在第一实施例中，示出了O滤色器19O和EG滤色器19EG用作与R滤色器19R、G滤色器19G和B滤色器19B一起布置的滤色器19(预定滤色器)的示例，也可采用其他配置。例如，可以使用具有与R滤色器19R、G滤色器19G和B滤色器19B的透射率不同的透射率的峰值波长的滤色器19作为预定滤色器。
此外，在第一实施例中，示出了构成包括R滤色器19R的像素单元10的2×2像素9之中的左上像素9的R滤色器19R被O滤色器19O替换的示例，也可采用其他配置。例如，2×2像素9中的左下像素9、右上像素9和右下像素9的R滤色器19R中的任一个可以由O滤色器19O替换。此外，例如，构成包括G滤色器19G的像素单元10的2×2像素9中的任意一个的G滤色器19G可以由O滤色器19O替换。此外，例如，构成包括B滤色器19B的像素单元10的2×2像素9中的任一个B滤色器19B可以由O滤色器19O替换。具体地，更优选的是，在包括R滤色器19R或B滤色器19B的像素单元10中包括有O滤色器19O(预定滤色器)。此外，更优选地，EG滤色器19EG(预定滤色器)包括在包括R滤色器19R或B滤色器19B的像素单元10中，与O滤色器19O相似。以这样的配置，绿色像素9G可以用作获取亮度信息和分辨率信息的像素，还可以用作相位差像素。
此外，在第一实施例中，示出了一个像素单元10中包括的滤色器19的类型的数量是R滤色器19R和O滤色器19O中的两种以及B滤色器19B和EG滤色器19EG中的两种类型的中的一个的示例，还可以采用其他配置。例如，一个像素单元10可仅包括R滤色器19R、G滤色器19G和B滤色器19B中的一种类型，或者可包括三个类型。具体地，一个像素单元10中所包括的滤色器19的类型的数量是2或更小的配置是更优选的。以这样的配置，能够抑制红色像素9R、绿色像素9G、蓝色像素9B的占有面积的减少。
微透镜20被形成以对应于在滤色器19的后表面S4侧(光接收表面侧)上的每个光电转换单元24。即，针对一个光电转换单元24(像素9)形成一个微透镜20。以这种方式，微透镜20形成以矩阵规则地布置的微透镜阵列27。每个微透镜20被配置为从对象收集图像光(入射光106)并且通过滤色器19将收集的入射光106引导至光电转换单元24的后表面(光接收表面)的附近。
在第一实施例中，示出针对一个光电转换单元24形成一个微透镜20的示例，但是还可以采用其他配置。例如，当绿色像素9G用作相位差像素时，如图10所示，以1×2矩阵布置的两个绿色像素9G可以用作相位差像素，并且可以针对两个绿色像素9G(相位差像素)形成一个微透镜20。以这样的配置，可以在共用一个微透镜20的两个绿色像素9G(相位差像素)之间检测捕获图像的相位差。
此外，例如，可以针对一个像素单元10(以2×2矩阵布置的像素9)形成一个微透镜20。在这种情况下，如图11所示，例如，当绿色像素9G用作相位差像素时，以2×2矩阵布置的四个绿色像素9G用作相位差像素，并且为四个绿色像素9G(相位差像素)形成一个微透镜20。根据这样的配置，可以在共用一个微透镜20的四个绿色像素9G(相位差像素)之间检测捕获图像的相位差。
布线层22形成在基板2的表面S2侧上，并且被配置为包括绝缘夹层膜28和隔着绝缘夹层膜28层压为多个层的布线29。布线层22通过多层布线29驱动构成像素9的像素晶体管。
支撑基板23形成在与面向基板2的一侧相对的布线层22的表面上。支撑基板23是用于在固态成像装置1的制造阶段确保基板2的强度的基板。例如，可以使用硅(Si)作为支撑基板23的材料。
接下来，将描述由图1的信号处理电路105执行的信号处理。
首先，如图12所示，例如，信号处理电路105基于从红色像素9R、绿色像素9G、蓝色像素9B、橙色像素9O和翠绿色像素9EG输出的像素信号(像素值)执行生成对应于滤色器19的阵列的马赛克图像30的处理。在图12中，参考标号R表示仅具有红色的颜色信息的图像像素31R(在后文中也称为“红色图像像素”)，并且类似地，参考标号G表示仅具有绿色颜色信息的图像像素31G(在后文中也称为“绿色图像像素”)，参考标号B表示仅具有蓝色的颜色信息的图像像素31B(在下文中，也称为“蓝色图像像素”)，参考标号O表示仅具有橙色的颜色信息的图像像素31O(在下文中，也称为“橙色图像像素”)，并且参考标号EG表示仅具有翠绿色的颜色信息的图像像素31EG(在下文中，也称为“翠绿色图像像素”)。
随后，信号处理电路105进行如下处理：基于所生成的马赛克图像30的各图像像素的像素值(红色、绿色、蓝色、橙色和翠绿色图像像素31R、31G、31B、31O和31EG的像素值)来估计光源的色温，并基于所估计的色温来调整白平衡。在色温的估计中，当光源的色温低时，如图13所示，对象的反射率的长波长侧上的分量增加，并且包含在入射光106中的长波长侧上的光量增加。因此，除了马赛克图像30的红色、绿色和蓝色图像像素31R、31G和31B的像素值之外，还使用橙色图像像素31O的像素值来估计色温。
另一方面，在光源的色温平坦时，即，如图14所示，在从短波长侧到长波长侧的所有波长处，对象的反射率大约相同时，包含在入射光106中的每个波长的光量大约相同。因此，仅使用马赛克图像30的红色、绿色和蓝色图像像素31R、31G和31B的像素值来估计色温。如果需要，橙色和翠绿色图像像素31O和31EG的像素值也可以用于估计色温。另一方面，当光源的色温较高时，对象的反射率的短波长侧上的分量增加，并且入射光106中包含的短波长侧上的光量增加。因此，如图15所示，除了红色、绿色和蓝色图像像素31R、31G和31B的像素值之外，还使用翠绿色图像像素31EG的像素值来估计色温。
另外，在实施例1中，示出了根据像素值来估计色温，根据估计结果来调整白平衡的示例，但也可以采用其他配置。例如，可以直接从像素值调整白平衡。具体地，根据下面的公式(1)，基于红色像素9R、绿色像素9G、蓝色像素9B、橙色像素9O和翠绿色像素9EG的像素值SR(A)、SG(A)、SB(A)、SO(A)和SEG(A)计算白平衡调整之后的像素值SR'(A)、SG'(A)、SB'(A)、SO'(A)和SEG'(A)。
SR'(A)＝Smax×SR(A)/SR(W)
SG'(A)＝Smax×SG(A)/SG(W)
SB'(A)＝Smax×SB(A)/SB(W)
SO'(A)＝Smax×SO(A)/SO(W)
SEG'(A)＝Smax×SB(A)/SEG(W)
在公式(1)中，Smax是像素值的最大值(例如，在8位的情况下为255，在10位的情况下为1023)，并且SR(W)、SG(W)、SB(W)、SO(W)和SEG(W)是在对白板成像(具有100％反射率的标准白板)时来自红色像素9R、绿色像素9G、蓝色像素9B、橙色像素9O和翠绿色像素9EG的像素信号(像素值)。
随后，基于马赛克图像30的每个图像像素31的像素值，进行确定对象是否明亮的处理。然后，在确定对象为明亮的情况下，对校正了白平衡的马赛克图像30进行再马赛克处理。在再马赛克处理中，如图16所示，生成拜耳阵列的RGB马赛克图像32。当执行再马赛克处理时，橙色和翠绿色图像像素31O以及31EG被视为无色图像像素31less，并且使用周围图像像素31的像素值来补充无色图像像素31less的像素值。图16以放大的比例示出了马赛克图像30和RGB马赛克图像32的一部分。
另一方面，在确定对象为暗的情况下，对校正了白平衡的马赛克图像30进行合并处理。在合并处理中，如图17所示，将相同颜色的多个相邻图像像素31的像素值相加，以获得一个图像像素31的像素值。当执行合并处理时，如图17所示，橙色图像像素31O被视为无色图像像素31less，并且将除无色图像像素31less之外的三个红色图像像素31R的像素值相加。并且，在合并处理中，将翠绿色图像像素31EG视为无色图像像素31less，将除了无色图像像素31less以外的3个蓝色图像像素31B的像素值相加。由此，生成由红、绿、蓝图像像素33R、33G、33B构成的RGB马赛克图像34。通过进行合并处理，RGB马赛克图像34的像素数减少，但是，能够降低暗处成像时的噪声等。
接着，对通过再马赛克处理得到的RGB马赛克图像32(参考图16)或通过合并处理得到的RGB马赛克图像34进行去马赛克处理。图17以放大的比例示出了马赛克图像30和RGB马赛克图像34的一部分。
如上所述，在根据本公开的第一实施例的固态成像装置1中，具有不同于R滤色器19R、G滤色器19G和B滤色器19B中的任一个的透射率峰值波长的O滤色器19O和EG滤色器19EG(预定滤色器)包括在至少一个像素单元组11中作为滤色器19。因此，能够以更高的精度估计光源的色温。因此，可以提供能够通过基于色温调节马赛克图像30的白平衡来提高捕获图像的颜色再现性的固态成像装置1。
此外，在根据本公开的第一实施例的固态成像装置1中，O滤色器19O和EG滤色器19EG被包括作为每个像素单元组11中的滤色器19。因此，可以使用所有像素单元组11，即像素阵列单元3各部分的像素单元组11来调整白平衡，可以更适当地提高颜色再现性。
<2.第二实施例：电子设备>
[主要部件的配置]
接下来，将描述根据本公开的第二实施例的电子设备100。未示出根据第二实施例的电子设备100的总体配置，因为其与图1中的相同。图18是示出根据第二实施例的固态成像装置1的滤色器阵列26的配置的示图。图19是示出了滤色器19的最小单元阵列的示图。在图18和图19中，对应于图3B中的那些的部分被给予相同的附图标记，并且将不给出其冗余的描述。
根据第二实施例的固态成像装置1与根据第一实施例的固态成像装置1的不同之处在于O滤色器19O和EG滤色器19EG的布置。在根据第二实施例的固态成像装置1中，如图18和图19所示，O滤色器19O布置在构成滤色器19的最小单元阵列中的右上像素单元10的2×2像素9之中的左上像素和右下像素9中。此外，EG滤色器19EG布置在构成左下像素单元10的2×2像素9之中的左上像素和右下像素9中。即，右上方像素单元10和左下方像素单元10在一个像素单元10的两个像素9中均包括相同类型的预定滤色器。
如上所述，在根据本公开第二实施例的固态成像装置1中，每个包括O滤色器19O和EG滤色器19EG的像素单元10在一个像素单元10的两个像素9中包括相同类型的预定滤色器。因此，如图20、图21所示，通过对与滤色器19的配置对应的马赛克图像30进行合并处理，除了由仅具有红、绿、蓝的颜色信息的图像像素35R、35G、35B构成的RGB马赛克图像36之外，还能够生成由仅具有橙色和翠绿色的颜色信息的图像像素37O、37EG构成的CMY马赛克图像38。并且，通过组合RGB马赛克图像36和CMY马赛克图像38，能够生成高颜色再现性的捕获图像。图20以放大的比例示出了马赛克图像30和RGB马赛克图像36的一部分。此外，图21以放大的比例示出了马赛克图像30和CMY马赛克图像38的一部分。
[2-2变形例]
在第一实施例和第二实施例中，示出了O滤色器19O和EG滤色器19EG(预定滤色器)包括在像素阵列单元3的所有像素单元组11中的每一个中的示例，但是也可采用其他配置。例如，如图22和图23所示，预定滤色器可仅包括在像素阵列单元3的所有像素单元组11中的部分像素单元组11中。“部分像素单元组11”的数量可以是例如可以保证估计光源的色温所需的SN(信噪比)的数量。
图22和图23示出了O滤色器19O和EG滤色器19EG仅布置在四个像素单元组11中的情况。在该示例中，在一个像素单元组11中仅布置O滤色器19O和EG滤色器19EG中的一个。图22示出应用于根据第一实施例的固态成像装置1的情况。图23示出了应用于根据第二实施例的固态成像装置1的情况。通过仅在部分像素单元组11中布置O滤色器19O和EG滤色器19EG，可以抑制诸如分辨率和HDR的其他特性的劣化，同时提高颜色再现性。
<3.移动体的应用例>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可实现为安装在任何类型的移动体(诸如，汽车、电动车辆、摩托车、混合电动车辆、自行车、个人移动工具、飞机、无人机、船舶以及机器人)中的装置。
图24是示出了车辆控制系统的示意性配置示例的框图，该车辆控制系统是可以应用根据本公开的技术的移动体控制系统的示例。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图24所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010作为产生内燃机或驱动电动机等车辆的驱动力的驱动力生成装置、向车轮传递驱动力的驱动力传递机制、调整车辆的转向角的转向机制、产生车辆的制动力的制动装置等控制装置发挥功能。
车身系统控制单元12020根据各种程序来控制安装在车身中的各种装置的操作。例如，车身系统控制单元12020用作诸如无钥匙进入系统、智能钥匙系统、电动车窗装置的控制装置或诸如前灯、后灯、制动灯、转向信号和雾灯的各种灯的控制装置。在这种情况下，从替代钥匙的便携式装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入，并且控制车门锁定装置、电动车窗装置和车辆的灯。
车外信息检测单元12030检测安装有车辆控制系统12000的车外的信息。例如，成像单元12031与车外信息检测单元12030连接。车外信息检测单元12030使成像单元12031捕获车外的图像并接收捕获的图像。另外，车外信息检测单元12030也可以基于接收到的图像，对道路上的人物、汽车、障碍物、标志、文字等进行物体检测处理、距离检测处理。
成像单元12031是接收光并输出与接收的光量相应的电信号的光学传感器。成像单元12031也可以将电信号作为图像和测距信息输出。另外，成像单元12031接收到的光可以是可见光，也可以是红外光等不可见光。
车内信息检测单元12040检测车内的信息。例如，检测驾驶员状态的驾驶员状态检测单元12041连接到车内信息检测单元12040。驾驶员状态检测单元12041包括例如拍摄驾驶员的图像的成像机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳度或集中度或者可以确定驾驶员是否打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆的内部和外部的信息，计算驱动力生成装置、转向机制或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，包括车辆防撞或冲击减轻、基于车间距离的跟随行驶、定速巡航、车辆碰撞警报、车辆车道偏离警报等。
另外，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040取得的车辆周围的信息，对驱动力生成装置、转向机制、制动装置等进行控制，由此，能够进行不依赖于驾驶员的操作而自主行驶的自动驾驶等的协调控制。
另外，微型计算机12051可以基于由车外信息检测单元12030获取的车外信息，将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测到的前面车辆或对面车辆的位置控制前照灯，来执行用于防止眩光的协作控制，例如从远光切换到近光。
音频图像输出单元12052将音频和图像中的至少一个的输出信号发送到能够视觉地或听觉地通知车辆的乘员或车外信息的输出装置。在图24所示的示例中，示出了音频扬声器12061、显示单元12062和仪表板12063作为这种输出装置。例如，显示单元12062可包括板载显示器和平视显示器中的至少一个。
图25是示出成像单元12031的安装位置的示例的示图。
在图25中，车辆12100具备成像单元12101、12102、12103、12104、12105作为成像单元12031。
成像单元12101、12102、12103、12104和12105可设置在诸如车辆12100的车内的前鼻、侧视镜、后保险杠、后门、以及挡风玻璃的上部的位置处。设置在前鼻处的成像单元12101和设置在车内挡风玻璃的上部的成像单元12105主要获取车辆12100前方的图像。设置在侧视镜上的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100的后方的图像。由成像单元12101和12105获取的前侧的图像主要用于前方车辆、行人、障碍物、交通信号、交通标志、车道等的检测。
图25示出成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别指示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过使成像单元12101至成像单元12104捕获到的图像数据重叠，能够得到从上方观察到的车辆12100的俯瞰图像。
成像单元12101至12104中的至少一个可具有用于获得距离信息的功能。例如，成像单元12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有相位差检测用的像素的成像元件。
例如，微型计算机12051尤其能够提取出车辆12100行驶的路径上的最近的三维物体，即，在与车辆12100大致相同的方向上以规定的速度(例如，0km/h以上)行驶的三维物体，基于从成像单元12101至成像单元12104获得的距离信息，获取与成像范围12111至12114中的各三维物体之间的距离和该距离的时间变化(相对于车辆12100的相对速度)，来作为前行车辆。另外，微型计算机12051可以在前行车辆的前方设定应当提前保证的车间距离，并且可以执行自动制动控制(也包括跟随停止控制)或自动加速控制(也包括跟随起动控制)。由此，能够与驾驶员的操作无关地进行车辆自主行驶的自动驾驶等，能够进行协调控制。
例如，微型计算机12051可以基于从成像单元12101至成像单元12104获得的距离信息将与三维物体有关的三维物体数据分类并提取为两轮车、普通车辆、大型车辆、行人和其他三维物体(诸如电线杆)，并且使用该三维物体数据用于自动躲避障碍物。例如，微型计算机12051将车辆12100附近的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和难以视觉识别的障碍物。然后，微型计算机12051可以确定指示与每个障碍物碰撞的风险的程度的碰撞风险，并且当碰撞风险具有等于或大于设定值的值并且存在碰撞可能性时，微型计算机12051可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警告并且通过驱动系统控制单元12010执行强制减速或躲避转向来执行用于防碰撞的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定在成像单元12101至12104的捕获图像中是否存在行人来识别行人。例如，通过提取作为红外相机的成像单元12101至12104的捕获图像中的特征点的过程和对指示对象的轮廓的一系列特征点执行图案匹配处理并且确定对象是否是行人的过程来执行这种行人识别。当微型计算机12051确定在成像单元12101至12104的捕获图像中存在行人并且识别到行人时，音频图像输出单元12052控制显示单元12062，使得识别到的行人叠加并以正方形轮廓线显示以用于强调。此外，音频图像输出单元12052可控制显示单元12062，使得在期望的位置处显示指示行人等的图标。
上面已经描述了应用根据本公开的技术的车辆控制系统的示例。本公开的技术可以应用于上述配置中的成像单元12031等。具体而言，图1和图2中的固态成像装置101和1以及图1中的信号处理电路105可应用于成像单元12031。通过将根据本公开内容的技术应用于成像单元12031，可以获得更清晰的捕获图像，使得可以减少驾驶员疲劳。
<4.内窥镜手术系统的应用示例>
根据本公开的技术(本技术)可应用于例如内窥镜手术系统。
图26是示出根据本公开的技术(本技术)可应用于的内窥镜手术系统的示意性配置的示例的示图。
图26示出外科医生(医生)11131通过使用内窥镜手术系统11000对病床11133上的患者11132进行手术操作的情况。如图所示，内窥镜手术系统11000包括内窥镜11100、气腹管11111、通电用治疗器具11112等其他手术器具11110、支承内窥镜11100的支承臂装置11120、以及具有各种内窥镜手术用装置的手推车11200。
内窥镜11100包括透镜镜筒11101和连接到透镜镜筒11101的近端的相机头11102，透镜镜筒11101的从远端具有预定长度的区域被插入到患者11132的体腔中。虽然在图示的示例中示出被配置为具有刚性透镜镜筒11101的所谓的刚性镜的内窥镜11100，但是内窥镜11100可被配置为具有柔性透镜镜筒的所谓的柔性镜。
在透镜镜筒11101的远端设置有装配物镜的开口。光源装置11203连接到内窥镜11100，并且由光源装置11203产生的光通过延伸到透镜镜筒11101内部的导光板被引导至透镜镜筒的远端，并且经由物镜朝向患者11132的体腔中的观察对象照射。内窥镜11100可以是直视型内窥镜，也可以是透视型内窥镜或侧视型内窥镜。
光学系统和成像元件被设置在相机头11102的内部，并且来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。通过成像元件对观察光进行光电转换，生成与该观察光对应的电信号、即与观察图像对应的图像信号。图像信号被作为RAW数据发送至照相机控制单元(CCU)11201。
CCU11201由中央处理单元(CPU)、图形处理单元(GPU)等构成，并且全面地控制内窥镜11100和显示装置11202的操作。此外，CCU 11201从相机头11102接收图像信号，并且基于图像信号执行用于显示图像的各种类型的图像处理，例如，对图像信号的显影处理(去马赛克处理)。
显示装置11202在CCU11201的控制下基于已经经过CCU11201图像处理的图像信号来显示图像。
光源装置11203由例如发光二极管(LED)等光源构成，将在对手术部等成像时的照射光提供到内窥镜11100。
输入装置11204是用于内窥镜手术系统11000的输入接口。用户能够经由输入装置11204向内窥镜手术系统11000输入各种信息或指令。例如，用户输入用于改变内窥镜11100的成像条件(照射光的类型、倍率、焦距等)的指令。
治疗器具控制装置11205控制用于对组织进行烧灼、切开、封闭血管等的通电用治疗器具11112的驱动。为了确保内窥镜11100的视野并确保手术医生的操作空间，气腹装置11206经由气腹管11111向患者11132的体腔内输送气体以使体腔膨胀。记录器11207是可以记录与手术有关的各种类型的信息的装置。打印机11208是能够以诸如文本、图像和图形的各种格式打印与手术有关的各种类型的信息的装置。
向内窥镜11100提供用于对手术部位成像的照射光的光源装置11203，例如可以由LED、激光光源、或它们的组合构成的白色光源构成。当由RGB激光源的组合形成白光源时，可以高精度地控制每种颜色(每种波长)的输出强度和输出时序，并且因此，光源装置11203调整捕获图像的白平衡。此外，在这种情况下，来自各个RGB激光源中的每个的激光以时分方式被照射至观察目标，并且与照射时序同步地控制相机头11102的成像元件的驱动，使得可以以时分方式捕获与各个RGB对应的图像。根据该方法，不用对成像元件设置滤色器，就能够得到彩色图像。
此外，可以控制光源装置11203的驱动以便以预定的时间间隔改变输出光的强度。相机头11102的成像元件的驱动与光强度的改变的时序同步地被控制，从而以时分方式获取图像，并且合成图像，由此能够在没有曝光不足或过度曝光的情况下以高动态范围生成所谓的图像。
另外，光源装置11203也可以具有能够提供与特殊光观察对应的规定波段的光的配置。在特殊光观察中，例如，通过利用生物体组织的光吸收的波长依赖性来发射出比通常观察时的照射光(即白色光)窄的频带的光，来进行以高对比度对粘膜表层的血管等规定的组织进行成像的所谓的窄频带光观察(窄频带成像)。或者，在特殊光观察中，也可以进行通过射出激发光而生成的荧光来获取图像的荧光观察。荧光观察可以通过向身体组织发射激发光，并且从身体组织观察荧光(自发荧光观察)，或者将诸如吲哚菁绿(ICG)的试剂局部注入到身体组织，并且向身体组织发射与试剂的荧光波长对应的激发光以获得荧光图像来执行。光源装置11203能够提供与这样的特殊光观察对应的窄频带光和/或激发光。
图27是示出图26中示出的相机头11102和CCU11201的功能配置的示例的框图。
相机头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和相机头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412、以及控制单元11413。相机头11102和CCU11201彼此连接，使得它们可以经由传输电缆11400彼此通信。
透镜单元11401是设置在用于与透镜镜筒11101连接的部分处的光学系统。从透镜镜筒11101的尖端拍摄的观察光被引导至相机头11102并且入射在透镜单元11401上。透镜单元11401由包括变焦透镜和聚焦透镜的多个透镜的组合构成。
成像单元11402由成像元件构成。构成成像单元11402的成像元件可以是一个元件(所谓的单板型)或多个元件(所谓的多板型)。当成像单元11402被配置为多板型时，例如，对应于RGB的图像信号由成像元件生成，并且可通过合成图像信号获得彩色图像。或者，成像单元11402可被配置为包括用于获取与三维(3D)显示相应的右眼和左眼的图像信号的一对成像元件。在进行3D显示时，外科医生11131能够更准确地掌握手术部位中的生物体组织的深度。这里，当成像单元11402被配置为多板型时，可根据成像元件设置多个透镜单元11401。
此外，成像单元11402可不必设置在相机头11102中。例如，成像单元11402可紧接物镜之后设置在透镜镜筒11101内部。
驱动单元11403由致动器构成，并且在相机头控制单元11405的控制下将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。由此，可适当地调整由成像单元11402捕获的图像的倍率和聚焦。
通信单元11404由用于向CCU 11201发送各种信息或者从CCU 11201接收各种信息的通信装置构成。通信单元11404经由传输电缆11400将从成像单元11402获得的图像信号作为RAW数据传输至CCU11201。
此外，通信单元11404从CCU 11201接收用于控制相机头11102的驱动的控制信号，并且将控制信号提供至相机头控制单元11405。控制信号包括例如关于成像条件的信息，诸如指示指定捕获图像的帧速率的信息、指示指定成像时的曝光值的信息和/或指示指定捕获图像的放大倍率和焦点的信息。
要注意的是，成像条件(例如，帧速率、曝光值、放大率以及聚焦)可以由用户适当地指定，或者可以基于所获取的图像信号由CCU 11201的控制单元11413自动设置。在后者的情况下，在内窥镜11100中提供所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
相机头控制单元11405基于经由通信单元11404接收的来自CCU11201的控制信号控制相机头11102的驱动。
通信单元11411由用于向和从相机头11102发送和接收各种信息的通信装置构成。通信单元11411经由传输电缆11400接收从相机头11102传输的图像信号。
此外，通信单元11411向相机头11102发送用于控制相机头11102的驱动的控制信号。图像信号或控制信号可以通过电通信、光通信等传输。
图像处理单元11412对作为从相机头11102发送的RAW数据的图像信号执行各种图像处理。
控制单元11413进行关于使用内窥镜11100的手术部位等的成像和通过对手术部位等进行成像而获得的捕获图像的显示的各种控制。例如，控制单元11413生成用于控制相机头11102的驱动的控制信号。
此外，控制单元11413使得显示装置11202基于已经经历了图像处理单元11412的图像处理的图像信号，显示通过对手术部位等进行成像而获得的捕获图像。在这种情况下，控制单元11413可使用各种图像识别技术来识别捕获图像中的各种对象。例如，当使用通电用治疗器具11112时，控制单元11413可以通过检测捕获图像中包含的对象的边缘形状和颜色来识别例如钳子的手术工具、特定的生物体部位、出血、雾沫等。当控制单元11413使显示装置11202显示所捕获的图像时，可使用识别结果使各种类型的手术支持信息与手术部位的图像叠加并显示。当手术辅助信息叠加和显示并呈现给外科医生11131时，可以减少外科医生11131的负担，并且外科医生11131可以可靠地进行手术。
将相机头11102和CCU11201彼此连接的传输电缆11400是支持电信号通信的电信号电缆、支持光学通信的光纤或者其复合电缆。
在此，在附图中示出的示例中，使用传输电缆11400以有线方式执行通信，但是相机头11102和CCU11201之间的通信可以以无线方式执行。
上面已经描述了可以应用根据本公开的技术的内窥镜手术系统的示例。根据本公开的技术可以应用于上述配置之中的相机头11102的成像单元11402和CCU11201的图像处理单元11412等。具体而言，图1和图2中的固态成像装置101和1可应用于成像单元10402，并且图1中的信号处理电路105可应用于图像处理单元11412。通过将根据本公开的技术应用于成像单元10402和图像处理单元11412，可以获得手术部位的更清晰的图像，并且因此，操作者可可靠地确认手术部位。
在此，虽然内窥镜手术系统已经被描述为示例，但是根据本公开的技术可以应用于其他，例如，显微手术系统。
本技术还可采取以下配置。
(1)一种固态成像装置，包括：像素阵列单元，多个像素单元组被布置在像素阵列单元中，像素单元组由以2×2矩阵布置的像素单元组成，像素单元由以m×n矩阵(m和n是2或更大的自然数)布置的像素组成，像素具有光电转换单元和对应于光电转换单元形成的滤色器，其中，每个像素单元组包括作为构成像素单元组的四个像素单元中的一个像素单元中的滤色器的R型滤色器、和作为四个像素单元中的两个像素单元中的滤色器的G型滤色器，并且包括B滤色器作为四个像素单元中的一个像素单元中的滤色器，并且像素单元组中的至少一个像素单元组包括具有与R滤色器，G滤色器和B滤色器中的任一个不同的透射率峰值波长的预定滤色器作为滤色器。
(2)根据(1)的固态成像装置，其中，预定滤色器的透射率峰值波长处于大于B滤色器的透射率峰值波长并且小于G滤色器的透射率峰值波长的第一范围内，或者处于大于G滤色器的透射率峰值波长并且小于R滤色器的透射率峰值波长的第二范围内。
(3)根据(2)的固态成像装置，其中，第一范围大于465nm且小于525nm，并且第二范围大于535nm且小于595nm。
(4)根据(1)或(2)的固态成像装置，其中，m和n＝2，并且一个像素单元中包括的滤色器的类型的数目是2或更小。
(5)根据(4)的固态成像装置，其中，预定滤色器包括在像素单元中，像素单元构成至少一个像素单元组的像素单元中包括R滤色器或B滤色器。
(6)根据(4)或(5)的固态成像装置，其中，预定滤色器仅包括在像素阵列单元中的所有像素单元组中的部分像素单元组中。
(7)根据(4)或(5)的固态成像装置，其中，预定滤色器包括在像素阵列单元的所有像素单元组中的每一个中。
(8)根据(7)的固态成像装置，其中，包括预定滤色器的每个像素单元在一个像素单元的两个像素中包括相同类型的预定滤色器。
(9)一种电子设备，包括：固态成像装置，固态成像装置包括其中布置有多个像素单元组的像素阵列单元，像素单元组由布置成2×2矩阵的像素单元组成，像素单元由以m×n矩阵(m和n是2或更大的自然数)布置的像素组成，像素具有光电转换单元和对应于光电转换单元形成的滤色器，每个像素单元组包括在构成像素单元组的四个像素单元中的一个像素单元中作为滤色器的R滤色器、在四个像素单元中的两个像素单元中作为滤色器的G滤色器，以及在四个像素单元中的一个像素单元中作为滤色器的B滤色器，并且像素单元组中的至少一个像素单元组包括预定滤色器作为滤色器，预定滤色器具有与R滤色器、G滤色器和B滤色器中的任一个不同的透射率峰值波长；光学透镜，在固态成像装置的成像表面上形成来自对象的图像光；以及信号处理电路，对从固态成像装置输出的信号执行信号处理。
[参考标号列表]
1固态成像装置 2基板 3像素阵列单元 4垂直驱动电路 5列信号处理电路 6水平驱动电路 7输出电路 8控制电路 9像素 10像素单元 11像素单元组 12像素驱动布线 13垂直信号线 14水平信号线 15绝缘膜 16遮光膜 17平坦化膜 18光接收层 19滤色器 20微透镜 21集光层 22布线层 23支撑基板 24光电转换单元 25像素分离单元 26滤色器阵列27微透镜阵列 28夹层绝缘膜 29布线 30马赛克图像 31图像像素 32 RGB马赛克图像 33图像像素 34 RGB马赛克图像 35图像像素 36 RGB马赛克图像 37图像像素 38 CMY马赛克图像 100电子设备 101固态成像装置 102光学透镜 103遮挡装置 104驱动电路 105信号处理电路 106入射光。

Claims (9)

1.一种固态成像装置，包括：
像素阵列单元，所述像素阵列单元中布置有多个像素单元组，所述像素单元组由以2×2矩阵布置的像素单元组成，所述像素单元由以m×n矩阵布置的像素组成(m和n是2或更大的自然数)，所述像素具有光电转换单元和对应于所述光电转换单元形成的滤色器，其中，
每个所述像素单元组：在构成所述像素单元组的四个像素单元中的一个像素单元中包括R滤色器作为所述滤色器，在所述四个像素单元中的两个像素单元中包括G滤色器作为所述滤色器，以及在所述四个像素单元中的一个像素单元中包括B滤色器作为所述滤色器，并且
所述像素单元组中的至少一个包括预定滤色器作为所述滤色器，所述预定滤色器具有与所述R滤色器、所述G滤色器和所述B滤色器中的任一个不同的透射率峰值波长。
2.根据权利要求1所述的固态成像装置，其中
所述预定滤色器的透射率峰值波长处于大于所述B滤色器的透射率峰值波长且小于所述G滤色器的透射率峰值波长的第一范围内，以及处于大于所述G滤色器的透射率峰值波长且小于所述R滤色器的透射率峰值波长的第二范围内的至少任一个范围内。
3.根据权利要求2所述的固态成像装置，其中
所述第一范围大于465nm且小于525nm，并且所述第二范围大于535nm且小于595nm。
4.根据权利要求1所述的固态成像装置，其中，
m和n＝2；以及
包括在一个像素单元中的所述滤色器的类型数量为2或更少。
5.根据权利要求4所述的固态成像装置，其中，
所述预定滤色器包括在所述像素单元中，所述像素单元在构成至少一个像素单元组的所述像素单元中包括所述R滤色器或所述B滤色器。
6.根据权利要求4所述的固态成像装置，其中，
所述预定滤色器仅包括在所述像素阵列单元中的所有所述像素单元组中的部分像素单元组中。
7.根据权利要求4所述的固态成像装置，其中，
所述预定滤色器包括在所述像素阵列单元的所有所述像素单元组中的每个像素单元组中。
8.根据权利要求7所述的固态成像装置，其中，
包括所述预定滤色器的每个所述像素单元在一个像素单元的两个像素中包括相同类型的所述预定滤色器。
9.一种电子设备，包括：
固态成像装置，所述固态成像装置包括布置有多个像素单元组的像素阵列单元，所述像素单元组由以2×2矩阵布置的像素单元组成，所述像素单元由以m×n矩阵(m和n是2或更大的自然数)布置的像素组成，所述像素具有光电转换单元和对应于所述光电转换单元形成的滤色器，每个所述像素单元组：在构成所述像素单元组的四个像素单元中的一个像素单元中包括R滤色器作为所述滤色器，在所述四个像素单元中的两个像素单元中包括G滤色器作为所述滤色器，以及在所述四个像素单元中的一个像素单元中包括B滤色器作为所述滤色器，并且所述像素单元组中的至少一个像素单元组包括预定滤色器作为所述滤色器，所述预定滤色器具有与所述R滤色器、所述G滤色器和所述B滤色器中的任一个不同的透射率峰值波长；
光学透镜，在所述固态成像装置的成像表面上形成来自对象的图像光；以及
信号处理电路，对从所述固态成像装置输出的信号执行信号处理。
CN202180014918.XA 2020-02-26 2021-01-07 固态成像装置和电子设备 Pending CN115136592A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020030457 2020-02-26
JP2020-030457 2020-02-26
PCT/JP2021/000379 WO2021171796A1 (ja) 2020-02-26 2021-01-07 固体撮像装置及び電子機器

Publications (1)

Publication Number Publication Date
CN115136592A true CN115136592A (zh) 2022-09-30

Family

ID=77491374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180014918.XA Pending CN115136592A (zh) 2020-02-26 2021-01-07 固态成像装置和电子设备

Country Status (4)

Country Link
US (1) US20230343802A1 (zh)
CN (1) CN115136592A (zh)
DE (1) DE112021001249T5 (zh)
WO (1) WO2021171796A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
JP4957413B2 (ja) * 2007-07-04 2012-06-20 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP5034936B2 (ja) * 2007-12-27 2012-09-26 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
JP2013197609A (ja) * 2012-03-15 2013-09-30 Nikon Corp 撮像装置
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ
JP2019175912A (ja) 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム

Also Published As

Publication number Publication date
DE112021001249T5 (de) 2022-12-29
US20230343802A1 (en) 2023-10-26
WO2021171796A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JPWO2019102887A1 (ja) 固体撮像素子および電子機器
WO2019220810A1 (ja) 固体撮像素子および固体撮像装置
CN110431668B (zh) 固态摄像装置和电子设备
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
US20230008784A1 (en) Solid-state imaging device and electronic device
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
WO2019220696A1 (ja) 撮像素子および撮像装置
CN114208154A (zh) 成像装置
US11889206B2 (en) Solid-state imaging device and electronic equipment
US20240030250A1 (en) Solid-state imaging device and electronic apparatus
US20230103730A1 (en) Solid-state imaging device
US20240006443A1 (en) Solid-state imaging device, imaging device, and electronic apparatus
WO2019188131A1 (ja) 半導体装置および半導体装置の製造方法
US10880503B2 (en) Solid-state image pickup device and image pickup method, and electronic apparatus
WO2022131034A1 (ja) 撮像装置
US11927622B2 (en) Semiconductor device, semiconductor testing device, and semiconductor device testing method
US20230343802A1 (en) Solid-state imaging device and electronic device
WO2023195316A1 (en) Light detecting device
WO2023195315A1 (en) Light detecting device
WO2024095832A1 (en) Photodetector, electronic apparatus, and optical element
WO2023162496A1 (ja) 撮像装置
WO2023013393A1 (ja) 撮像装置
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2024029408A1 (ja) 撮像装置
US20240153978A1 (en) Semiconductor chip, manufacturing method for semiconductor chip, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination