CN118202663A - 固态成像装置、成像系统和成像处理方法 - Google Patents

固态成像装置、成像系统和成像处理方法 Download PDF

Info

Publication number
CN118202663A
CN118202663A CN202280073690.6A CN202280073690A CN118202663A CN 118202663 A CN118202663 A CN 118202663A CN 202280073690 A CN202280073690 A CN 202280073690A CN 118202663 A CN118202663 A CN 118202663A
Authority
CN
China
Prior art keywords
photoelectric conversion
light
unit
aberration
wavelength range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280073690.6A
Other languages
English (en)
Inventor
木村胜治
村上大地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN118202663A publication Critical patent/CN118202663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种同时执行红外光和可见光的成像并且能够增强性能、减小尺寸和降低成本的固态成像装置。该固态成像装置包括透镜光学系统、第一光电转换单元、第二光电转换单元和存储单元。第一光电转换单元检测可见光并且执行光电转换。设置在与第一光电转换单元重叠的位置处的第二光电转换单元检测红外光并且执行光电转换。存储单元存储透镜光学系统中的可见光与红外光之间的焦点像差量。该固态成像装置聚焦在由第二光电转换单元检测的第二波长范围内的光的焦点处，并且然后使用存储在存储单元中的像差量作为基础来校正可见光与红外光之间的焦点像差。

Description

固态成像装置、成像系统和成像处理方法
技术领域
根据本公开的技术(本技术)涉及固态成像装置、成像系统和成像处理方法。
背景技术
最近的成像装置在像素计数方面变得越来越高，性能越高，并且尺寸越小。像素计数的这种增加和成像装置的性能的增加导致安装在成像装置上的电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)图像传感器等的功能的增加。
在这种成像装置中，根据可见光(即，红色(R)、绿色(G)和蓝色(B)光波长(在下文中，可见光))，具有感测功能(即，用于利用使用红外光的透镜聚焦的辅助光来测量长度或对象的三维(3D)感测的光电转换红外波长范围内的波长(诸如波长为840nm或940nm)的IR光(在下文中，被称为IR)的功能)的CMOS图像传感器已经被提出用于固态成像元件作为性能改进之一。
如在专利文献1和专利文献4中所公开的，提出了包括捕获RGB可见光的图像的层和捕获IR光的图像的层以能够同时捕获可见光的图像和IR光的图像的上述固态成像元件。专利文献4中公开的结构与专利文献1中公开的结构相似，但是具有针对多个可见光成像元件设置一个红外光成像元件的配置，而不是包括可见光(R、G、B)和红外光(IR)像素的配置。
然而，在关注固态成像元件的光学特性的情况下，存在这样的问题：由于透镜像差(特别是轴向色像差)的影响，聚焦位置在固态成像元件的可见光层与IR光层之间变得偏离。
为了解决上述焦点位置偏离，固态成像元件包括在透镜与固态成像元件之间切断除了可见光和IR光之外的光的双带通滤波器(DBPF)等，并且例如在专利文献2中公开的结构，其中，上述双带通滤波器的厚度改变以在成像时切换可见光和IR光的光路长度，以解决焦点位置偏离的问题。
然而，在专利文献1中公开的方法需要两个DBPF的组合，这导致DBPF厚度的增加，即，固态成像元件的高度的增加。此外，为了机械地操作两个DBPF，需要驱动单元，这导致成本增加。包括在最近的移动装置、可穿戴装置等中的固态成像装置在尺寸、高度和成本方面变得越来越小，这对专利文献1提出了挑战。
作为上述专利文献1的解决方案，专利文献2提出了以下配置：为了补偿由上述透镜引起的轴向色像差，在固态成像元件中设置存储器，每当相机启动时由CPU读取存储器，并且在成像时驱动透镜以补偿可见光与IR光之间的像差的差异。
此外，在专利文献3所公开的技术中，在外部存储装置中存储可见光与红外光之间的轴向色像差量，从外部存储装置读取轴向色像差量，利用红外光执行距离测量，并且在捕获可见光图像时驱动透镜。
作为自动聚焦和成像的另一种方法，已经提出了用激光光源照射全息图以辅助自动聚焦的方法(例如，专利文献5)。
引用列表
专利文献
专利文献1：日本专利申请公开第2017-208496号。
专利文献2：日本专利申请公开第2001-272708号。
专利文献3：日本专利申请公开第2002-182105号。
专利文献4：WO 2020/255999。
专利文献5：日本专利申请公开第2002-237990号。
发明内容
本发明要解决的问题
然而，在专利文献2中，针对可见光和红外光设置单独的成像元件，使得成本变得更高，并且在可见光的成像平面中的像差补偿的两个传感器之间的对准变得非常复杂，这使得制造复杂并且成本更高。
此外，在专利文献3中公开的方法中，需要外部存储装置，并且单独设置捕获红外光图像的固态成像元件，这导致成本增加。
此外，在专利文献5中公开的方法中，在红外光的情况下可能发生轴向色像差作为问题。此外，在激光光源是接近可见光的红色波长的光源的情况下，存在不能同时执行到对象的距离的测量和RGB图像的捕获的问题。
鉴于这种情况做出了本公开，并且因此，本公开的目的是提供允许同时捕获红外光图像和可见光图像并且允许性能提高、尺寸减小和成本降低的固态成像装置、成像系统和成像处理方法。
问题的解决方案
本公开的一个方面是一种固态成像装置，包括：透镜光学系统；第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个第一光电转换元件被配置为检测包括从对象反射的可见光的第一波长范围内的光并且执行光电转换；第二光电转换单元，设置在与第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个第二光电转换元件被配置为检测包括从对象反射的红外光的第二波长范围内的光并且执行光电转换；以及存储单元，被配置为存储透镜光学系统中的第一波长范围内的光与第二波长范围内的光之间的焦点处的像差量，其中，在聚焦由第二光电转换单元检测的第二波长范围内的光的焦点之后，基于存储在存储单元中的像差量来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
本公开的另一方面是一种成像系统，包括：照射单元，被配置为向对象发射红外光；以及成像元件，被配置为接收从对象反射的光，其中，成像元件包括：透镜光学系统；第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个第一光电转换元件被配置为检测包括从对象反射的可见光的第一波长范围内的光并且执行光电转换；第二光电转换单元，设置在与第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个第二光电转换元件被配置为检测包括从对象反射的红外光的第二波长范围内的光并且执行光电转换；以及存储单元，被配置为存储透镜光学系统中的第一波长范围内的光与第二波长范围内的光之间的焦点处的像差量，并且成像元件在聚焦在由第二光电转换单元检测的第二波长范围内的光的焦点之后，基于存储在存储单元中的像差量来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
此外，本公开的另一方面是一种成像处理方法，包括：使照射单元向对象发射红外光；使信号处理单元基于从对象反射的光而相对于对象驱动透镜光学系统，以聚焦在包括红外光的第一波长范围内的光的焦点上；以及使信号处理单元基于聚焦在第一波长范围内的光的焦点上的结果读取存储在存储单元中的像差量，并且基于像差量补偿包括可见光的第二波长范围的光与第一波长范围的光之间的焦点处的像差。
附图说明
图1是描绘应用了根据本公开的第一实施方式的成像系统的传感器系统的配置的示例的示意性配置图。
图2描绘了当根据本公开的第一实施方式的激光光源的波长具有940nm特性时的滤波器透射特性的示例。
图3是描绘根据本公开的第一实施方式的成像元件的配置的示例的示图。
图4是描绘根据本公开的第一实施方式的成像元件的半导体基板的截面结构的示例的部分纵向截面图。
图5描绘了从根据本公开的第一实施方式的激光光源以用于X的六点和用于Y的四点的图案输出红外光、通过补偿透镜调整视角并且将红外光施加至对象的示例。
图6描绘了根据本公开的第一实施方式的与成像元件的功能相对应的单独框。
图7是用于描述通过透镜的可见光和红外光的相应焦点的示图。
图8描绘了示出使用根据本公开的第一实施方式的成像元件作为目标和透镜对焦点位置进行光学模拟的结果的曲线图的示例。
图9是描绘用于成像元件的尺寸和透镜分辨率所需的圆的尺寸的焦点深度的特性图。
图10是描绘用于成像元件的尺寸和透镜分辨率所需的圆的尺寸的焦点深度的特性图。
图11是描绘在根据本公开的第一实施方式的成像元件中由负责自动聚焦和成像的应用处理器执行的处理过程的示例的流程图。
图12是描绘根据本公开的第一实施方式的第一修改的成像元件中由负责自动聚焦和成像的应用处理器执行的处理过程的示例的流程图。
图13是描绘根据本公开的第一实施方式的第二修改的成像元件中由负责自动聚焦和成像的应用处理器执行的处理过程的示例的流程图。
图14是描绘根据本公开的第二实施方式的成像元件的半导体基板的截面结构的示例的局部纵向截面图。
图15是描绘根据本公开的第三实施方式的成像元件的半导体基板的截面结构的示例的部分纵向截面图。
图16是描绘根据本公开的第四实施方式的成像元件的半导体基板的截面结构的示例的部分纵向截面图。
图17描绘了根据本公开的第五实施方式的成像元件1如何输出数据的示例。
图18A是描绘根据本公开的第六实施方式的光电检测系统的整体配置的示例的示意图。
图18B是描绘根据本公开的第六实施方式的光电检测系统的电路配置的示例的示意图。
图19是描绘应用本技术的电子装置的配置示例的框图。
图20是描绘内窥镜手术系统的概略配置的示例的示图。
图21是描绘摄像头和摄像机控制单元(CCU)的功能配置的示例的框图。
图22是描绘车辆控制系统的示意性配置的示例的框图。
图23是辅助说明车外信息检测部和成像部的安装位置的示例的示图。
具体实施方式
以下是参考附图给出的本公开的实施方式的描述。在以下描述中提及的附图的描述中，相同或相似的部分由相同或相似的参考标记表示，以避免描述冗余。然而，应当注意，附图是示意性的，并且厚度与平面尺寸之间的关系、每个装置或每个构件的厚度的比例等与实际不同。因此，具体厚度和尺寸应考虑以下描述来确定。此外，不言而喻，附图之间的尺寸关系和比例部分地不同。
此外，在以下描述中诸如向上和向下方向等的方向的定义仅是为了便于描述的定义，并且不限制本公开的技术构思。例如，不言而喻，如果在旋转90°的同时观察目标，则向上和向下方向转换为向右和向左方向，并且如果在旋转180°的同时观察目标，则向上和向下方向反转。
注意，在本说明书中描述的效果仅是示例并且不受限制，并且可以提供其他效果。
<第一实施方式>
(传感器系统的配置)
图1是描绘应用了根据本公开的第一实施方式的成像系统的传感器系统的配置的示例的示意性配置图。
根据第一实施方式的传感器系统10可以应用于包括诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)图像传感器的成像元件的成像装置。此外，传感器系统10还可以应用于包括这种成像装置的装置，例如移动终端装置。
传感器系统10包括成像元件1、透镜2、致动器3、激光光源4以及补偿透镜5。注意，传感器系统10可以至少包括成像元件1和激光光源4。在这种情况下，透镜2、致动器3和补偿透镜5可以外部连接至传感器系统10。
激光光源4发射用于测量到对象OBJ的距离或者用于生物认证的红外光。为了适当地将光发射到对象OBJ的目的，激光光源4包括补偿透镜5。此外，代替补偿透镜5，可以设置用于ToF、结构光等的光学衍射元件(在下文中，被称为DOE)。本公开适用于通过校正从激光光源4输出的光并将该光发射至对象OBJ而获得的任何点或图案，而不取决于发射光的形状。
透镜2将来自对象OBJ的光会聚在成像元件1上，以在成像元件1的像素单元100(在图3中示出)上形成图像。成像元件1是光电转换来自对象OBJ的光以捕获图像的CCD传感器、CMOS图像传感器等，并且具有根据它们相应的波长接收可见光和红外光的功能。尽管未详细示出，但是本公开在具有用R、G、B、W(白色)滤波器部分地代替R、G、B滤波器(被称为拜耳布置)的配置的成像元件中也是有用的。
通常，激光光源4使用具有相对较小太阳光谱的波长在850nm、940nm和1300nm范围内的红外光，然而，改变稍后描述的双带通滤波器(DBPF)9的特性使得能够适应任何波长。在本公开中，可以使用它而不取决于红外波长。
双带通滤波器(DBPF)9设置在成像元件1与透镜2之间，以便允许有效地捕获可见光(R、G、B)的图像和红外光(IR)的图像。图2描绘了当激光光源4的波长具有940nm特性时的滤波器透射特性的示例。如上所述，DBPF 9的特性可以根据激光光源4的波长而改变。
此外，传感器系统10包括致动器3，该致动器3相对于成像元件1向上或向下(在下文中，被称为Z轴方向)驱动透镜2，以便聚焦透镜2。透镜2与保持件(holder)集成，用于在Z轴方向上驱动的线圈安装在该保持件上。
此外，致动器3还具有通过在与成像元件1的成像表面水平的平面(在下文中，被适当地称为XY平面)的方向(在下文中，被适当地称为X轴方向或Y轴方向)上驱动来执行补偿以减少相机抖动的影响的功能。
此外，传感器系统10包括用于图像稳定的陀螺仪传感器7、用于从外部控制致动器3的自动聚焦/光学图像稳定器(OIS)驱动器LSI 6、以及用于将成像元件1的电信号输出到外部的电路板8。注意，尽管这里描述了电路板，但是电路板不必是板状板，并且可以是电路基板。
OIS是指光学图像稳定，并且是在光学系统中用于补偿相机抖动的机构。在光学图像稳定中，陀螺仪传感器7感测摄像时的振动，并且调整透镜2的位置或者调整成像元件1的位置以补偿相机抖动。在本文中，通过调整透镜2的位置来执行图像稳定。
传感器系统10包括用于电连接成像元件1和电路板8的金属线31，并且包括用于将成像元件1和电路板8固定在一起的粘合剂32。
(成像元件的配置)
图3是描绘上述成像元件1的配置的示例的示图。成像元件1例如是互补金属氧化物半导体(CMOS)图像传感器。成像元件1通过例如光学透镜系统接收来自对象的入射光(图像光)，逐像素地将成像在成像表面上的入射光转换为电信号，并且输出电信号作为像素信号。成像元件1例如可以一体地被配置为诸如CMOS LSI的片上系统(SoC)，但是例如，以下描述的一些组件也可以被配置为独立的LSI。在本公开中，成像元件1是所谓的背照式固态成像元件。在背照式固态成像元件中，外部光入射到其上的半导体基板11的表面被称为“后表面”，并且相对侧的表面被称为“前表面”。成像元件1例如在半导体基板11上包括作为成像区域的像素单元100，以及布置在像素单元100周围的垂直驱动电路111、列信号处理电路112、水平驱动电路113、输出电路114、控制电路115和输入/输出端子116。
像素单元100例如包括以矩阵图案二维布置的多个像素P。像素单元100例如设置有多个像素行和多个像素列，多个像素行包括沿行方向(示图平面中的横向方向)布置的多个像素P，多个像素列包括沿列方向(示图平面中的纵向方向)布置的多个像素P。由以矩阵图案布置的多个像素P占据的区域用作与要成像的目标空间对应的所谓的“图像高度”。在像素单元100中，例如，针对每个像素行铺设一个像素驱动线Lread(行选择线和复位控制线)，并且针对每个像素列铺设一个垂直信号线Lsig。像素驱动线Lread传输用于从每个像素P读取信号的驱动信号。多个像素驱动线Lread的相应端连接至与像素行对应的垂直驱动电路111的多个输出端子。
垂直驱动电路111包括移位寄存器、地址解码器等，并且用作例如以逐像素行为基础驱动像素单元100中的每个像素P的像素驱动单元。从由垂直驱动电路111选择性地扫描的像素行的每个像素P输出的信号通过垂直信号线Lsig中的对应一个被提供给列信号处理电路112。
列信号处理电路112包括针对每个垂直信号线Lsig设置的放大器、水平选择开关等。
水平驱动电路113包括移位寄存器、地址解码器等，并且在扫描水平选择开关的同时顺序地驱动列信号处理电路112的水平选择开关。通过水平驱动电路113的选择性扫描使得通过多个垂直信号线Lsig中的对应一个传输的来自每个像素P的信号被顺序地输出至水平信号线121，并且通过水平信号线121传输至半导体基板11的外部。
输出电路114被配置为对通过水平信号线121从每个列信号处理电路112顺序提供的信号执行信号处理并且输出结果信号。例如，存在输出电路114仅执行缓冲的情况，或者输出电路114执行黑电平调整、列变化校正、各种类型的数字信号处理等的情况。
包括垂直驱动电路111、列信号处理电路112、水平驱动电路113、水平信号线121和输出电路114的电路部分可以直接设置在半导体基板11上，或者可以布置在外部控制IC中。此外，这样的电路部分可以设置在通过电缆等连接的另一基板上。
控制电路115接收从半导体基板11的外部提供的时钟、指示操作模式的数据等，并且输出诸如作为成像元件的像素P的内部信息的数据。控制电路115进一步包括生成各种定时信号的定时发生器，并且基于由定时发生器生成的各种定时信号对诸如垂直驱动电路111、列信号处理电路112、水平驱动电路113等的外围电路执行驱动控制。
此外，本公开的成像元件1包括存储透镜2在可见光与红外光之间的焦点处的像差的信息(量)的像差补偿存储器117。存储在像差补偿存储器117中的像差量被外部应用处理器(稍后将描述细节)读取并且用于补偿可见光与红外光之间的焦点处的像差。
(成像元件的截面结构)
图4是描绘根据本公开的第一实施方式的成像元件1的半导体基板11的截面结构的示例的局部纵向截面图。如图所示，半导体基板11例如大致包括半导体支撑基板21、布线层22、IR光电转换层23、中间层24、有机光电转换层25、滤色器26和片上透镜27。
片上透镜27是用于有效地会聚通过DBPF 9从外部入射到成像元件1上的光以在IR光电转换层23和有机光电转换层25的每个像素P(即，IR光电转换元件231和有机光电转换元件251和252)上形成图像的光学透镜。片上透镜27通常针对每个像素P布置。注意，片上透镜27例如包括氧化硅、氮化硅、氧氮化硅、有机SOG、聚酰亚胺树脂、氟树脂等。
滤色器26是选择性地透射由片上透镜27会聚的光的预定波长的光的光学滤波器。在该示例中，使用选择性地透射红光(R)和绿光(G)的波长的光的两个滤色器26，但是这种配置不被解释为限制本公开。在每个像素P中，布置与红光、绿光、蓝光或红外光中的任何颜色(波长)对应的滤色器26。
有机光电转换层25是设置有机光电转换元件251和252的功能层，有机光电转换元件251和252是每个像素P的组件。有机光电转换层25包括按以下顺序堆叠的对绿光(G)敏感的有机光电转换元件251和对红光(R)敏感的有机光电转换元件252。有机光电转换元件251检测绿光(G)，执行光电转换，并且输出转换结果作为像素信号。有机光电转换元件252检测红光(R)，执行光电转换，并且输出转换结果作为像素信号。注意，入射在有机光电转换层25的入射表面上的部分光(例如，红外光)可以透射与入射表面(即，后表面)相对的表面(即，前表面)。
中间层24是设置有用于将电力和各种驱动信号传输到有机光电转换层25中的每个像素P并且传输从每个像素P读取的像素信号的电极241和布线242的层。
IR光电转换层23是设置有包括IR光电转换元件231和诸如各种晶体管的电子元件的像素电路组的功能层，IR光电转换元件231和电子元件是每个像素P的部件。IR光电转换层23的IR光电转换元件231检测通过片上透镜27和滤色器26入射的红外光(IR)，执行光电转换，并且输出转换结果作为像素信号。IR光电转换元件231和各种电子元件经由电极232和布线242电连接至中间层24的电极241，并且电连接至布线层22中的预定金属布线。
布线层22是设置有用于将电力和各种驱动信号传输至IR光电转换层23和有机光电转换层25中的每个像素P或传输从每个像素P读取的像素信号的金属布线图案的层。在该示例中，布线层22设置在半导体支撑基板21上。布线层22通常可以包括堆叠在一起的多层金属布线图案以及介于其间的层间绝缘膜。此外，根据需要，堆叠的金属布线图案例如经由通孔电连接。布线层22例如包括诸如铝(Al)或铜(Cu)的金属。另一方面，层间绝缘膜例如包括氧化硅等。
半导体支撑基板21是用于支撑半导体制造工艺中形成的各种层的基板。此外，在半导体支撑基板21中，例如，设置实现上述各种组件中的一些的逻辑电路和像差补偿存储器117。半导体支撑基板21例如包括单晶硅。
像差补偿存储器117存储透镜2和成像元件1的平面中的轴向色像差量。例如，成像元件1的中心和周边的轴向色像差量不恒定，并且从中心到周边变化。针对每个图像高度将轴向色像差量存储在像差补偿存储器117中，以补偿该变化。此外，可以针对通过存储容量成像的画面在X方向(行方向)和Y方向(列方向)上划分而获得的每个区域存储像差量，或者可替代地，透镜2通常具有从中心到周边的相同特性(在下文中，被称为图像高度)，使得可以针对每个图像高度存储像差量。
例如，图5描绘了一个示例，其中，从激光光源4以用于X的六个点和用于Y的四个点的图案输出红外光，视角由补偿透镜5调整，并且红外光被施加至对象OBJ，并且成像元件1的透镜2用作适于发射红外光的角度的透镜2，并且可见光和从对象OBJ反射的红外光由成像元件1接收。在该示例中，由于激光光源4具有6×4的24个点，因此仅需要将成像元件1的区域也划分为用于X的六个区域和用于Y的四个区域，并且存储每个区域的稍后描述的像差的信息(量)。
在通过DOE等发射激光光源4的输出的情况下，点的数量增加，使得可以增加图5中的上述X和Y区域，或者可替代地，可以针对距中心的每个图像高度存储稍后描述的像差的信息(量)。
图6描绘了与成像元件1的功能对应的单独框。成像元件包括用于可见光的R、G、B滤色器26，包括各自接收对应光波长的光的光电二极管(PD)311、312和313以及接收红外光的PD 314，并且包括放大器321、322、323和324以及相关双采样(CDS)和A/D电路331、332、333和334，放大器321、322、323和324各自将来自PD中的对应一个的模拟信号放大到预定信号电平，相关双采样(CDS)和A/D电路331、332、333和334各自采样由放大器321、322、323、324中的对应一个放大器放大的模拟信号以将该模拟信号转换为数字信号。然后，成像元件1包括用于将数字信号输出到外部的应用处理器40等的输出I/F电路34。输出I/F电路34具有从应用处理器40接收控制信号并将控制内容传递至包括在成像元件1中的传感器控制电路35的功能。传感器控制电路35是控制传感器的驱动频率、曝光时间等的电路，并且该电路是具有以下功能的电路：从包括在成像元件1中的像差补偿存储器117和图像质量调整存储装置36读取所需信息，并且根据需要将信息写入像差补偿存储器117和图像质量调整存储装置36。
接下来，将描述具有上述功能的成像元件1中的透镜2的像差补偿。图8描绘了示出使用图7中的成像元件1作为目标和多个透镜对焦点位置进行光学模拟的结果的曲线图的示例。垂直轴表示图像高度，并且水平轴表示红色(R)、绿色(G)、蓝色(B)和红外(IR)的每个光波长的焦点。图中用实线表示红色，图中用点划线表示绿色，图中用粗虚线表示蓝色，图中用细虚线表示红外。
从图8中可以看出，严格地说，R、G、B和IR具有不同的焦点，并且例如，在关注图像高度0(IH 0.00)的情况下，如果G的光波长被认为是零，则蓝色向上偏离4μm，红色向下偏离8μm，并且红外(IR)相对于成像元件表面向下偏离24μm。这被称为轴向色像差。
在此处，图9(a)示出了在成像元件1的尺寸(即，透镜分辨率所需要的圆形尺寸(在下文中，被称为容许混乱圆(permissible circle of confusion)))是1.4μm的情况下的焦点深度，并且透镜的F数为2，并且通过以下计算表达式来计算焦点深度：
焦点深度＝±εF(ε：容许混乱圆，F：透镜的F数)。
图9(a)中的虚线之间的范围表示相对于传感器表面的焦点深度，并且甚至考虑到焦点深度，G、R的焦点在增加高度0(IH 0.00)处彼此重叠，但是R甚至考虑到焦点深度而偏离，并且可以看出IR大大偏离。
图9(b)对应于光学模拟示例，其中，稍后描述的红外光像素包括比可见光像素的成像元件更大的成像元件，并且示出了在成像元件具有1.4μm的尺寸并且IR元件具有5.6μm的尺寸的情况下的焦点深度。与图9(a)相比，可以看出，R、G、B的焦点深度没有变化，但是IR的焦点深度增加。然而，即使利用这种成像元件，也可以看出光波长的相应焦点深度彼此不一致。
以上是对以下情况的描述：除非使用诸如增加透镜配置的数量或增加透镜配置尺寸的昂贵透镜，否则光波长的相应焦点深度彼此不一致。这里，成像元件1的R、G、B滤色器26的布置通常是通常被称为拜耳的马赛克阵列，并且已知针对G的光波长布置的元件的数量是R元件或B元件的数量的两倍。因此，R和B不需要与G一样高的分辨率，并且通常根据元件的数量的倒数2.8μm计算。图10是具有利用G＝1.4μm、R＝B＝2.8μm和IR＝5.6μm计算的容许混乱圆的曲线图。
如以上参考图9(a)、图9(b)和图10所描述的，根据这种光学模拟等，在任何一种情况下，由于轴向色像差的影响，焦点深度针对每个光波长而不同，并且例如，当基于G调整透镜聚焦时，R和IR散焦，并且相反，当基于IR调整透镜聚焦时，R、G和B散焦。此外，在每个图中，可以看出，轴向色像差的细节根据透镜2的图像高度而不同。这意味着，例如，与基于G的光波长调整透镜聚焦的图像高度0相比，G像素的焦点和IR的焦点在图像高度9处彼此偏离。
(成像处理)
图11是描绘在成像元件1中由负责自动聚焦和成像的应用处理器40执行的处理过程的示例的流程图。
首先，应用处理器40使激光光源4发射红外光以辅助距离测量或自动聚焦(步骤ST11a)。然后，成像元件1通过透镜2和DBPF 9捕获从对象OBJ反射的光的图像。通常，对于成像元件1，诸如本文中的相机或移动终端，用户指定对象的焦点，或者相机或移动终端自动指定成像区域中的焦点。
此后，应用处理器40控制激光光源4的驱动以发射红外光，通过使用从对象OBJ反射的光(在图11中，例如，绿光)，通过使用对比度、相位差、ToF、结构光系统等(未详细描述)控制致动器3用于聚焦来驱动透镜2执行自动聚焦(步骤ST11b)，并且获得在由成像元件1的IR光电转换层23检测的红外光的焦点上的聚焦(步骤ST11c)。
由于上述聚焦透镜2的自动聚焦位置是红外光的焦点，因此应用处理器40从像差补偿存储器117读取预先存储的轴向色像差量(步骤ST11d)，并且根据像差量控制致动器3以移动透镜2(步骤ST11e)。这里，针对每个图像高度将轴向色像差的差异存储在像差补偿存储器117中，并且可以使用焦点(即，成像区域中的焦点)处的像差量。
然后，以像差量驱动透镜2，并且成像元件1捕获可见光的图像(步骤ST11f)。此时，应用处理器40控制成像元件1捕获可见光的图像。
<通过第一实施方式产生的效果>
如上所述，根据第一实施方式，将用于可见光的有机光电转换层25和用于红外光(IR)的IR光电转换层23设置在同一半导体基板11中，以便在厚度方向上彼此对准，并且将存储可见光与红外光之间的焦点处的像差量的像差补偿存储器117设置在半导体基板11的半导体支撑基板21中。因此，可以在成像元件1的半导体基板11的成像表面上的相同位置处同时获取可见光图像和红外光图像，并且此外，使用存储在像差补偿存储器117中的像差量来补偿聚焦之后的可见光与红外光之间的焦点处的像差的简单步骤使得可以实现允许在防止可见光与红外光之间的焦点差异的同时提高性能、减小尺寸以及降低成本的成像元件1。
此外，根据第一实施方式，致动器3响应于相机抖动在X轴方向(行方向)和Y轴方向(列方向)中的至少一个方向上驱动透镜2，使得可以补偿相机抖动。
此外，根据第一实施方式，在设置像素P的位置处或在像素P的位置处针对每个图像高度将像差量存储在像差补偿存储器117中，使得即使在像差以根据图像高度的方式变化的情况下，也能够根据图像高度有效地补偿像差。
此外，根据第一实施方式，由于可以同时获取可见光图像和红外光图像，因此可以确定对象OBJ的颜色，并且从像差补偿存储器117读取与对象OBJ的颜色相对应的像差量，并且使用该像差量来补偿对象OBJ的颜色分量的光与红外光之间的焦点处的像差，使得可以以简单方式和短时间捕获适当聚焦的图像。
注意，根据第一实施方式，也可以通过根据与对象OBJ的颜色相对应的像差量来控制致动器3以在聚焦方向(Z轴方向)上驱动透镜2来补偿对象OBJ的颜色分量的光与红外光之间的焦点处的像差。
注意，致动器3具有控制X轴方向(行方向)和Y轴方向(列方向)以补偿由拍摄者引起的相机抖动的功能。
<第一实施方式的第一修改>
图12是描绘根据第一实施方式的第一修改的成像元件1中由负责自动聚焦和成像的应用处理器40执行的处理过程的示例的流程图。
例如，根据第一实施方式，补偿可见光的绿光波长与红外光之间的轴向色像差量，然而，成像元件1可以同时捕获红外光的图像和可见光的图像，使得可以确定对象的颜色。这里，根据第一修改，对象OBJ主要由红光波长占主导地位，并且在这种情况下，可以捕获通过使用红色光波长与红外光波长之间的像差适当聚焦的图像。
首先，应用处理器40使激光光源4发射红外光以辅助距离测量或自动聚焦(步骤ST12a)。然后，成像元件1通过透镜2和DBPF 9捕获从对象OBJ反射的光的图像。
此后，应用处理器40控制激光光源4的驱动以发射红外光，通过使用从对象OBJ反射的光(在图12中，例如，红光)，通过使用对比度、相位差、ToF、结构光系统等(未详细描述)控制致动器3用于聚焦来驱动透镜2执行自动聚焦(步骤ST12b)，并且获得在由成像元件1的IR光电转换层23检测的红外光的焦点上的聚焦(步骤ST12c)。
由于上述聚焦透镜2的自动聚焦位置是红外光的聚焦点，因此应用处理器40从像差补偿存储器117读取预先存储的关于轴向色度的量的数据(步骤ST12d)，并且根据像差量控制致动器3以移动透镜2(步骤ST12e)。这里，针对每个图像高度将轴向色像差的差异存储在像差补偿存储器117中，并且可以使用焦点(即，成像区域中的焦点)处的像差量。
然后，以像差量驱动透镜2，并且成像元件1捕获可见光的图像(步骤ST12f)。此时，应用处理器40控制成像元件1捕获可见光的图像。
<通过第一实施方式的第一修改产生的效果>
如上所述，第一实施方式的第一修改产生与通过上述第一实施方式产生的效果类似的效果。
<第一实施方式的第二修改>
图13是描绘根据第一实施方式的第二修改的成像元件1中由负责自动聚焦和成像的应用处理器40执行的处理过程的示例的流程图。
例如，在上述第一实施方式中，使用可见光的绿光波长与红外光之间的像差量，并且在第一实施方式的第一修改中，使用可见光的绿光波长与红外光之间的像差量，但是在第二修改中，使用所有存储的像差量的可见光数据来执行补偿。在第二修改中，从焦点深度，蓝色可见光和绿色可见光在深度上彼此大部分重叠，但是可以看出，蓝色可见光和绿色可见光稍微偏离预期的聚焦位置。红色可见光与绿色可见光的重叠较小，因此在该重叠部分中对透镜2的调整需要高精度。
因此，在第二修改中，分别捕获可见光的图像(即，每个可见光的图像)和红外光的图像。首先，应用处理器40使激光光源4发射红外光以辅助距离测量或自动聚焦(步骤ST13a)。然后，成像元件1通过透镜2和DBPF 9捕获从对象OBJ反射的光的图像。
此后，应用处理器40控制激光光源4的驱动以发射红外光，通过使用从对象OBJ反射的光(在图13中，例如，红光、绿光和蓝光)，通过使用对比度、相位差、ToF、结构光系统等(未详细描述)控制致动器3用于聚焦来驱动透镜2执行自动聚焦(步骤ST13b)，并且获得在由成像元件1的IR光电转换层23检测的红外光的焦点上的聚焦(步骤ST13c)。
由于上述聚焦透镜2的自动聚焦位置是红外光的聚焦点，因此应用处理器40从像差补偿存储器117读取预先存储的红外光与蓝光之间的轴向色像差量(步骤ST13d)，并且根据像差量控制致动器3以移动透镜2(步骤ST13e)。这里，针对每个图像高度将轴向色像差的差异存储在像差补偿存储器117中，并且可以使用焦点(即，成像区域中的焦点)处的像差量。
然后，以像差量驱动透镜2，并且成像元件1捕获可见光的图像，并且将所得像素信号(成像数据)输出至应用处理器40(步骤ST13f)。此时，应用处理器40控制成像元件1捕获可见光的图像。
接下来，应用处理器40从像差补偿存储器117读取预先存储的红外光与绿光之间的轴向色像差量(步骤ST13g)，并且根据像差量控制致动器3以移动透镜2(步骤ST13h)。
然后，以像差量驱动透镜2，并且成像元件1捕获可见光的图像，并且将所得像素信号(成像数据)输出至应用处理器40(步骤ST13j)。
接下来，应用处理器40从像差补偿存储器117读取预先存储的红外光与红光之间的轴向色像差量(步骤ST13j)，并且根据像差量控制致动器3以移动透镜2(步骤ST13k)。
然后，以像差量驱动透镜2，并且成像元件1捕获可见光的图像，并且将所得像素信号(成像数据)输出至应用处理器40(步骤ST13l)。
此后，应用处理器40组合从成像元件1输出的蓝光的成像数据、绿光的成像数据和红光的成像数据(步骤ST13m)。
在第二修改中，由于需要3次成像，因此为了减少数据量，成像元件1被配置为仅输出蓝色像素、绿色像素或红色像素的数据，从而允许减少数据量。
此外，通过使用第二修改的方法，使得即使使用廉价且具有轴向色像差的透镜2，也能够进行虽然成像花费时间但所有可见光聚焦的成像。
注意，第一实施方式是存储包括红色、绿色和蓝色的基色的可见光与红外光之间的像差量的示例，但是在补色的情况下，成像元件1的滤色器例如也可以适用于黄色、紫色、绿色和品红色。此外，为了降低像差补偿存储器117的容量，与透镜性能相比，可以仅存储可见光与红外光之间的一个像差量。
即，本公开的特征在于，成像元件1能够同时捕获可见光的图像和红外光的图像，而不管颜色如何，存储针对可见光与红外光之间的每个增加高度的至少一个像差量，驱动透镜2以补偿该像差量，并且执行合适的成像。
<通过第一实施方式的第二修改产生的效果>
如上所述，根据第一实施方式的第二修改，即使在使用具有轴向色像差的廉价的透镜作为透镜2的情况下，也能够使所有可见光聚焦执行成像。
<第二实施方式>
图14是描绘根据本公开的第二实施方式的成像元件1A的半导体基板11的截面结构的示例的局部纵向截面图。在图14中，与上述图4中的组件相同的组件由相同的参考标记表示，并且省略其详细描述。
根据第一实施方式的成像元件1与根据第二实施方式的成像元件1A的不同之处在于包括激光光源4和补偿透镜5的投影仪的配置。例如，对于被称为ToF的方法，通常使用像成像元件1的结构，通过该方法使用光学衍射元件等将从投影仪发射的红外光应用为特定图案，并且根据该图案的形状执行距离测量。在成像元件1中，红外光像素和可见光像素(即，RGB像素)具有相同的尺寸，并且使用红外光的距离测量的精度与使用可见光像素的距离测量的精度相同，使得可以实现高精度聚焦。
在本公开的第二实施方式中，由于红外光像素(IR光电转换元件231A)具有4×4可见光像素P的尺寸，使得红外光像素的灵敏度高，即，能够测量更长的距离。
<通过第二实施方式产生的效果>
如上所述，在第二实施方式中，由于红外光像素(IR光电转换元件231A)具有4×4可见光像素P的尺寸，使得红外光像素的灵敏度高，即，能够测量更长的距离。
<第三实施方式>
图15是描绘根据本公开的第三实施方式的成像元件1B的半导体基板11的截面结构的示例的局部纵向截面图。在图15中，与上述图4中的组件相同的组件由相同的参考标记表示，并且省略其详细描述。
在来自上述投影仪的红外光用作辅助光的情况下，红外光像素(IR光电转换元件231A)能够检测相位差的结构是有效的。在本公开的第三实施方式中，针对中间层24中的每个可见光像素P设置遮光膜243，以对可见光像素P进行半遮光或分割，以使可见光像素P用作相位差像素，从而允许利用可见光和红外光两者执行距离测量。这种结构允许提高距离测量的精度。
<通过第三实施方式产生的效果>
如上所述，根据第三实施方式，针对每个可见光像素P设置遮光膜243，以使可见光像素用作相位差像素，从而允许利用可见光和红外光两者执行距离测量，并且允许提高距离测量的精度。
<第四实施方式>
图16是描绘根据本公开的第四实施方式的成像元件1C的半导体基板11的截面结构的示例的局部纵向截面图。在图16中，与上述图14中的组件相同的组件由相同的参考标记表示，并且省略其详细描述。
在本公开的第四实施方式中，针对中间层24中的每个可见光像素P设置遮光膜243，以对可见光像素P进行半遮光或分割，以使可见光像素P用作相位差像素，从而允许利用可见光和红外光两者执行距离测量。
<通过第四实施方式产生的效果>
如上所述，第四实施方式产生与通过上述第二实施方式和第三实施方式产生的效果类似的效果。
<第五实施方式>
图17描绘了根据本公开的第五实施方式的成像元件1如何输出数据的示例。成像元件1负责使用红外光进行距离测量和自动聚焦。为此目的，成像元件1通过输出I/F电路34将通过光电转换红外光而获得的数据输出到诸如应用处理器40的外部装置。应用处理器40从接收的红外光成像数据计算到对象OBJ的距离，并且驱动致动器3以执行用于聚焦的自动聚焦。
成像元件1通过输出I/F电路34将预先存储在像差补偿存储器117中的红外光与可见光之间的像差量作为数据输出至应用处理器40。本公开的第五实施方式是在成像帧的垂直消隐时段中顺序地输出红外光图像输出的示例。成像帧由多个像素P构成。在应用处理器40具有足够存储容量的情况下，当成像元件1通电时或者当整个装置(诸如移动终端)被调整时，存储在成像元件1中的像差量可以被共同发送并存储在应用处理器40的存储装置中。
在接收到像差量时，应用处理器40为了下一次捕获可见光图像，根据像差量驱动透镜2以准备捕获可见光图像。透镜2在与可见光对应的位置处聚焦，并且成像元件1将通过光电转换可见光获得的图像数据输出至应用处理器40。
本公开的第五实施方式是分别输出红外光和可见光的示例，但是在通过基于与可见光的图像对比度确定聚焦来提高自动聚焦的精度的系统的情况下，可以在聚焦之前和聚焦之后输出红外光和可见光两者。
<通过第五实施方式产生的效果>
如上所述，根据第五实施方式，使用红外图像的成像帧的垂直消隐时段，使应用处理器40执行用于读取像差补偿存储器117上的像差量的控制和用于驱动致动器3上的透镜2的控制，使得可以在执行捕获红外光的图像和可见光的图像的处理的同时，补偿可见光与红外光之间的焦点处的像差，并且因此允许减少成像处理时间。
注意，在第五实施方式中，已经描述了使用红外图像的成像帧的垂直消隐时段的示例，但是也可以实现使用红外图像的成像帧的水平消隐时段的示例。
<其他实施方式>
如上所述，通过第一实施方式至第五实施方式以及第一实施方式的第一修改和第二修改描述了本技术，但是不应当理解，构成本公开的一部分的说明书和附图限制本技术。对本领域技术人员显而易见的是，当理解上述第一实施方式至第五实施方式以及第一实施方式的第一修改和第二修改中公开的技术内容的主旨时，各种替代实施方式、示例以及操作技术可以包括在本技术中。此外，在不发生矛盾的范围内，可以适当地组合在第一实施方式至第五实施方式以及第一实施方式的第一修改和第二修改中公开的配置。例如，可以组合在多个不同实施方式中公开的配置，或者可以组合在相同实施方式的多个不同修改中公开的配置。
<光电检测系统的应用示例>
图18A是描绘根据本公开的第六实施方式的光电检测系统401的整体配置的示例的示意图。图18B是描绘光电检测系统401的电路配置的示例的示意图。光电检测系统401包括用作发射红外光L2的光源单元的发光装置410和用作包括光电转换元件的光接收单元的成像元件420。作为成像元件420，可以使用上述的成像元件1。光电检测系统401可以进一步包括系统控制单元430、光源驱动单元440、传感器控制单元450、光源侧光学系统460和相机侧光学系统470。
成像元件420可以检测光L1和光L2。光L1是当外部环境光被对象(测量目标)400(图18A)反射时获得的光。光L2是当从发光装置410发射的光从对象400反射时获得的光。光L1例如是可见光，并且光L2例如是红外光。光L1可以通过成像元件420中的有机光电转换单元检测，并且光L2可以通过成像元件420中的光电转换单元检测。可以从光L1获得关于对象400的图像信息，并且可以从光L2获得对象400与光电检测系统401之间的距离信息。光电检测系统401可以例如安装在电子装置(诸如智能电话)或移动体(诸如汽车)上。发光装置410可以例如包括半导体激光器、表面发射半导体激光器或垂直腔表面发射激光器(VCSEL)。作为利用成像元件420检测从发光装置410发射的光L2的方法，例如，可以采用iTOF方法，但该方法不限于iTOF方法。iTOF方法允许光电转换单元例如基于飞行时间(TOF)来测量到对象400的距离。作为用于利用成像元件420检测从发光装置410发射的光L2的方法，例如，还可以采用结构光方法或立体视觉方法。例如，结构光方法允许通过将预定图案的光投影到对象400上并分析该图案的失真程度来测量光电检测系统401与对象400之间的距离。此外，立体视觉方法允许通过使用例如两个或更多个相机获取从两个或更多个不同的视点观察对象400时对象400的两个或更多个的图像来测量光电检测系统401与对象之间的距离。注意，发光装置410和成像元件420可以由系统控制单元430同步控制。
<电子装置的应用示例>
图19是描述应用本技术的电子装置2000的配置示例的框图。电子装置2000例如具有相机的功能。
电子装置2000包括：光学单元2001，包括透镜组等；成像元件2002，应用上述成像元件1(在下文中，被称为成像元件1等)；以及数字信号处理器(DSP)电路2003，其为相机信号处理电路。此外，电子装置2000进一步包括帧存储器2004、显示单元2005、记录单元2006、操作单元2007和电源单元2008。DSP电路2003、帧存储器2004、显示单元2005、记录单元2006、操作单元2007和电源单元2008通过总线2009彼此连接。
光学单元2001捕获来自对象的入射光(图像光)，并在成像元件2002的成像表面上形成图像。成像元件2002将由光学单元2001形成在成像表面上的图像的入射光的量逐像素地转换为电信号，并将该电信号作为像素信号输出。
显示单元2005例如包括面板型显示装置，诸如液晶面板或有机EL面板，并且显示由成像元件2002捕获的运动图像或静止图像。记录单元2006将由成像元件2002捕获的运动图像或静止图像记录在诸如硬盘或半导体存储器的记录介质中。
操作单元2007在用户操作下发出用于电子装置2000的各种功能的操作命令。电源单元2008适当地提供用作DSP电路2003、帧存储器2004、显示单元2005、记录单元2006以及操作单元2007的操作电源的各种电源以向目标供电。
如上所述，通过使用上述成像元件1等作为成像元件2002，可以期望获得满意的图像。
<内窥镜手术系统的应用示例>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
图20是描绘可以应用根据本公开的实施方式的技术(本技术)的内窥镜手术系统的示意性配置的示例的示图。
在图20中，示出了外科医生(医师(medical doctor))11131正在使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111和能量装置11112的其他手术工具11110、支撑内窥镜11100的支撑臂设备11120、以及安装有用于内窥镜手术的各种设备的推车11200。
内窥镜11100包括其远端的预定长度的区域插入到患者11132的体腔中的透镜镜筒11101和连接到透镜镜筒11101的近端的摄像头11102。在图示的示例中，描绘了内窥镜11100，该内窥镜11100包括作为具有硬性类型的透镜镜筒11101的硬性内窥镜。然而，内窥镜11100可以另外包括作为具有柔性类型的透镜镜筒11101的柔性内窥镜。
透镜镜筒11101在其远端具有安装物镜的开口。光源设备11203连接到内窥镜11100，使得通过在透镜镜筒11101内延伸的光导将由光源设备11203产生的光引入到透镜镜筒11101的远端并通过物镜照射向患者11132的体腔的观察目标。应注意，内窥镜11100可以是直视内窥镜或可以是斜视内窥镜或侧视内窥镜。
光学系统和图像拾取元件设置在摄像头11102的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在图像拾取元件上。观察光通过图像拾取元件光电转换来产生对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为RAW数据传输到CCU 11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等，并且集成控制内窥镜11100和显示设备11202的操作。此外，CCU 11201接收来自摄像头11102的图像信号并对图像信号进行各种图像处理用于基于图像信号显示图像，例如显影处理(去马赛克处理)。
显示设备11202在CCU 11201的控制下在其上显示基于图像信号的图像，对该图像信号已经通过CCU 11201进行了图像处理。
光源设备11203例如包括光源，诸如发光二极管(LED)，并将成像手术区域时的照射光提供给内窥镜11100。
输入设备11204是内窥镜手术系统11000的输入接口。用户可以通过输入设备11204进行输入，将各种信息或指令输入到内窥镜手术系统11000中。例如，用户输入改变内窥镜11100的图像拾取条件(照射光的类型、倍率、焦距等)的指令。
治疗工具控制设备11205控制能量装置11112的驱动以用于烧灼或切割组织、封闭血管等。气腹设备11206通过气腹管11111向患者11132的体腔中进料气体来使体腔充气以确保内窥镜11100的视野和确保外科医生的工作空间。记录仪11207是能够记录与手术有关的各种信息的设备。打印机11208是能够将与手术有关的各种信息通过诸如文本、图像或图表的各种形式打印的设备。
另外，在将成像手术区域时的照射光提供给内窥镜11100的光源设备11203可以包括白色光源，包括例如LED、激光源或它们的组合。在白色光源包括红色、绿色和蓝色(RGB)激光光源的组合的情况下，由于可以通过高精确度地控制每种颜色(每种波长)的输出强度和输出时间，因此可以通过光源设备11203进行拾取图像的白平衡的调整。此外，在这种情况下，如果来自相应RGB激光光源的激光束分时地照射在观察目标上，并且与照射定时同步地控制摄像头11102的图像拾取元件的驱动，则还可以分时地拾取分别与R、G和B颜色相对应的图像。根据该方法，即使没有向图像拾取元件提供滤色器，也可以获得彩色图像。
此外，可以控制光源设备11203，使得针对每个预定时间改变要输出的光的强度。通过与光强度的改变的定时同步控制摄像头11102的图像拾取元件的驱动以分时获取图像并且合成图像，可以产生没有曝光不足阻挡阴影和曝光过度亮点的高动态范围的图像。
此外，光源设备11203可以被配置为提供准备进行特殊光观察的预定波段的光。在特殊光观察中，例如，通过利用生物体组织对光的吸收的波长依赖性来照射与通常观察时的照射光(即白色光)相比窄的频带的光，来进行以高对比度对粘膜的表层部的血管等预定组织进行成像的窄频带光观察(窄频带成像)。可替代地，在特殊光观察中，也可以进行从通过激励光的照射而产生的荧光获得图像的荧光观察。在荧光观察中，可以通过向生物体组织照射激励光来进行来自生物体组织的荧光的观察(自发荧光观察)，或者通过向生物体组织局部地注入诸如吲哚菁绿(ICG)的试剂并对生物体组织照射与试剂的荧光波长对应的激励光来获得荧光图像。光源设备11203可以被配置为提供如上所述的适合于特殊光观察的窄频带光和/或激励光。
图21是描绘在图20中描绘的摄像头11102和CCU 11201的功能配置的示例的框图。
摄像头11102包括透镜单元11401、图像拾取单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412以及控制单元11413。摄像头11102和CCU 11201通过传输电缆11400连接用于彼此通信。
透镜单元11401是光学系统，被设置在与透镜镜筒11101的连接位置处。从透镜镜筒11101的远端获取的观察光被引导至摄像头11102并被引入透镜单元11401中。透镜单元11401包括包含变焦透镜和聚焦透镜的多个透镜的组合。
图像拾取单元11402包括图像拾取元件。图像拾取单元11402所包括的图像拾取元件的数量可以是一个(单板型)或多个(多板型)。在图像拾取单元11402被配置为多板型的图像拾取单元的情况下，例如，通过图像拾取元件生成与相应R、G和B相对应的图像信号，并且图像信号可被合成以获得彩色图像。可替代地，图像拾取单元11402还可被配置为具有一对图像拾取元件，用于获取准备用于三维(3D)显示的右眼和左眼的相应图像信号。在进行3D显示的情况下，外科医生11131可以更准确地掌握手术区域中的生物体组织的深度。应注意，在图像拾取单元11402被配置为立体型的图像拾取单元的情况下，与单个图像拾取元件相应地设置多个系统的透镜单元11401。
此外，图像拾取单元11402可以不必设置在摄像头11102上。例如，图像拾取单元11402可以设置在透镜镜筒11101的内部紧接在物镜之后。
驱动单元11403包括致动器，并且在摄像头控制单元11405的控制下将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调整通过图像拾取单元11402拾取的图像的倍率和焦点。
通信单元11404包括用于将各种信息传输至CCU 11201和接收来自CCU 11201的各种信息的通信设备。通信单元11404通过传输电缆11400将从图像拾取单元11402获取的图像信号作为RAW数据传输至CCU 11201。
此外，通信单元11404接收来自CCU 11201用于控制摄像头11102的驱动的控制信号并将控制信号供应至摄像头控制单元11405。控制信号例如包括与图像拾取条件有关的信息，诸如指定拾取图像的帧速率的信息、指定图像拾取时的曝光值的信息和/或指定拾取图像的倍率和焦点的信息。
应注意，诸如帧速率、曝光值、倍率或焦点的图像拾取条件可以由用户指定或者可以基于所获取的图像信号通过CCU 11201的控制单元11413自动设置。在后一种情况下，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能结合在内窥镜11100中。
摄像头控制单元11405基于通过通信单元11404从CCU 11201接收的控制信号来控制摄像头11102的驱动。
通信单元11411包括用于将各种信息传输至摄像头11102和接收来自摄像头11102的各种信息的通信设备。通信单元11411通过传输电缆11400接收从摄像头11102传输至其的图像信号。
此外，通信单元11411将用于控制摄像头11102的驱动的控制信号传输至摄像头11102。可以通过电通信、光通信等传输图像信号和控制信号。
图像处理单元11412对从摄像头11102发送到其的RAW数据形式的图像信号执行各种图像处理。
控制部11413执行涉及内窥镜11100的手术区域等的图像拾取和通过手术区域等的图像拾取获得的拾取图像的显示的各种控制。例如，控制单元11413创建用于控制摄像头11102的驱动的控制信号。
此外，控制单元11413基于已通过图像处理单元11412进行图像处理的图像信号控制显示设备11202来显示对手术区域等进行成像的拾取图像。此时，控制单元11413可以使用各种图像识别技术来识别拾取图像中的各种对象。例如，控制单元11413可以通过检测拾取图像中包括的对象的边缘的形状、颜色等来识别诸如钳子的手术工具、特定活体区域、流血、使用能量装置11112时的雾。当控制单元11413控制显示设备11202来显示拾取图像时，控制单元11413可以使用识别结果将各种手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示并呈现给外科医生11131时，可以降低外科医生11131的负担且外科医生11131可以可靠地继续进行手术。
将摄像头11102和CCU 11201彼此连接的传输电缆11400是准备用于电信号的通信的电信号电缆、准备用于光通信的光纤或准备用于电通信和光通信两者的复合电缆。
这里，虽然在所描绘的示例中，通过使用传输电缆11400的有线通信执行通信，但是摄像头11102与CCU 11201之间的通信可以通过无线通信执行。
上面已经描述了可以应用根据本公开的技术的内窥镜手术系统的示例。根据本公开的技术可以例如应用于上述配置中的内窥镜11100、摄像头11102的图像拾取单元11402、CCU 11201的图像处理单元11412等。具体地，图1中的成像元件1可以应用于图像拾取单元10402。
应注意，在本文中，内窥镜手术系统已被描述为示例，但是根据本公开的技术也可以例如应用于显微手术系统等。
<移动体的应用示例>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的实施方式的技术可以实施为安装在任何类型的移动体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人等)上的装置。
图22是描绘作为可以应用根据本公开的实施方式的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图41所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成装置(诸如内燃机、驱动电机等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等的控制装置。
车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。例如，车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后备灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下，从作为钥匙的替代物的移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并且接收成像图像。基于所接收的图像，车外信息检测单元12030可以执行检测诸如人、车辆、障碍物、标志、路面上的文字等的对象的处理、或者检测到其的距离的处理等。
成像部12031是接收光并且输出对应于所接收的光的光量的电信号的光学传感器。成像部12031可以输出电信号作为图像，或者可以输出电信号作为关于测量距离的信息。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员成像的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元12010。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减震、基于跟随距离的跟随驾驶、维持驾驶的车辆速度、车辆碰撞的警告、车辆与车道的偏离的警告等。
另外，微型计算机12051通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息来控制驱动力生成装置、转向机构、制动装置等，可以执行用于自动驾驶的协作控制，这使得车辆不依赖于驾驶员的操作等而自动行驶。
此外，微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息，将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测的前方车辆或对面车辆的位置控制前照灯以从远光改变到近光，来执行旨在防止眩光的协作控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号发送到输出装置，该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图41的示例中，音频扬声器12061、显示部12062和仪表面板12063被示出为输出设备。显示部12062可以例如包括板上显示器和平视显示器中的至少一个。
图23是描绘成像部12031的安装位置的示例的示图。
在图23中，车辆12100包括成像部12101、12102、12103、12104和12105作为成像部分12031。
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部内的挡风玻璃的上部的位置上。设置在前鼻的成像部12101和设置在车辆内部内的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100的后部的图像。设置在车辆内部内的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图23描绘了成像部12101至12104的成像范围的示例。成像范围12111表示设置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据来获得从上方观看的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息确定在成像范围12111至12114内到每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且从而特别地提取存在于车辆12100的行驶路径上并且以与车辆12100大致相同的方向以预定速度(例如，等于或大于0千米/小时)行驶的最近的三维对象作为前方车辆。另外，微型计算机12051可以预先设置跟随距离以保持在前行车辆的前方，并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。因此，可以进行不依赖于驾驶员的操作等而使车辆自动行驶的自动驾驶用的协作控制。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息将与三维对象有关的三维对象数据分类为二轮车、标准车辆、大型车辆、行人、电线杆和其他三维对象的三维对象数据，提取分类的三维对象数据，并且将所提取的三维对象数据用于自动躲避障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驾驶系统控制单元12010执行强制减速或躲避转向。微型计算机12051可以由此辅助驾驶以避免碰撞。
成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。行人的这种识别例如通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的过程以及通过对表示对象的轮廓的一系列特征点执行图案匹配处理来确定是否是行人的过程来执行。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人并因此识别行人时，声音/图像输出部12052控制显示部12062，使得用于强调的正方形轮廓线被显示为叠加在所识别的行人上。声音/图像输出部12052还可以控制显示部12062，使得在期望位置处显示表示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以例如应用于上述配置中的成像部12031等。具体地，该技术可以应用于图1中的成像元件1。
应注意，本公开还可以具有以下配置。
(1)
一种固态成像装置，包括：
透镜光学系统；
第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个第一光电转换元件被配置为检测包括从对象反射的可见光的第一波长范围内的光并且执行光电转换；
第二光电转换单元，设置在与第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个第二光电转换元件被配置为检测包括从对象反射的红外光的第二波长范围内的光并且执行光电转换；以及
存储单元，被配置为存储透镜光学系统中的第一波长范围内的光与第二波长范围内的光之间的焦点处的像差量，其中，
在聚焦在由第二光电转换单元检测的第二波长范围内的光的焦点上之后，基于存储在存储单元中的像差量来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
(2)
根据以上(1)的固态成像装置，进一步包括：光学滤波器，设置在第一光电转换单元的远离第二光电转换单元的一侧，该光学滤波器透射落在预定波长范围内的预定颜色分量的光。
(3)
根据以上(1)的固态成像装置，进一步包括：
驱动单元，被配置为在相对于对象的透视方向、设置有多个第一光电转换元件和多个第二光电转换元件的行方向和列方向中的至少一个方向上驱动透镜光学系统，其中，
驱动单元基于存储在存储单元中的像差量来驱动透镜光学系统。
(4)
根据以上(3)的固态成像装置，其中，
驱动单元响应于相机抖动而在行方向和列方向中的至少一个方向上驱动透镜光学系统。
(5)
根据以上(1)的固态成像装置，其中，
存储单元设置在半导体基板中，该半导体基板中设置有第一光电转换单元和第二光电转换单元。
(6)
根据以上(1)的固态成像装置，其中，
存储单元针对分别设置第一光电转换元件或第二光电转换元件的每个位置或该位置处的每个图像高度存储像差量。
(7)
根据以上(1)的固态成像装置，其中，
第一光电转换单元和第二光电转换单元中的至少一个包括用于每个第一光电转换元件的遮光膜以用作相位差像素。
(8)
根据以上(1)的固态成像装置，进一步包括：
驱动单元，被配置为驱动透镜光学系统，其中，
根据像差量驱动透镜光学系统来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
(9)
一种成像系统，包括：
照射单元，被配置为向对象发射红外光；以及
成像元件，被配置为接收从对象反射的光，其中，
成像元件包括：
透镜光学系统；
第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个第一光电转换元件被配置为检测包括从对象反射的可见光的第一波长范围内的光并且执行光电转换；
第二光电转换单元，设置在与第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个第二光电转换元件被配置为检测包括从对象反射的红外光的第二波长范围内的光并且执行光电转换；以及
存储单元，被配置为存储透镜光学系统中的第一波长范围内的光与第二波长范围内的光之间的焦点处的像差量，并且
成像元件在聚焦在由第二光电转换单元检测的第二波长范围内的光的焦点之后，基于存储在存储单元中的像差量来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
(10)
根据(9)的成像系统，进一步包括：
信号处理单元，被配置为基于针对每个第一光电转换元件的电信号输出和针对每个第二光电转换元件的电信号输出执行信号处理，并且对存储单元执行读取控制，其中，
信号处理单元在聚焦在由第二光电转换单元检测的第二波长范围内的光的焦点之后，基于存储在存储单元中的像差量来补偿第一波长范围内的光与第二波长范围内的光之间的焦点处的像差。
(11)
根据以上(9)的成像系统，进一步包括：光学滤波器，设置在第一光电转换单元的远离第二光电转换单元的一侧，该光学滤波器透射落在预定波长范围内的预定颜色分量的光。
(12)
根据以上(10)的成像系统，进一步包括：
驱动单元，被配置为在相对于对象的透视方向、设置有多个第一光电转换元件和多个第二光电转换元件的行方向和列方向中的至少一个方向上驱动透镜光学系统，其中，
驱动单元在由信号处理单元执行的驱动控制下基于存储在存储单元中的像差量来驱动透镜光学系统。
(13)
根据以上(12)的成像系统，其中，
驱动单元响应于相机抖动而在行方向和列方向中的至少一个方向上驱动透镜光学系统。
(14)
根据以上(9)的成像系统，其中，
存储单元设置在半导体基板中，该半导体基板中设置有第一光电转换单元和第二光电转换单元。
(15)
根据以上(9)的成像系统，其中，
存储单元针对分别设置第一光电转换元件或第二光电转换元件的每个位置或该位置处的每个图像高度存储像差量。
(16)
根据以上(9)的成像系统，其中，
第一光电转换单元和第二光电转换单元中的至少一个包括用于每个第一光电转换元件的遮光膜以用作相位差像素。
(17)
根据以上(10)的成像系统，其中，
信号处理单元基于存储在存储单元中的像差量来补偿包括在可见光中的至少一个颜色分量的光与红外光之间的焦点处的像差。
(18)
根据以上(10)的成像系统，其中，
信号处理单元基于存储在存储单元中的像差量顺序地补偿包括在可见光的至少三个颜色分量的光与红外光之间的焦点处的像差。
(19)
根据以上(12)的成像系统，其中，
信号处理单元通过基于存储在存储单元中的像差量控制驱动单元驱动透镜光学系统来补偿焦点处的像差。
(20)
根据以上(12)的成像系统，其中，
对于由多个第一光电转换元件或多个第二光电转换元件形成的成像帧，信号处理单元在成像帧的消隐时段中对存储单元执行读取控制并且对驱动单元执行透镜光学系统的驱动控制。
(21)
一种成像处理方法，包括：
使照射单元向对象发射红外光；
使信号处理单元基于从对象反射的光而相对于对象驱动透镜光学系统，以聚焦在包括红外光的第一波长范围内的光的焦点上；以及
使信号处理单元基于聚焦在第一波长范围内的光的焦点上的结果读取存储在存储单元中的像差量，并且基于该像差量补偿包括可见光的第二波长范围内的光与第一波长范围内的光之间的焦点处的像差。
参考标记列表
1、1A、1B、1C成像元件
2透镜
3致动器
4激光光源
5补偿透镜
7陀螺仪传感器
8电路板
9双带通滤波器(DBPF)
10传感器系统
11半导体基板
21半导体支撑基板
22布线层
23IR光电转换层
24中间层
25有机光电转换层
26滤色器
27片上透镜
31金属线
32粘合剂
34输出I/F电路
35传感器控制电路
36图像质量调整存储装置
40应用处理器
100像素单元
111垂直驱动电路
112列信号处理电路
113水平驱动电路
114输出电路
115控制电路
116输入/输出端子
117像差补偿存储器
121水平信号线
231、231AIR光电转换元件
232电极
241电极
242布线
243遮光膜
251、252有机光电转换元件
311、312、313、314光电二极管(PD)
321、322、323、324放大器
331、332、333、334CDS和A/D电路
400对象(测量目标)
401光电检测系统
410发光装置
420成像元件
430系统控制单元
440光源驱动单元
450传感器控制单元
460光源侧光学系统
470相机侧光学系统
2000电子装置
2001光学单元
2002成像元件
2003DSP电路
2003(数字信号处理器)电路
2004帧存储器
2005显示单元
2006记录单元
2007操作单元
2008电源单元
2009总线
10402图像拾取单元
11000内窥镜手术系统
11100内窥镜
11101透镜镜筒
11102摄像头
11110手术工具
11111气腹管
11112能量装置
11120支撑臂设备
11131外科医生(医师)
11131外科医师
11132患者
11133病床
11200推车
11201相机控制单元(CCU)
11202显示设备
11203光源设备
11204输入设备
11205治疗工具控制设备
11206气腹设备
11207记录仪
11208打印机
11400传输电缆
11401透镜单元
11402图像拾取单元
11403驱动单元
11404通信单元
11405摄像头控制单元
11411通信单元
11412图像处理单元
11413控制单元
12000车辆控制系统
12001通信网络
12010驱动系统控制单元
12020车身系统控制单元
12030车外信息检测单元
12031图像拾取单元
12040车内信息检测单元
12041驾驶员状态检测部
12050集成控制单元
12051微型计算机
12052声音/图像输出部
12061音频扬声器
12062显示单元
12063仪表面板
12100车辆
12101、12102、12103、12104、12105图像拾取单元
12111、12112、12113、12114成像范围。

Claims (21)

1.一种固态成像装置，包括：
透镜光学系统；
第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个所述第一光电转换元件被配置为检测包括从对象反射的可见光的第一波长范围内的光并且执行光电转换；
第二光电转换单元，设置在与所述第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个所述第二光电转换元件被配置为检测包括从所述对象反射的红外光的第二波长范围内的光并且执行光电转换；以及
存储单元，被配置为存储所述透镜光学系统中的所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差量，其中，
在聚焦在由所述第二光电转换单元检测的所述第二波长范围内的光的焦点上之后，基于存储在所述存储单元中的所述像差量来补偿所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差。
2.根据权利要求1所述的固态成像装置，进一步包括：
光学滤波器，设置在所述第一光电转换单元的远离所述第二光电转换单元的一侧，所述光学滤波器透射落在预定波长范围内的预定颜色分量的光。
3.根据权利要求1所述的固态成像装置，进一步包括：
驱动单元，被配置为在相对于所述对象的透视方向、设置有多个所述第一光电转换元件和多个所述第二光电转换元件的行方向和列方向中的至少一个方向上驱动所述透镜光学系统，其中，
所述驱动单元基于存储在所述存储单元中的所述像差量来驱动所述透镜光学系统。
4.根据权利要求3所述的固态成像装置，其中，
所述驱动单元响应于相机抖动而在所述行方向和所述列方向中的至少一个方向上驱动所述透镜光学系统。
5.根据权利要求1所述的固态成像装置，其中，
所述存储单元设置在半导体基板中，所述半导体基板中设置有所述第一光电转换单元和所述第二光电转换单元。
6.根据权利要求1所述的固态成像装置，其中，
所述存储单元针对分别设置所述第一光电转换元件或所述第二光电转换元件的每个位置或所述位置处的每个图像高度存储像差量。
7.根据权利要求1所述的固态成像装置，其中，
所述第一光电转换单元和所述第二光电转换单元中的至少一个包括用于每个所述第一光电转换元件的遮光膜以用作相位差像素。
8.根据权利要求1所述的固态成像装置，进一步包括：
驱动单元，被配置为驱动所述透镜光学系统，其中，
根据所述像差量驱动所述透镜光学系统来补偿所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差。
9.一种成像系统，包括：
照射单元，被配置为向对象发射红外光；以及
成像元件，被配置为接收从所述对象反射的光，其中，
所述成像元件包括：
透镜光学系统；
第一光电转换单元，包括以矩阵图案设置的多个第一光电转换元件，多个所述第一光电转换元件被配置为检测包括从所述对象反射的可见光的第一波长范围内的光并且执行光电转换；
第二光电转换单元，设置在与所述第一光电转换单元对准的位置处并且包括以矩阵图案设置的多个第二光电转换元件，多个所述第二光电转换元件被配置为检测包括从所述对象反射的红外光的第二波长范围内的光并且执行光电转换；以及
存储单元，被配置为存储所述透镜光学系统中的所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差量，并且
所述成像元件在聚焦在由所述第二光电转换单元检测的所述第二波长范围内的光的焦点之后，基于存储在所述存储单元中的所述像差量来补偿所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差。
10.根据权利要求9所述的成像系统，进一步包括：
信号处理单元，被配置为基于针对每个所述第一光电转换元件的电信号输出和针对每个所述第二光电转换元件的电信号输出执行信号处理，并且对所述存储单元执行读取控制，其中，
所述信号处理单元在聚焦在由所述第二光电转换单元检测的所述第二波长范围内的光的焦点之后，基于存储在所述存储单元中的所述像差量来补偿所述第一波长范围内的光与所述第二波长范围内的光之间的焦点处的像差。
11.根据权利要求9所述的成像系统，进一步包括：
光学滤波器，设置在所述第一光电转换单元的远离所述第二光电转换单元的一侧，所述光学滤波器透射落在预定波长范围内的预定颜色分量的光。
12.根据权利要求10所述的成像系统，进一步包括：
驱动单元，被配置为在相对于所述对象的透视方向、设置有多个所述第一光电转换元件和多个所述第二光电转换元件的行方向和列方向中的至少一个方向上驱动所述透镜光学系统，其中，
所述驱动单元在由所述信号处理单元执行的驱动控制下基于存储在所述存储单元中的所述像差量来驱动所述透镜光学系统。
13.根据权利要求12所述的成像系统，其中，
所述驱动单元响应于相机抖动而在所述行方向和所述列方向中的至少一个方向上驱动所述透镜光学系统。
14.根据权利要求9所述的成像系统，其中，
所述存储单元设置在半导体基板中，所述半导体基板中设置有所述第一光电转换单元和所述第二光电转换单元。
15.根据权利要求9所述的成像系统，其中，
所述存储单元针对分别设置所述第一光电转换元件或所述第二光电转换元件的每个位置或所述位置处的每个图像高度存储像差量。
16.根据权利要求9所述的成像系统，其中，
所述第一光电转换单元和所述第二光电转换单元中的至少一个包括用于每个所述第一光电转换元件的遮光膜以用作相位差像素。
17.根据权利要求10所述的成像系统，其中，
所述信号处理单元基于存储在所述存储单元中的所述像差量来补偿包括在所述可见光中的至少一个颜色分量的光与所述红外光之间的焦点处的像差。
18.根据权利要求10所述的成像系统，其中，
所述信号处理单元基于存储在所述存储单元中的所述像差量顺序地补偿包括在所述可见光中的至少三个颜色分量的光与所述红外光之间的焦点处的像差。
19.根据权利要求12所述的成像系统，其中，
所述信号处理单元通过基于存储在所述存储单元中的所述像差量控制所述驱动单元驱动所述透镜光学系统来补偿焦点处的像差。
20.根据权利要求12所述的成像系统，其中，
对于由多个所述第一光电转换元件或多个所述第二光电转换元件形成的成像帧，所述信号处理单元在所述成像帧的消隐时段中对所述存储单元执行所述读取控制并且对所述驱动单元执行所述透镜光学系统的所述驱动控制。
21.一种成像处理方法，包括：
使照射单元向对象发射红外光；
使信号处理单元基于从所述对象反射的光而相对于所述对象驱动透镜光学系统，以聚焦在包括所述红外光的第一波长范围内的光的焦点上；以及
使所述信号处理单元基于聚焦在所述第一波长范围内的光的焦点上的结果读取存储在存储单元中的像差量，并且基于所述像差量来补偿包括可见光的第二波长范围内的光与所述第一波长范围内的光之间的焦点处的像差。
CN202280073690.6A 2021-11-08 2022-09-15 固态成像装置、成像系统和成像处理方法 Pending CN118202663A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-182003 2021-11-08
JP2021182003 2021-11-08
PCT/JP2022/034642 WO2023079842A1 (ja) 2021-11-08 2022-09-15 固体撮像装置、撮像システム及び撮像処理方法

Publications (1)

Publication Number Publication Date
CN118202663A true CN118202663A (zh) 2024-06-14

Family

ID=86241278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280073690.6A Pending CN118202663A (zh) 2021-11-08 2022-09-15 固态成像装置、成像系统和成像处理方法

Country Status (2)

Country Link
CN (1) CN118202663A (zh)
WO (1) WO2023079842A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5270870B2 (ja) * 2007-07-10 2013-08-21 キヤノン株式会社 撮像装置及びその制御方法
JP5976676B2 (ja) * 2011-01-14 2016-08-24 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
US10334216B2 (en) * 2014-11-06 2019-06-25 Sony Corporation Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
WO2016111175A1 (ja) * 2015-01-07 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
WO2023079842A1 (ja) 2023-05-11

Similar Documents

Publication Publication Date Title
JP7270616B2 (ja) 固体撮像素子および固体撮像装置
WO2017150167A1 (ja) 固体撮像素子
KR20190094339A (ko) 고체 촬상 소자 및 전자 기기
JP7267940B2 (ja) 固体撮像装置およびその製造方法、並びに電子機器
WO2018074250A1 (ja) 半導体装置、製造方法、および電子機器
US20230224602A1 (en) Solid-state imaging device
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
US12002825B2 (en) Solid-state imaging device and electronic apparatus with improved sensitivity
US20230103730A1 (en) Solid-state imaging device
US20240006443A1 (en) Solid-state imaging device, imaging device, and electronic apparatus
US11218658B2 (en) Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image
US20230387166A1 (en) Imaging device
CN118202663A (zh) 固态成像装置、成像系统和成像处理方法
CN115136592A (zh) 固态成像装置和电子设备
WO2018066348A1 (ja) 固体撮像装置および撮像方法、並びに電子機器
WO2024095832A1 (en) Photodetector, electronic apparatus, and optical element
US20230335574A1 (en) Imaging device
WO2023195315A1 (en) Light detecting device
WO2023195316A1 (en) Light detecting device
WO2023106316A1 (ja) 受光装置
WO2024057805A1 (ja) 撮像素子および電子機器
US20240205565A1 (en) Solid-state imaging device, electronic apparatus, and mobile body
WO2023132137A1 (ja) 撮像素子および電子機器
US20230412945A1 (en) Image pickup apparatus
WO2023210354A1 (ja) 光検出装置および増幅回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication