CN113826375A - 光接收装置、固态成像设备、电子设备和信息处理系统 - Google Patents

光接收装置、固态成像设备、电子设备和信息处理系统 Download PDF

Info

Publication number
CN113826375A
CN113826375A CN202080036257.6A CN202080036257A CN113826375A CN 113826375 A CN113826375 A CN 113826375A CN 202080036257 A CN202080036257 A CN 202080036257A CN 113826375 A CN113826375 A CN 113826375A
Authority
CN
China
Prior art keywords
filters
filter
unit
convolution
receiving device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080036257.6A
Other languages
English (en)
Inventor
花田清刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113826375A publication Critical patent/CN113826375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G02B5/1819—Plural gratings positioned on the same surface, e.g. array of gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是使得可以实现高速图像识别处理。根据实施例的光接收装置设置有：多个第一滤波器(130)，每个第一滤波器透射入射图像中预定方向上的边缘分量；多个第二滤波器(150)，每个第二滤波器透射入射光中预定波段的光；以及多个光电转换元件(PD)，每个光电转换元件对透射通过多个卷积滤波器中的一个卷积滤波器和多个颜色滤波器中的一个颜色滤波器的光执行光电转换。

Description

光接收装置、固态成像设备、电子设备和信息处理系统
技术领域
本公开涉及光接收装置、固态成像设备、电子设备和信息处理系统。
背景技术
近年来，已经开发了通过对由成像设备获取的图像数据执行卷积运算的图像处理来识别包括在图像中的对象的技术。
引用列表
非专利文献
非专利文献1：Huaijin G.Chen，Suren Jayasuriya，Jiyue Yang，Judy Stephen，Sriram Sivaramakrishnan，Ashok Veeraraghavan，Alyosha C.Molnar；ASP Vision：Optically Computing the First Layer of Convolutional Neural Networks UsingAngle Sensitive Pixels(CVPR)2016，pp.903-912.
发明内容
技术问题
然而，由于卷积运算的图像识别处理具有大量要处理的数据，并且处理本身复杂，因此存在难以实现更高的实时性的问题。
因此，本公开提出了能够实现高速图像识别处理的光接收装置、固态成像设备、电子设备和信息处理系统。
问题的解决方案
为了解决上述问题，根据本公开的一个方面的光接收装置包括：多个第一滤波器，每个第一滤波器透射入射图像中预定方向上的边缘分量；多个第二滤波器，每个第二滤波器透射入射光中预定波段的光；以及多个光电转换元件，每个光电转换元件对透射通过多个第一滤波器中的一个第一滤波器和多个第二滤波器中的一个第二滤波器的光进行光电转换。
附图说明
图1是示出根据实施例的包括电子设备的信息处理系统的示意性配置示例的框图。
图2是示出根据实施例的固态成像设备的示意性配置示例的框图。
图3是示出根据实施例的单位像素的电路配置示例的电路图。
图4是示出根据实施例的固态成像设备的叠层配置示例的立体图。
图5是示出根据实施例的修改的固态成像设备的叠层配置示例的立体图。
图6是用于说明一般CNN的示图。
图7是用于描述作为CNN的第一层的卷积层的概要的示图。
图8是用于说明将实施例应用于作为CNN的第一层的卷积层的情况的示图。
图9是示出根据实施例的卷积滤波器的示例的示图。
图10是示出根据实施例的卷积滤波器阵列的示例的示图。
图11是示出根据实施例的由卷积滤波器阵列获取的边缘分量的频谱的示例的示图。
图12是示出构成能够获取图11所示的频谱的边缘分量的卷积滤波器阵列的卷积滤波器单元的示例的示意图。
图13是示出组合根据实施例的卷积滤波器阵列和颜色滤波器阵列的组合滤波器的示意性配置示例的平面图。
图14是示出根据实施例的由图像传感器生成的帧数据的示例的示图。
图15是示出根据实施例的修改的组合滤波器的示意性配置示例的平面图。
图16是用于说明根据实施例的光学卷积运算的概要的示图。
图17是用于说明根据实施例的光学卷积运算(具有颜色滤波器)的概要的示图。
图18是用于说明根据实施例的修改的卷积运算的概要的示图(部分1)。
图19是用于说明根据实施例的修改的卷积运算的概要的示图(部分2)。
图20是用于说明根据实施例的修改的卷积运算的概要的示图(部分3)。
图21是用于说明根据实施例的修改的卷积运算的概要的示图(部分4)。
图22是示出车辆控制系统的示意性配置的实例的框图。
图23是车外信息检测部和成像部的安装位置的实例的示图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施例。注意，在以下实施例中，相同的部分由相同的参考数字表示，并且将省略多余的描述。
另外，将根据以下项目顺序描述本公开。
1.实施例
1.1电子设备的示意性配置示例
1.2固态成像设备的示意性配置示例
1.3单位像素的电路配置示例
1.4单位像素的基本功能示例
1.5图像传感器的叠层配置示例
1.5.1修改
1.6光学卷积运算的应用示例
1.7 CNN的概要
1.8本实施例的应用
1.9卷积滤波器
1.10卷积滤波器阵列的功能示例
1.11卷积滤波器阵列的模式与频谱之间的关系
1.12组合滤波器的配置示例
1.12.1组合滤波器的修改
1.13卷积运算的概要(无颜色滤波器)
1.14卷积运算的概要(具有颜色滤波器)
1.14.1卷积运算的修改
1.15操作和效果
2.对移动体的应用
1.实施例
1.1电子设备的示意性配置示例
图1是示出根据实施例的包括电子设备的信息处理系统的示意性配置示例的框图。如图1所示，电子设备1包括成像设备10和应用处理器20。成像设备10包括成像单元11、控制单元12、信号处理单元13、数字信号处理器(DSP)14、存储器15和输出单元16。
控制单元12例如根据用户的操作或设定的操作模式来控制成像设备10中的每个单元。
成像单元11例如包括光学系统11a和固态成像设备100，光学系统11a包括变焦透镜、聚焦透镜、光圈等，固态成像设备100具有将包括诸如光电二极管的光接收元件的单位像素布置成二维矩阵的配置。从外部入射的光通过光学系统11a成像在固态成像设备100中的光接收元件布置在其上的光接收表面上。固态成像设备100的每个单位像素对入射到光接收元件上的光进行电转换，从而可读取地存储与入射光量相对应的电荷。然后，固态成像设备100基于在每个单位像素中累积的电荷输出像素信号作为以帧为单位的数据。注意，稍后将描述固态成像设备100的细节。
此外，在本实施例中，以帧为单位从固态成像设备100读取的数据是使用稍后描述的物理卷积滤波器执行的卷积运算(稍后描述的光学卷积运算)的结果。因此，从固态成像设备100读取的数据例如是诸如特征图的二进制数据。
信号处理单元13对从固态成像设备100读取的二进制数据执行各种类型的信号处理。例如，信号处理单元13通过游程长度压缩等压缩二进制数据来压缩传输量。另外，在二进制数据包括颜色信息的情况下，信号处理单元13可以将二进制数据转换为YUV格式、RGB格式等。此外，信号处理单元13可以根据需要对二进制数据执行诸如噪声去除和白平衡调整的处理。
注意，在本实施例中，信号处理单元13不是必要组件并且可以省略。在这种情况下，从固态成像设备100输出的二进制数据可以直接输入到DSP 14或存储器15，或者可以经由输出单元16而不经过DSP 14输出到外部应用处理器20等。此外，从成像单元11输出的二进制数据可以是通过游程长度压缩等压缩的数据。
例如，DSP 14可以对输入的二进制数据执行各种类型的信号处理。DSP 14可以对输入的二进制数据执行使用深度神经网络(DNN)的图像识别处理。在这种情况下，DSP 14通过读取并执行存储在存储器15中的学习模型来用作使用DNN的机器学习单元。然后，用作机器学习单元的DSP 14通过将存储在存储器15中的字典系数乘以二进制数据来执行使用DNN的图像识别处理。
此外，DSP 14将通过对二进制数据进行信号处理而获得的结果(在下文中，被称为信号处理结果)输出到存储器15和/或输出单元16。注意，控制对存储器15的存取的存储器控制器可以并入DSP 14中。
注意，在本实施例中，DSP 14不是必要的组件并且可以省略。可选地，DSP 14可以原样输出输入二进制数据，而不对输入二进制数据执行任何信号处理。在这些情况下，从固态成像设备100或信号处理单元13输出的二进制数据可以输入到存储器15，或者可以经由输出单元16输出到外部应用处理器20等。
存储器15根据需要存储由DSP 14获得的信号处理结果。另外，存储器15可以存储由DSP 14执行的学习模型的算法作为程序和字典系数。例如，由外部云服务器30等创建的学习模型的程序和字典系数可以经由网络40下载到电子设备1并且存储在存储器15中，或者可以在电子设备1的装运之前存储在存储器15中。
输出单元16例如根据来自控制单元12的选择控制信号选择性地输出从固态成像设备100、信号处理单元13或DSP 14输出的二进制数据、从DSP 14输出的信号处理结果或存储在存储器15中的二进制数据或信号处理结果。
如上所述从输出单元16输出的二进制数据或信号处理结果被输入到处理显示、用户界面等的应用处理器20。应用处理器20例如使用中央处理单元(CPU)等来配置，并且执行操作系统、各种应用软件等。应用处理器20可以配备有诸如图形处理单元(GPU)和基带处理器的功能。应用处理器20根据需要对输入的二进制数据或信号处理结果执行各种类型的处理、向用户执行显示或者经由预定网络40将输入的二进制数据或信号处理结果发送到外部云服务器30。
注意，诸如因特网、有线局域网(LAN)、无线LAN、移动通信网络和蓝牙(注册商标)的各种网络例如可以用作预定网络40。此外，二进制数据或信号处理结果的发送目的地不限于云服务器30，并且可以是具有通信功能的各种信息处理设备(系统)，诸如单独操作或与另一服务器协作的服务器、存储各种数据的文件服务器以及诸如移动电话的通信终端。
1.2固态成像设备的示意性配置示例
图2是示出根据实施例的互补金属氧化物半导体(CMOS)固态成像设备(在下文中，被简称为图像传感器)的示意性配置示例的框图。此处，CMOS图像传感器是通过应用或部分地使用CMOS工艺而创建的图像传感器。根据本实施例的固态成像设备100可以是入射表面在半导体衬底中的与元件形成表面相对的表面(下文中，被称为背面)侧的所谓的背照式，或者可以是入射表面在前表面侧的所谓的前照式。
如图2所示，图像传感器100例如包括像素阵列单元101、垂直驱动电路102、列处理电路103、水平驱动电路104、系统控制单元105、信号处理电路108和数据存储单元109。在以下描述中，垂直驱动电路102、列处理电路103、水平驱动电路104、系统控制单元105、信号处理电路108和数据存储单元109也被称为外围电路。
像素阵列单元101具有各自具有根据接收的光量生成并累积电荷的光电转换元件的单位像素(在下文中，可以将其简单地描述为“像素”)110被布置在行方向和列方向上，即在矩阵中的二维格状图案(在下文中，被称为矩阵图案)中的配置。此处，行方向是指像素行中的像素的排列方向(附图中的水平方向)，并且列方向是指像素列中的像素的排列方向(附图中的垂直方向)。稍后将详细描述单位像素的具体电路配置和像素结构。
在像素阵列单元101中，相对于矩阵状像素阵列，像素驱动线LD对于每个像素行沿行方向布线，并且垂直信号线VSL对于每个像素列沿列方向布线。像素驱动线LD发送用于在从像素读取信号时驱动的驱动信号。在图2中，像素驱动线LD被示出为逐条布线，但不限于逐条布线。像素驱动线LD的一端连接到与垂直驱动电路102的每一行相对应的输出端子。
垂直驱动电路102包括移位寄存器、地址解码器等，并且同时或以行为单位驱动像素阵列单元101的所有像素。即，垂直驱动电路102与控制垂直驱动电路102的系统控制单元105一起构成控制像素阵列单元101的每个像素的操作的驱动单元。尽管没有示出垂直驱动电路102的具体配置，但是垂直驱动电路通常包括读取扫描系统和扫除扫描系统的两个扫描系统。
读取扫描系统逐行按顺序选择性地扫描像素阵列单元101的单位像素以从单位像素读取信号。从单位像素读取的信号是模拟信号。扫除扫描系统在读取扫描前的曝光时间对由读取扫描系统执行读取扫描的读取行执行扫除扫描。
通过扫除扫描系统的扫除扫描，从读取行的单位像素的光电转换元件扫出多余的电荷，使光电转换元件复位。然后，通过由扫除扫描系统扫出(重置)不必要的电荷，执行所谓的电子快门操作。此处，电子快门操作是指丢弃光电转换元件的电荷并重新开始曝光(开始电荷的累积)的操作。
由读取扫描系统的读取操作读取的信号与紧接在前的读取操作或电子快门操作之后接收的光量相对应。然后，从紧接在前的读取操作的读取定时或电子快门操作的扫描定时到当前读取操作的读取定时的时间段是单位像素中的电荷累积时间段(也被称为曝光时间段)。
从被垂直驱动电路102选择性扫描的像素行的每个单位像素输出的信号通过每个像素列的每个垂直信号线VSL被输入到列处理电路103。列处理电路103通过像素阵列单元101的每个像素列的垂直信号线VSL对从所选择的行的每个像素输出的信号执行预定信号处理，并且在信号处理之后暂时保持像素信号。
具体地，列处理电路103至少执行噪声去除处理，例如相关双采样(CDS)处理或双数据采样(DDS)处理作为信号处理。例如，通过CDS处理去除像素所特有的固定图案噪声，诸如复位噪声和像素中的放大晶体管的阈值变化。列处理电路103例如还包括模数(AD)转换功能，将从光电转换元件读取和获得的模拟像素信号转换为数字信号，并且输出该数字信号。
水平驱动电路104包括移位寄存器、地址解码器等，并且依次选择与列处理电路103的像素列相对应的读取电路(在下文中，被称为像素电路)。通过水平驱动电路104的选择性扫描，针对列处理电路103中的每个像素电路依次输出经受信号处理的像素信号。
系统控制单元105包括生成各种定时信号等的定时发生器，并且基于由定时发生器生成的各种定时执行垂直驱动电路102、列处理电路103、水平驱动电路104等的驱动控制。
信号处理电路108至少具有算术处理功能，并且对从列处理电路103输出的像素信号执行诸如算术处理的各种信号处理。数据存储单元109将信号处理所需的数据临时存储在信号处理电路108中。注意，信号处理电路108可以具有与上述信号处理单元13相同的配置或不同的配置。此外，可以省略信号处理电路108。
注意，如上所述，从信号处理电路108(或列处理电路103)输出的二进制数据被输入到信号处理单元13、DSP 14、存储器15或输出单元16。
1.3单位像素的电路配置示例
图3是示出根据实施例的单位像素的电路配置示例的电路图。如图3所示，单位像素110包括光电二极管PD、转移晶体管111、复位晶体管112、放大晶体管113、选择晶体管114和浮动扩散层FD。
包括在像素驱动线LD中的选择晶体管驱动线LD114连接到选择晶体管114的栅极，包括在像素驱动线LD中的复位晶体管驱动线LD112连接到复位晶体管112的栅极，并且包括在像素驱动线LD中的转移晶体管驱动线LDl11连接到转移晶体管111的栅极。此外，一端连接到列处理电路103的垂直信号线VSL经由选择晶体管114连接到放大晶体管113的漏极。
在以下描述中，复位晶体管112、放大晶体管113和选择晶体管114也统称为像素电路。像素电路可以包括浮动扩散层FD和/或转移晶体管111。
光电二极管PD对入射光进行光电转换。转移晶体管111转移在光电二极管PD中生成的电荷。浮动扩散层FD累积由转移晶体管111转移的电荷。放大晶体管113使具有与浮动扩散层FD中累积的电荷相对应的电压值的像素信号出现在垂直信号线VSL中。复位晶体管112释放在浮动扩散层FD中累积的电荷。选择晶体管114选择要读取的单位像素110。
光电二极管PD的阳极接地，并且阴极连接到转移晶体管111的源极。转移晶体管111的漏极连接到复位晶体管112的源极和放大晶体管113的栅极，并且作为这些晶体管的连接点的节点构成浮动扩散层FD。注意，复位晶体管112的漏极连接到垂直复位输入线(未示出)。
放大晶体管113的源极连接到垂直电流供应线(未示出)。放大晶体管113的漏极连接到选择晶体管114的源极，并且选择晶体管114的漏极连接到垂直信号线VSL。
浮动扩散层FD将所累积的电荷转换为与其电荷量相对应的电压值的电压。注意，浮动扩散层FD例如可以是接地电容。然而，不限于此，浮动扩散层FD可以是通过将电容器等有意连接到转移晶体管111的漏极、复位晶体管112的源极和放大晶体管113的栅极连接的节点而增加的电容。
1.4单位像素的基本功能示例
接下来，将参考图3描述单位像素110的基本功能。复位晶体管112根据经由复位晶体管驱动线LD112从垂直驱动电路102提供的复位信号RST来控制在浮动扩散层FD中累积的电荷的放电(复位)。注意，当复位晶体管112处于导通状态时，通过导通转移晶体管111，除了累积在浮动扩散层FD中的电荷之外，还可以对累积在光电二极管PD中的电荷进行放电(复位)。
当高电平复位信号RST被输入到复位晶体管112的栅极时，浮动扩散层FD被箝位到通过垂直复位输入线施加的电压。因此，累积在浮动扩散层FD中的电荷被放电(复位)。
此外，当低电平复位信号RST被输入到复位晶体管112的栅极时，浮动扩散层FD与垂直复位输入线电断开，并且进入浮动状态。
光电二极管PD对入射光进行光电转换并且生成与光量相对应的电荷。所生成的电荷累积在光电二极管PD的阴极侧。转移晶体管111根据经由转移晶体管驱动线LD111从垂直驱动电路102提供的转移控制信号TRG来控制电荷从光电二极管PD到浮动扩散层FD的转移。
例如，当高电平的转移控制信号TRG被输入到转移晶体管111的栅极时，累积在光电二极管PD中的电荷被转移到浮动扩散层FD。另一方面，当低电平的转移控制信号TRG被提供给转移晶体管111的栅极时，停止从光电二极管PD转移电荷。
如上所述，浮动扩散层FD具有将经由转移晶体管111从光电二极管PD转移的电荷转换为与电荷量相对应的电压值的电压的功能。因此，在复位晶体管112关断的浮动状态中，根据其中累积的电荷量来调制浮动扩散层FD的电位。
放大晶体管113用作放大器，使用连接到其栅极的浮动扩散层FD的电位变化作为输入信号，并且其输出电压信号经由选择晶体管114作为像素信号出现在垂直信号线VSL中。
选择晶体管114根据经由选择晶体管驱动线LD114从垂直驱动电路102提供的选择控制信号SEL来通过放大晶体管113控制像素信号在垂直信号线VSL中的出现。例如，当高电平的选择控制信号SEL被输入到选择晶体管114的栅极时，像素信号通过放大晶体管113出现在垂直信号线VSL中。另一方面，当低电平的选择控制信号SEL被输入到选择晶体管114的栅极时，停止像素信号在垂直信号线VSL中的出现。因此，可以在与多个单位像素110连接的垂直信号线VSL中仅提取所选择的单位像素110的输出。
1.5图像传感器的叠层配置示例
图4是示出根据实施例的图像传感器的叠层配置示例的立体图。注意，在图4和以下描述中，为了简单起见，将举例说明图像传感器100是4×4像素的情况。
如图4所示，图像传感器100包括半导体芯片121、卷积滤波器阵列122、颜色滤波器阵列123和微透镜阵列124。注意，在图4中，半导体芯片121、卷积滤波器阵列122、颜色滤波器阵列123和微透镜阵列124被示为在叠层方向上分开，但是实际上，半导体芯片121、卷积滤波器阵列122、颜色滤波器阵列123和微透镜阵列124构建为一个芯片。
半导体芯片121例如包括图2中例示的固态成像设备100中的组件和图3中例示的像素电路。半导体芯片121可以包括一个管芯，或者可以是其中接合有多个管芯的层压芯片。在半导体芯片121的光接收表面上，构成像素阵列单元101的多个光电二极管PD以矩阵排列。
例如，卷积滤波器阵列122设置在半导体芯片121的光接收表面上。卷积滤波器阵列122例如具有与相应光电二极管PD一一对应的卷积滤波器(第一滤波器)130以矩阵排列的配置。
例如，颜色滤波器阵列123设置在卷积滤波器阵列122上。颜色滤波器阵列123例如具有与相应光电二极管PD一一对应的颜色滤波器(第二滤波器)150以矩阵排列的配置。
注意，根据本实施例的颜色滤波器阵列123的重复单元图案(在下文中，被称为颜色滤波器单元)可以是包括一个红色(R)像素、一个蓝色(B)像素和两个绿色(G)像素的2×2像素的拜耳阵列。然而，不限于此，例如可以采用各种颜色滤波器阵列，诸如在X-trans(注册商标)CMOS传感器中采用的3×3像素颜色滤波器阵列(在下文中，被称为X-trans(注册商标)型阵列)、4×4像素四拜耳阵列(也被称为正交阵列)以及通过将白色RGB颜色滤波器与拜耳阵列组合而获得的4×4像素颜色滤波器(在下文中，被称为白色RGB阵列)。
例如，微透镜阵列124设置在颜色滤波器阵列123上。微透镜阵列124例如具有与相应光电二极管PD一一对应的片上透镜160以矩阵排列的配置。然而，不限于这样的配置，并且一个片上透镜160可以与两个或更多个光电二极管PD相关联。即，一个片上透镜160可以由两个或更多个单位像素110共享。
根据以上配置，每个单位像素110包括形成在半导体芯片121中的像素电路、像素电路中的光电二极管PD上的卷积滤波器130、卷积滤波器130上的颜色滤波器150以及颜色滤波器150上的片上透镜160。
1.5.1修改
注意，卷积滤波器阵列122的位置不限于如图4所示的半导体芯片121与颜色滤波器阵列123之间的位置。例如，如在图5中所例示的图像传感器100A中，卷积滤波器阵列122可以设置在颜色滤波器阵列123与微透镜阵列124之间。
1.6光学卷积运算的应用示例
根据本实施例的卷积滤波器阵列122例如具有对入射到单位像素110(具体地，光电二极管PD)的阵列(像素阵列单元101)上的光的图像(在下文中，被称为入射图像)执行光学卷积运算的物理配置。在本说明书中，使用卷积滤波器阵列122执行的卷积运算被称为光学卷积运算。
此处，将使用作为DNN之一的卷积神经网络(CNN)来描述卷积运算的应用示例。
图6是用于说明一般CNN的示图。如图6所示，CNN包括输入层、交替重复的多个卷积层和池化层、全连接层和输出层。
使用根据本实施例的卷积滤波器阵列122执行的光学卷积运算例如可以应用于与图6中的第一层相对应的卷积层。在这种情况下，输入到CNN的输入层的数据可以是图像传感器100上的入射图像。
然而，使用根据本实施例的卷积滤波器阵列122执行的光学卷积运算不限于第一层是卷积层的CNN，并且可以应用于对输入(即，图像传感器100上的入射图像)执行卷积运算的各种类型的处理。
1.7CNN的概要
此处，将描述可以应用根据实施例的光学卷积运算的CNN的第一层的概要。
图7是用于描述作为CNN的第一层的卷积层的概要的示图。注意，图7例示了通道的数量为K并且每个通道的帧数据为W×W像素的帧数据1050被提供给输入层的情况。注意，通道的数量与例如稍后要描述的RGB三基色的颜色分量的数量(3个)相对应，并且在本描述中，K＝3。M与例如稍后要描述的卷积滤波器130的类型的数量相对应。
如图7所示，位于第一层的卷积层从紧接在前的1-1层接收K个通道数据Z(l-1) ijk(k＝0，…，K-1)。在第一卷积层中，对所接收的Z(l-1) ijk执行使用M种滤波器hpqkm(m＝0，…，M-1)的卷积运算。
每个滤波器hpqkm(m＝0，…，M-1)具有与输入相同的通道数量K，并且其大小例如是H×H×K。在图7中，在m＝0至M的M个滤波器hpqkm(m＝0，…，M-1)上并行执行计算，并且针对每一个通道获得输出uijk。
在完成这种卷积运算之后，针对每个变量跨所有通道相加结果。该相加可以由以下等式(1)表示。注意，在等式(2)中，bijm是偏置，并且针对每个滤波器的所有单元可以是共用的。
Figure BDA0003355914680000141
然后，将激活函数应用于如上所述获得的输出uijm。因此，由以下等式(2)表示的值是最终输出，并且被传播到下一层。注意，在下一层中，输入的大小从W×W×K变为W×W×M。
zijm＝f(uijm) (2)
1.8本实施例的应用
接下来，将描述将实施例应用于上述CNN的情况。图8是用于说明将本实施例应用于作为CNN的第一层的卷积层的情况的示图。
如图8所示，在将本实施例应用于CNN的第一层的情况下，包括用于RGB三基色的颜色分量的帧数据50R、50G和50B的帧数据50被提供给输入层。在这种情况下，图7中的通道的数量K是三个R、G和B。此外，帧数据50R、50G和50B中的每一个的大小与W×W相对应。
在本实施例中，被提供给输入层的帧数据50可以例如是入射到布置在图像传感器100的像素阵列单元101中的光电二极管PD上的入射光的图像。此外，与滤波器hpqkm(m＝0，…，M一1)相对应的滤波器51可以是卷积滤波器阵列122。
根据这种卷积运算，获得卷积滤波器130的M种数量的特征图54作为输出uijm。特征图54例如被输入到外部数据处理单元或数据处理装置，诸如信号处理电路108、信号处理单元13、DSP 14、应用处理器20或云服务器30，并且CNN是从第二层的池化层执行的。
注意，输入到输入层的数据不限于一页的帧数据50，并且可以是一个或多个像素、一行或特定区域(受关注区域ROI)的数据。在这种情况下，根据本实施例的光学卷积运算可以应用于另一DNN，诸如递归神经网络(RNNN)而不是CNN。
1.9卷积滤波器
例如，使用托尔伯特(Talbot)衍射的衍射光栅(也被称为托尔伯特衍射光栅)可以用于构成执行这种光学卷积运算的卷积滤波器阵列122的每个卷积滤波器130。
图9是示出根据实施例的卷积滤波器的示例的示图。注意，图9示出了成对使用的两个单位像素110A和110B。
如图9所示，设置在一个单位像素110A中的卷积滤波器130A包括布置在上级(入射光的路径的上游侧)中的衍射光栅131A和布置在下级(入射光的路径的下游侧)中的衍射光栅132A。
衍射光栅131A和132A例如可以具有相同的相位、相同的间距和相同的方向。注意，该方向例如可以是相对于在像素阵列单元101中的单位像素110的排列表面(光电二极管PD的光接收表面)上以矩阵排列的单位像素110的行方向倾斜的方向。
此外，设置在另一单位像素110B中的卷积滤波器130B类似地包括布置在上级(入射光的路径的上游侧)中的衍射光栅131B和布置在下级(入射光的路径的下游侧)中的衍射光栅132B。
衍射光栅131B和132B例如可以具有相同的间距和相同的方向。另外，衍射光栅131A和132A以及衍射光栅131B和132B可以具有相同的间距和相同的方向。然而，衍射光栅131B和132B的相位偏移180°。
此外，可以使用诸如钨(W)的遮光材料作为衍射光栅131A、132A、131B和132B的材料。然而，不限于此，并且可以使用各种反射材料和遮光材料。
1.10卷积滤波器阵列的功能示例
以这种方式，通过将具有相同间距和相同方向的衍射光栅131A和132A或衍射光栅131B和132B以预定间隔彼此上下布置的卷积滤波器130A或130B布置在光电二极管PD-A或PD-B的光接收表面上，可以将衍射光栅131A和132A或衍射光栅131B和132B的图像转移到光电二极管PD-A或PD-B的光接收表面。即，通过使用托尔伯特衍射光栅，可以配置在每个入射图像中沿预定方向选择性地透射边缘分量的卷积滤波器130A和130B。
此时，在光电二极管PD-A或PD-B的光接收表面上形成的图像受到入射图像的光密度的影响。因此，具有与衍射光栅131A和132A或衍射光栅131B和132B相同的方向并且具有与衍射光栅131A和132A或衍射光栅131B和132B相同的周期(在下文中，也被称为频率)的入射图像的分量(在下文中，被称为边缘分量)在光电二极管PD-A或PD-B的光接收表面上成像。
因此，例如，如图10所示，在使用在方向上相差45°的四个卷积滤波器130-0、130-45、130-90和130-135以2×2矩阵排列的单元图案(在下文中，被称为卷积滤波器单元)133重复的卷积滤波器阵列122的情况下，可以获取相对于行方向倾斜0°(即，平行于行方向)的边缘分量、倾斜45°的边缘分量、倾斜90°的边缘分量和倾斜135°的边缘分量作为二进制数据。
包括具有这种特性的卷积滤波器130的卷积滤波器阵列122可以执行类似于加博(Gabor)滤波器的功能。即，在本实施例中，使用卷积滤波器130A和130B(其运用托尔伯特衍射)来物理地实现加博滤波器。
然后，通过相对于入射图像布置用作加博滤波器的卷积滤波器阵列122，例如可以直接获取使用加博滤波器的光学卷积运算的结果(二进制数据)。因此，例如，由于可以省略CNN中的第一层的卷积层，并且可以从第二层的池化层执行处理，因此可以执行更高速的图像识别处理。
注意，通过使一个卷积滤波器130A的相位同相而另一卷积滤波器130B的相位反相，并且在从相应单位像素110A和110B获得的像素值之间执行减法，可以从作为光学卷积运算的结果而获得的像素值(二进制数据)中去除直流(DC)分量(也被称为常数分量)。然而，从边缘分量中去除DC分量不是必要的。
此外，即使在去除DC分量的情况下，设置有卷积滤波器130A的单位像素110A和设置有卷积滤波器130B的单位像素110B也不必彼此相邻。
1.11卷积滤波器阵列的模式与频谱之间的关系
此处，将参考附图描述根据本实施例的卷积滤波器阵列122的模式与频谱之间的关系。
图11是示出根据实施例的由卷积滤波器阵列获取的边缘分量的频谱的示例的示图。图12是示出构成能够获取图11所示的频谱的边缘分量的卷积滤波器阵列的卷积滤波器单元的示例的示意图。
在图11中，横轴表示行方向上的频率fx，而纵轴表示列方向上的频率fy。在图11所示的示例中，获取了总共25种类型的不同边缘分量#1至#25。
在图11和图12中，参考数字#1至#25彼此对应。因此，为了获得图11所示的频谱，如图12所示，卷积滤波器阵列122包括25个不同的卷积滤波器130(#1至#25)。
在图11中，边缘分量#13可以例如是DC分量。在这种情况下，边缘分量#13不包括方向信息和频率信息。如图12所示，用于获取这种边缘分量#13的卷积滤波器130(#13)包括不包含衍射光栅的空区域。
在图11中，边缘分量#7、#8、#9、#12、#14、#17、#18和#19可以例如是低频边缘分量。在这种情况下，构成用于获取边缘分量#7、#8、#9、#12、#14、#17、#18和#19的卷积滤波器130(#7、#8、#9、#12、#14、#17、#18和#19)的衍射光栅的间距被广泛地设置，如图12所示。在本说明书中，该间距被称为第一间距。
在图11中，边缘分量#1、#3、#5、#11、#15、#21、#23和#25可以例如是比第一间距窄的高频边缘分量。在这种情况下，构成用于获取边缘分量#1、#3、#5、#11、#15、#21、#23和#25的卷积滤波器130(#1、#3、#5、#11、#15、#21、#23和#25)的衍射光栅的间距被设置为比第一间距窄的第二间距，如图12所示。
在图11中，边缘分量#2、#4、#6、#10、#16、#20、#22和#24可以例如是第一间距与第二间距之间的中间频率的边缘分量。在这种情况下，构成用于获取边缘分量#2、#4、#6、#10、#16、#20、#22和#24的卷积滤波器130(#2、#4、#6、#10、#16、#20、#22和#24)的衍射光栅的间距被设置为作为第一间距与第二间距之间的中间间距的第三间距，如图12所示。
此外，在图11中，边缘分量#3、#8、#18和#23可以是平行于行方向(倾角θ＝0°)的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#3、#8、#18和#23的卷积滤波器130(#3、#8、#18和#23)的衍射光栅相对于行方向的倾角θ可以为0°。
在图11中，边缘分量#11、#12、#14和#15可以是垂直于行方向(倾角θ＝90°)的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#11、#12、#14和#15的卷积滤波器130(#11、#12、#14和#15)的衍射光栅相对于行方向的倾角θ可以为90°。
在图11中，边缘分量#5、#9、#17和#21可以是相对于行方向倾斜45°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#5、#9、#17和#21的卷积滤波器130(#5、#9、#17和#21)的衍射光栅相对于行方向的倾角θ可以为45°。
在图11中，边缘分量#1、#7、#19和#25可以是相对于行方向倾斜135°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#1、#7、#19和#25的卷积滤波器130(#1、#7、#19和#25)的衍射光栅相对于行方向的倾角θ可以为135°。
在图11中，边缘分量#10和#16可以是相对于行方向倾斜22.5°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#10和#16的卷积滤波器130(#10和#16)的衍射光栅相对于行方向的倾角θ可以为22.5°。
在图11中，边缘分量#4和#22可以是相对于行方向倾斜67.5°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#4和#22的卷积滤波器130(#4和#22)的衍射光栅相对于行方向的倾斜角θ可以为67.5°。
在图11中，边缘分量#2和#24可以是相对于行方向倾斜112.5°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#2和#24的卷积滤波器130(#2和#24)的衍射光栅相对于行方向的倾角θ可以为112.5°。
在图11中，边缘分量#6和#20可以是相对于行方向倾斜157.5°的边缘分量。在这种情况下，如图12所示，构成用于获取边缘分量#6和#20的卷积滤波器130(#6和#20)的衍射光栅相对于行方向的倾斜角θ可以为157.5°。
如上所述，在本实施例中，卷积滤波器阵列122使用衍射光栅的间距和方向不同的多种类型的卷积滤波器130来配置。这使得可以在一次成像中获取具有不同方向和频率的多种类型的边缘分量的二进制数据。
注意，在图11所示的频谱中，边缘分量#14至#25基本上与边缘分量#1至#12重叠。因此，还可以配置为不获取边缘分量#14至#25或边缘分量#1至#12。在这种情况下，可以省略图12所示的卷积滤波器阵列122中的#14至#25或#1至#12的卷积滤波器130。
可选地，为了获取更多类型的边缘分量，构成#14至#25的每个卷积滤波器130的衍射光栅的间距和/或方向可以不同于构成#1至#12的每个卷积滤波器130的衍射光栅的间距和/或方向。例如，这样的卷积滤波器阵列122可以例如通过被配置为相对于用于获取位于中心的DC分量的空卷积滤波器130(#13)的中心不是点对称的来实现。
可选地，通过用诸如液晶的可控光学元件配置构成卷积滤波器130的衍射光栅，可以配置包括具有可动态改变的间距和方向的卷积滤波器130的卷积滤波器阵列122。
1.12组合滤波器的配置示例
在本实施例中，通过组合上述卷积滤波器阵列122和颜色滤波器阵列123，针对RGB三基色的每个颜色分量获取与卷积滤波器130的类型数量相对应的边缘分量。注意，在以下描述中，假设卷积滤波器130和光电二极管PD一对一相关联。
图13是示出组合根据实施例的卷积滤波器阵列和颜色滤波器阵列的组合滤波器的示意性配置示例的平面图。图14是示出根据实施例的由图像传感器生成的帧数据的示例的示图。
如图13所示，颜色滤波器阵列123例如具有包括四个颜色滤波器151R、151G和151B的拜耳阵列中的颜色滤波器单元152以矩阵排列的配置。
构成卷积滤波器阵列122的每个卷积滤波器130相对于颜色滤波器阵列123的每个颜色滤波器单元152一对一地布置。因此，在组合滤波器的单元图案(在下文中，被称为组合滤波器单元)154中，总共25个颜色滤波器单元152与包括总共25个#1至#25的卷积滤波器130的卷积滤波器单元133组合。
根据这样的配置，如图14所示，在图像传感器100中，针对RGB三基色的每个颜色分量，生成包括25种类型的边缘分量的帧数据50R、50G和50B。
注意，在图14中，K是通道的数量，并且在本说明中，K是RGB三基色的颜色分量的数量，即，“3”。此外，W是由图像传感器100针对每个颜色分量生成的帧数据50R、50G和50B的像素的数量。例如，在图像传感器100的颜色滤波器阵列123包括总共2500个50×50的颜色滤波器单元152的情况下，W为“50”。注意，在图14中，帧数据50R、50G和50B中的每一个是W×W矩形，但是该矩形不是必需的。
1.12.1组合滤波器的修改
此外，图13例示了一个颜色滤波器单元152与一个卷积滤波器130组合的情况，但是组合滤波器的配置不限于这样的配置。图15是示出根据实施例的修改的组合滤波器的示意性配置示例的平面图。
如图15所示，根据本修改的组合滤波器具有一个卷积滤波器单元133与一个颜色滤波器150组合的配置。注意，图15示出了通过将卷积滤波器单元133与G分量颜色滤波器150G组合而形成的G分量组合滤波器单元155G的放大图，然而，卷积滤波器单元133类似地与其他R分量颜色滤波器150和B分量颜色滤波器150组合以形成R分量组合滤波器单元155R和B分量组合滤波器单元155B。
即使具有这样的配置，与图13所示的组合滤波器类似，也可以针对RGB三基色的每个颜色分量获取包括25种类型的边缘分量的帧数据50R、50G、50B(参见图14)。
1.13卷积运算的概要(无颜色滤波器)
接下来，将描述卷积运算的概要。图16是用于说明根据实施例的光学卷积运算的概要的示图。注意，下面将描述在图像传感器100不包括颜色滤波器阵列123的情况下的卷积运算。
如图16所示，在图像传感器100不包括颜色滤波器阵列123的情况下，根据卷积滤波器阵列122中的卷积滤波器130的布置，与边缘分量相对应的电荷累计在图像传感器100的像素阵列单元101中的每个光电二极管PD中。因此，在对像素阵列单元101的所有单位像素110执行读取的情况下，读取帧数据950，在该帧数据950中，根据卷积滤波器130的布置来布置边缘分量。
因此，在本实施例中，例如，相对于像素阵列单元101，对每种类型(方向和频率)的卷积滤波器130执行读取。例如，在总共#1到#25的25种类型的卷积滤波器130的情况下，按照从#1的顺序总共执行25次读取。通过这样的读取操作，可以读取用于每种类型的卷积滤波器130的特征图954-1至954-25(二进制数据)作为光学卷积运算的结果。
注意，从帧数据950到特征图954-1至954-25的卷积不限于上述读取控制，并且可以例如由诸如信号处理电路108、信号处理单元13或DSP 14的外部数据处理单元或数据处理装置来执行。
1.14卷积运算的概要(具有颜色滤波器)
接下来，将描述在设置了颜色滤波器阵列123的情况下的卷积运算的概要。图17是用于说明根据实施例的光学卷积运算(具有颜色滤波器)的概要的示图。
如图17所示，在组合卷积滤波器阵列122和颜色滤波器阵列123的情况下，对于像素阵列单元101的每个光电二极管PD中的RGB三基色的每个颜色分量，累积与卷积滤波器130的边缘分量的类型的数量相对应的电荷。
因此，在本实施例中，例如，相对于像素阵列单元101，对RGB三基色中的每一个执行对每种类型的卷积滤波器130的读取。例如，在总共存在#1到#25的25种类型的卷积滤波器130并且存在三种类型的RGB三基色的颜色滤波器150的情况下，首先，对于包括选择性地透射R分量的颜色滤波器150的单位像素110，按照从包括#1卷积滤波器130的单位像素110开始的顺序总共执行25次读取；然后，对于包括选择性地透射G分量的颜色滤波器150的单位像素110，按照从包括#1卷积滤波器130的单位像素110开始的顺序总共执行25次读取；并且最后，对于包括选择性地透射B分量的颜色滤波器150的单位像素110，按照从包括#1卷积滤波器130的单位像素110开始的顺序总共执行25次读取。注意，对每个RGB分量的读取顺序和对包括#1至#25的卷积滤波器130的单位像素110的读取顺序仅是示例。
通过这样的读取操作，可以读取针对每种类型的卷积滤波器130的特征图54-1至54-25(二进制数据)作为针对RGB三基色的每种颜色分量的光学卷积运算的结果。
1.14.1卷积运算的修改
注意，对于每个颜色分量，从帧数据50到特征图54-1至54-25的卷积不限于如上所述从像素阵列单元101直接读取特征图54-1至54-25的方法，并且还可以由例如信号处理电路108、信号处理单元13、DSP 14等执行。此时，外部数据处理单元或数据处理装置(诸如信号处理电路108、信号处理单元13或DSP 14)可以对从像素阵列单元101读取的帧数据50执行去马赛克处理以产生每个颜色分量的帧数据。
图18至图21是用于说明根据实施例的修改的卷积运算的概要的示图。注意，在以下描述中，将描述信号处理电路108执行去马赛克处理的情况作为示例。
首先，如图18所示，信号处理电路108从像素阵列单元101中读取的帧数据50中提取从包括选择性地透射R分量的波长的颜色滤波器150的单位像素110读取的像素信号，从而生成包括R分量的像素信号的帧数据50R。注意，通过该去马赛克处理，帧数据50R的分辨率降低到颜色滤波器单元152中的每一个中的分辨率。
随后，如图19所示，信号处理电路108从像素阵列单元101中读取的帧数据50中提取从包括选择性地透射G分量的波长的颜色滤波器150的单位像素110读取的像素信号，从而生成包括G分量的像素信号的帧数据50G。注意，通过该去马赛克处理，帧数据50G的分辨率也降低到颜色滤波器单元152中的每一个中的分辨率。
然后，如图20所示，信号处理电路108从像素阵列单元101中读取的帧数据50中提取从包括选择性地透射B分量的波长的颜色滤波器150的单位像素110读取的像素信号，从而生成包括B分量的像素信号的帧数据50B。注意，通过该去马赛克处理，帧数据50B的分辨率也降低到颜色滤波器单元152中的每一个中的分辨率。
以这种方式，当生成RGB三基色的每个颜色分量的帧数据50R、50G和50B时，信号处理电路108然后通过在每种类型的卷积滤波器130的相应帧数据50R、50G和50B中对从包括在同一颜色滤波器单元152中的单位像素110读取的像素信号执行求和来生成每种类型的卷积滤波器130的特征图54-1至54-25(二进制数据)作为光学卷积运算的结果，如图21所示。
1.15操作和效果
如上所述，根据本实施例，可以使用作为物理配置的卷积滤波器阵列122来执行卷积运算。因此，例如，由于可以省略CNN中的第一层的卷积层并且可以从第二层的池化层执行处理，因此可以执行更高速的图像识别处理。
此外，在本实施例中，例如，可以对与RGB三基色的颜色分量相对应的多个通道执行卷积运算。以这种方式，通过使用多个通道作为输入，可以以更高的精度执行图像识别处理。
2.对移动体的应用
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体上的装置，诸如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动体、飞机、无人机、船和机器人。
图22是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图22所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图22的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图23是示出成像部12031的安装位置的实例的示图。
在图23中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图23示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
尽管以上已经描述了本公开的实施例，但是本公开的技术范围不限于上述实施例，并且可以在不脱离本公开的要旨的情况下进行各种修改。另外，可以适当地组合不同实施例和修改的组成要素。
此外，本说明书中描述的每个实施例的效果仅是示例并且不受限制，并且可以提供其他效果。
此外，上述各实施例中的每一个可以单独使用，或者可以与另一实施例组合使用。
注意，本技术还可以具有以下配置。
(1)
一种光接收装置，包括：
多个第一滤波器，每个第一滤波器透射入射图像中预定方向上的边缘分量；
多个第二滤波器，每个第二滤波器透射入射光中预定波段的光；以及
多个光电转换元件，每个光电转换元件对透射通过多个第一滤波器中的一个第一滤波器和多个第二滤波器中的一个第二滤波器的光进行光电转换。
(2)
根据(1)的光接收装置，其中，每个第一滤波器包括衍射光栅。
(3)
根据(1)或(2)的光接收装置，其中，每个第一滤波器是托尔伯特衍射光栅。
(4)
根据(1)至(3)中任一项的光接收装置，其中，多个第一滤波器是加博滤波器。
(5)
根据(1)至(4)中任一项的光接收装置，其中，
第一滤波器包括透射第一方向上的边缘分量的第三滤波器和透射不同于第一方向的第二方向上的边缘分量的第四滤波器，
第二滤波器包括透射第一波段的光的至少两个第五滤波器和透射不同于第一波段的第二波段的光的至少两个第六滤波器，
第五滤波器中的一个第五滤波器和第六滤波器中的一个第六滤波器与第三滤波器相关联，以及
第五滤波器中的另一第五滤波器和第六滤波器中的另一第六滤波器与第四滤波器相关联。
(6)
根据(1)至(4)中任一项的光接收装置，其中，
第一滤波器包括透射第一方向上的边缘分量的至少两个第三滤波器和透射不同于第一方向的第二方向上的边缘分量的至少两个第四滤波器，
第二滤波器包括透射第一波段的光的第五滤波器和透射不同于第一波段的第二波段的光的第六滤波器，
第三滤波器中的一个第三滤波器和第四滤波器中的一个第四滤波器与第五滤波器相关联，并且
第三滤波器中的另一第三滤波器和第四滤波器中的另一第四滤波器与第六滤波器相关联。
(7)
根据(1)至(6)中任一项的光接收装置，其中，每个第一滤波器与光电转换元件一对一相关联。
(8)
根据(1)至(7)中任一项的光接收装置，进一步包括片上透镜，该片上透镜将入射光的一部分会聚在光电转换元件中的任一个光电转换元件上。
(9)
根据(8)的光接收装置，其中，第一滤波器位于光电转换元件与片上透镜之间。
(10)
根据(9)的光接收装置，其中，第二滤波器位于光电转换元件与第一滤波器之间或位于第一滤波器与片上透镜之间。
(11)
一种固态成像设备，包括：
根据(1)至(10)中任一项的光接收装置；以及
像素电路，读取与在每个光电转换元件中累积的电荷量相对应的电压值的像素信号。
(12)
一种电子设备，包括：
根据(11)的固态成像设备；以及
数据处理单元，对从固态成像设备输出的数据执行预定处理。
(13)
根据(12)的电子设备，其中，数据处理单元对从固态成像设备读取的数据使用学习模型执行机器学习处理。
(14)
根据(13)的电子设备，其中，数据处理单元从卷积神经网络(CNN)中的第二层的池化层执行处理。
(15)
一种信息处理系统，包括：
根据(12)至(14)中任一项的电子设备；以及
数据处理装置，经由预定网络连接到电子设备。
(16)
根据(15)的信息处理系统，其中，数据处理装置从CNN中的第二层的池化层执行处理。
参考标记列表
1 电子设备
10 成像设备
11 成像单元
11a 光学系统
12 控制单元
13 信号处理单元
14 DSP
15 存储器
16 输出单元
20 应用处理器
30 云服务器
40 网络
50、50R、50G、50B、950、1050 帧数据
51 滤波器
54、54-1至54-25、954-1至954-25 特征图
100、100A 固态成像设备(图像传感器)
101 像素阵列单元
102 垂直驱动电路
103 列处理电路
104 水平驱动电路
105 系统控制单元
108 信号处理电路
109 数据存储单元
110、110A、110B 单位像素
111 转移晶体管
112 复位晶体管
113 放大晶体管
114 选择晶体管
121 半导体芯片
122 卷积滤波器阵列
123 颜色滤波器阵列
124 微透镜阵列
130、130A、130B、130-0、130-45、130-90、130-135 卷积滤波器
131A、131B、132A、132B 衍射光栅
133 卷积滤波器单元
150、151R、151G、151B 颜色滤波器
152 颜色滤波器单元
154 组合滤波器单元
155R、155G、155B 组合滤波器单元
160 片上透镜
LD 像素驱动线
LD111 转移晶体管驱动线
LD112 复位晶体管驱动线
LD114 选择晶体管驱动线
PD、PD-A、PD-B 光电二极管
VSL 垂直信号线。

Claims (16)

1.一种光接收装置，包括：
多个第一滤波器，每个第一滤波器透射入射图像中预定方向上的边缘分量；
多个第二滤波器，每个第二滤波器透射入射光中预定波段的光；以及
多个光电转换元件，每个光电转换元件对透射通过所述多个第一滤波器中的一个第一滤波器和所述多个第二滤波器中的一个第二滤波器的光进行光电转换。
2.根据权利要求1所述的光接收装置，其中，每个第一滤波器包括衍射光栅。
3.根据权利要求1所述的光接收装置，其中，每个第一滤波器是托尔伯特衍射光栅。
4.根据权利要求1所述的光接收装置，其中，所述多个第一滤波器是加博滤波器。
5.根据权利要求1所述的光接收装置，其中，
第一滤波器包括透射第一方向上的边缘分量的第三滤波器和透射不同于所述第一方向的第二方向上的边缘分量的第四滤波器，
第二滤波器包括透射第一波段的光的至少两个第五滤波器和透射不同于所述第一波段的第二波段的光的至少两个第六滤波器，
第五滤波器中的一个第五滤波器和第六滤波器中的一个第六滤波器与所述第三滤波器相关联，并且
所述第五滤波器中的另一第五滤波器和所述第六滤波器中的另一第六滤波器与所述第四滤波器相关联。
6.根据权利要求1所述的光接收装置，其中，
第一滤波器包括透射第一方向上的边缘分量的至少两个第三滤波器和透射不同于所述第一方向的第二方向上的边缘分量的至少两个第四滤波器，
第二滤波器包括透射第一波段的光的第五滤波器和透射不同于所述第一波段的第二波段的光的第六滤波器，
第三滤波器中的一个第三滤波器和第四滤波器中的一个第四滤波器与所述第五滤波器相关联，并且
所述第三滤波器中的另一第三滤波器和所述第四滤波器中的另一第四滤波器与所述第六滤波器相关联。
7.根据权利要求1所述的光接收装置，其中，每个第一滤波器与光电转换元件一对一相关联。
8.根据权利要求1所述的光接收装置，进一步包括片上透镜，所述片上透镜将所述入射光的一部分会聚在光电转换元件中的任一个光电转换元件上。
9.根据权利要求8所述的光接收装置，其中，第一滤波器位于光电转换元件与所述片上透镜之间。
10.根据权利要求9所述的光接收装置，其中，第二滤波器位于所述光电转换元件与第一滤波器之间或位于所述第一滤波器与所述片上透镜之间。
11.一种固态成像设备，包括：
根据权利要求1所述的光接收装置；以及
像素电路，读取与在每个光电转换元件中累积的电荷量相对应的电压值的像素信号。
12.一种电子设备，包括：
根据权利要求11所述的固态成像设备；以及
数据处理单元，对从所述固态成像设备输出的数据执行预定处理。
13.根据权利要求12所述的电子设备，其中，所述数据处理单元对从所述固态成像设备读取的所述数据使用学习模型执行机器学习处理。
14.根据权利要求13所述的电子设备，其中，所述数据处理单元从卷积神经网络(CNN)中的第二层的池化层执行处理。
15.一种信息处理系统，包括：
根据权利要求12所述的电子设备；以及
数据处理装置，经由预定网络连接到所述电子设备。
16.根据权利要求15所述的信息处理系统，其中，所述数据处理装置从CNN中的第二层的池化层执行处理。
CN202080036257.6A 2019-05-22 2020-05-08 光接收装置、固态成像设备、电子设备和信息处理系统 Pending CN113826375A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-096331 2019-05-22
JP2019096331A JP2020191564A (ja) 2019-05-22 2019-05-22 受光デバイス、固体撮像装置、電子機器及び情報処理システム
PCT/JP2020/018746 WO2020235363A1 (ja) 2019-05-22 2020-05-08 受光デバイス、固体撮像装置、電子機器及び情報処理システム

Publications (1)

Publication Number Publication Date
CN113826375A true CN113826375A (zh) 2021-12-21

Family

ID=73454781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036257.6A Pending CN113826375A (zh) 2019-05-22 2020-05-08 光接收装置、固态成像设备、电子设备和信息处理系统

Country Status (5)

Country Link
US (1) US11928848B2 (zh)
JP (1) JP2020191564A (zh)
CN (1) CN113826375A (zh)
DE (1) DE112020002459T5 (zh)
WO (1) WO2020235363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640763A (zh) * 2022-02-28 2022-06-17 北京极感科技有限公司 屏下摄像头传感器、图像处理方法、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
WO2023095666A1 (ja) * 2021-11-29 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および信号処理方法、並びに固体撮像素子

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0571893A2 (en) * 1992-05-29 1993-12-01 International Business Machines Corporation Image analysis apparatus
CN102551765A (zh) * 2010-12-20 2012-07-11 富士胶片株式会社 放射线照相装置和放射线照相系统
US20150042858A1 (en) * 2013-08-12 2015-02-12 Kabushiki Kaisha Toshiba Solid-state imaging device
WO2018211971A1 (en) * 2017-05-15 2018-11-22 Sony Semiconductor Solutions Corporation Image sensor, image sensor manufacturing method, electronic device, and imaging module
US20190012790A1 (en) * 2017-07-05 2019-01-10 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP2019029681A (ja) * 2017-07-25 2019-02-21 株式会社日立製作所 撮像装置及び撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489425B (zh) 2013-10-12 2015-11-25 合肥京东方光电科技有限公司 电平转换电路、阵列基板及显示装置
JP2015115527A (ja) 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム
US20170148177A1 (en) 2014-06-03 2017-05-25 Sony Corporation Image processing apparatus, image processing method, and program
US20190138830A1 (en) * 2015-01-09 2019-05-09 Irvine Sensors Corp. Methods and Devices for Cognitive-based Image Data Analytics in Real Time Comprising Convolutional Neural Network
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
GB201512278D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Hybrid neural network
EP3489861A1 (en) * 2017-11-24 2019-05-29 Siemens Healthcare GmbH Computer-based diagnostic system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0571893A2 (en) * 1992-05-29 1993-12-01 International Business Machines Corporation Image analysis apparatus
CN102551765A (zh) * 2010-12-20 2012-07-11 富士胶片株式会社 放射线照相装置和放射线照相系统
US20150042858A1 (en) * 2013-08-12 2015-02-12 Kabushiki Kaisha Toshiba Solid-state imaging device
WO2018211971A1 (en) * 2017-05-15 2018-11-22 Sony Semiconductor Solutions Corporation Image sensor, image sensor manufacturing method, electronic device, and imaging module
US20190012790A1 (en) * 2017-07-05 2019-01-10 Canon Kabushiki Kaisha Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP2019029681A (ja) * 2017-07-25 2019-02-21 株式会社日立製作所 撮像装置及び撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640763A (zh) * 2022-02-28 2022-06-17 北京极感科技有限公司 屏下摄像头传感器、图像处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020235363A1 (ja) 2020-11-26
JP2020191564A (ja) 2020-11-26
US11928848B2 (en) 2024-03-12
DE112020002459T5 (de) 2022-03-10
US20220222912A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11523079B2 (en) Solid-state imaging element and imaging device
CN111863844A (zh) 成像装置和电子设备
US11928848B2 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
US20240015412A1 (en) Sensor and control method
JP7370413B2 (ja) 固体撮像装置、及び電子機器
WO2021112151A1 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
US20230402475A1 (en) Imaging apparatus and electronic device
CN110603458A (zh) 光学传感器和电子设备
JP7277106B2 (ja) 固体撮像装置及び撮像装置
JP2022548199A (ja) ダイナミックビジョンセンサ及び撮像機能を組み合わせた固体撮像デバイス及び撮像デバイス
US20210385394A1 (en) Solid-state imaging apparatus and electronic
WO2019026429A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN112970117A (zh) 固态成像装置和电子设备
US11469518B2 (en) Array antenna, solid-state imaging device, and electronic apparatus
JP7281895B2 (ja) 撮像素子および電子機器
WO2023021780A1 (ja) 撮像装置、電子機器及び情報処理方法
WO2023286297A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US12003878B2 (en) Imaging device
WO2023181657A1 (ja) 光検出装置及び電子機器
WO2023021774A1 (ja) 撮像装置及び撮像装置を備える電子機器
US20220103775A1 (en) Imaging device
WO2023243222A1 (ja) 撮像装置
JP2024000625A (ja) 固体撮像装置および電子機器
CN116830595A (zh) 成像元件和成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination