CN112640428A - 固态成像装置、信号处理芯片和电子设备 - Google Patents

固态成像装置、信号处理芯片和电子设备 Download PDF

Info

Publication number
CN112640428A
CN112640428A CN201980054386.5A CN201980054386A CN112640428A CN 112640428 A CN112640428 A CN 112640428A CN 201980054386 A CN201980054386 A CN 201980054386A CN 112640428 A CN112640428 A CN 112640428A
Authority
CN
China
Prior art keywords
unit
pixel
event
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980054386.5A
Other languages
English (en)
Other versions
CN112640428B (zh
Inventor
若林準人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112640428A publication Critical patent/CN112640428A/zh
Application granted granted Critical
Publication of CN112640428B publication Critical patent/CN112640428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明的技术涉及一种固态成像装置、一种信号处理芯片和一种电子设备，利用它们可以在成像中利用检测事件发生的结果。所述固态成像装置包括：事件检测单元，其检测由像素阵列单元的每个像素生成的电信号的变化，作为事件；感兴趣区域检测单元，其从事件检测结果中检测像素阵列单元的感兴趣区域；以及像素信号生成单元，其生成构成对应于感兴趣区域的区域的图像的像素信号。该技术可以应用于例如检测作为像素的电信号变化的事件的传感器。

Description

固态成像装置、信号处理芯片和电子设备
技术领域
本技术涉及一种固态成像装置、一种信号处理芯片和一种电子设备，尤其涉及一种固态成像装置、一种信号处理芯片和一种电子设备，其使得能够利用成像中事件发生的检测结果。
背景技术
已经提出了一种图像传感器，其在已经发生事件的情况下，通过使用像素的亮度变化作为事件来输出表示事件发生的事件数据(例如，参见专利文献1)。
在此处，与垂直同步信号同步地执行成像并且以光栅扫描格式输出帧数据的图像传感器可以称为同步图像传感器。同时，输出事件数据的图像传感器可以称为异步图像传感器，因为图像传感器读取已经在任何时间发生事件数据的像素。例如，异步图像传感器称为DVS(动态视觉传感器)。
引用列表
专利文献
专利文献1：日本未审查专利申请公开号2017-535999
发明内容
技术问题
期望一种在成像中利用异步图像传感器检测事件发生的结果的方法。
鉴于上述情况而做出本技术，并且其目的是使得可以利用在成像中事件发生的检测结果。
问题的解决方案
根据本技术的第一方面的固态成像装置包括：事件检测单元，将像素阵列单元的每个像素生成的电信号的变化检测为事件；感兴趣区域检测单元，从检测所述事件的结果中检测所述像素阵列单元的感兴趣区域；以及像素信号生成单元，生成构成与所述感兴趣区域对应的区域的图像的像素信号。
根据本技术的第二方面的信号处理芯片包括：感兴趣区域检测单元，从将像素阵列单元的每个像素生成的电信号的变化检测作为事件的结果中检测所述像素阵列单元的感兴趣区域，并且所述感兴趣区域检测单元输出用于识别所述感兴趣区域的ROI信息；以及图像处理单元，获取所述感兴趣区域的像素信号并生成图像。
根据本技术的第三方面的电子设备包括：固态成像装置，包括：事件检测单元，将像素阵列单元的每个像素生成的电信号的变化检测作为事件；感兴趣区域检测单元，从检测所述事件的结果中检测所述像素阵列单元的感兴趣区域；以及像素信号生成单元，生成构成与所述感兴趣区域对应的区域的图像的像素信号。
在本技术的第一和第三方面中，检测由像素阵列单元的每个像素生成的电信号的变化，作为事件，从检测事件的结果中检测像素阵列单元的感兴趣区域，并且生成构成对应于感兴趣区域的区域的图像的像素信号。
在本技术的第二方面中，从检测作为事件的由像素阵列单元的每个像素生成的电信号的变化的结果中，检测像素阵列单元的感兴趣区域，输出用于识别感兴趣区域的ROI信息，并且获取感兴趣区域的像素信号，以生成图像。
固态成像装置、信号处理芯片和电子设备可以是单独的装置，或者可以是包含在其他装置中的模块。
附图说明
图1是示出应用本技术的固态成像装置的第一实施方式的配置示例的示图。
图2是示出图1中的DVS芯片的配置示例的框图。
图3是示出图2中的像素阵列单元的配置示例的框图。
图4是示出图3中的像素块的配置示例的电路图。
图5是示出事件检测单元的配置示例的框图。
图6是示出电流电压转换单元的配置示例的电路图。
图7是示出减法单元和量化单元的配置示例的电路图。
图8是示出量化单元的另一配置示例的框图。
图9是示出图像处理单元的配置示例的框图。
图10是描述根据事件数据生成帧数据的方法的示例的示图。
图11是示出图1中的CIS芯片的配置示例的框图。
图12是示出图11中的像素阵列单元的配置示例的框图。
图13是示出图12中的像素块的配置示例的电路图。
图14是描述固态成像装置的操作的流程图。
图15是示出应用本技术的固态成像装置的第二实施方式的配置示例的示图。
图16是示出DVS芯片、CIS芯片和DSP芯片的配置示例的框图。
图17是示出应用本技术的固态成像装置的第三实施方式的配置示例的框图。
图18是描述根据第三实施方式的固态成像装置的处理的流程图。
图19是示出应用本技术的固态成像装置的第四实施方式的配置示例的示图。
图20是示出应用本技术的固态成像装置的第四实施方式的另一配置示例的示图。
图21是示出图19中的传感器单元的配置示例的框图。
图22是示出图21中的像素阵列单元的配置示例的框图。
图23是示出图22中的像素块的配置示例的电路图。
图24是描述图21中的传感器单元的操作示例的时序图。
图25是示出由像素阵列单元的所有像素执行成像的情况下的驱动的时序图。
图26是示出在像素阵列单元中执行感兴趣区域的成像的情况下的驱动的时序图。
图27是示出图21中的像素阵列单元的另一配置示例的框图。
图28是示出用作应用本技术的电子设备的成像装置的配置示例的框图。
图29是示出图像传感器的使用示例的示图。
图30是描绘车辆控制系统的示意性配置的示例的框图。
图31是帮助说明车外信息检测部和成像部的安装位置的示例的示图。
具体实施方式
在下文中，将描述用于实现本技术的实施方式(以下称为实施方式)。注意，将按以下顺序进行描述。
1.第一实施方式(具有双芯片配置的固态成像装置)
2.第二实施方式(具有三芯片配置的固态成像装置)
3.第三实施方式(具有三芯片配置的固态成像装置)
4.第四实施方式(具有单芯片配置的固态成像装置)
5.电子设备的应用实例
6.移动对象的应用实例
<1.第一实施方式>
图1是示出应用本技术的固态成像装置的第一实施方式的配置示例的示图。
图1中的固态成像装置10包括第一芯片11、第二芯片12和中继板(插入板)13，第一芯片11和第二芯片12安装在中继板13上。
第一芯片11是图像传感器芯片，其在已经发生事件的情况下，通过使用像素的亮度变化作为事件来输出表示事件发生的事件数据。第一芯片11执行入射光的光电转换，以执行其中生成电信号的成像。与垂直同步信号同步地执行成像，并且生成表示作为像素电信号变化的事件发生的事件数据，而不是生成帧格式的图像数据(帧数据)。
同时，第二芯片12是图像传感器，其与垂直同步信号同步地执行成像，并且以帧格式输出作为图像数据的帧数据。
由于第一芯片11不与垂直同步信号同步地输出事件数据，所以第一芯片11可以称为异步图像传感器。例如，异步图像传感器也称为DVS(动态视觉传感器)。在下文中，为了便于区分，第一芯片11将称为DVS芯片11，第二芯片12将称为CIS芯片12。
中继板13包括：用于在DVS芯片11和CIS芯片12之间中继信号的信号布线，以及将固态成像装置10的输出信号输出到外部的输出端子。输出端子包括例如形成在与DVS芯片11和CIS芯片12的安装表面相对的一侧的焊球。
DVS芯片11检测在预定检测目标范围内发生的事件，即，像素亮度的变化，基于检测到的事件，确定感兴趣区域(其作为检测目标范围内的特定感兴趣区域)，并将感兴趣区域输出到CIS芯片12。
CIS芯片12在预定成像目标范围内对由DVS芯片11确定的感兴趣区域执行成像，并将作为成像结果获得的捕捉图像输出到外部。
在此处，通过预先执行校准，DVS芯片11的检测目标范围和CIS芯片12的成像目标范围彼此一致。换言之，可以由CIS芯片12在DVS芯片11的所有检测目标范围内执行成像。此外，在该实施方式中，为了简单起见，假设DVS芯片11的像素和CIS芯片12的像素以一对一的方式彼此对应，但是像素不必以一对一的方式彼此对应。例如，像素可以具有一个像素对应于其他N个像素(N>1)的关系。
<DVS芯片11的配置示例>
图2是示出图1中的DVS芯片11的配置示例的框图。
DVS芯片11包括像素阵列单元31、仲裁器33、存储器34、图像处理单元35、输出单元36和时钟信号生成单元37。
像素阵列单元31通过以二维点阵排列多个像素51(图3)来配置。另外，像素阵列单元31分成多个像素块41(图3)，每个像素块包括预定数量的像素51。在作为由像素51的光电转换生成的电信号的光电流(对应于该光电流的电压)中发生超过预定阈值的变化(根据需要包括等于或大于阈值的变化)的情况下，像素阵列单元31检测光电流的变化，作为事件。在像素阵列单元31检测到事件的情况下，像素阵列单元31向仲裁器33输出用于输出表示事件发生的事件数据的请求。然后，在像素阵列单元31从仲裁器33接收表示输出事件数据的许可的响应的情况下，像素阵列单元31向存储器34输出事件数据。
在此处，由于像素51生成的光电流的变化也可以被视为进入像素51的光量的变化，因此事件也可以称为像素51的光量的变化(超过阈值的光量的变化)。
仲裁器33对来自构成像素阵列单元31的像素块41的请求进行仲裁，并向像素阵列单元31返回表示是否允许输出事件数据的响应。此外，仲裁器33输出表示事件数据输出许可的响应，然后向像素阵列单元31输出用于复位事件检测的复位信号。
存储器34在预定的帧单位(下面描述的帧体积)中累积来自像素阵列单元31的事件数据。由图像处理单元35控制在其中存储器34累积来自像素阵列单元31的事件数据的帧单位。基于由时钟信号生成单元37提供的时钟信号，存储器34将用作表示已经发生事件的(相对)时间的时间信息的计数值添加到事件数据，并且累积所获得的数据。即，存储器34存储事件数据，该事件数据至少包括表示已经发生事件的像素块41或像素51的位置的位置坐标(例如，坐标)和表示已经发生事件的时间的时间信息。此外，事件数据可以包括光量变化的极性(正和负)。
图像处理单元35根据存储器34中累积的以帧为单位的事件数据(帧数据)执行数据处理(图像处理)，并输出作为数据处理结果的数据处理结果。例如，图像处理单元35从以帧为单位的事件数据中提取对象的轮廓信息，并识别要检测的对象。图像处理单元35确定包括所识别的对象的感兴趣区域，并将感兴趣区域输出到输出单元36。
输出单元36经由中继板13从图像处理单元35向CIS芯片12输出用于识别感兴趣区域的信息，作为ROI信息(感兴趣区域)。
时钟信号生成单元37生成要用作主时钟的时钟信号，并将该时钟信号提供给存储器34、图像处理单元35等。
<像素阵列单元31的配置示例>
图3是示出图2中的像素阵列单元31的配置示例的框图。
像素阵列单元31包括多个像素块41。像素块41包括：排列在I行×J列(I和J是整数)中的一个或多个I×J像素51，以及事件检测单元52。像素块41中的一个或多个像素51共享事件检测单元52。
像素51接收来自对象的入射光，并对该光进行光电转换，以生成光电流，作为电信号。像素51将生成的光电流提供给事件检测单元52。
在通过来自仲裁器33的复位信号执行复位之后，事件检测单元52检测超过预定阈值的来自每个像素51的光电流的变化，作为事件。当事件检测单元52检测到事件时，事件检测单元52向仲裁器33(图2)提供用于输出表示事件发生的事件数据的请求。然后，当事件检测单元52接收到来自仲裁器33的响应于该请求的允许输出事件数据的响应时，事件检测单元52向存储器34输出事件数据。
在此处，检测作为事件的超过光电流的预定阈值的变化也可以视为检测作为事件的没有超过光电流的预定阈值的变化。
<像素块41的配置示例>
图4是示出图3中的像素块41的配置示例的电路图。
如图3所示，像素块41包括一个或多个像素51和事件检测单元52。
像素51包括光电转换元件61。光电转换元件61包括例如PD(光电二极管)，其接收入射光并且光电转换光以生成电荷。
构成像素块41的I×J个像素51经由节点60连接到构成像素块41的事件检测单元52。因此，由像素51(其光电转换元件61)生成的光电流经由节点60提供给事件检测单元52。结果，给事件检测单元52提供像素块41中所有像素51的光电流的总和。因此，在事件检测单元52中，检测从构成像素块41的I×J个像素51提供的光电流的总和的变化，作为事件。
在图3中的像素阵列单元31中，像素块41包括一个或多个像素51，并且事件检测单元52由一个或多个像素51共享。因此，在像素块41包括多个像素51的情况下，与为一个像素51提供一个事件检测单元52的情况相比，可以减少事件检测单元52的数量，并且可以抑制像素阵列单元31的尺寸。
注意，在像素块41包括多个像素51的情况下，可以为每个像素51提供事件检测单元52。在事件检测单元52由像素块41的多个像素51共享的情况下，以像素块41为单位检测事件。同时，在为每个像素51提供事件检测单元52的情况下，可以像素51为单位检测事件。
<事件检测单元52的配置示例>
图5是示出图3中的事件检测单元52的配置示例的框图。
事件检测单元52包括电流电压转换单元81、缓冲器82、减法单元83、量化单元(quantization unit，量子化单元)84和传送单元85。
电流电压转换单元81将来自像素51的光电流(之和)转换成对应于光电流的对数的电压(在下文中，也称为光电压)，并将该电压提供给缓冲器82。
缓冲器82缓冲来自电流电压转换单元81的光电压，并将缓冲的光电压提供给减法单元83。
减法单元83在根据来自仲裁器33的复位信号的时间计算当前光电压和在与当前时间相差微小时间的光电压之间的差值，并将对应于该差值的差信号提供给量化单元84。
量化单元84将来自减法单元83的差信号量化为数字信号，并将差信号的量化值作为事件数据提供给传送单元85。
根据来自量化单元84的事件数据，传送单元85将事件数据传送(输出)到存储器34。即，传送单元85向仲裁器33提供用于输出事件数据的请求。然后，当传送单元85从仲裁器33接收到响应于该请求而允许输出事件数据的响应时，传送单元85将事件数据输出到存储器34。
<电流电压转换单元81的配置示例>
图6是示出图5中的电流电压转换单元81的配置示例的电路图。
电流电压转换单元81包括晶体管91至93。例如，N型MOS FET可以用作晶体管91和93，并且P型MOS FET可以用作晶体管92。
晶体管91的源极连接到晶体管93的栅极，并且来自像素51的光电流提供给晶体管91的源极和晶体管93的栅极之间的连接点。晶体管91的漏极连接到电源VDD，其栅极连接到晶体管93的漏极。
晶体管92的源极连接到电源VDD，其漏极连接到晶体管91的栅极和晶体管93的漏极的连接点。预定的偏置电压Vbias施加到晶体管92的栅极。晶体管92由偏置电压Vbias导通/截止，并且电流电压转换单元81的操作也通过导通/截止晶体管92而导通/截止。
晶体管93的源极接地。
在电流电压转换单元81中，晶体管91的漏极连接到电源VDD侧，并用作源极跟随器。像素51(图4)连接到作为源极跟随器的晶体管91的源极。结果，由于像素51的光电转换元件61生成的电荷，光电流流向晶体管91(从其漏极到源极)。晶体管91在亚阈值区域中操作，在晶体管91的栅极出现对应于流向晶体管91的光电流的对数的光电压。如上所述，在电流电压转换单元81中，晶体管91将来自像素51的光电流转换成对应于光电流的对数的光电压。
在电流电压转换单元81中，晶体管91的栅极连接到晶体管92的漏极和晶体管93的漏极之间的连接点，并且从该连接点输出光电压。
<减法单元83和量化单元84的配置示例>
图7是示出图5中的减法单元83和量化单元84的配置示例的电路图。
减法单元83包括电容器101、运算放大器102、电容器103和开关104。量化单元84包括比较器111。
电容器101的一端连接到缓冲器82的输出端子(图5)，另一端连接到运算放大器102的输入端子(反相输入端子)。因此，光电压经由电容器101输入到运算放大器102的输入端子。
运算放大器102的输出端子连接到比较器111的非反相输入端子(+)。
电容器103的一端连接到运算放大器102的输入端子，另一端连接到运算放大器102的输出端子。
开关104连接到电容器103，使得电容器103两端的连接导通/截断。开关104通过根据复位信号导通/截断来导通/截断电容器103两端的连接。
当开关104导通时，电容器101的缓冲器82(图5)侧的光电压用Vinit表示，电容器101的电容(静电电容)用C1表示。运算放大器102的输入端子是虚拟地，当开关104导通时，电容器101中累积的电荷Qinit由公式(1)表示。
Qinit＝C1×Vinit (1)
此外，在开关104导通的情况下，电容器103两端的连接截止(短路)，使得电容器103中累积的电荷为零。
当开关104截止时，电容器101中累积的电荷Qafter由公式(2)表示，Vafter表示当开关104随后截断时电容器101的缓冲器82(图5)侧的光电压。
Qafter＝C1×Vafter (2)
当电容器103的电容由C2表示并且运算放大器102的输出电压由Vout表示时，电容器103中累积的电荷Q2由公式(3)表示。
Q2＝-C2×Vout (3)
因为通过组合电容器101的电荷和电容器103的电荷而获得的总电荷量在开关104截断之前和之后不改变，所以满足公式(4)。
Qinit＝Qafter+Q2 (4)
将公式(1)至(3)代入公式(4)，得到公式(5)。
Vout＝-(C1/C2)×(Vafter-Vinit) (5)
根据公式(5)，在减法单元83中，执行光伏电压Vafter和Vinit的减法，即，与光伏电压Vafter和Vinit之间的差值Vafter-Vinit相对应的差信号(Vout)的计算。根据公式(5)，减法单元83的减法增益是C1/C2。因为通常希望最大化增益，所以将C1设计得大而将C2设计得小是有利的。同时，如果C2太小，则存在kTC噪声增加和噪声特性恶化的可能性。因此，C2的电容减小限制在允许噪声的范围内。此外，由于为每个像素块41安装包括减法单元83的事件检测单元52，所以电容C1和C2在面积方面受到限制。考虑到这些，确定电容C1和C2的值。
比较器111通过将来自减法单元83的差信号与施加到反相输入端子(-)的预定阈值(电压)Vth(>0)进行比较来量化差信号，并将通过量化获得的量化值作为事件数据输出到传送单元85。
例如，在差信号超过阈值Vth的情况下，比较器111输出表示1的H(高)电平，作为表示事件发生的事件数据，并且在差信号没有超过阈值Vth的情况下，输出表示0的L(低)电平，作为表示没有事件发生的事件数据。
根据来自量化单元84的事件数据，在识别出已经发生作为事件的光量的变化的情况下，即在差信号(Vout)大于阈值Vth的情况下，传送单元85向仲裁器33提供请求，并且在接收到指示事件数据输出许可的响应之后，向存储器34输出表示事件发生的事件数据(例如，H电平)。
存储器34根据需要存储来自传送单元85的事件数据，包括已经发生由事件数据表示的事件的像素51(包括像素51的像素块41)的位置信息、表示已经发生事件的时间的时间信息以及作为事件的光量变化的极性。
例如，可以采用称为AER(地址事件表示)的数据格式，作为事件数据的数据格式，该事件数据包括已经发生事件的像素51的位置信息、表示已经发生事件的时间的时间信息以及作为事件的光量变化的极性。
注意，当电流电压转换单元81的增益由CGlog表示，缓冲器82的增益由1表示，量化单元84的增益由G表示时，整个事件检测单元52的增益A由以下公式表示，
A＝CGlog·C1/C2·G(Σiphoto_n) (6)
Iphoto_n表示构成像素块41的I×J个像素51的第n个像素51的光电流。公式(6)中的Σ表示n变为1至I×J的整数的总和。
注意，在像素51中，通过例如提供预定光透射通过的滤光器，例如，滤色器，可以接收任意光，作为入射光。例如，在像素51接收可见光作为入射光的情况下，事件数据表示显示可视对象的图像中的像素值发生变化。此外，例如，在像素51中，在接收作为入射光的红外线、毫米波等用于测距的情况下，事件数据表示到对象的距离发生变化。此外，例如，在像素51中，在接收用于测量温度的红外线作为入射光的情况下，事件数据表示对象温度变化的发生。在该实施方式中，在像素51中，接收可见光，作为入射光。
<量化单元84的另一配置示例>
图8是示出图5中的量化单元84的另一配置示例的框图。
注意，在图8中，与图7中的组件对应的组件将由相同的附图标记表示，并且下面将省略其描述。
在图8中，量化单元84包括比较器111、比较器112和输出单元113。
因此，图8中的量化单元84与图7中的相同之处在于，量化单元84包括比较器111。然而，图8中的量化单元84与图7中的不同之处在于，量化单元84新包括比较器112和输出单元113。
在包括图8的量化单元84的事件检测单元52(图5)中，除了事件之外，也检测光量变化的极性，作为事件。
在图8中的量化单元84中，在差信号超过阈值Vth的情况下，比较器111输出表示1的H电平，作为表示正极性的事件发生的事件数据，并且在差信号没有超过阈值Vth的情况下，输出表示0的L电平，作为表示没有发生正极性事件的事件数据。
此外，在图8中的量化单元84中，阈值Vth’(<Vth)提供给比较器112的非反相输入端子(+)，并且来自减法单元83的差信号提供给比较器112的反相输入端子(-)。在此处，为了描述简单，假设阈值Vth’等于例如-Vth。
比较器112通过将来自减法单元83的差信号与施加到反相输入端子(-)的阈值Vth’进行比较来量化差信号，并输出通过量化获得的量化值，作为事件数据。
例如，在差信号小于阈值Vth’的情况下(在负差信号的绝对值超过阈值Vth的情况下)，比较器112输出表示1的H电平，作为表示负极性事件发生的事件数据。此外，在差信号不小于阈值Vth’的情况下(在负差信号的绝对值不超过阈值Vth的情况下)，比较器112输出表示0的L电平，作为表示没有发生负极性事件的事件数据。
输出单元113根据比较器111和112输出的事件数据，向传送单元85输出表示正极性事件发生的事件数据、表示负极性事件发生的事件数据或表示未发生事件的事件数据。
例如，在来自比较器111的事件数据是表示1的H电平的情况下，输出单元113向传送单元85输出表示+1的H脉冲，作为表示正极性事件发生的事件数据。此外，在来自比较器112的事件数据是表示1的H电平的情况下，输出单元113向传送单元85输出表示1的L脉冲，作为表示负极性事件发生的事件数据。此外，在来自比较器111和112的事件数据都是表示0的L电平的情况下，输出单元113向传送单元85输出表示0的0伏(GND电平)，作为表示没有发生事件的事件数据。
根据来自量化单元84的输出单元113的事件数据，在识别出已经发生作为正极性或负极性事件的光量变化的情况下，传送单元85向仲裁器33提供请求，并且在接收到表示事件数据输出许可的响应之后，向存储器34输出表示正极性或负极性事件发生的事件数据(表示1的H脉冲或表示1的L脉冲)。
在如图7所示配置量化单元84的情况下，以仅正极性的1位(0或1)输出事件的发生。在如图8所示配置量化单元84的情况下，以1.5位(1、0或-1)输出事件的发生。在下文中，例如，如图8或者图7和图8所示，配置量化单元84。
<图像处理单元35的配置示例>
图9是示出图2中的图像处理单元35的配置示例的框图。
在图9中，图像处理单元35包括帧间隔设置单元131、帧宽度设置单元132和检测单元(感兴趣区域检测单元)133。
帧间隔设置单元131根据例如用户的操作设定帧间隔，并将设定帧间隔提供给存储器34。帧间隔表示根据事件数据生成的帧数据的帧之间的间隔，并且帧间隔可以由事件数据的时间或数量来指定和设置。在此处，由帧间隔设置单元131设定帧间隔也称为设定帧间隔。
帧宽度设置单元132根据例如用户操作来设定帧宽度，并将设定帧宽度提供给存储器34。帧宽度表示用于生成单帧帧数据的事件数据的时间宽度，帧宽度可以由事件数据的数量或时间指定和设置，类似于帧间隔。在此处，由帧宽度设置单元132设定帧宽度也称为设定帧宽度。
存储器34通过生成帧数据，以帧为单位将来自像素阵列单元31的事件数据转换成帧数据，该帧数据是具有在帧间隔设置单元131和帧宽度设置单元132中设置的设定帧间隔和设定帧宽度的帧格式的图像数据，并存储转换后的数据。
检测单元133识别要检测的对象，并通过使用存储在存储器34中的帧数据的图像处理，例如，使用模式匹配或神经网络的图像识别，提取对象的轮廓信息。图像处理单元35向输出单元36输出包括作为感兴趣区域的所识别的对象的区域和用于将感兴趣区域识别为ROI信息的信息。即，检测单元133使用存储在存储器34中的帧数据来检测感兴趣区域。
注意，可以采用预先确定的值，作为帧宽度。在这种情况下，可以在不提供帧宽度设置单元132的情况下配置图像处理单元35。
<根据事件数据生成帧数据>
图10是描述根据事件数据生成帧数据的方法的示图。
在此处，假设事件数据包括表示已经发生事件的时间的时间信息(在下文中，也称为事件时间)ti和作为已经发生事件的像素51(包括像素51的像素块41)的位置信息(在下文中，也称为事件位置)的坐标(x，y)。
在图10中，在由x轴、y轴和时间轴t组成的三维(时间)空间中，在事件数据中包括的事件时间t和事件位置(x，y)(作为其坐标)上绘制作为事件数据的点。
即，当包括在事件数据中的事件时间t和由事件位置(x，y)表示的三维空间中的位置(x，y，t)称为事件的时空位置时，事件数据被绘制为图10中事件的时空位置(x，y，t)处的点。
存储器34使用例如预定时间开始生成对应于事件数据的帧数据，所述预定时间例如是从外部指示生成帧数据的时间和开启DVS芯片11的电源的时间，作为用于开始生成帧数据的生成开始时间。
在此处，假设对于从生成开始时间开始的每个设定帧间隔，时间轴t方向上的设定帧宽度的长方体称为帧体积或帧单位。x轴方向和y轴方向上的帧体积的大小等于例如x轴方向和y轴方向上的像素块41或像素51的数量。
对于每个设定帧间隔，存储器34根据从设定帧间隔开始的设定帧宽度的帧体积中的事件数据生成并存储一帧的帧数据。
帧宽度和帧间隔可以由事件数据的数量或时间来指定。帧宽度和帧间隔中的一个可以由时间指定，另一个可以由事件数据的数量指定。
可以通过例如在包括在事件数据中的事件位置(x，y)的帧的像素(的像素值)中设置白色，并且在该帧的另一位置的像素(的像素值)中设置诸如灰色等预定颜色，来执行帧数据的生成。
另外，在事件数据包括作为事件的光量变化的极性的情况下，可以考虑事件数据中包括的极性来执行帧数据的生成。例如，在极性为正的情况下，可以在像素中设置白色，在极性为负的情况下，可以在像素中设置黑色。
注意，在帧体积中，尽管事件时间t不同，但在某些情况下存在具有相同事件位置(x，y)的多条事件数据。在这种情况下，例如，事件时间t最近或最早的事件数据可以优先化。此外，在事件数据包括极性的情况下，具有相同事件位置(x，y)和不同事件时间t的多条事件数据的极性相加，并且对应于通过相加获得的相加值的像素值可以被设置为事件位置(x，y)的像素。
在此处，在帧宽度和帧间隔由时间指定并且帧宽度和帧间隔相同的情况下，帧体积处于无间隙接触的状态。此外，在帧间隔大于帧宽度的情况下，帧体积排列，其间具有间隙。在帧宽度大于帧间隔的情况下，帧体积以部分重叠的方式排列。在该实施方式中，为了描述简单，假设帧宽度与帧间隔相同，并且事件数据以预定的设定帧间隔累积在存储器34中。由于更新以设定的帧间隔累积在存储器34中的帧数据并且依次执行对象的检测，所以帧数据的更新周期等于用于检测对象的周期(对象检测周期)。
注意，尽管在该实施方式中，通过使用以预定的设定帧间隔和设定帧宽度累积在存储器34中的事件数据的图像识别来识别要检测的对象，但是在例如通过捕捉根据时间流逝获取的事件数据的位置位移来识别对象的情况下，可以省略存储器34，
<CIS芯片12的配置示例>
图11是示出图1中的CIS芯片12的配置示例的框图。
CIS芯片12包括像素阵列单元211、驱动单元212、AD(模数)转换单元213、输入单元214、控制单元215、信号处理单元216和输出单元217。
像素阵列单元211包括以二维点阵排列的多个像素251(图12)。像素阵列单元211分成多个像素块241(图12)，每个像素块包括预定数量的像素251。像素阵列单元211将通过像素251的光电转换生成的像素信号输出到AD转换单元213。
驱动单元212通过向像素阵列单元211提供控制信号来驱动像素阵列单元211。例如，驱动单元212基于从DVS芯片11提供的ROI信息驱动感兴趣区域的像素251，以向AD转换单元213提供(输出)像素251的像素信号。注意，不用说，驱动单元212不仅能够驱动像素阵列单元211的一部分区域，还能够驱动像素阵列单元211的所有区域，以将整个区域的像素251的像素信号提供(输出)到AD转换单元213。
对于下面描述的像素块241(图12)的每一列，AD转换单元213包括例如单斜率ADC(AD转换器)(未示出)。在各列ADC中，AD转换单元213对相应列的像素块241的像素251的像素信号进行模数转换，并将转换后的像素信号提供给信号处理单元216。注意，在AD转换单元213中，可以与像素信号的模数转换一起执行CDS(相关双采样)。
输入单元214经由中继板13获取从DVS芯片11提供的ROI信息，并将获取的ROI信息提供给控制单元215。此外，输入单元214还能够从外部获取用于命令操作模式等的数据。
控制单元215从输入单元214接收ROI信息、指示操作模式等的数据等。控制单元215生成用作驱动单元212、AD转换单元213等的操作的参考的时钟信号和控制信号。控制单元215然后将生成的时钟信号和控制信号输出到驱动单元212、AD转换单元213等。例如，控制单元215基于从输入单元214获得的ROI信息，向驱动单元212提供用于识别像素阵列单元211的驱动区域的控制信号。
信号处理单元216对从AD转换单元213依次提供的像素信号执行预定的信号处理。例如，信号处理单元216执行各种类型的数字信号处理，例如，黑色电平调整处理、列变化校正处理和增益调整处理。信号处理单元216将数字信号处理后的像素信号提供给输出单元217。
输出单元217将来自信号处理单元216的像素信号输出到外部。
<像素阵列单元211的配置示例>
图12是示出图11中的像素阵列单元211的配置示例的框图。
像素阵列单元211包括多个像素块241。像素块241包括：排列成I行×J列(I和J是整数)的一个或多个I×J个像素251，以及像素信号生成单元252。如上所述，每个像素块241的像素251的像素位置对应于DVS芯片11的像素阵列单元31的每个像素块41的像素51的像素位置。
像素块241中的一个或多个像素251共享像素信号生成单元252。此外，对于像素块241的每一列，将像素块241和AD转换单元213的ADC彼此连接的VSL(垂直信号线)布线。
像素251接收来自对象的入射光，并对接收的入射光进行光电转换，以生成作为电信号的光电流。像素信号生成单元252生成对应于像素251的光电流的电压，作为像素信号，并通过VSL将生成的像素信号提供给AD转换单元213。
<像素块41的配置示例>
图13是示出图12中的像素块241的配置示例的电路图。
如图12中所述，像素块241包括一个或多个像素251和像素信号生成单元252。
像素251包括光电转换元件261和传输晶体管262。
光电转换元件261包括例如PD(光电二极管)，其接收入射光并对接收的入射光进行光电转换以生成电荷。
传输晶体管262包括例如N(负)型MOS(金属氧化物半导体)FET(场效应晶体管)。根据从驱动单元212提供的控制信号TRGn，构成像素块241的I×J个像素251中的第n个像素251的传输晶体管262导通/截止。当传输晶体管262导通时，光电转换元件261中生成的电荷传输到像素信号生成单元252的FD 274。
像素信号生成单元252包括复位晶体管271、放大晶体管272、选择晶体管273和FD(浮动扩散)274。
复位晶体管271、放大晶体管272和选择晶体管273均包括例如N型MOS FET。
复位晶体管271根据从驱动单元212提供的控制信号RST导通/截止(图11)。当复位晶体管271导通时，FD 274连接到电源VDD，并且累积在FD 274中的电荷释放到电源VDD。这将复位FD 274。
放大晶体管272的栅极、漏极和源极分别经由选择晶体管273连接到FD 274、电源VDD和VSL。放大晶体管272是源极跟随器，并且经由选择晶体管273向VSL输出与提供给栅极的FD 274的电压对应的电压(电信号)。
选择晶体管273根据从驱动单元212提供的控制信号SEL导通/截止。当复位晶体管271导通时，与来自放大晶体管272的FD 274的电压对应的电压输出到VSL。
FD 274累积从像素251的光电转换元件261经由传输晶体管263传输的电荷，并将累积的电荷转换成电压。
关于如上所述配置的像素251和像素信号生成单元252，驱动单元212通过控制信号TRGn依次导通像素块241中的像素251的传输晶体管262，以将光电转换元件261生成的电荷传输到FD 274。在FD 274中，累积从像素251(的光电转换元件261)传输的电荷。对应于累积在FD 274中的电荷的电压经由放大晶体管272和选择晶体管273输出到VSL，作为像素251的像素信号。
如上所述，在CIS芯片12(图11)中，在驱动单元212的控制下，对应于感兴趣区域的像素块241的像素251的像素信号依次输出到VSL。输出到VSL的像素信号提供给AD转换单元213并进行模数转换。
在此处，对于像素块241中的每个像素251，传输晶体管263可以同时导通，而不是依次导通。在这种情况下，可以输出像素块241中所有像素251的像素信号之和。
在图12中的像素阵列单元211中，像素块241包括一个或多个像素251，并且像素信号生成单元252由一个或多个像素251共享。因此，在像素块241包括多个像素251的情况下，与为一个像素251提供一个像素信号生成单元252的情况相比，可以减少像素信号生成单元252的数量，并且可以抑制像素阵列单元211的尺寸。
注意，即使在像素块241包括多个像素251的情况下，也可以为每个像素251提供像素信号生成单元252。在为每个像素251提供像素信号生成单元252的情况下，不需要依次导通构成像素块241的多个像素251的传输晶体管263，并且传输晶体管263可以同时导通，以检测以像素251为单位的像素信号。
然而，为了简化描述，下面将进行描述，假设像素块包括DVS芯片11的像素阵列单元31和CIS芯片12的像素阵列单元211中的一个像素，除非另有说明。即，将进行描述，假设DVS芯片11的像素阵列单元31的像素块41包括一个像素51和事件检测单元52，并且CIS芯片12的像素阵列单元211的像素块241包括一个像素251和像素信号生成单元252。
<固态成像装置10的处理>
参照图14的流程图，将描述固态成像装置10的操作。例如，当固态成像装置10的电源导通时，开始图14中的处理。
注意，在图14中的处理中，由帧间隔设置单元131和帧宽度设置单元132设置的设定帧间隔和设定帧宽度在调整后被预先设置为预定值。
首先，在步骤S1中，在构成像素阵列单元31的多个像素51中的任一个中发生作为事件的电信号变化的情况下，DVS芯片11的像素阵列单元31生成事件数据，并将生成的事件数据提供给存储器34。更具体地，在检测到事件的情况下，像素阵列单元31向仲裁器33输出用于输出表示事件发生的事件数据的请求。然后，在从仲裁器33接收到表示允许输出事件数据的响应的情况下，像素阵列单元31将事件数据输出到存储器34。
在步骤S2，存储器34通过在预定的帧单位中累积事件数据，将来自像素阵列单元31的事件数据转换成帧数据。
在步骤S3，图像处理单元35根据累积在存储器34中的帧单位中的事件数据执行数据处理，并将数据处理结果(其作为数据处理的结果)输出到输出单元36。更具体地，检测单元133从帧数据中提取对象的轮廓信息，并识别要检测的对象。然后，检测单元133确定包括所识别的对象的感兴趣区域，并将所确定的感兴趣区域输出到输出单元36。
在步骤S4，输出单元36经由中继板13将从图像处理单元35提供的用于识别感兴趣区域的信息作为ROI信息(感兴趣区域)输出到CIS芯片12。
在步骤S5，输入单元214经由中继板13获取从DVS芯片11提供的ROI信息，并将获取的ROI信息提供给控制单元215。控制单元215基于从输入单元214获取的ROI信息，向驱动单元212提供识别像素阵列单元211的驱动区域的控制信号。
在步骤S6，像素阵列单元211在驱动单元212的控制下对感兴趣区域进行成像。即，驱动单元212基于从控制单元215提供的识别像素阵列单元211的驱动区域的控制信号来驱动感兴趣区域的像素251。像素阵列单元211在驱动单元212的控制下向AD转换单元213提供感兴趣区域的像素信号。
在步骤S7中，AD转换单元213将按照像素阵列单元211的行单位中依次输入的模拟像素信号转换(AD转换)为数字信号，并对其执行CDS，并将结果提供给信号处理单元216。
在步骤S8，信号处理单元216根据需要对从AD转换单元213依次提供的数字像素信号执行预定的信号处理，并将处理后的信号提供给输出单元217。输出单元217将来自信号处理单元216的数字像素信号输出到外部。
从步骤S1到S4的处理由固态成像装置10的DVS芯片11执行，并且步骤S5到S8的处理由固态成像装置10的CIS芯片12执行。
在DVS芯片11中，在检测到事件发生的情况下，通过识别要检测的对象来确定感兴趣区域，并且用于识别感兴趣区域的信息作为ROI信息提供给CIS芯片12。在CIS芯片12中，由DVS芯片11确定的感兴趣区域(与其对应的区域)被成像，并且输出感兴趣区域的各个像素的像素信号。
例如，即使在固态成像装置如在典型的CMOS图像传感器中仅包括CIS芯片12的情况下，在CIS芯片12中的像素阵列单元211的整个区域中执行成像，通过诸如模式匹配等图像识别从捕捉的图像中识别要检测的对象，以确定感兴趣区域，然后可以获取感兴趣区域的各个像素的像素信号。
然而，当为了确定感兴趣区域而在像素阵列单元211的整个区域中执行成像时，图像识别的处理负荷也增加，并且功耗也增加。为了降低图像识别的功耗和处理负荷，可以想到通过薄化像素阵列单元211的成像像素来以低分辨率执行成像的方法。然而，在不能以低分辨率检测到检测目标的情况下，需要进一步提高分辨率并再次执行成像和图像识别。
相比之下，根据图1中的固态成像装置10，DVS芯片11的检测目标范围与CIS芯片12的像素阵列单元211的成像范围相同，而没有变薄，并且事件的发生以低位输出，即1位或1.5位(三进制)。因此，可以检测到与CIS芯片12的像素阵列单元211的成像范围相同的成像范围的事件的发生，而不缺乏空间信息并且具有低功耗。然后，在CIS芯片12中，执行由DVS芯片11确定的感兴趣区域的成像，使得可以高速执行感兴趣区域的成像。通过仅驱动像素阵列单元211的一部分区域，可以降低CIS芯片12的功耗。
<2.第二实施方式>
图15是示出应用本技术的固态成像装置的第二实施方式的配置示例的示图。
尽管在图1的第一实施方式中提供了两个芯片，即检测事件发生并输出用于识别感兴趣区域的ROI信息的DVS芯片11，和对感兴趣区域成像的CIS芯片12，但是在第二实施方式中提供了三个芯片。
根据第二实施方式的固态成像装置10包括第一芯片311、第二芯片312、第三芯片313和中继板(插入板)314，第一芯片311、第二芯片312和第三芯片313安装在中继板314上。
根据第二实施方式的固态成像装置10被配置为使得第一实施方式中的DVS芯片11和CIS芯片12中的每一个的数字信号处理的至少一部分由另一DSP(数字信号处理器)芯片执行。
具体地，第一芯片311包括排除第一实施方式中的DVS芯片11的数字信号处理电路的一部分的电路，第二芯片312包括排除第一实施方式中的CIS芯片12的数字信号处理电路的一部分的电路。在第三芯片313中，形成从第一芯片311和第二芯片312排除的电路。在下文中，为了便于区分，第一芯片311将称为DVS芯片311，第二芯片312将称为CIS芯片312，第三芯片313将称为DSP芯片313。
中继板314包括用于在DVS芯片311、CIS芯片312和DSP芯片313之间中继信号的信号布线以及将固态成像装置10的输出信号输出到外部的输出端子。输出端子包括例如形成在与DVS芯片311和CIS芯片312的安装表面相对的一侧的焊球。
<每个芯片的配置示例>
图16是示出DVS芯片311、CIS芯片312和DSP芯片313的配置示例的框图。
在图16中，对应于图2、图9和图11所示的第一实施方式中的配置的组件将由相同的附图标记表示，并且将适当省略其描述。
将第一实施方式中的图2中的DVS芯片11与第二实施方式中的DVS芯片311进行比较，包括在第一实施方式中的DVS芯片11中的存储器34、图像处理单元35和时钟信号生成单元37被移动到第二实施方式中的DSP芯片313。因此，从像素阵列单元31输出的事件数据提供给输出单元36，并且输出单元36将事件数据输出到DSP芯片313的存储器34。
第二实施方式中的CIS芯片312的配置类似于第一实施方式中的图11中的CIS芯片12。
DSP芯片313包括图像处理单元321以及存储器34、图像处理单元35和时钟信号生成单元37。
DSP芯片313的图像处理单元321获取从CIS芯片312的输出单元217输入的数字像素信号。图像处理单元321对从CIS芯片312输入的感兴趣区域的像素信号执行预定的图像处理，例如，去马赛克，并将作为处理结果而获得的图像(其信号)输出到外部。此外，图像处理单元321可以执行在第一实施方式中的CIS芯片312的信号处理单元216中执行的信号处理的一部分。图像处理单元321包括根据需要临时存储像素信号的存储器(帧存储器)。
根据第二实施方式的固态成像装置10的处理可以以类似于第一实施方式中描述的图14中的处理的方式来执行，因此省略其描述。此外，在根据第二实施方式的固态成像装置10的处理中，可以在图14中描述的处理结束时另外执行由DSP芯片313的图像处理单元321进行的图像处理。
因此，即使在包括三芯片的根据第二实施方式的固态成像装置10中，也可以在与成像范围相同的检测目标范围内检测事件的发生，而不会变薄、不缺乏空间信息并且具有低功耗，并且可以高速执行感兴趣区域的成像。仅驱动感兴趣区域也可以降低功耗。
<3.第三实施方式>
图17是示出应用本技术的固态成像装置的第三实施方式的配置示例的框图。
与第二实施方式类似，根据第三实施方式的固态成像装置10包括DVS芯片311、CIS芯片312和DSP芯片313这三个芯片。根据第三实施方式的固态成像装置10的示意性透视图类似于图15中的透视图，因此省略其图示。
在图17的框图中，对应于图16中第二实施方式的组件将由相同的附图标记表示，并且将适当省略其描述。
图17中的DSP芯片313的检测单元341、可靠性确定单元342和成像同步信号生成单元343与第二实施方式不同，其余与第二实施方式相同。
第二实施方式中的图像处理单元35的检测单元133已经被第三实施方式中的检测单元341代替。
在第一和第二实施方式中，生成帧数据时的设定帧间隔和设定帧宽度是预先确定的固定值，在第三实施方式中，设定帧间隔和设定帧宽度根据检测单元341的检测结果而改变。
具体地，检测单元341使用存储在存储器34中的帧数据通过图像识别来识别要检测的对象，并且如第二实施方式中的检测单元133一样提取对象的轮廓信息。然后，图像处理单元35分别向CIS芯片312的输入单元214输出包括所识别的对象和用于将感兴趣区域识别为感兴趣区域和ROI信息的信息的区域。
此外，检测单元341向可靠性确定单元342提供图像识别的识别结果，换言之，检测对象的结果。例如，检测单元341以帧为单位将对象检测的存在与否指定为1和0，计算从最近的帧追溯到过去的帧的预定数量的帧中的比率1，作为检测比率，并将计算的比率输出到可靠性确定单元342。
可靠性确定单元342基于从检测单元341提供的检测比率来确定对象检测的可靠性，并且控制存储器34在其中累积事件数据的帧单位(帧体积)。在此处，假设即使在第三实施方式中帧宽度和帧间隔也是相同的，并且仅通过设定帧间隔来设置帧单位，可靠性确定单元342根据检测比率来控制存储器34累积事件数据的帧间隔。具体地，在从检测单元341提供的检测比率小于内部存储的阈值的情况下，即，在没有充分检测到对象的情况下，可靠性确定单元342向图像处理单元35提供用于增加帧间隔的帧控制信号。同时，在检测比率大于或等于内部存储的阈值的情况下，可靠性确定单元342向图像处理单元35提供用于减小帧间隔的帧控制信号。注意，在检测比率小于第一阈值的情况下，帧间隔可以改变为大值，在检测比率大于或等于第一阈值并且小于第二阈值(第一阈值<第二阈值)的情况下，可以保持当前帧间隔，并且在检测比率大于或等于第二阈值的情况下，可以将帧间隔改变为较小值。
此外，可靠性确定单元342根据存储器34累积事件数据的帧单位生成用于控制成像周期的成像周期控制信号，并将生成的信号提供给成像同步信号生成单元343。即，在帧间隔短并且不能以与用于检测对象的周期(对象检测周期)一样高的速度驱动CIS芯片312的情况下，可靠性确定单元342生成将成像周期设置为大的成像周期控制信号，并将生成的信号提供给成像同步信号生成单元343。同时，在对象检测周期慢并且可以使CIS芯片312的成像周期与对象检测周期一致的情况下，可靠性确定单元342生成用于使成像周期与对象检测周期相同的成像周期控制信号，并且将生成的成像周期控制信号提供给成像同步信号生成单元343。可以驱动CIS芯片312的成像周期也可以根据感兴趣区域的区域大小而变化。因此，同样在由于感兴趣区域的较小区域尺寸而能够根据对象检测周期高速驱动CIS芯片312的成像的情况下，用于将成像周期与对象检测周期相匹配的成像周期控制信号提供给成像同步信号生成单元343。
成像同步信号生成单元343根据来自可靠性确定单元342的成像周期控制信号生成成像同步信号，并将生成的信号输出到CIS芯片312的输入单元214。
更具体地，时钟信号(主时钟)从时钟信号生成单元37提供给成像同步信号生成单元343。时钟信号生成单元37不仅将生成的时钟信号提供给DVS芯片311的输出单元36，还提供给成像同步信号生成单元343。
成像同步信号生成单元343包括例如分频器电路，并且通过分割来自时钟信号生成单元37的时钟信号来生成成像同步信号。生成的成像同步信号输出到CIS芯片312的输入单元214。在从可靠性确定单元342提供用于将成像周期设置为大的成像周期控制信号的情况下，成像同步信号生成单元343生成通过将时钟信号除以预定划分比而获得的成像同步信号。在从可靠性确定单元342提供用于将成像周期与对象检测周期相匹配的成像周期控制信号的情况下，成像同步信号生成单元343原样将时钟信号作为成像同步信号输出到CIS芯片312的输入单元214，而不分割时钟信号。
注意，代替生成通过简单地将来自时钟信号生成单元37的时钟信号的周期划分为1/n(n>1)而获得的成像同步信号，成像同步信号生成单元343可以生成通过将时钟信号的周期划分为1/n而获得的成像同步信号，以实现30fps、60fps或120fps的视频速率。可以通过例如用户设置来确定是否设置为30fps、60fps或120fps。
<固态成像装置10的处理>
图18是描述根据第三实施方式的固态成像装置10的处理的流程图。例如，当固态成像装置10的电力导通时，图18中的处理开始。
注意，在图18中的处理中，作为初始值的设定帧间隔和设定帧宽度被预先设置为预定值。
首先，在步骤S21中，当构成像素阵列单元31的多个像素51中的任何一个中发生作为事件的电信号变化时，DVS芯片11的像素阵列单元31生成事件数据，并将生成的事件数据提供给输出单元36。更具体地，在像素阵列单元31检测到事件的情况下，像素阵列单元31向仲裁器33输出用于输出表示事件发生的事件数据的请求。然后，在从仲裁器33接收到表示允许输出事件数据的响应的情况下，像素阵列单元31将事件数据输出到输出单元36。输出单元36将来自像素阵列单元31的事件数据输出到DSP芯片313的存储器34。
在步骤S22，DSP芯片313的存储器34通过在预定的帧单位中累积事件数据，将来自DVS芯片11的输出单元36的事件数据转换成帧数据。
在步骤S23，图像处理单元35的检测单元341根据累积在存储器34中的帧单位中的事件数据执行数据处理，并通过中继板314将数据处理的结果ROI信息输出到CIS芯片312的输入单元214。更具体地，检测单元341从帧数据中提取对象的轮廓信息，并识别要检测的对象。检测单元341然后确定包括所识别的对象的感兴趣区域，并将用于识别感兴趣区域的ROI信息输出到CIS芯片312的输入单元214。
在步骤S24，检测单元341计算对象的检测比率，作为图像识别的识别结果，并将计算出的检测比率提供给可靠性确定单元342。例如，对象的检测比率以帧为单位提供给可靠性确定单元342。
在步骤S25，可靠性确定单元342根据从检测单元341提供的检测比率来控制存储器34累积事件数据的帧间隔。在检测比率小于阈值并且没有充分检测到对象的情况下，可靠性确定单元342向图像处理单元35提供用于增加帧间隔的帧控制信号。同时，在检测比率大于或等于内部存储的阈值的情况下，可靠性确定单元342向图像处理单元35提供用于减小帧间隔的帧控制信号。注意，在检测比率大于或等于内部存储的阈值的情况下，可以保持帧间隔不改变。
在步骤S26，可靠性确定单元342根据帧间隔生成用于控制成像周期的成像周期控制信号，并将生成的成像周期控制信号提供给成像同步信号生成单元343。具体地，在帧间隔短并且不能像对象检测周期一样快驱动CIS芯片312的情况下，可靠性确定单元342生成用于将成像周期设置为大于当前设置的成像周期控制信号，并将生成的成像周期控制信号提供给成像同步信号生成单元343。同时，在对象检测周期慢并且可以使CIS芯片312的成像周期与对象检测周期一致的情况下，可靠性确定单元342生成用于使成像周期与对象检测周期相同的成像周期控制信号，并且将生成的成像周期控制信号提供给成像同步信号生成单元343。
在步骤S27，成像同步信号生成单元343根据来自可靠性确定单元342的成像周期控制信号生成成像同步信号，并将生成的信号输出到CIS芯片312的输入单元214。
在步骤S28，CIS芯片312的输入单元214获取经由中继板314从DSP芯片313提供的ROI信息和成像同步信号，并将其提供给控制单元215。从DSP芯片313的检测单元133提供ROI信息，并且从DSP芯片313的成像同步信号生成单元343提供成像同步信号。控制单元215基于从输入单元214获取的ROI信息，向驱动单元212提供用于识别像素阵列单元211的驱动区域的控制信号。此外，控制单元215将从输入单元214获取的成像同步信号提供给驱动单元212、AD转换单元213等。
在步骤S29，像素阵列单元211在驱动单元212的控制下对感兴趣区域进行成像。即，驱动单元212基于来自输入单元214的用于识别像素阵列单元211的驱动区域的控制信号来驱动感兴趣区域的像素251。像素阵列单元211在驱动单元212的控制下将感兴趣区域的像素信号提供给AD转换单元213。
在步骤S30，AD转换单元213将以像素阵列单元211的行单元依次输入的模拟像素信号转换(模数转换)为数字信号，并对其执行CDS，并将结果提供给信号处理单元216。
在步骤S31，信号处理单元216根据需要对从AD转换单元213依次提供的数字像素信号执行预定的信号处理，并将处理后的信号提供给输出单元217。输出单元217将来自信号处理单元216的数字像素信号输出到DSP芯片313。
在步骤S32，DSP芯片313的图像处理单元321对来自CIS芯片312的像素信号执行预定的图像处理，例如，像素信号的去马赛克，并将其输出到外部。通过像素信号的去马赛克而生成的感兴趣区域的图像输出到外部。
由DVS芯片311执行步骤S21的处理，由DSP芯片313执行步骤S22至S27和步骤S32的处理，由CIS芯片312执行步骤S28至S31的处理。
根据第三实施方式，在DVS芯片311中检测事件的发生，并输出到DSP芯片313。在DSP芯片313中，在预定的帧周期中累积事件数据，并且识别要检测的对象，以确定感兴趣区域。用于识别感兴趣区域的信息作为ROI信息提供给CIS芯片312。在CIS芯片312中，由DVS芯片311确定的感兴趣区域(与其对应的区域)被成像，并且输出感兴趣区域的每个像素的像素信号。
在DSP芯片313中，计算对象的检测比率，并且根据检测比率控制帧体积。例如，在检测比率小于预定阈值的情况下，控制对象检测周期，以增加帧间隔，在检测比率等于或大于预定阈值的情况下，控制对象检测周期，以减少帧间隔。
此外，还根据对象检测周期来控制CIS芯片312的成像周期，根据检测比率调整该对象检测周期。即，在对象检测周期快并且不能如对象检测周期一样快驱动CIS芯片312的情况下，生成成像周期控制信号，使得成像周期大于对象检测周期。同时，在CIS芯片312可以在与对象检测周期相同的周期中成像的情况下，生成用于使成像周期与对象检测周期匹配的成像周期控制信号。成像同步信号生成单元343根据成像周期控制信号生成成像同步信号，并将生成的信号提供给CIS芯片12。在执行控制使得成像周期小于对象检测周期的情况下，代替生成通过简单地将时钟信号的周期划分为1/n而获得的成像同步信号，还可以生成通过将时钟信号的周期划分为1/n而获得的成像周期信号，以实现30fps、60fps或120fps的视频速率。
因此，同样在根据第三实施方式的固态成像装置10中，可以在与成像范围相同的检测目标范围内检测事件的发生，而不会变薄、不缺乏空间信息并且具有低功耗，并且可以高速执行感兴趣区域的成像。仅驱动感兴趣区域也可以降低功耗。
此外，当检测到对象时，可以根据检测比率来控制帧间隔(帧体积)，并且还可以根据帧间隔来控制成像周期。
<4.第四实施方式>
图19是示出应用本技术的固态成像装置的第四实施方式的配置示例的示图。
在上述第一至第三实施方式中，用于接收用于事件检测的光的像素和用于接收用于生成感兴趣区域的图像的光的像素已经形成在单独的芯片(半导体芯片)上。同时，在根据第四实施方式的固态成像装置10中，用于接收用于事件检测的光的像素和用于接收用于生成感兴趣区域的图像的光的像素形成在同一芯片上。
图19中的固态成像装置10包括一个芯片，在该芯片中堆叠了作为多个管芯(板)的传感器管芯(板)411和逻辑管芯412。
在传感器管芯411中，形成传感器单元421(作为传感器单元的电路)。在逻辑管芯412中，形成逻辑单元422。
传感器单元421类似于上述DVS芯片11的像素阵列单元31(图2)，生成事件数据。即，传感器单元421包括像素，该像素执行入射光的光电转换，以生成电信号，并生成表示事件发生的事件数据，该事件是像素的电信号的变化。
此外，传感器单元421类似于上述CIS芯片12的像素阵列单元211(图11)，生成像素信号。即，传感器单元421包括像素，该像素执行入射光的光电转换，以生成电信号，与垂直同步信号同步地执行成像，并且输出帧数据，该帧数据是帧格式的图像数据。
传感器单元421能够独立地输出事件数据或像素信号，并且基于根据生成的事件数据从逻辑单元422输入的ROI信息，输出感兴趣区域的像素信号。
逻辑单元422根据需要控制传感器单元421。此外，逻辑单元422根据来自传感器单元421的事件数据执行各种类型的数据处理，例如，用于生成帧数据的数据处理以及用于来自传感器单元421的帧数据或根据来自传感器单元421的事件数据生成的帧数据的图像处理，并且输出通过执行各种类型的数据处理而获得的事件数据、帧数据以及数据处理结果。
逻辑单元422包括例如在图17所示的配置的DSP芯片313中形成的存储器34、图像处理单元35、时钟信号生成单元37、可靠性确定单元342、图像处理单元321和成像同步信号生成单元343。
注意，关于传感器单元421，其一部分可以配置在逻辑管芯412中。此外，关于逻辑单元422，其一部分可以配置在传感器管芯411中。
此外，例如，在提供具有大容量的存储器作为存储器34或图像处理单元321中包括的存储器的情况下，固态成像装置10可以包括三层，其中，除了传感器管芯411和逻辑管芯412之外，还层叠另一逻辑管芯413，如图20所示。不用说，固态成像装置10可以包括四层或更多层堆叠的管芯(板)。
<传感器单元421的配置示例>
图21是示出图19中的传感器单元421的配置示例的框图。
传感器单元421包括像素阵列单元431、驱动单元432、仲裁器433、AD转换单元434、信号处理单元435和输出单元436。
像素阵列单元431包括以二维点阵排列的多个像素451(图22)。在作为由像素451的光电转换生成的电信号的光电流(对应于该光电流的电压)中发生超过预定阈值的变化(根据需要包括等于或大于阈值的变化)的情况下，像素阵列单元431检测光电流的变化，作为事件。在像素阵列单元431检测到事件的情况下，像素阵列单元431向仲裁器433输出用于输出表示事件发生的事件数据的请求。然后，在从仲裁器433接收表示允许输出事件数据的响应的情况下，像素阵列单元431向驱动单元432和输出单元436输出事件数据。此外，像素阵列单元431将检测到事件的像素451的电信号作为像素信号输出到AD转换单元434。
驱动单元432通过向像素阵列单元431提供控制信号来驱动像素阵列单元431。例如，驱动单元432驱动从像素阵列单元431输出事件数据的像素451，以向AD转换单元434提供(输出)像素451的像素信号。
仲裁器433的配置类似于第三实施方式中的仲裁器33。即，仲裁器433对来自像素阵列单元431的输出事件数据的请求进行仲裁，并向像素阵列单元431返回表示是否允许输出事件数据的响应。此外，在输出表示允许输出事件数据的响应之后，仲裁器433向像素阵列单元431输出用于复位事件检测的复位信号。
AD转换单元434的配置类似于第三实施方式中的AD转换单元213。即，AD转换单元434在每列的ADC中对该列中的像素块441的像素451的像素信号进行模数转换，并将转换后的信号提供给信号处理单元435。注意，在AD转换单元434中，除了像素信号的模数转换之外，还可以执行CDS。
信号处理单元435的配置类似于第三实施方式中的信号处理单元216。即，对从AD转换单元434依次提供的像素信号执行预定的信号处理，例如，黑色电平调整处理和增益调整处理，并且将处理后的信号提供给输出单元436。
输出单元436执行类似于第三实施方式中由输出单元36和输出单元217执行的处理。即，输出单元436对像素信号和事件数据执行必要的处理，并将其提供给逻辑单元422(图19)。
<像素阵列单元431的配置示例>
图22是示出图21中的像素阵列单元431的配置示例的框图。
在图22和图23中，与上述第一至第三实施方式中的部件对应的部件将由相同的附图标记表示，并且将适当省略其描述。
像素阵列单元431包括多个像素块441。像素块441均包括以I行×J列(I和J是整数)排列的一个或多个I×J个像素451、事件检测单元52和像素信号生成单元252。
即，像素阵列单元431包括与第一至第三实施方式中的像素不同的像素451以及与第一至第三实施方式中的相同的事件检测单元52和像素信号生成单元252。
像素451接收来自对象的入射光，并对接收的光进行光电转换，以生成作为电信号的光电流。像素451在驱动单元432的控制下向事件检测单元52提供光电流。
在驱动单元432的控制下，事件检测单元52检测超过预定阈值的来自每个像素451的光电流的变化，作为事件。在事件检测单元52检测到事件的情况下，事件检测单元52向仲裁器433(图21)提供用于输出表示事件发生的事件数据的请求。然后，当事件检测单元52从仲裁器433接收到响应于该请求的表示允许输出事件数据的响应时，事件检测单元52向驱动单元432和输出单元436输出事件数据。
在事件检测单元52中检测到事件的情况下，像素信号生成单元252在驱动单元432的控制下生成对应于像素451的光电流的电压，作为像素信号，并且经由VSL将生成的电压提供给AD转换单元434(图21)。
在此处，检测超过光电流的预定阈值的变化，作为事件，也可以视为检测没有超过光电流的预定阈值的变化，作为事件。在像素信号生成单元252中，在检测到超过光电流的预定阈值的变化作为事件的情况下，以及在检测到没有超过光电流的预定阈值的变化作为事件的情况下，可以执行像素信号的生成。
<像素块441的配置示例>
图23是示出图22中的像素块441的配置示例的电路图。
如图22所示，像素块441包括像素451、事件检测单元52和像素信号生成单元252。
像素451包括光电转换元件461、传输晶体管462和传输晶体管463。
光电转换元件461包括例如PD，其接收来自对象的入射光并对接收的光进行光电转换，以生成光电流，作为电信号。
传输晶体管462包括例如N型MOS FET。根据从驱动单元432(图21)提供的控制信号OFGn，构成像素块441的I×J个像素451中的第n个像素451的传输晶体管462导通/截止。当传输晶体管462导通时，光电转换元件461中生成的电荷作为光电流传输(提供)到事件检测单元52。
传输晶体管463包括例如N型MOS FET。根据从驱动单元432提供的控制信号TRGn，构成像素块441的I×J个像素451的第n个像素451的传输晶体管463导通/截止。当传输晶体管463导通时，光电转换元件461中生成的电荷传输到像素信号生成单元252的FD 274。
构成像素块441的I×J个像素451经由节点464连接到构成像素块441的事件检测单元52。因此，在像素451(其光电转换元件461)中生成的光电流经由节点464提供给事件检测单元52。结果，给事件检测单元52提供像素块441中所有像素451的光电流之和。因此，在事件检测单元52中，检测从构成像素块441的I×J个像素451提供的光电流的总和的变化，作为事件。
类似于图13的情况，像素信号生成单元252包括复位晶体管271、放大晶体管272、选择晶体管273和FD 274。
关于如上所述配置的像素451和像素信号生成单元252，驱动单元432通过控制信号OFGn导通传输晶体管462，以通过像素451的光电转换元件461中生成的电荷向事件检测单元52提供光电流。结果，给事件检测单元52提供电流，该电流是像素块441中所有像素451的光电流的总和。
在像素块441中，当事件检测单元52检测到光电流的变化(总和)，作为事件时，驱动单元432关闭像素块441中所有像素451的传输晶体管462，以停止向事件检测单元52提供光电流。然后，当在检测到事件之后根据来自传感器单元421的事件数据从逻辑单元422提供ROI信息时，驱动单元432驱动感兴趣区域的像素251。即，驱动单元432将控制信号SEL和控制信号RST设置为H电平，依次选择感兴趣区域的像素行，复位光电转换元件461，然后开始曝光。在曝光完成之后，驱动单元432通过控制信号TRGn依次导通感兴趣区域的像素块441中的像素451的传输晶体管463，以将光电转换元件461生成的电荷传输到FD 274。在FD274中，累积从像素451(其光电转换元件461)传输的电荷。对应于累积在FD 274中的电荷的电压经由放大晶体管272和选择晶体管273输出到VSL，作为像素451的像素信号。
如上所述，在传感器单元421(图19)中，由一个或多个像素451和事件检测单元52检测事件，并且生成事件数据。生成的事件数据提供给逻辑单元422，并且确定感兴趣区域。然后，感兴趣区域的ROI信息然后从逻辑单元422提供给传感器单元421，并且生成对应于感兴趣区域的像素块441的像素451的像素信号，并依次输出到VSL。输出到VSL的像素信号提供给AD转换单元434并进行模数转换。根据第四实施方式的固态成像装置10的处理可以以类似于图18中的处理的方式来执行。
在此处，对于像素块441中的每个像素451，传输晶体管463可以同时导通，而不是依次导通。在这种情况下，可以输出像素块441中所有像素451的像素信号之和。
在图22中的像素阵列单元431中，像素块441包括一个或多个像素451，并且事件检测单元52和像素信号生成单元252由一个或多个像素451共享。更具体地，事件检测单元52和像素信号生成单元252由构成像素块441的每个像素451的光电转换元件461、传输晶体管462和传输晶体管463共享。因此，在像素块441包括多个像素451的情况下，与为一个像素451提供一个事件检测单元52和一个像素信号生成单元252的情况相比，可以减少事件检测单元52和像素信号生成单元252的数量，并且可以抑制像素阵列单元431的尺寸。
注意，在像素块441包括多个像素451的情况下，可以为每个像素451提供事件检测单元52。尽管在事件检测单元52由像素块441的多个像素451共享的情况下，以像素块441为单位检测事件，但是在为每个像素451提供事件检测单元52的情况下，可以以像素451为单位检测事件。
然而，即使在像素块441的多个像素451共享一个事件检测单元52的情况下，也可以通过以时分方式暂时导通多个像素451中的每一个的传输晶体管462，来以像素451为单位检测事件。
<事件检测和成像操作>
图24是描述图21中的传感器单元421的操作示例的时序图。
在时间T0，驱动单元432将所有控制信号从L电平设置为H电平，并且导通像素块441中所有像素451的传输晶体管462。因此，像素块441中所有像素451的光电流之和提供给事件检测单元52。此时，所有控制信号TRGn都是L电平，并且所有像素451的传输晶体管463都截止。
例如，在时间T1，当事件检测单元52检测到事件时，事件检测单元52响应于事件的检测输出H电平的事件数据。
根据H电平的事件数据，驱动单元432在时间T2将所有控制信号OFGn设置为L电平，以停止从像素451向事件检测单元52提供光电流。驱动单元432然后驱动感兴趣区域的像素451，以产生像素信号。即，驱动单元432将感兴趣区域的像素451的控制信号SEL设置为H电平，将控制信号RST和控制信号TRG设置为H电平一段时间，并将光电转换元件461的电荷放电到电源VDD，从而在曝光开始之前执行复位。在曝光完成之后，驱动单元432在时间T3将控制信号RST设置为H电平，以复位FD 274。像素信号生成单元252输出对应于在复位FD 274时FD 274的电压的像素信号，作为复位电平，并且AD转换单元434模数转换复位电平。
在复位电平的模数转换之后的时间T4，驱动单元432将控制信号TRG1设置为H电平一段时间，以将由感兴趣区域的像素块441中的第一像素451(其光电转换元件461)的光电转换生成的电荷传输到FD 274。像素信号生成单元252输出对应于电荷已经从像素451传输到的FD 274的电压的像素信号，作为信号电平，并且AD转换单元434模数转换该信号电平。
AD转换单元434将模数转换后的信号电平和复位电平之间的差值输出到信号处理单元435，作为像素信号，该像素信号是图像(帧数据)的像素值。
在对感兴趣区域的像素块441中的第一像素451的像素信号进行模数转换之后，驱动单元432在与时间T3和t4类似的预定时间段内依次将控制信号RST和控制信号TRG2设置为H电平，以输出感兴趣区域的像素块441中的第二像素451的像素信号。
在传感器单元421中，此后执行类似的操作，并且依次输出感兴趣区域的像素块441中的每个像素451的像素信号。
当输出像素块441中的所有像素451的像素信号时，驱动单元432将所有控制信号OFGn设置为H电平，并且导通像素阵列单元431的所有像素块441中的所有像素451的传输晶体管462。
如上所述，在传感器单元421中，在一个像素451中以光分割方式执行用于成像的事件检测和曝光(光接收)。
图25是示出在由像素阵列单元431的所有像素执行成像的情况下像素阵列单元431的驱动的时序图。
在像素阵列单元431的所有像素中执行成像的情况下，用于成像的数据量大于用于事件检测的数据量，使得用于成像的时间比用于事件检测的时间长。
例如，假设由时钟信号生成单元37生成的时钟信号用作事件检测同步信号，在V周期中执行事件检测、到存储器34的缓冲以及由图像处理单元35执行的图像处理(对象检测处理)，并且根据通过将事件检测同步信号划分为1/2而获得的成像同步信号，在2V周期中执行曝光和像素读取。可以通过流水线在单个V周期中执行事件检测和对存储器34的缓冲。
在这种情况下，由于共享光电转换元件461用于事件检测和用于成像的曝光，所以执行用于成像的曝光和像素读取的周期(具体地，图25中从时间T13到时间T17的4V周期)至少是不可能进行事件检测的事件检测禁止周期。
图26是示出在像素阵列单元431中执行感兴趣区域的成像的情况下像素阵列单元431的驱动的时序图。
同时，在感兴趣区域由ROI信息指定并且感兴趣区域成像的情况下，由于该区域是有限的，所以可以减少数据量，使得例如成像周期可以与事件检测周期相同。即，如图26所示，可以在V周期中执行曝光和像素读取。结果，事件检测禁止周期变成从时间T13到时间T15的2V周期，并且事件检测禁止周期可以缩短。例如，图26的示例是成像周期与事件检测周期相同的示例。然而，即使在成像周期与事件检测周期不同的情况下，与在所有像素中执行成像的情况相比，通过仅在感兴趣区域上执行成像，可以缩短事件检测禁止周期。
<像素阵列单元431的另一配置示例>
图27是示出图21中的像素阵列单元431的另一配置示例的框图。
图27中的像素阵列单元431与图22中的像素阵列单元431的不同之处在于，像素481A和像素481B这两种类型的像素481设置在一个像素块441中的I行和J列中(I和J是整数)，并且在其他方面与图22中的像素阵列单元431相同。
在图22中的像素阵列单元431中，能够执行事件检测和成像(以时分方式)的像素451设置在I行和J列中(I和J是整数)。
同时，在图27中的像素阵列单元431中，像素481A和像素481B在行方向和列方向上交替设置，并且混合。类似于图13中的像素251，像素481A是用于生成用于成像的像素信号的像素，其通过将像素信号生成单元252连接到光电转换元件来配置。类似于图4中的像素51，像素481B是用于执行事件检测的像素，其通过将事件检测单元52连接到光电转换元件来配置。由于用于生成用于成像的像素信号的像素481A和用于执行事件检测的像素481B分别包括光电转换元件461，并且不共享光电转换元件461，所以可以同时执行成像和事件检测。
如上所述，即使在固态成像装置10包括一个芯片的情况下，也可以利用在一个像素块441中混合用于执行成像的像素481A和用于执行事件检测的像素481B的配置来同时执行成像和事件检测。
注意，图27示出了这样的配置，其中，构成一个像素块441的多个像素481分成用于生成用于成像的像素信号的像素481A和用于执行事件检测的像素481B。然而，多个像素481可以以像素块441为单位分成用于生成用于成像的像素信号的像素块441和用于执行事件检测的像素块441。同样在这种情况下，成像和事件检测可以同时进行。
根据上述固态成像装置10，同样在执行事件检测的芯片和对感兴趣区域成像的芯片是不同芯片或相同芯片的情况下，通过在检测到事件发生时识别要检测的对象来确定感兴趣区域，生成感兴趣区域的每个像素的像素信号，并且生成感兴趣区域的图像。因此，由异步图像传感器检测事件发生的结果可以被同步图像传感器用于成像。
<5.电子设备的应用示例>
本技术不限于应用于固态成像装置。即，本技术可以应用于固态成像装置用作图像捕捉单元(光电转换单元)的一般电子设备，例如，包括数字静态相机和摄像机的成像装置、具有成像功能的便携式终端装置以及在图像读取单元中使用固态成像装置的复印机。固态成像装置可以形成为单芯片，或者可以是具有成像功能的模块化形式，其中，成像单元和信号处理单元或光学系统封装在一起。
图28是示出用作应用本技术的电子设备的成像装置的配置示例的框图。
图28中的成像装置600包括包含透镜组等的光学单元601、采用固态成像装置10的配置的固态成像装置(成像装置)602以及作为相机信号处理电路的DSP(数字信号处理器)电路603。此外，成像装置600还包括帧存储器604、显示单元605、记录单元606、操作单元607和电源单元608。DSP电路603、帧存储器604、显示单元605、记录单元606、操作单元607和电源单元608经由总线609彼此连接。
光学单元601捕捉来自对象的入射光(图像光)，并在固态成像装置602的成像表面上形成图像。固态成像装置602以像素为单位将由光学单元601在成像表面上成像的入射光的光量转换成电信号，并输出转换后的光量，作为像素信号。作为该固态成像装置602，可以使用上述固态成像装置10，即，通过检测事件的发生来确定感兴趣区域并执行感兴趣区域的成像的固态成像装置。
显示单元605包括例如诸如LCD(液晶显示器)和有机EL(电致发光)显示器等薄显示器，并且显示由固态成像装置602捕捉的运动图像或静止图像。记录单元606将固态成像装置602捕捉的运动图像或静止图像记录在诸如硬盘和半导体存储器等记录介质上。
操作单元607针对在用户操作下成像装置600具有的各种功能发出操作命令。电源单元608向这些供应目标适当地供应各种类型的电力，作为DSP电路603、帧存储器604、显示单元605、记录单元606和操作单元607的操作电力。
如上所述，通过使用应用了上述任何实施方式的固态成像装置10作为固态成像装置602，能够以低功耗检测事件的发生，而不缺少成像区域的空间信息，并且能够高速执行基于检测到的事件确定的感兴趣区域的成像。因此，即使在成像装置600(例如，摄像机、数码相机和用于诸如移动电话等移动装置的相机模块)中，也可以以低功耗高速执行期望的感兴趣区域的成像。
<图像传感器的使用示例>
图29是示出使用上述固态成像装置10的图像传感器的示例性使用的示图。
使用上述固态成像装置10的图像传感器可以用于感测光(例如，可见光、红外光、紫外光和X光)的各种情况，如下所述。
用于捕捉供观看的图像的设备，例如，数码相机和具有照相功能的便携式装置
用于交通目的的设备，例如，车载传感器，用于对汽车的前部、后部、周围和内部进行成像，用于安全驾驶，例如，自动停车，或用于识别驾驶员的状态等；监控摄像机，用于监控行驶的车辆和道路；测距传感器，用于车辆之间的测距等
家用电器中使用的设备，例如，电视、冰箱和空调，用于对用户的手势进行成像，并根据手势执行装置操作
用于医疗和保健目的的设备，例如，内窥镜和通过接收红外光进行血管造影术的装置
用于安全目的的设备，例如，用于安全目的的监控摄像机和用于个人识别目的的相机
用于美容目的的设备，例如，皮肤成像测量设备和头皮成像显微镜用于体育目的的设备，例如，用于体育目的的动作相机和穿戴式相机用于农业目的的设备，例如，监测田地和作物状况的相机
<6.移动对象的应用示例>
根据本公开的技术(本技术)适用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动对象上的设备，例如，汽车、电动车、混合电动车、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、轮船和机器人。
图30是描绘作为可应用根据本公开实施方式的技术的移动主体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图30所示的示例中，车辆控制系统12000包括驾驶系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车载信息检测单元12040和集成控制单元12050。另外，微型计算机12051、声音/图像输出部12052和车载网络接口12053被示为集成控制单元12050的功能配置。
驾驶系统控制单元12010根据各种程序控制与车辆驾驶系统相关的装置的操作。例如，驾驶系统控制单元12010用作用于生成车辆驱动力的驱动力生成装置的控制装置(例如，内燃机、驱动电机等)、用于将驱动力传输到车轮的驱动力传输机构、用于调节车辆转向角的转向机构、用于生成车辆制动力的制动装置等。
车身系统控制单元12020根据各种程序控制提供给车身的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或各种灯(例如，头灯、倒车灯、刹车灯、转向信号灯、雾灯等)的控制装置。在这种情况下，从移动装置发送的作为键的替代的无线电波或各种开关的信号可以输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入无线电波或信号，并控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像进行成像，并接收成像的图像。基于接收到的图像，车外信息检测单元12030可以执行检测诸如人、车辆、障碍物、标志、路面上的字符等的对象的处理，或者检测到其的距离的处理。
成像部12031是光学传感器，其接收光并且输出与光的接收光量对应的电信号。成像部12031可以输出电信号，作为图像，或者可以输出电信号，作为关于测量距离的信息。另外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等不可见光。
车载信息检测单元12040检测关于车辆内部的信息。车载信息检测单元12040例如与检测驾驶员状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员成像的相机。基于从驾驶员状态检测部12041输入的检测信息，车载信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否正在打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车载信息检测单元12040获得的关于车辆内部或外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值，并且向驾驶系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，这些功能包括车辆的碰撞避免或冲击减轻、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞警告、车辆偏离车道警告等。
此外，微型计算机12051可以基于由车外信息检测单元12030或车载信息检测单元12040获得的关于车辆外部或内部的信息，通过控制驱动力生成装置、转向机构、制动装置等，执行旨在用于自动驾驶的协作控制，这使得车辆自主行驶，而不依赖于驾驶员的操作等。
另外，微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆外部的信息，向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以例如根据由车外信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置，通过控制前照灯以从远光变为近光来执行旨在防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号发送到能够视觉或听觉地向车辆的乘员或车辆外部通知信息的输出装置。在图30的示例中，音频扬声器12061、显示部12062和仪表板12063被示为输出装置。显示部12062可以例如包括车载显示器和平视显示器中的至少一个。
图31是描绘成像部12031的安装位置的示例的示图。
在图31中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门的位置以及车辆内部的挡风玻璃的上部的位置。设置在前鼻的成像部12101和设置在车辆内部的挡风玻璃上部的成像部12105主要获得车辆12100前方的图像。设置到侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100后部的图像。由成像部12101和成像部12105获得的前方图像主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图31描绘了成像部12101至12104的拍摄范围的示例。成像范围12111表示设置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101至12104成像的图像数据，获得从上方观看的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一个可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一个可以是由多个成像元件构成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息来确定到成像范围12111至12114内的每个三维对象的距离以及距离的时间变化(相对于车辆12100的相对速度)，从而提取特别是存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0km/小时)在与车辆12100基本相同的方向上行驶的最近的三维对象，作为前方车辆。此外，微型计算机12051可以预先设定要保持在前方车辆前方的跟随距离，并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动控制)等。因此，可以执行用于自动驾驶的协作控制，使得车辆自主行驶，而不依赖于驾驶员等的操作。
例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息，将关于三维对象的三维对象数据分类为两轮车辆、标准尺寸车辆、大型车辆、行人、电线杆和其他三维对象的三维对象数据，提取分类的三维对象数据，并将提取的三维对象数据用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驾驶系统控制单元12010执行强制减速或回避转向。微型计算机12051因此可以帮助驾驶，以避免碰撞。
成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。例如，通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的过程和通过对表示对象轮廓的一系列特征点执行模式匹配处理来确定是否是行人的过程，来执行行人的这种识别。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人，并且因此识别出行人时，声音/图像输出部12052控制显示部12062，使得显示用于强调的方形轮廓线，以便叠加在识别出的行人上。声音/图像输出部12052还可以控制显示部12062，使得在期望的位置显示表示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用于上述配置中的成像部12031。具体地，上述固态成像装置10可以用作成像部12031。通过将根据本公开的技术应用于成像部12031，可以通过对通过以低功耗高速检测事件的发生而确定的感兴趣区域执行成像来执行适当的驱动支持，而不缺乏关于成像范围的空间信息。
本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的本质的情况下进行各种修改。
注意，本文描述的效果仅仅是说明性的而不是限制性的，并且可以施加除了本文描述的效果之外的其他效果。
应当注意，本技术可以采用以下配置。
(1)一种固态成像装置，包括：
事件检测单元，其检测由像素阵列单元的每个像素生成的电信号的变化，作为事件；
感兴趣区域检测单元，其从检测事件的结果中检测像素阵列单元的感兴趣区域；以及
像素信号生成单元，其生成构成对应于感兴趣区域的区域的图像的像素信号。
(2)根据上述(1)所述的固态成像装置，还包括
存储器，其在帧单位中累积在像素阵列单元的每个像素中发生的事件，其中，
所述感兴趣区域检测单元在帧单位中从事件数据中检测像素阵列单元的感兴趣区域。
(3)根据上述(2)所述的固态成像装置，其中，
所述感兴趣区域检测单元在帧单位中从事件数据中识别要检测的对象，并且检测包括该对象的区域，作为感兴趣区域。
(4)根据上述(3)所述的固态成像装置，还包括
可靠性确定单元，其通过对象的检测率来确定对象检测的可靠性，并控制帧单位。
(5)根据上述(4)所述的固态成像装置，其中，
所述可靠性确定单元还根据帧单位控制像素信号生成单元的成像周期。
(6)根据上述(3)至(5)中任一项所述的固态成像装置，还包括
成像同步信号生成单元，其生成成像同步信号，用于使像素信号生成单元的成像周期与对象的检测周期相同。
(7)根据上述(1)至(6)中任一项所述的固态成像装置，还包括
成像同步信号生成单元，其生成用于使像素信号生成单元的成像周期为视频速率的成像同步信号。
(8)根据上述(1)至(7)中任一项所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元形成在不同的芯片中。
(9)根据上述(1)至(7)中任一项所述的固态成像装置，其中，
所述事件检测单元、所述感兴趣区域检测单元和所述像素信号生成单元形成在不同的芯片中。
(10)根据上述(8)所述的固态成像装置，其中，
所述像素信号生成单元生成像素信号生成单元的芯片的像素阵列单元的区域的像素信号，该区域对应于事件检测单元的芯片的感兴趣区域。
(11)根据上述(1)至(7)中任一项所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元形成在同一芯片中。
(12)根据上述(11)所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元共享像素阵列单元的每个像素的光电转换元件。
(13)根据上述(11)所述的固态成像装置，其中，
所述像素阵列单元的每个像素包括用于检测事件的像素或用于生成像素信号的像素。
(14)一种信号处理芯片，包括：
感兴趣区域检测单元，其从检测作为事件的由像素阵列单元的每个像素生成的电信号的变化的结果中，检测像素阵列单元的感兴趣区域，并输出用于识别感兴趣区域的ROI信息；以及
图像处理单元，其获取感兴趣区域的像素信号并生成图像。
(15)一种电子设备，包括：
固态成像装置，包括
事件检测单元，其检测由像素阵列单元的每个像素生成的电信号的变化，作为事件；
感兴趣区域检测单元，其从检测事件的结果中检测像素阵列单元的感兴趣区域；以及
像素信号生成单元，其生成构成对应于感兴趣区域的区域的图像的像素信号。
附图标记列表
10固态成像装置
11第一芯片(DVS芯片)
12第二芯片(CIS芯片)
31像素阵列单元
34存储器
35图像处理单元
37时钟信号生成单元
41像素块
51像素
52事件检测单元
61光电转换元件
131帧间隔设置单元
132帧宽度设置单元
133检测单元
211像素阵列单元
216信号处理单元
241像素块
251像素
252像素信号生成单元
261光电转换元件
311第一芯片(DVS芯片)
312第二芯片(CIS芯片)
313第三芯片(DSP芯片)
321图像处理单元
341检测单元
342可靠性确定单元
343成像同步信号生成单元
411传感器管芯
412、413逻辑管芯
431像素阵列单元
435信号处理单元
441像素块
451像素
461光电转换元件
481(481A、481B)像素
600成像装置
602固态成像装置。

Claims (15)

1.一种固态成像装置，包括：
事件检测单元，将像素阵列单元的每个像素生成的电信号的变化检测为事件；
感兴趣区域检测单元，从检测所述事件的结果中检测所述像素阵列单元的感兴趣区域；以及
像素信号生成单元，生成构成与所述感兴趣区域对应的区域的图像的像素信号。
2.根据权利要求1所述的固态成像装置，还包括
存储器，在帧单位中累积在所述像素阵列单元的每个像素中发生的所述事件，其中，
所述感兴趣区域检测单元从所述帧单位中的事件数据中检测所述像素阵列单元的感兴趣区域。
3.根据权利要求2所述的固态成像装置，其中，
所述感兴趣区域检测单元从所述帧单位中的所述事件数据中识别要检测的对象，并且将包括所述对象的区域检测为所述感兴趣区域。
4.根据权利要求3所述的固态成像装置，还包括
可靠性确定单元，通过所述对象的检测率确定对象检测的可靠性，并控制帧单位。
5.根据权利要求4所述的固态成像装置，其中，
所述可靠性确定单元还根据所述帧单位控制所述像素信号生成单元的成像周期。
6.根据权利要求3所述的固态成像装置，还包括
成像同步信号生成单元，生成成像同步信号，用于使所述像素信号生成单元的成像周期与所述对象的检测周期相同。
7.根据权利要求1所述的固态成像装置，还包括
成像同步信号生成单元，生成用于使所述像素信号生成单元的成像周期为视频速率的成像同步信号。
8.根据权利要求1所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元形成在不同的芯片中。
9.根据权利要求1所述的固态成像装置，其中，
所述事件检测单元、所述感兴趣区域检测单元和所述像素信号生成单元形成在不同的芯片中。
10.根据权利要求8所述的固态成像装置，其中，
所述像素信号生成单元生成所述像素信号生成单元的芯片的所述像素阵列单元的区域的像素信号，所述像素信号生成单元的芯片的所述像素阵列单元的区域对应于所述事件检测单元的芯片的感兴趣区域。
11.根据权利要求1所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元形成在同一芯片中。
12.根据权利要求11所述的固态成像装置，其中，
所述事件检测单元和所述像素信号生成单元共享所述像素阵列单元的每个像素的光电转换元件。
13.根据权利要求11所述的固态成像装置，其中，
所述像素阵列单元的每个像素包括用于检测所述事件的像素或用于生成所述像素信号的像素。
14.一种信号处理芯片，包括：
感兴趣区域检测单元，从将像素阵列单元的每个像素生成的电信号的变化检测作为事件的结果中检测所述像素阵列单元的感兴趣区域，并且所述感兴趣区域检测单元输出用于识别所述感兴趣区域的ROI信息；以及
图像处理单元，获取所述感兴趣区域的像素信号并生成图像。
15.一种电子设备，包括：
固态成像装置，包括：
事件检测单元，将像素阵列单元的每个像素生成的电信号的变化检测作为事件；
感兴趣区域检测单元，从检测所述事件的结果中检测所述像素阵列单元的感兴趣区域；以及
像素信号生成单元，生成构成与所述感兴趣区域对应的区域的图像的像素信号。
CN201980054386.5A 2018-12-05 2019-11-21 固态成像装置、信号处理芯片和电子设备 Active CN112640428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018227821A JP2022028982A (ja) 2018-12-05 2018-12-05 固体撮像装置、信号処理チップ、および、電子機器
JP2018-227821 2018-12-05
PCT/JP2019/045614 WO2020116185A1 (ja) 2018-12-05 2019-11-21 固体撮像装置、信号処理チップ、および、電子機器

Publications (2)

Publication Number Publication Date
CN112640428A true CN112640428A (zh) 2021-04-09
CN112640428B CN112640428B (zh) 2023-10-17

Family

ID=70975319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054386.5A Active CN112640428B (zh) 2018-12-05 2019-11-21 固态成像装置、信号处理芯片和电子设备

Country Status (5)

Country Link
US (1) US11509840B2 (zh)
JP (1) JP2022028982A (zh)
CN (1) CN112640428B (zh)
TW (1) TWI846754B (zh)
WO (1) WO2020116185A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594526B1 (ko) * 2019-03-27 2023-10-25 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
JP2020162000A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
CN113632453A (zh) * 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
EP3930312B8 (en) * 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage
JP2022063000A (ja) * 2020-10-09 2022-04-21 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置及び撮像装置
WO2022085421A1 (ja) * 2020-10-19 2022-04-28 ソニーグループ株式会社 データ処理装置および方法、並びに、データ処理システム
TW202236843A (zh) * 2020-10-30 2022-09-16 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
EP4275585A4 (en) * 2021-02-12 2024-06-12 Sony Group Corporation OBSERVATION DEVICE FOR MEDICAL TREATMENT, OBSERVATION DEVICE, OBSERVATION METHOD AND ADAPTER
US20220272285A1 (en) * 2021-02-23 2022-08-25 Fris, Inc. Sensing and processing unit generating a trigger signal upon occurrence of specified conditions
US20240171872A1 (en) * 2021-03-30 2024-05-23 Sony Semiconductor Solutions Corporation Solid-state imaging device and method for operating a solid-state imaging device
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
CN114095673B (zh) * 2021-11-09 2024-06-28 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质
WO2023186469A1 (en) * 2022-03-31 2023-10-05 Sony Semiconductor Solutions Corporation Solid-state imaging device with differencing circuit for frame differencing
KR20240111221A (ko) * 2023-01-09 2024-07-16 삼성전자주식회사 비전 센서 및 이를 포함하는 이미지 처리 장치
WO2024160446A1 (en) * 2023-02-02 2024-08-08 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007437A (ko) * 2009-07-16 2011-01-24 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
WO2011048742A1 (ja) * 2009-10-19 2011-04-28 パナソニック株式会社 半導体集積回路及びそれを備える撮像装置
EP2760199A1 (en) * 2013-01-25 2014-07-30 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
EP2760198A1 (en) * 2013-01-25 2014-07-30 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
US20160260222A1 (en) * 2015-03-02 2016-09-08 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3d images formed from data acquired with a medium penetrating sensor
WO2016167142A1 (ja) * 2015-04-17 2016-10-20 ソニー株式会社 撮像装置およびその制御方法
US20170084044A1 (en) * 2015-09-22 2017-03-23 Samsung Electronics Co., Ltd Method for performing image process and electronic device thereof
US20180167575A1 (en) * 2015-07-23 2018-06-14 Olympus Corporation Solid-state imaging device
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US8897602B2 (en) * 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9986179B2 (en) 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN108574793B (zh) * 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
JP7064322B2 (ja) * 2017-12-06 2022-05-10 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007437A (ko) * 2009-07-16 2011-01-24 삼성전기주식회사 이동 피사체의 자동 추적 시스템 및 그 방법
WO2011048742A1 (ja) * 2009-10-19 2011-04-28 パナソニック株式会社 半導体集積回路及びそれを備える撮像装置
EP2760199A1 (en) * 2013-01-25 2014-07-30 Innovaciones Microelectrónicas S.L. (Anafocus) Automatic region of interest function for image sensors
EP2760198A1 (en) * 2013-01-25 2014-07-30 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
US20160260222A1 (en) * 2015-03-02 2016-09-08 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3d images formed from data acquired with a medium penetrating sensor
WO2016167142A1 (ja) * 2015-04-17 2016-10-20 ソニー株式会社 撮像装置およびその制御方法
US20180167575A1 (en) * 2015-07-23 2018-06-14 Olympus Corporation Solid-state imaging device
US20170084044A1 (en) * 2015-09-22 2017-03-23 Samsung Electronics Co., Ltd Method for performing image process and electronic device thereof
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
US20210152757A1 (en) 2021-05-20
TW202110166A (zh) 2021-03-01
US11509840B2 (en) 2022-11-22
WO2020116185A1 (ja) 2020-06-11
TWI846754B (zh) 2024-07-01
JP2022028982A (ja) 2022-02-17
CN112640428B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11425318B2 (en) Sensor and control method
JP7141440B2 (ja) 固体撮像素子
EP3745710B1 (en) Solid-state imaging element, imaging device, and control method for solid-state imaging element
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN112913224B (zh) 固态成像元件和成像装置
US11770625B2 (en) Data processing device and data processing method
US20220159201A1 (en) Event detection device, system including event detection device, and event detection method
JP2019195135A (ja) 固体撮像素子および撮像装置
US11937001B2 (en) Sensor and control method
WO2021095560A1 (ja) イベント検出装置
JP2023040318A (ja) 撮像回路および撮像装置
WO2024042946A1 (ja) 光検出素子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant