CN112585954A - 固态成像元件与成像装置 - Google Patents

固态成像元件与成像装置 Download PDF

Info

Publication number
CN112585954A
CN112585954A CN201980054348.XA CN201980054348A CN112585954A CN 112585954 A CN112585954 A CN 112585954A CN 201980054348 A CN201980054348 A CN 201980054348A CN 112585954 A CN112585954 A CN 112585954A
Authority
CN
China
Prior art keywords
signal
analog
pixel
pixels
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980054348.XA
Other languages
English (en)
Other versions
CN112585954B (zh
Inventor
丹羽笃亲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112585954A publication Critical patent/CN112585954A/zh
Application granted granted Critical
Publication of CN112585954B publication Critical patent/CN112585954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Abstract

在检测地址事件的存在或缺失的该固态成像元件中,降低了图像捕获期间所消耗的功率。固态成像元件具有多个像素和模数转换单元。在固态成像元件中,多个像素中的每个像素通过光电转换而生成模拟信号。进一步地,在固态成像元件中,模数转换单元将其入射光的变化量在规定范围之外的这些多个像素的模拟信号转换成数字信号。

Description

固态成像元件与成像装置
技术领域
本技术涉及一种固态成像元件和成像装置。更具体地,本技术涉及一种对入射光的光量和阈值进行比较的固态成像元件、以及成像装置。
背景技术
通常,成像装置等中使用用于与诸如垂直同步信号的同步信号同步捕获图像数据(帧)的同步固态成像元件。典型的同步固态成像元件仅能够在同步信号的每个周期(例如,1/60秒)获取图像数据并且由此难以处理其中运输、机器人等领域中所要求的高速处理的情况。因此,提议了对每个像素的地址事件的存在或缺失进行检测的异步固态成像元件(例如,见专利文献1)。此处,地址事件指像素的光量在特定像素地址处发生变化并且变化量超过阈值。地址事件包括其中像素的光量发生变化并且变化量超过预定上限的发生事件(on-event)和其中变化量下降至预定下限以下的取消事件(off-event)。在异步固态成像元件中,针对每个像素生成包括一位发生事件的检测结果和一位取消事件的检测结果的两位数据。用于检测每个像素的地址事件的存在或缺失的该固态成像元件被称为动态视觉传感器(DVS)。
引用列表
专利文献
专利文献1:PCT日本翻译专利公开号2017-535999
发明内容
发明解决的问题
上述所述异步固态成像元件(DVS)以比同步固态成像元件高出许多的速度生成数据。然而,在图像识别等中,除检测地址事件的存在或缺失之外,有时需要每个像素的三位以上的高质量图像数据,并且用于生成每个像素的两位数据的上述所述DVS不能满足需求。为了在检测地址事件的存在或缺失的同时捕获高质量图像,仅需要将与同步固态成像元件相似的电路添加至DVS。然而,功耗由于所添加的电路而增加,由此是不利的。
鉴于该情形而提出了本技术,并且目标是进一步在检测地址事件的存在或缺失的固态成像元件中捕获图像。
问题的解决方案
提出本技术来解决上述所述问题,并且其第一方面是一种固态成像元件,包括:多个像素,各自被配置为通过光电转换而生成模拟信号;和模数转换单元,被配置为将像素的模拟信号转换成数字信号,多个像素中的像素具有落在预定范围之外的入射光量的变化量。这产生了将其中出现地址事件的像素的模拟信号转换成数字信号的效果。
进一步地,在第一方面,模数转换单元可以包括:选择单元,选择多个像素的模拟信号之中具有落在预定范围之外的变化量的像素的模拟信号;和模数转换器,将所选择的模拟信号转换成数字信号。这产生了将通过选择单元选择的模拟信号转换成数字信号的效果。
进一步地,在第一方面,多个像素可以设置在沿预定方向排列的预定数量的列中,模数转换单元可以包括列中的每列的固定数量的模数转换器,并且在多个像素之中属于对应列的像素的变化量落在预定范围之外的情况下,模数转换器将像素的模拟信号转换成数字信号。这产生了通过针对每列布置的模数转换器而将模拟信号转换成数字信号的效果。
进一步地,在第一方面,多个像素可以设置在沿预定方向排列的预定数量的列中,并且模数转换单元可以包括连接至预定数量的列的一部分的第一模数转换单元和连接至预定数量的列的其余部分的第二模数转换单元。这产生了通过第一模数转换单元和第二模数转换单元将模拟信号转换成数字信号的效果。
进一步地,在第一方面,第一模数转换单元和第二模数转换单元中的每个模数转换单元可以包括:选择单元,选择对应列的模拟信号之中具有落在预定范围之外的变化量的列的模拟信号;和模数转换器,将所选择的模拟信号转换成数字信号。这产生了通过第一模数转换单元和第二模数转换单元中的每个模数转换单元将所选择的模拟信号转换成数字信号的效果。
进一步地,在第一方面,第一模数转换单元和第二模数转换单元中的每个模数转换单元可以包括每个对应列的固定数量的模数转换器,并且在其中多个像素之中属于对应列的像素的变化量落在预定范围之外的情况下,模数转换器可以将像素的模拟信号转换成数字信号。这产生了通过第一模数转换单元和第二模数转换单元中的每个模数转换单元中针对每列布置的模数转换器将模拟信号转换成数字信号的效果。
进一步地,在第一方面,多个像素中的每个像素可以包括:像素信号生成单元,生成模拟信号;和检测单元,检测变化量的绝对值是否超过预定的阈值,并且基于检测结果生成预定使能信号;并且模数转换单元可以根据使能信号将模拟信号转换成数字信号。这产生了根据来自像素的使能信号将模拟信号转换成数字信号的效果。
进一步地,在第一方面,还可以包括行仲裁器,行仲裁器被配置为对来自沿着与预定方向垂直的方向排列的预定数量的相应行的第一请求进行仲裁,多个像素可以沿预定数量的行排列,并且在变化量落在预定范围之外的情况下,多个像素中的每个像素可以发送第一请求。这产生了对来自相应行的请求进行仲裁的效果。
进一步地,在第一方面,还可以包括列仲裁器,列仲裁器被配置为对来自沿预定方向排列的预定数量的相应列的第二请求进行仲裁,并且多个像素中的每个像素可以基于行仲裁器的仲裁结果而发送第二请求。这产生了对来自相应列的请求进行仲裁的效果。
进一步地,在第一方面,列仲裁器可以基于第二请求生成预定使能信号,并且模数转换单元可以根据使能信号将模拟信号转换成数字信号。这产生了根据来自列仲裁器的使能信号将模拟信号转换成数字信号的效果。
进一步地,本技术的第二方面是成像装置,包括:多个像素,各自被配置为通过光电转换而生成模拟信号;模数转换单元,被配置为将像素的模拟信号转换成数字信号,多个像素之中的像素具有落在预定范围之外的入射光量的绝对值;以及信号处理单元,被配置为对数字信号进行处理。这产生了将其中出现地址事件的像素的模拟信号转换成数字信号并且对数字信号进行处理的效果。
附图说明
[图1]是示出根据本技术的第一实施方式的成像装置的配置例的框图。
[图2]是示出根据本技术的第一实施方式的固态成像元件的堆叠式结构的实施例的示图。
[图3]是示出根据本技术的第一实施方式的固态成像元件的配置例的框图。
[图4]是示出根据本技术的第一实施方式的像素的配置例的框图。
[图5]是示出根据本技术的第一实施方式的像素阵列单元的配置例的平面图。
[图6]是示出根据本技术的第一实施方式的地址事件检测单元的配置例的框图。
[图7]是示出根据本技术的第一实施方式的电流-电压转换单元的配置例的电路图。
[图8]是示出根据本技术的第一实施方式的减法器和量化器的配置例的电路图。
[图9]是示出根据本技术的第一实施方式的传输单元(transfer unit)的配置例的电路图。
[图10]是示出根据本技术的第一实施方式的模数转换器(ADC)的配置例的框图。
[图11]是示出根据本技术的第一实施方式的AD转换单元的配置例的框图。
[图12]是示出根据本技术的第一实施方式的控制电路的配置例的框图。
[图13]是用于描述根据本技术的第一实施方式的读出控制的示图。
[图14]是示出根据本技术的第一实施方式的固态成像元件的操作的实施例的时序图。
[图15]是示出根据本技术的第一实施方式的固态成像元件的操作的实施例的流程图。
[图16]是示出根据本技术的第二实施方式的像素阵列单元和列ADC的配置例的框图。
[图17]是示出根据本技术的第二实施方式的AD转换单元的配置例的框图。
[图18]是示出根据本技术的第三实施方式的固态成像元件的配置例的框图。
[图19]是示出根据本技术的第三实施方式的像素阵列单元和下侧列ADC的配置例的框图。
[图20]是示出根据本技术的第四实施方式的像素阵列单元和下侧列ADC的配置例的框图。
[图21]是示出根据本技术的第五实施方式的固态成像元件的配置例的框图。
[图22]是示出根据本技术的第五实施方式的变形的像素和X仲裁器的配置例的框图。
[图23]是示出根据本技术的第六实施方式的成像装置的配置例的框图。
[图24]是示出车辆控制系统的示意性配置的框图。
[图25]是示出成像单元的安装位置的实施例的说明图。
具体实施方式
在下文中,将描述用于实现本技术的模式(以下称为实施方式)。将根据下列顺序展开描述。
1.第一实施方式(读取其中出现地址事件的像素的像素信号的实施例)
2.第二实施方式(并行读取其中出现地址事件的两行中的像素信号的实施例)
3.第三实施方式(其中上侧列ADC和下侧例ADC并行读取其中出现地址事件的像素的像素信号的实施例)
4.第四实施方式(针对上侧列ADC和下侧列ADC的每两列布置ADC并且读取其中出现地址事件的像素的像素信号的实施例)
5.第五实施方式(布置X仲裁器并且读取其中出现地址事件的像素的像素信号的实施例)
6.第六实施方式(扫描方法)
7.移动体的应用例
<1.第一实施方式>
[成像装置的配置例]
图1是示出根据本技术的第一实施方式的成像装置100的配置例的框图。成像装置100包括成像透镜110、固态成像元件200、记录单元120、以及控制单元130。作为成像装置100,假设了安装在工业机器上的摄像头、车载摄像头等。
成像透镜110对入射光进行会聚并且将入射光引导至固态成像元件200。固态成像元件200在检测地址事件的存在或缺失的同时对入射光进行光电转换,以捕获图像数据。固态成像元件200对所捕获的图像数据执行诸如图像识别处理等预定的信号处理并且经由信号线209将指示处理结果的数据输出至记录单元120。
记录单元120记录来自固态成像元件200的数据。控制单元130使固态成像元件200捕获图像数据。
[固态成像元件的配置例]
图2是示出根据本技术的第一实施方式的固态成像元件200的堆叠式结构的实施例的示图。固态成像元件200包括检测芯片202和堆叠在检测芯片202上的光接收芯片201。这些芯片经由诸如过孔等连接部而电连接。应注意,除过孔之外,能够使用Cu-Cu键合或凸块进行连接。
图3是示出根据本技术的第一实施方式的固态成像元件200的配置例的框图。固态成像元件200包括驱动电路211、信号处理单元212、Y仲裁器213、列ADC 220、以及像素阵列单元300。
在像素阵列单元300中,多个像素310以二维晶格方式排列。在下文中,将沿水平方向排列的像素的集合称为“行”,并且将沿与行垂直的方向排列的像素的集合称为“列”。
像素310通过广电转换生成模拟信号作为像素信号。进一步地,像素310根据入射光量的变化量是否超过预定阈值而检测地址事件的存在或缺失。然后,当出现地址事件时,像素310将请求输出至Y仲裁器213。然后,当接收对请求的响应时,像素310将指示地址事件的检测结果的检测信号发送至驱动电路211和列ADC 220。
驱动电路211驱动各个像素310,以将像素信号输出至列ADC 220。
Y仲裁器213对来自多行的请求进行仲裁并且基于仲裁结果返回响应。应注意,Y仲裁器213是权利要求中描述的行仲裁器的实施例。
对于每列,列ADC 220将来自列的模拟像素信号转换成数字信号。列ADC 220将数字信号供应至信号处理单元212。
信号处理单元212对来自列ADC 220的数字信号和来自像素310的检测信号执行诸如相关双采样(CDS)处理和图像识别处理等预定信号处理。数字处理单元212经由信号线209将指示处理结果的数据供应至记录单元120。
[像素的配置例]
图4是示出根据本技术的第一实施方式的像素310的配置例的框图。像素310包括像素信号生成单元320、光接收单元330、以及地址事件检测单元400。
光接收单元330对入射光进行光电转换,以生成光电流。光接收单元330包括转移晶体管331、溢流门(OFG)晶体管332、以及光电转换元件333。例如,使用N型金属氧化物半导体(MOS)晶体管作为转移晶体管331和OFG晶体管332。
像素信号生成单元320生成具有与光电流对应的电压的模拟信号作为像素信号Vsig。像素信号生成单元320包括复位晶体管321、放大晶体管322、选择晶体管323、以及浮动扩散层324。例如,使用N型MOS晶体管作为复位晶体管321、放大晶体管322、以及选择晶体管323。
进一步地,光电转换元件333布置在光接收芯片201上。光电转换元件333之外的所有元件布置在检测芯片202上。应注意,布置在光接收芯片201和检测芯片202上的元件并不局限于该配置。例如,转移晶体管331、OFG晶体管332、或地址事件检测单元400的一部分能够进一步布置在光接收芯片201上。
光电转换元件333对入射光进行光电转换,以生成电荷。转移晶体管331根据来自驱动电路211的转移信号TRG将电荷从光电转换元件333转移至浮动扩散层324。OFG晶体管332根据来自驱动电路211的控制信号OFG而使通过由光电转换元件333生成的光电流而生成的光电流流入地址事件检测单元400中。
浮动扩散层324对电荷进行积聚并且根据电荷的量而生成电压。复位晶体管321根据来自驱动电路211的复位信号RST对浮动扩散层324的电荷量进行初始化。放大晶体管322对浮动扩散层324的电压进行放大。选择晶体管323根据来自驱动电路211的选择信号SEL而经由垂直信号线308将放大电压的信号作为像素信号Vsig输出至列ADC 220。
地址事件检测单元400根据光接收单元330的光电流的变化量是否超过预定阈值而检测地址事件的存在或缺失。例如,地址事件包括其中根据入射光量的光电流的变化量已经超过上限阈值的发生事件和其中变化量已经下降至下限阈值以下的取消事件。换言之,当入射光量的变化量落在从下限至上限的预定范围之外时,对地址事件进行检测。进一步地,例如,地址事件的检测信号包括指示发生事件的检测结果的一位和指示取消事件的检测结果的一位。应注意,地址事件检测单元400仅能够检测发生事件。
当出现地址事件时,地址事件检测单元400将请求发送检测信号的请求发送至Y仲裁器213。然后,当接收对来自Y仲裁器213的请求的响应时,地址事件检测单元400将检测信号DET+和DET-发送至驱动电路211和列ADC 220。此处,例如,检测信号DET+是指示发生事件的存在或缺失的检测信号的信号并且经由检测信号线306被发送至列ADC 220。进一步地,例如,检测信号DET-是指示取消事件的存在或缺失的检测结果的信号并且经由检测信号线307被发送至列ADC 220。
进一步地,地址事件检测单元400将列使能信号ColEN设置为与选择信号SEL同步启用并且经由使能信号线309将信号发送至列ADC 220。此处,列使能信号ColEN是用于启用或禁用对对应列的像素信号的模数(AD)转换的信号。应注意,地址事件检测单元400是权利要求中描述的检测单元的实施例。
当在特定的行中检测到地址事件时,驱动电路211通过选择信号SEL等对行进行驱动。驱动行中的每个像素310生成像素信号Vsig并且将像素信号Vsig发送至列ADC 220。进一步地,检测驱动行中的地址事件的像素310将所启用的列使能信号ColEN发送至列ADC220。同时,将未检测到地址事件的像素310的列使能信号ColEN设置为禁用。
图5是示出根据本技术的第一实施方式的像素阵列单元300的配置例的平面图。如图5中示出的,在像素阵列单元300中,对于每列,检测信号线306和307、垂直信号线308、以及使能信号线309的四条线沿着列方向布线。每个像素310连接至对应列的检测信号线306和307、垂直信号线308、以及使能信号线309。
[地址事件检测单元的配置例]
图6是示出根据本技术的第一实施方式的地址事件检测单元400的配置例的框图。地址事件检测单元400包括电流-电压转换单元410、缓冲器420、减法器430、量化器440、以及传输单元450。
电流-电压转换单元410将来自光接收单元330的光电流转换成对数电压信号。电流-电压转换单元410将电压信号供应至缓冲器420。
缓冲器420将来自电流-电压转换单元410的电压信号输出至减法器430。缓冲器420能够改善用于驱动后级的驱动力。进一步地,缓冲器420能够确保与后级切换操作相关联的噪音隔离。
减法器430根据来自驱动电路211的行驱动信号而降低来自缓冲器420的电压信号的电平。减法器430将降低的电压信号供应至量化器440。
量化器440将来自减法器430的电压信号量化成数字信号并且将数字信号作为检测信号输出至传输单元450。
传输单元450将来自量化器440的检测信号传输至信号处理单元212等。当检测到地址事件时,传输单元450将请求发送检测信号的请求发送至Y仲裁器213。然后,当接收对来自Y仲裁器213的请求的响应时,传输单元450将检测信号DET+和DET-供应至驱动电路211和列ADC 220。进一步地,当发送选择信号SEL时,传输单元450将所启用的列使能信号ColEN发送至列ADC 220。
[电流-电压转换单元的配置例]
图7是示出根据本技术的第一实施方式的电流-电压转换单元410的配置例的电路图。电流-电压转换单元410包括N型晶体管411和413及P型晶体管412。例如。使用MOS晶体管作为这些晶体管。
N型晶体管411的源极连接至光接收单元330并且N型晶体管411的漏极连接至电源端子。P型晶体管412和N型晶体管413并联连接在电源端子与接地端子之间。进一步地,P型晶体管412与N型晶体管413之间的连接点连接至N型晶体管411的栅极和缓冲器420的输入端子。进一步地,对P型晶体管412的栅极施加预定偏置电压Vbias。
N型晶体管411和413的漏极连接至电源侧,并且将该电路称为源极跟随器。通过环路方式连接的这两个源极跟随器将来自光接收单元330的光电流转换成对数电压信号。进一步地,P型晶体管412将恒定电流供应至N型晶体管413。
[减法器和量化器的配置例]
图8是示出根据本技术的第一实施方式的减法器430和量化器440的配置例的电路图。减法器430包括电容器431和433、逆变器432、以及开关434。进一步地,量化器440包括比较器441和442。
电容器431的一端连接至缓冲器420的输出端子,并且电容器431的另一端连接至逆变器432的输入端子。电容器433与逆变器432并联连接。开关434根据来自驱动电路211的自动调零信号AZ而打开和关闭连接电容器433的两端的路径。
反相器432使经由电容器431输入的电压信号反相。反相器432将反相信号输出至比较器441的非反相输入端子(+)。
当开关434接通时,将电压信号Vinit输入至电容器431的缓冲器420侧,并且相对侧变成虚拟接地端子。出于方便,将该虚拟接地端子的电势设置为零。此时,由下列表达式表示电容器431中所积聚的电势Qinit,其中,C1是电容器431的电容。同时,因为电容器433的两端被短路,所以积聚电荷是零。
Qinit=C1×Vinit...表达式1
接着,考虑其中开关434断开并且电容器431的缓冲器420侧上的电压变成Vafter的情况,由下列表达式表示电容器431中所积聚的电荷Qafter
Qafter=C1×Vafter...表达式2
同时,由下列表达式表达电容器433中所积聚的电荷Q2,其中,输出电压是Vout
Q2=-C2×Vout...表达式3
此时,电容器431和433的总电荷量不改变,并且因此,适用下列表达式。
Qinit=Qafter+Q2...表达式4
通过将表达式1至3代入至表达式4并且对表达式进行变换,获得下列表达式。
Vout=-(C1/C2)×(Vafter-Vinit)...表达式5
表达式5表示电压信号的减法运算,并且减法结果的增益是C1/C2。因为通常希望增益最大化,所以有利的是设计C1较大并且C2较小。另一方面,如果C2太小,kTC噪音则增加,并且噪音特性可能劣化。因此,C2的电容减少局限于其中噪音可容忍的范围。进一步地,因为针对每个像素块安装包括减法器430的地址事件检测单元400,所以电容器C1和C2的面积受限。考虑上述问题而确定电容器C1和C2的值。
比较器441将来自减法器430的电压信号与施加至反相输入端子(-)的上限电压Vbon进行比较。此处,上限电压Vbon是指示上限阈值的电压。比较器441将比较结果COMP+输出至传输单元450。在出现发生事件的情况下,比较器441输出高电平比较结果COMP+,并且在不出现发生事件的情况下,比较器441输出低电平比较结果COMP+。
比较器442将来自减法器430的电压信号与施加至反相输入端子(-)的下限电压Vboff进行比较。此处,下限电压Vboff是指示下限阈值的电压。比较器442将比较结果COMP-输出至传输单元450。在出现取消事件的情况下,比较器442输出高电平比较结果COMP-,并且在不出现发生事件的情况下,比较器442输出低电平比较结果COMP-。
[传输单元的配置例]
图9是示出根据本技术的第一实施方式的传输单元450的配置例的电路图。传输单元450包括与(逻辑积)门451和453、或(逻辑和)门452、以及触发器454和455。
与门451将量化器440的比较结果COMP+与来自Y仲裁器213的响应AckY的逻辑积作为检测信号DET+输出至列ADC 220。在出现发生事件的情况下,与门451输出高电平检测信号DET+,并且在不出现发生事件的情况下,与门451输出低电平检测信号DET+。
或门452将量化器440的比较结果COMP+与比较结果COMP-的逻辑和作为请求ReqY输出至Y仲裁器213。在出现地址事件的情况下,或门452输出高电平请求ReqY,并且在不出现地址事件的情况下,或门452输出低电平请求ReqY。进一步地,将请求ReqY的反相值输入至触发器454的输入端子D。
与门453将量化器440的比较结果COMP-与来自Y仲裁器213的响应AckY的逻辑积作为检测信号DET-输出至列ADC 220。在出现取消事件的情况下,与门453输出高电平检测信号DET-,并且在不出现取消事件的情况下,与门453输出低电平检测信号DET-。
触发器454保持请求ReqY的反相值与响应AckY同步。触发器454将保持值作为内部信号ColEN′输出至触发器455的输入端子D。
触发器455保持内部信号ColEN′与来自驱动电路211的选择信号SEL同步。触发器455将保持值作为列使能信号ColEN输出至列ADC 220。
[列ADC的配置例]
图10是示出根据本技术的第一实施方式的列ADC 220的配置例的框图。在列ADC220中,为每K(K是2或更大的整数)列布置AD转换单元230。例如,为每两列设置AD转换单元230。在这种情况下,当列数是2M时(M是整数),AD转换单元230的数量是M。
AD转换单元230将来自对应两列中的至少一列的模拟像素信号转换成数字信号。
[AD转换单元的配置例]
图11是示出根据本技术的第一实施方式的AD转换单元230的配置例的框图。AD转换单元230包括多路复用器231、ADC 232以及控制电路240。与AD转换单元230对应的两列是第(2m-1)(m是1至M的整数)列和第2m列。
多路复用器231根据来自控制电路240的控制信号而选择第(2m-1)列的像素信号Vsig2m-1和第2m列的像素信号Vsig2m中的一个像素信号并且将所选择的像素信号作为像素信号VsigSEL输出至ADC 232。将切换信号SW与多路复用器使能信号MuxEN作为控制信号输入至多路复用器231。应注意,多路复用器231是权利要求中所描述的选择单元的实施例。
ADC 232将像素信号VsigSEL转换成数字信号Dout。ADC 232包括比较器233和计数器234。应注意,ADC 232是权利要求中所描述的模数转换器的实施例。
比较器233根据来自控制电路240的比较器使能信号CompEN对预定参考信号RMP与像素信号VsigSEL进行比较。例如,作为参考信号RMP,使用通过斜坡方式改变的斜坡信号。进一步地,比较器使能信号CompEN是用于启用或禁用比较器233的比较运算的信号。比较器233将比较结果VCO供应至计数器234。
计数器234根据来自控制电路240的计数器使能信号CntEN在一时间段内对与时钟信号CLK同步的计数值进行计数,直至比较结果VCO反相。计数器使能信号CntEN是用于启用或禁用计数器234的计数运算的信号。计数器234将指示计数值的数字信号Dout输出至信号处理单元212。
控制电路240根据第(2m-1)列和第2m列的列使能信号ColEN2m–1和ColEN2m而控制多路复用器231和ADC 232。下面将对控制内容的细节进行描述。
进一步地,经由AD转换单元230将每列的检测信号DET+和DET-输出至信号处理单元212。
应注意,使用包括比较器233和计数器234的单一斜坡类型ADC作为ADC 232。然而,配置并不局限于此。例如,能够使用Δ-Σ类型ADC作为ADC 232。
图12是示出根据本技术的第一实施方式的控制电路240的配置例的框图。控制电路240包括或(逻辑和)门241、电平移位器242、与(逻辑积)门243、解多路复用器244、以及切换控制单元245。
或门241将列使能信号ColEN2m–1和ColEN2m与附加使能信号ExtEN的逻辑和输出至电平移位器242和与门243。附加使能信号ExtEN是用于给出启用AD转换的指令的信号(无论地址事件存在或缺失)并且根据用户操作而设置。例如,在启用AD转换的情况下,将附加使能信号ExtEN设置为高电平,并且在禁用AD转换的情况下,将附加使能信号ExtEN设置为低电平。
电平移位器242对或门241的输出信号的电压进行转换。将转换信号输入至解多路复用器244。
与门243将或门241的输出信号与块控制信号Crtl1的逻辑积作为计数器使能信号CntEN输出至计数器234。块控制信号Crtl1是用于禁用计数器234的信号,无论地址事件存在或缺失。例如,在禁用计数器234的情况下,将块控制信号Crtl1设置为低电平,否则,将块控制信号Crtl1设置为高电平,无论地址事件存在或缺失。
解多路复用器244根据块控制信号Crtl2将电平移位器242的输出信号分配至多路复用器231和比较器233。块控制信号Crtl2是用于至少禁用多路复用器231或比较器233的信号,无论地址事件存在或缺失。
例如,在仅禁用多路复用器231的情况下,将二进制数“10”设置为块控制信号Crtl2,无论地址事件存在或缺失。此时,将电平移位器242的输出信号作为比较器使能信号CompEN输出至比较器233。在仅禁用比较器233的情况下,将二进制数“01”设置为块控制信号Crtl2。此时,将电平移位器242的输出信号作为多路复用器使能信号MuxEN输出至多路复用器231。进一步地,在禁用多路复用器231和比较器233的情况下,设置为“00”,否则,设置为“11”。当设置为“11”时,将电平移位器242的输出信号输出至多路复用器231和比较器233。
切换控制单元245基于列使能信号ColEN2m-1和ColEN2m对从多路复用器231输出的像素信号进行切换。在设置一列为启用情况下,切换控制单元245通过切换信号SW而使多路复用器231选择所启用列的像素信号。切换控制单元245通过切换信号SW而使多路复用器231选择一列的像素信号,并且然后,在设置两列为启用的情况下,使多路复用器231选择另一列的像素信号。
图13是用于描述根据本技术的第一实施方式的读出控制的示图。图13中的a和b是用于描述其中仅第(2m-1)列和第2m列中的一列出现地址事件的情况下的读出控制的示图。图13中的c是用于描述其中第(2m-1)列和第2m列出现地址事件的情况下的读出控制的示图。
在第(2m-1)列和第2m列中的一列出现地址事件并且另一列不出现地址事件的情况下,仅其中出现地址事件的列的像素310发送列使能信号ColEN。同时,将不出现地址事件的列的列使能信号ColEN设置为禁用。
在这种情况下,列ADC 220中的控制电路240通过切换信号SW而使多路复用器231选择所启用的列。如图13中的a示出的,例如,在第(2m-1)列被启用的情况下,控制电路240通过切换信号SW而使多路复用器231选择列。另一方面,如图13中的b示出的,在第2m列被启用的情况下,控制电路240使多路复用器231选择该列。
进一步地,控制电路240在特定的AD转换周期内将ADC 232设置为通过比较器使能信号CompEN和计数器使能信号CntEN而启用。
在第(2m-1)列和第2m列出现地址事件的情况下,每列中的像素310发送所启用的列使能信号ColEN。在这种情况下,如图13中的c示出的,控制电路240使多路复用器231选择第(2m-1)列和第2m列中的一列,并且然后,使多路复用器231选择另一列。进一步地,控制电路240在第(2m-1)列和第2m列的AD转换周期内启用ADC 232。应注意,列ADC220是权利要求中所描述的模数转换单元的实施例。
进一步地,在第(2m-1)行和第2m行被禁用的情况下,控制电路240将ADC 232设置为禁用。
如上所述,AD转换单元230仅对其中出现地址事件的行中的像素310之中出现地址事件的像素310的像素信号执行AD转换并且不对其余像素执行AD转换。因此,与其中对出现地址事件的行中的全部像素信号进行AD转换的情况相比较,能够降低功耗。
[固态成像元件的操作例]
图14是示出根据本技术的第一实施方式的固态成像元件200的操作的实施例的时序图。在时刻T0,驱动电路211将控制信号OFG设置为高电平并且驱动OFG晶体管332。因此,启动对地址事件的存在或缺失的检测。
在时刻T1,当出现地址事件(诸如发生事件)时,像素310将高电平请求ReqY发送至Y仲裁器213。
在紧跟时刻T1之后的时刻T2,Y仲裁器213将请求ReqY保存为请求ReqY′。进一步地,Y仲裁器213对请求进行仲裁并且返回响应AckY。例如,接收该响应AckY的像素310输出高电平检测信号DET+。进一步地,像素310使请求ReqY反相并且保存触发器455中的请求ReqY作为内部信号ColEN′。
在时刻T3,接收检测信号DET+的驱动电路211供应高电平自动调零信号AZ,以对地址事件检测单元400进行初始化。接着,在时刻T4,驱动电路211将控制信号OFG设置为低电平并且供应高电平复位信号RST和TRG。因此,开始曝光。
在紧位于曝光结束之前的时刻T5,与水平同步信号XHS同步,驱动电路211供应高电平复位信号RST,以对浮动扩散层324进行初始化。然后,在时刻T6,驱动电路211供应高电平选择信号SEL。与选择信号SEL同步,像素310供应高电平列使能信号ColEN。因此,对复位电平进行AD转换。此处,当对浮动扩散层324进行初始化时,复位电平是像素信号的电平。
接着,在时刻T7,驱动电路211供应高电平传输信号TRG,以将电荷传输至浮动扩散层324。因此,对信号电平进行AD转换。此处,在曝光结束时,信号电平是像素信号的电平。
图15是示出根据本技术的第一实施方式的固态成像元件200的操作的实施例的流程图。例如,当执行用于检测和捕获地址事件的应用时,开始该操作。固态成像元件200对地址事件的存在或缺失进行检测(步骤S901)并且确定是否出现地址事件(步骤S902)。当出现地址事件时(步骤S902:是),列ADC 220仅对具有地址事件的像素310的像素信号进行AD转换(步骤S903)。
在不出现地址事件的情况下(步骤S902:否)或在步骤S903之后,固态成像元件200重复执行步骤S901及后续步骤。
如上所述,根据本技术的第一实施方式,对具有落在从下限至上限的范围之外的入射光量的变化量的像素310(即,其中出现地址事件的像素310)的像素信号进行AD转换。因此,能够使AD转换的次数最小化。即,集中于特定的行,在其中行中的任意多个像素出现地址事件的情况下,仅对该像素的像素信号进行AD转换。因此,与对行中的全部像素的像素信号进行AD转换的情况相比较,能够降低捕获图像时进行AD转换所需的功耗。因此,在检测地址事件的存在或缺失的同时,能够易于捕获高质量的图像。
<2.第二实施方式>
在上述所述第一实施方式中,在第(2m-1)列和第2m列出现地址事件的情况下,多路复用器231逐一顺次选择列并且对像素信号执行AD转换。然而,在该控制方法中,逐列顺次执行AD转换。因此,相比于仅对一列执行AD转换的情况,AD转换(即,读出)速度变得更慢。根据第二实施方式的固态成像元件200与第一实施方式的不同在于并行读取多个像素信号、而不使用多路复用器231。
图16是示出根据本技术的第二实施方式的像素阵列单元300和列ADC 220的配置例的框图。在第二实施方式的像素阵列单元300中,对于每列,检测信号线302、303、306及307、垂直信号线304和308、以及使能信号线305和309布线。第2n行(n是1至N的整数)(其中,行数是2N(N是整数))中的像素310连接至检测信号线306和307、垂直信号线308、以及使能信号线309。同时,第(2n-1)行中的像素310连接至检测信号线302和303、垂直信号线304、以及使能信号线305。
进一步地,在列ADC 220中,对于每列,布置两个AD转换单元230。两个AD转换单元230中的一个AD转换单元对对应列的第2n行的像素信号执行AD转换并且另一AD转换单元230对第(2n-1)行执行AD转换。
图17是示出根据本技术的第二实施方式的AD转换单元230的配置例的框图。根据第二实施方式的AD转换单元230与第一实施方式的不同在于,未布置多路复用器231和控制电路240。
根据第二实施方式的ADC 232根据对应列的列使能信号ColEN对对应列的像素信号Vsig执行AD转换。
利用图16和图17中示出的配置,在第(2m-1)列和第2m列出现地址事件的情况下,第(2m-1)列的AD转换单元230和第2m列的AD转换单元230能够并行执行AD转换。进一步地,在第(2n-1)行和第2n列出现地址事件的情况下,与第(2n-1)行对应的AD转换单元230和第2n行的AD转换单元230能够并行执行AD转换。
应注意,对于每列,布置两个AD转换单元230。然而,对于每列,可以布置一个AD转换单元230。进一步地,对于每列,可以布置三个或更多的AD转换单元230,并且可以对三行或更多的行并行进行AD转换。
如上所述,根据本技术的第二实施方式,每列的两个AD转换单元230对第(2n-1)行和第2n行的像素信号并行执行AD转换。因此,与逐行执行AD转换的情况相比较,能够提高AD转换(读出)速度。
<3.第三实施方式>
在上述所述第二实施方式中,在列ADC 220中,布置全部AD转换单元230。然而,列ADC 220的电路规模随着像素数量的增加而增加。根据第三实施方式的固态成像元件200与第二实施方式的不同在于,多个AD转换单元230以分布式方式布置在上侧列ADC与下侧列ADC之间。
图18是示出根据本技术的第三实施方式的固态成像元件200的配置例的框图。在根据第三实施方式的固态成像元件200中,布置上侧列ADC221和下侧列ADC 222代替列ADC220,并且布置上侧信号处理单元214和下侧信号处理单元215代替信号处理单元212。
上侧列ADC 221对第2n行的像素信号执行AD转换,并且上侧信号处理单元214对行的数字信号和检测信号进行处理。同时,下侧列ADC 222对第(2n-1)行的像素信号执行AD转换,并且下侧信号处理单元215对行的数字信号和检测信号进行处理。
图19是示出根据本技术的第三实施方式的像素阵列单元300和下侧列ADC 222的配置例的框图。第三实施方式的像素阵列单元300的配置与第二实施方式的配置相似。然而,第2n行的像素310连接至上侧列ADC221并且第(2n-1)行的像素310连接至下侧列ADC222。
对于每列,AD转换单元230布置在下侧列ADC 222中。第三实施方式的AD转换单元230的配置与无多路复用器231的第二实施方式的配置相似。同样,对于每列,AD转换单元230布置在上侧列ADC 221中。
利用图18和图19中示出的配置,在第(2n-1)行和第2n列出现地址事件的情况下,上侧列ADC 221和下侧列ADC 222能够并行执行AD转换。应注意,上侧列ADC 221是权利要求中所描述的第一模数转换单元的实施例,并且下侧列ADC 222是权利要求中所描述的第二模数转换单元的实施例。
如上所述,根据本技术的第三实施方式,2N个AD转换单元230以分布式方式布置在上侧列ADC 221与下侧列ADC 222之间。因此,能够降低每列ADC的电路规模。
<4.第四实施方式>
在上述所述第三实施方式中,对于每列,AD转换单元230布置在上侧列ADC 221和下侧列ADC 222中。然而,列ADC的相应电路规模随着像素的数量的增加而增加。根据第四实施方式的固态成像元件200与第三实施方式的不同在于,对于每两列,AD转换单元230布置在上侧列ADC221和下侧列ADC 222的每列中。
图20是示出根据本技术的第四实施方式的像素阵列单元300和下侧列ADC 222的配置例的框图。如同第一实施方式,在第四实施方式的像素阵列单元300中,对于每列,对四条信号线进行布线。进一步地,当列数是4M时,第4m列和第(4m-2)列连接至上侧列ADC 221,并且第(4m-1)列和第(4m-3)列连接至下侧列ADC 222。
对于每K列,相对于第四实施方式的下侧列ADC 222中的全部连接的2M列而布置AD转换单元230。在其中K是“2”的情况下,布置M个AD转换单元230。进一步地,第四实施方式的AD转换单元230的配置与具有多路复用器231的第一实施方式的配置相似。同样,对于每两列,AD转换单元230布置在第四实施方式的上侧列ADC 221中。
如上所述,根据本技术的第四实施方式,为每两列布置AD转换单元230。因此,与为每列布置AD转换单元230的情况相比较,能够降低上侧列ADC 221和下侧列ADC 222的相应电路规模。
<5.第五实施方式>
在上述所述第一实施方式中,固态成像元件200中的Y仲裁器213对来自多行的请求进行仲裁,但不对来自多列的请求进行仲裁。在该配置中,在行的多个像素中大致同时出现地址事件的情况下,将这些像素的检测信号大致同时输出至信号处理单元212,并且信号处理单元212的处理负荷增加。根据第五实施方式的固态成像元件200与第一实施方式的不同在于,X仲裁器对来自多列的请求进行调整。
图21是示出根据本技术的第五实施方式的固态成像元件200的配置例的框图。根据第五实施方式的固态成像元件200与第一实施方式的不同在于,还包括X仲裁器216。
X仲裁器216对来自多列的请求进行仲裁并且基于仲裁结果而返回响应。通过对来自多列的请求进行仲裁,在行中的多个像素大致同时出现地址事件的情况下,能够将这些像素的检测信号顺次供应至列ADC 220。应注意,X仲裁器216是权利要求中所描述的列仲裁器的实施例。
当检测到地址事件时,根据第五实施方式的像素310将请求发送至Y仲裁器213,并且当接收来自Y仲裁器213的响应时,根据第五实施方式的像素310将请求发送至X仲裁器216。然后,当接收来自X仲裁器216的响应时,像素310输出检测信号。
应注意,第二实施方式至第四实施方式的配置还能够应用于第五实施方式的固态成像元件200。
如上所述,根据本技术的第五实施方式,X仲裁器216对来自多列的请求进行仲裁。因此,在行中的多个像素大致同时出现地址事件的情况下,能够顺次供应这些像素的检测信号。
[变形]
在上述所述第五实施方式中,像素310生成列使能信号ColEN。然而,在该配置中,需要为每个像素布置用于生成列使能信号ColEN的电路(或门452、触发器454和455等)。因此,该电路的像素阵列单元300的电路规模增加。根据第五实施方式的变形的固态成像元件200与第五实施方式的不同在于,X仲裁器216生成列使能信号ColEN代替像素310。
图22是示出根据本技术的第五实施方式的变形的像素310和X仲裁器216的配置例的框图。在根据第五实施方式的变形的像素310中,地址事件检测单元400不生成列使能信号ColEN。确切地,X仲裁器216生成其中出现地址事件的列的列使能信号ColEN并且将列使能信号ColEN供应至列ADC 220。
应注意,第二实施方式至第四实施方式的配置还能够应用于第五实施方式的变形的固态成像元件200。
如上所述,在本技术的第五实施方式的变形中,X仲裁器216生成列使能信号ColEN。因此,不需要布置用于在像素310中生成列使能信号ColEN的电路。因此,能够降低像素310的电路规模。
<6.根据第六实施方式的成像装置(扫描方法)>
根据第一实施方式的上述所述成像装置20是通过异步读出方法读取事件的异步成像装置。然而,事件读出方法并不局限于异步读出方法并且可以是同步读出方法。应用同步读出方法的成像装置是扫描式成像装置,即,与以预定帧速率执行成像的正常成像装置相同。
图23是示出根据第六实施方式的成像装置的配置的实施例的框图,即,用作应用根据本公开的技术的成像系统10中的成像装置20的扫描式成像装置。
如图23中示出的,作为本公开的成像装置的根据第六实施方式的成像装置20包括像素阵列单元21、驱动单元22、信号处理单元25、读出区域选择单元27、以及信号生成单元28。
像素阵列单元21包括多个像素30。多个像素30响应来自读出区域选择单元27的选择信号而输出输出信号。多个像素30中的每个像素的配置与图4中示出的像素310的配置相似。多个像素30输出与光强度的变化量对应的输出信号。如图22中示出的,多个像素30可以二维地布置成矩阵。
驱动单元22驱动多个像素30中的每个像素并且使信号处理单元25输出在每个像素30中所生成的像素信号。应注意,驱动单元22和信号处理单元25是用于获取灰度信息的电路单元。因此,在仅获取事件信息的情况下,可以省去驱动单元22和信号处理单元25。
读出区域选择单元27选择像素阵列单元21中所包括的多个像素30的一部分。具体地,读出区域选择单元27响应来自像素阵列单元21的每个像素30的请求而确定选择区域。例如,读出区域选择单元27从与像素阵列单元21对应的二维矩阵的结构中所包括的行之中选择任意一行或多行。读出区域选择单元27根据预设循环而顺次选择一行或多行。进一步地,读出区域选择单元27可以响应来自像素阵列单元21的每个像素30的请求而确定选择区域。
信号生成单元28基于通过读出区域选择单元27选择的像素的输出信号而生成与所选择像素之中检测到事件的有源像素对应的事件信号。事件指其中光的强度发生变化的事件。有源像素指其中与输出信号对应的光的强度的变化量超过预设阈值或下降至预设阈值以下的像素。例如,信号生成单元28将像素的输出信号与参考信号进行比较、在输出信号大于或小于参考信号的情况下对输出输出信号的有源像素进行检测、并且生成与有源像素对应的事件信号。
例如,信号生成单元28能够包括对进入信号生成单元28的信号进行仲裁的列选择电路。进一步地,信号生成单元28可以被配置为不仅输出其中检测到事件的有源像素的信息,而且还输出其中未检测到事件的无源像素的信息。
信号生成单元28通过输出线15输出其中检测到事件的有源像素的地址信息和时间戳信息(例如,(X,Y,T))。应注意,从信号生成单元28输出的数据不仅可以是地址信息和时间戳信息,而且还可以是帧格式信息(例如,(0,0,1,0,...))。
<7.移动体的应用例>
根据本公开的技术(本技术)能够应用于各种产品。例如,根据本公开的技术可以实现为安装在包括汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动体、飞机、无人机、船只、机器人等的任意类型的移动体上的装置。
图24是示出作为应用根据本公开的技术的移动体控制系统的实施例的车辆控制系统的示意性配置例的框图。
车辆控制系统12000包括通过通信网络12001连接的多个电子控制单元。在图24示出的实施例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040、以及集成控制单元12050。进一步地,作为集成控制单元12050的功能配置,示出了微型计算机12051、声音图像输出单元12052、以及车内网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制关于车辆的驱动系统的装置的操作。例如,驱动系统控制单元12010用作生成车辆的驱动力的驱动力生成装置的控制装置(诸如内燃机或驱动电机等)、用于将驱动力发送至车轮的驱动力传输机构、调整车辆的转向角的转向机构、生成车辆的制动力的制动装置等。
车身系统控制单元12020根据各种程序控制车身中配备的各种装置的操作。例如,车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、自动车窗装置、以及诸如头灯、后灯、制动灯、转向信号、以及雾灯等各种灯的控制装置。在这种情况下,能够将从替代钥匙或各种开关的信号的移动装置所发送的无线电波输入至车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入并且控制车辆的门锁装置、自动车窗装置、灯等。
车辆外部信息检测单元12030对安装车辆控制系统12000的车辆之外的信息进行检测。例如,成像单元12031连接至车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031捕获车辆外面的图像并且接收所捕获的图像。车辆外部信息检测单元12030可以基于所接收的图像对路面等上的人、车辆、障碍物、标志、字母执行对象检测处理或距离检测处理。
成像单元12031是接收光并且根据光的光接收量输出电信号的光学传感器。成像单元12031能够输出电信号作为图像并且能够输出电信号作为距离测量的信息。进一步地,通过成像单元12031接收的光可以是可见光或可以是诸如红外光的不可见光。
车辆内部信息检测单元12040对车辆内的信息进行检测。例如,检测驾驶员的状态的驾驶员状态检测单元12041连接至车辆内部信息检测单元12040。例如,驾驶员状态检测单元12041包括捕获驾驶员的摄像头,并且车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或集中程度、或者可以基于从驾驶员状态检测单元12041输入的检测信息而确定驾驶员是否睡着。
微型计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆内和外的信息而计算驱动力生成装置、转向机构、或制动装置的控制目标值、并且能够将控制命令输出至驱动系统控制单元12010。例如,出于实现包括车辆的防碰撞或减震、基于车辆间隙的跟随行驶、车速保持行驶、车辆的碰撞警告、车辆的车道偏离警告等的先进驾驶员辅助系统(ADAS)功能之目的,微型计算机12051能够执行协作控制。
进一步地,微型计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆的附近的信息而控制驱动力生成装置、转向机构、制动装置等,以在不依赖于驾驶员的操作等的情况下出于自动行驶的自动驱动之目的而执行协作控制。
进一步地,微型计算机12051能够基于在车辆外部信息检测单元12030中获取的车辆外部的信息而将控制命令输出至车身系统控制单元12020。例如,微型计算机12051能够通过诸如根据在车辆外部信息检测单元12030中检测的先行车辆或对向车辆的位置控制头灯并且将高光束光切换为低光束光而出于实现不炫光之目的执行协作控制。
声音图像输出单元12052将声音和图像中的至少一项的输出信号发送至能够通过视觉和听觉将信息通知给车辆的乘客或车辆外部的输出装置。在图24的实施例中,作为输出装置,示例性地示出了音频扬声器12061、显示单元12062、以及仪器面板12063。例如,显示单元12062可以包括车载显示器和头戴显示器中的至少一项。
图25是示出成像单元12031的安装位置的实施例的示图。
在图25中,包括了成像单元12101、12102、12103、12104以及12105作为成像单元12031。
例如,成像单元12101、12102、12103、12104以及12105设置在车辆12100的内部的前鼻、侧视镜、后保险杠或后门、挡风玻璃的上部等的位置处。设置在车辆内部的前鼻处的成像单元12101和设置在挡风玻璃的上部的成像单元12105主要获取车辆12100的前方的图像。设置在侧视镜处的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后车门处的成像单元12104主要获取车辆12100的后方的图像。设置在车辆的内部的挡风玻璃的上部的成像单元12105主要用于检测前行车辆、行人、障碍物、交通信号、交通标志、车道等。
应注意,图25示出了成像单元12101至12104的捕获范围的实施例。成像范围12111表示设置在前鼻处的成像单元12101的成像范围,成像范围12112和12113分别表示设置在侧视镜处的成像单元12102和12103的成像范围,并且成像范围12114表示设置在后保险杠或后车门处的成像单元12104的成像范围。例如,通过对由成像单元12101至12104捕获的图像数据进行叠加能够获得从上方观看的车辆12100的鸟瞰图像。
成像单元12101至12104中的至少一个成像单元可以具有获取距离信息的功能。例如,成像单元12101至12104中的至少一项可以是包括多个成像元件的立体摄像头或可以是具有用于相差检测的像素的图像传感器。
例如,微型计算机12051基于从成像单元12101至12104获得的距离信息而获得到成像范围12111至12114内的三维对象的距离和距离的时间变化(车辆12100的相对速度),由此提取最靠近行进道路上的车辆12100并且在与作为先行车辆的车辆12100大致相同的方向上以预定速度(例如,0km/h以上)行进的具体三维对象。而且,微型计算机12051能够将车间距离提前设置为与先行车辆安全并且执行自动制动控制(包括下列停车控制)和自动加速控制(包括下列启动控制)等。如此,能够在不依赖于驾驶员的操作等的情况下而出于自动行进的自动驾驶之目的而执行协作控制。
例如,微型计算机12051基于从成像单元12101至12104获得的距离信息将关于三维对象的三维对象数据分类成两轮车辆、普通汽车、大型车辆、行人、以及诸如所提取的电极等其他三维对象,并且能够使用关于自动避免障碍物的数据。例如,微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员通过视觉可识别的障碍物和驾驶员通过视觉不可识别的障碍物。然后,微型计算机12051确定表示与各个障碍物的碰撞的风险的碰撞风险并且在碰撞风险是设置值以上并且存在碰撞可能性的情况下能够通过音频扬声器12061或显示单元12062将警报输出给驾驶员、并且通过驱动系统控制单元12010执行强制减速或避免转向而执行防碰撞驾驶辅助。
成像单元12101至12104中的至少一项可以是检测红外光的红外摄像头。例如,微型计算机12051确定成像单元12101至12104的捕获图像中是否存在行人,由此识别行人。例如,通过提取成像单元12101至12104的红外摄像头的捕获图像中的特征点的过程并且通过对表示对象轮廓的一系列特征点执行图案匹配处理并且确定对象是否是行人的过程而执行对行人的这种识别。当微型计算机12051确定成像单元12101至12104的捕获图像中存在行人并且识别行人时,声音图像输出单元12052使显示单元12062对对正方形轮廓线进行叠加和显示,以强化所识别的行人。进一步地,声音图像输出单元12052可以使显示单元12062显示表示所需位置处的行人的图标等。
已经对应用根据本公开的技术的车辆控制系统的实施例进行了描述。例如,根据本公开的技术可应用于上述所述配置的成像单元12031。具体地,图1中的成像装置100能够应用于成像单元12031。通过将根据本公开的技术应用于成像单元12031,能够降低成像单元12031的功耗。因此,能够降低车辆控制系统作为整体的功耗。
应注意,上述所述实施方式描述了用于涵盖本技术的实施例,并且实施方式中的事宜及用于在权利要求中指定发明的事宜分别具有对应性。同样,用于在权利要求中指定发明的事宜及本技术的实施方式中给出相同名称的事宜分别具有对应性。然而,本技术并不局限于实施方式,并且在不偏离本技术的实质的情况下,能够涵盖对实施方式的各种变形的应用。
进一步地,上述实施方式中描述的处理程序可以被视为具有这些系列的步骤的方法并且还被视为用于使计算机执行这些系列的步骤的程序和用于存储程序的记录介质。作为该记录介质,例如,能够使用压密盘(CD)、迷你盘(MD)、数字通用盘(DVD)、存储卡、蓝光(注册商标)盘等。
应注意,本说明书中描述的效果仅是示例性的并且不受限制,并且可以表现出其他效果。
应注意,本技术还能够具有下列配置。
(1)一种固态成像元件,包括:
多个像素,各自被配置为通过光电转换而生成模拟信号;和
模数转换单元,被配置为将像素的模拟信号转换成数字信号,多个像素之中的像素具有落在预定范围之外的入射光量的变化量。
(2)根据(1)所述的固态成像元件,其中,
模数转换单元包括:
选择单元,选择多个像素的模拟信号之中具有落在预定范围之外的变化量的像素的模拟信号;和
模数转换器,将所选择的模拟信号转换成数字信号。
(3)根据(1)所述的固态成像元件,其中,
多个像素设置在沿预定方向排列的预定数量的列中;
模数转换单元包括列中的每列的固定数量的模数转换器;并且
在多个像素之中属于对应列的像素的变化量落在预定范围之外的情况下,模数转换器将像素的模拟信号转换成数字信号。
(4)根据(1)所述的固态成像元件,其中,
多个像素设置在沿预定方向排列的预定数量的列中;并且
模数转换单元包括:
第一模数转换单元,连接至预定数量的列的一部分;和
第二模数转换单元,连接至预定数量的列的其余部分。
(5)根据(4)所述的固态成像元件,其中,
第一模数转换单元和第二模数转换单元中的每个模数转换单元包括:
选择单元,选择对应列的模拟信号之中具有落在预定范围之外的变化量的列的模拟信号;和
模数转换器,将所选择的模拟信号转换成数字信号。
(6)根据(4)所述的固态成像元件,其中,
第一模数转换单元和第二模数转换单元中的每个模数转换单元包括每个对应列的固定数量的模数转换器;并且
在多个像素之中属于对应列的像素的变化量落在预定范围之外的情况下,模数转换器将像素的模拟信号转换成数字信号。
(7)根据(1)至(6)中任一项所述的固态成像元件,其中,
多个像素中的每个像素包括:
像素信号生成单元,生成模拟信号;和
检测单元,检测变化量的绝对值是否超过预定阈值,并且基于检测结果生成预定使能信号;并且
模数转换单元根据使能信号将模拟信号转换成数字信号。
(8)根据(1)至(6)中任一项所述的固态成像元件,还包括:
行仲裁器,被配置为对来自沿着与预定方向垂直的方向排列的预定数量的相应行的第一请求进行仲裁;其中,
多个像素沿预定数量的行排列;并且
在变化量落在预定范围之外的情况下,多个像素中的每个像素发送第一请求。
(9)根据(8)所述的固态成像元件,还包括:
列仲裁器,被配置为对来自沿预定方向排列的预定数量的相应列的第二请求进行仲裁;其中,
多个像素中的每个像素基于行仲裁器的仲裁结果发送第二请求。
(10)根据(9)所述的固态成像元件,其中,
列仲裁器基于第二请求生成预定使能信号;并且
模数转换单元根据使能信号将模拟信号转换成数字信号。
(11)一种成像装置,包括:
多个像素,各自被配置为通过光电转换生成模拟信号;
模数转换单元,被配置为将像素的模拟信号转换成数字信号,多个像素之中的像素具有落在预定范围之外的入射光量的绝对值;以及
信号处理单元,被配置为对数字信号进行处理。
参考标号列表
100 成像装置
110 成像透镜
120 记录单元
130 控制单元
200 固态成像元件
201 光接收芯片
202 检测芯片
211 驱动电路
212 信号处理单元
213 Y仲裁器
214 上侧信号处理单元
215 下侧信号处理单元
216 X仲裁器
220 列ADC
221 上侧列ADC
222 下侧列ADC
230 AD转换单元
231 多路复用器
232 ADC
233 比较器
234 计数器
240 控制电路
241和452 或(逻辑和)门
242 电平移位器
243、451以及453 与(逻辑积)门
244 解多路复用器
245 切换控制单元
300 像素阵列单元
310 像素
320 像素信号生成单元
321 复位晶体管
322 放大晶体管
323 选择晶体管
324 浮动扩散层
330 光接收单元
331 转移晶体管
332 OFG晶体管
333 光电转换元件
400 地址事件检测单元
410 电流-电压转换单元
411和413 N-型晶体管
412 P-型晶体管
420 缓冲器
430 减法器
431和433 电容器
432 反相器
434 开关
440 量化器
441和442 比较器
450 传输单元
454和455 触发器
12031 成像单元。

Claims (11)

1.一种固态成像元件,包括:
多个像素,各自被配置为通过光电转换而生成模拟信号;和
模数转换单元,被配置为将像素的所述模拟信号转换成数字信号,所述多个像素之中的所述像素具有落在预定范围之外的入射光量的变化量。
2.根据权利要求1所述的固态成像元件,其中,
所述模数转换单元包括:
选择单元,选择所述多个像素的所述模拟信号之中具有落在所述预定范围之外的所述变化量的所述像素的所述模拟信号;和
模数转换器,将所选择的模拟信号转换成所述数字信号。
3.根据权利要求1所述的固态成像元件,其中,
所述多个像素设置在沿预定方向排列的预定数量的列中;
所述模数转换单元包括所述列中的每列的固定数量的模数转换器;并且
在所述多个像素之中属于对应列的像素的变化量落在所述预定范围之外的情况下,所述模数转换器将所述像素的所述模拟信号转换成所述数字信号。
4.根据权利要求1所述的固态成像元件,其中,
所述多个像素设置在沿预定方向排列的预定数量的列中;并且
所述模数转换单元包括:
第一模数转换单元,连接至所述预定数量的列的一部分;和
第二模数转换单元,连接至所述预定数量的列的其余部分。
5.根据权利要求4所述的固态成像元件,其中,
所述第一模数转换单元和所述第二模数转换单元中的每个模数转换单元包括:
选择单元,选择对应列的所述模拟信号之中具有落在所述预定范围之外的所述变化量的列的所述模拟信号;和
模数转换器,将所选择的模拟信号转换成所述数字信号。
6.根据权利要求4所述的固态成像元件,其中,
所述第一模数转换单元和所述第二模数转换单元中的每个模数转换单元包括每个对应列的固定数量的模数转换器;并且
在所述多个像素之中属于所述对应列的像素的所述变化量落在所述预定范围之外的情况下,所述模数转换器将所述像素的所述模拟信号转换成所述数字信号。
7.根据权利要求1所述的固态成像元件,其中,
所述多个像素中的每个像素包括:
像素信号生成单元,生成所述模拟信号;和
检测单元,检测所述变化量的绝对值是否超过预定阈值,并且基于检测结果生成预定使能信号;并且
所述模数转换单元根据所述使能信号将所述模拟信号转换成所述数字信号。
8.根据权利要求1所述的固态成像元件,还包括:
行仲裁器,被配置为对来自沿着与预定方向垂直的方向排列的预定数量的相应行的第一请求进行仲裁;其中,
所述多个像素沿所述预定数量的行排列;并且
在所述变化量落在所述预定范围之外的情况下,所述多个像素中的每个像素发送所述第一请求。
9.根据权利要求8所述的固态成像元件,还包括:
列仲裁器,被配置为对来自沿所述预定方向排列的预定数量的相应列的第二请求进行仲裁;其中,
所述多个像素中的每个像素基于所述行仲裁器的仲裁结果发送所述第二请求。
10.根据权利要求9所述的固态成像元件,其中,
所述列仲裁器基于所述第二请求生成预定使能信号;并且
所述模数转换单元根据所述使能信号将所述模拟信号转换成所述数字信号。
11.一种成像装置,包括:
多个像素,各自被配置为通过光电转换生成模拟信号;
模数转换单元,被配置为将像素的所述模拟信号转换成数字信号,所述多个像素之中的所述像素具有落在预定范围之外的入射光量的绝对值;以及
信号处理单元,被配置为对所述数字信号进行处理。
CN201980054348.XA 2018-11-19 2019-10-15 固态成像元件与成像装置 Active CN112585954B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018216590A JP2020088481A (ja) 2018-11-19 2018-11-19 固体撮像素子、および、撮像装置
JP2018-216590 2018-11-19
PCT/JP2019/040379 WO2020105313A1 (ja) 2018-11-19 2019-10-15 固体撮像素子、および、撮像装置

Publications (2)

Publication Number Publication Date
CN112585954A true CN112585954A (zh) 2021-03-30
CN112585954B CN112585954B (zh) 2023-12-22

Family

ID=70773187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054348.XA Active CN112585954B (zh) 2018-11-19 2019-10-15 固态成像元件与成像装置

Country Status (6)

Country Link
US (1) US11375149B2 (zh)
JP (1) JP2020088481A (zh)
KR (1) KR20210090156A (zh)
CN (1) CN112585954B (zh)
DE (1) DE112019005786T5 (zh)
WO (1) WO2020105313A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115473521A (zh) * 2022-11-02 2022-12-13 深圳大学 基于新颖仲裁器的超低功耗强物理不可克隆函数电路结构

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020002562A1 (en) * 2018-06-27 2020-01-02 Prophesee Image sensor with a plurality of super-pixels
JP2023110108A (ja) * 2020-06-18 2023-08-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法
EP4240006A4 (en) * 2020-10-28 2023-10-11 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING DEVICE AND ELECTRONIC APPARATUS
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030015647A1 (en) * 2001-07-11 2003-01-23 Xiaochuan Guo Time-based CMOS imager having asynchronous readout
CN101990070A (zh) * 2009-08-03 2011-03-23 索尼公司 固态图像传感设备、其模拟-数字转换方法和电子装置
US20150365617A1 (en) * 2013-01-31 2015-12-17 Nanyang Technological University Image sensors and methods for controlling an image sensor
US20160094796A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
JP2012165168A (ja) * 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
CN108600661B (zh) * 2013-06-11 2020-12-11 拉姆伯斯公司 集成电路图像传感器和在图像传感器内操作的方法
JP7023685B2 (ja) * 2017-11-30 2022-02-22 キヤノン株式会社 撮像装置、撮像システム、移動体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030015647A1 (en) * 2001-07-11 2003-01-23 Xiaochuan Guo Time-based CMOS imager having asynchronous readout
CN101990070A (zh) * 2009-08-03 2011-03-23 索尼公司 固态图像传感设备、其模拟-数字转换方法和电子装置
US20150365617A1 (en) * 2013-01-31 2015-12-17 Nanyang Technological University Image sensors and methods for controlling an image sensor
US20160094796A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
WO2018012068A1 (ja) * 2016-07-12 2018-01-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115473521A (zh) * 2022-11-02 2022-12-13 深圳大学 基于新颖仲裁器的超低功耗强物理不可克隆函数电路结构
CN115473521B (zh) * 2022-11-02 2023-01-24 深圳大学 基于新颖仲裁器的超低功耗强物理不可克隆函数电路结构

Also Published As

Publication number Publication date
KR20210090156A (ko) 2021-07-19
US20210195130A1 (en) 2021-06-24
DE112019005786T5 (de) 2021-09-02
US11375149B2 (en) 2022-06-28
CN112585954B (zh) 2023-12-22
JP2020088481A (ja) 2020-06-04
WO2020105313A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111615823B (zh) 固态成像元件、成像装置以及固态成像元件的控制方法
CN112913224B (zh) 固态成像元件和成像装置
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
CN112585954B (zh) 固态成像元件与成像装置
WO2020090460A1 (ja) センサ及び制御方法
US11950009B2 (en) Solid-state image sensor
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11910108B2 (en) Solid-state imaging apparatus and imaging apparatus
JP2021040294A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020105301A1 (ja) 固体撮像素子、および、撮像装置
CN117957854A (zh) 固态图像传感器、成像设备和固态图像传感器的控制方法
KR20240056647A (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법
KR20240056646A (ko) 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제어 방법
TW202408217A (zh) 光檢測裝置及車輛控制系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant