CN113396579A - 事件信号检测传感器和控制方法 - Google Patents

事件信号检测传感器和控制方法 Download PDF

Info

Publication number
CN113396579A
CN113396579A CN202080011686.8A CN202080011686A CN113396579A CN 113396579 A CN113396579 A CN 113396579A CN 202080011686 A CN202080011686 A CN 202080011686A CN 113396579 A CN113396579 A CN 113396579A
Authority
CN
China
Prior art keywords
event
detection probability
pixel
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080011686.8A
Other languages
English (en)
Other versions
CN113396579B (zh
Inventor
伊泽慎一郎
本田元就
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113396579A publication Critical patent/CN113396579A/zh
Application granted granted Critical
Publication of CN113396579B publication Critical patent/CN113396579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707Pixels for event detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及一种事件信号检测传感器和一种控制方法,被配置为能够减小等待时间并抑制对物体的忽视。多个像素电路检测作为通过执行光电转换并生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据。检测概率设置单元:根据图案识别的识别结果,针对一个或多个像素电路形成的每个区域单元计算检测事件的每单位时间的检测概率;并且根据检测概率控制像素电路以便输出事件数据。本发明可以应用于事件信号检测传感器,检测作为像素的电信号的变化的事件。

Description

事件信号检测传感器和控制方法
技术领域
本技术涉及一种事件信号检测传感器和一种控制方法,并且更具体地,涉及一种事件信号检测传感器和一种控制方法,例如,用于缩短等待时间和减少对物体的忽视。
背景技术
已经开发了一种图像传感器,用于在事件已经发生作为像素亮度变化的事件的情况下输出指示发生事件的事件数据(例如,参见专利文献1)。
在此处,与垂直同步信号同步地执行成像并且输出作为垂直同步信号的周期中的一帧(屏幕)的图像数据的帧数据的图像传感器可以被视为同步图像传感器。另一方面,输出事件数据的图像传感器可以被视为异步(或地址控制)图像传感器,因为这种图像传感器在发生事件时输出事件数据。例如,异步图像传感器被称为动态视觉传感器(DVS)。
在DVS中,除非发生事件,否则不输出事件数据,并且在发生事件的情况下输出事件数据。因此,DVS具有事件数据的数据速率趋向于低并且事件数据处理的等待时间趋向于低的优点。
引文列表
专利文献
专利文献1:JP 2017-535999 W
发明内容
本发明要解决的问题
同时,例如,在要由DVS捕捉的背景包括具有茂盛树叶的树的情况下,树的叶子将在风中摇摆,因此,发生事件的像素数将很大。如果存在许多像素,其中,相对于不是DVS要检测的感兴趣物体的物体发生事件,则DVS的优势(例如,低数据速率和低等待时间)将会丧失。
在此处,使用像素值是表示灰度的灰度信号的图像(该图像在下文中也称为灰度图像),例如,将由DVS检测的感兴趣物体的区域设置为ROI。只允许输出ROI中的事件数据,并跟踪感兴趣物体(ROI)。以这种方式,可以保持低数据速率和低等待时间。
然而,在这种情况下,当新的感兴趣物体出现在与设置为ROI的区域相对应的范围之外的DVS的成像区域中时,不输出从新的感兴趣物体导出的事件数据,并且不能检测到并且将忽视新的感兴趣物体。
鉴于这种情况而提出本技术,并且旨在缩短等待时间和减少对物体的忽视。
问题的解决方案
本技术的事件信号检测传感器是一种事件信号检测传感器,包括:多个像素电路,多个像素电路检测作为通过执行光电转换生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据;以及检测概率设置单元,检测概率设置单元根据图案识别的结果,针对至少一个像素电路形成的每个区域计算检测事件的每单位时间的检测概率,并且以根据检测概率输出事件数据的方式控制像素电路。
本技术的控制方法是一种控制方法,包括:控制事件信号检测传感器的像素电路,事件信号检测传感器包括:多个像素电路,像素电路检测作为通过执行光电转换生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据。在该控制方法中,根据图案识别的结果,针对由至少一个像素电路形成的每个区域,计算检测事件的每单位时间的检测概率,并且以根据检测概率输出事件数据的方式来控制像素电路。
根据本技术,在包括像素电路的事件信号检测传感器中控制多个像素电路,像素电路检测作为通过执行光电转换生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据。即,根据图案识别的结果,针对由一个或多个像素电路形成的每个区域,计算检测事件的每单位时间的检测概率,并且控制像素电路,使得根据检测概率来输出事件数据。
注意,传感器可以是独立的装置,或者可以是构成单个装置的内部块。可选地,传感器可以形成为模块或半导体芯片。
附图说明
[图1]是示出应用本技术的DVS的实施例的示例配置的框图;
[图2]是示出像素电路21的第一示例配置的框图;
[图3]是用于说明DVS中正常模式下的过程的示图;
[图4]是用于说明DVS中检测概率模式下的过程的流程图;
[图5]是用于说明DVS中检测概率模式下的过程的示图;
[图6]是示出像素电路21的第二示例配置的框图;
[图7]是示出检测概率设置的示例的示图;
[图8]是用于说明取决于检测概率并且在像素电路21的第二示例配置中执行的复位控制的示例的示图;
[图9]是示出像素电路21的第三示例配置的框图;
[图10]是用于说明取决于检测概率并且在像素电路21的第三示例配置中执行的阈值控制的示例的示图;
[图11]是示出像素电路21的第四示例配置的框图;
[图12]是用于说明取决于检测概率并且在像素电路21的第四示例配置中执行的电流控制的示例的示图;
[图13]是示出事件数据输出的空间抽取的示例的示图;
[图14]是示出事件数据输出的空间抽取的另一示例的示图;
[图15]是示出事件数据输出的时间抽取的示例的示图;
[图16]是示意性示出车辆控制系统的示例配置的框图;
[图17]是示出外部信息检测器和成像单元的安装位置的示例的说明图。
具体实施方式
<应用本技术的DVS的实施例>
图1是示出作为应用本技术的传感器(事件信号检测传感器)的DVS的实施例的示例配置的框图。
在图1中,DVS包括像素阵列单元11以及识别单元12和13。
像素阵列单元11由在二维平面中以栅格状图案排列的多个像素电路21形成,像素电路21包括对入射光执行光电转换以生成电信号的像素31。像素阵列单元11通过对像素31处的入射光执行光电转换来执行成像,以生成电信号。像素阵列单元11还生成表示发生事件的事件数据,该事件是像素电路21中的像素31的电信号的变化,并且在识别单元12的控制下将事件数据输出到识别单元13。像素阵列单元11还从像素31的电信号生成表示图像灰度的灰度信号,并将灰度信号提供给识别单元12。
如上所述,除了事件数据之外,像素阵列单元11还输出灰度信号。因此,像素阵列单元11可以用作同步图像传感器,其与垂直同步信号同步地执行成像,并且在垂直同步信号的周期中输出一帧(屏幕)的图像的灰度信号。
在此处,在像素阵列单元11中,设置多个像素电路21的部分也被称为光接收部分,因为它是在整个配置中接收入射光并执行光电转换的部分。
识别单元12用作检测概率设置单元,该检测概率设置单元对其像素值是由像素阵列单元11输出的灰度信号的灰度图像执行图案识别,并且针对由像素阵列单元11的一个或多个像素电路21形成的每个区域计算(设置)每个事件检测时间的检测概率。
识别单元12还根据检测概率控制像素电路21,使得根据检测概率输出事件数据。注意,在DVS具有仲裁器(未示出)来仲裁事件数据的输出的情况下,可以根据检测概率经由仲裁器从识别单元12控制像素电路21。
识别单元13对其像素值是对应于由像素阵列单元11输出的事件数据的值的事件图像执行图案识别,检测要由DVS检测的感兴趣物体,并跟踪感兴趣物体(跟随感兴趣物体)。
注意,DVS可以由堆叠的多个管芯形成。例如,在DVS由两个堆叠的管芯形成的情况下,像素阵列单元11可以形成在两个管芯之一中,并且识别单元12和13可以形成在另一管芯中。可选地,一个管芯可以形成像素阵列单元11的一部分,另一管芯可以形成像素阵列单元11以及识别单元12和13的剩余部分。
[像素电路21的第一示例配置]
图2是示出图1所示的像素电路21的第一示例配置的框图。
像素电路21包括像素31、事件检测单元32和模数转换器(ADC)33。
像素31包括作为光电转换元件的光电二极管(PD)51。像素31接收入射到PD 51上的光,执行光电转换,并在PD 51处生成和施加光电流(Iph),作为电信号。
在由像素31中的光电转换生成的光电流中引起超过预定阈值的变化的情况下,事件检测单元32检测光电流的变化,作为事件。事件检测单元32输出事件数据,作为事件的结果(检测)。
在此处,像素31中生成的光电流的变化可以被视为进入像素31的光量的变化,因此,该事件也可以被视为像素31中的光量的变化(超过阈值的光量变化)。
对于事件数据,至少可以识别指示已经发生作为事件的光量变化的像素31(像素电路21)的位置的位置信息(例如,坐标)。此外,对于事件数据,可以识别光强变化的极性(正或负)。
对于事件检测单元32在发生事件时输出的一系列事件数据,可以识别指示发生事件的(相对)时间的时间信息,只要在发生事件时原样保持各条事件数据之间的间隔。然而,当由于将事件数据存储在存储器等中,在发生事件时不再原样保持各条事件数据之间的间隔时,时间信息将丢失。因此,对于事件数据,在发生事件时不再原样保持各条事件数据之间的间隔之前,指示发生事件的(相对)时间的时间信息(例如,时间戳)被添加到事件数据。在发生事件时不再原样保持各条事件数据之间的间隔之前,可以在事件检测单元32中或者在事件检测单元32之外执行将时间信息添加到事件数据的过程。
事件检测单元32包括电流电压转换单元41、减法单元42和输出单元43。
电流电压转换单元41将来自像素31的光电流转换成对应于光电流的对数的电压(在下文中,也称为光学电压)Vo,并将电压Vo输出到减法单元42。
电流电压转换单元41由FET 61至63形成。例如,可以采用N型MOSFET作为FET 61和63,并且可以采用P型MOS(PMOS)FET作为FET 62。
FET 61的源极连接到FET 63的栅极,并且来自像素31的光电流在FET 61的源极和FET 63的栅极之间的连接点处流动。FET 61的漏极连接到电源VDD,栅极连接到FET 63的漏极。
FET 62的源极连接到电源VDD,漏极连接到FET 61的栅极和FET 63的漏极之间的连接点。预定的偏置电压Vbias被施加到FET 62的栅极。
FET 63的源极接地。
在电流电压转换单元41中,FET 61的漏极连接到电源VDD侧,并用作源极跟随器。像素31的PD 51连接到FET 61的源极,FET 61是源极跟随器。利用这种设置,由像素31的PD51处的光电转换生成的电荷形成的光电流在FET 61中流动(从漏极到源极)。FET 61在亚阈值区域中操作,并且对应于在FET 61中流动的光电流的对数的光电压Vo出现在FET61的栅极。如上所述,在电流电压转换单元41中,FET 61将来自像素31的光电流转换成对应于光电流的对数的光学电压Vo。
光电压Vo从FET 61的栅极和FET 63的漏极之间的连接点输出到减法单元42。
关于来自电流电压转换单元41的光电压Vo,减法单元42计算当前光电压和在与当前时间相差少量时间的时间的光电压之间的差,并将对应于该差的差信号Vout输出到输出单元43。
减法单元42包括电容器71、运算放大器72、电容器73和开关74。
电容器71(第一电容)的一端连接到电流电压转换单元41(FET 62和63之间的连接点),另一端连接到运算放大器72的输入端。因此,光电压Vo经由电容器71输入到运算放大器72的(反相)输入端。
运算放大器72的输出端连接到输出单元43。
电容器73(第二电容)的一端连接到运算放大器72的输入端,另一端连接到运算放大器72的输出端。
开关74连接到电容器73,以便接通和断开电容器73两端的连接。开关74根据来自输出单元43的复位信号接通或断开电容器73两端的连接。
电容器73和开关74构成开关电容器。当已经断开的开关74暂时接通然后再次断开时,电容器73被复位到释放电荷并且可以累积新的电荷的状态。
当开关74接通时,电流电压转换单元41侧的电容器71的光学电压Vo由Vinit表示,并且电容器71的电容(静电电容)由C1表示。运算放大器72的输入端实际上接地,在开关74接通的情况下,电容器71中累积的电荷Qinit由等式(1)表示。
Qinit=C1×Vinit...(1)
此外,在开关74接通的情况下,电容器73的两端短路,因此,电容器73中累积的电荷为零。
此后,如果在开关74断开的情况下电流电压转换单元41侧的电容器71的光电压Vo由Vafter表示,则在开关74由等式(2)表示的情况下电容器71中累积电荷Qafter。
Qafter=C1×Vafter...(2)
在电容器73的电容由C2表示的情况下,累积在电容器73中的电荷Q2利用差信号Vout由等式(3)表示,差信号是运算放大器72的输出电压。
Q2=-C2×Vout...(3)
在开关74断开之前和之后,作为电容器71中的电荷和电容器73中的电荷之和的电荷总量不变,因此,等式(4)成立。
Qinit=Qafter+Q2...(4)
在将等式(1)至(3)代入等式(4)的情况下,获得等式(5)。
Vout=-(C1/C2)×(Vafter-Vinit)...(5)
根据等式(5),减法单元42从光电压Vafter中减去光电压Vinit,或者计算与光电压Vafter和Vinit之间的差:Vafter-Vinit对应的差信号Vout。根据等式(5),减法单元42的减法增益是C1/C2。因此,减法单元42输出通过将电容器73复位后的光学电压Vo的变化乘以C1/C2而获得的电压,作为差信号Vout。
输出单元43将减法单元42输出的差信号Vout与用于检测事件的预定阈值(电压)+Vth和-Vth进行比较。在差信号Vout等于或大于阈值+Vth,或等于或小于阈值-Vth的情况下,输出单元43输出事件数据,确定已经检测到作为事件的光量的变化(或已经发生)。
例如,在差信号Vout等于或大于阈值+Vth的情况下,输出单元43输出+1的事件数据,确定已经检测到正事件。在差信号Vout等于或小于阈值-Vth的情况下,输出单元43输出-1的事件数据,确定已经检测到负事件。
当检测到事件时,输出单元43通过输出用于暂时接通开关74然后断开开关的复位信号来复位电容器73。
注意,如果开关74保持接通,则差信号Vout固定在预定的复位电平,并且事件检测单元32不能检测到作为事件的光量的任何变化。类似地,在开关74保持断开的情况下,事件检测单元32不能检测到作为事件的光量的任何变化。
在此处,在像素31中提供透射预定光的滤光器,例如,滤色器,使得像素31可以接收期望的光,作为入射光。例如,在像素31接收可见光,作为入射光的情况下,事件数据指示在示出可见物体的图像中出现像素值的变化。此外,在像素31将接收用于距离测量的红外线、毫米波等作为入射光情况下,例如,事件数据指示到物体的距离发生变化。此外,在像素31将接收用于测量温度的红外线作为入射光的情况下,例如,事件数据指示物体温度发生变化。在该实施例中,像素31接收可见光,作为入射光。
此外,在DVS由两个堆叠管芯形成的情况下,例如,整个像素电路21可以形成在一个管芯中,或者像素31和电流电压转换单元41可以形成在一个管芯中,而其他组件形成在另一管芯中。
ADC 33对从像素31流出的光电流执行AD转换,并输出通过AD转换而获得的数字值,作为灰度信号。
如上设计的像素电路21可以同时输出事件数据和灰度信号。
在此处,在DVS(图1)中,识别单元13生成具有对应于由像素电路21(输出单元43)输出的事件数据的值,作为像素值的事件图像,并且对事件图像执行图案识别。
根据从预定帧间隔开始的预定帧宽度内的事件数据,在每个预定帧间隔中生成事件图像。
在此处,帧间隔是指事件图像的相邻帧之间的间隔。帧宽度是指用于生成一帧事件图像的事件数据的时间宽度。
在此处,表示已经发生事件的时间的时间信息(以下也称为事件时间)由t表示,并且作为已经发生事件的像素31(包括像素31的像素电路21)的位置信息(以下也称为事件位置)的坐标由(x,y)表示。
在由x轴、y轴和时间轴t形成的三维(时间)空间中,在每个预定帧间隔中在时间轴t的方向上具有预定帧宽度(时间)的长方体在下文中将被称为帧体积。例如,在x轴方向和y轴方向上的帧体积的大小分别等于在x轴方向和y轴方向上的像素电路21或像素31的数量。
在每个预定帧间隔中,识别单元12根据从帧间隔开始具有预定帧宽度的帧体积中的事件数据(或使用事件数据),生成一帧的事件图像。
例如,可以通过将帧中事件位置(x,y)处的像素(像素的像素值)设置为白色,并将帧中其他位置处的像素设置为预定颜色(例如,灰色),来生成事件图像。
此外,在可以相对于事件数据识别作为事件的光量变化的极性的情况下,可以生成帧数据,同时考虑极性。例如,在极性为正的情况下,像素可以被设置为白色,而在极性为负的情况下,像素可以被设置为黑色。
如上设计的DVS的操作模式包括例如正常模式和检测概率模式。
在正常模式下,构成像素阵列单元11的所有像素电路21根据预定规范以类似的方式(均匀地)操作。因此,在正常模式下,在具有光量变化的入射光(在一个像素电路31中从其中将检测事件)进入另一像素电路31的情况下,也在另一像素电路31中检测到事件,并且也从另一像素电路31输出事件数据。
另一方面,在检测概率模式中,识别单元12在一个或多个像素电路21中的每个区域中设置(计算)检测概率,并且控制像素电路21,以便根据检测概率输出事件数据。因此,在检测概率模式中,在具有光量变化的入射光(在一个像素电路31中从其中将检测事件)进入另一像素电路31的情况下,不一定从另一像素电路31输出事件数据。此外,在具有不从一个像素电路31输出事件数据的光量变化的入射光进入另一像素电路31的情况下,可以在另一像素电路31中检测事件,并且可以从另一像素电路31输出事件数据。
<正常模式>
图3是用于说明DVS中正常模式下的过程的示图。
在正常模式下,构成像素阵列单元11的所有像素电路21检测超过特定阈值的光量变化,作为事件,并输出事件数据。
因此,在要由DVS捕捉的背景包括具有茂盛树叶的树的情况下,例如,树叶将在风中摇摆,因此,发生事件的像素31的数量或事件数据的量将非常大。在事件数据量非常大的情况下,处理如此大量的事件数据的等待时间很长。
因此,在正常模式下,识别单元12可以对其像素值是由像素阵列单元11的相应像素电路21输出的灰度信号的灰度图像执行图案识别。此外,如图3所示,识别单元12可以根据图案识别的结果设置作为要由DVS检测的感兴趣物体的区域的ROI。识别单元12然后使ROI中的像素电路21输出事件数据。反过来,识别单元13对其像素值是对应于事件数据的值的事件图像执行图案识别,并跟踪感兴趣物体(ROI)。因此,可以防止事件数据处理的等待时间由于事件数据量的增加而变长。
然而,在仅使ROI中的像素电路21输出事件数据的情况下,当新的感兴趣物体出现在ROI之外的区域中时,不输出从新的感兴趣物体导出的事件数据,并且不能检测到并且将忽视新的感兴趣物体。
在图3中,在时间t0、t1和t2处,通过事件图像的图案识别来跟踪包括作为感兴趣物体的汽车的ROI(感兴趣物体的检测)。
此外,在图3中,在时间t2处,作为新的感兴趣物体的另一辆汽车出现在左下方,但是另一辆汽车出现在ROI之外的区域中。因此,没有检测到并且忽视了另一辆汽车。注意,在仅使ROI中的像素电路21输出事件数据的情况下,事件图像实际上没有显示在左下方的另一辆汽车。然而,为了便于说明,在该图中显示左下方的另一辆汽车。
<检测概率模式>
图4是用于说明DVS中检测概率模式下的过程的流程图。
在步骤S11中,识别单元12获取(生成)其像素值是由像素阵列单元11的相应像素电路21输出的灰度信号的灰度图像,并且过程前进到步骤S12。
在步骤S12中,识别单元12对灰度图像执行图案识别,并且过程前进到步骤S13。
在步骤S13中,根据对灰度图像执行的图案识别的结果,识别单元12在由像素阵列单元11的一个或多个像素电路形成的每个单位区域中设置检测概率,并且过程前进到步骤S14。
在步骤S14中,根据检测概率,识别单元12控制像素电路21,使得根据在由像素电路21形成的区域中设置的检测概率从像素电路21输出事件数据。该过程然后前进到步骤S15。
在步骤S15中,识别单元13在识别单元12的控制下获取(生成)其像素值是对应于由像素电路21输出的事件数据的值的事件图像,并且过程前进到步骤S16。
在步骤S16中,识别单元13对事件图像执行图案识别,并根据图案识别的结果检测和跟踪感兴趣的物体。
在此处,例如,在根据由识别单元12设置的检测概率控制像素电路21时检测概率为0.5的情况下,像素电路21被控制为仅响应于两个事件中的一个事件(该事件的检测)而输出事件数据。可选地,事件数据的输出被抽取一半。
此外,在检测概率为0.1的情况下,例如,像素电路21被控制为仅响应于十个事件中的一个事件来输出事件数据。可选地,事件数据的输出被抽取至1/10。
图5是用于说明DVS中检测概率模式下的过程的示图。
图5的A示出了灰度图像的示例。图5的A中的灰度图像示出了在上部的天空和云以及在中部具有茂盛树叶的树。此外,在下部显示道路和在道路上从右向左行驶的汽车。
图5的B示出了由识别单元12对图5的A中的灰度图像执行的图案识别的结果的示例。
在图5的B中,通过图案识别来识别灰度图像上部所示的天空和云、中部所示的树叶和树以及下部所示的道路和汽车。
图5的C示出了对应于图5的B所示的图案识别的结果的检测概率的设置的示例。
识别单元12根据对灰度图像执行的图案识别的结果,在由一个或多个像素电路21形成的每个单位区域中设置事件检测的概率。
例如,汽车当前被设置为感兴趣的物体。在识别单元12通过图案识别将汽车识别为感兴趣物体的情况下,像素阵列单元11(其光接收部分)可以设置ROI,并且将ROI中的检测概率设置为1,该ROI是像素电路21(包括像素电路的矩形)的区域,在该区域处已经接收到来自作为感兴趣物体的汽车的光。然后,识别单元12可以将像素电路21中已经接收到来自感兴趣物体以外的物体的光的区域(ROI以外的区域)中的检测概率设置为小于1(但不小于0)的值。
此外,指示物体的检测被优先化的程度的优先级可以被分配给每个物体。在这种情况下,识别单元12可以设置与分配给像素电路21的区域中的物体的优先级相对应的检测概率,在该区域中已经接收到通过图案识别所识别的来自物体的光。例如,优先级越高,可以设置的检测概率就越高。
在图5的C中,接收到来自天空和云的光的像素电路21的区域中的检测概率被设置为0,并且接收到来自树叶和树的光的区域中的像素电路21的检测概率被设置为0.1。此外,接收到来自道路的光的区域中的像素电路21的检测概率被设置为0.5,并且作为接收到来自汽车的光的像素电路21的区域的ROI的区域中的检测概率被设置为1。
图5的D示出了在设置了图5的C所示的检测概率的情况下要获得的事件图像的示例。
在检测概率模式中,在设置了检测概率之后,根据检测概率控制像素电路21,使得将根据检测概率输出事件数据。因此,降低了在设置了低检测概率的区域中来自像素电路21的事件数据的输出。因此,可以防止事件数据处理的等待时间由于事件数据量的增加而变长。即,可以缩短等待时间。
此外,在通过图案识别所识别的每个物体的区域中,感兴趣物体将出现在该区域中的概率被设置为例如优先级,并且根据优先级设置检测概率。因此,在对事件图像执行的图案识别中,可以防止未检测到(未识别)并且忽视新的感兴趣物体。
[像素电路21的第二示例配置]
图6是示出图1所示的像素电路21的第二示例配置的框图。
注意,在附图中,与图2的情况中的组件等效的组件由与图2中使用的组件相同的附图标记表示,并且在下面的描述中将不再重复对其说明。
在图6中,像素电路21包括从像素31到ADC 33的组件,事件检测单元32包括从电流电压转换单元41到输出单元43的组件和或门(OR gate)101。
因此,图6中的像素电路21与图2所示情况中的像素电路的相同之处在于,像素电路21包括从像素31到ADC 33的组件,并且事件检测单元32包括从电流电压转换单元41到输出单元43的组件。
然而,图6中的像素电路21与图2所示的情况的不同之处在于,事件检测单元32还包括或门101。
在图6中,识别单元12根据检测概率通过向像素电路21输出复位信号来执行复位控制,作为对像素电路21的控制。
由输出单元43输出的复位信号和由识别单元12输出的复位信号被提供给或门101的输入端。
或门101计算来自输出单元43的复位信号和来自识别单元12的复位信号的逻辑和,并将计算结果作为复位信号提供给开关74。
因此,在图6中,开关74根据由识别单元12输出的复位信号以及由输出单元43输出的复位信号接通或断开。因此,电容器73不仅可以从输出单元43复位,还可以从识别单元12复位。如上参考图2所述,复位电容器73意味着在暂时接通开关74之后断开开关74,使得释放电容器73的电荷,以允许累积新电荷。
识别单元12根据检测概率执行复位控制,以通过接通和断开用于保持开关74接通或断开的复位信号的输出来控制电容器73的复位。因此,根据检测概率输出事件数据。
即,如以上参考图2所述,如果开关74保持接通或断开,则电容器73不复位,并且事件检测单元32变得不能检测光量变化,作为事件。因此,在检测到事件的情况下(在差信号Vout等于或大于阈值+Vth,并且差信号Vout等于或小于阈值-Vth的情况下),电容器73不总是复位,而是根据检测概率执行复位控制,以降低复位频率。以这种方式,可以根据检测概率输出事件数据。
由于在暂时接通开关74之后通过断开开关74来复位电容器73,所以在暂时接通开关74之后断开开关74也被称为开关74的复位。复位控制是对电容器73复位的控制,同时也是对开关74复位的控制。
图7是示出检测概率设置的示例的示图。
识别单元12对其像素值是灰度信号的灰度图像执行图案识别,并且根据图案识别的结果,在由像素阵列单元11的一个或多个像素电路21形成的每个单位区域中设置检测概率。例如,识别单元12可以在已经接收到来自感兴趣物体的光的像素电路21的区域中以及在可能容易接收到来自感兴趣物体的光的像素电路21的区域中,设置在0和1之间的较大值的检测概率。识别单元12可以在不接收来自感兴趣物体的光的区域中设置0值或接近0值的检测概率。
在图7中,根据图案识别的结果,像素阵列单元11的光接收部分被分成上部区域r0、中部区域r1和下部区域r2这三个区域。在区域r0中设置0的检测概率,在区域r1中设置0.1的检测概率,在区域r2中设置0.5的检测概率。
图8是用于说明取决于检测概率并且在像素电路21的第二示例配置中执行的复位控制的示例的示图。
如图8所示,在每个像素电路21中的像素31处,累积电荷,并且在垂直扫描周期期间针对每个水平扫描线传输电荷。对应于从像素31传输的电荷的光电流在ADC 33处经受AD转换,并作为灰度信号输出。识别单元12对其像素值是每一帧的灰度信号的灰度图像执行图案识别,并且根据图案识别的结果,在由一个或多个像素电路21形成的每个单位区域中设置检测概率。在此处,对于三个区域r0至r2,在区域r0中设置0的检测概率,在区域r1中设置0.1的检测概率,并且在区域r2中设置0.5的检测概率,如图7所示。
识别单元12根据检测概率执行复位控制,以控制开关74的复位。
对于检测概率p设置为0的区域r0中的像素电路21,执行复位控制φ0,使得开关74不复位。对于检测概率p设置为0.1的区域r1中的像素电路21,执行复位控制φ1,使得开关74以正常模式情况下的0.1的速率复位。对于检测概率p设置为0.5的区域r2中的像素电路21,执行复位控制φ2,使得开关74以正常模式情况下的0.5的速率复位。
在此处,预定的单位时间由T表示,并且可以通过仅在单位时间T中的时间p×T期间启用复位,来执行在正常模式的情况下开关74以p(0≤p≤1)的速率的复位。可以周期性地选择启用复位的时间。可选地,在预定的时钟时间生成随机数,并且根据随机数选择用于以概率p启用复位的时间。因此,只能在单位时间T内的时间p×T期间随机启用复位。
在识别单元12中开始取决于检测概率的复位控制之后,识别单元13对其像素值是对应于由像素电路21输出的事件数据的值的事件图像执行图案识别。根据图案识别的结果,执行感兴趣物体的跟踪(跟随感兴趣物体)。
[像素电路21的第三示例配置]
图9是示出图1所示的像素电路21的第三示例配置的框图。
注意,在附图中,与图2的情况中的组件等效的组件由与图2中使用的组件相同的附图标记表示,并且在下面的描述中将不再重复对其说明。
在图9中,像素电路21包括从像素31到ADC 33的组件,事件检测单元32包括从电流电压转换单元41到输出单元43的组件。
因此,图9所示的像素电路21以类似于图2所示情况的方式设计。
然而,对于图9所示的像素电路21,识别单元12执行阈值控制,以控制用于输出单元43处的事件检测的阈值,作为取决于检测概率的对像素电路21的控制。
使用由识别单元12控制的阈值作为要与差信号Vout进行比较的阈值Vth,输出单元43将差信号Vout与阈值Vth进行比较。在差信号Vout等于或大于阈值+Vth,或等于或小于阈值-Vth的情况下,输出单元43输出+1或-1的事件数据。
在图9中,识别单元12根据检测概率执行如上所述的阈值控制。因此,根据检测概率,执行事件检测,并输出事件数据。
图10是用于说明取决于检测概率并且在像素电路21的第三示例配置中执行的阈值控制的示例的示图。
如图10所示,在每个像素电路21中的像素31处,累积电荷,并且在垂直扫描周期期间针对每个水平扫描线传输电荷。对应于从像素31传输的电荷的光电流在ADC 33处经受AD转换,并作为灰度信号输出。识别单元12对其像素值是每一帧的灰度信号的灰度图像执行图案识别,并且根据图案识别的结果,在由一个或多个像素电路21形成的每个单位区域中设置检测概率。在此处,对于三个区域r0至r2,在区域r0中设置0的检测概率,在区域r1中设置0.1的检测概率,并且在区域r2中设置0.5的检测概率,如图7所示。
识别单元12执行阈值控制,以根据检测概率来控制阈值。
对于检测概率p设置为0的区域r0中的像素电路21,执行阈值控制,使得差信号Vout不变成等于或大于阈值+Vth,并且不变成等于或小于阈值-Vth。对于检测概率p设置为0.1的区域r1中的像素电路21,执行阈值控制,使得差信号Vout变成等于或大于阈值+Vth,并且变成等于或小于阈值-Vth,其速率为正常模式情况下的0.1。对于检测概率p设置为0.5的区域r2中的像素电路21,执行阈值控制,使得差信号Vout变成等于或大于阈值+Vth,并且变成等于或小于阈值-Vth,其速率为正常模式情况下的0.5。
在阈值控制中,例如,预先通过模拟确定检测概率和根据检测概率输出事件数据的阈值之间的关系。根据该关系,阈值可以被控制为根据检测概率输出事件数据的阈值。
对于检测概率p设置为0的区域r0中的像素电路21,可以执行阈值控制,使得阈值+Vth变成高于差信号Vout的饱和输出电平。在执行阈值控制,使得阈值+Vth变成高于差信号Vout的饱和输出电平的情况下,差信号Vout不变成等于或大于阈值+Vth,并且不变成等于或小于阈值-Vth(相对于参考值Ref.)。因此,要从区域r0中的像素电路21输出的事件数据RO0的数量为零。
对于检测概率p设置为0.1的区域r1中的像素电路21,可以执行阈值控制,使得阈值+Vth变成等于或低于差信号Vout的饱和输出电平的预定值。因此,由区域r1中的像素电路21输出的事件数据RO1可以对应于0.1的检测概率。
对于检测概率p设置为0.5的区域r2中的像素电路21,可以执行阈值控制,使得阈值+Vth变成小于在区域r1中的像素电路21中设置的阈值的预定值。因此,由区域r2中的像素电路21输出的事件数据RO2可以对应于0.5的检测概率。
在识别单元12中开始取决于检测概率的阈值控制之后,识别单元13对其像素值是对应于事件数据的值的事件图像执行图案识别。根据图案识别的结果,执行感兴趣物体的跟踪。
[像素电路21的第四示例配置]
图11是示出图1所示的像素电路21的第四示例配置的框图。
注意,在附图中,与图2的情况中的组件等效的组件由与图2中使用的组件相同的附图标记表示,并且在下面的描述中将不再重复对其说明。
在图11中,像素电路21包括从像素31到ADC 33的组件,事件检测单元32包括从电流电压转换单元41到输出单元43的组件和FET 111。
因此,图11中的像素电路21与图2所示的情况中的像素电路相同,因为像素电路21包括从像素31到ADC 33的组件,并且事件检测单元32包括从电流电压转换单元41到输出单元43的组件。
然而,图11中的像素电路21与图2所示的情况的不同之处在于,FET111新设置在电流电压转换单元41和减法单元42之间。
在图11中,识别单元12执行电流控制,以控制从电流电压转换单元41(其FET 62和63之间的连接点)流向减法单元42(其电容器71)的电流,作为根据检测概率对像素电路21的控制。
FET 111是PMOS的FET,并且根据作为识别单元12的电流控制的栅极电压控制,控制从电流电压转换单元41流向减法单元42的电流。例如,根据识别单元12的电流控制,FET111接通和断开。当FET 111接通和断开时,从电流电压转换单元41流向减法单元42的电流接通和断开。
通过根据检测概率接通和断开FET 111,识别单元12执行电流控制,以控制从电流电压转换单元41到减法单元42的电流。因此,根据检测概率输出事件数据。
注意,识别单元12接通和断开从电流电压转换单元41流向减法单元42的电流,并且还控制FET 111的栅极电压。通过这样做,识别单元12可以调整从电流电压转换单元41流向减法单元42的电流量,并且调整(延迟)差信号Vout变成等于或大于阈值+Vth之前的时间以及差信号Vout变成等于或小于阈值-Vth之前的时间。
如上所述,从电流电压转换单元41到减法单元42的电流接通和断开,此外,调整差信号Vout变成等于或大于阈值+Vth之前的时间以及差信号Vout变成等于或小于阈值-Vth之前的时间,使得可以根据检测概率输出事件数据。
图12是用于说明取决于检测概率并且在像素电路21的第四示例配置中执行的电流控制的示例的示图。
如图12所示,在每个像素电路21中的像素31处,累积电荷,并且在垂直扫描周期期间针对每个水平扫描线传输电荷。对应于从像素31传输的电荷的光电流在ADC 33处经受AD转换,并作为灰度信号输出。识别单元12对其像素值是每一帧的灰度信号的灰度图像执行图案识别,并且根据图案识别的结果,在由一个或多个像素电路21形成的每个单位区域中设置检测概率。在此处,对于三个区域r0至r2,在区域r0中设置0的检测概率,在区域r1中设置0.1的检测概率,并且在区域r2中设置0.5的检测概率,如图7所示。
通过根据检测概率接通和断开FET 111,识别单元12执行电流控制,以控制从电流电压转换单元41到减法单元42的电流(以下称为检测电流)的流动。
对于检测概率p设置为0的区域r0中的像素电路21,执行电流控制Tr0,使得检测电流不流动。对于检测概率p设置为0.1的区域r1中的像素电路21,执行电流控制Tr1,使得检测电流以正常模式的情况下(检测电流恒定流动的情况)的0.1(时间)的速率流动。对于检测概率p设置为0.5的区域r2中的像素电路21,执行电流控制Tr2,使得检测电流以正常模式情况下的0.5的速率流动。
在此处,预定的单位时间由T表示,并且通过仅在单位时间T中的时间p×T期间保持FET 111接通,可以以正常模式情况下的p(0≤p≤1)的速率施加检测电流。可以周期性地选择FET 111接通的时间。或者,在预定的时钟时间生成随机数,并且根据随机数以概率p接通FET 111,使得可以以正常模式情况下的概率p的速率随机施加检测电流。
在识别单元12中开始取决于检测概率的当前控制之后,识别单元13对其像素值是对应于事件数据的值的事件图像执行图案识别。根据图案识别的结果,执行感兴趣物体的跟踪。
<事件数据输出的抽取>
图13是示出事件数据输出的空间抽取的示例的示图。
可以通过根据检测概率抽取从像素电路21输出的事件数据,来执行通过根据检测概率模式下的检测概率输出事件数据来减少事件数据量的过程。
在此处,将事件数据输出抽取为1/N意味着针对N个事件中的一个事件输出事件数据,而针对N-1个事件不输出事件数据。可以通过上述复位控制、阈值控制或电流控制,来实现不输出事件数据。此外,不输出事件数据意味着不操作像素电路21(例如,不供电),或者操作像素电路21但是限制从输出单元43输出的事件数据。
可以在空间或时间上执行事件数据输出。
图13示出了事件数据输出的空间抽取的示例。
在此处,例如,如图7所示,对于三个区域r0至r2,识别单元12在区域r0中设置检测概率0,在区域r1中设置检测概率0.1,在区域r2中设置检测概率0.5。
识别单元12可以控制像素电路21,使得事件数据输出根据检测概率p在空间上被抽取为1/p。
对于检测概率p设置为0的区域r0中的像素电路21,控制像素电路21,使得输出事件数据的像素电路21的数量变为0(或者所有事件数据输出被抽取)。对于检测概率p被设置为0.1的区域r1中的像素电路21,控制像素电路21,使得输出事件数据的像素电路21的数量被抽取为1/10。对于检测概率p被设置为0.5的区域r2中的像素电路21,控制像素电路21,使得输出事件数据的像素电路21的数量被抽取为1/2。
在图13中,以白色示出的部分表示输出事件数据的像素电路21,以黑色示出的部分表示不输出事件数据的像素电路21。这同样适用于稍后描述的图14。
在图13中,控制像素电路21,使得基于水平扫描线抽取事件数据输出。
图14是示出事件数据输出的空间抽取的另一示例的示图。
在图14中,控制像素电路21,使得以类似于图13所示的方式抽取事件数据输出。
然而,在图14中,对于检测概率p设置为0.1的区域r1中的像素电路21,控制像素电路21,使得基于预定数量的像素电路21的单位,在水平方向上抽取事件数据输出。
通过在空间上周期性地选择像素电路21,以输出事件数据,或者通过随机选择像素电路21,可以对事件数据输出执行空间抽取。
可选地,对于每个像素电路21,生成随机数,并且根据随机数,以概率p选择输出事件数据的像素电路21。以这种方式,来自像素电路21的事件数据输出可以根据检测概率p在空间上随机抽取。
图15是示出事件数据输出的时间抽取的示例的示图。
在此处,例如,如图7所示,对于三个区域r0至r2,识别单元12在区域r0中设置检测概率0,在区域r1中设置检测概率0.1,在区域r2中设置检测概率0.5。
识别单元12可以控制像素电路21,使得事件数据输出根据检测概率p暂时被抽取为1/p。
对于要从检测概率p被设置为0的区域r0中的像素电路21输出的事件数据RO0,控制像素电路21,使得针对事件输出事件数据的次数变为0(或者所有的事件数据输出被抽取)。
对于要从检测概率p设置为0.1的区域r1中的像素电路21输出的事件数据RO1,控制像素电路21,使得针对事件输出事件数据的次数被抽取为1/10。例如,在差信号Vout变成等于或大于阈值+Vth十倍,或者变成等于或小于阈值-Vth十倍的情况下,控制像素电路21,使得事件数据仅输出十次中的一次。
对于要从检测概率p设置为0.5的区域r2中的像素电路21输出的事件数据RO2,控制像素电路21,使得针对事件输出事件数据的次数被抽取为1/2。例如,在差信号Vout变成等于或大于阈值+Vth两倍,或者变成等于或小于阈值-Vth两倍的情况下,控制像素电路21,使得事件数据仅输出两次中的一次。
在事件数据输出在时间上抽取的情况下,可以周期性地或随机地选择输出事件的事件数据的时间。
可选地,对于事件,生成随机数,并且根据每个事件的随机数以概率p选择输出事件数据。以这种方式,来自像素电路21的事件数据输出可以根据检测概率p在时间上随机抽取。
<移动结构的应用示例>
根据本公开的技术(本技术)可以应用于各种产品。例如,根据本公开的技术可以体现为安装在任何类型的移动结构上的装置,例如,汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船只或机器人。
图16是示意性示出车辆控制系统的示例配置的框图,该车辆控制系统是可以应用根据本公开的技术的移动结构控制系统的示例。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图16所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、外部信息检测单元12030、车内信息检测单元12040和总体控制单元12050。此外,微型计算机12051、声音/图像输出单元12052和车载网络接口(I/F)12053被示为总体控制单元12050的功能组件。
驱动系统控制单元12010根据各种程序控制与车辆驱动系统相关的装置的操作。例如,驱动系统控制单元12010用作控制装置,例如,用于生成车辆驱动力的驱动力生成装置(例如,内燃机或驱动马达)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆转向角的转向机构以及用于生成车辆制动力的制动装置。
车身系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如,车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或用于各种灯(例如,头灯、倒车灯、刹车灯、转向信号灯、雾灯等)的控制装置。在这种情况下,车身系统控制单元12020可以接收从替代钥匙的便携式装置发送的无线电波或者来自各种开关的信号。车身系统控制单元12020接收这些无线电波或信号的输入,并控制车辆的门锁装置、电动车窗装置、灯等。
外部信息检测单元12030检测装备有车辆控制系统12000的车辆外部的信息。例如,成像单元12031连接到外部信息检测单元12030。外部信息检测单元12030使成像单元12031捕捉车辆外部的图像,并接收捕捉的图像。基于接收到的图像,外部信息检测单元12030可以执行用于检测人、车辆、障碍物、标志、路面上的字符等的物体检测处理,或者执行距离检测处理。
成像单元12031是接收光的光学传感器,并输出对应于接收光量的电信号。成像单元12031可以输出电信号,作为图像,或者输出电信号,作为距离测量信息。此外,由成像单元12031接收的光可以是可见光,或者可以是不可见光,例如,红外线。
车载信息检测单元12040检测关于车辆内部的信息。例如,检测驾驶员状态的驾驶员状态检测器12041连接到车载信息检测单元12040。驾驶员状态检测器12041包括例如捕捉驾驶员图像的相机,并且基于从驾驶员状态检测器12041输入的检测信息,车载信息检测单元12040可以计算驾驶员的疲劳程度或集中程度,或者确定驾驶员是否正在打瞌睡。
基于由外部信息检测单元12030或车载信息检测单元12040获取的外部/内部信息,微型计算机12051可以计算驱动力生成装置、转向机构或制动装置的控制目标值,并且向驱动系统控制单元12010输出控制命令。例如,微型计算机12051可以执行协作控制,以实现高级驾驶员辅助系统(ADAS)的功能,包括车辆碰撞避免或撞击减轻、基于车辆之间距离的后续行驶、车辆速度维持行驶、车辆碰撞警告、车辆车道偏离警告等。
此外,微型计算机12051还可以通过基于由外部信息检测单元12030或车载信息检测单元12040获取的关于车辆周围的信息来控制驱动力生成装置、转向机构、制动装置等,来执行协作控制,以进行自动驾驶等,用于不根据驾驶员的操作而自主行驶。
微型计算机12051还可以基于由外部信息检测单元12030获取的外部信息,向车身系统控制单元12020输出控制命令。例如,微型计算机12051根据由外部信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置来控制前照灯,并且通过从远光切换到近光等来执行协作控制,以实现防眩光效果。
声音/图像输出单元12052将音频输出信号和/或图像输出信号传输到输出装置,该输出装置能够视觉或听觉地向车辆的乘客或车辆的外部通知信息。在图16所示的示例中,音频扬声器12061、显示单元12062和仪表板12063被示为输出装置。例如,显示单元12062可以包括机载显示器和/或平视显示器。
图17是示出成像单元12031的安装位置的示例的示图。
在图17中,车辆12100包括成像单元12101、12102、12103、12104和12105,作为成像单元12031。
成像单元12101、12102、12103、12104和12105设置在以下位置:例如,车辆12100的前端边缘、侧镜、后保险杠、后门、车辆内部的前挡风玻璃的上部等。设置在前端边缘上的成像单元12101和设置在车辆内部的前挡风玻璃的上部上的成像单元12105主要捕捉车辆12100前方的图像。设置在侧镜上的成像单元12102和12103主要捕捉车辆12100侧面的图像。设置在后保险杠或后门上的成像单元12104主要捕捉车辆12100后面的图像。由成像单元12101和12105获取的前方图像主要用于检测在车辆12100前方行驶的车辆、行人、障碍物、交通信号、交通标志、车道等。
注意,图17示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前端边缘上的成像单元12101的成像范围,成像范围12112和12113表示设置在相应侧镜上的成像单元12102和12103的成像范围,成像范围12114表示设置在后保险杠或后门上的成像单元12104的成像范围。例如,由成像单元12101至12104从图像数据捕捉的图像彼此叠加,从而获得从上方观看的车辆12100的俯视图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如,成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机,或者可以是具有用于相位差检测的像素的成像元件。
例如,基于从成像单元12101至12104获得的距离信息,微计算机12051计算到成像范围12111至12114内的相应三维物体的距离以及距离的时间变化(相对于车辆12100的速度)。以这种方式,可以提取作为车辆12100的行驶路径上最近的三维物体并且以预定速度(例如,0km/h或更高)在与车辆12100基本相同的方向上行驶的三维物体,作为在车辆12100前方行驶的车辆。此外,微型计算机12051可以预先设定在车辆12100前方行驶的车辆前方要保持的车间距,并且可以执行自动制动控制(包括随动停止控制)、自动加速控制(包括随动启动控制)等。以这种方式,可以执行协作控制,以进行自动驾驶等,从而不根据驾驶员的操作而自主行驶。
例如,根据从成像单元12101至12104获得的距离信息,微型计算机12051可以提取关于两轮车辆、常规车辆、大型车辆、行人、电线杆等类别下的三维物体的三维物体数据,并使用三维物体数据自动避开障碍物。例如,微型计算机12051将车辆12100附近的障碍物分类为车辆12100的驾驶员可见的障碍物和难以视觉识别的障碍物。微型计算机12051然后确定碰撞风险,指示与相应障碍物碰撞的风险。如果碰撞风险等于或高于设定值,并且存在碰撞的概率,则微型计算机12051可以经由音频扬声器12061和显示单元12062向驾驶员输出警告,或者可以经由驱动系统控制单元12010通过执行强制减速或避免转向来执行用于避免碰撞的驾驶支持。
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如,微型计算机12051可以通过确定在由成像单元12101至12104捕捉的图像中是否存在行人来识别行人。例如,通过从用作红外相机的成像单元12101至12104捕捉的图像中提取特征点的过程以及对指示物体轮廓的一系列特征点执行模式匹配并确定是否存在行人的过程,来执行这种行人识别。如果微型计算机12051确定在由成像单元12101至12104捕捉的图像中存在行人,并且识别出行人,则声音/图像输出单元12052控制显示单元12062以叠加方式显示用于强调识别出的行人的矩形轮廓线。此外,声音/图像输出单元12052还可以控制显示单元12062在期望的位置显示指示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。例如,根据本公开的技术可以应用于上述组件中的成像单元12031。具体地,图1所示的DVS可以应用于成像单元12031。由于根据本公开的技术被应用于成像单元12031,所以可以缩短等待时间,并且可以减少对物体的忽视。因此,可以执行适当的驱动支持。
注意,本技术的实施例不限于上述实施例,并且在不脱离本技术的范围的情况下,可以对其进行各种修改。
同时,本说明书中描述的有利效果仅仅是示例,本技术的有利效果不限于此,并且可以包括其他效果。
应当注意,也可以在下面描述的配置中体现本技术。
<1>一种事件信号检测传感器,包括:
多个像素电路,检测作为通过执行光电转换生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据;以及
检测概率设置单元,根据图案识别的结果针对至少一个像素电路形成的每个区域计算检测事件的每单位时间的检测概率,并且以根据检测概率输出事件数据的方式控制像素电路。
<2>根据<1>所述的事件信号检测传感器,其中,
像素电路包括减法单元,减法单元包括第一电容,和形成开关电容器的第二电容,减法单元计算与对应于像素的光电流的电压的不同时刻的电压之间的差对应的差信号,并且
检测概率设置单元以根据检测概率输出事件数据的方式执行控制第二电容的复位的复位控制。
<3>根据<1>所述的事件信号检测传感器,其中,
检测概率设置单元以根据检测概率输出事件数据的方式,执行控制在检测事件中使用的阈值的阈值控制。
<4>根据<1>所述的事件信号检测传感器,其中,
像素电路包括:
电流电压转换单元,将像素的光电流转换成对应于光电流的电压;以及
减法单元,计算对应于电压的不同时刻的电压之间的差的差信号,并且
检测概率设置单元以根据检测概率输出事件数据的方式,执行控制从电流电压转换单元流向减法单元的电流的电流控制。
<5>根据<4>所述的事件信号检测传感器,其中,
像素电路包括控制从电流电压转换单元流向减法单元的电流的晶体管。
<6>根据<1>所述的事件信号检测传感器,其中,
检测概率设置单元以根据检测概率输出事件数据的方式,在空间上抽取从像素电路输出的事件数据。
<7>根据<1>所述的事件信号检测传感器,其中,
检测概率设置单元以根据检测概率输出事件数据的方式,在时间上抽取从像素电路输出的事件数据。
<8>根据<1>至<7>中任一项所述的事件信号检测传感器,其中,
检测概率设置单元根据图案识别的结果设置感兴趣区域(ROI),计算ROI中的检测概率1,并且计算另一区域中小于1的检测概率。
<9>根据<1>至<8>中任一项所述的事件信号检测传感器,其中,
检测概率设置单元计算检测概率,该检测概率对应于分配给像素电路的区域中的物体的优先级,在该区域中已经接收到来自通过图案识别所识别的物体的光。
<10>根据<1>所述的事件信号检测传感器,其中,
根据随机数,检测概率设置单元以根据检测概率输出事件数据的方式控制像素电路。
<11>一种控制方法,包括
控制事件信号检测传感器的像素电路,事件信号检测传感器包括:多个像素电路,像素电路检测作为通过执行光电转换生成电信号的像素的电信号的变化的事件,并输出指示发生事件的事件数据,
其中,根据图案识别的结果,针对由至少一个像素电路形成的每个区域,计算检测事件的每单位时间的检测概率,并且以根据检测概率输出事件数据的方式控制像素电路。
附图标记列表
11 像素阵列单元
12、13 识别单元
21 像素电路
31 像素
32 事件检测单元
33 ADC
41 电流电压转换单元
42 减法单元
43 输出单元
51 PD
61至63 FET
71 电容器
72 运算放大器
73 电容器
74 开关
101 或门
111 FET。

Claims (11)

1.一种事件信号检测传感器,包括:
多个像素电路,检测作为通过执行光电转换生成电信号的像素的所述电信号的变化的事件,并输出指示发生所述事件的事件数据;以及
检测概率设置单元,根据图案识别的结果,针对至少一个所述像素电路形成的每个区域计算检测所述事件的每单位时间的检测概率,并且以根据所述检测概率输出所述事件数据的方式控制所述像素电路。
2.根据权利要求1所述的事件信号检测传感器,其中,
所述像素电路包括减法单元,所述减法单元包括第一电容,和形成开关电容器的第二电容,所述减法单元计算与对应于所述像素的光电流的电压的不同时刻的电压之间的差对应的差信号,并且
所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式执行控制所述第二电容的复位的复位控制。
3.根据权利要求1所述的事件信号检测传感器,其中,
所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式,执行控制在检测所述事件中使用的阈值的阈值控制。
4.根据权利要求1所述的事件信号检测传感器,其中,
所述像素电路包括:
电流电压转换单元,所述电流电压转换单元将所述像素的光电流转换成对应于所述光电流的电压;以及
减法单元,所述减法单元计算对应于所述电压的不同时刻的电压之间的差的差信号,并且
所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式,执行控制从所述电流电压转换单元流向所述减法单元的电流的电流控制。
5.根据权利要求4所述的事件信号检测传感器,其中,
所述像素电路包括控制从所述电流电压转换单元流向所述减法单元的所述电流的晶体管。
6.根据权利要求1所述的事件信号检测传感器,其中,
所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式,在空间上抽取从所述像素电路输出的事件数据。
7.根据权利要求1所述的事件信号检测传感器,其中,
所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式,在时间上抽取从所述像素电路输出的事件数据。
8.根据权利要求1所述的事件信号检测传感器,其中,
所述检测概率设置单元根据图案识别的结果设置感兴趣区域(ROI),计算所述ROI中的检测概率1,并且计算另一区域中小于1的检测概率。
9.根据权利要求1所述的事件信号检测传感器,其中,
所述检测概率设置单元计算检测概率,所述检测概率对应于分配给所述像素电路的区域中的物体的优先级,在所述区域中已经接收到来自通过所述图案识别所识别的所述物体的光。
10.根据权利要求1所述的事件信号检测传感器,其中,
根据随机数,所述检测概率设置单元以根据所述检测概率输出所述事件数据的方式控制所述像素电路。
11.一种控制方法,包括
控制事件信号检测传感器的像素电路,所述事件信号检测传感器包括:多个所述像素电路,所述像素电路检测作为通过执行光电转换生成电信号的像素的所述电信号的变化的事件,并输出指示发生所述事件的事件数据,
其中,根据图案识别的结果,针对由至少一个所述像素电路形成的每个区域,计算检测所述事件的每单位时间的检测概率,并且以根据所述检测概率输出所述事件数据的方式控制所述像素电路。
CN202080011686.8A 2019-02-21 2020-02-07 事件信号检测传感器和控制方法 Active CN113396579B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019029414A JP2020136958A (ja) 2019-02-21 2019-02-21 イベント信号検出センサ及び制御方法
JP2019-029414 2019-02-21
PCT/JP2020/004857 WO2020170861A1 (ja) 2019-02-21 2020-02-07 イベント信号検出センサ及び制御方法

Publications (2)

Publication Number Publication Date
CN113396579A true CN113396579A (zh) 2021-09-14
CN113396579B CN113396579B (zh) 2024-04-26

Family

ID=72144890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011686.8A Active CN113396579B (zh) 2019-02-21 2020-02-07 事件信号检测传感器和控制方法

Country Status (4)

Country Link
US (1) US20220070392A1 (zh)
JP (1) JP2020136958A (zh)
CN (1) CN113396579B (zh)
WO (1) WO2020170861A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
US20230296373A1 (en) 2020-09-07 2023-09-21 Fanuc Corporation Three-dimensional measurement device
KR20230148154A (ko) * 2021-02-26 2023-10-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치
WO2022188120A1 (en) * 2021-03-12 2022-09-15 Huawei Technologies Co., Ltd. Event-based vision sensor and method of event filtering
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
WO2023093986A1 (en) * 2021-11-25 2023-06-01 Telefonaktiebolaget Lm Ericsson (Publ) A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module
CN114222034B (zh) * 2022-01-08 2022-08-30 西安电子科技大学 实现事件与灰度值同步输出的动态视觉传感器像素电路
JP2023133723A (ja) * 2022-03-14 2023-09-27 株式会社デンソーウェーブ 三次元計測装置
WO2024008305A1 (en) * 2022-07-08 2024-01-11 Telefonaktiebolaget Lm Ericsson (Publ) An image sensor system, a camera module, an electronic device and a method for operating a camera module for detecting events using infrared
JP2024071260A (ja) * 2022-11-14 2024-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および情報処理システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
CN103310006A (zh) * 2013-06-28 2013-09-18 电子科技大学 一种车辆辅助驾驶系统中的感兴趣区域提取方法
US20160109955A1 (en) * 2014-10-21 2016-04-21 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object
CN106649147A (zh) * 2015-10-30 2017-05-10 三星电子株式会社 用于存储事件信号和图像的存储方法和存储设备
US20180262705A1 (en) * 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
US20180295337A1 (en) * 2017-04-10 2018-10-11 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ
US10812711B2 (en) * 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238616A1 (en) * 2005-03-31 2006-10-26 Honeywell International Inc. Video image processing appliance manager
JP2010510732A (ja) * 2006-11-23 2010-04-02 エーアイティー オーストリアン インスティテュート オブ テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ
CN103310006A (zh) * 2013-06-28 2013-09-18 电子科技大学 一种车辆辅助驾驶系统中的感兴趣区域提取方法
US20160109955A1 (en) * 2014-10-21 2016-04-21 Samsung Electronics Co., Ltd. Method and apparatus for displaying screen in response to event related to motion of external object
CN106649147A (zh) * 2015-10-30 2017-05-10 三星电子株式会社 用于存储事件信号和图像的存储方法和存储设备
US20180262705A1 (en) * 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
CN108574809A (zh) * 2017-03-08 2018-09-25 三星电子株式会社 像素、像素驱动电路以及包括其的视觉传感器
US20180295337A1 (en) * 2017-04-10 2018-10-11 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays

Also Published As

Publication number Publication date
JP2020136958A (ja) 2020-08-31
WO2020170861A1 (ja) 2020-08-27
US20220070392A1 (en) 2022-03-03
CN113396579B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN113396579B (zh) 事件信号检测传感器和控制方法
JP7141440B2 (ja) 固体撮像素子
US11425318B2 (en) Sensor and control method
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
JP7148269B2 (ja) 固体撮像素子および撮像装置
US11770625B2 (en) Data processing device and data processing method
US11297268B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
CN113615161A (zh) 对象检测装置、对象检测系统以及对象检测方法
US11937001B2 (en) Sensor and control method
WO2020195770A1 (ja) 状態検出装置、状態検出システム及び状態検出方法
US20230108619A1 (en) Imaging circuit and imaging device
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
US20220394206A1 (en) Imaging circuit, imaging device, and imaging method
WO2022137993A1 (ja) コンパレータ及び固体撮像素子
WO2021100593A1 (ja) 測距装置及び測距方法
WO2022254832A1 (ja) 撮像装置、電子機器、および撮像方法
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
US20240179432A1 (en) Solid-state imaging element and solid-state imaging device
WO2022230279A1 (ja) 撮像装置
WO2023026524A1 (ja) 光検出デバイスおよび光検出装置
CN116325781A (zh) 固态成像元件和成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant