CN114095678A - 一种具有外部可写数字像素存储的差量图像传感器 - Google Patents

一种具有外部可写数字像素存储的差量图像传感器 Download PDF

Info

Publication number
CN114095678A
CN114095678A CN202111396972.3A CN202111396972A CN114095678A CN 114095678 A CN114095678 A CN 114095678A CN 202111396972 A CN202111396972 A CN 202111396972A CN 114095678 A CN114095678 A CN 114095678A
Authority
CN
China
Prior art keywords
digital
signal
sensor
circuit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111396972.3A
Other languages
English (en)
Inventor
查颖云
罗杰·博斯托克
邓坚
邹钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruishi Zhixin Technology Co ltd
Original Assignee
Shenzhen Ruishi Zhixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruishi Zhixin Technology Co ltd filed Critical Shenzhen Ruishi Zhixin Technology Co ltd
Priority to CN202111396972.3A priority Critical patent/CN114095678A/zh
Publication of CN114095678A publication Critical patent/CN114095678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Abstract

本发明属于图像传感器技术领域,尤其涉及一种具有外部可写数字像素存储的差量图像传感器,包括像素阵列和多个采集电路,每个所述采集电路均包括至少一个传感器电路,用于根据照亮对应所述光传感器的至少一个像素的光信号生成传感器信号VSIG;至少一个模数转换电路,用于根据所述传感器信号VSIG生成当前数字信号;至少一个数字存储电路,用于存储先前数字信号;至少一数字比较电路,用于将所述当前数字信号的电平与所述先前数字信号的电平比较,并判断所述当前数字信号是否存在变化的电平;至少一个数字输出电路,在所述当前数字信号存在变化的电平时,生成一事件信号并输出。

Description

一种具有外部可写数字像素存储的差量图像传感器
技术领域
本发明属于图像传感器技术领域,尤其涉及一种具有外部可写数字像素存储的差量图像传感器。
背景技术
现有技术中,每个像素或每个小的像素子集具有一个ADC的图像传感器是众所周知的,这些通常用于在像素中进行重要处理的应用,例如X射线粒子轨迹追踪或卫星成像。
另,使用模拟域中的图像像素级变化检测、存储和比较来生成事件的图像传感器是众所周知的,模拟域中的比较和存储提供优于数字方法的优点和缺点,优点为可基于紧凑的结构来实现,缺点则为逐渐存储退化,包括“热像素”、对失配的敏感性、光到电转换功能的灵活性降低等。
在像素之间共享电路的图像传感器是众所周知的,例如,Suh等人在2020年已提出。共享在图像传感器设计中至关重要,基于共享实现创建密集的像素阵列和高像素分辨率。
CMOS图像传感器在优化的代工工艺中以专业工艺大批量生产,CMOS数字逻辑器件采用优化的代工工艺大批量生产。两种工艺的密度都在增加,尤其是数字逻辑工艺的密度,增加的密度允许增加与图像传感器中的像素电路相关的数字电路。此外,像素电路中前级的数字存储在存储的保真度和存储级的后续处理方面具有优势。
塞拉诺·戈塔雷多纳等人,则解决了在亚阈值操作中使用晶体管的动态视觉传感器的标准模拟存储实现中不匹配的问题。由于这种晶体管模式下的操作只能在有限的范围内正常工作,因此它们使用全局模拟反馈到整个阵列的采集电路的模拟部分以获得令人满意的操作。
发明内容
可能需要改进的具有外部可写数字像素存储的差量图像传感器,特别地,可能需要以时间顺序方式使用数字存储和事件计算,这特别适用于像素之间的资源共享而不会降低性能。特别地,可能需要基于存储的数字电平或事件输出来调制模拟电路参数,因为该反馈是通过数字控制下的开关有效实现的。特别地,可能需要基于本地存储的像素数字电平或事件输出的模拟电路参数的调制,因为在数字控制下用开关有效地实现了该反馈。特别地,可能需要能够实现面积优化的小像素结构,产生高分辨率和成本优化的传感器。特别地,可能需要改进的像素电路的增量图像传感器,该像素电路具有像素中先前照明强度的表示的数字存储。特别地,可能需要利用数字像素内转换和存储的优点实现区域优化的小像素结构,产生高分辨率和成本优化的传感器。
独立权利要求的主题可以满足这种需求。在从属权利要求中限定了有利实施例。
本发明的一个方面涉及一种具有外部可写数字像素存储的差量图像传感器,包括像素阵列和多个采集电路,所述像素阵列包括多个单位像素,每个所述采集电路对应至少一个单位像素;其中,每个所述采集电路均包括:
至少一个传感器电路,每个所述传感器电路均包括光传感器,所述光传感器用于根据照亮对应所述光传感器的至少一个像素的光信号生成传感器信号VSIG;
至少一个模数转换电路,所述模数转换电路用于根据所述传感器信号VSIG生成当前数字信号;
至少一个数字存储电路,所述数字存储电路用于存储先前数字信号,其中,所述先前数字信号为根据先前的传感器信号VSIG生成的数字信号;
至少一数字比较电路,所述数字比较电路用于将所述当前数字信号的电平与所述先前数字信号的电平比较,并判断所述当前数字信号是否存在变化的电平;
至少一个数字输出电路,所述数字输出电路用于在所述当前数字信号存在变化的电平时,生成一事件信号并输出。
在一些实施例中,一个采集电路至少对应两个彼此相邻的单位像素。
在一些实施例中,所述传感器电路响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系,和/或,
所述传感器电路在操作期间响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系,其中,一个所述控制信号作用于整个所述像素阵列或者所述像素阵列中的局部单位像素。
在一些实施例中,所述传感器电路下产生的所述传感器信号VSIG与光强具有以下任一一种对应关系:
所述传感器信号VSIG信号与光强呈线性相关,或,
所述传感器信号VSIG信号与光强呈非线性相关,其中,所述非线性相关包括但不限于呈对数变化;或,
所述传感器信号VSIG信号与光强呈非线性和线性相关的组合关系;其中,以上对应关系响应于一控制信号而变化。
在一些实施例中,a)所述模数转换电路包括比较器,所述比较器用于将所述传感器信号VSIG与以下任一扫描信号进行比较:
aa)一模拟扫描输入信号;
bb)连续的模拟扫描输入信号,其中,每个模拟扫描输入信号提供不同的斜坡信号斜率;
其中,单独或连续的模拟扫描输入信号用于提供至至少一个所述模数转换电路;和/或,
b)所述模数转换电路还用于向至少一个单位像素提供与扫描信号并行的至少一个数字代码,所述数字代码包括但不限于格雷码。
在一些实施例中,所述扫描信号是线性斜坡,或,
所述扫描信号是非线性斜坡,或,
所述扫描信号在操作期间改变,和/或,
所述扫描信号的周期在操作期间改变,和/或,
所述扫描信号在操作期间按照特定时间中断,所述特定时间在操作期间实施设置或预先设置。
在一些实施例中,还包括至少一参考像素,所述参考像素用于限定斜坡信号;其中,所述参考像素设置于所述像素阵列之外。
在一些实施例中,所述数字比较电路在所述模拟信号的扫描期间与所述先前数字信号的电平比较;或,
所述数字比较电路在所述模拟信号的扫描之后与所述先前数字信号的电平比较。
在一些实施例中,所述数字比较电路使用动态逻辑进行电平的比较,或,
所述数字比较电路使用静态逻辑进行电平的比较。
在一些实施例中,所述数字输出电路用于根据所述数字比较电路在相邻像素中的比较结果输出所述输出信号,或,
所述数字输出电路用于根据相邻像素在固定配置中的函数或在操作期间改变的配置中的函数生成输出信号,其中,函数包括但不限于平均函数。
在一些实施例中,所述数字输出电路用于根据相邻像素的输出生成事件信号,或,
所述输出电路用于根据相邻像素中存储的电平生成事件信号,或,
所述输出电路用于根据多个预先存储的存储值生成事件信号。
在一些实施例中,所述数字输出电路用于生成指示电平改变的方向的事件信号,和/或,
所述数字输出电路应用于生成仅指示一个改变电平的一个改变方向的事件信号,和/或,
所述数字输出电路用于生成指示改变电平的幅度的事件信号,和/或,
所述数字输出电路用于生成指示改变电平在改变之前和/或改变之后的光强。
在一些实施例中,所述数字存储电路用于在像素阵列的输出线处提供存储的先前数字信号,和/或,
所述数字存储电路用于在在像素阵列的输出线上选择性地为具有事件输出的单位像素提供存储的先前数字信号,和/或,
所述数字存储电路用于在使用时间列线的输出线处提供存储的先前数字信号,和/或,
所述数字存储电路用于将存储的先前数字信号写入至单位像素,和/或,
所述数字存储电路用于将一数据流写入先前数字信号;
所述数字存储电路用于从作为事件流的数据流写入至已存储的先前数字信号。
在一些实施例中,所述传感器电路从所述数字存储电路接收与该数字存储电路所存储的数字电平或所存储的相邻像素的数字电平相对应的反馈,并且所述传感器电路基于该反馈卡生成传感器信号VSIG,和/或,
所述模数转换电路从存储的先前数字信号的电平或相邻单位像素存储的先前数字信号的电平处接收反馈,并根据该反馈调整输出的当前数字信号。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的具有外部可写数字像素存储的差量图像传感器的电路结构框图。
其中,图中各附图标记:
100、传感器电路;200、模数转换电路;300、数字存储电路;400、数字比较电路;500、数字输出电路。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
在本发明的一个实施例中,如图1所示,提供一种具有外部可写数字像素存储的差量图像传感器,包括像素阵列和多个采集电路,所述像素阵列包括多个单位像素,每个所述采集电路对应至少一个单位像素,所述采集电路在整个规范中又被称为像素电路。其中,各所述单位像素通常组织成具有“行”和“列”的二维网格,以形成所述像素阵列。或者,各所述单位像素按照不规则形状排布后以形成所述像素阵列。
其中,每个所述采集电路均包括传感器电路100、模数转换电路200、数字存储电路300、数字比较电路400和数字输出电路500,所述传感器电路100、所述模数转换电路200、所述数字存储电路300、所述数字比较电路400和所述数字输出电路500均至少为一个。
所述传感器电路100均包括光传感器,所述光传感器用于根据照亮对应所述光传感器的至少一个像素的光信号生成传感器信号VSIG。所述光传感器可以连续性地或周期性地生成传感器信号VSIG。
所述模数转换电路200用于根据所述传感器信号VSIG生成当前数字信号。
所述数字存储电路300用于存储先前数字信号。其中,所述先前数字信号为根据先前的传感器信号VSIG生成的数字信号。先前的传感器信号VSIG对应于在任何先前的采样周期中生成并存储在数字存储电路300中的信号。或者,先前数字信号亦可以由外部提供并存储。为了保证数据的存储的时效性,以及考虑到数字信号的电平不随时间而退化,故通过存储先前数字信号,且先前数字信号的存储电路在物理上可以通过较小的体积实现,并可以更便捷高效地对先前数字信号进行使用,如与其他像素或其他信号之间的组合与比较。
所述数字比较电路400用于将所述当前数字信号的电平与所述先前数字信号的电平比较,并判断所述当前数字信号是否存在变化的电平。所述数字输出电路500用于在所述当前数字信号存在变化的电平时,生成一事件信号并输出。
所述采集电路能够检测一段时间内改变的光强。如果所述数字比较电路400检测到先前存储的先前数字信号与之后的数字信号存在差异,并且该差异满足预先设置的给定标准,则生成一个事件,也即生成一事件信号,并将变化的事实作为事件信息报告在输出端的器件,如图像传感器。
在本发明的另一个实施例中,一个所述采集电路至少对应两个单位像素,也即一个所述采集电路可以至少对两个单位像素进行信号采集。优选地,至少两个单位像素彼此相邻。
在本发明的另一个实施例中,如图1所示,所述传感器电路100响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系,和/或,所述传感器电路100在操作期间响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系。
其中,所述控制信号作用于整个所述像素阵列或者所述像素阵列中的局部单位像素。所述操作期间为所述具有外部可写数字像素存储的差量图像传感器的使用期间。
在本发明的另一个实施例中,所述传感器电路100下产生的所述传感器信号VSIG与光强具有以下任一一种对应关系:
所述传感器信号VSIG信号与光强呈线性相关,或,所述传感器信号VSIG信号与光强呈非线性相关,其中,所述非线性相关包括但不限于呈对数变化;或,所述传感器信号VSIG信号与光强呈非线性和线性相关的组合关系;其中,以上对应关系响应于一控制信号而变化。
其中,所述传感器信号VSIG信号与光强呈线性相关,意为将光学照明强度信号转换为具有线性关系的模拟电信号(VSIG)。此转换关系适用于低光照且光照变化不大的应用环境。
所述传感器信号VSIG信号与光强呈非线性相关,意为将光学照明强度信号转换为具有对数关系的模拟电信号。此转换关系在光学照明信号的高动态范围方面是有利的,因为输出模拟信号不会在大范围的照明强度上饱和,以更真实反映光学照明强度的变化。
所述传感器信号VSIG信号与光强呈非线性和线性相关的组合关系,意为将光学照明强度信号转换为具有对数关系和线性关系的组合或类似的非线性函数关系的模拟电信号。
在实际的操作期间,具体转换对应关系根据实际需求来选定或设置。
具体地,可以单独设置一信号源,如信号产生电路来提供所述控制信号,基于实际使用,所述控制信号为不时变化的信号。所述控制信号的变化来源于全局光强度或操作期间的实际操作。基于所述控制信号,实现所述传感器信号VSIG与光强的对应关系的转换,以满足不同场景对数据的使用需求。
在本发明的另一个实施例中,如图1所示,所述模数转换电路200包括比较器,所述比较器用于将所述传感器信号VSIG与一扫描信号进行比较。通过所述比较器和施加到像素阵列的扫描信号来执行从模拟信号(VSIG)到数字信号的转换。根据比较器输出切换的点,将数字表示复制到数字存储电路300。
其中,该扫描信号可以为一模拟扫描输入信号,或,连续的模拟扫描输入信号,其中,每个模拟扫描输入信号提供不同的斜坡信号斜率。通过提供不同的斜坡信号斜率,实现不同斜坡信号斜率的模拟扫描输入信号与所述传感器信号VSIG的对比,进而提升将所述传感器信号VSIG转换为数字信号的准确率。
其中,单独或连续的模拟扫描输入信号用于提供至至少一个所述模数转换电路200。也即,一个扫描信号可以扫向一个采集电路中的一个或多个模数转换电路200,也可以同时扫向多个采集电路中的一个或多个模数转换电路200,进而提升模数转换效率,提升数据处理速度。
和/或,b)所述模数转换电路200还用于向至少一个像素提供与扫描信号并行的数字代码,在数字存储电路300中存储的数字代码是比较器进行比较后输出的数字代码值。数字代码优选为格雷码,充分利用格雷码不需要与数字存储同步,且一次只有一个位数发生变化,且格雷码的任一侧的代码均为有效,并且格雷码具有较少的边缘,降低数据处理过程中的功耗。
在本发明的另一个实施例中,所述模数转换电路200为单斜率模数转换器。
其中,所述模数转换电路200使用不同的存储斜坡与比较斜坡进行比较,以实现模数转换,所述存储斜坡和所述比较斜坡的比较产生差异函数。
其中,在本发明的另一个实施例中,如图1所示,所述模数转换电路200包括比较器,所述比较器用于将所述传感器信号VSIG与一扫描信号进行比较。通过所述比较器和施加到像素阵列的扫描信号来执行从模拟信号(VSIG)到数字信号的转换。根据比较器输出切换的点,将数字表示复制到数字存储电路300。
其中,该扫描信号可以为一模拟扫描输入信号,或,连续的模拟扫描输入信号,其中,每个模拟扫描输入信号提供不同的斜坡信号斜率,该斜坡信号斜率为存储斜坡的斜率。
通过提供不同的斜坡信号斜率,实现不同斜坡信号斜率的模拟扫描输入信号与所述传感器信号VSIG的对比,进而提升将所述传感器信号VSIG转换为数字信号的准确率。
在本发明的另一个实施例中,存储斜坡和比较斜坡在比较时,每一次比较均产生一个二者之间的差异值,该差异值为电压差,各电压差汇总后即形成差异函数,差异函数用于表征存储斜坡与比较斜坡之间的差异。
当设置存储斜坡的斜率恒定时,若比较斜坡的斜坡斜率也恒定时,所述存储斜坡与所述比较斜坡之间具有特定电压差,所述特定电压差恒定。此种情况适用于当设置存储斜坡的斜率改变时,比较斜坡的斜坡斜率恒定或变化时,斜坡斜率变化时,存储斜坡和比较斜坡的电平均变化,此时,所述存储斜坡与所述比较斜坡之间具有特定电压差,所述特定电压差随着所述存储斜坡与所述比较斜坡的电平变化而变化。
在本发明的另一个实施例中,所述存储斜坡来源于所述数字存储电路300预先存储的数字信号生成,预先存储的数字信号为前一时刻或前一时间段的VSIG信号所生成,用于表征前一时刻或前一时间段的光强。
接着,将存储斜坡和当前时刻来源于当前的VSIG信号生成的比较斜坡进行对比,实现在光强信号发生变化时,生成数字信号。
如此,在存储斜坡来源于前一时刻时,所述存储斜坡的斜坡恒定,当存储斜坡来源于前一时间段时,存储斜坡的斜率为变化的,如此,基于后端的数字信号,来对当前的模数信号转换进行调控,提升转换效率,同时降低冗余事件的产生。
在本发明的另一个实施例中,所述存储斜坡预先设置,并实时改变斜坡斜率,斜坡斜率的改变基于上一时刻与比较斜坡之间的比较生成的差异值,通过改变斜坡斜率,缩小改变后的存储斜坡与比较斜坡之间的差异值,进而实现改变差异函数。
在本发明的另一个实施例中,根据像素的状态使用所述存储斜坡和比较斜坡,其中,像素的状态改变使所述存储斜坡和所述比较斜坡的定义反转。也即,随着像素状态的改变,当前时刻的比较斜坡会被定义为下一时刻的存储斜坡,这样实现当前时刻和下一时刻的光强是否变化的判断。
如果在存储斜坡期间记录数字代码A,在比较斜坡期间读取数字代码B,并且B≥A,则表征比较期间的VSIG大于VSIG,也即通过斜坡之间的差异,表征当前时刻与上一时刻VSIG信号的变化,进而表征外部环境的光强变化。
在本发明的另一个实施例中,根据像素的状态,一个存储斜坡与一个或多个比较斜坡比较。
或者,多个存储斜坡与一个或多个比较斜坡比较。
其中,一个存储斜坡和一个比较斜坡比较产生一个差异函数,一个存储斜坡与多个比较斜坡比较时,分别产生一个差异函数。
多个存储斜坡与一个比较斜坡比较时,分别产生一个差异函数。
多个存储斜坡与多个比较斜坡比较时,分别产生一个差异函数。
在本发明的另一个实施例中,一个存储斜坡与一个或多个比较斜坡比较,或者,多个存储斜坡与一个或多个比较斜坡比较;其中,一个存储斜坡和一个比较斜坡比较产生一个差异函数;并且,存储斜坡和比较斜坡之间的比较不受像素状态的影响。
在本发明的另一个实施例中,在斜坡期间进行基于存储斜坡和比较斜坡之间的数字比较,不存储数字比较产生的数字比较值。
其中,斜坡器件为存储斜坡和比较斜坡存在的时间,通过只比较,暂不存储比较值,以抑制局部光强变化引起的信号变化,降低无效事件的产生。
在本发明的另一个实施例中,在斜坡期间之后进行基于存储斜坡和比较斜坡之间的数字比较,并存储数字比较产生的数字比较值。
在本发明的另一个实施例中,所述数字输出电路500用于在所述当前数字信号存在变化的电平且变化的电平超过预设的特定阈值时生成事件信号并输出,其中,所述特定阈值基于光信号的固定强度变化率设定。
光信号,即为人工光源发出的信号,基于电源的不同电压,使人工光源通常具有规律性变化的强度,也即市面上的人工光源因本身结构与控制的局限性,导致其存在规律性地变化强度,如白炽灯的固定强度变化为14%,荧光的固定强度变化为8%,LED的固定强度变化为9%,而所述数字输出电路500生成事件信号并输出所需要的特定阈值若设置为小于人工光源的固定强度变化时,如为2%-3%时,则人工照明的调制极易导致产生大量的冗余事件。
因此,为了抑制或消除人工光源的固定强度变化引起的冗余事件,因而需要基于光信号的固定强度变化率设定所述特定阈值。
具体地,当所述光信号为多一个时,所述特定阈值大于该光信号对应的固定强度变化率,这样降低冗余事件的产生。
当所述光信号为多个时,且各所述光信号分别具有不同的固定强度变化率时,所述特定阈值大于各所述固定强度变化率中最大的固定强度变化率,进而保证不受所有的光信号本身的固定强度变化率的影响。此种设置适用于在已知背景环境中固有的光信号的数量,并且需要屏蔽背景中固有的所有光信号引起的冗余事件的情形。
如在进行相关实验时,该实验的背景环境中具备固有的3种光信号,为了获取除背景环境中的3种光信号之外的光信号所引起的事件变化情况,故需要在进行实验的过程中,将背景环境中的3种光信号引起的冗余事件屏蔽,故此时设置所述特定阈值大于该背景环境中3种光信号对应的3个所述固定强度变化率中最大的固定强度变化率,亦满足实验需求。
此种情形下,除背景环境中的3种光信号之外的光信号的固定强度变化率大于所述特定阈值。而所述特定阈值的设置一般略大于背景环境中3种光信号对应的3个所述固定强度变化率中最大的固定强度变化率,以保证在屏蔽背景中光信号产生冗余事件的前提下,不影响对目标的光信号所引起的事件的获取。
对所述具有数字像素存储和同步采样的差量图像传感器进行测试情形时,
在本发明的另一个实施例中,所述特定阈值可以预先设置或在操作期间根据光信号的改变而实时设置。
在本发明的另一个实施例中,扫描信号的重复率预先设定并用于减少或消除因照亮所述光传感器的光信号因光强变化而产生的冗余事件。具体地,所述扫描信号的重复率为扫描信号提供至所述模数转换电路200的频率。
其中,所述扫描信号的重复率基于至少一个预设重复率而设定,所述预设重复率与照射所述光传感器的光信号的调制频率相匹配。
应理解,扫描信号的重复率是从一个或多个预设重复率中选择,各预设重复率与照射光传感器的光信号的光源调制相对应。应理解,当光信号本身的固定强度变化率一定的情况下,一个时间段内所产生的冗余事件是一定的,而在该时间段内,若扫描信号持续扫描并且重复率始终高于照射所述光传感器的光信号的调制频率,那么则会获取该事件段内产生的所有冗余事件,因此,为了降低冗余事件的数量,进而需要调整扫描信号的重复率。
当照射所述光传感器的光信号的调制频率为多个时,如分别为50HZ、100HZ以及200HZ,也即在50HZ、100HZ以及200HZ时,在一个周期内,分别对应的光强的强度变化次数为100次、200次和400次,则产生的冗余事件的数量分别为100、200和400。此时,为了降低冗余事件,扫描信号的重复率基于50HZ、100HZ以及200HZ所对应的重复率中而设定,如可以设置为重复率小于光强的强度变化次数,如将扫描信号的重复率设置为在一个周期内扫描25次,一次扫描则获取一个冗余事件,总计获取25次冗余事件,进而实现冗余事件的次数降低。
优选地,所述扫描信号的重复率为所述照射所述光传感器的光信号的调制频率的倍数。
在本发明的另一个实施例中,所述扫描信号是线性斜坡,或,非线性斜坡,所述非线性斜坡包括但不限于指数斜坡。所述扫描信号可以集中生成,并考虑到光照强度大多呈非线性变化,故优选将所述扫描信号设置为非线性,故可利用设备上的信号发生装置产生扫描信号,以提升硬件电路上的共享,节省硬件电路所需的体积。
在本发明的另一个实施例中,所述扫描信号在操作期间改变,和/或,所述扫描信号的周期在操作期间改变,和/或,所述扫描信号在操作期间按照特定时间中断,所述特定时间在操作期间实施设置或预先设置。其中,在操作期间可以对线性斜坡或非线性斜坡的扫描信号进行改变,进而匹配不同的传感器信号VSIG,以实现实时匹配对比。
具体地,所述扫描信号按照预设的扫描规则在操作期间进行重复扫出,在操作期间,扫描信号的重复可以按需中断或延长,以改变扫描的重复率。
在本发明的另一个实施例中,如图1所示,所述具有外部可写数字像素存储的差量图像传感器还包括至少一参考像素,所述参考像素用于限定斜坡信号。所述参考像素预先设置或在操作期间实时自动设置,并与所述传感器信号VSIG相关联。当获取一个所述传感器信号VSIG的具体数值表示或数值范围表示后便可设置所述参考像素,而所述参考像素用于限定斜坡信号,实现更精准以及无冗余的对比,以更高效地促进后续数据生成。
在本发明的另一个实施例中,所述参考像素设置于所述像素阵列之外。
在本发明的另一个实施例中,如图1所示,所述数字比较电路400在所述模拟信号的扫描期间与所述先前数字信号的电平比较;或,所述数字比较电路400在所述模拟信号的扫描之后与所述先前数字信号的电平比较。
当所述数字比较电路400在所述模拟信号的扫描期间与所述先前数字信号的电平比较时,则不需要存储A/D输出值,只需要存储比较结果即可。
而在所述模拟信号的扫描之后比较的过程中,可以使用顺序,例如按位。
在本发明的另一个实施例中,所述数字比较电路400使用动态逻辑进行电平的比较,或,所述数字比较电路400使用静态逻辑进行电平的比较。
其中,当需要低功耗的状态下进行比较时,选择使用静态逻辑进行电平的比较。当对比较速度要求快,以及输出结果需要长期保持时,选择使用动态逻辑进行电平的比较。
在本发明的另一个实施例中,利用来自先前比较的结果的反馈来执行数字比较,也即下一时刻与先前时刻的对比,进而有利于抑制噪声和减少虚假事件的产生。
在本发明的另一个实施例中,进行数字信号的比较和事件信号的输出均需要出现特定的差异方能实现,进而减少时间产生的数量并提高时间发生的分辨率。其中,信号的电平、操作模式、相邻像素的电平、像素先前的电平、像素先前产生的时间以及相邻像素产生的事件均会出现产生所述特定的差异。
在本发明的另一个实施例中,所述数字输出电路500用于根据所述数字比较电路400在相邻像素中的比较结果输出所述输出信号,或,所述数字输出电路500用于根据相邻像素在固定配置中的函数或在操作期间改变的配置中的函数生成输出信号,其中,函数包括但不限于平均函数。
在本发明的另一个实施例中,所述数字输出电路500用于根据相邻像素的输出生成事件信号,或,所述输出电路用于根据相邻像素中存储的电平生成事件信号,或,所述输出电路用于根据多个预先存储的存储值生成事件信号。
在本发明的另一个实施例中,如图1所示,所述数字输出电路500用于生成指示电平改变的方向的事件信号,和/或,所述数字输出电路500应用于生成仅指示一个改变电平的一个改变方向的事件信号,和/或,所述数字输出电路500用于生成指示改变电平的幅度的事件信号,和/或,所述数字输出电路500用于生成指示改变电平在改变之前和/或改变之后的光强。
在本发明的另一个实施例中,一个采集电路的事件信号的生成取决于相邻的另一采集电路的事件信号,进而过滤事件以减少虚假事件的数量。或者,一个采集电路的事件信号的生成取决于相邻的另一采集电路已存储的数字电平,进而过滤事件以在边缘附近提供更高的灵敏度。
在本发明的另一个实施例中,一个采集电路的事件信号的生成取决于该采集电路中数字存储电路300中存储的多个数字信号。
在本发明的另一个实施例中,当事件信号的输出是单个事件位时,例如up事件,表征增加的光强度。当事件信号的输出是两个事件位时,例如上和下,事件输出可以指示光强度或像素信号VSIG是大于还是小于存储的光强度水平或存储的VSIG。事件输出还包括数字信号的变化幅度,基于该变化幅度能够从事件信息完美地重建图像,进而获取当前检测的图像。
在本发明的另一个实施例中,如图1所示,所述数字存储电路300用于在像素阵列的输出线处提供存储的先前数字信号,和/或,所述数字存储电路300用于在在像素阵列的输出线上选择性地为具有事件输出的单位像素提供存储的先前数字信号,和/或,所述数字存储电路300用于在使用时间列线的输出线处提供存储的先前数字信号,和/或,所述数字存储电路300用于将存储的先前数字信号写入至单位像素,和/或,所述数字存储电路300用于将一数据流写入先前数字信号;所述数字存储电路300用于从作为事件流的数据流写入至已存储的先前数字信号。
在本发明的另一个实施例中,可以将存储的数字电平写入像素排列中以作为参考以供比较。而数据流可以被写入存储的数字电平以有意地提供用于事件生成的时间相关参考。其中,存储的数字电平即为先前数字信号。
在另一实施例中,数据流通常由传感器生成。
所述数字存储电路300提供的输出线为至少一个,并提供给至少一个数字输出电路500,以使一个数字输出电路500或多个数字输出电路500共享。
所述数字存储电路300存储的先前数字信号由外部像素阵列写入,或,可以将先前时刻的信号输出写入已存储的先前数字信号中,进而表征信号的变化过程,如当t1时刻输出的数字信号为p,则在下一个时间t2时,t1时刻即为先前时刻,而t1时刻的输出为p,则p对于t2时刻则为先前数字信号,该先前数字信号用于参考,在t2时刻只在与参考相比,即与t1时刻相比信号发生变化时而输出,进而输出事件信号,也即只有改变时才输出信号,降低冗余数据的产生。
在本发明的另一个实施例中,所述数字存储电路300还用于将外部的数字表示写入并存储,所述数字表示基于外部的参考图像数据生成,该数字表示用作参考数字表示,并用于根据写入的数字表示和当前数字信号判断是否输出事件信号。
当参考图像数据被写入所述具有外部可写数字像素存储的差量图像传感器的数字存储器后,所述具有外部可写数字像素存储的差量图像传感器将参考图像数据与当前的实际图像数据进行比对,当参考图像数据与当前的实际图像数据存在差异时,则生成与参考图像不同的事件。
所述参考图像数据为固定图像、图像序列和视频序列中的至少一种,其中,所述图像序列为多个固定图形排序后形成。
当与参考图像数据相比时,基于以下任一一种情形,输出事件信号:
一为当像素阵列采集到的实际图像数据中任意一个单位像素内产生特定强度变化时。
二为当像素阵列采集到的实际图像数据的变化频率超过特定频率,所述特定频率为预先设置;当像素阵列采集到的实际图像数据的变化频率较高时,无法与参考图像数据对比时,不输出事件信号。
三为当像素阵列采集到的实际图像数据与参考图像数据的对齐度发生变化时,也即检测到当像素阵列采集到的实际图像数据的位置相对于所述参考图像数据发生了变化时,亦输出事件信号。
所述数字存储电路300用于根据一数据流写入与该数据流对应的数字表示并存储,其中,所述数据流来源于所述数字存储电路300外部。其中,固定图像、图像序列和视频序列可以以一数据流的形式提供,并且,数据流定时更新,以兼容不同环境。
所述数字存储电路300用于根据作为事件流的数据流写入与该数据流对应的数字表示并存储,所述事件流来源于所述数字存储电路300外部。
所述事件流来源于上一时刻所述数字输出电路500输出的事件信号。所述事件流是仅包含像素级变化的数据流。
在本发明的另一个实施例中,来自目标区域的数字存储值被选择性地读取,即通过随机访问。
在本发明的另一个实施例中,还可以设置采样率,采样率为对事件信号生成的采集的频率。采样率可在操作中不时地基于电气配置,如硬件电路而改变。不同的采样率也决定功耗和事件生成率的不同,在长时间未出现事件信号或非使用时间时,通过降低采样率可实现极低功耗模式,或者,通过使采样被完全中断一段时间,进而降低功耗。
所述事件信号的输出模式包括持续输出模式和间歇输出模式,所述事件信号的输出模式响应于一中断控制信号自所述持续输出模式与所述间歇输出模式之间转换,所述中断控制信号由所述数字输出电路500产生。通过设置持续输出模式,适用于所述事件信号高频率产生的情形,即高功耗状态。所述间歇输出模式适用于低功耗状态,也即当事件信号产生的频率不高时,或者理解为事件信号长时间不生成。
当处于所述间歇输出模式时,所述事件信号间隔预设的特定时间间隔间歇输出。也即先将事件信号存储并持续一段时间,在持续存储一段时间后,同一输出事件信号。其中,所述特定时间间隔自行设置,如设置为5分钟、10分钟甚至半小时,亦或6小时等,以5分钟为例,所述事件信号每隔5分钟输出一次事件信号。
这样,利用间歇输出以及数字信号易于存储于所述数字输出电路500且不会发生数据损失的特性,保证了低功耗的同时又确保事件的无损输出。
当处于持续输出模式时,所述事件信号在检测到所述当前数字信号存在变化的电平时即时输出。
在本发明的另一个实施例中,当所述数字输出电路500在第一特定时间段内检测到所述当前数字信号存在变化的电平且电平变化的频率不超过预设频率时,所述数字输出电路500控制所述事件信号的输出模式为间歇输出模式。所述第一特定时间段为按需设置,如设置为1分钟。所述预设频率为预先设置,当电平变化的频率不超过预设频率时,表征此时事件信号的产生频率较低,因此,此时可以设置为低功耗模式,即间歇输出模式。
在本发明的另一个实施例中,当所述数字输出电路500在第一特定时间段内检测到所述当前数字信号存在变化的电平且电平变化的频率超过预设频率时,此时事件信号生成的频率较高,为高功耗模式,此时所述数字输出电路500控制所述事件信号的输出模式为持续输出模式。
在本发明的另一个实施例中,当所述数字存储电路300在第二特定时间段内未获取根据先前的传感器信号VSIG生成的数字信号时,此时说明在所述第二特定时间段内均未产生新的数字信号,因而此时说明外在环境无变化,也即此时不会有新的事件信号产生,可判定此时为低功耗模式,因而此时生成第一指令信号并发送至所述数字输出电路500,所述数字输出电路500根据所述第一指令信号控制所述事件信号的输出模式为间歇输出模式。
进一步地,当所述数字存储电路300在第二特定时间段内获取至少一个根据先前的传感器信号VSIG生成的数字信号时,此时说明外在环境持续变化,故生成第二指令信号并发送至所述数字输出电路500,所述数字输出电路500根据所述第二指令信号控制所述事件信号的输出模式为持续输出模式。
此外,数字信号的存储不会随时间退化,信息可以无限期保留,不会丢失信息或需要刷新图像帧,在某些应用程序中,例如监控,不同的触发环境,图像通常有很长一段时间没有变化,而通过设置所述事件输出模式的切换,可以大大降低观察率并节省电力。
在本发明的另一个实施例中,所述传感器电路100从所述数字存储电路300接收与该数字存储电路300所存储的数字电平或所存储的相邻像素的数字电平相对应的反馈,并且所述传感器电路100基于该反馈卡生成传感器信号VSIG,和/或,所述模数转换电路200从存储的先前数字信号的电平或相邻单位像素存储的先前数字信号的电平处接收反馈,并根据该反馈调整输出的当前数字信号。通过反馈的设置,实现生成的传感器信号VSIG更准确。
在本发明的另一个实施例中,所述传感器电路100用于提供传感器信号VSIG的模拟表示,和/或,所述具有外部可写数字像素存储的差量图像传感器由多个半导体层构成,各所述半导体层均具有不同的优化功能。
具体地,其中每一层的半导体工艺类型针对该层的功能进行优化。如,针对性能进行改进,具体如改进散热。或者,遵循器件尺寸和器件成本的需求,减少半导体层的硅面积,以满足实际使用需求,只要能够满足改变的半导体层的物理结构能够提高对光强变化的准确率及效率,并减少了控制信号线和光电传感器电路100之间的电干扰即可。
在本发明的另一个实施例中,各所述采集电路可以连接至一个公共的或多个公共的事件输出线。一组采集电路可以共用所述数字输出电路500、所述数字比较电路400、所述数字存储电路300、所述模数转换电路200中的任一一个。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有外部可写数字像素存储的差量图像传感器,其特征在于,包括像素阵列和多个采集电路,所述像素阵列包括多个单位像素,每个所述采集电路对应至少一个单位像素;其中,每个所述采集电路均包括:
至少一个传感器电路,每个所述传感器电路均包括光传感器,所述光传感器用于根据照亮对应所述光传感器的至少一个像素的光信号生成传感器信号VSIG;
至少一个模数转换电路,所述模数转换电路用于根据所述传感器信号VSIG生成当前数字信号;
至少一个数字存储电路,所述数字存储电路用于存储先前数字信号,其中,所述先前数字信号为根据先前的传感器信号VSIG生成的数字信号;
至少一数字比较电路,所述数字比较电路用于将所述当前数字信号的电平与所述先前数字信号的电平比较,并判断所述当前数字信号是否存在变化的电平;
至少一个数字输出电路,所述数字输出电路用于在所述当前数字信号存在变化的电平时,生成一事件信号并输出;
所述数字存储电路还用于将外部的数字表示写入并存储,所述数字表示基于外部的参考图像数据生成,该数字表示用作参考数字表示,并用于根据写入的数字表示和当前数字信号判断是否输出事件信号。
2.根据权利要求1所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,所述参考图像数据为固定图像、图像序列和视频序列中的至少一种,其中,所述图像序列为多个固定图形排序后形成。
3.根据权利要求1所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,当与参考图像数据相比时,基于以下任一一种情形,输出事件信号:
(1)当像素阵列采集到的实际图像数据中任意一个单位像素内产生特定强度变化时;
(2)当像素阵列采集到的实际图像数据的变化频率超过特定频率,所述特定频率为预先设置;
(3)当像素阵列采集到的实际图像数据与参考图像数据的对齐度发生变化时。
4.根据权利要求1-3任一项所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,所述数字存储电路用于根据一数据流写入与该数据流对应的数字表示并存储,其中,所述数据流来源于所述数字存储电路外部。
5.根据权利要求1-3任一项所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,所述数字存储电路用于根据作为事件流的数据流写入与该数据流对应的数字表示并存储,所述事件流来源于所述数字存储电路外部。
6.根据权利要求5所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,所述事件流来源于上一时刻所述数字输出电路输出的事件信号。
7.根据权利要求5所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,所述传感器电路响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系,和/或,
所述传感器电路在操作期间响应于一控制信号而产生所述传感器信号VSIG,且所述传感器信号VSIG基于所述控制信号的控制而改变其与光强的对应关系,其中,一个所述控制信号作用于整个所述像素阵列或者所述像素阵列中的局部单位像素;
其中,所述传感器电路下产生的所述传感器信号VSIG与光强具有以下任一一种对应关系:
所述传感器信号VSIG信号与光强呈线性相关,或,
所述传感器信号VSIG信号与光强呈非线性相关,其中,所述非线性相关包括但不限于呈对数变化;或,
所述传感器信号VSIG信号与光强呈非线性和线性相关的组合关系;其中,以上对应关系响应于一控制信号而变化。
8.根据权利要求5所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,
a)所述模数转换电路包括比较器,所述比较器用于将所述传感器信号VSIG与以下任一扫描信号进行比较:
aa)一模拟扫描输入信号;
bb)连续的模拟扫描输入信号,其中,每个模拟扫描输入信号提供不同的斜坡信号斜率;
其中,单独或连续的模拟扫描输入信号用于提供至至少一个所述模数转换电路;和/或,
b)所述模数转换电路还用于向至少一个单位像素提供与扫描信号并行的至少一个数字代码,所述数字代码包括但不限于格雷码。
9.根据权利要求8所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,
所述扫描信号是线性斜坡,或,
所述扫描信号是非线性斜坡,或,
所述扫描信号在操作期间改变,和/或,
所述扫描信号的周期在操作期间改变,和/或,
所述扫描信号在操作期间按照特定时间中断,所述特定时间在操作期间实施设置或预先设置。
10.根据权利要求9所述的具有外部可写数字像素存储的差量图像传感器,其特征在于,还包括至少一参考像素,所述参考像素用于限定斜坡信号;其中,所述参考像素设置于所述像素阵列之外。
CN202111396972.3A 2021-11-23 2021-11-23 一种具有外部可写数字像素存储的差量图像传感器 Pending CN114095678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111396972.3A CN114095678A (zh) 2021-11-23 2021-11-23 一种具有外部可写数字像素存储的差量图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111396972.3A CN114095678A (zh) 2021-11-23 2021-11-23 一种具有外部可写数字像素存储的差量图像传感器

Publications (1)

Publication Number Publication Date
CN114095678A true CN114095678A (zh) 2022-02-25

Family

ID=80303414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111396972.3A Pending CN114095678A (zh) 2021-11-23 2021-11-23 一种具有外部可写数字像素存储的差量图像传感器

Country Status (1)

Country Link
CN (1) CN114095678A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111696A1 (en) * 2003-11-24 2005-05-26 Baer Richard L. Imaging surveillance system and method for event detection in low illumination
US20160094787A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Event based computer vision computation
US20190026901A1 (en) * 2017-07-19 2019-01-24 Qualcomm Incorporated Cmos image sensor on-die motion detection using inter-pixel mesh relationship
US20190273884A1 (en) * 2016-10-20 2019-09-05 Prophesee Pixel circuit for detecting time-dependent visual data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111696A1 (en) * 2003-11-24 2005-05-26 Baer Richard L. Imaging surveillance system and method for event detection in low illumination
US20160094787A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Event based computer vision computation
US20190273884A1 (en) * 2016-10-20 2019-09-05 Prophesee Pixel circuit for detecting time-dependent visual data
US20190026901A1 (en) * 2017-07-19 2019-01-24 Qualcomm Incorporated Cmos image sensor on-die motion detection using inter-pixel mesh relationship

Similar Documents

Publication Publication Date Title
TWI810593B (zh) 具有數位像素儲存及同步化採樣的增量影像感測器
CN114095678A (zh) 一种具有外部可写数字像素存储的差量图像传感器
CN114173069A (zh) 一种带数字像素存储的差量图像传感器
CN114422728A (zh) 一种带数字像素存储的差量图像传感器
CN114095675A (zh) 一种具有数字像素存储和同步采样的差量图像传感器
CN114173070A (zh) 一种带数字像素存储的差量图像传感器
CN114095676A (zh) 一种带数字像素存储的差量图像传感器
CN114095677A (zh) 一种带数字像素存储的差量图像传感器
WO2004053572A2 (en) Digitizer with improved dynamic range and photometric resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination