CN111405209A - 一种像素单元、信号处理方法及存储介质 - Google Patents

一种像素单元、信号处理方法及存储介质 Download PDF

Info

Publication number
CN111405209A
CN111405209A CN202010206648.XA CN202010206648A CN111405209A CN 111405209 A CN111405209 A CN 111405209A CN 202010206648 A CN202010206648 A CN 202010206648A CN 111405209 A CN111405209 A CN 111405209A
Authority
CN
China
Prior art keywords
pixel
column
pixel layer
optical signals
monochromatic light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010206648.XA
Other languages
English (en)
Other versions
CN111405209B (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010206648.XA priority Critical patent/CN111405209B/zh
Publication of CN111405209A publication Critical patent/CN111405209A/zh
Application granted granted Critical
Publication of CN111405209B publication Critical patent/CN111405209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本申请实施例公开了一种像素单元、信号处理方法及存储介质,像素单元包括:由光电二极管PD柱组成、上下排布的图像采集像素层和动态视觉像素层;图像采集像素层,用于吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号;动态视觉像素层,用于吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号;目标单色光与PD柱的尺寸对应;与图像采集像素层连接的像素读出电路,用于读出第一电信号;与动态视觉像素层连接的像素比较电路,用于基于第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。

Description

一种像素单元、信号处理方法及存储介质
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种像素单元、信号处理方法及存储介质。
背景技术
动态视觉传感器(DynamicVisionSensor,DVS),是一种基于地址-事件表达的传感器,其工作原理模仿生物视觉的工作机理,像素异步工作,仅输出光强发生变化像素的地址和信息,从源头上消除冗余数据,具有场景变化实时动态响应、图像超稀疏表示和事件异步输出等特点,可广泛应用于目标跟踪、实时监控、工业自动化和机器人等领域中。
目前,由于DVS是像素异步工作,而非被动依次读出“帧”内每个像素信息,因此,每个像素只能识别动作,无法获取足够多的成像信息,使得传感器的功能单一。
发明内容
本申请实施例提供一种像素单元、信号处理方法及存储介质,像素单元能够同时获得成像信号和动态视觉信号,从而提高了采用该像素单元的图像传感器的功能性。
本申请实施例的技术方案是这样实现的:
本申请实施例提供了一种像素单元,所述像素单元包括:
由光电二极管PD柱组成、上下排布的图像采集像素层和动态视觉像素层;所述图像采集像素层,用于吸收目标单色光中第一部分光信号,并将所述第一部分光信号转换为第一电信号;所述动态视觉像素层,用于吸收所述目标单色光中与所述第一部分光信号不同的第二部分光信号,并将所述第二部分光信号转换为第二电信号;所述目标单色光与所述PD柱的尺寸对应;
与所述图像采集像素层连接的像素读出电路,用于读出所述第一电信号;
与所述动态视觉像素层连接的像素比较电路,用于比较所述第二电信号与所述动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
在上述像素单元中,所述像素单元还包括:滤色片;
所述滤色片设置在所述图像采集像素层和所述动态视觉像素层的吸收侧,用于通过所述目标单色光。
在上述像素单元中,所述像素单元还包括:片上透镜;
所述片上透镜设置在所述滤色片的入光侧,用于聚集入射光线。
在上述像素单元中,所述图像采集像素层包括第一PD柱,所述动态视觉像素层包括第二PD柱和第三PD柱;
所述第一PD柱、所述第二PD柱和所述第三PD柱尺寸相同且上下排布,所述第二PD柱和所述第三PD柱连接;
所述动态视觉像素层,利用所述第二PD柱和所述第三PD柱分别吸收所述第二部分光信号中部分光信号,并将所述第二PD柱和所述第三PD柱转换的电信号合并,得到所述第二电信号。
在上述像素单元中,在所述第一PD柱、所述第二PD柱和所述第三PD柱为第一尺寸的情况下,所述目标单色光为蓝光,所述第二PD柱和所述第三PD柱在所述第一PD柱的下方上下排布;
在所述第一PD柱、所述第二PD柱和所述第三PD柱为第二尺寸的情况下,所述目标单色光为绿光,所述第二PD柱和所述第三PD柱一个排布在所述第一PD柱的上方,另一个排布在所述第一PD柱的下方;
在所述第一PD柱、所述第二PD柱和所述第三PD柱为第三尺寸的情况下,所述目标单色光为红光,所述第二PD柱和所述第三PD柱在所述第一PD柱的上方上下排布。
在上述像素单元中,所述像素读出电路包括:与所述图像采集像素层连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管;
所述选通管,用于按照预设读出顺序,选通所述转移晶体管;
所述转移晶体管,用于将所述第一电信号从所述图像采集像素层转移至所述读出区,以从所述读出区读出所述第一电信号。
在上述像素单元中,所述像素读出电路还包括:与所述读出区和所述选通管连接的放大管;
所述放大管,用于将所述读出区读出的所述第一电信号进行放大。
在上述像素单元中,所述像素比较电路包括:与所述动态视觉像素层连接的处理模块、与所述处理模块连接的第一电容和第二电容、与所述第一电容和所述第二电容连接的差分器,以及与所述差分器连接的正比较器和负比较器;
所述处理模块,用于将所述第二电信号和所述第三电信号分别进行对数化,以将所述第二电信号对应的第一对数结果存储在所述第一电容,并将所述第三电信号对应的第二对数结果存储在所述第二电容;
所述差分器,用于计算所述第一对数结果相比于所述第二对数结果的差异,得到差分结果;
所述正比较器,用于在所述差分结果超过正差分阈值的情况下,输出第一脉冲信号;
所述负比较器,用于在所述差分结果超过负差分阈值的情况下,输出第二脉冲信号。
本申请实施例提供了一种信号处理方法,应用于上述像素单元,所述方法包括:
通过图像采集像素层,吸收目标单色光中第一部分光信号,并将所述第一部分光信号转换为第一电信号;
通过动态视觉像素层,吸收所述目标单色光中与所述第一部分光信号不同的第二部分光信号,并将所述第二部分光信号转换为第二电信号;
通过与所述图像采集像素层连接的像素读出电路,读出所述第一电信号;
通过与所述动态视觉像素层连接的像素比较电路,比较所述第二电信号与所述动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
本申请实施例提供了一种存储介质,其上存储有计算机程序,应用于上述像素单元,该计算机程序被处理器执行时实现上述信号处理方法。
本申请实施例提供了一种像素单元,包括:由光电二极管PD柱组成、上下排布的图像采集像素层和动态视觉像素层;图像采集像素层,用于吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号;动态视觉像素层,用于吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号;目标单色光与PD柱的尺寸对应;与图像采集像素层连接的像素读出电路,用于读出第一电信号;与动态视觉像素层连接的像素比较电路,用于基于第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。本申请实施例提供的像素单元,能够同时获得成像信号和动态视觉信号,从而提高了采用该像素单元的图像传感器的功能性。
附图说明
图1为本申请实施例提供的一种像素单元的结构示意图;
图2为本申请实施例提供的一种示例性的像素单元的截面示意图一;
图3为本申请实施例提供的一种示例性的像素单元的截面示意图二;
图4为本申请实施例提供的一种像素读出电路的结构示意图;
图5为本申请实施例提供的一种像素比较电路的结构示意图;
图6为本申请实施例提供的一种信号处理方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
实施例一
本申请实施例提供了一种像素单元。图1为本申请实施例提供的一种像素单元的结构示意图。如图1所示,像素单元包括:
由光电二极管PD柱组成、上下排布的图像采集像素层10和动态视觉像素层20;图像采集像素层10,用于吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号;动态视觉像素层20,用于吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号;目标单色光与PD柱的尺寸对应;
与图像采集像素层10连接的像素读出电路11,用于读出第一电信号;
与动态视觉像素层20连接的像素比较电路21,用于比较第二电信号与动态视觉像素层20前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
需要说明的是,在本申请的实施例中,像素单元应用于互补金属氧化物半导体图像传感器(CMOSImageSensor)中。由于像素单元同时包括图像采集像素层10和动态视觉像素层20,从而图像传感器可以获取到CIS图像和DVS图像。
可以理解的是,在本申请的实施例中,如果利用分别吸收不同RGB单色光的三种像素单元构成图像传感器,最终可以得到彩色CIS图像和DVS图像,如果利用吸收同一RGB单色光的像素单元构成图像传感器,最终可以得到单色CIS图像和DVS图像。
可以理解的是,在本申请的实施例中,图像采集像素层10和动态视觉像素层20是由PD柱组成的,PD柱的尺寸对应目标单色光,即利用该尺寸的PD柱可以吸收目标单色光。PD柱为百纳米级别的光电二极管,而非传统像素对应的一个厚度大概在2um以上的PD结构。具体的目标单色光取决于组成图像采集像素层10和动态视觉像素层20的PD柱的尺寸,本申请实施例不作限定。
可选的,在本申请的实施例中,PD柱的形状至少包括长方形、圆形、平行四边形和菱形,具体的根据实际情况进行选择,本申请实施例不做具体的限定。
需要说明的是,在本申请的实施例中,图像采集像素层10与动态视觉像素层20上下排布,具体的上下排布方式可以根据实际需求设置,本申请实施例不作限定。
需要说明的是,在本申请的实施例中,图像采集像素层10可以吸收目标单色光中第一部分光信号并进行光电转换,动态视觉像素层20可以吸收目标单色光中第二部分光信号并进行光电转换。第一部分光信号和第二部分光信号即组成目标单色光,也就是说,图像采集像素层10和动态视觉像素层20分别吸收一部分的目标单色光。
具体的,在本申请的实施例中,图像采集像素层10包括第一PD柱,动态视觉像素层20包括第二PD柱和第三PD柱;
第一PD柱、第二PD柱和第三PD柱尺寸相同且上下排布,第二PD柱和第三PD柱连接;
动态视觉像素层20,利用第二PD柱和第三PD柱分别吸收第二部分光信号中部分光信号,并转换为相应的电信号后相加得到第二电信号。
需要说明的是,在本申请的实施例中,第一PD柱、第二PD柱和第三PD柱的尺寸也可以不完全相同,存在较小的尺寸差异,但是,均能实现目标单色光的吸收。
可以理解的是,在本申请的实施例中,上下排布的第二PD柱和第三PD柱形成两层像素层,合并为动态视觉像素层20。第二PD柱和第三PD柱分别吸收第二部分光信号中部分光信号并进行光电转换,此外,由于第二PD柱和第三PD柱连接,从而可以实现相应电信号合并,得到的电信号即为动态视觉像素层20输出的第二电信号。
需要说明的是,在本申请的实施例中,第一PD柱、第二PD柱和第三PD柱上下排布,具体的排布方式可以根据实际需求确定,本申请实施例不作限定。
图2为本申请实施例提供的一种示例性的像素单元的截面示意图一。如图2所示,在本申请的实施例中,在第一PD柱、第二PD柱和第三PD柱为第一尺寸的情况下,目标单色光为蓝光,第二PD柱和第三PD柱在第一PD柱的下方上下排布。需要说明的是,在图2中,虽然表征第一PD柱、第二PD柱和第三PD柱的图像大小不同,但实际上第一PD柱、第二PD柱和第三PD柱的尺寸是相同的。
具体的,在本申请的实施例中,在第一PD柱、第二PD柱和第三PD柱为第二尺寸的情况下,目标单色光为绿光,第二PD柱和第三PD柱一个排布在第一PD柱的上方,另一个排布在第一PD柱的下方。
具体的,在本申请的实施例中,在第一PD柱、第二PD柱和第三PD柱为第三尺寸的情况下,目标单色光为红光,第二PD柱和第三PD柱在第一PD柱的上方上下排布。
需要说明的是,在本申请的实施例中,动态视觉像素层20可以如上述包括两层PD柱,当然,也可以仅包括一层PD柱,在此情况下,可以根据实际需求,将动态视觉像素层20排布在图像采集像素层10上方或下方,本申请实施例不作限定。
图3为本申请实施例提供的一种示例性的像素单元的截面示意图二。如图3所示,在本申请的实施例中,像素单元的图像采集像素层10包括第一PD柱,动态视觉像素层20包括第四PD柱,第一PD柱排布在第四PD柱上方。需要说明的是,在图3中,虽然表征第一PD柱和第四PD柱的图像大小不同,但实际上第一PD柱和第四PD柱的尺寸是相同的或者较为接近的,均能实现目标单色光的吸收。
需要说明的是,在本申请的实施例中,如图3所示,在动态视觉像素层20为单层PD柱的情况下,直接将第四PD柱从目标单色光中吸收的部分光信号转换成的电信号作为第二电信号。
需要说明的是,在本申请的实施例中,PD柱的直径是基于红、绿、蓝单色光的共振波长和对应光信号的折射率确定的,或者通过光学模拟得到的,具体的根据实际情况进行选择,本申请实施例不做具体的限定。
在本申请的实施例中,利用公式(1)确定PD柱的尺寸
PD柱的尺寸=(共振波长-预设常数)/折射率 (1)
示例性的,吸收蓝光时对应的PD柱的直径,即第一尺寸为60nm左右;吸收绿光时对应的PD柱的直径,即第二尺寸为90nm;吸收红光时对应的PD柱的直径,即第三尺寸为120nm。
具体的,在本申请的实施例中,像素单元还包括:滤色片;
滤色片设置在图像采集像素层10和动态视觉像素层20的吸收侧,用于通过目标单色光。
具体的,在本申请的实施例中,像素单元还包括:片上透镜;
片上透镜设置在滤色片的入光侧,用于聚集入射光线。
需要说明的是,在本申请的实施例中,如图2和图3所示,在图像采集像素层10和动态视觉像素层20的吸收侧,设置有用于通过目标单色光的滤色片,以及用于聚集入射光线的片上透镜,其中,W滤色片可以为用于通过白光的滤色片,G滤色片可以为用于通过绿光的绿色片。
需要说明的是,在本申请的实施例中,如图2和图3所示,金属布线部分即为像素读出电路11和像素比较电路21。以下进行像素读出电路11和像素比较电路21的电路结构详述。
图4为本申请实施例提供的一种像素读出电路11的结构示意图。如图4所示,像素读出电路11包括:与图像采集像素层10连接的转移晶体管、与转移晶体管连接的读出区和与读出区连接的选通管;
选通管,用于按照预设读出顺序,选通转移晶体管;
转移晶体管,用于将第一电信号从图像采集像素层10转移至读出区,以从读出区读出第一电信号。
需要说明的是,本申请的实施例中,转移晶体管的源极与图像采集像素层10的第一PD柱的n区连接,转移晶体管的漏极与读出区连接,第一PD柱将获得的目标电信号聚焦到n+区,并经过转移晶体管转移到读出区。
需要说明的是,在本申请的实施例中,第一PD柱将从吸收到的第一部分光信号,在第一PD柱的耗尽区发生光电转换成目标电信号,之后转移晶体管将目标电信号聚集到转移晶体管的n+区沟道中,并将n+区沟道中的第一电信号转移到读出区。
需要说明的是,在本申请的实施例中,针对于由像素单元构成的图像传感器,每个像素单元的每个像素读出电路11均包括选通管,可以预先向图像传感器设定读出顺序,不同PD柱连接的选通管根据预设读出顺序,选通连接的转移晶体管,以供读出区读出电信号。
具体的,在本申请的实施例中,如图4所示,像素读出电路11还包括:与读出区和选通管连接的放大管;
放大管,用于将读出区读出的第一电信号进行放大。
需要说明的是,在本申请的实施例中,如图4所示,像素读出电路11还包括:与读出区和放大管连接的复位晶体管;
读出区,还用于读出复位晶体管中的复位电平;
放大管,还用于对复位电平进行放大。
需要说明的是,在本申请的实施例中,复位晶体管的源极和电源连接;复位晶体管的漏极和读出区连接,其中,复位晶体管中存储有复位电平,通过读出区读出复位电平。
可以理解的是,在本申请的实施例中,分别从复位晶体管读出复位电平、从转移晶体管读出目标电信号,之后,对复位电平和第一电信号进行放大之后,对放大的第一电信号和放大的复位电平进行相关双采样,从而可以降低读出第一电信号的噪声。
图5为本申请实施例提供的一种像素比较电路21的结构示意图。如图5所示,像素比较电路21包括:与动态视觉像素层20连接的处理模块、与处理模块连接的第一电容和第二电容、与第一电容和第二电容连接的差分器,以及与差分器连接的正比较器和负比较器;
处理模块,用于将第二电信号和第三电信号分别进行对数化,以将第二电信号对应的第一对数结果存储在第一电容,并将第三电信号对应的第二对数结果存储在第二电容;
差分器,用于计算第一对数结果相比于第二对数结果的差异,得到差分结果;
正比较器,用于在差分结果超过正差分阈值的情况下,输出第一脉冲信号;
负比较器,用于在差分结果超过负差分阈值的情况下,输出第二脉冲信号。
需要说明的是,在本申请的实施例中,第三电信号为动态视觉像素层20在前一次光电转换后得到的电信号,在时间上是处于第二电信号获取之前,像素比较电路21的目的在于比较电信号的差异,从而输出表征电信号增强或变弱的脉冲信号。也就是说,像素比较电路21仅在动态视觉像素层20当前获得电信号与前一次获得的电信号相比,出现一定变化的情况下,实现事件输出。
可以理解的是,采用本申请实施例提供的像素单元构成图像传感器,利用像素单元的动态视觉像素层20和像素比较电路21即可获知光电变化信息,从而进行DVS图像的生成。
本申请实施例提供了一种像素单元,包括:由光电二极管PD柱组成、上下排布的图像采集像素层和动态视觉像素层;图像采集像素层,用于吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号;动态视觉像素层,用于吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号;目标单色光与PD柱的尺寸对应;与图像采集像素层连接的像素读出电路,用于读出第一电信号;与动态视觉像素层连接的像素比较电路,用于基于第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。本申请实施例提供的像素单元,能够同时获得成像信号和动态视觉信号,从而提高了采用该像素单元的图像传感器的功能性。
实施例二
本申请实施例提供了一种信号处理方法,应用于上述像素单元中。图6为本申请实施例提供的一种信号处理方法的流程示意图。如图6所示,信号处理方法主要包括以下步骤:
S601、通过图像采集像素层,吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号。
在本申请的实施例中,像素单元包括图像采集像素层10,像素单元通过图像采集像素层10,吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号。
需要说明的是,在本申请的实施例中,目标单色光与组成图像采集像素层10的PD柱的尺寸相对应,即特定尺寸的PD柱可以吸收特定的单色光。具体的目标单色光取决于组成图像采集像素层10的PD柱的尺寸,本申请实施例不作限定。
S602、通过动态视觉像素层,吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号。
在本申请的实施例中,像素单元包括动态视觉像素层20,像素单元通过动态视觉像素层20,吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号。
需要说明的是,在本申请的实施例中,像素单元中,动态视觉像素层20与图像采集像素层10所采用的PD柱尺寸相同或者较为接近,因此,像素单元通过动态视觉像素层20同样可以进行目标单色光的部分吸收。
需要说明的是,在本申请的实施例中,动态视觉像素层20与图像采集像素层10上下排布,因此,动态视觉像素层20和图像采集像素层10分别吸收目标单色光中的部分光信号,并进行光电转换,即处于下层的像素层吸收目标单色光通过处于上层的像素层吸收后剩余的光信号。
S603、通过与图像采集像素层连接的像素读出电路,读出第一电信号。
在本申请的实施例中,像素读出电路11与图像采集像素层10连接,像素单元从而通过像素读出电路11,读出第一电信号。
具体的,在本申请的实施例中,像素读出电路11包括:与图像采集像素层10连接的转移晶体管、与转移晶体管连接的读出区和与读出区连接的选通管。像素单元,通过像素读出电路11的选通管按照预设读出顺序,选通转移晶体管,之后,通过转移晶体管将第一电信号从图像采集像素层10转移至读出区,以通过读出区读出第一电信号。
需要说明的是,在本申请的实施例中,像素读出电路11还包括:与读出区和选通管连接的放大管,以及与读出区和放大管连接的复位晶体管。像素读出电路11还可以通过放大管将读出区读出的第一电信号进行放大。此外,像素单元还可以通过像素读出电路11的读出区读出复位晶体管中的复位电平,并通过放大管对复位电平进行放大。
可以理解的是,在本申请的实施例中,第一电信号可以用于进行CIS图像的生成。对于一个图像传感器,可以包括大量的像素单元,从而利用每个像素单元得到的第一电信号即可生成CIS图像。
S604、通过与动态视觉像素层连接的像素比较电路,比较第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
在本申请的实施例中,像素比较电路21与图像采集像素层10连接,像素单元从而通过像素比较电路21,比较第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
具体的,在本申请的实施例中,像素比较电路21包括:与动态视觉像素层连接的处理模块、与处理模块连接的第一电容和第二电容、与第一电容和第二电容连接的差分器,以及与差分器连接的正比较器和负比较器。像素单元通过像素比较电路21的处理模块将第二电信号和第三电信号分别进行对数化,以将第二电信号对应的第一对数结果存储在第一电容,并将第三电信号对应的第二对数结果存储在第二电容,之后,通过差分器计算第一对数结果相比于第二对数结果的差异,得到差分结果,最后,通过正比较器在差分结果超过正差分阈值的情况下,输出第一脉冲信号,通过负比较器在差分结果超过负差分阈值的情况下,输出第二脉冲信号。
需要说明的是,在本申请的实施例中,第三电信号为动态视觉像素层在前一次光电转换后得到的电信号,在时间上是处于第二电信号获取之前,像素比较电路21的目的在于比较电信号的差异,从而输出表征电信号增强或变弱的脉冲信号。也就是说,像素比较电路21仅在动态视觉像素层当前获得电信号与前一次获得的电信号相比,出现一定变化的情况下,实现事件输出。
可以理解的是,在本申请的实施例中,像素比较电路21输出的脉冲信号可以用于进行DVS图像的生成。对于一个图像传感器,可以包括大量的像素单元,从而利用每个像素单元的动态视觉像素层20进行像素异步工作,在电信号出现一定变化时输出相应的脉冲信号进行信息的提供,从而实现DVS图像的生成。
本申请实施例提供了一种信号处理方法,应用于上述像素单元,方法包括:通过图像采集像素层,吸收目标单色光中第一部分光信号,并将第一部分光信号转换为第一电信号;通过动态视觉像素层,吸收目标单色光中与第一部分光信号不同的第二部分光信号,并将第二部分光信号转换为第二电信号;通过与图像采集像素层连接的像素读出电路,读出第一电信号;通过与动态视觉像素层连接的像素比较电路,比较第二电信号与动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。本申请实施例提供的像素单元,能够同时获得成像信号和动态视觉信号,从而提高了采用该像素单元的图像传感器的功能性。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,应用于,该计算机程序被处理器执行时实现上述信号处理方法。计算机可读存储介质可以是易失性存储器(volatilememory),例如随机存取存储器(Random-AccessMemory,RAM);或者非易失性存储器(non-volatilememory),例如只读存储器(Read-OnlyMemory,ROM),快闪存储器(flashmemory),硬盘(HardDiskDrive,HDD)或固态硬盘(Solid-StateDrive,SSD);也可以是包括上述存储器之一或任意组合的各自设备,如移动电话、计算机、平板设备、个人数字助理等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种像素单元,其特征在于,所述像素单元包括:
由光电二极管PD柱组成、上下排布的图像采集像素层和动态视觉像素层;所述图像采集像素层,用于吸收目标单色光中第一部分光信号,并将所述第一部分光信号转换为第一电信号;所述动态视觉像素层,用于吸收所述目标单色光中与所述第一部分光信号不同的第二部分光信号,并将所述第二部分光信号转换为第二电信号;所述目标单色光与所述PD柱的尺寸对应;
与所述图像采集像素层连接的像素读出电路,用于读出所述第一电信号;
与所述动态视觉像素层连接的像素比较电路,用于比较所述第二电信号与所述动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
2.根据权利要求1所述的像素单元,其特征在于,所述像素单元还包括:滤色片;
所述滤色片设置在所述图像采集像素层和所述动态视觉像素层的吸收侧,用于通过所述目标单色光。
3.根据权利要求2所述的像素单元,其特征在于,所述像素单元还包括:片上透镜;
所述片上透镜设置在所述滤色片的入光侧,用于聚集入射光线。
4.根据权利要求1所述的像素单元,其特征在于,
所述图像采集像素层包括第一PD柱,所述动态视觉像素层包括第二PD柱和第三PD柱;
所述第一PD柱、所述第二PD柱和所述第三PD柱尺寸相同且上下排布,所述第二PD柱和所述第三PD柱连接;
所述动态视觉像素层,利用所述第二PD柱和所述第三PD柱分别吸收所述第二部分光信号中部分光信号,并将所述第二PD柱和所述第三PD柱转换的电信号合并,得到所述第二电信号。
5.根据权利要求4所述的像素单元,其特征在于,
在所述第一PD柱、所述第二PD柱和所述第三PD柱为第一尺寸的情况下,所述目标单色光为蓝光,所述第二PD柱和所述第三PD柱在所述第一PD柱的下方上下排布;
在所述第一PD柱、所述第二PD柱和所述第三PD柱为第二尺寸的情况下,所述目标单色光为绿光,所述第二PD柱和所述第三PD柱一个排布在所述第一PD柱的上方,另一个排布在所述第一PD柱的下方;
在所述第一PD柱、所述第二PD柱和所述第三PD柱为第三尺寸的情况下,所述目标单色光为红光,所述第二PD柱和所述第三PD柱在所述第一PD柱的上方上下排布。
6.根据权利要求1所述的像素单元,其特征在于,所述像素读出电路包括:与所述图像采集像素层连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管;
所述选通管,用于按照预设读出顺序,选通所述转移晶体管;
所述转移晶体管,用于将所述第一电信号从所述图像采集像素层转移至所述读出区,以从所述读出区读出所述第一电信号。
7.根据权利要求6所述的像素单元,其特征在于,所述像素读出电路还包括:与所述读出区和所述选通管连接的放大管;
所述放大管,用于将所述读出区读出的所述第一电信号进行放大。
8.根据权利要求1所述的像素单元,其特征在于,
所述像素比较电路包括:与所述动态视觉像素层连接的处理模块、与所述处理模块连接的第一电容和第二电容、与所述第一电容和所述第二电容连接的差分器,以及与所述差分器连接的正比较器和负比较器;
所述处理模块,用于将所述第二电信号和所述第三电信号分别进行对数化,以将所述第二电信号对应的第一对数结果存储在所述第一电容,并将所述第三电信号对应的第二对数结果存储在所述第二电容;
所述差分器,用于计算所述第一对数结果相比于所述第二对数结果的差异,得到差分结果;
所述正比较器,用于在所述差分结果超过正差分阈值的情况下,输出第一脉冲信号;
所述负比较器,用于在所述差分结果超过负差分阈值的情况下,输出第二脉冲信号。
9.一种信号处理方法,应用于如权利要求1-8任一项所述的像素单元,其特征在于,所述方法包括:
通过图像采集像素层,吸收目标单色光中第一部分光信号,并将所述第一部分光信号转换为第一电信号;
通过动态视觉像素层,吸收所述目标单色光中与所述第一部分光信号不同的第二部分光信号,并将所述第二部分光信号转换为第二电信号;
通过与所述图像采集像素层连接的像素读出电路,读出所述第一电信号;
通过与所述动态视觉像素层连接的像素比较电路,比较所述第二电信号与所述动态视觉像素层前一次光电转换得到的第三电信号,输出用于表征电信号变化情况的脉冲信号。
10.一种存储介质,其上存储有计算机程序,应用于如权利要求1-8任一项所述的像素单元,其特征在于,该计算机程序被处理器执行时实现如权利要求9所述的信号处理方法。
CN202010206648.XA 2020-03-23 2020-03-23 一种像素单元、信号处理方法及存储介质 Active CN111405209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206648.XA CN111405209B (zh) 2020-03-23 2020-03-23 一种像素单元、信号处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206648.XA CN111405209B (zh) 2020-03-23 2020-03-23 一种像素单元、信号处理方法及存储介质

Publications (2)

Publication Number Publication Date
CN111405209A true CN111405209A (zh) 2020-07-10
CN111405209B CN111405209B (zh) 2022-07-19

Family

ID=71413964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206648.XA Active CN111405209B (zh) 2020-03-23 2020-03-23 一种像素单元、信号处理方法及存储介质

Country Status (1)

Country Link
CN (1) CN111405209B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449187A (zh) * 2020-11-06 2022-05-06 广州印芯半导体技术有限公司 图像传感器以及图像感测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538830A1 (en) * 2003-07-18 2005-06-08 Sony Corporation Image pickup device
US20080239147A1 (en) * 2007-03-26 2008-10-02 Realtek Semiconductor Corp. Digital display control device and method thereof
CN101800837A (zh) * 2009-02-05 2010-08-11 香港科技大学 提高cmos图像传感器动态范围和线性度的装置和方法
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN107071314A (zh) * 2017-05-12 2017-08-18 天津大学 一种时域灵敏度增强型的动态视觉传感器
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质
CN110536083A (zh) * 2019-08-30 2019-12-03 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
CN110602421A (zh) * 2018-06-12 2019-12-20 索尼半导体解决方案公司 固体摄像元件、摄像装置以及固体摄像元件的控制方法
CN110891152A (zh) * 2018-09-07 2020-03-17 三星电子株式会社 含cmos图像传感器像素和动态视觉传感器像素的图像传感器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538830A1 (en) * 2003-07-18 2005-06-08 Sony Corporation Image pickup device
US20080239147A1 (en) * 2007-03-26 2008-10-02 Realtek Semiconductor Corp. Digital display control device and method thereof
CN101800837A (zh) * 2009-02-05 2010-08-11 香港科技大学 提高cmos图像传感器动态范围和线性度的装置和方法
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN107071314A (zh) * 2017-05-12 2017-08-18 天津大学 一种时域灵敏度增强型的动态视觉传感器
CN110602421A (zh) * 2018-06-12 2019-12-20 索尼半导体解决方案公司 固体摄像元件、摄像装置以及固体摄像元件的控制方法
CN209949277U (zh) * 2018-06-12 2020-01-14 索尼半导体解决方案公司 固体摄像元件以及摄像装置
CN110891152A (zh) * 2018-09-07 2020-03-17 三星电子株式会社 含cmos图像传感器像素和动态视觉传感器像素的图像传感器
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质
CN110536083A (zh) * 2019-08-30 2019-12-03 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449187A (zh) * 2020-11-06 2022-05-06 广州印芯半导体技术有限公司 图像传感器以及图像感测方法
CN114449187B (zh) * 2020-11-06 2023-10-17 广州印芯半导体技术有限公司 图像传感器以及图像感测方法

Also Published As

Publication number Publication date
CN111405209B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
US7326904B2 (en) In-pixel kTC noise suppression using circuit techniques
CN108156400B (zh) 摄像器件及其驱动方法和摄像装置
TWI618231B (zh) 紅外偵測器陣列之緩衝式直接注射像素
CN113709382B (zh) 一种图像传感器、图像处理方法及存储介质
CN110225319B (zh) 一种图像传感器、图像处理方法及存储介质
JP2008227092A (ja) 光電変換素子、撮像素子、撮像装置
JP2022002355A (ja) 固体撮像素子、固体撮像素子の制御方法および電子機器
CN111405209B (zh) 一种像素单元、信号处理方法及存储介质
TW200415917A (en) Method and apparatus for KTC noise canceling in a linear CMOS image sensor
US10051216B2 (en) Imaging apparatus and imaging method thereof using correlated double sampling
JP6263914B2 (ja) 撮像装置、撮像装置の駆動方法、および、カメラ
CN110290334B (zh) 像素单元电路及图像处理方法、存储介质及cmos图像传感器
CN111565305A (zh) 一种图像传感器、信号处理方法及存储介质
JP2015023054A5 (zh)
JP5589053B2 (ja) 複数の画素を有するアレイ及び画素情報転送方法
Jaklin et al. Low-power techniques on a CMOS vision sensor chip for event generation by frame differencing with high dynamic range
CN109863603A (zh) 具有电子收集电极和空穴收集电极的图像传感器
JP2022064801A (ja) 画像センサー及び電子デバイス
KR102106745B1 (ko) 이미징 애플리케이션을 위한 확장된 높은 동적 범위 직접 주입 회로
US20080055448A1 (en) Image Sensor, and Image Pickup Apparatus Using Same
CN111212247B (zh) 一种偏振式图像传感器、信号处理方法及存储介质
JP2020149304A (ja) 撮像装置および表情検出方法
US20230209216A1 (en) Image sensor with in-pixel background subtraction and motion detection
US20100177229A1 (en) Image Sensing System And Method Utilizing A Mosfet
US11622087B2 (en) Image sensor with in-pixel background subtraction and motion detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant