CN118283446A - 图像传感器的电路及成像方法、像素单元电路及设备 - Google Patents
图像传感器的电路及成像方法、像素单元电路及设备 Download PDFInfo
- Publication number
- CN118283446A CN118283446A CN202211728942.2A CN202211728942A CN118283446A CN 118283446 A CN118283446 A CN 118283446A CN 202211728942 A CN202211728942 A CN 202211728942A CN 118283446 A CN118283446 A CN 118283446A
- Authority
- CN
- China
- Prior art keywords
- signal
- readout
- voltage
- module
- voltage signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 203
- 230000010354 integration Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 11
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 241000288906 Primates Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000025518 detection of mechanical stimulus involved in sensory perception of wind Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Abstract
本申请公开了一种图像传感器的电路及成像方法、像素单元及设备,在原有读出脉冲信号的结构外,包括:第二信号读出行选择器、第二信号读出单元及在其中像素阵列的各个像素单元中,分别设置第二信号读出模块,第二信号为电压信号。其中,第二信号读出行选择器,用于在像素阵列中选通至少一行的像素单元,使所述像素单元中的第二信号读出模块获取自身的第二信号,通过所述第二信号读出单元输出。在对各个像素单元进行图像重构时,基于各个像素单元读出的第一信号及读出的第二信号相结合实现,第一信号可以为脉冲信号。在暗光场景下,提高了重构的图像质量。
Description
技术领域
本申请涉及图像传感器成像的技术领域,特别涉及一种图像传感器的电路及成像方法、像素单元及设备。
背景技术
图像传感器一直以来就是研究的热点,图像传感器通过将景物投射在自身的像素阵列后,由该像素阵列中的各个像素单元将光强信号转换为电信号,进行模数转换后得到数字信号,输出或/和存储,后续采用该像素阵列的各个像素单元的数字信号对景物进行图像重构。
随着图像传感器的发展,出现了脉冲序列式图像传感器。仿生的脉冲序列式图像传感器作为神经形态视觉传感器,具有高帧频和低数据吞吐量的特点,满足其高速成像的需求。脉冲序列式图像传感器通过仿灵长类生物中视网膜的成像方式,以高密度脉冲序列的发放记录场景中连续的光强信号,可以实现对高速运动的捕捉和记录,又可重构出场景中纹理细节,因此在机器视觉和动态场景捕获等方向有较大的应用价值。
在具体应用中,脉冲序列式图像传感器的像素阵列中的各个像素单元读出的脉冲信号的时间间隔,对应于各个像素单元的光照强度。即,当某一像素单元的光照强度比较弱时,则该像素单元读出的脉冲信号的时间间隔就会比较长,单位时间内可以被利用成像的脉冲信号的信息量较少,导致后续基于各个像素单元的脉冲信号进行图像重构的图像质量不高。
因此,对于脉冲序列式传感器的像素阵列中的像素单元,如何提高其在暗光场景下可被利用图像重构的信息量,提高重构的图像质量,是一个亟待解决的问题。
发明内容
有鉴于此,本申请实施例提供了一种图像传感器的电路及成像方法,能够提高其中像素阵列中的像素单元,在暗光场景下可被利用图像重构的信息量,提高重构的图像质量。
本申请实施例还提供一种图像传感器的像素阵列中的像素单元电路,能够提高其中像素阵列中的像素单元,在暗光场景下可被利用图像重构的信息量,提高重构的图像质量。
本申请实施例的一个实施例中,提供一种图像传感器的电路,包括:第一信号读出行选择器、第二信号读出行选择器、像素阵列、第二信号读出单元及第一信号读出单元,其中,
所述第一信号读出行选择器,向所述像素阵列中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列中的一行像素单元输出第一信号;
所述第二信号读出行选择器,响应于接收到的第二信号行选控制指令,向所述行的像素单元传输第二信号行读出信号,以选通所述行的像素单元输出第二信号;
所述像素阵列,由排列成至少一行的多个像素单元组成,其中,接收到所述第一信号行读出信号的像素单元,在判定符合第一信号产生条件时,生成所述第一信号,通过所述第一信号读出单元输出所述第一信号,且在所述第一信号符合复位条件时执行复位操作;接收到所述第二信号行读出信号的所述像素单元获取自身的第二信号,并通过所述第二信号读出单元输出。
在上述电路中,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号;
在上述电路中,所述第一信号读出行选择器包括:脉冲信号读出行选择器,所述第二信号读出行选择器包括:电压信号读出行选择器,所述第一信号读出单元包括:脉冲信号读出单元,所述第二信号读出单元包括:电压信号读出单元。
在上述电路中,还包括:控制单元,用于向所述电压信号读出行选择器发送所述电压信号行选控制指令,以使所述电压信号读出行选择器确定选通所述像素阵列中的所述行像素单元输出电压信号,生成对应所述行的像素单元的电压信号行读出信号;
所述控制单元,还用于向所述电压信号读出单元发送读出电压信号控制指令,以使所述电压信号读出单元在所述读出电压信号控制指令的控制下,将接收的所述像素单元的电压信号输出。
在上述电路中,还包括:控制单元,用于向所述脉冲信号读出行选择器发送脉冲信号行选控制指令,以使所述脉冲信号读出行选择器确定选通所述像素阵列中的所述行像素单元输出所述脉冲信号,生成所述对应行的像素单元的脉冲信号行读出信号;
所述控制单元,还用于向所述脉冲信号读出单元发送读出脉冲信号控制指令,以使所述脉冲信号读出单元在所述读出脉冲信号控制指令的控制下,将接收的所述像素单元的脉冲信号输出。
在上述电路中,还包括:图像处理单元,用于基于接收的所述电压信号读出单元输出的所述像素单元的电压信号,及接收的所述脉冲信号读出单元输出的所述像素单元的脉冲信号,重构所述像素单元的图像。
在上述电路中,所述像素单元包括:第二信号读出模块、感光积分模块、复位信号接收模块以及第一信号读出模块,其中,
所述感光积分模块,当接收到所述复位信号接收模块发送的复位信号时进行复位,在选通状态下,将光信号转换成的电压信号,输出给所述第一信号读出模块;
所述第一信号读出模块,将所述电压信号与预设的阈值信号进行比较,当所述电压信号高于所述阈值信号时,生成高幅值的脉冲信号,在接收到所述脉冲信号行读出信号后,输出所述高幅值的脉冲信号,并将所述高幅值的脉冲信号发送给所述复位信号接收模块;否则,生成低幅值的脉冲信号,在接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号;
所述复位信号接收模块,从所述第一信号读出模块接收到高幅值的脉冲信号后,生成复位信号,发送给所述感光积分模块;
所述第二信号读出模块,在选通状态下,响应于接收的所述电压信号行读出信号,从所述感光积分模块读取电压信号并输出。
在上述电路中,所述第一信号读出模块包括:第二比较器、第一复位子模块以及第一脉冲信号存储读出子模块,所述复位信号接收模块包括:第四晶体管,所述感光积分模块包括:第二发光二极管PD,所述第二信号读出模块包括第五晶体管)及第六晶体管,其中,
所述第四晶体管的栅极与所述第一复位子模块的输出端连接,从所述第一复位子模块(20122)接收高幅值的脉冲信号,并处于导通状态;
所述第一复位子模块的输入端与所述第二比较器的输出端相连,输出端分别接入所述第四晶体管的栅极及所述第一脉冲信号存储读出子模块;所述第二比较器的一输入端与所述第二PD的输出端相连,另一输入端接入预设的阈值电压;所述第四晶体管的源极与所述第二PD的输出端连接,所述第二PD的输入端接地,所述第五晶体管的栅极接入所述第二PD的输出端,漏极接入所述第四晶体管的漏极,源极接入所述第六晶体管的漏极;所述第六晶体管(3b4)的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第五晶体管,获取所述第二PD的电压信号;
将所述第二PD发送的电压信号经过所述第二比较器判断大于或等于预设的阈值电压时,所述第一复位子模块生成所述高幅值的脉冲信号,传输给所述第四晶体管以使其执行复位操作,且将所述高幅值的脉冲信号发送给所述第一脉冲信号存储读出子模块进行存储,当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块输出所述高幅值的脉冲信号;当所述第二PD发送的电压信号经过所述第二比较器判断小于所述阈值电压时,所述第一复位子模块生成所述低幅值的脉冲信号,发送给所述第一脉冲信号存储读出子模块进行存储;当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块输出所述低幅值的脉冲信号。
在上述电路中,所述第一信号读出模块包括:第三比较器、第二复位子模块以及第二脉冲信号存储读出子模块,所述复位信号接收模块包括:第七晶体管,所述感光积分模块包括:第三PD,所述第二信号读出模块包括第八晶体管及第九晶体管,其中,
所述第七晶体管的栅极与所述第二复位子模块输出端连接,从所述第二复位子模块接收高幅值的脉冲信号,并处于导通状态;
所述第二复位子模块的输入端与所述第二脉冲信号存储读出子模块相连,输出端接入所述第七晶体管的栅极;所述第三比较器的一输入端与所述第三PD的输出端相连,另一输入端接入预设的阈值电压;所述第七晶体管的源极与所述第三PD的输出端连接,所述第三PD的输入端接地,所述第八晶体管的栅极接入所述第三PD的输出端,漏极接入所述第七晶体管的漏极,源极接入所述第九晶体管的漏极;所述第九晶体管的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第八晶体管,获取所述第三PD的电压信号;
将所述第三PD发送的电压信号经过所述第三比较器判断大于或等于预设的阈值电压时,所述第二脉冲信号存储读出子模块生成所述高幅值的脉冲信号,传输给所述第二复位子模块,以使其驱动第七晶体管执行复位操作,当接收到所述脉冲信号行读出信号后,所述第二脉冲信号存储读出子模块输出所述高幅值的脉冲信号;当所述第三PD发送的电压信号经过所述第三比较器判断小于所述阈值电压时,所述第二脉冲信号存储读出子模块生成所述低幅值的脉冲信号,当接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号。
在上述电路中,所述脉冲信号读出行选择器,在相邻的第一时刻和第二时刻,分别向所述像素阵列中所述行的像素单元传输所述脉冲信号行读出信号,以选通所述像素阵列中的所述行的像素单元输出所述脉冲信号;
所述电压信号读出行选择器,在所述第一时刻和第二时刻之间的第三时刻向所述行的像素单元传输所述电压信号行读出信号,以选通所述行的像素单元输出所述电压信号,且所述第三时刻和第一时刻之间的差值大于所述像素单元的复位时间。
本申请的另一实施例中,提供一种图像传感器中的信号读出方法,包括:
第一信号读出行选择器向像素阵列中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列中一行的像素单元,使其输出第一信号;
接收到所述第一信号行读出信号的所述像素单元,输出由光信号转换得到的所述第一信号;
响应于接收到的第二信号行选控制指令,第二信号读出行选择器,向所述像行的像素单元传输第二信号行读出信号,以选通所述行中的像素单元,使其输出第二信号;
接收到所述第二信号行读出信号的所述像素单元,读取并输出所述第二信号。
在上述方法中,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号;
所述第一信号读出行选择器包括:脉冲信号读出行选择器,所述第二信号读出行选择器包括:电压信号读出行选择器。
本申请的再一实施例中,提供一种图像传感器电路进行成像的方法,包括:
接收所述图像传感器的电路中的一像素单元发送的第一信号;
接收所述像素单元发送的第二信号;
基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像。
在上述方法中,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号。
在上述方法中,接收所述图像传感器的电路中的一像素单元发送的第一信号包括:在相邻的第一时刻和第二时刻接收所述像素单元发送的脉冲信号;
所述接收所述像素单元发送的所述第二信号包括:在所述第一时刻和第二时刻之间的第三时刻接收所述像素单元发送的所述电压信号;
所述第三时刻和第一时刻之间的差值大于所述像素单元的复位时间。
在上述方法中,所述基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像包括:
基于与预设的成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述成像时刻的光强值,基于所述成像时刻的光强值,对所述成像时刻的所述单元的图像进行重构;或者,
基于与预设的成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述成像时刻的光强值;基于与所述成像时刻的至少一相邻成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述相邻成像时刻的光强值;将所述成像时刻的光强值及所述相邻成像时刻的光强值,进行加权求和后得到所述成像时刻的光强信号的光强值,采用所述成像时刻的光强信号的光强值,对所述成像时刻的所述像素单元的图像进行重构。
在上述方法中,所述计算得到所述成像时刻的光强值,或者计算得到所述相邻成像时刻的光强值包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻与所述当前成像时刻之前相邻的读出脉冲信号时刻之间是否有读出的电压信号,如果否,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;如果是,采用所述电压信号的光强值作为所述当前成像时刻的光强值;
或者,所述计算得到所述成像时刻的光强值,或者计算得到所述相邻成像时刻的光强值包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻为读出脉冲信号时刻的情况下,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;
确定所述当前成像时刻为读出电压信号时刻的情况下,采用所述电压信号的光强值作为所述当前成像时刻的光强值。
在上述方法中,所述采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值包括:
在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;将所述第一乘积值与读出脉冲信号时刻的间隔之间的比值,作为所述当前成像时刻的光强值;
或者,在所述当前成像时刻上,所述像素单元的复位电压值与所述当前成像时刻相邻的读出电压信号时刻读出的电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第四乘积值,将所述第四乘积值与所述当前成像时刻与所述当前成像时刻相邻的读出电压信号时刻之间的比值,作为所述当前成像时刻的光强值。
在上述方法中,当所述图像传感器采用同步复位方式对所述像素单元进行复位时,采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值。
在上述方法中,当所述图像传感器采用异步复位方式进行所述像素单元的复位时,采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;
在所述电压信号无法准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;所述第一乘积值与脉冲信号读出间隔之间的比值,作为所述当前成像时刻的光强值;
在所述电压信号准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值,与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值,与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔,之间的比值,作为所述当前成像时刻的光强值。
在上述方法中,所述确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值包括:
所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否存在所述高幅值的脉冲信号,如果是,则确定所述电压信号未准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;如果否,则确定所述电压信号准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值。
本申请的再一实施例中,提供一种图像传感器中的像素单元,所述像素单元包括在图像传感器的像素阵列中,所述像素阵列由排列成至少一行的多个像素单元组成,所述像素单元包括:第二信号读出模块、感光积分模块、复位信号接收模块、比较器及第一信号读出子模块,其中,
所述感光积分模块,与所述复位信号接收模块及比较器的输入端连接,接收所述复位信号接收模块发送的复位信号后复位,在选通状态下,将光信号转换成电信号,输出给所述比较器;
所述比较器,输入端与所述感光积分模块相连,输出端与所述第一信号读出子模块连接,将所述电信号与预设的阈值信号进行比较,将得到的比较结果发送给所述第一信号读出子模块;
所述第一信号读出子模块,与所述比较器的输出端连接及与所述复位信号接收模块相连,根据从所述比较器接收的比较结果,生成高幅值的第一信号或低幅值的第一信号,发送给所述复位信号接收模块;
所述复位信号接收模块,与所述第一信号读出子模块相连,从所述第一信号读出子模块接收到所述高幅值的第一信号后,生成复位信号,发送给所述感光积分模块(2011);
所述第二信号读出模块,在选通状态下,从所述感光积分模块读取第二信号,并输出所述第二信号。
本申请再一实施例中,提供一种进行成像的设备,采用图像传感器,所述设备包括:上述的电路,和/或上述的方法,和/或具有上述的像素单元的像素阵列芯片。
在上述设备中,所述设备至少包括如下之一者:
相机、摄像头、音/视频播放器、导航设备、固定位置终端、娱乐设备、智能手机、通信设备、移动设备、交通工具或设施、工业设备、医疗设备、安防设备、飞行设备、家电设备。
从本申请实施例可以看出,本申请实施例提供了一种新的图像传感器,所述图像传感器在原有读出脉冲信号的结构外,还包括:第二信号读出行选择器、第二信号读出单元及在其中像素阵列的各个像素单元中,分别设置第二信号读出模块,第二信号为电压信号。其中,第二信号读出行选择器,用于在像素阵列中选通至少一行的像素单元,使所述像素单元中的第二信号读出模块获取自身的第二信号,通过所述第二信号读出单元输出。所述图像传感器在对各个像素单元进行图像重构时,基于各个像素单元读出的第一信号及读出的第二信号相结合实现,第一信号可以为脉冲信号。这样,在暗光场景下,图像传感器的像素阵列中的各个像素单元,单位时间内可以被利用图像重构的脉冲信号的信息量较少时,可以采用读出的第二信号的信息量进行补足,提高了单位时间内可以被利用图像重构的信息量,从而提高了重构的图像质量。
附图说明
图1为本申请实施例提供的一种图像传感器的电路结构示意图;
图2为本申请实施例提供的在图像传感器的像素阵列中的像素单元的结构示意图;
图2a为本申请实施例提供的像素单元的具体结构一示意图;
图2b为本申请实施例提供的像素单元的具体结构二示意图;
图2c为本申请实施例提供的像素单元的具体结构三示意图;
图3为本申请实施例提供的图像传感器的信号读出方法流程图;
图4为基于图1所述的电路中的像素单元的成像方法流程图;
图5为本申请实施例提供的图像传感器电路的具体例子结构示意图;
图6为本申请实施例提供的采用图5的图像传感器进行成像的方法具体例子流程图;
图7为本申请实施例提供的任意选取一个像素单元分别读出脉冲信号及电压信号的时序及幅值示意图;
图8为本申请实施例提供的针对如图6所示的具体实施例的所施加电压的时序图;
图9为本申请实施例提供的一种脉冲相机的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本申请的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
从背景技术可以得知,脉冲序列式图像传感器是基于像素阵列中的各个像素单元读出的脉冲信号进行图像重构的,而各个像素单元读出脉冲信号的时间间隔受到对应的光照强度的影响。也就是说,当某一像素单元在暗光场景下,所述像素单元的由光累计得到能够转换为脉冲信号的电荷的时间较长,使得电荷到达转换脉冲信号的阈值电压时,被输出为脉冲信号的时间较长,导致了所述像素单元读出脉冲信号的时间间隔长。因此,在暗光场景下,脉冲序列式图像传感器的像素阵列中的各个像素单元,单位时间内可以被利用图像重构的脉冲信号的信息量较少,导致后续基于各个像素单元的脉冲信号进行图像重构时,重构的图像质量不高。
为了克服上述问题,可以采用对脉冲序列式图像传感的像素阵列中的各个像素单元的阈值电压进行调整的方式。即将暗光场景下的像素单元的阈值电压降低,使得所述像素单元输出脉冲信号的间隔变短,从而所述像素单元在单位时间内可以被利用重构图像的脉冲信号的信息量增大,提高重构的图像质量。但是,申请人发现,这种方式需要实时根据各个像素单元所处的当前光照场景的明暗,分别调整对应的阈值电压,比较繁琐,需要人为实时检测各个像素单元所处光照场景的明暗且进行对应的阈值电压调整,不容易实现。因此,申请人采用了另一种方式来解决在暗光场景下,脉冲序列式图像传感器的像素阵列中的各个像素单元,单位时间内可以被利用成像的脉冲信号的信息量较少的问题。
本申请实施例提供了一种新的图像传感器,所述图像传感器在原有读出脉冲信号的结构外,还包括:第二信号读出行选择器、第二信号读出单元及在其中像素阵列的各个像素单元中,分别设置第二信号读出模块,第二信号为电压信号。其中,第二信号读出行选择器,用于在像素阵列中选通至少一行的像素单元,使所述像素单元中的第二信号读出模块获取自身的第二信号,通过所述第二信号读出单元输出。所述图像传感器在对各个像素单元进行图像重构时,基于各个像素单元读出的第一信号及读出的第二信号相结合实现。
更进一步地,所述图像传感器还包括控制单元,用于控制第二信号读出行选择器进行像素阵列中的第二信号读出选通行的选择,及用于控制所述第二信号读出单元进行各个像素单元的第二信号的输出。
这样,本申请实施例提供的图像传感器不仅可以获取到各个像素单元的第一信号,第一信号包括了脉冲信号,还可以获取到各个像素单元的第二信号。在后续针对某一像素单元的图像重构时,可以将第一信号和第二信号结合实现,从而提高了单位时间内可以被利用图像重构的信息量。这样,在暗光场景下,图像传感器的像素阵列中的各个像素单元,单位时间内可以被利用成像的脉冲信号的信息量较少时,可以采用第二信号,即电压信号的信息量补足,提高了单位时间内可以被利用重构图像的信息量,从而提高了重构的图像质量。
图1为本申请实施例提供的一种图像传感器的电路结构示意图,如图所示,包括:第一信号读出行选择器11、第二信号读出行选择器12、像素阵列201、第二信号读出单元13及第一信号读出单元104,其中,
所述第一信号读出行选择器11,向所述像素阵列201中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列201中的一行像素单元输出第一信号;
所述第二信号读出行选择器12,响应于接收到的第二信号行选控制指令,向所述行的像素单元传输第二信号行读出信号,以选通所述行的像素单元输出第二信号;
所述像素阵列201,由排列成至少一行的多个像素单元组成,其中,接收到所述第一信号行读出信号的像素单元,在判定符合第一信号产生条件时,生成所述第一信号,通过所述第一信号读出单元14输出所述第一信号,且在所述第一信号符合复位条件时执行复位操作;接收到所述第二信号行读出信号的所述像素单元获取自身的第二信号,并通过所述第二信号读出单元13输出。
在上述电路结构中,所述第一信号包括:脉冲信号;进一步可以包括:或电压信号、或具有限位的数值,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号。
在上述电路结构中,所述第一信号读出行选择器11包括:脉冲信号读出行选择器101,所述第二信号读出行选择器12包括:电压信号读出行选择器102,所述第一信号读出单元14包括:脉冲信号读出单元104,所述第二信号读出单元13包括:电压信号读出单元103。
具体的电路结构可以参照后续图5的说明。以下以所述第一信号读出行选择器11为脉冲信号读出行选择器101,所述第二信号读出行选择器12为电压信号读出行选择器102,所述第一信号读出单元14为脉冲信号读出单元104,以及所述第二信号读出单元13为电压信号读出单元103,举例说明。
在上述电路结构中,还包括:控制单元105,用于向所述电压信号读出行选择器102发送电压信号行选控制指令,以使所述电压信号读出行选择器102确定选通所述像素阵列201中的所述行像素单元输出电压信号,生成对应所述行的像素单元的电压信号行读出信号。在这里,所述控制单元105在控制所述电压信号读出行选择器102,选通同一行像素单元的频率较低,以使所述像素单元低频读出自身电压信号,即所述像素单元读出电压信号的频率低于读出脉冲信号的频率。
所述控制单元105,还用于向所述电压信号读出单元103发送读出电压信号控制指令,以使所述电压信号读出单元103在所述读出电压信号控制指令的控制下,将接收的所述像素单元的电压信号输出。在这里,在输出所述像素单元的电压信号时,也是以低频方式输出。
在上述电路结构中,所述控制单元105,还用于向所述脉冲信号读出行选择器101发送脉冲信号行选控制指令,以使所述脉冲信号读出行选择器101确定选通所述像素阵列201中的所述行像素单元输出脉冲信号,生成所述对应行的像素单元的脉冲信号行读出信号。在这里,所述脉冲信号读出行选择器101在所述控制单元105的控制下,高频控制所述像素单元输出脉冲信号,输出脉冲信号的频率受到所述控制单元105发送的脉冲信号行选控制指令的控制。
所述控制单元105,还用于向所述脉冲信号读出单元104发送读出脉冲信号控制指令,以使所述脉冲信号读出单元104在所述读出脉冲信号控制指令的控制下,将接收的所述像素单元的脉冲信号输出。在这里,在输出所述像素单元的脉冲信号时,是以高频方式输出。
在上述电路结构中,还包括图像处理单元106,用于基于接收的所述电压信号读出单元103输出的所述像素单元的电压信号,及接收的所述脉冲信号读出单元104输出的所述像素单元的脉冲信号,重构所述像素单元的图像。
在图1所示的电路中,像素阵列201中由采用行列方式排列的至少一行的多个像素单元,可以是m*n个像素单元,也就是m行n列的像素单元,其中,m和n表示的是自然数。
图2为本申请实施例提供的在图像传感器的像素阵列中的像素单元的结构示意图,包括:第二信号读出模块2013、感光积分模块2011、复位信号接收模块2014以及第一信号读出模块2012,其中,
所述感光积分模块2011,当接收到所述复位信号接收模块2014发送的复位信号时进行复位,在选通状态下,将光照条件下的光信号转换成电信号,输出给所述第一信号读出模块2012;
所述第一信号读出模块2012,将所述电压信号与预设的阈值信号进行比较,当所述电信号高于所述阈值信号时,生成高幅值的第一信号,在接收到所述第一信号行读出信号后,输出所述高幅值的第一信号,并将所述高幅值的第一信号发送给所述复位信号接收模块2014;否则,生成低幅值的第一信号,在接收到所述第一信号行读出信号后,输出所述低幅值的第一信号;
所述复位信号接收模块2014,从所述第一信号读出模块2012接收到高幅值的第一信号后,生成复位信号,发送给所述感光积分模块2011;
所述第二信号读出模块2013,在选通状态下,响应于接收的所述第二信号行读出信号,从所述感光积分模块2011读取第二信号并输出。
在这里,第一信号读出模块2012包括脉冲信号读出模块,第二信号读出模块2013包括电压信号读出模块。
所述复位信号接收模块2014由晶体管实现。
在所述像素单元中,所述感光积分模块2011采用PD实现。
在具体实现上,每个像素单元包括:第二信号读出模块2013、感光积分模块2011、复位信号接收模块2014、比较器2012a及第一信号读出子模块2012b,其中,
所述感光积分模块2011,与所述复位信号接收模块2014及比较器2012a的输入端连接,接收所述复位信号接收模块2014发送的复位信号后复位,在选通状态下,将光信号转换成电信号,输出给所述比较器2012a;
所述比较器2012a,输入端与所述感光积分模块2011相连,输出端与所述第一信号读出子模块2012b连接,将所述电信号与预设的阈值信号进行比较,将得到的比较结果发送给所述第一信号读出子模块2012b;
所述第一信号读出子模块2012b,与所述比较器2012a的输出端连接及与所述复位信号接收模块2014相连,根据从所述比较器2012a接收的比较结果,生成高幅值的第一信号或低幅值的第一信号,发送给所述复位信号接收模块2014;
所述复位信号接收模块2014,与所述第一信号读出子模块2012b相连,从所述第一信号读出子模块2012b接收到所述高幅值的第一信号后,生成复位信号,发送给所述感光积分模块2011;
所述第二信号读出模块2013,在选通状态下,从所述感光积分模块2011读取第二信号,并输出所述第二信号。
图2a为本申请实施例提供的像素单元的具体结构一示意图。在图中,包括了感光积分模块2011、复位信号接收模块2014及第二信号读出模块2013的具体电路结构。所述复位信号接收模块2014包括:第一晶体管3a2,所述感光积分模块2011包括第一发光二极管PD3a1,所述第二信号读出模块2013包括第二晶体管3a3及第三晶体管3a4,所述第一信号读出模块2012包括第一比较器3a5、以及脉冲信号复位及读出子模块3a6,其中,
所述第一晶体管3a2的栅极与所述脉冲信号复位及读出子模块3a6的输出端相连,从所述脉冲信号复位及读出子模块3a6接收高幅值的脉冲信号,并处于导通状态;
所述脉冲信号复位及读出子模块3a6的输入端与所述第一比较器3a5的输出端相连,所述第一比较器3a5的一输入端与所述PD3a1的输出端相连,另一输入端接入预设的阈值电压Qref;所述第一晶体管3a2的源极与所述PD3a1的输出端连接,所述第一PD3a1的输入端接地,所述第二晶体管3a3的栅极接入所述PD3a1的输出端,漏极接入所述第一晶体管3a2的漏极,源极接入所述第三晶体管3a4的漏极;所述第三晶体管3a4的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第二晶体管3a3,获取所述第一PD3a1的电压信号;
当所述第一PD3a1在选通状态时,在光照条件下,所述第一PD3a1积分生成光生电流ID,产生光生电荷QD,当光生电荷QD生成所述电压信号,当所述电压信号经过所述第一比较器3a5判断大于或等于所述阈值电压Qref时,生成所述高幅值的脉冲信号并存储在所述脉冲信号复位及读出子模块3a6,在接收到所述脉冲信号行读出信号后,由所述脉冲信号复位及读出子模块3a6驱动所述第一晶体管3a2对所述第一PD3a执行复位操作,并输出所述高幅值的脉冲信号;当所述电信号经过所述第一比较器3a5判断小于所述阈值电压Qref,生成所述低幅值的脉冲信号并存储在所述脉冲信号复位及读出子模块3a6中,在接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号。
在上述电路中,第一信号读出模块2012的实现有两种方式,一种是异步复位方式,另一种是同步复位方式。
图2b为本申请实施例提供的所述像素单元的具体结构二示意图,在该具体结构中,第一信号读出模块2012采用了异步复位方式,包括了:第二比较器3b5、第一复位子模块20122以及第一脉冲信号存储读出子模块20121。复位子模块20122以及脉冲信号存储读出子模块20121组成了图2a中的脉冲信号复位及读出子模块3a6;所述复位信号接收模块2014包括:第四晶体管3b2,所述感光积分模块2011包括:第二PD3b1,所述第二信号读出模块2013包括第五晶体管3b3及第六晶体管3b4。
所述第四晶体管3b2的栅极与所述第一复位子模块20122输出端连接,从所述第一复位子模块20122接收高幅值的脉冲信号,并处于导通状态;
所述第一复位子模块20122的输入端与所述第二比较器3b5的输出端相连,输出端分别接入所述第四晶体管3b2的栅极及脉冲信号存储读出子模块20121;所述第二比较器3b5的一输入端与所述第二PD3b1的输出端相连,另一输入端接入预设的阈值电压;所述第四晶体管3b2的源极与所述第二PD3b1的输出端连接,所述第二PD3b1的输入端接地,所述第五晶体管3b3的栅极接入所述第二PD3b1的输出端,漏极接入所述第四晶体管3b2的漏极,源极接入所述第六晶体管3b4的漏极;所述第六晶体管3b4的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第五晶体管3b3,获取所述第二PD3b1的电压信号;
将所述第二PD3b1发送的电压信号经过所述第二比较器3b5判断大于或等于预设的阈值电压时,所述第一复位子模块20122生成所述高幅值的脉冲信号,传输给所述第四晶体管3b2以使其执行复位操作,且将所述高幅值的脉冲信号发送给所述第一脉冲信号存储读出子模块20121进行存储,当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块20121输出所述高幅值的脉冲信号;当所述第二PD3b1发送的电压信号经过所述第二比较器3b5判断小于所述阈值电压时,所述第一复位子模块20122生成所述低幅值的脉冲信号,发送给所述第一脉冲信号存储读出子模块20121进行存储;当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块20121输出所述低幅值的脉冲信号。
在这种情况下,所述第一脉冲信号复位及读出子模块20121输出脉冲信号的时刻与所述第二PD3a1复位的时刻并不是同时发生的,所以是异步复位方式。所述第一脉冲信号复位及读出子模块20121输出脉冲信号受到了所述脉冲信号读出行选择器101发送的脉冲信号行读出信号的控制,通常在所设置的一个时钟周期内,如果没有高幅值的脉冲信号输出,则也会输出低幅值的脉冲信号。
图2c为本申请实施例提供的所述像素单元的具体结构三示意图,在该具体结构中,第一信号读出模块2012采用了同步复位方式,具体包括了:第三比较器3c5、第二复位子模块201222以及第二脉冲信号存储读出子模块201211。第二复位子模块201222以及第二脉冲信号存储读出子模块201211组成了图2a中的脉冲信号复位及读出子模块3a6;所述复位信号接收模块2014包括:第七晶体管3c2,所述感光积分模块2011包括:第三PD3c1,所述第二信号读出模块2013包括第八晶体管3c3及第九晶体管3b4,其中,
所述第七晶体管3c2的栅极与所述第二复位子模块201222输出端连接,从所述第二复位子模块201222接收高幅值的脉冲信号,并处于导通状态;
所述第二复位子模块201222的输入端与所述第二脉冲信号存储读出子模块201211相连,输出端接入所述第七晶体管(3c2)的栅极;所述第三比较器3c5的一输入端与所述第三PD3c1的输出端相连,另一输入端接入预设的阈值电压;所述第七晶体管3c2的源极与所述第三PD3c1的输出端连接,所述第三PD3c1的输入端接地,所述第八晶体管3c3的栅极接入所述第三PD3c1的输出端,漏极接入所述第七晶体管3c2的漏极,源极接入所述第九晶体管3c4的漏极;所述第九晶体管3c4的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第八晶体管3c3,获取所述第三PD3c1的电压信号;
将所述第三PD3c1发送的电压信号经过所述第三比较器3c5判断大于或等于预设的阈值电压时,所述第二脉冲信号存储读出子模块201211生成所述高幅值的脉冲信号,传输给所述第二复位子模块201222,以使其驱动第七晶体管3c2执行复位操作,当接收到所述脉冲信号行读出信号后,所述第二脉冲信号存储读出子模块201211输出所述高幅值的脉冲信号;当所述第三PD3c1发送的电压信号经过所述第三比较器3c5判断小于所述阈值电压时,所述第二脉冲信号存储读出子模块201211生成所述低幅值的脉冲信号,当接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号。
在这种情况下,所述第二脉冲信号复位及读出子模块201211输出脉冲信号的时刻与所述第三PD3c1复位的时刻是同时发生的,所以是同步复位方式。所述第二脉冲信号复位及读出子模块201211输出脉冲信号受到了所述脉冲信号读出行选择器101发送的脉冲信号行读出信号的控制,通常在所设置的一个时钟周期内,如果没有高幅值的脉冲信号输出,则也会输出低幅值的脉冲信号。
在上述结构中,无论第一信号读出模块2012采用异步复位方式还是采用同步复位方式,在具体实现时,其中的第一脉冲信号存储读出子模块20121或第二脉冲信号存储读出子模块201211是由RS触发器及与其相连的三态门实现,第一复位子模块20122或第二复位子模块201222采用诸如多路选择器(MUX)的通路选择器实现。
在实现了上述图像传感器的电路后,就可以基于上述的图像传感器进行图像重构了。图3为本申请实施例提供的图像传感器中的信号读出方法流程图,其具体步骤包括:
步骤301、第一信号读出行选择器向像素阵列中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列中一行的像素单元,使其输出第一信号;
步骤302、接收到所述第一信号行读出信号的所述像素单元,输出由光信号转换得到的所述第一信号;
步骤303、响应于接收到的第二信号行选控制指令,第二信号读出行选择器,向所述像行的像素单元传输第二信号行读出信号,以选通所述行中的像素单元,使其输出第二信号;
步骤304、接收到所述第二信号行读出信号的所述像素单元,读取并输出所述第二信号。
在上述方法中,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号;
所述第一信号读出行选择器包括:脉冲信号读出行选择器,所述第二信号读出行选择器包括:电压信号读出行选择器。
在本申请实施例中,基于图1所述的电路,像素单元进行成像的方法如图4所示,其具体步骤包括:
步骤401、接收所述图像传感器的电路中的一像素单元发送的第一信号;
步骤402、接收所述像素单元发送的第二信号;
步骤403、基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像。
在上述方法中,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号。以下以第一信号为脉冲信号,以第二信号为电压信号对方法进行详细说明。
在上述方法中,接收所述图像传感器的电路中的一像素单元发送的第一信号包括:在相邻的第一时刻和第二时刻接收所述像素单元发送的脉冲信号;
所述接收所述像素单元发送的所述第二信号包括:在所述第一时刻和第二时刻之间的第三时刻接收所述像素单元发送的所述电压信号;
所述第三时刻和第一时刻之间的差值大于所述像素单元的复位时间。
在该方法中,所述基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像包括:
基于与预设的成像时刻相关的,所述像素单元输出的所述脉冲信号及输出的所述电压信号,计算得到所述成像时刻的光强值,基于所述成像时刻的光强值,对所述成像时刻的所述单元的图像进行重构。
也就是说,在所述成像时刻对所述像素单元重构图像时,是直接采用计算得到的所述成像时刻的光强值即可。
在该方法中,基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像包括:
基于与预设的成像时刻相关的,所述像素单元输出的所述脉冲信号及输出的所述电压信号,计算得到所述成像时刻的光强值;
或者,基于与预设的成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述成像时刻的光强值;
基于与所述成像时刻的至少一相邻成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述相邻成像时刻的光强值;将所述成像时刻的光强值及所述相邻成像时刻的光强值,进行加权求和后得到所述成像时刻的光强信号的光强值,采用所述成像时刻的光强信号的光强值,对所述成像时刻的所述像素单元的图像进行重构。
在上述方法中,计算所述成像时刻或者计算所述成像时刻的至少一相邻成像时刻的光强值的过程包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻与所述当前成像时刻之前相邻的读出脉冲信号时刻之间是否有读出的电压信号,如果否,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;如果是,采用所述电压信号的光强值作为所述当前成像时刻的光强值。
在上述过程中,所述当前成像时刻一般为读出脉冲信号时刻。
当然,在具体实现时,所述当前成像时刻也可以为读出脉冲信号时刻或者读出电压信号时刻,在这种情况下,计算所述成像时刻或者计算所述成像时刻的至少一相邻成像时刻的光强值的过程包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻为读出脉冲信号时刻的情况下,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;
确定所述当前成像时刻为读出电压信号时刻的情况下,采用所述电压信号的光强值作为所述当前成像时刻的光强值。
在这里,采用所述当前成像时刻读出的脉冲信号值作为所述当前成像时刻的光强值包括:在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;所述第一乘积值与脉冲信号读出间隔之间的比值,作为所述当前成像时刻的光强值。
所述当前成像时刻的光强值计算公式为:ΔQ/Δt,其中ΔQ=CPD×(Vrst-Vth),CPD代表所述像素单元中的感光积分模块的电容值,Vrst代表所述像素单元的复位电压值,Vth代表所述像素单元的阈值电压值,Δt为所述像素单元中读出脉冲信号的读出间隔。
或者,采用所述当前成像时刻读出的脉冲信号值作为所述当前成像时刻的光强值包括:在所述当前成像时刻上,所述像素单元的复位电压值与所述当前成像时刻相邻的读出电压信号时刻读出的电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第四乘积值,将所述第四乘积值与所述当前成像时刻与所述当前成像时刻相邻的读出电压信号时刻之间的比值,作为所述当前成像时刻的光强值。
在这里,采用所述电压信号的光强值作为所述当前成像时刻的光强值时,在图像传感器采用不同的复位方式复位所述像素单元时,采用的具体方法也不同。
当图像传感器采用同步复位方式进行所述像素单元的复位时,采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值。
当图像传感器采用异步复位方式进行所述像素单元的复位时,所述采用采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;
在所述电压信号无法准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;所述第一乘积值与脉冲信号读出间隔之间的比值,作为所述当前成像时刻的光强值;
在所述电压信号无法准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值。
可以看出,当图像传感器采用异步复位方式进行所述像素单元的复位时,所述采用所述电压信号的光强值成像过程中,进一步还需要确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值。这是因为,由于所述像素单元的读出脉冲信号与对所述像素单元的复位时刻并不同步,所以无法获知所述像素单元的具体复位时刻。因此,可能出现这种情况:所述电压信号的读出时刻与所述像素单元的复位时刻相同或相近,而在此时刻所述像素单元正在复位过程中,所以获取的电压信号的电压是不准确的,导致计算得到的电压信号的光强值也是不准确的。
具体地说,确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值包括:
所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否存在所述高幅值的脉冲信号,如果是,则确定所述电压信号未准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;如果否,则确定所述电压信号准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值。
以下举例对本申请实施例提供的图像传感器电路及成像方法进行详细说明。
图5为本申请实施例提供的图像传感器电路的具体例子结构示意图,图中示出了像素单元的具体结构。在本例子中,图像传感器电路包括;控制单元105、脉冲信号读出行选择器101、电压信号读出行选择器102、像素阵列201、电压信号读出单元103、脉冲信号读出单元104及图像处理单元106,其中,
所述控制单元105,用于向脉冲信号读出行选择器101发送脉冲信号读出行选控制指令,向电压信号读出行选择器102发送电压信号读出行选控制指令,向电压信号读出单元103发送电压信号读出控制指令,向脉冲信号读出单元104发送脉冲信号读出控制指令;
所述脉冲信号读出行选择器101,用于接收控制单元105发送的脉冲信号读出行选控制指令,向所述像素阵列201中对应行的像素单元传输脉冲信号行读出信号,以选通所述像素阵列201中的一行像素单元输出脉冲信号;
所述电压信号读出行选择器102,用于接收控制单元105发送的电压信号读出行选控制指令,向所述像素阵列201中对应行的像素单元传输电压信号行读出信号,以选通所述像素阵列201中的一行像素单元输出电压信号;
所述像素阵列201,由排列成至少一行的多个像素单元组成,其中,接收到所述脉冲信号行读出信号的所述像素单元,在判定符合脉冲信号产生条件时,生成所述脉冲信号,传输给所述脉冲信号读出单元104;且在所述脉冲信号符合复位条件时执行复位操作;接收到所述电压信号行读出信号的所述像素单元获取自身的电压信号,传输给所述电压信号读出单元103;
所述电压信号读出单元103,用于接收所述控制单元105发送的电压信号读出控制指令后,将从像素阵列201中接收的所述像素单元的电压信号输出给所述图像处理单元106;
所述脉冲信号读出单元104,用于接收所述控制单元105发送的脉冲信号读出控制指令后,将从像素阵列201中接收的所述像素单元的脉冲信号输出给所述图像处理单元106;
所述图像处理单元106,用于基于接收的所述输出电压信号读出单元103输出的所述像素单元的所述电压信号,及接收的所述脉冲信号读出单元104输出的所述像素单元的所述脉冲信号,重构所述像素单元的图像。
在上述电路中,示出了所述像素阵列201中的每一像素单元的结构,包括:第二信号读出模块2013、感光积分模块2011、复位信号接收模块2014以及第一信号读出模块2012。其中,感光积分模块2011采用第三PD3c1实现,复位信号接收模块2014采用第七晶体管3c2实现,第一信号读出模块2012中包括了第三比较器3c5以及脉冲信号复位及读出子模块3a6,而脉冲信号复位及读出子模块3a6包括第二脉冲信号存储读出子模块201211和第二复位子模块201222。在具体实现上:
所述第三PD3c1,当接收到所述第七晶体管3c2发送的复位信号时进行复位,在选通状态下,将光照条件下的光信号转换成电信号,输出给所述第一信号读出模块2012;
所述第一信号读出模块2012,采用其中的所述第三比较器3c5将所述电信号与预设的阈值信号比较,当高于或等于时,由其中的所述第二脉冲信号存储读出子模块201211生成高幅值的脉冲信号,通过其中的所述第二复位子模块201222将所述高幅值的脉冲信号发送给所述第七晶体管3c2,且所述第二脉冲信号存储读出子模块201211将所述高幅值的脉冲信号输出;否则,由其中的所述第二脉冲信号存储读出子模块201211生成低幅值的脉冲信号,输出;
所述第七晶体管3c2,从所述第一信号读出模块2012接收到高幅值的脉冲信号后,生成复位信号,发送给所述PD3c1;
所述第二信号读出模块2013,在选通状态下,获所述PD3c1的电压信号,输出。
在这里,第一信号读出模块2012在读出脉冲信号的同时,产生高幅值的脉冲信号作为复位信号,该复位信号有两种传输模模式:一种是同步复位方式,另一种是异步复位方式。其中,本例子中采用异步复位方式。
这样,采用本例子中的图像传感器,不仅可以得到像素阵列中的各个像素单元的脉冲信号,还可以得到像素阵列中的各个像素单元自身的电压信号,并针对各个像素单元在重构图像的过程中,基于得到的脉冲信号及电压信号结合实现,增加了重构图像时的信息量,特别是在各个像素在暗光条件下,提高了重构图像的图像质量。
图6为本申请实施例提供的采用图5的图像传感器进行成像的方法具体例子流程图,其具体步骤包括:
步骤601、控制单元发送脉冲信号读出行选控制指令,及电压信号读出行选控制指令,并列执行步骤602及步骤604;
步骤602、接收到脉冲信号读出行选控制指令的脉冲信号读出行选择器,向所述像素阵列中对应行的像素单元传输脉冲信号行读出信号,以选通所述像素阵列中的一行像素单元输出脉冲信号;
步骤603、接收到所述脉冲信号行读出信号的所述像素单元,将光信号转换为脉冲信号后,通过脉冲信号读出单元传输给图像处理单元,执行步骤606;
步骤604、接收到电压信号读出行选控制指令的电压信号读出行选择器,向所述像素阵列中对应行的像素单元传输电压信号行读出信号,以选通所述像素阵列中的一行像素单元输出电压信号;
步骤605、接收到所述电压信号行读出信号的所述像素单元,获取自身的电压信号后,通过电压信号读出单元传输给图像处理单元,执行步骤606;
步骤606、图像处理单元,基于接收的所述输出电压信号读出单元输出的所述像素单元的所述电压信号,及接收的所述脉冲信号读出单元输出的所述像素单元的所述脉冲信号,重构所述像素单元的图像;
步骤607、将重构的所述像素单元的图像输出。
在上述方法中的步骤606中,进行所述像素单元的图像重构时,是采用预设的成像时刻的光强值确定的,或者采用预设的成像时刻的光强值与所述成像时刻的至少一相邻成像时刻的光强值进行加权平均后,得到的。其中,所述成像时刻一般是读出脉冲信号时刻,且每一成像时刻的光强值是由与所述成像时刻相关的所述像素单元的脉冲信号的光强值及电压信号的光强值确定的。当然,所述成像时刻也可以是读出电压时刻,这里不限定。
所述成像时刻的光强值可以采用与其相关的所述像素单元的脉冲信号的光强值,或者与其相关的电压信号的光强值确定,包括:将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;确定所述当前成像时刻与所述当前成像时刻之前相邻的读出脉冲信号时刻之间是否有读出的电压信号,如果否,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;如果是,采用所述电压信号的光强值作为所述当前成像时刻的光强值。
以下举例说明如何计算得到所述像素单元的脉冲信号的光强值,及所述像素单元的电压信号的光强值。
图7为本申请实施例提供的任意选取一个像素单元分别读出脉冲信号及电压信号的时序及幅值示意图。结合图7对该像素单元对计算脉冲信号的光强值,及计算电压信号的光强值进行说明。
在图中的上半部分,虚线代表了高频读出的所述像素单元的脉冲信号,其中标注了所述脉冲信号的幅值及读出时刻;实线代表了低频读出的所述像素单元的电压信号的时刻。在图中的下半部分,示出了所述像素单元的电压信号值随时间的变化值,且在读出电压信号时刻时所具有的电压信号值。
选取所述像素单元的几个特定的读出电压信号时刻进行分析。
对于t1时刻,该时刻也是脉冲信号的读出时刻,与t1时刻前相邻的脉冲信号的电压幅值读取为1且自身的脉冲信号的电压幅值读取为1。则该脉冲信号的光强值为ΔQ/Δt,其中ΔQ=CPD×(Vrst-Vth),CPD代表PD的电容值,Vrst代表复位电压,Vth代表阈值电压信号,Δt为脉冲信号的采样间隔。
对于t3时刻,得到的电压信号的电压值为V2,相邻最近的t2时刻的脉冲信号的电压幅值读出为1,则在t2时刻时,所述像素单元中的PD上的复位信号的电压值为Vrst,则得到的所述电压信号的光强值为CPD×(Vrst-V2)/(t3-t2)。
对于t2时刻,由于t2时刻也是脉冲信号的读出时刻,且该读出时刻读出的脉冲信号为高幅值,所以可以直接以该读出时刻的脉冲信号的光强值作为t2时刻的光强值。当然,在重建图像时,也可以结合t3时刻的电压信号的电压值,与t2时刻的脉冲信号的电压值,计算出t2时刻的脉冲信号的光强值,这里不限定。
对于t5时刻,其相邻最近的复位时刻为t4时刻,因此所述电压信号的光强值为CPD×(Vrst-V3)/(t5-t4)。
对于t6时刻,由于t6时刻和t5时刻之间没有高幅值的脉冲信号产生,因此对于t6时刻,所述电压信号的光强值为CPD×(V3-V4)/(t6-t5),这里并非采用相邻最近的复位时刻t4的复位信号的电压值,而是采用t5时刻的电压值,这是因为相比于t4时刻,与t5时刻之间的电压差能够更为准确地反应t6时刻的所述电压信号的光强值。
可以看出,相比于纯用脉冲信号,加入电压信号可以更好地刻画暗光状态下各个成像时刻的光强值。
图像传感器如果采用异步复位方式,则上述各个读出电压信号时刻计算得到的电压信号的光强值有可能是不准确的。
比如:对于t3时刻,t3时刻前后的脉冲采样信号均为1,所述像素单元从何时开始复位并不可知,因此t3时刻处,所述像素单元可能正处于复位状态,此时获取到的电压信号的电压值并不是准确的,导致后续计算电压信号的光强值也不准确,因此t3时刻处的光强值只能采用ΔQ/Δt,其中ΔQ=CPD×(Vrst-Vth)来表示。
又比如:对于t5时刻,具体复位可能在t4时刻前一脉冲采样间隔内的任意时刻点,因此采用CPD×(Vrst-V3)/(t5-t4)确定光强值时可能存在一定误差,并不准确。
再比如:对于t5时刻,若t5时刻后的脉冲采样时刻点所采样出的脉冲信号是高幅值的,那么对于t5时刻所获取的电压信号的分析如在t3时刻时的分析,是不准确的,从而计算得到的光强值也不准确。
图像传感器如果采用同步复位方式,上述各个读出电压信号时刻计算得到的电压信号的光强值是准确的。这是因为:由于所述像素单元只在脉冲信号读取的时刻进行复位,因此在诸如t3时刻,像素单元已经复位完成,获取其中PD上的电压信号的电压值是准确的,所以基于此计算得到的光强值也是准确的。
因此,在图像传感器可以基于同时读出像素阵列中的各个像素单元的电压信号及脉冲信号,进行图像重构时,优选采用同步复位方式的图像传感器。
参照图8所示,给出了针对如图7所示的具体实施例的所施加电压的时序图,在设置过程中,要注意电压信号的读出时刻要落在两次脉冲信号的读出时刻之间。更进一步地,为了保证读取到的电压信号的光强值能够代表准确的所述像素单元的当前时刻的光强值,电压信号的读出时刻与前一次脉冲信号的读出时刻之间的差值要大于所述像素单元所需的复位时间值。
在本申请的另一个实施例中,还提供一种成像设备,采用图像传感器,所述设备包括上述的图像传感器电路,和/或包括上述的图像传感器的成像方法,和/或具有上述的像素单元的像素阵列芯片。
具体地说,所述设备至少包括如下之一者:相机、摄像头、音/视频播放器、导航设备、固定位置终端、娱乐设备、智能手机、通信设备、移动设备、交通工具或设施、工业设备、医疗设备、安防设备、飞行设备、家电设备。
在本申请实施例中,相机包括但不限于脉冲相机、高速相机、工业检测相机等。摄像头包括但不限于:车载摄像头、手机摄像头、交通摄像头、安装在可飞行物体上的摄像头、医疗摄像头、安防摄像头或家电摄像头。
以脉冲相机为例,对本申请实施例提供的设备进行详细说明。图9为本申请实施例提供的一种脉冲相机的结构示意图。如图9所示,该脉冲相机包括:透镜901、信号电路902、数据处理电路903、非易失性存储器904、电源电路905、易失性存储器906、控制电路907和I/O接口908。
其中,透镜901,用于接收来自被摄物体的入射光,即光信号。
信号电路902,用于将通过透镜901接收的光信号转换为电信号,根据电信号生成信号。该信号电路902例如包括上述的图像传感器电路,和/或包括上述的图像传感器的成像方法,和/或具有上述的像素单元的像素阵列芯片。
数据处理电路903,用于对信号读出过程进行控制,数据处理电路903例如包括:运算处理单元(例如,CPU)和/或图像处理单元(GPU),例如,对电路的信号读出过程进行控制,控制其中的读出行选择器发送行读出信号,复位行选择器发送复位信号等。
易失性存储器906例如可以为随机存取存储器(RAM),非易失性存储器904例如可以为固态硬盘(Solid State Disk,SSD)、混合硬盘(Hybrid Hard Disk,HHD)、安全数码(Secure Digital,SD)卡、mini SD卡等。
在本申请一实施例中,该脉冲相机还进一步包括:显示单元,用于对信号/图像信息进行实时/回放显示。本申请实施例所述的脉冲相机还可以进一步包括至少如下之一者:有线/无线传输接口,例如WiFi接口、蓝牙接口、usb接口、RJ45接口,移动产业处理器接口(MIPI)接口,低电压差分信号(LVDS)接口及其他具有有线或无线传输功能的接口。
本申请实施例提供的脉冲相机能够用于对可见光、红外光、紫外光、X射线等进行检测,并可应用于各种场景,常用的场景包括但不限于:
可用作车载摄像头安装在各类交通工具或设施中,例如用于车路协同、智慧交通、自动驾驶的信息获取及控制。举例而言,安装在高铁等轨道交通工具中或轨道交通线上,作为高铁行车记录仪;还可以安装在自动驾驶车辆或安装有高级驾驶辅助系统(ADAS)的车辆中,例如进行车辆、行人、车道、驾驶员等信息的检测和报警。
可用作交通摄像头安装在交通信号杆上,进行城市道路、高速公路上车辆和行人的拍摄、预警、及协同控制等。
可用作工业检测相机,例如安装在高铁轨道交通线上用于高铁巡线,以及用于高铁安全的检测;还可以用于煤矿输送带断裂检测、变电站电弧检测、风力发电叶片的实时检测、高速轮机不停机检测等特定工业场景的检测、预警等。
安装在可飞行物体上,例如,安装在飞机、卫星等物体上,用作物体在高速飞行、甚至高速旋转场景下的高清晰成像。
工业(智能制造中的机器视觉等)、民用(司法取证、体育判罚等)和消费电子(相机、影视媒体等)。
可用作医疗摄像头,在医疗、美容、保健等临床诊疗中进行高清晰的医疗成像。
可用作运动相机或可穿戴式相机,例如,头戴式相机或嵌入在腕表中的相机,可进行各类体育竞技赛场、日常休闲运动等场景的拍摄。
还可用作安防摄像头、手机摄像头或家电摄像头等。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思路,并不用于限制本申请。对于本领域的技术人员来说,可以依据本申请的思路、精神和原则,在具体实施方式及应用范围上进行改变,其所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (23)
1.一种图像传感器的电路,其特征在于,包括:第一信号读出行选择器(11)、第二信号读出行选择器(12)、像素阵列(201)、第二信号读出单元(13)及第一信号读出单元(14),其中,
所述第一信号读出行选择器(11),向所述像素阵列(201)中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列(201)中的一行像素单元输出第一信号;
所述第二信号读出行选择器(12),响应于接收到的第二信号行选控制指令,向所述行的像素单元传输第二信号行读出信号,以选通所述行的像素单元输出第二信号;
所述像素阵列(201),由排列成至少一行的多个像素单元组成,其中,接收到所述第一信号行读出信号的像素单元,在判定符合第一信号产生条件时,生成所述第一信号,通过所述第一信号读出单元(14)输出所述第一信号,且在所述第一信号符合复位条件时执行复位操作;接收到所述第二信号行读出信号的所述像素单元获取自身的第二信号,并通过所述第二信号读出单元(13)输出。
2.如权利要求1所述的电路,其特征在于,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号;
所述第一信号读出行选择器(11)包括:脉冲信号读出行选择器(101),所述第二信号读出行选择器(12)包括:电压信号读出行选择器(102),所述第一信号读出单元(14)包括:脉冲信号读出单元(104),所述第二信号读出单元(13)包括:电压信号读出单元(103)。
3.如权利要求2所述的电路,其特征在于,还包括:控制单元(105),用于向所述电压信号读出行选择器(102)发送所述电压信号行选控制指令,以使所述电压信号读出行选择器(102)确定选通所述像素阵列(201)中的所述行像素单元输出电压信号,生成对应所述行的像素单元的电压信号行读出信号;
所述控制单元(105),还用于向所述电压信号读出单元(103)发送读出电压信号控制指令,以使所述电压信号读出单元(103)在所述读出电压信号控制指令的控制下,将接收的所述像素单元的电压信号输出。
4.如权利要求2所述的电路,其特征在于,还包括:控制单元(105),用于向所述脉冲信号读出行选择器(101)发送脉冲信号行选控制指令,以使所述脉冲信号读出行选择器(101)确定选通所述像素阵列(201)中的所述行像素单元输出所述脉冲信号,生成所述对应行的像素单元的脉冲信号行读出信号;
所述控制单元(105),还用于向所述脉冲信号读出单元(104)发送读出脉冲信号控制指令,以使所述脉冲信号读出单元(104)在所述读出脉冲信号控制指令的控制下,将接收的所述像素单元的脉冲信号输出。
5.如权利要求2所述的电路,其特征在于,还包括:图像处理单元(106),用于基于接收的所述电压信号读出单元(103)输出的所述像素单元的电压信号,及接收的所述脉冲信号读出单元(104)输出的所述像素单元的脉冲信号,重构所述像素单元的图像。
6.如权利要求2所述的电路,其特征在于,所述像素单元包括:第二信号读出模块(2013)、感光积分模块(2011)、复位信号接收模块(2014)以及第一信号读出模块(2012),其中,
所述感光积分模块(2011),当接收到所述复位信号接收模块(2014)发送的复位信号时进行复位,在选通状态下,将光信号转换成的电压信号,输出给所述第一信号读出模块(2012);
所述第一信号读出模块(2012),将所述电压信号与预设的阈值信号进行比较,当所述电压信号高于所述阈值信号时,生成高幅值的脉冲信号,在接收到所述脉冲信号行读出信号后,输出所述高幅值的脉冲信号,并将所述高幅值的脉冲信号发送给所述复位信号接收模块(2014);否则,生成低幅值的脉冲信号,在接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号;
所述复位信号接收模块(2014),从所述第一信号读出模块(2012)接收到所述高幅值的脉冲信号后,生成所述复位信号,发送给所述感光积分模块(2011);
所述第二信号读出模块(2013),在选通状态下,响应于接收的所述电压信号行读出信号,从所述感光积分模块(2011)读取所述电压信号并输出。
7.如权利要求6所述的电路,其特征在于,所述第一信号读出模块(2012)包括:第二比较器(3b5)、第一复位子模块(20122)以及第一脉冲信号存储读出子模块(20121),所述复位信号接收模块(2014)包括:第四晶体管(3b2),所述感光积分模块(2011)包括:第二发光二极管PD(3b1),所述第二信号读出模块(2013)包括第五晶体管(3b3)及第六晶体管(3b4),其中,
所述第四晶体管(3b2)的栅极与所述第一复位子模块(20122)的输出端连接,从所述第一复位子模块(20122)接收所述高幅值的脉冲信号,并处于导通状态;
所述第一复位子模块(20122)的输入端与所述第二比较器(3b5)的输出端相连,输出端分别接入所述第四晶体管(3b2)的栅极及所述第一脉冲信号存储读出子模块(20121);所述第二比较器(3b5)的一输入端与所述第二PD(3b1)的输出端相连,另一输入端接入预设的阈值电压;所述第四晶体管(3b2)的源极与所述第二PD(3b1)的输出端连接,所述第二PD(3b1)的输入端接地,所述第五晶体管(3b3)的栅极接入所述第二PD(3b1)的输出端,漏极接入所述第四晶体管(3b2)的漏极,源极接入所述第六晶体管(3b4)的漏极;所述第六晶体管(3b4)的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第五晶体管(3b3),获取所述第二PD(3b1)的电压信号;
将所述第二PD(3b1)发送的电压信号经过所述第二比较器(3b5)判断大于或等于所述预设的阈值电压时,所述第一复位子模块(20122)生成所述高幅值的脉冲信号,传输给所述第四晶体管(3b2)以使其执行复位操作,且将所述高幅值的脉冲信号发送给所述第一脉冲信号存储读出子模块(20121)进行存储,当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块(20121)输出所述高幅值的脉冲信号;当所述第二PD(3b1)发送的所述电压信号经过所述第二比较器(3b5)判断小于所述阈值电压时,所述第一复位子模块(20122)生成所述低幅值的脉冲信号,发送给所述第一脉冲信号存储读出子模块(20121)进行存储;当接收到所述脉冲信号行读出信号后,所述第一脉冲信号存储读出子模块(20121)输出所述低幅值的脉冲信号。
8.如权利要求6所述的电路,其特征在于,所述第一信号读出模块(2012)包括:第三比较器(3c5)、第二复位子模块(201222)以及第二脉冲信号存储读出子模块(201211),所述复位信号接收模块(2014)包括:第七晶体管(3c2),所述感光积分模块(2011)包括:第三PD(3c1),所述第二信号读出模块(2013)包括第八晶体管(3c3)及第九晶体管(3c4),其中,
所述第七晶体管(3c2)的栅极与所述第二复位子模块(201222)输出端连接,从所述第二复位子模块(201222)接收所述高幅值的脉冲信号,并处于导通状态;
所述第二复位子模块(201222)的输入端与所述第二脉冲信号存储读出子模块(201211)相连,输出端接入所述第七晶体管(3c2)的栅极;所述第三比较器(3c5)的一输入端与所述第三PD(3c1)的输出端相连,另一输入端接入预设的阈值电压;所述第七晶体管(3c2)的源极与所述第三PD(3c1)的输出端连接,所述第三PD(3c1)的输入端接地,所述第八晶体管(3c3)的栅极接入所述第三PD(3c1)的输出端,漏极接入所述第七晶体管(3c2)的漏极,源极接入所述第九晶体管(3c4)的漏极;所述第九晶体管(3c4)的源极输出所述电压信号,栅极接收所述电压信号行读出信号,以在接收到所述电压信号行读出信号时,导通所述第八晶体管(3c3),获取所述第三PD(3c1)的电压信号;
将所述第三PD(3c1)发送的电压信号经过所述第三比较器(3c5)判断大于或等于所述预设的阈值电压时,所述第二脉冲信号存储读出子模块(201211)生成所述高幅值的脉冲信号,传输给所述第二复位子模块(201222),以使其驱动所述第七晶体管(3c2)执行复位操作,当接收到所述脉冲信号行读出信号后,所述第二脉冲信号存储读出子模块(201211)输出所述高幅值的脉冲信号;当所述第三PD(3c1)发送的所述电压信号经过所述第三比较器(3c5)判断小于所述阈值电压时,所述第二脉冲信号存储读出子模块(201211)生成所述低幅值的脉冲信号,当接收到所述脉冲信号行读出信号后,输出所述低幅值的脉冲信号。
9.如权利要求2所述的电路,其特征在于,
所述脉冲信号读出行选择器(101),在相邻的第一时刻和第二时刻,分别向所述像素阵列(201)中所述行的像素单元传输所述脉冲信号行读出信号,以选通所述像素阵列(201)中的所述行的像素单元输出所述脉冲信号;
所述电压信号读出行选择器(102),在所述第一时刻和第二时刻之间的第三时刻向所述行的像素单元传输所述电压信号行读出信号,以选通所述行的像素单元输出所述电压信号,且所述第三时刻和第一时刻之间的差值大于所述像素单元的复位时间。
10.一种图像传感器中的信号读出方法,其特征在于,包括:
第一信号读出行选择器向像素阵列中对应行的像素单元传输第一信号行读出信号,以选通所述像素阵列中一行的像素单元,使其输出第一信号;
接收到所述第一信号行读出信号的所述像素单元,输出由光信号转换得到的所述第一信号;
响应于接收到的第二信号行选控制指令,第二信号读出行选择器,向所述像行的像素单元传输第二信号行读出信号,以选通所述行中的像素单元,使其输出第二信号;
接收到所述第二信号行读出信号的所述像素单元,读取并输出所述第二信号。
11.根据权利要求10所述的方法,其特征在于,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号,所述第二信号行选控制指令包括:电压信号行选控制指令,所述第一信号行读出信号包括:脉冲信号行读出信号,所述第二信号行读出信号包括:电压信号行读出信号;
所述第一信号读出行选择器包括:脉冲信号读出行选择器,所述第二信号读出行选择器包括:电压信号读出行选择器。
12.一种基于权利要求1~9任一项所述的电路进行成像的方法,其特征在于,包括:
接收所述图像传感器的电路中的一像素单元发送的第一信号;
接收所述像素单元发送的第二信号;
基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像。
13.如权利要求12所述的方法,其特征在于,所述第一信号包括:脉冲信号,所述第二信号包括:电压信号。
14.如权利要求13所述的方法,其特征在于,
接收所述图像传感器的电路中的一像素单元发送的第一信号包括:在相邻的第一时刻和第二时刻接收所述像素单元发送的脉冲信号;
所述接收所述像素单元发送的所述第二信号包括:在所述第一时刻和第二时刻之间的第三时刻接收所述像素单元发送的所述电压信号;
所述第三时刻和第一时刻之间的差值大于所述像素单元的复位时间。
15.如权利要求13所述的方法,其特征在于,所述基于所述像素单元发送的所述第一信号,以及所述像素单元发送的所述第二信号,对所述像素单元重构图像包括:
基于与预设的成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述成像时刻的光强值,基于所述成像时刻的光强值,对所述成像时刻的所述单元的图像进行重构;或者,
基于与预设的成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述成像时刻的光强值;基于与所述成像时刻的至少一相邻成像时刻相关的,所述像素单元发送的所述脉冲信号及发送的所述电压信号,计算得到所述相邻成像时刻的光强值;将所述成像时刻的光强值及所述相邻成像时刻的光强值,进行加权求和后得到所述成像时刻的光强信号的光强值,采用所述成像时刻的光强信号的光强值,对所述成像时刻的所述像素单元的图像进行重构。
16.如权利要求15所述的方法,其特征在于,所述计算得到所述成像时刻的光强值,或者计算得到所述相邻成像时刻的光强值包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻与所述当前成像时刻之前相邻的读出脉冲信号时刻之间是否有读出的电压信号,如果否,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;如果是,采用所述电压信号的光强值作为所述当前成像时刻的光强值;
或者,所述计算得到所述成像时刻的光强值,或者计算得到所述相邻成像时刻的光强值包括:
将所述成像时刻或者所述成像时刻的至少一相邻成像时刻作为当前成像时刻;
确定所述当前成像时刻为读出脉冲信号时刻的情况下,采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值;
确定所述当前成像时刻为读出电压信号时刻的情况下,采用所述电压信号的光强值作为所述当前成像时刻的光强值。
17.如权利要求16所述的方法,其特征在于,所述采用所述当前成像时刻读出的脉冲信号的光强值作为所述当前成像时刻的光强值包括:
在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;将所述第一乘积值与读出脉冲信号时刻的间隔之间的比值,作为所述当前成像时刻的光强值;
或者,在所述当前成像时刻上,所述像素单元的复位电压值与所述当前成像时刻相邻的读出电压信号时刻读出的电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第四乘积值,将所述第四乘积值与所述当前成像时刻与所述当前成像时刻相邻的读出电压信号时刻之间的比值,作为所述当前成像时刻的光强值。
18.如权利要求16所述的方法,其特征在于,当所述图像传感器采用同步复位方式对所述像素单元进行复位时,采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值。
19.如权利要求16所述的方法,其特征在于,当所述图像传感器采用异步复位方式进行所述像素单元的复位时,采用所述电压信号的光强值作为所述当前成像时刻的光强值包括:
确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;
在所述电压信号无法准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,在所述当前成像时刻上,所述像素单元的复位电压值与阈值电压值之间的差值与所述像素单元中的感光积分模块的电容值相乘,得到第一乘积值;所述第一乘积值与脉冲信号读出间隔之间的比值,作为所述当前成像时刻的光强值;
在所述电压信号准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值的情况下,确定所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否有高幅值的脉冲信号输出,如果是,将所述电压信号的电压值与所述脉冲信号的复位电压值之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第二乘积值,将所述第二乘积值,与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔之间的比值,作为所述当前成像时刻的光强值;
如果否,将所述电压信号的电压值与所述电压信号的读出时刻之前相邻的电压信号之间的差值,与所述像素单元中的感光积分模块的电容值相乘,得到第三乘积值,将所述第三乘积值,与所述电压信号的读出时刻和其之前相邻的电压信号的读出时刻之间的间隔,之间的比值,作为所述当前成像时刻的光强值。
20.如权利要求19所述的方法,其特征在于,所述确定所述电压信号是否准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值包括:
所述电压信号的读出时刻及与所述电压信号的读出时刻之前相邻的电压信号的读出时刻之间,是否存在所述高幅值的脉冲信号,如果是,则确定所述电压信号未准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值;如果否,则确定所述电压信号准确反映出所述像素单元在所述电压信号的读出时刻时的所述像素单元的电压值。
21.一种图像传感器中的像素单元,其特征在于,所述像素单元包括在图像传感器的像素阵列(201)中,所述像素阵列由排列成至少一行的多个像素单元组成,所述像素单元包括:第二信号读出模块(2013)、感光积分模块(2011)、复位信号接收模块(2014)、比较器(2012a)及第一信号读出子模块(2012b),其中,
所述感光积分模块(2011),与所述复位信号接收模块(2014)及比较器(2012a)的输入端连接,接收所述复位信号接收模块(2014)发送的复位信号后复位,在选通状态下,将光信号转换成电信号,输出给所述比较器(2012a);
所述比较器(2012a),输入端与所述感光积分模块(2011)相连,输出端与所述第一信号读出子模块(2012b)连接,将所述电信号与预设的阈值信号进行比较,将得到的比较结果发送给所述第一信号读出子模块(2012b);
所述第一信号读出子模块(2012b),与所述比较器(2012a)的输出端连接及与所述复位信号接收模块(2014)相连,根据从所述比较器(2012a)接收的比较结果,生成高幅值的第一信号或低幅值的第一信号,发送给所述复位信号接收模块(2014);
所述复位信号接收模块(2014),与所述第一信号读出子模块(2012b)相连,从所述第一信号读出子模块(2012b)接收到所述高幅值的第一信号后,生成所述复位信号,发送给所述感光积分模块(2011);
所述第二信号读出模块(2013),在选通状态下,从所述感光积分模块(2011)读取第二信号,并输出所述第二信号。
22.一种进行成像的设备,其特征在于,采用图像传感器,所述设备包括:权利要求1-9任一项所述的电路,和/或权利要求10~20任一项所述的方法,和/或具有权利要求21所述的像素单元的像素阵列芯片。
23.如权利要求22所述的设备,其特征在于,所述设备至少包括如下之一者:
相机、摄像头、音/视频播放器、导航设备、固定位置终端、娱乐设备、智能手机、通信设备、移动设备、交通工具或设施、工业设备、医疗设备、安防设备、飞行设备、家电设备。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118283446A true CN118283446A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12022211B1 (en) | Pixel collection circuit, optical flow sensor, and optical flow and image information collection system | |
US20240236516A1 (en) | Pixel collection circuit, optical flow sensor, and optical flow and image information collection system | |
US20060197664A1 (en) | Method, system and apparatus for a time stamped visual motion sensor | |
WO2020218236A1 (ja) | イベント検出装置、イベント検出装置を備えるシステムおよびイベント検出方法 | |
CN116132603A (zh) | 信号发放频率可调的电路、发放频率调整方法及设备 | |
EP3624436B1 (en) | Image collection control method and device, and vehicle chassis image obtaining system | |
CN108322676B (zh) | 对led光源闪烁免疫的图像传感器像素结构及成像系统 | |
US12015861B2 (en) | Pixel collection circuit and image sensor | |
CN115379147B (zh) | 信号读出电路、方法及系统、像素单元阵列电路及设备 | |
EP3989535A1 (en) | Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus | |
US9798940B2 (en) | Vehicular image processing apparatus | |
CN220139666U (zh) | 图像传感器中的像素单元、图像传感器的电路及成像设备 | |
CN118283446A (zh) | 图像传感器的电路及成像方法、像素单元电路及设备 | |
US11533448B2 (en) | Pixel readout circuit and a method for imaging | |
CN110178366A (zh) | 摄像装置和摄像装置控制方法 | |
CN219181573U (zh) | 信号发放频率可调的电路、像素单元阵列电路及电子设备 | |
KR20240036035A (ko) | 센서 디바이스 및 센서 디바이스 작동 방법 | |
EP4340384A1 (en) | Signal readout circuit and method therefor | |
WO2021200330A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN118338152A (zh) | 提高信号读出速度的像素单元、阵列、电路、方法及设备 | |
CN104316173B (zh) | 一种基于声光扫描的自适应同步积分光接收机 | |
CN109361833B (zh) | 一种单光子压缩视频传输装置的传输方法 | |
CN221302520U (zh) | 探测器的像素电路、探测器和设备 | |
CN115442408B (zh) | 图像数据的传输处理方法、装置、介质以及电子设备 | |
CN117249898B (zh) | 探测器的像素电路、探测器和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |