CN111083402A - 双模态仿生视觉传感器 - Google Patents

双模态仿生视觉传感器 Download PDF

Info

Publication number
CN111083402A
CN111083402A CN201911348653.8A CN201911348653A CN111083402A CN 111083402 A CN111083402 A CN 111083402A CN 201911348653 A CN201911348653 A CN 201911348653A CN 111083402 A CN111083402 A CN 111083402A
Authority
CN
China
Prior art keywords
target
type
current
signal
active pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911348653.8A
Other languages
English (en)
Other versions
CN111083402B (zh
Inventor
施路平
杨哲宇
赵蓉
裴京
徐海峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911348653.8A priority Critical patent/CN111083402B/zh
Priority to PCT/CN2020/073523 priority patent/WO2021128533A1/zh
Priority to US17/788,909 priority patent/US11943550B2/en
Priority to JP2022536912A priority patent/JP7335020B2/ja
Publication of CN111083402A publication Critical patent/CN111083402A/zh
Application granted granted Critical
Publication of CN111083402B publication Critical patent/CN111083402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明实施例提供了一种双模态仿生视觉传感器，通过第一类电流模式有源像素传感器电路模拟兴奋型视杆细胞的作用，实现对目标光信号中的光强梯度信息的感知作用，进而提高仿生视觉传感器图像的动态范围，提高拍摄速度。而且，为每个非目标第一类感光器件引入一个第一类控制开关，可以对得到的光强梯度信息进行控制，实现对仿生视觉传感器图像的动态范围的调整，进而实现对拍摄速度的调整，实现了可重配的效果。通过电压模式有源像素传感器模拟视锥细胞的作用，可以输出表征目标光信号中的光强信息的目标电压信号，实现对目标光信号中的光强信息的感知作用，得到的目标电压信号表征光强信息的精度更高，可以保证得到的图像质量。

Description

双模态仿生视觉传感器
技术领域
本发明涉及集成电路技术领域，更具体地，涉及双模态仿生视觉传感器。
背景技术
随着对图像传感器与图像处理识别算法研究地不断深入，仿生视觉传感器在工业制造、智能交通、智能机器人等多个应用领域扮演着越来越重要的作用。
仿生视觉传感器主要是对人眼视网膜的模态进行仿真，人眼视网膜主要包括两种视觉感知细胞，即视锥细胞和视杆细胞，分别对应两种不同的模态。其中，视锥细胞的模态主要是对绝对光强信息与颜色信息敏感，具有很高的图像还原精度，但是还原速度较慢；与视锥细胞的模态相反，视杆细胞主要是对光强信息的变化量进行感知，具有感知速度较快且感知的动态范围较大，但是其无法感知绝对光强信息与颜色信息。
但是，现有技术中存在的仿生视觉传感器均只能对人眼视网膜的其中一种模态进行仿真，形成单一的感知模式，进而只能对某一类信息进行感知。如传统相机，类似于视锥细胞，主要对颜色信息进行感知。如动态视觉传感器(Dynamic Vision Sensor，DVS)，类似于视杆细胞，主要对光强信息的变化量进行感知。而单一模态的视觉传感器应用场景有限。例如，对于类似于视锥细胞的仿生视觉传感器，由于其拍摄得到的是绝对光强信息而非光强信息的变化量，虽然在家用娱乐电子设备中应用非常广泛，但在工业控制领域，往往面临速度不够动态范围太小等问题，因而很难应用。对于类似于视杆细胞的仿生视觉传感器，虽然感知速度很快，但是由于只对运动目标敏感，导致难以拍摄到图像，或者拍摄到的图像质量较差，难以满足娱乐电子设备的需求。而且由于仿生视觉传感器只包含单一的感知模式，在这种感知模式失效时仿生视觉传感器则失效，这对于对稳定性有高要求的无人驾驶、无人机等机器人有很大的局限。另外，目前评价仿生视觉传感器性能的主要指标有图像质量，动态范围与拍摄速度。由上述内容可知，在传统的仿生视觉传感器的框架下，这三个指标往往互斥：如当拍摄速度提高时，仿生视觉传感器的动态范围就会降低；当图像质量提高时拍摄速度一般就会降低，很难同时兼顾。
因此，现急需提供一种双模态仿生视觉传感器。
发明内容
为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种双模态仿生视觉传感器。
本发明实施例提供了一种双模态仿生视觉传感器，其特征在于，包括：第一类电流模式有源像素传感器电路和电压模式有源像素传感器电路；
所述第一类电流模式有源像素传感器电路包括一个目标第一类感光器件；所述目标第一类感光器件用于获取目标光信号，并将所述目标光信号转换为第一类电流信号，所述第一类电流模式有源像素传感器电路用于基于所述第一类电流信号与所述目标第一类感光器件周围第一预设数量个非目标第一类感光器件转换得到的第二类电流信号之和的差值，输出表征所述目标光信号中的光强梯度信息的指定数字信号；
所述电压模式有源像素传感器电路包括第二类感光器件，所述第二类感光器件用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第三类电流信号，所述电压模式有源像素传感器电路用于基于所述第三类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
其中，每个非目标第一类感光器件分别与一个第一类控制开关串联。
优选地，所述第一类电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述目标第一类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述加法器的输入端分别与所述第一类控制开关连接，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，所述第一类电流模式有源像素传感器电路输出所述指定数字信号，所述指定数字信号用于表征所述目标光信号中的光强梯度信息。
优选地，所述第一类电流模式有源像素传感器电路还包括：三态门电路；
所述三态门电路分别与所述比较器的输出端以及所述数模转换器的输入端连接；
所述三态门电路用于在所述比较器的输出端输出所述事件脉冲信号时，输出所述指定数字信号。
优选地，所述电压模式有源像素传感器电路具体包括：所述目标第一类感光器件周围的第二预设数量个所述第二类感光器件，每个所述第二类感光器件均分别与一个第二类控制开关串联，同一时刻仅存在一个第二类控制开关处于导通状态；
所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器，每个所述第二类感光器件以及串联的第二类控制开关构成器件支路，所有器件支路并联连接且共用所述电流积分器、所述快门以及所述模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；所述快门用于控制所述电流积分器的积分时间；所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
优选地，所述的双模态仿生视觉传感器，还包括：第二类电流模式有源像素传感器电路；
所述第二类电流模式有源像素传感器电路包括一个所述非目标第一类感光器件和所述第二预设数量个电流镜；
每个电流镜分别与所述非目标第一类感光器件周围的一个所述目标第一类感光器件串联。
优选地，所述双模态仿生视觉传感器的像素阵列由所述目标第一类感光器件、所述非目标第一类感光器件以及所述第二类感光器件排列形成；
所述像素阵列的每一行中，所述第二类感光器件与所述目标第一类感光器件相间排列，或者所述第二类感光器件与所述非目标第一类感光器件相间排列。
优选地，所述第二类感光器件具体包括滤光器和光电二极管；
所述滤光器用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号；所述光电二极管用于将所述指定频段的光信号转换为所述第三类电流信号。
优选地，所述第一类电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述目标第二类感光器件与所述第一电流放大器之间。
优选地，所述目标电压信号和所述指定数字信号共同形成图像。
优选地，所述的双模态仿生视觉传感器，还包括：两个存储单元；所述两个存储单元分别用于存储所述目标电压信号以及所述指定数字信号。
本发明实施例提供的一种双模态仿生视觉传感器，一方面，通过第一类电流模式有源像素传感器电路模拟兴奋型视杆细胞的作用，实现对目标光信号中的光强梯度信息的感知作用，进而提高仿生视觉传感器图像的动态范围，提高拍摄速度。而且，为每个非目标第一类感光器件引入一个第一类控制开关，可以对得到的光强梯度信息进行控制，实现对仿生视觉传感器图像的动态范围的调整，进而实现对拍摄速度的调整，实现了可重配的效果。另一方面，通过电压模式有源像素传感器模拟视锥细胞的作用，可以输出表征目标光信号中的光强信息的目标电压信号，实现对目标光信号中的光强信息的感知作用，得到的目标电压信号表征光强信息的精度更高，可以得到更高质量的图像，即图像具有更高的图像信噪比。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种双模态仿生视觉传感器的结构示意图；
图2为本发明实施例提供的一种双模态仿生视觉传感器中第一类电流模式有源像素传感器电路的结构示意图；
图3为本发明实施例提供的一种双模态仿生视觉传感器中第一类电流模式有源像素传感器电路中输入至数模转换器的指定数字信号的变化形式示意图；
图4为本发明实施例提供的一种双模态仿生视觉传感器中第一类电流模式有源像素传感器电路的结构示意图；
图5为本发明实施例提供的一种双模态仿生视觉传感器中第一类电流模式有源像素传感器电路的具体结构示意图；
图6为本发明实施例提供的一种双模态仿生视觉传感器中电压模式有源像素传感器的结构示意图；
图7为本发明实施例提供的一种双模态仿生视觉传感器中电压模式有源像素传感器的具体结构示意图；
图8为本发明实施例提供的一种双模态仿生视觉传感器中第二类电流模式有源像素传感器电路的具体结构示意图；
图9为本发明实施例提供的一种双模态仿生视觉传感器中像素阵列的排布方式结构示意图；
图10为本发明实施例提供的一种双模态仿生视觉传感器中像素阵列的排布方式结构示意图；
图11为本发明实施例提供的一种双模态仿生视觉传感器最终输出的图像示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
本发明实施例提供了一种双模态仿生视觉传感器，包括：第一类电流模式有源像素传感器电路和电压模式有源像素传感器电路；
所述第一类电流模式有源像素传感器电路包括一个目标第一类感光器件；所述目标第一类感光器件用于获取目标光信号，并将所述目标光信号转换为第一类电流信号，所述第一类电流模式有源像素传感器电路用于基于所述第一类电流信号与所述目标第一类感光器件周围第一预设数量个非目标第一类感光器件转换得到的第二类电流信号之和的差值，输出表征所述目标光信号中的光强梯度信息的指定数字信号；
所述电压模式有源像素传感器电路包括第二类感光器件，所述第二类感光器件用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第三类电流信号，所述电压模式有源像素传感器电路用于基于所述第三类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
其中，每个非目标第一类感光器件分别与一个第一类控制开关串联。
具体地，本发明实施例中提供了一种双模态仿生视觉传感器，其像素阵列由感光器件构成，感光器件分别由控制电路进行控制。如图1所示，控制电路包括电流模式有源像素传感器电路1和电压模式有源像素传感器电路2。仿生视觉传感器中的感光器件可以根据对不同类别的光进行感应分为第一类感光器件和第二类感光器件，第一类感光器件用于直接对目标光信号进行感应，第二类感光器件用于对目标光信号中的彩色分量进行感应。本发明实施例中，将目标光信号中的彩色分量记为指定频段的光信号，即第一类感光器件用于获取目标光信号，并将目标光信号转换为电流信号，第二类感光器件用于获取目标光信号，从所述目标光信号中提取指定频段的光信号，并将指定频段的光信号转换为电流信号。
其中，目标光信号是指目标物体表面反射的光信号，目标光信号可以直接照射在第一类感光器件或第二类感光器件上，也可以是通过准直透镜照射在第一类感光器件或第二类感光器件上，还可以是透过覆盖物照射在第一类感光器件或第二类感光器件上。目标光信号的波段可以是可见光波段，即目标光信号可以为可见光信号。目标物体是指需要人眼观察的物体，可以是实物，也可以是图像，或者其他形式，本发明中不对目标物体的具体形态进行限定。
第一类感光器件和第二类感光器件的数量可以根据需要进行设定。第一类感光器件及其控制电路可以模拟视杆细胞，第二类感光器件及其控制电路可以模拟视锥细胞。第一类感光器件具体可以包括目标第一类感光器件和除目标第一类感光器件外的非目标第一类感光器件，目标第一类感光器件及其控制电路可以模拟兴奋型视杆细胞，非目标第一类感光器件及其控制电路可以模拟抑制型视杆细胞。本发明实施例中，为区分第一类感光器件、第二类感光器件转换得到的电流信号，将目标第一类感光器件转换得到的电流信号记为第一类电流信号，将非目标第一类感光器件转换得到的电流信号记为第二类电流信号，将第二类感光器件转换得到的电流信号记为第三类电路信号。
双模态仿生视觉传感器中第一类感光器件由电流模式有源像素传感器电路进行控制，电流模式有源像素传感器电路的数量可以根据目标第一类感光器件的数量确定。本发明实施例中，为区分目标第一类感光器件和非目标第一类感光器件的控制电路，将目标第一类感光器件的控制电路记为第一类电流模式有源像素传感器电路，将非目标第一类感光器件的控制电路记为第二类电流模式有源像素传感器电路。每个目标第一类感光器件对应一个第一类电流模式有源像素传感器电路，每个非目标第一类感光器件对应一个第二类电流模式有源像素传感器电路。第二类感光器件由电压模式有源像素传感器电路进行控制，电压模式有源像素传感器电路的数量可以小于等于第二类感光器件的数量，具体根据第二类感光器件的数量以及复用情况确定，本发明实施例中对此不作具体限定。
电流模式有源像素传感器电路是指工作模式为电流模式的有源像素传感器(Active Pixel Sensor，APS)电路，也即在其中的目标第一类感光器件在转换得到第一类电流信号后，并不需要直接对第一类电流信号进行积分，而是根据第一类电流信号与目标第一类感光器件周围预设数量个非目标第一类感光器件转换得到的第二类电流信号之和的差值，输出表征目标光信号中的光强梯度信息的指定数字信号。其中，每个非目标第一类感光器件分别与一个第一类控制开关串联。第一类控制开关具体可以是MOS管，所有第一类控制开关可以同时导通，也可以同时断开，还可以部分导通部分断开，具体可以根据需要进行设置，本发明实施例中对此不作具体限定。
第一类控制开关的导通与关闭可以根据需要进行设置，因此第一类控制开关为可配置的第一类控制开关。由于第一类控制开关实现的是控制目标第一类感光器件周围的非目标第一类感光器件是否有效，可以理解为第一类控制开关可以作为参数可配的1bit卷积核对第一类感光器件转换得到的电流信号进行卷积运算，完成速度很高，可以完成像素内的1bit卷积运算，实现高速的特征提取。
电压模式有源像素传感器电路是指工作模式为电压模式的APS电路，也即在其中的第二类感光器件转换得到第三类电流信号后，需要对第三类电流信号进行积分，得到目标电压信号，通过目标电压信号表征目标光信号中的光强信息，这种光强信息是一种绝对光强信息，其中还包含有颜色信息。
本发明实施例中提供了一种双模态仿生视觉传感器，一方面，通过第一类电流模式有源像素传感器电路模拟兴奋型视杆细胞的作用，实现对目标光信号中的光强梯度信息的感知作用，进而提高仿生视觉传感器图像的动态范围，提高拍摄速度。而且，为每个非目标第一类感光器件引入一个第一类控制开关，可以对得到的光强梯度信息进行控制，实现对仿生视觉传感器图像的动态范围的调整，进而实现对拍摄速度的调整，实现了可重配的效果。另一方面，通过电压模式有源像素传感器模拟视锥细胞的作用，可以输出表征目标光信号中的光强信息的目标电压信号，实现对目标光信号中的光强信息的感知作用，得到的目标电压信号表征光强信息的精度更高，可以得到更高质量的图像，即图像具有更高的图像信噪比。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，当所述目标光信号的光照度大于第一预设值时，所有所述第一类控制开关同时导通，当所述目标光信号的强度小于第二预设值时，所有所述第一类控制开关同时断开。
具体地，所有的第一类控制开关均相互独立，一个导通与断开并不会影响另一个，可以根据需要选择导通的数量和断开的数量，也可以全部导通或全部断开。本发明实施例中，为获得更好的效果，可以在目标光信号的光照度大于第一预设值时，使所有第一类控制开关同时导通，当目标光信号的强度小于第二预设值时，使所有第一类控制开关同时断开。其中第一预设值、第二预设值可以根据感光器件的类型、参数以及环境光照度进行确定。例如，第一预设值可以为10klux，第二预设值可以为50lux。即，当目标光信号的光照度大于第一预设值时，说明为强光照，此时为防止第一类电流模式有源像素传感器电路内DAC与比较器饱和，将所有第一类控制开关同时导通，此时所有非目标第一类感光器件有效，第一类电流模式有源像素传感器电路输出的指定数字信号为差模信号，可以使仿生视觉传感器得到图像的边缘信息。当目标光信号的强度小于第二预设值时，说明为弱光照，此时经目标第一类感光器件转换得到的第一类电流信号I1很小。因此将所有第一类控制开关同时断开，此时所有非目标第一类感光器件无效，第一类电流模式有源像素传感器电路输出的指定数字信号为共模信号，可以使仿生视觉传感器得到图像的原始信息。本发明实施例中提供的第一类电流模式有源像素传感器电路更好的仿真人眼的Gap Junction连接，从而实现对于仿生视觉传感器的图像动态范围的提高。
需要说明的是，当目标光信号的光照度大于第一预设值且小于第二预设值时，说明光照适中，此时所有第一类控制开关中可以部分导通部分断开。当至少一个第一类控制开关导通时，第一类电流模式有源像素传感器电路输出的指定数字信号均为差模信号，当所有第一类控制开关断开时，第一类电流模式有源像素传感器电路输出的指定数字信号为共模信号。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述第一类电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述目标第一类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述加法器的输入端分别与所述第一类控制开关连接，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，所述第一类电流模式有源像素传感器电路输出所述指定数字信号，所述指定数字信号用于表征所述目标光信号中的光强梯度信息。
具体地，如图2所示，为本发明实施例中提供的用于控制目标第一类感光器件的第一类电流模式有源像素传感器电路。图2中，第一类电流模式有源像素传感器电路包括目标第一类感光器件11、第一电流放大器12、比较器13、加法器14和数模转换器(Digital toAnalog Converter，DAC)15，目标第一类感光器件11与第一电流放大器12相连，第一电流放大器12用于对目标第一类感光器件11转换得到的第一类电流信号I0进行放大，放大的倍数为第一预设数量，即放大的倍数与目标第一类感光器件11周围的非目标第一类感光器件的数量相等，以保证放大后的第一类电流信号与目标第一类感光器件11周围第一预设数量个非目标第二类感光器件转换得到的第二类电流信号之和在同一量级上。需要说明的是，本发明实施例中提供的第一类感光器件中不存在滤光器(Colorfilter，CF)，因此第一类感光器件的响应波段与自身相关。
第一电流放大器12与比较器13的一个输入端相连，将放大后的第一类电流信号输入至比较器13中。目标第一类感光器件11周围的4个非目标第一类感光器件均分别与加法器14的输入端相连。由于每个非目标第一类感光器件均与一个第一类控制开关串联。本发明实施例中仅示出了与每个非目标第一类感光器件串联的第一类控制开关M1、M2、M3、M4。
加法器14的输出端与比较器13的另一个输入端相连。4个非目标第一类感光器件转换得到的电流信号I1、I2、I3、I4分别输入至加法器14，由加法器14对I1、I2、I3、I4进行求和，并将求和结果输入至比较器13。由比较器13对放大后的第一类电流信号以及加法器14的求和结果进行比较。当前一时刻与当前时刻的比较结果一致，则不做输出，由DAC15将输入的指定数字信号转换为指定模拟信号，并将指定模拟信号输出至第一电流放大器12或者加法器14，输出至第一电流放大器12的指定模拟信号记为IDA2，输出至加法器14的指定模拟信号记为IDA1。输出后再通过比较器13进行比较，当前一时刻与后一时刻的比较结果相反时，由比较器13的输出端输出事件脉冲信号，即比较器13处于边沿触发状态，此时第一类电流模式有源像素传感器电路输出指定数字信号，指定数字信号用于表征目标光信号中的光强梯度信息。其中，第一类电流模式有源像素传感器电路输出的指定数字信号是一种用0和1表示的数字信号。
其中，输入至DAC15的指定数字信号可以是人为输入的周期性增加的指定数字信号，指定数字信号的变化形式具体如图3所示，指定数字信号具体随时间呈阶梯型递增，当某一时刻N*step时，指定数字信号取值为ΔI，比较器13输出事件脉冲信号，即比较器13处于边沿触发状态，则将此时的ΔI作为第一类电流模式有源像素传感器电路的输出。其中，N为此前经过的台阶数，step为每一台阶经过的时长。
需要说明的是，本发明实施例中的加法器可以是实际的器件，也可以是实现加法功能的功能模块，例如可以通过将电流信号I1、I2、I3、I4所在的线路合并成一条线路实现。而且，第一电流放大器也可以是实际的器件，也可以是实现电流放大功能的功能模块，本发明实施例中对此不作具体限定。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述第一类电流模式有源像素传感器电路还包括：三态门电路；
所述三态门电路分别与所述比较器的输出端以及所述数模转换器的输入端连接；
所述三态门电路用于在所述比较器的输出端输出所述事件脉冲信号时，输出所述指定数字信号。
具体地，如图4所示，本发明实施例中，在第一类电流模式有源像素传感器电路中还包括：三态门电路41。三态门电路41分别与比较器13的输出端以及DAC15的输入端连接；三态门电路41用于在比较器13的输出端输出事件脉冲信号时，即比较器13处于边沿触发状态，输出指定数字信号。
如图5所示，为本发明实施例中提供的第一类电流模式有源像素传感器电路的具体结构示意图。图5中，电路结构51模拟视杆细胞电路，电路结构52模拟节细胞与双极细胞。Vcc为控制电路的电源，目标第一类感光器件53与Vcc连接，目标第一类感光器件53转换得到的第一类电流信号I0经电流镜54放大4倍后与比较器(Comparer，CP)56的输入端连接，目标第一类感光器件53周围的4个非目标第一类感光器件转换得到的电流信号分别为I1、I2、I3、I4。
需要说明的是，图5中电流镜54为第一电流放大器。图5中并未画出目标第一类感光器件53周围的4个非目标第一类感光器件，仅仅画出了与每个非目标第一类感光器件串联的第一类控制开关M1、M2、M3、M4。I1、I2、I3、I4所在的线路合并成一条线路，实现加法器的作用。合并的一条线路与CP56的输入端连接。由CP56对放大后的第一类电流信号以及I1、I2、I3、I4之和进行比较。当前一时刻与当前时刻的比较结果一致，则不做输出，由DAC55将输入的指定数字信号转换为指定模拟信号，并将指定模拟信号输出至目标第一类感光器件53或者某一个非目标第一类感光器件。输出后再通过CP56进行比较，当前一时刻与后一时刻的比较结果相反时，由CP56的输出端输出事件脉冲信号，即CP56处于边沿触发状态，此时由三态门电路57输出指定数字信号。
在图5中，CP56与地之间还连接有电容58，电容58可以是实际电容，也可以是第一类电流模式有源像素传感器电路中虚拟出来的寄生电容，本发明实施例中对此不作具体限定。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，第一类电流模式有源像素传感器电路还包括：存储单元。存储单元与三态门电路的输出端连接，用于存储第一类电流模式有源像素传感器电路输出的指定数字信号。存储单元具体可以是寄存器、锁存器、SRAM、DRAM、忆阻器等。以寄存器为例，寄存器的位数可以根据DAC的精度进行选择，本发明实施例中在此可选择4位寄存器。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述电压模式有源像素传感器电路具体包括：所述目标第一类感光器件周围的第二预设数量个所述第二类感光器件，每个所述第二类感光器件均分别与一个第二类控制开关串联，同一时刻仅存在一个第二类控制开关处于导通状态；
所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器，每个所述第二类感光器件以及串联的第二类控制开关构成器件支路，所有器件支路并联连接且共用所述电流积分器、所述快门以及所述模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；所述快门用于控制所述电流积分器的积分时间；所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
具体地，本发明实施例中提供的双模态仿生视觉传感器中，可以多个第二类感光器件共用一个电压模式有源像素传感器，即每个电压模式有源像素传感器电路中包括目标第一类感光器件周围的第二预设数量个第二类感光器件。可以理解为，由目标第一类感光器件和周围的第二预设数量个第二类感光器件构成一组，该组内的目标第一类感光器件由一个电流模式有源像素传感器控制，该组内的所有非目标第一类感光器件由一个电压模式有源像素传感器控制。
如图6所示，为本发明实施例中提供的电压模式有源像素传感器的结构示意图。图6中，包括：4个第二类感光器件61、电流积分器(Current Integrator，CI)62、快门64以及模数转换器(Analog-to-Digital Converter，ADC)63。每个第二类感光器件61分别与一个第二类控制开关65串联，同一时刻仅存在一个第二类控制开关65处于导通状态。每个第二类感光器件61与串联的第二类控制开关65构成一个器件支路，4个器件支路并联，共用CI62、快门64以及ADC63。第二类控制开关65具体可以是MOS管。
CI62用于获取电压模式有源像素传感器电路中目标电容的电压模拟信号；ADC63用于将所述目标电容的电压模拟信号转换为所述目标电压信号。快门64用于控制CI62的积分时间。例如，快门64控制CI62的积分时间为33ms，则33ms后，快门64闭合，CI62得到目标电容的电压模拟信号，并由ADC63读出。本发明实施例中还可以在ADC63后连接一存储单元，将ADC63读出的目标电容的电压模拟信号存储在存储单元中。存储单元413具体可以是寄存器、锁存器、SRAM、DRAM、忆阻器等。以寄存器为例，寄存器的位数可以根据ADC63的精度进行选择，本发明实施例中在此可选择8位寄存器存储目标电容的电压模拟信号。在ADC63读出动作完成后，还可以断开快门64，继续使CI62对目标电容的电流进行积分。循环上述步骤可以完成对视频信号的获取。
如图7所示，为本发明实施例中提供的电压模式有源像素传感器电路的具体结构示意图。图7中，共包括4个第二类感光器件，分别为71、72、73、74，第二类感光器件71与第二类控制开关75串联形成第一器件支路，第二类感光器件72与第二类控制开关76串联形成第二器件支路，第二类感光器件73与第二类控制开关78串联形成第三器件支路，第二类感光器件74与第二类控制开关77串联形成第四器件支路。第一器件支路、第二器件支路、第三器件支路以及第四器件支路并联后与MOS管79、710连接，MOS管710与MOS管711连接。MOS管79用于起偏置作用，MOS管710用于起开关作用，MOS管711用于对某一器件支路上的第二类感光器件转换得到的第三类电流信号进行电流积分，得到目标电压信号，表征目标光信号中的光强信息。
本发明实施例中提供的电压模式有源像素传感器电路，通过与每个第二类感光器件串联的第二类控制开关实现对器件支路的控制，进而实现一个电压模式有源像素传感器电路控制多个第二类感光器件的功能，提高了双模态仿生视觉传感器的集成度。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，还包括：第二类电流模式有源像素传感器电路；
所述第二类电流模式有源像素传感器电路包括一个所述非目标第一类感光器件和所述第二预设数量个电流镜；
每个电流镜分别与所述非目标第一类感光器件周围的一个所述第二类感光器件串联。
具体地，本发明实施例中，用于控制非目标第一类感光器件的第二类电流模式有源像素传感器电路具体包括：非目标第一类感光器件和第二预设数量个电流镜，每个电流镜分别与非目标第一类感光器件周围的一个目标第一类感光器件串联。也就是说，本发明实施例中每个第二类电流模式有源像素传感器电路均控制一个非目标第一类感光器件。
如图8所示，第二类电流模式有源像素传感器电路包括一个非目标第一类感光器件81和4个第一类电流镜82、83、84、85。每个第一类电流镜分别与非目标第一类感光器件81周围的一个目标第一类感光器件串联，即将非目标第一类感光器件81转换得到的电流信号I1复制成4个I1，分别用于包括非目标第一类感光器件81周围的每个目标第一类感光器件的第一类电流模式有源像素传感器电路获取到目标光信号中的光强梯度信息，以实现非目标第一类感光器件的复用，提高双模态仿生视觉传感器的像素填充因子。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述第一类感光器件具体为光电二极管(Photo-Diode，PD)，也可以是其他可以将光信号转换为电流信号的器件，本发明实施例中对此不作具体限定。需要说明的是，第一类感光器件中不包含有滤光器。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述第二类感光器件具体包括滤光器和光电二极管；
所述滤光器用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号；所述光电二极管用于将所述指定频段的光信号转换为所述第三类电流信号。
具体地，本发明实施例中，第二类感光器件用于对目标光信号中的彩色分量进行感应，第二类感光器件具体可以包括PD和设置在PD上的滤色器(Colour Filter，CF)，最终由仿生视觉传感器得到的图像是彩色图像。其中，CF用于获取目标光信号，从目标光信号中提取指定频段的光信号，PD将指定频段的光信号光信号转换为第三类电流信号。滤色器具体可以是滤光片或者透镜，用于透过指定波长的光信号。当滤色器为透镜时，具体可选用拜伦透镜，也可以选用其他类型的透镜。滤色器按透过光信号的波长大小可分为红色滤色器、蓝色滤色器以及绿色滤色器，其透过的光信号分别为红光信号、蓝光信号和绿光信号。
需要说明的是，第二类感光器件还可以直接由光电二极管组成，通过选取不同响应曲线的光电二极管实现获取目标光信号，从目标光信号中提取指定波段的光信号，并将指定波段的光信号转换为第三类电流信号的作用。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述双模态仿生视觉传感器的像素阵列由所述目标第一类感光器件、所述非目标第一类感光器件以及所述第二类感光器件排列形成；
所述像素阵列的每一行中，所述第二类感光器件与所述目标第一类感光器件相间排列，或者所述第二类感光器件与所述非目标第一类感光器件相间排列。
具体地，像素阵列的排布方式结构示意图可以如图9所示，其中包括第一类感光器件91和第二类感光器件92，每个第一类感光器件和每个第二类感光器件均分别构成一个像素。第一类感光器件91中的目标第一类感光器件标记为“+”，非目标第一类感光器件标记为“-”。包含有红色滤色器的第二类感光器件92标记为“R”，包含有蓝色滤色器的第二类感光器件92标记为“B”，包含有绿色滤色器的第二类感光器件92标记为“G”。每个目标第一类感光器件周围具有4个非目标第一类感光器件以及4个第二类感光器件，每个非目标第一类感光器件周围具有4个目标第一类感光器件及4个第二类感光器件。
像素阵列的排布方式结构示意图也可以如图10所示，其中包括第一类感光器件101和第二类感光器件102，第一类感光器件101中的目标第一类感光器件标记为“+”，非目标第一类感光器件标记为“-”。包含有红色滤色器的第二类感光器件102标记为“R”，包含有蓝色滤色器的第二类感光器件102标记为“B”，包含有绿色滤色器的第二类感光器件102标记为“G”。每个目标第一类感光器件周围具有6个非目标第一类感光器件以及2个第二类感光器件，每个非目标第一类感光器件周围具有2个目标第一类感光器件以及4个第二类感光器件，或者每个非目标第一类感光器件周围具有4个目标第一类感光器件以及2个第二类感光器件。像素阵列的排布方式也可以是其他形式，本发明实施例中对此不作具体限定。
相应地，图9中示出的像素阵列，对应的第一预设数量和第二预设数量均为4，图10示出的像素阵列，对应的第一预设数量为6，第二预设数量为2或4。本发明实施例中均以图9中示出的像素阵列为例进行说明。例如，图7中的第二类感光器件71可以是标记为“G”的第二类感光器件，第二类感光器件72、73可以是标记为“R”的第二类感光器件，第二类感光器件74可以是标记为“B”的第二类感光器件。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述第一类电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述目标第二类感光器件与所述第一电流放大器之间。
具体地，本发明实施例中，由于第一类感光器件转换得到的电流信号较小，因此可以在第一电流放大器与目标第一类感光器件之间连接有第二电流放大器，用于为目标第一类感光器件转换得到的第一类电流信号进行初步放大。第二电流放大器可以是实际的器件，也可以是实现电流放大功能的功能模块，本发明实施例中对此不作具体限定。相应地，目标第一类感光器件周围的非目标第一类感光器件与加法器之间也设置有第二电流放大器，使加法器之前每个非目标第一类感光器件所处支路的电流信号与目标第一类感光器件所处支路的电流信号处于同一量级。
在上述实施例的基础上，本发明实施例中提供的双模态仿生视觉传感器，所述目标电压信号和所述指定数字信号共同形成图像。
具体地，本发明实施例中，将目标电压信号和指定数字信号共同形成图像。需要注意的是，目标电压信号与指定数字信号的输出形式与速度并不相同。目标电压信号的输出速度约为30ms。而由于第一类电流模式有源像素传感器电路中数模转换器的扫描速度约为1ms，其后采用异步事件地址表示方式输出，具体为(X,Y,P,T)。其中，“X,Y”为事件地址，“P”为4值事件输出(包括第一位符号位)，“T”为事件产生的时间。
最终输出的图像如图11所示，两帧图片为彩色图片，由先后输出的目标电压信号形成，而两帧图片之间的边缘点由输出的指定数字信号形成。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种双模态仿生视觉传感器，其特征在于，包括：第一类电流模式有源像素传感器电路和电压模式有源像素传感器电路；
所述第一类电流模式有源像素传感器电路包括一个目标第一类感光器件；所述目标第一类感光器件用于获取目标光信号，并将所述目标光信号转换为第一类电流信号，所述第一类电流模式有源像素传感器电路用于基于所述第一类电流信号与所述目标第一类感光器件周围第一预设数量个非目标第一类感光器件转换得到的第二类电流信号之和的差值，输出表征所述目标光信号中的光强梯度信息的指定数字信号；
所述电压模式有源像素传感器电路包括第二类感光器件，所述第二类感光器件用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第三类电流信号，所述电压模式有源像素传感器电路用于基于所述第三类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
其中，每个非目标第一类感光器件分别与一个第一类控制开关串联。
2.根据权利要求1所述的双模态仿生视觉传感器，其特征在于，所述第一类电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述目标第一类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述加法器的输入端分别与所述第一类控制开关连接，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，所述第一类电流模式有源像素传感器电路输出所述指定数字信号，所述指定数字信号用于表征所述目标光信号中的光强梯度信息。
3.根据权利要求2所述的双模态仿生视觉传感器，其特征在于，所述第一类电流模式有源像素传感器电路还包括：三态门电路；
所述三态门电路分别与所述比较器的输出端以及所述数模转换器的输入端连接；
所述三态门电路用于在所述比较器的输出端输出所述事件脉冲信号时，输出所述指定数字信号。
4.根据权利要求1所述的双模态仿生视觉传感器，其特征在于，所述电压模式有源像素传感器电路具体包括：所述目标第一类感光器件周围的第二预设数量个所述第二类感光器件，每个所述第二类感光器件均分别与一个第二类控制开关串联，同一时刻仅存在一个第二类控制开关处于导通状态；
所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器，每个所述第二类感光器件以及串联的第二类控制开关构成器件支路，所有器件支路并联连接且共用所述电流积分器、所述快门以及所述模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；所述快门用于控制所述电流积分器的积分时间；所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
5.根据权利要求4所述的双模态仿生视觉传感器，其特征在于，还包括：第二类电流模式有源像素传感器电路；
所述第二类电流模式有源像素传感器电路包括一个所述非目标第一类感光器件和所述第二预设数量个电流镜；
每个电流镜分别与所述非目标第一类感光器件周围的一个所述目标第一类感光器件串联。
6.根据权利要求1所述的双模态仿生视觉传感器，其特征在于，所述双模态仿生视觉传感器的像素阵列由所述目标第一类感光器件、所述非目标第一类感光器件以及所述第二类感光器件排列形成；
所述像素阵列的每一行中，所述第二类感光器件与所述目标第一类感光器件相间排列，或者所述第二类感光器件与所述非目标第一类感光器件相间排列。
7.根据权利要求1所述的双模态仿生视觉传感器，其特征在于，所述第二类感光器件具体包括滤光器和光电二极管；
所述滤光器用于获取所述目标光信号，从所述目标光信号中提取指定频段的光信号；所述光电二极管用于将所述指定频段的光信号转换为所述第三类电流信号。
8.根据权利要求1所述的双模态仿生视觉传感器，其特征在于，所述第一类电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述目标第二类感光器件与所述第一电流放大器之间。
9.根据权利要求1-8中任一项所述的双模态仿生视觉传感器，其特征在于，所述目标电压信号和所述指定数字信号共同形成图像。
10.根据权利要求1-8中任一项所述的双模态仿生视觉传感器，其特征在于，还包括：两个存储单元；
所述两个存储单元分别用于存储所述目标电压信号以及所述指定数字信号。
CN201911348653.8A 2019-12-24 2019-12-24 双模态仿生视觉传感器 Active CN111083402B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911348653.8A CN111083402B (zh) 2019-12-24 2019-12-24 双模态仿生视觉传感器
PCT/CN2020/073523 WO2021128533A1 (zh) 2019-12-24 2020-01-21 双模态仿生视觉传感器
US17/788,909 US11943550B2 (en) 2019-12-24 2020-01-21 Dual-modality neuromorphic vision sensor
JP2022536912A JP7335020B2 (ja) 2019-12-24 2020-01-21 バイモーダル生体模倣視覚センサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348653.8A CN111083402B (zh) 2019-12-24 2019-12-24 双模态仿生视觉传感器

Publications (2)

Publication Number Publication Date
CN111083402A true CN111083402A (zh) 2020-04-28
CN111083402B CN111083402B (zh) 2020-12-01

Family

ID=70317305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348653.8A Active CN111083402B (zh) 2019-12-24 2019-12-24 双模态仿生视觉传感器

Country Status (4)

Country Link
US (1) US11943550B2 (zh)
JP (1) JP7335020B2 (zh)
CN (1) CN111083402B (zh)
WO (1) WO2021128533A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188092A (zh) * 2020-09-24 2021-01-05 北京灵汐科技有限公司 双模态信号处理系统和方法
CN112188093A (zh) * 2020-09-24 2021-01-05 北京灵汐科技有限公司 双模态信号融合系统和方法
CN112200757A (zh) * 2020-09-29 2021-01-08 北京灵汐科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN112532898A (zh) * 2020-12-03 2021-03-19 北京灵汐科技有限公司 双模态红外仿生视觉传感器
CN112543271A (zh) * 2020-12-03 2021-03-23 清华大学 双模态紫外仿生视觉传感器
CN112584016A (zh) * 2020-12-03 2021-03-30 北京灵汐科技有限公司 红外仿生视觉传感器
CN112600996A (zh) * 2020-12-03 2021-04-02 清华大学 紫外仿生视觉传感器
CN112702588A (zh) * 2020-12-21 2021-04-23 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
CN113038046A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
WO2022063060A1 (zh) * 2020-09-24 2022-03-31 北京灵汐科技有限公司 双模态信号处理系统和方法
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
WO2022135359A1 (zh) * 2020-12-21 2022-06-30 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN114697578A (zh) * 2020-12-31 2022-07-01 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187423A (ja) * 2013-03-21 2014-10-02 Canon Inc 撮像素子及びその駆動方法、及び撮像装置
CN107333040A (zh) * 2017-07-13 2017-11-07 中国科学院半导体研究所 仿生视觉成像与处理装置
CN108200362A (zh) * 2017-12-19 2018-06-22 清华大学 基于空间对比度的仿生视网膜摄像电路及子电路
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002026304A (ja) 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
JP2006279324A (ja) 2005-03-28 2006-10-12 Sanyo Electric Co Ltd 光検出装置
JP5655355B2 (ja) 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
US8266098B2 (en) * 2009-11-18 2012-09-11 International Business Machines Corporation Ranking expert responses and finding experts based on rank
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
US9047568B1 (en) * 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
CN102984471B (zh) 2012-12-10 2014-05-14 天津大学 由四管有源像素与数字像素组成的像素阵列
US10726337B1 (en) * 2015-04-30 2020-07-28 Hrl Laboratories, Llc Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons
CN105163048A (zh) 2015-09-11 2015-12-16 天津大学 基于放大器复用的动态视觉传感器
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
US10133944B2 (en) * 2016-12-21 2018-11-20 Volkswagen Ag Digital neuromorphic (NM) sensor array, detector, engine and methodologies
CN108566524B (zh) 2018-01-31 2023-10-27 光微信息科技(合肥)有限公司 像素单元、图像传感器芯片、成像系统、像素单元的形成方法以及深度信息测算方法
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
CN111083404B (zh) * 2019-12-24 2021-01-08 清华大学 视锥视杆双模态仿生视觉传感器
US20210312257A1 (en) * 2020-04-07 2021-10-07 Microsoft Technology Licensing, Llc Distributed neuromorphic infrastructure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187423A (ja) * 2013-03-21 2014-10-02 Canon Inc 撮像素子及びその駆動方法、及び撮像装置
CN107333040A (zh) * 2017-07-13 2017-11-07 中国科学院半导体研究所 仿生视觉成像与处理装置
CN108200362A (zh) * 2017-12-19 2018-06-22 清华大学 基于空间对比度的仿生视网膜摄像电路及子电路
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施建盛 等: "《双CMOS仿生3D视觉传感器电路设计》", 《电视技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188092A (zh) * 2020-09-24 2021-01-05 北京灵汐科技有限公司 双模态信号处理系统和方法
CN112188093A (zh) * 2020-09-24 2021-01-05 北京灵汐科技有限公司 双模态信号融合系统和方法
CN112188093B (zh) * 2020-09-24 2022-09-02 北京灵汐科技有限公司 双模态信号融合系统和方法
WO2022063060A1 (zh) * 2020-09-24 2022-03-31 北京灵汐科技有限公司 双模态信号处理系统和方法
CN112188092B (zh) * 2020-09-24 2022-09-30 北京灵汐科技有限公司 双模态信号处理系统和方法
TWI802015B (zh) * 2020-09-24 2023-05-11 大陸商北京靈汐科技有限公司 雙模態訊號處理系統和方法
CN112200757A (zh) * 2020-09-29 2021-01-08 北京灵汐科技有限公司 图像处理方法、装置、计算机设备及存储介质
TWI773526B (zh) * 2020-09-29 2022-08-01 大陸商北京靈汐科技有限公司 影像處理方法、裝置、電腦設備及儲存媒體
CN112532898A (zh) * 2020-12-03 2021-03-19 北京灵汐科技有限公司 双模态红外仿生视觉传感器
CN112600996A (zh) * 2020-12-03 2021-04-02 清华大学 紫外仿生视觉传感器
CN112584016A (zh) * 2020-12-03 2021-03-30 北京灵汐科技有限公司 红外仿生视觉传感器
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
CN112543271A (zh) * 2020-12-03 2021-03-23 清华大学 双模态紫外仿生视觉传感器
CN112714301A (zh) * 2020-12-21 2021-04-27 北京灵汐科技有限公司 双模态图像信号处理器和图像传感器
WO2022135359A1 (zh) * 2020-12-21 2022-06-30 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN112702588A (zh) * 2020-12-21 2021-04-23 北京灵汐科技有限公司 双模态图像信号处理器和双模态图像信号处理系统
CN114697578A (zh) * 2020-12-31 2022-07-01 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统
CN114697578B (zh) * 2020-12-31 2024-03-15 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统
CN113038046A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器

Also Published As

Publication number Publication date
CN111083402B (zh) 2020-12-01
WO2021128533A1 (zh) 2021-07-01
JP2023507363A (ja) 2023-02-22
JP7335020B2 (ja) 2023-08-29
US11943550B2 (en) 2024-03-26
US20230033544A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN111083402B (zh) 双模态仿生视觉传感器
CN111083404B (zh) 视锥视杆双模态仿生视觉传感器
CN103327342B (zh) 具有透明滤波器像素的成像系统
US9967472B2 (en) Image sensor combining high dynamic range techniques
US9888198B2 (en) Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US9531976B2 (en) Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
CN111106807B (zh) 视锥视杆复用式仿生视觉传感器
CN112532898B (zh) 双模态红外仿生视觉传感器
CN211296854U (zh) 像素阵列及仿生视觉传感器
CN111031267B (zh) 视杆仿生视觉传感器
CN207573459U (zh) 成像系统
JP5521373B2 (ja) 撮像素子
CN111083405B (zh) 双模态仿生视觉传感器像素读出系统
CN109496426A (zh) 传感器、驱动方法以及电子装置
US11451723B2 (en) Image sensor and electronic camera
CN112543271B (zh) 双模态紫外仿生视觉传感器
KR20190100833A (ko) Hdr 이미지 생성 장치
CN112584016B (zh) 红外仿生视觉传感器
WO2022116991A1 (zh) 仿生视觉传感器
JP7164579B2 (ja) 画像センサー及び電子デバイス
CN112600996A (zh) 紫外仿生视觉传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant