CN112532898A - 双模态红外仿生视觉传感器 - Google Patents

双模态红外仿生视觉传感器 Download PDF

Info

Publication number
CN112532898A
CN112532898A CN202011414030.9A CN202011414030A CN112532898A CN 112532898 A CN112532898 A CN 112532898A CN 202011414030 A CN202011414030 A CN 202011414030A CN 112532898 A CN112532898 A CN 112532898A
Authority
CN
China
Prior art keywords
signal
infrared
unit
photosensitive unit
type photosensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011414030.9A
Other languages
English (en)
Other versions
CN112532898B (zh
Inventor
施路平
杨哲宇
赵蓉
王韬毅
何伟
裴京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202011414030.9A priority Critical patent/CN112532898B/zh
Publication of CN112532898A publication Critical patent/CN112532898A/zh
Priority to PCT/CN2021/134726 priority patent/WO2022116991A1/zh
Application granted granted Critical
Publication of CN112532898B publication Critical patent/CN112532898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明实施例公开了一种双模态红外仿生视觉传感器。该双模态红外仿生视觉传感器包括：第一传感电路，用于提取目标光信号中第一设定波段的光信号，并输出表征所述第一设定波段的光信号的光强变化量的电流信号；第二传感电路，用于提取目标光信号中第二设定波段的光信号，并输出表征所述第二设定波段的光信号的光强的电压信号；其中，所述第一设定波段和所述第二设定波段中的至少一种包括红外线波段。本发明实施例提供的双模态红外仿生视觉传感器，不但能够同时采集高质量的色彩光强信号与高速的灰度变化量信号，还能够感知目标光信号中红外线的色彩光强信息和/或光强变化信息，进一步拓宽了双模态红外仿生视觉传感器的应用场景。

Description

双模态红外仿生视觉传感器
技术领域
本发明实施例涉及图像传感技术领域，尤其涉及一种双模态红外仿生视觉传感器。
背景技术
视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，现有技术中的视觉传感器一般包括：有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器通常为基于电压信号或电流信号的图像传感器，广泛应用于手机或相机的摄像单元中，这类图像传感器具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器常用于工业控制领域，其特点是能够对动态场景进行感知，因拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差。
目前，现有视觉传感器存在以下缺陷：(1)应用场景有限：有源像素传感器的拍摄速度较慢，并且面临动态范围较小的问题，难以广泛应用，动态视觉传感器拍摄的图像质量较差，不适用于静态场景。(2)稳定性较差：有源像素传感器和动态视觉传感器均仅包含单一感知模式，因而当感知模式失效时，传感器也会失效，例如当环境光强较暗时，有源像素传感器由于动态范围有限而难以拍摄图像，场景没有目标运动时，动态视觉传感器由于仅对运动目标敏感而难以拍摄图像。(3)性能有限：图像质量、动态范围和拍摄速度是评价视觉传感器性能的三个指标，传统视觉传感器的这三个指标往往互斥，例如当传感器的拍摄速度提高时，动态范围就会降低，图像质量提升时，拍摄速度就会减慢。有源像素传感器和动态视觉传感器各有优劣，均无法同时满足上述三个性能指标。
因此，现有技术缺乏兼具有源像素传感器和动态视觉传感器二者的优势的视觉传感器，并且没有电压电流型视觉传感器的解决方案。
发明内容
本发明实施例提供一种双模态红外仿生视觉传感器，以实现同时获取高质量的色彩光强信号与高速的灰度变化量信号。
本发明实施例提供了一种双模态红外仿生视觉传感器，包括：
第一传感电路，用于提取目标光信号中第一设定波段的光信号，并输出表征所述第一设定波段的光信号的光强变化量的电流信号；
第二传感电路，用于提取目标光信号中第二设定波段的光信号，并输出表征所述第二设定波段的光信号的光强的电压信号；
其中，所述第一设定波段和所述第二设定波段中的至少一种包括红外线波段。
可选地，所述第一传感电路包括第一兴奋型感光单元和第一抑制型感光单元，所述第一兴奋型感光单元和所述第一抑制型感光单元均用于提取目标光信号中第一设定波段的光信号，并将所述第一设定波段的光信号转换为电流信号；
所述第一传感电路还用于根据所述第一兴奋型感光单元和所述第一抑制型感光单元转换的电流信号之间的差异，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
可选地，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件，所述第一感光器件为红外光敏器件。
可选地，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件以及设置在所述第一感光器件上的第一滤光器件；
所述第一感光器件为红外光敏器件和/或所述第一滤光器件为红外滤光器件。
可选地，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件以及设置在所述第一感光器件上的第一滤光器件；
所述第一兴奋型感光单元中的所述第一感光器件为红外光敏器件，所述第一抑制型感光单元中的所述第一滤光器件为红外滤光器件；或者，所述第一兴奋型感光单元中的所述第一滤光器件为红外滤光器件，所述第一抑制型感光单元中的所述第一感光器件为红外光敏器件；
所述第一传感电路还用于对所述第一兴奋型感光单元和所述第一抑制型感光单元的光谱响应特性的一致性进行校正。
可选地，所述第二传感电路包括至少一个第二感光单元，所述第二感光单元用于提取目标光信号中第二设定波段的光信号，并将所述第二设定波段的光信号转换为电流信号；
所述第二传感电路还用于根据所述第二感光单元转换的电流信号，输出表征所述第二设定波段的光信号的光强的电压信号。
可选地，所述第二感光单元包括第二感光器件以及设置在所述第二感光器件上的第二滤光器件，多个所述第二感光单元对应的所述第二滤光器件的滤光颜色至少为三种。
可选地，所述第二设定波段包括红外线波段，所述第二滤光器件包括红外滤光器件。
可选地，所述第一传感电路包括第一兴奋型感光单元和第一抑制型感光单元，所述第二传感电路包括第二感光单元；
所述第一兴奋型感光单元、所述第一抑制型感光单元和所述第二感光单元呈阵列排布，以形成像素单元。
可选地，所述像素单元包括一个所述第一兴奋型感光单元、四个所述第一抑制型感光单元和四个所述第二感光单元；
所述像素单元中的四个所述第二感光单元围绕所述第一兴奋型感光单元，且分别与所述第一兴奋型感光单元相邻设置；所述像素单元中的四个所述第一抑制型感光单元围绕所述第一兴奋型感光单元设置，且在具有所述第一抑制型感光单元的行方向和列方向上，所述第一抑制型感光单元与所述第二感光单元交替设置。
可选地，多个所述像素单元阵列排布以形成像素阵列，相邻两个所述像素单元共用两个所述第一兴奋型感光单元之间的所述第二感光单元，以及与该所述第二感光单元相邻的两个所述第一抑制型感光单元。
可选地，所述像素单元中的四个所述第二感光单元包括红色感光单元、绿色感光单元和蓝色感光单元。
可选地，所述绿色感光单元的数量与所述红色感光单元和所述蓝色感光单元的数量之和的比例为1:1。
可选地，所述第二设定波段包括红外线波段，所述像素单元中的四个所述第二感光单元包括红色感光单元、绿色感光单元、蓝色感光单元和红外感光单元。
可选地，所述第一传感电路还包括第一兴奋型控制电路以及与所述第一兴奋型控制电路连接的至少一个第一抑制型控制电路；
所述第一兴奋型控制电路连接所述第一兴奋型感光单元，所述第一抑制型控制电路连接所述第一抑制型感光单元，并与所述第一抑制型感光单元一一对应设置，所述第一抑制型控制电路用于将所述第一抑制型感光单元转换的电流信号传输至所述第一抑制型控制电路连接的所述第一兴奋型控制电路；
所述第一兴奋型控制电路用于根据接收到的控制信号控制自身与所述第一抑制型控制电路导通或断开，并根据所述第一兴奋型感光单元和所述第一抑制型感光单元转换的电流信号之间的差异，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
可选地，所述第一兴奋型控制电路包括：信号放大单元、加法器、数模转换器、比较器、三态门和至少一个第一开关；
所述信号放大单元的输入端连接所述第一兴奋型感光单元，所述信号放大单元的输出端连接所述比较器的第一输入端；
所述第一抑制型控制电路通过所述第一开关连接所述加法器的输入端，所述加法器的输出端连接所述比较器的第二输入端；
所述数模转换器的输入端连接所述比较器的输出端，所述数模转换器的模拟信号输出端分别连接所述信号放大单元的输入端和所述加法器的输入端，所述数模转换器用于根据所述比较器输出的比较结果信号，向所述信号放大单元的输入端或所述加法器的输入端输入模拟信号，以使所述比较器输出包含所述第一设定波段的光信号的光强变化量的比较结果信号；
所述三态门的控制端连接所述比较器的输出端，所述三态门的输入端连接所述数模转换器的输入端，所述三态门用于根据所述比较器输出的信号，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
可选地，所述第一兴奋型控制电路还包括与所述三态门的输出端连接的存储单元，用于存储并输出所述三态门输出的信号。
可选地，所述第一抑制型控制电路包括：与所述第一抑制型感光单元连接的第二开关以及与所述第一抑制型感光单元和所述第二开关连接的至少一个镜像开关，所述第一抑制型控制电路通过所述镜像开关连接所述第一兴奋型控制电路。
可选地，所述第二传感电路还包括第三开关、快门电路、电流积分电路和模数转换器；
所述第二感光单元通过所述第三开关连接所述电流积分电路的输入端，所述第三开关用于根据接收到的控制信号导通或断开所述第二感光单元和所述电流积分电路，不同所述第二感光单元所连接的所述第三开关分时导通；
所述快门电路并联于所述电流积分电路，用于控制所述电流积分电路的积分时间；
所述电流积分电路用于将所述第二感光单元输出的电流信号进行积分，以将所述电流信号转换为模拟电压信号；
所述模数转换器的输入端连接所述电流积分电路的输出端，用于将所述模拟电压信号转换为数字电压信号。
本发明实施例的技术方案，提供了一种双模态红外仿生视觉传感器，利用该传感器模拟人眼视网膜中的不同视觉感知细胞，通过第一传感电路感知目标光信号中第一设定波段的光信号，并输出表征第一设定波段的光信号的光强变化量的电流信号，以模拟视杆细胞获取光强梯度信息，从而提升传感器对动态目标的感知能力，增大传感器采集的图像的动态范围，提高传感器的拍摄速度；通过第二传感电路感知目标光信号中第二设定波段的光信号，并输出表征第二设定波段的光信号的光强的电压信号，以模拟视锥细胞获取色彩光强信息，有利于提升传感器拍摄的图像的色彩还原度及图像质量。本发明实施例的技术方案，解决了现有视觉传感器应用场景有限、稳定性较差和性能有限等缺陷，实现了同时采集高质量的色彩光强信号与高速的灰度变化量信号，通过两种模态的图像信号的互补，丰富了图像的视觉信息，兼具高速、高保真、高动态范围和高时间分辨率拍摄的优势。另外，双模态红外仿生视觉传感器还可以感知目标光信号中红外线的色彩光强信息和/或光强变化信息，进一步拓宽了传感器的应用场景。
附图说明
图1是本发明实施例提供的一种双模态红外仿生视觉传感器的模块结构示意图；
图2是本发明实施例提供的一种双模态红外仿生视觉传感器中的像素单元的结构示意图；
图3是本发明实施例提供的一种双模态红外仿生视觉传感器的像素排布示意图；
图4是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图；
图5是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图；
图6是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图；
图7是本发明实施例提供的一种第一传感电路的模块结构示意图；
图8是本发明实施例提供的一种第一兴奋型控制电路的模块结构示意图；
图9是本发明实施例提供的一种信号波形示意图；
图10是本发明实施例提供的一种第一兴奋型控制电路的电路结构示意图；
图11是本发明实施例提供的一种第一抑制型控制电路的结构示意图；
图12是本发明实施例提供的一种第二传感电路的模块结构示意图；
图13是本发明实施例提供的一种第二传感电路的电路结构示意图；
图14是本发明实施例提供的一种双模态红外仿生视觉传感器输出的图像示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
正如背景技术所述，现有视觉传感器存在应用场景有限、稳定性较差、性能有限等缺陷，现有技术缺乏兼具有源像素传感器和动态视觉传感器二者的优势的视觉传感器，并且没有电压电流型视觉传感器的解决方案。
针对上述问题，本发明实施例提供了一种双模态红外仿生视觉传感器。图1是本发明实施例提供的一种双模态红外仿生视觉传感器的模块结构示意图，如图1所示，该双模态红外仿生视觉传感器包括第一传感电路10和第二传感电路20；第一传感电路10用于提取目标光信号中第一设定波段的光信号，并输出表征第一设定波段的光信号的光强变化量的电流信号；第二传感电路20用于提取目标光信号中第二设定波段的光信号，并输出表征第二设定波段的光信号的光强的电压信号；其中，第一设定波段和第二设定波段中的至少一种包括红外线波段。
本发明实施例所提供的双模态红外仿生视觉传感器可用于拍摄目标物体，以实现图像信号或视频信号的采集，其中，目标物体可以是静态人物、动态人物、静态场景或动态场景等，也可以是其他形式的物体，本发明实施例对此不进行限制。
具体地，参见图1，第一传感电路10和第二传感电路20均可以是包括图像传感器的有源像素传感电路，双模态红外仿生视觉传感器可包括多个第一传感电路10和第二传感电路20，多个第一传感电路10和第二传感电路20中的图像传感器能够形成像素传感结构，以实现对目标物体的图像信号或视频信号的采集。目标光信号是指目标物体表面反射的光信号，应用双模态红外仿生视觉传感器对目标物体进行拍摄时，目标物体表面反射的光信号可以直接或间接照射在第一传感电路10和第二传感电路20中的图像传感器的表面，以使图像传感器将目标光信号转换为反映目标物体特征的电信号。
第一设定波段的光信号，例如可以是可见光和红外线波段中的至少部分波段的光信号。第一传感电路10可以通过其中的图像传感器直接采集第一设定波段的光信号，也可以通过光学透镜或者滤光器件提取目标光信号中第一设定波段的光信号，感应第一设定波段的光信号中的光强变化，并输出表征第一设定波段的光信号的光强变化量的电流信号。其中，光强变化量即灰度变化量或者光强梯度信息。
其中，第一传感电路10为工作模式是电流模式的有源像素传感电路，该电流模式是指，第一传感电路10中的图像传感器能够将光信号转换为电流信号，第一传感电路10可至少包括两个图像传感器，第一传感电路10输出的表征第一设定波段的光信号的光强变化量的电流信号，可以是第一传感电路10根据其中的一个图像传感器转换的电流信号，与该图像传感器周围的至少一个图像传感器转换的电流信号之间的差异进行比较，从而得到的表征光强变化量的电流信号。电流模式的第一传感电路10能够快速对光信号进行转换并输出电流信号，该电流信号具有便于实现数学运算的功能，以得到高速差分信号。
第二设定波段的光信号，例如可以是可见光和红外线波段中的至少部分波段的光信号。第二传感电路20可以通过其中的图像传感器直接采集第二设定波段的光信号，也可以通过光学透镜或者滤光器件提取目标光信号中第二设定波段的光信号，感应第二设定波段的光信号的绝对光强信息与颜色信息，并输出表征第二设定波段的光信号的光强的电压信号，该电压信号可以反映第二设定波段的光信号的光强信息，这种光强信息不但包括绝对光强信息，还包括光的色度信息。
其中，第二传感电路20为工作模式是电压模式的有源像素传感电路，该电压模式是指，第二传感电路20中的图像传感器能够将第二设定波段的光信号转换为电流信号，第二传感电路20可以对该电流信号进行积分，得到表征第二设定波段的光信号的光强的电压信号，电压模式的第二传感电路20更适合高精度色彩视觉信号的获取。
第一设定波段和第二设定波段可以是相同波段，也可以是不同波段。红外线波段低于可见光波段，例如红外线波段为760nm至1mm。第一设定波段和第二设定波段中的至少一种包括红外线波段，即第一传感电路10和第二传感电路20中的至少一个传感电路从目标光信号中提取的光信号包括红外光信号(即红外线)，这样，双模态红外仿生视觉传感器还可以感知目标光信号中红外线的色彩光强信息和/或光强变化信息，使得该双模态红外仿生视觉传感器能够广泛应用于各领域中的红外摄像机。
本发明实施例的技术方案，提供了一种电压电流型的双模态红外仿生视觉传感器，利用该传感器模拟人眼视网膜中的不同视觉感知细胞，通过第一传感电路感知目标光信号中第一设定波段的光信号，并输出表征第一设定波段的光信号的光强变化量的电流信号，以模拟视杆细胞获取光强梯度信息，从而提升传感器对动态目标的感知能力，增大传感器采集的图像的动态范围，提高传感器的拍摄速度；通过第二传感电路感知目标光信号中第二设定波段的光信号，并输出表征第二设定波段的光信号的光强的电压信号，以模拟视锥细胞获取色彩光强信息，有利于提升传感器拍摄的图像的色彩还原度及图像质量。本发明实施例的技术方案，解决了现有视觉传感器应用场景有限、稳定性较差和性能有限等缺陷，实现了同时采集高质量的色彩光强信号与高速的灰度变化量信号，通过两种模态的图像信号的互补，丰富了图像的视觉信息，兼具高速、高保真、高动态范围和高时间分辨率拍摄的优势。另外，双模态红外仿生视觉传感器还可以感知目标光信号中红外线的色彩光强信息和/或光强变化信息，进一步拓宽了传感器的应用场景。
图2是本发明实施例提供的一种双模态红外仿生视觉传感器中的像素单元的结构示意图，该像素单元Pixel 1可以是双模态红外仿生视觉传感器的像素传感结构中的一个像素单元。结合图1和图2，示例性地，在上述实施例的基础上，设置第一传感电路10包括第一兴奋型感光单元110和第一抑制型感光单元120，第一兴奋型感光单元110和第一抑制型感光单元120均用于提取目标光信号中第一设定波段的光信号，并将第一设定波段的光信号转换为电流信号；第一传感电路10还用于根据第一兴奋型感光单元110和第一抑制型感光单元120转换的电流信号之间的差异，输出表征第一设定波段的光信号的光强变化量的电流信号。
具体地，结合图1和图2，第一传感电路10可以包括一个第一兴奋型感光单元110，以及位于第一兴奋型感光单元110周围的至少一个第一抑制型感光单元120，第一兴奋型感光单元110可以模拟人眼的兴奋型视杆细胞，第一抑制型感光单元120可以模拟人眼的抑制型视杆细胞，第一兴奋型感光单元110和第一抑制型感光单元120分别感知第一设定波段的光信号的灰度信息，第一传感电路10根据第一兴奋型感光单元110和第一抑制型感光单元120转换的电流信号之间的差异，输出表征第一设定波段的光信号的光强变化量的电流差分信号，以模拟视杆细胞获取光强梯度信息。
结合图1和图2，以第一传感电路10包括一个第一兴奋型感光单元110，以及围绕该第一兴奋型感光单元110的四个第一抑制型感光单元120为例，对第一传感电路10的工作原理进行说明。目标光信号照射至像素单元Pixel 1的表面时，第一兴奋型感光单元110和四个第一抑制型感光单元120分别感知目标光信号中第一设定波段的光信号的灰度信息，将第一设定波段的光信号转换为相应的电流信号。第一传感电路10可以将第一兴奋型感光单元110转换的电流信号，与四个第一抑制型感光单元120转换的电流信号的平均值作差，以得到差分电流信号，即反映光强变化量的光强梯度信号。
结合图1和图2，示例性地，在本发明的一种实施方式中，设置第一设定波段包括红外线波段，第一兴奋型感光单元110和第一抑制型感光单元120均包括第一感光器件，第一感光器件为红外光敏器件。
具体地，第一感光器件可以是光电二极管(Photo-Diode，PD)，能够将光信号转换成对应的电信号。当第一设定波段包括红外线波段时，第一感光器件可以是对红外线敏感的感光器件，例如红外光敏二极管。这样，双模态红外仿生视觉传感器能够感知目标光信号中红外线的光强变化信息。
结合图1和图2，示例性地，在本发明的一些实施方式中，设置第一设定波段包括红外线波段，第一兴奋型感光单元110和第一抑制型感光单元120均包括第一感光器件以及设置在第一感光器件上的第一滤光器件；第一感光器件为红外光敏器件和/或第一滤光器件为红外滤光器件。
具体地，第一滤光器件用于对通过该器件的光的波段进行选择，第一滤光器件可以是彩色滤光片(Color filter)，或者是能够提取设定分量的光信号的光学透镜，例如拜伦透镜。第一滤光器件可以设置在第一感光器件的感光表面，这样，目标光信号首先照射至第一滤光器件的表面，第一滤光器件对目标光信号中设定波段的光信号进行提取，例如对目标光信号中包括红外线波段的第一设定波段的光信号进行提取，以使第一设定波段的光信号照射至第一感光器件的感光表面，通过第一感光器件将第一设定波段的光信号转换为对应的电流信号。当第一设定波段包括红外线波段时，设置第一感光器件为红外光敏器件和/或第一滤光器件为红外滤光器件，提升了双模态红外仿生视觉传感器对目标光信号中红外线的光强变化信息的感知能力。
结合图1和图2，示例性地，在本发明的另一些实施方式中，设置第一设定波段包括红外线波段，第一兴奋型感光单元110和第一抑制型感光单元120均包括第一感光器件以及设置在第一感光器件上的第一滤光器件。第一兴奋型感光单元110中的第一感光器件为红外光敏器件，第一抑制型感光单元120中的第一滤光器件为红外滤光器件；或者，第一兴奋型感光单元110中的第一滤光器件为红外滤光器件，第一抑制型感光单元120中的第一滤光器件为红外滤光器件。第一传感电路10还用于对第一兴奋型感光单元110和第一抑制型感光单元120的光谱响应特性的一致性进行校正。
具体地，设置第一兴奋型感光单元110中的第一感光器件为红外光敏器件，第一抑制型感光单元120中的第一滤光器件为红外滤光器件，或者第一兴奋型感光单元110中的第一滤光器件为红外滤光器件，第一抑制型感光单元120中的第一滤光器件为红外滤光器件，提升了双模态红外仿生视觉传感器对目标光信号中红外线的光强变化信息的感知能力。当第一兴奋型感光单元110和第一抑制型感光单元120二者中的一个，通过红外光敏器件配合普通滤光器件提取目标光信号中包括红外线波段的第一设定波段的光信号，另一个通过红外滤光器配合普通光敏器件提取目标光信号中包括红外线波段的第一设定波段的光信号时，为避免二者提取的光信号的差异过大，可以对第一兴奋型感光单元110和第一抑制型感光单元120的光谱响应特性的一致性进行校正，以提升双模态红外仿生视觉传感器感知目标光信号中红外线的光强变化信息的能力。
参见图1和图2，本实施例中，还可以设置第二传感电路20包括至少一个第二感光单元210，第二感光单元210用于提取目标光信号中第二设定波段的光信号，并将第二设定波段的光信号转换为电流信号；第二传感电路20还用于根据第二感光单元210转换的电流信号，输出表征第二设定波段的光信号的光强的电压信号。
具体地，第二传感电路20可以包括多个第二感光单元210，第二感光单元210可以模拟人眼的视锥细胞，感知目标光信号中第二设定波段的光信号的光强信息，不同第二感光单元210能够感知不同色彩分量的光信号的光强信息，以使第二传感电路20感知的光强信息包括光信号的绝对光强信息和色度信息，从而模拟视锥细胞获取色彩光强信息。第二传感电路20还可以对第二感光单元210转换的电流信号进行积分，得到表征第二设定波段的光信号的光强的电压信号。
仍然参见图1和图2，在上述实施例的基础上，可以设置第二感光单元210包括第二感光器件以及设置在第二感光器件上的第二滤光器件，多个第二感光单元210对应的第二滤光器件的滤光颜色至少为三种。
具体地，第二感光器件可以是光电二极管(Photo-Diode，PD)，能够将光信号转换成对应的电信号。第二滤光器件的用于对通过该器件的光的波段进行选择，第一滤光器件可以是彩色滤光片(Color filter)，或者是能够提取设定分量的光信号的光学透镜，例如拜伦透镜。第二滤光器件可以设置在第二感光器件的感光表面，第二滤光器件对目标光信号中第二设定波段的光信号进行提取后，第二感光器件可以将第二设定波段的光信号转换为对应的电流信号。
示例性地，多个第二感光单元210对应的第二滤光器件的滤光颜色至少包括红色、绿色和蓝色。结合图1和图2，以第二传感电路20包括四个第二感光单元210，四个第二感光单元210对应的第二滤光器件包括红色第二滤光器件、绿色第二滤光器件和蓝色第二滤光器件为例进行说明，红色、绿色和蓝色的第二滤光器件，使得第二感光单元分别形成了红色感光单元210(R)、绿色感光单元210(G)和蓝色感光单元210(B)。当目标光信号首先照射至像素单元Pixel1的表面时，四个第二感光单元中的第二滤光器件分别对目标光信号中红色波段的光信号、绿色波段的光信号和蓝色波段的光信号进行提取，以使第二感光单元中的第二感光器件可以将对应波段的光信号转换为相应的电流信号。第二传感电路20通过感知目标光信号中不同分量的光信号，实现了对不同分量的光信号的绝对光强信息和色度信息的高精度的获取。
示例性地，在上述实施例的基础上，当第二设定波段包括红外线波段时，第二感光单元210对应的第二滤光器件还可以包括红外滤光器件。这样第二传感电路20不但能够感知目标光信号中的红光分量的光信号、绿光分量的光信号和蓝光分量的光信号，还能感知红外分量的光信号，提升了双模态红外仿生视觉传感器对目标光信号中红外线的色彩光强信息的感知能力。
结合图1和图2，示例性地，设置第一传感电路10包括第一兴奋型感光单元110和第一抑制型感光单元120，第二传感电路20包括第二感光单元210；第一兴奋型感光单元110、第一抑制型感光单元120和第二感光单元210呈阵列排布，以形成像素单元。这样设置的好处在于，像素单元Pixel 1可通过第一兴奋型感光单元110和第一抑制型感光单元120模拟人眼的视杆细胞，获取目标光信号的灰度变化量，通过第二感光单元210模拟人眼的视锥细胞，获取目标光信号的色彩光强信息。
结合图1和图2，示例性地，设置像素单元包括一个第一兴奋型感光单元110、四个第一抑制型感光单元120和四个第二感光单元210；像素单元中的四个第二感光单元210围绕第一兴奋型感光单元110，且分别与第一兴奋型感光单元110相邻设置；像素单元中的四个第一抑制型感光单元120围绕第一兴奋型感光单元110设置，且在具有第一抑制型感光单元120的行方向和列方向上，第一抑制型感光单元120与第二感光单元210交替设置。
具体地，像素单元Pixel 1通过一个第一兴奋型感光单元110，以及围绕该第一兴奋型感光单元110的四个第一抑制型感光单元120，能够模拟人眼的视杆细胞，第一兴奋型感光单元110转换的电流信号，可以与四个第一抑制型感光单元120转换的电流信号的平均值作差，以得到差分电流信号，即反映光强变化量的光强梯度信号。像素单元Pixel 1通过四个第二感光单元210，能够模拟人眼的视锥细胞，感知不同位置的色彩光强信息。
图3是本发明实施例提供的一种双模态红外仿生视觉传感器的像素排布示意图，结合图1至图3，本实施例中，设置多个像素单元阵列排布以形成像素阵列，相邻两个像素单元共用两个第一兴奋型感光单元110之间的第二感光单元210，以及与该第二感光单元210相邻的两个第一抑制型感光单元120。
示例性地，参见图3，第一兴奋型感光单元110、第一抑制型感光单元120和第二感光单元210形成的像素阵列中，阵列的一行包括两种排布形式，即第一兴奋型感光单元110和第二感光单元210交替设置，或者第一抑制型感光单元120和第二感光单元210交替设置。阵列的一列包括两种排布形式，即第一兴奋型感光单元110和第二感光单元210交替设置，或者第一抑制型感光单元120和第二感光单元210交替设置。这样，第一兴奋型感光单元110和第一抑制型感光单元120位于像素阵列的不同行和不同列，以提升第一传感电路10对光信号的灰度变化量的感知能力。像素阵列的每行与每列都包括第二感光单元210，以提升第二传感电路20对光信号的色彩光强信息的感知能力。
继续参见图3，本实施例实现了第一抑制型感光单元120的复用。具体地，每个第一兴奋型感光单元110转换的电流信号均可以与周围的四个第一抑制型感光单元120转换的电流信号进行运算，因而每个第一抑制型感光单元120转换的电流信号都可以同时与周边的四个第一兴奋型感光单元110转换的电流信号进行运算，不但实现了第一抑制型感光单元120的复用，还有利于提升像素填充因子。另外，本实施例还实现了第二感光单元210的复用，例如像素单元Pixel 1中第二行的第二个绿色感光单元210(G)，即可作为本像素单元中的绿色感光单元，又可作为另一像素单元中的绿色感光单元。
结合图1至图3，示例性地，还可以设置像素单元中的四个第二感光单元210包括红色感光单元210(R)、绿色感光单元210(G)和蓝色感光单元210(B)。可选地，绿色感光单元210(G)的数量与红色感光单元210(R)和蓝色感光单元210(B)的数量之和的比例为1:1。
图3示意性地示出了像素阵列中的第二感光单元210形成从上至下依次错位周期排列的R(红色)-G(绿色)-B(蓝色)-G的排列方式，在这种排列方式下，双模态红外仿生视觉传感器感知的像素色彩光强占比为：50％绿、25％红和25％蓝，绿色的占比最高，且绿色感光单元210(G)的数量等于红色感光单元210(R)和蓝色感光单元210(B)的数量之和。双模态红外仿生视觉传感器可以采用去马赛克(demosaicing)数位影像处理算法从覆有滤色阵列的感光单元所输出的不完全色彩取样中，重建出全彩影像，由于人眼对于绿色最为敏感，采用此种排列方式可提升绿色取样占比，从而得到需求的目标图像。
图4是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图，示例性地，该像素排布结构包括M行N列的像素阵列，每个坐标位置点的像素结构均为一个像素单元，该像素单元可以是图2和图3所示的像素单元Pixel 1。一个像素单元Pixel 1中包括一个第一兴奋型感光单元110、四个第一抑制型感光单元120和四个第二感光单元210，这样，双模态红外仿生视觉传感器中，每个坐标位置点的像素单元均能感知色彩光强信号与灰度变化量信号，从而丰富双模态红外仿生视觉传感器拍摄的图像的视觉信息。
图5是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图，图5示意性地示出了像素阵列中的第二感光单元210形成从上至下依次错位周期排列的G-R-B-R的排列方式，在这种排列方式下，双模态红外仿生视觉传感器感知的像素色彩光强占比为：50％红、25％绿和25％蓝，红色的占比最高。可以根据目标图像的需求选用图5所示的像素排布形式，以提升红色取样占比。
图6是本发明实施例提供的另一种双模态红外仿生视觉传感器的像素排布示意图，参见图6，可选地，设置第二设定波段包括红外线波段，像素单元中的四个第二感光单元210包括红色感光单元210(R)、绿色感光单元210(G)、蓝色感光单元210(B)和红外感光单元(U)。此时，既能够通过红外感光单元(U)直接采集红外光，又能通过第一感光单元感知红外光的变化。
图6示意性地示出了像素阵列中的第二感光单元210形成从上至下R和B交替排布，从左至右G和U(红外)交替排布，在这种排列方式下，双模态红外仿生视觉传感器感知的像素色彩光强占比为：25％红、25％绿、25％蓝和25％红外。相对于上述实施例中的像素排布结构，本实施例中的像素排布结构提升了红外光的取样占比，以提升双模态红外仿生视觉传感器对目标光信号中红外线的色彩光强信息的感知能力。
可以理解的是，当需要提升双模态红外仿生视觉传感器的蓝色或其他颜色的取样占比时，像素的排布方式也可以是类似于图3、图5或图6的其他形式，本发明实施例对此不进行限制。
图7是本发明实施例提供的一种第一传感电路的模块结构示意图，如图7所示，本实施例中，设置第一传感电路还包括第一兴奋型控制电路130以及与第一兴奋型控制电路130连接的至少一个第一抑制型控制电路140；第一兴奋型控制电路130连接第一兴奋型感光单元110，第一抑制型控制电路140连接第一抑制型感光单元120，并与第一抑制型感光单元120一一对应设置，第一抑制型控制电路140用于将第一抑制型感光单元120转换的电流信号传输至第一抑制型控制电路140连接的第一兴奋型控制电路130；第一兴奋型控制电路130用于根据接收到的控制信号控制自身与第一抑制型控制电路140导通或断开，并根据第一兴奋型感光单元110和第一抑制型感光单元120转换的电流信号之间的差异，输出表征第一设定波段的光信号的光强变化量的电流信号。
图7示意性地示出了第一传感电路包括一个第一兴奋型感光单元110及其连接的第一兴奋型控制电路130，以及四个第一抑制型感光单元120及其连接的第一抑制型控制电路140的情况。其中，第一兴奋型感光单元110和第一抑制型感光单元120可对应于图3所示像素单元Pixel 1中的一个第一兴奋型感光单元110和包围该第一兴奋型感光单元110的四个第一抑制型感光单元120。第一传感电路的工作过程中，四个第一抑制型控制电路140同时将对应的第一抑制型感光单元120转换的电流信号传输至第一兴奋型控制电路130，以使第一兴奋型控制电路130将第一兴奋型感光单元110转换的电流信号，与四个第一抑制型感光单元120转换的电流信号的平均值作差，得到差分电流信号，即反映光强变化量的光强梯度信号。
参见图7，示例性地，第一兴奋型控制电路130还可以包括与第一抑制型控制电路140对应的开关(图中未示出)，每个第一抑制型控制电路140通过开关连接第一兴奋型控制电路130，第一兴奋型控制电路130可以根据接收到的控制信号控制开关导通或关断，以控制自身与第一抑制型控制电路140导通或断开。
示例性地，对应于不同的光照情况，控制信号有所不同，开关的开关情况有所区别。例如，对于目标光信号的光照强度大于第一预设值的情况，即强光照的情况，为提升第一传感电路输出的表征光强变化量的电流信号的精确度，可以通过控制信号控制第一兴奋型控制电路130中的所有开关打开，此时每个第一抑制型控制电路140有效，第一传感电路输出的电流信号为差模信号，即第一兴奋型感光单元110和四个第一抑制型感光单元120转换的电流信号的差分信号。对于目标光信号的光照强度小于第二预设值的情况，即弱光照的情况，此时第一兴奋型感光单元110转换的电流信号较小，因而可以通过控制信号控制第一兴奋型控制电路130中的所有开关断开，此时每个第一抑制型控制电路140失效，第一传感电路输出的电流信号为共模信号，即第一兴奋型感光单元110转换的电流信号。其中，第一预设值和第二预设值的具体数值可以结合感光单元的类型和环境光照强度等进行具体设置。本发明实施例所提供的第一传感电路，能够仿真人眼的Gap Junction连接，从而提高双模态红外仿生视觉传感器拍摄的图像的动态范围。
图8是本发明实施例提供的一种第一兴奋型控制电路的模块结构示意图，具体可以是图7所示第一传感电路中第一兴奋型控制电路的具体化模块结构。如图8所示，在上述实施例的基础上，设置第一兴奋型控制电路130包括：信号放大单元131、加法器132、数模转换器133、比较器134、三态门135和至少一个第一开关136；信号放大单元131的输入端连接第一兴奋型感光单元110，信号放大单元131的输出端连接比较器134的第一输入端；第一抑制型控制电路140通过第一开关136连接加法器132的输入端，加法器132的输出端连接比较器134的第二输入端；数模转换器133的数字信号输入端连接比较器134的输出端C1，数模转换器133的模拟信号输出端分别连接信号放大单元131的输入端和加法器132的输入端，数模转换器133用于根据比较器134输出的比较结果信号，向信号放大单元131的输入端或加法器132的输入端输入模拟信号，以使比较器134输出包含第一设定波段的光信号的光强变化量的比较结果信号；三态门135的控制端连接比较器134的输出端C1，三态门135的输入端连接数模转换器133的输入端，三态门135用于根据比较器134输出的信号，输出表征第一设定波段的光信号的光强变化量的电流信号。
具体地，参见图8，第一传感电路中的第一兴奋型感光单元110将第一设定波段的光信号转换为电流信号I0，并输出电流信号I0至信号放大单元131。第一传感电路中的四个第一抑制型感光单元120分别将第一设定波段的光信号转换为电流信号I1至I4，并通过对应的第一抑制型控制电路140将电流信I1至I4传输至第一兴奋型控制电路130。信号放大单元131可以包括第一放大器131a，第一放大器131a能够对电流信号I0进行放大，以使电流信号I0和电流信号I1至I4在同一数量级，便于第一传感电路计算差分电流。
信号放大单元131将放大后的电流信号I0输入至比较器134的第一输入端，四个第一抑制型控制电路140分别将电流信号I1至I4通过导通的第一开关136输入加法器132的输入端，以使加法器132对电流信号I1至I4进行求和，并将求和结果输出至比较器134的第二输入端。比较器134对其第一输入端和第二输入端输入的信号进行比较，若前一时刻与后一时刻的比较结果一致，则比较器134不输出比较结果信号，若前一时刻与后一时刻的比较结果相反，则比较器134通过输出端C1输出包含第一设定波段的光信号的光强变化量的比较结果信号，该比较结果信号可以是例如0或1的数字信号。
数模转换器133可以将数字信号转换为模拟信号，并根据比较器输出的比较结果信号，向加法器132的输入端输入模拟信号IDA1，或者向信号放大单元131的输入端输入模拟信号IDA2。信号放大单元131还可以包括第二放大器131b，第二放大器131b可以根据模拟信号IDA2对电流信号I0继续放大，并将放大后的信号输入至比较器134的第一输入端。加法器132还可以对电流信号I1至I4以及模拟信号IDA1进行求和，并将求和结果输出至比较器134的第二输入端。比较器134继续对其第一输入端和第二输入端输入的信号进行比较，在前一时刻与后一时刻的比较结果相反时，输出包含第一设定波段的光信号的光强变化量的比较结果信号。
图9是本发明实施例提供的一种信号波形示意图，具体可以是图8中的数模转换器133输入的一种数字信号的波形示意图。示例性地，参见图9，数模转换器133可以将该数字信号转换为模拟信号IDA1或模拟信号IDA2进行输出，该数字信号可以是人为输入的周期性变化的指定数字信号，例如图9所示数值大小随时间递增的阶跃数字信号。当某一时刻N_step时，比较器134输出比较结果信号发生变化，此时数字信号的取值为△I，则△I可作为表征第一设定波段的光信号的光强变化量的电流信号。三态门135的控制端输入此时的比较器134的比较结果信号，数模转换器133的数字信号输入端与三态门135的输入端连通，数模转换器133输出的数值为△I的电流信号通过三态门135的输出端输出。
继续参见图8，在上述实施例的基础上，第一兴奋型控制电路130还包括与三态门135的输出端连接的存储单元137，用于存储并输出三态门135输出的信号。该存储单元137具体可以是寄存器、锁存器或忆阻器等。以存储单元137是寄存器为例，寄存器的位数可以根据数模转换器133的精度进行选择，例如选择4位寄存器。
图10是本发明实施例提供的一种第一兴奋型控制电路的电路结构示意图，具体可以是图8所示的第一兴奋型控制电路的具体化电路结构。示例性地，如图10所示，第一兴奋型控制电路连接第一兴奋型感光单元，第一兴奋型感光单元包括第一感光器件，第一感光器件可以是光电二极管PD11。第一兴奋型控制电路包括第一电路结构130a和第二电路结构130b，第一电路结构130a可模拟人眼视杆细胞，第二电路结构130b可模拟人眼水平细胞、双极细胞和无长突细胞。
结合图8和图10，具体地，光电二极管PD11连接电流镜131c，光电二极管PD11将第一设定波段的光信号的照射下产生电流信号I0，并输出电流信号I0至电流镜131c，该电流镜131c可实现图8中的信号放大单元131的功能，将电流信号I0放大N(例如N＝4)倍。图10仅示意性地示出了第一抑制型控制电路140输出的电流信号I1至I4，与电流镜131c输出的放大后的电流信号I0，通过一条连接线输入比较器134的情况，实际上比较器134是对电流镜131c输出的放大后的电流信号I0，以及电流信号I1至I4之和进行比较。若前一时刻与后一时刻的比较结果一致，则比较器134不输出比较结果信号，若前一时刻与后一时刻的比较结果相反，则比较器134输出包含第一设定波段的光信号的光强变化量的比较结果信号。数模转换器133将数字信号转换为模拟信号，并根据比较器134的比较结果信号输出模拟信号，通过模拟信号对电流信号I0继续进行放大，或者通过模拟信号对电流信号I1至I4之和继续进行累加，以使比较器134继续执行比较功能。在前一时刻与后一时刻的比较结果相反时，比较器输出比较结果信号。比较器134输出比较结果信号发生变化时，三态门135将数模转换器133此时的数字信号输出，作为表征第一设定波段的光信号的光强变化量的电流信号。存储单元137为寄存器，对三态门135输出的信号进行存储并输出。
示例性地，结合图8和图10，四个第一开关136包括开关M1至M4，开关M1至M4可以是晶体管，能够根据其控制端(例如栅极)接收到的控制信号而导通或关断。对应于不同的光照情况，开关M1至M4接收的控制信号有所不同，开关的开关情况有所区别。对于强光照的情况，例如目标光信号的光照强度大于50lux时，可以通过控制信号控制开关M1至M4均导通，此时第一抑制型感光单元中的光电二极管有效，第一兴奋型控制电路输出电流信号I0与电流信号I1至I4之间的差分信号，即差模信号。对于弱光照的情况，例如目标光信号的光照强度低于20lux时，可以通过控制信号控制开关M1至M4均关断，此时第一抑制型感光单元中的光电二极管失效，第一兴奋型控制电路输出电流信号I0，即共模信号。
开关M1至M4的导通情况的设置，可用于配置第一兴奋型控制电路的卷积差分电流计算，当光照条件允许时，双模态红外仿生视觉传感器的图像采集速度较高，两帧图像间的差距很小。由于差分电流的计算速度较高，可以实现in pixel的1bit卷积差分电流计算，从而实现高速的图像特征提取。
在上述实施例的基础上，比较器134的输入端与接地端之间还可以包括电容Cpar，该电容Cpar可以是实际的电容结构，或者是第一兴奋型控制电路中的寄生电容，电容Cpar具有对比较器134的输入端的信号进行存储的作用，以保证第一兴奋型控制电路进行高速差分电流运算时的计算精度。
图11是本发明实施例提供的一种第一抑制型控制电路的结构示意图，如图11所示，第一抑制型控制电路140包括：与第一抑制型感光单元120连接的第二开关141以及与第一抑制型感光单元120和第二开关141连接的至少一个镜像开关142，第一抑制型控制电路140通过镜像开关142连接第一兴奋型控制电路130。
具体地，参见图11，第一抑制型控制电路140连接第一抑制型感光单元，第一抑制型感光单元包括第一感光器件，第一感光器件可以是光电二极管PD12。第二开关141和镜像开关142均可以是晶体管，能够根据其控制端(例如栅极)接收到的控制信号而导通或关断。第二开关141和每个镜像开关142分别形成镜像单元，以将光电二极管PD12根据第一设定波段的光信号产生的电流信号I1复制为四份，第一抑制型控制电路140能够将四份电流信号I1分别传输至周围的四个第一兴奋型控制电路，实现第一抑制型感光单元的复用，提升双模态红外仿生视觉传感器的像素填充因子。
图12是本发明实施例提供的一种第二传感电路的模块结构示意图，如图12所示，本实施例中，设置第二传感电路20还包括第三开关220、快门电路230、电流积分电路240和模数转换器250；第二感光单元210通过第三开关220连接电流积分电路240的输入端，第三开关220用于根据接收到的控制信号导通或断开第二感光单元210和电流积分电路240，不同第二感光单元210所连接的第三开关220分时导通；快门电路230并联于电流积分电路240，用于控制电流积分电路240的积分时间；电流积分电路240用于将第二感光单元210输出的电流信号进行积分，以将电流信号转换为模拟电压信号；模数转换器250的输入端连接电流积分电路240的输出端，用于将模拟电压信号转换为数字电压信号。
图12示意性地示出了第二传感电路包括四个第二感光单元210的情形，每个第二感光单元210均通过第三开关220连接电流积分电路240。其中，该四个第二感光单元210可对应于图3所示像素单元Pixel 1中围绕一个第一兴奋型感光单元110的四个第二感光单元210。第二传感电路的工作过程中，第二传感电路分时输出每个第二感光单元210对应的电信号，例如以行扫描的形式分时输出第二感光单元210对应的电信号。
参见图12，示例性地，快门电路230可以是开关，电流积分电路240可以是电流积分器(Current Integrator，IC)，模数转换器250可以是模拟-数字信号转换器(Analog-to-Digital Converter，ADC)。每个第二感光单元210均与一个第三开关220串联，同一时刻仅有一个第三开关220导通，以使第二感光单元210将其根据第二设定波段的光信号转换的电流信号通过第三开关220传输至电流积分电路240。电流积分电路240可以获取第二传感电路中目标电容的电压模拟信号，该电压模拟信号对应于第二感光单元210转换的电流信号，即电流积分电路240实现了电流信号进行积分，得到相应的电压信号。快门电路230的开关时间可以控制电流积分电路240的积分时间，例如，快门电路230控制电流积分电路240的积分时间为33ms，33ms后，快门电路230中的开关闭合，电流积分电路240根据第二感光单元210转换的电流信号，得到表征第二设定波段的光信号的光强的电压信号，并通过模数转换器250将电压信号转换为数字信号进行输出。模数转换器250的读出动作完成后，还可以断开快门电路230中的开关，以使电流积分电路240继续对第二感光单元210转换的电流信号进行积分。
图13是本发明实施例提供的一种第二传感电路的电路结构示意图，具体可以是图12所示第二传感电路的一种具体化电路结构。如图12所示，第二传感电路包括四个第二感光单元，每个第二感光单元均包括第二感光器件以及设置在第二感光器件上的第二滤光器件。示例性地，第二感光器件为光电二极管，第二滤光器件为拜伦透镜或彩色滤光片。四个光电二极管分别为光电二极管PD21至PD24，光电二极管PD21上设置有红色第二滤光器件211(R)，光电二极管PD22上设置有绿色第二滤光器件211(G)，光电二极管PD23上设置有绿色第二滤光器件211(G)，光电二极管PD24上设置有蓝色第二滤光器件211(B)。目标光信号照射至第二滤光器件211后，不同滤光颜色的第二滤光器件211分别提取目标光信号中对应颜色波段的光信号，以使光电二极管PD21至PD24将各颜色波段的光信号转换为表征相应色彩光强的电流信号。
参见图13，第二传感电路中还包括开关MTG1至MTG4、开关MRS、开关MSF和开关MSEL，上述各开关均可以是晶体管。光电二极管PD21至PD24的第一电极(例如阳极)接地，光电二极管PD21的第二极连接开关MTG1的第一极，光电二极管PD22的第二极连接开关MTG2的第一极，光电二极管PD23的第二极连接开关MTG3的第一极，光电二极管PD24的第二极连接开关MTG4的第一极，其中，各光电二极管的第二电极可以是阴极。开关MTG1至MTG4的第二极分别连接开关MRS的第二极和开关MSF的控制端，开关MRS的第一极和开关MSF的第一极接入电源信号VCC，开关MSF的第二极连接开关MSEL的第一极，开关MSEL的第二极作为第二传感电路的信号输出端。开关MTG1至MTG4、开关MRS、开关MSF和开关MSEL可以根据各自的控制端(例如栅极)接收的控制信号而导通或关断。可选地，第二传感电路中还包括电容FD，该电容FD可以是实际的电容结构，或者是第二传感电路中的寄生电容，电容FD能够对开关MSF的控制端接收到的电流信号进行存储。
具体地，参见图13，开关MRS用于复位，开关MTG1至MTG4分时导通，以将光电二极管PD21至PD24转换的表征相应色彩光强的电流信号分时传输至开关MSF的控制端，开关MSF的控制端接收到的电流信号可作为偏置信号，控制开关MSF的导通程度，不同电流信号对应的开关MSF的导通程度不同，使得开关MSF和开关MSEL输出的电压信号也不相同，开关MSF和开关MSEL的组合，起到了对电流信号的积分作用，使得第二传感电路能够输出表征第二设定波段的光信号的光强的电压信号。
在上述实施例的基础上，本发明实施例所提供的双模态红外仿生视觉传感器可以对表征第一设定波段的光信号的光强变化量的电流信号，以及表征第二设定波段的光信号的光强的电压信号的双模态信号进行融合，从而形成包括双模态信号的图像信号。
具体地，双模态红外仿生视觉传感器可以将第一传感电路输出的表征第一设定波段的光信号的光强变化量的电流信号，以及第二传感电路输出的表征第二设定波段的光信号的光强的电压信号进行融合，并结合第一兴奋型感光单元、第一抑制型感光单元和第二感光单元形成的像素阵列的空间位置排列，得到最终的图像输出信号。需要注意的是，表征第一设定波段的光信号的光强变化量的电流信号和表征第二设定波段的光信号的光强的电压信号的输出形式与速度并不相同。第二传感电路的电压信号的输出速度约为30ms，而第一传感电路中的数模转换器的扫描速度约为1ms。其中，第一传感电路采用异步事件地址表示方式输出表征第一设定波段的光信号的光强变化量的电流信号，输出信号的形式具体为(X，Y，P，T)。其中“X，Y”为事件地址，例如图4所示像素单元的坐标，“P”为4值事件输出(包括第一位符号位)，例如P值可代表光强变化量，“T”为事件产生的时间，例如拍摄时间。
图14是本发明实施例提供的一种双模态红外仿生视觉传感器输出的图像示意图，图14示意性地示出了双模态红外仿生视觉传感器输出的前后两帧彩色图像，其中，两帧彩色图像由第二传感电路输出的表征第二设定波段的光信号的光强的电压信号形成，两帧彩色图像之间的边缘点由第一传感电路输出的表征第一设定波段的光信号的光强变化量的电流信号形成。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (19)

1.一种双模态红外仿生视觉传感器，其特征在于，包括：
第一传感电路，用于提取目标光信号中第一设定波段的光信号，并输出表征所述第一设定波段的光信号的光强变化量的电流信号；
第二传感电路，用于提取目标光信号中第二设定波段的光信号，并输出表征所述第二设定波段的光信号的光强的电压信号；
其中，所述第一设定波段和所述第二设定波段中的至少一种包括红外线波段。
2.根据权利要求1所述的双模态红外仿生视觉传感器，其特征在于，所述第一传感电路包括第一兴奋型感光单元和第一抑制型感光单元，所述第一兴奋型感光单元和所述第一抑制型感光单元均用于提取目标光信号中第一设定波段的光信号，并将所述第一设定波段的光信号转换为电流信号；
所述第一传感电路还用于根据所述第一兴奋型感光单元和所述第一抑制型感光单元转换的电流信号之间的差异，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
3.根据权利要求2所述的双模态红外仿生视觉传感器，其特征在于，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件，所述第一感光器件为红外光敏器件。
4.根据权利要求2所述的双模态红外仿生视觉传感器，其特征在于，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件以及设置在所述第一感光器件上的第一滤光器件；
所述第一感光器件为红外光敏器件和/或所述第一滤光器件为红外滤光器件。
5.根据权利要求2所述的双模态红外仿生视觉传感器，其特征在于，所述第一设定波段包括红外线波段，所述第一兴奋型感光单元和所述第一抑制型感光单元均包括第一感光器件以及设置在所述第一感光器件上的第一滤光器件；
所述第一兴奋型感光单元中的所述第一感光器件为红外光敏器件，所述第一抑制型感光单元中的所述第一滤光器件为红外滤光器件；或者，所述第一兴奋型感光单元中的所述第一滤光器件为红外滤光器件，所述第一抑制型感光单元中的所述第一感光器件为红外光敏器件；
所述第一传感电路还用于对所述第一兴奋型感光单元和所述第一抑制型感光单元的光谱响应特性的一致性进行校正。
6.根据权利要求1所述的双模态红外仿生视觉传感器，其特征在于，所述第二传感电路包括至少一个第二感光单元，所述第二感光单元用于提取目标光信号中第二设定波段的光信号，并将所述第二设定波段的光信号转换为电流信号；
所述第二传感电路还用于根据所述第二感光单元转换的电流信号，输出表征所述第二设定波段的光信号的光强的电压信号。
7.根据权利要求6所述的双模态红外仿生视觉传感器，其特征在于，所述第二感光单元包括第二感光器件以及设置在所述第二感光器件上的第二滤光器件，多个所述第二感光单元对应的所述第二滤光器件的滤光颜色至少为三种。
8.根据权利要求7所述的双模态红外仿生视觉传感器，其特征在于，所述第二设定波段包括红外线波段，所述第二滤光器件包括红外滤光器件。
9.根据权利要求1-8中任一所述的双模态红外仿生视觉传感器，其特征在于，所述第一传感电路包括第一兴奋型感光单元和第一抑制型感光单元，所述第二传感电路包括第二感光单元；
所述第一兴奋型感光单元、所述第一抑制型感光单元和所述第二感光单元呈阵列排布，以形成像素单元。
10.根据权利要求9所述的双模态红外仿生视觉传感器，其特征在于，所述像素单元包括一个所述第一兴奋型感光单元、四个所述第一抑制型感光单元和四个所述第二感光单元；
所述像素单元中的四个所述第二感光单元围绕所述第一兴奋型感光单元，且分别与所述第一兴奋型感光单元相邻设置；所述像素单元中的四个所述第一抑制型感光单元围绕所述第一兴奋型感光单元设置，且在具有所述第一抑制型感光单元的行方向和列方向上，所述第一抑制型感光单元与所述第二感光单元交替设置。
11.根据权利要求10所述的双模态红外仿生视觉传感器，其特征在于，多个所述像素单元阵列排布以形成像素阵列，相邻两个所述像素单元共用两个所述第一兴奋型感光单元之间的所述第二感光单元，以及与该所述第二感光单元相邻的两个所述第一抑制型感光单元。
12.根据权利要求11所述的双模态红外仿生视觉传感器，其特征在于，所述像素单元中的四个所述第二感光单元包括红色感光单元、绿色感光单元和蓝色感光单元。
13.根据权利要求12所述的双模态红外仿生视觉传感器，其特征在于，所述绿色感光单元的数量与所述红色感光单元和所述蓝色感光单元的数量之和的比例为1:1。
14.根据权利要求11所述的双模态红外仿生视觉传感器，其特征在于，所述第二设定波段包括红外线波段，所述像素单元中的四个所述第二感光单元包括红色感光单元、绿色感光单元、蓝色感光单元和红外感光单元。
15.根据权利要求2所述的双模态红外仿生视觉传感器，其特征在于，所述第一传感电路还包括第一兴奋型控制电路以及与所述第一兴奋型控制电路连接的至少一个第一抑制型控制电路；
所述第一兴奋型控制电路连接所述第一兴奋型感光单元，所述第一抑制型控制电路连接所述第一抑制型感光单元，并与所述第一抑制型感光单元一一对应设置，所述第一抑制型控制电路用于将所述第一抑制型感光单元转换的电流信号传输至所述第一抑制型控制电路连接的所述第一兴奋型控制电路；
所述第一兴奋型控制电路用于根据接收到的控制信号控制自身与所述第一抑制型控制电路导通或断开，并根据所述第一兴奋型感光单元和所述第一抑制型感光单元转换的电流信号之间的差异，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
16.根据权利要求15所述的双模态红外仿生视觉传感器，其特征在于，所述第一兴奋型控制电路包括：信号放大单元、加法器、数模转换器、比较器、三态门和至少一个第一开关；
所述信号放大单元的输入端连接所述第一兴奋型感光单元，所述信号放大单元的输出端连接所述比较器的第一输入端；
所述第一抑制型控制电路通过所述第一开关连接所述加法器的输入端，所述加法器的输出端连接所述比较器的第二输入端；
所述数模转换器的输入端连接所述比较器的输出端，所述数模转换器的模拟信号输出端分别连接所述信号放大单元的输入端和所述加法器的输入端，所述数模转换器用于根据所述比较器输出的比较结果信号，向所述信号放大单元的输入端或所述加法器的输入端输入模拟信号，以使所述比较器输出包含所述第一设定波段的光信号的光强变化量的比较结果信号；
所述三态门的控制端连接所述比较器的输出端，所述三态门的输入端连接所述数模转换器的输入端，所述三态门用于根据所述比较器输出的信号，输出表征所述第一设定波段的光信号的光强变化量的电流信号。
17.根据权利要求16所述的双模态红外仿生视觉传感器，其特征在于，所述第一兴奋型控制电路还包括与所述三态门的输出端连接的存储单元，用于存储并输出所述三态门输出的信号。
18.根据权利要求15所述的双模态红外仿生视觉传感器，其特征在于，所述第一抑制型控制电路包括：与所述第一抑制型感光单元连接的第二开关以及与所述第一抑制型感光单元和所述第二开关连接的至少一个镜像开关，所述第一抑制型控制电路通过所述镜像开关连接所述第一兴奋型控制电路。
19.根据权利要求6所述的双模态红外仿生视觉传感器，其特征在于，所述第二传感电路还包括第三开关、快门电路、电流积分电路和模数转换器；
所述第二感光单元通过所述第三开关连接所述电流积分电路的输入端，所述第三开关用于根据接收到的控制信号导通或断开所述第二感光单元和所述电流积分电路，不同所述第二感光单元所连接的所述第三开关分时导通；
所述快门电路并联于所述电流积分电路，用于控制所述电流积分电路的积分时间；
所述电流积分电路用于将所述第二感光单元输出的电流信号进行积分，以将所述电流信号转换为模拟电压信号；
所述模数转换器的输入端连接所述电流积分电路的输出端，用于将所述模拟电压信号转换为数字电压信号。
CN202011414030.9A 2020-12-03 2020-12-03 双模态红外仿生视觉传感器 Active CN112532898B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011414030.9A CN112532898B (zh) 2020-12-03 2020-12-03 双模态红外仿生视觉传感器
PCT/CN2021/134726 WO2022116991A1 (zh) 2020-12-03 2021-12-01 仿生视觉传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414030.9A CN112532898B (zh) 2020-12-03 2020-12-03 双模态红外仿生视觉传感器

Publications (2)

Publication Number Publication Date
CN112532898A true CN112532898A (zh) 2021-03-19
CN112532898B CN112532898B (zh) 2022-09-27

Family

ID=74997112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414030.9A Active CN112532898B (zh) 2020-12-03 2020-12-03 双模态红外仿生视觉传感器

Country Status (1)

Country Link
CN (1) CN112532898B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038046A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
CN113037980A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
CN114295205A (zh) * 2021-12-30 2022-04-08 北京京东方技术开发有限公司 感光电路、感光控制方法、感光模组和显示装置
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
WO2022199413A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 像素传感阵列和视觉传感器
WO2022199524A1 (zh) * 2021-03-25 2022-09-29 北京灵汐科技有限公司 传感器组件及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101641A1 (zh) * 2015-12-14 2017-06-22 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
US20190166317A1 (en) * 2017-11-30 2019-05-30 Brillnics, Inc. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
CN111031267A (zh) * 2019-12-24 2020-04-17 清华大学 视杆仿生视觉传感器
CN111083402A (zh) * 2019-12-24 2020-04-28 清华大学 双模态仿生视觉传感器
CN111083404A (zh) * 2019-12-24 2020-04-28 清华大学 视锥视杆双模态仿生视觉传感器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101641A1 (zh) * 2015-12-14 2017-06-22 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
US20190166317A1 (en) * 2017-11-30 2019-05-30 Brillnics, Inc. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
CN111031267A (zh) * 2019-12-24 2020-04-17 清华大学 视杆仿生视觉传感器
CN111083402A (zh) * 2019-12-24 2020-04-28 清华大学 双模态仿生视觉传感器
CN111083404A (zh) * 2019-12-24 2020-04-28 清华大学 视锥视杆双模态仿生视觉传感器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
CN113038046A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
CN113037980A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
WO2022199413A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 像素传感阵列和视觉传感器
WO2022199524A1 (zh) * 2021-03-25 2022-09-29 北京灵汐科技有限公司 传感器组件及电子设备
CN114295205A (zh) * 2021-12-30 2022-04-08 北京京东方技术开发有限公司 感光电路、感光控制方法、感光模组和显示装置
CN114295205B (zh) * 2021-12-30 2023-11-24 北京京东方技术开发有限公司 感光电路、感光控制方法、感光模组和显示装置

Also Published As

Publication number Publication date
CN112532898B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN112532898B (zh) 双模态红外仿生视觉传感器
CN111083402B (zh) 双模态仿生视觉传感器
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN111432099B (zh) 图像传感器、处理系统及方法、电子设备和存储介质
JP6096243B2 (ja) 画像データの処理方法およびシステム
CN111083404B (zh) 视锥视杆双模态仿生视觉传感器
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US20100149393A1 (en) Increasing the resolution of color sub-pixel arrays
CN106131460A (zh) 成像装置、成像系统和信号处理方法
JP5521373B2 (ja) 撮像素子
CN111586375B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN209345244U (zh) 成像系统和相机模块
CN111031267B (zh) 视杆仿生视觉传感器
CN112543271B (zh) 双模态紫外仿生视觉传感器
CN112584016B (zh) 红外仿生视觉传感器
WO2022116991A1 (zh) 仿生视觉传感器
CN112600996B (zh) 紫外仿生视觉传感器
JP2011211497A (ja) 画像入力装置
JP7164579B2 (ja) 画像センサー及び電子デバイス
WO2022199413A1 (zh) 像素传感阵列和视觉传感器
US20220279108A1 (en) Image sensor and mobile terminal
TWI601427B (zh) 具有透明濾波器像素之成像系統
TW201436579A (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant