CN114531555B - 一种端侧轮廓增强的仿生视觉传感器 - Google Patents

一种端侧轮廓增强的仿生视觉传感器 Download PDF

Info

Publication number
CN114531555B
CN114531555B CN202210434036.5A CN202210434036A CN114531555B CN 114531555 B CN114531555 B CN 114531555B CN 202210434036 A CN202210434036 A CN 202210434036A CN 114531555 B CN114531555 B CN 114531555B
Authority
CN
China
Prior art keywords
sensor
elements
controlled
control element
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210434036.5A
Other languages
English (en)
Other versions
CN114531555A (zh
Inventor
孟雷欣
杨青
许航
欧阳纯方
郭海中
郭飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210434036.5A priority Critical patent/CN114531555B/zh
Publication of CN114531555A publication Critical patent/CN114531555A/zh
Application granted granted Critical
Publication of CN114531555B publication Critical patent/CN114531555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/32—Transforming X-rays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/0248—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies
    • H01L31/0352—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies characterised by their shape or by the shapes, relative sizes or disposition of the semiconductor regions
    • H01L31/035209—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies characterised by their shape or by the shapes, relative sizes or disposition of the semiconductor regions comprising a quantum structures
    • H01L31/035227—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by their semiconductor bodies characterised by their shape or by the shapes, relative sizes or disposition of the semiconductor regions comprising a quantum structures the quantum structure being quantum wires, or nanorods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/112—Devices sensitive to infrared, visible or ultraviolet radiation characterised by field-effect operation, e.g. junction field-effect phototransistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/115—Devices sensitive to very short wavelength, e.g. X-rays, gamma-rays or corpuscular radiation
    • H01L31/119—Devices sensitive to very short wavelength, e.g. X-rays, gamma-rays or corpuscular radiation characterised by field-effect operation, e.g. MIS type detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Nanotechnology (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种端侧轮廓增强的仿生视觉传感器，包括：传感器主体元件模块，包含一个或多个像素，每个像素包含多个用于将光信号转换为电信号的元件，每个像素内的元件间具有光强度信息交换能力，通过光强度信息交换实现元件灵敏度调控，实现元件间光强度差异的放大，达到轮廓增强的目的。本发明中的视觉传感器基于人视网膜中水平细胞的侧抑制功能，在图像采集的基础上，可通过像素内元件间拮抗作用，从而在硬件层面上达到端侧轮廓增强，实现图像特征的提取，从而减少信息冗余，加快成像速度，且自适应、自调控、无需人为调控。

Description

一种端侧轮廓增强的仿生视觉传感器
技术领域
本发明涉及神经形态智能视觉传感领域，尤其是涉及一种端侧轮廓增强的仿生视觉传感器。
背景技术
视觉传感器是相机的核心感光元件，是物联网的基石，也是制造业未来智能化的基础。视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图像传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
图像传感器是20世纪50年代以光电倍增管PMT的研发成功为标志而出现；60年代末，CCD图像传感器在Bell实验室发明，依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能，成为图像传感器市场的主导。90年代末，步入CMOS时代。直到现在，图像传感器朝着高分辨率、高帧率、低噪声等方向发展。目前市场主流的是CCD和CMOS图像传感器。图像传感器采集信号，将信号直接传输给处理系统，经过算法对有效信息进行提取，随着分辨率的增高，像素点增多，冗余信息的处理是如何加快成像速度的难点。
传统的视觉图像采集方式以固定频率采集的“帧”为基础，拍摄延迟大，容易产生像糊，得到的数据量大，且存在大量同类数据的重复和冗余。这些特性加大了后期数据计算的难度、降低了处理效率、增加了系统延时，增加了能耗。并且传统视觉传感器受光线影响较大，在强光或是极暗的情况下，拍摄画面效果不稳定，可能出现曝光过度和曝光不足的问题。另外，传感器对于光线的快速变化也很难及时做出调整，鲁棒性相对较低。
面对以上问题，业界的解决方案主要集中在通过提高后端处理器算力和优化算法。然而，视觉传感器作为信息输入的最前端，其已成为限制机器智能发展的主要瓶颈。算力提升和算法优化已无法继续提升整体性能。
近年来，随着仿生概念的盛行，越来越多的科研人员将视觉传感器聚焦在生物的视觉原理上。在人的眼球中，视神经纤维约占感光细胞的1%，因此在视网膜上已经实现的视觉信息的预加工，由此衍生出仿神经形态的视觉传感器。
文献(Gu, L., Poddar, S., Lin, Y. et al. A biomimetic eye with ahemispherical perovskite nanowire array retina. Nature 581, 278–282 (2020).)中首次成功的制作了“人工眼球”的原型，一种人工视觉系统，该系统使用球形仿生电化学眼睛和半球形视网膜（由高密度钙钛矿纳米线阵列制成）。但是类似传统的图形传感器，只有信息的提取，冗余信息没有处理。
文献(Shuang Wang, Chen-Yu Wang, Feng Miao, et al. Networkingretinomorphic sensor with memristive crossbar for brain-inspired visualperception, National Science Review, 8, 2, (2021), nwaa172.) 中将视网膜形态传感阵列和忆阻交叉阵列结合为一体，提出和实现了“垂直结构”的类脑视觉系统，为未来实现类脑机器视觉提供了一个可行的思路。但是该设计中需要人为控制的进行栅源电压的调控，无法实现一个自适应的功能。
文献(Zhou F, Zhou Z, Chen J, Choy TH, Wang J, Zhang N, Lin Z, Yu S,Kang J, Wong HP, Chai Y. Optoelectronic resistive random access memory forneuromorphic vision sensors. Nat Nanotechnol. 2019 Aug;14(8):776-782.) 展示了简单的双端光电电阻随机存取存储器（ORRAM）突触器件，用于高效的神经形态视觉系统，具有非易失性光学电阻开关和光可调突触行为。但是该设计中是对多次图像训练的一个增强，无法实现一个自适应的功能。
综上可知，目前的成像传感器侧重于垂直方向上信号传输的处理，尚无成像单元之间信息传输、交换的技术方案，无法实现类似生物体视觉的视网膜轮廓提取、卷积计算等功能。
发明内容
本发明的目的在于提供一种端侧轮廓增强的仿生视觉传感器。
本发明中的视觉传感器基于人视网膜中水平细胞的侧抑制功能，在图像采集的基础上，可通过像素内元件间拮抗作用，从而在硬件层面上达到端侧轮廓增强，实现图像特征的提取，从而减少信息冗余，加快成像速度，且自适应、自调控、无需人为调控。
本发明采用的具体技术方案如下：
一种端侧轮廓增强的仿生视觉传感器，包括：
传感器主体元件模块，包含一个或多个像素，每个像素包含多个具有感光能力的元件，用于将光信号转换为电信号，每个像素内的元件间通过电路连接，具有光强度信息交换能力，通过光强度信息交换实现元件灵敏度调控，实现对光强度差异的放大，达到轮廓增强的目的。
在一些优选的实施方案中，所述传感器的主体元件模块可以是一个元件调控另外一个元件，也可以是一个元件调控另外多个元件，也可以是多个元件调控另外多个元件。其中，调控的元件称为主控元件，被调控的元件称为被控元件，则所述每个像素包含多个用于将光信号转换为电信号的元件具体为：
一组或多组一个主控元件与一个被控元件，
和/或一组或多组一个主控元件与多个被控元件。
在一些优选的实施方案中，所述传感器的元件之间实现光强度信息交换的电路结构可以是电桥结构，也可以是其他高灵敏度的实现信息交换的电路等。
在一些优选的实施方案中，所述电路为以光敏场效应管（FET）、电阻、电源为电路元件的差分电桥电路，具体为：
主控元件的源极和漏极与一电阻串联为电桥的一侧通路，被控元件的源极和漏极与一电阻串联为电桥的另一侧通路，两条通路并联，并联的电路上设有为差分电桥电路提供电源的第二电源；主控元件的源极、被控元件的源极通过一差分通路连接，主控元件的源极连接到被控元件的栅极，控制被控元件的输出，主控元件的栅极直接或通过第一电源与被控元件的源极连通，第一电源为主控元件的栅极提供电压；
所述差分通路为一差值电阻或是两条由硅二极管、差值电阻、锗二极管串联组成的支路的并联电路；
其中，主控元件与被控元件通过电路连接仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件的源极接到被控元件的栅极，实现像素内元件间拮抗作用，从而达到端侧轮廓增强、减少数据冗余的功能。
在一些优选的实施方案中，所述传感器主体元件模块的像素可以是一个也可以是多个。
在一些优选的实施方案中，所述传感器主体元件模块的一个像素中元件的排列形式可以是线形、圆形、三角形、四边形等等。
在一些优选的实施方案中，所述元件为微/纳米线结构或薄膜结构的光敏场效应管。
在一些优选的实施方案中，所述微/纳米线结构的光敏场效应管具体包括：具有导电功能的微/纳米管（碳微/纳米管）、具有光敏功能的光电导半导体微/纳米线和绝缘层，其中具有导电功能的微/纳米管隔着绝缘体层搭在具有光敏功能的光电导半导体微/纳米线上，具有导电功能的微/纳米管作为栅极；
所述薄膜结构的光敏场效应管具体包括：从上到下依次叠放的导电层，绝缘层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
在一些优选的实施方案中，所述传感器的光电导半导体微/纳米线、光电导半导体层的材料可以是氧化锌材料、钙钛矿材料或其他合适的光电半导体材料。
在一些优选的实施方案中，所述传感器的光电导半导体微/纳米线、光电导半导体层的材料可以是Si、Ge、Te等单元素光电半导体材料，也可以是MoS2、InP、WSe2、ZnO、GaN、AlGaN、CdTe、CdZnTe、HgCdTe、CH3NH3PbI3等化合物光电半导体材料。
在一些优选的实施方案中，所述传感器的单个元件可以用于可见光、红外光、紫外光或X射线的光传感。
在一些优选的实施方案中，所述传感器还包括：信号传输模块，用于给传感器主体元件模块传输所需电信号以及将传感器主体元件模块的信号传输给信号处理模块；
所述传感器的信号传输线可以是铜线、银线等连接线，也可以是印刷电路板上的连接线。
信号处理模块，用于将信号传输模块传输的数据进行处理。
相比现有技术，本发明具有如下有益效果：
1. 本发明通过简单的电互联实现仿视网膜水平细胞的中心周围拮抗功能，在硬件水平上达到端侧轮廓增强、减少数据冗余的功能；
2. 不仅可以实现高分辨率成像，而且无需人为控制即可实现端侧轮廓增强功能；
3. 不降低分辨率，不增加传感层电路复杂程度，与神经形态传感兼容，为攻克感存算一体的仿生视觉传感器的关键技术难点提供一种方案。
附图说明
图1示出本发明一示例性的传感器主体元件模块。
图2示出本发明一示例性的传感器单个像素中元件之间的一种调控方式。
图3示出本发明一示例性的传感器单个像素中元件之间的另一种调控方式。
图4示出本发明一示例性的传感器单个像素中元件之间的另一种调控方式。
图5示出为本发明一示例性的传感器电路结构示意图。
图6示出为本发明一示例性的另一种传感器电路结构示意图。
图7示出为本发明一示例性的另一种传感器电路结构示意图。
图8示出为一幅亮度差别很小的测试图。
图9示出为传统视觉传感器CCD/CMOS成像原理图。
图10示出为本发明的传感器成像原理图。
图11示出为本发明的传感器与普通CIS视觉传感器的成像对比图。
图中，1-像素，2-传感器主体元件模块，3-元件，4-光强度信息交换，5-省略未画的多个像素，6-省略未画的多个元件，18-调控元件区，7-差值电阻Rx，8-主控元件，9-被控元件，10-第一电源，11-第二电源，12-第一电阻R1，13-第二电阻R2，14-成像物体低亮度区，15-成像物体高亮度区，16-传统相机图像编码的像素，17-传统相机图像对应轮廓区，21-硅二极管D1，22-硅二极管D2，23-差值电阻R4，24-锗二极管D4，25-锗二极管D3，26-差值电阻R3，181-传统相机编码的低亮度区，182-传统相机编码的高亮度区，183-传统相机编码的轮廓亮度区，191-本发明视觉传感器编码的第一个区域，192-本发明视觉传感器编码的第二个区域，193-本发明视觉传感器编码的第三个区域，20-本发明视觉传感器编码对应轮廓区，211-本发明视觉传感器的拮抗轮廓区（暗），212-本发明视觉传感器的拮抗轮廓区（亮）。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明公开的一种端侧轮廓增强的仿生视觉传感器，包括传感器主体元件模块；图1示出为本发明一示例性的传感器主体元件模块，如图1所示，传感器主体元件模块2由多个像素1组成，每个像素点由多个元件3组成，元件3之间通过电路连接，具有光强度信息交换4的能力，通过光强度信息交换实现元件灵敏度调控，实现对光强度差异的放大，达到轮廓增强的目的。具体地，包括：
一组或多组一个主控元件与一个被控元件，
和/或一组或多组一个主控元件与多个被控元件，其中，主控元件与被控元件具有光强度信息交换能力，主控元件通过光强度信息交换实现对被控元件的灵敏度调控，实现主控元件与被控元件之间的光强度差异的放大。
每个元件采集光信号并将光信号转换为电信号，再传输出去。
如图2所示，本发明公开了传感器单个像素中元件之间的一种调控方式。此图中，元件3之间为一个主控元件与一个被控元件的调控。
如图3所示，本发明公开了传感器单个像素中元件之间的另一种调控方式。元件3之间为一个主控元件与八个被控元件的调控。且元件的排布为正方形排布。
如图4所示，本发明公开了传感器单个像素中元件之间的另一种调控方式。元件3之间为多对多的调控。主控元件区18为主控元件，对外圈的被控元件进行一对多调控，外圈的被控元件相互之间进行一对一调控。
本发明中的元件可以为微/纳米线结构或薄膜结构的光敏场效应管，可以用于可见光、红外光、紫外光或X射线的光传感。
所述微/纳米线结构的光电场效应晶体管具体包括：具有导电功能的微/纳米管、具有光敏功能的光电导半导体微/纳米线和绝缘层，其中具有导电功能的微/纳米管隔着绝缘体层搭在具有光敏功能的光电导半导体微/纳米线上，具有导电功能的微/纳米管作为栅极。
所述薄膜结构的光电场效应晶体管具体包括：导电层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
所述薄膜结构的光电场效应晶体管具体包括：从上到下依次叠放的导电层，绝缘层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
光电导半导体微/纳米线、光电导半导体层的材料为Si、Ge、Te等单元素光电半导体材料，或MoS2、InP、WSe2、ZnO、GaN、AlGaN、CdTe、CdZnTe、HgCdTe、CH3NH3PbI3等化合物光电半导体材料。
其中，所述传感器的元件之间实现光强度信息交换的电路结构可以是电桥结构，也可以是其他高灵敏度的实现信息交换的电路等。示例性地，传感器电路设计以光敏场效应管（FET）、电阻、电源为电路元件，以差分电桥电路为电路结构。仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件（主光敏FET）的源极接到被控元件（辅光敏FET）的栅极，实现像素内元件间拮抗作用，从而达到端侧轮廓增强、减少数据冗余的功能。
具体地，一个主控元件与一个被控元件为例，如图5所示，包括差值电阻（Rx）7，主控元件（T1）8，被控元件（T2）9，第一电源10，第二电源11，第一电阻（R1）12，第二电阻（R2）13。主控元件8和被控元件9的源极S1端和S2端为该像素的两个输出。主控元件8和第一电阻12串联为电桥的一侧通路，被控元件9和第二电阻13串联为电桥的另一侧通路，两条通路并联。正常通电但不工作时的阻值关系为：RT1/RT2=R1/R2，RT1、RT2分别为主控元件8和被控元件9的电阻，此时S1端和S2端的电位相等，连接于两端之间的差值电阻7上没有电流。第二电源11为整个电桥提供电源。第一电源10为被控元件9的栅极G2提供电压，数值大小等于正常通电但不工作时S1端的电位数值大小。仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件8的源极S1连接到被控元件9的栅极G2，使主控元件8的输出调控被控元件9的栅极电压，被控元件9会随栅极电压数值升高而导电通道变窄，随栅极电压数值降低而导电通道变宽，实现中心-周围拮抗作用，从而在硬件层面上达到端侧轮廓增强、减少数据冗余的功能。
本发明中传感器的主体元件模块输出为每个像素中的每个元件所输出的光信号，其中，被控元件输出的电信号为已经经过调控后的电信号。
工作原理具体为：当主控元件8接收的光信号亮度大于被控元件9接收的光信号亮度如主控元件8接收亮度为（100，100，100）的光信号输入，被控元件9接收亮度为（80，80，80）的光信号输入时，主控元件8的电阻减小率比被控元件9的电阻减小率更大，S1端和S2端的电位会失衡，VS1大于VS2，即被控元件9的G端和S端之间的电压VGS变大，为正值，进而调控导电通道变窄，导致被控元件9的输出的电信号变小，实际输出的电信号的信息为（50，50，50）的光信号，实现“暗的更暗”；同理，当主控元件8接收的光信号亮度小于被控元件9接收的光信号亮度如主控元件8接收亮度为（100，100，100）的光信号输入，被控元件9接收亮度为（120，120，120）的光信号输入时，主控元件8的电阻减小率比被控元件9的电阻减小率更小，VS1小于VS2，即被控元件9的G端和S端之间的电压VGS变小，为负值，进而调控导电通道变宽，导致被控元件9的输出的电信号变大，实际输出电信号的信息为（140，140，140）的光信号，实现“亮的更亮”；当主控元件8和被控元件9处于同一亮度区时，主控元件8的电阻减小率与被控元件9的电阻减小率相同，VS1等于VS2，两者之间没有调控影响。上述数值大小变化只为举例。
图6所示为另一种传感器电路结构示意图，其中，去掉图5中的第一电源10，将主控元件8的栅极G1直接连接在源极S1端，即A点（其余连接结构与图5相同），可以解决动态中栅极G1和G2电势不相同的问题，并且减少一个电源，使电路更简洁。
图7所示为另一种传感器电路结构示意图，其中，将图5与图6中Rx所在的差分通路改为硅二极管D1 21、差值电阻R3 26和锗二极管D3 25串联于A（S1端）、B（S2端）之间，硅二极管D2 22、差值电阻R4 23和锗二极管D4 24串联于A、B之间，这两条支路并联。采用硅二极管D1 21、硅二极管D2 22的压降0.7V为上限，解决闭环反馈中一直循环到饱和或截至的问题；锗二极管D3 25、锗二极管D4 24为压降大约为0.2V的二极管，利用正向导通特性，单向导通。避免因工艺问题导致主控元件8、被控元件9特性不同导致A、B两点电势不同进入反馈的问题；而且A、B电势差需大于二极管的导通电压才能导通，留出误差限，从而可以解决缓变对比度图像所引起的误差的问题。
图8所示为一幅亮度差别很小的测试图。包括成像物体低亮度区14，成像物体高亮度区15。可以看到两个区域亮度差别很小，对于视觉传感器的成像是非常大的挑战。
图9所示为以图8测试图为例的传统视觉传感器CCD/CMOS成像原理图。包括传统相机图像编码的像素16，传统相机图像对应轮廓区17，传统相机编码的低亮度区181，传统相机编码的高亮度区182，传统相机编码的轮廓亮度区183。传统视觉传感器CCD/CMOS成像过程为对视野中每一个像素16进行亮度信息采集，随后存入存储区，最后由输出端口进行串行输出。例如，对低亮度区181的亮度信息编码为（166,166,166），对高亮度区182的亮度信息编码为（172,172,172），对轮廓亮度区183的亮度信息编码为（170,170,170）。输出到后端处理器的信息为所有像素的信息，后端处理器需对所有的数据进行处理，造成数据冗余，且传感器采集到的亮度信息编码差异不大，误差大。亮度信息编码范围为0-255，其中编码值0为黑，255为白。
图10所示为以图8测试图为例的本发明一种端侧轮廓增强的仿生视觉传感器的成像原理图。包括本发明视觉传感器编码的第一个区域191，本发明视觉传感器编码的第二个区域192，本发明视觉传感器编码的第三个区域193，本发明视觉传感器编码对应轮廓区20，其中，与图8测试图相对应的，第一个区域191为低亮度区，第二个区域192、第三个区域193为高亮度区，假设高亮度区编码为（172,172,172），低亮度区编码为（166,166,166），则轮廓区20亮度介于高亮度区和低亮度区的亮度之间，位于轮廓区20的像素中的元件会放大两侧的亮度差异，从而增强轮廓，以图3所示的像素排布为例，其中，在第三个区域193即三角形右侧轮廓靠近高亮度区附近的像素，由于左侧被控元件位于高亮度区，主控元件在轮廓区20，被控元件的亮度被增强，会产生一个亮带，即编码为（185,185,185）的拮抗轮廓区（亮）212。在第三个区域193即三角形右侧靠近低亮度区附近的像素，由于右侧被控元件位于低亮度区，主控元件在轮廓区20，被控元件的亮度被减弱，会产生一个暗带，即编码为（145,145,145）的拮抗轮廓区（暗）211。亮度梯度发生变化的地方为图形的轮廓，本发明中的视觉传感器会加大图形轮廓两侧附近的亮度梯度，即“亮的更亮，暗的更暗”，使图形轮廓两侧附近的亮暗程度发生剧烈的变化，也就是本发明所述的端侧轮廓增强功能。
在图10中，本发明的视觉传感器使图形不明显的轮廓清晰，减小了图像识别的误差。对于如图8所示的测试图，图像轮廓已经提取，后端处理器只需对本发明视觉传感器编码的第一个区域191、本发明视觉传感器编码的第二个区域192、本发明视觉传感器编码的第三个区域193这三个区域分别进行统一编码，即可代替对区域内每个像素进行编码，减少数据的冗余。
图11示出为本发明的传感器与普通CIS视觉传感器的成像对比图，同样地，区别于普通CIS视觉传感器的成像方式，在图像采集的基础上，可通过像素内元件间拮抗作用，从而在硬件层面上达到端侧轮廓增强，实现图像特征的提取，从而减少信息冗余，加快成像速度，且自适应、自调控、无需人为调控。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (8)

1.一种端侧轮廓增强的仿生视觉传感器，其特征在于，包括：
传感器主体元件模块，包含一个或多个像素，每个像素包含多个用于将光信号转换为电信号的元件，每个像素内的元件间通过电路连接，完成光强度信息交换并通过光强度信息交换实现元件灵敏度调控，实现元件间光强度差异的放大；
所述每个像素包含多个用于将光信号转换为电信号的元件为：
一组或多组一个主控元件与一个被控元件，
和/或一组或多组一个主控元件与多个被控元件；
所述电路为差分电桥电路，具体为：
主控元件的源极和漏极与一电阻串联为电桥的一侧通路，被控元件的源极和漏极与一电阻串联为电桥的另一侧通路，两条通路并联，并联的电路上设有为差分电桥电路提供电源的第二电源；主控元件的源极、被控元件的源极通过一差分通路连接，主控元件的源极连接到被控元件的栅极，控制被控元件的输出，主控元件的栅极直接或通过第一电源与被控元件的源极连通，第一电源为主控元件的栅极提供电压；
所述差分通路为一差值电阻或是两条由硅二极管、差值电阻、锗二极管串联组成的支路的并联电路；
其中，主控元件与被控元件通过电路连接完成光强度信息交换，主控元件通过光强度信息交换实现对被控元件的灵敏度调控，实现主控元件与被控元件之间的光强度差异的放大。
2.根据权利要求1所述的端侧轮廓增强的仿生视觉传感器，其特征在于，所述用于将光信号转换为电信号的元件为微/纳米线结构的光敏场效应管。
3.根据权利要求2所述的端侧轮廓增强的仿生视觉传感器，其特征在于，所述微/纳米线结构的光敏场效应管具体包括：具有导电功能的微/纳米管、具有光敏功能的光电导半导体微/纳米线和绝缘层，其中具有导电功能的微/纳米管隔着绝缘体层搭在具有光敏功能的光电导半导体微/纳米线上，具有导电功能的微/纳米管作为栅极。
4.根据权利要求3所述的端侧轮廓增强的仿生视觉传感器，其特征在于，光电导半导体微/纳米线的材料为单元素光电半导体材料或化合物光电半导体材料。
5.根据权利要求4所述的端侧轮廓增强的仿生视觉传感器，其特征在于，当光电导半导体微/纳米线的材料为单元素光电半导体材料时，所述单元素光电半导体材料为Si、Ge或Te；
当光电导半导体微/纳米线的材料为化合物光电半导体材料时，所述化合物光电半导体材料为MoS2、InP、WSe2、ZnO、GaN、AlGaN、CdTe、CdZnTe、HgCdTe或CH3NH3PbI3。
6.根据权利要求1所述的端侧轮廓增强的仿生视觉传感器，其特征在于，所述用于将光信号转换为电信号的元件为薄膜结构的光敏场效应管。
7.根据权利要求6所述的端侧轮廓增强的仿生视觉传感器，其特征在于，所述薄膜结构的光敏场效应管具体包括：从上到下依次叠放的导电层，绝缘层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
8.根据权利要求1所述的端侧轮廓增强的仿生视觉传感器，其特征在于，一个像素中元件的排列形式是线形、圆形、三角形或四边形；
和/或所述光信号包括可见光、红外光、紫外光或X射线；
和/或所述仿生视觉传感器还包括：
信号传输模块，用于给传感器主体元件模块传输所需电信号以及将传感器主体元件模块中每个元件产生的电信号传输给信号处理模块；
信号处理模块，用于对信号传输模块传输的电信号进行处理。
CN202210434036.5A 2022-04-24 2022-04-24 一种端侧轮廓增强的仿生视觉传感器 Active CN114531555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210434036.5A CN114531555B (zh) 2022-04-24 2022-04-24 一种端侧轮廓增强的仿生视觉传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210434036.5A CN114531555B (zh) 2022-04-24 2022-04-24 一种端侧轮廓增强的仿生视觉传感器

Publications (2)

Publication Number Publication Date
CN114531555A CN114531555A (zh) 2022-05-24
CN114531555B true CN114531555B (zh) 2022-08-26

Family

ID=81628228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210434036.5A Active CN114531555B (zh) 2022-04-24 2022-04-24 一种端侧轮廓增强的仿生视觉传感器

Country Status (1)

Country Link
CN (1) CN114531555B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116387336B (zh) * 2023-06-01 2023-08-22 之江实验室 基于tft背板的轮廓增强传感器、阵列版图及设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176986A1 (zh) * 2017-03-30 2018-10-04 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
CN111083404A (zh) * 2019-12-24 2020-04-28 清华大学 视锥视杆双模态仿生视觉传感器
WO2021128532A1 (zh) * 2019-12-24 2021-07-01 清华大学 视锥视杆复用式仿生视觉传感器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906718B2 (en) * 2014-04-30 2018-02-27 Luminit Llc Biomimetic integrated optical sensor (BIOS) system
CN110323259B (zh) * 2019-06-28 2022-04-15 云谷（固安）科技有限公司 像素结构、掩膜板及显示面板
US11916156B2 (en) * 2020-04-09 2024-02-27 The Hong Kong University Of Science And Technology Method and system for optical detection using a biomimetic electrochemical eye
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
CN112415002B (zh) * 2020-11-10 2023-03-14 之江实验室 一种基于图像传感器的多模态传感器件
CN112420759B (zh) * 2020-11-10 2023-11-17 大连理工大学 一种基于仿生视觉的cmos图像传感器像素结构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176986A1 (zh) * 2017-03-30 2018-10-04 深圳大学 一种像素单元及其去噪方法、动态视觉传感器、成像装置
CN111083404A (zh) * 2019-12-24 2020-04-28 清华大学 视锥视杆双模态仿生视觉传感器
WO2021128532A1 (zh) * 2019-12-24 2021-07-01 清华大学 视锥视杆复用式仿生视觉传感器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dielectrically Modulated Single and Double Gate Tunnel FET Based Biosensors for Enhanced Sensitivity;Jagritee Talukdar等;《IEEE Sensors Journal》;20211025;全文 *
动态视觉传感器的目标检测算法对比分析;邱忠宇等;《空天防御》;20211215;全文 *

Also Published As

Publication number Publication date
CN114531555A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
Kim et al. Bio‐inspired artificial vision and neuromorphic image processing devices
Liao et al. Neuromorphic vision sensors: Principle, progress and perspectives
Shah et al. Visual information processing in primate cone pathways. I. A model
US9047568B1 (en) Apparatus and methods for encoding of sensory data using artificial spiking neurons
CN103533267B (zh) 基于列级adc的像素分裂与合并图像传感器及数据传输方法
CN114531555B (zh) 一种端侧轮廓增强的仿生视觉传感器
CN111542367B (zh) 光学传感器
Etienne-Cummings et al. Neuromorphic vision sensors
WO2022041091A1 (zh) 一种新型类脑视觉系统
Feng et al. Retinomorphic hardware for in‐sensor computing
Mafrica et al. A bio-inspired analog silicon retina with Michaelis-Menten auto-adaptive pixels sensitive to small and large changes in light
US9798971B2 (en) Visual cortical circuit apparatus, visual cortical imitation system and object search system using visual cortical circuit apparatus
Choi et al. Nanomaterial-based artificial vision systems: from bioinspired electronic eyes to in-sensor processing devices
EP0767442B1 (en) Computing circuit having instantaneous recognition function and instantaneous recognition method
Wang et al. On non-von Neumann flexible neuromorphic vision sensors
He et al. Recent advances in bioinspired vision systems with curved imaging structures
KR20190100833A (ko) Hdr 이미지 생성 장치
CN113612942B (zh) 一种卷积视觉图像传感器
Long et al. Bio-inspired visual systems based on curved image sensors and synaptic devices
US6011295A (en) Neural network active pixel cell
Brajovic et al. Temporal photoreception for adaptive dynamic range image sensing and encoding
Shimonomura et al. A multichip aVLSI system emulating orientation selectivity of primary visual cortical cells
Liu et al. Advances in silicon-based in-sensor computing for neuromorphic vision sensors
CN117157990A (zh) 基于忆阻器的人工智能像素传感器
EP1239666B1 (en) Imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant