CN111083404B - 视锥视杆双模态仿生视觉传感器 - Google Patents

视锥视杆双模态仿生视觉传感器 Download PDF

Info

Publication number
CN111083404B
CN111083404B CN201911350683.2A CN201911350683A CN111083404B CN 111083404 B CN111083404 B CN 111083404B CN 201911350683 A CN201911350683 A CN 201911350683A CN 111083404 B CN111083404 B CN 111083404B
Authority
CN
China
Prior art keywords
signal
current
circuit
active pixel
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911350683.2A
Other languages
English (en)
Other versions
CN111083404A (zh
Inventor
施路平
杨哲宇
赵蓉
裴京
徐海峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911350683.2A priority Critical patent/CN111083404B/zh
Priority to JP2022536954A priority patent/JP7335021B2/ja
Priority to US17/788,889 priority patent/US11985439B2/en
Priority to PCT/CN2020/073505 priority patent/WO2021128531A1/zh
Publication of CN111083404A publication Critical patent/CN111083404A/zh
Application granted granted Critical
Publication of CN111083404B publication Critical patent/CN111083404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明实施例提供了一种视锥视杆双模态仿生视觉传感器，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路，每个电压模式有源像素传感器电路均包括一个第一类感光器件，每个电流模式有源像素传感器电路均包括一个第二类感光器件。通过电压模式有源像素传感器，可以输出表征目标光信号中的光强信息的目标电压信号，得到的目标电压信号表征光强信息的精度更高，可以得到更高质量的图像，即图像具有更高的图像信噪比。通过电流模式有源像素传感器，可以输出表征目标光信号中的光强梯度信息的指定数字信号，保证仿生视觉传感器的图像动态范围与拍摄速度等性能指标，使仿生视觉传感器的稳定性和鲁棒性更强。

Description

视锥视杆双模态仿生视觉传感器
技术领域
本发明涉及集成电路技术领域，更具体地，涉及视锥视杆双模态仿生视觉传感器。
背景技术
随着对图像传感器与图像处理识别算法研究地不断深入，仿生视觉传感器在工业制造、智能交通、智能机器人等多个应用领域扮演着越来越重要的作用。
仿生视觉传感器主要是对人眼视网膜的模态进行仿真，人眼视网膜主要包括两种视觉感知细胞，即视锥细胞和视杆细胞，分别对应两种不同的模态。其中，视锥细胞的模态主要是对绝对光强信息与颜色信息敏感，具有很高的图像还原精度，但是还原速度较慢；与视锥细胞的模态相反，视杆细胞主要是对光强信息的变化量进行感知，具有感知速度较快且感知的动态范围较大，但是其无法感知绝对光强信息与颜色信息。
但是，现有技术中存在的仿生视觉传感器均只能对人眼视网膜的其中一种模态进行仿真，形成单一的感知模式，进而只能对某一类信息进行感知。如传统相机，类似于视锥细胞，主要对颜色信息进行感知。如动态视觉传感器(Dynamic Vision Sensor，DVS)，类似于视杆细胞，主要对光强信息的变化量进行感知。而单一模态的视觉传感器应用场景有限。例如，对于类似于视锥细胞的仿生视觉传感器，由于其拍摄得到的是绝对光强信息而非光强信息的变化量，虽然在家用娱乐电子设备中应用非常广泛，但在工业控制领域，往往面临速度不够动态范围太小等问题，因而很难应用。对于类似于视杆细胞的仿生视觉传感器，虽然感知速度很快，但是由于只对运动目标敏感，导致难以拍摄到图像，或者拍摄到的图像质量较差，难以满足娱乐电子设备的需求。而且由于仿生视觉传感器只包含单一的感知模式，在这种感知模式失效时仿生视觉传感器则失效，这对于对稳定性有高要求的无人驾驶、无人机等机器人有很大的局限。另外，目前评价仿生视觉传感器性能的主要指标有图像质量，动态范围与拍摄速度。由上述内容可知，在传统的仿生视觉传感器的框架下，这三个指标往往互斥：如当拍摄速度提高时，仿生视觉传感器的动态范围就会降低；当图像质量提高时拍摄速度一般就会降低，很难同时兼顾。
因此，现急需提供一种视锥视杆双模态仿生视觉传感器。
发明内容
为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种视锥视杆双模态仿生视觉传感器。
本发明实施例提供了一种视锥视杆双模态仿生视觉传感器，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路；
所述电压模式有源像素传感器电路包括一个第一类感光器件，所述第一类感光器件用于获取目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第一类电流信号，所述电压模式有源像素传感器电路用于基于所述第一类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
所述电流模式有源像素传感器电路包括一个第二类感光器件，所述第二类感光器件用于获取所述目标光信号，并将所述目标光信号转换为第二类电流信号，所述电流模式有源像素传感器电路用于基于所述第二类电流信号，输出表征所述目标光信号中的光强梯度信息的指定数字信号。
优选地，所述第一类感光器件包括光电二极管以及设置在所述光电二极管上的滤色器。
优选地，所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；
所述快门用于控制所述电流积分器的积分时间；
所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
优选地，所述目标电容具体为：设置在所述电压模式有源像素传感器电路内的独立电容或者所述电压模式有源像素传感器电路的寄生电容。
优选地，所述电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，所述电流模式有源像素传感器电路输出所述指定数字信号。
优选地，所述电流模式有源像素传感器电路还包括：第一电流放大器、加法器、差分电路和电压比较器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述差分电路相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述差分电路相连，所述差分电路用于将所述第一电流放大器的输出结果以及所述加法器的输出结果进行差分运算，并得到差分电压信号；
所述差分电路与所述电压比较器相连，所述电压比较器用于根据所述差分电压信号，输出所述指定数字信号。
优选地，所述差分电路具体包括：差分子电路和积分采样子电路；
所述第一电流放大器以及所述加法器的输出端分别与所述差分子电路相连，所述差分子电路用于将第一电流放大器的输出结果与所述加法器的输出结果进行差分运算，得到差分电流信号；所述差分子电路与所述积分采样子电路相连，所述积分采样子电路用于将所述差分电流信号进行积分采样，得到差分电压信号。
优选地，所述电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述第二类感光器件与所述第一电流放大器之间。
优选地，所有所述目标电压信号和所有所述指定数字信号共同形成图像。
优选地，本发明实施例中的视锥视杆双模态仿生视觉传感器还包括：两个存储单元；所述两个存储单元分别用于存储所述目标电压信号以及所述指定数字信号。
本发明实施例提供的一种视锥视杆双模态仿生视觉传感器，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路，每个电压模式有源像素传感器电路均包括一个第一类感光器件，每个电流模式有源像素传感器电路均包括一个第二类感光器件。通过电压模式有源像素传感器，可以输出表征目标光信号中的光强信息的目标电压信号，得到的目标电压信号表征光强信息的精度更高，可以得到更高质量的图像，即图像具有更高的图像信噪比。而且，通过电流模式有源像素传感器，可以输出表征目标光信号中的光强梯度信息的指定数字信号，一方面，可以快速得到指定数字信号，使得到图像的速度更快；另一方面，由于指定数字信号表征光强梯度信息，可以提高图像的动态范围。如此可以实现视锥视杆双模态仿生视觉传感器的双模态输出模式，同时保证视锥视杆双模态仿生视觉传感器的图像质量，动态范围与拍摄速度等性能指标，使视锥视杆双模态仿生视觉传感器的稳定性和鲁棒性更强，能够适应不同的拍摄场景，应用范围更广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电压模式有源像素传感器电路的结构示意图；
图2为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电流模式有源像素传感器电路的结构示意图；
图3为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中用于将某一电流模式有源像素传感器电路与其他电流模式有源像素传感器电路进行关联的电路结构示意图；
图4为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电流模式有源像素传感器电路中输入至数模转换器的指定数字信号的变化形式示意图；
图5为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中与所有第一类感光器件和所有第二类感光器件相对应的像素阵列的结构示意图；
图6为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中与所有第一类感光器件和所有第二类感光器件相对应的像素阵列的结构示意图；
图7为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电压模式有源像素传感器电路的结构示意图；
图8为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电流模式有源像素传感器电路的结构示意图；
图9为本发明实施例提供的一种视锥视杆双模态仿生视觉传感器中电流模式有源像素传感器电路的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种视锥视杆双模态仿生视觉传感器，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路；
所述电压模式有源像素传感器电路包括一个第一类感光器件，所述第一类感光器件用于获取目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第一类电流信号，所述电压模式有源像素传感器电路用于基于所述第一类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
所述电流模式有源像素传感器电路包括一个第二类感光器件，所述第二类感光器件用于获取所述目标光信号，并将所述目标光信号转换为第二类电流信号，所述电流模式有源像素传感器电路用于基于所述第二类电流信号，输出表征所述目标光信号中的光强梯度信息的指定数字信号。
具体地，本发明实施例中提供的视锥视杆双模态仿生视觉传感器中包括多个感光器件，视锥视杆双模态仿生视觉传感器中的感光器件可以根据对不同类别的光进行感应分为第一预设数量个第一类感光器件和第二预设数量个第二类感光器件，第一类感光器件用于对目标光信号中的彩色分量进行感应，第二类感光器件用于直接对目标光信号进行感应。本发明实施例中，将目标光信号中的彩色分量记为指定频段的光信号，即第一类感光器件用于获取目标光信号，从所述目标光信号中提取指定频段的光信号，并将指定频段的光信号转换为第一类电流信号，第二类感光器件用于获取目标光信号，并将目标光信号转换为第二类电流信号。需要说明的是，第一预设数量和第二预设数量之和等于视锥视杆双模态仿生视觉传感器中包括的感光器件的总数量，第一预设数量和第二预设数量的大小可以根据需要进行设定。
目标光信号是指目标物体表面反射的光信号，目标光信号可以直接照射在第一类感光器件或第二类感光器件上，也可以是通过准直透镜照射在第一类感光器件或第二类感光器件上，还可以是透过覆盖物照射在第一类感光器件或第二类感光器件上。目标光信号的波段可以是可见光波段，即目标光信号可以为可见光信号。目标物体是指需要人眼观察的物体，可以是实物，也可以是图像，或者其他形式，本发明中不对目标物体的具体形态进行限定。
本发明实施例中提供的视锥视杆双模态仿生视觉传感器中每个感光器件对应一个控制电路，即视锥视杆双模态仿生视觉传感器中包括第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路。其中，每个电压模式有源像素传感器电路中均包括一个第一类感光器件，每个电压模式有源像素传感器电路用于基于其中包括的第一类感光器件转换得到的第一类电流信号，输出表征目标光信号中的光强信息的目标电压信号。每个电流模式有源像素传感器电路中均包括一个第二类感光器件，每个电流模式有源像素传感器电路用于基于其中包括的第二类感光器件转换得到的第二类电流信号，输出表征目标光信号中的光强梯度信息的指定数字信号。
需要说明的是，电压模式有源像素传感器电路是指工作模式为电压模式的有源像素传感器(Active Pixel Sensor，APS)电路，也即在其中的第一类感光器件在转换得到第一类电流信号后，需要对第一类电流信号进行积分，得到目标电压信号。而电流模式有源像素传感器电路是指工作模式为电流模式的APS电路，也即在其中的第二类感光器件在转换得到第二类电流信号后，并不需要直接对第二类电流信号进行积分，而是做其他处理。
如图1所示，为本发明实施例中提供的视锥视杆双模态仿生视觉传感器中电压模式有源像素传感器电路的结构示意图，这相当于人眼视网膜的视锥细胞。图1中，Vcc1为电压模式有源像素传感器电路的电源，Vcc1具体可以是3.3V。第一类感光器件11分别与MOS管12、13连接，MOS管13与MOS管14连接。MOS管12用于起偏置作用，MOS管13用于起开关作用，MOS管14用于对第一类感光器件11转换得到的第一类电流信号进行电流积分，得到目标电压信号，表征目标光信号中的光强信息。
如图2所示，为本发明实施例中提供的视锥视杆双模态仿生视觉传感器中电流模式有源像素传感器电路的结构示意图，这相当于人眼视网膜的视杆细胞。图2中，Vcc2为电流模式有源像素传感器电路的电源，Vcc2具体可以是3.3V。第二类感光器件21与MOS管22连接，MOS管22与MOS管23连接且形成电流镜，通过改变MOS管23的沟道宽度，可以使第二类感光器件21转换得到的电流信号Ic与MOS管23中和第二类感光器件21镜像对应的一端的电流信号大小具有P倍的关系，即MOS管23中和第二类感光器件21镜像对应的一端的电流为P*Ic。
某一电流模式有源像素传感器电路与其他电流模式有源像素传感器电路之间通过如图3所示的电路进行关联，如图3所示的电路相当于人眼视网膜节细胞与双极细胞。图3中，以一个第二类感光器件为例进行说明，该第二类感光器件周围的其他第二类感光器件有4个。Vcc3为电路的电源，Vcc3具体可以是3.3V。数模转换器(Digital to AnalogConverter，DAC)31与比较器32连接，第二类感光器件转换得到的第二类电流信号为Ic，第二类感光器件周围的4个其他第二类感光器件转换得到的第二类电流信号分别为I1、I2、I3、I4，缩小P＝4倍后分别为I1/4、I2/4、I3/4、I4/4。比较器32与寻址单元33连接，且寻址单元33分别与DAC31和存储单元34连接。需要说明的是，DAC31的输入可以是人为输入的一个周期性增加的指定数字信号，具体可以呈阶梯型递增。寻址单元33用于在比较器32的输出端输出事件脉冲信号时，即比较器32处于边沿触发状态，对存储单元34进行寻址以存储电流模式有源像素传感器电路的输出结果。本发明实施例中通过比较器32实现对电流模式有源像素传感器电路的输出动作的控制，当比较器32的输出端输出事件脉冲信号时，即比较器32处于边沿触发状态，电流模式有源像素传感器电路输出此时的指定数字信号，此时的指定数字信号用于表征目标光信号中的光强梯度信息。存储单元34具体可以是寄存器、锁存器、SRAM、DRAM、忆阻器等。以寄存器为例，寄存器的位数与DAC31的精度有关，本发明实施例中可以选择4位寄存器。
其中，输入至DAC31的指定数字信号的变化形式具体如图4所示，指定数字信号具体随时间呈阶梯型递增，当某一时刻N*step时，指定数字信号取值为ΔI，比较器32输出事件脉冲信号，即比较器32处于边沿触发状态，则将此时的ΔI作为电流模式有源像素传感器电路的输出。其中，N为此前经过的台阶数，step为每一台阶经过的时长。
本发明实施例中提供的视锥视杆双模态仿生视觉传感器，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路，每个电压模式有源像素传感器电路均包括一个第一类感光器件，每个电流模式有源像素传感器电路均包括一个第二类感光器件。通过电压模式有源像素传感器，可以输出表征目标光信号中的光强信息的目标电压信号，得到的目标电压信号表征光强信息的精度更高，可以得到更高质量的图像，即图像具有更高的图像信噪比。而且，通过电流模式有源像素传感器，可以输出表征目标光信号中的光强梯度信息的指定数字信号，一方面，可以快速得到指定数字信号，使得到图像的速度更快；另一方面，由于指定数字信号表征光强梯度信息，可以提高图像的动态范围。如此可以实现视锥视杆双模态仿生视觉传感器的双模态输出模式，同时保证视锥视杆双模态仿生视觉传感器的图像质量，动态范围与拍摄速度等性能指标，使视锥视杆双模态仿生视觉传感器的稳定性和鲁棒性更强，能够适应不同的拍摄场景，应用范围更广。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述第一类感光器件包括光电二极管以及设置在所述光电二极管上的滤色器。
具体地，本发明实施例中，第一类感光器件可以由光电二极管(Photo-Diode，PD)和设置在PD上的滤色器(Colour Filter，CF)组成，最终由视锥视杆双模态仿生视觉传感器得到的图像是彩色图像。其中，CF用于获取目标光信号，从目标光信号中提取指定频段的光信号，PD将所述指定频段的光信号光信号转换为第一类电流信号。滤色器具体可以是滤光片或者透镜，用于透过指定频段的光信号。当滤色器为透镜时，具体可选用拜伦透镜，也可以选用其他类型的透镜。滤色器按透过光信号的波长大小可分为红色滤色器、蓝色滤色器以及绿色滤色器，其透过的光信号分别为红光信号、蓝光信号和绿光信号。
需要说明的是，第一类感光器件还可以直接由光电二极管组成，通过选取不同响应曲线的光电二极管实现获取目标光信号，从目标光信号中提取指定波段的光信号，并将指定波段的光信号转换为第一类电流信号的作用。
一般情况下，视锥视杆双模态仿生视觉传感器中一个第一类感光器件或者一个第二类感光器件均与一个像素相对应，视锥视杆双模态仿生视觉传感器中所有第一类感光器件和所有第二类感光器件与像素阵列相对应。也就是说，视锥视杆双模态仿生视觉传感器中每个第一类感光器件和每个第二类感光器件与相对应在像素阵列中的像素是一一对应的。
本发明实施例中，与所有第一类感光器件和所有第二类感光器件相对应的像素阵列具体可以如图5和图6所示，图5和图6中每个格均表示一个像素，其中未做标记的像素对应视锥视杆双模态仿生视觉传感器中的一个第二类感光器件，做标记的像素对应视锥视杆双模态仿生视觉传感器中的一个第一类感光器件，且每个标记为“R”的像素对应包含有红色滤色器的第一类感光器件，每个标记为“G”的像素对应包含有绿色滤色器的第一类感光器件，每个标记为“B”的像素对应包含有蓝色滤色器的第一类感光器件。图5中每个第一类感光器件对应的像素周围上、下、左、右四个方向上的像素均对应于第二类感光器件，且每一行包含有一种颜色的光的滤色器的第一类感光器件对应的像素。图6中每个第一类感光器件对应的像素周围左上、上、右上、左、右、左下、下、右下八个方向上的像素均对应于第二类感光器件，且每一行包含有三种颜色的光的滤色器的第一类感光器件对应的像素。
本发明实施例中，采用图5和图6所示的像素阵列的排列方式，既保证了图像色彩的还原，还保证了图像获取的速度与图像的动态范围。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；
所述快门用于控制所述电流积分器的积分时间；
所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
具体地，如图7所示，本发明实施例中提供的视锥视杆双模态仿生视觉传感器中电压模式有源像素传感器电路中不仅包括第一类感光器件61，还包括：电流积分器(CurrentIntegrator，CI)62、快门64以及模数转换器(Analog-to-Digital Converter，ADC)63。CI62用于获取电压模式有源像素传感器电路中目标电容的电压模拟信号；ADC63用于将所述目标电容的电压模拟信号转换为所述目标电压信号。快门64用于控制CI62的积分时间。例如，快门64控制CI62的积分时间为33ms，则33ms后，快门64闭合，CI62得到目标电容的电压模拟信号，并由ADC63读出。本发明实施例中还可以在ADC63后连接一存储单元，将ADC63读出的目标电容的电压模拟信号存储在存储单元中。其中，ADC63后连接的存储单元具体可以是寄存器、锁存器、SRAM、DRAM、忆阻器等。以寄存器为例，寄存器的位数可以根据ADC63的精度进行选择，本发明实施例中在此可选择8位寄存器存储目标电容的电压模拟信号。在ADC63读出动作完成后，还可以断开快门64，继续使CI62对目标电容的电流进行积分。循环上述步骤可以完成对视频信号的获取。
需要说明的是，图7中示出的电路为图1中示出的电路的一种变形，其实质是一致的。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述目标电容具体为：设置在所述电压模式有源像素传感器电路内的独立电容或者所述电压模式有源像素传感器电路的寄生电容。
具体地，本发明实施例中所说的目标电容具体可以是电压模式有源像素传感器电路的寄生电容，也可以是在电压模式有源像素传感器电路内额外引入的一个独立电容，该独立电容与光电二极管串联。
本发明实施例中，将电压模式有源像素传感器电路的寄生电容作为目标电容，可以节约额外引入一个独立电容产生的成本。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述第二类感光器件包括光电二极管，即第二类感光器件是由光电二极管构成，其中并不包含滤色器，可以对灰度信号进行感知。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，电流模式有源像素传感器电路输出所述指定数字信号。
具体地，如图8所示，电流模式有源像素传感器电路中包括第二类感光器件71，图8中第二类感光器件71具体为PD。电流模式有源像素传感器电路中还包括：第一电流放大器72、比较器73、加法器74和DAC75。第二类感光器件71与第一电流放大器72相连，第一电流放大器72用于对第二类感光器件71转换得到的第二类电流信号Ic进行放大，放大的倍数为第三预设数量，即放大的倍数与第二类感光器件71周围的其他第二类感光器件的数量相等，以保证放大后的第二类电流信号与第二类感光器件71周围第三预设数量个其他第二类感光器件转换得到的电流信号之和在同一量级上。图5中示出的像素阵列，对应的第三预设数量为4，图6示出的像素阵列，对应的第三预设数量为4或6。本发明实施例中以第三预设数量等于4为例进行说明。
第一电流放大器72与比较器73的一个输入端相连，将放大后的第二类电流信号输入至比较器73中。第二类感光器件71周围的4个其他第二类感光器件均分别与加法器74的输入端相连，加法器74的输出端与比较器73的另一个输入端相连。4个其他第二类感光器件转换得到的第二类电流信号I1、I2、I3、I4分别输入至加法器74，由加法器74对I1、I2、I3、I4进行求和，并将求和结果输入至比较器73。由比较器73对放大后的第二类电流信号以及加法器74的求和结果进行比较。当前一时刻与当前时刻的比较结果一致，则不做输出，由DAC75将输入的指定数字信号转换为指定模拟信号，并将指定模拟信号输出至第一电流放大器72或者加法器74，输出至第一电流放大器72的指定模拟信号记为IDA2，输出至加法器74的指定模拟信号记为IDA1。输出后再通过比较器73进行比较，当前一时刻与后一时刻的比较结果相反时，由比较器73的输出端输出事件脉冲信号，即比较器73处于边沿触发状态，此时电流模式有源像素传感器电路输出指定数字信号，指定数字信号用于表征目标光信号中的光强梯度信息。其中，电流模式有源像素传感器电路输出的指定数字信号是一种用0和1表示的数字信号。
需要说明的是，本发明实施例中的加法器可以是实际的器件，也可以是实现加法功能的功能模块，例如可以通过将第二类电流信号I1、I2、I3、I4所在的线路合并成一条线路实现。而且，第一电流放大器可以是实际的器件，也可以是实现电流放大功能的功能模块，本发明实施例中对此不作具体限定。
本发明实施例中还可以使DAC75连接一存储单元，将电流模式有源像素传感器电路输出的指定数字信号存储在存储单元中。其中，DAC75连接的存储单元具体可以是寄存器、锁存器、SRAM、DRAM、忆阻器等。以寄存器为例，寄存器的位数可以根据DAC75的精度进行选择，本发明实施例中在此可选择4位寄存器。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述电流模式有源像素传感器电路还包括：第一电流放大器、加法器、差分电路和电压比较器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述差分电路相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述差分电路相连，所述差分电路用于将所述第一电流放大器的输出结果以及所述加法器的输出结果进行差分运算，并得到差分电压信号；
所述差分电路与所述电压比较器相连，所述电压比较器用于根据所述差分电压信号，输出所述指定数字信号。
具体地，本发明实施例中，输出用于表征目标光信号中的光强梯度信息的指定数字信号时，还可以采用如图9所示的电流模式有源像素传感器电路结构。图9中，电流模式有源像素传感器电路中不仅包括第二类感应器件81，还包括：第一电流放大器82、加法器83、差分电路84和电压比较器85，第二类感光器件81与第一电流放大器82相连，第一电流放大器82与差分电路84相连。第一电流放大器82用于对第二类感光器件81转换得到的第二类电流信号进行放大，放大的倍数为第三预设数量，即放大的倍数与第二类感光器件81周围的其他第二类感光器件的数量相等，以保证放大后的第二类电流信号与第二类感光器件81周围第三预设数量个其他第二类感光器件转换得到的电流信号之和在同一量级上。本发明实施例中以第三预设数量等于4为例进行说明。
第二类感光器件81周围的4个其他第二类感光器件86、87、88、89均分别与加法器83的输入端相连，加法器83的输出端与差分电路84相连，差分电路84用于将第一电流放大器82的输出结果以及加法器83的输出结果进行差分运算，并得到差分电压信号。差分电路84与电压比较器85相连，电压比较器85用于根据差分电路84得到的差分电压信号，输出指定数字信号。
需要说明的是，电压比较器是对输入的差分电压信号进行鉴别与比较的电路，是组成非正弦波发生电路的基本单元电路。本发明实施例中可采用的电压比较器有单限比较器、滞回比较器、窗口比较器、三态电压比较器等。电压比较器85根据输入的差分电压信号，对差分电压信号进行选择，通常电压比较器设置有两个阈值，阈值1为上阈值，阈值2为下阈值，只有差分电压信号的脉冲值超过这两个阈值中的一个才会输出指定数字信号。
在上述实施例的基础上，本发明实施例中提供的视锥视杆双模态仿生视觉传感器，所述差分电路具体包括：差分子电路和积分采样子电路；
所述第一电流放大器以及所述加法器的输出端分别与所述差分子电路相连，所述差分子电路用于将第一电流放大器的输出结果与所述加法器的输出结果进行差分运算，得到差分电流信号；所述差分子电路与所述积分采样子电路相连，所述积分采样子电路用于将所述差分电流信号进行积分采样，得到差分电压信号。
具体地，由于本发明实施例中采用的电压比较器是对电压信号的比较，所以差分电路需要包括差分子电路和积分采样子电路这两个子电路，且差分子电路与积分采样子电路相连。首先由差分子电路将第一电流放大器的输出结果与加法器的输出结果进行差分运算，得到差分电流信号，然后由所述积分采样子电路将差分电流信号进行积分采样，得到差分电压信号。
在上述实施例的基础上，本发明实施例中的视锥视杆双模态仿生视觉传感器，所述电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述第二类感光器件与所述第一电流放大器之间。
具体地，本发明实施例中，由于第二类感光器件转换得到的第二类电流信号较小，即使通过第一电流放大器放大或通过求和计算，其依然较小，对后续操作使用的器件精度要求较高。因此降低对后续操作使用的器件精度要求，在第二类感光器件与第一电流放大器之间连接有第二电流放大器，对第二类感光器件转换得到的第二类电流信号进行初步放大。第二电流放大器可以是实际的器件，也可以是实现电流放大功能的功能模块，本发明实施例中对此不作具体限定。
在上述实施例的基础上，本发明实施例中的视锥视杆双模态仿生视觉传感器，所有所述目标电压信号和所有所述指定数字信号共同形成图像。
综上所述，由于目前并没有出现一种视锥视杆双模态仿生视觉传感器可以同时获取视锥细胞与视杆细胞的视觉感知信号。因而，本发明实施例中提出了一种基于视锥与视杆细胞双模态的视锥视杆双模态仿生视觉传感器，它可以像人眼视网膜一样同时实现低速光强信号(相当于视锥细胞)与高速空间梯度信号(相当于视杆细胞)的获取，弥补了现有技术中的技术空白。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视锥视杆双模态仿生视觉传感器，其特征在于，包括：第一预设数量个电压模式有源像素传感器电路和第二预设数量个电流模式有源像素传感器电路；
所述电压模式有源像素传感器电路包括一个第一类感光器件，所述第一类感光器件用于获取目标光信号，从所述目标光信号中提取指定频段的光信号，并将所述指定频段的光信号转换为第一类电流信号，所述电压模式有源像素传感器电路用于基于所述第一类电流信号，输出表征所述目标光信号中的光强信息的目标电压信号；
所述电流模式有源像素传感器电路包括一个第二类感光器件，所述第二类感光器件用于获取所述目标光信号，并将所述目标光信号转换为第二类电流信号，所述电流模式有源像素传感器电路用于基于所述第二类电流信号，输出表征所述目标光信号中的光强梯度信息的指定数字信号。
2.根据权利要求1所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述第一类感光器件包括光电二极管以及设置在所述光电二极管上的滤色器。
3.根据权利要求2所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述电压模式有源像素传感器电路还包括：电流积分器、快门以及模数转换器；
所述电流积分器用于获取所述电压模式有源像素传感器电路中目标电容的电压模拟信号；
所述快门用于控制所述电流积分器的积分时间；
所述模数转换器用于将所述目标电容的电压模拟信号转换为所述目标电压信号。
4.根据权利要求3所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述目标电容具体为：设置在所述电压模式有源像素传感器电路内的独立电容或者所述电压模式有源像素传感器电路的寄生电容。
5.根据权利要求1所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述电流模式有源像素传感器电路还包括：第一电流放大器、比较器、加法器和数模转换器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述比较器的一个输入端相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述比较器的另一个输入端相连；
所述比较器的输出端与所述数模转换器相连，所述数模转换器将输入的指定数字信号转换为指定模拟信号，并将所述指定模拟信号输出至所述第一电流放大器或者所述加法器，直至所述比较器的输出端输出事件脉冲信号，所述电流模式有源像素传感器电路输出所述指定数字信号；
所述比较器处于边沿触发状态时，前一时刻与后一时刻的比较结果相反，由所述比较器的输出端输出所述事件脉冲信号。
6.根据权利要求1所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述电流模式有源像素传感器电路还包括：第一电流放大器、加法器、差分电路和电压比较器；
所述第二类感光器件与所述第一电流放大器相连，所述第一电流放大器与所述差分电路相连；
所述第二类感光器件周围的第三预设数量个其他第二类感光器件均分别与所述加法器的输入端相连，所述加法器的输出端与所述差分电路相连，所述差分电路用于将所述第一电流放大器的输出结果以及所述加法器的输出结果进行差分运算，并得到差分电压信号；
所述差分电路与所述电压比较器相连，所述电压比较器用于根据所述差分电压信号，输出所述指定数字信号。
7.根据权利要求6所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述差分电路具体包括：差分子电路和积分采样子电路；
所述第一电流放大器以及所述加法器的输出端分别与所述差分子电路相连，所述差分子电路用于将第一电流放大器的输出结果与所述加法器的输出结果进行差分运算，得到差分电流信号；所述差分子电路与所述积分采样子电路相连，所述积分采样子电路用于将所述差分电流信号进行积分采样，得到差分电压信号。
8.根据权利要求5所述的视锥视杆双模态仿生视觉传感器，其特征在于，所述电流模式有源像素传感器电路还包括：第二电流放大器；
所述第二电流放大器连接在所述第二类感光器件与所述第一电流放大器之间。
9.根据权利要求1-8中任一项所述的视锥视杆双模态仿生视觉传感器，其特征在于，所有所述目标电压信号和所有所述指定数字信号共同形成图像。
10.根据权利要求1-8中任一项所述的视锥视杆双模态仿生视觉传感器，其特征在于，还包括：两个存储单元；
所述两个存储单元分别用于存储所述目标电压信号以及所述指定数字信号。
CN201911350683.2A 2019-12-24 2019-12-24 视锥视杆双模态仿生视觉传感器 Active CN111083404B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911350683.2A CN111083404B (zh) 2019-12-24 2019-12-24 视锥视杆双模态仿生视觉传感器
JP2022536954A JP7335021B2 (ja) 2019-12-24 2020-01-21 錐体及び桿体のバイモーダル生体模倣視覚センサ
US17/788,889 US11985439B2 (en) 2019-12-24 2020-01-21 Cone-rod dual-modality neuromorphic vision sensor
PCT/CN2020/073505 WO2021128531A1 (zh) 2019-12-24 2020-01-21 视锥视杆双模态仿生视觉传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911350683.2A CN111083404B (zh) 2019-12-24 2019-12-24 视锥视杆双模态仿生视觉传感器

Publications (2)

Publication Number Publication Date
CN111083404A CN111083404A (zh) 2020-04-28
CN111083404B true CN111083404B (zh) 2021-01-08

Family

ID=70317351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911350683.2A Active CN111083404B (zh) 2019-12-24 2019-12-24 视锥视杆双模态仿生视觉传感器

Country Status (4)

Country Link
US (1) US11985439B2 (zh)
JP (1) JP7335021B2 (zh)
CN (1) CN111083404B (zh)
WO (1) WO2021128531A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083402B (zh) * 2019-12-24 2020-12-01 清华大学 双模态仿生视觉传感器
WO2022116991A1 (zh) * 2020-12-03 2022-06-09 北京灵汐科技有限公司 仿生视觉传感器
CN112543271B (zh) * 2020-12-03 2022-09-02 清华大学 双模态紫外仿生视觉传感器
CN112532898B (zh) * 2020-12-03 2022-09-27 北京灵汐科技有限公司 双模态红外仿生视觉传感器
CN112584016B (zh) * 2020-12-03 2022-07-19 北京灵汐科技有限公司 红外仿生视觉传感器
CN112600996B (zh) * 2020-12-03 2022-12-09 清华大学 紫外仿生视觉传感器
CN114244970A (zh) * 2022-01-20 2022-03-25 深圳锐视智芯科技有限公司 一种事件信号处理方法、装置、设备及可读存储介质
CN114531555B (zh) * 2022-04-24 2022-08-26 之江实验室 一种端侧轮廓增强的仿生视觉传感器
WO2024097128A1 (en) * 2022-10-31 2024-05-10 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Neuromorphic programmable multiple pathways event-based sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187423A (ja) * 2013-03-21 2014-10-02 Canon Inc 撮像素子及びその駆動方法、及び撮像装置
CN107333040A (zh) * 2017-07-13 2017-11-07 中国科学院半导体研究所 仿生视觉成像与处理装置
CN108200362A (zh) * 2017-12-19 2018-06-22 清华大学 基于空间对比度的仿生视网膜摄像电路及子电路
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002026304A (ja) 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
JP2006279324A (ja) 2005-03-28 2006-10-12 Sanyo Electric Co Ltd 光検出装置
JP5655355B2 (ja) 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
KR102327749B1 (ko) * 2013-09-16 2021-11-17 프로페시 동적 단일 광다이오드 픽셀 회로 및 그 동작 방법
US10481479B2 (en) * 2016-09-26 2019-11-19 Ronald S. Maynard Immersive optical projection system
US10133944B2 (en) * 2016-12-21 2018-11-20 Volkswagen Ag Digital neuromorphic (NM) sensor array, detector, engine and methodologies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187423A (ja) * 2013-03-21 2014-10-02 Canon Inc 撮像素子及びその駆動方法、及び撮像装置
CN107333040A (zh) * 2017-07-13 2017-11-07 中国科学院半导体研究所 仿生视觉成像与处理装置
CN108200362A (zh) * 2017-12-19 2018-06-22 清华大学 基于空间对比度的仿生视网膜摄像电路及子电路
CN110324548A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 一种像素单元电路、信号处理方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《双CMOS仿生3D视觉传感器电路设计》;施建盛 等;《电视技术》;20150114;第38卷(第23期);48-51、92 *

Also Published As

Publication number Publication date
US11985439B2 (en) 2024-05-14
WO2021128531A1 (zh) 2021-07-01
CN111083404A (zh) 2020-04-28
JP7335021B2 (ja) 2023-08-29
US20230050794A1 (en) 2023-02-16
JP2023506277A (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
CN111083404B (zh) 视锥视杆双模态仿生视觉传感器
CN111083402B (zh) 双模态仿生视觉传感器
CN111106807B (zh) 视锥视杆复用式仿生视觉传感器
JP6096243B2 (ja) 画像データの処理方法およびシステム
US9531976B2 (en) Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN211296854U (zh) 像素阵列及仿生视觉传感器
CN112532898B (zh) 双模态红外仿生视觉传感器
US11363219B2 (en) Information processing apparatus, image sensor, image capturing apparatus, and information processing method
CN111031267B (zh) 视杆仿生视觉传感器
US20190075263A1 (en) Methods and apparatus for high dynamic range imaging
CN111083405B (zh) 双模态仿生视觉传感器像素读出系统
CN112543271B (zh) 双模态紫外仿生视觉传感器
KR20190100833A (ko) Hdr 이미지 생성 장치
CN112584016B (zh) 红外仿生视觉传感器
JP2001326857A (ja) 演算機能付き撮像素子
WO2022116991A1 (zh) 仿生视觉传感器
KR102552761B1 (ko) 영상 처리 장치 및 그 동작방법
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant