CN116698189B - 一种感算一体仿生复眼传感器及构建方法 - Google Patents

一种感算一体仿生复眼传感器及构建方法 Download PDF

Info

Publication number
CN116698189B
CN116698189B CN202310663076.1A CN202310663076A CN116698189B CN 116698189 B CN116698189 B CN 116698189B CN 202310663076 A CN202310663076 A CN 202310663076A CN 116698189 B CN116698189 B CN 116698189B
Authority
CN
China
Prior art keywords
pixel
light
level
optical filter
level optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310663076.1A
Other languages
English (en)
Other versions
CN116698189A (zh
Inventor
于志强
石青
尚俊逸
李程杨
景成成
斯云昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Original Assignee
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing filed Critical Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Priority to CN202310663076.1A priority Critical patent/CN116698189B/zh
Publication of CN116698189A publication Critical patent/CN116698189A/zh
Application granted granted Critical
Publication of CN116698189B publication Critical patent/CN116698189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明提供了一种感算一体仿生复眼传感器及构建方法,涉及相机成像技术领域,包括:PCB驱控电路、光电接收管、集束体、像素级滤光片、光传播媒介、遮光罩;遮光罩设置在光传播媒介上方,光传播媒介下方设置有像素级滤光片,像素级滤光片下方设置有集束体,集束体下方设置有光电接收管,光电接收管下方设置有PCB驱控电路。本发明赋予了传感器自身的计算能力,实现了感知信号在传感器硬件上的解算能力,避免了非必要感知数据的传输延时以及模数转换延时,并且随着有效数据量的降低,有效的降低了传感器对后端数据处理硬件算力的要求,感算一体仿生复眼传感器响应频率高,视场大,具备感知与计算能力,这进一步提升了事件类相机的智能化程度。

Description

一种感算一体仿生复眼传感器及构建方法
技术领域
本发明涉及相机成像技术领域,具体而言,涉及一种感算一体仿生复眼传感器及构建方法。
背景技术
现有的仿生复眼技术是模仿昆虫的复眼成像机理展开的,除了大视野成像仿生外,单眼成像借鉴了事件相机成像的机理,因此也具备了事件相机的成像特点,事件相机是一种新型的成像传感器,但从生物成像机理来分析,现有的事件相机成像的数据处理过程依旧借鉴了传统相机数据处理过程,即依旧是先采集模拟量的光强数据,然后将获得的数据传输到模数转化器件进行转换,之后在控制器上进行数据的进一步处理。在获取的图像有缺陷时(如未完全对焦导致的成像模糊),只能通过在控制器上做数字量的处理,如边缘锐化,降噪等,或者通过控制镜头进一步修正焦点实现清晰图像的获取。这一过程用时长且占用处理器的算力,限制了传感器在高集成度、智能化设备上的应用,现有的事件相机存在视场小以及不具备感知与计算能力。
发明内容
为了解决上述问题,本发明的目的提出了一种感算一体仿生复眼传感器及构建方法,解决了现有的事件相机存在视场小以及不具备感知与计算能力的技术问题。
为了实现上述技术目的,本发明提供了一种感算一体仿生复眼传感器,包括:PCB驱控电路、光电接收管、集束体、像素级滤光片、光传播媒介、遮光罩;
所述遮光罩设置在所述光传播媒介上方,所述光传播媒介下方设置有所述像素级滤光片,所述像素级滤光片下方设置有所述集束体,所述集束体下方设置有所述光电接收管,所述光电接收管下方设置有所述PCB驱控电路。
优选地,所述遮光罩呈深色半球。
优选地,所述遮光罩上布满异形孔。
优选地,所述光传播媒介为与遮光罩上的所述异形孔配合的异形柱,若干个异形柱与所述遮光罩上的所述异形孔位置相对应,所述异形孔和所述异形柱形状和尺寸完全相同。
优选地,所述光传播媒介接近所述遮光罩的半球曲面的一端呈现半球状凸起,所述光传播媒介接近所述像素级滤光片的一端为平面。
优选地,所述像素级滤光片为像素级灰度可调的器件。
一种感算一体仿生复眼传感器的构建方法,应用于所述的感算一体仿生复眼传感器,包括:
外界的光线通过所述遮光罩进入所述光传播媒介,所述光传播媒介将外界的光向所述像素级滤光片传播,经过所述像素级滤光片进行滤光后进入所述集束体,所述集束体将若干个所述异形柱的入射光合成一束光线向下传输,所述光电接收管采集所述集束体传输过来的光信号,所述PCB驱控电路采集所述光电接收管上接收到的光信号。
优选地,所述像素级滤光片共0-255个色阶,所述像素级滤光片的色阶数值为0时,所述像素级滤光片为黑色,此时所述像素级滤光片完全阻挡所述光传播媒介传输过来的光线;
所述像素级滤光片的色阶数值为255时,所述像素级滤光片为完全透明,所述像素级滤光片使得所述传播媒介传输过来的光线全部通过;
所述像素级滤光片的色阶数值取中间数值时,所述像素级滤光片使得所述传播媒介传输过来的光线选择性通过。
与现有技术相比,本发明的有益效果为:
相比于传统的相机成像,感算一体仿生复眼传感器具备了事件相机高动态、低功耗成像的优势,同时具备了传统相机不具备的大视野成像的能力,相比于现有的事件相机成像,感算一体仿生复眼传感器赋予了传感器自身的计算能力,即实现了感知信号在传感器硬件上的解算能力,避免了非必要感知数据的传输延时以及模数转换延时,并且随着有效数据量的降低,有效的降低了传感器对后端数据处理硬件算力的要求,感算一体仿生复眼传感器响应频率高,视场大,具备感知与计算能力,这进一步降低了事件相机情形下的延时时间,同时硬件算力需求的下降,进一步提升了事件类相机的智能化程度,为传感器实际场景的推广应用和进一步降低制造成本奠定了良好的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所述的感算一体仿生复眼传感器的爆炸图;
图2为本发明所述的感算一体仿生复眼传感器结构的正视图;
图3为本发明所述的感算一体仿生复眼传感器结构的俯视图;
图4为本发明所述的光传播媒介结构的正视图;
图5为本发明所述的光传播媒介结构的俯视图;
图6为本发明所述的集束体结构的正视图;
图7为本发明所述的集束体结构的俯视图;
图8为本发明所述的光电接收二极管分布示意图。
图中:1.PCB驱控电路;2.光电接收管;3.集束体;4.像素级滤光片;5.光传播媒介;6.遮光罩。
具体实施方式
下为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提出了一种感算一体仿生复眼传感器,包括:PCB驱控电路1、光电接收管2、集束体3、像素级滤光片4、光传播媒介5、遮光罩6;
所述遮光罩6设置在所述光传播媒介5上方,所述光传播媒介5下方设置有所述像素级滤光片4,所述像素级滤光片4下方设置有所述集束体3,所述集束体3下方设置有所述光电接收管2,所述光电接收管2下方设置有所述PCB驱控电路1。
本发明中感算一体仿生复眼传感器结构如图1所示,其中PCB驱控电路1用于采集光电接收管2上接收到的光信号,同时提供电源、ADC(模数转换)信号处理、数据计算以及通讯能力,所述光传播媒介5可以为PDMS、PMMA、树脂、聚碳酸酯等;
进一步地,所述遮光罩6呈深色半球,所述遮光罩6上布满异形孔,通过采用深色的结构,将小孔与小孔间的入射光进行隔绝,避免光信号的串扰发生。
进一步地,所述光传播媒介为与遮光罩上的所述异形孔配合的异形柱,若干个异形柱与所述遮光罩上的所述异形孔位置相对应,所述异形孔和所述异形柱形状和尺寸完全相同,光传播媒介5的主要作用是将外界的光尽可能无损耗的向像素级滤光片4传播,其大小正好适配遮光罩6中的异形孔的形状和尺寸;
所述光传播媒介5接近所述遮光罩6的半球曲面的一端呈现半球状凸起,用于接受不同方向上入射的光,所述光传播媒介5接近所述像素级滤光片4的一端为平面,便于与像素级滤光片4做接触连接。
进一步地,所述像素级滤光片4为像素级灰度可调的器件。
一种感算一体仿生复眼传感器的构建方法,应用于所述的感算一体仿生复眼传感器,包括:外界的光线通过所述遮光罩6进入所述光传播媒介5,所述光传播媒介5将外界的光向所述像素级滤光片4传播,经过所述像素级滤光片4进行滤光后进入所述集束体3,所述集束体3将若干个所述异形柱的入射光合成一束光线向下传输,具体的数量根据实际的使用场景可进行设计,所述光电接收管2采集所述集束体3传输过来的光信号,所述PCB驱控电路1采集所述光电接收管2上接收到的光信号。
进一步地,所述像素级滤光片4共0-255个色阶,所述像素级滤光片4的色阶数值为0时,所述像素级滤光片4为黑色,此时所述像素级滤光片4完全阻挡所述光传播媒介5传输过来的光线;
所述像素级滤光片4的色阶数值为255时,所述像素级滤光片4为完全透明,所述像素级滤光片4使得所述传播媒介传输过来的光线全部通过;
所述像素级滤光片4的色阶数值取中间数值时,所述像素级滤光片4使得所述传播媒介传输过来的光线选择性通过。
集束体3用于模拟生物中一个单眼上存在的多个感光束的结构,用于实现高速变化光场景下的自适应成像研究,同时多对一的光传播形式使仿生复眼传感器在硬件上具备了光强(模拟量)的计算能力,即强调模拟量的硬件计算能力,同时这一结构也模拟了昆虫复眼中感光单元具有不应期特点,但同时具备高动态变化光强场景的感知能力,即通过集束体3上一个光通道到光电接收管2上收到的实际光强,是光传播媒介5上多个光通道上光的叠加,通过控制像素级滤光片4上对应像素的光通过量,即可控制光强(模拟量)在集束体3上的叠加和,以此实现硬件层面上对模拟量的计算能力,经过集束体3后的光对应的被光电接收管2采集到光强的大小,用于最终的成像。
相比于传统的相机成像,感算一体仿生复眼传感器具备了事件相机高动态、低功耗成像的优势,同时具备了传统相机不具备的大视野成像的能力,相比于现有的事件相机成像,感算一体仿生复眼传感器赋予了传感器自身的计算能力,即实现了感知信号在传感器硬件上的解算能力,避免了非必要感知数据的传输延时以及模数转换延时,并且随着有效数据量的降低,有效的降低了传感器对后端数据处理硬件算力的要求,感算一体仿生复眼传感器响应频率高,视场大,具备感知与计算能力,这进一步降低了事件相机情形下的延时时间,同时硬件算力需求的下降,为传感器实际场景的推广应用和进一步降低制造成本奠定了良好的基础。
事件相机成像已经可以应对光强的强变化的场景,比如从暗光环境到强光环境或者从强光环境到暗光的环境,但是在骤变光的场景下,事件相机依旧存在些许的不足,例如:将事件相机安装在高速运动的汽车上,当汽车由光强相对暗淡的隧道快速的驶入光强较强的隧道外环境时,由于大面积的传感器接收到光强变强的信号,会出现类似传统相机短时间内过曝光的情况(即传感器采集到的信号都是达到最大额阈值,丢失真实环境中的重要信息,例如,周边车辆、马路等)。感算一体仿生复眼传感器的应用将有效的解决这些问题,由于光电接收管2上最终检测到的光强信息是由多个光传播媒介5感光强度信号做和计算后得到的,因此,通过仿照生物的随机采样机制,可以通过控制像素级滤光片4实现光传播媒介5的随机选择性通过,即正常的工作状态下,一个光电接收器上所对应的光传播媒介5并非都是导通的(由像素级滤光片4进行控制),这样在遇到上述暗光变强光的情况时,像素级滤光片4可以通过增加或者减少实际参与成像光传播媒介5的数量,实现光电接收管2上光强信号的调整,避免环境光出现骤变情况下短时间内信号丢失的情况。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种感算一体仿生复眼传感器,其特征在于,包括:PCB驱控电路、光电接收管、集束体、像素级滤光片、光传播媒介、遮光罩;
所述遮光罩设置在所述光传播媒介上方,所述光传播媒介下方设置有所述像素级滤光片,所述像素级滤光片下方设置有所述集束体,所述集束体下方设置有所述光电接收管,所述光电接收管下方设置有所述PCB驱控电路;
通过控制所述像素级滤光片上对应像素的光通过量,可控制光强在集束体上的叠加和,实现硬件层面上对模拟量的计算能力;
所述像素级滤光片为像素级灰度可调的器件。
2.根据权利要求1所述的感算一体仿生复眼传感器,其特征在于,所述遮光罩呈深色半球。
3.根据权利要求2所述的感算一体仿生复眼传感器,其特征在于,所述遮光罩上布满异形孔。
4.根据权利要求3所述的感算一体仿生复眼传感器,其特征在于,所述光传播媒介为与遮光罩上的所述异形孔配合的异形柱,若干个异形柱与所述遮光罩上的所述异形孔位置相对应,所述异形孔和所述异形柱形状和尺寸完全相同。
5.根据权利要求4所述的感算一体仿生复眼传感器,其特征在于,所述光传播媒介接近所述遮光罩的半球曲面的一端呈现半球状凸起,所述光传播媒介接近所述像素级滤光片的一端为平面。
6.一种感算一体仿生复眼传感器的构建方法,应用于权利要求1~5任一项所述的感算一体仿生复眼传感器,其特征在于,包括:
外界的光线通过所述遮光罩进入所述光传播媒介,所述光传播媒介将外界的光向所述像素级滤光片传播,经过所述像素级滤光片进行滤光后进入所述集束体,所述集束体将若干个异形柱的入射光合成一束光线向下传输,所述光电接收管采集所述集束体传输过来的光信号,所述PCB驱控电路采集所述光电接收管上接收到的光信号。
7.根据权利要求6所述的感算一体仿生复眼传感器的构建方法,其特征在于,所述像素级滤光片共0-255个色阶,所述像素级滤光片的色阶数值为0时,所述像素级滤光片为黑色,此时所述像素级滤光片完全阻挡所述光传播媒介传输过来的光线;
所述像素级滤光片的色阶数值为255时,所述像素级滤光片为完全透明,所述像素级滤光片使得所述传播媒介传输过来的光线全部通过;
所述像素级滤光片的色阶数值取中间数值时,所述像素级滤光片使得所述传播媒介传输过来的光线选择性通过。
CN202310663076.1A 2023-06-06 2023-06-06 一种感算一体仿生复眼传感器及构建方法 Active CN116698189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310663076.1A CN116698189B (zh) 2023-06-06 2023-06-06 一种感算一体仿生复眼传感器及构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310663076.1A CN116698189B (zh) 2023-06-06 2023-06-06 一种感算一体仿生复眼传感器及构建方法

Publications (2)

Publication Number Publication Date
CN116698189A CN116698189A (zh) 2023-09-05
CN116698189B true CN116698189B (zh) 2024-03-29

Family

ID=87840444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310663076.1A Active CN116698189B (zh) 2023-06-06 2023-06-06 一种感算一体仿生复眼传感器及构建方法

Country Status (1)

Country Link
CN (1) CN116698189B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994075B (zh) * 2023-09-27 2023-12-15 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法
CN116990963B (zh) * 2023-09-28 2023-12-26 安徽大学 一种复眼事件相机的设计方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171430A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
CN106813777A (zh) * 2016-12-29 2017-06-09 中国科学院西安光学精密机械研究所 基于相邻孔径交叉传递的极大视场复眼多光谱相机
JPWO2016031922A1 (ja) * 2014-08-28 2017-06-15 平本 政夫 マルチスペクトルカメラ
CN110595624A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型四孔径视场部分重叠仿生热成像系统
CN211786240U (zh) * 2020-02-25 2020-10-27 北京理工大学 仿生复眼成像装置
CN114993472A (zh) * 2022-06-01 2022-09-02 中国科学技术大学 一种基于神经重叠复眼的仿生多光谱偏振单像素成像装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906718B2 (en) * 2014-04-30 2018-02-27 Luminit Llc Biomimetic integrated optical sensor (BIOS) system
CN112866512B (zh) * 2019-11-26 2022-03-22 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171430A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JPWO2016031922A1 (ja) * 2014-08-28 2017-06-15 平本 政夫 マルチスペクトルカメラ
CN106813777A (zh) * 2016-12-29 2017-06-09 中国科学院西安光学精密机械研究所 基于相邻孔径交叉传递的极大视场复眼多光谱相机
CN110595624A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型四孔径视场部分重叠仿生热成像系统
CN211786240U (zh) * 2020-02-25 2020-10-27 北京理工大学 仿生复眼成像装置
CN114993472A (zh) * 2022-06-01 2022-09-02 中国科学技术大学 一种基于神经重叠复眼的仿生多光谱偏振单像素成像装置及方法

Also Published As

Publication number Publication date
CN116698189A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN116698189B (zh) 一种感算一体仿生复眼传感器及构建方法
DE102007015495B4 (de) Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts
US10193627B1 (en) Detection of visible light communication sources over a high dynamic range
CN109636754A (zh) 基于生成对抗网络的极低照度图像增强方法
CN107395279A (zh) 一种基于可见光通信的单目定位方法及其系统
WO1999033684A3 (en) Vehicle vision system
CN102428700A (zh) 监视装置
CN103901585A (zh) 用于动态后视镜的摄像机硬件设计
CN101635782B (zh) 一种基于动态时间延迟积分的图像获取方法及器件
EP0775414A1 (en) Apparatus and method for converting an optical image of an object into a digital representation
CN101937505B (zh) 一种目标检测方法和设备及其使用的图像采集装置
CN109697422B (zh) 光学动作捕捉方法及光学动作捕捉相机
CN107016343A (zh) 一种基于贝尔格式图像的红绿灯快速识别方法
AU6255799A (en) Imaging system having multiple image capture modes
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN109495694B (zh) 一种基于rgb-d的环境感知方法及装置
CN201440274U (zh) 一种目标检测设备及其使用的图像采集装置
CN202121711U (zh) 基于机器视觉的透雾监视系统
Fischer et al. Detection of Lens Candidates for the Double QSO Q2345+ 007
KR20190100833A (ko) Hdr 이미지 생성 장치
CN210120610U (zh) 一种成像信息处理系统
CN110049256A (zh) 一种局部自适应成像系统以及局部自适应成像控制方法
CN214851536U (zh) 一种成像装置
JPH0622207A (ja) 撮像装置
CN113099145A (zh) 一种成像装置及其设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant