CN107426466A - 一种tdiccd成像系统非均匀噪声快速校正装置及校正方法 - Google Patents

一种tdiccd成像系统非均匀噪声快速校正装置及校正方法 Download PDF

Info

Publication number
CN107426466A
CN107426466A CN201710610195.5A CN201710610195A CN107426466A CN 107426466 A CN107426466 A CN 107426466A CN 201710610195 A CN201710610195 A CN 201710610195A CN 107426466 A CN107426466 A CN 107426466A
Authority
CN
China
Prior art keywords
interfaces
ccd imaging
imaging systems
tdi ccd
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710610195.5A
Other languages
English (en)
Other versions
CN107426466B (zh
Inventor
郑亮亮
金光
徐伟
曲宏松
张贵祥
吴勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710610195.5A priority Critical patent/CN107426466B/zh
Publication of CN107426466A publication Critical patent/CN107426466A/zh
Application granted granted Critical
Publication of CN107426466B publication Critical patent/CN107426466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种TDI CCD成像系统非均匀噪声快速校正装置及校正方法,属于遥感成像领域,解决了现有校正系统存在的成本高、效率低、耗时长的问题。该校正装置包括:TLK2711接收由TDI CCD成像系统输出的图像数据;FPGA缓存图像数据并计算其平均灰度响应值,利用实时自动归一化方法分析校正参数;校正参数通过1553B、RS422或CAN发送给TDI CCD成像系统,TDI CCD成像系统在当前校正参数状态下对均匀光信号再次拍照并输出图像数据通过TLK2711反馈至FPGA中,实现校正参数的闭环调整;显示终端接收由CAMERALINK输出的经校正后的图像数据。本发明成本低、效率高、省时省力。

Description

一种TDI CCD成像系统非均匀噪声快速校正装置及校正方法
技术领域
本发明属于遥感成像技术领域,涉及一种TDI CCD成像系统非均匀噪声快速校正装置及校正方法。
背景技术
TDI CCD传感器是一种具备时间延迟积分功能的光电耦合器件,具有灵敏度高、噪声低、动态范围大等特点,因而广泛的应用于航空侦察、空间探测等遥感领域。由于TDI CCD传感器的像元数较多,为使其具有高行频、高效率输出的工作能力,通常采用多个通道并行输出的方式。但由于CCD器件材料、生产工艺及输出放大器之间存在差异,从而导致各通道像元的光电响应会不一致,因此各通道输出的视频信号之间存在一定的非均匀性。这种响应非均匀性会严重影响图像的成像质量与显示效果,使TDI CCD成像系统无法满足使用要求,因此必须对TDI CCD成像系统进行非均匀性校正。
目前,常用的TDI CCD非均匀校正系统是基于辐射定标原理设计并开展的,即将TDI CCD成像系统的图像数据进行全部采集与显示,然后由试验人员根据每通道像元响应的灰度值,基于某些校正算法进行成像参数的调整,从而实现TDI CCD成像系统的非均匀校正。由于上述这种校正系统需要多台图像采集设备,将全部的图像数据显示出来,因此整个校正系统的研发经费较高,并且在校正过程中需要有人工参与,因此这种校正系统的效率较低、耗时长。尤其是当TDI CCD成像系统的通道数较多时,无法实现非均匀噪声的快速校正。
因此,为满足TDI CCD成像系统非均匀噪声的快速校正需求,须研究出一种能够实现TDI CCD成像系统非均匀噪声快速校正的装置及方法,在保证高效率、良好校正效果的同时,能有效降低研发经费。
发明内容
为了解决现有TDI CCD非均匀校正系统存在的成本高、效率低、耗时长的问题,本发明提供一种TDI CCD成像系统非均匀噪声快速校正装置及校正方法。
本发明为解决技术问题所采用的技术方案如下:
本发明的一种TDI CCD成像系统非均匀噪声快速校正装置,包括:
TDI CCD成像系统,对均匀光信号进行拍照并输出图像数据;
TLK2711接口,接收由TDI CCD成像系统输出的图像数据;
FPGA逻辑器件,接收由TLK2711接口输出的图像数据,对图像数据进行缓存并计算图像数据的平均灰度响应值,利用归一化方法分析校正参数;
与FPGA逻辑器件相连的1553B接口、RS422接口和CAN接口,所述校正参数通过1553B接口、RS422接口或CAN接口发送给TDI CCD成像系统,所述TDI CCD成像系统在当前校正参数状态下对均匀光信号再次进行拍照并输出图像数据,此图像数据通过TLK2711接口反馈至FPGA逻辑器件中,实现校正参数的闭环调整;
与FPGA逻辑器件相连的CAMERALINK接口,通过CAMERALINK接口输出校正后的图像数据;
显示终端,接收由CAMERALINK接口输出的经校正后的图像数据。
本发明还提供了一种TDI CCD成像系统非均匀噪声快速校正方法,该方法是采用上述的校正装置实现的,其包括以下步骤:
通过FPGA逻辑器件缓存TDI CCD成像系统输出的图像数据;设FPGA逻辑器件缓存m行图像数据,TDI CCD成像系统共有n个通道,则每个通道对应有一个平均灰度响应值,即通过比较选出最大的平均灰度响应值计算每个通道所对应的增益调整参数其中x=1,2,…,n,将增益调整参数kx通过CAN接口、RS422接口或1553B接口输出至TDI CCD成像系统,完成增益调整参数的设置;在当前增益调整参数状态下通过TDI CCD成像系统对均匀光信号进行拍照,所输出的图像数据通过TLK2711接口反馈至FPGA逻辑器件中,实现自动闭环校正;设m行图像数据的平均值与方差分别为和σ,其中Pi表示第i个像元的灰度值,N表示总像元数,则校正误差设校正误差控制门限为ε0,判断:若ε≤ε0,则停止自动校正,若ε>ε0,则继续调整增益调整参数,直到校正误差满足设定要求为止。
本发明的有益效果是:
1、为使校正装置具有更广的适应性,装置中同时集成了三种通信接口,即CAN接口、RS422接口和1553B接口。
2、由于该校正装置直接利用高速逻辑处理器件分析图像数据,避免了使用多台图像采集设备,因此可以有效节约研发成本。
3、本发明的校正方法基于图像数据形成闭环校正链路,利用一片集成处理核的FPGA逻辑器件实时接收与处理图像数据,采用实时自动归一化方法获取校正参数,并通过不同的通信接口输出校正参数,实现对非均匀噪声的快速校正,具有效率高、速度快、均匀性好等优点,并具有CAMERALINK接口,可实时输出校正后的图像数据。
4、为实现多通道TDI CCD成像系统响应非均匀性的快速校正,本发明的校正方法在校正参数调整的过程中减少了试验人员的参与,在保证校正效果的同时,提高了工作效率,利用高速FPGA逻辑器件实时分析TDI CCD成像系统的图像数据,输出不同通道的校正参数,从而实现基于图像数据的自动闭环校正,获得响应均匀的图像数据。
附图说明
图1为本发明的一种TDI CCD成像系统非均匀噪声快速校正装置的结构框图。
图2为本发明的一种TDI CCD成像系统非均匀噪声快速校正方法的流程图。
具体实施方式
以下结合附图对本发明做进一步详细说明。
如图1所示,本发明的一种TDI CCD成像系统非均匀噪声快速校正装置,主要是由FPGA逻辑器件、TLK2711接口、1553B接口、RS422接口、CAN接口、CAMERALINK接口、显示终端组成。显示终端与CAMERALINK接口相连,CAMERALINK接口与FPGA逻辑器件相连,TLK2711接口、1553B接口、RS422接口、CAN接口均与FPGA逻辑器件相连,同时TLK2711接口、1553B接口、RS422接口、CAN接口均与TDI CCD成像系统相连。
均匀光信号照射TDI CCD成像系统的焦平面,TDI CCD成像系统对均匀光信号进行拍照,输出的图像数据由TLK2711接口接收,并通过TLK2711接口输入至FPGA逻辑器件中,该FPGA逻辑器件将缓存所接收的图像数据,利用FPGA逻辑器件所集成的处理核计算图像数据的平均灰度响应值,并利用归一化方法分析校正参数,再由1553B接口、RS422接口或CAN接口将输出的校正参数发送给TDI CCD成像系统,TDI CCD成像系统在当前校正参数状态下对均匀光信号再次进行拍照,所输出的图像数据通过TLK2711接口反馈至FPGA逻辑器件中,实现校正参数的闭环调整,同时可利用CAMERALINK接口输出校正后的图像数据,该校正后的图像数据由显示终端接收,通过显示终端可以观察非均匀校正的图像效果。
本发明利用一片集成处理核的FPGA逻辑器件实现多通道校正参数的实时计算,利用CAN接口、RS422接口、1553B接口作为TDI CCD成像系统的通用控制接口,扩展了装置的适用范围。
本实施方式中,1553B接口、RS422接口、CAN接口这三个接口可以进行选择性使用,集成了三个通信接口,可以使本发明的校正装置具有更广的适应性。
本实施方式中,TLK2711接口主要由高速低电压差分信号(LVDS)收发器TLK2711器件设计实现。
本实施方式中,1553B接口、RS422接口与CAN接口均采用相应的专用接口芯片设计。具体的是:1553B接口采用BU-61580芯片设计实现,RS422接口采用DS26LV31芯片与DS26LV32芯片设计实现,CAN接口采用82C250芯片设计实现。
本实施方式中,CAMERALINK接口由3片高速LVDS串行化器件DS90CR287设计组成,构成FULL模式的高速相机数据接口。
本发明还提供了一种利用上述校正装置实现的一种TDI CCD成像系统非均匀噪声快速校正方法,其具体工作流程如图2所示。均匀光信号照射TDI CCD成像系统的焦平面,TDI CCD成像系统对均匀光信号进行拍照,输出的图像数据由TLK2711接口接收,并通过TLK2711接口输入至FPGA逻辑器件中,该FPGA逻辑器件将缓存所接收的图像数据,利用FPGA逻辑器件所集成的处理核计算图像数据的平均灰度响应值,并利用归一化方法分析校正参数,具体的是:FPGA逻辑器件缓存m行图像数据,设TDI CCD成像系统共有n个通道,即通道OS1~OSn,则可分别获得n个通道所对应的平均灰度响应值,即每个通道对应有一个平均灰度响应值,然后比较这n个平均灰度响应值,找出最大的平均灰度响应值,即则可获得每个通道所对应的增益调整参数kx其中x=1,2,…,n,将这n个增益调整参数kx通过相应的通信接口(CAN接口、RS422接口或1553B接口)输出至TDI CCD成像系统,完成增益调整参数的设置;TDI CCD成像系统在当前增益调整参数状态下对均匀光信号再次进行拍照,所输出的图像数据通过TLK2711接口反馈至FPGA逻辑器件中,从而实现基于图像数据的自动闭环校正,这就是实时自动归一化校正方法。设m行图像数据的平均值与方差分别为和σ,则校正误差其中m行图像数据的平均值方差Pi表示第i个像元的灰度值,N则表示总的像元数量,设校正误差控制门限为ε0,其为输入参数,判断ε与ε0的大小,如果ε≤ε0,则说明校正误差满足设定要求,停止自动校正过程,反之,则继续调整增益调整参数,直到校正误差满足设定要求。
在校正装置中设置了CAMERALINK接口,可以利用CAMERALINK接口输出校正后的图像数据,该校正后的图像数据由显示终端接收,通过显示终端可以观察非均匀校正的图像效果。利用CAMERALINK接口能够实时观看TDI CCD成像系统的校正过程与最终的校正结果,便于直观了解校正装置的工作状态,因此该装置是一种高效的、快速的、并具有良好交互接口的非均匀校正装置。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种TDI CCD成像系统非均匀噪声快速校正装置,其特征在于,包括:
TDI CCD成像系统,对均匀光信号进行拍照并输出图像数据;
TLK2711接口,接收由TDI CCD成像系统输出的图像数据;
FPGA逻辑器件,接收由TLK2711接口输出的图像数据,对图像数据进行缓存并计算图像数据的平均灰度响应值,利用归一化方法分析校正参数;
与FPGA逻辑器件相连的1553B接口、RS422接口和CAN接口,所述校正参数通过1553B接口、RS422接口或CAN接口发送给TDI CCD成像系统,所述TDI CCD成像系统在当前校正参数状态下对均匀光信号再次进行拍照并输出图像数据,此图像数据通过TLK2711接口反馈至FPGA逻辑器件中,实现校正参数的闭环调整;
与FPGA逻辑器件相连的CAMERALINK接口,通过CAMERALINK接口输出校正后的图像数据;
显示终端,接收由CAMERALINK接口输出的经校正后的图像数据。
2.采用权利要求1所述的校正装置实现的一种TDI CCD成像系统非均匀噪声快速校正方法,其特征在于,包括以下步骤:
通过FPGA逻辑器件缓存TDI CCD成像系统输出的图像数据;设FPGA逻辑器件缓存m行图像数据,TDI CCD成像系统共有n个通道,则每个通道对应有一个平均灰度响应值,即通过比较选出最大的平均灰度响应值计算每个通道所对应的增益调整参数其中x=1,2,…,n,将增益调整参数kx通过CAN接口、RS422接口或1553B接口输出至TDI CCD成像系统,完成增益调整参数的设置;在当前增益调整参数状态下通过TDI CCD成像系统对均匀光信号进行拍照,所输出的图像数据通过TLK2711接口反馈至FPGA逻辑器件中,实现自动闭环校正;设m行图像数据的平均值与方差分别为和σ,其中Pi表示第i个像元的灰度值,N表示总像元数,则校正误差设校正误差控制门限为ε0,判断:若ε≤ε0,则停止自动校正,若ε>ε0,则继续调整增益调整参数,直到校正误差满足设定要求为止。
CN201710610195.5A 2017-07-25 2017-07-25 一种tdi ccd成像系统非均匀噪声快速校正装置及校正方法 Active CN107426466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710610195.5A CN107426466B (zh) 2017-07-25 2017-07-25 一种tdi ccd成像系统非均匀噪声快速校正装置及校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710610195.5A CN107426466B (zh) 2017-07-25 2017-07-25 一种tdi ccd成像系统非均匀噪声快速校正装置及校正方法

Publications (2)

Publication Number Publication Date
CN107426466A true CN107426466A (zh) 2017-12-01
CN107426466B CN107426466B (zh) 2019-09-06

Family

ID=60430249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710610195.5A Active CN107426466B (zh) 2017-07-25 2017-07-25 一种tdi ccd成像系统非均匀噪声快速校正装置及校正方法

Country Status (1)

Country Link
CN (1) CN107426466B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596852A (zh) * 2018-04-28 2018-09-28 中国科学院长春光学精密机械与物理研究所 面阵相机大姿态角成像镜像几何畸变的物像映射还原方法
CN109166551A (zh) * 2018-10-12 2019-01-08 中航华东光电有限公司 基于fpga的视频图像对比度适应性调节方法
CN109995965A (zh) * 2019-04-08 2019-07-09 复旦大学 一种基于fpga的超高分辨率视频图像实时校准方法
CN110855915A (zh) * 2019-11-29 2020-02-28 中国科学院长春光学精密机械与物理研究所 实现暗电流补偿的ccd相机响应非均匀性校正方法
CN111741243A (zh) * 2020-06-23 2020-10-02 中国科学院长春光学精密机械与物理研究所 一种tdicmos探测器的非均匀校正方法
CN112672142A (zh) * 2020-12-16 2021-04-16 长光卫星技术有限公司 一种反馈式图像质量补偿校正自动化判定系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101254110A (zh) * 2008-03-04 2008-09-03 西安交通大学 一种医用x射线ccd型数字摄像机
CN102385701A (zh) * 2011-10-14 2012-03-21 华中科技大学 扫描型红外成像系统的非均匀校正方法
JP2012130578A (ja) * 2010-12-22 2012-07-12 Olympus Corp 内視鏡装置
CN102662893A (zh) * 2012-03-22 2012-09-12 中国科学院长春光学精密机械与物理研究所 多功能总线数据转换系统
CN204046710U (zh) * 2014-09-11 2014-12-24 上海鉴谱光电科技有限公司 嵌入式线阵ccd暗噪声检测装置
CN105160657A (zh) * 2015-08-05 2015-12-16 西安电子科技大学 基于fpga的红外成像非均匀性校正系统
CN106373094A (zh) * 2016-08-25 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种红外图像的非均匀性校正方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101254110A (zh) * 2008-03-04 2008-09-03 西安交通大学 一种医用x射线ccd型数字摄像机
JP2012130578A (ja) * 2010-12-22 2012-07-12 Olympus Corp 内視鏡装置
CN102385701A (zh) * 2011-10-14 2012-03-21 华中科技大学 扫描型红外成像系统的非均匀校正方法
CN102662893A (zh) * 2012-03-22 2012-09-12 中国科学院长春光学精密机械与物理研究所 多功能总线数据转换系统
CN204046710U (zh) * 2014-09-11 2014-12-24 上海鉴谱光电科技有限公司 嵌入式线阵ccd暗噪声检测装置
CN105160657A (zh) * 2015-08-05 2015-12-16 西安电子科技大学 基于fpga的红外成像非均匀性校正系统
CN106373094A (zh) * 2016-08-25 2017-02-01 中国科学院长春光学精密机械与物理研究所 一种红外图像的非均匀性校正方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596852A (zh) * 2018-04-28 2018-09-28 中国科学院长春光学精密机械与物理研究所 面阵相机大姿态角成像镜像几何畸变的物像映射还原方法
CN108596852B (zh) * 2018-04-28 2021-10-22 中国科学院长春光学精密机械与物理研究所 面阵相机大姿态角成像镜像几何畸变的物像映射还原方法
CN109166551A (zh) * 2018-10-12 2019-01-08 中航华东光电有限公司 基于fpga的视频图像对比度适应性调节方法
CN109995965A (zh) * 2019-04-08 2019-07-09 复旦大学 一种基于fpga的超高分辨率视频图像实时校准方法
CN109995965B (zh) * 2019-04-08 2021-12-03 复旦大学 一种基于fpga的超高分辨率视频图像实时校准方法
CN110855915A (zh) * 2019-11-29 2020-02-28 中国科学院长春光学精密机械与物理研究所 实现暗电流补偿的ccd相机响应非均匀性校正方法
CN110855915B (zh) * 2019-11-29 2020-12-08 中国科学院长春光学精密机械与物理研究所 实现暗电流补偿的ccd相机响应非均匀性校正方法及装置
CN111741243A (zh) * 2020-06-23 2020-10-02 中国科学院长春光学精密机械与物理研究所 一种tdicmos探测器的非均匀校正方法
CN111741243B (zh) * 2020-06-23 2021-06-29 中国科学院长春光学精密机械与物理研究所 一种tdicmos探测器的非均匀校正方法
CN112672142A (zh) * 2020-12-16 2021-04-16 长光卫星技术有限公司 一种反馈式图像质量补偿校正自动化判定系统及方法
CN112672142B (zh) * 2020-12-16 2022-04-15 长光卫星技术股份有限公司 一种反馈式图像质量补偿校正自动化判定系统及方法

Also Published As

Publication number Publication date
CN107426466B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN107426466A (zh) 一种tdiccd成像系统非均匀噪声快速校正装置及校正方法
US9787911B2 (en) Systems and methods for photometric normalization in array cameras
CN106791470B (zh) 基于高动态范围摄像装置的曝光控制方法和装置
CN103888681A (zh) 一种自动曝光方法及装置
CN110686783B (zh) 一种InGaAs短波红外成像仪的盲元检测方法及图像处理方法
CN104917975A (zh) 一种基于目标特征的自适应自动曝光方法
CN103973941B (zh) 数码影像的动态对比度调整方法和系统
CN110782403A (zh) 一种红外图像非均匀性校正方法
CN108055471A (zh) 一种光圈校正方法及装置
CN107341780A (zh) 一种红外图像预处理校正方法
CN112651903A (zh) 红外热像仪图像预处理系统及其预处理方法
CN108174127A (zh) 面阵cmos在全局快门工作方式下的相对辐射校正方法
CN104113674B (zh) 基于fpga的线阵ccd成像系统的图像实时校正输出方法
CN104406697A (zh) 红外焦平面阵列校正方法
US20190253592A1 (en) Imaging device with white balance compensation and related systems and methods
CN104820970A (zh) 基于在轨分类统计的红外影像相对辐射矫正方法
CN105678744B (zh) 距离选通自主成像自适应mcp增益调节方法
CN106768349B (zh) 适应多通道双向输出的tdi扫描成像系统相对辐射定标方法
CN112098415B (zh) 一种杨梅品质无损检测方法
CN106709922A (zh) 基于图像的牧草覆盖度和生物量自动检测方法
CN108184080B (zh) 机器视觉用高速cmos线阵相机
CN111598815B (zh) 一种红外热像仪图像非均匀校正方法及装置
CN109872286B (zh) 一种基于fpga的低功耗多通道非均匀性图像校正方法及系统
CN108777786A (zh) 一种基于相机转移特性曲线的图像融合方法
CN203219431U (zh) 图像处理模组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant