CN112488975A - 一种非均匀阵列探测激光光斑图像的复原显示方法 - Google Patents

一种非均匀阵列探测激光光斑图像的复原显示方法 Download PDF

Info

Publication number
CN112488975A
CN112488975A CN202011453614.7A CN202011453614A CN112488975A CN 112488975 A CN112488975 A CN 112488975A CN 202011453614 A CN202011453614 A CN 202011453614A CN 112488975 A CN112488975 A CN 112488975A
Authority
CN
China
Prior art keywords
image
point
laser spot
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011453614.7A
Other languages
English (en)
Other versions
CN112488975B (zh
Inventor
富容国
周岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011453614.7A priority Critical patent/CN112488975B/zh
Publication of CN112488975A publication Critical patent/CN112488975A/zh
Application granted granted Critical
Publication of CN112488975B publication Critical patent/CN112488975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非均匀阵列探测激光光斑图像的复原显示方法,采用分层次插值的方法对非均匀像素的图像按照密度的差异分成三层区域,然后分别计算三层区域图像中图像各个方向的梯度值,再根据梯度值计算出扩散梯度值,接着采用Lanczos插值法求出高分辨率图像的梯度扩散值,之后根据扩散梯度值,判断是否为边缘点,如果该点是非边缘点,则采用Lanczos插值法,利用周围已知像素点插值出高分辨图像的未知点,如果该点是边缘点则利用下列公式,进行边缘融合插值算法,插出高分辨图像的未知像素点,最后将三个层次的图像合并成一幅图像。本发明降低了复原光斑的误差,对探测点的布放位置不敏感,从而更为准确地复原光斑图像。

Description

一种非均匀阵列探测激光光斑图像的复原显示方法
技术领域
本发明属于图像复原技术,具体为一种非均匀阵列探测激光光斑图像的复原显示方法。
背景技术
多光谱光电系统外场综合性能测试系统用于在野外的外场条件下对光电系统的光轴一致性、激光光斑能量分布、激光脉冲频率精度等进行测试。光斑照射在靶板上,被InGaAs探测器阵列接收。由于激光光强从中心开始逐渐递减,为了更好的节省资源,阵列探测法测量得到的是经过空间取样后的光斑强度时空分布的分立值,不可避免的丢失了部分远场光斑强度时空分布的信息。目前主流的光斑图像复原就是线性插值法(如邻域插值法,双线性插值法等)即根据现有的阵列位置所得到的光强值,通过线性插值法,来恢复出空间里的空白值,得到完整的光斑图像。
在传统的线性插值法中,所有的空白像素点的值都是由周围阵列的像素值在一样的规则下加权平均得到的。其中,空白点距离阵列越远的点权值越小,反之空白点距离阵列越近的点权值越大。在线性插值中,所有点都是通过权值计算来得到的,在这过程中,图像已经被做了一些平滑处理,导致边缘信息丢失,使图像变的模糊。
发明内容
本发明提出了一种非均匀阵列探测激光光斑图像的复原显示方法。
实现本发明的技术解决方案为:一种非均匀阵列探测激光光斑图像的复原显示方法,具体步骤为:
步骤1:对激光光斑图像的不同分布密度区域进行采样,得到三幅图像,包括以间隔3个像素点由外向内对激光光斑图像进行采样得到第一幅图像;以间隔1个像素点对除去最外层分布密度区域的激光光斑图像进行采样得到第二幅图像;以无间隔像素点对最内层分布密度区域的初始激光光斑图像进行采样得到第三幅图像;
步骤2:分别计算第一幅图像与第二幅图像的各个方向的梯度值;
步骤3:根据梯度值分别计算第一幅图像与第二幅图像的扩散梯度值;
步骤4:根据扩散梯度值,求出分辨率扩大后的第一幅图像和第二幅图像不同方向上的扩散梯度值;
步骤5:根据扩大分辨率后的图像的各点扩散梯度值确定各点是否为边缘点,如果该点是非边缘点,则采用Lanczos插值法,利用周围已知像素点插值出未知点,如果该点是边缘点则采用边缘融合插值算法,插出未知像素点,得到第一次插值后的第一幅图像和第二幅图像;
步骤6:对第一次插值后的第一幅图像重复执行一次步骤4、5;
步骤7:将第三幅图像替换掉插值后的第二幅图像中心对应区域得到第一合成图像,用第一合成图像替换步骤6得到的第一幅图像中心对应区域。
优选地,计算第一幅和第二幅图像各个方向的梯度值Uθ的具体公式为:
Uθ=f(i,j)*Kernel
式中,f(i,j)是图像在i,j像素点的像素值,Kernel是卷积核,“*”是卷积运算符。
优选地,计算4个方向的梯度值,分别为:θ=0°,θ=90°,θ=45°,θ=135°,
当θ=0°时,
Figure BDA0002832548700000021
当θ=90°,
Figure BDA0002832548700000022
当θ=45°,
Figure BDA0002832548700000023
当θ=135°,
Figure BDA0002832548700000024
优选地,第一幅和第二幅图像的各个方向的扩散梯度值uθ满足能量泛函模型:
E(uθ)=Ed(uθ)+λEs(uθ)
其中,λ是一个正则参数,uθ是θ方向的扩散梯度值,Ed(uθ)是数据保真项,形式为:
Figure BDA0002832548700000025
其中,Uθ是θ方向上的梯度值;
Es(uθ)是平滑项,表示为:
Figure BDA0002832548700000031
E(uθ)表示表示扩散后的能量值。
优选地,根据扩散梯度值,求出分辨率扩大后的第一幅图像和第二幅图像不同方向上的扩散梯度值的具体方法为:将步骤1中的第一幅图像、第二幅图像分辨率扩大两倍,将步骤3得到的扩散梯度值复制到扩大两倍后的图像的对应位置;对于扩大分辨率后的图像的空白处的扩散梯度值为采用Lanczos插值算法插值求得的值。
优选地,扩大分辨率后的图像的空白处的扩散梯度值的具体计算公式为:
Figure BDA0002832548700000032
式中,x,y是像素坐标点,a为参数,L(x)是x方向插值核函数,L(y)是y方向的插值核函数,si,j是已知像素点的扩散梯度值。
优选地,根据扩大分辨率后的图像的各点扩散梯度值确定各点是否为边缘点的具体方法为:
将对角线方向的每个像素点对应的扩散梯度值作差,若差值大于设定阈值,则该像素点为边缘像素点。
优选地,采用边缘融合插值算法,插出未知像素点的具体公式为:
I=ω(Ia+Ib)+(0.5-ω)(Ic+Id)
ω是可调参数,I表示的是待求像素的灰度值,Ia,Ib,Ic,Id表示已知的像素灰度值。
本发明与现有技术相比,其显著优点为:本发明利用边缘扩散得到的低分辨图像每个像素的性质,来精确的预测出高分辨图像每个像素的性质,使得插值后的图像更加精确,边缘信息更加完整;本发明降低了复原光斑的误差,对探测点的布放位置不敏感,从而更为准确地复原光斑图像。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明一种非均匀阵列探测激光光斑图像的复原显示方法的流程图。
图2为探测器阵列图像。
图3为探测器阵列获取的图像
图4为传统的线性插值的复原图像。
图5为本发明步骤8插值的复原图像。
具体实施方式
如图3所示,一种非均匀阵列探测激光光斑图像的复原显示方法,具体步骤为:
步骤1:对探测器探测的非均匀像素图像的不同分布密度区域采样得到三幅图像;
以间隔3个像素点由外向内对整幅初始激光光斑图像进行采样得到第一幅需要4倍插值放大的19×19分辨率大小的低分辨率图像;
以间隔为1个像素点对除去最外层的初始激光光斑图像进行采样得到第二幅需要2倍插值放大的21×21分辨率大小的低分辨率图像;
以无间隔像素点对最内层的初始激光光斑图像进行采样,得到第三幅无需要插值放大的21×21分辨率大小的图像。
将图3中激光光斑图像与图2中探测器排布对应位置的像素点称为已知像素点,将整个非均匀像素光斑图像根据已知像素点的分布密度差异分成三层区域,由内而外分别称为最内层,中间层和最外层,每一层的已知像素点间隔都相同,其中最内层是已知像素点密度最大的区域,该区域共有441个已知像素点大小,中间层是已知像素点与已知像素点之间间隔1个像素点的区域,该区域内共有320个已知像素点,最外层是已知像素点与已知像素点之间间隔3个像素点的区域,该区域共有240个已知像素点;
步骤2:分别计算第一幅图像与第二幅图像的各个方向的梯度值。
进一步的实施例中,计算第一幅和第二幅图像各个方向的梯度值Uθ,考虑低分辨图像在θ方向上的梯度,图像的梯度通过下面离散卷积求解:
Uθ=f(i,j)*Kernel
式中,f(i,j)是图像在i,j像素点的像素值,Kernel是卷积核,“*”是卷积运算符,对于数字图像而言,卷积的方向也是离散的,因此计算4个边缘方向,即θ=0°,θ=90°,θ=45°,θ=135°;
当θ=0°时,
Figure BDA0002832548700000051
当θ=90°,
Figure BDA0002832548700000052
当θ=45°,
Figure BDA0002832548700000053
当θ=135°,
Figure BDA0002832548700000054
步骤3:根据梯度值计算扩散梯度值。
进一步的实施例中,计算第一幅和第二幅图像的各个方向的扩散梯度值uθ,
满足以下的能量泛函模型:
E(uθ)=Ed(uθ)+λEs(uθ)
其中,λ是一个正则参数,默认值为0.2。uθ是θ方向的扩散梯度值,Ed(uθ)是数据保真项,目的是使扩散后的边缘保持原有的特性,形式为:
Figure BDA0002832548700000055
其中,Uθ是θ方向上的梯度值,Es(uθ)是平滑项,用来促进边缘的扩散,抑制非边缘的扩散,表示为:
Figure BDA0002832548700000056
E(uθ)表示表示扩散后的能量值。
步骤4:根据扩散梯度值,求出分辨率扩大后的第一幅图像和第二幅图像不同方向上的扩散梯度值。
进一步的实施例中,将步骤1中的第一幅图像、第二幅图像分辨率扩大两倍,将第一幅图像、第二幅图像的扩散梯度值复制到扩大两倍后的图像的对应的位置,对于扩大分辨率后的图像的空白处的扩散梯度值,根据步骤3求出的已知的扩散梯度值,采用下列Lanczos插值算法插值求出。
Figure BDA0002832548700000057
其中,L(x)是插值核函数,a为参数,一般取3和2。
推广到二维图像插值时核函数为:
L(x,y)=L(x)·L(y)
其中,L(x,y)是二维插值核函数,L(x)是x方向插值核函数,L(y)是y方向的插值核函数。
待插值点的扩散梯度值由下式计算得到:
Figure BDA0002832548700000061
式中S(x,y)为待插值点的扩散梯度值,
Figure BDA0002832548700000062
为向下取整运算符。
步骤5:根据扩大分辨率后的图像的各点扩散梯度值确定各点是否为边缘点。
确定方法具体为:
将扩大分辨率后的图像4个方向的扩散梯度值信息,分为两组,θ=0°和θ=90°为一组,θ=45°和θ=135°为另外一组。
关于θ=0°方向和θ=90°方向上每个像素,若存在|u-u90°|≥T,则该像素为边缘像素点,否则该点位非边缘像素点。若u-u90°>T,则边缘方向是90°方向,反之为0°。u,u90°分别是水平、竖直方向上的扩散梯度值。
同理,θ=45°和θ=135°这一组同样方法可以确定边缘点和边缘方向。
如果该点是非边缘点,则采用Lanczos插值法,利用周围已知像素点插值出高分辨图像的未知点,如果该点是边缘点则利用下列公式,进行边缘融合插值算法,插出未知像素点:
I=ω(Ia+Ib)+(0.5-ω)(Ic+Id)
ω是可调参数,I表示的是待求像素的灰度值,Ia,Ib,Ic,Id表示已知的像素灰度值。
步骤6:对插值后的第一幅图像重复执行一次步骤4、5;
步骤7:将第三幅图像替换掉插值后的第二幅图像中心21×21区域,用扩大后的第二幅图像替换掉扩大后的第一幅图像中心的41×41区域,得到一幅均匀的插值后的图像。

Claims (8)

1.一种非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,具体步骤为:
步骤1:对激光光斑图像的不同分布密度区域进行采样,得到三幅图像,包括以间隔3个像素点由外向内对激光光斑图像进行采样得到第一幅图像;以间隔1个像素点对除去最外层分布密度区域的激光光斑图像进行采样得到第二幅图像;以无间隔像素点对最内层分布密度区域的初始激光光斑图像进行采样得到第三幅图像;
步骤2:分别计算第一幅图像与第二幅图像的各个方向的梯度值;
步骤3:根据梯度值分别计算第一幅图像与第二幅图像的扩散梯度值;
步骤4:根据扩散梯度值,求出分辨率扩大后的第一幅图像和第二幅图像不同方向上的扩散梯度值;
步骤5:根据扩大分辨率后的图像的各点扩散梯度值确定各点是否为边缘点,如果该点是非边缘点,则采用Lanczos插值法,利用周围已知像素点插值出未知点,如果该点是边缘点则采用边缘融合插值算法,插出未知像素点,得到第一次插值后的第一幅图像和第二幅图像;
步骤6:对第一次插值后的第一幅图像重复执行一次步骤4、5;
步骤7:将第三幅图像替换掉插值后的第二幅图像中心对应区域得到第一合成图像,用第一合成图像替换步骤6得到的第一幅图像中心对应区域。
2.根据权利要求1所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,计算第一幅和第二幅图像各个方向的梯度值Uθ的具体公式为:
Uθ=f(i,j)*Kernel
式中,f(i,j)是图像在i,j像素点的像素值,Kernel是卷积核,“*”是卷积运算符。
3.根据权利要求2所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,计算4个方向的梯度值,分别为:θ=0°,θ=90°,θ=45°,θ=135°,
当θ=0°时,
Figure FDA0002832548690000011
当θ=90°,
Figure FDA0002832548690000012
当θ=45°,
Figure FDA0002832548690000021
当θ=135°,
Figure FDA0002832548690000022
4.根据权利要求1所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,第一幅和第二幅图像的各个方向的扩散梯度值uθ满足能量泛函模型:
E(uθ)=Ed(uθ)+λEs(uθ)
其中,λ是一个正则参数,uθ是θ方向的扩散梯度值,Ed(uθ)是数据保真项,形式为:
Figure FDA0002832548690000023
其中,Uθ是θ方向上的梯度值;
Es(uθ)是平滑项,表示为:
Figure FDA0002832548690000024
E(uθ)表示表示扩散后的能量值。
5.根据权利要求1所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,根据扩散梯度值,求出分辨率扩大后的第一幅图像和第二幅图像不同方向上的扩散梯度值的具体方法为:将步骤1中的第一幅图像、第二幅图像分辨率扩大两倍,将步骤3得到的扩散梯度值复制到扩大两倍后的图像的对应位置;对于扩大分辨率后的图像的空白处的扩散梯度值为采用Lanczos插值算法插值求得的值。
6.根据权利要求5所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,扩大分辨率后的图像的空白处的扩散梯度值的具体计算公式为:
Figure FDA0002832548690000025
式中,x,y是像素坐标点,a为参数,L(x)是x方向插值核函数,L(y)是y方向的插值核函数,si,j是已知像素点的扩散梯度值。
7.根据权利要求1所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,根据扩大分辨率后的图像的各点扩散梯度值确定各点是否为边缘点的具体方法为:
将对角线方向的每个像素点对应的扩散梯度值作差,若差值大于设定阈值,则该像素点为边缘像素点。
8.根据权利要求1所述的非均匀阵列探测激光光斑图像的复原显示方法,其特征在于,采用边缘融合插值算法,插出未知像素点的具体公式为:
I=ω(Ia+Ib)+(0.5-ω)(Ic+Id)
ω是可调参数,I表示的是待求像素的灰度值,Ia,Ib,Ic,Id表示已知的像素灰度值。
CN202011453614.7A 2020-12-12 2020-12-12 一种非均匀阵列探测激光光斑图像的复原显示方法 Active CN112488975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011453614.7A CN112488975B (zh) 2020-12-12 2020-12-12 一种非均匀阵列探测激光光斑图像的复原显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011453614.7A CN112488975B (zh) 2020-12-12 2020-12-12 一种非均匀阵列探测激光光斑图像的复原显示方法

Publications (2)

Publication Number Publication Date
CN112488975A true CN112488975A (zh) 2021-03-12
CN112488975B CN112488975B (zh) 2022-10-14

Family

ID=74916212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011453614.7A Active CN112488975B (zh) 2020-12-12 2020-12-12 一种非均匀阵列探测激光光斑图像的复原显示方法

Country Status (1)

Country Link
CN (1) CN112488975B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113155756A (zh) * 2021-03-31 2021-07-23 中国科学院长春光学精密机械与物理研究所 光斑在线标定方法
US11360180B2 (en) 2019-12-19 2022-06-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction
US11467240B2 (en) * 2019-12-31 2022-10-11 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for accelerating diffusion magnetic resonance imaging (MRI) acquisition via slice-interleaved diffusion encoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236045A (zh) * 2013-05-02 2013-08-07 北京理工大学 基于焦平面探测器mtf的微扫描图像重构方法
CN108681992A (zh) * 2018-04-23 2018-10-19 南京理工大学 用于探测器阵列法测量激光光斑的图像插值算法
CN109741266A (zh) * 2018-12-03 2019-05-10 西北核技术研究所 一种阵列探测法激光光斑图像的复原显示方法
CN110398286A (zh) * 2019-04-26 2019-11-01 南京理工大学 一种基于阵列探测法的激光光斑恢复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236045A (zh) * 2013-05-02 2013-08-07 北京理工大学 基于焦平面探测器mtf的微扫描图像重构方法
CN108681992A (zh) * 2018-04-23 2018-10-19 南京理工大学 用于探测器阵列法测量激光光斑的图像插值算法
CN109741266A (zh) * 2018-12-03 2019-05-10 西北核技术研究所 一种阵列探测法激光光斑图像的复原显示方法
CN110398286A (zh) * 2019-04-26 2019-11-01 南京理工大学 一种基于阵列探测法的激光光斑恢复方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360180B2 (en) 2019-12-19 2022-06-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction
US11467240B2 (en) * 2019-12-31 2022-10-11 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for accelerating diffusion magnetic resonance imaging (MRI) acquisition via slice-interleaved diffusion encoding
CN113155756A (zh) * 2021-03-31 2021-07-23 中国科学院长春光学精密机械与物理研究所 光斑在线标定方法
CN113155756B (zh) * 2021-03-31 2022-10-04 中国科学院长春光学精密机械与物理研究所 光斑在线标定方法

Also Published As

Publication number Publication date
CN112488975B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN112488975B (zh) 一种非均匀阵列探测激光光斑图像的复原显示方法
EP1347410B1 (en) Edge-based enlargement and interpolation of images
JP4818053B2 (ja) 高解像度化装置および方法
CN108681992B (zh) 用于探测器阵列法测量激光光斑的图像插值方法
US20070171287A1 (en) Image enlarging device and program
JP2001175857A (ja) 参照画像作成方法、パターン検査装置及び参照画像作成プログラムを記録した記録媒体
CN104376550A (zh) 基于含积分的平差模型的超分辨率图像重建方法
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN114119367B (zh) 一种分区域的同步相移干涉图超分辨重建的插值方法
JP6830712B1 (ja) ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法
CN111882530A (zh) 一种亚像素定位图生成方法、定位方法及装置
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
US20100040304A1 (en) Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program
Krauss et al. Deterministic guided lidar depth map completion
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
CN111062895A (zh) 一种基于多视场分割的显微图像复原方法
CN106920213B (zh) 一种高分辨率图像的获取方法及系统
JP2012003503A (ja) 画像処理装置およびその制御方法、並びにプログラム
CN115115520A (zh) 一种具有提高图像清晰度和分辨率的图像成像方法
Gilman et al. Least-squares optimal interpolation for fast image super-resolution
CN112508788B (zh) 一种基于多帧观测信息的空间邻近群目标超分辨方法
CN112598717B (zh) 高光谱卫星影像全谱段配准方法及介质
CN112652000A (zh) 一种针对图像小尺度运动方向判定的方法
JP2006050481A (ja) 画像処理装置、画像処理方法及びそのプログラム
CN114897734B (zh) 一种基于梯度方向先验的被测目标图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant