CN110211056A - 基于局部中值直方图的自适应红外图像去条纹算法 - Google Patents

基于局部中值直方图的自适应红外图像去条纹算法 Download PDF

Info

Publication number
CN110211056A
CN110211056A CN201910372187.0A CN201910372187A CN110211056A CN 110211056 A CN110211056 A CN 110211056A CN 201910372187 A CN201910372187 A CN 201910372187A CN 110211056 A CN110211056 A CN 110211056A
Authority
CN
China
Prior art keywords
window
value
column
pixel
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910372187.0A
Other languages
English (en)
Other versions
CN110211056B (zh
Inventor
隋修宝
陈扬
陈钱
顾国华
王利平
蔡思聪
朱亮亮
于雪莲
蔡钰珏
张文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910372187.0A priority Critical patent/CN110211056B/zh
Publication of CN110211056A publication Critical patent/CN110211056A/zh
Priority to PCT/CN2020/088056 priority patent/WO2020224518A1/zh
Application granted granted Critical
Publication of CN110211056B publication Critical patent/CN110211056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于局部中值直方图的自适应红外图像去条纹算法,通过计算滑动窗口内场景复杂度,找出原始红外图像中每一列与相邻列场景变化最小的窗口。计算该窗口所有列的累积直方图,得到窗口中心列的中值直方图,根据中值直方图计算出窗口中心列的各个像素校正后的灰度值,用原始灰度值均值减去校正后的灰度值均值就可以得到该列的条纹值。将整列都减去条纹值即为该列最终输出的灰度值。本发明通过滑动窗口找到图像中场景变化不明显的区域,校正效果不受场景影响,可以消除传统中值直方图均衡去条纹算法中图像场景变化剧烈时引入新的噪声的问题。

Description

基于局部中值直方图的自适应红外图像去条纹算法
技术领域
本发明属于红外图像非均匀性校正领域,具体涉及一种基于局部中值直方图的自适应红外图像去条纹算法。
背景技术
目前,红外图像已被广泛应用于工业、医学和军事等领域来进行低可视度下的侦测。在理想情况下,红外成像系统对均匀辐射的红外光,获取的数字图像上每个像素点的灰度值应该完全一样。但实际上,受限于固态电子的制造工艺,探测器上的光敏元件(像元)往往伴随着杂质浓度不均,厚度不等,有效光敏面积做不到绝对平均等问题,像元之间的光电转换效率各不相同,对均匀辐射的景物的成像不均匀。另外,图像数据读出电路各通道之间的差,会导致图像出现呈列分布的固定条纹噪声。这就要求我们图像进行非均匀性校正,使图像得到更好的视觉效果。
常用的红外图像非均匀校正技术主要有定标法和场景法两种。定标法主要有两点校正法、多点校正法等;场景法主要有时域高通滤波法、恒定统计法、神经网络法等。但这两种方法在应用时都有很大的局限性。
近年来,国内外学者开始关注在在静态场景中,或者说在单帧图像中去除红外条纹非均匀性的方法。
Tendero和Gilles研究在单帧图像内去除图像上的非均匀性,提出了一种利用中值直方图均衡化的去条纹非均匀性校正算法。中值直方图最初是用来修正各相机中传感器增益之间的差异。若两幅图像的累计直方图分别是H1和H2,则其中间直方图的计算公式如下:
由于红外图像固定条纹噪声一般来说并不是孤立的,所以可以将上述方法用在红外图像上,根据相邻列的累计直方图计算某一列的中间直方图,用中间直方图来替代该列的累计直方图。通过这种方法使单幅图像上每一列的信息作用到其他列上,以进行单幅图像的非均匀性校正。该方法使用前提时图像列与列之间直方图相差不大。在图像中有复杂场景时,可能会出现校正效果不佳甚至出现带状效应,发生畸变等不理想的情况。
发明内容
本发明的目的在于提供一种基于中值直方图的单帧红外图像非均匀性校正方法,用于去除红外图像中的条纹噪声。
实现本发明目的的技术解决方案为:一种基于局部中值直方图的自适应红外图像去条纹算法,实现步骤如下:
步骤1、采集一幅像素数为M×N的原始红外图像o(i,j),其中i∈{1,…,M},j∈{1,…,N},i表示图像上像素的列所在位置,j表示图像上像素的行所在位置,M表示采集图像的列数,N表示采集图像的行数;
步骤2、对于上述原始红外图像o(i,j)的第x列,以第x列为中心列构造一个大小为A×B的滑动窗口,其中,A为窗口的列数,且为奇数,B为窗口的行数,计算窗口内场景复杂度μ:
其中,k表示像素灰度值,L表示最大灰度值,表示窗口中所有像素灰度值均值,p(k)表示窗口中灰度值为k的像素的个数,μ越大,表示场景越复杂;
步骤3、逐像素地上下移动窗口,计算以第x列为中心列的所有窗口的场景复杂度,并进行比较,找出以第x列为中心列的场景复杂度最小的窗口;
步骤4、在以第x列为中心列的场景复杂度最小的窗口中,对第x列进行中值直方图均衡,得到校正后的像素灰度值d(x,j);
步骤5、用窗口内中心列的像素原始灰度值均值减去窗口内中心列的像素校正后的灰度值均值,得到第x列的条纹值,即第x列的校正参数Sx
其中,为窗口内中心列的像素校正后的灰度值均值,为窗口内中心列的像素的原始灰度值均值;
步骤6、将原始红外图像o(i,j)第x列的所有像素的灰度值都减去第x列的校正参数Sx,得到的灰度值即为最终输出的第x列像素灰度值;
步骤7、对原始红外图像o(i,j)每列都进行步骤2)-步骤6)的操作,即可对所有列进行校正,去除原始红外图像o(i,j)上的条纹噪声。
本发明与现有技术相比,其显著的优点为:
(1)减少了定标法的工作量,避免多次反复标定。
(2)对单帧图像即可进行处理,避免了场景法需要多帧图像才能收敛的问题以及鬼影问题。
(3)与普通的中值直方图均衡非均匀性校正算法相比,剔除了复杂场景的影响,避免了图像发生畸变。
附图说明
图1是本发明基于局部中值直方图的自适应红外图像去条纹算法的流程图。
图2是具有条纹噪声的真实场景的红外图像和用不同方法处理后的效果图,其中图(a)为未对条纹噪声进行过处理的红外图像;图(b)为经过传统中值直方图均衡算法处理的图像,可以看到方框处图像发生了畸变;图(c)为经过本发明的基于局部中值直方图的自适应红外图像去条纹算法处理后的图像。
具体实施方式
下面结合附图进一步详细说明。
传统的基于中值均衡的红外图像去条纹算法基于以下原理:单幅图像的一列包含了足够的直方图信息,加上连续成像,相邻列的变化非常小。和当前列相邻越近的列,它们的直方图就越相似,计算的时候相比于其他离得远的列来说,占得比重更大。因此对于有条纹噪声的图像,对当前列的相邻列的累积直方图采用高斯公式加权,来得到当前列的中间直方图。再通过对中间直方图求逆得到校正后的灰度值。但这种方法只适用于相邻列直方图差别不大的场景,对于相邻列直方图差别较的大的,如图2(a),就会引入新的条纹,如图2(b)。
因此,本文在传统的基于中值均衡的红外图像去条纹算法的基础上,提出了一种改进方法,通过滑动窗口,找出当前列与相邻列场景变化最小的区域。在窗口内进行中值直方图均衡,再将窗口内当前列计算出的条纹值,应用到整列,就可去除当前列整列的条纹,如图2(c)。
结合图1,一种基于局部中值直方图的自适应红外图像去条纹算法,包括以下步骤:
步骤1、采集一幅像素数为M×N的原始红外图像o(i,j),其中i∈{1,…,M},j∈{1,…,N},i表示图像上像素的列所在位置,j表示图像上像素的行所在位置,M表示采集图像的列数,N表示采集图像的行数。
步骤2、对于上述原始红外图像o(i,j)的第x列,以第x列为中心列构造一个大小为A×B的滑动窗口,其中,A为窗口的列数,且为奇数,B为窗口的行数,计算窗口内场景复杂度μ:
其中,k表示像素灰度值,L表示最大灰度值,表示窗口中所有像素灰度值均值,p(k)表示窗口中灰度值为k的像素的个数,μ越大,表示场景越复杂。
步骤3、逐像素地上下移动窗口,计算以第x列为中心列的所有窗口的场景复杂度,并进行比较,找出以第x列为中心列的场景复杂度最小的窗口。其中,逐像素地上下移动窗口指每次仅上移或下移一个像素,直到历遍本列的所有像素。
步骤4、在以第x列为中心列的场景复杂度最小的窗口中,对第x列进行中值直方图均衡,得到校正后的像素灰度值d(x,j),具体步骤如下:
4-1)计算窗口中每一列的统计直方图:
hi(k)=∑B1{o(i,j)=k}
其中,B为窗口的行数,即窗口中每一列的总像素个数;k表示灰度值,o(i,j)=k表示窗口中(i,j)位置的像素灰度值为k,hi(k)表示窗口中第i列中灰度值为k的像素的个数;
4-2)根据窗口中每一列的统计直方图计算累积直方图:
其中,l为灰度值,Hi(l)表示窗口中第i列中灰度值小于等于l的像素的个数;
4-3)对窗口中每一列的累积直方图求逆,得到
4-4)对窗口内每一列的进行高斯加权,得到窗口内中心列的中值直方图:
其中,A为窗口的列数,n为窗口中其他列到中心列的距离,g(n)为高斯权重函数:
σ2为窗口的方差;
4-5)窗口内中心列的像素校正后的灰度值为:
步骤5、用窗口内中心列的像素原始灰度值均值减去窗口内中心列的像素校正后的灰度值均值,得到第x列的条纹值,即第x列的校正参数Sx
其中,是窗口内中心列的像素的原始灰度值均值,为校正前窗口内中心列所有像素的灰度值之和与窗口内中心列像素个数的比值,为窗口内中心列的像素校正后的灰度值均值,为校正后窗口内中心列所有像素的灰度值之和与窗口内中心列像素个数的比值;
步骤6、将原始红外图像o(i,j)第x列的所有像素的灰度值都减去第x列的校正参数Sx,得到的灰度值即为最终输出的第x列像素灰度值;
步骤7、对原始红外图像o(i,j)每列都进行步骤2)-步骤6)的操作,即可对所有列进行校正,去除原始红外图像o(i,j)上的条纹噪声。

Claims (4)

1.一种基于局部中值直方图的自适应红外图像去条纹算法,其特征在于,包括以下步骤:
步骤1、采集一幅像素数为M×N的原始红外图像o(i,j),其中i∈{1,…,M},j∈{1,…,N},i表示图像上像素的列所在位置,j表示图像上像素的行所在位置,M表示采集图像的列数,N表示采集图像的行数;
步骤2、对于上述原始红外图像o(i,j)的第x列,以第x列为中心列构造一个大小为A×B的滑动窗口,其中,A为窗口的列数,且为奇数,B为窗口的行数,计算窗口内场景复杂度μ:
其中,k表示像素灰度值,L表示最大灰度值,表示窗口中所有像素灰度值均值,p(k)表示窗口中灰度值为k的像素的个数,μ越大,表示场景越复杂;
步骤3、逐像素地上下移动窗口,计算以第x列为中心列的所有窗口的场景复杂度,并进行比较,找出以第x列为中心列的场景复杂度最小的窗口;
步骤4、在以第x列为中心列的场景复杂度最小的窗口中,对第x列进行中值直方图均衡,得到校正后的像素灰度值d(x,j);
步骤5、用窗口内中心列的像素原始灰度值均值减去窗口内中心列的像素校正后的灰度值均值,得到第x列的条纹值,即第x列的校正参数Sx
其中,为窗口内中心列的像素校正后的灰度值均值,为窗口内中心列的像素的原始灰度值均值;
步骤6、将原始红外图像o(i,j)第x列的所有像素的灰度值都减去第x列的校正参数Sx,得到的灰度值即为最终输出的第x列像素灰度值;
步骤7、对原始红外图像o(i,j)每列都进行步骤2)-步骤6)的操作,即可对所有列进行校正,去除原始红外图像o(i,j)上的条纹噪声。
2.根据权利要求1所述的基于局部中值直方图的自适应红外图像去条纹算法,其特征在于:上述步骤3中,逐像素地上下移动窗口指每次仅上移或下移一个像素,直到历遍本列的所有像素。
3.根据权利要求1所述的基于局部中值直方图的自适应红外图像去条纹算法,其特征在于:上述步骤4中,在以第x列为中心列的场景复杂度最小的窗口中,对第x列进行中值直方图均衡,具体步骤为:
4-1)计算窗口中每一列的统计直方图:
hi(k)=∑B1{o(i,j)=k}
其中,B为窗口的行数,即窗口中每一列的总像素个数;k表示灰度值,o(i,j)=k表示窗口中(i,j)位置的像素灰度值为k,hi(k)表示窗口中第i列中灰度值为k的像素的个数;
4-2)根据窗口中每一列的统计直方图计算累积直方图:
其中,l为灰度值,Hi(l)表示窗口中第i列中灰度值小于等于l的像素的个数;
4-3)对窗口中每一列的累积直方图求逆,得到
4-4)对窗口内每一列的进行高斯加权,得到窗口内中心列的中值直方图:
其中,A为窗口的列数,n为窗口中其他列到中心列的距离,g(n)为高斯权重函数:
σ2为窗口的方差;
4-5)窗口内中心列的像素校正后的灰度值为:
4.根据权利要求1所述的基于局部中值直方图的自适应红外图像去条纹算法,其特征在于:步骤5中,窗口内中心列的像素原始灰度值均值为校正前窗口内中心列所有像素的灰度值之和与窗口内中心列像素个数的比值;窗口内中心列的像素校正后的灰度值均值为校正后窗口内中心列所有像素的灰度值之和与窗口内中心列像素个数的比值。
CN201910372187.0A 2019-05-06 2019-05-06 基于局部中值直方图的自适应红外图像去条纹算法 Active CN110211056B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910372187.0A CN110211056B (zh) 2019-05-06 2019-05-06 基于局部中值直方图的自适应红外图像去条纹算法
PCT/CN2020/088056 WO2020224518A1 (zh) 2019-05-06 2020-04-30 基于局部中值直方图的自适应红外图像去条纹算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372187.0A CN110211056B (zh) 2019-05-06 2019-05-06 基于局部中值直方图的自适应红外图像去条纹算法

Publications (2)

Publication Number Publication Date
CN110211056A true CN110211056A (zh) 2019-09-06
CN110211056B CN110211056B (zh) 2022-08-12

Family

ID=67785514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372187.0A Active CN110211056B (zh) 2019-05-06 2019-05-06 基于局部中值直方图的自适应红外图像去条纹算法

Country Status (2)

Country Link
CN (1) CN110211056B (zh)
WO (1) WO2020224518A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796621A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 红外图像去横纹处理方法、处理设备和存储装置
WO2020224518A1 (zh) * 2019-05-06 2020-11-12 南京理工大学 基于局部中值直方图的自适应红外图像去条纹算法
CN112435176A (zh) * 2020-11-09 2021-03-02 浙江大华技术股份有限公司 图像条纹噪声去除方法以及相关装置
CN112837250A (zh) * 2021-01-27 2021-05-25 武汉华中数控股份有限公司 一种基于广义直方图均衡的红外图像自适应增强方法
CN113610733A (zh) * 2021-08-10 2021-11-05 国网浙江省电力有限公司电力科学研究院 图像处理方法及装置
CN113793282A (zh) * 2021-09-17 2021-12-14 中国科学院长春光学精密机械与物理研究所 一种空间相机传函测试图像莫尔条纹模糊去除方法
CN115375545A (zh) * 2022-08-22 2022-11-22 杭州微影软件有限公司 一种图像校正方法及装置
CN117147631A (zh) * 2023-10-30 2023-12-01 南京沃唐光电科技有限公司 一种基于区域环境分析的气体智能检测预警方法及系统
CN112435176B (zh) * 2020-11-09 2024-06-07 浙江华感科技有限公司 图像条纹噪声去除方法以及相关装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601068B (zh) * 2020-12-15 2023-01-24 山东浪潮科学研究院有限公司 视频数据增广方法、装置及计算机可读介质
CN114235149B (zh) * 2021-11-30 2024-02-27 中国科学院合肥物质科学研究院 一种基于ccd反射成像法的激光测量系统及其方法
CN114742732B (zh) * 2022-04-19 2024-05-28 武汉博宇光电系统有限责任公司 一种基于细节丰富度的红外图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100294A1 (en) * 2011-10-25 2013-04-25 Guangzhou Sat Infrared Technology Co. Ltd. System and method for processing digital signals of an infrared image
CN103076096A (zh) * 2013-01-07 2013-05-01 南京理工大学 基于中值直方图均衡的红外非均匀性校正算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830808B (zh) * 2018-06-01 2022-05-03 北京航空航天大学 基于相似线窗口均值补偿的星上红外图像条纹噪声去除方法
CN110211056B (zh) * 2019-05-06 2022-08-12 南京理工大学 基于局部中值直方图的自适应红外图像去条纹算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100294A1 (en) * 2011-10-25 2013-04-25 Guangzhou Sat Infrared Technology Co. Ltd. System and method for processing digital signals of an infrared image
CN103076096A (zh) * 2013-01-07 2013-05-01 南京理工大学 基于中值直方图均衡的红外非均匀性校正算法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020224518A1 (zh) * 2019-05-06 2020-11-12 南京理工大学 基于局部中值直方图的自适应红外图像去条纹算法
CN110796621B (zh) * 2019-10-29 2022-06-07 浙江大华技术股份有限公司 红外图像去横纹处理方法、处理设备和存储装置
CN110796621A (zh) * 2019-10-29 2020-02-14 浙江大华技术股份有限公司 红外图像去横纹处理方法、处理设备和存储装置
CN112435176A (zh) * 2020-11-09 2021-03-02 浙江大华技术股份有限公司 图像条纹噪声去除方法以及相关装置
CN112435176B (zh) * 2020-11-09 2024-06-07 浙江华感科技有限公司 图像条纹噪声去除方法以及相关装置
CN112837250A (zh) * 2021-01-27 2021-05-25 武汉华中数控股份有限公司 一种基于广义直方图均衡的红外图像自适应增强方法
CN112837250B (zh) * 2021-01-27 2023-03-10 武汉华中数控股份有限公司 一种基于广义直方图均衡的红外图像自适应增强方法
CN113610733B (zh) * 2021-08-10 2024-04-05 国网浙江省电力有限公司电力科学研究院 图像处理方法及装置
CN113610733A (zh) * 2021-08-10 2021-11-05 国网浙江省电力有限公司电力科学研究院 图像处理方法及装置
CN113793282A (zh) * 2021-09-17 2021-12-14 中国科学院长春光学精密机械与物理研究所 一种空间相机传函测试图像莫尔条纹模糊去除方法
CN113793282B (zh) * 2021-09-17 2023-10-24 中国科学院长春光学精密机械与物理研究所 一种空间相机传函测试图像莫尔条纹模糊去除方法
CN115375545A (zh) * 2022-08-22 2022-11-22 杭州微影软件有限公司 一种图像校正方法及装置
CN115375545B (zh) * 2022-08-22 2023-08-18 杭州微影软件有限公司 一种图像校正方法及装置
CN117147631A (zh) * 2023-10-30 2023-12-01 南京沃唐光电科技有限公司 一种基于区域环境分析的气体智能检测预警方法及系统

Also Published As

Publication number Publication date
WO2020224518A1 (zh) 2020-11-12
CN110211056B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110211056A (zh) 基于局部中值直方图的自适应红外图像去条纹算法
US9615039B2 (en) Systems and methods for reducing noise in video streams
Wang et al. Enhancing low light videos by exploring high sensitivity camera noise
US9135683B2 (en) System and method for temporal video image enhancement
CN110246105B (zh) 一种基于实际相机噪声建模的视频去噪方法
US20090185721A1 (en) Image data processing method and image processing apparatus
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN106803235B (zh) 基于各向异性时空域全变分非均匀性校正的方法
Tendero et al. ADMIRE: a locally adaptive single-image, non-uniformity correction and denoising algorithm: application to uncooled IR camera
Dewil et al. Self-supervised training for blind multi-frame video denoising
CN109813442B (zh) 一种基于多帧处理的内部杂散辐射非均匀性校正方法
CN110944176A (zh) 图像帧降噪方法和计算机存储介质
Kinoshita et al. Convolutional neural networks considering local and global features for image enhancement
CN113632134A (zh) 使用预组合去噪的高动态范围图像生成
CN110782403A (zh) 一种红外图像非均匀性校正方法
Rong et al. Infrared fix pattern noise reduction method based on shearlet transform
CN112348754B (zh) 一种低照度彩色图像增强方法及装置
Ohkoshi et al. Blind image restoration based on total variation regularization and shock filter for blurred images
US11393077B2 (en) Correcting dust and scratch artifacts in digital images
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
Luo et al. Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory
CN108573478B (zh) 中值滤波方法及装置
CN107317968A (zh) 图像去雾方法、装置、计算机可存储介质和移动终端
CN109636740B (zh) 一种红外图像多尺度智能化非均匀性校正方法
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant