CN110570381B - 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 - Google Patents

一种基于高斯总变差的半解耦图像分解暗光图像增强方法 Download PDF

Info

Publication number
CN110570381B
CN110570381B CN201910873717.XA CN201910873717A CN110570381B CN 110570381 B CN110570381 B CN 110570381B CN 201910873717 A CN201910873717 A CN 201910873717A CN 110570381 B CN110570381 B CN 110570381B
Authority
CN
China
Prior art keywords
illumination
image
layer
gtv
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910873717.XA
Other languages
English (en)
Other versions
CN110570381A (zh
Inventor
郝世杰
汪萌
郭艳蓉
韩徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910873717.XA priority Critical patent/CN110570381B/zh
Publication of CN110570381A publication Critical patent/CN110570381A/zh
Application granted granted Critical
Publication of CN110570381B publication Critical patent/CN110570381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了提出一种基于高斯总变差的半解耦图像分解暗光图像增强方法,利用GTV作为正则化项建立了Retinex分解模型,以半解耦的方法逐步细化分解光照层和反射层,从而获得更好的暗光图像增强效果。该方法首先不涉及反射层,利用GTV获取细化并且分段平滑的光照层,在此基础上再同时涉及照明图和反射图,对反射层进行细化分解,而且还在反射层的分解上添加一个简单有效的去噪项使得该方法很容易扩展到一个抑制噪声的方法,除此之外,还对初始的光照层进行预处理,这样大大加快了整个方法的收敛和迭代速度。本方法可以获得更好的暗光增强性能。

Description

一种基于高斯总变差的半解耦图像分解暗光图像增强方法
技术领域
本发明涉及涉及一种基于高斯总变差的半解耦图像分解暗光图像增强方法。
背景技术
近年来,随着智能手机的高速发展,通过手机就可以获得高分辨率的图像,然而,普通的显示设备想要获得和现实世界一样的光照范围,仍然是个非常具有挑战的问题。因此,暗光图像增强对于高质量的图像显示和其他视觉应用非常重要。这是一项重要图像后处理的任务,因为增强有助于提高黑暗区域和光照不足区域的细节,提高图像的可见性,同时保持其视觉自然。
根据暗光增强图像算法的实现,主要可以分为五类:基于直方图的方法,基于去雾的方法,基于融合的方法,基于Retinex模型的方法以及基于深度学习的方法。基于直方图的方法主要是为了优化图像直方图的形状,它只计算像素的强度,而忽略了像素的空间信息。因此,增强模型往往会产生过增强或不足增强效应。其优点是实现速度快。基于去雾的方法通常将暗光图像去反之后的图像看成含有雾的图像,对进行去雾的操作后再去反,从而获得最终的增强结果。由于暗光图像取反后与真正含有雾的图像存在区别,因此,基于去雾的方法通常会在最终的增强图像上留下较为明显的伪影,影响图像质量。基于融合的方法,利用同一场景下不同曝光图像之间的互补信息,合成增强图像,但是由于许多实际应用中缺乏融合源,这个方法可能会受限。基于Retinex模型的方法主要分成简化的Retinex方法和Retinex分解方法。简化的Retinex方法仅估计分段平滑的光照层,该方法通常会在计算过程中将图像噪声放大。基于Retinex分解模型,现有的模型大多同时考虑光照层和反射层,在二者的交替优化中,通常添加额外的正则化项来约束两者之间的关系。基于深度学习的方法,通过在成对的训练数据之间学习内容和亮度感知映射功能的能力,再通过巧妙的网络设计,可以获得很好的增强效果,然而,目前的方法的性能仍然很大程度上依赖于成对训练数据集,很难大规模收集。
发明内容
为了解决上述技术问题,本发明的目的是提供一种基于高斯总变差的半解耦图像分解暗光图像增强方法,可以获得更好的暗光增强性能。
为解决上述技术问题,本发明采用如下技术方案:
一种基于高斯总变差的半解耦图像分解暗光图像增强方法,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
Figure GDA0003358964120000021
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
Figure GDA0003358964120000031
Figure GDA0003358964120000032
其中:
Figure GDA0003358964120000033
表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,
Figure GDA0003358964120000034
表示待估计的光照层I与原始光照层
Figure GDA0003358964120000035
之间的相似度,
Figure GDA0003358964120000036
表示观测图像S与
Figure GDA0003358964120000037
之间的相似度,
Figure GDA0003358964120000038
表示I和R的GTV正则化,来获取分段平滑的光照层I和包含细节纹理的反射层R,
Figure GDA0003358964120000039
对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项。
进一步的,所述步骤2)中对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
Figure GDA00033589641200000310
其中,T表示滤波图像,S表示观测的暗光图像,
Figure GDA00033589641200000311
表示对T的GTV正则化,分母表示高斯核函数,核宽为σ1
Figure GDA00033589641200000312
表示高斯滤波器,其空间宽度为σ2
进一步的,所述步骤2)的过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
⑴将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
Figure GDA0003358964120000041
Figure GDA0003358964120000042
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
Figure GDA0003358964120000043
Figure GDA0003358964120000044
其中:
Figure GDA0003358964120000051
Figure GDA0003358964120000052
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
Figure GDA0003358964120000053
Figure GDA0003358964120000054
其中,
Figure GDA0003358964120000055
I,S和R分别表示
Figure GDA0003358964120000056
I,S和R的矩阵形式,D是差分矩阵,W,U和Q分别表示权重矩阵;
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
Figure GDA0003358964120000057
Figure GDA0003358964120000058
其中
Figure GDA0003358964120000059
Figure GDA00033589641200000510
M,N,Z都是五点正定拉普拉斯矩阵,1是与输入暗光图像尺寸相同的单位矩阵;
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层
Figure GDA00033589641200000511
进行预处理操作,具体来说,就是利用GTV滤波器对
Figure GDA00033589641200000512
进行预滤波处理,获得一个较为精细化的光照层B,其中用
Figure GDA0003358964120000061
表示GTV滤波器,用
Figure GDA0003358964120000062
来替代(3)中的
Figure GDA0003358964120000063
即:
Ik=(1+αMk-1)-1B
Figure GDA0003358964120000064
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:S′c=IγRc,γ=1/2.2,c∈{RGB}。
与现有技术相比,本发明的有益技术效果:
本发明的发明通过对Retinex模型中简化Retinex方法和Retinex分解方法的结合,提出半解耦的Retinex模型分解方法,首先仅考虑光照层,在此基础上,再同时考虑反射层和光照层;为了获得分段平滑的光照图还提出了GTV滤波器,用来优化分解Retinex模型,除此之外还引入去噪操作,消除图像中由于增强而显现的噪声,获得更好的暗光增强效果。
具体实施方式
一种基于高斯总变差的半解耦图像分解暗光图像增强方法,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
Figure GDA0003358964120000065
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
Figure GDA0003358964120000071
Figure GDA0003358964120000072
其中:
Figure GDA0003358964120000073
表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,
Figure GDA0003358964120000074
表示待估计的光照层I与原始光照层
Figure GDA0003358964120000075
之间的相似度,
Figure GDA0003358964120000076
表示观测图像S与
Figure GDA0003358964120000077
之间的相似度,
Figure GDA0003358964120000078
表示I和R的GTV正则化,来获取分段平滑的光照层I和包含细节纹理的反射层R,
Figure GDA0003358964120000079
对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项。
而对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
Figure GDA00033589641200000710
其中,T表示滤波图像,S表示观测的暗光图像,
Figure GDA00033589641200000711
表示对T的GTV正则化,分母表示高斯核函数,核宽为σ1
Figure GDA00033589641200000712
表示高斯滤波器,其空间宽度为σ2
从半解耦分解模型的损失函数可以看出,首先仅仅是利用初始的光照先验信息来估计I,在这过程中不包含S和R,称之为解耦,然后通过S和I来估计R,在此过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
⑴将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
Figure GDA0003358964120000081
Figure GDA0003358964120000082
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
Figure GDA0003358964120000083
Figure GDA0003358964120000084
其中:
Figure GDA0003358964120000091
Figure GDA0003358964120000092
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
Figure GDA0003358964120000093
Figure GDA0003358964120000094
其中,
Figure GDA0003358964120000095
I,S和R分别表示
Figure GDA0003358964120000096
I,S和R的矩阵形式,D是差分矩阵,W,U和Q分别表示权重矩阵;
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
Figure GDA0003358964120000097
Figure GDA0003358964120000098
其中
Figure GDA0003358964120000099
Figure GDA00033589641200000910
M,N,Z都是五点正定拉普拉斯矩阵,1是与输入暗光图像尺寸相同的单位矩阵;
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层
Figure GDA00033589641200000911
进行预处理操作,具体来说,就是利用GTV滤波器对
Figure GDA00033589641200000912
进行预滤波处理,获得一个较为精细化的光照层B,其中用
Figure GDA0003358964120000101
表示GTV滤波器,用
Figure GDA0003358964120000102
来替代(3)中的
Figure GDA0003358964120000103
即:
Ik=(1+αMk-1)-1B
Figure GDA0003358964120000104
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:S′c=IγRc,γ=1/2.2,c∈{RGB}。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种基于高斯总变差的半解耦图像分解暗光图像增强方法,其特征在于,包括如下步骤:
S1)、基于增强过程中的成像噪声,建立如下Retinex模型:
Figure FDA0003358964110000011
其中:S表示观测的暗光图像,I表示光照层,R表示无噪声的反射层,N表示叠加在反射层上的噪声;
S2)、根据步骤S1)建立半解耦的Retinex分解模型,损失函数为:
Figure FDA0003358964110000012
Figure FDA0003358964110000013
其中:
Figure FDA0003358964110000014
表示原始的光照层,I表示待估计的光照层,R表示待估计的反射层,S表示观测的暗光图像,
Figure FDA0003358964110000015
表示待估计的光照层I与原始光照层
Figure FDA0003358964110000016
之间的相似度,
Figure FDA0003358964110000017
表示观测的暗光图像S与
Figure FDA0003358964110000018
之间的相似度,
Figure FDA0003358964110000019
表示I和R的GTV正则化,来获取待估计的光照层I和待估计的反射层R,
Figure FDA00033589641100000110
对应R总变差的稀疏度,通过最小化R的总变差,对反射层进行去噪处理,α,β,δ都是正参数,用来平衡损失函数中的正则化项;
所述步骤S 2)中对于GTV正则化,用其来设计保边缘图像滤波器,即GTV滤波器,用来对Retinex模型的分解,GTV滤波器的损失函数可以表示为:
Figure FDA0003358964110000021
其中,T表示滤波图像,S表示观测的暗光图像,
Figure FDA0003358964110000022
表示对T的GTV正则化,分母表示高斯核函数,核宽为σ1
Figure FDA0003358964110000023
表示高斯滤波器,其空间宽度为σ2
所述步骤S 2)的过程中,估计光照层时将光照看成是一种与物体本质无关的外在信息,在估计反射层时,又考虑到光照与反射层之间的分解关系,同时考虑二者,以此来完成改进Retinex模型的分解,其中的算法的优化过程如下:
(1)将损失函数中的L1范数形式改写成L2范数形式
对损失函数中的L1范数形式做如下近似:
Figure FDA0003358964110000031
其中,ζ表示I或R,∈是很小的正数以此来避免分母为0;
则损失函数可以改写为L2范数的形式:
Figure FDA0003358964110000032
Figure FDA0003358964110000033
其中:
Figure FDA0003358964110000034
Figure FDA0003358964110000035
(2)将损失函数改写成矩阵形式
对于(1)中改写的损失函数,将其改写成矩阵的形式:
Figure FDA0003358964110000036
Figure FDA0003358964110000037
其中,
Figure FDA0003358964110000041
I,S和R分别表示
Figure FDA0003358964110000042
I,S和R的矩阵形式,D是差分矩阵,W,U和Q分别表示权重矩阵;
(3)求解I,R
对损失函数求关于I和R的一阶导数,并令其为0,对于k次迭代计算,Ik和Rk有:
Figure FDA0003358964110000043
Figure FDA0003358964110000044
其中
Figure FDA0003358964110000045
Figure FDA0003358964110000046
Figure FDA0003358964110000047
M,N,Z都是五点正定拉普拉斯矩阵,1是与输入暗光图像尺寸相同的单位矩阵;
(4)加速收敛和迭代
首先通过预条件共轭梯度法来求解(3)中的关系式,降低求解的复杂度;然后为了加快收敛和迭代的速度,对初始照明层
Figure FDA0003358964110000048
进行预处理操作,具体来说,就是利用GTV滤波器对
Figure FDA0003358964110000049
进行预滤波处理,获得一个较为精细化的光照层B,其中用
Figure FDA00033589641100000410
表示GTV滤波器,用
Figure FDA00033589641100000411
来替代(3)中的
Figure FDA00033589641100000412
即:
Ik=(1+αMk-1)-1B
Figure FDA00033589641100000413
(5)光照矫正
采用Gamma变换对光照进行矫正,光照矫正在暗光图像的RGB三个通道进行,用S′表示最终的增强图像,则增强图像:
S′c=IγRc,γ=1/2.2,c∈{RGB}。
CN201910873717.XA 2019-09-17 2019-09-17 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 Active CN110570381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910873717.XA CN110570381B (zh) 2019-09-17 2019-09-17 一种基于高斯总变差的半解耦图像分解暗光图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910873717.XA CN110570381B (zh) 2019-09-17 2019-09-17 一种基于高斯总变差的半解耦图像分解暗光图像增强方法

Publications (2)

Publication Number Publication Date
CN110570381A CN110570381A (zh) 2019-12-13
CN110570381B true CN110570381B (zh) 2022-04-29

Family

ID=68780316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910873717.XA Active CN110570381B (zh) 2019-09-17 2019-09-17 一种基于高斯总变差的半解耦图像分解暗光图像增强方法

Country Status (1)

Country Link
CN (1) CN110570381B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815661B (zh) * 2020-07-14 2024-02-02 合肥工业大学 基于Retinex分解的铅笔画图像生成方法及装置
CN112862713B (zh) * 2021-02-02 2022-08-09 山东师范大学 一种基于注意力机制的低光图像增强方法及系统
CN112907570B (zh) * 2021-03-24 2022-03-22 合肥工业大学 一种轻量级无监督暗光图像增强方法及装置
CN115619659B (zh) * 2022-09-22 2024-01-23 北方夜视科技(南京)研究院有限公司 基于正则化高斯场模型的低照度图像增强方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303766A (zh) * 2008-07-09 2008-11-12 北京航空航天大学 一种基于Retinex理论的快速彩色图像增强方法
CN103268598A (zh) * 2013-06-13 2013-08-28 武汉大学 基于Retinex理论的低照度低空遥感影像增强方法
CN105488763A (zh) * 2015-10-30 2016-04-13 北京理工大学 一种适用于水下激光距离选通图像的图像增强方法
CN107292844A (zh) * 2017-06-20 2017-10-24 南京理工大学 全变差正则化变分随机共振自适应暗图像滤波增强方法
CN107527332A (zh) * 2017-10-12 2017-12-29 长春理工大学 基于改进Retinex的低照度图像色彩保持增强方法
CN109523472A (zh) * 2018-10-12 2019-03-26 海南大学 Retinex彩色图像增强方法、计算机视觉处理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074317A1 (en) * 2007-09-19 2009-03-19 Samsung Electronics Co., Ltd. System and method for reducing halo effect in image enhancement
JP6548403B2 (ja) * 2015-02-24 2019-07-24 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、及びプログラム
CN110175964B (zh) * 2019-05-30 2022-09-30 大连海事大学 一种基于拉普拉斯金字塔的Retinex图像增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303766A (zh) * 2008-07-09 2008-11-12 北京航空航天大学 一种基于Retinex理论的快速彩色图像增强方法
CN103268598A (zh) * 2013-06-13 2013-08-28 武汉大学 基于Retinex理论的低照度低空遥感影像增强方法
CN105488763A (zh) * 2015-10-30 2016-04-13 北京理工大学 一种适用于水下激光距离选通图像的图像增强方法
CN107292844A (zh) * 2017-06-20 2017-10-24 南京理工大学 全变差正则化变分随机共振自适应暗图像滤波增强方法
CN107527332A (zh) * 2017-10-12 2017-12-29 长春理工大学 基于改进Retinex的低照度图像色彩保持增强方法
CN109523472A (zh) * 2018-10-12 2019-03-26 海南大学 Retinex彩色图像增强方法、计算机视觉处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Low-light image enhancement using variational optimization-based Retinex model;Seonhee P.等;《2017 IEEE International Conference on Consumer Electronics (ICCE)》;20170330;第1-2页 *
一种改进的图像消噪增强算法研究;宋建辉 等;《沈阳理工大学学报》;20190831;第38卷(第4期);第25-29页 *

Also Published As

Publication number Publication date
CN110570381A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110570381B (zh) 一种基于高斯总变差的半解耦图像分解暗光图像增强方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
Zhuang et al. Underwater image enhancement with hyper-laplacian reflectance priors
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN110097519B (zh) 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN107527332B (zh) 基于改进Retinex的低照度图像色彩保持增强方法
Wang et al. Dehazing for images with large sky region
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
WO2019019695A1 (zh) 一种基于Retinex模型的水下图像增强方法
CN110706174B (zh) 一种图像增强方法、终端设备及存储介质
CN107798661B (zh) 一种自适应的图像增强方法
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN108648160B (zh) 一种水下海参图像去雾增强方法及系统
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
Yang et al. CSDM: A cross-scale decomposition method for low-light image enhancement
CN117726545A (zh) 一种使用非局部雾线和多重曝光融合的图像去雾方法
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN111489302B (zh) 一种雾气环境下海事图像增强方法
Liang et al. An underwater image restoration method based on adaptive brightness improvement and local image descattering
CN113240588B (zh) 一种基于增强大气散射模型的图像去雾和曝光方法
CN113012067A (zh) 基于Retinex理论和端到端深度网络的水下图像复原方法
CN110796607B (zh) 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法
CN113627468B (zh) 基于无监督学习的非局部神经网络图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant