CN105023245B - 强度和梯度稀疏约束下的图像平滑方法 - Google Patents
强度和梯度稀疏约束下的图像平滑方法 Download PDFInfo
- Publication number
- CN105023245B CN105023245B CN201510220885.0A CN201510220885A CN105023245B CN 105023245 B CN105023245 B CN 105023245B CN 201510220885 A CN201510220885 A CN 201510220885A CN 105023245 B CN105023245 B CN 105023245B
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- mtd
- gradient
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种强度和梯度稀疏约束下的图像平滑方法，通过建立基于原图像像素强度和梯度的图像平滑的约束函数，构造原图像与平滑图像的最小二乘模型，向最小二乘模型加入约束函数，建立平滑能量目标函数，引入两辅助变量分别代替目标函数中的强度和梯度，加上两项误差惩罚项，建立图像平滑最小化模型，通过计算最小化模型两辅助变量的值，计算最小化模型的解析解S得平滑图像矩阵。本发明的强度和梯度稀疏约束下的图像平滑方法，综合利用了图像的全局特征和局部特征，及两者之间的关系，达到了提高准确率、鲁棒性，减少计算量的目的。
Description
技术领域
本发明涉及图像平滑技术领域，尤其涉及一种强度和梯度稀疏约束下的图像平滑方法。
背景技术
图像在获取和传递过程中往往不可避免的会受到噪声、不重要的细节的干扰，使得待识别的图像出现边缘特征不明显的问题，给识别带来了困难。图像平滑算法能够在一定程度解决该问题，这是因为该算法能够抑制图像的噪声和不重要细节的干扰，突出图像的宽大区域、低频成分、主干部分，使图像亮度平缓渐变，梯度突变范围减小。正因为图像平滑的这种特性，使得其被更加广泛的应用在图像分割、去噪、细节增强，目标分类，边缘提取等领域中。
图像平滑一般可以分为两类：局部平滑和全局平滑。局部平滑是指对图像的局部区域(local regions)或补丁(patches)进行处理，仅顾及到图像的局部区域特征，平滑效果一般，如高斯滤波、双边滤波、中值滤波等；而全局平滑是同时对整个图像的所有区域进行处理，与局部平滑相比，全局平滑的边缘保持约束项的优化框架更加的灵活，对于图像的平滑效果要优于局部平滑，特别是图像的背景部分(即不重要的细节)，如全变分平滑算法、加权最小均方平滑算法、L0梯度最小化平滑算法等。然而全局算法会在一定程度上使得图像边缘产生模糊。
发明内容
为解决上述技术问题，本发明的目的是提供一种计算量少的、综合应用图像的全局特征和局部特征、在强度和梯度稀疏约束下的图像平滑方法，以提高图像平滑的准确率和鲁棒性。
本发明的强度和梯度稀疏约束下的图像平滑方法，包括步骤：
S1、建立基于原图像像素强度S和梯度▽S的图像平滑的约束函数P(S)＝σ||S||0+||▽S||0，σ为惩罚因子；
S2、构造原图像与平滑图像的最小二乘模型向所述最小二乘模型加入所述约束函数，建立平滑能量目标函数：
S3、引入辅助变量u和g分别代替所述目标函数中的强度S和梯度▽S，加上两项误差惩罚项，建立图像平滑最小化模型：
β和μ分别控制辅助变量u和g与强度S和梯度▽S的相似度；
S4、计算所述最小化模型的u和g的值；
S5、根据u和g的值计算所述最小化模型的解析解S，得平滑图像矩阵。
进一步的，所述步骤S1具体包括：
S11、利用0-范数建立原图像的梯度约束||▽S||0；
S12、在梯度约束||▽S||0中加入原图像的像素强度的0-范数，建立图像平滑的约束函数P(S)＝σ||S||0+||▽S||0。
进一步的，所述步骤S2中利用2-范数的平方构造所述最小二乘模型。
进一步的，所述步骤S4中采用交替固定变量的迭代方法计算参数u和g的值为：
进一步的，所述步骤S5中具体包括：
S51、将所述最小化模型转化到傅立叶频域内；
S52、固定u和g，对傅立叶频域内的方程求导，获得平滑图像的傅立叶解：
S53、对所述F(S)进行傅里叶逆变换，得平滑图像矩阵：
与现有技术相比，本发明的强度和梯度稀疏约束下的图像平滑方法，综合利用了图像的全局特征和局部特征，及两者之间的关系，对图像进行有效的平滑，去除细节纹理特征，保留图像的分界，并通过傅立叶变换加快了平滑速度，能够较好地满足图像平滑保留边缘去除细节的要求以及运行效率的要求。
上述说明仅是本实用新型技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明强度和梯度稀疏约束下的图像平滑方法的具体流程图。
图2为本发明一具体实施方式中的原图像与平滑图像的对比图，图2a～2d分别为原图像、原图像的梯度图像、平滑图像、平滑图像的梯度图像；
图3为本发明一具体实施方式中参数设定讨论图，图3a为原图，图3b～3g分别为不同参数下的平滑结果图；
图4为本发明一具体实施方式中不同算法的平滑效果对比效果图，图4a为原图像，图4b～4g分别为6种不同平滑算法效果图，图4h～4i为2种方法的局部放大对比图；
图5为本发明一工程应用实例，该发明在图像增强领域的应用图，图5a为原图，图5b为增强图；
图6为本发明一工程应用实例，该发明在图像边缘检测中的应用，图6a～6d分别为原图、Canny边缘提取图、平滑图、本发明边缘提取图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参图1所示，本发明强度和梯度稀疏约束下的图像平滑方法具体包括：
S1、建立基于原图像像素强度S和梯度▽S的图像平滑的约束函数P(S)＝σ||S||0+||▽S||0，其中强度表征的是图像的全局特征，梯度表征的是图像的局部特征；
S2、构造原图像与平滑图像的最小二乘模型向最小二乘模型加入约束函数，建立平滑能量目标函数：
S3、采用半二次分裂算法，引入辅助变量u和g分别代替目标函数中的强度S和梯度▽S，加上两项误差惩罚项，建立图像平滑最小化模型：
以控制平滑图像与原图像的结构差异；
S4、计算最小化模型的u和g的值；
S5、根据u和g的值计算最小化模型的解析解S，得平滑图像矩阵。
其中步骤S1具体包括：
S11、利用0-范数建立原图像S∈RM×N的梯度约束||▽S||0；
S12、在梯度约束||▽S||0中加入原图像的像素强度的0-范数作为边界补偿，建立图像平滑的约束函数P(S)＝σ||S||0+||▽S||0。
其中S∈RM×N为平滑后的图像强度，▽S∈RM×N是图像的梯度，对于某一像素点p的梯度，定义为x，y方向的导数，即对于彩色图像，图像梯度应为RGB三个通道的梯度之和，σ为惩罚因子，以保证强度和梯度两项之间的平衡。
优选的，步骤S2中利用2-范数的平方构造所述最小二乘模型。
本发明中利用0-范数与2-范数能够使得平滑后的图像边界更加明显，即对原图像的保边去噪的效果更佳。
步骤S2中项用于保证平滑后图像与原图像的结构相似度，后面λP(S)项用于约束平滑后图像的平滑特性和边缘特性，λ为约束参数，用于平衡2-范数逼近项和0-范数约束项的权重，其值越大，输出图像越平滑。显然，平滑图像S可以通过使目标函数E(S)达到最小值来估计求解，即
进一步的，步骤S3中β和μ分别控制辅助变量u和g与原先的强度变量S和梯度变量▽S的相似程度。
进一步的，步骤S4中采用交替固定变量的迭代方法计算参数u和g的值，固定S和u，求解g，其值为：
固定S和g，求解u，其值为：
上述步骤S5具体包括：
S51、将最小化模型转化到傅立叶频域内，以加快算法运算效率；
S52、固定u和g，对傅立叶频域内的方程求导，获得平滑图像的傅立叶解：
S53、对F(S)进行傅里叶逆变换，得平滑图像矩阵：
获得最终的平滑图像。
其中F-1(·)表示离散傅立叶逆变换算子，表示复共轭算子，F(1)表示δ函数的离散傅立叶变换。上述所有的操作符，加、乘、除均按元素来操作。通过傅立叶变换，加快了S的求解速度，有利于工程实时应用。
在考虑执行效率和保证算法的通用性后，本发明采用MATLAB软件编写算法语言，用的测试图像是为RGB彩色自然图像。
综上所述，本发明的图像平滑过程如下：利用0-范数定义一个图像像素强度和梯度的约束函数，来控制平滑图像与原图像的结构差异；利用2-范数的平方构造最小二乘模型，并加入约束函数实现对平滑后图像的约束，获得平滑能量目标函数；采用半二次分裂算法，同时引入两个辅助变量分别代替目标函数中的强度和梯度，并加上两项误差惩罚项，获得最终的图像平滑最小化模型；采用交替固定变量的方法来求解该最小化模型；在傅立叶频域内求解平滑图像的解析解，以加快算法的运行速度。
如图2a～2d所示，图2a～2d分别为原图像、原图像的梯度图像、平滑图像、平滑图像的梯度图像。可见平滑后图像的梯度要比未平滑的图像梯度稀疏很多，即其0-范数更小。
如图3a～3g所示，图3a为原图，图3b～3g分别为不同参数下的平滑结果。当参数λ＝0.01～0.04，σ＝0.01时，平滑效果最好，且与原图相比色色调没有太大失真。
如图4a～4i所示，图4a为原图像，图4b～4g分别为6种不同平滑算法效果图，图4h～4i为2种方法的局部放大对比图。与几种方法的平滑效果对比发现，本发明的平滑效果最佳，能较好的实现保边去噪的功能。
如图5a、5b所示，图5a为原图，图5b为增强图。从图中可以发现，本发明的逆过程能够增强图像的成像效果，且能够获得较多的图像细节。
如图6a～6d所示，图6a～6d分别为原图、Canny边缘提取图、平滑图、本发明边缘提取图。对比图6b和图6d可以发现，本发明能的图像平滑效果能够有利于图像边缘的提取。
从分析过程和应用实例可以看出，强度和梯度稀疏约束下的图像平滑方法能有效对自然图像进行平滑，去除细节纹理特征，保留图像的分界，并通过傅里叶变换加快了平滑速度。该方法能够较好地满足图像平滑保留边缘去除细节的要求以及运行效率的要求。
由以上技术方案可以看出，本发明提供的强度和梯度稀疏约束下的图像平滑在图像平滑中，可以对图像进行有效的噪声滤除，且能够加强边界像素的亮度，有利于图像边缘的提取。因此能够广泛应用图像轮廓特征提取领域，为基于轮廓的目标识别打下基础。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (5)
1.一种强度和梯度稀疏约束下的图像平滑方法，其特征在于，包括步骤：
S1、建立基于原图像像素强度S和梯度▽S的图像平滑的约束函数P(S)＝σ||S||0+||▽S||0，σ为惩罚因子；
S2、构造原图像与平滑图像的最小二乘模型向所述最小二乘模型加入所述约束函数，建立平滑能量目标函数：
S3、引入辅助变量u和g分别代替所述目标函数中的强度S和梯度▽S，加上两项误差惩罚项，建立图像平滑最小化模型：
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>S</mi>
<mo>,</mo>
<mi>u</mi>
<mo>,</mo>
<mi>g</mi>
</mrow>
</munder>
<mo>{</mo>
<msubsup>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>S</mi>
<mo>-</mo>
<mi>I</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mrow>
<mo>(</mo>
<mi>&sigma;</mi>
<msub>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>u</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>g</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<msubsup>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>S</mi>
<mo>-</mo>
<mi>u</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&mu;</mi>
<msubsup>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>S</mi>
<mo>-</mo>
<mi>g</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>}</mo>
<mo>,</mo>
</mrow>
β和μ分别控制辅助变量u和g与强度S和梯度▽S的相似度；
S4、计算所述最小化模型的u和g的值；
S5、根据u和g的值计算所述最小化模型的解析解S，得平滑图像矩阵。
2.根据权利要求1所述的强度和梯度稀疏约束下的图像平滑方法，其特征在于，所述步骤S1具体包括：
S11、利用0-范数建立原图像的梯度约束||▽S||0；
S12、在梯度约束||▽S||0中加入原图像的像素强度的0-范数，建立图像平滑的约束函数P(S)＝σ||S||0+||▽S||0。
3.根据权利要求2所述的强度和梯度稀疏约束下的图像平滑方法，其特征在于：所述步骤S2中利用2-范数的平方构造所述最小二乘模型。
4.根据权利要求3所述的强度和梯度稀疏约束下的图像平滑方法，其特征在于，所述步骤S4中采用交替固定变量的迭代方法计算参数u和g的值为：
<mrow>
<mi>u</mi>
<mo>=</mo>
<mfenced open='' close=''>
<mtable>
<mtr>
<mtd>
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msup>
<mrow>
<mo>|</mo>
<mi>S</mi>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo><</mo>
<mi>&lambda;&sigma;</mi>
<mo>/</mo>
<mi>&beta;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>S</mi>
</mtd>
<mtd>
<mi>otherwise</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mtd>
<mtd>
<mi>g</mi>
<mo>=</mo>
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msup>
<mrow>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>S</mi>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo><</mo>
<mi>&lambda;</mi>
<mo>/</mo>
<mi>&mu;</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>&dtri;</mo>
<mi>S</mi>
</mtd>
<mtd>
<mi>otherwise</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
5.根据权利要求4所述的强度和梯度稀疏约束下的图像平滑方法，其特征在于，所述步骤S5中具体包括：
S51、将所述最小化模型转化到傅立叶频域内；
S52、固定u和g，对傅立叶频域内的方程求导，获得平滑图像的傅立叶解：
S53、对所述F(S)进行傅里叶逆变换，得平滑图像矩阵：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510220885.0A CN105023245B (zh) | 2015-05-05 | 2015-05-05 | 强度和梯度稀疏约束下的图像平滑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510220885.0A CN105023245B (zh) | 2015-05-05 | 2015-05-05 | 强度和梯度稀疏约束下的图像平滑方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105023245A CN105023245A (zh) | 2015-11-04 |
| CN105023245B true CN105023245B (zh) | 2018-01-12 |
Family
ID=54413189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510220885.0A Active CN105023245B (zh) | 2015-05-05 | 2015-05-05 | 强度和梯度稀疏约束下的图像平滑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105023245B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870363B (zh) * | 2016-09-27 | 2019-10-29 | 中国石油化工股份有限公司 | 最小二乘偏移成像优化方法及系统 |
| CN106920222B (zh) * | 2017-03-13 | 2019-11-08 | 苏州大学 | 一种图像平滑方法及装置 |
| CN108765313B (zh) * | 2018-05-02 | 2021-09-07 | 西北工业大学 | 基于类内低秩结构表示的高光谱图像去噪方法 |
| CN109345478B (zh) * | 2018-09-27 | 2020-11-17 | 深圳市牧月科技有限公司 | 一种基于梯度最小化的图像平滑处理方法 |
| CN113763290B (zh) * | 2021-08-26 | 2022-09-23 | 武汉高德红外股份有限公司 | 基于自适应梯度稀疏先验的鲁棒性红外图像反卷积方法 |
| CN114663304B (zh) * | 2022-03-16 | 2023-09-19 | 中国科学院光电技术研究所 | 一种基于稀疏先验的光学合成孔径系统成像增强方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807292A (zh) * | 2010-01-07 | 2010-08-18 | 清华大学 | 一种图像去噪方法 |
| CN102147915A (zh) * | 2011-05-06 | 2011-08-10 | 重庆大学 | 一种权重的稀疏边缘正则化图像复原方法 |
| CN102682437A (zh) * | 2012-05-17 | 2012-09-19 | 浙江大学 | 一种基于总变分正则约束的图像解卷积方法 |
| CN103955893A (zh) * | 2014-04-11 | 2014-07-30 | 西安理工大学 | 基于可分离全变差模型的图像去噪方法 |
| CN104050638A (zh) * | 2014-06-12 | 2014-09-17 | 杭州电子科技大学 | 一种结合尺度优选的显著法红外小目标增强方法 |
| CN104361600A (zh) * | 2014-11-25 | 2015-02-18 | 苏州大学 | 运动识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2629432C2 (ru) * | 2011-11-23 | 2017-08-29 | Конинклейке Филипс Н.В. | Устранение шума в области изображения |
-
2015
- 2015-05-05 CN CN201510220885.0A patent/CN105023245B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807292A (zh) * | 2010-01-07 | 2010-08-18 | 清华大学 | 一种图像去噪方法 |
| CN102147915A (zh) * | 2011-05-06 | 2011-08-10 | 重庆大学 | 一种权重的稀疏边缘正则化图像复原方法 |
| CN102682437A (zh) * | 2012-05-17 | 2012-09-19 | 浙江大学 | 一种基于总变分正则约束的图像解卷积方法 |
| CN103955893A (zh) * | 2014-04-11 | 2014-07-30 | 西安理工大学 | 基于可分离全变差模型的图像去噪方法 |
| CN104050638A (zh) * | 2014-06-12 | 2014-09-17 | 杭州电子科技大学 | 一种结合尺度优选的显著法红外小目标增强方法 |
| CN104361600A (zh) * | 2014-11-25 | 2015-02-18 | 苏州大学 | 运动识别方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| A NEW ALTERNATING MINIMIZATION ALGORITHM FOR TOTAL VARIATION IMAGE RECONSTRUCTION;YILUN WANG 等;《Imaging Sciences》;20090731;第1卷(第3期);第248-272页 * |
| AN EFFICIENT TVL1 ALGORITHM FOR DEBLURRING MULTICHANNEL IMAGES CORRUPTED BY IMPULSIVE NOISE;JUNFENG YANG 等;《Scientific Computing》;20090630;第31卷(第4期);第2842-2865页 * |
| Image Smoothing via L0 Gradient Minimization;Li Xu 等;《ACM Transactions on Graphics》;20111212;第30卷(第6期);第1-11页 * |
| 基于TwIST-TV约束的图像去模糊方法;王莎 等;《红外与激光工程》;20140630;第43卷(第6期);第1-7页 * |
| 基于自适应正则化的全变分去噪算法;余丽红 等;《中国图象图形学报》;20091031;第14卷(第10期);第1950-1954页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105023245A (zh) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105023245B (zh) | 强度和梯度稀疏约束下的图像平滑方法 | |
| CN101452575B (zh) | 一种基于神经网络的图像自适应增强方法 | |
| CN107507138A (zh) | 一种基于Retinex模型的水下图像增强方法 | |
| CN106920222A (zh) | 一种图像平滑方法及装置 | |
| CN103996178A (zh) | 一种沙尘天气彩色图像增强方法 | |
| CN108182671B (zh) | 一种基于天空区域识别的单幅图像去雾方法 | |
| CN107038432B (zh) | 基于频率信息的指纹图像方向场提取方法 | |
| CN104462382B (zh) | 商标图像查询方法 | |
| CN108537760B (zh) | 一种基于大气散射模型的红外图像增强方法 | |
| WO2023078285A1 (zh) | 一种文字图像的摩尔纹祛除方法、装置及电子设备 | |
| CN105447834B (zh) | 一种基于特征分类的麻将图像光照不均校正方法 | |
| CN104063866A (zh) | 一种矿石传送过程中的粒度检测方法 | |
| CN111462022B (zh) | 一种水下图像清晰化增强方法 | |
| CN110176021B (zh) | 结合亮度校正的显著性信息的水平集图像分割方法及系统 | |
| CN106971380A (zh) | 一种对比度增强和视觉显著度优化方法在高尔夫球场图中的应用 | |
| CN116758080A (zh) | 一种太阳能电池片丝网印刷缺陷检测方法及系统 | |
| CN117173201A (zh) | 二阶微分图像分割方法、系统、介质和设备 | |
| CN111784610A (zh) | 一种基于聚类的边窗滤波器优化方法 | |
| CN107492082A (zh) | 一种利用边缘统计特征的mrf样本块图像修复方法 | |
| CN105427265A (zh) | 一种彩色图像对比度增强方法及系统 | |
| CN105243647A (zh) | 一种基于线性空间滤波的图像增强方法 | |
| CN108717699B (zh) | 一种基于连续最小割的超声波图像分割方法 | |
| CN107038708A (zh) | 图像识别算法在剪纸效果的应用 | |
| CN108242060A (zh) | 一种基于Sobel算子的图像边缘检测方法 | |
| CN110458773A (zh) | 一种基于边缘增强算子的各向异性扩散噪声处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |