CN103985104B - 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 - Google Patents
基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN103985104B CN103985104B CN201410057924.5A CN201410057924A CN103985104B CN 103985104 B CN103985104 B CN 103985104B CN 201410057924 A CN201410057924 A CN 201410057924A CN 103985104 B CN103985104 B CN 103985104B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- dominant
- fuzzy
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于高阶奇异值分解和模糊推理的多聚焦图像融合方法。(1)对待融合的两幅多聚焦源图像分别进行滑动窗口分块,将分块后相互对应的源图像子块形成子张量;(2)对子张量进行高阶奇异值分解(HOSVD),采用基于模糊推理的加权平均融合规则对分解系数进行融合,通过提取分解系数的方差,区域能量,匹配度三个特征设计模糊推理规则;(3)对融合后系数进行HOSVD逆变换得到融合后图像子块;(4)将融合后的图像子块组合生成最终融合图像。本发明克服了传统多聚焦图像融合方法容易造成边缘失真的缺陷,很好地解决了图像融合中源图像对融合图像贡献程度的不确定性问题,使融合后图像质量得到明显提高。
Description
技术领域
本发明涉及图像融合及其应用领域,特别是基于奇异值分解和模糊推理的多聚焦图像融合方法。
背景技术
图像融合技术是图像处理领域的研究热点,多聚焦图像融合是图像融合领域的一个重要分支。由于光学成像系统景深的限制,很难将场景内的所有目标全部清晰成像。多聚焦图像融合方法能够将成像设备对某一场景焦距改变所得具有不同焦点图像的清晰部分进行整合,有效提取图像中的互补信息,获得场景中所有对象均清晰的融合图像,这为图像的后续处理奠定了良好的基础。
从目前的研究方法以及多聚焦图像融合分析工具来看主要有两大类方法:一是在空间域完成图像的融合,二是将图像转换变换域内进行融合。系数加权平均是空间域最简单的一种融合方法,方法简单,实时性好。但是融合结果对比度下降,当源图像有较大灰度差异时,融合结果质量欠佳。基于变换域的融合方法将待融合图像执行变换,以变换系数的形式融合图像。变换域的方法利用多分辨率的概念,研究者们提出了基于金字塔,离散小波变换,脊波,轮廓波等变换的融合方法以进行多尺度分解。多分辨率变换域内的系数表示图像的边缘信息,可以检测图像的显著特征,但系数和源图像的像素值没有一一对应的关系,一个系数的改变会影响到几个像素值,在反变换过程中,源图像的信息就会丢失,且由于源图像对融合图像贡献程度的不确定性,多分辨率方法在下采样过程中容易造成融合信息不完全的问题。
基于张量的图像信息处理方法更适合表示高维数据,提取图像的相关信息。高阶奇异值分解是最有效的张量分解技术之一,相比于其他多分辨率变换方法具有优越的性质。高阶奇异值分解具有完全数据驱动的优良特性,不需要设定阈值和参数。高阶奇异值分解的特征系数提供了更丰富的图像纹理信息。
因为高阶奇异值分解的分解系数具有纹理表示能力,所以利用高阶奇异值分解的方法为多聚焦图像融合提供了一种新的途径。
发明内容
本发明的目的在于针对上述现有技术中存在的不足,提出一种基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,从而达到提高多聚焦图像融合效果的目的。
本发明的技术方案包括如下步骤:
1)准备待融合的两幅多聚焦源图像,对两幅多聚焦图像分别进行滑动窗口分块,将分块后I个相互对应的源图像子块形成I个子张量;
2)对子张量进行高阶奇异值分解(HOSVD),得到分解系数;
3)采用基于模糊推理的加权融合规则(WAFR)对分解系数进行融合;
3.1)提取HOSVD分解系数的方差()、区域能量()、匹配度(MDi)三个特征,并将三个特征的值域量化为模糊论域;
3.2)采用Mamdani极小化原理设计模糊融合规则,根据最大隶属度原则对权值进行模糊决策,得到分解系数的加权值,根据加权值得到融合后系数;
4)对步骤3)得到的融合系数进行HOSVD逆变换获得融合图像子块;
5)将步骤4)得到的融合图像子块组合生成最终融合图像。
所述步骤1),包括如下步骤:
a)将两幅的多聚焦源图像M×N分别记为B(1)和B(2),利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的源图像子块,滑动步长大小为r,且其中 代表最接近的整数;
b)将I个相互对应的源图像子块形成I个子张量,记为Ai,i=1,2,...,I。
所述步骤2)具体为:对Ai进行HOSVD分解得到Si,其公式为Ai=Si×1Ui×2Vi×3Wi,其中Si为核张量,Ui,Vi,Wi分别为Ai的一维,二维,三维展开的左奇异值向量。为了便于得到融合结果,利用代替Si作为图像块的特征,对于每一个图像块Bi(k),k=1,2,用公式表示为
所述步骤3.1)包括如下步骤:
a)对于以(x,y)为中心开t×t的邻域窗口,计算每个窗口的和MDi。为了便于表示,记k=1,2表示第i块中第k个图像子块的系数,其计算公式为:
其中, 为窗口系数的平均值,为窗口掩膜
计算归一化的特征,由于MDi(x,y)的取值范围为[0,1],所以只需计算归一化和计算公式如下:
经过归一化之后,和MDi取值范围为[0,1];
b)和MDi的取值范围均为[0,1],将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集Vc1和 同样地,对建立两个模糊集和 对建立两个模糊集Mi和Mi={ci1和ci2匹配}, 它们的隶属度函数为:
z对应上述模糊论域。
所述步骤3.2)包括如下步骤:
a)采用Mamdani极小化原理设计8种模糊推理规则,即:
①如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R1定义为:
R1:如果 且
则
②如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R2定义为:
R2:如果 且
则
③如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R3定义为:
R3:如果 且
则
④如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R4定义为:
R4:如果 且
则
⑤如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R5定义为:
R5:如果 且
则
⑥如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R6定义为:
R6:如果 且
则
⑦如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R7定义为:
R7:如果 且
则
⑧如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R8定义为:
R8:如果 且
则
b)根据最大隶属度原则对各自的权值进行模糊决策,即:
图像子块变换系数cik的加权值分别为:
根据得到的加权值,融合系数Di表示形式为:
所述步骤4)具体为:根据得到的融合系数Di,融合后的图像子块Fi通过下面的公式得到:
Fi=Ui×Di×Vi T。
所述步骤5)具体为:按照源图像重叠分块的顺序对融合后图像子块进行拼接重构,生成最终融合图像,并且将该融合图像输出显示。
本发明与现有技术相比,其显著优点:(1)利用HOSVD分解完全数据驱动的优良特性,不需要设定阈值和参数。(2)利用模糊推理能够处理不确定性问题的优势,解决图像融合中源图像对融合图像贡献程度不确定性的问题,更加有效的融合源图像中的信息。本发明方法所生成的融合图像纹理丰富,细节突出,具有良好的适应性和实用性。
附图说明
图1为基于高阶奇异值分解和模糊推理的多聚焦图像融合方法的流程图。
图2为获取模糊推理加权融合权值的流程图。
图3a为实施例1待融合的‘Clock’左聚焦图像。
图3b为实施例1待融合的‘Clock’右聚焦图像。
图3c为本发明对图3a和图3b的融合结果示意图。
图3d为加权平均对图3a和图3b的融合结果示意图。
图3e为传统的小波变换对图3a和图3b的融合结果示意图。
图4a为实施例2待融合的‘Barbara’左聚焦图像。
图4b为实施例2待融合的‘Barbara’右聚焦图像。
图4c为本发明对图4a和图4b的融合结果示意图。
图4d为加权平均对图4a和图4b的融合结果示意图。
图4e为传统的小波变换对图4a和图4b的融合结果示意图。
具体实施方式
本发明的实验平台为MATLAB2009a,计算机主机配置:Intel(R)处理器,CPU主频1.80GHz,内存1.0GB。本发明方法基于本实验平台对二维多聚焦图像数据进行处理,最终得到融合图像。
实施例1
本发明实施例使用bmp格式的256级灰度图进行融合操作,使用的灰度图像大小为256×256,两幅源图像如图3a和图3b所示。
如图1所示,包括如下步骤:
1)准备待融合的两幅多聚焦源图像,对两幅多聚焦图像分别进行滑动窗口分块,将分块后I个相互对应的源图像子块形成I个子张量,执行过程包括如下两步:
1.1)将两幅M×N(本实施例中M=256,N=256)多聚焦源图像分别记为B(1)和B(2),利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的(本实施例中的源图像子块,滑动步长大小为r(本实施例中r=4),且 其中代表最接近的整数;
1.2)将I个相互对应的源图像子块形成I个子张量,记为Ai,i=1,2,...,I。
2)对Ai进行高阶奇异值分解(HOSVD),得到分解系数Si,分解公式为Ai=Si×1Ui×2Vi×3Wi,其中Si为核张量,Ui,Vi,Wi分别为Ai的一维,二维,三维展开的左奇异值向量。为了便于得到融合结果,利用代替Si作为图像块的特征,对于每一个图像块Bi(k),k=1,2,用公式表示为
3)采用基于模糊推理的加权融合规则(WAFR)对分解系数进行融合:
3.1)提取的方差()、区域能量()、匹配度(MDi)三个特征,并将三个特征的值域量化为模糊论域;
a)对于以(x,y)为中心开窗口大小为t×t(本实施例中t=3)的邻域,计算每个邻域窗口的和MDi。为了便于表示,记k=1,2表示第i块中第k个图像子块的系数。其计算公式为:
其中,p=-1,0,1,q=-1,0,1,为窗口系数的平均值,为窗口掩膜
计算归一化的特征,由于MDi(x,y)的取值范围为[0,1],所以只需计算归一化的和计算公式如下,
经过归一化之后,和MDi取值范围为[0,1];
b)和MDi的取值范围均为[0,1],将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集Vc1和 同样地,对建立两个模糊集和 对建立两个模糊集Mi和Mi={ci1和ci2匹配}, 它们的隶属度函数为
z对应上述模糊论域。
3.2)采用Mamdani极小化原理设计模糊融合规则,根据最大隶属度原则,对权值进行模糊决策,得到分解系数的加权值,根据加权值得到融合后系数;
a)采用Mamdani极小化原理设计8种模糊推理规则,即:
①如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R1定义为:
R1:如果 且
则
②如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R2定义为:
R2:如果 且
则
③如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R3定义为:
R3:如果 且
则
④如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R4定义为:
R4:如果 且
则
⑤如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R5定义为:
R5:如果 且
则
⑥如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R6定义为:
R6:如果 且
则
⑦如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R7定义为:
R7:如果 且
则
⑧如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R8定义为:
R8:如果 且
则
b)根据最大隶属度原则对各自的权值进行模糊决策,即
图像子块变换系数cik的加权值分别为
根据得到的加权值,融合系数Di表示形式为,
4)对Di进行HOSVD逆变换得到融合后图像子块Fi。计算公式为:
Fi=Ui×Di×Vi T。
5)对融合后图像子块Fi组合生成最终的融合图像。按照源图像滑动窗口分块的顺序对融合后图像子块进行拼接重构,最终的融合图像通过Fi得到:a)初始化G和R为两个零矩阵;b)把Fi叠加到G的对应块的位置上;c)R用来保存叠加次数;d)G除以R得到最后的融合;图像如图3c所示。
实施例2
用本发明提供的方法能在普通硬件条件下实现多聚焦图像的高质量融合,本实施例使用bmp格式的256级灰度图像进行融合操作。本实施例使用的灰度图像大小为256×256,两幅源图像如图4a和图4b所示。整个实施过程同实施例1,融合结果如图4c所示。
Claims (7)
1.基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,包括如下步骤:
1)准备待融合的两幅多聚焦源图像,对两幅多聚焦图像分别进行滑动窗口分块,将分块后相互对应的源图像子块形成I个子张量;
2)对子张量进行高阶奇异值分解HOSVD,得到分解系数;
3)采用基于模糊推理的加权融合规则WAFR对分解系数进行融合:
3.1)提取HOSVD分解系数的方差区域能量匹配度MDi三个特征,并将三个特征的值域量化为模糊论域;
3.2)采用Mamdani极小化原理设计模糊推理规则,利用最大隶属度原则对各自的权值进行模糊决策得到加权值,根据加权值得到融合后系数;
4)对步骤3)得到的融合后系数进行HOSVD逆变换得到融合后图像子块;
5)将步骤4)得到的融合后图像子块组合生成最终的融合图像。
2.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤1)包括如下步骤:
a)将两幅M×N的多聚焦源图像分别记为B(1)和B(2),利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的源图像子块,滑动步长大小为r,且 其中代表最接近的整数;
b)将I个相互对应的源图像子块形成I个子张量,记为Ai,i=1,2,…,I。
3.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤2)具体为:对Ai进行HOSVD分解得到Si,其公式为Ai=Si×1Ui×2Vi×3Wi,其中Si为核张量,Ui,Vi,Wi分别为Ai的一维,二维,三维展开的左奇异值向量,为了便于得到融合结果,利用代替Si作为图像块的特征,,对于每一个图像块Bi(k),k=1,2,用公式表示为
4.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤3.1)包括如下步骤:
a)对于以(x,y)为中心开t×t的邻域窗口,计算每个窗口的和MDi,为了便于表示,记k=1,2,表示第i块中第k个图像子块的系数,其计算公式为:
其中,p=-1,0,1,q=-1,0,1,为窗口的平均值,为窗口掩膜且
计算归一化的特征,由于匹配度MDi(x,y)的取值范围为[0,1],所以只需计算归一化的和计算公式如下:
经过归一化之后,和MDi取值范围均[0,1];
b)和MDi的取值范围均为[0,1],将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集和 同样地,对建立两个模糊集和 对建立两个模糊集Mi和Mi={ci1和ci2匹配}, 它们的隶属度函数为
z对应上述模糊论域。
5.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤3.2)包括如下步骤:
a)采用Mamdani极小化原理设计8种模糊推理规则,即:
①如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R1定义为:
R1:如果且
则
②如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R2定义为:
R2:如果且
则
③如果ci1的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R3定义为:
R3:如果且
则
④如果ci2的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R4定义为:
R4:如果且
则
⑤如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2不匹配,则规则R5定义为:
R5:如果且
则
⑥如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2不匹配,则规则R6定义为:
R6:如果且
则
⑦如果ci1的方差占优,ci2的区域能量占优,且ci1和ci2匹配,则规则R7定义为:
R7:如果且
则
⑧如果ci2的方差占优,ci1的区域能量占优,且ci1和ci2匹配,则规则R8定义为:
R8:如果且
则
b)根据最大隶属度原则对各自的权值进行模糊决策,即:
图像子块变换系数cik的加权值分别为
根据得到的加权值,融合系数Di表示形式为,
6.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤4)具体为:根据得到的融合后系数Di,融合后的图像子块Fi通过下面的公式得到:
Fi=Ui×Di×Vi T。
7.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法,其特征在于,所述步骤5)具体为:按照源图像重叠分块的顺序对融合后图像子块进行拼接重构,生成最终的融合图像,并且将该融合图像输出显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410057924.5A CN103985104B (zh) | 2014-02-20 | 2014-02-20 | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410057924.5A CN103985104B (zh) | 2014-02-20 | 2014-02-20 | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103985104A CN103985104A (zh) | 2014-08-13 |
CN103985104B true CN103985104B (zh) | 2017-01-25 |
Family
ID=51277062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410057924.5A Active CN103985104B (zh) | 2014-02-20 | 2014-02-20 | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103985104B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574334A (zh) * | 2015-01-12 | 2015-04-29 | 北京航空航天大学 | 一种利用模糊度量和形态学交替算子的红外与可见光图像融合方法 |
CN106683064B (zh) * | 2016-12-13 | 2019-07-30 | 西北工业大学 | 一种基于二维耦合卷积的多聚焦图像融合方法 |
CN107833198B (zh) * | 2017-11-09 | 2021-06-01 | 中共中央办公厅电子科技学院 | 一种基于大尺度分解的户外场景重光照方法 |
CN109685752A (zh) * | 2019-01-09 | 2019-04-26 | 中国科学院长春光学精密机械与物理研究所 | 一种基于块分解的多尺度Shearlet域图像融合处理方法 |
CN111127380B (zh) * | 2019-12-26 | 2023-05-23 | 云南大学 | 一种基于直觉模糊相似度测量技术的多聚焦图像融合方法 |
CN117710233B (zh) * | 2024-02-05 | 2024-05-24 | 之江实验室 | 一种内窥图像的景深扩展方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436250A (zh) * | 2008-11-19 | 2009-05-20 | 西安电子科技大学 | 基于非线性张量分解与视角流形的多视角人脸识别方法 |
CN101620734A (zh) * | 2009-03-10 | 2010-01-06 | 北京中星微电子有限公司 | 运动检测方法及装置、背景模型建立方法及装置 |
CN103354602A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于高阶奇异值分解的多传感器视频融合方法 |
-
2014
- 2014-02-20 CN CN201410057924.5A patent/CN103985104B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436250A (zh) * | 2008-11-19 | 2009-05-20 | 西安电子科技大学 | 基于非线性张量分解与视角流形的多视角人脸识别方法 |
CN101620734A (zh) * | 2009-03-10 | 2010-01-06 | 北京中星微电子有限公司 | 运动检测方法及装置、背景模型建立方法及装置 |
CN103354602A (zh) * | 2013-06-18 | 2013-10-16 | 西安电子科技大学 | 基于高阶奇异值分解的多传感器视频融合方法 |
Non-Patent Citations (1)
Title |
---|
改进拉普拉斯能量和的尖锐频率局部_省略_ourlet域多聚焦图像融合方法;屈小波等;《光学精密工程》;20090531;1203-1212 * |
Also Published As
Publication number | Publication date |
---|---|
CN103985104A (zh) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103985104B (zh) | 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 | |
Tang et al. | Pixel convolutional neural network for multi-focus image fusion | |
CN101609549B (zh) | 视频模糊图像的多尺度几何分析超分辨处理方法 | |
CN103247036B (zh) | 多曝光图像融合方法和装置 | |
CN103971329B (zh) | 一种基于遗传优化细胞神经网络的多源图像融合方法 | |
CN105551010A (zh) | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 | |
CN104504673A (zh) | 基于nsst的可见光与红外图像融合方法及系统 | |
CN104077761A (zh) | 基于自适应稀疏表示的多聚焦图像融合方法 | |
Li et al. | Multifocus image fusion scheme based on the multiscale curvature in nonsubsampled contourlet transform domain | |
CN103455991A (zh) | 一种多聚焦图像融合方法 | |
CN105139371A (zh) | 一种基于pcnn与lp变换的多聚焦图像融合方法 | |
CN104899830A (zh) | 一种图像超分辨方法 | |
Yang et al. | Technique for multi-focus image fusion based on fuzzy-adaptive pulse-coupled neural network | |
CN105913408A (zh) | 一种基于双边滤波器的多聚焦图像融合方法 | |
CN104268833A (zh) | 基于平移不变剪切波变换的图像融合新方法 | |
Tan et al. | Multi-focus image fusion with geometrical sparse representation | |
CN111062329A (zh) | 基于增广网络的无监督行人重识别方法 | |
CN106023122A (zh) | 基于多通道分解的图像融合方法 | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN103854265A (zh) | 一种新的多聚焦图像融合技术 | |
Li et al. | Unsupervised densely attention network for infrared and visible image fusion | |
CN105844589B (zh) | 一种基于混合成像系统的实现光场图像超分辨的方法 | |
Zhang et al. | Infrared and visible image fusion using joint convolution sparse coding | |
Chen et al. | Brightsightnet: A lightweight progressive low-light image enhancement network and its application in “rainbow” maglev train | |
Zhang et al. | Image fusion using online convolutional sparse coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |