CN107527061B - 基于归一化多维互信息和克隆选择的高光谱波段选择方法 - Google Patents

基于归一化多维互信息和克隆选择的高光谱波段选择方法 Download PDF

Info

Publication number
CN107527061B
CN107527061B CN201610445958.0A CN201610445958A CN107527061B CN 107527061 B CN107527061 B CN 107527061B CN 201610445958 A CN201610445958 A CN 201610445958A CN 107527061 B CN107527061 B CN 107527061B
Authority
CN
China
Prior art keywords
individual
selection
mutual information
hyperspectral
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610445958.0A
Other languages
English (en)
Other versions
CN107527061A (zh
Inventor
张淼
于文博
沈毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201610445958.0A priority Critical patent/CN107527061B/zh
Publication of CN107527061A publication Critical patent/CN107527061A/zh
Application granted granted Critical
Publication of CN107527061B publication Critical patent/CN107527061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及高光谱图像的降维方法，具体涉及一种基于归一化多维互信息和克隆选择的高光谱波段选择算法。提供了一种在高光谱图像波段选择中，实现克隆迭代次数选定的方法。本发明的步骤为：一、读入高光谱图像，定义抗原并随机生成初始集合，按照个体适应值大小选择出最佳个体组成集合。二、克隆最佳个体生成临时克隆集合，并对克隆集合进行高频变异操作并从中再次选择最佳个体组成集合。三、利用归一化多维互信息判断前后两个集合的相关联程度来决定迭代是否停止。本发明可以达到对高光谱图像降维的目的，为使数值计算更加准确，利用归一化多维互信息对迭代次数进行选择，减少了选择过程中不必要的过多迭代过程，适用于高光谱图像波段选择应用。

Description

基于归一化多维互信息和克隆选择的高光谱波段选择方法
(一)技术领域
本发明涉及高光谱图像的降维方法，具体涉及基于归一化多维互信息和克隆选择的高光谱波段选择方法。
(二)背景技术
高光谱图像是一种图谱合一的海量数据源，它既包含图像信息又包括光谱信息，不仅能够给出各个谱段上每个像素的光谱强度数据，而且光谱分辨率很高。这种成像技术可以应用在目标识别领域，为机载高光谱成像仪的探测、搜索等领域提供良好的探测手段。但高光谱图像包含信息过多，存在冗余信息，因此需要对高光谱数据进行特征选择。
特征选择的主要任务是挑选出在设定准则下能够代表原始图像信息的特征。在模式分类中，它是一个很重要的预处理环节，其主要作用是负责约减可能影响分类性能和效率的冗余特征。虽然图像融合方法同样能够对原始输入数据进行约减，但在进行融合变换后，原来的输入空间不再具有清晰的物理意义，而且这也导致分类器结果无法录入统一的知识库中，因而失去进一步对比研究和训练同类分类器的作用。在高光谱特征选择领域中最主流的方法是波段选择，波段选择是从给定的高光谱数据中选出指定段数并满足要求的最优波段的过程。波段选择面对着样本的选择问题，样本应该有着与原始样本相同的数据分布特征，这样的波段选择具有广泛的应用性。尽管波段选择样本是从原始样本中随机选择的，但其必须包含高光谱图像所有的地物特性。
波段选择中的主要环节一般为选择准则和搜索策略两点，前者主要影响波段选择后模式的分类精度，后者主要影响搜索的速度。虽然Bayes误差可用来定义选择过程中产生的误差，但是其并没有可解析的表达形式。因此，许多替代方案纷纷被提出并得到应用，如来源于概率统计方面的散度距离等，它们都是高斯分布情况下，Bayes误差的上界。此外，还有一些数学意义上并不严格的Bayes误差替代准则，如来源于相关分析方面的互信息等。
互信息(Mutual Information，MI)由于其不用假设数据服从任何分布因此在高光谱波段选择领域上具有十分明显的潜力，但是潜力还并没有被完全发掘。为了达到数值计算更加简单且更加准确的目的，整个数据集的多维MI可以被分解为若干个一维MI以及若干个一维条件MI。一维条件MI会较快地趋于0，因此可以对其进行舍弃。这种方法效果较好，并且在运算量方面拥有明显优势。
克隆选择(Clonal Selection)算法是来源于人体免疫系统中的克隆选择原理的一种选择方法。克隆选择认为人体免疫细胞能够随机生成多样性克隆，每一个免疫细胞的克隆表现针对某一个特点抗原的特异性受体，对于某一个选定抗原，该抗原与表达其特异性受体的免疫细胞发生特异性结合。一般来说，抗原可看做待求解问题的对象函数和限制条件，抗体可看做待求解问题的待选解，抗原抗体的亲和力可看做是是待求解问题的候选解满足待求解问题目标函数的程度。人体免疫系统过程可被看成是待求解问题的优化过程，而克隆选择算法是模拟免疫系统应答的过程，它的目的是搜索到最优波段组合即找到合适的抗体并将抗原清除。
(三)发明内容
本发明的目的在于提出基于归一化多维互信息和克隆选择的高光谱图像波段选择方法，提供了一种在高光谱图像波段选择中，提出并利用了多维互信息估计与克隆迭代次数确定的方法。它能解决直接求解多维互信息出现的难以求解的问题以及迭代次数需要人为确定的问题。
本发明的目的是通过以下技术方案实现的：针对高光谱图像所有波段，分别随机产生初始抗体集合，即波段集合，选用Kappa系数作为个体适应值的计算函数，计算抗原与抗体的个体适应值并选择最佳个体组成最佳个体集合。对最佳个体集合进行克隆和变异操作，按照适应值大小选择出最佳个体并使用归一化多维互信息判断选择过程是否结束，若没有结束则继续进行克隆变异操作直到选择出符合要求的波段。
本发明的流程图如图1所示，共分为三个步骤，具体步骤如下：
步骤一：最佳个体集合选取。
1)定义抗原并根据编码规则随机生成初始抗体组成初始集合，编码规则是随机生成的初始抗体均由“0”和“1”组成，且每个抗体中“1”的个数占总个数的一半。分别计算每个初始抗体的适应值。
对高光谱图像进行波段选择时，首先需要确定波段组合的评价准则，以此来衡量波段选择的效果。Kappa系数能够较好地体现识别与分类的正确性，因此采用其作为准则函数。
为了分析比较分类的效果，要对高光谱图像分类后的结果进行精度评价。分类精度是指分类图像中的所有像元被正确分类的程度；混淆矩阵是评价分类性能的一种常用办法，它描绘出样本真实类型与识别结果类型之间的关系。混淆矩阵CM定义如下：
Figure GDA0003240487040000031
其中，mij为属于i类且被分到j类的像素和，num为混淆矩阵行列数最大值。
Kappa系数K的计算公式如下：
Figure GDA0003240487040000041
其中，Nc为像素总数，mi:和m:i分别表示混淆矩阵的行总和和列总和。Kappa系数全面地利用了混淆矩阵的信息，可以当做分类精确度评价的准则。
首先按照编码规则随机生成初始集合，这样保证了初始抗体的随机性，利用Kappa系数计算个体适应值并进行最佳个体选择，可以选择出较好的抗体并淘汰劣质抗体。
2)选择Kappa系数作为个体适应值的计算函数，根据适应值大小从初始集合中选择出w个个体适应值较大的最佳个体组成最佳个体集合P，其中w为预期选择个数，P为最佳个体数组。
步骤二：对最佳个体集合进行克隆和变异。
1)克隆(复制)这w个最佳个体，生成临时克隆集合。克隆增殖gen倍，得到w×gen个个体组成克隆集合，其中gen一般取{2,3}。克隆操作是对所选用的个体进行复制，一般克隆操作与个体适应值即Kappa系数成正比，Kappa系数越大，克隆个体越多，例如a个抗体克隆总数用A表示如下：
Figure GDA0003240487040000042
其中，β为克隆因子，b为抗体按照Kappa系数降序排列后的序号，K为Kappa系数，round为取整运算。
因本过程选择最佳个体进行克隆，即不需要对抗体进行选择，因此每个个体克隆体个数相同。
2)对克隆集合进行高频变异操作，变异概率与Kappa系数成反比，第z个个体的变异概率Vz(z取值范围为0到w×gen)为：
Figure GDA0003240487040000051
其中，α为预先设定的变异系数，Kz是第z个个体的Kappa系数，Kmax是集合中Kappa系数的最大值。可以看出，Kappa系数越大，变异概率越小。按照计算出的变异概率，随机地改变克隆后的抗体中某些基因位上的数值。变异方法一般为随机两点变异，即随机选择抗体内部不同的像素并进行像素互换，使得抗体发生变化，变换概率与Kappa系数成反比，这样既达到了随机变异的目的，也保证了个体适应值大的个体变异率小的设定。高频变异过程使得抗体的亲和力在局部上不断地变大，因此起到微观寻优调控的目的，并对最优解的出现起到积极的作用。
3)重新计算变异集合中个体的Kappa系数，并根据Kappa系数大小从变异集合中选择w个Kappa系数较大的最佳个体组成最佳个体集合Q，其中w与步骤一中的w为同一值。
步骤三：利用多维互信息判断迭代次数，即判断波段选择是否停止。
利用多维互信息计算集合P与集合Q的相关联程度，若达到预设的阈值要求，则停止克隆增殖。
基于互信息的波段选择可被描述为：设X'为N维原始高光谱数据集合，y为相应的输出类别标定，即地物真实参考图，波段选择方法要找到一些M维的经约减过的高光谱数据集合且
Figure GDA0003240487040000052
并使得互信息指标J达到最大。此时的最佳选择波段集合记为X0，即：
Figure GDA0003240487040000053
对于高光谱图像的波段选择而言，上式必定是一个涉及多维互信息的评价指数，而且在常见的模式分类应用中，这个维数(即所选的波段数目)还不会太小。为了解决其难于求解的困难，我们把上式进一步展开，并寻找更为有效的求解方案。
首先，考虑高光谱数据集合X仅包含两个波段的情况，即M＝2，X＝(x1,x2)，其中M为光谱数据集合中包含波段的个数，x1 x2分别为这两个波段。
此时X和y之间的互信息IMI([X,y])为：
Figure GDA0003240487040000061
扩展到M＞2的情况，则X和y之间的互信息IMI'([X,y])为：
Figure GDA0003240487040000062
在上式中，由试验可知，IMI(xi,xj|y)会较快的趋向于0，可以将IMI(xi,xj|y)舍弃。
为了方便衡量关联程度，还要进行归一化处理，得到归一化多维互信息IDMI([X,y])如下：
Figure GDA0003240487040000063
由上式可以得到集合P与集合Q的相关联程度，若达到阈值要求，则选择结果满足要求，停止迭代且目标波段为选择出来的波段，否则将集合Q代替初始集合中的低适应值个体，在初始集合中用w个随机产生的新个体替换w个低适应值个体来保持群体多样性，并从步骤一1)开始进行迭代且将本步骤中替换后的初始集合作为下次循环的初始集合进行计算，直到归一化多维互信息结果达到阈值要求，波段选择结束，其中w与步骤一中的w取值一样。
本发明与现有技术相比具有如下优点：
本发明利用归一化多维互信息技术对克隆选择算法做出改进，达到了对高光谱图像进行波段选择的目的，选择出高精度的，能够全面地反映出高光谱图像信息的波段。传统克隆选择中，迭代是否终止由迭代次数决定，而迭代次数一般由人为规定，这使得克隆选择过程中迭代次数有可能过多而降低了选择效率，也可能迭代次数过少而降低了选择准确性。利用多维互信息可以对克隆选择迭代次数是否满足条件做出判断，若满足预设条件则停止迭代，这种方法代替了人为规定迭代次数，提高了高光谱图像波段选择的效率与准确性。
(四)附图说明
图1为本发明的流程图；
图2为本发明方法与Kappa系数波段选择方法的分类精度对比图。
(五)具体实施方式
下面结合实施例和附图说明本发明的具体实施方式：将基于归一化多维互信息和克隆选择的高光谱波段选择算法运用到高光谱图像波段选择中。
首先给出高光谱图像数据的描述：
实验对象为Botswana高光谱图像数据，波长范围为400nm-2500nm，包含242个波段，大小为1476×256pixel。数据集中剔除了大气吸收干扰的若干波段，留下了145个波段作为实验对象，将图像数据记为
Figure GDA0003240487040000071
本实施例中选择w＝10，从145维的波段中选择含有重要信息的波段来降维，即从一组数量为145的波段中选择出数量为10的一组波段组合，使个体适应值函数达到最大，在搜索过程中限制波段组合的波段数目为固定数值10。
执行步骤一：输入高光谱图像数据
Figure GDA0003240487040000072
和对应的标签。定义抗原并生成初始集合，计算每个个体的适应值即Kappa系数，并按照Kappa系数大小选择出10个个体适应值较大的最佳个体组成最佳个体集合P。
执行步骤二：对步骤一中的10个最佳个体进行克隆，即进行复制来生成克隆集合，取克隆倍数为2即可，共生成20个克隆新个体。对克隆新个体进行变异操作，取变异系数α为1.3，变异方法采用随机两点变异，变异概率的选择与个体的Kappa系数大小有关，Kappa系数越大，变异率越小。变异后，重新计算变异个体的Kappa系数，并按照Kappa系数大小选择出10个Kappa系数较大的最佳个体组成最佳个体集合Q。
执行步骤三：计算集合P与集合Q之间的归一化多维互信息，来判断两者之间的相关联程度。取多维互信息阈值为0.9500，通过第一次克隆变异过程，计算出此时两者多维互信息为0.7325，没有达到阈值要求，返回执行步骤1进行迭代，当迭代次数达到约340代后，两集合多维互信息达到0.9511，大于阈值，选择结束。
试验还加入了利用Kappa系数作为评价标准直接对高光谱图像进行波段选择作为对比。将Kappa系数作为评价标准可以从高光谱图像中选择出10个波段并与本发明方法进行精度对比。
表1基于归一化多维互信息的克隆选择算法的4次迭代试验比较
Figure GDA0003240487040000081
本实施例结论：波段选择试验结果见表1。利用基于归一化多维互信息和克隆选择的高光谱波段选择算法对高光谱图像进行4次波段选择，选择结果在所有波段中分布均匀，能够代表高光谱图像的基本特性，选择结束时所有最优个体Kappa系数平均值均在0.85以上，选择效果较好。4组试验迭代次数分别为324代、343代、338代和344代，迭代次数较为集中。对比试验结果见图2。分别利用本发明方法与利用Kappa系数作为评价标准直接选择进行波段选取试验，得到的了精度对比结果。从图中可以看出，除了部分标签外，本发明方法精度均大于直接利用Kappa系数进行波段选择，本发明可以选择出高精度的，能够更全面地反映高光谱图像信息的波段。

Claims (3)

1.基于归一化多维互信息和克隆选择的高光谱波段选择方法，其特征在于它包括以下步骤：
步骤一：读入高光谱图像，定义抗原并随机生成初始集合，以Kappa系数作为适应值函数来计算每个个体的个体适应值，根据个体适应值大小从候选方案集合中选择w个个体适应值较大的最佳个体组成最佳个体集合P；
步骤二：将最佳个体集合P中的个体克隆为gen倍，并进行高频变异操作，变异概率与个体适应值成反比，从变异集合中选择w个个体适应值较大的最佳个体组成最佳个体集合Q；
步骤三：为了方便衡量关联程度，还要进行归一化处理，得到归一化多维互信息IDMI([X,y])如下：
Figure FDA0003256612570000011
其中X为高光谱数据集合，y为输出类别标定，xi为高光谱数据集合中的第i个波段，IMI([X,y])为X和y之间的互信息，公式如下：
Figure FDA0003256612570000012
利用归一化多维互信息计算集合P与集合Q之间的关联程度，如果达到阈值要求则选择结束，否则进行低适应值个体替换并返回步骤一，直到归一化多维互信息结果满足阈值要求。
2.根据权利要求1所述的基于归一化多维互信息和克隆选择的高光谱波段选择方法，步骤一中选用Kappa系数作为分类精确度评价的准则函数，其特征在于：
Kappa系数K的计算公式如下：
Figure FDA0003256612570000021
其中mij为属于i类且被分到j类的像素和，mi:和m:i分别表示混淆矩阵的行总和和列总和，num为混淆矩阵行列数最大值，Nc为像素总数。
3.根据权利要求1所述的基于归一化多维互信息和克隆选择的高光谱波段选择方法，步骤二中高频变异操作为随机两点变异，变异概率与个体适应值成反比，其特征在于：
第z个个体的变异概率Vz为：
Figure FDA0003256612570000022
其中，α为预先设定的变异系数，Kz是第z个个体的Kappa系数，Kmax是集合中Kappa系数的最大值。
CN201610445958.0A 2016-06-21 2016-06-21 基于归一化多维互信息和克隆选择的高光谱波段选择方法 Active CN107527061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610445958.0A CN107527061B (zh) 2016-06-21 2016-06-21 基于归一化多维互信息和克隆选择的高光谱波段选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610445958.0A CN107527061B (zh) 2016-06-21 2016-06-21 基于归一化多维互信息和克隆选择的高光谱波段选择方法

Publications (2)

Publication Number Publication Date
CN107527061A CN107527061A (zh) 2017-12-29
CN107527061B true CN107527061B (zh) 2021-12-14

Family

ID=60733913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610445958.0A Active CN107527061B (zh) 2016-06-21 2016-06-21 基于归一化多维互信息和克隆选择的高光谱波段选择方法

Country Status (1)

Country Link
CN (1) CN107527061B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873658A (zh) * 2006-06-29 2006-12-06 武汉大学 一种遥感影像的人工免疫特征选择方法
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN102521605A (zh) * 2011-11-25 2012-06-27 河海大学 一种高光谱遥感图像波段选择方法
CN102831436A (zh) * 2012-08-02 2012-12-19 哈尔滨工业大学 基于参考图互信息波段选择和emd的高光谱图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ701369A (en) * 2012-03-28 2016-09-30 Univ Houston System Methods and software for screening and diagnosing skin lesions and plant diseases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873658A (zh) * 2006-06-29 2006-12-06 武汉大学 一种遥感影像的人工免疫特征选择方法
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN102521605A (zh) * 2011-11-25 2012-06-27 河海大学 一种高光谱遥感图像波段选择方法
CN102831436A (zh) * 2012-08-02 2012-12-19 哈尔滨工业大学 基于参考图互信息波段选择和emd的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hyperspectral Band Selection Based on Trivariate Mutual Information and Clonal Selection;Jie Feng等;《IEEE Transactions on Geoscience and Remote Sensing》;20131217;第52卷(第7期);全文 *
基于克隆选择算法的高光谱图像波段选择;杨三美;《中国优秀硕士学位论文全文数据库信息科技辑》;20120715;全文 *

Also Published As

Publication number Publication date
CN107527061A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
Zeng et al. Unsupervised hyperspectral image band selection based on deep subspace clustering
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN108446741B (zh) 机器学习超参数重要性评估方法、系统及存储介质
CN108021930B (zh) 一种自适应的多视角图像分类方法及系统
CN112613536B (zh) 一种基于smote和深度学习的近红外光谱柴油牌号识别方法
CN113536925B (zh) 一种基于引导注意力机制的人群计数方法
CN111626224B (zh) 基于近红外光谱和ssa优化的elm的煤矸石快速识别方法
CN114741603A (zh) 基于用户聚类和商品聚类的混合协同过滤推荐算法
CN112686902A (zh) 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法
Fang et al. Multiscale CNNs ensemble based self-learning for hyperspectral image classification
Feng et al. Hyperspectral band selection based on ternary weight convolutional neural network
Luo et al. HSCoNAS: Hardware-software co-design of efficient DNNs via neural architecture search
Li et al. An end-to-end framework for joint denoising and classification of hyperspectral images
CN114663770A (zh) 一种基于集成聚类波段选择的高光谱图像分类方法及系统
CN111309577A (zh) 一种面向Spark的批处理应用执行时间预测模型构建方法
CN112036432B (zh) 一种基于禁忌优化的光谱建模样本集快速划分方法
CN104778480A (zh) 一种基于局部密度和测地距离的分层谱聚类方法
CN108509840B (zh) 基于量子记忆优化机制的高光谱遥感图像波段选择方法
CN117392450A (zh) 一种基于进化多尺度特征学习的钢铁材料质量解析方法
CN107527061B (zh) 基于归一化多维互信息和克隆选择的高光谱波段选择方法
CN116129189A (zh) 一种植物病害识别方法、设备、存储介质及装置
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
Liu et al. Spectral–spatial graph convolutional network with dynamic-synchronized multiscale features for few-shot hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant