CN105023024A - 一种基于正则化集合度量学习的遥感图像分类方法及系统 - Google Patents
一种基于正则化集合度量学习的遥感图像分类方法及系统 Download PDFInfo
- Publication number
- CN105023024A CN105023024A CN201510437561.2A CN201510437561A CN105023024A CN 105023024 A CN105023024 A CN 105023024A CN 201510437561 A CN201510437561 A CN 201510437561A CN 105023024 A CN105023024 A CN 105023024A
- Authority
- CN
- China
- Prior art keywords
- pixel
- training
- matrix
- regularization
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 251
- 239000011159 matrix material Substances 0.000 claims abstract description 197
- 238000012360 testing method Methods 0.000 claims abstract description 117
- 230000009467 reduction Effects 0.000 claims abstract description 42
- 238000001228 spectrum Methods 0.000 claims description 84
- 230000002776 aggregation Effects 0.000 claims description 77
- 238000004220 aggregation Methods 0.000 claims description 77
- 239000000203 mixture Substances 0.000 claims description 36
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000013011 mating Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于正则化集合度量学习的遥感图像分类方法及系统,包括输入待分类的高光谱遥感图像,划分训练样本和测试样本;基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像;分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合;基于所述训练像素集合,学习得正则化集合度量矩阵;基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类;本发明实现了直接度量像素集合之间的相似性,有效利用高光谱遥感图像数据的多重空谱特征,得到准确可靠的度量关系和分类结果。
Description
技术领域
本发明涉及遥感图像处理技术领域,特别涉及一种基于正则化集合度量学习的遥感图像分类方法及系统。
背景技术
高光谱遥感图像分类广泛应用于农作物分析、矿物辨识、湖泊湿地分类和土地利用/覆盖分类等领域。传统的基于光谱分类方法,未考虑空间邻域像素的相关性,应用于高光谱遥感图像分类时,效果欠佳。基于光谱—空间域联合分类方法,是提升高光谱遥感图像分类性能的有效途径。
目前,常用的光谱—空间域联合分类方法,主要有以下三类:第一类,在光谱分类之前利用空间域信息进行特征提取,代表性方法为形态学轮廓方法;第二类,同时利用空间域信息和光谱信息进行联合分类,代表性方法为组合核分类方法;第三类,在光谱分类之后利用空域信息进行后处理,代表性方法为基于图像分割的方法。
以上分类方法,其本质都是寻求一种合理有效的相似性度量,实现准确的目标分类。光谱分类方法是基于光谱相似性度量进行分类;光谱—空间域联合分类方法是同时考虑光谱相似性和空间域相似性,其试图描述邻域像素所构成的局部像素集合之间的某种相似性;但,由于直接度量像素集合之间的相似性较困难,通常基于像素点或特征向量进行分类,即用像素点替代像素集合,其不能充分地描述高光谱遥感图像局部同源区域之间的结构相似性。
发明内容
本发明目的是提供一种基于正则化集合度量学习的遥感图像分类方法,解决现有技术中存在的上述问题。
本发明解决上述技术问题的技术方案如下:
一种基于正则化集合度量学习的遥感图像分类方法,包括如下步骤:
步骤1,输入待分类的高光谱遥感图像,划分训练样本和测试样本;
步骤2,基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像;
步骤3,分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合;
步骤4,基于所述训练像素集合,学习得正则化集合度量矩阵;
步骤5,基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
本发明的有益效果是:对待分类的高光谱遥感图像进行维数约简,在降维的低维高光谱遥感图像上,构建空间域局部训练像素集合和测试像素集合,基于训练像素集合,学习得到描述集合到集合距离的正则化集合度量矩阵,并计算测试像素集合与各训练像素集合之间的集合距离,实现对测试样本的分类;面向高光谱遥感图像光谱和空间域特征,构建具有更好目标特征承载能力的局部同源像素集合,开展像素集合到像素集合的正则化集合度量学习与分类,直接度量像素集合之间的相似性,有效利用高光谱遥感图像数据的多重空谱特征,即光谱、空间形状和纹理特征等,得到准确可靠的度量关系和分类结果。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤2包括如下步骤:
步骤21,根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵。
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重。
步骤22,按如下第三公式计算全部训练样本的总散度矩阵。
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n。
步骤23,按如下第四公式学习得降维矩阵。
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v。
步骤24,将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
进一步,所述步骤3的具体实现为在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
进一步,所述步骤4包括如下步骤:
步骤41,初始化正则化集合度量矩阵为单位矩阵。
步骤42,基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对。
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量。
步骤43,根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵。
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
进一步,所述步骤5的具体实现为基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中。
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
本发明的另一技术方案如下:
一种基于正则化集合度量学习的遥感图像分类系统,包括样本划分模块、低维高光谱遥感图像生成模块、像素集合生成模块、正则化集合度量矩阵求解模块和测试样本分类模块。
所述样本划分模块,其用于输入待分类的高光谱遥感图像,划分训练样本和测试样本。
所述低维高光谱遥感图像生成模块,其用于基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像。
所述像素集合生成模块,其用于分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合。
所述正则化集合度量矩阵求解模块,其用于基于所述训练像素集合,学习得正则化集合度量矩阵。
所述测试样本分类模块,其用于基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述低维高光谱遥感图像生成模块包括局部像素邻域保持矩阵求解单元、总散度矩阵求解单元、降维矩阵求解单元和高光谱遥感图像降维单元。
所述局部像素邻域保持矩阵求解单元,其用于根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵。
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重。
所述总散度矩阵求解单元,其用于按如下第三公式计算全部训练样本的总散度矩阵。
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n。
所述降维矩阵求解单元,其用于按如下第四公式学习得降维矩阵。
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v。
所述高光谱遥感图像降维单元,其用于将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
进一步,所述像素集合生成模块,其具体用于在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
进一步,所述所述正则化集合度量矩阵求解模块包括正则化集合度量矩阵初始化单元、正负样本对生成单元和正则化集合度量矩阵更新单元。
所述正则化集合度量矩阵初始化单元,其用于初始化正则化集合度量矩阵为单位矩阵。
所述正负样本对生成单元,其用于基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对。
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量。
所述正则化集合度量矩阵更新单元,其用于根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵。
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
进一步,所述测试样本分类模块,其具体用于基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中。
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
附图说明
图1为本发明一种基于正则化集合度量学习的遥感图像分类方法的方法流程图;
图2为本发明一种基于正则化集合度量学习的遥感图像分类系统的原理框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,包括如下步骤:
步骤1,输入待分类的高光谱遥感图像,划分训练样本和测试样本。
所述高光谱遥感图像,包含目标的二维空间图像信息和一维连续光谱信息,所述一维连续光谱信息是像元经色散形成的;所述训练样本和测试样本可随机划分选择,且本发明适用于训练样本少的小样本分类情形;每个所述训练样本或测试样本为空间的一个像素,为包含不同波段光谱信息的列向量;所述训练样本用于训练学习降维矩阵和正则化集合度量矩阵,所述测试样本为本发明待分类的样本;所述高光谱遥感图像的数据格式为.mat格式的三维数据矩阵。
步骤2,基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像。
所述步骤2包括如下步骤:
步骤21,根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵;其中,所述预设像素邻域窗口根据高光谱遥感图像的特点,可选3x3、5x5、7x7、9x9或11x11等。如果高光谱遥感图像具有较大的同源区域分布,则选用较大的预设像素邻域窗口,如11x11;如果高光谱遥感图像具有较小的同源区域分布,则选用较小的预设像素邻域窗口,如3x3。
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重;所述ωk=μkυk,其中μk=exp(-γ1||xi-xik||2)反映训练样本i与其邻域像素ik之间的光谱关系,υk=exp(-((pi-pik)2+(qi-qik)2)/(2σ2))反映训练样本i与其邻域像素ik之间的空间域距离关系;γ1为尺度参数,可根据实验数据交叉验证得到,(pi,qi)为所述训练样本xi的空间坐标,(pik,qik)为所述邻域像素ik的空间坐标,σ取值为所述预设像素邻域窗口窗宽的一半。
步骤22,按如下第三公式计算全部训练样本的总散度矩阵。
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n为所有训练样本的均值向量。
步骤23,按如下第四公式学习得降维矩阵。
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v。
所述降维矩阵能够尽可能地保持样本的局部邻域结构信息和数据的方差,即同时最小化局部像素邻域保持散度和最大化总散度。
步骤24,将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
步骤3,分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合。
所述步骤3的具体实现为在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
步骤4,基于所述训练像素集合,学习得正则化集合度量矩阵。
所述步骤4包括如下步骤:
步骤41,初始化正则化集合度量矩阵为单位矩阵。
步骤42,基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对。
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量。
所述a和b可通过如下模型优化计算得到。
所述模型如下:
其中,Di为矩阵为Xi的训练像素集合的正则化矩阵,其为对角矩阵,其对角元素k∈{1,2,3……s},其中,xi为矩阵为Xi的训练像素集合中训练样本i的列向量,xik为所述训练样本的任意一个邻域像素ik的列向量,s为训练样本i的邻域像素的总数,i为1或2;αj为矩阵为X1的训练像素集合中任意一个像素所对应的凸包系数,βj为矩阵为X2的训练像素集合中任意一个像素所对应的凸包系数,j∈{1,2,3……s,s+1},a=[α1,…,αs+1]T,b=[β1,…,βs+1]T。
步骤43,根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵。
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
步骤5,基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
所述步骤5的具体实现为基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中。
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
如图2所示,一种基于正则化集合度量学习的遥感图像分类系统,包括样本划分模块、低维高光谱遥感图像生成模块、像素集合生成模块、正则化集合度量矩阵求解模块和测试样本分类模块。
所述样本划分模块,其用于输入待分类的高光谱遥感图像,划分训练样本和测试样本。
所述低维高光谱遥感图像生成模块,其用于基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像。
所述低维高光谱遥感图像生成模块包括局部像素邻域保持矩阵求解单元、总散度矩阵求解单元、降维矩阵求解单元和高光谱遥感图像降维单元。
所述局部像素邻域保持矩阵求解单元,其用于根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵。
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重。
所述总散度矩阵求解单元,其用于按如下第三公式计算全部训练样本的总散度矩阵。
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n。
所述降维矩阵求解单元,其用于按如下第四公式学习得降维矩阵。
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v。
所述高光谱遥感图像降维单元,其用于将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
所述像素集合生成模块,其用于分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合。
所述像素集合生成模块,其具体用于在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
所述正则化集合度量矩阵求解模块,其用于基于所述训练像素集合,学习得正则化集合度量矩阵。
所述正则化集合度量矩阵求解模块包括正则化集合度量矩阵初始化单元、正负样本对生成单元和正则化集合度量矩阵更新单元。
所述正则化集合度量矩阵初始化单元,其用于初始化正则化集合度量矩阵为单位矩阵。
所述正负样本对生成单元,其用于基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对。
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量。
所述正则化集合度量矩阵更新单元,其用于根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵。
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
所述测试样本分类模块,其用于基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
所述测试样本分类模块,其具体用于基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中。
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,包括如下步骤:
步骤1,输入待分类的高光谱遥感图像,划分训练样本和测试样本;
步骤2,基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像;
步骤3,分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合;
步骤4,基于所述训练像素集合,学习得正则化集合度量矩阵;
步骤5,基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
2.根据权利要求1所述一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,所述步骤2包括如下步骤:
步骤21,根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵;
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重;
步骤22,按如下第三公式计算全部训练样本的总散度矩阵;
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n;
步骤23,按如下第四公式学习得降维矩阵;
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v;
步骤24,将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
3.根据权利要求2所述一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,所述步骤3的具体实现为在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
4.根据权利要求1所述一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,所述步骤4包括如下步骤:
步骤41,初始化正则化集合度量矩阵为单位矩阵;
步骤42,基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对;
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量;
步骤43,根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵;
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
5.根据权利要求4所述一种基于正则化集合度量学习的遥感图像分类方法,其特征在于,所述步骤5的具体实现为基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中;
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
6.一种基于正则化集合度量学习的遥感图像分类系统,其特征在于,包括样本划分模块、低维高光谱遥感图像生成模块、像素集合生成模块、正则化集合度量矩阵求解模块和测试样本分类模块;
所述样本划分模块,其用于输入待分类的高光谱遥感图像,划分训练样本和测试样本;
所述低维高光谱遥感图像生成模块,其用于基于训练样本,学习得降维矩阵,并对所述高光谱遥感图像进行维数约简,得低维高光谱遥感图像;
所述像素集合生成模块,其用于分别建立每个训练样本和每个测试样本在所述低维高光谱遥感图像上的训练像素集合和测试像素集合;
所述正则化集合度量矩阵求解模块,其用于基于所述训练像素集合,学习得正则化集合度量矩阵;
所述测试样本分类模块,其用于基于所述正则化集合度量矩阵,计算每个测试像素集合与各训练像素集合之间的集合距离,基于集合距离对每个测试像素集合对应的测试样本进行分类。
7.根据权利要求6所述一种基于正则化集合度量学习的遥感图像分类系统,其特征在于,所述低维高光谱遥感图像生成模块包括局部像素邻域保持矩阵求解单元、总散度矩阵求解单元、降维矩阵求解单元和高光谱遥感图像降维单元;
所述局部像素邻域保持矩阵求解单元,其用于根据预设像素邻域窗口,按如下第一公式计算每个训练样本的局部像素距离散度矩阵,按如下第二公式计算全部训练样本的局部像素邻域保持矩阵;
所述第一公式如下:
所述第二公式如下:
其中,所述xi为训练样本i对应的列向量,i∈{1,2,3……n},n为训练样本的总数;xik为训练样本i的邻域像素ik对应的列向量,k∈{1,2,3……s},s为训练样本i的邻域像素的总数;所述ωk为训练样本i与其邻域像素ik之间的光谱和空间域距离关系权重;
所述总散度矩阵求解单元,其用于按如下第三公式计算全部训练样本的总散度矩阵;
所述第三公式如下:
其中,所述m=(x1+x2+…+xn)/n;
所述降维矩阵求解单元,其用于按如下第四公式学习得降维矩阵;
所述第四公式如下:
V=[v1 v2 … vd]
其中,所述d为所述低维高光谱遥感图像的维数,所述v1 v2 … vd分别为Sv=λHv的前d个最大广义特征值λ所对应的特征向量v;
所述高光谱遥感图像降维单元,其用于将所述高光谱遥感图像与所述降维矩阵相乘,得所述低维高光谱遥感图像。
8.根据权利要求7所述一种基于正则化集合度量学习的遥感图像分类系统,其特征在于,所述像素集合生成模块,其具体用于在所述低维高光谱遥感图像上,根据所述预设像素邻域窗口,确定每个训练样本的邻域像素和每个测试样本的邻域像素;每个训练样本和其对应的邻域像素组成训练像素集合;每个测试样本和其对应的邻域像素组成测试像素集合。
9.根据权利要求6所述一种基于正则化集合度量学习的遥感图像分类系统,其特征在于,所述正则化集合度量矩阵求解模块包括正则化集合度量矩阵初始化单元、正负样本对生成单元和正则化集合度量矩阵更新单元;
所述正则化集合度量矩阵初始化单元,其用于初始化正则化集合度量矩阵为单位矩阵;
所述正负样本对生成单元,其用于基于初始化的正则化集合度量矩阵,按如下第五公式,计算各训练像素集合之间的正则化集合距离;对每个训练像素集合,获得与其具有最小正则化集合距离的同类的训练像素集合,构造属于同类的正样本对;获得与其具有最小正则化集合距离的异类的训练像素集合,构造属于异类的负样本对;
所述第五公式如下:
dI(X1,X2)=(X1a-X2b)TI(X1a-X2b)
其中,所述X1,X2为任意两个训练像素集合的矩阵,dI(X1,X2)为所述任意两个训练像素集合之间的正则化集合距离,I为所述初始化的正则化集合度量矩阵,a为矩阵为X1的训练像素集合中各像素所对应的凸包系数组成的向量,b为矩阵为X2的训练像素集合中各像素所对应的凸包系数组成的向量;
所述正则化集合度量矩阵更新单元,其用于根据构造的正样本对和负样本对,按如下优化模型计算更新的正则化集合度量矩阵;
所述优化模型如下:
其中,所述M为更新的正则化集合度量矩阵,Xi为任意一个训练像素集合的矩阵,Xk为所述任意一个训练像素集合的正样本对中的另一训练像素集合的矩阵,Xj为所述任意一个训练像素集合的负样本对中的另一训练像素集合的矩阵,为所述任意一个训练像素集合的正样本对的松弛变量,为所述任意一个训练像素集合的负样本对的松弛变量,dM(Xi,Xk)为所述任意一个训练像素集合与其正样本对中另一训练像素集合之间的集合距离,dM(Xi,Xj)为所述任意一个训练像素集合与其负样本对中另一训练像素集合之间的集合距离,α为惩罚参数;所述ρ为偏移量,可由所述优化模型求解出。
10.根据权利要求9所述一种基于正则化集合度量学习的遥感图像分类系统,其特征在于,所述测试样本分类模块,其具体用于基于更新的正则化集合度量矩阵,按如下第六公式,计算每个测试像素集合与各训练像素集合之间的集合距离,获得与所述测试像素集合具有最小集合距离的匹配的训练像素集合,并将所述测试像素集合对应的测试样本分类到所述匹配的训练像素集合对应的训练样本的类别中;
所述第六公式如下:
dM(Y,Xi)=(Yc-Xibi)TM(Yc-Xibi)
其中,所述Y为所述测试像素集合的矩阵,Xi为任意一个训练像素集合的矩阵,dM(Y,Xi)为所述测试像素集合与所述任意一个训练像素集合之间的集合距离,M为所述更新的正则化集合度量矩阵,c为所述测试像素集合中各像素所对应的凸包系数组成的向量,bi为所述任意一个训练像素集合中各像素所对应的凸包系数组成的向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510437561.2A CN105023024B (zh) | 2015-07-23 | 2015-07-23 | 一种基于正则化集合度量学习的遥感图像分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510437561.2A CN105023024B (zh) | 2015-07-23 | 2015-07-23 | 一种基于正则化集合度量学习的遥感图像分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105023024A true CN105023024A (zh) | 2015-11-04 |
CN105023024B CN105023024B (zh) | 2017-09-22 |
Family
ID=54412978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510437561.2A Expired - Fee Related CN105023024B (zh) | 2015-07-23 | 2015-07-23 | 一种基于正则化集合度量学习的遥感图像分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105023024B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956610A (zh) * | 2016-04-22 | 2016-09-21 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种基于多层编码结构的遥感图像地形分类方法 |
CN106529458A (zh) * | 2016-10-31 | 2017-03-22 | 重庆大学 | 一种面向高光谱图像的深度神经网络空间谱分类方法 |
CN108710948A (zh) * | 2018-04-25 | 2018-10-26 | 佛山科学技术学院 | 一种基于聚类均衡和权重矩阵优化的迁移学习方法 |
CN108805061A (zh) * | 2018-05-30 | 2018-11-13 | 西北工业大学 | 基于局部自适应判别分析的高光谱图像分类方法 |
CN110852367A (zh) * | 2019-11-05 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 图像分类方法、计算机设备和存储介质 |
CN111460966A (zh) * | 2020-03-27 | 2020-07-28 | 中国地质大学(武汉) | 基于度量学习和近邻增强的高光谱遥感图像分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840569A (zh) * | 2010-03-19 | 2010-09-22 | 西安电子科技大学 | 基于迁移学习的投影寻踪高光谱图像分割方法 |
CN103336968A (zh) * | 2013-05-28 | 2013-10-02 | 中国矿业大学 | 基于张量距离补丁校准的高光谱数据降维方法 |
CN104616324A (zh) * | 2015-03-06 | 2015-05-13 | 厦门大学 | 基于自适应表观模型和点-集距离度量学习的目标跟踪方法 |
-
2015
- 2015-07-23 CN CN201510437561.2A patent/CN105023024B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840569A (zh) * | 2010-03-19 | 2010-09-22 | 西安电子科技大学 | 基于迁移学习的投影寻踪高光谱图像分割方法 |
CN103336968A (zh) * | 2013-05-28 | 2013-10-02 | 中国矿业大学 | 基于张量距离补丁校准的高光谱数据降维方法 |
CN104616324A (zh) * | 2015-03-06 | 2015-05-13 | 厦门大学 | 基于自适应表观模型和点-集距离度量学习的目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
屈志毅等: "《利用mahalanobis距离进行人脸表情的识别》", 《兰州大学学报( 自然科学版)》 * |
牛璐璐: "《结合图像空间信息的线性判别分析研究》", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105956610A (zh) * | 2016-04-22 | 2016-09-21 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种基于多层编码结构的遥感图像地形分类方法 |
CN105956610B (zh) * | 2016-04-22 | 2019-02-22 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种基于多层编码结构的遥感图像地形分类方法 |
CN106529458A (zh) * | 2016-10-31 | 2017-03-22 | 重庆大学 | 一种面向高光谱图像的深度神经网络空间谱分类方法 |
CN108710948A (zh) * | 2018-04-25 | 2018-10-26 | 佛山科学技术学院 | 一种基于聚类均衡和权重矩阵优化的迁移学习方法 |
CN108710948B (zh) * | 2018-04-25 | 2021-08-31 | 佛山科学技术学院 | 一种基于聚类均衡和权重矩阵优化的迁移学习方法 |
CN108805061A (zh) * | 2018-05-30 | 2018-11-13 | 西北工业大学 | 基于局部自适应判别分析的高光谱图像分类方法 |
CN110852367A (zh) * | 2019-11-05 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 图像分类方法、计算机设备和存储介质 |
CN110852367B (zh) * | 2019-11-05 | 2023-10-31 | 上海联影智能医疗科技有限公司 | 图像分类方法、计算机设备和存储介质 |
CN111460966A (zh) * | 2020-03-27 | 2020-07-28 | 中国地质大学(武汉) | 基于度量学习和近邻增强的高光谱遥感图像分类方法 |
CN111460966B (zh) * | 2020-03-27 | 2024-02-02 | 中国地质大学(武汉) | 基于度量学习和近邻增强的高光谱遥感图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105023024B (zh) | 2017-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105023024A (zh) | 一种基于正则化集合度量学习的遥感图像分类方法及系统 | |
Mamalakis et al. | Neural network attribution methods for problems in geoscience: A novel synthetic benchmark dataset | |
Zhang et al. | A comparison study of impervious surfaces estimation using optical and SAR remote sensing images | |
Nelson et al. | Delineation of river bed-surface patches by clustering high-resolution spatial grain size data | |
CN102999762B (zh) | 基于Freeman分解和谱聚类的极化SAR图像分类方法 | |
Murtaza et al. | Determining the suitability and accuracy of various statistical algorithms for satellite data classification | |
CN107358182A (zh) | 行人检测方法及终端设备 | |
CN105787516A (zh) | 一种基于空谱局部性低秩超图学习的高光谱图像分类方法 | |
CN103955926A (zh) | 基于Semi-NMF的遥感图像变化检测方法 | |
Atkinson et al. | Multi-resolution soil-landscape characterisation in KwaZulu Natal: Using geomorphons to classify local soilscapes for improved digital geomorphological modelling | |
CN104182985A (zh) | 遥感图像变化检测方法 | |
Yue et al. | Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram | |
CN105469111A (zh) | 基于改进的mfa和迁移学习的小样本集的物体分类方法 | |
CN103226825B (zh) | 基于低秩稀疏模型的遥感图像变化检测方法 | |
CN103745233A (zh) | 基于空间信息迁移的高光谱图像分类方法 | |
CN106600607A (zh) | 一种基于水平集分割极化sar影像的水体精确提取方法 | |
CN103955709A (zh) | 基于加权合成核与tmf的极化sar图像分类方法 | |
Han et al. | Vision-based crack detection of asphalt pavement using deep convolutional neural network | |
CN107392863A (zh) | 基于亲和矩阵融合谱聚类方法的sar图像变化检测方法 | |
CN105138966A (zh) | 基于快速密度峰值聚类的极化sar图像分类方法 | |
Abdollahifard et al. | Efficient training image selection for multiple-point geostatistics via analysis of contours | |
Xia et al. | Land resource use classification using deep learning in ecological remote sensing images | |
CN108985161A (zh) | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 | |
CN105787505A (zh) | 一种结合稀疏编码和空间约束的红外图像聚类分割方法 | |
Zheng et al. | Laboratory-on-a-smartphone for estimating angularity of granular soils |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170922 |
|
CF01 | Termination of patent right due to non-payment of annual fee |