CN108875649A - 一种地物分类方法、系统、设备和存储介质 - Google Patents
一种地物分类方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN108875649A CN108875649A CN201810654261.3A CN201810654261A CN108875649A CN 108875649 A CN108875649 A CN 108875649A CN 201810654261 A CN201810654261 A CN 201810654261A CN 108875649 A CN108875649 A CN 108875649A
- Authority
- CN
- China
- Prior art keywords
- wave
- pixel
- pixsample
- image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种地物分类的方法、装置及存储介质,其中方法包括:获取第一图像,所述第一图像的每个像素点是分类样本像素点或者是待分类像素点;标注所述第一图像中的全部所述分类样本像素点;对部分所述分类样本像素点进行训练,生成决策树;产生所述第一图像的该分类样本像素点的多波段特征的重要性排名;重新描述所述分类样本像素点;从所述第一图像中的全部分类样本像素点和待分类像素点的全部波段中分别提取所述选择的波段组成第二图像;利用所述第二图像中每个像素点的波段值分别生成新波段特征;用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL;用分类模型MODEL将第二图像中的全部待分类像素点逐一自动进行分类。
Description
技术领域
本发明涉及一种地物分类方法,具体而言,涉及一种地物分类方法、装置、设备及计算机可读存储介质。
背景技术
本发明对背景技术的描述属于与本发明的相关技术,仅仅是用于说明和便于理解本发明的发明内容,不应理解为申请人明确认为或推定申请人认为是本发明在首次提出申请的申请日的现有技术。
上世纪以来航空航天以及卫星遥感技术不断发展,通过卫星影像数据,为国土资源监察和管理提供了很大便利。在遥感领域一些常用的分类地物的算法,如ndvi,evi,等不能很好的解决这种问题,分类效果也很差。现阶段很多卫星影像需要人工进行标记,然而卫星影像的一大特点就是数据量大,纯人工标注的工作量巨大。
发明内容
本发明旨在至少在一定程度上解决相关技术问题中的技术问题之一。
为解决上述现有技术的缺陷,本发明实施例提供一种地物分类方法、地物分类方法装置、计算机设备及计算机可读存储介质。
为此,本发明一个实施例的地物分类方法,包括:获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample(pixsample1,pixsample2,……,pixm)或者是待分类像素点pixwait(pixwait1,pixwait2,……,pixwaitn);标注所述第一图像中的全部所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm),所述全部分类样本像素点包含了对该第一图像的全部分类;对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixf)(f<m)利用XGBoost进行训练,生成决策树,其中所述部分分类样本像素点包含了对该第一图像的全部分类;根据所述决策树产生所述第一图像的分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名;根据所述排名,选择部分波段特征来描述全部分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……,pixtoph);从所述第一图像中的全部分类样本像素点pixsample和待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……,wavetoph)组成第二图像,其中h<k;利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……,wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……,wavenewp);用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL;用分类模型MODEL将第二图像中的全部待分类像素点pixwait’逐一自动进行分类。
根据优选实施例,其中,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……wavenewp),包括:组合生成新特征,从所述选择的波段wavetop1-toph中选取任意波段相互组合计算而生成新特征,从而生成h(h-1)/2个新特征。
根据优选实施例,其中,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……wavenewp),包括:滑窗生成新特征,选取特定的小窗口在原图像上逐步滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围、熵、互信息等中的一个或多个,生成新的特征,作为滑窗中心位置的一个样本。
根据优选实施例,其中对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixf)(f<m)利用XGBoost进行训练,生成决策树的步骤之前,还包括:选择部分所述分类样本像素点,按照预定规则对各类样本像素点进行选择。
根据优选实施例,其中所述预定规则是,为各类样本像素点的数目设置阈值,若某类标注数目大于等于该阈值,则仅选取阈值数目的样本点;若某类标注数目小于该阈值,则选择全部该类样本点。
本发明还提供了一种地物分类装置,包括:获取图像数据单元,获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm)或者是待分类像素点pixwait(pixwait1,pixwait2,pixwait3,……,pixwaitn);标注分类样本像素点单元,标注所述第一图像中的全部所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm);分类样本像素点训练单元,对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm)利用XGBoost进行训练,生成决策树;波段重要性排名单元,根据所述决策树产生所述第一图像的该分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名;波段选择单元,根据所述排名,选择部分波段特征来描述所述分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……pixtoph);第二图像生成单元,从所述第一图像中的全部分类样本像素点pixsample和待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……wavetoph)组成第二图像,其中h<k;新波段特征生成单元,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……wavenewp);分类模型装置生成单元,用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL;结果预测单元,用分类模型MODEL将第二图像中的全部待分类像素点pixwait’逐一自动进行分类。
根据优选实施例,其中,所述新波段特征生成单元包括:组合生成新特征模块,从所述选择的波段wavetop1-toph中选取任意波段相互组合计算而生成新特征,从而生成h(h-1)/2个新特征。
根据优选实施例,其中,所述新波段特征生成单元包括:滑窗生成新特征模块,选取特定的小窗口在原图像上逐步滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围、熵、互信息等中的一个或多个,生成新的特征,作为滑窗中心位置的一个样本。
根据优选实施例,所述地物分类装置还包括:选择部分所述分类样本像素点,按照预定规则对各类样本像素点进行选择。
根据优选实施例,其中所述预定规则是,为各类样本像素点的数目设置阈值,若某类标注数目大于等于该阈值,则仅选取阈值数目的样本点;若某类标注数目小于该阈值,则选择全部该类样本点。
此外,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述地物分类方法的步骤。
此外,本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述地物分类方法的步骤。
本发明提出一种特征构造方法,并利用XGBoost算法对卫星影像中的地物进行分类,得到了良好的效果。
本方法只需少量的人工标注。通过模型训练可自动的完成对剩余图像的标注工作,极大的解放了人力。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍:
图1示出了本申请的一种地物分类方法100的流程图;
图2示出了本申请的一种地物分类装置200的框图;
图3示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
图4(a)-(c)依次示出了原始卫星图像、采用本申请地物分类方法所生成的分类结果示意图以及采用ENVI神经网络分类结果示意图;
图5(a)-(c)示出了XGBoost算法相关示意图。
本发明的上述和/或附加的方面和优点从以下结合附图对具体实施方式的描述中将变得明显和容易理解。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。
应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
下面参考附图描述本发明实施例的地物分类方法。
参照附图1。步骤101,获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample或者是待分类像素点pixwait。其中,第一图像可以是卫星拍摄的卫星影像数据,分类样本像素点可以是由人工进行标注作为分类样本。如,该卫星影像包括M个分类样本像素点pixsample和N个待分类像素点pixwait,M+N个像素点共同构成第一图像。那么,第一图像中各分类样本像素点是pixsample1,pixsample2,……,pixm;各待分类像素点是pixwait1,pixwait2,……,pixwaitn。
具体地说,例如,获取卫星拍摄的卫星影像数据,即第一图像,该卫星影像中每个像素点取值为7维向量[w1,w2,w3,...,w7],向量中的每个值对应一个波段wave,则该卫星影像中每个像素点可以表示为pix[w1,w2,w3,...,w7]。下面的步骤中,将对部分像素点进行人工标注,即分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm);而其余像素点则为待分类像素点pixwait(pixwait1,pixwait2,pixwait3,……,pixwaitn)。
步骤102,标注所述第一图像中的部分所述分类样本像素点pixsample。如第一图像中包含M个分类样本像素点,则各分类样本像素点是pixsample1,pixsample2,……,pixm。
通过人工标注的方法在卫星影像中标记少量的样本像素,比如要把卫星影像中的每个像素点归为“河流”、“树林”、“房屋”或“其它”四类。那么需要在卫星图像中对河流、树林、房屋每一类像素点均进行少量标记,比如每个类标记大约1000个像素。然后在图像中选取以上三种之外的像素点标记,作为其他类。
卫星影像中可能包含很多种地物,除了要分类的河流、树林、房屋外,可能还有草地、其他建筑等。在标记时需要尽可能全的标记如草地、其它建筑等作为其它类。也即河流、树林、房屋、其他四类中,其他类应包含草地,其他建筑等除河流、树林、房屋外的其他地物。以原始卫星影像数据图像(1000*1000)个像素为例,标注的结果是会生成一个和原图一样大1000*1000,每个像素点对应一个标注值,比如坐标是(100,100)的位置取值为1,所有没有标注的点去值为0。
需要说明的是,应当对分类的全部类型(如河流、树林、房屋及其他)均标注一定数目的分类样本像素点,以保证分类的准确性和完整性。即,按照预定规则对各类样本像素点进行选择时,所述预定规则可以是,为各类样本像素点的数目设置阈值,若某类标注数目大于等于该阈值,则仅选取阈值数目的样本点;若某类标注数目小于该阈值,则选择全部该类样本点。
步骤103,对全部所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……pixm)利用XGBoost进行训练,生成决策树。
卫星图片是一个多波段(计为k个波段)的图像,每个像素点对应多个波段值(比如有7个波段),每个像素点即为一个样本(一个7维向量),此时选取一部分样本利用上述XGBoost算法进行训练,然后根据训练生成的决策树。
XGBoost算法是在GBDT的基础上对Boosting算法进行的改进,内部决策树使用的是回归树。XGBoost定义树的结构和复杂度的原因就是可以衡量模型的复杂度,从而可以有效控制过拟合。下文中将参照附图5(a)-(c)来说明XGBoost算法。
首先,参照附图5(a)说明Boosting tree模型。和传统的Boosting tree模型一样,XGBoost的提升模型也是采用的残差(或梯度负方向),不同的是分裂结点选取的时候不一定是最小平方损失。
对目标函数的改写
除了减少平方运算,看似仍旧复杂
对目标函数进行Taylor扩展
调用
定义
最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。这么写的原因很明显,由于之前的目标函数求最优解的过程中只对平方损失函数时候方便求,对于其他的损失函数变得很复杂,通过二阶泰勒展开式的变换,这样求解其他损失函数变得可行了。
当定义了分裂候选集合的时候,Ij={i|q(xi)=j}可以进一步改目标函数。分裂结点的候选响集是很关键的一步,这是XGBoost速度快的保证。
求解:
定义
对wj求导等于0,得:
该方法得到一个很好的决策树。
决策树结构的打分函数。Obj代表了当指定一个树的结构的时候,在目标上面最多减少多少。参见图5(b)。
对于每一次尝试去对已有的叶子加入一个分割:
这样就可以在建树的过程中动态的选择是否要添加一个结点。
以图5(c)为例,假设要枚举所有x<a这样的条件,对于某个特定的分割a,要计算a左边和右边的导数和。对于所有的a,我们只要做一遍从左到右的扫描就可以枚举出所有分割的梯度和GL、GR。然后用上面的公式计算每个分割方案的分数就可以了。
寻找分裂结点的候选集的方法可以包括,暴力枚举法和近似方法。其中,近似方法通过特征的分布,按照百分比确定一组候选分裂点,通过遍历所有的候选分裂点来找到最佳分裂点。
所采用的的策略可以是全局策略或局部策略。在全局策略中,对每一个特征确定一个全局的候选分裂点集合,就不再改变;而在局部策略中,每一次分裂都要重选一次分裂点。前者需要较大的分裂集合,后者可以小一点。对比补充候选集策略与分裂点数目对模型的影响。全局策略需要更细的分裂点才能和局部策略差不多。
关于加权分位数略图(Weighted Quantile Sketch):
对于第k个特征,构造数据集Dk=(x1k,h1),(x2k,h2)…,(xnk,hn);
hi是该数据点对应的损失函数的二阶梯度;
定义序函数为带权的序函数
上式代表第k个特征小于z的样本比例
候选集的目标要使得相邻的两个候选分裂结点相差不超过阈值ξ
步骤104,根据所述决策树产生所述第一图像的该分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名。
根据所述决策树得到各个波段的重要性排名,例如,决策树显示,多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名,例如是wave1,wave3,wave5,wave2,wave4,wave7,wave6。
步骤105,根据所述排名,选择部分波段特征来描述所述分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……pixtoph)。
例如,选取top n波段进行下一步(例如,如上例中,重要性从高到低依次是波段1,3,5,2,4,7,6,选取前四位(top 1-4)。则波段1,3,5,2会被用与下一阶段的特征工程,也就是说,仅选择wave1,wave3,wave5,wave2将该像素描述为pixsample’(pixsamplewave1,pixsamplewave3,pixsamplewave5,pixsamplewave2,然后进入下一步骤)。
步骤106,从所述第一图像中的全部分类样本像素点pixsample和全部待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……wavetoph)组成第二图像,其中h<k。
从原始影像a中抽取每个像素点的上一步确定的重要波段组成,由新的像素点描述方式组成新的图像b。继续上述示例,新图像b仍由包括M个分类样本像素点pixsample’和N个待分类像素点pixwait’组成,M+N个像素点共同构成第二图像b。那么,第二图像中各分类样本像素点描述为(pixsamplewave1,pixsamplewave3,pixsamplewave5pixsamplewave2);各待分类像素点描述为(pixwaitwave1,pixwaitwave3,pixwaitwave5,pixwaitwave2)。
步骤107,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……wavenewp)。
如图2所示,实现步骤107的优选示例可以是,例如,组合生成新特征的步骤,用每个像素点的波段值相互组合生成新特征,例如从所述选择的波段wave top1-toph中选取任意波段两两相互组合计算而生成新特征,从而生成h(h-1)/2个新特征。比如,任意选取第二图像b中的两个波段p1,p2做除法生成新的特征,即p1/p2(p2/p1也可,但是两者只取一个),如果第二图像b有n个波段那么可以生成n(n-1)/2个新特征。该优选示例,将h个排位靠前的特征,相互组合生成更多新特征方式,以便过滤噪音,并将排位靠前的波段特征同步多角度刻画,以便更清晰地描述像素点。
实现步骤107的优选示例还可以是,例如,滑窗生成新特征的步骤,选取特定的小窗口在原图像上逐步滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围、熵、互信息等中的一个或多个,生成新的特征,作为滑窗中心位置的一个样本。比如,选取特定的窗口大小(比如5x5)在原图像上滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围(最大值减去最小值)、熵、互信息等(不一定全部生成,可选其中一些,比如选取生成前三个),生成新的特征。比如第二图像b图像有n个波段,每个波段计算一个均值、一个标准差、一个取值范围共三个新特征,那么n个波段一共产生3n个新的特征。此时加上滑窗中心点在原图对应的所有k个波段一共有k+n(n-1)/2+3n个特征作为滑窗中心位置的一个样本。进一步地,滑窗生成新特征步骤中,用滑窗提取空间特征可以采用sklearn包中的卷积算法进行加速运算。
该优选示例,将h个排位靠前的特征,通过小窗取小范围周边像素特征点来生成中心点的更多新特征方式,不仅过滤了噪音而且采集相邻像素点的特征,将排位靠前的波段特征同步多角度刻画,以便更清晰地描述像素点,所生成的画面也更加真实。
步骤108,用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL。
例如,在上一步的样本基础上,利用XGBoost进行训练,得到最后的模型MODEL。
步骤109,用分类模型MODEL将第二图像中的全部M个待分类像素点pixwait’逐一自动进行分类。
例如,用于预测的数据也需要进行第二部的特征工程,然后利用第三步训练的模型进行推断,得到最终分类结果图像。
此外,本发明在取得和ENVI等遥感领域知名软件提供的算法相似分类精度的同时,仅用CPU运算时在算法速度上就可以提升类2个数量级;若采用GPU加速情况下,相比单用CPU计算,速度又能提高一倍。这极大的减少了遥感人员的工作时间。
本发明研究出的分类算法以及特征工程,通过少量样本标注,并利用标注的样本进行模型训练,然后利用训练好的模型对卫星影像中的其它像素点进行自动分类。与此同时,可利用GPU进行加速,大大减少了人力。
下面参考附图描述本发明实施例的地物分类装置。首先需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述其细节。
参照附图2。本发明实施例的地物分类装置200的示例包括:
获取图像数据单元201,获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……pixm)或者是待分类像素点pixwait(pixwait1,pixwait2,pixwait3,……pixwaitn)。
标注分类样本像素点单元202,标注所述第一图像中的部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……pixm);
分类样本像素点训练单元203,对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……pixm)利用XGBoost进行训练,生成决策树。
波段重要性排名单元204,根据所述决策树产生所述第一图像的该分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名;
波段选择装置205,根据所述排名,选择部分波段特征来描述所述分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……pixtoph)。
第二图像生成单元206,从所述第一图像中的全部分类样本像素点pixsample和待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……wavetoph)组成第二图像,其中h<k。
新波段特征生成单元207,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……wavenewp)。
分类模型装置生成单元208,用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL。
结果预测单元209,用分类模型M将第二图像中的全部待分类像素点pixwait’逐一自动进行分类。
图3示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图3显示的计算机设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图3所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
参照附图4,图4(a)示出了原始卫星图像,图4(b)示出了采用本申请地物分类方法所生成的分类结果示意图,图4(c)示出了采用ENVI神经网络分类结果示意图。从结果可以看到,采用本申请地物分类方法所生成的分类结果明显优于采用ENVI神经网络分类结果。
为了实现上述实施例,本发明还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如前述方法实施例所述的状态预测方法。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,当程序被处理器执行时,实现如前述方法实施例所述的状态预测方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令由处理器执行时,实现如前述方法实施例所述的状态预测方法。
以上提供了本发明的多个实施例,本领域技术人员可以理解,不同实施例之间可以替换或者合并组合,因此本发明也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征A、B、C,另一个实施例包含特征B、D,那么本发明也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。本说明书中的“模块”和“单元”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是FPGA(Field-Programmable GateArray,现场可编程门阵列)、IC(Integrated Circuit,集成电路)等。
以上介绍仅为本发明的优选实施例而已,并非对本发明作任何实质和形式上的限制。虽然本发明已以较佳实施例揭示如上,然而并非用以限定本发明,对于本领域的技术人员来说,在不脱离本发明技术方案范围内,可以利用上述揭示的技术内容作出各种更改和变化的等效实施例。但凡未脱离本发明的精神和原则,依据本发明的技术实质对以上实施例所作的任何简单修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种地物分类方法,包括:
获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample(pixsample1,pixsample2,……,pixm)或者是待分类像素点pixwait(pixwait1,pixwait2,……,pixwaitn);
标注所述第一图像中的全部所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm),所述全部分类样本像素点包含了对该第一图像的全部分类;
对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixf)(f<m)利用XGBoost进行训练,生成决策树,其中所述部分分类样本像素点包含了对该第一图像的全部分类;
根据所述决策树产生所述第一图像的分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名;
根据所述排名,选择部分波段特征来描述全部分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……,pixtoph);
从所述第一图像中的全部分类样本像素点pixsample和待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……,wavetoph)组成第二图像,其中h<k;
利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……,wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……,wavenewp);
用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL;
用分类模型MODEL将第二图像中的全部待分类像素点pixwait’逐一自动进行分类。
2.根据权利要求1所述的地物分类方法,其中,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……,wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……,wavenewp)的步骤,包括:
从所述选择的波段wavetop1-toph中选取任意波段相互组合计算而生成新特征,从而生成h(h-1)/2个新特征。
3.根据权利要求1所述的地物分类方法,其中,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……,wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……,wavenewp)的步骤,包括:
选取特定的小窗口在原图像上逐步滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围、熵、互信息等中的一个或多个,生成新的特征,作为滑窗中心位置的一个新特征。
4.根据权利要求1所述的地物分类方法,其中,对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixf)(f<m)利用XGBoost进行训练,生成决策树的步骤之前,还包括:
选择部分所述分类样本像素点,按照预定规则对各类样本像素点进行选择。
5.根据权利要求4所述的地物分类方法,其中所述预定规则是,为各类样本像素点的数目设置阈值,若某类标注数目大于等于该阈值,则仅选取阈值数目的样本点;若某类标注数目小于该阈值,则选择全部该类样本点。
6.一种地物分类装置,包括:
获取图像数据单元,获取第一图像,所述第一图像的每个像素点取值为n维向量[w1,w2,w3,...,wn],向量中的每个值对应一个波段wave,所述第一图像的每个像素点是分类样本像素点pixsample(pixsample1,pixsample2,……,pixm)或者是待分类像素点pixwait(pixwait1,pixwait2,……,pixwaitn);
标注分类样本像素点单元,标注所述第一图像中的全部所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixm),所述全部分类样本像素点包含了对该第一图像的全部分类;
分类样本像素点训练单元,对部分所述分类样本像素点pixsample(pixsample1,pixsample2,pixsample3,……,pixf)(f<m)利用XGBoost进行训练,生成决策树,其中所述部分分类样本像素点包含了对该第一图像的全部分类;
波段重要性排名单元,根据所述决策树产生所述第一图像的该分类样本像素点的多波段wave(wave1,wave2,wave3,……,wavek)特征的重要性排名;
波段选择单元,根据所述排名,选择部分波段特征来描述全部分类样本像素点pixsample’(pixsampletop1,pixsampletop2,pixsampletop3,……,pixtoph);
第二图像生成单元,从所述第一图像中的全部分类样本像素点pixsample和待分类像素点pixwait的全部波段中分别提取所述选择的波段wavetop1-toph(wavetop1,wavetop2,……,wavetoph)组成第二图像,其中h<k;
新波段特征生成单元,利用所述第二图像中每个像素点的波段值wavetop1-toph(wavetop1,wavetop2,……,wavetoph)分别生成新波段特征wavenew1-p(wavenew1,wavenew2,……,wavenewp);
分类模型装置生成单元,用XGBoost将所述每个分类样本像素点pixsample’输入模型进行训练,最终得到分类模型MODEL;
结果预测单元,用分类模型MODEL将第二图像中的全部待分类像素点pixwait’逐一自动进行分类。
7.根据权利要求6所述的地物分类装置,其中,所述新波段特征生成单元包括:
组合生成新特征模块,从所述选择的波段wavetop1-toph中选取任意波段相互组合计算而生成新特征,从而生成h(h-1)/2个新特征。
8.根据权利要求6所述的地物分类装置,所述新波段特征生成单元包括:
滑窗生成新特征模块,选取特定的小窗口在原图像上逐步滑动,在滑动窗口的范围内对每个波段计算其均值、标准差以及取值范围、熵、互信息等中的一个或多个,生成新的特征,作为滑窗中心位置的一个新特征。
9.根据权利要求8所述的地物分类装置,还包括:
选择部分分类样本像素点模块,按照预定规则对各类样本像素点进行选择。
10.根据权利要求9所述的地物分类装置,所述预定规则是,为各类样本像素点的数目设置阈值,若某类标注数目大于等于该阈值,则仅选取阈值数目的样本点;若某类标注数目小于该阈值,则选择全部该类样本点。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现所述权利要求1-5中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如所述权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810654261.3A CN108875649A (zh) | 2018-06-22 | 2018-06-22 | 一种地物分类方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810654261.3A CN108875649A (zh) | 2018-06-22 | 2018-06-22 | 一种地物分类方法、系统、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108875649A true CN108875649A (zh) | 2018-11-23 |
Family
ID=64294439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810654261.3A Pending CN108875649A (zh) | 2018-06-22 | 2018-06-22 | 一种地物分类方法、系统、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875649A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144449A (zh) * | 2019-12-10 | 2020-05-12 | 东软集团股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112000538A (zh) * | 2019-05-10 | 2020-11-27 | 百度在线网络技术(北京)有限公司 | 页面内容的显示监测方法、装置、设备及可读存储介质 |
CN112101397A (zh) * | 2019-06-18 | 2020-12-18 | 北京京东振世信息技术有限公司 | 一种预测图书重量区间的方法和装置 |
CN112132732A (zh) * | 2020-09-10 | 2020-12-25 | 宁波大学科学技术学院 | 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103353936A (zh) * | 2013-07-26 | 2013-10-16 | 上海交通大学 | 人脸识别方法及系统 |
CN103776540A (zh) * | 2013-12-30 | 2014-05-07 | 华中科技大学 | 一种多波段共光路图谱联合遥感测量系统及方法 |
CN104268579A (zh) * | 2014-10-14 | 2015-01-07 | 哈尔滨工业大学 | 基于分层集成学习的高光谱遥感图像分类方法 |
CN104820840A (zh) * | 2015-05-08 | 2015-08-05 | 西安电子科技大学 | 基于字典和波段重组的最近邻高光谱图像分类方法 |
CN105046276A (zh) * | 2015-07-14 | 2015-11-11 | 西安电子科技大学 | 基于低秩表示的高光谱图像波段选择方法 |
CN106022391A (zh) * | 2016-05-31 | 2016-10-12 | 哈尔滨工业大学深圳研究生院 | 一种高光谱图像特征的并行提取与分类方法 |
WO2018060497A1 (de) * | 2016-09-29 | 2018-04-05 | Seereal Technologies S.A. | Einrichtung zum vereinigen von lichtstrahlen, die mit benachbart angeordneten pixeln eines lichtmodulators wechselwirken |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108764263A (zh) * | 2018-02-12 | 2018-11-06 | 北京佳格天地科技有限公司 | 遥感影像的地物标注装置及方法 |
-
2018
- 2018-06-22 CN CN201810654261.3A patent/CN108875649A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103353936A (zh) * | 2013-07-26 | 2013-10-16 | 上海交通大学 | 人脸识别方法及系统 |
CN103776540A (zh) * | 2013-12-30 | 2014-05-07 | 华中科技大学 | 一种多波段共光路图谱联合遥感测量系统及方法 |
CN104268579A (zh) * | 2014-10-14 | 2015-01-07 | 哈尔滨工业大学 | 基于分层集成学习的高光谱遥感图像分类方法 |
CN104820840A (zh) * | 2015-05-08 | 2015-08-05 | 西安电子科技大学 | 基于字典和波段重组的最近邻高光谱图像分类方法 |
CN105046276A (zh) * | 2015-07-14 | 2015-11-11 | 西安电子科技大学 | 基于低秩表示的高光谱图像波段选择方法 |
CN106022391A (zh) * | 2016-05-31 | 2016-10-12 | 哈尔滨工业大学深圳研究生院 | 一种高光谱图像特征的并行提取与分类方法 |
WO2018060497A1 (de) * | 2016-09-29 | 2018-04-05 | Seereal Technologies S.A. | Einrichtung zum vereinigen von lichtstrahlen, die mit benachbart angeordneten pixeln eines lichtmodulators wechselwirken |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108764263A (zh) * | 2018-02-12 | 2018-11-06 | 北京佳格天地科技有限公司 | 遥感影像的地物标注装置及方法 |
Non-Patent Citations (2)
Title |
---|
TIANQI CHEN ET AL: ""XGBoost: A Scalable Tree Boosting System"", 《ARXIV》 * |
郑长春等: ""基于特征波段的SPOT-5卫星影像水稻面积信息自动提取的方法研究"", 《遥感技术与应用》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000538A (zh) * | 2019-05-10 | 2020-11-27 | 百度在线网络技术(北京)有限公司 | 页面内容的显示监测方法、装置、设备及可读存储介质 |
CN112000538B (zh) * | 2019-05-10 | 2023-09-15 | 百度在线网络技术(北京)有限公司 | 页面内容的显示监测方法、装置、设备及可读存储介质 |
CN112101397A (zh) * | 2019-06-18 | 2020-12-18 | 北京京东振世信息技术有限公司 | 一种预测图书重量区间的方法和装置 |
CN111144449A (zh) * | 2019-12-10 | 2020-05-12 | 东软集团股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111144449B (zh) * | 2019-12-10 | 2024-01-19 | 东软集团股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112132732A (zh) * | 2020-09-10 | 2020-12-25 | 宁波大学科学技术学院 | 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质 |
CN112132732B (zh) * | 2020-09-10 | 2023-06-02 | 宁波大学科学技术学院 | 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bulat et al. | Toward fast and accurate human pose estimation via soft-gated skip connections | |
Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
Haeusser et al. | Associative domain adaptation | |
Zia et al. | Automated video-based assessment of surgical skills for training and evaluation in medical schools | |
CN112528780B (zh) | 通过混合时域自适应的视频动作分割 | |
He et al. | Supercnn: A superpixelwise convolutional neural network for salient object detection | |
CN108875649A (zh) | 一种地物分类方法、系统、设备和存储介质 | |
Yang et al. | Show, attend, and translate: Unsupervised image translation with self-regularization and attention | |
CN104599275B (zh) | 基于概率图模型的非参数化的rgb-d场景理解方法 | |
Jiang et al. | Cascaded subpatch networks for effective CNNs | |
Li et al. | DCNR: deep cube CNN with random forest for hyperspectral image classification | |
Champ et al. | A comparative study of fine-grained classification methods in the context of the LifeCLEF plant identification challenge 2015 | |
Wang et al. | Face mask extraction in video sequence | |
US10936938B2 (en) | Method for visualizing neural network models | |
Kandaswamy et al. | Multi-source deep transfer learning for cross-sensor biometrics | |
CN110688897A (zh) | 一种基于联合判断与生成学习的行人重识别方法及装置 | |
CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
CN114556364B (zh) | 用于执行神经网络架构搜索的计算机实现方法 | |
KR20220045424A (ko) | 인공 신경망을 압축하는 방법 및 장치 | |
Wang et al. | Small vehicle classification in the wild using generative adversarial network | |
Qu et al. | Few-shot hyperspectral image classification through multitask transfer learning | |
Bastanlar et al. | Self-supervised contrastive representation learning in computer vision | |
Neff et al. | Generative adversarial networks to synthetically augment data for deep learning based image segmentation | |
CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN114187465A (zh) | 分类模型的训练方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181123 |