CN104751478B - 一种基于多特征融合的面向对象的建筑物变化检测方法 - Google Patents
一种基于多特征融合的面向对象的建筑物变化检测方法 Download PDFInfo
- Publication number
- CN104751478B CN104751478B CN201510187937.9A CN201510187937A CN104751478B CN 104751478 B CN104751478 B CN 104751478B CN 201510187937 A CN201510187937 A CN 201510187937A CN 104751478 B CN104751478 B CN 104751478B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- characteristic
- change
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 144
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 238000003064 k means clustering Methods 0.000 claims abstract description 10
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 53
- 230000003595 spectral effect Effects 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000005855 radiation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合的面向对象的建筑物变化检测方法,首先求得图像像素点的形态学建筑指数(MBI),纹理特征和慢特征分析图(SFA);利用MBI指数和纹理特征进行FNEA分割;然后求出每个对象的三个特征值,再作差,并利用K均值聚类算法求阈值,得到特征变化图;再利用AC指数进行后处理;利用熵值法对不同的特征变化图求权重,按照权重设定阈值求得变化图像;最后利用投票法进行后处理。得到变化检测结果。本发明利用MBI,SFA和纹理特征来进行建筑物的变化检测;把MBI和纹理特征值加入到FNEA分割中;提出AC指数和投票法进行后处理。本发明可为高分辨率遥感图像应用与土地覆盖和城市扩张提供一种新途径。
Description
技术领域
本发明属于遥感图像数据的信息提取技术领域,具体涉及一种基于多特征融合的面向对象的建筑物变化检测方法。
背景技术
随着经济发展和城市化进程的加快,人类的各种生产建设活动正在日益改变着城市及其周边的自然环境和土地覆盖类型。因此快速有效的监测这些变化信息,分析变化原因和影响结果,对我国的可持续发展具有重要意义。遥感图像变化检测技术就是根据同一地区不同时相的两幅遥感图像,来获取地表地物变化的一门技术,该技术的快速发展为更新地理空间数据发挥着重大的作用。遥感变化检测技术是数字图像处理方法、计算机视觉技术和人工智能、模式识别理论的综合应用。
遥感图像变化检测包括三个层次:像元级变化检测、特征级变化检测和目标级变化检测。变化检测的三个层次各有优缺点,在具体的变化检测过程中要检测到哪个层次是根据任务的需要来确定的。像元级变化检测保持了尽可能多的原始信息,具有特征级和目标级层次上所不具备的细节信息,但像元级变化检测仅考虑像素属性的变化,而未考虑其空间等特征属性的变化;特征级变化检测不仅考虑到空间形状的变化,而且还考虑特征属性的变化,但特征级变化检测依赖于特征提取的结果,况且单独使用某一特征进行变化检测有可能造成很大的漏检和错检;目标级变化检测最大的优点是它接近于用户的需求,检测的结果可直接应用,它的不足之处在于目标提取的困难性。
随着卫星技术的快速发展,使得高分辨率遥感图像的变化检测成为可能。分辨率在10m以内的高分辨率遥感图像(Very High Resolution Imagery,VHR)已经广泛应用于社会经济的很多领域,中低分辨率遥感图像中的点目标在高分辨率图像中变成了面,图像包含更多、更丰富的地理和地形信息。高效利用高分辨率遥感图像丰富的地物细节变化信息、像元之间以及像元属性之间的相互关系,能有效地抑制自然地物变化和不同成像条件引起的信息干扰,因此对高分辨率遥感图像的变化检测研究具有重要的理论意义和现实意义。传统的遥感图像变化检测是基于像素的,如图像差值法、图像比值法。图像差值法和比值法对图像的质量和预处理要求相对较高,不可避免的几何配准误差、相对辐射校正精度、阴影等都是基于差异图像的高分辨率遥感图像变化检测中的典型问题。简单的单波段相减由于没有考虑波段之间的统计相关性,使得绝对值不同的数值相减得到同样大小的差值,不同像素灰度值之间相比得到同样大小的比值,忽略了不同地物在不同敏感波段存在的差异,导致潜在可利用信息的丢失。
在这背景下,面向对象的变化检测方法能够将像元-像元之间的差异推广到对象-对象,把传统的以像素为单位的变化检测推广到以对象为单位的变化检测,最后提取变化/未变化信息。
发明内容
为了解决上述的技术问题,本发明提出了一种基于多特征融合的面向对象的建筑物变化检测方法。
本发明所采用的技术方案是:一种基于多特征融合的面向对象的建筑物变化检测方法,其特征在于,包括以下步骤:
步骤1:对所选区域的两幅不同时相的高分辨率遥感图像A和B进行预处理,主要包括几何纠正、辐射纠正、几何配准和图像裁剪;
步骤2:计算A和B两幅图像的每个像素点的形态学建筑指数(MBI)、固定窗口的纹理特征和慢特征分析(SFA),得到图像A和B的MBI特征图像、纹理特征图像和SFA特征图像;
步骤3:选取步骤1中的一幅图像采用基于改进的FNEA多尺度分割方法进行分割,得到一幅多尺度分割图像,并利用步骤2的计算结果来改进上述改进的FNEA多尺度分割方法进行分割,分割的结果是得到一个个对象;并由分割的结果得到每个对象对应像素点的坐标或索引,称为索引矩阵;然后按照此索引矩阵对步骤1中的另一幅图像进行分割,分割的结果使两幅图像具有同样大小的对象;
步骤4:因步骤2中得到的MBI特征图像、纹理特征图像和SFA特征图像具有尺度不统一的特点,故采用单位标准差归一化方法对不同的特征图像进行特征优化;
步骤5:对步骤4归一化后的结果,求每个对象的特征均值,以得到各个对象的特征图像;
步骤6:对每个对象求其在不同时相的特征图像的差值,利用k均值聚类算法对三幅不同的差值图像求其阈值,使其阈值自动化,以此得到三幅不同特征的变化图像;
步骤7:对步骤6中得到的三幅不同特征的变化图像进行AC指数后处理;
步骤8:利用熵值法,对步骤7中得到的三幅不同特征的变化图像加不同的权重,再设定阈值,以得到变化检测结果;
步骤9:利用基于投票法的多尺度融合方法对变化检测的结果进行处理,以得到更高的检测精度;
步骤10:对步骤9得到的结果进行精度评定。
作为优选,步骤1中所述的几何纠正采用基于多项式的遥感图像几何纠正,控制点选取分布均匀,重采样采用双线性内插法,最后得到误差要求标准为RMSE<0.5像素;所述的辐射纠正方法采用的是相对辐射归一化纠正。
作为优选,步骤3中所述的选取步骤1中的一幅图像进行分割,选取方法为:当两幅图像分辨率不一致时,用空间分辨率高的图像来进行分割;当分辨率相同时,按照获取时相的时间顺序,选取后一时期的图像进行分割。
作为优选,步骤3中所述的基于改进的FNEA多尺度分割方法,其具体实现过程为:从一个像元起步,先将单像元合并为较小的对象,然后把具有异质性最小的较小对象合并成较大的对象,这样不断合并,直到判断条件不成立,合并操作就终止,最终分割的结果中所有图像对象的平均异质性最小;
在判断两相邻对象是否能够合并时,用总异质性值和先前设定好的尺度阈值进行比较,如果小于尺度阈值就合并,否则就结束合并操作;
总的异质性h计算公式为:
h=wspectral*hspectral+wshape*hshape+wMBI*hMBI+wtexture*htexture;
其中,wspectral,wshape,wMBI,wtexture分别为光谱异质性hspectral、形状异质性hshape、MBI异质性hMBI和纹理异质性htexture对应的权重;MBI异质性和纹理异质性的计算方法和光谱异质性的计算方法原理相同,即计算每一波段的标准差与该波段权重的乘积,再把各个波段的值进行累加。
作为优选,步骤6中所述的利用k均值聚类算法对三幅不同的差值图像求其阈值,其具体实现包括以下子步骤:
步骤6.1:从数据集中随机选取k个图像单元作为初始聚类中心;
步骤6.2:计算各个图像单元到聚类中心的光谱距离,将它们一一归类到最近的那个聚类中心所在的类;
步骤6.3:计算新形成的每一个聚类的图像单元的光谱均值,从而得到新的聚类中心;
步骤6.4:迭代实施步骤6.2和步骤6.3,直至前后两次的聚类中心没有任何变化,说明聚类调整结束,聚类准则函数已经收敛;
当输入图像分别为归一化后的MBI特征图像、SFA特征图像和纹理特征图像时,用k均值二值聚类所得的结果,即将这些特征分为两个分离度最高的图像类别,即低相似性与高相似性类别;因此,由此得到的两个图像类别可分别对应于变化区域与未变化区域,即可得到三个阈值X,Y,Z。
作为优选,步骤7中所述的AC指数后处理,具体的公式如下:
AC=a*(area)/circle;
其中,circle是对每一个检测为变化的对象进行圆形拟合,该圆形包含了该对象的所有被检测为变化建筑物的像素以及部分未变化的像素,area为圆形中该对象所有被检测为变化建筑物的像素,a是用来调整该比值的大小。
作为优选,步骤8的具体实现包括以下子步骤:
步骤8.1:原始数据的收集与处理
设有m个待评项目,n个评价指标,形成原始数据矩阵x={xij}mn:
其中m为各个特征变化图像值,m=3,xij为第i个特征图像对应的第j个像素的特征值;
步骤8.2:计算第j个指标下第i个项目的指标的比重Pij:
步骤8.3:计算第j个指标的熵值ej:
其中,
步骤8.4:计算第j个指标的熵权wj:
即由上式步骤得到的wj即为各个特征变化图像的权重值。
作为优选,步骤9所述的利用基于投票法的多尺度融合方法对变化检测的结果进行处理,其具体实现过程为:当某像元在不同尺度下的变化结果中,被检测为变化的次数多于用户定义的投票阈值时,则判定该像元在融合结果中为变化,否则,则视其为未变化,具体公式表示如下:
其中,Mi表示像元i的变化检测融合结果,nic为该像元在各尺度变化检测结果中被判定为变化次数,nv表示用户定义的变化次数投票阈值。
基于变化检测的复杂性,现在大多数变化检测都是针对特定目标的变化检测,如建筑物,道路,森林等。本发明属于建筑物变化检测范畴,并且是基于多特征融合的面向对象的变化检测。基于特征级变化检测主要是利用某类地物的特征区别于其他地物的特征来进行变化检测,特征在图像上表现一般较稳定,受辐射差异影响较小,且不易受遥感图像时相变化的影响。如果仅仅利用光谱特征来进行建筑物的变化检测会存在很大的错检,特别是对不同传感器的图像来进行变化检测。因为建筑物的纹理特征比较规则,所以利用纹理特征来进行变化检测会得到较好的效果。所以本发明提出一种特定目标的变化检测,并且是基于多特征的面向对象的建筑物的变化检测,与传统的变化检测方法相比,本发明利用基于改进的FNEA多尺度分割算法对图像进行分割,对分割的结果进行特征提取,提取的特征包括形态学建筑指数(MBI),纹理特征和慢特征分析(SFA),SFA主要是使不变化或者变化很小的像素与变化的像素分开的更加明显。由于特征之间存在尺度不统一等问题,本发明对不同的特征图像还进行了特征优化。此外,本发明提出利用k均值聚类算法对得到的不同的特征差值图像分别计算其阈值,使其阈值自动化,以得到不同的二值图像,得到初步的变化检测检测结果。由于建筑物与道路在形状等各方面具有极大地相似性,会对建筑物的检测结果产生极大的错检,所以本发明原创性地提出了AC指数对得到的变化图像进行后处理,以消除道路对建筑物的影响。最后,本发明利用慢特征分析图像,MBI特征图像和纹理特征图像进行多特征融合,根据熵值法对每一副图像加不同的权值,得到更好的变化检测结果。由于面向对象的变化检测的精度在很大程度上是由于分割结果造成的影响,所以本发明在此利用多尺度融合的投票法来减少分割的结果对变化检测精度的影响。
本发明提供的技术方案的有益效果为:原创性地提出加入形态学建筑指数和纹理特征来进行FNEA多尺度分割,相比于传统的分割算法,该方法能够对建筑物得到更好的分割结果;利用形态学建筑指数,慢特征分析以及纹理特征对建筑物进行多特征变化检测能得到更好的检测效果;为了使阈值的自适应性,本发明提出利用k均值聚类算法对不同的特征差值图像求得不同的阈值(X,Y,Z);由于道路与建筑物在某些方面具有很大的相似性,因此本发明原创性地提出AC指数来减少道路对建筑物的影响;最后本发明将三幅建筑物特征图像按照熵值法赋予不同的权重,通过设定的阈值,来得到变化检测的结果;为了减少分割算法对变化检测精度的影响,本发明提出利用基于投票法的多尺度融合方法来提高变化检测的精度。因此,本发明为建筑物的变化检测提供了一种新途径。
附图说明
附图1:为本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于多特征融合的面向对象的建筑物变化检测方法,包括以下步骤:
步骤1:对所选区域的两幅不同时相的高分辨率遥感图像A和B进行预处理,主要包括几何纠正、辐射纠正、几何配准和图像裁剪;
(1)几何纠正:本发明几何纠正的方法采用基于多项式的遥感图像几何纠正,控制点选取分布均匀,重采样采用双线性内插法,最后得到误差要求标准为RMSE<0.5像素;
(2)辐射纠正:本发明采用的是相对辐射归一化纠正;
(3)几何配准:为了防止因两幅图像对应位置不一致而引起的检测误差,本发明对两幅图像进行了几何配准,同名点的获取用图像自动配准的方法;
(4)图像裁剪:获得的图像不一定都是感兴趣的图像,所以本发明对获得的图像进行裁剪,提取出感兴趣区域。
步骤2:计算A和B两幅图像的每个像素点的形态学建筑指数(MBI)、固定窗口的纹理特征和慢特征分析(SFA),得到图像A和B的MBI特征图像、纹理特征图像和SFA特征图像;
(一)形态学建筑指数(MBI)是近年来建筑物提取研究方向的重要成果之一,已被证明能有效实现高分辨率遥感图像建筑物提取。根据建筑物屋顶通常在其邻域范围内表现出较亮的光谱特征,该指数利用多尺度、多方向的形态学操作来描述建筑物的光谱、结构特征,并利用一系列线性结构算子(Structure Element,SE)对高帽变换结果进行差分形态学轮廓(DifferentialMorphological Profile,DMP)重建,具体实现方式如下:
(1)计算亮度值:首先,提取高分辨率图像中各像元在不同波段上的最大值,并将其作为亮度图像:
B(x,y)=max1≤k≤K(bandk(x,y)) (1)
其中,bandk(x,y)表示像元(x,y)在第k波段上的光谱值,K为图像的波段数;
(2)基于重建的白高帽变换:利用线性结构元素(SE)对图像B(x,y)进行形态学开操作(腐蚀和膨胀),得到的结果再进行重建。基于开重建操作的高帽变换(THR)定义为:
其中:表示对亮度图像B进行开重建操作s代表所选线性SE的尺度;
(3)多方向的THR:单一的线性结构元素不能包含多方向信息,所以提出利用多方向的线性结构元素来计算THR,具体地计算公式如下:
其中,为当线性结构算子SE的尺度s唯一时不同方向的THR的均值;
(4)多尺度的THR:由于在高分辨率遥感图像中,建筑物具有不同的形状、大小、高度和面积,因此需要计算多尺度的THR,具体的:
Smin≤S≤Smax (6)
其中,△S为SE的尺度增长步长,且满足(6)式;
(5)形态学建筑指数(MBI):由于建筑物在尺度大小与方向上相对于其他地物类别更具多样性,因此,定义形态学建筑指数(MBI)为在不同尺度不同方向上对白高帽变换结果进行求均值结果:
计算得到的MBI值越大,是建筑物的可能性就越大,经实验证明,形态学建筑指数(MBI)能够很好的提取出建筑物。
(二)计算图像中以各个像素点为中心的3*3的小窗口矩阵的纹理特征,以其中的某一个纹理特征值来代替该点的像素灰度值,最后求得整副图像的像素值是用对应的纹理值来代替,即得到纹理特征图像。
(三)慢特征分析是用来提取输入两幅图像中的不变化特征或者慢变化特征的一种算法,是把两幅不同时相的图像转化到新的特征空间中,在此空间中,不变化的像素和变化的像素将被分开的更加明显。实验证明,将慢特征分析用于建筑物的变化检测能得到较好的检测效果,并且SFA算法得到的是全局最优解而不是局部最优解。具体地步骤为:
(1)给定一个双时相图像的光谱向量和i为像素的个数,N为图像的维数。首先我们要对输入的图像进行归一化:
其中ujδj分别为图像X第j波段的均值和方差,这个过程类似于相对辐射校正归一化;
(2)慢特征分析是找到一个函数g(x)使得归一化后的图像满足如下条件:
并且在如下的限制条件下:
(3)第(2)步可转化为求A,B的广义特征向量和特征值AW=BWΛ,其中
(4)对由A,B求得的广义特征值按从小到大的顺序进行排列,并得到对应的新的特征向量W,则g(x)就定义为:
g(x)=wT*x (15)
(5)慢特征分析即定义为:
步骤3:选取步骤1中的一幅图像采用基于改进的FNEA多尺度分割方法进行分割,得到一幅多尺度分割图像,并利用步骤2的计算结果来改进上述改进的FNEA多尺度分割方法进行分割,分割的结果是得到一个个对象;并由分割的结果得到每个对象对应像素点的坐标或索引,称为索引矩阵;然后按照此索引矩阵对步骤1中的另一幅图像进行分割,分割的结果使两幅图像具有同样大小的对象;
图像分割的方式总共有三种;(1)单独分割方式:对两幅图像都进行分割,该方法最常用于面向对象的变化检测,且只能用于分类后处理的方法中,因此变化检测的精度只能归结于分割算法和分类精度的好坏;(2)多源图像波段复合的分割方式:对不同时相的图像进行多波段复合,然后再进行分割,当多时相图像是由不同高分辨率遥感卫星获取时,该方式将不再适用。其原因在于,不同卫星传感器由于其接收的光谱区间范围不同,所获取的图像波段的光谱位置及带宽都存在差异。因此,在不同光谱区间上的灰度图像不具备可比性,其灰度差异无法反应地物变化,不能直接进行变化检测;(3)映射分割方式:对其中的一副图像进行分割,并由分割的结果得到每个对象对应像素点的坐标或索引,称为索引矩阵,然后按照此索引矩阵对另一幅图像进行分割,分割的结果使两幅图像具有同样大小的对象。当两幅图像分辨率不一致时,用空间分辨率高的图像来进行分割,当分辨率相同时,按照获取时相的时间顺序,选取后一时期的图像进行分割。本发明采用的是基于改进的FNEA多尺度分割算法,在分割的过程中,不仅考虑颜色,形状和尺度,还加入了MBI指数和纹理值,以此得到更好的建筑物分割效果。
(一)多尺度图像分割采用的是异质性最小的区域合并算法(FNEA算法),此算法是一种自下而上的区域合并算法,从一个像元起步,先将单像元合并为较小的对象,然后把具有异质性最小的较小对象合并成较大的对象,这样不断合并,直到判断条件不成立,合并操作就终止,最终分割的结果中所有图像对象的平均异质性最小。在判断两相邻对象是否能够合并时,用总异质性值和先前设定好的尺度阈值进行比较,如果小于尺度阈值就合并,否则就结束合并操作。图像的异质性(h)由光谱异质性(hspectral)和形状异质性(hshape)决定。
h=w*hspectral+(1-w)*hshape (17)
w为光谱的权重值,w在0到1范围内。
图像对象的形状异质性由紧密度异质性(hcompact)和光滑度异质性(hsmooth)共同决定的。
hshape=wcompact*hcompact+(1-wcompact)*hsmooth (18)
其中wcompact,wsmooth分别为紧密度和光滑度的权重。在判断两个区域对象是否合并时需要分别计算光谱异质性,紧密度异质性和光滑度异质性,最后求出总的异质性。
FNEA算法的步骤:(1)配置所有与图像分割相关的参数,包括图像各波段的权重值,这个主要依据各波段对于分割过程的影响程度;尺度参数,即用于判断是否需要继续合并操作;根据图像的颜色、色调、纹理等特征来决定光谱异质性和形状异质性的权重值;在形状异质性中根据地物的结构特征来决定紧密度异质性和光滑度异质性的权重值。(2)从图像中任选一个像元,以它为中心启动分割操作,这个过程将把这唯一的像元当作一个最小的多边形对象进行异质性值的计算;第一遍结束后,以最小多边形对象为基础做第二遍分割,也计算其异质性值,比较h与设定阈值,如果h小于阈值,分割操作继续下去,否则就结束分割操作,这样就生成了某一尺度值下的图像对象层。
(二)近年来,MBI指数在提取建筑物特征时能够得到较好的效果,所以本发明把MBI指数加入到多尺度分割算法中;相对于建筑物周围的其他要素,建筑物具有更好的纹理特征,所以本发明也把纹理特征加入到分割算法中,以便能更好的分割出建筑物对象。即本发明的分割算法不仅考虑了尺度参数,形状特征,光谱特征,还考虑了MBI指数和纹理特征。
h=wspectral*hspectral+wshape*hshape+wMBI*hMBI+wtexture*htexture (19)
其中,wspectral,wshape,wMBI,wtexture分别为光谱异质性,形状异质性,MBI异质性和纹理异质性对应的权重。MBI异质性和纹理异质性的计算和光谱异质性的权重相似,即计算每一波段的标准差与该波段权重的乘积,再把各个波段的值进行累加。通过对不同的特征异质性赋予不同的权重,与原图像进行比较,通过目视观察,能够较好的把建筑物分割出来。在判断两个区域对象是否合并时也要分别计算光谱异质性,形状异质性(紧密度异质性和光滑度异质性),MBI异质性和纹理异质性,最后求出总的异质性h,再与阈值比较。
步骤4:因步骤2中得到的MBI特征图像、纹理特征图像和SFA特征图像具有尺度不统一的特点,故采用单位标准差归一化方法对不同的特征图像进行特征优化;
特征归一化的目的就是均衡各特征分量的取值范围,使它们在距离计算中贡献程度大致相同。
单位标准差线性拉伸把分量x拉伸至具有零均值和单位标准差的区间内,其形式为:
其中,u为分量样本的均值,δ为分量样本的标准差。
假设特征分量为正态分布,则经归一化后的在区间[-1,1]之间的概率为68%。将分布形式进行平移缩放,有如下形式:
则落入区间[0,1]的概率为99%,超出的部分可以直接赋为0或1。
步骤5:对步骤4归一化后的结果,求每个对象的特征均值,以得到各个对象的特征图像;
步骤6:对每个对象求其在不同时相的特征图像的差值,利用k均值聚类算法对三幅不同的差值图像求其阈值,使其阈值自动化,以此得到三幅不同特征的变化图像;
为了得到变化的结果,需要对不同的图像设定阈值,为了使每一副图像得到的阈值都具有自适应性,本发明提出了利用k均值聚类的方法求得不同特征图像的阈值。K均值聚类算法的工作原理是:
(1)首先,从数据集中随机选取k个图像单元作为初始聚类中心;
(2)然后,计算各个图像单元到聚类中心的光谱距离,将它们一一归类到最近的那个聚类中心所在的类;
(3)计算新形成的每一个聚类的图像单元的光谱均值,从而得到新的聚类中心;
迭代实施步骤(2)、步骤(3),直至前后两次的聚类中心没有任何变化,说明聚类调整结束,聚类准则函数已经收敛。当输入图像分别为归一化后的MBI特征图像,SFA特征图像和纹理特征图像时,用k均值二值聚类所得的结果,即将这些特征分为两个分离度最高的图像类别,即低相似性与高相似性类别。因此,由此得到的两个图像类别可分别对应于变化区域与未变化区域,即可得到三个阈值X,Y,Z;
步骤7:对步骤6中得到的三幅不同特征的变化图像进行AC指数后处理;
由于道路与建筑物具有很强的相似性,会对检测结果有很大的影响。所以本发明原创性地提出了区别道路与建筑的AC指数来去除道路对建筑物的影响。具体的公式如下:
AC=a*(area)/circle (22)
其中,circle是对每一个检测为变化的对象进行圆形拟合,该圆形包含了该对象的所有被检测为变化建筑物的像素以及部分未变化的像素,area为圆形中该对象所有被检测为变化建筑物的像素,a是用来调整该比值的大小。由上述可知,一个道路对象拥有很大的circle值,但其area值相对较小,而一个建筑物对象拥有相对较小的circle值,但其area值相对较大。所有,如果是道路,则其AC值较小,反之为建筑物。通过设定一定的阈值可以把道路和建筑物有效的分开,从而降低错检率;
步骤8:利用熵值法,对步骤7中得到的三幅不同特征的变化图像加不同的权重,再设定阈值,以得到变化检测结果;
权重是评价因子相对于某个评价标准而言的重要性的体现,所以求权重的过程就是分析不同因子对灾害的重要性程度。权重对评价结果起着关键作用,因此,评价指标及权重的合理性直接影响评价结果的科学性和准确性。权重的确定主要有两种方法:一种是主观赋权法,该方法主要是由决策者根据自己主观判断来赋权,会产生一定的主观随意性,准确性不高,如AHP方法、特尔斐法;另一种是客观赋权法,该方法是由各指标数据在评价中经过整理、计算出权重系数,如熵值法、变异系数法。由于主观赋权法主观性太强,因此本发明用客观赋权法-熵值法对不同的特征变化图像进行赋权。
在信息论中,熵是对不确定性的一种度量。信息量越大,不确定性就越小,熵也就越小;信息量越小,不确定性越大,熵也越大。根据熵的特性,可以用熵值来判断某个指标的离散程度,指标的离散程度越大,该指标对综合评价的影响越大。熵值法是一种客观赋权法,在具体使用过程中,其是根据各指标的变异程度,利用信息熵计算出各指标的熵值,再通过熵值对各指标的权重进行修正,从而得出较为客观的指标权重。具体步骤如下:
(1)原始数据的收集与处理
设有m个待评项目,n个评价指标,形成原始数据矩阵x={xij}mn:
在本发明求权重值的方法中,m为3,为各个特征变化图像值,xij为第i个特征图像对应的第j个像素的特征值;
(2)计算第j个指标下第i个项目的指标的比重Pij:
(3)计算第j个指标的熵值ej:
其中,
(4)计算第j个指标的熵权wj:
即由上式步骤得到的wj即为各个特征变化图像的权重值;
步骤9:利用基于投票法的多尺度融合方法对变化检测的结果进行处理,以得到更高的检测精度;
由于面向对象的变化检测结果很大程度上归结于分割算法的好坏,所以本发明采用基于投票法的多尺度融合方法来减少分割算法对变化检测精度的影响。
在不同的分割尺度下,利用上述方法流程,能获得不同对象尺度的二值变化检测结果图。为了适应图像区域地物类型的多样性,使变化检测结果尽可能地符合不同地物的尺度大小,需要对各尺度下的变化检测结果进行多尺度融合处理。
在本方法中,采用投票法完成这一处理。当某像元在不同尺度下的变化结果中,被检测为变化的次数多于用户定义的投票阈值时,则判定该像元在融合结果中为变化,否则,则视其为未变化,具体公式表示如下:
其中,Mi表示像元i的变化检测融合结果,nic为该像元在各尺度变化检测结果中被判定为变化次数,nv表示用户定义的变化次数投票阈值;
步骤10:对步骤9得到的结果进行精度评定。
变化检测结果精度评定:变化检测结果的精度评定对成果的应用、算法的有效性验证都具有重要的意义。面向对象变化检测结果的精度受到几何配准、分割、分类、矢量变化检测等诸多因素的影响,每一个步骤都可以单独的进行精度评定。但作为一个整体过程,最为重要的还是最终检测结果的精度评定。
进行变化检测精度评定首先必须获取标准的变化区域,标准变化区域的获取需要通过人工选取来获得。在数据量很大的情况下,人工选出所有的变化区域显然是不现实的,此时可以通过间隔采样的方法,每隔一定的距离选择一个采样区进行标准变化的采集,再将这些采样区所对应的自动变化检测的结果与人工采集的结果进行对比,以此评定变化检测的精度。
变化检测的评定方法类似于分类的评定方法,分类中的类别对应着变化检测中的是否变化。在评定变化检测精度时,可以把变化和未变化这两种变化情况看作是两个类别,类比地构造出如表1所示的矩阵:
表1:精度评价
变化情况 | 检测变化 | 检测未变化 | 合计 |
实际变化 | s11 | s12 | S1j |
实际未变化 | s21 | / | / |
合计 | Si1 | / | / |
其中:s11表示实际发生变化并且正确检出的区域的面积,s12表示实际发生变化但未检测出的区域的面积,s21表示实际未发生变化但检测为变化区域的面积。
变化检测精度指标则不同于分类,包括检全率、检准率、漏检率和错检率四个指标。分别定义如下:
(1)检全率
(2)检准率
(3)漏检率
PL=1-PA (30)
(4)错检率
PE=1-PC (31)
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于多特征融合的面向对象的建筑物变化检测方法,其特征在于,主要包括以下步骤:
步骤1:对所选区域的两幅不同时相的高分辨率遥感图像A和B进行预处理,主要包括几何纠正、辐射纠正、几何配准和图像裁剪;
步骤2:计算A和B两幅图像的每个像素点的形态学建筑指数MBI、固定窗口的纹理特征和慢特征分析SFA,得到图像A和B的MBI特征图像、纹理特征图像和SFA特征图像;
步骤3:选取步骤1中的一幅图像采用基于改进的FNEA多尺度分割方法进行分割,得到一幅多尺度分割图像,并利用步骤2的计算结果来改进上述改进的FNEA多尺度分割方法进行分割,分割的结果是得到一个个对象;并由分割的结果得到每个对象对应像素点的坐标或索引,称为索引矩阵;然后按照此索引矩阵对步骤1中的另一幅图像进行分割,分割的结果使两幅图像具有同样大小的对象;
所述的基于改进的FNEA多尺度分割方法,其具体实现过程为:从一个像元起步,先将单像元合并为较小的对象,然后把具有异质性最小的较小对象合并成较大的对象,这样不断合并,直到判断条件不成立,合并操作就终止,最终分割的结果中所有图像对象的平均异质性最小;
在判断两相邻对象是否能够合并时,用总异质性值和先前设定好的尺度阈值进行比较,如果小于尺度阈值就合并,否则就结束合并操作;
总的异质性h计算公式为:
h=wspectral*hspectral+wshape*hshape+wMBI*hMBI+wtexture*htexture;
其中,wspectral,wshape,wMBI,wtexture分别为光谱异质性hspectral、形状异质性hshape、MBI异质性hMBI和纹理异质性htexture对应的权重;MBI异质性和纹理异质性的计算方法和光谱异质性的计算方法原理相同,即计算每一波段的标准差与该波段权重的乘积,再把各个波段的值进行累加;
步骤4:因步骤2中得到的MBI特征图像、纹理特征图像和SFA特征图像具有尺度不统一的特点,故采用单位标准差归一化方法对不同的特征图像进行特征优化;
步骤5:对步骤4归一化后的结果,求每个对象的特征均值,以得到各个对象的特征图像;
步骤6:对每个对象求其在不同时相的特征图像的差值,利用k均值聚类算法对三幅不同的差值图像求其阈值,使其阈值自动化,以此得到三幅不同特征的变化图像;
步骤7:对步骤6中得到的三幅不同特征的变化图像进行AC指数后处理;
其中,AC=a*(area)/circle;circle是对每一个检测为变化的对象进行圆形拟合,该圆形包含了该对象的所有被检测为变化建筑物的像素以及部分未变化的像素,area为圆形中该对象所有被检测为变化建筑物的像素,a是用来调整该比值的大小;
步骤8:利用熵值法,对步骤7中得到的三幅不同特征的变化图像加不同的权重,再设定阈值,以得到变化检测结果;
步骤9:利用基于投票法的多尺度融合方法对变化检测的结果进行处理,以得到更高的检测精度;
步骤10:对步骤9得到的结果进行精度评定。
2.根据权利要求1所述的基于多特征融合的面向对象的建筑物变化检测方法,其特征在于:步骤1中所述的几何纠正采用基于多项式的遥感图像几何纠正,控制点选取分布均匀,重采样采用双线性内插法,最后得到误差要求标准为RMSE<0.5像素;所述的辐射纠正方法采用的是相对辐射归一化纠正。
3.根据权利要求1所述的基于多特征融合的面向对象的建筑物变化检测方法,其特征在于:步骤3中所述的选取步骤1中的一幅图像进行分割,选取方法为:当两幅图像分辨率不一致时,用空间分辨率高的图像来进行分割;当分辨率相同时,按照获取时相的时间顺序,选取后一时期的图像进行分割。
4.根据权利要求1所述的基于多特征融合的面向对象的建筑物变化检测方法,其特征在于:步骤6中所述的利用k均值聚类算法对三幅不同的差值图像求其阈值,其具体实现包括以下子步骤:
步骤6.1:从数据集中随机选取k个图像单元作为初始聚类中心;
步骤6.2:计算各个图像单元到聚类中心的光谱距离,将它们一一归类到最近的那个聚类中心所在的类;
步骤6.3:计算新形成的每一个聚类的图像单元的光谱均值,从而得到新的聚类中心;
步骤6.4:迭代实施步骤6.2和步骤6.3,直至前后两次的聚类中心没有任何变化,说明聚类调整结束,聚类准则函数已经收敛;
当输入图像分别为归一化后的MBI特征图像、SFA特征图像和纹理特征图像时,用k均值二值聚类所得的结果,即将这些特征分为两个分离度最高的图像类别,即低相似性与高相似性类别;因此,由此得到的两个图像类别可分别对应于变化区域与未变化区域,即可得到三个阈值X,Y,Z。
5.根据权利要求1所述的基于多特征融合的面向对象的建筑物变化检测方法,其特征在于:步骤8的具体实现包括以下子步骤:
步骤8.1:原始数据的收集与处理:
设有m个待评项目,n个评价指标,形成原始数据矩阵x={xij}mn:
其中m为各个特征变化图像值,m=3,xij为第i个特征图像对应的第j个像素的特征值;
步骤8.2:计算第j个指标下第i个项目的指标的比重Pij:
步骤8.3:计算第j个指标的熵值ej:
其中,
步骤8.4:计算第j个指标的熵权wj:
即由上式步骤得到的wj即为各个特征变化图像的权重值。
6.根据权利要求1所述的基于多特征融合的面向对象的建筑物变化检测方法,其特征在于:步骤9所述的利用基于投票法的多尺度融合方法对变化检测的结果进行处理,其具体实现过程为:当某像元在不同尺度下的变化结果中,被检测为变化的次数多于用户定义的投票阈值时,则判定该像元在融合结果中为变化,否则,则视其为未变化,具体公式表示如下:
其中,Mi表示像元i的变化检测融合结果,nic为该像元在各尺度变化检测结果中被判定为变化的次数,nv表示用户定义的变化次数投票阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510187937.9A CN104751478B (zh) | 2015-04-20 | 2015-04-20 | 一种基于多特征融合的面向对象的建筑物变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510187937.9A CN104751478B (zh) | 2015-04-20 | 2015-04-20 | 一种基于多特征融合的面向对象的建筑物变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104751478A CN104751478A (zh) | 2015-07-01 |
CN104751478B true CN104751478B (zh) | 2017-05-24 |
Family
ID=53591097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510187937.9A Active CN104751478B (zh) | 2015-04-20 | 2015-04-20 | 一种基于多特征融合的面向对象的建筑物变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104751478B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184308B (zh) * | 2015-08-03 | 2020-09-29 | 北京航空航天大学 | 一种基于全局优化决策的遥感图像建筑物检测分类方法 |
CN105608458B (zh) * | 2015-10-20 | 2019-01-18 | 武汉大学 | 一种高分辨率遥感影像建筑物提取方法 |
CN107292328A (zh) * | 2016-03-31 | 2017-10-24 | 武汉大学 | 多尺度多特征融合的遥感影像阴影检测提取方法及系统 |
CN105894513B (zh) * | 2016-04-01 | 2018-07-24 | 武汉大学 | 顾及影像对象时空变化的遥感影像变化检测方法及系统 |
CN106296680B (zh) * | 2016-08-08 | 2017-09-01 | 长安大学 | 一种基于区域的多特征融合高分辨率遥感影像分割方法 |
CN106683112B (zh) * | 2016-10-10 | 2019-09-27 | 国交空间信息技术(北京)有限公司 | 一种基于高分辨率图像的道路路域建筑物变化提取方法 |
CN107341795B (zh) * | 2017-06-30 | 2020-03-10 | 武汉大学 | 一种知识驱动的高空间分辨率遥感影像自动变化检测方法 |
CN109409389B (zh) * | 2017-08-16 | 2020-01-24 | 香港理工大学深圳研究院 | 一种融合多特征的面向对象变化检测方法 |
CN109376750A (zh) * | 2018-06-15 | 2019-02-22 | 武汉大学 | 一种融合中波红外与可见光的遥感影像分类方法 |
CN109086666A (zh) * | 2018-06-29 | 2018-12-25 | 中国水利水电科学研究院 | 一种基于面向对象法实现建筑物快速自动提取方法及系统 |
CN109460764B (zh) * | 2018-11-08 | 2022-02-18 | 中南大学 | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 |
CN109934107B (zh) * | 2019-01-31 | 2022-03-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备及存储介质 |
CN110322454B (zh) * | 2019-07-08 | 2021-12-10 | 自然资源部第二海洋研究所 | 一种基于光谱差异最大化的高分辨遥感图像多尺度分割优化方法 |
CN110473205A (zh) * | 2019-07-10 | 2019-11-19 | 北京吉威数源信息技术有限公司 | 基于矢栅模型的遥感影像信息提取方法和系统 |
CN111553928B (zh) * | 2020-04-10 | 2023-10-31 | 中国资源卫星应用中心 | 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法 |
CN112084837A (zh) * | 2020-07-13 | 2020-12-15 | 江南大学 | 一种基于深度网络的遥感影像变化检测方法及系统 |
CN111949003B (zh) * | 2020-07-17 | 2021-09-03 | 浙江浙能技术研究院有限公司 | 一种基于SFA与Hellinger距离的闭环控制回路性能评价方法 |
CN112200137B (zh) * | 2020-10-29 | 2022-11-25 | 内蒙古工业大学 | 图像的识别方法及相应装置、存储介质及电子设备 |
WO2022141145A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳技术大学 | 面向对象的高分辨率遥感影像多尺度分割方法及系统 |
CN113205023B (zh) * | 2021-04-23 | 2022-04-15 | 武汉大学 | 一种基于先验矢量引导的高分影像建筑物提取精处理方法 |
CN113420645A (zh) * | 2021-06-22 | 2021-09-21 | 廊坊师范学院 | 一种基于高分卫星影像数据的新建道路信息检测方法 |
CN113627571A (zh) * | 2021-10-13 | 2021-11-09 | 湖南星图空间信息技术有限公司 | 单类分类框架下的高分辨率遥感影像建筑物变化检测系统 |
CN114092837B (zh) * | 2021-11-05 | 2022-08-26 | 中国科学院空天信息创新研究院 | 一种基于长时间尺度的遗址环境遥感监测方法及系统 |
CN117218535B (zh) * | 2023-09-12 | 2024-05-14 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 一种基于sfa的长期森林覆盖变化检测方法 |
CN117152619B (zh) * | 2023-10-27 | 2024-02-09 | 广州蓝图地理信息技术有限公司 | 基于高分辨率建筑物遥感影像数据的优化训练方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604445A (zh) * | 2009-07-24 | 2009-12-16 | 武汉大学 | 基于凸面模型的遥感影像对象级变化检测方法 |
CN103632155A (zh) * | 2013-12-16 | 2014-03-12 | 武汉大学 | 基于慢特征分析的遥感影像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080253611A1 (en) * | 2007-04-11 | 2008-10-16 | Levi Kennedy | Analyst cueing in guided data extraction |
-
2015
- 2015-04-20 CN CN201510187937.9A patent/CN104751478B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604445A (zh) * | 2009-07-24 | 2009-12-16 | 武汉大学 | 基于凸面模型的遥感影像对象级变化检测方法 |
CN103632155A (zh) * | 2013-12-16 | 2014-03-12 | 武汉大学 | 基于慢特征分析的遥感影像变化检测方法 |
Non-Patent Citations (3)
Title |
---|
Technology of change detection for the semi-automatic rapid evaluation of seismic damage of buildings;WANG Huaifeng et al;《Intelligent system design and engineering application(ISDEA),2010 International Conference on》;20101013;第548-552页 * |
基于形态学建筑物指数的城市建筑物提取及其高度估算;付乾坤 等;《遥感技术与应用》;20150228;第30卷(第1期);第148-154页 * |
结合建筑指数的城市建筑用地提取与变化检测分析;杨安妮 等;《测绘与空间地理信息》;20140831;第37卷(第8期);第30-34页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104751478A (zh) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104751478B (zh) | 一种基于多特征融合的面向对象的建筑物变化检测方法 | |
Hu et al. | An automatic approach for land-change detection and land updates based on integrated NDVI timing analysis and the CVAPS method with GEE support | |
CN107330875B (zh) | 基于遥感图像正反向异质性的水体周边环境变化检测方法 | |
Culvenor | TIDA: an algorithm for the delineation of tree crowns in high spatial resolution remotely sensed imagery | |
CN103971115B (zh) | 一种基于NDVI和PanTex指数的新增建设用地图斑自动提取方法 | |
CN103679675B (zh) | 一种面向水质定量遥感应用的遥感影像融合方法 | |
CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
CN110363246B (zh) | 一种高时空分辨率植被指数ndvi的融合方法 | |
CN106503739A (zh) | 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统 | |
CN110135354B (zh) | 一种基于实景三维模型的变化检测方法 | |
CN105608474A (zh) | 基于高分辨率影像的区域自适应耕地提取方法 | |
CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
CN103208001A (zh) | 结合形状自适应邻域和纹理特征提取的遥感图像处理方法 | |
CN111008644B (zh) | 基于局部动态能量函数fcn-crf模型的生态变化监测方法 | |
CN109801305B (zh) | 基于深度胶囊网络的sar图像变化检测方法 | |
CN106373146A (zh) | 一种基于模糊学习的目标跟踪方法 | |
Liang et al. | Maximum likelihood classification of soil remote sensing image based on deep learning | |
CN110717531A (zh) | 一种基于不确定性分析和贝叶斯融合的分类后变化类型检测方法 | |
CN114627104A (zh) | 一种机场净空保护区建筑变化的遥感影像检测方法 | |
CN105205816A (zh) | 多特征加权融合的高分辨率sar影像建筑区提取方法 | |
CN112329565A (zh) | 一种基于高分遥感影像的道路建设监管方法及系统 | |
CN114627380A (zh) | 一种基于光学影像与sar时序数据融合的水稻识别方法 | |
Li et al. | Spatiotemporal fuzzy clustering strategy for urban expansion monitoring based on time series of pixel-level optical and SAR images | |
CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
CN106407975B (zh) | 基于空间-光谱结构约束的多尺度分层目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |