CN113673441A - 定量变差纹理驱动的高分遥感图像分类法 - Google Patents

定量变差纹理驱动的高分遥感图像分类法 Download PDF

Info

Publication number
CN113673441A
CN113673441A CN202110971079.2A CN202110971079A CN113673441A CN 113673441 A CN113673441 A CN 113673441A CN 202110971079 A CN202110971079 A CN 202110971079A CN 113673441 A CN113673441 A CN 113673441A
Authority
CN
China
Prior art keywords
variation function
variation
texture
window
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110971079.2A
Other languages
English (en)
Inventor
王彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110971079.2A priority Critical patent/CN113673441A/zh
Publication of CN113673441A publication Critical patent/CN113673441A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Abstract

现有技术仅依靠光谱信息进行地物类型识别,忽略了邻近像元之间的相互关系,无法对具有相近光谱特征的地物进行有效区分。本发明采用变异函数对高分遥感图像的纹理特征进行定性和定量描述,一是解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;二是对比得出对象变异函数在定量纹理描述上具有更高的准确性;三是在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,利用支持向量机进行监督分类,并与灰度共生矩阵法和基于窗口的变异函数纹理特征进行对比,证明了本发明能大幅改善遥感图像光谱分类的效果,在可靠性和可用性方面也有较大提升,具有良好的运用价值。

Description

定量变差纹理驱动的高分遥感图像分类法
技术领域
本发明涉及一种高分遥感图像分类方法,特别涉及一种定量变差纹理驱动的高分遥感图像分类法,属于遥感图像分类技术领域。
背景技术
传感器技术的发展使遥感图像在光谱、空间和时间分辨率上都有了巨大提升,高空间分辨率遥感图像(高分遥感图像)提供了更丰富的地表信息,包括目标的的几何形状、大小及邻近目标的关系都得到更好了的体现,为有效识别和判断目标奠定了基础。
遥感图像中的待识别目标分为人工地物和自然地物,识别过程需依靠光谱特征,以及目标的几何、纹理特征和上下文关系等。高分遥感图像能够真实反映各种地物信息,相较于中低分辨率图像,其地物光谱分布变化多样,不同类型的地表特征的频谱重叠度较高,数据量呈几何倍数增长。传统仅依赖光谱特征的信息提取方法,忽略了相邻像素之间可能存在的有用信息,难以满足实际应用的同时,无法凸显高分遥感图像的优势。目前的遥感软件不能很好的处理高分遥感图像。因此,遥感图像分析技术中出现了面向对象的方法,通过分割获取分割对象,以对象而非像元作为单位,除提取常用的光谱特征外,还能挖掘对象的纹理、几何形状和拓扑关系,以多特征相结合的手段改善分类质量。
空间信息相比于光谱信息更加难以量化,它涉及到组成对象的一组像素点的空间变异、图案、形状和尺寸等问题。纹理作为空间信息的一种,对特征提供一个更高阶的描述,同时包括了色调和灰度相关的空间信息分布。纹理是用于分割图像的基础,由于图像纹理在分离区域上的重要性,目前已出现一些纹理信息提取方法,纹理是定义区域的视觉线索和识别该区域光滑或粗糙度的视觉感受,如果对纹理进行量化,则纹理是涉及像素值变化的一种特征。遥感图像中不同类型的地物地貌由于其组成和结构差异会表现为不同的纹理,因此将纹理作为区分地物类型的一种手段,光谱分类中纹理的应用能辅助提取子类地物。随着高分遥感图像的使用,内含丰富的纹理信息改善光谱分类结果,光谱特征与纹理特征相结合能够获取更高的分类精度。通过目视判读进行遥感图像解译是一项繁重的工作。随着遥感图像数据量的增大,迫切需要自动化的图像解译和信息提取技术。因此,图像纹理分析成为遥感技术的重要课题。随着对高分遥感图像的深入研究,光谱分类方法的局限性也越来越明显。高分遥感图像中的对象都是根据它们在灰度值上的显著差异,对边界进行勾画得到的。这些差异造成了图像上的规律的空间模式,进行人工图像解译时用来分析和识别地物的一个重要依据就是由颜色和色调的空间排列行程的自然实体或可视的纹理。纹理描述方法分为以下四类:基于结构的方法、基于频谱的方法、基于模型的方法、基于统计的方法。
纹理特征描述方法分类并不是绝对的,以上四类方法之间也有相互关联和共同之处。不同的纹理描述方法,对不同数据类型和应用需求的适用性也不同。基于结构的方法受到遥感图像中复杂且不稳定的背景信息的影响,降低其可用性;基于模型的方法受限于其高计算复杂度和选择的模型;基于频率域的方法虽能够在多尺度上对纹理信息进行提取,但在转换过程中存在信息丢失;基于统计的纹理描述方法计算量大、且效果存在明显的不确定性。变异函数能够将图像的局部变化性和空间关联性结合在一起,反映图像灰度值的空间变化,而变异函数可以定量的对这种变化进行描述,相比于传统的统计学纹理描述方法更具有优势。
基于变异函数的纹理描述方法主要分为两类,一类是利用参数模型对变异函数进行拟合,根据拟合后得到的关键参数描述纹理特征,但是在遥感图像中,并不存在一个可以模拟所有地物的通用模型,模型的选择通常仅依靠经验决定,并且许多模型对变异函数的拟合程度不高,因此所选择的模型对某些区域或特定地物类别并不适用,导致其用于分类的参数并不具有代表性。另一类方法直接使用变异函数值对纹理进行描述,特别是在结合光谱与变异函数纹理特征使用时,分类精度能够提高。
。但以上两类变异函数纹理描述中,都存在确定计算变异函数的窗口大小、步长和方向的问题,以固定大小窗口计算变异函数,所得变异函数曲线值是否具有代表性,与窗口大小、步长、方向以图像分辨率密切相关。现有技术大多使用的是基于窗口的计算方法,但该方法存在许多问题,窗口大小的选择通常基于经验,窗口的使用导致该方法容易受到边界效应的影响,计算重复率高,计算时间长;步长的选择受限于窗口大小,步长不一定覆盖完整的纹理结构等。
尽管变异函数已被应用于遥感图像分类,但针对高分遥感图像的、面向对象的变异函数提取方法仍然明显不够成熟,在实际应用中难以得到满意的效果。基于对象的变异函数虽然不再需要考虑窗口大小的选择,但仍需要考虑不同分割算法、分割尺度对分割对象的影响,以及如何在分割对象内部计算得到准确的变异函数曲线。
综上所述,现有技术的高分遥感图像分类存在不足,本发明的难点和待解决的问题主要集中在以下方面:
第一,现有技术的光谱分类方法仅依靠光谱信息进行地物类型识别,忽略了邻近像元之间的相互关系,无法对具有相近光谱特征的地物进行有效区分,无法凸显高分遥感图像的优势,目前的遥感软件也不能很好的处理高分遥感图像;
第二,通过目视判读进行遥感图像解译是一项繁重的工作。随着遥感图像数据量的增大,迫切需要自动化的图像解译和信息提取技术,图像纹理分析成为遥感技术的重要课题,不同的纹理描述方法,对不同数据类型和应用需求的适用性也不同,基于结构的方法受到遥感图像中复杂且不稳定的背景信息的影响,降低其可用性;基于模型的方法受限于其高计算复杂度和选择的模型;基于频率域的方法虽能够在多尺度上对纹理信息进行提取,但在转换过程中存在信息丢失;基于统计的纹理描述方法计算量大、且效果存在明显的不确定性。变异函数能够将图像的局部变化性和空间关联性结合在一起,反映图像灰度值的空间变化,而变异函数可以定量的对这种变化进行描述,相比于传统的统计学纹理描述方法更具有优势;
第三,基于变异函数的纹理描述方法主要分为两类,一类利用参数模型对变异函数进行拟合,根据拟合后得到的关键参数描述纹理特征,但是在遥感图像中,并不存在一个可以模拟所有地物的通用模型,模型的选择通常仅依靠经验决定,并且许多模型对变异函数的拟合程度不高,因此所选择的模型对某些区域或特定地物类别并不适用,导致其用于分类的参数并不具有代表性。另一类方法直接使用变异函数值对纹理进行描述,但以上两类都存在确定计算变异函数的窗口大小、步长和方向的问题,以固定大小窗口计算变异函数,所得变异函数曲线值是否具有代表性,与窗口大小、步长、方向以图像分辨率密切相关,现有技术使用的是基于窗口的计算方法,但存在许多问题,窗口大小的选择通常基于经验,窗口的使用导致该方法容易受到边界效应的影响,计算重复率高,计算时间长;步长的选择受限于窗口大小,步长不一定覆盖完整的纹理结构等。
第四,尽管变异函数已被应用于遥感图像分类,但针对高分遥感图像的、面向对象的变异函数提取方法仍然明显不够成熟,在实际应用中难以得到满意的效果。基于对象的变异函数虽然不再需要考虑窗口大小的选择,但仍需要考虑不同分割算法、分割尺度对分割对象的影响,以及解决如何在分割对象内部计算得到准确的变异函数曲线的问题。
本发明采用变异函数对遥感图像上像素点的空间位置和相互关系进行定量描述,针对不同类型地物的纹理特征进行分析,从理论和实验两个角度探讨将变异函数应用于高分遥感图像;利用变异函数对高分遥感图像的各类地物进行纹理描述,进而将变异函数应用于图像分类,改善分类结果。目前,遥感领域针对变异函数的研究主要是围绕中低分辨率图像的分类进行的,因此本发明的工作也将会推动变异函数在高分遥感图像中的研发和应用。
发明内容
为了解决以上问题,本发明采用变异函数对高分遥感图像的纹理特征进行定性和定量描述,包括:第一,解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;第二,基于窗口变异函数和对象变异函数计算方法的对比,得出对象变异函数在定量纹理描述上具有更高的准确性;第三,在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,基于多尺度分割获取对象,在对象级上解析各类典型地物的变异函数曲线结构,通过目视判读选取具有代表性的地物样本对象,提取变异函数特征描述因子,作为样本的特征向量,对高维的特征向量进行基于改进的Relief融合主分量分析的特征选择,选择具有代表性且关联度低的特征作为最终的分类器输入,最后利用支持向量机进行监督分类,并与灰度共生矩阵法和基于窗口的变异函数纹理特征进行对比,验证面向对象的定量变差纹理特征能够大幅改善遥感图像光谱分类的效果。
为实现以上技术特征,本发明所采用的技术方案如下:
定量变差纹理驱动的高分遥感图像分类法,基于高分遥感图像中的地物及其对应变异函数特性,利用变异函数对高分遥感图像中的不同类型地物进行纹理描述,并基于面向对象的遥感图像分析,通过在对象内部计算变异函数并提取对应纹理特征,实现典型地物空间结构特征描述和高分遥感图像地物分类;具体包括:
第1步,设计并实现变异函数最优窗口和步长的设置方法:首先提出窗口和步长大小的设置依据,设计并实现最优窗口和步长的选择算法,即根据典型地物样本,计算其变异函数曲线,找出曲线上近似变程的步长,即为可计算的最大步长,将窗口大小设定至少为变程的两倍,然后针对各向同性和各向异性的地物样本,从多个方向和多个波段上计算其变异函数,采用取多个方向的均值得到全方向变异函数的计算方式;
第2步,对高分遥感图像的典型地物进行变异函数纹理分析:植被分为纹理丰富的田园树林和纹理稀疏的草地,纹理丰富的植被,其变异函数曲线具有明显特征:田园的变异函数曲线呈现出周期性,树林的变异函数曲线在较短距离内达到峰值,该峰值对应的距离与树冠直径或树木的种植间距相关,纹理稀疏的地物,其变异函数曲线稳定在一个较低的变异函数值附近,曲线平缓且无明显波动,建筑区属人工复合地物,内部结构复杂,其变异函数会出现不规则波动,并且变异函数均值远高于其它类型地物;
第3步,面向对象进行基于变异函数驱动的高分遥感图像分类:在多尺度分割的基础上,获得分割对象利用对象内部的像素点计算变异函数曲线,在变异函数曲线上提取关键点,计算14个变异函数纹理描述特征,提取光谱特征,通过特征选择,选取具有代表性的特征,用于支持向量机分类,利用变异函数纹理特征辅助光谱分类,提高高分遥感图像分类精度。
定量变差纹理驱动的高分遥感图像分类法,进一步的,包括:第一,解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;第二,基于窗口变异函数和对象变异函数计算方法的对比,得出对象变异函数在定量纹理描述上具有更高的准确性;第三,在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,基于多尺度分割获取对象,在对象级上解析各类典型地物的变异函数曲线结构,通过目视判读选取具有代表性的地物样本对象,提取变异函数特征描述因子,作为样本的特征向量,对高维的特征向量进行基于改进的Relief融合主分量分析的特征选择,选择具有代表性且关联度低的特征作为最终的分类器输入,最后利用支持向量机进行监督分类,验证面向对象的定量变差纹理特征能够大幅改善遥感图像光谱分类的效果。
定量变差纹理驱动的高分遥感图像分类法,进一步的,变差定量描述高分图像纹理结构特征:将遥感图像作为同时具有随机性和空间关联性的一个区域化变量,图像灰度值的空间关联性变化用变异函数描述,将所有方向划分为四个主要方向,即0度(E-W)、45度(NW-SE)、90度(N-S)、135度(NE-SW),通过对四个方向的变异函数取平均值,得到一个全方向的变异函数:
Figure BDA0003225808020000051
g0(q),g45(q),g90(q)和g135(q)分别代表四个方向上的变异函数,计算公具体为:
0度(E-W):
Figure BDA0003225808020000052
45度(NW-SE):
Figure BDA0003225808020000053
90度(N-S):
Figure BDA0003225808020000054
135度(NE-SW):
Figure BDA0003225808020000055
其中g(q)为变差函数值,dm(xi)为xi点处像素在某一波段上的灰度值,dm(xi+q)为与xi点的距离为q的像素点灰度值,M(q)为距离为q像元点对数量,其中距离q既具有方向信息也具有长度信息,变异函数描述不同方向上的空间变化情况,计算过程考虑以下因素:计算窗口的大小、步长、计算方向和波段组合,在一个指定窗口内,利用指定步长计算变异函数的平均值并赋予窗口中心像素,用该窗口遍历整幅图像,得到不同的变异函数纹理图层。
定量变差纹理驱动的高分遥感图像分类法,进一步的,窗口大小和步长的设置:窗口大小和步长相互影响,根据不同地物类型的特点,从图像上人工选取一些训练样本并计算其变异函数,计算变异函数遵循规则包括:
规则一:在窗口范围内计算全方向变异函数,全方向变异函数由四个方向的变异函数求平均值得到;
规则二:为保证变异函数的准确性,需有足够多的点对参与计算,将最大的计算步长限制在训练样本尺寸的一半内;
变异函数计窗口和步长的选择流程为:
流程一:确定分类区域内的主要地物类型,选择对应的样本;
流程二:使用一组不同大小的窗口,针对每类样本计算变异函数;
流程三:如果变异函数不呈现周期性变化,则根据变程b的大小来确定窗口大小,由于遥感图像的复杂度高,用变异函数值的增量来计算变程,当变异函数单调递增时,变异函数值的增量最小时所对应的步长为变程;当变异函数近似于单调,但呈现不规则变化时,则将变异函数增量第一次小于或等于0时对应的步长视为变程,计算式为:
Δg(qi)=g(qi)-g(qi-1) 式6
△g(qi)为qi对应的变异函数增量,变程b即为最大的计算步长,窗口大小为2×b+1;
流程四:如果变异函数呈周期性变化,则根据周期大小确定最大计算步长,当曲线出现一个完整周期(第二个极大值对应步长qmax_2)时对应的步长qc,作为最大步长qc=qmax_2,窗口大小为2×qc+1。
定量变差纹理驱动的高分遥感图像分类法,进一步的,定量变差纹计算方向的设置:各向同性的地物,在各方向上的纹理结构相近,不同方向上计算的变异函数结果应该相同,而对于各向异性的地物,其纹理结构随方向的变化而不同,在不同方向上计算的变异函数结果有区别;
在应用中根据实际需要对方向进行选择,在保证准确性的同时,尽可能降低计算量。
定量变差纹理驱动的高分遥感图像分类法,进一步的,基于窗口与基于对象的变异函数计算:基于窗口的变异函数计算受限于窗口大小和步长,面向对象的计算则不需要定义窗口大小,在对象内部的纹理特征一致,并且计算时只考虑对象内部的像素点,首先通过多尺度分割得到若干对象,然后针对每个对象,使用其内边界以内的像素点,计算不同步长上的变异函数值的平均值,绘制出变异函数曲线;与基于对象的计算方法相区别,基于窗口的计算结果以纹理图层表示,每个像素对于每一个给定步长都会有一个变异函数值对应,而基于对象以对象为单位,每个对象的纹理特征由一条变差函数曲线描述;
比较基于窗口和基于对象的变异函数计算方法的差异,对比实验采用基于窗口的方法,首先利用指定窗口和步长对原始图像进行计算,得到一系列变异函数纹理图层,根据窗口大小,计算的最大步长不超过窗口大小的一半,然后对原始图像进行分割,将分割边界与纹理图层叠加,得到不同对象的纹理信息,将对象中的变异函数值进行统计,得到一条变异函数曲线,通过对变异函数曲线的对比,进而分析基于窗口和基于对象的计算方法。
定量变差纹理驱动的高分遥感图像分类法,进一步的,典型地物的变异函数曲线分析:基于对象的变异函数计算方法相比于基于窗口的变异函数更为准确,基于窗口的计算方法在实际计算时,考虑了不属于对象的异类像素点,因此变异函数值与准确结果偏差较大,对于纹理丰富对象,计算中考虑了异类像素点,使得平均变异函数值降低;对于纹理缺乏的对象,则使得平均变异函数值增大,而基于对象的计算方法受到分割边界的严格限制,只使用该对象对应地物类型的像素点,完全不受相邻的异类地物的影响;
基于窗口的计算时间明显长于基于对象,区域内主要地物类型的基于对象变异函数曲线显示:只有果园的曲线表现出周期性,其它均为单调性,果园呈现的周期与果树尺寸及果树间的距离有关,林地与果园的变异函数平均值接近,但林地的曲线单调递增,并且在较短距离上就区域平稳,不再随着步长的增加而变化,农用地和水体的变异函数值最小,代表其纹理结构较简单,内部差异性小,农用地的变异函数值略高于水体,表明目标区域较为均匀,建筑区的变异函数值较大,其内部结构复杂,导致远高于其它地物的变异函数值,通过对比说明,变异函数能够对不同纹理进行有效区分。
定量变差纹理驱动的高分遥感图像分类法,进一步的,定量变差纹理驱动的高分遥感图像分类:遥感图像分类获得遥感图像与实际地表对应的信息,对遥感图像中地物的识别要考虑到其包含的各种信息,在图像分类中加入纹理信息,把纹理特征与其它类型特征作为分类器的识别条件参与分类,在面向对象的基础上,计算不同地物的光谱和纹理特征,选择具有代表性的训练样本对分类器进行训练,并最终完成地物识别的目标。
定量变差纹理驱动的高分遥感图像分类法,进一步的,定量变差纹理驱动的高分遥感图像分类流程包括:
第一步,当原始图像的分辨率较高时,首先对原始图像进行降采样至0.8m,采用基于图论的多尺度多层次影响分割方法,通过反复试验选择合适的分割参数和尺度,对降采样后的图像进行初始分割;
第二步,确定分类区域内的主要地物类型,根据地物类型选择充足的训练样本;
第三步,需要有充足的点对参与计算,即分割对象的面积不能太小,对初始分割结果进行一次多尺度合并,将相邻对象按照其相近度大小进行合并,并以阈最小面积值加以限制,控制合并尺度;
第四步,将分割结果分别与原始多光谱图像和单波段图像进行叠加,分别计算出包括均值、方差、最大值和最小值的光谱特征,以及变异函数曲线,每个对象对应有一条变异函数曲线,对其纹理特征进行描述;
第五步,在变异函数曲线上提取关键点,计算变异函数纹理描述特征;
第六步,利用改进的Relief算法对变异函数纹理描述特征进行初步特征选择,去掉不相关的特征,改进的Relief算法利用训练样本集的数据,对每个特征进行遍历,计算距离最近的同类样本和异类样本间的距离,对每个特征的权重进行更新,最终每个样本对应一个权重,权重小于0的特征,可为不相关的特征,被剔除;
第七步,将初步筛选的变异函数纹理特征与光谱特征合并,进行主分量变换,将变换后的主分量用于支持向量机的分类;
第八步,利用训练样本对SVM分类器进行训练,并对未知类型样本进行分类,得到分类结果;
第九步,分类后的精度评定,采用混淆矩阵进行分类的精度评定,根据混淆矩阵计算用户精度、制图精度和总体精度。
定量变差纹理驱动的高分遥感图像分类法,进一步的,变异函数曲线分为两类:单调性和周期性,只有果园的曲线表现出周期性,其它均为单调性,在几类同为单调的变异函数曲线之间,以曲线的变化率和平均变异函数值作为区分;
根据变异函数曲线上的极值点,第一个极大值g(qmax_1),第一个极小值g(qmin_1)和第二个极大值g(qmax_2)及其对应的步长,定义纹理特征参数来描述变异函数,对不同地物进行纹理特征描述,这组特征根据其定义中所使用的不同范围内的步长分为三组:
第一组:原点附近(RVF、RSF、FDO、SDT);
第二组:至第一极大值对应步长(FML、MFM、VFM、DMF、RMM、SDF、AFM);
第三组:第一极大值与第二极大值对应步长范围内(DMS、DMM、HA);
首先,利用改进的Relief对特征进行初始选择,改进的Relief算法根据特征在区分相互靠近的样本的能力上对特征质量进行评估,首先,每个特征的初始权重均被设置为0,然后对每一类的每个训练样本进行遍历,找出于该样本最近的同类样本和异类样本,并计算其对应距离,每个特征的权重更新依赖于样本在同类中的若干个近邻和异类中的若干个近邻,特征权重小于0的特征被视为与分类不相关的特征而被剔除,在去除FML,DMM、DMS后,最终保留下的11个特征为RVF、RSF、FDO、SDT、MFM、VFM、DMF、RMM、SDF、AFM、HA,保留下的11个变异函数纹理特征与光谱特征进行组合,组成特征向量,将主分量变换用于高维特征向量处理,将变换后的总信息量达到90%以上的主分量选出,作为分类器的输入。
与现有技术相比,本发明的贡献和创新点在于:
第一,本发明结合高分遥感图像中的地物及其对应变异函数特性,利用变异函数对高分遥感图像中的不同类型地物进行纹理描述,并结合面向对象的遥感图像分析方法,通过在对象内部计算变异函数并提取对应纹理特征,实现典型地物空间结构特征描述和高分遥感图像地物精确分类,为实现高分遥感图像的地物分类奠定基础;
第二,现有技术的光谱分类方法仅依靠光谱信息进行地物类型识别,忽略了邻近像元之间的相互关系,无法对具有相近光谱特征的地物进行有效区分。本发明采用变异函数对高分遥感图像的纹理特征进行定性和定量描述,一是解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;二是基于窗口变异函数和对象变异函数计算方法的对比,得出对象变异函数在定量纹理描述上具有更高的准确性;三是在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,最后利用支持向量机进行监督分类,并与灰度共生矩阵法和基于窗口的变异函数纹理特征进行对比,证明了面向对象的定量变差纹理特征能够大幅改善遥感图像光谱分类的效果,在可靠性和可用性方面也有较大提升,具有良好的运用价值;
第三,本发明各类地物的分类精度都得到不同程度的提高,耕地和草地的分类情况得到明显改善,总体精度从79.8%提高到86.1%,田园的用户精度由86.8%大幅度提升到了92.4%,存在于道路和建筑区之间的光谱混淆也得以区分,建筑区和道路的制图精度分别由60.9%和54.9%提升到77.1%和81.1%,水体的制图精度在光谱+GLCM中最高,从单纯使用光谱分类的57.1%增加到71.4%,光谱+变异函数的方法在所有地物类型的分类精度上都有了不同程度的提高,特别是田园和建筑区的制图精度分别提高了8.7%和21.8%,取得了所有实验中最高的总体精度89.1%。该结果说明,变异函数能够很好的辅助光谱分类,提供可靠和优化的分类结果。特别是对于区分各类植被,例如树林,耕地、田园,具有明显优势。此外,变异函数特别适用于描述纹理丰富区域,或复杂结构,能够很好的描述人工地物。在变异函数的辅助下,光谱分类结果得到了很大提高;
第四,本发明的创新点还在于:一是设计并实现变异函数最优窗口和步长的设置方法:首先提出窗口和步长大小的设置依据,设计并实现最优窗口和步长的选择算法,将窗口大小设定至少为变程的两倍,保证变异函数的可靠性,然后针对各向同性和各向异性的地物样本,从多个方向和多个波段上计算其变异函数,在保证计算准确性的同时考虑计算量大小,采用取多个方向的均值得到全方向变异函数的计算方式;二是基于窗口的变异函数与基于对象的变异函数之间的对比得出:面向对象的方法更适合,三是实现高分遥感图像的典型地物进行变异函数纹理分析:四是面向对象进行基于变异函数驱动的高分遥感图像分类:利用变异函数纹理特征辅助光谱分类,有效地提高了整体分类精度,相比于单纯使用光谱信息进行分类,本发明分类的总体精度都有提高,特别是对于纹理丰富区域,其分类精度提升最为明显,多类实验也证明了本发明的分类结果最优。
附图说明
图1是定量变差纹理驱动的高分遥感图像分类法的技术路线图。
图2是在窗口内计算不同方向的变异函数示意图。
图3是本发明变异函数窗口和步长选择流程图。
图4是树林的样本数据与变异函数曲线图。
图5是田园的样本数据与变异函数曲线图。
图6是建筑区的样本数据与变异函数曲线图。
图7是草地的样本数据与变异函数曲线图。
图8是实施例1的草地、树林、田园和建筑区的变异函数曲线图。
图9是田园与草地在四个方向及全方向上的变异函数曲线图。
图10是田园样本分割结果和对应变异函数曲线图。
图11是农用地样本分割结果和对应变异函数曲线图。
图12是林地样本分割结果和对应变异函数曲线图。
图13是建筑区样本分割结果和对应变异函数曲线图。
图14是水体样本分割结果和对应变异函数曲线图。
图15是农用地、水体、建筑区、林地和田园的变异函数曲线比较图。
图16是定量变差纹理驱动的高分遥感图像分类流程图。
图17是实施例3研究区域航空影像和对应的分割结果示意图。
图18是实施例3草地、田园、耕地、建筑区和树林的变异函数对比图。
图19是实施例3遥感图像分类结果的精度评定图。
具体实施方法
下面结合附图,对本发明提供的定量变差纹理驱动的高分遥感图像分类法的技术方案进行进一步的描述,使本领域的技术人员能够更好的理解本发明并能够予以实施。
随着空间分辨率的提高,遥感图像能够提供更佳的地物细节和更丰富的空间信息。图像中的地物是由多个相邻像素组成,现有技术的光谱分类方法仅依靠光谱信息进行地物类型识别,忽略了邻近像元之间的相互关系,无法对具有相近光谱特征的地物进行有效区分。本发明采用变异函数对高分遥感图像的纹理特征进行定性和定量描述,包括:第一,解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;第二,基于窗口变异函数和对象变异函数计算方法的对比,得出对象变异函数在定量纹理描述上具有更高的准确性;第三,在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,基于多尺度分割获取对象,在对象级上解析各类典型地物的变异函数曲线结构,通过目视判读选取具有代表性的地物样本对象,提取变异函数特征描述因子,作为样本的特征向量,对高维的特征向量进行基于改进的Relief融合主分量分析的特征选择,选择具有代表性且关联度低的特征作为最终的分类器输入,最后利用支持向量机进行监督分类,并与灰度共生矩阵法和基于窗口的变异函数纹理特征进行对比,验证面向对象的定量变差纹理特征能够大幅改善遥感图像光谱分类的效果。本发明的技术路线如图1所示。
一、变差定量描述高分图像纹理结构特征
将遥感图像作为同时具有随机性和空间关联性的一个区域化变量,图像灰度值的空间关联性变化用变异函数描述,将所有方向划分为四个主要方向,即0度(E-W)、45度(NW-SE)、90度(N-S)、135度(NE-SW),通过对四个方向的变异函数取平均值,得到一个全方向的变异函数:
Figure BDA0003225808020000111
如图2所示,g0(q),g45(q),g90(q)和g135(q)分别代表四个方向上的变异函数,计算公具体为:
0度(E-W):
Figure BDA0003225808020000112
45度(NW-SE):
Figure BDA0003225808020000113
90度(N-S):
Figure BDA0003225808020000121
135度(NE-SW):
Figure BDA0003225808020000122
其中g(q)为变差函数值,dm(xi)为xi点处像素在某一波段上的灰度值,dm(xi+q)为与xi点的距离为q的像素点灰度值,M(q)为距离为q像元点对数量,其中距离q既具有方向信息也具有长度信息,变异函数描述不同方向上的空间变化情况,计算过程考虑以下因素:计算窗口的大小、步长、计算方向和波段组合,在一个指定窗口内,利用指定步长计算变异函数的平均值并赋予窗口中心像素,用该窗口遍历整幅图像,得到不同的变异函数纹理图层。
二、典型地物的变异函数曲线模型
(一)解析变异函数计算的影响因子
变异函数以移动窗口为单位计算,在固定窗口范围内计算的变异函数是否具有代表性,与窗口大小、步长的设置以及图像分辨率相关。
1.窗口大小和步长的设置
窗口大小和步长相互影响,根据不同地物类型的特点,从图像上人工选取一些训练样本并计算其变异函数,计算变异函数遵循规则包括:
规则一:在窗口范围内计算全方向变异函数,全方向变异函数由四个方向的变异函数求平均值得到;
规则二:为保证变异函数的准确性,需有足够多的点对参与计算,将最大的计算步长限制在训练样本尺寸的一半内。
变异函数计窗口和步长的选择流程如图3:
流程一:确定分类区域内的主要地物类型,选择对应的样本;
流程二:使用一组不同大小的窗口,针对每类样本计算变异函数;
流程三:如果变异函数不呈现周期性变化,则根据变程b的大小来确定窗口大小,由于遥感图像的复杂度高,用变异函数值的增量来计算变程,当变异函数单调递增时,变异函数值的增量最小时所对应的步长为变程;当变异函数近似于单调,但呈现不规则变化时,则将变异函数增量第一次小于或等于0时对应的步长视为变程,计算式为:
Δg(qi)=g(qi)-g(qi-1) 式6
△g(qi)为qi对应的变异函数增量,变程b即为最大的计算步长,窗口大小为2×b+1;
流程四:如果变异函数呈周期性变化,则根据周期大小确定最大计算步长,当曲线出现一个完整周期(第二个极大值对应步长qmax_2)时对应的步长qc,作为最大步长qc=qmax_2,窗口大小为2×qc+1。
实施例1:数据为杭州市的航片,空间分辨率为0.5m,包括红、绿、蓝三个可见光波段,各样本数据大小均为192×192像素,样本地物覆盖类型包括植被(田园、树林、耕地、草地)和建筑区,以下均使用红波段进行全方向变异函数计算。
图4(a)为树林的样本,独立的树木呈点状纹理,整齐排列。图4(b)为树林的变异函数曲线。变异函数一开始就随着步长的增加快速增长,随后变异函数达到稳定水平,不再随着步长的增加而变化。变异函数曲线上的峰值对应纹理单元的大小,例如树林中独立树木的树顶直径,或各排树木间的间隔距离。通过对原始样本的测量发现,独立树木的直径平均值为4个像素,正好与图像反映结果一致。根据式6计算,当q=12时,g(q12)<0。所以,最大步长qmax=12,窗口大小为25×25。
图5(a)为田园样本,田园呈现带状纹理,周期性的纹理结构。图5(b)为田园的变异函数曲线。变异函数随步长的增加快速增大,在q=4时达到第一个峰值,随后,随步长的增大,曲线呈现明显的周期性,周期大小为5个像素,与树林相比,田园的周期性更容易被探测到,并且曲线波动更剧烈。以确定能观测到一个完整变化周期为依据,选择qmax=qc=10,大小为21×21的窗口最优。
图6(a)为建筑区的样本,建筑区中不仅存在形状各异的建筑物群体,还包括分布其间的道路、植被等其它地物。建筑区的组成造成了其复杂多变的内部结构,图6(b)建筑区的变异函数曲线。变异函数随着步长增加而缓慢上升,随后曲线的增长速度逐渐减缓,在q=20之后变异函数值基本不再变化,由于曲线单调递增,不存在g(q)<0的情况,所以选择变异函数值增量最小所对应的步长q=22,最大步长qmax=22,窗口大小为45×45。
图7(a)为草地的样本,草地属于纹理缺乏的区域。图7(b)为草地的变异函数曲线。草地的变异函数随步长的增加而缓慢增大,随后曲线的增长速度逐渐减缓,大约在q=22趋于稳定,随后变异函数值呈现一段小幅下降的趋势,与草地中的微小结构(小片裸地)有关,在略微起伏之后,曲线不再随步长的变化而变化。根据式6计算,当q=22时,g(q12)<0,最大步长qmax=22,窗口大小为45×45。
为了更直观反映各类地物的变异函数,将四类地物的曲线显示在图8中。针对不同地物类型选取的窗口大小皆有不同。在实际应用中要找到一个窗口大小,既能够覆盖所有地物的纹理结构,又能够最大限度节约计算时间。所以基于实验数据,选择45×45的窗口。
2.定量变差纹计算方向的设置
各向同性的地物,在各方向上的纹理结构相近,不同方向上计算的变异函数结果应该相同,而对于各向异性的地物,其纹理结构随方向的变化而不同,在不同方向上计算的变异函数结果有所区别。
实施例2:数据为杭州市的航片,空间分辨率为0.5m,包括红、绿、蓝三个可见光波段,各样本数据大小均为192×192像素,田园属各向异性的地物,草地属各向同性地物。因此,在四个方向(即0度(E-W),45度(NW-SE),90度(N-S)和135度(NE-SW))上计算变异函数,得到全方向变异函数作对比。由于待分析地物属于植被,因此选用红波段计算。
图9(a)为田园对应的全方向和0度,45度,90度和135度四个方向的变异函数曲线,得出:一是四个方向和全方向的变异函数均显示出周期性;二是四个方向和全方向的变异函数的周期长度不同,45度方向周期最短,90度方向周期最长,45度方向为垂直于纹理方向,该方向对应的变异函数周期最短,周期大小约为6个像素,正好对应纹理基元的宽度;三是四个方向的变异函数的峰值高于全方向变异函数的峰值,四个方向的变异函数的谷值低于全方向变异函数的谷值。
图9(b)为草地对应的全方向和0度、45度、90度、135度四个方向的变异函数曲线。得出:一是四个方向和全方向的变异函数形状和变化趋势相近;二是各变异函数曲线都随着步长的增加而逐渐变大,并在某一特定步长之后,趋于平稳,不再发生剧烈变化;三是各变异函数曲线的稳定值大致相同。
通过分析,田园属于各向异性地物,在各方向上的变异函数都呈现出周期性,但周期大小不同,全方向变异函数虽然与各方向的计算结果有差异,但仍能表现出周期特性。草地属于各向同性地物,在各方向上的变异函数差异不大,与全方向的变异函数相比相近度较高,在应用中根据实际需要对方向进行选择,在保证准确性的同时,尽可能降低计算量。
(二)基于窗口与基于对象的变异函数计算
基于窗口的变异函数计算受限于窗口大小和步长等因素,面向对象的计算则不需要定义窗口大小,在对象内部的纹理特征一致,并且计算时只考虑对象内部的像素点,首先通过多尺度分割得到若干对象,然后针对每个对象,使用其内边界以内的像素点,计算不同步长上的变异函数值的平均值,绘制出变异函数曲线。与基于对象的计算方法相区别,基于窗口的计算结果以纹理图层表示,即每个像素对于每一个给定步长都会有一个变异函数值对应,而基于对象以对象为单位,每个对象的纹理特征由一条变差函数曲线描述。
为更好的比较基于窗口和基于对象的变异函数计算方法的差异,对比实验采用基于窗口的方法。首先利用指定窗口和步长对原始图像进行计算,得到一系列变异函数纹理图层,根据窗口大小,计算的最大步长不超过窗口大小的一半,然后对原始图像进行分割,将分割边界与纹理图层叠加,得到不同对象的纹理信息,将对象中的变异函数值进行统计,得到一条变异函数曲线,通过对变异函数曲线的对比,进而分析基于窗口和基于对象的计算方法。
(三)典型地物的变异函数曲线分析
根据高分遥感图像中常见的几类地物,包括植被、建筑区、水体分别进行计算,按照不同类型地物的特性,具体地给出基于窗口和基于对象的变异函数曲线对比。
1.植被
(1)果园。图10(a)为植被的样本数据,包含大面积果园和少量农用地。图10(b)为图10(a)中的果园对象,由矢量数据和栅格图像叠加得到,黑色部分为背景,不用于计算。果园由独立的果树组成,观察到整齐排列的线状地物。以图10(a)和(b)进行计算,分别得到基于窗口和基于对象的变异函数,如图10(c)所示,基于窗口和基于对象的变异函数均呈现出周期性,但周期大小不同,前者周期明显小于后者,基于对象的变异函数平均值高于基于窗口的变异函数平均值,两条曲线在各自周期内均存在较小波动。基于对象的计算结果能够观察到相对稳定的周期,而基于窗口的计算结果的周期更难以被准确测量。
(2)农用地。图11(a)为植被的样本数据,包含大面积农用地和少量其它地物。图11(b)为图11(a)中的农用地对象,由矢量数据和栅格图像叠加得到,黑色部分为背景,不用于计算。样本中的农用地属于纹理缺乏区域。以图11(a)和(b)进行计算,分别得到基于窗口和基于对象的变异函数,如图11(c)所示,两种方法得到的计算结果都呈单调递增的趋势,基于对象的方法在较短距离(q=6)就趋于稳定,不再随步长的增加而变化,而基于窗口的方法得到的变异函数曲线仍在持续上升,在步长为30至40之间曲线突然变得平缓,随后又继续快速上升,基于对象的变异函数值较低,平稳状态的变异函数值也小于60,而基于窗口的变异函数则持续上升到约460,基于对象的计算方法更准确。
(3)林地。图12(a)为植被的样本数据,包含大面积林地和少量道路。图12(b)为图12(a)中的林地对象,由矢量数据和栅格图像叠加得到,以图12(a)和(b)进行计算,分别得到基于窗口和基于对象的变异函数,如图12(c)所示。两种方法得到的计算结果一开始都呈现单调递增的趋势,随着步长的增大逐渐平稳,基于对象的方法在较短距离就趋于稳定,不再随步长的增加而变化,而基于窗口的方法得到的变异函数曲线持续上升,直到q=40达到稳定值。基于对象的变异函数值较低,平稳状态的变异函数值约为1300,而基于窗口的变异函数则持续上升到2500左右,基于对象的计算方法更准确。
2.建筑区
高分遥感图像中的建筑区由单个建筑物及其之间的草地、树木等地物共同构成,是一种复合型人工地物,包含丰富的纹理、几何和空间信息,与其它地物类型相比,其空间建构较复杂,将建筑区看作一个整体进行提取,并不关心其内部构成。
图13(a)为建筑区的样本数据,包含大面积建筑区和少量植被、道路。图13(b)为图13(a)中的建筑区对象,由矢量数据和栅格图像叠加得到,建筑区属于复合型地物,空间结构复杂,纹理信息丰富。以图13(a)和(b)进行计算,分别得到基于窗口和基于对象的变异函数,如图13(c)所示,两条曲线均呈现单调递增趋势,形状相近,基于对象的变异函数增长速率更快,平均变异函数值远远高于基于窗口的变异函数值,基于对象的计算方法更准确。
3.水体
图14(b)为图14(a)中的水体对象,由矢量数据和栅格图像叠加得到,水体表面光滑均一,属于纹理缺乏区域。以图14(a)和(b)进行计算,分别得到基于窗口和基于对象的变异函数,如图14(c)所示。基于窗口的变异函数呈现单调递增的趋势,曲线接近于线性增长,基于对象的变异函数曲线基本与X轴平行,并不随步长的增加而发生变化,基于对象的变异函数值非常低,而基于窗口的变异函数则持续上升到了500左右,基于对象的计算方法更准确。
综合分析对比,基于对象的变异函数计算方法相比于基于窗口的变异函数更为准确。基于窗口的计算方法在实际计算时,考虑了不属于对象的异类像素点,因此变异函数值与准确结果偏差较大,对于纹理丰富对象(如果园),计算中考虑了异类像素点,使得平均变异函数值降低;对于纹理缺乏的对象(水体),则使得平均变异函数值增大,而基于对象的计算方法受到分割边界的严格限制,只使用了该对象对应地物类型的像素点,完全不受到相邻的异类地物的影响。在实验中还发现,后者计算时间明显长于前者,这是由于移动窗口的使用造成了大量像素的重复计算导致的。将区域内主要地物类型的基于对象变异函数曲线显示在图15中,图中虚线曲线参照左侧纵轴,实现曲线参照右侧纵轴。只有果园的曲线表现出周期性,其它均为单调性,果园呈现的周期与果树尺寸及果树间的距离有关,林地与果园的变异函数平均值接近,但林地的曲线单调递增,并且在较短距离上就区域平稳,不再随着步长的增加而变化。在图中显示的步长范围内,农用地和水体的变异函数值最小,代表其纹理结构较简单,内部差异性小。农用地的变异函数值略高于水体,表明目标区域较为均匀,但内部可能包含部分微小结构。建筑区的变异函数值较大,其内部结构复杂,导致远高于其它地物的变异函数值。通过对比可以说明,变异函数能够对不同纹理进行有效区分。具体如何应用变异函数进行纹理特征描述,将在下一部分说明。
以上对基于窗口和基于对象的变异函数计算方式进行比较,首先提出影响变异函数计算的几大因素,包括窗口大小、步长、计算方向和选取波段,通过在不同数据上选择不同地物类型的训练样本,得到变异函数曲线,寻找适合于不同地物类型的最优计算窗口,然后对典型地物类型计算基于窗口和基于对象的变异函数,通过与标准计算结果对比,比较两类方法纹理描述的准确度。
三、定量变差纹理驱动的高分遥感图像分类
遥感图像分类获得遥感图像与实际地表对应的信息,对遥感图像中地物的识别要考虑到其包含的各种信息,在图像分类中加入纹理信息,把纹理特征与其它类型特征(光谱、形状和上下文特征等)作为分类器的识别条件参与分类,在面向对象的基础上,计算不同地物的光谱和纹理(变异函数)特征,选择具有代表性的训练样本对分类器进行训练,并最终完成地物识别的目标。
定量变差纹理驱动的高分遥感图像分类流程如图16所示,包括:
第一步,当原始图像的分辨率较高时,首先对原始图像进行降采样至0.8m,采用基于图论的多尺度多层次影响分割方法,通过反复试验选择合适的分割参数和尺度,对降采样后的图像进行初始分割;
第二步,确定分类区域内的主要地物类型,根据地物类型选择充足的训练样本;
第三步,为保证变异函数的准确性,需要有充足的点对参与计算,即分割对象的面积不能太小,对初始分割结果进行一次多尺度合并,将相邻对象按照其相近度大小进行合并,并以阈值(最小面积)加以限制,控制合并尺度;
第四步,将分割结果分别与原始多光谱图像和单波段图像进行叠加,分别计算出光谱特征(包括均值、方差、最大值和最小值),以及变异函数曲线,每个对象对应有一条变异函数曲线,对其纹理特征进行描述;
第五步,在变异函数曲线上提取关键点,计算变异函数纹理描述特征;
第六步,利用改进的Relief算法对变异函数纹理描述特征进行初步特征选择,去掉不相关的特征,改进的Relief算法利用训练样本集的数据,对每个特征进行遍历,计算距离最近的同类样本和异类样本间的距离,对每个特征的权重进行更新,最终每个样本对应一个权重,权重小于0的特征,可为不相关的特征,被剔除;
第七步,将初步筛选的变异函数纹理特征与光谱特征合并,进行主分量变换,将变换后的主分量用于支持向量机的分类;
第八步,利用训练样本对SVM分类器进行训练,并对未知类型样本进行分类,得到分类结果;
第九步,分类后的精度评定,采用混淆矩阵进行分类的精度评定,根据混淆矩阵计算用户精度、制图精度和总体精度。
(一)定量变差纹理高分图像分类实验分析
实施例3:采用图像区域为广州市(图17(a)),图像覆盖面积约为4×5km,土地类型多样,主要地物类型为森林和农用地,航片具有红、绿、蓝三个可见光波段,空间分辨率为0.2米,样区覆盖地物类型包括多类农田、树林、草地、裸地、少量房屋、道路,图像最终分割结果如图17(b)所示。
选择红波段用于计算变异函数。图18为各类地物样本的变异函数对比图。虚线(田园和草地)参考左侧的纵轴,实线(耕地、居民区和树林)参考右侧纵轴。变异函数曲线大概分为两类:单调性和周期性,只有果园的曲线表现出周期性,其它均为单调性,田园呈现的周期与田园中的果树尺寸及果树间的距离有关,在区分周期性和非周期性变异函数曲线时,以是否存在周期作为主要区别,在图中显示的步长范围内,草地和耕地的变异函数曲线始终呈现缓慢上升趋势,变异函数值最小,代表其纹理结构较简单,内部差异性小,草地的变异函数值略高于耕地,表明目标区域较均匀,但内部包含部分微小结构,树林和建筑区的变异函数值较大,其中建筑区属于人工地物,内部结构复杂,导致了远高于其它地物的变异函数值,树林的曲线增长趋势在所有地物中最慢,并且在计算的步长范围内已达到稳定,在几类同为单调的变异函数曲线之间,以曲线的变化率和平均变异函数值作为区分。
根据变异函数曲线上的极值点,第一个极大值g(qmax_1),第一个极小值g(qmin_1)和第二个极大值g(qmax_2)及其对应的步长,定义纹理特征参数来描述变异函数,对不同地物进行纹理特征描述,这组特征根据其定义中所使用的不同范围内的步长分为三组:
第一组:原点附近(RVF、RSF、FDO、SDT);
第二组:至第一极大值对应步长(FML、MFM、VFM、DMF、RMM、SDF、AFM);
第三组:第一极大值与第二极大值对应步长范围内(DMS、DMM、HA);
RVF为总变异函数与步长为1对应的变异函数值之比,RSF为步长为2对应的变异函数值和步长为1对应的变异函数值之比,FDO为一阶导数,SDT为二阶导数,FML为第一极大值对应的步长,MFM为第一极值点内变异函数平均值,VFM为第一极值点内变异函数方差,DMF为最小步长对应变异函数值与最小步长到第一极大值对应步长范围内变异函数平均值的差,RMM为第一极大值与最小步长到第一极大值对应步长范围内变异函数值平均值之比,SDF为二阶差分,AFM为最小步长到第一极大值对应步长范围内变异函数的面积,DMS为前两个变异函数极大值对应步长之差,DMM为变异函数第一极小值和第二极大值对应步长的差,HA为空穴面积。
每个分割对象的纹理特征用一个14维的变异函数特征向量来描述,特征向量对分类来说特征维数较多,容易造成信息冗余,反而会降低分类精度。所以首先,利用改进的Relief对特征进行初始选择,改进的Relief算法根据特征在区分相互靠近的样本的能力上对特征质量进行评估,首先,每个特征的初始权重均被设置为0,然后对每一类的每个训练样本进行遍历,找出于该样本最近的同类样本和异类样本,并计算其对应距离,每个特征的权重更新依赖于样本在同类中的若干个近邻和异类中的若干个近邻,特征权重小于0的特征被视为与分类不相关的特征而被剔除,在去除FML,DMM、DMS后,最终保留下的11个特征为RVF、RSF、FDO、SDT、MFM、VFM、DMF、RMM、SDF、AFM、HA,保留下的11个变异函数纹理特征与光谱特征进行组合,组成特征向量,将主分量变换用于高维特征向量处理,将变换后的总信息量达到90%以上的主分量选出,作为分类器的输入。
对于高维特征向量选择支持向量机,选择SVM的原因在于它无需特征空间正态分布的假设,并且内核空间更适合多输入的特征,多元化的输入特征的维数不会对模型的复杂度产生影响,并且核函数能将输入特征映射到高维空间产生原始数据所不具备的新特征,通过模式判读人工选择一组样本数据,一半作为测试样本,另一半作为训练样本。
进行四组实验分析和验证利用变异函数对纹理进行描述的情况,实验(A)仅使用光谱特征进行分类,其余三组实验则是将光谱特征和纹理特征相结合进行分类。实验(B)使用了基于灰度共生矩阵(GLCM)的纹理特征,由于本发明着重分析面向对象的分类方法,因此针对每个对象仅适用对象内部像素点,综合考虑6个方向(0度,30度,60度,90度,120度和150度)取其平均值,得到一个GLCM。实验(C)使用了STFs特征,实验(d)为本发明的方法。
实验(C)首先利用指定窗口和步长对原始图像进行计算,得到一系列变异函数纹理图层,根据窗口大小,计算的最大步长一般不超过窗口大小的一半,然后对原始图像进行分割,将分割边界与纹理图层叠加,得到不同对象的纹理信息(STFs)。
实验(C)和(D)的设置在于对比基于窗口和基于对象的计算方法对分类结果的影响,实验(C)的方法是先用窗口计算变异函数,然后进行分类,而实验(D)则是先进行图像分割,然后利用分割结果得到对象,利用对象进行变异函数计算。对分类结果的精度评定见图19。
从图19中可以看出,耕地和草地的光谱信息相近,单纯使用光谱信息无法对这两类地物进行很好的区分,导致它们的制图精度和用户精度较低,道路和建筑区都具有较高的地表反射率,在光谱特征上相近,在纹理特征的辅助下,各类地物的分类精度都得到不同程度的提高,在使用GLCM特征后,耕地和草地的分类情况得到明显改善,总体精度从79.8%提高到86.1%,田园的用户精度由86.8%大幅度提升到了92.4%,存在于道路和建筑区之间的光谱混淆也得以区分,在GLCM特征的辅助下,建筑区和道路的制图精度分别由60.9%和54.9%提升到77.1%和81.1%,对于树林来说,虽然在增加纹理特征后,制图精度并没有得到大幅提高,但其中在光谱+STFs和光谱+变异函数的实验中,都达到了最高的用户精度97.6%。水体的制图精度在光谱+GLCM中最高,从单纯使用光谱分类的57.1%增加到71.4%。与光谱分类相比,光谱+GLCM和光谱+STFs的总体分类精度分别上升了5.4%和2.3%,在使用了STFs之后,树林和建筑区取得了更高的分类精度,但是草地和耕地的混淆并没有得到很好解决。光谱+变异函数的方法在所有地物类型的分类精度上都有了不同程度的提高,特别是田园和建筑区的制图精度分别提高了8.7%和21.8%。该方法还取得了所有实验中最高的总体精度89.1%。该结果说明,变异函数能够很好的辅助光谱分类,提供可靠和优化的分类结果。特别是对于区分各类植被,例如树林,耕地、田园,具有明显优势。此外,变异函数特别适用于描述纹理丰富区域,或复杂结构,能够很好的描述人工地物。在变异函数的辅助下,光谱分类结果得到了很大提高。
四、发明要点总结
本发明以高分辨率遥感图像为对象,结合高分遥感图像中的地物及其对应变异函数特性,利用变异函数对高分遥感图像中的不同类型地物进行纹理描述,并基于面向对象的遥感图像分析,实现典型地物空间结构特征描述和高分遥感图像地物分类,为实现高分遥感图像的地物分类奠定基础。主要包括:
第一,设计并实现变异函数最优窗口和步长的设置方法:首先提出窗口和步长大小的设置依据,设计并实现最优窗口和步长的选择算法,即根据典型地物样本,计算其变异函数曲线,找出曲线上近似变程的步长,即为可计算的最大步长,将窗口大小设定至少为变程的两倍,保证变异函数的可靠性,然后针对各向同性和各向异性的地物样本,从多个方向和多个波段上计算其变异函数,在保证计算准确性的同时考虑计算量大小,因此采用取多个方向的均值得到全方向变异函数的计算方式;
第二,基于窗口的变异函数与基于对象的变异函数之间的对比:现有技术在应用变异函数时采用的是基于移动窗口的计算方式,即利用固定大小窗口对整幅图像进行遍历,将局部窗口内的变异函数值赋予窗口中心像素,以此得到一系列不同步长对应的变异函数纹理图层。但基于高分遥感图像的特性,面向对象的方法更适合,基于窗口的变异函数对地物边界的处理较差,计算时容易将边界的异类像素点用于计算,导致变异函数的准确性较低,而基于对象的变异函数使用的像素点被严格限制在分割对象内边界内,不会受边界效应的影响,因此更为准确;
第三,对高分遥感图像的典型地物进行变异函数纹理分析:植被分为纹理丰富的田园树林和纹理稀疏的草地,纹理丰富的植被,其变异函数曲线具有明显特征:田园的变异函数曲线呈现出周期性,周期大小与果树间的种植间隔有关;树林的变异函数曲线在较短距离内达到峰值,该峰值对应的距离与树冠直径或树木的种植间距相关,纹理稀疏的地物,其变异函数曲线稳定在一个较低的变异函数值附近,曲线平缓,无明显波动,建筑区属人工复合地物,内部结构复杂,因此其变异函数会出现不规则波动,并且变异函数均值远高于其它类型地物。
第四,面向对象进行基于变异函数驱动的高分遥感图像分类:在多尺度分割的基础上,获得分割对象利用对象内部的像素点计算变异函数曲线,在变异函数曲线上提取关键点,计算14个变异函数纹理描述特征,提取光谱特征,通过特征选择,选取具有代表性的特征,用于支持向量机分类,利用变异函数纹理特征辅助光谱分类,有效地提高了整体分类精度,相比于单纯使用光谱信息进行分类,三个实验中本发明分类的总体精度分别提高了9.1%、6.3%和4.2%,特别是对于纹理丰富区域,其分类精度提升最为明显,三个实验中本发明建筑区的用户精度分别提高了22.4%、13.5%和13.9%。相比于GLCM特征和基于窗口的变异函数纹理特征,本发明的分类结果最优。

Claims (10)

1.定量变差纹理驱动的高分遥感图像分类法,其特征在于,基于高分遥感图像中的地物及其对应变异函数特性,利用变异函数对高分遥感图像中的不同类型地物进行纹理描述,并基于面向对象的遥感图像分析,通过在对象内部计算变异函数并提取对应纹理特征,实现典型地物空间结构特征描述和高分遥感图像地物分类;具体包括:
第1步,设计并实现变异函数最优窗口和步长的设置方法:首先提出窗口和步长大小的设置依据,设计并实现最优窗口和步长的选择算法,即根据典型地物样本,计算其变异函数曲线,找出曲线上近似变程的步长,即为可计算的最大步长,将窗口大小设定至少为变程的两倍,然后针对各向同性和各向异性的地物样本,从多个方向和多个波段上计算其变异函数,采用取多个方向的均值得到全方向变异函数的计算方式;
第2步,对高分遥感图像的典型地物进行变异函数纹理分析:植被分为纹理丰富的田园树林和纹理稀疏的草地,纹理丰富的植被,其变异函数曲线具有明显特征:田园的变异函数曲线呈现出周期性,树林的变异函数曲线在较短距离内达到峰值,该峰值对应的距离与树冠直径或树木的种植间距相关,纹理稀疏的地物,其变异函数曲线稳定在一个较低的变异函数值附近,曲线平缓且无明显波动,建筑区属人工复合地物,内部结构复杂,其变异函数会出现不规则波动,并且变异函数均值远高于其它类型地物;
第3步,面向对象进行基于变异函数驱动的高分遥感图像分类:在多尺度分割的基础上,获得分割对象利用对象内部的像素点计算变异函数曲线,在变异函数曲线上提取关键点,计算14个变异函数纹理描述特征,提取光谱特征,通过特征选择,选取具有代表性的特征,用于支持向量机分类,利用变异函数纹理特征辅助光谱分类,提高高分遥感图像分类精度。
2.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,包括:第一,解析影响变异函数计算的窗口大小、步长设置、计算方向,提出最优窗口和步长设置的方法;第二,基于窗口变异函数和对象变异函数计算方法的对比,得出对象变异函数在定量纹理描述上具有更高的准确性;第三,在对象级上设计实现定量变差纹理驱动的高分遥感图像分类,基于多尺度分割获取对象,在对象级上解析各类典型地物的变异函数曲线结构,通过目视判读选取具有代表性的地物样本对象,提取变异函数特征描述因子,作为样本的特征向量,对高维的特征向量进行基于改进的Relief融合主分量分析的特征选择,选择具有代表性且关联度低的特征作为最终的分类器输入,最后利用支持向量机进行监督分类,验证面向对象的定量变差纹理特征能够大幅改善遥感图像光谱分类的效果。
3.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,变差定量描述高分图像纹理结构特征:将遥感图像作为同时具有随机性和空间关联性的一个区域化变量,图像灰度值的空间关联性变化用变异函数描述,将所有方向划分为四个主要方向,即0度(E-W)、45度(NW-SE)、90度(N-S)、135度(NE-SW),通过对四个方向的变异函数取平均值,得到一个全方向的变异函数:
Figure FDA0003225808010000021
g0(q),g45(q),g90(q)和g135(q)分别代表四个方向上的变异函数,计算公具体为:
0度(E-W):
Figure FDA0003225808010000022
45度(NW-SE):
Figure FDA0003225808010000023
90度(N-S):
Figure FDA0003225808010000024
135度(NE-SW):
Figure FDA0003225808010000025
其中g(q)为变差函数值,dm(xi)为xi点处像素在某一波段上的灰度值,dm(xi+q)为与xi点的距离为q的像素点灰度值,M(q)为距离为q像元点对数量,其中距离q既具有方向信息也具有长度信息,变异函数描述不同方向上的空间变化情况,计算过程考虑以下因素:计算窗口的大小、步长、计算方向和波段组合,在一个指定窗口内,利用指定步长计算变异函数的平均值并赋予窗口中心像素,用该窗口遍历整幅图像,得到不同的变异函数纹理图层。
4.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,窗口大小和步长的设置:窗口大小和步长相互影响,根据不同地物类型的特点,从图像上人工选取一些训练样本并计算其变异函数,计算变异函数遵循规则包括:
规则一:在窗口范围内计算全方向变异函数,全方向变异函数由四个方向的变异函数求平均值得到;
规则二:为保证变异函数的准确性,需有足够多的点对参与计算,将最大的计算步长限制在训练样本尺寸的一半内;
变异函数计窗口和步长的选择流程为:
流程一:确定分类区域内的主要地物类型,选择对应的样本;
流程二:使用一组不同大小的窗口,针对每类样本计算变异函数;
流程三:如果变异函数不呈现周期性变化,则根据变程b的大小来确定窗口大小,由于遥感图像的复杂度高,用变异函数值的增量来计算变程,当变异函数单调递增时,变异函数值的增量最小时所对应的步长为变程;当变异函数近似于单调,但呈现不规则变化时,则将变异函数增量第一次小于或等于0时对应的步长视为变程,计算式为:
Δg(qi)=g(qi)-g(qi-1) 式6
△g(qi)为qi对应的变异函数增量,变程b即为最大的计算步长,窗口大小为2×b+1;
流程四:如果变异函数呈周期性变化,则根据周期大小确定最大计算步长,当曲线出现一个完整周期(第二个极大值对应步长qmax_2)时对应的步长qc,作为最大步长qc=qmax_2,窗口大小为2×qc+1。
5.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,定量变差纹计算方向的设置:各向同性的地物,在各方向上的纹理结构相近,不同方向上计算的变异函数结果应该相同,而对于各向异性的地物,其纹理结构随方向的变化而不同,在不同方向上计算的变异函数结果有区别;
在应用中根据实际需要对方向进行选择,在保证准确性的同时,尽可能降低计算量。
6.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,基于窗口与基于对象的变异函数计算:基于窗口的变异函数计算受限于窗口大小和步长,面向对象的计算则不需要定义窗口大小,在对象内部的纹理特征一致,并且计算时只考虑对象内部的像素点,首先通过多尺度分割得到若干对象,然后针对每个对象,使用其内边界以内的像素点,计算不同步长上的变异函数值的平均值,绘制出变异函数曲线;与基于对象的计算方法相区别,基于窗口的计算结果以纹理图层表示,每个像素对于每一个给定步长都会有一个变异函数值对应,而基于对象以对象为单位,每个对象的纹理特征由一条变差函数曲线描述;
比较基于窗口和基于对象的变异函数计算方法的差异,对比实验采用基于窗口的方法,首先利用指定窗口和步长对原始图像进行计算,得到一系列变异函数纹理图层,根据窗口大小,计算的最大步长不超过窗口大小的一半,然后对原始图像进行分割,将分割边界与纹理图层叠加,得到不同对象的纹理信息,将对象中的变异函数值进行统计,得到一条变异函数曲线,通过对变异函数曲线的对比,进而分析基于窗口和基于对象的计算方法。
7.根据权利要求6所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,典型地物的变异函数曲线分析:基于对象的变异函数计算方法相比于基于窗口的变异函数更为准确,基于窗口的计算方法在实际计算时,考虑了不属于对象的异类像素点,因此变异函数值与准确结果偏差较大,对于纹理丰富对象,计算中考虑了异类像素点,使得平均变异函数值降低;对于纹理缺乏的对象,则使得平均变异函数值增大,而基于对象的计算方法受到分割边界的严格限制,只使用该对象对应地物类型的像素点,完全不受相邻的异类地物的影响;
基于窗口的计算时间明显长于基于对象,区域内主要地物类型的基于对象变异函数曲线显示:只有果园的曲线表现出周期性,其它均为单调性,果园呈现的周期与果树尺寸及果树间的距离有关,林地与果园的变异函数平均值接近,但林地的曲线单调递增,并且在较短距离上就区域平稳,不再随着步长的增加而变化,农用地和水体的变异函数值最小,代表其纹理结构较简单,内部差异性小,农用地的变异函数值略高于水体,表明目标区域较为均匀,建筑区的变异函数值较大,其内部结构复杂,导致远高于其它地物的变异函数值,通过对比说明,变异函数能够对不同纹理进行有效区分。
8.根据权利要求1所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,定量变差纹理驱动的高分遥感图像分类:遥感图像分类获得遥感图像与实际地表对应的信息,对遥感图像中地物的识别要考虑到其包含的各种信息,在图像分类中加入纹理信息,把纹理特征与其它类型特征作为分类器的识别条件参与分类,在面向对象的基础上,计算不同地物的光谱和纹理特征,选择具有代表性的训练样本对分类器进行训练,并最终完成地物识别的目标。
9.根据权利要求8所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,定量变差纹理驱动的高分遥感图像分类流程包括:
第一步,当原始图像的分辨率较高时,首先对原始图像进行降采样至0.8m,采用基于图论的多尺度多层次影响分割方法,通过反复试验选择合适的分割参数和尺度,对降采样后的图像进行初始分割;
第二步,确定分类区域内的主要地物类型,根据地物类型选择充足的训练样本;
第三步,需要有充足的点对参与计算,即分割对象的面积不能太小,对初始分割结果进行一次多尺度合并,将相邻对象按照其相近度大小进行合并,并以阈最小面积值加以限制,控制合并尺度;
第四步,将分割结果分别与原始多光谱图像和单波段图像进行叠加,分别计算出包括均值、方差、最大值和最小值的光谱特征,以及变异函数曲线,每个对象对应有一条变异函数曲线,对其纹理特征进行描述;
第五步,在变异函数曲线上提取关键点,计算变异函数纹理描述特征;
第六步,利用改进的Relief算法对变异函数纹理描述特征进行初步特征选择,去掉不相关的特征,改进的Relief算法利用训练样本集的数据,对每个特征进行遍历,计算距离最近的同类样本和异类样本间的距离,对每个特征的权重进行更新,最终每个样本对应一个权重,权重小于0的特征,可为不相关的特征,被剔除;
第七步,将初步筛选的变异函数纹理特征与光谱特征合并,进行主分量变换,将变换后的主分量用于支持向量机的分类;
第八步,利用训练样本对SVM分类器进行训练,并对未知类型样本进行分类,得到分类结果;
第九步,分类后的精度评定,采用混淆矩阵进行分类的精度评定,根据混淆矩阵计算用户精度、制图精度和总体精度。
10.根据权利要求8所述的定量变差纹理驱动的高分遥感图像分类法,其特征在于,变异函数曲线分为两类:单调性和周期性,只有果园的曲线表现出周期性,其它均为单调性,在几类同为单调的变异函数曲线之间,以曲线的变化率和平均变异函数值作为区分;
根据变异函数曲线上的极值点,第一个极大值g(qmax_1),第一个极小值g(qmin_1)和第二个极大值g(qmax_2)及其对应的步长,定义纹理特征参数来描述变异函数,对不同地物进行纹理特征描述,这组特征根据其定义中所使用的不同范围内的步长分为三组:
第一组:原点附近(RVF、RSF、FDO、SDT);
第二组:至第一极大值对应步长(FML、MFM、VFM、DMF、RMM、SDF、AFM);
第三组:第一极大值与第二极大值对应步长范围内(DMS、DMM、HA);
首先,利用改进的Relief对特征进行初始选择,改进的Relief算法根据特征在区分相互靠近的样本的能力上对特征质量进行评估,首先,每个特征的初始权重均被设置为0,然后对每一类的每个训练样本进行遍历,找出于该样本最近的同类样本和异类样本,并计算其对应距离,每个特征的权重更新依赖于样本在同类中的若干个近邻和异类中的若干个近邻,特征权重小于0的特征被视为与分类不相关的特征而被剔除,在去除FML,DMM、DMS后,最终保留下的11个特征为RVF、RSF、FDO、SDT、MFM、VFM、DMF、RMM、SDF、AFM、HA,保留下的11个变异函数纹理特征与光谱特征进行组合,组成特征向量,将主分量变换用于高维特征向量处理,将变换后的总信息量达到90%以上的主分量选出,作为分类器的输入。
CN202110971079.2A 2021-08-23 2021-08-23 定量变差纹理驱动的高分遥感图像分类法 Withdrawn CN113673441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110971079.2A CN113673441A (zh) 2021-08-23 2021-08-23 定量变差纹理驱动的高分遥感图像分类法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110971079.2A CN113673441A (zh) 2021-08-23 2021-08-23 定量变差纹理驱动的高分遥感图像分类法

Publications (1)

Publication Number Publication Date
CN113673441A true CN113673441A (zh) 2021-11-19

Family

ID=78545355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110971079.2A Withdrawn CN113673441A (zh) 2021-08-23 2021-08-23 定量变差纹理驱动的高分遥感图像分类法

Country Status (1)

Country Link
CN (1) CN113673441A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147726A (zh) * 2022-09-05 2022-10-04 清华大学 城市形态图的生成方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020649A (zh) * 2013-01-16 2013-04-03 东北林业大学 一种基于纹理信息的森林类型识别方法
CN103500344A (zh) * 2013-09-02 2014-01-08 中国测绘科学研究院 一种遥感影像信息提取与解译方法及其模块
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN110309780A (zh) * 2019-07-01 2019-10-08 中国科学院遥感与数字地球研究所 基于bfd-iga-svm模型的高分辨率影像房屋信息快速监督识别
CN111696123A (zh) * 2020-06-15 2020-09-22 荆门汇易佳信息科技有限公司 超像素分类识别的遥感图像水域分割提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020649A (zh) * 2013-01-16 2013-04-03 东北林业大学 一种基于纹理信息的森林类型识别方法
CN103500344A (zh) * 2013-09-02 2014-01-08 中国测绘科学研究院 一种遥感影像信息提取与解译方法及其模块
CN108596154A (zh) * 2018-05-14 2018-09-28 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN110309780A (zh) * 2019-07-01 2019-10-08 中国科学院遥感与数字地球研究所 基于bfd-iga-svm模型的高分辨率影像房屋信息快速监督识别
CN111696123A (zh) * 2020-06-15 2020-09-22 荆门汇易佳信息科技有限公司 超像素分类识别的遥感图像水域分割提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAN WU 等: "Evaluation of semivariogram features for objectbased image classification", 《GEO-SPATIAL INFORMATION SCIENCE》, vol. 18, no. 04, 18 January 2016 (2016-01-18), pages 159 - 170 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147726A (zh) * 2022-09-05 2022-10-04 清华大学 城市形态图的生成方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
Blaschke et al. Image segmentation methods for object-based analysis and classification
Ok et al. Evaluation of random forest method for agricultural crop classification
CN108830870B (zh) 基于多尺度结构学习的卫星影像高精度农田边界提取方法
US7639842B2 (en) Remote sensing and probabilistic sampling based forest inventory method
Li et al. A dual growing method for the automatic extraction of individual trees from mobile laser scanning data
CN103971115B (zh) 一种基于NDVI和PanTex指数的新增建设用地图斑自动提取方法
US8111924B2 (en) Remote sensing and probabilistic sampling based method for determining the carbon dioxide volume of a forest
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
Vélez et al. Mapping the spatial variability of Botrytis bunch rot risk in vineyards using UAV multispectral imagery
Lin et al. A multi-level morphological active contour algorithm for delineating tree crowns in mountainous forest
CN106501186B (zh) 一种土壤含水量产品降尺度方法
WO2003007222A1 (en) Method for selecting representative endmember components from spectral data
CN110309780A (zh) 基于bfd-iga-svm模型的高分辨率影像房屋信息快速监督识别
CN110363246A (zh) 一种高时空分辨率植被指数ndvi的融合方法
CN110427818A (zh) 高光谱数据支持的深度学习卫星数据云检测方法
CN110147780B (zh) 基于层级地形的实时性野外机器人地形识别方法及系统
CN112861810B (zh) 一种基于时序遥感观测数据的人工林种植时间自动检测方法
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN104952070A (zh) 一种类矩形引导的玉米田遥感图像分割方法
CN109446962A (zh) 土地覆盖年际变化检测方法及系统
CN113673441A (zh) 定量变差纹理驱动的高分遥感图像分类法
Okubo et al. Land use/cover classification of a complex agricultural landscape using single-dated very high spatial resolution satellite-sensed imagery
CN113469122A (zh) 基于深度学习作物时空泛化分类方法及系统
Moradi et al. Potential evaluation of visible-thermal UAV image fusion for individual tree detection based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211119

WW01 Invention patent application withdrawn after publication