CN115311569A - 基于遥感影像的推填土变化检测方法、装置和终端设备 - Google Patents
基于遥感影像的推填土变化检测方法、装置和终端设备 Download PDFInfo
- Publication number
- CN115311569A CN115311569A CN202210981364.7A CN202210981364A CN115311569A CN 115311569 A CN115311569 A CN 115311569A CN 202210981364 A CN202210981364 A CN 202210981364A CN 115311569 A CN115311569 A CN 115311569A
- Authority
- CN
- China
- Prior art keywords
- change
- pattern
- remote sensing
- spot
- filling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于遥感影像的推填土变化检测方法、装置和终端设备,该方法包括:获取不同时相的遥感影像,并利用深度孪生神经网络变化检测模型对不同时相的遥感影像进行变化检测,得到像素级推填土变化预测图;对推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及对象级图斑初始置信度;对初始检测结果进行综合后处理,得到所需的推填土变化图斑;其中,综合后处理至少包括利用图斑邻近度判别模型和图斑初始置信度进行聚合处理。利用该方法可在基于神经网络提取的初始预测结果的基础上进一步提升推填土变化检测的性能和准确性等。
Description
技术领域
本申请涉及遥感技术领域,尤其涉及一种基于遥感影像的推填土变化检测方法、装置和终端设备。
背景技术
随着城市化扩张等的影响,自然资源违法占地问题越来越突出,为有效提高自然资源的监测能力,迫切需要利用遥感变化检测技术对各类建设用地的发展变化信息进行自动提取。其中,按照土地利用现状变更调查的分类体系,新增推填土是新增建设用地中的重要变化类型之一,反映了某块地类由植被覆盖或明显的非建设痕迹到有明显的推填土建设特征的过程,因此,如何自动、精准地获取区域乃至全国推填土变化信息,对于自然资源的监测监管至关重要。
其中,遥感变化检测技术是根据不同时间的多次卫星观测影像来确定地表覆盖状态变化的过程,以实时精确地获取地表变化信息。目前遥感变化检测方法主要分为传统方法与基于深度学习的方法两个大类,基于深度学习的影像变化检测能够在不需要人工干预的情况下自主的学习影像上反映变化区域的高维特征,并依据参考真值进行变化检测,成为当前的主流方法。然而由于地理空间目标场景的复杂性、影像质量不统一等原因,在面向大规模的实际业务应用中,自动提取的变化图斑仍存在误检率、漏检率偏高、图斑形态不规整等问题,导致后续人工核验工作量较大,无法满足高精度、高频次的监测需求。
发明内容
有鉴于此,本申请实施例提供一种基于遥感影像的推填土变化检测方法、装置和终端设备,大大降低了自动提取图斑的误检率等。
第一方面,本申请实施例提供一种基于遥感影像的推填土变化检测方法,包括:
获取不同时相的遥感影像;
利用深度孪生神经网络变化检测模型对所述不同时相遥感影像进行变化检测,得到像素级推填土变化预测图;
对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及图斑初始置信度;
对所述初始检测结果进行综合后处理,得到所需的推填土变化图斑;其中,所述综合后处理至少包括利用图斑邻近度判别模型和所述图斑初始置信度进行聚合处理。
第二方面,本申请实施例还提供一种基于遥感影像的推填土变化检测装置,包括:
遥感影像获取模块,用于获取不同时相的遥感影像;
变化检测模块,用于利用深度孪生神经网络变化检测模型对所述不同时相的遥感影像进行变化检测,得到像素级推填土变化预测图;
预处理模块,用于对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及对象级图斑初始置信度;
综合后处理模块,用于对所述初始检测结果进行综合后处理,输出提取的推填土变化图斑;其中,所述综合后处理至少包括利用图斑邻近度判别模型和所述图斑初始置信度进行聚合处理。
第三方面,本申请实施例还提供一种终端设备,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述的基于遥感影像的推填土变化检测方法。
第四方面,本申请实施例还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上执行时,实施上述的基于遥感影像的推填土变化检测方法。
本申请的实施例具有如下有益效果:
本申请的推填土变化检测方法通过获取双时相遥感影像,并对双时相遥感影像进行变化检测,得到像素级推填土变化预测图;然后,对推填土变化预测图进行像素级到对象级的预处理,得到推填土变化图斑的初始检测结果;接着对图斑初始检测结果进行综合后处理,以得到所需的推填土变化图斑;其中,在进行综合后处理时,提出了一种图斑多种信息综合考虑的图斑邻近度判别模型以用于相邻图斑聚合,可以很好地解决被分割的碎片化推填土图斑的聚合问题等;通过对神经网络模型自动提取到的变化检测结果进行预处理及综合后处理,大大降低了提取图斑的误检率,一定程度地解决目前仅基于神经网络自动提取的初始预测结果存在数据量大、误提取多、碎片化等问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的终端设备的一种结构示意图;
图2示出了本申请实施例的基于遥感影像的推填土变化检测方法的流程图;
图3示出了本申请实施例的深度孪生神经网络变化检测模型的框架示意图;
图4的(a)和(b)分别示出了基于本申请实施例的方法得到的概率归一化处理后的示意图及得到的初始检测结果;
图5的(a)和(b)分别示出了基于本申请实施例的方法得到的初始检测结果及进行对象级置信度计算输出的示意图;
图6示出了一种自动提取的矢量图斑的示意图;
图7示出了本申请实施例的基于遥感影像的推填土变化检测方法的综合后处理流程图;
图8示出了本申请实施例的基于遥感影像的推填土变化检测方法的图斑聚合流程图;
图9示出了一种图斑缓冲区交叠的示意图;
图10的(a)至(d)依次示出了利用本申请的方法对陕西榆林地区进行试验得到的图斑初始检测结果、边缘简化后的图斑、图斑聚合效果和最终的变化检测结果;
图11示出了本申请实施例的基于遥感影像的推填土变化检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
请参照图1,为本申请实施例提出的终端设备10的结构示意图。示范性地,终端设备10可以包括存储器11和处理器12,其中,存储器11和处理器12之间直接或间接地电性连接,以实现数据的传输或交互。
在本实施例中,存储器11可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器11用于存储计算机程序,处理器12在接收到执行指令后,可相应地执行所述计算机程序。
在本实施例中,处理器12可以是一种具有信号的处理能力的集成电路芯片。处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)及网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
基于上述终端设备,本申请实施例提出一种基于遥感影像的推填土变化检测方法。图2为本申请实施例的基于遥感影像的推填土变化检测方法的一种流程图。示范性地,该基于遥感影像的推填土变化检测方法包括步骤S110~S140:
S110,获取不同时相的遥感影像。
其中,不同时相的遥感影像主要指遥感卫星在不同时期拍摄的同一地理位置的两期遥感影像,通过对不同时相的遥感影像进行变化检测,可以得到地表覆盖状态变化信息,而从中提取出推填土变化信息,则可以确定相应地区是否存在新增建设用地。可以理解,这里获取的遥感影像通常指已经过影像预处理后的可直接用于进行后续的变化检测等处理的影像数据。当然,在一些其他的实施方式中,若获取到的是原始遥感影像,则需要进行一些如降噪、校准等影像预处理操作,从而为后续的变化检测处理步骤提供更好的数据分析基础。
S120,利用深度孪生神经网络变化检测模型对所述不同时相的遥感影像进行变化检测,得到像素级推填土变化预测图。
本实施例提出一种基于深度学习的变化检测网络模型对获取的双时相遥感影像进行推填土变化的自动检测。
在一种实施方式中,可构建基于孪生神经网络及多级影像特征融合的变化检测模型,其中,孪生神经网络又名双生神经网络,是基于两个相同的神经网络(如CNN网络等)建立的耦合构架,以用于检测两个影像之间的差异,进一步地,可采用权值共享的孪生神经网络结构,以提高检测率等。
例如,图3所示为深度孪生神经网络变化检测模型的一种架构示意图。在上述实施方式中,该变化检测模型采用编码器(Encoder)-解码器(Decoder)的架构,其中,该编码器主要由两个权值共享的孪生神经网络构成,用于对输入的影像A和影像B进行不同层级的特征提取及特征之间的像素级差异比较,最后输出多层级的特征差异图;而解码器主要用于对编码器处理后的多层级特征差异图进行解码,输出各像素是否发生变化的概率分布,获得与输入尺寸相同的像素级变化预测图。可以理解,解码器与编码器的工作原理相反,可依据编码器的编码计算的逆过程来确定构成该解码器的运算结构。
值得注意的是,在进行模型训练过程中,将利用损失函数(如交叉熵损失函数等)计算由解码器输出的变化预测图和变化参考真值(对应于图3中的参考变化标注图)之间的对比损失,来不断更新网络参数,直到满足预设的模型训练终止条件(如损失值足够小,达到相应训练次数等)后停止网络更新,从而得到已训练的深度孪生神经网络变化检测模型。
对于上述步骤S120,示范性地,对输入的双时相遥感影像进行变化检测时,具体地,将利用训练好的变化检测模型中的编码器对两个遥感影像进行多层级的影像特征提取及融合,以输出得到多级特征差异图;然后,利用解码器对所述多层级特征差异图进行反卷积计算(即解码),获得由每个像素点的变化概率分布所构成的像素级别的推填土变化预测图(又称像素级变化概率分布图)。可以理解,此时的变化预测图中的概率取值可能并不均在[0,1]范围之间。
S130,对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及对象级图斑初始置信度。
通过对上述变化检测模型输出的推填土变化预测图进行像素级到对象级的预处理,可为后续的图斑聚合、筛选等综合后处理提供数据支撑信息,其中,这里的像素级主要指变化检测模型输出的像素级变化概率分布图,而对象级是指推填土变化图斑这一对象。
在一种实施方式中,该预处理主要包括两部分,即像素级概率归一化和对象级平均置信度计算,其中,概率归一化可通过在上述变化检测模型的输出端设置一个分类层(如Softmax函数等)来实现。可以理解,对于该概率归一化操作,可以作为是像素级的概率分布图输出之后的一个处理步骤,也可以作为是变化检测模型中以输出概率归一化的变化预测图的一个子步骤,也就是说,若由变化检测模型直接输出了经过概率归一化的变化预测图,则接下来的预处理操作则不用再概率归一化处理了,换言之,这里并不特别限定概率归一化操作的步骤归属划分。
在进行概率归一化时,可利用上述变化检测模型输出侧的分类层对前面网络提取到的特征图的每个像素点进行分类,在一种实施方式中,可选取能够将多分类的输出值转换为范围仅在[0,1]的概率分布的Softmax函数,即实现分类的同时还进行概率归一化处理。例如,单个像素的分类概率值可利用如下Softmax函数计算得到:
式中,C为分类的总类别个数(又称节点数),本实施例中的变化检测任务主要分为变化和背景两类;zi为第i个节点的输出值,若i表示发生变化的类别,则P代表像素被预测为变化的概率值。可以理解,概率越大,则代表该像素发生变化的可能性越大,其置信度越大。
对于上述步骤S130,在一种实施方式,对所述推填土变化预测图中每个像素的变化概率进行概率归一化,并将大于预设概率阈值的像素点保留,得到推填土变化图斑的初始检测结果。例如,图4的(a)示出一种经过概率归一化处理后的概率分布示意图,通过设定一个概率阈值来筛选具有一定置信度的像素点,可得到图4的(b)所示的变化图斑初始检测结果。
进而,为了方便自动提取图斑的后续分级与筛选,可对上述的初始检测结果进行闭合图斑的搜索,并以每个闭合图斑对象为单位,计算每个闭合图斑中像素的平均概率值,以作为当前闭合图斑这一对象的初始置信度。
对于初始检测结果中的闭合图斑对象的搜索过程,在一种实施方式中,可包括:从初始检测结果中选取一个像素值不为零的点作为种子点,采用区域增大算法进行邻域像素点的相似性判断,并将具有相似性的像素点合并且继续生长,直到遇到不满足相似性条件的像素点为止,得到一个闭合图斑;然后继续搜索下一个闭合图斑,完成整张图像的遍历,得到所有的闭合图斑。例如,以图5的(a)所示的一个闭合图斑为例,通过计算该闭合图斑中各个像素的平均概率值,可得到其初始置信度。于是,按照该初始置信度来表示,结果如图5的(b)所示。
考虑到现有技术中,通过深度学习算法自动提取的推填土变化图斑,往往存在相邻切片对象分割、小图斑零散分布、图斑内孔洞等问题,本实施例在对基于深度学习提取的变化检测结果进行预处理操作后,将继续进行综合后处理操作,以进一步精化自动提取结果。
S140,对所述初始检测结果进行综合后处理,得到所需的推填土变化图斑。
示范性地,上述的综合后处理可包括但不限于包括,边缘简化、聚合、筛选及孔洞填充等操作中的多种组合。通过综合后处理,可提升自动提取图斑的业务化应用水平。其中,为便于进行图斑的精细化分析,这里先将得到的推填土变化图斑的初始检测结果进行矢量化,例如,在一种实施方式中,可将经过预处理后的变化图斑的初始检测结果进行栅格转矢量处理,以形成矢量图斑。图6所示为一种自动提取的矢量图斑的效果。之后,以矢量图斑为基础,进行综合后处理的具体操作,以获取最终的变化检测结果。
在一种实施方式中,如图7所示,上述综合后处理包括以下子步骤:
S210,利用图斑邻近度判别模型和图斑初始置信度进行图斑聚合处理,得到聚合图斑。S220,对包含聚合图斑的图斑检测结果进行筛选及填充,得到满足要求的推填土变化图斑。
其中,图斑邻近度判别模型用于进行变化检测图斑的聚合处理。值得注意的是,针对推填土变化图斑的分布特点,本申请充分考虑了图斑的语义信息及空间分布,提出了一种综合图斑的空间距离、交叠面积及基于置信度的语义距离等多种信息的图斑邻近度判别模型及准则,用于变化检测图斑的聚合处理。
另外,由于经过深度学习网络自动提取出的推填土变化图斑往往存在形状不规则、边缘呈锯齿状等特点,为减少冗余节点,在进行图斑融合之前,可先采用抽稀算法(如道格拉斯-普克算法等)对图斑的边缘进行简化,通过识别并移除多边形中影响线要素整体形状的较小节点来简化数据。其中,容差参数决定了图斑边缘的简化程度,容差越大,简化程度越大,这里的容差是每个折点和新创建的线之间的最大允许垂直距离。
作为一种优选的方案,如图7所示,在步骤S210之前,还包括步骤S200,对初始检测结果进行转矢量处理所得到的矢量图斑进行边缘简化,得到边缘简化后的矢量图斑。然后,对简化后的图斑进行后续的聚合及筛选等操作。例如,可采用道格拉斯-普克算法等对图斑区域进行边缘简化处理,可选地,可采用1~3个像素宽度的容差进行推填土变化图斑简化。其中,关于容差的取值设定,其可以根据实际场景需求来适用性选取,这里不作限定。
在一种实施方式中,在获得了简化后的图斑后,可利用上述的图斑邻近度判别模型进行聚合,如图8所示,上述步骤S210包括以下子步骤:
S310,对边缘简化后的每个图斑设定半径为预设像素大小的缓冲区,以确定任意两个图斑是否存在缓冲相交区域。在一种实施方式中,对于每个图斑可设定如4~8不等的像素大小作为缓冲区的半径,其中,该预设像素大小的取值具体可根据实际需求来适应性调整,这里不作限定。通常地,相邻的两个图斑可能会在经过缓冲区扩展后存在缓冲相交的区域。
S320,基于对应图斑的初始置信度计算存在缓冲相交区域的两个图斑之间的语义相似度。
其中,语义相似度主要从语义信息来考虑两个矢量图斑之间的语义距离。对于存在缓冲相交区域的两个矢量图斑,在一种实施方式中,基于各矢量图斑的初始置信度(也即上述计算到的平均概率值),按照如下公式计算两个图斑之间的语义相似度:
Psem_pre=1-|pM-pN|/255;
式中,Psem_pre为语义相似度,PM、PN分别为图斑M和N的初始置信度,255为图斑的置信度范围;其中,语义距离dsem_pre=|pM-pN|/255,可知,语义距离越大,语义相似度值越小,语义关系越小,表明这两个矢量图斑在语义信息上的相似性越小。
S330,计算所述两个图斑之间的最短空间距离,并根据所述最短空间距离和预设距离阈值,计算所述两个图斑之间的空间邻近度。
其中,该最短空间距离是指呈多边形的两个矢量图斑之间最近的空间距离。示范性地,可先计算出最短空间距离,进而,根据设定的一个距离阈值,可按照如下公式计算其空间邻近度:
式中,Pspa_dis为空间邻近度,dspa为图斑M和N之间的最短距离,dthesh为距离阈值,如2~4个像素宽度等,具体可根据实际需求来设定,这里仅为一些可行的示例。可以理解,上述的空间邻近度计算公式仅为一种可选的示例,其具体的取值也可适应性调整,如可调整上述的设定数值等,这里不作限定。
S340,根据存在的所述缓冲相交区域的面积、所述两个图斑各自的缓冲区分别与所述缓冲相交区域相交部分的面积,计算缓冲区交叠面积率。
示范性地,根据设定的缓冲区的半径,可计算出上述两个矢量图斑各自的缓冲区面积,同时也可以计算出缓冲相交区域的面积,例如,图9所示为一种图斑缓冲区交叠示意图,其中,s0表示缓冲相交区域的面积,图斑M、N的缓冲区分别与缓冲相交区域s0相交的部分记为s1和s2。在一种实施方式中,该缓冲区交叠面积率Pare_lap可通过如下公式计算:
S350,基于所述语义相似度、所述空间邻近度和所述缓冲区交叠面积率按照各自的预设权重计算综合邻近度,并将所述综合邻近度大于预设聚合阈值的所述两个图斑进行聚合处理。
最后,在计算出基于置信度的语义相似度、空间邻近度及缓冲区交叠面积率后,可按照影响因素融合规则,计算出缓冲区存在相交的两个图斑对象的综合邻近度。在一种实施方式中,可为每个影响因素分配相应的权重并进行加权求和,得到该综合邻近度,具体地,可表示为:
Pcom[M,N]=δ1Psem_pre[M,N]+δ2Pspa_dis[M,N]+δ3Pare_lap[M,N];
式中,Pcom为综合邻近度,δ1、δ2、δ3分别为上述三个影响因素的权重,其中,这三个权重值应当满足δ1+δ2+δ3=1。
可以理解,对于上述三个权重的取值,可根据实际需求来设定,例如,可以设定δ1=δ2=δ3时,即表示语义相似度、空间邻近度及缓冲区交叠面积率采用同等的权重;也可以设定不同的大小等级,例如,对于推填土变化图斑的处理,由于图斑的类别判断在聚合过程种起到关键作用,经分析自动提取推填土图斑的分布特点,空间邻近度相比交叠面积率聚合的优先级更高,可设定为δ1>δ2>δ3的策略等。
于是,在计算出综合邻近度Pcom后,根据预先设定的图斑聚合阈值,将大于该聚合阈值的两个矢量图斑进行聚合,以图9所示的两个图斑M和N为例,即将M、N、s0融合为一个闭合连通的区域,以形成一个新图斑(记为F)。进一步可选地,聚合后的新图斑的置信度pF可由原来的两个图斑的置信度pM,pN根据面积加权计算得到。反之,若小于等于该聚合阈值,则不进行聚合。
可以理解,通过对每个矢量图斑设定一个缓冲区,以判断任意两个矢量图斑之间是否存在相交区域,以及进一步计算它们之间的语义相似度、空间邻近度及缓冲区交叠面积率等信息来综合计算邻近度,这样可以考虑到由于如数据分割或其他因素的影响导致应当属于同一区域的对象被提取为两个分散的图斑的问题,可以解决现有技术中存在较多图斑碎片化分布的问题等。
对于上述步骤S220,为得到最终的推填土变化图斑,示范性地,还将对包含聚合图斑的图斑检测结果进行筛选及填充。在一种实施方式中,将所述图斑检测结果中面积小于预设面积阈值的图斑删除,并根据设定的图斑中孔洞面积阈值,对小于该孔洞面积阈值的图斑检测结果中的孔洞进行填充;最后,根据指定的图斑置信度范围,按照实际业务需求,输出满足预设置信度要求的推填土变化图斑。
至此,可得到推填土变化图斑的最终检测结果。为了验证上述的推填土变化检测方法,选取中国陕西榆林地区作为试验区,基于该地区两个不同季度的资源三号卫星遥感影像,首先采用深度孪生神经网络变化检测模型开展推填土变化信息的自动提取,然后在自动提取的图斑初始检测结果的基础上,进行由像素级到对象级的预处理、及包含边缘简化、图斑聚合、填充及筛选等一系列操作的综合后处理后,可得到最终的推填土变化图斑。其中,图10的(a)所示为经过预处理后的变化图斑的初始检测结果,可知,其包含4个图斑,各个图斑的初始置信度分别为p1=155,p2=176,p3=189,p4=147;然后,采用1个像素宽度的容差进行边缘简化,可得到如图10的(b)所示的边缘简化后的图斑;进而,对这4个图斑进行图斑聚合时,设置计算空间邻近度时,dthesh设为2个像素宽度;计算缓冲区交叠面积率时,缓冲区半径设为5个像素宽度;令δ1=0.5,δ2=0.3,δ3=0.2,计算得到两两相邻图斑的综合邻近度Pcom,即有Pcom12=0.95,Pcom23=0.90,Pcom34=0.45,根据这些值进行图斑聚合,可得到如图10的(c)所示的聚合效果;最后,经过面积筛选、孔洞填充、置信度筛选等获取了最终的变化检测结果如图10的(d)所示。经过统计各环节的图斑数量,得到如下表所示的统计数据:
由上表可知,由变化检测模型自动提取的图斑数量A0为17733个,采用本发明提出的方法,经聚合、面积筛选、置信度筛选等一系列后处理(面积筛选阈值Athresh设为1200m2,聚合后的图斑置信度筛选值范围为165-255),最终得到结果图斑A3为7216个,整体数据量减少了一半以上。该区域人工提取变化图斑5748个,将人工提取图斑B与处理前后的自动图斑A0、A3分别求交集,相交面积在50%以上视为正确提取图斑,基于图斑交集C0、C3,计算得到处理前后的误提取率分别为77.1%、47.1%,漏提取率分别为29.3%、33.5%。经与真实值对比验证,图斑误检率减少约30%,且在大幅筛减图斑量的情况下,漏提取率仅相应增加约4%。
可以理解,本申请实施例提出的基于遥感影像的推填土变化检测方法,通过对双时相遥感影像进行变化检测,得到像素级推填土变化预测图;然后,对推填土变化预测图进行像素级到对象级的预处理,接着对预处理后的结果进行矢量图斑提取以及综合后处理,以得到所需的推填土变化图斑,可以大大降低了自动提取图斑的误检率,可一定程度解决当前采用深度学习等方法自动提取的变化图斑数据量大、误检率较高等问题,为将自动变化检测图斑成果应用到自然资源要素的日常监测业务中提供了思路。
图11为本申请实施例的基于遥感影像的推填土变化检测装置的结构示意图。基于上述实施例的方法,示范性地,该基于遥感影像的推填土变化检测装置100包括:
遥感影像获取模块110,用于获取不同时相的遥感影像;
变化检测模块120,用于利用深度孪生神经网络变化检测模型对所述不同时相的遥感影像进行变化检测,得到像素级推填土变化预测图;
预处理模块130,用于对所述推填土变化预测图进行像素级到对象级的预处理,得到推填土变化图斑的初始检测结果及对象级图斑初始置信度;
综合后处理模块140,用于对所述初始检测结果进行综合后处理,输出提取的推填土变化图斑;其中,所述综合后处理至少包括利用图斑邻近度判别模型和所述图斑初始置信度进行聚合处理。
可以理解,本实施例的基于遥感影像的推填土变化检测装置100对应于上述实施例的方法,上述实施例中的可选项同样适用于本实施例,故在此不再重复描述。
本申请还提供了一种可读存储介质,用于储存上述终端设备中使用的所述计算机程序。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种基于遥感影像的推填土变化检测方法,其特征在于,包括:
获取不同时相的遥感影像;
利用深度孪生神经网络变化检测模型对所述不同时的相遥感影像进行变化检测,得到像素级推填土变化预测图;
对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及图斑初始置信度;
对所述初始检测结果进行综合后处理,得到所需的推填土变化图斑;其中,所述综合后处理至少包括利用图斑邻近度判别模型和所述图斑初始置信度进行聚合处理。
2.根据权利要求1所述的基于遥感影像的推填土变化检测方法,其特征在于,所述对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及对象级图斑的初始置信度,包括:
对所述推填土变化预测图中每个像素的变化概率进行概率归一化,并将大于预设概率阈值的像素点保留,得到推填土变化图斑的初始检测结果;
搜索所述初始检测结果中的所有闭合图斑,并以单个闭合图斑为单位,计算每个闭合图斑中像素的平均概率值,以作为对应闭合图斑的初始置信度。
3.根据权利要求2所述的基于遥感影像的推填土变化检测方法,其特征在于,所述初始检测结果中的每个闭合图斑对象的搜索过程,包括:
从所述初始检测结果中选取一个像素值不为零的点作为种子点,采用区域增大算法进行邻域像素点的相似性判断,并将具有相似性的像素点合并且继续生长,直到遇到不满足相似性条件的像素点为止,得到一个闭合图斑;继续搜索下一个闭合图斑,完成整张图像的遍历,得到所有的闭合图斑。
4.根据权利要求1所述的基于遥感影像的推填土变化检测方法,其特征在于,所述对所述初始检测结果进行综合后处理,包括:
对所述初始检测结果进行转矢量处理所得到的矢量图斑进行边缘简化,得到边缘简化后的图斑;
利用所述图斑邻近度判别模型和所述图斑初始置信度对所述边缘简化后的图斑进行聚合处理,得到聚合图斑;
对包含所述聚合图斑的图斑检测结果进行筛选及填充,得到满足要求的推填土变化图斑。
5.根据权利要求1或4所述的基于遥感影像的推填土变化检测方法,其特征在于,利用所述图斑邻近度判别模型和所述图斑初始置信度进行图斑聚合处理,包括:
对边缘简化后的每个图斑设定半径为预设像素大小的缓冲区,以确定任意两个图斑是否存在缓冲相交区域;
基于对应图斑的所述初始置信度计算存在缓冲相交区域的两个图斑之间的语义相似度;
计算所述两个图斑之间的最短空间距离,并根据所述最短空间距离和预设距离阈值,计算所述两个图斑之间的空间邻近度;
根据所述缓冲相交区域的面积、所述两个图斑各自的缓冲区分别与所述缓冲相交区域相交部分的面积,计算缓冲区交叠面积率;
基于所述语义相似度、所述空间邻近度和所述缓冲区交叠面积率按照各自的预设权重计算综合邻近度,并将所述综合邻近度大于预设聚合阈值的所述两个图斑进行聚合处理;
其中,所述综合邻近度的计算公式如下:
Pcom[M,N]=δ1Psem_pre[M,N]+δ2Pspa_dis[M,N]+δ3Pare_lap[M,N];
式中,Pcom为图斑M和N之间的综合邻近度;Psem_pre为语义相似度;Pspa_dis为空间邻近度;Pare_lap为所述缓冲区交叠面积率;δ1、δ2、δ3分别为三个预设的权重,且满足δ1+δ2+δ3=1。
6.根据权利要求4所述的基于遥感影像的推填土变化检测方法,其特征在于,所述对包含所述聚合图斑的图斑检测结果进行筛选及填充,得到满足要求的推填土变化图斑,包括:
将所述图斑检测结果中面积小于预设面积阈值的图斑删除,并根据设定的图斑中孔洞面积阈值,填充小于所述孔洞面积阈值的所述图斑检测结果中的孔洞;然后输出达到预设置信度范围的推填土变化图斑。
7.根据权利要求1所述的基于遥感影像的推填土变化检测方法,其特征在于,所述深度孪生神经网络变化检测模型包括编码器和解码器,其中,所述编码器采用两个共享权值的孪生神经网络构成;
所述对所述不同时相的遥感影像进行变化检测,包括:
利用所述编码器对输入的所述不同时相的遥感影像进行多层级影像特征提取及融合,输出得到多层级特征差异图;
利用所述解码器对所述多层级特征差异图进行反卷积计算,得到由每个像素的变化概率分布所构成的像素级推填土变化预测图。
8.一种基于遥感影像的推填土变化检测装置,其特征在于,包括:
遥感影像获取模块,用于获取不同时相的遥感影像;
变化检测模块,用于利用深度孪生神经网络变化检测模型对所述不同时相的遥感影像进行变化检测,得到像素级推填土变化预测图;
预处理模块,用于对所述推填土变化预测图进行预处理,得到推填土变化图斑的初始检测结果及对象级图斑初始置信度;
综合后处理模块,用于对所述初始检测结果进行综合后处理,输出提取的推填土变化图斑;其中,所述综合后处理至少包括利用图斑邻近度判别模型和所述图斑初始置信度进行聚合处理。
9.一种终端设备,其特征在于,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的基于遥感影像的推填土变化检测方法。
10.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上执行时,实施根据权利要求1-7中任一项所述的基于遥感影像的推填土变化检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210981364.7A CN115311569B (zh) | 2022-08-16 | 2022-08-16 | 基于遥感影像的推填土变化检测方法、装置和终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210981364.7A CN115311569B (zh) | 2022-08-16 | 2022-08-16 | 基于遥感影像的推填土变化检测方法、装置和终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115311569A true CN115311569A (zh) | 2022-11-08 |
CN115311569B CN115311569B (zh) | 2023-08-22 |
Family
ID=83863663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210981364.7A Active CN115311569B (zh) | 2022-08-16 | 2022-08-16 | 基于遥感影像的推填土变化检测方法、装置和终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115311569B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620148A (zh) * | 2022-11-30 | 2023-01-17 | 航天宏图信息技术股份有限公司 | 一体化像素级变化样本标注和模型优化方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107939A1 (zh) * | 2016-12-14 | 2018-06-21 | 国家海洋局第二海洋研究所 | 一种基于边缘完备度的图像分割最优识别方法 |
CN110738679A (zh) * | 2019-10-21 | 2020-01-31 | 山东省国土测绘院 | 基于遥感影像变化自动提取的地理省情监测方法及系统 |
CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
CN112861690A (zh) * | 2021-02-01 | 2021-05-28 | 武汉汉达瑞科技有限公司 | 多方法融合的遥感影像变化检测方法及系统 |
CN113515971A (zh) * | 2020-04-09 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、网络系统及其训练方法、设备 |
CN113822832A (zh) * | 2021-09-03 | 2021-12-21 | 国家林业和草原局中南调查规划设计院 | 自然资源多源矢量数据融合方法 |
CN113988271A (zh) * | 2021-11-08 | 2022-01-28 | 北京市测绘设计研究院 | 高分辨率遥感影像变化的检测方法及装置、设备 |
CN114155200A (zh) * | 2021-11-09 | 2022-03-08 | 二十一世纪空间技术应用股份有限公司 | 基于卷积神经网络的遥感影像变化检测方法 |
-
2022
- 2022-08-16 CN CN202210981364.7A patent/CN115311569B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107939A1 (zh) * | 2016-12-14 | 2018-06-21 | 国家海洋局第二海洋研究所 | 一种基于边缘完备度的图像分割最优识别方法 |
CN110738679A (zh) * | 2019-10-21 | 2020-01-31 | 山东省国土测绘院 | 基于遥感影像变化自动提取的地理省情监测方法及系统 |
CN113515971A (zh) * | 2020-04-09 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、网络系统及其训练方法、设备 |
CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
CN112861690A (zh) * | 2021-02-01 | 2021-05-28 | 武汉汉达瑞科技有限公司 | 多方法融合的遥感影像变化检测方法及系统 |
CN113822832A (zh) * | 2021-09-03 | 2021-12-21 | 国家林业和草原局中南调查规划设计院 | 自然资源多源矢量数据融合方法 |
CN113988271A (zh) * | 2021-11-08 | 2022-01-28 | 北京市测绘设计研究院 | 高分辨率遥感影像变化的检测方法及装置、设备 |
CN114155200A (zh) * | 2021-11-09 | 2022-03-08 | 二十一世纪空间技术应用股份有限公司 | 基于卷积神经网络的遥感影像变化检测方法 |
Non-Patent Citations (7)
Title |
---|
LIU L等: "Research on Optimization of Processing Parcels of New Bare Land Based on Remote Sensing Image Change Detection", 《REMOTE SENSING》, vol. 15, no. 1, pages 1 - 19 * |
WEN D等: "Change detection from very-high-spatial-resolution optical remote sensing images: Methods, applications, and future directions", 《IEEE GEOSCIENCE AND REMOTE SENSING MAGAZINE》, vol. 9, no. 4, pages 68 - 101, XP011900452, DOI: 10.1109/MGRS.2021.3063465 * |
付婷等: "基于邻近度的土地利用图斑综合方法", 《测绘地理信息》, no. 6, pages 57 - 60 * |
杨俊等: "基于语义优先的土地利用图斑综合的研究――以大连旅顺口区北海街道为例", 《地理科学》, vol. 33, no. 8, pages 949 - 956 * |
田文文: "基于自发地理信息的空间数据变化发现与更新方法研究", 《中国博士学位论文全文数据库 (基础科学辑)》, no. 5, pages 008 - 8 * |
眭海刚等: "多时相遥感影像变化检测方法综述", 《武汉大学学报 (信息科学版)》, vol. 43, no. 12, pages 1885 - 1898 * |
薛白等: "基于孪生注意力网络的高分辨率遥感影像变化检测", 《自然资源》, vol. 34, no. 1, pages 61 - 66 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620148A (zh) * | 2022-11-30 | 2023-01-17 | 航天宏图信息技术股份有限公司 | 一体化像素级变化样本标注和模型优化方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115311569B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
CN111274865A (zh) | 一种基于全卷积神经网络的遥感图像云检测方法及装置 | |
CN109740639B (zh) | 一种风云卫星遥感影像云检测方法、系统及电子设备 | |
CN107016677A (zh) | 一种基于fcn和cnn的云图分割方法 | |
CN111291826B (zh) | 基于相关性融合网络的多源遥感图像的逐像素分类方法 | |
CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
CN107622239B (zh) | 一种层次化局部结构约束的遥感图像指定建筑区检测方法 | |
CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
CN115641327A (zh) | 一种基于大数据的建筑工程质量监理和预警系统 | |
CN115424223A (zh) | 图神经网络训练方法、点云特征提取方法、设备及介质 | |
CN115311569A (zh) | 基于遥感影像的推填土变化检测方法、装置和终端设备 | |
CN115953612A (zh) | 一种基于ConvNeXt的遥感影像植被分类方法和装置 | |
CN115147401A (zh) | 一种基于数字图像处理的土石坝坝料合格性智能检测方法 | |
CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
CN115565019A (zh) | 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法 | |
CN110211109B (zh) | 基于深度神经网络结构寻优的图像变化检测方法 | |
Xu et al. | Semantic segmentation of sparsely annotated 3D point clouds by pseudo-labelling | |
CN114463624A (zh) | 一种应用于城市管理监督的违章建筑物检测方法及装置 | |
Wang et al. | Data-driven analysis of soil consolidation with prefabricated vertical drains considering stratigraphic variation | |
Freire Santana et al. | Multispectral image unsupervised segmentation using watershed transformation and cross-entropy minimization in different land use | |
CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |