CN117333781B - 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质 - Google Patents

黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质 Download PDF

Info

Publication number
CN117333781B
CN117333781B CN202311521081.5A CN202311521081A CN117333781B CN 117333781 B CN117333781 B CN 117333781B CN 202311521081 A CN202311521081 A CN 202311521081A CN 117333781 B CN117333781 B CN 117333781B
Authority
CN
China
Prior art keywords
erosion
target detection
training
model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311521081.5A
Other languages
English (en)
Other versions
CN117333781A (zh
Inventor
刘力荣
廖安平
甘宇航
尤淑撑
禄競
罗征宇
刘克
何芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Original Assignee
Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ministry Of Natural Resources Land Satellite Remote Sensing Application Center filed Critical Ministry Of Natural Resources Land Satellite Remote Sensing Application Center
Priority to CN202311521081.5A priority Critical patent/CN117333781B/zh
Publication of CN117333781A publication Critical patent/CN117333781A/zh
Application granted granted Critical
Publication of CN117333781B publication Critical patent/CN117333781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质，属于图像处理技术领域。该方法包括：对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；基于侵蚀沟监测底图数据确定目标检测初始样本；基于目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；根据置信度从预测结果i中筛选侵蚀沟检测优选结果i；通过交互式语义分割模型对侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果，提高黑土区侵蚀沟的分割效果。

Description

黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质。
背景技术
东北黑土区位于松辽流域，在多种因素的综合影响下，黑土区水土流失问题显著，侵蚀沟是受水力、风力、冻融及重力等作用，地表径流集中冲刷形成横截面为“U”或“V”型的沟道，是黑土区水土流失问题的集中表现，当前侵蚀沟的监测方法主要有遥感监测、地面观测和调查统计等。基于遥感影像的侵蚀沟提取方法主要分为目视解译、基于像元的分类、面向对象分析等。当前主流的深度学习语义分割模型有DeeplabV3+、UNet、PSPNet等，可以直接端到端的提取目标轮廓，由于侵蚀沟在不同区域的形态特征、尺度多样，且其边缘形态复杂，即使采用先进的语义分割模型，精确地对侵蚀沟进行像素级的语义分割难度仍然较大。
发明内容
为了解决上述技术问题，本申请实施例提供了一种黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质。
第一方面，本申请实施例提供了一种黑土地侵蚀沟卫星遥感智能提取方法，所述方法包括：
对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；
基于所述侵蚀沟监测底图数据确定目标检测初始样本；
基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；
根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i；
通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果。
在一实施方式中，所述对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据，包括：
对所述卫星遥感正射影像DOM数据按照星源、分辨率、时相、云量、区域进行筛选，得到候选DOM数据；
对所述候选DOM数据进行统计计算、影像拉伸、影像镶嵌、影像切片、切片转换、WMTS服务发布处理，得到所述侵蚀沟监测底图数据。
在一实施方式中，对所述候选DOM数据进行统计计算，包括：
计算所述候选DOM数据的像素值的平均值和标准差。
在一实施方式中，所述侵蚀沟智能分割结果包括N个分割结果；
所述基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，包括：
在第1次迭代训练中，将所述侵蚀沟样本输入所述目标检测模型进行训练，得到训练模型1；
采用所述训练模型1对所述目标检测初始样本的任务区影像进行侵蚀沟目标预测，得到预测结果1；
在第j+1次迭代训练中，将目标检测样本j输入训练模型j进行训练，得到训练模型j+1，j≥2；所述目标检测样本j基于第j-1轮的分割结果j-1获取得到；
采用所述训练模型j+1对任务区影像进行侵蚀沟目标预测，得到预测结果j+1。
在一实施方式中，所述目标检测样本j的获取，包括：
对第j-1轮的分割结果j-1进行格式转换，得到新增样本j-1，
当j＝2时，将新增样本1与目标检测原始样本组成目标检测样本2；
当j＞2时，将所述新增样本j-1与目标检测样本j-1组成目标检测样本j。
在一实施方式中，所述交互式语义分割模型包括骨干网络模型及边缘约束分支；所述侵蚀沟智能分割结果包括N个分割结果；
所述通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，包括：
通过所述边缘约束分支接收针对所述侵蚀沟检测优选结果i的正负点击操作信息，根据所述正负点击操作信息形成初步分割结果，根据所述初步分割结果生成边缘掩码；
通过卷积处理提取所述边缘掩码的特征分支；
通过所述骨干网络提取所述侵蚀沟智能分割结果i的影像特征，将所述影像特征与所述特征分支融合，得到对应的最终融合特征i；
根据所述最终融合特征i提取预测结果i。
在一实施方式中，所述方法还包括：
将所述预测结果i进行格式转换，得到侵蚀沟交互式分割样本；
根据所述侵蚀沟交互式分割样本对所述交互式语义分割模型训练，得到训练后的交互式语义分割模型。
第二方面，本申请实施例提供了一种黑土地侵蚀沟卫星遥感智能提取装置，所述黑土地侵蚀沟卫星遥感智能提取装置包括：
生成模块，用于对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；
确定模块，用于基于所述侵蚀沟监测底图数据确定目标检测初始样本；
迭代处理模块，用于基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；
筛选模块，用于根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i；
分割模块，用于通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的黑土地侵蚀沟卫星遥感智能提取方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的黑土地侵蚀沟卫星遥感智能提取方法。
上述本申请提供的黑土地侵蚀沟卫星遥感智能提取方法，提出了融合增量式学习与置信度过滤的侵蚀沟目标检测样本与模型迭代优化方法，对每一轮的阶段性预测结果进行置信度过滤，并将置信度高的预测结果转化为补充样本进行增量式学习，不断迭代样本、优化模型。可解决只有少量初始样本下的侵蚀沟目标检测问题，提高侵蚀沟分割准确度。采用基于边缘约束交互式语义分割的算法进行侵蚀沟边缘提取，并且基于不断生成的侵蚀沟提取成果更新交互式语义分割基础模型，不断提升交互标注的效率。可以解决当前的全自动的侵蚀沟提取无法精确提取边缘，而人工直接提取成本高、效率低的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取方法的一流程示意图；
图2示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取方法的另一流程示意图；
图3示出了本申请实施例提供的图像分割过程的一流程示意图；
图4示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取方法的另一流程示意图；
图5示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取方法的另一流程示意图；
图6示出了本申请实施例提供的预测结果的一示意图；
图7示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取方法的另一流程示意图；
图8示出了本申请实施例提供的分割结果的一示意图；
图9示出了本申请实施例提供的黑土地侵蚀沟卫星遥感智能提取装置的另一结构示意图。
图标：900-黑土地侵蚀沟卫星遥感智能提取装置，901-生成模块，902-确定模块，903-迭代处理模块，904-筛选模块，905-分割模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
东北黑土区位于松辽流域，主要分布在黑龙江、吉林、辽宁和内蒙古4省(自治区)，面积109万平方千米。东北黑土区区域地形复杂，以漫岗丘陵为主，夏季降雨集中，冬季漫长，冻融交替明显，在多种因素的综合影响下，黑土区水土流失问题显著。
侵蚀沟是受水力、风力、冻融及重力等作用，地表径流集中冲刷形成横截面为“U”或“V”型的沟道，是黑土区水土流失问题的集中表现，造成坡耕地黑土层逐年变薄，土壤有机质流失，蚕食耕地。近年相关调查数据显示，尽管部分地方侵蚀沟治理取得一定成效，但总体看，东北黑土区侵蚀沟仍呈加剧发展趋势。
快速、全面的获取黑土区侵蚀沟的空间分布、数量、面积等信息，对于支撑侵蚀沟治理、耕地保护等工作具有十分重要的意义。当前侵蚀沟的监测方法主要有遥感监测、地面观测和调查统计等，随着卫星遥感的空间分辨率、监测频次逐渐提升，遥感监测可以快速获取区域范围内的侵蚀沟数量、分布、占地面积、形态特征等。
目前，基于遥感影像的侵蚀沟提取方法主要分为目视解译、基于像元的分类、面向对象分析等。目视解译效率低、人工绘制的边界不确定性较大，但定性准确度高，仍被广泛使用。基于遥感影像的侵蚀沟自动提取方法，最早使用的是基于像元的分析方法，利用地物丰富的光谱信息，选择足够的训练像素进行训练，需要对研究区有深入的了解并仔细分析光谱特征的可分离性。面向对象分析是以对象为分析单元，通过特征分析实现信息提取，充分利用了光谱、纹理、形状等信息。
面向对象的分析提取，主要分为手动建立规则集、经典机器学习、深度学习三类。手动建立规则集根据侵蚀沟与背景特征的差异，建立详细的规则将侵蚀沟与背景分离，如根据线性特征、汇水面积、坡度、边缘检测等设置规则参数，整体上该方法操作繁琐，参数设置主观性强，且在不同区域通用性差。
经典的机器学习方法有支持向量机(SVM)、随机森林(RF)等分类方法，可自动从训练样本中学习得到模型参数并实现预测。但随着人工智能、目标检测模型的发展，基于深度学习的方法在影像分类、目标检测、语义分割等计算机视觉领域，其在自动提取、分类效果方面已经超过经典的机器学习算法，成为主流。
当前主流的深度学习语义分割模型有DeeplabV3+、UNet、PSPNet等，可以直接端到端的提取目标轮廓，由于侵蚀沟在不同区域的形态特征、尺度多样，且其边缘形态复杂，即使采用先进的语义分割模型，精确的对侵蚀沟进行像素级的语义分割难度仍然较大。
实施例1
本申请实施例提供了一种黑土地侵蚀沟卫星遥感智能提取方法。经分析，侵蚀沟的形态主要呈现细长的条状或者树枝状，因此其作为一个整体目标对象被自动发现会相对容易。而要精确的提取侵蚀沟轮廓，当前交互式深度学习方法可在少量人工操作的情况下，高效、高精度获取侵蚀沟轮廓。
因此，为兼顾效率和精度，本发明提出了基于深度学习的、目标迭代发现结合交互式语义分割的侵蚀沟遥感智能提取方案，基于目标迭代发现，保证查全率；基于交互式语义分割的像素级语义分割主要实现侵蚀沟轮廓的精确提取。本申请构建了从多载荷影像筛选、监测底图构建、智能提取的全流程侵蚀沟遥感自动提取方案。
当前基于机器学习、深度学习方法开展的侵蚀沟自动提取，往往集中在小试验区，对于大区域的侵蚀沟自动分割提取，尚未发现相关研究。
本发明提出了黑土地侵蚀沟卫星遥感智能提取方法，可基于少量样本进行自动迭代发现侵蚀沟，且交互式深度学习可在大幅节约人力成本的情况下，高精度提取侵蚀沟轮廓。下面结合附图进行详细说明。
参见图1，黑土地侵蚀沟卫星遥感智能提取方法包括步骤S101-S105，下面对各步骤进行说明。
步骤S101，对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据。
参见图2，基于国产2米级多载荷卫星遥感影像，研发了黑土地侵蚀沟卫星遥感智能提取方法，构建了从多载荷影像筛选、监测底图构建、侵蚀沟智能提取的全流程侵蚀沟遥感监测方案。使用2米级多载荷光学遥感正射影像DOM数据，对DOM影像进行影像筛选、统计计算、影像镶嵌、影像切片、生成数据被、底图服务等处理，形成侵蚀沟监测影像底图数据。然后采用少量侵蚀沟样本开展深度学习目标检测，样本与模型不断迭代优化；进而基于目标检测结果，采用交互式语义分割(智能分割提取)精确获取侵蚀沟轮廓，后续可以进行知识筛选，确定耕地、河流、DEM等。在图2中，ZY3、GF1、GF2、GF7、GF6等表示不同的卫星名称。
参见图3，侵蚀沟智能提取流程包括侵蚀沟样本构建、经过迭代训练和迭代预测，实现侵蚀沟目标检测，最后通过交互式分割，得到智能分割结果。图3中，在目标检测阶段，对各检测框为侵蚀沟的置信度进行计算，例如，标注有qsg0.98的检测框，表示该检测框为侵蚀沟的置信度为0.98。标注有qsg0.99的检测框，表示该检测框为侵蚀沟的置信度为0.99。经过交互式分割后，得到分割结果1和分割结构2。
在本实施例中，所述对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据，包括：
对所述卫星遥感正射影像DOM数据按照星源、分辨率、时相、云量、区域进行筛选，得到候选DOM数据；
对所述候选DOM数据进行统计计算、影像拉伸、影像镶嵌、影像切片、切片转换、WMTS服务发布处理，得到所述侵蚀沟监测底图数据。
需要说明的是，WMTS服务为Web地图瓦片服务。
在本实施例中，对所述候选DOM数据进行统计计算，包括：
计算所述候选DOM数据的像素值的平均值和标准差。
进一步说明的是，对影像数据按照星源、分辨率、时相、云量、区域等条件进行筛选。统计计算主要是提取其关键统计值和指标，如平均值、标准差等。
参见图4，通过多传感器卫星遥感正射影像DOM数据、影像落图、行政边界进行数据检查，基于多传感器卫星遥感正射影像DOM数据，采用计算机自动生产处理的方式，对卫星遥感正射影像DOM数据按照星源、分辨率、时相、云量、区域等条件进行影像数据筛选，并对筛选后的影像数据开展统计值计算、拉伸、影像镶嵌、影像切片、切片转换数据包、WMTS服务发布等影像数据处理，形成监测影像底图数据。其中，影像的统计值计算主要是提取其关键统计值和指标，如平均值、标准差等，为了使影像镶嵌、拉伸时显示较好的效果便于信息提取，主要是使影像镶嵌、拉伸时显示较好的效果便于信息提取，增强影像的可视化效果。
其中，数据检查包括如下方面：检查影像、落图文件数据的数学基础、完整性、可读性、逻辑性等，数学基础要符合2000国家大地坐标系(CGCS2000)要求。
数据可读性检查：检查提供的DOM影像数据和对应的落图文件是否可读，是否能正常打开。检查影像数据是否已创建金字塔。
数据完整性检查：检查影像结合表中的影像记录是否和影像成果一一对应。
数学基础检查：检查用户推送数据的数学基础是否符合项目数学基础要求，如不一致，需进行投影变换，使之与项目数据基础一致。
数据逻辑性检查：检查影像落图文件信息中关键字段值是否有值、存在逻辑错误等。比如影像的时相、云量、星源的值是否存在，是否有无逻辑错误。
在影像数据处理中，统计值是为了拉伸影像，使得影像显示效果更好，或者看起来更清晰；影像镶嵌是为了将影像进行接边，形成整体区域影像。影像切片及切片转换是便于后期的数据存储、管理。切片转换是将影像缓存切片转换为数据库存储方式，转换前为256×256尺度的二进制影像格式，转换后格式为SQLite数据库文件格式，目的是为了更高效地进行数据存储、管理、访问、服务发布。
步骤S102，基于所述侵蚀沟监测底图数据确定目标检测初始样本。
在本实施例中，目标检测初始样本的数量较少，通过样本迭代，能够从较少的目标检测初始样本迭代得到较大的目标检测样本数。
步骤S103，基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型。
在一实施方式中，所述侵蚀沟智能分割结果包括N个分割结果；步骤S103包括：
在第1次迭代训练中，将所述侵蚀沟样本输入所述目标检测模型进行训练，得到训练模型1；
采用所述训练模型1对所述目标检测初始样本的任务区影像进行侵蚀沟目标预测，得到预测结果1；
在第j+1次迭代训练中，将目标检测样本j输入训练模型j进行训练，得到训练模型j+1，j≥2；所述目标检测样本j基于第j-1轮的分割结果j-1获取得到；
采用所述训练模型j+1对任务区影像进行侵蚀沟目标预测，得到预测结果j+1。
在本实施例中，所述目标检测样本j的获取，包括：
对第j-1轮的分割结果j-1进行格式转换，得到新增样本j-1，
当j＝2时，将新增样本1与目标检测原始样本组成目标检测样本2；
当j＞2时，将所述新增样本j-1与目标检测样本j-1组成目标检测样本j。
下面结合图5对迭代训练和迭代预测进行说明。
开始启动时，有少量的目标检测初始样本，基于目标检测初始样本对目标检测模型进行训练，实现模型迭代。目标检测模型对任务区的影像进行迭代预测，得到目标检测结果。其中，模型迭代后，得到训练模型1、训练模型2、......、训练模型N。迭代预测后，得到预测结果1、预测结果2、......、预测结果N。
使用训练模型1对任务区的影像进行侵蚀沟目标预测得到的结果为预测结果1，使用训练模型2对任务区的影像进行侵蚀沟目标预测得到的结果为预测结果2，依次类推。
步骤S104，根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i。
例如，可以将置信度设置为80％，将所述预测结果i中的置信度高于80％的结果筛选为筛选侵蚀沟检测优选结果i。
步骤S105，通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果。
请再次参见图5，对每一轮的侵蚀沟目标检测结果(预测结果1、预测结果2、......、预测结果N)，首先进行置信度筛选，选择置信度较高的开展交互式语义分割提取，对侵蚀沟分割结果取其外接矩形，进而转换为目标检测训练样本，用于下一轮的模型训练。模型迭代更新采用增量式学习方法，不断地从补充的新样本中学习新的知识，并能保存大部分以前已经学习到的知识。
需要补充说明的是，对应目标检测样本j而言，从少量初始样本，迭代后数量不断增加，可以提高训练的精度；通过训练样本的不断增加，训练的模型精度越来越高。
参见图6，依次为(a)原始影像、(b)第一轮预测、(c)第二轮预测、(d)第三轮预测、(e)第四轮预测、(f)第五轮预测，从图6可知，通过样本、模型不断迭代，侵蚀沟的误检、漏检越来越少。
在本实施例中，所述交互式语义分割模型包括骨干网络模型及边缘约束分支；所述侵蚀沟智能分割结果包括N个分割结果；步骤S105，包括：
通过所述边缘约束分支接收针对所述侵蚀沟检测优选结果i的正负点击操作信息，根据所述正负点击操作信息形成初步分割结果，根据所述初步分割结果生成边缘掩码；
通过卷积处理提取所述边缘掩码的特征分支；
通过所述骨干网络提取所述侵蚀沟智能分割结果i的影像特征，将所述影像特征与所述特征分支融合，得到对应的最终融合特征i；
根据所述最终融合特征i提取预测结果i。
参见图7，基于目标检测的迭代发现结果，侵蚀沟的智能分割提取以EdgeFlow交互式语义分割框架为基础，采用HRNet或DeeplabV3+作为骨干网络模型，充分利用人工点击式交互和影像信息，进行多级、多尺度特征融合，采用轻量级操作的多孔卷积块以提升学习效率，同时结合边缘约束提高对象边缘分割的稳定性。将EdgeFlow交互式语义分割框架应用在侵蚀沟提取上，在每一批侵蚀沟交互式分割提取的结果基础上，继续训练、更新HRNet网络或DeeplabV3+骨干网络的精度，进而对整个交互式语义分割模型进行优化迭代，使得侵蚀沟交互式智能分割提取的效率不断提升。其中，多孔卷积模块用在EdgeFlow交互式语义分割框架的后端的卷积网络中。
进一步补充说明的是，交互式语义分割模型的模型输入除了待分割的影像，人工通过正、负点击得到的点击坐标信息，也是交互式语义分割模型的输入。点击的坐标信息也是进行卷积处理后提取特征图，与影像特征进行融合。
进一步补充说明的是，边缘约束也是EdgeFlow交互式语义分割框架中的一个分支。由人工的正负点击，形成初步的分割结果，进而形成边缘掩码，然后作为输入的一部分。同样通过卷积处理提取特征分支，与HRNet或DeeplabV3+骨干网络提取的影像特征进行融合。
在一实施方式中，所述方法还包括：
将所述预测结果i进行格式转换，得到侵蚀沟交互式分割样本；
根据所述侵蚀沟交互式分割样本对所述交互式语义分割模型训练，得到训练后的交互式语义分割模型。
请再次参见图7，侵蚀沟交互式分割样本对所述交互式语义分割模型训练，完成样本训练、模型(EdgeFlow交互式语义分割框架)精化。
参见图8，依次为采用本实施例提供的方法所获得的(a)目标检测结果、(b)智能分割结果，(a)目标检测结果中包括qsg0.98，qsg0.95；(b)智能分割结果包括分割得到的侵蚀沟1和侵蚀沟2。可以看出目标表检测结果准确、智能分割结果准确。
下面对实验及结果验证进行举例说明。
选择黑龙江省耕地范围作为试验区，基于少量的侵蚀沟目标检测初始样本(约3000个)，采用Faster RCNN目标检测模型进行训练、检测，通过模型增量学习、样本迭代的方式不断丰富样本、优化模型，最终样本迭代量达10万以上。
经过交互式语义分割提取的试验区侵蚀沟总体数量也在10万以上，经过测试，采用本申请提供的黑土地侵蚀沟卫星遥感智能提取方法分割提取侵蚀沟边缘，相比传统使用Arcgis等工具直接勾画的效率提升在5倍以上。
选取嫩江县、宾县、绥棱县、林口县4个典型县的部分区域作为验证区，采用分辨率为0.65米的GF-7亚米卫星影像，对基于2米影像提取的侵蚀沟图斑进行提取精确率、召回率、F1_score值等的精度评价。
精确率P代表提取的侵蚀沟图斑总数量中为正确侵蚀沟图斑的比例；召回率R也称为查全率，表示所有侵蚀沟被预测出来的比例，体现查全效果；F1_score值为精确率和召回率的调和均值。具体测算方式如下：
其中：
TP—真正例，即正确自动提取出的侵蚀沟图斑个数；
TN—真负例，即正确自动提取出的非侵蚀沟图斑个数；
FP—假正例，即非侵蚀沟图斑被检测为侵蚀沟图斑的个数，即误提取图斑的个数；
FN—假负例，即侵蚀沟图斑未被检测的个数，即漏提取图斑的个数。
4个验证区共选取了9690个图斑进行验证，其中，在亚米影像上判断为正确侵蚀沟的图斑数为9240个，即误提取图斑数为490个；经人工解译判断，漏提取图斑数为694个。整体上，采用亚米影像作为参考，验证区侵蚀沟提取成果精确率为95.4％，召回率为93.0％，F1_score值为94.2％。
本发明提出了基于卫星遥感影像的侵蚀沟智能提取技术方案，该技术为大区域、高频次、高精度的侵蚀沟提取提供了一个低成本、高效的解决方案。本发明提出黑土地侵蚀沟卫星遥感智能提取方法，为基于深度学习的“目标迭代发现+交互式语义分割”的侵蚀沟智能提取方法，改变了以往侵蚀沟提取模式，为实现侵蚀沟的业务化监测提取提供了思路。
本实施例提供的黑土地侵蚀沟卫星遥感智能提取方法，提出了融合增量式学习与置信度过滤的侵蚀沟目标检测样本与模型迭代优化方法，对每一轮的阶段性预测结果进行置信度过滤，并将置信度高的预测结果转化为补充样本进行增量式学习，不断迭代样本、优化模型。可解决只有少量初始样本下的侵蚀沟目标检测问题，提高侵蚀沟分割准确度。采用基于边缘约束交互式语义分割的算法进行侵蚀沟边缘提取，并且基于不断生成的侵蚀沟提取成果更新交互式语义分割基础模型，不断提升交互标注的效率。可以解决当前的全自动的侵蚀沟提取无法精确提取边缘，而人工直接提取成本高、效率低的问题。
实施例2
此外，本申请实施例提供了一种黑土地侵蚀沟卫星遥感智能提取装置。
如图9所示，黑土地侵蚀沟卫星遥感智能提取装置900包括：
生成模块901，用于对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；
确定模块902，用于基于所述侵蚀沟监测底图数据确定目标检测初始样本；
迭代处理模块903，用于基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；
筛选模块904，用于根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i；
分割模块905，用于通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果。
本实施例提供的黑土地侵蚀沟卫星遥感智能提取装置900可以实现实施例1所提供的黑土地侵蚀沟卫星遥感智能提取方法，为避免重复，在此不再赘述。
本实施例提供的黑土地侵蚀沟卫星遥感智能提取装置，提出了融合增量式学习与置信度过滤的侵蚀沟目标检测样本与模型迭代优化方法，对每一轮的阶段性预测结果进行置信度过滤，并将置信度高的预测结果转化为补充样本进行增量式学习，不断迭代样本、优化模型。可解决只有少量初始样本下的侵蚀沟目标检测问题，提高侵蚀沟分割准确度。采用基于边缘约束交互式语义分割的算法进行侵蚀沟边缘提取，并且基于不断生成的侵蚀沟提取成果更新交互式语义分割基础模型，不断提升交互标注的效率。可以解决当前的全自动的侵蚀沟提取无法精确提取边缘，而人工直接提取成本高、效率低的问题。
实施例3
此外，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的黑土地侵蚀沟卫星遥感智能提取方法。
本实施例提供的电子设备可以实现实施例1所提供的黑土地侵蚀沟卫星遥感智能提取方法，为避免重复，在此不再赘述。
实施例4
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的黑土地侵蚀沟卫星遥感智能提取方法。
在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的黑土地侵蚀沟卫星遥感智能提取方法，为避免重复，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (8)

1.一种黑土地侵蚀沟卫星遥感智能提取方法，其特征在于，所述方法包括：
对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；
基于所述侵蚀沟监测底图数据确定目标检测初始样本；
基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；
根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i；
通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果；
所述侵蚀沟智能分割结果包括N个分割结果；
所述基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，包括：
在第1次迭代训练中，将所述侵蚀沟样本输入所述目标检测模型进行训练，得到训练模型1；
采用所述训练模型1对所述目标检测初始样本的任务区影像进行侵蚀沟目标预测，得到预测结果1；
在第j+1次迭代训练中，将目标检测样本j输入训练模型j进行训练，得到训练模型j+1，j≥2；所述目标检测样本j基于第j-1轮的分割结果j-1获取得到；
采用所述训练模型j+1对任务区影像进行侵蚀沟目标预测，得到预测结果j+1；
所述目标检测样本j的获取，包括：
对第j-1轮的分割结果j-1进行格式转换，得到新增样本j-1；
当j＝2时，将新增样本1与目标检测原始样本组成目标检测样本2；
当j＞2时，将所述新增样本j-1与目标检测样本j-1组成目标检测样本j。
2.根据权利要求1所述的方法，其特征在于，所述对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据，包括：
对所述卫星遥感正射影像DOM数据按照星源、分辨率、时相、云量、区域进行筛选，得到候选DOM数据；
对所述候选DOM数据进行统计计算、影像拉伸、影像镶嵌、影像切片、切片转换、WMTS服务发布处理，得到所述侵蚀沟监测底图数据。
3.根据权利要求2所述的方法，其特征在于，对所述候选DOM数据进行统计计算，包括：
计算所述候选DOM数据的像素值的平均值和标准差。
4.根据权利要求1所述的方法，其特征在于，所述交互式语义分割模型包括骨干网络模型及边缘约束分支；所述侵蚀沟智能分割结果包括N个分割结果；
所述通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，包括：
通过所述边缘约束分支接收针对所述侵蚀沟检测优选结果i的正负点击操作信息，根据所述正负点击操作信息形成初步分割结果，根据所述初步分割结果生成边缘掩码；
通过卷积处理提取所述边缘掩码的特征分支；
通过所述骨干网络提取所述侵蚀沟智能分割结果i的影像特征，将所述影像特征与所述特征分支融合，得到对应的最终融合特征i；
根据所述最终融合特征i提取预测结果i。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述预测结果i进行格式转换，得到侵蚀沟交互式分割样本；
根据所述侵蚀沟交互式分割样本对所述交互式语义分割模型训练，得到训练后的交互式语义分割模型。
6.一种黑土地侵蚀沟卫星遥感智能提取装置，其特征在于，所述装置包括：
生成模块，用于对卫星遥感正射影像DOM数据进行条件筛选和统计计算，生成侵蚀沟监测底图数据；
确定模块，用于基于所述侵蚀沟监测底图数据确定目标检测初始样本；
迭代处理模块，用于基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，得到第i次训练的训练模型i和第i次预测处理的预测结果i，1≤i≤N，其中，第i+1次训练过程中的待训练模型为第i次训练后的目标检测模型；
筛选模块，用于根据置信度从所述预测结果i中筛选侵蚀沟检测优选结果i；
分割模块，用于通过交互式语义分割模型对所述侵蚀沟检测优选结果i进行交互式语义分割，得到侵蚀沟智能分割结果；
所述侵蚀沟智能分割结果包括N个分割结果；
所述基于所述目标检测初始样本对目标检测模型进行N次迭代训练和N次迭代预测处理，包括：
在第1次迭代训练中，将所述侵蚀沟样本输入所述目标检测模型进行训练，得到训练模型1；
采用所述训练模型1对所述目标检测初始样本的任务区影像进行侵蚀沟目标预测，得到预测结果1；
在第j+1次迭代训练中，将目标检测样本j输入训练模型j进行训练，得到训练模型j+1，j≥2；所述目标检测样本j基于第j-1轮的分割结果j-1获取得到；
采用所述训练模型j+1对任务区影像进行侵蚀沟目标预测，得到预测结果j+1；
所述目标检测样本j的获取，包括：
对第j-1轮的分割结果j-1进行格式转换，得到新增样本j-1；
当j＝2时，将新增样本1与目标检测原始样本组成目标检测样本2；
当j＞2时，将所述新增样本j-1与目标检测样本j-1组成目标检测样本j。
7.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至5中任一项所述的黑土地侵蚀沟卫星遥感智能提取方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至5中任一项所述的黑土地侵蚀沟卫星遥感智能提取方法。
CN202311521081.5A 2023-11-15 2023-11-15 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质 Active CN117333781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311521081.5A CN117333781B (zh) 2023-11-15 2023-11-15 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311521081.5A CN117333781B (zh) 2023-11-15 2023-11-15 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117333781A CN117333781A (zh) 2024-01-02
CN117333781B true CN117333781B (zh) 2024-05-10

Family

ID=89291904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311521081.5A Active CN117333781B (zh) 2023-11-15 2023-11-15 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117333781B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657618A (zh) * 2017-10-10 2018-02-02 中国科学院南京地理与湖泊研究所 基于遥感影像和地形数据的区域尺度侵蚀沟自动提取方法
CN114022777A (zh) * 2021-10-20 2022-02-08 中国资源卫星应用中心 一种遥感影像地物要素的样本制作方法及装置
CN115546630A (zh) * 2022-09-14 2022-12-30 国网江苏省电力有限公司无锡供电分公司 基于遥感影像特征目标检测的工地提取方法和系统
CN115937702A (zh) * 2022-11-30 2023-04-07 长春吉电能源科技有限公司 一种基于深度学习的黄土高原侵蚀沟提取方法及系统
CN116188907A (zh) * 2023-02-21 2023-05-30 北京百度网讯科技有限公司 图像处理方法、语义分割模型的训练方法及装置
CN116977633A (zh) * 2023-07-10 2023-10-31 中国科学院空天信息创新研究院 地物要素分割模型训练方法、地物要素分割方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165217B2 (en) * 2013-01-18 2015-10-20 International Business Machines Corporation Techniques for ground-level photo geolocation using digital elevation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657618A (zh) * 2017-10-10 2018-02-02 中国科学院南京地理与湖泊研究所 基于遥感影像和地形数据的区域尺度侵蚀沟自动提取方法
CN114022777A (zh) * 2021-10-20 2022-02-08 中国资源卫星应用中心 一种遥感影像地物要素的样本制作方法及装置
CN115546630A (zh) * 2022-09-14 2022-12-30 国网江苏省电力有限公司无锡供电分公司 基于遥感影像特征目标检测的工地提取方法和系统
CN115937702A (zh) * 2022-11-30 2023-04-07 长春吉电能源科技有限公司 一种基于深度学习的黄土高原侵蚀沟提取方法及系统
CN116188907A (zh) * 2023-02-21 2023-05-30 北京百度网讯科技有限公司 图像处理方法、语义分割模型的训练方法及装置
CN116977633A (zh) * 2023-07-10 2023-10-31 中国科学院空天信息创新研究院 地物要素分割模型训练方法、地物要素分割方法及装置

Also Published As

Publication number Publication date
CN117333781A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN114254561B (zh) 一种内涝预测方法、系统及存储介质
US20220043182A1 (en) Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data
CN113673765B (zh) 一种小流域洪水预报预警方法及终端
Liu et al. Large-scale mapping of gully-affected areas: An approach integrating Google Earth images and terrain skeleton information
CN110134907B (zh) 一种降雨缺失数据填补方法、系统及电子设备
CN104239706A (zh) 一种地面观测气温时空数据集的制备方法
CN108629777A (zh) 一种数字病理全切片图像病变区域自动分割方法
Na et al. Bidirectional DEM relief shading method for extraction of gully shoulder line in loess tableland area
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN113033403A (zh) 基于影像瓦片的生态保护红线地物目标识别方法及系统
CN113963261A (zh) 基于多尺度融合的全卷积神经网络耕地提取方法及系统
CN117409168B (zh) 实时动态渲染的洪水预报及洪灾模拟方法和系统
CN117934746B (zh) 基于国土整治与生态修复数据可视化方法和系统
CN111626358B (zh) 一种基于bim图片识别的隧道围岩分级方法
Wan et al. Application of deep learning in land use classification for soil erosion using remote sensing
CN116486031A (zh) 时序遥感数据与地理大数据融合的城市更新区域识别方法
Hu et al. Mapping and characterizing rock glaciers in the arid Western Kunlun Mountains supported by InSAR and deep learning
CN116310802A (zh) 一种基于多尺度融合模型的宅基地变化监测方法和装置
CN115758856A (zh) 一种景观格局及气候变化对流域未来水质影响的研究方法
Wang et al. Spatial variation of catchment-oriented extreme rainfall in England and Wales
CN117128977B (zh) 基于双影像融合的优质绿道路径规划方法、装置及设备
CN113963268A (zh) 一种针对大型工程建设的施工状态变化监测方法
CN112016744B (zh) 一种基于土壤水分的森林火灾预测方法、装置及存储介质
CN117333781B (zh) 黑土区侵蚀沟卫星遥感智能提取方法、装置、设备及介质
CN117173579A (zh) 一种基于固有特征与多级特征融合的图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant