CN114241326A - 一种渐进式遥感影像地物要素智能生产方法及系统 - Google Patents

Abstract

本发明提供了一种渐进式遥感影像地物要素智能生产方法及系统，涉及遥感影像处理技术领域，方法包括：获取待识别整景遥感影像；对待识别整景遥感影像进行预处理，得到多张局部遥感影像；将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；根据多个边界识别概率序列，确定待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；利用目标地物边界修正模型组修正全目标地物初始边界整景影像中每种目标地物的边界；本发明通过构建目标地物边界修正模型组以修正目标地物识别模型组的识别结果，能够提高渐进式遥感影像地物要素智能生产的精准度和实用性。

Description

一种渐进式遥感影像地物要素智能生产方法及系统

技术领域

本发明涉及遥感影像处理技术领域，特别是涉及一种渐进式遥感影像地物要素智能生产方法及系统。

背景技术

渐进式遥感影像地物要素智能生产的实质是，对批量整景遥感影像中的地物进行识别和标识。新时代的新型基础测绘建设要求全面推进基础地理数据库的动态更新和应需更新，这对生产周期、生产效率和生产成本提出了更高的要求。现有技术主要依赖于人工作业，基于遥感影像，通过目视观察，凭借扎实的专业知识和丰富的判读经验，通过人脑分析、推理和判断，建立解译标志知识库，提取圈定范围线。而目视判读在地物识别和地物边界确定过程中存在较多的争议，究其原因主要表现在两个方面：一是影像的空间分辨率不足以支撑地物要素类型的细化分辨，二是在形成解译结论时加入过多的人为猜想或人工经验。这就导致原本标准统一的遥感解译由于主观因素的介入而变得界限模糊。

近年来，深度学习因特征提取能力强、识别精度高等优点在计算机视觉和图像处理的语义分割领域已经取得重大进展并得到广泛的应用。在测绘生产工作中，利用深度学习方法规模应用于地表覆盖分类、地物目标提取等生产实践中，已经显著提高了遥感影像图载信息的提取效率。但整体上，目前智能遥感解译在应用场景中存在提取精度低和难以稳定控制的局限性，难以直接应用于测绘生产实践。

发明内容

本发明的目的是提供一种渐进式遥感影像地物要素智能生产方法及系统，能够提高遥感影像地物要素智能生产的精准度和实用性。

为实现上述目的，本发明提供了如下方案：

一种渐进式遥感影像地物要素智能生产方法，包括：

获取待识别整景遥感影像；

对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像；

将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个所述边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；所述目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界；所述目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

可选的，所述对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像，具体包括：

对所述待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

调整所述匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪所述位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张所述局部遥感影像的尺寸相同。

可选的，在所述获取待识别整景遥感影像之前，还包括：

获取历史整景遥感影像；

对所述历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

对所述标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

对多张所述历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；所述增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

可选的，所述根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像，具体包括：

确定任一种目标地物为当前目标地物；

确定任一像素点为当前像素点；

确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在所述当前像素点的边界识别概率；

更新当前像素并返回步骤“确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在所述当前像素点的边界识别概率”直至历遍所有像素点，得到当前目标地物在每个像素点的边界识别概率；

将当前目标地物在每个像素点的边界识别概率作为像素值，分别得到多张局部遥感影像对应的边界局部概率影像；

拼接多张所述当前目标地物边界局部概率影像，得到当前目标地物边界整景概率影像；

设置第一概率阈值，并根据所述第一概率阈值对所述当前目标地物边界整景概率影像进行二值化处理，得到当前目标地物初始边界整景影像；

更新所述当前目标地物，并返回步骤“确定任一像素点为当前像素点”直至历遍所有目标地物的种类，得到多张目标地物初始边界整景影像；多张目标地物初始边界整景影像对应的目标地物的种类不同；

将多张目标地物初始边界整景影像进行重叠融合处理，得到全目标地物初始边界整景影像。

可选的，所述利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界，具体包括：

确定全目标地物初始边界整景影像中的待修正区域；

将多张局部遥感影像分别输入到目标地物边界修正模型组中，得到多张局部遥感影像中每个像素点的多个边界修正概率序列；不同边界修正概率序列对应的目标地物的种类不同；一个所述边界修正概率序列包括将同一局部遥感影像分别输入到目标地物修正模型组内不同目标地物修正模型后得到的同一像素点的边界修正概率；

根据多个所述边界修正概率序列，确定所述待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像；

将全目标地物初始边界整景影像中的待修正区域处的边界数据替换为全目标地物修正边界整景影像处的边界数据。

可选的，所述根据多个所述边界修正概率序列，确定所述待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像，具体包括：

确定任一种目标地物为当前目标地物；

获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列；

确定当前目标地物的边界修正概率序列中所有元素的平均值，为对应局部遥感影像中单个像素点的当前目标地物边界修正概率；

将局部遥感影像中每个像素点的当前目标地物边界修正概率作为像素值，得到多张当前目标地物修正边界局部概率影像；

拼接多张所述当前目标地物修正边界局部概率影像，得到当前目标地物修正边界整景概率影像；

设置第二概率阈值，并根据所述第二概率阈值对所述当前目标地物修正边界整景概率影像进行二值化处理，得到当前目标地物初始修正边界整景影像；

更新所述当前目标地物，并返回步骤“获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列”直至历遍所有目标地物的种类，得到多张目标地物初始修正边界整景影像；多张目标地物初始修正边界整景影像对应的目标地物的种类不同；

将多张目标地物初始修正边界整景影像进行重叠融合处理，得到全目标地物修正边界整景影像。

可选的，所述第二概率阈值大于所述第一概率阈值。

一种渐进式遥感影像地物要素智能生产系统，包括：

待识别整景遥感影像获取模块，用于获取待识别整景遥感影像；

第一预处理模块，用于对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像；

边界识别概率序列确定模块，用于将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个所述边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；所述目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

全目标地物初始边界整景影像确定模块，用于根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

边界修正模块，用于利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界；所述目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

可选的，所述第一预处理模块，具体包括：

匀光匀色处理单元，用于对所述待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

位深统一单元，用于调整所述匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪单元，用于裁剪所述位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张所述局部遥感影像的尺寸相同。

可选的，所述系统，还包括：

历史整景遥感影像获取模块，用于获取历史整景遥感影像；

标注模块，用于对所述历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

第二预处理模块，用于对所述标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

图像增强模块，用于对多张所述历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；所述增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

神经网络训练模块，用于利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

目标地物识别模型组确定模块，用于确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

目标地物边界修正模型组确定模块，用于确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种渐进式遥感影像地物要素智能生产方法及系统，通过构建目标地物识别模型组和目标地物边界修正模型组，以渐进式识别（对整景遥感影像整的目标地物边界依次进行识别和修正），提高了遥感影像地物要素智能生产的精准度和实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中渐进式遥感影像地物要素智能生产方法流程图；

图2为本发明实施例中人机融合智能测绘数据生产方法示意图；

图3为本发明实施例中多GPU数据并行训练原理图；

图4为本发明实施例中系统框架设计图；

图5为本发明实施例中局部遥感影像示意图；

图6为本发明实施例中局部遥感影像标注示意图；

图7为本发明实施例中批量式整景预测效果图；

图8为本发明实施例中渐进式遥感影像地物要素智能生产方法预测结果示意图；

图9为本发明实施例中渐进式遥感影像地物要素智能生产系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种渐进式遥感影像地物要素智能生产方法及系统，能够提高遥感影像地物要素智能生产的精准度和实用性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1，本发明提供了一种渐进式遥感影像地物要素智能生产方法，包括：

步骤101：获取待识别整景遥感影像；其中，景（整景）是指遥感卫星拍摄一次所获取到的画面；

步骤102：对待识别整景遥感影像进行预处理，得到多张局部遥感影像；

步骤103：将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

步骤104：根据多个边界识别概率序列，确定待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

步骤105：利用目标地物边界修正模型组修正全目标地物初始边界整景影像中每种目标地物的边界；目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

步骤102，具体包括：

对待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

调整匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张局部遥感影像的尺寸相同。

在步骤101之前，还包括：

获取历史整景遥感影像；

对历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

对标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

对多张历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

步骤104，具体包括：

确定任一种目标地物为当前目标地物；

确定任一像素点为当前像素点；

确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在当前像素点的边界识别概率；

更新当前像素并返回步骤“确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在当前像素点的边界识别概率”直至历遍所有像素点，得到当前目标地物在每个像素点的边界识别概率；

将当前目标地物在每个像素点的边界识别概率作为像素值，分别得到多张局部遥感影像对应的边界局部概率影像；

拼接多张当前目标地物边界局部概率影像，得到当前目标地物边界整景概率影像；

设置第一概率阈值，并根据第一概率阈值对当前目标地物边界整景概率影像进行二值化处理，得到当前目标地物初始边界整景影像；

更新当前目标地物，并返回步骤“确定任一像素点为当前像素点”直至历遍所有目标地物的种类，得到多张目标地物初始边界整景影像；多张目标地物初始边界整景影像对应的目标地物的种类不同；

将多张目标地物初始边界整景影像进行重叠融合处理，得到全目标地物初始边界整景影像。

步骤105，具体包括：

确定全目标地物初始边界整景影像中的待修正区域；

将多张局部遥感影像分别输入到目标地物边界修正模型组中，得到多张局部遥感影像中每个像素点的多个边界修正概率序列；不同边界修正概率序列对应的目标地物的种类不同；一个边界修正概率序列包括将同一局部遥感影像分别输入到目标地物修正模型组内不同目标地物修正模型后得到的同一像素点的边界修正概率；

根据多个边界修正概率序列，确定待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像；

将全目标地物初始边界整景影像中的待修正区域处的边界数据替换为全目标地物修正边界整景影像处的边界数据。

根据多个边界修正概率序列，确定待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像，具体包括：

确定任一种目标地物为当前目标地物；

获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列；

确定当前目标地物的边界修正概率序列中所有元素的平均值，为对应局部遥感影像中单个像素点的当前目标地物边界修正概率；

将局部遥感影像中每个像素点的当前目标地物边界修正概率作为像素值，得到多张当前目标地物修正边界局部概率影像；

拼接多张当前目标地物修正边界局部概率影像，得到当前目标地物修正边界整景概率影像；

设置第二概率阈值，并根据第二概率阈值对当前目标地物修正边界整景概率影像进行二值化处理，得到当前目标地物初始修正边界整景影像；

更新当前目标地物，并返回步骤“获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列”直至历遍所有目标地物的种类，得到多张目标地物初始修正边界整景影像；多张目标地物初始修正边界整景影像对应的目标地物的种类不同；

将多张目标地物初始修正边界整景影像进行重叠融合处理，得到全目标地物修正边界整景影像。

具体的，第二概率阈值大于第一概率阈值。

传统的遥感解译是根据任务需求，结合影像的几何特征和物理性质，运用相关知识和经验综合分析，揭示物体或现象的质量和数量特征，最终获取各类地物信息的过程。遥感解译生产则是按照特定的设计规范基于遥感影像进行不同类型数据提取并形成符合要求的数据成果的过程。在现有测绘生产技术中遥感解译生产过于依赖于人工目视解译，存在主观性较强、处理时效低、解译精度不足及数据价值挖掘不充分等问题，如图2，本发明通过三层生产工艺的设计，实现了测绘数据生产过程中机器智能与人类智能的深度融合。

首先，计算机自动读取作业区域的遥感影像数据，基于已经训练好的具备高召回率特性的深度学习语义分割模型，利用机器智能对遥感影像图载信息进行批量式预测，输出测绘数据对象的整景矢量解译结果；然后，再基于已经训练好的具备高精率特性的深度学习语义分割模型，利用嵌入作业软件中的智能插件式微服务对批量式预测结果进行局部修正和更新，输出经过人机融合修正的局部矢量解译结果；最后，针对以上两个层次提取效果不好或者提取结果存在遗漏的区域，介入人类智能进行综合式检查和完善，利用知识经验和目视解译，采集编辑得到符合生产要求的解译结果，并将该区域影像和矢量作为补充样本智能推送至后台，更新样本资源池，经过滚动训练后，缩小机器智能的知识盲区。本发明提出渐进式遥感影像地物要素智能生产方法，有效的融合了机器智能和人类智能，并对机器智能进行最大化利用，突破硬件设备等生产环境的约束，研发自然资源深度学习遥感智能解译平台（以下简称遥感解译平台）和自然资源深度学习动态解译插件（即目标地物边界修正模型组，以下简称动态解译插件），实现了实时高效提取遥感地物的同时，也不断优化巩固机器智能水平，从而形成良性的深度学习大循环，以期推动人机融合智能在测绘数据生产领域的发展与应用，可以有效地优化现有生产工艺，将传统“人机交互+目视判读”作业模式发展为“人机融合+智能解译”的全新作业模式。

方案如下：

步骤1：构建机器智能知识规则库

以人类智能为基础，以生产任务具体要求为驱动，采用人机交互的方式构建样本资源池，为深度学习训练生成样本数据库，并完成深度学习模型训练，具体步骤如下：

1.1人机交互构建样本资源池

①生产策略制定：根据具体测绘生产任务，确定数据生产质量指标，例如：数据精度、上图标准等，制定生产策略，确定机器智能适用的测区范围与目标地物，定义机器智能学习对象（目标地物）和学习内容（目标地物的纹理特征、几何特征与空间分布特征）。

②生产样本制作：定义2km*2km为分幅标准，选择目标地物纹理特征丰富（即目标地物纹理特征数量多或种类多）、空间位置分布不连续（指不同地域或不同辖区）的影像作为基础样本影像，基于步骤①的机器智能生产策略，使用人类智能手工标记样本影像中目标地物几何轮廓，并对R种类型的目标地物属性字段进行标识，使用Value字段来标识地物类型时，Value字段的值为K，其中K={0，1，2······R}，经过人工几何标注和字段标识后形成与样本影像配套的基础矢量标注数据。

③生产样本预处理：对基础样本影像进行匀光匀色、像素点位深调整、波段重组和色彩空间变换处理，对基础矢量标注数据进行栅格化形成二值化影像，定义样本尺寸M*N（单位为像素点），根据计算机实际硬件条件，一般显卡算力低于6.0的设备，采用256*256像素点作为样本尺寸，将步骤②中的基础样本影像和基础矢量标注数据分割为若干各具有固定长宽值的样本数据集。

④生产样本增强：对步骤③得到的样本数据集进行色彩扰动（LAB颜色空间、HSV色彩空间）、几何变形（缩放、旋转）、空间变换（镜像、移位）、图像滤镜（噪声、模糊）等多个维度的数据增强，模拟出更加丰富的样本数据资源，形成样本数据库。

1.2 构建深度学习神经网络模型

①样本资源分配：读取1.1步骤中的样本数据库，以7:2:1的比例分别分配为训练样本集、验证样本集和测试样本集。训练样本集直接用于模型训练，验证样本集用于动态调整模型的超参数，测试样本集用于检验模型的性能。

②训练参数设置：选择网络模型类型和编码器类型，设置迭代纪元、批量值和初始学习率作为训练超参数。

③网络模型训练：定义一个迭代纪元表示所有训练样本集送入神经网络中完成一次前向计算及反向传播的过程。根据②中设置的迭代纪元，采用多GPU数据并行的方式进行模型训练，其中CPU主要负责梯度平均和模型参数更新，GPU主要负责训练基于训练数据集的子集训练得到的模型副本，如图3。

训练过程中，监控训练中每个训练纪元的模型性能参数，当验证样本集的损失函数在连续的10个训练纪元中没有进一步下降时，自动终止模型训练进程，对训练完成的若干个迭代纪元模型进行评价，选取召回率指标最高5个模型作为高召回率预训练模型集合（目标地物识别模型组），选取精准率指标最高的5个模型作为高精准率预训练模型集合（目标地物边界修正模型组）。

步骤2：机器智能批量式整景预测

该步骤的目的是以计算机机器智能为基础，将整景的遥感影像数据作为输入，使用步骤1中的高召回率预训练模型集合进行预测，并将预测结果转化为矢量化的地理信息数据格式，具体步骤如下：

2.1 预测参数设置

批量选取待预测的遥感影像文件，并根据输入影像源的传感器类型设置正确的RGB波段顺序，例如：Landsat8卫星的OLI（Operational Land Imager陆地成像仪）获取的影像包括9个波段，其RGB（代表红、绿、蓝三个通道的颜色）的正确顺序为4-3-2。

2.2 遥感影像预处理

计算机将输入的目标影像进行匀光匀色，调整色调、对比度、颜色，保持影像真实的色彩和亮度，将输入影像的像素点位深统一转换至8位，按照步骤2.1中的设置波段顺序重组形成自然真彩色影像，将影像中的背景值和噪声值统一重置为NoData，其中NoData值表示遥感影像中像元数据缺失。

2.3整景影像预测

计算机按照步骤1.1中③的样本尺寸M*N作为格网间距，将步骤2.2中的影像进行格网划分，并按照从左至右、从上至下的顺序对格网进行裁剪，将裁剪后的影像分别输入至步骤1.2中③的高召回率预训练模型集合中进行预测，可以获得5个预测结果，其中每个预测结果均包含R个预测概率图，定义(i,j)为预测概率图第i行第j列个像素点点，则预测概率图中R(i,j)像素值表示该像素点被预测为第R种地物类别的概率大小，值越大表示像素点点为第R种地物类别的可能性越高。

2.4 预测结果融合

分别将步骤2.3中5个预测结果的预测概率图进行求和与平均运算，输出融合后的第R种类型最终预测概率图R_K，定义0.5作为概率阈值，小于概率阈值的像元R_K(i,j)将其值修改为背景值0，小于概率阈值的像元R_K(i,j)将其值修改为前景值1，输出目标地物与影像背景的二值化栅格影像，其中R_k(i,j)计算方法如下：

其中，

表示像素点(i,j)经第1-5个高召回率预训练模型输出的第R种类型的概率。

2.5 预测几何后处理

将步骤2.4二值化栅格影像中聚集成片的前景值像素点图斑转化为地理信息面状矢量数据，赋予地理空间参考，按照采集要求进行面积过滤、孔洞填充、节点抽稀和边缘光滑等后处理工序，最后检查空间拓扑关系，输出目标地物的矢量数据，形成目标地物的本底数据。

步骤3：机器智能插件式微服务动态预测

该步骤的目的是以计算机机器智能为基础，对整景预测效果不佳的局部区域，使用步骤1中的高精准率预训练模型进行预测，采用微服务后台计算，客户端插件式交互的方式进行动态预测，并将预测结果转化为矢量化的地理信息数据更新整景预测结果，其步骤如下：

3.1 局部区域预测

在使用目标地物本地数据进行作业生产过程中，针对目标地物本底数据局部区域预测结果不正确或边界走向不合理的情况，可以使用客户端插件以绘制矩形范围或直接使用当前软件视图可视范围的方式标定问题区域，插件将根据问题范围动态裁切问题区域影像，将影像以数据流的方式传输至微服务终端，微服务按照步骤1.1中③的样本尺寸M*N作为格网间距，将步骤2.2中的影像进行格网划分，并按照从左至右、从上至下的顺序对格网进行裁剪，将裁剪后的影像分别输入至步骤1.2中③的高精准率预训练模型集合中进行预测，可以获得5个预测结果，其中每个预测结果均包含R个预测概率图，定义预测概率图长宽分别为i和j像素点，则预测概率图中R¹(i,j)像素值表示该像素点被预测为第R种地物类别的概率大小，值越大表示可能性越高。

3.2 预测结果融合

分别将步骤3.1中5个预测结果的预测概率图进行求和与平均运算，输出融合后的第R种类型最终预测概率图

定义0.9作为概率阈值，小于概率阈值的像元

将其值修改为背景值0，小于概率阈值的像元

将其值修改为前景值1，输出目标地物与影像背景的二值化栅格影像，其中

计算方法如下。

其中，

表示像素点(i,j)经第1-5个高精准率预训练模型输出的第R种类型的概率。

3.3 预测几何后处理

将步骤3.2二值化栅格影像中聚集成片的前景值像素点图斑转化为地理信息面状矢量数据，更新替换整景预测结果中的问题区域，形成目标地物的更新数据。

步骤4：人类智能综合式检查完善

该步骤的目的是在机器智能预测的基础上，介入人工的经验和判断，对数据进行精细修正和完善，最终达到测绘数据的生产要求，其步骤如下:

4.1 局部完善

针对目标地物的更新数据提取结果仍然存在遗漏的区域，作业人员基于知识经验和目视判断，修正几何边界精度、核对采集面积标准、检查拓扑关系，经过精细编辑后得到符合生产要求的数据成果。

4.2 反馈更新

将机器智能局部预测结果不准确或有遗漏的问题区域，裁剪问题区域影像，按照步骤1.1-②进行问题区域生产样本制作，制作好的问题区域样本将作为样本增量更新至样本资源池，缩小机器智能的知识盲区。

此外，如图9，本发明还提供了一种渐进式遥感影像地物要素智能生产系统，包括：

待识别整景遥感影像获取模块901，用于获取待识别整景遥感影像；

第一预处理模块902，用于对待识别整景遥感影像进行预处理，得到多张局部遥感影像；

边界识别概率序列确定模块903，用于将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

全目标地物初始边界整景影像确定模块904，用于根据多个边界识别概率序列，确定待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

边界修正模块905，用于利用目标地物边界修正模型组修正全目标地物初始边界整景影像中每种目标地物的边界；目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

具体的，第一预处理模块，具体包括：

匀光匀色处理单元，用于对待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

位深统一单元，用于调整匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪单元，用于裁剪位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张局部遥感影像的尺寸相同。

此外，本发明提供的渐进式遥感影像地物要素智能生产系统，还包括：

历史整景遥感影像获取模块，用于获取历史整景遥感影像；

标注模块，用于对历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

第二预处理模块，用于对标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

图像增强模块，用于对多张历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

神经网络训练模块，用于利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

目标地物识别模型组确定模块，用于确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

目标地物边界修正模型组确定模块，用于确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

如图4，人机融合智能的测绘数据生产系统的设计参考上述的人机融合智能的测绘数据生产系统包括样本制作模块、模型训练模块、影像预测模块和实时解译插件。

（1）样本制作模块。输入影像和配套的矢量数据，进行影像预处理、生产样本制作、样本增强和样本数据库输出。

（2）模型训练模块。输入样本数据库，设置网络模型类型和训练超参数，输出高召回率的地物分割模型与高精准率的地物分割模型。

（3）影像预测模块。在生产作业开始之前，输入整景影像，进行影像标准化处理，应用高召回率预训练模型对影像识别出目标地物，输出目标地物的矢量结果。

（4）动态解译插件。在生产作业过程中，基于影像预测模块输出的矢量结果，对预测结果不准确的问题区域，插件客户端动态裁切问题区域影像发送至微服务终端，微服务使用高精准率的预训练模型对问题区域影像再次进行目标地物的预测，动态更新和修正整景影像预测结果。同时针对预测结果错误集中的问题区域，可以标识问题范围，反馈至微服务后台丰富样本资源池。

下面具体描述该系统在全球测图工程项目中水体数据生产的应用方法。

（1）人机融合智能测绘生产系统部署

将遥感解译平台和实时动态预测微服务部署在生产中心GPU云主机或者高性能图形工作站。将动态解译插件部署在生产中心的作业软件终端。配置作业终端与遥感解译平台计算中心网络节点关系，服务于计算资源的统一调配。遥感解译平台部署环境参数如表1所示。

表1 遥感解译平台部署环境参数

参数	型号
		GPU	NVIDIA GeForce RTX 2080
显存	8G
		CPU	Intel Xeon E312xx(Sandy Bridge)
处理器核数	10
		运行内存	50G

（2）样本制作模块建设样本资源池。

作业人员选择30幅2km*2km覆盖不同尺度、不同区域、不同形态水体的样本区域，影像对应的标签由手工标定。将影像和标签输入至样本制作模块，设置标准影像格式要求——可见光三波段和像素点8位深，系统自动对影像进行预处理形成标准化统一的影像。设置样本大小规格256*256，系统自动对影像和标签进行裁剪，输出1320张样本。设置数据增强数量25000，系统自动对样本数据进行色彩、几何、空间、滤镜等多个维度的数据增强，最终以预设7：2：1比例自动分配样本数据份额，输出17500张训练样本、5000张验证样本和2500张测试样本。局部遥感影像即其标注样本示意如图5-6。

（3）模型训练模块构建深度学习神经网络模型。

将（1）中样本输入至模型训练模块，设置如表2所示的训练参数，自动进行训练。

表2 模型训练参数

参数	值
		样本数量	25000
样本大小	256*256
		通道	RGB三通道
网络模型	Res-UNet
		批尺寸	16
预设训练时期	200

当验证损失在连续10个周期内增长的时候停止模型的继续训练，根据训练结果的指标（召回率、精准率等）进行评价，选择适用于实际生产的最优模型。

（4）影像预测模块批量式整景预测

使用遥感解译平台的影像预测模块将目标测区内若干景影像批量添加到处理列表，设置好过滤面、孔洞填充等可选参数后，系统可以使用步骤（3）中训练好的模型将所有影像中栅格化的水体像元提取为矢量化的地理信息数据，该数据将作为数据生产的本底，批量式整景预测效果如图7（说明：影响源自2019年8月4日资源三号，矢量源自自动解译成果）。

（5）动态解译插件局部修正预测结果

如果步骤（4）中提取的水体图斑边界存在局部不套合，则作业人员可以通过作业软件终端上安装的动态解译插件发起局部范围动态提取的请求，动态解译微服务响应请求后经过运算将动态提取的结果返回动态解译插件，该结果会自动覆盖步骤（4）中相同区域的提取结果，在此基础上，进行边界采集编辑得到符合生产要求的解译结果，加入插件后动态预测结果如图8所示。

（6）样本反馈模块更新样本资源池

如果地物类别不一致，如某些区域的水体与水田容易混淆，经过人工判读，可将该区域作为负类样本智能推送至后台，更新样本资源池。如果提取结果存在遗漏的情况，人工新增采集得到符合生产要求的解译结果，将该区域作为正类样本智能推送至后台，更新样本资源池。

本发明采用计算机视觉进行影像目标地物的识别和提取，相对于现有传统的人工作业工艺，实现以人机融合智能的模式对目标地物的定位以及识别，准确率在90%以上，工作效率提高20%。

（1）实现统一的遥感解译标准体系的建立，提高测绘产品的精度。目视判读由于主观因素的介入在地物判读和地物边界确定过程中会存在边界模糊，源于第2部分步骤2与步骤3机器智能的加入，可以厘清影像分辨率与可分类地物之间的关系，把握机器智能的能力边界，识别精度高。

（2）实现算力资源的统一调度，均衡负载大幅提高生产效率。采用多GPU分布式数据并行模型训练模式通过统一分配显卡资源，加速训练进程；机器智能整景式与插件式预测请求动态调配空闲的计算节点，加速预测进程，最大化地保证遥感解译实时请求的响应速度。

（3）实现生产工艺的有效优化，提升测绘数据生产的科学性和时效性。人机融合智能的应用将传统作业模式“人机交互+目视判读”发展成“人机融合+智能解译”的作业模式，有机地融合认知标准统一具备形式化思维的人类智能和抽象决策具备意向性思维的机器智能。在新工艺技术体系的支撑下，极大缩短了测绘数据的生产周期。

（4）实现机器智能周期性更新迭代，保持人机融合智能持续不断地生命力。在人类智能综合式动态预测后通过目标区域影像与矢量补充反馈更新样本资源池，滚动训练不断更新性能更优的模型，缩小机器智能的知识盲区。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种渐进式遥感影像地物要素智能生产方法，其特征在于，所述方法包括：

获取待识别整景遥感影像；

对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像；

将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个所述边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；所述目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界；所述目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

2.根据权利要求1所述的渐进式遥感影像地物要素智能生产方法，其特征在于，所述对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像，具体包括：

对所述待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

调整所述匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪所述位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张所述局部遥感影像的尺寸相同。

3.根据权利要求2所述的渐进式遥感影像地物要素智能生产方法，其特征在于，在所述获取待识别整景遥感影像之前，还包括：

获取历史整景遥感影像；

对所述历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

对所述标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

对多张所述历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；所述增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

4.根据权利要求2所述的渐进式遥感影像地物要素智能生产方法，其特征在于，所述根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像，具体包括：

确定任一种目标地物为当前目标地物；

确定任一像素点为当前像素点；

确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在所述当前像素点的边界识别概率；

更新当前像素点并返回步骤“确定当前目标地物在当前像素点的边界识别概率序列中所有元素的平均值，为当前目标地物在所述当前像素点的边界识别概率”直至历遍所有像素点，得到当前目标地物在每个像素点的边界识别概率；

将当前目标地物在每个像素点的边界识别概率作为像素值，分别得到多张局部遥感影像对应的边界局部概率影像；

拼接多张所述当前目标地物边界局部概率影像，得到当前目标地物边界整景概率影像；

设置第一概率阈值，并根据所述第一概率阈值对所述当前目标地物边界整景概率影像进行二值化处理，得到当前目标地物初始边界整景影像；

更新所述当前目标地物，并返回步骤“确定任一像素点为当前像素点”直至历遍所有目标地物的种类，得到多张目标地物初始边界整景影像；多张目标地物初始边界整景影像对应的目标地物的种类不同；

将多张目标地物初始边界整景影像进行重叠融合处理，得到全目标地物初始边界整景影像。

5.根据权利要求4所述的渐进式遥感影像地物要素智能生产方法，其特征在于，所述利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界，具体包括：

确定全目标地物初始边界整景影像中的待修正区域；

将多张局部遥感影像分别输入到目标地物边界修正模型组中，得到多张局部遥感影像中每个像素点的多个边界修正概率序列；不同边界修正概率序列对应的目标地物的种类不同；一个所述边界修正概率序列包括将同一局部遥感影像分别输入到目标地物修正模型组内不同目标地物修正模型后得到的同一像素点的边界修正概率；

根据多个所述边界修正概率序列，确定所述待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像；

将全目标地物初始边界整景影像中的待修正区域处的边界数据替换为全目标地物修正边界整景影像处的边界数据。

6.根据权利要求5所述的渐进式遥感影像地物要素智能生产方法，其特征在于，所述根据多个所述边界修正概率序列，确定所述待识别整景遥感影像中每种目标地物的修正边界，得到全目标地物修正边界整景影像，具体包括：

确定任一种目标地物为当前目标地物；

获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列；

确定当前目标地物的边界修正概率序列中所有元素的平均值，为对应局部遥感影像中单个像素点的当前目标地物边界修正概率；

将局部遥感影像中每个像素点的当前目标地物边界修正概率作为像素值，得到多张当前目标地物修正边界局部概率影像；

拼接多张所述当前目标地物修正边界局部概率影像，得到当前目标地物修正边界整景概率影像；

设置第二概率阈值，并根据所述第二概率阈值对所述当前目标地物修正边界整景概率影像进行二值化处理，得到当前目标地物初始修正边界整景影像；

更新所述当前目标地物，并返回步骤“获取多张局部遥感影像中每个像素点对应的当前目标地物的边界修正概率序列”直至历遍所有目标地物的种类，得到多张目标地物初始修正边界整景影像；多张目标地物初始修正边界整景影像对应的目标地物的种类不同；

将多张目标地物初始修正边界整景影像进行重叠融合处理，得到全目标地物修正边界整景影像。

7.根据权利要求6所述的渐进式遥感影像地物要素智能生产方法，其特征在于，所述第二概率阈值大于所述第一概率阈值。

8.一种渐进式遥感影像地物要素智能生产系统，其特征在于，所述系统包括：

待识别整景遥感影像获取模块，用于获取待识别整景遥感影像；

第一预处理模块，用于对所述待识别整景遥感影像进行预处理，得到多张局部遥感影像；

边界识别概率序列确定模块，用于将多张局部遥感影像分别输入到目标地物识别模型组中，得到多张局部遥感影像中每个像素点的多个边界识别概率序列；不同边界识别概率序列对应的目标地物的种类不同；一个所述边界识别概率序列包括将同一局部遥感影像分别输入到目标地物识别模型组内不同目标地物识别模型后得到的同一像素点的边界识别概率；所述目标地物识别模型组内的多个目标地物识别模型均是利用历史整景遥感影像对神经网络进行训练得到的；

全目标地物初始边界整景影像确定模块，用于根据多个所述边界识别概率序列，确定所述待识别整景遥感影像中每种目标地物的边界，得到全目标地物初始边界整景影像；

边界修正模块，用于利用目标地物边界修正模型组修正所述全目标地物初始边界整景影像中每种目标地物的边界；所述目标地物边界修正模型组内的多个目标地物边界修正模型均是利用历史整景遥感影像对神经网络进行训练得到的。

9.根据权利要求8所述的渐进式遥感影像地物要素智能生产系统，其特征在于，所述第一预处理模块，具体包括：

匀光匀色处理单元，用于对所述待识别整景遥感影像进行匀光匀色处理，得到匀光匀色处理后的待识别整景遥感影像；

位深统一单元，用于调整所述匀光匀色处理后的待识别整景遥感影像中每个像素点的位深均在预设位深范围内，得到位深调整后的待识别整景遥感影像；

裁剪单元，用于裁剪所述位深调整后的待识别整景遥感影像，得到多张局部遥感影像；多张所述局部遥感影像的尺寸相同。

10.根据权利要求9所述的渐进式遥感影像地物要素智能生产系统，其特征在于，所述系统，还包括：

历史整景遥感影像获取模块，用于获取历史整景遥感影像；

标注模块，用于对所述历史整景遥感影像中的多种目标地物分别进行标注，得到标注历史整景遥感影像；

第二预处理模块，用于对所述标注历史整景遥感影像进行预处理，得到多张历史局部遥感影像；

图像增强模块，用于对多张所述历史局部遥感影像进行增强处理，得到扩展后的局部遥感影像集；所述增强处理包括色彩扰动、几何变形、空间变换和图像滤镜中的一种或多种；

神经网络训练模块，用于利用扩展后的局部遥感影像集对神经网络进行迭代训练，得到多个迭代次数对应的目标地物边界模型；

目标地物识别模型组确定模块，用于确定召回率最高的前第一预设数量个目标地物边界模型为目标地物识别模型组；

目标地物边界修正模型组确定模块，用于确定精准率最高的前第二预设数量个目标地物边界模型为目标地物边界修正模型组。

Images