CN116434009B - 一种损毁建筑物深度学习样本集的构建方法及系统 - Google Patents

Abstract

本发明公开了一种损毁建筑物深度学习样本集的构建方法及系统，包括：创建若干项目并分别命名，其中，所述项目包括用于显示二维影像的第一项目、用于显示三维模型的第二项目及用于显示标签属性的第三项目；分别基于第一项目和第二项目加载同一地区相同投影坐标系的灾后二维影像与灾后三维模型，对灾后二维影像与灾后三维模型进行检测，获取检测结果；若检测结果与预设规则一致，则通过所有项目打开并加载二维样本矢量，并进行标绘与编辑，获取标签矢量；根据标签矢量与灾后二维影像生成损毁建筑物深度学习样本集。本发明有助于高效进行二维标绘、属性编辑与三维数据多角度观察。

Description

一种损毁建筑物深度学习样本集的构建方法及系统

技术领域

本发明涉及遥感数据处理技术领域，尤其涉及一种损毁建筑物深度学习样本集的构建方法及系统。

背景技术

目前，官方发布的损毁建筑物遥感影像数据集数量较少，想要训练高精度的损毁建筑物深度学习检测模型，离不开大量自主构建的样本集。在灾后二维影像上进行损毁建筑物标绘时，仅仅将屋顶损毁信息作为依据是不准确的，如侧立面墙体的倒塌和外围掉落情况，在二维影像上是可以有所体现的，但如果仅靠二维影像有时又难以辨别，借助灾后三维模型辅助判断则更为清晰准确。然而，大部分主流软件所实现的二三维一体化需要频繁切换展示二维与三维数据，这会给样本集标绘工作增添许多不必要的麻烦。对于自主构建二维损毁建筑物深度学习样本集，亟需一种二三维数据可同时显示、且二维视口变换可单向驱动三维视口发生对应变换而三维视口变换不会影响二维视口的标绘工具，便于同时进行多角度三维观察分析与二维矢量标绘和标签属性编辑，大幅提升损毁建筑物深度学习样本集的构建效率。

发明内容

为解决上述技术问题，本发明提出了一种损毁建筑物深度学习样本集的构架方法及系统，可实现二维地图中的视口变换操作单向驱动三维地图视口发生相对应的变换，有利于自主构建一套综合考虑侧立面损毁信息的二维损毁建筑物数据集，为损毁建筑物深度学习检测模型提供丰富的训练样本。

为实现上述目的，本发明提供了一种损毁建筑物深度学习样本集的构建方法，包括：

创建若干项目并分别命名，其中，所述项目包括用于显示二维影像的第一项目、用于显示三维模型的第二项目及用于显示标签属性的第三项目；

分别基于所述第一项目和所述第二项目加载同一地区相同投影坐标系的灾后二维影像与灾后三维模型，对所述灾后二维影像与所述灾后三维模型进行检测，获取检测结果；

若所述检测结果与预设规则一致，则通过所有项目打开并加载二维样本矢量，并进行标绘与编辑，获取标签矢量；

根据所述标签矢量与所述灾后二维影像生成损毁建筑物深度学习样本集。

优选地，对所述灾后二维影像与所述灾后三维模型进行检测，包括：

分别检测所述灾后二维影像与所述灾后三维模型所用投影坐标系是否一致，以及检测所述灾后二维影像与所述灾后三维模型数据覆盖的地理范围是否有重叠。

优选地，所述预设规则包括：

若所述灾后二维影像与所述灾后三维模型所用投影坐标系一致，且所述灾后二维影像与所述灾后三维模型数据覆盖的地理范围无重叠，则继续进行后续步骤，若不一致，则终止；

当所述检测结果与预设规则一致时，在所述第一项目和所述第二项目窗口中分别加载并渲染灾后二维影像与灾后三维模型。

优选地，通过所述所有项目打开并加载二维样本矢量，包括：

调用深度学习模型，读取所述灾后二维影像进行损毁建筑物轮廓检测与损毁识别，输出带有损毁类别的建筑物轮廓矢量，并将所述带有损毁类别的建筑物轮廓矢量作为待修改的标签矢量；

若不调用所述深度学习模型，则新建与所述灾后二维影像具有相同地理和投影坐标系的空白面矢量，并为所述空白面矢量添加损毁类别字段，作为待标绘的标签矢量；

通过所述第一项目与所述第二项目的窗口中叠加渲染标签矢量，并通过所述第三项目窗口中打开标签属性列表。

优选地，获取所述标签矢量，包括：

在所述第一项目窗口中定位待标注区域，选定、标绘或删改矢量要素；

结合所述第二项目，通过所述第三项目进行矢量要素属性编辑；

保存并导出标签矢量文件。

优选地，根据所述标签矢量与所述灾后二维影像生成损毁建筑物深度学习样本集，包括：

将所述标签矢量转成与所述灾后二维影像相同图幅的标签影像；

将所述灾后二维影像与所述标签影像按照固定的大小和重叠度依次进行截取，获取样本集一；

对所述样本集一进行随机旋转，形成样本集二；

对所述样本集二进行随机翻折，获取样本集三；

对所述样本集一随机添加高斯噪声，形成样本集四；

将所述样本集一随机进行对比度增强，获取样本集五；

所述样本集一、所述样本集二、所述样本集三、所述样本集四和所述样本集五构成所述损毁建筑物深度学习样本集。

为了实现上述目的，本发明还提供了一种基于损毁建筑物深度学习样本集的构建方法的系统，包括：

二三维地图加载模块：用于在不同窗口中同时加载并渲染统一坐标系的二维影像和三维模型，叠加标签矢量图层以及设置渲染模式；

二三维视口单向联动模块：用于通过第一项目中的视口变换操作驱动第二项目视口发生相对应的变换；

标签矢量标绘模块：用于通过所述第一项目进行面要素标绘，同时基于所述第二项目进行同步展示；

标签属性编辑模块：用于通过第三项目在矢量属性表中对单个面要素的属性字段进行修改和保存；

样本集生成模块：用于根据二维影像和标签矢量，生成损毁建筑物深度学习样本集。

与现有技术相比，本发明具有如下优点和技术效果：

(1)本发明采用多窗口模式，同时展现二维影像、三维模型和样本属性，并设计了二三维视口单向联动模块，使得二维地图中的视口变换操作可同时驱动三维地图视口发生对应变换，但三维地图中的视口变换操作不会造成二维地图视口变换，有助于高效进行二维标绘、属性编辑与三维数据多角度观察；

(2)本发明提供一种二维影像与三维模型相结合的标绘工具，便于观察三维模型上的建筑物侧立面的外围脱落情况，为自主构建二维正射影像上的损毁建筑物样本集提供高效便捷的工具。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中一种损毁建筑物深度学习样本集的构建方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种损毁建筑物深度学习样本集构建方法，如图1所示，包括的主要步骤如下：

步骤一：创建项目

基于Qt创建三个窗口，分别命名为“二维地图”、“三维地图”和“标签属性”，并将“二维地图”设置为主窗口。基于OSG(OpenSceneGraph)为“二维地图”和“三维地图”窗口设置相同的坐标系WGS84。

步骤二：分别在“二维地图”和“三维地图”窗口中加载同一地区相同地理坐标系的灾后二维影像与灾后三维模型

基于GDAL读取tif格式灾后二维影像的地理坐标系与数据范围，基于osgEarth读取osgb格式灾后三维模型数据的坐标系与地理空间范围，若二者坐标系相同，且空间范围存在重叠，则在“二维地图”窗口中利用osgViewer，基于osgEarth与GDAL加载tif格式的灾后二维影像，并为地图设置平面投影，在“三维地图”窗口中利用osgViewer，基于osgEarth加载osgb格式的灾后三维模型。

步骤三：分别“二维地图”和“三维地图”窗口中叠加标签矢量，并在“标签属性”窗口中打开标签矢量属性表

调用深度学习模型，读取灾后二维影像进行建筑物轮廓检测与损毁识别，最终输出带有损毁类别的建筑物轮廓矢量，并将该结果作为待修改的标签矢量。若不调用深度学习模型，则创建带有WGS84坐标系的面矢量文件，并添加“损毁类别”字段，作为待人工标绘的空白标签矢量。

将标签矢量读取到矢量源图层FeatureSourceLayer中，使用FeatureModelLayer进行矢量符号化设置，分别在“二维地图”和“三维地图”窗口中进行加载显示。使用arcpy.da.SearchCursor函数读取标签矢量属性表，并在“标签属性”窗口中使用QTableWidget将标签矢量属性表格展示出来。

步骤四：结合“三维地图”，在“二维地图”窗口与“标签属性”窗口中进行标绘与编辑

定位待标注区域。在“二维地图”窗口中通过平移、放缩等鼠标操作调整视口位置和大小。在“标签属性”窗口中，双击点选要素属性行，获得要素索引，查询该要素各节点坐标，计算该面要素中心点坐标并发送给“二维地图”窗口并赋值给“二维地图”视点，从而实现跳转显示该要素所在区域。当“二维地图”视口发生变化时，将变换后的视点坐标赋给“三维地图”视点。

观察分析三维地图。在“三维地图”窗口中通过平移、放缩、旋转等鼠标操作可调整视口大小及位置，调整后的视点坐标不会被赋给“二维地图”窗口，这有利于多角度观察建筑物损毁情况，尤其是建筑物侧立面的损毁和外围掉落情况，同时也不会造成二维地图中待标注区域的位置移动。

新增面要素。在“标签属性”窗口中使用arcpy.da.InsertCursor添加新的面要素行，在“二维地图”窗口中，通过鼠标左键单击绘制矢量要素顶点，记录鼠标点击位置的坐标信息，双击完成要素绘制并将节点坐标信息发送给“标签属性”窗口，保存至标签矢量中，再将该要素索引信息发送给“二维地图”与“三维地图”窗口并为其设置高亮渲染。

选定面要素。在“二维地图”窗口中，使用osgEarth::IntersectionPicker，实现鼠标左键单击拾取面要素，鼠标右键单击取消拾取。将拾取到的面要素索引信息返回并发送给“三维地图”窗口，为其设置高亮渲染，同时发送给“标签属性”窗口，查询并定位到该要素属性所在行。

删改面要素。在“二维地图”窗口中，通过鼠标操作实现单个面要素及其顶点的平移、删改，将修改后的面要素节点坐标和删除指令返回并发送给“标签属性”窗口，使用arcpy.da.UpdateCursor更新到标签矢量中。

标签属性编辑。在“标签属性”窗口中，使用arcpy.da.UpdateCursor对单个面要素数量进行损毁类别编辑。

保存并导出标签矢量.shp文件。

步骤五：根据标签矢量与灾后二维影像生成样本集

标签矢量转标签影像。基于arcpy将shp格式的标签矢量文件转为tif格式标签影像，将损毁标签区域栅格值设置为1，背景区域栅格值设置为0，输出坐标系和影像范围与灾后二维影像一致的标签影像。

影像截取。将灾后二维影像与标签影像按照从左到右、从上到下的方向，按1024个像素×1024个像素的大小进行截取，为保证样本对象的完整性，在截取时进行128像素的重叠，截取后的灾后二维影像与标签影像形成样本集一。

对样本集一进行随机旋转，形成样本集二。

对样本集一进行随机翻折，形成样本集三。

对样本集一随机添加高斯噪声，形成样本集四。

对样本集一随机进行对比度增强，形成样本集五。

将上述样本集一至样本集五按规则命名并保存至选定位置，形成最终的损毁建筑物深度学习样本集。

本发明还提供一种应用于损毁建筑物深度学习样本集的构建方法的系统，主要包括：二三维地图加载模块、二三维视口单向联动模块、标签矢量标绘模块、标签属性编辑模块、样本集生成模块。

二三维地图加载模块：分别在“二维地图”和“三维地图”窗口中结合osgViewer与osgEarth加载tif格式的灾后二维影像和osgb格式的灾后三维模型，使用FeatureSourceLayer读取标签矢量并利用FeatureModelLayer进行矢量符号化设置。

二三维视口单向联动模块：当“二维地图”视口发生变化时，将变换后的视点赋值给“三维地图”视点，使得“三维地图”跳转至与“二维地图”显示相同位置。当“三维地图”视口发生变化时，调整后的视点不会被赋给“二维地图”。从而形成二维地图向三维地图的单向视口变换驱动，这有利于多角度观察建筑物损毁情况，尤其是建筑物侧立面的损毁和外围掉落情况，同时也不会造成二维地图中待标注区域的位置移动，提高标签矢量标绘与标签属性编辑的效率。

标签矢量标绘模块：在“标签属性”窗口中使用arcpy.da.InsertCursor添加新的面要素行，在“二维地图”窗口中，通过鼠标左键单击绘制矢量要素顶点，记录鼠标点击位置的坐标信息，双击完成要素绘制并将节点坐标信息发送给“标签属性”窗口，保存至标签矢量中，再将该要素索引信息发送给“二维地图”与“三维地图”窗口并为其设置高亮渲染。在“二维地图”窗口中，通过鼠标操作实现单个面要素及其顶点的平移、删改，将修改后的面要素节点坐标和删除指令返回并发送给“标签属性”窗口，使用arcpy.da.UpdateCursor更新到标签矢量中。

标签属性编辑模块：使用arcpy.da.SearchCursor函数读取标签矢量属性表，并在“标签属性”窗口中使用QTableWidget显示标签矢量属性表格。使用arcpy.da.UpdateCursor对单个面要素数量进行损毁类别编辑。保存并导出标签矢量.shp文件。

样本集生成模块：基于arcpy将标签矢量转标签影像，利用gdal对灾后二维影像与标签影像按照一定重叠度和固定尺寸进行截取，同时对截取后的影像集进行随机旋转、随机翻折、随机添加高斯噪声的操作，最终按规则命名并保存至选定位置，形成最终的损毁建筑物深度学习样本集。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种损毁建筑物深度学习样本集的构建方法，其特征在于，包括：

创建若干项目并分别命名，其中，所述项目包括用于显示二维影像的第一项目、用于显示三维模型的第二项目及用于显示标签属性的第三项目；

分别基于所述第一项目和所述第二项目加载同一地区相同投影坐标系的灾后二维影像与灾后三维模型，对所述灾后二维影像与所述灾后三维模型进行检测，获取检测结果；

若所述检测结果与预设规则一致，则通过所有项目打开并加载二维样本矢量，并进行标绘与编辑，获取标签矢量；

对所述灾后二维影像与所述灾后三维模型进行检测，包括：

分别检测所述灾后二维影像与所述灾后三维模型所用投影坐标系是否一致，以及检测所述灾后二维影像与所述灾后三维模型数据覆盖的地理范围是否有重叠；

所述预设规则包括：

若所述灾后二维影像与所述灾后三维模型所用投影坐标系一致，且所述灾后二维影像与所述灾后三维模型数据覆盖的地理范围有重叠，则继续进行后续步骤，若不一致，则终止；

当所述检测结果与预设规则一致时，在所述第一项目和所述第二项目窗口中分别加载并渲染灾后二维影像与灾后三维模型；

通过所述所有项目打开并加载二维样本矢量，包括：

调用深度学习模型，读取所述灾后二维影像进行损毁建筑物轮廓检测与损毁识别，输出带有损毁类别的建筑物轮廓矢量，并将所述带有损毁类别的建筑物轮廓矢量作为待修改的标签矢量；

若不调用所述深度学习模型，则新建与所述灾后二维影像具有相同地理和投影坐标系的空白面矢量，并为所述空白面矢量添加损毁类别字段，作为待标绘的标签矢量；

通过所述第一项目与所述第二项目的窗口中叠加渲染标签矢量，并通过所述第三项目窗口中打开标签属性列表；

根据所述标签矢量与所述灾后二维影像生成损毁建筑物深度学习样本集。

2.根据权利要求1所述的损毁建筑物深度学习样本集的构建方法，其特征在于，获取所述标签矢量，包括：

在所述第一项目窗口中定位待标注区域，选定、标绘或删改矢量要素；

结合所述第二项目，通过所述第三项目进行矢量要素属性编辑；

保存并导出标签矢量文件。

3.根据权利要求1所述的损毁建筑物深度学习样本集的构建方法，其特征在于，根据所述标签矢量与所述灾后二维影像生成损毁建筑物深度学习样本集，包括：

将所述标签矢量转成与所述灾后二维影像相同图幅的标签影像；

将所述灾后二维影像与所述标签影像按照固定的大小和重叠度依次进行截取，获取样本集一；

对所述样本集一进行随机旋转，形成样本集二；

对所述样本集二进行随机翻折，获取样本集三；

对所述样本集一随机添加高斯噪声，形成样本集四；

将所述样本集一随机进行对比度增强，获取样本集五；

所述样本集一、所述样本集二、所述样本集三、所述样本集四和所述样本集五构成所述损毁建筑物深度学习样本集。

4.应用于权利要求1-3任一项所述的损毁建筑物深度学习样本集的构建方法的系统，其特征在于，包括：

二三维地图加载模块：用于在不同窗口中同时加载并渲染统一坐标系的二维影像和三维模型，叠加标签矢量图层以及设置渲染模式；

二三维视口单向联动模块：用于通过第一项目中的视口变换操作驱动第二项目视口发生相对应的变换；

标签矢量标绘模块：用于通过所述第一项目进行面要素标绘，同时基于所述第二项目进行同步展示；

标签属性编辑模块：用于通过第三项目在矢量属性表中对单个面要素的属性字段进行修改和保存；

样本集生成模块：用于根据二维影像和标签矢量，生成损毁建筑物深度学习样本集。