CN114758252B - 基于图像的分布式光伏屋顶资源分割与提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像的分布式光伏屋顶资源分割与提取方法及系统，涉及分布式光伏设计及图像处理技术领域，该方法包括：首先将三维点云处理问题转换为二维遥感图像语义分割问题，将目标区域正射投影图格网裁切后建立样本区域的建筑物语义分割数据集，并基于建筑物语义分割数据集进行模型训练，以得到语义分割模型；然后将研究区域的遥感图像输入至语义分割模型中获得预测结果，利用拼接算法得到带有预测结果信息的图像；基于带有预测结果信息的所述图像和点云处理算法，将其用于三维点云分割处理，提取屋顶信息，确定目标区域中各个屋顶的信息。

Description

基于图像的分布式光伏屋顶资源分割与提取方法及系统

技术领域

本发明涉及分布式光伏设计及图像处理技术领域，特别是涉及一种基于图像的分布式光伏屋顶资源分割与提取方法及系统。

背景技术

屋顶分布式光伏由于具有更复杂的屋顶类型和地貌分布情况，在勘测和系统设计时会存在很大难度。基于遥感图像的屋顶识别，是光伏设计的关键一步，根据可利用的屋顶面积，得到预估的光伏可开发容量，对于政府管理和规划、提高系统设计和安装效率、降低光伏发电成本都具有重要意义。

由于点云数据自身存在的无序性、密度不一致性、非结构性、信息不完整性等特性使得三维屋顶的语义分割充满挑战。传统的点云语义分割方法通过提取三维形状几何特征，构建判别模型，限制了使用规模。将输入点云转换为规则的体素网格提供给深层网络结构，会丢失几何结构信息，模型处理速率较慢。

现有的常用遥感图像屋顶分割算法包括：基于边缘提取、基于纹理提取和基于分类提取。如通过检测建筑物边缘的线条，然后根据空间关系，进而提取出建筑物；根据幅度谱信息将建筑物的边缘特征和纹理特征结合起来，从而对建筑物提取；利用区域合并分割技术进行建筑物提取；利用端到端的神经网络提高对小物体、有遮挡物体的分割准确率等，这些方法提取建筑物的准确率不高，而且有较高的误检率，特别是适用范围窄。在遥感图像的建筑物提取任务重，易受植被、复杂建筑物类型等因素干扰，使得传统方法提取困难。卷积神经网络常被用于多光谱数据分析、建筑物检测、遥感图像分类等实际应用中，通常具有高精度性能，本发明将其应用于屋顶级别的语义分割。

发明内容

本发明的目的是提供一种基于图像的分布式光伏屋顶资源分割与提取方法及系统，建立一套丰富的建筑物语义分割数据集，准确得到目标地区的可开发屋顶信息。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供了一种基于图像的分布式光伏屋顶资源分割与提取方法，包括：

格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地；

获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息；

基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

第二方面，本发明提供了一种基于图像的分布式光伏屋顶资源分割与提取方法，包括：

格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地；

获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息；

基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

第三方面，本发明提供了一种基于图像的分布式光伏屋顶资源分割与提取系统，包括：

语义分割模型训练模块，用于格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息，或者所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地；

目标信息预测模块，用于获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息；

三维屋顶基本信息计算模块，用于基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了基于图像的分布式光伏屋顶资源分割与提取方法及系统。本发明首先将三维点云处理问题转换为二维遥感图像语义分割问题，将目标区域正射投影图格网裁切后构建了建筑物语义分割数据集，该建筑物语义分割数据集标记了东、西、南、北四个朝向的斜屋顶、平屋顶、树木、以及太阳能热水器等11类常见目标物体，充分考虑不同朝向的屋顶光伏出力衰减不同，且易被相邻建筑、树荫遮挡影响发电等因素，可形成一套多地区、多目标、标记规范的语义分割数据库；然后根据该建筑物语义分割数据集不断设计和优化卷积神经网络模型，得到语义分割模型，从而提高语义分割的准确性、快速性；接着根据此语义分割模型识别遥感图片中的各目标，利用图像拼接算法得到研究区域中各个屋顶的识别结果；再将带有目标信息的遥感图像反投影到三维点云，利用点云处理算法进行屋顶信息提取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于图像的分布式光伏屋顶资源分割与提取方法的流程图；

图2为本发明实施例提供的卷积神经网络模型的结构图；

图3为本发明实施例提供的一种基于遥感图像的屋顶分布式光伏设计方法的流程图；

图4为采用本发明实施例提供的语义分割网络模型识别的结果图；

图5为本发明实施例提供的一种基于图像的分布式光伏屋顶资源分割与提取系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

针对现有点云数据问题，本发明基于二维图像语义分割模型经验，针对建筑特点，将三维点云处理问题转换为二维正射投影图的处理，对遥感图像语义分割后，再反投影到点云中实现三维屋顶信息提取。

实施例一

图1为本发明实施例提供的一种基于图像的分布式光伏屋顶资源分割与提取方法的流程图。如图1所示，本发明实施例提供的一种基于图像的分布式光伏屋顶资源分割与提取方法包括：

步骤101：格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地。

此步骤包括：

S1.区域选址；采用无人机在不同位置、不同高度对整个样本区域进行倾斜摄影，可以得到多张带有位置信息的二维图像，实现智能选址。

S2.三维模型处理；对得到的多张带有位置信息的二维图像进行三维重建处理，生成该样本区域的一个空间分布图，同时具备纹理信息及深度信息，进而得到该样本区域的正射投影图像，即遥感图像。

S3.自建建筑物语义分割数据集；根据所述样本区域的遥感图像，进行固定尺寸的裁切，建立样本区域的建筑物语义分割数据集。具体操作步骤：

首先将遥感图像进行格网裁切，生成若干张256*256或512*512像素的样本数据；然后采用在线数据增强的方法扩充样本数据，得到多张样本遥感图片；接着确定每张样本遥感图片对应的深度图；最后对每张样本遥感图片进行11类目标标记：东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶、平屋顶、太阳能热水器、树木、棚、车、路、草地，得到最终的建筑物语义分割数据集。

在自建建筑物语义分割数据集时，使用了格网裁切和数据增强手段，可以扩充样本数据量、丰富不同类型数据，提高模型的泛化能力，避免模型过拟合。

同时，该建筑物语义分割数据集标记了东、西、南、北四个朝向的斜屋顶、平屋顶、树木、以及太阳能热水器等11类常见目标物体，可形成一套多地区、多目标、标记规范的语义分割数据库。

S4.训练语义分割模型；利用深度学习框架搭建卷积神经网络模型，采用所述建筑物语义分割数据集对所述卷积神经网络模型进行训练优化，得到语义分割模型。

作为一种优选的实施方式，在步骤S4中，采用深度学习算法区分不同朝向屋顶，可以更好地进行光伏系统设计。为了充分考虑屋顶遮挡因素，本发明实施例进行了多目标识别，对于光伏性能评估、阴影计算等提供有价值的数据依据，更好地评估光伏发电效率，利于光伏电站的数字双生管理。

通过不断设计和优化卷积神经网络模型，从而提高语义分割的准确性、快速性。语义分割即在处理图像时，特定于像素级别，为图像中的每个像素分配一个类别编码，并将识别的目标像素转换为带有突出显示的掩码。

该步骤S4主要包括以下子步骤：

SA0.将建筑物语义分割数据集按8:1:1划分为训练集、验证集和测试集，并设置网络训练参数。其中，训练集和验证集作为输入对卷积神经网络模型进行训练优化，得到最佳的语义分割网络模型。测试集作为最佳的语义分割网络模型的输入，可得到样本遥感图片中各目标类别信息、候选框位置信息及目标所在区域的边界信息。

SA1.卷积神经网络模型的结构如图2所示。所述卷积神经网络模型包括依次连接的深度残差网络、区域生成网络和区域特征聚集网络；所述深度残差网络包括第一输入端和第二输入端；所述第一输入端用于输入样本遥感图片或者研究遥感图片，所述第二输入端用于输入深度图；所述区域特征聚集网络包括第一输出端、第二输出端和第三输出端；所述第一输出端用于输出目标类别信息；所述第二输出端用于输出候选框位置信息；所述第三输出端用于输出目标所在区域的边界分割信息。

在卷积神经网络模型中，深度残差网络（resnet101）作为主干网络，包括五种不同尺度的卷积层（covn-1至covn-5）进行特征提取；区域生成网络（RPN，在图2中用网络1表示）实现图像高低级特征融合，并生成候选框；采用区域特征聚集网络（ROIAlign，在图2中用网络2表示）将不同输入尺寸图像固定为统一尺寸，实现任意输入像素的识别；经过faster-rcnn算法和mask算法，输出目标类别信息、候选框位置信息和目标所在区域的边界分割信息。其中，input表示输入端。

本发明实施例选用Mask-RCNN两步检测算法作为网络模型。第一步：基于特征金字塔（FPN）和深度残差网络（ResNet101）进行特征融合，区域生成网络（RPN）滑动扫描图像生成候选框；第二步：区域特征聚集网络划分固定特征图大小，左侧mask输出掩码信息（在图2中用输出1表示），即目标所在区域的边界分割信息，右侧Faster RCNN输出候选框位置信息（box，在图2中用输出2表示）和目标类别信息（class，在图2中用输出3表示）。

SA2.该网络模型以MS COCO语义分割数据集（微软标注的80种目标类别）的训练权重进行迁移学习，能够把预训练模型在原数据域学习到的权重应用在数据量较小的目标域数据上，实现权重初始化，加快模型在目标域数据上的训练速度。

SA3.将裁切后的遥感彩图（RGB），即样本遥感图片送入模型进行网络heads部分权重参数的训练。

SA4.在SA3的基础上，该模型已具备各目标纹理信息的学习能力，但要进一步区分不同朝向屋顶的这一类相似目标，需要考虑目标的深度信息，故采用早期融合方式。在该步骤中，将样本遥感图片和对应的深度图在输入处进行维度合并，然后送入网络模型进行训练。

在本发明实施例中，采用损失函数、多目标识别的平均精度作为网络模型的评价指标

对于每个类别，选择常用交并比阈值0.5，阈值以上的为检测正确。

可知给定的图片中类别C的精确率为事实上为类别C且被识别为类别C的目标总数量与所有被识别为类别C的目标的总数量之比，计算公式如下：

；

其中，

表示类别C的精确率，N_P,C 表示图片中事实上为类别C且被识别为类别C的目标的总数量，

表示图片中所有被识别为类别C的目标的数量。

类别C的平均精度为验证集中的识别结果中所有含有类别C目标的图片的类别C的精确率之和与识别结果中含有类别C目标的图像数量之比，公式如下：

；

其中，

表示类别C的平均精度，

表示验证集的识别结果中所有含有类别C目标的图片的类别C的精确率之和，

表示识别结果中含有类别C目标的图像数量。

目标检测问题中，每张图片中可能会含有不同类别的不同目标。类别精度均值即数据集中所有类别的平均精度的均值，为所有类别的平均精度值之和与类别的数目之比，公式如下：

。

其中，

表示类别精度均值，

表示所有类别的平均精度值之和，

表示类别的数目。

步骤102：获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息。

其中，将所述研究区域的遥感图像输入至所述语义分割模型中，以得到带有目标信息的遥感图像，具体包括：

所述研究区域的遥感数据集包括对所述研究区域的遥感图像进行裁切后得到的多张研究遥感图片；

确定每张所述研究遥感图片对应的深度图，并将所述研究遥感图片以及所述研究遥感图片对应的深度图，输入至至所述语义分割模型中，以得到每张所述研究遥感图片对应的目标信息。

最后利用图像拼接算法对带有目标信息的研究遥感图片进行拼接，得到带有目标信息的遥感图像。

在实例中，为简化和满足使用者的操作需求，可在语义分割模型输出端，通过内嵌图像拼接算法将每张裁切图的识别结果进行拼接，最终输出完整地区检测结果示意图，并将各目标坐标转换为整图中的像素坐标，输出坐标文件。

步骤103：基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

在实例中，所述原始遥感图像各屋顶轮廓坐标转换为三维点云坐标，即图像识别结果为像素坐标，需要根据遥感图像像素范围与点云坐标范围进行像素坐标到地理坐标的转换，得到各屋顶的三维点云效果；所述利用点云边界提取、轮廓拟合等处理算法，即对各屋顶点得到最小外接多边形，从而计算该屋顶面积、倾角等信息。

此步骤具体包括：

利用点云处理算法对带有目标信息的所述遥感图像，得到带有目标类别信息的三维点云；基于带有目标类别信息的所述三维点云，利用点云边界提取、轮廓拟合等处理算法，确定所述研究区域中各个屋顶的基本信息

实施例二

本发明实施例提供了一种基于遥感图像的屋顶分布式光伏设计方法，如图3所示，该方法包括下列步骤：

S1.采用无人机在不同位置、不同高度对整个目标区域进行倾斜摄影，可以得到多张带有位置信息的二维图像，实现智能无人机选址。

S2.进行三维重建处理生成该目标区域的一个空间分布图，同时具备纹理信息及深度信息，并得到该目标区域的正射投影图，即遥感图像。

S3.将遥感图像进行裁切，生成若干张256*256或512*512像素的样本数据，并生成对应深度图；采用在线数据增强的方法扩充数据集，进行11类目标标记，以区分不同朝向屋顶等相似目标。

S4.将语义分割数据集按8:1:1划分为训练集、验证集和测试集，训练集作为输入对卷积神经网络进行训练优化，得到最佳语义分割网络模型，又称为语义分割模型。

S5.将测试集送入步骤S4的语义分割网络模型中，得到图像中各目标类别、候选框坐标（图3中用回归框表示）及具体轮廓信息，再利用图像拼接算法将裁切图拼接为原始遥感图像。

S6.将步骤S5中的原始遥感图像各屋顶轮廓坐标转换为三维点云坐标，利用点云边界提取、轮廓拟合等三维点云数据信息提取算法，获取该地区各屋顶的实际倾角、方位、尺寸等信息。

在步骤S4中，对所述卷积神经网络模型进行训练优化，主要包括以下子步骤：

SA1.将裁切后的遥感图像送入模型进行输出网络heads参数训练；

SA2.将裁切后的遥感彩色图像（RGB）和对应的深度图进行维度合并获得带有深度信息的彩色图（RGBD），送入卷积神经网络进行训练。其中，该卷积神经网络为卷积主干网络，该卷积神经网络的输出端分别与区域生成网络和特征图连接；区域生成网络的输出端还与特征图连接，特征图的输出端与区域特征聚集层连接，该区域特征聚集层的输出为单一尺寸特征图，且该单一尺寸特征图被分别输送至全连接层和分割分支，全连接层输出回归框和类别，分割分支输出具体轮廓信息。

在步骤S4中，设置网络模型批处理量为4，总类别数为12（包括背景），可接受目标区域置信度为0.9，图片处理大小为512*512*3，学习率为0.001，学习动量为0.9。模型训练大约2600轮迭代后，训练损失为0.29，验证损失为0.39，实现收敛。

作为优选，采用平均精度作为网络模型评价指标。在自建数据集上的平均精度为87.98%，实现了屋顶自动识别和位置信息输出。

在步骤S5中，所述利用拼接算法将裁切图拼接为原始遥感图像，为将得到的各目标轮廓坐标转换为原始遥感图像中的像素坐标，其识别结果如图4所示。其中，34个屋顶中有2个未识别，识别率为94.12%；27个平房中有3个未识别，识别率为88.89%。

在步骤S6中，所述原始遥感图像各屋顶轮廓坐标转换为三维点云坐标，即根据原始遥感图像像素范围与点云坐标范围转换关系，得到各屋顶实际地理坐标；所述利用点云边界提取、轮廓拟合等处理算法，即对各屋顶点得到最小外接多边形和顶点坐标，从而计算该屋顶面积、倾角等信息。

实施例三

为了简化流程，本发明实施例提供了一种基于图像的分布式光伏屋顶资源分割与提取方法，无需深度信息，依然建立一套丰富的建筑物语义分割数据集，考虑不同朝向的屋顶光伏潜力差别，以及相邻建筑、树荫遮挡等影响发电因素，准确得到目标地区的可开发屋顶信息，具体包括：

步骤一：格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地；

步骤二：获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息；

步骤三：基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

所述格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，具体包括：

对所述样本区域的正射投影图进行格网裁切，得到多张样本遥感图片；对每张所述样本遥感图片进行目标图像像素信息以及目标类别信息标记，以确定所述样本遥感图片对应的目标信息。

所述基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型，具体包括：

利用深度学习框架搭建卷积神经网络模型；采用所述建筑物语义分割数据集对所述卷积神经网络模型进行训练优化，得到语义分割神经网络模型。

其中，所述卷积神经网络模型包括依次连接的深度残差网络、区域生成网络和区域特征聚集网络；所述深度残差网络的第一输入端用于输入样本遥感图片或者研究遥感图片；所述区域特征聚集网络包括第一输出端、第二输出端和第三输出端；所述第一输出端用于输出目标类别信息；所述第二输出端用于输出候选框位置信息；所述第三输出端用于输出目标所在区域的边界信息。

实施例四

如图5所示，本发明实施例提供的一种基于图像的分布式光伏屋顶资源分割与提取系统，包括：

语义分割模型训练模块100，用于格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息，或者所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标中的一个或者多个；所述屋顶类型至少包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构至少包括气楼和通气孔，所述屋顶附属设备至少包括太阳能热水器，所述环境目标至少包括树木、棚、车、道路和草地；

目标信息预测模块200，用于获取研究区域的遥感图像，并将所述研究区域的遥感图像输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图像；所述预测结果包括所述研究区域的遥感图像对应的目标信息；

三维屋顶基本信息计算模块300，用于基于所述带有预测结果的遥感图像和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，包括：

采用无人机在不同位置、不同高度对样本区域进行倾斜摄影，得到多张带有位置信息的二维图像；

利用多张带有位置信息的所述二维图像进行三维重建，生成所述样本区域的正射投影图；

格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标；所述屋顶类型包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构包括气楼和通气孔，所述屋顶附属设备包括太阳能热水器，所述环境目标包括树木、棚、车、道路和草地；

获取研究区域的遥感图片，并将所述研究区域的遥感图片输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图片；所述预测结果包括所述研究区域的遥感图片对应的目标信息；

基于所述带有预测结果的遥感图片和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

2.根据权利要求1所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，具体包括：

对所述样本区域的正射投影图进行格网裁切，得到多张样本遥感图片；

确定每张所述样本遥感图片对应的深度图；

对每张所述样本遥感图片进行目标图像像素信息以及目标类别信息标记，以确定所述样本遥感图片对应的目标信息。

3.根据权利要求1所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型，具体包括：

利用深度学习框架搭建卷积神经网络模型；

采用所述建筑物语义分割数据集对所述卷积神经网络模型进行训练优化，得到语义分割神经网络模型。

4.根据权利要求3所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述卷积神经网络模型包括依次连接的深度残差网络、区域生成网络和区域特征聚集网络；

所述深度残差网络包括第一输入端和第二输入端；所述第一输入端用于输入样本遥感图片或者研究遥感图片，所述第二输入端用于输入深度图；

所述区域特征聚集网络包括第一输出端、第二输出端和第三输出端；所述第一输出端用于输出目标类别信息；所述第二输出端用于输出候选框位置信息；所述第三输出端用于输出目标所在区域的边界信息。

5.根据权利要求1所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述基于所述带有预测结果的遥感图片和点云处理算法，确定所述研究区域中各个屋顶的基本信息，具体包括：

利用点云处理算法对所述带有预测结果的遥感图片进行处理，得到带有目标类别信息的三维点云；

基于带有目标类别信息的所述三维点云，确定所述研究区域中各个屋顶的基本信息。

6.一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，包括：

采用无人机在不同位置、不同高度对样本区域进行倾斜摄影，得到多张带有位置信息的二维图像；

利用多张带有位置信息的所述二维图像进行三维重建，生成所述样本区域的正射投影图；

格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标；所述屋顶类型包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构包括气楼和通气孔，所述屋顶附属设备包括太阳能热水器，所述环境目标包括树木、棚、车、道路和草地；

获取研究区域的遥感图片，并将所述研究区域的遥感图片输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图片；所述预测结果包括所述研究区域的遥感图片对应的目标信息；

基于所述带有预测结果的遥感图片和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

7.根据权利要求6所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，具体包括：

对所述样本区域的正射投影图进行格网裁切，得到多张样本遥感图片；

对每张所述样本遥感图片进行目标图像像素信息以及目标类别信息标记，以确定所述样本遥感图片对应的目标信息。

8.根据权利要求7所述的一种基于图像的分布式光伏屋顶资源分割与提取方法，其特征在于，所述基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型，具体包括：

利用深度学习框架搭建卷积神经网络模型；

采用所述建筑物语义分割数据集对所述卷积神经网络模型进行训练优化，得到语义分割神经网络模型；

其中，所述卷积神经网络模型包括依次连接的深度残差网络、区域生成网络和区域特征聚集网络；

所述深度残差网络的第一输入端用于输入样本遥感图片或者研究遥感图片；所述区域特征聚集网络包括第一输出端、第二输出端和第三输出端；所述第一输出端用于输出目标类别信息；所述第二输出端用于输出候选框位置信息；所述第三输出端用于输出目标所在区域的边界信息。

9.一种基于图像的分布式光伏屋顶资源分割与提取系统，其特征在于，包括：

语义分割模型训练模块，用于采用无人机在不同位置、不同高度对样本区域进行倾斜摄影，得到多张带有位置信息的二维图像；利用多张带有位置信息的所述二维图像进行三维重建，生成所述样本区域的正射投影图；格网裁切样本区域的正射投影图，以建立建筑物语义分割数据集，并基于所述建筑物语义分割数据集进行模型训练，以得到语义分割神经网络模型；所述建筑物语义分割数据集包括多个样本；所述样本包括样本遥感图片、以及每张所述样本遥感图片对应的深度信息和目标信息，或者所述样本包括样本遥感图片以及每张所述样本遥感图片对应的目标信息；所述目标信息包括目标类别信息和目标图像像素信息；所述类别信息包括屋顶类型、屋顶结构、屋顶附属设备和环境目标；所述屋顶类型包括东向斜屋顶、西向斜屋顶、南向斜屋顶、北向斜屋顶和平屋顶，所述屋顶结构包括气楼和通气孔，所述屋顶附属设备包括太阳能热水器，所述环境目标包括树木、棚、车、道路和草地；

目标信息预测模块，用于获取研究区域的遥感图片，并将所述研究区域的遥感图片输入至所述语义分割神经网络模型中，得到预测结果，然后利用图像拼接算法和所述预测结果进行拼接还原，以得到带有预测结果的遥感图片；所述预测结果包括所述研究区域的遥感图片对应的目标信息；

三维屋顶基本信息计算模块，用于基于所述带有预测结果的遥感图片和点云处理算法，确定所述研究区域中各个屋顶的基本信息；所述基本信息包括屋顶的地理位置信息、倾角信息、方位信息和尺寸信息。

Images