CN110598784B - 基于机器学习的建筑垃圾分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器学习的建筑垃圾分类方法及装置，所述方法通过获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；并将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。本发明方法实施例基于机器学习建立的分类模型有效地对建筑垃圾遥感影像进行自动识别、并将建筑垃圾分类出来，实现了对建筑垃圾的快速定位，并且其对建筑垃圾自动分类精度与传统方法相比较高，大大减少人力物力，提高工作效率。

Description

基于机器学习的建筑垃圾分类方法及装置

技术领域

本发明涉及建筑垃圾分类技术，尤其涉及基于机器学习的建筑垃圾分类方法及装置。

背景技术

建筑垃圾由于其组成的多样性和复杂性的，使得其造成的危害是叠加增大的，造成了很多不确定性的危害。对建筑垃圾进行分类、对于环境监测保护有至关重要的作用，将建筑垃圾的快速高效地分类出来成为建筑垃圾监控至关重要的一步。

目前，对在建筑垃圾堆放场地的建筑垃圾进行分类，采用监测方法主要有人工实地调查和遥感监测两种。然而，采用遥感影像的自动分类方法尚缺乏相关技术基础，虽然在现有研究中存在对固体废弃物的识别方法，但识别精度不高并且不能将建筑垃圾分类出来。此外，由于建筑垃圾堆放场地地理位置分布范围大、数目多，人工实地调查的方法进行实地深入考察的方式存在需要占用巨大的人力物力、且工作效率低下等问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种基于机器学习的建筑垃圾分类方法。

本发明的第二个目的在于提出一种基于机器学习的建筑垃圾分类装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机存储介质。

为实现上述目的，第一方面，根据本发明实施例的基于机器学习的建筑垃圾分类方法，所述方法包括：

获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合；

将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

根据本发明实施例提供的基于机器学习的建筑垃圾分类方法及装置，通过获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；并将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。本发明方法实施例基于机器学习建立的分类模型有效地对建筑垃圾遥感影像进行自动识别、并将建筑垃圾分类出来，实现了对建筑垃圾的快速定位，并且其对建筑垃圾自动分类精度与传统方法相比较高，大大减少人力物力，提高工作效率。

第二方面，根据本发明实施例的基于机器学习的建筑垃圾分类装置，包括：

待分类图像获取及预处理模块，用于获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合；

自动分类模块，用于将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

第三方面，根据本发明实施例的计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的基于机器学习的建筑垃圾分类方法。

第四方面，根据本发明实施例的计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的基于机器学习的建筑垃圾分类方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明基于机器学习的建筑垃圾分类方法实施例的流程图；

图2是本发明基于机器学习的建筑垃圾分类方法另一个实施例中步骤S101之前的流程图；

图3是本发明基于机器学习的建筑垃圾分类装置实施例的结构框图；

图4是本发明基于机器学习的建筑垃圾分类装置另一个实施例的结构框图；

图5是本发明计算机设备一个实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在现有技术中，建筑垃圾堆放场地的监测方法主要有人工实地调查和遥感监测两种，常用的是遥感技术，可应用全色波段彩色合成法等方法对建筑垃圾进行识别。或者借助航片,通过构建判读标志库，通过人机交互形式判读识别未知的非正规垃圾场，确定固体废弃物的地理分布，航片分辨率相对较高，识别能力也较强，还有基于高分二号遥感影像数据，采用目视解译的方法对垃圾堆放点进行识别分析，其精度较高。

然而，对于建筑垃圾遥感影像的自动分类方法尚缺乏相关技术方法。在遥感领域，建筑垃圾的自动识别几乎都是目视解译和监督学习的方法。由于建筑垃圾堆放场地地理位置分布范围大、数目多，实地深入考察的方式需要占用巨大的人力物力，且工作效率低下。在成本相对高，获取间隔较长，难以达到实时同步监控非正规垃圾堆变动的要求。因而建筑垃圾的快速自动识别分类还是一个难点，且自动识别的精度与成本难以兼顾。

参照图1所示，图1示出了本发明基于机器学习的建筑垃圾分类方法实施例的流程图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，所述基于机器学习的建筑垃圾分类方法由计算机终端或设备执行。

在本发明实施例中，该基于机器学习的建筑垃圾分类方法包括：

S101、获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合。

S102、将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

本发明提供的基于机器学习的建筑垃圾分类方法，其实施例基于机器学习建立的分类模型有效地对建筑垃圾遥感影像进行自动识别、并将建筑垃圾分类出来，实现了只需将建筑垃圾遥感影像输入进已建立的建筑垃圾自动分类模型，即可得到建筑垃圾的分类结果，对建筑垃圾实现快速定位，并且其对建筑垃圾自动分类精度与传统方法相比较高，解决了上述问题，并大大减少人力物力，提高了建筑垃圾分类的工作效率。

进一步地，参照图2所示，在步骤S101之前，所述获取待分类建筑垃圾的卫星影像数据之前还包括：

S201、获取待训练的建筑垃圾的卫星影像数据、并对所述待训练的建筑垃圾的卫星影像数据进行图像预处理，得到高分辨率多光谱的对应建筑垃圾遥感图像作为第一建筑垃圾训练样本集。

S202、使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件；所述标签文件中的图像为三通道jpg格式的图像。

S203、对已经过标注的标签文件进行格式转化处理得到FCN全卷积神经网络结构能够使用的第二建筑垃圾训练样本集；所述第二建筑垃圾训练样本集中的图像为单通道png格式的图像。

S204、将所述第二建筑垃圾训练样本中的图像输入所述FCN全卷积神经网络并进行学习训练得到语义级别的分割图像，并对所述语义级别的分割图像进行语义分割精度评估。

S205、深度学习框架Keras提取经过精度评估符合要求的分割图像的全局特征并进行学习训练，得到基于机器学习的建筑垃圾自动分类模型。

本发明对预处理的训练样本基于FCN网络，并进行精度评估，将评估精度符合要求的图像集在深度学习框架Keras下进行学习训练、从而得到建筑垃圾自动分类模型。对精度评估符合一定要求的图像通过全局特征学习，建立建筑垃圾的特征模型、即建筑垃圾自动分类模型，因而可以实现建筑垃圾大批量的自动识别分类，需要识别建筑垃圾的遥感影像时，只需将将建筑垃圾遥感影像输入已经训练而建立的建筑垃圾自动分类模型，即可得到建筑垃圾的分类结果。

本发明具体实施时，选取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据由高分二号(GF2)卫星以及Google Earth(谷歌地球)所提供。

由于高分二号(GF2)卫星是我国自主研发的第一颗空间分辨率高于一米的遥感卫星，观测幅度宽可达四十五公里，因此它具有高分辨率、高辐射精度、高定位精度和快速姿态机动能力等特点，在土地利用动态监测、环境保护与监测等领域具有广泛的应用潜力。Google Earth(谷歌地球)是美国Google公司于2005年6月推出的一款虚拟地球仪软件，Google Earth的卫星影像的数据来自于卫星影像与航拍的数据整合，集合了卫星图像、地图等，布置在一个地球三维模型上。谷歌地球上的全球地形地貌影像的有效分辨率将近为100米，在我国内地一般来说为30米，视角海拔高度(Eye alt)为15公里左右。

由于选取的卫星遥感影像覆盖有限，为了满足本发明训练及测试结果的质量要求，尽量选用由高分二号(GF2)卫星以及Google Earth提供的高分辨率卫星影像数据。

在步骤S201中，为了训练或测试样本数据，首先需要构建图像数据集。可选地，本发明实施时，分别对获取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据进行统一命名处理、JPEG格式转换处理、以及将质量达不到要求的图像进行删除处理。

具体地，由从高分二号卫星和Google Earth获取大量的建筑垃圾高分辨率卫星影像数据，先进行整理，统一命名等处理。再在这些影像数据筛除质量不好的影像数据，得到建筑垃圾样本集数据，并且将样本数据都转换为JPEG格式。可选地，挑选大小尺寸颜色样本特征最适合的100张影像数据用于进行训练实验，并从0000开始依次命名样本图像。

然而，由于我国高分二号(GF2)卫星获取的遥感影像数据，分为多光谱影像数据和全色影像数据。多光谱影像具有较好的颜色效果，但分辨率较低，而全色影像有较高的分辨率。为了获取高分辨率、多光谱的样本研究数据，需对遥感影像数据进行预处理。

因而，需要对选取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据进行图像预处理操作。

具体实施时，图像预处理包括辐射校正、正射校正、图像配准和图像融合等，其中图像融合是为了结合高空间和多光谱信息而获得融合的多光谱图像，保留来自高分辨率全色图像的空间信息，以及降低分辨率多光谱图像的光谱特征。

经过图像预处理过程可以得到的成果数据是集成多光谱和高分辨率的特性，收集的数据已经过辐射校正，其余的处理在ENVI5.3软件中进行。ENVI是一个性能完备的遥感图像数据处理平台(The Environment for Visualizing Images，简称ENVI)，ENVI5.3功能完备,可以自动识别高分二号(GF2)卫星的影像数据的RPC(Rational PolynomialCoefficient)信息，通过RPC Orthorectification Workflow(正射校正流程化工具)可对影像进行自动正射校正。并在正射校正后，纠正后各点偏差，譬如对平原区的建筑垃圾的遥感图像控制在1个像元以内，对山区的建筑垃圾的遥感图像控制在2—3个像元以内。

多光谱影像以正射校正后的全色影像为参照，在数字高程模型DEM(DigitalElevation Model，简称DEM)支撑下开展正射纠正。本发明实施时，将校正后得到待融合的两幅影像采用NNDiffuse算法进行图像融合，此方法支持多类型传感器、支持多种地理信息元数据类型、支持多线程计算等特性，从而实现高性能处理。融合后的图像相对于原图像在色彩、纹理和光谱信息上均能获得良好的留存，采用NNDiffuse算法较其他融合方法更具优越性。可选地，融合后得到1米分辨率的多光谱彩色合成影像，即高分辨率多光谱的图像，输出数据类型为整型，以利于后续对于对建筑垃圾的遥感图像进行分别识别和相关信息的提取。

可选地，在步骤S202中，所述使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件具体还包括：

使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行手动标注出建筑垃圾的类别、特征，提取出目标地物样本、并生成相应的Json格式的标签文件；所述Json格式的标签文件包括地物属性及掩码信息，所述地物属性至少包括拆除产生的建筑垃圾和在建产生的建筑垃圾这两个类别。

具体地，由于所述待训练样本和待测试样本需要有标签才能在FCN网络(fullyconvolutional networks，全卷积网络)中获得学习和测试的语义信息，所以需要对使用的待训练样本和待测试样本进行标注。本发明具体实施时，使用在win10环境和anaconda环境下安装Python版labelme标注软件，并利用其对训练样本和测试样本集进行标注。

具体地，基于己建立的第一建筑垃圾训练样本集，利用开源工具Labelme手工提取目标地物样本。原始影像通过手工沿目标轮廓，标注出建筑垃圾的类别、特征，提取出地物样本，并生成相应的Json文件。然后，通过Json文件生成地物属性及掩码信息。所述Json格式的标签文件包括地物属性及掩码信息，所述地物属性至少包括拆除产生的建筑垃圾和在建产生的建筑垃圾这两个类别，所以设置的标签分别为demolished和constructing，具体实施时，本发明采用window10 64位操作系统、Python3.6版本的软件环境下，利用labelme工具做建筑垃圾的两类标签。进一步地还可以设置归类为背景的background标签。

进一步地，由于所述标签文件中的图像为三通道jpg格式的图像。因此，需要对已经过标注的标签文件进行格式转化处理得到FCN全卷积神经网络结构能够使用的第二建筑垃圾训练样本集；所述第二建筑垃圾训练样本集中的图像为单通道png格式的图像。

具体地，根据FCN网络结构的要求使用的标签图像应为单通道png图像，同时各类的值需要进行按照0、1、2、3……进行标注，原始数据集为三通道的jpg格式图像，所以需要将所述第一建筑垃圾训练样本集中图像的label部分进行处理，根据各类建筑垃圾的特征对所有的训练样本和验证样本重新标注。因此将labelme生成的标签文件进行格式转化处理为一个label.png文件，这个文件只有一通道，针对同一标签mask会被给予一个标签位，而mask要求不同的实例要放在不同的层中。具体实施时，本文在格式转化处理中对background取类0，demolished取类1，constructing取类2。

进一步地，在步骤204，将所述第二建筑垃圾训练样本中的图像输入所述FCN全卷积神经网络并进行学习训练得到语义级别的分割图像，并对所述语义级别的分割图像进行语义分割精度评估。

具体实施时，采用FCN网络对图像进行像素级的分类，得到语义级别的分割图像，从而解决了语义级别的图像分割问题，并对所述语义级别的分割图像进行语义分割精度评估。FCN网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的featuremap进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在采样的特征图像上进行像素分类。

进一步地，所述对所述语义级别的分割图像进行语义分割精度评估具体包括：评估所述分割图像的语义分割精度采用像素精度、平均像素精度、平均交并比和频权交并比中至少一种。

具体实施时，在FCN网络的学习训练过程中，需要对源代码的相关变量进行相应的调整。譬如，对于训练建筑垃圾脚本train.py，本发明采用的训练处理方式是：对100张数据采用这样的的学习方式：使用的训练次数是1次，每次的batch是2，动量参数为0.95，初始学习率是0.1。进一步地，还可以对FCN网络中的评估脚本evaluate.py、验证脚本inference.py进行调整，以适合训练需要。

在本发明实施例中，对语义分割精度的常用衡量标准可以但不限于采用以下四个评估标准：像素精度(Pixel Accuracy，PA)、平均像素精度(Mean Pixel Accuracy，MPA)、平均交并比(Mean Intersection over Union，MloU)和频权交并比(Frequency WeightedIntersection over Union，FWIoU)。

具体实施时，以平均交并比为例，平均交并比表示计算真实值和预测值predictedsegmentation)的交并比之平均值，采用以下公式进行计算：

上述公式中，假设共有k+1个类，Pij表示属于第i类但被预测为第j类的像素数量。MIoU值是计算真实值与预测值的交叠率。一般约定，在计算机检测任务中，如果MloU≥0.5，就说检测正确、精度符合要求，FCN网络训练输出的图像可以直接应用于深度学习框架Keras进行学习训练；如果预测值和实际边界框完美重叠，MloU就是1，因为交集就等于并集，则FCN网络训练输出的图像完全符合要求。因此，MloU越高，边界框越精确。其它各个精度评估标准的MIoU值具有相同的衡量条件。

最后，本发明采用深度学习框架Keras对经FCN网络输出的符合精度评估要求的图像集合进行训练，从而生成建筑垃圾自动分类模型。Keras的图像数据预处理API是1个图像的生成器类：

keras.preprocessing.image.ImageDataGenerator。在给定图像样本后，ImageDataGenerator可以进行数据强化操作，包括旋转、反转、平移、白化等并输出图像。

综上可知，本发明提供的基于机器学习的建筑垃圾分类方法，其实施例基于机器学习建立的分类模型有效地对建筑垃圾遥感影像进行自动识别、并将建筑垃圾分类出来，实现了只需将建筑垃圾遥感影像输入进已建立的建筑垃圾自动分类模型，即可得到建筑垃圾的分类结果，对建筑垃圾实现快速定位，并且其对建筑垃圾自动分类精度与传统方法相比较高，解决了上述问题，并大大减少人力物力，提高了建筑垃圾分类的工作效率。

参照图3所示，图3示出了本发明基于机器学习的建筑垃圾分类装置实施例的结构框图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该基于机器学习的建筑垃圾分类装置包括：

待分类图像获取及预处理模块11，用于获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合；

自动分类模块12，用于将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

进一步地，如图4所示，所述装置还包括：

待训练图像获取及预处理模块21，用于获取待训练的建筑垃圾的卫星影像数据、并对所述待训练的建筑垃圾的卫星影像数据进行图像预处理，得到高分辨率多光谱的对应建筑垃圾遥感图像作为第一建筑垃圾训练样本集；

标签文件获取模块22，用于使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件；所述标签文件中的图像为三通道jpg格式的图像；

标签文件处理模块23，用于对已经过标注的标签文件进行格式转化处理得到FCN全卷积神经网络结构能够使用的第二建筑垃圾训练样本集；所述第二建筑垃圾训练样本集中的图像为单通道png格式的图像；

图像分割及精度评估模块24，用于将所述第二建筑垃圾训练样本中的图像输入所述FCN全卷积神经网络并进行学习训练得到语义级别的分割图像，并对所述语义级别的分割图像进行语义分割精度评估；

模型训练及获取模块25，用于深度学习框架Keras提取经过精度评估符合要求的分割图像的全局特征并进行学习训练，得到基于机器学习的建筑垃圾自动分类模型。

进一步地，所述装置还包括：

卫星影像数据处理模块，用于分别对获取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据进行统一命名处理、JPEG格式转换处理、以及将质量达不到要求的图像进行删除处理。

进一步地，所述标签文件获取模块22还包括：

类别标注及标签文件生成单元，用于使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行手动标注出建筑垃圾的类别、特征，提取出目标地物样本、并生成相应的Json格式的标签文件；所述Json格式的标签文件包括地物属性及掩码信息，所述地物属性至少包括拆除产生的建筑垃圾和在建产生的建筑垃圾这两个类别。

进一步地，所述图像分割及精度评估模块24中，评估所述分割图像的语义分割精度采用像素精度、平均像素精度、平均交并比和频权交并比中至少一种。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

参照图5所示，图5示出了本发明实施例提供的计算机设备实施例的结构框图，为了便于描述，仅示出了与本发明实施例相关的部分。具体的，该计算机设备500包括存储器502、处理器501以及存储在所述存储器502中并可在所述处理器501上运行的计算机程序5021，所述处理器501执行所述计算机程序时实现如上述实施例所述方法的步骤，例如图1所示的步骤S101至步骤S102。或者，所述处理器501执行所述计算机程序时实现上述实施例所述装置中的各模块/单元的功能，例如图3所示模块11至12的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器502中，并由所述处理器501执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备500中的执行过程。例如，所述计算机程序可以被分割成待分类图像获取及预处理模块11、自动分类模块12。其中，

待分类图像获取及预处理模块11，用于获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合。

自动分类模块12，用于将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

所述计算机设备500可包括，但不仅限于处理器501、存储器502。本领域技术人员可以理解，图仅仅是计算机设备500的示例，并不构成对计算机设备500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备500还可以包括输入输出设备、网络接入设备、总线等。

所称处理器501可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器501、数字信号处理器501(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立预设硬件组件等。通用处理器501可以是微处理器501或者该处理器501也可以是任何常规的处理器501等。

所述存储器502可以是所述计算机设备500的内部存储单元，例如计算机设备500的硬盘或内存。所述存储器502也可以是所述计算机设备500的外部存储设备，例如所述计算机设备500上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器502还可以既包括所述计算机设备500的内部存储单元也包括外部存储设备。所述存储器502用于存储所述计算机程序5021以及所述计算机设备500所需的其他程序和数据。所述存储器502还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器501执行时实现如上述实施例中所述方法中的步骤，例如图1所示的步骤S101至步骤S102。或者，所述计算机程序被处理器501执行时实现上述实施例中所述装置中的各模块/单元的功能，例如图3所示的模块11至12的功能。

所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器501执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子预设硬件、或者计算机软件和电子预设硬件的结合来实现。这些功能究竟以预设硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备500和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备500实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器学习的建筑垃圾分类方法，其特征在于，所述方法包括：

获取待训练的建筑垃圾的卫星影像数据、并对所述待训练的建筑垃圾的卫星影像数据进行图像预处理，得到高分辨率多光谱的对应建筑垃圾遥感图像作为第一建筑垃圾训练样本集；

使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件；所述标签文件中的图像为三通道jpg格式的图像；

对已经过标注的标签文件进行格式转化处理得到FCN全卷积神经网络结构能够使用的第二建筑垃圾训练样本集；所述第二建筑垃圾训练样本集中的图像为单通道png格式的图像；

将所述第二建筑垃圾训练样本中的图像输入所述FCN全卷积神经网络并进行学习训练得到语义级别的分割图像，并对所述语义级别的分割图像进行语义分割精度评估；

深度学习框架Keras提取经过精度评估符合要求的分割图像的全局特征并进行学习训练，得到基于机器学习的建筑垃圾自动分类模型；

获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合；

将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

2.根据权利要求1所述的基于机器学习的建筑垃圾分类方法，其特征在于，所述方法还包括：

分别对获取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据进行统一命名处理、JPEG格式转换处理、以及将质量达不到要求的图像进行删除处理。

3.根据权利要求1所述的基于机器学习的建筑垃圾分类方法，其特征在于，所述使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件具体包括：

使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行手动标注出建筑垃圾的类别、特征，提取出目标地物样本、并生成相应的Json格式的标签文件；所述Json格式的标签文件包括地物属性及掩码信息，所述地物属性至少包括拆除产生的建筑垃圾和在建产生的建筑垃圾这两个类别。

4.根据权利要求1所述的基于机器学习的建筑垃圾分类方法，其特征在于，所述对所述语义级别的分割图像进行语义分割精度评估具体包括：

评估所述分割图像的语义分割精度采用像素精度、平均像素精度、平均交并比和频权交并比中至少一种。

5.一种基于机器学习的建筑垃圾分类装置，其特征在于，包括：

待训练图像获取及预处理模块，用于获取待训练的建筑垃圾的卫星影像数据、并对所述待训练的建筑垃圾的卫星影像数据进行图像预处理，得到高分辨率多光谱的对应建筑垃圾遥感图像作为第一建筑垃圾训练样本集；

标签文件获取模块，用于使用图像标注工具labelme对所述第一建筑垃圾训练样本集中的图像进行标注得到相应的标签文件；所述标签文件中的图像为三通道jpg格式的图像；

标签文件处理模块，用于对已经过标注的标签文件进行格式转化处理得到FCN全卷积神经网络结构能够使用的第二建筑垃圾训练样本集；所述第二建筑垃圾训练样本集中的图像为单通道png格式的图像；

图像分割及精度评估模块，用于将所述第二建筑垃圾训练样本中的图像输入所述FCN全卷积神经网络并进行学习训练得到语义级别的分割图像，并对所述语义级别的分割图像进行语义分割精度评估；

模型训练及获取模块，用于深度学习框架Keras提取经过精度评估符合要求的分割图像的全局特征并进行学习训练，得到基于机器学习的建筑垃圾自动分类模型；

待分类图像获取及预处理模块，用于获取待分类的建筑垃圾的卫星影像数据、并对所述卫星影像数据进行图像预处理，得到高分辨率多光谱的建筑垃圾遥感图像；所述图像预处理包括对图像进行辐射校正、正射校正、遥感图像配准以及采用NNDiffuse融合算法进行图像融合；

自动分类模块，用于将所述高分辨率多光谱的建筑垃圾遥感图像输入预先建立的基于机器学习的建筑垃圾自动分类模型，得到相应的建筑垃圾分类结果。

6.根据权利要求5所述的基于机器学习的建筑垃圾分类装置，其特征在于，所述装置还包括：

卫星影像数据处理模块，用于分别对获取的所述待分类的建筑垃圾的卫星影像数据、待训练的建筑垃圾的卫星影像数据进行统一命名处理、JPEG格式转换处理、以及将质量达不到要求的图像进行删除处理。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的基于机器学习的建筑垃圾分类方法。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任意一项所述的基于机器学习的建筑垃圾分类方法。

Images