CN111626092A - 一种基于机器学习的无人机影像地裂缝识别及提取方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的无人机影像地裂缝识别及提取方法，包括：通过无人机摄影测量获得矿区土地裂缝影像数据，将每幅影像数据切割成等像素的小幅影像数据，依据聚类分析构建不同背景信息的影像数据集，以此建立基于机器学习的土地裂缝识别模型的学习样本，采用支持向量机的机器学习算法并通过留一法交叉验证其分类准确度。提取裂缝信息时，将识别的无裂缝影像均变成全白色背景的影像数据，对识别的含裂缝影像进行裂缝提取，得到背景为白色、裂缝信息为黑色的灰度图像数据，将两类图像按照切割顺序进行拼接。本发明解决了机器学习算法在矿区地裂缝识别应用中由于矿区土地地表信息过于复杂而应用受限的问题，且实时性、精度和效率高。

Description

一种基于机器学习的无人机影像地裂缝识别及提取方法

技术领域

本发明涉及工程勘测领域，具体涉及一种基于机器学习的无人机影像地裂缝识别及提取方法。

背景技术

在我国西部地区，尤其是西部风积沙区，地裂缝是煤炭开采引发的地质环境问题之一，造成了建筑物变形、地下管道破坏、耕地损毁、土壤水分蒸发加速、植被破坏、水土流失等问题，对矿区管理工作者带来了极大的困难，同时也是矿区土地复垦的重要环节。因此，必须首先获取矿区地裂缝实时、客观、高精度的分布信息，用来评估风险性和研究地裂缝的发育规律，为土地复垦工作提供保障。

无人机影像具有分辨率高、灵活机动、高效快速、作业成本低等显著优势，其分辨率可以达到厘米级，为矿区地裂缝的信息提取提供了理想的数据源。目前以无人机影像为数据源，在裂缝识别和提取过程中采用机器学习方法，主要应用于桥梁裂缝、道路裂缝、建筑物裂缝等领域中，以深度学习方法为代表，是利用深度卷积神经网络同时实现裂缝位置和裂缝属性的准确识别，但是该方法在矿区土地裂缝识别的应用过程中具有一定的局限性，由于矿区地表信息过于复杂，植被等干扰因素较多，使用深度学习不仅难度较大，同时准确率也无法达到要求，造成了目前在土地裂缝的识别和提取过程中还未有合理的机器学习应用方法。目前关于土地裂缝的识别和提取主要是面向对象、边缘检测、阈值分割和人工目视解译。面向对象的方法在地裂缝提取中取得了较好的效果，但是其类和继承等特点使得在使用该方法时会增加很多指针操作来定位函数入口和自身要维护虚拟方法表等额外的工作，这会使得程序的处理效率相对较低，其中类是具有相同特性(数据元素)和行为(功能)的对象的抽象，继承简单地说就是一种层次模型。边缘检测和阈值分割等方法会导致大量噪点的产生，裂缝提取的准确性较差，影响地裂缝的提取效果。人工目视解译的方法过于繁杂，且效率低、时效差，不具有推广性和实用性。

发明内容

为解决上述问题，本发明提供一种基于机器学习的无人机影像地裂缝识别及提取方法，将机器学习算法合理应用于矿区无人机影像土地裂缝的识别中，大大提高了无人机影像土地裂缝识别的效率和准确性，降低了矿区土地复杂地表信息对识别结果的干扰性，能够做到实时、客观、高精度的识别矿区地裂缝分布信息，较之原来的方法在效率性和实效性方面显著提升。此外，通过对无人机影像裂缝信息的快速准确提取，不仅在实际矿区土地复垦过程中及时掌握裂缝的位置以进行填埋等治理方式，也可以用于研究采矿对地表裂缝影像发育规律的科研工作当中。

为实现上述目的，本发明采用的技术方案是：

本发明提出的一种基于机器学习的无人机影像地裂缝识别方法，其特征在于，包括以下步骤：

步骤1)通过无人机摄影测量获得多幅含有土地裂缝的待识别矿区无人机影像数据；将获得的每幅影像数据分别切割成相同像素的含土地裂缝和不含土地裂缝的若干小幅影像数据；通过聚类分析将所有小幅影像数据中的背景信息分为：亮色裸地、暗色裸地、绿色植被和枯萎植被四类；选取具有相同背景信息的一张含土地裂缝小幅影像数据和一张不含土地裂缝小幅影像数据构成一个影像数据对，共形成多个影像数据对；按照背景信息将所有影像数据对分别构建四组影像数据集：亮色裸地影像数据集、暗色裸地影像数据集、绿色植被影像数据集和枯萎植被地影像数据集；

步骤2)利用四组所述影像数据集中各小影像数据分别建立学习样本，将与各影像数据对相应的学习样本构成学习样本对，利用各学习样本对训练基于机器学习算法的土地裂缝识别模型，用于识别不同背景信息的各小幅影像数据内是否含有裂缝；当土地裂缝识别模型输出的分类准确度达到设定阈值时，则认为土地裂缝识别模型训练完毕，执行步骤4)，如果达不到设定的阈值，则执行步骤3)；

步骤3)对步骤1)获得的各小幅影像数据分别进行降维处理和图像增强处理中的任意一种或两种，将处理后的各小幅影像数据分别更新相应相应影像数据集，返回步骤2)；

步骤4)利用无人机摄影测量获得待识别的矿区土地影像数据，将该影像数据切割成与步骤1)中小幅影像数据像素相同的若干小幅影像数据，分别输入步骤2)训练完毕的土地裂缝识别模型，得到矿区无人机影像数据中的土地裂缝识别结果。

进一步地，步骤1)中，采用两次聚类分析：第一次聚类分析采用归一化植被指数NDVI将各小幅影像数据分为裸地和植被影像数据，第二次聚类是根据第一次聚类区分的裸地和植被影像数据的亮度进一步区分亮色裸地、暗色裸地、绿色植被和枯萎植被影像数据。

进一步地，步骤1)中，

第一次聚类分析时，对每一张小幅影像数据分别提取归一化植被指数NDVI，当利用NDVI计算获取的植被面积占各自小幅影像总面积之比大于10％时认为该影像背景信息为植被，否则为裸地；所述归一化植被指数NDVI是遥感影像中在近红外波段的反射值与红光波段的反射值之差比上两者之和；

第二次聚类分析时，对于裸地影像数据，当影像数据的灰度平均值大于或等于168时，规定裸地影像数据为亮色，否则为暗色；对于植被影像数据，利用可见光波段和短波红外波段SWIR在2000-2400nm进行区分，当在植被小幅影像数据中提取的绿色植被面积超过该小幅影像面积的10％时认为背景信息为绿色植被，否则为枯萎植被。

进一步地，步骤2)中，所述机器学习算法采用支持向量机算法、随机森林算法或K最近邻法。

进一步地，步骤2)中，所述机器学习算法采用支持向量机算法，通过留一法交叉验证方法训练土地裂缝识别模型。

进一步地，步骤3)中，所述降维处理采用主成分分析方法；所述图像增强方法采用拉普拉斯锐化方法。

本发明还提出一种利用上述无人机影像地裂缝识别方法的地裂缝提取方法，其特征在于，所述地裂缝提取方法包括以下步骤：

步骤5-1)将步骤4)识别得到的所有无裂缝影像数据均变成全白色背景的影像数据；

步骤5-2)分别对步骤4)识别得到的各含裂缝影像数据进行裂缝提取，得到背景为白色、裂缝信息为黑色的灰度图像数据；

步骤5-3)将图像处理得到的无裂缝和含裂缝影像数据，按照步骤4)切割时的顺序进行拼接，得到一幅完整的大幅无人机影像土地裂缝提取图像。

本发明的特点及有益效果：

本发明提出的一种基于机器学习的无人机影像地裂缝识别及提取方法，解决了在无人机影像地裂缝提取方法中，面向对象的方法处理效率较低的缺点，边缘检测和阈值分割导致大量噪点产生的缺点，人工目视解译操作繁杂效率较低的缺点。本发明通过聚类分析合理构建数据集，其特点是根据单元法的思想将一个复杂的大尺度区域转化为简明的小尺度面积，减少了地表复杂背景信息对裂缝识别及提取造成的干扰，通过该方法合理构建数据集后可采用机器学习方法实现土地裂缝的识别及提取，不仅解决了机器学习算法在矿区地裂缝识别应用中由于矿区土地地表信息过于复杂而应用受限的问题，同时也能够做到实时、客观、高精度的识别矿区地裂缝分布信息，较之原来的方法在效率性和实效性方面显著提升。

附图说明

图1为本发明的一种基于机器学习的无人机影像地裂缝识别方法的整体流程图。

图2为本发明实施例中机器学习算法对不同数据集及总体的分类结果情况。

图3是本发发明实施例对无人机影像提取的矿区土地裂缝信息。

图4是采用已有的边缘分割方法对无人机影像提取的矿区土地裂缝信息。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了更好地理解本发明，以下详细阐述一个本发明一种基于机器学习的无人机影像地裂缝识别及提取方法的应用实例。

参见图1，本发明实施例的一种基于机器学习的无人机影像地裂缝识别方法，具体包括以下步骤：

步骤1)构建影像数据集

通过无人机摄影测量获得多幅含有土地裂缝的待识别矿区无人机影像数据，应尽可能在天气晴朗的条件下采集，且采集的多幅影像数据应覆盖整个采煤沉陷区；将获得的每幅影像数据分别切割成相同像素的含土地裂缝和不含土地裂缝的若干小幅影像数据；通过聚类分析将所有小幅影像数据中的背景信息分为：亮色裸地、暗色裸地、绿色植被和枯萎植被四类；选取具有相同背景信息的一张含土地裂缝小幅影像数据和一张不含土地裂缝小幅影像数据构成一个影像数据对，共形成多个影像数据对；按照背景信息将所有影像数据对分别构建四组影像数据集：亮色裸地影像数据集、暗色裸地影像数据集、绿色植被影像数据集和枯萎植被地影像数据集。

本步骤的具体实现方式如下：

本实施例通过大疆无人机M210RTK搭载的多光谱相机在天气晴朗且距离地表50米上空拍摄含有土地裂缝的待识别矿区影像数据，每一幅影像数据的像素为4000×3000。

本实施例利用MATLAB将像素为4000×3000的影像数据切割为若干像素均为50×50的小幅影像数据，每幅无人机影像数据可切割为4800张无人机小影像数据。由于每一幅无人机影像数据包含的地表信息过于复杂，影响后续机器学习的分类准确度，因此通过图像切割可以在一定程度上减少每幅影像数据内地表信息对机器学习分类结果的干扰，提高准确度。

本实施例对所有小幅影像数据进行两次聚类分析，第一次聚类分析采用归一化植被指数NDVI将各小幅影像数据分为裸地和植被影像数据，第二次聚类是根据第一次聚类区分的裸地和植被影像数据的亮度进一步区分亮色裸地、暗色裸地、绿色植被和枯萎植被影像数据。具体为：

首先依据聚类分析方法针对影像数据背景信息的不同分为裸地和植被两类影像数据，对每一张小幅影像数据分别提取归一化植被指数NDVI，当利用NDVI计算获取的植被面积占各自小幅影像总面积之比大于10％时认为该影像背景信息为植被，否则为裸地。归一化植被指数NDVI是遥感影像中在近红外波段的反射值与红光波段的反射值之差比上两者之和，其公式如下所示：

其中，NIR为遥感影像近红外波段的反射值，R为红光波段的反射值。

然后根据裸地的亮度和植被的颜色进行二次聚类分析：对于裸地影像数据，以影像数据的灰度平均值为168为阈值，将裸地影像数据分为亮色(像灰度平均值>168)和暗色(像灰度平均值<168)两类；对于植被影像数据，利用可见光波段及短波红外波段SWIR在2000-2400nm进行区分，当在植被小幅影像数据中提取的绿色植被面积超过该小幅影像面积的10％时认为背景信息为绿色植被，否则为枯萎植被。

根据上述聚类描述分为亮色裸地、暗色裸地、绿色植被和枯萎植被共计四组影像数据集。

步骤2)利用四组所述影像数据集中各小影像数据分别建立学习样本，将与各影像数据对相应的学习样本构成学习样本对，利用各学习样本对训练基于机器学习算法的土地裂缝识别模型，用于识别不同背景信息的各小幅影像数据内是否含有裂缝；当土地裂缝识别模型输出的分类准确度达到设定阈值时，则认为土地裂缝识别模型训练完毕，执行步骤4)，如果达不到设定的阈值，则执行步骤3)。

建立学习样本时，分别对四组影像数据集中各小幅影像数据以有裂缝或无裂缝为其标签，并以各小幅影像数据的RGB值作为其特征建立相应的学习样本，每个影像数据对分别对应的一个学习样本对。本实施例中，从亮色裸地影像数据集中各选择165张有裂缝和无裂缝的影像各选择小幅影像数据作为165个亮色裸地学习样本对，从暗色裸地影像数据集中各选择206张有裂缝和无裂缝的小幅影像数据作为206个暗色裸地学习样本对，从绿色植被影像数据集中各选择32张有裂缝和无裂缝的小幅影像数据作为32个绿色植被学习样本对，从枯萎植被影像数据集中各选择392张有裂缝和无裂缝的小幅影像数据作为392个枯萎植被学习样本对，共计1590张小幅影像数据。其中，各小幅影像数据的像素均为50×50，每个像素点均分别包含R、G、B三个数值，共计7500个维度特征值。

将各学习样本对连同其标签和特征分别输入基于机器学习算法的土地裂缝识别模型中，使该土地裂缝识别模型学习含有土地裂缝和不含有土地裂缝的影像数据特征。采用留一法交叉验证，通过改变每组影像数据集中的训练集和测试集得到多个分类准确度的值，并取平均值作为该组数据集的最终机器学习分类准确度，并将每一幅影像是否具有裂缝的结果及分类准确度的值进行输出。当土地裂缝识别模型输出的分类准确度达到设定的阈值(如85％)时，则认为土地裂缝识别模型训练完毕，执行步骤4)，如果达不到设定的阈值，则执行步骤3)。

其中，机器学习算法可以选择支持向量机SVM算法、随机森林RF算法或K最近邻法KNN等多种有监督的机器学习算法，本实施例优选支持向量机SVM算法。支持向量机SVM是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，在土地裂缝识别的过程中，其简单的理解为：通过影像数据的维度构建一个抽象的维度空间(类似于参考坐标系)，每一幅带有标签(即有裂缝或无裂缝)的影像数据可以转化为参考坐标系中一个点，通过区分两类点得到一个决策边界，并根据该决策边界判断一幅新的影像数据是否具有裂缝，例如，参考坐标系中该决策边界上边的点代表有裂缝，下边的点代表无裂缝，当判断一幅新的影像数据是否有裂缝时，只需要将该影像数据转化为参考坐标系中的点并判断其在决策边界之上还是下，上则代表该影像数据有裂缝，下则代表该影像数据无裂缝。

对于四组影像数据集，均采用留一法交叉验证来分别训练土地裂缝识别模型，以绿色植被这组影像数据集为例进行说明：本实施例中共有32个绿色植被学习样本对，每次以其中任意1对作为验证集，剩余31对作为训练集，将这32对学习样本依次输入土地裂缝识别模型后到每次输入学习样本的分类准确率，取平均值得到该影像组数据集的机器学习分类准确率。对于其他三组影像组数据集按照该方法依次对土地裂缝识别模型进行训练，最终土地裂缝识别模型分别学习了亮色裸地、暗色裸地、绿色植被和枯萎植被四种背景下有土地裂缝和无土地裂缝的图像特征。

步骤3)优化各影像数据集

利用主成分分析Principal Components Analysis(PCA)方法对步骤1)获得的各小幅影像数据分别进行降维处理使得总体维度降至原方差的95％，用降维处理后的各影像数据分别更新相应影像数据集，返回步骤2)。从线性代数的角度来看，PCA方法目标就是使用另一组基(“基”可以理解为坐标参考系)重新描述得到的数据空间，而新的基要能尽量揭示原有的数据间的关系，而这个基即最重要的主元，最大程度上的去除冗余和噪声的干扰。

或者，利用拉普拉斯锐化的图像处理方法对步骤1)获得的各小幅影像数据分别进行图像增强，用图像增强后的各影像数据分别更新相应影像数据集，返回步骤2)。通过合理的图像增强方法，可以更加突出影像数据中的裂缝信息，使得机器学习的分类更加准确。拉普拉斯锐化是一种被广泛使用的图像彩色增强方法，本实施例优选该方法进行图像增强处理。

需要说明的是，上述降维处理和增强处理可任意执行一种或同时执行，且两者在先后顺序上无特殊要求，可调换。

步骤4)利用训练完毕的土地裂缝识别模型识别矿区无人机影像数据中的土地裂缝

利用无人机摄影测量获得待识别的矿区土地影像数据，将该影像数据切割成与步骤1)中小幅影像数据像素相同的若干小幅影像数据，分别输入步骤2)训练完毕的土地裂缝识别模型，得到矿区无人机影像数据中的土地裂缝识别结果。

参加图2，为本发明提出的一种基于机器学习的无人机影像地裂缝识别方法分类结果情况。本实施例通过对四组影像数据集(亮色裸地、暗色裸地、绿色植被和枯萎植被)共计1590张带有标签(有裂缝和无裂缝为标签)的小幅无人机影像样本数据进行机器学习分类，并通过降维处理和图像增强处理，最终正确分类数量为1415，分类准确率达到88.99％，其中亮色裸地的准确率为89.70％，暗色裸地的准确率为88.35％，枯萎植被的准确率为88.65％，绿色植被的准确率为93.75％。说明本发明提出的一种基于机器学习的无人机影像地裂缝识别方法具有良好的分类效果。

进一步地，本发明在上述步骤4)对各小幅影像数据进行土地裂缝识别后，还包括土地裂缝的提取，具体过程如下：

步骤5-1)对于上述步骤4)识别得到的无裂缝影像数据，使用MATLAB的像素赋值的图像处理技术，将所有无裂缝影像数据变成全白色背景的影像数据；

步骤5-2)对于上述步骤4)识别得到的有裂缝影像数据，使用MATLAB的边缘分割的图像处理技术，对所有有裂缝影像数据进行裂缝提取，得到背景为白色，裂缝信息为黑色的灰度图像数据；

步骤5-3)将图像处理得到的无裂缝和有裂缝影像数据，按照切割时的顺序重新进行拼接，得到一幅完整的大幅无人机影像土地裂缝提取示意图，如图3所示。图4为采用目前已有的边缘分割方法提取的裂缝信息，对比图3和图4可以看出，通过已有的边缘分割方法提取裂缝信息时，植被和裸地等干扰信息导致出现了大量的噪点，在提取裂缝信息的同时也把无关信息提出了出来，而使用本方法提取裂缝信息是，避免了大量噪点的产生，提取的裂缝信息更加准确，对于实际的土地复垦工程以及裂缝发育规律的科学研究都更加的方便和准确。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于机器学习的无人机影像地裂缝识别方法，其特征在于，包括以下步骤：

步骤1)通过无人机摄影测量获得多幅含有土地裂缝的待识别矿区无人机影像数据；将获得的每幅影像数据分别切割成相同像素的含土地裂缝和不含土地裂缝的若干小幅影像数据；通过聚类分析将所有小幅影像数据中的背景信息分为：亮色裸地、暗色裸地、绿色植被和枯萎植被四类；选取具有相同背景信息的一张含土地裂缝小幅影像数据和一张不含土地裂缝小幅影像数据构成一个影像数据对，共形成多个影像数据对；按照背景信息将所有影像数据对分别构建四组影像数据集：亮色裸地影像数据集、暗色裸地影像数据集、绿色植被影像数据集和枯萎植被地影像数据集；

步骤2)利用四组所述影像数据集中各小影像数据分别建立学习样本，将与各影像数据对相应的学习样本构成学习样本对，利用各学习样本对训练基于机器学习算法的土地裂缝识别模型，用于识别不同背景信息的各小幅影像数据内是否含有裂缝；当土地裂缝识别模型输出的分类准确度达到设定阈值时，则认为土地裂缝识别模型训练完毕，执行步骤4)，如果达不到设定的阈值，则执行步骤3)；

步骤3)对步骤1)获得的各小幅影像数据分别进行降维处理和图像增强处理中的任意一种或两种，将处理后的各小幅影像数据分别更新相应相应影像数据集，返回步骤2)；

步骤4)利用无人机摄影测量获得待识别的矿区土地影像数据，将该影像数据切割成与步骤1)中小幅影像数据像素相同的若干小幅影像数据，分别输入步骤2)训练完毕的土地裂缝识别模型，得到矿区无人机影像数据中的土地裂缝识别结果。

2.根据权利要求1所述的无人机影像地裂缝识别方法，其特征在于，步骤1)中，采用两次聚类分析：第一次聚类分析采用归一化植被指数NDVI将各小幅影像数据分为裸地和植被影像数据，第二次聚类是根据第一次聚类区分的裸地和植被影像数据的亮度进一步区分亮色裸地、暗色裸地、绿色植被和枯萎植被影像数据。

3.根据权利要求2所述的无人机影像地裂缝识别方法，其特征在于，步骤1)中，

第一次聚类分析时，对每一张小幅影像数据分别提取归一化植被指数NDVI，当利用NDVI计算获取的植被面积占各自小幅影像总面积之比大于10％时认为该影像背景信息为植被，否则为裸地；所述归一化植被指数NDVI是遥感影像中在近红外波段的反射值与红光波段的反射值之差比上两者之和；

第二次聚类分析时，对于裸地影像数据，当影像数据的灰度平均值大于或等于168时，规定裸地影像数据为亮色，否则为暗色；对于植被影像数据，利用可见光波段和短波红外波段SWIR在2000-2400nm进行区分，当在植被小幅影像数据中提取的绿色植被面积超过该小幅影像面积的10％时认为背景信息为绿色植被，否则为枯萎植被。

4.根据权利要求1所述的无人机影像地裂缝识别方法，其特征在于，步骤2)中，所述机器学习算法采用支持向量机算法、随机森林算法或K最近邻法。

5.根据权利4所述的无人机影像地裂缝识别方法，其特征在于，步骤2)中，所述机器学习算法采用支持向量机算法，通过留一法交叉验证方法训练土地裂缝识别模型。

6.根据权利要求1所述的无人机影像地裂缝识别方法，其特征在于，步骤3)中，所述降维处理采用主成分分析方法；所述图像增强方法采用拉普拉斯锐化方法。

7.一种利用权利要求1～6中任意一项所述的无人机影像地裂缝识别方法的地裂缝提取方法，其特征在于，所述地裂缝提取方法包括以下步骤：

步骤5-1)将步骤4)识别得到的所有无裂缝影像数据均变成全白色背景的影像数据；

步骤5-2)分别对步骤4)识别得到的各含裂缝影像数据进行裂缝提取，得到背景为白色、裂缝信息为黑色的灰度图像数据；

步骤5-3)将图像处理得到的无裂缝和含裂缝影像数据，按照步骤4)切割时的顺序进行拼接，得到一幅完整的大幅无人机影像土地裂缝提取图像。

Images