CN112232138B - 基于超像素特征的渠道边坡破坏智能识别方法 - Google Patents

Abstract

本发明涉及一种基于超像素特征的渠道边坡破坏智能识别方法，包含SLIC超像素分割、超像素特征向量选取和设计、超像素SVM分类模型训练、图像整体边坡状态判别四个步骤，本发明利用图像识别技术，结合无人机巡检，实现了渠道图像数据的自动处理识别，避免了手动处理图像数据时处理效率低，易受人为因素干扰，以及处理结果滞后的缺点，实现工程的快速安全巡检和全覆盖检测，克服了传统安全监测中人工巡检效率低下和监测传感器监测有限断面局限性的弊端。

Description

基于超像素特征的渠道边坡破坏智能识别方法

技术领域

本发明属于水利工程供水安全领域，涉及渠道边坡破坏识别技术，尤其是一种基于超像素特征的渠道边坡破坏智能识别方法。

背景技术

供水渠道的运行安全对于充分发挥工程效益、保障输水质量至关重要。输水渠道边坡土体在冻融循环和干湿循环的交替作用下，极易产生渠坡衬砌开裂、鼓胀和剥落等不同程度的破坏，如不及时处置，坡面土体持续劣化崩解，强度降低，甚至会发生整体边坡失稳，引发滑坡，造成难以估量的经济损失。

长距离渠道人工巡检不便，勘察的效率比较低。现有工程主要通过埋设于土体内的传感器感知结构内部应力变化，以此来识别预测可能的边坡破坏事件。然而，监测传感器一般仅埋设在特定的典型断面，无法对典型断面之外区域的边坡状况进行监控识别，用有限的典型断面的监测结果来表征渠道全线的边坡安全状况，并不具备全面性。

渠道边坡破坏事件的快速识别，有助于及时采取措施防止险情进一步发展、避免次生灾害和控制经济损失。

无人机作为近年来广受关注的新型空中检测平台，具有机动灵活、视野开阔的特点，可用于解决工程巡检、搜救、安全巡视等传统领域的痛点。但对于无人机等采集的图像数据，现有方法仍停留在手动处理的阶段，低效耗时，若能利用图像识别技术从图像资料中智能识别出边坡破坏险情，将能有效克服现有手段的不足。

在土木工程的其他领域，针对混凝土结构表观破坏的图像识别技术仍然存在较多的问题，由于输水渠道结构形式的特殊性，其边坡破坏损伤具有不同于房屋、路桥等结构的外观表现形式，因此，现有的混凝土结构破坏图像识别方法难以直接适用。故有必要针对渠道开发一种能智能快速进行边坡破坏险情识别的方法。

综上所述，针对当前供水渠道边坡破坏问题安全危害严重，人工安全巡检效率低，难以进行实时快速安全诊断的问题，有必要应用图像智能识别技术，研发一种适用于渠道日常运行维护，利用无人机等进行快速巡检完成图像资料采集后，能对图像进行快速智能识别判断渠内边坡破坏情况的方法。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种针对当前供水渠道边坡破坏问题安全危害严重，人工安全巡检效率低，难以进行实时快速安全诊断的问题的基于超像素特征的渠道边坡破坏智能识别方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于超像素特征和图像特征分析，利用支持向量机分类的渠道边坡破坏图像智能识别方法，共包含SLIC(Simple Liner Iterative Clustering，简单线性迭代聚类)超像素分割、超像素特征向量选取和设计、超像素SVM(Support Vector Machine,支持向量机)分类模型训练、图像整体边坡状态判别四个步骤(如图1所示)。

步骤一：SLIC超像素分割

利用无人机航拍图像，搜集构建渠道边坡状态的样本数据集。对于搜集到的渠道边坡破坏图像数据集(包括训练集和测试集)进行SLIC超像素分割，把一幅像素级的图像划分成区域级的图像，对每个超像素的类型(正常/破坏)进行标注。

SLIC算法运行时需要设置超像素数量和紧密度两个参数。选定合适参数对所有图像进行SLIC超像素分割后，再对每个超像素的类型(正常/破坏)进行标注。在输水期，图像内除了正常(或破坏)边坡衬砌外，还存在水体，应当把水体也视为属于正常标签，即：除了破坏的边坡衬砌被标注为“破坏”外，水体和正常的边坡衬砌均被标注为“正常”。

步骤二：超像素特征向量选取

根据渠道表层混凝土衬砌表现出来的特点，采用和提出了能够表征区分正常衬砌和破坏衬砌的超像素纹理和颜色特征向量，包括LBP(Local Binary Pattern，局部二值模式)、EHD(Edge Histogram Descriptor，边缘直方图描述符)、HSV(Hue Saturation Value，色调饱和值)空间颜色直方图。当LBP直方图数值集中规律分布时，说明边坡衬砌以统一的纹理模式呈现规律性的排布，边坡正常无损；当LBP直方图数值发散无规律分布时，说明衬砌呈现出不同的纹理特性，比如出现锯齿状、轮廓变粗糙等，边坡破损。当EHD直方图中各子图数值分布规律相似时，说明边坡混凝土衬砌边缘呈现有规律的分布，边坡正常无损。当EHD直方图中各子图数值分布无规律时，说明边坡混凝土衬砌边缘提取结果较为紊乱，边坡处于破损状态。

HSV空间颜色直方图是基于衬砌正常和破坏状态下超像素区域的HSV色彩空间的不同特征而提出的，其特征向量的构成如下：

{S_hist_cur，V_hist_cur，S_hist_adj，V_hist_adj}

式中，S_hist_cur和V_hist_cur分别为当前超像素S通道直方图和V通道直方图；S_hist_adj和V_hist_adj则分别为与当前超像素相邻的所有超像素构成区域的S通道直方图和V通道直方图。当衬砌发生破坏时，其对应的超像素区域较暗，V_hist_cur和S_hist_cur分别集中分布在低值区域和高值区域。当衬砌处于正常时，其对应的超像素区域呈明亮，V_hist_cur和S_hist_cur分别集中分布在高值区域和低值区域。当某超像素内存在破坏的情况时，其周边的相邻超像素也发生衬砌破坏的可能性降低，S_hist_adj和V_hist_adj会呈现出与S_hist_cur和V_hist_cur相反的分布特征。

这些特征向量作为后续SVM模型训练的输入选项。

步骤三：超像素SVM分类模型训练

利用无人机航拍图像搜集到的渠道边坡状态的训练数据集，以步骤二选取的特征向量为输入，超像素所反映的边坡状态(破坏或正常)为输出训练SVM二元分类模型。构建训练数据集时，按上述备选特征向量，对图像分割得到的超像素进行特征提取，并标注每个超像素的类型标签。在构建得到的训练数据集上，采用支持向量机训练便可得到边坡状态的超像素分类模型。

步骤四：图像整体边坡状态判别

以训练得到的模型，对图像中超像素所反映的局部边坡区域是否发生破坏进行判断。为避免噪声和SVM模型精度的影响，以单个超像素的分类结果来推测整个图像的边坡状态并不具备代表性和全面性，所以需综合考虑图像中所有超像素的分类结果，来判断图像中的整体边坡是否处于破坏状态，提出了一个基于计数统计和阈值划分的图像整体边坡状态识别方法，具体步骤如下：

1.统计测试集上所有“破坏”图像和“正常”图像被超像素分类模型分类为“破坏”的超像素个数分布，用Si(i＝1,2,……,N)表示某个具体的超像素，用Classifier_SVM(x)表示其超像素分类结果，其定义为

2.根据统计结果，确定可将两类图像完全区分开的阈值th，当图像中被SVM模型识别为破坏状态的超像素个数超过阈值th时，认为图像中存在边坡破坏的可能性远大于正常状态。

3.对考察的图像统计其超像素分类结果，当式(5.2)成立时，判断图像中发生了边坡破坏；否则，认为渠道边坡处于正常安全状态。

本发明的优点和积极效果是：

本发明利用图像识别技术，结合无人机巡检，实现了渠道图像数据的自动处理识别，避免了手动处理图像数据时处理效率低，易受人为因素干扰，以及处理结果滞后的缺点，实现工程的快速安全巡检和全覆盖检测，克服了传统安全监测中人工巡检效率低下和监测传感器监测有限断面局限性的弊端。

附图说明

图1为本发明渠道边坡破坏识别技术流程图；

图2为本发明不同状态下衬砌图像的LBP直方图；

图3为本发明不同状态下衬砌图像的EHD直方图；

图4为本发明不同特征向量下超像素分类模型的性能曲线图；

图5为本发明测试集上识别为“破坏”的超像素个数分布；

图6为本发明实际边坡破坏图像的识别结果图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

本发明提供了一种适用于渠道日常运行维护，利用无人机快速巡检完成图像资料采集后，能对图像进行快速智能识别，进而判断渠内边坡破坏情况的方法。共包含SLIC超像素分割、超像素特征向量选取和设计、超像素SVM分类模型训练、图像整体边坡状态判别四个步骤步骤一：SLIC超像素分割

利用无人机航拍图像，搜集构建渠道边坡状态的样本数据集，共搜集到了34张渠道边坡破坏图像和41张渠道正常状态图像。采用Python机器学习库Keras的ImageDataGenerator函数对原始集进行数据扩充，然后将该图像数据集划分为训练集和测试集。

对图像集中所有数据进行兴趣区提取处理，将图像中无关边坡破坏识别的背景去除。在保证宽高比不变的前提下，将所有图像的宽度调整为1600像素。

SLIC算法程序以“数量＝400、紧密度＝20”为参数对所有图像进行SLIC超像素分割。

SLIC超像素分割算法的具体步骤如下：

(1)初始化种子点。根据预设的目标超像素个数，在图像上按等间隔步长设置种子点。假设待分析图像共有N个像素组成，欲得到的超像素个数为K，则初始化的每个超像素区域面积为N/K，相邻种子点间的间隔步长为

(2)优化初始种子点。以初始化生成的种子点为中心，计算其3×3邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。

(3)图像像素K-means聚类。以(2)中优化后的初始种子点为初始聚类中心，对待分析图像上的所有像素点进行K-means聚类。为加快收敛速度，此处聚类的搜索范围仅限制在聚类中心周边的2S×2S区域内。聚类所依据的距离度量由式(6.1)～式(6.3)确定：

其中，d_c和d_s分别为颜色距离和空间距离，D为最终的距离度量；l、a、b分别为Lab颜色空间的三个通道值，x、y为图像像素位置坐标，i、j分别代表种子像素和待聚类像素；m为一固定常数，取值范围为[1,40]，一般取10；S如前所述，为种子间隔步长，其值

4.增强连通性。经过K-means算法迭代优化后，按照从左到右、从上到下的顺序将不连续或尺寸过小的超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完成为止。

超像素分割完成后对每个超像素的类型(正常/破坏)进行标注。在输水期，图像内除了正常(或破坏)边坡衬砌外，还存在水体，应当把水体也视为属于正常标签，即：除了破坏的边坡衬砌被标注为“破坏”外，水体和正常的边坡衬砌均被标注为“正常”。

步骤二：超像素特征向量选取和设计

根据渠道表层混凝土衬砌表现出来的特点，采用和提出了能够表征区分正常衬砌和破坏衬砌的超像素纹理和颜色特征向量，包括LBP、EHD、HSV空间颜色直方图。

LBP是一种有效的纹理特征描述子。计算图像中的LBP值，先逐个像素分析其8邻域中(3×3的窗口)的8个像素，依据周围像素与中心像素的灰度值比较，对周围像素进行标记为0或1。LBP值即为八个周边像素点的标记值按顺序组合构成的8位二进制数。对图像上的所有像素进行上述操作，得到图像的LBP编码图，统计编码图上编码值出现的次数，得到LBP直方图。由LBP直方图256个通道数值形成的向量即为原始图像的LBP描述子。

为使LBP描述子具备旋转不变性，不断旋转像素邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。由于在渠道边界附近的超像素往往呈现出不同于正常水面的纹理特性，引入一个元素描述超像素相对渠边的位置：以元素值为1或0代表超像素是否在渠道边界附近。当LBP直方图数值集中规律分布时，说明边坡衬砌以统一的纹理模式呈现规律性的排布，边坡正常无损；当LBP直方图数值发散无规律分布时，说明衬砌呈现出不同的纹理特性，比如出现锯齿状、轮廓变粗糙等，边坡破损。不同状态下衬砌图像的LBP直方图对比见图2。

EHD是表征图像纹理方向分布的特征描述符。计算图像中的EHD值，算法首先将输入图像分成4×4分布的16个子图，用canny算子提取图像的边缘并计算生成每个子图的边缘直方图。每个边缘直方图包括五个表示不同方向边缘类型(竖直、水平、45度对角、135度对角和无方向)的刻度。对所有子图的边缘直方图进行首尾相接，得到由80个元素构成的EHD描述符。对五个边缘方向类型在整张图像上的分布进行了累加统计，把结果作为备选特征向量的一部分，得到的EHD描述符共包括80+5＝85个通道。

当EHD直方图中各子图数值分布规律相似时，说明边坡混凝土衬砌边缘呈现有规律的分布，边坡正常无损。当EHD直方图中各子图数值分布无规律时，说明边坡混凝土衬砌边缘提取结果较为紊乱，边坡处于破坏状态。不同状态下衬砌图像的EHD直方图对比见图3。

基于衬砌正常或破坏状态下超像素区域的HSV色彩空间的不同特征而提出了HSV空间颜色直方图，其特征向量的构成如下：

{S_hist_cur，V_hist_cur，S_hist_adj，Vhist_adj}

式中，S_hist_cur和V_hist_cur分别为当前超像素S通道直方图和V通道直方图；S_hist_adj和V_hist_adj则分别为与当前超像素相邻的所有超像素构成区域的S通道直方图和V通道直方图。取直方图横轴的刻度数为4，故整个特征向量的维度为4×4＝16个元素。当衬砌发生破坏时，其对应的超像素区域较暗，V_hist_cur和S_hist_cur分别集中分布在低值区域和高值区域。当衬砌处于正常时，其对应的超像素区域呈明亮，V_hist_cur和S_hist_cur分别集中分布在高值区域和低值区域。当超像素内存在破坏的情况时，其周边的相邻超像素也发生衬砌破坏的可能性降低，S_hist_adj和V_hist_adj会更大概率呈现出与S_hist_cur和V_hist_cur相反的分布特征。

这些特征向量作为后续SVM模型训练的输入选项。

步骤三：超像素SVM分类模型训练

利用无人机航拍图像搜集到的渠道边坡状态的训练数据集，将上步选取的特征向量作为输入，超像素所反映的边坡状态(破坏或正常)为输出训练SVM二元分类模型。

上步选取的单个特征向量均可在一定程度上反应边坡破坏的情况，根据组合方式的不同，可包括“LBP”、“EHD”、“HSV”、“LBP+EHD”、“LBP+HSV”、“EHD+HSV”、“LBP+EHD+HSV”七种组合，分别训练模型后比较模型的预测精度后来确定最佳的组合方式。

首先用Python机器学习库scikit-learn的支持向量机模块SVC进行超像素“正常/破坏”二元分类模型的训练，调试该库的三个超参数kernel、C和gamma使训练模型最优。为处理不同类型样本间的数据量不均衡问题而设置参数“class_weight＝’balanced’”。

对于训练得到的模型在测试集上进行性能评价，得到如图4所示的模型分类性能曲线。曲线表示了模型误报率和检测率之间的关系。性能曲线越往坐标平面左上角靠拢，对应的模型预测性能越好。从汇总结果可以看出，此时“LBP+HSV”为最优的特征向量组合。在该特征向量组合下，当模型的超参数取kernel＝“rbf”，C＝100，gamma＝0.9时，训练得到的模型在测试集上的预测精度最高，此时，模型的总体准确率可达到90％。

步骤四：图像整体边坡状态判别

以训练得到的模型，对图像中超像素所反映的局部边坡区域是否发生破坏进行判断。为避免噪声和SVM模型精度的影响，以单个的超像素分类结果来推测整个图像的边坡状态并不具备代表性和全面性，所以需综合考虑图像中所有超像素的分类结果，来判断图像中的整体边坡是否处于破坏状态，提出了一个基于计数统计和阈值划分的图像整体边坡状态识别方法，具体步骤如下：

(1)统计测试集上所有“破坏”图像和“正常”图像被超像素分类模型分类为“破坏”的超像素个数分布，用Si(i＝1,2,……,N)表示某个具体的超像素，用Classifier_SVM(x)表示其超像素分类结果，其定义如下

(2)根据统计结果，确定可将两类图像完全区分开的阈值th，当图像中被SVM模型识别为破坏状态的超像素个数超过阈值时，认为图像中存在边坡破坏的可能性远大于正常状态。

(3)对考察的图像统计其超像素分类结果，当式(6.5)成立时，判断图像中发生了边坡破坏；否则，认为渠道边坡处于正常安全状态。

如图5展现了测试集上所有“破坏”图像和“正常”图像被优选模型分类为“破坏”的超像素个数分布，边坡破坏图像内被分类为“破坏”的超像素的个数远远超过正常图像。当取th＝20时，两类图像间可以完全被区分开。将“破坏”超像素个数大于20的图像状态识别为“破坏”，反之，则识别为“正常”。本文所提出的方法对数据集内所有的图像，均实现了正确的边坡状态识别。

在识别为破坏状态的图像上，以醒目颜色(如红色)高亮被分类为“破坏”的超像素，并以柔和颜色(如绿色)表示其他“正常”区域，对模型识别结果进行可视化，如图6所示。通过该可视化方式，可直观对具体的破坏位置进行显示定位，有利于辅助工程决策。

尽管为说明目的公开了本发明的实施例，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例所公开的内容。

Claims (4)

1.一种基于超像素特征的渠道边坡破坏智能识别方法，其特征在于：包含SLIC超像素分割、超像素特征向量选取和设计、超像素SVM分类模型训练、图像整体边坡状态判别四个步骤，具体操作方法如下：

步骤一：SLIC超像素分割

利用无人机航拍图像，搜集构建渠道边坡状态的样本数据集，对于搜集到的渠道边坡破坏图像数据集，包括训练集和测试集，进行SLIC超像素分割，把一幅像素级的图像划分成区域级的图像，对每个超像素的正常/破坏类型进行标注；

步骤二：超像素特征向量选取

根据渠道表层混凝土衬砌表现出来的特点，采用能够表征区分正常衬砌和破坏衬砌的超像素纹理和颜色特征向量，包括LBP、EHD、HSV空间颜色直方图，上述特征向量作为后续SVM模型训练的输入选项；

步骤三：超像素SVM分类模型训练

利用无人机航拍图像搜集到的渠道边坡状态的训练数据集，以步骤二选取的特征向量为输入，超像素所反映的边坡状态为输出训练SVM二元分类模型，构建训练数据集时，按上述备选特征向量，对图像分割得到的超像素进行特征提取，并标注每个超像素的类型标签，在构建得到的训练数据集上，采用支持向量机训练便可得到边坡状态的超像素分类模型，单个特征向量组合包括“LBP”、“EHD”、“HSV”、“LBP+EHD”、“LBP+HSV”、“EHD+HSV”、“LBP+EHD+HSV”，其中，“LBP+HSV”为最优的特征向量组合，在该特征向量组合下，当模型的超参数取kernel＝“rbf”，C＝100，gamma＝0.9时，训练得到的模型在测试集上的预测精度最高；

步骤四：图像整体边坡状态判别

以训练得到的模型，对图像中超像素所反映的局部边坡区域是否发生破坏进行判断，具体方法步骤如下：

⑴统计测试集上所有“破坏”图像和“正常”图像被超像素分类模型分类为“破坏”的超像素个数分布，用Si(i＝1,2,……,N)表示某个具体的超像素，用Classifier_SVM(x)表示其超像素分类结果，其定义为

⑵根据统计结果，确定可将两类图像完全区分开的阈值th，当图像中被SVM模型识别为破坏状态的超像素个数超过阈值th时，认为图像中存在边坡破坏的可能性远大于正常状态；

⑶对考察的图像统计其超像素分类结果，当式(1-2)成立时，判断图像中发生了边坡破坏；否则，认为渠道边坡处于正常安全状态。

2.根据权利要求1所述的一种基于超像素特征的渠道边坡破坏智能识别方法，其特征在于：所述的SLIC超像素分割算法的具体步骤如下：

(1)初始化种子点，根据预设的目标超像素个数，在图像上按等间隔步长设置种子点，假设待分析图像共有N个像素组成，欲得到的超像素个数为K，则初始化的每个超像素区域面积为N/K，相邻种子点间的间隔步长为

(2)优化初始种子点，以初始化生成的种子点为中心，计算其3×3邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；

(3)图像像素K-means聚类，以(2)中优化后的初始种子点为初始聚类中心，对待分析图像上的所有像素点进行K-means聚类，为加快收敛速度，此处聚类的搜索范围仅限制在聚类中心周边的2S×2S区域内，聚类所依据的距离度量由式(6.1)～式(6.3)确定：

其中，d_c和d_s分别为颜色距离和空间距离，D为最终的距离度量；l、a、b分别为Lab颜色空间的三个通道值，x、y为图像像素位置坐标，i、j分别代表种子像素和待聚类像素；m为一固定常数，取值范围为[1,40]，一般取10；S如前所述，为种子间隔步长，其值

3.根据权利要求1所述的一种基于超像素特征的渠道边坡破坏智能识别方法，其特征在于：SLIC算法运行时需要设置超像素数量和紧密度两个参数，选定参数对所有图像进行SLIC超像素分割后，再对每个超像素的正常/破坏类型进行标注，在输水期，图像内除了正常或破坏边坡衬砌外，还存在水体，把水体视为正常标签，即除了破坏的边坡衬砌被标注为“破坏”外，水体和正常的边坡衬砌均被标注为“正常”。

4.根据权利要求1所述的一种基于超像素特征的渠道边坡破坏智能识别方法，其特征在于：HSV空间颜色直方图是基于衬砌正常和破坏状态下超像素区域的HSV色彩空间的不同特征而提出的，其特征向量的构成如下：

{S_hist_cur，V_hist_cur，S_hist_adj，V_hist_adj}

式中，S_hist_cur和V_hist_cur分别为当前超像素S通道直方图和V通道直方图；S_hist_adj和V_hist_adj则分别为与当前超像素相邻的所有超像素构成区域的S通道直方图和V通道直方图。

Images