CN109409406A - 一种水坝坝体异常情况的空基检测方法与装置 - Google Patents

Abstract

本发明公开了一种水坝坝体异常情况的空基检测方法与装置，属于图像处理技术领域。该装置包括无人机搭载高清摄像装置、避障器、角度传感器、速度传感器，高度传感器以及GPS定位设备。首先采集指定位置图像，通过旋转和翻转对原始图像进行变换，得到新的训练集；然后使用RPN通过滑动窗口提取特征区域，使用卷积神经网络分别训练相应的模型，并通过反卷积操作实现上采样，得到决策图和每个点的置信概率，并与设定好的阈值比较，得出检测结果是否发生异常以及异常的种类。通过交叉熵损失函数将检测结果与该点的真实值进行比较，缩小决策图的检测结果与真实结果的差值。本发明精度高、速度快、省工、省力、内容全面，实现了任意加密测次。

Description

一种水坝坝体异常情况的空基检测方法与装置

技术领域

本发明属于图像处理技术领域，具体是一种水坝坝体异常情况的空基检测方法与装置。

背景技术

我国是个山川、河流众多的国家，尤其是南方地区，河流湖泊密布，特别是中小河流，纵横交错，如此众多的河流，极易造成洪水灾害。为防止洪水灾害给人们造成危害和财产损失，兴建水库大坝工程是一个极好的解决办法。同时，水库大坝还可以用来发电、灌溉等，有众多的价值。

但是大坝带给社会便利的同时也存在着巨大的安全问题。水库大坝工程的重要结构绝大部分由混凝土构件组成，而且建造在地址构造复杂、岩土特性不均匀的地基上。在长期的使用过程中，由于风浪、腐蚀、水力冲刷以及温度应力等外部原因的侵扰、材料性能的改变以及施工条件的限制等诸多因素的影响，其工作性态和安全状况不可避免的会出现各种问题。如果出现异常，又不被及时发现，任其发展，后果不堪设想。为了详细地了解大坝是否出现异常情况，就需要对大坝各个部位进行检测。

现有的测量方式有在线测量与人工测量两种方式，传统的在线测量是将测量设备固定于一点，定时进行测量，并将测量数据通过有线或无线的形式传输回地面。这样做存在着测范围小，投入成本大且难维护等问题，而传统的人工测量方法是人工到指定测量水域或测量点，进行人工测量和记录，上岸再完成数据整理和报告，由于仪器设备精度问题以及检测人员的素质差异，这样做存在着效率低、安全性差、人为因素干扰测量值的准确性等缺点。对于一定规模的大坝检测系统，人工检测的劳动强度十分大，尤其当大坝经受大洪水等较危险荷载作用而需要加密测次时，人工检测往往难以胜任。

随着无人机技术的不断成熟与发展，其应用领域越来越广泛，将无人机用于大坝检测，可解决传统测量的缺点。无人机检测具有精度高、速度快、省工、省力、内容全面等优点，且可以任意加密测次。同时，其研发周期较短，部署快且机动灵活，价格也较便宜。利用无人机进行大坝检测具有广阔的发展前景，在一些地势险峻的区域能发挥极大的作用。

发明内容

由于诸多因素的影响，水库大坝工程的工作性态和安全状况不可避免的会出现各种问题，针对上述问题，本发明提供了一种水坝坝体异常情况的空基检测方法与装置，利用无人机作为数据采集终端，对水坝坝体异常情况进行检测，可判定水坝坝体是否发生异常，若有，为何种异常；代替人工测量，精度高、速度快、省工、省力且内容全面，是空基监视技术的重要应用，对水坝安全有着重大意义。

所述的空基检测装置具体包括：

无人机搭载高清摄像装置、避障器、角度传感器、速度传感器，高度传感器以及GPS定位设备，按固定航线固定高度飞行，及时调整无人机飞行高度和无人机避障，高清摄像装置拍摄水坝各个位置，得到高清图像进行存储。

所述的空基检测方法，具体步骤如下：

步骤一、无人机搭载高清摄像装置，按特定轨迹、特定高度飞行，对水坝进行巡检，采集指定位置图像；

步骤二、对采集的原始图像进行预处理，通过旋转和翻转，依次对原始图像进行变换，得到新的训练集；

首先，对所有原始图像进行尺度归一化处理，保证每个作为训练样本的图像尺度相同；

然后，对尺度相同的训练样本分别进行旋转变换；

设定逆时针旋转角度为θ，旋转前某个训练样本上的某点A坐标为(x₀,y₀)，旋转后该点A的坐标为(x₁,y₁)，则有

x₁＝x₀cosθ-y₀sinθ

y₁＝x₀sinθ+y₀cosθ

最后，对旋转变换后的各个训练样本进行随机翻转处理，构成新的训练集。

步骤三、对新的训练集图像，使用全卷积网络RPN通过滑动窗口，对各个图像检测并提取特征区域；

具体为：针对某个训练集图像，输入到全卷积网络RPN后，在最后卷积得到的特征图上使用一个小网络进行滑动扫描，这个滑动小网络每次与特征图上3*3的窗口全连接，然后映射到一个低维向量，最后将这个低维向量分别送入到两个全连接层：bbox回归层(reg)和bbox分类层(cls)从而得到各类特征区域，bbox回归层负责调整训练集原始图像中特征区域的具体位置，bbox分类层负责分类各种特征区域。

特征区域包括：水坝迎水面为一类，防浪墙为一类，坝顶为一类，背水坡坝面、坝脚为一类，迎水面大坝附近水面为一类。

步骤四、对提取的每类特征区域，使用卷积神经网络分别训练相应的模型，并通过反卷积操作实现上采样，将每张特征图放大到和原图相同大小的决策图，释放特征信息，得到决策图每个点的置信概率，并与设定好的阈值比较，得出各类特征区域内该点的检测结果是否发生异常以及发生异常的种类。

每个模型设定各自的阈值，当某个决策图中某个点的置信概率大于阈值时，视为该决策图发生异常；异常种类为该决策图对应的特征区域种类；

具体检测内容包括：对迎水面大坝附近是否有旋涡进行检测，对迎水面护坡块石是否有移动、凹陷或突鼓进行检测，对防浪墙、坝顶是否有裂缝进行检测，对坝顶是否有塌坑进行检测，对背水坡坝面、坝脚及镇压层范围内是否出现渗漏突鼓现象进行检测，对大坝附近及溢洪道两侧山体岩石是否错动或出现新裂缝进行检测。

步骤五、根据检测结果结合梯度下降算法，运用反向传播更新网络参数，通过交叉熵损失函数将决策图每个点的检测结果与该点的真实值进行比较，缩小决策图的检测结果与真实结果的差值。

通过反向传播，计算交叉熵损失函数的梯度以及各层的输出误差，得到权重矩阵W和偏置b的梯度表达式，并用梯度下降法优化W和b，更新特征网络参数，不断优化损失函数的值，使得决策图检测结果与真实结果相差越来越小。

设输入为x_i，则对应神经网络的输出为a_i，交叉熵损失函数C如下所示：

n为训练数据的总数，求和是在所有训练输入x上进行的，y_i为i点真实的label，a_i为判决图中i点对应的置信概率。

本发明的优点在于：

1)、一种水坝坝体异常情况的空基检测方法，利用深度学习方法检测异常，具有精度高、速度快、省工、省力、内容全面等优点，可以替代传统的在线测量与人工测量；

2)、一种水坝坝体异常情况的空基检测装置，具有省工，省力，且可以任意加密测次的优点。

附图说明

图1为本发明一种水坝坝体异常情况的空基检测方法的流程图。

图2为本发明一种水坝坝体异常情况的空基检测装置的结构图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供了一种搭载高清摄像装置的无人机，对大型水坝等水利工程建筑物的异常情况进行检测。水坝坝体异常情况是指其运行过程中出现偏离于正常变化趋势的现象，如坝顶有无裂缝、异常变形、积水或植物滋生、凹陷等；防浪墙有无开裂、挤碎、架空、错断、倾斜等；迎水面护坡是否损坏，有无裂缝、剥落、滑动、隆起、塌陷、冲刷、或植物滋生等；背水坡及坝趾下游有无裂缝、剥落、滑动、隆起、塌陷、冲刷、积雪不均匀融化、冒水、渗水、流土、管涌、植物滋生、兽洞、蚁穴等。因此对水坝异常情况的监测就有了十分重要的意义。而对结构庞大、复杂的大型水坝，利用无人机进行检测更加安全、全面。

本发明图像采集由搭载高清摄像装置的无人机完成，图像处理具体有：图像预处理、特征区域提取、特征区域检测和分类判决。在图像预处理方面，通过旋转、随机翻转等方法，得到更多训练样本，为模型的训练提供更多数据；在特征区域提取中，通过卷积神经网络，对图像进行特征区域划分与提取，例如提取水坝迎水面为一类，防浪墙为一类，坝顶为一类，背水坡坝面、坝脚为一类等等；在特征区域检测中，对提取的各类特征区域，分别用对应的模型检测，通过回归网络得到决策图；在分类判决中，根据决策图中的每个像素点的值进行判断，最终确定图像中水坝是否发生异常情况，若发生异常情况，是哪种异常。经过训练，整个网络可以有效检测图片中水坝异常情况的发生，并判别发生了哪种异常情况，判别结果较为准确，效果显著。

所述的空基检测装置，如图2所示，具体包括：

无人机搭载高清摄像装置、避障器、角度传感器、速度传感器，高度传感器以及GPS定位设备，按固定航线固定高度飞行，及时调整无人机飞行高度和无人机避障，高清摄像装置拍摄水坝各个位置，得到高清图像进行存储。

所述的空基检测方法，如图1所示，具体步骤如下：

步骤一、无人机搭载高清摄像装置，按特定轨迹、特定高度飞行，对水坝进行巡检，采集指定位置图像；

通过无人机搭载的高清摄像装置对水坝进行拍摄，得到水坝各个位置的高清图像，并将图像存储便于后期分析处理，以实现对水坝的异常检测。所述无人机按固定航线固定高度飞行；所述无人机搭载GPS定位设备，避障器、角度传感器、速度传感器、高度传感器，用于调整无人机飞行高度和无人机避障。

步骤二、对采集的原始图像进行预处理，通过旋转和随机翻转变换，依次对原始图像进行变换，得到新的训练集；

首先，对所有原始图像进行尺度归一化处理，保证每个作为训练样本的图像尺度相同；

然后，对尺度相同的训练样本分别进行旋转变换；

设定逆时针旋转角度为θ，旋转前某个训练样本上的某点A坐标为(x₀,y₀)，旋转后该点A的坐标为(x₁,y₁)，则有

x₁＝x₀cosθ-y₀sinθ

y₁＝x₀sinθ+y₀cosθ

最后，对旋转变换后的各个训练样本进行随机翻转处理，构成新的训练集。

由于无人机采集图像会有角度、位置等的漂移，通过图像预处理，得到更多的训练样本，有利于模型识别各个角度和方向的图像，减小了因无人机拍摄角度问题造成的干扰；

步骤三、对新的训练集图像，使用区域生成网络RPN(也是全卷积网络)通过滑动窗口，对各个图像检测并提取特征区域；

对无人机采集到的图像，使用卷积神经网络，检测并提取特征区域。因为无人机所拍摄的图像大多包含水坝多个部位，而不同部位所发生的异常情况不同。通过提取不同特征区域，可以突出异常特征，有针对性地对该区域可能发生的异常情况进行检测。

具体为：针对某个训练集图像，输入到全卷积网络RPN后，在最后卷积得到的16*16特征图上使用一个小网络进行滑动扫描，这个滑动小网络每次与特征图上3*3的窗口全连接，然后映射到一个低维向量，最后将这个低维向量分别送入到两个全连接层：bbox回归层(reg)和bbox分类层(cls)从而得到各类特征区域。bbox回归层负责调整训练集原始图像中特征区域的具体位置，bbox分类层负责分类各种特征区域。

特征区域包括：水坝迎水面为一类，防浪墙为一类，坝顶为一类，背水坡坝面、坝脚为一类，迎水面大坝附近水面为一类。

步骤四、对提取的每类特征区域，使用卷积神经网络分别训练相应的模型进行检测，通过反卷积操作实现上采样，将每张特征图放大到和原图相同大小的决策图，释放特征信息，得到决策图每个点的置信概率，并与设定好的阈值比较，得出各类特征区域内该点的检测结果：是否发生异常以及发生异常的种类。

针对不同的特征区域使用不同的模型检测异常，每个模型设定各自的阈值，当某个决策图中某个点的置信概率大于阈值时，视为该决策图发生异常；异常种类为该决策图对应的特征区域种类；比如迎水面设置3个阈值，置信概率大于第一个小于第二个阈值时视为发生一类异常，大于第二个属于另一类，小于三个阈值为正常。

具体检测包括：对迎水面大坝附近是否有旋涡进行检测，对迎水面护坡块石是否有移动、凹陷或突鼓进行检测，对坝顶是否有裂缝、异常变形、积水或植物滋生、凹陷等进行检测，对坝顶是否有塌坑进行检测，对背水坡坝面、坝脚及镇压层范围内是否出现渗漏突鼓现象进行检测，对大坝附近及溢洪道两侧山体岩石是否错动或出现新裂缝进行检测；对防浪墙有无开裂、挤碎、架空、错断、倾斜等进行检测；对迎水面护坡是否损坏，有无裂缝、剥落、滑动、隆起、塌陷、冲刷、或植物滋生等进行检测；对背水坡及坝趾下游有无裂缝、剥落、滑动、隆起、塌陷、冲刷、积雪不均匀融化、冒水、渗水、流土、管涌、植物滋生、兽洞、蚁穴等进行检测。

步骤五、根据检测结果结合梯度下降算法，运用反向传播更新网络参数，通过交叉熵损失函数将决策图每个点的检测结果与该点的真实值进行比较，缩小决策图的预测结果与真实结果的差值。

通过反向传播，计算交叉熵损失函数的梯度以及各层的输出误差，得到权重矩阵W和偏置b的梯度表达式，并用梯度下降法优化W和b，更新特征网络参数，不断优化损失函数的值，使得决策图预测结果与真实结果相差越来越小。

设输入为x_i，则对应神经网络的输出为a_i，交叉熵损失函数C如下所示：

n为训练数据的总数，求和是在所有训练输入x上进行的，y_i为i点真实的label，a_i为判决图中i点对应的置信概率。

通过以上步骤，可以训练出所需的检测水坝异常的模型，在实际应用中，利用该模型对采集到的水坝图像进行检测，可得到水坝异常的检测结果。

具体实施过程为：采集大坝图像；通过卷积神经网络，对图像进行特征区域划分与提取；对提取的各类特征区域，分别用对应的模型检测，通过回归网络得到判决图，然后对其进行分类判决；对判决图进行判决，根据设定好的阈值，按照回归网络得到的每个点的置信概率，得出特征区域内该点的检测结果：是否发生异常，若有，该种异常为哪种。如果某点的置信概率大于设定阈值，则该点发生异常情况。反之不是。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种水坝坝体异常情况的空基检测方法，其特征在于，具体步骤如下：

步骤一、无人机搭载高清摄像装置，按特定轨迹、特定高度飞行，对水坝进行巡检，采集指定位置图像；

步骤二、对采集的原始图像进行预处理，通过旋转和翻转，依次对原始图像进行变换，得到新的训练集；

步骤三、对新的训练集图像，使用全卷积网络RPN通过滑动窗口，对各个图像检测并提取特征区域；

具体为：针对某个训练集图像，输入到全卷积网络RPN后，在最后卷积得到的特征图上使用一个小网络进行滑动扫描，这个滑动小网络每次与特征图上3*3的窗口全连接，然后映射到一个低维向量，最后将这个低维向量分别送入到两个全连接层：bbox回归层和bbox分类层从而得到各类特征区域；

步骤四、对提取的每类特征区域，使用卷积神经网络分别训练相应的模型，并通过反卷积操作实现上采样，将每张特征图放大到和原图相同大小的决策图，释放特征信息，得到决策图每个点的置信概率，并与设定好的阈值比较，得出各类特征区域内该点的检测结果是否发生异常以及发生异常的种类；

每个模型设定各自的阈值，当某个决策图中某个点的置信概率大于阈值时，视为该决策图发生异常；异常种类为该决策图对应的特征区域种类；

步骤五、根据检测结果结合梯度下降算法，运用反向传播更新网络参数，通过交叉熵损失函数将决策图每个点的检测结果与该点的真实值进行比较，缩小决策图的检测结果与真实结果的差值；

通过反向传播，计算交叉熵损失函数的梯度以及各层的输出误差，得到权重矩阵W和偏置b的梯度表达式，并用梯度下降法优化W和b，更新特征网络参数，不断优化损失函数的值，使得决策图检测结果与真实结果相差越来越小。

2.如权利要求1所述的一种水坝坝体异常情况的空基检测方法，其特征在于，所述的步骤二具体为：

首先，对所有原始图像进行尺度归一化处理，保证每个作为训练样本的图像尺度相同；

然后，对尺度相同的训练样本分别进行旋转变换；

设定逆时针旋转角度为θ，旋转前某个训练样本上的某点A坐标为(x₀,y₀)，旋转后该点A的坐标为(x₁,y₁)，则有

x₁＝x₀cosθ-y₀sinθ

y₁＝x₀sinθ+y₀cosθ

最后，对旋转变换后的各个训练样本进行随机翻转处理，构成新的训练集。

3.如权利要求1所述的一种水坝坝体异常情况的空基检测方法，其特征在于，所述的特征区域包括：水坝迎水面为一类，防浪墙为一类，坝顶为一类，背水坡坝面、坝脚为一类，迎水面大坝附近水面为一类。

4.如权利要求1所述的一种水坝坝体异常情况的空基检测方法，其特征在于，所述的步骤四中具体检测内容包括：对迎水面大坝附近是否有旋涡进行检测，对迎水面护坡块石是否有移动、凹陷或突鼓进行检测，对防浪墙、坝顶是否有裂缝进行检测，对坝顶是否有塌坑进行检测，对背水坡坝面、坝脚及镇压层范围内是否出现渗漏突鼓现象进行检测，对大坝附近及溢洪道两侧山体岩石是否错动或出现新裂缝进行检测。

5.如权利要求1所述的一种水坝坝体异常情况的空基检测方法，其特征在于，步骤五中所述的交叉熵损失函数的计算方法如下：

设输入为x_i，则对应神经网络的输出为a_i，交叉熵损失函数C如下所示：

n为训练数据的总数，求和是在所有训练输入x上进行的，y_i为i点真实的label，a_i为判决图中i点对应的置信概率。

6.应用于权利要求1所述的一种水坝坝体异常情况的空基检测方法的检测装置，其特征在于，具体包括：

无人机搭载高清摄像装置、避障器、角度传感器、速度传感器，高度传感器以及GPS定位设备，按固定航线固定高度飞行，及时调整无人机飞行高度和无人机避障，高清摄像装置拍摄水坝各个位置，得到高清图像进行存储。