CN109241902B - 一种基于多尺度特征融合的山体滑坡检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度特征融合的山体滑坡检测方法，涉及目标检测技术领域。首先将拍摄得到的图像实时发给加入了聚焦模块的VGGNet‑19模型进行处理和分析，使用卷积层自底向上提取深度特征，并将深度特征按层次进行自顶向下的特征融合。然后在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图上的映射大小；把所有映射得到的特征图的尺寸统一并经过各全连接层，调整候选框的位置和尺寸；最后得到初步的检测结果分别在原始图像上做非极大值抑制，得到最终的检测结果。本发明可以检测到尺寸不同的泥石流现象，大大加快检测速度。

Description

一种基于多尺度特征融合的山体滑坡检测方法

技术领域

本发明涉及目标检测技术领域，尤其是一种基于多尺度特征融合的山体滑坡检测方法。

背景技术

我国铁路交通正处在快速发展的黄金时期，铁路线漫长，一条铁轨往往会穿越不同的地形地貌以及河流湖泊，保障铁路线及其周边设施的安全就成为重中之重。每到夏季，降水量较多，尤其是突降暴雨和大暴雨的时候，在山地和丘陵地区极易发生山体滑坡。因此，有必要对铁路沿线的山地和丘陵进行监视，对出现的山体滑坡现象进行报警。

过去传统的方法是采用人工监测，但这种方法会大大增加人力和物力成本，且在人迹罕至的偏远山区难以实现。目前，已有借助无人机航拍的辅助手段，但无人机载重较少，巡航时间较短，且对天气的要求较高，无法有效实现临近空间的检测。

临近空间，是指距地面20～100公里的空域。临近空间以大气的水平运动为主，几乎没有对流现象，也没有天气现象，温度几乎不变，湿度接近于零，更不会受到飞鸟撞机之类的威胁。因此，临近空间是一个绝佳的部署飞艇等临近空间飞行器的环境。

飞艇的载重量大，可携带大量的通信、拍照和摄像设备，拍摄和通信的范围广；巡航高度高，滞空时间长，成本低，性价比高；对天气的要求低。因此，飞艇可以作为山体滑坡检测的良好平台。

然而，临近空间的飞艇巡航带来的问题是拍摄的视角极广，且飞艇上的摄像头经常进行变焦，发生山体滑坡的区域占整个图像的比例往往也是不一致的。更困难的是发生山体滑坡的地形地貌也是多种多样的，山体滑坡对地形地貌的改变也是多样的。例如：在有植被覆盖的山区和没有植被覆盖的山区，发生山体滑坡前后地形地貌的变化都是不同。因此，使用颜色、纹理特征等传统特征很难检测发生山体滑坡的区域。

发明内容

本发明针对以上应用背景和技术难度，为了解决山体滑坡特征种类繁多，山体滑坡占整个图像的尺寸较小，山体滑坡尺寸不一致的问题；提出一种切实可行的在临近空间，借助飞艇等临近空间飞行器航拍，使用卷积神经网络提取深度特征，使用多尺度深度特征融合的方式进行山体滑坡多尺度检测，以增强决策能力；具体是一种基于多尺度特征融合的山体滑坡检测方法。

所述的基于多尺度特征融合的山体滑坡检测方法，具体步骤如下：

步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet-19模型进行处理和分析；

改进的VGGNet-19模型是指：保留传统VGGNet-19模型的卷积层和池化层，删除全连接层，在每个池化层的后面分别引入一个聚焦模块。

所述的聚焦模块具体结构如下：

每个聚焦模块的尺寸设定为[b，c，w，h]，b表示每次训练使用的图片样本数量；c表示每个聚焦模块的通道数，w表示每个聚焦模块的宽度，h表示每个聚焦模块的高度。

当池化层的输出被输入到聚焦模块后，分为两分支，第一个分支保持池化层的输出值不变，第二个分支依次进过核尺寸为[w，h]的平均池化层，第一个全连接层，ReLU激活函数，第二个全连接层和ReLU激活函数。

第二个分支中池化层的输出经过平均池化层后，数据的尺寸变为[b，c，1，1]；第一个全连接层把c个输入转换成c/4个输出，ReLU激活函数增加非线性特性，第二个全连接层把c/4个输入转换成c个输出，经过ReLU函数得到c个输出，并与第一个分支的结果做乘法，即每一个通道尺寸为[w，h]的特征图都乘以一个相同的数字；经过聚焦模块的输入和输出能保持尺寸不变。

步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet-19模型的卷积层自底向上提取深度特征；

所述的深度特征包括5个特征图，每个特征图的尺寸和通道数均不同；分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5。

步骤三、将深度特征按层次进行自顶向下的特征融合；

特征融合是指：把来自上层的深度特征做上采样，使之尺寸翻倍；同时通过1*1的卷积把当前层的深度特征的通道数减半。

新融合的特征自上向下表示为b1，b2，b3，b4，b5；计算公式为；

b1＝a1

b2＝1*1卷积(a2)+上采样(b1)

b3＝1*1卷积(a3)+上采样(b2)

b4＝1*1卷积(a4)+上采样(b3)

b5＝1*1卷积(a5)+上采样(b4)

步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；

步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；

步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成一致的尺寸；

每个候选框分别对应三个特征图b1，b2和b3的映射；

步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量。

步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前候选框是否包含泥石流；

当候选框属于目标或背景的概率大于0.5，则认为当前候选框包含泥石流；

步骤九、同时将每个一维向量依次通过尺寸为512全连接层和尺寸为4的全连接层，调整候选框的位置和尺寸；

调整的公式为：

X＝x+a*w

Y＝y+b*h

W＝w*e^c

H＝h*e^d

[x，y，w，h]为原始候选框的横坐标、纵坐标、宽度尺寸、高度尺寸，[a，b，c，d]为第二个分支的输出；

步骤十、将每个包含泥石流的候选框经过位置和尺寸的调整后，得到初步的检测结果。

步骤十一、将每个初步检测结果分别在摄像头拍摄的原始图像上做非极大值抑制，得到最终的检测结果。

本发明的优点在于：

1)、一种基于多尺度特征融合的山体滑坡检测方法，可以在不同高度的临近空间飞行器上检测到尺寸不同、纹理特征不一的山体滑坡。

2)、一种基于多尺度特征融合的山体滑坡检测方法，自动增大对检测起到至关重要的特征的权重。

3)、一种基于多尺度特征融合的山体滑坡检测方法，使用1*1卷积和上采样进行特征融合的方法，可以让低层次的特征含有丰富的语义特征。

4)、一种基于多尺度特征融合的山体滑坡检测方法，可以检测到尺寸不同的泥石流现象。

5)、一种基于多尺度特征融合的山体滑坡检测方法，在原始输入图像上做选择性搜索，再映射到特征图上，与直接把候选框送入网络的方式相比，可以大大加快检测速度。

附图说明

图1为本发明一种基于多尺度特征融合的山体滑坡检测方法的流程图；

图2为本发明采用的加入了聚焦模块的VGGNet-19模型结构组成示意图；

图3为本发明采用的聚焦模块的结构组成示意图；

图4为本发明采用的特征融合和分层检测结构组成的示意图；

图5为本发明采用的检测模块的组成示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于多尺度特征融合的山体滑坡检测方法，在临近空间借助飞艇或飞行器航拍，使用多尺度融合的深度特征进行山体滑坡的多尺度检测。通过加入聚焦模块的VGG-19网络，提取图像的深度特征；自顶向下的深度特征按照一定的方式进行融合。通过加入聚焦模块和自顶向下的特征融合，在融合得到的多个深度特征上，采用二分支结构进行检测；把所有在不同特征图上的检测结果映射到统一原始图像上，进行非极大值抑制，得到最终的检测结果。

所述的基于多尺度特征融合的山体滑坡检测方法，如图1所示，具体步骤如下：

步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet-19模型进行处理和分析；

在临近空间对铁路沿线的山地和丘陵进行巡检的过程中，飞艇或临近空间飞行器上的摄像头定时、定点的对铁路沿线的场景进行航拍，将拍摄得到的照片实时发给服务器进行处理和分析；服务器可以是飞艇或临近空间飞行器上的服务器，也可以是客户终端等具有图像处理功能的电子设备；对于可能出现山体滑坡的场景进行报警。

传统的VGGNet-19模型包括依次连接的5个卷积段，且每2段卷积段之间都通过1个最大池化层相连，最后1个卷积段后依次连接1个最大池化层、3个全连接层和1个输出层。而加入了聚焦模块的VGG-19在每个卷积段的后面加入了聚焦模块。如图2所示，改进的VGGNet-19模型是指：首先，保留传统VGGNet-19模型的卷积层和池化层，删除全连接层，VGG-19只用于特征提取，不用于分类。然后，在每个卷积-池化层的后面分别引入一个轻量级的聚焦模块。本发明一共有5个池化层，故引入5个聚焦模块。

所述的聚焦模块具体结构如下：

每个聚焦模块的尺寸设定为[b，c，w，h]，b表示每次训练使用的图片样本数量；c表示每个聚焦模块的通道数，w表示每个聚焦模块的宽度，h表示每个聚焦模块的高度。

如图3所示，当池化层的输出被输入到聚焦模块后，分为两分支，第一个分支保持池化层的输出值不变，第二个分支依次进过核尺寸为[w，h]的平均池化层，第一个全连接层，ReLU激活函数，第二个全连接层和ReLU激活函数。

第二个分支中池化层的输出经过平均池化层后，数据的尺寸变为[b，c，1，1]；从一个batch的角度来看，第一个全连接层把c个输入转换成c/4个输出，ReLU激活函数增加非线性特性，第二个全连接层的作用和第一个相反，把c/4个输入转换成c个输出，经过ReLU函数得到c个输出，与输入特征通道数量相同，并与第一个分支的结果做通道层面的乘法，即每一个通道尺寸为[w，h]的特征图都乘以一个相同的数字；得到加权后的结果。经过聚焦模块的输入和输出能保持尺寸不变，使得聚焦模块可以轻易的嵌入VGG等各种经典的神经网络。

聚焦模块的作用是尽可能突出关键部分的空间特征，找到目标和背景之间的差异。通过对每个通道的数据进行显示地加权，每个通道的所有位置的数值都乘以一个学习得到权重。同一个通道内部，每个位置所乘的权重相同；而不同的通道之间，所乘的权重不同。虽然加权之前的数据也是通过网络学习得到的，但关键通道的作用并没有得到显示的突出。而使用模块网络不仅能够提取空间特征，还可以经过有监督的训练，自动的提取通道维度的特征。

步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet-19模型的卷积层自底向上提取深度特征；

首先把飞艇或临近空间飞行器拍摄到的图片尺寸都压缩或拉伸为224*224后，进入加入了聚焦模块的VGGNet-19模型中；所述的深度特征包括5个特征图，每个特征图的尺寸和通道数均不同；自底向上经过聚焦模块的输出5个特征图分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5。

步骤三、将深度特征按层次进行自顶向下的特征融合；

特征融合是指：由于特征的尺寸不一致，所以在完成融合之前要把上层特征做一次上采样，使之尺寸翻倍；由于特征的通道数不一致，融合前要通过1*1的卷积把当前层特征的通道数减半。

对来自上层特征的上采样：本层特征的宽度和高度是对应的上层特征宽度和高度的二倍；对上层特征进行线性插值，使之尺寸和本层特征相同。

对来自本层特征采取1*1的卷积：1*1的卷积可以任意的改变通道数。改变本层特征的通道，使得本层特征的通道数和来自上层特征的通道数相同。

经过上采样和1*1卷积，本层特征和上层特征的尺寸完全相同。所述融合是指把这两个特征逐个点做加法。

如图4所示，新融合的特征自上向下表示为b1，b2，b3，b4，b5；计算公式为；

b1＝a1

b2＝1*1卷积(a2)+上采样(b1)

b3＝1*1卷积(a3)+上采样(b2)

b4＝1*1卷积(a4)+上采样(b3)

b5＝1*1卷积(a5)+上采样(b4)

经过上述操作，深度特征自底向上，所包含的信息逐渐从位置信息过渡到语义信息；原始的特征图有了更加丰富的语义特征。

随着卷积次数的逐渐增多，特征图包含的信息逐渐从位置信息过渡到语义信息。对面积较大的山体滑坡，使用浅层的特征即可完成检测；而对于面积较小的山体滑坡，必须要使用深层的信息。所以本发明的检测是在不同尺度的特征图上进行的。

由于浅层特征包括的语义信息较少，如果直接使用浅层特征图进行检测，势必会造成漏检或误检。因此，本发明用到的浅层特征是原始的浅层特征和深度特征的融合。

步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；

本实施例中选取1000个候选框。由于候选框尺寸不同，映射后的尺寸也是不同的。把映射后的特征，依次通过图5所示的网络结构。即，先通过两个全连接层，然后经过两个分支，一个分支经过两个全连接层、softmax输出目标的类别，另一个分支经过两个全连接层，输出回归的坐标，即对原始候选框的[x，y，w，h]的调整。选定属于目标的概率大于0.5的所有候选框，做非极大值抑制，得到最终的山体滑坡检测结果。

步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；

每候选框分别映射到融合得到的特征图b1，b2和b3上进行检测，即1000个候选框分别映射得到3000张特征图。

步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成5*5尺寸；

每个候选框分别对应三个特征图b1，b2和b3的映射；假设候选框在映射到特征图上的尺寸为w*h，那么每个池化区域的尺寸为(w/5，h/5)。通过最大池化方式，所有候选框的特征图的尺寸变为5*5*512或5*5*256。

步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量。

步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前候选框是否包含泥石流；

如图5所示，该尺寸为1024的一维向量经过两个分支，一个分支依次经过尺寸分别为512，2的两个全连接层，一个softmax，该输出为候选框属于目标泥石流或背景的概率。

当候选框属于目标或背景的概率大于0.5，则认为当前候选框包含泥石流或者山体滑坡。

步骤九、同时将每个一维向量依次通过尺寸为512全连接层和尺寸为4的全连接层，调整候选框的位置和尺寸；

如图5所示，另一个分支经过依次经过分别尺寸为512，4的两个全连接层，最终得到4个输出回归的坐标，用于对原始候选框横坐标、纵坐标、宽度、高度进行微调；

调整的公式为：

X＝x+a*w

Y＝y+b*h

W＝w*e^c

H＝h*e^d

[x，y，w，h]为原始候选框的横坐标、纵坐标、宽度尺寸、高度尺寸，[a，b，c，d]为第二个分支的输出；

步骤十、将每个包含泥石流的候选框经过位置和尺寸的调整后，得到初步的检测结果。

步骤十一、将每个初步检测结果分别在摄像头拍摄的原始图像上做非极大值抑制，得到最终的检测结果。

本发明的核心是目标检测技术；为解决山体滑坡区域在发生山体滑坡前后的地形地貌复杂多变的问题，使用深层的卷积神经网络提取高层次的抽象的语义特征；为解决山体滑坡大小不一，尺寸不一的问题，引入轻量级的聚焦模块和基于分层特征融合的目标检测技术；为了解决把所有可能包含目标的样本经过网络带来的检测速度过慢的问题，本发明只把原始图像输入网络，在特征层面进行初步的检测；为避免目标间的相互重叠，在初步检测的基础上进行非极大值抑制，得到最终的检测结果。

本发明采用均值为0，方差为0.01的高斯分布对网络进行初始化，使用飞艇等临近空间飞行器真实航拍的包含山体滑坡场景的照片进行训练；batchsize设定为128。损失函数为多任务损失函数，公式为：

当前候选框groundtruth的类别为i，位置和尺寸信息为gt,gt＝[x’,y’,w’,h’]；检测器输出的当前候选框类别为i的概率为p，位置和尺寸信息为pre，pre＝[x,y,w,h]；α为一个数值，当候选框的类别为背景时，α等于0，当候选框的类别为目标时，α等于1。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种基于多尺度特征融合的山体滑坡检测方法，其特征在于，具体步骤如下：

步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet-19模型；

步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet-19模型的卷积层自底向上提取深度特征；

改进的VGGNet-19模型是指：保留传统VGGNet-19模型的卷积层和池化层，删除全连接层，在每个池化层的后面分别引入一个聚焦模块；

所述的聚焦模块具体结构如下：

每个聚焦模块的尺寸设定为[b_u,c_u,w_u，h_u]，b_u示每次训练使用的图片样本数量；c_u表示每个聚焦模块的通道数，w_u表示每个聚焦模块的宽度，h_u表示每个聚焦模块的高度；

当池化层的输出被输入到聚焦模块后，分为两分支，第一个分支保持池化层的输出值不变，第二个分支依次进过核尺寸为[w_u，h_u]的平均池化层，第一个全连接层，ReLU激活函数，第二个全连接层和ReLU激活函数；

第二个分支中池化层的输出经过平均池化层后，数据的尺寸变为[b_u,c_u，1，1]；第一个全连接层把c_u个输入转换成c_u/4个输出，ReLU激活函数增加非线性特性，第二个全连接层把c_u/4个输入转换成c_u个输出，经过ReLU函数得到c_u个输出，并与第一个分支的结果做乘法，即每一个通道尺寸为[w_u，h_u]的特征图都乘以一个相同的数字；经过聚焦模块的输入和输出能保持尺寸不变；

所述的深度特征包括5个特征图，自底向上经过聚焦模块输出，每个特征图的尺寸和通道数均不同；分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5；

步骤三、将深度特征按层次进行自顶向下的特征融合；

特征融合是指：把来自上层的深度特征做上采样，使之尺寸翻倍；同时通过1*1的卷积把当前层的深度特征的通道数减半；

新融合的特征自上向下表示为b1，b2，b3，b4，b5，均为特征图；计算公式为；

b1＝a1

b2＝1*1卷积(a2)+上采样(b1)

b3＝1*1卷积(a3)+上采样(b2)

b4＝1*1卷积(a4)+上采样(b3)

b5＝1*1卷积(a5)+上采样(b4)

步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；

步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；

步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成一致的尺寸；

步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量；

步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前候选框是否包含泥石流；

步骤九、同时将每个一维向量依次通过尺寸为512全连接层和尺寸为4的全连接层，调整候选框的位置和尺寸；

调整的公式为：

X＝x+a*w

Y＝y+b*h

W＝w*e^c

H＝h*e^d

[x，y，w，h]为原始候选框的横坐标、纵坐标、宽度尺寸、高度尺寸，[a，b，c，d]为第二个分支的输出；

步骤十、将每个包含泥石流的候选框经过位置和尺寸的调整后，得到初步的检测结果；

步骤十一、将每个初步检测结果分别在摄像头拍摄的原始图像上做非极大值抑制，得到最终的检测结果。

2.如权利要求1所述的一种基于多尺度特征融合的山体滑坡检测方法，其特征在于，所述的步骤八中，当前候选框包含泥石流的判别标准为：当候选框属于目标或背景的概率大于0.5，则认为当前候选框包含泥石流。

Images