CN108416292B - 一种基于深度学习的无人机航拍图像道路提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机航拍图像道路提取方法，首先对高分辨率无人机航拍图像进行分块，然后对分块后的图像使用多线程并行计算的方法计算积分图模型，然后基于积分图模型进行大尺度均值滤波，然后通过全卷积神经网络得到道路分割模型，最后对道路区域进行修复，完成道路检测。本方法检测速度快，对道路尺度变化具有一定的鲁棒性，检测精度较传统方法高。

Description

一种基于深度学习的无人机航拍图像道路提取方法

技术领域

本发明属于图像分割技术领域，具体涉及一种基于深度学习的无人机航拍图像道路提取方法。

背景技术

近年来，无人机技术快速发展。无人机航拍系统以无人飞行器为载体，搭载现代化数码相机快速获取低空高分辨率图像，并将图像数据通过无线网络实时传送给控制平台。航拍系统可对感兴趣区域拍摄，避免了常规调查的盲目性和无效工作，并且机动性高，拍摄时间灵活，被广泛地应用于领土监测、灾害监控、资源勘探等领域。当前UAV的一个主要研究方向是利用视觉传感器提高其自主导航能力和场景理解能力，道路检测则是其基础。例如，固定翼无人飞行器着陆时需要精确检测出跑道信息；在目标侦查中，道路信息可以为目标检测与跟踪提供重要信息。随着无人机被广泛地应用于安全监控、交通监控、道路建设检查、交通调查等交通运输领域，基于无人机航拍的道路检测方法受到人们的重视。

目前航拍图像的道路检测方法主要有两大类：一类是利用道路区域与背景区域的差异来检测道路。这类方法通常采用灰度、纹理、颜色、形状等人工特征来表征区域差异性，通过阈值算法、Graphcut算法、区域生长等方法来提取道路区域，进而完成检测。另一类利用道路特征来检测道路。这类方法通常学习道路区域特征，再使用匹配或者动态规划的方法来搜索道路区域。这些方法只利用了简单的人工特征，鲁棒性不强，不能适用于复杂的场景。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度学习的无人机航拍图像道路提取方法，准确性高且适用于较复杂情形下的图像道路检测。

本发明采用以下技术方案：

一种基于深度学习的无人机航拍图像道路提取方法，首先对高分辨率无人机航拍图像进行分块，然后对分块后的图像使用多线程并行计算的方法计算积分图模型，然后基于积分图模型进行大尺度均值滤波，然后通过全卷积神经网络得到道路分割模型，最后对道路区域进行修复，完成道路检测。

具体的，包括以下步骤：

S1、将高分辨率无人机航拍图像分成若干个低分辨率的块，对于每块低分辨率图像，分别得到道路分割结果，最终将图像块合并，得到最终的道路分割结果；

S2、设置M个线程，并行对单通道图像按行求取累加和，等所有线程结束运算后，得到累加矩阵Sum；设置N个线程，并行对累加矩阵Sum按列求取累加和，等所有线程结束运算后，得到积分图模型；

S3、采用邻域平均法对步骤S2确定的积分图模型进行大尺度均值滤波；

S4、设计全卷积神经网络模型RoadNet，训练得到道路分割模型；

S5、将空间360度进行均分，选取M个方向，设计长度为L个像素的射线，如果从该点发出的M条射线含有的道路像素个数的均值少于L1个，则判断该点为噪声点，将该点划分为背景区域，进行道路区域修复。

进一步的，步骤S1中，将分辨率为6000*4000的无人机航拍图像分成48个分辨率为1000*500的图像块。

进一步的，步骤S2中，积分图模型如下：

I(x,y)＝Sum(G(i,j))

其中，I表示积分图像，G表示大小为M×N的原始图像，0≤i≤x，0≤j≤y。

进一步的，步骤S3中，对待处理的当前像素点(x,y)，选择w*w的矩形模板，求该矩形模板中所有像素的均值，再把该均值赋予当前像素点(x,y)，作为处理后图像在该点上的灰度g(x,y)如下：

其中，f(x,y)为像素点(x,y)的灰度值。

进一步的，像素均值具体如下：

其中，I表示图像的积分图，I(1)，I(2)，I(3)，I(4)是区域的四个端点，area表示面积，aver表示均值。

进一步的，步骤S4中，全卷积神经网络模型RoadNet包括卷积层C1、下采样层S2、卷积层C3、下采样层S4、卷积层C5、上采样层和SoftMax分类层，卷积层C1为第一层，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由6个特征图构成；下采样层S2为第二层，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接，由6个特征图构成；卷积层C3为第三层，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由11个特征图构成；下采样层S4为第四层，特征图中的每个单元与C2中相对应特征图的2*2邻域相连接，由11个特征图构成；卷积层C5为第五层，卷积核的大小为1*1，步长为1，不进行边缘扩充，由2个特征图构成；上采样层为第六层，将卷积层C5的特征图进行双线性插值，上采样16倍；SoftMax分类层为第七层，输出每一个像素属于道路或者背景的概率值，取概率最大的作为该像素的类别。

进一步的，卷积操作后特征图尺寸计算如下：

其中，insize表示输入尺寸，outsize表示特征图尺寸，padding表示边缘扩充的像素值，filtersize表示卷积核的大小，stride表示卷积步长。

进一步的，卷积层C3与下采样层S2之间采用不完全连接的方式；将卷积层C5的特征图上采样4倍，与下采样层S2的特征图进行融合，最后上采样4倍输出，得到最终的分割图像。

进一步的，步骤S5中，对于分辨率为1000*500的无人机航拍图像块，选择M＝36，L＝50，L1＝10进行道路修复。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于深度学习的无人机航拍图像道路提取方法首先对高分辨率无人机航拍图像进行分块，然后对分块后的图像使用多线程并行计算的方法计算积分图模型，然后基于积分图模型进行大尺度均值滤波，然后通过全卷积神经网络得到道路分割模型，最后对道路区域进行修复，完成道路检测，本方法检测速度快，对道路尺度变化具有一定的鲁棒性，检测精度较传统方法高。

进一步的，由于无人机航拍图像中道路的尺度差异性较大，比如城市的公路较宽，而乡间的小路较窄，因此采用图像分块的方法，可以检测到不同尺度的道路，而且这样做可以确保求解积分图时的值域在合理范围之内，由于降低了图像分辨率，使得后续处理速度加快，步骤S5中，基于像素级别的分割最大的问题是没有考虑空间关系，因此经过上述步骤处理后的图像有明显的噪点。此步主要利用道路的连通特性来检测噪点，从而完成对道路区域的修复。

进一步的，步骤S2中设置多线程，并行计算积分图模型，该方法相对于传统的积分图的计算方法来说，计算速度提升了一倍多。

进一步的，步骤S3中根据积分图模型，使用一定尺寸的矩形窗口对航拍图像块进行大尺度的均值滤波。由于在航拍图像中道路区域比较明显，而房屋，车辆等非道路因素会带来较大的影响，因此采用大尺度的均值滤波降采样可以在一定程度上去除噪声，提高分割精度。

进一步的，步骤S4中，RoadNet采用网络跳跃结构，融合不同卷积层的特征图实现神经网络的最终输出。使用端到端的神经网络模型来进行图像分割，克服了传统分割方法中需要手动选取人工特征、分割精度不高等问题，使用RoadNet对无人机航拍图像序列进行有监督训练，得到道路分割模型。

进一步的，卷积层C3与下采样层S2之间采用不完全连接的方式，这样做可以将连接的数量控制在合理的范围内，而且可以使得网络不再具有对称性，不同特征图得到的特征在一定程度上是互补的。

综上所述，本发明采用图像分块和多线程技术，提高了检测速度，可以确保检测到不同尺度的道路，尤其适用于高分辨率无人机航拍图像。本发明采用全卷积网络模型RoadNet，使得检测的鲁棒性增强，可以适用于较复杂的场景。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明流程图；

图2为本发明多线程积分图求解示意图；

图3为本发明区域均值计算示意图；

图4为本发明不完全连接示意图；

图5为本发明实施的示意图，其中(a)为分块的无人机航拍图像，(b)为本方法得到的道路分割结果。

具体实施方式

请参阅图1示，本发明一种基于深度学习的无人机航拍图像道路提取方法，首先对高分辨率无人机航拍图像进行分块，然后对分块后的图像使用多线程并行计算的方法快速计算积分图模型，接着基于积分图模型进行大尺度的均值滤波，然后通过全卷积神经网络得到道路分割模型，最后对道路区域进行修复，从而完成道路检测，具体步骤如下：

S1、对高分辨率无人机航拍图像进行分块；

对于分辨率为6000*4000的无人机航拍图像来说，将图像分成1000*500个48个小块。对于每块图像，分别得到道路分割结果，最终将图像块合并，得到最终的道路分割结果。分块后的图像在计算积分图模型时，可以保证积分图的值域在合理范围内。

S2、设置多线程，并行计算积分图模型；

如图2所示，设置M个线程，并行对单通道图像按行求取累加和，等所有线程结束运算后，得到累加矩阵Sum。

设置N个线程，并行对累加矩阵Sum按列求取累加和，等所有线程结束运算后，得到积分图模型。

对于分辨率为1000*500的无人机航拍图像块来说，并行计算积分图的速度约是普通方法的两倍。

对于一幅灰度图像，积分图像中的任意一点(x,y)的值是指从图像的左上角到这个点的所构成的矩形区域内所有的点的灰度值之和。

I表示积分图像，G表示大小为M×N原始图像，则积分图计算方式如下：

I(x,y)＝Sum(G(i,j))

其中，0≤i≤x，0≤j≤y；

S3、基于积分图模型的大尺度均值滤波；

均值滤波是典型的线性滤波算法，其采用的主要方法为邻域平均法。对待处理的当前像素点(x,y)，选择w*w的矩形模板，求该模板中所有像素的均值，再把该均值赋予当前像素点(x,y)，作为处理后图像在该点上的灰度g(x,y)，即：

其中，f(x,y)为像素点(x,y)的灰度值。

如图3所示，模块的像素均值可以根据积分图模型进行计算，区域D的像素均值的计算公式如下：

式中，I表示图像的积分图，I(1)，I(2)，I(3)，I(4)是区域的四个端点，area表示面积，aver表示均值。

对于分辨率为1000*500的无人机航拍图像块来说，选择w＝8的矩形模板，对原图进行均值滤波，滤波之后的图像中道路特征得到较好的保留，而房屋，车辆等非道路噪声得到了很好的抑制。

S4、设计全卷积神经网络模型RoadNet，训练得到道路分割模型；

自从全卷积神经网络结构被提出之后，图像分割也进入了深度学习的时代，图像分割的精度有了很大提升。在此基础上设计全卷积神经网络RoadNet。

经过前两个步骤后，图像的分辨率大大降低，因此RoadNet采用较浅的网络结构，这样做可以大大减少训练参数。

RoadNet第一层是卷积层C1，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由6个特征图构成。紧接着是批处理(BN)层和ReLu激活层。

使用3*3的小卷积核，可以得到更加抽象的特征，提取的特征表达性能更佳。卷积操作后特征图尺寸计算公式如下：

式中，insize表示输入尺寸，outsize表示特征图尺寸，padding表示边缘扩充的像素值，filtersize表示卷积核的大小，stride表示卷积步长。

C1中步长与边缘填充的取值使得卷积之后的图像尺寸保持不变，依靠下采样层逐渐增大感受野区域。批处理(BN)层可以加快收敛速度，在一定程度上抑制过拟合。

第二层是下采样层S2，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接，由6个特征图构成。经过前两层，图像的尺寸降为原来的1/4。

第三层是卷积层C3，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由11个特征图构成。紧接着是批处理(BN)层和ReLu激活层。

卷积层C3层与下采样层S2层之间采用不完全连接的方式。连接方式如图4所示。图中有×的地方表示有连接。采用这样的连接方式，使得网络不再具有对称性，可以使得不同特征图得到的特征在一定程度上是互补的。

第四层是下采样层S4，特征图中的每个单元与C2中相对应特征图的2*2邻域相连接，由11个特征图构成。经过前四层，图像的尺寸降为原来的1/16。

第五层是卷积层C5，卷积核的大小为1*1，步长为1，不进行边缘扩充，由2个特征图构成。在普通的卷积神经网络中，该层起到与全连接层一样的作用，用来区分道路或者背景。

第六层是上采样层，将卷积层C5的特征图进行双线性插值，上采样16倍。

第七层是SoftMax分类层，输出每一个像素属于道路或者背景的概率值，取概率最大的作为该像素的类别。

为了改善分割效果，使用网络跳跃结构。将卷积层C5的特征图上采样4倍，与S2的特征图进行融合，最后上采样4倍输出，得到最终的分割图像。由于靠后的卷积层能够提取抽象的全局信息，靠前的卷积层能够提取丰富的细节信息，采用网络跳跃结构可以使得分割的边缘更加精细。

对经过分块与滤波之后的无人机航拍图像进行训练得到道路分割模型。

S5、道路区域的修复；

将空间360度进行均分，选取M个方向，设计长度为L个像素的射线。如果从该点发出的M条射线含有的道路像素个数的均值少于L1个，则判断该点为噪声点，将该点划分为背景区域。对于分辨率为1000*500的无人机航拍图像块来说，选择M＝36，L＝50，L1＝10，经过道路修复后，一些明显的噪点得到去除。

请参阅图5，其中，a为分块的无人机航拍图像，b为本发明得到的道路分割结果，由结果图可以看到，主道路和较细的支路都被较完整地分割出来，道路的连通性较好，没有明显的噪点。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，首先对高分辨率无人机航拍图像进行分块，然后对分块后的图像使用多线程并行计算的方法计算积分图模型，然后基于积分图模型进行大尺度均值滤波，然后通过全卷积神经网络得到道路分割模型，最后对道路区域进行修复，完成道路检测，其特征在于，包括以下步骤：

S1、将高分辨率无人机航拍图像分成若干个低分辨率的块，对于每块低分辨率图像，分别得到道路分割结果，最终将图像块合并，得到最终的道路分割结果；

S2、设置M个线程，并行对单通道图像按行求取累加和，等所有线程结束运算后，得到累加矩阵Sum；设置N个线程，并行对累加矩阵Sum按列求取累加和，等所有线程结束运算后，得到积分图模型，积分图模型如下：

I(x,y)＝Sum(G(i,j))

其中，I表示积分图像，G表示大小为M×N的原始图像，0≤i≤x，0≤j≤y；

S3、采用邻域平均法对步骤S2确定的积分图模型进行大尺度均值滤波，对待处理的当前像素点(x,y)，选择w*w的矩形模板，求该w*w的矩形模板中所有像素的均值，再把该均值赋予当前像素点(x,y)，作为处理后图像在该像素点(x,y)上的灰度g(x,y)如下：

其中，f(x,y)为像素点(x,y)的灰度值；

S4、设计全卷积神经网络模型RoadNet，训练得到道路分割模型，全卷积神经网络模型RoadNet包括卷积层C1、下采样层S2、卷积层C3、下采样层S4、卷积层C5、上采样层和SoftMax分类层，卷积层C1为第一层，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由6个特征图构成；下采样层S2为第二层，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接，由6个特征图构成；卷积层C3为第三层，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由11个特征图构成；下采样层S4为第四层，特征图中的每个单元与C2中相对应特征图的2*2邻域相连接，由11个特征图构成；卷积层C5为第五层，卷积核的大小为1*1，步长为1，不进行边缘扩充，由2个特征图构成；上采样层为第六层，将卷积层C5的特征图进行双线性插值，上采样16倍；SoftMax分类层为第七层，输出每一个像素属于道路或者背景的概率值，取概率最大的作为该像素的类别；

S5、将空间360度进行均分，选取M个方向，设计长度为L个像素的射线，如果从该像素点(x,y)发出的M条射线含有的道路像素个数的均值少于L1个，则判断该像素点(x,y)为噪声点，将该像素点(x,y)划分为背景区域，进行道路区域修复。

2.根据权利要求1所述的一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，步骤S1中，将分辨率为6000*4000的无人机航拍图像分成48个分辨率为1000*500的图像块。

3.根据权利要求1所述的一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，像素均值具体如下：

其中，I表示图像的积分图，I(1)，I(2)，I(3)，I(4)是区域的四个端点，area表示面积，aver表示均值。

4.根据权利要求1所述的一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，卷积操作后特征图尺寸计算如下：

其中，insize表示输入尺寸，outsize表示特征图尺寸，padding表示边缘扩充的像素值，filtersize表示卷积核的大小，stride表示卷积步长。

5.根据权利要求4所述的一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，卷积层C3与下采样层S2之间采用不完全连接的方式；将卷积层C5的特征图上采样4倍，与下采样层S2的特征图进行融合，最后上采样4倍输出，得到最终的分割图像。

6.根据权利要求1所述的一种基于深度学习的无人机航拍图像道路提取方法，其特征在于，步骤S5中，对于分辨率为1000*500的无人机航拍图像块，选择M＝36，L＝50，L1＝10进行道路修复。

Images