CN109543595A - 基于深度可分离卷积神经网络的电线的训练方法和检测方法 - Google Patents

Abstract

一种基于卷积神经网络且采取了深度可分离卷积结构的电线训练和检测方法，包括：构建一个使用深度分离卷积的神经网络；使用分布均匀的小型切片训练卷积核；将训练好的卷积核用于红外灰度图像的特征提取；根据阈值对图像二值化，去除小面积区域，使用概率霍夫变换方法连接直线区域。本发明通过机器学习的方法训练出能够提取到红外电线特征的卷积核，可有效地从红外灰度图像当中提取到电线特征；结合形态学处理和直线霍夫变换，最终可实时地进行电线检测。

Description

基于深度可分离卷积神经网络的电线的训练方法和检测方法

技术领域

本发明涉及图像处理及模式识别的技术领域，具体是一种基于深度可分离卷积神经 网络的电线的训练方法和检测方法。

背景技术

直升机飞行中的安全问题一直是业内关注的热点问题。现有直升机避障主要依赖于 人工目视观察，受人眼分辨距离和分辨能力的限制，高压电线这种小障碍目标不易被察觉。此外，驾驶员需要十分集中精神才能发现前方的高压电线等障碍，从而大大增加了 飞行人员的工作强度和精神压力。基于光学、雷达和红外技术的直升机自动避障系统能 提升航空器低能见度条件下的飞行安全避障能力，是替代人工观察的优势方式，也是未 来发展的趋势。

直线霍夫变换是一种经典的直线检测方式。但如果使用现有的边缘检测算子直接在 红外图像上或者直接使用阈值分割作为特征提取的第一步，将会产生大量的噪点，对之后的处理有较大的负面影响。

从纹理分析的角度来看，图像上某个像素点的纹理特征，大多数情况下是指这个点 和周围像素点的关系，即这个点和它的邻域内点的关系。从不同角度对这种关系提取特征，就形成了不同种类的特征。有了特征，就能根据纹理进行分类。

近年来，机器学习理论在目标检测和识别应用中，取得了很大的成功。例如，通过学习样本库中的数据，可以获得效果优于手工调参的分类函数。而卷积神经网络正好能 够用一个矩阵输入得到分类的结果，可以用来对局部的纹理进行分类。

但是，直接使用卷积神经网络来检测电线仍然存在如下缺陷：

1)如果直接用网络输出图片上是否有电线，需要限定网络输入的尺寸，不仅会对图 片进行缩放损失信息，还不能保证网络是否真正学习到了电线的特征。

2)如果直接使用U网或者全卷积网络等像素语意分割网络，那么由于输入图片上的 电线像素占比较小，而且是细长区域，没有连成块。网络很难学习到电线的特征，会倾向于将电线判断为背景。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种基于卷积神经网络的电 线的训练方法和检测方法。该方法主要是以红外图像的自动检测为基础，作为一个辅助检测手段，在要求有较高检测识别率的同时，允许一定的虚警率，即允许检出电线以外 的其他线状物体或者其它干扰噪声。通过实时采集图像数据，自动提取和分析障碍目标， 并能够可视呈现障碍目标，以此进行预警，降低撞线风险，提升了飞行安全水平。

本发明原理如下：

1)除输入的第一层外，均使用了在深度方向上可分离卷积结构，其将上一层的输出 首先按深度方向进行卷积(对每个输入通道分别卷积)，然后逐点进行卷积，再将卷积结果混合到输出通道中；

2)在训练之前，给第一层卷积核赋予等同于Sobel算子的初值，给其他层的卷积核按正态分布赋初值；

3)为了使正负样本平衡，将样本图片上的像素按真值分类，并把邻域的切片分别存 放到“电线”和“背景”两个分组当中，每次训练等概率地从两个容器中抽取切片样本 生成一个批次，输入到训练网络当中进行训练；

4)在测试网络输出的结果之上，再辅以形态学处理和霍夫变换等后续处理，最终提取出图中的电线。

本发明对于大多数图像都能实现电线的快速检测，在GPU为1080ti的环境下对于一 张尺寸为850×469的红外图像处理时间大致在0.02s左右。

本发明是通过以下技术方案实现的。

一种基于深度可分离卷积神经网络的电线数据训练方法，包括如下步骤：

步骤S1，构建训练网络：

步骤S1.1，构建输入为13×13×1的6层卷积层，第1层为普通2维卷积层，后面 5层为2维分离卷积层，全部使用LeakyReLu激活函数。每层的卷积核大小3×3，步长 为1，输出的深度为8，分离卷积的每个通道使用4个卷积核。其中LeakyReLu激活函数 如下(一般α取0.3)：

步骤S1.2，将6层卷积后的输出的1×1×8的张量中取最大的一个值使用Sigmoid激活函数后输出。其中Sigmoid激活函数如下：

其中，e为自然对数的底，是数学中一个常数，约为2.71828。

步骤S1.3，将第1层的卷积赋予类似Sobel算子的初值，其余的卷积赋予均值为0的正态分布初值。八个类似Sobel算子的初值如下：

步骤S2，准备包含电线的灰度单通道图像，以及对应的二值蒙版真值图。真值图上为1的位置，代表在灰度图上的该像素为电线，真值图上为0的位置，代表在灰度图上 的该像素为背景。

步骤S3，对每个非灰度图片边缘的像素，取其上下左右各6的单位范围内的像素，组成一个尺寸13×13的图像切片矩阵，若该像素的真值为1，放入“电线”分组，若为 0，放入“背景”分组。

步骤S4，设置训练参数，采用Adam优化器，binary_crossentropy目标函数，然后根据硬件设定合适的批大小、迭代次数和每一代的步数。每个批次从“电线”分组和“背 景”分组各抽取一半的切片矩阵输入到网络进行训练。开始训练后，若准确率不再上升， 即可停止训练并保存6个卷积层的权值参数为h5格式文件。其中，准确率＝测试样本中 电线检测正确的数目/测试样本中电线总数。

另一方面，本发明还公开了一种基于深度可分离卷积神经网络的电线检测方法，包 括如下步骤：

步骤S1，将输入图像转换为灰度图，获得输入尺寸(h，w)，h为图片的高，w为图 片的宽。

步骤S2，构建第一层尺寸与输入图像尺寸相同的6层卷积神经网络：

步骤S2.1，第1层为普通2维卷积层，后面5层为2维分离卷积层，全部使用LeakyReLu激活函数。每层的卷积核大小3×3，步长为1，输出的深度为8，分离卷积的 每个通道使用4个卷积核。

步骤S2.2，网络输出的尺寸为(h-12)×(w-12)×8的张量，每个位置按深度维从8个数 中取最大的一个值使用Sigmoid激活函数后输出，可以得到(h-12)×(w-12)×1的输出尺寸。

步骤S2.3，将h5文件中保存的已训练网络的卷积层参数按顺序载入到新构建网络的 卷积层当中。

步骤S3，将灰度图像输入到新构建的网络当中，得到一个所有值在[0,1]之间的尺寸 为(h-12)×(w-12)的结果，把这个的结果按合适的阈值(例如，可以取0.9)分割为二值图 像，1为电线，0为背景。

步骤S4，统计上一步结果的二值图像中电线的连通域面积，如果某个连通域的面积 小于50个像素，将其作为伪目标滤去，置为0，其余像素保持不变。

步骤S5，对剩余电线像素的使用概率霍夫变换进行检测，将疑似电线的区域连接起 来，作为检测结果输出。

与现有技术相比，本发明具有如下有益效果：

在网络的训练上采用了小切片和分类抽样的方式，既可以平衡样本中两类别的分布， 又可以用少量图片(几十张)进行训练；训练小型神经网络来提取底层特征易收敛，并且预测速度快，结果中误检已经较少，便于随后的处理；形态学上的连通域统计和直线 霍夫变换属于传统的经典方法，效果稳定，过程透明，可解释性强；总体计算速度很快， 在GPU为1080ti的环境下对于一张像素大小为850×469的红外图像处理时间大致在0.02s 左右，说明完全能够胜任实时检测的速度。

本发明能够高效地识别出光学图像中的线状目标，对于辅助飞行员发现高压电线、 保障直升机低空条件下的飞行安全有着重要意义。

附图说明

图1是本发明基于深度可分离卷积神经网络的电线数据训练方法的流程图。

图2是本发明基于深度可分离卷积神经网络的电线检测方法的流程图。

图3是本发明的一组实施例的测试样例，其中第一行的为原始图像，第二行为形态学处理后的结果，第三行为霍夫变换检测后的结果。

具体实施方式

下面附图和实施例对本发明作详细说明：本实施例在以本发明技术方案为前提下进行实 施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人 员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发 明的保护范围。

实施例

本实施例提供了一种基于小型分离卷积神经网络的电线训练方法和检测方法，总体 思路包括训练部分4个步骤，检测部分5个步骤：

训练部分：

S1，构建训练网络；

S2，准备电线的灰度单通道图像，以及对应的二值蒙版真值图；

S3，对每个像素为中心的13×13切片分组；

S4，将切片输入网络训练，得到网络权值参数。

检测部分：

S1，将输入图像转换为灰度图，获得输入尺寸；

S2，构建匹配输入尺寸的检测网络；

S3，将灰度图像输入到检测网络当中，得到分割结果；

S4，去除小面积伪目标；

S5，对剩余像素进行概率霍夫变换进行检测，得到检测结果。

基于以上设计思路，对本实施例的技术方案详述如下：

本实施例提供的基于深度可分离卷积神经网络的电线数据训练方法，具体步骤如下：

步骤S1，构建训练网络：

步骤S1.1，构建输入为13×13×1的6层卷积层，第1层为普通2维卷积层，后面 5层为2维分离卷积层，全部使用LeakyReLu激活函数。每层的卷积核大小3×3，步长 为1，输出的深度为8，分离卷积的每个通道使用4个卷积核；其中LeakyReLu激活函数 如下(一般α取0.3)：

步骤S1.2，将6层卷积后的输出的1×1×8的张量中取最大的一个值使用Sigmoid激活函数后输出；其中Sigmoid激活函数如下：

步骤S1.3，将第1层的卷积赋予类似Sobel算子的初值，其余的卷积赋予均值为0的正态分布初值，八个类似Sobel算子的初值如下：

步骤S2，准备包含电线的灰度单通道图像，以及对应的二值蒙版真值图：

真值图上为1的位置，代表在灰度图上的该像素为电线，真值图上为0的位置，代表在灰度图上的该像素为背景；

步骤S3，对每个非灰度图片边缘的像素，取其上下左右各6的单位范围内的像素，组成一个尺寸13×13的图像切片矩阵，若该像素的真值为1，放入“电线”分组，若为 0，放入“背景”分组；

步骤S4，设置训练参数，采用Adam优化器，binary_crossentropy目标函数，然后根据硬件设定合适的批大小、迭代次数和每一代的步数；每个批次从“电线”分组和“背 景”分组各抽取一半的切片矩阵输入到网络进行训练；开始训练后，若准确率不再上升， 即可停止训练并保存六个卷积层的权值参数为h5格式文件。

以下结合图1和实验样例对本实施例的技术方案作进一步详细说明：

输入：红外灰度图像矩阵，二值蒙版矩阵

输出：6层卷积层的权值参数，以h5文件格式保存。

一、训练网络构建的详细步骤如下：

1)按次序连接输入为13×13×1的6层卷积层，第1层为普通2维卷积层，后面5 层为2维分离卷积层，全部使用LeakyReLu激活函数；每层的卷积核大小3×3，步长为 1，输出的深度为8，分离卷积的每个通道使用4个卷积核。其中LeakyReLu激活函数如 下(一般α取0.3)：

2)将6层卷积后的输出的1×1×8的张量，重新排列，使用最大池化层将其中取最大的一个值使用Sigmoid激活函数后输出。其中Sigmoid激活函数如下：

3)将第1层的卷积赋予类似Sobel算子的初值，其余的卷积赋予均值为0的正态分布初值。八个类似Sobel算子的初值如下：

二、输入图像的预处理详细步骤如下：

1)准备包含电线的灰度单通道图像，以及对应的二值蒙版真值图分别放在两个文件 夹内。其中真值图上为1的位置，代表在灰度图上的该像素为电线，真值图上为0的位置，代表在灰度图上的该像素为背景。

2)遍历图像上每个坐标的像素，对每个非灰度单通道图像边缘的像素(i,j)，取其上 下左右各6的单位范围内的像素，即第一维索引i-6到i+6，第二维索引j-6到j+6，组成一个尺寸13×13的图像切片矩阵，若真值图上坐标为(i,j)像素的真值为1，将图像切片矩阵放入“电线”分组，若为0，放入“背景”分组。

三、训练网络参数详细步骤如下：

1)设置训练参数，采用Adam优化器，binary_crossentropy目标函数，然后根据硬件设定合适的批大小、迭代次数和每一代的步数。例如，批大小设为128，迭代1000次， 每一代100步，即每次抽取128张切片进行计算，更新一次权重，抽取100次为一代， 抽取1000代停止运行。

2)选择几张图像不加入训练，每一代结束，使用网络对这几张进行检测，计算检测的精准率。如果精准率高于最高值，那么将当前网络的权值参数保存为h5文件。

本实施例提供的基于深度可分离卷积神经网络的电线检测方法，具体步骤如下：

步骤S1，将输入图像转换为灰度图，获得输入尺寸(h，w)。

步骤S2，构建第一层尺寸与输入图像尺寸相同的6层卷积神经网络：

步骤S2.1，第1层为普通2维卷积层，后面5层为2维分离卷积层，全部使用LeakyReLu激活函数。每层的卷积核大小3×3，步长为1，输出的深度为8，分离卷积的 每个通道使用4个卷积核。

步骤S2.2，网络输出的尺寸为(h-12)×(w-12)×8的张量，每个位置按深度维从8个数 中取最大的一个值使用Sigmoid激活函数后输出，可以得到(h-12)×(w-12)×1的输出尺寸。

步骤S2.3，将h5文件中保存的已训练网络的卷积层参数按顺序载入到新构建网络的 卷积层当中。

步骤S3，将灰度图像输入到新构建的网络当中，得到一个所有值在[0,1]之间的尺寸 为(h-12)×(w-12)的结果，把这个的结果按合适的阈值(例如，可以取0.9)分割为二值图 像，1为电线，0为背景。

步骤S4，统计上一步结果的二值图像中电线的连通域面积，如果某个连通域的面积 小于50个像素，将其作为伪目标滤去，置为0。

步骤S5，对剩余电线像素的使用概率霍夫变换进行检测，将疑似电线的区域连接起 来，作为检测结果输出。

以下结合附图图2和实验样例对本实施例的技术方案进一步详细说明：

输入：红外灰度图像矩阵(尺寸h×w)

输出：检测结果图像矩阵(亦可输出直线段)

一、检测网络构建的详细步骤如下：

1)构建第一层尺寸与输入图像尺寸相同的6层卷积神经网络。第1层为普通2维卷积层，后面5层为2维分离卷积层，全部使用LeakyReLu激活函数。每层的卷积核大小 3×3，步长为1，输出的深度为8，分离卷积的每个通道使用4个卷积核。

2)网络输出的尺寸为(h-12)×(w-12)×8的三维张量。先经过一次重排列，将前两维 融合到一起，形成((h-12)*(w-12))×8的二维张量。再交换两维得到8×((h-12)*(w-12))的 二维张量。

3)对第一维进行一次一维最大池化得到最大值，再使用Sigmoid激活函数将结果压 缩到[0,1]之间，输出1×((h-12)*(w-12))的二维张量。

4)再对张量进行重排列，得到(h-12)×(w-12)的张量。

二、形态学处理的详细步骤如下：

1)将灰度图像通过网络计算之后，以阈值0.9为界，小于0.9赋为0，大于0.9赋为1，将结果转换为二值图像。

2)遍历二值图像上的像素，统计出每一个八连通块的面积，如果区域面积小于50，则将这个块当作误检去除掉，块内所有像素赋为0。其中八连通块指的是，对于每一个值 为1的像素点，若上、下、左、右、左上、右上、左下、右下有一个像素点的值也为1， 那么这两个点就归为一个块。每个块的点总数量为这个块的面积。

三、概率霍夫变换的详细步骤如下：

1)随机获取二值图像上值为1的前景点，映射到霍夫空间画曲线。具体来讲，当得知点坐标(i,j)之后，可以通过ρ＝i*cosθ+j*sinθ来得到一组构成霍夫空间中曲线的(ρ,θ)，然后增加霍夫空间中(ρ,θ)的权值。

2)如果某一个霍夫空间中点(ρ,θ)的权值高于阈值(可以设定为80)，则该组参数可以得到一条原坐标系上的直线L。

3)搜索二值图像上值为1的前景点，在直线L上的点，且点与点之间距离小于最大间距(可以设定为30)的，连成线段，然后这些点全部删除，并且记录该线段的参数(起 始点和终止点)，如果线段长度满足最小长度(可以设定为200)则作为检测结果输出。

4)重复步骤1)、步骤2)、步骤3)，直到获取不到新的点。

5)将检测出的线段画在输入图像上，输出。

测试数据使用了红外实拍的照片，剪裁边框后图像分辨率为850×469，将其转为单 通道图片后作为输入，图3为本发明一组实施例的测试样例。训练过程使用了25张图片，测试过程使用了4张，共29张图片，为避免干扰，排除了临近图像边缘5个单位距离的 像素。对4张测试图片上的像素的检测结果进行统计，如表1所示。平均每张图检测时 间在0.02秒左右。

表1

	电线像素	背景像素
			被检测为电线	21915	9899
被检测为背景	3303	1496747

可以从表1计算出召回率和精确率等度量值，如表2第一列所示。而表2的第二列是普通的边缘检测加上霍夫变换的结果。

表2

	本发明	传统方法
			精确率	99.1％	95.5％
精准率	86.9％	32.1％
			召回率	68.9％	45.8％
F1-score	76.9％	37.7％

一般而言精确率和召回率互相影响，理想状况下两者都高，但一般情况下精确率高， 召回率就低。表2的结果表明，本实施例对于红外图像有着更好的检测结果。

综上所述，本实施例使用卷积神经网络作为基础，有以下创新点：1)除输入的第一层外，均使用了在深度方向上的可分离卷积结构，其将上一层的输出首先按深度方向进 行卷积(对每个输入通道分别卷积)，然后逐点进行卷积，再将卷积结果混合到输出通道 中；2)在训练之前，给第一层卷积核赋予等同于Sobel算子的初值，给其他层的卷积核 按正态分布赋初值；3)为了使正负样本平衡，将样本图片上的像素按真值分类，并把邻 域的切片分别存放到“电线”和“背景”两个分组当中，每次训练等概率地从两个容器中抽 取切片样本生成一个批次，输入到训练网络当中进行训练；4)在测试网络输出的结果 之上，再辅以形态学处理和霍夫变换等后续处理，最终提取出图中的电线。测试结果表 明：本文方法能高效地识别出红外图像中的线状目标，这对于辅助飞行员发现高压电线、 保障直升机低空条件下的飞行安全有着重要意义。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特 定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种基于深度可分离卷积神经网络的电线数据的训练方法，其特征在于，包括如下步骤：

步骤1)构建训练网络，具体标准如下：

①构建输入为13×13×1的6层卷积层，第1层为普通2维卷积层，后面5层为2维分离卷积层，全部使用LeakyReLu激活函数；每层的卷积核大小3×3，步长为1，输出的深度为8，分离卷积的每个通道使用4个卷积核；

所述的LeakyReLu激活函数如下：

其中，α取0.3；

②将6层卷积后的输出的1×1×8的张量中取最大的一个值使用Sigmoid激活函数后输出，所述的Sigmoid激活函数如下：

③将第1层的卷积赋予类似Sobel算子的初值，其余的卷积赋予均值为0的正态分布初值；八个类似Sobel算子的初值如下：

步骤2)准备包含电线的灰度单通道图像和对应的二值蒙版真值图，真值图上为1的位置，代表在灰度图上的该像素为电线，真值图上为0的位置，代表在灰度图上的该像素为背景；

步骤3)对每个非灰度图片边缘的像素，取其上下左右各6的单位范围内的像素，组成一个尺寸13×13的图像切片矩阵，若该像素的真值为1，放入“电线”分组，若为0，放入“背景”分组；

步骤4)设置训练参数，采用Adam优化器，binary_crossentropy目标函数，然后根据硬件设定批大小、迭代次数和每一代的步数，每个批次从“电线”分组和“背景”分组各抽取一半的图像切片矩阵输入到训练网络进行训练，若准确率不再上升，即停止训练并保存6个卷积层的权值参数为h5格式文件。其中，准确率＝测试样本中电线检测正确的数目/测试样本中电线总数。

2.根据权利要求1所述的基于深度可分离卷积神经网络的电线检测方法，其特征在于，包括如下步骤：

步骤1)将输入图像转换为灰度图，获得输入尺寸(h，w)，h为图片的高，w为图片的宽；

步骤2)构建第一层尺寸与输入图像尺寸相同的6层卷积神经网络，具体标准如下：

①第1层为普通2维卷积层，后面5层为2维分离卷积层，全部使用LeakyReLu激活函数；每层的卷积核大小3×3，步长为1，输出的深度为8，分离卷积的每个通道使用4个卷积核；

②网络输出的尺寸为(h-12)×(w-12)×8的张量，每个位置按深度维从8个数中取最大的一个值使用Sigmoid激活函数后输出，得到(h-12)×(w-12)×1的输出尺寸；

③将h5文件中保存的已训练网络的卷积层参数按顺序载入到新构建网络的卷积层当中；

步骤3)将灰度图像输入到新构建的网络当中，得到一个所有值在[0,1]之间的尺寸为(h-12)×(w-12)的结果，把这个的结果按设定阈值分割为二值图像，1为电线，0为背景；

步骤4)统计上一步结果的二值图像中电线的连通域面积，如果某个连通域的面积小于50个像素，将其作为伪目标滤去，并置为0，其余像素保持不变；

5)对剩余电线像素的使用概率霍夫变换进行检测，将疑似电线的区域连接起来，作为检测结果输出。