CN109949209A - 一种基于深度学习的绳索检测与去除方法 - Google Patents

Abstract

本发明公开了一种基于实例分割的绳索检测以及绳索的去除方法，包括以下步骤：S1、采集飞艇吊舱拍摄的图像数据和人工拍摄的电线图像数据，对图像数据进行预处理；S2、构建可配置的深度学习模型，初始化模型参数，将图像数据划分为训练集和测试集，利用训练集和测试集中的数据对深度学习模型进行训练；S3、对待处理的图像，使用训练好的模型进行处理，得到绳索的初步分割图；S4、将初步分割图转化为灰度图，利用最大类间方差算法对绳索进行精细分割；S5、对精细分割绳索后的图像，采用快速多极算法去除绳索并修复图像。本发明结合语义分割算法提供了一种适用于复杂背景下的航拍图像中绳索的分割以及去除方法。

Description

一种基于深度学习的绳索检测与去除方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的绳索检测与去除方法。

背景技术

光启云端号是一个特种充满氦气的纤维囊体，主要工作范围在4000至5000多米高的空域，通过飞艇下面的吊舱做监控和航拍服务，吊舱使用多种功能模块灵活搭载，通过光电复合缆接入大数据中心。在实际航拍中，所获得的图像会包含绳索信息，而这种非均匀结构的绳索不仅不利于场景分析，也不利于进行有效目标的检测，因此，必须使用图像信息处理技术消除绳索干扰，复原图像中实际场景，为进一步分析图像提供数据支撑。

本发明主要包含图像中绳索的检测和修复两部分，其中最关键的是图像中绳索的检测。绳索的检测可以抽象为线检测或者条带检测，图像中绳索的去除在图像领域属于图像修复。

随着机器学习理论的发展，深度学习在人脸识别、无人驾驶等领域发挥着越来越重要的作用。基于深度学习的相关问题属于图像分割问题，其中的核心技术是语义分割，在监控和安防领域，各个目标检测算法和语义分割算法层出不穷。在传统的检测和分割算法的基础上，由于深度学习具有的能够处理大量信息的能力，并且具备良好的特征提取效果，因此，基于卷积神经网络的语义分割算法能处理各种复杂的问题。虽然检测分割的准确性和实时性在一步步提高，但是深度学习算法在实例分割上会有很大的冗余和局限性，在光启云端号上监控的视频画面存在很大的噪声干扰，现有的模型在这种小目标分割、数据量少的情况上存在不能收敛的问题。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度学习的绳索检测与去除方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度学习的绳索检测与去除方法，该方法包括以下步骤：

S1、采集飞艇吊舱拍摄的图像数据和人工拍摄的电线图像数据，对图像数据进行预处理；

S2、构建可配置的深度学习模型，初始化模型参数，将图像数据划分为训练集和测试集，利用训练集和测试集中的数据对深度学习模型进行训练；

S3、对待处理的图像，使用训练好的模型进行处理，得到绳索的初步分割图；

S4、将初步分割图转化为灰度图，利用最大类间方差算法对绳索进行精细分割；

S5、对精细分割绳索后的图像，采用快速多极算法去除绳索并修复图像。

进一步地，本发明的步骤S1的具体方法为：

S11、飞艇吊舱通过摄像机在空中进行图像采集，利用电缆传输给地面大数据中心，并在地面人工拍摄电线图像；

S12、对图像数据使用数据增强工具，对原始数据使用随机裁剪、缩放、翻转操作；

S13、调整图像的分辨率，统一图像的分辨率大小。

进一步地，本发明的步骤S2中的具体方法为：

采用U-net作为基础深度学习语义分割模型；

S21、采用6层卷积层的解码器和7层卷积层的编码器构建U-net模型，从第3层到11层卷积层中，均采用Batch Normalization、ReLU、3*3卷积构成，自定义带权重的交叉熵作为损失函数；

S22、待训练的参数中所有卷积参数采用He均匀初始化，除卷积参数外的其他参数使用截断的均值为0、方差为1的高斯分布；

S23、将训练集中的图像数据进行命名并统一放置，同时划分为训练集和测试集，输入数据，训练时通过梯度下降算法迭代降低定义的损失函数大小，得到高检测准确率的训练模型。

进一步地，本发明的步骤S2中在训练前将所有图像像素的数值全部归一化处理，检测时得到原图中每个像素为绳索的预测概率，此时通过把所有值乘以255把绳索概率图转换成初步的绳索分割灰度图。

进一步地，本发明的步骤S3中初步分割后得到一个初步的分割图，然后采用改进的最大类间方差算法做精细的阈值分割，提高绳索边缘分割的准确率以及剔除灰度值较小的像素。

进一步地，本发明的步骤S5中的具体方法为：

S51、遍历得到的绳索分割图，记录所有绳索的像素位置为Ω；

S52、遍历整副图像中所有点p，如果p∈Ω，且p的领域N(p)内有一个点已知，则对p进行修复，并且将p设置为已知点，从集合Ω中移除，最终p的像素值为：

其中，N(p)为以p为中心的领域；n为N(p)内已知点的个数。

本发明产生的有益效果是：本发明的基于深度学习的绳索检测与去除方法，能够对飞艇吊舱监控和航拍的图像进行处理，检测出图像中的绳索信息，对这种非均匀结构的绳索进行检测和识别，去除检测出的绳索后对图像进行修复；本方法的检测精度高，能有效消除绳索对监控和航拍数据分析的影响。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是算法的流程图；

图2是每对训练的数据(包括原图和标记图)；

图3是改进的U-net模型结构图；

图4是U-net模型的分割对比图；

图5是OTSU精细分割结果；

图6是FMM去除绳索后的结果图；

图7是方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于深度学习的绳索检测与去除方法，该方法包括以下步骤：

S1、采集飞艇吊舱拍摄的图像数据和人工拍摄的电线图像数据，对图像数据进行预处理；

S11、光启云端号使用高清摄像机在空中进行图像采集，利用电缆传输给地面大数据中心，此设备拍摄的图像包含房屋、街道、农田、植被、河流等各种复杂背景，本模型训练的数据主要来于这部分，另一部分是在校园用手机拍摄的电线图；

S12、使用Photoshop标记每张图像的绳索位置，然后保存单独的图层得到训练的每对数据如图2，接着使用数据增强工具，对原始数据采用随机裁剪、缩放、翻转等方法，用来提高数据的数量和数据的多样性，提高模型的泛化能力。

光启公司提供的349张加上26张校园拍摄的电线图，其中300对作训练集，75对作测试集，经过前面的数据增强后最终训练的图像有2400对；

S13、本发明的模型在解码器部分涉及5个最大池化操作，因此为了在编码器过程时能恢复到原来的分辨率，原图的分辨率至少是32的倍数，由于实际效果的测试，可以将原图和标记同时从1920*1080的分辨率缩小到480*272大小，实际测试中，极大地减少了计算量，同时准确率的下降很小；

S2、构建可配置的深度学习模型，初始化模型参数，将图像数据划分为训练集和测试集，利用训练集和测试集中的数据对深度学习模型进行训练；

S21、采用6层卷积层解码器和7层卷积的编码器构建U-net模型，具体的模型的卷积结构如表1所示

表1 U-net模型的卷积结构

表中卷积列里，第1和第2维表示卷积核的长和宽，第3维是该层的输入维度，第4维是输出维度，有第5维的表示该层是两个相同的卷积串联，BN表示是否加入BatchNormalization，跳接位置列表示模型跳接的连接状态，整个改进的U-net模型结构如图3.

从第3层到11层卷积层中，均采用Batch Normalization、ReLU、3*3卷积的组合，这种组合在卷积计算中能够很好的提取非线性特征，同时能在加快模型收敛的同时减少过拟合，数据中绳索像素在整张图像中都只占很小的比例，前景绳索很容易被背景淹没，因此绳索像素和背景像素的比重不一样，基于语义分割的损失函数Loss所用公式如下：

其中X表示整幅图像的像素，x为X中一个像素值，w为绳索像素的权重，q(x)为sigmoid在x处预测的像素值，p(x)为标记图的在x处的实际像素值，Loss表示预测结果与标记图之间的距离大小。这样能够加快模型收敛并且很好的解决样本不平衡带来的收敛不稳定问题；

S22、参数初始化有些时候能决定模型是否会陷入局部最小值，由于前面都是采用ReLU这种非对称的激活函数，因此待训练的参数中所有卷积参数采用He均匀初始化，其他参数在截断的均值为0、方差为1的高斯分布，该初始化策略能提高模型收敛的稳定性，He均匀初始化为：

其中n_in为输入数据的维度大小。

S23、将所述的训练数据图片进行命名并且统一放置，同时划分为训练集和测试集，训练时通过梯度下降算法迭代降低前面定义的损失函数大小，其有益效果是提高模型的检测的准确，训练时采用Adam的优化函数，前10个epoch的学习率设为0.001，后10个epoch的学习率为0.0003，所有的卷积核采用He的均匀分布初始化，batch size设置大小为8，每个epoch迭代300次；

S3、训练前将所有图像像素的数值全部归一化处理，使输入数据从0到255的整型值变为0到1的64位浮点值，经过U-net模型后得到的是原图中对应每个像素的预测概率，此时通过把所有值乘以255可把绳索概率图转换成初步的绳索分割灰度图，此时的图是一个0到255连续值的分割图像，原图、标记图和预测图如图4所示；

S4、经过S3的初步分割后会得到一个带有水雾的绳索分割图，并且绳索的分割边缘不准确。此时的图是一个0到255的灰度图，后续快速多极算法(FMM算法)需要的是一个二值图像，因此需要把此时的图转化成灰度图，从图4可知，绳索的大致位置已经被分割出来了，但是边缘很模糊，因此，采用改进最大类间方差算法(OTSU)做一个精细的阈值分割，提高绳索边缘分割的准确率以及剔除灰度值较小的像素，如图5，最终得到一个很准确率的绳索分割图；

S5、经过前面S1到S4的过程，绳索的分割已经全部完成，以下是通过前面过程得到的结果进行图像修复，从而去除图像中的绳索，具体步骤如下：

S51、遍历得到的绳索分割图，记录所有绳索的像素位置为Ω；

S52、遍历整副图像中所有点p，如果p∈Ω，且p的领域N(p)内有一个点已知，则对p进行修复，并且将p设置为已知点，从集合Ω中移除，最终p的像素值为：

其中，N(p)为以p为中心的领域；n为N(p)内已知点的个数。

通过这种方法迭代所有的像素点，直到修复完所有的像素为止，最终修复的结果如图6所示。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于深度学习的绳索检测与去除方法，其特征在于，该方法包括以下步骤：

S1、采集飞艇吊舱拍摄的图像数据和人工拍摄的电线图像数据，对图像数据进行预处理；

S2、构建可配置的深度学习模型，初始化模型参数，将图像数据划分为训练集和测试集，利用训练集和测试集中的数据对深度学习模型进行训练；

S3、对待处理的图像，使用训练好的模型进行处理，得到绳索的初步分割图；

S4、将初步分割图转化为灰度图，利用最大类间方差算法对绳索进行精细分割；

S5、对精细分割绳索后的图像，采用快速多极算法去除绳索并修复图像。

2.根据权利要求1所述的基于深度学习的绳索检测与去除方法，其特征在于，步骤S1的具体方法为：

S11、飞艇吊舱通过摄像机在空中进行图像采集，利用电缆传输给地面大数据中心，并在地面人工拍摄电线图像；

S12、对图像数据使用数据增强工具，对原始数据使用随机裁剪、缩放、翻转操作；

S13、调整图像的分辨率，统一图像的分辨率大小。

3.根据权利要求1所述的基于深度学习的绳索检测与去除方法，其特征在于，步骤S2中的具体方法为：

采用U-net作为基础深度学习语义分割模型；

S21、采用6层卷积层的解码器和7层卷积层的编码器构建U-net模型，从第3层到11层卷积层中，均采用Batch Normalization、ReLU、3*3卷积构成，自定义带权重的交叉熵作为损失函数；

S22、待训练的参数中所有卷积参数采用He均匀初始化，除卷积参数外的其他参数使用截断的均值为0、方差为1的高斯分布；

S23、将训练集中的图像数据进行命名并统一放置，同时划分为训练集和测试集，输入数据，训练时通过梯度下降算法迭代降低定义的损失函数大小，得到高检测准确率的训练模型。

4.根据权利要求1所述的基于深度学习的绳索检测与去除方法，其特征在于，步骤S2中在训练前将所有图像像素的数值全部归一化处理，检测时得到原图中每个像素为绳索的预测概率，此时通过把所有值乘以255把绳索概率图转换成初步的绳索分割灰度图。

5.根据权利要求1所述的基于深度学习的绳索检测与去除方法，其特征在于，步骤S3中初步分割后得到一个初步的分割图，然后采用改进的最大类间方差算法做精细的阈值分割，提高绳索边缘分割的准确率以及剔除灰度值较小的像素。

6.根据权利要求1所述的基于深度学习的绳索检测与去除方法，其特征在于，步骤S5中的具体方法为：

S51、遍历得到的绳索分割图，记录所有绳索的像素位置为Ω；

S52、遍历整副图像中所有点p，如果p∈Ω，且p的领域N(p)内有一个点已知，则对p进行修复，并且将p设置为已知点，从集合Ω中移除，最终p的像素值为：

其中，N(p)为以p为中心的领域；n为N(p)内已知点的个数。