CN111597939A - 一种基于深度学习的高铁线路鸟窝缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高铁线路鸟窝缺陷检测方法，克服了现有技术中存在的不足。该发明含有以下步骤：步骤1、输入铁路接触网图像；步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。该技术采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题，首先检测可能存在鸟窝的可疑区域，再在此基础上检测鸟窝，同时利用大量实际环境场景中的图像训练特征提取网络，提高了准确性，也增强了实际应用中的鲁棒性。

Description

一种基于深度学习的高铁线路鸟窝缺陷检测方法

技术领域

本发明涉及计算机辅助的轨道交通领域，特别是涉及一种基于深度学习的高铁线路鸟窝缺陷检测方法。

背景技术

随着我国高铁事业的蓬勃发展，高铁线路中的安全问题显得尤其重要。鸟类经常会选择高铁线路中的杆塔作为筑巢的地方，雨天这些树枝会极易发生短路事故，对乘客和高铁列车的安全构成很大的威胁。目前，针对这一问题，主要有以下几种方案。

一是采用传统的人工检测方法，使用人力挨个筛查摄像机拍摄的高铁线路图像。二是采用数字图像处理方法自动识别高铁线路中存在的鸟窝。主要步骤为：1.高铁图像二值化；2.支柱主干部分和细线区域部分提取；3.基于悬空点检测的鸟窝可疑区域定位；4.鸟窝可疑区域的直线方向直方图和长度直方图特征提取；5.基于直线方向和长度分布特征的鸟窝识别。三是基于传统机器学习的方法。这种方法首先从图像中提取不同方向的线段并采用Gestalt感知理论合并断续小线段，并聚类为平行线组。再根据图像上杆塔的结构特征将图像分为8×4的分块，分析块内不同方向线段数量统计检测出图像上杆塔所在区域。再通过mean-shift聚类分割在图像上获取颜色一致性区域，根据鸟窝样本的H直方图特性，通过直方图相交法在图中选取与鸟窝样本最相似的多个区域作为鸟窝的候选区域。接着选取熵、惯性矩和非相似性计算鸟窝候选区域的纹理特征量。最后，匹配各个候选区域与鸟窝样本纹理相似性实现鸟窝的检测。

目前的高铁线路鸟窝缺陷检测方法，不能同时保证准确性和检测速度。传统的人工检测方法虽然有较高的准确率，但是检测速度慢，对检测的工作人员有较高的要求且人力长时间工作后存在疲劳、效率下降的问题，所以这种方法不适合大规模使用。基于数字图像处理的方法通过检测裸露在空中、方向各异的鸟窝树枝来判断是否存在鸟窝。在鸟窝体积较大的情况下有较高的准确率，但是在鸟窝还未成型、只有几根树枝时，其准确率会明显下降，此外，这种方法步骤较多，因此检测速度较慢。基于传统机器学习的方法虽然能在保证准确率的同时加快检测速度，但是由于方法选取的算子存在多样性且特征的选取存在差异性，因此该方法容易受到实际环境的影响，产生不同的结果，缺乏实际应用中的鲁棒性。

现有技术“基于图像的铁路接触网鸟窝异常情况检测方法”，申请号：201310721802.7，此专利公开一种采用数字图像处理的方法自动识别铁路接触网巡视图像中存在鸟窝的异常情况。自动地对铁路接触网进行鸟窝异常情况的检测和识别，能有效帮助巡检人员快速发现接触网支架上是否存在鸟窝，排查潜在的安全隐患，提高巡检人员工作效率，避免人工判读带来的巨大人力消耗。

本申请基于深度学习，采用特征提取网络实现特征的自动提取，克服了人工提取特征的复杂性、特征提取速度慢的不足，使得本申请具有提取特征代表性高和提取速度快的优点。此外，采用两阶段的检测方法，在原图像的基础上准确缩小检测范围，达到更准确地检测鸟窝的目标。同时利用大量实际环境场景中的图像训练特征提取网络，增强了实际应用中的鲁棒性。

发明内容

本发明克服了现有技术中存在的不足，提供一种检测效果好的基于深度学习的高铁线路鸟窝缺陷检测方法。

本发明的技术解决方案是，提供一种具有以下步骤的基于深度学习的高铁线路鸟窝缺陷检测方法：含有以下步骤：

步骤1、输入铁路接触网图像；

步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；

步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；

步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；

步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。

优选地，所述步骤1中选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰度图像作为输入图像。

优选地，所述步骤2包括以下分步骤：

(2a)将输入图像调整为416×416像素大小，并将灰度图变为三通道图片；

(2b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；

(2c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率；其中边框回归的损失函数公式为

其中

是回归框，

是标注框；

(2d)从回归得到的边界框中筛选出鸟窝可疑区域的位置，并对其进行非极大值抑制处理NMS，最终得到鸟窝可疑区域的中心点坐标、宽和高并保存其在原图像中的坐标信息；

(2e)根据鸟窝可疑区域的坐标裁剪出鸟窝可疑区域图像。

优选地，所述步骤3步骤如下：

(3a)将鸟窝可疑区域图像调整为416×416像素大小，并将灰度图变为三通道图像；

(3b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；

(3c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率，联合使用三种尺度的特征图进行检测，提升对鸟窝或树枝检测的准确性；

(3d)从回归得到的边界框中筛选出鸟窝的位置，并对其进行非极大值抑制处理NMS，最终得到图像鸟窝的中心点坐标、宽和高；

(3e)根据鸟窝所在鸟窝可疑区域位置，在原图像中框出步骤(2d)中保存的区域，并输出作为最终结果。

优选地，所述步骤4中将步骤2和步骤3中两个全卷积神经网络的参数保存为模型文件。

与现有技术相比，本发明基于深度学习的高铁线路鸟窝缺陷检测方法具有以下优点：

1.采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题。

2.采用基于深度学习的计算机视觉技术。在服务器端处理车载摄像机拍摄的高铁图像，实现容易，适合大规模使用。

3.鉴于现有检测方法的复杂性，利用多层卷积神经网络自动提取特征，克服了现有技术中人工提取特征的复杂性、特征提取速度慢的不足，使得具有提取特征代表性高和提取速度快的优点，从而能显著加快检测速度。

4.由于鸟窝区域占图像总分辨率比率很小，且存在复杂环境的影响，通过两阶段检测方法，准确地缩小鸟窝的检测范围。首先检测可能存在鸟窝的可疑区域，再在此基础上检测鸟窝，同时利用大量实际环境场景中的图像训练特征提取网络，不仅提高了准确性，也增强了实际应用中的鲁棒性。本发明针对大量的鸟窝数据进行分析，目前的模型已经考虑涵盖了常见的鸟窝可能出现的区域。

附图说明

图1是本发明的流程示意图；

图2是本发明检测鸟窝可疑位置的示意图；

图3是本发明检测鸟窝可疑位置后将其裁剪出来的示意图；

图4是本发明在裁剪出来的图像中检测鸟窝的示意图；

图5是本发明最终输出的鸟窝缺陷检测结果的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明基于深度学习的高铁线路鸟窝缺陷检测方法作进一步说明：如图所示，本实施例中通过采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题。首先使用全卷积神经网络检测出图像中鸟窝可能出现的可疑区域并提取出来，然后使用全卷积神经网络提取鸟窝的图像特征并快速准确地检测出图像中存在的鸟窝。这样两阶段的检测流程可以克服在原图中检测鸟窝和树枝这样小物体的困难，达到更好的准确率。

训练流程可以分为以下两个阶段：鸟窝可疑区域模型训练与鸟窝模型训练。首先使用大量的、不同尺度大小的车载摄像头拍摄的原图训练检测鸟窝可疑区域。然后使用第一步训练好的模型对包含鸟窝的图片进行检测，裁剪出区域图片，并使用这些区域图片训练鸟窝检测模型。

步骤1，在训练过程中，我们需要准备不同远近的图片并进行多尺度缩放作为最终的训练。使用该具有多尺度的训练集和多尺度特征融合技术，可以应对实际中列车由远及近时，鸟窝由大变小的情况，保证了实际场景下的准确率和鲁棒性。在误检率略有上升的同时，显著提高准确率且不影响检测速度。

方法	准确率	误检率
			无多尺度图片训练和特征融合	57.53％	7.02％
使用多尺度图片训练和特征融合	71.97％	8.29％

步骤2，输入图像。选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰度图像,作为输入图像。

步骤3，用全卷积神经网络提取鸟窝可疑区域图像。将高铁线路图像输入全卷积网络，得到鸟窝可疑区域图像框的具体坐标。再根据框的坐标，裁剪出准确的鸟窝可疑区域图像。具体流程如下：

a)将高铁线路图像调整为416×416像素大小，并将灰度图转换为3通道图像。

b)在全卷积神经网络Darknet中，图像首先经过大小为3×3×32像素，得到32个416×416像素的特征图。

c)在全卷积神经网络Darknet的第一个下采样层中，图像经过大小为3×3×64像素，步长为2像素的卷积核，得到64个208×208像素的特征图。

d)在全卷积神经网络Darknet的第一个卷积组中，图像先后经过两个大小为1×1×32和3×3×64像素的卷积核和一个直连层shortcut，得到128个208×208像素的特征图。

e)在全卷积神经网络Darknet的第二个下采样层中，图像经过大小为3×3×128像素，步长为2像素的卷积核，得到128个104×104像素的特征图。

f)在全卷积神经网络Darknet的第二个卷积组中，图像先后经过两个大小为1×1×64和3×3×128像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组2次，得到256个104×104像素的特征图。

g)在全卷积神经网络Darknet的第三个下采样层中，图像经过大小为3×3×256像素，步长为2像素的卷积核，得到256个52×52像素的特征图。

h)在全卷积神经网络Darknet的第三个卷积组中，图像先后经过两个大小为1×1×128和3×3×256像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组8次，得到512个52×52像素的特征图。

i)在全卷积神经网络Darknet的第四个下采样层中，图像经过大小为3×3×512像素，步长为2像素的卷积核，得到512个26×26像素的特征图。

j)在全卷积神经网络Darknet的第四个卷积组中，图像先后经过两个大小为1×1×256和3×3×512像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组8次，得到1024个26×26像素的特征图。

k)在全卷积神经网络Darknet的第五个下采样层中，图像经过大小为3×3×1024像素，步长为2像素的卷积核，得到1024个13×13像素的特征图。

l)在全卷积神经网络Darknet的第五个卷积组中，图像先后经过两个大小为1×1×512和3×3×1024像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组4次，得到1024个13×13像素的特征图。

m)最后分别在大小为13×13、26×26和52×52像素的特征图上使用逻辑回归得到鸟窝可疑区域的边界框，并对其应用非极大值抑制处理NMS，最终得到鸟窝可疑区域的中心点坐标、宽和高并保存其在原图像中的坐标信息，使用多尺度的特征融合，有助于检测距离较远的鸟窝可疑区域。

n)根据鸟窝可疑区域的坐标裁剪出鸟窝可疑区域图像。

步骤4，用全卷积神经网络在鸟窝可疑区域图像中提取鸟窝或树枝。将鸟窝可疑区域图像输入全卷积网络，得到鸟窝图像框的具体坐标。再根据框的坐标，在高铁线路图像中准确地框出鸟窝所在位置。具体流程如下：

a)将鸟窝可疑区域图像调整为416×416像素大小，并将灰度图转换为3通道图像。

b)在全卷积神经网络Darknet中，图像首先经过大小为3×3×32像素，得到32个416×416像素的特征图。

c)在全卷积神经网络Darknet的第一个下采样层中，图像经过大小为3×3×64像素，步长为2像素的卷积核，得到64个208×208像素的特征图。

d)在全卷积神经网络Darknet的第一个卷积组中，图像先后经过两个大小为1×1×32和3×3×64像素的卷积核和一个直连层shortcut，得到128个208×208像素的特征图。

e)在全卷积神经网络Darknet的第二个下采样层中，图像经过大小为3×3×128像素，步长为2像素的卷积核，得到128个104×104像素的特征图。

f)在全卷积神经网络Darknet的第二个卷积组中，图像先后经过两个大小为1×1×64和3×3×128像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组2次，得到256个104×104像素的特征图。

g)在全卷积神经网络Darknet的第三个下采样层中，图像经过大小为3×3×256像素，步长为2像素的卷积核，得到256个52×52像素的特征图。

h)在全卷积神经网络Darknet的第三个卷积组中，图像先后经过两个大小为1×1×128和3×3×256像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组8次，得到512个52×52像素的特征图。

i)在全卷积神经网络Darknet的第四个下采样层中，图像经过大小为3×3×512像素，步长为2像素的卷积核，得到512个26×26像素的特征图。

j)在全卷积神经网络Darknet的第四个卷积组中，图像先后经过两个大小为1×1×256和3×3×512像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组8次，得到1024个26×26像素的特征图。

k)在全卷积神经网络Darknet的第五个下采样层中，图像经过大小为3×3×1024像素，步长为2像素的卷积核，得到1024个13×13像素的特征图。

l)在全卷积神经网络Darknet的第五个卷积组中，图像先后经过两个大小为1×1×512和3×3×1024像素的卷积核和一个直连层shortcut。并且图像会重复通过该卷积组4次，得到1024个13×13像素的特征图。

m)最后分别在大小为13×13、26×26和52×52像素的特征图上使用逻辑回归得到鸟窝的边界框，并对其应用非极大值抑制处理NMS，最终得到鸟窝的坐标，联合使用三个尺度的特征图，有助于检测目标极小的鸟窝(树枝)缺陷，提高准确率。

步骤5，根据鸟窝的坐标，得到该鸟窝所在的鸟窝可疑区域，并根据步骤2中保存的该鸟窝可疑区域在原图像中的坐标信息，在高铁线路图像中框出该区域并输出，得到最终结果。

结束流程。

Claims (5)

1.一种基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：含有以下步骤：

步骤1、输入铁路接触网图像；

步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；

步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；

步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；

步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。

2.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤1中选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰度图像作为输入图像。

3.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤2包括以下分步骤：

(2a)将输入图像调整为416×416像素大小，并将灰度图变为三通道图片；

(2b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；

(2c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率；其中边框回归的损失函数公式为

其中

是回归框，

是标注框；

(2d)从回归得到的边界框中筛选出鸟窝可疑区域的位置，并对其进行非极大值抑制处理NMS，最终得到鸟窝可疑区域的中心点坐标、宽和高并保存其在原图像中的坐标信息；

(2e)根据鸟窝可疑区域的坐标裁剪出鸟窝可疑区域图像。

4.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤3步骤如下：

(3a)将鸟窝可疑区域图像调整为416×416像素大小，并将灰度图变为三通道图像；

(3b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；

(3c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率，联合使用三种尺度的特征图进行检测，提升对鸟窝或树枝检测的准确性；

(3d)从回归得到的边界框中筛选出鸟窝的位置，并对其进行非极大值抑制处理NMS，最终得到图像鸟窝的中心点坐标、宽和高；

(3e)根据鸟窝所在鸟窝可疑区域位置，在原图像中框出步骤(2d)中保存的区域，并输出作为最终结果。

5.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤4中将步骤2和步骤3中两个全卷积神经网络的参数保存为模型文件。

Images