CN113658112B - 一种基于模板匹配与神经网络算法的弓网异常检测方法 - Google Patents

Abstract

本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法，包括如下步骤：获得相关弓网图片，为灰度图像，然后按不同场景尺寸对其分类；使用模板匹配算法截取在每个场景下的弓网照片；重置弓网照片尺寸，并对弓网照片进行标记，将所有已标记数据打包成为可被调用的数据集；搭建合适的卷积神经网络；将数据集划分为训练集、验证集以及测试集，然后导入训练程序对神经网络进行训练；得到训练完成的卷积神经网络以及各个场景的相应模板。使用时，先将图片灰度化后使用模板匹配算法对其弓网部分进行截取，然后再使用卷积神经网络对其进行状态判定，最后输出判定结果。

Description

一种基于模板匹配与神经网络算法的弓网异常检测方法

技术领域

本发明涉及受电弓、接触网维护技术领域，尤其涉及一种基于模板匹配与神经网络算法的弓网异常检测方法。

背景技术

弓网状态异常是牵引供电系统中影响供电的常见问题，这些异常有时只会影响受电弓的使用，但有时会造成严重的停车事故，因此，对于受电弓与接触网异常的准确识别是目前牵引供电系统的一个十分重要的需求。目前，在铁路的实际应用上，对于受电弓与接触网的图像识别技术还停留在一些比较传统的图像识别算法上，如模板匹配算法、边缘识别算法等，甚至有些地方还使用人工识别的方式对于所拍得的图像进行识别。目前，对于弓网异常检测的研究，有许多研究还在致力于使用传统算法，《基于高清图像处理的弓网检测识别算法》(《铁道机车车辆》,2016,36(05):82-84，杨卢强,韩通新)提出了一种基于canny边缘检测算法的弓网接触点检测算法，该方法是典型的基于传统算法的图像处理方法，通常只适用于特定且固定的场景；《基于图像识别的接触网信息处理系统》(《南京大学》，2018，胡尊皓)提出了一种基于robets算子与sobel算子的接触线识别算法，该算法可以准确地识别图像中的接触线值，但无法对于接触线的状态进行判断，也有一些研究开始结合现代智能算法，《高速动车组弓网运行状态的数字图像处理和识别研究》(《兰州交通大学》，2020，张润彤)提出了一种基于Radon变换和卷积神经网络的弓网运行状态监测算法，该算法可以针对于车载接触网运行状态监测装置(3C)所拍摄的图片进行状态识别，但是该方法并未考虑多场景的情况，没有充分利用卷积神经网络的可扩展性。

发明内容

本发明的实施例提供了一种基于模板匹配与神经网络算法的弓网异常检测方法，用于解决现有技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于模板匹配与神经网络算法的弓网异常检测方法，包括：

S1获取弓网原始图像，转换为第一弓网灰度图像；

S2根据对应的弓网原始图像中的场景尺寸对第一弓网灰度图像进行分类，为每个场景尺寸类别的第一弓网灰度图像匹配模板，使得模板匹配算法能够识别在某个场景的弓网区域。

S3通过模板匹配算法从每个场景的第一弓网灰度图像中截取第一弓网图像；

S4重置第一弓网图像的尺寸，标记该重置尺寸后的第一弓网图像；基于该标记后的第一弓网图像，通过打包处理建立数据集；

S5建立卷积神经网络，将数据集进行划分，获得训练集、验证集和测试集，将该训练集、验证集和测试集输入到该卷积神经网络进行训练；

S6基于弓网原始图像，转换为第二弓网灰度图像；

S7根据对应的弓网原始图像中的场景尺寸对第二弓网灰度图像进行分类，为每个场景尺寸类别的第二弓网灰度图像匹配模板；

S8通过模板匹配算法从每个场景的第二弓网灰度图像中截取第二弓网图像；

S9通过训练后的卷积神经网络，判定第二弓网图像中弓网的状态。

优选地，步骤S3包括：

S31通过滑动模板遍历第一弓网灰度图像中弓网所在的弓网区域，计算模板匹配该弓网区域的误差值；

S32选择误差值最小的第一弓网灰度图像中弓网所在的弓网区域，获得第一弓网图像；

模板匹配算法为平均绝对差算法，该平均绝对差算法的步长为1。

优选地，步骤S4中，标记该重置尺寸后的第一弓网图像包括：

通过标记获得重置尺寸后的第一弓网图像的异常弓网图像/正常弓网图像，以及不含弓网图像。

优选地，步骤S5中：

卷积神经网络包括输入层、卷积层、ReLU激活函数、池化层、全连接层和softmax层；

卷积层用于对从输入层输入的特征图进行卷积操作；ReLU激活函数用于对卷积操作后的特征图进行激活；池化层用于对激活后的特征图进行裁剪。

优选地，卷积层的滤波器尺寸为5，滤波器数量为20，滤波器步长为1。

优选地，卷积神经网络的反向传播算法为随机梯度下降算法；步骤S5中每次训练数据集的batch数量为128，验证集的容忍度为5。

优选地，步骤S9包括：

S91若训练后的卷积神经网络判定某个第二弓网图像不含弓网，则舍弃该个第二弓网图像；

S92基于未舍弃的第二弓网图像，将模板匹配未舍弃的第二弓网灰度图像中弓网所在的弓网区域的误差值的倒数作为权值，基于该权值计算未舍弃的第二弓网灰度图像中弓网所在的弓网区域有异常的加权概率，若该加权概率大于预设阈值，则判定弓网所在的弓网区域出现异常，否则，判定为弓网所在的弓网区域无异常。

由上述本发明的实施例提供的技术方案可以看出，本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法，包括如下步骤：获得相关弓网图片，为灰度图像，然后按不同场景尺寸对其分类；使用模板匹配算法截取在每个场景下的弓网照片；重置弓网照片尺寸，并对弓网照片进行标记，将所有已标记数据打包成为可被调用的数据集；搭建合适的卷积神经网络；将数据集划分为训练集、验证集以及测试集，然后导入训练程序对神经网络进行训练；得到训练完成的卷积神经网络以及各个场景的相应模板。使用时，先将图片灰度化后使用模板匹配算法对其弓网部分进行截取，然后再使用卷积神经网络对其进行状态判定，最后输出判定结果。本发明提供的方法，基于弓网图像的特殊性，利用模板匹配算法降低了对于卷积神经网络的训练要求，降低了卷积神经网络的复杂度，并且该方法可以有效地对于弓网异常场景进行识别。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法的处理流程图；

图2为本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法的一种优选实施例的流程图；

图3为本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法的卷积神经网络的架构图；

图4为本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法的模板匹配算法结果的示意图；

图5为本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法的积神经网络算法异常检测结果的示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明具体涉及受电弓与接触网等故障的在线判定的方法，具体解决现有技术中的如下问题：

模板匹配算法是传统图像识别中经常使用的一个算法，其优点是算法实现简单，易修改，缺点是算法扩展性较差，若遇到与模板差距较大的场景，就无法识别。神经网络算法特别是卷积神经网络目前是前沿图像识别领域中非常火热的算法，其使用不同尺寸的卷积核可以使图像不同方面的特征被全面识别，甚至，有时还能发现人眼很难发现的特征，但是其缺点是若需要对复杂的场景进行卷积神经网络训练，其所需的算力要求极高。弓网异常并不是一个十分复杂的场景，但是其可能存在不同场景下尺寸不同的情况，此时若直接使用卷积神经网络对其进行学习，所耗费计算量较大。但是如果将弓网的图片部分单独从其不同场景尺寸下的图片中提取出来，其所需的计算量就可以大大降低。而模板匹配算法就可以较为快速地完成这一工作，使用不同尺度的模板可以轻松地将弓网部分在不同场景尺寸下的图片中提取出来。

因此，本发明提出了一种基于模板匹配与神经网络算法的弓网识别方法，其基于模板匹配算法，对于不同场景下的弓网部分进行迅速提取，然后将提取的弓网部分图片输入卷积神经网络中进行识别，该方法相较直接使用卷积神经网络，可大幅度降低卷积神经网络的训练时间以及规模。

参见图1和2，本发明提供一种基于模板匹配与神经网络算法的弓网异常检测方法，包括如下步骤：

S1获取弓网原始图像，转换为第一弓网灰度图像；

S2根据对应的弓网原始图像中的场景尺寸对所述第一弓网灰度图像进行分类，为每个场景尺寸类别的所述第一弓网灰度图像匹配模板，使得模板匹配算法能够识别在某个场景的弓网区域。

S3通过模板匹配算法从每个场景的所述第一弓网灰度图像中截取第一弓网图像；

S4重置所述第一弓网图像的尺寸，标记该重置尺寸后的所述第一弓网图像；基于该标记后的所述第一弓网图像，通过打包处理建立数据集；

S5建立卷积神经网络，将所述数据集进行划分，获得训练集、验证集和测试集，将该训练集、验证集和测试集输入到该卷积神经网络进行训练；

S6基于弓网原始图像，转换为第二弓网灰度图像；

S7根据对应的弓网原始图像中的场景尺寸对所述第二弓网灰度图像进行分类，为每个场景尺寸类别的所述第二弓网灰度图像匹配所述模板；

S8通过模板匹配算法从每个场景的所述第二弓网灰度图像中截取第二弓网图像；

S9通过训练后的所述卷积神经网络，判定所述第二弓网图像中弓网的状态。

进一步的，在本发明提供的优选实施例中，步骤S1中，获得相关弓网图片，若为RGB图片，将其转换为灰度图像，然后按不同场景尺寸对其分类，对于每个场景选择合适的模板，使得模板匹配算法能够快速识别在该场景下的弓网区域。

所获取的弓网图片应当可以具有显著的对比度，若对比度不足，可使用直方均衡对其进行处理。

在选择各个场景的模板时应当验证其模板的可靠性，具体地，针对于所选场景的图片，若该场景模板能正确匹配出该场景中95％以上的情况，则认为该模板是有效的。

进一步的，步骤S3具体包括：

S31通过滑动模板遍历第一弓网灰度图像中弓网所在的弓网区域，计算模板匹配该弓网区域的误差值；

S32选择误差值最小的第一弓网灰度图像中弓网所在的弓网区域，获得第一弓网图像；

模板匹配算法为平均绝对差算法，该平均绝对差算法的步长为1步长设置为1(横向与纵向步长相同)，使用滑动模板对图片中的所有位置进行遍历之后，计算所有位置区域的误差，并选择误差最小的位置区域作为识别的弓网部分照片输出。

进一步的，步骤S4具体包括：

将所有弓网部分照片的尺寸重置为200×200，对所有弓网部分照片进行标记，异常情况标记为[1 0 0]，正常情况标记为[0 1 0]；添加一部分完全不含弓网部分的200×200尺寸的照片，并将其标记为[0 0 1],将以上所以已标记数据打包成为可被调用的数据集。

在添加不含弓网部分的照片时，应多选择一些神经网络算法容易误识别的情况(如一些接触网机械结构，与受电弓结构有相似之处的地方)作为负样本，这样可以提高神经网络对于容易误识别情况的敏感性，提高识别准确率。

在本发明提供的优选实施例中，如图3所示，卷积神经网络包括输入层、卷积层、ReLU激活函数、池化层、全连接层和softmax层。卷积层用于对从输入层输入的特征图进行卷积操作；ReLU激活函数用于对卷积操作后的特征图进行激活；池化层用于对激活后的特征图进行裁剪。

例如在一个具体实施方式中，卷积神经网络的输入图片尺寸设置为200×200，输入层之后连接卷积层，卷积层滤波器尺寸设置5，数量设置为20，步长为1，进行完卷积操作之后，使用ReLU激活函数对其特征图进行统一激活，然后使用14×14尺寸的最大池化层对于特征图特征进行裁剪，裁剪后的输出将被输入到一个输出维度为3的全连接层中，最后全连接层的输出经过softmax层之后输出最终识别结果。

积层的滤波器尺寸可按实际情况进行一定的修改，若数据集中含有弓网的部分非常小，则可将其尺寸修改的更小，以识别更小的弓网特征。当然也可以添加多层卷积层，使得神经网络可以识别更为复杂的特征，但是考虑到目前所检测到的弓网情况为较为简单的情况，目前一层卷积层也可以满足使用要求。

池化层的大小与卷积层滤波器的步长与数量有关，若需要调整相关滤波器步长，则应调整相关池化层大小，原则上，应保持与本发明所述一样的比例。

在本实施例中，将标记好的数据集按5:3:2的比例划分为训练集、验证集以及测试集之后，将其导入训练程序对神经网络进行训练，神经网络的反向传播算法设置为随机梯度下降算法，神经网络的每次训练的batch数量设置为128，验证集容忍度设置为5(即若验证集的误差在5次内没有显著变化，则认为神经网络已经训练完成)。

神经网络每次训练的batch数量可进行微调，可将batch数量设置为超参数，并使用仿生智能算法对其进行具体确定。

若发生验证集振荡的而不收敛情况，可减小验证集容忍度来解决这一问题，也可直接取消验证集容忍度，设置最大迭代次数来解决这一问题。

训练完成卷积神经网络之后，输入图像进行弓网状态的判定。在本发明提供的优选实施例中，训练神经网络的图像取弓网原始图像的一部分，建立训练用的第一弓网灰度图像。训练完成后，取其余的弓网原始图像转换为第二弓网灰度图像进行后续的处理判定步骤。前几步与训练过程基本相同，步骤S9具体包括如下过程：

S91若训练后的所述卷积神经网络判定某个所述第二弓网图像不含弓网，则舍弃该个所述第二弓网图像；

S92基于未舍弃的所述第二弓网图像，将模板匹配未舍弃的所述第二弓网灰度图像中弓网所在的弓网区域的误差值的倒数作为权值，基于该权值计算未舍弃的所述第二弓网灰度图像中弓网所在的弓网区域有异常的加权概率，若该加权概率大于预设阈值，则判定弓网所在的弓网区域出现异常，否则，判定为弓网所在的弓网区域无异常。

作为一个具体的实施方式，利用训练完成的卷积神经网络进行判定的算法执行过程如下：

1.获得目标图片，将目标图片转换为灰度值图片；2.依次使用各个场景的模板对于灰度图片进行匹配，依次输出各个模板匹配的区域，模板匹配算法部分结果如图4所示，及各个模板的匹配误差；图中，a部分为从场景中识别出弓网的位置，b部分为对其进行放大；3.将模板所匹配区域的尺寸重置为200×200之后依次输入卷积神经网络进行判定，若判定结果为不含弓网，则舍弃该模板匹配输出的区域。统计剩余情况卷积神经网络的输出结果，将模板的匹配误差的倒数作为权值计算其结果中显示弓网有异常的加权概率，若概率大于阈值(可设置为0.5)，则判定目标弓网区域出现了异常，否则弓网区域无异常，卷积神经网络算法异常部分检测结果例如图5所示；图中，a部分为判定为异常状况的弓网，故障具体为受电弓降弓，未与接触网相接触，且受电弓自身断裂；b部分为正常状态的弓网，c部分为未检测到受电弓。

综上所述，本发明提供的一种基于模板匹配与神经网络算法的弓网异常检测方法，包括如下步骤：获得相关弓网图片，为灰度图像，然后按不同场景尺寸对其分类；使用模板匹配算法截取在每个场景下的弓网照片；重置弓网照片尺寸，并对弓网照片进行标记，将所有已标记数据打包成为可被调用的数据集；搭建合适的卷积神经网络；将数据集划分为训练集、验证集以及测试集，然后导入训练程序对神经网络进行训练；得到训练完成的卷积神经网络以及各个场景的相应模板。使用时，先将图片灰度化后使用模板匹配算法对其弓网部分进行截取，然后再使用卷积神经网络对其进行状态判定，最后输出判定结果。本发明提供的方法，基于弓网图像的特殊性，利用模板匹配算法降低了对于卷积神经网络的训练要求，降低了卷积神经网络的复杂度，并且该方法可以有效地对于弓网异常场景进行识别。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于模板匹配与神经网络算法的弓网异常检测方法，其特征在于，包括：

S1获取弓网原始图像，转换为第一弓网灰度图像；

S2根据对应的弓网原始图像中的场景尺寸对所述第一弓网灰度图像进行分类，为每个场景尺寸类别的所述第一弓网灰度图像匹配模板，使得模板匹配算法能够识别在某个场景的弓网区域；

S3通过模板匹配算法从每个场景的所述第一弓网灰度图像中截取第一弓网图像；

S4重置所述第一弓网图像的尺寸，标记该重置尺寸后的所述第一弓网图像；基于该标记后的所述第一弓网图像，通过打包处理建立数据集；

S5建立卷积神经网络，将所述数据集进行划分，获得训练集、验证集和测试集，将该训练集、验证集和测试集输入到该卷积神经网络进行训练；

S6基于弓网原始图像，转换为第二弓网灰度图像；

S7根据对应的弓网原始图像中的场景尺寸对所述第二弓网灰度图像进行分类，为每个场景尺寸类别的所述第二弓网灰度图像匹配所述模板；

S8通过模板匹配算法从每个场景的所述第二弓网灰度图像中截取第二弓网图像；

S9通过训练后的所述卷积神经网络，判定所述第二弓网图像中弓网的状态。

2.根据权利要求1所述的方法，其特征在于，步骤S3包括：

S31通过滑动模板遍历所述第一弓网灰度图像中弓网所在的弓网区域，计算模板匹配该弓网区域的误差值；

S32选择误差值最小的所述第一弓网灰度图像中弓网所在的弓网区域，获得所述第一弓网图像；

所述模板匹配算法为平均绝对差算法，该平均绝对差算法的步长为1。

3.根据权利要求1所述的方法，其特征在于，步骤S4中，所述的标记该重置尺寸后的所述第一弓网图像包括：

通过标记获得重置尺寸后的所述第一弓网图像的异常弓网图像，或所述第一弓网图像的正常弓网图像，以及所述第一弓网图像的不含弓网图像。

4.根据权利要求1所述的方法，其特征在于，步骤S5中：

所述卷积神经网络包括输入层、卷积层、ReLU激活函数、池化层、全连接层和softmax层；

所述卷积层用于对从所述输入层输入的特征图进行卷积操作；所述ReLU激活函数用于对卷积操作后的特征图进行激活；所述池化层用于对激活后的特征图进行裁剪。

5.根据权利要求4所述的方法，其特征在于，所述卷积层的滤波器尺寸为5，滤波器数量为20，滤波器步长为1。

6.根据权利要求4所述的方法，其特征在于，所述卷积神经网络的反向传播算法为随机梯度下降算法；步骤S5中每次训练所述数据集的batch数量为128，所述验证集的容忍度为5。

7.根据权利要求2所述的方法，其特征在于，步骤S9包括：

S91若训练后的所述卷积神经网络判定某个所述第二弓网图像不含弓网，则舍弃该个所述第二弓网图像；

S92基于未舍弃的所述第二弓网图像，将模板匹配未舍弃的所述第二弓网灰度图像中弓网所在的弓网区域的误差值的倒数作为权值，基于该权值计算未舍弃的所述第二弓网灰度图像中弓网所在的弓网区域有异常的加权概率，若该加权概率大于预设阈值，则判定弓网所在的弓网区域出现异常，否则，判定为弓网所在的弓网区域无异常。