CN114419578A - 一种异物检测方法和系统 - Google Patents

Abstract

本申请公开了一种异物检测方法和系统，应用于接触网系统，所述方法包括以下步骤：使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，并基于训练完成的孪生神经网络作为特征提取器，构建分类器网络；其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物，具有较好的检测计算精度，可靠性较高。

Description

一种异物检测方法和系统

技术领域

本申请属于图像处理技术领域，具体涉及一种异物检测方法和系统。

背景技术

在铁路运输线路上，列车安全是铁路运输安全工作的重中之重。在机车运行过程中，若接触网附近存在危险异物，如鸟巢、塑料袋、电线悬挂等，会对机车的行车安全带来极大的安全隐患，因此，对接触网的异物检测尤为重要。

在传统的高铁接触网异物检测方法中，在高铁上架设图像采集装置，在高铁行驶过程中对接触网进行拍摄，然后由工作人员在分析室里通过肉眼看图的方式判断接触网上是否存在异物，逐一排查，不仅成本高，费时费力，而且还存在可靠性差的缺点。

近年来，有学者试图利用目标检测的方法进行高铁接触网的异物检测。但是，在铁路接触网这种特殊场景的异物检测中，目标样本量不足是一个比较常见的问题，即，存在异物的样本占总体样本的比例很小，如果直接对采集的样本进行处理，由于各种环境的影响，以及样本数据的限制，不仅检测速度较慢，而且极易出错，很难高效率精准地检测异物。例如，直接利用孪生神经网络(Siamese Network)进行铁路接触网异物检测至少存在两个问题:一是设定统一的基准图像及图片相似度阈值难以适应铁路线路的多样性，二是为每个铁路环境设定一个基准图像及图片相似度阈值的工作量巨大。

申请内容

本申请实施例的目的是提供一种异物检测方法和系统，以解决现有技术难以高效率精准地检测异物的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种异物检测方法，应用于接触网系统，所述方法包括以下步骤：

使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，并基于训练完成的孪生神经网络作为特征提取器，构建分类器网络；其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；

将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

第二方面，提供了一种异物检测系统，应用于接触网系统，所述系统包括：

训练模块，用于使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络；其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；

构建模块，用于基于训练完成的孪生神经网络作为特征提取器，构建分类器网络；

检测模块，用于将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

本申请实施例使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到分类器网络，并根据分类器网络的输出，确定接触网附近是否存在异物，解决了训练神经网络需要大量的数据集的限制，以及对设定的待检测图像与基准图像的相似度阈值的依赖问题，具有较好的检测计算精度，可靠性较高。

附图说明

图1是本申请实施例提供的一种异物检测方法的流程图；

图2是本申请实施例提供的一种异物检测系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在目标检测领域中，利用孪生神经网络来计算待检测图像与基准图像之间的相似度，利用待检测图像与基准图像之间的相似度分析结果，能够快速找到场景中变化的目标，并对目标进行分类。在利用孪生神经网络时，需要设定一个anchor图像，异物检测的结果极大地依赖于设定的待检测图像与基准图像之间的相似度阈值，对最终的检测结果影响较大。

针对目标样本较少的异物检测场景，本申请实施例提供一种有效的异物检测方法，通过利用改进的孪生神经网络(Triplet Network)提取基准图像、正样本、负样本的特征，将不同类别的图像嵌入到特征空间后，使同类的距离尽量小，不同类的距离尽量大，之后设计一个图像特征分类器，达到精准检测异物的目的，在目标样本较少情况下仍然能够维持较好检测效果的异物检测方法，在铁路接触网异物检测上也可以达到很好的检测效果。需要说明的是，目标样本较少的异物检测场景有很多，本申请实施例以高铁接触网异物检测方法为例进行说明。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的异物检测方法进行详细地说明。

如图1所示，为本申请实施例提供的一种异物检测方法的流程图，应用于接触网系统，该方法包括以下步骤：

步骤101，使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，并基于训练完成的孪生神经网络作为特征提取器，构建分类器网络。

其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本。孪生神经网络和全连接层构成各类图像特征的提取器。孪生神经网络包括第一前馈网络、第二前馈网络和第三前馈网络，所述第一前馈网络、所述第二前馈网络和所述第三前馈网络之间共享参数；所述第一类样本为接触网附近存在异物时拍摄得到的图像集合，所述第二类样本为接触网附近不存在异物时拍摄得到的图像集合。

具体地，可以将所述正样本、所述标准样本和所述负样本分别输入到所述第一前馈网络、所述第二前馈网络和所述第三前馈网络；根据所述正样本、所述标准样本和所述负样本在特征空间的特征向量，计算所述孪生神经网络的软边际损失SoftMargin Loss；更新所述孪生神经网络的网络参数，以使SoftMargin Loss最小化。

本实施例中，可以使用SoftMargin Loss函数计算所述孪生神经网络的SoftMargin Loss：

其中，loss为所述孪生神经网络的SoftMargin Loss，N为所述训练数据集中的正样本的元素总数，y为标准样本的标签，f(x⁺)为正样本在特征空间的特征向量，f(x)为标准样本在特征空间的特征向量，f(x^-)为负样本在特征空间的特征向量。

步骤102，将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

具体地，可以将拍摄到的接触网图像作为待测样本输入到训练好的孪生神经网络模型，从而提取到图像特征；将提取到的图像特征输入到训练好的分类器网络，根据分类器网络的概率输出确定拍摄到的接触网图像附近是否存在异物。

本申请实施例使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到分类器网络，并根据分类器网络的输出，确定接触网附近是否存在异物，解决了训练神经网络需要大量的数据集的限制，以及对设定的待检测图像与基准图像的相似度阈值的依赖问题，具有较好的检测计算精度，可靠性较高。

本申请实施例提供的异物检测方法，主要应用于目标样本较少的场景。在具体实施过程中，选取Vgg16作为孪生神经网络的骨干，用于进行特征提取。Vgg16包括Conv1、Conv2、Conv3、Conv4和Conv5，原始图片被调整至指定大小，例如，105×105。Conv1包括两次[3,3]卷积网络和一次2×2最大池化，输出的特征层为64通道。Conv2包括两次[3,3]卷积网络和一次2×2最大池化，输出的特征层为128通道。Conv3包括两次[3,3]卷积网络和一次2×2最大池化，输出的特征层为256通道。Conv4包括两次[3,3]卷积网络和一次2×2最大池化，输出的特征层为512通道。Conv5包括两次[3,3]卷积网络和一次2×2最大池化，输出的特征层为512通道。将Vgg16的输出CHW(C指输出特征通道数，H指输出特征高度，W指输出特征宽度)，平铺L(输出特征的长度)，即，使用flatten的方式将其平铺到一维上，并把Vgg16的输出送进全连接层作为孪生神经网络的特征输入。将数据集准备为3类输入positive、anchor、negative，即一个负例和两个正例，训练的目标是让相同类别间的距离尽可能的小，让不同类别间的距离尽可能的大。选择SoftMargin Loss作为孪生神经网络的损失函数，通过不断更新CNN的网络参数来降低损失值。构建孪生神经网络，将positive(正样本)、anchor(标准样本)、negative(负样本)同时送入孪生神经网络，进行训练。孪生神经网络训练好后，将Vgg16+fc作为各类图像特征的提取器，然后构建分类器网络，将提取到的各类图像的特征作为构建的分类器的网络的输入，网络的整体结构为：Vgg16+fc+fc+fc+softmax+cross-entropy-loss，其中，fc指全连接层，softmax指激活函数层，crossentropyloss指交叉熵损失函数。，运用改进的孪生神经网络提取图像特征，形成embedding，然后将生成的positive、anchor、negative各类embeddings送入到设计的分类器网络中，对待测样本是正类还是负类作出判断。

相比于先前的算法，本申请实施例提供的异物检测方法具有较高的准确率(P)、召回率(R)和F值，其中，F＝(2×P×R)/(P+R)。通过Siamese Network在训练集(train)和验证集(val)上的准确率曲线可以看出来Siamese Network出现了过拟合现象，训练集的准确率达到了96％，而测试集只有73％。通过Triplet Network在训练集(train)和验证集(val)上的准确率曲线可以看出Triplet Network效果很好，既没有过拟合，又没有欠拟合，在训练集和测试集中准确率都达到了96％以上。为进一步评估改进的孪生神经网络(TripletNetwork)优异性，从精确度(precision)、召回率(recall)、F值3个维度对比网络在训练集和验证集上的表现，训练集的精确度达到了93％，测试集的精确度达到了94％。训练集的召回率达到了98％，测试集的召回率达到了99％。训练集的F值达到了95％，测试集F值达到了96％。

如图2所示，为本申请实施例提供的一种异物检测系统的结构示意图，应用于接触网系统，所述系统包括：

训练模块210，用于使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络。

其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；孪生神经网络包括第一前馈网络、第二前馈网络和第三前馈网络，所述第一前馈网络、所述第二前馈网络和所述第三前馈网络之间共享参数；所述第一类样本为接触网附近存在异物时拍摄得到的图像集合，所述第二类样本为接触网附近不存在异物时拍摄得到的图像集合；

具体地，训练模块210，包括：

输入子模块，用于将所述正样本、所述标准样本和所述负样本分别输入到所述第一前馈网络、所述第二前馈网络和所述第三前馈网络；

计算子模块，用于根据所述正样本、所述标准样本和所述负样本在特征空间的特征向量，计算所述孪生神经网络的SoftMargin Loss；

更新子模块，用于更新所述孪生神经网络的网络参数，以使所述SoftMargin Loss最小化。

本实施例中，计算子模块，具体用于使用SoftMargin Loss函数计算所述孪生神经网络的SoftMargin Loss：

其中，loss为所述孪生神经网络的SoftMargin Loss，N为所述训练数据集中的正样本的元素总数，y为标准样本的标签，f(x⁺)为正样本在特征空间的特征向量，f(x)为标准样本在特征空间的特征向量，f(x^-)为负样本在特征空间的特征向量。

构建模块220，用于基于训练完成的孪生神经网络作为特征提取器，构建分类器网络。

其中，孪生神经网络和全连接层构成各类图像特征的提取器。

检测模块230，用于将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

具体地，检测模块230，具体用于将将拍摄到的接触网图像作为待测样本输入到训练好的孪生神经网络模型，从而提取到图像特征；将提取到的图像特征输入到训练好的分类器网络，根据分类器网络的概率输出确定拍摄到的接触网图像附近是否存在异物。

本申请实施例使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到分类器网络，并根据分类器网络的输出，确定接触网附近是否存在异物，解决了训练神经网络需要大量的数据集的限制，以及对设定的待检测图像与基准图像的相似度阈值的依赖问题，具有较好的检测计算精度，可靠性较高。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种异物检测方法，其特征在于，应用于接触网系统，所述方法包括以下步骤：

使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，并基于训练完成的孪生神经网络作为特征提取器，构建分类器网络；其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；

将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

2.根据权利要求1所述的方法，其特征在于，所述孪生神经网络包括第一前馈网络、第二前馈网络和第三前馈网络，所述第一前馈网络、所述第二前馈网络和所述第三前馈网络之间共享参数；所述第一类样本为接触网附近存在异物时拍摄得到的图像集合，所述第二类样本为接触网附近不存在异物时拍摄得到的图像集合；

所述使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络，包括：

将所述正样本、所述标准样本和所述负样本分别输入到所述第一前馈网络、所述第二前馈网络和所述第三前馈网络；

根据所述正样本、所述标准样本和所述负样本在特征空间的特征向量，计算所述孪生神经网络的软边际损失SoftMargin Loss；

更新所述孪生神经网络的网络参数，以使所述SoftMargin Loss最小化。

3.根据权利要求2所述的方法，其特征在于，所述将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物，包括：

将拍摄到的接触网图像作为待测样本输入到训练好的孪生神经网络模型，从而提取到图像特征；

将提取到的图像特征输入到训练好的分类器网络，根据分类器网络的概率输出确定拍摄到的接触网图像附近是否存在异物。

4.根据权利要求2所述的方法，其特征在于，所述根据所述正样本、所述标准样本和所述负样本在特征空间的特征向量，计算所述孪生神经网络的SoftMargin Loss，包括：

使用SoftMargin Loss数计算所述孪生神经网络的SoftMargin Loss：

其中，loss为所述孪生神经网络的SoftMargin Loss，N为所述训练数据集中的正样本的元素总数，y为标准样本的标签，f(x⁺)为正样本在特征空间的特征向量，f(x)为标准样本在特征空间的特征向量，f(x^-)为负样本在特征空间的特征向量。

5.根据权利要求1所述的方法，其特征在于，所述孪生神经网络和全连接层构成各类图像特征的提取器。

6.一种异物检测系统，其特征在于，应用于接触网系统，所述系统包括：

训练模块，用于使用训练数据集中的正样本、标准样本和负样本训练孪生神经网络；其中，所述正样本与所述标准样本归属于所述训练数据集中的第一类样本，所述负样本归属于所述训练数据集中的第二类样本，所述第一类样本不同于所述第二类样本；

构建模块，用于基于训练完成的孪生神经网络作为特征提取器，构建分类器网络；

检测模块，用于将拍摄到的接触网图像作为待测样本输入到孪生神经网络提取特征，将提取到的特征输入到所述分类器网络，并根据所述分类器网络的输出，确定接触网附近是否存在异物。

7.根据权利要求6所述的系统，其特征在于，所述孪生神经网络包括第一前馈网络、第二前馈网络和第三前馈网络，所述第一前馈网络、所述第二前馈网络和所述第三前馈网络之间共享参数；所述第一类样本为接触网附近存在异物时拍摄得到的图像集合，所述第二类样本为接触网附近不存在异物时拍摄得到的图像集合；

所述训练模块，包括：

输入子模块，用于将所述正样本、所述标准样本和所述负样本分别输入到所述第一前馈网络、所述第二前馈网络和所述第三前馈网络；

计算子模块，用于根据所述正样本、所述标准样本和所述负样本在特征空间的特征向量，计算所述孪生神经网络的SoftMargin Loss；

更新子模块，用于更新所述孪生神经网络的网络参数，以使所述SoftMargin Loss最小化。

8.根据权利要求7所述的系统，其特征在于，

所述检测模块，具体用于将拍摄到的接触网图像作为待测样本输入到训练好的孪生神经网络模型，从而提取到图像特征；将提取到的图像特征输入到训练好的分类器网络，根据分类器网络的概率输出确定拍摄到的接触网图像附近是否存在异物。

9.根据权利要求7所述的系统，其特征在于，

所述计算子模块，具体用于使用SoftMargin Loss函数计算所述孪生神经网络的SoftMargin Loss：

其中，loss为所述孪生神经网络的SoftMargin Loss，N为所述训练数据集中的正样本的元素总数，y为标准样本的标签，f(x⁺)为正样本在特征空间的特征向量，f(x)为标准样本在特征空间的特征向量，f(x^-)为负样本在特征空间的特征向量。

10.根据权利要求6所述的系统，其特征在于，所述孪生神经网络和全连接层构成各类图像特征的提取器。

Images