CN107563431A - 一种结合cnn迁移学习和svdd的图像异常检测方法 - Google Patents

Abstract

本发明公开了一种结合CNN迁移学习和SVDD的图像异常检测方法，根据视频数据手工截取待检测图像对象周围的图像，制作待检测的支柱编号数据集，利用卷积神经网络表达图像数据深度特征，采用已经通过预训练好的权重和参数的网络模型，通过训练的网络模型充分提取支柱编号样本的特征，解决非平衡数据中少数类数据的问题；构造出需要在分类器中参与训练的正样本特征集，最后利用支持向量数据描述算法和网格搜索等进行参数优化，形成正样本特征训练的正常域，通过此边界实现对接触网编号状态的识别。本发明自动化处理水平较高，可以极大的降低操作人员工作量，及早发现接触网支柱编号异常问题，提高巡检效率。

Description

一种结合CNN迁移学习和SVDD的图像异常检测方法

技术领域

本发明涉及高铁接触网支柱编号的状态检测领域，具体是一种结合CNN迁移学习和SVDD的图像异常检测方法。

背景技术

高铁接触网系统作为列车的重要部分，其运行状况对列车的安全有至关重要的影响。接触网支柱编号的状态检测作为接触网支柱编号识别前的重要工作步骤，对接触网支柱编号的异常检测不仅可以快速判定道路安全信息，也可以为高速铁路管理提供极大的便利。

传统通过图像和模式识别进行异常检测的方法是通过适应于检测对象的固定算法或者人工确定并提取相应特征，再通过异常检测算法进行异常检测。这类方法往往需要大量的样本和特征信息，不能很好地针对不平衡数据。而在异常检测中异常类数据的获取往往需要大量的人力物力，并且在实际中异常类数据相对很少，采用异常检测可能效果不佳。第二是通过人工确定的特征不能准确地反映图像的深度特征表达。

发明内容

本发明所要解决的技术问题是提供一种结合CNN(卷积神经网络)迁移学习和SVDD(Support Vector Data Description，支持向量数据描述)的图像异常检测方法，解决现有异常检测方法存在的提取图像特征信息不准确、不能很好地解决非平衡数据的技术问题，有效地实现高速列车接触网图像异常检测。

为解决上述技术问题，本发明采用的技术方案是：

一种结合CNN迁移学习和SVDD的图像异常检测方法，包括以下步骤：

步骤1：对于给定视频数据，截取包括待检测对象图像的样本，制作包含大量正样本和少量负样本的数据集，其中正样本和负样本的比例为10比1；

步骤2：对已经预训练好的网络模型进行模型迁移，将正样本集和负样本集中的训练集作为迁移后的卷积神经网络模型中的训练数据，生成CNN中的模型Model1，根据模型Model1提取正样本数据训练特征；

步骤3：利用CNN中训练得到的正样本特征作为SVDD分类器的输入，通过SVDD训练正样本特征得到超球体模型Model2；

步骤4：将测试样本集中的正样本和负样本通过Model1提取得到待检测的特征，并通过Model2判断测试样本与超球体的关系，最终判断测试样本是否异常。

进一步的，在步骤3中通过SVDD训练正样本特征得到超球体模型Model2具体为：

对一类数据进行训练得到其训练边界，在高维特征数据中就是超球体模型；对待测试样本检测时，判断测试样本与其边界的关系，若在边界内，则为正常数据，若在边界外，则为异常数据，进而：

设正样本被完全包围时的超球体球心为a，半径为R，则对应的优化方程为：

s.t.R²+ξ_i-(x_i-a)(x_i-a)^T≥0 (2)

其中，i＝1,2,...N，j＝1,2,...N，N为样本集个数，x_i,x_j为训练样本，C为惩罚因子，ξ_i为松弛变量；通过引入朗格朗日乘子并对相应函数进行求解，将(1)改写为式(3)：

其中，式(3)中L为Lagrange函数，式(4)中非零的α_i即为支持向量；对于新的测试样本z，当满足式(5)时，测试样本为正常样本，否则为异常样本；

||z-a||²≤R²。 (5)

进一步的，还引入核函数K，将低维空间中的非线性问题转化为高维中的线性问题。

进一步的，正常域边界由惩罚因子C和核函数K中的参数g决定，采用参数寻优的方法对设定阈值范围内的C和g进行寻优，以找到最优参数组。

与现有技术相比，本发明的有益效果是：1)有效利用列车视频设备，视频信息量更丰富，简单方便，不受机车车型影响，各种车型都可使用。2)能够很好地处理传统方法中需要人为确定特征及处理非平衡数据中异常类数据少等问题。3)自动化处理水平较高，可以极大地降低操作人员工作量，及早发现接触网支柱编号异常问题，提高巡检效率。

附图说明

图1为本发明实施例中使用的改进的Lenet-5网络结构图。

图2为本发明一种结合CNN迁移学习和SVDD的图像异常检测方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明基本思想是根据视频数据手工截取待检测图像对象周围的图像，制作待检测的支柱编号数据集，利用卷积神经网络能更好地表达图像数据深度特征的优点，利用CNN迁移学习的思想，利用已经通过预训练好的权重和参数的网络模型，通过训练的网络模型充分提取支柱编号样本的特征，解决非平衡数据中少数类数据的问题。

针对实际中接触网支柱编号数据的正样本容易获取，而异常样本较少且获取困难的特点，引入基于一类分类的支持向量数据描述方法，构造出需要在分类器中参与训练的正样本特征集，最后采用支持向量数据描述算法和网格搜索等进行参数优化，形成正样本特征训练的正常域，通过此边界实现对接触网编号状态的识别。具体包括如下步骤：

步骤1：对于给定视频数据，截取包括待检测对象图像的样本，制作包含大量正样本和少量负样本的数据集，其中正样本和负样本的比例为10比1。

采取手工截取待检测对象周围10张随机图像，共得到正常支柱编号数据3200张，异常支柱编号数据700张。其中异常样本选取原则主要有不能清晰地看到接触网支柱编号的四个数字，编号前面有遮挡物等。

步骤2：由迁移学习的思想，对已经预训练好的网络模型进行模型迁移，将正样本集和负样本集中的训练集作为迁移后的卷积神经网络模型中的训练数据，生成CNN中的模型Model1，根据模型Model1提取正样本数据训练特征。

利用CNN模型的迁移学习对步骤1中的样本进行训练。卷积神经网络区别于传统的浅层学习需要依靠经验人为指定特征，它可以实现从原始数据到目标函数直接的端对端地学习。卷积神经网络的两个主要特点是局部感知和权值共享，它可以逐层地对卷积前后的图像进行特征学习，将前一层学习到的数据特征作为下一层的输入，使机器获得更高级的特征表达和理解能力。

通过对卷积神经网络模型的迁移学习，可以解决异常类数据很少的问题。其基本思想是使用预训练好的模型，这些模型已经通过大量容易获得的数据集进行训练。虽然任务不同，但输入相同，只是输出不同，只要找到输出结果可以重用的层，使用这些层的输出充当输入，进而可以训练一个参数更少，规模更小的网络，这个新网络只需了解特定问题的内部关系，并通过预训练模型学习数据蕴含的模式。即可以解决利用深度学习网络学习特征所需的海量数据量，用较少的数据量就能达到同预训练网络模型要达到的类似结果。

采用预训练网络模型是由1989年提出的训练手写数字的网络模型Lenet-5。基于改进的Lenet-5网络模型用于接触网支柱编号数据的预训练和提取特征，改进后的网络模型见图1。主要的改进包括输出类别个数，由于实际中接触网支柱编号异常检测属于2分类，因此最后输出类别个数由10改成2。第二是由于接触网支柱编号分类的类别数减少，因此为增加网络整体识别性能，改变C5层特征图的个数并找到最适应接触网支柱编号数据的特征图数目，由原网络中的120改为20，也为后续提取数据特征减少运算量。

步骤3：利用CNN中训练得到的正样本特征作为SVDD分类器的输入，通过SVDD训练正样本特征得到超球体模型Model2。

SVDD算法即支持向量数据描述算法，是一种一类分类的算法，其基本思想是通过对一类数据(通常为正常类数据)进行训练得到其训练边界，在高维特征数据中也就是超球体模型；对待测试样本检测时，判断测试样本与其边界的关系，若在边界内，则为正常数据，若在边界外，则为异常数据。SVDD算法如下：

设正样本被完全包围时的超球体球心为a，半径为R，则对应的优化方程为：

s.t.R²+ξ_i-(x_i-a)(x_i-a)^T≥0 (2)

对于式(1)这一典型二次规划问题，通过引入朗格朗日乘子并对相应函数进行求解可将(1)改写为以下式(2)：

其中，式(4)中非零的α_i即为支持向量。求解超球体半径和球心可知，半径和球心只由支持向量决定，与其他样本没有关系。对于新的测试样本z，当满足

||z-a||²≤R² (5)

时，则测试样本为正常样本，否则为异常样本。一般情况下，除去异常数据点后数据依旧不会呈球状分布，因此引入核函数K，将低维空间中的非线性问题转化为高维中的线性问题。构造超球体时，为了降低异常数据点被纳入正常域的影响，引入了惩罚因子C和松弛变量ξ_i。

由于正常域边界主要由惩罚因子C和核函数中的参数g决定，因此发明中采用了参数寻优的方法对设定阈值范围内的C和g进行寻优，以找到最优参数组。

步骤4：将测试样本集中的正样本和负样本通过Model1提取得到待检测的特征，并通过Model2判断测试样本与超球体的关系，最终判断测试样本是否异常。

通过之前训练好的Model1对测试样本进行特征提取，其次将提取到的特征数据作为SVDD分类器的测试样本，通过比较测试样本和正常域模型的关系，得到最终测试样本是否异常。通过相关实验，能够很好地判断接触网支柱编号数据是否属于异常。

Claims (4)

1.一种结合CNN迁移学习和SVDD的图像异常检测方法，其特征在于，包括以下步骤：

步骤1：对于给定视频数据，截取包括待检测对象图像的样本，制作包含大量正样本和少量负样本的数据集，其中正样本和负样本的比例为10比1；

步骤2：对已经预训练好的网络模型进行模型迁移，将正样本集和负样本集中的训练集作为迁移后的卷积神经网络模型中的训练数据，生成CNN中的模型Model1，根据模型Model1提取正样本数据训练特征；

步骤3：利用CNN中训练得到的正样本特征作为SVDD分类器的输入，通过SVDD训练正样本特征得到超球体模型Model2；

步骤4：将测试样本集中的正样本和负样本通过Model1提取得到待检测的特征，并通过Model2判断测试样本与超球体的关系，最终判断测试样本是否异常。

2.如权利要求1所述的一种结合CNN迁移学习和SVDD的图像异常检测方法，其特征在于，在步骤3中通过SVDD训练正样本特征得到超球体模型Model2具体为：

对一类数据进行训练得到其训练边界，在高维特征数据中就是超球体模型；对待测试样本检测时，判断测试样本与其边界的关系，若在边界内，则为正常数据，若在边界外，则为异常数据，进而：

设正样本被完全包围时的超球体球心为a，半径为R，则对应的优化方程为：

s.t.R²+ξ_i-(x_i-a)(x_i-a)^T≥0 (2)

其中，i＝1,2,...N，j＝1,2,...N，N为样本集个数，x_i,x_j为训练样本，C为惩罚因子，ξ_i为松弛变量；通过引入朗格朗日乘子并对相应函数进行求解，将(1)改写为式(3)：

其中，式(3)中L为Lagrange函数，式(4)中非零的α_i即为支持向量；对于新的测试样本z，当满足式(5)时，测试样本为正常样本，否则为异常样本；

||z-a||²≤R²。 (5) 。

3.如权利要求2所述的一种结合CNN迁移学习和SVDD的图像异常检测方法，其特征在于，还引入核函数K，将低维空间中的非线性问题转化为高维中的线性问题。

4.如权利要求3所述的一种结合CNN迁移学习和SVDD的图像异常检测方法，其特征在于，正常域边界由惩罚因子C和核函数K中的参数g决定，采用参数寻优的方法对设定阈值范围内的C和g进行寻优，以找到最优参数组。