CN106355210B - 基于深度神经元响应模式的绝缘子红外图像特征表达方法 - Google Patents

Abstract

本发明公开一种基于深度神经元响应模式的绝缘子红外图像特征表达方法，所述表达方法包括：步骤一：根据深度网络对输入图像I进行前向传递；步骤二：根据所述深度网络构建深度特征模型，获得深度绝缘子红外特征。本发明基于深度神经元响应模式的绝缘子红外图像特征表达方法根据输入的图像挖掘出深度神经元的响应模式，改进深度网络，构建深度特征模型，从而确定绝缘子红外特征，提高绝缘子红外图像特征的鲁棒性。

Description

基于深度神经元响应模式的绝缘子红外图像特征表达方法

技术领域

本发明涉及图像分析技术领域，特别是涉及一种基于深度神经元响应模式的绝缘子红外图像特征表达方法。

背景技术

绝缘子是输电线路中极其重要且大量存在的部件，起到电气绝缘及机械支撑作用；同时又是故障多发元件，需要对其进行周期性的检修。随着热红外技术的进步，利用红外热像仪的手段对绝缘子内部缺陷进行诊断已在实际工作中大量运用。为了能在海量数据中利用智能手段实现绝缘子红外图像的自动识别与诊断，首先必须构建针对绝缘子的有效特征表达。

图像的特征表达是图像处理、模式识别和计算机视觉等领域的关键技术，其目的在于从图像的原始像素中提取具有代表性，独特性，具有区分度的表示。在目标检测，目标追踪，图像分割，图像分类等计算机视觉任务中图像的特征表达是最基本前提，特征表达的好坏直接影响了最终的结果。

长期以来，如何获取图像更出色的特征表达是学者们研究的重点。为了解决各种计算机视觉任务，一大批基于手工设计的特征被相继提出，从HOG(Histogram of OrientedGradient)，LBP(Local Binary Pattern)，到基于局部不变特征点的Sift(Scale-invariant feature transform)，SURF(Speeded Up Robust Features)及其一系列改良版本如BRISK(Binary Robust Invariant Scalable Keypoints)，FREAK(Fast RetinaKeypoint)等，进而到中层特征构建如Bag-of-feature，FV(Fisher Vector)和VLAD(Vectorof Locally Aggregated Descriptors)等。这些特征往往为了某种特定任务而被设计，并适用于固定场景下。而这些现有的方法必须根据传感器数据图像的特点分别进行特征手工设计，随着应用场景的改变设计模型也必须进行相应变化，极大增加了算法难度并且具有较弱的泛化性能。

直接利用像素或人工特征对目标进行表达的，其精确性很难保证，而深度学习利用模拟视觉感知系统的层次结构，建立含有丰富隐层结构的机器学习模型，通过大量的数据训练，能够学习获得有用的本质特征。在图像处理任务中，深度神经网络能够有效的对图像进行高层次特征表达，相比于手工特征，能够抽取更具有区分度的特征。

近年来，层次更深，性能更优的网络模型被不断提出，然而仅仅利用全连接层(Fully-Connected Layer,FC Layer)的特征缺失了大量的局部信息，具有较差的几何不变性。由于红外图像成像机理的独特性，直接利用DCNN(Deep Convolution Neural Network)模型提取的特征会降低泛化性能。因此为了满足红外图像数据分析的需要，必须基于深度神经元响应模式，在深度网络模型之上探索更优异，更具有泛化性的深度特征表达方法。

发明内容

本发明的目的是提供一种基于深度神经元响应模式的绝缘子红外图像特征表达方法，可提高绝缘子红外图像特征的鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种基于深度神经元响应模式的绝缘子红外图像特征表达方法，所述表达方法包括：

步骤一：根据深度网络对输入图像I进行前向传递；

步骤二：根据所述深度网络构建深度特征模型，获得深度绝缘子红外特征。

可选的，所述根据深度网络对输入图像I进行前向传递的方法包括：

步骤11：对输入的图像提取表征深度特征的各层神经元响应F：

F＝Φ(I) (1)，

其中，Φ(·)为基于预训练网络产生的深度网络特征提取函数，F表示输入图像I后前向传递得到的各层神经元响应特征集合；

步骤12：基于预训练的深度网络参数，构建深度特征增益层函数f(x)确定初级深度网络：

其中，c为常数，x表示深度网络神经元响应特征集合F中的中间层特征；

步骤13：对所述初级深度网络依次进行权值压缩及深度网络剪枝，以得到改进深度网络。

可选的，所述权值压缩的方法包括：

通过随机丢失的方法对初级深度网络中的深度网络参数进行随机置零，以实现深度网络中权值的压缩。

可选的，所述深度网络剪枝的方法包括：

在权值压缩后，通过节点相似度方法计算深度网络中各个节点的相似度；

利用Jaccard方法计算深度网络分支相似度sim，如式(3)所示，其中分支c_i与c_j的相似度阈值设为80％，

根据各个节点的相似度将相近相似度的节点进行合并，减少网络的节点数，实现深度网络剪枝。

可选的，所述获得深度绝缘子红外特征的方法包括：

步骤21：根据以下公式在所述深度网络中提取中层特征

其中，为F其中一特征图，l表示卷积层数，表示第l层卷积阵列中第i行第j列的卷积核，其中i＝1,...,l，j＝1,...,l，表示第j列卷积的偏差，M^l-1表示第l层卷积阵列的卷积核数量，x_i表示第i行卷积对应的深度网络特征值，θ(·)表示激活函数；

步骤22：从对应的图像中提取的第l层中层深度特征其可以看作为大小h×w×d三维张量组合S，其中S＝{s₁,...,s_i,...,s_n}，n＝1,...,d，s_n为大小为h×w的深度特征图，从S中抽取s_i；

步骤23：计算各所述深度特征图s_i的重要度；

步骤24：按照重要度从高到低的顺序，将同一层的各所述深度特征图进行排序，获得重要度排名；

步骤25：基于所述重要度排名，对特征图进行选择，得到深度特征描述子；

步骤26：根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征。

可选的，所述计算所述深度特征图的重要度的方法包括：

步骤231：将深度特征图的元素规范化到0～255整型范围内；

步骤232：根据公式(6)计算规范化的深度特征图的图像熵H(s_i)：

其中，p_n表示灰度值n的像素出现的概率；

步骤233：根据公式(7)计算特征图的标准差σ(s_i)：

其中，N为元素总数，O_i为第i像素灰度值，μ为均值；

步骤234：根据公式(8)确定特征图s_i的重要度K(s_i)：

其中，λ表示平衡图像熵H(s_i)和标准差σ(s_i)的经验值。

可选的，所述对特征图进行选择的方法包括：

对所述重要度排名的前50％的特征图进行保留，后50％置零。

可选的，所述根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征的方法包括：

步骤261：通过聚类方法训练得到码本C^l＝{c₁,c₂,...,c_k}，其中，该码本为k×D矩阵，由k个D维的码字构成；

步骤262：根据公式(9)，对每一个深度特征描述子y_n与所述描述子最近的码字进行分配，其中深度特征描述子组合为Y＝(y₁,y₂,...,y_n)：

其中，i＝1,2,...,k；

步骤263：根据公式(10)，计算深度特征描述子y_n与对应码字c_i之间的残差

步骤264：对所述残差进行拼接得到深度绝缘子红外特征的表达ω^l(I)：

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明基于深度神经元响应模式的绝缘子红外图像特征表达方法根据输入的图像挖掘出深度神经元的响应模式，改进深度网络，构建深度特征模型，从而确定绝缘子红外特征，提高绝缘子红外图像特征的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度神经元响应模式的绝缘子红外图像特征表达方法的流程图；

图2a为本发明实施例一的输入的绝缘子红外图像；

图2b为图2a的深度卷积网络神经元响应模式的可视化结果图；

图3a为本发明实施例二的输入的绝缘子红外图像；

图3b为图3a的深度特征的可视化结果图；

图4a为本发明实施例三的输入的绝缘子红外图像图；

图4b为图4a的深度特征的可视化结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度神经元响应模式的绝缘子红外图像特征表达方法，根据输入的图像挖掘出深度神经元的响应模式，采用基于信息论的重要性计算排序，改进深度网络，构建深度特征模型，从而确定绝缘子红外特征，提高绝缘子红外图像特征的鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明一种基于深度神经元响应模式的绝缘子红外图像特征表达方法包括：

步骤100：根据深度网络对输入图像I进行前向传递；

步骤200：根据所述深度网络构建深度特征模型，获得深度绝缘子红外特征。

其中，在步骤100中，所述根据深度网络对输入图像I进行前向传递的方法包括：

步骤11：对输入的图像提取表征深度特征的各层神经元响应F：

F＝Φ(I) (1)，

其中，Φ(·)为基于预训练网络产生的深度网络特征提取函数，F表示输入图像I后前向传递得到的各层神经元响应特征集合；

步骤12：基于预训练的深度网络参数，构建深度特征增益层函数f(x)确定初级深度网络：

其中，c为常数，x表示深度网络神经元响应特征集合F中的中间层特征；

步骤13：对所述初级深度网络依次进行权值压缩及深度网络剪枝，以得到改进深度网络。

进一步地，在步骤13中，所述权值压缩的方法包括：通过随机丢失的方法对初级深度网络中的深度网络参数进行随机置零，以实现深度网络中权值的压缩。

所述深度网络剪枝的方法包括：在权值压缩后，通过节点相似度方法计算深度网络中各个节点的相似度；

利用Jaccard方法计算深度网络分支相似度sim，如式(3)所示，其中分支c_i与c_j的相似度阈值设为80％，

根据各个节点的相似度将相近相似度的节点进行合并，减少网络的节点数，实现深度网络剪枝。

在步骤200中，所述获得深度绝缘子红外特征的方法包括：

步骤21：根据以下公式在所述深度网络中提取中层特征

其中，为F其中一特征图，l表示卷积层数，表示第l层卷积阵列中第i行第j列的卷积核，其中i＝1,...,l，j＝1,...,l，表示第j列卷积的偏差，M^l-1表示第l层卷积阵列的卷积核数量，x_i表示第i行卷积对应的深度网络特征值，θ(·)表示激活函数；

步骤22：从对应的图像中提取的第l层中层深度特征其可以看作为大小h×w×d三维张量组合S，其中S＝{s₁,...,s_i,...,s_n}，n＝1,...,d，s_n为大小为h×w的深度特征图，从S中抽取s_i；

步骤23：计算各所述深度特征图s_i的重要度；

步骤24：按照重要度从高到低的顺序，将同一层的各所述深度特征图进行排序，获得重要度排名；

步骤25：基于所述重要度排名，对特征图进行选择，得到深度特征描述子；

步骤26：根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征。

其中，步骤23中，所述计算所述深度特征图的重要度的方法包括：

步骤231：将深度特征图的元素规范化到0～255整型范围内；

步骤232：根据公式(6)计算规范化的深度特征图的图像熵H(s_i)：

其中，p_n表示灰度值n的像素出现的概率；

步骤233：根据公式(7)计算特征图的标准差σ(s_i)：

其中，N为元素总数，O_i为第i像素灰度值，μ为均值；

步骤234：根据公式(8)确定特征图s_i的重要度K(s_i)：

其中，λ表示平衡图像熵H(s_i)和标准差σ(s_i)的经验值。

其中，步骤25中，所述对特征图进行选择的方法包括：

对所述重要度排名的前50％的特征图进行保留，后50％置零。

在步骤26中，所述根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征的方法包括：

步骤261：通过聚类方法训练得到码本C^l＝{c₁,c₂,...,c_k}，其中，该码本为k×D矩阵，由k个D维的码字构成；

步骤262：根据公式(9)，对每一个深度特征描述子y_n与所述描述子最近的码字进行分配，其中深度特征描述子组合为Y＝(y₁,y₂,...,y_n)：

其中，i＝1,2,...,k；

步骤263：根据公式(10)，计算深度特征描述子y_n与对应码字c_i之间的残差

步骤264：对所述残差进行拼接得到深度绝缘子红外特征的表达ω^l(I)：

本发明首先从深度神经网络获得深度神经元响应，然后采用基于信息论的重要性计算排名，挖掘出深度神经元的响应模式，改进深度网络模型，从而构建绝缘子红外特征；解决了处理红外图像特征鲁棒性差的问题；该发明切实可行，对相关问题的方案设计有一定的借鉴意义。

下面以具体实施例，进行详细介绍：

本实施例中，首先采用基于预训练的深度模型对输入图像进行特征提取，原始图像如图2a所示，初级深度网络模型为VGG-16，深度卷积网络神经元响应模式下可视化结果如图2b所示。

利用改进的深度网络对绝缘子红外图像进行深度特征表达，其中初级深度网络模型为VGG-16，特征增益层位于第5层与第6层之间，n＝6，增益常量c＝5。输入图像分别如3a、4a所示，然后从利用特征图重要度排序对特征图进行选择，其中λ＝0.01；再根据选择结果提取深度特征描述子；最后利用码本对深度特征进行量化、编码，从而得到深度绝缘子红外图像特征表达。得到深度特征，其可视化结果分别如图3b、4b所示。从结果发现，本发明可以有效地挖掘出红外图像中基于深度网络的特征表达。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述表达方法包括：

步骤一：根据深度网络对输入图像I进行前向传递；

步骤二：根据所述深度网络构建深度特征模型，获得深度绝缘子红外特征；

所述获得深度绝缘子红外特征的方法包括：

步骤21：根据以下公式在所述深度网络中提取中层特征

其中，为F其中一特征图，l表示卷积层数，表示第l层卷积阵列中第i行第j列的卷积核，其中i＝1,...,l，j＝1,...,l，表示第j列卷积的偏差，M^l-1表示第l层卷积阵列的卷积核数量，x_i表示第i行卷积对应的深度网络特征值，θ(·)表示激活函数；

步骤22：从对应的图像中提取的第l层中层深度特征其可以看作为大小h×w×d三维张量组合S，其中S＝{s₁,...,s_i,...,s_n}，n＝1,...,d，s_n为大小为h×w的深度特征图，从S中抽取s_i；

步骤23：计算各所述深度特征图s_i的重要度；

步骤24：按照重要度从高到低的顺序，将同一层的各所述深度特征图进行排序，获得重要度排名；

步骤25：基于所述重要度排名，对特征图进行选择，得到深度特征描述子；

步骤26：根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征；

所述计算所述深度特征图的重要度的方法包括：

步骤231：将深度特征图的元素规范化到0～255整型范围内；

步骤232：根据公式(6)计算规范化的深度特征图的图像熵H(s_i)：

其中，p_n表示灰度值n的像素出现的概率；

步骤233：根据公式(7)计算特征图的标准差σ(s_i)：

其中，N为元素总数，O_i为第i像素灰度值，μ为均值；

步骤234：根据公式(8)确定特征图s_i的重要度K(s_i)：

其中，λ表示平衡图像熵H(s_i)和标准差σ(s_i)的经验值。

2.根据权利要求1所述的基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述根据深度网络对输入图像I进行前向传递的方法包括：

步骤11：对输入的图像提取表征深度特征的各层神经元响应F：

F＝Φ(I) (1)，

其中，Φ(·)为基于预训练网络产生的深度网络特征提取函数，F表示输入图像I后前向传递得到的各层神经元响应特征集合；

步骤12：基于预训练的深度网络参数，构建深度特征增益层函数f(x)确定初级深度网络：

其中，c为常数，x表示深度网络神经元响应特征集合F中的中间层特征；

步骤13：对所述初级深度网络依次进行权值压缩及深度网络剪枝，以得到改进深度网络。

3.根据权利要求2所述的基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述权值压缩的方法包括：

通过随机丢失的方法对初级深度网络中的深度网络参数进行随机置零，以实现深度网络中权值的压缩。

4.根据权利要求2所述的基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述深度网络剪枝的方法包括：

在权值压缩后，通过节点相似度方法计算深度网络中各个节点的相似度；

利用Jaccard方法计算深度网络分支相似度sim，如式(3)所示，其中分支c_i与c_j的相似度阈值设为80％，

根据各个节点的相似度将相近相似度的节点进行合并，减少网络的节点数，实现深度网络剪枝。

5.根据权利要求1所述的基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述对特征图进行选择的方法包括：

对所述重要度排名的前50％的特征图进行保留，后50％置零。

6.根据权利要求1所述的基于深度神经元响应模式的绝缘子红外图像特征表达方法，其特征在于，所述根据所述深度特征描述子进行深度特征编码得到深度绝缘子红外特征的方法包括：

步骤261：通过聚类方法训练得到码本C^l＝{c₁,c₂,...,c_k}，其中，该码本为k×D矩阵，由k个D维的码字构成；

步骤262：根据公式(9)，对每一个深度特征描述子y_n与所述描述子最近的码字进行分配，其中深度特征描述子组合为Y＝(y₁,y₂,...,y_n)：

其中，i＝1,2,...,k；

步骤263：根据公式(10)，计算深度特征描述子y_n与对应码字c_i之间的残差

步骤264：对所述残差进行拼接得到深度绝缘子红外特征的表达ω^l(I)：