CN110569889A - 一种基于l2归一化的卷积神经网络图象分类方法 - Google Patents

一种基于l2归一化的卷积神经网络图象分类方法 Download PDF

Info

Publication number
CN110569889A
CN110569889A CN201910771745.0A CN201910771745A CN110569889A CN 110569889 A CN110569889 A CN 110569889A CN 201910771745 A CN201910771745 A CN 201910771745A CN 110569889 A CN110569889 A CN 110569889A
Authority
CN
China
Prior art keywords
layer
neural network
convolutional neural
input
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910771745.0A
Other languages
English (en)
Inventor
邬蓉蓉
谢植飚
覃剑
黎大健
张炜
陈炜智
兰依
崔志美
陈荭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN201910771745.0A priority Critical patent/CN110569889A/zh
Publication of CN110569889A publication Critical patent/CN110569889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及电力技术领域，具体涉及一种基于L2归一化的卷积神经网络图象分类方法，包括以下步骤：对采集的每张图像进行L2归一化，并将归一化的图像输入至卷积神经网络的输入层；通过卷积神经网络的卷积层提取输入图像的局部特征，由激活函数输出得到卷积层的获得特征图；通过卷积神经网络的池化层对卷积层输出的特征图进行聚合统计；通过卷积神经网络的全连接层对得到的图像进行特征分类，并由神经网络的输出层输出分类结果。本发明通过对巡检图像样本进行深度学习训练，实现在变电站复杂环境下对变电站关键部件的智能识别，为后续设备异常识别做准备，减少了人工判读图数量，大大提升巡检效率以及智能化和自动化程度。

Description

一种基于L2归一化的卷积神经网络图象分类方法
技术领域
本发明涉及电力技术领域，具体涉及一种基于L2归一化的卷积神经网络图象分类方法。
背景技术
目前，变电站广泛采用高清摄像头、巡检机器人代替人工进行巡检。基于视频监控、巡检机器人所采集的视频分辨率较高，视频数据量较大，现有智能监控系统的图像处理能力不足，导致重要的事件遗失在海量数据中；大量精细的的视频/照片，需要经过专业训练的人员来处理；实时监控会消耗极大人力成本，或者根本没有实时监控，摄像头仅仅只是用来记录；尽管很多视频/照片包含了很重要的事件，在大多数情况下人们没有时间去观看或整理这些内容，海量的巡检数据无法发挥作用。
随着计算机技术的迅速发展和科技的不断进步，图像识别技术已经在众多领域中得到了应用。如何利用图像识别技术，充分挖掘现有巡检数据价值，是变电站智能化、自动化面临的主要问题。
发明内容
为了解决上述问题，本发明提供了一种基于L2归一化的卷积神经网络图象分类方法法，具体技术方案如下：
一种基于L2归一化的卷积神经网络图象分类方法，包括以下步骤：
S1：对采集的每张图像进行L2归一化，并将归一化的图像输入至卷积神经网络的输入层；
S2：通过卷积神经网络的卷积层提取输入图像的局部特征，由激活函数输出得到卷积层的获得特征图；
S3：通过卷积神经网络的池化层对卷积层输出的特征图进行聚合统计；
S4：通过卷积神经网络的全连接层对步骤S3得到的图像进行特征分类，并由神经网络的输出层输出分类结果。
优选地，所述步骤S1的输入层为：，其中为超参数，设向量，对进行L2归一化的处理结果如下：
；
i=1,2，…,n, 为n维矩阵。
优选地，所述步骤S2中卷积层的计算公式为：
；
其中，为输入函数，为网络层数，表示第层的第个特征图，表示第层的第个特征图与第层第个特征图连接之间的卷积核，表示第个特征图对应的偏置项，表示卷积运算，表示激活函数，表示选择的输入图象集合。
优选地，所述步骤S2中采用的激活函数为ReLU函数，具体如下：
；
由于ReLU不存在除法运算，相较于tanh和sigmoid函数，运算速率更高，当输入信号z>0时，输出为正数；输入信号z<0时，输出为0。
优选地，所述步骤S3中池化层采用采用最大值采样，公式如下：
；
其中，为采样函数；为输入函数，为网络层数，表示第层的第个特征图，表示第个特征图对应的偏置项；为权重系数，对应层的第个特征图。
优选地，所述步骤S4中全连接层采用Softmax函数进行分类，公式如下：
；
其中，表示该层的第个输入向量的值，表示输入向量的所有制，可以表示样本属于各个分类的概率；T为Softmax层的输出节点数，也就是分类类别数，k为表示某个类别。
本发明的有益效果为：本发明提供了一种基于L2归一化的卷积神经网络图象分类方法，通过对巡检图像样本进行深度学习训练，实现在变电站复杂环境下对变电站关键部件的智能识别，为后续设备异常识别做准备，减少了人工判读图数量，大大提升巡检效率以及智能化和自动化程度，是人工智能在巡检业务上的具体应用。
附图说明
图1为本实施例中L2归一化的卷积神经网络图象分类模型的设计示意图。
具体实施方式
为了更好的理解本发明，下面结合附图和具体实施例对本发明作进一步说明：
一种基于L2归一化的卷积神经网络图象分类方法，包括以下步骤：
S1：对采集的每张图像进行L2归一化，并将归一化的图像输入至卷积神经网络的输入层；输入层为：，其中为超参数，设向量，对进行L2归一化的处理结果如下：
；
i=1,2，…,n, 为n维矩阵。
S2：通过卷积神经网络的卷积层提取输入图像的局部特征，由激活函数输出得到卷积层的获得特征图。
卷积层，为特征提取层，特点的局部感知、参数共享和多卷积核，通过卷积层的每个神经元对图片的局部进行感知，在网络的更高层将局部信息综合起来得到全局信息。
卷积核是参数的滑动窗口，其大小跟模型的“深度”设计有关，在输入图象尺寸同等的情况下，每层的卷积核越大，特征图象的尺寸缩小的越快
当输入一副尺寸为的特征图，通过大小为的卷积核、步长为的过滤器，则输出特征图大小为。
卷积层的计算公式为：
；
其中，为输入函数，为网络层数，表示第层的第个特征图，表示第层的第个特征图与第层第个特征图连接之间的卷积核，表示第个特征图对应的偏置项，表示卷积运算，表示激活函数，表示选择的输入图象集合。
激活函数为ReLU函数，具体如下：
；
由于ReLU不存在除法运算，相较于tanh和sigmoid函数，运算速率更高，当输入信号z>0时，输出为正数；输入信号z<0时，输出为0。
S3：通过卷积神经网络的池化层对卷积层输出的特征图进行聚合统计；池化层也称下采样层，对卷积层输出的特征图进行聚合统计。通过对上层特征进行池化操作，降低特征维度，减少网络参数，采用的采样规则有：均值采样、最大值采样和随机采样。
本发明中的池化层采用采用最大值采样，公式如下：
；
其中，为采样函数；为输入函数，为网络层数，表示第层的第个特征图，表示第个特征图对应的偏置项；为权重系数，对应层的第个特征图。
本实施例中的卷积神经网络设置4层卷积层、4层池化层，各卷积层、池化层的参数设置如表1所示。
表1 各卷积层、池化层的参数
S4：通过卷积神经网络的全连接层对步骤S3得到的图像进行特征分类，并由神经网络的输出层输出分类结果。经过步骤S2、S3之后，原始图象压缩成batchSize×1536的矩阵，作为全连接层的输入。
本实施例中的卷积神经网络设置3层全连接层，各全连接层参数设置如下：
表2 全连接层参数表
全连接层采用Softmax函数进行分类，公式如下：
；
其中，表示该层的第个输入向量的值，表示输入向量的所有制，可以表示样本属于各个分类的概率；T为Softmax层的输出节点数，也就是分类类别数，k为表示某个类别。将巡检图象作为上述卷积神经网络模型的输入，可以得到输入图象对应的各个类别概率，以最大概率结果作为最终分类，完成图象识别分类。
以变压器的呼吸器为例，通过模型超参优化，在batchSize=32，epoch=50，正则化惩罚系数λ=0.003时，模型的分类准确率较高，达到98.79%，总耗时较短，为263.99mm，在变电站复杂环境下能准确对巡检图象进行分类。
本发明不局限于以上所述的具体实施方式，以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：包括以下步骤：
S1：对采集的每张图像进行L2归一化，并将归一化的图像输入至卷积神经网络的输入层；
S2：通过卷积神经网络的卷积层提取输入图像的局部特征，由激活函数输出得到卷积层的获得特征图；
S3：通过卷积神经网络的池化层对卷积层输出的特征图进行聚合统计；
S4：通过卷积神经网络的全连接层对步骤S3得到的图像进行特征分类，并由神经网络的输出层输出分类结果。
2.根据权利要求1所述的一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：所述步骤S1的输入层为：，其中为超参数，设向量，对进行L2归一化的处理结果如下：
；
i=1,2，…,n, 为n维矩阵。
3.根据权利要求1所述的一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：所述步骤S2中卷积层的计算公式为：
；
其中，为输入函数，为网络层数，表示第层的第个特征图，表示第层的第个特征图与第层第个特征图连接之间的卷积核，表示第个特征图对应的偏置项，表示卷积运算，表示激活函数，表示选择的输入图象集合。
4.根据权利要求2所述的一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：所述步骤S2中采用的激活函数为ReLU函数，具体如下：
；
当输入信号z>0时，输出为正数；输入信号z<0时，输出为0。
5.根据权利要求1所述的一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：所述步骤S3中池化层采用采用最大值采样，公式如下：
；
其中，为采样函数；为输入函数，为网络层数，表示第层的第个特征图，表示第个特征图对应的偏置项；为权重系数，对应层的第个特征图。
6.根据权利要求1所述的一种基于L2归一化的卷积神经网络图象分类方法，其特征在于：所述步骤S4中全连接层采用Softmax函数进行分类，公式如下：
；
其中，表示该层的第个输入向量的值，表示输入向量的所有制，可以表示样本属于各个分类的概率；T为Softmax层的输出节点数，也就是分类类别数，k为表示某个类别。
CN201910771745.0A 2019-08-21 2019-08-21 一种基于l2归一化的卷积神经网络图象分类方法 Pending CN110569889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910771745.0A CN110569889A (zh) 2019-08-21 2019-08-21 一种基于l2归一化的卷积神经网络图象分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910771745.0A CN110569889A (zh) 2019-08-21 2019-08-21 一种基于l2归一化的卷积神经网络图象分类方法

Publications (1)

Publication Number Publication Date
CN110569889A true CN110569889A (zh) 2019-12-13

Family

ID=68775781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910771745.0A Pending CN110569889A (zh) 2019-08-21 2019-08-21 一种基于l2归一化的卷积神经网络图象分类方法

Country Status (1)

Country Link
CN (1) CN110569889A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445018A (zh) * 2020-03-27 2020-07-24 国网甘肃省电力公司电力科学研究院 基于加速卷积神经网络算法的紫外成像实时信息处理方法
CN115937655A (zh) * 2023-02-24 2023-04-07 城云科技（中国）有限公司 多阶特征交互的目标检测模型及其构建方法、装置及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330405A (zh) * 2017-06-30 2017-11-07 上海海事大学 基于卷积神经网络的遥感图像飞机目标识别方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330405A (zh) * 2017-06-30 2017-11-07 上海海事大学 基于卷积神经网络的遥感图像飞机目标识别方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚钢军 等: "基于TensorFlow的高压输电线路异物识别", 《电力自动化设备》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445018A (zh) * 2020-03-27 2020-07-24 国网甘肃省电力公司电力科学研究院 基于加速卷积神经网络算法的紫外成像实时信息处理方法
CN111445018B (zh) * 2020-03-27 2023-11-14 国网甘肃省电力公司电力科学研究院 基于加速卷积神经网络算法的紫外成像实时信息处理方法
CN115937655A (zh) * 2023-02-24 2023-04-07 城云科技（中国）有限公司 多阶特征交互的目标检测模型及其构建方法、装置及应用

Similar Documents

Publication Publication Date Title
CN113191215B (zh) 融合注意力机制与孪生网络结构的滚动轴承故障诊断方法
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN106919920B (zh) 基于卷积特征和空间视觉词袋模型的场景识别方法
CN108596203B (zh) 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN108256486B (zh) 一种基于非负低秩和半监督学习的图像识别方法及装置
CN113749657B (zh) 一种基于多任务胶囊的脑电情绪识别方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN107609580A (zh) 一种直推式的低秩张量判别性分析方法
AlBdairi et al. Identifying ethnics of people through face recognition: A deep CNN approach
CN110569889A (zh) 一种基于l2归一化的卷积神经网络图象分类方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN111640087A (zh) 一种基于sar深度全卷积神经网络的影像变化检测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Xu et al. Cow face recognition for a small sample based on Siamese DB Capsule Network
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN112801204B (zh) 基于自动神经网络的具有终身学习能力的高光谱分类方法
Li Parallel two-class 3D-CNN classifiers for video classification
Feng et al. High-efficiency progressive transmission and automatic recognition of wildlife monitoring images with WISNs
Wu et al. Using convolution neural network for defective image classification of industrial components
Chen et al. Deep convolutional network for citrus leaf diseases recognition
CN114821200B (zh) 一种应用于工业视觉检测领域的图像检测模型及方法
CN115797637A (zh) 基于模型间和模型内不确定性的半监督分割模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication