CN108596274A - 基于卷积神经网络的图像分类方法 - Google Patents

基于卷积神经网络的图像分类方法 Download PDF

Info

Publication number
CN108596274A
CN108596274A CN201810438711.5A CN201810438711A CN108596274A CN 108596274 A CN108596274 A CN 108596274A CN 201810438711 A CN201810438711 A CN 201810438711A CN 108596274 A CN108596274 A CN 108596274A
Authority
CN
China
Prior art keywords
convolutional neural
image
neural networks
trained
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810438711.5A
Other languages
English (en)
Inventor
姚杨
姚一杨
梅峰
戴波
王彦波
张旭东
叶伟静
王凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN201810438711.5A priority Critical patent/CN108596274A/zh
Publication of CN108596274A publication Critical patent/CN108596274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于卷积神经网络的图像分类方法，属于图像处理领域，包括建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；基于训练后的卷积神经网络模型提取样本图像的图像特征向量，将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类。通过在CNN可以从图像中提取特征的同时，利用广义回归神经网络的强大的函数逼近来识别图像，加强CNN的分类和处理能力，可以利用该方法学习图像多层高维特征，对图像进行高效快速地识别，提高了识别精度和泛化能力。

Description

基于卷积神经网络的图像分类方法
技术领域
本发明属于图像处理领域，特别涉及基于卷积神经网络的图像分类方法。
背景技术
随着科学技术的发展,图像识别技术已经逐渐应用于越来越多的领域，与此同时，图像识别的准确性、可靠性和实时要求也越来越严格。卷积神经网(CNN)可以很好地用于处理图像处理和理解任务，但该模型中的BP神经网络过于简单，需要大量的训练进行多次迭代。且BP采用下行梯度训练法，使模型收敛缓慢，容易达到局部优化，影响最终识别精度。
Fu.M.Y等提出了利用Hu不变矩进行特征值提取和交通标志检测的交通标志检测方法,该方法快速可靠识别率高。但它提取的表示是低维特征和无层次信息,仅限于简单的检测和识别工作，不需要更多的图像信息。Shen X等人采用灰度共生(GLCM)来提取图像的纹理信息，并使用已学习的表示来进行识别，该方法只能将低维特征手工提取为Hu不变矩，结合其他方法进行改进。牛晓晓等提出了CNN-svm模型来识别手写数字，该方法使用SVM来提高CNN的识别精度，但它只在简单的手写数字上进行实验。现有的图像识别方案，还存在以下缺点
1.BP神经网络采用下行梯度训练法，使模型收敛缓慢，容易达到局部优化，影响最终识别精度；
2.现有的卷积神经网络(CNN)在多个图像识别中识别精度不高。
发明内容
为了解决现有技术中存在的缺点和不足，本发明提供了用于提高识别精度的图像分类方法。
为了达到上述技术目的，本发明提供了基于卷积神经网络的图像分类方法，所述图像分类方法，包括：
建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；
基于训练后的卷积神经网络模型提取样本图像的图像特征向量，将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类。
可选的，所述建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，包括：
构建包括预设数量的动物图像样本和手势图像样本作为训练集，将训练集中的训练图像样本输入卷积神经网络中，获取卷积神经网络的输出值；
如果输出值呈收敛趋势，则结束对卷积神经网络的训练。
可选的，所述图像分类方法，包括：
如果输出值呈非收敛趋势，则计算当前输出值对应的残差；
根据残差对卷积神经网络中每层的权值和偏差按固定的学习速率进行更新；
根据更新后的卷积神经网络重复训练，直至输出值呈收敛趋势。
可选的，所述基于训练后的卷积神经网络模型提取样本图像的图像特征向量，包括：
利用训练好的卷积神经网络模型从样本图像中提取图像特征值；
基于得到的图像特征值建立列向量形式的图像特征向量。
可选的，所述将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类，包括：
基于图像特征向量X确定指数ti表达式；
根据公式一获取广义回归神经网络的分类结果输出值
式中Yi为第i个分类结果输出值，i的取值范围为自然数。
本发明提供的技术方案带来的有益效果是：
采用了CNN-GRNN混合模型来提高图像识别精度，借助在CNN内部用GRNN替换反向传播(BP)神经网络，具有较好的函数逼近能力，提高了CNN的泛化和鲁棒性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于卷积神经网络的图像分类方法的流程示意图。
具体实施方式
为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。
实施例一
本发明提供了基于卷积神经网络的图像分类方法，如图1所示，所述图像分类方法，包括：
11、建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；
12、基于训练后的卷积神经网络模型提取样本图像的图像特征向量，将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类。
在实施中，本实施例的一种基于改进的卷积神经网络的小样本图像识别方法，基于CNN-GRNN的图像分类的混合模型。在CNN可以从图像中提取特征的同时，利用广义回归神经网络的强大的函数逼近来识别图像，加强CNN的分类和处理能力，可以利用该方法学习图像多层高维特征，对图像进行高效快速地识别，提高了识别精度和泛化能力。克服了以往的卷积神经网络(CNN)在多个图像识别中识别精度不高,泛化能力不强的问题。采用GRNN模型进行分类，具有较好的函数逼近能力，网络只有一个变量，可以与小样本数据库一起工作，在网络训练中优于BP神经网络。
本实施例中提及到的广义神经网络(General Regression Neural Network，GRNN)由四层构成，即输入层、模式层、总和层和输出层。GRNN充满的输入层与层模式和在输入层神经元的个数等于学习实例的维数。模式层中的每个神经元都有自己的训练模式。模式层的输出是对输入表示和存储特性之间的差异进行宽宏化。
可选的，所述建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，包括：
构建包括预设数量的动物图像样本和手势图像样本作为训练集，将训练集中的训练图像样本输入卷积神经网络中，获取卷积神经网络的输出值；
如果输出值呈收敛趋势，则结束对卷积神经网络的训练。
在实施中，建立的训练集中包括600个动物图像样本和700个手势图像，其中包含12条不同的狗，每种类型包含50个样本，以及14个不同的手势，每种手势包含50个图像，其中共550个样本用于训练卷积神经网络模型，剩余的750个样本用于测试。
在训练过程中，首先初始化所有卷积核的权重和偏差，接着将构建的训练集中用于训练的样本图像输入卷积神经网络模型中，获取卷积神经网络模型中的输出值O。
对卷积神经网络模型(Convolutional Neural Networks，CNN)的训练本质是通过误差E对卷积神经网络中每层的参数进行调整，这里的误差E通过比较输出O与标签y来计算误差E，计算公式如下：
式中的N表示样本集的数量，C表示样本类型的数量。
在得到误差E的数值后，用CNN判断训练后的卷积神经网络模型是否呈收敛趋势，如果呈收敛趋势则表明当前训练得到的CNN已经可以使用。否则还需要进行重复训练。
可选的，所述图像分类方法，包括：
如果输出值呈非收敛趋势，则计算当前输出值对应的残差；
根据残差对卷积神经网络中每层的权值和偏差按固定的学习速率进行更新；
根据更新后的卷积神经网络重复训练，直至输出值呈收敛趋势。
在实施中，如果根据前述步骤确定需要对CNN进行重复训练，则计算输出的残差δ，对于给定的激活函数f,残差δ的计算公式如下：
残差通过输出层传递到前面层，计算每一层的残差，计算公式如下：
δl＝((W(l)T)δ(l+1))·f′(z(l))；
用学习速率α更新每一层的权值和偏差，将α固定为0.5，处理公式分如下：
将迭代次数设为100次，重复上述过程至模型收敛，直至输出值呈收敛趋势完成训练。
可选的，所述基于训练后的卷积神经网络模型提取样本图像的图像特征向量，包括：
利用训练好的卷积神经网络模型从样本图像中提取图像特征值；
基于得到的图像特征值建立列向量形式的图像特征向量。
在实施中，利用训练好的CNN提取图像代表特征；用模型将特征图像拉伸成列向量，即从样本图像中提取到的特征向量；让输出层与CNN特征提取器的特征向量充分连接。
可选的，所述将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类，包括：
基于图像特征向量X确定指数ti表达式；
根据公式一获取广义回归神经网络的分类结果输出值
式中Yi为第i个分类结果输出值，i的取值范围为自然数。
在实施中，利用GRNN对图像进行分类，其方法如下：
将GRNN作为分类器，GRNN可以在不迭代的情况下得到分类结果，利用上述得到的特征向量X＝(x1,x2,…,xn)T作为GRNN的输入，用如下公式计算输出，完成对图像的分类。计算公式如下：
其中Y表示对应输出的分类结果。
本发明提供了基于卷积神经网络的图像分类方法，包括建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；基于训练后的卷积神经网络模型提取样本图像的图像特征向量，将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类。通过在CNN可以从图像中提取特征的同时，利用广义回归神经网络的强大的函数逼近来识别图像，加强CNN的分类和处理能力，可以利用该方法学习图像多层高维特征，对图像进行高效快速地识别，提高了识别精度和泛化能力。
上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。
以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于卷积神经网络的图像分类方法，其特征在于，所述图像分类方法，包括：
建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；
基于训练后的卷积神经网络模型提取样本图像的图像特征向量，将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类。
2.根据权利要求1所述的基于卷积神经网络的图像分类方法，其特征在于，所述建立训练集，基于训练集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型，包括：
构建包括预设数量的动物图像样本和手势图像样本作为训练集，将训练集中的训练图像样本输入卷积神经网络中，获取卷积神经网络的输出值；
如果输出值呈收敛趋势，则结束对卷积神经网络的训练。
3.根据权利要求2所述的基于卷积神经网络的图像分类方法，其特征在于，所述图像分类方法，包括：
如果输出值呈非收敛趋势，则计算当前输出值对应的残差；
根据残差对卷积神经网络中每层的权值和偏差按固定的学习速率进行更新；
根据更新后的卷积神经网络重复训练，直至输出值呈收敛趋势。
4.根据权利要求1所述的基于卷积神经网络的图像分类方法，其特征在于，所述基于训练后的卷积神经网络模型提取样本图像的图像特征向量，包括：
利用训练好的卷积神经网络模型从样本图像中提取图像特征值；
基于得到的图像特征值建立列向量形式的图像特征向量。
5.根据权利要求1所述的基于卷积神经网络的图像分类方法，其特征在于，所述将图像特征向量输入至广义回归神经网络进行处理，根据处理结果完成对样本图像的分类，包括：
基于图像特征向量X确定指数ti表达式；
根据公式一获取广义回归神经网络的分类结果输出值
式中Yi为第i个分类结果输出值，i的取值范围为自然数。
CN201810438711.5A 2018-05-09 2018-05-09 基于卷积神经网络的图像分类方法 Pending CN108596274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810438711.5A CN108596274A (zh) 2018-05-09 2018-05-09 基于卷积神经网络的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810438711.5A CN108596274A (zh) 2018-05-09 2018-05-09 基于卷积神经网络的图像分类方法

Publications (1)

Publication Number Publication Date
CN108596274A true CN108596274A (zh) 2018-09-28

Family

ID=63636558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810438711.5A Pending CN108596274A (zh) 2018-05-09 2018-05-09 基于卷积神经网络的图像分类方法

Country Status (1)

Country Link
CN (1) CN108596274A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978875A (zh) * 2019-04-03 2019-07-05 无锡立赫智能科技有限公司 一种电容器外观缺陷识别方法及识别装置
CN110147781A (zh) * 2019-05-29 2019-08-20 重庆交通大学 基于机器学习的桥梁振动模态可视化损伤识别方法
CN110443881A (zh) * 2019-05-29 2019-11-12 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
CN111209962A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN112905991A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于深度神经网络编码的自然语言语义密钥生成方法
WO2021179117A1 (zh) * 2020-03-09 2021-09-16 华为技术有限公司 神经网络通道数搜索方法和装置
CN113751920A (zh) * 2021-08-04 2021-12-07 华南理工大学 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法
CN113837267A (zh) * 2021-06-30 2021-12-24 山东易华录信息技术有限公司 一种基于不同数量样本的浮游生物图像分类方法
US11675876B2 (en) 2020-10-28 2023-06-13 International Business Machines Corporation Training robust machine learning models

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978875A (zh) * 2019-04-03 2019-07-05 无锡立赫智能科技有限公司 一种电容器外观缺陷识别方法及识别装置
CN110147781A (zh) * 2019-05-29 2019-08-20 重庆交通大学 基于机器学习的桥梁振动模态可视化损伤识别方法
CN110443881A (zh) * 2019-05-29 2019-11-12 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
CN110147781B (zh) * 2019-05-29 2022-11-15 重庆交通大学 基于机器学习的桥梁振动模态可视化损伤识别方法
CN111209962A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
CN111209962B (zh) * 2020-01-06 2023-02-03 电子科技大学 一种联合热图特征回归的基于cnn特征提取网络的联合图像分类方法
WO2021179117A1 (zh) * 2020-03-09 2021-09-16 华为技术有限公司 神经网络通道数搜索方法和装置
US11675876B2 (en) 2020-10-28 2023-06-13 International Business Machines Corporation Training robust machine learning models
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN112905991B (zh) * 2021-02-05 2022-07-12 杭州电子科技大学 一种基于深度神经网络编码的自然语言语义密钥生成方法
CN112905991A (zh) * 2021-02-05 2021-06-04 杭州电子科技大学 一种基于深度神经网络编码的自然语言语义密钥生成方法
CN113837267A (zh) * 2021-06-30 2021-12-24 山东易华录信息技术有限公司 一种基于不同数量样本的浮游生物图像分类方法
CN113751920A (zh) * 2021-08-04 2021-12-07 华南理工大学 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法
CN113751920B (zh) * 2021-08-04 2022-07-22 华南理工大学 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法

Similar Documents

Publication Publication Date Title
CN108596274A (zh) 基于卷积神经网络的图像分类方法
CN109492099B (zh) 一种基于领域对抗自适应的跨领域文本情感分类方法
CN107909101B (zh) 基于卷积神经网络的半监督迁移学习字符识别方法及系统
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN107644415B (zh) 一种文本图像质量评估方法及设备
CN110020682A (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
CN107132516B (zh) 一种基于深度置信网络的雷达一维距离像目标识别方法
CN108052881A (zh) 一种实时检测施工现场图像中多类实体对象的方法及设备
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN105825511A (zh) 一种基于深度学习的图片背景清晰度检测方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN109858414A (zh) 一种发票分块检测方法
CN110457677B (zh) 实体关系识别方法及装置、存储介质、计算机设备
CN109344713A (zh) 一种姿态鲁棒的人脸识别方法
CN104463243B (zh) 基于平均脸特征的性别检测方法
CN104933428A (zh) 一种基于张量描述的人脸识别方法及装置
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN106709421A (zh) 一种基于变换域特征和cnn的细胞图像识别分类方法
CN111582337A (zh) 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN107491729A (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN109582974A (zh) 一种基于深度学习的在校大学生信用评估方法及装置
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication