CN114463591A - 深度神经网络图像分类方法、装置、设备和存储介质 - Google Patents

深度神经网络图像分类方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114463591A
CN114463591A CN202210131129.0A CN202210131129A CN114463591A CN 114463591 A CN114463591 A CN 114463591A CN 202210131129 A CN202210131129 A CN 202210131129A CN 114463591 A CN114463591 A CN 114463591A
Authority
CN
China
Prior art keywords
layer
neural network
deep neural
training
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210131129.0A
Other languages
English (en)
Inventor
郭平
杨栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202210131129.0A priority Critical patent/CN114463591A/zh
Publication of CN114463591A publication Critical patent/CN114463591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种深度神经网络图像分类方法、装置、电子设备和计算机可读存储介质。其中方法包括：获取训练数据集，包括多个图像训练样本；深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；连接层进行数据维度映射，映射函数是非线性函数，多个函数结果的集合则构成了对输入数据的集成编码；深度神经网络的卷积层由多层构成，沿着网络正向传播样本；深度神经网络的池化层对数据进行池化；对深度神经网络的全连接层进行训练；将待分类的图像输入训练好的深度神经网络进行图像分类。

Description

深度神经网络图像分类方法、装置、设备和存储介质
技术领域
本发明涉及人工智能领域，特别涉及一种深度学习方法。
背景技术
人工神经网络是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。实际上是一个由大量简单神经元相互连接而成的复杂网络，具有高度非线性，并行性，能够进行复杂的逻辑操作和非线性关系实现的系统。
由于人工神经网络基于大脑神经网络的结构功能而建立，因此人工神经网络在处理具有复杂内容的图像识别、图像分类时具有良好的处理效果。
而深度神经网络是一种具有较多隐藏层的人工神经网络。深度神经网络内部的神经网络层可以分为三类，输入层，隐藏层和输出层。一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。
深度神经网络通常采用的是有监督学习方式，往往需要大量的标注好的数据来训练深度网络模型，然而在实际应用中获取的数据绝大部分属于无标注数据，如果对大量无标注数据进行人工标注则需要很高的人力和时间成本。
自编码器是一种常用的深度神经网络基本模型，其基本思想是网络的输出与输入相等，训练过程中不需要标记数据，可以以无监督的方式直接从原始数据中进行特征学习。现有技术中，以单隐层前馈神经网络作为基本模型构建多个自编码器，通过计算伪逆矩阵来训练每一个自编码器，得到第i层自编码器的连接权重；将训练完成的前一层自编码器的隐层输出作为后一层自编码器的输入，重复上述步骤，训练新的自编码器；训练完成后，所有自编码器去掉解码器后堆叠为一个深度神经网络结构。
现有技术中自编码器堆叠成的深度神经网络，其结构模式具有一定的局限性。面对一些面向图像识别、图像分类的特定任务时，深度神经网络的现有构建和训练方法需要开拓新的方法。
发明内容
本发明的目的在于克服现有的深度神经网络训练算法的不足。本发明为解决其技术问题采用的技术方案如下：
一种深度神经网络图像分类方法，包括：
步骤S01：获取训练数据集，训练数据集包括多个图像样本；所述训练数据集用于训练深度神经网络；所述深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；
步骤S02：针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征输入深度神经网络的输入层；
步骤S03：深度神经网络的连接层进行数据维度映射，假设连接层的输入数据是m维，映射后的输出数据是n维，映射函数为f(x,α)，其中x是输入数据，α是映射参数；当映射参数取不同值时，得到多个不同的函数结果；多个函数结果的集合则构成了对输入数据x的集成编码；映射函数是非线性函数；
步骤S04：深度神经网络的卷积层由多层构成，沿着网络正向传播样本；计算l层到l+1层的连接权重Wl；将连接权重Wl乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；其中l为深度神经网络的层编号；激活函数采用阶跃激活函数或Sigmoid函数；调节正则化参数以控制重构误差的大小；其中，计算连接权重Wl的过程包括，第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；将X’作为第l层到第l+1层的连接权重Wl；
步骤S05：深度神经网络的池化层对数据进行池化，池化层对数据进行降维，使得连接层后提升的维度得以降低；
步骤S06：对深度神经网络的全连接层进行训练；以完成用于图像分类的深度神经网络的训练；
步骤S07：将待分类的图像输入训练好的深度神经网络进行图像分类。
本发明还提供了一种深度神经网络图像分类装置，包括：
数据获取模块：获取训练数据集，训练数据集包括多个图像样本；所述训练数据集用于训练深度神经网络；所述深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；
数据映射模块：针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征输入深度神经网络的输入层；深度神经网络的连接层进行数据维度映射，假设连接层的输入数据是m维，映射后的输出数据是n维，映射函数为f(x,α)，其中x是输入数据，α是映射参数；当映射参数取不同值时，得到多个不同的函数结果；多个函数结果的集合则构成了对输入数据x的集成编码；映射函数是非线性函数；
由于上述步骤，本发明能够可以将原始数据映射到高维的数据空间；映射函数是非线性函数可以更有效的提高原始数据的可分性；
网络训练模块：深度神经网络的卷积层由多层构成，沿着网络正向传播样本；计算l层到l+1层的连接权重Wl；将连接权重Wl乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；其中l为深度神经网络的层编号；激活函数采用阶跃激活函数或Sigmoid函数；调节正则化参数以控制重构误差的大小；其中，计算连接权重Wl的过程包括，第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；将X’作为第l层到第l+1层的连接权重Wl；
深度神经网络的池化层对数据进行池化，池化层对数据进行降维，使得连接层后提升的维度得以降低；对深度神经网络的全连接层进行训练；以完成用于图像分类的深度神经网络的训练；
图像分类模块：将待分类的图像输入训练好的深度神经网络进行图像分类。
本发明还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
本发明还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述的方法。
具体地，在分类或预测问题中，可选择深度神经网络输出的特征作为分类器或预测模型的输入，使用带有类别标签的训练样本，对分类器或预测模型进行微调，最终得到用于具体学习任务的深度神经网络。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。本发明的其它特征、目的和优点从说明书、附图以及权利要求书中可以得出。
附图说明
附图1是一种本发明的基本流程图。
具体实施方式
本发明为克服现有对现有神经网络训练算法的不足，提供一种深度神经网络图像分类方法。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例及附图1对该方法作进一步详细描述。应当理解，此处的具体实施例的描述仅用以解释本发明，并不用于限定本发明。
具体地，请参阅图1，是本发明实施例的一种深度神经网络图像分类方法流程图。
本发明实施例的一种深度神经网络的快速训练方法包括：
步骤S01：获取训练数据集，训练数据集包括多个图像样本；所述训练数据集用于训练深度神经网络；所述深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；
步骤S02：针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征输入深度神经网络的输入层；
步骤S03：深度神经网络的连接层进行数据维度映射，假设连接层的输入数据是m维，映射后的输出数据是n维，映射函数为f(x,α)，其中x是输入数据，α是映射参数；当映射参数取不同值时，得到多个不同的函数结果；多个函数结果的集合则构成了对输入数据x的集成编码；映射函数是非线性函数；
另一种实施方式中，连接层产生随机的基向量，映射矩阵为随机产生的n×m矩阵R，且R每列是一个单位向量；将连接层的输入数据随机映射到这组基向量上；
由于上述步骤，本发明能够可以将原始数据映射到高维的数据空间；映射函数是非线性函数可以更有效的提高原始数据的可分性；
步骤S04：深度神经网络的卷积层由多层构成，沿着网络正向传播样本；计算l层到l+1层的连接权重Wl；将连接权重Wl乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；其中l为深度神经网络的层编号；激活函数采用阶跃激活函数或Sigmoid函数；调节正则化参数以控制重构误差的大小；其中，计算连接权重Wl的过程包括，第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’。计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；将X’作为第l层到第l+1层的连接权重Wl；
由于上述步骤，本发明能够直接计算优化目标的解析解，无需迭代优化的过程，而且无需繁琐的调节超参数过程，因此学习效率较之于误差反向传播等其它基于梯度下降算法的效率更高；
步骤S05：深度神经网络的池化层对数据进行池化，池化层对数据进行降维，使得连接层后提升的维度得以降低；
步骤S06：对深度神经网络的全连接层进行训练；以完成用于图像分类的深度神经网络的训练；
步骤S07：将待分类的图像输入训练好的深度神经网络进行图像分类。
由于上述步骤，本发明的训练过程不需要进行基于梯度下降算法的迭代优化过程，直接通过基本的线性代数运算求解连接权重，因此计算速度较快。而从原始数据中学习特征，因此训练时不必对数据进行精确重构。不需要设置太多的控制参数，因此本发明中的训练方法易用性强。
对所公开的实施例的上述说明，使熟悉本领域的专业技术人员能够实现或使用本发明。对实施例的修改对本领域的专业技术人员来说将是显而易见的。本专利中所定义的一般原理可以在不脱离本发明的基本思想或适用范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，凡是利用本发明的设计思路，做一些简单变化的方案，都应计入本发明的保护范围之内。

Claims (5)

1.一种深度神经网络图像分类方法，其特征在于：
步骤S01：获取训练数据集，训练数据集包括多个图像样本；所述训练数据集用于训练深度神经网络；所述深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；
步骤S02：针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征输入深度神经网络的输入层；
步骤S03：深度神经网络的连接层进行数据维度映射，假设连接层的输入数据是m维，映射后的输出数据是n维，映射函数为f(x,α)，其中x是输入数据，α是映射参数；当映射参数取不同值时，得到多个不同的函数结果；多个函数结果的集合则构成了对输入数据x的集成编码；映射函数是非线性函数；
步骤S04：深度神经网络的卷积层由多层构成，沿着网络正向传播样本；计算l层到l+1层的连接权重Wl；将连接权重Wl乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；其中l为深度神经网络的层编号；激活函数采用阶跃激活函数或Sigmoid函数；调节正则化参数以控制重构误差的大小；其中，计算连接权重Wl的过程包括，第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’；计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；将X’作为第l层到第l+1层的连接权重Wl；
步骤S05：深度神经网络的池化层对数据进行池化，池化层对数据进行降维，使得连接层后提升的维度得以降低；
步骤S06：对深度神经网络的全连接层进行训练；以完成用于图像分类的深度神经网络的训练；
步骤S07：将待分类的图像输入训练好的深度神经网络进行图像分类。
2.根据权利要求1所述的一种深度神经网络图像分类方法，其特征在于，步骤S03中，连接层产生随机的基向量，映射矩阵为随机产生的n×m矩阵R，且R每列是一个单位向量；将连接层的输入数据随机映射到这组基向量上。
3.一种深度神经网络图像分类装置，包括：
数据获取模块：获取训练数据集，训练数据集包括多个图像样本；所述训练数据集用于训练深度神经网络；所述深度神经网络的网络结构至少包括输入层、连接层、卷积层、池化层、全连接层；
数据映射模块：针对每个图像训练样本，提取图像特征；由多个图像训练样本的图像特征输入深度神经网络的输入层；深度神经网络的连接层进行数据维度映射，假设连接层的输入数据是m维，映射后的输出数据是n维，映射函数为f(x,α)，其中x是输入数据，α是映射参数；当映射参数取不同值时，得到多个不同的函数结果；多个函数结果的集合则构成了对输入数据x的集成编码；映射函数是非线性函数；
网络训练模块：深度神经网络的卷积层由多层构成，沿着网络正向传播样本；计算l层到l+1层的连接权重Wl；将连接权重Wl乘以第l层的神经元输出矩阵Yl，并应用激活函数，可以得到第l+1层的输出矩阵Yl+1；其中l为深度神经网络的层编号；激活函数采用阶跃激活函数或Sigmoid函数；调节正则化参数以控制重构误差的大小；其中，计算连接权重Wl的过程包括，第l层的输入数据矩阵为Xl，对Xl进行奇异值分解，得到矩阵U、Σ、V，使得Xl＝UΣVT；计算Xl的伪逆矩阵Y＝VΣ’UT；其中，Σ’为Σ中奇异值的倒数组成的对角矩阵；对矩阵V进行截断，保留V矩阵的前p行，得到截断后的矩阵V’；计算近似的伪逆矩阵X’表示为X’＝V’Σ’UT；将X’作为第l层到第l+1层的连接权重Wl；
深度神经网络的池化层对数据进行池化，池化层对数据进行降维，使得连接层后提升的维度得以降低；对深度神经网络的全连接层进行训练；以完成用于图像分类的深度神经网络的训练；
图像分类模块：将待分类的图像输入训练好的深度神经网络进行图像分类。
4.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的方法。
5.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-2中任一项所述的方法。
CN202210131129.0A 2022-02-13 2022-02-13 深度神经网络图像分类方法、装置、设备和存储介质 Pending CN114463591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131129.0A CN114463591A (zh) 2022-02-13 2022-02-13 深度神经网络图像分类方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210131129.0A CN114463591A (zh) 2022-02-13 2022-02-13 深度神经网络图像分类方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114463591A true CN114463591A (zh) 2022-05-10

Family

ID=81413454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210131129.0A Pending CN114463591A (zh) 2022-02-13 2022-02-13 深度神经网络图像分类方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114463591A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648101A (zh) * 2022-05-13 2022-06-21 杭州研极微电子有限公司 基于transformer结构的softmax函数量化实现方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648101A (zh) * 2022-05-13 2022-06-21 杭州研极微电子有限公司 基于transformer结构的softmax函数量化实现方法和装置

Similar Documents

Publication Publication Date Title
US11875268B2 (en) Object recognition with reduced neural network weight precision
CN110852439B (zh) 数据处理方法及装置、存储介质
CN112633497B (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
Ranzato et al. Efficient learning of sparse representations with an energy-based model
CN110659725B (zh) 神经网络模型的压缩与加速方法、数据处理方法及装置
US10296804B2 (en) Image recognizing apparatus, computer-readable recording medium, image recognizing method, and recognition apparatus
CN109416758A (zh) 神经网络及神经网络训练的方法
US20210089955A1 (en) Quantum inspired convolutional kernels for convolutional neural networks
CN108446766A (zh) 一种快速训练堆栈自编码深度神经网络的方法
CN113841162B (zh) 深度神经网络中的深度优先卷积
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN108197653A (zh) 一种基于卷积回声状态网络的时间序列分类方法
CN113128455A (zh) 一种细胞图像重构模型训练方法和系统
CN112598062A (zh) 一种图像识别方法和装置
CN114463591A (zh) 深度神经网络图像分类方法、装置、设备和存储介质
Harikrishnan et al. Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures
CN107292322B (zh) 一种图像分类方法、深度学习模型及计算机系统
CN114462597A (zh) 快速训练深度神经网络的方法、装置、设备和存储介质
CN118114734A (zh) 基于稀疏正则化理论的卷积神经网络优化方法及系统
CN116310477A (zh) 基于S_ReLU脉冲神经网络的图像分类方法
WO2023059723A1 (en) Model compression via quantized sparse principal component analysis
CN110110769B (zh) 一种基于宽度径向基函数网络的图像分类方法
US20190332928A1 (en) Second order neuron for machine learning
CN114124654A (zh) 告警合并方法、装置、计算设备及计算机存储介质
CN114365155A (zh) 具有快速逐点卷积的高效推断

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination