CN113313175A - 基于多元激活函数的稀疏正则化神经网络的图像分类方法 - Google Patents

基于多元激活函数的稀疏正则化神经网络的图像分类方法 Download PDF

Info

Publication number
CN113313175A
CN113313175A CN202110610837.8A CN202110610837A CN113313175A CN 113313175 A CN113313175 A CN 113313175A CN 202110610837 A CN202110610837 A CN 202110610837A CN 113313175 A CN113313175 A CN 113313175A
Authority
CN
China
Prior art keywords
activation function
multivariate
neural network
image
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110610837.8A
Other languages
English (en)
Other versions
CN113313175B (zh
Inventor
林宙辰
徐鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110610837.8A priority Critical patent/CN113313175B/zh
Publication of CN113313175A publication Critical patent/CN113313175A/zh
Application granted granted Critical
Publication of CN113313175B publication Critical patent/CN113313175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，通过学习多元激活函数进一步学习多元稀疏正则化神经网络模型，即稀疏正则化子或稀疏正则化器，用于高效地进行图像分类。采用本发明的多元激活函数将任意一个已有CNN模型中的激活函数进行正则化，得到一个多元正则化的CNN模型，再用该模型进行图像分类，由此达到用更少的模型参数，且能降低图像分类的错误率。

Description

基于多元激活函数的稀疏正则化神经网络的图像分类方法
技术领域
本发明属于模式识别、机器学习、人工智能技术领域，涉及图像分类方法，具体涉及 一种基于多元激活函数的稀疏正则化子的图像分类方法。
背景技术
稀疏正则化是解决深度神经网络中图像分类问题的一种功能强大、应用广泛的策略。 稀疏正则化的有效性在实践和理论上都得到了验证，如LASSO算子。稀疏正则化同时进行参数估计和特征选择，通过识别信息变量提供可解释的结果，通过舍弃冗余变量有效避免过拟合。由于这些特性，稀疏正则化在图像分类领域取得了巨大的成功。此外，已经开 展了一些理论研究来支持稀疏正则化的有效性，并提出了高效的优化方法，使稀疏学习易 于应用。
许多稀疏正则化被提出来产生稀疏解。L0范数是稀疏正则化最直观的形式，用于计算 非零元素的个数，其目的是促进最稀疏解的实现。然而，L0范数的最小化问题通常是NP-hard的。L1范数是最常用的范数，它是凸的，相应的L1范数正则化问题可以很容易 地解决。虽然L1范数具有很好的性质，但可能不会得到足够稀疏的解，并可能导致严重 的估计偏差。目前已有其他的稀疏正则化器包括smoothly clipped absolute deviation(SCAD)，log penalty，capped L1，minimax concave penalty(MCP)，Lp penalty等被提出以克服这些缺陷。 但是，上述正则化器大多是可分离的，它们可能不能充分利用向量项之间的交互来产生最 佳性能。
另一方面，现有的稀疏正则化器都是手工制作的。它们要么不能与控制模型很好地合 作以促进稀疏解决方案，要么不能很好地适合数据以实现良好的图像分类性能。因此，现 有技术一般采用尝试所有现有的稀疏正则化器，并选出最有效的一个的做法。但是，这种 做法效率低下，难以实际应用。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于多元激活函数的稀疏正则化神经 网络模型的图像分类方法，采用基于多元激活函数的不可分离稀疏正则化器进行学习训练， 用训练好的模型进行图像分类，降低图像分类的错误率。
本发明通过设计多元激活函数，将任意一个已有CNN模型中的激活函数采用该多元激 活函数进行正则化，得到一个多元正则化的CNN模型，即基于多元激活函数的稀疏正则 化神经网络模型(MAF-SRL)；利用近端梯度算法，将不可分离稀疏正则化学习转化为多元激活函数的学习，得到训练好的基于多元激活函数的稀疏正则化神经网络模型；再用该模型进行图像分类。
本发明提供的技术方案是：
一种基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，通过学习多元激 活函数进一步学习多元稀疏正则化神经网络模型(也称稀疏正则化子或稀疏正则化器)，用 于高效的进行图像分类，包括以下步骤：
1)将图像数据x＝{x1，x2，...，xn}分为训练样本和测试样本；
2)对训练样本图像进行预处理，包括同态滤波和图像平滑处理；
3)构建基于多元激活函数的稀疏正则化神经网络模型并进行训练，具体包括如下步骤：
3-1)设计多元激活函数。
初始化多元激活函数的学习参数：
Figure BDA0003089026730000021
其中
Figure BDA0003089026730000022
表示初始化的稀疏矩阵，
Figure BDA0003089026730000023
表示初始化的权重参数向量，b(0)表示初始化的偏置参数向量，
Figure BDA0003089026730000024
表示初始化的投影 的参数集合。
设置计数器l＝0。定义多元激活函数ξ(x)为：
Figure BDA0003089026730000025
其中，A＝(a1，…，aM)，q＝(q1，…，qM)T and b＝(b1，…，bM)T，；
Figure BDA0003089026730000026
为单元的激活函数；
3-2)定义多元正则化器。
本发明定义多元正则化器
Figure BDA0003089026730000027
为：
Figure BDA0003089026730000028
其中，ai，qi，bi分别是A，q，b中的元素；
通过构建一个近端算子：
Figure BDA0003089026730000031
作为单元激活函数ξ(x)，将学 习多元正则化器转换为学习多元激活函数。
3-3)定义单元激活函数。
接下来定义多元激活函数ξ(x)包括的单元激活函数
Figure BDA0003089026730000032
它包含两个可学习的参 数(μ1，μ2)，其中μ1＝(η1，δ1)μ2＝(η2，δ2)，0≤δ1≤δ2，η1，η2＞0。η1，δ1η2，δ2都是训 练过程中学习到的参数。η1η2分别为第一个和第二个单变量权重参数，δ1和δ2分别为第一个和第二个单变量偏置参数。
Figure BDA0003089026730000033
是
Figure BDA0003089026730000034
Figure BDA0003089026730000035
中的
Figure BDA0003089026730000036
单元激活函数的形式是
Figure BDA0003089026730000037
3-4)对输入图像x＝{x1，x2，...，xn}进行训练过程的初始化。
定义初始化的迭代求解x的公式为
Figure BDA0003089026730000038
x表示输入图像向量；x(0)表示输入图像第0次迭代的向量。
3-5)迭代求解
本发明首先通过近端梯度的迭代算法进行求解，
Figure BDA0003089026730000039
接下来令
Figure RE-GDA00031727081000000310
则
Figure RE-GDA00031727081000000311
得到迭代公式：
Figure BDA0003089026730000041
由于x(k+1)是步骤3-1)通过近端梯度算法将学习多元正则化子(多元正则化器)转化 为学习多元激活函数ξ(x)，所以得到：
Figure BDA0003089026730000042
进一步化简得到最后迭代求解的表达式：
Figure BDA0003089026730000043
3-6)进行神经网络的学习训练
对神经网络每一层i(i＝1，2，3，...，N)，逐层学习激活函数进而迭代求解x：
Figure BDA0003089026730000044
3-7)计算神经网络每一层的损失函数：N代表第N层的x图像向量。
Figure BDA0003089026730000045
直到网络收敛为止，将网络最后一层的输出，作为经迭代优化的最优图像向量输出x*。 本发明中，卷积神经网络模型全连接层参数初始化方式采用Xavier初始化方式。经过全连 接层之后就输出了最优图像的分类标签。
本发明的训练参数设置为：权重衰减因子为0.001，动量为0.85。该网络模型可以在深 度学习框架Tensorflow下实现。将上述构建并初始化的多元激活函数代入CNN卷积神经 网络模型，即得到基于多元激活函数的稀疏正则化神经网络模型。再利用训练样本图像对 构建的模型进行训练。本发明具体实施时，均采用反向传播算法，用带Nesterov动量的随 机梯度下降算法进行模型训练。训练过程迭代1000轮，图像批大小为256，即每256张图片为一个批次，学习速率初始值为0.1。实验重复20次，报告20次实验的平均结果。
4)利用步骤3)构建并训练好的基于多元激活函数的稀疏正则化神经网络模型，对测 试图像样本进行识别，网络输出最优图像的标签，即得到预测的图像分类标签，由此实现 图片分类识别，其中测试样本无需经过图像预处理。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，通 过训练多元激活函数的参数隐式地计算多元正则化器。在具体实施中，可以将任意一个已 有CNN模型中的激活函数采用本发明设计的多元激活函数进行正则化，得到一个多元正 则化的CNN模型，最后用该模型进行图像分类。
本发明利用近端梯度算法，将不可分离稀疏正则化学习问题转化为多元激活函数的学 习问题。与现有的图像分类模型相比，本发明取得了更好的效果，可以用更少的模型参数， 在图像分类数据集上达到更低的图像分类错误率。
附图说明
图1是基于多元激活函数的稀疏正则化神经网络模型处理图像的单变量正则化器g(x) 的示意图；
其中，(a)-(h)分别表示FashionMNIST，MNIST，DIGITS，CIFAR-10，CIFAR-100，SDD，PENDIGITS，Caltech-101数据集上学习而得到的单变量的正则化器g(x)。
图2是本发明提供的神经网络模型MAF-SRL不同层数N对学习稀疏正则化器性能的影 响图；
其中，(a)为MAF-SRL不同层数N在FashionMNIST，MNIST，DIGITS，CIFAR-10上的 实施效果；(b)为MAF-SRL不同层数N在CIFAR-100，SDD，PENDIGITS，Caltech-101上的 实施效果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于多元激活函数的稀疏正则化神经网络模型MAF-SRL的图像分类 方法，训练多元激活函数的参数隐式地计算多元正则化器，用于高效的进行图像分类。包 括以下步骤：
步骤1：将图像数据分为训练样本和测试样本，本实施例所有数据集为 FASHION-MNIST，MNIST，DIGITS，CIFAR-10，CIFAR-100，SDD，PENDIGITS和Caltech-10数 据集，其中CIFAR-10和CIFAR-100训练数据50,000张，测试数据10,000张，其他数据集 训练集和测试集比例为8∶2。
步骤2：对训练样本图像进行图像预处理。图像预处理操作包括：同态滤波和图像平 滑。
图像g(i，j)是由光源产生的照度场g1(i，j)和目标的反射系数场g2(i，j)共同作用下产生 的，三者的关系是：
g(i，j)＝g1(i，j)g2(i，j)
照度场g1(i，j)变化缓慢，在频谱上其能量集中于低频，反射系数场g2(i，j)包含了所需 要的图像信息，在空间中的变化较快，能量集中在高频部分。采用同态滤波方法，把这两个 分量分开处理，处理步骤如下：
(1)对上式两边取对数，得到两个加性分量，这是同态滤波方法中的第一步：
lng(i，j)＝lng1(i，j)+lng2(i，j)
(2)对上式两边同时进行傅立叶变换，得到：
G(u，v)＝F{lng(i，j)}＝F{lng1(i，j)}+F{lng2(i，j)}＝G1(u，v)+G2(u，v)
(3)为了消除照度的起伏，应该压缩G1(u，v)分量，为了增加图像本身的对比度，应该增强G2(u，v)分量。因此使用同态滤波器来处理G(u，v)，其中频域中的点(u，v)与频率中心的距离
Figure BDA0003089026730000061
低频增益HL＝1，高频增益HH＝3。
G*(u，v)＝H(u，v)G(u，v)＝H(u，v)G1(u，v)+H(u，v)G2(u，v)
(4)取傅立叶反变换和指数运算，得到图像g3(i，j)：
g3(i，j)＝exp(F-1{G*(u，v)})
为了减少图像中的噪声，需要对图像进行平滑处理，本发明实施例采用的图像平滑是 空域的局部平均法，这种方法易于实现、效果也比较好。经局部平均法处理后的g4(i，j)为：
Figure BDA0003089026730000062
其中，S是点(i，j)邻域内的点集，由于本发明实施例选取的卷积模板为：
Figure BDA0003089026730000063
所以邻域内的点的个数为NS＝16。
步骤3：将图像预处理过的训练样本通过本发明得到的模型进行训练。本发明可以选 用任意一个已有的CNN架构，然后将其中的激活函数采用本发明构建的多元激活函数，得到一个基于多元激活函数的稀疏正则化神经网络模型。在本实施例中，我们选用ResNet作为网络基本架构。其中，训练多元激活函数的稀疏正则化神经网络模型的步骤如下：
3-1)设计多元激活函数。
输入图像x，初始化CNN卷积神经网络中多元激活函数的学习参数
Figure BDA0003089026730000071
计数器l＝0。
本发明中，多元激活函数被定义为：
Figure BDA0003089026730000072
其中，A＝(a1，…，aM)，q＝(q1，…，gM)T，b＝(b1，…，bM)T。
本发明定义多元正则化器为：
Figure BDA0003089026730000073
通 过构建一个近端算子：
Figure BDA0003089026730000074
学习多元正则化器能被转换为 学习多元激活函数。接下来定义多元激活函数ξ(x)包括的单元激活函数
Figure BDA0003089026730000075
它包含两个 可学习的参数(μ1，μ2)，其中μ1＝(η1，δ1)μ2＝(η2，δ2)，0≤δ1≤δ2，η1，η2＞0
Figure BDA0003089026730000076
3-2)定义多元正则化器。
本发明定义多元正则化器
Figure BDA0003089026730000077
为：
Figure BDA0003089026730000078
其中，ai，qi，bi分别是A，q，b中的元素；
通过构建一个近端算子：
Figure BDA0003089026730000079
作为单元激活函数ξ(x)，将学 习多元正则化器转换为学习多元激活函数。
3-3)定义单元激活函数。
接下来定义多元激活函数ξ(x)包括的单元激活函数
Figure BDA00030890267300000710
它包含两个可学习的参 数(μ1，μ2)，其中μ1＝(η1，δ1)μ2＝(η2，δ2)，0≤δ1≤δ2，η1，η2＞0。η1，δ1η2，δ2都是训 练过程中学习到的参数。η1η2分别为第一个和第二个单变量权重参数，δ1和δ2分别为第一个和第二个单变量偏置参数。
Figure BDA0003089026730000081
是
Figure BDA0003089026730000082
Figure BDA0003089026730000083
中的
Figure BDA0003089026730000084
单元激活函数的形式是
Figure BDA0003089026730000085
3-4)对输入图像x＝{x1，x2，...，xn}进行训练过程的初始化。
定义初始化的迭代求解x的公式为
Figure BDA0003089026730000086
x(0)表示输入图像第0次迭代的向量。
3-5)迭代求解
本发明首先通过近端梯度的迭代算法进行求解，
Figure BDA0003089026730000087
接下来令
Figure RE-GDA0003172708100000088
则
Figure RE-GDA0003172708100000089
得到迭代公式：
得到迭代公式：
Figure BDA00030890267300000810
由于x(k+1)是步骤3-1)通过近端梯度算法将学习多元正则化子(多元正则化器)转化 为学习多元激活函数ξ(x)，所以得到：
Figure BDA00030890267300000811
进一步化简得到最后迭代求解的表达式：
Figure BDA00030890267300000812
3-6)进行神经网络的学习训练
对神经网络每一层i(i＝1，2，3，...，N)，逐层学习激活函数进而迭代求解x：
Figure BDA0003089026730000091
3-7)计算神经网络每一层的损失函数：N代表第N层的x图像向量。
Figure BDA0003089026730000092
直到网络收敛为止，输出网络最后一层的输出图像x(N)，作为最优图像x*输出。本发明 中，卷积神经网络全连接层参数初始化方式采用Xavier初始化方式。经过全连接层之后就 输出了最优图像的分类标签。
步骤4：将测试样本(无需进行图像预处理)分别通过训练好的网络进行识别，得到预 测的分类标签。
本发明中的模型均使用反向传播算法，利用带Nesterov动量的随机梯度下降算法进行 训练，动量为0.85。该网络模型在深度学习框架Tensorflow下实现。将上述构建并初始化 的多元激活函数代入CNN模型。再利用训练样本图像对该模型进行训练。本发明具体实 施时，均采用反向传播算法，用带Nesterov动量的随机梯度下降算法进行模型训练。训练 过程迭代1000轮，批大小为256，即每256张图片为一个批次，学习速率初始值为0.1。 实验重复20次，报告20次实验的平均结果。
表1给出了本发明模型MAF-SRL和其他正则化子在不同数据集上的图像分类准确率 和稀疏度比较，较高的准确率意味着训练后的网络更适合图像分类任务。非零参数比例越 小，稀疏正则化能力越好。
表1本发明模型和其他正则化子在不同数据集上的图像分类准确率和稀疏度
Figure BDA0003089026730000101
从表1可以看出，与其他基线相比，本发明构建的MAF-SRL模型具有最好的性能。在所有数据集上，MAF-SRL既具有最高的精度，又具有最小的稀疏性(非零权值百分比)， 表明本发明学习的多元稀疏正则化方法确实有效，能够更好地适应数据。
图1展示了学习到的不同数据集的单变元正则化器g(x)，其中各子图参数的选值分别 是：
(a)η1＝1.37，η2＝0.22，δ1＝0.46，δ2＝1.57.
(b)η1＝1.46，η2＝0.24，δ1＝0.44，δ2＝1.48.
(c)η1＝1.35，η2＝0.34，δ1＝0.36，δ2＝1.31.
(d)η1＝1.41，η2＝0.62，δ1＝0.62，δ2＝1.49.
(e)η1＝1.33，η2＝0.36，δ1＝0.48，δ2＝1.47.
(f)η1＝1.51，η2＝0.64，δ1＝0.89，δ2＝1.77.
(g)η1＝1.34，η2＝0.45，δ1＝0.33，δ2＝1.33.
(h)η1＝1.44，η2＝0.27，δ1＝0.47，δ2＝1.53.
我们可以看到，g(x)不是凸的，并且在不同的数据集上差异显著，表明我们学习的稀 疏正则化器能够很容易地适应数据。
本发明进一步研究了层数N对学习的稀疏正则化器性能的影响，结果如图2所示。层 数N的取值范围为2-30，学习率固定为0.1。从图2中可以发现，当层数N＞16时，精度 基本稳定。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人 员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因 此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的 范围为准。

Claims (6)

1.一种基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，通过学习多元激活函数进一步学习多元稀疏正则化神经网络模型，即稀疏正则化子或稀疏正则化器，用于高效地进行图像分类；包括以下步骤：
1)将图像数据x＝{x1，x2，...，xn}分为训练样本和测试样本；
2)对训练样本图像进行预处理，包括同态滤波和图像平滑处理；
3)构建基于多元激活函数的稀疏正则化神经网络模型MAF-SRL并进行训练，具体包括如下步骤：
3-1)设计多元激活函数，初始化多元激活函数的学习参数：
Figure FDA0003089026720000011
b(0)，u(0)，其中
Figure FDA0003089026720000012
表示初始化的稀疏矩阵，
Figure FDA0003089026720000013
表示初始化的权重参数向量，b(0)表示初始化的偏置参数向量，u(0)表示初始化的投影的参数集合；
设置计数器l＝0；定义多元激活函数ξ(x)为：
Figure FDA0003089026720000014
其中，A＝(a1，…，aM)，q＝(q1，…，qM)T，b＝(b1，…，bM)T；
Figure FDA0003089026720000015
为单元激活函数；
3-2)定义多元正则化器；
定义多元正则化器
Figure FDA0003089026720000016
为：
Figure FDA0003089026720000017
其中，ai，qi，bi分别是A，q，b中的元素；通过构建一个近端算子：
Figure FDA0003089026720000018
作为单元激活函数ξ(x)，将学习多元正则化器转换为学习多元激活函数；
3-3)定义单元激活函数；
定义多元激活函数ξ(x)包括的单元激活函数
Figure FDA0003089026720000019
Figure FDA00030890267200000110
Figure FDA00030890267200000111
包含两个可学习的参数(μ1，μ2)，其中μ1＝(η1，δ1)μ2＝(η2，δ2)，0≤δ1≤δ2，η1，η2＞0；
3-4)对输入图像x＝{x1，x2，...，xn}进行训练过程的初始化；
定义初始化的迭代求解x的公式为：
Figure FDA0003089026720000021
x(0)表示输入图像第0次迭代的向量；
3-5)迭代求解；
首先通过近端梯度的迭代算法进行求解：
Figure FDA0003089026720000022
接下来令
Figure FDA0003089026720000023
则：
Figure FDA0003089026720000024
得到迭代公式:
Figure FDA0003089026720000025
由于x(k+1)是步骤3-1)通过近端梯度算法将学习多元正则化子即多元正则化器转化为学习多元激活函数ξ(x)，故得到：
Figure FDA0003089026720000026
进一步化简得到最后迭代求解的表达式：
Figure FDA0003089026720000027
3-6)进行神经网络的学习训练
对神经网络每一层i(i＝1，2，3，…，N)，逐层学习激活函数进而迭代求解x：
Figure FDA0003089026720000028
3-7)计算神经网络每一层的损失函数：N代表第N层的x图像向量。
Figure FDA0003089026720000029
直到网络收敛为止；
将网络最后一层的输出，作为经迭代优化的最优图像输出x*；卷积神经网络全连接层参数初始化方式采用Xavier初始化方式；经过全连接层之后输出最优图像的分类标签；
4)利用构建并训练好的基于多元激活函数的稀疏正则化神经网络模型，对测试图像样本进行识别，得到预测的图像分类标签，由此实现图片分类识别，其中测试样本无需经过图像预处理。
2.如权利要求1所述基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，卷积神经网络全连接层参数的初始化具体采用Xavier初始化方式。
3.如权利要求2所述基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，权重衰减因子为0.001，动量为0.85。
4.如权利要求1所述基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，具体在深度学习框架Tensorflow下实现构建所述基于多元激活函数的稀疏正则化神经网络模型MAF-SRL；将构建并初始化的多元激活函数代入卷积神经网络模型，即得到基于多元激活函数的稀疏正则化神经网络模型。
5.如权利要求1所述基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，具体采用反向传播算法，用带Nesterov动量的随机梯度下降算法进行模型训练。
6.如权利要求5所述基于多元激活函数的稀疏正则化神经网络模型的图像分类方法，其特征是，具体训练过程迭代1000轮；图像批大小为256，即每256张图片为一个批次；学习速率初始值为0.1。
CN202110610837.8A 2021-05-28 2021-05-28 基于多元激活函数的稀疏正则化神经网络的图像分类方法 Active CN113313175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610837.8A CN113313175B (zh) 2021-05-28 2021-05-28 基于多元激活函数的稀疏正则化神经网络的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610837.8A CN113313175B (zh) 2021-05-28 2021-05-28 基于多元激活函数的稀疏正则化神经网络的图像分类方法

Publications (2)

Publication Number Publication Date
CN113313175A true CN113313175A (zh) 2021-08-27
CN113313175B CN113313175B (zh) 2024-02-27

Family

ID=77376920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610837.8A Active CN113313175B (zh) 2021-05-28 2021-05-28 基于多元激活函数的稀疏正则化神经网络的图像分类方法

Country Status (1)

Country Link
CN (1) CN113313175B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314763A (zh) * 2023-08-17 2023-12-29 贵州医科大学附属口腔医院 一种基于机器学习的口腔卫生管理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480777A (zh) * 2017-08-28 2017-12-15 北京师范大学 基于伪逆学习的稀疏自编码器快速训练方法
CN108805167A (zh) * 2018-05-04 2018-11-13 江南大学 一种基于Laplace函数约束的稀疏深度置信网络图像分类方法
US20190340510A1 (en) * 2018-05-01 2019-11-07 Hewlett Packard Enterprise Development Lp Sparsifying neural network models
US20190392323A1 (en) * 2018-06-22 2019-12-26 Moffett AI, Inc. Neural network acceleration and embedding compression systems and methods with activation sparsification
CN111062474A (zh) * 2018-10-16 2020-04-24 北京大学 一种求解提升邻近算子机的神经网络优化方法
US20200184310A1 (en) * 2018-12-11 2020-06-11 Electronics And Telecommunications Research Institute Apparatus and method for deep neural network model parameter reduction using sparsity regularized factorized matrix
CN111652271A (zh) * 2020-04-24 2020-09-11 华东交通大学 一种基于神经网络的非线性特征选择方法
CN111967528A (zh) * 2020-08-27 2020-11-20 北京大学 基于稀疏编码的深度学习网络结构搜索的图像识别方法
CN112819252A (zh) * 2021-03-01 2021-05-18 云南电网有限责任公司电力科学研究院 一种卷积神经网络模型构建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480777A (zh) * 2017-08-28 2017-12-15 北京师范大学 基于伪逆学习的稀疏自编码器快速训练方法
US20190340510A1 (en) * 2018-05-01 2019-11-07 Hewlett Packard Enterprise Development Lp Sparsifying neural network models
CN108805167A (zh) * 2018-05-04 2018-11-13 江南大学 一种基于Laplace函数约束的稀疏深度置信网络图像分类方法
US20190392323A1 (en) * 2018-06-22 2019-12-26 Moffett AI, Inc. Neural network acceleration and embedding compression systems and methods with activation sparsification
CN111062474A (zh) * 2018-10-16 2020-04-24 北京大学 一种求解提升邻近算子机的神经网络优化方法
US20200184310A1 (en) * 2018-12-11 2020-06-11 Electronics And Telecommunications Research Institute Apparatus and method for deep neural network model parameter reduction using sparsity regularized factorized matrix
CN111652271A (zh) * 2020-04-24 2020-09-11 华东交通大学 一种基于神经网络的非线性特征选择方法
CN111967528A (zh) * 2020-08-27 2020-11-20 北京大学 基于稀疏编码的深度学习网络结构搜索的图像识别方法
CN112819252A (zh) * 2021-03-01 2021-05-18 云南电网有限责任公司电力科学研究院 一种卷积神经网络模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIPING WANG: "Learning Deep Sparse Regularizers With Applications to Multi-View Clustering and Semi-Supervised Classification", 《IEEE》 *
邹维宝;于昕玉;麦超;: "基于Lorentz函数的稀疏约束RBM模型的算法研究", 计算机工程与应用, no. 07 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314763A (zh) * 2023-08-17 2023-12-29 贵州医科大学附属口腔医院 一种基于机器学习的口腔卫生管理方法及系统

Also Published As

Publication number Publication date
CN113313175B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Huang et al. WINNet: Wavelet-inspired invertible network for image denoising
CN104866900B (zh) 一种反卷积神经网络训练方法
Rubinstein et al. Dictionary learning for analysis-synthesis thresholding
Zuo et al. Convolutional neural networks for image denoising and restoration
Singh et al. ResDNN: deep residual learning for natural image denoising
CN113222998B (zh) 基于自监督低秩网络的半监督图像语义分割方法及装置
CN112734763B (zh) 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN117078510A (zh) 一种潜在特征的单幅图像超分辨重建方法
CN112949610A (zh) 一种基于降噪算法的改进Elman神经网络的预测方法
CN106067165B (zh) 基于聚类化稀疏随机场的高光谱图像去噪方法
CN113590748B (zh) 基于迭代网络组合的情感分类持续学习方法及存储介质
CN113313175A (zh) 基于多元激活函数的稀疏正则化神经网络的图像分类方法
Pinilla et al. Improved imaging by invex regularizers with global optima guarantees
Yang et al. Real-world denoising via diffusion model
Xiao et al. Generative flows with matrix exponential
CN113962262A (zh) 一种基于连续学习的雷达信号智能分选方法
Scabini et al. Improving deep neural network random initialization through neuronal rewiring
CN106408018B (zh) 一种基于幅频特征稀疏滤波的图像分类方法
Ba Deeply-Sparse Signal rePresentations (D $\text {S}^ 2$ P)
CN104700374A (zh) 基于Type-2模糊逻辑系统的场景图像去噪方法
CN112258410A (zh) 一种可微分的低秩学习网络图像修复方法
Zeng et al. Slice-based online convolutional dictionary learning
CN108649926B (zh) 基于小波基张量稀疏表示的das数据去噪方法
Rafi et al. Data driven measurement matrix learning for sparse reconstruction
Feng et al. Models for multiplicative noise removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant