CN113159072A - 一种基于一致正则化的在线超限学习机目标识别方法及系统 - Google Patents

一种基于一致正则化的在线超限学习机目标识别方法及系统 Download PDF

Info

Publication number
CN113159072A
CN113159072A CN202110436775.3A CN202110436775A CN113159072A CN 113159072 A CN113159072 A CN 113159072A CN 202110436775 A CN202110436775 A CN 202110436775A CN 113159072 A CN113159072 A CN 113159072A
Authority
CN
China
Prior art keywords
feature
regularization
online
hidden layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436775.3A
Other languages
English (en)
Other versions
CN113159072B (zh
Inventor
徐昕
曾宇骏
呼晓畅
方强
周思航
施逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110436775.3A priority Critical patent/CN113159072B/zh
Publication of CN113159072A publication Critical patent/CN113159072A/zh
Application granted granted Critical
Publication of CN113159072B publication Critical patent/CN113159072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于一致正则化的在线超限学习机目标识别方法及系统，本发明包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤：针对训练图像进行特征提取，得到相应的图像特征集，并将图像特征集随机划分为多个特征子集；对所划分的特征子集，分别生成对应的近邻特征样本；将一致正则化约束引入在线超限学习目标优化函数，随机生成首先单隐层前馈神经网络的隐层节点参数，选取任一特征子集及其邻近样本进行初始化网络权重生成，基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。本发明具有噪声容忍性强、分类识别精度高、学习速度快、任务可扩展性好的优点。

Description

一种基于一致正则化的在线超限学习机目标识别方法及系统
技术领域
本发明涉及图像分类、目标识别技术领域，具体涉及一种基于一致正则化的在线超限学习机目标识别方法及系统。
背景技术
超限学习机（extreme learning machine，ELM）是一种高效、泛化、最初以单隐层前馈神经网络为基础的神经网络学习算法。超限学习机理论的提出受生物学习启发并试图解释回答生物神经元在学习过程中是否需要调整的基本问题。在其提出后不久，哈佛大学、斯坦福大学、麻省理工大学、IBM沃森等知名研究机构相继在鼠的嗅觉系统、猴的视觉系统以及人的感知系统中得到直接或间接验证。超限学习机理论的核心内容为：具有非线性分段连续响应的隐层节点的单隐层前馈神经网络，可以不需调整隐层节点参数即可任意逼近连续目标函数。通过超限学习机理论分析证明，单隐层前馈神经网络的训练可以转化为对特定线性系统最小二乘解的求解，以解析式的矩阵运算代替传统的迭代式梯度下降，从而使得应用超限学习机原理训练随机神经网络，具备计算快速可满足实时学习、待人工设定的学习参量少、准确度高和泛化能力良好等突出优势。在3D图形分割、交通路标识别、语音情感识别、机器人学习控制、人脸识别、手势识别等任务中，超限学习机均有广泛应用且效果显著。
但是，由于浅层网络结构的特征表示能力很差，传统的超限学习机无法处理复杂的视觉任务，尤其是在原始像素空间中。针对这一问题，许多工作通过堆叠自动编码器（stacked auto-encoder），核方法或多层随机局部接收域（local receptive region）探索了潜在的解决方案。受相关网络模型复杂度和模型容量的限制，这些方法与基于梯度下降的深度神经网络方法还存在差距。因此，基于深度神经网络的超限学习机通过深度神经网络的提取高级特征，然后输入到超限学习机训练得到的单隐层前馈神经网络分类器中进行分类已经逐渐成为一个主要技术方向。然而，尽管基于深度网络特征的超限学习机所训练得到分类器，其分类性能和效率得到显著提高，但其会受到输入及其对应标签中存在的噪声的影响，并导致不可避免的性能退化。造成这一问题的原因往往在于传统的超限学习机存在先天不足，即传统的超限学习机仍基于经验风险最小化，在噪声干扰下很可能会出现过度拟合的。因此，基于传统超限学习机的目标识别技术的效果性能还远远不能令人满意，往往需要通过引入一定的正则化约束来进行改进。例如，针对离群值环境下的在线学习问题，提出一种鲁棒正则化贯序超限学习机RR-OSELM。RR-OSELM以增量学习新样本的方式实现在线学习，并在学习过程中基于样本的先验误差进行逆向加权计算以降低学习模型对于离群值的敏感性；针对非平稳时间序列预测问题，提出一种具有广义正则化与遗忘机制的在线贯序超限学习机算法.该算法以增量学习新样本的方式实现在线学习，以遗忘旧的失效样本的方式增强对非平稳系统的动态跟踪能力，并通过引入一种广义的l2正则化使其具有持续的正则化功能，从而保证算法的持续稳定性；针对大规模在线学习问题，提出一种二维分割贯序正则化超限学习机(BP-SRELM).BP-SRELM以在线贯序超限学习机为基础，结合分治策略的思想，从实例和特征两个维度对高维隐层输出矩阵进行分割，以降低问题求解的规模和计算复杂性，从而极大地提高对大规模学习问题的执行效率。同时，BP-SRELM通过融合使用Tikhonov正则化技术进一步增强其在实际应用中的稳定性和泛化能力。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于一致正则化的在线超限学习机目标识别方法及系统，旨在实现噪声容忍性强、分类识别精度高、任务可扩展性好的在线超限学习机目标识别。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于一致正则化的在线超限学习机目标识别方法，包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤：
S1、获取训练图像，针对训练图像进行特征提取，得到相应的图像特征集，并将图像特征集随机划分为多个特征子集；
S2、对所划分的特征子集，分别生成对应的近邻特征样本；
S3、将一致正则化约束引入在线超限学习目标优化函数，随机生成首先单隐层前馈神经网络的隐层节点参数，选取任一特征子集及其邻近样本进行初始化网络权重生成，基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
可选地，步骤S1中进行特征提取时采用的方法为梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种，且得到相应的图像特征集的维度低于原始训练图像的维度。
可选地，所述预先完成训练的深度卷积网络为CNN-15深度卷积网络模型，且预先训练CNN-15深度卷积网络模型时采用的训练损失函数如下式所示：
Figure 337778DEST_PATH_IMAGE001
上式中，l cos 表示训练损失函数，λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为标签，p(y i |x i )为模型预测输出，l为样本个数，其中：
Figure 767622DEST_PATH_IMAGE002
其中，C为类别数目，p c 为类别均匀分布，
Figure 9248DEST_PATH_IMAGE003
为类别预测分布，p(y|x)为模型预测输出，H为熵。
可选地，步骤S2中对所划分的特征子集生成对应的近邻特征样本具体是指：基于平滑性假设，针对特征子集中的每一个特征向量，将与该特征向量所对应的标签满足下式的特征向量视为近邻特征样本，并构造高斯分布的偏移量并加入到特征子集的数据中，从而得到每一个特征子集生成对应的所有近邻特征样本；
Figure 471322DEST_PATH_IMAGE004
上式中，F(x i )为样本特征，F(x j )为样本特征，l为权重系数，x i 为样本，x j 为样本，δ为偏移量常数系数。
可选地，步骤S3中将一致正则化约束引入在线超限学习目标优化函数得到的目标函数为：
Figure 114793DEST_PATH_IMAGE005
上式中，H,
Figure 449959DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，β为待学习优化的所用单隐层前馈神经网络的输出层权重，Y为标签矩阵，F表示弗罗宾尼斯范数，c 0 , c 1 分别为对应正则化项的权重系数。
可选地，步骤S3中选取任一特征子集及其邻近样本进行初始化网络权重生成时，单隐层前馈神经网络的输出权重的计算函数表达式如下式所示：
Figure 178881DEST_PATH_IMAGE007
上式中，β * 表示单隐层前馈神经网络的输出权重，H,
Figure 257695DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数，Y为标签矩阵，I为单位矩阵，N为样本数目，d为特征维度。
可选地，步骤S3中基于剩余特征子集进行网络权重的迭代更新的函数表达式如下式所示：
Figure 755673DEST_PATH_IMAGE008
上式中，K k+1,K k 分别为第k+1和第k次迭代的系数矩阵，β k+1,β k 分别为第k+1和第k次迭代的权重矩阵，H k+1为数据矩阵，
Figure 465003DEST_PATH_IMAGE009
为增广数据矩阵，β k 为权重矩阵，Y k+1为标签矩阵，c 1 为权重系数，且有初始值：
Figure 415641DEST_PATH_IMAGE010
其中，H 0,
Figure 298147DEST_PATH_IMAGE011
分别对应为输入最初始批次的原始数据和邻域样本生成的增广数据及标签Y 0时所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数。
可选地，步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤：获取待分类识别图像，针对待分类识别图像进行特征提取，得到相应的图像特征集，并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器，得到待分类识别图像中的目标识别结果。
此外，本发明还提供一种基于一致正则化的在线超限学习机目标识别系统，包括相互连接的处理单元和存储器，所述处理单元被编程或配置以执行所述的基于一致正则化的在线超限学习机目标识别方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行所述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
和现有技术相比，本发明主要具有下述优点：
1、本发明采用超限学习机进行分类器学习训练时，引入了数据一致性约束并作为正则化项融入在线超限学习机的目标优化函数设计中，从而使得训练所得的分类器在具备传统超限学习机的优势如学习速度块、计算代价小以及泛化能力强等的同时，能够有效容忍训练数据及其标签中存在的噪声，分类识别的鲁棒性得到有效提升。
2、本发明方法可作为一独立功能模块嵌入至多种机器学习（有监督学习、无监督学习、半监督学习等）、模式识别任务中，具有较好的可拓展性。
附图说明
图1是本实施例方法的基本原理示意图。
图2是本实施例方法的训练流程示意图。
图3是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果表。
图4是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比图的第一部分。
图5是本实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比图的第二部分。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1和图2所示，本实施例基于一致正则化的在线超限学习机目标识别方法包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤：
S1、获取训练图像，针对训练图像进行特征提取，得到相应的图像特征集，并将图像特征集随机划分为多个特征子集；
S2、对所划分的特征子集，分别生成对应的近邻特征样本；
S3、将一致正则化约束引入在线超限学习目标优化函数，随机生成首先单隐层前馈神经网络的隐层节点参数（例如权重、偏置等），选取任一特征子集及其邻近样本进行初始化网络权重生成，基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
需要说明的是，步骤S1中进行特征提取可根据需要采用现有方法，包括传统知识驱动的特征提取方法或数据驱动的深度卷积网络模型，例如可采用梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种，且得到相应的图像特征集的维度低于原始训练图像的维度，从而可降低后续的计算量。随后进行随机采样，将特征数据集进一步细分为包含不同样本数量规模的特征子集。
作为一种可选的实施方式，本实施例中预先完成训练的深度卷积网络为CNN-15深度卷积网络模型，且预先训练CNN-15深度卷积网络模型时采用的训练损失函数如下式所示：
Figure 650631DEST_PATH_IMAGE001
上式中，l cos 表示训练损失函数，λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为标签，p(y i |x i )为模型预测输出，l为样本个数，其中：
Figure 593179DEST_PATH_IMAGE002
其中，C为类别数目，p c 为类别均匀分布，
Figure 719529DEST_PATH_IMAGE003
为类别预测分布，p(y|x)为模型预测输出，H为熵。
本实施例步骤S2中对所划分的特征子集生成对应的近邻特征样本具体是指：基于平滑性假设，针对特征子集中的每一个特征向量，将与该特征向量所对应的标签满足下式的特征向量视为近邻特征样本，并构造高斯分布的偏移量并加入到特征子集的数据中，从而得到每一个特征子集生成对应的所有近邻特征样本；
Figure 140146DEST_PATH_IMAGE004
上式中，F(x i )为样本特征，F(x j )为样本特征，l为权重系数，x i 为样本，x j 为样本，δ为偏移量常数系数, 且有：l∈R +，R +为大于0的实数。本实施例中进行邻近样本生产时，主要基于平滑性假设，即如果两个输入数据或特征向量在输入空间或特征空间接近，则这样的两个输入数据或特征向量所对应的标签应该相同，即上式成立。
由于对任意x i ∈R d 有x j = x i +δ，因此应有：
Figure 612716DEST_PATH_IMAGE012
。
Figure 726165DEST_PATH_IMAGE013
也因此可被称作一致性正则化项，其能够很好地反映分类模型出现过拟合的程度。从而对于特征子集中的数据中加入小幅的可变偏移量，相应标签保持与对应输入数据的一致，从而完成数据的增广以扩充原有的特征集数据规模。本实施例步骤S2生成对应的近邻特征样本时，包括依据下式构造高斯分布的偏移量并加入到特征子集的数据中，同时对应标签保持一致，进而完成邻近样本生成，增广原有的特征子集数据规模。
Figure 651396DEST_PATH_IMAGE014
Figure 875704DEST_PATH_IMAGE015
上式中，σ为服从多维高斯分布的偏移量，N(p|μ,Σ)为正态分布，μ为高斯分布的均值向量，Σ为高斯分布的协方差矩阵。通常取μ=0，Σ=I，其中I为单位矩阵；x,
Figure 874884DEST_PATH_IMAGE016
分别为d维原始特征向量以及生成的增广邻域向量。
步骤S3中将一致正则化约束引入在线超限学习目标优化函数得到的目标函数为：
Figure 159235DEST_PATH_IMAGE005
上式中，H,
Figure 571761DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，β为待学习优化的所用单隐层前馈神经网络的输出层权重，Y为标签矩阵，F表示弗罗宾尼斯范数，c 0 , c 1 分别为对应正则化项的权重系数。本实施例中基于一致正则化的在线超限学习分类步骤中，将数据一致性正则化进一步与在线超限学习机相结合，定义如上式所示的目标函数并据此进行单隐层前馈神经网络的学习训练。
本实施例步骤S3中选取任一特征子集及其邻近样本进行初始化网络权重生成时，单隐层前馈神经网络的输出权重的计算函数表达式如下式所示：
Figure 599760DEST_PATH_IMAGE017
上式中，β * 表示单隐层前馈神经网络的输出权重，H,
Figure 968294DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数，Y为标签矩阵，I为单位矩阵，N为样本数目，d为特征维度。
本实施例步骤S3中基于剩余特征子集进行网络权重的迭代更新的函数表达式如下式所示：
Figure 157966DEST_PATH_IMAGE008
上式中，K k+1,K k 分别为第k+1和第k次迭代的系数矩阵，β k+1,β k 分别为第k+1和第k次迭代的权重矩阵，H k+1为数据矩阵，
Figure 57789DEST_PATH_IMAGE009
为增广数据矩阵，β k 为权重矩阵，Y k+1为标签矩阵，c 1 为权重系数，且有初始值：
Figure 623900DEST_PATH_IMAGE018
其中，H 0,
Figure 863251DEST_PATH_IMAGE011
分别对应为输入最初始批次的原始数据和邻域样本生成的增广数据及标签Y 0时所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数。
本实施例中，为使得网络学习过程中能够进行在线、增量式学习，结合在线序贯超限学习理论，有如上式迭代增量式的输出权重更新公式。
此外，如图1所示，本实施例步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤：获取待分类识别图像，针对待分类识别图像进行特征提取，得到相应的图像特征集，并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器，得到待分类识别图像中的目标识别结果。
单隐层前馈神经网络训练完毕后，输入新图像再完成本实施例步骤S1中相同的特征提取操作后输入到单隐层前馈神经网络中，即可完成相应的分类识别。如图3所示为本发明方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上与相关典型方法的效果性能对比结果。参见图3，相关典型方法包括VAE、NPD、VAE+SSELM、UPID+SSELM、PlainCNN、CNN+OS-ELM等。如图4和图5中子图(a)~(h)所示为不同噪声强度下，本发明实施例方法在典型国际标准图像分类识别数据库CIFAR-10和CIFAR-100上的效果性能及其与其他代表性方法的分类识别精度对比，参见图3～图5可知，对于图像数据中存在噪声时，本实施例方法也能够具有较好的分类识别性能，可实现基于图像的快速、准确目标识别。
综上所述，本实施例方法包括获取待分类识别的训练图像并进行适当的图像特征提取，构成训练特征集；对用于最终目标识别的单隐层前馈神经网络的隐层节点权重、偏置等参数进行随机初始化；对训练特征集进行随机划分，得到多个特征样本子集；挑选其中任意一个子集进行邻域样本生成后，依据一致正则化约束超限学习原理进行单隐层前馈神经网络的输出层权重初始化学习；依次选取剩余的多个特征子集基于一致正则化约束的超限学习依次进行迭代、增量式的输出层权重学习更新直至收敛。最终训练得到的单隐层前馈神经网络模型可用于实现基于图像的快速、准确目标识别，本实施例方法具有噪声容忍性强、分类识别精度高、学习速度快、任务可扩展性好等优点。
此外，本实施例还提供一种基于一致正则化的在线超限学习机目标识别系统，包括相互连接的处理单元和存储器，该处理单元被编程或配置以执行前述的基于一致正则化的在线超限学习机目标识别方法的步骤。该处理单元可以为微处理器、或微处理器和加速器的集合，其中加速器可为GPU或其他专用加速处理器。
此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有被编程或配置以执行前述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于一致正则化的在线超限学习机目标识别方法，其特征在于，包括进行基于单隐层前馈神经网络的分类器的学习和训练的下述步骤：
S1、获取训练图像，针对训练图像进行特征提取，得到相应的图像特征集，并将图像特征集随机划分为多个特征子集；
S2、对所划分的特征子集，分别生成对应的近邻特征样本；
S3、将一致正则化约束引入在线超限学习目标优化函数，随机生成首先单隐层前馈神经网络的隐层节点参数，选取任一特征子集及其邻近样本进行初始化网络权重生成，基于剩余特征子集进行网络权重的迭代更新以完成基于单隐层前馈神经网络的分类器的学习与训练。
2.根据权利要求1所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S1中进行特征提取时采用的方法为梯度直方图、主成分分析、预先完成训练的深度卷积网络中的一种，且得到相应的图像特征集的维度低于原始训练图像的维度。
3.根据权利要求2所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，所述预先完成训练的深度卷积网络为CNN-15深度卷积网络模型，且预先训练CNN-15深度卷积网络模型时采用的训练损失函数如下式所示：
Figure 3521DEST_PATH_IMAGE001
上式中，l cos 表示训练损失函数，λ 1和λ 2为权重系数，R 0为一致正则化项，R 1为交叉熵正则化项，y i 为标签，p(y i |x i )为模型预测输出，l为样本个数，其中：
Figure 920662DEST_PATH_IMAGE002
其中，C为类别数目，p c 为类别均匀分布，
Figure 700399DEST_PATH_IMAGE003
为类别预测分布，p(y|x)为模型预测输出，H为熵。
4.根据权利要求1所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S2中对所划分的特征子集生成对应的近邻特征样本具体是指：基于平滑性假设，针对特征子集中的每一个特征向量，将与该特征向量所对应的标签满足下式的特征向量视为近邻特征样本，并构造高斯分布的偏移量并加入到特征子集的数据中，从而得到每一个特征子集生成对应的所有近邻特征样本；
Figure 95608DEST_PATH_IMAGE004
上式中，F(x i )为样本特征，F(x j )为样本特征，l为权重系数，x i 为样本，x j 为样本，δ为偏移量常数系数。
5.根据权利要求1所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S3中将一致正则化约束引入在线超限学习目标优化函数得到的目标函数为：
Figure 909980DEST_PATH_IMAGE005
上式中，H,
Figure 253866DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，β为待学习优化的所用单隐层前馈神经网络的输出层权重，Y为标签矩阵，F表示弗罗宾尼斯范数，c 0 , c 1 分别为对应正则化项的权重系数。
6.根据权利要求5所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S3中选取任一特征子集及其邻近样本进行初始化网络权重生成时，单隐层前馈神经网络的输出权重的计算函数表达式如下式所示：
Figure 520899DEST_PATH_IMAGE007
上式中，β * 表示单隐层前馈神经网络的输出权重，H,
Figure 719800DEST_PATH_IMAGE006
分别对应于原始输入特征及其对应邻域样本特征作为输入、所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数，Y为标签矩阵，I为单位矩阵，N为样本数目，d为特征维度。
7.根据权利要求6所述的种基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S3中基于剩余特征子集进行网络权重的迭代更新的函数表达式如下式所示：
Figure 388678DEST_PATH_IMAGE008
上式中，K k+1,K k 分别为第k+1和第k次迭代的系数矩阵，β k+1,β k 分别为第k+1和第k次迭代的权重矩阵，H k+1为数据矩阵，
Figure 382042DEST_PATH_IMAGE009
为增广数据矩阵，β k 为权重矩阵，Y k+1为标签矩阵，c 1 为权重系数，且有初始值：
Figure 136371DEST_PATH_IMAGE010
其中，H 0,
Figure 811066DEST_PATH_IMAGE011
分别对应为输入最初始批次的原始数据和邻域样本生成的增广数据及标签Y 0时所用单隐层前馈神经网络的隐层输出矩阵，c 0 , c 1 分别为对应正则化项的权重系数。
8.根据权利要求1～7中任意一项所述的基于一致正则化的在线超限学习机目标识别方法，其特征在于，步骤S3之后还包括将完成学习和训练后的基于单隐层前馈神经网络的分类器应用于图像的目标识别的步骤：获取待分类识别图像，针对待分类识别图像进行特征提取，得到相应的图像特征集，并将图像特征集输入完成学习和训练后的基于单隐层前馈神经网络的分类器，得到待分类识别图像中的目标识别结果。
9.一种基于一致正则化的在线超限学习机目标识别系统，包括相互连接的处理单元和存储器，其特征在于，所述处理单元被编程或配置以执行权利要求1～8中任意一项所述的基于一致正则化的在线超限学习机目标识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述的基于一致正则化的在线超限学习机目标识别方法的计算机可读存储介质。
CN202110436775.3A 2021-04-22 2021-04-22 基于一致正则化的在线超限学习机目标识别方法及系统 Active CN113159072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436775.3A CN113159072B (zh) 2021-04-22 2021-04-22 基于一致正则化的在线超限学习机目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436775.3A CN113159072B (zh) 2021-04-22 2021-04-22 基于一致正则化的在线超限学习机目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN113159072A true CN113159072A (zh) 2021-07-23
CN113159072B CN113159072B (zh) 2022-07-19

Family

ID=76869608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436775.3A Active CN113159072B (zh) 2021-04-22 2021-04-22 基于一致正则化的在线超限学习机目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN113159072B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221186A1 (zh) * 2022-05-17 2023-11-23 慧壹科技(上海)有限公司 一种化合物聚类的方法、装置、系统及存储介质
CN117194900A (zh) * 2023-09-25 2023-12-08 中国铁路成都局集团有限公司成都供电段 一种基于自适应感知的设备运行轻量化监测方法及系统
WO2024092491A1 (zh) * 2022-11-01 2024-05-10 京东方科技集团股份有限公司 模型的解释方法、装置、设备以及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014182787A2 (en) * 2013-05-08 2014-11-13 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN111340740A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种融合多种正则化方法提升视频恢复的时域稳定性方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014182787A2 (en) * 2013-05-08 2014-11-13 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN111340740A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种融合多种正则化方法提升视频恢复的时域稳定性方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAN ZHANG ；: "《CONSISTENCY REGULARIZATION FOR GENERATIVE ADVERSARIAL NETWORKS 》", 《PUBLISHED AS A CONFERENCE PAPER AT ICLR 2020》 *
郭威 等；: "《具有广义正则化与遗忘机制的在线贯序超限学习机》", 《控制与决策》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221186A1 (zh) * 2022-05-17 2023-11-23 慧壹科技(上海)有限公司 一种化合物聚类的方法、装置、系统及存储介质
WO2024092491A1 (zh) * 2022-11-01 2024-05-10 京东方科技集团股份有限公司 模型的解释方法、装置、设备以及计算机存储介质
CN117194900A (zh) * 2023-09-25 2023-12-08 中国铁路成都局集团有限公司成都供电段 一种基于自适应感知的设备运行轻量化监测方法及系统

Also Published As

Publication number Publication date
CN113159072B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
Wason Deep learning: Evolution and expansion
Zhong et al. From shallow feature learning to deep learning: Benefits from the width and depth of deep architectures
Schulz et al. Deep learning: Layer-wise learning of feature hierarchies
Nair et al. 3D object recognition with deep belief nets
CN113159072B (zh) 基于一致正则化的在线超限学习机目标识别方法及系统
Di Mauro et al. Activity prediction of business process instances with inception CNN models
WO2020095321A2 (en) Dynamic structure neural machine for solving prediction problems with uses in machine learning
Jha et al. Data augmentation for handwritten digit recognition using generative adversarial networks
Shiloh-Perl et al. Introduction to deep learning
Li et al. Bi-firing deep neural networks
Xue et al. DIOD: Fast, semi-supervised deep ISAR object detection
Yeganejou et al. Improved deep fuzzy clustering for accurate and interpretable classifiers
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
Tariyal et al. Greedy deep dictionary learning for hyperspectral image classification
Berradi Symmetric power activation functions for deep neural networks
Chen et al. Deep sparse autoencoder network for facial emotion recognition
CN113487027B (zh) 基于时序对齐预测的序列距离度量方法、存储介质及芯片
Latypova et al. Peculiarities of image recognition by the Hopfield neural network
Shetty et al. Comparative analysis of different classification techniques
Passos Júnior et al. Deep boltzmann machines using adaptive temperatures
Ettaouil A novel pooling method for regularization of deep neural networks
Golchha et al. Quantum-Enhanced Support Vector Classifier for Image Classification
Cha et al. Image Generation Network Model based on Principal Component Analysis
Deng et al. CodeeGAN: Code generation via adversarial training
Swarnkar et al. A paradigm shift for computational excellence from traditional machine learning to modern deep learning-based image steganalysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant