CN114896479B - 一种在线学习方法、系统及计算机可读存储介质 - Google Patents

一种在线学习方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN114896479B
CN114896479B CN202210646570.2A CN202210646570A CN114896479B CN 114896479 B CN114896479 B CN 114896479B CN 202210646570 A CN202210646570 A CN 202210646570A CN 114896479 B CN114896479 B CN 114896479B
Authority
CN
China
Prior art keywords
matrix
samples
sample
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210646570.2A
Other languages
English (en)
Other versions
CN114896479A (zh
Inventor
李泽瑞
段培杰
康宇
吕钊
许镇义
吕文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210646570.2A priority Critical patent/CN114896479B/zh
Publication of CN114896479A publication Critical patent/CN114896479A/zh
Application granted granted Critical
Publication of CN114896479B publication Critical patent/CN114896479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种在线学习方法、系统及计算机可读存储介质，包括初始化输出权重矩阵与协方差矩阵；接收新采集到的无标签数据，保留当前的输出权重矩阵与协方差矩阵；将无标签样本集中的样本聚类形成k个簇，在每个簇中提取最接近形心的样本并标记，加入到有标记数据集中；统计有标记数据集中各类别样本的数量，计算样本加权矩阵；随机生成隐含层节点与输入节点间的参数；计算模型输出权重矩阵；循环执行，直至得到最优模型。本发明可以利用实时采集到的数据更新模型，不断提高分类能力；同时可缓解数据中存在的类别不均衡问题对模型的影响；并通过聚类的方式选出更具有代表性的样本进行标记，可节省大量人力成本。

Description

一种在线学习方法、系统及计算机可读存储介质
技术领域
本发明涉及电子信息的技术领域，具体地，涉及一种在线学习方法、系统及计算机可读存储介质。
背景技术
近些年来，随着数据的获取越来越便利以及数据存储的成本逐渐下降，各行各业都积累了海量的数据。这些数据有三大典型特征，即无标签、类别不平衡以及数据量不断增长。无标签是指采集到的数据没有被人工标记为具体的类别，类别不平衡是指数据所属的类别往往集中在某一个或几个类别里。数据量不断增长是指随着生产生活的进行，数据一直在产生与采集，数据集数量得到不断地扩充。这三大特性对数据集的分类任务产生了巨大的困难。
伴随着人工智能技术的快速发展，用于解决特定回归或分类问题的多种机器学习算法被提出。其中，在线学习算法可以对样本量递增的数据集进行学习，通过利用实时采集到的数据及时更新模型，不断提高模型分类能力，因此在各个领域都有着广阔的应用。但是，现有的在线学习方法仅在有标签数据集上表现较好，面对无标签以及数据类别不平衡情形时无法取得较好的效果。考虑到具有上述三大特征数据集的普遍性，如高排放移动源识别、故障诊断、入侵检测、医学影像识别等，然而现有的方法无法较好的解决该类问题，我们认为这极大地限制了人工智能技术在实际生产生活中的应用。
在公开号为CN114139604A的专利文献中公开了一种基于在线学习的电力工控攻击监测方法和装置，其中基于在线学习的电力工控攻击监测方法通过生成伪标签的方式解决样本无标签的问题，但伪标签仅是由少量有标签样本训练得到的模型所生成，少量的样本限制了模型分类能力，进一步限制了伪标签样本的真实性。因此该方法具有较大的不确定性。在公开号为CN108376261A的专利文献中公开了一种基于密度和在线半监督学习烟草分类方法，首先利用少量有标签的烟草样本进行初始训练，然后利用一批数量上大于有标签样本数的无标签样本，筛选有用样本进行在线学习，不断更新以获得最终的学习模型，并应用于烟草的分类。但是，该方法仅适用于类别平衡分类任务上，无法应用到范围更广的类别不平衡分类任务上。针对机器学习领域对上述数据无法较好学习并分类的问题，需要提出一种新的技术方案以改善上述技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种在线学习方法、系统及计算机可读存储介质。
根据本发明提供的一种在线学习方法，所述方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
步骤S2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>
优选地，所述步骤S1中惩罚因子C>0。
优选地，所述步骤S4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
优选地，所述步骤S5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
本发明还提供一种在线学习系统，所述系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
模块M2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
模块M7：判断是否需要接收新的数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>
优选地，所述模块M1中惩罚因子C>0。
优选地，所述模块M4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
优选地，所述模块M5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提出的一种在线学习方法可以对样本量递增的数据集进行学习，通过利用实时采集到的数据及时更新模型，不断提高分类能力；
2、本发明通过对不同类别数据赋予不同权重的方式解决了类别不平衡问题，并通过聚类的方式选出更具有代表性的样本进行标记，使得人工只需标记少量样本便可达到较好的结果，节省了大量的人力成本，从而解决了数据无标签而标记成本较高的难题；
3、由于在许多实际应用场景中产生的数据都具有以上三个特点，因此本发明有较高的重要性与普适性，可以产生较大的经济价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程原理图；
图2为本发明一种在线学习系统示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种在线学习方法，方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；惩罚因子C>0。
步骤S2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；加权矩阵是N×N的对角阵，N为Θ中样本总数。
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；d为样本的维度，即特征数量；激活函数选择为sigmoid或者Relu。
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种在线学习系统，系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；惩罚因子C>0。
模块M2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；加权矩阵是N×N的对角阵，N为Θ中样本总数。
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；d为样本的维度，即特征数量；激活函数选择为sigmoid或者Relu。
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
模块M7：判断是否需要接收新的数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述中的方法的步骤。
实施例4：
实施例4为实施例1的优选例，以更为具体地对本发明进行说明。
本发明的目的在于克服上述背景技术中的不足，解决机器学习领域对具有上述特点的数据集无法较好学习并分类的问题，提高分类的准确率。
为实现上述目的，一方面采用一种在线学习方法方法，其步骤包括：
步骤：
初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子。
接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子。
为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N
计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子。
判断是否需要接收新的数据学习，若需要则跳至步骤2，循环执行步骤2到步骤7，若不需要，则此时模型即为当前最优模型。
利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>
另一方面，本发明还公开一种在线学习系统，包括以下模块：
初始化模块，用于初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵。
数据获取与矩阵保存模块，用于接收新的无标签数据{x1,…,xN}，并保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
样本标记模块，用于通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
加权矩阵计算模块，用于计算有标签数据集中样本的加权矩阵。
模型隐含层输出矩阵计算模块，用于计算模型隐含层输出矩阵。
模型输出权重矩阵计算模块，用于计算模型输出权重矩阵。
判别模块，用于判断是否需要多次执行上述模块。
分类模块，用于将数据导入上述训练好的上述模型中，进行分类。
第三方面，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
需要说明的是，本发明可以应用到道路移动源分类、故障诊断、入侵检测等实际场景，以提高分类准确性。下面以应用到道路移动源分类任务为例，详细描述本发明所提出方法的实际应用。道路移动源分类任务是指判断行驶在道路上的移动源即机动车辆属于正常排放或高排放。我们可以通过安装在道路上方的尾气遥感监测设备采集通过的机动车尾气数据，该数据具有上述背景技术中提到的无标签、类别不平衡以及数据量不断增长三大特性，可以通过本发明提出的一种在线学习方法完成模型的训练，不断提高对高排放移动源与正常排放移动源的分类能力。其步骤如下：
步骤：
初始化模型输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子，C参考取值范围为[10-3，103]。
接收新采集到的无标签道路遥测数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
通过聚类方法将上述无标签道路遥测数据集Θ中的所有样本聚类形成k个簇，k取值范围为[10,20],在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，提取这k个样本并发送到车辆年检站查询车辆属于高排放类别或是正常排放类别，接收返回的结果即为标签，将这k个样本加入到有标记道路遥测数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
统计有标记道路遥测数据集Ψ中正常排放样本的数量以及高排放样本的数量，使用以下公式计算得到样本加权矩阵W：
加权矩阵W是一个大小为N×N的对角矩阵，N为Θ中样本总数；Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子,可取值为0.5、1或2。
为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量，参考取值范围为[100,1000]；d为遥测数据样本的维度，即特征数量，根据实际采样情况确定；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，此处为Sigmoid函数，计算方式为：
其中，j＝1,2,…,N；
计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>O为全零矩阵，ti＝[ti1,ti2]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子，参考取值范围为[10-3,103]；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/>σ为带宽因子，参考取值范围为[2-5,25]。
判断是否需要接收新的道路移动源数据学习，若需要则跳至步骤2，循环执行步骤2到步骤7，若不需要，则此时模型即为当前最优道路移动源分类模型。
接收一条道路移动源遥测数据x，导入到上述训练好的道路移动源分类模型中，模型第k个(1≤k≤2)输出节点的值为βik表示β的第i行第k列的值，模型对数据x的预测结果为：/>label(x)的值即为所属类别，从而完成道路移动源的分类任务。
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种在线学习方法，应用于道路移动源分类，其特征在于，所述方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
步骤S2：接收新采集到的无标签道路遥测数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记道路遥测数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计所述Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,tu2,…,tum]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
步骤S7：判断是否需要接收新的道路移动源数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优道路移动源分类模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条道路移动源遥测数据x，导入到上述训练好的道路移动源分类模型中，所述模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，所述模型对数据x的预测结果为：
2.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S1中惩罚因子C>0。
3.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
4.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
5.一种在线学习系统，应用于道路移动源分类，其特征在于，所述系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
模块M2：接收新采集到的无标签道路遥测数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记道路遥测数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计所述Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
其中，g(·)为激活函数，计算方式为：
其中，j＝1,2,…,N；
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，T为样本的目标矩阵，/>m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为/> σ为带宽因子；
模块M7：判断是否需要接收新的道路移动源数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优道路移动源分类模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条道路移动源遥测数据x，导入到上述训练好的道路移动源分类模型中，所述模型第k个(1≤k≤m)输出节点的值为βik表示β的第i行第k列的值，所述模型对数据x的预测结果为：
6.根据权利要求5所述的在线学习系统，其特征在于，所述模块M1中惩罚因子C>0。
7.根据权利要求5所述的在线学习系统，其特征在于，所述模块M4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
8.根据权利要求5所述的在线学习系统，其特征在于，所述模块M5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的方法的步骤。
CN202210646570.2A 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质 Active CN114896479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210646570.2A CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210646570.2A CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114896479A CN114896479A (zh) 2022-08-12
CN114896479B true CN114896479B (zh) 2024-05-07

Family

ID=82727187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210646570.2A Active CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114896479B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160461A (zh) * 2019-12-30 2020-05-15 浙江省机电设计研究院有限公司 基于模糊聚类的加权在线极限学习机大数据分类方法
US11010691B1 (en) * 2020-03-16 2021-05-18 Sas Institute Inc. Distributable event prediction and machine learning recognition system
CN112836802A (zh) * 2021-02-03 2021-05-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种半监督学习方法、岩性预测方法及存储介质
CN113780346A (zh) * 2021-08-06 2021-12-10 中国科学技术大学 一种先验约束分类器调整方法、系统及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550744A (zh) * 2015-12-06 2016-05-04 北京工业大学 一种基于迭代的神经网络聚类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160461A (zh) * 2019-12-30 2020-05-15 浙江省机电设计研究院有限公司 基于模糊聚类的加权在线极限学习机大数据分类方法
US11010691B1 (en) * 2020-03-16 2021-05-18 Sas Institute Inc. Distributable event prediction and machine learning recognition system
CN112836802A (zh) * 2021-02-03 2021-05-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种半监督学习方法、岩性预测方法及存储介质
CN113780346A (zh) * 2021-08-06 2021-12-10 中国科学技术大学 一种先验约束分类器调整方法、系统及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feature-Temporal Semi-Supervised Extreme Learning Machine for Robotic Terrain Classification;Wenjun Lv等;IEEE;20201231;第67卷(第12期);第3568-3571页 *
类不平衡稀疏重构度量学习软件缺陷预测;史作婷;吴迪;荆晓远;吴飞;;计算机技术与发展;20180224;第28卷(第06期);第126-128页 *

Also Published As

Publication number Publication date
CN114896479A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN111967343B (zh) 基于简单神经网络和极端梯度提升模型融合的检测方法
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN108805188B (zh) 一种基于特征重标定生成对抗网络的图像分类方法
Rangapuram et al. Deep state space models for time series forecasting
CN113190699B (zh) 一种基于类别级语义哈希的遥感图像检索方法及装置
CN111126576B (zh) 一种深度学习的训练方法
CN110880369A (zh) 基于径向基函数神经网络的气体标志物检测方法及应用
CN114120063A (zh) 基于聚类的无监督细粒度图像分类模型训练方法及分类方法
CN112597921A (zh) 一种基于注意力机制gru深度学习的人体行为识别方法
CN111160526B (zh) 基于mape-d环形结构的深度学习系统在线测试方法与装置
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN109977961B (zh) 基于分层注意力机制的二值特征学习方法及系统
Chen et al. Multi-granularity regularized re-balancing for class incremental learning
CN113179276B (zh) 基于显式和隐含特征学习的智能入侵检测方法和系统
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN115705393A (zh) 一种基于持续学习的雷达辐射源分级识别方法
Liu et al. A quantitative study of the effect of missing data in classifiers
CN115035966B (zh) 基于主动学习和符号回归的超导体筛选方法、装置及设备
CN114896479B (zh) 一种在线学习方法、系统及计算机可读存储介质
CN115293639A (zh) 一种基于隐马尔可夫模型的战场态势研判方法
CN113420821A (zh) 一种基于标记和特征局部相关性的多标记学习方法
Jiang et al. Learning from noisy labels with noise modeling network
Deng et al. Real-time freeway traffic state estimation based on cluster analysis and multiclass support vector machine
CN113076963A (zh) 一种图像识别方法、装置和计算机可读存储介质
Paudel et al. Comparative study of machine learning algorithms for rainfall prediction-a case study in Nepal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant