CN114896479A - 一种在线学习方法、系统及计算机可读存储介质 - Google Patents

一种在线学习方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN114896479A
CN114896479A CN202210646570.2A CN202210646570A CN114896479A CN 114896479 A CN114896479 A CN 114896479A CN 202210646570 A CN202210646570 A CN 202210646570A CN 114896479 A CN114896479 A CN 114896479A
Authority
CN
China
Prior art keywords
matrix
sample
samples
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210646570.2A
Other languages
English (en)
Other versions
CN114896479B (zh
Inventor
李泽瑞
段培杰
康宇
吕钊
许镇义
吕文君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210646570.2A priority Critical patent/CN114896479B/zh
Publication of CN114896479A publication Critical patent/CN114896479A/zh
Application granted granted Critical
Publication of CN114896479B publication Critical patent/CN114896479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种在线学习方法、系统及计算机可读存储介质，包括初始化输出权重矩阵与协方差矩阵；接收新采集到的无标签数据，保留当前的输出权重矩阵与协方差矩阵；将无标签样本集中的样本聚类形成k个簇，在每个簇中提取最接近形心的样本并标记，加入到有标记数据集中；统计有标记数据集中各类别样本的数量，计算样本加权矩阵；随机生成隐含层节点与输入节点间的参数；计算模型输出权重矩阵；循环执行，直至得到最优模型。本发明可以利用实时采集到的数据更新模型，不断提高分类能力；同时可缓解数据中存在的类别不均衡问题对模型的影响；并通过聚类的方式选出更具有代表性的样本进行标记，可节省大量人力成本。

Description

一种在线学习方法、系统及计算机可读存储介质
技术领域
本发明涉及电子信息的技术领域，具体地，涉及一种在线学习方法、系统及计算机可读存储介质。
背景技术
近些年来，随着数据的获取越来越便利以及数据存储的成本逐渐下降，各行各业都积累了海量的数据。这些数据有三大典型特征，即无标签、类别不平衡以及数据量不断增长。无标签是指采集到的数据没有被人工标记为具体的类别，类别不平衡是指数据所属的类别往往集中在某一个或几个类别里。数据量不断增长是指随着生产生活的进行，数据一直在产生与采集，数据集数量得到不断地扩充。这三大特性对数据集的分类任务产生了巨大的困难。
伴随着人工智能技术的快速发展，用于解决特定回归或分类问题的多种机器学习算法被提出。其中，在线学习算法可以对样本量递增的数据集进行学习，通过利用实时采集到的数据及时更新模型，不断提高模型分类能力，因此在各个领域都有着广阔的应用。但是，现有的在线学习方法仅在有标签数据集上表现较好，面对无标签以及数据类别不平衡情形时无法取得较好的效果。考虑到具有上述三大特征数据集的普遍性，如高排放移动源识别、故障诊断、入侵检测、医学影像识别等，然而现有的方法无法较好的解决该类问题，我们认为这极大地限制了人工智能技术在实际生产生活中的应用。
在公开号为CN114139604A的专利文献中公开了一种基于在线学习的电力工控攻击监测方法和装置，其中基于在线学习的电力工控攻击监测方法通过生成伪标签的方式解决样本无标签的问题，但伪标签仅是由少量有标签样本训练得到的模型所生成，少量的样本限制了模型分类能力，进一步限制了伪标签样本的真实性。因此该方法具有较大的不确定性。在公开号为CN108376261A的专利文献中公开了一种基于密度和在线半监督学习烟草分类方法，首先利用少量有标签的烟草样本进行初始训练，然后利用一批数量上大于有标签样本数的无标签样本，筛选有用样本进行在线学习，不断更新以获得最终的学习模型，并应用于烟草的分类。但是，该方法仅适用于类别平衡分类任务上，无法应用到范围更广的类别不平衡分类任务上。针对机器学习领域对上述数据无法较好学习并分类的问题，需要提出一种新的技术方案以改善上述技术问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种在线学习方法、系统及计算机可读存储介质。
根据本发明提供的一种在线学习方法，所述方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000021
的对角矩阵，其中C为惩罚因子；
步骤S2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000022
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000023
其中，g(·)为激活函数，计算方式为：
Figure BDA0003686132060000024
其中，j＝1,2,…,N；
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000031
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000032
T为样本的目标矩阵，
Figure BDA0003686132060000033
m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000034
Figure BDA0003686132060000035
σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure BDA0003686132060000036
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000037
优选地，所述步骤S1中惩罚因子C>0。
优选地，所述步骤S4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
优选地，所述步骤S5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
本发明还提供一种在线学习系统，所述系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000038
的对角矩阵，其中C为惩罚因子；
模块M2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000041
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000042
其中，g(·)为激活函数，计算方式为：
Figure BDA0003686132060000043
其中，j＝1,2,…,N；
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000044
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000045
T为样本的目标矩阵，
Figure BDA0003686132060000046
m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000047
Figure BDA0003686132060000048
σ为带宽因子；
模块M7：判断是否需要接收新的数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure BDA0003686132060000049
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000051
优选地，所述模块M1中惩罚因子C>0。
优选地，所述模块M4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
优选地，所述模块M5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提出的一种在线学习方法可以对样本量递增的数据集进行学习，通过利用实时采集到的数据及时更新模型，不断提高分类能力；
2、本发明通过对不同类别数据赋予不同权重的方式解决了类别不平衡问题，并通过聚类的方式选出更具有代表性的样本进行标记，使得人工只需标记少量样本便可达到较好的结果，节省了大量的人力成本，从而解决了数据无标签而标记成本较高的难题；
3、由于在许多实际应用场景中产生的数据都具有以上三个特点，因此本发明有较高的重要性与普适性，可以产生较大的经济价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程原理图；
图2为本发明一种在线学习系统示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种在线学习方法，方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000052
的对角矩阵，其中C为惩罚因子；惩罚因子C>0。
步骤S2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000061
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；加权矩阵是N×N的对角阵，N为Θ中样本总数。
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000062
其中，g(·)为激活函数，计算方式为：
Figure BDA0003686132060000063
其中，j＝1,2,…,N；d为样本的维度，即特征数量；激活函数选择为sigmoid或者Relu。
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000064
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000065
T为样本的目标矩阵，
Figure BDA0003686132060000066
m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000071
Figure BDA0003686132060000072
σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure BDA0003686132060000073
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000074
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种在线学习系统，系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000076
的对角矩阵，其中C为惩罚因子；惩罚因子C>0。
模块M2：接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000075
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；加权矩阵是N×N的对角阵，N为Θ中样本总数。
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000081
其中，g(·)为激活函数，计算方式为：
Figure BDA0003686132060000082
其中，j＝1,2,…,N；d为样本的维度，即特征数量；激活函数选择为sigmoid或者Relu。
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000083
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000084
T为样本的目标矩阵，
Figure BDA0003686132060000085
m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000086
Figure BDA0003686132060000087
σ为带宽因子；
模块M7：判断是否需要接收新的数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure BDA0003686132060000088
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000089
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述中的方法的步骤。
实施例4：
实施例4为实施例1的优选例，以更为具体地对本发明进行说明。
本发明的目的在于克服上述背景技术中的不足，解决机器学习领域对具有上述特点的数据集无法较好学习并分类的问题，提高分类的准确率。
为实现上述目的，一方面采用一种在线学习方法方法，其步骤包括：
步骤：
初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000091
的对角矩阵，其中C为惩罚因子。
接收新采集到的无标签数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000092
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子。
为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000093
其中，g(·)为激活函数，计算方式为：
Figure BDA0003686132060000094
其中，j＝1,2,…,N
计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000095
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000101
T为样本的目标矩阵，
Figure BDA0003686132060000102
m为类别总数，O为全零矩阵，ti＝[ti1,ti2,…,tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000103
Figure BDA0003686132060000104
σ为带宽因子。
判断是否需要接收新的数据学习，若需要则跳至步骤2，循环执行步骤2到步骤7，若不需要，则此时模型即为当前最优模型。
利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure BDA0003686132060000105
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000106
另一方面，本发明还公开一种在线学习系统，包括以下模块：
初始化模块，用于初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000107
的对角矩阵。
数据获取与矩阵保存模块，用于接收新的无标签数据{x1,…,xN}，并保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
样本标记模块，用于通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
加权矩阵计算模块，用于计算有标签数据集中样本的加权矩阵。
模型隐含层输出矩阵计算模块，用于计算模型隐含层输出矩阵。
模型输出权重矩阵计算模块，用于计算模型输出权重矩阵。
判别模块，用于判断是否需要多次执行上述模块。
分类模块，用于将数据导入上述训练好的上述模型中，进行分类。
第三方面，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
需要说明的是，本发明可以应用到道路移动源分类、故障诊断、入侵检测等实际场景，以提高分类准确性。下面以应用到道路移动源分类任务为例，详细描述本发明所提出方法的实际应用。道路移动源分类任务是指判断行驶在道路上的移动源即机动车辆属于正常排放或高排放。我们可以通过安装在道路上方的尾气遥感监测设备采集通过的机动车尾气数据，该数据具有上述背景技术中提到的无标签、类别不平衡以及数据量不断增长三大特性，可以通过本发明提出的一种在线学习方法完成模型的训练，不断提高对高排放移动源与正常排放移动源的分类能力。其步骤如下：
步骤：
初始化模型输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure BDA0003686132060000111
的对角矩阵，其中C为惩罚因子，C参考取值范围为[10-3，103]。
接收新采集到的无标签道路遥测数据Θ＝{x1,…,xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P。
通过聚类方法将上述无标签道路遥测数据集Θ中的所有样本聚类形成k个簇，k取值范围为[10,20],在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，提取这k个样本并发送到车辆年检站查询车辆属于高排放类别或是正常排放类别，接收返回的结果即为标签，将这k个样本加入到有标记道路遥测数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致。
统计有标记道路遥测数据集Ψ中正常排放样本的数量以及高排放样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure BDA0003686132060000112
加权矩阵W是一个大小为N×N的对角矩阵，N为Θ中样本总数；Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子,可取值为0.5、1或2。
为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1,ai2,…,aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量，参考取值范围为[100,1000]；d为遥测数据样本的维度，即特征数量，根据实际采样情况确定；使用下式计算得到隐含层输出矩阵H：
Figure BDA0003686132060000113
其中，g(·)为激活函数，此处为Sigmoid函数，计算方式为：
Figure BDA0003686132060000114
其中，j＝1,2,…,N；
计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure BDA0003686132060000121
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure BDA0003686132060000122
T为样本的目标矩阵，
Figure BDA0003686132060000123
O为全零矩阵，ti＝[ti1,ti2]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子，参考取值范围为[10-3,103]；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure BDA0003686132060000124
σ为带宽因子，参考取值范围为[2-5,25]。
判断是否需要接收新的道路移动源数据学习，若需要则跳至步骤2，循环执行步骤2到步骤7，若不需要，则此时模型即为当前最优道路移动源分类模型。
接收一条道路移动源遥测数据x，导入到上述训练好的道路移动源分类模型中，模型第k个(1≤k≤2)输出节点的值为
Figure BDA0003686132060000125
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure BDA0003686132060000126
label(x)的值即为所属类别，从而完成道路移动源的分类任务。
本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种在线学习方法，其特征在于，所述方法包括如下步骤：
步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure FDA0003686132050000011
的对角矩阵，其中C为惩罚因子；
步骤S2：接收新采集到的无标签数据Θ＝{x1，...，xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure FDA0003686132050000012
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
步骤S5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1，ai2，…，aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure FDA0003686132050000013
其中，g(·)为激活函数，计算方式为：
Figure FDA0003686132050000014
其中，j＝1，2，...，N；
步骤S6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure FDA0003686132050000015
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure FDA0003686132050000021
T为样本的目标矩阵，
Figure FDA0003686132050000022
m为类别总数，O为全零矩阵，ti＝[ti1，ti2，…，tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure FDA0003686132050000023
Figure FDA0003686132050000024
σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure FDA0003686132050000025
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure FDA0003686132050000026
2.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S1中惩罚因子C＞0。
3.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
4.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
5.一种在线学习系统，其特征在于，所述系统包括如下模块：
模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为
Figure FDA0003686132050000027
的对角矩阵，其中C为惩罚因子；
模块M2：接收新采集到的无标签数据Θ＝{x1，...，xN}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
Figure FDA0003686132050000031
Wii表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(ti)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
模块M5：为每个隐含层节点随机生成其与输入节点间的权重ai＝[ai1，ai2，…，aid]T以及偏置bi，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
Figure FDA0003686132050000032
其中，g(·)为激活函数，计算方式为：
Figure FDA0003686132050000033
其中，j＝1，2，...，N；
模块M6：计算模型输出权重矩阵β，如下：
计算协方差矩阵：
Figure FDA0003686132050000034
进而计算输出权重矩阵：
β＝P-1(P0β0+UTV)
其中，
Figure FDA0003686132050000035
T为样本的目标矩阵，
Figure FDA0003686132050000036
m为类别总数，O为全零矩阵，ti＝[ti1，ti2，…，tim]T为第i个样本的真实标记，采用one-hot编码；λ为平衡因子；L是大小为N×N的拉普拉斯矩阵，L＝D-S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素Sij表示样本xi和xj的相似度，计算方式为
Figure FDA0003686132050000037
Figure FDA0003686132050000038
σ为带宽因子；
模块M7：判断是否需要接收新的数据学习，若需要则跳至模块M2，循环执行模块M2到模块M7，若不需要，则此时模型即为当前最优模型；
模块M8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为
Figure FDA0003686132050000039
βik表示β的第i行第k列的值，模型对数据x的预测结果为：
Figure FDA00036861320500000310
6.根据权利要求5所述的在线学习系统，其特征在于，所述模块M1中惩罚因子C＞0。
7.根据权利要求5所述的在线学习系统，其特征在于，所述模块M4中的加权矩阵是N×N的对角阵，N为Θ中样本总数。
8.根据权利要求5所述的在线学习系统，其特征在于，所述模块M5中的d为样本的维度，即特征数量；
所述激活函数选择为sigmoid或者Relu。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任一项所述的方法的步骤。
CN202210646570.2A 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质 Active CN114896479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210646570.2A CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210646570.2A CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114896479A true CN114896479A (zh) 2022-08-12
CN114896479B CN114896479B (zh) 2024-05-07

Family

ID=82727187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210646570.2A Active CN114896479B (zh) 2022-06-09 2022-06-09 一种在线学习方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114896479B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN111160461A (zh) * 2019-12-30 2020-05-15 浙江省机电设计研究院有限公司 基于模糊聚类的加权在线极限学习机大数据分类方法
US11010691B1 (en) * 2020-03-16 2021-05-18 Sas Institute Inc. Distributable event prediction and machine learning recognition system
CN112836802A (zh) * 2021-02-03 2021-05-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种半监督学习方法、岩性预测方法及存储介质
CN113780346A (zh) * 2021-08-06 2021-12-10 中国科学技术大学 一种先验约束分类器调整方法、系统及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN111160461A (zh) * 2019-12-30 2020-05-15 浙江省机电设计研究院有限公司 基于模糊聚类的加权在线极限学习机大数据分类方法
US11010691B1 (en) * 2020-03-16 2021-05-18 Sas Institute Inc. Distributable event prediction and machine learning recognition system
CN112836802A (zh) * 2021-02-03 2021-05-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种半监督学习方法、岩性预测方法及存储介质
CN113780346A (zh) * 2021-08-06 2021-12-10 中国科学技术大学 一种先验约束分类器调整方法、系统及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENJUN LV等: "Feature-Temporal Semi-Supervised Extreme Learning Machine for Robotic Terrain Classification", IEEE, vol. 67, no. 12, 31 December 2020 (2020-12-31), pages 3568 - 3571 *
史作婷;吴迪;荆晓远;吴飞;: "类不平衡稀疏重构度量学习软件缺陷预测", 计算机技术与发展, vol. 28, no. 06, 24 February 2018 (2018-02-24), pages 126 - 128 *

Also Published As

Publication number Publication date
CN114896479B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
Hendrycks et al. A benchmark for anomaly segmentation
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN110162018A (zh) 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN109961089A (zh) 基于度量学习和元学习的小样本和零样本图像分类方法
CN110537184A (zh) 利用生成式对抗网络的半监督回归
CN106897738A (zh) 一种基于半监督学习的行人检测方法
CN103617429A (zh) 一种主动学习分类方法和系统
CN103164713A (zh) 图像分类方法和装置
CN108460427A (zh) 一种分类模型训练方法、装置以及分类方法及装置
CN110247910A (zh) 一种异常流量的检测方法、系统及相关组件
CN110880369A (zh) 基于径向基函数神经网络的气体标志物检测方法及应用
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN109239670B (zh) 基于结构嵌入和深度神经网络的雷达hrrp识别方法
CN115035966B (zh) 基于主动学习和符号回归的超导体筛选方法、装置及设备
CN112597921A (zh) 一种基于注意力机制gru深度学习的人体行为识别方法
CN111160526B (zh) 基于mape-d环形结构的深度学习系统在线测试方法与装置
CN106156857A (zh) 用于混合模型选择的方法和装置
Laranjeira et al. On modeling context from objects with a long short-term memory for indoor scene recognition
CN110263808B (zh) 一种基于lstm网络和注意力机制的图像情感分类方法
CN116630816B (zh) 基于原型对比学习的sar目标识别方法、装置、设备及介质
CN117474529A (zh) 一种电网智慧运维系统
Thirumaladevi et al. Improved transfer learning of CNN through fine-tuning and classifier ensemble for scene classification
Juesas et al. Ascertainment-adjusted parameter estimation approach to improve robustness against misspecification of health monitoring methods
CN114896479B (zh) 一种在线学习方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant