CN111178548A - 集成学习预测方法与系统 - Google Patents

集成学习预测方法与系统 Download PDF

Info

Publication number
CN111178548A
CN111178548A CN201811500474.7A CN201811500474A CN111178548A CN 111178548 A CN111178548 A CN 111178548A CN 201811500474 A CN201811500474 A CN 201811500474A CN 111178548 A CN111178548 A CN 111178548A
Authority
CN
China
Prior art keywords
predictor
weight
sample
target
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811500474.7A
Other languages
English (en)
Other versions
CN111178548B (zh
Inventor
阙壮华
任佳珉
黄博煜
张语轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN111178548A publication Critical patent/CN111178548A/zh
Application granted granted Critical
Publication of CN111178548B publication Critical patent/CN111178548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种集成学习预测方法与系统，其中，动态集成学习预测方法包括：根据多个样本数据的多个样本权重与多个预测器对这些样本数据的个别辨识结果，建立这些预测器的个别可信度模型；根据这些可信度模型，计算这些可信度模型的个别分数，并根据这些分数对这些可信度模型加以排序，以从中选择一目前迭代回合的一目标可信度模型；根据这些可信度模型与这些辨识结果，调整这些样本数据的这些样本权重；以及根据这些样本数据，及调整后的这些样本权重，估算下一迭代回合的这些可信度模型，直到完成所有迭代回合，以得到多个目标可信度模型，以对测试数据得到预测结果。

Description

集成学习预测方法与系统
技术领域
本发明属于人工智能领域，涉及一种集成学习预测方法与系统。
背景技术
通过分析历史数据来预测未来事件在制造业，或是其他产业都扮有相当重要的角色。在智能制造工厂中，机台会记录很多生产参数，如温度，压力，气体流量等，这些生产参数可以当成样本数据，来预测产品质量或者是机台是否会故障。
集成学习(ensemble learning)属于机器学习方法中监督式学习方法的一种。在集成学习中，将多种预测器(或者是假说hypothesis)结合个别权重，并动态选择可信度较高的假说，以得到预测结果。
图1显示集成学习的一例。如图1所示，样本数据x分别输入至基本预测器h1(x)、h2(x)与h3(x)，其中，基本预测器h1(x)、h2(x)与h3(x)的权重分别是w1、w2与w3。如果权重是固定的(亦即权重不随x而变)，则预测结果y＝w1h1(x)+w2h2(x)+w3h3(x)。而如果权重是动态的(亦即权重wi＝gi(x)，wi随x而变)，则预测结果y＝g1(x)h1(x)+g2(x)h2(x)+g3(x)h3(x)。在集成学习中，采用动态权重的话，通常会有较佳的预测结果。然而，如果样本分布复杂度高的话，可信度估测容易不准确，则较难以有效地训练出动态权重。
故而，如何能够即便在样本空间(sample space)复杂的情况下，仍能有效训练动态权重，是业界在设计集成学习测试系统的重点之一。
发明内容
根据本案一实例，提出一种集成学习预测方法，应用于一电子装置，该方法包括：(a)利用从一信号源所传来的多个训练数据，来建立多个基本预测器；(b)对多个样本数据的多个样本权重进行初始化，并初始化一处理集合；(c)在一第一迭代回合中，根据这些样本数据与这些样本权重，来建立该处理集合中的这些预测器的多个预测器权重函数，且由该处理集合中的各这些预测器分别对这些样本数据进行预测，辨别一预测结果；(d)评估这些预测器权重函数，并根据一评估结果来从该第一迭代回合所建立的这些预测器权重函数中选择一目标预测器权重函数且从该处理集合中选择一目标预测器，并据以更新该处理集合与更新这些样本的这些样本权重；以及(e)进行下一迭代回合来重复上述步骤(c)与(d)，直到进行所有迭代回合来选出多个目标预测器权重函数与多个目标预测器，以整合成一集成预测器，其中，该集成预测器包括这些目标预测器权重函数与这些目标预测器，且该集成预测器的一预测结果还显示于一显示器。
一种集成学习预测系统，包括：一基本预测器训练模型，利用从一信号源所传来的多个训练数据，来建立多个基本预测器；一预测器权重函数训练模块，对多个样本数据的多个样本权重进行初始化，并初始化一处理集合，并且，在一第一迭代回合中，根据这些样本数据与这些样本权重，来建立该处理集合中的这些预测器的多个预测器权重函数，且由该处理集合中的各这些预测器分别对这些样本数据进行预测，辨别一预测结果；一评价模块，评估这些预测器权重函数，并根据一评估结果来从该第一迭代回合所建立的这些预测器权重函数中选择一目标预测器权重函数且从该处理集合中选择一目标预测器；以及一样本权重调整模块，据以更新该处理集合与更新这些样本数据的这些样本权重。其中，进行下一迭代回合来重复上述操作，直到进行所有迭代回合来选出多个目标预测器权重函数与多个目标预测器，以整合成一集成预测器，其中，该集成预测器包括这些目标预测器权重函数与这些目标预测器，且该集成预测器的一预测结果还显示于一显示器。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合所附附图详细说明如下：
附图说明
图1显示集成学习的一例。
图2显示根据本案一实施例的集成学习预测方法的流程图。
图3显示本案另一实施例的集成学习测试系统的功能方框图。
【符号说明】
210-280：步骤；
300：集成学习测试系统；
310：基本预测器训练模型；
320：预测器权重函数训练模块；
330：评价模块；
340：样本权重调整模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本说明书的技术用语参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本公开的各个实施例分别具有一个或多个技术特征。在可能实施的前提下，本技术领域具有公知常识的技术人员可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。
图2显示根据本案一实施例的集成学习预测方法的流程图，可应用于具有处理器的电子装置。如图2所示，在步骤210(训练阶段)中，利用训练数据(training data)Dtrain，来建立一组基本预测器h1，h2，…，hN(N为正整数)，其中，每一个基本预测器hi(i＝1～N)可能来自不同的算法、不同的超参数(hyperparameter)、或是不同的抽样样本。本案并不受限于此。
在步骤220(训练阶段)中，对验证数据(validation data)Dvalid中的各样本的各样本权重进行设定(初始化)，并设定(初始化)处理集合H。对验证数据Dvalid中的每一个样本xj(j＝1～n，n代表验证数据中的样本个数)的样本权重
Figure BDA0001896798630000031
给予初始化(t＝1，t代表迭代回合数)。例如，将所有样本xj(j＝1～n)的个别样本权重
Figure BDA0001896798630000032
全部都初始化为1，亦即，
Figure BDA0001896798630000033
经初始化后的处理集合H可表示如后H＝{h1，h2，…，hN}，处理集合H所包括的预测器是指未被选的预测器的集合，至于选择预测器的原则将在底下说明。在本案实施例中，训练数据Dtrain与验证数据Dvalid同属于样本数据。例如但不受限于，目前共有1000笔的样本数据，其中，800笔样本数据当成训练数据，而剩余的200笔样本数据则当成验证数据。当然，本案并不受限于此。
在步骤230(训练阶段)中，在第一迭代回合中，根据验证数据Dvalid的所有样本数据与各样本数据的个别样本权重来建立处理集合H中的这些预测器的各别预测器权重函数(weighting function)。
在建立好各预测器的各预测器权重函数后，由处理集合H中的各预测器hi分别对验证数据Dvalid中的每一个样本xj进行预测，并辨别预测结果是正确或错误，而且将预测结果记录起来。
例如但不受限于，从预测器h1开始，由预测器h1对验证数据Dvalid中的每一个样本xj进行预测，并辨别预测结果是正确或错误，将预测器h1的所有预测结果记录下来。接着，由预测器h2对验证数据Dvalid中的每一个样本xj进行预测，并辨别预测结果是正确或错误，将预测器h2的所有预测结果记录下来。重复上述做法，直到处理集合H中的最后一个预测器hn对验证数据Dvalid中的每一个样本xj进行预测，并辨别预测结果是正确或错误，将预测器hn的所有预测结果记录下来。
例如，在第1迭代回合(t＝1)时，预测器h1的预测结果如下：
h<sub>i</sub>辨识正确 h<sub>i</sub>辨识错误
f<sub>1</sub><sup>(1)</sup>的输出值高 R1 R3
f<sub>1</sub><sup>(1)</sup>的输出值低 R2 R4
其中，f1 (1)是高或低，是以f1 (1)的输出值是否大于预先设定门限值来做判断(在本案实施例中，f1 (1)的输出值随着样本数据x的值而变)。集合R1代表，当f1 (1)的输出值是高时，能被预测器h1正确预测的样本数据的集合；相似地，集合R2代表，当f1 (1)的输出值是低时，能被预测器h1正确预测的样本数据的集合；集合R3代表，当f1 (1)的输出值是高时，能被预测器h1错误预测的样本数据的集合；而集合R4代表，当f1 (1)的输出值是低时，能被预测器h1错误预测的样本数据的集合。在本案实施例中，参考符号fi (t)代表在第t迭代回合中，对预测器hi所训练出的预测器权重函数。
在步骤240(训练阶段)中，评估所建立好的预测器权重函数，并根据评估结果来从此迭代回合中所建立的这些预测器权重函数中选择一个目标预测器权重函数且从处理集合H中选择一个目标预测器，并据以更新处理集合H(例如，将被选的预测器从处理集合H中移除)。
步骤240的细节例如如下：在各迭代回合中，评估各预测器的各预测器权重函数时，评估各预测器权重函数的正确分数si，公式如下(当然，本案并不受限于此，本案其他可能实施例可以其他不同的分数公式，此皆在本案精神范围内)：
Figure BDA0001896798630000051
参考符号
Figure BDA0001896798630000052
代表在第t迭代回合中，用于训练预测器权重函数的样本数据xi的样本权重。在所有预测器权重函数中，找出具有最高分数的预测器权重函数，例如，fi有最高分数，则在第t迭代回合中，设定h(t)＝hi以及g(t)＝fi (t)，并将hi由H中移除。例如，在目前迭代回合中，f2具有最高分数，则在目前迭代回合中，选择h2与f2，且将h2从H中移除。h(t)与g(t)分别代表在第t迭代回合中所选择的目标预测器与目标预测器权重函数。也就是说，在本案实施例中，预测器权重函数的正确分数代表预测器的预测结果是否一致于预测器权重函数的输出值，如果分数越高，则代表预测器的预测结果越一致于预测器权重函数的输出值；反之，如果分数越低，则代表预测器的预测结果越不一致于预测器权重函数的输出值。
在步骤250(训练阶段)中，更新验证数据Dvalid中的样本数据的个别样本权重，其细节将于底下说明。如果所有迭代回合(iteration loop)未结束(步骤260)，则流程回至步骤230，进行下一迭代回合。反之，如果所有迭代回合已结束，则代表所有的目标预测器权重函数已建立与训练好，训练阶段已结束。可以据以得到集成预测器(步骤270)。
根据所建立好的该组基本预测器与其个别预测器权重函数，来得到集成预测器。在测试阶段中，将测试数据x输入至所建立好的集成预测器，即可得到预测结果y(步骤270)。在本案实施例中，所得到的预测结果还可以在一显示器(未示出)上显示出。此外，在本案实施例中，测试资料(用于测试阶段)、训练资料Dtrain(用于训练阶段)与验证数据Dvalid(用于训练阶段)例如从一信号源所产生，该信号源例如但不受限于，为传感器。例如，在智慧工厂中，传感器可用以于感测生产参数，如温度、湿度、压力等。
在第t迭代回合中，更新每一个样本xj的样本权重为kj (t+1)，更新方式如下表，其中c＞1，α3＞α4＞α2＞α1。更新后的样本权重可用于在第(t+1)迭代回合中来训练预测器权重函数。
Figure BDA0001896798630000061
亦即，在更新每一个样本xj的样本权重时，如果该样本xj在第t迭代回合中，被(所选的)预测器h(t)正确预测且预测器h(t)的相对应预测器权重函数g(t)的值为高时，则将该样本xj的样本权重kj (t+1)更新为
Figure BDA0001896798630000062
(亦即调低)。如果该样本xj在第t迭代回合中，被(所选的)预测器h(t)正确预测且预测器h(t)的相对应预测器权重函数g(t)的值为低时，则将该样本xj的样本权重kj (t+1)更新为
Figure BDA0001896798630000063
(亦即调低)。如果该样本xj在第t迭代回合中，被(所选的)预测器h(t)错误预测且预测器h(t)的相对应预测器权重函数g(t)的值为高时，则将该样本xj的样本权重kj (t+1)更新为
Figure BDA0001896798630000071
(亦即调高)。如果该样本xj在第t迭代回合中，被(所选的)预测器h(t)错误预测且预测器h(t)的相对应预测器权重函数g(t)的值为低时，则将该样本xj的样本权重kj (t+1)更新为
Figure BDA0001896798630000072
Figure BDA0001896798630000073
(亦即调高)。
也就是说，在本案实施例中，对于被所选预测器h(t)错误预测的样本，将其下一回合的样本权重调高，而对于被所选预测器h(t)正确预测的样本，将其下一回合的样本权重调低。
也就是说，在本案实施例中，通过评估预测器权重函数与被选预测器的辨识结果之间的一致性，来决定要如何更新样本数据的样本权重。当预测器权重函数与被选预测器的辨识结果之间的一致性为高时，则调低样本数据的样本权重。相反地，当预测器权重函数与被选预测器的辨识结果之间的一致性为低时，则调高样本数据的样本权重。或者是说，在本案实施例中，权重调整的方式是依据“预测器预测结果是否正确”以及“预测器预测结果与权重函数输出值是否一致”去做调整。
更进一步说明，当被选预测器对该样本的辨识结果是正确的，而且给该预测器分配高的预测器权重函数，则两者一致性高。当被选预测器对该样本的辨识结果是错误的，而且给该预测器分配低的预测器权重函数，则两者一致性高。当被选预测器对该样本的辨识结果是正确的，而且给该预测器分配低的预测器权重函数，则两者一致性低。当被选预测器对该样本的辨识结果是错误的，而且给该预测器分配高的预测器权重函数，则两者一致性低。
现举例说明，以更加清楚描述让本案实施例的做法。为方便说明，以进行3迭代回合(亦即t＝3)，验证数据Dvalid包括5笔样本数据x1-x5，且令c＝1.5，(α1，α2，d3，α4)＝(-1，0，2，1)为例做说明。经初始化后的处理集合H＝{h1，h2，h3}。而经初始化后的各样本数据的各样本权重则为
Figure BDA0001896798630000074
在第1迭代回合中，根据各样本数据与各样本数据的各样本权重来建立各预测器的各预测器权重函数f1 (1)，f2 (1)，f3 (1)，至于如何建立权重函数的细节在此可以不特别限定。
计算在第1迭代回合中的各预测器权重函数的分数s。假设预测器h1的辨识情形如下表：
h<sub>1</sub>预测正确 h<sub>1</sub>预测错误
f<sub>1</sub><sup>(1)</sup>值为高 x<sub>1</sub>，x<sub>2</sub> x<sub>5</sub>
f<sub>1</sub><sup>(1)</sup>值为低 x4 x<sub>3</sub>
则f1 (1)的分数s1如下：
Figure BDA0001896798630000081
经过计算各预测器权重函数的各别分数后，假设在第1迭代回合中，f2 (1)有最高分数，则代表，在第1迭代回合中所建立出的预测器权重函数f2 (1)是最佳的，所以，在第1迭代回合中，选择目标预测器为预测器h2，且选择目标预测器权重函数为预测器权重函数f2 (1)，亦即，h(1)＝h2，g(1)＝f2 (1)(h(1)与g(1)分别代表在第1迭代回合中所选择出的目标预测器与目标预测器权重函数)，且更新H＝{h1，h3}(亦即将h2从H移除)，而且，依据第1迭代回合的结果，将各样本数据的各样本权重(其用于第二迭代回合)调整如下：
Figure BDA0001896798630000082
Figure BDA0001896798630000083
在第2迭代回合中，根据各样本数据与各样本数据的各样本权重
Figure BDA0001896798630000084
来建立各预测器的各预测器权重函数f1 (2)，f3 (2)(f2 (2)可以不用再建立)。
类似上述的情况，计算在第2迭代回合中的处理集合H＝{h1，h3}中的预测器h1，h3的预测器权重函数f1 (2)，f3 (2)的分数s1与s3。假设预测器h3的辨识情形如下表：
h<sub>3</sub>预测正确 h<sub>3</sub>预测错误
f<sub>3</sub><sup>(2)</sup>值为高 x<sub>4</sub>，x<sub>5</sub> x<sub>3</sub>
f<sub>3</sub><sup>(2)</sup>值为低 x<sub>1</sub> x<sub>2</sub>
所以，f3 (2)的分数s3如下：
Figure BDA0001896798630000091
经过计算各预测器权重函数的各别分数后，假设在第2迭代回合中，f3 (2)有最高分数，则代表，在第2迭代回合中所建立出的预测器权重函数f3 (2)是最佳的，所以，在第2迭代回合中，选择目标预测器为h3，且选择目标预测器权重函数为f3 (2)，亦即，h(2)＝h3，g(2)＝f3 (2)(h(2)与g(2))分别代表在第2迭代回合中所选择出的目标预测器与目标预测器权重函数)，且更新H＝{h1}(亦即将h3从H移除)，而且，依据第2迭代回合的结果，将验证数据的各样本数据的各样本权重(用于第3迭代回合)调整如下：
Figure BDA0001896798630000092
在第3迭代回合中，根据各样本数据与各样本数据的各样本权重
Figure BDA0001896798630000093
来建立预测器h1的预测器权重函数f1 (3)。所以，在第3迭代回合中，选择预测器h1与预测器权重函数f1 (3)，亦即，h(3)＝h1，g(3)＝f1 (3)(h(3)与g(3)分别代表在第3迭代回合中所选择出的目标预测器与目标预测器权重函数)，且更新H＝φ(亦即将h1从H移除)。如此，即可以结束集成预测器的建立。
设有一笔测试资料xtest，其对应的预测结果y属于两类别(1或-1)，将xtest代入h(i)(x)及g(i)(x)后的数值如下：
(h(1)(xtest)，h(2)(xtest)，h(3)(xtest))＝(1，-1，-1)
(g(1)(xtest)，g(2)(xtest)，g(3)(xtest))＝(0.3，0.7，0.6)
则可采用以下集成(ensemble)方法来得到预测结果：
方法1：
设定临界值为0.5，从g(1)开始，按照顺序(顺序先后为g(1)、g(2)、g(3))，选择第一个输出值可以超过临界值的权重函数。以上例而言，权重函数g(1)(xtest)的输出值为0.3，没有超过临界值，所以，接着考虑权重函数g(2)。权重函数g(2)(xtest)的输出值为0.7，已超过临界值，所以，选择权重函数g(2)。因此采用权重函数g(2)的相对应预测器h(2)(xtest)所得到的数值-1当成测试数据xtest的集成预测结果(亦即，y＝h(2)(xtest)＝-1)。
亦即，以方法1来看，可对各预测器权重函数计算函数输出值，对于输出值超过临界值的第一个权重函数赋予最高权重，其余权重函数为零。
方法2：
对这些g(i)进行规范化后，进行加权平均：
Figure BDA0001896798630000101
因加权平均的结果后小于0，因此取-1作为测试资料xtest的集成预测结果(y＝-1)。亦即，以方法2来看，对各预测器权重函数的函数输出值通过规范化后，作为各预测器的整合权重。
图3显示本案另一实施例的集成学习测试系统的功能方框图。集成学习测试系统300包含：基本预测器训练模型310、预测器权重函数训练模块320、评价模块330与样本权重调整模块340。基本预测器训练模型310、预测器权重函数训练模块320、评价模块330与样本权重调整模块340可实施本案上述实施例的集成学习测试方法。集成学习测试系统300可以更包括显示器(未示出)，用以显示预测结果。在本案实施例中，集成学习测试系统300例如是具有信息处理的电子装置(如服务器等)，而且，基本预测器训练模型310、预测器权重函数训练模块320、评价模块330与样本权重调整模块340可由具有信息处理能力的硬件电路(如中央处理器)所实施。
在本案实施例的集成学习中，乃是通过考虑各预测器(预测模型)的多样性，以互补为依据，搭配样本权重调整，以及具有顺序优化的权重函数训练机制来建立权重函数。如此一来，本案实施例可以有效找出适合个别样本区域的预测器，得以动态训练权重函数，以提升集成预测效果。在此，所谓的“具有顺序优化的权重函数训练机制”是指，并非在一回合迭代回合内找出所有的目标权重函数，而是逐回合地找出个别目标权重函数(如上述般，在第t迭代回合内，找出g(t))。
本案实施例可以在计算机上产生特殊功效(通过逐回合所产生的目标权重函数来预测结果)，而非仅仅将计算机当成工具。亦即，本案实施例非仅利用计算机，更是对于特定形态规则的利用，以达到改善集成学习预测系统的特定功效。
本案上述实施例所具体指向的领域例如但不受限于，为计算机预测系统，相较于传统计算机预测系统无法在复杂样本空间中训练出有效的预测器权重函数，本案实施例能利用具有顺序优化的权重函数估测模块与步骤，来逐回合地选择出目标预测器与目标预测器权重函数，故而，即便是面对复杂样本空间，本案实施例仍能有效训练出预测器权重函数(因为本案不是在一回合内得到出多个目标预测器权重函数，而是逐回合得到多个目标预测器权重函数)。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有公知常识的技术人员，在不脱离本发明的精神和范围内，当可作各种的改动与润饰。因此，本发明的保护范围当以的申请专利权利要求书所界定的范围为准。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种集成学习预测方法，应用于一电子装置，该方法包括：
(a)利用从一信号源所传来的多个训练数据，来建立多个基本预测器；
(b)对多个样本数据的多个样本权重进行初始化，并初始化一处理集合；
(c)在一第一迭代回合中，根据这些样本数据与这些样本权重，来建立该处理集合中的这些预测器的多个预测器权重函数，且由该处理集合中的各这些预测器分别对这些样本数据进行预测，辨别一预测结果；
(d)评估这些预测器权重函数，并根据一评估结果来从该第一迭代回合所建立的这些预测器权重函数中选择一目标预测器权重函数且从该处理集合中选择一目标预测器，并据以更新该处理集合与更新这些样本数据的这些样本权重；以及
(e)进行下一迭代回合来重复上述步骤(c)与(d)，直到进行所有迭代回合来选出多个目标预测器权重函数与多个目标预测器，以整合成一集成预测器，其中，该集成预测器包括这些目标预测器权重函数与这些目标预测器，且该集成预测器的一预测结果还显示于一显示器。
2.如权利要求1所述的方法，其中，在初始化时，
对这些样本数据xj的这些样本权重
Figure FDA0001896798620000011
给予初始化，j＝1～n，n代表这些样本数据的个数，t代表迭代回合数；以及
经初始化后的该处理集合H可表示为H＝{h1，h2，…，hN}，h1，h2，…，hN代表这些基本预测器，该处理集合H包括未被选的这些预测器。
3.如权利要求2所述的方法，其中，该步骤(c)包括：
在各这些迭代回合中，评估各这些预测器权重函数的个别分数，该分数代表该预测器的个别预测结果是否一致于该预测器权重函数的一输出值；
在这些预测器权重函数中，找出具有最高分数的一预测器权重函数为该迭代回合的该目标预测器权重函数，设定h(t)＝hi以及g(t)＝fi (t)，h(t)与g(t)分别代表在第t迭代回合中所选择的该目标预测器与该目标预测器权重函数。
4.如权利要求1所述的方法，其中，更新该处理集合包括：将被选的该目标预测器从该处理集合中移除。
5.如权利要求3所述的方法，其中，在更新该样本数据xi的该样本权重时：
如果该样本数据xj在一第t迭代回合中，被该目标预测器h(t)正确预测且该预测器h(t)的该预测器权重函数g(t)的值为高时，则将该样本数据xj的该样本权重调低；
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)正确预测且该预测器h(t)的该预测器权重函数g(t)的值为低时，则将该样本数据xj的该样本权重调低；
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)错误预测且该预测器h(t)的该预测器权重函数g(t)的值为高时，则将该样本数据xj的该样本权重调高；以及
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)错误预测且该预测器h(t)的该预测器权重函数g(t)的值为低时，则将该样本数据xj的样本权重调高。
6.如权利要求1所述的方法，其中，在该集成预测器中，对各这些目标预测器权重函数计算个别函数输出值，对于该函数输出值超过一临界值的该目标预测器权重函数赋予最高权重，其余权重函数为零。
7.如权利要求1所述的方法，其中，在该集成预测器中，对各预测器权重函数的个别函数输出值进行规范化后，作为各这些目标预测器的整合权重。
8.一种集成学习预测系统，包括：
一基本预测器训练模型，利用从一信号源所传来的多个训练数据，来建立多个基本预测器；
一预测器权重函数训练模块，对多个样本数据的多个样本权重进行初始化，并初始化一处理集合，且，在一第一迭代回合中，根据这些样本数据与这些样本权重，来建立该处理集合中的这些预测器的多个预测器权重函数，且由该处理集合中的各这些预测器分别对这些样本数据进行预测，辨别一预测结果；
一评价模块，评估这些预测器权重函数，并根据一评估结果来从该第一迭代回合所建立的这些预测器权重函数中选择一目标预测器权重函数且从该处理集合中选择一目标预测器；以及
一样本权重调整模块，据以更新该处理集合与更新这些样本数据的这些样本权重；
其中，进行下一迭代回合来重复上述操作，直到进行所有迭代回合来选出多个目标预测器权重函数与多个目标预测器，以整合成一集成预测器，其中，该集成预测器包括这些目标预测器权重函数与这些目标预测器，且该集成预测器的一预测结果还显示于一显示器。
9.如权利要求8所述的系统，其中，在初始化时，
该预测器权重函数训练模块对这些样本数据xj的这些样本权重
Figure FDA0001896798620000031
给予初始化，j＝1～n，n代表这些样本数据的个数，t代表迭代回合数)；
经初始化后的该处理集合H可表示为H＝{h1，h2，…，hN}，h1，h2，…，hN代表这些基本预测器，该处理集合H包括未被选的这些预测器。
10.如权利要求9所述的系统，其中，该评价模块：
在各这些迭代回合中，评估各这些预测器权重函数的个别分数，该分数代表该预测器的个别预测结果是否一致于该预测器权重函数的一输出值；
在这些预测器权重函数中，找出具有最高分数的一预测器权重函数为该迭代回合的该目标预测器权重函数，设定h(t)＝hi以及g(t)＝fi (t)，h(t)与g(t)分别代表在第t迭代回合中所选择的该目标预测器与该目标预测器权重函数。
11.如权利要求8所述的系统，其中，在更新该处理集合时，将被选的该目标预测器从该处理集合中移除。
12.如权利要求11所述的系统，其中，该样本权重调整模块在更新该样本数据xj的该样本权重时：
如果该样本数据xj在一第t迭代回合中，被该目标预测器h(t)正确预测且该预测器h(t)的该预测器权重函数g(t)的值为高时，则将该样本数据xj的该样本权重调低；
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)正确预测且该预测器h(t)的该预测器权重函数g(t)的值为低时，则将该样本数据xj的该样本权重调低；
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)错误预测且该预测器h(t)的该预测器权重函数g(t)的值为高时，则将该样本数据xj的该样本权重调高；以及
如果该样本数据xj在该第t迭代回合中，被该目标预测器h(t)错误预测且该预测器h(t)的该预测器权重函数g(t)的值为低时，则将该样本数据xj的样本权重调高。
13.如权利要求8所述的系统，其中，在该集成预测器中，对各这些目标预测器权重函数计算个别函数输出值，对于该函数输出值超过一临界值的该目标预测器权重函数赋予最高权重，其余权重函数为零。
14.如权利要求8所述的系统，其中，在该集成预测器中，对各预测器权重函数的个别函数输出值进行规范化后，作为各这些目标预测器的整合权重。
CN201811500474.7A 2018-11-09 2018-12-07 集成学习预测方法与系统 Active CN111178548B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107139955A TW202018727A (zh) 2018-11-09 2018-11-09 整體式學習預測方法與系統
TW107139955 2018-11-09

Publications (2)

Publication Number Publication Date
CN111178548A true CN111178548A (zh) 2020-05-19
CN111178548B CN111178548B (zh) 2023-04-07

Family

ID=70550634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811500474.7A Active CN111178548B (zh) 2018-11-09 2018-12-07 集成学习预测方法与系统

Country Status (3)

Country Link
US (1) US11551155B2 (zh)
CN (1) CN111178548B (zh)
TW (1) TW202018727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409246A (zh) * 2022-08-12 2022-11-29 华润电力技术研究院有限公司 面向数据缺失的集合预报方法、系统、设备和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202018727A (zh) * 2018-11-09 2020-05-16 財團法人工業技術研究院 整體式學習預測方法與系統
KR102200809B1 (ko) * 2019-04-01 2021-01-12 주식회사 엘렉시 학습기반 데이터 처리 시스템 및 모델 갱신 방법
JP7259596B2 (ja) * 2019-07-01 2023-04-18 富士通株式会社 予測プログラム、予測方法および予測装置
US11704458B2 (en) * 2019-10-10 2023-07-18 Voda, Inc. System and method for optimizing utility pipe sensors placement using artificial intelligence technology
KR102482374B1 (ko) * 2019-12-10 2022-12-29 한국전자통신연구원 예측 장치들로부터 수신된 데이터를 앙상블하는 장치 및 이의 동작 방법
CN112289393B (zh) * 2020-10-28 2023-08-22 广西贺州市桂东电子科技有限责任公司 一种基于神经网络集成学习的阳极铝箔性能预测系统
CN112258251B (zh) * 2020-11-18 2022-12-27 北京理工大学 基于灰色关联的电动汽车换电需求的集成学习预测方法及系统
CN114332196B (zh) * 2021-12-10 2024-04-09 深圳致星科技有限公司 料件重量百分比的获取方法、设备、装置及存储介质
CN114266390A (zh) * 2021-12-17 2022-04-01 北京沃东天骏信息技术有限公司 训练方法、客流量预测方法、装置、电子设备及存储介质
CN116359907B (zh) * 2023-06-02 2023-08-15 西安晟昕科技股份有限公司 一种雷达数据的航迹处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027887A1 (en) * 2006-07-27 2008-01-31 The Government Of The Us, As Represented By The Secretary Of The Navy System and method for fusing data from different information sources
CN104008426A (zh) * 2014-05-15 2014-08-27 上海交通大学 基于集成学习的分布式计算环境性能预测方法
CN105608004A (zh) * 2015-12-17 2016-05-25 云南大学 一种基于cs-ann的软件缺陷预测方法
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技（深圳）有限公司 机器学习模型训练方法及装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7664328B2 (en) * 2005-06-24 2010-02-16 Siemens Corporation Joint classification and subtype discovery in tumor diagnosis by gene expression profiling
US7529403B2 (en) 2005-12-06 2009-05-05 Mitsubishi Electric Research Laboratories, Inc. Weighted ensemble boosting method for classifier combination and feature selection
NZ544432A (en) 2005-12-23 2009-07-31 Pacific Edge Biotechnology Ltd Prognosis prediction for colorectal cancer using a prognositc signature comprising markers ME2 and FAS
NZ555363A (en) 2007-05-24 2009-11-27 Pacific Edge Biotechnology Ltd Prognosis prediction for melanoma cancer
NZ562237A (en) 2007-10-05 2011-02-25 Pacific Edge Biotechnology Ltd Proliferation signature and prognosis for gastrointestinal cancer
US8275721B2 (en) * 2008-08-12 2012-09-25 International Business Machines Corporation Methods and systems for cost-sensitive boosting
CN101853389A (zh) * 2009-04-01 2010-10-06 索尼株式会社 多类目标的检测装置及检测方法
US8868472B1 (en) 2011-06-15 2014-10-21 Google Inc. Confidence scoring in predictive modeling
US9141622B1 (en) * 2011-09-16 2015-09-22 Google Inc. Feature weight training techniques
EP2610776B1 (en) 2011-09-16 2019-08-21 Veracode, Inc. Automated behavioural and static analysis using an instrumented sandbox and machine learning classification for mobile security
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
EP2864500B1 (en) 2012-06-22 2018-08-22 HTG Molecular Diagnostics, Inc. Molecular malignancy in melanocytic lesions
US9607246B2 (en) * 2012-07-30 2017-03-28 The Trustees Of Columbia University In The City Of New York High accuracy learning by boosting weak learners
CN103439472B (zh) 2013-06-14 2015-03-11 北京工商大学 基于遥感监测及改进证据融合技术的湖库蓝藻水华识别方法
WO2015054666A1 (en) 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
CN103631753A (zh) 2013-12-09 2014-03-12 天津工业大学 递减子空间集成学习算法
US10321870B2 (en) 2014-05-01 2019-06-18 Ramot At Tel-Aviv University Ltd. Method and system for behavioral monitoring
EP3140426A4 (en) 2014-05-07 2018-02-21 University of Utah Research Foundation Biomarkers and methods for diagnosis of early stage pancreatic ductal adenocarcinoma
US9708667B2 (en) 2014-05-13 2017-07-18 Rosetta Genomics, Ltd. MiRNA expression signature in the classification of thyroid tumors
EP4137586A1 (en) 2014-08-07 2023-02-22 Agency for Science, Technology and Research Microrna biomarker for the diagnosis of gastric cancer
US9697469B2 (en) 2014-08-13 2017-07-04 Andrew McMahon Method and system for generating and aggregating models based on disparate data from insurance, financial services, and public industries
EP3699930B1 (en) 2014-08-14 2024-02-07 MeMed Diagnostics Ltd. Computational analysis of biological data using manifold and a hyperplane
US11269891B2 (en) 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
TWI543102B (zh) 2014-10-22 2016-07-21 財團法人工業技術研究院 異因分析與校正方法與系統
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
WO2016141330A1 (en) 2015-03-05 2016-09-09 Palo Alto Investors Homeostatic capacity evaluation
CN107683341A (zh) 2015-05-08 2018-02-09 新加坡科技研究局 用于慢性心力衰竭的诊断和预后的方法
US20170032276A1 (en) * 2015-07-29 2017-02-02 Agt International Gmbh Data fusion and classification with imbalanced datasets
CN105678418A (zh) 2016-01-07 2016-06-15 南京邮电大学 一种面向产品制造的组合优化方法
EP3414346B1 (en) 2016-02-14 2019-11-13 Yeda Research and Development Co. Ltd. Microbiome-based diagnosis, prediction and treatment of relapsing obesity
US20170249434A1 (en) 2016-02-26 2017-08-31 Daniela Brunner Multi-format, multi-domain and multi-algorithm metalearner system and method for monitoring human health, and deriving health status and trajectory
US20170308802A1 (en) 2016-04-21 2017-10-26 Arundo Analytics, Inc. Systems and methods for failure prediction in industrial environments
CN105955214B (zh) 2016-05-26 2018-10-02 华东理工大学 基于样本时序和近邻相似性信息的间歇过程故障检测方法
WO2018036503A1 (en) 2016-08-25 2018-03-01 The Chinese University Of Hong Kong Fecal bacterial markers for colorectal cancer
WO2018076134A1 (en) 2016-10-24 2018-05-03 Ldx Prognostics Limited Co. Methods and kits for providing a preeclampsia assessment and prognosing preterm birth
WO2018083608A1 (en) 2016-11-03 2018-05-11 Friedrich Miescher Institute For Biomedical Research Methods for increasing the frequency of gene targeting by chromatin modification
CN106845510B (zh) 2016-11-07 2020-04-07 中国传媒大学 基于深度层级特征融合的中国传统视觉文化符号识别方法
TWI612433B (zh) * 2016-11-17 2018-01-21 財團法人工業技術研究院 整體式學習預測裝置與方法、以及非暫存電腦可讀的儲存媒介
TWI634499B (zh) 2016-11-25 2018-09-01 財團法人工業技術研究院 資料分析方法、系統及非暫態電腦可讀取媒體
US20180210944A1 (en) * 2017-01-26 2018-07-26 Agt International Gmbh Data fusion and classification with imbalanced datasets
CN107290305B (zh) 2017-07-19 2019-11-01 中国科学院合肥物质科学研究院 一种基于集成学习的近红外光谱定量建模方法
TW202018727A (zh) * 2018-11-09 2020-05-16 財團法人工業技術研究院 整體式學習預測方法與系統
US11803780B2 (en) * 2019-09-27 2023-10-31 Western Digital Technologies, Inc. Training ensemble models to improve performance in the presence of unreliable base classifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027887A1 (en) * 2006-07-27 2008-01-31 The Government Of The Us, As Represented By The Secretary Of The Navy System and method for fusing data from different information sources
CN104008426A (zh) * 2014-05-15 2014-08-27 上海交通大学 基于集成学习的分布式计算环境性能预测方法
CN105608004A (zh) * 2015-12-17 2016-05-25 云南大学 一种基于cs-ann的软件缺陷预测方法
CN106548210A (zh) * 2016-10-31 2017-03-29 腾讯科技（深圳）有限公司 机器学习模型训练方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409246A (zh) * 2022-08-12 2022-11-29 华润电力技术研究院有限公司 面向数据缺失的集合预报方法、系统、设备和存储介质

Also Published As

Publication number Publication date
TW202018727A (zh) 2020-05-16
CN111178548B (zh) 2023-04-07
US20200151610A1 (en) 2020-05-14
US11551155B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111178548B (zh) 集成学习预测方法与系统
CN107808122B (zh) 目标跟踪方法及装置
CN110852755B (zh) 针对交易场景的用户身份识别方法和装置
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
CN111079836A (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN112148557B (zh) 一种性能指标实时预测方法、计算机设备及存储介质
CN113705092B (zh) 基于机器学习的疾病预测方法及装置
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
US20210056778A1 (en) Techniques to detect vehicle anomalies based on real-time vehicle data collection and processing
CN110083593B (zh) 电站运行参数清洗及修复方法、修复系统
US10394631B2 (en) Anomaly detection and automated analysis using weighted directed graphs
JP6950504B2 (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN112766292B (zh) 身份认证的方法、装置、设备及存储介质
CN108470194B (zh) 一种特征筛选方法及装置
JP2018528511A (ja) 生産システムにおける出力効率の最適化
US12002549B2 (en) Knowledge reuse-based method and system for predicting cell concentration in fermentation process
CN114503131A (zh) 检索装置、检索方法、检索程序和学习模型检索系统
CN112115184A (zh) 时间序列数据的检测方法、装置、计算机设备及存储介质
US9195913B2 (en) Method of configuring a sensor-based detection device and a corresponding computer program and adaptive device
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
JPWO2008111349A1 (ja) 生存分析システム、生存分析方法および生存分析用プログラム
CN108984851B (zh) 一种带时延估计的加权高斯模型软测量建模方法
WO2022215559A1 (ja) ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム
JPWO2019235608A1 (ja) 分析装置、分析方法およびプログラム
TWM625736U (zh) 整體式學習預測系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant