CN112766618B - 异常预测方法及装置 - Google Patents

异常预测方法及装置 Download PDF

Info

Publication number
CN112766618B
CN112766618B CN202110308070.3A CN202110308070A CN112766618B CN 112766618 B CN112766618 B CN 112766618B CN 202110308070 A CN202110308070 A CN 202110308070A CN 112766618 B CN112766618 B CN 112766618B
Authority
CN
China
Prior art keywords
model
operation data
initial
determining
characterization vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110308070.3A
Other languages
English (en)
Other versions
CN112766618A (zh
Inventor
苏艺然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN112766618A publication Critical patent/CN112766618A/zh
Application granted granted Critical
Publication of CN112766618B publication Critical patent/CN112766618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Abstract

本发明公开了一种异常预测方法及装置，该方法包括：根据第一运行数据和预设的第一模型确定第一表征向量；根据第一表征向量和预设的第二模型确定第一运行数据的第一预测结果。该方法能够采用复杂的第一模型和第二模型根据待预测设备或部件的历史运行数据来对待预测设备或部件的异常情况进行预测，既可以充分利用待预测设备或部件的历史运行数据，又可以使得待预测设备或部件的历史运行数据能够应用于复杂的数据模型，还可以根据第一预测结果提前采取相应措施，降低安全风险和维护代价。

Description

异常预测方法及装置
技术领域
本发明涉及电学技术领域，具体涉及一种异常预测方法及装置。
背景技术
目前，电池或电机等装置的异常预测主要涉及到三类方法。第一类方法为阈值法，例如规定电压、电流、内阻等的正常波动区间，当电压、电流、内阻等数值的波动超过正常波动区间，则报警为异常，这种方法更擅长检测而非预测，通常来说当波动已经明显偏离正常值的时候，装置已经损坏。第二类方法为建模法，建模法通过模型来描述动力系统的演变过程，通常也需要一些传感器数据来实时更新目前对于系统状态的预测，建模法有几个问题：其一，模型精确度随时间积累，无法做中长期的预测；其二，线性系统无法描述真实生活里的复杂变化，而非线性模型的计算量太大，无法及时更新；其三，设计高效模型需要大量人力物力，且与环境有关。第三类方法为数据法。数据法的本质是利用观测记录来反推出数据模型的参数，数据模型可以是之前的阈值模型，或者建模的物理模型，也可以是比较复杂的机器学习决策模型，如决策树，神经网络等，数据模型的优点在于一旦算法成熟，模型的建立可以自动化，并且数据越多，模型质量越高。但是由于数据科学发展较不成熟，将一些方法直接应用于电池领域无法取得较好的效果，如缺少有效的数据标签。
因此，亟需一种异常预测方法用以解决上述问题。
发明内容
为此，本发明提供一种异常预测方法及装置，以解决现有技术中由于异常预测方法不合理而导致的预测效果不理想的问题。
为了实现上述目的，本发明第一方面提供一种异常预测方法，包括：
根据第一运行数据和预设的第一模型确定第一表征向量；
根据所述第一表征向量和预设的第二模型确定所述第一运行数据的第一预测结果。
在一些实施例中，所述方法在所述根据第一运行数据和预设的第一模型确定第一表征向量之后，还包括：
根据所述第一表征向量和预设的分类器确定所述第一运行数据的第二预测结果。
在一些实施例中，所述第二模型为第三模型、第四模型、阈值模型和非参数聚类模型的集成模型。
在一些实施例中，所述方法在所述根据第一运行数据和预设的第一模型确定第一表征向量之后，还包括：
根据所述第一表征向量、所述第一运行数据和第三中间模型确定所述第一运行数据的第三预测结果。
在一些实施例中，所述方法还包括所述第二模型的优化步骤，所述第二模型的优化步骤包括：
根据第二运行数据和所述第一模型确定第二表征向量；
根据所述第二表征向量和第二初始模型确定所述第二运行数据的第一预测结果，并根据所述第二运行数据的第一结果和所述第一预测结果确定第一损失函数；
根据第一损失函数调整所述第二初始模型的超参数，以根据调整后的超参数确定所述第二模型；所述第二初始模型为第三中间模型、第四初始模型、初始阈值模型和初始非参数聚类模型的集成模型。
在一些实施例中，所述方法还包括所述第一模型、所述第三中间模型、所述第四初始模型和所述分类器的优化步骤，所述优化步骤包括：
根据第三运行数据和第一初始模型确定第三表征向量、第二损失函数；
根据所述第三表征向量、所述第三运行数据和第三初始模型确定所述第三运行数据的第三预测结果和第三损失函数；
根据所述第三表征向量和初始分类器确定所述第三运行数据的第二预测结果，并根据所述第三表征向量的第二结果和所述第二预测结果确定第四损失函数；
根据所述第二损失函数、第三损失函数和第四损失函数调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，以分别根据调整后的参数确定所述第一模型、所述第三中间模型和所述分类器，并根据所述第三运行数据和所述第一模型确定所述第四初始模型。
在一些实施例中，所述第三运行数据至少包括特征维度和时间维度；所述根据所述第三表征向量、所述第三运行数据和第三初始模型确定所述第三运行数据的第三预测结果和第三损失函数，包括：
根据所述第三表征向量、所述第三运行数据中的部分特征维度对应的特征以及时间维度和第三初始模型确定所述第三运行数据中的其他特征维度对应的特征和第三损失函数。
在一些实施例中，所述根据所述第二损失函数、第三损失函数和第四损失函数调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，包括：
根据所述第二损失函数、第三损失函数和第四损失函数确定整体损失函数；
根据梯度优化器调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，直至所述整体损失函数收敛。
为了实现上述目的，本发明第二方面提供一种异常预测装置，包括：
处理模块，用于根据第一运行数据和预设的第一模型确定第一表征向量；
第一预测模块，用于根据所述第一表征向量和预设的第二模型确定所述第一运行数据的第一预测结果。
在一些实施例中，异常预测装置还包括第二预测模块；所述第二预测模块用于，根据所述第一表征向量和预设的分类器确定所述第一运行数据的第二预测结果。
本发明具有如下优点：
本发明实施例提供的异常预测方法，首先采用预先经过优化处理得到的第一模型将待预测设备或部件的历史运行数据转化为第一表征向量，再采用预先经过优化处理得到的第二模型基于第一表征向量对第一运行数据的异常情况进行预测，该方法能够采用复杂的第一模型和第二模型根据待预测设备或部件的历史运行数据来对待预测设备或部件的异常情况进行预测，既可以充分利用待预测设备或部件的历史运行数据，又可以使得待预测设备或部件的历史运行数据能够应用于复杂的数据模型，根据第一预测结果提前采取相应措施可以降低安全风险和维护代价。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明实施例提供的异常预测方法的流程示意图一；
图2a为本发明实施例提供的异常预测方法的流程示意图二；
图2b为本发明实施例提供的第二预测结果的效果示意图；
图3a为本发明实施例提供的异常预测方法的流程示意图三；
图3b为本发明实施例提供的充电电流示意图；
图3c为本发明实施例提供的预测电压曲线及真实电压曲线的示意图；
图4为本发明实施例提供的第二模型的优化步骤的流程示意图；
图5为本发明实施例提供的第一模型、第三中间模型、第四初始模型和分类器的优化步骤的流程示意图；
图6a为本发明实施例提供的优化过程示意图一；
图6b为本发明实施例提供的优化过程示意图二；
图6c为本发明实施例提供的异常预测效果示意图；
图7a为本发明实施例提供的运行数据的特征示意图；
图7b为本发明实施例提供的运行数据的三阶张量示意图；
图8为本发明实施例提供的调整第一初始模型、第三初始模型和初始分类器的参数的流程示意图；
图9为本发明实施例提供的验证结果示意图；
图10为本发明实施例提供的异常预测装置的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。
可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。
可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。
可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
可以理解的是，在不冲突的情况下，本发明的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。
可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。
可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。
如图1所示，本发明实施例提供一种异常预测方法，该方法可以包括以下步骤：
步骤11，根据第一运行数据和预设的第一模型确定第一表征向量。
其中，第一运行数据可以包括多个具有时间序列格式的数据，该类型的数据可以根据待预测设备或部件的历史运行数据进行预处理得到，待预测部件可以为电池，待预测设备可以为包括电池的设备例如车辆等，第一模型可以包括任何能够应用于时间序列的神经网络模型seq2seq neural networks(序列到序列神经网络)，例如LSTM(Long ShortTerm Memory，长短期记忆网络)模型、变压器Transformer模型、GRU(Gate RecurrentUnit，门控循环单元)网络模型等等，并且预先经过优化处理。
具体的，将第一运行数据输入到预设的第一模型后，第一模型能够将第一运行数据中的每一个时间序列数据均转化为一个具有预设维度的表征向量embedding vector，例如一个128维度的表征向量。
需要说明的是，本发明实施例并不对表征向量的预设维度作具体限定，该预设维度可以视具体情况而定。
步骤12，根据第一表征向量和预设的第二模型确定第一运行数据的第一预测结果。
其中，第二模型可以包括能够基于表征向量进行异常预测的数据模型，并且预先经过优化处理得到。第一预测结果可以包括与异常直接相关的强标签预测结果，强标签可以包括异常或者实际出现异常的类型等等，则强标签预测结果可以包括各时间序列数据对应的待预测设备或部件是否异常、异常的待预测设备或部件实际出现异常的类型等等。
基于第一表征向量采用预设的第二模型即可获得第一运行数据的第一预测结果。
通过上述步骤11-12可以看出，本发明实施例提供的异常预测方法，首先采用预先经过优化处理得到的第一模型将待预测设备或部件的历史运行数据转化为第一表征向量，再采用预先经过优化处理得到的第二模型基于第一表征向量对第一运行数据的异常情况进行预测，该方法能够采用复杂的第一模型和第二模型根据待预测设备或部件的历史运行数据来对待预测设备或部件的异常情况进行预测，既可以充分利用待预测设备或部件的历史运行数据，又可以使得待预测设备或部件的历史运行数据能够应用于复杂的数据模型，还可以根据第一预测结果提前采取相应措施以便降低安全风险和维护代价。
如图2a所示，在一些实施例中，在所述根据第一运行数据和预设的第一模型确定第一表征向量(即步骤11)之后，本发明提供的异常预测方法还可以包括以下步骤：
步骤13,根据第一表征向量和预设的分类器确定第一运行数据的第二预测结果。
其中，分类器可以包括可求导的线性分类器，例如MLP(Multilayer perceptron，多层感知机)等等，并且预先经过优化处理。第二预测结果可以包括与健康直接相关的弱标签预测结果，弱标签可以是运行数据中未直接记录的数据，例如可以为电池已使用总时间、电池有效容量、电池循环圈数、电池型号、车辆已行驶里程、车辆使用年限、车辆质保状态等。
基于第一表征向量采用预设的分类器，即可获得第一运行数据的第二预测结果，如图2b所示，为第二预测结果的效果示意图，其中横轴为弱标签的真实值，纵轴为弱标签的预测值。
在一些实施例中，所述第二模型可以为第三模型、第四模型、阈值模型和非参数聚类模型的集成模型。
其中，第三模型、第四模型、阈值模型和非参数聚类模型均可以包括能够基于数据进行异常预测的数据模型。第三模型能够尝试将表征向量还原，例如可以为解译模型，解译模型能够确定表征向量的解译片段与实际片段的误差，在误差较大的情况下，可认为异常。第四模型能够基于表征向量来预测表征向量所对应的运行数据为正常运行数据的可能性，例如可以为概率模型，在可能性较低的情况下，可认为异常。阈值模型可以通过特征提取例如PCA(PrincipalComponents Analysis，主成分分析)方法对表征向量的部分维度进行综合计算，将综合计算结果与预设的阈值进行比较，在综合计算结果超出阈值的情况下，可认为异常。非参数聚类模型可以通过聚类的非参数法nonparametric methods对表征向量进行聚类，在聚类结果与已知异常片段接近的情况下，可认为异常，聚类的非参数法可以包括K最近邻(k-Nearest Neighbor,KNN)分类算法、随机森林算法(Random Forest,简称RF)等。第二模型预先经过优化处理得到。
如图3a所示，在一些实施例中，在所述根据第一运行数据和预设的第一模型确定第一表征向量(即步骤11)之后，本发明提供的异常预测方法还可以包括以下步骤：
步骤14，根据第一表征向量、第一运行数据和第三中间模型确定第一运行数据的第三预测结果。
其中，第三中间模型可以为未经优化处理的第三模型(对第三中间模型进行优化处理可以得到第三模型)。
本发明实施例可以将第一表征向量、第一运行数据中的部分数据输入第三中间模型，以便对第一运行数据中未被输入部分的数据进行预测从而得到第三预测结果，也就是说，第三预测结果为对未被输入部分的数据进行预测的结果，将第三预测结果和实际的未被输入部分的数据进行比较，能够分析未被输入的部分数据是否异常。
例如，将第一表征向量以及第一运行数据中的充电电流输入第三中间模型，能够得到与真实电压值非常接近的预测电压值，如图3b所示，为给定的一段连续的充电电流数据，纵轴为充电电流值，横轴可以对应时间。如图3c所示，纵轴为电压值，横轴可以对应时间，两条曲线中，在横轴坐标为100时具有较高电压值的为预测电压的曲线，在横轴坐标为100时具有较低电压值的为真实电压的曲线。
如图4所示，在一些实施例中，本发明提供的异常预测方法还可以包括所述第二模型的优化步骤，该优化步骤可以包括以下子步骤：
步骤21，根据第二运行数据和第一模型确定第二表征向量。
其中，第二运行数据可以包括多个具有时间序列格式的数据，也就是说，第二运行数据与第一运行数据具备相同的数据格式。
具体的，将第二运行数据输入到第一模型后，第一模型能够将第二运行数据中的每一个时间序列数据均转化为一个具有预设维度的表征向量embedding vector。
步骤22，根据第二表征向量和第二初始模型确定第二运行数据的第一预测结果，并根据第二运行数据的第一结果和第一预测结果确定第一损失函数。
其中，第二初始模型为第三中间模型、第四初始模型、初始阈值模型和初始非参数聚类模型的集成模型，也即未经优化处理的第二模型(对第二初始模型进行优化处理能够得到第二模型)，第一预测结果可以包括第二运行数据对应的强标签预测结果，在第二模型的优化过程中还可以预先确定第二运行数据对应的真实强标签结果即第一结果。
具体的，将第二表征向量输入到第三中间模型、第四初始模型、初始阈值模型和初始非参数聚类模型的集成模型后，即可获得第二运行数据的强标签预测结果，进一步可以根据强标签预测结果和真实强标签结果确定第一损失函数。
步骤23，根据第一损失函数调整第二初始模型的超参数，以根据调整后的超参数确定第二模型。
具体的，根据第一损失函数来调整第二初始模型中各模型的超参数，例如初始阈值模型的阈值、初始KNN模型中的K等等，调整超参数直至在一定的数据量范围内强标签预测结果的准确率达到最大化，根据调整后的超参数即可确定第三模型、第四模型、阈值模型和非参数聚类模型的集成模型即第二模型。
待预测设备或部件大部分情况下都是在健康状态下运行，健康的待预测设备或部件一般不具有强标签，因此大量的运行数据可能只存在少量的强标签。在目前少量强标签无法支撑学习复杂的数据模型的情况下，本发明实施例提供的异常预测方法只需要利用少量的强标签在表征向量上做一个简单模型的学习，就能够根据第二初始模型优化得到第二模型，并且能够解决少量强标签无法支撑学习复杂的数据模型的问题。
如图5所示，在一些实施例中，本发明提供的异常预测方法还可以包括所述第一模型、所述第三中间模型、所述第四初始模型和所述分类器的优化步骤，所述优化步骤可以包括以下子步骤：
步骤31，根据第三运行数据和第一初始模型确定第三表征向量和第二损失函数。
其中，第三运行数据可以包括多个具有时间序列格式的数据，也就是说，第三运行数据与第一运行数据具备相同的数据格式。第一初始模型可以为未经优化处理的第一模型(对第一初始模型进行优化处理能够得到第一模型)，利用第一初始模型将第三运行数据压缩为表征向量，表征向量为对第三运行数据的有损编译，因此会产生第二损失函数，第二损失函数用于使得表征向量的分布接近高斯分布，例如可以为KL散度损失函数Kullback–Leibler divergence loss。
步骤32，根据第三表征向量、第三运行数据和第三初始模型确定第三运行数据的第三预测结果和第三损失函数。
其中，第三初始模型可以为未经优化处理的第三中间模型(对第三初始模型进行优化处理可以得到第三中间模型)。
将第三表征向量、第三运行数据中的部分数据输入第三初始模型，以便对第三运行数据中未被输入部分的数据进行预测从而得到第三预测结果，也就是说，第三预测结果为对未被输入部分的数据进行预测的结果，第三损失函数用于描述第三预测结果与实际的未被输入部分的数据之间的差别，例如可以为负对数似然损失函数negative loglikelihood loss。
需要说明的是，步骤31、32类似于VAE(variational autoencoder，变分自编码器)流程，但实际上更接近于非监督学习，而非简单的编译解译。VAE流程是直接通过表征向量解码全部数据，但本发明实施例是利用第三初始模型以及第三运行数据中的部分数据，通过解码模组尝试恢复第三运行数据中未被输入部分的数据。
步骤33，根据第三表征向量和初始分类器确定第三运行数据的第二预测结果，并根据第三运行数据的第二结果和第二预测结果确定第四损失函数。
其中，初始分类器为未经优化处理的分类器(对初始分类器进行优化处理可以得到分类器)，第二预测结果可以包括第三运行数据对应的弱标签预测结果，也就是说，第二预测结果为预测的弱标签。可以预先确定第三运行数据对应的真实弱标签结果即第二结果。第四损失函数即弱标签损失函数weak label loss可以用于描述弱标签预测结果与真实弱标签结果之间的差别，例如可以为平方差、胡波损失函数huber loss、L1模损失函数l1loss、交叉熵损失函数cross entropy loss等常见的机器学习损失函数。
将第三表征向量输入初始分类器后，即可获得第三运行数据的弱标签预测结果，进一步可以根据弱标签预测结果和真实弱标签结果确定第四损失函数。
步骤34，根据第二损失函数、第三损失函数和第四损失函数调整第一初始模型、第三初始模型和初始分类器的参数，以分别根据调整后的参数确定第一模型、第三中间模型和分类器，并根据第三运行数据和第一模型确定第四初始模型。
根据第二损失函数、第三损失函数和第四损失函数调整第一初始模型、第三初始模型和初始分类器的参数，根据第一初始模型及其调整后的参数确定第一模型，根据第三初始模型及其调整后的参数确定第三中间模型，根据初始分类器及其调整后的参数确定分类器，并根据第三运行数据和第一模型确定第四初始模型。
需要说明的是，步骤31中还可以产生第四初始模型，但由于优化过程中根据第二损失函数、第三损失函数和第四损失函数调整第一初始模型、第三初始模型和初始分类器的参数，调整过程中第四初始模型也随之改变，本发明实施例只需要确定在参数调整完毕后根据第三运行数据和第一模型产生的第四初始模型即可。
通过上述步骤31-34可以看出，本发明实施例提供的异常预测方法，能够通过历史运行数据以及与待预测设备或部件的健康直接相关但是又无法直接使用的弱标签，来帮助学习一个数据需求量巨大且功能复杂的第一模型，可以充分利用待预测设备或部件的历史运行数据，又可以使得待预测设备或部件的历史运行数据能够应用于复杂的数据模型，还可以直接使用训练好的第一模型来协助训练第二模型，并且可以在进行异常预测时通过第一模型将运行数据压缩为精确度较高的表征向量，简化异常预测流程。
以下结合一个具体的实施例来对上述第二模型的优化步骤以及第一模型、第三中间模型、第四初始模型和分类器的优化步骤进行简要描述：
如图6a所示，将原始数据(即第三运行数据)输入神经网络模型(即第一初始模型)如LSTM、Transformer等，确定表征向量embeddings(即第三表征向量)以及KL loss(即第二损失函数)，将表征向量以及原始数据中部分特征维度的特征数据输入解译模型decoder(即第三初始模型)，可以获得解译decode数据(即第三预测结果)以及解译数据与原始数据中其余特征维度之间的negative log likelihood loss(即第三损失函数)，将表征向量输入分类器如线性模型、MLP(Multilayer perceptron)(即初始分类器)，可以输出预测的辅助标签(即第二预测结果)，根据第二预测结果和真实辅助标签(即第二结果)可以确定weaklabel loss(即第四损失函数)。得到三个损失函数后，可以将nll loss、kl losss和weaklabel loss进行加权相加，得到一个整体损失函数，利用梯度优化器来对神经网络模型、解译模型和分类器的参数进行优化，直到整体损失函数收敛，可以确定优化后的神经网络模型、解译模型和分类器(即第一模型、第三中间模型、分类器)，以及确定优化后的第一模型在将原始数据压缩成表征向量的过程中产生的第四初始模型。
如图6b所示，确定优化后的神经网络模型后，可以使用神经网络模型(即第一模型，如LSTM、Transformer等)将任何输入数据片段(即第二运行数据)压缩为表征向量embeddings(即第二表征向量)，可以在表征向量的基础上进行异常预测，即将表征向量输入集成模型ensemble models(即第二初始模型)，获得异常数据点预测结果(即第一预测结果，也可以称为强标签预测值)，根据异常数据点预测结果和异常数据标签(即第一结果，也可以称为强标签真实值)可以确定第一损失函数hyperparameters。使用第一损失函数反馈调节集成模型的超参数，直至在一定的数据量范围内强标签准确率最大化，可以将集成模型的超参数固定。
如图6c所示，将所有模型的参数固定后，可以使用运行数据进行异常预测，将运行数据输入神经网络模型(如LSTM、Transformer等)后，可以确定表征向量embeddings，将表征向量输入集成模型ensemble models后，就可以输出异常数据点预测结果，图示黑点即为异常数据点。
在一些实施例中，所述第三运行数据至少包括特征维度和时间维度；相应的，所述根据所述第三表征向量、所述第三运行数据和第三初始模型确定所述第三运行数据的第三预测结果和第三损失函数(即步骤32)，可以包括：根据所述第三表征向量、第三运行数据中的部分特征维度对应的特征以及时间维度和第三初始模型确定所述第三运行数据中的其他特征维度对应的特征和第三损失函数。
其中，如图7a所示，特征维度可以包括电流(来自模组或电芯)、电压(来自模组或电芯)、温度、内阻、充电状态(State Of Charge，SOC)等，时间维度可以包括时间戳(timestamp)。在本发明实施例中，第一运行数据、第二运行数据和第三运行数据均可以包括多个具有时间序列格式的数据，也就是说，运行数据除了可以包括特征维度之外，还可以包括时间维度。由于运行数据包括多个具有时间序列格式的数据，运行数据还可以包括数据量维度。
在步骤32中，可以将第三表征向量、第三运行数据中的部分特征维度对应的特征(例如电流、时间、温度)输入第三初始模型，以便对第三运行数据中其他特征维度对应的特征(例如电压)进行预测从而得到第三预测结果。
在本发明实施例中，支撑各模型的运行数据需要以时间序列的格式存储，运行数据必须包括电芯的电流、电压以及记录数据的时间戳，运行数据至少应该包括待预测设备或部件至少20％的生命周期，例如，当电池的额定使用寿命为1000次的充放电循环时，需要采集电池至少经过200次充放电循环后的运行数据，当电动车的额定里程为8万公里时，需要采集电动车至少行驶1.6万公里后的运行数据。运行数据的采集频率应高于1次/10分钟，也就是说，运行数据中每个具有时间序列格式的数据，在时间维度上相邻的两个时间戳之间的间隔需小于10分钟，以1分钟或5秒较为适宜。
如图7b所示，本发明实施例采集待预测设备或部件的运行数据后，可以将运行数据按照充电片段和放电片段进行划分，运行数据被划分为片段后可以用三阶张量(tensor)来表示，三阶张量的数据具有三个维度，即数据量维度、特征维度和时间维度，特征维度包括电流、电压、温度、内阻、SOC(充电状态)等。例如坐标(i,j,k)代表第i个运行数据在第k个时间时的第j个特征。每层为一个运行数据，代表一个电池的一次运行记录，即一段连续的电池充电过程或放电过程。每个运行数据记录每个时间戳对应的多个特征值，例如电流、电压等。对于每个特征维度的数据，需要预先经过正则化处理，例如通过缩放rescaling来使不同特征维度的数据位于相似的区间。
在对采集的运行数据进行预处理之后，本发明实施例还需要进一步确定与异常直接相关的强标签如是否异常或者实际出现异常的类型等，以及与健康直接相关的弱标签如电池已使用总时间、电池有效容量、电池循环圈数、电池型号、车辆已行驶里程、车辆使用年限、车辆质保状态等。
如图8所示，在一些实施例中，所述根据所述第二损失函数、第三损失函数和第四损失函数调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数(即步骤34)，可以包括以下步骤：
步骤341，根据第二损失函数、第三损失函数和第四损失函数确定整体损失函数。
具体的，可以将第二损失函数、第三损失函数和第四损失函数进行加权相加以得到整体损失函数。
步骤342，根据梯度优化器调整第一初始模型、第三初始模型和初始分类器的参数，直至整体损失函数收敛。
其中，梯度优化器可以包括ADAM(其名称来源于适应性矩估计(adaptive momentestimation))、SGD(Stochastic Gradient Descent，随机梯度下降算法)、RMSProp(根号均值平方传播算法)等。
本发明实施例还对训练好的模型进行过验证，采用二十余辆车辆约一年的运行数据训练模型，使用两个批次车辆的运行数据对训练好的模型进行验证。例如第一批次共10辆车，实际上其中有3辆车异常；第二批次共15辆车，实际上其中有4辆车异常，而训练好的模型在两个批次中分别挑选一辆最有可能发送异常的车，从第一批次中挑选的车辆属于3辆异常的车之一，从第二批次中挑选的车辆属于4辆异常的车之一。如图9所示，为利用PCA将表征向量三维可视化的示意图，其具有三个成分的主成分分析(3component PCA)，分别为主成分1(principal component1)、主成分2(principal component2)和主成分3(principal component3)，可以看到大部分车辆的充电片段或放电片段的principalcomponent1值小于0.1、principal component2值小于0.0，principal component3值小于0.05，而其他某些车辆的充电片段或放电片段明显处于异常位置。
基于相同的技术构思，如图10所示，本发明实施例还提供一种异常预测装置，可以包括：
处理模块101，用于根据第一运行数据和预设的第一模型确定第一表征向量。
第一预测模块102，用于根据第一表征向量和预设的第二模型确定第一运行数据的第一预测结果。
在一些实施例中，上述异常预测装置还可以包括第二预测模块；第二预测模块用于，根据第一表征向量和预设的分类器确定第一运行数据的第二预测结果。
在一些实施例中，第二模型可以为第三模型、第四模型、阈值模型和非参数聚类模型的集成模型。
在一些实施例中，上述异常预测装置还可以包括第三预测模块；第三预测模块用于，根据第一表征向量、第一运行数据和第三中间模型确定第一运行数据的第三预测结果。
在一些实施例中，上述异常预测装置还可以包括第一优化模块；第一优化模块用于：
根据第二运行数据和第一模型确定第二表征向量；
根据第二表征向量和第二初始模型确定第二运行数据的第一预测结果，并根据第二运行数据的第一结果和第一预测结果确定第一损失函数；
根据第一损失函数调整第二初始模型的超参数，以根据调整后的超参数确定第二模型；第二初始模型为第三中间模型、第四初始模型、初始阈值模型和初始非参数聚类模型的集成模型。
在一些实施例中，上述异常预测装置还可以包括第二优化模块；第二优化模块用于：
根据第三运行数据和第一初始模型确定第三表征向量、第二损失函数；
根据第三表征向量、第三运行数据和第三初始模型确定第三运行数据的第三预测结果和第三损失函数；
根据第三表征向量和初始分类器确定第三运行数据的第二预测结果，并根据第三表征向量的第二结果和第二预测结果确定第四损失函数；
根据第二损失函数、第三损失函数和第四损失函数调整第一初始模型、第三初始模型和初始分类器的参数，以分别根据调整后的参数确定第一模型、第三中间模型和分类器，并根据第三运行数据和第一模型确定第四初始模型。
在一些实施例中，第三运行数据至少包括特征维度和时间维度；第二优化模块用于，根据第三表征向量、第三运行数据中的部分特征维度对应的特征以及时间维度和第三初始模型确定第三运行数据中的其他特征维度对应的特征和第三损失函数。
在一些实施例中，第二优化模块用于，根据第二损失函数、第三损失函数和第四损失函数确定整体损失函数；
根据梯度优化器调整第一初始模型、第三初始模型和初始分类器的参数，直至整体损失函数收敛。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种异常预测方法，其特征在于，包括：
对电池的历史运行数据进行预处理，得到第一运行数据，所述第一运行数据包括所述电池的电芯的电流、电压以及记录数据的时间戳，以使得所述第一运行数据包括多个具有时间序列格式的数据；
根据第一运行数据和预设的第一模型确定第一表征向量；
根据所述第一表征向量和预设的第二模型确定所述第一运行数据的第一预测结果，根据所述第一表征向量和预设的分类器确定所述第一运行数据的第二预测结果，所述分类器包括可求导的线性分类器；
其中，所述第一模型为能够应用于时间序列的神经网络模型，所述第二模型为能够基于表征向量进行异常预测的数据模型，所述第二模型为第三模型、第四模型、阈值模型和非参数聚类模型的集成模型，所述第三模型用于将表征向量还原，所述第四模型用于预测表征向量所对应的运行数据为正常运行数据的可能性，所述第一预测结果包括强标签预测结果，所述强标签预测结果用于表征所述电池是否异常和/或所述电池出现异常的类型，所述第二预测结果包括弱标签预测结果，所述弱标签预测结果包括电池已使用总时间、电池有效容量、电池循环圈数、电池型号、所述电池的车辆已行驶里程、所述电池的车辆使用年限、所述车辆质保状态中的至少一者。
2.如权利要求1所述的方法，其特征在于，在所述根据第一运行数据和预设的第一模型确定第一表征向量之后，还包括：
根据所述第一表征向量、所述第一运行数据和第三中间模型确定所述第一运行数据的第三预测结果。
3.如权利要求1或2所述的方法，其特征在于，还包括所述第二模型的优化步骤，所述第二模型的优化步骤包括：
根据第二运行数据和所述第一模型确定第二表征向量；
根据所述第二表征向量和第二初始模型确定所述第二运行数据的第一预测结果，并根据所述第二运行数据的第一结果和所述第一预测结果确定第一损失函数；
根据第一损失函数调整所述第二初始模型的超参数，以根据调整后的超参数确定所述第二模型；所述第二初始模型为第三中间模型、第四初始模型、初始阈值模型和初始非参数聚类模型的集成模型。
4.如权利要求3所述的方法，其特征在于，还包括所述第一模型、所述第三中间模型、所述第四初始模型和所述分类器的优化步骤，所述优化步骤包括：
根据第三运行数据和第一初始模型确定第三表征向量、第二损失函数；
根据所述第三表征向量、所述第三运行数据和第三初始模型确定所述第三运行数据的第三预测结果和第三损失函数；
根据所述第三表征向量和初始分类器确定所述第三运行数据的第二预测结果，并根据所述第三表征向量的第二结果和所述第二预测结果确定第四损失函数；
根据所述第二损失函数、第三损失函数和第四损失函数调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，以分别根据调整后的参数确定所述第一模型、所述第三中间模型和所述分类器，并根据所述第三运行数据和所述第一模型确定所述第四初始模型。
5.如权利要求4所述的方法，其特征在于，所述第三运行数据至少包括特征维度和时间维度；所述根据所述第三表征向量、所述第三运行数据和第三初始模型确定所述第三运行数据的第三预测结果和第三损失函数，包括：
根据所述第三表征向量、所述第三运行数据中的部分特征维度对应的特征以及时间维度和第三初始模型确定所述第三运行数据中的其他特征维度对应的特征和第三损失函数。
6.如权利要求4所述的方法，其特征在于，所述根据所述第二损失函数、第三损失函数和第四损失函数调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，包括：
根据所述第二损失函数、第三损失函数和第四损失函数确定整体损失函数；
根据梯度优化器调整所述第一初始模型、所述第三初始模型和所述初始分类器的参数，直至所述整体损失函数收敛。
7.一种异常预测装置，其特征在于，包括：
处理模块，用于对电池的历史运行数据进行预处理，得到第一运行数据，根据第一运行数据和预设的第一模型确定第一表征向量，所述第一运行数据包括所述电池的电芯的电流、电压以及记录数据的时间戳，以使得所述第一运行数据包括多个具有时间序列格式的数据；
第一预测模块，用于根据所述第一表征向量和预设的第二模型确定所述第一运行数据的第一预测结果；
第二预测模块，所述第二预测模块用于根据所述第一表征向量和预设的分类器确定所述第一运行数据的第二预测结果；
其中，所述第一模型为能够应用于时间序列的神经网络模型，所述第二模型为能够基于表征向量进行异常预测的数据模型，所述第二模型为第三模型、第四模型、阈值模型和非参数聚类模型的集成模型，所述第三模型用于将表征向量还原，所述第四模型用于预测表征向量所对应的运行数据为正常运行数据的可能性，所述第一预测结果包括强标签预测结果，所述强标签预测结果用于表征所述电池是否异常和/或所述电池出现异常的类型，所述第二预测结果包括弱标签预测结果，所述弱标签预测结果包括电池已使用总时间、电池有效容量、电池循环圈数、电池型号、所述电池的车辆已行驶里程、所述电池的车辆使用年限、所述车辆质保状态中的至少一者。
CN202110308070.3A 2020-12-25 2021-03-23 异常预测方法及装置 Active CN112766618B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020115631789 2020-12-25
CN202011563178 2020-12-25

Publications (2)

Publication Number Publication Date
CN112766618A CN112766618A (zh) 2021-05-07
CN112766618B true CN112766618B (zh) 2024-02-02

Family

ID=75691403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308070.3A Active CN112766618B (zh) 2020-12-25 2021-03-23 异常预测方法及装置

Country Status (1)

Country Link
CN (1) CN112766618B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255835A (zh) * 2021-06-28 2021-08-13 国能大渡河大数据服务有限公司 一种水电站泵类设备异常检测方法
CN114004313A (zh) * 2021-11-25 2022-02-01 脸萌有限公司 故障gpu的预测方法、装置、电子设备及存储介质
CN116667326B (zh) * 2023-05-30 2024-02-23 淮阴工学院 一种电动汽车充电负荷预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070067A (zh) * 2019-04-29 2019-07-30 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
WO2020143304A1 (zh) * 2019-01-07 2020-07-16 平安科技（深圳）有限公司 损失函数优化方法、装置、计算机设备及存储介质
CN111823952A (zh) * 2020-04-17 2020-10-27 北京嘀嘀无限科技发展有限公司 电芯温度的诊断方法、存储介质和电子设备
CN112068004A (zh) * 2020-09-16 2020-12-11 北京嘀嘀无限科技发展有限公司 一种电池异常、电池充电剩余时间的确定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020143304A1 (zh) * 2019-01-07 2020-07-16 平安科技（深圳）有限公司 损失函数优化方法、装置、计算机设备及存储介质
CN110070067A (zh) * 2019-04-29 2019-07-30 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN111823952A (zh) * 2020-04-17 2020-10-27 北京嘀嘀无限科技发展有限公司 电芯温度的诊断方法、存储介质和电子设备
CN112068004A (zh) * 2020-09-16 2020-12-11 北京嘀嘀无限科技发展有限公司 一种电池异常、电池充电剩余时间的确定方法及装置

Also Published As

Publication number Publication date
CN112766618A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766618B (zh) 异常预测方法及装置
CN109726524B (zh) 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
CN109814529A (zh) 一种列车门故障预测与健康管理系统
CN116757534A (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN110334865B (zh) 一种基于卷积神经网络的电力设备故障率预测方法及系统
CN110794254B (zh) 一种基于强化学习的配电网故障预测方法及系统
CN113760670A (zh) 电缆接头异常预警方法、装置、电子设备和存储介质
CN112882909A (zh) 燃料电池系统故障预测方法、装置
CN113283491A (zh) 一种基于优化深度置信网络的电动汽车交流充电桩的故障诊断方法
Hu et al. A hybrid model for predicting the degradation trend of hydropower units based on deep learning
CN116720324A (zh) 基于预测模型的牵引变电所关键设备故障预警方法及系统
CN114021758A (zh) 一种基于梯度提升决策树与逻辑回归融合的运维人员智能推荐方法和装置
CN113283550A (zh) 一种车网电气耦合数据的异常辨识模型训练方法
CN116106672B (zh) 一种基于数据驱动与工程知识的车网谐振检测方法及装置
CN116664015A (zh) 一种智能充电桩管理系统及其方法
CN115222160B (zh) 一种基于实测大数据的轨道交通牵引负荷预测方法
CN115169650B (zh) 一种大数据分析的装备健康预测方法
CN115828161A (zh) 一种基于循环神经网络的汽车故障类型预测方法及装置
EP3324259A2 (en) Fault signal recovery apparatus and method
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统
CN117272246B (zh) 基于多元回归模型的变压器声纹故障诊断方法及系统
CN117863946A (zh) 基于物联网的充电站的设备控制方法及系统
CN116502156B (zh) 一种换流站光ct异常状态智能辨识方法及系统
CN117056814B (zh) 一种变压器声纹振动故障诊断方法
CN117630672A (zh) 借助变换器模型预测诊断技术设备的设备电池的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant