CN115249059A - 模型训练及异常数据分析方法、装置及计算机存储介质 - Google Patents
模型训练及异常数据分析方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN115249059A CN115249059A CN202110465209.5A CN202110465209A CN115249059A CN 115249059 A CN115249059 A CN 115249059A CN 202110465209 A CN202110465209 A CN 202110465209A CN 115249059 A CN115249059 A CN 115249059A
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- analyzed
- reduction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007405 data analysis Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 239000004065 semiconductor Substances 0.000 claims description 6
- 238000012351 Integrated analysis Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种模型训练及异常数据分析方法、装置及计算机存储介质，主要包括利用编码器针对具有第一维度的样本数据执行编码，获得具有小于第一维度的第二维度的降维数据，提供生成器根据降维数据执行还原预测，输出具有第一维度的还原数据；再提供判别器针对降维数据和还原数据进行判别，并基于判别结果优化编码器和生成器，以训练数据预测模型，并可利用训练好的数据预测模型从待检测数据中找出异常数据。借此，本申请可针对异常数据进行评估，并具有分析准确性高、模型结构复杂度低等优点。
Description
技术领域
本申请实施例涉及数据分析技术领域，特别涉及一种模型训练及异常数据分析方法、装置及计算机存储介质。
背景技术
跨物联网平台上安装的多个传感器，为分析传感器长时间记录的数据特征提供了途径。这些传感器定期记录的结果会生成多维时序数据，分析这类数据可为相关设备制定预测性维护解决方案。预测性维护是指对设备或组件的性能进行监测和评估，并预测设备或组件何时会发生故障。有监督或无监督的机器学习技术均可用于开发预测性维护解决方案。有监督的机器学习技术需要对每一时段获取的数据进行标记，从而会导致解决方案的开发过程非常繁琐；而无监督机器学习技术则无需对数据进行标注，并可对多维时序数据进行分析，以检测异常事件。
传统的异常检测技术十分多样，主流技术包括概率法、基于距离的模型、基于领域的模型、基于重建的方法和信息理论方法等。此外，还有基于时序的异常检测技术，例如自回归集成移动平均模型和状态空间模型等，它们可用于预测下一个数据点，以执行异常判断。
随着无监督表征学习的发展，生成方法凭借其预测数据分布(p)的能力，在一些应用领域被广泛用于异常检测。因此，生成模型的训练目标为对分布(p～≈p)进行建模，任何不遵循分布(p)的样本均被视为异常。
近年来，使用生成方法进行异常检测的研究数量激增，其中的典型例子包括：单类支持向量机(OC-SVM)、神经网络、限制性玻尔兹曼机、变分自编码器、去噪自编码器和生成对抗网络。尽管深度生成方法在图像和视频等高维数据中展现出可观潜力，但其在低维时序数据中进行检测异常的适用性却没有几乎探讨。值得注意的是，时序数据中的时间相关性，将使得多维数据分析中的挑战变得更加复杂。
发明内容
鉴于上述问题，本申请提供一种模型训练及异常数据分析方法、装置及计算机存储介质，可针对异常数据进行评估，并具有分析准确性高，模型结构复杂度低的优点。
本申请第一方面提供一种模型训练方法，其包括训练数据预测模型的编码器，以针对具有第一维度的样本数据执行编码，获得具有第二维度的降维数据，其中，所述第一维度大于所述第二维度；训练所述数据预测模型的生成器，以根据所述降维数据执行还原预测，输出具有所述第一维度的还原数据；训练所述数据预测模型的判别器，以针对所述样本数据和所述还原数据进行判别；以及基于训练后的所述判别器，重复执行所述训练数据预测模型的编码器的步骤和所述训练所述数据预测模型的生成器的步骤，以迭代优化所述编码器和所述生成器。
本申请第二方面提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述第一方面所述的模型训练方法的各所述步骤的指令。
本申请第三方面提供一种异常数据分析方法，其包括获取具有第一维度的待分析数据；利用根据上述第一方面所述的模型训练方法所训练的所述数据预测模型针对所述待分析数据执行编码，获得具有小于所述第一维度的所述第二维度的所述降维数据，并针对所述降维数据执行还原预测，获得具有所述第一维度的所述还原数据；根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据。
本申请第四方面提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述第三方面所述的异常数据分析方法的各所述步骤的指令。
本申请第五方面提供一种模型训练装置，其包括模型构建模块，用于构建数据预测模型的编码器、生成器、判别器；模型训练模块，用于提供所述编码器针对具有第一维度的样本数据执行编码，获得具有小于所述第一维度的第二维度的降维数据，以训练所述编码器；并提供所述生成器根据所述降维数据执行还原预测，输出具有所述第一维度的还原数据，以训练所述生成器；再提供所述判别器针对所述降维数据和所述还原数据进行判别，以训练所述判别器，且基于训练后的所述判别器，迭代优化所述编码器和所述生成器。
本申请第六方面提供一种异常数据分析装置，其包括：获取模块，用于获取具有第一维度的待分析数据；预测模块，用于利用上述第五方面所述的模型训练装置所训练的所述数据预测模型针对所述待分析数据执行编码，获得具有小于所述第一维度的所述第二维度的所述降维数据，并针对所述降维数据执行还原预测，获得具有所述第一维度的所述还原数据；分析模块，用于根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据。
综上所述，本申请实施例的模型训练及异常数据分析方法、装置及计算机存储介质在对抗生成网络的基础上，通过学习待分析数据和降维数据空间的对应关系，以判断各待分析数据是否符合正常数据的分布规律进而判断待分析数据是否存在异常，借此，本申请在模型训练过程中，无需异常数据样本或仅需少量的异常数据样本，即可针对未出现的异常信号进行准确的评估。
再者，本申请实施例训练的数据预测模型具有结构简单，计算复杂度低，易于实施的优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请第一实施例的模型训练方法的流程示意图。
图2为本申请第三实施例的异常数据分析方法的流程示意图。
图3为本申请第四实施例的异常数据分析方法的流程示意图。
图4为本申请第六实施例的模型训练装置的架构示意图。
图5为本申请第七实施例的异常数据分析装置的架构示意图。
元件标号
400：模型训练装置；402：模型构建模块；404：模型训练模块；410：数据预测模型；412：编码器；414：生成器；416：判别器；500：异常数据分析装置；502：获取模块；504：预测模块；506：分析模块。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
在生产设备运行的过程中，存在着大量的传感器数据，例如，电流、电压、温度、震动等。如果这些数据发生异常而没有发现并进行及时的调整，将导致生产产品的品质降低，废品率提高，甚至导致严重的生产事故，比如化工企业的爆炸等。但如果是正常的数据却产生了异常的判读，则会导致无故停工，产能下降等问题。此外，还有些极个别情况，例如所有的指标都在正常范围以内，然而这些正常指标之间的某些组合将会产生严重的问题。
因此，如何有效的判断生产过程数据中存在的异常，一直是业界面临的一个挑战。有鉴于此，本申请实施例提供一种模型训练方法及异常数据分析方法、装置及计算机存储介质，可以改善上述技术问题。
第一实施例
图1为本申请第一实施例的模型训练方法的流程示意图。
本申请实施例的模型训练方法主要用于训练数据预测模型，其中，数据预测模型主要包括有编码器、生成器和判别器。
如图所示，本实施例的模型训练方法主要包括：
步骤S102，训练数据预测模型的编码器，以针对具有第一维度的样本数据执行编码，获得具有第二维度的降维数据。
于本实施例中，第一维度大于第二维度。
于本实施例中，数据预测模型的编码器用于将具有第一维度的样本数据转换具有第二维度的降维数据(亦可称为隐数据)，借以消除样本数据中的冗余以及消除样本数据中可能存在的噪音。
可选地，样本数据可为各种类型的传感器数据，例如，电流数据、电压数据、温度数据、震动数据等，本申请对此不作限制。
步骤S104，训练数据预测模型的生成器，以根据降维数据执行还原预测，输出具有第一维度的还原数据。
于本实施例中，数据预测模型的生成器用于执行数据还原预测，亦即，将编码器所生成的第二维度的降维数据执行还原预测，以输出与样本数据具有相同的第一维度的还原数据。
步骤S106，训练数据预测模型的判别器，以针对样本数据和还原数据进行判别。
具体地，可将实际的样本数据作为真数据，并将生成器生成的还原数据作为假数据，以供数据预测模型的判别器针对样本数据和还原数据执行真假判别。
步骤S108，判别器是否满足预设收敛条件，若是，则退出本流程，若否，则返回执行步骤S102。
于本实施例中，可基于训练后的判别器，重复执行训练数据预测模型的编码器的步骤和训练数据预测模型的生成器的步骤，以优化编码器和生成器，直至判别器是否满足预设收敛条件为止。
具体地，可根据判别器输出的判别结果，若判别结果不满足预设收敛条件，则重复训练编码器和生成器以针对编码器和生成器进行迭代优化，若判别结果不满足预设收敛条件，则代表数据预测模型的训练已完成，即退出本流程。
于本实施例中，可在当判别器无法区分出样本数据和还原数据时，亦即，生成器所预测出的还原数据达到了以假乱真的程度，则代表判别器已满足预设收敛条件，编码器和生成器的训练完成。
综上所述，本申请实施例的模型训练方法所训练的数据预测模型可针对样本数据执行降维处理，再针对降维的数据执行还原预测，具有模型结构复杂度低，计算简单，易于大规模部署的优点。
第二实施例
本申请第二实施例提供一种计算机存储介质，在计算机存储介质中存储有用于执行上述第一实施例所述的模型训练方法的各所述步骤的指令。
第三实施例
图2示出了本申请第三实施例的异常数据分析方法的流程示意图。如图所示，本实施例的异常数据分析方法主要包括：
步骤S202,获取具有第一维度的待分析数据。
于本实施例中，待分析数据包括从半导体制造工艺中获得的任意类型的半导体制造数据。
步骤204，利用模型训练方法所训练的数据预测模型针对待分析数据执行编码，获得具有小于第一维度的第二维度的降维数据，并针对降维数据执行还原预测，获得具有第一维度的还原数据。
具体地，可利用根据上述第一实施例的模型训练方法所训练完成的数据预测模型中的编码器针对待分析数据执行编码，以获得具有第二维度的降维数据，借以消除待分析数据中的冗余和可能存在的噪音，而后，再利用数据预测模型中的生成器针对编码器输出的降维数据执行还原预测，生成具有第一维度的还原数据。
步骤S206，根据待分析数据和还原数据，获得待分析数据中的异常数据。
于本实施例中，可通过计算待分析数据和还原数据之间的欧氏距离，相似度等，以判断待分析数据是否存在异常。
第四实施例
图3示出了本申请第四实施例的异常数据分析方法的流程示意图。本实施例主要示出了上述步骤S206的具体实施方案，如图所示，本实施例的异常数据分析方法主要包括以下：
步骤S302，基于第一预设换算规则、待分析数据、还原数据，计算待分析数据和还原数据之间的欧式距离，获得待分析数据的欧式距离值。
于本实施例中，可利用差分函数LG来计算待分析数据和还原数据之间的欧氏距离，以作为待分析数据是否为异常数据的一个判断依据。
于本实施例中，第一预设换算规则表示为：
LG(x)＝||x-G(E(x))||n
其中，LG表示待分析数据的欧式距离值，x表示待分析数据，E(x)表示具有第二维度的降维数据(亦即，数据预测模型的编码器的输出结果)，G(E(x))表示具有第一维度的还原数据(亦即，数据预测模型的生成器的输出结果)。
于本实施例中，n的取值范围可为1、2或∞。
步骤S304，基于第二预设换算规则、待分析数据、还原数据，计算待分析数据和还原数据之间的相似度，获得待分析数据的相似度值。
于本实施例中，可利用差分函数LJ来计算待分析数据和还原数据之间的相似度(相关性)，以作为待分析数据是否为异常数据的另一个判断依据。
于本实施例中，第二预设换算规则表示为：
LJ(x)＝σ(J(x，E(x))，1)
其中，LJ表示待分析数据的相似度值，x表示待分析数据，E(x)表示具有第二维度的降维数据，G(E(x))表示具有第一维度的还原数据，σ为判别器的交叉熵损失函数。
于本实施例中，σ的取值范围可介于0至1之间。
其中，LJ(x)越接近于1，则表示待分析数据与还原数据之间的相似度越低；反之，LJ(x)越接近于0，则表示待分析数据与还原数据之间的相似度越高。
步骤S306，基于第三换算规则、欧氏距离值、相似度值，获得待分析数据的综合分析值。
于本实施例中，第三换算规则表示为：
A(x)＝αLG(x)+(1-α)LJ(x)
其中，A(x)表示待分析数据的综合分析值；α为权重参数，其取值范围可介于0至1之间，LG(x)表示待分析数据的欧式距离(即上述步骤S302的计算结果)，LJ(x)表示待分析数据的相似度值(即上述步骤S304的计算结果)。
步骤308，根据综合分析值和预设阈值，若综合分析值大于预设阈值，获得待分析数据为异常数据的分析结果。
于本实施例中，预设阈值可依据实际的待分析数据的数据类型进行设定，本申请对此不作限制。
具体地，可在当综合分析值大于预设阈值时，即判断待分析数据为异常数据，反之，在当综合分析值不大于预设阈值时，即判断待分析数据为正常数据。
综上所述，本申请第三实施例和第四实施例提供的异常数据分析方法，无需异常的样本数据，仅通过学习正常的样本数据，即可判断待分析数据是否发生了异常，且具有判断准确性高的优点。
第五实施例
本申请第五实施例提供了一种计算机存储介质，其中存储有用于执行上述第三实施例或第四实施例所述的异常数据分析方法的各所述步骤的指令。
第六实施例
图4示出了本申请第六实施例的模型训练装置的架构示意图。
如图所示，本实施例的模型训练装置400主要包括模型构建模块402、模型训练模块404。
模型构建模块402用于构建数据预测模型410的编码器412、生成器414、判别器416。
模型训练模块404用于提供所述编码器412针对具有第一维度的样本数据执行编码，获得具有小于所述第一维度的第二维度的降维数据，以训练所述编码器412；并提供所述生成器414根据所述降维数据执行还原预测，输出具有所述第一维度的还原数据，以训练所述生成器414；再提供所述判别器416针对所述降维数据和所述还原数据进行判别，以训练所述判别器416，且基于训练后的所述判别器416，迭代优化所述编码器412和所述生成器414。
可选地，可基于训练后的所述判别器416，迭代优化所述编码器412和所述生成器414，直至训练后的所述判别器416无法区分所述样本数据和所述还原数据为止。
第七实施例
图5示出了本申请第七实施例的异常数据分析装置的架构示意图。如图所示，本实施例的异常数据分析装置500主要包括获取模块502、预测模块504、分析模块506。
获取模块502用于获取具有第一维度的待分析数据。
预测模块504用于利用上述第六实施例所述的模型训练装置400所训练的所述数据预测模型410针对所述待分析数据执行编码，获得具有小于所述第一维度的所述第二维度的所述降维数据，并针对所述降维数据执行还原预测，获得具有所述第一维度的所述还原数据。
分析模块506用于根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据。
可选地，所述待分析数据包括从半导体制造工艺中获得的任意类型的半导体制造数据。
可选地，所述分析模块506还包括：基于第一预设换算规则、所述待分析数据、所述还原数据，计算所述待分析数据和所述还原数据之间的欧式距离，获得所述待分析数据的欧式距离值。
可选地，所述分析模块506还包括基于第二预设换算规则、所述待分析数据、所述还原数据，计算所述待分析数据和所述还原数据之间的相似度，获得所述待分析数据的相似度值。
可选地，所述分析模块506还包括基于第三换算规则、所述欧氏距离值、所述相似度值，获得所述待分析数据的综合分析值，并根据所述综合分析值和预设阈值，若所述综合分析值大于所述预设阈值，获得所述待分析数据为所述异常数据的分析结果。
综上所述，本申请提供的模型训练方法及异常数据分析方法、装置及计算机存储介质，在模型训练过程中，无需异常样本数据，即可针对未出现的异常数据进行准确地评估。
再者，本申请提供的模型训练方法及异常数据分析方法、装置及计算机存储介质，具有模型结构简单，计算复杂度低，方便大规模实施的优点。
最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种模型训练方法，其特征在于，包括：
训练数据预测模型的编码器，以针对具有第一维度的样本数据执行编码，获得具有第二维度的降维数据，其中，所述第一维度大于所述第二维度；
训练所述数据预测模型的生成器，以根据所述降维数据执行还原预测，输出具有所述第一维度的还原数据；
训练所述数据预测模型的判别器，以针对所述样本数据和所述还原数据进行判别；以及
基于训练后的所述判别器，重复执行所述训练数据预测模型的编码器的步骤和所述训练所述数据预测模型的生成器的步骤，以迭代优化所述编码器和所述生成器。
2.根据权利要求1所述的模型训练方法，其特征在于，所述基于训练后的所述判别器，重复执行所述训练数据预测模型的编码器的步骤和所述训练所述数据预测模型的生成器的步骤包括：
基于训练后的所述判别器，重复执行所述训练数据预测模型的编码器的步骤和所述训练所述数据预测模型的生成器的步骤，直至训练后的所述判别器无法区分所述样本数据和所述还原数据为止。
3.一种异常数据分析方法，其特征在于，包括：
获取具有第一维度的待分析数据；
利用根据权利要求1至3中任一项所述的模型训练方法所训练的所述数据预测模型针对所述待分析数据执行编码，获得具有小于所述第一维度的所述第二维度的所述降维数据，并针对所述降维数据执行还原预测，获得具有所述第一维度的所述还原数据；
根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据。
4.根据权利要求3所述的模型训练方法，其特征在于，所述待分析数据包括从半导体制造工艺中获得的任意类型的半导体制造数据。
5.根据权利要求3所述的异常数据分析方法，其特征在于，所述根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据包括：
基于第一预设换算规则、所述待分析数据、所述还原数据，计算所述待分析数据和所述还原数据之间的欧式距离，获得所述待分析数据的欧式距离值；
所述第一预设换算规则表示为：
LG(x)＝||x-G(E(x))||n
其中，所述LG表示所述待分析数据的所述欧式距离值，所述x表示所述待分析数据，所述E(x)表示具有所述第二维度的所述降维数据，所述G(E(x))表示具有所述第一维度的所述还原数据,所述n的取值范围可为1、2、∞中的任一个。
6.根据权利要求5所述的异常数据分析方法，其特征在于，所述根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据还包括：
基于第二预设换算规则、所述待分析数据、所述还原数据，计算所述待分析数据和所述还原数据之间的相似度，获得所述待分析数据的相似度值；
所述第二预设换算规则表示为：
LJ(x)＝σ(J(x,E(x)),1)
其中，所述LJ表示所述待分析数据的所述相似度值，所述x表示所述待分析数据，所述E(x)表示具有所述第二维度的所述降维数据，所述G(E(x))表示具有所述第一维度的所述还原数据，σ为所述判别器的交叉熵损失函数，所述σ的取值范围介于0至1之间；
其中，所述LJ(x)越接近于1，表示所述待分析数据与所述还原数据之间的相似度越低；所述LJ(x)越接近于0，表示所述待分析数据与所述还原数据之间的相似度越高。
7.根据权利要求6所述的异常数据分析方法，其特征在于，所述根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据还包括：
基于第三换算规则、所述欧氏距离值、所述相似度值，获得所述待分析数据的综合分析值；以及
根据所述综合分析值和预设阈值，若所述综合分析值大于所述预设阈值，获得所述待分析数据为所述异常数据的分析结果；
所述第三换算规则表示为：
A(x)＝αLG(x)+(1-α)LJ(x)
其中，所述A(x)表示所述待分析数据的所述综合分析值；所述α为权重参数并介于0至1之间，所述LG(x)表示所述待分析数据的所述欧式距离，所述LJ(x)表示所述待分析数据的所述相似度值。
8.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行根据权利要求1至2中任一项所述的模型训练方法的各所述步骤的指令；或所述计算机存储介质中存储有用于执行根据权利要3至7中任一项所述的异常数据分析方法的各所述步骤的指令。
9.一种模型训练装置，其特征在于，包括：
模型构建模块，用于构建数据预测模型的编码器、生成器、判别器；
模型训练模块，用于提供所述编码器针对具有第一维度的样本数据执行编码，获得具有小于所述第一维度的第二维度的降维数据，以训练所述编码器；并提供所述生成器根据所述降维数据执行还原预测，输出具有所述第一维度的还原数据，以训练所述生成器；再提供所述判别器针对所述降维数据和所述还原数据进行判别，以训练所述判别器，且基于训练后的所述判别器，迭代优化所述编码器和所述生成器。
10.一种异常数据分析装置，其特征在于，包括：
获取模块，用于获取具有第一维度的待分析数据；
预测模块，用于利用根据权利要求9所述的模型训练装置所训练的所述数据预测模型针对所述待分析数据执行编码，获得具有小于所述第一维度的所述第二维度的所述降维数据，并针对所述降维数据执行还原预测，获得具有所述第一维度的所述还原数据；
分析模块，用于根据所述待分析数据和所述还原数据，获得所述待分析数据中的异常数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110465209.5A CN115249059A (zh) | 2021-04-27 | 2021-04-27 | 模型训练及异常数据分析方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110465209.5A CN115249059A (zh) | 2021-04-27 | 2021-04-27 | 模型训练及异常数据分析方法、装置及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115249059A true CN115249059A (zh) | 2022-10-28 |
Family
ID=83696494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110465209.5A Pending CN115249059A (zh) | 2021-04-27 | 2021-04-27 | 模型训练及异常数据分析方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115249059A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993319A (zh) * | 2023-07-14 | 2023-11-03 | 南京先维信息技术有限公司 | 一种基于物联网的远程设备健康监测方法及装置 |
-
2021
- 2021-04-27 CN CN202110465209.5A patent/CN115249059A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993319A (zh) * | 2023-07-14 | 2023-11-03 | 南京先维信息技术有限公司 | 一种基于物联网的远程设备健康监测方法及装置 |
| CN116993319B (zh) * | 2023-07-14 | 2024-01-26 | 南京先维信息技术有限公司 | 一种基于物联网的远程设备健康监测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7223839B2 (ja) | 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム | |
| CN111353482B (zh) | 一种基于lstm的疲劳因子隐性异常检测及故障诊断方法 | |
| JP6740247B2 (ja) | 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法 | |
| US10977568B2 (en) | Information processing apparatus, diagnosis method, and program | |
| Zhang et al. | Degradation modeling and maintenance decisions based on Bayesian belief networks | |
| US20150219530A1 (en) | Systems and methods for event detection and diagnosis | |
| JP5868216B2 (ja) | クラスタリング装置及びクラスタリングプログラム | |
| US20110191076A1 (en) | Error detection method and system | |
| CN113076975A (zh) | 一种基于无监督学习的大坝安全监测数据异常检测方法 | |
| Soleimani‐Babakamali et al. | Toward a general unsupervised novelty detection framework in structural health monitoring | |
| CN111241673A (zh) | 用于噪声环境工业设备的健康状态预测方法 | |
| Yang et al. | An incipient fault diagnosis methodology using local Mahalanobis distance: Detection process based on empirical probability density estimation | |
| Losi et al. | Anomaly detection in gas turbine time series by means of bayesian hierarchical models | |
| CN110083593B (zh) | 电站运行参数清洗及修复方法、修复系统 | |
| Hong et al. | The entropy and PCA based anomaly prediction in data streams | |
| Gu et al. | An improved sensor fault diagnosis scheme based on TA-LSSVM and ECOC-SVM | |
| CN117131110B (zh) | 一种基于关联分析的容性设备介质损耗监测方法及系统 | |
| Dong et al. | A novel quality-related incipient fault detection method based on canonical variate analysis and Kullback–Leibler divergence for large-scale industrial processes | |
| Li et al. | Canonical variate analysis, probability approach and support vector regression for fault identification and failure time prediction | |
| CN115249059A (zh) | 模型训练及异常数据分析方法、装置及计算机存储介质 | |
| JP7173284B2 (ja) | イベント監視装置、方法及びプログラム | |
| CN113792776A (zh) | 面向网络安全异常检测中深度学习模型的解释方法 | |
| Yang et al. | Empirical probability density cumulative sum for incipient fault detection | |
| Liu et al. | Online anomaly detection with streaming data based on fine-grained feature forecasting | |
| US11556555B2 (en) | Automatic data-screening framework and preprocessing pipeline to support ML-based prognostic surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240403 Address after: No. 101, Building 7, Jinyuan Community, No. 38 Hetai Road, Yuetang Street, Hetang District, Zhuzhou City, Hunan Province, 2011 Applicant after: Zhuzhou Yawen Technology Co.,Ltd. Country or region after: China Address before: 201821 Room 1119, Building A, No. 1355, Chengbei Road, Jiading Industrial Zone, Jiading District, Shanghai Applicant before: Shanghai Lianlu Semiconductor Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240411 Address after: 201508 1st floor, No. 1000, Tingwei Road, Jinshan District, Shanghai (Bay area science and Innovation Center) Applicant after: Shanghai Ruisiheguang Semiconductor Technology Co.,Ltd. Country or region after: China Address before: No. 101, Building 7, Jinyuan Community, No. 38 Hetai Road, Yuetang Street, Hetang District, Zhuzhou City, Hunan Province, 2011 Applicant before: Zhuzhou Yawen Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |