CN113051445A - 工业生产数据处理方法、装置、计算机设备和存储介质 - Google Patents
工业生产数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113051445A CN113051445A CN201911380369.9A CN201911380369A CN113051445A CN 113051445 A CN113051445 A CN 113051445A CN 201911380369 A CN201911380369 A CN 201911380369A CN 113051445 A CN113051445 A CN 113051445A
- Authority
- CN
- China
- Prior art keywords
- data
- industrial production
- threshold parameter
- filtering
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009776 industrial production Methods 0.000 title claims abstract description 187
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 271
- 238000007405 data analysis Methods 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 33
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 230000003321 amplification Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种工业生产数据处理方法、装置、计算机设备和存储介质，获取当前时间点基于预设数据分析模得到的数据过滤阈值参数，根据该数据过滤阈值参数，采集、并过滤工业生产数据，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。通过改变模型的输入，优化数据过滤阈值参数，将优化后的数据过滤阈值参数用于下一次的数据采集和数据过滤，以此方式循环，不断提高数据过滤阈值参数的合理性和准确性，优化“垃圾”数据过滤，减少不必要的资源损耗。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种工业生产数据处理方法、装置、计算机设备和存储介质。
背景技术
在工业现场的边缘计算网关中进行边缘侧数据采集、处理及传输是实现工业互联网平台整体功能的关键场景。
目前，随着工业物联随着工业互联网的蓬勃发展，工业设备产生的工业生产数据呈现大幅度的增长趋势，随之而来的是对数据采集、边缘分析和数据传输等模块性能的巨大考验。由于存在大量的“垃圾”数据，占用了相当高比例的数据采集、数据计算以及数据传输等资源，造成了不必要的资源损耗。
因此，需要提供一种能够减少不必要的资源损耗的工业生产数据处理方案。
发明内容
基于此，有必要针对由于采集传输大量“垃圾”数据，造成不必要的资源损耗的问题，提供一种能够减少不必要的资源损耗的工业生产数据处理方法、装置、计算机设备和存储介质。
一种工业生产数据处理方法，方法包括：
获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数；
根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
在其中一个实施例中，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据包括：
根据数据过滤阈值参数，调整预设的规则过滤引擎；
根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
在其中一个实施例中，将过滤后的工业生产数据输入至预设数据分析模型包括：
根据工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取预设数据分析模型；
将过滤后的工业生产数据输入至选取出的预设数据分析模型。
在其中一个实施例中，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数包括：
根据过滤后的工业生产数据，拟合概率密度分布曲线；
根据预设置信度，选取概率密度分布曲线的上下分位数；
基于选取的上下分位数和预设放大系数，得到更新后的数据过滤阈值参数。
在其中一个实施例中，获取当前时间点的数据过滤阈值参数包括：
提取预设时间段内的历史工业生产数据；
对历史工业生产数据进行数据预处理；
将数据预处理后的历史工业生产数据输入至预设数据分析模型，以使预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
在其中一个实施例中，预设数据分析模型进行阈值学习，生成数据过滤阈值参数包括：
根据数据预处理后的历史工业生产数据，拟合概率密度分布曲线；
基于所述概率密度分布曲线和预设置信度，选取上下分位数；
根据选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
在其中一个实施例中，对历史工业生产数据进行数据预处理包括：
清除历史工业生产数据中的故障数据、停机数据以及离群值。
一种工业生产数据处理装置，装置包括：
参数获取模块，用于获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数；
数据处理模块，用于根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
参数更新模块，用于将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
循环处理模块，用于当到达下一时间点时，控制数据处理模块重新执行根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的操作。
在其中一个实施例中，数据处理模块还用于根据数据过滤阈值参数，调整预设的规则过滤引擎，规则过滤引擎部署于边缘侧功能模块，根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数；
根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数；
根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
上述工业生产数据处理方法、装置、计算机设备和存储介质，获取当前时间点的基于预设数据分析模得到的数据过滤阈值参数，预设数据分析模型基于业务计划数据和历史工业生产数据训练构建，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。上述过程，通过将过滤后的工业生产数据输入到数据分析模型，以使模型根据过滤后的数据优化数据过滤阈值参数，得到更新后的数据过滤阈值参数，再将优化更新后的数据过滤阈值参数指导下一次的数据采集和数据过滤，以此方式循环，不断提高数据过滤阈值参数的合理性和准确性，进而能够不断优化“垃圾”数据的过滤，减少不必要的资源损耗。
附图说明
图1为一个实施例中工业生产数据处理方法的应用环境图；
图2为一个实施例中工业生产数据处理方法的流程示意图；
图3为另一个实施例中工业生产数据处理方法的流程示意图；
图4为一个实施例中得到当前时间点的数据过滤阈值参数步骤的流程示意图；
图5为一个实施例中工业生产数据处理装置的结构框图；
图6为另一个实施例中工业生产数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的工业生产数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。具体的，可以是用户于终端102的图形界面进行操作，通过终端102发送数据处理消息至服务器102，服务器102接收该消息，获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数，然后，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据，再将过滤后的工业生产数据输入至预设数据分析模型，以训练模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，等待下一时间点的到来，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。其中终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在其中一个实施例中，如图2所示，提供了一种工业生产数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S200，获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数。
数据过滤阈值参数即用于指导数据采集、数据分析以及过滤的上限值和下限值，其更多的是一个范围值。业务计划数据包括生产计划和生产内容，其中，生产计划主要包括工业生产的产量与质量要求、工期要求、生产单元范围及任务划分、交付要求等，生产内容主要指具体某次生产任务的产出物，且业务计划数据是才构建数据分析模型之初，通过MES系统获取得到，并将其配置于数据分析模型，用于指导模型的数据过滤阈值参数的生成过程。以基于工业物联网平台的数据采集、分析和传输工业数据为例，数据分析模型可以是部署在云端的智能的数据分析模型，也可以是部署于服务器的数据处理逻辑中的模型，该模型基于历史工业生产数据和业务计划数据构建，用于根据预设业务计划数据，针对工业生产数据，生成数据过滤阈值参数，得到数据过滤阈值参数之后，再将生成的数据过滤阈值参数下发至边缘侧的数据采集模块、数据过滤模块以及数据传输模块等功能模块。
步骤S400，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据。
工业生产数据是指由工业现场由各工业设备提供的生产数据，工业设备会实时将其产生的工业生产数据上传至工业互联网的边缘侧。由于边缘侧靠近数据源头的一侧，其需要采集传输处理的数据量非常大，其中不乏包括大量的“垃圾”数据，因此，需要及时对数据进行过滤处理，保证数据的质量。本实施例中，当获取到当前时间点的数据过滤阈值参数之后，便根据当前时间点的数据过滤阈值参数采集由工业生产设备实时上传到边缘侧的工业生产数据，同时，实时根据对采集到的工业生产数据进行过滤处理，以及时清理出大量的“垃圾数据”。
步骤S600，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数。
如上述实施例，在根据数据过滤阈值参数过滤工业生产数据之后，得到过滤后的工业生产数据。由于，数据过滤阈值参数的初始值为一个粗略值，在实际的数据采集和数据过滤过程中，每经历一次的数据过滤，可能只过滤掉一小部分重复数据或非必要的数据。为了能够有效地清楚冗余数据，该数据过滤阈值参数需要不断进行优化。可以是将过滤后的工业生产数据再次输入至数据分析模型中，以使数据分析模型再次根据过滤后的工业生产数据进行相应处理，重新生成数据过滤阈值参数，得到更新后的数据过滤阈值参数，同时，将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，等待下一时间点的到来。具体的，数据分析模型根据过滤后的工业生产数据进行相应处理，重新生成数据过滤阈值参数可以是根据过滤后的工业生产数据，拟合概率密度分布曲线，根据预设置信度，选取概率密度分布曲线的上下分位数，基于选取的上下分位数和预设放大系数，得到更新后的数据过滤阈值参数。
步骤S800，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
在实际应用中，数据过滤阈值参数的更新是一个不断循环优化的过程。当完成上一轮的数据过滤阈值参数更新后，下一时间点到来时，则根据更新后的数据过滤阈值参数继续采集、并过滤工业生产数据，以此方式，进行递归，不断优化数据过滤阈值参数。
上述工业生产数据处理方法中，获取当前时间点的基于预设的数据分析模得到的数据过滤阈值参数，预设数据分析模型基于业务计划数据和历史工业生产数据训练构建，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。上述过程，通过将过滤后的工业生产数据输入到数据分析模型，以使模型根据过滤后的数据优化数据过滤阈值参数，得到更新后的数据过滤阈值参数，再将优化更新后的数据过滤阈值参数指导下一次的数据采集和数据过滤，以此方式循环，不断提高数据过滤阈值参数的合理性和准确性，进而能够不断优化“垃圾”数据的过滤，减少不必要的资源损耗。进一步的，数据分析模型可以根据业务计划等输入信息准确预估生产数据数量及质量趋势。
在其中一个实施例中，如图3所示，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据包括：步骤S420，根据数据过滤阈值参数，调整预设的规则过滤引擎，根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
规则过滤引擎是指用于数据过滤的规则引擎，属于规则引擎的一种。规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，其实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。规则引擎具体执行可以分为接受数据输入，解释业务规则，根据业务规则做出业务决策几个过程。使用规则引擎可以把复杂、冗余的业务规则同整个支撑系统分离开，做到架构的可复用移植。在实际应用中，由于采集到的数据会包括大量重复数据以及不符合生产计划和生产内容的非必要的数据，因此，在边缘侧的数据采集、数据分析和数据传输等功能模块前部署规则过滤引擎，以过滤重复数据和非必要数据。具体实施时，数据采集和数据过滤过程可以是根据数据过滤阈值参数，调整部署好的规则过滤引擎，即按照数据过滤阈值参数，在规则过滤引擎中设置对应的各项过滤参数，然后，根据调整后的规则过滤引擎，采集各阶段的工业生产数据，同时，根据调整后的规则过滤引擎过滤采集到的工业生产数据中的重复数据以及非必要数据。本实施例中，通过规则过滤引擎进行数据的过滤，能够将数据的过滤从整个业务系统中分离出来，降低实现数据过滤业务逻辑的复杂性，且能提高可扩展性。
在其中一个实施例中，如图4所示，获取当前时间点的数据过滤阈值参数包括：
步骤S100，提取预设时间段内的历史工业生产数据；
步骤S120，对历史工业生产数据进行数据预处理；
步骤S140，将数据预处理后的历史工业生产数据输入至预设数据分析模型，以使预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
具体实施时，数据过滤阈值参数的更新过程是由数据分析模型生成数据过滤阈值参数初始值，然后将根据数据过滤阈值参数初始值过滤后的工业生产数据，输入至数据分析模型，训练模型，以更新数据过滤阈值参数，按此方式不断循环优化。因此，本实施例中，数据过滤阈值参数的得到方式，可以是先根据配置好的时间参数，提取Th时间段内的历史工业生产数据，由于提取出的历史数据中也包含大量的冗余数据和非必要数据，且数据分析模型对于输入数据有一定的要求，因此，需要对提取出的历史工业生产数据进行数据预处理。当完成数据预处理之后，将经数据预处理之后的工业生产数据输入至上述预设数据分析模型中，以使预设数据分析模型根据生产内容数据以及生产计划数据进行阈值学习，生成当前时间点的数据过滤阈值参数。当生成当前时间点的数据过滤阈值参数的同时，将该数据过滤阈值参数下发至边缘侧的各功能模块中。本实施例中，通过数据分析模型，能够自动且智能生成数据过滤阈值参数，减少人为干预，提高效率。
在其中一个实施例中，对历史工业生产数据进行数据预处理包括：清除历史工业生产数据中的故障数据、停机数据以及离群值。
具体实施时，数据预处理包括根据故障记录数据，清除历史工业生产数据中的故障数据、根据开停机频率或运行频率，清除停机数据以及并采用拉伊达法清除历史工业生产数据中的离群值。可以理解的是，在其他实施例中，清除离群值还可以是采用箱型图法、4d检验法以及其他方法，在此不做限定。本实施例中，通过数据预处理，能够提高工业生产数据的质量。
在其中一个实施例中，预设数据分析模型进行阈值学习，生成数据过滤阈值参数包括：根据数据预处理后的历史工业生产数据，拟合概率密度分布曲线，基于所述概率密度分布曲线和预设置信度，选取上下分位数，根据选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
概率指事件随机发生的机率，对于均匀分布函数，概率密度等于一段区间(事件的取值范围)的概率除以该段区间的长度，它的值是非负的，可以很大也可以很小。概率密度分布曲线是以变数值为横坐标，以累积频率(概率)为纵坐标的曲线图，即概率分布函数的图形，例如正态曲线等。本实施例中，工业生产数据以温度值为例，对温度值进行过滤，即当采集到一批温度值之后，该批数据中的而每个温度值都有可能成为阈值，也可认为过滤温度值的阈值参数的上限和下限必定是采集到的温度值的某两个，因此，可以是将采集到的所有温度值通过拟合概率密度分布进行可视化，将所有离散的温度值拟合成概率密度分布曲线，然后，基于预先设定的置信度，选取上下分位数，然后，将选取出的上下分位数与预设的放大系数相乘，得到数据过滤阈值参数。进一步的，保存并下发计算出的数据过滤阈值参数。具体的，分位数有二分位及四分位等分法，本实施例中，通过概率密度分布曲线和置信度，能够更加准确地得到数据过滤阈值参数。
在其中一个实施例中，如图3所示，将过滤后的工业生产数据输入至预设数据分析模型包括：步骤S620，根据工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取出对应的预设数据分析模型，将过滤后的工业生产数据输入至选取出的预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数。
在实际应用中，工业生产数据的采集可以工业设备为单位，即每次采集某个具体的工业设备提供的工业生产数据。由于每一种工业生产数据的生产计划数据和生产内容都是不同的，因此，每一种工业生产数据需要对应有特定的数据分析模型进行处理，研发人员事先针对每种工业生产数据都构建好对应的数据分析模型，构建、并预设了模型集合。在将完成工业生产数据的过滤之后，可根据工业生产数据中携带的所属设备标识和所属项目标识，从预设模型集合中选取出对应的数据分析模型，然后将过滤后的工业生产数据输入至选取出的预设数据分析模型进行处理，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数。本实施例中，按照工业生产数据的所属设备标识和所属项目标识，识别出对应的预设数据分析模型进行处理，能够有针对性的分析数据，提高数据处理和预测的准确度。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种工业生产数据处理装置，包括：参数获取模块510、数据处理模块520、参数更新模块530和循环处理模块540，其中：
参数获取模块510，用于获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数。
数据处理模块520，用于根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据。
参数更新模块530，用于将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数。
循环处理模块540，用于当到达下一时间点时，控制数据处理模块重新执行根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的操作。
在其中一个实施例中，数据处理模块520还用于根据数据过滤阈值参数，调整预设的规则过滤引擎，根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
在其中一个实施例中，参数更新模块530还用于根据工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取出对应的预设数据分析模型，将过滤后的工业生产数据输入至选取出的预设数据分析模型。
在其中一个实施例中，如图6所示，装置还包括参数生成模块550，用于提取预设时间段内的历史工业生产数据，对历史工业生产数据进行数据预处理，将数据预处理后的历史工业生产数据输入至预设数据分析模型，以使预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
在其中一个实施例中，参数生成模块550还用于根据数据预处理后的历史工业生产数据，拟合概率密度分布曲线，基于所述概率密度分布曲线和预设置信度，选取上下分位数，根据选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
在其中一个实施例中，参数生成模块550还用于清除历史工业生产数据中的故障数据、停机数据以及离群值。
关于工业生产数据处理装置的具体限定可以参见上文中对于工业生产数据处理方法的限定，在此不再赘述。上述工业生产数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据过滤阈值参数、置信度以及放大系数等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种工业生产数据处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在其中一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据数据过滤阈值参数，调整预设的规则过滤引擎，根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取出对应的预设数据分析模型，将过滤后的工业生产数据输入至选取出的预设数据分析模型。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：提取预设时间段内的历史工业生产数据，对历史工业生产数据进行数据预处理，将数据预处理后的历史工业生产数据输入至预设数据分析模型，以使预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据数据预处理后的历史工业生产数据，拟合概率密度分布曲线，基于所述概率密度分布曲线和预设置信度，选取上下分位数，根据选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：清除历史工业生产数据中的故障数据、停机数据以及离群值。
在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前时间点的数据过滤阈值参数，当前时间点的数据过滤阈值参数基于预设数据分析模型得到，预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数，根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据，将过滤后的工业生产数据输入至预设数据分析模型，得到更新后的数据过滤阈值参数、并将更新后的数据过滤阈值参数作为下一时间点的数据过滤阈值参数，当到达下一时间点时，返回根据当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据数据过滤阈值参数，调整预设的规则过滤引擎，根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取出对应的预设数据分析模型，将过滤后的工业生产数据输入至选取出的预设数据分析模型。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：提取预设时间段内的历史工业生产数据，对历史工业生产数据进行数据预处理，将数据预处理后的历史工业生产数据输入至预设数据分析模型，以使预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据数据预处理后的历史工业生产数据，拟合概率密度分布曲线，基于所述概率密度分布曲线和预设置信度，选取上下分位数，根据选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：清除历史工业生产数据中的故障数据、停机数据以及离群值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种工业生产数据处理方法，所述方法包括：
获取当前时间点的数据过滤阈值参数，所述当前时间点的数据过滤阈值参数基于预设数据分析模型得到，所述预设数据分析模型用于根据预设业务计划数据，针对工业生产数据预测得到数据过滤阈值参数；
根据所述当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
将过滤后的工业生产数据输入至所述预设数据分析模型，得到更新后的所述数据过滤阈值参数、并将更新后的所述数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
当到达下一时间点时，返回所述根据所述当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的步骤。
2.根据权利要求1所述的工业生产数据处理方法，其特征在于，所述根据所述当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据包括：
根据所述数据过滤阈值参数，调整预设的规则过滤引擎；
根据调整后的过滤规则引擎，采集工业生产数据、并对采集到的工业生产数据进行重复数据过滤以及非必要数据过滤。
3.根据权利要求1所述的工业生产数据处理方法，其特征在于，所述将过滤后的工业生产数据输入至所述预设数据分析模型包括：
根据所述工业生产数据中的所属设备标识和所属项目标识，从预设模型集合中选取预设数据分析模型；
将过滤后的工业生产数据输入至选取的预设数据分析模型。
4.根据权利要求1所述的工业生产数据处理方法，其特征在于，将过滤后的工业生产数据输入至所述预设数据分析模型，得到更新后的所述数据过滤阈值参数包括：
根据所述过滤后的工业生产数据，拟合概率密度分布曲线；
根据预设置信度，选取所述概率密度分布曲线的上下分位数；
基于选取的上下分位数和预设放大系数，得到所述更新后的数据过滤阈值参数。
5.根据权利要求1所述的工业生产数据处理方法，其特征在于，所述获取当前时间点的数据过滤阈值参数包括：
提取预设时间段内的历史工业生产数据；
对所述历史工业生产数据进行数据预处理；
将数据预处理后的所述历史工业生产数据输入至预设数据分析模型，以使所述预设数据分析模型进行阈值学习，得到当前时间点的数据过滤阈值参数。
6.根据权利要求5所述的工业生产数据处理方法，其特征在于，预设数据分析模型进行阈值学习，生成数据过滤阈值参数包括：
根据数据预处理后的所述历史工业生产数据，拟合概率密度分布曲线；
根据预设置信度，选取所述概率密度分布曲线的上下分位数；
基于选取的上下分位数和预设放大系数，得到数据过滤阈值参数。
7.根据权利要求5所述的工业生产数据处理方法，其特征在于，所述对所述历史工业生产数据进行数据预处理包括：
清除所述历史工业生产数据中的故障数据、停机数据以及离群值。
8.一种工业生产数据处理装置，其特征在于，所述装置包括：
参数获取模块，用于获取当前时间点的数据过滤阈值参数，所述当前时间点的数据过滤阈值参数基于预设数据分析模型得到,所述预设数据分析模型用于根据预设业务计划数据，针对历史工业生产数据预测得到数据过滤阈值参数；
数据处理模块，用于根据所述当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据；
参数更新模块，用于将过滤后的工业生产数据输入至所述预设数据分析模型，得到更新后的所述数据过滤阈值参数、并将更新后的所述数据过滤阈值参数作为下一时间点的数据过滤阈值参数；
循环处理模块，用于当到达下一时间点时，控制所述数据处理模块重新执行根据所述当前时间点的数据过滤阈值参数，采集、并过滤工业生产数据的操作。
9.一种计算机设备，其特征在于，包括至少一个处理器、至少一个存储器、以及总线；其中，所述处理器与所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911380369.9A CN113051445A (zh) | 2019-12-27 | 2019-12-27 | 工业生产数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911380369.9A CN113051445A (zh) | 2019-12-27 | 2019-12-27 | 工业生产数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113051445A true CN113051445A (zh) | 2021-06-29 |
Family
ID=76506609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911380369.9A Pending CN113051445A (zh) | 2019-12-27 | 2019-12-27 | 工业生产数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051445A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115544319A (zh) * | 2022-11-25 | 2022-12-30 | 上海喆塔信息科技有限公司 | 工业互联网大数据平台及数据处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718754A (zh) * | 2016-03-09 | 2016-06-29 | 中国石油大学(北京) | 一种炼化过程参数动态报警阈值的生成方法及装置 |
| CN106650203A (zh) * | 2016-09-28 | 2017-05-10 | 江西博瑞彤芸科技有限公司 | 参数阈值的动态更新方法 |
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN110442549A (zh) * | 2019-06-19 | 2019-11-12 | 北京航天智造科技发展有限公司 | 一种数据存储装置、工业互联网高并发数据处理系统 |
| CN111694820A (zh) * | 2020-04-27 | 2020-09-22 | 深圳华工能源技术有限公司 | 电力异常数据多重过滤方法、装置、电子设备及存储介质 |
-
2019
- 2019-12-27 CN CN201911380369.9A patent/CN113051445A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133615A1 (zh) * | 2016-02-03 | 2017-08-10 | 腾讯科技（深圳）有限公司 | 一种业务参数获取方法及装置 |
| CN105718754A (zh) * | 2016-03-09 | 2016-06-29 | 中国石油大学(北京) | 一种炼化过程参数动态报警阈值的生成方法及装置 |
| CN106650203A (zh) * | 2016-09-28 | 2017-05-10 | 江西博瑞彤芸科技有限公司 | 参数阈值的动态更新方法 |
| CN110442549A (zh) * | 2019-06-19 | 2019-11-12 | 北京航天智造科技发展有限公司 | 一种数据存储装置、工业互联网高并发数据处理系统 |
| CN111694820A (zh) * | 2020-04-27 | 2020-09-22 | 深圳华工能源技术有限公司 | 电力异常数据多重过滤方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115544319A (zh) * | 2022-11-25 | 2022-12-30 | 上海喆塔信息科技有限公司 | 工业互联网大数据平台及数据处理方法 |
| CN115544319B (zh) * | 2022-11-25 | 2023-03-14 | 上海喆塔信息科技有限公司 | 工业互联网大数据平台及数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bahga et al. | Analyzing massive machine maintenance data in a computing cloud | |
| CN111191871A (zh) | 项目基线数据生成方法、装置、计算机设备和存储介质 | |
| Navadia et al. | Weather prediction: a novel approach for measuring and analyzing weather data | |
| CN113254472B (zh) | 一种参数配置方法、装置、设备及可读存储介质 | |
| CN110084407A (zh) | 基于循环神经网络和元学习策略的负荷预测方法及装置 | |
| CN112052027A (zh) | 一种处理ai任务的方法及装置 | |
| Porteiro et al. | Short term load forecasting of industrial electricity using machine learning | |
| CN113055424B (zh) | 物联网数据采集传输性能优化方法、装置和计算机设备 | |
| CN113051445A (zh) | 工业生产数据处理方法、装置、计算机设备和存储介质 | |
| CN113126576B (zh) | 集输系统能耗优化模型构建方法与集输系统能耗控制方法 | |
| CN117494906A (zh) | 一种基于多元时间序列的天然气日负荷预测方法 | |
| CN115529315B (zh) | 一种云边协同系统 | |
| CN115952996A (zh) | 一种用于云切平台的能耗智能管理方法及系统 | |
| CN116134387B (zh) | 用于确定工业任务的ai模型的压缩率的方法和系统 | |
| CN110837889A (zh) | 神经网络的训练方法及装置、存储介质、电子装置 | |
| CN115576973A (zh) | 一种业务部署方法、装置、计算机设备和可读存储介质 | |
| CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
| CN114385876A (zh) | 一种模型搜索空间生成方法、装置及系统 | |
| CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN114047729A (zh) | 天然植物加工控制方法、系统、计算机设备和存储介质 | |
| CN111783487A (zh) | 一种读卡器设备的故障预警方法及装置 | |
| Velayutham et al. | Artificial Intelligence assisted Canary Testing of Cloud Native RAN in a mobile telecom system | |
| CN117972367B (zh) | 一种数据存储预测方法、数据存储子系统及智能计算平台 | |
| CN111368412B (zh) | 用于护理需求预测的仿真模型构建方法和装置 | |
| CN116910133A (zh) | 多元化数据特征生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |