CN113570066B - 数据处理方法、系统、电子设备及存储介质 - Google Patents
数据处理方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113570066B CN113570066B CN202110838128.5A CN202110838128A CN113570066B CN 113570066 B CN113570066 B CN 113570066B CN 202110838128 A CN202110838128 A CN 202110838128A CN 113570066 B CN113570066 B CN 113570066B
- Authority
- CN
- China
- Prior art keywords
- data
- system control
- control parameter
- parameter data
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000026676 system process Effects 0.000 claims abstract description 5
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000003344 environmental pollutant Substances 0.000 claims description 5
- 239000001301 oxygen Substances 0.000 claims description 5
- 229910052760 oxygen Inorganic materials 0.000 claims description 5
- 231100000719 pollutant Toxicity 0.000 claims description 5
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 26
- 238000012216 screening Methods 0.000 abstract description 24
- 238000004886 process control Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 8
- 238000011217 control strategy Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012369 In process control Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010965 in-process control Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F23—COMBUSTION APPARATUS; COMBUSTION PROCESSES
- F23G—CREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
- F23G5/00—Incineration of waste; Incinerator constructions; Details, accessories or control therefor
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F23—COMBUSTION APPARATUS; COMBUSTION PROCESSES
- F23G—CREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
- F23G5/00—Incineration of waste; Incinerator constructions; Details, accessories or control therefor
- F23G5/50—Control or safety arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供了一种数据处理方法、系统、电子设备及存储介质，数据处理方法包括以下步骤：获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；获取一所述第一系统控制参数数据；获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。本发明的数据处理方法用于处理机器学习的数据样本的筛选，解决工业过程控制中，经验数据样本质量波动较大的问题，有助于提高过程控制机器学习模型的精确度和适用性。
Description
技术领域
本发明涉及数据处理领域，具体地说，涉及一种数据处理方法、系统、电子设备及存储介质。
背景技术
机器学习是对能通过经验自动改进的计算机算法，即用数据或以往的经验优化计算机程序的性能标准，为了机器学习模型的准确性，模型规模不断扩大，其训练所需的数据样本也愈来愈大，机器学习的数据样本的筛选方法变得尤为重要。
专利申请CN112051506A公开了一种相似产品可迁移样本筛选方法，其中包括预处理待测配方相似产品短期循环寿命测试数据得到目标样本数据，预处理其他配方电池全寿测试容量数据得到多个训练数据；通过进行曲线形态筛选、容量退化率相似度筛选、寿命分布相似度筛选和距离度量最小筛选，获得用于跨配方相似产品寿命预测的可迁移样本数据，该专利从不同配方电池的历史全寿测试数据中，获得与被预测电池容量退化规律相似度最高的数据，并迁移应用于被预测电池寿命预测模型的训练，实现了锂动力电池跨配方剩余寿命的准确预测，预测准确度最高可以达到99.9％。
专利申请CN112085404A公开了一种感性工学产品样本筛选方法，包括：确定产品设计目标，搜集产品样本和感性词汇；给产品样本赋予若干个特征属性指标来描述产品样本的特征；采用Jaccard相似系数的计算方法对产品样本进行筛选；通过问卷调查的方法判断得到的产品样本之间的相似程度；将各个相似系数进行一次平均运算，得到最终的样本相似度统计；将所有样本划分为几类，然后再从每一类中挑选出一个产品样本代表用于进一步分析。该申请利用Jaccard相似系数和调查法相结合的方式来筛选样本，在满足使用者情感需求的前提下能做到科学有效，使筛选后的产品样本准确可靠，方便筛选后的设计过程，提高设计效率，改进了传统感性工学在筛选样本过程中存在的模糊性、不明确性问题。
专利申请CN112163634A公开了分割模型样本筛选方法，包括：读取原始数据集，基于主动学习方式从未标注集中挑出信息量大于剩余样本的第一待标注样本，通过人工标注多个第一待标注样本的方式得到第一标注集；基于半监督学习方式从所有剩余样本中挑选出置信度高于设定值的第二待标注样本，通过伪标注第二待标注样本的方式得到第二标注集，将第一标注集、第二标注集及已标注集共同作为训练集。该申请能够在减小样本人工标注量的同时获得大量的用于图像实例分割模型训练的样本，进而能够实现更理想的实例分割模型准确率。
上述公开的几种机器学习样本筛选的方法主要是对数据之间对相似度进行度量，选择相似度高的数据；或者是选出对应固定模型的数据信息量大的样本，而工业控制装置数据样本具有时间规律，每个样本之间不是相互独立的，所以不能以相似度或者信息量等指标作为删选的标准。
除此之外，一般的机器学习数据预处理的方法包括数据筛选过程，但其对数据对态度是不惜所有、尽可能的保留所有数据以最大限度的寻找其背后的规律，这是因为自然产生的数据是有自然规律可以循迹的。然而，工厂状况数据是存在人工因素干扰的，进行样本筛选的目的是基于对数据背后所隐含的工艺逻辑的考量，筛选出对调控结果正确操控的控制策略数据，剔除人工因素导致不良后果的数据，使模型学习到理想的调控策略。若按照传统的机器学习样本筛选方案，容易使模型学到不好的操作经验，且模型也具有一定的滞后性。在人工调节的前后瞬间，工况比较类似，但是对应着两种完全不同的控制状态，影响模型的精度与质量。
人工经验控制得到的样本，往往水平不一，且人工调节具有调节滞后性，导致过程控制的样本的质量参差不齐，若不加选择，容易造成训练获得的机器学习模型精确性和适用性不高的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供了一种数据处理方法、系统、电子设备及存储介质，该数据处理方法用于处理机器学习的数据样本的筛选，解决工业过程控制中，经验数据样本质量波动较大的问题，有助于提高过程控制机器学习模型的精确度和适用性。
本发明的实施例提供了一种数据处理方法，包括以下步骤：
获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
获取一第一系统控制参数数据；
获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
根据本发明的一些示例，所述获取一第一系统控制参数数据步骤包括：
获取用户指令；
根据用户指令确定所述第一系统控制参数；
根据所述第一系统控制参数获取第一系统控制参数数据。
根据本发明的一些示例，所述第一系统控制参数数据的采样周期为T，所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤包括；
获取各个Tk+1时刻对应的第一系统控制参数与Tk时刻对应的第一系统控制参数的差值△k，k≥0；
判断各个差值△k是否大于参数阈值；
如是，则将该差值△k对应的Tk设定为剔除时间点。
根据本发明的一些示例，所述第一系统控制参数数据的执行周期为T2，T2＝nT，n为大于等于1的整数，所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤包括：
获取各个T2i+1时刻对应的第一系统控制参数与T2i时刻对应的第一系统控制参数的差值△i，i≥0；
判断各个差值△i是否大于参数阈值；
如是，则获取该差值△i对应T2i，根据T2i获取对应的Tk时刻，将Tk设定为剔除时间点。
根据本发明的一些示例，所述第一系统控制参数数据的执行周期为T2，T2＝nT，n为大于等于1的整数，所述数据处理方法还包括如下步骤：
从所述过程数据中剔除每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据。
根据本发明的一些示例，所述数据处理方法还包括如下步骤：
将每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据储存为不稳定过程数据。
根据本发明的一些示例，特定时间段T1小于任意两个剔除时间点之间的时间差值。
本发明的实施例还提供了一种数据处理系统，用于实现所述数据处理方法，包括数据采集模块、交互模块、计算模块和执行模块，其中：
所述数据采集模块用于获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
所述交互模块用于获取一所述第一系统控制参数数据；
所述计算模块用于获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
所述执行模块用于从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
根据本发明的一些示例，所述数据处理系统设置于垃圾焚烧炉装置，所述系统控制参数包括垃圾焚烧炉的推料器阀门开度、焚烧炉排速度和焚烧炉排风门开度；
所述系统状态参数包括炉膛氧含量、焚烧炉炉均温度、炉膛主蒸汽流量和污染物排放数据中的至少一种，所述污染物排放数据包括氮氧化物浓度或一氧化碳浓度。
本发明的实施例还提供了一种电子设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述数据处理方法的步骤。
本发明的实施例还提供了一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现所述数据处理方法的步骤。
本发明的数据处理方法用于处理机器学习的数据样本的筛选，针大于工业控制装置的过程数据做处理，其中将过程控制中人工操作系统控制参数的时刻点前一时间段内的样本予以剔除，避免在类似工况下出现两种截然不同的操控经验，提高不同输出值对应的样本区分度，从而提高模型的分类或回归能力。相大于现有的工业控制过程数据处理方法，具有如下优点：
实现对海量的工况数据进行快速批量筛选；
能把滞后和调节过度的人工操作值删除，避免机器学习模型学到不良的人工经验，使模型学习正确的调控策略。
解决工业过程控制中，经验数据样本质量波动较大的问题，提高过程控制机器学习模型的精度与质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，大于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的数据处理方法的流程图；
图2为本发明一实施例的数据处理系统的结构示意图；
图3为本发明一实施例的电子设备的结构示意图；
图4为本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1为本发明一实施例的数据处理方法的流程图，具体包括以下步骤：
S100：获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
S200：获取一第一系统控制参数数据；
S300：获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
S400：从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
本发明的方法适用于工业控制装置，如垃圾焚烧炉装置等。在工业控制装置中，系统实时记录系统控制参数，此处的系统控制参数一般是多个，在每一时刻点，控制系统控制参数与监测到的系统状态参数相对应，整个过程的控制系统控制参数与其对应的系统状态参数构成一过程数据，包括系统控制参数数据和系统状态参数数据，理想地，系统控制参数与系统状态参数相对应，用于训练机器学习模型从而获得训练好的控制策略模型，训练好的控制策略模型在遇到新工况时能智能计算适合该工况的系统控制参数值，实现工业控制装置的精准控制。
但是，在很多工业控制装置中，根据监测到的系统状态参数，经常会出现人工调节一些系统控制参数以使工业控制装置处于正常工作状态的情形，由于这些人工参数调节，工业控制装置的过程数据存在波动较大的问题，或者是人工调节的前后瞬间，系统状态参数比较类似，但是对应着两种完全不同的控制状态，上述过程数据的运用于机器学习模式时将会影响训练的机器学习模型的精度和适用性。
本发明的数据处理方法根据某一个系统控制参数的突变判断是否存在人工调节该系统控制参数的情形，如有，将人工调节时间点前一段时间内的数据剔除，该数据处理方法应用于过程数据采集之后、机器学习模型建立之前，处理后的过程数据有助于提高机器学习的控制策略模型的准确性。
本发明的实施例还提供了一种数据处理系统，用于实现所述数据处理方法，包括数据采集模块M100、交互模块M200、计算模块M300和执行模块M400，其中：
所述数据采集模块M100用于获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
所述交互模块M200用于获取一所述第一系统控制参数数据；
所述计算模块M300用于获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
所述执行模块M400用于从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
实施例的数据处理系统中的各个功能模块的功能实现方式均可以采用上述数据处理方法中各个步骤的具体实施方式来实现。例如，数据采集模块M100、交互模块M200、计算模块M300和执行模块M400可以分别采用上述步骤S100至S400的具体实施方式实现其功能，此处不予赘述。
下文以上述数据处理系统设置于一垃圾焚烧炉装置为例，此时，在垃圾焚烧炉装置中，系统控制参数包括垃圾焚烧炉的推料器阀门开度、焚烧炉排速度和焚烧炉排风门开度等；可以理解的是，推料器与垃圾焚烧炉的入口相连接，连接处设置有可以控制推料量的阀门，推料器阀门开度影响推入垃圾焚烧炉的垃圾的数量，从而影响垃圾焚烧炉入口处垃圾层厚度，焚烧炉排风门开度影响炉膛氧含量，垃圾层厚度、炉膛氧含量、焚烧炉排速度等将影响垃圾焚烧的速度，进而影响焚烧炉炉均温度、炉膛主蒸汽流量和污染物排放浓度等。炉膛氧含量、焚烧炉炉均温度、炉膛主蒸汽流量和污染物排放数据等即为系统状态参数，所述污染物排放数据包括氮氧化物浓度或一氧化碳浓度。
本发明的数据处理方法中，根据记录的某一系统控制参数判断过程控制中该参数是否存在人工的调节，在具体的实施例中，根据哪个系统控制参数剔除部分过程数据可以根据实际工业控制装置的使用场景选择，数据处理系统可以通过交互模块获得获取用户指令，系统再根据用户指令确定所述第一系统控制参数；根据所述第一系统控制参数获取第一系统控制参数数据，即在整个过程控制中各个时间点采集到的该系统控制参数的数值。
在一实施例中，所述第一系统控制参数数据的采样周期为T，即一系统控制参数数据在时间轴上是均匀时间间隔的，一个时刻点对应一个数据。此时，所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤可以包括；
从第一系统控制参数数据中获取各个Tk+1时刻对应的第一系统控制参数与Tk时刻对应的第一系统控制参数的差值△k，k≥0；
判断各个差值△k是否大于参数阈值；
如一Tk+1与Tk的系统控制参数的差值△k是否大于参数阈值，则将该差值△k对应的Tk设定为剔除时间点。需要指出的是，此处的差值取前后时间点系统控制参数差值的绝对值。
举例来说，如第一系统控制参数为焚烧炉排风门开度，当一采样周期前后的时刻即Tk+1时刻与Tk时刻监测到的焚烧炉排风门开度的变化△k大于参数阈值时，即认为焚烧炉排风门开度人工调节，此时，将Tk时刻设定为人工调节的时刻点，人工调节的目的在于通过调整焚烧炉排风门开度调整人工调节时刻点的系统状态参数，可以认为该人工调节时刻点前的系统状态参数存在问题，即工业控制装置的工况是不理想的，因此，将人工调节的时刻点作为剔除时间点，剔除其前一特定时间段T1内的系统控制参数数据和所述系统状态参数数据，然后将保留的数据用于训练机器学习模型，以保证获得正确的调控策略。
参数阈值和特定时间段T1可以根据具体工业控制装置的使用场景设定。当一获得的过程数据中存在多个人工调节的时刻点，即存在多个Tk时，通常，设定特定时间段T1小于任意两个剔除时间点之间的时间差值以尽可能地保留数据。同时，特定时间段T1也不能过于短而使筛选效果降低，特定时间段T1根据实际场景设定。上述过程中以第一系统控制参数数据的相邻两个采样周期的变化值作为确定剔除时间点依据。
当调节系统控制参数时，工业控制装置的系统状态参数需要经过一段时间重新达到平衡，定义第一系统控制参数数据的执行周期为T2，通常，执行周期为T2长于参数采样周期，可以假设T2＝nT，n为大于等于1的整数。执行周期T2可以认为工业控制装置处于不稳定状态。
所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤也可以包括如下步骤：
从第一系统控制参数数据中获取各个T2i+1时刻对应的第一系统控制参数与T2i时刻对应的第一系统控制参数的差值△i，i≥0；
判断各个差值△i是否大于参数阈值；
如一T2i+1与T2i的系统控制参数的差值△i是否大于参数阈值，则获取该差值△i对应T2i，根据T2i获取对应的Tk时刻，将Tk设定为剔除时间点。同样地，此处的差值为绝对值。
即以第一系统控制参数数据的执行周期前后的变化值作为判断依据。第一系统控制参数也可以是推料器阀门开度或焚烧炉排速度，第一系统控制参数的确定，以及确定剔除时间点的依据均可以根据实际使用场景确定。上述通过第一系统控制参数相连值比较算法，实现对海量的过程数据进行快速批量筛选。
如上所述，调节系统控制参数后执行周期T2内的工业控制装置处于不稳定状态，所述数据处理方法还可以包括如下步骤：
S500：从所述过程数据中剔除每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据。
上述过程中，剔除人工调节的时刻点前后一段时间内的过程数据，能把滞后和调节过度的人工调节值删除，避免在类似系统状态参数下出现两种截然不同的操控经验，提高机器学习模型中不同输出值对应的样本区分度，从而提高模型的分类或回归能力。
同时，所述数据处理方法还可以包括如下步骤：
将每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据储存为不稳定过程数据。
通过提出了不稳定状态的过程数据和另行存储的不稳定过程数据，可以获得不同工况状态下的机器学习模型，实现机器学习模型的细化。
下面参照图3来描述根据本发明的这种实施方式的电子设备600。图3显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行实现数据处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图4所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明提供了一种数据处理方法、系统、电子设备及存储介质，数据处理方法包括以下步骤：获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；获取一所述第一系统控制参数数据；获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
本发明的数据处理方法用于处理机器学习的数据样本的筛选，针大于工业控制装置的过程数据做处理，其中将过程控制中人工操作系统控制参数的时刻点前一时间段内的样本予以剔除，避免在类似工况下出现两种截然不同的操控经验，提高不同输出值对应的样本区分度，从而提高模型的分类或回归能力。相大于现有的工业控制过程数据处理方法，具有如下优点：
实现对海量的工况数据进行快速批量筛选；
能把滞后和调节过度的人工操作值删除，避免机器学习模型学到不良的人工经验，使模型学习正确的调控策略。
解决工业过程控制中，经验数据样本质量波动较大的问题，提高过程控制机器学习模型的精度与质量。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。大于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (8)
1.一种数据处理方法，其特征在于，包括以下步骤：
获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
获取一第一系统控制参数数据；
获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据；
所述获取一第一系统控制参数数据步骤包括：
获取用户指令；
根据用户指令确定所述第一系统控制参数；
根据所述第一系统控制参数获取第一系统控制参数数据；
所述第一系统控制参数数据的采样周期为T时，所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤包括；
获取各个Tk+1时刻对应的第一系统控制参数与Tk时刻对应的第一系统控制参数的差值△k，k≥0；
判断各个差值△k是否大于参数阈值；
如是，则将该差值△k对应的Tk设定为剔除时间点；
所述第一系统控制参数数据的执行周期为T2，T2＝nT，n为大于等于1的整数时，所述获取所述第一系统控制参数数据中变化大于阈值对应的多个剔除时间点步骤包括：
获取各个T2i+1时刻对应的第一系统控制参数与T2i时刻对应的第一系统控制参数的差值△i，i≥0；
判断各个差值△i是否大于参数阈值；
如是，则获取该差值△i对应T2i，根据T2i获取对应的Tk时刻，将Tk设定为剔除时间点。
2.根据权利要求1所述的数据处理方法，其特征在于，所述第一系统控制参数数据的执行周期为T2，T2＝nT，n为大于等于1的整数时，所述数据处理方法还包括如下步骤：
从所述过程数据中剔除每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据。
3.根据权利要求2所述的数据处理方法，其特征在于，还包括如下步骤：
将每个剔除时间点后执行周期T2内对应的所述系统控制参数数据和所述系统状态参数数据储存为不稳定过程数据。
4.根据权利要求1所述的数据处理方法，其特征在于，特定时间段T1小于任意两个剔除时间点之间的时间差值。
5.一种数据处理系统，用于实现权利要求1至4任意一项所述数据处理方法，其特征在于，包括数据采集模块、交互模块、计算模块和执行模块，其中：
所述数据采集模块用于获取控制系统过程数据，所述过程数据包括至少一系统控制参数数据和与所述系统控制参数数据对应的系统状态参数数据；
所述交互模块用于获取一所述第一系统控制参数数据；
所述计算模块用于获取所述第一系统控制参数数据中变化大于参数阈值对应的多个剔除时间点；
所述执行模块用于从所述过程数据中剔除每个剔除时间点前一特定时间段T1内的所述系统控制参数数据和所述系统状态参数数据。
6.根据权利要求5所述的数据处理系统，设置于垃圾焚烧炉装置，其特征在于，所述系统控制参数包括垃圾焚烧炉的推料器阀门开度、焚烧炉排速度和焚烧炉排风门开度；
所述系统状态参数包括炉膛氧含量、焚烧炉炉均温度、炉膛主蒸汽流量和污染物排放数据中的至少一种，所述污染物排放数据包括氮氧化物浓度或一氧化碳浓度。
7.一种电子设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至4任意一项所述数据处理方法的步骤。
8.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任意一项所述数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838128.5A CN113570066B (zh) | 2021-07-23 | 2021-07-23 | 数据处理方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838128.5A CN113570066B (zh) | 2021-07-23 | 2021-07-23 | 数据处理方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113570066A CN113570066A (zh) | 2021-10-29 |
| CN113570066B true CN113570066B (zh) | 2024-03-29 |
Family
ID=78166842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110838128.5A Active CN113570066B (zh) | 2021-07-23 | 2021-07-23 | 数据处理方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570066B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105974793A (zh) * | 2016-05-04 | 2016-09-28 | 华中科技大学 | 一种电站锅炉燃烧智能控制方法 |
| CN108317670A (zh) * | 2018-03-02 | 2018-07-24 | 深圳市华之任有限公司 | 一种基于机器学习的制冷系统节能控制方法及系统 |
| CN109447461A (zh) * | 2018-10-26 | 2019-03-08 | 北京三快在线科技有限公司 | 用户信用评估方法及装置、电子设备、存储介质 |
| CN110703701A (zh) * | 2019-09-02 | 2020-01-17 | 华电电力科学研究院有限公司 | 一种适用于燃煤电站环保装备运行数据的高效数据预处理方法 |
| CN111352401A (zh) * | 2020-03-17 | 2020-06-30 | 华润电力技术研究院有限公司 | 一种用于集散控制系统的控制方法、装置、设备及介质 |
| WO2021063033A1 (zh) * | 2019-09-30 | 2021-04-08 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3800199B2 (ja) * | 2003-05-16 | 2006-07-26 | セイコーエプソン株式会社 | マイクロレンズの製造方法 |
-
2021
- 2021-07-23 CN CN202110838128.5A patent/CN113570066B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105974793A (zh) * | 2016-05-04 | 2016-09-28 | 华中科技大学 | 一种电站锅炉燃烧智能控制方法 |
| CN108317670A (zh) * | 2018-03-02 | 2018-07-24 | 深圳市华之任有限公司 | 一种基于机器学习的制冷系统节能控制方法及系统 |
| CN109447461A (zh) * | 2018-10-26 | 2019-03-08 | 北京三快在线科技有限公司 | 用户信用评估方法及装置、电子设备、存储介质 |
| CN110703701A (zh) * | 2019-09-02 | 2020-01-17 | 华电电力科学研究院有限公司 | 一种适用于燃煤电站环保装备运行数据的高效数据预处理方法 |
| WO2021063033A1 (zh) * | 2019-09-30 | 2021-04-08 | 北京国双科技有限公司 | 空调能耗模型训练方法与空调系统控制方法 |
| CN111352401A (zh) * | 2020-03-17 | 2020-06-30 | 华润电力技术研究院有限公司 | 一种用于集散控制系统的控制方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113570066A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832581B (zh) | 状态预测方法和装置 | |
| CN111476422A (zh) | 一种基于机器学习框架下LightGBM的建筑冷负荷预测方法 | |
| CN112819107B (zh) | 基于人工智能的燃气调压设备故障预测方法 | |
| CN110471276B (zh) | 用于为物理系统创建模型函数的装置 | |
| CN111006240B (zh) | 一种生物质锅炉炉膛温度和负荷预测方法 | |
| CN115018348B (zh) | 基于人工智能的环境分析方法、系统、设备及存储介质 | |
| CN109783062B (zh) | 一种人在回路的机器学习应用开发方法和系统 | |
| CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN117744704B (zh) | 一种烟气污染源采集监测系统、方法及可读存储介质 | |
| CN117149293B (zh) | 一种操作系统个性化配置方法 | |
| CN117072338B (zh) | 柴油发动机自适应喷油控制策略系统及优化方法 | |
| CN113570066B (zh) | 数据处理方法、系统、电子设备及存储介质 | |
| CN113568820A (zh) | 监控模型的方法、装置、电子设备和介质 | |
| JP4498666B2 (ja) | 予測装置、予測プログラム、および記録媒体 | |
| CN117475806A (zh) | 基于多维传感数据反馈的显示屏自适应响应方法及其装置 | |
| CN111832435A (zh) | 基于迁移与弱监督的美丽预测方法、装置及存储介质 | |
| CN116542701A (zh) | 一种基于cnn-lstm组合模型的碳价预测方法及系统 | |
| CN117113086A (zh) | 一种储能机组负荷预测方法、系统、电子设备及介质 | |
| JPH06332506A (ja) | 非線形制御装置 | |
| JPH09233700A (ja) | 日最大需要電力予測の信頼性評価方法 | |
| CN113821452A (zh) | 根据被测系统测试表现动态生成测试案例的智能测试方法 | |
| CN111625525A (zh) | 一种环境数据修复/填充方法及系统 | |
| CN112738098A (zh) | 一种基于网络行为数据的异常检测方法及装置 | |
| CN110728292A (zh) | 一种多任务联合优化下的自适应特征选择算法 | |
| CN116760033B (zh) | 一种基于人工智能的实时电力需求预测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |