CN116165353A - 一种工业污染物监测数据处理方法及系统 - Google Patents
一种工业污染物监测数据处理方法及系统 Download PDFInfo
- Publication number
- CN116165353A CN116165353A CN202310458804.5A CN202310458804A CN116165353A CN 116165353 A CN116165353 A CN 116165353A CN 202310458804 A CN202310458804 A CN 202310458804A CN 116165353 A CN116165353 A CN 116165353A
- Authority
- CN
- China
- Prior art keywords
- data
- industrial
- pollutant
- contaminant
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003344 environmental pollutant Substances 0.000 title claims abstract description 223
- 231100000719 pollutant Toxicity 0.000 title claims abstract description 223
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title description 3
- 239000000356 contaminant Substances 0.000 claims abstract description 113
- 230000002159 abnormal effect Effects 0.000 claims abstract description 75
- 239000000203 mixture Substances 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000009467 reduction Effects 0.000 abstract description 9
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 22
- 229910052757 nitrogen Inorganic materials 0.000 description 11
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 description 10
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 7
- 239000007789 gas Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000002440 industrial waste Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- CVTZKFWZDBJAHE-UHFFFAOYSA-N [N].N Chemical class [N].N CVTZKFWZDBJAHE-UHFFFAOYSA-N 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000010842 industrial wastewater Substances 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/0054—Ammonia
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Theoretical Computer Science (AREA)
- Medicinal Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种工业污染物监测数据处理方法及系统。一种工业污染物监测数据处理系统，包括：工业污染物数据获取模块、工业污染物数据预处理模块、正常数据集合生成模块、异常数据集合生成模块、数据属性高斯混合模型管理模块、背景数据属性标记模块、工业污染物数据重构模块和工业污染物预测模型生成模块。本发明通过对监测站历史记录中的工业污染物数据进行无效数据剔除，建立数据属性高斯混合模型对工业污染物数据进行降维重构，减少了后续进行工业污染物预测模型训练时的计算量；并且降维重构后的工业污染物数据能够更加突出出现异常数据的特征，提升了工业污染物预测模型的预测准确率。
Description
技术领域
本发明涉及数据处理技术领域，更具体的说，它涉及一种工业污染物监测数据处理方法及系统。
背景技术
工业污染物是指在工业生产中形成的对环境具有危害的物质，例如废水、废气等。目前针对于工业污染物的监测随着各式传感器的普及不断趋于智能化，同时也产生了大量的监测数据，目前针对于这些监测数据的一种处理方法是根据这些监测数据建立预测模型，并通过此预测模型实现对工业污染物排放情况的预测。预测模型的建立一般是通过将监测数据输入时序神经网络进行训练来实现的，但是监测数据中也包括一些一直处于正常状态的数据，例如工业废气污染监测数据中有PM2.5数据和二氧化硫数据，但是此监测站获取的历史数据中的PM2.5一直是正常范围内，二氧化硫的数据偶尔会有异常，那么在建立预测模型时，我们只会关注二氧化硫的变化情况，而PM2.5的数据情况针对我们预测模型的建立便没有用处，因为他的变化趋势一直在正常范围，像PM2.5这样一直处于正常范围的数据对于预测模型的训练是没有意义的，还会造成计算量的增加。
发明内容
本发明提供一种工业污染物监测数据处理方法及系统，通过对监测站历史记录中的工业污染物数据进行无效数据剔除，建立数据属性高斯混合模型对工业污染物数据进行降维重构，减少了后续进行工业污染物预测模型训练时的计算量；并且降维重构后的工业污染物数据能够更加突出出现异常数据的特征，提升了工业污染物预测模型的预测准确率。
一种工业污染物监测数据处理方法，包括：
获取历史记录中的工业污染物数据Yk，k=1,2,3······K，其中k为工业污染物数据对应的数据编号，K为获取的工业污染物数据Yk的总个数，工业污染物数据Yk存在形式为{X1k，X2k，X3k···Xnk···XNk}，其中Xnk为工业污染物数据Yk中第n个数据属性对应的数据值，n=1,2,3······N，n为数据属性对应的属性编号，N为工业污染物数据Yk中数据属性的总个数；并根据工业污染物数据Yk获取的时间tk对对应的工业污染物数据Yk进行标记；将工业污染物时序数据Tdk存入工业污染物时序数据库中，工业污染物时序数据Tdk的存在形式为{k，tk，Yk}；
对工业污染物时序数据库中的工业污染物时序数据Tdk进行无效数据剔除；
遍历经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据Yk，针对每一个选择的工业污染物数据Yk，将此工业污染物数据Yk中每一个数据属性对应的数据值Xnk与对应的数据值阈值范围Pn进行匹配，若是全部匹配成功，将此工业污染物数据Yk视为正常数据，并存入正常数据集合中；若是出现匹配失败的情况，将此工业污染物数据Yk视为异常数据，并存入异常数据集合中；遍历完所有工业污染物数据Yk，得到正常数据集合和异常数据集合；
获取正常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，从正常数据集合中的工业污染物数据Yk中获取所有的数据值Xnk并存入第一数据值集合ζn中，根据第一数据值集合ζn训练数据属性高斯混合模型φn；得到每一个数据属性对应的训练好的数据属性高斯混合模型φn；
数据属性高斯混合模型φn包括H个高斯分布层，每个高斯分布层内置高斯分布函数η(Xnk,μh,σh)=1/(2πσh 2)(1/2)·exp[-(Xnk-μh)2/2σh 2]，其中h=1,2,3······H，μh为第h个高斯分布层对应的均值，σh为第h个高斯分布层对应的标准差；
获取异常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，获取此数据属性对应的训练好的数据属性高斯混合模型φn，从异常数据集合中的工业污染物数据Yk中获取所有数据值Xnk并存入第二数据值集合αn中；再从第二数据值集合αn中逐个选择Xnk，针对选择的Xnk执行如下内容：将选择的Xnk依次与对应数据属性高斯混合模型φn的高斯分布层进行匹配，匹配条件为“|Xnk-μh|<2.5×σh”，若是第二数据值集合αn中的所有数据值Xnk都匹配成功，将第二数据值集合αn对应的数据属性标记为背景数据属性；
遍历工业污染物时序数据Tdk和异常数据集合中的工业污染物数据Yk，再将工业污染物数据Yk中背景数据属性对应的数据值Xnk进行删除，对工业污染物数据Yk进行重构；
获取异常数据集合，针对异常数据集合中每一个重构后的工业污染物数据Yk，将此工业污染物数据Yk对应的数据编号k记为数据编号R，从工业污染物时序数据库中以数据编号R为基准获取固定窗口内的工业污染物时序数据Tdk，并将所有工业污染物时序数据Tdk存入异常数据训练集ξg中，其中g=1,2,3······G，G为异常数据训练集的总个数，异常数据集合中每一个重构后的工业污染物数据Yk对应一个异常数据训练集ξg，再将异常数据训练集ξg依次送入初始化的工业污染预测模型中进行训练，得到训练好的工业污染物预测模型，训练好的工业污染物预测模型用于根据实时获取的工业污染物数据对工业污染情况进行预测。
作为本发明的一个优选，无效数据剔除具体包括如下步骤：逐个选择工业污染物时序数据库的工业污染物时序数据Tdk，将选择的工业污染物时序数据Tdk对应的工业污染物数据Yk与逻辑规则库中的匹配规则逐个进行匹配运算，将匹配成功的工业污染物数据Yk对应的工业污染物时序数据Tdk视为无效数据，从工业污染物时序数据库中删除，将未匹配成功的工业污染物数据Yk对应的工业污染物时序数据Tdk在工业污染物时序数据库中进行保留，对工业污染物时序数据Tdk进行第一次筛选；获取经过第一次筛选的工业污染物时序数据库中所有的工业污染物时序数据Tdk，逐个选择数据属性，针对每一个数据属性选择所有的数据值Xnk并存入第三数据值集合ε中，遍历第三数据值集合ε，将数值相同的数据值Xnk对应的数据编号k存入第一数据编号集合，针对每一个第一数据编号集合，若是第一数据编号集合中连续的数据编号k的个数超过连续编号个数上限z，说明这些连续的数据编号k对应的工业污染物时序数据Tdk为无效数据，从工业污染物时序数据库中删除，若是第一数据编号集合中连续的数据编号k的个数未超过连续编号个数上限z，将此第一数据编号集合中数据编号k对应的工业污染物时序数据Tdk进行保留，对工业污染物时序数据Tdk进行第二次筛选。
作为本发明的一个优选，根据第一数据值集合ζn训练数据属性高斯混合模型φn具体包括如下步骤：对H个高斯分布层的参数进行初始化，再通过第一数据值集合ζn和EM算法对高斯分布层的参数不断迭代计算，直至参数收敛到预设范围内，得到此第一数据值集合ζn对应的数据属性对应的训练好的数据属性高斯混合模型φn；
作为本发明的一个优选，在得到异常数据集合之后还需要对异常数据集合进行修正，具体包括如下步骤：获取异常数据集合中所有工业污染物数据Yk对应的数据编号k，并将所有数据编号k按照顺序进行排序，再遍历所有数据编号k，选择连续的数据编号k存入第二数据编号集合βb中，其中b=1,2,3······B，B为第二数据编号集合的总个数，一批连续的数据编号k对应一个第二数据编号集合βb，针对于每一个第二数据编号集合βb执行如下内容：在异常数据集合中保留第二数据编号集合βb中数值最小的数据编号对应的工业污染物数据Yk，删除其余第二数据编号集合βb中其余的数据编号对应的工业污染物数据Yk。
作为本发明的一个优选，在获取历史记录中的工业污染物数据Yk之后还包括对工业污染物数据进行修正，具体包括对工业污染物数据Yk中错误数据值的替换。
作为本发明的一个优选，工业污染物预测模型基于RBM-RNN模型建立。
一种工业污染物监测数据处理系统，包括：
工业污染物数据获取模块，内置工业污染物时序数据库，用于获取历史记录中的工业污染物数据，建立工业污染物时序数据并存入工业污染物时序数据库；
工业污染物数据预处理模块，用于对工业污染物时序数据库中的工业污染物时序数据进行无效数据剔除；
正常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成正常数据集合；
异常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成异常数据集合；
数据属性高斯混合模型管理模块，用于根据正常数据集合训练和存储数据属性高斯混合模型；
背景数据属性标记模块，用于根据异常数据集合和数据属性高斯混合模型标记出背景数据属性；
工业污染物数据重构模块，用于遍历工业污染物时序数据和异常数据集合中的工业污染物数据，再将工业污染物数据中背景数据属性对应的数据值进行删除，对工业污染物数据进行重构；
工业污染物预测模型生成模块，用于根据异常数据集合中重构后的工业污染物数据生成工业污染物预测模型。
作为本发明的一个优选，还包括：
异常数据集合修正模块，用于对异常数据集合进行修正；
工业污染物数据修正模块，用于对工业污染物数据进行修正。
本发明具有以下优点：
1、本发明通过对监测站历史记录中的工业污染物数据进行无效数据剔除，建立数据属性高斯混合模型对工业污染物数据进行降维重构，减少了后续进行工业污染物预测模型训练时的计算量；并且降维重构后的工业污染物数据能够更加突出出现异常数据的特征，提升了工业污染物预测模型的预测准确率。
2、本发明通过将工业污染物数据与逻辑规则库中的匹配规则进行匹配，去除逻辑不合理的工业污染物数据，并将同一数据属性连续出现相同数值的一批工业污染物数据进行删除，实现对冗余的工业污染物数据的删除，提升工业污染物数据的价值。
3、本发明通过对异常数据集合中连续数据编号对应的工业污染物数据进行处理，保留每一批连续的数据编号中最小的数据编号对应的工业污染物数据，避免后续生成异常数据训练集出现大量重复的数据，浪费算力。
4、本发明通过对工业污染物数据Yk中错误数据值的替换，避免了错误的数据值对后续数据处理造成的影响。
附图说明
图1为本发明实施例采用的工业污染物监测数据处理系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
一种工业污染物监测数据处理方法，包括：
监测站获取历史记录中的工业污染物数据Yk，k=1,2,3······K，其中k为工业污染物数据对应的数据编号，K为获取的工业污染物数据Yk的总个数，工业污染物数据Yk存在形式为{X1k，X2k，X3k···Xnk···XNk}，其中Xnk为工业污染物数据Yk中第n个数据属性对应的数据值，n=1,2,3······N，n为数据属性对应的属性编号，N为工业污染物数据Yk中数据属性的总个数，工业污染物数据Yk可以为工业废水数据，包含的数据属性为：PH值、溶解氧、浊度、悬浮物、氨氮、总磷和总氮等；也可以为工业废气数据，包含的数据属性为：二氧化硫、氨氮化物和颗粒物等；并根据工业污染物数据Yk获取的时间tk对对应的工业污染物数据Yk进行标记；将工业污染物时序数据Tdk存入工业污染物时序数据库中，工业污染物时序数据Tdk的存在形式为{k，tk，Yk}。
对工业污染物时序数据库中的工业污染物时序数据Tdk进行无效数据剔除，具体包括如下步骤：
S1：对工业污染物时序数据Tdk进行第一次筛选；
S1.1：令i=1，i用于作为编号选择工业污染物时序数据Tdk；
S1.2：从工业污染物时序数据库中选择工业污染物时序数据Tdi，并获取对应的工业污染物数据Yi，将工业污染物数据Yi与逻辑规则库中的匹配规则逐个进行匹配运算，例如逻辑规则库中的一条匹配规则为氨氮的数据值超过总氮的数据值，这些匹配规则根据实际技术情况进行人为设定，例如氨氮的数据值超过总氮的数据值，当工业污染物数据Yi与逻辑规则库中的匹配规则进行匹配时，匹配规则先通过关键词匹配工业污染物数据Yi中对应的数据属性，例如氨氮匹配工业污染物数据Yi中对应的氨氮，并获取对应数据属性的属性编号3，总氮匹配工业污染物数据Yi中对应的总氮，并获取对应数据属性的属性编号5，匹配规则便可为“X3i＞X5i”，由于氨氮的数据值只是总氮的一个分量，一旦氨氮的数据值超过总氮的数据值，说明仪器出现故障，或者数据传输有误，可以直接视为无效数据，即将匹配成功的工业污染物数据Yi对应的工业污染物时序数据Tdi视为无效数据，从工业污染物时序数据库中删除，将未匹配成功的工业污染物数据Yi对应的工业污染物时序数据Tdi在工业污染物时序数据库中进行保留；
S1.3：判断“i＜K”是否成立，若是“i＜K”成立，说明还未遍历完所有的工业污染物时序数据Tdk，将i+1赋值给i，回到S1.2；若是“i＜K”不成立，说明已经遍历完了所有的工业污染物时序数据Tdk，无操作。
S2：对工业污染物时序数据Tdk进行第二次筛选；
S2.1：令j=1，j用于作为编号选择数据属性；
S2.2：选择属性编号为j的数据属性，并获取所有工业污染物时序数据Tdk中对应的数据值Xjk，并存入第三数据值集合ε中；
S2.3：令a=1，a用于作为编号选择数据值Xjk，e=1，e用于作为第一数据编号集合的编号；
S2.4：选择第三数据值集合ε中的第a个数据值Xjk，将此数据值Xjk与第三数据值集合ε中其余的数据值进行匹配，并将所有匹配成功的数据值对应的数据编号与此数据值Xjk对应的数据编号存入第一数据编号集合δe，同时将所有匹配成功的数据值与此数据值Xjk从第三数据值集合ε中进行删除，特别地，当此数据值Xjk与第三数据值集合ε中其余的数据值都不匹配时，直接将此数据值Xjk对应的数据编号存入第一数据编号集合δe中，并将此数据值Xjk从第三数据值集合ε中进行删除；
S2.5：获取第三数据值集合ε中的元素个数Q，判断“Q=0”是否成立，若是“Q=0”成立，说明第三数据值集合ε中仍然还有元素存在，将e+1赋值给e，回到S2.4；若是“Q=0”不成立，说明第三数据值集合ε中没有元素存在，进入S2.6；
S2.6：获取所有第一数据编号集合δm，m=1,2,3······M，其中M为第一数据编号集合的总个数；
S2.7：令f=1，f用于作为编号选择第一数据编号集合；
S2.8：选择第一数据编号集合δf，将第一数据编号集合δf中的数据编号k按照从小到大的顺序进行排序，并遍历所有数据编号k，判断连续的数据编号k的个数是否超过连续编号个数上限z，z默认为3，用户可以通过修改配置文件进行调整，若是第一数据编号集合δf中连续的数据编号k的个数超过连续编号个数上限z，例如{102,107,109,113,114,115,116,119,123}中连续的数据编号k为{113,114,115,116}，连续编号k的个数为4，大于3，而在实际情况下，由于前后获取的工业污染物数据之间存在不短的间隔，是不存在连续三次以上同一项数据属性对应的数据值完全一样的，当出现了连续三次以上同一项数据属性对应的数据值完全一样的情况，说明这些连续的数据编号k对应的工业污染物时序数据Tdk为无效数据，从工业污染物时序数据库中删除；若是第一数据编号集合中连续的数据编号k的个数未超过连续编号个数上限z，将此第一数据编号集合中数据编号k对应的工业污染物时序数据Tdk进行保留；
S2.9：判断“f＜M”是否成立，若是“f＜M”成立，说明还未遍历完所有的第一数据编号集合，将f+1赋值给f，回到S2.8；若是“f＜M”不成立，说明已经遍历完所有的第一数据编号集合，进入S2.10；
S2.10：判断“j＜N”是否成立，若是“j＜N”成立，说明还未遍历完所有的数据属性，将j+1赋值给j，回到S2.2；若是“j＜N”不成立，说明已经遍历完所有的数据属性，无操作。
本发明通过将工业污染物数据与逻辑规则库中的匹配规则进行匹配，去除逻辑不合理的工业污染物数据，并将同一数据属性连续出现相同数值的一批工业污染物数据进行删除，实现对冗余的工业污染物数据的删除，提升工业污染物数据的价值。
遍历经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据Yk，针对每一个选择的工业污染物数据Yk，将此工业污染物数据Yk中每一个数据属性对应的数据值Xnk与对应的数据值阈值范围Pn进行匹配，例如数据编号为3的工业污染物数据Y3中总氮对应的数据值X53，总氮对应的数据值阈值范围Pn为15-40mg/L，则将数据值X53与15-40mg/L进行匹配，判断数据值X53是否在15-40mg/L范围内，实现对总氮的判断，若是全部匹配成功，说明此工业污染物数据Yk中没有异常，将此工业污染物数据Yk视为正常数据，并存入正常数据集合中；若是出现匹配失败的情况，说明此工业污染物数据Yk中存在异常，将此工业污染物数据Yk视为异常数据，并存入异常数据集合中；遍历完所有工业污染物数据Yk，得到正常数据集合和异常数据集合；
获取正常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，从正常数据集合中的工业污染物数据Yk中获取所有的数据值Xnk并存入第一数据值集合ζn中，根据第一数据值集合ζn训练数据属性高斯混合模型φn得到每一个数据属性对应的训练好的数据属性高斯混合模型φn；
数据属性高斯混合模型φn包括H个高斯分布层，每个高斯分布层内置高斯分布函数η(Xnk,μh,σh)=1/(2πσh 2)(1/2)·exp(-(Xnk-μh)2/2σh 2)，其中h=1,2,3······H，μh为第h个高斯分布层对应的均值，σh为第h个高斯分布层对应的标准差。
需要补充的是，根据第一数据值集合ζn训练数据属性高斯混合模型φn具体包括如下步骤：对H个高斯分布层的参数进行初始化，再通过第一数据值集合ζn和EM算法对高斯分布层的参数不断迭代计算，直至参数收敛到预设范围内，预设范围人为进行设定，当参数收敛到预设范围内说明参数的变化在可接受范围内，得到此第一数据值集合ζn对应的数据属性对应的训练好的数据属性高斯混合模型φn。
获取异常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，从异常数据集合中的工业污染物数据Yk中获取所有数据值Xnk并存入第二数据值集合αn中；再从第二数据值集合αn中逐个选择Xnk，针对选择的Xnk执行如下内容：将选择的Xnk依次与对应数据属性高斯混合模型φn的高斯分布层进行匹配，匹配条件为“|Xnk-μh|<2.5×σh”，若是第二数据值集合αn中的所有数据值Xnk都匹配成功，说明此第二数据值集合αn中的数据值Xnk都符合此数据属性高斯混合模型φn，也就是第二数据值集合αn对应的数据属性一直处于正常范围内，将第二数据值集合αn对应的数据属性标记为背景数据属性。
遍历工业污染物时序数据Tdk中和异常数据集合中的工业污染物数据Yk，再将工业污染物数据Yk中背景数据属性对应的数据值Xnk进行删除，对工业污染物数据Yk进行重构，实现工业污染物数据的降维，便于后续对工业污染物预测模型的训练。
获取异常数据集合，针对异常数据集合中每一个重构后的工业污染物数据Yk，将此工业污染物数据Yk对应的数据编号k记为数据编号R，从工业污染物时序数据库中以数据编号R为基准获取固定窗口内的工业污染物时序数据Tdk，固定窗口大小为2L，即从工业污染物时序数据库中获取数据编号R-L至数据编号R+L对应的工业污染物时序数据Tdk，并将所有工业污染物时序数据Tdk存入异常数据训练集ξg中，其中g=1,2,3······G，异常数据集合中每一个重构后的工业污染物数据Yk对应一个异常数据训练集ξg，再将异常数据训练集ξg依次送入初始化的工业污染预测模型中进行训练，得到训练好的工业污染物预测模型，训练好的工业污染物预测模型用于根据实时获取的工业污染物数据对工业污染情况进行预测，即将当前周期获取的工业污染物数据送入工业污染物预测模型进行计算，输出下一周期内不同数据属性对应的预测数据值，并根据此预测数据值预测工业污染情况对应的标签，例如二氧化硫超标，水体富营养化等，工业污染物预测模型基于RBM-RNN模型建立，RBM-RNN模型为一种时序预测模型，其中RBM为受限玻尔兹曼机，具备强大的无监督学习能力，能够有效的拟合离散分布，RNN为循环神经网络，具备强大的记忆能力，用于处理时序数据，并且能够学习多变量时序数据之间的时间自相关特征。
本发明通过对监测站历史记录中的工业污染物数据进行无效数据剔除，建立数据属性高斯混合模型对工业污染物数据进行降维重构，减少了后续进行工业污染物预测模型训练时的计算量；并且降维重构后的工业污染物数据能够更加突出出现异常数据的特征，提升了工业污染物预测模型的预测准确率。
在本方法在实际运行中，异常的工业污染物数据Yk会出现连续的情况，即当工业污染物排放异常并且未及时处理时，监测站获取的工业污染物数据Yk会一直是异常数据，此时生成异常数据训练集ξg时，会出现大量重复的数据进入后续的训练计算，而这显然会加重运算量，因此在得到异常数据集合之后还需要对异常数据集合进行修正，具体包括如下步骤：获取异常数据集合中所有工业污染物数据Yk对应的数据编号k，并将所有数据编号k按照从小到大的顺序进行排序，再遍历所有数据编号k，选择连续的数据编号k存入第二数据编号集合βb中，其中b=1,2,3······B，B为第二数据编号集合的总个数，一批连续的数据编号k对应一个第二数据编号集合βb，针对于每一个第二数据编号集合βb执行如下内容：在异常数据集合中保留第二数据编号集合βb中数值最小的数据编号对应的工业污染物数据Yk，删除其余第二数据编号集合βb中其余的数据编号对应的工业污染物数据Yk；实现对异常数据集合的修正。
本发明通过对异常数据集合中连续数据编号对应的工业污染物数据进行处理，保留每一批连续的数据编号中最小的数据编号对应的工业污染物数据，避免后续生成异常数据训练集出现大量重复的数据，浪费算力。
本方法还考虑到监测站获取到工业污染物数据时，由于设备故障原因或者网络传输的原因，获取的工业污染物数据会出现乱码等问题，因此本方法在获取历史记录中的工业污染物数据Yk之后还包括对工业污染物数据进行修正，具体包括如下步骤：逐个选择工业污染物数据Yk，针对选择的工业污染物数据Yk，遍历此工业污染物数据Yk内部的数据值Xnk，检测是否出现数据值格式错误的问题，若是出现数据值格式错误的问题，记录此数据值对应的属性编号n，将此工业污染物数据Yk对应的数据编号k记为U，选择数据编号U-V至数据编号U+V对应的工业污染物数据Yk，并计算选择的工业污染物数据Yk中属性编号n对应的所有数据值Xnk的平均值替换数据编号U对应的工业污染物数据YU中属性编号n对应的数据值XnU，实现对工业污染物数据Yk中错误数据值的替换。
本发明通过对工业污染物数据Yk中错误数据值的替换，避免了错误的数据值对后续数据处理造成的影响。
实施例2
一种工业污染物监测数据处理系统，如图1所示，包括：
工业污染物数据获取模块，内置工业污染物时序数据库，用于获取历史记录中的工业污染物数据，建立工业污染物时序数据并存入工业污染物时序数据库；
工业污染物数据预处理模块，用于对工业污染物时序数据库中的工业污染物时序数据进行无效数据剔除；
正常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成正常数据集合；
异常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成异常数据集合；
数据属性高斯混合模型管理模块，用于根据正常数据集合训练和存储数据属性高斯混合模型；
背景数据属性标记模块，用于根据异常数据集合和数据属性高斯混合模型标记出背景数据属性；
工业污染物数据重构模块，用于遍历工业污染物时序数据和异常数据集合中的工业污染物数据，再将工业污染物数据中背景数据属性对应的数据值进行删除，对工业污染物数据进行重构；
工业污染物预测模型生成模块，用于根据异常数据集合中重构后的工业污染物数据生成工业污染物预测模型。
参见图1，一种工业污染物监测数据处理系统，还包括：
异常数据集合修正模块，用于对异常数据集合进行修正；
工业污染物数据修正模块，用于对工业污染物数据进行修正。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种工业污染物监测数据处理方法，其特征在于，包括：
获取历史记录中的工业污染物数据Yk，k=1,2,3······K，其中k为工业污染物数据对应的数据编号，K为获取的工业污染物数据Yk的总个数，工业污染物数据Yk存在形式为{X1k，X2k，X3k···Xnk···XNk}，其中Xnk为工业污染物数据Yk中第n个数据属性对应的数据值，n=1,2,3······N，n为数据属性对应的属性编号，N为工业污染物数据Yk中数据属性的总个数；并根据工业污染物数据Yk获取的时间tk对对应的工业污染物数据Yk进行标记；将工业污染物时序数据Tdk存入工业污染物时序数据库中，工业污染物时序数据Tdk的存在形式为{k，tk，Yk}；
对工业污染物时序数据库中的工业污染物时序数据Tdk进行无效数据剔除；
根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据Yk生成正常数据集合和异常数据集合；
获取正常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，从正常数据集合中的工业污染物数据Yk中获取所有的数据值Xnk并存入第一数据值集合ζn中，根据第一数据值集合ζn训练数据属性高斯混合模型φn；得到每一个数据属性对应的训练好的数据属性高斯混合模型φn；
数据属性高斯混合模型φn包括H个高斯分布层，每个高斯分布层内置高斯分布函数η(Xnk,μh,σh)=1/(2πσh 2)(1/2)·exp[-(Xnk-μh)2/2σh 2]，其中h=1,2,3······H，μh为第h个高斯分布层对应的均值，σh为第h个高斯分布层对应的标准差；
获取异常数据集合中的工业污染物数据Yk，逐个获取数据属性，针对每一个数据属性，获取此数据属性对应的训练好的数据属性高斯混合模型φn，从异常数据集合中的工业污染物数据Yk中获取所有数据值Xnk并存入第二数据值集合αn中；再从第二数据值集合αn中逐个选择Xnk，针对选择的Xnk执行如下内容：将选择的Xnk依次与对应的数据属性高斯混合模型φn的H个高斯分布层进行匹配，匹配条件为“|Xnk-μh|<2.5×σh”，若是第二数据值集合αn中的所有数据值Xnk都匹配成功，将第二数据值集合αn对应的数据属性标记为背景数据属性；
遍历工业污染物时序数据Tdk和异常数据集合中的工业污染物数据Yk，再将工业污染物数据Yk中背景数据属性对应的数据值Xnk进行删除，对工业污染物数据Yk进行重构；
根据异常数据集合中重构后的工业污染物数据得到训练好的工业污染物预测模型，训练好的工业污染物预测模型用于根据实时获取的工业污染物数据对工业污染情况进行预测。
2.根据权利要求1所述的一种工业污染物监测数据处理方法，其特征在于，生成正常数据集合和异常数据集合具体包括如下步骤：遍历经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据Yk，针对每一个选择的工业污染物数据Yk，将此工业污染物数据Yk中每一个数据属性对应的数据值Xnk与对应的数据值阈值范围Pn进行匹配，若是全部匹配成功，将此工业污染物数据Yk视为正常数据，并存入正常数据集合中；若是出现匹配失败的情况，将此工业污染物数据Yk视为异常数据，并存入异常数据集合中；遍历完所有工业污染物数据Yk，得到正常数据集合和异常数据集合。
3.根据权利要求2所述的一种工业污染物监测数据处理方法，其特征在于，根据异常数据集合中重构后的工业污染物数据得到训练好的工业污染物预测模型具体包括如下步骤：获取异常数据集合，针对异常数据集合中每一个重构后的工业污染物数据Yk，将此工业污染物数据Yk对应的数据编号k记为数据编号R，从工业污染物时序数据库中以数据编号R为基准获取固定窗口内的工业污染物时序数据Tdk，并将所有工业污染物时序数据Tdk存入异常数据训练集ξg中，其中g=1,2,3······G，G为异常数据训练集的总个数，异常数据集合中每一个重构后的工业污染物数据Yk对应一个异常数据训练集ξg，再将异常数据训练集ξg依次送入初始化的工业污染预测模型中进行训练，得到训练好的工业污染物预测模型。
4.根据权利要求3所述的一种工业污染物监测数据处理方法，其特征在于，无效数据剔除具体包括如下步骤：逐个选择工业污染物时序数据库的工业污染物时序数据Tdk，将选择的工业污染物时序数据Tdk对应的工业污染物数据Yk与逻辑规则库中的匹配规则逐个进行匹配运算，将匹配成功的工业污染物数据Yk对应的工业污染物时序数据Tdk视为无效数据，从工业污染物时序数据库中删除，将未匹配成功的工业污染物数据Yk对应的工业污染物时序数据Tdk在工业污染物时序数据库中进行保留，对工业污染物时序数据Tdk进行第一次筛选；获取经过第一次筛选的工业污染物时序数据库中所有的工业污染物时序数据Tdk，逐个选择数据属性，针对每一个数据属性选择所有的数据值Xnk并存入第三数据值集合ε中，遍历第三数据值集合ε，将数值相同的数据值Xnk对应的数据编号k存入第一数据编号集合，针对每一个第一数据编号集合，若是第一数据编号集合中连续的数据编号k的个数超过连续编号个数上限z，说明这些连续的数据编号k对应的工业污染物时序数据Tdk为无效数据，从工业污染物时序数据库中删除，若是第一数据编号集合中连续的数据编号k的个数未超过连续编号个数上限z，将此第一数据编号集合中数据编号k对应的工业污染物时序数据Tdk进行保留，对工业污染物时序数据Tdk进行第二次筛选。
5.根据权利要求4所述的一种工业污染物监测数据处理方法，其特征在于，根据第一数据值集合ζn训练数据属性高斯混合模型φn具体包括如下步骤：对H个高斯分布层的参数进行初始化，再通过第一数据值集合ζn和EM算法对高斯分布层的参数不断迭代计算，直至参数收敛到预设范围内，得到此第一数据值集合ζn对应的数据属性对应的训练好的数据属性高斯混合模型φn。
6.根据权利要求5所述的一种工业污染物监测数据处理方法，其特征在于，在得到异常数据集合之后还需要对异常数据集合进行修正，具体包括如下步骤：获取异常数据集合中所有工业污染物数据Yk对应的数据编号k，并将所有数据编号k按照顺序进行排序，再遍历所有数据编号k，选择连续的数据编号k存入第二数据编号集合βb中，其中b=1,2,3······B，B为第二数据编号集合的总个数，一批连续的数据编号k对应一个第二数据编号集合βb，针对于每一个第二数据编号集合βb执行如下内容：在异常数据集合中保留第二数据编号集合βb中数值最小的数据编号对应的工业污染物数据Yk，删除其余第二数据编号集合βb中其余的数据编号对应的工业污染物数据Yk。
7.根据权利要求6所述的一种工业污染物监测数据处理方法，其特征在于，在获取历史记录中的工业污染物数据Yk之后还包括对工业污染物数据进行修正，具体包括对工业污染物数据Yk中错误数据值的替换。
8.根据权利要求7所述的一种工业污染物监测数据处理方法，其特征在于，工业污染物预测模型基于RBM-RNN模型建立。
9.一种工业污染物监测数据处理系统，其特征在于，包括：
工业污染物数据获取模块，内置工业污染物时序数据库，用于获取历史记录中的工业污染物数据，建立工业污染物时序数据并存入工业污染物时序数据库；
工业污染物数据预处理模块，用于对工业污染物时序数据库中的工业污染物时序数据进行无效数据剔除；
正常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成正常数据集合；
异常数据集合生成模块，用于根据经过无效数据剔除的工业污染物时序数据库中的所有工业污染物数据生成异常数据集合；
数据属性高斯混合模型管理模块，用于根据正常数据集合训练和存储数据属性高斯混合模型；
背景数据属性标记模块，用于根据异常数据集合和数据属性高斯混合模型标记出背景数据属性；
工业污染物数据重构模块，用于遍历工业污染物时序数据和异常数据集合中的工业污染物数据，再将工业污染物数据中背景数据属性对应的数据值进行删除，对工业污染物数据进行重构；
工业污染物预测模型生成模块，用于根据异常数据集合中重构后的工业污染物数据生成工业污染物预测模型。
10.根据权利要求9所述的一种工业污染物监测数据处理系统，其特征在于，还包括：
异常数据集合修正模块，用于对异常数据集合进行修正；
工业污染物数据修正模块，用于对工业污染物数据进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310458804.5A CN116165353B (zh) | 2023-04-26 | 2023-04-26 | 一种工业污染物监测数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310458804.5A CN116165353B (zh) | 2023-04-26 | 2023-04-26 | 一种工业污染物监测数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116165353A true CN116165353A (zh) | 2023-05-26 |
| CN116165353B CN116165353B (zh) | 2023-07-25 |
Family
ID=86418652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310458804.5A Active CN116165353B (zh) | 2023-04-26 | 2023-04-26 | 一种工业污染物监测数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116165353B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778595A (zh) * | 2016-12-12 | 2017-05-31 | 河北工业大学 | 基于高斯混合模型的人群中异常行为的检测方法 |
| US20170161963A1 (en) * | 2014-02-11 | 2017-06-08 | Ge Aviation Systems Limited | Method of identifying anomalies |
| CN108830765A (zh) * | 2018-04-18 | 2018-11-16 | 中国地质大学（武汉） | 一种水污染源监测数据的审核方法及系统 |
| CN108984381A (zh) * | 2018-07-19 | 2018-12-11 | 武汉新芯集成电路制造有限公司 | 数据异常分析的方法及系统 |
| US20190114753A1 (en) * | 2016-09-30 | 2019-04-18 | Peking University Shenzhen Graduate School | Video Background Removal Method |
| CN109961425A (zh) * | 2019-02-28 | 2019-07-02 | 浙江大学 | 一种动态水的水质识别方法 |
| CN110751643A (zh) * | 2019-10-21 | 2020-02-04 | 睿视智觉（厦门）科技有限公司 | 一种水质异常检测方法、装置及设备 |
| CN111414571A (zh) * | 2020-04-01 | 2020-07-14 | 浙江工业大学 | 一种大气污染物监测方法 |
| CN112527788A (zh) * | 2020-12-17 | 2021-03-19 | 北京中恒博瑞数字电力科技有限公司 | 变压器监测数据异常值检测与清洗的方法及装置 |
| CN112612824A (zh) * | 2020-12-15 | 2021-04-06 | 重庆梅安森科技股份有限公司 | 基于大数据的供水管网异常数据检测方法 |
| CN113687143A (zh) * | 2021-08-12 | 2021-11-23 | 国网上海市电力公司 | 一种电磁波信号幅值衰减与传播距离关系曲线的拟合方法 |
| CN113901043A (zh) * | 2021-12-13 | 2022-01-07 | 西安中电环通数字科技有限公司 | 污染源智能监管和数据融合分析方法和系统 |
| WO2022095434A1 (zh) * | 2020-11-09 | 2022-05-12 | 平安科技（深圳）有限公司 | 基于自编码器的数据异常识别方法、装置和计算机设备 |
| CN114970688A (zh) * | 2022-05-10 | 2022-08-30 | 河海大学 | 基于LSTMAD算法和Hermite插值法的滑坡监测数据预处理方法 |
| CN114970750A (zh) * | 2022-06-17 | 2022-08-30 | 山东云海国创云计算装备产业创新中心有限公司 | 一种对时间序列进行异常检测的方法、系统、设备及介质 |
| KR20220140301A (ko) * | 2021-04-09 | 2022-10-18 | 주식회사 퀄슨 | 인공지능을 통해 학습자 식별이 가능한 화상 학습 시스템 및 그 방법 |
| CN115526298A (zh) * | 2022-10-18 | 2022-12-27 | 安徽工业大学 | 一种高鲁棒性的大气污染物浓度综合预测方法 |
| CN115526410A (zh) * | 2022-10-10 | 2022-12-27 | 王顺平 | 基于多参数空间滤波预测模型预测大气污染物数据的方法 |
| CN115951014A (zh) * | 2022-11-21 | 2023-04-11 | 南通大学 | 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法 |
-
2023
- 2023-04-26 CN CN202310458804.5A patent/CN116165353B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170161963A1 (en) * | 2014-02-11 | 2017-06-08 | Ge Aviation Systems Limited | Method of identifying anomalies |
| US20190114753A1 (en) * | 2016-09-30 | 2019-04-18 | Peking University Shenzhen Graduate School | Video Background Removal Method |
| CN106778595A (zh) * | 2016-12-12 | 2017-05-31 | 河北工业大学 | 基于高斯混合模型的人群中异常行为的检测方法 |
| CN108830765A (zh) * | 2018-04-18 | 2018-11-16 | 中国地质大学（武汉） | 一种水污染源监测数据的审核方法及系统 |
| CN108984381A (zh) * | 2018-07-19 | 2018-12-11 | 武汉新芯集成电路制造有限公司 | 数据异常分析的方法及系统 |
| CN109961425A (zh) * | 2019-02-28 | 2019-07-02 | 浙江大学 | 一种动态水的水质识别方法 |
| CN110751643A (zh) * | 2019-10-21 | 2020-02-04 | 睿视智觉（厦门）科技有限公司 | 一种水质异常检测方法、装置及设备 |
| CN111414571A (zh) * | 2020-04-01 | 2020-07-14 | 浙江工业大学 | 一种大气污染物监测方法 |
| WO2022095434A1 (zh) * | 2020-11-09 | 2022-05-12 | 平安科技（深圳）有限公司 | 基于自编码器的数据异常识别方法、装置和计算机设备 |
| CN112612824A (zh) * | 2020-12-15 | 2021-04-06 | 重庆梅安森科技股份有限公司 | 基于大数据的供水管网异常数据检测方法 |
| CN112527788A (zh) * | 2020-12-17 | 2021-03-19 | 北京中恒博瑞数字电力科技有限公司 | 变压器监测数据异常值检测与清洗的方法及装置 |
| KR20220140301A (ko) * | 2021-04-09 | 2022-10-18 | 주식회사 퀄슨 | 인공지능을 통해 학습자 식별이 가능한 화상 학습 시스템 및 그 방법 |
| CN113687143A (zh) * | 2021-08-12 | 2021-11-23 | 国网上海市电力公司 | 一种电磁波信号幅值衰减与传播距离关系曲线的拟合方法 |
| CN113901043A (zh) * | 2021-12-13 | 2022-01-07 | 西安中电环通数字科技有限公司 | 污染源智能监管和数据融合分析方法和系统 |
| CN114970688A (zh) * | 2022-05-10 | 2022-08-30 | 河海大学 | 基于LSTMAD算法和Hermite插值法的滑坡监测数据预处理方法 |
| CN114970750A (zh) * | 2022-06-17 | 2022-08-30 | 山东云海国创云计算装备产业创新中心有限公司 | 一种对时间序列进行异常检测的方法、系统、设备及介质 |
| CN115526410A (zh) * | 2022-10-10 | 2022-12-27 | 王顺平 | 基于多参数空间滤波预测模型预测大气污染物数据的方法 |
| CN115526298A (zh) * | 2022-10-18 | 2022-12-27 | 安徽工业大学 | 一种高鲁棒性的大气污染物浓度综合预测方法 |
| CN115951014A (zh) * | 2022-11-21 | 2023-04-11 | 南通大学 | 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| YING LIU: "Human motion image detection and tracking method based on Gaussian mixture model and CAMSHIFT", MICROPROCESSORS AND MICROSYSTEMS, vol. 82 * |
| 沈力华等: "基于鲁棒极端学习机的混沌时间序列建模预测", 物理学报, vol. 67, no. 3 * |
| 王平;张红;秦作栋;姚清晨;耿红;: "基于wavelet-SVM的PM_(10)浓度时序数据预测", 环境科学, no. 08 * |
| 陈鹏;: "基于高斯模糊逻辑的图像背景分离", 计算机与现代化, no. 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116165353B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783904B (zh) | 基于环境数据的数据异常分析方法、装置、设备及介质 | |
| WO2019182922A1 (en) | Semi-supervised anomaly detection in scanning electron microscope images | |
| CN112671768A (zh) | 一种异常流量检测方法、装置、电子设备及存储介质 | |
| CN112183709A (zh) | 一种垃圾焚烧废气二噁英超标预测预警方法 | |
| CN111027615A (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| CN115484102A (zh) | 一种面向工业控制系统的异常检测系统和方法 | |
| CN116610092A (zh) | 用于车辆分析的方法和系统 | |
| CN110889260B (zh) | 用于侦测工艺参数的方法及装置、电子设备和计算机可读介质 | |
| CN116165353B (zh) | 一种工业污染物监测数据处理方法及系统 | |
| CN112926627A (zh) | 一种基于电容型设备缺陷数据的设备缺陷时间预测方法 | |
| CN113947597B (zh) | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 | |
| CN115455359A (zh) | 小批量误差数据的自动校正与分布拟合方法 | |
| CN113495607A (zh) | 高压发生器的故障诊断方法和系统 | |
| CN111275136B (zh) | 基于小样本下的故障预测系统及其预警方法 | |
| WO2019143595A1 (en) | Radio frequency sensor system incorporating machine learning system and method | |
| CN113891342B (zh) | 基站巡检方法、装置、电子设备及存储介质 | |
| CN116775632A (zh) | 一种基于车载终端采集数据的近实时清洗数据执行方法 | |
| CN111738530B (zh) | 河流的水质预测方法、装置以及计算机可读存储介质 | |
| Roth | Identification and Fault Diagnosis of Industrial Closed-loop Discrete Event Systems: Identifikation und Fehlerdiagnose Industrieller Ereignisdiskreter Closed-Loop-Systeme | |
| CN112347069B (zh) | 一种基于制造大数据的制造企业预测型维修服务方法 | |
| CN112784919A (zh) | 一种面向智能制造多模态数据的分类方法 | |
| CN115412373B (zh) | 一种安全接入机电一体化工控网络的方法和系统 | |
| CN117372720B (zh) | 一种基于多特征交叉掩码修复的无监督异常检测方法 | |
| CN117010459B (zh) | 基于模块化和序列化自动生成神经网络的方法 | |
| CN115438035B (zh) | 一种基于kpca和混合相似度的数据异常处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |