CN112016050A - 一种基于流形学习的cems系统异常数据监控方法 - Google Patents
一种基于流形学习的cems系统异常数据监控方法 Download PDFInfo
- Publication number
- CN112016050A CN112016050A CN202010790222.3A CN202010790222A CN112016050A CN 112016050 A CN112016050 A CN 112016050A CN 202010790222 A CN202010790222 A CN 202010790222A CN 112016050 A CN112016050 A CN 112016050A
- Authority
- CN
- China
- Prior art keywords
- data
- concentration
- dimensional
- original
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000000738 capillary electrophoresis-mass spectrometry Methods 0.000 title claims abstract description 17
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 18
- 231100000719 pollutant Toxicity 0.000 claims abstract description 18
- 239000002912 waste gas Substances 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 230000005856 abnormality Effects 0.000 claims abstract description 6
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 claims description 12
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 11
- 239000003546 flue gas Substances 0.000 claims description 11
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 239000007789 gas Substances 0.000 abstract description 4
- 239000000779 smoke Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于流形学习的CEMS系统异常数据监控方法，包括：CEMS系统实时采集工厂污染物废气排放数据，将采集到的9路信息数据作为输入量，数据异常作为输出量，利用流形学习中的T‑sne高维可视化算法，对污染物废气排放高维数据压缩并可视化，找出异常数据，实现对工厂生产污染物排放监控。本发明解决了现在技术对工厂废气不能有效核查异常数据的问题，使用流形学习算法对数据进行高维可视化发现其中异常，从而提高了CEMS系统的快速性、准确性和稳定性。
Description
技术领域
本发明涉及工厂生产中连续烟气监测CMES系统环保领域，特别是指一种基于流形学习的CEMS系统异常数据监控方法。
背景技术
随着全球工业和物联网进程的快速发展，环境污染和生态破坏日益严重引起了世界各国的高度重视。连续烟气监测系统CEMS(Continuous Emission Monitoring System,CEMS)作为一种监控设备，可以连续、实时、在线监测污染物排放总量的目标。CMES作为国家污染排放监测网中的一个重要组成部分得到了越来越多的重视。它不仅是智慧工厂的重要的研究方向，还可以在智慧城市、智能生产等智能系统中起着重要的作用。
2016年，为了贯彻执行《中华人民共和国环境保护法》、《中华人民共和国大气污染防治法》和《河南省减少污染物排放条例》等法律、法规，实施大气固定污染源排放浓度和排放总量监测监控，规范河南省固定污染源颗粒物、烟气(SO2、NOX)排放连续监控水平，制定了污染物排放标准。在我省工厂环保监测中，烟气中的包含颗粒物、二氧化硫、氮氧化物、氧含量、烟气流速、烟气温度、以及其对应的原始折算浓度、修正浓度、修正折算浓度。连续烟气监测CEMS环保系统的日常数据主要为：烟温偏高、测量烟气流量低、样气带水及设备腐蚀处理建议、误判、漏判等。
以往关于工厂生产废气监测的研究，其主要是通过借助大数据、“应急专家数据库”、“环境应急监测设备”建立异常数据经验判断法，依靠经验初步剔除数据，并采用现场核定法，使用统计学二次判定。以往对于环保数据本身没有做出相应的探究，由于废气采样数据通道较多，数据较为复杂，找出其中异常数据也较为困难。基于工厂中连续烟气监测系统多路传感器采集到的工厂废气数据，在不改变原有数据和设备基础上完成对废气数据的分析，很难找到生产中存在的异常数据。市场上现有的CEMS连续烟气监测系统，设备简单、系统不够完善等问题，对于异常数据常采用经验判断法，现场情况核定等，传统的判别方法主要是依靠经验，发容易产生误判、漏判等问题。
基于采集到的环保数据，如何从中找出异常数据对于工厂生产具有指导意义。
发明内容
本发明的目的在于针对现有技术中存在的不足，提供一种基于流形学习的CEMS系统异常数据监控方法。
为达到上述目的，本发明提供了一种基于流形学习的异常数据监控方法，包括：
CEMS系统实时采集工厂污染物废气排放数据，将采集到的9路信息数据作为输入量，数据异常作为输出量，利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化，找出异常数据，实现对工厂生产污染物排放监控；
其中，
每一路采集到的信息数据进行修正折算处理后，包括：颗粒物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；二氧化硫的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氮氧化物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氧含量；烟气流速和烟气温度；
利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化的方法包括：
先对采集到的信息数据进行筛选和预处理，以删除和过滤数据中的缺失值和异常值，然后按月份对每一路信息数据进行特征提取为原始特征数据，再根据原始特征构造为27个新的特征数据，新构建的特征数据包括每个月份的均值、标准差、方差；
使用t-sne对新构建的特征数据进行高维数据可视化：
先计算概率pj|i，正比于数据点xi与xj之间的相似度，由高维欧几里得距离转换为表示相似性的条件概率，由公式(1)可以得到；
对于低纬度下的信息数据样本点yi，指定高斯分布的均方差为
相似度为：
由于sne算法定义的条件概率pj|i≠pi|j和qj|i≠qi|j不对称，且信息数据样本点之间的距离或者相似度是唯一的，对应相等，为满足对称性问题在sne算法基础上重新定义相似性的条件概率，其中n为样本的总数：
低维空间中的条件概率分布为t分布：
由于t分布相比高斯分布中心部位偏低，尾部偏高偏长，得到新的损失函数：
其中，Pi为信息数据样本点xi下，所有样本点的条件概率分布；Qi为低维度下环保数据样本点yi，所有点的条件概率分布；
若pji和pij分布一致，则损失函数较小，高维空间相似点映射到低维空间的距离也更近，否则距离较远，即为异常的数据。
本发明相对现有技术具有突出的实质性特点和显著进步，具体的说，本发明解决了现在技术对工厂废气不能有效核查异常数据的问题，使用流形学习算法对数据进行高维可视化发现其中异常，从而提高了CEMS系统的快速性、准确性和稳定性。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细描述。
一种基于流形学习的CEMS系统异常数据监控方法，包括：
CEMS系统实时采集工厂污染物废气排放数据，将采集到的9路信息数据作为输入量，数据异常作为输出量，利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化，找出异常数据，实现对工厂生产污染物排放监控；
其中，
每一路采集到的信息数据进行修正折算处理后，包括：颗粒物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；二氧化硫的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氮氧化物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氧含量；烟气流速和烟气温度；
利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化的方法包括：
先对采集到的信息数据进行筛选和预处理，以删除和过滤数据中的缺失值和异常值，然后按月份对每一路信息数据进行特征提取为原始特征数据，再根据原始特征构造为27个新的特征数据，新构建的特征数据包括每个月份的均值、标准差、方差；
使用t-sne对新构建的特征数据进行高维数据可视化：
先计算概率pj|i，正比于数据点xi与xj之间的相似度，由高维欧几里得距离转换为表示相似性的条件概率，由公式(1)可以得到；
对于低纬度下的信息数据样本点yi，指定高斯分布的均方差为
相似度为：
由于sne算法定义的条件概率pj|i≠pi|j和qj|i≠qi|j不对称，且信息数据样本点之间的距离或者相似度是唯一的，对应相等，为满足对称性问题在sne算法基础上重新定义相似性的条件概率，其中n为样本的总数：
低维空间中的条件概率分布为t分布：
由于t分布相比高斯分布中心部位偏低，尾部偏高偏长，得到新的损失函数：
其中，Pi为信息数据样本点xi下，所有样本点的条件概率分布；Qi为低维度下环保数据样本点yi，所有点的条件概率分布；
若pji和pij分布一致，则损失函数较小，高维空间相似点映射到低维空间的距离也更近，否则距离较远，即为异常的数据。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员在不脱离本发明技术方案的精神下，对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (1)
1.一种基于流形学习的CEMS系统异常数据监控方法，其特征在于，包括：
CEMS系统实时采集工厂污染物废气排放数据，将采集到的9路信息数据作为输入量，数据异常作为输出量，利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化，找出异常数据，实现对工厂生产污染物排放监控；
其中，
每一路采集到的信息数据进行修正折算处理后，包括：颗粒物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；二氧化硫的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氮氧化物的原始浓度、原始折算浓度、修正浓度和修正折算浓度；氧含量；烟气流速和烟气温度；
利用流形学习中的T-sne高维可视化算法，对污染物废气排放高维数据压缩并可视化的方法包括：
先对采集到的信息数据进行筛选和预处理，以删除和过滤数据中的缺失值和异常值，然后按月份对每一路信息数据进行特征提取为原始特征数据，再根据原始特征构造为27个新的特征数据，新构建的特征数据包括每个月份的均值、标准差、方差；
使用t-sne对新构建的特征数据进行高维数据可视化：
先计算概率pj|i，正比于数据点xi与xj之间的相似度，由高维欧几里得距离转换为表示相似性的条件概率，由公式(1)可以得到；
对于低纬度下的信息数据样本点yi，指定高斯分布的均方差为
相似度为：
由于sne算法定义的条件概率pj|i≠pi|j和qj|i≠qi|j不对称，且信息数据样本点之间的距离或者相似度是唯一的，对应相等，为满足对称性问题在sne算法基础上重新定义相似性的条件概率，其中n为样本的总数：
低维空间中的条件概率分布为t分布：
由于t分布相比高斯分布中心部位偏低，尾部偏高偏长，得到新的损失函数：
其中，Pi为信息数据样本点xi下，所有样本点的条件概率分布；Qi为低维度下环保数据样本点yi，所有点的条件概率分布；
若pji和pij分布一致，则损失函数较小，高维空间相似点映射到低维空间的距离也更近，否则距离较远，即为异常的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790222.3A CN112016050B (zh) | 2020-08-07 | 2020-08-07 | 一种基于流形学习的cems系统异常数据监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010790222.3A CN112016050B (zh) | 2020-08-07 | 2020-08-07 | 一种基于流形学习的cems系统异常数据监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016050A true CN112016050A (zh) | 2020-12-01 |
| CN112016050B CN112016050B (zh) | 2023-11-21 |
Family
ID=73498442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010790222.3A Active CN112016050B (zh) | 2020-08-07 | 2020-08-07 | 一种基于流形学习的cems系统异常数据监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112016050B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115561133A (zh) * | 2022-09-20 | 2023-01-03 | 生态环境部环境工程评估中心 | 火电行业cems校准期间异常数据的自动识别方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090097733A1 (en) * | 2007-10-02 | 2009-04-16 | The Regents Of The University Of Michigan | Method and apparatus for clustering and visualization of multicolor cytometry data |
| CN109784498A (zh) * | 2019-01-23 | 2019-05-21 | 中山大学 | 基于核空间的流形学习非线性逼近的算法 |
| US20190353703A1 (en) * | 2018-05-16 | 2019-11-21 | Wuhan University | Analog circuit fault feature extraction method based on parameter random distribution neighbor embedding winner-take-all method |
| CN110532444A (zh) * | 2019-07-22 | 2019-12-03 | 中国电力科学研究院有限公司 | 一种高维电力大数据可视化方法及系统 |
| WO2020010701A1 (zh) * | 2018-07-11 | 2020-01-16 | 平安科技（深圳）有限公司 | 污染物异常监测方法、系统、计算机设备和存储介质 |
| CN111314173A (zh) * | 2020-01-20 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 监控信息异常的定位方法、装置、计算机设备及存储介质 |
-
2020
- 2020-08-07 CN CN202010790222.3A patent/CN112016050B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090097733A1 (en) * | 2007-10-02 | 2009-04-16 | The Regents Of The University Of Michigan | Method and apparatus for clustering and visualization of multicolor cytometry data |
| US20190353703A1 (en) * | 2018-05-16 | 2019-11-21 | Wuhan University | Analog circuit fault feature extraction method based on parameter random distribution neighbor embedding winner-take-all method |
| WO2020010701A1 (zh) * | 2018-07-11 | 2020-01-16 | 平安科技（深圳）有限公司 | 污染物异常监测方法、系统、计算机设备和存储介质 |
| CN109784498A (zh) * | 2019-01-23 | 2019-05-21 | 中山大学 | 基于核空间的流形学习非线性逼近的算法 |
| CN110532444A (zh) * | 2019-07-22 | 2019-12-03 | 中国电力科学研究院有限公司 | 一种高维电力大数据可视化方法及系统 |
| CN111314173A (zh) * | 2020-01-20 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 监控信息异常的定位方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 夏鲁瑞;胡茑庆;秦国军;: "基于流形学习的涡轮泵海量数据异常识别算法", 航空动力学报, no. 03 * |
| 张妮;田学民;蔡连芳;: "基于RISOMAP的非线性过程故障检测方法", 化工学报, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115561133A (zh) * | 2022-09-20 | 2023-01-03 | 生态环境部环境工程评估中心 | 火电行业cems校准期间异常数据的自动识别方法和系统 |
| CN115561133B (zh) * | 2022-09-20 | 2023-08-29 | 生态环境部环境工程评估中心 | 火电行业cems校准期间异常数据的自动识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016050B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492708B (zh) | 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 | |
| CN116128260B (zh) | 基于数据样本的重点企业环境分析方法 | |
| CN111289697B (zh) | Cems运行状态监控与数据作假识别方法及系统 | |
| CN111401781B (zh) | 一种固定源大气污染物排放现场执法监管信息系统及方法 | |
| CN113792988A (zh) | 一种企业在线监测数据异常识别方法 | |
| CN112016050A (zh) | 一种基于流形学习的cems系统异常数据监控方法 | |
| CN115222303B (zh) | 基于大数据的行业风险数据分析方法、系统及存储介质 | |
| CN116298159B (zh) | 一种工业污水厂污染物溯源方法、装置、存储介质和计算机设备 | |
| CN112967764A (zh) | 多技术耦合的污染物源解析方法、装置 | |
| CN113655189A (zh) | 污染源自动监控数据分析判断系统 | |
| CN117092297A (zh) | 一种工业园区大气污染物的溯源方法、系统、设备及介质 | |
| CN116499938A (zh) | 一种职业工作场所气溶胶悬浮物智能监测方法 | |
| CN112634113B (zh) | 一种基于动态滑窗的污染废气关联分析方法 | |
| CN110852493A (zh) | 基于多种模型对比的大气pm2.5浓度预测方法 | |
| CN112037106B (zh) | 一种基于特征互相关性和概率密度的数据异常分析方法 | |
| CN114295778A (zh) | 一种基于火电厂烟气排放质量评价方法及评价系统 | |
| CN113487555A (zh) | 一种基于点云网格化的输电线路隐患点快速检测方法 | |
| CN116756225B (zh) | 一种基于计算机网络安全的态势数据信息处理方法 | |
| CN114974452B (zh) | 一种确定二次转化来源的管控目标的方法和装置 | |
| CN116403655A (zh) | 一种船舶排放因子计算方法及系统 | |
| CN115409483A (zh) | 一种针对大气污染源的追溯方法及系统 | |
| CN204758480U (zh) | 基于tdlas和gprs技术的有害气体监测系统 | |
| CN110907588A (zh) | 一种新型的scr脱硝装置效率计算方法 | |
| CN111222540A (zh) | 基于聚类的无监督学习的异常判断二噁英检测方法 | |
| CN116976733B (zh) | 一种基于大数据的大气污染源在线监测数据评估系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |