CN114385618A - 一种基于权重的数据智能补充方法 - Google Patents
一种基于权重的数据智能补充方法 Download PDFInfo
- Publication number
- CN114385618A CN114385618A CN202210048809.6A CN202210048809A CN114385618A CN 114385618 A CN114385618 A CN 114385618A CN 202210048809 A CN202210048809 A CN 202210048809A CN 114385618 A CN114385618 A CN 114385618A
- Authority
- CN
- China
- Prior art keywords
- data
- carbon
- emission
- module
- consumption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 17
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 102
- 229910052799 carbon Inorganic materials 0.000 claims abstract description 102
- 238000004140 cleaning Methods 0.000 claims abstract description 36
- 239000013589 supplement Substances 0.000 claims abstract description 11
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 112
- 238000004364 calculation method Methods 0.000 claims description 71
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 65
- 239000001569 carbon dioxide Substances 0.000 claims description 65
- 239000002904 solvent Substances 0.000 claims description 52
- 239000000446 fuel Substances 0.000 claims description 46
- 230000005611 electricity Effects 0.000 claims description 41
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 40
- 239000002994 raw material Substances 0.000 claims description 27
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 239000002803 fossil fuel Substances 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 14
- 238000007670 refining Methods 0.000 claims description 8
- 238000009628 steelmaking Methods 0.000 claims description 8
- 229910000805 Pig iron Inorganic materials 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003647 oxidation Effects 0.000 claims description 6
- 238000007254 oxidation reaction Methods 0.000 claims description 6
- 229910001021 Ferroalloy Inorganic materials 0.000 claims description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 5
- 239000007788 liquid Substances 0.000 claims description 5
- 238000012946 outsourcing Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 5
- 238000002485 combustion reaction Methods 0.000 claims description 4
- 239000000571 coke Substances 0.000 description 13
- 239000000463 material Substances 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 239000002915 spent fuel radioactive waste Substances 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 235000019738 Limestone Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000010459 dolomite Substances 0.000 description 1
- 229910000514 dolomite Inorganic materials 0.000 description 1
- 239000006028 limestone Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于权重的数据智能补充方法,包括服务器终端和数据采集模块;在服务器终端内,通过数据清洗模块将采集到的数据进行清洗;在服务器终端内,通过算法建模模块选取子算法,数据生成模块用于自动生成缺失数据;数据生成模块接收到标准数据,通过数据补充规则对其进行数据补充,数据计算模块用于将数据清洗模块中得到的标准数据、算法建模模块中得到的完整算法模型和数据生成模块中的补充数据进行结合,并计算得到最终的碳排放数据。在本发明中,能够自动采集、清洗和计算数据,并自动填充缺失的统计数据,通过大数据保证了填充数据的准确性,减少人工统计的成本和工作量。
Description
技术领域
本发明属于数据补充技术领域,具体为一种基于权重的数据智能补充方法。
背景技术
软件系统的使用都是基于数据,系统运行过程中有时候会出现某些关键数据没有或者获取不到,例如用户没有录入、数据库丢失、数据格式不兼容、数据明显错误等情况,导致系统无法正常运行,大部分系统的常规做法是从源头避免该问题,即保证数据的完整性和准确性,实在遇到数据问题也是通过管理人员对数据进行手动修复;但钢铁行业需要处理的数据包括各分厂的生产日报,各类用于生产的原料、辅料、燃料的质检数据,产出产品的质检数据,各类仓库的进销存数据,经营部、财务部等职能部门的对账数据等等;相关数据按日填报,所有数据需要进行同比、环比、多部门上报;常规做法实现成本很高,难度也很大,为了保证系统的稳定性,需要对数据做自动化处理。
发明内容
本发明的目的在于提供一种基于权重的数据智能补充方法,以解决背景技术中提出的现有技术中,在遇到数据问题时,只能通过管理人员对数据进行手动修复,但是,由于数据量大,导致修复成本大,难度高的问题。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于权重的数据智能补充方法,包括服务器终端和数据采集模块;其中,数据采集模块用于周期性的采集生产线上的生产数据,并将采集到的数据传输到服务器终端,服务器终端内设置数据清洗模块、算法建模模块、数据生成模块和数据计算模块;
在服务器终端内,算法建模模块根据选取规则选取子算法模型,根据选取的子算法模型选取标准数据清单;子算法模型包括燃料碳排放计算模型、过程排放计算模型和间接排放计算模型;
在服务器终端内,通过数据清洗模块将采集到的数据进行清洗和缺失数据识别,得到标准数据集和标准数据缺失清单;标准数据集直接传输到数据计算模块,用于碳排放计算;标准数据缺失清单传输到数据生成模块,用于补充数据生成;
缺失数据识别包括以下步骤:
步骤S1:根据算法建模模块选取的子算法模型,得到标准数据清单;
步骤S2:根据数据清洗得到的标准数据集,将标准数据集与标准数据清单进行对比;
步骤S3:如果标准数据集中的值在标准数据清单中没有对应的值,则标记为缺失数据,如果有对应的值,则不操作;
步骤S4:将所有的缺失数据组合为缺失数据清单;
在服务器终端内,数据生成模块接收到标准数据缺失清单后,通过数据生成模块对标准数据缺失清单进行数据补充;
数据生成模块对缺失数据清单中的缺失数据补充具体为:
步骤A1:首先,从服务器终端调取历史数据;
步骤A2:对调取的历史数据进行计算,得到历史数据的增长率以及历史数据的加权平均值a;
步骤A3:对历史数据的增长率进行加权平均,得到增长率的加权平均值,并将历史数据与增长率的加权平均值进行计算,得到参考值b;
步骤A4:再根据预设的权重比,计算得出数据填充值α;
数据计算模块用于将数据清洗模块中得到的标准数据、算法建模模块中选取的子算法模型和数据生成模块中的补充数据结合计算,并计算得到最终的碳排放数据。
根据上述技术方案,填充值α通过以下计算公式进行计算:
α=a*x+b*y
其中,α为填充值;a为加权平均值;b为参考值;x为a的预设权重,y为b的预设权重。
根据上述技术方案,非法字符为除数字以外的所有字符。
根据上述技术方案,选取规则为企业所属行业类别,根据企业所属行业选取子算法模型。
根据上述技术方案,燃料碳排放计算模型具体为:
式中,E燃烧为核算和报告期内消耗燃料燃烧产生的二氧化碳排放量;
ADi为核算和报告期内第i种燃料的活动数据;
EFi为第i种化石燃料的二氧化碳排放因子;
i为消耗燃料的类型;
ADi=NVCi×FCi
ADi为核算和报告年度内第i种化石燃料的活动数据;
NVCi为核算和报告期第i种化石燃料的平均低位发热量;
FCi为核算和报告期内第i种化石燃料的消耗量,对固体或液体燃料;
式中,EFi为第i种燃料的二氧化碳排放因子;
CCi为i种燃料的单位热值含碳量;
OFi为i种燃料的碳氧化率;
44/12为二氧化碳与碳的相对分子质量。
根据上述技术方案,过程排放计算模型具体为:
E过程=E溶剂+E电极+E原料式中,E过程为生产过程中的碳排放量;
E溶剂为溶剂消耗产生的二氧化碳排放量;
E电极消耗产生的二氧化碳排放量;
E原料为含碳原料消耗而产生的二氧化碳排放量;
E溶剂按以下子模型计算:
E溶剂为溶剂消耗产生的二氧化碳排放量;
Pi为核算和报告期内第i种溶剂的消耗量;
Dxi为核算和报告年度内,第i种溶剂的平均纯度;
EFi为第i种溶剂的二氧化碳排放因子;
i为消耗溶剂的种类;
E电极按以下子模型计算:
E电极=P电极×EF电极
E电极电极消耗产生的二氧化碳排放量;
P电极核算和报告期内电炉炼钢及精炼炉等消耗的电极量;
EF电极电炉炼钢及精炼炉等所消耗电极的二氧化碳排放因子;
E原料按以下子模型计算:
E原料为外购生铁、铁合金、直接还原铁等其他含碳原料消耗而产生的二氧化碳排放量;
Mi为核算和报告周期内第i种含碳量的购入量;
EFi第i种购入含碳原料的二氧化碳排放因子;
i为外购含碳原料类型。
根据上述技术方案,间接排放计算模型具体为:
E间接=E输入电+E输出电+AD热水+AD蒸汽
式中:
E间接为企业间接的碳排放量;
E输入电为购入电力消费对应的排放量;
E输出电为输出电力消费对应的排放量;
AD热水为热水的热量;
AD蒸汽为蒸汽的热量;
E输入电按以下子模型计算:
E输出电=AD输出电×EF输入电
式中:
E输入电为购入电力消费对应的排放量;
AD输入电核算和报告年度内的购入电量;
EF输入电为区域电网年平均供电排放因子;
E输出电按以下子模型计算:
E输出电=AD输出电×EF输出电
式中:
E输出电为输出电力消费对应的排放量;
AD输出电为核算和报告年度内的输出电量;
EF输出电为区域电网年平均供电排放因子;
AD热水按以下子模型计算:
AD热水=Maw×(Tw-20)×4.186×10-3
式中:
AD热水为热水的热量;
Maw为热水的质量;
Tw为热水温度;
4.1868为水在常温常压下的比热;
AD蒸汽按以下子模型计算:
AD蒸汽=Mast×(Enst-83.74)×10-3
式中:
AD蒸汽为蒸汽的热量;
Mast为蒸汽的质量;
Enst为蒸汽所对应的温度,压力下每千克蒸汽的热焓。
根据上述技术方案,标准数据清单包括含碳量、燃料的消耗量、溶剂的消耗量、溶剂的平均纯度、消耗溶剂的种类、消耗的电极量、含碳量的购入量、含碳原料类型、购入电量和输出电量。
根据上述技术方案,数据清洗包括以下步骤:
数据字符串格式对比步骤:将采集到的数据进行字符串对比,清除数据中包含非法字符的数据,得到正常数据;
有效性识别步骤:通过预设区间值对正常数据进行过滤,去除无效数据;
合并计算步骤:通过合并计算,将过滤后的正常数据转换为标准数据;
数据清洗完成后,标准数据组合形成标准数据集。
根据上述技术方案,预设区间值为正常数据平均值的左右两倍标准差。
与现有技术相比,本发明具有以下有益效果:
在本发明中,通过设置有包括数据采集模块、服务器终端、算法建模模块、数据清洗模块、数据计算模块和数据生成模块,通过在服务器终端内设置算法建模模块、数据清洗模块、数据计算模块和数据生成模块,通过算法建模模块选取子算法模型,通过数据清洗模块将采集到的数据进行清洗;通过数据生成模块用于自动生成缺失数据,最后通过数据计算模块计算得到最终的碳排放数据。
在本发明中,能够自动采集、清洗和计算数据,并自动填充缺失的统计数据,通过大数据保证了填充数据的准确性,减少人工统计的成本和工作量。
附图说明
图1为本发明系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,一种基于权重的数据智能补充方法,包括服务器终端和数据采集模块;其中,数据采集模块用于周期性的采集生产线上的生产数据,并将采集到的数据传输到服务器终端,服务器终端内设置数据清洗模块、算法建模模块、数据生成模块和数据计算模块;
在服务器终端内,算法建模模块根据选取规则选取子算法模型,根据选取的子算法模型选取标准数据清单;子算法模型包括燃料碳排放计算模型、过程排放计算模型和间接排放计算模型;
在服务器终端内,通过数据清洗模块将采集到的数据进行清洗和缺失数据识别,得到标准数据集和标准数据缺失清单;标准数据集直接传输到数据计算模块,用于碳排放计算;标准数据缺失清单传输到数据生成模块,用于补充数据生成;
缺失数据识别包括以下步骤:
步骤S1:根据算法建模模块选取的子算法模型,得到标准数据清单;
步骤S2:根据数据清洗得到的标准数据集,将标准数据集与标准数据清单进行对比;
步骤S3:如果标准数据集中的值在标准数据清单中没有对应的值,则标记为缺失数据,如果有对应的值,则不操作;
步骤S4:将所有的缺失数据组合为缺失数据清单;
在服务器终端内,数据生成模块接收到标准数据缺失清单后,通过数据生成模块对标准数据缺失清单进行数据补充;
数据生成模块对缺失数据清单中的缺失数据补充具体为:
步骤A1:首先,从服务器终端调取历史数据;
步骤A2:对调取的历史数据进行计算,得到历史数据的增长率以及历史数据的加权平均值a;
步骤A3:对历史数据的增长率进行加权平均,得到增长率的加权平均值,并将历史数据与增长率的加权平均值进行计算,得到参考值b;
步骤A4:再根据预设的权重比,计算得出数据填充值α;
数据计算模块用于将数据清洗模块中得到的标准数据、算法建模模块中选取的子算法模型和数据生成模块中的补充数据结合计算,并计算得到最终的碳排放数据。
在本发明中,通过设置有包括数据采集模块、服务器终端、算法建模模块、数据清洗模块、数据计算模块和数据生成模块,通过在服务器终端内设置算法建模模块、数据清洗模块、数据计算模块和数据生成模块,通过算法建模模块选取子算法模型,通过数据清洗模块将采集到的数据进行清洗;通过数据生成模块用于自动生成缺失数据,最后通过数据计算模块计算得到最终的碳排放数据。将所有耗料的碳排放量加起来,形成企业这个周期内的总体碳排放数据。
在本发明中,能够自动采集、清洗和计算数据,并自动填充缺失的统计数据,通过大数据保证了填充数据的准确性,减少人工统计的成本和工作量。
实施例二
本实施例为实施例一的进一步细化。填充值α通过以下计算公式进行计算:
α=a*x+b*y
其中,α为填充值;a为加权平均值;b为参考值;x为a的预设权重,y为b的预设权重。
非法字符为除数字以外的所有字符。
选取规则为企业所属行业类别,根据企业所属行业选取子算法模型。
燃料碳排放计算模型具体为:
式中,E燃烧为核算和报告期内消耗燃料燃烧产生的二氧化碳排放量;
ADi为核算和报告期内第i种燃料的活动数据;
EFi为第i种化石燃料的二氧化碳排放因子;
i为消耗燃料的类型;
ADi=NVCi×FCi
ADi为核算和报告年度内第i种化石燃料的活动数据;
NVCi为核算和报告期第i种化石燃料的平均低位发热量;
FCi为核算和报告期内第i种化石燃料的消耗量,对固体或液体燃料;
式中,EFi为第i种燃料的二氧化碳排放因子;
CCi为i种燃料的单位热值含碳量;
OFi为i种燃料的碳氧化率;
44/12为二氧化碳与碳的相对分子质量。
过程排放计算模型具体为:
E过程=E溶剂+E电极+E原料
式中,E过程为生产过程中的碳排放量;
E溶剂为溶剂消耗产生的二氧化碳排放量;
E电极消耗产生的二氧化碳排放量;
E原料为含碳原料消耗而产生的二氧化碳排放量;
E溶剂按以下子模型计算:
E溶剂为溶剂消耗产生的二氧化碳排放量;
Pi为核算和报告期内第i种溶剂的消耗量;
Dxi为核算和报告年度内,第i种溶剂的平均纯度;
EFi为第i种溶剂的二氧化碳排放因子;
i为消耗溶剂的种类;
E电极按以下子模型计算:
E电极=P电极×EF电极
E电极电极消耗产生的二氧化碳排放量;
P电极核算和报告期内电炉炼钢及精炼炉等消耗的电极量;
EF电极电炉炼钢及精炼炉等所消耗电极的二氧化碳排放因子;
E原料按以下子模型计算:
E原料为外购生铁、铁合金、直接还原铁等其他含碳原料消耗而产生的二氧化碳排放量;
Mi为核算和报告周期内第i种含碳量的购入量;
EFi第i种购入含碳原料的二氧化碳排放因子;
i为外购含碳原料类型;
间接排放计算模型具体为:
E间接=E输入电+E输出电+AD热水+AD蒸汽
式中:
E间接为企业间接的碳排放量;
E输入电为购入电力消费对应的排放量;
E输出电为输出电力消费对应的排放量;
AD热水为热水的热量;
AD蒸汽为蒸汽的热量;
E输入电按以下子模型计算:
E输入电=AD输入电×EF输入电
式中:
E输入电为购入电力消费对应的排放量;
AD输入电核算和报告年度内的购入电量;
EF输入电为区域电网年平均供电排放因子;
E输出电按以下子模型计算:
E输出电=AD输出电×EF输出电
式中:
E输出电为输出电力消费对应的排放量;
AD输出电为核算和报告年度内的输出电量;
EF输出电为区域电网年平均供电排放因子;
AD热水按以下子模型计算:
AD热水=Maw×(Tw-20)×4.186×10-3
式中:
AD热水为热水的热量;
Maw为热水的质量;
Tw为热水温度;
4.1868为水在常温常压下的比热;
AD蒸汽按以下子模型计算:
AD蒸汽=Mast×(Enst-83.74)×10-3
式中:
AD蒸汽为蒸汽的热量;
Mast为蒸汽的质量;
Enst为蒸汽所对应的温度,压力下每千克蒸汽的热焓。
标准数据清单包括含碳量、燃料的消耗量、溶剂的消耗量、溶剂的平均纯度、消耗溶剂的种类、消耗的电极量、含碳量的购入量、含碳原料类型、购入电量和输出电量。
数据清洗包括以下步骤:
数据字符串格式对比步骤:将采集到的数据进行字符串对比,清除数据中包含非法字符的数据,得到正常数据;
有效性识别步骤:通过预设区间值对正常数据进行过滤,去除无效数据;
合并计算步骤:通过合并计算,将过滤后的正常数据转换为标准数据;
数据清洗完成后,标准数据组合形成标准数据集。
预设区间值为正常数据平均值的左右两倍标准差。
实施例三
本实施例提供了一种具体实施方式。以钢铁行业为例,具体的数据补充过程如下:
首先,通过数据采集模块采集生产线上的生产数据,生产数据包括燃料的含碳量、碳的消耗量和材料的重量;将采集到的数据输入到服务器终端,服务器调取数据清洗模块进行数据清洗,数据清洗以碳消耗量为例。
数据清洗模块的具体实施方式为:
数据清洗模块首先对比数据字符串格式,清除乱码数据。例如,重量数据应该是纯数值组合,如果出现非法字符,则需要系统进行清除;完成初步过滤后,需要对数据的有效性进行识别,通过对周期内上传的同类数据进行横向对比,并结合系统的预设区间值进行过滤。差异比较大的值根据预设数据区间进行过滤,去除无效数据,无效数据即预设区间以外的数据;然后通过合并计算等方式,将源数据转换为标准数据。清洗完成的数据为标准数据,标准数据即只包含数字的数据。
例如设备A每分钟上传一次碳消耗数据,系统的统计周期为1小时,累计1小时上传了60次碳消耗数据,通过乱码识别清除了50条数据,剩余10条正常数据分别为109,107,110,108,106,105,117,108,106,101;
计算平均值μ=107.7;
计算标准差σ≈3.9;
预设区间值为正常数据平均值的左右两倍标准差,即(107.7-7.8)<x<(107.7+7.8),即99.9<x<115.5;过滤数据组109,107,110,108,106,105,117,108,106,101;117不在区间内,识别为无效数据,需进行去除,故有效数据为109,107,110,108,106,105,108,106,101共九条;
然后计算有效数据的均值μ2=106.7,即平均每分钟消耗大概106.7KG碳;
系统计算周期为1小时,故此计算周期A设备碳消耗量为106.7*60=6402kg;
合并计算具体为:企业生产线用碳的设备包含3个,分别为A、B和C,通过上述方式,分别得到A、B、C过去一小时的碳消耗量分别为6402kg、3545kg和7742kg;该企业过去一小时消耗的碳总量FC=6402+3545+7742=17689kg,另外标准数据计算单位为t,故转化后的标准数据为17.689t。即识别出A、B和C都有碳消耗,然后把A、B和C相加合并,在进行单位转换,形成标准数据。
算法建模模块具体为:
算法建模模块根据选取规则选取子算法模型;选取规则为企业所属行业类别,根据企业所属行业选取子算法模型。
钢铁行业的子算法模型包括燃料碳排放计算模型、过程排放计算模型和间接排放计算模型。
燃料碳排放计算模型具体为:
E燃烧为核算和报告期内消耗燃料燃烧产生的二氧化碳排放量,单位为吨二氧化碳(tCO2);
ADi为核算和报告期内第i种燃料的活动数据,单位为吉焦(GJ);
EFi为第i种化石燃料的二氧化碳排放因子,单位为吨二氧化碳每吉焦(tCO2/GJ);
i为消耗燃料的类型。
碳排放因子计算:单位热值含碳量*碳氧化率*44/12;
其中,EFi为第i种燃料的二氧化碳排放因子,单位为吨二氧化碳每吉焦(tCO2/GJ);
CCi为i种燃料的单位热值含碳量,单位为吨碳每吉焦(tC/GJ);
OFi为i种燃料的碳氧化率;
44/12为二氧化碳与碳的相对分子质量。
活动数据计算:活动数据=消耗量*平均低位发热量;
ADi=NVCi×FCi
ADi为核算和报告年度内第i种化石燃料的活动数据,单位为吉焦(GJ);
NVCi为核算和报告期第i种化石燃料的平均低位发热量,对固体或液体燃料,单位为吉焦每吨(GJ/t),对气体燃料,单位为吉焦每万标立方米(GJ/104Nm3);
FCi为核算和报告期内第i种化石燃料的消耗量,对固体或液体燃料,单位为吨(t),对气体燃料,单位为万标立方米(104Nm3)。
消耗量计算:消耗量=各生产环节对应物料消耗累加;
过程排放计算模型为:
E过程=E溶剂+E电极+E原料
式中,E过程为生产过程中的碳排放量;
E溶剂为溶剂消耗产生的二氧化碳排放量;
E电极消耗产生的二氧化碳排放量;
E原料为含碳原料消耗而产生的二氧化碳排放量;
E溶剂按以下子模型计算:
E溶剂为溶剂消耗产生的二氧化碳排放量,单位为吨二氧化碳(tCO2);
Pi为核算和报告期内第i种溶剂的消耗量,单位为吨(t);
Dxi为核算和报告年度内,第i种溶剂的平均纯度,以%表示;
EFi为第i种溶剂的二氧化碳排放因子,单位为吨二氧化碳每吨(tCO2/t);
i为消耗溶剂的种类(白云石、石灰石等)。
电极消耗产生的二氧化碳排放公式为:
E电极=P电极×EF电极
E电极电极消耗产生的二氧化碳排放量,单位为吨二氧化碳(tCO2);
P电极核算和报告期内电炉炼钢及精炼炉等消耗的电极量,单位为(t);
EF电极电炉炼钢及精炼炉等所消耗电极的二氧化碳排放因子,单位为吨二氧化碳每吨(tCO2/t)。
外购生铁等含碳原料消耗而产生的二氧化碳排放按以下公式计算:
E原料为外购生铁、铁合金、直接还原铁等其他含碳原料消耗而产生的二氧化碳排放量,单位为吨二氧化碳(tCO2);
Mi为核算和报告周期内第i种含碳量的购入量,单位为(t);
EFi第i种购入含碳原料的二氧化碳排放因子,单位为吨二氧化碳每吨(tCO2/t);
i为外购含碳原料类型(如生铁、铁合金、直接还原铁等)。
间接排放计算模型具体为:
E间接=E输入电+E输出电+AD热水+AD蒸汽
式中:
E间接为企业间接的碳排放量;
E输入电为购入电力消费对应的排放量;
E输出电为输出电力消费对应的排放量;
AD热水为热水的热量;
AD蒸汽为蒸汽的热量;
E输入电按以下子模型计算:
E输入电=AD输入电×EF输入电
式中:
E输入电为购入电力消费对应的排放量,单位为吨二氧化碳(tCO2);
AD输入电核算和报告年度内的购入电量,单位为兆瓦时(MWh);
EF输入电为区域电网年平均供电排放因子,单位为吨二氧化碳每兆瓦时(tCO2/MWh);
E输出电=AD输出电×EF输出电
式中:
E输出电为输出电力消费对应的排放量,单位为吨二氧化碳(tCO2);
AD输出电为核算和报告年度内的输出电量,单位为兆瓦时(MWh);
EF输出电为区域电网年平均供电排放因子,单位为吨二氧化碳每兆瓦时(tCO2/MWh);热消耗计算为:
AD热水=Maw×(Tw-20)×4.186×10-3
式中:
AD热水为热水的热量,单位为吉焦(GJ);
Maw为热水的质量,单位为吨(t);
Tw为热水温度,单位为摄氏度(℃);
4.1868为水在常温常压下的比热,单位为千焦每千克摄氏度{KJ/(kg·℃)};
AD蒸汽=Mast×(Enst-83.74)×10-3
式中:
AD蒸汽为蒸汽的热量,单位为吉焦(GJ);
Mast为蒸汽的质量,单位为吨(t);
Enst为蒸汽所对应的温度,压力下每千克蒸汽的热焓,单位为每千焦每千克(KJ/kg);
间接排放为:E间接=E输入电+E输出电+AD热水+AD蒸汽。
数据生成模块的具体实施方式为:
在上述过程中,可能存在某一项标准数据计算所需参数不全,导致无法计算出标准数据,例如计算上述企业炭总消耗量时,设备A故障,未上传相关数据,或者上传的数据均为乱码,被自动去除掉,导致A设备碳消耗量缺失,无法完成计算;这种情况下,系统自动将对应标准数据标记为缺失标准数据,在对所有标准数据完成遍历计算后,形成标准数据缺失清单,统一输出到数据生成模块。
判断是否有数据缺失的具体步骤为:
步骤S1:根据算法建模模块选取的子算法模型,罗列出计算所需的所有标准数据清单;在钢铁行业中,标准数据清单包括含碳量、燃料的消耗量、溶剂的消耗量、溶剂的平均纯度、消耗溶剂的种类、消耗的电极量、含碳量的购入量、含碳原料类型、购入电量和输出电量等数据。
步骤S2:将数据清洗模块得到的标准数据集与步骤S1中的标准数据清单进行比对;
步骤S3:如果标准数据清单中的值在标准数据集中没有对应的值,则标记为缺失数据,所有的缺失数据组合为缺失数据清单。
数据生成模块主要用于自动生成缺失数据:在获取到缺失的标准数据清单后,数据生成模块会向数据库调取历史数据:历史数据包括3-5年内的同期数据以及最近一个月的数据。
以焦炭消耗量为例,进行数据补充;例如,企业过去一个月的焦炭消耗量的加权平均值a为110;企业有2018、2019、2020,3年的同期数据,2019较2018年同比增长3%,2020年较2019年同比增长-1%,2021年较2020年同比增长4%,假设企业设定的历年权重都是1,则加权平均值为(3%-1%+4%)/3=2%,假设2020年同期数据为100,计算得出参考值b=100*(1+2%)=102(t);
通过a和b,结合企业预设的权重(例如,企业预设的权重为a为60%,b为40%),得出需要的填充值,最终生成的填充值α=110*60%+102*40%=106.8(t)。数据生成模块通过上述方法对每一个缺失标准数据进行计算,并将计算结果输出到数据计算模块。
数据计算模块的具体实施方式为:
数据计算模块用于将数据清洗模块中得到的标准数据、算法建模模块中选取的子算法模型和数据生成模块中的补充数据进行结合,并计算得到最终的企业碳排放数据。例如企业配置的算法模型包括:
燃料碳排放量计算:
活动数据计算:活动数据=消耗量*平均低位发热量;
碳排放因子计算:碳燃料排放因子=单位热值含碳量*碳氧化率*44/12;
碳排放量计算:燃料碳排放量=活动数据*碳排放因子;
以焦炭为例,清洗后的标准数据,平均低位发热量=28.4GJ/t;单位热值含碳量=0.03;
碳氧化率=93%;焦炭消耗量为=106.8t(即上面计算的α值);
第一步:将焦炭消耗量和平均低位发热量带入活动数据计算计算焦炭活动数据;
ADi=NVCi*FCi=106.8*28.4=3033.12(GJ);
第二步:将焦炭单位热值含碳量和碳氧化率带入碳排放因子计算计算焦炭排放因子;
EFi=CCi*OFi*44/12=0.03*0.93*44/12=0.1023(tCO2/GJ)
第三步:将第一步、第二步结果带入碳排放量计算,计算焦炭的碳排放量;
燃料碳排放量=ADi*EFi=3033.12*0.1023=310.288176(tCO2)
第四步:依据上述方法,依次计算出企业所有耗料相关的碳排放量;
第五步:将所有耗料的碳排放量加起来,形成企业这个周期内的总体碳排放数据。
过程排放计算模型和间接排放计算模型的计算在此不在赘述。
总体碳排放数据=310.288176+E过程+E间接;其中,E过程为过程排放计算模型中计算得到的碳排放量,E间接为间接排放计算模型中计算得到的,企业间接的碳排放量。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于权重的数据智能补充方法,其特征在于:包括服务器终端,服务器终端用于接收并存储生产线上的生产数据,服务器终端内设置数据清洗模块、算法建模模块、数据生成模块和数据计算模块;
在服务器终端内,算法建模模块根据选取规则选取子算法模型,根据选取的子算法模型选取标准数据清单;子算法模型包括燃料碳排放计算模型、过程排放计算模型和间接排放计算模型;
在服务器终端内,通过数据清洗模块将采集到的数据进行清洗和缺失数据识别,得到标准数据集和标准数据缺失清单;标准数据集直接传输到数据计算模块,用于碳排放计算;标准数据缺失清单传输到数据生成模块,用于补充数据生成;
缺失数据识别包括以下步骤:
步骤S1:根据算法建模模块选取的子算法模型,得到标准数据清单;
步骤S2:根据数据清洗得到的标准数据集,将标准数据集与标准数据清单进行对比;
步骤S3:如果标准数据集中的值在标准数据清单中没有对应的值,则标记为缺失数据,如果有对应的值,则不操作;
步骤S4:将所有的缺失数据组合为缺失数据清单;
在服务器终端内,数据生成模块接收到标准数据缺失清单后,通过数据生成模块对标准数据缺失清单进行数据补充;
数据生成模块对缺失数据清单中的缺失数据补充具体为:
步骤A1:首先,从服务器终端调取历史数据;
步骤A2:对调取的历史数据进行计算,得到历史数据的增长率以及历史数据的加权平均值a;
步骤A3:对历史数据的增长率进行加权平均,得到增长率的加权平均值,并将历史数据与增长率的加权平均值进行计算,得到参考值b;
步骤A4:再根据预设的权重比,计算得出数据填充值α;
数据计算模块用于将数据清洗模块中得到的标准数据、算法建模模块中选取的子算法模型和数据生成模块中的补充数据结合计算,并计算得到最终的碳排放数据。
2.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:填充值α通过以下计算公式进行计算:
α=a*x+b*y
其中,α为填充值;a为加权平均值;b为参考值;x为a的预设权重,y为b的预设权重。
3.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:非法字符为除数字以外的所有字符。
4.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:选取规则为企业所属行业类别,根据企业所属行业选取子算法模型。
5.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:燃料碳排放计算模型具体为:
式中,E燃烧为核算和报告期内消耗燃料燃烧产生的二氧化碳排放量;
ADi为核算和报告期内第i种燃料的活动数据;
EFi为第i种化石燃料的二氧化碳排放因子;
i为消耗燃料的类型;
ADi=NVCi×FCi
ADi为核算和报告年度内第i种化石燃料的活动数据;
NVCi为核算和报告期第i种化石燃料的平均低位发热量;
FCi为核算和报告期内第i种化石燃料的消耗量,对固体或液体燃料;
其中,EFi为第i种燃料的二氧化碳排放因子;
CCi为i种燃料的单位热值含碳量;
OFi为i种燃料的碳氧化率;
44/12为二氧化碳与碳的相对分子质量。
6.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:过程排放计算模型具体为:
E过程=E溶剂+E电极+E原料
式中,E过程为生产过程中的碳排放量;
E溶剂为溶剂消耗产生的二氧化碳排放量;
E电极消耗产生的二氧化碳排放量;
E原料为含碳原料消耗而产生的二氧化碳排放量;
E溶剂按以下子模型计算:
E溶剂为溶剂消耗产生的二氧化碳排放量;
Pi为核算和报告期内第i种溶剂的消耗量;
Dxi为核算和报告年度内,第i种溶剂的平均纯度;
EFi为第i种溶剂的二氧化碳排放因子;
i为消耗溶剂的种类;
E电极按以下子模型计算:
E电极=P电极×EF电极
E电极电极消耗产生的二氧化碳排放量;
P电极核算和报告期内电炉炼钢及精炼炉等消耗的电极量;
EF电极电炉炼钢及精炼炉等所消耗电极的二氧化碳排放因子;
E原料按以下子模型计算:
E原料为外购生铁、铁合金、直接还原铁等其他含碳原料消耗而产生的二氧化碳排放量;
Mi为核算和报告周期内第i种含碳量的购入量;
EFi第i种购入含碳原料的二氧化碳排放因子;
i为外购含碳原料类型。
7.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:间接排放计算模型具体为:
E间接=E输入电+E输出电+AD热水+AD蒸汽
式中:
E间接为企业间接的碳排放量;
E输入电为购入电力消费对应的排放量;
E输出电为输出电力消费对应的排放量;
AD热水为热水的热量;
AD蒸汽为蒸汽的热量;
E输入电按以下子模型计算:
E输入电=AD输入电×EF输入电
式中:
E输入电为购入电力消费对应的排放量;
AD输入电核算和报告年度内的购入电量;
EF输入电为区域电网年平均供电排放因子;
E输出电按以下子模型计算:
E输出电=AD输出电×EF输出电
式中:
E输出电为输出电力消费对应的排放量;
AD输出电为核算和报告年度内的输出电量;
EF输出电为区域电网年平均供电排放因子;
AD热水按以下子模型计算:
AD热水=Maw×(Tw-20)×4.186×10-3
式中:
AD热水为热水的热量;
Maw为热水的质量;
Tw为热水温度;
4.1868为水在常温常压下的比热;
AD蒸汽按以下子模型计算:
AD蒸汽=Mast×(Enst-83.74)×10-3
式中:
AD蒸汽为蒸汽的热量;
Mast为蒸汽的质量;
Enst为蒸汽所对应的温度,压力下每千克蒸汽的热焓。
8.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:标准数据清单包括含碳量、燃料的消耗量、溶剂的消耗量、溶剂的平均纯度、消耗溶剂的种类、消耗的电极量、含碳量的购入量、含碳原料类型、购入电量和输出电量。
9.根据权利要求1所述的一种基于权重的数据智能补充方法,其特征在于:数据清洗包括以下步骤:
数据字符串格式对比步骤:将采集到的数据进行字符串对比,清除数据中包含非法字符的数据,得到正常数据;
有效性识别步骤:通过预设区间值对正常数据进行过滤,去除无效数据;
合并计算步骤:通过合并计算,将过滤后的正常数据转换为标准数据;
数据清洗完成后,标准数据组合形成标准数据集。
10.根据权利要求9所述的一种基于权重的数据智能补充方法,其特征在于:预设区间值为正常数据平均值的左右两倍标准差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210048809.6A CN114385618B (zh) | 2022-01-17 | 2022-01-17 | 一种基于权重的数据智能补充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210048809.6A CN114385618B (zh) | 2022-01-17 | 2022-01-17 | 一种基于权重的数据智能补充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114385618A true CN114385618A (zh) | 2022-04-22 |
CN114385618B CN114385618B (zh) | 2024-04-12 |
Family
ID=81201287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210048809.6A Active CN114385618B (zh) | 2022-01-17 | 2022-01-17 | 一种基于权重的数据智能补充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114385618B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115934913A (zh) * | 2022-12-23 | 2023-04-07 | 国义招标股份有限公司 | 基于深度学习数据生成的碳排放核算方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249770B1 (en) * | 1998-01-30 | 2001-06-19 | Citibank, N.A. | Method and system of financial spreading and forecasting |
US7343551B1 (en) * | 2002-11-27 | 2008-03-11 | Adobe Systems Incorporated | Autocompleting form fields based on previously entered values |
CN108346009A (zh) * | 2018-03-21 | 2018-07-31 | 深圳库博能源科技有限公司 | 一种基于用户模型自学习的电力生产配置方法和装置 |
CN110781167A (zh) * | 2019-10-17 | 2020-02-11 | 昆明电力交易中心有限责任公司 | 一种基于聚类压缩感知的用户缺失电量数据修复方法 |
CN111177217A (zh) * | 2019-12-24 | 2020-05-19 | 平安信托有限责任公司 | 数据预处理方法、装置、计算机设备及存储介质 |
CN111899318A (zh) * | 2020-08-13 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 数据的处理方法、装置及计算机可读存储介质 |
CN113590989A (zh) * | 2020-04-30 | 2021-11-02 | 北京金山云网络技术有限公司 | 用于实时计算异常时的数据处理方法、装置以及电子设备 |
-
2022
- 2022-01-17 CN CN202210048809.6A patent/CN114385618B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249770B1 (en) * | 1998-01-30 | 2001-06-19 | Citibank, N.A. | Method and system of financial spreading and forecasting |
US7343551B1 (en) * | 2002-11-27 | 2008-03-11 | Adobe Systems Incorporated | Autocompleting form fields based on previously entered values |
CN108346009A (zh) * | 2018-03-21 | 2018-07-31 | 深圳库博能源科技有限公司 | 一种基于用户模型自学习的电力生产配置方法和装置 |
CN110781167A (zh) * | 2019-10-17 | 2020-02-11 | 昆明电力交易中心有限责任公司 | 一种基于聚类压缩感知的用户缺失电量数据修复方法 |
CN111177217A (zh) * | 2019-12-24 | 2020-05-19 | 平安信托有限责任公司 | 数据预处理方法、装置、计算机设备及存储介质 |
CN113590989A (zh) * | 2020-04-30 | 2021-11-02 | 北京金山云网络技术有限公司 | 用于实时计算异常时的数据处理方法、装置以及电子设备 |
CN111899318A (zh) * | 2020-08-13 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 数据的处理方法、装置及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115934913A (zh) * | 2022-12-23 | 2023-04-07 | 国义招标股份有限公司 | 基于深度学习数据生成的碳排放核算方法和系统 |
CN115934913B (zh) * | 2022-12-23 | 2024-03-22 | 国义招标股份有限公司 | 基于深度学习数据生成的碳排放核算方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114385618B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109272243B (zh) | 碳资产管理方法及系统 | |
CN108490904B (zh) | 一种基于设备多工况运行的能源系统优化调度方法 | |
CN113723718B (zh) | 一种能源碳排放预测方法、装置、设备及介质 | |
Eichhammer et al. | Industrial energy efficiency: indicators for a European cross-country comparison of energy efficiency in the manufacturing industry | |
CN114399218A (zh) | 造纸企业碳减排成本效益评价方法 | |
CN114385618A (zh) | 一种基于权重的数据智能补充方法 | |
CN104593540A (zh) | 转炉炼钢过程能效评估方法 | |
CN114836776B (zh) | 新能源耦合煤化工多能系统的全寿命周期的经济性评估方法 | |
CN114565171A (zh) | 一种建筑碳码生成方法及系统 | |
Pandey et al. | Opportunities for sustainability improvement in aluminum industry | |
CN114385735A (zh) | 一种碳排放数据采集系统及监测系统 | |
CN116882775A (zh) | 一种钢铁行业碳资产管理系统及方法 | |
CN116664161B (zh) | 一种基于燃煤火电厂的二氧化碳排放核算技术选择方法 | |
CN101388091A (zh) | 标准成本管理系统及方法 | |
Boldrini et al. | Flexibility options in a decarbonising iron and steel industry | |
CN116894164A (zh) | 一种电力平台数据智能管理方法 | |
CN114662927A (zh) | 炼油化工企业碳计量管理系统及方法 | |
Liu et al. | Industrial sector energy conservation programs in the People's Republic of China during the seventh five-year plan (1986-1990) | |
CN114925892A (zh) | 水电与电转气结合的中长期风水火发电量双层规划方法 | |
CN113240275A (zh) | 工业企业碳排放评价系统 | |
Tyner Sr et al. | The net-energy yield of nuclear power | |
CN110738393A (zh) | 一种综合能源系统天然气发电效益评价方法及系统 | |
Wallner | Oxygen provision for a steel mill via flexible electrolyser operation | |
CN107944134A (zh) | 一种合成气制取技术的确定方法及装置 | |
Wang et al. | A Multi-objective Optimal Scheduling Method by Considering Energy and Production for Integrated Energy System in Steel Industry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |