CN113902166A - 大数据融合碳排放治理、预测分析模型方法 - Google Patents
大数据融合碳排放治理、预测分析模型方法 Download PDFInfo
- Publication number
- CN113902166A CN113902166A CN202111042848.7A CN202111042848A CN113902166A CN 113902166 A CN113902166 A CN 113902166A CN 202111042848 A CN202111042848 A CN 202111042848A CN 113902166 A CN113902166 A CN 113902166A
- Authority
- CN
- China
- Prior art keywords
- data
- carbon emission
- batch
- neural network
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 43
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000004458 analytical method Methods 0.000 title claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 238000010606 normalization Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000000306 recurrent effect Effects 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 239000005431 greenhouse gas Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种大数据融合碳排放治理、预测分析模型方法,是针对现有同类方法对新区域的碳排放较难精准预测,较少采用模型对碳排放治理预测分析的技术问题。其要点是该方法利用大数据深度网络对数据进行预训练,采用深度学习的方法学习大量数据的通用特征;然后,采用批量标准化的机制对源域核目标域的数据分布进行一致性处理后,新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征;最后,通过多核学习的方法将通用特征和差异特征进行融合,基于循环神经网络设计一个数据预测模型。上述差异特征学习先将新区域的数据放进已经训练好的深度学习神经网络中添加两层批量标准化层,最后由监督学习进行神经网络最后一层参数的微调。
Description
技术领域
本发明涉及碳排放指数的模型,是一种大数据融合碳排放治理、预测分析模型方法。
背景技术
碳排放是指人类活动或者自然形成的温室气体排放,温室气体一旦超出大气标准,便会造成温室效应,使全球气温上升,威胁人类生存。全球气候变暖的主要原因是由于人类在自身发展过程中对能源的过度使用和自然资源的过度开发,造成大气中温室气体的浓度以极快的速度增长所致。目前,由于电力行业碳排放指数是结合电力碳排放总量指标、电力排放强度指标和零碳电能占比三个指标构成的,三个指标具有相互侧重又相互支撑。因此电力碳排放充电行业碳排放指数涉及时域、地域和成分(即电力碳排放总量指标、电力排放强度指标和零碳电能占比)三个维度来刻画。从一个地区对碳排放指数构建碳排放的预测模型,直接使用很难适用于其他区域,对于一个新的区域来说,采集大量的样本,采用专业的方法并对样本的碳排放指数进行估计,这将是一项耗时耗力的事情。现有一些碳排放控制采用大数据分析,如中国专利文献中披露的申请号201910732016.4,申请公布日2019.12.06,发明名称“一种基于大数据分析的企业碳数据或碳资产智能管控平台”;但目前用于电动汽车充电的碳排放治理和预警分析较少,其采用的主要方法,如中国专利文献中披露的申请号201910401157.8,申请公布日2019.08.23,发明名称“一种电动车二氧化碳减排量估算方法”;及如中国专利文献中披露的申请号201910416264.8,申请公布日2019.09.10,发明名称“一种电动汽车绿色发展体系指数计算方法”。但上述方法较少采用新区域的数据设计碳排放治理、预测分析模型,精准预测碳排放。
发明内容
为克服上述不足,本发明的目的是向本领域提供一种大数据融合碳排放治理、预测分析模型方法,使其主要解决现有同类方法对新区域的碳排放较难精准预测,较少采用模型对碳排放治理预测分析的技术问题。其目的是通过如下技术方案实现的。
一种大数据融合碳排放治理、预测分析模型方法,其特征在于该方法利用大数据深度网络对数据进行预训练,采用深度学习的方法学习大量数据的通用特征;然后,采用批量标准化的机制对源域核目标域的数据分布进行一致性处理后,采用新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征;最后,通过多核学习的方法将通用特征和差异特征进行融合,基于循环神经网络设计一个数据预测模型。从而通过数据预测模型有效提升数据预测得精度,在数据精准预测基础上,采用合适的碳排放工具进行碳排放综合治理,提升治理的有效性。
该方法的具体步骤如下:步骤一,采用深度学习的方法,学习大量数据的通用特征,即将大量的训练数据放进去深度卷积神经网络中,通过大规模数据进行训练,深度神经网络的卷积核能够获取通用的特征信息;步骤二,采用新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征,由于不同区域的数据分布是具有差异性的,采用批量标准化的机制实现新区域的自适应,提高预测模型的泛化能力;步骤三,采用多核学习方法将通用特征和差异特征进行融合,即采用多个核函数进行组合,每个核函数对应数据的不同特征空间,以便实现特征融合;同时利用各个基本和的特征映射能力,解决特征融合的问题;步骤四,采用循环神经网络实现碳排放数据的预测,从时间序列数据中截取四个时间序列数据,然后结合编码器对数据编码后,并获得语义编码。
所述步骤二的新区域在线数据的差异特征学习步骤如下:
1)首先,将新区域的数据放进去步骤一中已经训练好的深度学习神经网络中;
2)然后,深度学习神经网络中添加两层批量标准化层,分别在第t层隐含层前面和第t+1层隐含层后面;
3)接着,基于新区域在线少量数据,利用有监督学习进行神经网络最后一层参数的微调;
假设U是t-1层某个神经元的输出,那么经过批量标准化操作之后,批量标准化操作后某个神经元的计算值为:x=WU+b;其中W和b是批量标准化操作层设置好的两个参数;由于前一层的神经元都经过线性变换值,需要对线性变换的数据进行标准化处理,那么需要对每一个神经元的线性变换值进行标准化激活处理后,才能成为批量标准化神经元的输入值;假设x(k)为第k个神经元在某一个批量标准化操作所获得的线性变换值;E(x(k))为各个隐含层神经元经过同一个批量标准化线性变换处理后的均值,为各个隐含层神经元经过同一个批量标准化线性变换处理后的标准差;
4)最后,基于上述的深度学习网络将新区域的差异化特征进行提取。
本发明的自适应性和自学习性更高,数据训练时间较短,数据可信度较高,提高了数据的预测精度;其适合用于电力行业碳排放指数通过模型进行治理预测分析,及其同类方法的技术改进。
附图说明
图1是本发明的深度学习的工作原理方框图。
图2是本发明的深度学习神经网络中添加两层批量标准化层的工作原理图。
图3是图2的参数微调的工作原理图。
图4是本发明的采用循环神经网络实现碳排放数据预测的工作原理方框图。
具体实施方式
现结合附图,对本发明的具体实施步骤进行进一步的具体描述。
步骤一,采用深度学习的方法,学习大量数据的通用特征。为了实现碳排放指数的预测,将大量的训练数据放进去深度卷积神经网络中,通过大规模数据进行训练,深度神经网络的卷积核能够获取通用的特征信息,如图1所示。
步骤二,采用新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征。虽然微调节省新区域数据训练的时间,能提高学习精度,但是它是建立在源域核目标域数据分布的基础上,由于区域不一样,影响不同地区的碳排放指数计算的指标存在误差、扭曲、噪音和异常值的影响,上述指标包括电力碳排放总量指标、电力排放强度指标和零碳电能占比,因此不同区域的数据分布是具有差异性的。该方法采用批量标准化的机制实现新区域的自适应,提高预测模型的泛化能力。
所述新区域在线数据的差异特征学习步骤如下:
1)首先,将新区域的数据放进去步骤一中已经训练好的深度学习神经网络中。
2)然后,深度学习神经网络中添加两层批量标准化层,分别在第t层隐含层前面和第t+1层隐含层后面,具体如图2所示。
假设U是t-1层某个神经元的输出,那么经过批量标准化操作之后,批量标准化操作后某个神经元的计算值为:x=WU+b;其中W和b是批量标准化操作层设置好的两个参数。由于前一层的神经元都经过线性变换值,需要对线性变换的数据进行标准化处理,那么需要对每一个神经元的线性变换值进行标准化激活处理后,才能成为批量标准化神经元的输入值。
假设x(k)为第k个神经元在某一个批量标准化操作所获得的线性变换值;E(x(k))为各个隐含层神经元经过同一个批量标准化线性变换处理后的均值,为各个隐含层神经元经过同一个批量标准化线性变换处理后的标准差。那么最后,该批量标准化神经元的输出值为:
3)接着,基于新区域在线少量数据,利用有监督学习进行神经网络最后一层参数的微调。这一步基于获取在线数据的周期,对模型进行不断迭代和网络参数更新,这样的网络模型更加容易满足动态数据的要求,如图3所示。
4)最后,基于上述的深度学习网络将新区域的差异化特征进行提取。
步骤三,采用多核学习方法将通用特征和差异特征进行融合,即采用多个核函数进行组合,每个核函数对应数据的不同特征空间,以便实现特征融合;同时利用各个基本和的特征映射能力,解决特征融合的问题。所述步骤三的多核学习方法公式表示为:
步骤四,采用循环神经网络实现碳排放数据的预测,从时间序列数据中截取四个时间序列数据,然后结合编码器对数据编码后,并获得语义编码。这里需要强调的是,语义编码不是固定的,它是随着数据的不同而时刻改变。然后结合语义编码进行解码后,实现碳排放指数数据的预测,如图4所示。
该方法的创新点具体如下:1、利用大规模数据预训练模型进行通用特征提取,很大程度上利用了大规模数据的优势,学习到数据的通用特征快速锁定可信深度神经网络参数的变化范围,也能避免由于数据量过少所产生的网络过拟合的现象。2、采用批量标准化实现不同源域数据和目标域数据的处理,实现新区域自适应方法消除数据集的分布差异,应对传统数据无法被使用的问题。3、通过在线少量数据,利用有监督学习进行神经网络最后一层参数的微调,从而应对新的区域样本数据太少导致的数据建模精度不可信,数据训练时间过长的问题。4、采用多核学习的方法,将通用的特征和差异化特征进行学习,使得融合后的特征得到更好的表达,显著提高数据预测精度。
Claims (4)
1.一种大数据融合碳排放治理、预测分析模型方法,其特征在于该方法利用大数据深度网络对数据进行预训练,采用深度学习的方法学习大量数据的通用特征;然后,采用批量标准化的机制对源域核目标域的数据分布进行一致性处理后,采用新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征;最后,通过多核学习的方法将通用特征和差异特征进行融合,基于循环神经网络设计一个数据预测模型。
2.根据权利要求1所述的大数据融合碳排放治理、预测分析模型方法,其特征在于该方法的具体步骤如下:步骤一,采用深度学习的方法,学习大量数据的通用特征,即将大量的训练数据放进去深度卷积神经网络中,通过大规模数据进行训练,深度神经网络的卷积核能够获取通用的特征信息;步骤二,采用新区域的数据对网络参数进行微调,进而学习新区域在线数据的差异特征,由于不同区域的数据分布是具有差异性的,采用批量标准化的机制实现新区域的自适应,提高预测模型的泛化能力;步骤三,采用多核学习方法将通用特征和差异特征进行融合,即采用多个核函数进行组合,每个核函数对应数据的不同特征空间,以便实现特征融合;同时利用各个基本和的特征映射能力,解决特征融合的问题;步骤四,采用循环神经网络实现碳排放数据的预测,从时间序列数据中截取四个时间序列数据,然后结合编码器对数据编码后,并获得语义编码。
3.根据权利要求2所述的大数据融合碳排放治理、预测分析模型方法,其特征在于所述步骤二的新区域在线数据的差异特征学习步骤如下:
1)首先,将新区域的数据放进去步骤一中已经训练好的深度学习神经网络中;
2)然后,深度学习神经网络中添加两层批量标准化层,分别在第t层隐含层前面和第t+1层隐含层后面;
3)接着,基于新区域在线少量数据,利用有监督学习进行神经网络最后一层参数的微调;
假设U是t-1层某个神经元的输出,那么经过批量标准化操作之后,批量标准化操作后某个神经元的计算值为:x=WU+b;其中W和b是批量标准化操作层设置好的两个参数;由于前一层的神经元都经过线性变换值,需要对线性变换的数据进行标准化处理,那么需要对每一个神经元的线性变换值进行标准化激活处理后,才能成为批量标准化神经元的输入值;假设x(k)为第k个神经元在某一个批量标准化操作所获得的线性变换值;E(x(k))为各个隐含层神经元经过同一个批量标准化线性变换处理后的均值,为各个隐含层神经元经过同一个批量标准化线性变换处理后的标准差;
4)最后,基于上述的深度学习网络将新区域的差异化特征进行提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042848.7A CN113902166A (zh) | 2021-09-07 | 2021-09-07 | 大数据融合碳排放治理、预测分析模型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042848.7A CN113902166A (zh) | 2021-09-07 | 2021-09-07 | 大数据融合碳排放治理、预测分析模型方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113902166A true CN113902166A (zh) | 2022-01-07 |
Family
ID=79188661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111042848.7A Pending CN113902166A (zh) | 2021-09-07 | 2021-09-07 | 大数据融合碳排放治理、预测分析模型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902166A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114912548A (zh) * | 2022-07-11 | 2022-08-16 | 国网信息通信产业集团有限公司 | 一种利用电力人工智能的大气污染用户识别系统及方法 |
CN116050507A (zh) * | 2023-01-18 | 2023-05-02 | 合肥中科立恒智能科技有限公司 | 一种二氧化碳排放监测方法与系统 |
-
2021
- 2021-09-07 CN CN202111042848.7A patent/CN113902166A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114912548A (zh) * | 2022-07-11 | 2022-08-16 | 国网信息通信产业集团有限公司 | 一种利用电力人工智能的大气污染用户识别系统及方法 |
CN114912548B (zh) * | 2022-07-11 | 2022-10-25 | 国网信息通信产业集团有限公司 | 一种利用电力人工智能的大气污染用户识别系统及方法 |
CN116050507A (zh) * | 2023-01-18 | 2023-05-02 | 合肥中科立恒智能科技有限公司 | 一种二氧化碳排放监测方法与系统 |
CN116050507B (zh) * | 2023-01-18 | 2023-12-22 | 合肥中科立恒智能科技有限公司 | 一种二氧化碳排放监测方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108459955B (zh) | 基于深度自编码网络的软件缺陷预测方法 | |
CN110555989B (zh) | 一种基于Xgboost算法的交通量预测方法 | |
CN113902166A (zh) | 大数据融合碳排放治理、预测分析模型方法 | |
CN112560948B (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
CN113033861A (zh) | 一种基于时间序列模型的水质预测方法及系统 | |
CN115602337A (zh) | 一种基于机器学习的刺激隐核虫疾病预警方法及系统 | |
CN115526298A (zh) | 一种高鲁棒性的大气污染物浓度综合预测方法 | |
CN113435124A (zh) | 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法 | |
CN114139624A (zh) | 一种基于集成模型挖掘时间序列数据相似性信息的方法 | |
CN116596033A (zh) | 一种基于窗口注意力和生成器的Transformer臭氧浓度预测方法 | |
CN116415200A (zh) | 一种基于深度学习的异常车辆轨迹异常检测方法及系统 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
Liu et al. | A novel hybrid model to predict dissolved oxygen for efficient water quality in intensive aquaculture | |
Moscoso-López et al. | Hourly pollutants forecasting using a deep learning approach to obtain the AQI | |
CN114065996A (zh) | 基于变分自编码学习的交通流预测方法 | |
CN116106751A (zh) | 一种基于Informer的锂离子电池荷电状态估计方法 | |
CN115796359A (zh) | 基于深度Koopman算符的PM2.5时空预测方法 | |
Than et al. | Application of a neural network technique for prediction of the water quality index in the Dong Nai River, Vietnam | |
CN114722704A (zh) | 车轮磨损预测网络模型训练方法、装置 | |
CN113159419A (zh) | 一种群体特征画像分析方法、装置、设备及可读存储介质 | |
Louati et al. | Embedding channel pruning within the CNN architecture design using a bi-level evolutionary approach | |
Chen et al. | Research on multi-source heterogeneous big data fusion method based on feature level | |
Liu et al. | ANN-based prediction of ammonia nitrogen for wastewater discharge indicators under carbon neutral trend | |
Chen | Brain Tumor Prediction with LSTM Method | |
Bozorg-Haddad et al. | Computational Intelligence for Water and Environmental Sciences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |