CN117390378A - 一种双碳平台数据智能管理方法及系统 - Google Patents
一种双碳平台数据智能管理方法及系统 Download PDFInfo
- Publication number
- CN117390378A CN117390378A CN202311667833.9A CN202311667833A CN117390378A CN 117390378 A CN117390378 A CN 117390378A CN 202311667833 A CN202311667833 A CN 202311667833A CN 117390378 A CN117390378 A CN 117390378A
- Authority
- CN
- China
- Prior art keywords
- data
- local data
- carbon emission
- local
- box diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 230
- 238000007726 management method Methods 0.000 title claims description 24
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims abstract description 201
- 238000010586 diagram Methods 0.000 claims abstract description 164
- 238000012544 monitoring process Methods 0.000 claims abstract description 122
- 230000005856 abnormality Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000004140 cleaning Methods 0.000 claims abstract description 16
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及数据分析技术领域，具体涉及一种双碳平台数据智能管理方法及系统，包括：采集碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离；根据采集的数据获取局部数据的最终距离权值与局部数据的最终时间权值；根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图，并获取目标数据的最终异常程度，对碳排放数据进行数据清洗。本发明通过对单个数据构建多个箱线图，使数据得到更加全面的评估达到准确的对碳排放数据进行异常检测的目的。
Description
技术领域
本发明涉及数据分析技术领域，具体涉及一种双碳平台数据智能管理方法及系统。
背景技术
双碳平台是指一种旨在实现双碳目标的政策、行动框架或技术体系，因此双碳平台涉及大量的碳排放数据监测与管理，而通常情况下监测数据中存在大量的异常噪声数据，为了提高碳排放数据的数据质量，因此需要将异常噪声数据从碳排放数据中剔除。但是传统的通过构建箱线图对碳排放数据分析时，所得到的数据异常程度过于依赖于所构建的箱线图，此时若箱线图中存在多个异常噪声数据，就会导致箱线图边缘发生偏差，导致无法准确的对碳排放数据进行异常检测。
发明内容
本发明提供一种双碳平台数据智能管理方法及系统，以解决现有的问题：传统的通过构建箱线图对碳排放数据分析无法准确的对碳排放数据进行异常检测。
本发明的一种双碳平台数据智能管理方法及系统采用如下技术方案：
本发明一个实施例提供了一种双碳平台数据智能管理方法，该方法包括以下步骤：
采集碳排放数据、车流量数据以及碳排放监测传感器与道路之间的距离；
根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值；
根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；
根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
优选的，所述采集碳排放数据、车流量数据以及碳排放监测传感器与道路之间的距离，包括的具体方法为：
以城市的主干路的中心点为中心，沿主干路每a米设置一个碳排放监测传感器，并以b秒为采集间隔，采集碳排放数据，a与b分别为预设的碳排放监测传感器间隔距离与碳排放监测传感器采集间隔，并测量道路与每个碳排放检测传感器之间的距离，同时在道路上最接近碳排放检测传感器的位置安装交通检测器，并设置与碳排放监测传感器相同的采集频率，采集车流量数据。
优选的，所述根据碳排放数据获取局部数据与目标数据，包括的具体方法为：
对于第i个碳排放监测传感器在第j时刻采集的数据，首先将第i个碳排放监测传感器在第j时刻采集的数据记为目标数据；
然后预设一个局部时间范围T与局部空间范围L，以第i个碳排放监测传感器为中心，将L内的所有碳排放监测传感器，在第j－T时刻到第j时刻的采集到的除目标数据外的所有数据，作为目标数据的局部数据。
优选的，所述根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值，包括的具体方法为：
对于目标数据的第v个局部数据，通过第v个局部数据所对应的碳排放监测传感器与道路之间的距离、目标数据所对应的碳排放监测传感器与道路之间的距离、第v个局部数据所对应的车流量数据以及目标数据所对应的车流量数据，获取局部数据的距离权值；其具体的计算公式为：
，
式中，为第v个局部数据的距离权值；/>为第v个局部数据所对应的车流量；/>为目标数据所对应的车流量；/>为第v个局部数据所对应的碳排放监测传感器与道路之间的距离；/>为目标数据所对应的碳排放监测传感器与道路之间的距离；/>表示以自然常数为底数的指数函数；/>为绝对值运算符号；
对于目标数据的第v个局部数据，获取第v个局部数据所对应的碳排放监测传感器，以及第v个局部数据所对应的采集时间记为，获取第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下采集的碳排放数据，分别记为/>和/>，最后根据第v个局部数据以及第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据，获取局部数据的时间权值，其具体的计算公式为：
，
式中，表示第v个局部数据的时间权值；/>表示第v个局部数据；/>和/>表示第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据；/>为线性归一化函数；/>为绝对值运算符号。
优选的，所述根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值，包括的具体计算公式为：
，
式中，表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据的时间权值；/>为第v个局部数据的距离权值。
优选的，所述根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性，包括的具体方法为：
根据局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离、局部数据所对应的采集时间与目标数据所对应的采集时间、局部数据的最终距离权值以及局部数据的最终时间权值，计算局部数据与目标数据处于同一箱线图中的可能性，其具体的计算公式为：
，
式中，表示第v个局部数据与目标数据处于同一箱线图中的可能性；/>表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离；/>表示第v个局部数据所对应的采集时间与目标数据所对应的采集时间之间的间隔；L表示预设的局部空间范围；T表示预设的局部时间范围。
优选的，所述根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性，包括的具体方法为：
首先预设一个箱线图数量k，再预设一个选取占比；
然后，将所有局部数据按照每个局部数据与目标数据处于同一箱线图中的可能性，从大到小进行排序，得到局部数据序列；
接着选取局部数据序列中前个局部数据与目标数据，构建第一个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第二个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第三个箱线图；以此类推，直至构建第k个箱线图；
对于第u个箱线图，首先判断第u个箱线图中的目标数据是否处于箱内，若第u个箱线图中的目标数据处于箱内，则第u个箱线图中的目标数据的异常程度为0，若第u个箱线图中的目标数据处于箱外，则将目标数据到第u个箱线图中的箱边缘的距离，作为第u个箱线图中的目标数据的异常程度；
对于第u个箱线图，首先统计第u个箱线图中数据的数量以及第u个箱线图中箱外数据的数量，然后统计箱线图中所有数据两两之间所对应的采集时间间隔，以及箱线图中所有数据两两之间所对应的碳排放监测传感器的距离，计算第u个箱线图的准确性，其具体的计算公式为：
，
式中，表示第u个箱线图的准确性；/>表示第u个箱线图中数据的数量；/>表示第u个箱线图中箱外数据的数量；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的标准差；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的标准差；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的均值；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的均值。
优选的，所述根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度，包括的具体计算公式为：
，
式中，F表示目标数据的最终异常程度；表示第u个箱线图的准确性；/>表示第u个箱线图中的目标数据的异常程度。
优选的，所述根据目标数据的最终异常程度，对碳排放数据进行数据清洗，包括的具体方法为：
对所有数据的最终异常程度进行最大值最小值归一化，得到归一化后的数据最终异常程度；
再预设一个判断阈值；对于第x个数据，当第x个数据归一化后的最终异常程度大于/>，则第x个数据为异常数据，反之则为正常数据；
将异常数据从碳排放数据中剔除，然后利用线性插值法，填充所剔除的数据，完成碳排放数据的清洗。
本发明的实施例提供了一种双碳平台数据智能管理系统，该系统包括数据采集模块、权值分析模块、数据分析模块以及数据清洗模块，其中：
数据采集模块，用于采集碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离；
权值分析模块，用于根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值；
数据分析模块，用于根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；
数据清洗模块，用于根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
本发明的技术方案的有益效果是：传统的通过构建箱线图对碳排放数据分析时，所得到的数据异常程度过于依赖于所构建的箱线图，此时若箱线图中存在多个异常噪声数据，就会导致箱线图边缘发生偏差，导致无法准确的对碳排放数据进行异常检测；因此本发明通过单个碳排放监测传感器的位置以及采集数据的时刻，选取其他数据构建若干箱线图，反应单个数据的异常程度，使每个碳排放数据得到更加全面的评估，以达到准确的对碳排放数据进行异常检测的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种双碳平台数据智能管理方法的步骤流程图；
图2为本发明的一种双碳平台数据智能管理系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种双碳平台数据智能管理方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种双碳平台数据智能管理方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种双碳平台数据智能管理方法的步骤流程图，该方法包括以下步骤：
步骤S001：采集碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离。
需要说明的是，在双碳平台数据中，含有大量的城市碳排放数据，为了能够更好地对城市碳排放数据进行智能管理，需要将异常噪声数据筛选出来，而使用传统的通过构建箱线图筛选异常噪声数据时，会由于局部数据对应的监测位置以及监测时间之间的时间存在差异，使得监测数据存在偏差，最终导致无法准确的将异常噪声数据筛选出来；而本实施例作为一种双碳平台数据智能管理方法，需要将异常噪声数据筛选出来，因此需要采集城市碳排放数据，而城市的碳排放主要源自汽车行驶时的碳排放，因此首先需要采集汽车行驶时的碳排放数据。
具体的，以城市的主干路的中心点为中心，沿主干路每a米设置一个碳排放监测传感器，并以b秒为采集间隔，采集碳排放数据，其中a与b分别为，预设的碳排放监测传感器间隔距离与碳排放监测传感器采集间隔，a与b的具体取值可结合实际情况自行设置，本实施例不做硬性要求，在本实施例中以a与b分别为50与1进行叙述，并测量道路与每个碳排放检测传感器之间的距离，同时在道路上最接近碳排放检测传感器的位置安装交通检测器，并设置与碳排放监测传感器相同的采集频率，采集车流量数据。
至此，得到碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离。
步骤S002：根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值。
需要说明的是，通过步骤S001得到碳排放数据，由于步骤S001中碳排放监测传感器采集间隔短；即通过高频采样的方法采集碳排放数据，因此小范围内的碳排放监测传感器采集的碳排放数据在一定程度上相似，所以可以通过小范围内的碳排放监测传感器采集的碳排放数据之间的相对偏差，进行异常数据分析，故可以通过箱线图进行分析。
需要进一步说明的是，在利用箱线图进行碳排放数据分析时，在一段时间内碳排放监测传感器所采集的碳排放数据在局部范围中，与其他碳排放监测传感器所采集的碳排放数据相似，故在一段时间内的局部范围中，多个碳排放监测传感器所采集的碳排放数据之间的相对偏差可以反应数据的异常程度；即可以通过单个碳排放监测传感器的位置以及采集数据的时刻，选取其他数据构建若干箱线图，反应单个数据的异常程度，使每个碳排放数据得到更加全面的评估，以达到准确的对碳排放数据进行异常检测的目的。因此首先需要获取构建若干箱线图所需要的局部数据。
具体的，对于第i个碳排放监测传感器在第j时刻采集的数据，首先将第i个碳排放监测传感器在第j时刻采集的数据记为目标数据；
然后预设一个局部时间范围T与局部空间范围L，T与L的具体取值可结合实际情况自行设置，本实施例不做硬性要求，在本实施例中以L=60米、T=200秒进行叙述，以第i个碳排放监测传感器为中心，将L内的所有碳排放监测传感器，在第j－T时刻到第j时刻的采集到的除目标数据外的所有数据，作为目标数据的局部数据。
需要说明的是，由于需要根据目标数据的局部数据集合构建若干箱线图，因此需要计算目标数据的局部数据集合中每个数据与目标数据处于同一箱线图中的可能性。由于不同的碳排放监测传感器与道路之间的距离存在差异，导致即使碳排放量相同，也会由于不同碳排放监测传感器与道路之间的距离存在差异，使得采集到的碳排放数据不同，从而影响判断局部数据与目标数据处于同一箱线图；为避免由于不同碳排放监测传感器与道路之间的距离存在差异，造成的影响，需要权衡不同碳排放监测传感器与道路之间的距离。
需要进一步说明的是，当局部数据所对应的碳排放监测传感器与道路的距离，和目标数据所对应的碳排放监测传感器与道路的距离之间的差异越小，则局部数据越可能与目标数据处于同一箱线图中；而当局部数据所对应的车流量与目标数据所对应的车流量之间的差异越小时，则局部数据越可能与目标数据处于同一箱线图中，因此即可得到权衡局部数据所对应的碳排放监测传感器与道路之间的距离的权值，简称为局部数据的距离权值。
具体的，对于目标数据的第v个局部数据，通过第v个局部数据所对应的碳排放监测传感器与道路之间的距离、目标数据所对应的碳排放监测传感器与道路之间的距离、第v个局部数据所对应的车流量数据以及目标数据所对应的车流量数据，获取局部数据的距离权值；其具体的计算公式为：
，
式中，为第v个局部数据的距离权值；/>为第v个局部数据所对应的车流量；/>为目标数据所对应的车流量；/>为第v个局部数据所对应的碳排放监测传感器与道路之间的距离；/>为目标数据所对应的碳排放监测传感器与道路之间的距离；/>表示以自然常数为底数的指数函数；/>为绝对值运算符号。
需要说明的是，局部数据的距离权值越大则局部数据越有可能和目标数据处于同一组箱线图中。
需要进一步说明的是，在计算目标数据的局部数据集合中每个数据与目标数据处于同一箱线图中的可能性时，不仅有来自因各个碳排放监测传感器与道路的距离差异带来的影响；还存在因局部数据所对应的采集时间与目标数据所对应的采集时间之间的差异，影响判断局部数据与目标数据处于同一箱线图的可能性；因此需要权衡权衡数据所对应的采集时间的权值，简称为局部数据的时间权值。同时当局部数据的波动程度越大时，则局部数据越不可能与目标数据处于同一箱线图中，即局部数据波动程度越大，局部数据的时间权值越小；因此可以通过局部数据的波动情况获取局部数据的时间权值。
具体的，对于目标数据的第v个局部数据，获取第v个局部数据所对应的碳排放监测传感器，以及第v个局部数据所对应的采集时间记为，获取第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下采集的碳排放数据，分别记为/>和/>，最后根据第v个局部数据以及第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据，获取局部数据的时间权值，其具体的计算公式为：
，
式中，表示第v个局部数据的时间权值；/>表示第v个局部数据；/>和/>表示第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据；/>为线性归一化函数；/>为绝对值运算符号。
需要注意的是，当第v个局部数据所对应的碳排放监测传感器在的只有一个相邻时刻，将第v个局部数据所对应的碳排放监测传感器在/>的相邻时刻下采集的碳排放数据，记为/>，通过第v个局部数据以及第v个局部数据所对应的碳排放监测传感器在/>的相邻时刻下采集的碳排放数据，获取局部数据的时间权值，其具体的计算公式为：
，
式中，表示第v个局部数据的时间权值；/>表示第v个局部数据；/>表示第v个局部数据所对应的碳排放监测传感器在/>的相邻时刻下的碳排放数据；/>为线性归一化函数；/>为绝对值运算符号。
需要进一步说明的是，在得到局部数据的距离权值与局部数据的时间权值后，为了能够更好的计算局部数据与目标数据处于同一箱线图中的可能性，还需要对局部数据的距离权值与局部数据的时间权值进行归一化处理。
具体的，根据局部数据的距离权值与局部数据的时间权值，获取归一化后的局部数据的距离权值与局部数据的时间权值，分别记为最终局部数据的距离权值与最终局部数据的时间权值，其具体的计算公式为：
，
式中，表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据的时间权值；/>为第v个局部数据的距离权值。
需要说明的是，局部数据的最终距离权值越大，则局部数据越有可能和目标数据处于同一组箱线图中；局部数据的最终时间权值越大，则局部数据越有可能和目标数据处于同一组箱线图中。
至此，得到局部数据的最终距离权值与局部数据的最终时间权值。
步骤S003：根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性。
需要说明的是，通过步骤S002得到局部数据的最终距离权值与局部数据的最终时间权值后，即可根据局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离、局部数据所对应的采集时间与目标数据所对应的采集时间、局部数据的最终距离权值以及局部数据的最终时间权值，计算局部数据与目标数据处于同一箱线图中的可能性。
需要进一步说明的是，局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离越小，则局部数据越有可能和目标数据处于同一箱线图中；局部数据所对应的采集时间与目标数据所对应的采集时间之间的间隔越短，则局部数据越有可能和目标数据处于同一箱线图中。
具体的，根据局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离、局部数据所对应的采集时间与目标数据所对应的采集时间、局部数据的最终距离权值以及局部数据的最终时间权值，计算局部数据与目标数据处于同一箱线图中的可能性，其具体的计算公式为：
，
式中，表示第v个局部数据与目标数据处于同一箱线图中的可能性；/>表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离；/>表示第v个局部数据所对应的采集时间与目标数据所对应的采集时间之间的间隔；L表示预设的局部空间范围；T表示预设的局部时间范围。
需要说明的是，的值越大，则第v个局部数据越可能与目标数据处于同一箱线图中。
至此，得到局部数据与目标数据处于同一箱线图中的可能性。
步骤S004：根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
需要说明的是，通过步骤S003得到局部数据与目标数据处于同一箱线图中的可能性后，即可根据局部数据与目标数据处于同一箱线图中的可能性，构建若干箱线图，从而获取目标数据的的异常程度。
具体的，首先预设一个箱线图数量k，k的具体取值可结合实际情况自行设置，本实施例不做硬性要求，在本实施例中以k=5进行叙述；再预设一个选取占比，/>的具体取值可结合实际情况自行设置，本实施例不做硬性要求，在本实施例中以/>进行叙述。
需要注意的是，为了使后续构建的若干箱线图均存在差异，在本实施例中预设的与预设的k的积要小于1。
然后，将所有局部数据按照每个局部数据与目标数据处于同一箱线图中的可能性，从大到小进行排序，得到局部数据序列；
接着选取局部数据序列中前个局部数据与目标数据，构建第一个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第二个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第三个箱线图；以此类推，直至构建第k个箱线图，由于箱线图的构建作为一种公知的现有技术，故在本实施例中不再进行赘述。
需要说明的是，在箱线图中，处于箱内的数据为正常数据，处于箱外的数据则可能为异常数据，同时处于箱外的数据距离箱线图中的箱边缘越远，则处于箱外的数据的异常程度就越高，故可以以此为依据，获取箱线图中的目标数据的异常程度。
具体的，对于第u个箱线图，首先判断第u个箱线图中的目标数据是否处于箱内，若第u个箱线图中的目标数据处于箱内，则第u个箱线图中的目标数据的异常程度为0，若第u个箱线图中的目标数据处于箱外，则将目标数据到第u个箱线图中的箱边缘的距离，作为第u个箱线图中的目标数据的异常程度。
需要说明的是，所述箱边缘为箱线图中箱的边缘，而箱线图中的目标数据的异常程度越大，则箱线图中的目标数据越可能是异常数据。
需要进一步说明的是，由于每个箱线图均存在差异，因此每个箱线图所表示目标数据的异常程度的准确性存在差异；在单个箱线图中处于箱内的数据为正常数据，处于箱外的数据则可能为异常数据；而当单个箱线图中处于箱外的数据数量越多，则说明箱线图越不准确；同时箱线图中数据所对应的采集时间间隔越大、越离散，则说明箱线图越不准确；并且箱线图中数据所对应的碳排放监测传感器之间的距离越大、越离散，则说明箱线图越不准确，故可以以此为依据，获取每个箱线图的准确性。
具体的，对于第u个箱线图，首先统计第u个箱线图中数据的数量以及第u个箱线图中箱外数据的数量，然后统计箱线图中所有数据两两之间所对应的采集时间间隔，以及箱线图中所有数据两两之间所对应的碳排放监测传感器的距离，计算第u个箱线图的准确性，其具体的计算公式为：
，
式中，表示第u个箱线图的准确性；/>表示第u个箱线图中数据的数量；/>表示第u个箱线图中箱外数据的数量；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的标准差；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的标准差；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的均值；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的均值。
需要说明的是，当的值越大时，则说明第u个箱线图的准确性越高。在得到所有箱线图的准确性后即可结合所有箱线图中目标数据的异常程度，获取目标数据的最终异常程度。
具体的，获取目标数据的最终异常程度的计算公式为：
，
式中，F表示目标数据的最终异常程度；表示第u个箱线图的准确性；/>表示第u个箱线图中的目标数据的异常程度。
需要进一步说明的是，F的值越大则目标数据越异常。
至此，得到目标数据的最终异常程度，同理获取所有数据的最终异常程度。
最后，对所有数据的最终异常程度进行最大值最小值归一化，得到归一化后的数据最终异常程度；
再预设一个判断阈值，/>的具体取值可结合实际情况自行设置本实施例不做硬性要求，在本实施例中以/>；对于第x个数据，当第x个数据归一化后的最终异常程度大于/>，则第x个数据为异常数据，反之则为正常数据；
将异常数据从碳排放数据中剔除，然后利用线性插值法，填充所剔除的数据，其中线性插值法作为一种公知的现有技术故在本实施例中不再进行赘述；完成碳排放数据的清洗，达到提高碳排放数据的数据质量。
至此，本实施例完成。
请参阅图2，其示出了本发明一个实施例提供的一种双碳平台数据智能管理系统的结构框图，该系统包括以下模块：
数据采集模块，用于采集碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离；
权值分析模块，用于根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值；
数据分析模块，用于根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；
数据清洗模块，用于根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
本实施例的有益效果是：传统的通过构建箱线图对碳排放数据分析时，所得到的数据异常程度过于依赖于所构建的箱线图，此时若箱线图中存在多个异常噪声数据，就会导致箱线图边缘发生偏差，导致无法准确的对碳排放数据进行异常检测；因此本发明通过单个碳排放监测传感器的位置以及采集数据的时刻，选取其他数据构建若干箱线图，反应单个数据的异常程度，使每个碳排放数据得到更加全面的评估，以达到准确的对碳排放数据进行异常检测的目的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种双碳平台数据智能管理方法，其特征在于，该方法包括以下步骤：
采集碳排放数据、车流量数据以及碳排放监测传感器与道路之间的距离；
根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值；
根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；
根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
2.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述采集碳排放数据、车流量数据以及碳排放监测传感器与道路之间的距离，包括的具体方法为：
以城市的主干路的中心点为中心，沿主干路每a米设置一个碳排放监测传感器，并以b秒为采集间隔，采集碳排放数据，a与b分别为预设的碳排放监测传感器间隔距离与碳排放监测传感器采集间隔，并测量道路与每个碳排放检测传感器之间的距离，同时在道路上最接近碳排放检测传感器的位置安装交通检测器，并设置与碳排放监测传感器相同的采集频率，采集车流量数据。
3.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述根据碳排放数据获取局部数据与目标数据，包括的具体方法为：
对于第i个碳排放监测传感器在第j时刻采集的数据，首先将第i个碳排放监测传感器在第j时刻采集的数据记为目标数据；
然后预设一个局部时间范围T与局部空间范围L，以第i个碳排放监测传感器为中心，将L内的所有碳排放监测传感器，在第j－T时刻到第j时刻的采集到的除目标数据外的所有数据，作为目标数据的局部数据。
4.根据权利要求3所述一种双碳平台数据智能管理方法，其特征在于，所述根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值，包括的具体方法为：
对于目标数据的第v个局部数据，通过第v个局部数据所对应的碳排放监测传感器与道路之间的距离、目标数据所对应的碳排放监测传感器与道路之间的距离、第v个局部数据所对应的车流量数据以及目标数据所对应的车流量数据，获取局部数据的距离权值；其具体的计算公式为：
，
式中，为第v个局部数据的距离权值；/>为第v个局部数据所对应的车流量；/>为目标数据所对应的车流量；/>为第v个局部数据所对应的碳排放监测传感器与道路之间的距离；/>为目标数据所对应的碳排放监测传感器与道路之间的距离；/>表示以自然常数为底数的指数函数；/>为绝对值运算符号；
对于目标数据的第v个局部数据，获取第v个局部数据所对应的碳排放监测传感器，以及第v个局部数据所对应的采集时间记为，获取第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下采集的碳排放数据，分别记为/>和/>，最后根据第v个局部数据以及第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据，获取局部数据的时间权值，其具体的计算公式为：/>，
式中，表示第v个局部数据的时间权值；/>表示第v个局部数据；/>和/>表示第v个局部数据所对应的碳排放监测传感器在/>的两个相邻时刻下的碳排放数据；/>为线性归一化函数；/>为绝对值运算符号。
5.根据权利要求4所述一种双碳平台数据智能管理方法，其特征在于，所述根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值，包括的具体计算公式为：
，
式中，表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据的时间权值；/>为第v个局部数据的距离权值。
6.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性，包括的具体方法为：
根据局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离、局部数据所对应的采集时间与目标数据所对应的采集时间、局部数据的最终距离权值以及局部数据的最终时间权值，计算局部数据与目标数据处于同一箱线图中的可能性，其具体的计算公式为：
，
式中，表示第v个局部数据与目标数据处于同一箱线图中的可能性；/>表示第v个局部数据的最终距离权值；/>表示第v个局部数据的最终时间权值；/>表示第v个局部数据所对应的碳排放监测传感器与目标数据所对应的碳排放监测传感器之间的距离；/>表示第v个局部数据所对应的采集时间与目标数据所对应的采集时间之间的间隔；L表示预设的局部空间范围；T表示预设的局部时间范围。
7.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性，包括的具体方法为：
首先预设一个箱线图数量k，再预设一个选取占比；
然后，将所有局部数据按照每个局部数据与目标数据处于同一箱线图中的可能性，从大到小进行排序，得到局部数据序列；
接着选取局部数据序列中前个局部数据与目标数据，构建第一个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第二个箱线图；选取局部数据序列中前/>个局部数据与目标数据，构建第三个箱线图；以此类推，直至构建第k个箱线图；
对于第u个箱线图，首先判断第u个箱线图中的目标数据是否处于箱内，若第u个箱线图中的目标数据处于箱内，则第u个箱线图中的目标数据的异常程度为0，若第u个箱线图中的目标数据处于箱外，则将目标数据到第u个箱线图中的箱边缘的距离，作为第u个箱线图中的目标数据的异常程度；
对于第u个箱线图，首先统计第u个箱线图中数据的数量以及第u个箱线图中箱外数据的数量，然后统计箱线图中所有数据两两之间所对应的采集时间间隔，以及箱线图中所有数据两两之间所对应的碳排放监测传感器的距离，计算第u个箱线图的准确性，其具体的计算公式为：
，
式中，表示第u个箱线图的准确性；/>表示第u个箱线图中数据的数量；/>表示第u个箱线图中箱外数据的数量；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的标准差；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的标准差；/>表示第u个箱线图中所有数据两两之间所对应的采集时间间隔的均值；/>表示第u个箱线图中所有数据两两之间所对应的碳排放监测传感器的距离的均值。
8.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度，包括的具体计算公式为：
，
式中，F表示目标数据的最终异常程度；表示第u个箱线图的准确性；/>表示第u个箱线图中的目标数据的异常程度。
9.根据权利要求1所述一种双碳平台数据智能管理方法，其特征在于，所述根据目标数据的最终异常程度，对碳排放数据进行数据清洗，包括的具体方法为：
对所有数据的最终异常程度进行最大值最小值归一化，得到归一化后的数据最终异常程度；
再预设一个判断阈值；对于第x个数据，当第x个数据归一化后的最终异常程度大于/>，则第x个数据为异常数据，反之则为正常数据；
将异常数据从碳排放数据中剔除，然后利用线性插值法，填充所剔除的数据，完成碳排放数据的清洗。
10.一种双碳平台数据智能管理系统，其特征在于，该系统包括以下模块：
数据采集模块，用于采集碳排放数据、车流量数据以及每个碳排放监测传感器与道路之间的距离；
权值分析模块，用于根据碳排放数据获取局部数据与目标数据；根据局部数据所对应的车流量数据以及碳排放监测传感器与道路之间的距离，获取局部数据的距离权值；根据局部数据获取局部数据的时间权值；根据局部数据的距离权值与局部数据的时间权值，获取局部数据的最终距离权值与局部数据的最终时间权值；
数据分析模块，用于根据局部数据的最终距离权值与局部数据的最终时间权值，获取局部数据与目标数据处于同一箱线图中的可能性；
数据清洗模块，用于根据局部数据与目标数据处于同一箱线图中的可能性构建若干箱线图；获取每个箱线图中目标数据的异常程度以及箱线图的准确性；根据每个箱线图中目标数据的异常程度以及箱线图的准确性获取目标数据的最终异常程度；根据目标数据的最终异常程度，对碳排放数据进行数据清洗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667833.9A CN117390378B (zh) | 2023-12-07 | 2023-12-07 | 一种双碳平台数据智能管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311667833.9A CN117390378B (zh) | 2023-12-07 | 2023-12-07 | 一种双碳平台数据智能管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117390378A true CN117390378A (zh) | 2024-01-12 |
| CN117390378B CN117390378B (zh) | 2024-02-27 |
Family
ID=89463380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311667833.9A Active CN117390378B (zh) | 2023-12-07 | 2023-12-07 | 一种双碳平台数据智能管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117390378B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574102A (zh) * | 2024-01-17 | 2024-02-20 | 山东华中重钢有限公司 | 基于大数据分析的钢结构疲劳寿命预测方法 |
| CN118053127A (zh) * | 2024-04-16 | 2024-05-17 | 山东瑞福锂业有限公司 | 一种工业设备状态监控管理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220036126A (ko) * | 2020-09-15 | 2022-03-22 | 한국전력공사 | 센서 데이터 활용 부분 방전 감지 시스템 및 방법 |
| CN114254804A (zh) * | 2021-11-22 | 2022-03-29 | 边缘智能研究院南京有限公司 | 一种基于边云协同的碳监管系统和方法 |
| CN115587218A (zh) * | 2022-12-12 | 2023-01-10 | 南方电网数字电网研究院有限公司 | 适用于海量电力碳排放大数据分析的数据库构建方法 |
| CN116413391A (zh) * | 2023-03-22 | 2023-07-11 | 郑州计量先进技术研究院 | 柴油货车obd氮氧化物监测数据校准及碳排放数据补全方法 |
| CN116798218A (zh) * | 2022-10-31 | 2023-09-22 | 广东师大维智信息科技有限公司 | 一种基于数字孪生的城市低碳交通大数据检测方法 |
-
2023
- 2023-12-07 CN CN202311667833.9A patent/CN117390378B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220036126A (ko) * | 2020-09-15 | 2022-03-22 | 한국전력공사 | 센서 데이터 활용 부분 방전 감지 시스템 및 방법 |
| CN114254804A (zh) * | 2021-11-22 | 2022-03-29 | 边缘智能研究院南京有限公司 | 一种基于边云协同的碳监管系统和方法 |
| CN116798218A (zh) * | 2022-10-31 | 2023-09-22 | 广东师大维智信息科技有限公司 | 一种基于数字孪生的城市低碳交通大数据检测方法 |
| CN115587218A (zh) * | 2022-12-12 | 2023-01-10 | 南方电网数字电网研究院有限公司 | 适用于海量电力碳排放大数据分析的数据库构建方法 |
| CN116413391A (zh) * | 2023-03-22 | 2023-07-11 | 郑州计量先进技术研究院 | 柴油货车obd氮氧化物监测数据校准及碳排放数据补全方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574102A (zh) * | 2024-01-17 | 2024-02-20 | 山东华中重钢有限公司 | 基于大数据分析的钢结构疲劳寿命预测方法 |
| CN117574102B (zh) * | 2024-01-17 | 2024-04-05 | 山东华中重钢有限公司 | 基于大数据分析的钢结构疲劳寿命预测方法 |
| CN118053127A (zh) * | 2024-04-16 | 2024-05-17 | 山东瑞福锂业有限公司 | 一种工业设备状态监控管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117390378B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103985250B (zh) | 轻量级的全息道路交通状态视觉检测装置 | |
| CN108802722B (zh) | 一种基于虚拟谱的弱目标检测前跟踪方法 | |
| CN117390378B (zh) | 一种双碳平台数据智能管理方法及系统 | |
| CN111830506A (zh) | 一种基于K-means聚类算法的海面风速方法 | |
| CN105717556B (zh) | 一种基于大数据的自分型雷达估测降水方法 | |
| CN116222670B (zh) | 一种城市绿地规划用生态景观边坡监测方法 | |
| CN114236645B (zh) | 一种大规模降雨监测异常站点筛查方法 | |
| CN116644373A (zh) | 基于人工智能的汽车流量数据分析管理系统 | |
| CN116522270B (zh) | 用于智慧海绵城市的数据处理系统 | |
| CN109521412B (zh) | 基于局部统计量融合的雷达组网空域目标检测方法 | |
| CN116227752A (zh) | 一种基于物联网的园区设施管理系统 | |
| CN117371337B (zh) | 一种基于数字孪生的水利模型构建方法及系统 | |
| CN109115807A (zh) | 一种土壤水分自动观测数据异常值检测方法及系统 | |
| CN110161494A (zh) | 基于速度平方滤波的rd平面弱目标检测跟踪方法及装置 | |
| CN113256990B (zh) | 基于聚类算法的雷达采集道路车辆信息的方法及系统 | |
| KR101456524B1 (ko) | 차량 강우센서, 지상 강우 계측기, 레이더 강우 데이터와 빅 데이터 처리 기술을 접목한 강우 정보 시스템 및 강우 정보 서버 | |
| CN105222885B (zh) | 一种光纤振动检测方法及装置 | |
| CN111971581A (zh) | 用于验证由雨量传感器提供的数据的设备、方法和计算机程序产品 | |
| CN117033935B (zh) | 基于贝叶斯融合的统计与监测下的场降雨特征的预测方法 | |
| CN108614803A (zh) | 一种气象数据质量控制方法及系统 | |
| CN116167551A (zh) | 一种建筑物碳排放的智能核算方法及系统 | |
| CN203055179U (zh) | 一种车位检测的装置和系统 | |
| KR101687636B1 (ko) | 상수도 관망 관리 방법, 서버 및 시스템 | |
| CN101923605A (zh) | 铁路防灾风预警方法 | |
| CN117906580B (zh) | 一种航道水下地形变化分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |