CN111241080A - 一种采集、处理和上传企业能源计量数据的方法 - Google Patents
一种采集、处理和上传企业能源计量数据的方法 Download PDFInfo
- Publication number
- CN111241080A CN111241080A CN202010018076.2A CN202010018076A CN111241080A CN 111241080 A CN111241080 A CN 111241080A CN 202010018076 A CN202010018076 A CN 202010018076A CN 111241080 A CN111241080 A CN 111241080A
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- attribute
- uploading
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种采集、处理和上传企业能源计量数据的方法，该方法包括以下步骤：在企业内网端设置中间数据库；将采集到的能源计量原始数据存储到中间数据库中；建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；将处理后的数据上传到正式数据库。本发明通过中间数据库的设定保证企业数据的安全，并为数据处理提供环境支撑。通过对数据进行清洗、集成、转换、规约使得到的数据更加准确和可靠、可用性也更强，同时也减少了无效数据的上传量。
Description
技术领域
本发明涉及数据处理技术领域，具体地说是一种采集、处理和上传企业能源计量数据的方法。
背景技术
随着重点用能单位能耗在线监测系统相关工作的深入开展，越来越多的企业能源计量数据需要接入上级相关平台，高效、稳定的能源计量数据的采集、处理和上传是整个工作顺利开展的基础。
现有能源计量数据采集、处理和上传过程通常采用直传的方式即原始数据由数据采集器完成采集并将数据直接存入数据库中，数据上传程序对原始数据经过简单的处理后直接上传到上级部门相关平台。
现有的方式问题突出表现在上传数据质量低、数据传输过程安全性低和数据传输稳定性差等方面。上传数据质量低主要指未经处理的数据数据准确性差、异常数据多和数据可用性差等方面，数据传输过程安全性低主要是指企业内网与外网直接通信降低了企业内部数据安全性。
发明内容
本发明的目的在于提供一种采集、处理和上传企业能源计量数据的方法，用于解决上传数据质量低、数据传输过程安全性低和数据传输稳定性差的问题。
本发明解决其技术问题所采取的技术方案是：
一种采集、处理和上传企业能源计量数据的方法，该方法包括以下步骤：
在企业内网端设置中间数据库；
将采集到的能源计量原始数据存储到中间数据库中；
建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；
将处理后的数据上传到正式数据库。
在第一种可能实现的方式中，所述对数据进行清洗包括对缺失值、重复值、异常值进行处理，具体包括：
通过对照已经设置的数据采集项名称、个数、种类和有效值范围对原始数据进行数据清洗；
将不满足要求的缺失值、重复值和异常值删除或插补。
在第二种可能实现的方式中，对数据进行集成包括将企业中通过电力需求侧、数据采集器和opc接口三种不同来源的数据，采用基于中间件模型和数据仓库的方法将数据集成成统一的数据格式并存储到中间数据库中。
在第三种可能实现的方式中，数据仓库的使用方法包括：
数据仓库使用update驱动的方法将来自多元异构数据库的数据提前进行处理和聚合，并将其存储在另一个独立的数据仓库中，数据仓库将数据复制、集成、注释、总结并重构到一个数据集市中。
在第四种可能实现的方式中，对数据进行转换包括以下方法：
通过聚类方法和回归方法进行平滑处理；
通过对数据进行总结或合计操作进行合计处理；
通过将属性数据按比例投射到特定范围之中进行规格化处理；
通过已有属性集构造新属性的进行属性构造处理。
在第五种可能实现的方式中，所述的合计处理具体包括：
每隔一段时间间隔进行某个采集点进行采集数据；
对采集的数据进行合计计算，得到该采集点的总额。
在第六种可能实现的方式中，所述的规格化处理具体包括：
对某个采集点在某个范围的值直接映射为1标识，则该采集点数据在正常范围内；
超过该范围映射为2标识，则该采集点数据超过正常范围；
低于该范围映射为0标识，则该采集点数据低于正常范围。
在第七种可能实现的方式中，所述的属性构造处理具体包括：
利用已有属性集构造出新的属性,根据单位时间用煤量和单位时间单位产品产量两个属性值，通过计算构造出单位产品能耗新属性。
在第八种可能实现的方式中，对数据进行规约处理包括：通过数据立方体聚集和维规约对原始数据进行处理。
在第九种可能实现的方式中，所述的数据立方体聚集包括对某一维度求和；所述的维规约包括删除原始数据的无关维度。
由以上方案可知，本发明通过中间数据库的设定保证企业数据的安全，并为数据处理提供环境支撑。通过对数据进行清洗、集成、转换、规约使得到的数据更加准确和可靠、可用性也更强，同时也减少了无效数据的上传量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种采集、处理和上传企业能源计量数据的方法流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，一种采集、处理和上传企业能源计量数据的方法，该方法包括以下步骤：
S1、在企业内网端设置中间数据库；
S2、将采集到的能源计量原始数据存储到中间数据库中；
S3、建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；
S4、将处理后的数据上传到正式数据库。
S3中，对数据进行清洗包括对缺失值、重复值、异常值进行处理，具体包括：
通过对照已经设置的数据采集项名称、个数、种类和有效值范围对原始数据进行数据清洗；
将不满足要求的缺失值、重复值和异常值删除或插补。
对数据进行集成包括将企业中通过电力需求侧、数据采集器和opc接口三种不同来源的数据，采用基于中间件模型和数据仓库的方法将数据集成成统一的数据格式并存储到中间数据库中。
数据集成的传统方法是在多元、异构数据库顶层建立，数据仓库提供了另一种不同于上述传统方法的异构数据集成方式，数据仓库使用了update驱动的方法将来自多元异构数据库的数据提前进行处理和聚合，并将其存储在(另一个独立的)数据仓库中，数据仓库将数据复制、集成、注释、总结并重构到一个数据集市中，从而使得异构数据系统集成变得非常高效，企业的四种数据源的不同首先表现在数据异构性，数据异构性又包括系统异构性(数据源所依赖的应用系统和数据库管理系统等)和模式异构(数据存储模式的不同包括关系模式、对象模式、文档模式等几种)，此外还有数据完整性、性能和权限等问题，通过点对点网状数据集成模式，将需要集成数据的不同数据直接直接建立接口，集成后向外统一提供接口。
S3中，对数据进行转换包括以下方法：
通过聚类方法和回归方法进行平滑处理；
通过对数据进行总结或合计操作进行合计处理；
通过将属性数据按比例投射到特定范围之中进行规格化处理；
通过已有属性集构造新属性的进行属性构造处理。
合计处理具体包括：每隔一段时间间隔进行某个采集点进行采集数据；对采集的数据进行合计计算，得到该采集点的总额。
规格化处理具体包括：对某个采集点在某个范围的值直接映射为1标识，该采集点数据在正常范围内；超过该范围映射为2标识，该采集点数据超过正常范围；低于该范围映射为0标识，该采集点数据低于正常范围。
属性构造处理具体包括：利用已有属性集构造出新的属性,根据单位时间用煤量和单位时间单位产品产量两个属性值，通过计算构造出单位产品能耗新属性。
S3中，对数据进行规约处理包括：通过数据立方体聚集和维规约对原始数据进行处理。数据立方体聚集包括对某一维度求和；维规约包括删除原始数据的无关维度，只用少数的关键特征来描述数据，一个计量能源数据采集量主要特征指标包含时间维度(数据采集时间、数据时间等)、空间维度(数据点名称及所在位置等)和值维度(用于表示其数值大小、数值范围等)，通过数据规约的方法保留核心维度特征，删除其他无用维度特征，对原始数据进行处理。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种采集、处理和上传企业能源计量数据的方法，其特征是，该方法包括以下步骤：
在企业内网端设置中间数据库；
将采集到的能源计量原始数据存储到中间数据库中；
建立数据模型，对数据进行清洗、集成、转换、规约处理，得到有效数据；
将处理后的数据上传到正式数据库。
2.根据权利要求1所述的方法，其特征是，所述对数据进行清洗包括对缺失值、重复值、异常值进行处理，具体包括：
通过对照已经设置的数据采集项名称、个数、种类和有效值范围对原始数据进行数据清洗；
将不满足要求的缺失值、重复值和异常值删除或插补。
3.根据权利要求1所述的方法，其特征是，对数据进行集成包括将企业中通过电力需求侧、数据采集器和opc接口三种不同来源的数据，采用基于中间件模型和数据仓库的方法将数据集成成统一的数据格式并存储到中间数据库中。
4.根据权利要求3所述的方法，其特征是，数据仓库的使用方法包括：
数据仓库使用update驱动的方法将来自多元异构数据库的数据提前进行处理和聚合，并将其存储在另一个独立的数据仓库中，该独立的数据仓库将数据复制、集成、注释、总结并重构到一个数据集市中。
5.根据权利要求1所述的方法，其特征是，对数据进行转换包括以下方法：
通过聚类方法和回归方法进行平滑处理；
通过对数据进行总结或合计操作进行合计处理；
通过将属性数据按比例投射到特定范围之中进行规格化处理；
通过已有属性集构造新属性的进行属性构造处理。
6.根据权利要求5所述的方法，其特征是，所述的合计处理具体包括：
每隔一段时间间隔进行某个采集点进行采集数据；
对采集的数据进行合计计算，得到该采集点的总额。
7.根据权利要求5所述的方法，其特征是，所述的规格化处理具体包括：
对某个采集点在某个范围的值直接映射为1标识，该采集点数据在正常范围内；
超过该范围映射为2标识，该采集点数据超过正常范围；
低于该范围映射为0标识，该采集点数据低于正常范围。
8.根据权利要求5所述的方法，其特征是，所述的属性构造处理具体包括：
利用已有属性集构造出新的属性,根据单位时间用煤量和单位时间单位产品产量两个属性值，通过计算构造出单位产品能耗新属性。
9.根据权利要求1所述的方法，其特征是，对数据进行规约处理包括：通过数据立方体聚集和维规约对原始数据进行处理。
10.根据权利要求9所述的方法，其特征是，所述的数据立方体聚集包括对某一维度求和；所述的维规约包括删除原始数据的无关维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010018076.2A CN111241080A (zh) | 2020-01-08 | 2020-01-08 | 一种采集、处理和上传企业能源计量数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010018076.2A CN111241080A (zh) | 2020-01-08 | 2020-01-08 | 一种采集、处理和上传企业能源计量数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111241080A true CN111241080A (zh) | 2020-06-05 |
Family
ID=70870878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010018076.2A Pending CN111241080A (zh) | 2020-01-08 | 2020-01-08 | 一种采集、处理和上传企业能源计量数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241080A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084095A (zh) * | 2020-09-18 | 2020-12-15 | 广州智云尚大数据科技有限公司 | 基于区块链的能源网联监控方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855354A (zh) * | 2012-08-21 | 2013-01-02 | 南京南瑞继保电气有限公司 | 一种面向工业企业在线多维能耗数据统计建模方法 |
| CN107944465A (zh) * | 2017-10-13 | 2018-04-20 | 华南理工大学 | 一种适用于大数据的无监督快速聚类方法及系统 |
| CN108763281A (zh) * | 2018-04-12 | 2018-11-06 | 合肥天源迪科信息技术有限公司 | 一种基于etl的业务智能分析平台及系统 |
| CN108897778A (zh) * | 2018-06-04 | 2018-11-27 | 四川创意信息技术股份有限公司 | 一种基于多源大数据分析的图像标注方法 |
-
2020
- 2020-01-08 CN CN202010018076.2A patent/CN111241080A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855354A (zh) * | 2012-08-21 | 2013-01-02 | 南京南瑞继保电气有限公司 | 一种面向工业企业在线多维能耗数据统计建模方法 |
| CN107944465A (zh) * | 2017-10-13 | 2018-04-20 | 华南理工大学 | 一种适用于大数据的无监督快速聚类方法及系统 |
| CN108763281A (zh) * | 2018-04-12 | 2018-11-06 | 合肥天源迪科信息技术有限公司 | 一种基于etl的业务智能分析平台及系统 |
| CN108897778A (zh) * | 2018-06-04 | 2018-11-27 | 四川创意信息技术股份有限公司 | 一种基于多源大数据分析的图像标注方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王璐等: "《数据库原理及应用》", 30 October 2018 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084095A (zh) * | 2020-09-18 | 2020-12-15 | 广州智云尚大数据科技有限公司 | 基于区块链的能源网联监控方法、系统及存储介质 |
| CN112084095B (zh) * | 2020-09-18 | 2021-12-21 | 广域铭岛数字科技有限公司 | 基于区块链的能源网联监控方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021135177A1 (zh) | 一种能源数据仓库系统构建方法及装置 | |
| WO2021091489A1 (en) | Method and apparatus for storing time series data, and server and storage medium thereof | |
| CN102982489A (zh) | 一种基于海量计量数据的电力客户在线分群方法 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN107943831B (zh) | 一种基于HBase的电网历史数据集中存储方法 | |
| CN102013056A (zh) | 可组态的电力报表管理系统及其操作方法 | |
| CN108764683A (zh) | 电网运行数据分析评估与报表系统 | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN112488502A (zh) | 一种标准的水资源管理一体化管控平台 | |
| CN116231633A (zh) | 配电网碳排放量的监测方法、装置、设备及存储介质 | |
| CN111241080A (zh) | 一种采集、处理和上传企业能源计量数据的方法 | |
| CN103514273A (zh) | 数据采集和监视控制系统及该系统的数据处理方法 | |
| CN202533938U (zh) | 基于触摸查询机/移动设备的土地定级估价处理系统 | |
| CN109885607A (zh) | 一种工业海量非结构化数据处理方法及系统 | |
| WO2024056050A1 (zh) | 海量柔性负荷快速聚合控制方法及装置 | |
| CN117060591A (zh) | 一种基于数字孪生的数字电网系统 | |
| CN110502543B (zh) | 设备性能数据存储方法、装置、设备和存储介质 | |
| CN116775632A (zh) | 一种基于车载终端采集数据的近实时清洗数据执行方法 | |
| CN115982177A (zh) | 一种基于树形维度的数据归集的方法、装置、设备及介质 | |
| CN109359123A (zh) | 一种运行数据查询及分析系统和方法 | |
| Gao et al. | The research of applying domain ontology to case-based reasoning system | |
| CN112001008A (zh) | 一种基于Revit软件的桥梁施工监测数据集成管理系统 | |
| CN105721199A (zh) | 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 | |
| CN112329387B (zh) | 一种公式模板配置方法及装置 | |
| Wang | Design and implementation strategy of data migration system based on Hadoop platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |