CN118132653A - 一种基于能源审计的数据采集方法 - Google Patents

一种基于能源审计的数据采集方法 Download PDF

Info

Publication number
CN118132653A
CN118132653A CN202410350178.2A CN202410350178A CN118132653A CN 118132653 A CN118132653 A CN 118132653A CN 202410350178 A CN202410350178 A CN 202410350178A CN 118132653 A CN118132653 A CN 118132653A
Authority
CN
China
Prior art keywords
data
energy
real
auditing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410350178.2A
Other languages
English (en)
Inventor
何永垚
陈艺柔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanan University
Original Assignee
Yanan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanan University filed Critical Yanan University
Priority to CN202410350178.2A priority Critical patent/CN118132653A/zh
Publication of CN118132653A publication Critical patent/CN118132653A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于能源审计的数据采集方法,属于大数据及云计算技术领域。通过安装数据采集设备,进行功能配置;搭建内部云平台,建立数据传输系统,将采集到的数据通过加密内部网络上传到网络终端,并实现数据定时发送功能;基于大数据和云计算技术,在云平台或数据库中输入搜索指令,搜索目标数据;接收实时数据并进行数据审核及分类统计,再将其整理成所需格式或进行进一步分析,然后再传输到对应的审计系统,进行最终分析。本发明通过采集大量实时数据和完备的数据类型,进行能源“用耗排”动态数据的综合分析和管理,确保数据准确、安全、可用,进而使审计结果更加可靠。

Description

一种基于能源审计的数据采集方法
技术领域
本发明涉及大数据及云计算技术领域,尤其是涉及一种基于能源审计的数据采集方法。
背景技术
能源审计是对煤、水、电、气、油等能源及其设施的事先设计及事后管理与节约所进行的审计项目,是提高经济效益和社会效益的重要途径。其本质就在于实现能源消耗的降低和能源使用效率的提高,开展能源审计可以为用能单位带来经济、社会和资源环境效益,从而实现“节能、降耗、增效”的目的。
其中,针对需要进行专业数据收集统计的油气田企业,可以应用大数据技术对数据进行专业化的收集和处理,但由于大数据可以对海量数据进行分布式数据挖掘,但无法进行单一处理,必须采用分布式架构,基于此问题,我们应用到了云计算技术,依托云计算的分布式处理、分布式数据库和云存储技术,实现有效地处理海量数据。因此本发明提出一种能源“用耗排”动态数据采集方法。
发明内容
本发明的目的是提供一种基于能源审计的数据采集方法,通过采集大量实时数据和完备的数据类型,进行能源“用耗排”动态数据的综合分析和管理,确保数据准确、安全、可用,进而使审计结果更加可靠。
为实现上述目的,本发明采用了如下技术方案:
一种基于能源审计的数据采集方法,包括以下步骤:
S1、数据采集:安装数据采集设备,并进行功能配置;
S2、数据传输:搭建内部云平台,建立数据传输系统,将采集到的数据通过加密内部网络上传到网络终端,并实现数据定时发送功能;
S3、数据搜索:基于大数据和云计算技术,在云平台或数据库中输入搜索指令,搜索目标数据;
S4、数据预处理:接收实时数据并进行数据审核及分类统计,再将其整理成所需格式或进行进一步分析,然后再准备传输;
S5、将经过处理后的数据传输到对应的审计系统,进行最终分析。
优选的,步骤S1中数据采集设备包括传感器、数据显示仪表、摄像头、物联网设备;功能配置包括实时监测数据、采集频率、消耗基准、数据存储方式。
优选的,步骤S2中,数据传输系统包括:
数据采集模块:用于从数据采集设备中实时获取能源数据,以及能源的使用、消耗、排放情况;
数据传输模块:用于远程监控和管理数据,将采集到的数据传输到本地数据库或云平台;
数据存储模块:通过存储介质,保存、备份和管理数据;
数据处理模块:通过提取有用信息,分析能源使用情况,发现能源浪费和优化潜力;
数据展示模块:通过可视化工具、报表生成系统,将处理后的数据以图表、报表的形式展示给用户;
通过设置传输与存储密码加密内部网络,采用强密码策略、多因素认证的方式,并根据业务需求设置访问控制策略,使只有授权的用户能够访问数据库或云存储平台。
优选的,步骤S3具体包括:明确搜索的目标数据,选择合适的数据采集设备,确定存储的数据格式,通过对应的搜索工具,登录云平台或数据库进行搜索。
优选的,步骤S4中:
数据审核包括:数据完整性审核、数据准确性审核、数据一致性审核;
数据分类包括:按能源类型、时间周期、设备、区域部门进行分类;
数据整理成的格式包括:CSV、Excel、JSON、XML、CSVX格式;
进一步分析包括:数据整合、数据探索、模型构建。
因此,本发明采用上述一种基于能源审计的数据采集方法,实现的有益效果为:
1、本发明通过设置数据加密、安全认证、访问控制、数据备份和恢复、容错设计、监控和日志记录、定期安全评估和漏洞扫描、分布式存储、灾备计划,使数据安全性高、可用性强。
2、本发明通过设备可以自动化的收集实时数据,随时进行远程数据传输及能源“用耗排”动态数据的综合分析;不仅传输准确、具有时效性,并且减少了人工操作和错误,使数据收集更加高效可靠、且覆盖范围广。
3、通过大数据、预设规则和算法等,自动筛选和分类,提高了数据质量,减少了误差和不确定性,提高了决策效率。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。术语“设置”、“安装”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
实施例
如图1所示,本发明提供了一种基于能源审计的数据采集方法,包括以下步骤:
一(步骤S1)数据采集:安装数据采集设备,并进行功能配置。
数据采集设备包括传感器、数据显示仪表、摄像头、物联网设备等;将数据采集设备安装在需要采集数据的石油工业设施上,并进行必要的功能配置,功能配置包括实时监测数据、采集频率、消耗基准、数据存储方式(如系统本地缓存的数据库或上传至云端的云平台等)等。
现场将传感器、摄像头安装在现场耗能设备或者能源计量仪表的电源输出端上,通过数据可视化仪表盘和物联网设备等实时采集、监测“能耗排”动态数据,所说的能源计量仪表至少包括电表、水表、燃气表等;再定期读取数据采集设备的数据,并将其按选择的储存方式存储在数据库中,可以完全自动化地收集数据,减少了人工操作的错误率和工作量。
二(步骤S2)数据传输:搭建内部云平台,建立数据传输系统,将采集到的数据通过加密内部网络上传到网络终端,并实现数据定时发送功能。
数据传输系统具体分为五个模块:
数据采集模块:主要负责从审计现场的设备、数据仪表中采集能源数据,如温度、压力等,可以实时获取能源使用、消耗、排放情况,为后续的数据处理和分析提供基础数据,例如采集石油管道的压力值、流通量和温度等数据以及各种数据的变化幅度,包括管道泄漏时,各石油数据的变化幅度,采集油井内部的温度和压力;
数据传输模块:包括数据传输线路(如WiFi、蓝牙)。主要负责将采集到的数据传输到本地数据库或云平台,实现数据的远程监控和管理,提高工作效率和数据安全性,即将采集到的石油压力值、流通量和温度等数据传输至数据库或云平台;
数据存储模块:包括数据库、文件系统等存储介质。主要负责存储和管理采集的数据,实现对数据的长期保存和备份,确保数据的完整性和可用性,定期备份数据,并制定应急预案,以防止数据丢失或损坏;
数据处理模块:包括云计算技术、数据分析工具、算法库等。主要负责对采集的数据进行清洗、处理和分析,提取有用信息,实现对能源使用情况的深入分析,发现能源浪费和优化潜力,为企业决策提供支持;
数据展示模块:包括可视化工具、报表生成系统等。主要负责将处理后的数据以图表、报表等形式展示给用户,使企业管理人员更直观地了解能源使用情况,及时发现问题并进行调整,例如将石油管道的压力值、流通量和温度等数据以及数据变化制作成时间与各种数据值的关系变化图,或者根据各石油数据的变化幅度,生成各石油数据的分析频率,进而生成分析频率与变化幅度的关系图。
加密内部网络即设置传输与存储密码,确保数据在传输和存储过程中都经过加密处理,以防止数据泄露和未经授权的访问;采用强密码策略、多因素认证等手段,确保只有授权用户能够访问数据库或云存储平台;并且根据业务需求,设置合适的访问控制策略,确保只有授权用户能够访问特定数据的功能。
确保数据安全性和可用性的具体措施还包括:1)容错设计:确保数据库或云存储平台在出现故障时能够自动切换到备用设备,保证数据的可用性;2)监控和日志记录:对数据库或云存储平台的运行状态进行实时监控,并记录详细的日志信息,以便及时发现和处理潜在的安全问题;3)定期安全评估和漏洞扫描:定期对数据库或云存储平台进行安全评估和漏洞扫描,及时发现并修复潜在的安全漏洞;4)分布式存储:采用分布式存储技术,将数据分散存储在多个节点上,提高数据的可访问性和抗故障能力;5)灾备计划:制定灾备计划,确保在自然灾害或其他不可抗力事件发生时,能够快速报警、恢复数据并恢复正常运营。
三(步骤S3)数据搜索:基于大数据和云计算技术,在云平台或数据库中输入搜索指令,搜索目标数据。具体为:
S31、明确搜索的目标数据,是采集石油过程中的能源“用耗排”动态数据,还是石油加工过程中的数据,或者是整个石油工业链的全过程数据,还是特定时间段的能源消耗数据等;
S32、使用合适的数据采集设备,比如需要实时监测石油生产过程中的温度和压力时就需要选择具有实时数据传输功能的高精度传感器;
S33、确定存储的数据格式,例如以现有的CSV、Excel或特定数据库格式存储数据;
S34、使用合适的搜索工具,根据数据存储方式,选择合适的搜索工具。1)如果使用云平台存储数据,就对应使用该平台的搜索功能,使用自己的账号密码登录云平台,输入想要搜索的关键词,可以是文本、数字、日期等,具体取决于想要搜索的数据类型;2)如果使用系统的本地数据库,需要使用SQL或其他数据库查询语言编写搜索指令,根据搜索目标、数据格式和存储方式,编写具体的搜索指令,例如,如果使用SQL查询语言,则指令为“SELECT*FROM能源消耗表WHERE时间='2023-09-01'”的格式。
四(步骤S4)数据预处理:接收实时数据并进行数据审核及分类统计,再将其整理成所需格式或进行进一步分析,然后再准备传输。
上述数据审核的过程分为以下三个方面:
(1)数据完整性审核:检查采集到的数据是否齐全,确保没有缺失值;具体包括检查每个字段的值是否完整,没有空值或异常值;
(2)数据准确性审核:通过与历史数据、行业标准或业务规则进行对比,检查数据的准确性。例如,检查能源消耗数据是否与实际生产情况相符,是否存在异常波动或错误数据;
(3)数据一致性审核:确保同一类别的数据在采集、处理和分析过程中保持一致性。例如,对于能源消耗数据,需要确保单位、计算方法等在各个阶段保持一致。
上述被审核数据的具体分类分为以下几个方面:
(1)按能源类型分类:可以将数据分为石油、天然气、电力、水力、钻井器械使用等不同类型,这种分类有助于对不同能源类型的消耗和使用情况进行单独分析和比较;
(2)按时间周期分类:可以将数据分为日、周、月或年等不同时间周期,这种分类有助于对能源使用情况进行趋势分析和预测;
(3)按设备或设施分类:可以将数据分为生产设备、加热设备、冷却设备等不同类别,这种分类有助于对不同设备或设施的能源消耗情况进行深入分析;
(4)按区域或部门分类:根据石油企业的组织结构,可以将数据分为生产车间、管理部门、销售部门等不同部门或区域,这种分类有助于对不同部门或区域的能源使用情况进行对比和评估。
上述将数据整理成具体的格式有:
(1)CSV(逗号分隔值)格式:这是一种常见的数据格式,用于存储表格数据。CSV格式简单易读,易于与其他软件和平台共享,通常以逗号分隔不同字段,每行表示一条记录;
(2)Excel格式:Excel格式是一种电子表格格式,用于存储和组织数据,具有强大的数据处理和分析功能,可以方便地进行排序、筛选、计算等操作;
(3)JSON(JavaScript Object Notation)格式:JSON格式是一种轻量级的数据交换格式,易于阅读和编写,使用键值对的形式表示数据结构,适用于不同平台和语言之间的数据交互;
(4)XML格式:XML格式是一种标记语言,用于描述数据的结构和内容,可用来存储和传输复杂的数据结构,如文档、配置文件等;
(5)CSVX(逗号分隔值二进制)格式:这是一种二进制格式,与CSV格式类似,但存储效率更高,通常用于大型数据集的存储和传输;
这些格式可以根据具体需求进行选择。例如,如果需要与其他软件或平台共享数据,可以选择CSV或Excel格式;如果需要进行复杂的数据处理和分析,可以选择Excel或JSON格式;如果需要存储大型数据集并保持较高的存储效率,可以选择CSVX格式。
上述提到的的进一步分析包括:
(1)数据整合:将不同来源和类型的数据整合在一起,形成一个完整的数据集;这包括将不同时间周期的数据进行对齐和匹配,确保数据的连贯性和一致性;
(2)数据探索:通过数据探索,深入了解数据的分布、特征和规律;这包括计算统计指标、进行假设检验、执行聚类分析等;数据探索有助于发现数据的潜在价值和信息;
(3)模型构建:根据数据的特点和分析目标,构建合适的模型;这可以是预测模型、分类模型、关联规则模型等;模型构建有助于对数据进行深入分析和预测。
五(步骤S5)将经过处理后的数据传输到对应的审计系统,进行最终分析。审计时,在查看能源计量网路图、计量器具档案、统计计量的各项管理制度和原始记录的基础上,通过现场核查,询问相关人员等方式,审计能源计量范围、计量器具的配备、计量器具的管理、能源统计的内容和数据汇总计算等是否符合相关要求。最终分析时主要针对能源绩效、节能潜力及节能措施进行分析评估,为审计报告的编写做好准备。能源审计报告具体包括基本情况、能源审计内容、节能措施建议、结论和建议。
因此,本发明采用上述一种基于能源审计的数据采集方法,通过采集大量实时数据和完备的数据类型,进行能源“用耗排”动态数据的综合分析和管理,确保数据准确、安全、可用,进而使审计结果更加可靠。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于能源审计的数据采集方法,其特征在于,包括以下步骤:
S1、数据采集:安装数据采集设备,并进行功能配置;
S2、数据传输:搭建内部云平台,建立数据传输系统,将采集到的数据通过加密内部网络上传到网络终端,并实现数据定时发送功能;
S3、数据搜索:基于大数据和云计算技术,在云平台或数据库中输入搜索指令,搜索目标数据;
S4、数据预处理:接收实时数据并进行数据审核及分类统计,再将其整理成所需格式或进行进一步分析,然后再准备传输;
S5、将经过处理后的数据传输到对应的审计系统,进行最终分析。
2.根据权利要求1所述的一种基于能源审计的数据采集方法,其特征在于:步骤S1中数据采集设备包括传感器、数据显示仪表、摄像头、物联网设备;功能配置包括实时监测数据、采集频率、消耗基准、数据存储方式。
3.根据权利要求2所述的一种基于能源审计的数据采集方法,其特征在于,步骤S2中,数据传输系统包括:
数据采集模块:用于从数据采集设备中实时获取能源数据,以及能源的使用、消耗、排放情况;
数据传输模块:用于远程监控和管理数据,将采集到的数据传输到本地数据库或云平台;
数据存储模块:通过存储介质,保存、备份和管理数据;
数据处理模块:通过提取有用信息,分析能源使用情况,发现能源浪费和优化潜力;
数据展示模块:通过可视化工具、报表生成系统,将处理后的数据以图表、报表的形式展示给用户;
通过设置传输与存储密码加密内部网络,采用强密码策略、多因素认证的方式,并根据业务需求设置访问控制策略,使只有授权的用户能够访问数据库或云存储平台。
4.根据权利要求3所述的一种基于能源审计的数据采集方法,其特征在于,步骤S3具体包括:明确搜索的目标数据,选择合适的数据采集设备,确定存储的数据格式,通过对应的搜索工具,登录云平台或数据库进行搜索。
5.根据权利要求4所述的一种基于能源审计的数据采集方法,其特征在于,步骤S4中:
数据审核包括:数据完整性审核、数据准确性审核、数据一致性审核;
数据分类包括:按能源类型、时间周期、设备、区域部门进行分类;
数据整理成的格式包括:CSV、Excel、JSON、XML、CSVX格式;
进一步分析包括:数据整合、数据探索、模型构建。
CN202410350178.2A 2024-03-26 2024-03-26 一种基于能源审计的数据采集方法 Pending CN118132653A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410350178.2A CN118132653A (zh) 2024-03-26 2024-03-26 一种基于能源审计的数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410350178.2A CN118132653A (zh) 2024-03-26 2024-03-26 一种基于能源审计的数据采集方法

Publications (1)

Publication Number Publication Date
CN118132653A true CN118132653A (zh) 2024-06-04

Family

ID=91230196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410350178.2A Pending CN118132653A (zh) 2024-03-26 2024-03-26 一种基于能源审计的数据采集方法

Country Status (1)

Country Link
CN (1) CN118132653A (zh)

Similar Documents

Publication Publication Date Title
CN106557991B (zh) 电压监测数据平台
CN105868373B (zh) 电力业务信息系统关键数据处理方法及装置
CN111104394A (zh) 一种能源数据仓库系统构建方法及装置
Rashid AMI smart meter big data analytics for time series of electricity consumption
CN113111053A (zh) 一种基于大数据的线损诊断与反窃电系统、方法及模型
CN111539604A (zh) 一种依托电力数据的企业复工复产指数测算监控方法
CN116720752A (zh) 基于大数据的装配式建筑质量信息监管系统
CN111291076A (zh) 基于大数据的异常用水监测报警系统及其构建方法
CN111552686B (zh) 一种电力数据质量评估方法及其装置
CN117371952B (zh) 一种多项目协同管理系统
CN117235169A (zh) 一种智慧运维数据存储平台
CN112050092A (zh) 一种供水管网漏损信息管理系统及建立方法和应用
CN117194919A (zh) 一种生产数据分析系统
CN117235524A (zh) 自动估值模型的学习训练平台
Hongliang et al. Management and instant query of distributed oil and gas production dynamic data
CN101751613A (zh) 可视化化工流程运行能效委托管理系统的信息处理方法
CN115358522A (zh) 一种企业在线监测系统和方法
CN111159154A (zh) 一种能源数据仓库系统
CN102855354B (zh) 一种面向工业企业在线多维能耗数据统计建模方法
CN118132653A (zh) 一种基于能源审计的数据采集方法
Moleda et al. Big data in power generation
US20220230106A1 (en) Systems and methods for asset integrity management and monitoring of safety critical elements
CN110298585B (zh) 一种变电站设备监控信息分层分级自动审核方法
CN112784129A (zh) 一种泵站设备运维数据监管平台
CN110705877A (zh) 一种技术监督管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination