CN116468320A - 一种智能能耗综合管理系统 - Google Patents

一种智能能耗综合管理系统 Download PDF

Info

Publication number
CN116468320A
CN116468320A CN202310430434.4A CN202310430434A CN116468320A CN 116468320 A CN116468320 A CN 116468320A CN 202310430434 A CN202310430434 A CN 202310430434A CN 116468320 A CN116468320 A CN 116468320A
Authority
CN
China
Prior art keywords
data
energy consumption
unit
acquisition
enterprise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310430434.4A
Other languages
English (en)
Inventor
高婷婷
吴娟
徐培
马妍妍
丁世珅
张京思
马培辉
孟晓茜
赵榕榕
刘爽
刘昌杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Engineering Vocational Technical College
Original Assignee
Jinan Engineering Vocational Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Engineering Vocational Technical College filed Critical Jinan Engineering Vocational Technical College
Priority to CN202310430434.4A priority Critical patent/CN116468320A/zh
Publication of CN116468320A publication Critical patent/CN116468320A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41835Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by programme execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Water Supply & Treatment (AREA)
  • Game Theory and Decision Science (AREA)
  • Remote Sensing (AREA)
  • Operations Research (AREA)

Abstract

一种智能能耗综合管理系统,所述系统与上位机通信连接,包括:能耗数据采集模块,用于定时采集监控点的仪表参数;通信模块,用于能耗数据的接收与发送;能耗在线监测平台,包括:企业能耗在线监测单元自动生成能耗数据;能耗数据分析单元,用于能耗数据的对比、分析;数据查询单元对能耗数据进行分类查询;节能减排预警决策单元采用预测和预警技术,实现自动预警和报警功能;能耗地图展示单元,实现图层管理、标记管理和地图调度功能;接口开发单元使管理者通过编程完成系统远程单点管理功能;用户终端用于接收异常数据。本发明通过采集各重点工业企业的能耗数据,对企业能耗数据的全流程实时监控,降低企业能源消耗,降低企业能源成本。

Description

一种智能能耗综合管理系统
技术领域
本发明涉及能耗在线监测技术领域,尤其是涉及一种智能能耗综合管理系统。
背景技术
随着国家关于节能减排低碳发展行动方案的发布和实施,能耗在线监测系统成为实现对工业、交通、建筑等领域的用能单位中的水、电、气、热、油、煤、动力等能耗的生产和使用情况进行监测和统计分析,实现能源全方位监控和管理的有效工具。
中国发明专利名称:一种工业企业能源消耗监测管理系统,专利号:CN110134094A,提供一种工业企业能源消耗监测管理系统,包括:能源采集模块、云服务器及远程监测终端,能源采集模块与云服务器网络连接,云服务器与远程监测终端网络连接:能源采集模决,用于采集各工业企业的能耗数据,并将数据抄送给云服务器;云服务器,用于存储能耗数据,汇总分析同一地区工业企业能耗数据,并与该地区工业企业能耗定额值、能耗指标值及能耗标杆值进行比较,以及将各类数据按照终端需求传输给远程监测终端:远程监测终端,用于地区整体工业企业能源资源消耗状况在线监测,各工业企业能源资源消耗状况在线监测及用电安全在线监测,展示工业企业能耗定额、能耗指标及能耗标杆分析结果,录入工业企业无法采集的能源消耗数据。
现有的工业企业缺乏完善的能源信息管理平台,难以有效监测和评估主要能耗设备的用能效率,无法对高耗能用户进行监督与考核;因此,企业如果不借助能源管理系统解决上述问题,就会直接造成企业能源管理上的混乱,导致管理节能工作难以开展,从而使企业的能源支出成本变得不可控,扩大经营再生产到制约和影响。
发明内容
针对现有技术中存在的问题,本发明提供了一种智能能耗综合管理系统,通过采集各重点工业企业的能耗数据,对企业能耗数据的全流程实时监控,降低企业能源消耗,降低企业能源成本,节能潜力巨大。
本发明采用的技术方案如下:
一种智能能耗综合管理系统,所述系统与上位机通信连接,包括:
能耗数据采集模块,包括设置于企业内的采集终端、低功耗管理单元、数据采集单元,用于定时采集监控点的仪表参数;
通信模块,用于能耗数据的接收与发送;
能耗在线监测平台,包括:企业能耗在线监测单元、能耗数据分析单元、数据查询单元、节能减排预警决策单元、能耗地图展示单元、接口开发单元、用户终端;企业能耗在线监测单元根据能耗数据采集模块采集的参数信息自动生成能耗数据,并将能耗数据进行分类统计、分项统计、折标统计、能源耗用量统计;能耗数据分析单元,基于企业能耗在线监测单元统计结果,对纳入监测系统的企业进行能耗数据的对比、分析;数据查询单元根据用户权限对能耗数据进行分类查询;节能减排预警决策单元采用预测和预警技术,根据相关企业的能源消耗总量限值进行分析,实现自动预警和报警功能;能耗地图展示单元,将能耗展示与地理信息系统结合,将地图服务的基本功能与能耗数据进行集成,实现图层管理、标记管理和地图调度功能;接口开发单元借助PCF接口,使管理者通过编程完成系统远程单点管理功能;用户终端用于接收异常数据、展示能耗地图、接收数据分析信息。
本发明的有益效果为:本发明开发了能源信息管理平台,实现对能耗数据的有效监测,评估主要能耗设备的用能效率,对高耗能用户进行监督与考核;通过低功耗管理单元对系统的管理,能够对处于空闲状态的程序进行控制,使这些程序进入睡眠状态,有效降低终端系统的功耗;本发明数据交换采用JOSN数据格式,JOSN数据格式是一种轻量级的简单数据交换格式,使用了类似于C语言的习惯和独立的文本格式,易于读写,易于解析与生成。
附图说明
图1为本发明提供了一种智能能耗综合管理系统结构示意图;
图2为本发明通信模块初始化入网流程示意图;
图3为本发明能耗数据采集模块的流程示意图;
图4为本发明低功耗管理单元的实现流程示意图;
图5为本发明JSON数据格式结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明:为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示,本发明提供了一种智能能耗综合管理系统,所述系统与上位机通信连接,包括:
能耗数据采集模块,包括设置于企业内的采集终端、低功耗管理单元、数据采集单元,用于定时采集监控点的仪表参数;
通信模块,用于能耗数据的接收与发送;
能耗在线监测平台,包括:企业能耗在线监测单元、能耗数据分析单元、数据查询单元、节能减排预警决策单元、能耗地图展示单元、接口开发单元、用户终端;企业能耗在线监测单元根据能耗数据采集模块采集的参数信息自动生成能耗数据,并将能耗数据进行分类统计、分项统计、折标统计、能源耗用量统计;能耗数据分析单元,基于企业能耗在线监测单元统计结果,对纳入监测系统的企业进行能耗数据的对比、分析;数据查询单元根据用户权限对能耗数据进行分类查询;节能减排预警决策单元采用预测和预警技术,根据相关企业的能源消耗总量限值进行分析,实现自动预警和报警功能;能耗地图展示单元,将能耗展示与地理信息系统结合,将地图服务的基本功能与能耗数据进行集成,实现图层管理、标记管理和地图调度功能;接口开发单元借助PCF接口,使管理者通过编程完成系统远程单点管理功能;用户终端用于接收异常数据、展示能耗地图、接收数据分析信息。
能耗数据采集模块采用回归分析、BP人工神经网络、最小二乘向量机技术对采集的能耗数据及参数进行过滤和筛选,对于不能上传至能耗在线监测平台的数据进行临时补位,规避采集终端故障或者网络延迟导致上传错误数据。
智能能耗综合管理系统的软件是通过TCP/IP通信、运行于Intranet/Internet网络、采用Oracle数据库的集参数设置、数据采集、在线监测、数据分析、数据报表、数据上报等模块于一体的管理应用软件。智能能耗综合管理系统的建设从三个层次建设:数据中心的建设、企业能耗监测的信息采集、与企业节能信息系统数据对接。
能耗在线监测平台主要功能如图所示,设置六项功能,即重点工业企业能耗在线监测、能耗数据分析、数据查询、节能减排预警决策、能耗地图展示、与省级信息系统接口开发。系统建设时应具备良好的可扩展性,能够满足政府对企业能耗数据的不断增长的新的管理需求,为企业用能以及节能优化运行提供数据支持。
(1)企业能耗在线监测单元
重点企业能耗监测系统在各重点企业设置采集站,定时采集各监控点的仪表参数并上传至工业能耗监测中心数据库,数据采集内容则关注能耗企业用能数据如企业的煤、电、油、气、热力的生产量及耗用量。
系统会根据定时采集的数据自动生成日数据,并将生成的能耗数据进行分类统计、分项统计、折标统计、能源耗用量统计等,统计时段可以选择时报、日报、月报和年报。
(2)能耗数据分析单元
在能耗统计的基础上,对纳入能耗监测系统的企业进行按区域、行业、重点工序、重点产品等方面的对比、分析,包括能耗趋势分析、同期能耗比对、高耗能单位排序等。
从时间范围、汇总统计类型、分析结果展示对汇总统计范围(全市、区域、重点类型、行业)进行多种指标的综合统计和对比分析。能源消费量汇总、区域能源消费结构分析。
能耗指标综合统计分析:对当前的主要指标(能耗指标、经济指标、用能量指标等)汇总到全市及区域、重点类型、行业进行查询,并可以一直查询到企业。
对标分析:对主要能耗指标,包括产品单耗、产值单耗进行同比分析,与国家、省的限额对标分析,以及与区域平均值和先进值的对比分析。
能耗水平识别:单耗指标对比分析、年度节能目标完成情况、重点指标异常分析、节能量统计。
(3)数据查询单元
通过WEB机制,将实时数据、历史数据以及分析挖掘数据等以图文并茂的方式,生成动态页面,实时刷新。授权用户还可以通过操作订制希望的数据。
根据用户权限如企业用户、政策研究人员、政府业务人员等进行分类查询,查询周期可为年、季、月、旬等。
(4)节能减排预警决策单元
利用预测和预警技术,根据相关企业的能源消耗总量限值进行分析,实现自动预警和报警功能。系统允许设定各企业的分项能耗、总能耗、单耗的报警阈值,当分项能耗、总能耗、单耗超过报警阈值时,系统将实时在醒目位置报警;监管人员还可以直接对设定的企业进行跟踪监控。
根据需要,可将报警信息发送到相关人员的便携信息终端(用户终端)上。
(5)能耗地图展示单元
借助于GIS地理平台,能够直观展示出用能企业的能耗指标的高低,以便快速发现用能异常的区域,同时能够快速导航到目标企业、建筑进行能耗查看。同时,采用大屏幕投影系统,直观和形象地实时显示各企业的能源消耗情况和实时分析统计图表,便于管理决策和调度人员快速了解实时信息和动态。
能耗地图展示单元将能耗展示与地理信息系统(GIS)有机结合,将地图服务的基本功能如地图查询、地图交互等与能耗数据进行集成,实现图层管理、标记管理和地图调度等功能。
(6)接口开发单元
智能能耗综合管理系统中的实时数据内容丰富,各种类数据齐全,不同的采集周期(小时、日、旬、月)、不同的行业、不同的区域等都有数据统计汇总与分析,系统首先应当按照省节能信息系统建设规范的要求生成数据并导入到省节能信息系统中,其次应当根据工作需要提供有关数据支持。
接口开发单元借助PCF接口,管理者可以采用编程手段完成系统远程单点管理功能(只通过网络中的一个队列管理器进行整个网络的管理工作),进而简化上述系统管理工作。
如图2所示,为本发明通信模块初始化入网流程示意图,负责数据的接收与发送,该模块的软件设计直接影响着终端数据传输的功耗。通信模块主要实现的功能有:
(1)在线检测功能。通过软件编程,判断通信模块工作状态及SIM卡信息是否正常,判断网络信号是否存在、注册是否成功。
(2)定期连接网络。无工作信号时,终端处于睡眠状态,因此需对通信模块数据传输实施定时控制;接收到数据以后,创建与基站间的通信信道,从而实现远距离通信。
(3)接收网络下发信号。由于通信模块使用半双工方式传输,因此只有在空闲时,处于激活的通信模块能接收来自基站的下发命令;同时,终端需在规定时间做出命令响应,从而实现应用服务端的查询及配置功能。终端处于睡眠时,存在不能立刻接收信息的情况,此时中转服务器具备暂时存储待发送命令的功能。
(4)定时休眠。定期进入睡眠状态是实现终端的低功耗特性的重要环节,因此在无需信号收发时,通过软件编程控制通信模块处于睡眠态。
(5)输出调试信息。在调试阶段,实现PC机与采集终端以AT指令方式进行相互通信。
通信模块的网络质量决定了传输效率,并且影响着采集终端功耗。目前运营商正在大力部署NB基站,各大中城市以及铺盖完成,经过前期实地测试,网络能满足水务系统的要求。采集终端初次接通或者切换基站后,需要首次注册入网。
通信模块的入网初始化流程具体为:首先,检查通信模块各功能模块是否正运行常,能否识别具有通信模块网络的信息的SIM卡;如果否,则向用户终端发送异常信号。其次,在完成第一步基础上,进行网络质量查询,在达到传输质量要求条件时,附着到该网络;接着,激活通信模块的网络,在网络中注册该采集终端信息;最后,进行数据通信。附着网络的流程使用AT指令完成,测试阶段使用QCOM软件,输入AT指令进行交互,设计完成以后则需将AT指令封装到通信软件程序中,与上位机进行交互。主要的AT指令及其实现的功能如表1所示。
表1AT指令及其实现的功能
采集终端的硬件系统包括:传感器模块、STM8L052C6T6主控制器模块、电源模块、通信模块及射频模块等模块。采集终端的软件系统依托于硬件系统,根据系统的低功耗要求,本发明在STM8L052C6T6系统上对低功耗管理单元、数据采集单元、远程通信单元及CoAP数据包进行设计。
对于低功耗场景,终端软件的采集间隔对功耗影响很大。若采集间隔过小,会产生大量冗余数据,增加终端负担,降低终端工作时间,不利于低功耗设备的设计;若采集间隔过大,则可能会造成一定的数据遗漏,不利于实时监测。因此,数据采集的时间应选择合适间隔,经实际调研,发现在水厂、油田、物品追踪等场景中最少需要15min进行一次数据采集,在“四表”等场合则可以间隔6-24小时进行数据采集。采集间隔可以通过软件设置。能耗数据采集模块的流程如图3所示。软件初始化后,开始正常工作。采集模块具体工作流程如下:
系统默认进入睡眠态,降低终端功耗。
主控制器模块对采集数据进行处理,处理完成后将数据传输至通信模块。
低功耗管理单元控制通信模块以特定格式发送数据至上位机。
采集、传输流程结束后,等待睡眠信号。
若在等待阶段没有收到命令,则继续等待信号;若收到上位机的下发命令,则执行命令后进入等待态。
接收到睡眠信号后,控制终端进入睡眠态,等待下次唤醒。
低功耗管理单元是终端应用层各功能软件的管理软件,控制着CPU频率的调整、其他程序的工作状态等功能。通过低功耗管理单元对软件系统的管理,能够对处于空闲状态的程序进行控制,使这些程序进入睡眠状态,有效降低终端系统的功耗。低功耗管理单元具有最低任务优先级,在有任务执行时,低功耗管理单元不占系统资源,保证任务的顺利进行。低功耗管理单元的实现流程如图4所示,具体包括:
开始时初始化低功耗管理单元;
当终端由睡眠进入工作状态时,启动低功耗管理单元,判断是否接收到任务开始的信号;
当低功耗管理单元接收到命令信号时,调整CPU频率至工作频率,并且判断是否接收到采集信号;
当接收到采集脉冲信号时,低功耗管理单元对采集程序进行解挂,运行数据采集单元,进行数据采集;
当接收到数据传输信号时,低功耗管理单元对通信模块进行解挂,并将数据上传至上位机;
当工作完成后,调低CPU频率,等待睡眠信号,接收到睡眠信号时,控制系统进入睡眠,完成本次流程。
系统采用JSON数据格式实现数据交互,JOSN是一种轻量级的简单数据交换格式,使用了类似于C语言的习惯和独立的文本格式,易于读写,易于解析与生成。由于JSON格式易于理解且不会升级,使其成为理想的数据交换语言。JSON数据格式包含两种结构:对象结构和数组结构。对象结构是一个无序键值对组合,以“{”开始,以“}”结束。符号“:”表示键值对映射关系,“,”表示分割。数组结构取值方式和所有语言中一样,使用索引获取,字段值的类型可以是数字、字符串、数组、对象几种。具体JSON格式如图5所示。经过对象、数组这两种结构,可以组合成复杂灵活的JSON数据结构,需要设计的JSON字符串中的数据对象包括:消息类型、流速、瞬时流量、液压、ID号、采集时间、数据流向。当服务器收到消息请求时,对于对象结构和数组结构组合的复杂数据结构定义为data类型,首先检查JSON数据是否为data类型,若是data类型,说明检测到了data类型所包含的数据对象信息,若不是data类型说明不是要检测的数据;其次检查ID是否已完成注册,即数据库中设备表对应的ID号是否存在,若存在,则说明检测到的数据在数据库中有对应的设备型号,若不存在则返回提示消息,最后补充数据流向direction字段为0,即表示由采集终端向上位机发起的传输。
本发明主要采用hadoop生态圈所用技术,包含hadoop、MapReduce、Hive、mpala、Spark、Flink等一系列开源计算框架,通过不同组件的搭配,提出了混合数据处理架构,即可以处理结构化数据,又可以处理非结构化数据、半结构化数据,主要解决海量数据的存储和海量数据的分析计算问题。
大数据采集技术可以从系统海量数据分析、挖掘等层面,掌握大数据并对其中出现的典型问题进行解决。在大数据中的采集技术,借助软件对数据量进行捕捉管理以及分析。大数据采集技术不仅针对大数据的容量,同时更可以完成对海量数据的交换、整合,以确保能够实现全新的价值体系,带来巨大利润以及巨大发展。使用大数据采集技术可以帮助目前企业以及相关领域解决目前的困境以及难题,对企业带来全新的商业价值以及机会。同时,也对企业IT技术提供了全新的发展思路。在分布式大数据采集中,借助大数据以及云计算技术,可以高效快速响应市场需求。在大数据采集中,其包含了以下七种核心技术:
大数据及Hadoop生态系统:在能耗在线监测平台中,可以借助分布式文件系统HDFS以及集群文件系统ClusterFS和NoSQL Database技术使其能够搭载技术原理,完成应用技术分布式计算框架的搭建,以及分布式数据库。分布式数据仓库可以对大数据的冗余数据量进行集中处理优化,以保障其能够符合大数据的采集需求量。
关系型数据技术:数据存储模块中采用关系型数据技术,可以借助大数据信息采集、建立关系型数据库,使用企业级数据构建开发,为后续数据分析提供依据。
分布式数据处理技术:随着智能能耗管理平台数据的不断增加,需采用Map/Reduce计算模型,以确保根据Hadoop Map/Reduce技术实现数据的并行处理,提高数据处理的速度。
海量数据分析以及挖掘技术:数据分析单元依托于Minhash,Jaccard and Cosinesimilarity,TF-IDF数据挖掘算法,使得数据分分析与预测更加的准确及实时的要求。
物联网以及大数据:在大数据环境中,物联网通过遥感图像以及时空序列号查询,可以实现在海量的数据的信息发掘出平台的有用信息,并发现他们之前的关系,使平台做到数据的联动处理。
文件系统:数据分析单元根据HDFS完成部署,以提供高性能的吞吐量,达成全新的数据访问,时预警决策更加合理。
NoSQL:在大数据量下,为了提高数据存储的性能,采用NoSQL数据库,它都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。一般MySQL使用Query Cache。NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说性能就要高很多。
除了以上hadoop相关技术之外,还应用了Hadoop生态圈中其他技术。
Sqoop:对于输出存储中关系型数据库和非关系型数据库不兼容的问题,可以使用Sqoop技术实现,它是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如:MySQL,Oracle等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中,从而实现关系型数据库和非关系型数据库中数据的转换。
Flume:对于能耗数据的采集使用Flume技术,它是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;
Kafka:数据的分析对比采用Kafka技术,它是一种高吞吐量的分布式发布订阅消息系统,通过的磁盘数据结构提供消息的持久化,即使是非常普通的硬件Kafka也可以支持每秒数百万的消息,为平台精准的分析对比提供支持。
Spark:节能减排预测单元采用Spark技术,它是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算,能根据现有数据进行模型预测,实现预警功能。
Flink:节能减排报警单元采用Flink技术,它是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多,根据数据计算对平台中的异常进行实时报警。
Oozie:能耗地图展示调度功能使用Oozie实现,它是一个管理Hadoop作业(job)的工作流程调度管理系统。能够根据展示的需求,对地图展示界面进行实时的调度。
Hbase:对出输出采集模块中非结构化的数据采用HBase实现,它是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。实现数据的有效存储,为数据分析预警提供依据。
Hive:数据查询单元采用基于Hadoop的Hive数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
ZooKeeper:能耗地图展示模块采用它ZooKeeper技术,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。实现图层管理、标记管理和地图调度等功能。
在软件研发的过程中,我们用大数据技术为我们的研发提供数据支持,并且为我们的软件提供市场需求数据。利用数据的特征,分析出能耗效益方面的需求,在现有的软件工程技术下,需要根据数据提供的内容进行软件设计制作,通过大数据对于本软件项目的进行及精确分析,不仅仅对其功能分析,还有其定位分析以及市场分析等等。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种智能能耗综合管理系统,所述系统与上位机通信连接,其特征在于,包括:
能耗数据采集模块,包括设置于企业内的采集终端、低功耗管理单元、数据采集单元,用于定时采集监控点的仪表参数;
通信模块,用于能耗数据的接收与发送;
能耗在线监测平台,包括:企业能耗在线监测单元、能耗数据分析单元、数据查询单元、节能减排预警决策单元、能耗地图展示单元、接口开发单元、用户终端;
企业能耗在线监测单元根据能耗数据采集模块采集的参数信息自动生成能耗数据,并将能耗数据进行分类统计、分项统计、折标统计、能源耗用量统计;
能耗数据分析单元,基于企业能耗在线监测单元统计结果,对纳入监测系统的企业进行能耗数据的对比、分析;
数据查询单元根据用户权限对能耗数据进行分类查询;节能减排预警决策单元采用预测和预警技术,根据相关企业的能源消耗总量限值进行分析,实现自动预警和报警功能;
能耗地图展示单元,将能耗展示与地理信息系统结合,将地图服务的基本功能与能耗数据进行集成,实现图层管理、标记管理和地图调度功能;
接口开发单元借助PCF接口,使管理者通过编程完成系统远程单点管理功能;
用户终端用于接收异常数据、展示能耗地图、接收数据分析信息。
2.如权利要求1所述的智能能耗综合管理系统,其特征在于,能耗数据采集模块采用回归分析、BP人工神经网络、最小二乘向量机技术对采集的能耗数据及参数进行过滤和筛选,对于不能上传至能耗在线监测平台的数据进行临时补位,规避采集终端故障或者网络延迟导致上传错误数据。
3.如权利要求1所述的智能能耗综合管理系统,其特征在于,能耗在线监测平台借助分布式文件系统HDFS以及集群文件系统ClusterFS和NoSQL Database技术搭建应用技术分布式计算框架,以及分布式数据库,分布式数据仓库对大数据的冗余数据量进行集中处理优化,以保障其能够满足大数据的采集需求量。
4.如权利要求3所述的智能能耗综合管理系统,其特征在于,数据查询单元采用基于Hadoop的Hive数据仓库,用于将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,并将SQL语句转换为MapReduce任务运行。
5.如权利要求1所述的智能能耗综合管理系统,其特征在于,采集终端初次接通或切换基站后,通信模块需首次注册入网,具体为:
判断通信模块是否正运行正常,若正常,则识别具有通信模块网络的信息的SIM卡;如果否,则向用户终端发送异常信号;
进行网络质量查询,在达到传输质量要求条件时,附着到该网络;
激活通信模块的网络,在网络中注册该采集终端信息,进行数据通信。
6.如权利要求1所述的智能能耗综合管理系统,其特征在于,系统初始化后,能耗数据采集模块对采集数据进行处理,处理完成后将数据传输至通信模块;能耗数据采集模块控制通信模块以特定格式发送数据至上位机;采集、传输流程结束后,等待睡眠信号,若在等待阶段没有收到命令,则继续等待信号;若收到上位机的下发命令,则执行命令后进入等待态;接收到睡眠信号后,控制终端进入睡眠态,等待下次唤醒。
7.如权利要求1所述的智能能耗综合管理系统,其特征在于,系统采用JSON数据格式实现数据交互,JSON数据格式包含:对象结构和数组结构;所述数组结构取值方式采用索引获取,字段值的类型包括:数字、字符串、数组、对象,JSON字符串中的数据对象包括:消息类型、流速、瞬时流量、液压、ID号、采集时间、数据流向,对于对象结构和数组结构组合的复杂数据结构定义为data类型。
8.如权利要求7所述的智能能耗综合管理系统,其特征在于,当服务器收到消息请求时,检查JSON数据是否为data类型,若是data类型,说明检测到了data类型所包含的数据对象信息,若不是data类型说明不是要检测的数据;判断数据库中设备表对应的ID号是否存在,若存在,则说明检测到的数据在数据库中有对应的设备型号,若不存在则向用户终端发送提示消息,补充数据流向direction字段为0。
9.如权利要求1所述的智能能耗综合管理系统,其特征在于,当终端由睡眠进入工作状态时,启动低功耗管理单元;当接收到命令信号时,调整CPU频率至工作频率;当接收到采集脉冲信号时,低功耗管理单元对采集程序进行解挂,运行数据采集单元,进行数据采集;当接收到数据传输信号时,低功耗管理单元对通信模块进行解挂,并将数据上传至上位机;当工作完成后,低功耗管理单元调低CPU频率,等待睡眠信号,接收到睡眠信号时,控制系统进入睡眠状态。
CN202310430434.4A 2023-04-18 2023-04-18 一种智能能耗综合管理系统 Withdrawn CN116468320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310430434.4A CN116468320A (zh) 2023-04-18 2023-04-18 一种智能能耗综合管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310430434.4A CN116468320A (zh) 2023-04-18 2023-04-18 一种智能能耗综合管理系统

Publications (1)

Publication Number Publication Date
CN116468320A true CN116468320A (zh) 2023-07-21

Family

ID=87181965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310430434.4A Withdrawn CN116468320A (zh) 2023-04-18 2023-04-18 一种智能能耗综合管理系统

Country Status (1)

Country Link
CN (1) CN116468320A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720754A (zh) * 2023-08-08 2023-09-08 广州技客信息科技有限公司 一种基于区块链的智慧园区耗能设备运行管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720754A (zh) * 2023-08-08 2023-09-08 广州技客信息科技有限公司 一种基于区块链的智慧园区耗能设备运行管理系统
CN116720754B (zh) * 2023-08-08 2023-12-29 广州技客信息科技有限公司 一种基于区块链的智慧园区耗能设备运行管理系统

Similar Documents

Publication Publication Date Title
CN107330056B (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN108958049A (zh) 一种能源监控管理方法及系统
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
CN104156296A (zh) 智能监控大规模数据中心集群计算节点的系统和方法
CN107480027A (zh) 一种分布式深度学习运维系统
CN116468320A (zh) 一种智能能耗综合管理系统
Li et al. Deep-level quality management based on big data analytics with case study
CN114297290A (zh) 一种电力营销数据共享应用平台
CN108074044A (zh) 一种电力设备状态监测评价与指挥方法
CN104991849A (zh) 一种通过zabbix监控Linux进程占用系统资源的方法
CN111984301A (zh) 一种基于spring cloud和kubernetes的微服务数据治理架构
CN103383649A (zh) 一种复杂虚拟仪器系统设计模型
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
Liu et al. Research on environmental monitoring system based on microservices and data mining
Zhang et al. A Big Data based Decision Framework for Public Management and Service in Tourism
Lee et al. Research on IIoT Cloud-Edge Collaborative Stream Processing Architecture for Intelligent Factory
Wang et al. [Retracted] Attribute Reduction Algorithm on Concept Lattice and Application in Smart City Energy Consumption Analysis
Cao et al. Cloud-based Approach for Prevention Maintenance Management Platform of Printing Press equipment
Jianfeng et al. Application of multi-source information fusion technology in the construction of a secure and emergent transportation platform
Chenfei et al. Design and Implementation of an Intelligent Operation and Maintenance Management Cloud Platform for Green Buildings Group
Chen et al. Historical Review of the Key Technologies of Brand Influence Monitoring of Large Enterprises
Zhang et al. The Smart Grid System Design Based on the Big Data Technology
Li et al. Application research of energy data acquisition and analysis based on real-time stream processing platform
Wu et al. Scene-Based Data Management Method for Power System Using Snapshot Technology
Huang et al. Research of elevator real time monitoring method based on spark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230721

WW01 Invention patent application withdrawn after publication