CN114218216A - 资源管理方法、装置、设备及存储介质 - Google Patents

资源管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114218216A
CN114218216A CN202111541569.5A CN202111541569A CN114218216A CN 114218216 A CN114218216 A CN 114218216A CN 202111541569 A CN202111541569 A CN 202111541569A CN 114218216 A CN114218216 A CN 114218216A
Authority
CN
China
Prior art keywords
data
layer table
resource
layer
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111541569.5A
Other languages
English (en)
Inventor
张洪姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinao Shuneng Technology Co Ltd
Original Assignee
Xinao Shuneng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinao Shuneng Technology Co Ltd filed Critical Xinao Shuneng Technology Co Ltd
Priority to CN202111541569.5A priority Critical patent/CN114218216A/zh
Publication of CN114218216A publication Critical patent/CN114218216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种资源管理方法、装置、设备及存储介质。该方法包括:获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表;根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。本公开能够实现自动化资源管理,提升数据处理效率,直观展示资源信息,数据统计及分析结果精确。

Description

资源管理方法、装置、设备及存储介质
技术领域
本公开涉及数据处理技术领域,尤其涉及一种资源管理方法、装置、设备及存储介质。
背景技术
随着互联网以及大数据技术的发展,业务数据库中积累了大量的数据,并且随着业务的发展,对数据分析的需求增加,通过对数据的分析能够深入挖掘数据的价值,通过将数据转换成直观展示的信息,从而帮助服务方了解客户的资源使用状况,并有针对性的进行资源管控,这对提高资源管理能力,降低资源损耗,提升资源利用效率具有重要意义。
现有技术中,例如以能源场景为例,企业通常采用人工方式对能源数据进行采集,根据数据进行人工分析,从而估计出企业的能源损耗、碳排放、能源消费结构等信息,并且需要人工手动编排能源规划实现能源管理。因此,现有的能源管理方式,分析结果受人为主观影响,能源信息可视性差,数据处理效率低,资源管理水平低,无法提升能源利用率,不利于能源的精确管理。
鉴于上述现有技术中的问题,需要提供一种能够实现自动化资源管理,提升数据处理效率,直观展示信息,精确统计和分析数据的资源管理方案。
发明内容
有鉴于此,本公开实施例提供了一种资源管理方法、装置、设备及存储介质,以解决现有技术存在的分析结果受人为主观影响,能源信息可视性差,数据处理效率低,数据统计和分析结果不够精确的问题。
本公开实施例的第一方面,提供了一种资源管理方法,包括:获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。
本公开实施例的第二方面,提供了一种资源管理装置,包括:获取模块,被配置为获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;处理模块,被配置为利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;调度模块,被配置为根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;生成模块,被配置为基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。
本公开实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。本公开能够实现自动化资源管理,数据处理效率高,信息方便查看,数据的统计和分析结果的精确度高。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的资源管理方法的流程示意图;
图2是本公开实施例提供的在智慧能源平台中进行资源报表开发的流程示意图;
图3是本公开实施例提供的资源管理装置的结构示意图;
图4是本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
如前文所述,随着互联网以及大数据技术的发展,平台数据库中积累了大量的业务数据,服务方可以在经过客户同意的情况下搜集客户的业务数据,由于这些业务数据往往具有比较高的潜在价值,因此服务方迫切需要将这些有价值的数据转换成直观的信息,以便更好地服务客户需求,从而帮助企业调整策略,提升决策效率。
以能源领域为例,目前很多企业对能源消耗是被动接收,无法实现真正意义的能源管理。传统的能源管理方式以人工采集数据的方式为主,比如通过人工抄电表、汽表、水表等,再根据日采集的数据进行人工统计分析。甚至有的企业的能源数据,比如电费、水费、热能消耗等都是按月进行统计,并且统计来的数据仅用于财务结算。由此可见,企业能源管理是目前企业面对的重要问题之一,有相当一部分企业重视国家强制执行质量ISO9000认证系统,而忽视了能源ISP5000认证体系。下面以智慧园区为例,对现有的能源管理方式进行详细说明,具体可以包括以下内容:
智慧园区是以互联网为载体,面向园区的提供全产业链支撑的解决方案。随着信息技术的发展,越来越多的解决方案提供了服务网络化、应用智能化、平台集成化、运营社会化的方式将园区信息化建设推向了更高的层次和水平。智慧能源平台采用自动化、信息化技术和集中管理模式,对企业能源系统数据实施集中扁平化的动态监控和数字化管理,改进和优化能源平衡,实现系统性节能降耗的管控一体化系统,并围绕能源、网络和用户展开,包括对用户的整个供能系统监控,实现整个系统的过程管理和运行管理,提高供能系统的管理手段,实现智慧能源管理平台是基于互联网技术应用的管控一体化的平台,它实现了从产能、能源网络到能源系统的整体优化。便于管理决策,并针对资源利用和环境安全监测,降低单位产品能源消耗,提高经济效益,加强重点能耗设备监控,降低废气排放量为目的信息化能源管理系统。
智慧能源平台的能源管理不仅对能源的统一调度、优化能源平衡、减少能源放散、提高环保质量有重要作用,而且对于故障预案的制定和执行、故障原因的快速分析和及时判断处理、能源供需的合理调整和平衡以及在客观信息基础上的能源实绩分析、能源计划编制、能源质量管理、能源系统的预测等都是十分有效的。实现低消耗、低排放、高性能、高舒适的设计理念,应用集成技术和物联网技术在智慧园区内建设能效管理系统,实现多能源、多业态和多用户的综合能源管理。
然而,现有的基于智慧能源平台的能源管理方式,都是通过人工采集的方式获取能源消耗数据,导致获取的数据量较少,数据格式不能统一,无法使客户对能源使用状况进行了解。由于能源信息的可视性比较差,因此无法对能源数据及其影响因素进行综合分析和统一管理,导致能源管理较弱。另外,当发现问题时,人工巡检费时费力,并且发现问题往往滞后,当能源设备数量较多时,各能源系统分散独立,不能统一监控调度。
鉴于对上述现有技术问题的考虑,本公开实施例通过将智慧能源平台中的资源数据库发送到数据仓库中,并在数据仓库工具中对资源数据进行加工处理;基于不同的时间维度对加工后的资源数据进行汇总,之后利用任务调度平台调用数据仓库中的表格数据,并发送至时序数据库中;最终基于时序数据库以及预先创建的报表配置生成资源报表,将资源报表上传至智慧能源平台,供客户进行查看和统计分析。本公开实施例生成的资源报表,可以从多个维度实现对企业基础信息、双控指标信息、碳排放指标信息、清洁能源消费结构信息、综合能源消耗量信息、企业万元增加值能耗信息等的描述,供企业客户进行统计分析及能源管理。
图1是本公开实施例提供的资源管理方法的流程示意图。图1的资源管理方法可以由服务器执行。如图1所示,该资源管理方法具体可以包括:
S101,获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;
S102,利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;
S103,根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;
S104,基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。
具体地,本公开实施例的资源数据可以根据不同的场景进行确定,以能源管理场景为例,此时资源数据对应的是客户的供能系统数据库中的数据,这里的资源除了可以理解为能源、商品、资产之外,还可以理解为虚拟资源,比较数据资源、虚拟商品资源等。本公开以下实施例中是以能源领域中的能源数据管理为例进行详细描述的,但是应当理解的是,以下实施例的场景不构成对本公开技术方案的应用场景的限定,任何资源管理的场景都适用。
进一步地,本公开实施例的供能系统数据库可以是MySQL数据库,MySQL是一个关系型数据库管理系统,属于Oracle旗下产品。在WEB应用方面,MySQL是最好的RDBMS(Relational Database Management System,关系数据库管理系统)应用软件之一,关系数据库将数据保存在不同的表中,这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。
进一步地,数据仓库(Data Warehouse,DW)是对原有分散的数据库数据进行抽取、清洗的基础上经过系统加工、汇总和整理得到的。数据仓库建设的目的,是为前端查询和分析作为基础,提供功能分析、决策支持。本公开实施例采用的是Hive数据仓库,Hive数据仓库主要用来处理结构化数据,Hive数据仓库一般来说分为4个层级,即ODS层、DWD层、DWS层和ADS层,每个层级用来存储不同类型的表。
根据本公开实施例提供的技术方案,通过获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。本公开能够实现自动化资源管理,数据处理效率高,信息方便查看,数据的统计和分析结果的精确度高。
在一些实施例中,获取目标对象产生的资源数据,将资源数据发送至数据仓库中,包括:从目标对象的供能系统数据库中采集对目标对象进行供能所产生的资源数据,并利用数据调度平台将资源数据从供能系统数据库同步至数据仓库中;其中,供能系统数据库采用关系型数据库,资源数据中包含目标对象的基础信息以及目标对象的能源数据。
具体地,本公开实施例的目标对象可以是指企业客户对象,比如用能企业等,供能系统平台的MySQL数据库里存储了许多业务方的数据,包括燃气、电、水、蒸汽、冷、热、压缩空气、煤、燃油、煤气等数据。当接收客户发送的能源管理请求时,直接从系统平台数据库中获取客户对应的历史资源数据,历史资源数据中主要包括企业客户对象在历史用能过程中产生的能源使用数据,包括能源消费总量、碳排放量、以及用能趋势等。
进一步地,在利用智慧能源平台获取这部分数据后,利用数据调度平台将这些业务方数据同步至数据仓库(Hive)中去,并对这些数据进行ETL数据加工处理。在实际应用中,目标对象的基础信息可以包括但不限于以下信息:对象ID、对象类型、行业名称、企业名称等,目标对象的能源数据可以包括但不限于以下内容:父级ID、子级ID、站名称、站ID、设备ID、CIM编码、标签编码、标签名称等信息。
在一些实施例中,将资源数据存储为数据仓库中的第一层表,包括:将资源数据存储至数据仓库的原始数据层中,以便将结构化的资源数据映射为原始数据层中的第一层表,其中,数据仓库采用Hive数据仓库,第一层表对应数据仓库中的ODS层表。
具体地,在利用ETL技术将原始资源数据从供能系统数据库同步到Hive数据仓库中去时,利用ETL技术对原始资源数据进行加工和处理。原始资源数据首先被存储在Hive数据仓库的ODS层中。Hive的ODS(Operation Data Store)是指原始数据层,用于存放原始资源数据,其可直接从供能系统数据库中加载原始资源数据至ODS层。并且可以在ODS层对原始资源数据进行数据分区,从而将原始资源数据映射为原始数据层中的ODS层表,并将ODS层表作为第一层表。
进一步地,在本公开实施例中,可以包括多个ODS层表,每个ODS层表中的信息可以不相同,下面结合具体实施例,对本公开原始数据层的ODS层表中的内容进行详细说明,具体可以包括以下内容:
在具体实施例中,ODS层表可以包括以下内容:标签ID、标签名称、父级ID、标签类型、标签编码、标签类别、创建时间、更新时间、创建人、更新人、是否删除等信息。
在具体实施例中,ODS层表还可以包括以下内容:标签实例ID、标签ID、标签编码、对象ID、对象类型、开始时间、创建人、组织等信息。
在具体实施例中,ODS层表还可以包括以下内容:配置信息的自增ID、系统编码、数据类型、性质、指标编码、标签、编码、粒度类型、数据类型、特征、数据所属粒度等信息。
需要说明的是,ETL数据加工是指将数据从来源端(如业务系统、日志、物联数据等)经过抽取、清洗、转换、加载至目的端(通常为数据仓库)的过程。ETL相当于一个桥梁,把数据从MySQL数据库转移到数据仓库里面。在实际应用中,不同系统采用的数据库、数据仓库工具或者编程类型可以是不一样的。
在一些实施例中,利用数据仓库对第一层表进行数据处理得到第二层表,包括:对原始数据层中的第一层表进行数据清洗及数据脱敏处理,并将经过数据清洗及数据脱敏处理后的第一层表进行汇总,得到第二层表,第二层表对应数据仓库中的DWD层表。
具体地,在将原始资源数据映射为ODS层表(即第一层表)之后,将ODS层表传输至Hive的DWD层中,利用Hive中的DWD(Data Warehouse Detail)层对ODS层表进行数据清洗(比如去除空值以及脏数据等)以及脱敏处理,并经过简单汇总之后得到DWD层表(即第二层表),即将DWD层表作为第二层表。
进一步地,在本公开实施例中,数据仓库中可以包括多个DWD层表,每个DWD层表中的信息可以不相同,下面结合具体实施例,对本公开原始数据层的DWD层表中的内容进行详细说明,具体可以包括以下内容:
在具体实施例中,DWD层表可以包括以下内容:父级ID、子级ID、站名称、站ID、设备ID、CIM编码、标签编码、标签名称等信息。
在具体实施例中,DWD层表还可以包括以下内容:父级ID、子级ID、企业名称、站ID、设备编码、CIM编码、标签编码、标签名称、行业名称、特征等信息。
在一些实施例中,时间维度包括第一时间维度、第二时间维度以及第三时间维度,基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,包括:基于预设的第一时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第一时间维度对应的第三层表;基于预设的第二时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第二时间维度对应的第三层表;基于预设的第三时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第三时间维度对应的第三层表。其中,第三层表中包含能源数据对应的下游数据,第三层表对应数据仓库中的DWS层表。
具体地,在得到上述DWD层表(即第二层表)之后,可以进一步根据不同时间维度对DWD层表中的数据进行整合,得到若干个第三层表。在实际应用中,第一时间维度可以是天级别维度的数据,第二时间维度可以是月级别维度的数据,第三时间维度可以是年级别维度的数据。每个时间维度下面可以对应两个DWS层表,即每个维度下面包含两个第三层表。
进一步地,第一时间维度(即天级别维度的数据)对应的一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、指标编码、CIM编码、标签编码、标签名称、指标计算结果值、数据的业务时间、月份等信息。
进一步地,第一时间维度(即天级别维度的数据)对应的另一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、行业名称、性质、指标编码、业务时间、指标计算结果值、月份等信息。
进一步地,第二时间维度(即月级别维度的数据)对应的一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、指标编码、CIM编码、标签编码、标签名称、指标计算结果值、数据的业务时间、年份等信息。
进一步地,第二时间维度(即月级别维度的数据)对应的另一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、行业名称、性质、指标编码、业务时间、指标计算结果值、年份等信息。
进一步地,第三时间维度(即年级别维度的数据)对应的一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、指标编码、CIM编码、标签编码、标签名称、指标计算结果值、数据的业务时间等信息。
进一步地,第三时间维度(即年级别维度的数据)对应的另一种DWS层表中可以包括但不限于以下内容:系统编码、设备编码、行业名称、性质、指标编码、业务时间、指标计算结果值等信息。
在本公开实施例中,在生成上述第三层表之后,还可以根据第三层表生成用于被执行调用操作的第四层表,第四层表对应数据仓库中的ADS层表,每个第三层表对应至少一个第四层表,下面结合具体实施例对第四层表的内容进行详细说明,具体可以包括以下内容:
第一时间维度(即天级别维度的数据)的一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果、业务时间、月份等信息。
第一时间维度(即天级别维度的数据)的另一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果值、月份等信息。
第二时间维度(即月级别维度的数据)的一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果、业务时间、年份等信息。
第二时间维度(即月级别维度的数据)的另一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果值、年份等信息。
第三时间维度(即年级别维度的数据)的一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果、业务时间等信息。
第三时间维度(即年级别维度的数据)的另一种DWS层表对应的ADS层表中可以包括但不限于以下内容:数据所属粒度、指标编码、系统编码、标签名称、时间戳、指标计算结果值等信息。
在一些实施例中,利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中,包括:利用任务调度平台对数据仓库中的第四层表执行调用操作,并将获取到的第四层表发送至时序数据库中,以便将第四层表映射为时序数据,第四层表对应数据仓库中的ADS层表。
具体地,将上述实施例中的6个ADS层表(即第四层表)作为任务调度平台的调用对象,即利用任务调度平台对ADS层表进行调用,并将ADS层表导出到时序数据库中。在实际应用中,任务调度平台可以采用Dolphin Scheduler,Dolphin Scheduler是一种分布式易扩展的可视化工作流任务调度平台,是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
进一步地,时序数据库可以采用OpenTSDB,提供高效存取时序数据和统计分析功能的数据管理系统,广泛应用于物联网(IOT)设备监控系统、企业能源管理系统(EMS)、生产安全监控系统和电力检测系统等行业场景,具有高吞吐量写入、数据分级存储、高压缩率减少存储空间、多维度查询能力、高效聚合能力等特点。
在一些实施例中,基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理,包括:基于报表配置,利用预设的查询脚本对时序数据库中的第四层表中的数据进行查询,以便从第四层表中获取目标数据,并利用报表配置以及目标数据对资源报表进行开发,生成与目标对象相对应的资源报表;根据资源报表生成具有交互功能的可视化报表,基于可视化报表所展示的信息对目标对象的资源使用状态进行分析,并根据分析结果进行目标对象的资源管理。
具体地,由于ETL加工后得到的ADS层表是存储在Hive里面的数据,而报表的开发阶段是在智慧能源平台中完成的,也就是说,Hive仅用于存储表格数据,而不负责开发最终报表,因此需要利用智慧能源平台调用Hive里面的数据进行报表开发。
进一步地,通过在智慧能源平台的数据集中添加用于数据查询的SQL脚本(即数据查询脚本),使智慧能源平台通过Presto查询引擎对Hive数据仓库工具中处理后得到的ADS层表中的数据进行查询,得到用于开发资源报表的目标数据,以使智慧能源平台能够基于目标数据进行报表开发。
在通过Presto查询引擎获取目标数据之后,慧能源平台利用预设的报表配置基于目标数据执行报表开发操作。下面将结合附图以及具体实施例,对智慧能源平台中进行报表开发的过程进行详细说明。图2是本公开实施例提供的在智慧能源平台中进行资源报表开发的流程示意图。如图2所示,该基于智慧能源平台的资源报表开发过程主要包括以下步骤:
S201,利用查询引擎对Hive数据仓库工具中的第四层表数据进行查询,得到目标数据;
S202,智慧能源平台基于预设的报表配置以及目标数据进行报表开发;
S203,根据报表开发的结果生成符合预设报表样式要求的资源报表;
最后,在生成的资源报表中添加交互设计,使用户能够自主点击想要查看的数据,并通过报表地图功能向用户进行展示。在实际应用中,智慧能源平台最终开发的资源报表可以有11张,下面结合具体实施例,对这些资源报表中的内容进行详细说明,具体可以包括以下内容:
在智慧能源平台的主页通过绿色图标显示智慧能源平台监控的公司列表。在地图上点击某公司后,会显示该企业的相关基本信息,包括:
1)公司基本介绍:包括公司成立时间、注册地址、法定代表人、经营范围等信息。
用户统计:可以按月或按天进行统计,统计燃气、电(万/kWh)、水、蒸汽、冷、热、压缩空气、煤、燃油、煤气等的用能情况和用能趋势(用柱状图,包括今日用能量、今日较昨日用能量等的百分比)。
设备运行参数:包括日累计用量、日运行时间等信息。
2)双控指标:
规模工业企业综合能源消费总量(万tce):例如,在2019年,规模工业企业综合能源消费实际总量是28.5万tce,控制目标为29万tce,实际总量占控制目标的98%。
单位工业增加值能耗(tce/万):例如,在2019年,单位工业增加值能耗实际总量是28.5tce/万,控制目标是29tce/万,预测值是29.8tce/万。
3)碳排放指标:
规模工业企业CO2年排放量(万t):例如,在2019年,规模工业企业CO2年排放量实际总量是61.5万t,控制目标为70万t,实际总量占控制目标的87%。
单位工业增加值能耗(tce/万):例如,在2019年,单位工业增加值能耗实际总量是0.39tce/万,控制目标为0.4tce/万,预测值是0.41tce/万。
4)清洁能源消费结构:用饼图表示天然气、市电的消费总量(tce)分别所占百分比。
5)清洁能源指标:包括可再生能源利用率、清洁能源利用率等信息。
6)企业综合能源消耗量:包括重点能源双控企业的总个数、企业综合能源消耗情况正常和超标的企业个数、企业名称、年度目标、当前值(tce)、剩余值(tce)等信息。
7)企业万元增加值能耗:包括规模企业的总个数、企业万元增加值消耗情况正常和超标的企业个数、企业名称、单位增加值能源目标(tce)、单位增加值能源当前值(tce)、单位增加值能源当前值(tce)、综合能源消耗量(tce)、状态等信息。
基于前述实施例,以用能场景下的资源管理为例,可以看出,本公开技术方案的主要目的包括:
通过地图方式,来得到智慧能源平台监控的公司列表和每个企业的基本信息,包括:公司基本介绍、用户统计(按月或按天对燃气、电(万kWh)、水、蒸汽、冷、热、压缩空气、煤、燃油、煤气进行用能情况和用能趋势统计)、设备运行参数(包括日累计用量、日运行时间)。展示实时运行曲线,也可以通过选择日期查看各个关键数据的历史曲线。根据各区域的用能特性进行能耗统计分析。对各类能耗进行实时在线监视,对能耗数据进行自动采集、储存及查询,并利用图表进行直观展示,实现全厂电、水、气体等能源在生产各个环节使用及消耗情况的监控,规范能源使用方式,控制能源支出。
根据双控指标信息,实现实时监测能源消耗指标,并对各区域当前能耗水平评价考核,总结分析能耗在各个不同角度的情况,提供用户用能情况分析功能,用户可自主查询能耗情况。根据碳排放指标信息,为节能技术改造提供数据依据,以及检验节能改造效果,进行分析后对能耗大的项目进行深入分析。
根据清洁能源消费结构信息,从不同的角度统计和展示能耗情况,实时掌握能耗情况,帮助管理人员发现不合理用能现象。根据清洁能源指标信息,全方位的实时监测关键数据,能源日常管理细化,发现能源利用效率低的地方和原因,提高能源利用效率。
根据企业综合能源消耗量信息,提供各种能耗指标,对能耗数据进行计算,发现生产过程的能源浪费,为进一步实施节能工程提供数据支撑。根据企业万元增加值能耗信息,结合园区现状、能源管理特点等信息,充分考虑各能耗管理的整合,设计科学高效,可实施性强,符合园区运维管理的数字化智慧园区解决方案。对用户行为、各类型分布式能源站特点、用能特点进行非典型的数据挖掘和分析,深度挖掘供给侧、用能侧和用户侧数据,为生产效率和服务质量提供数据决策依据。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是本公开实施例提供的资源管理装置的结构示意图。如图3所示,该资源管理装置包括:
获取模块301,被配置为获取目标对象产生的资源数据,将资源数据发送至数据仓库中,并将资源数据存储为数据仓库中的第一层表;
处理模块302,被配置为利用数据仓库对第一层表进行数据处理得到第二层表,并基于预设的时间维度对第二层表中的数据进行汇总得到第三层表,每个第三层表中对应不同时间维度的资源数据;
调度模块303,被配置为根据第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从数据仓库中调用第四层表,并将第四层表发送至时序数据库中;
生成模块304,被配置为基于时序数据库以及预先创建的报表配置生成资源报表,并根据资源报表对目标对象的资源进行管理。
在一些实施例中,图3的获取模块301从目标对象的供能系统数据库中采集对目标对象进行供能所产生的资源数据,并利用数据调度平台将资源数据从供能系统数据库同步至数据仓库中;其中,供能系统数据库采用关系型数据库,资源数据中包含目标对象的基础信息以及目标对象的能源数据。
在一些实施例中,图3的获取模块301将资源数据存储至数据仓库的原始数据层中,以便将结构化的资源数据映射为原始数据层中的第一层表,其中,数据仓库采用Hive数据仓库,第一层表对应数据仓库中的ODS层表。
在一些实施例中,图3的处理模块302对原始数据层中的第一层表进行数据清洗及数据脱敏处理,并将经过数据清洗及数据脱敏处理后的第一层表进行汇总,得到第二层表,第二层表对应数据仓库中的DWD层表。
在一些实施例中,时间维度包括第一时间维度、第二时间维度以及第三时间维度,图3的处理模块302基于预设的第一时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第一时间维度对应的第三层表;基于预设的第二时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第二时间维度对应的第三层表;基于预设的第三时间维度,对第二层表中的数据进行划分,对划分后得到的数据进行汇总得到第三时间维度对应的第三层表。其中,第三层表中包含能源数据对应的下游数据,第三层表对应数据仓库中的DWS层表。
在一些实施例中,图3的调度模块303利用任务调度平台对数据仓库中的第四层表执行调用操作,并将获取到的第四层表发送至时序数据库中,以便将第四层表映射为时序数据,第四层表对应数据仓库中的ADS层表。
在一些实施例中,图3的生成模块304基于报表配置,利用预设的查询脚本对时序数据库中的第四层表中的数据进行查询,以便从第四层表中获取目标数据,并利用报表配置以及目标数据对资源报表进行开发,生成与目标对象相对应的资源报表;根据资源报表生成具有交互功能的可视化报表,基于可视化报表所展示的信息对目标对象的资源使用状态进行分析,并根据分析结果进行目标对象的资源管理。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的结构示意图。如图4所示,该实施例的电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可以在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性地,计算机程序403可以被分割成一个或多个模块/单元,一个或多个模块/单元被存储在存储器402中,并由处理器401执行,以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序403在电子设备4中的执行过程。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4的示例,并不构成对电子设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如,电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是电子设备4的内部存储单元,例如,电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备,例如,电子设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每一个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。

Claims (10)

1.一种资源管理方法,其特征在于,包括:
获取目标对象产生的资源数据,将所述资源数据发送至数据仓库中,并将所述资源数据存储为所述数据仓库中的第一层表;
利用所述数据仓库对所述第一层表进行数据处理得到第二层表,并基于预设的时间维度对所述第二层表中的数据进行汇总得到第三层表,每个所述第三层表中对应不同时间维度的资源数据;
根据所述第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从所述数据仓库中调用所述第四层表,并将所述第四层表发送至时序数据库中;
基于所述时序数据库以及预先创建的报表配置生成资源报表,并根据所述资源报表对所述目标对象的资源进行管理。
2.根据权利要求1所述的方法,其特征在于,所述获取目标对象产生的资源数据,将所述资源数据发送至数据仓库中,包括:
从所述目标对象的供能系统数据库中采集对所述目标对象进行供能所产生的资源数据,并利用数据调度平台将所述资源数据从所述供能系统数据库同步至所述数据仓库中;
其中,所述供能系统数据库采用关系型数据库,所述资源数据中包含所述目标对象的基础信息以及所述目标对象的能源数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述资源数据存储为所述数据仓库中的第一层表,包括:
将所述资源数据存储至所述数据仓库的原始数据层中,以便将结构化的所述资源数据映射为所述原始数据层中的第一层表,其中,所述数据仓库采用Hive数据仓库,所述第一层表对应所述数据仓库中的ODS层表。
4.根据权利要求3所述的方法,其特征在于,所述利用所述数据仓库对所述第一层表进行数据处理得到第二层表,包括:
对所述原始数据层中的所述第一层表进行数据清洗及数据脱敏处理,并将经过所述数据清洗及所述数据脱敏处理后的第一层表进行汇总,得到所述第二层表,所述第二层表对应所述数据仓库中的DWD层表。
5.根据权利要求1所述的方法,其特征在于,所述时间维度包括第一时间维度、第二时间维度以及第三时间维度,所述基于预设的时间维度对所述第二层表中的数据进行汇总得到第三层表,包括:
基于预设的所述第一时间维度,对所述第二层表中的数据进行划分,对划分后得到的数据进行汇总得到所述第一时间维度对应的第三层表;
基于预设的所述第二时间维度,对所述第二层表中的数据进行划分,对划分后得到的数据进行汇总得到所述第二时间维度对应的第三层表;
基于预设的所述第三时间维度,对所述第二层表中的数据进行划分,对划分后得到的数据进行汇总得到所述第三时间维度对应的第三层表。
其中,所述第三层表中包含所述能源数据对应的下游数据,所述第三层表对应所述数据仓库中的DWS层表。
6.根据权利要求1所述的方法,其特征在于,所述利用任务调度平台从所述数据仓库中调用所述第四层表,并将所述第四层表发送至时序数据库中,包括:
利用所述任务调度平台对所述数据仓库中的所述第四层表执行调用操作,并将获取到的所述第四层表发送至所述时序数据库中,以便将所述第四层表映射为时序数据,所述第四层表对应所述数据仓库中的ADS层表。
7.根据权利要求1所述的方法,其特征在于,所述基于所述时序数据库以及预先创建的报表配置生成资源报表,并根据所述资源报表对所述目标对象的资源进行管理,包括:
基于所述报表配置,利用预设的查询脚本对所述时序数据库中的所述第四层表中的数据进行查询,以便从所述第四层表中获取目标数据,并利用所述报表配置以及所述目标数据对所述资源报表进行开发,生成与所述目标对象相对应的资源报表;
根据所述资源报表生成具有交互功能的可视化报表,基于所述可视化报表所展示的信息对所述目标对象的资源使用状态进行分析,并根据分析结果进行目标对象的资源管理。
8.一种资源管理装置,其特征在于,包括:
获取模块,被配置为获取目标对象产生的资源数据,将所述资源数据发送至数据仓库中,并将所述资源数据存储为所述数据仓库中的第一层表;
处理模块,被配置为利用所述数据仓库对所述第一层表进行数据处理得到第二层表,并基于预设的时间维度对所述第二层表中的数据进行汇总得到第三层表,每个所述第三层表中对应不同时间维度的资源数据;
调度模块,被配置为根据所述第三层表生成用于被执行调用操作的第四层表,并利用任务调度平台从所述数据仓库中调用所述第四层表,并将所述第四层表发送至时序数据库中;
生成模块,被配置为基于所述时序数据库以及预先创建的报表配置生成资源报表,并根据所述资源报表对所述目标对象的资源进行管理。
9.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202111541569.5A 2021-12-16 2021-12-16 资源管理方法、装置、设备及存储介质 Pending CN114218216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111541569.5A CN114218216A (zh) 2021-12-16 2021-12-16 资源管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111541569.5A CN114218216A (zh) 2021-12-16 2021-12-16 资源管理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114218216A true CN114218216A (zh) 2022-03-22

Family

ID=80702902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111541569.5A Pending CN114218216A (zh) 2021-12-16 2021-12-16 资源管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114218216A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720837A (zh) * 2023-08-04 2023-09-08 成都秦川物联网科技股份有限公司 基于智慧燃气数据中心的信息交互管理方法与物联网系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720837A (zh) * 2023-08-04 2023-09-08 成都秦川物联网科技股份有限公司 基于智慧燃气数据中心的信息交互管理方法与物联网系统
CN116720837B (zh) * 2023-08-04 2023-11-14 成都秦川物联网科技股份有限公司 基于智慧燃气数据中心的信息交互管理方法与物联网系统

Similar Documents

Publication Publication Date Title
CN107402976B (zh) 一种基于多元异构模型的电网多源数据融合方法及系统
CN107256443B (zh) 基于业务和数据集成的线损实时计算方法
CN106557991B (zh) 电压监测数据平台
CN111815132B (zh) 一种电力监控系统网络安全管理信息发布方法及系统
CN111104394A (zh) 一种能源数据仓库系统构建方法及装置
CN112488558A (zh) 一种基于工业互联网的能耗监控及分析系统
CN113064866B (zh) 一种电力业务数据整合系统
CN111241129B (zh) 一种工业生产企业指标数据采集与计算的系统
CN113642299A (zh) 一种基于电网统计报表一键生成的方法
CN111737325A (zh) 一种基于大数据技术的电力数据分析方法和装置
CN115794929B (zh) 数据集市的数据管理系统和数据管理方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN111160865A (zh) 一种工作流管理方法及装置
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN114218216A (zh) 资源管理方法、装置、设备及存储介质
CN113590607A (zh) 一种基于报表因子的电力营销报表实现方法和系统
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN104933491A (zh) 工业企业能耗诊断预警系统
CN104933537A (zh) 工业企业能源利用信息管理系统
CN114428813A (zh) 基于报表平台的数据统计方法、装置、设备及存储介质
CN114428812A (zh) 报表数据监控方法、装置、设备及存储介质
CN113159721A (zh) 一种基于设备全生命周期的物联网平台
Chen et al. Research on equipment situation display based on multi-source data fusion
CN112258175A (zh) 基于云平台的电力市场电费结算数据监管平台及其使用方法
Tian et al. RETRACTED: Research on Big Data Analysis Platform of Power Grid Enterprise Accounting Based on Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination