CN111160865A - 一种工作流管理方法及装置 - Google Patents

Abstract

本发明适用于能源数据处理技术领域，提供一种工作流管理方法及装置，方法包括：对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。本发明提供的工作流管理方法确保了能源数据仓库系统能自动周期性的有序执行，解决通用数据仓库无法应用于能源领域的问题，有助于形成统一、标准的数据体系。

Description

一种工作流管理方法及装置

技术领域

本发明属于数据处理技术领域，尤其涉及一种工作流管理方法及装置。

背景技术

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库之父Bill Inmon提出的企业数据仓库架构和Ralph Kimball提出的维度数据仓库架构是两个主流数据仓库构建方法。

传统数据仓库厂商都有比较成熟的数据仓库产品，也有针对某些行业的数据模型。例如，在银行业，Teradata有自己的FS-LDM(Teradata Financial Services LogicalData Model)模型，而IBM有自己的BDWM(Banking Data Warehouse Model)模型；在电信业，Teradata有自己的CLDM(Teradata Communications Logical Data Model)模型，而IBM有TDWM(Telecom Data Warehouse Model)。由于数据仓库中存在大量的数据采集、加工以及迁移等任务，并且这些任务之间存在依赖关系，为了确保数据仓库自动化周期性有序执行，需要工作流支持。

然而，上述这些数据模型都是基于传统关系数据库构建的，目前并没有针对能源行业的数据模型，进而也就没有针对能源行业数据模型的工作流管理方式，从而无法保证能源数据仓库系统的有序执行。

发明内容

有鉴于此，本发明实施例提供了一种工作流管理方法、装置、终端设备及计算机可读存储介质，以解决现有技术中没有针对能源行业数据仓库系统的工作流管理的技术问题。

本发明实施例的第一方面提供了一种工作流管理方法，包括：

对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；

对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；

对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；

对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

本发明实施例的第二方面提供了一种工作流管理装置，包括：

细节数据表加载模块，用于对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；

基础数据表加载模块，用于对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；

主题加载模块，用于对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；

数据集市加载模块，用于对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

本发明实施例提供的工作流管理方法的有益效果至少在于：本发明实施例通过能源数据的处理流程进行工作流管理，依次对能源数据进行数据处理，并加载至细节数据表、基础数据表、数据仓库主题以及数据集市，确保了能源数据仓库系统能自动周期性的有序执行，解决通用数据仓库无法应用于能源领域的问题，有助于形成统一、标准的数据体系，加快能源行业对能源设备数据加工和数据分析的速度，方便数据分析师和数据科学家基于高质量的海量数据进行实时有效分析。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的能源数据仓库系统的示意图；

图2是本发明实施例提供的工作流管理方法的实现流程示意图一；

图3是本发明实施例提供的工作流管理方法中步骤S21的实现流程示意图；

图4是本发明实施例提供的工作流管理方法中步骤S22的实现流程示意图；

图5是本发明实施例提供的工作流管理方法中步骤S23的实现流程示意图；

图6是本发明实施例提供的工作流管理方法中步骤S24的实现流程示意图；

图7是本发明实施例提供的工作流管理方法的实现流程示意图二；

图8是本发明实施例提供的工作流管理方法中从原始数据到基础数据的工作流的实现流程图；

图9是本发明实施例提供的工作流管理方法中基于基础数据生成用能报表的工作流的实现流程图；

图10是本发明实施例提供的工作流管理装置的示意图一；

图11是本发明实施例提供的工作流管理装置的示意图二；

图12是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。传统数据仓库厂商都有比较成熟的数据仓库产品，然而目前已有的通用数据仓库方案应用到能源数据仓库系统时实施难度巨大，如果是一个不带行业模型的数据仓库，应用到能源行业需要从零开始设计数据模型以及数据加工逻辑，并在通用工具上部署，工作量巨大，并且需要非常专业的行业知识背景，否则建立的数据模型很难满足能源数据分析的需求，而目前面向银行业和电信业等传统行业的数据模型由于与能源行业存在差异，从而无法应用到能源行业。

本实施例则提供了一种针对能源行业的能源数据仓库系统，其结合能源行业的业务特征，是基于能源行业的业务数据而集成的、面向能源分析主题的、相对稳定的、反映历史变化的能源数据集合，可以用于能源企业的数据分析，支撑能源企业的管理决策。进一步地，本实施例针对能源数据仓库系统提出来一种工作流管理方法，从而可以对能源数据仓库系统的工作流进行管理，确保数据仓库系统自动周期性地有序执行。

图1是本实施例提供的能源数据仓库系统的示意图。能源数据仓库系统包括依次连接的操作数据层11、基础数据层12、通用数据层13以及应用数据层14。其中，操作数据层11包括细节数据表111，数据源10的能源数据经第一数据处理后写入所述细节数据表111。基础数据层12包括各能源设备类型对应的基础数据表，细节数据表111的数据经第二数据处理后写入基础数据表。通用数据层13包括与业务分析需要对应的数据仓库主题，基础数据表的数据经第三数据处理后写入数据仓库主题。应用数据层14包括与业务单元对应的数据集市，数据仓库主题的数据经第四数据处理后写入数据集市。进一步地，能源数据仓库系统还包括维度数据15和管理工具16。

数据源10是能源数据仓库系统的数据来源，能源数据仓库系统的能源数据来源主要包括能源设备运行数据101、能源系统配置数据102、业务数据103、互联网数据104以及第三方数据105等，每种类型的数据通过不同的方式进行采集，从而构建数据源。

能源设备运行数据101：能源设备运行数据是能源数据仓库系统的主要数据来源，大量的设备运行数据通过物联网采集、上传到消息总线，能源数据仓库系统的数据采集程序从消息总线实时消费数据，存入原始数据层。从消息总线接收的能源设备运行数据可以是物联网采集的标准json格式的数据，主要信息包括设备所属信息、量测属性、量测时间和量测值等信息。

能源系统配置数据102：关于能源系统的配置信息，是能源系统数据模型的关键信息，也是能源数据分析中维度信息的主要来源，如能源系统的结构，园区信息、系统信息、设备属性和关系信息。这部分数据通过从配置库同步，采集到能源数据仓库系统的数据源中。

业务数据103：业务数据是公司业务开展过程中关于人员、组织、流程相关的数据，包括员工信息、部门信息、产品信息、采购信息、销售信息、项目信息等。业务数据通过业务库同步，采集到能源数据仓库系统的数据源中。

互联网数据104：在能源数据分析过程中，需要一些外部数据，例如设备运行环境的天气数据(温度、湿度、风向、风力等)，不同类型能源在不同区域的价格数据等。互联网数据通过互联网数据爬取程序采集到数据仓库系统的数据源中。

第三方数据105：在进行数据分析时，除了通过物联网上传采集的能源设备运行数据外，还需要大量第三方厂商已经采集并存储在第三方系统中的数据。第三方数据主要包括设备信息数据、设备运行数据等，这部分数据通过第三方数据接口服务，采集到能源数据仓库系统的数据源中。

当然，在其他实施例中，能源数据仓库系统的能源数据来源还可以为其他，并不仅限于上述的情形，此处不做限制。

进一步地，管理工具16包括元数据管理工具161、工作流管理装置162、数据采集工具163、数据加工工具164以及数据迁移工具165。其中，元数据管理工具161用于提供数据地图；数据采集工具163用于提供数据接入服务，以将所述数据源的能源数据采集至所述操作数据层11；数据加工工具164用于对数据处理提供工具支持；数据迁移工具165用于将数据集市的数据迁移至外部系统提供工具支持；工作流管理装置162用于对数据采集、数据处理以及数据迁移提供工作流支持。

图2是本实施例提供的一种工作流管理方法的流程示意图，其可以通过上述的工作流管理装置实现，包括以下步骤：

步骤S21：对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表。

操作数据层11作为一个缓冲层，增量存储每次数据采集间隔之间新产生或更新的数据。在本实施例中，第一数据处理至少包括将能源数据加载至原始数据表、对能源数据进行解析、筛选出能源数据中的异常数据以及根据能源设备类型和获取时间对能源数据进行分区等。请参阅图3，步骤S21可以包括如下步骤：

步骤S211：加载数据源中的能源数据至原始数据表。

操作数据层11还包括原始数据表110，所有采集到的能源数据会进入消息队列，消息程序从消息队列获取能源数据并存储在分布式文件系统中，批处理程序通过外部表的方式定期从分布式文件系统加载能源数据到原始数据表110中。可选地，原始数据表结构与分布式文件系统接收到的能源数据格式一致。

由于能源数据在物联网采集阶段可能存在数据中断、数据多次上传、数据异常等情况，在从原始数据表向细节数据表加载时，可以对能源数据进行相应加工和处理。

步骤S212：根据所述能源数据的处理时间解析所述原始数据表，确定所述原始数据表中的新加载数据。

为了方便后续处理和分析，能源数据在加载到原始数据表中时具有时间戳，从而可以方便后续的数据处理。例如，在对能源数据进行加载时，可以根据能源数据的处理时间来确定哪些能源数据是新加载数据，哪些数据不是新加载数据，只有新加载数据才需要进一步进行处理，而非新加载数据则可以在之前的过程中已经进行相应的处理后写入细节数据表中。

步骤S213：判断所述新加载数据是否为异常数据；

若所述新加载数据不是异常数据，则：

步骤S214：对所述新加载数据进行格式转换，获取中间数据；

若所述新加载数据是异常数据，则：

步骤S215：将所述新加载数据加入数据异常日志；

为了提高处理效率，需要对新加载数据中的异常数据进行识别，从而可以从新加载数据中筛选出正常数据，避免对异常数据进行无用处理。而对于正常数据，则对其进行格式转换，使得其转换为与细节数据表相同格式的中间数据。

步骤S216：根据能源设备类型和获取时间对所述中间数据进行分区，将所述中间数据写入细节数据表中。

由于能源数据的数据量通常比较多，在细节数据表的设计中，结合能源数据特点，对数据进行获取时间维度和设备类型维度的分区，可以提高能源数据存储和后续处理的高效性。细节数据表的结构以时序为基础，结构中主要包括以下信息：站点信息、设备类型、设备标识(设备ID)、量测属性、量测时间以及量测值等。

步骤S22：对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表。

由于同类能源设备之间的能源数据都是一致的，而不同类型能源设备之间的数据差异性较大，而后续对能源数据的分析主要以同类能源设备内部的分析为主，因此基础数据层12主要以能源设备为单位建立相应的基础数据表。在本实施例中，基础数据层12中基础数据表的类型可以根据需要进行设置，例如可以包括燃气蒸汽锅炉基础数据表121、空压机基础数据表122、能量表基础数据表123、业务数据基础数据表124以及环境数据基础数据表125中的一种或多种。当然，在其他实施例中，基础数据层12还可以包括其他类型的基础数据表，并不仅限于上述的情形。

在本实施例中，从细节数据表加工到基础数据表的过程中，主要需要做的事情包括：按照能源设备类型将能源数据进行分类、将窄表扁平化为宽表、数据标准化以及加载到相应能源设备的基础数据表中。因而第二数据处理至少包括对细节数据表的数据进行分类、对数据进行时间对齐以及进行数据扁平化处理等。请参阅图4，步骤S22可以包括如下步骤：

步骤S221：根据能源设备类型对所述细节数据表中的数据进行分类，以获取每类能源设备对应的数据。根据能源设备的类型不同，后续需要执行的业务分析也不相同，因此需要根据能源设备的类型对能源数据进行分类。

步骤S222：根据最小时间粒度对所述能源设备对应的数据进行时间对齐，以获取第一数据。

由于物联上传的能源数据可能会存在时差，同一个能源设备同一个时间的量测值可能在不同的时间点上传，因此为了便于后续分析，需要对这些能源数据进行最小时间粒度(如分钟级)的时间对齐，将时间信息中的秒级差异处理到同一分钟，并放入同一时间维度的同一行中，以获得第一数据。

步骤S223：对所述第一数据进行数据扁平化处理，获得第二数据。

通过将能源设备类型对应的数据进行扁平化处理，将同一时间维度的所有量测信息全部放入一行，以便于后续指标分析和数据对比。

步骤S224：将所述第二数据写入各能源设备类型对应的基础数据表中。

以变压器为例，表名为FDM-TRAN，其基础数据表结构定义及说明如下表一所示：

表一

通过上述基础数据表结构定义，变压器的描述信息、状态信息和量测信息全部集中在这张基础数据表中，无论是物联采集的能源数据，还是从第三方接口接入的能源数据，都规范化为该定义模式，后续基于变压器的分析可以全部从这里提取数据。在本实施例中，基础数据层对能源行业超过100多类常用能源设备定义了基础数据表结构，能够支持能源行业的大部分数据存储和分析需要，并且由于各能源设备类型之间的弱关联性，扩展新的能源设备类型非常方便。基础数据层除了大量能源设备信息表外，还有通过数据爬取程序获取的环境数据以及从业务系统同步的业务数据等，这些数据也都是在进入基础数据层之前进行标准化处理，为后续分析提供统一的视图。

步骤S23：对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题。

通用数据层13是面向业务的，根据业务分析需要，自顶向下设计数据仓库主题。通用数据层13包括数据质量主题131、设备状态主题132、设备能耗主题133以及企业用能主题134中的一种。在其他实施例中，通用数据层13还可以包括其他分析主题，例如能源企业产能分析主题、企业能效分析主题、设备状态运行趋势分析主题、设备预测性维护分析主题等，并不仅限于上述的情形。

在本实施例中，第三数据处理包括读取各能源设备类型的基础数据表中的数据、对数据进行聚合等。请参阅图5，步骤S23可以包括如下步骤：

步骤S231：根据数据仓库主题，读取各能源设备类型对应的基础数据表中的数据。

步骤S232：参照维度数据对各能源设备类型对应的数据进行聚合，以获取聚合数据。

为了对能源数据的加工处理以及多维分析提供标准支撑和统一的视角，本实施例提供的能源数据仓库系统还包括维度数据15，维度数据15可以包括时间维度151、地理维度152、用户维度153、园区维度154、系统维度155、设备维度156中的一种或多种，这些维度数据是进行数据清洗、数据处理的基础，也是后续多维建模和数据分析的基础，只有在数据清洗和处理时将数据按照标准进行统一，才能保证后续分析的一致性和准确性。

依据能源数据分析需要，时间维度提供年(包括自然年和企业自定义财年)、季度、月份(包括自然月和自定义计算和结算月)、天(包括自然日和自定义班组时段)、小时、分钟等不同层级的维度定义；地理维度提供包括全国、大区、省(市)、市(区)、区县、园区等不同地理维度的定义；按照用户特性，提供用户所属行业、用户等级、用户类别等维度定义；每个能源系统都属于一个园区，通过系统建模时的园区和系统信息，以及系统所属能源类型，建立相应的维度；能源系统的产能、用能设备，按照设备大类、设备小类、设备厂商等维度提供标准，例如以下常见设备类型：空气压缩机、制冷机、空调、燃气蒸汽锅炉、燃气热水锅炉、变压器、蒸汽表、电表、能量表、温度计、压力计、燃气流量计、液体流量表、压差计等。

步骤S233：将所述聚合数据写入所述数据仓库主题。

具体地，在能源领域，重点关注的数据仓库主题包括能源企业产能分析主题、用能企业用能分析主题、企业能效分析主题、设备状态运行趋势分析主题、设备预测性维护分析主题以及企业数据接入质量分析主题等。这里的业务分析会在不同层次进行，以如企业用能分析主题为例，其会在不同的时间维度(小时级、天级、月级、年级)、不同用能单元维度(部门、产线、车间、班组)、不同用能设备维度(制冷、照明、加工设备)进行多维分析，主题设计需要能满足支持多维分析的需要。通用数据层的计算，是由基础数据逐步聚合汇总的过程，首先计算低维度的数据，再由低维度的计算结果聚合为高维度的数据。以计算用电量和用电费用为例，首先计算分钟级别的电量，由分钟级别的电量结合电价策略(尖峰平谷不同时段的电价)计算出小时级的电量和电费，再由小时级电量和电费计算出天级(或班组时段级)电量和电费，继续聚合为月级电量和电费，最终聚合为季度和年度的电量和电费。有了这些不同时间维度的聚合数据，在基于时间维度的分析时，就可以基于已经计算好的结果快速响应分析操作。

步骤S24：对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

应用数据层14是将能源数据仓库系统计算的结果对外提供应用访问的数据层，应用包括前端产品、报表系统、算法平台、运营分析等，由于能源数据仓库系统主要计算和存储在大数据平台，这里集成了企业内外的所有能源数据。应用数据层14中可以包括用能数据集市141、供能数据集市142、运营数据集市143以及人工智能数据集市144中的一种或多种。

在本实施例中，第四数据处理包括对数据仓库主题的数据进行分类、确定访问权限等。请参阅图6，步骤S24可以包括如下步骤：

步骤S241：根据数据集市，对所述数据仓库主题中的数据进行分类。

步骤S242：将经过分类的所述数据仓库主题中的数据写入对应的数据集市中，并确定访问权限。这是由于有些能源数据并不是允许所有应用或分析人员访问，所以通过数据集市的方式，将不同业务单元需要的数据分开，将不同业务单元需要的数据放在相应的数据集市中，并在数据集市中对访问权限进行控制，保证数据的安全性。

请参阅图7，进一步地，为了提升数据访问的效率，步骤S24之后还可以包括：

步骤S25：将所述数据集市迁移至报表系统的各业务数据库中，即有些业务或报表系统通过数据迁移的方式将数据集市放入自己的数据库中，提升数据访问效率。

本实施例提供的工作流管理方法的有益效果至少在于：本发明实施例通过能源数据的处理流程进行工作流管理，依次对能源数据进行数据处理，并加载至细节数据表、基础数据表、数据仓库主题以及数据集市，并进而可以将数据集市的数据迁移至报表系统的各业务数据库中，确保了能源数据仓库系统能自动周期性的有序执行，解决通用数据仓库无法应用于能源领域的问题，有助于形成统一、标准的数据体系，加快能源行业对能源设备数据加工和数据分析的速度，方便数据分析师和数据科学家基于高质量的海量数据进行实时有效分析。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下给出本实施例提供的工作流管理方法的一个具体实施例，在能源数据仓库系统中的一个工作流就是从数据增量采集到文件系统开始，依次执行以下任务：

(1)加载能源数据到能源数据仓库系统的原始数据表；

(2)从原始数据表解析获取新加载数据并写入细节数据表；

(3)从细节数据表读取数据进行清洗转换，并按照能源设备类型分别加载到各基础数据表；

(4)并行执行通用数据层各数据仓库主题计算任务，并把计算结果写入各数据仓库主题；

(5)将各数据仓库主题结果按照业务需要加载到数据集市；

(6)将数据集市迁移到各业务数据库。

上述第(1)至第(3)步构成一个从原始数据到基础数据的工作流，如图8所示。从原始数据到基础数据的工作流每小时运行一次，负责将最近一个小时到达的数据加工到基础数据层中，借助工作流管理装置，将这些任务组织在一起，并设置调度周期为每个小时的第5分钟执行(也可以为其他时间执行，此处不做限制)。工作流的第一步是启动多个并行任务，分别将综合站数据、用能域数据、换气站数据、光伏站数据、供热站数据等分别加载到原始表，当所有这些并行执行的任务全部完成以后，启动第二步任务；将新加载的数据写入细节数据表，判断新加载数据的依据是，在第一步装载数据时会增加数据的处理时间，依据处理时间判断是否为新装载数据，在将数据写入细节表的过程中，需要进行数据格式的判断，对于异常数据，写入异常日志，只有正确的数据才会写入细节数据表，同时会根据数据所属能源设备类型进行分区，方便后续基于能源设备类型的数据处理；第三步任务基于能源设备类型，将数据处理并加载到基于能源设备类型的基础数据表中(即FDM表)，每个能源设备类型一个单独的任务，这些任务并行执行，每个任务主要处理两方面的逻辑：一是将所有数据的时间进行对齐，由于物联上传的数据可能会存在时差，同一个设备同一个时间的量测值可能在不同的时间点上传，为了便于后续分析，需要对这些数据进行最小时间粒度(如分钟级)的时间对齐，将时间信息中的秒级差异处理到同一分钟，并放入同一时间维度的同一行中；二是将数据扁平化处理，将同一时间维度的所有量测信息全部放入一行，便于后续指标分析和数据对比。所有能源设备类型的基础数据全部处理完成之后，此次工作流结束。

上述第(4)至第(6)步构成多个面向分析主题的工作流，这些工作流都依赖第一个工作流，图9给出了基于基础数据进行企业用能报表的数据加工的工作流。基于基础数据的分析按分析主题会有很多，如变压器分析、空压机设备分析、燃气锅炉设备分析、企业用能结构分析、产能能效分析等。在企业用能报告分析中，会将企业所用到的各类能源结构(包括电能、热能、天然气、蒸汽等)进行综合分析，首先基于各类能源的表底数，即各类能源测量的表计上传的数据，计算出不同时段的各类能源用量，根据计价策略(如电能的按尖峰平谷时段电价或用量阶梯电价、天然气的阶梯价格等)计算出不同时段的费用，再将所有费用按企业(核算单元)进行汇总，生成最低时间粒度(小时级)的聚合数据(包括各能源类型的用量和费用)，接下来汇总高一级时间粒度(天级)的聚合数据，再汇总出更高一级时间粒度(月级和年级)的聚合数据，再给需要报表的企业分别生成数据集市，最终把各企业的数据集市导出到报表系统，用于生成报表。以能源数据导出到报表系统任务为标志，工作流结束。

请参阅图10，本发明实施例的目的还在于提供一种工作流管理装置，包括：细节数据表加载模块31、基础数据表加载模块32、主题加载模块33以及数据集市加载模块34。其中，细节数据表加载模块31用于对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；基础数据表加载模块32用于对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；主题加载模块33用于对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；数据集市加载模块34用于对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

请参阅图11，进一步地，本实施例提供的工作流管理装置还包括数据迁移模块35，数据迁移模块35用于将所述数据集市迁移至报表系统的各业务数据库中。

图12是本发明一实施例提供的终端设备的示意图。如图12所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如工作流管理方法程序。所述处理器40执行所述计算机程序42时实现上述各个工作流管理方法实施例中的步骤，例如图2至图7所示的步骤S21至步骤S25。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图10至图11所示模块31至35的功能。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图12仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备4还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备4所需的其它程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工作流管理方法，其特征在于，包括：

对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；

对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；

对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；

对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

2.如权利要求1所述的工作流管理方法，其特征在于，所述对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市步骤后，还包括：

将所述数据集市迁移至报表系统的各业务数据库中。

3.如权利要求1所述的工作流管理方法，其特征在于，所述对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表，包括：

加载数据源中的能源数据至原始数据表；

根据所述能源数据的处理时间解析所述原始数据表，确定所述原始数据表中的新加载数据；

判断所述新加载数据是否为异常数据；

若所述新加载数据不是异常数据，则对所述新加载数据进行格式转换，获取中间数据；

根据能源设备类型和获取时间对所述中间数据进行分区，将所述中间数据写入细节数据表中。

4.如权利要求3所述的工作流管理方法，其特征在于，所述细节数据表中至少包括站点信息、设备类型、设备标识、量测属性、量测时间以及量测值中的一项。

5.如权利要求1所述的工作流管理方法，其特征在于，所述对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表，包括：

根据能源设备类型对所述细节数据表中的数据进行分类，以获取每类能源设备对应的数据；

根据最小时间粒度对所述能源设备对应的数据进行时间对齐，以获取第一数据；

对所述第一数据进行数据扁平化处理，获得第二数据；

将所述第二数据写入各能源设备类型对应的基础数据表中。

6.如权利要求1所述的工作流管理方法，其特征在于，所述对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题，包括：

根据数据仓库主题，读取各能源设备类型对应的基础数据表中的数据；

参照维度数据对各能源设备类型对应的数据进行聚合，以获取聚合数据；

将所述聚合数据写入所述数据仓库主题。

7.如权利要求6所述的工作流管理方法，其特征在于，所述数据仓库主题至少包括能源企业产能分析主题、用能企业用能分析主题、企业能效分析主题、设备状态运行趋势分析主题、设备预测性维护分析主题、企业数据接入质量分析主题中的一种。

8.如权利要求1～7任一项所述的工作流管理方法，其特征在于，所述对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市，包括：

根据数据集市，对所述数据仓库主题中的数据进行分类；

将经过分类的所述数据仓库主题中的数据写入对应的数据集市。

9.一种工作流管理装置，其特征在于，包括：

细节数据表加载模块，用于对能源数据进行第一数据处理，以获取新加载数据，并将所述新加载数据写入细节数据表；

基础数据表加载模块，用于对所述细节数据表进行第二数据处理，并将经过所述第二数据处理的数据按照能源设备类型分别加载到各基础数据表；

主题加载模块，用于对各所述基础数据表进行第三数据处理，并将经所述第三数据处理的数据写入各数据仓库主题；

数据集市加载模块，用于对所述数据仓库主题进行第四数据处理，并将经所述第四数据处理的数据按照业务单元分别写入各数据集市。

10.如权利要求9所述的工作流管理装置，其特征在于，所述工作流管理装置还包括：

数据迁移模块，用于将所述数据集市迁移至报表系统的各业务数据库中。

Images