CN116860894A - 基于能源数据仓库的配置与处理方法、装置及其相关介质 - Google Patents

Abstract

本发明公开了基于能源数据仓库的配置与处理方法、装置及其相关介质，该方法包括获取增量能源数据和点位信息，配置得到有效点位数据；进行阈值配置规则判断以输出清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；分别对所述电表数据和所述环境数据进行异常值处理，以输出第一处理数据和第二处理数据，最终覆写得到最终清洗结果表；基于所述最终清洗结果表分别进行数据处理，分别得到分类存储数据和统计存储数据；接收查询指令，并返回能源信息列表。本发明对最终清洗结果表处理后得到分类存储数据和统计存储数据，再利用查询指令得到能源信息列表，以对能源数据仓库进行管理，如此，解决了能源数据仓库数据异常并大大提高管理效率。

Description

基于能源数据仓库的配置与处理方法、装置及其相关介质

技术领域

本发明涉及数据处理技术领域，特别涉及基于能源数据仓库的配置与处理方法、装置及其相关介质。

背景技术

目前现有的数据仓库系统中，大多数都没有针对能源行业的特殊需求进行优化，这导致无法对能源消耗的优化提供足够数据支持，从而影响了能源管理和节能减排工作。现有技术中虽然存在许多解决方案，但均无法满足能源数据仓库的特殊需求，能源行业常常面临数据异常问题，传统的能源数据仓库无法有效解决；现有技术(专利号：CN112015724A)中使用固定值判断月度用电量和固定倍率判断额定电流，但并不适合其他电数值处理，这大大降低了管理效率。

发明内容

本发明实施例提供了基于能源数据仓库的配置与处理方法、装置及其相关介质，旨在解决现有技术中能源数据仓库无法有效解决数据异常以及管理效率低下的问题。

第一方面，本发明实施例提供了一种基于能源数据仓库的配置与处理方法，包括：

获取增量能源数据，并且提取配置系统中的数据集的点位信息；

利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

第二方面，本发明实施例提供了一种基于能源数据仓库的配置与处理装置，包括：

数据获取单元，用于获取增量能源数据，并且提取配置系统中的数据集的点位信息；

数据配置单元，用于利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

数据判断单元，用于对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

第一处理单元，用于对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

第二处理单元，用于对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

数据覆写单元，用于分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

数据存储单元，用于基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

数据输出单元，用于基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述第一方面的基于能源数据仓库的配置与处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面的基于能源数据仓库的配置与处理方法。

本发明实施例提供一种基于能源数据仓库的配置与处理方法，包括获取增量能源数据和点位信息，配置得到有效点位数据；进行阈值配置规则判断，最终输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；分别对所述电表数据和所述环境数据进行异常值处理，以输出第一处理数据和第二处理数据，最终覆写得到最终清洗结果表；基于所述最终清洗结果表分别进行数据处理，分别得到分类存储数据和统计存储数据；接收查询指令，并返回能源信息列表。本发明对最终清洗结果表处理后得到分类存储数据和统计存储数据，再利用查询指令得到能源信息列表，以对能源数据仓库进行管理，如此，解决了能源数据仓库数据异常并大大提高管理效率。

本发明实施例还提供一种基于能源数据仓库的配置与处理装置、计算机设备和存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于能源数据仓库的配置与处理方法的流程示意图；

图2为本发明实施例提供的一种基于能源数据仓库的配置与处理装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种基于能源数据仓库的配置与处理方法的流程示意图，具体包括：步骤S101～S108。

S101、获取增量能源数据，并且提取配置系统中的数据集的点位信息；

S102、利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

S103、对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

S104、对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

S105、对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

S106、分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

S107、基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

S108、基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

在步骤S101中，获取增量能源数据是指收集与能源生产、转换、利用等相关的实时或历史数据。这些数据可以包括发电厂的产能、风力或太阳能发电装置的输出、能源供应与需求的变化等信息。为了获取这些数据，可以采用各种数据采集技术，如传感器、智能电表、监测设备等，以实时监测和记录能源系统的状态和性能。一种常见的方式是使用物联网(IoT)技术，将传感器部署在关键位置，例如发电厂、输电线路、能源转换设备等，这些传感器可以测量各种参数，如电流、电压、温度、湿度等，以获取有关能源系统的详细数据，可以通过云平台进行收集、存储和处理，以提供实时的能源监控和分析。

具体的，提取配置系统中的数据集的点位信息是指从配置系统中获取数据集的位置信息，配置系统是指用于管理和组织数据集的系统，可以包括数据库、数据仓库或数据管理平台。在配置系统中，数据集通常被组织为表或文件，并使用特定的字段或标识符来描述每个数据点。要提取数据集的点位信息，首先需要了解配置系统的结构和数据集的组织方式，可以通过查询配置系统的元数据(例如表结构、字段描述)来获取这些信息；元数据描述了数据集中每个字段的名称、数据类型和含义，以及它们在数据集中的位置；在了解了数据集的结构和点位信息后，可以使用编程语言或查询语言(如SQL)从配置系统中提取数据，通过指定特定的字段、条件或标识符，可以从数据集中选择所需的数据点，并将其导出或进一步处理。

另外的，随着可再生能源的快速发展，监测和管理可再生能源系统的需求也越来越高，使用先进的数据采集和分析技术，可以实时监测太阳能光伏板、风力涡轮机等装置的输出，并优化能源生产。能源领域产生的大量数据需要进行高效的处理和分析；大数据技术，如分布式计算、机器学习和人工智能，可以应用于能源数据，以提取有用的见解和进行预测分析。基于能源数据和点位信息，可以开发能源管理系统，帮助实时监控能源消耗、优化能源利用和实施节能措施，可以提供能源报告、告警通知和能源优化建议等功能。物联网和传感器技术的进步使得能源系统的监测和数据采集更加智能化和自动化。通过将传感器与能源设备和基础设施连接，可以实现实时数据采集和远程监控，提高能源系统的效率和可靠性。

在一实施例中，所述步骤S101，包括：

分别读取所述配置系统中的数据集的项目关系表和点位标识表；

将所述项目关系表和点位标识表进行数据合并，得到所述点位信息。

在本实施例中，在配置系统中，项目关系表和点位标识表是两个重要的数据表；项目关系表(eco_data_block)记录了项目编号与数据集编号的关系，读取项目关系表的步骤如下：

a.确定项目关系表的位置和命名：在配置系统中找到存储项目关系信息的表，通常会有一个特定的表名或标识；

b.使用适当的查询语言(如SQL)，执行查询来检索项目关系表的内容，例如，可以使用SELECT语句来选择所有项目关系表中的字段和记录；

c.读取查询结果并解析项目关系表中的字段。

点位标识表(eco_block_device_ref)记录数据集编号与能耗算法或分析所需的全部点位标识的关系，读取点位标识表的步骤如下：

a.在配置系统中找到存储点位标识信息的表，通常会有一个特定的表名或标识；

b.使用适当的查询语言执行查询，以检索点位标识表的内容，例如，可以使用SELECT语句选择所有点位标识表中的字段和记录；

c.读取查询结果并解析点位标识表中的字段。

最终，获取了项目关系表和点位标识表的数据，可以进行数据合并来得到点位信息，数据合并的步骤如下：

a.将项目关系表和点位标识表进行关联，可以通过使用关联操作(如JOIN)来实现；

b.将项目关系表和点位标识表的记录进行合并，将创建一个新的数据表，其中包含项目关系和相应点位的信息；

c.读取合并后的数据表，并解析其中的字段，可以得到完整的点位信息，包括项目名称、点位名称、位置坐标等。

另外的，根据配置系统的复杂程度和数据集的规模，读取和合并数据可能需要使用更高级的技术和工具；例如，可以使用数据集成平台或ETL(Extract,Transform,Load)工具来处理大规模数据集的读取和合并任务，这些工具提供了更强大的数据处理和转换功能，可以支持复杂的数据整合需求。

在步骤S102中，可以将点位信息与相应的能源数据关联起来，从而得到有效的点位数据；通过数据配置的过程，获得了配置了点位信息的能源数据，即有效点位数据，可以用于后续的分析、可视化或其他应用。当然，除了对历史增量能源数据进行配置外，还可以实时地将点位信息与实时能源数据进行配置，这对于需要实时监测和控制能源系统的应用非常有用，可以提供即时的点位数据更新；通过利用点位信息对增量能源数据进行配置，并获取有效的点位数据，可以更好地理解和分析能源系统的性能、优化能源利用以及支持能源管理决策。这为实现可持续能源发展和能源效率提供了重要的数据基础。

在一实施例中，所述步骤S102，包括：

将所述增量能源数据写入数据库中，得到项目ID和点位ID；

将所述项目ID和点位ID与所述点位信息进行数据合并，得到点位配置结果；其中，所述点位配置结果包括有效点位数据和无效点位数据。

在本实施例中，将增量能源数据写入数据库并获取项目ID和点位ID，然后进行数据合并，可以得到点位配置结果，其中包括有效点位数据和无效点位数据。首先，将增量能源数据导入数据库中，可以使用数据库管理工具或编程语言提供的接口，例如SQLINSERT语句；将数据按照相应的字段结构和数据类型插入数据库的表中，确保数据的准确性和完整性；在数据库中，通过查询增量能源数据表，可以获取项目ID和点位ID，这些ID可以作为关联键，与点位信息进行关联和合并，使用适当的查询语言(如SQL)，执行查询以选择项目ID和点位ID字段，并从增量能源数据表中提取相应的值；使用项目ID和点位ID，将点位信息和增量能源数据进行数据合并。

具体的，点位数据是指能够成功关联和合并点位信息的增量能源数据，这些数据具有项目ID、点位ID以及相应的能源数据字段，有效点位数据对于后续的分析和应用是可用的。无效点位数据是指在关联和合并过程中无法找到匹配点位信息的增量能源数据，这可能是由于点位信息不完整、数据质量问题或配置错误等原因导致的，无效点位数据可能需要进一步的处理和调查，以解决配置问题或修复数据错误。

在步骤S103中，针对有效点位数据，可以应用阈值配置规则进行判断，并根据规则的结果输出清洗结果表，如果数据符合阈值配置规则，则直接输出；如果不符合规则，则需要进行异常值处理后再输出清洗结果表，清洗结果表包括环境数据和电表数据，下面是对阈值配置规则判断的具体说明：根据具体应用需求，定义适当的阈值配置规则，这些规则可以基于数据的上下限、变化率、趋势或其他相关条件；对有效点位数据应用阈值配置规则进行判断，比较每个数据与规则中定义的阈值，并根据判断结果决定如何处理该数据；将有效点位数据根据其类型进行分类，例如环境数据和电表数据；对于符合阈值配置规则的数据，直接将其输出到清洗结果表中，这些数据被认为是正常的，不需要进行进一步处理；对于不符合阈值配置规则的数据，需要进行异常值处理后再输出到清洗结果表，异常值处理可以采用一些技术，如插值、平滑或删除等，以修正或剔除异常数据；将符合阈值规则和经过异常值处理的环境数据和电表数据合并生成清洗结果表，清洗结果表可以包括原始数据、处理后的数据以及其他相关信息，以便后续分析和应用使用。

通常来讲，有效点位数据对应有一条或多条阈值规则，将增量数据中的数值与阈值规则要求进行对比，满足阈值规则要求即符合；比如点位1(如室外温度等)的阈值规则为>＝-10，且<＝50，则增量数据中室外温度的数据(如数值为26.5、57.8)会关联出2条规则，规则1为>＝-10，规则2为<＝50，则26.5是符合对应的每条阈值规则要求的，而67.8只符合规则1的要求，不符合规则2的要求。

具体的，在处理不符合阈值配置规则的数据时，可以应用不同的异常值处理方法；例如，可以使用插值方法填补缺失值、使用滤波技术平滑数据、或者使用统计方法检测和剔除异常数据点；阈值配置规则可以根据不同的时间段、季节性变化或特定事件进行动态调整，这样可以更好地适应数据的变化和特征，提高数据清洗的准确性和适应性；在生成清洗结果表时，可以添加数据质量指标和报告，用于描述数据的质量状况，这可以包括数据的完整性、准确性、一致性等评估，以帮助用户了解数据的可信度和可用性；除了基本的阈值配置和异常值处理外，还可以应用更高级的清洗方法，如异常检测算法、机器学习模型或时间序列分析等，这些方法可以更准确地识别和处理异常数据，提高数据清洗的效果和效率；通过应用阈值配置规则和进行异常值处理，可以得到经过清洗的环境数据和电表数据，这些清洗结果有助于提高数据质量、准确性和可用性，为后续的分析、建模和决策提供更可靠的基础。

在一实施例中，所述步骤S103，包括：

判断所述有效点位数据的输出规则类型为过滤时，对所述有效点位数据的异常值进行作废处理；

判断所述有效点位数据的输出规则类型为默认值时，将所述有效点位数据的异常值更改为默认值，并输出得到所述清洗结果表；

判断所述有效点位数据的输出规则类型为算法赋值时，对所述有效点位数据的异常值进行数值置空处理，并输出得到所述清洗结果表。

在本实施例中，如果输出规则类型为过滤，表示要将异常值作废处理，即从清洗结果表中删除这些异常值；对于符合阈值配置规则的数据，直接输出到清洗结果表；对于不符合阈值配置规则的数据，将其异常值作废处理，从清洗结果表中移除。如果输出规则类型为默认值，表示要将异常值更改为预先定义的默认值，然后输出到清洗结果表；对于符合阈值配置规则的数据，直接输出到清洗结果表；对于不符合阈值配置规则的数据，将其异常值替换为预先定义的默认值，然后输出到清洗结果表，这样可以在清洗结果表中保留所有数据点，但将异常值用默认值进行替换。如果输出规则类型为算法赋值，表示要将异常值置空(设置为null)处理，然后输出到清洗结果表；对于符合阈值配置规则的数据，直接输出到清洗结果表；对于不符合阈值配置规则的数据，将其异常值置空，然后输出到清洗结果表，这样可以在清洗结果表中保留所有数据点，但将异常值设为空值。

另外的，对于被处理的异常值，可以生成预警通知，以便相关人员能够及时知晓数据的异常情况并采取适当的措施。除了固定的输出规则类型外，可以考虑根据实际情况和需求，实现动态的输出规则，例如，根据时间、数据类型或其他参数的变化，动态调整输出规则，以更好地应对不同的数据情况和业务需求。在处理异常值时，可以进行进一步的异常值分析，以了解异常值产生的原因和背后的数据模式，这有助于发现潜在的问题或系统故障，并采取适当的纠正措施。除了输出到清洗结果表外，可以将清洗结果以不同的形式输出，如报表、图表、可视化仪表板等，以满足用户的不同需求和使用场景。

在步骤S104中，可以直接删除电表数据中的异常值，删除异常值后，剩余的数据将保持连续性；也可以使用插值方法填充异常值，插值法可以根据相邻数据点的值来推断异常值的合理值，常见的插值方法包括线性插值、样条插值等，插值处理后的数据保持了连续性；对于异常值较多或异常值对数据连续性影响较大的情况，可以采用平滑法来处理异常值，平滑法通过对数据进行滤波或平均操作，平滑数据中的噪音和异常值，从而获得连续性较好的第一处理数据。

在一实施例中，所述步骤S104，包括：

判断所述电表数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再对异常值进行置空处理；若判断不存在异常值，则直接对异常值进行置空处理；其中，所述置空处理包括：提取点位数据的前N个和后N个点位以构成合理数据范围，对所述合理数据范围外的点位数据进行置空处理，并进行数据填充；

根据所述置空处理的结果，输出连续性的所述第一处理数据。

在本实施例中，检查电表数据中是否存在点位数据缺失，可以通过比较点位数据的连续性来确定是否存在缺失，如果某些点位数据在时间序列上存在间隔，则可能存在缺失。检查电表数据中是否存在点位数据重复，可以通过比较点位数据的唯一性来确定是否存在重复，如果有重复的点位数据，表示同一点位在相同的时间上出现了多次。如果存在点位数据缺失，需要进行补缺处理，补缺处理可以采用插值法或其他适当的方法，根据前后的数据点推测缺失的点位数据值。如果存在点位数据重复，需要进行去重处理，去重处理可以删除重复的点位数据，确保每个点位在特定时间上只有一个值。对处理后的点位数据进行异常值判断，可以根据阈值配置规则或其他方法，比较数据点与合理数据范围的偏差来判断是否存在异常值；如果存在异常值，需要对其进行处理，具体处理方式可以是剔除跳变数据，并对点位数据进行数据填充，异常值处理也可以将超出合理数据范围的点位数据置空，并进行数据填充。对于异常值，将超出合理数据范围的点位数据置空，即设置为null或空值；在置空处理后，可以根据前N个和后N个点位数据的趋势和值，对置空的点位数据进行填充，填充方法可以采用插值法、平均值、线性回归等。根据置空处理和数据填充的结果，输出连续性较好的第一处理数据，第一处理数据可以作为后续能源分析、负荷预测等任务的输入数据。

另外的，对于缺失和重复的点位数据，除了插值法和去重处理，还可以应用其他方法，例如，基于统计规律或模型的数据填充方法，或者使用时间序列分析方法来推断缺失或重复数据的值。除了阈值配置规则外，还可以应用其他高级的异常值判断方法，如异常检测算法、机器学习模型等，这些方法可以更准确地识别异常值并进行相应的处理。在处理过程中，建立数据质量监控系统，并及时反馈处理结果，这有助于发现潜在的数据质量问题，确保处理后的数据质量符合要求。通过综合处理点位数据缺失或重复、异常值判断、置空处理和数据填充，可以得到连续性较好的第一处理数据，如此，数据可以为后续的能源分析、负荷预测、能源效率评估等任务提供可靠的基础。

在步骤S105中，针对环境数据，进行异常值处理以输出连续性的第二处理数据，可以直接删除环境数据中的异常值，删除异常值后，剩余的数据点将保持连续性；对于异常值较少的情况，可以使用插值方法填充异常值，插值法可以根据相邻数据点的值来推断异常值的合理值，常见的插值方法包括线性插值、样条插值等，插值处理后的数据保持了连续性；对于异常值较多或异常值对数据连续性影响较大的情况，可以采用平滑法来处理异常值。平滑法通过对数据进行滤波或平均操作，平滑数据中的噪音和异常值，从而获得连续性较好的第二处理数据。

在一实施例中，所述步骤S105，包括：

判断所述环境数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再输出连续性的所述第二处理数据；若判断不存在异常值，则直接输出连续性的所述第二处理数据。

在本实施例中，根据要求判断环境数据中是否存在点位数据缺失或重复，如果存在缺失或重复，需要进行相应的处理后再进行异常值判断；如果不存在缺失或重复，可以直接进行异常值判断，具体如下：

a.检查环境数据中是否存在点位数据缺失，可以通过比较点位数据的连续性来确定是否存在缺失，如果某些点位数据在时间序列上存在间隔，则可能存在缺失；

b.检查环境数据中是否存在点位数据重复，可以通过比较点位数据的唯一性来确定是否存在重复，如果有重复的点位数据，表示同一点位在相同的时间上出现了多次；

c.如果存在点位数据缺失，需要进行补缺处理，补缺处理可以采用插值法或其他适当的方法，根据前后的数据点推测缺失的点位数据值；

d.如果存在点位数据重复，需要进行去重处理，去重处理可以删除重复的点位数据，确保每个点位在特定时间上只有一个值。

异常值的判断如下：

a.对处理后的环境数据进行异常值判断，可以根据阈值配置规则或其他方法，比较数据点与合理数据范围的偏差来判断是否存在异常值；

b.如果存在异常值，需要对其进行处理，具体处理方式可以是剔除跳变数据，并对点位数据进行数据填充，异常值处理也可以将超出合理数据范围的点位数据置空，并进行数据填充。

进一步的，对于异常值处理后的数据，通过处理异常值的方法和技术，确保输出的第二处理数据具有较好的连续性，处理后的数据点在数值上和趋势上与原始数据保持一致。对处理后的第二处理数据进行连续性评估和验证，可以采用数据可视化、统计分析等方法来验证数据的连续性和趋势。对于缺失和重复的点位数据，除了插值法和去重处理，还可以应用其他方法，例如，基于统计规律或模型的数据填充方法，或者使用时间序列分析方法来推断缺失或重复数据的值；除了阈值配置规则外，还可以应用其他高级的异常值判断方法，如异常检测算法、机器学习模型等。这些方法可以更准确地识别异常值并进行相应的处理；在处理过程中，建立数据质量监控系统，并及时反馈处理结果。这有助于发现潜在的数据质量问题，确保处理后的数据质量符合要求；通过综合处理点位数据缺失或重复、异常值判断和连续性验证，可以得到连续性较好的第二处理环境数据，如此，可以为后续的能源分析、建模和决策提供可靠的基础。

在步骤S106中，将第一处理数据按照时间顺序进行排序，确保数据按照时间的先后顺序排列，如果数据已经按时间顺序排列，则无需进行排序。同样地，将第二处理数据按照时间顺序进行排序，以确保数据的连续性和正确的时间序列。将经过时间序列化的第一处理数据写入清洗结果表中对应的环境数据/电表数据列；同样地，将经过时间序列化的第二处理数据写入清洗结果表中对应的环境数据/电表数据列。根据需要，清洗结果表中还可以包含其他与项目、点位或数据相关的信息列，以提供更完整的数据分析和处理。最终的清洗结果表将包含经过处理和时间序列化的第一处理数据和第二处理数据。

另外的，在覆写到清洗结果表之前，可以进行数据质量检查和异常处理，确保第一处理数据和第二处理数据的质量和一致性，修复或标记异常值，以保证最终清洗结果表的数据质量。为了数据安全和追溯性，定期进行清洗结果表的数据备份，并建立适当的版本管理机制，可以在需要时回溯到特定版本的清洗结果，确保数据的可靠性和可复现性。通过将第一处理数据和第二处理数据进行时间序列化，并覆写到清洗结果表中，可以得到最终的清洗结果表。

在步骤S107中，将清洗结果表中的数据进行分类存储，可以创建以项目ID和点位ID为索引的数据存储结构，以便根据项目和点位进行快速的数据访问和查询，根据需求可以使用数据库表、文件系统或其他存储机制来组织和存储分类数据。对分类存储的数据添加索引，以提高数据的检索效率，根据项目ID和点位ID的索引，可以快速定位和获取特定项目和点位的数据，分类存储方式方便后续的数据分析、可视化和报告生成。根据需求对清洗结果表中的数据进行统计分析，得到统计存储数据；例如，可以计算每个项目和点位的平均值、最大值、最小值、总和等统计指标，根据需求可以将统计结果存储到数据库表、数据文件或其他数据存储结构中。根据实际需求选择合适的统计方法和技术，常用的统计方法包括平均值、中位数、标准差、百分位数等，可以使用统计软件、编程语言或数据分析工具来进行统计计算；将统计存储数据用于数据可视化和生成报告，以便更好地理解和传达数据的统计特征和趋势，使用图表、图形、表格等形式展示统计结果，以支持数据分析和决策过程。

另外的，除了根据项目ID和点位ID进行分类存储外，还可以应用高级的数据分类和标签化技术，根据数据的特征、属性或其他标准，将数据进行更细粒度的分类和标签化，以满足不同层次和维度的数据分析需求。在进行数据统计时，可以应用更高级的统计分析方法和模型，如回归分析、时间序列分析、聚类分析等，这些方法可以揭示数据之间的关系、趋势和模式，提供更深入的数据洞察和决策支持。如果需要实时的数据分类和统计，可以考虑使用实时数据处理和流式计算技术。这些技术能够处理数据流，并实时更新分类存储数据和统计结果，以便及时响应和分析变化的数据。通过数据分类和数据统计，可以将最终的清洗结果表按项目和点位进行组织和存储，同时获得各项目和点位的统计特征，这样的分类存储数据和统计存储数据为进一步的数据分析、趋势分析和决策提供了便利和基础。

在步骤S108中，建立查询接口或系统，接收用户发送的查询指令，查询指令可以包括项目ID、点位ID、时间范围、统计指标等参数，用于指定查询条件和需求。解析查询指令中的参数，例如提取项目ID和点位ID，确定查询的时间范围，以及需要进行的统计操作等。根据接收到的查询指令，从分类存储数据中检索和获取相应的能源数据，可以利用索引或其他查询技术，快速定位和获取指定项目和点位的数据。根据查询指令中的统计需求，从统计存储数据中查询和获取相应的能源数据统计结果，根据统计需求的不同，执行相应的统计计算操作，返回计算得到的统计结果。根据查询结果，将获取到的能源数据整理和格式化为能源信息列表。将格式化后的能源信息列表作为查询结果返回给用户，用户可以通过接口、应用程序或其他方式接收并使用查询结果。

进一步的，除了基本的查询，可以支持更高级的查询功能，例如，按时间范围、数据类型、统计指标等进行灵活的查询和过滤，以满足用户多样化的查询需求。针对大规模数据和复杂查询场景，可以采用查询优化技术和性能提升措施，例如，使用索引、数据分区、缓存等方法来加速查询操作，提高查询的响应速度和效率。将能源信息列表可视化展示，例如通过图表、图形、地图等形式呈现能源数据的趋势和变化；同时，支持用户与查询结果进行交互，如缩放、筛选、导出等操作，以满足用户对数据的深入分析和使用需求。通过接收查询指令、数据查询和检索，并将查询结果返回为能源信息列表，可以实现对分类存储数据和统计存储数据的灵活查询和使用。

综上所述，本发明利用算法和数据清洗技术，能够准确地清除异常值并填充缺失值，从而提高能源数据的准确性；本发明能够根据历史记录动态确定每个时期内的合理数据范围，从而降低能源数据处理的成本，通过自动化和优化能源数据的异常处理，减少了需要手动处理异常数据的人力和时间成本，通过准确和可信的能源数据，能够更好地监控能源消耗，并寻找节省能源的机会，从而提高能源管理效率和降低成本，能够及时发现能源使用的异常情况和潜在的节能机会，帮助决策者做出更合理的能源管理决策，还可以通过提供更准确和可信的能源数据，更好地评估节能算法的效果，这有助于提高节能算法的水平，促进能源的可持续发展，并推动实施更有效的节能措施。通过以上优势，本发明能够提供更高质量的能源数据，帮助能源行业实现更有效的能源管理和节约用电，为能源可持续发展做出贡献。

在一实施例中，基于能源数据仓库的配置与处理方法，还包括：

利用所述能源信息列表查询的温度数据和电量数据，并结合历史温度和能耗关系，得到能耗效能比例值；

利用所述能源信息列表查询冷冻水流量、冷冻水供水温度和冷冻水回水温度，并结合冷水主机的功率，得到COP值；

利用所述能源信息列表对比历史电度消耗数据和实时电度消耗数据，得到电度消耗趋势信息。

在本实施例中，根据能源信息列表，可以进行以下分析和计算：

查询温度数据和电量数据，并得到能耗效能比例值：从能源信息列表中提取所需的温度数据，可以是室内温度、环境温度或其他相关的温度数据；从能源信息列表中提取所需的电量数据，可以是总电量消耗或特定设备的电量消耗；根据历史数据或已知关系，建立温度和能耗之间的关系模型，例如，可以通过回归分析等方法确定温度和能耗之间的线性或非线性关系；根据温度和能耗关系模型，将查询得到的温度数据代入模型，计算能耗效能比例值，这个比例值反映了能源消耗相对于温度变化的效能。

查询冷冻水流量、冷冻水供水温度和冷冻水回水温度，并结合冷水主机的功率，得到COP值：

从能源信息列表中提取冷冻水流量、冷冻水供水温度和冷冻水回水温度等相关数据；从能源信息列表中提取冷水主机的功率数据；利用冷冻水流量、冷冻水供水温度、冷冻水回水温度以及冷水主机的功率数据，可以计算制冷系统的COP(CoefficientofPerformance)值，COP值是制冷系统性能的指标，反映了单位功率输入下的制冷效果。

对比历史电度消耗数据和实时电度消耗数据，得到电度消耗趋势信息：

从能源信息列表中获取历史电度消耗数据，可以是每小时、每天或每月的电度消耗数据；查询实时电度消耗数据：获取当前的实时电度消耗数据；对比历史和实时数据：将历史电度消耗数据和实时电度消耗数据进行对比，分析它们之间的差异和趋势。可以计算电度消耗的增长率、百分比变化等指标，以获得电度消耗的趋势信息。

另外的，在进行能耗效能比例值和COP值的计算时，可以采用更高级的数据分析方法和模型，如时间序列分析、机器学习等，这些方法可以更准确地建立温度和能耗之间、冷冻水流量和温度之间的关系，并得到更精确的结果。除了查询能源信息列表，可以实时监测温度、电量、冷冻水流量等数据，以及冷水主机的功率，通过实时监测，可以及时发现和响应能耗和能效方面的变化，进一步优化能源管理和节能措施。对于能耗效能比例值、COP值和电度消耗趋势信息，可以通过数据可视化和生成报告的方式进行展示和传达，图表、趋势分析和报告摘要等形式有助于更直观地理解和应用这些能源数据分析结果。通过对能源信息列表进行查询和分析，可以获取温度数据和电量数据，并结合历史温度和能耗关系、冷冻水流量、冷冻水供水温度、冷冻水回水温度以及冷水主机的功率，得到能耗效能比例值和COP值，并对比历史和实时电度消耗数据，获得电度消耗的趋势信息，这些分析结果可以用于能源效率评估、节能措施优化和能源管理决策等方面。

结合图2所示，图2为本发明实施例提供的一种基于能源数据仓库的配置与处理装置的示意性框图，基于能源数据仓库的配置与处理装置200包括：

数据获取单元201，用于获取增量能源数据，并且提取配置系统中的数据集的点位信息；

数据配置单元202，用于利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

数据判断单元203，用于对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

第一处理单元204，用于对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

第二处理单元205，用于对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

数据覆写单元206，用于分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

数据存储单元207，用于基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

数据输出单元208，用于基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

在本实施例中，数据获取单元201获取增量能源数据，并且提取配置系统中的数据集的点位信息；数据配置单元202利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；数据判断单元203对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；第一处理单元204对所述电表数据进行异常值处理，以输出连续性的第一处理数据；第二处理单元205对所述环境数据进行异常值处理，以输出连续性的第二处理数据；数据覆写单元206分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；数据存储单元207基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；数据输出单元208基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

在一实施例中，所述数据获取单元201，包括：

读取单元，用于分别读取所述配置系统中的数据集的项目关系表和点位标识表；

合并单元，用于将所述项目关系表和点位标识表进行数据合并，得到所述点位信息。

在一实施例中，所述数据配置单元202，包括：

写入单元，用于将所述增量能源数据写入数据库中，得到项目ID和点位ID；

配置单元，用于将所述项目ID和点位ID与所述点位信息进行数据合并，得到点位配置结果；其中，所述点位配置结果包括有效点位数据和无效点位数据。

在一实施例中，所述数据判断单元203，包括：

过滤单元，用于判断所述有效点位数据的输出规则类型为过滤时，对所述有效点位数据的异常值进行作废处理；

默认单元，用于判断所述有效点位数据的输出规则类型为默认值时，将所述有效点位数据的异常值更改为默认值，并输出得到所述清洗结果表；

赋值单元，用于判断所述有效点位数据的输出规则类型为算法赋值时，对所述有效点位数据的异常值进行数值置空处理，并输出得到所述清洗结果表。

在一实施例中，所述第一处理单元204，包括：

修复单元，用于判断所述电表数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

置空单元，用于若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再对异常值进行置空处理；若判断不存在异常值，则直接对异常值进行置空处理；其中，所述置空处理包括：提取点位数据的前N个和后N个点位以构成合理数据范围，对所述合理数据范围外的点位数据进行置空处理，并进行数据填充；

电表单元，用于根据所述置空处理的结果，输出连续性的所述第一处理数据。

在一实施例中，所述第二处理单元205，包括：

判断单元，用于判断所述环境数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

环境单元，用于若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再输出连续性的所述第二处理数据；若判断不存在异常值，则直接输出连续性的所述第二处理数据。

在一实施例中，基于能源数据仓库的配置与处理装置，还包括：

能耗数据单元，用于利用所述能源信息列表查询的温度数据和电量数据，并结合历史温度和能耗关系，得到能耗效能比例值；

功率数据单元，用于利用所述能源信息列表查询冷冻水流量、冷冻水供水温度和冷冻水回水温度，并结合冷水主机的功率，得到COP值；

趋势数据单元，用于利用所述能源信息列表对比历史电度消耗数据和实时电度消耗数据，得到电度消耗趋势信息。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于能源数据仓库的配置与处理方法，其特征在于，包括：

获取增量能源数据，并且提取配置系统中的数据集的点位信息；

利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

2.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，所述获取增量能源数据，并且提取配置系统中的数据集的点位信息，包括：

分别读取所述配置系统中的数据集的项目关系表和点位标识表；

将所述项目关系表和点位标识表进行数据合并，得到所述点位信息。

3.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，所述利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据，包括：

将所述增量能源数据写入数据库中，得到项目ID和点位ID；

将所述项目ID和点位ID与所述点位信息进行数据合并，得到点位配置结果；其中，所述点位配置结果包括有效点位数据和无效点位数据。

4.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，所述若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表，包括：

判断所述有效点位数据的输出规则类型为过滤时，对所述有效点位数据的异常值进行作废处理；

判断所述有效点位数据的输出规则类型为默认值时，将所述有效点位数据的异常值更改为默认值，并输出得到所述清洗结果表；

判断所述有效点位数据的输出规则类型为算法赋值时，对所述有效点位数据的异常值进行数值置空处理，并输出得到所述清洗结果表。

5.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，所述对所述电表数据进行异常值处理，以输出连续性的第一处理数据，包括：

判断所述电表数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再对异常值进行置空处理；若判断不存在异常值，则直接对异常值进行置空处理；其中，所述置空处理包括：提取点位数据的前N个和后N个点位以构成合理数据范围，对所述合理数据范围外的点位数据进行置空处理，并进行数据填充；

根据所述置空处理的结果，输出连续性的所述第一处理数据。

6.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，所述对所述环境数据进行异常值处理，以输出连续性的第二处理数据，包括：

判断所述环境数据中是否存在点位数据缺失或重复，若存在点位数据缺失或重复，则对应进行补缺处理或去重处理，再进行异常值判断；若不存在点位数据缺失或重复，则直接进行异常值判断；

若判断存在异常值，则剔除跳变数据并对点位数据进行数据填充，再输出连续性的所述第二处理数据；若判断不存在异常值，则直接输出连续性的所述第二处理数据。

7.根据权利要求1所述的基于能源数据仓库的配置与处理方法，其特征在于，还包括：

利用所述能源信息列表查询的温度数据和电量数据，并结合历史温度和能耗关系，得到能耗效能比例值；

利用所述能源信息列表查询冷冻水流量、冷冻水供水温度和冷冻水回水温度，并结合冷水主机的功率，得到COP值；

利用所述能源信息列表对比历史电度消耗数据和实时电度消耗数据，得到电度消耗趋势信息。

8.一种基于能源数据仓库的配置与处理装置，其特征在于，包括：

数据获取单元，用于获取增量能源数据，并且提取配置系统中的数据集的点位信息；

数据配置单元，用于利用所述点位信息对所述增量能源数据进行配置，得到有效点位数据；

数据判断单元，用于对所述有效点位数据进行阈值配置规则判断，若符合所述阈值配置规则，输出得到清洗结果表；若不符合所述阈值配置规则，对所述有效点位数据进行异常值处理后输出得到清洗结果表；其中，所述清洗结果表包括环境数据和电表数据；

第一处理单元，用于对所述电表数据进行异常值处理，以输出连续性的第一处理数据；

第二处理单元，用于对所述环境数据进行异常值处理，以输出连续性的第二处理数据；

数据覆写单元，用于分别对所述第一处理数据和第二处理数据进行时间序列化，并覆写到所述清洗结果表中，得到最终清洗结果表；

数据存储单元，用于基于所述最终清洗结果表分别进行数据分类和数据统计，分别得到分类存储数据和统计存储数据；

数据输出单元，用于基于所述分类存储数据和统计存储数据接收查询指令，并返回能源信息列表。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于能源数据仓库的配置与处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于能源数据仓库的配置与处理方法。