CN117009610A - 一种基于电力数据的k线图可视化系统和方法 - Google Patents

一种基于电力数据的k线图可视化系统和方法 Download PDF

Info

Publication number
CN117009610A
CN117009610A CN202311072413.6A CN202311072413A CN117009610A CN 117009610 A CN117009610 A CN 117009610A CN 202311072413 A CN202311072413 A CN 202311072413A CN 117009610 A CN117009610 A CN 117009610A
Authority
CN
China
Prior art keywords
data
power
aggregation
target
line graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311072413.6A
Other languages
English (en)
Inventor
张杰明
唐升卫
甘锴
陈敏
顾博川
陈益哲
梁妍陟
陈显超
李欢欢
耿晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202311072413.6A priority Critical patent/CN117009610A/zh
Publication of CN117009610A publication Critical patent/CN117009610A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于电力数据的K线图可视化系统和方法，数据采集模块，用于采集电力系统多种设备的实时电力数据、历史电力数据和K线图配置信息；数据聚合模块，用于对各实时电力数据和历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；电力数据计算模块，用于根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表和历史聚合表内的聚合数据进行计算，生成各设备对应的目标计算数据；数据库，用于存储目标计算数据；可配置K线图模块，用于根据K线图配置信息，从数据库内获取K线图配置信息关联的目标计算数据绘制电力K线图。解决传统的单一的通过统计图表形式的展示功能已无法满足电力分析工作的需求的技术问题。

Description

一种基于电力数据的K线图可视化系统和方法
技术领域
本发明涉及电力系统技术领域，尤其涉及一种基于电力数据的K线图可视化系统和方法。
背景技术
随着经济不断发展，城市化进程的推进，城市的用电需求也在快速增长，加速了能源和电力发展方式的转变，会出现城市的用电需求特点、用电结构、负荷特性变化规律出现了新的变化，呈现出新的特征，在这种新形势下，电网企业需要更加精准的掌握电力需求变化，并根据需求特点，开展合理的消纳决策。
目前，在现有的电力可视化系统中，通常是通过表格、柱图、折线图、饼图等简单形式的统计图表用于展示出数据的基本规律态势，但是随着现有电力数据的类型和数据集不断的增加，传统的单一的通过统计图表形式的展示功能已无法满足电力分析工作的需求。
发明内容
本发明提供了一种基于电力数据的K线图可视化系统和方法，解决了传统的单一的通过统计图表形式的展示功能已无法满足电力分析工作的需求的技术问题。
本发明第一方面提供的一种基于电力数据的K线图可视化系统，包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块；
所述数据采集模块，用于采集电力系统多种设备的目标电力数据和K线图配置信息，其中，所述目标电力数据包括实时电力数据和历史电力数据；
所述数据聚合模块，用于对各所述实时电力数据和所述历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；
所述电力数据计算模块，用于根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表和所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的目标计算数据并传输至所述数据库；
所述数据库，用于存储所述电力数据计算模块输出的所述目标计算数据；
所述可配置K线图模块，用于根据所述K线图配置信息，从所述数据库内获取所述K线图配置信息关联的所述目标计算数据绘制电力K线图。
可选地，所述目标计算数据包括目标实时数据和目标历史数据，所述电力数据计算模块包括实时数据计算单元和历史数据计算单元；
所述实时数据计算单元，用于根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表内的聚合数据进行计算，生成各所述设备对应的所述目标实时数据并传输至所述数据库；
所述历史数据计算单元，用于根据所述K线图配置信息内的指标类型，通过所述Flink模型对所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的所述目标历史数据并传输至所述数据库。
可选地，所述数据聚合模块包括聚合单元、分类模块和匹配映射单元；
所述聚合单元，用于基于聚合笛卡尔积算法，对各所述实时电力数据和所述历史电力数据进行聚合，生成多个初始实时聚合数据和初始历史聚合数据；
所述分类模块，用于根据数据类型将多个所述初始实时聚合数据和所述初始历史聚合数据进行分类，生成多个同类型的目标实时聚合数据和目标历史聚合数据；
所述匹配映射单元，用于通过数据适配器分别对各所述目标实时聚合数据和所述目标历史聚合数据进行映射，生成多个实时聚合表和历史聚合表。
可选地，还包括补录数据计算模块；
所述补录数据计算模块，用于检测所述目标电力数据，当检测到数据缺失时，完成补录数据的计算。
可选地，所述补录数据计算模块包括缺失数据检测单元、完整指标计算单元、指标比对单元、手动补录单元、缺失类型判断单元、第一自动补录单元和第二自动补录单元；
所述缺失数据检测单元，用于检测采集的所述目标电力数据，当检测到数据缺失时，获取缺失数据的缺失数据量和所述目标电力数据关联的有效数据量；
所述完整指标计算单元，用于基于预设完整指标函数，采用所述缺失数据量计算对应的完整指标；
所述指标比对单元，用于比对所述完整指标与预设标准指标；
所述手动补录单元，用于若所述所述完整指标小于或等于所述预设标准指标，则输出告警，并执行手动补录或重传；
所述缺失类型判断单元，用于若所述所述完整指标大于所述预设标准指标，则判断所述缺失数据的缺失类型；
所述第一自动补录单元，用于若所述缺失类型为随机散状，则采用马尔科夫链蒙特卡洛方法对数据进行订正；
所述第二自动补录单元，用于若所述缺失类型不为随机散状，则执行自动补录。
可选地，所述预设完整指标函数为：
式中，X表示所述完整指标，B表示所述缺失数据量，A表示所述有效数据量。
可选地，所述可配置K线图模块包括电力K线图绘制子模块；
所述电力K线图绘制子模块包括矩形柱体绘制单元、提取单元、电力数据比较单元、第一着色单元、第二着色单元、均线绘制单元和电力K线图耦合单元；
所述矩形柱体绘制单元，用于根据所述K线图配置信息，以横轴表示时间，纵轴表示数值，从所述数据库内获取所述K线图配置信息关联的多个所述目标计算数据，采用各所述目标计算数据绘制各所述设备单独或复合对应的多个矩形柱体；
所述提取单元，用于从各所述目标计算数据提取电力最大值和电力最小值，分别垂直连成一条直线；
所述电力数据比较单元，用于将各所述目标计算数据内的电力截止值与电力起始值分别进行比较；
所述第一着色单元，用于若所述电力截止值大于所述电力起始值，则对关联的所述矩形柱体着第一预设颜色；
所述第二着色单元，用于若所述电力截止值小于或等于所述电力起始值，则对关联的所述矩形柱体着第二预设颜色；
所述均线绘制单元，用于根据各所述目标计算数据计算指定时长内的移动平均线；
所述电力K线图耦合单元，用于将所述移动平均线与关联的所述矩形柱体进行耦合，生成电力K线图。
可选地，还包括检索功能模块；
所述检索功能模块，用于根据检索请求对应的检索类型进行检索，确定目标检索信息。
可选地，还包括热搜模块；
所述热搜模块，用于根据指标类型统计检索次数，并进行展示。
本发明第二方面提供的一种基于电力数据的K线图可视化方法，应用于基于电力数据的K线图可视化系统，所述基于电力数据的K线图可视化系统包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块，所述方法包括：
通过所述数据采集模块采集电力系统多种设备的目标电力数据和K线图配置信息，其中，所述目标电力数据包括实时电力数据和历史电力数据；
通过所述数据聚合模块对各所述实时电力数据和所述历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；
通过所述电力数据计算模块根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表和所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的目标计算数据并传输至所述数据库；
通过所述数据库存储所述电力数据计算模块输出的所述目标计算数据；
通过所述可配置K线图模块根据所述K线图配置信息，从所述数据库内获取所述K线图配置信息关联的所述目标计算数据绘制电力K线图。
从以上技术方案可以看出，本发明具有以下优点：
通过依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块，数据采集模块，用于采集电力系统多种设备的目标电力数据和K线图配置信息，其中，目标电力数据包括实时电力数据和历史电力数据；数据聚合模块，用于对各实时电力数据和历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；电力数据计算模块，用于根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表和历史聚合表内的聚合数据进行计算，生成各设备对应的目标计算数据并传输至数据库；数据库，用于存储电力数据计算模块输出的目标计算数据；可配置K线图模块，用于根据K线图配置信息，从数据库内获取K线图配置信息关联的目标计算数据绘制电力K线图。解决传统的单一的通过统计图表形式的展示功能已无法满足电力分析工作的需求的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于电力数据的K线图可视化系统的结构框图；
图2为本发明实施例提供的一种基于电力数据的K线图可视化系统的小时K以下K线数据加工第一流程图；
图3为本发明实施例提供的一种基于电力数据的K线图可视化系统的小时K以上K线数据加工第二流程图；
图4为本发明实施例提供的一种基于电力数据的K线图可视化系统的电力数据及补录数据加工流程图；
图5为本发明实施例提供的一种基于电力数据的K线图可视化方法的步骤流程图。
具体实施方式
本发明实施例提供了一种基于电力数据的K线图可视化系统和方法，用于解决传统的单一的通过统计图表形式的展示功能已无法满足电力分析工作的需求的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种基于电力数据的K线图可视化系统的结构框图；
本发明提供的一种基于电力数据的K线图可视化系统，包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块；
数据采集模块，用于采集电力系统多种设备的目标电力数据和K线图配置信息，其中，目标电力数据包括实时电力数据和历史电力数据；
数据聚合模块，用于对各实时电力数据和历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；
电力数据计算模块，用于根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表和历史聚合表内的聚合数据进行计算，生成各设备对应的目标计算数据并传输至数据库；
数据库，用于存储电力数据计算模块输出的目标计算数据；
可配置K线图模块，用于根据K线图配置信息，从数据库内获取K线图配置信息关联的目标计算数据绘制电力K线图。
目标电力数据，指的是电力系统内各电力设备的电力数据，电力数据包括但不限于断面、负载率、负荷、有功、无功、电流、电压等。
K线图配置信息，指的是用于绘制K线图所需的配置信息，包括但不限于厂站编号、电力设备类型、指标类型、时间因子、柱形图参数、辅助线参数、是否复合指标、图形配置等。
厂站编号，指的是与电力系统相关联的厂站的顺序编号，用于确定具体的厂站。
电力设备类型包括但不限于变压器、断路器、隔离开关、电压互感器、电流互感器、避雷器、套管、绝缘子等。
指标类型包括但不限于断面、负载率、负荷、有功、无功、电流、电压等。
时间因子，指的是K线图以横轴表示时间，包括但不限于15分钟、日、周、月和年。
柱形图参数，包括颜色、柱形体的长、宽、高参数，颜色配置可根据用户需求、业务需求，不同数据情况下配置不同的柱体颜色，这样可通过柱体颜色快速判断电网、设备运行情况；柱体的长、宽、高参数可根据实际需要设置，若K线图内为复合指标，因此需要调整柱形体的长度、宽度和高度设定，使得一个K线图中能够显示多个数据，便于用户更直观的能在一个K线图中查看到多个数据，将多种类型的电力数据建立时效关联，能给用户直观的视觉感受，直观的感受电力数据所带来的波动、影响；在一个K线图中查看到多个电力数据，便于分析工作人员进行分析工作，减少数据遗漏的因素，快速的生成分析报告。
辅助线参数，包括但不限于均线、环比、同比等，比如10日均线、20日均线，可配合K线图走势做出准确的数据分析、预测。
是否复合指标，指的是是否将多个指标进行复合，比如以“馈线A的负荷+馈线B的负荷”的和为复合指标。
在本发明实施例中，数据采集模块，用于采集电力系统多种设备的目标电力数据和K线图配置信息，其中，目标电力数据包括实时电力数据和历史电力数据，对各实时电力数据和历史电力数据进行聚合，生成多个实时聚合表和历史聚合表，根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表和历史聚合表内的聚合数据进行计算，生成各设备对应的目标计算数据并传输至数据库，存储电力数据计算模块输出的目标计算数据，根据K线图配置信息，从数据库内获取K线图配置信息关联的目标计算数据绘制电力K线图。
在一个K线图中查看到多个数据，将多种类型的电力数据建立时效关联，能给用户直观的视觉感受，直观的感受电力数据所带来的波动、影响，便于分析工作人员进行分析工作，减少数据遗漏的因素，快速的生成分析报告，满足当前系统的运行管理需求；全过程支持电力系统的一体化管控；全面协调电网运行业务和信息的横向协同和纵向贯通；促进电网运行信息的灵活共享，促进电网运行业务的灵活互动，全面提升电网运行专业的协同效率；充分运用自动化、智能化技术发展成果，提升电网运行智能化水平和智能辅助决策能力，不断提高电网安全、经济、优质、环保运行水平。
本发明提供的一种基于电力数据的K线图可视化系统，目标计算数据包括目标实时数据和目标历史数据，电力数据计算模块包括实时数据计算单元和历史数据计算单元；
实时数据计算单元，用于根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表内的聚合数据进行计算，生成各设备对应的目标实时数据并传输至数据库；
历史数据计算单元，用于根据K线图配置信息内的指标类型，通过Flink模型对历史聚合表内的聚合数据进行计算，生成各设备对应的目标历史数据并传输至数据库。
在本发明实施例中，根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表内的聚合数据进行计算，生成各设备对应的目标实时数据并传输至数据库；例如，K线图配置信息内的指标类型为负荷，因此通过Flink模型采用相对应的电压和电流进行计算，从而生成目标负荷，该目标负荷为目标实时数据；同理，根据K线图配置信息内的指标类型，通过Flink模型对历史聚合表内的聚合数据进行计算，生成各设备对应的目标历史数据并传输至数据库。
值得一提的是，请参阅图2和图3，根据K线图配置，对实时电力数据进行计算，并把结果集入库，实时电力数据计算最小粒度为5分钟，且实时电力数据计算分当前期数据计算和非当前期的数据计算两个流程，前期的数据缓存到关系数据库中，并随着新采集的数据不断更新，当前期的数据流转为历史电力数据后，清空关系数据库中的数据并转存在hbase数据库中。
需要说明的是，历史电力数据为自从遥测数据开始采集开始到K线图上线之间所有的数据。
需要说明的是，对实时电力数据计算方案是通过Flink模型进行同步和计算，Flink是一个基于流式数据处理的分布式计算框架，可以实现高效、可靠和可扩展的实时数据处理，在实时数仓的构建中，使用Flink进行数据流处理，可以满足对数据实时性、精度和复杂性的需求，提高数据处理效率和决策效果，数据流和状态管理是flink实时数据处理的重要组成部分。
Flink的数据流是由无限多个事件组成的有向图，其中每个事件都包含了时间戳和事件数据，Flink的算子可以对数据流进行各种转换和计算，如map、filter、reduce、join等。Flink的状态管理可以实现对数据流的状态和历史数据的管理，如可通过keyed state来管理流中每个key的状态，并支持快速的checkpoint和restore操作，以保证数据的可靠性和一致性。
Flink还支持窗口和时间处理、连接器和外部系统集成等技术，Flink的窗口和时间处理可以对数据流进行基于时间和窗口的聚合和计算，可通过Tumbling Windows、Sliding Windows和Session Windows等窗口类型来实现不同的时间窗口聚合操作，Flink的连接器和外部系统集成可以实现与多种数据源和数据仓库的集成，可通过Kafka、Hadoop、Elasticsearch等连接器来读写数据。
具体方案如下：
S1：定义数据流和算子，实现数据的实时处理逻辑；
可以通过Kafka Connector读取数据，并使用map算子对数据进行格式转换和清洗；
(1)创建FLink执行环境；
(2)从命令行参数中获取Kafka相关配置；
(3)配置Kafka Consumer；
(4)创建FLinkKafkaConsumer；
(5)从Kafka中读取数据；
(6)对数据进行格式转换和清洗；
(7)打印处理后的数据；
(8)执行任务；
S2、实现状态管理和容错机制，保证数据的可靠性和一致性；
可以使用Flink的内置状态后端将状态保存到HDFS、RocksDB或其他分布式文件系统中，或使用外部系统如Redis、Cassandra等作为状态后端；
S3、实现数据源和数据仓库的集成，实现数据的读写操作；
可使用Flink的连接器将数据读取到数据流中，并使用Flink的输出格式将数据写入到外部存储Hbase中。
请参阅图2，数据采集模块从电力系统内的源数据平台采集实时电力数据，默认输出到Kafka(消息引擎系统)，并传输到FLink模型中进行计算，根据预先获取的到的K线图配置信息，执行K线数据计算，并将结果集写入Hbase，把明细数据写入Hbase，同时，通过FLink模型，将实时电力数据进行全量更新，并缓存为历史电力数据，以便于数据采集模块从缓存库MySQL中采集到历史电力数据，并输入FLink模型中进行计算，同时将计算结果写入Hbase，Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制，此处可以理解为由Hbase和Hive所组成数据库，用于存储电力数据计算模块输出的目标计算数据。可以通过接口，将数据传输至前端应用。
在具体的应用中，请参阅图3，数据采集模块从电力系统内的源数据平台采集目标电力数据，默认输出到Kafka(消息引擎系统)，并传输到FLink模型中进行计算，执行小时区线数据计算，并把结果集写入MySQL，MySQL中，执行日K及以上的数据集合，把历史周期数据从MySQL中写入Hbase。以小时粒度数据写入MySQL，MySQL是一个关系型数据库管理系统，当前小时K以上的数据在MySQL中聚合，并将最后计算的到的目标实时数据与目标历史数据写入数据库中。
值得一提的是，由于数据采集后，数据是分散的，不便于数据管理和应用，通过数据聚合模块对数据进行聚合，方便数据的管理、应用和分享。
本发明提供的一种基于电力数据的K线图可视化系统，数据聚合模块包括聚合单元、分类模块和匹配映射单元；
聚合单元，用于基于聚合笛卡尔积算法，对各实时电力数据和历史电力数据进行聚合，生成多个初始实时聚合数据和初始历史聚合数据；
需要说明的是，数据聚合算法优先设置为数据聚合笛卡尔积算法笛卡尔积是数据库查询中具有特殊作用的一种连接，对多个表产生聚合关系，并将每个表的每一行取出来，生成结果，通过笛卡尔积算法，可帮助用户更好地分析数据，该算法利用SELECT语句，从两个或以上表中聚合数据，按照每个表从第一行到最后一行的顺序返回数据，生成一个新的表，结构为原表数乘以每行的记录数，具体步骤如下：
S1、从源表中按照行和列生成表：为了实现笛卡尔积，从两个或以上的源表中读取一行一行的数据，并按照行和列生成一个新的表；
S2、按照单元格计算结果：为了生成每个表格中的内容，对表格中的每一个单元格进行计算，即把每一行每一列的值进行乘积运算；
S3、返回正确的数据：最后，把计算好的结果，通过SELECT语句返回给用户。
分类模块，用于根据数据类型将多个初始实时聚合数据和初始历史聚合数据进行分类，生成多个同类型的目标实时聚合数据和目标历史聚合数据；
需要说明的是，数据类型包括但不限于整数类型、浮点数类型、日期类型、字符类型、布尔类型等；
其中整数类型是计算机存储和处理的基本数据类型，包括byte、short、int、long等，整数类型用于存储和处理整数数据，可以表示任意的数字；
浮点数类型用于存储和处理实数数据，包括float和double等，浮点数类型具有精度高、存储空间小的特点，适用于需要进行精确计算的场景；
日期类型包括date(日期型)、datetime(日期时间型)、timestaMP23015184(时间戳型)、time(时间型)以及year(年份)；
字符类型用于存储和处理字符数据，包括char等，字符类型可以存储字符数据；
布尔类型用于存储和处理逻辑数据，包括boolean。
在本发明实施例中，根据数据类型将多个初始实时聚合数据和初始历史聚合数据进行分类，生成多个同类型的目标实时聚合数据和目标历史聚合数据，可以理解为，此步骤为分类步骤，将同个主题的数据进行分类。
匹配映射单元，用于通过数据适配器分别对各目标实时聚合数据和目标历史聚合数据进行映射，生成多个实时聚合表和历史聚合表。
在本发明实施例中，通过数据适配器将分类好的同个主题的数据映射到同一个表中，生成多个实时聚合表和历史聚合表。
本发明提供的一种基于电力数据的K线图可视化系统，还包括补录数据计算模块；
补录数据计算模块，用于检测目标电力数据，当检测到数据缺失时，完成补录数据的计算；
在本发明实施例中，还设置有补录数据计算模块，也即内置有数据补录机制，当检测到未及时上报的采样数据，或因系统故障暂时不能上报的数据，会开启数据补录机制，实现对数据的补录，并通知离线计算程序补算这一部分数据；数据补录机制的具体算法为：
S1、由技术校验发现数据缺失的数据进行数据补录，可通过配置实现自动补录和手工补录；
S2、对于发现业务数据传输错误，可对数据进行重传操作，对某时段数据进行重新采集；
S3、自动修正：通过补录规则、补录范围、补录时间，自动对范围内数据进行修正；
S4、系统将根据抽取的业务系统数据进行缺失分级，根据不同的类型做不通的处理方式。
具体地，请参阅图4，当接收到有补录数据时，走数据补充流程，并根据K线图配置，完成补录数据的计算。在数据库中，写个程序检测缺失数据，通过脚本通知前置采集，检查缺失数据，通过脚本通知采集中心，补采缺失数据，取出补录数据，根据配置解析数据，解析后的数据写入Hive，并通过Spark计算引擎计算历史数据，计算补录数据，结果集写入Hbase，明细数据同步到Hbase，同时清空Hive库。
补录数据计算模块包括缺失数据检测单元、完整指标计算单元、指标比对单元、手动补录单元、缺失类型判断单元、第一自动补录单元和第二自动补录单元；
缺失数据检测单元，用于检测采集的目标电力数据，当检测到数据缺失时，获取缺失数据的缺失数据量和目标电力数据关联的有效数据量；
完整指标计算单元，用于基于预设完整指标函数，采用缺失数据量计算对应的完整指标；
预设完整指标函数为：
式中，X表示完整指标，B表示缺失数据量，A表示有效数据量。
在本发明的一个示例中，某个时间段内，理论应有有效数据总量位为A，系统缺失数据总量为B，x％为数据完整比例，计算算式如下所示：
指标比对单元，用于比对完整指标与预设标准指标；
手动补录单元，用于若完整指标小于或等于预设标准指标，则输出告警，并执行手动补录或重传；
缺失类型判断单元，用于若完整指标大于预设标准指标，则判断缺失数据的缺失类型；
第一自动补录单元，用于若缺失类型为随机散状，则采用马尔科夫链蒙特卡洛方法对数据进行订正；
第二自动补录单元，用于若缺失类型不为随机散状，则执行自动补录。
在本发明实施例中，根据完整指标确定数据的确实情况，以便于根据不同的情况进行补录，若完整指标小于或等于预设标准指标，属于完全随机缺失，该类缺失严重，无法进行数据修补和完善，填补效率低，则输出告警，并执行手动补录或重传。若完整指标大于预设标准指标，且缺失情况成随机散状，将采用基于多元正态性假设的马尔科夫链蒙特卡罗(MCMC)方法对数据进行订正。
在本发明的一个示例中，若X≤70％，即为完全随机缺失，直接产生告警，用户手动进行补录、重传；
若X＞70％，且缺失情况成随机散状，将采用基于多元正态性假设的马尔科夫链蒙特卡罗(MCMC)方法对数据进行订正。
本发明提供的一种基于电力数据的K线图可视化系统，可配置K线图模块包括电力K线图绘制子模块；
电力K线图绘制子模块包括矩形柱体绘制单元、提取单元、电力数据比较单元、第一着色单元、第二着色单元、均线绘制单元和电力K线图耦合单元；
矩形柱体绘制单元，用于根据K线图配置信息，以横轴表示时间，纵轴表示数值，从数据库内获取K线图配置信息关联的多个目标计算数据，采用各目标计算数据绘制各设备单独或复合对应的多个矩形柱体；
在本发明实施例中，根据K线图配置信息，以横轴表示时间，纵轴表示数值，从数据库内获取K线图配置信息关联的多个目标计算数据，采用各目标计算数据绘制各设备单独或复合对应的多个矩形柱体；
值得一提的是，根据K线图配置信息内的厂站编号、电力设备类型、指标类型和是否复合指标，从数据库内获取K线图配置信息关联的多个目标计算数据。
例如，若不是复合指标，配置K线图的设置路径为：“选择厂站-选择设备-选择指标”；
若为复合指标，配置K线图的设置路径为：“选择厂站-选择设备-选择指标-[选择设备-选择指标]-设置计算公式”；比如以“馈线A的负荷+馈线B的负荷”的和为复合指标，分析多条馈线的指标数据运行情况，计算公式为：复合指标＝馈线A的负荷+馈线B的负荷。
需要说明的是，根据获取到的K线图配置信息，是否为复合指标，确定绘制的矩形柱体的数量，以便于耦合在同一个电力K线图上。此处复合指标，可以理解为可叠加指标，例如可叠加指标设置为有功发电量、无功发电量等指标，同时可配置有辅助线所需的相关计算，辅助线设置为均线、环比、同比等辅助线。
需要说明的是，发送至前端展示时，可在一个页面上配置多个K线图，可满足用户在一个页面上查看多个指标数据的需求。将多种类型的电力数据建立时效关联，能给用户直观的视觉感受，直观的感受电力数据所带来的波动、影响；在一个K线图中查看到多个电力数据，便于分析工作人员进行分析工作，减少数据遗漏的因素，快速的生成分析报告。
提取单元，用于从各目标计算数据提取电力最大值和电力最小值，分别垂直连成一条直线；
电力数据比较单元，用于将各目标计算数据内的电力截止值与电力起始值分别进行比较；
第一着色单元，用于若电力截止值大于电力起始值，则对关联的矩形柱体着第一预设颜色；
第二着色单元，用于若电力截止值小于或等于电力起始值，则对关联的矩形柱体着第二预设颜色；
均线绘制单元，用于根据各目标计算数据计算指定时长内的移动平均线；
值得一提的是，计算指定时长内的移动平均线属于本领域常规的均值计算，根据指标类型选择对应的目标计算数据进行均值计算，在此不再赘述。
均线用于展示某一时间段内的电力数据的平均值及趋势，可通过检索条件，查看地区、各个厂站、各个设备所有已配置指标的K线数据，可通过时间轴查看任意时间范围内，及所有历史时间的数据，实现即时数据与历史数据的拼接和展示，再结合地区，可实现时空数据的拼接和展示；用户可通过放大、缩小K线图，并可拖动查看，结合时间范围，可以很方便查看数据；支持鼠标悬浮K线图页面时，显示指标浮窗，浮窗里显示鼠标驻留时点的指标数据，比如最大值、最小值、起始值、截止值、涨跌额、涨跌率等；K线图上显示所选时间范围内的最大值和最小值。
电力K线图耦合单元，用于将移动平均线与关联的矩形柱体进行耦合，生成电力K线图。
本发明提供的一种基于电力数据的K线图可视化系统，还包括检索功能模块；
检索功能模块，用于根据检索请求对应的检索类型进行检索，确定目标检索信息。
检索请求，指的是进行检索的请求信息；
检索类型包括模糊搜索、精确搜索、时间轴检索和模板检索；
在本发明实施例中，当检索类型为模糊搜索，可录入关键字关联出目标查询维度和指标；当检索类型为精确搜索，可按地区、厂站、设备等维度查看各个维度下的指标；当检索类型为时间轴检索，可设置时间范围，并拖动时间块，查看历史数据；当检索类型为模板检索，可根据预先保存的多个查询模板，快速切换到日常关注的维度、指标数据。
本发明提供的一种基于电力数据的K线图可视化系统，还包括热搜模块；
热搜模块，用于根据指标类型统计检索次数，并进行展示。
在本发明实施例中，根据指标类型统计检索次数，并进行展示，便于查看多个时间范围内，各个维度和指标的用户搜索热度情况，从而了解用户关心的指标是哪个，基于热搜情况，对重点指标进行功能挖掘，从而满足用户的需求。
请参阅图5，图5为本发明实施例提供的一种基于电力数据的K线图可视化方法的步骤流程图。
本发明提供的一种基于电力数据的K线图可视化方法，应用于基于电力数据的K线图可视化系统，基于电力数据的K线图可视化系统包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块，方法包括：
步骤201、通过数据采集模块采集电力系统多种设备的目标电力数据和K线图配置信息，其中，目标电力数据包括实时电力数据和历史电力数据。
步骤202、通过数据聚合模块对各实时电力数据和历史电力数据进行聚合，生成多个实时聚合表和历史聚合表。
步骤203、通过电力数据计算模块根据K线图配置信息内的指标类型，通过Flink模型对各实时聚合表和历史聚合表内的聚合数据进行计算，生成各设备对应的目标计算数据并传输至数据库。
步骤204、通过数据库存储电力数据计算模块输出的目标计算数据。
步骤205、通过可配置K线图模块根据K线图配置信息，从数据库内获取K线图配置信息关联的目标计算数据绘制电力K线图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于电力数据的K线图可视化系统，其特征在于，包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块；
所述数据采集模块，用于采集电力系统多种设备的目标电力数据和K线图配置信息，其中，所述目标电力数据包括实时电力数据和历史电力数据；
所述数据聚合模块，用于对各所述实时电力数据和所述历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；
所述电力数据计算模块，用于根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表和所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的目标计算数据并传输至所述数据库；
所述数据库，用于存储所述电力数据计算模块输出的所述目标计算数据；
所述可配置K线图模块，用于根据所述K线图配置信息，从所述数据库内获取所述K线图配置信息关联的所述目标计算数据绘制电力K线图。
2.根据权利要求1所述的基于电力数据的K线图可视化系统，其特征在于，所述目标计算数据包括目标实时数据和目标历史数据，所述电力数据计算模块包括实时数据计算单元和历史数据计算单元；
所述实时数据计算单元，用于根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表内的聚合数据进行计算，生成各所述设备对应的所述目标实时数据并传输至所述数据库；
所述历史数据计算单元，用于根据所述K线图配置信息内的指标类型，通过所述Flink模型对所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的所述目标历史数据并传输至所述数据库。
3.根据权利要求1所述的基于电力数据的K线图可视化系统，其特征在于，所述数据聚合模块包括聚合单元、分类模块和匹配映射单元；
所述聚合单元，用于基于聚合笛卡尔积算法，对各所述实时电力数据和所述历史电力数据进行聚合，生成多个初始实时聚合数据和初始历史聚合数据；
所述分类模块，用于根据数据类型将多个所述初始实时聚合数据和所述初始历史聚合数据进行分类，生成多个同类型的目标实时聚合数据和目标历史聚合数据；
所述匹配映射单元，用于通过数据适配器分别对各所述目标实时聚合数据和所述目标历史聚合数据进行映射，生成多个实时聚合表和历史聚合表。
4.根据权利要求1所述的基于电力数据的K线图可视化系统，其特征在于，还包括补录数据计算模块；
所述补录数据计算模块，用于检测所述目标电力数据，当检测到数据缺失时，完成补录数据的计算。
5.根据权利要求4所述的基于电力数据的K线图可视化系统，其特征在于，所述补录数据计算模块包括缺失数据检测单元、完整指标计算单元、指标比对单元、手动补录单元、缺失类型判断单元、第一自动补录单元和第二自动补录单元；
所述缺失数据检测单元，用于检测采集的所述目标电力数据，当检测到数据缺失时，获取缺失数据的缺失数据量和所述目标电力数据关联的有效数据量；
所述完整指标计算单元，用于基于预设完整指标函数，采用所述缺失数据量计算对应的完整指标；
所述指标比对单元，用于比对所述完整指标与预设标准指标；
所述手动补录单元，用于若所述所述完整指标小于或等于所述预设标准指标，则输出告警，并执行手动补录或重传；
所述缺失类型判断单元，用于若所述所述完整指标大于所述预设标准指标，则判断所述缺失数据的缺失类型；
所述第一自动补录单元，用于若所述缺失类型为随机散状，则采用马尔科夫链蒙特卡洛方法对数据进行订正；
所述第二自动补录单元，用于若所述缺失类型不为随机散状，则执行自动补录。
6.根据权利要求5所述的基于电力数据的K线图可视化系统，其特征在于，所述预设完整指标函数为：
式中，X表示所述完整指标，B表示所述缺失数据量，A表示所述有效数据量。
7.根据权利要求1所述的基于电力数据的K线图可视化系统，其特征在于，所述可配置K线图模块包括电力K线图绘制子模块；
所述电力K线图绘制子模块包括矩形柱体绘制单元、提取单元、电力数据比较单元、第一着色单元、第二着色单元、均线绘制单元和电力K线图耦合单元；
所述矩形柱体绘制单元，用于根据所述K线图配置信息，以横轴表示时间，纵轴表示数值，从所述数据库内获取所述K线图配置信息关联的多个所述目标计算数据，采用各所述目标计算数据绘制各所述设备单独或复合对应的多个矩形柱体；
所述提取单元，用于从各所述目标计算数据提取电力最大值和电力最小值，分别垂直连成一条直线；
所述电力数据比较单元，用于将各所述目标计算数据内的电力截止值与电力起始值分别进行比较；
所述第一着色单元，用于若所述电力截止值大于所述电力起始值，则对关联的所述矩形柱体着第一预设颜色；
所述第二着色单元，用于若所述电力截止值小于或等于所述电力起始值，则对关联的所述矩形柱体着第二预设颜色；
所述均线绘制单元，用于根据各所述目标计算数据计算指定时长内的移动平均线；
所述电力K线图耦合单元，用于将所述移动平均线与关联的所述矩形柱体进行耦合，生成电力K线图。
8.根据权利要求1所述的基于电力数据的K线图可视化系统，其特征在于，还包括检索功能模块；
所述检索功能模块，用于根据检索请求对应的检索类型进行检索，确定目标检索信息。
9.根据权利要求8所述的基于电力数据的K线图可视化系统，其特征在于，还包括热搜模块；
所述热搜模块，用于根据指标类型统计检索次数，并进行展示。
10.一种基于电力数据的K线图可视化方法，其特征在于，应用于基于电力数据的K线图可视化系统，所述基于电力数据的K线图可视化系统包括依次通信连接的数据采集模块、数据聚合模块、电力数据计算模块、数据库和可配置K线图模块，所述方法包括：
通过所述数据采集模块采集电力系统多种设备的目标电力数据和K线图配置信息，其中，所述目标电力数据包括实时电力数据和历史电力数据；
通过所述数据聚合模块对各所述实时电力数据和所述历史电力数据进行聚合，生成多个实时聚合表和历史聚合表；
通过所述电力数据计算模块根据所述K线图配置信息内的指标类型，通过Flink模型对各所述实时聚合表和所述历史聚合表内的聚合数据进行计算，生成各所述设备对应的目标计算数据并传输至所述数据库；
通过所述数据库存储所述电力数据计算模块输出的所述目标计算数据；
通过所述可配置K线图模块根据所述K线图配置信息，从所述数据库内获取所述K线图配置信息关联的所述目标计算数据绘制电力K线图。
CN202311072413.6A 2023-08-23 2023-08-23 一种基于电力数据的k线图可视化系统和方法 Pending CN117009610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311072413.6A CN117009610A (zh) 2023-08-23 2023-08-23 一种基于电力数据的k线图可视化系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311072413.6A CN117009610A (zh) 2023-08-23 2023-08-23 一种基于电力数据的k线图可视化系统和方法

Publications (1)

Publication Number Publication Date
CN117009610A true CN117009610A (zh) 2023-11-07

Family

ID=88563667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311072413.6A Pending CN117009610A (zh) 2023-08-23 2023-08-23 一种基于电力数据的k线图可视化系统和方法

Country Status (1)

Country Link
CN (1) CN117009610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290384A (zh) * 2023-11-27 2023-12-26 同方赛威讯信息技术有限公司 一种基于大数据与计算机视觉结合的图文检索系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290384A (zh) * 2023-11-27 2023-12-26 同方赛威讯信息技术有限公司 一种基于大数据与计算机视觉结合的图文检索系统及方法
CN117290384B (zh) * 2023-11-27 2024-02-02 同方赛威讯信息技术有限公司 一种基于大数据与计算机视觉结合的图文检索系统及方法

Similar Documents

Publication Publication Date Title
CN105574652B (zh) 一种智能配电网规划大数据管控系统及方法
CN112769237B (zh) 变电站数字孪生系统
CN108830510B (zh) 一种基于数理统计的电力数据预处理方法
CN203151227U (zh) 一种线损精益化综合管理系统
CN102254024A (zh) 海量数据处理系统及方法
CN112765232B (zh) 核电厂重大设备的数据管理方法及系统
CN117009610A (zh) 一种基于电力数据的k线图可视化系统和方法
CN111474904A (zh) 一种核电厂控制系统组态数据可视化平台及方法
CN105405069A (zh) 一种购电经营决策分析与数据处理方法
CN107404416A (zh) 一种用电信息采集系统的可视化监测方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN112463807A (zh) 一种数据处理方法、装置、服务器及存储介质
CN105719195A (zh) 智能变电站事件序列分析的步渐式表达方法及系统
CN112308437B (zh) 基于大数据分析的线损治理方法、系统、装置和存储介质
CN112147459A (zh) 一种基于scada系统的电网故障分析装置及方法
CN110930264A (zh) 一种区域电网跳闸信息管控系统
CN115983582A (zh) 一种数据分析方法和能耗管理系统
CN115951172A (zh) 一种母线电量不平衡异常计量点定位方法、装置及设备
Zhou et al. Research and Implementation of Distribution Network Operating Analysis Platform Based on Multi-source Heterogeneous Data
CN114780625A (zh) 针对民用飞机的数据管理与综合分析系统
CN106886655A (zh) 一种基于配电地理拓扑数据的改进最小路可靠性确定方法
CN102496882B (zh) 厂站图监测点前景采集系统及采集方法
CN112003369A (zh) 基于云平台的电网自动化设备运行监视及统计分析方法
CN110688390A (zh) 一种电站地图导航系统、方法、设备及存储介质
CN118349600B (zh) 基于物化视图的多维度关系展现控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination