CN113556344A - 一种基于组织绩效场景的通用指标监控看板 - Google Patents
一种基于组织绩效场景的通用指标监控看板 Download PDFInfo
- Publication number
- CN113556344A CN113556344A CN202110827501.7A CN202110827501A CN113556344A CN 113556344 A CN113556344 A CN 113556344A CN 202110827501 A CN202110827501 A CN 202110827501A CN 113556344 A CN113556344 A CN 113556344A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- subunit
- format
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 230000002688 persistence Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 5
- 238000009877 rendering Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000008520 organization Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013075 data extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 7
- 230000037431 insertion Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 239000010453 quartz Substances 0.000 claims description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 6
- 238000013524 data verification Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000013475 authorization Methods 0.000 claims description 3
- 238000013479 data entry Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于组织绩效场景的通用指标监控看板，包括通讯相连的服务端、客户端；所述服务端包括Springboot应用框架、Mybatis持久层、J2EE接口模块、B/S架构模块，所述Springboot应用框架用于创建独立的Spring应用程序、JARs和WARs，所述Mybatis持久层用于配置和映射原生信息，所述J2EE接口模块包括基于J2EE搭建的数据接口；所述客户端包括Vue显示模块、Echarts图表模块，所述Vue显示模块配置为通过操作数据影响DOM操作和页面渲染，所述Echarts图表模块配置为提供大量常用图表组件并提供图表的自定义功能。本申请的一种基于组织绩效场景的通用指标监控看板，实现应用于电力行业组织绩效指标监控的可供用户自定义的指标监控看板，满足不同用户、不同业务指标的展示需求。
Description
技术领域
本申请涉及电力行业组织绩效指标监控技术领域，具体是一种基于组织绩效场景的通用指标监控看板。
背景技术
电力行业的指标监控看板，能够方便用户对各项指标进行查看，从而高效的通过各项指标获取业务发展的健康度。现有技术中的电力企业的监控看板，多是基于业务定制的监控系统，存在系统灵活性、可扩展性不强的问题，无法满足用户的使用需求。
发明内容
本申请的目的在于提供一种基于组织绩效场景的通用指标监控看板，实现应用于电力行业组织绩效指标监控的可供用户自定义的指标监控看板，满足不同用户、不同业务指标的展示需求。
为实现上述目的，本申请提供了一种基于组织绩效场景的通用指标监控看板，包括通讯相连的服务端、客户端；所述服务端包括Springboot应用框架、Mybatis持久层、J2EE接口模块、B/S架构模块，所述Springboot应用框架用于创建独立的Spring应用程序、 JARs和WARs，所述Mybatis持久层用于配置和映射原生信息，所述J2EE接口模块包括基于J2EE搭建的数据接口；所述客户端包括Vue显示模块、Echarts图表模块，所述Vue显示模块配置为通过操作数据影响DOM操作和页面渲染，所述Echarts图表模块配置为提供大量常用图表组件并提供图表的自定义功能。
作为优选，所述Springboot应用框架包括Spring Secutiry模块、POI数据解析模块；所述Spring Secutiry模块配置为提供安全框架，并提供认证和授权功能；所述POI数据解析模块配置为对Microsoft Office格式档案进行读和写。
作为优选，所述服务端还包括格式统一模块、模型统一模块；所述格式统一模块配置为将指标依据数据统一成相同格式；所述模型统一模块配置为为数据维护提供相同的物理模型表。
作为优选，所述格式统一模块、所述模型统一模块分别与手工录入模块相连，所述手工录入模块与所述POI数据解析模块相连，所述手工录入模块录入数据后进行数据预处理；所述数据预处理包括通过所述手工录入模块手工录入的数据经所述格式统一模块、所述模型统一模块统一为相同数据格式，并在用一个物理模型表下进行数据维护，所述POI数据解析模块对相同格式的数据文件进行解析或批量解析，并对单元格级别的数据格式校验；所述数据预处理完成后，所述服务端定时向所述客户端发送数据填写任务。
作为优选，所述服务端与Quartz插件相连，并通过所述Quartz插件定时向所述客户端发送数据填写任务。
作为优选，所述格式统一模块、所述模型统一模块分别与数据抽取模块相连，所述数据抽取模块配置为定时从电力系统中抽取指标依据数据作为数据来源。
作为优选，所述Springboot应用框架连接有数据处理模块，所述数据处理模块包括数据清洗单元、数据转换单元、数据加载单元；
所述数据清洗单元包括配置为对空数据、缺失数据进行数据补缺操作及对无法处理的数据进行标记的数据补缺子单元，配置为对无效数据进行数据替换的数据替换子单元，配置为将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式的格式规范化子单元，配置为通过建立主外键约束对非法数据进行数据替换或导出到错误文件进行重新处理的主外键约束子单元；
所述数据转换单元在ETL引擎中进行、在数据库中进行，其包括配置为通过多用表关联实现合并数据的数据合并子单元，配置为对数据进行拆分的数据拆分子单元，配置为通过loolup、sum、count算法中的一个或多个进行验证数据的数据验证单元；
所述数据加载单元包括时间戳规则加载子单元、日志表规则加载子单元、全表对比规则加载子单元、全表删除插入规则加载子单元；所述时间戳规则加载子单元配置为在业务表中统一添加字段作为时间戳，当OLAP系统更新修改业务数据时，同时修改时间戳字段值；所述日志表规则加载子单元配置为在OLAP系统中添加日志表，业务数据发生变化时，更新维护日志表内容；所述全表对比规则加载子单元配置为抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，对有更新的数据进行更新或插入；所述全表删除插入规则加载子单元配置为删除目标表数据，将源数据全部插入。
作为优选，所述数据加载单元还包括异常数据处理子单元，所述异常数据处理子单元配置为处理异常数据，具体包括：将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载；中断ETL，修改后重新执行ETL；对于外部原因造成的异常，设定尝试次数或尝试时间，在超出所述尝试次数或超出尝试时间时，人员手工干预；源数据结构改变、接口改变的异常状况下，先进行数据同步再装载数据。
作为优选，所述数据合并子单元在通过多用表关联合并数据时，大小表关联采用lookup算法，大大表相交采用join算法。
作为优选，所述客户端的编码采用W3C标准，所述客户端的Web页面采用vue.js框架和HTML5。
有益效果：
本申请的基于组织绩效场景的通用指标监控看板，将监控的基础功能与业务分离，通过标准化的设计，实现不同业务指标的统一展示。通过设计多种指标样式，实现用户自定义监控页面，满足不同用户、不同业务指标的展示需求。同时，本申请的基于组织绩效场景的通用指标监控看板，通过数据抽取加手工录入数据的方式解决数据的来源，为电力行业进行组织绩效指标监控和配置提供帮助，提高监控系统运行的可靠性。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：一种基于组织绩效场景的通用指标监控看板，包括通讯相连的服务端、客户端。服务端包括Springboot应用框架、Mybatis持久层、J2EE接口模块、B/S架构模块，Springboot应用框架、Mybatis持久层、J2EE接口模块、B/S架构模块，均为现有技术中的任意一种，且均通过现有技术中的连接方式建立通讯。这样设置的好处是，采用当下成熟、流行的开源技术框架支撑，保证了监控系统的快速迭代、技术支持保障，需要说明的是，监控系统为基于组织绩效场景的通用指标监控看板的技术架构构成的运行系统的简称。
Springboot应用框架用于创建独立的Spring应用程序、JARs和WARs，以springboot 为中心，优点在于可以创建独立的Spring应用程序，并且基于其Maven或Gradle插件, 快速添加依赖，还可以快速创建的JARs和WARs，操作简单。Mybatis持久层用于配置和映射原生信息，Mybatis与现有技术中的Hibernate框架相比，开发难度更小，后期便于维护管理，可以做到更细致的sql优化。J2EE接口模块包括基于J2EE搭建的数据接口。
为满足系统客户端能兼容于大部分浏览器，本实施例中的客户端的编码部分遵循W3C 标准，除支持自身IDE，同时兼容市面上主流JS和HTML5编辑器。Web页面采用vue.js 框架配合HTML5响应式设计，兼容市面上主流浏览器访问。客户端包括Vue显示模块、 Echarts图表模块，Vue显示模块配置为通过操作数据影响DOM操作和页面渲染，客户端基于响应式编程，使用户能够直接操作数据影响DOM操作和页面渲染，提升客户端性能。 Echarts图表模块配置为提供大量常用图表组件并提供图表的自定义功能，为满足各种复杂的图表需求提供了技术支撑。同时，提供标准的指标展示卡片，实现监控页面由用户个性化定制。用户可根据监控场景需求，自定义添加需监控的指标、自定义指标展示样式等，极大程度上满足了用户的使用需求。
基于上述项目技术架构，本实施例的组件技术选型具体如下：
Springboot应用框架包括Spring Secutiry模块、POI数据解析模块。SpringSecutiry 模块可以是现有技术中的任意一种。Spring Secutiry模块配置为提供安全框架，并提供认证和授权功能，同时，其提供了简单的使用方式，且具有很高的灵活性。、POI数据解析模块为现有技术中的任意一种，全称为Apache POI，POI是Apache软件基金会的开放源码函式库，POI数据解析模块配置为提供API给Java程序对Microsoft Office格式档案进行读和写。
在一种实施方式中，基于组织绩效场景的通用指标监控看板的技术特点包括数据格式、手工录入数据、监控系统接入数据、数据处理几个方向。
数据格式上，所有指标依据数据特点统一成一种格式，数据维护通过同一个物理模型表。对应的，服务端还包括格式统一模块、模型统一模块；格式统一模块、模型统一模块均可以是现有技术中的任意一种，格式统一模块配置为将指标依据数据统一成相同格式，模型统一模块配置为为数据维护提供相同的物理模型表。
手工录入数据上，通过手动输入数据的方式解决数据的来源。对应的，格式统一模块、模型统一模块分别与手工录入模块相连，手工录入模块可以是现有技术中的任意一种。手工录入模块与POI数据解析模块相连，手工录入模块录入数据后进行数据预处理。数据预处理包括通过手工录入模块手工录入的数据经格式统一模块、模型统一模块统一为相同数据格式，并在用一个物理模型表下进行数据维护。POI数据解析模块对相同格式的数据文件进行解析或批量解析，并对单元格级别的数据格式校验。数据预处理完成后，服务端定时向客户端发送数据填写任务。在本实施例中，服务端与Quartz插件相连，Quartz插件为现有技术中的一种，并通过Quartz插件定时向客户端发送数据填写任务。
监控系统接入数据上，通过自动从电力系统中抽取需要的数据。对应的，格式统一模块、模型统一模块分别与数据抽取模块相连，数据抽取模块配置为定时从电力系统中抽取指标依据数据作为数据来源。在本实施例中，数据抽取方式可以是采用年、月、日、小时的更新频率下接入数据，各业务系统数据下发到指定的SFTP文件服务器，监控系统检测到数据文件下发，触发数据解析程序，解析数据进入ORACLE数据库。另一方面，通过分钟级别的方式接入数据，每分钟各业务系统数据发送到kafaka集群，监控系统进行实时数据消费。
数据处理上，通过对数据进行处理，确保数据的可靠性。对应的，Springboot应用框架连接有数据处理模块，数据处理模块包括数据清洗单元、数据转换单元、数据加载单元。
数据清洗单元包括配置为对空数据、缺失数据进行数据补缺操作及对无法处理的数据进行标记的数据补缺子单元，配置为对无效数据进行数据替换的数据替换子单元，配置为将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式的格式规范化子单元，配置为通过建立主外键约束对非法数据进行数据替换或导出到错误文件进行重新处理的主外键约束子单元。数据补缺子单元、数据替换子单元、格式规范化子单元、主外键约束子单元均可以是现有技术中的任意一种。
数据转换单元在ETL引擎中进行、在数据库中进行，需要说明的是，在ETL引擎中进行的数据转换的条件是SQL无法实现的，在数据库中进行的数据转换的条件是SQL可以实现的。其包括配置为通过多用表关联实现合并数据的数据合并子单元，配置为对数据进行拆分的数据拆分子单元，配置为通过loolup、sum、count算法中的一个或多个进行验证数据的数据验证单元，数据合并子单元、数据拆分子单元、数据验证单元均可以是现有技术中的任意一种。其中，在通过多用表关联实现合并数据时，大小表关联采用lookup算法，大大表相交采用join算法。数据拆分子单元的工作步骤可以是按照一定规则对数据进行行列互换、排序/修改序号、去除重复记录等。
数据加载单元包括时间戳规则加载子单元、日志表规则加载子单元、全表对比规则加载子单元、全表删除插入规则加载子单元，时间戳规则加载子单元、日志表规则加载子单元、全表对比规则加载子单元、全表删除插入规则加载子单元均可以是现有技术中的任意一种。时间戳规则加载子单元配置为在业务表中统一添加字段作为时间戳，当OLAP系统更新修改业务数据时，同时修改时间戳字段值。日志表规则加载子单元配置为在OLAP系统中添加日志表，业务数据发生变化时，更新维护日志表内容。全表对比规则加载子单元配置为抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，对有更新的数据进行更新或插入。全表删除插入规则加载子单元配置为删除目标表数据，将源数据全部插入。在本实施例中，数据加载单元还包括异常数据处理子单元，异常数据处理子单元可以是现有技术中的任意一种，异常数据处理子单元配置为处理异常数据，具体包括：1、将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载；中断ETL，修改后重新执行ETL，其原则为最大限度接收数据。2、对于外部原因造成的异常，设定尝试次数或尝试时间，在超出尝试次数或超出尝试时间时，人员手工干预。3、源数据结构改变、接口改变的异常状况下，先进行数据同步再装载数据。
借由上述，本实施例的基于组织绩效场景的通用指标监控看板，将监控的基础功能与业务分离。通过标准化的设计，实现不同业务指标的统一展示；通过设计多种指标样式，实现用户自定义监控页面，满足不同用户、不同业务指标的展示需求。由于监控系统设计把监控功能与业务抽离，并处理了不同单位的权限问题，所以监控系统可快速地在不同的单位落地，实现快速部署、快速应用。
最后应说明的是：以上仅所述为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于组织绩效场景的通用指标监控看板，其特征在于，包括通讯相连的服务端、客户端；
所述服务端包括Springboot应用框架、Mybatis持久层、J2EE接口模块、B/S架构模块，所述Springboot应用框架用于创建独立的Spring应用程序、JARs和WARs，所述Mybatis持久层用于配置和映射原生信息，所述J2EE接口模块包括基于J2EE搭建的数据接口；
所述客户端包括Vue显示模块、Echarts图表模块，所述Vue显示模块配置为通过操作数据影响DOM操作和页面渲染，所述Echarts图表模块配置为提供大量常用图表组件并提供图表的自定义功能。
2.根据权利要求1所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述Springboot应用框架包括Spring Secutiry模块、POI数据解析模块；所述Spring Secutiry模块配置为提供安全框架，并提供认证和授权功能；所述POI数据解析模块配置为对Microsoft Office格式档案进行读和写。
3.根据权利要求2所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述服务端还包括格式统一模块、模型统一模块；所述格式统一模块配置为将指标依据数据统一成相同格式；所述模型统一模块配置为为数据维护提供相同的物理模型表。
4.根据权利要求3所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述格式统一模块、所述模型统一模块分别与手工录入模块相连，所述手工录入模块与所述POI数据解析模块相连，所述手工录入模块录入数据后进行数据预处理；所述数据预处理包括通过所述手工录入模块手工录入的数据经所述格式统一模块、所述模型统一模块统一为相同数据格式，并在用一个物理模型表下进行数据维护，所述POI数据解析模块对相同格式的数据文件进行解析或批量解析，并对单元格级别的数据格式校验；所述数据预处理完成后，所述服务端定时向所述客户端发送数据填写任务。
5.根据权利要求4所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述服务端与Quartz插件相连，并通过所述Quartz插件定时向所述客户端发送数据填写任务。
6.根据权利要求3所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述格式统一模块、所述模型统一模块分别与数据抽取模块相连，所述数据抽取模块配置为定时从电力系统中抽取指标依据数据作为数据来源。
7.根据权利要求1所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述Springboot应用框架连接有数据处理模块，所述数据处理模块包括数据清洗单元、数据转换单元、数据加载单元；
所述数据清洗单元包括配置为对空数据、缺失数据进行数据补缺操作及对无法处理的数据进行标记的数据补缺子单元，配置为对无效数据进行数据替换的数据替换子单元，配置为将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式的格式规范化子单元，配置为通过建立主外键约束对非法数据进行数据替换或导出到错误文件进行重新处理的主外键约束子单元；
所述数据转换单元在ETL引擎中进行、在数据库中进行，其包括配置为通过多用表关联实现合并数据的数据合并子单元，配置为对数据进行拆分的数据拆分子单元，配置为通过loolup、sum、count算法中的一个或多个进行验证数据的数据验证单元；
所述数据加载单元包括时间戳规则加载子单元、日志表规则加载子单元、全表对比规则加载子单元、全表删除插入规则加载子单元；所述时间戳规则加载子单元配置为在业务表中统一添加字段作为时间戳，当OLAP系统更新修改业务数据时，同时修改时间戳字段值；所述日志表规则加载子单元配置为在OLAP系统中添加日志表，业务数据发生变化时，更新维护日志表内容；所述全表对比规则加载子单元配置为抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，对有更新的数据进行更新或插入；所述全表删除插入规则加载子单元配置为删除目标表数据，将源数据全部插入。
8.根据权利要求7所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述数据加载单元还包括异常数据处理子单元，所述异常数据处理子单元配置为处理异常数据，具体包括：将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载；中断ETL，修改后重新执行ETL；对于外部原因造成的异常，设定尝试次数或尝试时间，在超出所述尝试次数或超出尝试时间时，人员手工干预；源数据结构改变、接口改变的异常状况下，先进行数据同步再装载数据。
9.根据权利要求7所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述数据合并子单元在通过多用表关联合并数据时，大小表关联采用lookup算法，大大表相交采用join算法。
10.根据权利要求1所述的基于组织绩效场景的通用指标监控看板，其特征在于，所述客户端的编码采用W3C标准，所述客户端的Web页面采用vue.js框架和HTML5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827501.7A CN113556344A (zh) | 2021-07-21 | 2021-07-21 | 一种基于组织绩效场景的通用指标监控看板 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827501.7A CN113556344A (zh) | 2021-07-21 | 2021-07-21 | 一种基于组织绩效场景的通用指标监控看板 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113556344A true CN113556344A (zh) | 2021-10-26 |
Family
ID=78103931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110827501.7A Pending CN113556344A (zh) | 2021-07-21 | 2021-07-21 | 一种基于组织绩效场景的通用指标监控看板 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113556344A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003227A (zh) * | 2021-11-04 | 2022-02-01 | 广东电网有限责任公司广州供电局 | 电网数据运营驾驶舱 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007072501A2 (en) * | 2005-12-19 | 2007-06-28 | Mphasis Bfl Limited | A system and a methodology for providing integrated business performance management platform |
| CN101930558A (zh) * | 2009-06-24 | 2010-12-29 | 北京炎黄盈动科技发展有限责任公司 | 一种流程绩效分析方法及流程绩效分析系统 |
| CN108073419A (zh) * | 2018-01-04 | 2018-05-25 | 广州供电局有限公司 | 一种电力企业移动应用公共组件库的实现方法 |
| CN109739922A (zh) * | 2019-01-10 | 2019-05-10 | 江苏徐工信息技术股份有限公司 | 一种工业数据智能分析系统 |
| CN109783619A (zh) * | 2018-12-14 | 2019-05-21 | 广东创我科技发展有限公司 | 一种数据过滤挖掘方法 |
| CN111210108A (zh) * | 2019-12-19 | 2020-05-29 | 深圳供电局有限公司 | 一种电力物资供应链的绩效管控模型 |
| CN111881202A (zh) * | 2020-06-28 | 2020-11-03 | 广东电网有限责任公司广州供电局 | 一种数据资源可视化的合并显示方法及系统 |
| CN111898921A (zh) * | 2020-08-08 | 2020-11-06 | 内蒙古电力（集团）有限责任公司内蒙古电力经济技术研究院分公司 | 一种电力工程全业务数字经研构建系统 |
| CN111984495A (zh) * | 2019-05-21 | 2020-11-24 | 武汉金山办公软件有限公司 | 一种大数据监控方法、装置和存储介质 |
| CN112241427A (zh) * | 2020-09-25 | 2021-01-19 | 广东电网有限责任公司广州供电局 | 一种企业运营监控系统 |
| US10963435B1 (en) * | 2017-07-10 | 2021-03-30 | Amazon Technologies, Inc. | Data validation of data migrated from a source database to a target database |
-
2021
- 2021-07-21 CN CN202110827501.7A patent/CN113556344A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007072501A2 (en) * | 2005-12-19 | 2007-06-28 | Mphasis Bfl Limited | A system and a methodology for providing integrated business performance management platform |
| CN101930558A (zh) * | 2009-06-24 | 2010-12-29 | 北京炎黄盈动科技发展有限责任公司 | 一种流程绩效分析方法及流程绩效分析系统 |
| US10963435B1 (en) * | 2017-07-10 | 2021-03-30 | Amazon Technologies, Inc. | Data validation of data migrated from a source database to a target database |
| CN108073419A (zh) * | 2018-01-04 | 2018-05-25 | 广州供电局有限公司 | 一种电力企业移动应用公共组件库的实现方法 |
| CN109783619A (zh) * | 2018-12-14 | 2019-05-21 | 广东创我科技发展有限公司 | 一种数据过滤挖掘方法 |
| CN109739922A (zh) * | 2019-01-10 | 2019-05-10 | 江苏徐工信息技术股份有限公司 | 一种工业数据智能分析系统 |
| CN111984495A (zh) * | 2019-05-21 | 2020-11-24 | 武汉金山办公软件有限公司 | 一种大数据监控方法、装置和存储介质 |
| CN111210108A (zh) * | 2019-12-19 | 2020-05-29 | 深圳供电局有限公司 | 一种电力物资供应链的绩效管控模型 |
| CN111881202A (zh) * | 2020-06-28 | 2020-11-03 | 广东电网有限责任公司广州供电局 | 一种数据资源可视化的合并显示方法及系统 |
| CN111898921A (zh) * | 2020-08-08 | 2020-11-06 | 内蒙古电力（集团）有限责任公司内蒙古电力经济技术研究院分公司 | 一种电力工程全业务数字经研构建系统 |
| CN112241427A (zh) * | 2020-09-25 | 2021-01-19 | 广东电网有限责任公司广州供电局 | 一种企业运营监控系统 |
Non-Patent Citations (2)
| Title |
|---|
| 丁振凡: "《Spring3.X编程技术与应用》", 31 August 2013 * |
| 张津: ""高校教师年终考核审核子系统的设计与实现"", 《中国优秀硕士论文全文数据库（电子期刊）社会科学Ⅱ辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003227A (zh) * | 2021-11-04 | 2022-02-01 | 广东电网有限责任公司广州供电局 | 电网数据运营驾驶舱 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399256B (zh) | 异构数据库内容同步方法、装置及中间件 | |
| CN107660283B (zh) | 用于在日志分析系统中实现日志解析器的方法和系统 | |
| CN103823797A (zh) | 基于ftp协议的行业数据库数据实时同步系统 | |
| US9031997B2 (en) | Log file compression | |
| US20150066865A1 (en) | Archive information management | |
| CN105912594B (zh) | Sql语句处理方法和系统 | |
| CN110489699B (zh) | 一种异步数据采集方法及系统 | |
| US20080091698A1 (en) | Optimal data storage and access for clustered data in a relational database | |
| US9619505B2 (en) | Data health management | |
| US11379466B2 (en) | Data accuracy using natural language processing | |
| CN111651519A (zh) | 数据同步方法、数据同步装置、电子设备及存储介质 | |
| CN113556344A (zh) | 一种基于组织绩效场景的通用指标监控看板 | |
| EP2904520B1 (en) | Reference data segmentation from single to multiple tables | |
| CN112241427A (zh) | 一种企业运营监控系统 | |
| CN113535677A (zh) | 数据分析查询管理方法、装置、计算机设备及存储介质 | |
| US20230289331A1 (en) | Model generation service for data retrieval | |
| CN110895548A (zh) | 用于处理信息的方法和装置 | |
| CN110660461B (zh) | 一种基于人工智能的跨平台医疗数据信息上传系统 | |
| US20190340540A1 (en) | Adaptive continuous log model learning | |
| CN112035566B (zh) | 数据调用方法、装置、电子设备和存储介质 | |
| CN116303427A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
| CN115345163A (zh) | 一种基于故障数据的外场质量分析方法及系统 | |
| CN115168474A (zh) | 一种基于大数据模型的物联中台系统搭建方法 | |
| CN112559641A (zh) | 拉链表的处理方法及装置、可读存储介质及电子设备 | |
| CN114547404B (zh) | 一种大数据平台系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |
|
| RJ01 | Rejection of invention patent application after publication |