CN114428812A - 报表数据监控方法、装置、设备及存储介质 - Google Patents
报表数据监控方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114428812A CN114428812A CN202111667415.0A CN202111667415A CN114428812A CN 114428812 A CN114428812 A CN 114428812A CN 202111667415 A CN202111667415 A CN 202111667415A CN 114428812 A CN114428812 A CN 114428812A
- Authority
- CN
- China
- Prior art keywords
- data
- report
- business
- database
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012800 visualization Methods 0.000 claims abstract description 31
- 238000013079 data visualisation Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000008676 import Effects 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 8
- 238000012806 monitoring device Methods 0.000 abstract 1
- 241001481833 Coryphaena hippurus Species 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013024 troubleshooting Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种报表数据监控方法、装置、设备及存储介质。该方法包括：从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；在数据仓库工具中对原始业务数据进行数据处理，得到业务数据表；利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。本公开能够对报表的数据异常实现自动监控，提升对异常数据的处理效率，降低数据报表的维护成本。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种报表数据监控方法、装置、设备及存储介质。
背景技术
报表是使用表格及图表等来显示数据的表，报表可以直观地展示数据差异，或者展示系列数据的变化趋势。报表已经成为工作中不可或缺的一部分，通过报表可以更加深刻了解数据源的意义，也加深对时局动态发展的理解，因此报表开发在日常工作中有着重要的作用。报表数据监控是指通过数据指标进行数据的监督和控制，通过对报表数据的监控可以发现数据异常。
现有技术中，在对报表数据进行监控时，通常采用人工方式对采集的业务数据进行挖掘和分析，并通过对报表中的指标进行分析判断数据异常的情形，但是，这种人工对报表数据中的异常数据进行排查的方式，具有较高的延迟性，且异常数据排查的耗时较长，也无法定位异常数据的类型和位置，导致无法及时对数据异常做出响应，降低了对异常数据的处理效率，导致对数据报表的维护成本增加。
鉴于上述现有技术中的问题，需要提供一种能够自动监测报表中的数据异常，并对数据异常及时做出响应，从而提升异常数据的处理效率，降低数据报表的维护成本的报表数据监控方案。
发明内容
有鉴于此，本公开实施例提供了一种报表数据监控方法、装置、设备及存储介质，以解决现有技术存在的异常数据的排查和处理具有较高的延迟性，异常数据排查耗时较长，导致异常数据的处理效率较低，数据报表的维护成本增加的问题。
本公开实施例的第一方面，提供了一种报表数据监控方法，包括：从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。
本公开实施例的第二方面，提供了一种报表数据监控装置，包括：获取模块，被配置为从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；处理模块，被配置为在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；调用模块，被配置为利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；监控模块，被配置为利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。
本公开实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。本公开能够自动监测报表中的数据异常，并对数据异常及时做出响应，从而提升异常数据的处理效率，降低数据报表的维护成本。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的报表数据监控方法的流程示意图；
图2是本公开实施例提供的报表数据监控装置的结构示意图；
图3是本公开实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
如前文所述，随着计算机技术的发展，报表已经成为日常工作中不可或缺的一部分，它让人们更加了解数据源的意义，也加深理解对于时局的动态发展，故而报表开发在日常工作中具有重要的作用。报表数据监控是指通过数据指标进行数据的监督和控制，通过对报表数据的监控可以发现数据异常。
以能源领域的报表数据为例，随着物联网和大数据的普及，人们对能源数据更加关注，对报表数据的监控也提出了较高的要求。报表数据的监控包括数据的监督和控制，通过数据指标来进行数据的监督和控制，通过监控每个业务环节的基础数据，如果数据异常，可以快速定位到哪个环节出了问题，进而做出进一步的分析。
对报表数据的监控，也同时实现了数据预警，通过各种数据维度的比对发现数据异常，对已经存在的风险发出预报与警示，当数据出现问题时迅速作出反应，并第一时间通知到工作人员，这样就能快速发现问题。当产生新的数据异常的时候，系统将会自动触发通知消息，从而告知相关人员进行数据的分析。因此，数据监控和数据分析对于运营来说非常重要，做好数据监控，提高客户体验，并减少重大事故的发生，这对企业的长远发展也具有重要作用。
通过对报表数据的监控，可以实现对数据进行有效的监控、维护、优化、改进。从广义来讲，数据是反映产品和用户状态最真实的一种方式，因此通过数据指导运营决策、驱动业务增长。数据管理主要分为以下两种情况：数据监控和数据分析。数据监控是及时、有效的反馈出数据异常的一种手段，通过对数据的监控去观察是否异常，进而分析数据。数据是产品和运营人员工作中重要的一部分，同时运营人员需要关心每个数据指标的增长。因此，如何实现对数据的监控，明确数据监控的目标，对报表的异常数据问题进行提前预警，积累解决报表数据问题的经验而避免以后类似问题的发生，提升业务处理能力等具有重要意义。通过对异常数据的监控，针对不同的问题原因做出相应的改进和优化，不仅有效避免了报表问题，也提升了客户体验。
图1是本公开实施例提供的报表数据监控方法的流程示意图。图1的报表数据监控方法可以由服务器执行。如图1所示，该报表数据监控方法具体可以包括：
S101，从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；
S102，在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；
S103，利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；
S104，利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。
具体地，数据仓库(Data Warehouse,DW)是对原有分散的数据库数据进行抽取、清洗的基础上经过系统加工、汇总和整理得到的。数据仓库建设的目的，是为前端查询和分析作为基础，提供功能分析、决策支持。本公开实施例采用的是Hive数据仓库工具，Hive数据仓库主要用来处理结构化数据，Hive数据仓库一般来说分为4个层级，即ODS层、DWD层、DWS层和ADS层，每个层级用来存储不同类型的表。
进一步地，本公开实施例的数据库可以是MySQL数据库，MySQL是一个关系型数据库管理系统，属于Oracle旗下产品。在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabase Management System，关系数据库管理系统)应用软件之一，关系数据库将数据保存在不同的表中，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。
进一步地，工作流任务调度平台采用Dolphin平台，Dolphin平台是一种分布式易扩展的可视化工作流任务调度平台，是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
进一步地，数据可视化工具采用Grafana可视化工具，Grafana是一个开源的时序性统计和监控平台，是使用Go语言开发的开源数据可视化工具，基于Grafana可以做数据监控和数据统计，并且具有告警功能。Grafana支持例如elasticsearch、graphite、influxdb等众多的数据源，
根据本公开实施例提供的技术方案，通过从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。本公开能够自动监测报表中的数据异常，并对数据异常及时做出响应，从而提升异常数据的处理效率，降低数据报表的维护成本。
在一些实施例中，从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中，包括：按照预设的时间间隔，获取业务系统中的原始业务数据，并将得到的原始业务数据存储至分布式消息队列中；利用数据采集系统对分布式消息队列执行数据采集操作，并将采集到的原始业务数据发送至分布式文件系统中；利用数据调度平台将原始业务数据从分布式文件系统同步至数据仓库工具中，其中，数据仓库工具采用Hive数据仓库工具。
具体地，按照一定的时间周期，对业务系统中的历史业务数据进行采集，从而获取一定量的原始业务数据，之后将采集得到的原始业务数据上报至Kafka分布式消息系统的消息队列中。在将原始业务数据发送到Kafka分布式消息系统中去之后，利用Flume数据采集系统对Kafka分布式消息系统中的原始业务数据进行采集，并将原始业务数据发到大数据集群的HDFS分布式文件系统中。HDFS分布式文件系统获取原始业务数据之后，利用数据调度平台将原始业务数据从HDFS分布式文件系统同步至Hive数据仓库中。
在一些实施例中，在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，包括：在将原始业务数据同步至数据仓库工具的过程中，将原始业务数据映射为数据仓库工具的原始数据层中的原始数据表；利用预设的数据处理规则，对原始数据表中的数据进行数据清洗，并对清洗后的数据进行数据整合，得到多种不同数据类型的数据表格，将数据表格作为业务数据表。
具体地，在将原始业务数据同步至Hive数据仓库的过程中，利用ETL数据加工方法对原始业务数据进行数据加工，ETL是指将数据从来源端(如业务系统、日志信息、物联数据等)经过抽取、清洗、转换、加载至目的端(通常为数据仓库)的过程。ETL相当于一个桥梁，把数据从分布式文件系统转移到数据仓库里面。在实际应用中，不同系统采用的数据库、数据仓库工具或者编程类型可以是不一样的。
进一步地，原始业务数据在被同步至Hive数据仓库中之后，原始业务数据首先被存储在Hive数据仓库的ODS层中。Hive的ODS(Operation Data Store)是指原始数据层，用于存放原始数据，可以直接从分布式文件系统加载原始业务数据至ODS层。并在ODS层对原始业务数据进行数据分区，将原始业务数据映射为原始数据层中的ODS层表(即的原始数据表)。
进一步地，利用Hive数据仓库中的DWD(Data Warehouse Detail)层对ODS层中的原始业务数据进行清洗(比如去除空值以及脏数据等)，并对原始业务数据进行脱敏处理，得到清洗后的原始数据表。
在一些实施例中，对清洗后的数据进行数据整合，得到多种不同数据类型的数据表格，包括：根据预设的不同报表类型对应数据的类型标识，确定清洗后的数据中的类型标识，根据类型标识以及预设的时间维度，对清洗后的数据进行汇总，得到不同时间维度的数据表格；其中，报表类型包括用量类报表和表底类报表。
具体地，利用Hive数据仓库中的DWS层(Data Warehouse Service)对ODS层表中的信息进行汇总；在进行汇总时，根据数据对应的不同报表类型分别进行汇总到单独的表格中，下面结合具体实施例，对根据不同报表类型进行汇总得到的数据表格的内容进行详细说明，具体可以包括以下内容：
数据表格可以包括以下两类，即用量类报表和表底类报表，用量类报表和表底类报表均可按照不同时间级别的维度进行数据汇总，例如，用量类报表可以按照15分钟级别、小时级别、天级别、月级别、年级别等进行数据汇总，表底类报表可以按照15分钟级别、小时级别、天级别等进行数据汇总。因此，不同时间维度所对应不同类型的报表，分别具有各自的数据表格。
进一步地，在数据表格的字段中，除了包含表格的类型标识以及时间级别以外，还可以包含以下字段信息；
biz_time字段用于表示执行Dolphin工作流时，3小时(用量类)或2小时(表底类)前对应的时间，例如：若为metric_data_day：Dolphin执行时间为2021-06-09 13:38:00，那么biz_time为2021-06-09 00:00:00。
Value值字段包括0和1，3小时(用量类)或2小时(表底类)前的对应表的对应字段值进行求和，如果sum值为0，那么value为0，如果sum值>0,那么value为1。
Measurement字段的固定值为logstash；Database字段的固定值为report_point；sys_time字段表示Dolphin工作流执行完的时间对应的小时，例如：Dolphin执行成功时间为2021-06-09 13:38:00，那么sys_time为2021-06-0913:00:00；business_date字段表示数据插入到表的日期。
在一些实施例中，利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表，包括：基于工作流任务调度平台按照预设的时间间隔创建用于执行数据导入任务的工作流，以便在执行工作流的过程中，将业务数据表中的数据导入到数据库中，其中，数据库采用关系型结构数据库。
具体地，可以利用Dolphin平台将业务数据表中的数据导出到MySQL数据库中，在进行数据的导入操作时，可以按照一定的时间间隔执行工作流。在实际操作中，在利用Dolphin平台将业务数据表中的数据导入到MySQL数据库的过程中，在MySQL数据库中会形成新的数据库表。
在一些实施例中，利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，包括：在数据可视化工具中预先对数据库表进行监控配置，以便确定对数据库表进行数据监控的时间范围，利用数据查询语句按照预设的时间间隔，对数据库表中属于时间范围内的数据进行查询，并利用数据查询结果绘制可视化图表。
具体地，利用预先配置好的Grafana可视化工具，对MySQL数据库中的数据库表进行监控，Grafana可视化工具对数据监控的逻辑是：通过底层的SQL查询语言，对MySQL数据库中的数据库表持续进行查询操作，以将数据库表中的sys_time字段在某个预设时间范围内的数据过滤出来。
进一步地，Grafana可视化工具会每60s执行一次SQL查询，并将查询结果绘制成折线图，其中，横轴表示时间(sys_time)，纵轴表示值(value)。Grafana可视化工具中的Conditions表示查询两小时内value小于1的情况(即为0的情况)，根据value小于1的情况生成报警消息。
在一些实施例中，可视化图表中包含表示时间的横轴以及表示数值的纵轴，根据可视化图表中的数值对报表数据的异常情况进行监控，包括：在预设的查询时间内，获取生成的可视化图表中的纵轴对应的数值，对纵轴对应的数值进行判断，当数值为第一阈值时，表示报表数据为正常状态，当数值为第二阈值时，表示报表数据存在异常；当判断报表数据异常时，生成报警消息，并在报警消息中添加数据异常的相关信息。
具体地，在查询时间内根据查询结果所生成的可视化图表，对该查询时间内可视化图表中的纵轴的数值变化情况进行判断，并结合预先设置的判断规则，确定报表数据的状态。例如：当纵轴对应的数值出现为1的情况时，表示报表数据正常，当纵轴对应的数值出现为0的情况时，表示报表中没有数据，即存在报表数据延迟或者数据缺失的异常情况。
进一步地，当图表中的纵轴值为0时，利用Grafana可视化工具自动生成报表数据异常的消息，并将消息发送到数仓开发人员的客户端上，同时告知发生数据异常的报表类型是用量类报表还是表底类报表，以及哪个数据级别有问题等。
进一步地，数仓开发人员在接收消息之后，会对报表问题进行排查并做相应的优化，比如通过打开报表的Portal链接查看是否数据异常，如果异常，从ADS->DWS->DWD->ODS进行查询数据：如果从ADS->DWS->DWD没有数据，而ODS中有数据，选择对应的任务进行排查问题或者进行补招；如果ODS没有数据，说明Kafka->Flume->HDFS流程有问题，需要解决后再进行指标或者测点历史数据的补招工作。报表数据恢复后，发送通知消息。
基于前述实施例，以能源领域的报表数据为例，对本公开技术方案的主要目的进行说明，具体可以包括以下内容：
基于本公开的实施例，通过对报表的数据进行监控，即通过数据指标来进行监督和控制，监控每个业务环节的基础数据。一旦报表数据出现缺失时，通过聊天工作软件向数仓开发人员发送“报表数据异常”的消息，同时告知数仓开发人员是用量类报表还是表底类报表，以及哪个数据级别有问题等。如果数据异常，可以快速定位到哪个环节出了问题，进而进一步的分析，从而避免了开发人员无法及时解决问题，也有效避免了项目延期等问题。
基于本公开的实施例，通过对报表的数据进行监控，一旦报表数据出现缺失时，开发人员会有针对性的对问题进行解决，这样就能及时避免企业发现报表数据缺失的情况，还没有等企业发现，开发人员就及时解决了问题，节省了企业的宝贵时间，同时也提高了客户对公司数据的正确性、准确性的信任度。
基于本公开的实施例，报表数据监控的指标通常都是业务相关的重要指标，通过实现数据预警，来通过各种数据维度的比对去发现数据异常，对已经存在的风险发出预报与警示，当数据出现问题时迅速作出反应，可第一时间通知到相关人员，因此能够快速发现问题，提高问题发生前的判断能力。
基于本公开的实施例，由于报表后续的维护不仅包括报表字段的增删改，还要进行下线和清理工作，以节省计算资源，同时减少对需求方的打扰。因此，本公开实施例实现了报表数据的日常运维工作，做到准确、及时地监控业务数据，当有数据异常的时候，系统就会触发条件快速通知到相关人员，以便相关人员进行数据分析。数据监控和数据分析对于运营来说具有重要意义，做好数据监控，可以提高客户的使用体验，减少重大事故的发生。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图2是本公开实施例提供的报表数据监控装置的结构示意图。如图2所示，该报表数据监控装置包括：
获取模块201，被配置为从业务系统中获取原始业务数据，并将原始业务数据从业务系统同步至数据仓库工具中；
处理模块202，被配置为在数据仓库工具中对原始业务数据执行数据处理操作，得到业务数据表，业务数据表中包含对产生异常的报表数据的统计结果；
调用模块203，被配置为利用工作流任务调度平台对业务数据表执行调用操作，以便将业务数据表中的数据导入至预设的数据库中，并基于数据生成数据库表；
监控模块204，被配置为利用预先配置的数据可视化工具对数据库表进行监控，并利用数据查询语句对数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据可视化图表中的数值对报表数据的异常情况进行监控。
在一些实施例中，图2的获取模块201按照预设的时间间隔，获取业务系统中的原始业务数据，并将得到的原始业务数据存储至分布式消息队列中；利用数据采集系统对分布式消息队列执行数据采集操作，并将采集到的原始业务数据发送至分布式文件系统中；利用数据调度平台将原始业务数据从分布式文件系统同步至数据仓库工具中，其中，数据仓库工具采用Hive数据仓库工具。
在一些实施例中，图2的处理模块202在将原始业务数据同步至数据仓库工具的过程中，将原始业务数据映射为数据仓库工具的原始数据层中的原始数据表；利用预设的数据处理规则，对原始数据表中的数据进行数据清洗，并对清洗后的数据进行数据整合，得到多种不同数据类型的数据表格，将数据表格作为业务数据表。
在一些实施例中，图2的处理模块202根据预设的不同报表类型对应数据的类型标识，确定清洗后的数据中的类型标识，根据类型标识以及预设的时间维度，对清洗后的数据进行汇总，得到不同时间维度的数据表格；其中，报表类型包括用量类报表和表底类报表。
在一些实施例中，图2的调用模块203基于工作流任务调度平台按照预设的时间间隔创建用于执行数据导入任务的工作流，以便在执行工作流的过程中，将业务数据表中的数据导入到数据库中，其中，数据库采用关系型结构数据库。
在一些实施例中，图2的监控模块204在数据可视化工具中预先对数据库表进行监控配置，以便确定对数据库表进行数据监控的时间范围，利用数据查询语句按照预设的时间间隔，对数据库表中属于时间范围内的数据进行查询，并利用数据查询结果绘制可视化图表。
在一些实施例中，可视化图表中包含表示时间的横轴以及表示数值的纵轴，图2的监控模块204在预设的查询时间内，获取生成的可视化图表中的纵轴对应的数值，对纵轴对应的数值进行判断，当数值为第一阈值时，表示报表数据为正常状态，当数值为第二阈值时，表示报表数据存在异常；当判断报表数据异常时，生成报警消息，并在报警消息中添加数据异常的相关信息。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图3是本公开实施例提供的电子设备3的结构示意图。如图3所示，该实施例的电子设备3包括：处理器301、存储器302以及存储在该存储器302中并且可以在处理器301上运行的计算机程序303。处理器301执行计算机程序303时实现上述各个方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序303可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器302中，并由处理器301执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在电子设备3中的执行过程。
电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备3可以包括但不仅限于处理器301和存储器302。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器301可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器302可以是电子设备3的内部存储单元，例如，电子设备3的硬盘或内存。存储器302也可以是电子设备3的外部存储设备，例如，电子设备3上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器302还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及电子设备所需的其它程序和数据。存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每一个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (10)
1.一种报表数据监控方法，其特征在于，包括：
从业务系统中获取原始业务数据，并将所述原始业务数据从所述业务系统同步至数据仓库工具中；
在所述数据仓库工具中对所述原始业务数据执行数据处理操作，得到业务数据表，所述业务数据表中包含对产生异常的报表数据的统计结果；
利用工作流任务调度平台对所述业务数据表执行调用操作，以便将所述业务数据表中的数据导入至预设的数据库中，并基于所述数据生成数据库表；
利用预先配置的数据可视化工具对所述数据库表进行监控，并利用数据查询语句对所述数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据所述可视化图表中的数值对报表数据的异常情况进行监控。
2.根据权利要求1所述的方法，其特征在于，所述从业务系统中获取原始业务数据，并将所述原始业务数据从所述业务系统同步至数据仓库工具中，包括：
按照预设的时间间隔，获取所述业务系统中的原始业务数据，并将得到的所述原始业务数据存储至分布式消息队列中；
利用数据采集系统对所述分布式消息队列执行数据采集操作，并将采集到的所述原始业务数据发送至分布式文件系统中；
利用数据调度平台将所述原始业务数据从所述分布式文件系统同步至所述数据仓库工具中，其中，所述数据仓库工具采用Hive数据仓库工具。
3.根据权利要求2所述的方法，其特征在于，所述在所述数据仓库工具中对所述原始业务数据执行数据处理操作，得到业务数据表，包括：
在将所述原始业务数据同步至所述数据仓库工具的过程中，将所述原始业务数据映射为所述数据仓库工具的原始数据层中的原始数据表；
利用预设的数据处理规则，对所述原始数据表中的数据进行数据清洗，并对清洗后的数据进行数据整合，得到多种不同数据类型的数据表格，将所述数据表格作为所述业务数据表。
4.根据权利要求3所述的方法，其特征在于，所述对清洗后的数据进行数据整合，得到多种不同数据类型的数据表格，包括：
根据预设的不同报表类型对应数据的类型标识，确定所述清洗后的数据中的类型标识，根据所述类型标识以及预设的时间维度，对所述清洗后的数据进行汇总，得到不同时间维度的数据表格；其中，所述报表类型包括用量类报表和表底类报表。
5.根据权利要求1所述的方法，其特征在于，所述利用工作流任务调度平台对所述业务数据表执行调用操作，以便将所述业务数据表中的数据导入至预设的数据库中，并基于所述数据生成数据库表，包括：
基于所述工作流任务调度平台按照预设的时间间隔创建用于执行数据导入任务的工作流，以便在执行所述工作流的过程中，将所述业务数据表中的数据导入到数据库中，其中，所述数据库采用关系型结构数据库。
6.根据权利要求1所述的方法，其特征在于，所述利用预先配置的数据可视化工具对所述数据库表进行监控，并利用数据查询语句对所述数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，包括：
在所述数据可视化工具中预先对所述数据库表进行监控配置，以便确定对所述数据库表进行数据监控的时间范围，利用所述数据查询语句按照预设的时间间隔，对所述数据库表中属于所述时间范围内的数据进行查询，并利用所述数据查询结果绘制可视化图表。
7.根据权利要求1所述的方法，其特征在于，所述可视化图表中包含表示时间的横轴以及表示数值的纵轴，所述根据所述可视化图表中的数值对报表数据的异常情况进行监控，包括：
在预设的查询时间内，获取生成的所述可视化图表中的纵轴对应的数值，对所述纵轴对应的数值进行判断，当所述数值为第一阈值时，表示报表数据为正常状态，当所述数值为第二阈值时，表示报表数据存在异常；当判断所述报表数据异常时，生成报警消息，并在所述报警消息中添加数据异常的相关信息。
8.一种报表数据监控装置，其特征在于，包括：
获取模块，被配置为从业务系统中获取原始业务数据，并将所述原始业务数据从所述业务系统同步至数据仓库工具中；
处理模块，被配置为在所述数据仓库工具中对所述原始业务数据执行数据处理操作，得到业务数据表，所述业务数据表中包含对产生异常的报表数据的统计结果；
调用模块，被配置为利用工作流任务调度平台对所述业务数据表执行调用操作，以便将所述业务数据表中的数据导入至预设的数据库中，并基于所述数据生成数据库表；
监控模块，被配置为利用预先配置的数据可视化工具对所述数据库表进行监控，并利用数据查询语句对所述数据库表中的数据执行查询操作，基于数据查询结果生成可视化图表，根据所述可视化图表中的数值对报表数据的异常情况进行监控。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667415.0A CN114428812A (zh) | 2021-12-31 | 2021-12-31 | 报表数据监控方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667415.0A CN114428812A (zh) | 2021-12-31 | 2021-12-31 | 报表数据监控方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114428812A true CN114428812A (zh) | 2022-05-03 |
Family
ID=81311115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111667415.0A Pending CN114428812A (zh) | 2021-12-31 | 2021-12-31 | 报表数据监控方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114428812A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116151542A (zh) * | 2022-11-30 | 2023-05-23 | 上海韵达高新技术有限公司 | 物流订单实时监控方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测系统 |
| CN111159272A (zh) * | 2019-12-31 | 2020-05-15 | 青梧桐有限责任公司 | 基于数据仓库及etl的数据质量监控及预警方法和系统 |
| CN111198805A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 一种异常监控方法和装置 |
| CN113342821A (zh) * | 2021-06-29 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 报表配置方法、装置、设备及计算机存储介质 |
-
2021
- 2021-12-31 CN CN202111667415.0A patent/CN114428812A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测系统 |
| CN111198805A (zh) * | 2018-11-20 | 2020-05-26 | 北京京东尚科信息技术有限公司 | 一种异常监控方法和装置 |
| CN111159272A (zh) * | 2019-12-31 | 2020-05-15 | 青梧桐有限责任公司 | 基于数据仓库及etl的数据质量监控及预警方法和系统 |
| CN113342821A (zh) * | 2021-06-29 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 报表配置方法、装置、设备及计算机存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116151542A (zh) * | 2022-11-30 | 2023-05-23 | 上海韵达高新技术有限公司 | 物流订单实时监控方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783322A (zh) | 一种企业信息系统运行状态的监控分析系统及其方法 | |
| CN108197261A (zh) | 一种智慧交通操作系统 | |
| CN107810500A (zh) | 数据质量分析 | |
| CN104881352A (zh) | 基于移动端的系统资源监控装置 | |
| CN101719237A (zh) | 基于全业务指标规则配置的数据质量监控方法 | |
| US10133779B2 (en) | Query hint management for a database management system | |
| CN111221890B (zh) | 通用指标类自动监控预警方法及装置 | |
| CN112162980A (zh) | 数据质量管控方法及系统、存储介质、电子设备 | |
| CN106951360B (zh) | 数据统计完整度计算方法和系统 | |
| CN114428813A (zh) | 基于报表平台的数据统计方法、装置、设备及存储介质 | |
| CN115034512A (zh) | 一种流程优化方法、系统、设备及计算机可读存储介质 | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN114428812A (zh) | 报表数据监控方法、装置、设备及存储介质 | |
| CN109858807B (zh) | 一种企业运营监控的方法及系统 | |
| CN112825165A (zh) | 项目质量管理的方法和装置 | |
| CN112527620A (zh) | 数据库性能分析方法及装置、电子设备、介质、产品 | |
| CN117076579A (zh) | 一种数据血缘关系的展示方法、装置、设备及存储介质 | |
| CN115718690A (zh) | 一种数据准确性监控系统和方法 | |
| CN114218299A (zh) | 接口响应情况的监控方法、装置、设备及存储介质 | |
| CN113722141B (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
| CN112965793B (zh) | 一种面向标识解析数据的数据仓库任务调度方法和系统 | |
| CN110941536B (zh) | 监控方法及系统、第一服务器集群 | |
| CN110928938B (zh) | 一种接口中间件系统 | |
| CN112448840B (zh) | 一种通信数据质量监控方法、装置、服务器及存储介质 | |
| CN114490810A (zh) | 用户行为数据统计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |