CN116628108A - 一种指标溯源方法、装置、存储介质及设备 - Google Patents
一种指标溯源方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN116628108A CN116628108A CN202310664800.2A CN202310664800A CN116628108A CN 116628108 A CN116628108 A CN 116628108A CN 202310664800 A CN202310664800 A CN 202310664800A CN 116628108 A CN116628108 A CN 116628108A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- layer
- layering
- data corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种指标溯源方法、装置、存储介质及设备，该方法中，对数据仓库中每个分层的数据进行指标计算，得到各个分层对应的指标数据，之后分别比对每个分层的结果，当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。如此，可以快速定位出数据问题所在的分层，实现指标数据溯源自动化处理，有效节省了人力和时间成本，提升了处理效率，使得目标用户可以及时解决问题，减少将错误的指标数据推送给相关使用人员导致的损失。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，涉及一种指标溯源方法、装置、存储介质及设备。
背景技术
随着互联网技术的发展，越来越多的场景均需要对指标数据进行溯源分析，例如风控场景、数据监控场景等。在这些场景中，若指标数据出现错误，容易导致管理者做出错误的决策，进而造成不可估量的损失。因此，相关技术中，当指标数据出现错误时，往往需要开发人员去数据分层中一层层地分析，以定位出问题所在。然而，这一溯源方式需要耗费大量的人力和时间去分析，处理效率较低。
发明内容
本申请实施例的目的在于提供一种指标溯源方法、装置、存储介质及设备，旨在解决相关技术中的指标溯源方式存在的需要耗费大量的人力和时间去分析，处理效率较低的问题。
第一方面，本申请实施例提供的一种指标溯源方法，包括：
通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
分别比对每个分层对应的指标数据；
当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
本申请实施例，对数据仓库中每个分层的数据进行指标计算，得到各个分层对应的指标数据，之后分别比对每个分层的结果，当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。如此，可以快速定位出数据问题所在的分层，实现指标数据溯源自动化处理，有效节省了人力和时间成本，提升了处理效率，使得目标用户可以及时解决问题，减少将错误的指标数据推送给相关使用人员导致的损失。
进一步地，在一些实施例中，所述对数据仓库中每个分层的数据进行指标计算，包括：
调度Spark计算引擎，对数据仓库中每个分层的数据进行指标计算。
在上述实现过程中，调度适用于大数据工作负载的Spark计算引擎，针对各个分层数据进行指标计算，可以高效完成计算任务。
进一步地，在一些实施例中，所述对数据仓库中每个分层的数据进行指标计算，包括：
按照预设周期，对数据仓库中每个分层的数据进行指标计算。
在上述实现过程中，周期性触发指标计算的任务，可以及时地定位出数据仓库中出现计算逻辑缺陷的分层。
进一步地，在一些实施例中，所述分别比对每个分层对应的指标数据，包括：
调度Flink计算引擎，分别比对每个分层对应的指标数据。
在上述实现过程中，采用能够满足高实时性要求的Flink计算引擎来分别比对每个分层对应的指标数据，可以快速地得到比对结果。
进一步地，在一些实施例中，所述分别比对每个分层对应的指标数据，包括：
按照所述数据仓库各个分层的层级，从下向上分别比对每个分层对应的指标数据。
在上述实现过程中，按照分层层级，从下向上分别比对每个分层对应的指标数据，这样，提高比对效率，当比对出指标数据不一致时，可以快速定位出数据问题所在的分层。
进一步地，在一些实施例中，所述方法还包括：
当比对结果显示至少两个分层对应的指标数据不一致时，将指标数据不一致的两个分层中层级大的分层确定为目标分层；所述目标分层是计算逻辑存在缺陷的候选分层。
在上述实现过程中，通过上述方式，快速定位出数据问题所在的分层，可以帮忙目标用户提高修复问题的效率。
进一步地，在一些实施例中，所述方法还包括：
将比对结果发送给Redis，以使目标用户的客户端从所述Redis获取所述比对结果。
在上述实现过程中，平台在得到比对结果后，可以将比对结果发送到Redis，然后应用端从Redis中获取比对结果，将该比对结果告知终端用户，从而使得开发负责人员可以及时知悉数据仓库的计算逻辑情况。
第二方面，本申请实施例提供的一种指标溯源装置，包括：
获取模块，用于通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
比对模块，用于分别比对每个分层对应的指标数据；
发送模块，用于当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种指标溯源方法的流程图；
图2为本申请实施例提供的一种基于动态数据实时匹配生效的协议生成及投放方案的工作流程的示意图；
图3为本申请实施例提供的一种指标溯源装置的框图；
图4为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如背景技术记载，相关技术的指标溯源方式存在着需要耗费大量的人力和时间去分析，处理效率较低的问题。基于此，本申请实施例提供一种新的指标溯源方案，以解决上述问题。
接下来对本申请实施例进行介绍：
如图1所示，图1是本申请实施例提供的一种指标溯源方法的流程图，所述方法可以应用于需要对指标数据进行溯源分析的企业系统，如银行系统、电商系统等。为了方便论述，以下将企业系统简称为平台。
所述方法包括：
在步骤101、通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
本步骤中提到的数据可以包括相关业务数据和日志数据等，其中，该相关业务数据可以是平台从数据库中采集得到的，该日志数据可以是平台从服务端采集得到的。以电商场景为例，平台会将商户的订单明细数据、库存明细数据等相关业务数据存储在数据库中，而平台的服务端也会记录商户的客户端所产生的交易行为等，以此生成日志数据。
本实施例方案中，平台可以将采集到的上述数据存储到基于数据仓库技术的分布式文件系统，如HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)，并按照一定规则将数据进行分层存储。具体地，该数据仓库依据数据流向，从下到上可以划分为数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层，在一些场景中，ODS层用于将从数据源中采集到的数据进行原样保存；DWD层用于对ODS层中的数据进行清洗，解决部分数据质量和完整度问题；DWM层用于对DWD层中的数据按照常用维度进行初步汇总；DWS层用于生成各个业务的主题宽表；DM层用于生成与具体业务强相关的报表。当然，在其他实施例中，数据仓库还可以根据具体场景的需求来采用其他类型的数据分层方式，本申请对此不作限制。
本步骤中提到的目标指标可以是指需要展示输出，供管理决策者使用的关键指标，该目标指标的指标数据即是指基于相关业务数据和/或日志数据计算得到的指标值。例如，在电商场景中，一个商户经营有多个店铺账号，该目标指标可以包括当月全部销售额，则从ODS层提取出各个商户对应的店铺账号的相关业务数据进行指标计算，计算结果就是该分层对应的、针对当月全部销售额的指标数据。为了实现指标数据溯源，本实施例方案是针对各个分层的数据进行指标计算，即当数据仓库包括上述五个分层时，平台针对这五个分层的数据均进行指标计算。
在一些实施例中，本步骤中提到的对数据仓库中每个分层的数据进行指标计算可以包括：调度Spark计算引擎，对数据仓库中每个分层的数据进行指标计算。Spark计算引擎是一种可扩展的大数据分析引擎，其采取的是基于内存的计算，其引擎能力可同时提供SQL(Structured Query Language，结构化查询语言)、批处理、流处理、机器学习和图计算的能力，适用于大数据工作负载。因此，分别调度各个分层的Spark计算引擎，针对各个分层数据进行指标计算，可以高效完成各个分层的指标数据的计算任务。
另外，该指标计算可以是按照预设周期来进行的。也就是说，创建定时任务，由该定时任务来周期性地触发指标计算的任务，这样，可以及时地定位出数据仓库中出现计算逻辑缺陷的分层。可选地，这里的预设周期可以是1天。当然，在其他实施例中，该预设周期也可以是12小时、48小时等等，其可以根据具体场景的需求进行设置。
获取到的指标数据可以存储到预设位置。可选地，该预设位置可以是Kafka。Kafka是一个分布式、高吞吐量、高扩展性的消息队列系统，可用于针对大量数据状态下的消息的处理。
在步骤102、分别比对每个分层对应的指标数据；
本步骤是指：在计算出各个分层对应的指标数据后，实时地分别比对每个分层的结果，以此来识别出数据仓库分层中，哪一层的计算逻辑出现问题。可选地，平台可以将所有分层对应的指标数据组合成一个数组，然后遍历该数组，针对每个指标数据，判断与其余指标数据之间的一致性。
在一些实施例中，本步骤可以包括：调度Flink计算引擎，分别比对每个分层对应的指标数据。Flink计算引擎是一个针对流数据和批数据的分布式处理引擎，其针对数据流的分布式计算提供了数据分布，数据通信及容错机制等功能。在通过Spark计算引擎计算出各个分层对应的指标数据后，采用Flink计算引擎来分别比对每个分层对应的指标数据，可以快速地得到比对结果，满足实时性要求。
另外，在一些实施例中，可以基于目标调度工具来实现指标计算和结果比对这两个流程的调度。该目标调度工具可以是Azkaban调度工具，其是专门用于数仓中批处理流程的定时调度工具，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。因此，部署Azkaban调度工具来调度Spark计算引擎进行指标计算，再调度Flink计算引擎进行结果比对，可以有效提高处理效率。当然，在其他实施例中，该目标调度工具也可以是其他调度工具，如Oozie、Airflow等，本申请对此不作限制。
在步骤103、当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
数仓中，DWD层的数据是基于ODS层的数据处理得到的，DWM层的数据是基于DWD层的数据处理得到的，以此类推，这里的数据处理仅仅是数据清洗、按照预设维度汇总、按照预设业务主题汇总等，因此，当数仓的各个分层的计算逻辑均为正常时，各个分层对应的指标数据应为一致的。基于此，当比对结果显示至少两个分层对应的指标数据不一致时，表明至少一个分层的计算逻辑出现问题，此时向目标用户，如开发负责人员发送报警信息，通过实时报警，让该目标用户可以及时解决问题，从而减少将错误数据推送给相关使用人员导致的损失。
在一些实施例，在实现各个分层对应的指标数据的比对时，可以是按照数据仓库各个分层的层级，从下向上分别比对每个分层对应的指标数据。也就是说，当数据仓库包括ODS层、DWD层、DWM层、DWS层和DM层时，这几个分层的层级依次为一层、二层、三层、四层和五层，则先将ODS层对应的指标数据和DWD层对应的指标数据进行比对，再将DWD层对应的指标数据和DWM层对应的指标数据进行比对，然后将DWM层对应的指标数据和DWS层对应的指标数据进行比对，最后将DWS层和DM层进行比对。如此，提高比对效率，当比对出指标数据不一致时，可以快速定位出数据问题所在的分层。
进一步地，在一些实施例中，上述方法还可以包括：当比对结果显示至少两个分层对应的指标数据不一致时，将指标数据不一致的两个分层中层级大的分层确定为目标分层；所述目标分层是计算逻辑存在缺陷的候选分层。例如，当ODS层对应的指标数据为数据1，其余分层对应的指标数据均为数据2，即ODS层和DWD层比对不一致，其余相邻分层间比对均一致时，则此时确定DWD层为目标分层，即计算逻辑可能出现问题的分层；当ODS层和DWD层对应的指标数据均为数据3，DWM层对应的指标数据为数据4，DWS层和DM层对应的指标数据均为数据5，即DWD层和DWM层比对不一致，DWM层和DWS层比对不一致，其余相邻分层间比对均一致时，则此时确定DWM层和DWS层为目标分层。如此，快速定位出数据问题所在的分层，可以帮忙目标用户提高修复问题的效率。
在另外一些实施例中，上述方法还可以包括：将比对结果发送给Redis，以使目标用户的客户端从所述Redis获取所述比对结果。Redis(Remote Dictionary Server，远程字典服务)是一个高性能的key-value数据库，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set，有序集合)和hash(散列，也可音译为哈希)。Redis的性能极高，每秒可以处理超过十万次数量级的读写操作，Redis的所有操作都是原子性的，同时还支持对几个操作合并后的原子性执行。在此实施例中，平台在得到比对结果后，可以将比对结果发送到Redis，Redis在此的身份为缓存系统以及消息传递系统，应用端可以从Redis中获取比对结果，将该比对结果告知终端用户。这样，使得开发负责人员可以及时知悉数据仓库的计算逻辑情况。当然，在其他实施例中，平台也可以通过其他方式将比对结果通知给目标用户，如邮件、短信等，本申请对此不作限制。
本申请实施例，对数据仓库中每个分层的数据进行指标计算，得到各个分层对应的指标数据，之后分别比对每个分层的结果，当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。如此，可以快速定位出数据问题所在的分层，实现指标数据溯源自动化处理，有效节省了人力和时间成本，提升了处理效率，使得目标用户可以及时解决问题，减少将错误的指标数据推送给相关使用人员导致的损失。
为了对本申请的方案做更为详细的说明，接下来介绍一具体实施例：
本实施例提供一种智能数据指标溯源追踪系统。该系统的技术流程如图2所示。具体地，该系统在实现指标溯源时的工作流程包括：
S201、通过Sqoop(一种数据迁移工具)采集数据库21中存储的相关业务数据，通过Flume(一种日志收集系统)采集服务端产生的日志数据22，将数据存储到HDFS23中；
S202、将采集的数据存储到HDFS23后，按照一定规则将数据进行分层存储，其分层存储逻辑为：数据贴源ODS层→数据明细DWD层→数据中间DWM层→数据服务DWS层→数据集市DM层；
S203、使用Azkaban调度工具24，分别调度各个分层的Spark计算引擎25，针对各个分层数据进行指标计算，并将计算结果存储到Kafka26；
S204、使用Azkaban调度工具24，调度Flink计算引擎27，从下向上，分别比对每个分层的结果，并将比对结果发送到Redis28；
S205、通过Redis28提供的HTTP接口29，应用端30从Redis28中获取比对结果并将比对结果告知终端用户。
本实施例方案通过大数据结合实时数据分析，当指标数据出现不一致的情况，可以快速识别出数据仓库分层中，哪一层的计算逻辑出现问题，从而快速定位出数据问题所在分层，并实时地向开发负责人员进行报警，使得开发负责人员可以及时地解决问题，从而避免将最终的错误数据推送相关使用人员，产生不可估量的损失。如此，解决了数据溯源问题，也可以有效地协助管理决策者制定出正确的管理策略。
与前述方法的实施例相对应，本申请还提供指标溯源装置及其应用的终端的实施例：
如图3所示，图3是本申请实施例提供的一种指标溯源装置的框图，所述装置包括：
获取模块31，用于通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
比对模块32，用于分别比对每个分层对应的指标数据；
发送模块33，用于当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
在一些实施例中，上述获取模块31具体用于：
调度Spark计算引擎，对数据仓库中每个分层的数据进行指标计算。
在一些实施例中，上述获取模块31具体用于：
按照预设周期，对数据仓库中每个分层的数据进行指标计算。
在一些实施例中，上述比对模块32具体用于：
调度Flink计算引擎，分别比对每个分层对应的指标数据。
在一些实施例中，上述比对模块32具体用于：
按照所述数据仓库各个分层的层级，从下向上分别比对每个分层对应的指标数据。
在一些实施例中，上述装置还包括：
确定模块，用于当比对结果显示至少两个分层对应的指标数据不一致时，将指标数据不一致的两个分层中层级大的分层确定为目标分层；所述目标分层是计算逻辑存在缺陷的候选分层。
在一些实施例中，上述发送模块还用于：
将比对结果发送给Redis，以使目标用户的客户端从所述Redis获取所述比对结果。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本申请还提供一种电子设备，请参见图4，图4为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器410、通信接口420、存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本申请实施例中电子设备的通信接口420用于与其他节点设备进行信令或数据的通信。处理器410可以是一种集成电路芯片，具有信号的处理能力。
上述的处理器410可以是通用处理器，包括中央处理器(CPU，Central ProcessingUnit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器410也可以是任何常规的处理器等。
存储器430可以是，但不限于，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read Only Memory)，可编程只读存储器(PROM，Programmable Read-OnlyMemory)，可擦除只读存储器(EPROM，Erasable Programmable Read-Only Memory)，电可擦除只读存储器(EEPROM，Electric Erasable Programmable Read-Only Memory)等。存储器430中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器410执行时，电子设备可以执行上述图1方法实施例涉及的各个步骤。
可选地，电子设备还可以包括存储控制器、输入输出单元。
所述存储器430、存储控制器、处理器410、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线440实现电性连接。所述处理器410用于执行存储器430中存储的可执行模块，例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
可以理解，图4所示的结构仅为示意，所述电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种指标溯源方法，其特征在于，包括：
通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
分别比对每个分层对应的指标数据；
当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
2.根据权利要求1所述的方法，其特征在于，所述对数据仓库中每个分层的数据进行指标计算，包括：
调度Spark计算引擎，对数据仓库中每个分层的数据进行指标计算。
3.根据权利要求1所述的方法，其特征在于，所述对数据仓库中每个分层的数据进行指标计算，包括：
按照预设周期，对数据仓库中每个分层的数据进行指标计算。
4.根据权利要求2所述的方法，其特征在于，所述分别比对每个分层对应的指标数据，包括：
调度Flink计算引擎，分别比对每个分层对应的指标数据。
5.根据权利要求1所述的方法，其特征在于，所述分别比对每个分层对应的指标数据，包括：
按照所述数据仓库各个分层的层级，从下向上分别比对每个分层对应的指标数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当比对结果显示至少两个分层对应的指标数据不一致时，将指标数据不一致的两个分层中层级大的分层确定为目标分层；所述目标分层是计算逻辑存在缺陷的候选分层。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将比对结果发送给Redis，以使目标用户的客户端从所述Redis获取所述比对结果。
8.一种指标溯源装置，其特征在于，包括：
获取模块，用于通过对数据仓库中每个分层的数据进行指标计算，获取每个分层对应的、针对目标指标的指标数据；所述数据仓库包括数据贴源ODS层、数据明细DWD层、数据中间DWM层、数据服务DWS层和数据集市DM层中的至少两个分层；
比对模块，用于分别比对每个分层对应的指标数据；
发送模块，用于当比对结果显示至少两个分层对应的指标数据不一致时，向目标用户发送报警信息。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664800.2A CN116628108A (zh) | 2023-06-06 | 2023-06-06 | 一种指标溯源方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310664800.2A CN116628108A (zh) | 2023-06-06 | 2023-06-06 | 一种指标溯源方法、装置、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116628108A true CN116628108A (zh) | 2023-08-22 |
Family
ID=87641681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310664800.2A Pending CN116628108A (zh) | 2023-06-06 | 2023-06-06 | 一种指标溯源方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116628108A (zh) |
-
2023
- 2023-06-06 CN CN202310664800.2A patent/CN116628108A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108628929B (zh) | 用于智能存档和分析的方法和装置 | |
| CN106682097B (zh) | 一种处理日志数据的方法和装置 | |
| US10067788B2 (en) | Automated invalidation of job output data in a job processing system | |
| CN108647357B (zh) | 数据查询的方法及装置 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN113190426B (zh) | 一种大数据评分系统稳定性监控方法 | |
| CN111860667A (zh) | 设备故障的确定方法及装置、存储介质、电子装置 | |
| CN112527886A (zh) | 一种基于城市大脑的数据仓库系统 | |
| CN113468019A (zh) | 基于Hbase的指标监控方法、装置、设备及存储介质 | |
| US9489379B1 (en) | Predicting data unavailability and data loss events in large database systems | |
| US20180032567A1 (en) | Method and device for processing data blocks in a distributed database | |
| CN114416703A (zh) | 数据完整性自动监控方法、装置、设备及介质 | |
| CN111865673A (zh) | 一种自动化故障管理方法、装置及系统 | |
| CN113779092B (zh) | 基于数据仓库的实时数据展示方法、装置、设备及介质 | |
| CN107423035B (zh) | 一种软件开发过程产品数据管理系统 | |
| EP4154128A1 (en) | Time series forecasting | |
| Vasthimal et al. | Scalable data reporting platform for a/b tests | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| CN116628108A (zh) | 一种指标溯源方法、装置、存储介质及设备 | |
| Sureddy et al. | A Framework for Monitoring Data Warehousing Applications | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| US20140136274A1 (en) | Providing multiple level process intelligence and the ability to transition between levels | |
| CN111274316B (zh) | 多级数据流转任务的执行方法及装置、电子设备、存储介质 | |
| CN111400370A (zh) | 数据流通中的数据监控方法及装置、存储介质、服务器 | |
| Zdravevski et al. | Scalable cloud-based ETL for self-serving analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |