CN117827895A - 指标数据处理方法、装置和计算机设备 - Google Patents
指标数据处理方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117827895A CN117827895A CN202211182340.1A CN202211182340A CN117827895A CN 117827895 A CN117827895 A CN 117827895A CN 202211182340 A CN202211182340 A CN 202211182340A CN 117827895 A CN117827895 A CN 117827895A
- Authority
- CN
- China
- Prior art keywords
- index
- target
- data
- service
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000001960 triggered effect Effects 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 77
- 238000007405 data analysis Methods 0.000 claims description 35
- 238000011161 development Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种指标数据处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标;获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合;在存储有全量指标的指标定义组合的第一数据表中查找目标指标的指标定义组合,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为重复指标。一方面,使得指标重复检测能够以查表的方式实现,提高了检测效率,而另一方面,使得指标检测的在各定义维度全方位的进行比较,指标重复检测具有更小细粒度,提高了指标检测的精度。
Description
技术领域
本申请涉及大数据技术和数据处理技术领域,特别是涉及一种指标数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着大数据技术的发展,基于大数据的数据分析服务所扮演的角色也越来越重要。基于大数据分析的数据分析结果能够为商业决策提供数据支持。
指标,则是数据分析关键一环。若存在重复的指标,一方面能够导致数据重复、冗余,另一方面也会导致资源浪费。因此,在定义指标时,需要避免指标的重复定义。
传统的指标重复检测是对指标名称是否重复进行检测。利用指标名称进行重复检测通常是对指标名称进行相似度比较,该方法受限于词库,准确度依赖于阈值,检测过程依赖长时间的算法训练,存在准确度以及效率低的弊端。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升检测精度和效率的指标数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种指标数据处理方法。所述方法包括:
在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
第二方面,本申请还提供了一种指标数据处理装置。所述装置包括:
指标获取模块,用于在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
定义获取模块,用于获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
检测模块,用于在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
上述指标数据处理方法、装置、计算机设备、存储介质和计算机程序产品,对于待检测的目标指标,通过获取目标指标在各预设定义维度的指标定义,并组合预设定义维度的指标定义得到该目标指标的指标定义组合,从而指标定义组合具有各预设定义维度的信息,即综合了多个定义维度的定义信息,丰富了指标的信息量,通过将目标指标的指标定义组合与存储了全量指标的指标定义组合的第一数据表中进行查找,一方面,使得指标重复检测能够以查表的方式实现,提高了检测效率,而另一方面,指标定义组合表征了指标多维度的指标定义,具有多个定义维度的指标定义信息,使得指标检测的在各定义维度全方位的进行比较,指标重复检测具有更小细粒度,提高了指标检测的精度。
附图说明
图1为一个实施例中指标数据处理方法的应用环境图;
图2为一个实施例中指标数据处理方法的流程示意图;
图3为另一个实施例中指标数据处理方法的流程示意图;
图4为再一个实施例中指标数据处理方法的流程示意图;
图5为一个实施例中在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标的步骤的流程示意图;
图6为另一个实施例中在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标的步骤的流程示意图;
图7为一个实施例中生成第一数据表的处理流程示意图;
图8为一个实施例中生成第二数据表的处理流程示意图;
图9为另一个实施例中指标数据处理方法的流程示意图;
图10为一个实施例中指标数据处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的指标数据处理方法,可以应用于如图1所示的应用环境中。其中,多个终端102分别与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。终端102可以包括产品应用端、开发终端以及业务终端。其中,在产品应用端、开发终端以及业务终端均可以触发指标数据处理方法。具体地,在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标;获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合;在存储有全量指标的指标定义组合的第一数据表中查找目标指标的指标定义组合,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为重复指标。
其中,产品应用端和开发终端可以包括但不限于各种台式计算机、笔记本电脑、智能手机和平板电脑,业务终端可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种指标数据处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标。
其中,业务域是指业务的名称。通过引入业务域标识不同的指标,可以将标识和数据库表按不同的业务域完全分隔,从而实现不同的业务域的指标数据不同,可以对不同业务域的指标数据进行单独检测,避免大量无效的比对。其中,业务域具体可以为一个应用服务所提供的不同业务服务的名称,如一个应用程序提供多种业务服务,如理财服务、咨询服务、社区服务,那么,理财、咨询和社区分别为应用程序上不同的业务域。
在应用程序开发、应用的各个阶段,存在一些指标数据检测需求。其中,指标数据检测可以由相关工作人员触发,系统响应于工作人员所触发的指标数据检测。指标数据检测还可以是预先设置触发条件,当达到触发条件时,触发指标数据检测。
其中,指标数据检测包括了指标检测,以及与指标相关的其它检测。与指标相关的其它检测是指检测形式上看上去与指标检测无关,但溯源实质为指标检测的相关检测,包括但不限于报表检测和服务接口检测等。
在触发了指标数据检测时,获取指标数据检测所指向的目标指标,即被检测的指标。
步骤204,获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合。
传统的指标重复检测是对指标名称是否重复进行检测。利用指标名称进行重复检测通常是对指标名称进行相似度比较,该方法受限于词库,准确度依赖于阈值,检测过程依赖长时间的算法训练,存在准确度以及效率低的弊端。
本实施例中,对于指标定义,预先设置了多个定义维度,从每个定义维度定义指标,全部定义维度的定义信息组合构成该指标的指标定义信息。相比较原始的指标名称单维度的指标定义而言,多个定义维度的指标定义使指标的比较粒度变得更加精细。
对目标指标的各定义维度的定义信息进行组合,即可得到目标指标的指标定义组合。指标定义信息包括了指标定义组合。例如,预设定义维度包括了定义维度1、定义维度2、定义维度3和定义维度4,那么定义维度1的定义信息+定义维度2的定义信息+定义维度3的定义信息+定义维度4的定义信息的组合,即为指标定义组合。可以理解的是,此处的定义维度仅作为示例,在不同的应用场景中,可基于实际需求增加或减少定义维度。定义维度的数量越多,指标重复检测的精度就越高。
例如,可以设置4个预设定义维度,分别为时间周期、统计方式、业务限定和原子指标定义每个指标。时间周期指的是数据分析的周期,如最近一天,最近一个月等。业务限定是对业务流程常用的业务语言的抽象定义,如一个业务限定为外币支付,那么相应的指标限定的是外币支付的数据。一个业务限定为基金申购成功等,那么相应的指标限定的是申购成功的基金数据。统计方式是数据分析中常用的指标计算方式,比如,最大值、最小值等。原子指标表达业务实体原子量化属性的且不可再分的概念集合,是一种最细粒度的抽象定义的指标名称,如交易笔数、交易金额、交易用户数等,本实施例中的目标指标是在原子指标上的派生或衍生。
以目标指标A为例,其统计周期定义为最近一个月,统计方式定义为最大值,业务限定定义为外币支付,原子指标定义为交易笔数,那么目标指标A对应的指标定义组合为最近一个月+最大值+外币支付+交易笔数。
步骤206,在存储有全量指标的指标定义组合的第一数据表中查找目标指标的指标定义组合,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为重复指标。
具体地,全量指标指的是业务域中已存在的全部指标。
在某个业务域完成了指标定义,或新增定义时,根据各指标在各预设定义维度的指标定义组合生成第一数据表,第一数据表存储了全量指标的指标定义组合。
若目标指标的指标定义组合在第一数据表中能够查询得到,说明该目标指标在指标定义维度上与现有的全量指标重复,则目标指标为重复指标。例如,目标指标最大交易笔数对应的指标定义组合为最近一个月+最大值+外币支付+交易笔数。若全量指标中存在一个指标名称也为最近一个月最大交易笔数的指标,若采用传统的方法,很容易将二者判断为重复指标。然而因为该指标的指标定义组合为最近一周+最大值+外支付+交易笔数,当采用本申请的指标数据处理方法进行检测时,二者在统计周期维度并不相同,因此,可以判定为不重复的指标。通过指标定义组合进行指标重复判断,指标定义组合表征了指标多维度的指标定义,具有多个定义维度的指标定义信息,使得指标检测的在各定义维度全方位的进行比较,指标重复检测具有更小细粒度,提高了指标检测的精度。
同时,通过查表的方式进行指标重复检测,相比较名称相似度计算的方式而言,省去了相似度模型训练的过程,能够大大地提高指标检测的效率。
上述的指标数据处理方式,对于待检测的目标指标,通过获取目标指标在各预设定义维度的指标定义,并组合预设定义维度的指标定义得到该目标指标的指标定义组合,从而指标定义组合具有各预设定义维度的信息,即综合了多个定义维度的定义信息,丰富了指标的信息量,通过将目标指标的指标定义组合与存储了全量指标的指标定义组合的第一数据表中进行查找,一方面,使得指标重复检测能够以查表的方式实现,提高了检测效率,而另一方面,指标定义组合表征了指标多维度的指标定义,具有多个定义维度的指标定义信息,使得指标检测的在各定义维度全方位的进行比较,指标重复检测具有更小细粒度,提高了指标检测的精度。
传统的指标检测通常只对指标名称是否重复进行检测,这种检测方式无法覆盖到指标的业务处理逻辑。然而实际上也可能存在指标名称不同,但业务处理逻辑所指向的业务数据是相同的,那么这两个指标实质也是相同。若仅进行指标名称检测,则无法检测到这种情况,而无法准确地进行指标分析。
本实施例中,可以在指标定义组合检测的基础上,进一步对指标的业务处理逻辑是否相同进行检测。其中,业务处理逻辑是指获取指标对应指标值的加工处理逻辑。业务处理逻辑具体是通过数据开发的代码所体现。例如,一个目标指标对应的指标定义组合为最近一个月+最大值+外币支付+交易笔数,其对应的加工处理逻辑为:取最近一个月外币支付的交易笔数的最大值。运行业务处理逻辑对应的代码即可获得该目标指标的指标值。应当注意的是,需要基于与第二数据表相同的条件运行业务处理逻辑对应的代码,得到目标指标的指标值,从而二者获取指标值的条件是相同的。其中,条件可以为维度或维度的组合,维度如时间、地域等。例如,均是对A地区最近一个月+最大值+外币支付+交易笔数进行统计。
在某个业务域完成了指标定义,或新增定义时,以及指标的数据开发时,基于目标指标的关联表实施目标指标的业务处理逻辑,即运行指标的业务代码,得到各指标的指标值,全量指标的指标值存储在第二数据表中。
若在第一数据表中未查找到目标指标的指标定义组合,则表示从指标定义的角度分析,该目标指标不是重复指标,则可以继续对目标指标的业务处理逻辑是否重复进行分析。具体地,将目标指标值在存储有全量指标的指标值的第二数据表中查找,若在第二数据表中查找到目标指标值,则确定目标指标在业务处理逻辑上与现有的全量指标存在重复,则从业务处理逻辑上该目标指标为重复指标。
例如,一个目标指标对应的指标定义组合为最近一个月+最大值+外币支付+交易笔数,全量指标中存在一个指标为最近一个月+最大值+美元支付+交易笔数,从指标定义组合来看,二者在业务限定上不同,则不会被认为为重复指标。然而,若系统只支持美元支付和人民币支付,则实质上来说,外币支付和美元支付上相同的,这二者指标实质是相同的。若仅从指标定义解读进行指标重复检测,则不能发现该指标为重复指标。
但通过基于目标指标的关联表实施目标指标的业务处理逻辑,获得目标指标的指标值为最近一个月美元支付的最大交易笔数,将其在全量数据表的指标值的第二数据表中查找时,可以发现,该指标值与指标为“最近一个月+最大值+美元支付+交易笔数”相同,且两个指标的条件相同(时间均为最近一个月,渠道均为外币支付),则可以认为二者的指标开发逻辑,即业务处理逻辑相同,则实质二者为重复指标。
本实施例中,在指标定义维度的基础上,进一步还从指标的业务处理逻辑上判定指标是否重复,一方面增加重复判定的维度,提高了指标检测的精细度,另一方面扩大的检测范围,为指标检测提供了更细粒度的判定。
在另一个实施例中,在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标,包括:在指定业务域存在新增指标时,触发指标数据检测;将新增指标作指标数据检测所指向的目标指标。
具体地,一种触发指标检测的场景为新增指标定义场景。例如,产品经理在产品应用终端定义指标名称时,对各预设定义维度进行了定义,新增指标。那么本实施例所提供的指标数据处理方式可以定制为一个检测工具供产品经理所使用。
具体地,在业务需求系统提供了新增指标界面,该界面上提供业务域选择框,以及显示各预设定义维度及其定义输入框。产品经理选择业务域,对新增指标的定义输入框分别输入各定义维度的指标定义后,在点击新增按钮后,触发了指标数据检测。也就是说,指标数据检测是在新增指标前的一个过程,在指标数据检测通过后,才能够完成新增指标的录入。在该应用场景中,新增指标则为指标数据检测所指向的目标指标。
本实施例中,在业务域新增指标时,对新增指标触发指标检测,能够避免新增重复指标,避免重新指标的录入。
在新增指标完成录入后,即新增验证通过,排除重复指标的可能后,可以基于新增指标的指标定义组合更新第一数据表。
在另一个实施例中,在指定业务域被触发指标数据检测时,获取指标数据检测所指向的目标指标,包括:在指定业务域的指标数据完成业务处理逻辑的数据开发时,触发指标数据检测;将完成业务处理逻辑的数据开发的指标作为指标数据检测所指向的目标指标。
具体地,一种触发指标检测的业务场景为数据开发完成。指标的业务开发具体是指由开发人员完成指标的数据加工处理逻辑的代码开发。例如,在产品经理提交了指标定义后,检测无重复指标的新增指标,则由数据开发实现指标处理过程。开发人员根据指标定义所需要的数据加工处理逻辑编写代码,将代码结果写入不同的数据仓库表中。在数据开发完成后,开发人员可点击测试,触发指标数据检测,将完成业务处理逻辑的数据开发的指标作为指标数据检测所指向的目标指标。
本实施例中,在指标的数据开发完成后,触发对指标的业务处理逻辑的重复检测,能够避免重复的指标定义和开发,减少重复建设带来的资源浪费。
在另一个实施例中,如图3所示,指标数据检测方法包括以下步骤:
步骤302,在业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对指定业务服务所关联的数据表进行溯源,确定指定业务服务相关的指标作为目标指标。
具体地,数据分析系统可以提供多种业务服务,或部署多种业务服务,如报表分析服务和指标查询服务。而不管是报表分析服务和指标查询服务,都可以溯源关联数据表,确定其所依赖的指标,进而通过指标是否重复来判定该指定业务服务是否重复。
其中,可以将与指标数据具有强相关的业务作为指定业务。当检测到触发了指定业务时,触发指标数据检测。以指定业务为报表分析服务为例,当检测到触发了报表分析服务时,触发指标数据检测。
其中,对指定业务服务所涉及的数据进行溯源,具体是对指定业务服务所关联的数据表进行溯源,获取数据表中关联的指标,将其作为目标指标。
步骤304,获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合。
本实施例中,对于指标定义,预先设置了多个定义维度,从每个定义维度定义指标,全部定义维度的定义信息组合构成该指标的指标定义信息。相比较原始的指标名称单维度的指标定义而言,多个定义维度的指标定义使指标的比较粒度变得更加精细。
对目标指标的各定义维度的定义信息进行组合,即可得到目标指标的指标定义组合。指标定义信息包括了指标定义组合。例如,预设定义维度包括了定义维度1、定义维度2、定义维度3和定义维度4,那么定义维度1的定义信息+定义维度2的定义信息+定义维度3的定义信息+定义维度4的定义信息的组合,即为指标定义组合。
步骤306,在第一数据表中查找目标指标的指标定义组合;第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合。若是,则执行步骤308。
具体地,对于每个已完成的指定业务服务所涉及的全量指标分别将全量指标的指标定义组合存储在第一数据表中。本实施例中,全量指标指的是每个已完成的指定业务所涉及的指标。
步骤308,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为已完成指定业务服务的重复指标。
在第一数据表中查找目标指标的指标定义组合。若目标指标的指标定义组合在第一数据表中命中,则表示目标指标与已完成指定业务服务中的指标存在重复。
步骤310,判断目标指标是否查询完毕。若查询完毕,则执行步骤312,若未查询完成,则返回步骤306,对下一个目标指标在第一数据表中进行查找。
步骤312,判定指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度是否大于阈值,或指定业务服务所涉及的目标指标是否与已完成的指定业务服务的任意一个指标重复,若是,则执行步骤314。
步骤314,确定指定业务服务重复。
其中,不同指定业务服务重复的判定标准不同,可以在指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,判断指定业务重复,也可以在指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标重复时,判断指定业务重复。
若指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度不大于阈值,或若指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标均不重复时,则确定指定业务服务不重复。
本实施例中,扩大了指标数据检测的应用场景,能够将指标数据检测方式扩大到业务服务场景的指定业务服务中。通过指定业务服务与已完成指定业务服务的指标是否重复来判定指定业务是否重复,在一定程度上可以避免指定业务重复。
在一个实施例中,如图4所示,一种指标数据检测方法包括以下步骤:
步骤402,在业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对指定业务服务所涉及的数据进行溯源,确定指定业务服务相关的指标作为目标指标。
该实施例与步骤302的实际过程相同,此处不再赘述。
步骤404,获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合。
该实施例与步骤304的实际过程相同,此处不再赘述。
步骤406,在第一数据表中查找目标指标的指标定义组合;第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合。若查找到,则执行步骤412,若未查找到,则执行步骤408。
在第一数据表中查找目标指标的指标定义组合。若目标指标的指标定义组合在第一数据表中命中,则表示目标指标与已完成指定业务服务中的指标存在重复。若目标指标的指标定义组合在第一数据表中未命中,则表示目标指标与在指标定义维度与已完成指定业务服务中的指标不存在重复。
步骤408,基于目标指标的关联表实施目标指标的业务处理逻辑,得到目标指标的目标指标值。
传统的指标检测通常只对指标名称是否重复进行检测,这种检测方式无法覆盖到指标的业务处理逻辑。然而实际上也可能存在指标名称不同,但业务处理逻辑所指向的业务数据是相同的,那么这两个指标实质也是相同。若仅进行指标名称检测,则无法检测到这种情况,而无法准确地进行指标分析。
本实施例中,可以在指标定义组合检测的基础上,进一步对指标的业务处理逻辑是否相同进行检测。其中,业务处理逻辑是指获取指标对应指标值的加工处理逻辑。业务处理逻辑具体是通过数据开发的代码所体现。运行业务处理逻辑对应的代码即可获得该目标指标的指标值。
步骤410,在第二数据表中查找目标值,第二数据表存储有已完成指定业务基于关联表实施指标的业务处理逻辑,得到的指标值。若是,则执行步骤412。
具体地,将目标指标值在存储有全量指标的指标值的第二数据表中查找,若在第二数据表中查找到目标指标值,则确定目标指标在业务处理逻辑上与现有的全量指标存在重复,则从业务处理逻辑上该目标指标为重复指标。
步骤412,确定目标指标与已完成指定业务的指标重复。
若在第一数据表中查找到目标指标的指标定义组合,或若在第一数据表中查找到目标指标的指标定义组合,但在第二数据表中查找到目标指标的目标值,则确定目标指标为已完成指定业务服务的重复指标。
步骤414,判断目标指标是否查询完毕。若查询完毕,则执行步骤416,若未查询完成,则返回步骤406,对下一个目标指标在第一数据表中进行查找。
步骤416,判定指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度是否大于阈值,或指定业务服务所涉及的目标指标是否与已完成的指定业务服务的任意一个指标重复,若是,则执行步骤418。
步骤418,确定指定业务服务重复。
其中,不同指定业务服务重复的判定标准不同,可以在指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,判断指定业务重复,也可以在指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标重复时,判断指定业务重复。
若指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度不大于阈值,或若指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标均不重复时,则确定指定业务服务不重复。
本实施例中,扩大了指标数据检测的应用场景,能够将指标数据检测方式扩大到业务服务场景的指定业务服务中。通过指定业务服务与已完成指定业务服务的指标是否重复来判定指定业务是否重复,在一定程度上可以避免指定业务重复。
在另一个实施例中,在业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对指定业务服务所涉及的数据进行溯源,确定指定业务服务相关的指标作为目标指标,如图5所示,包括:
步骤502,当获取到对业务域的数据分析请求时,触发指标数据检测。
其中,数据分析请求预设被设置为与指标相关的指定业务服务。当用户触发数据分析请求时,触发指标数据检测。其中一个业务场景为用户触发报表分析服务时触发指标数据检测。报表分析服务是数据分析的一种结果体现,通过以报表的形式展示数据分析结果。当用户触发数据分析请求时,提交报表分析需求,触发指标数据检测。
步骤504,获取数据分析请求所涉及的报表字段。
其中,报表分析服务可以由用户拖动报表所需要的各字段,不同的字段与数据库中的数据表所关联。当用户选择好报表所需要的各字段后,获取数据分析请求所涉及的报表字段。
步骤506,根据报表字段关联的数据表溯源,获取对应的指标,作为目标指标。
具体地,根据报表字段在数据库中与报表字段关联的数据表中溯源,确定报表字段相关的指标,将其作为目标指标。如报表的一个字段为最大交易笔数,通过对关联的数据表进行溯源,确定数据源所关联的指标为“最近一个月+最大值+美元支付+交易笔数”,则将该指标作为目标指标。
本实施例中,第一数据表存储了已完成分析的数据分析请求所涉及的全量指标的指标定义组合,第二数据表存储了数据分析请求所涉及的全量指标的指标值。
在该实施中,若数据分析请求所涉及的报表的目标指标与已分析完成的报表的指标的重合度大于阈值,则确定数据分析请求重复。
本实施例中,扩大了指标数据检测的应用场景,能够将指标数据检测方式扩大到业务服务场景的数据分析服务中。通过数据分析服务与已完成数据分析服务的指标是否重复来判定数据分析服务是否重复,在一定程度上可以避免指定数据分析服务重复,若检测到本次触发的数据分析服务重复,可以向用户反馈已完成的重复的数据分析服务,和/或输出提醒。其中,提醒可以包括数据分析服务的信息,如报表、时间和重合度等。
具体地,一个实施例中,在业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对指定业务服务所涉及的数据进行溯源,确定指定业务服务相关的指标作为目标指标,如图6所示,包括:
步骤602,当业务域部署新的数据服务接口时,触发指标数据检测。
其中,当业务域部署新的数据服务接口时,触发指标数据检测。在一些业务场景中,通过提供数据服务接口(API)向用户提供数据查询服务,为避免重复部署数据服务接口,可以采用本申请的指标数据处理方法,对重复的数据服务接口进行检测,以避免数据服务接口的重复部署。
步骤604,对数据服务接口关联的数据表溯源,获取对应的指标,作为目标指标。
具体地,对数据服务接口所关联的数据表溯源,获取数据服务接口关联的指标,将其作为目标指标。
本实施例中,全量指标包括已部署服务接口所涉及的指标,第一数据表中包括了全量指标的指标定义组合,第二数据表中包括了全量指标的指标值。
若在后续的查询过程中,即在第一数据表中查询目标指标的指标定义组合或在第二数据表中查询目标指标的指标值,确定数据服务接口的指标与已部署的服务接口的指标定义组合或指标值重复,则确定数据服务接口为重复的数据服务接口。
在该实施例中,若服务接口所涉及的目标指标与已部署服务接口的指标重复,则确定数据服务接口重复。
本实施例中,扩大了指标数据检测的应用场景,能够将指标数据检测方式扩大到业务服务场景的服务接口部署中。通过数据分析服务与已部署服务接口的指标是否重复来判定数据查询的服务接口是否重复,在一定程度上可以避免重复部署数据查询接口,若检测到本次触发的数据查询接口重复,可以向用户反馈已完成的重复的数据分析服务,和/或输出提醒。其中,提醒可以包括数据查询接口的信息,如数据服务接口名称、部署时间、部署人和相关指标等。
在一个实施例中,指标数据处理方法还包括处理得到第一数据表的过程,具体地,该过程为:对业务域全量指标的指标定义组合按定义维度排序后,进行哈希处理,得到第一数据表。
以预设定义维度为时间周期、统计方式、业务限定和原子指标为例,规范指标定义标准。其中,按指标类型可以将指标分为三种,分别为:原子指标、派生指标和衍生指标。
原子指标,指的是基于业务过程的度量值,顾名思义是不可以再进行拆分的指标。其中,原子指标由管理员进行管理,周期性的更新,如新增、删除等。
派生指标是指基于原子指标派生得到的指标,常用的数据分析中指标的类型之一,派生指标的定义为时间周期+业务限定+统计方式+原子指标构成。
衍生指标,是在一个或多个派生指标的基础上,衍生得到的指标,也是常用的数据分析中指标的类型之一,衍生指标的定义为时间周期+业务限定+统计方式+多个原子指标构成。
本申请的指标数据处理方法的目标指标包括了衍生指标和派生指标。
对于上面三种类型的指标,如图7所示,按定义维度排序后,进行哈希处理,建立哈希表得到第一数据表。其中,也可以使用键值数据库存储第一数据表。
通过以第一数据表的形式存储全量指标的指标定义组合,为快速进行指标重复检测提供了基础。
在此基础上,第二数据表的构建过程包括,获取全量指标中各指标根据业务处理逻辑所关联的数据库、数据表以及关联逻辑;基于全量指标所关联的数据库、数据表、关联逻辑实施业务处理逻辑,得到全量指标的指标值;将全量指标和指标值的对应关系生成第二数据表。其中,关联逻辑具体为由维度组成的条件。其中,条件可以为维度或维度的组合,维度如时间、地域等。例如,均是对A地区最近一个月+最大值+外币支付+交易笔数进行统计。
具体地,如图8所示,包括以下步骤:
1、在数据加工过程中,数据开发的结果,分别存储到不同的数据仓库/数据库下不同的数据表中。
2、根据业务处理逻辑可以选择全量指标的数据库+表+指定的关联逻辑,即指标的业务处理逻辑。
3、关联之后,系统进行拆解、排序,将指标与多个表的关联形式,拆分为单个指标标识与数据库+数据表+关联逻辑的组合。
4、基于单个指标标识与数据库+数据表+关联逻辑(支持的维度)的组合,实施该业务处理逻辑,得到指标值,对单个指标标识与指标值的对应关系进行哈希处理,建立第二数据表。
通过以第二数据表的形式存储全量指标的指标值,为快速进行指标重复检测提供了基础。当在第二数据表中查找到与目标指标相同的指标值时,可以确定目标指标重复开发。
一种指标数据处理方法,如图9所示,在指标业务域实现指标重复校验,包括两种情况,第一种情况是在仅有指标定义时,第二种情况是在有指标定义,又存在指标与库表的逻辑关联时。
具体地,在仅有指标定义时,对于新定义指标,获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合。
根据目标指标的指标定义组合在存储有全量指标的指标定义组合的第一数据表中查找,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为重复指标。若在第一数据表中未查找到目标指标的指标定义组合,则新增指标能够成功定义。
具体在,在有指标定义,且又存在指标与库表的逻辑关联时,对于新定义指标,获取目标指标在各预设定义维度的指标定义,组合各预设定义维度的指标定义得到目标指标的指标定义组合。
根据目标指标的指标定义组合在存储有全量指标的指标定义组合的第一数据表中查找,若在第一数据表中查找到目标指标的指标定义组合,则确定目标指标为重复指标。
若在第一数据表中未查找到目标指标的指标定义组合,则表示新定义指标定义成功,则根据指标的关联表,实施业务处理逻辑得到指标的目标指标值。
根据目标指标值在存储有全量指标的指标值的第二数据表中查找,若在第二数据表中查找到目标指标值,则目标指标为重复指标。若不存在,则将指标与关联表关联成功。
图9所示的方法是指标数据处理方法在指标定义的应用,该方法还可以应用在报表重复检测和查询服务接口重复检测。
上述的指标数据处理方法,通过从指标定义和指标的业务处理逻辑两个维度进行指标重复检测,扩大了指标检测的内容,提供了更精确的判定结果。同时,指标重复检测是基于查表所实现的,能快速检索到系统中是否存在重复命名、重复加工逻辑的指标。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的指标数据处理方法的指标数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个指标数据处理装置实施例中的具体限定可以参见上文中对于指标数据处理方法的限定,在此不再赘述。
在一个实施例中,如图10所示,提供了一种指标数据处理装置,包括:
指标获取模块1002,用于在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标。
定义获取模块1004,用于获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合。
检测模块1006,用于在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
上述的指标数据处理装置,对于待检测的目标指标,通过获取目标指标在各预设定义维度的指标定义,并组合预设定义维度的指标定义得到该目标指标的指标定义组合,从而指标定义组合具有各预设定义维度的信息,即综合了多个定义维度的定义信息,丰富了指标的信息量,通过将目标指标的指标定义组合与存储了全量指标的指标定义组合的第一数据表中进行查找,一方面,使得指标重复检测能够以查表的方式实现,提高了检测效率,而另一方面,指标定义组合表征了指标多维度的指标定义,具有多个定义维度的指标定义信息,使得指标检测的在各定义维度全方位的进行比较,指标重复检测具有更小细粒度,提高了指标检测的精度。
在另一个实施例中,指标数据处理装置还包括:
逻辑处理模块,用于若在所述第一数据表中未查找到所述目标指标的指标定义组合,则基于所述目标指标的关联表实施所述目标指标的业务处理逻辑,得到所述目标指标的目标指标值。
检测模块,还用于在存储有所述全量指标的指标值的第二数据表中查找所述目标指标值,若在所述第二数据表中查找到所述目标指标值,则所述目标指标为重复指标。
在另一个实施例中,指标获取模块,还用于在所述指定业务域存在新增指标时,触发指标数据检测;将所述新增指标作所述指标数据检测所指向的目标指标。
在另一个实施例中,指标获取模块,还用于在所述指定业务域的指标数据完成业务处理逻辑的数据开发时,触发指标数据检测;将完成业务处理逻辑的数据开发的指标作为所述指标数据检测所指向的目标指标。
在另一个实施例中,指标获取模块,还用于在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标。
检测模块,还用于在第一数据表中查找所述目标指标的指标定义组合;所述第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合;若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为已完成指定业务服务的重复指标;若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,或若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标重复,则确定所述指定业务服务重复。
在另一个实施例中,指标获取模块,还用于在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标。
检测模块,还用于在第一数据表中查找所述目标指标的指标定义组合;所述第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合;
检测模块,还用于在存储有所述全量指标的指标值的第二数据表中查找所述目标指标值;若在所述第二数据表中查找到所述目标指标值,则确定所述目标指标与已完成指定业务的指标重复;若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,或若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的指标重复时,则确定所述指定业务服务重复。
在另一个实施例中,指标获取模块,还用于当获取到对所述业务域的数据分析请求时,触发指标数据检测;获取所述数据分析请求所涉及的报表字段;根据所述报表字段关联的数据表溯源,获取对应的指标,作为目标指标。
在另一个实施例中,指标获取模块,还用于当所述业务域部署新的数据服务接口时,触发指标数据检测;对所述数据服务接口关联的数据表溯源,获取对应的指标,作为目标指标。
上述指标数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一数据表和第二数据表。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种指标数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种指标数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各实施例的指标数据处理方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例的指标数据处理方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各实施例的指标数据处理方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种指标数据处理方法,其特征在于,所述方法包括:
在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若在所述第一数据表中未查找到所述目标指标的指标定义组合,则基于所述目标指标的关联表实施所述目标指标的业务处理逻辑,得到所述目标指标的目标指标值;
在存储有所述全量指标的指标值的第二数据表中查找所述目标指标值,若在所述第二数据表中查找到所述目标指标值,则所述目标指标为重复指标。
3.根据权利要求1所述的方法,其特征在于,所述在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标,包括:
在所述指定业务域存在新增指标时,触发指标数据检测;
将所述新增指标作所述指标数据检测所指向的目标指标。
4.根据权利要求1所述的方法,其特征在于,所述在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标,包括:
在所述指定业务域的指标数据完成业务处理逻辑的数据开发时,触发指标数据检测;
将完成业务处理逻辑的数据开发的指标作为所述指标数据检测所指向的目标指标。
5.根据权利要求1所述的方法,其特征在于,所述在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标,包括:
在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标;
所述在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标,包括:
在第一数据表中查找所述目标指标的指标定义组合;所述第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合;
若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为已完成指定业务服务的重复指标;
若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,或若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标重复,则确定所述指定业务服务重复。
6.根据权利要求2所述的方法,其特征在于,所述在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标,包括:
在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标;
所述在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,包括:在第一数据表中查找所述目标指标的指标定义组合;所述第一数据表存储有已完成的指定业务服务的全量指标的指标定义组合;
在存储有所述全量指标的指标值的第二数据表中查找所述目标指标值,若在所述第二数据表中查找到所述目标指标值,则所述目标指标为重复指标,包括:在存储有所述全量指标的指标值的第二数据表中查找所述目标指标值;
若在所述第二数据表中查找到所述目标指标值,则确定所述目标指标与已完成指定业务的指标重复;
若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的指标的重合度大于阈值,或若所述指定业务服务所涉及的目标指标与已完成的指定业务服务的任意一个指标重复,则确定所述指定业务服务重复。
7.根据权利要求5或6所述的方法,其特征在于,在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标,包括:
当获取到对所述业务域的数据分析请求时,触发指标数据检测;
获取所述数据分析请求所涉及的报表字段;
根据所述报表字段关联的数据表溯源,获取对应的指标,作为目标指标。
8.根据权利要求5或6所述的方法,其特征在于,在所述业务域的业务服务场景触发指标相关的指定业务服务时,触发指标数据检测,对所述指定业务服务所关联的数据表进行溯源,确定所述指定业务服务相关的指标作为目标指标,包括:
当所述业务域部署新的数据服务接口时,触发指标数据检测;
对所述数据服务接口关联的数据表溯源,获取对应的指标,作为目标指标。
9.一种指标数据处理装置,其特征在于,所述装置包括:
指标获取模块,用于在指定业务域被触发指标数据检测时,获取所述指标数据检测所指向的目标指标;
定义获取模块,用于获取所述目标指标在各预设定义维度的指标定义,组合各所述预设定义维度的指标定义得到所述目标指标的指标定义组合;
检测模块,用于在存储有全量指标的指标定义组合的第一数据表中查找所述目标指标的指标定义组合,若在所述第一数据表中查找到所述目标指标的指标定义组合,则确定所述目标指标为重复指标。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211182340.1A CN117827895A (zh) | 2022-09-27 | 2022-09-27 | 指标数据处理方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211182340.1A CN117827895A (zh) | 2022-09-27 | 2022-09-27 | 指标数据处理方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117827895A true CN117827895A (zh) | 2024-04-05 |
Family
ID=90511972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211182340.1A Pending CN117827895A (zh) | 2022-09-27 | 2022-09-27 | 指标数据处理方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117827895A (zh) |
-
2022
- 2022-09-27 CN CN202211182340.1A patent/CN117827895A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107729376B (zh) | 保险数据审核方法、装置、计算机设备及存储介质 | |
CN104765745B (zh) | 对数据库中的加载数据进行逻辑验证的方法和系统 | |
US20150081494A1 (en) | Calibration of strategies for fraud detection | |
EP3732586A1 (en) | Systems and methods for combining data analyses | |
CN116610583A (zh) | Sca工具成熟度评价方法、装置、设备、介质和产品 | |
US20160063394A1 (en) | Computing Device Classifier Improvement Through N-Dimensional Stratified Input Sampling | |
CN116451074A (zh) | 目标对象的画像生成方法、装置、计算机设备、存储介质 | |
CN117827895A (zh) | 指标数据处理方法、装置和计算机设备 | |
CN114925153A (zh) | 基于业务的地理信息数据质量检测方法、装置和设备 | |
CN114782125A (zh) | 产品配置方法、装置、计算机设备和存储介质 | |
JP6870454B2 (ja) | 分析装置、分析プログラム及び分析方法 | |
CN117349358B (zh) | 基于分布式图处理框架的数据匹配与合并的方法和系统 | |
CN117290302B (zh) | 目录分离方法、装置、计算机设备和存储介质 | |
CN115423595B (zh) | 文件信息处理方法、装置、计算机设备和存储介质 | |
US11069018B2 (en) | Systems, methods and machine readable programs for value chain analytics | |
CN115718701A (zh) | 程序测试方法、装置、计算机设备和存储介质 | |
CN115878746A (zh) | 政策文本确定方法和装置 | |
CN116775955A (zh) | 数据标签固化方法、装置、计算机设备和存储介质 | |
CN117033452A (zh) | 数据库处理方法、装置、计算机设备和存储介质 | |
CN117743661A (zh) | 基于索引的检索处理方法、装置、计算机设备和存储介质 | |
CN117291741A (zh) | 账务数据处理方法、装置、设备、存储介质和程序产品 | |
CN117389601A (zh) | 金融软件影响溯源分析方法、装置、设备和存储介质 | |
CN115146104A (zh) | 音频分布信息获取方法、计算机设备和计算机程序产品 | |
CN115757958A (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
CN117591747A (zh) | 一种信息生成式推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |