CN115829412A - 一种基于业务过程的指标数据量化处理方法、系统及介质 - Google Patents
一种基于业务过程的指标数据量化处理方法、系统及介质 Download PDFInfo
- Publication number
- CN115829412A CN115829412A CN202211647297.1A CN202211647297A CN115829412A CN 115829412 A CN115829412 A CN 115829412A CN 202211647297 A CN202211647297 A CN 202211647297A CN 115829412 A CN115829412 A CN 115829412A
- Authority
- CN
- China
- Prior art keywords
- index
- basic
- data
- library
- indexes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于业务过程的指标数据量化处理方法、系统及介质,该方法包括:基于业务过程,对所述业务过程进行拆分,获取基础指标;并将所述基础指标存入基础指标库;基于存量元数据,获取指标统计维度;基于存量元数据中的事实表,获取指标的修饰词;所述修饰词是对基础指标进行过滤的词;通过将所述基础指标库、指标统计维度和修饰语进行任意组合,对所述基础指标库的指标构建指标数据量化模型。本发明贴近业务、贴近数据模型;指标数据量化标准构建摆脱了原来的流水账模式,提高了指标数据量化的效率,增强了指标数据量化的可读性。可以支持指标开发的配置化操作,提高指标开发效率。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于业务过程的指标数据量化处理方法、系统及介质。
背景技术
现有技术中对于指标数据量化的方法一般采取指标名称+指标业务口径+指标技术口径来量化一个指标数据的方式,对指标的数据量化进行管理。其本质上是一个指标对应一个指标数据量化标准的方式。
以上现有方案中,指标数据量化标准和指标基本按1:1方式维护。在实际的数据应用过程中,基本是一种流水账的模式。一个指标对应一个指标数据量化标准。这样造成了指标数据量化标准管理和认知上变得极为复杂,且指标数据量化标准脱离了指标定义的本质也脱离了数据开发。难以体系化的规范指标数据量化标准,以标准规范开发和数据使用。
发明内容
本发明所要解决的技术问题是现有的指标数据量化一个指标对应一个指标数据量化标准,是一种流水账模式;指标数据量化处理复杂,效率低,指标数据量化的可读性差。
本发明目的在于提供一种基于业务过程的指标数据量化处理方法、系统及介质,本发明基于数据模型(一般是基于维度的数据模型)进行指标数据量化处理,其中,数据模型是以事实表+维度表支撑上游数据统计;本发明的指标数据量化处理流程简单,不同的指标可采用同一个基于数据模型的指标数据量化标准,避免了现有技术中的一个指标对应一个一个指标数据量化标准的流水账模式,提高了指标数据量化处理效率且指标数据量化的可读性。
本发明通过下述技术方案实现:
第一方面,本发明提供了一种基于业务过程的指标数据量化处理方法,该方法包括:
基于业务过程,对业务过程进行拆分,获取基础指标;并将基础指标存入基础指标库;
基于存量元数据,获取指标统计维度;基于存量元数据中的事实表,获取指标常用的修饰词;修饰词是对基础指标进行过滤的词;
通过将基础指标库、指标统计维度和修饰语进行任意组合,对基础指标库的指标构建指标数据量化模型。
其中,元数据是解释数据的数据,它是描述其它数据的数据(data about otherdata),或者说是用于提供某种资源的有关信息的结构数据(structured data)。元数据是描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。本发明使用的元数据是指数据的逻辑和物理模型。
进一步地,所述的基于业务过程,对业务过程进行拆分获取基础指标,并将基础指标存入基础指标库,包括:
整理业务流程,确认业务中不开拆分的业务环节;
根据业务中不开拆分的业务环节,确定各业务环节的统计变量;并把统计变量作为基础指标,存入基础指标库;
其中,统计变量是能够反应业务开展现状的一组数据。
进一步地,业务中不开拆分的业务环节为每个业务流程中没有歧义的行为或动作;例如,放款。
进一步地,所述的基于存量元数据中的事实表,获取指标常用的修饰语,包括:
获取元数据表中的维度表和事实表,并将维度表去重后存入维度库;
对比基础指标库与事实表中的字段是否一致,若一致,则沿用基础指标库的基础指标;若不一致,则将不一致的字段列表的数据存入复合指标库;其中,对比基础指标库与事实表中的字段是否一致,是通过表字段中的英文名称匹配,标记事实表中存在而基础指标库不存在的字段列表;
人工拆分复合指标库中的指标,标记为指标统计维度+修饰词+基础指标;
合并复合指标库和基础指标库,并将合并后的数据更新基础指标库;
将标记好的修饰词存入修饰词库。
进一步地,维度表是用户分析数据的窗口,维度表中包含事实表中事实记录的特性,有些特性提供描述性信息,些特性指定如何汇总事实数据表数据,通过特性以便为分析者提供有用的信息;维度表中存储有数据统计中常用的维度信息,包括数据分类方式;数据分类方式产品和客群信息;
维度表包含帮助汇总数据的特性的层次结构,维度是对数据进行分析时特有的一个角度,站在不同角度看待问题,会有不同的结果。
事实表是对分析主题的度量,事实表包含与各维度表相关联的外键,并通过连接(Join)方式与维度表关联。
进一步地,该方法还包括:
将指标数据量化模型作为基础指标的规范统计口径,配合数据模型设计可以实现基础指标加工配置化开发。
第二方面,本发明又提供了一种基于业务过程的指标数据量化处理系统,该系统用于实现所述的一种基于业务过程的指标数据量化处理方法;该系统包括:
基础指标库建立单元,用于基于业务过程,对业务过程进行拆分,获取基础指标;并将基础指标存入基础指标库;
指标统计维度获取单元,用于基于存量元数据,获取指标统计维度;
修饰词获取单元,用于基于存量元数据中的事实表,获取指标常用的修饰词;修饰词是对基础指标进行过滤的词;
指标数据量化处理单元,用于通过将基础指标库、指标统计维度和修饰语进行任意组合,对基础指标库的指标构建指标数据量化模型。
进一步地,修饰词获取单元的执行过程为:
获取元数据表中的维度表和事实表,并将维度表去重后存入维度库;
对比基础指标库与事实表中的字段是否一致,若一致,则沿用基础指标库的基础指标;若不一致,则将不一致的字段列表的数据存入复合指标库;其中,对比基础指标库与事实表中的字段是否一致,是通过表字段中的英文名称匹配,标记事实表中存在而基础指标库不存在的字段列表;
人工拆分复合指标库中的指标,标记为指标统计维度+修饰词+基础指标;
合并复合指标库和基础指标库,并将合并后的数据更新基础指标库;
将标记好的修饰词存入修饰词库。
第三方面,本发明又提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的一种基于业务过程的指标数据量化处理方法。
第四方面,本发明又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种基于业务过程的指标数据量化处理方法。
本发明与现有技术相比,具有如下的优点和有益效果:
本发明一种基于业务过程的指标数据量化处理方法、系统及介质,贴近业务、贴近数据模型;指标数据量化标准构建摆脱了原来的流水账模式,提高了指标数据量化的效率,增强了指标数据量化的可读性;可以支持指标开发的配置化操作,提高指标开发效率。本发明的指标数据量化标准可以指导指标数据模型设计,新增指标可以通过基础指标+维度+修饰词的方式灵活组合快速衍生。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明一种基于业务过程的指标数据量化处理方法流程图。
图2为本发明一种基于业务过程的指标数据量化处理系统结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
现有的指标数据量化一个指标对应一个指标数据量化标准,是一种流水账模式;指标数据量化处理复杂,效率低,指标数据量化的可读性差。
因此,本发明设计了一种基于业务过程的指标数据量化处理方法、系统及介质,本发明基于数据模型(一般是基于维度的数据模型)进行指标数据量化处理,得到以基础指标+维度+修饰词方式进行任意组合来构建指标数据量化模型(即指标数据量化标准)。其中,数据模型是以事实表+维度表支撑上游数据统计;本发明的指标数据量化处理流程简单,不同的指标可采用同一个基于数据模型的指标数据量化标准,避免了现有技术中的一个指标对应一个一个指标数据量化标准的流水账模式,提高了指标数据量化处理效率且指标数据量化的可读性。
实施例1
如图1所示,本发明一种基于业务过程的指标数据量化处理方法,该方法包括:
基于业务过程,对业务过程进行拆分,获取基础指标;并将基础指标存入基础指标库;
基于存量元数据,获取指标统计维度;基于存量元数据中的事实表,获取指标常用的修饰词;
通过将基础指标库、指标统计维度和修饰语进行任意组合,对基础指标库的指标构建指标数据量化模型;
将指标数据量化模型作为基础指标的规范统计口径,配合数据模型设计可以实现基础指标加工配置化开发。
其中,本发明使用的元数据是指数据的逻辑和物理模型。
如图1所示,具体实施如下:
步骤1,整理业务流程,确认业务中不开拆分的业务环节;业务中不开拆分的业务环节为每个业务流程中没有歧义的行为或动作;例如,放款。
步骤2,根据业务中不开拆分的业务环节,确定各业务环节的统计变量;其中,统计变量是能够反应业务开展现状的一组数据。例如,放款过程中产生借据对应的放款金额。
并把统计变量作为基础指标,存入基础指标库;
步骤3,采集元数据中的维度表和事实表;
维度表是用户分析数据的窗口,维度表中包含事实表中事实记录的特性,有些特性提供描述性信息,些特性指定如何汇总事实数据表数据,通过特性以便为分析者提供有用的信息;维度表包含帮助汇总数据的特性的层次结构,维度是对数据进行分析时特有的一个角度,站在不同角度看待问题,会有不同的结果。
事实表是对分析主题的度量,事实表包含与各维度表相关联的外键,并通过连接(Join)方式与维度表关联。
步骤4,将维度表去重后存入维度库;维度表中存储有数据统计中常用的维度信息,包括数据分类方式,例如,产品、客群信息;
步骤5,对比基础指标库与事实表中的字段是否一致,若一致,则沿用基础指标库的基础指标;若不一致,则将不一致的字段列表的数据存入复合指标库;其中,对比基础指标库与事实表中的字段是否一致,是通过表字段中的英文名称匹配,标记事实表中存在而基础指标库不存在的字段列表;
例如,放款失败金额即放款金额(基础指标)+失败状态(数据过滤,修饰词)。
步骤6,人工拆分复合指标库中的指标,标记为指标统计维度+修饰词+基础指标;修饰词是对基础指标进行过滤的词;
步骤7,合并复合指标库和基础指标库,并将合并后的数据更新基础指标库;其中,合并是指将两数据库中的数据取并集;
步骤8,将标记好的修饰词存入修饰词库。
步骤9,通过将基础指标库、指标统计维度和修饰语进行任意组合,对基础指标库的指标构建指标数据量化模型;
步骤10,将指标数据量化模型作为基础指标的规范统计口径,配合数据模型设计可以实现基础指标加工配置化开发。
举例:新增统计个产品失败放款金额。指标数据量化模型可由基础指标库、维度、修饰词按如方式组合加工:产品失败放款金额=产品(维度)+失败(修饰词)+放款金额(基础指标)来构建指标数据量化标准。以此标准来规范数据开发保证指标加工口径的准确性,配合数据模型设计可以实现指标加工配置化开发。
本发明的基于业务过程的指标数据量化处理方法,贴近业务、贴近数据模型;指标数据量化标准构建摆脱了原来的流水账模式,提高了指标数据量化的效率,增强了指标数据量化的可读性。可以支持指标开发的配置化操作,提高指标开发效率。本发明的指标数据量化标准可以指导指标数据模型设计,新增指标可以通过基础指标+维度+修饰词的方式灵活组合快速衍生。
实施例2
如图2所示,本实施例与实施例1的区别在于,本实施例提供了一种基于业务过程的指标数据量化处理系统,该系统用于实现实施例1所述的一种基于业务过程的指标数据量化处理方法;该系统包括:
基础指标库建立单元,用于基于业务过程,对业务过程进行拆分,获取基础指标;并将基础指标存入基础指标库;
指标统计维度获取单元,用于基于存量元数据,获取指标统计维度;
修饰词获取单元,用于基于存量元数据中的事实表,获取指标常用的修饰词;修饰词是对基础指标进行过滤的词;
指标数据量化处理单元,用于通过将基础指标库、指标统计维度和修饰语进行任意组合,对基础指标库的指标构建指标数据量化模型。
作为进一步地实施,修饰词获取单元的执行过程为:
获取元数据表中的维度表和事实表,并将维度表去重后存入维度库;
对比基础指标库与事实表中的字段是否一致,若一致,则沿用基础指标库的基础指标;若不一致,则将不一致的字段列表的数据存入复合指标库;其中,对比基础指标库与事实表中的字段是否一致,是通过表字段中的英文名称匹配,标记事实表中存在而基础指标库不存在的字段列表;
人工拆分复合指标库中的指标,标记为指标统计维度+修饰词+基础指标;
合并复合指标库和基础指标库,并将合并后的数据更新基础指标库;
将标记好的修饰词存入修饰词库。
其中,各个单元的执行过程按照实施例1所述的一种基于业务过程的指标数据量化处理方法流程步骤执行即可,此实施例中不再一一赘述。
同时,本发明又提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的一种基于业务过程的指标数据量化处理方法。
同时,本发明又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种基于业务过程的指标数据量化处理方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于业务过程的指标数据量化处理方法,其特征在于,该方法包括:
基于业务过程,对所述业务过程进行拆分,获取基础指标;并将所述基础指标存入基础指标库;
基于存量元数据,获取指标统计维度;基于存量元数据中的事实表,获取指标的修饰词;所述修饰词是对基础指标进行过滤的词;
通过将所述基础指标库、指标统计维度和修饰语进行任意组合,对所述基础指标库的指标构建指标数据量化模型。
2.根据权利要求1所述的一种基于业务过程的指标数据量化处理方法,其特征在于,所述的基于业务过程,对所述业务过程进行拆分获取基础指标,并将所述基础指标存入基础指标库,包括:
整理业务流程,确认业务中不开拆分的业务环节;
根据所述业务中不开拆分的业务环节,确定各业务环节的统计变量;并把所述统计变量作为基础指标,存入基础指标库;
其中,所述统计变量是能够反应业务开展现状的一组数据。
3.根据权利要求2所述的一种基于业务过程的指标数据量化处理方法,其特征在于,所述业务中不开拆分的业务环节为每个业务流程中没有歧义的行为或动作。
4.根据权利要求1所述的一种基于业务过程的指标数据量化处理方法,其特征在于,所述的基于存量元数据中的事实表,获取指标的修饰语,包括:
获取元数据表中的维度表和事实表,并将所述维度表去重后存入维度库;
对比所述基础指标库与所述事实表中的字段是否一致,若一致,则沿用所述基础指标库的基础指标;若不一致,则将不一致的字段列表的数据存入复合指标库;
人工拆分所述复合指标库中的指标,标记为指标统计维度+修饰词+基础指标;
合并所述复合指标库和所述基础指标库,并将合并后的数据更新基础指标库;
将标记好的修饰词存入修饰词库。
5.根据权利要求4所述的一种基于业务过程的指标数据量化处理方法,其特征在于,所述对比所述基础指标库与所述事实表中的字段是否一致,是通过表字段中的英文名称匹配,标记所述事实表中存在而所述基础指标库不存在的字段列表。
6.根据权利要求1所述的一种基于业务过程的指标数据量化处理方法,其特征在于,所述维度表是用户分析数据的窗口,所述维度表中包含所述事实表中事实记录的特性,通过所述特性以便为分析者提供有用的信息;所述维度表中存储有数据统计中的维度信息,包括数据分类方式;所述数据分类方式产品和客群信息;
所述事实表是对分析主题的度量,所述事实表包含与各维度表相关联的外键,并通过连接方式与维度表关联。
7.根据权利要求1所述的一种基于业务过程的指标数据量化处理方法,其特征在于,该方法还包括:
将指标数据量化模型作为基础指标的规范统计口径,配合数据模型设计实现基础指标加工配置化开发。
8.一种基于业务过程的指标数据量化处理系统,其特征在于,该系统用于实现如权利要求1至7中任一所述的一种基于业务过程的指标数据量化处理方法;该系统包括:
基础指标库建立单元,用于基于业务过程,对所述业务过程进行拆分,获取基础指标;并将所述基础指标存入基础指标库;
指标统计维度获取单元,用于基于存量元数据,获取指标统计维度;
修饰词获取单元,用于基于存量元数据中的事实表,获取指标的修饰词;所述修饰词是对基础指标进行过滤的词;
指标数据量化处理单元,用于通过将所述基础指标库、指标统计维度和修饰语进行任意组合,对所述基础指标库的指标构建指标数据量化模型。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种基于业务过程的指标数据量化处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于业务过程的指标数据量化处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211647297.1A CN115829412A (zh) | 2022-12-21 | 2022-12-21 | 一种基于业务过程的指标数据量化处理方法、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211647297.1A CN115829412A (zh) | 2022-12-21 | 2022-12-21 | 一种基于业务过程的指标数据量化处理方法、系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115829412A true CN115829412A (zh) | 2023-03-21 |
Family
ID=85517318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211647297.1A Pending CN115829412A (zh) | 2022-12-21 | 2022-12-21 | 一种基于业务过程的指标数据量化处理方法、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115829412A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116629805A (zh) * | 2023-06-07 | 2023-08-22 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
-
2022
- 2022-12-21 CN CN202211647297.1A patent/CN115829412A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116629805A (zh) * | 2023-06-07 | 2023-08-22 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
CN116629805B (zh) * | 2023-06-07 | 2023-12-01 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11409764B2 (en) | System for data management in a large scale data repository | |
EP3513314B1 (en) | System for analysing data relationships to support query execution | |
US10031829B2 (en) | Method and system for it resources performance analysis | |
Qiu et al. | An empirical analysis of the co-evolution of schema and code in database applications | |
US8719271B2 (en) | Accelerating data profiling process | |
US9996558B2 (en) | Method and system for accessing a set of data tables in a source database | |
WO2018051096A1 (en) | System for importing data into a data repository | |
CN108647357B (zh) | 数据查询的方法及装置 | |
US20070239799A1 (en) | Analyzing log files | |
CN112181955B (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
CN111259004B (zh) | 一种存储引擎中数据索引的方法以及相关装置 | |
US11698918B2 (en) | System and method for content-based data visualization using a universal knowledge graph | |
CN108052542B (zh) | 一种基于presto的数据的多维数据的分析方法 | |
CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
Silva et al. | Assessing modularity using co-change clusters | |
CN115829412A (zh) | 一种基于业务过程的指标数据量化处理方法、系统及介质 | |
CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
CN110580170B (zh) | 软件性能风险的识别方法及装置 | |
CN112764888B (zh) | 一种基于日志分析的分布式事务检查判断方法及系统 | |
Lindvall et al. | A comparison of latency for MongoDB and PostgreSQL with a focus on analysis of source code | |
CN115757078A (zh) | 日志诊断方法及装置 | |
WO2008099143A2 (en) | Method, computer apparatus and computer program for identifying unusual combinations of values in data | |
CN114741531A (zh) | 企业数据字典构建方法及装置 | |
Muazzen | Framework for automatic selection of analytic platforms for data mining tasks | |
Ragkhitwetsagul et al. | Recommending Code Improvements Based on Stack Overflow Answer Edits |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |